スマートスピーカーでテレビの情報を取り出す「HAROiD Note」がつくる新しい視聴体験

HAROiDのエンジニア、タイショウこと渡邊です。最近お菓子を作る時間が取れず手が震え出してます。

2017年11月15日〜17日に幕張で開催された国際放送機器展「Inter BEE 2017」にて、私がプレゼンテーターを務めたました「HAROiD Note」についてご紹介させていただきましたと想います。ブースにお越しいただいた方々にはとても興味を持っていただけていたようでありがたいことでした。

panel-01-1

ハンズフリーでテレビの情報を簡単にメモ

「HAROiD Note」とは、テレビで放送中の番組から視聴者が気になった情報(出演者やBGM,場所など)をスマートスピーカーへ問いかけるだけで、求めている情報をクリップできるというHAROiDならではのサービスとなっております。問いかけ後、ウェブ上の「HAROiD Note」のポータルサイトにてクリップされます。

このサービスを利用することによって、字幕には出ない気になっていても調べることすらできなかったような情報へのアクセスが可能となったり、「周辺情報を調べたい!」「関連商品を買いたい!」といった副次的な行動を促すことも可能になります。

interbee2017-note-20171114-02.001

「このCMに出ている俳優さん。なんて名前だっけ。どんな作品出演してたかなあ」
「この曲いいなあ。誰の曲なんだろう」
「このお店いいなあ。行って見たいけどどこにあるんだろう」

このような、知りたいけど調べることが難しいことでも、
「テレビノートでこの俳優をチェックして」
「テレビノートでこのBGMをチェックして」
「テレビノートでこのお店の情報をチェックして」
と問いかけるだけで容易に情報をクリップすることができます。

求めていても辿り着くことが容易ではない情報をスマートスピーカーによって得ることができるようになるというのが「HAROiD Note」が実現する新たな視聴体験です。

interbee2017-note-20171114-02.002

「HAROiD Note」が提供するものとは、「より深く、より自然」にテレビの中のコンテンツとのコミュニケーションを実現できる未来です。その未来はもうそこまで近づいています。

上記概要を踏まえて「HAROiD Note」を実現しているメカニズムについて少しお話いたします。

HAROiD Noteを実現する仕組み

haroidnode

まず「HAROiD Note」の問いかけからそれをテキストとして解釈する部分(Speech to Text)ですが、こちらは各社の音声サービス(Amazon Alexa,Googleアシスタント,LINE Clova)を利用しております。

HAROiD独自の開発としては主にその先の「視聴者が問いかけることで得たい情報は何なのか」の回答を出す部分となります。

まず、どの放送局を視聴しているのかを識別する視聴データで取得し、なんの番組の、どんな情報を求めているか、を求めるために番組情報DBと機械学習エンジンによって実現します。

先日Inter BEEにて公開したものより充実した視聴体験を提供するための機能パッケージでのリリースに向け調整中となっております。お待たせして申し訳ございません!リリース情報はまた追って近日公表できると思われますので、そちらをお待ちいただければ幸いにございます。

さて、「HAROiD Note」について色々語って参りましたが、現在もより良い体験を提供するために絶賛開発中です。

実を言うと私ことタイショウは機械学習の開発に携わるのは初でした。挑戦できる環境というのはとてもいい刺激になるし。いい経験になってます。初めはおっかなびっくりの開発でしたが、一つの節目としてInter BEEでの展示へとなんとか漕ぎ着けることはできました。

それも一重に我らが大明神@toritsuyoのご助力があったからこそといわざるを得ません。弊社エンジニア陣は様々な知見や技能を持っている方が多いので、色々と刺激の強い環境になってます。正直追いつくので必死です(笑)

そんな新技術に触れることのでき、変態度の高いエンジニアの在籍する環境に身を置きたい、または興味を持っていただけるエンジニア様、いらっしゃったら是非一度弊社までお越しくださいませ。それでは。

HAROiD - Wantedly