(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-23
(45)【発行日】2023-07-03
(54)【発明の名称】通知機能を備えた電子装置及び電子装置の制御方法
(51)【国際特許分類】
H04N 21/41 20110101AFI20230626BHJP
H04N 21/262 20110101ALI20230626BHJP
H04B 1/16 20060101ALI20230626BHJP
H04H 40/09 20080101ALI20230626BHJP
【FI】
H04N21/41
H04N21/262
H04B1/16 Z
H04H40/09
(21)【出願番号】P 2019141478
(22)【出願日】2019-07-31
【審査請求日】2021-09-02
(73)【特許権者】
【識別番号】000214984
【氏名又は名称】TVS REGZA株式会社
(74)【代理人】
【識別番号】110001737
【氏名又は名称】弁理士法人スズエ国際特許事務所
(72)【発明者】
【氏名】加藤 雅也
(72)【発明者】
【氏名】岡野 和幸
【審査官】富樫 明
(56)【参考文献】
【文献】特開2010-016635(JP,A)
【文献】特開平11-098425(JP,A)
【文献】特表2014-502454(JP,A)
【文献】特許第6463545(JP,B1)
【文献】特開2001-111441(JP,A)
【文献】特開2015-115879(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00-21/858
H04B 1/16
H04H 40/09
(57)【特許請求の範囲】
【請求項1】
受信装置で視聴された番組の視聴データを利用して得られる前記受信装置に推奨すべき推奨番組の放送開始時間を含むスケジュールを生成し、前記スケジュールに基づいて、前記推奨番組の前記放送開始時間に対応する通知信号を生成する通知機能を備えた電子装置であって、
番組視聴用の視聴音声の出力、および、前記通知信号に基づき、通知音の出力を制御するものであり、前記通知音を、前記視聴音声から分離して出力する音声制御手段と、を備え、
さらに音声認識部を備え、前記音声認識部は複数のユーザの音声を識別したテーブルを形成可能であり、前記ユーザ毎の前記スケジュールを管理しており、
前記スケジュールに基づいて特定されたユーザへ、前記音声制御手段の制御のもとで前記通知音を出力しても応答がない場合、当該ユーザが所有するスマートフォンまたは直近で音声指示をしたAIインターフェースデバイスへ向けた通知を行う手段を有する、
通知機能を備えた電子装置。
【請求項2】
さらに、前記通知音に対してユーザからの応答があった場合、録画を行うかどうかの問い合わせを行う手段を備えた、請求項1記載の通知機能を備えた電子装置。
【請求項3】
前記音声制御手段は、ユーザ
が視聴音を聞くのにヘッドホーンを使用している場合、前記通知音を前記ヘッドホーンの片側のスピーカから出力する、請求項1記載の通知機能を備えた電子装置。
【請求項4】
受信装置で視聴された番組の視聴データを利用して得られる前記受信装置に推奨すべき推奨番組の放送開始時間を含むスケジュールを生成し、前記スケジュールに基づいて、前記推奨番組の前記放送開始時間に対応する通知信号を生成する、通知機能を備えた電子装置の制御方法であって、
音声制御手段が、番組視聴用の視聴音声の出力、および、前記通知信号に基づき、通知音の出力を制御すること、前記通知音を、前記視聴音声から分離して出力すること、
音声認識部が、複数のユーザの音声を識別したテーブルを形成可能で、前記ユーザ毎の前記スケジュールを管理すること、
前記スケジュールに基づいて特定されたユーザへ、前記音声制御手段の制御のもとで前記通知音を出力しても応答がない場合、当該ユーザが所有するスマートフォンまたは直近で音声指示をしたAIインターフェースデバイスへ向けた通知を行うこと、を有する、通知機能を備えた電子装置の制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本実施形態は、通知機能を備えた電子装置及び電子装置の制御方法に係わるものであり、例えばテレビ装置に関連して動作する装置である。
【背景技術】
【0002】
ある番組を視聴しているユーザに対して、当該ユーザの嗜好性にあったお好み番組(或いは推薦番組)が開始される時間帯になると、音声或いはディスプレイ上で当該ユーザに対して、お好み番組が開始されることを通知することができる通知機能を備えたテレビ装置が開発されている。
【0003】
上記通知機能による通知をユーザが認識すると、ユーザは、テレビ装置に対して録画操作を行ったり、或いはチャンネルを切り替えて視聴準備を行ったりすることができる。これによりユーザにとっては、お好み番組を録画することを忘れない効果がある、或いはユーザにとっては、お好み番組を視聴することを忘れない効果がある)
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の通知機能であると、「通知音」が出力されたとしても、テレビ装置から出力されている「番組用の音声」と「前記通知音」とが混合されてしまう。このために、ユーザが明確に「通知音」を認識できない場合がある。また、テレビ装置のディスプレイ上に「通知文字」を表示すると、視聴中の番組の映像の妨げになるという問題がある。
【0006】
そこで、本実施形態では、視聴中の放送番組に関連する音声とは異なる目的の通知音が、ユーザに対して明確に通知されるようにした通知機能を備えた電子装置及び電子装置の制御方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
一実施形態によれば、受信装置で視聴された番組の視聴データを利用して得られる前記受信装置に推奨すべき推奨番組の放送開始時間を含むスケジュールを生成し、前記スケジュールに基づいて、前記推奨番組の前記放送開始時間に対応する通知信号を生成する通知機能を備えた電子装置であって、
番組視聴用の視聴音声の出力、および、前記通知信号に基づき、通知音の出力を制御するものであり、前記通知音を、前記視聴音声から分離して出力する音声制御手段と、を備え、
さらに音声認識部を備え、前記音声認識部は複数のユーザの音声を識別したテーブルを形成可能であり、前記ユーザ毎の前記スケジュールを管理しており、
前記スケジュールに基づいて特定されたユーザへ、前記音声制御手段の制御のもとで前記通知音を出力しても応答がない場合、当該ユーザが所有するスマートフォンまたは直近で音声指示をしたAIインターフェースデバイスへ向けた通知を行う手段を有する、
通知機能を備えた電子装置が提供される。
【図面の簡単な説明】
【0008】
【
図3A】
図3Aは、AIインターフェースデバイスの構成とその一部の機能の動作例を示す説明図である。
【
図3B】
図3Bは、音声認識部若しくはサーバにおいて構築されるデータベースの一例を示す説明図である。
【
図4】
図4は、さらに他の実施形態の要点を示す構成説明図である。
【
図5】
図5は、実施形態における基本動作の一例を説明するフローチャートである。
【
図6】
図6は、
図5の基本動作の続きの基本動作の例を説明するフローチャートである。
【
図7】
図7は、
図6の基本動作の変形例を説明するフローチャートである。
【
図8】
図8は、本実施形態に対して、オプションにより、非常時或いは緊急時対策機能を追加した例を示す説明図である。
【
図9】
図9は、さらに本発明の他の実施形態を示すブロック図である。
【
図10】
図10は、本発明の要部を取り出して示すブロック図である。
【
図11B】
図11Bは、音声制御手段の内部の機能ブロックのさらに他の例を示す図である。
【発明を実施するための形態】
【0009】
以下、実施の形態について図面を参照して説明する。
図1は一実施形態を示すもので100はテレビ装置である。アンテナより受信された放送信号は、チューナ101に入力する。チューナ101は、放送信号からユーザが選択したチャンネルを選択し、該チャンネルの信号を復調し、番組ストリームをデマルチプレクサ102に供給する。チューナ101は、複数のチャンネルを同時受信することができるし、また2K地上波デジタル放送信号、4K/8K衛星放送信号などを選択的に受信・復調を可能とする。
【0010】
デマルチプレクサ102で分離されたビデオストリームは、ビデオデコーダ103でデコードされ、表示器104にて画像表示される。デマルチプレクサ102で分離されたオーディオストリームは、オーディオデコーダ105でデコードされ、スピーカシステム106に入力され、オーディオ信号として出力される。スピーカシステムは、2チャンネル対応、5.1チャンネルマルチステレオ音響、7.1チャンネルマルチステレオ音響、22.2チャンネルマルチチャンネル音響の各方式のいずれでも構わない。
【0011】
ユーザは例えばリモートコントローラを操作して、テレビ装置100に対してチャンネルの選択を実行させることができる。即ち、リモートコントローラを操作すると、リモートコントローラインターフェース(1/F)140を介して、指令信号がテレビ制御部149にて認識される。テレビ制御部149は、テレビ装置100内の各機能ブロックを連携して制御する。テレビ制御部149から出力される制御信号のラインは、点線で示している。なお本システムは、音声指令によりチャンネル選択などを行うこともできるが、後で説明する。
【0012】
デマルチプレクサ102において、番組ストリームから分離された、番組に関する制御信号及び番組情報等は、SI情報解析部111で分離される。またテレビ制御部149で指示されたチャンネル選択或いは番組選択情報に基づく、番組視聴履歴は、視聴データ収集部141にて収集される。
【0013】
しかしチャンネルが選択されて番組が再生されたとしても、ユーザが視聴したかしなかったかの判断は、例えば連続して再生した時間に応じて決定される。例えば連続して5分以上再生した場合は、当該番組をユーザが視聴したものと判断する。
【0014】
番組が視聴された場合は、対応する番組の番組データが番組データ収集部142に蓄積される。番組データは、当該番組のチャンネル、出演者、ジャンル、放送時間帯などである。なお、図示していないが、番組が視聴された場合、当該番組はリアルタイムで放送されている番組に限らず、別途接続されている自動録画装置或いはハードディスクドライブ(HDD)などの記憶媒体から再生された番組についても視聴データに含めてもよい。この場合の番組データは、例えば番組を再生した記憶媒体に記録されているメタデータから収集される。
【0015】
上記視聴データ収集部141の視聴履歴と、番組データ収集部142の番組データとは、嗜好情報解析部143における解析に利用される。視聴履歴としては、例えば1週間分或いは2週間分単位が利用される。例えば1週間分の視聴履歴を用いて1週間分の番組の嗜好傾向が解析され、次の1週間分の視聴履歴を用いて次の1週間分の番組の嗜好傾向が解析されるというように、1週間毎の嗜好情報(嗜好傾向を表す)が検出され、これらが数週間分積み上げられることにより、ユーザが視聴した全体的な番組に対して嗜好の程度の重みづけがなされる。
【0016】
このように、番組に関するユーザの嗜好性が勉強される。つまり、このテレビ装置100を通じて番組を視聴しているユーザは、どのような傾向の番組を好んで視聴する傾向があるかという分析結果が得られる。
【0017】
分析方法や分析結果の表記方法は、各種の方法が可能であり、ここでは、特に限定されるものではない。例えば、嗜好傾向を示す嗜好情報を出演者、プロデューサ、或いは作家など切り口(アスペクト)として、ユーザの好みの傾向(ユーザが興味を持つであろう番組)を見つけ出す方法、ジャンル(ドラマ、メロドラマ、スポーツ、お笑い番組、サスペンス等)を切り口としてユーザの好みの傾向(ユーザが興味を持つであろう番組)を見つけ出す方法、或いはこれらを組み合わせてユーザの好みの傾向(ユーザが興味を持つであろう番組)を見つけ出す方法などがある。
【0018】
嗜好情報解析部143は、ユーザが好む傾向をもつ複数の番組を解析して特定する。嗜好情報解析部143は、例えば、ユーザが番組を視聴した時間長、視聴した回数(シリーズ番組の視聴回数)などから、ユーザの嗜好性の強度を推定し、複数の番組に順位を付けて例えば上位10番組程度から例えば嗜好情報を生成する。このように、嗜好情報解析部143は、例えばジャンルがスポーツであって、チーム名が「ジェフ」であれば視聴者(ユーザ)がよく視聴している、または、ジャンルがドラマであって、出演者として「ジャック」が出演している場合は視聴者(ユーザ)が良く視聴している、などのいわゆる視聴傾向を解析し、視聴傾向の嗜好情報(嗜好データ)を生成する。
【0019】
さらに嗜好情報解析部143は、他に上記と同様な嗜好傾向のデータを生成可能な番組情報を持つ番組が存在するかどうかを番組データ収集部142からサーチする。このサーチされた番組は、おすすめ番組(或いは推薦番組)としてスケジュール対象の番組となる。
【0020】
スケジュール生成部144は、推薦番組が決まった後、当該推薦番組のチャンネル、放送時間(開始―終了)、番組名情報などを番組データ収集部142から取り込み、例えば開始時間の近い番組(直近の番組)から順次配列したテーブルを作成する。その他、推薦番組の決め手となったようなキーワード(例えばアクション、旅、ワイルド等)を当該テーブルの当該推薦番組と紐付して記憶していてもよい。
【0021】
スケジュール生成部144内のデータは、スケジュール制御部145にて常時チェックされている。スケジュール制御部145は、推薦番組の開始時間が近づくと、通知信号を制御部146に送信する。制御部146は、インターフェース(通信部150)を介して、音声出力部602に通知信号を送信する。これにより、スピーカ603が通知音を発して、ユーザ(視聴者)は、推薦番組の開始時間が近づいたことを知ることができる。特に本実施形態では、通知音を発する通知スピーカ603を、番組音声出力(視聴)用のスピーカシステム106とは、別に備えている。この音声出力部602と通知スピーカ603は、1つのスピーカユニットとして構成され、テレビ装置100と有線で接続されてもよいし、Wi-Fi(登録商標)、ブルーツース(登録商法)、などの近距離無線、赤外線などで接続されてもよい。この場合、ユーザは、必ずしもテレビ装置100をその前で視聴している必要はなく、台所や寝室などへユーザは自由に前記スピーカユニットを持ち運び、通知音を聞きやすい箇所にスピーカを置くことができる。
【0022】
上記のスピーカユニットの中には、マイク606、入力処理回路605によるマイクユニットが内蔵されていてもよい。そして、マイク606から入力した音声信号が、通信部150を介して、音声認識部147で認識されて、音声指令信号として作用してもよい。つまり音声指令信号を通じて、チャンネル切り替え、録画の開始・停止、スピーカシステム106の出力制御などが行われるように構成してもよい。
【0023】
上記のように通知スピーカ603は、通知音を発するが、この通知音とともに又はLED素子などの発光手段独自で通知をおこなうようにしてもよい。なおこの場合は、音声制御部146は、音声制御だけでなく、LED点滅制御部を含むことになる。通知音による通知行うか、或いは、光(例えば点滅)で通知を行うか、或いは両方で通知を行うかは、テレビ制御部149に予め設定することで可能である。
【0024】
通知音としては、各種の形態が可能である。例えば、「ピー」と言うようなシンプル音、或いは意味のある発話で「おすすめ番組がそろそろ始まります」でもよい。また通知音は、ユーザが予め好みの「通知音」に設定できるようにしてもよい。さらには、「推薦番組の決め手となったようなキーワード」、例えば出演者や登場人物名、番組名等を音声信号に変換できる機能を有してもよい。
【0025】
なお、先のスピーカ603、及びマイク606は、
図2で示すように、AIインターフェースデバイス(スマートスピーカ(登録商標)、AIスピーカ(登録商標)と称される場合もある)600の内部にあってもよいことは勿論である。AIインターフェースデバイス600の場合、ユーザは、高度な指令を入力することが可能である。
【0026】
AIインターフェースデバイス600は、ボックス内に音声出力部602、スピーカ603、マイク606、入力処理回路605、LED素子609、LED素子609を駆動する駆動回路608、制御部615、電源616を備えてもよい。また操作部610、メモリ611を備える。操作部610は、動作モード切替え(ユーザ登録、テレビ装置、携帯端末などの連携機器の登録モード)、感度切り替え(音声出力レベル、マイク感度など)が可能なタッチパネル式の操作部である。メモリ611には、各種のデータベースを構築することが可能である。
【0027】
ユーザは、通知音を聞いたとき、推薦番組を視聴するか否かについて、応答(回答)することができる。このとき、ユーザが、テレビ装置100の近くに居れば、リモートコントローラを操作して回答することも可能であるし、さらには、ユーザは、マイク606を通じて回答することが可能である。マイク606を通じて回答する場合は、ユーザは、例えば音声指令として、「・・・チャンネルに切り替えて!」と言うような発話を行う。すると、この音声指令は、テレビ装置100の音声認識部147で認識され、テレビ制御部149によって取り込まれる。テレビ制御部149は、音声指令に応じて、チューナ101、デマルチプレクサ102を制御して音声指令に対応した番組選択を行う。勿論、この時の番組は通知音により通知された「推薦番組」であり、その選択タイミングは、推薦番組が開始される時間である。
【0028】
ユーザは、上記の通知音を聞いて、回答をする場合、「今日は、その番組は見ません!」又は「NO!」と言うような「お断り」の回答を行うこともできる。このときは、テレビ装置100は、チャンネルを切り替えることなく、現在の受信チャンネル(或いは現在の状態)を維持する。また後で説明するように、ユーザは、今から推薦番組を視聴するのではなく、録画を指令することも可能である。
【0029】
テレビ装置100は、インターネット通信部131を備えており、外部サーバへ視聴データ(視聴履歴)を送信することも可能である。
【0030】
上記した実施形態は、テレビ装置100の内部で、嗜好情報解析、スケジュールの生成を行った。しかし、テレビ装置100は、インターネット通信部131を備えているので、嗜好情報解析、スケジュールなどを外部サーバへ委託することが可能である。
【0031】
図2は、他の実施形態の構成説明図である。テレビ装置100の内部の構成及びAIインターフェースデバイス600に関して、
図1と共通する部分は、
図1と同一符号を付して説明する。
図2の実施形態では、テレビ装置100内において、
図1の視聴データ収集部141、番組データ収集部142、嗜好情報解析部143、スケジュール生成部144、スケジュール制御部145、音声制御部146、音声認識部147などが省略されている。このためにテレビ装置100としては、構成要素が低減される。このテレビ装置100においては、テレビ装置100が番組を再生した場合、視聴データ作成部121が視聴データを作成する。視聴データは、視聴ログ或いは視聴履歴などと称される場合もある。視聴データは、例えば1週間分或いは2週間分がまとまっていることが好ましい。
【0032】
テレビ装置100は、この視聴データを、インターネット通信部131を介して、サーバ400へ送信する。或いは、サーバ400が定期的(1週間毎、或いは2週間毎)に視聴データを要求してきたときに、該視聴データをサーバへ送信する。テレビ装置100内のその他のブロックは、
図1とほぼ同じであるために、ここでは詳細な説明は省略する。
【0033】
次にサーバ400について説明する。サーバ400は、インターネット通信部402、インターネットを介して受信したデータを処理するデータ処理部401を備える。データ処理部401は、
図1で説明したような音声認識部147を備えてもよい。データ処理部401は、テレビ装置100から送られてきた視聴データを視聴データ収集部403に入力する。また音声認識部147は、認識した音声データによる指令を、システム制御部450に入力する。
【0034】
その他、テレビ装置100から送られてくるデータは、テレビ装置100の識別データなども含むので、これらのデータをデータ処理部401は、システム制御部405に送る。したがって、システム制御部450は、多数のテレビ装置から送られてくるデータを管理することができる。また、システム制御部450は、テレビ装置に関連している個人ユーザ毎のデータを管理することもできるが、この詳細は後で説明する。
【0035】
またサーバ400は、番組データ収集部404を備える。番組データは、例えばインターネット或いは放送受信装置(図示せず)から取得したSI情報の中から抽出されて、番組データ収集部404に格納されている。
【0036】
テレビ装置100から視聴データが送られてきた場合、サーバ400は、その視聴データを視聴データ収集部403に格納する。嗜好情報解析部405は、視聴データと番組データ収集部404の番組データを用いて、視聴された番組の傾向(嗜好性)を解析する。この解析により得られるデータは、テレビ装置100に対する推薦番組(嗜好性の強い番組)を設定するのに有効な嗜好情報(嗜好データ)である。
【0037】
解析された結果の嗜好データを、嗜好データ収集部406が収集する。嗜好データ収集部406は、多数のテレビ装置における番組嗜好性を判断可能な嗜好データを収集することができる。図では、1つのテレビ装置100がサーバ400に接続されているが、実際には多数のテレビ装置がサーバ400に接続可能である。
【0038】
嗜好データ収集部406は、推薦番組が決まった後、テレビ装置100(実際にはテレビ装置100の識別データ)と、このテレビ装置100に対する推薦番組(嗜好性の強い番組)とその番組情報(推薦番組のチャンネル、放送時間(開始―終了)、番組名など)とを紐付して格納する。この嗜好データ収集部406では、多数のテレビ装置のそれぞれへの推薦番組とその推薦番組のチャンネル、放送時間(開始―終了)、番組名などが蓄積されることになる。
【0039】
スケジュール生成部411は、テレビ装置毎に、例えば放送開始時間の近い番組から順次配列したスケジュール(テーブル)を作成する。その他、推薦番組の決め手となったようなキーワードを当該テーブルの対応する推薦番組と紐付して記憶していてもよい。
【0040】
この場合、番組データ収集部404を参照しながら、例えば地域毎の適切な放送時間帯を提供できるように上記スケジュールを作成する。つまり、テレビ装置100が、所在地域を変更し、かつテレビ装置131の所在地域情報をテレビ識別情報が含むような場合は、推薦番組情報の削除或いは追加、新たな作成、修正等が生じる場合があるからである。
【0041】
推薦番組の時間帯が近くなると、スケジュール制御部412は、インターネット通信部402を介して、当該推薦番組の放送開始時間が近いことを適切なAIインターフェースデバイス600に通知する。このときのAIインターフェースデバイス600は、インターネット通信部601を含み、インターネット通信部601は、通知信号を受信したら、音声出力部602へ通知信号を送信する。これにより通知スピーカ603は、通知音を発することができる。通知音としては、各種の形態が可能であり、先に説明したとおりである。また、このAIインターフェースデバイス600は、音声出力部602、スピーカ603、マイク606、入力処理回路605、LED素子609、LED素子609を駆動する駆動回路608、制御部615、電源616を備える。
【0042】
ユーザは、通知音を聞いたとき、推薦番組を視聴するか否かについて、応答(回答)することができる。マイク606を通じて回答することが可能である。ユーザは、マイク606を通じて、例えば音声指令として、「・・・チャンネルに切り替えて!」と言うような発話を行う。すると、この音声指令は、通信インターネット通信部601,402を通じてサーバ400にて認識される。サーバ400は、音声認識部147にて音声指令を理解し、システム制御部450は、インターネット通信部402を介して、テレビ装置100に対してチャンネル選択指示を行うことができる。
【0043】
なお上記の例は、テレビ装置100が推薦番組を選択再生するために、番組選択指令信号をサーバ400を介して受け取った。しかし、
図1に示したように、AIインターフェースデバイス600から直接受け取る構成であってもよい。
【0044】
上記した実施形態では、家庭内で複数のユーザがテレビ装置100を利用する方法については説明していない。しかし本システムは、1つのテレビ装置100を複数のユーザが利用する場合、ユーザ毎に推薦番組を通知することも可能である。
【0045】
本システムでは、AIインターフェースデバイス600は、家庭内の複数のユーザ(例えば父、母、子の音声登録機能を有する。音声登録機能について、以下説明する。
【0046】
図3Aに示すように、制御部615は、音声登録用のアプリケーションを有する。なおこのアプリケーションは、制御部615に備えられているように説明しているが、
図1に示した音声認識器147、或いは
図2のデータ処理部401に備えられている音声認識器147が実行してもよい。この場合は、音声認識器147が、AIインターフェースデバイス600と相互通信を行う。
【0047】
ここでは、アプリケーションは、制御部615に備えられているものとして説明する。今、ユーザが操作部610を操作し、音声登録モードを指定する(S1)。すると、AIインターフェースデバイス600は、例えば「登録ボタンを押したまま、名前を発生してくだい」と言うようにスピーカ603から音声を出力する(S2)。しかし、ユーザが一定期間何もしないと、自動的に終了する(S3)。
【0048】
ユーザが名前を発話した場合、その音声は、マイク606を介して取り込まれる。そして、音声データは、周波数解析器により音声周波数の解析を実行され、この解析結果に基づく、音声特徴量検出器により音声特徴量分布の検出処理を行われる。これにより、音声特徴量分布が、ユーザの音声特徴データとしてメモリ611に登録される(S4、S6)。
【0049】
次に、AIインターフェースデバイス600は、スピーカ606を通じて、例えば「テストします、登録ボタンから指を離して名前を発声してください」と音声出力する(S7)。しかし、ユーザが一定期間何もしないと、自動的に終了する(S8)。
【0050】
ユーザが名前を発話した場合、その音声は、マイク606を介して取り込まれる。そして、先と同様に、音声データは、周波数解析器により音声周波数の解析を実行され、この解析結果に基づく、音声特徴量検出器により音声特徴量分布の検出処理を行われる(S9、S10)。そして音声特徴量分布に対応するユーザの再入力音声特徴データは、先に取り込んでメモリ611に登録されている既登録音声特徴データと比較される(S11、S12)。
【0051】
再入力音声特徴データと既登録音声特徴データとが一致した場合は、AIインターフェースデバイス600は、「あなたの名前が登録されました、処理を終了します」と発話して処理を終了する。再入力音声特徴データと既登録音声特徴データとが不一致の場合は、AIインターフェースデバイス600は、「もう一度やり直してください」と発話して、ステップS2に戻る。なお上記の説明では、ユーザの名前を登録する、と説明したが、ニックネームでも良い。
【0052】
上記のように、本システムは、例えば家庭内の複数のユーザの音声特徴データを登録しておくことができる。このために家庭内に複数のAIインターフェースデバイス600が存在した場合、それぞれのAIインターフェースデバイス600からの音声データが、誰から発したものであるかを判断することも可能である。
【0053】
図3Bは、上記したように家庭内の複数のメンバーの音声特徴データを登録できることから派生する効果を説明するための説明図である。音声認識部147には、ユーザの音声特徴データを登録できるので、各音声特徴データに対して、声識別子(図の例ではVCH1、VCH2,VCH3,VCH4)を付けることができる。そして、声識別子に対して、家庭内のメンバーの名前(図の例では一郎、ゆう子,太郎,花子)(実際には名前の発声データ)を対応させて登録することも可能である。したがって、ユーザの識別番号を指定し、名前発声ボタンを操作して、発声データを再生すれば、家庭内メンバーの名前(一郎、ゆう子,太郎又は花子)がスピーカ603から音として出力され得る。
【0054】
さらに家庭内では複数のAIインターフェースデバイスAI-IF-D1、AI-IF-D2、AI-IF-D3、AI-IF-D4、・・・が用いられることがある。このような場合、本システムでは、例えば音声
認識部147内に
図3Bに示すようなテーブルを構築することができる。即ち、横方向には、ユーザ毎の識別子が配置され、縦方向に各AIインターフェースデバイスAI-IF-D1、AI-IF-D2、AI-IF-D3、AI-IF-D4、・・・が配置される。そして、ユーザが直近にどのAIインターフェースデバイスを使用したか(どのデバイスの近くで発話したか)が分かるようになっている。つまりインターフェースデバイスを介して、各メンバーの所在地情報(各メンバーが最後に居た居場所)を管理し追跡できるようになっている。
【0055】
図の例で説明すると、例えば「一郎(父)」の場合は、AIインターフェースデバイスAI-IF-D1により直近に認識され(直近所在地情報=1)、それより1回前は、AI-IF-D4により認識されている(直近所在地情報=2)。しかし、AIインターフェースデバイスAI-IF-D2、AI-IF-D3では、「一郎(父)」は、認識されていないことになっている(直近=0)。なお、このシステムでは、AIインターフェースデバイスAI-IF-D1により直近に認識された(直近所在地情報=1のデバイス)を除き、他の所在地情報(滞在情報)は、例えば8時間以上経過すると(直近所在地情報=0)に変更される仕組みになっている。新たな所在地情報(=1)がAIインターフェースデバイスAI-IF-D1、AI-IF-D2、AI-IF-D3、AI-IF-D4、・・・の何れかで検出された場合、他のAIインターフェースデバイスの所在地情報は、繰り下がり更新される。つまり、サーバ400又は音声認識部147は、上記した各メンバーが最後に居た居場所を管理できる、このため、サーバ400又は音声認識部147は、上記した通知信号を通知したいメンバーに的確に通知することが可能となる。
【0056】
このように、ユーザを識別可能な場合、次のように、サーバ400又は音声認識部147は、ユーザ毎の視聴履歴を構築することが可能となる。そしてサーバ400又は音声認識部147は、ユーザ毎の嗜好データを構築して、ユーザ毎の「推薦番組」のスケジュール管理が可能となる。またサーバ400又は音声認識部147は、ユーザ(一郎、ゆう子、太郎又は花子)に対して「推薦番組」の通知を行いたい場合は、誰が、AIインターフェースデバイスAI-IF-D1、AI-IF-D2、AI-IF-D3、AI-IF-D4、・・・を直近に使用したかを認識できるので、的確に通知したいユーザ(直近に使用されたAIインターフェースデバイス)に「推薦番組」の通知を行うことができる。
【0057】
図4は、上記のようなテーブル(
図3Bに示した)が構築された場合、通知信号を通知したいメンバーに的確に通知するシステムを説明するための図である。サーバ400aは、音声認識部147を含み、ここに上記したテーブル(
図3Bに示した)を構築している。このサーバ400aは、AIインターフェースデバイス、スマートフォーンなどを登録するユーザ認証サーバ400bと連携している。なおここでサーバ400a,サーバ400bとは、別々のサーバであってもよい。さらに音声認識部147は、サーバ400bに設けられていてもよい。
【0058】
ユーザ認証サーバ400bは、ユーザが新しくスマートフォーン、或いはAIインターフェースデバイスを購入した場合、ユーザがアカウントを取得して、ログイン可能な状態とするためのサーバである。このユーザ認証サーバ400bに、AIインターフェースデバイスがログインすることで、そのAIインターフェースデバイスは、ネットワークを介した各種サービスを受けることができる。したがって、ユーザ認証サーバ400bは、AIインターフェースデバイス812、813を個別に認証し、管理し、通信を行うためのデータを有する。
【0059】
なお、音声認識部147とユーザ認証サーバ400bとは、図では別々に示しているが、これらが一体となっていてもよい。
【0060】
上記したように、サーバ400は、所望のAIインターフェースデバイス812,813を識別することが可能である。このために必要に応じて、サーバ400は、通知信号を送信すべきAIインターフェースデバイス812,813を、
図3Bに示したテーブルを参照することで選択的に指定することができる。
【0061】
また、サーバ400は、所定ユーザに対する「推奨番組」が開始することを通知する場合も、
図3Aで説明した直近所在地情報を参照して、前記所定ユーザが近くに居ると思われるAIインターフェースデバイスへ、通知信号を送ることができる。
【0062】
さらにまた例えばAIインターフェースデバイス813を介して、スマートフォーン814がサーバ400にログイン可能に設定されることもある。このような場合、本システムであると、AIインターフェースデバイス813へ通知信号を送ったが、一定期間応答が無い場合、スマートフォーン814へ通知信号を転送することも可能である。この場合、スマートフォーン814が例えばWi-Fi(登録商標)の電波圏内であれば、ユーザは、スマートフォーン814により「通知音」を聞くことができる。
【0063】
上記した実施形態では、家庭内で複数のユーザが1つのテレビ装置100を利用する場合、ユーザ毎に推薦番組を通知することが可能である。
【0064】
図5は、本システムにおける基本動作を説明するフローチャートである。この図では、視聴者が視聴した番組情報に基づいてスケジュールが生成されること、スケジュール制御がなされることを示している。番組の視聴があると(SA1)、視聴データが収集される(SA2)。収集された視聴データと、番組データを用いて、嗜好情報の解析がなされる(SA3)。視聴した時間帯情報が解析データ(嗜好情報)に含まれてもよい。時間帯情報が嗜好情報に含まれていると、本システムは、ユーザ毎にテレビ装置の使用時間を測定することも可能である。
【0065】
嗜好情報の解析結果が得られた後、ユーザ又はテレビ装置の嗜好性が分かる。この嗜好性を示す第1の嗜好情報と類似する第2の嗜好情報を生成可能な、番組データ収集部142の中の各番組の番組情報から作成或いは抽出可能かどうかが判断される。もし、第1の嗜好情報に類似する第2の嗜好情報が作成できた場合、第2の嗜好情報に対応する番組は、「推薦番組」若しくはその候補となる。「推薦番組」の数が多くなった場合は、嗜好性の強い番組に対応する上位の番組が、「推薦番組」として特定されてもよい(SA4)。
【0066】
次に、スケジュール生成部は、前記推奨番組の放送開始時間を参照して、時間順のスケジュールを作成する(SA5)。スケジュール制御部は、推奨番組の放送開始時間近くになると、音声制御部に通知指令を出力し、音声制御部が通知信号を出力する(SA6,SA7)。
【0067】
図6は、上記の音声制御を実行した後で本実施形態のシステムが実行する処理を示すフローチャートである。システムは、音声制御部146が音声制御を実行した後、レスポンスがあったかどうかの判断を行う(SB1,SB2)。システムは、レスポンスが無いと、複数回の実行を繰り返す(SB3)、そして複数回実行してもレスポンスが無い場合は、不在と判断し(SB4)、処理を終了する。ステップSB2において、ユーザからのレスポンスがあった場合は、レスポンス内容を確認する。
【0068】
即ち、レスポンスが「視聴する」或いは「チャンネルを・・(推薦番組)・・に切り替えて!」であれば、基本的には数十秒あとに開始されるであろう「推薦番組」を受信するための「視聴予約」を実行する(SB8)。この場合、システムは、その前に、「録画もしますか?」というような問い合わせを行ってもよい(SB7)。ここでユーザが、「録画もする」或いは「ハイ」というようなレスポンスを発すると、録画予約を行い(SB12)、次に「視聴予約」を実行する(SB8)。
【0069】
視聴予約と録画予約の2つが設定された場合、システムは、当該番組の開始時間で「番組再生開始」、「番組録画開始」をスタートする。
【0070】
ステップSB6においてレスポンスが無い場合、システムは、「録画して!」のレスポンスがあったかどうかを判断する。「録画して!」のレスポンスがあった場合は、「推薦番組」の録画予約を行い(SB12)、番組スタート時間で録画を開始する(SB13)。レスポンスが無い場合は、システムは処理を終了する。
【0071】
図7は、
図6の基本動作の変形例を説明するフローチャートである。
図6のステップSB3とSB4は、音声制御を実行したあと、ユーザからのレスポンスを待っている場合の処理を示している。N回の音声制御を実行しても、ユーザからレスポンスが無い場合には、ユーザ不在と判定して(SB4)、処理を終了している。
【0072】
しかし、ユーザ不在と判定した(SB4)後、通知方法の設定データをチェックするようにしてもよい。つまり、ステップSB4の次に、不在時の処理が設定されているかどうかを判断する(SD1)。不在時の処理としては、まず例えば通知方法の設定データをチェックすることである(SD2)。
【0073】
不在時の処理としては、例えばユーザのスマートフォーンへ通知する方法(SD21),直近で音声指示を入力したAIインターフェースデバイスへ通知する方法(SD22),または、音声特徴データAを持つユーザのAIインターフェースデバイス及び又はスマートフォーンへ通知する方法(SD23)がある。
【0074】
ステップSD21,SD22は、
図4で説明した手法である。ステップSD23は、たとえば不在時の処置として、特定の人Aを決めておき、少なくとも特定の人Aには通知がとどくように設定する方法である。
【0075】
図8は、オプションにより、非常時或いは緊急時対策機能を追加した例である。音声認識部147に、例外処置ブロック147aを追加してもよい。例えばスマートフォーン814において、特定の音声(例えば非常時発声音(助けてなど))を取り決めて、音声認識部147に登録する。音声認識部147は、非常時発声音を認識すると、例外対処ブロック147aを起動する。この場合、例外対処ブロック147aは、返信として、すべてのAIインターフェースデバイス812,813、816に対して、スマートフォーン814の所有者が非常時であることを「非常通知音」により、一斉に通知することができる。
【0076】
上記した実施形態において、嗜好情報を解析し、ユーザに対する推薦番組を検索する機能がある。しかし、推薦番組が複数あり、この複数の推薦番組の放送時間帯が一部或いは全部重なる場合もある。
【0077】
このような場合の対策として、本システムにおいては、予め、一方(例えば嗜好性のレベルが低い方)は、自動録画として、他方(嗜好性のレベルが高い)を再生する、あるは初期設定する機能を設けてもよい。或いは、自動的に嗜好性のレベルが高い方を推薦番組として決定するように設定する機能、若しくは、設定しなくても自動的に決定する機能を設けてもよい。あま音声による機器操作機能について、一般的にはASR(音声認識部(音声からテキストへの変換)とNLU(自然言語処理)とで構成される。話者特定機能は、一般的には、事前に機器を操作するユーザの声を記憶(学習)しておき、その声との類似度で同一人物と判断する機能である。或いは、ユーザの声の事前学習は行わず、音声コマンドのデータの特徴量(周波数成分など)を用いて、その声の年齢層を推定するという仕組みも考えられる。この場合、正確な年齢の推定までは難しいが、明らかな子供声の場合は視聴制限対象とする一方、明らかな大人の声の場合は視聴制限対象にしないという制御も実現可能である。
【0078】
図9は、さらに本発明の他の実施形態であり、
図2に示した構成と類似している。
図2と同一部分には同一符号を付して説明は省略する。
図2の構成と異なる部分は、音声制御手段160が、サーバ400からの通知信号を受け取ることできる点である。
【0079】
音声制御手段160は、通知信号を受け取ると、通信手段161、620を介してAIインターフェースデバイス600に通知信号を送信することができる。通信手段161、620は、Wi-Fiなどの近距離無線通信手段である。また、音声制御手段160は、オーディオデコーダ105からの視聴用音声信号を受けて、スピーカシステム106に出力している。したがって音声制御手段160は、通知音のための通知信号が入力したとき、視聴用音声信号出力レベルを制御(絞り)して、通知音がユーザに聞き取りやすくなるような制御を行うことができる。なお通信手段161は、AIインターフェースデバイス600との通信を行うように示しているが、
図1に示したスピーカ603が通信手段を備えていれば、
図1の音声制御部146に置き換えてもよい。
【0080】
図10は、上記の実施形態における要部を取り出して示すブロック図である。実施形態によると、受信装置で視聴された番組の視聴データを利用して得られる前記受信装置に推奨すべき推奨番組の放送開始時間を含むスケジュールを生成するスケジュール生成部144(又は411)と、前記スケジュールに基づいて、前記推奨番組の前記放送開始時間に対応する通知信号を生成するスケジュール制御部145(又は412)と、さらに番組視聴用の視聴音声の出力、および、前記通知信号に基づき、通知音の出力を制御する音声制御手段160を備える。そして音声制御手段160は、通知音を、視聴音声から分離して出力する、或いは異なる音場で出力するのである。
【0081】
音声制御手段160は、オーディオデコーダ105からの番組視聴用の視聴音声信号と、
スケジュール制御部145からの通知信号を受け取り、ここで、通知音を通知スピーカ603に出力し、視聴信号をスピーカシステム106に出力することができる。
【0082】
図11Aは、上記音声制御手段160の基本的な機能の例を示している。音声制御手段160は、通知音出力部1601、視聴音声出力部1602を備え、通知音出力部1601が、通知信号に呼応して、通知スピーカ603を駆動する。視聴音声出力部1602は、オーディオデコーダ105からの視聴音声信号をスピーカシステム106に供給する。
【0083】
図11Bは、
図11Aの構成のさらに変形例である。通知音出力部1601が、通知信号に呼応して、視聴音声出力部1602を制御する。すると、視聴音声出力部1602は、予め設定した特定スピーカ若しくは複数の指定スピーカを用いた通知音用音場を形成し、前記特定スピーカ若しくは前記複数の指定スピーカから通知音を出力する。これにより、ユーザは、番組視聴音とは異なる通知音を明確に認識することが可能となる。
【0084】
さらに、ヘッドホーン800が使用されている場合、TV制御部149は、機器使用状態認識部を備え、ヘッドホーン800が使用されていることを認識している。この状況において、通知音出力部1601が、通知信号に呼応した場合、視聴音声出力部1602は、例えばヘッドホーン800の片側のスピーカから、特定の通知音を出力することができる。通知音は、意味を持つ言葉であってもよい。例えば通知音は、「お勧め番組がそろそろ始まります」というような言葉であってもよい。
【0085】
上記した実施形態によると、次のようにその要点をまとめることができる。即ち、
(A-1)実施形態の全体の観点としては、受信装置で視聴された番組の視聴データを利用して得られる前記受信装置に推奨すべき推奨番組の放送開始時間を含むスケジュールを生成するスケジュール生成部144,411と、前記スケジュールに基づいて、前記推奨番組の前記放送開始時間に対応する通知信号を生成するスケジュール制御部145,412と、番組視聴用の視聴音声の出力、および、前記通知信号に基づき、通知音の出力を制御する音声制御手段146と、を備え、
音声制御手段は、通知音を、視聴音声から分離して出力する、ことを特徴とする通知機能を備えた電子装置である。
(A-2)前記音声制御手段が、視聴音声出力手段を介して視聴音声を出力させ、通知音出力手段を介して通知音を出力させる(A-1)記載の通知機能を備えた電子装置である。
(A-3)前記音声制御手段が、複数の前記視聴音声出力手段のうち、少なくとも一部を、前記通知音出力手段として動作制御する、(A-2)記載の通知機能を備えた電子装置である。
(A-4)さらに音声認識部を有し、前記音声認識部は少なくとも1のユーザの音声を識別したテーブルを有し、前記スケジュール生成部は、前記ユーザ毎のスケジュールを生成する、(A-1)記載の通知機能を備えた電子装置である。
(A-5)前記音声認識部は、音声を集音するマイクと前記通知音出力手段を含む少なくとも1のAIインターフェースデバイスと通信可能であり、前記テーブルは、さらに前記通知信号を送信すべき前記AIインターフェースデバイスを管理している、(A-4)記載の通知機能を備えた電子装置である。
(A-6)前記マイクは、前記通知音に対する応答音を集音する(A-1)の通知機能を備えた電子装置である。
(B-1)
図1のテレビ装置、
図2のサーバを含む要素として、受信装置で視聴された番組の視聴データと番組データを用いて、嗜好情報を解析した結果から、前記受信装置に推奨すべき推奨番組の情報と前記推奨番組の放送開始時間を含むスケジュールを生成するスケジュール生成部を持つ。次に前記スケジュールに基づいて、前記推奨番組の前記放送開始時間に先立ち通知信号を出力するスケジュール制御部を備える。スケジュール制御部は、前記通知信号に基づき通知音を出力する通知スピーカを制御するもので、この通知スピーカは、前記受信装置の本体とは異なる場所に設置されている。
(B-2)前記通知スピーカは、前記異なる場所において、前記通知音を出力するものであり、前記スケジュール制御部は、さらに音声制御部を介して、前記通知スピーカに対して、前記受信装置が受信中の番組の音声が出力されるのを低減し、前記通知音のみを出力させることができる。このように構成すると、本システムは、例えばヘッドホーンの片側だけに通知音を出力して、明確に「推奨番組」の通知であることを分からせることができる。或いは、多チャンネルのスピーカシステムであると、「通知音」の定位置を所定の位置に特定させることも可能である。
(B-3)通知スピーカとして、AIインターフェースデバイス(スマートスピーカ)を利用することが可能である。即ち、前記通知スピーカは、前記異なる場所に設置されたボックスの中に収容されており、前記ボックスには、さらに前記通知音に対してユーザが応答する音を集音するマイクが設けられている。ユーザはこの通知スピーカを持ち運び可能であり、ユーザの居場所に対して確実に「通知音」が伝達される。
(B-4)前記通知スピーカ及びユーザが複数あり、
図3Bで説明したように、ユーザ及び通知スピーカの個別管理がなされていた場合、ユーザの居場所に対して確実に通知信号が送信されることになる。
(B-5)前記受信装置、前記スケジュール生成部、スケジュール制御部は、テレビ装置内に設けられていること(
図1)、或いは、インターネットに接続されたサーバ内に設けられること(
図2)を説明したが、両方に設けられてもよく、いずれかを選択できるようにしてもよい。
【0086】
本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。さらにまた、請求項の各構成要素において、構成要素を分割して表現した場合、或いは複数を合わせて表現した場合、或いはこれらを組み合わせて表現した場合であっても本発明の範疇である。また、複数の実施形態を組み合わせてもよく、この組み合わせで構成される実施例も発明の範疇である。また請求項を制御ロジックとして表現した場合、コンピュータを実行させるインストラクションを含むプログラムとして表現した場合、及び前記インストラクションを記載したコンピュータ読み取り可能な記録媒体として表現した場合でも本発明の装置を適用したものである。また、使用している名称や用語についても限定されるものではなく、他の表現であっても実質的に同一内容、同趣旨であれば、本発明に含まれるものである。
【符号の説明】
【0087】
100・・・テレビ装置、101・・・チューナ、102・・・デマルチプレクサ、103・・・ビデオデコーダ、104・・・表示器、105・・・オーディオデコーダ、106・・・スピーカシステム、131・・・インターネット通信部、141・・・視聴データ収集部、142・・・番組データ収集部、143・・・嗜好情報解析部、144・・・スケジュール生成部、145・・・スケジュール制御部、146・・・音声制御部、147・・・音声認識部、149・・・テレビ制御部、600・・・AIインターフェースデバイス、400・・・サーバ、401・・・データ処理部、403・・・視聴データ収集部、404・・・番組データ収集部、405・・・嗜好情報解析部、411・・・スケジュール生成部、412・・・スケジュール制御部。