特許 7051728 対話型ロボット及びその制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-01

(45)【発行日】2022-04-11

(54)【発明の名称】対話型ロボット及びその制御装置

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20220404BHJP

【ＦＩ】

G06Q50/10

【請求項の数】 13

(21)【出願番号】P 2019011172

(22)【出願日】2019-01-25

(65)【公開番号】P2020119364

(43)【公開日】2020-08-06

【審査請求日】2019-12-18

(73)【特許権者】

【識別番号】311012169

【氏名又は名称】ＮＥＣパーソナルコンピュータ株式会社

(74)【代理人】

【識別番号】100112737

【弁理士】

【氏名又は名称】藤田 考晴

(74)【代理人】

【識別番号】100140914

【弁理士】

【氏名又は名称】三苫 貴織

(74)【代理人】

【識別番号】100136168

【弁理士】

【氏名又は名称】川上 美紀

(74)【代理人】

【識別番号】100172524

【弁理士】

【氏名又は名称】長田 大輔

(72)【発明者】

【氏名】梅津 正和

【審査官】緑川 隆

(56)【参考文献】

【文献】特開２０１８－０９８５４５（ＪＰ，Ａ）

【文献】特開２００６－２４５９４１（ＪＰ，Ａ）

【文献】特開２００７－０８８８０３（ＪＰ，Ａ）

【文献】特開２００６－０７４２０７（ＪＰ，Ａ）

【文献】特開２０１８－１８７７１２（ＪＰ，Ａ）

【文献】特開２０１６－０３６８８３（ＪＰ，Ａ）

【文献】特開２０１５－１４８７０１（ＪＰ，Ａ）

【文献】特開２０１６－１８６７４１（ＪＰ，Ａ）

【文献】特開２０１８－１８０４７２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

撮像部を備える対話型ロボットの制御装置であって、
前記対話型ロボットが配置された空間に設置されたコンテンツ表示装置の表示画面に表示されているコンテンツの映像情報を前記撮像部を介して取得し、前記対話型ロボットが配置された空間に複数のユーザがいるか否かを判定する情報取得部と、
複数の前記ユーザがいる場合に、前記映像情報と、ユーザの嗜好に関する情報を含むユーザ情報とに基づいて、前記映像情報に対応して、前記コンテンツを視聴する複数の前記ユーザのうち、予め設定された優先度の最も高いユーザの嗜好に共感する動作である所定の動作を前記対話型ロボットに行わせるための制御指令を生成する制御指令生成部と
を具備する対話型ロボットの制御装置。

【請求項2】

前記ユーザ情報には、ユーザの好きなチームまたは選手の情報が登録されており、
前記制御指令生成部は、前記映像情報に前記ユーザ情報に登録されているユーザの好きなチームまたは選手が含まれていると判定した場合に、ユーザの嗜好に共感する動作を前記対話型ロボットに行わせるための制御指令を生成する請求項１に記載の対話型ロボットの制御装置。

【請求項3】

前記制御指令生成部は、前記映像情報に前記ユーザ情報に登録されているユーザの好きなチームまたは選手が含まれていると判定した場合に、前記映像情報における前記チームまたは選手の競技の進行に応じた前記制御指令を生成する請求項２に記載の対話型ロボットの制御装置。

【請求項4】

前記制御指令生成部は、前記映像情報に含まれる競技の進行に関するパラメータを示した情報を解析することにより、前記ユーザの好きなチームまたは選手の競技の進行に関する情報を取得し、取得した前記情報に応じた前記制御指令を生成する請求項２または３に記載の対話型ロボットの制御装置。

【請求項5】

前記ユーザ情報には、ユーザの好きな人物の情報が登録されており、
前記制御指令生成部は、前記映像情報に前記ユーザ情報に登録されているユーザの好きな人物が含まれていると判定した場合に、前記人物の行動に応じた動作を前記対話型ロボットに行わせるための制御指令を生成する請求項１から４のいずれかに記載の対話型ロボットの制御装置。

【請求項6】

ユーザを識別するための識別情報、ユーザの嗜好に関する情報、及び優先度が互いに関連付けられた複数のユーザ情報が格納されているユーザデータベースを備える請求項１から５のいずれかに記載の対話型ロボットの制御装置。

【請求項7】

前記情報取得部は、前記対話型ロボットが配置された空間にユーザがいるか否かを判定し、前記空間にユーザがいる場合に、前記ユーザ情報と前記映像情報に基づいて前記制御指令を生成する請求項１から６のいずれかに記載の対話型ロボットの制御装置。

【請求項8】

前記情報取得部は、ユーザが前記コンテンツ表示装置の表示画面に表示されているコンテンツを視聴しているか否かを判定し、前記判定の結果と前記ユーザ情報と前記映像情報とに基づいて前記制御指令を生成する請求項１から７のいずれかに記載の対話型ロボットの制御装置。

【請求項9】

前記情報取得部は、前記映像情報に加えて、前記コンテンツ表示装置の表示画面に表示されているコンテンツの音声情報及びネットワーク上で公開されている前記コンテンツの情報の少なくともいずれか一方を取得し、
前記制御指令生成部は、前記情報取得部によって取得された情報を用いて前記制御指令を生成する請求項１から８のいずれかに記載の対話型ロボットの制御装置。

【請求項10】

前記コンテンツ表示装置の表示画面に表示されているコンテンツが録画されたコンテンツである場合に、前記情報取得部は、録画された前記コンテンツの情報をネットワークを通じて取得し、
前記制御指令生成部は、前記コンテンツの情報からイベント発生のタイミングを特定し、前記映像情報における前記イベント発生のタイミングで該イベントに応じた動作を前記対話型ロボットに行わせるための制御指令を生成する請求項１から９のいずれかに記載の対話型ロボットの制御装置。

【請求項11】

撮像部と、
音声を取得する音声取得部と、
音声を出力する音声出力部と、
請求項１から１０のいずれかに記載のロボットの制御装置と
を具備する対話型ロボット。

【請求項12】

撮像部を備える対話型ロボットの制御方法であって、
前記対話型ロボットが配置された空間に設置されたコンテンツ表示装置の表示画面に表示されているコンテンツの映像情報を前記撮像部を介して取得する工程と、
前記対話型ロボットが配置された空間に複数のユーザがいるか否かを判定し、複数の前記ユーザがいる場合に、前記映像情報と、ユーザの嗜好に関する情報を含むユーザ情報とに基づいて、前記映像情報に対応して、前記コンテンツを視聴する複数の前記ユーザのうち、予め設定された優先度の最も高いユーザの嗜好に共感する動作である所定の動作を前記対話型ロボットに行わせるための制御指令を生成する工程と
をコンピュータが実行する対話型ロボットの制御方法。

【請求項13】

撮像部を備える対話型ロボットの制御プログラムであって、
前記対話型ロボットが配置された空間に設置されたコンテンツ表示装置の表示画面に表示されているコンテンツの映像情報を前記撮像部を介して取得するステップと、
前記対話型ロボットが配置された空間に複数のユーザがいるか否かを判定し、複数の前記ユーザがいる場合に、前記映像情報と、ユーザの嗜好に関する情報を含むユーザ情報とに基づいて、前記映像情報に対応して、前記コンテンツを視聴する複数の前記ユーザのうち、予め設定された優先度の最も高いユーザの嗜好に共感する動作である所定の動作を前記対話型ロボットに行わせるための制御指令を生成するステップと
を対話型ロボットに実行させるための制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対話型ロボット及びその制御装置に関するものである。

【背景技術】

【0002】

近年、人と自然な対話を実現することのできる対話型ロボットの開発が進められている。例えば、特許文献１には、相手が発した音声のトーンや相手の表情等から相手の感情を推定し、相手の感情に応じた対話を実現させる対話型ロボットが開示されている。

【0003】

また、対話型ロボットにユーザと共に映像を視聴しているかのようなアクションを行わせるための開発も進められている。例えば、特許文献２には、ソーシャルメディアサーバから視聴中の番組に関するコメントを取得し、ロボットに設定されたパーソナリティと一致するパーソナリティ一致話者のコメントからロボットに発話させる発話内容を決定するとともに、発話内容の対話状態とロボットの感情状態に基づいてロボットに実行させるアクション内容をアクションデータベースから抽出することにより、視聴中の番組の内容に応じたアクションを実行させるロボットの制御方法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－７２８７６号公報

【文献】特開２０１５－１４８７０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献２に開示されている対話型ロボットでは、ロボットがユーザと共に映像を視聴しているかのような感覚をユーザに与えることができる。しかしながら、パーソナリティのコメントが必ずしもユーザの思考と合致するわけではないため、ユーザの考えと異なるアクションをロボットがとる可能性があり、ユーザの共感を得ることが難しい。

【0006】

本発明は、このような事情に鑑みてなされたものであって、ユーザの共感度を向上させることのできる対話型ロボット及びその制御装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の第一態様は、撮像部を備える対話型ロボットの制御装置であって、前記対話型ロボットが配置された空間に設置されたコンテンツ表示装置の表示画面に表示されているコンテンツの映像情報を前記撮像部を介して取得し、前記対話型ロボットが配置された空間に複数のユーザがいるか否かを判定する情報取得部と、複数の前記ユーザがいる場合に、前記映像情報と、ユーザの嗜好に関する情報を含むユーザ情報とに基づいて、前記映像情報に対応して、前記コンテンツを視聴する複数の前記ユーザのうち、予め設定された優先度の最も高いユーザの嗜好に共感する動作である所定の動作を前記対話型ロボットに行わせるための制御指令を生成する制御指令生成部とを具備する対話型ロボットの制御装置である。

【0008】

本発明の参考例は、撮像部を備える対話型ロボットの制御装置であって、前記対話型ロボットが配置された空間に設置されたコンテンツ表示装置の表示画面に表示されているコンテンツの映像情報を前記撮像部を介して取得する情報取得部と、前記映像情報に基づいて競技の進行状況に応じた動作を前記対話型ロボットに行わせるための制御指令を生成する制御指令生成部とを具備する対話型ロボットの制御装置である。

【0009】

本発明の第二態様は、撮像部と、音声を取得する音声取得部と、音声を出力する音声出力部と、上記記載の対話型ロボットの制御装置とを具備する対話型ロボットである。

【0010】

本発明の第三態様は、撮像部を備える対話型ロボットの制御方法であって、前記対話型ロボットが配置された空間に設置されたコンテンツ表示装置の表示画面に表示されているコンテンツの映像情報を前記撮像部を介して取得する工程と、前記対話型ロボットが配置された空間に複数のユーザがいるか否かを判定し、複数の前記ユーザがいる場合に、前記映像情報と、ユーザの嗜好に関する情報を含むユーザ情報とに基づいて、前記映像情報に対応して、前記コンテンツを視聴する複数の前記ユーザのうち、予め設定された優先度の最も高いユーザの嗜好に共感する動作である所定の動作を前記対話型ロボットに行わせるための制御指令を生成する工程とをコンピュータが実行する対話型ロボットの制御方法である。

【0011】

本発明の第四態様は、撮像部を備える対話型ロボットの制御プログラムであって、前記対話型ロボットが配置された空間に設置されたコンテンツ表示装置の表示画面に表示されているコンテンツの映像情報を前記撮像部を介して取得するステップと、前記対話型ロボットが配置された空間に複数のユーザがいるか否かを判定し、複数の前記ユーザがいる場合に、前記映像情報と、ユーザの嗜好に関する情報を含むユーザ情報とに基づいて、前記映像情報に対応して、前記コンテンツを視聴する複数の前記ユーザのうち、予め設定された優先度の最も高いユーザの嗜好に共感する動作である所定の動作を前記対話型ロボットに行わせるための制御指令を生成するステップとを対話型ロボットに実行させるための制御プログラムである。

【発明の効果】

【0012】

本開示によれば、ユーザの共感度を向上させることができるという効果を奏する。

【図面の簡単な説明】

【0013】

【図1】本発明の一実施形態に係る対話型ロボットの外観図である。

【図2】本発明の一実施形態に係る対話型ロボットの電気的構成を概略的に示したブロック図である。

【図3】本発明の一実施形態に係る対話型ロボットの制御装置が有する各種機能の一部を抽出して示した機能ブロック図である。

【図4】本発明の一実施形態に係る対話型ロボットの動作について具体的に説明するための説明図である。

【発明を実施するための形態】

【0014】

以下に、本発明の一実施形態に係る対話型ロボットおよびその制御装置について、図面を参照して説明する。

【0015】

図１は、本発明の一実施形態に係る対話型ロボット１の外観図である。本実施形態に係る対話型ロボット１は、携帯可能なロボットとされ、例えば、頭部２、胴体３、右上腕部４ａ、左上腕部４ｂ、右手部５ａ、左手部５ｂ、右脚部６ａ、左脚部６ｂ、右足部７ａ、及び左足部７ｂを備えている。これらの各構成要素の接続部（以下「関節部」という。）には図示しないモータが設けられており、モータを駆動させることで頭部２、胴体３、右上腕部４ａ、左上腕部４ｂ、右手部５ａ、左手部５ｂ、右脚部６ａ、左脚部６ｂ、右足部７ａ、及び左足部７ｂを動かすことができる。

【0016】

頭部２には、例えば、カメラ（撮像部）１８、マイクロフォン（音声取得部）２２、及びスピーカ（音声出力部）２６が設けられている。また、胴体３にはタッチ入力デバイス２１及びディスプレイ２５を備えるタッチパネル１４が設けられている。また、胴体３には対話型ロボット１の制御を司る制御装置２０等が内蔵されている。なお、これら構成の配置については一例であり、この例に限定されない。例えば、タッチパネル１４は対話型ロボット１の背面に設けられていてもよい。

【0017】

図２は、本発明の一実施形態に係る対話型ロボット１の電気的構成を概略的に示したブロック図である。図２に示すように、対話型ロボット１は、例えば、制御装置２０、通信インターフェース１５、入力部１６、出力部１７及びカメラ１８を備えている。これら各構成はバス１９を介して互いに情報の授受が行える構成とされている。

【0018】

制御装置２０は、例えば、ＣＰＵ１１、ＣＰＵ１１が実行するプログラム及びこのプログラムにより参照されるデータ等を記憶するための補助記憶装置１２、各プログラム実行時のワーク領域として機能する主記憶装置１３を備えている。
補助記憶装置１２として、例えば、ＨＤＤ（Hard Disk Drive）などの磁気ディスク、光磁気ディスク、ＳＳＤ（Solid State Drive）等の半導体メモリ等が一例として挙げられる。

【0019】

後述する各種機能（例えば、図３に示した各種機能）を実現するための一連の処理は、一例として、プログラム（例えば、制御プログラム等）の形式で補助記憶装置１２に記憶されており、このプログラムをＣＰＵ１１が主記憶装置１３に読み出して、情報の加工・演算処理を実行することにより、各種機能が実現される。なお、プログラムは、補助記憶装置１２に予めインストールされている形態や、他のコンピュータ読み取り可能な記憶媒体に記憶された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等が適用されてもよい。コンピュータ読み取り可能な記憶媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等である。

【0020】

通信インターフェース１５は、インターネットに代表されるネットワークに接続され、ネットワークとのインターフェースを図るものである。

【0021】

入力部１６は、ユーザが対話型ロボット１に対して指示を与えるためのユーザインターフェースである。入力部１６の一例として、タッチパネル１４（図１参照）が備えるタッチ入力デバイス２１、マイクロフォン２２等が挙げられる。マイクロフォン２２によって取得された音声信号は音声認識部（図示略）によって解析され、解析結果が例えば制御装置２０に出力される。

【0022】

出力部１７は、制御装置２０によって実行されたアプリケーションソフトウェアプロラムの結果や通信インターフェース１５によって受信された情報をユーザに通知するものであり、一例として、タッチパネル１４が備えるＬＣＤ（Liquid Crystal Display）等のディスプレイ２５、スピーカ２６等が挙げられる。また、出力部１７は、表示情報を投影するプロジェクタを備えていてもよい。

【0023】

図３は、本実施形態に係る制御装置２０が有する各種機能の一部を抽出して示した機能ブロック図である。図３に示すように、制御装置２０は、例えば、情報取得部３２、ユーザデータベース（記憶部）３４、制御指令生成部３６、制御パターンデータベース３８、及びモータ駆動部４０を備えている。

【0024】

情報取得部３２は、例えば、図４に示すように、対話型ロボット１が配置された空間に設置されたコンテンツ表示装置の表示画面５０に表示されているコンテンツをカメラ１８によって撮影することにより取得された映像情報を取得する。
コンテンツ表示装置の一例として、例えば、テレビ受像機、ＴＶチューナー及び通信機能の少なくとも一方を有するパーソナルコンピュータ（例えば、ノートＰＣ、デスクトップＰＣ等）、タブレット端末、スマートフォンなどの携帯電話機等が挙げられる。

【0025】

また、コンテンツは、例えば、地上デジタル放送サービス、ＢＳ（Broadcasting Satellite）、ＣＳ（Communications Satellite）デジタル放送サービスから放送されている番組の他、ユーザが録画した番組、動画配信サービスから配信される動画コンテンツ、又は、インターネット上のサーバに不特定多数のユーザが投稿し、共有し、視聴できる動画サイトのコンテンツ等を含む。

【0026】

ユーザデータベース３４には、ユーザ情報が登録されている。ユーザ情報は、例えば、ユーザの嗜好に関する情報を含んでいる。
例えば、ユーザの嗜好に関する情報の一例として、ユーザの好きなチームの情報、ユーザの好きな選手の情報が挙げられる。チームの情報には、チーム名、競技名、そのチームに所属する選手の名前、背番号、ニックネーム、及びポジション等が含まれていてもよい。また、選手の情報には、競技名、その選手の名前、背番号、ニックネーム、及びポジション等、選手が属するチーム名等が含まれていてもよい。なお、上記は例示であり、これ以外の情報が登録されていてもよい。

【0027】

また、ユーザの嗜好に関する情報の一例として、ユーザの好きな人物の情報、例えば、俳優、タレント、作家、コメンテータ、選手等の名前が挙げられる。
さらに、映像情報を画像解析してこれらの情報が映像情報に含まれているか否かを判定するために、ユーザ情報には、上記人物（選手、俳優、タレント、作家、コメンテータ等）の画像情報等も含まれているとよい。例えば、選手の顔画像や俳優等の顔画像等がその人物の名前と関連付けられて登録されているとよい。

【0028】

上記ユーザ情報は、例えば、ユーザが予め入力部１６を介して入力してもよいし、対話型ロボットとユーザとの間でなされた対話内容から自動的に抽出してもよい。また、ユーザがコンテンツを視聴している際のユーザの表情や発話内容から分析して、ユーザの嗜好情報を抽出し、ユーザ情報に登録することとしてもよい。このようにユーザ情報の取得方法については種々の方法があり、これらを組み合わせて採用することも可能である。

【0029】

また、ユーザ情報は、ユーザを識別できるためのユーザ識別情報を含んでいてもよい。ユーザ識別情報の一例として、ユーザの声の音声データ、ユーザの顔画像、ユーザ名等があげられる。

【0030】

制御指令生成部３６は、情報取得部３２によって取得された映像情報とユーザ情報とに基づいて、ユーザの嗜好に共感する行動を対話型ロボット１に行わせるための制御指令を生成する。

【0031】

例えば、制御指令生成部３６は、映像情報を解析し、映像情報にユーザ情報に登録されているユーザの好きなチームまたは選手が含まれていると判定した場合に、所定の動作を対話型ロボット１に行わせるための制御指令を生成する。例えば、制御指令生成部３６は、映像情報を解析し、ユーザ情報に登録されているユーザの好きなチームまたは選手が表示画面５０に表示されていると判定した場合に、映像情報におけるチームまたは選手の競技の進行状況に応じて、制御指令を生成する。

【0032】

例えば、ユーザの好きなチームが表示画面５０に表示されているか否かは、映像情報を画像処理することにより、ユーザの好きなチーム名やそのチームに属する選手の名前が映像情報に含まれているか否かによって判定することが可能である。また、ユーザの好きな選手が表示画面５０に表示されているか否かは、映像情報を画像処理することにより、ユーザの好きな選手の名前や背番号等が映像情報に含まれているか否かによって判定することが可能である。

【0033】

また、映像情報だけでなく、例えば、対話型ロボット１が備えるマイクロフォン２２から音声データを取得し、音声データを解析することによって、ユーザの好きなチームまたは選手であるか否かを判定することが可能である。また、例えば、通信インターフェース１５を介して電子番組ガイド（Electronic Program Guide）の情報を取得し、現在の放送枠にユーザの好きなチームの試合またはユーザの好きな人物が登場する競技やドラマ等が放映されているか否かの情報も補助情報として使用してもよい。
また、対話型ロボット１から表示画面５０に表示されているコンテンツを問い合わせる対話をユーザと行うことにより、ユーザの好きなチームや人物が表示画面５０に表示されているかを判定することとしてもよい。

【0034】

競技の進行状況については、映像情報を解析し、映像情報に含まれる競技の進行に関するパラメータを示した情報を解析することにより得ることが可能である。競技の進行状況の一例として、例えば、得点を競う競技であれば得点に基づく進行状況、順位を競う競技であれば順位に基づく進行状況、距離を競う競技であれば距離に基づく進行状況、時間を競う競技であれば時間に基づく進行状況、イニング、ゲーム数、セット数、ホール数で進行する競技であればそれらに基づく進行状況、競技時間が決まっている競技であれば残り時間に基づく進行状況、ゴールの場所が決まっている競技であれば、ゴールまでの距離に基づく進行状況、決まった順番で選手が登場するのであればその順序に基づく進行状況等が挙げられる。

【0035】

また、競技の進行に関するパラメータを示した情報の一例として、例えば、野球であれば、得点表、進塁状況、ボールカウント、アウトカウント、イニング、打順等が挙げられ、サッカーであれば、残り時間、ロスタイム、得点等が挙げられ、ゴルフであれば、ユーザが好きな選手の順位、カップイン映像、飛距離、カップまたはグリーンまでの残り距離等が挙げられ、テニスであれば、ゲームカウント、セットカウント、ウィナー映像が挙げられ、水泳や陸上であれば、ゴール間近の映像が挙げられ、フィギュアスケートやスキージャンプであれば、出場順、順位等が挙げられる。

【0036】

上述した競技の進行に関するパラメータを示した情報は、表示態様（形状、画面における表示位置、デザイン等）がパターン化されていることが多いため、画像認識によって容易に認識することが可能である。
また、映像情報に加えて、マイクロフォン２２から取得した音声データを解析することにより、競技の進行を把握することしてもよい。

【0037】

制御パターンデータベース３８には、競技の進行状況と制御指令とが関連付けられており、制御パターンデータベース３８から競技の進行状況に応じた制御指令を選択することにより、競技の進行状況に応じた制御指令を生成することが可能である。また、このような制御パターンを予めデータベースに格納している場合の他、ディープラーニング技術等の人工知能などを用いて、状況に応じた行動パターンを取らせることとしてもよい。これにより、例えば、ユーザの好きなチームが勝っている場合には、うれしそうな行動をとる制御指令を生成したり、負けている場合には、積極的に応援するような行動をとる制御指令を生成することが可能である。また、競技のクライマックス、例えば、競泳ではゴール間近の場合などに白熱した応援を行うような制御指令を生成することとしてもよい。このように、各競技において、どのような進行状況の場合にどのような行動パターンを取らせるのかについては、適宜設定することが可能であるし、人工知能などを用いてその時々で動的に行動パターンを変化させることも可能である。

【0038】

制御指令の一例として、対話型ロボット１の各関節部に設けられた各モータの制御パターンが挙げられる。また、制御指令は、対話型ロボット１から発話させる発話情報を含んでいてもよい。これにより、対話型ロボット１の動作と発話により、ユーザの嗜好に共感する行動を対話型ロボット１に取らせることができる。

【0039】

モータ駆動部４０は、制御指令生成部３６によって生成された制御指令に基づいて各関節部に設けられているモータを駆動する。これにより、所望のパターンで対話型ロボット１を動作させることができる。例えば、ユーザの好きなチームが勝っているときは、楽しいダンスを躍らせたり、ユーザの好きなチームが負けているときには、両手を口に近づけてあたかもチームを応援しているような動作をさせることができる。

【0040】

次に、上述した対話型ロボット１の制御方法について具体例を挙げて図４を参照して説明する。以下の説明では、コンテンツ表示装置の表示画面５０にユーザの好きなチームＡの野球中継が表示され、ユーザが試合を視聴している場合を例示して説明する。

【0041】

このような場合、表示画面５０に表示されている野球中継の映像情報が対話型ロボット１のカメラ１８によって撮影され、映像情報が制御装置２０に出力される。
制御装置２０の情報取得部３２は、カメラ１８によって取得された映像情報を制御指令生成部３６に出力する。制御指令生成部３６は、映像情報を解析し、現在表示されているコンテンツがチームＡとチームＤとの野球の試合であること、チームＡの得点が３点、チームＤの得点が２点であり、チームＡが勝っていることなどの試合の経過情報を取得する。

【0042】

続いて、制御指令生成部３６は、ユーザデータベース３４に格納されているユーザ情報に基づいて、ユーザが好きなチームの試合が表示されているかを確認する。この結果、現在、表示画面５０に表示されているのは、ユーザの好きなチームＡの試合であるので、ユーザの嗜好に合わせ、チームＡの試合経過（競技の進行状況）に応じた行動を対話型ロボット１に取らせる。具体的には、現在のチームＡの得点は３点でありチームＤに勝っているので、制御指令生成部３６は、制御パターンデータベース３８から試合に勝っている場合の制御指令を抽出し、制御指令を生成する。

【0043】

制御指令生成部３６によって生成された制御指令はモータ駆動部４０に出力される。モータ駆動部４０は、制御指令に基づいてモータを駆動させることにより、対話型ロボット１に制御指令に基づく行動を取らせることができる。これにより、例えば、試合に勝っていることを喜ぶ動作等を対話型ロボット１に取らせることができる。

【0044】

そして、上述した各部の処理が繰り返し行われることにより、表示画面５０に表示されている進行状況に応じた反応を対話型ロボット１に取らせることが可能となる。
例えば、ユーザの好きな選手（例えば、ピッチャー）が登板している場合に、その選手を応援するような行動を取らせたり、好きな選手がヒットを打った場合に喜ぶ行動を取らせたりすることができる。

【0045】

このような対話型ロボット１の行動は、いずれも映像情報から取得できる競技の進行状況や場面と、その進行状況や場面に応じた制御パターンが制御パターンデータベース３８に予め格納されていることで実現することができる。

【0046】

また、上記例は、野球中継を例示していたが、例えば、ユーザの好きな人物（例えば、俳優）が出演するドラマが表示画面５０に表示されていた場合には、ユーザの好きな俳優の行動に応じた動作、例えば、その俳優が発したセリフを対話型ロボット１に繰り返させたり、また、ユーザの好きなタレントが出演するバラエティ番組が表示画面５０に表示されていた場合には、ユーザの笑いに合わせて対話型ロボット１も笑うような行動を取らせることとしてもよい。

【0047】

以上、説明してきたように、本実施形態に係る対話型ロボット及びその制御装置によれば、表示画面５０に表示されている映像情報をカメラ１８によって取得し、この映像情報とユーザデータベース３４に格納されているユーザ情報とに基づいて、ユーザの嗜好に応じた行動を取らせるための制御指令を生成し、この制御指令に基づいて対話型ロボット１を制御する。これにより、ユーザの嗜好に応じた行動を対話型ロボット１に取らせることができる。この結果、ユーザの共感度を高めることが可能となる。

【0048】

以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。

【0049】

例えば、上記制御指令生成部３６が生成する制御指令は、対話型ロボット１の動作を制御するための制御指令に限定されず、例えば、コンテンツ表示装置の音量を大きくしたり、対話型ロボット１が配置された空間の照明装置の照度を調整するなど、他の装置を制御するような制御指令を含んでいてもよい。

【0050】

更に、表示画面５０にコンテンツが表示されている場合でも、ユーザがそのコンテンツを視聴しているかどうかはわからない。このため、ユーザがコンテンツを視聴しているか否かに応じて対話型ロボット１がとる行動を変えることとしてもよい。

【0051】

ユーザが視聴しているか否かを判定するためには、例えば、対話型ロボット１が配置された空間をカメラ１８によって撮影し、取得した画像情報の中にユーザの画像情報が含まれているか否かを判定することにより、まず、ユーザがその空間にいるか否かを判定することができる。次に、カメラ１８によって取得された画像情報にユーザの画像情報が含まれていた場合には、ユーザの顔または目線が表示画面５０の方向を向いているか否かによって、コンテンツを視聴しているか否かを判定することができる。

【0052】

そして、ユーザがコンテンツを視聴している場合には、上述したようにユーザの嗜好に共感するような行動を対話型ロボット１に取らせることとすればよい。
また、ユーザがコンテンツを視聴していないと判定した場合には、表示画面５０に表示されているコンテンツの場面に応じてユーザに対して視聴を促すような制御指令を生成することとしてもよい。例えば、コンテンツの映像情報にユーザの好きな選手が含まれている場合や、ユーザの好きな人物（例えば、俳優等）が含まれている場合に、「＊＊選手が打席に立ったよ」、「＊＊投手が登板するよ」、「＊＊選手がヒットを打ったよ」、「＊＊さんが出演しているよ」などのような発話を行わせ、ユーザに視聴を促すこととしてもよい。

【0053】

更に、ユーザが周囲にいない場合には、ユーザがコンテンツを視聴していない場合に発する内容を音声ボリュームを上げて発話させたり、あるいは、予め登録されている所定の宛先に対して視聴を促すようなメッセージを送信することとしてもよい。また、このような行動に代わって、あるいは、加えて、ユーザの嗜好に応じてコンテンツの録画を開始させてもよい。すなわち、好きなチームまたは好きな選手や人物（俳優、タレント等）の画像が映像情報に含まれている場合に、表示画面５０に表示されているコンテンツの録画を開始させることしてもよい。

【0054】

なお、コンテンツ表示装置が配置されている空間にユーザがいるか否かを判定する方法として、上述した画像データを使用する手法以外にも以下の手法を取りうる。
例えば、対話型ロボット１が配置された空間（例えばリビングルーム）やその空間を含む近隣の空間（例えば家の中のその他の部屋）に配置された各種のセンサの出力信号を受信し、受信した出力信号に基づいてユーザの有無を判定することとしてもよい。ここで、各種センサとしては、音センサ、赤外線センサを含む人感センサ、電子機器等に設けられ使用状況に応じた信号を出力するセンサ等が挙げられる。

【0055】

また、対話型ロボット１に備えられたカメラ１８以外の他の撮像部によって取得された画像データに基づいてユーザの有無を判定することとしてもよいし、対話型ロボット１に人感センサが設けられている場合には、その人感センサからの出力に基づいてユーザの有無を判定してもよい。
また、上記各種センサは、単体で配置されていてもよいし、他の機器（コンテンツ表示装置も含む）に内蔵される形で配置されていてもよい。

【0056】

また、表示画面５０に表示されるコンテンツが録画コンテンツの場合には、すでに競技の結果や競技の進行状況がわかっている。この場合には、通信インターフェース１５を介してネットワークに接続し、競技の結果及び競技の進行状況の情報を取得し、これらの情報と映像情報とから制御指令を生成することしてもよい。

【0057】

例えば、録画の場合には、点が入った時刻、ヒットがでた時刻、エラーが発生した時刻等のイベントの発生タイミングを特定することができるので、表示画面５０に表示されている録画コンテンツの進行に合わせて、もうすぐ点数が入りそうである、ヒットが出そうである、エラーが出そうである等のイベントが発生することが把握できる。したがって、このようなイベント発生のタイミングに合わせて、ユーザの視聴を促す動きや発話を行うことで、よりコンテンツ視聴を楽しませることができる。
また、上記イベントの発生については、競技だけでなく、ドラマやその他の番組に関しても該当する。例えば、ドラマであれば、ユーザが好きな俳優が登場するタイミングを特定することができ、このタイミングで登場した俳優の行動に応じた動作を対話型ロボット１に取らせることができる。

【0058】

また、上述した実施形態では、ユーザデータベース３４に一人のユーザに関するユーザ情報が格納されている場合を想定して説明したが、複数のユーザに関するユーザ情報がユーザデータベース３４に格納されていてもよい。
この場合、ユーザ情報には、上述した各種情報に加えて、ユーザの優先度に関する情報が登録されていてもよい。例えば、複数のユーザが同じコンテンツを視聴している場合であって、それぞれのユーザの嗜好が異なる場合、例えば、競合するチームまたは選手をお互いに好きな場合は、どちらの嗜好に応じて対話型ロボット１を制御すればよいのかわからない。このような場合に対応すべく、ユーザの優先順位を予め登録しておき、優先順位の最も高いユーザの嗜好に応じた行動を対話型ロボット１に行わせることとする。
なお、各ユーザの識別は顔画像や声の音声などで判別することが可能である。

【0059】

また、上述した実施形態では、ユーザの嗜好に応じた動作を対話型ロボット１に取らせていたが、例えば、ユーザの嗜好にかかわらず、表示画面に表示されているコンテンツの進行に応じた動作を対話型ロボット１に取らせることとしてもよい。例えば、コンテンツとして競技の映像が表示画面に表示されている場合には、その競技の進行状況に応じた動作を対話型ロボット１に取らせることとしてもよい。ここで、進行状況の例示について上述した通りである。例えば、水泳、陸上等の競技は、一位の選手にかかわらずゴール間近において盛り上がりを見せる。したがって、このような競技の盛り上がりに応じたタイミングで対話型ロボット１に応援するような動作を取らせることにより、ユーザの共感を得ることができる。

【0060】

また、上述した実施形態では、制御装置２０が対話型ロボット１に搭載されている場合を例に挙げて説明したが、制御装置２０は対話型ロボット１とは別個に存在してもよい。例えば、ノートＰＣ、デスクトップＰＣ、タブレット端末、スマートフォンなどの携帯電話機等の情報処理装置に制御装置２０の機能を実現するためのプログラムを搭載させ、情報処理装置と対話型ロボット１とを通信によって接続することにより、情報処理装置から対話型ロボット１を制御するような構成としてもよい。

【符号の説明】

【0061】

１ ：対話型ロボット
２ ：頭部
３ ：胴体
４ａ ：右上腕部
４ｂ ：左上腕部
５ａ ：右手部
５ｂ ：左手部
６ａ ：右脚部
６ｂ ：左脚部
７ａ ：右足部
７ｂ ：左足部
１１ ：ＣＰＵ
１２ ：補助記憶装置
１３ ：主記憶装置
１４ ：タッチパネル
１５ ：通信インターフェース
１６ ：入力部
１７ ：出力部
１８ ：カメラ
１９ ：バス
２０ ：制御装置
２１ ：タッチ入力デバイス
２２ ：マイクロフォン
２５ ：ディスプレイ
２６ ：スピーカ
３２ ：情報取得部
３４ ：ユーザデータベース
３６ ：制御指令生成部
３８ ：制御パターンデータベース
４０ ：モータ駆動部
５０ ：表示画面

【図1】

【図2】

【図3】

【図4】