IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

<>
  • -情報処理方法及び情報処理装置 図1
  • -情報処理方法及び情報処理装置 図2
  • -情報処理方法及び情報処理装置 図3
  • -情報処理方法及び情報処理装置 図4
  • -情報処理方法及び情報処理装置 図5
  • -情報処理方法及び情報処理装置 図6
  • -情報処理方法及び情報処理装置 図7
  • -情報処理方法及び情報処理装置 図8
  • -情報処理方法及び情報処理装置 図9
  • -情報処理方法及び情報処理装置 図10
  • -情報処理方法及び情報処理装置 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2026-03-18
(45)【発行日】2026-03-27
(54)【発明の名称】情報処理方法及び情報処理装置
(51)【国際特許分類】
   G06F 3/01 20060101AFI20260319BHJP
   B60R 11/02 20060101ALI20260319BHJP
【FI】
G06F3/01 510
B60R11/02 C
【請求項の数】 10
(21)【出願番号】P 2022135326
(22)【出願日】2022-08-26
(65)【公開番号】P2024031649
(43)【公開日】2024-03-07
【審査請求日】2025-04-21
(73)【特許権者】
【識別番号】000003997
【氏名又は名称】日産自動車株式会社
(73)【特許権者】
【識別番号】507308902
【氏名又は名称】ルノー エス.ア.エス.
【氏名又は名称原語表記】RENAULT S.A.S.
【住所又は居所原語表記】122-122 bis, avenue du General Leclerc, 92100 Boulogne-Billancourt, France
(74)【代理人】
【識別番号】110002468
【氏名又は名称】弁理士法人後藤特許事務所
(72)【発明者】
【氏名】夏 睿申
(72)【発明者】
【氏名】小野 沙織
【審査官】冨永 昌彦
(56)【参考文献】
【文献】国際公開第2021/075337(WO,A1)
【文献】国際公開第2018/155116(WO,A1)
【文献】特開2020-055348(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
G06F 3/048 - 3/04895
G06T 19/00 - 19/20
B60R 11/02
(57)【特許請求の範囲】
【請求項1】
顔画像を表示する表示装置を有するエージェント機器を用いて、所定の対象物に関する報知情報をユーザに提供する情報処理方法であって、
前記ユーザの動作状態情報に基づいて前記ユーザが前記表示装置を見ていることを判定する判定処理と、
前記判定処理による判定結果に基づいて、前記表示装置の表示態様を制御する制御処理と、を含み、
前記制御処理では、前記ユーザが前記表示装置を見ていないと判定された場合には、前記ユーザの注意を誘導するための第1演出を前記表示装置に実行させ、前記ユーザが前記表示装置を見ていると判定された場合には、前記ユーザの注意を前記対象物の方向に誘導するための演出であって前記対象物の方向に眼を向けている前記顔画像を前記表示装置に表示させる第2演出を前記エージェント機器に実行させた後に、前記表示装置に前記報知情報を表示させる、
情報処理方法。
【請求項2】
顔画像を表示する表示装置と、所定動作により所定方向を指し示すことが可能な指示部とを有するエージェント機器を用いて、所定の対象物に関する報知情報をユーザに提供する情報処理方法であって、
前記ユーザの動作状態情報に基づいて前記ユーザが前記表示装置を見ていることを判定する判定処理と、
前記判定処理による判定結果に基づいて、前記表示装置の表示態様を制御する制御処理と、を含み、
前記制御処理では、前記ユーザが前記表示装置を見ていないと判定された場合には、前記ユーザの注意を誘導するための第1演出を前記表示装置に実行させ、前記ユーザが前記表示装置を見ていると判定された場合には、前記ユーザの注意を前記対象物の方向に誘導するための演出であって前記指示部を用いて前記対象物を指し示す動作である第2演出を前記エージェント機器に実行させた後に、前記表示装置に前記報知情報を表示させる、
情報処理方法。
【請求項3】
請求項1又は2に記載の情報処理方法であって、
前記制御処理では、前記ユーザが前記表示装置を見ていないと判定された場合には、前記ユーザが前記表示装置を見たと判定されるまでの間、前記第1演出を継続して実行する、
情報処理方法。
【請求項4】
請求項に記載の情報処理方法であって、
前記制御処理では、前記ユーザが前記表示装置を見ていないと判定された場合において、前記報知情報の重要度が基準よりも高いときには、前記ユーザが前記表示装置を見たと判定されるまでの間、前記第1演出を継続して実行し、前記報知情報の重要度が基準よりも低いときには、前記第1演出を終了させて前記報知情報の報知を中止させる、
情報処理方法。
【請求項5】
請求項1又は2に記載の情報処理方法であって、
前記制御処理では、前記表示装置に前記報知情報を表示させた後に、当該報知情報に対応する前記ユーザの所定動作がされたか否かを判定し、
当該所定動作がされた場合には、当該報知情報の表示を終了させ、当該所定動作がされていない場合には、当該所定動作がされるまでの間、当該報知情報の表示を継続して行う、
情報処理方法。
【請求項6】
請求項に記載の情報処理方法であって、
前記制御処理では、前記表示装置に前記報知情報を表示させた後に、前記所定動作がされていない場合において、当該報知情報の重要度が基準よりも高いときには、前記所定動作がされるまでの間、当該報知情報の表示を継続して行い、当該報知情報の重要度が基準よりも低いときには、当該報知情報の表示を終了させる、
情報処理方法。
【請求項7】
請求項1又は2に記載の情報処理方法であって、
前記エージェント機器は、回転軸を中心にして前記表示装置を回動可能な機器であり、
前記制御処理では、前記ユーザが前記表示装置を見ていないと判定された場合には、前記第1演出として、前記表示装置を回動させる動作を実行させる、
情報処理方法。
【請求項8】
請求項1又は2に記載の情報処理方法であって、
前記エージェント機器は、車両に設置可能な機器であり、
前記報知情報は、前記車両に設置されている対象物、又は、前記車両の外部に存在する対象物に関する情報である、
情報処理方法。
【請求項9】
顔画像を表示する表示装置を有するエージェント機器を用いて、所定の対象物に関する報知情報をユーザに提供する情報処理装置であって、
前記ユーザの動作状態情報に基づいて前記ユーザが前記表示装置を見ていることを判定する判定部と、
前記判定による判定結果に基づいて、前記表示装置の表示態様を制御する制御部と、を備え、
前記制御部は、前記ユーザが前記表示装置を見ていないと判定された場合には、前記ユーザの注意を誘導するための第1演出を前記表示装置に実行させ、前記ユーザが前記表示装置を見ていると判定された場合には、前記ユーザの注意を前記対象物の方向に誘導するための演出であって前記対象物の方向に眼を向けている前記顔画像を前記表示装置に表示させる第2演出を前記エージェント機器に実行させた後に、前記表示装置に前記報知情報を表示させる、
情報処理装置。
【請求項10】
顔画像を表示する表示装置と、所定動作により所定方向を指し示すことが可能な指示部とを有するエージェント機器を用いて、所定の対象物に関する報知情報をユーザに提供する情報処理装置であって、
前記ユーザの動作状態情報に基づいて前記ユーザが前記表示装置を見ていることを判定する判定部と、
前記判定による判定結果に基づいて、前記表示装置の表示態様を制御する制御部と、を備え、
前記制御部は、前記ユーザが前記表示装置を見ていないと判定された場合には、前記ユーザの注意を誘導するための第1演出を前記表示装置に実行させ、前記ユーザが前記表示装置を見ていると判定された場合には、前記ユーザの注意を前記対象物の方向に誘導するための演出であって前記指示部を用いて前記対象物を指し示す動作である第2演出を前記エージェント機器に実行させた後に、前記表示装置に前記報知情報を表示させる、
情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザに情報を報知する情報処理方法及び情報処理装置に関する。
【背景技術】
【0002】
従来、ユーザとのコミュニケーションを行うことが可能なロボットが存在する。例えば、顔画像を表示する表示装置に文字列等の情報を表示させてユーザとのコミュニケーションを行う機器が提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2019-124855号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述した従来技術では、顔画像を徐々に変化させ、顔画像を完全に隠して文字列等の情報を表示装置に表示させることが可能である。しかし、ユーザが表示装置を見ていない状態で報知すべき情報が表示装置に表示される可能性もある。このような場合には、その情報を適切にユーザに報知することが困難となる。そこで、報知すべき情報を表示する際にユーザの注意を引き、その情報をより適切にユーザに報知することが重要である。
【0005】
本発明は、より適切にユーザに情報を報知することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様は、顔画像を表示する表示装置を有するエージェント機器を用いて、所定の対象物に関する報知情報をユーザに提供する情報処理方法である。この情報処理方法では、ユーザの動作状態情報に基づいてユーザが表示装置を見ていることを判定する判定処理と、判定処理による判定結果に基づいて、表示装置の表示態様を制御する制御処理とを含み、制御処理では、ユーザが表示装置を見ていないと判定された場合には、ユーザの注意を誘導するための第1演出を表示装置に実行させ、ユーザが表示装置を見ていると判定された場合には、ユーザの注意を対象物の方向に誘導するための演出であって対象物の方向に眼を向けている顔画像を表示装置に表示させる第2演出をエージェント機器に実行させた後に、表示装置に報知情報を表示させる。
【発明の効果】
【0007】
本発明によれば、より適切にユーザに情報を報知することができる。
【図面の簡単な説明】
【0008】
図1図1は、車両の車室内の構成例を簡略化して示す図である。
図2図2は、エージェント機器の外観構成の一例を簡略化して示す正面図である。
図3図3は、車両に設置されている情報処理システムのシステム構成の一例を示す図である。
図4図4は、車両に乗車するユーザにシートベルトの着用を報知する場合の報知例を示す図である。
図5図5は、車両に乗車するユーザにシートベルトの着用を報知する場合の報知例を示す図である。
図6図6は、車両に乗車するユーザにシートベルトの着用を報知する場合の報知例を示す図である。
図7図7は、情報処理装置における報知情報出力処理の一例を示すフローチャートである。
図8図8は、車両に設置されている情報処理システムのシステム構成の一例を示す図である。
図9図9は、顔部を左右方向に回動可能なエージェント機器の外観構成例を示す図である。
図10図10は、顔部を上下方向に回動可能なエージェント機器の外観構成例を示す図である。
図11図11は、回動可能な腕部を備えるエージェント機器の外観構成例を示す図である。
【発明を実施するための形態】
【0009】
以下、添付図面を参照しながら本発明の実施形態について説明する。
【0010】
[エージェント機器の設置例]
図1は、車両C1の車室内の構成例を簡略化して示す図である。なお、図1では、運転席、助手席(図示省略)よりも前側を、車両C1の後ろ側から見た場合の外観構成例を示す。また、図1では、説明を容易にするため、ダッシュボード2、ステアリングホイール3、フロントウインド4、バックミラー5、カメラ101、エージェント機器200以外の図示は省略する。
【0011】
エージェント機器200は、車両C1のダッシュボード2上に設置される小型のロボットである。本実施形態では、人間を模したロボットをエージェント機器200とする例を示す。なお、図1では、ダッシュボード2上にエージェント機器200を設置する例を示すが、これに限定されない。例えば、フロントウインド4の上部にエージェント機器200を設置してもよい。また、図1では、人間を模したロボットをエージェント機器200とする例を示すが、これに限定されない。例えば、ウサギ、豚等のような動物を模したロボット、仮想物の生物(例えばアニメのキャラクターの顔)を模したロボット、他の物体(例えばテレビ型の機器、ラジオ型の機器)を模したロボットをエージェント機器200としてもよい。このように、擬生物化されたエージェントをエージェント機器200とすることが可能である。
【0012】
エージェント機器200は、情報処理装置110(図3参照)からの指示に基づいて各種の動作を実行する。例えば、エージェント機器200は、情報処理装置110の制御に基づいて、ユーザU1が運転操作をする際における運転支援に関する各種情報を出力する。この運転支援として、前方又は後方の動体の報知等が想定される。例えば、前方の動体の報知として、「この先踏切だから気を付けてよ」と音声出力したり、「前方に人がいるよ」と音声出力したりすることができる。このように、エージェント機器200は、運転支援を実行する。
【0013】
ここで、報知は、何らかの情報を伝えたり、知らせたりすることを意味する。なお、本実施形態で示す報知については、通知、伝達等と称してもよい。
【0014】
カメラ101は、車両C1の内部の天井に設けられ、車両C1の内部の被写体を撮像して画像(画像データ)を生成するものである。なお、カメラ101は、例えば、被写体を撮像することが可能な1又は複数のカメラ機器や画像センサにより構成される。例えば、フロントウインド4の上部、すなわち、バックミラー5の上側にカメラ101を設けることができる。なお、図1では、少なくとも1つのカメラ101を備える例を示すが、2以上の撮像装置を備え、これらの撮像装置のうちの全部又は一部の画像を用いてもよい。また、各撮像装置の設置場所については、図1に示す例に限定されず、適宜変更可能である。また、車両C1の全方位に存在する被写体と、車両C1の内部の被写体とを取得可能な1又は複数の機器、例えば、360度カメラを用いてもよい。
【0015】
[エージェント機器の外観構成例]
図2は、エージェント機器200の外観構成の一例を簡略化して示す正面図である。本実施形態では、エージェント機器200がオン状態である場合には、顔画像、報知情報等が表示部210に表示される例を示す。なお、車両C1のオン操作に応じて、エージェント機器200をオン状態とすることが可能である。また、エージェント機器200に関するユーザ操作に応じて、エージェント機器200をオン状態とすることが可能である。なお、車両C1のオンオフ操作は、車両C1の起動又は停止に関するスタートキーのオン操作又はオフ操作を意味する。
【0016】
図2(A)には、通常状態のエージェント機器200の正面図を示す。エージェント機器200は、略箱状の身体部202と、略箱状の顔部201とが連結部203を介して上下方向に並べて構成される。また、顔部201には、各種画像を表示する表示部210が設けられている。身体部202の表面には、身体を示す身体画像が表示される。表示部210として、例えば、発光シート、液晶表示器、有機EL(Electro Luminescence)等の各種表示媒体を使用可能である。また、連結部203は、生物の首に相当する部分として認識される。
【0017】
顔部201の表示部210には、エージェントの顔を構成する各部、例えば、眼部211、鼻部212、口部213が表示される。本実施形態では、車両C1のダッシュボード2上に、眼部211が車内側を見る方向にエージェント機器200が設置される例を示す。また、エージェント機器200の表示部210が設けられている側をエージェント機器200の前側と称し、エージェント機器200の前側とは反対側をエージェント機器200の後側と称して説明する。また、エージェント機器200において、図2の左側をエージェント機器200の右側と称し、図2の右側をエージェント機器200の左側と称して説明する。
【0018】
図2(B)には、顔部201の各部が左側を向いている状態のエージェント機器200の正面図を示す。図2(C)には、顔部201の各部が右側を向いている状態のエージェント機器200の正面図を示す。図2(B)に示すように、眼部211を左側に移動させるとともに、眼部211の黒眼部分を左側に寄せ、口部213を上下方向に長い楕円形とすることにより、左側を向いている顔部201の表情とすることが可能である。また、図2(C)に示すように、眼部211を右側に移動させるとともに、眼部211の黒眼部分を右側に寄せ、口部213を上下方向に長い楕円形とすることにより、右側を向いている顔部201の表情とすることが可能である。
【0019】
図2(D)には、顔部201の各部が怒っている状態のエージェント機器200の正面図を示す。図2(D)に示すように、眼部211を上下方向に長い楕円形とするとともに、眼部211の黒眼部分を下側に寄せ、口部213を上下方向に長い楕円形とすることにより、怒っている顔部201の表情とすることが可能である。また、注意を喚起するための感嘆符画像214を表示したり、怒りの音声情報S1を出力したりすることにより、さらに怒っている状態を表現することが可能である。また、感嘆符画像214を表示することにより、驚いている状態を表現することが可能である。すなわち、図2(D)に示す顔部201の表情は、驚いている顔部201の表情としても把握することが可能である。
【0020】
このように、感嘆符画像214等の各種画像を用いた演出を実行することにより、ユーザU1の注意をさらに引くことが可能となる。また、感嘆符画像214等の画像以外の他の手段による演出、例えば、音声を用いた演出、エージェント機器200の各部の動きを用いた演出等の各種演出を実行して、ユーザU1の注意を引いてもよい。エージェント機器200の各部の動きを用いた演出については、図8乃至図11を参照して詳細に説明する。
【0021】
なお、これらのエージェント機器200の形状、表示態様、音声出力態様は、一例であり、他の形状、表示態様、音声出力態様とすることも可能である。また、図2では、顔部201及び身体部202を別体として構成する例を示すが、顔部201及び身体部202を一体の筐体として構成してもよい。
【0022】
[情報処理システムの構成例]
図3は、車両C1に設置されている情報処理システム100のシステム構成の一例を示す図である。
【0023】
情報処理システム100は、カメラ101と、位置情報取得センサ102と、音声入力部103と、センサ類104と、情報処理装置110と、エージェント機器200とを備える。なお、情報処理装置110及びエージェント機器200は、有線通信又は無線通信を利用した通信方式によって接続される。また、情報処理装置110は、無線通信を利用した通信方式によってネットワーク20に接続されている。ネットワーク20は、公衆回線網、インターネット等のネットワークである。なお、エージェント機器200についても、無線通信を利用した通信方式によってネットワーク20に接続してもよい。なお、図3では、情報処理装置110及びエージェント機器200を別体として構成する例を示すが、情報処理装置110及びエージェント機器200を一体の機器として構成してもよい。
【0024】
カメラ101は、情報処理装置110の制御に基づいて、被写体を撮像して画像(画像データ)を生成するものであり、生成された画像に関する画像情報を情報処理装置110に出力する。カメラ101は、車両C1のうちの少なくとも内部に設けられ、車両C1の内部の被写体を撮像して画像(画像データ)を生成する。なお、図1では、車両C1の内部に設けられているカメラ101を示す。上述したように、カメラ101は、例えば、被写体を撮像することが可能な1又は複数のカメラ機器や画像センサにより構成される。例えば、1つのカメラ101を車両C1の前方に設け、車両C1の前方からの被写体を撮像して画像(画像データ)を生成してもよく、他のカメラ101を車両C1の後方に設け、車両C1からの後方の被写体を撮像して画像(画像データ)を生成してもよい。
【0025】
位置情報取得センサ102は、車両C1が存在する位置に関する位置情報を取得するものであり、取得された位置情報を情報処理装置110に出力する。例えば、GNSS(Global Navigation Satellite System:全球測位衛星システム)を利用して位置情報を取得するGNSS受信機により実現できる。また、その位置情報には、GNSS信号の受信時における緯度、経度、高度等の位置に関する各データが含まれる。また、他の位置情報の取得方法により位置情報を取得してもよい。例えば、周囲に存在するアクセスポイントや基地局からの情報を用いて位置情報を導き出してもよい。また、ビーコンを用いて位置情報を取得してもよい。例えば、位置情報取得センサ102により取得された情報に基づいて、車両C1の状態、例えば、走行中、停止中、後進中を判定可能である。
【0026】
また、例えば、車両C1の外部に存在する施設、例えば珈琲店の付近に車両C1が存在することを位置情報取得センサ102により取得された位置情報に基づいて判定可能である。
【0027】
音声入力部103は、車両C1の内部に設けられ、情報処理装置110の制御に基づいて、車両C1の内部の音を取得するものであり、取得された音に関する音情報を情報処理装置110に出力する。音声入力部103として、例えば、1又は複数のマイクや音取得センサを用いることができる。
【0028】
センサ類104は、車両C1に設置されている各種のセンサであり、各センサにより取得された検出情報を情報処理装置110に出力する。センサ類は、例えば、人感センサ、距離センサ、車速センサ、加速度センサ、着座センサ、シートベルトセンサ、ドアセンサ等である。なお、これらは一例であり、他のセンサを用いてもよい。また、これらのうちの一部のセンサのみを用いてもよい。
【0029】
人感センサは、車両C1の内部に存在する人の有無、人数、位置、状態等を検出するセンサである。例えば、赤外線、超音波、可視光、撮像素子等を用いる人感センサを用いることが可能である。例えば、運転席、助手席、後部座席の何れかに人が着座している場合には、その人の存在を人感センサにより検出可能である。また、人感センサ及び着座センサの双方を用いることにより、各座席の着座状態の検出精度を高めることが可能である。
【0030】
距離センサは、車両C1の内部に存在する人までの距離、報知対象物までの距離等を検出するセンサである。例えば、測距センサ等の各種センサを距離センサとして用いることが可能である。
【0031】
着座センサ(又はシートセンサ)は、車両C1の各座席に着座している乗員の有無を検出するセンサである。シートベルトセンサは、車両C1の各座席に着座している乗員がシートベルトを着用しているか否かを検出するセンサである。ドアセンサは、車両C1の各ドアが半ドアであるか否かを検出するセンサである。これらの各センサについては、公知のセンサを用いることが可能である。
【0032】
情報処理装置110は、制御部120と、記憶部130と、通信部140とを備える。通信部140は、制御部120の制御に基づいて、有線通信又は無線通信を利用して、他の機器との間で各種情報のやりとりを行うものである。
【0033】
制御部120は、記憶部130に記憶されている各種プログラムに基づいて各部を制御するものである。制御部120は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等の処理装置により実現される。例えば、GPUを用いて画像処理を実行することにより演算速度を速めることが可能である。また、GPUを用いて並列演算を実行することにより演算速度をさらに速めることが可能である。なお、車両C1の車両ECU(Electronic Control Unit)を制御部120としても使用してもよく、車両ECUとは異なる処理装置を制御部120として設けてもよい。なお、制御部120は、文字を音声に変換する変換機能を備える。この変換機能は、例えば、TTS(Text to Speech)により実現される。
【0034】
制御部120は、カメラ101、位置情報取得センサ102、音声入力部103、センサ類104、通信部140等から出力された各情報に基づいて、エージェント機器200の動作状態を制御する制御処理を実行する。具体的には、制御部120は、動作状態判定部121と、エージェント制御部122とを備える。
【0035】
動作状態判定部121は、車両C1に乗車する乗員の動作状態を判定するものであり、その判定結果をエージェント制御部122に出力する。乗員の動作状態として、例えば、車両C1の乗員の視線、車両C1の乗員の顔の向き、車両C1の乗員の着座位置、車両C1の乗員の着座状態、等が判定される。
【0036】
例えば、動作状態判定部121は、カメラ101により取得された画像に基づいて、その画像に含まれる車両C1の乗員の視線を検出し、その視線の方向を特定する。また、例えば、動作状態判定部121は、カメラ101により取得された画像に基づいて、その画像に含まれる車両C1の乗員の顔の向きを検出し、その顔の方向を特定する。これらの視線検出、顔の向き検出については、公知の画像認識技術を用いることが可能である。なお、視線計測が可能な他の機器、例えば視線計測装置を用いてユーザU1の視線、顔の向きを検出してもよい。例えば、ユーザU1が装着可能な眼鏡にカメラ101を設け、このカメラ101により取得された画像に基づいて、ユーザU1の視線を検出してもよい。この場合には、例えば、カメラ101により取得された画像に含まれるユーザU1の黒眼の位置に基づいて、ユーザU1の視線を検出可能である。なお、本実施形態では、車両C1の乗員の動作状態として、車両C1の乗員の視線を用いる例を示す。
【0037】
エージェント制御部122は、動作状態判定部121による判定結果と、カメラ101、位置情報取得センサ102、音声入力部103、センサ類104、通信部140等から出力された各情報とに基づいて、エージェント機器200の動作状態を制御するものである。例えば、エージェント制御部122は、擬生物化されたエージェントの顔を構成する各部(眼部211、鼻部212、口部213)を表示部210に表示させる。また、エージェント制御部122は、車両C1の乗員に報知すべき情報(報知情報)を表示部210に表示させる。また、エージェント制御部122は、擬生物化されたエージェントの音声、車両C1の乗員に報知すべき情報に対応する音声等を音出力部220から出力させる。
【0038】
例えば、エージェント制御部122は、眼部211を向ける方向を計算し、その方向を向いている眼部211を表示部210に表示させるための視線制御を実行する。なお、眼部211を向ける方向は、例えば、報知情報に対応する対象物が存在する方向である。例えば、運転席のシートベルトの着用に関する報知情報である場合には、その報知情報に対応する対象物は、運転席のシートベルトである。この場合に、眼部211を向ける方向は、運転席のシートベルトの方向となる。このように、エージェント制御部122は、眼部211の位置を制御する視線制御部として機能する。
【0039】
また、エージェント制御部122は、表示部210に表示させる報知情報と、音出力部220から出力させる報知情報とを決定し、それらの報知情報を出力させる制御を実行する。なお、車両C1の内部に存在する対象物に関する報知情報については、報知情報DB132に格納されている。また、これらの各報知情報の出力例については、図4乃至図6図9乃至図11に示す。例えば、半ドアに関する報知情報である場合には、ドアを示す画像を報知情報として表示し、シートベルトの着用に関する報知情報である場合には、シートベルトを示す画像を報知情報として表示する。
【0040】
記憶部130は、各種情報を記憶する記憶媒体である。例えば、記憶部130には制御部120が各種処理を行うために必要となる各種情報(例えば、制御プログラム、エージェント情報DB131、報知情報DB132、地図情報DB133)が記憶される。また、記憶部130には、通信部140を介して取得された各種情報が記憶される。記憶部130として、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、SRAM(Static Random Access Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)、又は、これらの組み合わせを用いることができる。
【0041】
エージェント情報DB131には、エージェント機器200の各種動作を実現するために必要となる情報が格納されている。例えば、表示部210に表示される顔画像情報(例えば、眼部211、鼻部212、口部213)と、音出力部220から出力される音声情報とがエージェント情報DB131に格納される。
【0042】
報知情報DB132には、車両C1の内部又は外部に存在する対象物に関する報知情報を出力するために必要となる情報が格納されている。例えば、半ドアに関する報知情報である場合には、ドアを示す画像情報と半ドアを報知するための音声情報とが報知情報として報知情報DB132に格納される。また、例えば、シートベルトの着用に関する報知情報である場合には、シートベルトを示す画像情報とシートベルトの着用を報知するための音声情報とが報知情報として報知情報DB132に格納される。
【0043】
地図情報DB133には、車両C1の経路案内に必要となる道路に関する道路情報等の地図情報が格納されている。その地図情報には、道路の勾配、道路の交差点、道路の車線数、道幅情報、道路の起伏情報が含まれる。また、地図情報には、速度制限、一方通行等を示す道路標識、横断歩道、区画線等を示す道路標示も含まれる。また、地図情報には、道路構造物(例えば信号機、電信柱)、建物等の施設情報、周囲の観光案内情報等を含めてもよい。なお、エージェント情報DB131、報知情報DB132、地図情報DB133については、車両C1が備える記憶部130に記憶して用いてもよく、ネットワーク20を介して外部機器から取得して用いてもよい。
【0044】
エージェント機器200は、情報処理装置110からの指示に基づいて各種動作を実行するロボット機器である。エージェント機器200は、表示部210及び音出力部220を備える。なお、表示部210及び音出力部220は、エージェント機器200が備える制御部(図示省略)に基づいて制御される。
【0045】
表示部210は、情報処理装置110からの指示に基づいて、各種画像を表示する表示部である。なお、表示部210として、例えば、有機EL(Electro Luminescence)パネル、LCD(Liquid Crystal Display)パネル等の表示パネルを用いることができる。なお、表示部210については、使用者がその指を表示面に接触又は近接することにより操作入力を行うことが可能なタッチパネルとして構成してもよく、別体のユーザインタフェースとして構成してもよい。
【0046】
音出力部220は、情報処理装置110からの指示に基づいて、各種音声を出力するものである。音出力部220として、例えば、1又は複数のスピーカを用いることができる。なお、表示部210及び音出力部220は、ユーザインタフェースの一例であり、これらのうちの一部を省略してもよく、他のユーザインタフェースを用いてもよい。
【0047】
ここで、ダッシュボード2上に設置されたエージェント機器200は、擬生物化された3次元のロボットであるため、車両C1の乗員に認識される存在感が高いと想定される。このため、例えば、何らかの情報を車両C1の乗員に報知する場合には、エージェント機器200を用いて報知をすることが考えられる。例えば、報知情報を表示部210に表示させて車両C1の乗員に通知することが考えられる。しかし、車両C1の乗員が表示部210を見ていない状態で報知情報が表示部210に表示される可能性もある。このような場合には、その報知情報を適切に車両C1の乗員に伝えることが困難となる。
【0048】
そこで、本実施形態では、車両C1の乗員が表示部210を見ているか否かを判定し、車両C1の乗員が表示部210を見ていないと判定された場合には、車両C1の乗員の注意を誘導するための演出を表示部210に実行させ、車両C1の乗員の注意を表示部210に引くようにする。そして、車両C1の乗員の注意が表示部210に向き、車両C1の乗員が表示部210を見ていると判定された場合には、表示部210に報知情報を表示するようにする。なお、車両C1の乗員が表示部210を見ていると最初に判定された場合についても同様に、表示部210に報知情報を表示する。このように、報知情報を表示部210に表示する際に、車両C1の乗員の注意を引くことが可能であるため、その報知情報をより適切に車両C1の乗員に報知することができる。
【0049】
[シートベルトの着用を報知する例]
図4乃至図6は、車両C1に乗車するユーザU1にシートベルトの着用を報知する場合の報知例を示す図である。なお、ユーザU1は、車両C1の運転席に乗車しているドライバであるものとする。
【0050】
[エージェント機器の顔画像を見ているユーザにシートベルトの着用を報知する例]
図4には、車両C1の運転席に乗車しているユーザU1に対してシートベルトの着用を報知する場合の報知例を示す。また、図4では、矢印A1(図4(A)参照)に示すように、エージェント機器200の表示部210に表示されている顔画像をユーザU1が見ている場合の報知例を示す。
【0051】
動作状態判定部121は、カメラ101により取得された画像に基づいて、ユーザU1の視線A1を検出し、その視線A1の方向を特定する。すなわち、動作状態判定部121は、ユーザU1がどこを見ているかを判定する。
【0052】
次に、エージェント制御部122は、動作状態判定部121により判定されたユーザU1の視線A1が、エージェント機器200の表示部210の方向を向いているか否かを判定する。そして、ユーザU1の視線A1がエージェント機器200の表示部210の方向を向いている場合には、エージェント制御部122は、ユーザU1の視線A1を対象物に誘導する演出をエージェント機器200に実行させる。なお、図4(A)に示す例では、報知対象となる対象物は、ユーザU1のシートベルトであるため、図2(B)に示す例と同様に、エージェント制御部122は、顔部201の各部がユーザU1側を向くように、表示部210の表示状態を制御する。具体的には、眼部211の視線A2がユーザU1の方向を向くように、顔画像(眼部211、鼻部212、口部213)が表示部210に表示される。このように、エージェント制御部122は、ユーザU1の視線を対象物に誘導するための演出を表示部210に実行させる。なお、報知対象となる対象物がユーザU1の方向に存在するもの(例えばユーザU1のシートベルト)である場合において、ユーザU1の視線A1が表示部210の方向を向いているときには、ユーザU1の視線を対象物に誘導する演出を省略してもよい。この場合において、ユーザU1の視線A1が表示部210の方向を向いていると判定されたときには、ユーザU1の視線を対象物に誘導する演出を省略し、報知情報を出力する出力処理(図4(B)参照)を実行する。
【0053】
次に、表示制御部123は、報知情報を出力する出力処理を実行する。具体的には、図4(B)に示すように、表示制御部123は、シートベルトの着用を報知するための報知画像400を表示部210に表示させるとともに、シートベルトの着用を報知するための音声情報S2を出力させる。この場合に、ユーザU1の視線A3がエージェント機器200の表示部210の方向を向いているため、矢印A4に示すように、報知画像400をより適切にユーザU1に報知することができる。
【0054】
このように、ユーザU1に対してシートベルトの着用を報知するための報知情報を表示部210に表示する際に、ユーザU1の注意を引くことが可能であるため、その報知情報をより適切にユーザU1に報知することができる。
【0055】
[エージェント機器の顔画像を見ていないユーザにシートベルトの着用を報知する例]
図5には、車両C1の運転席に乗車しているユーザU1に対してシートベルトの着用を報知する場合の報知例を示す。また、図5では、矢印A12(図5(A)参照)に示すように、エージェント機器200の表示部210に表示されている顔画像をユーザU1が見ていない場合の報知例を示す。
【0056】
図4と同様に、動作状態判定部121は、カメラ101により取得された画像に基づいて、ユーザU1の視線A12を検出し、その視線A12の方向を特定する。
【0057】
次に、エージェント制御部122は、動作状態判定部121により判定されたユーザU1の視線A12が、エージェント機器200の表示部210の方向を向いているか否かを判定する。そして、ユーザU1の視線A12がエージェント機器200の表示部210の方向を向いていない場合には、エージェント制御部122は、ユーザU1の注意を誘導する演出をエージェント機器200に実行させる。この例を図5(B)に示す。
【0058】
具体的には、図2(D)に示す例と同様に、エージェント制御部122は、各部が怒っている状態の顔画像となるように、表示部210の表示状態を制御する。具体的には、眼部211の視線A15がユーザU1の方向を向くように、顔画像(眼部211、鼻部212、口部213)が表示部210に表示される。また、エージェント制御部122は、怒りの音声情報S1を音出力部220から出力させる制御を実行する。このように、エージェント制御部122は、ユーザU1の注意を表示部210に誘導するための演出をエージェント機器200に実行させる。なお、ユーザU1の注意を表示部210に誘導するための演出については、表示部210を用いた表示のみで実行してもよく、音出力部220を用いた音声出力のみで実行してもよい。また、他の手段、例えば、顔部201自体の動き(例えば、図9図10参照)を用いて実行してもよい。
【0059】
図5(B)に示すように、怒っている状態の顔画像が表示部210に表示され、怒りの音声情報S1が出力されたことに応じて、ユーザU1がエージェント機器200の表示部210を向くようになることが想定される。すなわち、ユーザU1の注意を表示部210に誘導する演出により、エージェント機器200の表示部210の方向を向いていなかったユーザU1が、矢印A13に示すように、エージェント機器200の表示部210の方向を向くことが想定される。この場合には、動作状態判定部121は、カメラ101により取得された画像に基づいて、ユーザU1の視線A14を検出し、その視線A14の方向を特定する。これにより、エージェント制御部122は、動作状態判定部121により判定されたユーザU1の視線A14が、エージェント機器200の表示部210の方向を向いていると判定する。
【0060】
このように、ユーザU1の視線A14がエージェント機器200の表示部210の方向を向いた場合には、エージェント制御部122は、ユーザU1の視線A14を対象物に誘導する演出をエージェント機器200に実行させる。具体的には、図4(A)に示す例と同様に、エージェント制御部122は、顔画像がユーザU1側を向くように、表示部210の表示状態を制御する。この例を図5(C)に示す。なお、図5(C)に示す例については、図4(A)と同様であるため、説明を省略する。
【0061】
次に、表示制御部123は、図5(D)に示すように、報知情報を出力する出力処理を実行する。具体的には、図4(B)に示す例と同様に、表示制御部123は、シートベルトの着用を報知するための報知画像400を表示部210に表示させるとともに、シートベルトの着用を報知するための音声情報S2を出力させる。この場合に、ユーザU1の視線A18がエージェント機器200の表示部210の方向を向いているため、矢印A19に示すように、報知画像400をより適切にユーザU1に報知することができる。
【0062】
このように、表示部210を向いていないユーザU1に対してシートベルトの着用を報知するための報知情報を表示部210に表示する際に、ユーザU1の注意を表示部210に誘導するための演出を実行する。これにより、表示部210にユーザU1の注意を引くことが可能であるため、その報知情報をより適切にユーザU1に報知することができる。
【0063】
[エージェント機器の顔画像を見ているユーザに他者のシートベルトの着用を報知する例]
図6には、車両C1の運転席に乗車しているユーザU1に対して、ユーザU1の後方の後部座席に乗車しているユーザのシートベルトの着用を報知する場合の報知例を示す。また、図6では、矢印A21(図6(A)参照)に示すように、エージェント機器200の表示部210に表示されている顔画像をユーザU1が見ている場合の報知例を示す。
【0064】
図4と同様に、動作状態判定部121は、カメラ101により取得された画像に基づいて、ユーザU1の視線A21を検出し、その視線A21の方向を特定する。
【0065】
次に、エージェント制御部122は、動作状態判定部121により判定されたユーザU1の視線A21が、エージェント機器200の表示部210の方向を向いているか否かを判定する。そして、ユーザU1の視線A21がエージェント機器200の表示部210の方向を向いている場合には、エージェント制御部122は、ユーザU1の視線A21を対象物に誘導する演出をエージェント機器200に実行させる。この動作例を図6(B)に示す。
【0066】
なお、図6では、報知対象となる対象物は、ユーザU1以外の他のユーザのシートベルトであるため、エージェント制御部122は、そのシートベルトの方向を顔画像が向くように、表示部210の表示状態を制御する。なお、図6(B)では、説明を容易にするため、ユーザU1の後方の後部座席の位置(ユーザU1の後方の後部座席のシートベルト)を、ユーザU1の上方の丸(対象物O1)で模式的に示す。具体的には、エージェント制御部122は、眼部211の視線A23が対象物O1の方向となるように、眼部211、鼻部212、口部213を表示部210に表示させる。また、エージェント制御部122は、ユーザU1の注意を対象物O1に誘導する音声情報S3を音出力部220から出力させる。これにより、ユーザU1の視線A24を対象物O1の方向に向けることが可能となる。
【0067】
図6(C)に示すように、眼部211の視線A26が対象物O1の方向を向いている状態の顔画像が表示部210に表示され、対象物O1に誘導する音声情報S3が出力されたことに応じて、ユーザU1が対象物O1の方向を向くようになることが想定される。すなわち、ユーザU1を対象物O1に誘導する演出により、エージェント機器200の表示部210の方向を向いていたユーザU1が、矢印A25に示すように、対象物O1の方向を向くことが想定される。この場合には、動作状態判定部121は、カメラ101により取得された画像に基づいて、ユーザU1の視線A27を検出し、その視線A27の方向を特定する。これにより、エージェント制御部122は、動作状態判定部121により判定されたユーザU1の視線A27が、対象物O1の方向を向いていると判定する。
【0068】
このように、ユーザU1の視線A27が対象物O1の方向を向いた場合には、図6(D)に示すように、表示制御部123は、報知情報を出力する出力処理を実行する。具体的には、図4(B)に示す例と同様に、表示制御部123は、シートベルトの着用を報知するための報知画像400を表示部210に表示させるとともに、シートベルトの着用を報知するための音声情報S2を出力させる。この場合には、図6(D)に示すように、対象物O1の方向を向いていた顔画像の表示内容が変更され、音声情報S2が出力されることに応じて、対象物O1の方向を向いていたユーザU1が表示部210の方向を向くようになることが想定される。すなわち、報知情報の出力動作により、対象物O1の方向を向いていたユーザU1が、矢印A28に示すように、エージェント機器200の表示部210の方向を向くことが想定される。この場合には、動作状態判定部121は、カメラ101により取得された画像に基づいて、ユーザU1の視線A29を検出し、その視線A29の方向を特定する。これにより、エージェント制御部122は、動作状態判定部121により判定されたユーザU1の視線A29が、対象物O1の方向を向いていると判定する。この場合に、ユーザU1の視線A29がエージェント機器200の表示部210の方向を向いているため、矢印A30に示すように、報知画像400をより適切にユーザU1に報知することができる。
【0069】
このように、表示部210を向いているユーザU1に対して他者のシートベルトの着用を報知するための報知情報を表示部210に表示する際に、ユーザU1の注意を他者のシートベルトの位置に誘導するための演出を実行する。これにより、着用を報知するシートベルトの位置にユーザU1の注意を引くことが可能であるため、その報知情報をより適切にユーザU1に報知することができる。
【0070】
[情報処理装置の動作例]
図7は、情報処理装置110における報知情報出力処理の一例を示すフローチャートである。また、この報知情報出力処理は、記憶部130に記憶されているプログラムに基づいて制御部120により実行される。また、この報知情報出力処理は、制御周期毎に常時実行される。また、この報知情報出力処理では、図1乃至図6を適宜参照して説明する。
【0071】
ステップS501において、エージェント制御部122は、入力情報を分析する分析処理を実行する。この入力情報は、カメラ101、位置情報取得センサ102、音声入力部103、センサ類104等から情報処理装置110に入力された情報、通信部140を介して外部から取得されて情報処理装置110に入力された情報等である。
【0072】
ステップS502において、エージェント制御部122は、入力情報の分析結果に基づいて、車両C1の乗員に報知すべき情報(報知情報)があるか否かを判定する。
【0073】
例えば、シートベルトの着用の有無を検出するシートベルトセンサと、車両C1の各座席の乗員の有無を検出する着座センサ(又はシートセンサ)とに基づいて、車両C1の各座席に乗車する乗員のシートベルトの着用の有無を判定可能である。そこで、乗員が着座しているにもかかわらず、シートベルトを着用していないことが判定された場合には、その乗員に対する報知情報があると判定される。
【0074】
また、例えば、車両C1の各ドアの半ドアを検出する半ドアセンサに基づいて、車両C1の半ドアを検出可能である。そこで、半ドア状態のドアが検出された場合には、半ドア状態のドアに対する報知情報があると判定される。
【0075】
また、例えば、通信部140を介して外部機器、例えば情報提供サーバから取得された情報と、位置情報取得センサ102により取得された車両C1の現在地とに基づいて、車両C1の周囲に存在する地物、商業施設等の有無を取得可能である。そこで、例えば、車両C1の周囲に商業施設、例えば珈琲店が存在することが判定された場合には、その珈琲店の広告が報知情報としてあると判定される。また、例えば、車両C1の周囲に観光施設、例えばABC城が存在することが判定された場合には、そのABC城を案内する情報が報知情報としてあると判定される。
【0076】
ステップS503において、エージェント制御部122は、車両C1の乗員に報知すべき情報が発生したか否かを判定する。車両C1の乗員に報知すべき情報が発生した場合には、ステップS504に進む。一方、車両C1の乗員に報知すべき情報が発生していない場合には、報知情報出力処理の動作を終了する。
【0077】
ステップS504において、動作状態判定部121は、車両C1の乗員がエージェント機器200の方向を向いているか否かを判定する。例えば、車両C1に乗車する乗員が1人である場合には、その1人の乗員がエージェント機器200の方向を向いているか否かが判定される。また、例えば、車両C1に乗車する乗員が複数人である場合には、その複数の乗員のうちの少なくとも1人、又は、全員がエージェント機器200の方向を向いているか否かが判定される。車両C1に乗車する乗員については、人感センサ、着座センサ等に基づいて検出可能である。車両C1の乗員がエージェント機器200の方向を向いている場合には、ステップS505に進む。一方、車両C1の乗員がエージェント機器200の方向を向いていない場合には、ステップS508に進む。
【0078】
ステップS505において、エージェント制御部122は、車両C1の乗員の注意を対象物に誘導する演出をエージェント機器200に実行させる。例えば、エージェント制御部122は、生き物を模したエージェント機器200の眼部211の視線が対象物を向くように表示部210の表示状態を制御する。また、エージェント制御部122は、対象物に注意が向くような音声が顔部201から発せられるように音出力部220の出力状態を制御する。例えば、図6(B)(C)に示すように、顔画像(眼部211、鼻部212、口部213)が表示部210に表示され、音声情報S3が音出力部220から出力される。なお、図9図10に示すように、顔部201自体を動かすことにより、乗員の注意を対象物に誘導する演出を実行してもよく、図11に示すように、腕部751、752を用いて対象物を指し示す動作を、乗員の注意を対象物に誘導する演出として実行してもよい。
【0079】
また、眼部211の視線が、対象物と車両C1の乗員とを行き来するような制御を実行してもよい。すなわち、対象物への誘導と注意喚起とを繰り返し実行することにより、車両C1の乗員の注意を対象物に誘導することが可能となる。例えば、車両C1の乗員が表示部210をなかなか見てくれない場合を想定する。このような場合に、エージェント機器200に何らかの動きがあれば、エージェント機器200が何かしていることを車両C1の乗員が感じ、エージェント機器200を見てくれることが考えられる。例えば、報知情報の重要度に応じて、この制御を実行してもよい。すなわち、報知情報の重要度が高い場合にこの制御を実行することが可能である。なお、上述したように、報知対象となる対象物が車両C1の乗員の方向に存在する場合において、その乗員の視線が表示部210の方向を向いているときには、その乗員の注意を対象物に誘導する演出を省略してもよい。この場合において、車両C1の乗員の視線が表示部210の方向を向いていると判定されたときには、その乗員の注意を対象物に誘導する演出を省略し、報知情報を出力する出力処理を実行する。
【0080】
ステップS506において、エージェント制御部122は、報知情報を出力する出力処理をエージェント機器200に実行させる。例えば、図4(B)、図5(D)、図6(D)に示すように、報知画像400が表示部210に表示され、音声情報S2が音出力部220から出力される。
【0081】
なお、車両C1の乗員の注意を誘導する演出(ステップS508)、車両C1の乗員の注意を対象物に誘導する演出(ステップS505)のうちの少なくとも1つの演出と、報知情報を出力する出力処理(ステップS506)とを繰り返し行ってもよい。これにより、車両C1の乗員の注意を表示部210に誘導しつつ、車両C1の乗員に報知情報をより適切に提供することが可能となる。
【0082】
ステップS507において、エージェント制御部122は、ステップS506で出力された報知情報に対応する車両C1の乗員の所定アクションがあったか否かを判定する。すなわち、報知情報の内容が解決したか否かが判定される。報知情報に対応する乗員の所定アクションがあった場合には、報知情報出力処理の動作を終了する。なお、車両C1の乗員の注意を誘導する演出(ステップS508)、車両C1の乗員の注意を対象物に誘導する演出(ステップS505)、報知情報を出力する出力処理(ステップS506)の何れかが実行されている場合には、これらの動作を終了させる。一方、報知情報に対応する乗員の所定アクションがない場合には、ステップS509に進む。
【0083】
例えば、ステップS506で出力された報知情報が、シートベルトの着用に関する報知情報であった場合には、報知対象となった座席に着座している乗員がシートベルトを着用する動作が所定アクションとなる。このシートベルトを着用する動作の有無については、シートベルトセンサによる検出情報に基づいて判定可能である。
【0084】
また、例えば、ステップS506で出力された報知情報が、車両C1のドアの半ドアに関する報知情報であった場合には、報知対象となったドアを閉じる動作が所定アクションとなる。このドアを閉じる動作の有無については、ドアセンサによる検出情報に基づいて判定可能である。
【0085】
また、例えば、ステップS506で出力された報知情報が、車両C1の周囲に存在する商業施設、観光施設等に関する報知情報であった場合には、報知対象となった場所に車両C1を移動させる動作が所定アクションとなる。報知対象となった場所に車両C1を移動させる動作の有無については、位置情報取得センサ102により取得された車両C1の位置情報に基づいて判定可能である。また、この場合には、報知対象となった場所について乗員が音声を発する動作についても所定アクションとなる。例えば、車両C1の周囲に存在する商業施設、例えばXYZ珈琲店に関する報知情報である場合には、XYZ珈琲店に関する音声、例えば「XYZ珈琲いいね」「XYZ珈琲美味しそう」等の音声を発する動作を所定アクションとすることが可能である。また、例えば、車両C1の周囲に存在する観光施設、例えばABC城に関する報知情報である場合には、ABC城に関する音声、例えば「ABC城いいね」「ABC城見たいね」等の音声を発する動作を所定アクションとすることが可能である。これらの音声に関する動作の有無については、音声入力部103により取得された音声情報と、記憶部130に記憶されている所定キーワードとの一致度(又は類似度)に基づいて判定可能である。なお、音声の一致度(又は類似度)の判定方法については、公知の音声認識技術を採用することが可能である。
【0086】
ステップS508において、エージェント制御部122は、車両C1の乗員の注意を誘導する演出をエージェント機器200に実行させる。例えば、生き物を模した顔画像を表示部210に表示させ、エージェント機器200の生き物らしい動きを、車両C1の乗員の注意を誘導する演出として実行可能である。
【0087】
例えば、図5(B)に示すように、怒っている状態の顔画像が表示部210に表示され、怒りの音声情報S1が出力される。なお、車両C1の乗員の注意を誘導する演出については、所定時間が経過したことを条件に実行してもよい。例えば、ステップS504でユーザU1がエージェント機器200を向いていないと判定された回数が閾値以上となった場合、又は、ステップS504でユーザU1がエージェント機器200を向いていないと判定されてから所定時間が経過した場合に、車両C1の乗員の注意を誘導する演出を実行してもよい。また、音声情報の出力についても同様に、所定時間が経過したこと等を条件に実行してもよい。例えば、ステップS504でユーザU1がエージェント機器200を向いていないと判定された直後には、怒っている状態の顔画像を表示部210に表示させ、その後、所定時間が経過した場合に、怒りの音声情報S1を出力させてもよい。
【0088】
なお、ステップS504でユーザU1がエージェント機器200を向いていると判定されるまでの間、ステップS508の処理が繰り返し実行される可能性もある。このように、ステップS508の処理が繰り返される場合には、その繰り返し回数の増加に応じて、ステップS508の処理内容を変更してもよい。例えば、最初からN回目(ただし、Nは2以上の整数)の処理では、眼部211を用いた動作を実行し、N回目からM回目(ただし、MはNよりも大きい整数)の処理では、眼部211とともに音声情報を用いた動作を実行し、M回目以降の処理では、眼部211及び音声情報とともに、他の動作、例えば、図9乃至図11に示す各動作を実行する。このように、ステップS508の処理が繰り返される場合には、その繰り返し回数の増加に応じて、眼部211の動き、音声出力、回転動作、指差し動作等の追加の動作を順次行う。すなわち、最初の動作としては、生き物の眼の小さい動きでユーザU1の注意を引くが、その小さい動きにユーザが気づいてくれないと、眼の大きい動き、指差し、音声、回転等の追加の動作を実行し、乗員の注意をさらに誘導するための演出をする。
【0089】
ステップS509において、エージェント制御部122は、出力対象となる報知情報の重要度が高いか否かを判定する。報知情報の重要度については、車両C1の乗員の安全性に関する情報については高く設定される。例えば、シートベルトの着用、半ドア状態等に関する報知情報については、報知情報の重要度が基準よりも高く設定される。一方、車両C1の周囲の情報、観光情報等の提供については、報知情報の重要度が基準よりも低く設定される。例えば、車両C1の周囲の施設に関する報知情報については、報知情報の重要度が低く設定される。なお、報知情報の重要度の高低については、報知情報DB132(図3参照)に格納される。
【0090】
出力対象となる報知情報の重要度が高い場合には、ステップS504に戻る。一方、出力対象となる報知情報の重要度が低い場合には、ステップS510に進む。なお、何らかの理由により、報知情報の出力が不要になることも想定される。このように、報知情報の出力が不要になった場合についても、ステップS510に進む。
【0091】
例えば、シートベルトの着用に関する報知情報である場合において、そのシートベルトの着用が検出されたときには、その報知情報の出力が不要となる。また、例えば、半ドアに関する報知情報である場合において、その半ドアだったドアが完全に閉じられたことが検出されたときには、その報知情報の出力が不要となる。また、例えば、商業施設の広告に関する報知情報である場合において、車両C1がその商業施設から遠く離れてしまったときには、その報知情報の出力が不要となる。
【0092】
なお、長時間、車両C1の乗員がエージェント機器200を向かないことも想定される。特に車両C1を運転中のドライバは、エージェント機器200の誘導動作を認識しているものの、エージェント機器200の方向を向かないことも想定される。そこで、このような場合には、強制的に報知情報を出力してもよく、所定時間を設定し、その所定時間が経過した後に、報知情報出力処理を終了させてもよい。すなわち、ステップS504乃至S509の各処理をタイムアウトまで繰り返すようにする。また、車両C1の乗員に音声のみの報知情報を提供してもよい。このように、強制的な報知情報の出力、音声のみの報知情報の出力等を適宜実行することにより、運転中のドライバの邪魔となる誘導演出等を防止することが重要である。
【0093】
ステップS510において、エージェント制御部122は、ステップS502で判定された報知情報の出力を終了する終了処理を実行する。例えば、商業施設、観光施設に関する報知情報である場合には、その報知情報を消去する消去処理を実行する。なお、音声のみで報知情報を車両C1の乗員に報知可能な場合には、報知情報を音声出力した後に、終了処理を実行してもよい。また、車両C1の乗員の注意を誘導する演出(ステップS508)、車両C1の乗員の注意を対象物に誘導する演出(ステップS505)が実行されている場合には、これらの動作も終了させる。
【0094】
なお、図7に示す例では、ステップS504で車両C1の乗員がエージェント機器200を向いていると判定され、ステップS506で報知情報が出力された後に、ステップS504に戻る可能性もある。例えば、ステップS506で報知情報が出力された後に、ステップS504で車両C1の乗員がエージェント機器200を向いていないと判定されることも想定される。この場合には、車両C1の乗員がエージェント機器200を再度向くように、ステップS508でユーザU1の注意を誘導する演出が実行される。
【0095】
また、図7に示す例では、重要度が高い報知情報である場合には、ステップS504乃至S509の各処理を繰り返し、その報知情報を出力する。これに対して、重要度が低い報知情報である場合には、その報知情報を出力せずに終了する。ただし、重要度の高低に関わらず、ステップS504乃至S509の各処理を繰り返し、その報知情報を出力するようにしてもよい。
【0096】
ここで、エージェント機器200の注意誘導演出等が運転中のドライバの邪魔をすることを防止することが重要である。上述したように、例えば、運転席に乗車しているドライバが運転中である場合には、そのドライバは、エージェント機器200の注意誘導演出等を把握しているが、エージェント機器200の方向に視線を向けないことも想定される。そこで、車両C1の乗員の注意を対象物に誘導する演出、車両C1の乗員の注意を誘導する演出については、車両C1が停止中に実行することが好ましい。ただし、運転席に乗車しているドライバ以外の乗員を対象とする場合には、車両C1が走行中に実行してもよい。
【0097】
[エージェント機器が回動可能な顔部、指差し可能な指示部を備える例]
以上では、表示部210に表示される顔画像の表情、音声を用いて、車両C1の乗員の注意を対象物に誘導する演出、車両C1の乗員の注意を誘導する演出を実行する例を示した。ここで、顔部201自体を動作させることにより、車両C1の乗員の注意をさらに引くことが可能である。また、指、手又は腕等に相当する部材(指示部)をエージェント機器に設け、この指示部を動作させることにより、車両C1の乗員の注意をさらに引くことが可能である。そこで、以下では、回動可能な顔部、指差し動作が可能な指示部を備えるエージェント機器700の例を示す。なお、図9図10には、回動可能な顔部を備えるエージェント機器700の例を示す。また、図11には、指差し動作が可能な指示部を備えるエージェント機器700の例を示す。
【0098】
[情報処理システムの構成例]
図8は、車両C1に設置されている情報処理システム600のシステム構成の一例を示す図である。情報処理システム600は、図3に示す情報処理システム100の一部を変形したものであるため、情報処理システム100と共通する部分には同一の符号を付してこれらの説明の一部を省略する。
【0099】
情報処理システム600は、情報処理装置110と、エージェント機器700とを備える。エージェント制御部122は、エージェント機器700の動作状態を制御する。また、エージェント情報DB131には、エージェント機器700の各種動作を実現するために必要となる情報が格納されている。例えば、顔部201(図9図10参照)を回動させるための回動情報、腕部751、752(図11参照)を動作させるための動作情報等がエージェント情報DB131に格納される。
【0100】
エージェント機器700は、駆動部730を備える。駆動部730は、顔部201(図9図10参照)をくるくる回す機構を実現する駆動装置である。また、駆動部730は、腕部751、752(図11参照)を動かす機構を実現する駆動装置である。
【0101】
なお、首部731を回動軸として顔部201を左右方向(矢印A30、A31方向)に回動させる例を図9に示す。また、回転支持部732、733を回動軸として顔部201を上下方向(矢印A41方向)に回動させる例を図10に示す。また、腕部751、752を用いて対象物を指し示す例を図11に示す。
【0102】
[顔部を左右方向に回動可能なエージェント機器の例]
図9は、顔部201を左右方向に回動可能なエージェント機器700の外観構成例を示す図である。
【0103】
エージェント機器700は、首部731を回転支持部として、顔部201と身体部202とが首部731により連結されているロボット機器である。そして、首部731は、駆動部730(図8参照)に連結され、駆動部730の回転動作により、首部731を回動軸として顔部201を左右方向(矢印A30、A31方向)に回動させる。なお、顔部201(表示部210)の回転範囲は、例えば、数度乃至360度の範囲を設定可能である。例えば、左右方向に30度程度、回動させることにより、顔部201が揺れている感じを出すことが可能である。
【0104】
図4と同様に、動作状態判定部121は、カメラ101により取得された画像に基づいて、ユーザU1の視線A32を検出し、その視線A32の方向を特定する。
【0105】
次に、エージェント制御部122は、動作状態判定部121により判定されたユーザU1の視線A32が、エージェント機器200の表示部210の方向を向いているか否かを判定する。そして、ユーザU1の視線A32がエージェント機器700の表示部210の方向を向いていない場合には、エージェント制御部122は、ユーザU1の注意を誘導する演出をエージェント機器700に実行させる。この例を図9(A)に示す。
【0106】
具体的には、図9(A)に示すように、エージェント制御部122は、首部731を回動軸として顔部201を左右方向(矢印A30、A31方向)に回動させる。また、エージェント制御部122は、各部が怒っている状態の顔画像となるように、表示部210の表示状態を制御する。この場合には、眼部211の視線A33をユーザU1の方向に向けるようにする。また、エージェント制御部122は、怒りの音声情報S11を音出力部220から出力させる制御を実行する。
【0107】
図9(B)に示すように、怒っている状態の顔画像が左右方向に回動され、怒りの音声情報S11が出力されたことに応じて、ユーザU1がエージェント機器700の表示部210を向くようになることが想定される。すなわち、ユーザU1の注意を誘導する演出により、エージェント機器700の表示部210の方向を向いていなかったユーザU1が、矢印A35に示すように、エージェント機器700の表示部210の方向を向くことが想定される。この場合には、動作状態判定部121は、カメラ101により取得された画像に基づいて、ユーザU1の視線A36を検出し、その視線A36の方向を特定する。これにより、エージェント制御部122は、動作状態判定部121により判定されたユーザU1の視線A36が、エージェント機器700の表示部210の方向を向いていると判定する。この場合に、ユーザU1の視線A36がエージェント機器700の表示部210の方向を向いているため、矢印A37に示すように、表示部210に表示される各画像をより適切にユーザU1に見せることができる。
【0108】
このように、ユーザU1の視線A36がエージェント機器700の表示部210の方向を向いた場合には、エージェント制御部122は、ユーザU1の視線A36を対象物に誘導する誘導動作、報知情報を出力する出力処理を、エージェント機器700に順次実行させる。なお、これらの誘導動作、出力処理については、図4乃至図7に示す例と同様であるため、ここでの説明を省略する。
【0109】
ここで、表示部210に表示されるエージェントの顔の表情の変化よりも、3次元の物体が揺れたり回転したりする動作の方がユーザの注意を引きやすいと考えられる。そこで、図9に示す例では、首部731を回動軸として顔部201を左右方向(矢印A30、A31方向)に揺れたり回転したりする動作を、ユーザU1の注意を誘導する演出として実行する。
【0110】
[顔部を上下方向に回動可能なエージェント機器の例]
図10は、顔部201を上下方向に回動可能なエージェント機器700の外観構成例を示す図である。
【0111】
エージェント機器700は、正面視でロの字形状の枠部740の内部に顔部201が設置され、枠部740の内部において顔部201が上下方向に回動可能なロボット機器である。具体的には、顔部201の左右方向の両端部と、枠部740の内側面とを、回転支持部732、733により連結する。回転支持部732、733を設ける位置は、顔部201の耳に相当する位置であるため、回転支持部732、733を顔部201の耳部として構成してもよい。そして、回転支持部732、733は、駆動部730(図8参照)に連結され、駆動部730の回転動作により、回転支持部732、733を回動軸として顔部201を上下方向(矢印A41方向)に回動させる。なお、顔部201(表示部210)の回転範囲は、例えば、数度乃至360度の範囲を設定可能である。例えば、上下方向に30度程度、回動させることにより、顔部201が揺れている感じを出すことが可能である。
【0112】
図4と同様に、動作状態判定部121は、カメラ101により取得された画像に基づいて、ユーザU1の視線A42を検出し、その視線A42の方向を特定する。
【0113】
次に、エージェント制御部122は、動作状態判定部121により判定されたユーザU1の視線A42が、エージェント機器700の表示部210の方向を向いているか否かを判定する。そして、ユーザU1の視線A42がエージェント機器700の表示部210の方向を向いていない場合には、エージェント制御部122は、ユーザU1の注意を誘導する演出をエージェント機器700に実行させる。この例を図10(A)に示す。
【0114】
具体的には、図10(A)に示すように、エージェント制御部122は、回転支持部732、733を回動軸として顔部201を上下方向(矢印A41方向)に回動させる。また、エージェント制御部122は、各部が怒っている状態の顔画像となるように、表示部210の表示状態を制御する。この場合には、眼部211の視線A43をユーザU1の方向に向けるようにする。また、エージェント制御部122は、怒りの音声情報S12を音出力部220から出力させる制御を実行する。
【0115】
図10(B)に示すように、怒っている状態の顔画像が上下方向に回動され、怒りの音声情報S12が出力されたことに応じて、ユーザU1がエージェント機器700の表示部210を向くようになることが想定される。すなわち、ユーザU1の注意を誘導する演出により、エージェント機器700の表示部210の方向を向いていなかったユーザU1が、矢印A45に示すように、エージェント機器700の表示部210の方向を向くことが想定される。この場合には、動作状態判定部121は、カメラ101により取得された画像に基づいて、ユーザU1の視線A46を検出し、その視線A46の方向を特定する。これにより、エージェント制御部122は、動作状態判定部121により判定されたユーザU1の視線A46が、エージェント機器700の表示部210の方向を向いていると判定する。この場合に、ユーザU1の視線A46がエージェント機器700の表示部210の方向を向いているため、矢印A47に示すように、表示部210に表示される各画像をより適切にユーザU1に見せることができる。
【0116】
このように、ユーザU1の視線A45がエージェント機器700の表示部210の方向を向いた場合には、エージェント制御部122は、ユーザU1の視線A46を対象物に誘導する誘導動作、報知情報を出力する出力処理を、エージェント機器700に順次実行させる。なお、これらの誘導動作、出力処理については、図4乃至図7に示す例と同様であるため、ここでの説明を省略する。
【0117】
ここで、表示部210に表示されるエージェントの顔の動作よりも、3次元の物体が揺れたり回転したりする動作の方がユーザの注意を引きやすいと考えられる。そこで、図10に示す例では、回転支持部732、733を回動軸として顔部201を上下方向(矢印A41方向)に揺れたり回転したりする動作を、ユーザU1の注意を誘導する演出として実行する。
【0118】
図9図10では、顔部201の一方の面に表示部210を設ける例を示した。しかし、顔部201を回転させ、顔部201の表示部210の面と、表示部210の裏面との何れか1つをユーザU1が見える状態とすることが可能である。そこで、顔部201の一方の面(表面)に表示部210を設け、顔部201の他方の面(裏面)に他の表示部を設け、顔部201を表面及び裏面の2面ディスプレイとして構成してもよい。この場合には、顔部201の表面の表示部210には、眼部211、鼻部212、口部213を表示して、ユーザU1の注意を対象物に誘導する演出、ユーザU1の注意を誘導する演出を実行する。一方、顔部201の裏面の他の表示部には、報知情報、例えば、図4(B)、図5(D)、図6(D)に示す報知情報を表示して、ユーザU1への報知動作を実行する。これにより、エージェント機器700の顔部201を用いて、生き物の画像と、報知情報とを繰り返しユーザU1に提供することが可能となる。
【0119】
このように、顔部201をくるくる回転させたり、顔部201をゆらゆら回動させたりしてユーザU1の注意を引き、ユーザU1への報知動作を実行することが可能である。これにより、ユーザU1に対して適切に報知を行うことができる。なお、顔部201の表示状態を変更してユーザU1の注意を引いてから、顔部201をくるくる回転させたり、顔部201をゆらゆら回動させたりした後に、ユーザU1への報知動作を実行してもよい。このように、顔部201自体が動き出すと、何が表示されるのかなと、ユーザU1の注意を誘導することが可能となる。
【0120】
図9図10に示すように、生き物を模した顔画像を表示部210に表示するとともに、エージェント機器700が生き物らしい動きをさせることが可能となる。
【0121】
例えば、ユーザの注意を対象物に誘導する演出(ステップS505(図7参照))、ユーザの注意を誘導する演出(ステップS508(図7参照))を実行する場合に、図9図10に示す顔部201の回動動作を実行することが可能である。この場合に、図7に示す各処理が繰り返し実行される可能性もある。このように、図7に示す各処理が繰り返される場合には、その繰り返し回数の増加に応じて、演出に関する処理内容を変更してもよい。例えば、ステップS504でユーザU1がエージェント機器700を向いていないと判定された回数が閾値以上となった場合、又は、ステップS504でユーザU1がエージェント機器700を向いていないと判定されてから所定時間が経過した場合に、図9図10に示す顔部201の回動動作を実行してもよい。
【0122】
また、図4図6に示す表示部210の表示動作と、図9図10に示す顔部201の回動動作とを行き来するような制御を実行してもよい。すなわち、表示部210の表示態様と、顔部201の動作態様とを繰り返し実行することにより、車両C1の乗員の注意をさらに誘導することが可能となる。
【0123】
[腕部を備えるエージェント機器の例]
図11は、回動可能な腕部751、752を備えるエージェント機器700の外観構成例を示す図である。なお、腕部751、752は、所定動作により所定方向を指し示すことが可能な指示部の一例である。
【0124】
エージェント機器700は、身体部202の左右方向の側部に棒状体の腕部751、752が設けられているロボット機器である。
【0125】
腕部751は、身体部202における腕部751の取付部分を回動中心として、エージェント機器700の前後方向、左右方向、上下方向に回動する。また、腕部751の中央部分は、その中央部分を回動中心として、エージェント機器700の前後方向、左右方向、上下方向に回動する。同様に、腕部752は、身体部202における腕部752の取付部分を回動中心として、エージェント機器700の前後方向、左右方向、上下方向に回動する。また、腕部752の中央部分は、その中央部分を回動中心として、エージェント機器700の前後方向、左右方向、上下方向に回動する。
【0126】
このように、腕部751の取付部分、中央部分には、腕部751を駆動させるための駆動機構が設けられる。そして、腕部751を上下方向に移動させたり、腕部751を前後方向に移動させたり、腕部751を上下方向に揺らせたり、腕部751を前後方向に揺らせたりすることが可能となる。また、腕部752の取付部分、中央部分には、腕部752を駆動させるための駆動機構が設けられる。そして、腕部752を上下方向に移動させたり、腕部752を前後方向に移動させたり、腕部752を上下方向に揺らせたり、腕部752を前後方向に揺らせたりすることが可能となる。これらの駆動機構により駆動部730(図8参照)が構成される。
【0127】
なお、腕部751、752を駆動させる駆動部730(図8参照)については、エージェント制御部122(図3参照)の制御に基づいて各動作が実行される。
【0128】
図11(B)(C)には、顔部201が左側を向き、腕部751の先端が左方向を指し示す場合のエージェント機器700の正面図を示す。
【0129】
図11に示す例は、図6に示す例の一部を変形したものであり、車両C1の運転席に乗車しているユーザU1に対して、ユーザU1の後方の後部座席に乗車しているユーザのシートベルトの着用を報知する場合の報知例を示す。また、図11では、矢印A21に示すように、エージェント機器700の表示部210に表示されている顔画像をユーザU1が見ている場合の報知例を示す。
【0130】
具体的には、図6では、眼部211の視線A23と、対象物O1に誘導する音声情報S3とを用いて、ユーザU1が対象物O1の方向を向くように誘導する例を示した。これに対して、図11では、眼部211の視線A23と、対象物O1に誘導する音声情報S3とを用いるとともに、腕部751の先端が対象物O1の方向を指し示す動作を用いて、ユーザU1が対象物O1の方向を向くように誘導する例を示す。なお、腕部751を用いて誘導する誘導動作を実行する点以外は、図6に示す例と同様であるため、図6と共通する部分には、同一の符号を付してこれらの説明を省略する。
【0131】
エージェント制御部122は、動作状態判定部121により判定されたユーザU1の視線A21が、エージェント機器700の表示部210の方向を向いているか否かを判定する。そして、ユーザU1の視線A21がエージェント機器700の表示部210の方向を向いている場合には、エージェント制御部122は、ユーザU1の視線A21を対象物に誘導する演出を、エージェント機器700に実行させる。この動作例を図11(B)に示す。
【0132】
図11(C)に示すように、対象物O1の方向を向いている状態の顔画像が表示部210に表示され、腕部751の先端が対象物O1の方向を指し示し、対象物O1に誘導する音声情報S3が出力されたことに応じて、ユーザU1が対象物O1の方向を向くようになることが想定される。すなわち、ユーザU1を対象物O1に誘導する演出により、エージェント機器700の表示部210の方向を向いていたユーザU1が、矢印A25に示すように、対象物O1の方向を向くことが想定される。この場合には、動作状態判定部121は、カメラ101により取得された画像に基づいて、ユーザU1の視線A27を検出し、その視線A27の方向を特定する。これにより、エージェント制御部122は、動作状態判定部121により判定されたユーザU1の視線A27が、対象物O1の方向を向いていると判定する。
【0133】
また、図11に示す例では、説明を容易にするため、対象物を指し示す部材として、腕部751、752を用いる例を示す。ただし、対象物を指し示す部材として、エージェント機器700に手、指及び腕を模した部材を設け、これらを用いて対象物を指し示してもよい。また、エージェント機器700に手、指及び腕のうちの少なくとも1つを模した部材を設け、これらを用いて対象物を指し示してもよい。
【0134】
例えば、ユーザの注意を対象物に誘導する演出(ステップS505(図7参照))を実行する場合に、図11に示す対象物を指し示す動作を実行することが可能である。この場合に、図7に示す各処理が繰り返し実行される可能性もある。このように、図7に示す各処理が繰り返される場合には、その繰り返し回数の増加に応じて、演出に関する処理内容を変更してもよい。例えば、ステップS504でユーザU1がエージェント機器700を向いていないと判定された回数が閾値以上となった場合、又は、ステップS504でユーザU1がエージェント機器700を向いていないと判定されてから所定時間が経過した場合に、図11に示す対象物を指し示す動作を実行してもよい。
【0135】
また、図4図6に示す表示部210の表示動作と、図11に示す対象物を指し示す動作とを行き来するような制御を実行してもよい。すなわち、表示部210の表示態様と、腕部751、752の動作態様とを繰り返し実行することにより、車両C1の乗員の注意をさらに対象物に誘導することが可能となる。
【0136】
[車両以外に設置可能なエージェント機器の例]
以上では、車両C1に設置されるエージェント機器200、700の例を示した。ただし、車両C1から取り外し可能なエージェント機器、車両以外に設置可能なエージェント機器等についても本実施形態を適用可能である。例えば、例えば、携帯型のエージェント機器を所持するユーザU1が、車両C1に乗車するときには、車両C1のダッシュボード2上にそのエージェント機器を設置し、車両C1から降りる場合には、ユーザU1がそのエージェント機器を所持して持ち歩くことも想定される。また、ユーザU1が家庭内でエージェント機器を使用することも想定される。
【0137】
例えば、家庭内では、家庭内に設置されている各機器に関する報知情報を出力することが考えられる。例えば、お風呂が沸いたタイミング、調理器具の調理が終了したタイミング等で、その旨を報知することが想定される。また、例えば、玄関のドア、窓が開いた状態の場合に、その旨を報知することが想定される。また、例えば、ガスコンロの火を消し忘れている場合に、その旨を報知することが想定される。これらの場合には、お風呂、各調理器具、ドア、窓等を対象物として指し示すことが想定される。また、重要度については、安全性、緊急度等を基準として設定することが可能である。例えば、緊急度が高い対象物については、重要度を基準よりも高く設定し、緊急度が低い対象物については、重要度を基準よりも低く設定することが可能である。例えば、緊急度が高い対象物、安全性を維持する対象物は、ガスコンロ(火の消し忘れを防止するため)、玄関のドア、窓(開いた状態を報知)である。一方、緊急度が低い対象物は、例えば、お風呂(お風呂が沸いたタイミングを報知)、調理器具(調理の調理が終了したタイミングを報知)である。
【0138】
[エージェント機器を2次元で表現する例]
以上では、3次元のエージェント機器200、700を例にして説明した。ただし、エージェント機器の生き物らしさを表現することが可能であれば、2次元画像として、エージェント画像を表示して本実施形態を適用してもよい。この場合には、顔部及び身体部の双方を2次元画像として表示する。また、手、指及び腕を模した指示部についても、2次元画像として表示してもよい。
【0139】
[本実施形態の効果例]
このように、眼部211、鼻部212、口部213の少なくとも1つを用いてユーザの注意を誘導することも可能であり、顔部201自体の動作を用いてユーザの注意を誘導することも可能であり、腕部751、752を用いてユーザの注意を誘導することも可能である。すなわち、生き物らしい部分を用いた各動作を実行することにより、ユーザの目を引くことが可能である。
【0140】
このように、生物的な腕や眼は、ユーザU1の注意を引きやすい。そこで、本実施形態では、生物的な腕や眼を用いてユーザU1の注意を引いた後に、その注意を引いた場所に、報知情報を表示することにより、報知情報をより適切にユーザに伝えることが可能となる。
【0141】
このように、表示部210に生き物を表示させたり、顔部201に生き物の動きをさせたりした後に、報知情報を表示部210に表示させることにより、効果を高めることが可能である。例えば、報知情報を表示部210に単に表示しても、本当にユーザが見ているかをわからないまま報知情報が表示されてしまうことも想定される。これに対して、本実施形態によれば、生物的な腕や眼を用いてユーザの注意を引いた後に、その注意を引いた場所に、報知情報を表示することにより、報知情報をユーザが見逃してしまうことを防止することが可能となる。すなわち、報知情報を表示部210に表示する際に、ユーザの注意を引くことが可能であるため、その報知情報をより適切にユーザに報知することができる。
【0142】
このように、生き物らしいエージェント機器200、700を活用し、生き物らしさでユーザの注意をひき、ユーザの注意を誘導して報知情報を提供することが可能である。例えば、エージェント機器200がユーザの方を見ることにより、生き物らしさでユーザの注意をひき、ユーザの注意を誘導することが可能である。また、例えば、エージェント機器700が対象物を指し示すことにより、生き物らしさでユーザの注意をひき、ユーザの対象物への注意を誘導することが可能である。また、ユーザが対応してくれない場合、報知情報を見ていない場合等には、再度、生き物を模したエージェント機器200、700で注意を引くようにする。
【0143】
なお、以上では、報知情報出力処理等をエージェント機器200、700、情報処理装置110(又は情報処理システム100、600)において実行する例を示したが、それらの各処理の全部又は一部を他の機器において実行してもよい。この場合には、それらの各処理の一部を実行する各機器により情報処理システムが構成される。例えば、車載機器、ユーザU1が使用可能な機器(例えば、スマートフォン、タブレット端末、パーソナルコンピュータ、カーナビゲーション装置、IVI)、インターネット等の所定のネットワークを介して接続可能なサーバ等の各種情報処理装置、各種電子機器を用いて各処理の少なくとも一部を実行させることができる。
【0144】
また、情報処理装置110(又は情報処理システム100、600)の機能を実行可能な情報処理システムの一部(又は全部)については、インターネット等の所定のネットワークを介して提供可能なアプリケーションにより提供されてもよい。このアプリケーションは、例えばSaaS(Software as a Service)である。
【0145】
[本実施形態の構成例及びその効果]
本実施形態に係る情報処理方法は、顔画像を表示する表示部210(表示装置の一例)を有するエージェント機器200、700を用いて報知情報をユーザU1に提供する情報処理方法である。この情報処理方法は、ユーザU1の動作状態情報に基づいてユーザU1が表示部210を見ていることを判定する判定処理(ステップS504)と、その判定処理による判定結果に基づいて、表示部210の表示態様を制御する制御処理(ステップS505乃至S510)とを含み、その制御処理では、ユーザU1が表示部210を見ていないと判定された場合には、ユーザU1の注意を誘導するための第1演出を表示部210に実行させ、ユーザU1が表示部210を見ていると判定された場合には、表示部210に報知情報を表示させる。また、本実施形態に係るプログラムは、これらの各処理をコンピュータに実行させるプログラムである。言い換えると、本実施形態に係るプログラムは、情報処理装置110が実行可能な各機能をコンピュータに実現させるプログラムである。
【0146】
この構成によれば、表示部210に生き物の顔等を表示させる第1演出を実行後に、報知情報を表示部210に表示させることにより、ユーザU1の注意を引くことが可能であるため、その報知情報をより適切にユーザU1に報知することができる。
【0147】
本実施形態に係る情報処理方法において、報知情報は、所定の対象物に関する情報である。また、制御処理(ステップS505、S506)では、ユーザU1が表示部210を見ていると判定された場合には、ユーザU1の注意を対象物の方向に誘導するための第2演出をエージェント機器200、700に実行させた後に、表示部210に報知情報を表示させる。例えば、図6(B)に示すように、対象物O1の方向を向く顔画像が表示部210に表示され、音声情報S3が音出力部220から出力される。
【0148】
この構成によれば、所定の対象物に関する報知情報を表示する場合には、ユーザU1の注意を対象物の方向に誘導した後に、報知情報を表示部210に表示させることにより、報知情報をより適切にユーザU1に報知することができる。
【0149】
本実施形態に係る情報処理方法において、制御処理(ステップS505)では、第2演出として、対象物の方向を眼が向いている顔画像を表示部210に表示させる。例えば、図6(B)に示すように、対象物O1の方向を向く顔画像が表示部210に表示される。
【0150】
この構成によれば、対象物の方向を眼が向いている顔画像を用いて、ユーザU1の注意を対象物の方向に誘導した後に、報知情報を表示部210に表示させることにより、報知情報をより適切にユーザU1に報知することができる。
【0151】
本実施形態に係る情報処理方法において、エージェント機器700は、所定動作により所定方向を指し示すことが可能な腕部751、752(指示部の一例)を備え、制御処理(ステップS505)では、第2演出として、腕部751、752を用いて対象物を指し示す動作をエージェント機器700に実行させる。例えば、図11(B)に示すように、対象物O1の方向を腕部751で指し示す動作が実行される。
【0152】
この構成によれば、対象物の方向を腕部751、752で指し示す動作を用いて、ユーザU1の注意を対象物の方向に誘導した後に、報知情報を表示部210に表示させることにより、報知情報をより適切にユーザU1に報知することができる。
【0153】
本実施形態に係る情報処理方法において、制御処理(ステップS508、S509)では、ユーザU1が表示部210を見ていないと判定された場合には、ユーザU1が表示部210を見たと判定されるまでの間、第1演出を継続して実行する。
【0154】
この構成によれば、ユーザU1が表示部210を見るまで、ユーザU1の注意を誘導する第1演出を継続し、報知情報を表示部210に表示させることにより、報知情報をより適切にユーザU1に報知することができる。
【0155】
本実施形態に係る情報処理方法において、制御処理(ステップS508乃至S510)では、ユーザU1が表示部210を見ていないと判定された場合において、報知情報の重要度が基準よりも高いときには、ユーザU1が表示部210を見たと判定されるまでの間、第1演出を継続して実行し、報知情報の重要度が基準よりも低いときには、第1演出を終了させて報知情報の報知を中止させる。
【0156】
この構成によれば、報知情報の重要度に応じて、第1演出の継続の要否、報知情報の出力の要否を変更可能であるため、報知情報の重要度に応じて報知情報をより適切にユーザU1に報知することができる。
【0157】
本実施形態に係る情報処理方法において、制御処理(ステップS506、S507)では、表示部210に報知情報を表示させた後に、報知情報に対応するユーザU1の所定動作がされたか否かを判定し、その所定動作がされた場合には、報知情報の表示を終了させ、その所定動作がされていない場合には、その所定動作がされるまでの間、報知情報の表示を継続して行う。
【0158】
この構成によれば、報知情報に対応するユーザU1の所定動作の有無に応じて、報知情報の継続の要否を決定するため、報知情報をより適切にユーザU1に報知することができる。
【0159】
本実施形態に係る情報処理方法において、制御処理(ステップS506、S507、S509、S510)では、表示部210に報知情報を表示させた後に、所定動作がされていない場合において、報知情報の重要度が基準よりも高いときには、その所定動作がされるまでの間、報知情報の表示を継続して行い、報知情報の重要度が基準よりも低いときには、報知情報の表示を終了させる。
【0160】
この構成によれば、報知情報に対応するユーザU1の所定動作の有無と、報知情報の重要度とに応じて、報知情報の継続の要否を決定するため、報知情報をより適切にユーザU1に報知することができる。
【0161】
本実施形態に係る情報処理方法において、エージェント機器700は、所定の回転軸(首部731、回転支持部732、733)を中心にして所定方向に表示部210を回動可能な機器であり、制御処理(ステップS508)では、ユーザU1が表示部210を見ていないと判定された場合には、第1演出として、表示部210を回動させる動作を実行させる。例えば、図9(A)、図10(A)に示すように、表示部210が回動する動作が実行される。
【0162】
この構成によれば、表示部210が回動する動作を用いて、ユーザU1の注意を誘導した後に、報知情報を表示部210に表示させることにより、報知情報をより適切にユーザU1に報知することができる。
【0163】
本実施形態に係る情報処理方法において、エージェント機器200、700は、車両C1に設置可能な機器であり、報知情報は、車両C1に設置されている対象物(例えば、シートベルト、ドア)、又は、車両C1の外部に存在する対象物(例えば、車両C1の周囲の観光施設、商業施設)に関する情報である。
【0164】
この構成によれば、車両C1に設置されているエージェント機器200、700を用いて、車両C1に関連する報知情報をより適切にユーザU1に報知することができる。
【0165】
情報処理装置110は、顔画像を表示する表示部210(表示装置の一例)を有するエージェント機器200、700を用いて報知情報をユーザに提供する情報処理装置である。情報処理装置110は、ユーザU1の動作状態情報に基づいてユーザU1が表示部210を見ていることを判定する動作状態判定部121(判定部の一例)と、その判定処理による判定結果に基づいて、表示部210の表示態様を制御するエージェント制御部122(制御部の一例)とを備える。エージェント制御部122は、ユーザU1が表示部210を見ていないと判定された場合には、ユーザU1の注意を誘導するための第1演出を表示部210に実行させ、ユーザU1が表示部210を見ていると判定された場合には、表示部210に報知情報を表示させる。
【0166】
この構成によれば、表示部210に生き物の顔等を表示させる第1演出を実行後に、報知情報を表示部210に表示させることにより、ユーザU1の注意を引くことが可能であるため、その報知情報をより適切にユーザU1に報知することができる。
【0167】
なお、本実施形態で示した各処理手順は、本実施形態を実現するための一例を示したものであり、本実施形態を実現可能な範囲で各処理手順の一部の順序を入れ替えてもよく、各処理手順の一部を省略したり他の処理手順を追加したりしてもよい。
【0168】
なお、本実施形態で示した各処理は、各処理手順をコンピュータに実行させるためのプログラムに基づいて実行されるものである。このため、本実施形態は、それらの各処理を実行する機能を実現するプログラム、そのプログラムを記憶する記録媒体の実施形態としても把握することができる。例えば、情報処理装置に新機能を追加するためのアップデート処理により、そのプログラムを情報処理装置の記憶装置に記憶させることができる。これにより、そのアップデートされた情報処理装置に本実施形態で示した各処理を実施させることが可能となる。
【0169】
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
【符号の説明】
【0170】
100、600 情報処理システム、110 情報処理装置、120 制御部、121 動作状態判定部、122 エージェント制御部、130 記憶部、131 エージェント情報DB、132 報知情報DB、133 地図情報DB、140 通信部、200、700 エージェント機器、210 表示部、220 音出力部、730 駆動部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11