特開 2024-92633 情報処理方法及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024092633

(43)【公開日】2024-07-08

(54)【発明の名称】情報処理方法及び情報処理装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240701BHJP

   G06F 3/0346 20130101ALI20240701BHJP

   G06F 3/16 20060101ALI20240701BHJP

   G10L 15/22 20060101ALI20240701BHJP

   H04Q 9/00 20060101ALI20240701BHJP

【ＦＩ】

G06F3/01 510

G06F3/0346 423

G06F3/16 610

G06F3/16 650

G06F3/16 690

G10L15/22 453

H04Q9/00 311A

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022208715

(22)【出願日】2022-12-26

(71)【出願人】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(71)【出願人】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】110002468

【氏名又は名称】弁理士法人後藤特許事務所

(72)【発明者】

【氏名】茂田 美友紀

(72)【発明者】

【氏名】高松 敦

(72)【発明者】

【氏名】柳 拓良

【テーマコード（参考）】

5B087

5E555

5K048

【Ｆターム（参考）】

5B087AA09

5B087AC07

5B087BC32

5B087DD09

5E555AA05

5E555AA08

5E555AA10

5E555AA11

5E555AA44

5E555AA46

5E555AA54

5E555AA64

5E555AA76

5E555BA05

5E555BA06

5E555BA23

5E555BB05

5E555BB06

5E555BB23

5E555BC01

5E555BE09

5E555BE10

5E555CA41

5E555CA42

5E555CA47

5E555CB55

5E555CB56

5E555CB58

5E555CB64

5E555CB65

5E555CB66

5E555CB67

5E555CB69

5E555CC01

5E555CC03

5E555DA01

5E555DA21

5E555DA27

5E555DD02

5E555DD11

5E555EA03

5E555EA05

5E555EA14

5E555EA19

5E555EA20

5E555EA22

5E555EA23

5E555EA27

5E555EA28

5E555FA00

5K048AA04

5K048BA01

5K048BA02

5K048BA07

5K048BA08

5K048DA02

5K048DC01

5K048EB02

5K048GC06

5K048HA21

(57)【要約】

【課題】ユーザと操作対象機器との関係性の深さに応じたより適切な操作支援を実行する。
【解決手段】ユーザＵ１が操作可能な各操作機器に関するユーザ操作を支援する情報処理方法である。この情報処理方法は、各操作機器の何れにもユーザＵ１が触れていない状態で、ユーザＵ１の生体情報、発話、動作のそれぞれの要素情報のうちの少なくとも１つに基づいて、ユーザＵ１が操作を所望する機器（操作対象機器）を推定する推定処理（ステップＳ６０１乃至Ｓ６１１）を含む。その推定処理では、要素情報のうちの少なくとも１つに基づいて操作対象機器の候補（一の機器）を選択する。一方、その一の機器に関する関係値が基準値よりも高い場合には、その一の機器を操作対象機器として推定し、その一の機器に関する関係値が基準値よりも低い場合には、その一の機器の選択時に用いた要素情報以外の他の要素情報を用いて操作対象機器を推定する。
【選択図】図９

【特許請求の範囲】

【請求項1】

ユーザが操作可能な複数の機器に関するユーザ操作を支援する情報処理方法であって、
前記複数の機器の何れにも前記ユーザが触れていない状態で、前記ユーザの生体情報と、前記ユーザの発話と、前記ユーザの動作と、のそれぞれの要素情報のうちの少なくとも１つに基づいて、前記ユーザが操作を所望する機器である操作対象機器を推定する推定処理と、
前記推定処理で推定された前記操作対象機器に関する操作支援を開始する制御処理と、
前記推定処理で推定された推定結果を、前記ユーザの前記複数の機器のそれぞれに対する習熟度合を示す関係情報を機器毎に格納するデータベースに反映させる反映処理と、を含み、
前記推定処理では、
前記要素情報のうちの少なくとも１つに基づいて前記操作対象機器の候補となる一の機器を選択し、
前記一の機器に関する前記データベースにおける前記関係情報が基準よりも高い場合には、当該一の機器を前記操作対象機器として推定し、
前記一の機器に関する前記データベースにおける前記関係情報が前記基準よりも低い場合には、当該一の機器の選択時に用いた要素情報以外の他の要素情報を用いて前記操作対象機器を推定する、
情報処理方法。

【請求項2】

請求項１に記載の情報処理方法であって、
前記制御処理では、前記推定処理で推定された前記操作対象機器に対する操作支援を実行するためのインタラクションを前記ユーザとの間で開始する第１処理と、当該操作対象機器の動作の制御を開始する第２処理とのうちの少なくとも１つを実行する、
情報処理方法。

【請求項3】

請求項１に記載の情報処理方法であって、
前記関係情報は、前記ユーザが前記機器と接した時間の長さを示す値と、前記ユーザが前記機器を操作した回数を示す値と、前記推定処理により推定された推定結果の正答率とのうちの少なくとも１つに基づいて機器毎に設定される、
情報処理方法。

【請求項4】

請求項１に記載の情報処理方法であって、
前記推定処理では、
前記一の機器に関する前記データベースにおける前記関係情報が前記基準よりも高い場合には、当該関係情報が高くなるのに応じて、当該一の機器を前記操作対象機器として推定する推定時間を短くし、
前記一の機器に関する前記データベースにおける前記関係情報が前記基準よりも低い場合には、当該関係情報が低くなるのに応じて、前記操作対象機器を推定する推定時間を長くする、
情報処理方法。

【請求項5】

請求項１に記載の情報処理方法であって、
前記推定処理では、前記要素情報として前記ユーザの視線を用いて前記一の機器を選択し、
前記一の機器に関する前記データベースにおける前記関係情報が前記基準よりも低い場合には、前記要素情報として前記ユーザの視線及び指の各動作を用いて前記操作対象機器を推定する、
情報処理方法。

【請求項6】

請求項５に記載の情報処理方法であって、
前記推定処理では、前記一の機器に関する前記データベースにおける前記関係情報が前記基準よりも低い場合には、前記ユーザの指が当該一の機器に所定距離まで近づいたことを条件に、当該一の機器を前記操作対象機器として推定する、
情報処理方法。

【請求項7】

請求項６に記載の情報処理方法であって、
前記推定処理では、前記一の機器に関する前記データベースにおける前記関係情報が高くなるのに応じて、前記所定距離を長く設定する、
情報処理方法。

【請求項8】

請求項１に記載の情報処理方法であって、
前記推定処理で推定された前記操作対象機器が、前記ユーザが操作を所望する機器であったか否かを判定するための判定情報を前記ユーザから取得する取得処理、をさらに含み、
前記反映処理では、前記判定情報に基づいて、前記推定処理での推定結果が正しいか否かを示す正誤情報を前記データベースに反映させ、
前記推定処理では、前記推定結果が誤っていることが判定された場合には、前記判定情報に基づいて、前記操作対象機器を新たに選択する、
情報処理方法。

【請求項9】

請求項８に記載の情報処理方法であって、
前記ユーザとのインタラクションを行うことが可能なエージェント機器を制御するエージェント制御処理、をさらに含み、
前記エージェント制御処理では、前記判定情報を前記ユーザから取得するための所定情報を前記ユーザに対して出力する出力処理を前記エージェント機器に実行させる、
情報処理方法。

【請求項10】

請求項１に記載の情報処理方法であって、
前記ユーザとのコミュニケーションを行うことが可能なエージェント機器を制御するエージェント制御処理、をさらに含み、
前記エージェント制御処理では、前記推定処理で前記操作対象機器が推定されるまでの間、当該推定に用いる要素情報を認識していることを前記ユーザに対して示す特定動作を前記エージェント機器に実行させる、
情報処理方法。

【請求項11】

請求項１０に記載の情報処理方法であって、
前記エージェント機器は、顔部を備える機器であり、
前記エージェント制御処理では、前記推定処理での前記操作対象機器の推定に用いる要素情報を前記エージェント機器の眼が見つめる動きを前記特定動作として実行させる、
情報処理方法。

【請求項12】

請求項１０又は１１に記載の情報処理方法であって、
前記エージェント制御処理では、前記推定処理での前記操作対象機器の推定に複数の要素情報が用いられる場合には、予め設定されている優先度に基づいて、前記複数の要素情報のうちの少なくとも１つの要素情報を、前記特定動作を実行する対象として選択する、
情報処理方法。

【請求項13】

請求項１に記載の情報処理方法であって、
前記ユーザとのインタラクションを行うことが可能なエージェント機器を制御するエージェント制御処理と、
前記推定処理で推定された前記操作対象機器が、前記ユーザが操作を所望する機器であったか否かを判定するための判定情報を前記ユーザから取得する取得処理と、をさらに含み、
前記エージェント制御処理では、前記判定情報に基づいて前記推定処理での推定結果が誤っていることが判定された場合には、前記エージェント機器の態様を、前記ユーザに対する謝罪を示す態様に遷移させる、
情報処理方法。

【請求項14】

ユーザが操作可能な複数の機器に関するユーザ操作を支援する情報処理装置であって、
前記複数の機器の何れにも前記ユーザが触れていない状態で、前記ユーザの生体情報と、前記ユーザの発話と、前記ユーザの動作と、のそれぞれの要素情報のうちの少なくとも１つに基づいて、前記ユーザが操作を所望する機器である操作対象機器を推定する推定部と、
前記推定部により推定された前記操作対象機器に関する操作支援を開始する制御部と、
前記推定部により推定された推定結果を、前記ユーザの前記複数の機器のそれぞれに対する習熟度合を示す関係情報を機器毎に格納するデータベースに反映させる反映部と、を備え、
前記推定部は、
前記要素情報のうちの少なくとも１つに基づいて前記操作対象機器の候補となる一の機器を選択し、
前記一の機器に関する前記データベースにおける前記関係情報が基準よりも高い場合には、当該一の機器を前記操作対象機器として推定し、
前記一の機器に関する前記データベースにおける前記関係情報が前記基準よりも低い場合には、当該一の機器の選択時に用いた要素情報以外の他の要素情報を用いて前記操作対象機器を推定する、
情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機器に関するユーザ操作を支援する情報処理方法及び情報処理装置に関する。

【背景技術】

【0002】

従来、機器に関するユーザ操作を支援する技術が存在する。例えば、十字キー等の操作入力部により操作者の入力が受け付けられた際に、操作者の視線上に存在する車載機器を操作対象機器として選択する技術が提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－１５１０５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述した従来技術では、操作対象機器の選択後に、操作対象機器に応じた操作画面を表示装置に出現させ、十字キーにより受け付けられた操作者の入力に基づいてその操作対象機器を操作する。このように、上述した従来技術では、操作対象機器に応じた操作画面を見ながら十字キーを用いて各操作対象機器を操作することが可能である。しかし、このような操作方法に対する習熟度が低いユーザにとっては不慣れな操作となり、その操作に戸惑うおそれがある。また、そのような習熟度が低いユーザに対して、通常の操作支援を実行してもユーザが理解できない不適切な操作支援となるおそれがある。

【0005】

本発明は、ユーザと操作対象機器との関係性の深さに応じたより適切な操作支援を実行することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様は、ユーザが操作可能な複数の機器に関するユーザ操作を支援する情報処理方法である。この情報処理方法は、複数の機器の何れにもユーザが触れていない状態で、ユーザの生体情報と、ユーザの発話と、ユーザの動作と、のそれぞれの要素情報のうちの少なくとも１つに基づいて、ユーザが操作を所望する機器（操作対象機器）を推定する推定処理と、その推定処理で推定された操作対象機器に関する操作支援を開始する制御処理と、その推定処理で推定された推定結果を、ユーザの複数の機器のそれぞれに対する習熟度合を示す関係情報を機器毎に格納するデータベースに反映させる反映処理とを含む。その推定処理では、要素情報のうちの少なくとも１つに基づいて操作対象機器の候補となる一の機器を選択し、その一の機器に関するデータベースにおける関係情報が基準よりも高い場合には、その一の機器を操作対象機器として推定する。一方、その一の機器に関するデータベースにおける関係情報が基準よりも低い場合には、その一の機器の選択時に用いた要素情報以外の他の要素情報を用いて操作対象機器を推定する。

【発明の効果】

【0007】

本発明によれば、ユーザと操作対象機器との関係性の深さに応じたより適切な操作支援を実行することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、車両の車室内の構成例を簡略化して示す図である。

【図2】図２は、車両の車室内の構成例を簡略化して示す図である。

【図3】図３は、車両に設置されている情報処理システムのシステム構成の一例を示す図である。

【図4】図４は、記憶部に記憶されている関係情報ＤＢの格納内容を簡略化して示す図である。

【図5】図５は、ユーザの視線に基づいて選択された操作対象機器の候補の関係値が基準値未満である場合の遷移例を示す図である。

【図6】図６は、ユーザの視線に基づいて選択された操作対象機器の候補の関係値が基準値未満である場合の遷移例を示す図である。

【図7】図７は、ユーザの視線に基づいて選択された操作対象機器の候補の関係値が基準値未満である場合の遷移例を示す図である。

【図8】図８は、ユーザの視線に基づいて選択された操作対象機器の候補の関係値が基準値以上である場合の遷移例を示す図である。

【図9】図９は、情報処理装置における制御処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付図面を参照しながら本発明の実施形態について説明する。

【0010】

［エージェント機器の設置例］
図１及び図２は、車両Ｃ１の車室内の構成例を簡略化して示す図である。なお、図１では、車両Ｃ１の左右方向の右側から見た場合の車両Ｃ１の車室内を簡略化して示し、図２では、運転席、助手席（図示省略）よりも前側を、車両Ｃ１の前後方向の後側から見た場合の車両Ｃ１の車室内を簡略化して示す。また、図１及び図２では、説明を容易にするため、ダッシュボード２、ステアリングホイール３、フロントウインド４、バックミラー５、カメラ１０１、エージェント機器２００、第１操作機器３００、第２操作機器４００以外の図示は省略する。なお、第１操作機器３００、第２操作機器４００は、ユーザ操作に基づいて動作が可能であるとともに、情報処理装置１１０からの制御に基づいて動作が可能な機器である。

【0011】

第１操作機器３００は、例えば、ＩＶＩ（In-Vehicle Infotainment）等の機器である。なお、ＩＶＩは、各種情報を提供可能な１又は複数の機器からなる車載システムを意味する。ＩＶＩとして、例えば、ナビゲーション機器、オーディオ機器、ＤＶＤ機器、ＴＶチューナー機器等のうちの少なくとも１つを用いることが可能である。また、ＩＶＩは、複数の機器の各機能を備え、これらの各機能をシームレスに切り替え可能とすることが可能である。なお、本実施形態では、第１操作機器３００をオーディオ機器とする例を示す。また、第１操作機器３００は、各種情報を表示することが可能な表示部３０１と、各種音声を出力することが可能な音声出力部とを備える例を示す。なお、表示部３０１として、ユーザＵ１による接触操作又は近接操作を受け付け可能なタッチパネル等のユーザインタフェースを用いることが可能である。

【0012】

第２操作機器４００は、例えば、車両Ｃ１内の温度を調整するエアコンを操作するための操作機器である。また、第２操作機器４００は、ユーザＵ１が手動操作するための操作部材４０１と、各種情報を表示することが可能な表示部４０２と、各種音声を出力することが可能な音声出力部とを備える例を示す。なお、表示部４０２として、ユーザＵ１による接触操作又は近接操作を受け付け可能なタッチパネル等のユーザインタフェースを用いることが可能である。

【0013】

なお、図２では、第１操作機器３００、第２操作機器４００を例示にするが、他の操作機器についても、本実施形態を適用可能である。例えば、操作部材を備える操作機器、タッチパネルを備える操作機器等について本実施形態を適用可能である。

【0014】

エージェント機器２００は、車両Ｃ１のダッシュボード２上に設置される小型のロボットである。本実施形態では、人間の顔を模したロボットをエージェント機器２００とする例を示す。また、本実施形態では、車両Ｃ１のダッシュボード２上に、眼部２０１が車内側を見る方向にエージェント機器２００が設置される例を示す。また、本実施形態では、エージェント機器２００がオン状態である場合には、表示部２１０（図３参照）に顔画像が表示される例を示す。なお、車両Ｃ１のオン操作に応じて、エージェント機器２００をオン状態とすることが可能である。また、エージェント機器２００に関するユーザ操作に応じて、エージェント機器２００をオン状態とすることが可能である。なお、車両Ｃ１のオンオフ操作は、車両Ｃ１の起動又は停止に関するスタートキーのオン操作又はオフ操作を意味する。エージェント機器２００は、車両Ｃ１におけるインターフェースの一例である。

【0015】

エージェント機器２００は、略球状の本体部２０５から構成される機器であり、本体部２０５の表面には表示部２１０（図３参照）が設けられる。また、本体部２０５には、耳部２０３、２０４が設けられる。

【0016】

表示部２１０は、各種画像を表示することが可能な表示媒体として構成することが可能である。この表示媒体として、例えば、発光シート、液晶表示器、有機ＥＬ（Electro Luminescence）等の各種表示媒体を使用可能である。例えば、表示部２１０には、眼部２０１、口部２０２が表示される。なお、本体部２０５の表面の全部に表示部２１０を設けてもよく、本体部２０５の表面のうちの一部に表示部２１０を設けてもよい。また、本体部２０５の表面のうちの一部に表示部２１０を設ける場合には、表示部２１０が設けられている部分以外の部分には、顔を構成する物理的な各部（例えば、口、眼、鼻）を設けてもよい。

【0017】

本体部２０５は、エージェント機器２００の下部を回動中心として、エージェント機器２００の前後方向に回動する。同様に、本体部２０５は、エージェント機器２００の下部を回動中心として、エージェント機器２００の左右方向に回動する。同様に、本体部２０５は、エージェント機器２００の下部を回動中心として、硬直方向を軸として回転する方向に回動する。このように、エージェント機器２００の下部には、本体部２０５を駆動させるための駆動部２３０（図３参照）が設けられる。そして、エージェント機器２００の本体部２０５を左右方向に回転移動させたり、本体部２０５を前後方向に回転移動させたり、本体部２０５を左右方向に揺らせたり、本体部２０５を前後方向に揺らせたりすることが可能となる。

【0018】

例えば、図５、図６等に示すように、ユーザＵ１の視線の先、ユーザＵ１の指先等を見つめる眼部２０１を表示部２１０に表示させることができる。また、例えば、図７（Ｄ２）、（Ｅ２）に示すように、汗画像ＳＷ１を表示部２１０に表示させることができる。また、例えば、図７（Ｄ２）に示すように、顔の上側に相当する部分Ｂ１を、謝罪の表情を示す所定色（例えば青色）に変化させることができる。また、本体部２０５を振動させることにより、エージェント機器２００が震えている状態を表現することも可能である。

【0019】

このように、表示部２１０のうちの少なくとも一部の色を特定色としたり、眼部２０１、口部２０２を変形させたりすることにより、エージェント機器２００が謝罪の表情、困惑の表情、安堵の表情等をしているような表示態様とすることが可能である。なお、ここで示す表示態様は、一例であり、他の表示態様により各表情を実現してもよい。

【0020】

このように、本実施形態では、エージェント機器２００の各部のうちの少なくとも一部を変化させる動作態様と、エージェント機器２００の表面のうちの少なくとも一部の表示状態を変化させる表示態様とによりエージェント機器２００を変化させることが可能である。また、その変化を見た車両Ｃ１の乗員は、エージェント機器２００が何らかの動きをしていると認識可能となる。このため、本実施形態では、これらのエージェント機器２００の変化をエージェント機器２００の動作態様と称して説明する。

【0021】

なお、これらのエージェント機器２００の動作態様は、一例であり、他の動作態様とすることも可能である。例えば、ダッシュボード２上の所定範囲内において、エージェント機器２００をスライド移動させることも可能である。例えば、エージェント機器２００を前後左右方向にスライド移動させることも可能である。また、例えば、エージェント機器２００を一時的に浮かせるような演出も可能である。

【0022】

なお、図２、図７等では、表示部２１０の表示態様を変更することにより、各表情を２次元的に表現する例を示すが、物理的に設置された眼部、鼻部、口部等の各部材を変化させることにより、各表情を３次元的に表現して実現してもよい。この場合には、例えば、眼部材を移動させたり、眼部材の表面に黒画像、白画像を表示させたりして眼の動きを表現してもよい。

【0023】

また、本実施形態では、顔部のみを備えるエージェント機器２００の例を示すが、他の身体の一部（例えば、手、足）をエージェント機器２００に備えてもよい。この場合には、これらの各部（例えば、手、足）を変化させて各態度（例えば、謝罪する態度）を実現してもよい。例えば、手を頭や顔に当てるように変化させたり、足や手をバタバタさせたりする動きを各態度として表現してもよい。

【0024】

なお、これらのエージェント機器２００の形状、表示態様、音声出力態様は、一例であり、他の形状、表示態様、音声出力態様とすることも可能である。また、図１、図２では、略球状の本体部２０５が顔部として機能するエージェント機器２００を例にして示すが、本発明はこれに限定されない。例えば、平板状の本体部（例えば、平面状の表示パネル）が顔部として機能する機器をエージェント機器２００としてもよい。また、例えば、顔部及び身体部を一体の筐体として構成する機器をエージェント機器２００としてもよい。また、例えば、顔部及び身体部を別体として構成する機器をエージェント機器２００としてもよい。

【0025】

なお、図１及び図２では、ダッシュボード２上にエージェント機器２００を設置する例を示すが、これに限定されない。例えば、フロントウインド４の上部にエージェント機器２００を設置してもよい。また、本実施形態では、人間の顔を模したロボットをエージェント機器２００とする例を示すが、これに限定されない。例えば、人間の全身を模したロボット、ウサギ、豚等のような動物を模したロボット、仮想物の生物（例えばアニメのキャラクターの顔）を模したロボット、他の物体（例えばテレビ型の機器、ラジオ型の機器）を模したロボットをエージェント機器２００としてもよい。また、本実施形態では、生き物らしさを表す画像（生き物表示）として顔画像を表示する例を示すが、他の画像（例えば、エージェントの全身、機械的なもの、仮想的な顔）を、生き物らしさを表す画像として表示してもよい。このように、擬生物化されたエージェントをエージェント機器２００とすることが可能である。

【0026】

エージェント機器２００は、情報処理装置１１０（図３参照）からの指示に基づいて各種の動作を実行する。例えば、エージェント機器２００は、情報処理装置１１０の制御に基づいて、ユーザＵ１が運転操作をする際における運転支援、周囲の施設等に関する各種情報を出力する。この運転支援として、前方又は後方の動体の報知等が想定される。例えば、前方の動体の報知として、「この先踏切だから気を付けてよ」と音声出力したり、「前方に人がいるよ」と音声出力したりすることができる。このように、エージェント機器２００は、運転支援を実行する。また、例えば、エージェント機器２００は、情報処理装置１１０の制御に基づいて、各種処理を実行する。例えば、エージェント機器２００は、ユーザＵ１からの指示に基づいて、その指示に応じた処理を実行する。また、例えば、エージェント機器２００は、各操作機器の操作を所望するユーザＵ１に対する操作支援を実行する。この操作支援の例を図５乃至図９に示す。

【0027】

カメラ１０１は、車両Ｃ１の内部の天井に設けられ、車両Ｃ１の内部の被写体を撮像して画像（画像データ）を生成するものである。なお、カメラ１０１は、例えば、被写体を撮像することが可能な１又は複数のカメラ機器や画像センサにより構成される。例えば、フロントウインド４の上部、すなわち、バックミラー５の上側にカメラ１０１を設けることができる。なお、図２では、少なくとも１つのカメラ１０１を備える例を示すが、２以上の撮像装置を備え、これらの撮像装置のうちの全部又は一部の画像を用いてもよい。また、各撮像装置の設置場所については、図２に示す例に限定されず、適宜変更可能である。また、車両Ｃ１の全方位に存在する被写体と、車両Ｃ１の内部の被写体とを取得可能な１又は複数の機器、例えば、３６０度カメラを用いてもよい。

【0028】

［情報処理システムの構成例］
図３は、車両Ｃ１に設置されている情報処理システム１００のシステム構成の一例を示す図である。

【0029】

情報処理システム１００は、カメラ１０１と、位置情報取得センサ１０２と、音声入力部１０３と、センサ類１０４と、情報処理装置１１０と、エージェント機器２００と、第１操作機器３００と、第２操作機器４００と、第Ｎ操作機器５００と、を備える。なお、情報処理装置１１０は、車載機器の操作介助装置の一例である。

【0030】

なお、情報処理装置１１０及びエージェント機器２００は、有線通信又は無線通信を利用した通信方式によって接続される。また、情報処理装置１１０は、無線通信を利用した通信方式によってネットワーク２０に接続されている。ネットワーク２０は、公衆回線網、インターネット等のネットワークである。なお、エージェント機器２００についても、無線通信を利用した通信方式によってネットワーク２０に接続してもよい。なお、図３では、情報処理装置１１０及びエージェント機器２００を別体として構成する例を示すが、情報処理装置１１０及びエージェント機器２００を一体の機器として構成してもよい。

【0031】

カメラ１０１は、被写体を撮像して画像（画像データ）を生成するものであり、生成された画像に関する画像情報を情報処理装置１１０に出力する。カメラ１０１は、車両Ｃ１のうちの少なくとも内部に設けられ、車両Ｃ１の内部の被写体を撮像して画像（画像データ）を生成する。なお、図２では、車両Ｃ１の内部に設けられているカメラ１０１を示す。上述したように、カメラ１０１は、例えば、被写体を撮像することが可能な１又は複数のカメラ機器や画像センサにより構成される。例えば、１つのカメラ１０１を車両Ｃ１の前方に設け、車両Ｃ１の前方からの被写体を撮像して画像（画像データ）を生成してもよく、他のカメラ１０１を車両Ｃ１の後方に設け、車両Ｃ１からの後方の被写体を撮像して画像（画像データ）を生成してもよい。

【0032】

位置情報取得センサ１０２は、車両Ｃ１が存在する位置に関する位置情報を取得するものであり、取得された位置情報を情報処理装置１１０に出力する。例えば、ＧＮＳＳ（Global Navigation Satellite System：全球測位衛星システム）を利用して位置情報を取得するＧＮＳＳ受信機により実現できる。また、その位置情報には、ＧＮＳＳ信号の受信時における緯度、経度、高度等の位置に関する各データが含まれる。また、他の位置情報の取得方法により位置情報を取得してもよい。例えば、周囲に存在するアクセスポイントや基地局からの情報を用いて位置情報を導き出してもよい。また、ビーコンを用いて位置情報を取得してもよい。例えば、位置情報取得センサ１０２により取得された情報に基づいて、車両Ｃ１の状態、例えば、走行中、停止中、後進中を判定可能である。

【0033】

音声入力部１０３は、車両Ｃ１の内部に設けられ、車両Ｃ１の内部の音を取得するものであり、取得された音に関する音情報を情報処理装置１１０に出力する。音声入力部１０３として、例えば、１又は複数のマイクや音取得センサを用いることができる。

【0034】

センサ類１０４は、車両Ｃ１に設置されている各種のセンサであり、各センサにより取得された検出情報を情報処理装置１１０に出力する。センサ類は、例えば、ＬｉＤＡＲ（Light Detection And Ranging）、ＲＡＤＡＲ（Radio Detection And Ranging）、Ｓｏｎａｒ、人感センサ、車速センサ、加速度センサ、着座センサ、シートベルトセンサ、非接触温度センサ等である。なお、これらは一例であり、他のセンサを用いてもよい。また、これらのうちの一部のセンサのみを用いてもよい。

【0035】

人感センサは、車両Ｃ１の内部に存在する人の有無、人数、位置、状態等を検出するセンサである。例えば、赤外線、超音波、可視光、撮像素子等を用いる人感センサを用いることが可能である。例えば、運転席、助手席、後部座席の何れかに人が着座している場合には、その人の存在を人感センサにより検出可能である。また、人感センサ及び着座センサの双方を用いることにより、各座席の着座状態の検出精度を高めることが可能である。また、これらにより、エージェント機器２００が対象とする人物の座席を特定することが可能である。

【0036】

着座センサ（又はシートセンサ）は、車両Ｃ１の各座席に着座している乗員の有無を検出するセンサである。シートベルトセンサは、車両Ｃ１の各座席に着座している乗員がシートベルトを着用しているか否かを検出するセンサである。

【0037】

非接触温度センサは、車両Ｃ１の乗員の体温を非接触状態で検出するセンサである。例えば、ユーザＵ１の顔の表面の温度を非接触温度センサにより計測可能である。これらの各センサについては、公知のセンサを用いることが可能である。

【0038】

情報処理装置１１０は、制御部１２０と、記憶部１３０と、通信部１４０とを備える。通信部１４０は、制御部１２０の制御に基づいて、有線通信又は無線通信を利用して、他の機器との間で各種情報のやりとりを行うものである。

【0039】

制御部１２０は、記憶部１３０に記憶されている各種プログラムに基づいて各部を制御するものである。制御部１２０は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の処理装置により実現される。例えば、ＧＰＵを用いて画像処理を実行することにより演算速度を速めることが可能である。また、ＧＰＵを用いて並列演算を実行することにより演算速度をさらに速めることが可能である。なお、車両Ｃ１の車両ＥＣＵ（Electronic Control Unit）を制御部１２０としても使用してもよく、車両ＥＣＵとは異なる処理装置を制御部１２０として設けてもよい。なお、制御部１２０は、文字を音声に変換する変換機能を備える。この変換機能は、例えば、ＴＴＳ（Text to Speech）により実現される。

【0040】

制御部１２０は、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報に基づいて各種制御を実行する。例えば、制御部１２０は、第１操作機器３００、第２操作機器４００、第Ｎ操作機器５００を操作するユーザＵ１に対する操作支援を実行する。また、例えば、制御部１２０は、第１操作機器３００、第２操作機器４００、第Ｎ操作機器５００の動作に関する制御を実行する。また、例えば、制御部１２０は、エージェント機器２００の動作状態を制御する制御処理を実行する。具体的には、制御部１２０は、情報取得部１２１と、要素検出部１２２と、推定部１２３と、ＤＢ制御部１２４と、エージェント制御部１２５と、操作機器制御部１２６とを備える。

【0041】

情報取得部１２１は、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０、第１操作機器３００、第２操作機器４００、第Ｎ操作機器５００等から出力された情報を取得するものである。そして、情報取得部１２１は、取得された各情報を、必要に応じて、要素検出部１２２、推定部１２３、ＤＢ制御部１２４、エージェント制御部１２５、操作機器制御部１２６に出力する。例えば、車両Ｃ１の乗員が発した音声（指示をする音声）が音声入力部１０３により取得され、この音声に関する音声情報が情報取得部１２１に出力される。また、例えば、車両Ｃ１の乗員が撮像された画像情報がカメラ１０１により取得され、この画像情報が情報取得部１２１に出力される。

【0042】

要素検出部１２２は、カメラ１０１、音声入力部１０３、センサ類１０４、第１操作機器３００、第２操作機器４００、第Ｎ操作機器５００等から出力された各情報に基づいて、ユーザＵ１に関する要素情報を検出するものである。そして、要素検出部１２２は、その検出結果を推定部１２３、ＤＢ制御部１２４、エージェント制御部１２５に出力する。

【0043】

ここで、要素情報は、車両Ｃ１に設置されている操作機器（例えば、第１操作機器３００、第２操作機器４００、第Ｎ操作機器５００）の操作を所望するユーザＵ１の各部、その各部の動き、ユーザＵ１の発話等を意味する。例えば、ユーザＵ１の視線の方向、ユーザＵ１の手の動き、指先の動き等を要素情報として用いることが可能である。なお、これらは一例であり、視線、手、指先以外に、ユーザＵ１の声（例えば、エアコン、寒い）、ユーザＵ１の表情、車両Ｃ１内の人数等を要素情報として用いることが可能である。例えば、要素検出部１２２は、車両Ｃ１に乗車するユーザＵ１の生体情報と、ユーザＵ１の発話と、ユーザＵ１の動作と、のそれぞれの要素情報のうちの少なくとも１つを検出する。すなわち、要素検出部１２２は、視線検出部、指示位置検出部等の検出部として機能する。なお、ユーザＵ１の生体情報は、例えば、心拍、体温、顔の表面温度、血流、怒りや安心に関係する情報、身体の各部の動きを特定可能な情報等である。また、ユーザＵ１の発話内容は、例えば、エアコン、オーディオ等の所定のキーワードである。また、ユーザＵ１の動作は、例えば、身体の各部の変化、身体の各部の動き（例えば、視線、その動き、指先、その動き、表情、その変化）等である。なお、ユーザＵ１の生体情報については、カメラ１０１、非接触温度センサ等により検出可能である。また、ユーザＵ１の発話内容については、音声入力部１０３により検出可能である。また、ユーザＵ１の動作については、カメラ１０１等により検出可能である。なお、要素情報の検出方法については、図５乃至図９を参照して詳細に説明する。

【0044】

推定部１２３は、要素検出部１２２により検出されたユーザＵ１に関する要素情報のうちの少なくとも１つに基づいて、ユーザＵ１が操作を所望する操作機器（操作対象機器）を推定するものである。そして、推定部１２３は、その推定結果をＤＢ制御部１２４、エージェント制御部１２５、操作機器制御部１２６に出力する。例えば、推定部１２３は、ユーザＵ１に関する要素情報のうちの少なくとも１つに基づいて、操作対象機器の候補となる一の操作機器を選択する。そして、推定部１２３は、その一の操作機器に関する関係情報ＤＢ１５０における関係値が基準値よりも高い場合には、その一の機器を操作対象機器として推定する。一方、推定部１２３は、その一の機器に関する関係情報ＤＢ１５０における関係値が基準値よりも低い場合には、その一の機器の選択時に用いた要素情報以外の他の要素情報を用いて操作対象機器を推定する。なお、関係値、基準値については、図４乃至図９を参照して詳細に説明する。また、操作対象機器の推定方法については、図５乃至図９を参照して詳細に説明する。

【0045】

ＤＢ制御部１２４は、記憶部１３０に記憶されている各ＤＢ（Daba Base）への情報の記録処理及び読出処理を実行するものである。例えば、ＤＢ制御部１２４は、要素検出部１２２、推定部１２３等から出力された各処理結果（要素情報、推定結果）を関連付けて関係情報ＤＢ１５０に格納する。また、例えば、ＤＢ制御部１２４は、要素検出部１２２、推定部１２３等から出力された各処理結果に基づいて、関係情報ＤＢ１５０に格納されている各情報を抽出し、その抽出された各情報を推定部１２３に出力する。なお、ＤＢ制御部１２４による記録処理及び読出処理については、図４乃至図９を参照して詳細に説明する。

【0046】

エージェント制御部１２５は、エージェント機器２００の動作状態を制御するものである。具体的には、エージェント制御部１２５は、情報取得部１２１、要素検出部１２２、推定部１２３、ＤＢ制御部１２４、操作機器制御部１２６等から出力された各情報と、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報とに基づいて、エージェント機器２００の動作状態を制御する。例えば、エージェント制御部１２５は、擬生物化されたエージェントの顔を構成する各部（例えば、眼部２０１、口部２０２）を表示部２１０に表示させる。また、エージェント制御部１２５は、車両Ｃ１の乗員に報知すべき情報（報知情報）を表示部２１０に表示させる。また、エージェント制御部１２５は、擬生物化されたエージェントの音声、車両Ｃ１の乗員に報知すべき情報に対応する音声等を音出力部２２０から出力させる。

【0047】

例えば、エージェント制御部１２５は、推定部１２３により推定された操作対象機器を確認するためのインタラクションを実行する。なお、インタラクションは、車両Ｃ１の乗員と、エージェント機器２００とのやりとり、会話等を意味する。例えば、図５（Ｃ）、図６（Ｄ１）（Ｅ１）、図７（Ｄ２）（Ｅ２）、図８（Ｂ）に示すように、エージェント機器２００に所定の演出を実行させることにより、その確認のインタラクションを実行することが可能である。

【0048】

また、例えば、エージェント制御部１２５は、推定部１２３により推定された操作対象機器を制御するためのインタラクションを実行する。例えば、図６（Ｆ１）、図７（Ｆ２）、図８（Ｃ）に示すように、エージェント機器２００に所定の演出を実行させることにより、その制御のためのインタラクションを実行することが可能である。

【0049】

また、例えば、エージェント制御部１２５は、推定部１２３により推定された操作対象機器が正しくなかった場合には、正しい操作対象機器を選択するためのインタラクションを実行する。例えば、図７（Ｄ２）（Ｅ２）に示すように、エージェント機器２００に所定の演出を実行させることにより、正しい操作対象機器を選択するためのインタラクションを実行することが可能である。なお、これらの各演出として、所定の音声出力、所定の振舞い等を実行することが可能である。

【0050】

操作機器制御部１２６は、車両Ｃ１に設置されている各操作機器（例えば、第１操作機器３００、第２操作機器４００、第Ｎ操作機器５００）を制御するものである。具体的には、操作機器制御部１２６は、情報取得部１２１、要素検出部１２２、推定部１２３、ＤＢ制御部１２４から出力された各情報と、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報とに基づいて、各操作機器を制御する。なお、操作機器制御部１２６による制御処理については、図５乃至図９を参照して詳細に説明する。

【0051】

記憶部１３０は、各種情報を記憶する記憶媒体である。例えば、記憶部１３０には制御部１２０が各種処理を行うために必要となる各種情報（例えば、制御プログラム、エージェント情報ＤＢ１３１、関係情報ＤＢ１５０）が記憶される。また、記憶部１３０には、通信部１４０を介して取得された各種情報が記憶される。記憶部１３０として、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせを用いることができる。

【0052】

エージェント情報ＤＢ１３１には、エージェント機器２００の各種動作を実現するために必要となる情報が格納されている。例えば、表示部２１０に表示される顔画像情報（例えば、眼部２０１、口部２０２、汗画像ＳＷ１）と、音出力部２２０から出力される音声情報とがエージェント情報ＤＢ１３１に格納される。また、例えば、インタラクションを実行する際にエージェント機器２００を動作させるための動作情報等がエージェント情報ＤＢ１３１に格納される。

【0053】

関係情報ＤＢ１５０には、車両Ｃ１に乗車する各乗員の、車両Ｃ１に設置されている各操作機器（例えば、第１操作機器３００、第２操作機器４００、第Ｎ操作機器５００）のそれぞれに対する習熟度合を示す関係情報が操作機器毎に格納されている。なお、習熟度合は、車両Ｃ１に乗車する乗員が、車両Ｃ１に設置されている操作機器にどの程度慣れているかを示す情報であり、乗員及び操作機器の関係性の深さを意味する。また、関係情報ＤＢ１５０には、推定部１２３により操作対象機器が推定された際における各情報（例えば、推定に用いられた要素情報、その操作対象機器）が順次反映される。なお、関係情報ＤＢ１５０については、図４を参照して詳細に説明する。

【0054】

エージェント機器２００は、情報処理装置１１０からの指示に基づいて各種動作を実行するロボット機器である。エージェント機器２００は、表示部２１０と、音出力部２２０と、駆動部２３０とを備える。なお、表示部２１０、音出力部２２０及び駆動部２３０は、エージェント機器２００が備える制御部（図示省略）に基づいて制御される。

【0055】

表示部２１０は、情報処理装置１１０からの指示に基づいて、各種画像を表示する表示部である。なお、表示部２１０として、例えば、有機ＥＬ（Electro Luminescence）パネル、ＬＣＤ（Liquid Crystal Display）パネル等の表示パネルを用いることができる。なお、表示部２１０については、使用者がその指を表示面に接触又は近接することにより操作入力を行うことが可能なタッチパネルとして構成してもよく、別体のユーザインタフェースとして構成してもよい。

【0056】

音出力部２２０は、情報処理装置１１０からの指示に基づいて、各種音声を出力するものである。音出力部２２０として、例えば、１又は複数のスピーカを用いることができる。なお、表示部２１０及び音出力部２２０は、ユーザインタフェースの一例であり、これらのうちの一部を省略してもよく、他のユーザインタフェースを用いてもよい。

【0057】

駆動部２３０は、情報処理装置１１０からの指示に基づいて、エージェント機器２００の本体部２０５、エージェント機器２００の各部を駆動するものである。例えば、駆動部２３０は、図５乃至図８等に示すように、本体部２０５を回動させたり、振動させたりする機構を実現する駆動装置である。例えば、駆動部２３０は、エージェント機器２００を移動させたり、本体部２０５を回動させたりすることが可能なモータ、サーボモータ等により構成される。

【0058】

第１操作機器３００、第２操作機器４００は、図１、図２に示す第１操作機器３００、第２操作機器４００に対応する。第Ｎ操作機器５００も同様に、ユーザ操作に基づいて動作が可能であるとともに、情報処理装置１１０からの制御に基づいて動作が可能な機器である。第Ｎ操作機器５００は、例えば、室内灯等の機器である。なお、図３では、３の操作機器を例示するが、車両Ｃ１における２の操作機器を対象としてもよく、４以上の操作機器を対象としてもよい。

【0059】

［関係情報ＤＢの格納内容例］
図４は、記憶部１３０に記憶されている関係情報ＤＢ１５０の格納内容を簡略化して示す図である。

【0060】

関係情報ＤＢ１５０は、車両Ｃ１に乗車する乗員の各操作機器に対する習熟度合（関係性の深さ）を示す各種情報を管理するためのデータベースである。具体的には、ユーザ識別情報１５２と、乗車時間１５３と、操作機器１５４と、操作回数１５５と、正答率１５６と、要素情報１５７と、ＦＢ（Feed Back）情報１５８とがユーザＩＤ（identification）１５１に関連付けて関係情報ＤＢ１５０に格納される。

【0061】

ユーザＩＤ１５１は、車両Ｃ１に乗車するユーザを管理するための識別情報である。なお、図４では、過去に車両Ｃ１に３人のユーザが乗車した場合の例を示す。また、図４では、説明を容易にするため、３人のユーザの氏名をユーザＩＤ１５１に格納する例を示す。なお、本実施形態で示すユーザＵ１は、甲田一郎であるものとする。

【0062】

ユーザ識別情報１５２は、ユーザＩＤ１５１に格納されている各ユーザを識別するための識別情報である。例えば、各ユーザの顔を識別可能な顔識別情報をユーザ識別情報１５２に格納しておき、この顔識別情報に基づいて、車両Ｃ１に乗車するユーザを識別することが可能である。例えば、要素検出部１２２は、カメラ１０１により取得された画像に含まれるユーザの顔画像と顔識別情報とに基づいて、車両Ｃ１に乗車するユーザを識別可能である。この場合には、公知の個人認識技術を用いることが可能である。また、例えば、各ユーザが発する音を識別可能な音識別情報をユーザ識別情報１５２に格納しておき、この音識別情報に基づいて、車両Ｃ１に乗車するユーザを識別することが可能である。例えば、要素検出部１２２は、音声入力部１０３により取得された音声情報に含まれるユーザの声と音識別情報とに基づいて、車両Ｃ１に乗車するユーザを識別可能である。この場合には、公知の音認識技術を用いることが可能である。なお、顔識別処理及び音識別処理を組み合わせてユーザを識別してもよく、顔識別情報、音識別情報以外の他の情報をユーザ識別情報として用いてもよい。図４では、ユーザ識別情報１５２に顔識別情報を格納する例を示す。また、図４では、説明を容易にするため、顔識別情報として各ユーザの顔画像を模式的に示す。

【0063】

なお、ユーザＩＤ１５１、ユーザ識別情報１５２については、ユーザ操作に基づいて関係情報ＤＢ１５０に格納してもよく、自動で関係情報ＤＢ１５０に格納してもよい。例えば、車両Ｃ１に乗車したユーザを自動で登録する場合には、車両Ｃ１に乗車したユーザ毎に識別情報（例えば、通し番号）を付与し、この識別情報をユーザＩＤ１５１に格納する。また、車両Ｃ１に乗車したユーザの顔をカメラ１０１により撮像した顔画像（又はこれに基づいて生成可能な顔識別情報）をユーザ識別情報１５２に格納する。

【0064】

乗車時間１５３は、ユーザＩＤ１５１に格納されている各ユーザが車両Ｃ１に乗車していた時間を示す情報である。各ユーザが車両Ｃ１に乗車していた時間については、ユーザ識別処理による識別結果と、人感センサ、着座センサ、シートベルトセンサ等により取得されたセンサ情報とに基づいて取得が可能である。ここで、ユーザＵ１が車両Ｃ１に乗車した時間は、ユーザＵ１が各操作機器と過ごした時間を意味する。この時間が長くなるのに応じて、ユーザＵ１と各操作機器との関係性の深さが高くなると推定することが可能である。

【0065】

なお、ユーザＵ１が車両Ｃ１に乗車した時間は、ユーザＵ１がエージェント機器２００と過ごした時間も意味する。この時間が長くなるのに応じて、ユーザＵ１の意識におけるエージェント機器２００の存在感が大きくなる。また、物理的に設置されているエージェント機器２００の場合には、ユーザＵ１と接する時間が長くなるのに応じて、ユーザＵ１及びエージェント機器２００が仲良くなり、理解しあえると考えられる。すなわち、ユーザＵ１が車両Ｃ１に乗車した時間が長い場合には、ユーザＵ１及びエージェント機器２００の関係性の深さが高くなり、エージェント機器２００により操作支援される各操作機器とユーザＵ１との関係性の深さも高くなると推定することが可能である。

【0066】

操作機器１５４は、車両Ｃ１に乗車するユーザが操作可能な操作機器を示す情報である。図４では、第１操作機器（オーディオ）３００、第２操作機器（エアコン）４００、第Ｎ操作機器（室内灯）５００のみを例示するが、これに限定されず、他の操作機器を格納してもよい。

【0067】

操作回数１５５は、操作機器１５４に格納されている操作機器が、推定部１２３により操作対象機器として推定された直後に、その操作機器をユーザが操作した回数を示す情報である。例えば、操作対象機器として推定された第１操作機器３００をユーザＵ１が操作した回数が１０回である場合には、第１操作機器３００に関連付けて操作回数１５５に「１０回」が格納される。また、例えば、操作対象機器として推定された第２操作機器４００をユーザＵ１が操作した回数が２０回である場合には、第２操作機器４００に関連付けて操作回数１５５に「２０回」が格納される。なお、各操作機器の操作回数については、各操作機器からのユーザ操作に関する情報に基づいて取得可能である。

【0068】

正答率１５６は、操作機器１５４に格納されている操作機器が、推定部１２３により操作対象機器として推定された場合における推定結果の正答率を示す情報（例えば、正誤情報）である。例えば、操作対象機器として推定された第１操作機器３００をユーザＵ１が操作した回数が１０回であり、７回の推定がユーザＵ１により正しいと判定され、３回の推定がユーザＵ１により正しくないと判定された場合を想定する。この場合には、推定部１２３は、ユーザＵ１による判定結果に基づいて、第１操作機器３００の推定に対する正答率として「７０％」を算出する。そして、ＤＢ制御部１２４は、第１操作機器３００に関連付けて正答率１５６に「７０％」を格納する。また、例えば、操作対象機器として推定された第２操作機器４００をユーザＵ１が操作した回数が２０回であり、１８回の推定がユーザＵ１により正しいと判定され、２回の推定がユーザＵ１により正しくないと判定された場合を想定する。この場合には、推定部１２３は、ユーザＵ１による判定結果に基づいて、第２操作機器４００の推定に対する正答率として「９０％」を算出する。そして、ＤＢ制御部１２４は、第２操作機器４００に関連付けて正答率１５６に「９０％」を格納する。なお、図４に示す例では、１つの操作機器について１つの正答率のみを格納する例を示すが、１つの操作機器について推定に用いられた要素情報毎の正答率を格納してもよい。例えば、ユーザＵ１の視線及び指先を用いて推定された場合の推定結果に対する正答率と、ユーザＵ１の視線のみを用いて推定された場合の推定結果に対する正答率とを分けて格納してもよい。この場合には、推定に用いられた要素情報に応じて、所定の正答率を用いて関係値を算出することが可能である。

【0069】

要素情報１５７は、操作機器１５４に格納されている操作機器が、推定部１２３により操作対象機器として推定された場合に、その推定に用いられたユーザの視線、指先等の各要素に関する情報である。例えば、第２操作機器４００を操作する際に、ユーザＵ１が視線を第２操作機器４００に向け、指先を第２操作機器４００に伸ばした場合には、視線、指に関する情報が要素情報１５７に格納される。なお、後述するように、ユーザＵ１及び第２操作機器４００の関係性が深くなるのに応じて、エージェント機器２００の操作支援の開始が早くなる。このため、例えば、第２操作機器４００を操作する際に、ユーザＵ１が視線を第２操作機器４００に向けるのみでエージェント機器２００の操作支援が開始されることもある。この場合には、視線に関する情報が要素情報１５７に格納される。

【0070】

なお、各要素に関する詳細情報を要素情報１５７に格納してもよい。例えば、操作対象機器が推定されるまでの各要素（例えば、指先、視線）の軌道、推定後のユーザの操作機器に対する操作の有無、推定が間違った時の各要素（例えば、指先、視線）の軌道等の各情報を要素情報１５７に格納してもよい。また、ユーザによる操作機器に対する操作状態を要素情報１５７に格納してもよい。例えば、操作機器にユーザが接触したときの指（又は手）の軌道、タッチパネルにおけるどの画面の時にどの部分を触ってオーディオを出力させようとしたかを示す情報等を要素情報１５７に格納してもよい。このように、各要素に関する詳細情報を要素情報１５７に格納することにより、過去の各ユーザの動き等を学習して操作対象機器を推定することが可能となり、推定精度を高めることが可能となる。

【0071】

ＦＢ情報１５８は、操作機器１５４に格納されている操作機器が、推定部１２３により操作対象機器として推定された場合に、その推定結果に対する各ユーザからの反応、評価等を示す情報である。例えば、ユーザＵ１とエージェント機器２００とのインタラクションにより、エージェント機器２００が推定に間違えたと指摘されたときの正誤情報をＦＢ情報１５８に反映させることが可能である。例えば、操作対象機器の推定に失敗したときの根拠、理由が、各ユーザからの反応、評価等に基づいて取得可能な場合には、それらの根拠、理由がＦＢ情報１５８に格納される。ＦＢ情報１５８に格納されている各情報を参照して操作対象機器を推定することにより、推定精度を高めることが可能となる。

【0072】

このように、関係情報ＤＢ１５０に格納されている各値を用いることにより、操作対象機器を適切に推定することが可能である。また、操作対象機器の推定結果を学習して用いることが好ましい。例えば、操作対象機器の推定に失敗したときには、それを訂正し、その訂正を学習して用いることが可能である。なお、正答率を上げるため、人工知能（ＡＩ：Artificial Intelligence）を用いた学習をして関係情報ＤＢ１５０に各値を格納してもよい。

【0073】

なお、図４で示す関係情報は、一例であり、これらのうちの一部を省略してもよく、他の情報を関係情報ＤＢ１５０に格納してもよい。例えば、複数の要素のうちの一部を減らして推定された推定結果が間違っていた場合には、その後のユーザＵ１からの反応により取得された正しい操作対象機器を、その間違っていた操作対象機器に関連付けて格納することが可能である。そして、これ以降の推定処理では、その間違った操作対象機器を考慮して推定を実行することが可能となる。

【0074】

ここで、関係値について説明する。関係値は、車両Ｃ１に乗車する乗員の、車両Ｃ１に設置されている各操作機器に対する習熟度合（関係性の深さ）を示す情報（関係情報）である。例えば、ユーザＵ１が過去にオーディオに触れた回数が少ない場合には、ユーザＵ１はオーディオに不慣れなことが想定される。また、ユーザＵ１がオーディオを触る可能性が低いと想定される。また、ユーザが車両Ｃ１に乗車した時間が長いと、車両Ｃ１の車載機器とユーザＵ１が接する時間が長くなり、ユーザＵ１と操作機器との関係性について、全体的な傾向が精度良くなると想定される。そこで、ユーザＵ１が操作機器の操作を開始した回数、ユーザＵ１が操作機器に接した時間等を考慮して関係値を求めることができる。

【0075】

例えば、関係値は、ユーザＵ１が操作機器の操作を開始した回数（操作回数１５５）と、操作機器の推定結果の正答率（正答率１５６）と、ユーザＵ１が操作機器に接した時間（乗車時間１５３）とうちの少なくとも１つに基づいて設定が可能である。例えば、乗車時間１５３、操作回数１５５、正答率１５６のうちの何れかの値を関係値として用いてもよく、これらの各値について所定の演算をすることにより関係値を求めてもよい。例えば、乗車時間１５３、操作回数１５５、正答率１５６のうちの少なくとも２つの各値に所定の係数を乗算して求めた複数の乗算値を加算した値を関係値とすることが可能である。これらの各関係値については、推定部１２３により算出される。すなわち、推定部１２３は、関係情報取得部として機能する。また、後述する基準値については、設定された関係値に応じて適宜設定が可能である。例えば、正答率１５６を関係値として用いる場合には、基準値として７０乃至８０（％）程度の値を設定可能である。

【0076】

［操作対象機器の候補の関係値が基準値未満である場合の遷移例］
図５乃至図７は、ユーザＵ１の視線に基づいて選択された操作対象機器の候補の関係値が基準値未満である場合の遷移例を示す図である。図５には、ユーザＵ１の視線に基づいてユーザＵ１が操作を所望する機器（操作対象機器）の候補を選択し、さらに、ユーザＵ１の指先の動きに基づいて操作対象機器を推定する遷移例を示す。なお、視線は、目線と称することも可能である。

【0077】

図６には、ユーザＵ１の視線及び指先の動きに基づく操作対象機器の推定結果が正しかった場合の遷移例を示す。図７には、ユーザＵ１の視線及び指先の動きに基づく操作対象機器の推定結果が正しくなかった場合の遷移例を示す。

【0078】

図５（Ａ）には、車両Ｃ１に乗車するユーザＵ１が第２操作機器４００を操作しようとして第２操作機器４００の方向を向いた状態を示す。この場合のユーザＵ１の視線ＬＳ１を点線で模式的に示す。

【0079】

要素検出部１２２は、情報取得部１２１により取得された各情報に基づいて、ユーザＵ１の眼の動き等の要素を検出する。例えば、図５（Ａ）に示すように、ユーザＵ１が第２操作機器４００の方向を向いた場合には、ユーザＵ１の視線ＬＳ１を検出する。具体的には、要素検出部１２２は、カメラ１０１により取得された画像に基づいて、その画像に含まれるユーザＵ１の顔及び眼を検出し、この眼の視線ＬＳ１を検出する。なお、ユーザＵ１の視線を検出する検出方法として、公知の視線検出技術を用いることが可能である。

【0080】

図５（Ａ）に示すように、ユーザＵ１の視線ＬＳ１が検出された場合には、推定部１２３は、ユーザＵ１の視線ＬＳ１と関係情報ＤＢ１５０（図４参照）とに基づいて、ユーザＵ１が操作を所望する操作対象機器の候補を選択することが可能か否かを判定する。具体的には、ユーザＵ１の視線ＬＳ１の延長上に操作機器が存在する場合には、推定部１２３は、その操作機器を操作対象機器の候補として選択することが可能である。

【0081】

なお、ユーザＵ１の視線ＬＳ１の延長上に操作機器が存在しなくても、ユーザＵ１の視線ＬＳ１の延長上の位置を基準とする所定範囲内に操作機器が存在する場合についても同様に、推定部１２３は、その操作機器を操作対象機器の候補として選択することが可能である。この所定範囲は、ユーザＵ１の視線の延長上に操作機器が存在するか否かを判定するための基準となる範囲である。例えば、ユーザＵ１の視線ＬＳ１の延長上の位置を中心とする円（所定値Ｒ１の半径）を所定範囲とすることが可能である。なお、所定値Ｒ１は、実験データ等に基づいて適宜設定可能な値である。また、関係値に応じて所定値Ｒ１を変更してもよい。例えば、関係値が大きい場合には、所定値Ｒ１を大きい値とし、関係値が小さい場合には、所定値Ｒ１を小さい値とすることが可能である。すなわち、ユーザＵ１との関係性が深い操作機器については所定範囲を広くし、ユーザＵ１との関係性が浅い操作機器については所定範囲を狭くすることが可能である。

【0082】

一方、ユーザＵ１の視線ＬＳ１の延長上（又は、上述した所定範囲内）に操作機器が存在しない場合には、推定部１２３は、操作対象機器の候補を選択することが不可能であると判定する。なお、ユーザＵ１の視線の延長上の位置と、各操作機器との関係については、記憶部１３０に格納しておき、用いることが可能である。

【0083】

図５（Ａ）に示す例では、ユーザＵ１の視線ＬＳ１の延長上に第２操作機器４００が存在する。このため、推定部１２３は、第２操作機器４００を操作対象機器の候補として選択する。

【0084】

なお、操作対象機器の候補を選択することが不可能な場合には、操作対象機器の候補を選択することが可能となるまでの間、エージェント制御部１２５は、エージェント機器２００の眼部２０１がユーザＵ１の視線の先を見続けるように、エージェント機器２００の表示部２１０の表示状態を制御する。

【0085】

次に、推定部１２３は、操作対象機器の候補として選択された第２操作機器４００に関連付けられている関係情報（関係情報ＤＢ１５０（図４参照））が基準以上であるか否かを判定する。具体的には、推定部１２３は、第２操作機器４００に関連付けられている関係情報を関係情報ＤＢ１５０から取得し、その関係情報を用いて取得可能な値（関係値）と基準値とを比較する。なお、関係値は、上述したように、関係情報に含まれる乗車時間１５３、操作回数１５５、正答率１５６のうちの少なくとも１つを用いて取得可能な値である。なお、基準値は、操作対象機器を推定する際に用いられる基準値であり、実験データ等で適宜設定可能である。

【0086】

そして、推定部１２３は、その関係値が基準値未満である場合には、関係情報が基準未満であると判定する。この場合には、推定部１２３は、操作対象機器の候補を選択した際に用いた要素（ユーザＵ１の視線）以外の他の要素（例えば、ユーザＵ１の指先の動き）を用いて、操作対象機器を推定する。この例を図５（Ｂ）に示す。一方、推定部１２３は、その関係値が基準値以上である場合には、関係情報が基準以上であると判定する。この場合には、推定部１２３は、操作対象機器の候補を操作対象機器として推定する。この例を図８に示す。

【0087】

なお、図５（Ａ）に示すように、ユーザＵ１が第２操作機器４００の方向を向いた場合には、エージェント制御部１２５は、エージェント機器２００の眼部２０１がユーザＵ１の視線ＬＳ１の先を見続けるように、エージェント機器２００の動作態様を遷移させる。この場合のエージェント機器２００の眼部２０１の視線ＬＳ２、ＬＳ３を点線で模式的に示す。なお、エージェント機器２００の設置場所によっては、エージェント機器２００の眼部２０１の視線ＬＳ２、ＬＳ３の方向が第２操作機器４００の方向に向かないことも想定される。このような場合でも、エージェント機器２００の眼部２０１が第２操作機器４００の方向を向いていることをユーザＵ１に感じさせるような表示態様とする。

【0088】

図５（Ｂ）に示すように、要素検出部１２２は、ユーザＵ１の手を検出する検出処理を実行する。すなわち、ユーザＵ１の手を検出することにより、ユーザＵ１がどの機器を操作しようとしているかを検出することが可能となる。図５（Ｂ）では、ユーザＵ１が左手を用いて第２操作機器４００を操作しようとしている状態を示す。

【0089】

具体的には、要素検出部１２２は、カメラ１０１により取得された画像に基づいて、その画像に含まれるユーザＵ１の手を検出し、この手及び指先を検出する。なお、ユーザＵ１の手及び指先を検出する検出方法として、公知の検出技術（２次元、３次元運動解析技術）を用いることが可能である。例えば、手の節の３次元的な位置を検出可能な技術を用いることが可能である。この技術では、手の節の３次元的な位置を用いて手の形状を把握することが可能である。この技術で取得された手の形状のうち、例えば、所定の指（例えば、人差し指）の指先を延長して、指先の方向を検出することが可能となる。なお、指先の方向を検出する以外に、他の手の動き、例えば、拡大縮小をするような手の動きも検出が可能となる。

【0090】

そして、ユーザＵ１の手が検出された場合には、エージェント制御部１２５は、エージェント機器２００の眼部２０１がユーザＵ１の手の先を見続けるように、エージェント機器２００の表示部２１０の表示状態を制御する。例えば、図５（Ｂ）に示すように、エージェント機器２００の眼部２０１がユーザＵ１の左手の指先を見続けるように、エージェント機器２００の表示部２１０の表示状態が制御される。なお、図５（Ｂ）では、ユーザＵ１の視線ＬＳ４、エージェント機器２００の眼部２０１の視線ＬＳ５、ＬＳ６を点線で模式的に示す。

【0091】

次に、推定部１２３は、要素検出部１２２による検出処理で検出されたユーザＵ１の指先の延長線上に、何れかの操作機器が存在するか否かを判定する。なお、ユーザＵ１の指先の延長上の位置と、各操作機器との関係については、記憶部１３０に格納しておき、用いることが可能である。

【0092】

図５（Ｂ）では、ユーザＵ１の左手の指先の延長上に第２操作機器４００が存在する例を示す。この場合には、推定部１２３は、ユーザＵ１の指先の延長線上に、第２操作機器４００が存在すると判定する。なお、ユーザＵ１の指先の延長上に操作機器が存在しなくても、ユーザＵ１の指先の延長上の位置を基準とする所定範囲内に操作機器が存在する場合についても同様に、推定部１２３は、その操作機器を操作対象機器の候補として選択することが可能である。この所定範囲は、ユーザＵ１の指先の延長上に操作機器が存在するか否かを判定するための基準となる範囲である。例えば、ユーザＵ１の指先の延長上の位置を中心とする円（所定値Ｒ２の半径）を所定範囲とすることが可能である。なお、所定値Ｒ２は、実験データ等に基づいて適宜設定可能な値である。また、関係値に応じて所定値Ｒ２を変更してもよい。例えば、関係値が大きい場合には、所定値Ｒ２を大きい値とし、関係値が小さい場合には、所定値Ｒ２を小さい値とすることが可能である。すなわち、ユーザＵ１との関係性が深い操作機器については所定範囲を広くし、ユーザＵ１との関係性が浅い操作機器については所定範囲を狭くすることが可能である。

【0093】

なお、ユーザＵ１の指先の延長線上（又は、上述した所定範囲内）に何れの操作機器も存在しない場合には、何れかの操作機器が存在すると判定されるまでの間、ユーザＵ１の手の検出処理、エージェント機器２００の眼部２０１がユーザＵ１の左手の指先を見続ける制御処理が繰り返し実行される。ただし、ユーザＵ１が何らかの理由で操作機器を操作しようとする考えを変更し、手を元の位置に戻すことも想定される。このため、ユーザＵ１の手が検出されなくなった場合には、エージェント機器２００の眼部２０１がユーザＵ１の視線を見続ける制御処理に戻すようにする。

【0094】

なお、複数の要素情報を用いて操作対象機器の推定処理を実行する場合には、予め優先度を設定しておき、この優先度に基づいて、複数の要素のうちの少なくとも１つの要素を、エージェント機器２００の眼部２０１が見続けるようにすることが可能である。例えば、指先の優先度を視線よりも高く設定しておき、ユーザＵ１の視線及び指先の双方を要素として用いる場合には、エージェント機器２００の眼部２０１がユーザＵ１の指先を見続けるようにする。また、操作対象機器からの距離に基づいて優先度を設定してもよい。例えば、操作対象機器から所定範囲以内にユーザＵ１の指先が存在する場合には、ユーザＵ１の指先を優先的に見続けるようにする。一方、操作対象機器から所定範囲以内にユーザＵ１の指先が存在しない場合には、ユーザＵ１の視線を見続けるようにする。

【0095】

なお、この例では、ユーザＵ１の左手の指先の延長上に存在する操作機器を検出する例を示すが、ユーザＵ１の左手（又は指先）が動いている方向に存在する操作機器を検出してもよい。

【0096】

また、ユーザＵ１の手が検出されない場合には、ユーザＵ１の手が検出されるまでの間、エージェント制御部１２５は、エージェント機器２００の眼部２０１がユーザＵ１の視線の先を見続けるように、エージェント機器２００の表示部２１０の表示状態を制御する。

【0097】

図５（Ｂ）に示すように、ユーザＵ１の指先の延長線上に第２操作機器４００が存在すると判定された場合には、エージェント制御部１２５は、ユーザＵ１との間でインタラクションを開始するための制御を実行する。このように、ユーザＵ１の指先の延長線上に第２操作機器４００が存在する場合には、ユーザＵ１が第２操作機器４００に手を伸ばして第２操作機器４００を操作することを所望していると想定される。そこで、このような場合には、その推定が正しいか否かを判断するため、エージェント機器２００が「エアコン見ていた？」とユーザＵ１に聞くようにする。この例を図５（Ｃ）に示す。

【0098】

図５（Ｃ）に示すように、エージェント制御部１２５は、推定部１２３による操作対象機器の推定が正しいか否かをユーザＵ１に確認するためのインタラクションをエージェント機器２００に開始させるための制御を実行する。例えば、エージェント制御部１２５は、第２操作機器４００の推定が正しいか否かをユーザＵ１に確認するための音声情報Ｓ１（例えば、エアコン見ていた？）を音出力部２２０から出力させる。この音声情報Ｓ１に対するユーザＵ１の反応に応じて、推定部１２３は、第２操作機器４００の推定が正しいか否かを判定することが可能である。なお、第２操作機器４００の推定が正しかった場合の遷移例を図６に示す。また、第２操作機器４００の推定が正しくなかった場合の遷移例を図７に示す。

【0099】

図６（Ｄ１）には、第２操作機器４００の推定が正しいか否かを確認するための音声情報Ｓ１（図５（Ｃ）参照）に対して、その推定が正しい旨の応答（例えば、うん見ていたよ）がユーザＵ１からあった場合を示す。この場合には、エージェント制御部１２５は、第２操作機器４００を制御するためのインタラクションを開始する。例えば、図６（Ｅ１）、図６（Ｆ１）に示すように、エージェント機器２００は、第２操作機器４００を制御するための音声情報Ｓ３乃至Ｓ６のやりとりをユーザＵ１との間で実行する。

【0100】

図６（Ｅ１）、図６（Ｆ１）に示すようなインタラクションを実行した後に、操作機器制御部１２６は、第２操作機器４００の制御を開始する。例えば、操作機器制御部１２６は、ユーザＵ１及びエージェント機器２００間でのインタラクションに基づいて、エアコンの温度設定を上げる制御、エアコンの温度設定を下げる制御等を実行する。

【0101】

図７（Ｄ２）には、第２操作機器４００の推定が正しいか否かを確認するための音声情報Ｓ１（図５（Ｃ）参照）に対して、その推定が正しくない旨の応答（例えば、いやオーディオを見ていたよ）がユーザＵ１からあった場合を示す。この場合には、エージェント制御部１２５は、正しい操作対象機器（第２操作機器４００以外の操作機器）を選択するためのインタラクションを開始するための制御を実行する。また、第２操作機器４００の推定が誤っていた場合には、エージェント制御部１２５は、エージェント機器２００の態様を、ユーザＵ１に対する謝罪を示す態様に遷移させる。例えば、図７（Ｄ２）、（Ｅ２）に示すように、汗画像ＳＷ１を表示部２１０に表示させることができる。また、例えば、図７（Ｄ２）に示すように、顔の上側に相当する部分Ｂ１を、謝罪の表情を示す所定色（例えば青色）に変化させることができる。このように、第２操作機器４００の推定が正しくなかった場合には、謝る演出、申し訳なさそうにする演出を実行する。これにより、ユーザＵ１に対して理解しようとする演出を実行することができ、間違いに対する受容性を高めることが可能となる。なお、推定に用いる要素を減らした場合の推定結果が間違いだった場合には、各演出（謝る演出、申し訳なさそうにする演出）の動き、音声を大きくしてもよい。これにより、間違いに対する受容性を高めることが可能である。

【0102】

なお、図７（Ｄ２）に示す例では、ユーザＵ１は、推定が正しくない旨の応答として、正しい操作対象機器に関する音声Ｓ１２を発している。このため、エージェント制御部１２５は、ユーザＵ１が発した音声Ｓ１２に基づいて推定される操作機器が操作対象機器であるか否かを確認するためのインタラクションを順次実行する。

【0103】

例えば、図７（Ｅ２）に示すように、エージェント機器２００は、音声情報Ｓ１３「オーディオを見ていたんだ。操作をお手伝いしましょうか？」を発する。これに対する応答として、ユーザＵ１が、音声Ｓ１４「ありがとう」を発した場合には、図７（Ｄ２）でユーザＵ１が発した音声Ｓ１２に含まれるオーディオ（第１操作機器３００）が操作対象機器であると推定することが可能である。この場合には、図６に示す例と同様に、エージェント制御部１２５は、第１操作機器３００を制御するためのインタラクションを開始する。例えば、図７（Ｆ２）に示すように、エージェント機器２００は、第１操作機器３００を制御するための音声情報Ｓ１５、Ｓ１６のやりとりをユーザＵ１との間で実行する。

【0104】

図７（Ｅ２）、図７（Ｆ２）に示すようなインタラクションを実行した後に、操作機器制御部１２６は、第１操作機器３００の制御を開始する。例えば、操作機器制御部１２６は、ユーザＵ１及びエージェント機器２００間でのインタラクションに基づいて、オーディオでラジオを流す制御、所定の曲を流す制御、音量を調整する制御等を実行する。

【0105】

なお、図６に示すように、第２操作機器４００の推定が正しかった場合には、ＤＢ制御部１２４は、その推定の際に用いられた要素情報（ユーザＵ１の視線及び指先）と、第２操作機器４００とを、関係情報ＤＢ１５０に反映させる反映処理を実行する。

【0106】

例えば、ユーザＵ１の視線及び指先を用いた第２操作機器４００の推定処理が１回目である場合には、ＤＢ制御部１２４は、ユーザＩＤ１５１「甲田一郎」及び操作機器１５４「第２操作機器４００」に関連付けて操作回数１５５に「１回」、正答率１５６に「１００％」をそれぞれ格納する。また、ＤＢ制御部１２４は、ユーザＩＤ１５１「甲田一郎」及び操作機器１５４「第２操作機器４００」に関連付けて要素情報１５７に「視線」及び「指先」に関する情報を格納する。

【0107】

また、例えば、ユーザＵ１の視線及び指先を用いた第２操作機器４００の推定処理が２回目以降である場合を想定する。この場合には、ＤＢ制御部１２４は、ユーザＩＤ１５１「甲田一郎」及び操作機器１５４「第２操作機器４００」に関連付けて操作回数１５５、正答率１５６のそれぞれに各値を格納する。

【0108】

また、図７に示すように、第２操作機器４００の推定が正しくなかった場合についても同様に、ＤＢ制御部１２４は、その推定の際に用いられた要素情報（ユーザＵ１の視線及び指先）と、第２操作機器４００とを、関係情報ＤＢ１５０に反映させる反映処理を実行する。例えば、ユーザＵ１の視線及び指先を用いた第２操作機器４００の推定処理が１回目である場合を想定する。この場合には、ＤＢ制御部１２４は、ユーザＩＤ１５１「甲田一郎」及び操作機器１５４「第２操作機器４００」に関連付けて、操作回数１５５「１回」、正答率１５６「０％」をそれぞれ格納する。また、ＤＢ制御部１２４は、ユーザＩＤ１５１「甲田一郎」及び操作機器１５４「第２操作機器４００」に関連付けて要素情報１５７に「視線」及び「指先」に関する情報を格納する。また、ユーザＵ１の視線及び指先を用いた第２操作機器４００の推定処理が２回目以降である場合を想定する。この場合には、ＤＢ制御部１２４は、ユーザＩＤ１５１「甲田一郎」及び操作機器１５４「第２操作機器４００」に関連付けて操作回数１５５、正答率１５６のそれぞれに各値を格納する。この場合の正答率１５６については、正答率が低下した値が格納される。

【0109】

なお、ユーザＵ１及びエージェント機器２００間でのインタラクションにおいて、ユーザＵ１から何らかのＦＢ情報が取得された場合には、ＤＢ制御部１２４は、ユーザＩＤ１５１「甲田一郎」及び操作機器１５４「第２操作機器４００」に関連付けて、そのＦＢ情報をＦＢ情報１５８に格納する。

【0110】

［操作対象機器の候補の関係値が基準値以上である場合の遷移例］
図８は、ユーザＵ１の視線に基づいて選択された操作対象機器の候補の関係値が基準値以上である場合の遷移例を示す図である。

【0111】

図８（Ａ）には、車両Ｃ１に乗車するユーザＵ１が第２操作機器４００を操作しようとして第２操作機器４００の方向を向いた状態を示す。なお、図８（Ａ）に示す例は、図５（Ａ）と同様であるため、図５（Ａ）と同一の符号を付して、ここでの詳細な説明を省略する。

【0112】

図８（Ａ）に示す例では、ユーザＵ１の視線ＬＳ１の延長上に第２操作機器４００が存在する。このため、推定部１２３は、第２操作機器４００を操作対象機器の候補として選択する。

【0113】

次に、推定部１２３は、操作対象機器の候補として選択された第２操作機器４００に関連付けられている関係情報（関係情報ＤＢ１５０（図４参照））が基準以上であるか否かを判定する。図８（Ａ）では、その関係値が基準値以上であると判定された場合の例を示す。この場合には、操作対象機器の候補として選択された第２操作機器４００の推定が正しいか否かをユーザＵ１に確認するためのインタラクションを開始する。この例を図８（Ｂ）（Ｃ）に示す。

【0114】

図８（Ｂ）に示すように、エージェント制御部１２５は、推定部１２３による操作対象機器の推定が正しいか否かをユーザＵ１に確認するためのインタラクションをエージェント機器２００に開始させるための制御を実行する。例えば、エージェント制御部１２５は、第２操作機器４００の推定が正しいか否かをユーザＵ１に確認するための音声情報Ｓ２１（例えば、エアコンの操作をしますよ）を音出力部２２０から出力させる。ここで、第２操作機器４００に関連付けられている関係値が基準値以上である場合には、その推定結果の精度が高いと想定される。このため、図８（Ｂ）に示すエージェント機器２００の音声情報Ｓ２１「エアコンの操作をしますよ」は、図５（Ｃ）に示すエージェント機器２００の音声情報Ｓ１「エアコン見ていた？」よりも自信があるような内容とすることが可能である。この場合には、エージェント機器２００に自信があるような演出、振る舞い等を実行させてもよい。

【0115】

図８（Ｂ）（Ｃ）に示すように、音声情報Ｓ２１、Ｓ２３に対するユーザＵ１の反応（音声Ｓ２２、Ｓ２４）に応じて、推定部１２３は、第２操作機器４００の推定が正しいか否かを判定することが可能である。図８では、第２操作機器４００の推定が正しかった場合の遷移例を示す。なお、第２操作機器４００の推定が正しくなかった場合の遷移例については、図7に示す例と略同様であるため、ここでの図示及び説明を省略する。

【0116】

図８（Ｂ）には、第２操作機器４００の推定が正しいか否かを確認するための音声情報Ｓ２１に対して、その推定が正しい旨の応答（例えば、音声Ｓ２２「ありがとう」）がユーザＵ１からあった場合を示す。この場合には、エージェント制御部１２５は、第２操作機器４００を制御するためのインタラクションを開始する。例えば、図８（Ｃ）に示すように、エージェント機器２００は、第２操作機器４００を制御するための音声情報Ｓ２３、Ｓ２４のやりとりをユーザＵ１との間で実行する。

【0117】

図８（Ｃ）に示すようなインタラクションを実行した後に、操作機器制御部１２６は、第２操作機器４００の制御を開始する。例えば、操作機器制御部１２６は、ユーザＵ１及びエージェント機器２００間でのインタラクションに基づいて、エアコンの温度設定を上げる制御等を実行する。

【0118】

図８に示すように、第２操作機器４００の推定が正しかった場合についても同様に、ＤＢ制御部１２４は、その推定の際に用いられた要素情報（ユーザＵ１の視線）と、第２操作機器４００とを、関係情報ＤＢ１５０に反映させる反映処理を実行する。

【0119】

図８に示すように、関係値が高くなるのに応じて、ユーザＵ１の視線のみを用いてユーザＵ１が操作を所望する操作対象機器を推定可能となる。すなわち、操作機器の使用回数が増えたり、操作対象機器の推定の正答率が高くなったり、ユーザＵ１の車両Ｃ１の乗車時間が長くなったりした場合には、ユーザＵ１の視線のみを用いて操作対象機器を推定可能となる。また、その推定結果にエージェント機器２００を反応させることが可能となるため、迅速に操作支援を実行することが可能となる。

【0120】

一方、図７と同様に、操作対象機器の推定にエージェント機器２００が失敗した場合でも、その推定を訂正可能とし、その失敗したことを関係情報ＤＢ１５０に反映させることが可能である。このため、次回以降の操作対象機器の推定精度（操作対象機器の推定結果の正答率）を向上させることが可能である。

【0121】

ここで、今まで使用していたインターフェースを急激に変更すると、一般的な操作性は向上させることが可能であるが、急激な変更に対応することが困難なユーザＵ１にとっては不慣れな操作となることも考えられる。この場合には、ユーザＵ１が不慣れな操作に戸惑うことも想定される。例えば、ボタン操作及び音声認識操作が可能な操作機器について、ユーザＵ１が過去にボタン操作をしていた場合を想定する。このような場合において、操作対象機器の推定結果に基づいて、いきなり音声認識で操作可能とすると、一般的は便利な操作となるが、ユーザＵ１にとっては不慣れな操作となる可能性がある。

【0122】

そこで、本実施形態では、今まで使用していたインターフェースをいきなり変更するのではなく、段階的に変更するようにする。具体的には、ユーザＵ１が操作を所望する操作機器（例えば、エアコン）に手を伸ばした場合に、補助的に「エアコンですか」、「温度上げますか」等の音声をエージェント機器２００が発する。そして、これ以降も、エージェント機器２００は、その操作機器とユーザＵ１との関係性の深さに応じてユーザＵ１との所定のやりとりを実行することにより、交流を進めていく。また、その操作機器について、これ以降も同様に、その操作機器とユーザＵ１との関係性の深さに応じてユーザＵ１との所定のやりとりを順次実行することにより、交流をさらに進めていく。これらの交流の蓄積により、ユーザＵ１が手を伸ばした場合に、その操作機器の迅速な推定が可能となり、「エアコンですね」、「温度上げますよ」等の制御が可能となる。

【0123】

このように、本実施形態では、最新のインターフェース（例えば、ジェスチャー、視線認識、音声認識）に急激に変更して使用感、使い方を急激に変更するのではなく、段階的に今までの使用感、使い方を変更していく。例えば、手動で操作していた操作機器について、音声認識操作に変更する場合には、その変更の過程で精度を高めつつ徐々に移行するようにすることが可能である。これにより、その操作機器とユーザＵ１との関係性が低い場合よりも、その操作機器とユーザＵ１との関係性が高い状態で、音声認識操作を開始できるようになる。これらにより、例えば、ボタン操作及び音声認識操作が可能な操作機器をユーザＵ１が操作する場合に、その操作機器とユーザＵ１との関係性の深さに応じた自然な流れで、ボタン操作から音声認識操作にシフトチェンジすることが可能である。

【0124】

また、このように、操作機器とユーザＵ１との関係性の深さに応じた自然な流れで、操作機器の使用感、使い方を徐々に変更することにより、ユーザＵ１自身もエージェント機器２００が自分自身を徐々に理解していることを容易に認識可能となる。すなわち、ユーザＵ１とエージェント機器２００との交流を続けることにより、エージェント機器２００（又は車両Ｃ１）が、ユーザＵ１を理解してくれていることを感じるようになる。

【0125】

また、ユーザＵ１とエージェント機器２００との交流が不足し、エージェント機器２００がユーザＵ１に対して理解しようとする演出が不足していると、エージェント機器２００に対するユーザＵ１の信頼性が低下するおそれがある。例えば、操作対象機器の推定が失敗した場合において、エージェント機器２００がユーザＵ１に対して謝罪する演出が不足していると、エージェント機器２００に対するユーザＵ１の不信感が増加するおそれがある。そこで、本実施形態では、ユーザＵ１とエージェント機器２００との交流を豊かにし、操作対象機器の推定が失敗した場合でも、その推定を訂正できるようなインタラクションを可能にする。また、この場合でも、エージェント機器２００がユーザＵ１に対して理解しようとする演出を実行し、エージェント機器２００がユーザＵ１を理解しようとしているように見せることが可能となる。また、操作対象機器の推定が失敗し、その推定を訂正した場合には、その訂正に関する各情報を関係情報ＤＢ１５０（図４参照）に反映することが可能であるため、次回以降の操作対象機器の推定精度を向上させることが可能である。

【0126】

なお、本実施形態では、ユーザＵ１が指で操作可能な操作部を備える操作機器を例にして説明したが、音声認識が可能な操作機器、視線認識が可能な操作機器等の非接触での操作が可能な操作機器についても適用可能である。例えば、ユーザＵ１が指で操作可能な操作部を備えるとともに、非接触での操作が可能な操作機器についても適用可能である。この場合には、最初のうちは、エージェント機器２００の操作支援に基づいて、ユーザＵ１が指を用いて操作をし、ユーザＵ１が慣れてきたらエージェント機器２００の操作支援に基づいて非接触での操作に徐々に移行することが可能である。

【0127】

このように、情報処理装置１１０は、ユーザＵ１に対するエージェント機器２００のインタラクションの開始を判定するとともに、操作機器の操作内容自体（ユーザＵ１の操作手段）も変更することが可能である。

【0128】

なお、図５乃至図８では、立体的なエージェント機器２００を用いてユーザＵ１に対する操作支援を実行する例を示したが、エージェント機器２００以外の機器を用いてユーザＵ１に対する操作支援を実行してもよい。例えば、ＩＶＩ（In-Vehicle Infotainment）等の表示装置、又は、ユーザＵ１が所持する電子機器（例えば、スマートフォン、タブレット端末）の表示部等にエージェント画像を表示させ、このエージェント画像の表示態様及び音声を用いてユーザＵ１に対する操作支援を実行することが可能である。例えば、表示装置に表示されるエージェント画像の表示態様を、図５乃至図８に示すエージェント機器２００と同じ態様とし、図５乃至図８に示す音声情報と同じ音声を表示装置の音声出力部から出力させることが可能である。また、エージェント機器２００及びエージェント画像を用いる代わりに、音声情報のみを用いてユーザＵ１に対する操作支援を実行してもよい。例えば、スピーカ等の音出力装置、又は、ユーザＵ１が所持する電子機器（例えば、スマートフォン、タブレット端末）の音出力部等から音声情報を出力させ、この音声情報を用いてユーザＵ１に対する操作支援を実行することが可能である。例えば、図５乃至図８に示す音声情報と同じ音声を音出力装置から出力させることが可能である。

【0129】

［情報処理装置の動作例］
図９は、情報処理装置１１０における制御処理の一例を示すフローチャートである。また、この制御処理は、記憶部１３０に記憶されているプログラムに基づいて制御部１２０により実行される。また、この制御処理は、情報処理装置１１０がオン状態である場合に制御周期毎に常時実行される。また、この制御処理では、図１乃至図８を適宜参照して説明する。

【0130】

また、図９では、車両Ｃ１にユーザＵ１のみが乗車している場合の例を示す。この場合には、ユーザ識別情報１５２（図４参照）に基づいて、要素検出部１２２によりユーザＵ１（甲田一郎）が検出される。このため、操作対象機器の推定処理においては、ユーザＵ１に関連付けられている各情報が関係情報ＤＢ１５０から取得されるものとする。なお、車両Ｃ１に複数のユーザが乗車している場合には、操作機器を操作しようとするユーザを識別した後に、図９に示す制御処理が実行される。

【0131】

ステップＳ６０１において、推定部１２３は、車両Ｃ１のユーザＵ１が触れた操作機器が存在するか否かを判定する。例えば、推定部１２３は、第１操作機器３００、第２操作機器４００、第Ｎ操作機器５００のそれぞれから出力された操作情報に基づいて、これらの各操作機器のうちで、ユーザＵ１が触れた操作機器が存在するか否かを判定する。ユーザＵ１が触れた操作機器が存在する場合には、ステップＳ６０２に進む。一方、ユーザＵ１が触れた操作機器が存在しない場合には、ステップＳ６０３に進む。

【0132】

ステップＳ６０２において、推定部１２３は、ステップＳ６０１でユーザＵ１が触れたと判定された操作機器を操作対象機器として選択する。

【0133】

ステップＳ６０３において、要素検出部１２２は、ユーザＵ１の視線を検出する検出処理を実行する。すなわち、ユーザＵ１の視線を検出することにより、ユーザＵ１がどこを見ているかを検出することが可能となる。具体的には、要素検出部１２２は、カメラ１０１により取得された画像に基づいて、その画像に含まれるユーザＵ１の顔及び眼を検出し、この眼の視線を検出する。この検出処理での視線の検出対象とする範囲は、例えば、エージェント機器２００による操作支援の対象とする操作機器を基準とする操作機器周辺の範囲とすることが可能である。すなわち、操作機器にある程度近い範囲を検出対象とすることが可能である。なお、ユーザＵ１の視線を検出する検出方法として、公知の視線検出技術を用いることが可能である。

【0134】

なお、ユーザＵ１が車両Ｃ１のドライバである場合には、運転時には、ユーザＵ１の視線は、車両Ｃ１の進行方向に向いていると想定される。また、ユーザＵ１が運転している場合において、ユーザＵ１が何らかの操作を所望するときには、ユーザＵ１は、車両Ｃ１の進行方向から視線をずらして操作機器を見ることが想定される。そこで、ユーザＵ１が運転している場合には、ステップＳ６０３において、要素検出部１２２は、ユーザＵ１が車両Ｃ１の進行方向から視線をずらしたことを条件に検出処理を開始してもよい。一方、ユーザＵ１が運転していない場合（例えば、車両Ｃ１が停車中の場合）には、ステップＳ６０３において、要素検出部１２２は、検出処理を常時実行するようにする。

【0135】

ステップＳ６０４において、推定部１２３は、ステップＳ６０３で検出されたユーザＵ１の視線と関係情報ＤＢ１５０（図４参照）とに基づいて、ユーザＵ１が操作を所望する操作対象機器の候補を選択することが可能か否かを判定する。操作対象機器の候補を選択することが可能である場合には、ステップＳ６０５に進む。一方、操作対象機器の候補を選択することが不可能である場合には、ステップＳ６１２に進む。

【0136】

例えば、ユーザＵ１の視線の延長上（又は、上述した所定範囲内）に操作機器が存在し、かつ、その操作機器が操作機器１５４（図４参照）に格納されている場合には、推定部１２３は、その操作機器を操作対象機器の候補として選択することが可能である。一方、ユーザＵ１の視線ＬＳ１の延長上（又は、上述した所定範囲内）に操作機器が存在しない場合、又は、その操作機器が操作機器１５４に格納されていない場合には、推定部１２３は、操作対象機器の候補を選択することが不可能であると判定する。なお、ユーザＵ１の視線の延長上の位置と、各操作機器との関係については、記憶部１３０に格納しておき、用いることが可能である。

【0137】

ステップＳ６０５において、推定部１２３は、ステップＳ６０４で選択された操作対象機器の候補に関連付けられている関係値が基準値以上であるか否かを判定する。具体的には、推定部１２３は、ステップＳ６０４で候補として選択された操作対象機器に関連付けられている関係情報を関係情報ＤＢ１５０から取得し、その関係情報に応じた関係値と基準値とを比較する。そして、推定部１２３は、その関係値が基準値以上である場合には、関係情報が基準値以上であると判定する。一方、推定部１２３は、その関係値が基準値未満である場合には、関係情報が基準値未満であると判定する。その関係情報が基準値以上である場合には、ステップＳ６０６に進む。一方、その関係値が基準値未満である場合には、ステップＳ６０７に進む。

【0138】

ステップＳ６０６において、推定部１２３は、ステップＳ６０４で選択された操作対象機器の候補を、操作対象機器と推定する。

【0139】

ステップＳ６０７において、要素検出部１２２は、ユーザＵ１の手を検出する検出処理を実行する。この検出処理については、上述した検出方法と同様である。

【0140】

ステップＳ６０８において、要素検出部１２２は、ステップＳ６０７での検出処理によりユーザＵ１の手が検出されたか否かを判定する。例えば、操作する意思がないときには、ユーザＵ１は、手を操作機器に移動させていないと想定される。この場合には、ユーザＵ１の手が検出されない。ユーザＵ１の手が検出された場合には、ステップＳ６０９に進む。一方、ユーザＵ１の手が検出されない場合には、ステップＳ６１２に進む。

【0141】

ステップＳ６０９において、エージェント制御部１２５は、エージェント機器２００の眼部２０１がユーザＵ１の指先を見続けるように、エージェント機器２００の表示部２１０の表示状態を制御する。例えば、複数の要素（例えば、指、視線）を用いて推定をする場合には、その推定が遅れることが考えられる。そこで、エージェント機器２００が、ユーザＵ１の動作を認識していることを示す動作をする。例えば、エージェント機器２００が、ユーザＵ１の指先を見ることにより、エージェント機器２００がユーザＵ１の動作に気付いていることを示すことができる。また、エージェント機器２００が自分を気にしているとユーザＵ１が認識すると考えられる。このように、ユーザＵ１に認識されることによりユーザＵ１及びエージェント機器２００の良好な関係構築が可能となる。

【0142】

ステップＳ６１０において、推定部１２３は、ステップＳ６０７での検出処理で検出されたユーザＵ１の指先の延長線上（又は、上述した所定範囲内）に、何れかの操作機器が存在するか否かを判定する。ユーザＵ１の指先の延長線上（又は、上述した所定範囲内）に、何れかの操作機器が存在する場合には、ステップＳ６１１に進む。一方、ユーザＵ１の指先の延長線上（又は、上述した所定範囲内）に、何れの操作機器も存在しない場合には、ステップＳ６０７に戻る。

【0143】

ステップＳ６１１において、推定部１２３は、ステップＳ６１０でユーザＵ１の指先の延長線上（又は、上述した所定範囲内）に存在すると判定された操作機器を操作対象機器と推定する。この操作対象機器については、ステップＳ６０４で選択された操作対象機器の候補でもよく、他の操作機器でもよい。

【0144】

なお、図９では、ユーザＵ１の指先の延長線上（又は、上述した所定範囲内）に何れかの操作機器が存在することを条件に、その操作機器を操作対象機器として推定する例を示すが、他の条件を用いて操作対象機器を推定してもよい。例えば、ユーザＵ１の指先が何れかの操作機器に所定距離（例えば、数ｃｍ乃至数十ｃｍ）まで近づいたことを条件に、その操作機器を操作対象機器として推定することが可能である。この場合には、ステップＳ６０４で選択された操作対象機器の候補に関連付けられている関係値が高くなるのに応じて、その所定距離を長く設定することが可能である。例えば、関係値が最低値である場合には、所定距離を１ｃｍとし、関係値が高くなるのに応じて所定距離を数ｃｍ乃至数十ｃｍ等のように長く設定することが可能である。これにより、操作対象機器の候補及びユーザＵの関係性が比較的高い場合には、指先が比較的離れている段階でも操作対象機器の推定処理を迅速に実行することができる。また、指先が比較的離れている段階でインタラクションの制御を開始することが可能である。

【0145】

このように、本実施形態では、関係値が基準値未満である場合には、最初はユーザＵ１の視線に基づいて操作対象機器の候補を選択し、次にユーザＵ１の指先に基づいて操作対象機器を推定することが可能である。このように、ユーザＵ１との関係例が浅いと考えられる操作機器については、２以上の要素情報を用いた判定処理を実行することにより、操作対象機器の推定精度を高めることが可能である。

【0146】

なお、ステップＳ６０３乃至Ｓ６１１における各推定処理において、ステップＳ６０４で候補として選択された操作対象機器を、操作対象機器として推定する推定時間（処理時間）を変更してもよい。例えば、ステップＳ６０４で選択された操作対象機器の候補に関連付けられている関係値が基準値以上である場合には、その関係値が高くなるのに応じて、その候補を操作対象機器として推定する推定時間を短くすることが可能である。例えば、操作対象機器の候補がエアコンであり、そのエアコンの関係値が比較的高い場合には、操作対象機器がエアコンと推定するまでの時間をさらに短くすることが可能である。一方、ステップＳ６０４で選択された操作対象機器の候補に関連付けられている関係値が基準値未満である場合には、その関係値が低くなるのに応じて、操作対象機器を推定する推定時間を長くすることが可能である。これにより、候補として選択された操作対象機器と、ユーザＵ１との関係性の深さに応じた適切な操作対象機器の推定処理を実行することが可能である。例えば、操作対象機器の候補及びユーザＵの関係性が高い場合には、操作対象機器の推定処理を迅速に実行することができる。一方、操作対象機器の候補及びユーザＵの関係性が浅い場合には、操作対象機器の推定精度を高めることができる。

【0147】

ステップＳ６１２において、エージェント制御部１２５は、エージェント機器２００の眼部２０１がユーザＵ１の視線の先を見続けるように、エージェント機器２００の表示部２１０の表示状態を制御する。すなわち、エージェント機器２００は、ユーザＵ１の視線の先を見続けるような演出を実行する。例えば、図５（Ａ）に示すように、エージェント制御部１２５は、エージェント機器２００の眼部２０１がユーザＵ１の視線ＬＳ１の先を見続けるように、エージェント機器２００の動作態様を遷移させることが可能である。この場合に、ユーザＵ１の視線の先を見続けるような何らかの振る舞いをエージェント機器２００に実行させてもよい。

【0148】

ステップＳ６１３において、エージェント制御部１２５は、ステップＳ６０６、Ｓ６１１での操作対象機器の推定が正しいか否かをユーザＵ１に確認するためのインタラクションを開始するための制御を実行する。例えば、ステップＳ６１１で操作対象機器が推定された場合には、図５（Ｃ）、図６（Ｄ１）（Ｅ１）、図７（Ｄ２）（Ｅ２）に示すようなインタラクションが実行される。一方、ステップＳ６０６で操作対象機器が推定された場合には、図８（Ｂ）に示すようなインタラクションが実行される。

【0149】

このように、本実施形態では、ユーザＵ１の動きに基づいて、実際の操作対象機器の制御までのつなぎとしてのインタラクション（ステップＳ６１３）を実行する。なお、このインタラクション（ステップＳ６１３）の処理期間については、ユーザＵ１及び操作対象機器の関係性の深さに応じて、徐々に短くしてもよい。例えば、操作対象機器に関連付けられている正答率が低いときには「エアコンを操作したいの」等とエージェント機器２００がユーザＵ１に対して聞き、ユーザＵ１から「はい」等の回答があれば、その操作対象機器の制御を開始するようにする。一方、操作対象機器に関連付けられている正答率が高いときには、インタラクション（ステップＳ６１３）の処理を省略してその操作対象機器の制御をすぐに開始してもよい。すなわち、最終的（例えば、ユーザＵ１及び操作機器の関係性の深さが基準を超えた場合）には、このインタラクション（ステップＳ６１３）の処理を省略してユーザＵ１の視線等だけの制御を実行可能としてもよい。

【0150】

ステップＳ６１４において、推定部１２３は、ステップＳ６１３で実行されたユーザＵ１とエージェント機器２００とのインタラクションにより、ステップＳ６０６、Ｓ６１１での操作対象機器の推定が正しいか否かを判定する。操作対象機器の推定が正しい場合には、ステップＳ６１５に進む。一方、操作対象機器の推定が正しくなかった場合には、ステップＳ６１６に進む。例えば、ユーザＵ１とエージェント機器２００とのインタラクションにおけるユーザＵ１の生体情報、発話、表情、動作等に基づいて、推定部１２３は、操作対象機器の推定が正しいか否かを判定することが可能である。

【0151】

例えば、ユーザＵ１とエージェント機器２００とのインタラクションにおいて、ユーザＵ１から肯定的な音声（例えば、「うんそうだよ」、「見ていたよ」）が発せられた場合には、推定部１２３は、操作対象機器の選択が正しいと判定することが可能である。また、例えば、ユーザＵ１とエージェント機器２００とのインタラクションにおいて、ユーザＵ１の表情が肯定的な表情（例えば、嬉しそうさ表情、納得の表情）に変化した場合には、推定部１２３は、操作対象機器の選択が正しいと判定することが可能である。また、例えば、ユーザＵ１とエージェント機器２００とのインタラクションにおいて、ユーザＵ１が正しいことを示すジェスチャー（例えば、指でＯＫを表す、指で丸を表す、うなづく）をした場合には、推定部１２３は、操作対象機器の選択が正しいと判定することが可能である。また、例えば、ユーザＵ１とエージェント機器２００とのインタラクションにおいて、ユーザＵ１の体温（生体情報の一例）が一定状態を維持している場合には、推定部１２３は、操作対象機器の選択が正しいと判定することが可能である。

【0152】

一方、ユーザＵ１とエージェント機器２００とのインタラクションにおいて、ユーザＵ１から否定的な音声（例えば、「違うよ」、「そうじゃないよ」「違う機器だよ」）が発せられた場合には、推定部１２３は、操作対象機器の選択が正しくないと判定することが可能である。また、例えば、ユーザＵ１とエージェント機器２００とのインタラクションにおいて、ユーザＵ１の表情が否定的な表情（例えば、悲しそうさ表情、怒りの表情）に変化した場合には、推定部１２３は、操作対象機器の選択が正しくないと判定することが可能である。また、例えば、ユーザＵ１とエージェント機器２００とのインタラクションにおいて、ユーザＵ１が誤りであることを示すジェスチャー（例えば、指でＮＯを表す、指でバツを表す、顔を左右に振る）をした場合には、推定部１２３は、操作対象機器の選択が正しくないと判定することが可能である。また、例えば、ユーザＵ１とエージェント機器２００とのインタラクションにおいて、ユーザＵ１の体温（生体情報の一例）が怒りにより急激に上昇した場合には、推定部１２３は、操作対象機器の選択が正しくないと判定することが可能である。

【0153】

また、何らかの操作部材を用いてもよい。例えば、正しいことを示すボタン（例えば、ステアリングホイール３に設置されている所定のボタン）を押す動作に基づいて、推定部１２３は、操作対象機器の選択が正しいと判定することが可能である。一方、誤りを示すボタン（例えば、ステアリングホイール３に設置されている所定のボタン）を押す動作に基づいて、推定部１２３は、操作対象機器の選択が正しくないと判定することが可能である。

【0154】

ただし、ユーザＵ１とエージェント機器２００とのインタラクションにおいて、何らかの理由でユーザＵ１が何も発しなかったり、何の動きもしなかったりすることも想定される。このような場合には、ユーザＵ１の表情が否定的な反応を示さなければ、操作対象機器の選択が正しいと推定することも可能である。そこで、この場合には、所定時間（例えば、数秒乃至数十秒）が経過するまでの間、ステップＳ６１３、Ｓ６１４で各処理を繰り返し実行し、所定時間が経過した後に、推定部１２３は、操作対象機器の選択が正しいと判定してもよい。

【0155】

ステップＳ６１５において、エージェント制御部１２５は、ステップＳ６０６、Ｓ６１１で推定された操作対象機器を制御するためのインタラクションを開始するための制御を実行する。例えば、ステップＳ６１１で操作対象機器が推定された場合には、図５（Ｃ）、図６（Ｆ１）、図７（Ｆ２）、図８（Ｃ）に示すようなインタラクションが実行される。例えば、操作対象機器がエアコンである場合には、「エアコンの温度を上げますか」等の音声出力を実行したり、車両Ｃ１の車室内の現在温度を表示したりすることが可能である。また、例えば、操作対象機器がオーディオ機器である場合には、「音楽を変更しますか」等の音声出力を実行したり、現在の音楽を表示したりすることが可能である。また、エージェント機器２００の動作態様を、了解を示す態様としてもよい。このように、ステップＳ６０６、Ｓ６１１で推定された操作対象機器に対してエージェント機器２００が相応の反応を示すようにする。

【0156】

ステップＳ６１６において、エージェント制御部１２５は、ステップＳ６１４で推定が正しくなかったと判定された操作機器以外の操作機器であって、正しい操作対象機器を選択するためのインタラクションを開始するための制御を実行する。例えば、ステップＳ６１１で操作対象機器が推定された場合には、図７（Ｄ２）（Ｅ２）に示すようなインタラクションが実行される。この場合に、図７（Ｄ２）（Ｅ２）に示すように、エージェント機器２００の態様を、ユーザＵ１に対する謝罪を示す態様に遷移させることが可能である。

【0157】

ステップＳ６１７において、ＤＢ制御部１２４は、ステップＳ６０６、Ｓ６１１での推定処理の際に用いられた要素情報（ユーザＵ１の視線、指先）と、その推定処理で推定された操作対象機器とを、関係情報ＤＢ１５０に反映させる反映処理を実行する。

【0158】

ステップＳ６１８において、エージェント制御部１２５、操作機器制御部１２６は、ステップＳ６１４で正しいと判定された操作対象機器の制御を開始する。例えば、エージェント制御部１２５は、推定処理で推定された操作対象機器に対する操作支援を実行するためのインタラクションをユーザＵ１との間で開始する第１処理を実行する。また、例えば、操作機器制御部１２６は、その操作対象機器の動作の制御を開始する第２処理を実行する。例えば、操作機器制御部１２６は、エージェント制御部１２５により実行されたユーザＵ１及びエージェント機器２００間でのインタラクションに基づいて、エアコンの温度設定を上げる制御、エアコンの温度設定を下げる制御等を実行する。

【0159】

なお、ステップＳ６１３、Ｓ６１５、Ｓ６１６におけるインタラクションについては、関係値の大きさに応じて内容を変更してもよい。例えば、関係値が比較的小さい操作対象機器が推定された場合には、その操作対象機器に対するユーザＵ１の習熟度は低いと考えられる。そこで、その操作対象機器に不慣れなユーザＵ１に対して、比較的多くのやりとりをして十分なサポートができるようなインタラクションを実行する。一方、関係値が比較的大きい操作対象機器が推定された場合には、その操作対象機器に対するユーザＵ１の習熟度は高いと考えられる。そこで、その操作対象機器に慣れているユーザＵ１に対して、比較的少ないやりとりをして迅速なサポートができるようなインタラクションを実行する。

【0160】

例えば、ステップＳ６１３、Ｓ６１５におけるインタラクションとして、正答率１５６（図４参照）の値が高い操作対象機器の場合（例えば、正答率が９０％以上）には「じゃあエアコン操作を開始するね」等の音声出力をした後に制御を開始することが可能である。一方、正答率１５６の値が低い操作対象機器の場合（例えば、正答率が７０％未満）には「今、エアコン見てる」「手動でエアコンを操作したいの」等の確認形式から開始し、その後に所定のやりとりをした後に、操作対象機器の制御を開始するようにする。

【0161】

また、インタラクションを行うインターフェースとして、ポップアップ等を表示可能な他の表出装置、他の音声出力装置を用いてもよい。また、表示画面内において、興味のある方向を示すことができるもの（例えば、眼部を有するＣＧ（Computer Graphics）キャラクター）を用いてもよい。

【0162】

なお、図９では、操作対象機器の推定処理に用いる要素情報として、ユーザＵ１の視線、指先を用いる例を示したが、他の要素情報を用いて操作対象機器の推定処理を実行してもよい。例えば、３以上の要素情報を用いる場合には、３番目に用いる要素情報の推定処理として、ステップＳ６０４、Ｓ６０５、Ｓ６０７乃至Ｓ６１１に相当する各処理を、ステップＳ６１０の処理後に実行してもよい。また、操作対象機器に関連付けられている関係情報に応じて、推定に用いる要素情報の順序を変更してもよい。

【0163】

また、例えば、車両Ｃ１に乗車する人の数を用いて操作対象機器の推定処理を実行してもよい。例えば、車両Ｃ１に乗車する人の数が閾値（例えば、３乃至４）以上である場合には、会話を重視してオーディオの音量を下げる、多数の人が好きな曲を流す等の制御を実行することが可能である。このように、各種の車内情報を取得して操作対象機器の推定処理を実行することが可能である。なお、車両Ｃ１に乗車する人の数については、カメラ１０１により取得された画像情報、センサ類１０４（例えば、人感センサ、着座センサ、シートベルトセンサ）により取得された検出情報等に基づいて検出可能である。また、音声入力部１０３により取得された音声に基づいて、車両Ｃ１に乗車する人の数を推定してもよい。例えば、音声入力部１０３により取得された音声に基づいて、話している声があった場合には、オーディオの音量を下げる等の制御を実行することが可能である。

【0164】

［車両以外に設置可能なエージェント機器の例］
以上では、車両Ｃ１に設置されるエージェント機器２００、車両Ｃ１に表示されるエージェント画像を用いる例を示した。ただし、車両Ｃ１から取り外し可能なエージェント機器、車両以外に設置可能なエージェント機器等についても本実施形態を適用可能である。例えば、携帯型のエージェント機器を所持するユーザが、車両Ｃ１に乗車するときには、車両Ｃ１のダッシュボード２上にそのエージェント機器を設置し、車両Ｃ１から降りる場合には、ユーザがそのエージェント機器を所持して持ち歩くことも想定される。また、ユーザが家庭内でエージェント機器を使用することも想定される。また、エージェント画像（エージェント機器２００に相当）を表示させることが可能な各種機器（例えば、ゲーム機器、眼鏡型ディスプレイ、ＡＲ（Augmented Reality）グラス）を使用することも想定される。

【0165】

例えば、家庭内では、家庭内に設置されている各機器（例えば、家電、オーディオ機器、情報処理装置）に関する制御を実行することが考えられる。例えば、お風呂を沸かす制御、調理器具での調理の制御、音楽を出力する制御、玄関のドア、窓を開ける制御等を実行することが想定される。これらの場合には、お風呂、各調理器具、ドア、窓、音声出力等に関する報知情報を提供することが想定される。

【0166】

例えば、家に設置されているエージェント機器が、あるユーザの視線に基づいて、操作対象機器の候補を選択することが可能である。この場合には、そのエージェント機器は、その候補に関連付けられている関係値の大きさに基づいて、その候補を操作対象機器として推定するか、他の要素（例えば、指先）を用いて操作対象機器を推定するかを判定することが可能である。また、操作対象機器の推定を確認するためのインタラクション、操作対象機器を制御するためのインタラクション、正しい操作対象機器を選択するためのインタラクション等については、図９等に示す例と同様とすることが可能である。例えば、操作対象機器の候補として、テレビジョンが選択された場合には、操作対象機器の推定を確認するためのインタラクションとして「テレビ見ていたの？」「チャンネルを変えたいの？」等の音声情報をユーザに対して出力することが可能である。

【0167】

なお、エージェント機器が実行する各インタラクションについては、例えば、エージェント画像を表示可能な機器（例えば、ゲーム機器、眼鏡型ディスプレイ、ＡＲグラス）を用いて、エージェント画像に実行させてもよい。なお、これらの場合には、エージェント画像を表示可能な機器がエージェント機器２００に相当する。また、音声を出力する音声出力装置を用いて、音声のみによるインタラクションを実行してもよい。

【0168】

［本実施形態の効果例］
このように、本実施形態では、ユーザＵ１の動作に関する１又は複数の要素（例えば、視線、指先）を用いて、ユーザＵ１の動作の対象に操作機器が存在すると判定された場合に、その操作機器を操作対象機器として推定する。そして、エージェント機器２００は、その操作対象機器に関する各インタラクションをユーザＵ１との間で開始する。例えば、ユーザＵ１の視線及び手の指先がエアコンの方向を向いていた場合には、エージェント機器２００がユーザＵ１に対して「エアコン？」と質問する。また、操作対象機器の候補として選択された当該操作対象機器に関連付けられている関係値が基準値以上であるときには、推定に用いる要素を減らして（例えば、視線のみ）推定することが可能である。すなわち、ユーザＵ１がエアコンを触る回数を重ねると、ユーザＵ１の視線だけでエアコンの操作を開始できるようになる。これにより、操作機器とユーザＵ１との関係性の深さに応じた自然な流れで、操作機器の使用感、使い方を徐々に変更することが可能となる。また、ユーザＵ１と操作対象機器との関係性の深さに応じたより適切な操作支援を実行することが可能となる。

【0169】

また、本実施形態では、操作対象機器の推定に失敗した場合でも、正しい操作対象機器に訂正できるようなインタラクションを実行することが可能である。すなわち、操作対象機器の推定に失敗した場合でも、正しい操作対象機器を適切に選択することが可能である。これにより、次回以降の操作対象機器の推定精度（操作機器の結果の正答率）を向上させることが可能である。

【0170】

また、本実施形態では、推定処理の実行中において、ユーザＵ１の要素（例えば、視線、指先）を用いた推定処理を実行していることを示すため、エージェント機器２００が、ユーザＵ１の手の位置、手の指先、視線の先等を見つめるようにする。これにより、エージェント機器２００がユーザＵ１の動作を認識していることを示す動作を実行することが可能であり、エージェント機器２００がユーザＵ１の動作に気付いていることを示すことができる。また、エージェント機器２００が自分を気にしているとユーザＵ１に認識されることによりユーザＵ１及びエージェント機器２００の良好な関係構築が可能となる。

【0171】

［他の機器、他のシステムにおいて処理を実行させる例］
なお、以上では、推定処理等を情報処理装置１１０（又は情報処理システム１００）において実行する例を示したが、それらの各処理の全部又は一部を他の機器において実行してもよい。この場合には、それらの各処理の一部を実行する各機器により情報処理システムが構成される。例えば、車載機器、ユーザが使用可能な機器（例えば、スマートフォン、タブレット端末、パーソナルコンピュータ、カーナビゲーション装置、ＩＶＩ）、インターネット等の所定のネットワークを介して接続可能なサーバ等の各種情報処理装置、各種電子機器を用いて各処理の少なくとも一部を実行させることができる。

【0172】

また、情報処理装置１１０（又は情報処理システム１００）の機能を実行可能な情報処理システムの一部（又は全部）については、インターネット等の所定のネットワークを介して提供可能なアプリケーションにより提供されてもよい。このアプリケーションは、例えばＳａａＳ（Software as a Service）である。

【0173】

［本実施形態の構成例及びその効果］
本実施形態に係る情報処理方法は、ユーザＵ１が操作可能な第１操作機器３００、第２操作機器４００、第Ｎ操作機器５００（複数の機器の一例）に関するユーザ操作を支援する情報処理方法である。この情報処理方法は、第１操作機器３００、第２操作機器４００、第Ｎ操作機器５００の何れにもユーザＵ１が触れていない状態で、ユーザＵ１の生体情報と、ユーザＵ１の発話と、ユーザＵ１の動作と、のそれぞれの要素情報のうちの少なくとも１つに基づいて、ユーザＵ１が操作を所望する機器（操作対象機器）を推定する推定処理（ステップＳ６０１乃至Ｓ６１１）と、その推定処理で推定された操作対象機器に関する操作支援を開始する制御処理（ステップＳ６１８）と、その推定処理で推定された推定結果（例えば、推定された操作機器、推定の正答率）を、ユーザＵ１の第１操作機器３００、第２操作機器４００、第Ｎ操作機器５００のそれぞれに対する習熟度合を示す関係情報を機器毎に格納する関係情報ＤＢ１５０（データベースの一例）に反映させる反映処理（ステップＳ６１７）とを含む。その推定処理（ステップＳ６０３乃至Ｓ６１１）では、要素情報のうちの少なくとも１つに基づいて操作対象機器の候補となる一の機器を選択し、その一の機器に関する関係情報ＤＢ１５０における関係値（関係情報の一例）が基準値（基準の一例）よりも高い場合には、その一の機器を操作対象機器として推定する。一方、その一の機器に関する関係情報ＤＢ１５０における関係値が基準値よりも低い場合には、その一の機器の選択時に用いた要素情報以外の他の要素情報を用いて操作対象機器を推定する。また、本実施形態に係るプログラムは、これらの各処理をコンピュータに実行させるプログラムである。言い換えると、本実施形態に係るプログラムは、情報処理装置１１０が実行可能な各機能をコンピュータに実現させるプログラムである。

【0174】

この構成によれば、第１操作機器３００、第２操作機器４００、第Ｎ操作機器５００とユーザＵ１との関係性の深さに応じた自然な流れで、各操作機器の使用感、使い方を徐々に変更することが可能となる。これにより、ユーザＵ１と操作対象機器との関係性の深さに応じたより適切な操作支援を実行することが可能となる。

【0175】

本実施形態に係る情報処理方法において、制御処理（ステップＳ６１８）では、推定処理で推定された操作対象機器に対する操作支援を実行するためのインタラクションをユーザＵ１との間で開始する第１処理と、その操作対象機器の動作の制御を開始する第２処理とのうちの少なくとも１つを実行する。

【0176】

この構成によれば、推定された操作対象機器に対する操作支援等を適切に開始することが可能となる。

【0177】

本実施形態に係る情報処理方法では、関係値（関係情報の一例）は、ユーザＵ１が機器（第１操作機器３００、第２操作機器４００、第Ｎ操作機器５００）と接した時間の長さを示す値（乗車時間１５３）と、ユーザＵ１がその機器を操作した回数を示す値（操作回数１５５）と、推定処理により推定された推定結果の正答率（正答率１５６）とのうちの少なくとも１つに基づいて機器毎に設定される。なお、車両Ｃ１以外に情報処理装置１１０が設置される場合も想定される。この場合には、ユーザＵ１が機器と接した時間の長さを示す値として、情報処理装置１１０及び各機器が設置されている場所にユーザＵ１が滞在した時間を用いることが可能である。例えば、情報処理装置１１０及び各機器が家庭内の部屋に設置されている場合には、その部屋にユーザＵ１が滞在した時間を用いることが可能である。

【0178】

この構成によれば、適切なパラメータを用いて設定された関係値を用いることができるため、操作対象機器の推定精度を高めることが可能である。

【0179】

本実施形態に係る情報処理方法において、推定処理（ステップＳ６０３乃至Ｓ６１１）では、一の機器に関する関係情報ＤＢ１５０における関係値（関係情報の一例）が基準値（基準の一例）よりも高い場合には、その関係値が高くなるのに応じて、その一の機器を操作対象機器として推定する推定時間を短くし、その一の機器に関する関係情報ＤＢ１５０における関係値が基準値よりも低い場合には、その関係値が低くなるのに応じて、操作対象機器を推定する推定時間を長くする。

【0180】

この構成によれば、候補として選択された操作対象機器と、ユーザＵ１との関係性の深さに応じた適切な操作対象機器の推定処理を実行することが可能である。例えば、操作対象機器及びユーザＵの関係性が高い場合には、操作対象機器の推定処理を迅速に実行することができ、操作対象機器及びユーザＵの関係性が浅い場合には、操作対象機器の推定精度を高めることができる。

【0181】

本実施形態に係る情報処理方法において、推定処理（ステップＳ６０３乃至Ｓ６１１）では、要素情報としてユーザＵ１の視線を用いて一の機器を選択し、一の機器に関する関係情報ＤＢ１５０における関係値（関係情報の一例）が基準値よりも低い場合には、要素情報としてユーザＵ１の視線及び指の各動作を用いて操作対象機器を推定する。

【0182】

この構成によれば、一の機器及びユーザＵの関係性が低い場合には、ユーザＵ１の視線及び指の各動作を用いて操作対象機器を推定するため、その関係性が低くても、推定精度を向上させることが可能である。

【0183】

本実施形態に係る情報処理方法において、推定処理（ステップＳ６１０、Ｓ６１１）では、一の機器に関する関係情報ＤＢ１５０における関係値（関係情報の一例）が基準値（基準の一例）よりも低い場合には、ユーザＵ１の指がその機器に所定距離まで近づいたことを条件に、その機器を操作対象機器として推定する。

【0184】

この構成によれば、一の機器及びユーザＵの関係性が低い場合には、ユーザＵ１の指がその機器に所定距離まで近づいたことを条件に操作対象機器を推定するため、その関係性が低くても、推定精度を向上させることが可能である。

【0185】

本実施形態に係る情報処理方法において、推定処理（ステップＳ６１０、Ｓ６１１）では、一の機器に関する関係情報ＤＢ１５０における関係値（関係情報の一例）が高くなるのに応じて、所定距離を長く設定する。

【0186】

この構成によれば、一の機器及びユーザＵの関係性が比較的高い場合には、指先が比較的離れている段階でも操作対象機器の推定処理を迅速に実行することができる。この場合には、指先が比較的離れている段階でインタラクションの制御を開始することが可能である。

【0187】

本実施形態に係る情報処理方法では、推定処理で推定された操作対象機器が、ユーザＵ１が操作を所望する機器であったか否かを判定するための判定情報（例えば、ユーザＵ１が発する音声）をユーザＵ１から取得する取得処理（ステップＳ６１３）をさらに含み、反映処理（ステップＳ６１７）では、その判定情報に基づいて、推定処理での推定結果が正しいか否かを示す正誤情報を関係情報ＤＢ１５０に反映させ（例えば、正答率１５６に反映）、推定処理（ステップＳ６１６）では、その推定結果が誤っていることが判定された場合には、その判定情報に基づいて、操作対象機器を新たに選択する。

【0188】

この構成によれば、正誤情報を関係情報ＤＢ１５０に反映させることができるため、次回以降の推定精度を高めることが可能である。また、推定結果が誤っている場合でも、ユーザＵ１からの判定情報に基づいて、正しい操作対象機器を選択することが可能である。

【0189】

本実施形態に係る情報処理方法では、ユーザＵ１とのインタラクションを行うことが可能なエージェント機器２００を制御するエージェント制御処理（ステップＳ６１３、Ｓ６１５、Ｓ６１６）をさらに含み、エージェント制御処理（ステップＳ６１３）では、判定情報をユーザＵ１から取得するための所定情報（例えば、音声情報）をユーザＵ１に対して出力する出力処理（例えば、音声出力処理）をエージェント機器２００に実行させる。

【0190】

この構成によれば、ユーザＵ１が親しみ易いエージェント機器２００を用いることが可能であるため、ユーザＵ１及びエージェント機器２００間での自然なやりとりによりユーザＵ１から判定情報を取得することが可能である。

【0191】

本実施形態に係る情報処理方法では、ユーザＵ１とのコミュニケーションを行うことが可能なエージェント機器を制御するエージェント制御処理（ステップＳ６０９、Ｓ６１２、Ｓ６１３、Ｓ６１５、Ｓ６１６）をさらに含み、エージェント制御処理（ステップＳ６０９、Ｓ６１２）では、推定処理で操作対象機器が推定されるまでの間、その推定に用いる要素情報を認識していることをユーザＵ１に対して示す特定動作をエージェント機器２００に実行させる。この特定動作として、例えば、エージェント機器２００がユーザＵ１の指先を見続ける動作、エージェント機器２００がユーザＵ１の視線の先を見続ける動作等を実行することが可能である。

【0192】

この構成によれば、エージェント機器２００がユーザＵ１の動作を認識していることを示す動作を実行することにより、エージェント機器２００がユーザＵ１の動作に気付いていることを示すことができる。また、エージェント機器２００が自分を気にしているとユーザＵ１に認識されることによりユーザＵ１及びエージェント機器２００の良好な関係構築が可能となる。

【0193】

本実施形態に係る情報処理方法では、エージェント機器２００は、顔部を備える機器であり、エージェント制御処理（ステップＳ６０９、Ｓ６１２）では、推定処理での操作対象機器の推定に用いる要素情報（例えば、視線、指先）をエージェント機器２００の眼部２０１（眼の一例）が見つめる動きを特定動作として実行させる。

【0194】

この構成によれば、ユーザＵ１に気付かれ易いエージェント機器２００の眼部２０１が、ユーザＵ１の各部（例えば、視線、指先）を見つめる動きを実行することにより、エージェント機器２００がユーザＵ１の動作に気付いていることを容易に示すことができる。

【0195】

本実施形態に係る情報処理方法において、エージェント制御処理（ステップＳ６０９、Ｓ６１２）では、推定処理での操作対象機器の推定に複数の要素情報が用いられる場合には、予め設定されている優先度に基づいて、複数の要素情報のうちの少なくとも１つの要素情報を、特定動作を実行する対象として選択する。例えば、指先の優先度を視線よりも高く設定しておき、ユーザＵ１の視線及び指先の双方を要素として用いる場合には、エージェント機器２００の眼部２０１がユーザＵ１の指先を見続けるようにすることが可能である。

【0196】

この構成によれば、特定動作を実行する対象を予め設定しておくことにより、ユーザＵ１に気付かれ易い特定動作を実現可能となる。

【0197】

本実施形態に係る情報処理方法では、ユーザＵ１とのインタラクションを行うことが可能なエージェント機器を制御するエージェント制御処理（ステップＳ６１３、Ｓ６１５、Ｓ６１６）と、推定処理で推定された操作対象機器が、ユーザＵ１が操作を所望する機器であったか否かを判定するための判定情報（例えば、音声情報）をユーザＵ１から取得する取得処理（ステップＳ６１３）とをさらに含み、エージェント制御処理（ステップＳ６１６）では、その判定情報に基づいて推定処理での推定結果が誤っていることが判定された場合には、エージェント機器２００の態様を、ユーザＵ１に対する謝罪を示す態様に遷移させる。

【0198】

この構成によれば、ユーザＵ１に対して理解しようとする演出を実行することができ、間違いに対する受容性を高めることが可能となる。

【0199】

情報処理装置１１０は、ユーザＵ１が操作可能な第１操作機器３００、第２操作機器４００、第Ｎ操作機器５００（複数の機器の一例）に関するユーザ操作を支援する情報処理装置である。情報処理装置１１０は、第１操作機器３００、第２操作機器４００、第Ｎ操作機器５００の何れにもユーザＵ１が触れていない状態で、ユーザＵ１の生体情報と、ユーザＵ１の発話と、ユーザＵ１の動作と、のそれぞれの要素情報のうちの少なくとも１つに基づいて、ユーザＵ１が操作を所望する機器（操作対象機器）を推定する推定部１２３と、推定部１２３により推定された操作対象機器に関する操作支援を開始するエージェント制御部１２５、操作機器制御部１２６（制御部の一例）と、推定部１２３により推定された推定結果（例えば、推定された操作機器、推定の正答率）を、ユーザＵ１の第１操作機器３００、第２操作機器４００、第Ｎ操作機器５００のそれぞれに対する習熟度合を示す関係情報を機器毎に格納する関係情報ＤＢ１５０（データベースの一例）に反映させるＤＢ制御部１２４（反映部の一例）とを備える。推定部１２３は、要素情報のうちの少なくとも１つに基づいて操作対象機器の候補となる一の機器を選択し、その一の機器に関する関係情報ＤＢ１５０における関係値（関係情報の一例）が基準値（基準の一例）よりも高い場合には、その一の機器を操作対象機器として推定する。一方、推定部１２３は、その一の機器に関する関係情報ＤＢ１５０における関係値が基準値よりも低い場合には、その一の機器の選択時に用いた要素情報以外の他の要素情報を用いて操作対象機器を推定する。なお、情報処理装置１１０は、エージェント機器２００に内蔵される機器としてもよく、エージェント機器２００とは異なる機器としてもよい。また、情報処理装置１１０の代わりに、情報処理装置１１０により実現される各処理を実行可能な複数の機器により構成される情報処理システムとしてもよい。

【0200】

この構成によれば、第１操作機器３００、第２操作機器４００、第Ｎ操作機器５００とユーザＵ１との関係性の深さに応じた自然な流れで、各操作機器の使用感、使い方を徐々に変更することが可能となる。これにより、ユーザＵ１と操作対象機器との関係性の深さに応じたより適切な操作支援を実行することが可能となる。

【0201】

なお、本実施形態で示した各処理手順は、本実施形態を実現するための一例を示したものであり、本実施形態を実現可能な範囲で各処理手順の一部の順序を入れ替えてもよく、各処理手順の一部を省略したり他の処理手順を追加したりしてもよい。

【0202】

なお、本実施形態で示した各処理は、各処理手順をコンピュータに実行させるためのプログラムに基づいて実行されるものである。このため、本実施形態は、それらの各処理を実行する機能を実現するプログラム、そのプログラムを記憶する記録媒体の実施形態としても把握することができる。例えば、情報処理装置に新機能を追加するためのアップデート処理により、そのプログラムを情報処理装置の記憶装置に記憶させることができる。これにより、そのアップデートされた情報処理装置に本実施形態で示した各処理を実施させることが可能となる。

【0203】

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。

【符号の説明】

【0204】

１００ 情報処理システム、１１０ 情報処理装置、１２０ 制御部、１２１ 情報取得部、１２２ 要素検出部、１２３ 推定部、１２４ ＤＢ制御部、１２５ エージェント制御部、１２６ 操作機器制御部、１３０ 記憶部、１３１ エージェント情報ＤＢ、１４０ 通信部、１５０ 関係情報ＤＢ、２００ エージェント機器、２１０ 表示部、２２０ 音出力部、２３０ 駆動部、３００ 第１操作機器、４００ 第２操作機器、５００ 第Ｎ操作機器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】