知財求人 - 知財ポータルサイト「IP Force」
▶ 日産自動車株式会社の特許一覧 ▶ ルノー エス．ア．エス．の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024073110
(43)【公開日】2024-05-29
(54)【発明の名称】制御方法及び情報処理装置
(51)【国際特許分類】
G06Q 50/10 20120101AFI20240522BHJP
G08G 1/16 20060101ALI20240522BHJP
G01C 21/26 20060101ALI20240522BHJP
A61B 5/18 20060101ALI20240522BHJP
【ＦＩ】
G06Q50/10
G08G1/16 F
G01C21/26 A
A61B5/18
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022184141
(22)【出願日】2022-11-17
(71)【出願人】
【識別番号】000003997
【氏名又は名称】日産自動車株式会社
(71)【出願人】
【識別番号】507308902
【氏名又は名称】ルノー エス．ア．エス．
【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．
【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ
(74)【代理人】
【識別番号】110002468
【氏名又は名称】弁理士法人後藤特許事務所
(72)【発明者】
【氏名】海老名 亮彦
(72)【発明者】
【氏名】高松 敦
【テーマコード（参考）】
2F129
4C038
5H181
5L049
5L050
【Ｆターム（参考）】
2F129AA03
2F129BB03
2F129BB05
2F129BB20
2F129BB26
2F129CC03
2F129DD27
2F129DD65
2F129EE43
2F129EE55
2F129EE59
2F129EE78
2F129EE87
2F129EE91
2F129EE96
2F129FF02
2F129FF11
2F129FF20
2F129GG17
2F129HH12
2F129HH20
4C038PP03
4C038PQ04
4C038PS00
4C038PS05
5H181AA01
5H181BB13
5H181CC03
5H181CC04
5H181CC11
5H181CC12
5H181CC14
5H181FF04
5H181FF05
5H181FF12
5H181FF27
5H181FF33
5H181FF35
5H181LL01
5H181LL07
5H181LL20
5L049CC11
5L050CC11
(57)【要約】
【課題】不快の感情が生じたユーザに対して、不快の感情を和らげ、ユーザとの信頼関係を高める。
【解決手段】ユーザＵ１とのコミュニケーションを行うことが可能なエージェント機器２００を制御する制御方法である。この制御方法は、ユーザＵ１の生体情報と、ユーザＵ１の発話内容と、ユーザＵ１の動作と、のうちの少なくとも１つに基づいて、ユーザＵ１の不快度を推定する不快度推定処理（ステップＳ５０３）と、ユーザＵ１の周囲の状況に基づいてユーザＵ１の不快の要因である不快要因を推定する不快要因推定処理（ステップＳ５０５）と、その不快度に基づいて、不快要因に応じてユーザＵ１が示す不快反応に関連する共感演出をエージェント機器２００に実行させる制御処理（ステップＳ５０６乃至Ｓ５１６）とを含む。
【選択図】図１４
【解決手段】ユーザＵ１とのコミュニケーションを行うことが可能なエージェント機器２００を制御する制御方法である。この制御方法は、ユーザＵ１の生体情報と、ユーザＵ１の発話内容と、ユーザＵ１の動作と、のうちの少なくとも１つに基づいて、ユーザＵ１の不快度を推定する不快度推定処理（ステップＳ５０３）と、ユーザＵ１の周囲の状況に基づいてユーザＵ１の不快の要因である不快要因を推定する不快要因推定処理（ステップＳ５０５）と、その不快度に基づいて、不快要因に応じてユーザＵ１が示す不快反応に関連する共感演出をエージェント機器２００に実行させる制御処理（ステップＳ５０６乃至Ｓ５１６）とを含む。
【選択図】図１４
【特許請求の範囲】
【請求項1】
ユーザとのコミュニケーションを行うことが可能なエージェント機器を制御する制御方法であって、
前記ユーザの生体情報と、前記ユーザの発話内容と、前記ユーザの動作と、のうちの少なくとも１つに基づいて、前記ユーザの不快度を推定する不快度推定処理と、
前記ユーザの周囲の状況に基づいて前記ユーザの不快の要因である不快要因を推定する不快要因推定処理と、
前記不快度に基づいて、前記不快要因に応じて前記ユーザが示す不快反応に関連する共感演出を前記エージェント機器に実行させる制御処理と、を含む
制御方法。
前記ユーザの生体情報と、前記ユーザの発話内容と、前記ユーザの動作と、のうちの少なくとも１つに基づいて、前記ユーザの不快度を推定する不快度推定処理と、
前記ユーザの周囲の状況に基づいて前記ユーザの不快の要因である不快要因を推定する不快要因推定処理と、
前記不快度に基づいて、前記不快要因に応じて前記ユーザが示す不快反応に関連する共感演出を前記エージェント機器に実行させる制御処理と、を含む
制御方法。
【請求項2】
請求項１に記載の制御方法であって、
前記制御処理では、前記不快反応に関連する発話文の音声出力と、前記発話文の表示と、前記不快反応に関連する振る舞いと、のうちの少なくとも１つを前記共感演出として前記エージェント機器に実行させる、
制御方法。
前記制御処理では、前記不快反応に関連する発話文の音声出力と、前記発話文の表示と、前記不快反応に関連する振る舞いと、のうちの少なくとも１つを前記共感演出として前記エージェント機器に実行させる、
制御方法。
【請求項3】
請求項２に記載の制御方法であって、
前記制御処理では、前記不快度の大きさと、前記不快度の変化率の大きさとのうちの少なくとも１つに基づいて、前記共感演出の態様を変化させる、
制御方法。
前記制御処理では、前記不快度の大きさと、前記不快度の変化率の大きさとのうちの少なくとも１つに基づいて、前記共感演出の態様を変化させる、
制御方法。
【請求項4】
請求項３に記載の制御方法であって、
前記制御処理では、前記不快度、又は、前記不快度の変化率が大きくなるのに応じて、前記発話文の音声出力として当該音声を大きくする演出と、前記振る舞いとして前記エージェント機器が前記不快要因の方向を速く向く演出と、前記振る舞いとして前記エージェント機器の動きを大きくする演出と、前記振る舞いとして前記エージェント機器の動きの変化を多くする演出とのうちの少なくとも１つを前記エージェント機器に実行させる、
制御方法。
前記制御処理では、前記不快度、又は、前記不快度の変化率が大きくなるのに応じて、前記発話文の音声出力として当該音声を大きくする演出と、前記振る舞いとして前記エージェント機器が前記不快要因の方向を速く向く演出と、前記振る舞いとして前記エージェント機器の動きを大きくする演出と、前記振る舞いとして前記エージェント機器の動きの変化を多くする演出とのうちの少なくとも１つを前記エージェント機器に実行させる、
制御方法。
【請求項5】
請求項２に記載の制御方法であって、
前記発話文の音声に前記ユーザが慣れたことを判定する判定処理、をさらに含み、
前記制御処理では、前記発話文の音声を前記エージェント機器から出力させ、前記発話文の音声に前記ユーザが慣れたと判定された後には、前記発話文の音声出力をせずに、前記不快反応に関連する振る舞いを前記エージェント機器に実行させる、
制御方法。
前記発話文の音声に前記ユーザが慣れたことを判定する判定処理、をさらに含み、
前記制御処理では、前記発話文の音声を前記エージェント機器から出力させ、前記発話文の音声に前記ユーザが慣れたと判定された後には、前記発話文の音声出力をせずに、前記不快反応に関連する振る舞いを前記エージェント機器に実行させる、
制御方法。
【請求項6】
請求項１に記載の制御方法であって、
前記制御処理では、前記不快度が第１基準よりも大きい場合、又は、前記不快度の変化率が第２基準よりも大きい場合には、前記共感演出を前記エージェント機器に実行させる、
制御方法。
前記制御処理では、前記不快度が第１基準よりも大きい場合、又は、前記不快度の変化率が第２基準よりも大きい場合には、前記共感演出を前記エージェント機器に実行させる、
制御方法。
【請求項7】
請求項６に記載の制御方法であって、
前記不快度が前記第１基準よりも大きい場合、又は、前記不快度の変化率が前記第２基準よりも大きい場合における、前記不快要因と、当該不快要因に応じて前記ユーザが示す不快反応に関連する演出情報とを関連付けてデータベースに記録させる記録処理、をさらに含み、
前記制御処理では、前記不快度が前記第１基準よりも大きい場合、又は、前記不快度の変化率が前記第２基準よりも大きい場合において、推定された前記不快要因に対応する情報が前記データベースに格納されているときには、当該不快要因に関連付けられている前記演出情報に基づいて、前記共感演出を前記エージェント機器に実行させ、推定された前記不快要因に対応する情報が前記データベースに格納されていないときには、推定された前記不快要因に対する前記ユーザの不快反応に基づいて、前記共感演出を前記エージェント機器に実行させる、
制御方法。
前記不快度が前記第１基準よりも大きい場合、又は、前記不快度の変化率が前記第２基準よりも大きい場合における、前記不快要因と、当該不快要因に応じて前記ユーザが示す不快反応に関連する演出情報とを関連付けてデータベースに記録させる記録処理、をさらに含み、
前記制御処理では、前記不快度が前記第１基準よりも大きい場合、又は、前記不快度の変化率が前記第２基準よりも大きい場合において、推定された前記不快要因に対応する情報が前記データベースに格納されているときには、当該不快要因に関連付けられている前記演出情報に基づいて、前記共感演出を前記エージェント機器に実行させ、推定された前記不快要因に対応する情報が前記データベースに格納されていないときには、推定された前記不快要因に対する前記ユーザの不快反応に基づいて、前記共感演出を前記エージェント機器に実行させる、
制御方法。
【請求項8】
請求項６に記載の制御方法であって、
前記制御処理では、前記不快度が前記第１基準よりも大きい状態が所定時間継続したことを条件に、前記共感演出を前記エージェント機器に実行させる、
制御方法。
前記制御処理では、前記不快度が前記第１基準よりも大きい状態が所定時間継続したことを条件に、前記共感演出を前記エージェント機器に実行させる、
制御方法。
【請求項9】
請求項６に記載の制御方法であって、
前記不快要因推定処理では、前記不快要因が前記ユーザの周囲に存在するか、前記不快要因が前記エージェント機器に存在するかを判定し、
前記制御処理では、前記不快度が前記第１基準よりも大きい場合、又は、前記不快度の変化率が前記第２基準よりも大きい場合において、前記不快要因が前記ユーザの周囲に存在すると判定されたときには、前記共感演出を前記エージェント機器に実行させ、前記不快要因が前記エージェント機器に存在すると判定されたときには、前記ユーザの不快に対する謝罪演出を前記エージェント機器に実行させる、
制御方法。
前記不快要因推定処理では、前記不快要因が前記ユーザの周囲に存在するか、前記不快要因が前記エージェント機器に存在するかを判定し、
前記制御処理では、前記不快度が前記第１基準よりも大きい場合、又は、前記不快度の変化率が前記第２基準よりも大きい場合において、前記不快要因が前記ユーザの周囲に存在すると判定されたときには、前記共感演出を前記エージェント機器に実行させ、前記不快要因が前記エージェント機器に存在すると判定されたときには、前記ユーザの不快に対する謝罪演出を前記エージェント機器に実行させる、
制御方法。
【請求項10】
ユーザとのコミュニケーションを行うことが可能なエージェント機器を制御する情報処理装置であって、
前記ユーザの生体情報と、前記ユーザの発話内容と、前記ユーザの動作と、のうちの少なくとも１つに基づいて、前記ユーザの不快度を推定する不快度推定部と、
前記ユーザの周囲の状況に基づいて前記ユーザの不快の要因である不快要因を推定する不快要因推定部と、
前記不快度に基づいて、前記不快要因に応じて前記ユーザが示す不快反応に関連する共感演出を前記エージェント機器に実行させる制御部と、を備える、
情報処理装置。
前記ユーザの生体情報と、前記ユーザの発話内容と、前記ユーザの動作と、のうちの少なくとも１つに基づいて、前記ユーザの不快度を推定する不快度推定部と、
前記ユーザの周囲の状況に基づいて前記ユーザの不快の要因である不快要因を推定する不快要因推定部と、
前記不快度に基づいて、前記不快要因に応じて前記ユーザが示す不快反応に関連する共感演出を前記エージェント機器に実行させる制御部と、を備える、
情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザとのコミュニケーションを行うことが可能なエージェント機器を制御する制御方法及び情報処理装置に関する。
【背景技術】
【0002】
従来、ユーザとのコミュニケーションを行うことが可能な機器が存在する。例えば、ユーザが抱いている感情を推定するとともに、その感情を引き起こした対象を特定し、その感情がネガティブな感情であるときには、その対象を取り除くための提示情報を情報提示装置により提示する技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１７－２０１４９９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述した従来技術では、不快な感情を引き起こした対象を取り除くための提示情報をユーザに提示することが可能である。しかし、ユーザが不快なときに、ユーザに注意喚起や情報提供をすると、ユーザの不快を余計に促進する可能性がある。このような場合には、ユーザとの信頼関係が失われ、ユーザとの円滑なコミュニケーションを図ることが困難となるおそれがある。
【0005】
本発明は、不快の感情が生じたユーザに対して、不快の感情を和らげ、ユーザとの信頼関係を高めることを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様は、ユーザとのコミュニケーションを行うことが可能なエージェント機器を制御する制御方法である。この制御方法は、ユーザの生体情報と、ユーザの発話内容と、ユーザの動作と、のうちの少なくとも１つに基づいて、ユーザの不快度を推定する不快度推定処理と、ユーザの周囲の状況に基づいてユーザの不快の要因である不快要因を推定する不快要因推定処理と、その不快度に基づいて、その不快要因に応じてユーザが示す不快反応に関連する共感演出をエージェント機器に実行させる制御処理とを含む。
【発明の効果】
【0007】
本発明によれば、不快の感情が生じたユーザに対して、不快の感情を和らげ、ユーザとの信頼関係を高めることができる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下、添付図面を参照しながら本発明の実施形態について説明する。
【0010】
［エージェント機器の設置例］
図１は、車両Ｃ１の車室内の構成例を簡略化して示す図である。なお、図１では、運転席、助手席（図示省略）よりも前側を、車両Ｃ１の後ろ側から見た場合の外観構成例を示す。また、図１では、説明を容易にするため、ダッシュボード２、ステアリングホイール３、フロントウインド４、バックミラー５、カメラ１０１、エージェント機器２００以外の図示は省略する。
図１は、車両Ｃ１の車室内の構成例を簡略化して示す図である。なお、図１では、運転席、助手席（図示省略）よりも前側を、車両Ｃ１の後ろ側から見た場合の外観構成例を示す。また、図１では、説明を容易にするため、ダッシュボード２、ステアリングホイール３、フロントウインド４、バックミラー５、カメラ１０１、エージェント機器２００以外の図示は省略する。
【0011】
エージェント機器２００は、車両Ｃ１のダッシュボード２上に設置される小型のロボットである。本実施形態では、人間を模したロボットをエージェント機器２００とする例を示す。なお、図１では、ダッシュボード２上にエージェント機器２００を設置する例を示すが、これに限定されない。例えば、フロントウインド４の上部にエージェント機器２００を設置してもよい。また、図１では、人間の顔を模したロボットをエージェント機器２００とする例を示すが、これに限定されない。例えば、人間の全身を模したロボット、ウサギ、豚等のような動物を模したロボット、仮想物の生物（例えばアニメのキャラクターの顔）を模したロボット、他の物体（例えばテレビ型の機器、ラジオ型の機器）を模したロボットをエージェント機器２００としてもよい。このように、擬生物化されたエージェントをエージェント機器２００とすることが可能である。
【0012】
エージェント機器２００は、情報処理装置１１０（図４参照）からの指示に基づいて各種の動作を実行する。例えば、エージェント機器２００は、情報処理装置１１０の制御に基づいて、ユーザが運転操作をする際における運転支援、周囲の施設等に関する各種情報を出力する。この運転支援として、前方又は後方の動体の報知等が想定される。例えば、前方の動体の報知として、「この先踏切だから気を付けてよ」と音声出力したり、「前方に人がいるよ」と音声出力したりすることができる。このように、エージェント機器２００は、運転支援を実行する。なお、図１では、ＸＹＺ珈琲店の広告を示す音声情報Ｓ１を報知情報として出力する例を示す。
【0013】
ここで、報知は、何らかの情報を伝えたり、知らせたりすることを意味する。また、車両Ｃ１のユーザ（車両Ｃ１の乗員）に報知すべき情報を報知情報と称して説明する。報知情報については、画像表示によりユーザに伝えてもよく、音声出力によりユーザに伝えてもよい。本実施形態では、主に、報知情報を音声出力によりユーザに伝える例を示す。なお、本実施形態で示す報知については、通知、伝達等と称してもよい。
【0014】
また、報知情報として、例えば、車両Ｃ１に関する情報、車両Ｃ１の運転支援に関する情報、車両Ｃ１の周囲に存在する商業施設、観光施設等に関する広告情報等が想定される。車両Ｃ１に関する情報は、例えば、バッテリ残量の報知、半ドアの報知等の車両Ｃ１自体に関する情報である。また、車両Ｃ１の運転支援に関する情報は、例えば、シートベルトの着用の報知、信号機の報知、道案内等のユーザＵ１が運転する際に必要となる各種情報である。また、車両Ｃ１の周囲に存在する商業施設、観光施設等に関する広告情報は、例えば、ショッピングモールの広告、観光地の案内等である。
【0015】
カメラ１０１は、車両Ｃ１の内部の天井に設けられ、車両Ｃ１の内部の被写体を撮像して画像（画像データ）を生成するものである。なお、カメラ１０１は、例えば、被写体を撮像することが可能な１又は複数のカメラ機器や画像センサにより構成される。例えば、フロントウインド４の上部、すなわち、バックミラー５の上側にカメラ１０１を設けることができる。なお、図１では、少なくとも１つのカメラ１０１を備える例を示すが、２以上の撮像装置を備え、これらの撮像装置のうちの全部又は一部の画像を用いてもよい。また、各撮像装置の設置場所については、図１に示す例に限定されず、適宜変更可能である。また、車両Ｃ１の全方位に存在する被写体と、車両Ｃ１の内部の被写体とを取得可能な１又は複数の機器、例えば、３６０度カメラを用いてもよい。
【0016】
［エージェント機器による報知に対する謝罪例］
図２は、エージェント機器２００が報知情報を出力した後に、その報知情報に対してエージェント機器２００が謝罪する場合の謝罪例を簡略化して示す図である。なお、図２に示す例は、図１に示す構成例において、エージェント機器２００の一部を変更したものであり、エージェント機器２００以外の部分については図１と共通する。
図２は、エージェント機器２００が報知情報を出力した後に、その報知情報に対してエージェント機器２００が謝罪する場合の謝罪例を簡略化して示す図である。なお、図２に示す例は、図１に示す構成例において、エージェント機器２００の一部を変更したものであり、エージェント機器２００以外の部分については図１と共通する。
【0017】
図２に示すように、エージェント機器２００が報知情報を出力した後に、その報知情報又はその報知の態様に対してユーザＵ１を不快にさせたと判定された場合には、エージェント機器２００は、ユーザＵ１に謝罪をする。例えば、音声出力、エージェント機器２００の動きにより、ユーザＵ１に対する謝罪を表現することが可能である。図２では、エージェント機器２００の顔がユーザＵ１の方向に向いた状態で、音声情報Ｓ２を出力することにより、ユーザＵ１に対する謝罪を表現する例を示す。
【0018】
なお、報知の態様は、例えば、報知の際の音声出力の音量、報知のタイミング、報知の際のエージェント機器２００のしぐさ等である。例えば、音声出力の音量が大き過ぎたり、小さ過ぎたりする場合には、ユーザＵ１に不快感を与えるおそれがある。また、報知すべき対象に対して、報知のタイミングが遅い場合には、ユーザＵ１に不快感を与えるおそれがある。例えば、報知すべき対象がＸＹＺ珈琲店の案内であり、報知タイミングがＸＹＺ珈琲店を車両Ｃ１が通過した後であるような場合には、ユーザＵ１に不快感を与えるおそれがある。また、例えば、図１に示すように、報知すべき対象がＸＹＺ珈琲店の７時から１０時までの朝食セットであり、報知タイミングが１０時２４分であるような場合には、ユーザＵ１に不快感を与えるおそれがある。また、報知すべき対象に対して、エージェント機器２００の動きや表情が合わない場合には、ユーザＵ１に不快感を与えるおそれがある。例えば、ユーザＵ１が珈琲好きで、かつ、報知すべき対象がＸＹＺ珈琲店である場合において、エージェント機器２００が悲しい表情で報知したようなときには、ユーザＵ１に不快感を与えるおそれがある。
【0019】
上述したように、ユーザＵ１が不快状態であり、その不快の対象がエージェント機器２００である場合には、エージェント機器２００がユーザＵ１に対して謝罪をすることにより、ユーザＵ１に与えた不快感を軽減することが可能である。しかし、ユーザＵ１の不快の対象がエージェント機器２００以外である場合、例えば、渋滞、急な割り込み、車内が暑い等の場合も想定される。このような場合に、エージェント機器２００がユーザＵ１に対して謝罪をすると、ユーザＵ１に違和感を与え、ユーザＵ１が受けた不快感を軽減することが困難となるおそれもある。
【0020】
そこで、本実施形態では、ユーザＵ１が不快状態であり、その不快の対象がエージェント機器２００以外である場合には、その不快の対象に対するユーザＵ１の不快反応と同じような不快反応をエージェント機器２００に実行させる。すなわち、ユーザＵ１の不快反応に共感するように振る舞う共感演出をエージェント機器２００に実行させる。このように、ユーザＵ１が不快状態である場合に、ユーザＵ１の不快反応と同じような不快反応をエージェント機器２００が実行する。これにより、エージェント機器２００に対する仲間意識をユーザＵ１に感じさせることが可能であり、エージェント機器２００に対してユーザＵ１が共感する可能性を高めることが可能となる。また、不快の感情が生じたユーザＵ１に対して、不快の感情を和らげ、ユーザＵ１との信頼関係を高めることができ、ユーザＵ１との円滑なコミュニケーションを図ることができる。
【0021】
なお、ユーザＵ１の不快度、不快反応については、ユーザＵ１の生体情報（例えば、心拍、体温）と、ユーザＵ１の発話内容と、ユーザＵ１の動作（例えば、動き、表情）と、のうちの少なくとも１つに基づいて推定が可能である。例えば、ユーザＵ１の表情、ユーザＵ１の動き、ユーザＵ１が発する声等に基づいて、ユーザＵ１の不快反応を検出することが可能である。なお、ユーザＵ１の表情、ユーザＵ１の動きについては、カメラ１０１により取得された画像に基づいて取得可能である。また、ユーザＵ１の表情には、ユーザＵ１の視線も含まれる。また、ユーザＵ１が発する声については、音声入力部１０３（図４参照）により取得された音声情報に基づいて取得可能である。なお、ユーザＵ１の不快度の推定方法については、図６等を参照して詳細に説明する。また、ユーザＵ１の不快反応の推定方法については、図１１乃至図１３等を参照して詳細に説明する。
【0022】
また、ユーザＵ１の不快要因については、ユーザＵ１の周囲の状況に基づいて推定が可能である。なお、ユーザＵ１の不快要因の推定方法については、図７等を参照して詳細に説明する。
【0023】
なお、本実施形態では、センシングの確信度が基準よりも高いことを条件に、ユーザＵ１が不快時に、その不快の対象に対するユーザＵ１の不快反応と同じような不快反応をエージェント機器２００に実行させる。ここで、センシングの確信度は、センシングに対する確からしさの度合を表す指標である。また、センシングの確信度は、センシング安定度、ＣＰＵ稼働率等に基づいて算出可能である。図５では、センシング安定度、ＣＰＵ稼働率に基づいてセンシングの確信度を算出する例を示す。
【0024】
なお、センシングの確信度は、エージェント機器２００を制御する際に用いられる機器における処理の確信度に相当する。エージェント機器２００を制御する際に用いられる機器は、例えば、図４に示す各部である。例えば、それらの各機器における処理の確信度が高くなるのに応じて、ユーザＵ１に関する情報と、車両Ｃ１に関する情報とをより正確に取得することが可能となる。
【0025】
なお、本実施形態では、車両Ｃ１の乗員として運転席に乗車するユーザＵ１を例にして説明する。ただし、車両Ｃ１に複数の乗員が乗車している場合についても本実施形態を適用可能である。この場合には、共感演出を見せる対象を、運転席に乗車するユーザＵ１としてもよく、他の乗員としてもよい。また、報知情報の対象とした乗員を、共感演出を見せる対象としてもよい。
【0026】
［エージェント機器の外観構成例］
図３は、エージェント機器２００の外観構成の一例を簡略化して示す正面図である。本実施形態では、エージェント機器２００がオン状態である場合には、表示部２１０（図４参照）に顔画像が表示される例を示す。なお、車両Ｃ１のオン操作に応じて、エージェント機器２００をオン状態とすることが可能である。また、エージェント機器２００に関するユーザ操作に応じて、エージェント機器２００をオン状態とすることが可能である。なお、車両Ｃ１のオンオフ操作は、車両Ｃ１の起動又は停止に関するスタートキーのオン操作又はオフ操作を意味する。
図３は、エージェント機器２００の外観構成の一例を簡略化して示す正面図である。本実施形態では、エージェント機器２００がオン状態である場合には、表示部２１０（図４参照）に顔画像が表示される例を示す。なお、車両Ｃ１のオン操作に応じて、エージェント機器２００をオン状態とすることが可能である。また、エージェント機器２００に関するユーザ操作に応じて、エージェント機器２００をオン状態とすることが可能である。なお、車両Ｃ１のオンオフ操作は、車両Ｃ１の起動又は停止に関するスタートキーのオン操作又はオフ操作を意味する。
【0027】
図３（Ａ）には、エージェント機器２００の斜視図を示す。図３（Ｂ）には、エージェント機器２００の正面図を示す。なお、図３（Ｂ）に示すエージェント機器２００は、図１に示すエージェント機器２００に対応する。図３（Ｃ）には、エージェント機器２００の上面図を示す。図３（Ｄ）には、エージェント機器２００の側面図を示す。なお、本実施形態では、図３（Ａ）乃至（Ｄ）に示すエージェント機器２００の状態を通常状態と称して説明する。また、図３（Ｅ）乃至（Ｈ）には、エージェント機器２００の動作態様として、ユーザＵ１の不快反応に共感する共感演出を実行する場合の外観構成例を示す。
【0028】
エージェント機器２００は、略球状の本体部２０１から構成される機器であり、本体部２０１の表面には表示部２１０が設けられる。表示部２１０には、各種画像、例えば眼部Ｅ１、Ｅ２が表示される。なお、本体部２０１の表面の全部に表示部２１０を設けてもよく、本体部２０１の表面のうちの一部に表示部２１０を設けてもよい。また、本体部２０１の表面のうちの一部に表示部２１０を設ける場合には、表示部２１０が設けられている部分以外の部分には、顔を構成する物理的な各部（例えば、口、鼻）を設けてもよい。
【0029】
本実施形態では、車両Ｃ１のダッシュボード２上に、眼部Ｅ１、Ｅ２が車内側を見る方向にエージェント機器２００が設置される例を示す。このため、エージェント機器２００における眼部Ｅ１、Ｅ２が表示される部分を含む一の面を前部又は顔部と称して説明する。また、エージェント機器２００の前部をエージェント機器２００の前側と称し、エージェント機器２００の前部とは反対側をエージェント機器２００の後側と称して説明する。また、エージェント機器２００において、図３における右側をエージェント機器２００の左側と称し、図３における左側をエージェント機器２００の右側と称して説明する。
【0030】
本体部２０１は、車両Ｃ１のダッシュボード２への取付部分又はこれに近接する部分を回動中心として、エージェント機器２００の前後方向、すなわち矢印Ａ１（図３（Ａ）（Ｄ）参照）方向に回動する。同様に、本体部２０１は、車両Ｃ１のダッシュボード２への取付部分を回動中心として、エージェント機器２００の左右方向、すなわち矢印Ａ２（図３（Ｂ）参照）方向に回動する。同様に、本体部２０１は、車両Ｃ１のダッシュボード２への取付部分を回動中心として、硬直方向を軸として回転する方向、すなわち矢印Ａ３（図３（Ｃ）参照）方向に回動する。このように、エージェント機器２００の下部には、本体部２０１を駆動させるための駆動部２３０（図４参照）が設けられる。そして、エージェント機器２００の本体部２０１を左右方向に回転移動させたり、本体部２０１を前後方向に回転移動させたり、本体部２０１を左右方向に揺らせたり、本体部２０１を前後方向に揺らせたりすることが可能となる。
【0031】
また、表示部２１０は、各種画像を表示することが可能な表示媒体として構成することが可能である。この表示媒体として、例えば、発光シート、液晶表示器、有機ＥＬ（Electro Luminescence）等の各種表示媒体を使用可能である。例えば、図３（Ａ）乃至（Ｄ）に示すように、通常の眼部Ｅ１、Ｅ２を表示させることができる。
【0032】
また、例えば、図３（Ｅ）に示すように、伏し目状態の眼部Ｅ１、Ｅ２とともに、怒りを示す怒り画像ＡＮ１を表示させることができる。また、例えば、図３（Ｇ）に示すように、通常の眼部Ｅ１、Ｅ２とともに、湯気が立ったような画像で怒りを示す怒り画像ＡＮ２を表示させることができる。また、例えば、図３（Ｆ）に示すように、顔の上側に相当する部分Ｂ１を、不快な表情を示す所定色（例えば青色）とし、不快な表情を示す縦線画像Ｖ１を、その部分Ｂ１の一部に表示させることができる。また、例えば、図３（Ｈ）に示すように、鼻部Ｎ１を表示させるとともに、その鼻をつまむような態様の手Ｈ１を表示させることができる。また、図３（Ｅ）乃至（Ｈ）に示すように、左右方向（矢印Ａ４乃至Ａ７方向）に本体部２０１を揺らせることにより、さらに不快な態度を強調することが可能である。
【0033】
このように、表示部２１０のうちの少なくとも一部の色を特定色としたり、眼部Ｅ１、Ｅ２を変形させたり、鼻をつまむ態様としたりすることにより、エージェント機器２００が不快な表情をしているような表示態様とすることが可能である。なお、ここで示す表示態様は、一例であり、他の表示態様により不快な表情、怒りの表情等を実現してもよい。例えば、眼部Ｅ１、Ｅ２を左右に早く動かしたり、眼部Ｅ１、Ｅ２をきょろきょろさせたり、本体部２０１を左右方向に速く動かしたり、本体部２０１を左右方向にきょろきょろさせたりすることにより不快な表情を実現してもよい。
【0034】
このように、本実施形態では、エージェント機器２００の各部のうちの少なくとも一部を変化させる動作態様と、エージェント機器２００の表面のうちの少なくとも一部の表示状態を変化させる表示態様とによりエージェント機器２００を変化させることが可能である。また、その変化を見た車両Ｃ１の乗員は、エージェント機器２００が何らかの動きをしていると認識可能となる。このため、本実施形態では、これらのエージェント機器２００の変化をエージェント機器２００の動作態様と称して説明する。
【0035】
なお、これらのエージェント機器２００の動作態様は、一例であり、他の動作態様とすることも可能である。例えば、ダッシュボード２上の所定範囲内において、エージェント機器２００をスライド移動させることも可能である。例えば、エージェント機器２００を前後左右方向にスライド移動させることも可能である。また、例えば、エージェント機器２００を一時的に浮かせるような演出も可能である。
【0036】
なお、図３では、表示部２１０の表示態様を変更することにより、不快な表情を２次元的に表現する例を示すが、物理的に設置された眼部、鼻部、口部等の各部材を変化させることにより、不快な表情を３次元的に表現して実現してもよい。この場合には、例えば、眼部材を移動させたり、眼部材の表面に黒画像、白画像を表示させたりして眼の動きを表現してもよい。
【0037】
また、本実施形態では、顔部のみを備えるエージェント機器２００の例を示すが、他の身体の一部（例えば、手、足）をエージェント機器２００に備えてもよい。この場合には、これらの各部（例えば、手、足）を変化させて不快な態度を実現してもよい。例えば、手を頭や顔に当てるように変化させたり、足や手をバタバタさせたりする動きを不快な態度として表現してもよい。
【0038】
なお、これらのエージェント機器２００の形状、表示態様、音声出力態様は、一例であり、他の形状、表示態様、音声出力態様とすることも可能である。また、図３では、略球状の本体部２０１が顔部として機能するエージェント機器２００を例にして示すが、本発明はこれに限定されない。例えば、平板状の本体部（例えば、平面状の表示パネル）が顔部として機能する機器をエージェント機器２００としてもよい。また、例えば、顔部及び身体部を一体の筐体として構成する機器をエージェント機器２００としてもよい。また、例えば、顔部及び身体部を別体として構成する機器をエージェント機器２００としてもよい。
【0039】
また、本実施形態では、生き物らしさを表す画像（生き物表示）として顔画像を表示する例を示すが、他の画像（例えば、エージェントの全身、機械的なもの、仮想的な顔）を生き物らしさを表す画像として表示してもよい。
【0040】
［情報処理システムの構成例］
図４は、車両Ｃ１に設置されている情報処理システム１００のシステム構成の一例を示す図である。
図４は、車両Ｃ１に設置されている情報処理システム１００のシステム構成の一例を示す図である。
【0041】
情報処理システム１００は、カメラ１０１と、位置情報取得センサ１０２と、音声入力部１０３と、センサ類１０４と、情報処理装置１１０と、エージェント機器２００とを備える。なお、情報処理装置１１０及びエージェント機器２００は、有線通信又は無線通信を利用した通信方式によって接続される。また、情報処理装置１１０は、無線通信を利用した通信方式によってネットワーク２０に接続されている。ネットワーク２０は、公衆回線網、インターネット等のネットワークである。なお、エージェント機器２００についても、無線通信を利用した通信方式によってネットワーク２０に接続してもよい。なお、図４では、情報処理装置１１０及びエージェント機器２００を別体として構成する例を示すが、情報処理装置１１０及びエージェント機器２００を一体の機器として構成してもよい。
【0042】
カメラ１０１は、情報処理装置１１０の制御に基づいて、被写体を撮像して画像（画像データ）を生成するものであり、生成された画像に関する画像情報を情報処理装置１１０に出力する。カメラ１０１は、車両Ｃ１のうちの少なくとも内部に設けられ、車両Ｃ１の内部の被写体を撮像して画像（画像データ）を生成する。なお、図１では、車両Ｃ１の内部に設けられているカメラ１０１を示す。上述したように、カメラ１０１は、例えば、被写体を撮像することが可能な１又は複数のカメラ機器や画像センサにより構成される。例えば、１つのカメラ１０１を車両Ｃ１の前方に設け、車両Ｃ１の前方からの被写体を撮像して画像（画像データ）を生成してもよく、他のカメラ１０１を車両Ｃ１の後方に設け、車両Ｃ１からの後方の被写体を撮像して画像（画像データ）を生成してもよい。
【0043】
位置情報取得センサ１０２は、車両Ｃ１が存在する位置に関する位置情報を取得するものであり、取得された位置情報を情報処理装置１１０に出力する。例えば、ＧＮＳＳ（Global Navigation Satellite System：全球測位衛星システム）を利用して位置情報を取得するＧＮＳＳ受信機により実現できる。また、その位置情報には、ＧＮＳＳ信号の受信時における緯度、経度、高度等の位置に関する各データが含まれる。また、他の位置情報の取得方法により位置情報を取得してもよい。例えば、周囲に存在するアクセスポイントや基地局からの情報を用いて位置情報を導き出してもよい。また、ビーコンを用いて位置情報を取得してもよい。例えば、位置情報取得センサ１０２により取得された情報に基づいて、車両Ｃ１の状態、例えば、走行中、停止中、後進中を判定可能である。
【0044】
また、例えば、車両Ｃ１の外部に存在する施設、例えば珈琲店の付近に車両Ｃ１が存在することを位置情報取得センサ１０２により取得された位置情報に基づいて判定可能である。
【0045】
音声入力部１０３は、車両Ｃ１の内部に設けられ、情報処理装置１１０の制御に基づいて、車両Ｃ１の内部の音を取得するものであり、取得された音に関する音情報を情報処理装置１１０に出力する。音声入力部１０３として、例えば、１又は複数のマイクや音取得センサを用いることができる。
【0046】
センサ類１０４は、車両Ｃ１に設置されている各種のセンサであり、各センサにより取得された検出情報を情報処理装置１１０に出力する。センサ類は、例えば、ＬｉＤＡＲ（Light Detection And Ranging）、ＲＡＤＡＲ（Radio Detection And Ranging）、Ｓｏｎａｒ、人感センサ、車速センサ、加速度センサ、着座センサ、シートベルトセンサ、ドアセンサ、バッテリセンサ、雨滴センサ、明暗センサ、温湿臭気センサ、非接触温度センサ等である。なお、これらは一例であり、他のセンサを用いてもよい。また、これらのうちの一部のセンサのみを用いてもよい。
【0047】
人感センサは、車両Ｃ１の内部に存在する人の有無、人数、位置、状態等を検出するセンサである。例えば、赤外線、超音波、可視光、撮像素子等を用いる人感センサを用いることが可能である。例えば、運転席、助手席、後部座席の何れかに人が着座している場合には、その人の存在を人感センサにより検出可能である。また、人感センサ及び着座センサの双方を用いることにより、各座席の着座状態の検出精度を高めることが可能である。また、これらにより、エージェント機器２００が対象とする人物の位置を特定することが可能である。
【0048】
着座センサ（又はシートセンサ）は、車両Ｃ１の各座席に着座している乗員の有無を検出するセンサである。シートベルトセンサは、車両Ｃ１の各座席に着座している乗員がシートベルトを着用しているか否かを検出するセンサである。ドアセンサは、車両Ｃ１の各ドアが半ドアであるか否かを検出するセンサである。バッテリセンサは、車両Ｃ１に設置されているバッテリの残量を計測するためのセンサである。
【0049】
雨滴センサは、車両Ｃ１に降り注ぐ雨の有無を検出するセンサである。明暗センサは、車両Ｃ１の周囲における明るさを検出するセンサである。雨滴センサにより車両Ｃ１に乗車しているユーザＵ１が雨等の不快を感じていることを検出可能である。また、明暗センサにより車両Ｃ１に乗車しているユーザＵ１が暗さ等の不快を感じていることを検出可能である。
【0050】
温湿臭気センサは、温度、湿度、臭気を検出するセンサである。温湿臭気センサにより車両Ｃ１に乗車しているユーザＵ１が暑い、蒸している、臭い等の不快を感じていることを検出可能である。温湿臭気センサは、例えば、車両Ｃ１のエアコン（エアコンディショナー）において外気又は内気を取り入れるときに、外気又は内気を自動で切り替える場合に使用される。そこで、車両Ｃ１のエアコンに使用されている温湿臭気センサを利用することが可能である。
【0051】
非接触温度センサは、車両Ｃ１に乗車しているユーザＵ１の体温を非接触状態で検出するセンサである。例えば、ユーザＵ１の顔の表面の温度を非接触温度センサにより計測可能である。これらの各センサについては、公知のセンサを用いることが可能である。
【0052】
情報処理装置１１０は、制御部１２０と、記憶部１３０と、通信部１４０とを備える。通信部１４０は、制御部１２０の制御に基づいて、有線通信又は無線通信を利用して、他の機器との間で各種情報のやりとりを行うものである。
【0053】
制御部１２０は、記憶部１３０に記憶されている各種プログラムに基づいて各部を制御するものである。制御部１２０は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の処理装置により実現される。例えば、ＧＰＵを用いて画像処理を実行することにより演算速度を速めることが可能である。また、ＧＰＵを用いて並列演算を実行することにより演算速度をさらに速めることが可能である。なお、車両Ｃ１の車両ＥＣＵ（Electronic Control Unit）を制御部１２０としても使用してもよく、車両ＥＣＵとは異なる処理装置を制御部１２０として設けてもよい。なお、制御部１２０は、文字を音声に変換する変換機能を備える。この変換機能は、例えば、ＴＴＳ（Text to Speech）により実現される。
【0054】
制御部１２０は、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報に基づいて、エージェント機器２００の動作状態を制御する制御処理を実行する。具体的には、制御部１２０は、不快度判定部１２１と、不快要因推定部１２２と、確信度判定部１２３と、ＤＢ制御部１２４と、エージェント制御部１２５とを備える。
【0055】
不快度判定部１２１は、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報に基づいて、車両Ｃ１に乗車するユーザＵ１の不快度を判定するものであり、その判定結果をエージェント制御部１２５に出力する。なお、ユーザＵ１の不快度の判定方法については、図６等を参照して詳細に説明する。
【0056】
不快要因推定部１２２は、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報に基づいて、車両Ｃ１に乗車するユーザＵ１の不快要因を推定するものであり、その推定結果をエージェント制御部１２５に出力する。なお、ユーザＵ１の不快要因の推定方法については、図７等を参照して詳細に説明する。
【0057】
確信度判定部１２３は、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報に基づいて、センシングの確信度を判定するものであり、その判定結果をエージェント制御部１２５に出力する。なお、センシングの確信度の判定方法については、図５等を参照して詳細に説明する。
【0058】
ＤＢ制御部１２４は、記憶部１３０に記憶されている各ＤＢ（DabaBase）への情報の記録処理及び読出処理を実行するものである。例えば、ＤＢ制御部１２４は、不快度判定部１２１、不快要因推定部１２２等から出力された各処理結果（判定結果、推定結果）を各ＤＢに格納する。また、例えば、ＤＢ制御部１２４は、不快度判定部１２１、不快要因推定部１２２等から出力された各処理結果に基づいて、各ＤＢから所定情報を抽出し、その抽出された所定情報をエージェント制御部１２５に出力する。なお、ＤＢ制御部１２４による記録処理及び読出処理については、図１１乃至図１３等を参照して詳細に説明する。
【0059】
エージェント制御部１２５は、不快度判定部１２１、不快要因推定部１２２、確信度判定部１２３による各処理結果と、ＤＢ制御部１２４による抽出結果と、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報とに基づいて、エージェント機器２００の動作状態を制御するものである。例えば、エージェント制御部１２５は、擬生物化されたエージェントの顔を構成する各部（眼部Ｅ１、Ｅ２）を表示部２１０に表示させる。また、エージェント制御部１２５は、車両Ｃ１の乗員に報知すべき情報（報知情報）を表示部２１０に表示させる。また、エージェント制御部１２５は、擬生物化されたエージェントの音声、車両Ｃ１の乗員に報知すべき情報に対応する音声等を音出力部２２０から出力させる。
【0060】
例えば、エージェント制御部１２５は、表示部２１０に表示させる報知情報と、音出力部２２０から出力させる報知情報とを決定し、それらの報知情報を出力させる制御を実行する。なお、車両Ｃ１の内部に存在する対象物に関する報知情報については、報知情報ＤＢ１３２に格納されている。また、報知情報の出力例については、図１に示す。例えば、シートベルトの着用に関する報知情報である場合には、シートベルトの着用に関する音声情報を報知情報として出力する。なお、シートベルトを示す画像を報知情報として表示部２１０に表示してもよい。また、バッテリ残量に関する報知情報である場合には、バッテリ残量を示す音声情報を報知情報として出力したり、バッテリを示す画像を報知情報として表示部２１０に表示したりする。また、半ドアに関する報知情報である場合には、半ドアを示す音声情報を報知情報として出力したり、ドアを示す画像を報知情報として表示したりする。
【0061】
また、例えば、エージェント制御部１２５は、出力された報知情報に対してユーザＵ１に不快感を与えた場合には、その報知情報の出力に対する謝罪をエージェント機器２００に実行させる。例えば、図２に示すように、エージェント機器２００に謝罪を実行させる。この謝罪として、音声出力による謝罪、しぐさによる謝罪等を実行することが可能である。
【0062】
また、例えば、エージェント制御部１２５は、ユーザＵ１が不快状態である場合には、その不快による不快反応に対応する共感演出をエージェント機器２００に実行させる。例えば、図１１（Ｃ）（Ｄ）、図１２（Ｃ）（Ｄ）、図１３（Ｃ）（Ｄ）に示すように、エージェント機器２００に共感演出を実行させる。この共感演出として、音声出力による共感、しぐさによる共感等を実行することが可能である。なお、エージェント機器２００による共感方法については、図１１乃至図１３等を参照して詳細に説明する。また、エージェント制御部１２５は、ユーザＵ１の不快反応に相当する共感演出を実行するための対応方法を決定する対応方法決定部として機能する。
【0063】
記憶部１３０は、各種情報を記憶する記憶媒体である。例えば、記憶部１３０には制御部１２０が各種処理を行うために必要となる各種情報（例えば、制御プログラム、エージェント情報ＤＢ１３１、報知情報ＤＢ１３２、地図情報ＤＢ１３３、周囲状況ＤＢ１３４、ユーザ状態ＤＢ１５０、不快状態ＤＢ１６０、振る舞いＤＢ１７０）が記憶される。また、記憶部１３０には、通信部１４０を介して取得された各種情報が記憶される。記憶部１３０として、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせを用いることができる。
【0064】
エージェント情報ＤＢ１３１には、エージェント機器２００の各種動作を実現するために必要となる情報が格納されている。例えば、表示部２１０に表示される顔画像情報（例えば、眼部Ｅ１、Ｅ２、鼻部Ｎ１、手Ｈ１、怒り画像ＡＮ１乃至ＡＮ４、縦線画像Ｖ１）と、音出力部２２０から出力される音声情報とがエージェント情報ＤＢ１３１に格納される。また、例えば、共感演出の実行時にエージェント機器２００を動作させるための動作情報等がエージェント情報ＤＢ１３１に格納される。
【0065】
報知情報ＤＢ１３２には、車両Ｃ１の内部又は外部に存在する対象物に関する報知情報を出力するために必要となる情報が格納されている。例えば、半ドアに関する報知情報である場合には、ドアを示す画像情報と半ドアを報知するための音声情報とが報知情報として報知情報ＤＢ１３２に格納される。また、例えば、シートベルトの着用に関する報知情報である場合には、シートベルトを示す画像情報とシートベルトの着用を報知するための音声情報とが報知情報として報知情報ＤＢ１３２に格納される。また、例えば、バッテリ残量に関する報知情報である場合には、バッテリを示す画像情報とシートベルトの着用を報知するための音声情報とが報知情報として報知情報ＤＢ１３２に格納される。
【0066】
地図情報ＤＢ１３３には、車両Ｃ１の経路案内に必要となる道路に関する道路情報等の地図情報が格納されている。その地図情報には、道路の勾配、道路の交差点、道路の車線数、道幅情報、道路の起伏情報、悪路状態が含まれる。また、地図情報には、速度制限、一方通行等を示す道路標識、横断歩道、区画線等を示す道路標示も含まれる。また、地図情報には、道路構造物（例えば信号機、電信柱）、建物等の施設情報、周囲の観光案内情報等を含めてもよい。なお、エージェント情報ＤＢ１３１、報知情報ＤＢ１３２、地図情報ＤＢ１３３については、車両Ｃ１が備える記憶部１３０に記憶して用いてもよく、ネットワーク２０を介して外部機器から取得して用いてもよい。
【0067】
周囲状況ＤＢ１３４には、車両Ｃ１の周囲の状況に関する情報が格納されている。これらの情報は、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報に基づいて取得されて格納される。
【0068】
周囲状況ＤＢ１３４に格納された情報については、車両Ｃ１の周囲の状況に関する情報を検出する際における検出精度を向上させるための学習に使用することが可能である。
【0069】
ユーザ状態ＤＢ１５０には、ユーザＵ１の状態に関する情報が格納されている。これらの情報は、カメラ１０１、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報に基づいて取得されて格納される。なお、ユーザ状態ＤＢ１５０については、図７を参照して詳細に説明する。
【0070】
不快状態ＤＢ１６０には、ユーザＵ１の不快時における不快状態に関する情報が格納されている。これらの情報は、カメラ１０１、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報に基づいて取得されて格納される。なお、不快状態ＤＢ１６０については、図８を参照して詳細に説明する。
【0071】
振る舞いＤＢ１７０には、ユーザＵ１の不快度と、この不快度に対するエージェント機器２００の共感演出の振る舞いとを関連付けた情報が格納されている。なお、振る舞いＤＢ１７０については、図９を参照して詳細に説明する。
【0072】
エージェント機器２００は、情報処理装置１１０からの指示に基づいて各種動作を実行するロボット機器である。エージェント機器２００は、表示部２１０と、音出力部２２０と、駆動部２３０とを備える。なお、表示部２１０、音出力部２２０及び駆動部２３０は、エージェント機器２００が備える制御部（図示省略）に基づいて制御される。
【0073】
表示部２１０は、情報処理装置１１０からの指示に基づいて、各種画像を表示する表示部である。なお、表示部２１０として、例えば、有機ＥＬ（Electro Luminescence）パネル、ＬＣＤ（Liquid Crystal Display）パネル等の表示パネルを用いることができる。なお、表示部２１０については、使用者がその指を表示面に接触又は近接することにより操作入力を行うことが可能なタッチパネルとして構成してもよく、別体のユーザインタフェースとして構成してもよい。
【0074】
音出力部２２０は、情報処理装置１１０からの指示に基づいて、各種音声を出力するものである。音出力部２２０として、例えば、１又は複数のスピーカを用いることができる。なお、表示部２１０及び音出力部２２０は、ユーザインタフェースの一例であり、これらのうちの一部を省略してもよく、他のユーザインタフェースを用いてもよい。
【0075】
駆動部２３０は、情報処理装置１１０からの指示に基づいて、エージェント機器２００の各部を駆動するものである。例えば、駆動部２３０は、図３（Ａ）乃至（Ｈ）に示すように、本体部２０１を回動させる機構を実現する駆動装置である。例えば、駆動部２３０は、本体部２０１を駆動させることが可能なモータ、サーボモータ等により構成される。
【0076】
［センシングの確信度の判定例］
次に、センシングの確信度の判定方法について説明する。上述したように、センシングの確信度が高い場合には、車両Ｃ１の周囲の状況に関する情報、ユーザＵ１に関する情報の取得精度も高くなり、エージェント機器２００を制御する際に用いられる機器における処理の確信度が高くなることが想定される。
次に、センシングの確信度の判定方法について説明する。上述したように、センシングの確信度が高い場合には、車両Ｃ１の周囲の状況に関する情報、ユーザＵ１に関する情報の取得精度も高くなり、エージェント機器２００を制御する際に用いられる機器における処理の確信度が高くなることが想定される。
【0077】
［センシング安定度に基づくセンシングの確信度の判定例］
図５は、センシングの確信度の判定方法の一例を示す図である。図５（Ａ）には、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４の各センサの検出値と、時間との関係を示す。なお、本実施形態では、説明を容易にするため、カメラ１０１を構成するイメージセンサを例にして説明する。また、本実施形態では、イメージセンサから出力された画素値（センサ素子値）が０又は最大値（例えば２５５）になったことを、センサ素子値が張り付いた状態と称する。また、本実施形態では、判定処理のタイミングを基準とする規定期間において、センサ素子値が張り付いた状態の割合に基づいて、センシング安定度を求める例を示す。
図５は、センシングの確信度の判定方法の一例を示す図である。図５（Ａ）には、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４の各センサの検出値と、時間との関係を示す。なお、本実施形態では、説明を容易にするため、カメラ１０１を構成するイメージセンサを例にして説明する。また、本実施形態では、イメージセンサから出力された画素値（センサ素子値）が０又は最大値（例えば２５５）になったことを、センサ素子値が張り付いた状態と称する。また、本実施形態では、判定処理のタイミングを基準とする規定期間において、センサ素子値が張り付いた状態の割合に基づいて、センシング安定度を求める例を示す。
【0078】
例えば、０乃至２５５の画素値を出力するイメージセンサを想定する。なお、画素値が０のときは黒に相当し、画素値が２５５のときは白に相当する。このイメージセンサでは、入射光が強すぎる場合等には、検出できない値として、例えば０又は２５５を画素値として出力することがある。このように、イメージセンサから検出できない値が出力されている状態をロスト状態と称することもある。例えば、逆光の場合、光の急激な変化が発生した場合等には、イメージセンサがロスト状態となることがある。この場合には、画素値として０又は２５５が出力される。すなわち、画素値が０又は２５５に張り付いてしまう状態となる。このように、イメージセンサがロスト状態となり、画素値として０又は２５５が出力されている場合には、イメージセンサが不安定になっていると推定される。
【0079】
そこで、本実施形態では、イメージセンサがロスト状態となり、画素値として０又は２５５が出力されている時間の割合に基づいて、センシング安定度を算出する例を示す。例えば、規定期間（例えば数秒（例えば５秒）程度）において、画素値として０又は２５５が出力されている時間の割合（画素値が張り付いている時間の割合）を求め、この割合に基づいてセンシング安定度を算出することが可能である。具体的には、以下に示すように、張付き割合を算出し、その張付き割合の値を１から引いた値をセンシング安定度として算出する。
張付き割合＝画素値が張り付いている時間／規定期間ｔ
センシング安定度＝１－張付き割合
張付き割合＝画素値が張り付いている時間／規定期間ｔ
センシング安定度＝１－張付き割合
【0080】
例えば、張付き割合が１００％の場合には、センシング安定度は０％となり、張付き割合が０％の場合には、センシング安定度は１００％となる。また、例えば、張付き割合が６０％の場合には、センシング安定度は４０％となり、張付き割合が３０％の場合には、センシング安定度は７０％となる。
【0081】
例えば、画素値として２５５が５秒間出力され続けた場合には、張付き割合＝１となるため、センシング安定度は０％となる。すなわち、強い光を検出し続けているような場合には、センシング安定度は０％となり、カメラ１０１を用いた適切な検出ができていないと推定される。そこで、このような場合には、センシングの確信度が低いと考えることができる。
【0082】
一般に、イメージセンサは、多数の画素により構成されている。このため、上述したセンシング安定度を算出する場合には、イメージセンサを構成する各画素のうち、一部の画素のみを用いてもよく、全部の画素を用いてもよい。例えば、イメージセンサを構成する各画素のうち、張り付いた画素が１画素でも存在する場合には、その１画素が張り付いている時間を用いてセンシング安定度を算出してもよい。また、例えば、イメージセンサを構成する各画素のうち、センシング安定度の算出に用いる１又は複数の画素を設定しておき、その画素の画素値を用いてセンシング安定度を算出してもよい。
【0083】
図５（Ａ）に示すグラフにおいて、横軸は時間軸を示し、縦軸はセンサ検出値（画素値）を示す。また、イメージセンサからのセンサ検出値として、０乃至最大値ＭＡＸの値が出力されるものとする。
【0084】
図５（Ａ）に示す例では、確信度の判定時ｔ３を基準として、その判定時ｔ３からｔ秒前までの期間（すなわち時刻ｔ１から時刻ｔ３までの期間）を規定期間ｔとする例を示す。なお、時刻ｔ２は、時刻ｔ１から時刻ｔ３までの期間の半分の値とする。なお、ｔは、例えば５秒程度の値とすることが可能である。なお、ｔについては、センサの種類、センシング安定度の精度等に基づいて適宜設定可能である。
【0085】
図５（Ａ）に示す例では、時刻ｔ１までのセンサ検出値ＳＥ１が、０から最大値ＭＡＸまでの間の値であり、時刻ｔ１から時刻ｔ２までのセンサ検出値ＳＥ２が０であり、時刻ｔ２以降のセンサ検出値ＳＥ３が、０から最大値ＭＡＸまでの間の値である場合を想定して説明する。この場合には、センサ検出値が張り付いた状態は、センサ検出値が０となる時刻ｔ１から時刻ｔ２までの時間帯となる。このため、確信度の判定時ｔ３を基準とする規定期間ｔにおいて、センサ検出値が張り付いた期間の割合（張付き割合）は、１／２となる。この場合には、センシング安定度は、５０％（１－１／２）となる。
【0086】
図５（Ｂ）に示すグラフにおいて、横軸は時間軸を示し、縦軸はセンシング安定度を示す。また、図５（Ｂ）に示す例では、５０％から１００％の間に、センシングの確信度を判定するための閾値ＴＨ１を設定する例を示す。なお、閾値ＴＨ１については、実験データ等に基づいて適宜設定可能である。
【0087】
例えば、図５（Ａ）に示す例では、センシング安定度が５０％であるため、閾値ＴＨ１未満となる。このため、センシングの確信度は低いと判定される。一方、センシング安定度が閾値ＴＨ１以上となる場合には、センシングの確信度は高いと判定される。
【0088】
［ＣＰＵ稼働率に基づくセンシングの確信度の算出例］
上述したセンシング安定度に基づいて、センシングの確信度を判定することが可能である。しかし、各センサから適切な検出値が出力された場合（すなわちセンシング安定度が高い場合）でも、制御部１２０の稼働率が高いときには、それらの検出値を用いた演算処理が適切に実行されないことも想定される。そこで、制御部１２０の稼働率を用いてセンシングの確信度を判定してもよい。なお、本実施形態では、制御部１２０を構成するＣＰＵの稼働率を用いてセンシングの確信度を判定する例を示す。また、ＣＰＵの稼働率については、公知の算出方法を用いて算出可能である。
上述したセンシング安定度に基づいて、センシングの確信度を判定することが可能である。しかし、各センサから適切な検出値が出力された場合（すなわちセンシング安定度が高い場合）でも、制御部１２０の稼働率が高いときには、それらの検出値を用いた演算処理が適切に実行されないことも想定される。そこで、制御部１２０の稼働率を用いてセンシングの確信度を判定してもよい。なお、本実施形態では、制御部１２０を構成するＣＰＵの稼働率を用いてセンシングの確信度を判定する例を示す。また、ＣＰＵの稼働率については、公知の算出方法を用いて算出可能である。
【0089】
図５（Ｃ）に示すグラフにおいて、横軸は時間軸を示し、縦軸はＣＰＵの稼働率を示す。また、図５（Ｃ）に示す例では、５０％から１００％の間に、センシングの確信度を判定するための閾値ＴＨ２を設定する例を示す。閾値ＴＨ２として、１００％に近い値を設定することが可能である。なお、閾値ＴＨ２については、実験データ等に基づいて適宜設定可能である。
【0090】
例えば、確信度の判定時ｔ２１のＣＰＵの稼働率、又は、その判定時ｔ２１を基準とする所定期間におけるＣＰＵの稼働率の平均値を求める。そして、ＣＰＵの稼働率（又は、その平均値）が閾値ＴＨ２以上の場合には、センシングの確信度は低いと判定される。一方、ＣＰＵの稼働率（又は、その平均値）が閾値ＴＨ２未満である場合には、センシングの確信度は高いと判定される。
【0091】
なお、以上では、センシング安定度に基づくセンシングの確信度の判定方法と、ＣＰＵ稼働率に基づくセンシングの確信度の判定方法とについて説明したが、これらの双方の判定方法を用いて、センシングの確信度を判定してもよく、何れか一方の判定方法を用いて、センシングの確信度を判定してもよい。例えば、センシング安定度に基づくセンシングの確信度と、ＣＰＵ稼働率に基づくセンシングの確信度との双方が高いと判定されたことを条件に、センシングの確信度が高いと判定することが可能である。この場合には、センシング安定度に基づくセンシングの確信度と、ＣＰＵ稼働率に基づくセンシングの確信度との少なくとも１つが低いと判定された場合には、センシングの確信度が低いと判定する。また、他のセンシングの確信度の判定方法を用いてもよい。
【0092】
［ユーザの不快度の判定例］
次に、ユーザＵ１の不快度を判定する判定方法について説明する。ユーザＵ１の不快度は、ユーザＵ１の生体情報（例えば、心拍、血脈）と、ユーザＵ１から発せられる音と、ユーザＵ１の外観（例えば、表情、動き）とに基づいて算出が可能である。
次に、ユーザＵ１の不快度を判定する判定方法について説明する。ユーザＵ１の不快度は、ユーザＵ１の生体情報（例えば、心拍、血脈）と、ユーザＵ１から発せられる音と、ユーザＵ１の外観（例えば、表情、動き）とに基づいて算出が可能である。
【0093】
例えば、ユーザＵ１が不快になると、ユーザＵ１が興奮してユーザＵ１の心拍が速くなることが想定される。そこで、ユーザＵ１の心拍を数値化してユーザＵ１の不快度を算出可能である。また、ユーザＵ１が不快になると、ユーザＵ１の顔がむっとしたり、怒ったような表情となったり、目が吊り上がったりすることが想定される。そこで、ユーザＵ１の顔を含む画像を解析することによりユーザＵ１の表情の変化を取得し、その変化の程度に基づいて、ユーザＵ１の不快度を算出可能である。例えば、ユーザＵ１の表情が急激に変化し、かつ、その変化後の表情が所定の表情（例えば、むっとする表情、怒ったような表情、目が吊り上がる表情）になった場合に、ユーザＵ１の不快度が高いと判定することが可能である。なお、ユーザＵ１の顔が所定の表情になった場合に、ユーザＵ１の不快度が高いと判定することも可能である。なお、ユーザＵ１の顔を含む画像については、カメラ１０１（図４参照）により取得可能である。また、表情の判定については、公知の表情認識技術（例えば表情判定プログラム）を用いることが可能である。
【0094】
なお、顔に関する他の情報を用いてユーザＵ１の不快度を判定してもよい。例えば、ユーザＵ１が怒った場合には、ユーザＵ１の顔の表面の温度が高くなることが想定される。そこで、カメラ１０１により取得された画像（ユーザＵ１の顔を含む）、非接触温度センサ等に基づいて、ユーザＵ１の顔の表面の温度を推定し、その温度に基づいて、ユーザＵ１の不快度を判定することが可能である。例えば、ユーザＵ１の顔の表面の温度の変化に基づいて、ユーザＵ１の不快度を算出可能である。例えば、ユーザＵ１の顔の表面の温度が急激に変化し、かつ、その変化後の温度が所定値以上となった場合に、ユーザＵ１の不快度が高いと判定することが可能である。なお、温度の推定判定については、公知の温度推定技術を用いることが可能である。
【0095】
また、ユーザＵ１が不快になると、ユーザＵ１が興奮して特定のキーワード（例えば、このやろう）を発したり、ユーザＵ１が声を荒げてユーザＵ１から発せられる声の音量が高くなったりすることが想定される。そこで、ユーザＵ１から発せられる声を解析することにより、ユーザＵ１が発した特定のキーワード（例えば、このやろう）、ユーザＵ１から発せられる声の音量を取得する。そして、ユーザＵ１が特定のキーワード（例えば、このやろう）を発した場合、又は、ユーザＵ１から発せられた声の音量が閾値以上となった場合に、ユーザＵ１の不快度が高いと判定することが可能である。なお、ユーザＵ１が発する声については、音声入力部１０３（図４参照）により取得可能である。また、声の判定については、公知の音認識技術（例えば音判定プログラム）を用いることが可能である。また、表情及び音声を合わせて感情を推定する公知の推定技術を用いることも可能である。例えば、表情及び音声を合わせて感情を推定し、その感情をユーザＵ１の不快度として数値化することが可能である。この数値化されたユーザＵ１の不快度を用いる例を図６（Ａ）に示す。なお、ユーザＵ１の生体情報と、ユーザＵ１の発話内容と、ユーザＵ１の動作とのうちの少なくとも１つに基づいて算出が可能なユーザＵ１の不快度に関する他の数値を用いてもよい。
【0096】
図６（Ａ）は、ユーザＵ１の不快度の判定方法の一例を示す図である。図６（Ａ）に示すグラフにおいて、横軸は時間軸を示し、縦軸はユーザＵ１の不快度を示す。この不快度については、上述した算出方法により算出可能である。また、第１閾値ＴＨ３、第２閾値ＴＨ４を点線で示す。なお、第１閾値ＴＨ３は、ユーザＵ１が不快状態であることを判定するための閾値である。また、第２閾値ＴＨ４は、ユーザＵ１が不快状態であり、かつ、その不快度が高いことを判定するための閾値であり、第１閾値ＴＨ３よりも大きい値が設定される。本実施形態では、ユーザＵ１の不快度が第１閾値ＴＨ３以上であり、かつ、第２閾値ＴＨ４未満である場合を、ユーザＵ１の不快度が「中」程度と称する。また、ユーザＵ１の不快度が第２閾値ＴＨ４以上である場合を、ユーザＵ１の不快度が「高」と称する。なお、ユーザＵ１の不快度が第２閾値ＴＨ４付近（第２閾値ＴＨ４を中心とする所定範囲）である場合を、ユーザＵ１の不快度が「中－高」とも称する。
【0097】
なお、第１閾値ＴＨ３、第２閾値ＴＨ４は、固定値としてもよく、可変値としてもよい。第１閾値ＴＨ３、第２閾値ＴＨ４を固定値とする場合には、実験データ等に基づいて適宜可能である。また、第１閾値ＴＨ３、第２閾値ＴＨ４を可変値とする場合には、時刻ｔ３１よりも前の所定期間内のユーザＵ１の不快度に基づいて、第１閾値ＴＨ３、第２閾値ＴＨ４を設定することが可能である。例えば、時刻ｔ３１よりも前の所定期間（例えば数秒乃至数十秒程度）内のユーザＵ１の不快度の平均値を算出し、この平均値に所定値を加算した値を第１閾値ＴＨ３、第２閾値ＴＨ４として設定することが可能である。なお、この場合の所定値については、その平均値に基づいて可変としてもよく、実験データ等に基づいて設定された固定値としてもよい。
【0098】
図６（Ａ）に示すグラフにおいて、ユーザＵ１の不快度の判定タイミングを時刻ｔ３１で示す。また、時刻ｔ３１以降におけるユーザＵ１の不快度の遷移例を線ＵＨ１乃至ＵＨ３で示す。なお、線ＵＨ１乃至ＵＨ３は、ユーザＵ１の不快度が上昇している際にユーザＵ１が発話（時刻ｔ３２）をした後に、その発話に共感してエージェント機器２００が発話（時刻ｔ３３）をした場合における遷移例を示す。また、線ＵＨ２、ＵＨ３は、ユーザＵ１の不快度が上昇し、第１閾値ＴＨ３、第２閾値ＴＨ４以上となった場合の遷移例を示す。一方、線ＵＨ１は、ユーザＵ１の不快度が上昇し、第１閾値ＴＨ３以上となったが、第２閾値ＴＨ４未満であった場合の遷移例を示す。具体的には、線ＵＨ３は、ユーザＵ１の不快度が急激に上昇した後に、その不快度が急激に下降する場合の遷移例を示す。また、線ＵＨ１は、ユーザＵ１の不快度が緩やかに上昇した後に、その不快度が緩やかに下降する場合の遷移例を示す。また、線ＵＨ２は、線ＵＨ１、線ＵＨ３の中間程度の変化をする場合の遷移例を示す。
【0099】
図６（Ａ）に示すように、ユーザＵ１の不快度が上昇している際にユーザＵ１が発話（時刻ｔ３２）をした後に、その発話に共感してエージェント機器２００が発話（時刻ｔ３３）をすることにより、ユーザＵ１の不快度を下降させることが可能である。なお、これらのエージェント機器２００の遷移例については、図１１乃至図１３等を参照して詳細に説明する。
【0100】
図６（Ｂ）は、ユーザＵ１の不快度と、エージェント機器２００の振る舞いとの関係例を示す図である。図６（Ｂ）に示すグラフにおいて、横軸はユーザＵ１の不快度を示し、縦軸はエージェント機器２００の振る舞いの程度を示す。なお、ユーザＵ１の不快度は、上述した算出方法により算出可能である。また、第１閾値ＴＨ３、第２閾値ＴＨ４については、図６（Ａ）と同様である。また、エージェント機器２００の振る舞いの程度は、振る舞いの大きさ、出力音の大きさ等を示す値である。
【0101】
例えば、線ＯＬ１に示すように、第２閾値ＴＨ４未満である場合には、エージェント機器２００の振る舞いを一定とする。一方、第２閾値ＴＨ４以上である場合には、ユーザＵ１の不快度が上昇に応じて、エージェント機器２００の振る舞いを大きくする。例えば、エージェント機器２００の動きを大きくしたり、動きを速くしたり、エージェント機器２００が発する音の音量を大きくしたりすることが可能である。
【0102】
【0103】
ユーザ状態ＤＢ１５０は、ユーザＵ１の不快状態に関する情報を管理するためのデータベースである。具体的には、ユーザの周囲状況１５２と、ユーザの心理状態１５３と、ユーザの表情１５４と、ユーザの心拍１５５と、ユーザの発話内容１５６とがユーザの不快度１５１に関連付けてユーザ状態ＤＢ１５０に格納される。なお、ユーザの不快度１５１の「中」「中－高」「高」は、図６（Ａ）（Ｂ）に示す「中」「中－高」「高」に対応する。また、これらの各項目は、一例であり、他の項目を格納してもよく、これらのうちの一部を省略してもよい。
【0104】
例えば、ユーザＵ１の周囲の状況（車両Ｃ１の周囲の状況）が渋滞であり、ユーザの不快度１５１が「中」程度である場合を想定する。この場合には、ユーザの心理状態１５３は「渋滞でイライラ」となり、ユーザの表情１５４は「口がへの字になる」となり、ユーザの心拍１５５は「高い」となり、ユーザの発話内容１５６は「混んでいるなぁ」となる。なお、これらの各情報については、カメラ１０１、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報に基づいて取得されて格納される。
【0105】
なお、ユーザＵ１の周囲の状況が似ていれば、ユーザＵ１の行動は略同じになることが多い。そこで、本実施形態では、不快状態でのユーザＵ１の行動、発話内容等を学習して学習データを生成し、その学習データを用いてユーザＵ１の不快度、不快要因を推定する。また、ユーザＵ１の不快度、不快要因の推定結果に基づいて、ユーザＵ１の不快状態に対する不快反応に関連する共感演出をエージェント機器２００に実行させる。
【0106】
なお、ユーザの心理状態１５３については、検出することが困難であることが想定される。そこで、例えば、ユーザの不快度１５１と、ユーザの周囲状況１５２と、ユーザの表情１５４と、ユーザの心拍１５５と、ユーザの発話内容１５６とに基づいて、ユーザの心理状態１５３を推定することが考えられる。例えば、予め設定されている複数の項目と、ユーザＵ１の要素（ユーザの不快度１５１、ユーザの周囲状況１５２、ユーザの表情１５４、ユーザの心拍１５５、ユーザの発話内容１５６）との一致度に基づいて、ユーザの心理状態を推定可能である。
【0107】
例えば、ユーザＵ１から不快な事象に対する声（例えば、暑い、混んでいるな）が出た場合には、その声に基づいて、ユーザの心理状態１５３を推定可能である。例えば、渋滞に対する声として「混んでいるな」をユーザＵ１が発した場合には、その声に基づいて、ユーザの心理状態１５３「渋滞でイライラ」を推定可能である。また、例えば、車内が暑いに対する声として「暑いな」をユーザＵ１が発した場合には、その声に基づいて、ユーザの心理状態１５３「暑くて不快」を推定可能である。
【0108】
なお、ユーザＵ１から不快な事象に対する声が出ない場合には、発話以外の他の要素でユーザの心理状態１５３を推定する。例えば、渋滞中の場合には、顔の表情等に基づいて「渋滞でイライラ」を推定可能である。また、車内が暑い場合には、顔の表情等に基づいて「暑くて不快」を推定可能である。なお、これらの双方が略同時に発生することも想定される。この場合には、各事象の割合でユーザの心理状態１５３を推定可能である。例えば、各事象が発生している時間の割合等も考慮して推定が可能である。
【0109】
このように、ユーザＵ１の不快度が第１閾値ＴＨ３以上となった場合には、ユーザＵ１の不快度「中」「中－高」「高」に関連付けて、カメラ１０１、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報に基づいて取得された各項目がユーザ状態ＤＢ１５０に格納される。なお、ユーザ状態ＤＢ１５０に既に同等の情報（例えば、ユーザの不快度１５１、ユーザの周囲状況１５２が同一）が格納されている場合には、その同等の情報を順次更新することにより、ユーザＵ１に合わせたデータ更新が可能となる。この更新処理では、例えば、新たな情報を上書して格納してもよく、新たな情報のうちから過去の情報との差分を抽出してその差分のみを追加して格納してもよい。例えば、公知の学習方法によりデータ更新をすることが可能である。このように、ユーザ状態ＤＢ１５０は、ユーザＵ１に応じた情報を格納するユーザスペシフィックなものとなる。
【0110】
なお、ユーザ状態ＤＢ１５０に情報を格納するタイミングは、ユーザＵ１の不快度が第１閾値ＴＨ３以上であり、かつ、ユーザＵ１の周囲に特定事象（例えば、渋滞、割込み）が検出されたタイミングとすることが可能である。この場合に、そのタイミングでのユーザＵ１に関する各情報が格納対象となる。
【0111】
［ユーザの不快要因の推定例］
次に、ユーザＵ１の不快要因を推定する推定方法について説明する。ユーザＵ１の不快要因は、ユーザＵ１の周囲の状況、ユーザＵ１に関する情報等に基づいて推定が可能である。なお、ユーザＵ１に関する情報として、ユーザＵ１の不快度の判定処理で用いた各情報、例えば、ユーザＵ１の生体情報（例えば、心拍、血脈）、ユーザＵ１から発せられる音、ユーザＵ１の外観（例えば、表情、動き）等を用いることが可能である。例えば、ユーザＵ１の不快度が第１閾値ＴＨ３以上となったタイミングにおいて、ユーザＵ１の周辺において生じた特定事象に基づいて推定可能である。
次に、ユーザＵ１の不快要因を推定する推定方法について説明する。ユーザＵ１の不快要因は、ユーザＵ１の周囲の状況、ユーザＵ１に関する情報等に基づいて推定が可能である。なお、ユーザＵ１に関する情報として、ユーザＵ１の不快度の判定処理で用いた各情報、例えば、ユーザＵ１の生体情報（例えば、心拍、血脈）、ユーザＵ１から発せられる音、ユーザＵ１の外観（例えば、表情、動き）等を用いることが可能である。例えば、ユーザＵ１の不快度が第１閾値ＴＨ３以上となったタイミングにおいて、ユーザＵ１の周辺において生じた特定事象に基づいて推定可能である。
【0112】
例えば、ユーザＵ１の周囲の状況に基づいて、車両Ｃ１の混雑（渋滞）、車内が暑い、後方から前方への他車の急な割込み、前方のトラックの排気ガス、エージェント機器２００等の不快要因を推定可能である。
【0113】
例えば、カメラ１０１により取得された車両Ｃ１の周囲の画像（例えば車両Ｃ１の前方の画像）、音声入力部１０３により取得されたユーザＵ１の声、センサ類１０４に含まれる各種センサ（例えば、ＬｉＤＡＲ、ＲＡＤＡＲ、Ｓｏｎａｒ）、通信部１４０を介して取得可能な渋滞情報等に基づいて、車両Ｃ１の周囲に存在する他の車両を検出可能である。そこで、不快要因推定部１２２は、それらの各情報に基づいて、車両Ｃ１が走行している道路が渋滞であるか否かを判定する。例えば、車両Ｃ１の前方の画像、ＬｉＤＡＲ、ＲＡＤＡＲ、Ｓｏｎａｒ等の各センサからの検出情報等に基づいて、車両Ｃ１の前方に多数の車両が並んで停止又は低速走行していることが検出された場合には、車両Ｃ１が走行している道路が渋滞であると判定可能である。また、例えば、ユーザＵ１が「混んでるなぁ」等の声を連続して発しているような場合には、車両Ｃ１が走行している道路が渋滞であると判定可能である。
【0114】
そして、不快要因推定部１２２は、車両Ｃ１が走行している道路が渋滞である場合には、ユーザＵ１の不快要因が渋滞（又は混雑）であると推定することが可能である。なお、渋滞情報については、通信部１４０を介して他の機器（例えば、道路情報提供サーバ）から取得可能である。また、このように取得された渋滞情報と、位置情報取得センサ１０２により取得された車両Ｃ１の現在地とに基づいて、車両Ｃ１の周囲の渋滞状況を把握可能である。
【0115】
また、例えば、カメラ１０１により取得されたユーザＵ１の画像（例えばユーザＵ１の顔を含む画像、ユーザＵ１の全身又はその一部を含む画像）、センサ類１０４に含まれる各種センサ（例えば、温度センサ、非接触温度センサ）、通信部１４０を介して取得可能な天候情報等に基づいて、車両Ｃ１の内部の温度を検出可能である。そこで、不快要因推定部１２２は、それらの各情報に基づいて、車両Ｃ１の内部の温度が暑いか否かを判定する。そして、不快要因推定部１２２は、車両Ｃ１の内部の温度が、ユーザＵ１が暑いと感じる以上の温度である場合には、ユーザＵ１の不快要因が車内の暑さであると推定することが可能である。なお、天候情報については、通信部１４０を介して他の機器（例えば、気象情報提供サーバ）から取得可能である。また、このように取得された天候情報と、位置情報取得センサ１０２により取得された車両Ｃ１の現在地とに基づいて、車両Ｃ１の周囲の温度状況を把握可能である。また、温度センサは、車両Ｃ１の内部の温度を検出可能である。また、非接触温度センサは、ユーザＵ１の体温（例えば、顔の表面温度）を取得可能である。
【0116】
また、ユーザＵ１の顔を含む画像に基づいて、ユーザＵ１の顔の表情を検出可能である。そこで、顔の表情に基づいて、車両Ｃ１の内部の温度が暑いか否かを判定可能である。例えば、ユーザＵ１の顔に汗が流れている場合、ユーザＵ１が顔の汗を拭く動作をしている場合、ユーザＵ１の顔が赤くなっている場合等には、車両Ｃ１の内部の温度が暑いと判定可能である。
【0117】
また、ユーザＵ１の全身又はその一部を含む画像に基づいて、ユーザＵ１が装着している服、ユーザＵ１の動作を検出可能である。そこで、ユーザＵ１が装着している服、ユーザＵ１の動作に基づいて、車両Ｃ１の内部の温度が暑いか否かを判定可能である。例えば、ユーザＵ１が薄着である場合、ユーザＵ１が顔を扇ぐ動作をしている場合、ユーザＵ１がエアコンの操作を頻繁にしている場合等には、車両Ｃ１の内部の温度が暑いと判定可能である。
【0118】
例えば、カメラ１０１により取得された車両Ｃ１の周囲の画像（例えば車両Ｃ１の前方を含む周囲の画像、ユーザＵ１の顔を含む画像）、センサ類１０４に含まれる各種センサ（例えば、ＬｉＤＡＲ、ＲＡＤＡＲ、Ｓｏｎａｒ）等に基づいて、車両Ｃ１の後方から車両Ｃ１の前方への他車の急な割込みを検出可能である。そこで、不快要因推定部１２２は、それらの各情報に基づいて、車両Ｃ１の後方から車両Ｃ１の前方への他車の急な割込みがあったか否かを判定する。そして、不快要因推定部１２２は、車両Ｃ１の後方から車両Ｃ１の前方への他車の急な割込みがあった場合には、ユーザＵ１の不快要因がその割込みであると推定することが可能である。
【0119】
例えば、ユーザＵ１の顔を含む画像に基づいて、ユーザＵ１の顔の表情を検出可能である。そこで、顔の表情に基づいて、予想外の行動（例えば、急な割込み）が起こったか否かを判定可能である。例えば、予想外の行動が起こったことに対する、びっくりしたような表情となっている場合等には、予想外の行動が発生したと判定可能である。
【0120】
例えば、カメラ１０１により取得された車両Ｃ１の周囲の画像（例えば車両Ｃ１の前方の画像）、音声入力部１０３により取得されたユーザＵ１の声、センサ類１０４に含まれる各種センサ（例えば、ＬｉＤＡＲ、ＲＡＤＡＲ、Ｓｏｎａｒ、臭気センサ）等に基づいて、車両Ｃ１の周囲に存在する他の車両の排気ガスを検出可能である。そこで、不快要因推定部１２２は、それらの各情報に基づいて、車両Ｃ１の周囲に存在する他の車両の排気ガスが多いか否かを判定する。例えば、車両Ｃ１の周囲の画像、ＬｉＤＡＲ、ＲＡＤＡＲ、Ｓｏｎａｒ等の各センサからの検出情報等に基づいて、車両Ｃ１の周囲に多量の排気ガスを排出する可能性のある車両（例えば大型トラック）が存在することを検出可能である。また、例えば、車両Ｃ１の周囲に大型トラックが存在し、かつ、ユーザＵ１が「排気ガス臭い」等の声を発しているような場合には、車両Ｃ１の周囲に多量の排気ガスを排出する大型トラックが存在すると判定可能である。また、例えば、ユーザＵ１が「排気ガスくさっ」等の声を連続して発しているような場合には、車両Ｃ１の周囲に排気ガスを多量に排出する車両（例えば大型トラック）が存在すると判定可能である。
【0121】
また、臭気センサは、車両Ｃ１の内部の臭いを検出可能であるため、臭気センサの検出結果に基づいて、車両Ｃ１の周囲に排気ガスを排出する車両（例えば大型トラック）が存在すると判定可能である。また、ユーザＵ１の顔を含む画像に基づいて、ユーザＵ１の顔の表情を検出可能である。そこで、顔の表情に基づいて、ユーザＵ１が臭い顔をしているか否かを判定可能である。例えば、ユーザＵ１が釣り目となり、臭いトラックに対して怒る表情をしている場合、ユーザＵ１が臭いトラックに対して眉を顰めている場合、ユーザＵ１が鼻を摘まむような動作をしている場合、ユーザＵ１が鼻の前を手で扇ぐ動作をしている場合等には、車両Ｃ１の周囲に排気ガスを排出する大型トラックが存在すると判定可能である。
【0122】
例えば、カメラ１０１により取得されたユーザＵ１の顔の画像、音声入力部１０３により取得されたユーザＵ１の声等に基づいて、ユーザＵ１の状態を検出可能である。そこで、不快要因推定部１２２は、それらの各情報に基づいて、ユーザＵ１がエージェント機器２００を不快に感じているか否かを判定する。例えば、ユーザＵ１の顔の表情がムッとしていて、視線がエージェント機器２００の方向に向けられている場合には、ユーザＵ１がエージェント機器２００を不快に感じていると判定可能である。また、例えば、ユーザＵ１が「エージェント、何言っているんだよ」等の声を発しているような場合には、ユーザＵ１がエージェント機器２００を不快に感じていると判定可能である。
【0123】
そして、不快要因推定部１２２は、ユーザＵ１がエージェント機器２００を不快に感じている場合には、ユーザＵ１の不快要因がエージェント機器２００であると推定することが可能である。
【0124】
なお、ユーザＵ１の不快要因、又は、ユーザＵ１の周囲の状況として、複数の条件が発生することも想定される。すなわち、不快の対象が複数となることも想定される。例えば、渋滞中に車内が臭く、かつ、急な割り込みがあることも想定される。このような場合には、複数の不快要因を判定してもよく、不快の程度が高いと想定される不快要因のみを判定してもよい。
【0125】
【0126】
不快状態ＤＢ１６０は、ユーザＵ１の不快状態に関する情報を管理するためのデータベースである。具体的には、ユーザの不快度１６２と、ユーザの不快要因１６３と、ユーザの不快の特徴１６４と、ユーザの発話１６５と、ユーザの動作１６６とがパターン１６１に関連付けて不快状態ＤＢ１６０に格納される。なお、パターン１６１の「パターン１」「パターン２」は、不快状態ＤＢ１６０への格納順に付与される識別情報である。また、これらの各項目は、一例であり、他の項目を格納してもよく、これらのうちの一部を省略してもよい。
【0127】
上述したように、不快要因推定部１２２は、ユーザＵ１の不快度が第１閾値ＴＨ３以上となった場合には、その不快の要因を推定する。そして、ユーザＵ１の不快要因が推定された場合には、ＤＢ制御部１２４は、その不快要因とともに、不快要因に関連する各情報を不快状態ＤＢ１６０に格納する。例えば、ユーザＵ１の不快度（中、中－高、高）がユーザの不快度１６２に格納され、ユーザＵ１の不快要因がユーザの不快要因１６３に格納される。また、その不快要因を推定する際に用いられた特徴がユーザの不快の特徴１６４に格納され、その不快要因に対応する不快時にユーザＵ１が発した声がユーザの発話１６５に格納され、その不快要因に対応する不快時におけるユーザＵ１の動作がユーザの動作１６６に格納される。これにより、ユーザＵ１の不快時に、ユーザＵ１に応じた特徴的な不快の状態と、発話と、動作とを不快状態ＤＢ１６０に格納しておくことが可能である。
【0128】
例えば、不快要因１６３、ユーザの不快の特徴１６４、ユーザの発話１６５、ユーザの動作１６６に格納される各要素を予め準備しておき、これらの各要素のうちから選択された情報を各項目に格納してもよい。また、例えば、不快状態ＤＢ１６０に既に同等のパターン（例えば、ユーザの不快度１６２、ユーザの不快要因１６３が同一）が格納されている場合には、その同等のパターンに関連する各情報を順次更新することにより、ユーザＵ１に合わせたデータ更新が可能となる。例えば、公知の学習方法によりデータ更新をすることが可能である。このように、不快状態ＤＢ１６０は、ユーザＵ１に応じた情報を格納するユーザスペシフィックなものとなる。
【0129】
なお、ユーザ状態ＤＢ１５０、不快状態ＤＢ１６０に格納される各情報については、人工知能（ＡＩ：Artificial Intelligence）を利用して取得してもよい。例えば、ユーザＵ１の不快度が第１閾値ＴＨ３以上となった場合におけるユーザＵ１の不快状態を予め学習しておき、この学習データをユーザ状態ＤＢ１５０、不快状態ＤＢ１６０に格納することが可能である。そして、ユーザＵ１の不快度が第１閾値ＴＨ３以上となった場合にその学習データを用いて、各センサからの情報に基づいて、エージェント機器２００に実行させる共感演出の評価値を算出し、その評価値に基づいて、エージェント機器２００に共感演出を実行させることが可能である。
【0130】
【0131】
振る舞いＤＢ１７０は、エージェント機器２００に実行させる共感演出に関する情報を管理するためのデータベースである。具体的には、エージェント機器の振る舞い１７２として、エージェント機器の動作１７３、エージェント機器の発話１７４が、ユーザの不快度１７１に関連付けて振る舞いＤＢ１７０に格納される。なお、ユーザの不快度１７１の「中」「中－高」「高」は、図７、図８に示すユーザの不快度１５１、１６２に対応する。また、エージェント機器の動作１７３は、エージェント機器２００自体の動き、顔の表情の変化による動き等である。なお、これらの各項目は、一例であり、他の項目を格納してもよく、これらのうちの一部を省略してもよい。
【0132】
図９に示すように、エージェント機器２００の振る舞いを、ユーザＵ１の不快度に応じて変化させる。例えば、ユーザの不快度１７１が高くなるのに応じて（「中」→「中－高」→「高」）、エージェント機器２００の動きを大きくしたり、速くしたり、音量を大きくしたり、バリエーションを変化させたりする。このように決定された振る舞いについては、ステップＳ５１０、Ｓ５１１、Ｓ５１５、Ｓ５１６（図１４参照）の各処理で実行される。
【0133】
なお、エージェント機器の動作１７３の「プシューと湯気がたつ」については、エージェント機器２００の表示部２１０に湯気が立つような画像（例えば、怒り画像ＡＮ２（図３（Ｇ）参照））を表示することにより実現可能である。
【0134】
ここで、所定期間内にユーザＵ１の不快状態が比較的多く発生することも想定される。例えば、ユーザＵ１が車両Ｃ１に乗車して長距離ドライブをしているような場合には、渋滞、割込み、車内が暑い、等の不快状態が１日に多数発生することも想定される。このように、所定期間内にユーザＵ１の不快状態が比較的多く発生したような場合でも、ユーザＵ１の不快度が第１閾値ＴＨ３以上となる毎に、エージェント機器２００に共感演出を実行させることも考えられる。しかし、所定期間内にエージェント機器２００に共感演出を複数回実行させると、その共感演出にユーザＵ１が慣れてしまい、エージェント機器２００の振る舞いに対するユーザＵ１の関心度が低下するおそれもある。例えば、エージェント機器２００の最初の発話に対しては、ユーザＵ１がうなずく、「そうだよな」等の発話を行う等の何らかの反応が出ることが想定される。しかし、そのようなエージェント機器２００の発話が繰り返し実行された場合には、ユーザＵ１がうなずく、「そうだよな」等の発話をしなくなることも想定される。
【0135】
そこで、所定期間内にエージェント機器２００に共感演出を複数回実行させる場合には、その回数が増加する毎に、共感演出の振る舞いを変更するようにすることが好ましい。例えば、所定期間内にエージェント機器２００に共感演出を複数回実行させる場合において、その回数が増加して共感演出にユーザＵ１が慣れたと判定されたときには、エージェント機器２００に発話させず、振る舞いのみで共感演出を表現するようにする。例えば、１日で共感演出が数回（例えば、４乃至１０回程度）繰り返された場合に、共感演出にユーザＵ１が慣れたと判定することが可能である。なお、ユーザＵ１の表情、発話内容等に基づいて、共感演出にユーザＵ１が慣れたか否かを判定してもよい。
【0136】
［ユーザの不快反応に基づくエージェント機器の共感演出例］
図１０は、ユーザＵ１の不快反応に基づくエージェント機器２００の共感演出例を簡略化して示す図である。なお、ユーザの不快度が「中」の場合のユーザＵ１及びエージェント機器２００の遷移例を図１１に示す。また、ユーザの不快度が「中－高」の場合のユーザＵ１及びエージェント機器２００の遷移例を図１２に示す。また、ユーザの不快度が「高」の場合のユーザＵ１及びエージェント機器２００の遷移例を図１３に示す。
図１０は、ユーザＵ１の不快反応に基づくエージェント機器２００の共感演出例を簡略化して示す図である。なお、ユーザの不快度が「中」の場合のユーザＵ１及びエージェント機器２００の遷移例を図１１に示す。また、ユーザの不快度が「中－高」の場合のユーザＵ１及びエージェント機器２００の遷移例を図１２に示す。また、ユーザの不快度が「高」の場合のユーザＵ１及びエージェント機器２００の遷移例を図１３に示す。
【0137】
［ユーザの不快反応に共感してエージェント機器が不快反応を演出する例］
次に、ユーザＵ１の不快反応に共感してエージェント機器２００が不快反応を示す振る舞いを演出する場合の遷移例について説明する。
次に、ユーザＵ１の不快反応に共感してエージェント機器２００が不快反応を示す振る舞いを演出する場合の遷移例について説明する。
【0138】
［渋滞時にユーザが不快反応を示した場合の演出例］
図１１は、車両Ｃ１の周囲が渋滞時においてユーザＵ１が不快反応を示した場合のエージェント機器２００の遷移例を示す図である。なお、図１１（Ａ）乃至（Ｃ）には、ユーザＵ１の不快反応と同等の情報が不快状態ＤＢ１６０に格納されていない場合におけるエージェント機器２００の遷移例を示す。一方、図１１（Ａ）、（Ｄ）には、ユーザＵ１の不快反応と同等の情報が不快状態ＤＢ１６０に格納されている場合におけるエージェント機器２００の遷移例を示す。
図１１は、車両Ｃ１の周囲が渋滞時においてユーザＵ１が不快反応を示した場合のエージェント機器２００の遷移例を示す図である。なお、図１１（Ａ）乃至（Ｃ）には、ユーザＵ１の不快反応と同等の情報が不快状態ＤＢ１６０に格納されていない場合におけるエージェント機器２００の遷移例を示す。一方、図１１（Ａ）、（Ｄ）には、ユーザＵ１の不快反応と同等の情報が不快状態ＤＢ１６０に格納されている場合におけるエージェント機器２００の遷移例を示す。
【0139】
図１１（Ａ）には、車両Ｃ１が存在する道路Ｒ１の周囲において渋滞が発生している状態を示す。また、図１１（Ａ）では、ユーザＵ１の不快度が第１閾値ＴＨ３以上、第２閾値ＴＨ４未満であり、ユーザＵ１の不快要因が車両Ｃ１の周囲の渋滞である場合の例を示す。すなわち、図１１では、不快の対象がエージェント機器２００ではない場合の例を示す。
【0140】
上述したように、ユーザＵ１が不快反応を示した場合において、その不快反応と同等の情報が不快状態ＤＢ１６０に格納されているときには、不快状態ＤＢ１６０に基づいて、エージェント機器２００の振る舞いを決定することが可能である。しかし、その不快反応と同等の情報が不快状態ＤＢ１６０に格納されていない場合には、不快状態ＤＢ１６０を用いてエージェント機器２００の振る舞いを決定することができない。そこで、その不快反応と同等の情報が不快状態ＤＢ１６０に格納されていない場合には、その不快反応時におけるユーザＵ１の心理状態、ユーザＵ１の発話内容等に基づいて、エージェント機器２００の振る舞いを決定する。
【0141】
なお、同じような渋滞が発生している状態でも、その渋滞を不快に感じていない人も存在することが想定される。このように、同じような渋滞が発生している状態でも、その渋滞を不快に感じていない人は、その不快度が第１閾値ＴＨ３以上とはならない。このため、その渋滞を不快に感じていない人に対しては、図１１に示す共感演出処理は実行されない。
【0142】
上述したように、ユーザＵ１の不快反応と同等の情報が不快状態ＤＢ１６０に格納されていない場合には、ユーザＵ１の不快の対象をユーザＵ１の不快反応よりも先に予測できない。このため、図１１（Ｂ）（Ｃ）に示すように、ユーザＵ１の不快反応にエージェント機器２００が共感する共感演出を実行する。
【0143】
一方、ユーザＵ１の不快反応と同等の情報が不快状態ＤＢ１６０に格納されている場合には、不快状態ＤＢ１６０に基づいて、ユーザＵ１の不快の対象をユーザＵ１の不快反応よりも先に予測できる、このため、図１１（Ｄ）に示すように、ユーザＵ１の不快反応よりも速くエージェント機器２００が不快を示す共感演出を実行可能である。例えば、ユーザＵ１の不快反応として、周囲の渋滞に対する不快を示す声を発する前に、エージェント機器２００が不快を示す共感演出を実行可能である。
【0144】
図１１（Ｂ）には、車両Ｃ１の周囲の渋滞について、ユーザＵ１が発話と動きにより不快反応を示した場合の例を示す。図１１（Ｂ）では、不快反応として「混んでいるなぁ」の声Ｓ１１がユーザＵ１から発せられ、ユーザＵ１が周囲を見渡す動作をした場合の例を示す。この場合には、不快要因推定部１２２は、上述したように、ユーザの不快反応（「混んでいるなぁ」の声Ｓ１１、ユーザＵ１の表情、ユーザＵ１が周囲を見渡す動き（矢印Ａ１１で示す））と、ユーザＵ１の周囲の状況（渋滞）とに基づいて、ユーザＵ１の不快要因を推定することが可能である。なお、ユーザＵ１が周囲を見渡す動きは、例えば、矢印Ａ１１で示すように、ユーザＵ１が左右方向に顔を振ったり、目を左右方向に移動させたりする動きを意味する。このように、ユーザＵ１の不快度が第１閾値ＴＨ３以上である場合には、ユーザＵ１の不快の対象を確認することが可能である。
【0145】
図１１（Ｃ）には、車両Ｃ１の周囲の渋滞時において、ユーザＵ１の不快反応に応じてエージェント機器２００が不快反応に共感する共感演出を実行する場合の例を示す。図１１（Ｃ）では、図１０で示したように、エージェント機器２００が共感演出（不快反応）として「混んでいるね」の音声情報Ｓ１２を出力し、エージェント機器２００が周囲を見渡す動作（矢印Ａ１２で示す）をする場合の例を示す。この共感演出により、図１０に示すように、ユーザＵ１の負担感を軽減することが可能である。また、ユーザＵ１の不快状態にエージェント機器２００が共感することにより、ユーザＵ１の不快の感情を和らげることが可能となる。
【0146】
このように、車両Ｃ１の周囲において渋滞が発生し、ユーザＵ１の不快度が第１閾値ＴＨ３以上となった場合には、ユーザＵ１は略同じような不快反応を示すことが想定される。例えば、車両Ｃ１の周囲において渋滞が発生し、ユーザＵ１の不快度が第１閾値ＴＨ３以上となった場合には、図１１（Ａ）乃至（Ｃ）に示すような流れが繰り返し実行されると想定される。このように、ユーザＵ１の不快度が第１閾値ＴＨ３以上となり、かつ、ユーザＵ１の不快要因が同一（又は略同一）である場合には、同じパターンが繰り返し実行されるため、そのパターンを学習することが可能である。
【0147】
そこで、ユーザＵ１の不快度が第１閾値ＴＨ３以上となった場合には、その不快要因と、その不快の特徴と、その不快時における発話とを関連付けて不快状態ＤＢ１６０に格納しておく。そして、同一条件で同じパターンが繰り返し実行された場合には、そのパターンに基づいてユーザＵ１の不快反応に関連する演出をエージェント機器２００が実行する。例えば、車両Ｃ１の周囲において渋滞が発生した場合において、同じパターンの発話、動作が所定回（例えば数回乃至数十回）以上、ユーザＵ１により実行されたときには、そのユーザＵ１の発話、動作を、エージェント機器２００がユーザＵ１の不快反応として真似する演出を実行する。また、例えば、車両Ｃ１の周囲において渋滞が発生した場合において、同じパターンの発話、動作が所定回（例えば数回乃至数十回）以上、ユーザＵ１により実行されたときには、それらの内容が不快状態ＤＢ１６０に格納される。
【0148】
このように、ユーザＵ１の不快状態が学習されている状態になった場合において、ユーザＵ１が不快状態となったときには、ユーザＵ１が不快反応を示す前に、その不快反応をエージェント機器２００が予測して実行してしまう。例えば、図１１（Ｄ）に示すように、車両Ｃ１の周囲における渋滞によりユーザＵ１が不快状態となったときには、「混んでいるなぁ」とユーザＵ１が言う前に、それに先んじて、エージェント機器２００が「混んでいるね」と予測して言ってしまう。この場合には、ユーザＵ１は、エージェント機器２００も渋滞で混雑していることをわかっているんだね、と感じ、エージェント機器２００に対して仲間意識を感じることになる。また、ユーザＵ１は、車両Ｃ１の周囲における渋滞に対するイライラがある状態で、エージェント機器２００に共感してもらうことで、心身のリラックスが得られ、ストレスが抑制される。
【0149】
図１１（Ｄ）には、車両Ｃ１の周囲の渋滞時において、ユーザＵ１の不快反応と同等の情報が不快状態ＤＢ１６０に格納されている場合に、エージェント機器２００が不快反応に共感する共感演出を実行する場合の例を示す。上述したように、ＤＢ制御部１２４は、ユーザの不快度１６２及びユーザの不快要因１６３（又は、ユーザの不快の特徴１６４とともに）に基づいて、パターン１６１からパターン１（図８参照）を抽出することが可能である。この場合には、ＤＢ制御部１２４は、パターン１に関連付けられているユーザの発話１６５の内容「混んでいるなぁ」と、ユーザの動作１６６の内容「周囲を見渡す」とをエージェント制御部１２５に出力する。そして、エージェント制御部１２５は、ユーザの発話１６５の内容「混んでいるなぁ」に基づいて、音声情報Ｓ１３「混んでいるね」をエージェント機器２００に出力させる。また、エージェント制御部１２５は、ユーザの動作１６６の内容「周囲を見渡す」に基づいて、周囲を見渡す動作（矢印Ａ１３で示す）をエージェント機器２００に実行させる。このように、ユーザＵ１の動き及び発話を合わせて共感することにより、ユーザＵ１は、エージェント機器２００に対して親近感、仲間意識を感じ、エージェント機器２００に愛着を感じることになる。
【0150】
なお、エージェント機器２００が共感演出として発する言葉は、ユーザＵ１が発すると予測される言葉と同じ言葉（又は、略同じ言葉、同じニュアンスの言葉）とすることが好ましい。すなわち、ユーザＵ１がいつも発している言葉と同じ言葉をエージェント機器２００が発した方が、自分の考えをエージェント機器２００が言ってくれたと、ユーザＵ１が感じる可能性が高い。これにより、ユーザＵ１が共感してくれる可能性を高めることができる。
【0151】
ただし、エージェント機器２００が共感演出として発する声として、ユーザＵ１が発する声と同じ声（又は、略同じ声）を発すると、ユーザＵ１が気持ち悪いと感じる可能性も想定される。そこで、エージェント機器２００が共感演出として発する声は、エージェント機器２００が通常発している声とすることが好ましい。
【0152】
これらの共感演出により、図１０に示すように、負担感を軽減することが可能である。また、ユーザＵ１の不快状態にエージェント機器２００が共感することにより、ユーザＵ１の不快の感情を和らげることが可能となる。
【0153】
図１１（Ａ）乃至（Ｃ）に示すように、ユーザＵ１の不快度が急激に上がり、ユーザＵ１がその不快について発話をしたような場合には、その発話に共感してエージェント機器２００が発話することにより、ユーザＵ１の不快の感情を和らげることが可能である。また、図１１（Ａ）（Ｄ）に示すように、ユーザＵ１の不快状態に相当する情報が不快状態ＤＢ１６０に存在する場合には、ユーザＵ１がその不快について発話をする前に、その不快状態に共感してエージェント機器２００が発話することにより、ユーザＵ１の不快の感情をさらに和らげることが可能である。これらにより、ユーザＵ１の不快度を下降させることが可能である。
【0154】
なお、渋滞が長時間継続し、かつ、ユーザＵ１の不快度が第１閾値ＴＨ３以上の状態が継続している場合には、所定時間をおいて、上述した共感演出処理を再度実行してもよい。ただし、同じ条件（渋滞）で短い間隔で連続して同じ振る舞いをして共感した場合には、エージェント機器２００が何も考えていないロボットのような印象を与えてしまうおそれがある。この場合には、連続して同じ振る舞いをするエージェント機器２００に対して、何も考えていないだろうと、ユーザＵ１が感じ、ユーザＵ１の不快の感情を和らげることが困難となることも想定される。そこで、同じ条件（渋滞）で所定時間をおいて共感演出を実行する場合には、異なる振る舞いをして共感することが好ましい。例えば、渋滞中に所定時間が経過した後に共感演出を実行する場合には、「まだ混んでいるね」の音声をエージェント機器２００が発してもよい。また、同じ条件（渋滞）で同じような振る舞いをする場合には、比較的長い時間をおいて実行することが好ましい。
【0155】
このように、図１１（Ａ）乃至（Ｃ）に示す流れがある程度実施された後に、図１１（Ａ）（Ｄ）に示す流れを実行可能となる。ただし、一般的な学習データを不快状態ＤＢ１６０に事前に格納しておくことにより、一般的なユーザの不快反応に相当する共感演出は可能となる。しかし、ユーザＵ１の共感をより得るためには、ユーザＵ１のパーソナリティの学習を実行し、ユーザＵ１の個人の学習データを生成して、ユーザＵ１の個人の学習データを用いた共感演出を実行することが重要となる。
【0156】
［解決方法が存在する場合のエージェント機器の動作例］
以上では、ユーザＵ１の不快度が高い場合に、その不快状態に共感する場合の例を示した。ここで、その不快状態を解決するための解決方法が存在することも想定される。例えば、図１１に示すように、車両Ｃ１が渋滞中である場合には、その渋滞を回避する渋滞回避ルートを検索し、渋滞回避ルートが存在する場合には、その渋滞回避ルートをユーザＵ１に提案し、その提案をユーザＵ１が受け入れることにより、渋滞を回避することが可能となる。
以上では、ユーザＵ１の不快度が高い場合に、その不快状態に共感する場合の例を示した。ここで、その不快状態を解決するための解決方法が存在することも想定される。例えば、図１１に示すように、車両Ｃ１が渋滞中である場合には、その渋滞を回避する渋滞回避ルートを検索し、渋滞回避ルートが存在する場合には、その渋滞回避ルートをユーザＵ１に提案し、その提案をユーザＵ１が受け入れることにより、渋滞を回避することが可能となる。
【0157】
そこで、車両Ｃ１が渋滞中である場合において、その渋滞を回避する渋滞回避ルートが存在するときには、エージェント制御部１２５は、エージェント機器２００に「ここでリルートすると回避できますがどうしますか」の音声情報を出力させる。この音声情報の出力タイミングは、上述した共感演出の実行後でもよく、上述した共感演出の実行前でもよい。
【0158】
なお、ユーザＵ１が「お願い」の声を発した場合には、エージェント制御部１２５は、エージェント機器２００（又はナビゲーション装置）を用いて渋滞回避ルートを提供する。一方、ユーザＵ１が「このままでよいよ」の声を発した場合には、エージェント制御部１２５は、上述した共感処理を繰り返しエージェント機器２００に実行させる。
【0159】
また、エージェント制御部１２５は、解決方法の提案に対するユーザＵ１の反応に対して「ＯＫ」等の音声情報を出力して、その後の処理を継続して実行する。
【0160】
［前方の割込み車両にユーザが不快反応を示した場合の演出例１］
図１２は、車両Ｃ１の前方に他の車両が急な割込みをした場合においてユーザＵ１が不快反応を示した場合のエージェント機器２００の遷移例を示す図である。なお、図１２（Ａ）乃至（Ｃ）には、ユーザＵ１の不快反応と同等の情報が不快状態ＤＢ１６０に格納されていない場合におけるエージェント機器２００の遷移例を示す。一方、図１２（Ａ）、（Ｄ）には、ユーザＵ１の不快反応と同等の情報が不快状態ＤＢ１６０に格納されている場合におけるエージェント機器２００の遷移例を示す。
図１２は、車両Ｃ１の前方に他の車両が急な割込みをした場合においてユーザＵ１が不快反応を示した場合のエージェント機器２００の遷移例を示す図である。なお、図１２（Ａ）乃至（Ｃ）には、ユーザＵ１の不快反応と同等の情報が不快状態ＤＢ１６０に格納されていない場合におけるエージェント機器２００の遷移例を示す。一方、図１２（Ａ）、（Ｄ）には、ユーザＵ１の不快反応と同等の情報が不快状態ＤＢ１６０に格納されている場合におけるエージェント機器２００の遷移例を示す。
【0161】
図１２（Ａ）には、車両Ｃ１が存在する道路Ｒ２において前方の車両Ｃ２が急な割り込みをしようとしている状態を示す。例えば、道路Ｒ２が少し混んでいるような状態で、前方の車両Ｃ２が予想外の行動（急な割込み）をしたことに対して、ユーザＵ１が比較的高い不快反応を示した場合の例を示す。また、図１２（Ａ）では、ユーザＵ１の不快度が第２閾値ＴＨ４付近であり、ユーザＵ１の不快要因が前方での他車の急な割込みである場合の例を示す。すなわち、図１２（Ａ）では、不快の対象がエージェント機器２００ではない場合の例を示す。
【0162】
上述したように、ユーザＵ１の不快反応と同等の情報が不快状態ＤＢ１６０に格納されていない場合には、ユーザＵ１の不快の対象をユーザＵ１の不快反応よりも先に予測できない。このため、図１２（Ｂ）（Ｃ）に示すように、ユーザＵ１の不快反応にエージェント機器２００が共感する共感演出を実行する。
【0163】
一方、ユーザＵ１の不快反応と同等の情報が不快状態ＤＢ１６０に格納されている場合には、不快状態ＤＢ１６０に基づいて、ユーザＵ１の不快の対象をユーザＵ１の不快反応よりも先に予測できる。このため、図１２（Ｄ）に示すように、ユーザＵ１の不快反応よりも速くエージェント機器２００が不快を示す共感演出を実行可能である。例えば、ユーザＵ１の不快反応として、前方での他車の急な割込みに対する不快を示す声を発する前に、エージェント機器２００が不快を示す共感演出を実行可能である。
【0164】
図１２（Ｂ）には、前方の車両Ｃ２の急な割込みについて、ユーザＵ１が発話と動きにより不快反応を示した場合の例を示す。図１２（Ｂ）では、不快反応として「うわっ」の声Ｓ２１がユーザＵ１から発せられ、ユーザＵ１がびくっとして車両Ｃ２（不快の対象）の方向を向く動作をした場合の例を示す。この場合には、不快要因推定部１２２は、上述したように、ユーザの不快反応（「うわっ」の声Ｓ２１、ユーザＵ１の表情、ユーザＵ１がびくっとして車両Ｃ２（不快の対象）の方向を向く動き（矢印Ａ２１で示す））と、ユーザＵ１の周囲の状況（車両Ｃ２の急な割込み）とに基づいて、ユーザＵ１の不快要因を推定することが可能である。なお、ユーザＵ１がびくっとして車両Ｃ２（不快の対象）の方向を向く動きは、例えば、矢印Ａ２１で示すように、ユーザＵ１が車両Ｃ２の方向に顔を向けたり、瞳孔が開いたりする動きを意味する。このように、ユーザＵ１の不快度が第１閾値ＴＨ３以上である場合には、ユーザＵ１の不快の対象を確認することが可能である。
【0165】
図１２（Ｃ）には、前方の車両Ｃ２の急な割込み時において、ユーザＵ１の不快反応に応じてエージェント機器２００が不快反応に共感する共感演出を実行する場合の例を示す。図１２（Ｃ）では、図１０で示したように、エージェント機器２００が共感演出（不快反応）として「あっ、この野郎！」の音声情報Ｓ２２を出力し、エージェント機器２００がびくっとして車両Ｃ２（不快の対象）の方向を向く動作（矢印Ａ２２で示す）をする場合の例を示す。
【0166】
上述したように、図１２に示す例は、道路Ｒ２が少し混んでいるような状態で、前方の車両Ｃ２が予想外の行動（急な割込み）をしたことに対して、ユーザＵ１が比較的高い不快反応を示した場合の例である。このため、図１２（Ｂ）で示したユーザＵ１の不快反応よりも高い不快時の声、動作を真似して共感するようにする。このように、ユーザＵ１の不快度の高さに基づいて、エージェント機器２００に実行させる共感演出を適宜変更することが可能である。この共感演出により、図１０に示すように、ユーザＵ１の負担感を軽減することが可能である。また、ユーザＵ１の不快状態にエージェント機器２００が共感することにより、ユーザＵ１の不快の感情を和らげることが可能となる。
【0167】
このように、前方の車両Ｃ２の急な割込みが発生し、ユーザＵ１の不快度が第２閾値ＴＨ４付近となった場合には、ユーザＵ１は略同じような不快反応を示すことが想定される。例えば、前方の車両Ｃ２の急な割込みが発生し、ユーザＵ１の不快度が第２閾値ＴＨ４付近となった場合には、図１２（Ａ）乃至（Ｃ）に示すような流れが繰り返し実行されると想定される。このように、前方の車両Ｃ２の急な割込みが発生した場合において、同じパターンの発話、動作が所定回（例えば数回乃至数十回）以上、ユーザＵ１により実行された場合には、図１１に示す例と同様に、それらの内容が不快状態ＤＢ１６０に格納される。
【0168】
また、図１１に示す例と同様に、ユーザＵ１の不快状態が学習されている状態になった場合において、ユーザＵ１が不快状態となったときには、ユーザＵ１が不快反応を示す前に、その不快反応をエージェント機器２００が予測して実行してしまう。例えば、前方の車両Ｃ２の急な割込みによりユーザＵ１が不快状態となったときには、「うわっ」とユーザＵ１が言う前に、それに先んじて、エージェント機器２００が「うわっ」と予測して言ってしまう。この場合には、ユーザＵ１は、エージェント機器２００も前方の車両Ｃ２の急な割込みでびっくりしていることをわかっているんだね、と感じ、エージェント機器２００に対して仲間意識を感じることになる。また、ユーザＵ１は、前方の車両Ｃ２の急な割込みに対するイライラがある状態で、エージェント機器２００に共感してもらうことで、心身のリラックスが得られ、ストレスが抑制される。
【0169】
図１２（Ｄ）には、前方の車両Ｃ２の急な割込み時において、ユーザＵ１の不快反応と同等の情報が不快状態ＤＢ１６０に格納されている場合に、エージェント機器２００が不快反応に共感する共感演出を実行する場合の例を示す。上述したように、ＤＢ制御部１２４は、ユーザの不快度１６２及びユーザの不快要因１６３（又は、ユーザの不快の特徴１６４とともに）に基づいて、パターン１６１からパターン２（図８参照）を抽出することが可能である。この場合には、ＤＢ制御部１２４は、パターン２に関連付けられているユーザの発話１６５の内容「うぁっ」と、ユーザの動作１６６の内容「不快対象に向きを変える」とをエージェント制御部１２５に出力する。そして、エージェント制御部１２５は、ユーザの発話１６５の内容「うぁっ」に基づいて、音声情報Ｓ２３「うぁっ」をエージェント機器２００に出力させる。また、エージェント制御部１２５は、ユーザの動作１６６の内容「不快対象に向きを変える」に基づいて、車両Ｃ２（不快の対象）の方向を向く動作（矢印Ａ２３で示す）をエージェント機器２００に実行させる。このように、ユーザＵ１の動き及び発話を合わせて共感することにより、ユーザＵ１は、エージェント機器２００に対して親近感、仲間意識を感じ、エージェント機器２００に愛着を感じることになる。
【0170】
これらの共感演出により、図１０に示すように、負担感を軽減することが可能である。また、ユーザＵ１の不快状態にエージェント機器２００が共感することにより、ユーザＵ１の不快の感情を和らげることが可能となる。
【0171】
このように、急な割込みの場合の一連の流れの中で、ワンテンポ速くエージェント機器２００がユーザＵ１の発話を真似して怒るようにする。例えば、ユーザＵ１が特定のキーワード「うぁっ」を出す直前のタイミングで、エージェント機器２００がそのキーワード「うぁっ」を発するようにする。
【0172】
［前方の割込み車両にユーザが不快反応を示した場合の演出例２］
図１３は、車両Ｃ１の前方に他の車両が急な割込みをした場合においてユーザＵ１が不快反応を示した場合のエージェント機器２００の遷移例を示す図である。なお、図１３に示す例は、図１２に示す例と同様に、車両Ｃ１の前方に車両Ｃ２が急な割り込みをする場合の例を示す。ただし、図１３に示す例は、前方の車両Ｃ２の急な割り込みに対して、ユーザＵ１が怒り、ユーザＵ１の不快度が第２閾値ＴＨ４以上となる場合の例を示す。例えば、車両Ｃ１の前方を走行している車両Ｃ３と車両Ｃ１との間隔が短く、その短い隙間に車両Ｃ２がすっと入ってくるような状態が想定される。このように、図１３では、前方で急な割り込みをする車両Ｃ２の状態と、ユーザＵ１の心理状態、表情、動き等が、図１２に示す例とは異なる場合の例を示す。なお、これら以外については、図１２に示す例と同様であるため、図１２と共通する部分については、説明を省略する。
図１３は、車両Ｃ１の前方に他の車両が急な割込みをした場合においてユーザＵ１が不快反応を示した場合のエージェント機器２００の遷移例を示す図である。なお、図１３に示す例は、図１２に示す例と同様に、車両Ｃ１の前方に車両Ｃ２が急な割り込みをする場合の例を示す。ただし、図１３に示す例は、前方の車両Ｃ２の急な割り込みに対して、ユーザＵ１が怒り、ユーザＵ１の不快度が第２閾値ＴＨ４以上となる場合の例を示す。例えば、車両Ｃ１の前方を走行している車両Ｃ３と車両Ｃ１との間隔が短く、その短い隙間に車両Ｃ２がすっと入ってくるような状態が想定される。このように、図１３では、前方で急な割り込みをする車両Ｃ２の状態と、ユーザＵ１の心理状態、表情、動き等が、図１２に示す例とは異なる場合の例を示す。なお、これら以外については、図１２に示す例と同様であるため、図１２と共通する部分については、説明を省略する。
【0173】
図１３（Ａ）には、車両Ｃ１が存在する道路Ｒ２において前方の車両Ｃ２が急な割り込みをしようとしている状態を示す。また、図１３（Ａ）では、ユーザＵ１の不快度が第２閾値ＴＨ４以上であり、ユーザＵ１の不快要因が前方での他車の急な割込みである場合の例を示す。すなわち、図１３（Ａ）では、不快の対象がエージェント機器２００ではない場合の例を示す。
【0174】
図１３（Ｂ）には、前方の車両Ｃ２の急な割込みについて、ユーザＵ１が発話と動きにより不快反応を示した場合の例を示す。図１３（Ｂ）では、不快反応として強い怒りを示す「急に入ってくるなよ！」の声Ｓ３１がユーザＵ１から発せられ、ユーザＵ１が怒りで車両Ｃ２（不快の対象）の方向を向く動作をした場合の例を示す。この場合には、ユーザＵ１の動作の動きが速くなるとともに大きくなる。
【0175】
不快要因推定部１２２は、上述したように、ユーザの不快反応（「急に入ってくるなよ！」の声Ｓ３１、ユーザＵ１の表情、ユーザＵ１が怒りで車両Ｃ２（不快の対象）の方向を向く動き（矢印Ａ３１で示す））と、ユーザＵ１の周囲の状況（車両Ｃ２の急な割込み）とに基づいて、ユーザＵ１の不快要因を推定することが可能である。なお、ユーザＵ１が怒りで車両Ｃ２（不快の対象）の方向を向く動きは、例えば、矢印Ａ３１で示すように、ユーザＵ１が車両Ｃ２の方向に顔を向けたり、目が吊りあがったりする動きを意味する。また、ユーザＵ１が怒りによりユーザＵ１の顔の表面温度が高くなる。このように、ユーザＵ１の不快度が第２閾値ＴＨ４以上である場合には、ユーザＵ１の不快の対象を確認することが可能である。
【0176】
図１３（Ｃ）には、前方の車両Ｃ２の急な割込み時において、ユーザＵ１の不快反応に応じてエージェント機器２００が不快反応に共感する共感演出を実行する場合の例を示す。図１３（Ｃ）では、図１０で示したように、エージェント機器２００が共感演出（不快反応）として、ユーザＵ１の怒りよりも強い怒りを示す「ふざけるな！邪魔だ！」の音声情報Ｓ３２を出力し、エージェント機器２００が怒りで車両Ｃ２（不快の対象）の方向を向く動作（矢印Ａ２２で示す）をする場合の例を示す。また、エージェント機器２００の後頭部に怒りを示す怒り画像ＡＮ３を表示させる。この共感演出により、図１０に示すように、ユーザＵ１の負担感を軽減することが可能である。また、ユーザＵ１の不快状態にエージェント機器２００が共感することにより、ユーザＵ１の不快の感情を和らげることが可能となる。
【0177】
このように、前方の車両Ｃ２の急な割込みが発生し、ユーザＵ１の不快度が第２閾値ＴＨ４以上となった場合には、ユーザＵ１は略同じような不快反応を示すことが想定される。例えば、前方の車両Ｃ２の急な割込みが発生し、ユーザＵ１の不快度が第２閾値ＴＨ４以上となった場合には、図１３（Ａ）乃至（Ｃ）に示すような流れが繰り返し実行されると想定される。このように、前方の車両Ｃ２の急な割込みが発生した場合において、同じパターンの発話、動作が所定回（例えば数回乃至数十回）以上、ユーザＵ１により実行された場合には、図１２に示す例と同様に、それらの内容が不快状態ＤＢ１６０に格納される。
【0178】
また、図１２に示す例と同様に、ユーザＵ１の不快状態が学習されている状態になった場合において、ユーザＵ１が不快状態となったときには、ユーザＵ１が怒りの不快反応を示す前に、その怒りの不快反応をエージェント機器２００が予測して実行してしまう。例えば、前方の車両Ｃ２の急な割込みによりユーザＵ１が不快状態となったときには、「急に入ってくるなよ！」とユーザＵ１が言う前に、それに先んじて、エージェント機器２００が「急に入ってくるなよ！」と予測して言ってしまう。この場合には、ユーザＵ１は、エージェント機器２００も前方の車両Ｃ２の急な割込みで怒っていることをわかっているんだね、と感じ、エージェント機器２００に対して仲間意識を感じることになる。また、ユーザＵ１は、前方の車両Ｃ２の急な割込みに対するイライラがある状態で、エージェント機器２００に共感してもらうことで、心身のリラックスが得られ、ストレスが抑制される。
【0179】
図１３（Ｄ）には、前方の車両Ｃ２の急な割込み時において、ユーザＵ１の怒りの不快反応と同等の情報が不快状態ＤＢ１６０に格納されている場合に、エージェント機器２００が怒りの不快反応に共感する共感演出を実行する場合の例を示す。上述したように、ＤＢ制御部１２４は、ユーザの不快度１６２及びユーザの不快要因１６３（又は、ユーザの不快の特徴１６４とともに）に基づいて、パターン１６１からパターン３（図８参照）を抽出することが可能である。この場合には、ＤＢ制御部１２４は、パターン３に関連付けられているユーザの発話１６５の内容「急に入ってくるなよ！」と、ユーザの動作１６６の内容「不快対象に向きを変える、動きが速く大きい、怒りの表情」とをエージェント制御部１２５に出力する。そして、エージェント制御部１２５は、ユーザの発話１６５の内容「急に入ってくるなよ！」に基づいて、音声情報Ｓ３３「急に入ってくるなよ！」をエージェント機器２００に出力させる。また、エージェント制御部１２５は、ユーザの動作１６６の内容「不快対象に向きを変える、動きが速く大きい、怒りの表情」に基づいて、車両Ｃ２（不快の対象）の方向を向く動作（矢印Ａ３３で示す）をエージェント機器２００に実行させる。また、エージェント機器２００の後頭部に怒りを示す怒り画像ＡＮ４を表示させる。このように、ユーザＵ１の動き及び発話を合わせて共感することにより、ユーザＵ１は、エージェント機器２００に対して親近感、仲間意識を感じ、エージェント機器２００に愛着を感じることになる。
【0180】
図１３（Ｃ）に示すように、ユーザＵ１の怒りよりも強い怒りをエージェント機器２００が実行するようにする。また、図１３（Ｄ）に示すように、ユーザＵ１の怒りよりも速く怒りをエージェント機器２００が実行するようにする。これにより、ユーザＵ１の怒りの対象をエージェント機器２００が共有しているようにユーザＵ１に感じさせることが可能である。これにより、ユーザＵ１の怒りの負担感を軽減させることが可能である。また、ユーザＵ１がエージェント機器２００の怒る振る舞いを見て冷静になることも想定される。これにより、ユーザＵ１の不快の感情を和らげることが可能である。
【0181】
例えば、図１３（Ｃ）（Ｄ）に示すように、ユーザＵ１の怒りにエージェント機器２００が共感してエージェント機器２００が怒る振る舞いをすることにより、ユーザＵ１が共感して「そうだよな！」等の声を発することも想定される。これにより、ユーザＵ１の不快の感情を和らげることが可能である。
【0182】
このように、急な割込みの場合の一連の流れの中で、ワンテンポ速くエージェント機器２００がユーザＵ１の発話を真似して怒るようにする。例えば、ユーザＵ１が特定のキーワード「急に入ってくるなよ！」を出す直前のタイミングで、エージェント機器２００がそのキーワード「急に入ってくるなよ！」を発するようにする。
【0183】
ここで、一般に、他人が激しく怒っている様子を見ると、人は意外と冷静になることが多い。そこで、ユーザＵ１の怒りにエージェント機器２００が共感してエージェント機器２００が激しく怒る振る舞いをすることにより、ユーザＵ１が冷静になり「そこまではないよ」等の声を発することも想定される。
【0184】
なお、図１１乃至図１３に示す例では、ユーザＵ１の不快状態を学習をして、その不快を感じたユーザＵ１が最初に発すると想定される言葉を、エージェント機器２００が先に出すようにする。このように、ユーザＵ１は、自分が言うであろう言葉を、エージェント機器２００が先に言ってくれたことに対して、エージェント機器２００に共感すると想定される。
【0185】
［情報処理装置の動作例］
図１４は、情報処理装置１１０における共感演出処理の一例を示すフローチャートである。また、この共感演出処理は、記憶部１３０に記憶されているプログラムに基づいて制御部１２０により実行される。また、この共感演出処理は、制御周期毎に常時実行される。また、この共感演出処理では、図１乃至図１３を適宜参照して説明する。
図１４は、情報処理装置１１０における共感演出処理の一例を示すフローチャートである。また、この共感演出処理は、記憶部１３０に記憶されているプログラムに基づいて制御部１２０により実行される。また、この共感演出処理は、制御周期毎に常時実行される。また、この共感演出処理では、図１乃至図１３を適宜参照して説明する。
【0186】
ステップＳ５０１において、制御部１２０は、車両Ｃ１の周囲の状況と、ユーザＵ１とに関するセンシングを実行する。そして、制御部１２０は、センシングの確信度を算出する。具体的には、確信度判定部１２３は、各センサから取得された各情報に基づいて、センシングの確信度を算出する。例えば、図５で示したように、センシング安定度、ＣＰＵ稼働率等に基づいてセンシングの確信度を算出することが可能である。
【0187】
ステップＳ５０２において、確信度判定部１２３は、ステップＳ５０１で出力されたセンシングの確信度が基準（例えば、閾値ＴＨ１（図５（Ｂ）参照）、閾値ＴＨ２（図５（Ｃ）参照））よりも高いか否かを判定する。センシングの確信度が基準よりも高い場合には、ステップＳ５０３に進む。一方、センシングの確信度が基準よりも低い場合には、共感演出処理の動作を終了する。
【0188】
このように、センシングの確信度が高い場合には、そのセンシングに基づく制御部１２０の各処理の確信度も高いと想定される。一方、センシングの確信度が低い場合には、そのセンシングに基づく制御部１２０の各処理の確信度も低いと想定される。そこで、センシングの確信度が高い場合には、ユーザＵ１の不快状態を適切に判定可能となるため、ステップＳ５０３に進み、共感処理、謝罪処理を実行する。一方、センシングの確信度が低い場合には、ユーザＵ１の不快状態を適切に判定することが困難となるため、共感処理、謝罪処理を実行しない。このように、センシングの確信度に基づいて、共感処理、謝罪処理の要否を決定することにより、エージェント機器２００がユーザＵ１に理解できない行動をとるリスクを分岐させておくことが可能である。
【0189】
ステップＳ５０３において、不快度判定部１２１は、各センサから取得された各情報に基づいて、ユーザＵ１の不快度を推定する。例えば、図６（Ａ）で示したように、ユーザＵ１の生体情報（例えば、心拍、血脈）と、ユーザＵ１から発せられる音と、ユーザＵ１の外観（例えば、表情、動き）とに基づいて、ユーザＵ１の不快度を算出することが可能である。
【0190】
ステップＳ５０４において、不快度判定部１２１は、ステップＳ５０３で推定されたユーザＵ１の不快度が第１閾値ＴＨ３以上であるか否かを判定する。ユーザＵ１の不快度が第１閾値ＴＨ３以上である場合には、ステップＳ５０５に進む。一方、ユーザＵ１の不快度が第１閾値ＴＨ３未満である場合には、共感演出処理の動作を終了する。なお、ユーザＵ１の不快度が第１閾値ＴＨ３以上である状態が所定時間（例えば数秒乃至数分）継続したことを条件に、ステップＳ５０５に進むようにしてもよい。これにより、共感演出が頻発してユーザＵ１の信頼性を損なうことを防止することが可能である。
【0191】
ステップＳ５０５において、不快要因推定部１２２は、各センサから取得された各情報に基づいて、ユーザＵ１の不快要因を推定する。例えば、図７等で示したように、ユーザＵ１の不快要因を推定することが可能である。
【0192】
ステップＳ５０６において、不快要因推定部１２２は、ユーザＵ１の不快の対象がエージェント機器２００であるか否かを判定する。すなわち、不快要因推定部１２２は、ステップＳ５０５で推定されたユーザＵ１の不快要因がエージェント機器２００であるか、他のものであるかを判定する。ユーザＵ１の不快の対象がエージェント機器２００である場合には、ステップＳ５０７に進む。一方、ユーザＵ１の不快の対象がエージェント機器２００以外のものである場合には、ステップＳ５０８に進む。
【0193】
ステップＳ５０７において、エージェント制御部１２５は、ユーザＵ１を不快にしたことを謝罪する謝罪演出をエージェント機器２００に実行させる。例えば、図２に示すように、エージェント機器２００にユーザＵ１を不快にしたことを音声出力により謝罪させる。
【0194】
ステップＳ５０８において、ＤＢ制御部１２４は、ユーザＵ１の不快状態と同等の情報が不快状態ＤＢ１６０に存在するか否かを判定する。具体的には、ＤＢ制御部１２４は、ステップＳ５０３で推定されたユーザＵ１の不快度と、ステップＳ５０５で推定されたユーザＵ１の不快要因とに基づいて、ユーザＵ１の不快状態と同等の情報が不快状態ＤＢ１６０に存在するか否かを判定する。例えば、ユーザＵ１の不快度が「中」であり、ユーザＵ１の不快要因が「渋滞」である場合には、パターン１（図８参照）に相当するため、ユーザＵ１の不快状態と同等の情報が不快状態ＤＢ１６０に存在すると判定される。また、ユーザＵ１の不快状態と同等の情報が不快状態ＤＢ１６０に存在する場合には、ＤＢ制御部１２４は、その同等の不快情報を不快状態ＤＢ１６０から取得し、エージェント制御部１２５に出力する。そして、ステップＳ５０９に進む。一方、ユーザＵ１の不快状態と同等の情報が不快状態ＤＢ１６０に存在しない場合には、ステップＳ５１２に進む。
【0195】
例えば、車両Ｃ１が新車の場合には、ユーザＵ１に関する情報が不快状態ＤＢ１６０に格納されていない。一方、ユーザＵ１が車両Ｃ１に乗車する回数が増加するのに応じて、ユーザＵ１に関する情報が不快状態ＤＢ１６０に格納されていく。
【0196】
ステップＳ５０９において、不快度判定部１２１は、ステップＳ５０３で推定されたユーザＵ１の不快度が第２閾値ＴＨ４以上であるか否かを判定する。ユーザＵ１の不快度が第２閾値ＴＨ４以上である場合には、ステップＳ５１０に進む。一方、ユーザＵ１の不快度が第２閾値ＴＨ４未満である場合には、ステップＳ５１１に進む。
【0197】
ステップＳ５１０において、エージェント制御部１２５は、不快度が高いユーザＵ１がその不快に関する発話をする前に、ユーザＵ１が示すと想定される不快反応と同等以上の反応をエージェント機器２００に実行させる。具体的には、エージェント制御部１２５は、ＤＢ制御部１２４から出力された不快情報（不快状態ＤＢ１６０の不快情報）に基づいて、ユーザＵ１が示すと想定される不快反応と同等以上の反応をエージェント機器２００に実行させる。例えば、図１３（Ｄ）に示すように、音声情報Ｓ３３「急に入ってくるなよ！」がエージェント機器２００から出力され、車両Ｃ２（不快の対象）の方向を向く動作（矢印Ａ３３で示す）がエージェント機器２００により実行され、エージェント機器２００の後頭部に怒りを示す怒り画像ＡＮ４が表示される。
【0198】
ステップＳ５１１において、エージェント制御部１２５は、不快度が高いユーザＵ１がその不快に関する発話をする前に、ユーザＵ１が示すと想定される不快反応と同等未満の反応をエージェント機器２００に実行させる。具体的には、エージェント制御部１２５は、ＤＢ制御部１２４から出力された不快情報（不快状態ＤＢ１６０の不快情報）に基づいて、ユーザＵ１が示すと想定される不快反応と同等未満の反応をエージェント機器２００に実行させる。例えば、図１１（Ｄ）に示すように、音声情報Ｓ１３「混んでいるね」がエージェント機器２００から出力され、周囲を見渡す動作（矢印Ａ１３で示す）がエージェント機器２００により実行される。
【0199】
このように、ステップＳ５１０では、不快反応と同等以上の反応をエージェント機器２００に実行させ、ステップＳ５１０では、不快反応と同等未満の反応をエージェント機器２００に実行させる。この場合に、不快状態ＤＢ１６０に格納されている不快情報に基づいて、不快反応と同等以上の反応、又は、不快反応と同等未満の反応を決定してもよく、これらの反応を振る舞いＤＢ１７０（図９参照）に基づいて修正してもよい。例えば、不快反応と同等未満の反応として「あーびっくりした」等のマイルドな感じを実現することが可能である。また、比較的低い音量に修正してマイルドな感じを実現することが可能である。一方、不快反応と同等以上の反応として「この野郎」「入ってくるんじゃねえよ」等のけんか腰の感じ、怒っている感じを実現することが可能である。また、比較的高い音量に修正してけんか腰の感じ、怒っている感じを実現することが可能である。また、エージェント機器２００の表情を激しくさせたり（例えば、真っ赤にする）、目を吊り上げたり、湯気が出る演出を実行したりしてもよい。このように、不快反応と同等以上の反応として、ユーザＵ１よりもさらに激しいシチュエーションを用意しておき、実現することが可能である。
【0200】
ステップＳ５１２において、不快度判定部１２１は、ステップＳ５０５で推定されたユーザＵ１の不快要因となる不快の対象に、ユーザＵ１が不快の声を発したか否かを判定する。例えば、図１１（Ｂ）に示すように、不快の対象が渋滞である場合において、渋滞に対して「混んでいるなぁ」とユーザＵ１が発したときには、不快の対象にユーザＵ１が不快の声を発したと判定される。また、例えば、図１２（Ｂ）、図１３（Ｂ）に示すように、不快の対象が車両の急な割込みである場合において、その割込みをした車両に対して「うわっ」「急に入ってくるなよ」とユーザＵ１が発したときには、不快の対象にユーザＵ１が不快の声を発したと判定される。不快の対象にユーザＵ１が不快の声を発した場合には、ステップＳ５１３に進む。一方、不快の対象にユーザＵ１が不快の声を発していない場合には、ユーザＵ１の不快反応に応じた共感演出を実行できないため、共感演出処理の動作を終了する。なお、この判定処理については、所定時間（例えば、数秒程度）繰り返し実行してもよい。
【0201】
ステップＳ５１３において、ＤＢ制御部１２４は、ステップＳ５０３で推定されたユーザＵ１の不快度と、ステップＳ５０５で推定されたユーザＵ１の不快要因と、ステップＳ５１２で判定されたユーザＵ１の不快の声とを関連付けて不快状態ＤＢ１６０に格納する。例えば、図８に示すように、不快状態ＤＢ１６０に各情報が格納される。
【0202】
ステップＳ５１４において、不快度判定部１２１は、ステップＳ５０３で推定されたユーザＵ１の不快度が第２閾値ＴＨ４以上であるか否かを判定する。ユーザＵ１の不快度が第２閾値ＴＨ４以上である場合には、ステップＳ５１５に進む。一方、ユーザＵ１の不快度が第２閾値ＴＨ４未満である場合には、ステップＳ５１６に進む。
【0203】
ステップＳ５１５において、エージェント制御部１２５は、ユーザＵ１の不快に関する発話に基づいて、ユーザＵ１の不快反応と同等以上の反応をエージェント機器２００に実行させる。例えば、図１３（Ｃ）に示すように、ユーザＵ１の怒りよりも強い怒りを示す「ふざけるな！邪魔だ！」の音声情報Ｓ３２が出力され、怒りで車両Ｃ２（不快の対象）の方向を向く動作（矢印Ａ２２で示す）がエージェント機器２００により実行される。また、エージェント機器２００の後頭部に怒りを示す怒り画像ＡＮ３が表示される。
【0204】
ステップＳ５１６において、エージェント制御部１２５は、ユーザＵ１の不快に関する発話に基づいて、ユーザＵ１の不快反応と同等未満の反応をエージェント機器２００に実行させる。例えば、図１１（Ｃ）に示すように、「混んでいるね」の音声情報Ｓ１２が出力され、周囲を見渡す動作（矢印Ａ１２で示す）がエージェント機器２００により実行される。
【0205】
このように、ステップＳ５１５では、不快反応と同等以上の反応をエージェント機器２００に実行させ、ステップＳ５１６では、不快反応と同等未満の反応をエージェント機器２００に実行させる。この場合には、不快状態ＤＢ１６０に格納されている不快情報を用いることができないため、不快反応と同等以上の反応、又は、不快反応と同等未満の反応を、振る舞いＤＢ１７０（図９参照）に基づいて修正するようにする。例えば、ステップＳ５１０、Ｓ５１１と同様に、不快反応と同等未満の反応として「あーびっくりした」等のマイルドな感じを実現することが可能である。また、比較的低い音量としてマイルドな感じを実現することが可能である。一方、不快反応と同等以上の反応として「この野郎」「入ってくるんじゃねえよ」等のけんか腰の感じ、怒っている感じを実現することが可能である。また、比較的高い音量としてけんか腰の感じ、怒っている感じを実現することが可能である。また、エージェント機器２００の表情を激しくさせたり（例えば、真っ赤にする）、目を吊り上げたり、湯気が出る演出を実行したりしてもよい。このように、不快反応と同等以上の反応として、ユーザＵ１よりもさらに激しいシチュエーションを用意しておき、実現することが可能である。
【0206】
このように、ステップＳ５１０、Ｓ５１１の処理では、マイルドな感じ、激しい感じが学習された学習データを使用することが可能であり、ステップＳ５１５、Ｓ５１６の処理では、その場で学習したデータを使用することが可能である。すなわち、ステップＳ５１５、Ｓ５１６の処理では、その場でのユーザＵ１の言葉を真似するように、エージェント機器２００が共感演出を実行する。
【0207】
なお、ステップＳ５１０、Ｓ５１１、Ｓ５１５、Ｓ５１６の各共感演出処理は、一度の振る舞い、音声出力を実行した後に終了してもよく、振る舞いを所定時間（例えば、数秒程度）継続してもよい。
【0208】
ステップＳ５１７において、不快度判定部１２１は、ユーザＵ１の不快度が第１閾値ＴＨ３以上となる期間が所定値（例えば数分乃至数十分程度）以上継続しているか否かを判定する。ユーザＵ１の不快度が第１閾値ＴＨ３以上となる期間が所定値以上継続している場合には、ステップＳ５１８に進む。一方、ユーザＵ１の不快度が第１閾値ＴＨ３以上となる期間が所定値未満であった場合には、共感演出処理の動作を終了する。
【0209】
ステップＳ５１８において、制御部１２０は、ユーザＵ１の不快を解消する他の処理を実行する。例えば、ユーザＵ１がリラックスするような音楽を出力させたり、ユーザＵ１がリラックスするような香りを発生させたりすることが可能である。このように、ユーザＵ１の不快状態がある程度継続しているような場合には、エージェント機器２００からの発話や、エージェント機器２００を用いた発話等のコミュニケーションだけではなく、音楽、香り等の別の手段を用いてユーザＵ１に対応するようにする。
【0210】
例えば、渋滞が継続している場合において、ユーザＵ１の不快状態が継続することも想定される。このような場合に、エージェント機器２００が共感演出を実行しても、ユーザＵ１は、お前も怒っているが、自分もすっきりしない、と考えることも想定される。そこで、このような場合には、エージェント機器２００以外の他の手段を用いてユーザＵ１に対応するようにする。これにより、ユーザＵ１の不快状態を軽減させる可能性を高めることが可能である。
【0211】
なお、ステップＳ５０４、Ｓ５０９、Ｓ５１４において、ユーザＵ１の不快度が閾値（第１閾値ＴＨ３、第２閾値ＴＨ４）以上であるか否かを判定する例を示した。ただし、ユーザＵ１の不快度が閾値以上であるか否かを判定する判定処理を実行する代わりに、ユーザＵ１の不快度の変化の傾きが閾値以上であるか否かを判定する判定処理を実行してもよい。例えば、ユーザＵ１が急激に不快状態となり、ユーザＵ１の血圧が急激に上昇することも想定される。このような場合には、ユーザＵ１の不快度が急激に変化するため、ユーザＵ１の不快度の変化の傾きが急激に高くなる。そこで、このような場合でも、エージェント機器２００の共感演出を実行できるように、ユーザＵ１の不快度の絶対値の閾値ではなく、ユーザＵ１の不快度の傾きの閾値を使用してもよい。なお、これらの双方の判定処理を実行し、ユーザＵ１の不快度の絶対値と、ユーザＵ１の不快度の傾きとのうちの少なくとも１つが閾値を超えたことを条件としてもよい。
【0212】
また、図１１で説明したように、ユーザＵ１の不快状態を解決するための解決方法が存在する場合には、ステップＳ５０７、Ｓ５１０、Ｓ５１１、Ｓ５１５、Ｓ５１６での共感演出処理後に、その解決方法を提案する提案処理を実行してもよい。この提案によりユーザＵ１の不快状態が解消することも想定される。すなわち、ユーザＵ１の不快状態を軽減させる可能性を高めることが可能である。
【0213】
なお、図１４では、ユーザＵ１の不快度が第１閾値ＴＨ３以上、かつ、第２閾値ＴＨ４未満の場合にユーザＵ１の不快度が「中」と判定され、ユーザＵ１の不快度が第２閾値ＴＨ４以上の場合にユーザＵ１の不快度が「高」と判定される場合の例を示す。ただし、図６（Ａ）（Ｂ）と同様に、ユーザＵ１の不快度が第１閾値ＴＨ３以上、かつ、第２閾値ＴＨ４付近（第２閾値ＴＨ４を中心とする所定範囲）の場合にユーザＵ１の不快度が「中－高」と判定してもよい。このように、ステップＳ５０９、Ｓ５１４の判定処理において、ユーザＵ１の不快度が「中－高」と判定された後には、ユーザの不快反応と同等程度の反応を演出する共感演出処理を実行することが可能である。
【0214】
例えば、ステップＳ５０９の判定処理において、ユーザＵ１の不快度が「中－高」と判定された場合には、図１２（Ｃ）に示すように、ユーザＵ１の不快反応と同等程度の反応を示す「あっ、この野郎！」の音声情報Ｓ２２が出力され、びくっとして車両Ｃ２（不快の対象）の方向を向く動作（矢印Ａ２２で示す）がエージェント機器２００により実行される。
【0215】
例えば、ステップＳ５１４の判定処理において、ユーザＵ１の不快度が「中－高」と判定された場合には、図１２（Ｄ）に示すように、ユーザＵ１の不快反応と同等程度の反応を示す「うぁっ」の音声情報Ｓ２３が出力され、車両Ｃ２（不快の対象）の方向を向く動作（矢印Ａ２３で示す）がエージェント機器２００により実行される。
【0216】
［エージェント機器を２次元で表現する例］
以上では、３次元のエージェント機器２００を例にして説明した。ただし、エージェント機器の生き物らしさを表現することが可能であれば、２次元画像として、エージェント画像を表示して本実施形態を適用してもよい。また、車両Ｃ１にＨＵＤ（Head Up Display）を実現するための表示媒体が設けられている場合には、その表示媒体にエージェント画像を表示して本実施形態を適用することが可能である。
以上では、３次元のエージェント機器２００を例にして説明した。ただし、エージェント機器の生き物らしさを表現することが可能であれば、２次元画像として、エージェント画像を表示して本実施形態を適用してもよい。また、車両Ｃ１にＨＵＤ（Head Up Display）を実現するための表示媒体が設けられている場合には、その表示媒体にエージェント画像を表示して本実施形態を適用することが可能である。
【0217】
［車両以外に設置可能なエージェント機器の例］
以上では、車両Ｃ１に設置されるエージェント機器２００の例を示した。ただし、車両Ｃ１から取り外し可能なエージェント機器、車両以外に設置可能なエージェント機器等についても本実施形態を適用可能である。例えば、例えば、携帯型のエージェント機器を所持するユーザが、車両Ｃ１に乗車するときには、車両Ｃ１のダッシュボード２上にそのエージェント機器を設置し、車両Ｃ１から降りる場合には、ユーザがそのエージェント機器を所持して持ち歩くことも想定される。また、ユーザが家庭内でエージェント機器を使用することも想定される。また、エージェント画像（エージェント機器２００に相当）を表示させることが可能な各種機器（例えば、ゲーム機器、眼鏡型ディスプレイ、ＡＲ（Augmented Reality）グラス）を使用することも想定される。
以上では、車両Ｃ１に設置されるエージェント機器２００の例を示した。ただし、車両Ｃ１から取り外し可能なエージェント機器、車両以外に設置可能なエージェント機器等についても本実施形態を適用可能である。例えば、例えば、携帯型のエージェント機器を所持するユーザが、車両Ｃ１に乗車するときには、車両Ｃ１のダッシュボード２上にそのエージェント機器を設置し、車両Ｃ１から降りる場合には、ユーザがそのエージェント機器を所持して持ち歩くことも想定される。また、ユーザが家庭内でエージェント機器を使用することも想定される。また、エージェント画像（エージェント機器２００に相当）を表示させることが可能な各種機器（例えば、ゲーム機器、眼鏡型ディスプレイ、ＡＲ（Augmented Reality）グラス）を使用することも想定される。
【0218】
例えば、家庭内では、家庭内に設置されている各機器に関する報知情報を出力することが考えられる。例えば、お風呂が沸いたタイミング、調理器具の調理が終了したタイミング等で、その旨を報知することが想定される。また、例えば、玄関のドア、窓が開いた状態の場合に、その旨を報知することが想定される。また、例えば、ガスコンロの火を消し忘れている場合に、その旨を報知することが想定される。これらの場合には、お風呂、各調理器具、ドア、窓等に関する報知情報を提供することが想定される。
【0219】
また、例えば、ユーザＵ１の不快度が第１閾値ＴＨ３以上になった場合には、ユーザＵ１の不快状態を軽減させるための共感演出、謝罪演出を実行する。なお、ユーザＵ１の不快度については、上述した例と同様に、ユーザＵ１の生体情報（例えば、心拍、血脈）と、ユーザＵ１から発せられる音と、ユーザＵ１の外観（例えば、表情、動き）とに基づいて算出可能である。また、ユーザＵ１の不快要因についても、上述した推定方法と同様に推定可能である。また、共感演出、謝罪演出の態様については、使用機器、使用状態に応じて適宜設定が可能である。
【0220】
例えば、ゲーム機器の表示画面において、ゲームの内容とは異なるエージェント画像（エージェント機器２００に相当する画像）を表示させる場合を想定する。この場合には、エージェント画像を表示可能なゲーム機器がエージェント機器２００に相当する。このゲーム機器において、ゲーム機器において他のプレイヤーがうまくやれてないときに「ちょっと、そっちにいくとやられるぞ！」とエージェント画像が怒ってくれる共感演出を実行する。
【0221】
また、例えば、ゲーム機器とは異なるエージェント機器Ａを用いる場合を想定する。例えば、ゲーム機器及びエージェント機器Ａは、有線通信又は無線通信を利用して通信が可能であるものとする。この場合には、ゲーム機器において他のプレイヤーがうまくやれてないときに「ちょっと、そっちにいくとやられるぞ！」とエージェント機器Ａが怒りの音声情報を出力してくれる共感演出を実行する。このように、ユーザＵ１の代わりに、ユーザＵ１が言うよりも先にエージェント画像又はエージェント機器Ａが怒ってくれることにより、ユーザＵ１は、冷静になることが可能であり、その怒りを発する手間を省くことが可能である。また、対戦型ゲームのチーム戦の場合には、「あっちいけ」、「そっちいけ」等の音声情報を出力する共感演出を実行することが可能である。
【0222】
また、例えば、仮想空間において、ユーザＵ１とは異なるエージェント（エージェント機器２００に相当する画像）のアバターを登場させる場合を想定する。この場合には、仮想空間においてエージェントのアバターを登場させる機器がエージェント機器２００に相当する。例えば、仮想空間に存在するユーザＵ１以外のアバターに対して音声情報「ぶつかってくるなよ！」をエージェントのアバターが出力して怒ってくれる共感演出を実行することが可能である。このように、ユーザＵ１のアバターの代わりに、エージェントのアバターが怒ってくれることにより、ユーザＵ１の気を収めることが可能となる。この場合には、エージェントのアバターが他のアバターに対して怒ることにより、その相手の怒りの矛先がエージェントのアバターに向くことになるため、その相手の怒りの矛先がユーザＵ１に向き、ユーザＵ１が不快な思いをすることを防止することが可能である。
【0223】
また、例えば、ユーザＵ１がＡＲグラスを着用して、ＡＲグラスにエージェント画像（エージェント機器２００に相当する画像）を表示させる場合を想定する。この場合には、ＡＲグラスがエージェント機器２００に相当する。例えば、ユーザＵ１の進行方向に通行に邪魔な人が存在することも想定される。このような場合に、ユーザＵ１にしか見えない世界でエージェント画像が音声情報「どけよ！」をユーザＵ１のみに聞こえるように、その邪魔な人に対して出力する共感演出を実行する。このように、ユーザＵ１の代わりに、エージェント画像が邪魔な人に対して怒ってくれることにより、ユーザＵ１の胸をすかっとさせたり、すっきりさせたりすることが可能である。なお、この例では、エージェント画像の表示を省略して、エージェントの音声出力のみの演出としてもよい。
【0224】
［本実施形態の効果例］
例えば、渋滞、急な割り込み等によりユーザＵ１に不快の感情が生じた場合に、ユーザＵ１に注意喚起や情報提供をすると、ユーザＵ１の不快を余計に促進する可能性がある。このような場合には、ユーザとの信頼関係が失われ、ユーザとの円滑なコミュニケーションを図ることが困難となるおそれがある。
例えば、渋滞、急な割り込み等によりユーザＵ１に不快の感情が生じた場合に、ユーザＵ１に注意喚起や情報提供をすると、ユーザＵ１の不快を余計に促進する可能性がある。このような場合には、ユーザとの信頼関係が失われ、ユーザとの円滑なコミュニケーションを図ることが困難となるおそれがある。
【0225】
そこで、本実施形態では、ユーザＵ１に不快の感情が生じた場合には、ユーザＵ１の不快状態にエージェント機器２００が共感して、ユーザＵ１の不快の感情を和らげるようにする。すなわち、エージェント機器２００がユーザＵ１の不快を共感するようにする。これにより、不快の感情が生じたユーザＵ１に対して、不快の感情を和らげ、ユーザＵ１との信頼関係を高めることが可能となる。
【0226】
また、ユーザＵ１との信頼関係を高め、ユーザＵ１との円滑なコミュニケーションを図ることが可能となるため、ユーザＵ１に対する情報提供等を円滑に実行することが可能となる。このため、ユーザＵ１に対する報知処理等の増加を防止し、報知処理等の演算処理を低減させることが可能となる。
【0227】
このように、本実施形態では、エージェント機器２００がユーザＵ１との共感を高める演出として、仲間意識を感じる共通の動作等を行う共感演出を実行する。これにより、ユーザＵ１がエージェント機器２００に対する愛着を深めることが可能であり、エージェント機器２００からの報知情報をユーザＵ１が適切に受け入れることが可能となる。
【0228】
なお、本実施形態では、ユーザＵ１がエージェント機器２００を不快の対象と感じた場合には、謝罪演出を実行する。一方、ユーザＵ１がエージェント機器２００以外のものを不快の対象としている場合には、エージェント機器２００が共感演出を実行する。これにより、ユーザＵ１が不快の対象とするものが、エージェント機器２００であっても、エージェント機器２００以外のものであっても、ユーザＵ１の不快に対する適切な対応を実行することが可能となる。
【0229】
ここで、２者の間で信頼関係を構築する場合には、有能さ（能力）、一生懸命な姿勢（動機づけ）とともに、共感（価値共有）が重要となる。特に、信頼関係が醸成されない時期においては、共感は、有能さ、一生懸命な姿勢よりも効果が高いと考えられている。また、２者の間で信頼関係が醸成された場合でも、共感は、信頼構築に対する貢献が高いと考えられている。そこで、本実施形態では、ユーザＵ１に不快の感情が生じた場合には、ユーザＵ１の不快状態にエージェント機器２００が共感することにより、ユーザＵ１に対する信頼構築に貢献することが可能となる。
【0230】
［他の機器、他のシステムにおいて処理を実行させる例］
なお、以上では、共感演出処理等をエージェント機器２００、情報処理装置１１０（又は情報処理システム１００）において実行する例を示したが、それらの各処理の全部又は一部を他の機器において実行してもよい。この場合には、それらの各処理の一部を実行する各機器により情報処理システムが構成される。例えば、車載機器、ユーザが使用可能な機器（例えば、スマートフォン、タブレット端末、パーソナルコンピュータ、カーナビゲーション装置、ＩＶＩ）、インターネット等の所定のネットワークを介して接続可能なサーバ等の各種情報処理装置、各種電子機器を用いて各処理の少なくとも一部を実行させることができる。
なお、以上では、共感演出処理等をエージェント機器２００、情報処理装置１１０（又は情報処理システム１００）において実行する例を示したが、それらの各処理の全部又は一部を他の機器において実行してもよい。この場合には、それらの各処理の一部を実行する各機器により情報処理システムが構成される。例えば、車載機器、ユーザが使用可能な機器（例えば、スマートフォン、タブレット端末、パーソナルコンピュータ、カーナビゲーション装置、ＩＶＩ）、インターネット等の所定のネットワークを介して接続可能なサーバ等の各種情報処理装置、各種電子機器を用いて各処理の少なくとも一部を実行させることができる。
【0231】
また、情報処理装置１１０（又は情報処理システム１００）の機能を実行可能な情報処理システムの一部（又は全部）については、インターネット等の所定のネットワークを介して提供可能なアプリケーションにより提供されてもよい。このアプリケーションは、例えばＳａａＳ（Software as a Service）である。
【0232】
［本実施形態の構成例及びその効果］
本実施形態に係る情報処理方法は、ユーザＵ１とのコミュニケーションを行うことが可能なエージェント機器２００を制御する制御方法である。この制御方法は、ユーザＵ１の生体情報と、ユーザＵ１の発話内容と、ユーザＵ１の動作と、のうちの少なくとも１つに基づいて、ユーザＵ１の不快度を推定する不快度推定処理（ステップＳ５０３）と、ユーザＵ１の周囲の状況に基づいてユーザＵ１の不快の要因である不快要因を推定する不快要因推定処理（ステップＳ５０５）と、その不快度に基づいて、不快要因に応じてユーザＵ１が示す不快反応に関連する共感演出をエージェント機器２００に実行させる制御処理（ステップＳ５０６乃至Ｓ５１６）とを含む。また、本実施形態に係るプログラムは、これらの各処理をコンピュータに実行させるプログラムである。言い換えると、本実施形態に係るプログラムは、情報処理装置１１０が実行可能な各機能をコンピュータに実現させるプログラムである。
本実施形態に係る情報処理方法は、ユーザＵ１とのコミュニケーションを行うことが可能なエージェント機器２００を制御する制御方法である。この制御方法は、ユーザＵ１の生体情報と、ユーザＵ１の発話内容と、ユーザＵ１の動作と、のうちの少なくとも１つに基づいて、ユーザＵ１の不快度を推定する不快度推定処理（ステップＳ５０３）と、ユーザＵ１の周囲の状況に基づいてユーザＵ１の不快の要因である不快要因を推定する不快要因推定処理（ステップＳ５０５）と、その不快度に基づいて、不快要因に応じてユーザＵ１が示す不快反応に関連する共感演出をエージェント機器２００に実行させる制御処理（ステップＳ５０６乃至Ｓ５１６）とを含む。また、本実施形態に係るプログラムは、これらの各処理をコンピュータに実行させるプログラムである。言い換えると、本実施形態に係るプログラムは、情報処理装置１１０が実行可能な各機能をコンピュータに実現させるプログラムである。
【0233】
この構成によれば、不快の感情が生じたユーザＵ１に対して、その不快状態にエージェント機器２００が共感してユーザＵ１の不快の感情を和らげ、ユーザＵ１との信頼関係を高めることが可能となる。
【0234】
本実施形態に係る情報処理方法において、制御処理（ステップＳ５１０、Ｓ５１１、Ｓ５１５、Ｓ５１６）では、ユーザＵ１の不快反応に関連する発話文の音声出力と、その発話文の表示と、ユーザＵ１の不快反応に関連する振る舞いと、のうちの少なくとも１つを共感演出としてエージェント機器２００に実行させる。例えば、図１１（Ｃ）（Ｄ）、図１２（Ｃ）（Ｄ）、図１３（Ｃ）（Ｄ）に示すように、共感演出がエージェント機器２００により実行される。
【0235】
この構成によれば、エージェント機器２００からの音声出力、発話文の表示、エージェント機器２００による振る舞い等により、ユーザＵ１の不快の感情を和らげるための適切な共感演出を実行可能である。
【0236】
本実施形態に係る情報処理方法において、制御処理（ステップＳ５１０、Ｓ５１１、Ｓ５１５、Ｓ５１６）では、ユーザＵ１の不快度の大きさと、ユーザＵ１の不快度の変化率の大きさとのうちの少なくとも１つに基づいて、共感演出の態様を変化させる。
【0237】
この構成によれば、ユーザＵ１の不快度の大きさ、その不快度の変化率の大きさ等を用いて共感演出の態様を変化させるため、現在のユーザＵ１の不快感情に適した共感演出を実行可能である。
【0238】
本実施形態に係る情報処理方法において、制御処理（ステップＳ５１０、Ｓ５１１、Ｓ５１５、Ｓ５１６）では、ユーザＵ１の不快度、又は、ユーザＵ１の不快度の変化率が大きくなるのに応じて、発話文の音声出力として当該音声を大きくする演出と、振る舞いとしてエージェント機器２００がユーザＵ１の不快要因の方向を速く向く演出と、振る舞いとしてエージェント機器２００の動きを大きくする演出と、振る舞いとしてエージェント機器２００の動きの変化を多くする演出とのうちの少なくとも１つをエージェント機器２００に実行させる。
【0239】
この構成によれば、ユーザＵ１の不快度、又は、その不快度の変化率が大きくなるほど、エージェント機器２００の声を大きくしたり、動きを大きくしたり、速くしたりするため、現在のユーザＵ１の不快感情に適した共感演出を実行可能である。
【0240】
本実施形態に係る情報処理方法では、エージェント機器２００の発話文の音声にユーザＵ１が慣れたことを判定する判定処理（ステップＳ５１０、Ｓ５１１、Ｓ５１５、Ｓ５１６）をさらに含み、制御処理（ステップＳ５１０、Ｓ５１１、Ｓ５１５、Ｓ５１６）では、ユーザＵ１の不快要因に関連する発話文の音声をエージェント機器２００から出力させ、その発話文の音声にユーザＵ１が慣れたと判定された後には、発話文の音声出力をせずに、ユーザＵ１の不快反応に関連する振る舞いをエージェント機器２００に実行させる。
【0241】
この構成によれば、発話文の音声にユーザＵ１が慣れた場合には、発話文の音声出力をせずに、不快反応に関連する振る舞いをエージェント機器２００に実行させることにより、共感演出に対するユーザＵ１の関心度が低下することを防止することが可能である。
【0242】
本実施形態に係る情報処理方法において、制御処理（ステップＳ５０６乃至Ｓ５１６）では、ユーザＵ１の不快度が第１閾値ＴＨ３（第１基準の一例）よりも大きい場合、又は、ユーザＵ１の不快度の変化率が第２基準よりも大きい場合には、共感演出をエージェント機器２００に実行させる。
【0243】
この構成によれば、ユーザＵ１の不快度の大きさ、又は、ユーザＵ１の不快度の変化率の大きさを用いて、適切なタイミングで共感演出をエージェント機器２００に実行させることが可能となる。
【0244】
本実施形態に係る情報処理方法では、ユーザＵ１の不快度が第１閾値ＴＨ３（第１基準の一例）よりも大きい場合、又は、ユーザＵ１の不快度の変化率が第２基準よりも大きい場合における、ユーザＵ１の不快要因と、その不快要因に応じてユーザＵ１が示す不快反応に関連する演出情報とを関連付けて不快状態ＤＢ１６０（データベースの一例）に記録させる記録処理（ステップＳ５１３）をさらに含み、制御処理（ステップＳ５０６乃至Ｓ５１６）では、ユーザＵ１の不快度が第１閾値ＴＨ３よりも大きい場合、又は、ユーザＵ１の不快度の変化率が第２基準よりも大きい場合において、推定された不快要因に対応する情報が不快状態ＤＢ１６０に格納されているときには、その不快要因に関連付けられている演出情報に基づいて、共感演出をエージェント機器２００に実行させ、推定されたユーザＵ１の不快要因に対応する情報が不快状態ＤＢ１６０に格納されていないときには、推定された不快要因に対するユーザＵ１の不快反応に基づいて、共感演出をエージェント機器２００に実行させる。
【0245】
この構成によれば、推定された不快要因に対応する情報が不快状態ＤＢ１６０に格納されている場合には、不快状態ＤＢ１６０に格納されている演出情報を用いて、ユーザＵ１の不快感情に適した共感演出を実行可能である。また、推定された不快要因に対応する情報が不快状態ＤＢ１６０に格納されていない場合でも、推定された不快要因に対するユーザＵ１の不快反応を用いて、現在のユーザＵ１の不快感情に適した共感演出を実行可能である。
【0246】
本実施形態に係る情報処理方法において、制御処理（ステップＳ５０６乃至Ｓ５１６）では、ユーザＵ１の不快度が第１閾値ＴＨ３（第１基準の一例）よりも大きい状態が所定時間継続したことを条件に、共感演出をエージェント機器２００に実行させる。
【0247】
この構成によれば、ユーザＵ１の不快状態がある程度の時間継続した場合にのみ、共感演出を実行することにより、共感演出が頻発してユーザＵ１の信頼性を損なうことを防止することが可能である。
【0248】
本実施形態に係る情報処理方法において、不快要因推定処理（ステップＳ５０５）では、ユーザＵ１の不快要因がユーザＵ１の周囲に存在するか、ユーザＵ１の不快要因がエージェント機器２００に存在するかを判定し、制御処理（ステップＳ５０６乃至Ｓ５１６）では、ユーザＵ１の不快度が第１閾値ＴＨ３（第１基準の一例）よりも大きい場合、又は、ユーザＵ１の不快度の変化率が第２基準よりも大きい場合において、ユーザＵ１の不快要因がユーザＵ１の周囲に存在すると判定されたときには、共感演出をエージェント機器２００に実行させ、ユーザＵ１の不快要因がエージェント機器２００に存在すると判定されたときには、ユーザＵ１の不快に対する謝罪演出をエージェント機器２００に実行させる。
【0249】
この構成によれば、ユーザＵ１の不快要因がユーザＵ１の周囲に存在する場合でも、その不快要因がエージェント機器２００に存在する場合でも、その不快要因に応じた適切な演出（共感演出、謝罪演出）を実行することが可能となる。
【0250】
情報処理装置１１０は、ユーザＵ１とのコミュニケーションを行うことが可能なエージェント機器２００を制御する情報処理装置である。情報処理装置１１０は、ユーザＵ１の生体情報と、ユーザＵ１の発話内容と、ユーザＵ１の動作と、のうちの少なくとも１つに基づいて、ユーザＵ１の不快度を推定する不快度判定部１２１（不快度推定部の一例）と、ユーザＵ１の周囲の状況に基づいてユーザＵ１の不快の要因である不快要因を推定する不快要因推定部１２２と、その不快度に基づいて、不快要因に応じてユーザＵ１が示す不快反応に関連する共感演出をエージェント機器２００に実行させるエージェント制御部１２５（制御部の一例）とを備える。なお、情報処理装置１１０は、エージェント機器２００に内蔵される機器としてもよく、エージェント機器２００とは異なる機器としてもよい。また、情報処理装置１１０の代わりに、情報処理装置１１０により実現される各処理を実行可能な複数の機器により構成される情報処理システムとしてもよい。
【0251】
この構成によれば、不快の感情が生じたユーザＵ１に対して、その不快状態にエージェント機器２００が共感してユーザＵ１の不快の感情を和らげ、ユーザＵ１との信頼関係を高めることが可能となる。
【0252】
なお、本実施形態で示した各処理手順は、本実施形態を実現するための一例を示したものであり、本実施形態を実現可能な範囲で各処理手順の一部の順序を入れ替えてもよく、各処理手順の一部を省略したり他の処理手順を追加したりしてもよい。
【0253】
なお、本実施形態で示した各処理は、各処理手順をコンピュータに実行させるためのプログラムに基づいて実行されるものである。このため、本実施形態は、それらの各処理を実行する機能を実現するプログラム、そのプログラムを記憶する記録媒体の実施形態としても把握することができる。例えば、情報処理装置に新機能を追加するためのアップデート処理により、そのプログラムを情報処理装置の記憶装置に記憶させることができる。これにより、そのアップデートされた情報処理装置に本実施形態で示した各処理を実施させることが可能となる。
【0254】
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
【符号の説明】
【0255】
１００ 情報処理システム、１１０ 情報処理装置、１２０ 制御部、１２１ 不快度判定部、１２２ 不快要因推定部、１２３ 確信度判定部、１２４ ＤＢ制御部、１２５ エージェント制御部、１３０ 記憶部、１３１ エージェント情報ＤＢ、１３２ 報知情報ＤＢ、１３３ 地図情報ＤＢ、１３４ 周囲状況ＤＢ、１５０ ユーザ状態ＤＢ、１６０ 不快状態ＤＢ、１７０ 振る舞いＤＢ、１４０ 通信部、２００ エージェント機器、２１０ 表示部、２２０ 音出力部、２３０ 駆動部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】