知財求人 - 知財ポータルサイト「IP Force」
▶ 日産自動車株式会社の特許一覧 ▶ ルノー エス．ア．エス．の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024083068
(43)【公開日】2024-06-20
(54)【発明の名称】情報処理方法及び情報処理装置
(51)【国際特許分類】
G06F 3/01 20060101AFI20240613BHJP
G06F 3/16 20060101ALI20240613BHJP
G10L 13/00 20060101ALI20240613BHJP
G10L 15/22 20060101ALI20240613BHJP
【ＦＩ】
G06F3/01 510
G06F3/16 690
G10L13/00 100M
G10L15/22 300Z
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022197371
(22)【出願日】2022-12-09
(71)【出願人】
【識別番号】000003997
【氏名又は名称】日産自動車株式会社
(71)【出願人】
【識別番号】507308902
【氏名又は名称】ルノー エス．ア．エス．
【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．
【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ
(74)【代理人】
【識別番号】110002468
【氏名又は名称】弁理士法人後藤特許事務所
(72)【発明者】
【氏名】青木 元伸
【テーマコード（参考）】
5E555
【Ｆターム（参考）】
5E555AA46
5E555AA48
5E555AA76
5E555BA06
5E555BA23
5E555BB06
5E555BB23
5E555BC01
5E555BC08
5E555CA41
5E555CA42
5E555CA45
5E555CA47
5E555CB12
5E555CB64
5E555CB65
5E555CB67
5E555CC01
5E555CC22
5E555DA09
5E555DA23
5E555DB32
5E555DB41
5E555DB53
5E555DC09
5E555DC13
5E555DC30
5E555DC35
5E555DC59
5E555DC63
5E555DC85
5E555DD06
5E555DD08
5E555EA04
5E555EA11
5E555EA14
5E555EA19
5E555EA22
5E555EA23
5E555FA00
(57)【要約】
【課題】他のユーザに対して特定の感情が生じたユーザに対して適切なフォローをして機器の使い易さを高める。
【解決手段】ユーザＵ１、Ｕ２に対する複数の処理を実行可能なエージェント機器２００を制御する情報処理方法である。この情報処理方法は、複数のユーザＵ１、Ｕ２が存在する状態で複数の処理のうちから所定の処理が選択された場合に、複数のユーザＵ１、Ｕ２のうちから、その選択に起因する負債感情及び得感情のうちの少なくとも１つを含む特定感情が生じたユーザＵ２を検出する検出処理（ステップＳ５０６）と、ユーザＵ２が検出された場合には、ユーザＵ２以外のユーザＵ１に知覚され難い態様で、ユーザＵ２に対して特定感情を緩和させる演出をエージェント機器２００に実行させる制御処理（ステップＳ５０９、Ｓ５１１）とを含む。
【選択図】図７
【解決手段】ユーザＵ１、Ｕ２に対する複数の処理を実行可能なエージェント機器２００を制御する情報処理方法である。この情報処理方法は、複数のユーザＵ１、Ｕ２が存在する状態で複数の処理のうちから所定の処理が選択された場合に、複数のユーザＵ１、Ｕ２のうちから、その選択に起因する負債感情及び得感情のうちの少なくとも１つを含む特定感情が生じたユーザＵ２を検出する検出処理（ステップＳ５０６）と、ユーザＵ２が検出された場合には、ユーザＵ２以外のユーザＵ１に知覚され難い態様で、ユーザＵ２に対して特定感情を緩和させる演出をエージェント機器２００に実行させる制御処理（ステップＳ５０９、Ｓ５１１）とを含む。
【選択図】図７
【特許請求の範囲】
【請求項1】
ユーザに対する複数の処理を実行可能な機器を制御する情報処理方法であって、
複数のユーザが存在する状態で前記複数の処理のうちから所定の処理が選択された場合に、前記複数のユーザのうちから、当該選択に起因する負債感情及び得感情のうちの少なくとも１つを含む特定感情が生じたユーザである第１ユーザを検出する検出処理と、
前記第１ユーザが検出された場合には、当該第１ユーザ以外のユーザである第２ユーザに知覚され難い態様で、前記第１ユーザに対して前記特定感情を緩和させる演出を前記機器に実行させる制御処理と、を含む
情報処理方法。
複数のユーザが存在する状態で前記複数の処理のうちから所定の処理が選択された場合に、前記複数のユーザのうちから、当該選択に起因する負債感情及び得感情のうちの少なくとも１つを含む特定感情が生じたユーザである第１ユーザを検出する検出処理と、
前記第１ユーザが検出された場合には、当該第１ユーザ以外のユーザである第２ユーザに知覚され難い態様で、前記第１ユーザに対して前記特定感情を緩和させる演出を前記機器に実行させる制御処理と、を含む
情報処理方法。
【請求項2】
請求項１に記載の情報処理方法であって、
前記第２ユーザに知覚され難い態様は、前記第２ユーザに知覚され難い方法で前記演出を前記機器に実行させる第１態様と、前記第２ユーザに知覚され難いタイミングで前記演出を前記機器に実行させる第２態様と、のうちの少なくとも１つである、
情報処理方法。
前記第２ユーザに知覚され難い態様は、前記第２ユーザに知覚され難い方法で前記演出を前記機器に実行させる第１態様と、前記第２ユーザに知覚され難いタイミングで前記演出を前記機器に実行させる第２態様と、のうちの少なくとも１つである、
情報処理方法。
【請求項3】
請求項２に記載の情報処理方法であって、
前記機器は、前記複数のユーザとのコミュニケーションを行うことが可能なエージェント機器であり、
前記第１態様は、前記エージェント機器を前記第１ユーザの方向に向けた状態で前記エージェント機器に所定の振舞いをさせる態様と、前記第１ユーザにだけ聞こえる音を前記エージェント機器から出力させる態様と、前記第１ユーザが所持する電子機器から前記エージェント機器に関連する所定情報を出力させる態様と、前記エージェント機器以外の機器における表示領域に前記エージェント機器に関連する所定情報を表示させる態様と、のうちの少なくとも１つである、
情報処理方法。
前記機器は、前記複数のユーザとのコミュニケーションを行うことが可能なエージェント機器であり、
前記第１態様は、前記エージェント機器を前記第１ユーザの方向に向けた状態で前記エージェント機器に所定の振舞いをさせる態様と、前記第１ユーザにだけ聞こえる音を前記エージェント機器から出力させる態様と、前記第１ユーザが所持する電子機器から前記エージェント機器に関連する所定情報を出力させる態様と、前記エージェント機器以外の機器における表示領域に前記エージェント機器に関連する所定情報を表示させる態様と、のうちの少なくとも１つである、
情報処理方法。
【請求項4】
請求項１に記載の情報処理方法であって、
前記機器は、前記複数のユーザとのコミュニケーションを行うことが可能なエージェント機器であり、
前記演出は、前記特定感情を緩和させる振舞いを表現させる演出と、前記特定感情を緩和させる音声を出力させる演出と、のうちの少なくとも１つである、
情報処理方法。
前記機器は、前記複数のユーザとのコミュニケーションを行うことが可能なエージェント機器であり、
前記演出は、前記特定感情を緩和させる振舞いを表現させる演出と、前記特定感情を緩和させる音声を出力させる演出と、のうちの少なくとも１つである、
情報処理方法。
【請求項5】
請求項３又は４に記載の情報処理方法であって、
前記エージェント機器は、顔部を備える機器であり、
前記振舞いは、前記第１ユーザの眼を前記エージェント機器の眼が見つめる動きと、前記第１ユーザを見ながら前記エージェント機器の顔部がうなずく動きと、前記第１ユーザを見ながら前記エージェント機器が行う所定の口の動きと、前記エージェント機器の表面において所定画像又は所定文字を表示させることと、のうちの少なくとも１つである、
情報処理方法。
前記エージェント機器は、顔部を備える機器であり、
前記振舞いは、前記第１ユーザの眼を前記エージェント機器の眼が見つめる動きと、前記第１ユーザを見ながら前記エージェント機器の顔部がうなずく動きと、前記第１ユーザを見ながら前記エージェント機器が行う所定の口の動きと、前記エージェント機器の表面において所定画像又は所定文字を表示させることと、のうちの少なくとも１つである、
情報処理方法。
【請求項6】
請求項２に記載の情報処理方法であって、
前記タイミングは、前記第２ユーザの集中状態に基づいて設定されるタイミングと、前記機器が存在する場所から前記第２ユーザが離れたタイミングと、のうちの少なくとも１つのタイミングである、
情報処理方法。
前記タイミングは、前記第２ユーザの集中状態に基づいて設定されるタイミングと、前記機器が存在する場所から前記第２ユーザが離れたタイミングと、のうちの少なくとも１つのタイミングである、
情報処理方法。
【請求項7】
請求項１に記載の情報処理方法であって、
前記機器は、前記複数のユーザからの指示に基づいて前記複数の処理を実行可能なエージェント機器であり、
前記検出処理では、前記複数のユーザのそれぞれから相反する異なる複数の指示が出された場合において、前記複数の指示のうちから前記エージェント機器により選択された指示を出したユーザを当該選択により前記得感情が生じたユーザとして推定し、当該得感情が生じたユーザを前記第１ユーザとして検出する、
情報処理方法。
前記機器は、前記複数のユーザからの指示に基づいて前記複数の処理を実行可能なエージェント機器であり、
前記検出処理では、前記複数のユーザのそれぞれから相反する異なる複数の指示が出された場合において、前記複数の指示のうちから前記エージェント機器により選択された指示を出したユーザを当該選択により前記得感情が生じたユーザとして推定し、当該得感情が生じたユーザを前記第１ユーザとして検出する、
情報処理方法。
【請求項8】
請求項７に記載の情報処理方法であって、
前記検出処理では、前記エージェント機器により選択された指示を出したユーザに関する生体情報と発話内容と動作とのうちの少なくとも１つに基づいて、当該指示が当該ユーザの本心であるか否かを推定し、
当該指示が当該ユーザの本心でないと推定された場合には、前記演出を前記機器に実行させない、
情報処理方法。
前記検出処理では、前記エージェント機器により選択された指示を出したユーザに関する生体情報と発話内容と動作とのうちの少なくとも１つに基づいて、当該指示が当該ユーザの本心であるか否かを推定し、
当該指示が当該ユーザの本心でないと推定された場合には、前記演出を前記機器に実行させない、
情報処理方法。
【請求項9】
請求項１に記載の情報処理方法であって、
前記検出処理では、前記複数のユーザの周囲の環境情報と、前記複数のユーザに関する生体情報と、前記複数のユーザに関する発話内容と、前記複数のユーザに関する動作と、のうちの少なくとも１つの要素に基づいて、前記複数のユーザのうちから前記選択により前記得感情が生じたユーザを推定し、当該得感情が生じたユーザを前記第１ユーザとして検出する、
情報処理方法。
前記検出処理では、前記複数のユーザの周囲の環境情報と、前記複数のユーザに関する生体情報と、前記複数のユーザに関する発話内容と、前記複数のユーザに関する動作と、のうちの少なくとも１つの要素に基づいて、前記複数のユーザのうちから前記選択により前記得感情が生じたユーザを推定し、当該得感情が生じたユーザを前記第１ユーザとして検出する、
情報処理方法。
【請求項10】
ユーザに対する複数の処理を実行可能な機器を制御する情報処理装置であって、
複数のユーザが存在する状態で前記複数の処理のうちから所定の処理が選択された場合に、前記複数のユーザのうちから、当該選択に起因する負債感情及び得感情のうちの少なくとも１つを含む特定感情が生じたユーザである第１ユーザを検出する検出部と、
前記第１ユーザが検出された場合には、当該第１ユーザ以外のユーザである第２ユーザに知覚され難い態様で、前記第１ユーザに対して前記特定感情を緩和させる演出を前記機器に実行させる制御部と、を備える
情報処理装置。
複数のユーザが存在する状態で前記複数の処理のうちから所定の処理が選択された場合に、前記複数のユーザのうちから、当該選択に起因する負債感情及び得感情のうちの少なくとも１つを含む特定感情が生じたユーザである第１ユーザを検出する検出部と、
前記第１ユーザが検出された場合には、当該第１ユーザ以外のユーザである第２ユーザに知覚され難い態様で、前記第１ユーザに対して前記特定感情を緩和させる演出を前記機器に実行させる制御部と、を備える
情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザに対する複数の処理を実行可能な機器を制御する情報処理方法及び情報処理装置に関する。
【背景技術】
【0002】
従来、ユーザに対する複数の処理を実行可能な機器が存在する。例えば、戸を開閉した後のエレベータ内の利用者数が戸開前の利用者数よりも増加していたと判断した場合に、利用者の乗車協力に対する謝意を示す情報をエレベータ内の出力装置から出力させる技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２２－１４６０１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述した従来技術では、謝意を示す情報がエレベータ内の出力装置から出力されるため、エレベータに新たに乗った人と、エレベータに元々乗っている人との双方にその情報が伝わる。この場合に、勝手に自分たちの気持ちを新たに乗った人に聞こえるように伝えてほしくないと、エレベータに元々乗っていた人が考えることも想定される。一方、エレベータに新たに乗った人がその情報を聞くと、気まずい気持ち、その場にいることに耐えがたい気持、申し訳ない気持ちになることも想定される。すなわち、謝意を示す情報が出力されることにより、エレベータに新たに乗った人には、エレベータに元々乗っていた人に対して、申し訳ない気持ち等の特定の感情が生じ得る。
【0005】
本発明は、他のユーザに対して特定の感情が生じたユーザに対して適切なフォローをして機器の使い易さ（ユーザビリティ）を高めることを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様は、ユーザに対する複数の処理を実行可能な機器を制御する情報処理方法である。この情報処理方法は、複数のユーザが存在する状態で複数の処理のうちから所定の処理が選択された場合に、複数のユーザのうちから、その選択に起因する負債感情及び得感情のうちの少なくとも１つを含む特定感情が生じたユーザ（第１ユーザ）を検出する検出処理と、第１ユーザが検出された場合には、第１ユーザ以外のユーザ（第２ユーザ）に知覚され難い態様で、第１ユーザに対して特定感情を緩和させる演出を機器に実行させる制御処理とを含む。
【発明の効果】
【0007】
本発明によれば、他のユーザに対して特定の感情が生じたユーザに対して適切なフォローをして機器の使い易さを高めることができる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下、添付図面を参照しながら本発明の実施形態について説明する。
【0010】
［エージェント機器の設置例］
図１は、車両Ｃ１の車室内の構成例を簡略化して示す図である。なお、図１では、運転席、助手席（図示省略）よりも前側を、車両Ｃ１の後ろ側から見た場合の外観構成例を示す。また、図１では、説明を容易にするため、ダッシュボード２、ステアリングホイール３、フロントウインド４、バックミラー５、カメラ１０１、エージェント機器２００以外の図示は省略する。
図１は、車両Ｃ１の車室内の構成例を簡略化して示す図である。なお、図１では、運転席、助手席（図示省略）よりも前側を、車両Ｃ１の後ろ側から見た場合の外観構成例を示す。また、図１では、説明を容易にするため、ダッシュボード２、ステアリングホイール３、フロントウインド４、バックミラー５、カメラ１０１、エージェント機器２００以外の図示は省略する。
【0011】
エージェント機器２００は、車両Ｃ１のダッシュボード２上に設置される小型のロボットである。本実施形態では、人間を模したロボットをエージェント機器２００とする例を示す。なお、図１では、ダッシュボード２上にエージェント機器２００を設置する例を示すが、これに限定されない。例えば、フロントウインド４の上部にエージェント機器２００を設置してもよい。また、図１では、人間の顔を模したロボットをエージェント機器２００とする例を示すが、これに限定されない。例えば、人間の全身を模したロボット、ウサギ、豚等のような動物を模したロボット、仮想物の生物（例えばアニメのキャラクターの顔）を模したロボット、他の物体（例えばテレビ型の機器、ラジオ型の機器）を模したロボットをエージェント機器２００としてもよい。このように、擬生物化されたエージェントをエージェント機器２００とすることが可能である。
【0012】
エージェント機器２００は、情報処理装置１１０（図４参照）からの指示に基づいて各種の動作を実行する。例えば、エージェント機器２００は、情報処理装置１１０の制御に基づいて、ユーザＵ１が運転操作をする際における運転支援、周囲の施設等に関する各種情報を出力する。この運転支援として、前方又は後方の動体の報知等が想定される。例えば、前方の動体の報知として、「この先踏切だから気を付けてよ」と音声出力したり、「前方に人がいるよ」と音声出力したりすることができる。このように、エージェント機器２００は、運転支援を実行する。また、例えば、エージェント機器２００は、情報処理装置１１０の制御に基づいて、各種処理を実行する。例えば、エージェント機器２００は、ユーザＵ１からの指示に基づいて、その指示に応じた処理を実行する。なお、図１では、ユーザＵ１からの音声Ｓ１による指示「エアコンの温度を上げて」に基づいて、その指示に応じたエアコンの温度調整処理を実行する例を示す。この場合には、エージェント機器２００は、その指示に応じてエアコンの温度調整を実行した旨を示す音声情報Ｓ２を出力する。
【0013】
カメラ１０１は、車両Ｃ１の内部の天井に設けられ、車両Ｃ１の内部の被写体を撮像して画像（画像データ）を生成するものである。なお、カメラ１０１は、例えば、被写体を撮像することが可能な１又は複数のカメラ機器や画像センサにより構成される。例えば、フロントウインド４の上部、すなわち、バックミラー５の上側にカメラ１０１を設けることができる。なお、図１では、少なくとも１つのカメラ１０１を備える例を示すが、２以上の撮像装置を備え、これらの撮像装置のうちの全部又は一部の画像を用いてもよい。また、各撮像装置の設置場所については、図１に示す例に限定されず、適宜変更可能である。また、車両Ｃ１の全方位に存在する被写体と、車両Ｃ１の内部の被写体とを取得可能な１又は複数の機器、例えば、３６０度カメラを用いてもよい。
【0014】
［エージェント機器に異なる指示が出された場合の例］
図２は、車両Ｃ１に乗車する２人のユーザＵ１、Ｕ２から相反する異なる指示がエージェント機器２００に出された場合の例を簡略化して示す図である。なお、図２に示す例は、図１に示す構成例においてユーザＵ２を追加したものであり、これら以外の部分については図１と共通する。
図２は、車両Ｃ１に乗車する２人のユーザＵ１、Ｕ２から相反する異なる指示がエージェント機器２００に出された場合の例を簡略化して示す図である。なお、図２に示す例は、図１に示す構成例においてユーザＵ２を追加したものであり、これら以外の部分については図１と共通する。
【0015】
図２では、寒さに震えるユーザＵ２から「エアコンの温度を上げて」の音声Ｓ６が発せられ、暑さで汗をかいているユーザＵ１から「エアコンの温度を下げて」の音声Ｓ５が発せられた場合の例を示す。このように、ユーザＵ１、Ｕ２から相反する異なる指示がエージェント機器２００に出された場合には、エージェント機器２００は、それらの各指示を略同時に実行することは不可能である。このため、エージェント機器２００は、それらの各指示のうちの一方を選択して実行する。例えば、エージェント機器２００は、車両Ｃ１の車室内の状況、ユーザＵ１、Ｕ２等をセンシングし、ユーザＵ１、Ｕ２からの各指示のうちから、適切な指示を選択して実行することが考えられる。
【0016】
［複数のユーザから相反する異なる指示が出された場合の指示の選択例］
ここで、複数のユーザのそれぞれから各指示が出された場合について説明する。なお、複数のユーザのそれぞれからの各指示が異なるタイミングで出された場合には、その各指示が出されたタイミングで各指示を実行することが可能である。そこで、ここでは、複数のユーザのそれぞれから各指示が略同じタイミングで出された場合について説明する。なお、略同じタイミングは、例えば、数秒程度の間隔を意味する。
ここで、複数のユーザのそれぞれから各指示が出された場合について説明する。なお、複数のユーザのそれぞれからの各指示が異なるタイミングで出された場合には、その各指示が出されたタイミングで各指示を実行することが可能である。そこで、ここでは、複数のユーザのそれぞれから各指示が略同じタイミングで出された場合について説明する。なお、略同じタイミングは、例えば、数秒程度の間隔を意味する。
【0017】
例えば、複数のユーザのそれぞれから同じ内容の指示が略同じタイミングで出された場合には、エージェント機器２００は、その指示を実行する。例えば、ユーザＵ１、Ｕ２が「エアコンの温度を上げて」又は「ラジオをかけて」等のように同じ内容の指示を同じタイミングで出した場合には、それらが同一の内容であるため、エージェント機器２００は、その指示を実行することが可能である。
【0018】
また、例えば、複数のユーザのそれぞれから異なる内容の指示が略同じタイミングで出された場合において、それらの各指示が相反するものでなければ、エージェント機器２００は、その各指示を、同時に、又は、順次、実行する。例えば、略同じタイミングで、ユーザＵ１が「エアコンの温度を上げて」の指示を出し、ユーザＵ２が「ラジオをかけて」の指示を出した場合を想定する。この場合には、複数のユーザのそれぞれから異なる内容の指示が略同じタイミングで出されているが、それらの各指示が相反するものでないため、エージェント機器２００は、その各指示を、同時に、又は、順次、実行する。具体的には、エージェント機器２００は、ユーザＵ１の指示「エアコンの温度を上げて」に基づいて、エアコンの温度設定を上げる制御を実行するとともに、ユーザＵ２の指示「ラジオをかけて」に基づいて、ラジオの電源をオンする制御を実行する。これらの各制御については、同時に実行してもよく、順次実行してもよい。
【0019】
また、例えば、複数のユーザのそれぞれから異なる内容の指示が略同じタイミングで出され、かつ、それらの各指示が相反する場合を想定する。例えば、略同じタイミングで、ユーザＵ１が「エアコンの温度を下げて」の指示を出し、ユーザＵ２が「エアコンの温度を上げて」の指示を出した場合には、各指示が相反することになる。また、例えば、略同じタイミングで、ユーザＵ１が「ラジオ局Ａをかけて」の指示を出し、ユーザＵ２が「ラジオ局Ｂをかけて」の指示を出した場合も、各指示が相反することになる。
【0020】
これらの場合には、エージェント機器２００は、その相反する各指示を実行することができないため、何れかの指示を選択して実行することになる。例えば、図２に示すように、略同じタイミングで、ユーザＵ１が「エアコンの温度を下げて」の指示を出し、ユーザＵ２が「エアコンの温度を上げて」の指示を出した場合を想定する。この場合には、ユーザＵ１、Ｕ２から相反する異なる内容の指示が出されているため、それらの各指示を略同じタイミングで実行することは不可能である。そこで、このような場合には、エージェント機器２００（又は、情報処理装置１１０）は、ユーザＵ１、Ｕ２に関する生体情報、ユーザＵ１、Ｕ２の発話内容、ユーザＵ１、Ｕ２の動作、ユーザＵ１、Ｕ２の周囲の環境等に基づいて、ユーザＵ１、Ｕ２から出された各指示のうちから適切な指示を選択する。
【0021】
例えば、ユーザＵ１が「暑い暑い」の声を連続して発し、かつ、ユーザＵ１が多量の汗をかき、上着のボタンを外していることが検出され、ユーザＵ２は通常の状態であると判定された場合を想定する。この場合には、エージェント機器２００は、ユーザＵ１は暑さの限度を超えているが、ユーザＵ２は寒さに耐えられると判定し、ユーザＵ１の指示「エアコンの温度を下げて」を採用することを選択する。一方、ユーザＵ２が「寒い寒い」の声を連続して発し、かつ、ユーザＵ２の身体がブルブルと震え、上着を新たに着ていることが検出され、ユーザＵ１は通常の状態であると判定された場合を想定する。この場合には、エージェント機器２００は、ユーザＵ２は寒さの限度を超えているが、ユーザＵ１は暑さに耐えられると判定し、ユーザＵ２の指示「エアコンの温度を上げて」を採用することを選択する。このように、ユーザＵ１、Ｕ２の健康に関する指示については、エージェント機器２００は、各指示のうちから、各ユーザの生体状態等に最適な指示を選択して実行するようにする。すなわち、エージェント機器２００は、ユーザＵ１、Ｕ２の声、動き、汗、体温等を参照して、どちらの体調が悪いかを総合的に判定して、最適な指示を選択して実行するようにする。言い換えると、エージェント機器２００は、ユーザＵ１、Ｕ２をセンシングして、どちらが危機的な状況かを判定し、危機的な状況のユーザの指示を選択して実行するようにする。なお、各指示の緊急度、各指示に基づく実行時間、各指示に基づく処理の完了時間の長さ等に基づいて、最適な指示の処理を選択して実行してもよい。
【0022】
なお、略同じタイミングで、ユーザＵ１が「ラジオ局Ａをかけて」の指示を出し、ユーザＵ２が「ラジオ局Ｂをかけて」の指示を出した場合を想定する。この場合には、ユーザＵ１、Ｕ２から相反する異なる内容の指示が出されているため、それらの各指示を略同じタイミングで実行することは不可能である。そこで、このような場合についても同様に、エージェント機器２００は、ユーザＵ１、Ｕ２に関する生体情報、ユーザＵ１、Ｕ２の発話内容、ユーザＵ１、Ｕ２の動作、ユーザＵ１、Ｕ２の周囲の環境等に基づいて、ユーザＵ１、Ｕ２から出された各指示のうちから適切な指示を選択する。ただし、ラジオ局の選択の場合には、これらの各情報に基づいて適切な放送局を選択することが困難となることも想定される。そこで、このような指示については、予め設定されている選択基準に基づいて選択処理を実行してもよい。
【0023】
ここで、選択基準は、複数の相反する異なる指示が出された場合に、優先的に実行する指示を選択するための基準である。例えば、複数の相反する異なる指示のうち、出された指示の順番で優先的に選択する指示を決定してもよい。この場合には、最初に出された指示を選択することが可能である。
【0024】
また、例えば、複数の相反する異なる指示が出された場合において、指示を選択するユーザを順次変更してもよい。例えば、ユーザＡ乃至Ｃから複数の相反する異なる指示が出された場合には、ユーザＡから出された指示を選択する。この場合には、次のタイミングで、ユーザＡ乃至Ｃから複数の相反する異なる指示が出された場合には、ユーザＢから出された指示を選択する。また、次のタイミングで、ユーザＡ乃至Ｃから複数の相反する異なる指示が出された場合には、ユーザＣから出された指示を選択する。
【0025】
なお、優先すべき指示をユーザ毎に設定しておいてもよい。例えば、ユーザＡ乃至Ｃが存在する場合において、ユーザＡの優先順位を１位とし、ユーザＢの優先順位を２位とし、ユーザＣの優先順位を３位とする。この場合において、ユーザＡ乃至Ｃから複数の相反する異なる指示が出された場合には、ユーザＡから出された指示を選択する。また、ユーザＢ、Ｃから複数の相反する異なる指示が出された場合には、ユーザＢから出された指示を選択する。また、ユーザＡ、Ｃから複数の相反する異なる指示が出された場合には、ユーザＡから出された指示を選択する。
【0026】
また、指示に基づく処理時間に基づいて、優先すべき指示を決定しておいてもよい。例えば、ユーザＡ乃至Ｃから複数の相反する異なる指示が出された場合において、ユーザＡの指示に基づく処理時間が１１分であり、ユーザＢの指示に基づく処理時間が３分であり、ユーザＣの指示に基づく処理時間が７分である場合を想定する。この場合には、ユーザＢから出された指示を最初に選択して実行する。次に、ユーザＣから出された指示を選択して実行し、最後に、ユーザＢから出された指示を選択して実行する。
【0027】
なお、相反する異なる指示については、指示情報ＤＢ１３２（図４参照）に格納しておくことが可能である。そして、相反する異なる指示が出された場合には、指示情報ＤＢ１３２（図４参照）に格納されている指示情報に基づいて、優先的に選択する指示を決定してもよい。
【0028】
このように、複数のユーザから相反する異なる複数の指示が出された場合には、複数の指示のうちから選択された少なくとも１つの指示が実行されることになる。この場合には、指示が採用されたユーザは相対的に得をする立場となり、指示が採用されなかったユーザは相対的に損をする立場となることが多い。このような場合において、相対的に得する立場となったユーザには、相対的に損する立場となったユーザに対して、申し訳ない、心苦しい等の負債の感情が発生することが多い。このように、複数のユーザが存在する場合において、他のユーザに対して一部のユーザに生じる、申し訳ない、心苦しい等の負債の感情（又は負の感情）を、本実施形態では、負債感情と称して説明する。すなわち、負債感情は、得をしたときに負い目があるような感情を意味する。なお、負債感情は、特定感情の一例である。
【0029】
一方、相対的に損する立場となったユーザには、相対的に得する立場となったユーザに対する不満の感情が発生することが多い。このように、複数のユーザが存在する場合において、他のユーザに対して一部のユーザに生じる、不満の感情を、本実施形態では、不満感情と称して説明する。すなわち、不満感情は、損をしたことに不満があるような感情を意味する。なお、不満感情は、特定感情の一例である。
【0030】
このように、複数のユーザから相反する異なる複数の指示が出された場合において、指示が採用されたユーザには、他のユーザに対する負債感情が生じる可能性がある。この場合には、指示が採用されたユーザに対して、何らかのフォローをすることが考えられる。例えば、ユーザＵ１、Ｕ２からの相反する異なる複数の指示が出された場合において、ユーザＵ２の指示が採用された場合を想定する。この場合には、ユーザＵ２には、ユーザＵ１に対する負債感情が生じる可能性がある。そこで、エージェント機器２００は、負債感情が生じたユーザＵ２に対して何らかのフォローをすることが考えられる。例えば、エージェント機器２００が、負債感情が生じたユーザＵ２に対して、「だいじょうぶだよ」等の音声情報を発することが考えられる。しかし、エージェント機器２００が、「だいじょうぶだよ」等の音声情報を発すると、この音声情報がユーザＵ１、Ｕ２の双方に伝わる。この場合には、ユーザＵ１は、ユーザＵ２に対するフォローの気持ちを勝手にユーザＵ２に聞こえるように伝えてほしくないと考えることも想定される。一方、ユーザＵ２がその音声情報を聞くと、気まずい気持ち、その場にいることに耐えがたい気持になることも想定される。すなわち、その音声情報が出力されることにより、ユーザＵ２には、ユーザＵ１に対する負債感情がさらに高まり、エージェント機器２００の使用感が悪くなることも想定される。また、ユーザＵ２がさらに嫌な気持ちを持つことも想定される。
【0031】
そこで、本実施形態では、ユーザＵ１に知覚され難い態様で、負債感情が生じたユーザＵ２に対して、その負債感情を緩和させる演出をエージェント機器２００に実行させる。このように、負債感情が生じたユーザＵ２に対して適切なフォローをすることによりエージェント機器２００の使い易さを高めることが可能である。また、ユーザＵ２の嫌な気持ちを解消することが可能である。なお、エージェント機器２００に実行させる演出については、図５、図６等を参照して詳細に説明する。
【0032】
なお、相反する複数の異なる指示が出されていない場合についても本実施形態を適用可能である。例えば、あるユーザ（ユーザＡ）の指示に基づく実行が長時間となり、他のユーザ（ユーザＢ）の指示に基づく実行を待たせるような状況が発生することも想定される。例えば、略同じタイミングで、ユーザＵ１が「この近くの焼肉が美味しい店を教えて」の指示を出し、ユーザＵ２が「鎌倉幕府の歴史を教えて」の指示を出した場合を想定する。この場合には、ユーザＵ１、Ｕ２からは相反する内容の指示が出されているわけではないが、それらの各指示を略同じタイミングで実行することは不可能である。そこで、このような場合についても、上述したように、選択基準に基づいて、ユーザＵ１、Ｕ２から出された各指示のうちから適切な指示を実行する順序を選択する。この場合に、例えば、ユーザＵ２の指示が最初に選択され、「鎌倉幕府の歴史を教えて」に関する情報の出力時間が長くなることも想定される。この場合には、ユーザＵ１は、自己の指示が実行されるまでの間、待たされることになる。このため、指示が最初に採用されたユーザＵ２は相対的に得をする立場となり、指示が最初に採用されなかったユーザＵ１は相対的に損をする立場となる。この場合には、相対的に得する立場となったユーザＵ２には、相対的に損する立場となったユーザＵ１に対する負債感情が発生すると考えられる。そこで、このような場合についても、上述したように、ユーザＵ１に知覚され難い態様で、負債感情が生じたユーザＵ２に対して、その負債感情を緩和させる演出をエージェント機器２００に実行させることが可能である。
【0033】
なお、ユーザの損得に関する損得感情については、エージェント機器２００に指示が採用されたか否かに基づいて推定が可能である。また、ユーザの損得に関する損得感情については、ユーザの生体情報（例えば、心拍、体温、顔の表面温度、血流、興奮度に関係する情報）と、ユーザの発話内容（例えば、寒いよね等の所定のキーワード）と、ユーザの動作（例えば、体の動きの大きさ、速さ、表情）と、のうちの少なくとも１つに基づいて推定が可能である。また、ユーザの負債感情、不満感情についても同様に、ユーザの生体情報と、ユーザの発話内容と、ユーザの動作と、のうちの少なくとも１つに基づいて推定が可能である。例えば、ユーザの表情、ユーザの動き、ユーザが発する声等に基づいて、ユーザの負債感情を検出することが可能である。なお、ユーザの表情、ユーザの動きについては、カメラ１０１により取得された画像に基づいて取得可能である。また、ユーザの表情には、ユーザの視線も含まれる。また、ユーザが発する声については、音声入力部１０３（図４参照）により取得された音声情報に基づいて取得可能である。なお、ユーザの損得感情、負債感情、不満感情の推定方法については、図４等を参照して詳細に説明する。
【0034】
なお、本実施形態では、車両Ｃ１の乗員として運転席に乗車するユーザＵ１、Ｕ２を例にして説明する。ただし、車両Ｃ１に３人以上の乗員が乗車している場合についても本実施形態を適用可能である。
【0035】
［エージェント機器の外観構成例］
図３は、エージェント機器２００の外観構成の一例を簡略化して示す正面図である。本実施形態では、エージェント機器２００がオン状態であり、かつ、エージェント機器２００が通常態様である場合には、表示部２１０（図４参照）に顔画像が表示される例を示す。なお、車両Ｃ１のオン操作に応じて、エージェント機器２００をオン状態とすることが可能である。また、エージェント機器２００に関するユーザ操作に応じて、エージェント機器２００をオン状態とすることが可能である。なお、車両Ｃ１のオンオフ操作は、車両Ｃ１の起動又は停止に関するスタートキーのオン操作又はオフ操作を意味する。
図３は、エージェント機器２００の外観構成の一例を簡略化して示す正面図である。本実施形態では、エージェント機器２００がオン状態であり、かつ、エージェント機器２００が通常態様である場合には、表示部２１０（図４参照）に顔画像が表示される例を示す。なお、車両Ｃ１のオン操作に応じて、エージェント機器２００をオン状態とすることが可能である。また、エージェント機器２００に関するユーザ操作に応じて、エージェント機器２００をオン状態とすることが可能である。なお、車両Ｃ１のオンオフ操作は、車両Ｃ１の起動又は停止に関するスタートキーのオン操作又はオフ操作を意味する。
【0036】
図３（Ａ）には、エージェント機器２００の斜視図を示す。図３（Ｂ）には、エージェント機器２００の正面図を示す。なお、図３（Ｂ）に示すエージェント機器２００は、図１に示すエージェント機器２００に対応する。図３（Ｃ）には、エージェント機器２００の上面図を示す。図３（Ｄ）には、エージェント機器２００の側面図を示す。また、図３（Ｅ）（Ｆ）には、エージェント機器２００の動作態様として、負債感情を緩和させるための特定演出を実行する場合の外観構成例を示す。また、図３（Ｇ）には、エージェント機器２００の動作態様として、困惑した表情の演出を実行する場合の外観構成例を示す。また、図３（Ｈ）には、エージェント機器２００の動作態様として、負債感情が緩和した後の演出を実行する場合の外観構成例を示す。なお、負債感情を緩和させるための特定演出は、負債感情が生じたと判定されたタイミングで実行される。また、負債感情が緩和した後の演出は、特定演出の実行後に、負債感情が解消したと判定されたタイミングで実行される。
【0037】
エージェント機器２００は、略球状の本体部２０１から構成される機器であり、本体部２０１の表面には表示部２１０が設けられる。表示部２１０には、各種画像、例えば眼部Ｅ１、Ｅ２、口部Ｍ１が表示される。なお、本体部２０１の表面の全部に表示部２１０を設けてもよく、本体部２０１の表面のうちの一部に表示部２１０を設けてもよい。また、本体部２０１の表面のうちの一部に表示部２１０を設ける場合には、表示部２１０が設けられている部分以外の部分には、顔を構成する物理的な各部（例えば、耳、鼻）を設けてもよい。
【0038】
本実施形態では、車両Ｃ１のダッシュボード２上に、眼部Ｅ１、Ｅ２が車内側を見る方向にエージェント機器２００が設置される例を示す。このため、エージェント機器２００における眼部Ｅ１、Ｅ２が表示される部分を含む一の面を前部又は顔部と称して説明する。また、エージェント機器２００の前部をエージェント機器２００の前側と称し、エージェント機器２００の前部とは反対側をエージェント機器２００の後側と称して説明する。また、エージェント機器２００において、図３における右側をエージェント機器２００の左側と称し、図３における左側をエージェント機器２００の右側と称して説明する。
【0039】
本体部２０１は、エージェント機器２００の下部を回動中心として、エージェント機器２００の前後方向、すなわち矢印Ａ１（図３（Ａ）（Ｄ）参照）方向に回動する。同様に、本体部２０１は、エージェント機器２００の下部を回動中心として、エージェント機器２００の左右方向、すなわち矢印Ａ２（図３（Ｂ）参照）方向に回動する。同様に、本体部２０１は、エージェント機器２００の下部を回動中心として、硬直方向を軸として回転する方向、すなわち矢印Ａ３（図３（Ｃ）参照）方向に回動する。このように、エージェント機器２００の下部には、本体部２０１を駆動させるための駆動部２３０（図４参照）が設けられる。そして、エージェント機器２００の本体部２０１を左右方向に回転移動させたり、本体部２０１を前後方向に回転移動させたり、本体部２０１を左右方向に揺らせたり、本体部２０１を前後方向に揺らせたりすることが可能となる。
【0040】
また、表示部２１０は、各種画像を表示することが可能な表示媒体として構成することが可能である。この表示媒体として、例えば、発光シート、液晶表示器、有機ＥＬ（Electro Luminescence）等の各種表示媒体を使用可能である。例えば、図３（Ａ）乃至（Ｄ）に示すように、通常の眼部Ｅ１、Ｅ２、口部Ｍ１を表示させることができる。
【0041】
また、例えば、図３（Ｅ）に示すように、眉毛をひそめた状態の眼部Ｅ１、Ｅ２とともに、汗画像ＳＷ１を表示させることができる。また、本体部２０１を振動させることにより、エージェント機器２００が震えている状態を表現することも可能である。また、例えば、図３（Ｆ）に示すように、顔の上側に相当する部分Ｂ１を、不安の表情を示す所定色（例えば青色）とし、不安の表情を示す縦線画像Ｖ１を、その部分Ｂ１の一部に表示させることができる。また、図３（Ｅ）、（Ｆ）に示すように、左右方向（矢印Ａ４、Ａ５方向）に本体部２０１を揺らせることにより、さらに不安な態度を強調することが可能である。
【0042】
また、例えば、図３（Ｇ）に示すように、困ったような口部Ｍ１、眼部Ｅ１、Ｅ２を表示させることができる。なお、図３（Ｇ）に示す表情は、困惑の表情の一例である。また、例えば、図３（Ｈ）に示すように、笑ったような口部Ｍ１、眼部Ｅ１、Ｅ２を表示させるとともに、頬を赤くしたような態様の頬画像ＲＳ１を表示させることができる。なお、図３（Ｈ）に示す表情は、安堵の表情の一例である。
【0043】
このように、表示部２１０のうちの少なくとも一部の色を特定色としたり、眼部Ｅ１、Ｅ２、口部Ｍ１を変形させたりすることにより、エージェント機器２００が不安の表情、困惑の表情、安堵の表情等をしているような表示態様とすることが可能である。なお、ここで示す表示態様は、一例であり、他の表示態様により各表情を実現してもよい。例えば、眼部Ｅ１、Ｅ２を左右に早く動かしたり、眼部Ｅ１、Ｅ２をきょろきょろさせたり、本体部２０１を左右方向に早く動かしたり、本体部２０１を左右方向にきょろきょろさせたりすることにより不安の表情を実現してもよい。
【0044】
このように、本実施形態では、エージェント機器２００の各部のうちの少なくとも一部を変化させる動作態様と、エージェント機器２００の表面のうちの少なくとも一部の表示状態を変化させる表示態様とによりエージェント機器２００を変化させることが可能である。また、その変化を見た車両Ｃ１の乗員は、エージェント機器２００が何らかの動きをしていると認識可能となる。このため、本実施形態では、これらのエージェント機器２００の変化をエージェント機器２００の動作態様と称して説明する。
【0045】
なお、これらのエージェント機器２００の動作態様は、一例であり、他の動作態様とすることも可能である。例えば、ダッシュボード２上の所定範囲内において、エージェント機器２００をスライド移動させることも可能である。例えば、エージェント機器２００を前後左右方向にスライド移動させることも可能である。また、例えば、エージェント機器２００を一時的に浮かせるような演出も可能である。
【0046】
なお、図３では、表示部２１０の表示態様を変更することにより、各表情を２次元的に表現する例を示すが、物理的に設置された眼部、鼻部、口部等の各部材を変化させることにより、各表情を３次元的に表現して実現してもよい。この場合には、例えば、眼部材を移動させたり、眼部材の表面に黒画像、白画像を表示させたりして眼の動きを表現してもよい。
【0047】
また、本実施形態では、顔部のみを備えるエージェント機器２００の例を示すが、他の身体の一部（例えば、手、足）をエージェント機器２００に備えてもよい。この場合には、これらの各部（例えば、手、足）を変化させて各態度（例えば緩和させる態度、安堵の態度）を実現してもよい。例えば、手を頭や顔に当てるように変化させたり、足や手をバタバタさせたりする動きを各態度として表現してもよい。
【0048】
なお、これらのエージェント機器２００の形状、表示態様、音声出力態様は、一例であり、他の形状、表示態様、音声出力態様とすることも可能である。また、図３では、略球状の本体部２０１が顔部として機能するエージェント機器２００を例にして示すが、本発明はこれに限定されない。例えば、平板状の本体部（例えば、平面状の表示パネル）が顔部として機能する機器をエージェント機器２００としてもよい。また、例えば、顔部及び身体部を一体の筐体として構成する機器をエージェント機器２００としてもよい。また、例えば、顔部及び身体部を別体として構成する機器をエージェント機器２００としてもよい。
【0049】
また、本実施形態では、生き物らしさを表す画像（生き物表示）として顔画像を表示する例を示すが、他の画像（例えば、エージェントの全身、機械的なもの、仮想的な顔）を生き物らしさを表す画像として表示してもよい。
【0050】
［情報処理システムの構成例］
図４は、車両Ｃ１に設置されている情報処理システム１００のシステム構成の一例を示す図である。
図４は、車両Ｃ１に設置されている情報処理システム１００のシステム構成の一例を示す図である。
【0051】
情報処理システム１００は、カメラ１０１と、位置情報取得センサ１０２と、音声入力部１０３と、センサ類１０４と、情報処理装置１１０と、エージェント機器２００とを備える。なお、情報処理装置１１０及びエージェント機器２００は、有線通信又は無線通信を利用した通信方式によって接続される。また、情報処理装置１１０は、無線通信を利用した通信方式によってネットワーク２０に接続されている。ネットワーク２０は、公衆回線網、インターネット等のネットワークである。なお、エージェント機器２００についても、無線通信を利用した通信方式によってネットワーク２０に接続してもよい。なお、図３では、情報処理装置１１０及びエージェント機器２００を別体として構成する例を示すが、情報処理装置１１０及びエージェント機器２００を一体の機器として構成してもよい。
【0052】
カメラ１０１は、情報処理装置１１０の制御に基づいて、被写体を撮像して画像（画像データ）を生成するものであり、生成された画像に関する画像情報を情報処理装置１１０に出力する。カメラ１０１は、車両Ｃ１のうちの少なくとも内部に設けられ、車両Ｃ１の内部の被写体を撮像して画像（画像データ）を生成する。なお、図１では、車両Ｃ１の内部に設けられているカメラ１０１を示す。上述したように、カメラ１０１は、例えば、被写体を撮像することが可能な１又は複数のカメラ機器や画像センサにより構成される。例えば、１つのカメラ１０１を車両Ｃ１の前方に設け、車両Ｃ１の前方からの被写体を撮像して画像（画像データ）を生成してもよく、他のカメラ１０１を車両Ｃ１の後方に設け、車両Ｃ１からの後方の被写体を撮像して画像（画像データ）を生成してもよい。
【0053】
位置情報取得センサ１０２は、車両Ｃ１が存在する位置に関する位置情報を取得するものであり、取得された位置情報を情報処理装置１１０に出力する。例えば、ＧＮＳＳ（Global Navigation Satellite System：全球測位衛星システム）を利用して位置情報を取得するＧＮＳＳ受信機により実現できる。また、その位置情報には、ＧＮＳＳ信号の受信時における緯度、経度、高度等の位置に関する各データが含まれる。また、他の位置情報の取得方法により位置情報を取得してもよい。例えば、周囲に存在するアクセスポイントや基地局からの情報を用いて位置情報を導き出してもよい。また、ビーコンを用いて位置情報を取得してもよい。例えば、位置情報取得センサ１０２により取得された情報に基づいて、車両Ｃ１の状態、例えば、走行中、停止中、後進中を判定可能である。
【0054】
また、例えば、車両Ｃ１が走行する道路を位置情報取得センサ１０２により取得された位置情報に基づいて判定可能である。
【0055】
音声入力部１０３は、車両Ｃ１の内部に設けられ、情報処理装置１１０の制御に基づいて、車両Ｃ１の内部の音を取得するものであり、取得された音に関する音情報を情報処理装置１１０に出力する。音声入力部１０３として、例えば、１又は複数のマイクや音取得センサを用いることができる。
【0056】
センサ類１０４は、車両Ｃ１に設置されている各種のセンサであり、各センサにより取得された検出情報を情報処理装置１１０に出力する。センサ類は、例えば、ＬｉＤＡＲ（Light Detection And Ranging）、ＲＡＤＡＲ（Radio Detection And Ranging）、Ｓｏｎａｒ、人感センサ、車速センサ、加速度センサ、着座センサ、シートベルトセンサ、非接触温度センサ等である。なお、これらは一例であり、他のセンサを用いてもよい。また、これらのうちの一部のセンサのみを用いてもよい。
【0057】
人感センサは、車両Ｃ１の内部に存在する人の有無、人数、位置、状態等を検出するセンサである。例えば、赤外線、超音波、可視光、撮像素子等を用いる人感センサを用いることが可能である。例えば、運転席、助手席、後部座席の何れかに人が着座している場合には、その人の存在を人感センサにより検出可能である。また、人感センサ及び着座センサの双方を用いることにより、各座席の着座状態の検出精度を高めることが可能である。また、これらにより、エージェント機器２００が対象とする人物の位置を特定することが可能である。
【0058】
着座センサ（又はシートセンサ）は、車両Ｃ１の各座席に着座している乗員の有無を検出するセンサである。シートベルトセンサは、車両Ｃ１の各座席に着座している乗員がシートベルトを着用しているか否かを検出するセンサである。
【0059】
非接触温度センサは、車両Ｃ１の乗員の体温を非接触状態で検出するセンサである。例えば、ユーザＵ１の顔の表面の温度を非接触温度センサにより計測可能である。これらの各センサについては、公知のセンサを用いることが可能である。
【0060】
情報処理装置１１０は、制御部１２０と、記憶部１３０と、通信部１４０とを備える。通信部１４０は、制御部１２０の制御に基づいて、有線通信又は無線通信を利用して、他の機器との間で各種情報のやりとりを行うものである。例えば、通信部１４０は、ユーザＵ１が所持する電子機器ＭＣ１、ユーザＵ２が所持する電子機器ＭＣ２等との間で各種情報のやりとりを行うものである。この場合に、通信部１４０は、ネットワーク２０を介して電子機器ＭＣ１、ＭＣ２との間で無線通信を実行してもよく、ネットワーク２０を介さずに電子機器ＭＣ１、ＭＣ２との間で直接無線通信（例えば、近距離無線通信）を実行してもよい。なお、電子機器ＭＣ１、ＭＣ２は、例えば、スマートフォン、タブレット端末、携帯型のパーソナルコンピュータ等の情報処理装置である。例えば、電子機器ＭＣ１、ＭＣ２は、表示部に各種画像を表示したり、音出力部から音声出力をしたりする出力機器として機能する。
【0061】
制御部１２０は、記憶部１３０に記憶されている各種プログラムに基づいて各部を制御するものである。制御部１２０は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の処理装置により実現される。例えば、ＧＰＵを用いて画像処理を実行することにより演算速度を速めることが可能である。また、ＧＰＵを用いて並列演算を実行することにより演算速度をさらに速めることが可能である。なお、車両Ｃ１の車両ＥＣＵ（Electronic Control Unit）を制御部１２０としても使用してもよく、車両ＥＣＵとは異なる処理装置を制御部１２０として設けてもよい。なお、制御部１２０は、文字を音声に変換する変換機能を備える。この変換機能は、例えば、ＴＴＳ（Text to Speech）により実現される。
【0062】
制御部１２０は、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報に基づいて、エージェント機器２００の動作状態を制御する制御処理を実行する。具体的には、制御部１２０は、指示受付部１２１と、損得感情判定部１２２と、負債感情判定部１２３と、不満感情判定部１２４と、エージェント制御部１２５とを備える。
【0063】
指示受付部１２１は、車両Ｃ１の乗員から出された１又は複数の指示に関する指示情報を受け付けるものであり、受け付けた指示情報を、損得感情判定部１２２、負債感情判定部１２３、不満感情判定部１２４、エージェント制御部１２５に出力する。例えば、車両Ｃ１の乗員が発した音声（指示をする音声）が音声入力部１０３により取得され、この音声に関する情報が指示情報として指示受付部１２１に出力される。ここで、上述したように、車両Ｃ１の複数の乗員から複数の指示が出された場合に、これらの各指示が相反する異なる指示であることも想定される。このような場合には、指示受付部１２１は、相反する異なる複数の指示のうちから、エージェント機器２００に実行させる指示を選択する選択処理を実行し、その選択した指示に関する選択情報を、損得感情判定部１２２、負債感情判定部１２３、不満感情判定部１２４、エージェント制御部１２５に出力する。なお、この選択処理については、上述した選択処理と同様である。
【0064】
損得感情判定部１２２は、車両Ｃ１の乗員から相反する異なる複数の指示が出された場合に、指示受付部１２１による選択処理の選択結果に基づいて、車両Ｃ１の乗員の損得感情を判定するものである。そして、損得感情判定部１２２は、その判定結果を負債感情判定部１２３、不満感情判定部１２４、エージェント制御部１２５に出力する。また、損得感情判定部１２２は、指示受付部１２１による選択処理の選択結果とともに、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報に基づいて、車両Ｃ１の乗員の損得感情を判定してもよい。なお、損得感情の判定方法については後述する。
【0065】
負債感情判定部１２３は、車両Ｃ１の乗員から相反する異なる複数の指示が出された場合に、車両Ｃ１の乗員の負債感情を判定するものであり、その判定結果をエージェント制御部１２５に出力する。具体的には、負債感情判定部１２３は、損得感情判定部１２２から出力された損得感情の判定結果と、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報に基づいて、車両Ｃ１の乗員の負債感情を判定する。なお、負債感情の判定方法については後述する。
【0066】
不満感情判定部１２４は、車両Ｃ１の乗員から相反する異なる複数の指示が出された場合に、車両Ｃ１の乗員の不満感情を判定するものであり、その判定結果をエージェント制御部１２５に出力する。具体的には、不満感情判定部１２４は、損得感情判定部１２２から出力された損得感情の判定結果と、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報に基づいて、車両Ｃ１の乗員の不満感情を判定する。なお、不満感情の判定方法については後述する。
【0067】
このように、損得感情判定部１２２、負債感情判定部１２３、不満感情判定部１２４は、車両Ｃ１の乗員のうち、得したユーザ、損したユーザ、負債感情が生じたユーザ、不満が生じたユーザ等を判定するものである。すなわち、損得感情判定部１２２、負債感情判定部１２３、不満感情判定部１２４は、車両Ｃ１の乗員に関する特定感情、不快状態等を検出する検出部として機能する。
【0068】
エージェント制御部１２５は、エージェント機器２００の動作状態を制御するものである。具体的には、エージェント制御部１２５は、指示受付部１２１から出力された指示情報と、損得感情判定部１２２、負債感情判定部１２３、不満感情判定部１２４による判定結果と、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報とに基づいて、エージェント機器２００の動作状態を制御する。例えば、エージェント制御部１２５は、擬生物化されたエージェントの顔を構成する各部（例えば、眼部Ｅ１、Ｅ２、口部Ｍ１）を表示部２１０に表示させる。また、エージェント制御部１２５は、車両Ｃ１の乗員に報知すべき情報（報知情報）を表示部２１０に表示させる。また、エージェント制御部１２５は、擬生物化されたエージェントの音声、車両Ｃ１の乗員に報知すべき情報に対応する音声等を音出力部２２０から出力させる。
【0069】
例えば、エージェント制御部１２５は、表示部２１０に表示させる報知情報と、音出力部２２０から出力させる報知情報とを決定し、それらの報知情報を出力させる制御を実行する。なお、車両Ｃ１の内部に存在する対象物に関する報知情報については、報知情報ＤＢ１３３に格納されている。例えば、シートベルトの着用に関する報知情報である場合には、シートベルトの着用に関する音声情報を報知情報として出力する。なお、シートベルトを示す画像を報知情報として表示部２１０に表示してもよい。
【0070】
また、例えば、エージェント制御部１２５は、負債感情（又は得感情）が生じたユーザが検出された場合には、そのユーザ以外の他のユーザに知覚され難い態様で、そのユーザに対して負債感情を緩和させる演出をエージェント機器２００に実行させる。例えば、図５（Ｄ）、図６（Ｄ１）乃至（Ｄ３）に示すように、エージェント機器２００に所定の演出を実行させる。この演出として、所定の音声出力、所定の振舞い等を実行することが可能である。
【0071】
また、例えば、エージェント制御部１２５は、不満感情が生じたユーザが検出された場合には、そのユーザ以外の他のユーザに知覚され難い態様で、そのユーザに対して不満感情を緩和させる演出をエージェント機器２００に実行させる。例えば、図５（Ｅ）、図５（Ｆ）に示すように、エージェント機器２００に所定の演出を実行させる。この演出として、所定の音声出力、所定の振舞い等を実行することが可能である。このように、エージェント制御部１２５は、車両Ｃ１の乗員のうち、他方に知覚され難い態様で一方をフォローする装置として機能する。
【0072】
記憶部１３０は、各種情報を記憶する記憶媒体である。例えば、記憶部１３０には制御部１２０が各種処理を行うために必要となる各種情報（例えば、制御プログラム、エージェント情報ＤＢ１３１、指示情報ＤＢ１３２、報知情報ＤＢ１３３、地図情報ＤＢ１３４、周囲状況ＤＢ１３５、ユーザ状態ＤＢ１３６）が記憶される。また、記憶部１３０には、通信部１４０を介して取得された各種情報が記憶される。記憶部１３０として、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせを用いることができる。
【0073】
エージェント情報ＤＢ１３１には、エージェント機器２００の各種動作を実現するために必要となる情報が格納されている。例えば、表示部２１０に表示される顔画像情報（例えば、眼部Ｅ１、Ｅ２、汗画像ＳＷ１、縦線画像Ｖ１、頬画像ＲＳ１、口部Ｍ１）と、音出力部２２０から出力される音声情報とがエージェント情報ＤＢ１３１に格納される。また、例えば、負債感情を緩和させる演出、不満感情を緩和させる演出の実行時にエージェント機器２００を動作させるための動作情報等がエージェント情報ＤＢ１３１に格納される。
【0074】
指示情報ＤＢ１３２には、車両Ｃ１の乗員から出される各指示のうち、相反する異なる複数の指示を特定するために必要となる情報が格納されている。例えば、相反する異なる複数の指示の組み合わせに関する情報（例えば、エアコンの温度を上げてとエアコンの温度を下げての組み合わせ、同時に出されるラジオ局の選択）が指示情報ＤＢ１３２に格納される。
【0075】
報知情報ＤＢ１３３には、車両Ｃ１の内部又は外部に存在する対象物に関する報知情報を出力するために必要となる情報が格納されている。例えば、半ドアに関する報知情報である場合には、ドアを示す画像情報と半ドアを報知するための音声情報とが報知情報として報知情報ＤＢ１３３に格納される。また、例えば、シートベルトの着用に関する報知情報である場合には、シートベルトを示す画像情報とシートベルトの着用を報知するための音声情報とが報知情報として報知情報ＤＢ１３３に格納される。
【0076】
地図情報ＤＢ１３４には、車両Ｃ１の経路案内に必要となる道路に関する道路情報等の地図情報が格納されている。その地図情報には、道路の勾配、道路の交差点、道路の車線数、道幅情報、道路の起伏情報、悪路状態が含まれる。また、地図情報には、速度制限、一方通行等を示す道路標識、横断歩道、区画線等を示す道路標示も含まれる。また、地図情報には、道路構造物（例えば信号機、電信柱）、建物等の施設情報、周囲の観光案内情報等を含めてもよい。なお、エージェント情報ＤＢ１３１、指示情報ＤＢ１３２、報知情報ＤＢ１３３、地図情報ＤＢ１３４については、車両Ｃ１が備える記憶部１３０に記憶して用いてもよく、ネットワーク２０を介して外部機器から取得して用いてもよい。
【0077】
周囲状況ＤＢ１３５には、車両Ｃ１の周囲の状況に関する情報が格納されている。これらの情報は、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報に基づいて取得されて格納される。
【0078】
周囲状況ＤＢ１３５に格納された情報については、車両Ｃ１の周囲の状況に関する情報を検出する際における検出精度を向上させるための学習に使用することが可能である。
【0079】
ユーザ状態ＤＢ１３６には、ユーザＵ１の状態に関する情報が格納されている。これらの情報は、カメラ１０１、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報に基づいて取得されて格納される。
【0080】
ユーザ状態ＤＢ１３６については、ユーザＵ１の状態に関する情報を検出する際における検出精度を向上させるための学習に使用することが可能である。
【0081】
エージェント機器２００は、情報処理装置１１０からの指示に基づいて各種動作を実行するロボット機器である。エージェント機器２００は、表示部２１０と、音出力部２２０と、駆動部２３０とを備える。なお、表示部２１０、音出力部２２０及び駆動部２３０は、エージェント機器２００が備える制御部（図示省略）に基づいて制御される。
【0082】
表示部２１０は、情報処理装置１１０からの指示に基づいて、各種画像を表示する表示部である。なお、表示部２１０として、例えば、有機ＥＬ（Electro Luminescence）パネル、ＬＣＤ（Liquid Crystal Display）パネル等の表示パネルを用いることができる。なお、表示部２１０については、使用者がその指を表示面に接触又は近接することにより操作入力を行うことが可能なタッチパネルとして構成してもよく、別体のユーザインタフェースとして構成してもよい。
【0083】
音出力部２２０は、情報処理装置１１０からの指示に基づいて、各種音声を出力するものである。音出力部２２０として、例えば、１又は複数のスピーカを用いることができる。なお、表示部２１０及び音出力部２２０は、ユーザインタフェースの一例であり、これらのうちの一部を省略してもよく、他のユーザインタフェースを用いてもよい。
【0084】
駆動部２３０は、情報処理装置１１０からの指示に基づいて、エージェント機器２００の本体部２０１、エージェント機器２００の各部を駆動するものである。例えば、駆動部２３０は、図３（Ａ）乃至（Ｈ）に示すように、本体部２０１を回動させたり、振動させたりする機構を実現する駆動装置である。例えば、駆動部２３０は、エージェント機器２００を移動させたり、本体部２０１を回動させたりすることが可能なモータ、サーボモータ等により構成される。
【0085】
［ユーザの損得感情の判定例］
次に、ユーザの損得感情を判定する判定方法について説明する。ユーザの損得感情は、上述したように、指示受付部１２１によるユーザからの指示の選択結果、エージェント機器２００による処理の実行後の状況等に基づいて判定が可能である。エージェント機器２００による処理の実行後の状況は、例えば、その処理の対象となった周囲の環境に関する環境情報、その処理の対象となった各ユーザに関する検出情報等である。なお、各ユーザに関する検出情報は、例えば、ユーザの生体情報（例えば、心拍、血脈）、ユーザから発せられる音、ユーザの外観（例えば、表情、動き）等である。
次に、ユーザの損得感情を判定する判定方法について説明する。ユーザの損得感情は、上述したように、指示受付部１２１によるユーザからの指示の選択結果、エージェント機器２００による処理の実行後の状況等に基づいて判定が可能である。エージェント機器２００による処理の実行後の状況は、例えば、その処理の対象となった周囲の環境に関する環境情報、その処理の対象となった各ユーザに関する検出情報等である。なお、各ユーザに関する検出情報は、例えば、ユーザの生体情報（例えば、心拍、血脈）、ユーザから発せられる音、ユーザの外観（例えば、表情、動き）等である。
【0086】
［エージェント機器による指示の選択結果に基づく判定例］
例えば、複数のユーザから相反する異なる複数の指示が出された場合には、指示受付部１２１は、それらの各指示のうちからエージェント機器２００に実行させる指示を選択する。この選択処理については、上述した選択処理と同様である。次に、損得感情判定部１２２は、指示受付部１２１から出力された指示情報及び選択情報に基づいて、それらの各指示のうちから指示受付部１２１により選択された指示を出したユーザを、得感情が生じたユーザとして判定する。一方、損得感情判定部１２２は、得感情が生じたと判定されたユーザ以外のユーザを、損感情が生じたユーザとして判定する。例えば、ユーザＵ１が「エアコンの温度を下げて」の指示を出し、ユーザＵ２が「エアコンの温度を上げて」の指示を出した場合を想定する。この場合には、エージェント機器２００は、周囲の状況、ユーザＵ１、Ｕ２に関する各検出情報等に基づいて、実行対象とする指示を選択する。例えば、ユーザＵ２の指示「エアコンの温度を上げて」が選択された場合を想定する。この場合には、損得感情判定部１２２は、ユーザＵ２を得感情が生じたユーザとして判定し、ユーザＵ１を損感情が生じたユーザとして判定する。
例えば、複数のユーザから相反する異なる複数の指示が出された場合には、指示受付部１２１は、それらの各指示のうちからエージェント機器２００に実行させる指示を選択する。この選択処理については、上述した選択処理と同様である。次に、損得感情判定部１２２は、指示受付部１２１から出力された指示情報及び選択情報に基づいて、それらの各指示のうちから指示受付部１２１により選択された指示を出したユーザを、得感情が生じたユーザとして判定する。一方、損得感情判定部１２２は、得感情が生じたと判定されたユーザ以外のユーザを、損感情が生じたユーザとして判定する。例えば、ユーザＵ１が「エアコンの温度を下げて」の指示を出し、ユーザＵ２が「エアコンの温度を上げて」の指示を出した場合を想定する。この場合には、エージェント機器２００は、周囲の状況、ユーザＵ１、Ｕ２に関する各検出情報等に基づいて、実行対象とする指示を選択する。例えば、ユーザＵ２の指示「エアコンの温度を上げて」が選択された場合を想定する。この場合には、損得感情判定部１２２は、ユーザＵ２を得感情が生じたユーザとして判定し、ユーザＵ１を損感情が生じたユーザとして判定する。
【0087】
なお、車両Ｃ１に乗車する各ユーザ及びその位置については、カメラ１０１により取得された車両Ｃ１の車室内の画像に基づいて取得可能である。また、人感センサ及び着座センサにより検出された検出情報に基づいて、車両Ｃ１に乗車する各ユーザ及びその位置を取得することも可能である。また、車両Ｃ１に乗車する各ユーザのうち、エージェント機器２００に指示を出したユーザの位置については、その指示に対応する音声が発せられた方向等に基づいて検出可能である。なお、音声が発せられた方向の検出方法については、公知の音声認識技術を用いることが可能である。また、また、車両Ｃ１に乗車する各ユーザのうち、エージェント機器２００に指示を出したユーザの位置については、カメラ１０１により取得された車両Ｃ１の車室内の画像に基づいて取得可能である。例えば、その指示に対応する音声を発する表情（特に、口の動き）等に基づいて検出可能である。なお、表情に基づく声の検出方法については、公知の画像認識技術を用いることが可能である。
【0088】
［エージェント機器による処理の実行後の状況等に基づく判定例］
上述したように、エージェント機器２００は、周囲の状況、ユーザに関する各検出情報等に基づいて適宜処理を実行する。例えば、カメラ１０１、音声入力部１０３、センサ類１０４からの各情報に基づいて、エージェント機器２００は、車両Ｃ１に乗車するユーザＵ１、Ｕ２の暑さを検出可能である。例えば、カメラ１０１により取得されたユーザＵ１の顔画像に基づいてユーザＵ１の大量の汗が検出され、センサ類１０４の非接触温度センサに基づいてユーザＵ１の体温上昇が検出された場合を想定する。この場合には、エージェント機器２００は、エアコンの温度設定を下げる制御を実行する。また、この場合には、損得感情判定部１２２は、エージェント機器２００により実行された処理の原因となったユーザＵ１を、得感情が生じたユーザとして判定する。一方、損得感情判定部１２２は、得感情が生じたと判定されたユーザＵ１以外のユーザＵ２を、損感情が生じたユーザとして判定する。このように、エージェント機器２００により実行された処理の原因となったユーザを得感情が生じたユーザとして判定し、このユーザ以外の他のユーザを、損感情が生じたユーザとして判定することが可能である。
上述したように、エージェント機器２００は、周囲の状況、ユーザに関する各検出情報等に基づいて適宜処理を実行する。例えば、カメラ１０１、音声入力部１０３、センサ類１０４からの各情報に基づいて、エージェント機器２００は、車両Ｃ１に乗車するユーザＵ１、Ｕ２の暑さを検出可能である。例えば、カメラ１０１により取得されたユーザＵ１の顔画像に基づいてユーザＵ１の大量の汗が検出され、センサ類１０４の非接触温度センサに基づいてユーザＵ１の体温上昇が検出された場合を想定する。この場合には、エージェント機器２００は、エアコンの温度設定を下げる制御を実行する。また、この場合には、損得感情判定部１２２は、エージェント機器２００により実行された処理の原因となったユーザＵ１を、得感情が生じたユーザとして判定する。一方、損得感情判定部１２２は、得感情が生じたと判定されたユーザＵ１以外のユーザＵ２を、損感情が生じたユーザとして判定する。このように、エージェント機器２００により実行された処理の原因となったユーザを得感情が生じたユーザとして判定し、このユーザ以外の他のユーザを、損感情が生じたユーザとして判定することが可能である。
【0089】
［ユーザの負債感情の判定例］
次に、ユーザの負債感情を判定する判定方法について説明する。なお、本実施形態では、ユーザの負債感情の判定は、得感情が生じたユーザに対して実行される。具体的には、ユーザの生体情報（例えば、心拍、血脈）と、ユーザから発せられる音と、ユーザの外観（例えば、表情、動き）とに基づいてユーザの負債感情を判定可能である。なお、得感情が生じたユーザ以外のユーザについても負債感情を判定し、この判定結果を用いるようにしてもよい。
次に、ユーザの負債感情を判定する判定方法について説明する。なお、本実施形態では、ユーザの負債感情の判定は、得感情が生じたユーザに対して実行される。具体的には、ユーザの生体情報（例えば、心拍、血脈）と、ユーザから発せられる音と、ユーザの外観（例えば、表情、動き）とに基づいてユーザの負債感情を判定可能である。なお、得感情が生じたユーザ以外のユーザについても負債感情を判定し、この判定結果を用いるようにしてもよい。
【0090】
上述したように、複数のユーザが存在する場合において、他のユーザに対して一部のユーザに負債感情が生じることがある。すなわち、負債感情は、複数のユーザが存在する場合に、一部のユーザに生じる感情である。例えば、複数のユーザに対してある現象が生じた場合に、一部のユーザが相対的に得する立場となり、他のユーザが相対的に損する立場となることが想定される。例えば、暑がりのユーザＵ１と、寒がりのユーザＵ２とに対してエアコンの温度設定を上げるという現象が生じた場合に、ユーザＵ２が相対的に得する立場となり、ユーザＵ１が相対的に損する立場となることが想定される。このような場合において、相対的に得する立場となったユーザＵ２には、相対的に損する立場となったユーザＵ１に対して、申し訳ない、心苦しい等の負債感情が発生することが多い。そこで、本実施形態では、他のユーザに対して負債感情が生じたユーザに対して適切なフォローをしてその負債感情を緩和させる。
【0091】
例えば、ユーザＵ２に負債感情が生じると、ユーザＵ２の顔が悲しい表情となったり、申し訳ないような表情となったりすることが想定される。そこで、ユーザＵ２の顔を含む画像を解析することによりユーザＵ２の表情の変化を取得し、その変化の程度に基づいて、ユーザＵ２の負債感情を算出可能である。例えば、ユーザＵ２の表情が急激に変化し、かつ、その変化後の表情が所定の表情（例えば、悲しい表情、申し訳ないような表情）になった場合に、ユーザＵ２の負債感情に関する度合が高いと判定することが可能である。なお、ユーザＵ２の負債感情に関する度合は、ユーザＵ２の負債感情を数値化したものであり、数値が高くなるのに応じて、ユーザＵ２の負債感情が高いと判定することが可能である。また、ユーザＵ２の顔が所定の表情（例えば、悲しい表情、申し訳ないような表情）になった場合に、ユーザＵ２の負債感情に関する度合が高いと判定することも可能である。なお、ユーザＵ２の顔を含む画像については、カメラ１０１（図４参照）により取得可能である。また、表情の判定については、公知の表情認識技術（例えば表情判定プログラム）を用いることが可能である。なお、負債感情に関する度合は、負債感情の確信度等と称してもよい。
【0092】
なお、顔に関する他の情報を用いてユーザＵ２の負債感情を判定してもよい。例えば、ユーザＵ２に負債感情が生じると、ユーザＵ２の顔に冷や汗が生じることも想定される。そこで、カメラ１０１により取得された画像（ユーザＵ２の顔を含む）等に基づいて、ユーザＵ２の顔に冷や汗が生じたか否かを検出し、ユーザＵ２の顔に冷や汗が生じた場合に、ユーザＵ２に負債感情が発生したと判定することが可能である。
【0093】
また、例えば、ユーザＵ２に負債感情が生じると、ユーザＵ２が視線をユーザＵ１に向けることが多くなると想定される。例えば、ユーザＵ２が悲しい表情で視線をユーザＵ１に頻繁に向けることが想定される。そこで、カメラ１０１により取得された画像（ユーザＵ２の顔を含む）等に基づいて、ユーザＵ２が視線をユーザＵ１に向ける回数を検出し、その回数に基づいて、ユーザＵ２の負債感情を判定することが可能である。例えば、ユーザＵ２が視線をユーザＵ１に向ける回数が閾値以上である場合には、ユーザＵ２の負債感情が高いと判定可能である。すなわち、ユーザＵ２の動きとして、ユーザＵ２が視線をユーザＵ１に向ける頻度に基づいて、ユーザＵ２の負債感情が高いか否かを判定可能である。また、ユーザＵ２の体温の変化に基づいて、ユーザＵ２の負債感情が高いか否かを判定してもよい。
【0094】
また、ユーザＵ２に負債感情が生じると、ユーザＵ２が特定のキーワード（例えば、ごめんなさい、本当は温度を下げたかったんだよね、暑いよね）を発したり、ユーザＵ２が声のトーンを下げて声を発したりすることが想定される。なお、特定のキーワードは、例えば、ユーザＵ１に対してユーザＵ２が申し訳ない、心苦しい等の感情を表現するような文言である。また、声のトーンは、声の高低、テンポ、音量等を意味する。例えば、ユーザＵ２に負債感情が生じると、ユーザＵ２が「ごめんなさい」を低めの声で発することが想定される。そこで、ユーザＵ２から発せられる声を解析することにより、ユーザＵ２が発した特定のキーワード（例えば、ごめんなさい）、ユーザＵ２から発せられる声のトーンを取得する。そして、ユーザＵ２が特定のキーワード（例えば、ごめんなさい）を発した場合、又は、ユーザＵ２から発せられた声のトーンが閾値未満となった場合に、ユーザＵ２の負債感情が高いと判定することが可能である。なお、ユーザＵ２が発する声については、音声入力部１０３（図４参照）により取得可能である。また、声の判定については、公知の音認識技術（例えば音判定プログラム）を用いることが可能である。また、表情及び音声を合わせて感情を推定する公知の推定技術を用いることも可能である。例えば、表情及び音声を合わせて負債感情を推定し、その負債感情を数値化（負債感情に関する度合）することが可能である。なお、ユーザＵ２の生体情報と、ユーザＵ２の発話内容と、ユーザＵ２の動作とのうちの少なくとも１つに基づいて算出が可能なユーザＵ２の負債感情に関する他の数値を用いてもよい。
【0095】
なお、上述した負債感情の判定条件のうちの２以上を用いて、負債感情を総合的に判定してもよい。これにより、負債感情に関する度合の算出精度を高めることが可能である。
【0096】
［ユーザの不満感情の判定例］
次に、ユーザの不満感情を判定する判定方法について説明する。なお、本実施形態では、ユーザの不満感情の判定は、損感情が生じたユーザに対して実行される。具体的には、ユーザの生体情報（例えば、心拍、血脈）と、ユーザから発せられる音と、ユーザの外観（例えば、表情、動き）とに基づいてユーザの不満感情を判定可能である。なお、損感情が生じたユーザ以外のユーザについても不満感情を判定し、この判定結果を用いるようにしてもよい。
次に、ユーザの不満感情を判定する判定方法について説明する。なお、本実施形態では、ユーザの不満感情の判定は、損感情が生じたユーザに対して実行される。具体的には、ユーザの生体情報（例えば、心拍、血脈）と、ユーザから発せられる音と、ユーザの外観（例えば、表情、動き）とに基づいてユーザの不満感情を判定可能である。なお、損感情が生じたユーザ以外のユーザについても不満感情を判定し、この判定結果を用いるようにしてもよい。
【0097】
上述したように、複数のユーザが存在する場合において、他のユーザに対して一部のユーザに負債感情が生じることがある。一方、負債感情が生じたユーザ以外のユーザについては、不満感情が生じることがある。すなわち、不満感情は、複数のユーザが存在する場合に、一部のユーザに生じる感情である。例えば、暑がりのユーザＵ１と、寒がりのユーザＵ２とに対してエアコンの温度設定を上げるという現象が生じた場合に、ユーザＵ２が相対的に得する立場となり、ユーザＵ１が相対的に損する立場となることが想定される。このような場合において、相対的に損する立場となったユーザＵ１には、相対的に得する立場となったユーザＵ２に対する不満の感情が発生することが多い。そこで、本実施形態では、他のユーザに対して不満感情が生じたユーザに対しても適切なフォローをしてその不満感情を緩和させる。
【0098】
なお、ユーザの不満感情についても、ユーザの負債感情と同様に、ユーザの顔に関する各情報（例えば、表情、口の動き、視線）、ユーザが発する声等に基づいて判定可能である。また、ユーザの不満感情に関する度合についても、ユーザの負債感情に関する度合と同様に、ユーザの顔に関する各情報、ユーザが発する声等に基づいて算出可能である。なお、ユーザの不満感情に関する度合は、ユーザの不満感情を数値化したものであり、数値が高くなるのに応じて、ユーザの不満感情が高いと判定することが可能である。ただし、ユーザの負債感情とは、表情、発話等の内容が異なる。例えば、ユーザＵ１に不満感情が生じると、ユーザＵ１の顔が怒りの表情となったり、ユーザＵ１から怒りの声、強いトーンの声が、声を荒げた発声がされたりすることが想定される。また、例えば、ユーザＵ１に不満感情が生じると、ユーザＵ１の動きが力強くなり大きくなることも想定される。そこで、ユーザの不満感情の判定処理においては、これらの要素を基準にして、判定することが可能である。
【0099】
また、不満感情の判定条件のうちの２以上を用いて、不満感情を総合的に判定してもよい。これにより、不満感情に関する度合の算出精度を高めることが可能である。
【0100】
［ユーザの感情に応じてエージェント機器の各態様を変化させる例］
次に、ユーザＵ１、Ｕ２の感情に応じてエージェント機器２００の各態様を変化させる場合の遷移例について説明する。
次に、ユーザＵ１、Ｕ２の感情に応じてエージェント機器２００の各態様を変化させる場合の遷移例について説明する。
【0101】
［ユーザからの指示に応じた処理を実行後にユーザの感情に応じてエージェント機器の各態様を変化させる場合の遷移例］
図５、図６は、ユーザＵ１、Ｕ２からの指示に応じた処理を実行後にユーザＵ１、Ｕ２の感情に応じてエージェント機器２００の各態様を変化させる場合の遷移例を示す図である。具体的には、ユーザＵ１、Ｕ２から相反する指示が出された場合に、ユーザＵ２からの指示に応じた処理を実行後に、ユーザＵ１、Ｕ２の感情に応じてエージェント機器２００の各態様を変化させる場合の遷移例を示す。
図５、図６は、ユーザＵ１、Ｕ２からの指示に応じた処理を実行後にユーザＵ１、Ｕ２の感情に応じてエージェント機器２００の各態様を変化させる場合の遷移例を示す図である。具体的には、ユーザＵ１、Ｕ２から相反する指示が出された場合に、ユーザＵ２からの指示に応じた処理を実行後に、ユーザＵ１、Ｕ２の感情に応じてエージェント機器２００の各態様を変化させる場合の遷移例を示す。
【0102】
図５（Ａ）には、車両Ｃ１に乗車する２人のユーザＵ１、Ｕ２から相反する異なる指示がエージェント機器２００に出された場合の例を示す。なお、図５（Ａ）に示す例は、図２と同様である。すなわち、寒さに震えるユーザＵ２から「エアコンの温度を上げて」の音声Ｓ１２が発せられ、暑さで汗をかいているユーザＵ１から「エアコンの温度を下げて」の音声Ｓ１１が発せられた場合の例を示す。このように、ユーザＵ１、Ｕ２から相反する異なる指示がエージェント機器２００に出された場合には、上述したように、エージェント機器２００は、それらの各指示のうちの一方を選択して実行する。
【0103】
図５（Ｂ）には、図５（Ａ）に示す各指示がされた後に、選択された指示が実行された場合のエージェント機器２００の態様例を示す。図５（Ｂ）では、ユーザＵ２の指示が選択され、エアコンの温度設定を上げる温度調整処理が実行された場合の例を示す。この場合には、エージェント機器２００が「エアコンの温度を上げます」の音声情報Ｓ１３を発する。これにより、ユーザＵ１、Ｕ２の双方が、ユーザＵ２の指示がエージェント機器２００により実行されたことを把握可能となる。
【0104】
図５（Ｂ）に示すように、指示が選択されたユーザＵ２は、車両Ｃ１の車室内のエアコンの温度設定を上げてもらうことにより、車両Ｃ１の車室内の温度が上がるため、寒さを緩和することができ、肯定的な感情（例えば、喜び、信頼）が発生すると想定される。一方、指示が選択されなかったユーザＵ１は、エアコンの温度設定が上げられてしまうことにより、車両Ｃ１の車室内の温度が上がるため、暑さが増し、否定的な感情（例えば、困惑、落胆、悲しさ、虚しさ、怒り）が発生すると想定される。
【0105】
このように、相反する異なる指示が複数のユーザから出された場合には、少なくとも１つの指示が採用されることになる。このため、指示が採用されたユーザには肯定的な感情が発生し、指示が採用されなかったユーザには否定的な感情が発生することが想定される。ただし、上述したように、指示が採用されたユーザには肯定的な感情が発生するとともに、指示が採用されなかったユーザに対する負債感情、得感情等も発生することが想定される。そこで、本実施形態では、相反する異なる指示が複数のユーザから出された場合において、それらの指示のうちから少なくとも１つの指示が選択されて実行された後に、各ユーザに関するセンシングを実行する。そして、各ユーザの損得感情、負債感情、不満感情等を判定する。
【0106】
図５（Ｃ）には、図５（Ｂ）に示すように、ユーザＵ２の指示が採用された後におけるユーザＵ１、Ｕ２の感情を模式的に示す。具体的には、指示が採用されなかったユーザＵ１は、エアコンの温度設定が上げられ、車両Ｃ１の車室内の温度が上昇することに応じて、「暑すぎる」という思いＡＦ１が発生することが想定される。一方、指示が採用されたユーザＵ２は、エアコンの温度設定が上げられ、車両Ｃ１の車室内の温度が上昇することに応じて快適となるが、暑そうなユーザＵ１に対して「ごめんなさい。Ｂさん、暑いよね」等の思いＡＦ２が発生することが想定される。この場合には、ユーザＵ１、Ｕ２の負債感情に関する度合、不満感情に関する度合等に基づいて、エージェント機器２００は、各態様を実行する。
【0107】
［他のユーザに知覚され難い態様で、対象ユーザに対して負債感情を緩和させる演出を実行する例］
図５（Ｄ）には、ユーザＵ２の負債感情に関する度合が第１閾値以上の場合のエージェント機器２００の態様例を示す。この場合には、ユーザＵ２のユーザＵ１に対する負債感情に関する度合が高いため、ユーザＵ２に対するフォローを行うようにする。ただし、ユーザＵ１に知覚される態様でユーザＵ２に対するフォローを行うと、ユーザＵ１は、勝手に自分の気持ちをユーザＵ２に伝えてほしくないと考えることも想定される。一方、ユーザＵ１に知覚される態様でユーザＵ２に対するフォローを行うと、ユーザＵ２はいたたまれない気持ちになることも想定される。そこで、本実施形態では、ユーザＵ２のユーザＵ１に対する負債感情に関する度合が高い場合には、ユーザＵ１に知覚され難い態様でユーザＵ２に対するフォローを行うようにする。なお、ユーザＵ１に知覚され難い態様については、後述する。また、第１閾値は、ユーザの負債感情が高いことを判定するための閾値であり、実験データ等に基づいて適宜設定可能である。
図５（Ｄ）には、ユーザＵ２の負債感情に関する度合が第１閾値以上の場合のエージェント機器２００の態様例を示す。この場合には、ユーザＵ２のユーザＵ１に対する負債感情に関する度合が高いため、ユーザＵ２に対するフォローを行うようにする。ただし、ユーザＵ１に知覚される態様でユーザＵ２に対するフォローを行うと、ユーザＵ１は、勝手に自分の気持ちをユーザＵ２に伝えてほしくないと考えることも想定される。一方、ユーザＵ１に知覚される態様でユーザＵ２に対するフォローを行うと、ユーザＵ２はいたたまれない気持ちになることも想定される。そこで、本実施形態では、ユーザＵ２のユーザＵ１に対する負債感情に関する度合が高い場合には、ユーザＵ１に知覚され難い態様でユーザＵ２に対するフォローを行うようにする。なお、ユーザＵ１に知覚され難い態様については、後述する。また、第１閾値は、ユーザの負債感情が高いことを判定するための閾値であり、実験データ等に基づいて適宜設定可能である。
【0108】
図５（Ｄ）に示すように、ユーザＵ１に対するユーザＵ２の負債感情を緩和させるような表情としたエージェント機器２００がユーザＵ２の方向を向き、「寒いもんね。しょうがないよ」の音声情報Ｓ１４を発する。なお、駆動部２３０の回転動作により、エージェント機器２００の顔部をユーザＵ２の方向に向けることが可能である。ただし、エージェント機器２００の表示部２１０の表示内容を変更することにより、エージェント機器２００の顔部をユーザＵ２の方向に向けることが可能である。例えば、球体のエージェント機器２００の顔部における眼部、口部の表示位置を、ユーザＵ２の方向に移動させることにより、エージェント機器２００の顔部をユーザＵ２の方向に向けることが可能である。
【0109】
また、ユーザＵ２の負債感情を緩和させるような表情は、例えば、ユーザＵ２に同調する表情、ユーザＵ２に協調する表情、ユーザＵ２に共感する表情、ユーザＵ２に謝罪する表情等である。また、ユーザＵ１に対するユーザＵ２の負債感情を緩和させるような振舞いをエージェント機器２００に実行させてもよい。例えば、図５（Ｄ）に示すように、エージェント機器２００を振動させることにより、寒さで震えるユーザＵ２に同調、共感する振舞いを実現することが可能である。また、手足等を用いて、寒さで震えるユーザＵ２に同調、共感する振舞いを実現してもよい。これにより、ユーザＵ１に対する負債感情が生じたユーザＵ２に対して適切なフォローを行うことができ、ユーザＵ２の負債感情を解消することが可能となる。例えば、ユーザＵ２に生じた謝罪の気持ちを抑制することが可能である。
【0110】
図５（Ｄ）では、エージェント機器２００の顔部をユーザＵ２の方向に向けた状態でエージェント機器２００に所定の振舞いをさせる態様を、ユーザＵ１に知覚され難い態様とする例を示した。ただし、ユーザＵ１に知覚され難い態様として、エージェント機器２００に他の態様をさせてもよい。例えば、ユーザＵ１に知覚され難い態様として、ユーザＵ１に知覚され難い方法で演出をエージェント機器２００に実行させる第１態様と、ユーザＵ１に知覚され難いタイミングで演出をエージェント機器２００に実行させる第２態様とのうちの少なくとも１つを実行することが可能である。
【0111】
なお、他のユーザに知覚され難い態様は、例えば、他のユーザに気づかれない態様、他のユーザに認識され難い態様、他のユーザに視認され難い態様等と称することも可能である。
【0112】
［ユーザに知覚され難い方法の例］
第１態様（ユーザＵ１に知覚され難い方法）は、例えば、エージェント機器２００をユーザＵ２の方向に向けた状態でエージェント機器２００に所定の振舞いをさせる態様（第１Ａ態様）、ユーザＵ２にだけ聞こえる音をエージェント機器２００から出力させる態様（第１Ｂ態様）、情報処理装置１１０（又はエージェント機器２００）の制御に基づいてユーザＵ２が所持する電子機器ＭＣ２から所定情報を出力させる態様（第１Ｃ態様）、情報処理装置１１０（又はエージェント機器２００）の制御に基づいて他の表示領域から所定情報を表示させる態様（第１Ｄ態様）等である。
第１態様（ユーザＵ１に知覚され難い方法）は、例えば、エージェント機器２００をユーザＵ２の方向に向けた状態でエージェント機器２００に所定の振舞いをさせる態様（第１Ａ態様）、ユーザＵ２にだけ聞こえる音をエージェント機器２００から出力させる態様（第１Ｂ態様）、情報処理装置１１０（又はエージェント機器２００）の制御に基づいてユーザＵ２が所持する電子機器ＭＣ２から所定情報を出力させる態様（第１Ｃ態様）、情報処理装置１１０（又はエージェント機器２００）の制御に基づいて他の表示領域から所定情報を表示させる態様（第１Ｄ態様）等である。
【0113】
第１Ａ態様では、例えば、図５（Ｄ）に示すように、エージェント機器２００の顔部をユーザＵ２の方向に向けた状態で、エージェント機器２００に所定の振舞い（震える動き）をさせることが可能である。
【0114】
また、第１Ａ態様では、例えば、エージェント機器２００の顔部をユーザＵ２の方向に向けた状態で、エージェント機器２００に所定の口の動作をさせることが可能である。この口の動作として、例えば、所定の音声（例えば、しょうがないよ）を発する口元の動き（いわゆる、口パク）を実行することが可能である。
【0115】
また、エージェント機器２００に所定の口の動作をさせる代わりに、エージェント機器２００の表示部２１０に所定情報（例えば、テキスト情報「寒いもんね。しょうがないよ」）を表示してもよい。この例を図６（Ｄ１）に示す。図６（Ｄ１）に示すように、エージェント機器２００の表示部２１０をユーザＵ２の方向に向けた状態で、表示部２１０に所定情報ＴＸ１（例えば、文字「しょうがないよ」）を表示させて第１態様とすることが可能である。なお、表示部２１０に他の情報（例えば、寒さを共感するような画像）を表示させて第１態様としてもよい。
【0116】
第１Ｂ態様では、図５（Ｄ）に示すように、エージェント機器２００の顔部をユーザＵ２の方向に向けた状態で、ユーザＵ２にだけ聞こえる音をエージェント機器２００の音出力部２２０から出力させることが可能である。なお、エージェント機器２００の音出力部２２０を構成するスピーカのうちの少なくとも１つが、ユーザＵ２の耳の近くに配置されている場合には、ユーザＵ２の耳の近くに配置されているスピーカから小さい音を発することにより、ユーザＵ２にだけ聞こえるようにすることが可能である。また、エージェント機器２００の音出力部２２０を構成するスピーカのうちの少なくとも１つが指向性スピーカである場合には、その指向性スピーカから小さい音をユーザＵ２に向けて発することにより、ユーザＵ２にだけ聞こえるようにすることが可能である。
【0117】
このように、第１Ａ及び第１Ｂ態様では、負債感情を緩和させる振舞いをエージェント機器２００に表現させたり、負債感情を緩和させる表情をエージェント機器２００に表現させたり、負債感情を緩和させる音声をエージェント機器２００から出力させたりする。なお、負債感情を緩和させる振舞いは、例えば、ユーザＵ２の眼を見つめる動き、ユーザＵ２を見ながらうなずく動き、ユーザＵ２を見ながら行う所定の口の動き、エージェント機器２００の表面において所定画像又は所定文字を表示させることとのうちの少なくとも１つとすることが可能である。
【0118】
第１Ｃ態様では、情報処理装置１１０（又はエージェント機器２００）の制御に基づいて、ユーザＵ２が所持する電子機器ＭＣ２から所定情報を出力させることが可能である。この例を図６（Ｄ２）に示す。例えば、電子機器ＭＣ２の表示部３０において所定情報（例えば、文字「寒いもんね。しょうがないよ。」）を表示させてもよく、電子機器ＭＣ２の音声出力部から小さい音で所定情報（例えば、文字「寒いもんね。しょうがないよ。」）を出力させてもよい。また、例えば、電子機器ＭＣ２の表示部３０において他の情報（例えば、エージェント機器２００の共感するような笑顔）を表示させてもよい。
【0119】
ここで、ユーザＵ１が所持する電子機器ＭＣ１と、ユーザＵ２が所持する電子機器ＭＣ２とを識別する識別方法について説明する。例えば、車両Ｃ１に乗車するユーザが、自己が所持する電子機器を車両Ｃ１に予め登録しておくことが考えられる。例えば、ユーザを識別可能なユーザ識別情報（例えば、顔識別情報、音声識別情報）と、電子機器の機器識別情報とを関連付けて情報処理装置１１０に登録しておき、これらの各識別情報に基づいて、各座席のユーザが所持する電子機器を判定することが可能である。例えば、カメラ１０１により取得された画像に含まれるユーザの顔画像とユーザ識別情報（例えば、顔識別情報）とに基づいて、各座席に座っているユーザを認識可能である。この場合には、公知の個人認識技術を用いることが可能である。例えば、助手席に座っているユーザの顔がユーザＵ２の顔であることを識別可能である。この場合には、助手席に座っているユーザＵ２が所持する電子機器Ｍ２を認識可能である。これにより、エージェント制御部１２５は、所定情報を出力させる電子機器ＭＣ２を所持するユーザＵ２が助手席に着座していることを把握することが可能である。そして、エージェント制御部１２５は、ユーザＵ２に対する所定情報を電子機器ＭＣ２から出力させることが可能である。
【0120】
また、例えば、情報処理装置１１０は、車両Ｃ１に乗車するユーザが所持する電子機器から発信されている電波を検出することが可能である。そこで、例えば、電子機器の機器識別情報のみを情報処理装置１１０に予め登録しておき、各電子機器の電波強度を用いて、登録された電子機器の位置を判定してもよい。例えば、車両Ｃ１の車室内に複数のアンテナを設定しておき、これらの各アンテナにより受信される各電子機器の電波強度に基づいて各電子機器の位置を推定可能である。なお、この位置推定については、公知の位置推定技術を用いることが可能である。この場合には、助手席の位置に電子機器Ｍ２が存在することを認識可能である。これにより、エージェント制御部１２５は、助手席に着座しているユーザＵ２が、所定情報を出力させる電子機器ＭＣ２を所持していることを把握することが可能である。
【0121】
また、例えば、ユーザが車両Ｃ１に乗り込む際に、そのユーザが所持する電子機器を検出してもよい。例えば、複数のユーザが時間差で車両Ｃ１に乗り込む場合を想定する。この場合には、車両Ｃ１に乗り込むユーザが所持する電子機器から発信されている電波を順次検出することが可能である。また、車両Ｃ１に乗り込むユーザが座る座席については、センサ類１０４（例えば、着座センサ、シートベルトセンサ）、カメラ１０１からの各情報に基づいて検出が可能である。そこで、このような場合には、制御部１２０は、新たに検出された電子機器と、その検出タイミング（又はその検出直後のタイミング）で着座が検出された座席の位置とを関連付けて記憶部１３０のユーザ状態ＤＢ１３６に記録することが可能である。例えば、最初にユーザＵ２が助手席側に車両Ｃ１に乗り込み、次にユーザＵ１が運転席側に車両Ｃ１に乗り込む場合を想定する。この場合には、制御部１２０は、最初に検出された電子機器ＭＣ２と、その検出タイミングで着座が検出された助手席の位置とを関連付けてユーザ状態ＤＢ１３６に記録する。そして、制御部１２０は、次に検出された電子機器ＭＣ１と、その検出タイミングで着座が検出された運転席の位置とを関連付けてユーザ状態ＤＢ１３６に記録する。これにより、エージェント制御部１２５は、助手席に着座しているユーザＵ２が、所定情報を出力させる電子機器ＭＣ２を所持していることを把握することが可能である。
【0122】
なお、複数のユーザが車両Ｃ１に略同時に乗り込むことも想定される。この場合には、上述した方法で着座位置と電子機器とを関連付けることができないことも想定される。そこで、複数のユーザが車両Ｃ１に略同時に乗り込む場合には、制御部１２０は、車両Ｃ１に乗り込む各ユーザが所持する各電子機器から発信されている各電波を順次検出する。そして、制御部１２０は、電波が検出された各電子機器に、座席を選択するための選択ボタン（例えば、運転席ボタン、助手席ボタン）を表示させる。例えば、助手席に座ったユーザＵ２は、電子機器ＭＣ２の表示部３０に表示された選択ボタンのうちから助手席ボタンを選択する。この選択された座席に関する座席情報が電子機器ＭＣ２から情報処理装置１１０に送信されると、制御部１２０は、その座席情報に対応する助手席の位置と、この座席情報を送信した電子機器ＭＣ２とを関連付けてユーザ状態ＤＢ１３６に記録する。他の座席と電子機器とについても同様に記録することが可能である。これにより、エージェント制御部１２５は、助手席に着座しているユーザＵ２が、所定情報を出力させる電子機器ＭＣ２を所持していることを把握することが可能である。なお、これらは、一例であり、他の方法を用いてもよい。
【0123】
また、第１Ｄ態様では、情報処理装置１１０（又はエージェント機器２００）の制御に基づいて、車両Ｃ１のＨＵＤ（Head Up Display）に所定情報を表示させることが可能である。この例を図６（Ｄ３）に示す。この場合には、ダッシュボード２の上部において、フロントウインド４との境界付近に、ＨＵＤを実現するためのＨＵＤ表示装置を設ける。なお、図６（Ｄ３）では、説明を容易にするため、ユーザＵ２の頭の輪郭を点線で簡略化して示す。
【0124】
ＨＵＤ表示装置は、フロントウインド４の表示領域４ａに光を投射して、その反射光を利用してユーザＵ１、Ｕ２に虚像を見せるＨＵＤ表示を実現するための表示装置、例えばプロジェクタ、光学系である。すなわち、ＨＵＤ表示装置からフロントウインド４の表示領域４ａに投射された光は、フロントウインド４により反射され、その反射光がユーザＵ１、Ｕ２の眼に向かう。そして、表示領域４ａに投射されてユーザＵ１、Ｕ２の眼に入った反射光は、フロントウインド４越しに見える実際の物体とともに、その物体に重畳されて表示される。このように、ＨＵＤ表示装置は、フロントウインド４を用いて虚像を表示することにより、ＨＵＤ表示を実現する。
【0125】
例えば、ＨＵＤ表示装置は、情報処理装置１１０（図４参照）の制御に基づいて、所定情報ＴＸ２（例えば、文字「寒いもんね。しょうがないよ。」）を表示領域４ａに表示させる。また、フロントウインド４は、車両Ｃ１のＨＵＤの表示媒体として機能する。また、例えば、表示領域４ａにおいて他の情報（例えば、エージェント機器２００の共感するような笑顔）を表示させてもよい。
【0126】
［ユーザに知覚され難いタイミング例］
第２態様（ユーザＵ１に知覚され難いタイミング）は、例えば、ユーザＵ１が何らかのことに集中している度合いに基づいて設定されるタイミング（第１タイミング）、エージェント機器２００が存在する場所からユーザＵ１が離れたタイミング（第２タイミング）である。
第２態様（ユーザＵ１に知覚され難いタイミング）は、例えば、ユーザＵ１が何らかのことに集中している度合いに基づいて設定されるタイミング（第１タイミング）、エージェント機器２００が存在する場所からユーザＵ１が離れたタイミング（第２タイミング）である。
【0127】
ユーザＵ１が何らかのことに集中している度合いは、例えば、車両Ｃ１における運転シーンに基づいて判定可能である。例えば、車両Ｃ１が走行している道路の形状に基づいて判定可能である。例えば、車両Ｃ１が走行している道路が山道であり、かつ、カーブが続いているような場合には、ユーザＵ１が運転に集中している度合いが高いと判定される。また、例えば、車両Ｃ１が走行している道路が狭い道である場合、車両Ｃ１の車速が速い場合等には、ユーザＵ１が運転に集中している度合いが高いと判定される。なお、車両Ｃ１が走行している道路の形状については、例えば、カメラ１０１により取得された車両Ｃ１の周囲の画像（例えば、車両Ｃ１の前方の画像）に基づいて取得可能である。また、位置情報取得センサ１０２により取得された車両Ｃ１の現在地と、地図情報ＤＢ１３４に格納されている地図情報とに基づいて取得可能である。また、車両Ｃ１の車速については、車速センサに基づいて取得可能である。
【0128】
また、例えば、車両Ｃ１を運転しているユーザＵ１の眼球の動きに基づいて運転シーンを判定可能である。例えば、ユーザＵ１の眼球が左右方向に頻繁に動いているような場合には、ユーザＵ１が運転に集中している度合いが高いと判定される。なお、ユーザＵ１の眼球の動きについては、例えば、カメラ１０１により取得されたユーザＵ１の顔画像に基づいて取得可能である。
【0129】
このように、ユーザＵ１のセンシングと、運転シーンとのうちの少なくとも１つに基づいて、ユーザＵ１が何らかのことに集中している度合いを判定可能である。なお、他の情報に基づいて、ユーザＵ１が何らかのことに集中している度合いを判定してもよい。そして、ユーザＵ１が何らかのことに集中している度合いが高いと判定された場合には、ユーザＵ１に知覚され難いタイミングであると判定可能である。
【0130】
エージェント機器２００が存在する場所からユーザＵ１が離れたタイミング（第２タイミング）は、例えば、ユーザＵ１が車両Ｃ１を降車したか否かに基づいて判定可能である。例えば、ユーザＵ１がトイレ休憩等で車両Ｃ１を降車した場合には、エージェント機器２００が存在する場所からユーザＵ１が離れたと判定可能である。この場合には、ユーザＵ１に知覚され難いタイミングであると判定可能である。なお、エージェント機器２００が存在する場所からユーザＵ１が離れたか否かについては、ユーザＵ１が車両Ｃ１から降りたか否かを各種センサにより検出し、その検出結果に基づいて判定可能である。
【0131】
例えば、ユーザＵ２に負債感情が生じたと判定されてから比較的長い時間が経過したような場合には、ユーザＵ２に対する演出（負債感情を緩和させる演出）の効果が薄れる可能性もある。そこで、ユーザＵ２に負債感情が生じたと判定されてからの経過時間に基づいて、ユーザＵ１に知覚され難いタイミングでユーザＵ２に対する演出（負債感情を緩和させる演出）を実行するか否かを決定してもよい。
【0132】
例えば、車両Ｃ１が走行する道路が高速道路等のシンプルな道が続いている場合には、３０分程度の時間を、ユーザＵ１に知覚され難いタイミングでユーザＵ２に対する演出（負債感情を緩和させる演出）を実行する時間として設定することが可能である。この場合には、ユーザＵ２に負債感情が生じたと判定されてからその設定時間（３０分程度）が経過した場合には、他の態様（第１態様）でユーザＵ２に対する演出（負債感情を緩和させる演出）を実行するようにする。例えば、第１Ａ態様、第１Ｂ態様、第１Ｃ態様、第１Ｄ態様のぞれぞれについて優先度を設定しておき、この優先度に基づいて第１Ａ態様、第１Ｂ態様、第１Ｃ態様、第１Ｄ態様から実施態様を選択してもよい。この優先度として、例えば、早くフォローができる態様の優先度を高く設定することが可能である。
【0133】
なお、ユーザＵ１、Ｕ２に関する生体情報等に基づいて、ユーザＵ１に知覚され難いタイミングでユーザＵ２に対する演出（負債感情を緩和させる演出）を実行する制限時間を設定してもよい。例えば、ユーザＵ１、Ｕ２の表情に基づいて、その制限時間を設定してもよい。例えば、ユーザＵ２に負債感情が生じたと判定された後に、ユーザＵ２の暗い表情と、ユーザＵ１の怒りの表情とが継続して検出されている場合には、その制限時間を比較的長い時間として設定してもよい。一方、例えば、ユーザＵ２に負債感情が生じたと判定された後に、ユーザＵ２の笑顔が検出された場合には、ユーザＵ２に対する演出（負債感情を緩和させる演出）を中止してもよい。このように、ユーザＵ１、Ｕ２に関する生体情報等に基づいて、ユーザＵ２に対するフォローをするタイミングを変更してもよい。
【0134】
［他のユーザに知覚され難い態様で、対象ユーザに対して不満感情を緩和させる演出を実行する例］
図５（Ｅ）には、ユーザＵ２の負債感情に関する度合が第１閾値以上であり、かつ、ユーザＵ１の不満感情に関する度合が第２閾値以上である場合のエージェント機器２００の態様例を示す。この場合には、ユーザＵ１のユーザＵ２に対する不満感情が高いため、ユーザＵ１の不満に対するフォローを行うようにする。ただし、ユーザＵ２に知覚される態様でユーザＵ１の不満に対するフォローを行うと、ユーザＵ２は、勝手に自分の気持ちをユーザＵ１に伝えてほしくないと考えることも想定される。一方、ユーザＵ２に知覚される態様でユーザＵ１の不満に対するフォローを行うと、ユーザＵ１は怒りの気持ちが増加することも想定される。そこで、本実施形態では、ユーザＵ１のユーザＵ２に対する不満感情に関する度合が高い場合には、ユーザＵ２に知覚され難い態様でユーザＵ１の不満に対するフォローを行うようにする。なお、ユーザＵ２に知覚され難い態様については、上述した負債感情のフォローを行う場合と同様である。また、第２閾値は、ユーザの不満感情が高いことを判定するための閾値であり、実験データ等に基づいて適宜設定可能である。
図５（Ｅ）には、ユーザＵ２の負債感情に関する度合が第１閾値以上であり、かつ、ユーザＵ１の不満感情に関する度合が第２閾値以上である場合のエージェント機器２００の態様例を示す。この場合には、ユーザＵ１のユーザＵ２に対する不満感情が高いため、ユーザＵ１の不満に対するフォローを行うようにする。ただし、ユーザＵ２に知覚される態様でユーザＵ１の不満に対するフォローを行うと、ユーザＵ２は、勝手に自分の気持ちをユーザＵ１に伝えてほしくないと考えることも想定される。一方、ユーザＵ２に知覚される態様でユーザＵ１の不満に対するフォローを行うと、ユーザＵ１は怒りの気持ちが増加することも想定される。そこで、本実施形態では、ユーザＵ１のユーザＵ２に対する不満感情に関する度合が高い場合には、ユーザＵ２に知覚され難い態様でユーザＵ１の不満に対するフォローを行うようにする。なお、ユーザＵ２に知覚され難い態様については、上述した負債感情のフォローを行う場合と同様である。また、第２閾値は、ユーザの不満感情が高いことを判定するための閾値であり、実験データ等に基づいて適宜設定可能である。
【0135】
図５（Ｅ）に示すように、ユーザＵ２に対するユーザＵ１の不満感情を緩和させるような表情としたエージェント機器２００がユーザＵ１の方向を向き、「あなたの意見を採用しなくてごめんね」の音声情報Ｓ１５を発する。なお、駆動部２３０の回転動作により、エージェント機器２００の顔部をユーザＵ１の方向に向けることが可能である。また、上述した負債感情のフォローを行う場合と同様に、エージェント機器２００の表示部２１０の表示内容を変更することにより、エージェント機器２００の顔部をユーザＵ２の方向に向けることが可能である。
【0136】
また、ユーザＵ１の不満感情を緩和させるような表情は、例えば、ユーザＵ１に同調する表情、ユーザＵ１に協調する表情、ユーザＵ１に共感する表情等である。また、ユーザＵ２に対するユーザＵ１の不満感情を緩和させるような振舞いをエージェント機器２００に実行させてもよい。例えば、図５（Ｅ）に示すように、エージェント機器２００の表面に汗を表示させることにより、焦った表現でユーザＵ１に同調、共感、謝罪する振舞いを実現することが可能である。また、手足等を用いて、不満を持ったユーザＵ１に同調、共感、謝罪する振舞いを実現してもよい。また、申し訳ない顔の表情とともに、だまってお辞儀のみをする振舞いをエージェント機器２００に実行させてもよい。これにより、ユーザＵ２に対する不満感情が生じたユーザＵ１に対して適切なフォローを行うことができ、ユーザＵ１の不満感情を解消することが可能となる。例えば、ユーザＵ２に知覚され難い態様で、不満を感じさせたことをユーザＵ１に謝ることが可能となる。
【0137】
なお、ユーザＵ１の不満感情を緩和させる演出については、ユーザＵ２の負債感情を緩和させる演出の一部を変更して適宜設定可能である。
【0138】
図５（Ｆ）には、ユーザＵ２の負債感情に関する度合が第１閾値未満であるが、ユーザＵ１の不満感情に関する度合が第２閾値以上である場合のエージェント機器２００の態様例を示す。この場合についても、図５（Ｅ）に示す例と同様に、ユーザＵ１のユーザＵ２に対する不満感情が高いため、ユーザＵ１の不満に対するフォローを行うようにする。ただし、この場合には、ユーザＵ２の負債感情に関する度合が第１閾値未満であるため、ユーザＵ２の負債感情を緩和させるための演出は実行しない。
【0139】
［情報処理装置の動作例］
図７は、情報処理装置１１０における制御処理の一例を示すフローチャートである。また、この制御処理は、記憶部１３０に記憶されているプログラムに基づいて制御部１２０により実行される。また、この制御処理は、車両Ｃ１の乗員からエージェント機器２００に対する何らかの指示が出されたタイミングで実行される。また、この制御処理では、図１乃至図６を適宜参照して説明する。
図７は、情報処理装置１１０における制御処理の一例を示すフローチャートである。また、この制御処理は、記憶部１３０に記憶されているプログラムに基づいて制御部１２０により実行される。また、この制御処理は、車両Ｃ１の乗員からエージェント機器２００に対する何らかの指示が出されたタイミングで実行される。また、この制御処理では、図１乃至図６を適宜参照して説明する。
【0140】
ステップＳ５０１において、指示受付部１２１は、車両Ｃ１の乗員からエージェント機器２００に対して出された指示を取得する。指示受付部１２１は、例えば、音声入力部１０３により取得された車両Ｃ１の乗員の声、カメラ１０１により取得された車両Ｃ１の乗員の各動作（例えば、顔の表情、手の動き）、センサ類１０４により取得された車両Ｃ１の乗員による操作内容等に基づいて、エージェント機器２００に対する指示を取得可能である。なお、図７では、車両Ｃ１に２人のユーザＵ１、Ｕ２が乗車している場合の例を示す。
【0141】
ステップＳ５０２において、指示受付部１２１は、複数のユーザから相反する異なる複数の指示がされたか否かを判定する。具体的には、指示受付部１２１は、ステップＳ５０１で取得された指示が、複数のユーザからの指示であり、かつ、それらの各指示が相反する異なる指示である場合には、複数のユーザから相反する異なる複数の指示がされたと判定する。例えば、略同じタイミングで、ユーザＵ１が「ラジオ局Ａをかけて」の指示を出し、ユーザＵ２が「ラジオ局Ｂをかけて」の指示を出した場合には、複数のユーザから相反する異なる複数の指示が出されたと判定される。また、例えば、略同じタイミングで、ユーザＵ１が「エアコンの温度を下げて」の指示を出し、ユーザＵ２が「エアコンの温度を上げて」の指示を出した場合には、複数のユーザから相反する異なる複数の指示が出されたと判定される。一方、例えば、略同じタイミングで、ユーザＵ１が「エアコンの温度を下げて」の指示を出し、ユーザＵ２が「ラジオ局Ｂをかけて」の指示を出した場合には、複数のユーザから相反する異なる複数の指示が出されていないと判定される。複数のユーザから相反する異なる複数の指示が出された場合には、ステップＳ５０４に進む。一方、複数のユーザから相反する異なる複数の指示が出されていない場合には、ステップＳ５０３に進む。
【0142】
ステップＳ５０３において、エージェント制御部１２５は、ユーザからの指示に基づく処理を実行する。具体的には、エージェント制御部１２５は、ステップＳ５０１で取得された指示に基づいて、その指示に応じた処理を実行する。例えば、略同じタイミングで、ユーザＵ１が「エアコンの温度を下げて」の指示を出し、ユーザＵ２が「ラジオ局Ｂをかけて」の指示を出した場合には、エージェント制御部１２５は、それらの各指示に応じた処理を連続して、又は、同時に実行する。
【0143】
ステップＳ５０４において、指示受付部１２１は、ステップＳ５０１で取得された複数の指示のうちから処理対象とする指示を選択し、エージェント制御部１２５は、その選択された指示に基づく処理を実行する。この選択処理については、上述した選択処理と同様に、各ユーザに関する生体情報、各ユーザの発話内容、各ユーザの動作、各ユーザの周囲の環境等に基づいて実行される。この場合に、損得感情判定部１２２は、処理対象として選択された指示を出したユーザ（第１ユーザ）を得情報が生じたユーザと判定し、他のユーザ（第２ユーザ）を損情報が生じたユーザと判定する。
【0144】
ステップＳ５０５において、負債感情判定部１２３は、ステップＳ５０４で処理対象として選択された指示を出したユーザ（第１ユーザ）に関するセンシングを実行する。すなわち、損得感情判定部１２２により得情報が生じたと判定された第１ユーザに関するセンシングが実行される。そして、負債感情判定部１２３は、第１ユーザの第２ユーザに対する負債感情に関する度合を算出する。具体的には、負債感情判定部１２３は、各センサから取得された各情報に基づいて、負債感情に関する度合を算出する。この負債感情に関する度合の算出方法については、上述した算出方法と同様である。
【0145】
ステップＳ５０６において、負債感情判定部１２３は、ステップＳ５０５で算出された負債感情に関する度合が第１閾値以上であるか否かを判定する。負債感情に関する度合が第１閾値以上である場合には、ステップＳ５０７に進む。一方、負債感情に関する度合が第１閾値未満である場合には、ステップＳ５１２に進む。なお、第１閾値は、上述した第１閾値と同様である。
【0146】
ここで、センシングの確信度が高い場合には、そのセンシングに基づく制御部１２０の各処理の確信度も高いと想定される。一方、センシングの確信度が低い場合には、そのセンシングに基づく制御部１２０の各処理の確信度も低いと想定される。例えば、センシングの確信度が高い場合には、第１ユーザの負債感情等を適切に判定可能となる。このため、センシングの確信度が閾値以上であることを条件にステップＳ５０５以降の各処理に進むようにしてもよい。このように、センシングの確信度に基づいて、エージェント機器２００の態様を制御する制御処理の要否を決定することにより、エージェント機器２００がユーザに理解できない行動をとるリスクを分岐させておくことが可能である。
【0147】
ステップＳ５０７において、不満感情判定部１２４は、各センサから取得された各情報に基づいて、第１ユーザ以外の他のユーザ（第２ユーザ）に関するセンシングを実行する。具体的には、不満感情判定部１２４は、各センサから取得された各情報に基づいて、第２ユーザの指示の不採用に対する不満感情に関する度合を算出する。この不満感情に関する度合の算出方法については、上述した算出方法と同様である。なお、３人以上のユーザが存在する場合には、複数のユーザのうちの少なくとも１人に負債感情が生じ、複数のユーザのうちの少なくとも１人に不満感情が生じることも想定される。このような場合についても同様に、損得感情判定部１２２による判定結果に基づいて、第１ユーザ、第２ユーザを設定し、第１ユーザ、第２ユーザのそれぞれについてセンシングを実行して、負債感情に関する度合、不満感情に関する度合を算出するようにする。
【0148】
ステップＳ５０８において、不満感情判定部１２４は、ステップＳ５０７で算出された不満感情に関する度合が第２閾値以上であるか否かを判定する。不満感情に関する度合が第２閾値以上である場合には、ステップＳ５０９に進む。一方、不満感情に関する度合が第２閾値未満である場合には、ステップＳ５１１に進む。なお、第２閾値は、上述した第２閾値と同様である。
【0149】
ステップＳ５０９において、エージェント制御部１２５は、第２ユーザに知覚され難い態様で第１ユーザの負債感情を緩和させる演出をエージェント機器２００に実行させる制御を行う。例えば、図５（Ｄ）、図６（Ｄ１）乃至（Ｄ３）に示す態様で第１ユーザの負債感情を緩和させる演出をエージェント機器２００に実行させることが可能である。
【0150】
ステップＳ５１０において、エージェント制御部１２５は、第１ユーザに知覚され難い態様で第２ユーザに謝罪する演出をエージェント機器２００に実行させる制御を行う。例えば、図５（Ｅ）、（Ｆ）に示す態様で第２ユーザの不満感情を緩和させる演出をエージェント機器２００に実行させることが可能である。
【0151】
なお、ステップＳ５１１の処理は、ステップＳ５０９に対応するため、ここでの説明を省略する。また、ステップＳ５１２乃至Ｓ５１４の各処理は、ステップＳ５０７、Ｓ５０８、Ｓ５１０に対応するため、ここでの説明を省略する。このように、第１ユーザの第２ユーザに対する負債感情に関する度合が第１閾値未満であり、かつ、第２ユーザの指示の不採用に対する不満感情に関する度合が第２閾値以上である場合には、第１ユーザに対するフォロー（ステップＳ５０９）を実行せずに、第２ユーザに対するフォロー（ステップＳ５１４）のみを実行する。
【0152】
ステップＳ５１５において、エージェント制御部１２５は、困惑する演出をエージェント機器２００に実行させる制御を行う。例えば、図３（Ｇ）に示す態様をエージェント機器２００に実行させることが可能である。例えば、困惑した表情のエージェント機器２００をユーザＵ１、Ｕ２の両者に示し、「正解だったかな？」等の音声情報をエージェント機器２００から出力させてもよい。
【0153】
ここで、寒さに震えるユーザＵ２が、暑そうなユーザＵ１のことを考えて、本心ではない指示（エアコンの温度を下げて）をすることも想定される。このように、採用された指示が本心ではない場合には、本心ではない指示を出したユーザには、他のユーザに対する負債感情等が生じることは少ないと想定される。そこで、採用された指示が本心ではないと推定された場合には、その指示を出したユーザは自身が損をする指示を敢えて行ったと考え、特定感情を緩和させる演出をエージェント機器２００に実行させないようにしてもよい。又は、異なるフォローをしてもよい。例えば、「本当は、寒かったんでしょ」、「相手のことを考えたのね」等の音声を出力する演出、ユーザＵ２を褒め称える振舞い等の演出を実行してもよい。
【0154】
なお、指示がユーザの本心であるか否かについては、ユーザに関する生体情報と、発話内容と、動作とのうちの少なくとも１つに基づいて推定可能である。例えば、ユーザの表情に基づいて嘘を発見する画像認識技術、ユーザの声に基づいて嘘を発見する音声認識技術を用いることが可能である。
【0155】
図７では、負債感情が生じたユーザと、不満感情が生じたユーザとの双方に対するフォローを実行する例を示した。ただし、これらの一部を省略してもよい。例えば、負債感情が生じたユーザに対するフォローのみを実行し、不満感情が生じたユーザに対するフォローを省略してもよい。この場合には、ステップＳ５０７、Ｓ５０８、Ｓ５１０乃至Ｓ５１５の各処理を省略することが可能である。
【0156】
すなわち、図７では、第１ユーザ及び第２ユーザの双方に関するセンシングを実行する例を示すが、第２ユーザに関するセンシング（ステップＳ５０７、Ｓ５１２）を省略し、第１ユーザに関するセンシング（ステップＳ５０５）のみを実行してもよい。この場合には、第２ユーザに関するセンシングを実行せずに（又は、第２ユーザに関するセンシングが実行できなくても）、第１ユーザの負債感情のみを用いて、第２ユーザに知覚され難い態様で第１ユーザの感情を緩和させる演出を実行する（ステップＳ５０９）ことが可能である。
【0157】
また、図７では、ユーザからの指示に基づいてエージェント機器２００が各処理を実行する例を示した。ただし、ユーザの周囲の環境等に基づいてエージェント機器２００が各処理を自動で実行することも想定される。この場合についても、エージェント機器２００の処理結果に応じて、各ユーザには、得感情又は損感情、負債感情又は不満感情が生じることが想定される。そこで、ユーザの周囲の環境等に基づいてエージェント機器２００が各処理を自動で実行する場合の例を図８に示す。
【0158】
［情報処理装置の動作例］
図８は、情報処理装置１１０における制御処理の一例を示すフローチャートである。また、この制御処理は、記憶部１３０に記憶されているプログラムに基づいて制御部１２０により実行される。また、この制御処理は、エージェント機器２００がオン状態である場合に制御周期毎に常時実行される。また、この制御処理では、図１乃至図７を適宜参照して説明する。また、この制御処理は、図７に示す制御処理の一部を変形したものであるため、図７と共通する処理には、同一の符号を付してこれらの説明の一部を省略する。
図８は、情報処理装置１１０における制御処理の一例を示すフローチャートである。また、この制御処理は、記憶部１３０に記憶されているプログラムに基づいて制御部１２０により実行される。また、この制御処理は、エージェント機器２００がオン状態である場合に制御周期毎に常時実行される。また、この制御処理では、図１乃至図７を適宜参照して説明する。また、この制御処理は、図７に示す制御処理の一部を変形したものであるため、図７と共通する処理には、同一の符号を付してこれらの説明の一部を省略する。
【0159】
ステップＳ５２１において、エージェント制御部１２５は、車両Ｃ１に乗車する各ユーザ及びその周囲をセンシングする。
【0160】
ステップＳ５２２において、エージェント制御部１２５は、ステップＳ５２１でのセンシングに基づいて所定の処理を実行する。例えば、車両Ｃ１の周囲、ユーザＵ１、Ｕ２についてセンシングが実行され、車両Ｃ１の車室内の温度が所定温度以下であり、かつ、寒さに震えるユーザＵ２が検出された場合には、エージェント制御部１２５は、エアコンの設定温度を上げる制御を実行する。
【0161】
ステップＳ５２３において、負債感情判定部１２３は、車両Ｃ１に乗車する各ユーザをセンシングする。
【0162】
ステップＳ５２４において、負債感情判定部１２３は、車両Ｃ１に乗車する各ユーザの負債感情に関する度合、不満感情に関する度合をそれぞれ算出する。これらの各度合に基づいて、負債感情が生じたユーザ、不満感情が生じたユーザを判定可能となる。例えば、車両Ｃ１に２人のユーザＵ１、Ｕ２が乗車している場合には、一方に負債感情が生じると、他方に不満感情が生じる可能性がある。また、車両Ｃ１に３人のユーザが乗車している場合には、１人又は２人に負債感情が生じると、他の人に不満感情が生じる可能性がある。このように、複数のユーザのうち、負債感情に関する度合、不満感情に関する度合をそれぞれ算出し、負債感情が生じたユーザを第１ユーザとし、不満感情が生じたユーザを第２ユーザとする。例えば、車両Ｃ１の車室内の温度が所定温度以下であり、かつ、寒さに震えるユーザＵ２が検出された場合において、エアコンの設定温度を上げる制御が実行されたときには、ユーザＵ２には得した感情が生じるとともに、負債感情が生じることも想定される。
【0163】
このように、エージェント機器２００による自動的な処理の実行により、第１ユーザに負債感情が生じた場合、第２ユーザに知覚され難い態様で第１ユーザに対するフォローを実行することが可能である。
【0164】
図８では、負債感情が生じたユーザと、不満感情が生じたユーザとの双方に対するフォローを実行する例を示した。ただし、これらの一部を省略してもよい。例えば、負債感情が生じたユーザに対するフォローのみを実行し、不満感情が生じたユーザに対するフォローを省略してもよい。この場合には、ステップＳ５０７、Ｓ５０８、Ｓ５１０乃至Ｓ５１４の各処理、ステップＳ５２４の一部の処理を省略することが可能である。
【0165】
例えば、ステップＳ５２４では、車両Ｃ１に乗車する各ユーザの負債感情に関する度合のみを算出し、第２ユーザに関するセンシング（ステップＳ５０７、Ｓ５１２）を省略してもよい。この場合には、ステップＳ５０７、Ｓ５１２で第２ユーザに関するセンシングを実行せずに（又は、第２ユーザに関するセンシングが実行できなくても）、第１ユーザの負債感情のみを用いて、第２ユーザに知覚され難い態様で第１ユーザの感情を緩和させる演出を実行する（ステップＳ５０９）ことが可能である。
【0166】
なお、図８では、各ユーザに生じた負債感情、不満感情に基づいて、各ユーザに対するフォローを実行する例を示した。ただし、これらの各感情を用いずに、相対的に得をしたか損をしたかを判定して、各ユーザに対するフォローを実行してもよい。そこで、相対的に得をしたか損をしたかに基づいて、各ユーザに対するフォローを実行する場合の例を図９に示す。
【0167】
［情報処理装置の動作例］
図９は、情報処理装置１１０における制御処理の一例を示すフローチャートである。また、この制御処理は、記憶部１３０に記憶されているプログラムに基づいて制御部１２０により実行される。また、この制御処理は、エージェント機器２００がオン状態である場合に制御周期毎に常時実行される。また、この制御処理では、図１乃至図８を適宜参照して説明する。また、この制御処理は、図８に示す制御処理の一部を変形したものであるため、図８と共通する処理には、同一の符号を付してこれらの説明の一部を省略する。
図９は、情報処理装置１１０における制御処理の一例を示すフローチャートである。また、この制御処理は、記憶部１３０に記憶されているプログラムに基づいて制御部１２０により実行される。また、この制御処理は、エージェント機器２００がオン状態である場合に制御周期毎に常時実行される。また、この制御処理では、図１乃至図８を適宜参照して説明する。また、この制御処理は、図８に示す制御処理の一部を変形したものであるため、図８と共通する処理には、同一の符号を付してこれらの説明の一部を省略する。
【0168】
ステップＳ５３１において、損得感情判定部１３１は、車両Ｃ１に乗車する各ユーザの損得感情に関する度合を算出する。このように、複数のユーザのうち、得感情に関する度合、損感情に関する度合をそれぞれ算出し、得感情が生じたユーザを第１ユーザとし、損感情が生じたユーザを第２ユーザとする。例えば、車両Ｃ１の車室内の温度が所定温度以下であり、かつ、寒さに震えるユーザＵ２が検出された場合において、エアコンの設定温度を上げる制御が実行されたときには、ユーザＵ２には得感情が生じ、ユーザＵ１には損感情が生じると判定することが可能である。なお、損得感情に関する度合については、上述した負債感情に関する度合、不満感情に関する度合の算出方法と同様に、ユーザの生体情報等に基づいて算出が可能である。例えば、ユーザの表情、発話、動き等に基づいて損得感情に関する度合が算出可能である。
【0169】
ステップＳ５３２において、損得感情判定部１３１は、ステップＳ５３１で算出された第１ユーザの第２ユーザに対する得感情に関する度合が第３閾値以上であるか否かを判定する。得感情に関する度合が第３閾値以上である場合には、ステップＳ５０９に進む。一方、得感情に関する度合が第３閾値未満である場合には、制御処理の動作を終了する。なお、第３閾値は、ユーザの得債感情が高いことを判定するための閾値であり、実験データ等に基づいて適宜設定可能である。
【0170】
このように、エージェント機器２００による自動的な処理の実行により、第１ユーザが得した場合、第２ユーザに知覚され難い態様で第１ユーザに対するフォローを実行することが可能である。
【0171】
［車両以外に設置可能なエージェント機器の例］
以上では、車両Ｃ１に設置されるエージェント機器２００、車両Ｃ１に表示されるエージェント画像の例を示した。ただし、車両Ｃ１から取り外し可能なエージェント機器、車両以外に設置可能なエージェント機器等についても本実施形態を適用可能である。例えば、例えば、携帯型のエージェント機器を所持するユーザが、車両Ｃ１に乗車するときには、車両Ｃ１のダッシュボード２上にそのエージェント機器を設置し、車両Ｃ１から降りる場合には、ユーザがそのエージェント機器を所持して持ち歩くことも想定される。また、ユーザが家庭内でエージェント機器を使用することも想定される。また、エージェント画像（エージェント機器２００に相当）を表示させることが可能な各種機器（例えば、ゲーム機器、眼鏡型ディスプレイ、ＡＲ（Augmented Reality）グラス）を使用することも想定される。また、エージェント機器を制御可能なエレベータの制御装置、エージェント画像（エージェント機器２００に相当）を表示させることが可能なエレベータの制御装置についても適用可能である。
以上では、車両Ｃ１に設置されるエージェント機器２００、車両Ｃ１に表示されるエージェント画像の例を示した。ただし、車両Ｃ１から取り外し可能なエージェント機器、車両以外に設置可能なエージェント機器等についても本実施形態を適用可能である。例えば、例えば、携帯型のエージェント機器を所持するユーザが、車両Ｃ１に乗車するときには、車両Ｃ１のダッシュボード２上にそのエージェント機器を設置し、車両Ｃ１から降りる場合には、ユーザがそのエージェント機器を所持して持ち歩くことも想定される。また、ユーザが家庭内でエージェント機器を使用することも想定される。また、エージェント画像（エージェント機器２００に相当）を表示させることが可能な各種機器（例えば、ゲーム機器、眼鏡型ディスプレイ、ＡＲ（Augmented Reality）グラス）を使用することも想定される。また、エージェント機器を制御可能なエレベータの制御装置、エージェント画像（エージェント機器２００に相当）を表示させることが可能なエレベータの制御装置についても適用可能である。
【0172】
例えば、家庭内では、家庭内に設置されている各機器に関する制御を実行することが考えられる。例えば、お風呂を沸かす制御、調理器具での調理の制御、音楽を出力する制御、玄関のドア、窓を開ける制御等を実行することが想定される。これらの場合には、お風呂、各調理器具、ドア、窓、音声出力等に関する報知情報を提供することが想定される。
【0173】
例えば、複数のユーザからの指示に基づく処理、又は、センシングに基づく自動的な処理に対して、あるユーザに特定感情（負債感情、得感情）が生じた場合には、そのユーザに対して特定感情を緩和させるための演出を実行する。また、複数のユーザからの指示に基づく処理、又は、センシングに基づく自動的な処理に対して、あるユーザに不満感情（又は、損感情）が生じた場合には、そのユーザに対して不満感情を緩和させるための演出（例えば、謝罪演出）を実行する。なお、ユーザの特定感情、不満感情等については、上述した例と同様に、ユーザの生体情報（例えば、心拍、血脈）と、ユーザから発せられる音と、ユーザの外観（例えば、表情、動き）とに基づいて算出可能である。また、特定感情を緩和させるための演出については、図５（Ｄ）、図６（Ｄ１）乃至（Ｄ３）に示す例と同様である。また、不満感情を緩和させるための演出については、図５（Ｅ）（Ｆ）に示す例と同様である。なお、これらの各演出については、例えば、エージェント画像を表示可能な機器（例えば、ゲーム機器、眼鏡型ディスプレイ、ＡＲグラス）を用いて、エージェント画像に実行させてもよい。なお、これらの場合には、エージェント画像を表示可能な機器がエージェント機器２００に相当する。
【0174】
例えば、エレベータの制御装置が負債感情を緩和させる演出を実行する場合に、エレベータ内で音声を出力すると、全員に聞こえる可能性がある。そこで、特定の対象者だけにその演出に関する音声を伝えるようにする。例えば、エレベータに新たに乗った人に対して、「混雑しているけど、迷惑はかかっていないよ」、「あなたは急いでいるからしょうがないよね」等の音声を、指向性スピーカを用いてその人だけに伝わるように出力したり、それらを表現する表情のエージェント画像を、その人が所持する電子機器（例えば、スマートフォン）に表示したりすることが可能である。これらの各演出のうち一部の演出については、例えば、エレベータに新たに乗った人が、エレベータから降りた後のタイミングで実行してもよい。なお、エレベータに新たに乗った人の位置については、エレベータ内に設置されているカメラにより取得されたエレベータ内の画像に基づいて判定可能である。
【0175】
ここで、エレベータに新たに乗った人が所持する電子機器の検出方法について説明する。例えば、電子機器との無線通信が可能な通信部をエレベータ内に備える場合を想定する。この場合には、エレベータの制御装置は、エレベータに乗り込む人が所持する電子機器から発信されている電波を検出することが可能である。そこで、新たなユーザがエレベータに乗り込む際に新たに検出された電子機器を、その新たに乗った人が所持する電子機器として検出可能である。また、未登録の電子機器に情報を送信する送信方法については、公知の通信技術を用いることが可能である。
【0176】
このように、エレベータに元々乗っている人（ユーザＢ）と、エレベータに新たに乗る人（ユーザＡ）とについても、本実施形態を適用することが可能である。例えば、ユーザＡは、エレベータに乗るための指示（例えば、上下方向を指示するボタン操作）を行うが、ユーザＢは所定の階に移動することを指示しているものとする。この場合に、エレベータの制御装置は、ユーザＡの指示に基づいて、ユーザＡが存在する階で停止し、扉を開く制御を実行する。この場合には、ユーザＡ、Ｂが異なる指示を出した上で、エレベータの制御装置がユーザＡの指示を最初に採用することになる。このため、上述したように、ユーザＡがユーザＢに対して負債感情を持つことも想定される。このような場合には、エレベータの制御装置は、ユーザＢに知覚され難い態様でユーザＡに対するフォローを実行する。
【0177】
［本実施形態の効果例］
このように、本実施形態では、ユーザからの指示、周囲の環境情報等に基づいて、エージェント機器２００が実行する処理が決定される。この場合に、各ユーザのそれぞれの感情（例えば、損得感情、負債感情、不満感情）が推定され、特定の感情が発生したと推定されたユーザについては、そのユーザに対してエージェント機器２００が適切なフォローをするようにする。例えば、エージェント機器２００による処理の実行により得感情が生じたユーザが存在し、そのユーザが他のユーザに対して謝罪したいような感情（例えば、負債感情）が発生している場合には、そのユーザに対してその感情を緩和させる演出を実行する。このように、エージェント機器２００が自己の利益のためではなく、他のユーザのために行動しているように見える演出を実行することにより、ユーザの受容性と共感を高める演出を実現することが可能である。
このように、本実施形態では、ユーザからの指示、周囲の環境情報等に基づいて、エージェント機器２００が実行する処理が決定される。この場合に、各ユーザのそれぞれの感情（例えば、損得感情、負債感情、不満感情）が推定され、特定の感情が発生したと推定されたユーザについては、そのユーザに対してエージェント機器２００が適切なフォローをするようにする。例えば、エージェント機器２００による処理の実行により得感情が生じたユーザが存在し、そのユーザが他のユーザに対して謝罪したいような感情（例えば、負債感情）が発生している場合には、そのユーザに対してその感情を緩和させる演出を実行する。このように、エージェント機器２００が自己の利益のためではなく、他のユーザのために行動しているように見える演出を実行することにより、ユーザの受容性と共感を高める演出を実現することが可能である。
【0178】
また、本実施形態では、複数人のユーザがいる状況において、エージェント機器２００が処理した後に、少なくとも一方のユーザに対するフォローを、他方のユーザに知覚され難い態様で実行する。これにより、一方のユーザに嫌な気持ちにさせないようにすることが可能である。
【0179】
また、本実施形態では、複数人のユーザがいる状況において、第１ユーザの指示（又は意見）をエージェント機器２００が採用した場合に、第１ユーザに対するフォローを第２ユーザに知覚され難い態様で実行する。これにより、第１ユーザが第２ユーザに対して感じる負債感情（例えば、申し訳なさ）を解消することが可能となる。
【0180】
また、本実施形態では、複数人のユーザがいる状況において、エージェント機器２００が所定の処理を実行した後に、複数人のユーザに対するフォローを実行することが可能である。特に、本実施形態では、エージェント機器２００による選択により得感情が生じたユーザに対する適切なフォローを実現することが可能である。
【0181】
また、本実施形態では、車両Ｃ１の乗員のうち、負の感情が生じた乗員に対して他者に知覚され難い態様でその感情を抑制する演出（例えば、振舞い）を行うことで、車両Ｃ１の乗員の全ての負の感情を抑制することができる。
【0182】
また、本実施形態では、エージェント機器２００を使用して車両Ｃ１の乗員に生じた負の感情を抑制することにより、より快適なドライブアシストを実現することが可能である。
【0183】
また、本実施形態では、得したユーザ（得感情が生じたユーザ）、負債感情が生じたユーザに対するフォローとともに、損をしたユーザ（損感情が生じたユーザ）、不満感情が生じたユーザに対しても何らかの対応をする。これにより、車両Ｃ１の乗員に生じた各種の感情を適切に抑制するが可能である。
【0184】
［他の機器、他のシステムにおいて処理を実行させる例］
なお、以上では、制御処理等をエージェント機器２００、情報処理装置１１０（又は情報処理システム１００）において実行する例を示したが、それらの各処理の全部又は一部を他の機器において実行してもよい。この場合には、それらの各処理の一部を実行する各機器により情報処理システムが構成される。例えば、車載機器、ユーザが使用可能な機器（例えば、スマートフォン、タブレット端末、パーソナルコンピュータ、カーナビゲーション装置、ＩＶＩ）、インターネット等の所定のネットワークを介して接続可能なサーバ等の各種情報処理装置、各種電子機器を用いて各処理の少なくとも一部を実行させることができる。
なお、以上では、制御処理等をエージェント機器２００、情報処理装置１１０（又は情報処理システム１００）において実行する例を示したが、それらの各処理の全部又は一部を他の機器において実行してもよい。この場合には、それらの各処理の一部を実行する各機器により情報処理システムが構成される。例えば、車載機器、ユーザが使用可能な機器（例えば、スマートフォン、タブレット端末、パーソナルコンピュータ、カーナビゲーション装置、ＩＶＩ）、インターネット等の所定のネットワークを介して接続可能なサーバ等の各種情報処理装置、各種電子機器を用いて各処理の少なくとも一部を実行させることができる。
【0185】
また、情報処理装置１１０（又は情報処理システム１００）の機能を実行可能な情報処理システムの一部（又は全部）については、インターネット等の所定のネットワークを介して提供可能なアプリケーションにより提供されてもよい。このアプリケーションは、例えばＳａａＳ（Software as a Service）である。
【0186】
［本実施形態の構成例及びその効果］
本実施形態に係る情報処理方法は、ユーザＵ１、Ｕ２に対する複数の処理を実行可能なエージェント機器２００（機器の一例）を制御する情報処理方法である。この情報処理方法は、複数のユーザＵ１、Ｕ２が存在する状態で複数の処理のうちから所定の処理が選択された場合に、複数のユーザＵ１、Ｕ２のうちから、その選択に起因する負債感情及び得感情のうちの少なくとも１つを含む特定感情が生じたユーザＵ２（第１ユーザの一例）を検出する検出処理（ステップＳ５０６、Ｓ５３２）と、ユーザＵ２が検出された場合には、ユーザＵ２以外のユーザＵ１（第２ユーザの一例）に知覚され難い態様で、ユーザＵ２に対して特定感情を緩和させる演出をエージェント機器２００に実行させる制御処理（ステップＳ５０９、Ｓ５１１）とを含む。また、本実施形態に係るプログラムは、これらの各処理をコンピュータに実行させるプログラムである。言い換えると、本実施形態に係るプログラムは、情報処理装置１１０が実行可能な各機能をコンピュータに実現させるプログラムである。
本実施形態に係る情報処理方法は、ユーザＵ１、Ｕ２に対する複数の処理を実行可能なエージェント機器２００（機器の一例）を制御する情報処理方法である。この情報処理方法は、複数のユーザＵ１、Ｕ２が存在する状態で複数の処理のうちから所定の処理が選択された場合に、複数のユーザＵ１、Ｕ２のうちから、その選択に起因する負債感情及び得感情のうちの少なくとも１つを含む特定感情が生じたユーザＵ２（第１ユーザの一例）を検出する検出処理（ステップＳ５０６、Ｓ５３２）と、ユーザＵ２が検出された場合には、ユーザＵ２以外のユーザＵ１（第２ユーザの一例）に知覚され難い態様で、ユーザＵ２に対して特定感情を緩和させる演出をエージェント機器２００に実行させる制御処理（ステップＳ５０９、Ｓ５１１）とを含む。また、本実施形態に係るプログラムは、これらの各処理をコンピュータに実行させるプログラムである。言い換えると、本実施形態に係るプログラムは、情報処理装置１１０が実行可能な各機能をコンピュータに実現させるプログラムである。
【0187】
この構成によれば、所定の処理の選択に起因して、ユーザＵ１に対する特定感情が生じたユーザＵ２に対して、ユーザＵ１に知覚され難い態様でその特定感情を緩和させる演出を実行することができる。これにより、ユーザＵ２に対して適切なフォローをすることが可能であり、エージェント機器２００の使い易さを高めることが可能である。また、ユーザＵ２の嫌な気持ちを解消することが可能である。
【0188】
本実施形態に係る情報処理方法では、ユーザＵ１（第２ユーザの一例）に知覚され難い態様は、ユーザＵ１に知覚され難い方法で演出をエージェント機器２００（機器の一例）に実行させる第１態様と、ユーザＵ１に知覚され難いタイミングで演出をエージェント機器２００に実行させる第２態様とのうちの少なくとも１つである。
【0189】
この構成によれば、ユーザＵ１に知覚され難い態様として、第１態様及び第２態様のうちから適切な態様を採用することが可能であり、ユーザＵ２に対する適切なフォローを実現することが可能である。
【0190】
本実施形態に係る情報処理方法では、エージェント機器２００（機器の一例）は、複数のユーザＵ１、Ｕ２とのコミュニケーションを行うことが可能なエージェント機器であり、第１態様は、エージェント機器２００をユーザＵ２（第１ユーザの一例）の方向に向けた状態でエージェント機器２００に所定の振舞いをさせる態様と、ユーザＵ２にだけ聞こえる音をエージェント機器２００から出力させる態様と、ユーザＵ２が所持する電子機器ＭＣ２からエージェント機器２００に関連する所定情報を出力させる態様と、エージェント機器２００以外の機器（例えば、ＨＵＤ、ＨＵＤ表示装置）における表示領域（例えば、表示領域４ａ）にエージェント機器２００に関連する所定情報を表示させる態様とのうちの少なくとも１つである。
【0191】
この構成によれば、ユーザＵ１に知覚され難い態様として、複数のユーザＵ１、Ｕ２が存在する環境等に応じて、複数の態様のうちから適切な態様を採用することが可能であり、ユーザＵ２に対する適切なフォローを実現することが可能である。
【0192】
本実施形態に係る情報処理方法では、エージェント機器２００（機器の一例）は、複数のユーザＵ１、Ｕ２とのコミュニケーションを行うことが可能なエージェント機器であり、演出は、特定感情を緩和させる振舞いを表現させる演出と、特定感情を緩和させる音声を出力させる演出とのうちの少なくとも１つである。
【0193】
この構成によれば、特定感情を緩和させる演出として、複数の演出のうちから適切な演出を採用することが可能であり、ユーザＵ２に対する適切なフォローを実現することが可能である。
【0194】
本実施形態に係る情報処理方法では、エージェント機器２００は、顔部を備える機器であり、エージェント機器２００の振舞いは、ユーザＵ２（第１ユーザの一例）の眼をエージェント機器２００の眼が見つめる動きと、ユーザＵ２を見ながらエージェント機器２００の顔部がうなずく動きと、ユーザＵ２を見ながらエージェント機器２００が行う所定の口の動きと、エージェント機器２００の表面において所定画像又は所定文字を表示させることと、のうちの少なくとも１つである。
【0195】
この構成によれば、エージェント機器２００の振舞いとして、複数の振舞いのうちから適切な振舞いを採用することが可能であり、ユーザＵ２に対する適切なフォローを実現することが可能である。
【0196】
本実施形態に係る情報処理方法では、第２態様のタイミングは、ユーザＵ１（第２ユーザの一例）の集中状態に基づいて設定されるタイミングと、エージェント機器２００（機器の一例）が存在する場所からユーザＵ１が離れたタイミングと、のうちの少なくとも１つのタイミングである。なお、ユーザＵ１の集中状態に基づいて設定されるタイミングは、例えば、ユーザＵ１が何らかのことに集中している度合いに基づいて設定されるタイミングを意味する。ユーザＵ１が何らかのことに集中している度合いは、例えば、車両Ｃ１における運転シーンに基づいて判定可能である。
【0197】
この構成によれば、第２態様のタイミングとして、複数のタイミングのうちから適切なタイミングを採用することが可能であり、ユーザＵ２に対する適切なフォローを実現することが可能である。
【0198】
本実施形態に係る情報処理方法では、エージェント機器２００（機器の一例）は、複数のユーザＵ１、Ｕ２からの指示に基づいて複数の処理を実行可能なエージェント機器であり、検出処理（ステップＳ５０６）では、複数のユーザＵ１、Ｕ２のそれぞれから相反する異なる複数の指示が出された場合において、複数の指示のうちからエージェント機器２００により選択された指示を出したユーザＵ２をその選択により得感情が生じたユーザとして推定し、その得感情が生じたユーザＵ２を第１ユーザとして検出する。
【0199】
この構成によれば、複数のユーザＵ１、Ｕ２のそれぞれから相反する異なる複数の指示が出された場合に、特定感情を緩和させる演出の実行対象となるユーザＵ２を適切に検出可能となる。
【0200】
本実施形態に係る情報処理方法において、検出処理（ステップＳ５０６）では、エージェント機器２００により選択された指示を出したユーザＵ２に関する生体情報と発話内容と動作とのうちの少なくとも１つに基づいて、その指示がユーザＵ２の本心であるか否かを推定し、その指示がユーザＵ２の本心でないと推定された場合には、特定感情を緩和させる演出をエージェント機器２００に実行させない。例えば、その指示がユーザＵ２の本心でないと推定された場合には、ユーザＵ２を本心でない指示により損をしたユーザとして検出することが可能である。
【0201】
この構成によれば、本心でない指示を出したユーザＵ２に対しては、特定感情を緩和させる演出を実行しないため、無駄な演出を削減することが可能である。これにより、本心でない指示を出したユーザＵ２を検出した以降の演算処理を低減させることが可能であり、消費電力も低減させることが可能である。
【0202】
本実施形態に係る情報処理方法において、検出処理（ステップＳ５０６、Ｓ５３２）では、複数のユーザＵ１、Ｕ２の周囲の環境情報（例えば、車両Ｃ１の車室内の温度）と、複数のユーザＵ１、Ｕ２に関する生体情報と、複数のユーザＵ１、Ｕ２に関する発話内容と、複数のユーザＵ１、Ｕ２に関する動作と、のうちの少なくとも１つの要素に基づいて、複数のユーザＵ１、Ｕ２のうちから選択により得感情が生じたユーザＵ２を推定し、その得感情が生じたユーザＵ２を第１ユーザとして検出する。例えば、車両Ｃ１の車室内の温度、ユーザＵ１、Ｕ２の各表情、ユーザＵ１、Ｕ２の各視線の遷移、ユーザＵ１、Ｕ２の各発話内容、ユーザＵ１、Ｕ２の各発話のトーン、ユーザＵ１、Ｕ２の動き等に基づいて、ユーザＵ１、Ｕ２のうちから選択により得をしたと推定されるユーザＵ２を検出可能である。例えば、車両Ｃ１の車室内の温度が所定値以下であり、ユーザＵ２が「寒い寒い」の声を連続して発し、かつ、ユーザＵ２の身体がブルブルと震え、上着を新たに着ていることが検出され、ユーザＵ１は通常の状態であると判定された場合を想定する。この場合には、エージェント機器２００は、ユーザＵ２は寒さの限度を超えているが、ユーザＵ１は暑さに耐えられると判定し、ユーザＵ２の指示「エアコンの温度を上げて」を採用することを選択する。また、検出処理（ステップＳ５０６、Ｓ５３２）では、それらの各要素（車室内の温度、「寒い寒い」の声、ブルブルと震え、新たな上着の着用）に基づいて、特定感情が生じた第１ユーザとして、ユーザＵ２を検出する。なお、エージェント機器２００（又は情報処理装置１１０）は、ユーザＵ１、Ｕ２の周囲の環境情報、ユーザＵ１、Ｕ２に関する生体情報、ユーザＵ１、Ｕ２に関する発話内容、ユーザＵ１、Ｕ２に関する動作等の各要素に基づいて、複数の処理（例えば、エアコンの温度設定、報知情報の提供、ラジオの制御）のうちの少なくとも１つを自動で実行可能である。このように、所定の処理（例えば、エアコンの温度設定）が自動で実行された場合には、検出処理（ステップＳ５０６、Ｓ５３２）では、それらの各要素に基づいて、得感情が生じたと推定される第１ユーザを検出する。
【0203】
この構成によれば、適切なパラメータを用いて、得感情が生じたユーザを推定することが可能である。また、複数の処理のうちから実行すべき処理として選択された際のその選択に用いた要素に基づいて、得感情が生じたユーザを適切に検出することが可能である。
【0204】
情報処理装置１１０は、ユーザＵ１、Ｕ２に対する複数の処理を実行可能なエージェント機器２００（機器の一例）を制御する情報処理装置である。情報処理装置１１０は、複数のユーザＵ１、Ｕ２が存在する状態で複数の処理のうちから所定の処理が選択された場合に、複数のユーザＵ１、Ｕ２のうちから、その選択に起因する負債感情及び得感情のうちの少なくとも１つを含む特定感情が生じたユーザＵ２（第１ユーザの一例）を検出する損得感情判定部１２２、負債感情判定部１２３（検出部の一例）と、ユーザＵ２が検出された場合には、ユーザＵ２以外のユーザＵ１（第２ユーザの一例）に知覚され難い態様で、ユーザＵ２に対して特定感情を緩和させる演出をエージェント機器２００に実行させるエージェント制御部１２５（制御部の一例）とを備える。なお、情報処理装置１１０は、エージェント機器２００に内蔵される機器としてもよく、エージェント機器２００とは異なる機器としてもよい。また、情報処理装置１１０の代わりに、情報処理装置１１０により実現される各処理を実行可能な複数の機器により構成される情報処理システムとしてもよい。
【0205】
この構成によれば、所定の処理の選択に起因して、ユーザＵ１に対する特定感情が生じたユーザＵ２に対して、ユーザＵ１に知覚され難い態様でその特定感情を緩和させる演出を実行することができる。これにより、ユーザＵ２に対して適切なフォローをすることが可能であり、エージェント機器２００の使い易さを高めることが可能である。また、ユーザＵ２の嫌な気持ちを解消することが可能である。
【0206】
なお、本実施形態で示した各処理手順は、本実施形態を実現するための一例を示したものであり、本実施形態を実現可能な範囲で各処理手順の一部の順序を入れ替えてもよく、各処理手順の一部を省略したり他の処理手順を追加したりしてもよい。
【0207】
なお、本実施形態で示した各処理は、各処理手順をコンピュータに実行させるためのプログラムに基づいて実行されるものである。このため、本実施形態は、それらの各処理を実行する機能を実現するプログラム、そのプログラムを記憶する記録媒体の実施形態としても把握することができる。例えば、情報処理装置に新機能を追加するためのアップデート処理により、そのプログラムを情報処理装置の記憶装置に記憶させることができる。これにより、そのアップデートされた情報処理装置に本実施形態で示した各処理を実施させることが可能となる。
【0208】
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
【符号の説明】
【0209】
１００ 情報処理システム、１１０ 情報処理装置、１２０ 制御部、１２１ 指示受付部、１２２ 損得感情判定部、１２３ 負債感情判定部、１２４ 不満感情判定部、１２５ エージェント制御部、１３０ 記憶部、１３１ エージェント情報ＤＢ、１３２ 指示情報ＤＢ、１３３ 報知情報ＤＢ、１３４ 地図情報ＤＢ、１３５ 周囲状況ＤＢ、１３６ ユーザ状態ＤＢ、１４０ 通信部、２００ エージェント機器、２１０ 表示部、２２０ 音出力部、２３０ 駆動部、ＭＣ１、ＭＣ２ 電子機器
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】