知財求人 - 知財ポータルサイト「IP Force」
▶ 日産自動車株式会社の特許一覧 ▶ ルノー エス．ア．エス．の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024073109
(43)【公開日】2024-05-29
(54)【発明の名称】情報処理方法及び情報処理装置
(51)【国際特許分類】
G06F 3/01 20060101AFI20240522BHJP
G06F 3/16 20060101ALI20240522BHJP
G10L 15/10 20060101ALI20240522BHJP
G10L 13/00 20060101ALI20240522BHJP
G10L 13/02 20130101ALI20240522BHJP
【ＦＩ】
G06F3/01 510
G06F3/16 620
G06F3/16 650
G10L15/10 500N
G10L13/00 100A
G10L13/02 130Z
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022184140
(22)【出願日】2022-11-17
(71)【出願人】
【識別番号】000003997
【氏名又は名称】日産自動車株式会社
(71)【出願人】
【識別番号】507308902
【氏名又は名称】ルノー エス．ア．エス．
【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．
【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ
(74)【代理人】
【識別番号】110002468
【氏名又は名称】弁理士法人後藤特許事務所
(72)【発明者】
【氏名】海老名 亮彦
(72)【発明者】
【氏名】柳 拓良
(72)【発明者】
【氏名】茂田 美友紀
【テーマコード（参考）】
5E555
【Ｆターム（参考）】
5E555AA48
5E555BA02
5E555BA23
5E555BB02
5E555BB23
5E555BC04
5E555CA47
5E555CB64
5E555CC01
5E555DA23
5E555DA27
5E555EA23
5E555FA00
(57)【要約】
【課題】エージェント機器の謝罪後にユーザの不快状態の継続を低減させ、ユーザの信頼感を高める。
【解決手段】エージェント機器２００を制御する情報処理方法は、ユーザＵ１の生体情報、発話内容、動作のうちの少なくとも１つに基づいて、ユーザＵ１の不快度を推定する不快度推定処理（ステップＳ５０４）と、通常態様、謝罪態様、待機態様のうちの少なくとも１つにエージェント機器２００の態様を変化させる制御処理（ステップＳ５０５乃至Ｓ５１６）とを含み、この制御処理では、ユーザＵ１に報知情報を提供した後に、ユーザＵ１の不快度に基づく所定条件が成立した場合には、エージェント機器２００を通常態様から謝罪態様に遷移させ、エージェント機器２００を謝罪態様に遷移させた後に、ユーザＵ１の不快度が第１閾値ＴＨ３よりも小さくならない場合には、エージェント機器２００を謝罪態様から待機態様に遷移させる。
【選択図】図１０
【解決手段】エージェント機器２００を制御する情報処理方法は、ユーザＵ１の生体情報、発話内容、動作のうちの少なくとも１つに基づいて、ユーザＵ１の不快度を推定する不快度推定処理（ステップＳ５０４）と、通常態様、謝罪態様、待機態様のうちの少なくとも１つにエージェント機器２００の態様を変化させる制御処理（ステップＳ５０５乃至Ｓ５１６）とを含み、この制御処理では、ユーザＵ１に報知情報を提供した後に、ユーザＵ１の不快度に基づく所定条件が成立した場合には、エージェント機器２００を通常態様から謝罪態様に遷移させ、エージェント機器２００を謝罪態様に遷移させた後に、ユーザＵ１の不快度が第１閾値ＴＨ３よりも小さくならない場合には、エージェント機器２００を謝罪態様から待機態様に遷移させる。
【選択図】図１０
【特許請求の範囲】
【請求項1】
ユーザとのコミュニケーションを行うことが可能なエージェント機器を制御する情報処理方法であって、
前記ユーザの生体情報と、前記ユーザの発話内容と、前記ユーザの動作と、のうちの少なくとも１つに基づいて、前記ユーザの不快度を推定する不快度推定処理と、
前記ユーザに報知情報を提供する通常態様と、前記ユーザに対する謝罪を示す態様である謝罪態様と、前記通常態様よりも前記ユーザの関心を引きにくい態様である待機態様と、のうちの少なくとも１つに前記エージェント機器の態様を変化させる制御処理と、を含み、
前記制御処理では、
前記ユーザに前記報知情報を提供した後に、前記不快度に基づく所定条件が成立した場合には、前記エージェント機器を前記通常態様から前記謝罪態様に遷移させ、
前記エージェント機器を前記謝罪態様に遷移させた後に、前記不快度が第１基準よりも小さくならない場合には、前記エージェント機器を前記謝罪態様から前記待機態様に遷移させる、
情報処理方法。
前記ユーザの生体情報と、前記ユーザの発話内容と、前記ユーザの動作と、のうちの少なくとも１つに基づいて、前記ユーザの不快度を推定する不快度推定処理と、
前記ユーザに報知情報を提供する通常態様と、前記ユーザに対する謝罪を示す態様である謝罪態様と、前記通常態様よりも前記ユーザの関心を引きにくい態様である待機態様と、のうちの少なくとも１つに前記エージェント機器の態様を変化させる制御処理と、を含み、
前記制御処理では、
前記ユーザに前記報知情報を提供した後に、前記不快度に基づく所定条件が成立した場合には、前記エージェント機器を前記通常態様から前記謝罪態様に遷移させ、
前記エージェント機器を前記謝罪態様に遷移させた後に、前記不快度が第１基準よりも小さくならない場合には、前記エージェント機器を前記謝罪態様から前記待機態様に遷移させる、
情報処理方法。
【請求項2】
請求項１に記載の情報処理方法であって、
前記エージェント機器は、移動が可能な機器であり、
前記待機態様は、前記通常態様よりも前記ユーザから遠い第１位置に前記エージェント機器を移動させる第１態様と、前記ユーザの視界の範囲外となる第２位置に前記エージェント機器を移動させる第２態様と、前記エージェント機器からの音声出力を制限する第３態様と、前記エージェント機器を静止状態とする第４態様と、のうちの少なくとも１つを含む、
情報処理方法。
前記エージェント機器は、移動が可能な機器であり、
前記待機態様は、前記通常態様よりも前記ユーザから遠い第１位置に前記エージェント機器を移動させる第１態様と、前記ユーザの視界の範囲外となる第２位置に前記エージェント機器を移動させる第２態様と、前記エージェント機器からの音声出力を制限する第３態様と、前記エージェント機器を静止状態とする第４態様と、のうちの少なくとも１つを含む、
情報処理方法。
【請求項3】
請求項１に記載の情報処理方法であって、
前記エージェント機器は、前記ユーザとのコミュニケーションを行うエージェント画像を表示部に表示させる機器であり、
前記待機態様は、前記表示部において前記通常態様よりも前記ユーザから遠い位置に前記エージェント画像を表示させる第１態様と、前記表示部における前記エージェント画像の透明度を前記通常態様よりも高くする第２態様と、前記表示部における前記エージェント画像の明度を前記通常態様よりも低くする第３態様と、前記表示部における前記エージェント画像の彩度を前記通常態様よりも低くする第４態様と、前記エージェント画像からの音声出力を制限する第５態様と、前記表示部における前記エージェント画像を静止状態とする第６態様と、のうちの少なくとも１つを含む、
情報処理方法。
前記エージェント機器は、前記ユーザとのコミュニケーションを行うエージェント画像を表示部に表示させる機器であり、
前記待機態様は、前記表示部において前記通常態様よりも前記ユーザから遠い位置に前記エージェント画像を表示させる第１態様と、前記表示部における前記エージェント画像の透明度を前記通常態様よりも高くする第２態様と、前記表示部における前記エージェント画像の明度を前記通常態様よりも低くする第３態様と、前記表示部における前記エージェント画像の彩度を前記通常態様よりも低くする第４態様と、前記エージェント画像からの音声出力を制限する第５態様と、前記表示部における前記エージェント画像を静止状態とする第６態様と、のうちの少なくとも１つを含む、
情報処理方法。
【請求項4】
請求項１に記載の情報処理方法であって、
前記制御処理では、前記エージェント機器を前記待機態様に遷移させた後に、前記第１基準よりも小さい値である第２基準よりも前記不快度が小さくなった場合には、前記エージェント機器を前記待機態様から前記通常態様に遷移させる、
情報処理方法。
前記制御処理では、前記エージェント機器を前記待機態様に遷移させた後に、前記第１基準よりも小さい値である第２基準よりも前記不快度が小さくなった場合には、前記エージェント機器を前記待機態様から前記通常態様に遷移させる、
情報処理方法。
【請求項5】
請求項４に記載の情報処理方法であって、
前記制御処理では、前記エージェント機器を前記待機態様から前記通常態様に遷移させる場合には、前記待機態様よりも前記ユーザの関心を引き易い態様である中間態様を経由して前記通常態様に遷移させる、
情報処理方法。
前記制御処理では、前記エージェント機器を前記待機態様から前記通常態様に遷移させる場合には、前記待機態様よりも前記ユーザの関心を引き易い態様である中間態様を経由して前記通常態様に遷移させる、
情報処理方法。
【請求項6】
請求項５に記載の情報処理方法であって、
前記制御処理では、
前記エージェント機器を前記待機態様に遷移させた後に、前記第１基準よりも小さい値であり、かつ、前記第２基準よりも大きい値である第３基準よりも前記不快度が小さくなった場合には、前記エージェント機器を前記待機態様から前記中間態様に遷移させ、
前記エージェント機器を前記中間態様に遷移させた後に、前記不快度が前記第２基準よりも小さくなった場合には、前記エージェント機器を前記中間態様から前記通常態様に遷移させる、
情報処理方法。
前記制御処理では、
前記エージェント機器を前記待機態様に遷移させた後に、前記第１基準よりも小さい値であり、かつ、前記第２基準よりも大きい値である第３基準よりも前記不快度が小さくなった場合には、前記エージェント機器を前記待機態様から前記中間態様に遷移させ、
前記エージェント機器を前記中間態様に遷移させた後に、前記不快度が前記第２基準よりも小さくなった場合には、前記エージェント機器を前記中間態様から前記通常態様に遷移させる、
情報処理方法。
【請求項7】
請求項４から６の何れかに記載の情報処理方法であって、
前記第２基準は、前記エージェント機器を前記謝罪態様に遷移する際における不快度の判定時を基準として前記判定時よりも前の所定期間内における前記ユーザの不快度の最低値に基づいて設定される、
情報処理方法。
前記第２基準は、前記エージェント機器を前記謝罪態様に遷移する際における不快度の判定時を基準として前記判定時よりも前の所定期間内における前記ユーザの不快度の最低値に基づいて設定される、
情報処理方法。
【請求項8】
請求項６に記載の情報処理方法であって、
前記第３基準は、前記エージェント機器を前記謝罪態様に遷移する際における不快度の判定時を基準として前記判定時よりも前の所定期間内における前記ユーザの不快度の平均値に基づいて設定される、
情報処理方法。
前記第３基準は、前記エージェント機器を前記謝罪態様に遷移する際における不快度の判定時を基準として前記判定時よりも前の所定期間内における前記ユーザの不快度の平均値に基づいて設定される、
情報処理方法。
【請求項9】
請求項１から６の何れかに記載の情報処理方法であって、
前記制御処理では、前記エージェント機器を前記謝罪態様に遷移させた後に、所定期間内に前記不快度が前記第１基準よりも小さくなった場合には、前記エージェント機器を前記謝罪態様から前記通常態様に遷移させ、当該通常態様において安心したしぐさを示す所定演出を前記エージェント機器に実行させる、
情報処理方法。
前記制御処理では、前記エージェント機器を前記謝罪態様に遷移させた後に、所定期間内に前記不快度が前記第１基準よりも小さくなった場合には、前記エージェント機器を前記謝罪態様から前記通常態様に遷移させ、当該通常態様において安心したしぐさを示す所定演出を前記エージェント機器に実行させる、
情報処理方法。
【請求項10】
請求項１から６の何れかに記載の情報処理方法であって、
前記制御処理では、所定期間内において、前記謝罪態様への遷移が所定回数以上となった場合には、前記第１基準を小さい値に変更する、
情報処理方法。
前記制御処理では、所定期間内において、前記謝罪態様への遷移が所定回数以上となった場合には、前記第１基準を小さい値に変更する、
情報処理方法。
【請求項11】
ユーザとのコミュニケーションを行うことが可能なエージェント機器を制御する情報処理装置であって、
前記ユーザの生体情報と、前記ユーザの発話内容と、前記ユーザの動作と、のうちの少なくとも１つに基づいて、前記ユーザの不快度を推定する不快度推定部と、
前記ユーザに報知情報を提供する通常態様と、前記ユーザに対する謝罪を示す態様である謝罪態様と、前記通常態様よりも前記ユーザの関心を引きにくい態様である待機態様と、のうちの少なくとも１つに前記エージェント機器の態様を変化させる制御部と、を備え、
前記制御部は、
前記ユーザに前記報知情報を提供した後に、前記不快度に基づく所定条件が成立した場合には、前記エージェント機器を前記通常態様から前記謝罪態様に遷移させ、
前記エージェント機器を前記謝罪態様に遷移させた後に、前記不快度が第１基準よりも小さくならない場合には、前記エージェント機器を前記謝罪態様から前記待機態様に遷移させる、
情報処理装置。
前記ユーザの生体情報と、前記ユーザの発話内容と、前記ユーザの動作と、のうちの少なくとも１つに基づいて、前記ユーザの不快度を推定する不快度推定部と、
前記ユーザに報知情報を提供する通常態様と、前記ユーザに対する謝罪を示す態様である謝罪態様と、前記通常態様よりも前記ユーザの関心を引きにくい態様である待機態様と、のうちの少なくとも１つに前記エージェント機器の態様を変化させる制御部と、を備え、
前記制御部は、
前記ユーザに前記報知情報を提供した後に、前記不快度に基づく所定条件が成立した場合には、前記エージェント機器を前記通常態様から前記謝罪態様に遷移させ、
前記エージェント機器を前記謝罪態様に遷移させた後に、前記不快度が第１基準よりも小さくならない場合には、前記エージェント機器を前記謝罪態様から前記待機態様に遷移させる、
情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザとのコミュニケーションを行うことが可能なエージェント機器を制御する情報処理方法及び情報処理装置に関する。
【背景技術】
【0002】
従来、ユーザとのコミュニケーションを行うことが可能な機器が存在する。例えば、ボット（自動又は半自動システム）とユーザとの間で電話を行う技術が提案されている（例えば、特許文献１参照）。この従来技術では、電話での会話中にその会話を解析してボット及びユーザ間の会話の緊張の増減を求め、その緊張が閾値を上回っていると判定された場合に、電話の相手をボットから人間のオペレータに交代する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表２０１９－５２２９１４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述した従来技術では、ボットが謝罪するタイミングで、ボット及びユーザ間の緊張が増加したと判定されるため、電話の相手をボットから人間のオペレータに交代してこのオペレータがユーザに謝罪することが可能である。しかし、人間のオペレータがユーザに謝罪したとしても、ユーザがボットに対する怒りを覚えていて不快な状態が継続される可能性がある。このような状態で、電話の相手が人間のオペレータからボットに交代され、ボット及びユーザ間で会話が再開されると、ユーザの不快度を高めてしまい、ユーザの信頼感を失うおそれがある。
【0005】
本発明は、エージェント機器の謝罪後にユーザの不快状態の継続を低減させ、ユーザの信頼感を高めることを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様は、ユーザとのコミュニケーションを行うことが可能なエージェント機器を制御する情報処理方法である。この情報処理方法は、ユーザの生体情報と、ユーザの発話内容と、ユーザの動作と、のうちの少なくとも１つに基づいて、ユーザの不快度を推定する不快度推定処理と、ユーザに報知情報を提供する通常態様と、ユーザに対する謝罪を示す態様である謝罪態様と、通常態様よりもユーザの関心を引きにくい態様である待機態様と、のうちの少なくとも１つにエージェント機器の態様を変化させる制御処理と、を含み、制御処理では、ユーザに報知情報を提供した後に、ユーザの不快度に基づく所定条件が成立した場合には、エージェント機器を通常態様から謝罪態様に遷移させ、エージェント機器を謝罪態様に遷移させた後に、ユーザの不快度が第１基準よりも小さくならない場合には、エージェント機器を謝罪態様から待機態様に遷移させる。
【発明の効果】
【0007】
本発明によれば、エージェント機器の謝罪後にユーザの不快状態の継続を低減させ、ユーザの信頼感を高めることができる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下、添付図面を参照しながら本発明の実施形態について説明する。
【0010】
［エージェント機器の設置例］
図１は、車両Ｃ１の車室内の構成例を簡略化して示す図である。なお、図１では、運転席、助手席（図示省略）よりも前側を、車両Ｃ１の後ろ側から見た場合の外観構成例を示す。また、図１では、説明を容易にするため、ダッシュボード２、ステアリングホイール３、フロントウインド４、バックミラー５、カメラ１０１、エージェント機器２００以外の図示は省略する。
図１は、車両Ｃ１の車室内の構成例を簡略化して示す図である。なお、図１では、運転席、助手席（図示省略）よりも前側を、車両Ｃ１の後ろ側から見た場合の外観構成例を示す。また、図１では、説明を容易にするため、ダッシュボード２、ステアリングホイール３、フロントウインド４、バックミラー５、カメラ１０１、エージェント機器２００以外の図示は省略する。
【0011】
エージェント機器２００は、車両Ｃ１のダッシュボード２上に設置される小型のロボットである。本実施形態では、人間を模したロボットをエージェント機器２００とする例を示す。なお、図１では、ダッシュボード２上にエージェント機器２００を設置する例を示すが、これに限定されない。例えば、フロントウインド４の上部にエージェント機器２００を設置してもよい。また、図１では、人間の顔を模したロボットをエージェント機器２００とする例を示すが、これに限定されない。例えば、人間の全身を模したロボット、ウサギ、豚等のような動物を模したロボット、仮想物の生物（例えばアニメのキャラクターの顔）を模したロボット、他の物体（例えばテレビ型の機器、ラジオ型の機器）を模したロボットをエージェント機器２００としてもよい。このように、擬生物化されたエージェントをエージェント機器２００とすることが可能である。
【0012】
エージェント機器２００は、情報処理装置１１０（図４参照）からの指示に基づいて各種の動作を実行する。例えば、エージェント機器２００は、情報処理装置１１０の制御に基づいて、ユーザが運転操作をする際における運転支援、周囲の施設等に関する各種情報を出力する。この運転支援として、前方又は後方の動体の報知等が想定される。例えば、前方の動体の報知として、「この先踏切だから気を付けてよ」と音声出力したり、「前方に人がいるよ」と音声出力したりすることができる。このように、エージェント機器２００は、運転支援を実行する。なお、図１では、ＸＹＺ珈琲店の広告を示す音声情報Ｓ１を報知情報として出力する例を示す。
【0013】
ここで、報知は、何らかの情報を伝えたり、知らせたりすることを意味する。また、車両Ｃ１のユーザ（車両Ｃ１の乗員）に報知すべき情報を報知情報と称して説明する。報知情報については、画像表示によりユーザに伝えてもよく、音声出力によりユーザに伝えてもよい。本実施形態では、主に、報知情報を音声出力によりユーザに伝える例を示す。なお、本実施形態で示す報知については、通知、伝達等と称してもよい。
【0014】
また、報知情報として、例えば、車両Ｃ１に関する情報、車両Ｃ１の運転支援に関する情報、車両Ｃ１の周囲に存在する商業施設、観光施設等に関する広告情報等が想定される。車両Ｃ１に関する情報は、例えば、バッテリ残量の報知、半ドアの報知等の車両Ｃ１自体に関する情報である。また、車両Ｃ１の運転支援に関する情報は、例えば、シートベルトの着用の報知、信号機の報知、道案内等のユーザＵ１が運転する際に必要となる各種情報である。また、車両Ｃ１の周囲に存在する商業施設、観光施設等に関する広告情報は、例えば、ショッピングモールの広告、観光地の案内等である。
【0015】
カメラ１０１は、車両Ｃ１の内部の天井に設けられ、車両Ｃ１の内部の被写体を撮像して画像（画像データ）を生成するものである。なお、カメラ１０１は、例えば、被写体を撮像することが可能な１又は複数のカメラ機器や画像センサにより構成される。例えば、フロントウインド４の上部、すなわち、バックミラー５の上側にカメラ１０１を設けることができる。なお、図１では、少なくとも１つのカメラ１０１を備える例を示すが、２以上の撮像装置を備え、これらの撮像装置のうちの全部又は一部の画像を用いてもよい。また、各撮像装置の設置場所については、図１に示す例に限定されず、適宜変更可能である。また、車両Ｃ１の全方位に存在する被写体と、車両Ｃ１の内部の被写体とを取得可能な１又は複数の機器、例えば、３６０度カメラを用いてもよい。
【0016】
［エージェント機器による報知に対する謝罪例］
図２は、エージェント機器２００が報知情報を出力した後に、その報知情報に対してエージェント機器２００が謝罪する場合の謝罪例を簡略化して示す図である。なお、図２に示す例は、図１に示す構成例において、エージェント機器２００の一部を変更したものであり、エージェント機器２００以外の部分については図１と共通する。
図２は、エージェント機器２００が報知情報を出力した後に、その報知情報に対してエージェント機器２００が謝罪する場合の謝罪例を簡略化して示す図である。なお、図２に示す例は、図１に示す構成例において、エージェント機器２００の一部を変更したものであり、エージェント機器２００以外の部分については図１と共通する。
【0017】
図２に示すように、エージェント機器２００が報知情報を出力した後に、その報知情報又はその報知の態様に対してユーザＵ１を不快にさせたと判定された場合には、エージェント機器２００は、ユーザＵ１に謝罪をする。例えば、音声出力、エージェント機器２００の動きにより、ユーザＵ１に対する謝罪を表現することが可能である。図２では、エージェント機器２００の顔がユーザＵ１の方向に向いた状態で、音声情報Ｓ２を出力することにより、ユーザＵ１に対する謝罪を表現する例を示す。なお、本実施形態では、エージェント機器２００が謝罪演出を実行する態様を謝罪態様と称して説明する。
【0018】
なお、報知の態様は、例えば、報知の際の音声出力の音量、報知のタイミング、報知の際のエージェント機器２００のしぐさ等である。例えば、音声出力の音量が大き過ぎたり、小さ過ぎたりする場合には、ユーザＵ１に不快感を与えるおそれがある。また、報知すべき対象に対して、報知のタイミングが遅い場合には、ユーザＵ１に不快感を与えるおそれがある。例えば、報知すべき対象がＸＹＺ珈琲店の案内であり、報知タイミングがＸＹＺ珈琲店を車両Ｃ１が通過した後であるような場合には、ユーザＵ１に不快感を与えるおそれがある。また、例えば、図１に示すように、報知すべき対象がＸＹＺ珈琲店の７時から１０時までの朝食セットであり、報知タイミングが１０時２４分であるような場合には、ユーザＵ１に不快感を与えるおそれがある。また、報知すべき対象に対して、エージェント機器２００の動きや表情が合わない場合には、ユーザＵ１に不快感を与えるおそれがある。例えば、ユーザＵ１が珈琲好きで、かつ、報知すべき対象がＸＹＺ珈琲店である場合において、エージェント機器２００が悲しい表情で報知したようなときには、ユーザＵ１に不快感を与えるおそれがある。
【0019】
上述したように、ユーザＵ１が不快状態であり、その不快の対象がエージェント機器２００である場合には、エージェント機器２００がユーザＵ１に対して謝罪をすることにより、ユーザＵ１に与えた不快感を軽減することが考えられる。しかし、エージェント機器２００に対するユーザＵ１の不快状態が継続することも想定される。このように、ユーザＵ１の不快状態が継続している場合に、エージェント機器２００がユーザＵ１に対する謝罪を継続したり、エージェント機器２００がユーザＵ１に対して報知情報を提供したりすると、ユーザＵ１にさらに不快感を与えるおそれもある。すなわち、エージェント機器２００が謝罪をした後に、ユーザＵ１が怒りを覚えているような状態で、エージェント機器２００がユーザＵ１とのコミュニケーションを再開すると、エージェント機器２００に対する信頼感が損なわれる可能性がある。例えば、エージェント機器２００により実行されたイベントに対してユーザＵ１が怒っている場合に、そのイベントに対してエージェント機器２００が一時的に謝罪したとしても、その謝罪に対してエージェント機器２００が反省していないとユーザＵ１が感じることも想定される。このような状態で、エージェント機器２００が次のイベントを再開すると、エージェント機器２００が全く反省していないとユーザＵ１が感じることになり、エージェント機器２００に対する信頼感が損なわれる可能性がある。
【0020】
また、ユーザＵ１が不快に思っているにも関わらず、エージェント機器２００がユーザＵ１に謝罪し続けたり、エージェント機器２００がユーザＵ１に報知情報を提供したりすると、エージェント機器２００が何も考えていないロボットのような印象を与えてしまうおそれがある。この場合には、ユーザＵ１の不快状態とは無関係の振る舞いをするエージェント機器２００に対して、何も考えていないだろうと、ユーザＵ１が感じ、ユーザＵ１の不快の感情を和らげることが困難となることも想定される。
【0021】
そこで、本実施形態では、エージェント機器２００に対するユーザＵ１の不快状態が継続しているような場合には、ユーザＵ１の不快度が低下するまでの間、エージェント機器２００をユーザＵ１の関心を引きにくい態様（待機態様）とする。また、待機態様への遷移後に、エージェント機器２００に対するユーザＵ１の不快状態が解消した場合には、エージェント機器２００を通常態様に遷移させる。なお、本実施形態では、通常態様よりもユーザＵ１の関心を引きにくいエージェント機器２００の態様を待機態様と称して説明する。また、通常態様よりもユーザＵ１の関心を引きにくい態様であるが、待機態様よりもユーザＵ１の関心を引き易い態様を中間態様と称して説明する。
【0022】
このように、エージェント機器２００の謝罪が有効でないと考えられるときには、ユーザＵ１の不快対象であるエージェント機器２００をユーザＵ１の視界から一旦消すようにする。ここで、ユーザＵ１の不快状態が解消した場合、例えばユーザＵ１の怒りが収束した場合には、エージェント機器２００がユーザＵ１の不快対象から除外されたと考えることができる。そこで、ユーザＵ１の不快状態が解消した場合には、ユーザＵ１の視界から消したエージェント機器２００を徐々に再登場させるようにする。これにより、ユーザＵ１との関係を大切にしていると分かる行動をエージェント機器２００に実行させることが可能であり、ユーザＵ１とエージェント機器２００との絆を深めることが可能である。また、エージェント機器２００に対する愛着をユーザＵ１が深めることが可能となる。これらにより、エージェント機器２００からの報知情報をユーザＵ１が適切に受け入れることが可能となる。また、不快の感情が生じたユーザＵ１に対して、不快の感情を和らげ、ユーザＵ１との信頼関係を高めることができ、ユーザＵ１との円滑なコミュニケーションを図ることができる。
【0023】
なお、ユーザＵ１の不快度については、ユーザＵ１の生体情報（例えば、心拍、体温、顔の表面温度、血流、興奮度に関係する情報）と、ユーザＵ１の発話内容（例えば、この野郎等の所定のキーワード）と、ユーザＵ１の動作（例えば、体の動きの大きさ、速さ、表情）と、のうちの少なくとも１つに基づいて推定が可能である。例えば、ユーザＵ１の表情、ユーザＵ１の動き、ユーザＵ１が発する声等に基づいて、ユーザＵ１の不快度を検出することが可能である。なお、ユーザＵ１の表情、ユーザＵ１の動きについては、カメラ１０１により取得された画像に基づいて取得可能である。また、ユーザＵ１の表情には、ユーザＵ１の視線も含まれる。また、ユーザＵ１が発する声については、音声入力部１０３（図４参照）により取得された音声情報に基づいて取得可能である。なお、ユーザＵ１の不快度の推定方法については、図６等を参照して詳細に説明する。
【0024】
また、ユーザＵ１の不快要因については、ユーザＵ１の周囲の状況に基づいて推定が可能である。なお、ユーザＵ１の不快要因の推定方法については後述する。
【0025】
なお、本実施形態では、センシングの確信度が基準よりも高いことを条件に、ユーザＵ１が不快時に、その不快に対するユーザＵ１への謝罪演出、待機演出（待機態様、中間態様への遷移）をエージェント機器２００に実行させる。ここで、センシングの確信度は、センシングに対する確からしさの度合を表す指標である。また、センシングの確信度は、センシング安定度、ＣＰＵ稼働率等に基づいて算出可能である。図５では、センシング安定度、ＣＰＵ稼働率に基づいてセンシングの確信度を算出する例を示す。
【0026】
なお、センシングの確信度は、エージェント機器２００を制御する際に用いられる機器における処理の確信度に相当する。エージェント機器２００を制御する際に用いられる機器は、例えば、図４に示す各部である。例えば、それらの各機器における処理の確信度が高くなるのに応じて、ユーザＵ１に関する情報と、車両Ｃ１に関する情報とをより正確に取得することが可能となる。
【0027】
なお、本実施形態では、車両Ｃ１の乗員として運転席に乗車するユーザＵ１を例にして説明する。ただし、車両Ｃ１に複数の乗員が乗車している場合についても本実施形態を適用可能である。この場合には、謝罪演出、待機演出を見せる対象を、運転席に乗車するユーザＵ１としてもよく、他の乗員としてもよい。また、報知情報の対象とした乗員を、謝罪演出、待機演出を見せる対象としてもよい。
【0028】
［エージェント機器の外観構成例］
図３は、エージェント機器２００の外観構成の一例を簡略化して示す正面図である。本実施形態では、エージェント機器２００がオン状態であり、かつ、エージェント機器２００が通常態様である場合には、表示部２１０（図４参照）に顔画像が表示される例を示す。なお、車両Ｃ１のオン操作に応じて、エージェント機器２００をオン状態とすることが可能である。また、エージェント機器２００に関するユーザ操作に応じて、エージェント機器２００をオン状態とすることが可能である。なお、車両Ｃ１のオンオフ操作は、車両Ｃ１の起動又は停止に関するスタートキーのオン操作又はオフ操作を意味する。
図３は、エージェント機器２００の外観構成の一例を簡略化して示す正面図である。本実施形態では、エージェント機器２００がオン状態であり、かつ、エージェント機器２００が通常態様である場合には、表示部２１０（図４参照）に顔画像が表示される例を示す。なお、車両Ｃ１のオン操作に応じて、エージェント機器２００をオン状態とすることが可能である。また、エージェント機器２００に関するユーザ操作に応じて、エージェント機器２００をオン状態とすることが可能である。なお、車両Ｃ１のオンオフ操作は、車両Ｃ１の起動又は停止に関するスタートキーのオン操作又はオフ操作を意味する。
【0029】
図３（Ａ）には、エージェント機器２００の斜視図を示す。図３（Ｂ）には、エージェント機器２００の正面図を示す。なお、図３（Ｂ）に示すエージェント機器２００は、図１に示すエージェント機器２００に対応する。図３（Ｃ）には、エージェント機器２００の上面図を示す。図３（Ｄ）には、エージェント機器２００の側面図を示す。なお、本実施形態では、図３（Ａ）乃至（Ｄ）に示すエージェント機器２００の状態を通常状態と称して説明する。また、図３（Ｅ）（Ｆ）には、エージェント機器２００の動作態様として、ユーザＵ１に対する謝罪演出を実行する場合の外観構成例を示す。また、図３（Ｇ）（Ｈ）には、エージェント機器２００の動作態様として、ユーザＵ１の不快度の低下に対する安堵演出を実行する場合の外観構成例を示す。なお、謝罪演出は、エージェント機器２００が謝罪態様に遷移したタイミングで実行される。また、安堵演出は、エージェント機器２００が謝罪態様から通常態様に遷移したタイミング、又は、待機態様（又は中間態様）から通常態様に遷移したタイミングで実行される。
【0030】
エージェント機器２００は、略球状の本体部２０１から構成される機器であり、本体部２０１の表面には表示部２１０が設けられる。表示部２１０には、各種画像、例えば眼部Ｅ１、Ｅ２が表示される。なお、本体部２０１の表面の全部に表示部２１０を設けてもよく、本体部２０１の表面のうちの一部に表示部２１０を設けてもよい。また、本体部２０１の表面のうちの一部に表示部２１０を設ける場合には、表示部２１０が設けられている部分以外の部分には、顔を構成する物理的な各部（例えば、口、鼻）を設けてもよい。
【0031】
本実施形態では、車両Ｃ１のダッシュボード２上に、眼部Ｅ１、Ｅ２が車内側を見る方向にエージェント機器２００が設置される例を示す。このため、エージェント機器２００における眼部Ｅ１、Ｅ２が表示される部分を含む一の面を前部又は顔部と称して説明する。また、エージェント機器２００の前部をエージェント機器２００の前側と称し、エージェント機器２００の前部とは反対側をエージェント機器２００の後側と称して説明する。また、エージェント機器２００において、図３における右側をエージェント機器２００の左側と称し、図３における左側をエージェント機器２００の右側と称して説明する。
【0032】
本体部２０１は、エージェント機器２００の下部を回動中心として、エージェント機器２００の前後方向、すなわち矢印Ａ１（図３（Ａ）（Ｄ）参照）方向に回動する。同様に、本体部２０１は、エージェント機器２００の下部を回動中心として、エージェント機器２００の左右方向、すなわち矢印Ａ２（図３（Ｂ）参照）方向に回動する。同様に、本体部２０１は、エージェント機器２００の下部を回動中心として、硬直方向を軸として回転する方向、すなわち矢印Ａ３（図３（Ｃ）参照）方向に回動する。このように、エージェント機器２００の下部には、本体部２０１を駆動させるための駆動部２３０（図４参照）が設けられる。そして、エージェント機器２００の本体部２０１を左右方向に回転移動させたり、本体部２０１を前後方向に回転移動させたり、本体部２０１を左右方向に揺らせたり、本体部２０１を前後方向に揺らせたりすることが可能となる。
【0033】
また、表示部２１０は、各種画像を表示することが可能な表示媒体として構成することが可能である。この表示媒体として、例えば、発光シート、液晶表示器、有機ＥＬ（Electro Luminescence）等の各種表示媒体を使用可能である。例えば、図３（Ａ）乃至（Ｄ）に示すように、通常の眼部Ｅ１、Ｅ２を表示させることができる。
【0034】
また、例えば、図３（Ｅ）に示すように、伏し目状態の眼部Ｅ１、Ｅ２とともに、汗画像ＳＷ１を表示させることができる。また、例えば、図３（Ｆ）に示すように、顔の上側に相当する部分Ｂ１を、焦る表情を示す所定色（例えば青色）とし、焦る表情を示す縦線画像Ｖ１を、その部分Ｂ１の一部に表示させることができる。また、図３（Ｅ）、（Ｆ）に示すように、左右方向（矢印Ａ４、Ａ５方向）に本体部２０１を揺らせることにより、さらに焦るような態度を強調することが可能である。なお、図３（Ｅ）、（Ｆ）に示す表情は、謝罪演出の一例である。
【0035】
また、例えば、図３（Ｇ）に示すように、笑ったような口部Ｍ１を表示させるとともに、頬を赤くしたような態様の頬画像ＲＳ１を表示させることができる。また、例えば、図３（Ｈ）に示すように、笑ったような口部Ｍ１、眼部Ｅ１、Ｅ２を表示させることができる。なお、図３（Ｇ）、（Ｈ）に示す表情は、安堵の表情の一例である。
【0036】
このように、表示部２１０のうちの少なくとも一部の色を特定色としたり、眼部Ｅ１、Ｅ２を変形させたり、口部Ｍ１を表示させたりすることにより、エージェント機器２００が焦る表情、安堵の表情等をしているような表示態様とすることが可能である。なお、ここで示す表示態様は、一例であり、他の表示態様により各表情を実現してもよい。例えば、眼部Ｅ１、Ｅ２を左右に早く動かしたり、眼部Ｅ１、Ｅ２をきょろきょろさせたり、本体部２０１を左右方向に早く動かしたり、本体部２０１を左右方向にきょろきょろさせたりすることにより焦る表情を実現してもよい。
【0037】
このように、本実施形態では、エージェント機器２００の各部のうちの少なくとも一部を変化させる動作態様と、エージェント機器２００の表面のうちの少なくとも一部の表示状態を変化させる表示態様とによりエージェント機器２００を変化させることが可能である。また、その変化を見た車両Ｃ１の乗員は、エージェント機器２００が何らかの動きをしていると認識可能となる。このため、本実施形態では、これらのエージェント機器２００の変化をエージェント機器２００の動作態様と称して説明する。
【0038】
なお、これらのエージェント機器２００の動作態様は、一例であり、他の動作態様とすることも可能である。例えば、ダッシュボード２上の所定範囲内において、エージェント機器２００を移動させることも可能である。なお、ダッシュボード２に設置されているレールＲＬ１上において、エージェント機器２００を移動させる例を図７（Ａ）に示す。また、例えば、エージェント機器２００を穴に収容するような演出も可能である。なお、エージェント機器２００を穴に収容する例を図７（Ｂ）に示す。
【0039】
なお、図３では、表示部２１０の表示態様を変更することにより、各表情を２次元的に表現する例を示すが、物理的に設置された眼部、鼻部、口部等の各部材を変化させることにより、各表情を３次元的に表現して実現してもよい。この場合には、例えば、眼部材を移動させたり、眼部材の表面に黒画像、白画像を表示させたりして眼の動きを表現してもよい。
【0040】
また、本実施形態では、顔部のみを備えるエージェント機器２００の例を示すが、他の身体の一部（例えば、手、足）をエージェント機器２００に備えてもよい。この場合には、これらの各部（例えば、手、足）を変化させて各態度（例えば焦る態度、安堵の態度）を実現してもよい。例えば、手を頭や顔に当てるように変化させたり、足や手をバタバタさせたりする動きを各態度として表現してもよい。
【0041】
なお、これらのエージェント機器２００の形状、表示態様、音声出力態様は、一例であり、他の形状、表示態様、音声出力態様とすることも可能である。また、図３では、略球状の本体部２０１が顔部として機能するエージェント機器２００を例にして示すが、本発明はこれに限定されない。例えば、平板状の本体部（例えば、平面状の表示パネル）が顔部として機能する機器をエージェント機器２００としてもよい。また、例えば、顔部及び身体部を一体の筐体として構成する機器をエージェント機器２００としてもよい。また、例えば、顔部及び身体部を別体として構成する機器をエージェント機器２００としてもよい。
【0042】
また、本実施形態では、生き物らしさを表す画像（生き物表示）として顔画像を表示する例を示すが、他の画像（例えば、エージェントの全身、機械的なもの、仮想的な顔）を生き物らしさを表す画像として表示してもよい。
【0043】
［情報処理システムの構成例］
図４は、車両Ｃ１に設置されている情報処理システム１００のシステム構成の一例を示す図である。
図４は、車両Ｃ１に設置されている情報処理システム１００のシステム構成の一例を示す図である。
【0044】
情報処理システム１００は、カメラ１０１と、位置情報取得センサ１０２と、音声入力部１０３と、センサ類１０４と、情報処理装置１１０と、エージェント機器２００とを備える。なお、情報処理装置１１０及びエージェント機器２００は、有線通信又は無線通信を利用した通信方式によって接続される。また、情報処理装置１１０は、無線通信を利用した通信方式によってネットワーク２０に接続されている。ネットワーク２０は、公衆回線網、インターネット等のネットワークである。なお、エージェント機器２００についても、無線通信を利用した通信方式によってネットワーク２０に接続してもよい。なお、図３では、情報処理装置１１０及びエージェント機器２００を別体として構成する例を示すが、情報処理装置１１０及びエージェント機器２００を一体の機器として構成してもよい。
【0045】
カメラ１０１は、情報処理装置１１０の制御に基づいて、被写体を撮像して画像（画像データ）を生成するものであり、生成された画像に関する画像情報を情報処理装置１１０に出力する。カメラ１０１は、車両Ｃ１のうちの少なくとも内部に設けられ、車両Ｃ１の内部の被写体を撮像して画像（画像データ）を生成する。なお、図１では、車両Ｃ１の内部に設けられているカメラ１０１を示す。上述したように、カメラ１０１は、例えば、被写体を撮像することが可能な１又は複数のカメラ機器や画像センサにより構成される。例えば、１つのカメラ１０１を車両Ｃ１の前方に設け、車両Ｃ１の前方からの被写体を撮像して画像（画像データ）を生成してもよく、他のカメラ１０１を車両Ｃ１の後方に設け、車両Ｃ１からの後方の被写体を撮像して画像（画像データ）を生成してもよい。
【0046】
位置情報取得センサ１０２は、車両Ｃ１が存在する位置に関する位置情報を取得するものであり、取得された位置情報を情報処理装置１１０に出力する。例えば、ＧＮＳＳ（Global Navigation Satellite System：全球測位衛星システム）を利用して位置情報を取得するＧＮＳＳ受信機により実現できる。また、その位置情報には、ＧＮＳＳ信号の受信時における緯度、経度、高度等の位置に関する各データが含まれる。また、他の位置情報の取得方法により位置情報を取得してもよい。例えば、周囲に存在するアクセスポイントや基地局からの情報を用いて位置情報を導き出してもよい。また、ビーコンを用いて位置情報を取得してもよい。例えば、位置情報取得センサ１０２により取得された情報に基づいて、車両Ｃ１の状態、例えば、走行中、停止中、後進中を判定可能である。
【0047】
また、例えば、車両Ｃ１の外部に存在する施設、例えば珈琲店の付近に車両Ｃ１が存在することを位置情報取得センサ１０２により取得された位置情報に基づいて判定可能である。
【0048】
音声入力部１０３は、車両Ｃ１の内部に設けられ、情報処理装置１１０の制御に基づいて、車両Ｃ１の内部の音を取得するものであり、取得された音に関する音情報を情報処理装置１１０に出力する。音声入力部１０３として、例えば、１又は複数のマイクや音取得センサを用いることができる。
【0049】
センサ類１０４は、車両Ｃ１に設置されている各種のセンサであり、各センサにより取得された検出情報を情報処理装置１１０に出力する。センサ類は、例えば、ＬｉＤＡＲ（Light Detection And Ranging）、ＲＡＤＡＲ（Radio Detection And Ranging）、Ｓｏｎａｒ、人感センサ、車速センサ、加速度センサ、着座センサ、シートベルトセンサ、ドアセンサ、バッテリセンサ、非接触温度センサ等である。なお、これらは一例であり、他のセンサを用いてもよい。また、これらのうちの一部のセンサのみを用いてもよい。
【0050】
人感センサは、車両Ｃ１の内部に存在する人の有無、人数、位置、状態等を検出するセンサである。例えば、赤外線、超音波、可視光、撮像素子等を用いる人感センサを用いることが可能である。例えば、運転席、助手席、後部座席の何れかに人が着座している場合には、その人の存在を人感センサにより検出可能である。また、人感センサ及び着座センサの双方を用いることにより、各座席の着座状態の検出精度を高めることが可能である。また、これらにより、エージェント機器２００が対象とする人物の位置を特定することが可能である。
【0051】
着座センサ（又はシートセンサ）は、車両Ｃ１の各座席に着座している乗員の有無を検出するセンサである。シートベルトセンサは、車両Ｃ１の各座席に着座している乗員がシートベルトを着用しているか否かを検出するセンサである。ドアセンサは、車両Ｃ１の各ドアが半ドアであるか否かを検出するセンサである。バッテリセンサは、車両Ｃ１に設置されているバッテリの残量を計測するためのセンサである。
【0052】
非接触温度センサは、車両Ｃ１に乗車しているユーザＵ１の体温を非接触状態で検出するセンサである。例えば、ユーザＵ１の顔の表面の温度を非接触温度センサにより計測可能である。これらの各センサについては、公知のセンサを用いることが可能である。
【0053】
情報処理装置１１０は、制御部１２０と、記憶部１３０と、通信部１４０とを備える。通信部１４０は、制御部１２０の制御に基づいて、有線通信又は無線通信を利用して、他の機器との間で各種情報のやりとりを行うものである。
【0054】
制御部１２０は、記憶部１３０に記憶されている各種プログラムに基づいて各部を制御するものである。制御部１２０は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の処理装置により実現される。例えば、ＧＰＵを用いて画像処理を実行することにより演算速度を速めることが可能である。また、ＧＰＵを用いて並列演算を実行することにより演算速度をさらに速めることが可能である。なお、車両Ｃ１の車両ＥＣＵ（Electronic Control Unit）を制御部１２０としても使用してもよく、車両ＥＣＵとは異なる処理装置を制御部１２０として設けてもよい。なお、制御部１２０は、文字を音声に変換する変換機能を備える。この変換機能は、例えば、ＴＴＳ（Text to Speech）により実現される。
【0055】
制御部１２０は、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報に基づいて、エージェント機器２００の動作状態を制御する制御処理を実行する。具体的には、制御部１２０は、不快度判定部１２１と、不快要因推定部１２２と、確信度判定部１２３と、エージェント制御部１２４とを備える。
【0056】
不快度判定部１２１は、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報に基づいて、車両Ｃ１に乗車するユーザＵ１の不快度を判定するものであり、その判定結果をエージェント制御部１２４に出力する。なお、ユーザＵ１の不快度の判定方法については、図６（Ａ）を参照して詳細に説明する。
【0057】
不快要因推定部１２２は、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報に基づいて、車両Ｃ１に乗車するユーザＵ１の不快要因を推定するものであり、その推定結果をエージェント制御部１２４に出力する。なお、ユーザＵ１の不快要因の推定方法については後述する。
【0058】
確信度判定部１２３は、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報に基づいて、センシングの確信度を判定するものであり、その判定結果をエージェント制御部１２４に出力する。なお、センシングの確信度の判定方法については、図５等を参照して詳細に説明する。
【0059】
エージェント制御部１２４は、不快度判定部１２１、不快要因推定部１２２、確信度判定部１２３による判定結果と、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報とに基づいて、エージェント機器２００の動作状態を制御するものである。例えば、エージェント制御部１２４は、擬生物化されたエージェントの顔を構成する各部（眼部Ｅ１、Ｅ２）を表示部２１０に表示させる。また、エージェント制御部１２４は、車両Ｃ１の乗員に報知すべき情報（報知情報）を表示部２１０に表示させる。また、エージェント制御部１２４は、擬生物化されたエージェントの音声、車両Ｃ１の乗員に報知すべき情報に対応する音声等を音出力部２２０から出力させる。
【0060】
例えば、エージェント制御部１２４は、表示部２１０に表示させる報知情報と、音出力部２２０から出力させる報知情報とを決定し、それらの報知情報を出力させる制御を実行する。なお、車両Ｃ１の内部に存在する対象物に関する報知情報については、報知情報ＤＢ１３２に格納されている。また、これらの各報知情報の出力例については、図１、図８（Ａ）に示す。例えば、シートベルトの着用に関する報知情報である場合には、シートベルトの着用に関する音声情報を報知情報として出力する。なお、シートベルトを示す画像を報知情報として表示部２１０に表示してもよい。また、バッテリ残量に関する報知情報である場合には、バッテリ残量を示す音声情報を報知情報として出力したり、バッテリを示す画像を報知情報として表示部２１０に表示したりする。また、半ドアに関する報知情報である場合には、半ドアを示す音声情報を報知情報として出力したり、ドアを示す画像を報知情報として表示したりする。
【0061】
また、例えば、エージェント制御部１２４は、報知情報の出力がユーザＵ１に不快感を与えた場合には、その報知情報の出力に対する謝罪をエージェント機器２００に実行させる。例えば、図２、図８（Ｃ）に示すように、エージェント機器２００に謝罪を実行させる。この謝罪として、音声出力による謝罪、しぐさによる謝罪等を実行することが可能である。
【0062】
また、例えば、エージェント制御部１２５は、エージェント機器２００の謝罪後にユーザＵ１の不快状態が継続している場合には、ユーザＵ１の不快度に応じて、エージェント機器２００を待機態様、中間態様、通常態様に順次遷移させる。例えば、図９（Ｅ）に示すように、エージェント機器２００を待機態様に遷移させたり、図９（Ｆ）に示すように、エージェント機器２００を中間態様に遷移させたりする。なお、エージェント機器２００の態様の遷移方法については、図８乃至図１０等を参照して詳細に説明する。また、エージェント制御部１２５は、ユーザＵ１の不快度に応じて各態様に遷移させるための対応方法を決定する対応方法決定部として機能する。このように、本実施形態では、ユーザＵ１の不快度に応じて、エージェント機器２００を通常態様、謝罪態様、待機態様、中間態様の何れかに遷移させる。
【0063】
記憶部１３０は、各種情報を記憶する記憶媒体である。例えば、記憶部１３０には制御部１２０が各種処理を行うために必要となる各種情報（例えば、制御プログラム、エージェント情報ＤＢ１３１、報知情報ＤＢ１３２、地図情報ＤＢ１３３、周囲状況ＤＢ１３４、ユーザ状態ＤＢ１３５）が記憶される。また、記憶部１３０には、通信部１４０を介して取得された各種情報が記憶される。記憶部１３０として、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせを用いることができる。
【0064】
エージェント情報ＤＢ１３１には、エージェント機器２００の各種動作を実現するために必要となる情報が格納されている。例えば、表示部２１０に表示される顔画像情報（例えば、眼部Ｅ１、Ｅ２、汗画像ＳＷ１、縦線画像Ｖ１、頬画像ＲＳ１、口部Ｍ１）と、音出力部２２０から出力される音声情報とがエージェント情報ＤＢ１３１に格納される。また、例えば、謝罪の実行時にエージェント機器２００を動作させるための動作情報等がエージェント情報ＤＢ１３１に格納される。また、例えば、エージェント機器２００を待機態様、中間態様に遷移させるための遷移情報等がエージェント情報ＤＢ１３１に格納される。
【0065】
報知情報ＤＢ１３２には、車両Ｃ１の内部又は外部に存在する対象物に関する報知情報を出力するために必要となる情報が格納されている。例えば、半ドアに関する報知情報である場合には、ドアを示す画像情報と半ドアを報知するための音声情報とが報知情報として報知情報ＤＢ１３２に格納される。また、例えば、シートベルトの着用に関する報知情報である場合には、シートベルトを示す画像情報とシートベルトの着用を報知するための音声情報とが報知情報として報知情報ＤＢ１３２に格納される。また、例えば、バッテリ残量に関する報知情報である場合には、バッテリを示す画像情報とシートベルトの着用を報知するための音声情報とが報知情報として報知情報ＤＢ１３２に格納される。
【0066】
地図情報ＤＢ１３３には、車両Ｃ１の経路案内に必要となる道路に関する道路情報等の地図情報が格納されている。その地図情報には、道路の勾配、道路の交差点、道路の車線数、道幅情報、道路の起伏情報、悪路状態が含まれる。また、地図情報には、速度制限、一方通行等を示す道路標識、横断歩道、区画線等を示す道路標示も含まれる。また、地図情報には、道路構造物（例えば信号機、電信柱）、建物等の施設情報、周囲の観光案内情報等を含めてもよい。なお、エージェント情報ＤＢ１３１、報知情報ＤＢ１３２、地図情報ＤＢ１３３については、車両Ｃ１が備える記憶部１３０に記憶して用いてもよく、ネットワーク２０を介して外部機器から取得して用いてもよい。
【0067】
周囲状況ＤＢ１３４には、車両Ｃ１の周囲の状況に関する情報が格納されている。これらの情報は、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報に基づいて取得されて格納される。
【0068】
周囲状況ＤＢ１３４に格納された情報については、車両Ｃ１の周囲の状況に関する情報を検出する際における検出精度を向上させるための学習に使用することが可能である。
【0069】
ユーザ状態ＤＢ１３５には、ユーザＵ１の状態に関する情報が格納されている。これらの情報は、カメラ１０１、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報に基づいて取得されて格納される。
【0070】
ユーザ状態ＤＢ１３５については、ユーザＵ１の状態に関する情報を検出する際における検出精度を向上させるための学習に使用することが可能である。
【0071】
エージェント機器２００は、情報処理装置１１０からの指示に基づいて各種動作を実行するロボット機器である。エージェント機器２００は、表示部２１０と、音出力部２２０と、駆動部２３０とを備える。なお、表示部２１０、音出力部２２０及び駆動部２３０は、エージェント機器２００が備える制御部（図示省略）に基づいて制御される。
【0072】
表示部２１０は、情報処理装置１１０からの指示に基づいて、各種画像を表示する表示部である。なお、表示部２１０として、例えば、有機ＥＬ（Electro Luminescence）パネル、ＬＣＤ（Liquid Crystal Display）パネル等の表示パネルを用いることができる。なお、表示部２１０については、使用者がその指を表示面に接触又は近接することにより操作入力を行うことが可能なタッチパネルとして構成してもよく、別体のユーザインタフェースとして構成してもよい。
【0073】
音出力部２２０は、情報処理装置１１０からの指示に基づいて、各種音声を出力するものである。音出力部２２０として、例えば、１又は複数のスピーカを用いることができる。なお、表示部２１０及び音出力部２２０は、ユーザインタフェースの一例であり、これらのうちの一部を省略してもよく、他のユーザインタフェースを用いてもよい。
【0074】
駆動部２３０は、情報処理装置１１０からの指示に基づいて、エージェント機器２００の本体部２０１、エージェント機器２００の各部を駆動するものである。例えば、駆動部２３０は、図３（Ａ）乃至（Ｈ）に示すように、本体部２０１を回動させる機構を実現する駆動装置である。また、例えば、駆動部２３０は、図７（Ａ）に示すように、レールＲＬ１上をエージェント機器２００を移動させる機構を実現する駆動装置である。例えば、駆動部２３０は、エージェント機器２００を移動させたり、本体部２０１を回動させたりすることが可能なモータ、サーボモータ等により構成される。
【0075】
［センシングの確信度の判定例］
次に、センシングの確信度の判定方法について説明する。上述したように、センシングの確信度が高い場合には、車両Ｃ１の周囲の状況に関する情報、ユーザＵ１に関する情報の取得精度も高くなり、エージェント機器２００を制御する際に用いられる機器における処理の確信度が高くなることが想定される。
次に、センシングの確信度の判定方法について説明する。上述したように、センシングの確信度が高い場合には、車両Ｃ１の周囲の状況に関する情報、ユーザＵ１に関する情報の取得精度も高くなり、エージェント機器２００を制御する際に用いられる機器における処理の確信度が高くなることが想定される。
【0076】
［センシング安定度に基づくセンシングの確信度の判定例］
図５は、センシングの確信度の判定方法の一例を示す図である。図５（Ａ）には、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４の各センサの検出値と、時間との関係を示す。なお、本実施形態では、説明を容易にするため、カメラ１０１を構成するイメージセンサを例にして説明する。また、本実施形態では、イメージセンサから出力された画素値（センサ素子値）が０又は最大値（例えば２５５）になったことを、センサ素子値が張り付いた状態と称する。また、本実施形態では、判定処理のタイミングを基準とする規定期間において、センサ素子値が張り付いた状態の割合に基づいて、センシング安定度を求める例を示す。
図５は、センシングの確信度の判定方法の一例を示す図である。図５（Ａ）には、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４の各センサの検出値と、時間との関係を示す。なお、本実施形態では、説明を容易にするため、カメラ１０１を構成するイメージセンサを例にして説明する。また、本実施形態では、イメージセンサから出力された画素値（センサ素子値）が０又は最大値（例えば２５５）になったことを、センサ素子値が張り付いた状態と称する。また、本実施形態では、判定処理のタイミングを基準とする規定期間において、センサ素子値が張り付いた状態の割合に基づいて、センシング安定度を求める例を示す。
【0077】
例えば、０乃至２５５の画素値を出力するイメージセンサを想定する。なお、画素値が０のときは黒に相当し、画素値が２５５のときは白に相当する。このイメージセンサでは、入射光が強すぎる場合等には、検出できない値として、例えば０又は２５５を画素値として出力することがある。このように、イメージセンサから検出できない値が出力されている状態をロスト状態と称することもある。例えば、逆光の場合、光の急激な変化が発生した場合等には、イメージセンサがロスト状態となることがある。この場合には、画素値として０又は２５５が出力される。すなわち、画素値が０又は２５５に張り付いてしまう状態となる。このように、イメージセンサがロスト状態となり、画素値として０又は２５５が出力されている場合には、イメージセンサが不安定になっていると推定される。
【0078】
そこで、本実施形態では、イメージセンサがロスト状態となり、画素値として０又は２５５が出力されている時間の割合に基づいて、センシング安定度を算出する例を示す。例えば、規定期間（例えば数秒（例えば５秒）程度）において、画素値として０又は２５５が出力されている時間の割合（画素値が張り付いている時間の割合）を求め、この割合に基づいてセンシング安定度を算出することが可能である。具体的には、以下に示すように、張付き割合を算出し、その張付き割合の値を１から引いた値をセンシング安定度として算出する。
張付き割合＝画素値が張り付いている時間／規定期間ｔ
センシング安定度＝１－張付き割合
張付き割合＝画素値が張り付いている時間／規定期間ｔ
センシング安定度＝１－張付き割合
【0079】
例えば、張付き割合が１００％の場合には、センシング安定度は０％となり、張付き割合が０％の場合には、センシング安定度は１００％となる。また、例えば、張付き割合が６０％の場合には、センシング安定度は４０％となり、張付き割合が３０％の場合には、センシング安定度は７０％となる。
【0080】
例えば、画素値として２５５が５秒間出力され続けた場合には、張付き割合＝１となるため、センシング安定度は０％となる。すなわち、強い光を検出し続けているような場合には、センシング安定度は０％となり、カメラ１０１を用いた適切な検出ができていないと推定される。そこで、このような場合には、センシングの確信度が低いと考えることができる。
【0081】
一般に、イメージセンサは、多数の画素により構成されている。このため、上述したセンシング安定度を算出する場合には、イメージセンサを構成する各画素のうち、一部の画素のみを用いてもよく、全部の画素を用いてもよい。例えば、イメージセンサを構成する各画素のうち、張り付いた画素が１画素でも存在する場合には、その１画素が張り付いている時間を用いてセンシング安定度を算出してもよい。また、例えば、イメージセンサを構成する各画素のうち、センシング安定度の算出に用いる１又は複数の画素を設定しておき、その画素の画素値を用いてセンシング安定度を算出してもよい。
【0082】
図５（Ａ）に示すグラフにおいて、横軸は時間軸を示し、縦軸はセンサ検出値（画素値）を示す。また、イメージセンサからのセンサ検出値として、０乃至最大値ＭＡＸの値が出力されるものとする。
【0083】
図５（Ａ）に示す例では、確信度の判定時ｔ３を基準として、その判定時ｔ３からｔ秒前までの期間（すなわち時刻ｔ１から時刻ｔ３までの期間）を規定期間ｔとする例を示す。なお、時刻ｔ２は、時刻ｔ１から時刻ｔ３までの期間の半分の値とする。なお、ｔは、例えば５秒程度の値とすることが可能である。なお、ｔについては、センサの種類、センシング安定度の精度等に基づいて適宜設定可能である。
【0084】
図５（Ａ）に示す例では、時刻ｔ１までのセンサ検出値ＳＥ１が、０から最大値ＭＡＸまでの間の値であり、時刻ｔ１から時刻ｔ２までのセンサ検出値ＳＥ２が０であり、時刻ｔ２以降のセンサ検出値ＳＥ３が、０から最大値ＭＡＸまでの間の値である場合を想定して説明する。この場合には、センサ検出値が張り付いた状態は、センサ検出値が０となる時刻ｔ１から時刻ｔ２までの時間帯となる。このため、確信度の判定時ｔ３を基準とする規定期間ｔにおいて、センサ検出値が張り付いた期間の割合（張付き割合）は、１／２となる。この場合には、センシング安定度は、５０％（１－１／２）となる。
【0085】
図５（Ｂ）に示すグラフにおいて、横軸は時間軸を示し、縦軸はセンシング安定度を示す。また、図５（Ｂ）に示す例では、５０％から１００％の間に、センシングの確信度を判定するための閾値ＴＨ１を設定する例を示す。なお、閾値ＴＨ１については、実験データ等に基づいて適宜設定可能である。
【0086】
例えば、図５（Ａ）に示す例では、センシング安定度が５０％であるため、閾値ＴＨ１未満となる。このため、センシングの確信度は低いと判定される。一方、センシング安定度が閾値ＴＨ１以上となる場合には、センシングの確信度は高いと判定される。
【0087】
［ＣＰＵ稼働率に基づくセンシングの確信度の算出例］
上述したセンシング安定度に基づいて、センシングの確信度を判定することが可能である。しかし、各センサから適切な検出値が出力された場合（すなわちセンシング安定度が高い場合）でも、制御部１２０の稼働率が高いときには、それらの検出値を用いた演算処理が適切に実行されないことも想定される。そこで、制御部１２０の稼働率を用いてセンシングの確信度を判定してもよい。なお、本実施形態では、制御部１２０を構成するＣＰＵの稼働率を用いてセンシングの確信度を判定する例を示す。また、ＣＰＵの稼働率については、公知の算出方法を用いて算出可能である。
上述したセンシング安定度に基づいて、センシングの確信度を判定することが可能である。しかし、各センサから適切な検出値が出力された場合（すなわちセンシング安定度が高い場合）でも、制御部１２０の稼働率が高いときには、それらの検出値を用いた演算処理が適切に実行されないことも想定される。そこで、制御部１２０の稼働率を用いてセンシングの確信度を判定してもよい。なお、本実施形態では、制御部１２０を構成するＣＰＵの稼働率を用いてセンシングの確信度を判定する例を示す。また、ＣＰＵの稼働率については、公知の算出方法を用いて算出可能である。
【0088】
図５（Ｃ）に示すグラフにおいて、横軸は時間軸を示し、縦軸はＣＰＵの稼働率を示す。また、図５（Ｃ）に示す例では、５０％から１００％の間に、センシングの確信度を判定するための閾値ＴＨ２を設定する例を示す。閾値ＴＨ２として、１００％に近い値を設定することが可能である。なお、閾値ＴＨ２については、実験データ等に基づいて適宜設定可能である。
【0089】
例えば、確信度の判定時ｔ２１のＣＰＵの稼働率、又は、その判定時ｔ２１を基準とする所定期間におけるＣＰＵの稼働率の平均値を求める。そして、ＣＰＵの稼働率（又は、その平均値）が閾値ＴＨ２以上の場合には、センシングの確信度は低いと判定される。一方、ＣＰＵの稼働率（又は、その平均値）が閾値ＴＨ２未満である場合には、センシングの確信度は高いと判定される。
【0090】
なお、以上では、センシング安定度に基づくセンシングの確信度の判定方法と、ＣＰＵ稼働率に基づくセンシングの確信度の判定方法とについて説明したが、これらの双方の判定方法を用いて、センシングの確信度を判定してもよく、何れか一方の判定方法を用いて、センシングの確信度を判定してもよい。例えば、センシング安定度に基づくセンシングの確信度と、ＣＰＵ稼働率に基づくセンシングの確信度との双方が高いと判定されたことを条件に、センシングの確信度が高いと判定することが可能である。この場合には、センシング安定度に基づくセンシングの確信度と、ＣＰＵ稼働率に基づくセンシングの確信度との少なくとも１つが低いと判定された場合には、センシングの確信度が低いと判定する。また、他のセンシングの確信度の判定方法を用いてもよい。
【0091】
［ユーザの不快度の判定例］
次に、ユーザＵ１の不快度を判定する判定方法について説明する。ユーザＵ１の不快度は、ユーザＵ１の生体情報（例えば、心拍、血脈）と、ユーザＵ１から発せられる音と、ユーザＵ１の外観（例えば、表情、動き）とに基づいて算出が可能である。
次に、ユーザＵ１の不快度を判定する判定方法について説明する。ユーザＵ１の不快度は、ユーザＵ１の生体情報（例えば、心拍、血脈）と、ユーザＵ１から発せられる音と、ユーザＵ１の外観（例えば、表情、動き）とに基づいて算出が可能である。
【0092】
例えば、ユーザＵ１が不快になると、ユーザＵ１が興奮してユーザＵ１の心拍が速くなることが想定される。そこで、ユーザＵ１の心拍を数値化してユーザＵ１の不快度を算出可能である。また、ユーザＵ１が不快になると、ユーザＵ１の顔がむっとしたり、怒ったような表情となったり、目が吊り上がったりすることが想定される。そこで、ユーザＵ１の顔を含む画像を解析することによりユーザＵ１の表情の変化を取得し、その変化の程度に基づいて、ユーザＵ１の不快度を算出可能である。例えば、ユーザＵ１の表情が急激に変化し、かつ、その変化後の表情が所定の表情（例えば、むっとする表情、怒ったような表情、目が吊り上がる表情）になった場合に、ユーザＵ１の不快度が高いと判定することが可能である。なお、ユーザＵ１の顔が所定の表情になった場合に、ユーザＵ１の不快度が高いと判定することも可能である。なお、ユーザＵ１の顔を含む画像については、カメラ１０１（図４参照）により取得可能である。また、表情の判定については、公知の表情認識技術（例えば表情判定プログラム）を用いることが可能である。
【0093】
なお、顔に関する他の情報を用いてユーザＵ１の不快度を判定してもよい。例えば、ユーザＵ１が怒った場合には、ユーザＵ１の顔の表面の温度が高くなることが想定される。そこで、カメラ１０１により取得された画像（ユーザＵ１の顔を含む）、非接触温度センサ等に基づいて、ユーザＵ１の顔の表面の温度を推定し、その温度に基づいて、ユーザＵ１の不快度を判定することが可能である。例えば、ユーザＵ１の顔の表面の温度の変化に基づいて、ユーザＵ１の不快度を算出可能である。例えば、ユーザＵ１の顔の表面の温度が急激に変化し、かつ、その変化後の温度が所定値以上となった場合に、ユーザＵ１の不快度が高いと判定することが可能である。なお、温度の推定判定については、公知の温度推定技術を用いることが可能である。
【0094】
また、ユーザＵ１が不快になると、ユーザＵ１が興奮して特定のキーワード（例えば、このやろう）を発したり、ユーザＵ１が声を荒げてユーザＵ１から発せられる声の音量が高くなったりすることが想定される。そこで、ユーザＵ１から発せられる声を解析することにより、ユーザＵ１が発した特定のキーワード（例えば、このやろう）、ユーザＵ１から発せられる声の音量を取得する。そして、ユーザＵ１が特定のキーワード（例えば、このやろう）を発した場合、又は、ユーザＵ１から発せられた声の音量が閾値以上となった場合に、ユーザＵ１の不快度が高いと判定することが可能である。なお、ユーザＵ１が発する声については、音声入力部１０３（図４参照）により取得可能である。また、声の判定については、公知の音認識技術（例えば音判定プログラム）を用いることが可能である。また、表情及び音声を合わせて感情を推定する公知の推定技術を用いることも可能である。例えば、表情及び音声を合わせて感情を推定し、その感情をユーザＵ１の不快度として数値化することが可能である。この数値化されたユーザＵ１の不快度を用いる例を図６（Ａ）に示す。なお、ユーザＵ１の生体情報と、ユーザＵ１の発話内容と、ユーザＵ１の動作とのうちの少なくとも１つに基づいて算出が可能なユーザＵ１の不快度に関する他の数値を用いてもよい。
【0095】
図６（Ａ）は、ユーザＵ１の不快度の判定方法の一例を示す図である。図６（Ａ）に示すグラフにおいて、横軸は時間軸を示し、縦軸はユーザＵ１の不快度を示す。この不快度については、上述した算出方法により算出可能である。また、第１閾値ＴＨ３を点線で示す。なお、第１閾値ＴＨ３は、ユーザＵ１が不快状態であることを判定するための閾値である。また、第１閾値ＴＨ３は、謝罪演出後のエージェント機器２００をユーザＵ１が許したか否かを判定するための閾値としても用いられる。例えば、謝罪演出後にユーザＵ１が「さっきも間違えたな」、「何言ってるかわからない」、「この野郎」、「信じられない」等の声をエージェント機器２００に対して発している場合には、ユーザＵ１の不快度が高く、エージェント機器２００をユーザＵ１が許していないと推定される。
【0096】
なお、本実施形態では、ユーザＵ１が不快状態であることを判定するための閾値と、謝罪演出後のエージェント機器２００をユーザＵ１が許したか否かを判定するための閾値とについては、同一の第１閾値ＴＨ３を用いる例を示す。ただし、これらの各閾値を異なる値として設定してもよい。
【0097】
第１閾値ＴＨ３´は、所定期間内（例えば、１トリップ中）に、謝罪演出後のエージェント機器２００をユーザＵ１が許さないと判定された回数の増加に応じて、第１閾値ＴＨ３の代わりに設定される閾値である。すなわち、所定期間内に、謝罪演出後のエージェント機器２００をユーザＵ１が許さないと判定された回数が増加するほど、第１閾値ＴＨ３を低く設定する。なお、１トリップは、何らかの意味のある期間を意味する。例えば、ユーザＵ１が車両Ｃ１に乗車してから降車するまでの期間を１トリップとしてもよく、所定時間（例えば、数分乃至数十分、数時間、１日）を１トリップとしてもよい。なお、謝罪演出後のエージェント機器２００をユーザＵ１が許さないと判定された回数と、エージェント機器２００が待機態様に遷移した回数とは、同じ値となる。また、謝罪演出後のエージェント機器２００をユーザＵ１が許さないと判定された回数の代わりに、エージェント機器２００が謝罪した回数を用いて、第１閾値ＴＨ３´を設定してもよい。
【0098】
なお、第１閾値ＴＨ３、ＴＨ３´は、固定値としてもよく、可変値としてもよい。第１閾値ＴＨ３、ＴＨ３´を固定値とする場合には、実験データ等に基づいて適宜可能である。また、第１閾値ＴＨ３、ＴＨ３´を可変値とする場合には、報知情報の出力時刻（又は、エージェント機器２００の謝罪時刻）ｔ３１よりも前の所定期間内のユーザＵ１の不快度に基づいて、第１閾値ＴＨ３、ＴＨ３´を設定することが可能である。例えば、時刻ｔ３１よりも前の所定期間（例えば数秒乃至数十秒程度）内のユーザＵ１の不快度の平均値を算出し、この平均値に所定値を加算した値を第１閾値ＴＨ３、ＴＨ３´として設定することが可能である。なお、この場合の所定値については、その平均値に基づいて可変としてもよく、実験データ等に基づいて設定された固定値としてもよい。
【0099】
このように、本実施形態では、比較的短い期間に、エージェント機器２００が何度も待機態様に遷移したり、エージェント機器２００が何度も謝罪をしたりした場合に、それらの回数の増加に応じて第１閾値ＴＨ３を低い値（第１閾値ＴＨ３´）に変更する。これにより、エージェント機器２００が待機態様に移行し易くするとともに、エージェント機器２００が通常態様に移行しにくくする。すなわち、比較的長い期間、エージェント機器２００を待機態様とすることが可能となる。
【0100】
図６（Ａ）に示すグラフにおいて、報知情報の出力時刻（又は、エージェント機器２００の謝罪時刻）を時刻ｔ３１で示す。また、時刻ｔ３１以前におけるユーザＵ１の不快度の遷移例を線ＵＨ１で示し、時刻ｔ３１以降におけるユーザＵ１の不快度の遷移例を線ＵＨ２、ＵＨ３で示す。なお、線ＵＨ２は、ユーザＵ１の不快度が上昇し、エージェント機器２００が謝罪演出を実行した後にも、ユーザＵ１の不快度が高い状態を維持する場合における遷移例を示す。また、線ＵＨ３は、ユーザＵ１の不快度が下降し、第１閾値ＴＨ３未満となる場合の遷移例を示す。
【0101】
図６（Ｂ）は、ユーザＵ１の不快度と、エージェント機器２００の演出との関係例を示す図である。図６（Ｂ）に示すグラフにおいて、横軸はユーザＵ１の不快度を示し、縦軸はエージェント機器２００の演出の程度を示す。なお、ユーザＵ１の不快度は、上述した算出方法により算出可能である。また、第１閾値ＴＨ３（又は、第１閾値ＴＨ３´）については、図６（Ａ）と同様である。また、エージェント機器２００の演出の程度は、ユーザＵ１及びエージェント機器２００間の距離、エージェント機器２００の動きの量、エージェント機器２００の発話頻度（例えば、雑話をする回数）、エージェント機器２００の出力音の大きさ等を示す値である。なお、図６（Ｂ）では、ユーザＵ１及びエージェント機器２００間の距離を線形的に遷移する例を示すが、図７では、ユーザＵ１及びエージェント機器２００間の距離を３段階で遷移する例を示す。
【0102】
例えば、謝罪後にエージェント機器２００を待機態様に遷移させた場合を想定する。この場合において、ユーザＵ１の不快度が第１閾値ＴＨ３以上となる期間が継続しているときには、エージェント機器２００の待機態様も維持されるため、線ＯＬ１に示すように、エージェント機器２００の振る舞いを実行しない。
【0103】
また、例えば、エージェント機器２００が待機態様に遷移した後において、ユーザＵ１の不快度が第１閾値ＴＨ３未満となった場合には、線ＯＬ１に示すように、ユーザＵ１の不快度の下降に応じて、エージェント機器２００の振る舞いを大きくしてもよい。例えば、エージェント機器２００の動きを大きくしたり、動きを速くしたり、エージェント機器２００が発する音の音量を大きくしたりすることが可能である。
【0104】
上述したように、ユーザＵ１の不快状態が解消したような場合には、エージェント機器２００を待機態様から通常態様に遷移させる。このように、エージェント機器２００を待機態様から通常態様に遷移させる場合には、図６（Ｂ）の線ＯＬ１に示すように、ユーザＵ１の不快度の低下に伴って、エージェント機器２００のユーザＵ１への働きかけを増加させることが可能である。この場合には、上述したように、線形的に増加させてもよく、３段階で増加させてもよい。
【0105】
［ユーザの不快要因の推定例］
次に、ユーザＵ１の不快要因を推定する推定方法について説明する。ユーザＵ１の不快要因は、ユーザＵ１の周囲の状況、ユーザＵ１に関する情報等に基づいて推定が可能である。なお、ユーザＵ１に関する情報として、ユーザＵ１の不快度の判定処理で用いた各情報、例えば、ユーザＵ１の生体情報（例えば、心拍、血脈）、ユーザＵ１から発せられる音、ユーザＵ１の外観（例えば、表情、動き）等を用いることが可能である。例えば、ユーザＵ１の不快度が第１閾値ＴＨ３以上となったタイミングにおいて、ユーザＵ１の周辺において生じた特定事象に基づいて推定可能である。
次に、ユーザＵ１の不快要因を推定する推定方法について説明する。ユーザＵ１の不快要因は、ユーザＵ１の周囲の状況、ユーザＵ１に関する情報等に基づいて推定が可能である。なお、ユーザＵ１に関する情報として、ユーザＵ１の不快度の判定処理で用いた各情報、例えば、ユーザＵ１の生体情報（例えば、心拍、血脈）、ユーザＵ１から発せられる音、ユーザＵ１の外観（例えば、表情、動き）等を用いることが可能である。例えば、ユーザＵ１の不快度が第１閾値ＴＨ３以上となったタイミングにおいて、ユーザＵ１の周辺において生じた特定事象に基づいて推定可能である。
【0106】
例えば、ユーザＵ１の周囲の状況に基づいて、車両Ｃ１の混雑（渋滞）、車内が暑い、後方から前方への他車の急な割込み、前方のトラックの排気ガス、エージェント機器２００等の不快要因を推定可能である。
【0107】
例えば、カメラ１０１により取得された車両Ｃ１の周囲の画像（例えば車両Ｃ１の前方の画像）、音声入力部１０３により取得されたユーザＵ１の声、センサ類１０４に含まれる各種センサ（例えば、ＬｉＤＡＲ、ＲＡＤＡＲ、Ｓｏｎａｒ）、通信部１４０を介して取得可能な渋滞情報等に基づいて、車両Ｃ１の周囲に存在する他の車両を検出可能である。そこで、不快要因推定部１２２は、それらの各情報に基づいて、車両Ｃ１が走行している道路が渋滞であるか否かを判定する。例えば、車両Ｃ１の前方の画像、ＬｉＤＡＲ、ＲＡＤＡＲ、Ｓｏｎａｒ等の各センサからの検出情報等に基づいて、車両Ｃ１の前方に多数の車両が並んで停止又は低速走行していることが検出された場合には、車両Ｃ１が走行している道路が渋滞であると判定可能である。また、例えば、ユーザＵ１が「混んでるなぁ」等の声を連続して発しているような場合には、車両Ｃ１が走行している道路が渋滞であると判定可能である。
【0108】
そして、不快要因推定部１２２は、車両Ｃ１が走行している道路が渋滞である場合には、ユーザＵ１の不快要因が渋滞（又は混雑）であると推定することが可能である。なお、渋滞情報については、通信部１４０を介して他の機器（例えば、道路情報提供サーバ）から取得可能である。また、このように取得された渋滞情報と、位置情報取得センサ１０２により取得された車両Ｃ１の現在地とに基づいて、車両Ｃ１の周囲の渋滞状況を把握可能である。
【0109】
また、例えば、カメラ１０１により取得されたユーザＵ１の画像（例えばユーザＵ１の顔を含む画像、ユーザＵ１の全身又はその一部を含む画像）、センサ類１０４に含まれる各種センサ（例えば、温度センサ、非接触温度センサ）、通信部１４０を介して取得可能な天候情報等に基づいて、車両Ｃ１の内部の温度を検出可能である。そこで、不快要因推定部１２２は、それらの各情報に基づいて、車両Ｃ１の内部の温度が暑いか否かを判定する。そして、不快要因推定部１２２は、車両Ｃ１の内部の温度が、ユーザＵ１が暑いと感じる以上の温度である場合には、ユーザＵ１の不快要因が車内の暑さであると推定することが可能である。なお、天候情報については、通信部１４０を介して他の機器（例えば、気象情報提供サーバ）から取得可能である。また、このように取得された天候情報と、位置情報取得センサ１０２により取得された車両Ｃ１の現在地とに基づいて、車両Ｃ１の周囲の温度状況を把握可能である。また、温度センサは、車両Ｃ１の内部の温度を検出可能である。また、非接触温度センサは、ユーザＵ１の体温（例えば、顔の表面温度）を取得可能である。
【0110】
また、ユーザＵ１の顔を含む画像に基づいて、ユーザＵ１の顔の表情を検出可能である。そこで、顔の表情に基づいて、車両Ｃ１の内部の温度が暑いか否かを判定可能である。例えば、ユーザＵ１の顔に汗が流れている場合、ユーザＵ１が顔の汗を拭く動作をしている場合、ユーザＵ１の顔が赤くなっている場合等には、車両Ｃ１の内部の温度が暑いと判定可能である。
【0111】
また、ユーザＵ１の全身又はその一部を含む画像に基づいて、ユーザＵ１が装着している服、ユーザＵ１の動作を検出可能である。そこで、ユーザＵ１が装着している服、ユーザＵ１の動作に基づいて、車両Ｃ１の内部の温度が暑いか否かを判定可能である。例えば、ユーザＵ１が薄着である場合、ユーザＵ１が顔を扇ぐ動作をしている場合、ユーザＵ１がエアコンの操作を頻繁にしている場合等には、車両Ｃ１の内部の温度が暑いと判定可能である。
【0112】
例えば、カメラ１０１により取得された車両Ｃ１の周囲の画像（例えば車両Ｃ１の前方を含む周囲の画像、ユーザＵ１の顔を含む画像）、センサ類１０４に含まれる各種センサ（例えば、ＬｉＤＡＲ、ＲＡＤＡＲ、Ｓｏｎａｒ）等に基づいて、車両Ｃ１の後方から車両Ｃ１の前方への他車の急な割込みを検出可能である。そこで、不快要因推定部１２２は、それらの各情報に基づいて、車両Ｃ１の後方から車両Ｃ１の前方への他車の急な割込みがあったか否かを判定する。そして、不快要因推定部１２２は、車両Ｃ１の後方から車両Ｃ１の前方への他車の急な割込みがあった場合には、ユーザＵ１の不快要因がその割込みであると推定することが可能である。
【0113】
例えば、ユーザＵ１の顔を含む画像に基づいて、ユーザＵ１の顔の表情を検出可能である。そこで、顔の表情に基づいて、予想外の行動（例えば、急な割込み）が起こったか否かを判定可能である。例えば、予想外の行動が起こったことに対する、びっくりしたような表情となっている場合等には、予想外の行動が発生したと判定可能である。
【0114】
例えば、カメラ１０１により取得された車両Ｃ１の周囲の画像（例えば車両Ｃ１の前方の画像）、音声入力部１０３により取得されたユーザＵ１の声、センサ類１０４に含まれる各種センサ（例えば、ＬｉＤＡＲ、ＲＡＤＡＲ、Ｓｏｎａｒ、臭気センサ）等に基づいて、車両Ｃ１の周囲に存在する他の車両の排気ガスを検出可能である。そこで、不快要因推定部１２２は、それらの各情報に基づいて、車両Ｃ１の周囲に存在する他の車両の排気ガスが多いか否かを判定する。例えば、車両Ｃ１の周囲の画像、ＬｉＤＡＲ、ＲＡＤＡＲ、Ｓｏｎａｒ等の各センサからの検出情報等に基づいて、車両Ｃ１の周囲に多量の排気ガスを排出する可能性のある車両（例えば大型トラック）が存在することを検出可能である。また、例えば、車両Ｃ１の周囲に大型トラックが存在し、かつ、ユーザＵ１が「排気ガス臭い」等の声を発しているような場合には、車両Ｃ１の周囲に多量の排気ガスを排出する大型トラックが存在すると判定可能である。また、例えば、ユーザＵ１が「排気ガスくさっ」等の声を連続して発しているような場合には、車両Ｃ１の周囲に排気ガスを多量に排出する車両（例えば大型トラック）が存在すると判定可能である。
【0115】
また、臭気センサは、車両Ｃ１の内部の臭いを検出可能であるため、臭気センサの検出結果に基づいて、車両Ｃ１の周囲に排気ガスを排出する車両（例えば大型トラック）が存在すると判定可能である。また、ユーザＵ１の顔を含む画像に基づいて、ユーザＵ１の顔の表情を検出可能である。そこで、顔の表情に基づいて、ユーザＵ１が臭い顔をしているか否かを判定可能である。例えば、ユーザＵ１が釣り目となり、臭いトラックに対して怒る表情をしている場合、ユーザＵ１が臭いトラックに対して眉を顰めている場合、ユーザＵ１が鼻を摘まむような動作をしている場合、ユーザＵ１が鼻の前を手で扇ぐ動作をしている場合等には、車両Ｃ１の周囲に排気ガスを排出する大型トラックが存在すると判定可能である。
【0116】
例えば、カメラ１０１により取得されたユーザＵ１の顔の画像、音声入力部１０３により取得されたユーザＵ１の声等に基づいて、ユーザＵ１の状態を検出可能である。そこで、不快要因推定部１２２は、それらの各情報に基づいて、ユーザＵ１がエージェント機器２００を不快に感じているか否かを判定する。例えば、ユーザＵ１の顔の表情がムッとしていて、視線がエージェント機器２００の方向に向けられている場合には、ユーザＵ１がエージェント機器２００を不快に感じていると判定可能である。また、例えば、ユーザＵ１が「エージェント、何言っているんだよ」等の声を発しているような場合には、ユーザＵ１がエージェント機器２００を不快に感じていると判定可能である。
【0117】
そして、不快要因推定部１２２は、ユーザＵ１がエージェント機器２００を不快に感じている場合には、ユーザＵ１の不快要因がエージェント機器２００であると推定することが可能である。
【0118】
なお、ユーザＵ１の不快要因、又は、ユーザＵ１の周囲の状況として、複数の条件が発生することも想定される。すなわち、不快の対象が複数となることも想定される。例えば、渋滞中に車内が臭く、かつ、急な割り込みがあることも想定される。このような場合には、複数の不快要因を判定してもよく、不快の程度が高いと想定される不快要因のみを判定してもよい。
【0119】
［エージェント機器の位置を変更する例］
図７は、エージェント機器２００の位置を変更する場合の遷移例を示す図である。図７（Ａ）には、本実施形態におけるエージェント機器２００の移動例を示す。また、図７（Ｂ１）乃至（Ｄ）には、図７（Ａ）に示す移動例の変形例を示す。
図７は、エージェント機器２００の位置を変更する場合の遷移例を示す図である。図７（Ａ）には、本実施形態におけるエージェント機器２００の移動例を示す。また、図７（Ｂ１）乃至（Ｄ）には、図７（Ａ）に示す移動例の変形例を示す。
【0120】
また、図７（Ａ）乃至（Ｄ）では、ユーザＵ１に報知情報を提供する通常態様と、通常態様よりもユーザＵ１の関心を引きにくい態様（待機態様）と、待機態様よりもユーザＵ１の関心を引き易い態様（中間態様）とにエージェント機器２００を遷移させる例を示す。なお、ユーザＵ１に対する謝罪を示す態様（謝罪態様）の位置は、通常態様の位置と同じとする。また、待機態様の位置は、ユーザＵ１からの距離が遠くなる位置、ユーザＵ１の視界に入らない位置、ユーザＵ１の関心を引きにくい位置等とすることが好ましい。例えば、車両Ｃ１の助手席側のＡピラー付近の位置を、待機態様の位置とすることが可能である。また、中間態様の位置は、通常態様の位置と、待機態様の位置との中間点付近とすることが可能である。
【0121】
図７（Ａ）には、レールＲＬ１上をエージェント機器２００が移動する移動構造の一例を示す。図７（Ａ）に示すように、ダッシュボード２上において左右方向に延びる２つのレール部材から構成されるレールＲＬ１が設置される。また、エージェント機器２００の下部には、レールＲＬ１上を走行可能な車輪が設置される。そして、エージェント機器２００の駆動部２３０（図４参照）は、エージェント制御部１２４からの制御に基づいて、レールＲＬ１上においてエージェント機器２００を左右方向（矢印Ａ１１方向）に移動させる。なお、レールＲＬ１のレール構造と、エージェント機器２００の車輪構造とについては、公知のレール技術を採用することが可能である。
【0122】
図７（Ａ）では、エージェント機器２００が通常態様の位置に配置されている例を示す。また、待機態様の位置に配置された場合のエージェント機器２００の外観を点線２００ａで示す。また、中間態様の位置に配置された場合のエージェント機器２００の外観を点線２００ｂで示す。
【0123】
なお、図７（Ａ）では、レールＲＬ１上をエージェント機器２００が移動する例を示すが、レールＲＬ１を省略し、自律的に移動可能なエージェント機器２００を用いてもよい。例えば、エージェント機器２００が自律的に移動可能となるように、ダッシュボード２上の少なくとも一部を平面状にする。そして、その平面状のダッシュボード２上をエージェント機器２００が移動することにより、エージェント機器２００の位置を変更することが可能である。
【0124】
図７（Ｂ１）には、ダッシュボード２上に複数の穴ＨＯ１乃至ＨＯ３を設置し、複数の穴ＨＯ１乃至ＨＯ３を利用してエージェント機器２００が移動する態様を実現する構造の一例を示す。図７（Ｂ２）には、穴ＨＯ１の構成例を示す。なお、他の穴ＨＯ２、ＨＯ３の構成についても穴ＨＯ１と同様とすることが可能である。また、エージェント機器２０２、２０３は、エージェント機器２００と同様とする。
【0125】
穴ＨＯ１は、エージェント機器２００を収容することが可能な程度の大きさを備える円筒形状の穴であり、底部ＢＯ２には、エージェント機器２００を上昇又は下降させることが可能な棒状体の上昇下降機構ＵＤ１を備える。上昇下降機構ＵＤ１の上端部は、エージェント機器２００の下部に連結される。また、上昇下降機構ＵＤ１は、駆動部２３０（図４参照）により上昇又は下降が制御される。
【0126】
例えば、エージェント機器２００、２０２、２０３が通常態様又は謝罪態様となる場合には、図７（Ｂ１）に示すように、穴ＨＯ１のエージェント機器２００のみが上昇した状態となり、穴ＨＯ２のエージェント機器２０２、穴ＨＯ３のエージェント機器２０３は、下降した状態で各底部に貼り付いた状態となる。また、例えば、エージェント機器２００、２０２、２０３が待機態様となる場合には、穴ＨＯ３のエージェント機器２０３のみが上昇した状態となり、穴ＨＯ１のエージェント機器２００、穴ＨＯ２のエージェント機器２０２は、下降した状態で各底部に貼り付いた状態となる。また、例えば、エージェント機器２００、２０２、２０３が中間態様となる場合には、穴ＨＯ２のエージェント機器２０２のみが上昇した状態となり、穴ＨＯ１のエージェント機器２００、穴ＨＯ３のエージェント機器２０３は、下降した状態で各底部に貼り付いた状態となる。
【0127】
なお、図７（Ｂ１）（Ｂ２）では図示を省略するが、複数の穴ＨＯ１乃至ＨＯ３のそれぞれに蓋を設置し、エージェント機器が上昇状態となっている穴の蓋のみを開け、他の穴の蓋を閉じた状態としてもよい。このように、複数の穴ＨＯ１乃至ＨＯ３のそれぞれに蓋を設置することにより、１つのエージェント機器のみをユーザＵ１が視認可能となり、各エージェント機器の同一性を高めることが可能である。
【0128】
なお、図７（Ａ）（Ｂ１）（Ｂ２）の各例を組み合わせてもよい。例えば、図７（Ｂ１）（Ｂ２）に示す例と同様に、ダッシュボード２に複数の穴ＨＯ１乃至ＨＯ３を設置し、ダッシュボード２の内部において各穴ＨＯ１乃至ＨＯ３の底部を繋ぐ横方向の穴を別途設ける。すなわち、ダッシュボード２の内部において山型の穴を設ける。そして、横方向の穴にレールを設置し、そのレール上をエージェント機器２００が移動可能としてもよい。また、各態様に応じて、何れかの穴からエージェント機器２００を上昇させるようにする。
【0129】
図７（Ｃ）には、車両Ｃ１のダッシュボード２に設置されている表示装置２５０の表示部２５１にエージェント画像２０５、２０５ａ、２０５ｂを表示する場合の例を示す。なお、エージェント画像２０５、２０５ａ、２０５ｂは、エージェント機器２００に相当する。なお、表示装置２５０の表示状態は、エージェント制御部１２４により制御される。例えば、ＣＧ（Computer Graphics）によりエージェント画像２０５、２０５ａ、２０５ｂを実現することが可能である。
【0130】
エージェント画像２０５は、通常態様、謝罪態様の位置に表示される画像である。また、エージェント画像２０５ａは、待機態様の位置に表示される画像である。また、エージェント画像２０５ｂは、中間態様の位置に表示される画像である。
【0131】
図７（Ｃ）では、横長の表示部２５１を備える表示装置２５０を用いる例を示したが、複数の表示装置を用いて各態様のエージェント画像を表示させてもよい。例えば、通常態様、謝罪態様の位置に表示装置Ａを設置し、待機態様の位置に表示装置Ｂを設置し、中間態様の位置に表示装置Ｃを設置する。この場合には、表示装置Ａにはエージェント画像２０５を表示させ、表示装置Ｂにはエージェント画像２０５ａを表示させ、表示装置Ｃにはエージェント画像２０５ｂを表示させることが可能である。
【0132】
図７（Ｄ）には、車両Ｃ１のＨＵＤ（Head Up Display）にエージェント画像２０６、２０６ａ、２０６ｂを表示する場合の例を示す。この場合には、ダッシュボード２の上部において、フロントウインド４との境界付近に、ＨＵＤを実現するためのＨＵＤ表示装置を設ける。
【0133】
ＨＵＤ表示装置は、フロントウインド４の表示領域４ａに光を投射して、その反射光を利用してユーザＵ１に虚像を見せるＨＵＤ表示を実現するための表示装置、例えばプロジェクタ、光学系である。すなわち、ＨＵＤ表示装置からフロントウインド４の表示領域４ａに投射された光は、フロントウインド４により反射され、その反射光がユーザＵ１の眼に向かう。そして、表示領域４ａに投射されてユーザＵ１の眼に入った反射光は、フロントウインド４越しに見える実際の物体とともに、その物体に重畳されて表示される。このように、ＨＵＤ表示装置は、フロントウインド４を用いて虚像を表示することにより、ＨＵＤ表示を実現する。
【0134】
例えば、ＨＵＤ表示装置は、情報処理装置１１０（図４参照）の制御に基づいて、エージェント画像２０６、２０６ａ、２０６ｂを表示領域４ａに表示させる。また、フロントウインド４は、車両Ｃ１のＨＵＤの表示媒体として機能する。
【0135】
エージェント画像２０６は、通常態様、謝罪態様の位置に表示される画像である。また、エージェント画像２０６ａは、待機態様の位置に表示される画像である。また、エージェント画像２０６ｂは、中間態様の位置に表示される画像である。
【0136】
なお、図７（Ｃ）（Ｄ）では、同一サイズのエージェント画像を左右方向に移動させる例を示したが、これに限定されない。例えば、エージェント画像を消去したりサイズを通常態様よりも小さくしたりして待機態様を実現してもよく、エージェント画像のサイズを通常態様よりも小さくして中間態様を実現してもよい。また、例えば、エージェント画像の透明度を通常態様よりも高くして待機態様、中間態様を実現してもよく、エージェント画像の明度を通常態様よりも低くして待機態様、中間態様を実現してもよい。また、エージェント画像の彩度を通常態様よりも低くして待機態様、中間態様を実現してもよく、エージェント画像のコントラストを通常態様よりも低くして待機態様、中間態様を実現してもよい。また、エージェント画像を各態様に遷移させる場合には、元の態様の位置から新たな態様の位置へのエージェント画像の移動軌跡をアニメーション処理等により表現してもよい。
【0137】
また、図７（Ａ）乃至（Ｂ２）では、エージェント機器を物理的に移動させたり、ユーザＵ１から視認可能なエージェント機器を別のエージェント機器に変更したりして各態様を実現する例を示したが、これに限定されない。例えば、エージェント機器からの音声出力を制限して待機態様、中間態様を実現してもよく、エージェント機器を静止状態として待機態様、中間態様を実現してもよい。
【0138】
また、図７（Ｃ）、（Ｄ）では、エージェント画像を移動させることにより各態様を実現する例を示したが、これに限定されない。例えば、エージェント画像からの音声出力を制限して待機態様、中間態様を実現してもよく、エージェント画像を静止状態として待機態様、中間態様を実現してもよい。
【0139】
例えば、ユーザＵ１の視界の隅でエージェント機器又はエージェント画像がチラチラと動いているとユーザＵ１に視認されやすい。しかし、エージェント機器又はエージェント画像がまったく動かず、声も発していないと、ユーザＵ１がエージェント機器又はエージェント画像に気が付かないことが多いと考えられる。このように、エージェント機器又はエージェント画像を静止状態としたり、声も発しない状態としたりすることにより、ユーザＵ１の眼には映っているが、ユーザＵ１がエージェント機器又はエージェント画像を気が付かない状態を実現することが可能である。
【0140】
このように、エージェント機器又はエージェント画像が、ユーザＵ１に話しかけなくなったり、動かなくなったりすることにより、エージェント機器又はエージェント画像がユーザＵ１の気を引かない状態とすることが可能である。すなわち、エージェント機器又はエージェント画像を待機態様とすることが可能である。
【0141】
また、上述した各態様については、対応する態様を組み合わせてもよい。例えば、通常態様よりもユーザＵ１から遠い位置にエージェント機器を移動させるとともに、エージェント機器からの音声出力を制限したり、エージェント機器を静止状態としたりして待機態様、中間態様を実現してもよい。
【0142】
［ユーザの不快状態に応じてエージェント機器の各態様を変化させる例］
次に、ユーザＵ１の不快状態に応じてエージェント機器２００の各態様を変化させる場合の遷移例について説明する。
次に、ユーザＵ１の不快状態に応じてエージェント機器２００の各態様を変化させる場合の遷移例について説明する。
【0143】
［エージェント機器の謝罪後にユーザの不快度が低下した場合の遷移例］
図８は、報知情報に対する謝罪後にユーザＵ１の不快度が低下した場合のエージェント機器２００の遷移例を示す図である。具体的には、信号待ち状態での報知情報の出力に対してユーザＵ１の不快度が上昇したため、エージェント機器２００がユーザＵ１に謝罪をし、この謝罪後にユーザＵ１の不快度が低下した場合の遷移例を示す。
図８は、報知情報に対する謝罪後にユーザＵ１の不快度が低下した場合のエージェント機器２００の遷移例を示す図である。具体的には、信号待ち状態での報知情報の出力に対してユーザＵ１の不快度が上昇したため、エージェント機器２００がユーザＵ１に謝罪をし、この謝罪後にユーザＵ１の不快度が低下した場合の遷移例を示す。
【0144】
図８（Ａ）には、道路Ｒ１において、赤信号が点灯している信号機ＳＧ１の手前で車両Ｃ１が停車している状態を示す。また、図８（Ａ）では、赤信号で停車している他の車両Ｃ２、Ｃ３が車両Ｃ１の前方に存在する例を示す。また、道路Ｒ１の外側には、親子の歩行者Ｗ１が存在するものとする。また、ユーザＵ１は、矢印Ａ２１に示すように、顔を左右方向に移動させて、車両Ｃ１の周囲を確認しているものとする。また、図８（Ａ）に示す例では、情報処理装置１１０（図４参照）からの指示に基づいて、親子の歩行者Ｗ１の存在を報知するための音声情報Ｓ１１「歩行者に気をつけてね」を報知情報として出力する例を示す。
【0145】
図８（Ｂ）には、道路Ｒ１において、信号機ＳＧ１が赤信号から青信号に切り替わった直後の状態を示す。また、図８（Ｂ）では、車両Ｃ１の前方の車両Ｃ２が移動を開始し、車両Ｃ１の隣の走行車線を他の車両Ｃ４が通過した例を示す。なお、道路Ｒ１の外側の親子の歩行者Ｗ１は、道路Ｄ１には近づかずに赤信号を待った状態である場合を示す。
【0146】
ここで、ユーザＵ１の思いとは違う内容の報知情報がエージェント機器２００から出力された場合を想定する。例えば、ユーザＵ１が、信号機ＳＧ１が青信号に切り替わったことを早く知りたかった場合に、報知情報として音声情報Ｓ１１「歩行者に気をつけてね」が出力された場合を想定する。この場合には、例えば、ユーザＵ１は、「もっと早く青信号を教えろよ。後ろの車の方が先に出発したじゃないか。」との思いが生じ、エージェント機器２００に対する不快感が生じることが想定される。
【0147】
また、例えば、ユーザＵ１が、歩行者以外の周囲の車両の状況も知りたかった場合に、報知情報として音声情報Ｓ１１「歩行者に気をつけてね」が出力された場合を想定する。この場合には、例えば、ユーザＵ１は、「道路上の横の車が通過したから、そっちに気を付けるべきじゃないか。」との思いが生じ、エージェント機器２００に対する不快感が生じることが想定される。このように、ユーザＵ１の思いとは違う内容の報知情報がエージェント機器２００から出力された場合には、エージェント機器２００に対する不快感がユーザＵ１に生じることが想定される。なお、図８（Ｂ）、（Ｃ）では、ユーザＵ１の不快感をユーザＵ１の後頭部の感嘆符で示す。
【0148】
このように、ユーザＵ１の思いとは違う内容の報知情報がエージェント機器２００から出力され、エージェント機器２００に対する不快感が生じた場合には、ユーザＵ１の不快度が第１閾値ＴＨ３以上となることも想定される。この場合には、不快度判定部１２１は、ユーザＵ１の不快度が第１閾値ＴＨ３以上となったことを判定可能である。また、不快要因推定部１２２は、ユーザＵ１の不快の対象がエージェント機器２００であることを推定可能である。このように、ユーザＵ１の不快度が第１閾値ＴＨ３以上であり、かつ、その不快の対象がエージェント機器２００である場合には、エージェント機器２００は、謝罪態様に遷移してユーザＵ１に対する謝罪演出を実行する。この例を図８（Ｃ）に示す。
【0149】
図８（Ｃ）には、不快に感じているユーザＵ１に対して音声情報Ｓ１２を出力して謝罪の意思をユーザＵ１に伝える例を示す。例えば、エージェント機器２００は、音声情報Ｓ１２「ごめんね、何か間違えたかな？」を出力するとともに、汗をかいて焦っている表情、伏し目がちの表情、上目がちでユーザＵ１の様子をうかがう表情等の所定のしぐさをして謝罪の意思をユーザＵ１に伝えるようにする。この場合に、例えば、前後方向（矢印Ａ２２方向）に本体部２０１を揺らせることにより、さらに焦る態度を強調することも可能である。
【0150】
このように、本実施形態では、予め定められた振る舞いをエージェント機器２００に実行させることにより謝罪演出を実現する。なお、予め定められた振る舞いは、エージェント機器２００からのメッセージの出力（発話と表示を含む）、エージェント機器２００の動作（表情を含む）のうちの少なくとも１つによりユーザＵ１に謝罪を示す形態を意味する。
【0151】
図８（Ｃ）に示すように、エージェント機器２００が謝罪することにより、ユーザＵ１の不快度が低下することも想定される。例えば、ユーザＵ１の不快度が第１閾値ＴＨ３未満となることも想定される。この場合には、不快度判定部１２１は、ユーザＵ１の不快度が第１閾値ＴＨ３未満となったことを判定可能である。このように、ユーザＵ１の不快度が第１閾値ＴＨ３未満となった場合には、エージェント機器２００は、通常態様に遷移して通常時の処理を継続して実行する。この例を図８（Ｄ１）に示す。
【0152】
図８（Ｄ１）には、エージェント機器２００の謝罪により不快が解消したユーザＵ１が、エージェント機器２００に対して音声Ｓ１３を発する例を示す。エージェント機器２００の謝罪により不快が解消した場合には、例えば、ユーザＵ１が「君のせいじゃないよ」「まぁ、気にしてないよ」等の声をエージェント機器２００に対して発することも想定される。これに対して、エージェント機器２００は、安堵の表情とするしぐさをした後に、通常時におけるコミュニケーション等を継続して実行する。
【0153】
一方、図８（Ｃ）に示すように、エージェント機器２００が謝罪したとしても、ユーザＵ１の不快度が低下しないことも想定される。例えば、ユーザＵ１の不快度が第１閾値ＴＨ３以上の状態が継続されることも想定される。この場合には、不快度判定部１２１は、ユーザＵ１の不快度が第１閾値ＴＨ３以上であることを判定可能である。このように、ユーザＵ１の不快度が第１閾値ＴＨ３以上の状態が継続している場合には、エージェント機器２００は、待機態様に遷移する。この例を図９（Ｄ２）に示す。
【0154】
［エージェント機器の謝罪後にユーザの不快度が低下しない場合の遷移例］
図９は、報知情報に対する謝罪後にユーザＵ１の不快度が低下しない場合のエージェント機器２００の遷移例を示す図である。具体的には、図８（Ｃ）に示すように、信号待ち状態での報知情報の出力に対してエージェント機器２００がユーザＵ１に謝罪をしたにも関わらず、この謝罪後にユーザＵ１の不快度が低下しない場合の遷移例を示す。
図９は、報知情報に対する謝罪後にユーザＵ１の不快度が低下しない場合のエージェント機器２００の遷移例を示す図である。具体的には、図８（Ｃ）に示すように、信号待ち状態での報知情報の出力に対してエージェント機器２００がユーザＵ１に謝罪をしたにも関わらず、この謝罪後にユーザＵ１の不快度が低下しない場合の遷移例を示す。
【0155】
図９（Ｄ２）には、エージェント機器２００の謝罪でも不快が解消しないユーザＵ１が、エージェント機器２００に対して音声Ｓ２１を発する例を示す。エージェント機器２００の謝罪でも不快が解消しない場合には、例えば、ユーザＵ１がエージェント機器２００の方向を向き、「気をつけろよ！」等の声を発することも想定される。この例では、ユーザＵ１の不快度が第１閾値ＴＨ３以上であるものとする。この場合には、エージェント機器２００は、待機態様に遷移する。具体的には、エージェント機器２００は、ユーザＵ１の視界に入らない位置に移動する。この例を図９（Ｅ）に示す。
【0156】
図９（Ｅ）には、ユーザＵ１の視界に入らない位置にエージェント機器２００が移動した場合の例を示す。具体的には、図９（Ｄ２）に示すように、ダッシュボード２の真ん中付近（助手席と運転席との境界付近）に配置されていたエージェント機器２００が矢印Ａ３１方向に移動する。なお、エージェント機器２００の移動方法については、図７（Ａ）で示したように、レールＲＬ１上を移動してもよく、ダッシュボード２上を自律的に移動してもよい。また、他の移動手段によりエージェント機器２００を移動させてもよい。
【0157】
なお、待機態様に遷移する場合、すなわちユーザＵ１の視線から消える場合には、待機態様に遷移する直前の表情の状態で待機態様の位置までエージェント機器２００を移動させることが好ましい。すなわち、待機態様に遷移する場合には、エージェント機器２００の存在を瞬間的に消すことが好ましい。このように、エージェント機器２００の存在を瞬間的に消すことにより、ユーザＵ１の気をひかないように、エージェント機器２００を待機態様に遷移させることが可能となる。これに対して、エージェント機器２００の存在を徐々に消すと、ユーザＵ１の気を引いてしまい、エージェント機器２００は何をしているんだと、ユーザＵ１に不快感を増加させるおそれがある。
【0158】
ただし、例えば、ユーザＵ１から「気をつけろよ！」等の声が発せられた場合には、伏し目がちの表情、ちょっと怒られてしゅんとなった表情、下を向く表情等の所定のしぐさをした状態でエージェント機器２００を移動させてもよい。
【0159】
例えば、エージェント機器２００の謝罪が有効でないことも想定される。このような場合には、ユーザＵ１の不快に対して、その不快要因であるエージェント機器２００が何らかの行動をすると、ユーザＵ１の不快度をさらに高めるおそれもある。そこで、エージェント機器２００の謝罪が有効でないと考えられるときには、エージェント機器２００の存在をユーザＵ１の視界から一旦消し、ユーザＵ１の不快感が収束してから徐々にエージェント機器２００を再登場させるようにする。なお、エージェント機器２００を移動させる代わりに、上述したように、エージェント機器２００の表情を消去したり、エージェント機器２００の動きを停止させたり、エージェント機器２００が声を発しなくなったりすることにより、エージェント機器２００の存在をユーザＵ１が気付きにくい状態としてもよい。
【0160】
図９（Ｅ）に示すように、ユーザＵ１の視界に入らない位置にエージェント機器２００が移動することにより、エージェント機器２００に対するユーザＵ１の関心が低下し、エージェント機器２００に対するユーザＵ１の不快度が低下することも想定される。例えば、ユーザＵ１の不快度が第２閾値未満（ただし、第３閾値以上）になることも想定される。この場合には、不快度判定部１２１は、ユーザＵ１の不快度が第２閾値未満であることを判定可能である。このように、ユーザＵ１の不快度が第２閾値未満となった場合には、エージェント機器２００は、中間態様に遷移する。この例を図９（Ｆ）に示す。
【0161】
ここで、第２閾値は、エージェント機器２００を待機態様から中間態様に遷移させるか否かを判定するための閾値であり、第１閾値よりも小さい値が設定される。なお、第２閾値として、固定値を用いてもよく、可変値を用いてもよい。第２閾値として固定値を用いる場合には、実験データ等に基づいて第２閾値を宜設定可能である。また、第２閾値として可変値を用いる場合には、ユーザＵ１が平静状態の不快度を基準として設定が可能である。例えば、ユーザＵ１の不快度が第１閾値ＴＨ３以上となった判定時を基準として、その判定時よりも前の所定期間内におけるユーザＵ１の不快度の平均値に基づいて第２閾値を設定することが可能である。なお、その平均値は、その所定期間内においてユーザＵ１が平常状態であったときの値を意味する。例えば、その平均値を第２閾値として設定可能である。なお、ユーザＵ１の不快度が第１閾値ＴＨ３以上となった判定時を基準とする代わりに、エージェント機器２００を謝罪態様に遷移するタイミング、又は、エージェント機器２００が報知情報を出力したタイミングを基準としてもよい。また、所定期間は、例えば数分乃至数十分程度の期間を設定可能である。
【0162】
図９（Ｆ）には、ユーザＵ１の視界の隅に入る位置にエージェント機器２００が移動した場合の例を示す。具体的には、図９（Ｅ）に示す位置にエージェント機器２００が移動した後に、ユーザＵ１の不快度が第２閾値未満に低下した場合に、図９（Ｅ）に示す位置から矢印Ａ３２方向にエージェント機器２００が移動する。ただし、通常態様の位置ではなく、中間態様の位置までの移動となる。このように、ユーザＵ１の不快度がある程度低下した場合には、ユーザＵ１から離れたところからエージェント機器２００が徐々に登場するようにする。また、図６（Ｂ）で示したように、エージェント機器２００が徐々に動いたり、ユーザＵ１に徐々に話しかけたりしてもよい。また、エージェント機器２００の表情を焦る表情としてもよい。
【0163】
図９（Ｆ）に示すように、ユーザＵ１の視界の隅に入る位置にエージェント機器２００が移動することにより、エージェント機器２００に対するユーザＵ１の関心が増加することも想定される。この場合に、例えば、待機態様の時間が長い状態が継続すると、エージェント機器２００に対する不快をユーザＵ１が忘れてしまい、ユーザＵ１の不快度が低下することも想定される。例えば、ユーザＵ１の不快度が第３閾値未満になることも想定される。この場合には、不快度判定部１２１は、ユーザＵ１の不快度が第３閾値未満であることを判定可能である。このように、ユーザＵ１の不快度が第３閾値未満となった場合には、エージェント機器２００は、通常態様に遷移する。この例を図９（Ｇ）に示す。
【0164】
ここで、第３閾値は、エージェント機器２００を中間態様から通常態様に遷移させるか否かを判定するための閾値であり、第２閾値よりも小さい値が設定される。なお、第３閾値として、固定値を用いてもよく、可変値を用いてもよい。第３閾値として固定値を用いる場合には、実験データ等に基づいて第３閾値を宜設定可能である。また、第３閾値として可変値を用いる場合には、ユーザＵ１が平静状態の不快度を基準として設定が可能である。例えば、ユーザＵ１の不快度が第１閾値ＴＨ３以上となった判定時を基準として、その判定時よりも前の所定期間内におけるユーザＵ１の不快度の最低値に基づいて第３閾値を設定することが可能である。なお、その最低値は、その所定期間内においてユーザＵ１が最も穏やかな状態であったときの値を意味する。例えば、その最低値を第３閾値として設定可能である。なお、ユーザＵ１の不快度が第１閾値ＴＨ３以上となった判定時を基準とする代わりに、エージェント機器２００を謝罪態様に遷移するタイミング、又は、エージェント機器２００が報知情報を出力したタイミングを基準としてもよい。また、所定期間は、例えば数分乃至数十分程度の期間を設定可能である。
【0165】
ここで、ユーザＵ１が運転中には、感情の起伏があり、不快度も順次変化する。そこで、エージェント機器２００が謝罪態様に遷移したタイミング、エージェント機器２００が報知情報を出力したタイミング等を基準とするその前の所定期間内の平均値、最低値を用いて、エージェント機器２００を通常態様に遷移させるか否かを判定する。これにより、ユーザＵ１が平静状態になったか否かを適切に判定することが可能である。
【0166】
このように、本実施形態では、エージェント機器２００を待機態様から中間態様に遷移させるための第２閾値よりも、エージェント機器２００を中間態様から通常態様に遷移させるための第３閾値を低く設定する。これにより、エージェント機器２００を通常態様に戻す適切なタイミングを設定可能である。このように、ユーザＵ１の不快度が平常時程度まで低下した場合には、中間態様の位置から通常態様の位置までエージェント機器２００を戻すようにする。このように、中間態様の位置から通常態様の位置までエージェント機器２００を戻す場合には、エージェント機器２００がユーザＵ１に徐々に話しかけるようにしてもよく、エージェント機器２００が徐々に動いたり、各種の表情をしたりしてもよい。
【0167】
図９（Ｇ）には、通常態様の位置にエージェント機器２００が移動した場合の例を示す。具体的には、図９（Ｆ）に示す位置にエージェント機器２００が移動した後に、ユーザＵ１の不快度が第３閾値未満に低下した場合には、図９（Ｆ）に示す位置から矢印Ａ３３方向にエージェント機器２００が移動する。これにより、エージェント機器２００は、通常態様の位置に戻る。このように、ユーザＵ１の不快状態が解消した場合には、エージェント機器２００を通常態様の位置に戻すようにする。また、図６（Ｂ）で示したように、エージェント機器２００の動きを大きくしたり、ユーザＵ１の発話頻度を多くしたりしてもよい。ただし、エージェント機器２００を通常態様の位置に戻す間、又は、その位置に戻した直後には、エージェント機器２００の表情を、反省している表情とすることが好ましい。この反省している表情は、例えば、伏し目がちの表情、焦る表情等である。これにより、過去の行動を反省していることをユーザＵ１に感じてもらうことが可能である。エージェント機器２００の表情を反省の表情とした後に、安堵の表情としてもよい。この安堵の表情に遷移する例を図９（Ｈ）に示す。
【0168】
このように、本実施形態では、エージェント機器２００の謝罪に対して、ユーザＵ１が不快を示した場合には、所定の対応方法を実行する。具体的には、エージェント機器２００の謝罪が有効ではなく、かつ、ユーザＵ１の怒りが収束していないと考えられるときには、エージェント機器２００の存在を一旦消す演出を実行する。すなわち、エージェント機器２００を謝罪態様から待機態様に遷移させる。また、ユーザＵ１の怒りが収束し、少しづつ落ち着いてきたら、ユーザＵ１が平常心になり、ユーザＵ１の不快度も減少すると想定される。この場合には、ユーザＵ１の不快度の減少に応じて、エージェント機器２００を徐々に再登場させる。この場合には、ユーザＵ１を気にするような振る舞いをしながら、エージェント機器２００を徐々に再登場させてもよい。このように、エージェント機器２００を待機態様から中間態様、通常態様に順次遷移させる。
【0169】
［情報処理装置の動作例］
図１０は、情報処理装置１１０における制御処理の一例を示すフローチャートである。また、この制御処理は、記憶部１３０に記憶されているプログラムに基づいて制御部１２０により実行される。また、この制御処理は、エージェント機器２００から報知情報を出力するタイミングで実行される。また、この制御処理では、図１乃至図９を適宜参照して説明する。
図１０は、情報処理装置１１０における制御処理の一例を示すフローチャートである。また、この制御処理は、記憶部１３０に記憶されているプログラムに基づいて制御部１２０により実行される。また、この制御処理は、エージェント機器２００から報知情報を出力するタイミングで実行される。また、この制御処理では、図１乃至図９を適宜参照して説明する。
【0170】
ステップＳ５０１において、エージェント制御部１２４は、エージェント機器２００からユーザＵ１に対する報知情報を出力させる出力処理を実行する。
【0171】
ここで、報知情報を出力するタイミングは、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４等から情報処理装置１１０に入力された情報、通信部１４０を介して外部から取得されて情報処理装置１１０に入力された情報等の入力情報を分析する分析処理の結果に基づいて決定される。例えば、エージェント制御部１２４は、入力情報の分析結果に基づいて、車両Ｃ１の乗員に報知すべき情報（報知情報）があるか否かを判定する。
【0172】
例えば、バッテリセンサに基づいて、車両Ｃ１のバッテリ残量を検出可能である。そこで、バッテリ残量が閾値以下となることが判定された場合には、バッテリ残量が低下していることを報知するための報知情報があると判定される。
【0173】
例えば、シートベルトの着用の有無を検出するシートベルトセンサと、車両Ｃ１の各座席の乗員の有無を検出する着座センサ（又はシートセンサ）とに基づいて、車両Ｃ１の各座席に乗車する乗員のシートベルトの着用の有無を判定可能である。そこで、乗員が着座しているにもかかわらず、シートベルトを着用していないことが判定された場合には、その乗員に対する報知情報があると判定される。
【0174】
また、例えば、車両Ｃ１の各ドアの半ドアを検出する半ドアセンサに基づいて、車両Ｃ１の半ドアを検出可能である。そこで、半ドア状態のドアが検出された場合には、半ドア状態のドアに対する報知情報があると判定される。
【0175】
また、例えば、通信部１４０を介して外部機器、例えば情報提供サーバから取得された情報と、位置情報取得センサ１０２により取得された車両Ｃ１の現在地とに基づいて、車両Ｃ１の周囲に存在する地物、商業施設等の有無を取得可能である。そこで、例えば、車両Ｃ１の周囲に商業施設、例えば珈琲店が存在することが判定された場合には、その珈琲店の広告が報知情報としてあると判定される。また、例えば、車両Ｃ１の周囲に観光施設、例えばＡＢＣ城が存在することが判定された場合には、そのＡＢＣ城を案内する情報が報知情報としてあると判定される。
【0176】
ステップＳ５０２において、制御部１２０は、車両Ｃ１の周囲の状況と、ユーザＵ１とに関するセンシングを実行する。そして、制御部１２０は、センシングの確信度を算出する。具体的には、確信度判定部１２３は、各センサから取得された各情報に基づいて、センシングの確信度を算出する。例えば、図５で示したように、センシング安定度、ＣＰＵ稼働率等に基づいてセンシングの確信度を算出することが可能である。
【0177】
ステップＳ５０３において、確信度判定部１２３は、ステップＳ５０２で出力されたセンシングの確信度が基準（例えば、閾値ＴＨ１（図５（Ｂ）参照）、閾値ＴＨ２（図５（Ｃ）参照））よりも高いか否かを判定する。センシングの確信度が基準よりも高い場合には、ステップＳ５０４に進む。一方、センシングの確信度が基準よりも低い場合には、制御処理の動作を終了する。
【0178】
このように、センシングの確信度が高い場合には、そのセンシングに基づく制御部１２０の各処理の確信度も高いと想定される。一方、センシングの確信度が低い場合には、そのセンシングに基づく制御部１２０の各処理の確信度も低いと想定される。そこで、センシングの確信度が高い場合には、ユーザＵ１の不快状態を適切に判定可能となるため、ステップＳ５０４に進み、エージェント機器２００の態様を制御する制御処理を実行する。一方、センシングの確信度が低い場合には、ユーザＵ１の不快状態を適切に判定することが困難となるため、エージェント機器２００の態様を制御する制御処理を実行しない。このように、センシングの確信度に基づいて、エージェント機器２００の態様を制御する制御処理の要否を決定することにより、エージェント機器２００がユーザＵ１に理解できない行動をとるリスクを分岐させておくことが可能である。
【0179】
ステップＳ５０４において、不快度判定部１２１は、各センサから取得された各情報に基づいて、ユーザＵ１の不快度を推定する。例えば、図６（Ａ）で示したように、ユーザＵ１の生体情報（例えば、心拍、血脈）と、ユーザＵ１から発せられる音と、ユーザＵ１の外観（例えば、表情、動き）とに基づいて、ユーザＵ１の不快度を算出することが可能である。なお、不快度判定部１２１は、不快度の推定処理を継続して行う。
【0180】
ステップＳ５０５において、不快度判定部１２１は、ステップＳ５０３で推定されたユーザＵ１の不快度が第１閾値ＴＨ３以上であるか否かを判定する。ユーザＵ１の不快度が第１閾値ＴＨ３以上である場合には、ステップＳ５０６に進む。一方、ユーザＵ１の不快度が第１閾値ＴＨ３未満である場合には、制御処理の動作を終了する。なお、ユーザＵ１の不快度が第１閾値ＴＨ３以上である状態が所定時間（例えば数秒乃至数分）継続したことを条件に、ステップＳ５０６に進むようにしてもよい。これにより、謝罪態様、待機態様への遷移が頻発してユーザＵ１の信頼性を損なうことを防止することが可能である。
【0181】
図６（Ａ）で説明したように、第１閾値ＴＨ３が低い値に変更され、第１閾値ＴＨ３´が設定されることもある。このように、第１閾値ＴＨ３´が設定された場合には、ステップＳ５０５の判定処理では、第１閾値ＴＨ３´を用いるようにする。また、ステップＳ５０９での判定処理についても同様である。
【0182】
ステップＳ５０６において、不快要因推定部１２２は、各センサから取得された各情報に基づいて、ユーザＵ１の不快要因を推定する。例えば、上述したように、ユーザＵ１の不快要因を推定することが可能である。
【0183】
ステップＳ５０７において、不快要因推定部１２２は、ユーザＵ１の不快の対象がエージェント機器２００であるか否かを判定する。すなわち、不快要因推定部１２２は、ステップＳ５０６で推定されたユーザＵ１の不快要因がエージェント機器２００であるか、他のものであるかを判定する。ユーザＵ１の不快の対象がエージェント機器２００である場合には、ステップＳ５０８に進む。一方、ユーザＵ１の不快の対象がエージェント機器２００以外のものである場合において、エージェント機器２００に謝罪演出を実行させると、この謝罪がユーザＵ１に理解できない行動をとなるおそれがある。そこで、ユーザＵ１の不快の対象がエージェント機器２００以外のものである場合には、制御処理の動作を終了する。
【0184】
ステップＳ５０８において、エージェント制御部１２５は、エージェント機器２００を謝罪態様に遷移させる。具体的には、エージェント制御部１２５は、ユーザＵ１を不快にしたことを謝罪する謝罪演出をエージェント機器２００に実行させる。例えば、図２、図８（Ｃ）に示すように、エージェント機器２００にユーザＵ１を不快にしたことを音声出力と所定のしぐさにより謝罪させることが可能である。
【0185】
ステップＳ５０９において、不快度判定部１２１は、ユーザＵ１がエージェント機器２００を許したか否かを判定する。具体的には、不快度判定部１２１は、ユーザＵ１の不快度が第１閾値ＴＨ３未満であるか否かを判定する。ユーザＵ１の不快度が第１閾値ＴＨ３未満である場合には、ユーザＵ１がエージェント機器２００を許したと判定し、ステップＳ５１０に進む。一方、ユーザＵ１の不快度が第１閾値ＴＨ３以上である場合には、ユーザＵ１がエージェント機器２００を許していないと判定し、ステップＳ５１１に進む。ここで、不快状態が早く解消する人と、不快状態が長く継続する人とが存在することが想定される。そこで、ステップＳ５０９の判定処理については、所定時間（例えば数秒乃至数分）が経過した後に実行してもよい。これにより、待機態様への遷移が頻発してユーザＵ１の信頼性を損なうことを防止することが可能である。
【0186】
ステップＳ５１０において、エージェント制御部１２５は、エージェント機器２００に安堵の演出を実行させ、エージェント機器２００を通常態様に遷移させる。なお、ステップＳ５１１、Ｓ５１４等を経由してステップＳ５１０に進んだ場合には、エージェント機器２００がユーザＵ１の視界の隅の位置に配置された状態となっている。そこで、ステップＳ５１１、Ｓ５１４等を経由してステップＳ５１０に進んだ場合には、エージェント機器２００を通常態様の位置に戻した後に、安堵の演出を実行させる。また、ステップＳ５１１、Ｓ５１４等を経由せずにステップＳ５１０に進んだ場合には、エージェント機器２００が通常態様の位置に配置され、謝罪演出を実行した状態となっている。そこで、ステップＳ５１１、Ｓ５１４等を経由せずにステップＳ５１０に進んだ場合には、エージェント機器２００の位置は変更せずに、謝罪演出を終了させた後に安堵の演出を実行させる。
【0187】
ステップＳ５１１において、エージェント制御部１２５は、エージェント機器２００を待機態様に遷移させる。具体的には、エージェント制御部１２５は、ユーザＵ１の視界に入らない位置にエージェント機器２００を移動させる。例えば、図９（Ｅ）に示すように、矢印Ａ３１方向にエージェント機器２００を移動させ、車両Ｃ１の助手席側のＡピラー付近にエージェント機器２００を配置する。
【0188】
ステップＳ５１２において、不快度判定部１２１は、ユーザＵ１の不快度が第２閾値未満であるか否かを判定する。ユーザＵ１の不快度が第２閾値未満である場合には、ステップＳ５１４に進む。一方、ユーザＵ１の不快度が第２閾値以上である場合には、ステップＳ５１３に進む。なお、ステップＳ５０７でユーザＵ１の不快要因がエージェント機器２００であると推定されているため、ステップＳ５１２で判定対象となるユーザＵ１の不快度は、エージェント機器２００に対する不快度であると推定される。また、ステップＳ５１５も同様である。
【0189】
ステップＳ５１３において、エージェント制御部１２５は、エージェント機器２００の待機態様を維持する。具体的には、エージェント制御部１２５は、ユーザＵ１の視界に入らない位置にエージェント機器２００を待機させる。例えば、図９（Ｅ）に示す位置に配置されたエージェント機器２００を待機させる。
【0190】
ステップＳ５１４において、エージェント制御部１２５は、エージェント機器２００を中間態様に遷移させる。具体的には、エージェント制御部１２５は、ユーザＵ１の視界の隅にエージェント機器２００を登場させる。例えば、図９（Ｆ）に示すように、矢印Ａ３２方向にエージェント機器２００を移動させ、ユーザＵ１の視界の隅にエージェント機器２００が入るように配置される。
【0191】
ステップＳ５１５において、不快度判定部１２１は、ユーザＵ１の不快度が第３閾値未満であるか否かを判定する。ユーザＵ１の不快度が第３閾値未満である場合には、ステップＳ５１０に進む。一方、ユーザＵ１の不快度が第３閾値以上である場合には、ステップＳ５１６に進む。
【0192】
ステップＳ５１６において、エージェント制御部１２５は、エージェント機器２００の中間態様を維持する。具体的には、エージェント制御部１２５は、ユーザＵ１の視界の隅の位置にエージェント機器２００を待機させる。例えば、図９（Ｆ）に示す位置に配置されたエージェント機器２００を待機させる。
【0193】
ここで、ユーザＵ１の不快度が一時的に第２閾値未満となったが、その後、ユーザＵ１の不快度が第３閾値未満となる前に第２閾値以上となることも想定される。そこで、ステップＳ５１５でユーザＵ１の不快度が第３閾値以上であると判定され、ステップＳ５１６で中間態様が維持された後には、ステップＳ５１２に進み、ユーザＵ１の不快度が第２閾値未満であるか否かを再度判定するようにする。これにより、ユーザＵ１の不快状態に応じた適切なエージェント機器２００の態様を実現可能である。
【0194】
［車両以外に設置可能なエージェント機器の例］
以上では、車両Ｃ１に設置されるエージェント機器２００、車両Ｃ１に表示されるエージェント画像の例を示した。ただし、車両Ｃ１から取り外し可能なエージェント機器、車両以外に設置可能なエージェント機器等についても本実施形態を適用可能である。例えば、例えば、携帯型のエージェント機器を所持するユーザが、車両Ｃ１に乗車するときには、車両Ｃ１のダッシュボード２上にそのエージェント機器を設置し、車両Ｃ１から降りる場合には、ユーザがそのエージェント機器を所持して持ち歩くことも想定される。また、ユーザが家庭内でエージェント機器を使用することも想定される。また、エージェント画像（エージェント機器２００に相当）を表示させることが可能な各種機器（例えば、ゲーム機器、眼鏡型ディスプレイ、ＡＲ（Augmented Reality）グラス）を使用することも想定される。
以上では、車両Ｃ１に設置されるエージェント機器２００、車両Ｃ１に表示されるエージェント画像の例を示した。ただし、車両Ｃ１から取り外し可能なエージェント機器、車両以外に設置可能なエージェント機器等についても本実施形態を適用可能である。例えば、例えば、携帯型のエージェント機器を所持するユーザが、車両Ｃ１に乗車するときには、車両Ｃ１のダッシュボード２上にそのエージェント機器を設置し、車両Ｃ１から降りる場合には、ユーザがそのエージェント機器を所持して持ち歩くことも想定される。また、ユーザが家庭内でエージェント機器を使用することも想定される。また、エージェント画像（エージェント機器２００に相当）を表示させることが可能な各種機器（例えば、ゲーム機器、眼鏡型ディスプレイ、ＡＲ（Augmented Reality）グラス）を使用することも想定される。
【0195】
例えば、家庭内では、家庭内に設置されている各機器に関する報知情報を出力することが考えられる。例えば、お風呂が沸いたタイミング、調理器具の調理が終了したタイミング等で、その旨を報知することが想定される。また、例えば、玄関のドア、窓が開いた状態の場合に、その旨を報知することが想定される。また、例えば、ガスコンロの火を消し忘れている場合に、その旨を報知することが想定される。これらの場合には、お風呂、各調理器具、ドア、窓等に関する報知情報を提供することが想定される。
【0196】
例えば、ユーザＵ１に提供された報知情報、又は、その報知の態様に対して、ユーザＵ１が不快になった場合には、ユーザＵ１の不快度に基づいて謝罪態様、待機態様、中間態様等に適宜遷移する。なお、ユーザＵ１の不快度については、上述した例と同様に、ユーザＵ１の生体情報（例えば、心拍、血脈）と、ユーザＵ１から発せられる音と、ユーザＵ１の外観（例えば、表情、動き）とに基づいて算出可能である。また、謝罪態様、待機態様、中間態様については、図８、図９に示す例と同様である。
【0197】
例えば、移動可能な車輪を下部に備えるエージェント機器を待機態様、中間態様とする場合を想定する。この場合には、ユーザから離れるようにエージェント機器の位置を移動することにより、エージェント機器を待機態様、中間態様とすることが可能である。例えば、レール上を移動可能なエージェント機器を待機態様、中間態様とする場合には、ユーザから離れる方向にエージェント機器を移動させることにより、エージェント機器を待機態様、中間態様とすることが可能である。また、例えば、自律的に移動可能なエージェント機器を待機態様、中間態様とする場合には、ユーザから離れる方向にエージェント機器を移動させることにより、エージェント機器を待機態様、中間態様とすることが可能である。
【0198】
また、例えば、エージェント画像を表示可能な機器（例えば、ゲーム機器、眼鏡型ディスプレイ、ＡＲグラス）を用いて、エージェント画像を待機態様、中間態様とする場合を想定する。この場合には、図７（Ｃ）（Ｄ）に示す例と同様に、ユーザから離れるようにエージェント画像の位置を移動することにより、エージェント画像を待機態様、中間態様とすることが可能である。また、例えば、エージェント画像を徐々に薄くして消去させることにより、待機態様を実現することが可能である。この場合には、例えば、エージェント画像を徐々に濃くして表示させることにより、中間態様、通常態様を実現することが可能である。また、上述したように、エージェント画像の透明度、エージェント画像の明度、エージェント画像の彩度を変更して各態様を実現してもよく、エージェント画像からの音声出力の制限、エージェント画像の静止状態等により各態様を実現してもよい。なお、これらの場合には、エージェント画像を表示可能な機器がエージェント機器２００に相当する。
【0199】
［本実施形態の効果例］
ここで、エージェント機器２００の間違え等に対しては、迅速に適切なタイミングで謝罪することが、ユーザＵ１との関係性で重要となる。すなわち、エージェント機器２００が間違ったことに対して、何もしないのではなく、何らかのフォローを迅速に適切なタイミングで実行することが重要となる。これにより、何らかの間違えがエージェント機器２００において発生した場合でも、ユーザＵ１とエージェント機器２００との絆を深めることが可能となる。また、何らかの間違えがエージェント機器２００において発生し、ユーザＵ１を不快にさせた場合でも、その不快感を速やかに低下させることが可能となる。
ここで、エージェント機器２００の間違え等に対しては、迅速に適切なタイミングで謝罪することが、ユーザＵ１との関係性で重要となる。すなわち、エージェント機器２００が間違ったことに対して、何もしないのではなく、何らかのフォローを迅速に適切なタイミングで実行することが重要となる。これにより、何らかの間違えがエージェント機器２００において発生した場合でも、ユーザＵ１とエージェント機器２００との絆を深めることが可能となる。また、何らかの間違えがエージェント機器２００において発生し、ユーザＵ１を不快にさせた場合でも、その不快感を速やかに低下させることが可能となる。
【0200】
そこで、本実施形態では、報知情報の出力、又は、その報知の態様がユーザＵ１を不快にしたような場合には、適切なタイミングでエージェント機器２００が謝罪をするようにする。この適切なタイミングは、例えば、可能な限り早いことが好ましい。
【0201】
しかし、エージェント機器２００がユーザＵ１に謝罪したとしても、ユーザＵ１がエージェント機器２００に対する怒りを覚えていて不快な状態が継続される可能性がある。このような状態で、エージェント機器２００からユーザＵ１に対する何らかのコミュニケーションが再開されると、ユーザＵ１の不快度を高めてしまい、ユーザＵ１の信頼感を失うおそれがある。
【0202】
そこで、本実施形態では、エージェント機器２００の謝罪に対してユーザＵ１が不快反応を示したような場合には、エージェント機器２００をユーザＵ１に気付かれ難い状態とする。そして、ユーザＵ１の不快状態が収束してから徐々にエージェント機器２００を再登場させる。具体的には、エージェント機器２００の謝罪後においてもユーザＵ１の不快度が第１閾値ＴＨ３以上となる状態が継続している場合には、エージェント機器２００を謝罪態様から待機態様に遷移させる。そして、エージェント機器２００を待機態様に遷移させた後において、ユーザＵ１の不快度が、第３閾値以上であるが、第２閾値未満となった場合には、エージェント機器２００を待機態様から中間態様に遷移させる。また、エージェント機器２００を中間態様に遷移させた後において、ユーザＵ１の不快度が第３閾値未満となった場合には、エージェント機器２００を中間態様から通常態様に遷移させる。この場合には、通常態様の位置に遷移させた後にエージェント機器２００に安堵の演出をさせることが好ましい。
【0203】
このように、エージェント機器２００の謝罪後においてユーザＵ１の不快状態が継続しているような場合には、ユーザＵ１の不快状態が収束するまでの間、エージェント機器２００をユーザＵ１に気付かれ難い待機態様に遷移させる。この待機態様では、エージェント機器２００の動きを少なくするため、消費電力を低減させることが可能であり、制御部１２０等の演算処理を低減させることが可能である。そして、ユーザＵ１の不快状態が徐々に収束するのに応じて、待機態様、中間態様、通常態様に順次遷移させる。すなわち、ユーザＵ１の不快状態が収束するのに応じて、エージェント機器２００を徐々に再登場させるようにする。このように、本実施形態では、エージェント機器２００の謝罪後にユーザＵ１の不快状態の継続を低減させ、ユーザＵ１の信頼感を高めることが可能である。
【0204】
このように、本実施形態では、報知情報の出力、又は、その報知の態様に対する謝罪を実行する場合には、適切なタイミングで迅速に謝罪するため、ユーザＵ１をさらに不快にすることを防止し、ユーザＵ１の信頼感を失うことを防止することが可能である。また、その謝罪後のユーザの不快状態を考慮して、通常態様での安堵の演出、待機態様、中間態様を適切に決定して実行する。このため、ユーザＵ１をさらに不快にすることを防止し、ユーザＵ１の信頼感を失うことを防止することが可能である。
【0205】
このように、本実施形態では、エージェント機器２００がユーザＵ１との関係を大切にしていると分かる行動をすることができる。これにより、ユーザＵ１とエージェント機器２００との絆を深め、エージェント機器２００からの報知情報をユーザＵ１が適切に受け入れることが可能となる。
【0206】
［他の機器、他のシステムにおいて処理を実行させる例］
なお、以上では、制御処理等をエージェント機器２００、情報処理装置１１０（又は情報処理システム１００）において実行する例を示したが、それらの各処理の全部又は一部を他の機器において実行してもよい。この場合には、それらの各処理の一部を実行する各機器により情報処理システムが構成される。例えば、車載機器、ユーザが使用可能な機器（例えば、スマートフォン、タブレット端末、パーソナルコンピュータ、カーナビゲーション装置、ＩＶＩ）、インターネット等の所定のネットワークを介して接続可能なサーバ等の各種情報処理装置、各種電子機器を用いて各処理の少なくとも一部を実行させることができる。
なお、以上では、制御処理等をエージェント機器２００、情報処理装置１１０（又は情報処理システム１００）において実行する例を示したが、それらの各処理の全部又は一部を他の機器において実行してもよい。この場合には、それらの各処理の一部を実行する各機器により情報処理システムが構成される。例えば、車載機器、ユーザが使用可能な機器（例えば、スマートフォン、タブレット端末、パーソナルコンピュータ、カーナビゲーション装置、ＩＶＩ）、インターネット等の所定のネットワークを介して接続可能なサーバ等の各種情報処理装置、各種電子機器を用いて各処理の少なくとも一部を実行させることができる。
【0207】
また、情報処理装置１１０（又は情報処理システム１００）の機能を実行可能な情報処理システムの一部（又は全部）については、インターネット等の所定のネットワークを介して提供可能なアプリケーションにより提供されてもよい。このアプリケーションは、例えばＳａａＳ（Software as a Service）である。
【0208】
［本実施形態の構成例及びその効果］
本実施形態に係る情報処理方法は、ユーザＵ１とのコミュニケーションを行うことが可能なエージェント機器２００を制御する情報処理方法である。この情報処理方法は、ユーザＵ１の生体情報（例えば、心拍、体温、顔の表面温度、血流、興奮度に関係する情報）と、ユーザＵ１の発話内容（例えば、この野郎等の所定のキーワード）と、ユーザＵ１の動作（例えば、体の動きの大きさ、速さ、表情）と、のうちの少なくとも１つに基づいて、ユーザＵ１の不快度を推定する不快度推定処理（ステップＳ５０４）と、ユーザＵ１に報知情報を提供する通常態様と、ユーザＵ１に対する謝罪を示す態様である謝罪態様と、通常態様よりもユーザＵ１の関心を引きにくい態様である待機態様と、のうちの少なくとも１つにエージェント機器２００の態様を変化させる制御処理（ステップＳ５０５乃至Ｓ５１６）と、を含み、制御処理（ステップＳ５０５乃至Ｓ５１１）では、ユーザＵ１に報知情報を提供した後に、ユーザＵ１の不快度に基づく所定条件が成立した場合（例えば、ユーザＵ１の不快度が第１閾値ＴＨ３以上となった場合）には、エージェント機器２００を通常態様から謝罪態様に遷移させ、エージェント機器２００を謝罪態様に遷移させた後に、ユーザＵ１の不快度が第１閾値ＴＨ３（第１基準の一例）よりも小さくならない場合には、エージェント機器２００を謝罪態様から待機態様に遷移させる。例えば、図８（Ｃ）に示すように、エージェント機器２００を通常態様から謝罪態様に遷移させる。また、例えば、図９（Ｅ）に示すように、エージェント機器２００を謝罪態様から待機態様に遷移させる。また、本実施形態に係るプログラムは、これらの各処理をコンピュータに実行させるプログラムである。言い換えると、本実施形態に係るプログラムは、情報処理装置１１０が実行可能な各機能をコンピュータに実現させるプログラムである。
本実施形態に係る情報処理方法は、ユーザＵ１とのコミュニケーションを行うことが可能なエージェント機器２００を制御する情報処理方法である。この情報処理方法は、ユーザＵ１の生体情報（例えば、心拍、体温、顔の表面温度、血流、興奮度に関係する情報）と、ユーザＵ１の発話内容（例えば、この野郎等の所定のキーワード）と、ユーザＵ１の動作（例えば、体の動きの大きさ、速さ、表情）と、のうちの少なくとも１つに基づいて、ユーザＵ１の不快度を推定する不快度推定処理（ステップＳ５０４）と、ユーザＵ１に報知情報を提供する通常態様と、ユーザＵ１に対する謝罪を示す態様である謝罪態様と、通常態様よりもユーザＵ１の関心を引きにくい態様である待機態様と、のうちの少なくとも１つにエージェント機器２００の態様を変化させる制御処理（ステップＳ５０５乃至Ｓ５１６）と、を含み、制御処理（ステップＳ５０５乃至Ｓ５１１）では、ユーザＵ１に報知情報を提供した後に、ユーザＵ１の不快度に基づく所定条件が成立した場合（例えば、ユーザＵ１の不快度が第１閾値ＴＨ３以上となった場合）には、エージェント機器２００を通常態様から謝罪態様に遷移させ、エージェント機器２００を謝罪態様に遷移させた後に、ユーザＵ１の不快度が第１閾値ＴＨ３（第１基準の一例）よりも小さくならない場合には、エージェント機器２００を謝罪態様から待機態様に遷移させる。例えば、図８（Ｃ）に示すように、エージェント機器２００を通常態様から謝罪態様に遷移させる。また、例えば、図９（Ｅ）に示すように、エージェント機器２００を謝罪態様から待機態様に遷移させる。また、本実施形態に係るプログラムは、これらの各処理をコンピュータに実行させるプログラムである。言い換えると、本実施形態に係るプログラムは、情報処理装置１１０が実行可能な各機能をコンピュータに実現させるプログラムである。
【0209】
この構成によれば、エージェント機器２００の謝罪後においてユーザＵ１の不快状態が継続しているような場合には、エージェント機器２００をユーザＵ１に気付かれ難い待機態様に遷移させることができる。これにより、エージェント機器２００の謝罪後にユーザＵ１の不快状態の継続を低減させ、ユーザＵ１の信頼感を高めることが可能である。
【0210】
本実施形態に係る情報処理方法では、エージェント機器２００は、移動が可能な機器であり、待機態様は、通常態様よりもユーザＵ１から遠い第１位置にエージェント機器２００を移動させる第１態様と、ユーザＵ１の視界の範囲外となる第２位置にエージェント機器２００を移動させる第２態様と、エージェント機器２００からの音声出力を制限する第３態様と、エージェント機器２００を静止状態とする第４態様と、のうちの少なくとも１つを含む。
【0211】
この構成によれば、第１態様乃至第４態様のうちの少なくとも１つの態様にエージェント機器２００を遷移させることにより、エージェント機器２００をユーザＵ１に気付かれ難い待機態様を実現することが可能である。
【0212】
本実施形態に係る情報処理方法では、エージェント機器は、ユーザＵ１とのコミュニケーションを行うエージェント画像２０５、２０５ａ、２０５ｂを表示部２５１に表示させる表示装置２５０（機器の一例）であり、待機態様は、表示部２５１において通常態様よりもユーザＵ１から遠い位置にエージェント画像２０５ａを表示させる第１態様と、表示部２５１におけるエージェント画像２０５ａの透明度を通常態様よりも高くする第２態様と、表示部２５１におけるエージェント画像２０５ａの明度を通常態様よりも低くする第３態様と、表示部２５１におけるエージェント画像２０５ａの彩度を通常態様よりも低くする第４態様と、エージェント画像２０５ａからの音声出力を制限する第５態様と、表示部２５１におけるエージェント画像２０５ａを静止状態とする第６態様と、のうちの少なくとも１つを含む。なお、図７（Ｄ）に示すように、ＨＵＤ表示装置を用いてエージェント画像２０６、２０６ａ、２０６ｂを表示領域４ａに表示させる場合についても同様とすることが可能である。
【0213】
この構成によれば、第１態様乃至第６態様のうちの少なくとも１つの態様にエージェント画像を遷移させることにより、エージェント画像をユーザＵ１に気付かれ難い待機態様を実現することが可能である。
【0214】
本実施形態に係る情報処理方法において、制御処理（ステップＳ５１１乃至Ｓ５１６）では、エージェント機器２００を待機態様に遷移させた後に、第１閾値ＴＨ３（第１基準の一例）よりも小さい値である第３閾値（第２基準の一例）よりもユーザＵ１の不快度が小さくなった場合には、エージェント機器２００を待機態様から通常態様に遷移させる。例えば、図９（Ｇ）に示すように、エージェント機器２００を通常態様に遷移させる。
【0215】
この構成によれば、エージェント機器２００の謝罪後においてエージェント機器２００を待機態様に遷移させた後に、ユーザＵ１の不快状態が収束した場合には、通常態様に戻すことができる。すなわち、ユーザＵ１の不快状態が収束するまでの間、通常態様に戻さず、ユーザＵ１の不快状態が収束したことを条件に、エージェント機器２００を通常態様に戻すことにより、ユーザＵ１の信頼感を高めることが可能である。
【0216】
本実施形態に係る情報処理方法において、制御処理（ステップＳ５１１乃至Ｓ５１６）では、エージェント機器２００を待機態様から通常態様に遷移させる場合には、待機態様よりもユーザＵ１の関心を引き易い態様である中間態様を経由して通常態様に遷移させる。例えば、図９（Ｆ）（Ｇ）に示すように、エージェント機器２００を中間態様に遷移させた後に、エージェント機器２００を通常態様に遷移させる。
【0217】
この構成によれば、エージェント機器２００の謝罪後においてエージェント機器２００を待機態様に遷移させた後に、ユーザＵ１の不快状態が収束するのに応じて、通常態様に徐々に戻すことができる。これにより、ユーザＵ１の信頼感を高めることが可能である。
【0218】
本実施形態に係る情報処理方法において、制御処理（ステップＳ５１１乃至Ｓ５１６）では、エージェント機器２００を待機態様に遷移させた後に、第１閾値ＴＨ３（第１基準の一例）よりも小さい値であり、かつ、第３閾値（第２基準の一例）よりも大きい値である第２閾値（第３基準の一例）よりもユーザＵ１の不快度が小さくなった場合には、エージェント機器２００を待機態様から中間態様に遷移させ、エージェント機器２００を中間態様に遷移させた後に、ユーザＵ１の不快度が第３閾値よりも小さくなった場合には、エージェント機器２００を中間態様から通常態様に遷移させる。例えば、図９（Ｆ）（Ｇ）に示すように、エージェント機器２００を中間態様に遷移させた後に、エージェント機器２００を通常態様に遷移させる。
【0219】
この構成によれば、適切な基準を用いた適切なタイミングで、待機態様から中間態様への遷移、中間態様から通常態様への遷移を順次実行することが可能となる。
【0220】
本実施形態に係る情報処理方法では、第３閾値（第２基準の一例）は、エージェント機器２００を謝罪態様に遷移する際における不快度の判定時を基準として、その判定時よりも前の所定期間内におけるユーザＵ１の不快度の最低値に基づいて設定される。例えば、その最低値を第３閾値とすることが可能である。
【0221】
この構成によれば、ユーザＵ１の平常時における不快度に基づく適切な第３閾値を設定することが可能であり、待機態様から通常態様への遷移を適切なタイミングで順次実行することが可能となる。
【0222】
本実施形態に係る情報処理方法では、第２閾値（第３基準の一例）は、エージェント機器２００を謝罪態様に遷移する際における不快度の判定時を基準として、その判定時よりも前の所定期間内におけるユーザＵ１の不快度の平均値に基づいて設定される。例えば、その平均値を第２閾値とすることが可能である。
【0223】
この構成によれば、ユーザＵ１の平常時における不快度に基づく適切な第２閾値を設定することが可能であり、待機態様から中間態様への遷移を適切なタイミングで実行することが可能となる。
【0224】
本実施形態に係る情報処理方法において、制御処理（ステップＳ５０８乃至Ｓ５１６）では、エージェント機器２００を謝罪態様に遷移させた後に、所定期間内にユーザＵ１の不快度が第１閾値ＴＨ３（第１基準の一例）よりも小さくなった場合には、エージェント機器２００を謝罪態様から通常態様に遷移させ、その通常態様において安心したしぐさを示す所定演出をエージェント機器２００に実行させる。例えば、図８（Ｄ１）に示すように、エージェント機器２００を通常態様に遷移させた後に、安堵の表情をエージェント機器２００に演出させる。
【0225】
この構成によれば、エージェント機器２００の謝罪の直後においてユーザＵ１の不快状態が解消しているような場合には、エージェント機器２００を通常態様に迅速に戻し、その通常態様において安心したしぐさを演出させることができる。このように、エージェント機器２００の謝罪後においてエージェント機器２００を通常態様に迅速に戻すことができるため、ユーザＵ１の信頼感を高めることが可能である。
【0226】
本実施形態に係る情報処理方法において、制御処理では、所定期間内において、前記謝罪態様への遷移が所定回数以上となった場合には、第１閾値ＴＨ３（第１基準の一例）を小さい値に変更する。第２所定期間は、例えば、ユーザＵ１が車両Ｃ１に乗車してから降車するまでの期間としてもよく、所定時間（例えば、数分乃至数十分、数時間、１日）としてもよい。また、小さい値に変更された第１閾値ＴＨ３（第１閾値ＴＨ３´）については、ステップＳ５０５、Ｓ５０９の各判定処理で用いられる。なお、第１閾値ＴＨ３を小さい値に変更する場合には、その変更に応じて、第２閾値（第３基準の一例）、第３閾値（第２基準の一例）のうちの少なくとも１つを小さい値に変更してもよい。
【0227】
この構成によれば、所定期間内において、エージェント機器２００が何度も間違えて謝罪をしているような場合には、待機態様に遷移し易くし、かつ、通常態様に戻し難くすることができる。これにより、通常態様及び待機態様の遷移が頻繁に繰り返されることを防止することができる。このため、ユーザＵ１の不快状態の発生を防止し、ユーザＵ１の信頼感を高めることが可能である。
【0228】
情報処理装置１１０は、ユーザＵ１とのコミュニケーションを行うことが可能なエージェント機器２００を制御する情報処理装置である。情報処理装置１１０は、ユーザＵ１の生体情報（例えば、心拍、体温、顔の表面温度、血流、興奮度に関係する情報）と、ユーザＵ１の発話内容（例えば、この野郎等の所定のキーワード）と、ユーザＵ１の動作（例えば、体の動きの大きさ、速さ、表情）と、のうちの少なくとも１つに基づいて、ユーザＵ１の不快度を推定する不快度判定部１２１（不快度推定部の一例）と、ユーザＵ１に報知情報を提供する通常態様と、ユーザＵ１に対する謝罪を示す態様である謝罪態様と、通常態様よりもユーザＵ１の関心を引きにくい態様である待機態様と、のうちの少なくとも１つにエージェント機器２００の態様を変化させるエージェント制御部１２４（制御部の一例）とを備える。エージェント制御部１２４は、ユーザＵ１に報知情報を提供した後に、ユーザＵ１の不快度に基づく所定条件が成立した場合（例えば、ユーザＵ１の不快度が第１閾値ＴＨ３以上となった場合）には、エージェント機器２００を通常態様から謝罪態様に遷移させ、エージェント機器２００を謝罪態様に遷移させた後に、ユーザＵ１の不快度が第１閾値ＴＨ３（第１基準の一例）よりも小さくならない場合には、エージェント機器２００を謝罪態様から待機態様に遷移させる。例えば、図９（Ｅ）に示すように、エージェント機器２００を通常態様から謝罪態様に遷移させる。また、例えば、図９（Ｆ）に示すように、エージェント機器２００を謝罪態様から待機態様に遷移させる。なお、情報処理装置１１０は、エージェント機器２００に内蔵される機器としてもよく、エージェント機器２００とは異なる機器としてもよい。また、情報処理装置１１０の代わりに、情報処理装置１１０により実現される各処理を実行可能な複数の機器により構成される情報処理システムとしてもよい。
【0229】
この構成によれば、エージェント機器２００の謝罪後においてユーザＵ１の不快状態が継続しているような場合には、エージェント機器２００をユーザＵ１に気付かれ難い待機態様に遷移させることができる。これにより、エージェント機器２００の謝罪後にユーザＵ１の不快状態の継続を低減させ、ユーザＵ１の信頼感を高めることが可能である。
【0230】
なお、本実施形態で示した各処理手順は、本実施形態を実現するための一例を示したものであり、本実施形態を実現可能な範囲で各処理手順の一部の順序を入れ替えてもよく、各処理手順の一部を省略したり他の処理手順を追加したりしてもよい。
【0231】
なお、本実施形態で示した各処理は、各処理手順をコンピュータに実行させるためのプログラムに基づいて実行されるものである。このため、本実施形態は、それらの各処理を実行する機能を実現するプログラム、そのプログラムを記憶する記録媒体の実施形態としても把握することができる。例えば、情報処理装置に新機能を追加するためのアップデート処理により、そのプログラムを情報処理装置の記憶装置に記憶させることができる。これにより、そのアップデートされた情報処理装置に本実施形態で示した各処理を実施させることが可能となる。
【0232】
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
【符号の説明】
【0233】
１００ 情報処理システム、１１０ 情報処理装置、１２０ 制御部、１２１ 不快度判定部、１２２ 不快要因推定部、１２３ 確信度判定部、１２４ エージェント制御部、１３０ 記憶部、１３１ エージェント情報ＤＢ、１３２ 報知情報ＤＢ、１３３ 地図情報ＤＢ、１３４ 周囲状況ＤＢ、１３５ ユーザ状態ＤＢ、１４０ 通信部、２００ エージェント機器、２１０ 表示部、２２０ 音出力部、２３０ 駆動部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】