特開 2024-73108 情報処理方法及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024073108

(43)【公開日】2024-05-29

(54)【発明の名称】情報処理方法及び情報処理装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240522BHJP

   G06F 3/16 20060101ALI20240522BHJP

   G10L 13/02 20130101ALI20240522BHJP

   G10L 13/00 20060101ALI20240522BHJP

   G10L 15/10 20060101ALN20240522BHJP

【ＦＩ】

G06F3/01 510

G06F3/16 620

G06F3/16 650

G10L13/02 130Z

G10L13/00 100A

G10L13/00 100C

G10L15/10 500N

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022184139

(22)【出願日】2022-11-17

(71)【出願人】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(71)【出願人】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】110002468

【氏名又は名称】弁理士法人後藤特許事務所

(72)【発明者】

【氏名】海老名 亮彦

(72)【発明者】

【氏名】柳 拓良

(72)【発明者】

【氏名】高松 敦

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA48

5E555BA02

5E555BA23

5E555BB02

5E555BB23

5E555BC04

5E555BE10

5E555CA47

5E555CB64

5E555CC01

5E555DA23

5E555DA27

5E555EA23

5E555FA00

(57)【要約】

【課題】ユーザへの報知によりユーザを不快にした場合に適切なタイミングで謝罪し、ユーザの信頼感を高める。
【解決手段】エージェント機器２００を用いて報知情報をユーザＵ１に報知する情報処理方法である。この情報処理方法は、報知情報をユーザＵ１に報知した後に、その報知情報又はその報知の態様に対するユーザＵ１の不快度を判定する不快度判定処理（ステップＳ５０２、Ｓ５０４、Ｓ５１２）と、ユーザＵ１の不快度が基準よりも高いと判定された場合に、その報知に関する謝罪をエージェント機器２００に表現させる制御処理（ステップＳ５０５乃至Ｓ５１１、Ｓ５１３乃至Ｓ５１５）とを含み、制御処理（ステップＳ５０５乃至Ｓ５１１、Ｓ５１３乃至Ｓ５１５）では、ユーザＵ１の負荷に基づいて、その謝罪の態様を変更する。
【選択図】図９

【特許請求の範囲】

【請求項1】

エージェント機器を用いて報知情報をユーザに報知する情報処理方法であって、
前記報知情報を前記ユーザに報知した後に、前記報知情報又は前記報知の態様に対する前記ユーザの不快度を判定する不快度判定処理と、
前記ユーザの不快度が基準よりも高いと判定された場合に、前記報知に関する謝罪を前記エージェント機器に表現させる制御処理と、を含み、
前記制御処理では、前記ユーザの負荷に基づいて、前記謝罪の態様を変更する、
情報処理方法。

【請求項2】

請求項１に記載の情報処理方法であって、
前記ユーザが発する音、及び、前記ユーザの外観のうちの少なくとも１つに基づいて、前記ユーザの負荷を判定する負荷判定処理、をさらに含み、
前記制御処理では、前記ユーザの負荷が基準よりも低い場合には、前記エージェント機器に音声出力をさせて前記謝罪を実行し、前記ユーザの負荷が基準よりも高い場合には、音声出力をさせずに前記エージェント機器に所定のしぐさを実行させることにより前記謝罪を実行する、
情報処理方法。

【請求項3】

請求項１に記載の情報処理方法であって、
前記エージェント機器は、車両に設置可能な機器であり、
前記ユーザの負荷として、前記ユーザの運転操作と、前記車両の周囲の状況とのうちの少なくとも１つに基づいて、前記車両を運転する際における前記ユーザの運転負荷を判定する負荷判定処理、をさらに含み、
前記制御処理では、前記ユーザの運転負荷が基準よりも低い場合には、前記エージェント機器に音声出力をさせて前記謝罪を実行し、前記ユーザの運転負荷が基準よりも高い場合には、音声出力をさせずに前記エージェント機器に所定のしぐさを実行させることにより前記謝罪を実行する、
情報処理方法。

【請求項4】

請求項３に記載の情報処理方法であって、
前記制御処理では、前記ユーザの運転負荷が基準よりも低い場合には、前記謝罪を示す表情とした前記エージェント機器の顔部を前記ユーザの方向に向け、前記謝罪を示す音声を出力させる態様とする、
情報処理方法。

【請求項5】

請求項１に記載の情報処理方法であって、
前記エージェント機器を制御する際に用いられる機器の稼働率と、前記機器の安定度とのうちの少なくとも１つに基づいて、前記報知情報の確信度を判定する確信度判定処理、をさらに含み、
前記制御処理では、前記ユーザの負荷と、前記確信度とに基づいて、前記謝罪の態様を変更する、
情報処理方法。

【請求項6】

請求項５に記載の情報処理方法であって、
前記制御処理では、
前記確信度が基準よりも高く、前記ユーザの負荷が基準よりも低い場合には、前記エージェント機器に前記謝罪に関する発話及び前記ユーザの不快度に関する理由を音声出力させて前記謝罪を実行し、
前記確信度が基準よりも低く、前記ユーザの負荷が基準よりも低い場合には、前記エージェント機器に前記謝罪に関する発話を音声出力させて前記謝罪を実行し、
前記ユーザの負荷が基準よりも高い場合には、前記確信度にかかわらず、音声出力をさせずに前記エージェント機器に所定のしぐさを実行させることにより前記謝罪を実行する、
情報処理方法。

【請求項7】

請求項６に記載の情報処理方法であって、
前記不快度判定処理では、前記ユーザの動作と、前記ユーザの周囲の状況とのうちの少なくとも１つに基づいて、前記ユーザを不快にさせた理由を推定し、
前記制御処理では、前記確信度が基準よりも高く、前記ユーザの負荷が基準よりも低い場合において、前記ユーザを不快にさせた理由が前記ユーザの周囲の状況に基づくと推定されたときには、当該周囲の状況に関する理由を音声出力させ、前記ユーザを不快にさせた理由が前記ユーザの動作に基づくと推定されたときには、当該ユーザの動作に関する理由を音声出力する、
情報処理方法。

【請求項8】

エージェント機器を用いて報知情報をユーザに報知する情報処理装置であって、
前記報知情報を前記ユーザに報知した後に、前記報知情報又は前記報知の態様に対する前記ユーザの不快度を判定する不快度判定部と、
前記ユーザの不快度が基準よりも高いと判定された場合に、前記報知に関する謝罪を前記エージェント機器に表現させる制御部と、を備え、
前記制御部は、前記ユーザの負荷に基づいて、前記謝罪の態様を変更する、
情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザに情報を報知する情報処理方法及び情報処理装置に関する。

【背景技術】

【0002】

従来、ユーザとのコミュニケーションを行うことが可能な機器が存在する。例えば、ボット（自動又は半自動システム）とユーザとの間で電話を行う技術が提案されている（例えば、特許文献１参照）。この従来技術では、電話での会話中にその会話を解析してボット及びユーザ間の会話の緊張の増減を求め、その緊張が閾値を上回っていると判定された場合に、電話の相手をボットから人間のオペレータに交代する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２０１９－５２２９１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述した従来技術では、ボットが謝罪するタイミングで、ボット及びユーザ間の緊張が増加したと判定されるため、電話の相手をボットから人間のオペレータに交代してこのオペレータがユーザに謝罪することが可能である。しかし、電話の相手を交代するための判定処理後に、人間のオペレータがユーザに謝罪することになるため、ユーザに謝罪するまでの時間が長くなり、ユーザに謝罪する適切なタイミングを逃すおそれがある。このような場合には、ユーザをさらに不快にし、ユーザの信頼感を失うおそれがある。なお、仮に、適切なタイミングで謝罪ができたとしても、ユーザの負荷が大きいような状況では、その謝罪がユーザに不快な印象を与えることも想定される。このような場合にも、ユーザの不快度を高めてしまい、ユーザの信頼感を失うおそれがある。

【0005】

本発明は、ユーザへの報知によりユーザを不快にした場合に適切なタイミングで謝罪し、ユーザの信頼感を高めることを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様は、エージェント機器を用いて報知情報をユーザに報知する情報処理方法である。この情報処理方法は、報知情報をユーザに報知した後に、報知情報又は報知の態様に対するユーザの不快度を判定する不快度判定処理と、ユーザの不快度が基準よりも高いと判定された場合に、報知に関する謝罪をエージェント機器に表現させる制御処理とを含み、制御処理では、ユーザの負荷に基づいて、謝罪の態様を変更する。

【発明の効果】

【0007】

本発明によれば、ユーザへの報知によりユーザを不快にした場合に適切なタイミングで謝罪し、ユーザの信頼感を高めることができる。

【図面の簡単な説明】

【0008】

【図1】図１は、車両の車室内の構成例を簡略化して示す図である。

【図2】図２は、エージェント機器が報知情報を出力した後に、その報知情報に対してエージェント機器が謝罪する場合の謝罪例を簡略化して示す図である。

【図3】図３は、エージェント機器の外観構成の一例を簡略化して示す正面図である。

【図4】図４は、車両に設置されている情報処理システムのシステム構成の一例を示す図である。

【図5】図５は、報知情報の確信度の判定方法の一例を示す図である。

【図6】図６は、ユーザの不快度の判定方法の一例と、ユーザの運転負荷の判定方法の一例とを示す図である。

【図7】図７は、信号待ちの状態で報知情報を出力した後にユーザの運転負荷に応じて謝罪の態様を変更する場合の遷移例を示す図である。

【図8】図８は、車両に乗車したユーザに対してシートベルトの着用に関する報知情報を出力した後にユーザの運転負荷に応じて謝罪の態様を変更する場合の遷移例を示す図である。

【図9】図９は、情報処理装置における報知謝罪処理の一例を示すフローチャートである。

【図10】図１０は、情報処理装置における車両の周囲の状況の判定処理の一例を示すフローチャートである。

【図11】図１１は、情報処理装置におけるユーザの動作の判定処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付図面を参照しながら本発明の実施形態について説明する。

【0010】

［エージェント機器の設置例］
図１は、車両Ｃ１の車室内の構成例を簡略化して示す図である。なお、図１では、運転席、助手席（図示省略）よりも前側を、車両Ｃ１の後ろ側から見た場合の外観構成例を示す。また、図１では、説明を容易にするため、ダッシュボード２、ステアリングホイール３、フロントウインド４、バックミラー５、カメラ１０１、エージェント機器２００以外の図示は省略する。

【0011】

エージェント機器２００は、車両Ｃ１のダッシュボード２上に設置される小型のロボットである。本実施形態では、人間を模したロボットをエージェント機器２００とする例を示す。なお、図１では、ダッシュボード２上にエージェント機器２００を設置する例を示すが、これに限定されない。例えば、フロントウインド４の上部にエージェント機器２００を設置してもよい。また、図１では、人間の顔を模したロボットをエージェント機器２００とする例を示すが、これに限定されない。例えば、人間の全身を模したロボット、ウサギ、豚等のような動物を模したロボット、仮想物の生物（例えばアニメのキャラクターの顔）を模したロボット、他の物体（例えばテレビ型の機器、ラジオ型の機器）を模したロボットをエージェント機器２００としてもよい。このように、擬生物化されたエージェントをエージェント機器２００とすることが可能である。

【0012】

エージェント機器２００は、情報処理装置１１０（図４参照）からの指示に基づいて各種の動作を実行する。例えば、エージェント機器２００は、情報処理装置１１０の制御に基づいて、ユーザが運転操作をする際における運転支援、周囲の施設等に関する各種情報を出力する。この運転支援として、前方又は後方の動体の報知等が想定される。例えば、前方の動体の報知として、「この先踏切だから気を付けてよ」と音声出力したり、「前方に人がいるよ」と音声出力したりすることができる。このように、エージェント機器２００は、運転支援を実行する。なお、図１では、ＸＹＺ珈琲店の広告を示す音声情報Ｓ１を報知情報として出力する例を示す。

【0013】

ここで、報知は、何らかの情報を伝えたり、知らせたりすることを意味する。また、車両Ｃ１のユーザ（車両Ｃ１の乗員）に報知すべき情報を報知情報と称して説明する。報知情報については、画像表示によりユーザに伝えてもよく、音声出力によりユーザに伝えてもよい。本実施形態では、主に、報知情報を音声出力によりユーザに伝える例を示す。なお、本実施形態で示す報知については、通知、伝達等と称してもよい。

【0014】

カメラ１０１は、車両Ｃ１の内部の天井に設けられ、車両Ｃ１の内部の被写体を撮像して画像（画像データ）を生成するものである。なお、カメラ１０１は、例えば、被写体を撮像することが可能な１又は複数のカメラ機器や画像センサにより構成される。例えば、フロントウインド４の上部、すなわち、バックミラー５の上側にカメラ１０１を設けることができる。なお、図１では、少なくとも１つのカメラ１０１を備える例を示すが、２以上の撮像装置を備え、これらの撮像装置のうちの全部又は一部の画像を用いてもよい。また、各撮像装置の設置場所については、図１に示す例に限定されず、適宜変更可能である。また、車両Ｃ１の全方位に存在する被写体と、車両Ｃ１の内部の被写体とを取得可能な１又は複数の機器、例えば、３６０度カメラを用いてもよい。

【0015】

［エージェント機器による報知に対する謝罪例］
図２は、エージェント機器２００が報知情報を出力した後に、その報知情報に対してエージェント機器２００が謝罪する場合の謝罪例を簡略化して示す図である。なお、図２に示す例は、図１に示す構成例において、エージェント機器２００の一部を変更したものであり、エージェント機器２００以外の部分については図１と共通する。

【0016】

図２に示すように、エージェント機器２００が報知情報を出力した後に、その報知情報又はその報知の態様に対してユーザＵ１を不快にさせたと判定された場合には、エージェント機器２００は、ユーザＵ１に謝罪をする。例えば、音声出力、エージェント機器２００の動きにより、ユーザＵ１に対する謝罪を表現することが可能である。図２では、エージェント機器２００の顔がユーザＵ１の方向に向いた状態で、音声情報Ｓ２を出力することにより、ユーザＵ１に対する謝罪を表現する例を示す。

【0017】

なお、報知の態様は、例えば、報知の際の音声出力の音量、報知のタイミング、報知の際のエージェント機器２００のしぐさ等である。例えば、音声出力の音量が大き過ぎたり、小さ過ぎたりする場合には、ユーザＵ１に不快感を与えるおそれがある。また、報知すべき対象に対して、報知のタイミングが遅い場合には、ユーザＵ１に不快感を与えるおそれがある。例えば、報知すべき対象がＸＹＺ珈琲店の案内であり、報知タイミングがＸＹＺ珈琲店を車両Ｃ１が通過した後であるような場合には、ユーザＵ１に不快感を与えるおそれがある。また、例えば、図１に示すように、報知すべき対象がＸＹＺ珈琲店の７時から１０時までの朝食セットであり、報知タイミングが１０時２４分であるような場合には、ユーザＵ１に不快感を与えるおそれがある。また、報知すべき対象に対して、エージェント機器２００の動きや表情が合わない場合には、ユーザＵ１に不快感を与えるおそれがある。例えば、ユーザＵ１が珈琲好きで、かつ、報知すべき対象がＸＹＺ珈琲店である場合において、エージェント機器２００が悲しい表情で報知したようなときには、ユーザＵ１に不快感を与えるおそれがある。

【0018】

ここで、エージェント機器２００は、車両Ｃ１に乗車するユーザＵ１にとって役に立つと思われる報知情報を提供する。この報知情報として、例えば、車両Ｃ１に関する情報、車両Ｃ１の運転支援に関する情報、車両Ｃ１の周囲に存在する商業施設、観光施設等に関する広告情報等が想定される。車両Ｃ１に関する情報は、例えば、バッテリ残量の報知、半ドアの報知等の車両Ｃ１自体に関する情報である。また、車両Ｃ１の運転支援に関する情報は、例えば、シートベルトの着用の報知、信号機の報知、道案内等のユーザＵ１が運転する際に必要となる各種情報である。また、車両Ｃ１の周囲に存在する商業施設、観光施設等に関する広告情報は、例えば、ショッピングモールの広告、観光地の案内等である。

【0019】

しかし、エージェント機器２００から提供された報知情報が、ユーザＵ１にとってはあまり役に立つ情報ではないことも想定される。このように、あまり役に立たない報知情報がユーザＵ１に提供された場合には、ユーザＵ１は、その報知情報の提供に対して不快な反応を示すことが想定される。例えば、ユーザＵ１の表情、ユーザＵ１の動き、ユーザＵ１が発する声等に基づいて、ユーザＵ１の不快な反応を検出することが可能である。なお、ユーザＵ１の表情、ユーザＵ１の動きについては、カメラ１０１により取得された画像に基づいて取得可能である。また、ユーザＵ１が発する声については、音声入力部１０３（図４参照）により取得された音声情報に基づいて取得可能である。

【0020】

例えば、ユーザＵ１がシートベルトを着用しようとしている間に、シートベルトの着用に関する報知情報が出力された場合には、この報知情報は、ユーザＵ１にとってはあまり役に立つ情報ではなく、かつ、ユーザＵ１に不快な印象を与えるおそれがある。また、例えば、朝の６時頃において、珈琲好きなユーザＵ１に対して、車両Ｃ１の周囲に存在する商業施設として、朝７時に開店するＸＹＺ珈琲店に関する報知情報が出力された場合を想定する。この場合に、仮に、ユーザＵ１がＸＹＺ珈琲店に車両Ｃ１を移動させたとしても、ＸＹＺ珈琲店は開店していないため、ユーザＵ１はＸＹＺ珈琲店に行くことができず、無駄な運転を行うおそれがある。また、例えば、図１に示すように、朝食を食べたいと考えているユーザＵ１に対して、ＸＹＺ珈琲店の朝７時から１０時までの朝食セットに関する報知情報が朝１０時２４分に出力された場合を想定する。この場合には、ユーザＵ１がＸＹＺ珈琲店に車両Ｃ１を移動させたとしても、ユーザＵ１は朝食セットを食べることができない。このような報知情報は、ユーザＵ１にとってはあまり役に立つ情報ではなく、かつ、ユーザＵ１に不快な印象を与えるおそれがある。

【0021】

このように、ユーザＵ１にとってはあまり役に立つ報知情報ではなく、かつ、ユーザＵ１に不快な印象を与えたような場合に、そのような報知情報の提供に対してユーザＵ１に何らかの対応をしないと、ユーザＵ１に対して不信感を与えるおそれがある。また、このようなエージェント機器２００の行動は、ユーザＵ１との関係を大切にしていないとユーザＵ１に認識され、ユーザＵ１との絆を深めることが困難となるおそれがある。そこで、このような場合には、そのような報知情報をユーザＵ１に対して提供したことに対して、いかに迅速に対応するかが重要となる。そこで、本実施形態では、そのような報知情報をユーザＵ１に対して提供した後に、ユーザＵ１に何らかの苦情や文句を言われる前に、エージェント機器２００が迅速にアクションを行うようにする。

【0022】

ただし、例えば、報知情報の提供に対して不快な反応を示したユーザＵ１が車両Ｃ１の運転中であるときに、エージェント機器２００がユーザＵ１にすぐに謝罪をすると、ユーザＵ１の運転の邪魔になり、ユーザＵ１の不快度をさらに高めてしまうおそれもある。また、ユーザＵ１の運転負荷が高いときには、運転への影響が大きく、ユーザＵ１がエージェント機器２００の方向に向くことができないことも想定される。そこで、本実施形態では、報知情報の提供に対して不快な反応を示したユーザＵ１が車両Ｃ１の運転中であり、かつ、ユーザＵ１の運転負荷が高い場合には、エージェント機器２００は、ユーザＵ１に言葉による謝罪をせずに、ユーザＵ１を不快にして焦ったような振る舞いをする。このように、ユーザＵ１が車両Ｃ１の運転中であり、かつ、ユーザＵ１の運転負荷が高い場合には、エージェント機器２００は、ユーザＵ１に言葉による謝罪をせずに、ユーザＵ１の運転の邪魔にならない程度の接点を持つようにする。そして、エージェント機器２００は、ユーザＵ１の状況が落ち着いたタイミングで謝罪をするようにする。

【0023】

また、ユーザＵ１の運転負荷が高いときには、ユーザＵ１がエージェント機器２００の方向に向くことができないことも多い。このような場合に、ユーザＵ１がエージェント機器２００の方向にさりげなく振り向いたときに、焦っているような振る舞いをして謝罪の意図を出すようにする。

【0024】

このように、本実施形態では、ユーザＵ１の運転負荷が高いときには、言葉による謝罪（言い換えると言語による謝罪）ではなく、謝罪の意図を示す態度（例えば、謝罪の意図を示すしぐさ）をエージェント機器２００に実行させる。なお、謝罪の意図を示す態度として、エージェント機器２００が反省していることをユーザＵ１が気づいてくれるようなしぐさ（例えば、焦っている表情（青ざめた表情）、伏し目がちな表情）を実行することが好ましい。例えば、ユーザＵ１にすると、エージェント機器２００の方向を見ないとわからないが、ちらっとエージェント機器２００を見れば、エージェント機器２００が反省していることが理解できるようなしぐさが好ましい。このように、謝罪の意図を示す態度として、ユーザＵ１の周辺で何かが起こっていることをユーザＵ１に感じられる動きをエージェント機器２００に実行させることが好ましい。

【0025】

また、エージェント機器２００は、謝罪の意図を示す態度を実行した後に、ユーザＵ１の運転負荷が低くなり、ユーザＵ１が落ち着いたと判定されたときに、言語化して謝罪する。

【0026】

また、ユーザＵ１の運転負荷が低いときには、運転への影響が小さく、ユーザＵ１がエージェント機器２００の方向に向くことが可能なことも多い。そこで、ユーザＵ１の運転負荷が低いときには、エージェント機器２００の眼がユーザＵ１の眼とあうような形態、すなわち、エージェント機器２００の眼がユーザＵ１の顔の方向を向いた形態とすることが可能である。この場合には、例えば、エージェント機器２００の顔を、上目使いで緊張しているような顔としたり、エージェント機器２００の頭を下げる動作をしたりすることも可能である。

【0027】

このように、ユーザＵ１の運転負荷が低いときには、ユーザＵ１がエージェント機器２００に直接向き合ってエージェント機器２００を確認できるような態度とすることが可能である。また、このような態度とする点が、ユーザＵ１の運転負荷が高いときの謝罪の形態と異なる。なお、ユーザＵ１の運転負荷が低いときの謝罪の形態と、ユーザＵ１の運転負荷が高いときの謝罪の形態とを同じとしてもよい。ただし、謝罪の形態を同じとした場合でも、ユーザＵ１の運転負荷が低いときは、言葉による謝罪をしないようにする。

【0028】

また、エージェント機器２００を制御する際に用いられる機器における処理の確信度に基づいて、謝罪の態様を変更してもよい。なお、エージェント機器２００を制御する際に用いられる機器は、例えば、図４に示す各部である。例えば、それらの各機器における処理の確信度が高くなるのに応じて、より正確にエージェント機器２００が報知情報を出力することが可能となる。なお、確信度の判定方法については、図５を参照して詳細に説明する。また、エージェント機器２００を制御する際に用いられる機器における処理の確信度に基づいて、報知情報の確信度又はユーザ状態の確信度を判定し、これらの判定結果に基づいて、謝罪の態様を変更してもよい。

【0029】

例えば、エージェント機器２００を制御する際に用いられる機器における処理の確信度が低い場合には、報知情報の確信度が低くなり、かつ、ユーザＵ１に関する情報の取得精度も低下することが想定される。このような場合には、車両Ｃ１の周囲の状況、ユーザＵ１の周囲の状況、ユーザＵ１の動作、音声等を適切に取得することができないおそれもある。そこで、各機器における処理の確信度が低い場合には、適切な理由に基づくユーザＵ１に対する謝罪をすることが困難となることも想定される。そこで、このような場合には、何か間違ったことを表現する程度の謝罪をエージェント機器２００に実行させることが好ましい。

【0030】

一方、エージェント機器２００を制御する際に用いられる機器における処理の確信度が高い場合には、報知情報の確信度が高くなり、かつ、ユーザＵ１に関する情報の取得精度も高くなることが想定される。このような場合には、車両Ｃ１の周囲の状況、ユーザＵ１の周囲の状況、ユーザＵ１の動作、音声等を適切に取得することが可能である。そこで、各機器における処理の確信度が高い場合には、ユーザＵ１の不快な理由を把握することが可能となることも想定される。そこで、このような場合には、車両Ｃ１の周囲の状況、ユーザＵ１の周囲の状況、ユーザＵ１の動作、音声等に基づいて、ユーザＵ１の不快な理由を推定し、その推定結果に基づいて、車両Ｃ１の周囲の状況、ユーザＵ１の動作等に言及した謝罪をエージェント機器２００に実行させることが好ましい。これらの例については、図９を参照して詳細に説明する。

【0031】

なお、報知情報の確信度は、報知情報の内容に対する確からしさの度合を表す指標である。また、報知情報の確信度は、センシング安定度、ＣＰＵ稼働率等に基づいて算出可能である。図５では、センシング安定度、ＣＰＵ稼働率に基づいて報知情報の確信度を算出する例を示す。

【0032】

このように、エージェント機器２００を制御する際に用いられる機器における処理の確信度（又は報知情報の確信度）が高い場合には、車両Ｃ１の周囲の状況、ユーザＵ１の動作等に言及した謝罪とすることが好ましい。一方、それらの確信度が低い場合には、それらの言及をせずに謝罪することが好ましい。

【0033】

なお、本実施形態では、車両Ｃ１の乗員として運転席に乗車するユーザＵ１を例にして説明する。ただし、車両Ｃ１に複数の乗員が乗車している場合についても本実施形態を適用可能である。この場合には、報知情報、謝罪の対象を、運転席に乗車するユーザＵ１としてもよく、他の乗員としてもよい。また、報知情報の対象とした乗員を、謝罪の対象としてもよい。

【0034】

［エージェント機器の外観構成例］
図３は、エージェント機器２００の外観構成の一例を簡略化して示す正面図である。本実施形態では、エージェント機器２００がオン状態である場合には、表示部２１０（図４参照）に顔画像が表示される例を示す。なお、車両Ｃ１のオン操作に応じて、エージェント機器２００をオン状態とすることが可能である。また、エージェント機器２００に関するユーザ操作に応じて、エージェント機器２００をオン状態とすることが可能である。なお、車両Ｃ１のオンオフ操作は、車両Ｃ１の起動又は停止に関するスタートキーのオン操作又はオフ操作を意味する。

【0035】

図３（Ａ）には、エージェント機器２００の斜視図を示す。図３（Ｂ）には、エージェント機器２００の正面図を示す。なお、図３（Ｂ）に示すエージェント機器２００は、図１に示すエージェント機器２００に対応する。図３（Ｃ）には、エージェント機器２００の上面図を示す。図３（Ｄ）には、エージェント機器２００の側面図を示す。なお、本実施形態では、図３（Ａ）乃至（Ｆ）に示すエージェント機器２００の状態を通常状態と称して説明する。また、図３（Ｇ）、（Ｈ）には、エージェント機器２００の動作態様として謝罪する場合の外観構成例を示す。

【0036】

エージェント機器２００は、略球状の本体部２０１から構成される機器であり、本体部２０１の表面には表示部２１０が設けられる。表示部２１０には、各種画像、例えば眼部Ｅ１、Ｅ２が表示される。なお、本体部２０１の表面の全部に表示部２１０を設けてもよく、本体部２０１の表面のうちの一部に表示部２１０を設けてもよい。また、本体部２０１の表面のうちの一部に表示部２１０を設ける場合には、表示部２１０が設けられている部分以外の部分には、顔を構成する物理的な各部（例えば、口、鼻）を設けてもよい。

【0037】

本実施形態では、車両Ｃ１のダッシュボード２上に、眼部Ｅ１、Ｅ２が車内側を見る方向にエージェント機器２００が設置される例を示す。このため、エージェント機器２００における眼部Ｅ１、Ｅ２が表示される部分を含む一の面を前部又は顔部と称して説明する。また、エージェント機器２００の前部をエージェント機器２００の前側と称し、エージェント機器２００の前部とは反対側をエージェント機器２００の後側と称して説明する。また、エージェント機器２００において、図３における右側をエージェント機器２００の左側と称し、図３における左側をエージェント機器２００の右側と称して説明する。

【0038】

本体部２０１は、車両Ｃ１のダッシュボード２への取付部分又はこれに近接する部分を回動中心として、エージェント機器２００の前後方向、すなわち矢印Ａ１（図３（Ａ）（Ｄ）参照）方向に回動する。同様に、本体部２０１は、車両Ｃ１のダッシュボード２への取付部分を回動中心として、エージェント機器２００の左右方向、すなわち矢印Ａ２（図３（Ｂ）参照）方向に回動する。例えば、図３（Ｅ）に示すように、エージェント機器２００の右方向、すなわち矢印Ａ４方向に本体部２０１を回動させることができる。また、例えば、図３（Ｆ）に示すように、エージェント機器２００の左方向、すなわち矢印Ａ５方向に本体部２０１を回動させることができる。同様に、本体部２０１は、車両Ｃ１のダッシュボード２への取付部分を回動中心として、硬直方向を軸として回転する方向、すなわち矢印Ａ３（図３（Ｃ）参照）方向に回動する。このように、エージェント機器２００の下部には、本体部２０１を駆動させるための駆動部２３０（図４参照）が設けられる。そして、エージェント機器２００の本体部２０１を左右方向に回転移動させたり、本体部２０１を前後方向に回転移動させたり、本体部２０１を左右方向に揺らせたり、本体部２０１を前後方向に揺らせたりすることが可能となる。

【0039】

また、表示部２１０は、各種画像を表示することが可能な表示媒体として構成することが可能である。この表示媒体として、例えば、発光シート、液晶表示器、有機ＥＬ（Electro Luminescence）等の各種表示媒体を使用可能である。例えば、図３（Ａ）乃至（Ｆ）に示すように、通常の眼部Ｅ１、Ｅ２を表示させることができる。また、例えば、図３（Ｇ）に示すように、伏し目状態の眼部Ｅ１、Ｅ２とともに、汗画像ＳＷ１を表示させることができる。また、例えば、図３（Ｈ）に示すように、顔の上側に相当する部分Ｂ１を、焦る表情を示す所定色（例えば青色）とし、焦る表情を示す縦線画像Ｖ１を、その部分Ｂ１の一部に表示させることができる。また、図３（Ｇ）、（Ｈ）に示すように、左右方向（矢印Ａ６、Ａ７方向）に本体部２０１を揺らせることにより、さらに焦る態度を強調することが可能である。

【0040】

このように、表示部２１０のうちの少なくとも一部の色を特定色としたり、眼部Ｅ１、Ｅ２を変形させたりすることにより、エージェント機器２００が焦る表情をしているような表示態様とすることが可能である。なお、ここで示す表示態様は、一例であり、他の表示態様により焦る表情を実現してもよい。例えば、眼部Ｅ１、Ｅ２を左右に早く動かしたり、眼部Ｅ１、Ｅ２をきょろきょろさせたり、本体部２０１を左右方向に早く動かしたり、本体部２０１を左右方向にきょろきょろさせたりすることにより焦る表情を実現してもよい。

【0041】

このように、本実施形態では、エージェント機器２００の各部のうちの少なくとも一部を変化させる動作態様と、エージェント機器２００の表面のうちの少なくとも一部の表示状態を変化させる表示態様とによりエージェント機器２００を変化させることが可能である。また、その変化を見た車両Ｃ１の乗員は、エージェント機器２００が何らかの動きをしていると認識可能となる。このため、本実施形態では、これらのエージェント機器２００の変化をエージェント機器２００の動作態様と称して説明する。

【0042】

なお、これらのエージェント機器２００の動作態様は、一例であり、他の動作態様とすることも可能である。例えば、ダッシュボード２上の所定範囲内において、エージェント機器２００をスライド移動させることも可能である。例えば、エージェント機器２００を前後左右方向にスライド移動させることも可能である。また、例えば、エージェント機器２００を一時的に浮かせるような演出も可能である。

【0043】

なお、図３では、表示部２１０の表示態様を変更することにより、焦る表情を２次元的に表現する例を示すが、物理的に設置された眼部、鼻部、口部等の各部材を変化させることにより、焦る表情を３次元的に表現して実現してもよい。この場合には、例えば、眼部材を移動させたり、眼部材の表面に黒画像、白画像を表示させたりして眼の動きを表現してもよい。

【0044】

また、本実施形態では、顔部のみを備えるエージェント機器２００の例を示すが、他の身体の一部（例えば、手、足）をエージェント機器２００に備えてもよい。この場合には、これらの各部（例えば、手、足）を変化させて焦る態度を実現してもよい。例えば、手を頭や顔に当てるように変化させたり、足や手をバタバタさせたりする動きを焦る態度として表現してもよい。

【0045】

なお、これらのエージェント機器２００の形状、表示態様、音声出力態様は、一例であり、他の形状、表示態様、音声出力態様とすることも可能である。また、図３では、略球状の本体部２０１が顔部として機能するエージェント機器２００を例にして示すが、本発明はこれに限定されない。例えば、平板状の本体部（例えば、平面状の表示パネル）が顔部として機能する機器をエージェント機器２００としてもよい。また、例えば、顔部及び身体部を一体の筐体として構成する機器をエージェント機器２００としてもよい。また、例えば、顔部及び身体部を別体として構成する機器をエージェント機器２００としてもよい。

【0046】

また、本実施形態では、生き物らしさを表す画像（生き物表示）として顔画像を表示する例を示すが、他の画像（例えば、エージェントの全身、機械的なもの、仮想的な顔）を生き物らしさを表す画像として表示してもよい。

【0047】

［情報処理システムの構成例］
図４は、車両Ｃ１に設置されている情報処理システム１００のシステム構成の一例を示す図である。

【0048】

情報処理システム１００は、カメラ１０１と、位置情報取得センサ１０２と、音声入力部１０３と、センサ類１０４と、情報処理装置１１０と、エージェント機器２００とを備える。なお、情報処理装置１１０及びエージェント機器２００は、有線通信又は無線通信を利用した通信方式によって接続される。また、情報処理装置１１０は、無線通信を利用した通信方式によってネットワーク２０に接続されている。ネットワーク２０は、公衆回線網、インターネット等のネットワークである。なお、エージェント機器２００についても、無線通信を利用した通信方式によってネットワーク２０に接続してもよい。なお、図４では、情報処理装置１１０及びエージェント機器２００を別体として構成する例を示すが、情報処理装置１１０及びエージェント機器２００を一体の機器として構成してもよい。

【0049】

カメラ１０１は、情報処理装置１１０の制御に基づいて、被写体を撮像して画像（画像データ）を生成するものであり、生成された画像に関する画像情報を情報処理装置１１０に出力する。カメラ１０１は、車両Ｃ１のうちの少なくとも内部に設けられ、車両Ｃ１の内部の被写体を撮像して画像（画像データ）を生成する。なお、図１では、車両Ｃ１の内部に設けられているカメラ１０１を示す。上述したように、カメラ１０１は、例えば、被写体を撮像することが可能な１又は複数のカメラ機器や画像センサにより構成される。例えば、１つのカメラ１０１を車両Ｃ１の前方に設け、車両Ｃ１の前方からの被写体を撮像して画像（画像データ）を生成してもよく、他のカメラ１０１を車両Ｃ１の後方に設け、車両Ｃ１からの後方の被写体を撮像して画像（画像データ）を生成してもよい。

【0050】

位置情報取得センサ１０２は、車両Ｃ１が存在する位置に関する位置情報を取得するものであり、取得された位置情報を情報処理装置１１０に出力する。例えば、ＧＮＳＳ（Global Navigation Satellite System：全球測位衛星システム）を利用して位置情報を取得するＧＮＳＳ受信機により実現できる。また、その位置情報には、ＧＮＳＳ信号の受信時における緯度、経度、高度等の位置に関する各データが含まれる。また、他の位置情報の取得方法により位置情報を取得してもよい。例えば、周囲に存在するアクセスポイントや基地局からの情報を用いて位置情報を導き出してもよい。また、ビーコンを用いて位置情報を取得してもよい。例えば、位置情報取得センサ１０２により取得された情報に基づいて、車両Ｃ１の状態、例えば、走行中、停止中、後進中を判定可能である。

【0051】

また、例えば、車両Ｃ１の外部に存在する施設、例えば珈琲店の付近に車両Ｃ１が存在することを位置情報取得センサ１０２により取得された位置情報に基づいて判定可能である。

【0052】

音声入力部１０３は、車両Ｃ１の内部に設けられ、情報処理装置１１０の制御に基づいて、車両Ｃ１の内部の音を取得するものであり、取得された音に関する音情報を情報処理装置１１０に出力する。音声入力部１０３として、例えば、１又は複数のマイクや音取得センサを用いることができる。

【0053】

センサ類１０４は、車両Ｃ１に設置されている各種のセンサであり、各センサにより取得された検出情報を情報処理装置１１０に出力する。センサ類は、例えば、ＬｉＤＡＲ（Light Detection And Ranging）、ＲＡＤＡＲ（Radio Detection And Ranging）、Ｓｏｎａｒ、人感センサ、車速センサ、加速度センサ、着座センサ、シートベルトセンサ、ドアセンサ、バッテリセンサ、雨滴センサ、明暗センサ、ミラーセンサ等である。なお、これらは一例であり、他のセンサを用いてもよい。また、これらのうちの一部のセンサのみを用いてもよい。

【0054】

人感センサは、車両Ｃ１の内部に存在する人の有無、人数、位置、状態等を検出するセンサである。例えば、赤外線、超音波、可視光、撮像素子等を用いる人感センサを用いることが可能である。例えば、運転席、助手席、後部座席の何れかに人が着座している場合には、その人の存在を人感センサにより検出可能である。また、人感センサ及び着座センサの双方を用いることにより、各座席の着座状態の検出精度を高めることが可能である。また、これらにより、エージェント機器２００が対象とする人物の位置を特定することが可能である。

【0055】

着座センサ（又はシートセンサ）は、車両Ｃ１の各座席に着座している乗員の有無を検出するセンサである。シートベルトセンサは、車両Ｃ１の各座席に着座している乗員がシートベルトを着用しているか否かを検出するセンサである。ドアセンサは、車両Ｃ１の各ドアが半ドアであるか否かを検出するセンサである。バッテリセンサは、車両Ｃ１に設置されているバッテリの残量を計測するためのセンサである。これらの各センサについては、公知のセンサを用いることが可能である。

【0056】

雨滴センサは、車両Ｃ１に降り注ぐ雨の有無を検出するセンサである。明暗センサは、車両Ｃ１の周囲における明るさを検出するセンサである。ミラーセンサは、車両Ｃ１に設置されている各ミラー（例えば、バックミラー、サイドミラー）の調整位置を検出するセンサである。

【0057】

情報処理装置１１０は、制御部１２０と、記憶部１３０と、通信部１４０とを備える。通信部１４０は、制御部１２０の制御に基づいて、有線通信又は無線通信を利用して、他の機器との間で各種情報のやりとりを行うものである。

【0058】

制御部１２０は、記憶部１３０に記憶されている各種プログラムに基づいて各部を制御するものである。制御部１２０は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の処理装置により実現される。例えば、ＧＰＵを用いて画像処理を実行することにより演算速度を速めることが可能である。また、ＧＰＵを用いて並列演算を実行することにより演算速度をさらに速めることが可能である。なお、車両Ｃ１の車両ＥＣＵ（Electronic Control Unit）を制御部１２０としても使用してもよく、車両ＥＣＵとは異なる処理装置を制御部１２０として設けてもよい。なお、制御部１２０は、文字を音声に変換する変換機能を備える。この変換機能は、例えば、ＴＴＳ（Text to Speech）により実現される。

【0059】

制御部１２０は、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報に基づいて、エージェント機器２００の動作状態を制御する制御処理を実行する。具体的には、制御部１２０は、不快度判定部１２１と、負荷判定部１２２と、確信度判定部１２３と、エージェント制御部１２４とを備える。

【0060】

不快度判定部１２１は、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報に基づいて、車両Ｃ１に乗車するユーザＵ１の不快度を判定するものであり、その判定結果をエージェント制御部１２４に出力する。なお、ユーザＵ１の不快度の判定方法については、図６（Ａ）を参照して詳細に説明する。

【0061】

負荷判定部１２２は、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報に基づいて、車両Ｃ１に乗車するユーザＵ１の運転負荷を判定するものであり、その判定結果をエージェント制御部１２４に出力する。なお、ユーザＵ１の運転負荷の判定方法については、図６（Ｂ）を参照して詳細に説明する。

【0062】

確信度判定部１２３は、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報に基づいて、エージェント機器２００を制御する際に用いられる機器における処理の確信度を判定するものであり、その判定結果をエージェント制御部１２４に出力する。なお、確信度の判定方法については、図５を参照して詳細に説明する。

【0063】

エージェント制御部１２４は、不快度判定部１２１、負荷判定部１２２、確信度判定部１２３による判定結果と、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報とに基づいて、エージェント機器２００の動作状態を制御するものである。例えば、エージェント制御部１２４は、擬生物化されたエージェントの顔を構成する各部（眼部Ｅ１、Ｅ２）を表示部２１０に表示させる。また、エージェント制御部１２４は、車両Ｃ１の乗員に報知すべき情報（報知情報）を表示部２１０に表示させる。また、エージェント制御部１２４は、擬生物化されたエージェントの音声、車両Ｃ１の乗員に報知すべき情報に対応する音声等を音出力部２２０から出力させる。

【0064】

例えば、エージェント制御部１２４は、表示部２１０に表示させる報知情報と、音出力部２２０から出力させる報知情報とを決定し、それらの報知情報を出力させる制御を実行する。なお、車両Ｃ１の内部に存在する対象物に関する報知情報については、報知情報ＤＢ１３２に格納されている。また、これらの各報知情報の出力例については、図８に示す。例えば、シートベルトの着用に関する報知情報である場合には、シートベルトの着用に関する音声情報Ｓ２１（図８（Ａ）参照）を報知情報として出力する。なお、シートベルトを示す画像を報知情報として表示部２１０に表示してもよい。また、バッテリ残量に関する報知情報である場合には、バッテリ残量を示す音声情報を報知情報として出力したり、バッテリを示す画像を報知情報として表示部２１０に表示したりする。また、半ドアに関する報知情報である場合には、半ドアを示す音声情報を報知情報として出力したり、ドアを示す画像を報知情報として表示したりする。

【0065】

また、例えば、エージェント制御部１２４は、出力された報知情報に対してユーザＵ１に不快感を与えた場合には、その報知情報の出力に対する謝罪をエージェント機器２００に実行させる。例えば、図３（Ｇ）（Ｈ）、図７（Ｃ）（Ｄ）、図７（Ｂ）（Ｃ）に示すように、エージェント機器２００に謝罪を実行させる。この謝罪として、音声出力による謝罪、しぐさによる謝罪等を実行することが可能である。なお、エージェント機器２００による謝罪方法については、図７乃至図９等を参照して詳細に説明する。また、エージェント制御部１２４は、謝罪タイミングを演算する謝罪タイミング演算部として機能する。

【0066】

記憶部１３０は、各種情報を記憶する記憶媒体である。例えば、記憶部１３０には制御部１２０が各種処理を行うために必要となる各種情報（例えば、制御プログラム、エージェント情報ＤＢ１３１、報知情報ＤＢ１３２、地図情報ＤＢ１３３、周囲状況ＤＢ１３４、ユーザ状態ＤＢ１３５、報知情報及び振る舞いＤＢ１３６）が記憶される。また、記憶部１３０には、通信部１４０を介して取得された各種情報が記憶される。記憶部１３０として、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせを用いることができる。

【0067】

エージェント情報ＤＢ１３１には、エージェント機器２００の各種動作を実現するために必要となる情報が格納されている。例えば、表示部２１０に表示される顔画像情報（例えば、眼部Ｅ１、Ｅ２、汗画像ＳＷ１、縦線画像Ｖ１）と、音出力部２２０から出力される音声情報とがエージェント情報ＤＢ１３１に格納される。また、例えば、謝罪の実行時にエージェント機器２００を動作させるための動作情報等がエージェント情報ＤＢ１３１に格納される。

【0068】

報知情報ＤＢ１３２には、車両Ｃ１の内部又は外部に存在する対象物に関する報知情報を出力するために必要となる情報が格納されている。例えば、半ドアに関する報知情報である場合には、ドアを示す画像情報と半ドアを報知するための音声情報とが報知情報として報知情報ＤＢ１３２に格納される。また、例えば、シートベルトの着用に関する報知情報である場合には、シートベルトを示す画像情報とシートベルトの着用を報知するための音声情報とが報知情報として報知情報ＤＢ１３２に格納される。また、例えば、バッテリ残量に関する報知情報である場合には、バッテリを示す画像情報とシートベルトの着用を報知するための音声情報とが報知情報として報知情報ＤＢ１３２に格納される。

【0069】

地図情報ＤＢ１３３には、車両Ｃ１の経路案内に必要となる道路に関する道路情報等の地図情報が格納されている。その地図情報には、道路の勾配、道路の交差点、道路の車線数、道幅情報、道路の起伏情報、悪路状態が含まれる。また、地図情報には、速度制限、一方通行等を示す道路標識、横断歩道、区画線等を示す道路標示も含まれる。また、地図情報には、道路構造物（例えば信号機、電信柱）、建物等の施設情報、周囲の観光案内情報等を含めてもよい。なお、エージェント情報ＤＢ１３１、報知情報ＤＢ１３２、地図情報ＤＢ１３３については、車両Ｃ１が備える記憶部１３０に記憶して用いてもよく、ネットワーク２０を介して外部機器から取得して用いてもよい。

【0070】

周囲状況ＤＢ１３４には、車両Ｃ１の周囲の状況に関する情報が格納されている。これらの情報は、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報に基づいて取得されて格納される。

【0071】

周囲状況ＤＢ１３４に格納された情報については、車両Ｃ１の周囲の状況に関する情報を検出する際における検出精度を向上させるための学習に使用することが可能である。

【0072】

ユーザ状態ＤＢ１３５には、ユーザＵ１の状態に関する情報が格納されている。これらの情報は、カメラ１０１、音声入力部１０３、センサ類１０４、通信部１４０等から出力された各情報に基づいて取得されて格納される。

【0073】

ユーザ状態ＤＢ１３５については、ユーザＵ１の状態に関する情報を検出する際における検出精度を向上させるための学習に使用することが可能である。

【0074】

報知情報及び振る舞いＤＢ１３６には、ユーザＵ１に対して提供された報知情報と、この報知情報に対するエージェント機器２００の謝罪の振る舞いと、その振る舞いに対するユーザＵ１の行動とを関連付けた情報が格納されている。これらの情報は、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４、通信部１４０、エージェント制御部１２４等から出力された各情報に基づいて取得されて格納される。

【0075】

報知情報及び振る舞いＤＢ１３６については、ユーザＵ１に提供された報知情報と、この報知情報に対するエージェント機器２００の謝罪の振る舞いと、その振る舞いに対するユーザＵ１の行動とを学習する際に使用される。例えば、ユーザＵ１に提供された報知情報に対するエージェント機器２００の謝罪の振る舞い後に、その振る舞いに対してユーザＵ１が肯定的な行動をした場合には、その報知情報と、謝罪の振る舞いと、その謝罪に対するユーザＵ１の肯定的な行動とが関連付けて格納される。

【0076】

これにより、次回以降に、ユーザＵ１に提供した報知情報に対して謝罪が必要になった場合には、その報知情報とともに肯定的な行動に関連付けられている謝罪の振る舞いを実行することが可能となる。これにより、過去の肯定的な行動をされた謝罪の振る舞いに基づいて、さらに適切な謝罪を実行することが可能となる。

【0077】

エージェント機器２００は、情報処理装置１１０からの指示に基づいて各種動作を実行するロボット機器である。エージェント機器２００は、表示部２１０と、音出力部２２０と、駆動部２３０とを備える。なお、表示部２１０、音出力部２２０及び駆動部２３０は、エージェント機器２００が備える制御部（図示省略）に基づいて制御される。

【0078】

表示部２１０は、情報処理装置１１０からの指示に基づいて、各種画像を表示する表示部である。なお、表示部２１０として、例えば、有機ＥＬ（Electro Luminescence）パネル、ＬＣＤ（Liquid Crystal Display）パネル等の表示パネルを用いることができる。なお、表示部２１０については、使用者がその指を表示面に接触又は近接することにより操作入力を行うことが可能なタッチパネルとして構成してもよく、別体のユーザインタフェースとして構成してもよい。

【0079】

音出力部２２０は、情報処理装置１１０からの指示に基づいて、各種音声を出力するものである。音出力部２２０として、例えば、１又は複数のスピーカを用いることができる。なお、表示部２１０及び音出力部２２０は、ユーザインタフェースの一例であり、これらのうちの一部を省略してもよく、他のユーザインタフェースを用いてもよい。

【0080】

駆動部２３０は、情報処理装置１１０からの指示に基づいて、エージェント機器２００の各部を駆動するものである。例えば、駆動部２３０は、図３（Ａ）乃至（Ｈ）に示すように、本体部２０１を回動させる機構を実現する駆動装置である。例えば、駆動部２３０は、本体部２０１を駆動させることが可能なモータ、サーボモータ等により構成される。

【0081】

［確信度の判定例］
次に、エージェント機器２００を制御する際に用いられる機器における処理の確信度の判定方法について説明する。上述したように、エージェント機器２００を制御する際に用いられる機器における処理の確信度が高い場合には、報知情報の確信度が高くなり、かつ、ユーザＵ１に関する情報の取得精度も高くなることが想定される。そこで、本実施形態では、主に、各機器における処理の確信度が高いことを、報知情報の確信度が高いと称して説明する。

【0082】

［センシング安定度に基づく報知情報の確信度の判定例］
図５は、報知情報の確信度の判定方法の一例を示す図である。図５（Ａ）には、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４の各センサの検出値と、時間との関係を示す。なお、本実施形態では、説明を容易にするため、カメラ１０１を構成するイメージセンサを例にして説明する。また、本実施形態では、イメージセンサから出力された画素値（センサ素子値）が０又は最大値（例えば２５５）になったことを、センサ素子値が張り付いた状態と称する。また、本実施形態では、報知情報を出力する出力タイミングを基準とする規定期間において、センサ素子値が張り付いた状態の割合に基づいて、センシング安定度を求める例を示す。

【0083】

例えば、０乃至２５５の画素値を出力するイメージセンサを想定する。なお、画素値が０のときは黒に相当し、画素値が２５５のときは白に相当する。このイメージセンサでは、入射光が強すぎる場合等には、検出できない値として、例えば０又は２５５を画素値として出力することがある。このように、イメージセンサから検出できない値が出力されている状態をロスト状態と称することもある。例えば、逆光の場合、光の急激な変化が発生した場合等には、イメージセンサがロスト状態となることがある。この場合には、画素値として０又は２５５が出力される。すなわち、画素値が０又は２５５に張り付いてしまう状態となる。このように、イメージセンサがロスト状態となり、画素値として０又は２５５が出力されている場合には、イメージセンサが不安定になっていると推定される。

【0084】

そこで、本実施形態では、イメージセンサがロスト状態となり、画素値として０又は２５５が出力されている時間の割合に基づいて、センシング安定度を算出する例を示す。例えば、規定期間（例えば数秒（例えば５秒）程度）において、画素値として０又は２５５が出力されている時間の割合（画素値が張り付いている時間の割合）を求め、この割合に基づいてセンシング安定度を算出することが可能である。具体的には、以下に示すように、張付き割合を算出し、その張付き割合の値を１から引いた値をセンシング安定度として算出する。
張付き割合＝画素値が張り付いている時間／規定期間ｔ
センシング安定度＝１－張付き割合

【0085】

例えば、張付き割合が１００％の場合には、センシング安定度は０％となり、張付き割合が０％の場合には、センシング安定度は１００％となる。また、例えば、張付き割合が６０％の場合には、センシング安定度は４０％となり、張付き割合が３０％の場合には、センシング安定度は７０％となる。

【0086】

例えば、画素値として２５５が５秒間出力され続けた場合には、張付き割合＝１となるため、センシング安定度は０％となる。すなわち、強い光を検出し続けているような場合には、センシング安定度は０％となり、カメラ１０１を用いた適切な検出ができていないと推定される。そこで、このような場合には、報知情報の確信度が低いと考えることができる。

【0087】

一般に、イメージセンサは、多数の画素により構成されている。このため、上述したセンシング安定度を算出する場合には、イメージセンサを構成する各画素のうち、一部の画素のみを用いてもよく、全部の画素を用いてもよい。例えば、イメージセンサを構成する各画素のうち、張り付いた画素が１画素でも存在する場合には、その１画素が張り付いている時間を用いてセンシング安定度を算出してもよい。また、例えば、イメージセンサを構成する各画素のうち、センシング安定度の算出に用いる１又は複数の画素を設定しておき、その画素の画素値を用いてセンシング安定度を算出してもよい。

【0088】

図５（Ａ）に示すグラフにおいて、横軸は時間軸を示し、縦軸はセンサ検出値（画素値）を示す。また、イメージセンサからのセンサ検出値として、０乃至最大値ＭＡＸの値が出力されるものとする。

【0089】

図５（Ａ）に示す例では、報知情報を出力した出力時ｔ３を基準として、出力時ｔ３からｔ秒前までの期間（すなわち時刻ｔ１から時刻ｔ３までの期間）を規定期間ｔとする例を示す。なお、時刻ｔ２は、時刻ｔ１から時刻ｔ３までの期間の半分の値とする。なお、ｔは、例えば５秒程度の値とすることが可能である。なお、ｔについては、センサの種類、センシング安定度の精度等に基づいて適宜設定可能である。

【0090】

図５（Ａ）に示す例では、時刻ｔ１までのセンサ検出値ＳＥ１が、０から最大値ＭＡＸまでの間の値であり、時刻ｔ１から時刻ｔ２までのセンサ検出値ＳＥ２が０であり、時刻ｔ２以降のセンサ検出値ＳＥ３が、０から最大値ＭＡＸまでの間の値である場合を想定して説明する。この場合には、センサ検出値が張り付いた状態は、センサ検出値が０となる時刻ｔ１から時刻ｔ２までの時間帯となる。このため、報知情報を出力した出力時ｔ３を基準とする規定期間ｔにおいて、センサ検出値が張り付いた期間の割合（張付き割合）は、１／２となる。この場合には、センシング安定度は、５０％（１－１／２）となる。

【0091】

図５（Ｂ）に示すグラフにおいて、横軸は時間軸を示し、縦軸はセンシング安定度を示す。また、図５（Ｂ）に示す例では、５０％から１００％の間に、報知情報の確信度を判定するための閾値ＴＨ１を設定する例を示す。なお、閾値ＴＨ１については、実験データ等に基づいて適宜設定可能である。

【0092】

例えば、図５（Ａ）に示す例では、センシング安定度が５０％であるため、閾値ＴＨ１未満となる。このため、報知情報の確信度は低いと判定される。一方、センシング安定度が閾値ＴＨ１以上となる場合には、報知情報の確信度は高いと判定される。

【0093】

［ＣＰＵ稼働率に基づく報知情報の確信度の算出例］
上述したセンシング安定度に基づいて、報知情報の確信度を判定することが可能である。しかし、各センサから適切な検出値が出力された場合（すなわちセンシング安定度が高い場合）でも、制御部１２０の稼働率が高いときには、それらの検出値を用いた演算処理が適切に実行されないことも想定される。そこで、制御部１２０の稼働率を用いて報知情報の確信度を判定してもよい。なお、本実施形態では、制御部１２０を構成するＣＰＵの稼働率を用いて報知情報の確信度を判定する例を示す。また、ＣＰＵの稼働率については、公知の算出方法を用いて算出可能である。

【0094】

図５（Ｃ）に示すグラフにおいて、横軸は時間軸を示し、縦軸はＣＰＵの稼働率を示す。また、図５（Ｃ）に示す例では、５０％から１００％の間に、報知情報の確信度を判定するための閾値ＴＨ２を設定する例を示す。閾値ＴＨ２として、１００％に近い値を設定することが可能である。なお、閾値ＴＨ２については、実験データ等に基づいて適宜設定可能である。

【0095】

例えば、報知情報を出力した出力時のＣＰＵの稼働率、又は、その出力タイミングを基準とする所定期間におけるＣＰＵの稼働率の平均値を求める。そして、ＣＰＵの稼働率（又は、その平均値）が閾値ＴＨ２以上の場合には、報知情報の確信度は低いと判定される。一方、ＣＰＵの稼働率（又は、その平均値）が閾値ＴＨ２未満である場合には、報知情報の確信度は高いと判定される。

【0096】

なお、以上では、センシング安定度に基づく報知情報の確信度の判定方法と、ＣＰＵ稼働率に基づく報知情報の確信度の判定方法とについて説明したが、これらの双方の判定方法を用いて、報知情報の確信度を判定してもよく、何れか一方の判定方法を用いて、報知情報の確信度を判定してもよい。例えば、センシング安定度に基づく報知情報の確信度と、ＣＰＵ稼働率に基づく報知情報の確信度との双方が高いと判定されたことを条件に、報知情報の確信度が高いと判定することが可能である。この場合には、センシング安定度に基づく報知情報の確信度と、ＣＰＵ稼働率に基づく報知情報の確信度との少なくとも１つが低いと判定された場合には、報知情報の確信度が低いと判定する。また、他の報知情報の確信度の判定方法を用いてもよい。

【0097】

［ユーザの不快度の判定例］
次に、ユーザＵ１の不快度を判定する判定方法について説明する。ユーザＵ１の不快度は、ユーザＵ１の生体情報（例えば、心拍、血脈）と、ユーザＵ１から発せられる音と、ユーザＵ１の外観（例えば、表情、動き）とに基づいて算出が可能である。

【0098】

例えば、ユーザＵ１が不快になると、ユーザＵ１が興奮してユーザＵ１の心拍が早くなることが想定される。そこで、ユーザＵ１の心拍を数値化してユーザＵ１の不快度を算出可能である。また、ユーザＵ１が不快になると、ユーザＵ１の顔がむっとしたり、怒ったような表情となったり、目が吊り上がったりすることが想定される。そこで、ユーザＵ１の顔を含む画像を解析することによりユーザＵ１の表情の変化を取得し、その変化の程度に基づいて、ユーザＵ１の不快度を算出可能である。例えば、ユーザＵ１の表情が急激に変化し、かつ、その変化後の表情が所定の表情（例えば、むっとする表情、怒ったような表情、目が吊り上がる表情）になった場合に、ユーザＵ１の不快度が高いと判定することが可能である。なお、ユーザＵ１の顔が所定の表情になった場合に、ユーザＵ１の不快度が高いと判定することも可能である。なお、ユーザＵ１の顔を含む画像については、カメラ１０１（図４参照）により取得可能である。また、表情の判定については、公知の表情認識技術（例えば表情判定プログラム）を用いることが可能である。

【0099】

なお、顔に関する他の情報を用いてユーザＵ１の不快度を判定してもよい。例えば、ユーザＵ１が怒った場合には、ユーザＵ１の顔の表面の温度が高くなることが想定される。そこで、カメラ１０１により取得された画像（ユーザＵ１の顔を含む）、非接触温度センサ等に基づいて、ユーザＵ１の顔の表面の温度を推定し、その温度に基づいて、ユーザＵ１の不快度を判定することが可能である。例えば、ユーザＵ１の顔の表面の温度の変化に基づいて、ユーザＵ１の不快度を算出可能である。例えば、ユーザＵ１の顔の表面の温度が急激に変化し、かつ、その変化後の温度が所定値以上となった場合に、ユーザＵ１の不快度が高いと判定することが可能である。なお、温度の推定判定については、公知の温度推定技術を用いることが可能である。

【0100】

また、ユーザＵ１が不快になると、ユーザＵ１が興奮して特定のキーワード（例えば、このやろう）を発したり、ユーザＵ１が声を荒げてユーザＵ１から発せられる声の音量が高くなったりすることが想定される。そこで、ユーザＵ１から発せられる声を解析することにより、ユーザＵ１が発した特定のキーワード（例えば、このやろう）、ユーザＵ１から発せられる声の音量を取得する。そして、ユーザＵ１が特定のキーワード（例えば、このやろう）を発した場合、又は、ユーザＵ１から発せられた声の音量が閾値以上となった場合に、ユーザＵ１の不快度が高いと判定することが可能である。なお、ユーザＵ１が発する声については、音声入力部１０３（図４参照）により取得可能である。また、声の判定については、公知の音認識技術（例えば音判定プログラム）を用いることが可能である。また、表情及び音声を合わせて感情を推定する公知の推定技術を用いることも可能である。例えば、表情及び音声を合わせて感情を推定し、その感情をユーザＵ１の不快度として数値化することが可能である。この数値化されたユーザＵ１の不快度を用いる例を図６（Ａ）に示す。なお、ユーザＵ１の生体情報と、ユーザＵ１の発話内容と、ユーザＵ１の動作とのうちの少なくとも１つに基づいて算出が可能なユーザＵ１の不快度に関する他の数値を用いてもよい。

【0101】

図６（Ａ）は、ユーザＵ１の不快度の判定方法の一例を示す図である。図６（Ａ）に示すグラフにおいて、横軸は時間軸を示し、縦軸はユーザＵ１の不快度を示す。この不快度については、上述した算出方法により算出可能である。また、閾値ＴＨ３を点線で示す。

【0102】

図６（Ａ）に示すグラフにおいて、エージェント機器２００から報知情報が出力されたタイミングを時刻ｔ３１で示す。また、時刻ｔ３１よりも前のユーザＵ１の不快度を線ＵＨ１で示す。また、時刻ｔ３１よりも後のユーザＵ１の不快度を線ＵＨ２、ＵＨ３で示す。線ＵＨ２は、ユーザＵ１の不快度が閾値ＴＨ３以上となる場合の例を示し、線ＵＨ３は、ユーザＵ１の不快度が閾値ＴＨ３未満となる場合の例を示す。

【0103】

なお、閾値ＴＨ３は、固定値としてもよく、可変値としてもよい。閾値ＴＨ３を固定値とする場合には、実験データ等に基づいて適宜可能である。また、閾値ＴＨ３を可変値とする場合には、時刻ｔ３１よりも前の所定期間内のユーザＵ１の不快度に基づいて、閾値ＴＨ３を設定することが可能である。例えば、時刻ｔ３１よりも前の所定期間（例えば数秒乃至数十秒程度）内のユーザＵ１の不快度の平均値を算出し、この平均値に所定値を加算した値を閾値ＴＨ３として設定することが可能である。なお、この場合の所定値については、その平均値に基づいて可変としてもよく、実験データ等に基づいて設定された固定値としてもよい。

【0104】

図６（Ａ）に示すように、エージェント機器２００から報知情報が出力されたタイミング（時刻ｔ３）以降において、ユーザＵ１の不快度が上昇したか否かに基づいて、その報知情報が適切であったか不適切であったかを判定することが可能である。

【0105】

例えば、線ＵＨ２に示すように、時刻ｔ３以降にユーザＵ１の不快度が閾値ＴＨ３以上となる場合には、時刻ｔ３にエージェント機器２００から出力された報知情報が不適切であったと判定可能である。一方、線ＵＨ３に示すように、時刻ｔ３以降にユーザＵ１の不快度が閾値ＴＨ３未満となる場合には、時刻ｔ３にエージェント機器２００から出力された報知情報が適切であったと判定可能である。

【0106】

このように、報知情報の出力後に、ユーザＵ１の不快度が急激に上がったような場合には、その報知情報又はその報知の態様がユーザＵ１に不適切であったと判定することが可能である。この場合には、その報知情報又はその報知の態様に対する謝罪処理を実行する。一方、報知情報の出力後に、ユーザＵ１の不快度が徐々に下がったり、平均値となったりしたような場合には、その報知情報又はその報知の態様がユーザＵ１に適切であったと判定することが可能である。この場合には、その報知情報又はその報知の態様に対する謝罪処理を実行しない。

【0107】

［ユーザの運転負荷の判定例］
次に、ユーザＵ１の運転負荷を判定する判定方法について説明する。ユーザＵ１の運転負荷は、ユーザＵ１の運転操作、車両Ｃ１の周辺状況等に基づいて判定が可能である。

【0108】

ユーザＵ１の運転操作として、例えば、ステアリングエントロピーを用いることが可能である。ステアリングエントロピー法は、運転者の操舵角の滑らかさに基づいて運転者の負荷を測定して推定する測定方法であり、公知の演算方法を用いることが可能である。また、このステアリングエントロピー法では、時系列舵角データに基づいて計算される情報エントロピー値として数値化された測定結果（測定値）を用いることが可能である。このステアリングエントロピー法により求められた測定値が、閾値を超えたか否かに基づいて、ユーザＵ１の運転負荷が高いか低いかを判定可能である。例えば、ステアリングエントロピー法により求められた測定値が、閾値を超えた場合には、ユーザＵ１の運転負荷が高いと判定可能である。一方、ステアリングエントロピー法により求められた測定値（判定値）が、閾値未満である場合には、ユーザＵ１の運転負荷が低いと判定可能である。

【0109】

車両Ｃ１の周辺状況として、車両Ｃ１の周囲の交通参加者の数、車両Ｃ１の周囲の天候、車両Ｃ１の周囲の暗さ、車両Ｃ１の周囲の道路形状等を用いることが可能である。

【0110】

なお、交通参加者は、車両Ｃ１を基準とする所定範囲内に存在する、自動車、バイク、自転車、歩行者等の各種移動体を意味する。また、車両Ｃ１の周囲の交通参加者の数については、カメラ１０１により取得された車両Ｃ１の周囲の画像（例えば車両Ｃ１の前方の画像）、センサ類１０４に含まれる各種センサ（例えば、ＬｉＤＡＲ、ＲＡＤＡＲ、Ｓｏｎａｒ）に基づいて取得可能である。また、これらを組み合わせて車両Ｃ１の周囲の交通参加者の数を推定してもよい。

【0111】

また、車両Ｃ１の周囲の交通参加者の数が多くなるのに応じて、ユーザＵ１の運転負荷が高くなると想定される。そこで、車両Ｃ１の周囲の交通参加者の数が多くなるのに応じて値が高くなる判定値を算出することが可能である。

【0112】

また、車両Ｃ１の周囲の天候については、カメラ１０１により取得された車両Ｃ１の周囲の画像、通信部１４０を介して取得可能な天候情報、雨滴センサ等に基づいて取得可能である。例えば、カメラ１０１により取得された車両Ｃ１の周囲の画像に基づいて、車両Ｃ１の周囲の天候（晴、曇、雨、雪）を判定可能である。例えば、公知の画像認識技術を用いて天候判定が可能である。また、通信部１４０を介して外部機器（例えば、天候情報提供サーバ）から天候情報を取得可能な場合には、その天候情報と、位置情報取得センサ１０２により取得された車両Ｃ１の現在地とに基づいて、車両Ｃ１の周囲の天候（晴れ、曇り、雨、雪）を取得可能である。また、車両Ｃ１に雨滴センサが設置されている場合には、その雨滴センサにより車両Ｃ１の現在地で降雨があることを検出可能である。また、これらを組み合わせて車両Ｃ１の周囲の天候を推定してもよい。

【0113】

例えば、車両Ｃ１の周囲の天候が悪化（例えば、晴、曇、雨、雪の順で悪化したと判定）するのに応じて、ユーザＵ１の運転負荷が高くなると想定される。そこで、車両Ｃ１の周囲の天候が悪化するのに応じて値が高くなる判定値を算出することが可能である。

【0114】

また、車両Ｃ１の周囲の暗さについては、カメラ１０１により取得された車両Ｃ１の周囲の画像、通信部１４０を介して取得可能な天候情報等に基づいて取得可能である。例えば、カメラ１０１により取得された車両Ｃ１の周囲の画像に基づいて、車両Ｃ１の周囲の明るさを判定可能である。例えば、公知の画像認識技術を用いて明るさ判定が可能である。また、通信部１４０を介して外部機器（例えば、天候情報提供サーバ）から天候情報を取得可能な場合には、その天候情報と、位置情報取得センサ１０２により取得された車両Ｃ１の現在地とに基づいて、車両Ｃ１の周囲の天候（晴れ、曇り、雨、雪）を取得可能である。そこで、車両Ｃ１の周囲の天候（晴れ、曇り、雨、雪）と、現在時刻とに基づいて、車両Ｃ１の周囲の暗さを推定可能である。例えば、車両Ｃ１の周囲の天候が悪化（例えば、晴、曇、雨、雪の順で悪化したと判定）するのに応じて、車両Ｃ１の周囲が暗くなると推定される。また、車両Ｃ１の現在地と季節との関係に基づいて、車両Ｃ１の現在地の日の出時刻と日の入時刻とが取得可能であるため、車両Ｃ１の現在地の日の出時刻及び日の入時刻と、現在時刻との関係に基づいて、車両Ｃ１の周囲の明るさを推定可能である。また、これらを組み合わせて車両Ｃ１の周囲の明るさを推定してもよい。

【0115】

例えば、車両Ｃ１の周囲が暗くなるのに応じて、ユーザＵ１の運転負荷が高くなると想定される。そこで、車両Ｃ１の周囲が暗くなるのに応じて値が高くなる判定値を算出することが可能である。

【0116】

また、車両Ｃ１の周囲の道路形状については、カメラ１０１により取得された車両Ｃ１の周囲の画像、地図情報（通信部１４０を介して取得、又は、記憶部１３０に記憶）、加速度センサ等に基づいて取得可能である。例えば、カメラ１０１により取得された車両Ｃ１の周囲の画像に基づいて、車両Ｃ１の前方の道の狭さ、悪路状態等を判定可能である。例えば、公知の画像認識技術を用いて道路形状判定が可能である。また、地図情報を用いることが可能な場合には、その地図情報と、位置情報取得センサ１０２により取得された車両Ｃ１の現在地とに基づいて、車両Ｃ１の現在地の道路に関する情報（狭さ、交通量の多さ、渋滞の程度）を取得可能である。また、車両Ｃ１に設置されている各種センサ（例えば、加速度センサ）を用いて、車両Ｃ１の実際の揺れ等を取得することにより、車両Ｃ１の周囲の道路の悪路状態等を判定可能である。

【0117】

例えば、車両Ｃ１の周囲の道路が狭くなるのに応じて、ユーザＵ１の運転負荷が高くなると想定される。また、例えば、車両Ｃ１の周囲の道路が悪路となるのに応じて、ユーザＵ１の運転負荷が高くなると想定される。そこで、車両Ｃ１の周囲道路が狭くなったり、悪路になったりするのに応じて値が高くなる判定値を算出することが可能である。

【0118】

上述した各判定値を用いてユーザＵ１の運転負荷を求めることが可能である。例えば、上述した各判定値に所定の演算（例えば加算）を施し、この演算結果を用いてユーザＵ１の運転負荷を求めることが可能である。例えば、上述した各判定値の演算結果（演算値）が閾値以上である場合には、ユーザＵ１の運転負荷が高いと判定可能である。一方、上述した各判定値の演算結果（演算値）が閾値未満である場合には、ユーザＵ１の運転負荷が低いと判定可能である。なお、上述した各判定値のうちの少なくとも１つを用いてユーザＵ１の運転負荷を求めてもよい。

【0119】

図６（Ｂ）は、ユーザＵ１の運転負荷の判定方法の一例を示す図である。図６（Ｂ）に示すグラフにおいて、横軸は時間軸を示し、縦軸はユーザＵ１の運転負荷を示す。この運転負荷については、上述した算出方法により算出可能である。また、閾値ＴＨ４を点線で示す。なお、閾値ＴＨ４は、実験データ等に基づいて適宜設定可能である。

【0120】

図６（Ｂ）に示すグラフにおいて、エージェント機器２００から報知情報が出力されたタイミングを時刻ｔ４１で示す。また、ユーザＵ１の運転負荷の遷移例を線ＯＬ１、ＯＬ２で示す。線ＯＬ１は、報知情報の出力後に、ユーザＵ１の運転負荷が増加して閾値ＴＨ４以上となる場合の遷移例を示す。また、線ＯＬ２は、報知情報の出力前後において、ユーザＵ１の運転負荷が徐々に減少して閾値ＴＨ４未満となる場合の例を示す。

【0121】

なお、ユーザＵ１が車両Ｃ１を運転している場合には、ステアリングエントロピーと、車両Ｃ１の周囲の状況との少なくとも１つを用いて、ユーザＵ１の運転負荷を求めることが可能である。しかし、ユーザＵ１が車両Ｃ１を運転していないことも想定される。この場合には、車両Ｃ１の周囲の状況を用いて、ユーザＵ１の運転負荷（又は負荷）を求めることが可能である。

【0122】

［報知情報の出力後にユーザの運転負荷に応じて謝罪の態様を変更する例］
次に、報知情報を出力した後にユーザＵ１の運転負荷に応じて謝罪の態様を変更する場合の遷移例について説明する。

【0123】

［青信号になったことを報知情報として出力した場合の謝罪例］
図７は、信号待ちの状態で報知情報を出力した後にユーザＵ１の運転負荷に応じて謝罪の態様を変更する場合の遷移例を示す図である。

【0124】

図７（Ａ）には、道路Ｒ１において、赤信号が点灯している信号機ＳＧ１の手前で車両Ｃ１が停車している状態を示す。また、図７（Ａ）では、赤信号で停車している他の車両Ｃ２と、信号機ＳＧ１の遠方に走行している他の車両Ｃ３とが車両Ｃ１の前方に存在する例を示す。また、道路Ｒ１の外側には、親子の歩行者Ｗ１が存在するものとする。また、ユーザＵ１は、矢印Ａ１１に示すように、顔を左右方向に移動させて、車両Ｃ１の周囲を確認しているものとする。

【0125】

図７（Ｂ）には、道路Ｒ１において、信号機ＳＧ１が赤信号から青信号に切り替わった直後の状態を示す。また、図７（Ｂ）では、車両Ｃ１の前方の車両Ｃ２が移動を開始し、車両Ｃ１の隣の走行車線を他の車両Ｃ４が通過した例を示す。また、道路Ｒ１の外側の親子の歩行者Ｗ１が道路Ｄ１に近づいている状態を示す。また、ユーザＵ１は、矢印Ａ１２に示すように、顔を左右方向に移動させて、車両Ｃ１の周囲を確認しているものとする。

【0126】

上述したように、エージェント機器２００は、情報処理装置１１０からの指示に基づいて、ユーザＵ１の運転支援をするための報知情報を出力する。図７（Ｂ）に示す例では、信号機ＳＧ１が赤信号から青信号に切り替わったことを検出した情報処理装置１１０からの指示に基づいて、信号機ＳＧ１が赤信号から青信号に切り替わったことを報知するための音声情報Ｓ１１を報知情報として出力する例を示す。ユーザＵ１は、信号機ＳＧ１が赤信号から青信号に切り替わったことを、目視により認識可能であるとともに、音声情報Ｓ１１の出力により認識可能となる。

【0127】

図７（Ｃ）には、道路Ｒ１において、信号機ＳＧ１が赤信号から青信号に切り替わった後に親子の歩行者Ｗ１が道路Ｄ１に侵入した状態を示す。また、図７（Ｃ）では、車両Ｃ１の前方の車両Ｃ２が遠方に進み、車両Ｃ１の隣の走行車線を他の車両Ｃ５が通過した例を示す。このように、信号機ＳＧ１が青信号に切り替わったにもかかわらず、何らかの理由により、親子の歩行者Ｗ１が道路Ｄ１に侵入することも想定される。この場合に、情報処理装置１１０は、車両Ｃ１の周囲に多数の車両が存在し、親子の歩行者Ｗ１の存在を検出できないことも想定される。また、情報処理装置１１０は、親子の歩行者Ｗ１を、車両Ｃ１の周囲の車両として各センサが誤認識してしまうことも想定される。このような状況では、信号機ＳＧ１が赤信号から青信号に切り替わったことを示す音声情報Ｓ１１がエージェント機器２００から出力される。

【0128】

なお、図７（Ｃ）に示すような状況では、ユーザＵ１は、信号機ＳＧ１が赤信号から青信号に切り替わったと認識したにも関わらず、車両Ｃ１を走行することができない。また、ユーザＵ１は、信号機ＳＧ１が赤信号から青信号に切り替わったことを示す音声情報Ｓ１１がエージェント機器２００から出力されたため、エージェント機器２００に対して不快に感じることも想定される。なお、エージェント機器２００に対する不快度は、上述した不快度判定処理により判定可能である。また、図７（Ｃ）では、ユーザＵ１の不快感をユーザＵ１の後頭部の感嘆符で示す。

【0129】

図７（Ａ）乃至（Ｃ）に示すように、信号機ＳＧ１が赤信号から青信号に切り替わった場合でも、歩行者Ｗ１が車両Ｃ１の前方に存在して車両Ｃ１を進めることができない状態も想定される。このような場合には、エージェント機器２００は、音声情報Ｓ１１により信号機ＳＧ１が青信号になった旨の報知情報を出力することが想定されるが、ユーザＵ１にとっては、車両Ｃ１の前方に歩行者Ｗ１が存在するのに進めないよね、エージェント機器２００はちょっと危ないこと言わないでよ、と感じることが想定される。

【0130】

このように、エージェント機器２００が報知情報を出力した後に、その報知情報に対してユーザＵ１が不快になったと判定された場合には、エージェント機器２００は、迅速に適切なタイミングでユーザＵ１に謝罪をすることが好ましい。ただし、ユーザＵ１の運転負荷が高い場合に謝罪をすると、ユーザＵ１に対する負荷が増加し、ユーザＵ１をさらに不快にするおそれがある。そこで、本実施形態では、報知情報又はその出力方法に対して、ユーザＵ１の不快度が閾値以上となった場合には、エージェント機器２００は、その報知に対してユーザＵ１に謝罪をするようにする。この場合に、ユーザＵ１の運転負荷が高い場合には、焦っている表情、伏し目がちの表情とし、ユーザＵ１の負荷を増加させず、かつ、エージェント機器２００がユーザＵ１の不快に対して何らかの反省の姿勢を示していることをユーザＵ１に感じさせることができる。この例を図７（Ｃ）に示す。また、ユーザＵ１の運転負荷が低い場合には、音声情報Ｓ１２を出力しつつ、謝罪を実行する。この例を図７（Ｄ）に示す。

【0131】

図７（Ｃ）に示すように、不快に感じているユーザＵ１の負荷をさらに高めないように、エージェント機器２００は、焦っている表情、伏し目がちの表情等の所定のしぐさをして謝罪の意思をユーザＵ１に伝えるようにする。この場合には、エージェント機器２００は、音声出力をせずに、表情と少しの動きにより謝罪の姿勢とすることにより、ユーザＵ１の負荷を高めることを防止することが可能となる。

【0132】

図７（Ｄ）には、図７（Ｃ）に示す状態から、道路Ｒ１を所定距離走行した場合の状態を示す。また、図７（Ｄ）では、車両Ｃ１の周囲に他の車両が存在せず、直線状の道路Ｒ１を走行している例を示す。このように、図７（Ｃ）に示す状態から所定時間が経過し、車両Ｃ１の周囲に他の車両が存在せず、直線状の道路Ｒ１を走行しているような場合には、ユーザＵ１の運転負荷も低くなると想定される。このように、ユーザＵ１の不快度が閾値以上となった後に、ユーザＵ１の運転負荷が低くなった場合には、図７（Ｄ）に示すように、不快に感じているユーザＵ１に対して音声情報Ｓ１２を出力して謝罪の意思をユーザＵ１に伝えるようにする。

【0133】

図７（Ｃ）（Ｄ）に示すように、謝罪の開始時においてユーザＵ１の運転負荷が高かった場合には、異なる謝罪態様とする２段階での謝罪を実行する。これにより、エージェント機器２００がユーザＵ１との関係を大切にしていることをユーザＵ１に伝えることが可能となる。また、ユーザＵ１をさらに不快にすることを防止し、ユーザＵ１の信頼感を失うことを防止することが可能である。

【0134】

なお、図７（Ｂ）（Ｃ）に示すように、親子の歩行者Ｗ１の存在を検出できない場合、各センサが誤認識した場合等には、エージェント機器２００がユーザＵ１に不適切な報知情報を出力することも想定される。このような場合には、その報知情報の出力後のユーザＵ１の反応に基づいて、情報処理装置１１０が各センサの誤認識等を正す処理を実行してもよい。

【0135】

このように、図７では、ユーザＵ１の不快の理由が車両Ｃ１の周囲の状況に関連する場合の例を示す。このような場合には、図７（Ｄ）に示すように、車両Ｃ１の周囲の状況（青信号）に言及したけど、車両Ｃ１の周囲の状況等に基づく理由で正しい情報を提供できなかったね、と言及するような謝罪とすることが好ましい。

【0136】

［シートベルトの着用を報知情報として出力した場合の謝罪例］
図８は、車両Ｃ１に乗車したユーザＵ１に対してシートベルトの着用に関する報知情報を出力した後にユーザＵ１の運転負荷に応じて謝罪の態様を変更する場合の遷移例を示す図である。

【0137】

図８（Ａ）には、車両Ｃ１の運転席に座ったユーザＵ１がシートベルトを着用しようとしている状態で、エージェント機器２００がシートベルトの着用に関する報知情報を出力した場合の例を示す。このように、車両Ｃ１の運転席に座ったユーザＵ１がシートベルトを着用しようとしている間には、情報処理装置１１０は、シートベルトの着用を検出できないことが多い。このような場合には、エージェント機器２００がシートベルトの着用に関する報知情報を出力することが多い。しかし、ユーザＵ１は、シートベルトを着用しようとしていたにもかかわらず、その旨の報知がされるため、エージェント機器２００に対して不快に感じることも想定される。なお、エージェント機器２００に対する不快度は、上述した不快度判定処理により判定可能である。

【0138】

図８（Ｂ）には、ユーザＵ１の運転負荷（又はユーザＵ１の負荷）が高い場合のエージェント機器２００の謝罪例を示す。この場合には、焦っている表情、伏し目がちの表情とし、ユーザＵ１の負荷を増加させず、かつ、エージェント機器２００がユーザＵ１の不快に対して何らかの反省の姿勢を示していることをユーザＵ１に感じさせる態様とすることができる。

【0139】

図８（Ｂ）に示すように、不快に感じているユーザＵ１の負荷をさらに高めないように、エージェント機器２００は、焦っている表情、伏し目がちの表情等の所定のしぐさをして謝罪の意思をユーザＵ１に伝えるようにする。この場合には、エージェント機器２００は、音声出力をせずに、表情と少しの動きにより謝罪の姿勢とすることにより、ユーザＵ１の負荷を高めることを防止することが可能となる。

【0140】

図８（Ｃ）には、図８（Ｂ）に示す状態から、道路Ｒ２を所定距離走行した場合の状態を示す。また、図８（Ｃ）では、車両Ｃ２の周囲に他の車両が存在せず、直線状の道路Ｒ２を走行している例を示す。このように、図８（Ｂ）に示す状態から所定時間が経過し、車両Ｃ１の周囲に他の車両が存在せず、直線状の道路Ｒ２を走行しているような場合には、ユーザＵ１の運転負荷も低くなると想定される。このように、ユーザＵ１の不快度が閾値以上となった後に、ユーザＵ１の運転負荷が低くなった場合には、図８（Ｃ）に示すように、不快に感じているユーザＵ１に対して音声情報Ｓ２２を出力して謝罪の意思をユーザＵ１に伝えるようにする。

【0141】

図８（Ｂ）（Ｃ）に示すように、謝罪の開始時においてユーザＵ１の運転負荷が高かった場合には、異なる謝罪態様とする２段階での謝罪を実行する。これにより、エージェント機器２００がユーザＵ１との関係を大切にしていることをユーザＵ１に伝えることが可能となる。また、ユーザＵ１をさらに不快にすることを防止し、ユーザＵ１の信頼感を失うことを防止することが可能である。

【0142】

このように、図８では、ユーザＵ１の不快の理由がユーザＵ１の動作に関連する場合の例を示す。このような場合には、図８（Ｃ）に示すように、ユーザＵ１の動作（シートベルトの着用）に言及したけど、ユーザＵ１が正しかったねと言及するような謝罪とすることが好ましい。

【0143】

［情報処理装置の動作例］
図９は、情報処理装置１１０における報知謝罪処理の一例を示すフローチャートである。また、この報知謝罪処理は、記憶部１３０に記憶されているプログラムに基づいて制御部１２０により実行される。また、この報知謝罪処理は、エージェント機器２００から報知情報を出力するタイミングで実行される。また、この報知謝罪処理では、図１乃至図８を適宜参照して説明する。

【0144】

ステップＳ５０１において、エージェント制御部１２４は、エージェント機器２００からユーザＵ１に対する報知情報を出力させる出力処理を実行する。

【0145】

ここで、報知情報を出力するタイミングは、カメラ１０１、位置情報取得センサ１０２、音声入力部１０３、センサ類１０４等から情報処理装置１１０に入力された情報、通信部１４０を介して外部から取得されて情報処理装置１１０に入力された情報等の入力情報を分析する分析処理の結果に基づいて決定される。例えば、エージェント制御部１２４は、入力情報の分析結果に基づいて、車両Ｃ１の乗員に報知すべき情報（報知情報）があるか否かを判定する。

【0146】

例えば、バッテリセンサに基づいて、車両Ｃ１のバッテリ残量を検出可能である。そこで、バッテリ残量が閾値以下となることが判定された場合には、バッテリ残量が低下していることを報知するための報知情報があると判定される。

【0147】

例えば、シートベルトの着用の有無を検出するシートベルトセンサと、車両Ｃ１の各座席の乗員の有無を検出する着座センサ（又はシートセンサ）とに基づいて、車両Ｃ１の各座席に乗車する乗員のシートベルトの着用の有無を判定可能である。そこで、乗員が着座しているにもかかわらず、シートベルトを着用していないことが判定された場合には、その乗員に対する報知情報があると判定される。

【0148】

また、例えば、車両Ｃ１の各ドアの半ドアを検出する半ドアセンサに基づいて、車両Ｃ１の半ドアを検出可能である。そこで、半ドア状態のドアが検出された場合には、半ドア状態のドアに対する報知情報があると判定される。

【0149】

また、例えば、通信部１４０を介して外部機器、例えば情報提供サーバから取得された情報と、位置情報取得センサ１０２により取得された車両Ｃ１の現在地とに基づいて、車両Ｃ１の周囲に存在する地物、商業施設等の有無を取得可能である。そこで、例えば、車両Ｃ１の周囲に商業施設、例えば珈琲店が存在することが判定された場合には、その珈琲店の広告が報知情報としてあると判定される。また、例えば、車両Ｃ１の周囲に観光施設、例えばＡＢＣ城が存在することが判定された場合には、そのＡＢＣ城を案内する情報が報知情報としてあると判定される。

【0150】

ステップＳ５０２において、制御部１２０は、車両Ｃ１の周囲の状況と、ユーザＵ１とに関するセンシングを実行し、ユーザＵ１の不快度、ユーザＵ１の運転負荷、報知情報の確信度を算出する。なお、報知情報の確信度については、報知情報を出力タイミングで算出することが好ましい。また、ユーザＵ１の不快度と、ユーザＵ１の運転負荷とについては、報知情報を出力してから所定期間（例えば、謝罪が終了するまでの期間）において算出処理を継続することが好ましい。

【0151】

具体的には、不快度判定部１２１は、各センサから取得された各情報に基づいて、ユーザＵ１の不快度を算出する。例えば、図６（Ａ）で示したように、ユーザＵ１の生体情報（例えば、心拍、血脈）と、ユーザＵ１から発せられる音と、ユーザＵ１の外観（例えば、表情、動き）とに基づいて、ユーザＵ１の不快度を算出することが可能である。

【0152】

また、負荷判定部１２２は、各センサから取得された各情報に基づいて、ユーザＵ１の運転負荷を算出する。例えば、図６（Ｂ）で示したように、ユーザＵ１の運転操作、車両Ｃ１の周辺状況等に基づいてユーザＵ１の運転負荷を算出することが可能である。また、確信度判定部１２３は、各センサから取得された各情報に基づいて、報知情報の確信度を算出する。例えば、図５で示したように、センシング安定度、ＣＰＵ稼働率等に基づいて報知情報の確信度を算出することが可能である。

【0153】

ステップＳ５０３において、確信度判定部１２３は、ステップＳ５０１で出力された報知情報の確信度が基準よりも高いか否かを判定する。すなわち、確信度判定部１２３は、ステップＳ５０２で算出された報知情報の確信度が基準よりも高いか否かを判定する。例えば、図５（Ｂ）に示すように、センシング安定度が閾値ＴＨ１以上である場合には、報知情報の確信度が基準よりも高いと判定され、センシング安定度が閾値ＴＨ１未満である場合には、報知情報の確信度が基準よりも低いと判定される。また、例えば、図５（Ｃ）に示すように、ＣＰＵ稼働率が閾値ＴＨ２以上である場合には、報知情報の確信度が基準よりも低いと判定され、ＣＰＵ稼働率が閾値ＴＨ２未満である場合には、報知情報の確信度が基準よりも高いと判定される。報知情報の確信度が基準よりも高い場合には、ステップＳ５０４に進む。一方、報知情報の確信度が基準よりも低い場合には、ステップＳ５１２に進む。

【0154】

ステップＳ５０４において、不快度判定部１２１は、ステップＳ５０１で出力された報知情報に対してユーザＵ１が不快になったか否かを判定する。具体的には、不快度判定部１２１は、ステップＳ５０２で算出されたユーザＵ１の不快度が閾値以上になったか否かに基づいて、ユーザＵ１が不快になったか否かを判定する。例えば、図６（Ａ）に示すように、ユーザＵ１の不快度が閾値ＴＨ３以上である場合には、ユーザＵ１が不快になったと判定され、ユーザＵ１の不快度が閾値ＴＨ３未満である場合には、ユーザＵ１が不快になっていないと判定される。ユーザＵ１が不快になった場合（すなわちユーザＵ１の不快度が閾値以上の場合）には、ステップＳ５０５に進む。一方、ユーザＵ１が不快になっていない場合（すなわちユーザＵ１の不快度が閾値未満の場合）には、報知謝罪処理の動作を終了する。なお、この不快度の判定処理については、報知情報の出力タイミングを基準として所定時間（例えば数秒乃至数十秒程度）が経過したタイミングで実行することが好ましい。この場合の所定時間は、例えば、報知情報の内容に基づいて適宜設定可能である。また、ステップＳ５０５、ステップＳ５１３以降の各処理においても、この不快度の判定処理を継続して行い、ユーザＵ１が不快になっていないことが判定された場合（すなわちユーザＵ１の不快度が閾値未満の場合）には、この判定以降の謝罪処理を実行せずに報知謝罪処理の動作を終了させてもよい。

【0155】

ステップＳ５０５において、負荷判定部１２２は、ステップＳ５０２で算出されたユーザＵ１の運転負荷が高いか否かを判定する。具体的には、負荷判定部１２２は、ステップＳ５０２で算出されたユーザＵ１の運転負荷が閾値以上になったか否かに基づいて、ユーザＵ１の運転負荷が高いか否かを判定する。例えば、図６（Ｂ）に示すように、ユーザＵ１の運転負荷が閾値ＴＨ４以上である場合には、ユーザＵ１の運転負荷が高いと判定され、ユーザの運転負荷が閾値ＴＨ４未満である場合には、ユーザＵ１の運転負荷が低いと判定される。ユーザＵ１の運転負荷が高い場合（すなわちユーザＵ１の運転負荷が閾値以上の場合）には、ステップＳ５０６に進む。一方、ユーザＵ１の運転負荷が低い場合（すなわちユーザＵ１の運転負荷が閾値未満の場合）には、ステップＳ５０７に進む。

【0156】

ステップＳ５０６において、エージェント制御部１２４は、エージェント機器２００を所定のしぐさをさせる態様とすることによりエージェント機器２００に謝罪を実行させる。例えば、図３（Ｇ）（Ｈ）、図７（Ｃ）、図８（Ｂ）に示すように、エージェント機器２００に所定のしぐさを実行させる。なお、ステップＳ５０５でユーザＵ１の運転負荷が高いと判定されるまでの間、所定のしぐさを継続して実行する。例えば、所定のしぐさとして複数のしぐさを実行することが可能な場合には、所定時間が経過する毎に異なるしぐさとしてもよい。これにより、ユーザＵ１にエージェント機器２００が何らかのしぐさで謝罪の気持ちを出していることを認識させることが可能となる。なお、所定のしぐさが継続して実行されている間に、所定のしぐさを認識したことによりユーザＵ１の不快度が閾値未満となることも想定される。この場合には、音声出力を用いた謝罪をせずに報知謝罪処理の動作を終了させてもよい。

【0157】

ステップＳ５０７において、不快度判定部１２１は、ステップＳ５０４で不快になったと判定されたユーザＵ１の不快の理由が車両Ｃ１の周辺の状況に存在するか否かを判定する。この判定方法については、図１０を参照して詳細に説明する。ユーザＵ１の不快の理由が車両Ｃ１の周辺の状況に存在する場合には、ステップＳ５０８に進む。一方、ユーザＵ１の不快の理由が車両Ｃ１の周辺の状況に存在しない場合には、ステップＳ５０９に進む。

【0158】

ステップＳ５０８において、エージェント制御部１２４は、エージェント機器２００にユーザＵ１を不快にしたことを謝罪させ、車両Ｃ１の周囲の状況について言及する音声情報を出力させる。例えば、図７（Ｄ）に示すように、エージェント機器２００にユーザＵ１を不快にしたことを謝罪させるとともに、車両Ｃ１の周囲の状況について言及する音声情報Ｓ１２を出力させる。なお、音声出力される車両Ｃ１の周囲の状況については、図１０を参照して詳細に説明する。

【0159】

ステップＳ５０９において、不快度判定部１２１は、ステップＳ５０４で不快になったと判定されたユーザＵ１の不快の理由がユーザＵ１の動作に存在するか否かを判定する。この判定方法については、図１１を参照して詳細に説明する。ユーザＵ１の不快の理由がユーザＵ１の動作に存在する場合には、ステップＳ５１０に進む。一方、ユーザＵ１の不快の理由がユーザＵ１の動作に存在しない場合には、ステップＳ５１１に進む。

【0160】

ステップＳ５１０において、エージェント制御部１２４は、エージェント機器２００にユーザＵ１を不快にしたことを謝罪させ、ユーザＵ１の動作について言及する音声情報を出力させる。例えば、図８（Ｃ）に示すように、エージェント機器２００にユーザＵ１を不快にしたことを謝罪させるとともに、ユーザＵ１の動作について言及する音声情報Ｓ２２を出力させる。なお、音声出力されるユーザＵ１の動作については、図１１を参照して詳細に説明する。

【0161】

ステップＳ５１１において、エージェント制御部１２４は、エージェント機器２００にユーザＵ１を不快にしたことを謝罪させる。例えば、図２に示すように、エージェント機器２００にユーザＵ１を不快にしたことを音声出力により謝罪させる。

【0162】

なお、ステップＳ５０８、Ｓ５１０、Ｓ５１１での謝罪処理については、所定タイミングで終了させる。この所定タイミングは、例えば、音声出力による謝罪を開始してから所定時間（例えば数秒乃至数十秒）が経過したタイミング、ユーザＵ１の不快度が閾値未満となったタイミング、ユーザＵ１からの所定操作（例えば、謝罪終了操作、謝罪終了を指示する音声）がされたタイミング、ユーザＵ１が所定の音声（例えば、もういいよ、気にしていないよ）を発したタイミング等とすることが可能である。

【0163】

ステップＳ５１２乃至Ｓ５１５の各処理は、ステップＳ５０４乃至Ｓ５０６、Ｓ５１１の各処理に対応するため、ここでの説明を省略する。

【0164】

上述したように、報知情報の確信度が高い場合には、エージェント機器２００を制御する際に用いられる機器における処理の確信度（又は報知情報）が高いと想定される。この場合には、車両Ｃ１の周囲の状況、ユーザＵ１の動作についても適切な情報を取得することが可能であり、ユーザＵ１の不快の理由を適切に判定可能となることが多い。そこで、図９に示す例では、報知情報の確信度が高い場合において、ユーザＵ１の不快の理由が判定できたときには、車両Ｃ１の周囲の状況、ユーザＵ１の動作等に言及した謝罪とする。一方、報知情報の確信度が低い場合、又は、ユーザＵ１の不快の理由が判定できない場合には、それらの言及をせずに謝罪する。

【0165】

なお、図９では、報知情報の確信度の判定処理後に、ユーザＵ１の不快度判定処理を実行し、その後に、ユーザＵ１の運転負荷判定処理を実行する例を示した。ただし、ユーザＵ１の不快度判定処理の実行後に、報知情報の確信度の判定処理を実行し、その後に、ユーザＵ１の運転負荷判定処理を実行してもよい。

【0166】

［車両の周囲の状況の判定例］
図１０は、情報処理装置１１０における車両Ｃ１の周囲の状況の判定処理の一例を示すフローチャートである。また、この判定処理は、記憶部１３０に記憶されているプログラムに基づいて制御部１２０により実行される。また、この判定処理は、エージェント機器２００から報知情報を出力するタイミングで実行される。また、この判定処理では、図１乃至図９を適宜参照して説明する。

【0167】

ステップＳ５２１において、不快度判定部１２１は、カメラ１０１により取得された車両Ｃ１の周囲の画像、明暗センサ等に基づいて、車両Ｃ１の周囲が暗いか否かを判定する。例えば、日の入りとなる夕方以降、曇、雨天等には、車両Ｃ１の周囲が暗いと判定される。この判定方法については、公知の明暗判定方法を用いることが可能である。車両Ｃ１の周囲が暗い場合には、ステップＳ５２２に進む。一方、車両Ｃ１の周囲が明るい場合には、ステップＳ５２３に進む。

【0168】

ステップＳ５２２において、不快度判定部１２１は、車両Ｃ１の周囲が暗かったことに言及する決定をする。

【0169】

ステップＳ５２３において、不快度判定部１２１は、カメラ１０１により取得された車両Ｃ１の周囲の画像、雨滴センサ等に基づいて、車両Ｃ１の周囲で雨が降っているか否かを判定する。この判定方法については、公知の雨判定方法を用いることが可能である。車両Ｃ１の周囲で雨が降っている場合には、ステップＳ５２４に進む。一方、車両Ｃ１の周囲に雨が降っていない場合には、ステップＳ５２５に進む。

【0170】

ステップＳ５２４において、不快度判定部１２１は、車両Ｃ１の周囲で雨が降っていたことに言及する決定をする。

【0171】

ステップＳ５２５において、不快度判定部１２１は、カメラ１０１により取得された車両Ｃ１の周囲の画像、ＬｉＤＡＲ、ＲＡＤＡＲ、Ｓｏｎａｒ等に基づいて、車両Ｃ１の周囲に交通参加者が多いか否かを判定する。例えば、交通参加者が閾値以上である場合には、車両Ｃ１の周囲に交通参加者が多いと判定される。車両Ｃ１の周囲に交通参加者が多い場合には、ステップＳ５２６に進む。一方、車両Ｃ１の周囲に交通参加者が少ない場合には、ステップＳ５２７に進む。

【0172】

ステップＳ５２６において、不快度判定部１２１は、車両Ｃ１の周囲は混雑していたことに言及する決定をする。

【0173】

ステップＳ５２７において、不快度判定部１２１は、カメラ１０１により取得された車両Ｃ１の周囲の画像、地図情報、加速度センサ等に基づいて、車両Ｃ１が走行している道路の形状が複雑であるか否かを判定する。例えば、車両Ｃ１が走行している道路が狭い道路である場合、悪路である場合等には、車両Ｃ１が走行している道路の形状が複雑であると判定される。車両Ｃ１が走行している道路の形状が複雑である場合には、ステップＳ５２８に進む。一方、車両Ｃ１が走行している道路の形状が複雑でない場合には、判定処理の動作を終了する。この場合には、ステップＳ５０７（図９参照）において、不快度判定部１２１は、ユーザＵ１の不快の理由が車両Ｃ１の周辺の状況に存在しないと判定する。

【0174】

ステップＳ５２８において、不快度判定部１２１は、車両Ｃ１が走行している道路の形状が複雑であることに言及する決定をする。

【0175】

なお、ステップＳ５２２、Ｓ５２４、Ｓ５２６、Ｓ５２８の決定処理がされた場合には、ステップＳ５０７（図９参照）において、不快度判定部１２１は、ユーザＵ１の不快の理由が車両Ｃ１の周辺の状況に存在すると判定する。また、不快度判定部１２１は、その決定内容をエージェント制御部１２４に通知する。その決定内容に基づいて、エージェント制御部１２４は、ステップＳ５０８（図９参照）で言及する車両Ｃ１の周囲の状況を取得することが可能となる。

【0176】

このように、ユーザＵ１の不快の理由が車両Ｃ１の周辺の状況に存在するか否かの判定については、報知情報の出力中又はその直後における車両Ｃ１の周辺の状況に基づいて判定される。

【0177】

なお、図１０では、車両Ｃ１の周囲の状況として、周囲が暗さ、雨の有無、周囲の交通参加者の数、道路形状の複雑の有無等を判定する例を示したが、本実施形態はこれに限定されない。例えば、車両Ｃ１の周囲の道路の渋滞状況を検出可能である。そこで、車両Ｃ１の周囲の道路が渋滞している場合には、車両Ｃ１の周囲の道路が渋滞していることに言及することが可能となる。

【0178】

［ユーザ動作の判定例］
図１１は、情報処理装置１１０におけるユーザＵ１の動作の判定処理の一例を示すフローチャートである。また、この判定処理は、記憶部１３０に記憶されているプログラムに基づいて制御部１２０により実行される。また、この判定処理は、エージェント機器２００から報知情報を出力するタイミングで実行される。また、この判定処理では、図１乃至図１０を適宜参照して説明する。

【0179】

ステップＳ５３１において、不快度判定部１２１は、カメラ１０１により取得された車両Ｃ１の周囲の画像、シートセンサ等に基づいて、ユーザＵ１が座席（シート）の位置を調整しているか否かを判定する。例えば、ユーザＵ１が手動操作で座席の位置を調整していることが想定される。この判定方法については、公知の画像認識技術を用いることが可能である。ユーザＵ１が座席の位置を調整している場合には、ステップＳ５３２に進む。一方、ユーザＵ１が座席の位置を調整していない場合には、ステップＳ５３３に進む。

【0180】

ステップＳ５３２において、不快度判定部１２１は、座席（シート）の位置調整について言及する決定をする。

【0181】

ステップＳ５３３において、不快度判定部１２１は、カメラ１０１により取得された車両Ｃ１の周囲の画像、ミラーセンサ等に基づいて、ユーザＵ１が車両Ｃ１のミラーを調整しているか否かを判定する。このミラーは、例えば、車両Ｃ１のバックミラー、サイドミラー等である。この判定方法については、公知の画像認識技術を用いることが可能である。ユーザＵ１が車両Ｃ１のミラーを調整している場合には、ステップＳ５３４に進む。一方、ユーザＵ１が車両Ｃ１のミラーを調整していない場合には、ステップＳ５３５に進む。

【0182】

ステップＳ５３４において、不快度判定部１２１は、ミラーの調整について言及する決定をする。

【0183】

ステップＳ５３５において、不快度判定部１２１は、カメラ１０１により取得された車両Ｃ１の周囲の画像、シートベルトセンサ等に基づいて、ユーザＵ１がシートベルトを締める動作をしているか否かを判定する。この判定方法については、公知の画像認識技術を用いることが可能である。ユーザＵ１がシートベルトを締める動作をしている場合には、ステップＳ５３６に進む。一方、ユーザＵ１がシートベルトを締める動作をしていない場合には、ステップＳ５３７に進む。

【0184】

ステップＳ５３６において、不快度判定部１２１は、シートベルトを締めていることに言及する決定をする。

【0185】

ステップＳ５３７において、不快度判定部１２１は、カメラ１０１により取得された車両Ｃ１の周囲の画像、ＥＴＣ（Electronic Toll Collection System）機器等に基づいて、ユーザＵ１がＥＴＣカードをＥＴＣ機器に入れる動作をしているか否かを判定する。この判定方法については、公知の画像認識技術を用いることが可能である。ユーザＵ１がＥＴＣカードをＥＴＣ機器に入れる動作をしている場合には、ステップＳ５３８に進む。一方、ユーザＵ１がＥＴＣカードをＥＴＣ機器に入れる動作をしていない場合には、判定処理の動作を終了する。この場合には、ステップＳ５０９（図９参照）において、不快度判定部１２１は、ユーザＵ１の不快の理由がユーザＵ１の動作に存在しないと判定する。

【0186】

ステップＳ５３８において、不快度判定部１２１は、ＥＴＣカードを入れていることに言及する決定をする。

【0187】

なお、ステップＳ５３２、Ｓ５３４、Ｓ５３６、Ｓ５３８の決定処理がされた場合には、ステップＳ５０９（図９参照）において、不快度判定部１２１は、ユーザＵ１の不快の理由がユーザＵ１の動作に存在すると判定する。また、不快度判定部１２１は、その決定内容をエージェント制御部１２４に通知する。その決定内容に基づいて、エージェント制御部１２４は、ステップＳ５１０（図９参照）で言及するユーザＵ１の動作を取得することが可能となる。

【0188】

このように、ユーザＵ１の不快の理由がユーザＵ１の動作に存在するか否かの判定については、報知情報の出力中又はその直後におけるユーザＵ１の動作に基づいて判定される。

【0189】

なお、図１１では、ユーザの動作として、シート位置の調整、ミラーの調整、シートベルトの着用、ＥＴＣカードの挿入の各動作をしているか否かを判定する例を示したが、本実施形態はこれに限定されない。例えば、近距離無線通信（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））を利用してユーザＵ１が電子機器（例えば、スマートフォン）を忘れているか否かを検出可能である。例えば、電子機器の電源をオフした状態でユーザＵ１が車両Ｃ１に乗車することも想定される。この場合には、ユーザＵ１が電子機器を忘れていることを報知情報として出力することが考えられる。この場合に、ユーザＵ１が電子機器を所持しているにも関わらず、電子機器を忘れている旨の報知情報が出力されるため、ユーザＵ１に不快感を与えることも想定される。そこで、このような場合には、ユーザＵ１が電子機器を所持していることに言及することが可能となる。

【0190】

［エージェント機器を２次元で表現する例］
以上では、３次元のエージェント機器２００を例にして説明した。ただし、エージェント機器の生き物らしさを表現することが可能であれば、２次元画像として、エージェント画像を表示して本実施形態を適用してもよい。また、車両Ｃ１にＨＵＤ（Head Up Display）を実現するための表示媒体が設けられている場合には、その表示媒体にエージェント画像を表示して本実施形態を適用することが可能である。

【0191】

［車両以外に設置可能なエージェント機器の例］
以上では、車両Ｃ１に設置されるエージェント機器２００の例を示した。ただし、車両Ｃ１から取り外し可能なエージェント機器、車両以外に設置可能なエージェント機器等についても本実施形態を適用可能である。例えば、例えば、携帯型のエージェント機器を所持するユーザが、車両Ｃ１に乗車するときには、車両Ｃ１のダッシュボード２上にそのエージェント機器を設置し、車両Ｃ１から降りる場合には、ユーザがそのエージェント機器を所持して持ち歩くことも想定される。また、ユーザが家庭内でエージェント機器を使用することも想定される。また、エージェント画像（エージェント機器２００に相当）を表示させることが可能な各種機器（例えば、ゲーム機器、眼鏡型ディスプレイ）を使用することも想定される。

【0192】

例えば、家庭内では、家庭内に設置されている各機器に関する報知情報を出力することが考えられる。例えば、お風呂が沸いたタイミング、調理器具の調理が終了したタイミング等で、その旨を報知することが想定される。また、例えば、玄関のドア、窓が開いた状態の場合に、その旨を報知することが想定される。また、例えば、ガスコンロの火を消し忘れている場合に、その旨を報知することが想定される。これらの場合には、お風呂、各調理器具、ドア、窓等に関する報知情報を提供することが想定される。

【0193】

また、ユーザの負荷は、ユーザＵ１の移動の有無、ユーザＵ１の作業の有無（例えば、機器操作の有無、調理中の有無）、ユーザＵ１の周辺状況等に基づいて判定が可能である。例えば、ユーザＵ１が移動している場合には、ユーザＵ１の負荷が高いと判定し、ユーザＵ１が停止している場合には、ユーザＵ１の負荷が低いと判定することが可能である。このユーザＵ１の移動については、ユーザＵ１が所持する電子機器（例えば、スマートフォン、装着可能なウェアラブル機器）の加速センサ等に基づいて取得可能である。また、ユーザＵ１が電子機器（例えば、スマートフォン、ゲーム機器）の操作をしている場合には、ユーザＵ１の負荷が高いと判定し、ユーザＵ１が電子機器の操作をしていない場合には、ユーザＵ１の負荷が低いと判定することが可能である。なお、電子機器の操作の有無については、その電子機器から取得可能な制御情報に基づいて判定可能である。また、ユーザＵ１が他の人と会話している場合には、ユーザＵ１の負荷が高いと判定し、ユーザＵ１が他の人と会話していない場合には、ユーザＵ１の負荷が低いと判定することが可能である。なお、ユーザＵ１の会話の有無については、音声入力装置により取得された音声情報に基づいて判定可能である。

【0194】

例えば、ユーザＵ１に提供された報知情報、又は、その報知の態様に対して、ユーザＵ１が不快になった場合には、ユーザＵ１の負荷に基づいて謝罪の態様を変更して実行する。なお、ユーザＵ１の不快度については、上述した例と同様に、ユーザＵ１の生体情報（例えば、心拍、血脈）と、ユーザＵ１から発せられる音と、ユーザＵ１の外観（例えば、表情、動き）とに基づいて算出可能である。また、謝罪の態様については、図９に示す例と同様である。また、エージェント機器（又はエージェント画像）を制御する際に用いられる機器の確信度に基づいて謝罪の態様を変更して実行する。なお、確信度については、上述した例と同様に、センシング安定度、ＣＰＵ稼働率等に基づいて算出可能である。

【0195】

［本実施形態の効果例］
このように、本実施形態では、報知情報の出力、又は、その報知の態様がユーザＵ１を不快にしたような場合には、車両Ｃ１の周囲の状況、ユーザＵ１の状況に応じて、適切なタイミングでエージェント機器２００が謝罪をするようにする。この適切なタイミングは、例えば、可能な限り早いことが好ましい。また、ユーザＵ１の運転負荷を考慮して謝罪の態様を変更することが好ましい。

【0196】

具体的には、ユーザＵ１の運転負荷が基準よりも高い場合（例えば車両Ｃ１の周囲状況が混雑している場合）には、エージェント機器２００による発話により気を引かないようにすることが好ましい。ただし、この場合でも、焦るような振る舞いで謝罪の意図をできるだけ早くユーザＵ１に対して表現することが重要である。そこで、ユーザＵ１の運転負荷が基準よりも高い場合には、音声出力をさせずにエージェント機器２００に所定のしぐさ（例えば、図３（Ｇ）（Ｈ）、図７（Ｃ）、図８（Ｂ）に示すしぐさ）を実行させることによりエージェント機器２００に謝罪を実行させる。これにより、報知情報の出力、又は、その報知の態様がユーザＵ１を不快にしたような場合には、ユーザＵ１の負荷を増加させることなく、適切なタイミングで、かつ、迅速にユーザＵ１に対してエージェント機器２００が謝罪することが可能となる。

【0197】

また、ユーザＵ１の運転負荷が基準よりも低い場合には、エージェント機器２００による発話をユーザＵ１が受け入れられる可能性が高い。この場合には、発話により謝罪の意図をできるだけ早くユーザＵ１に対して表現することが重要である。そこで、ユーザＵ１の運転負荷が基準よりも低い場合には、エージェント機器２００に謝罪に関する音声出力（例えば、図２、図７（Ｄ）、図８（Ｃ）に示す音声情報）をさせることによりエージェント機器２００に謝罪を実行させる。これにより、報知情報の出力、又は、その報知の態様がユーザＵ１を不快にしたような場合には、ユーザＵ１の負荷を考慮して、適切なタイミングで、かつ、迅速にユーザＵ１に対してエージェント機器２００が謝罪することが可能となる。

【0198】

また、エージェント機器２００を制御する際に用いられる機器の確信度が高い場合には、それらの機器により生成される報知情報、それらの機器により取得されるユーザＵ１の状況等の確信度も高くなると想定される。このような場合には、報知情報、又は、その報知の態様に対する間違いを特定し易いと想定される。一方、それらの機器の確信度が低い場合には、それらの機器により生成される報知情報、それらの機器により取得されるユーザＵ１の状況等の確信度も低くなると想定される。このような場合には、報知情報、又は、その報知の態様に対する間違いを特定することが困難となることも想定される。

【0199】

そこで、適切なタイミングで、かつ、迅速にユーザＵ１に対する謝罪を実行するとともに、上述した各機器の確信度に基づいて、ユーザＵ１の不快に関する理由にも言及するようにする。具体的には、上述した各機器の確信度が基準よりも高く、ユーザＵ１の運転負荷が基準よりも低い場合には、エージェント機器２００に謝罪に関する発話及びユーザＵ１の不快に関する理由を音声出力させて謝罪を実行する。また、上述した各機器の確信度が基準よりも低く、ユーザＵ１の運転負荷が基準よりも低い場合には、ユーザＵ１の不快に関する理由を推定することが困難であるため、エージェント機器２００に謝罪に関する発話のみを音声出力させて謝罪を実行する。また、ユーザＵ１の運転負荷が基準よりも高い場合には、その確信度にかかわらず、音声出力をさせずにエージェント機器２００に所定のしぐさを実行させることにより謝罪を実行する。このように、謝罪とともに、ユーザＵ１を不快にさせた理由を推定してユーザＵ１に伝えることにより、エージェント機器２００がユーザＵ１のことを見ていてユーザＵ１との関係を大切にしていることを迅速に伝えることができる。これにより、ユーザＵ１とエージェント機器２００との絆を深め、エージェント機器２００からの報知情報をユーザＵ１が適切に受け入れることが可能となる。

【0200】

このように、本実施形態では、報知情報の出力、又は、その報知の態様に対する謝罪を実行する場合には、適切なタイミングで迅速に謝罪するため、ユーザＵ１をさらに不快にすることを防止し、ユーザＵ１の信頼感を失うことを防止することが可能である。また、その謝罪の際のユーザの状態（例えば、快又は不快、運転負荷の高又は低）を考慮して、謝罪するタイミング、謝罪の内容を適切に決定して実行する。このため、ユーザＵ１をさらに不快にすることを防止し、ユーザＵ１の信頼感を失うことを防止することが可能である。

【0201】

ここで、エージェント機器２００の間違え等に対しては、迅速に適切なタイミングで謝罪することが、ユーザＵ１との関係性で重要となる。すなわち、エージェント機器２００が間違ったことに対して、何もしないのではなく、何らかのフォローを迅速に適切なタイミングで実行することが重要となる。これにより、何らかの間違えがエージェント機器２００において発生した場合でも、ユーザＵ１とエージェント機器２００との絆を深めることが可能となる。また、何らかの間違えがエージェント機器２００において発生し、ユーザＵ１を不快にさせた場合でも、その不快感を速やかに低下させることが可能となる。

【0202】

このように、本実施形態では、エージェント機器２００がユーザＵ１との関係を大切にしていると分かる行動をすることができる。これにより、ユーザＵ１とエージェント機器２００との絆を深め、エージェント機器２００からの報知情報をユーザＵ１が適切に受け入れることが可能となる。

【0203】

［他の機器、他のシステムにおいて処理を実行させる例］
なお、以上では、報知謝罪処理等をエージェント機器２００、情報処理装置１１０（又は情報処理システム１００）において実行する例を示したが、それらの各処理の全部又は一部を他の機器において実行してもよい。この場合には、それらの各処理の一部を実行する各機器により情報処理システムが構成される。例えば、車載機器、ユーザが使用可能な機器（例えば、スマートフォン、タブレット端末、パーソナルコンピュータ、カーナビゲーション装置、ＩＶＩ）、インターネット等の所定のネットワークを介して接続可能なサーバ等の各種情報処理装置、各種電子機器を用いて各処理の少なくとも一部を実行させることができる。

【0204】

また、情報処理装置１１０（又は情報処理システム１００）の機能を実行可能な情報処理システムの一部（又は全部）については、インターネット等の所定のネットワークを介して提供可能なアプリケーションにより提供されてもよい。このアプリケーションは、例えばＳａａＳ（Software as a Service）である。

【0205】

［本実施形態の構成例及びその効果］
本実施形態に係る情報処理方法は、エージェント機器２００を用いて報知情報をユーザＵ１に報知する情報処理方法である。この情報処理方法は、報知情報をユーザＵ１に報知した後に、その報知情報又はその報知の態様に対するユーザＵ１の不快度を判定する不快度判定処理（ステップＳ５０２、Ｓ５０４、Ｓ５１２）と、ユーザＵ１の不快度が基準よりも高いと判定された場合に、その報知に関する謝罪をエージェント機器２００に表現させる制御処理（ステップＳ５０５乃至Ｓ５１１、Ｓ５１３乃至Ｓ５１５）とを含み、制御処理（ステップＳ５０５乃至Ｓ５１１、Ｓ５１３乃至Ｓ５１５）では、ユーザＵ１の負荷に基づいて、その謝罪の態様を変更する。また、本実施形態に係るプログラムは、これらの各処理をコンピュータに実行させるプログラムである。言い換えると、本実施形態に係るプログラムは、情報処理装置１１０が実行可能な各機能をコンピュータに実現させるプログラムである。

【0206】

この構成によれば、報知情報の出力、又はその報知の態様に対する謝罪の際のユーザの負荷を考慮して、謝罪するタイミング、謝罪の内容を決定するため、ユーザＵ１をさらに不快にすることを防止し、ユーザＵ１の信頼感を失うことを防止することが可能である。

【0207】

本実施形態に係る情報処理方法では、ユーザＵ１が発する音、及び、ユーザＵ１の外観（例えば、動き、表情）のうちの少なくとも１つに基づいて、ユーザＵ１の負荷を判定する負荷判定処理（ステップＳ５０２）をさらに含み、制御処理（ステップＳ５０５乃至Ｓ５１１、Ｓ５１３乃至Ｓ５１５）では、ユーザＵ１の負荷が基準よりも低い場合には、エージェント機器２００に音声出力をさせて謝罪を実行し、ユーザＵ１の負荷が基準よりも高い場合には、音声出力をさせずにエージェント機器２００に所定のしぐさを実行させることにより謝罪を実行する。例えば、ユーザＵ１の負荷が基準よりも低い場合には、図２、図７（Ｄ）、図８（Ｃ）に示すように、エージェント機器２００に音声出力をさせて謝罪を実行する。一方、ユーザＵ１の負荷が基準よりも高い場合には、図７（Ｃ）、図８（Ｂ）に示すように、音声出力をさせずにエージェント機器２００に所定のしぐさを実行させることにより謝罪を実行する。

【0208】

この構成によれば、ユーザＵ１の負荷を考慮して、ユーザＵ１の負荷を増加させることなく、適切なタイミングで、かつ、迅速にユーザＵ１に対してエージェント機器２００が謝罪することが可能となる。

【0209】

本実施形態に係る情報処理方法では、エージェント機器２００は、車両Ｃ１に設置可能な機器であり、ユーザＵ１の負荷として、ユーザＵ１の運転操作と、車両Ｃ１の周囲の状況とのうちの少なくとも１つに基づいて、車両Ｃ１を運転する際におけるユーザＵ１の運転負荷を判定する負荷判定処理（ステップＳ５０２）をさらに含み、制御処理（ステップＳ５０５乃至Ｓ５１１、Ｓ５１３乃至Ｓ５１５）では、ユーザＵ１の運転負荷が基準よりも低い場合には、エージェント機器２００に音声出力をさせて謝罪を実行し、ユーザＵ１の運転負荷が基準よりも高い場合には、音声出力をさせずにエージェント機器２００に所定のしぐさを実行させることにより謝罪を実行する。例えば、ユーザＵ１の運転負荷が基準よりも低い場合には、図２、図７（Ｄ）、図８（Ｃ）に示すように、エージェント機器２００に音声出力をさせて謝罪を実行する。一方、ユーザＵ１の運転負荷が基準よりも高い場合には、図７（Ｃ）、図８（Ｂ）に示すように、音声出力をさせずにエージェント機器２００に所定のしぐさを実行させることにより謝罪を実行する。

【0210】

この構成によれば、ユーザＵ１が運転中の場合でも、ユーザＵ１の運転負荷を考慮して、ユーザＵ１の運転負荷を増加させることなく、適切なタイミングで、かつ、迅速にユーザＵ１に対してエージェント機器２００が謝罪することが可能となる。

【0211】

本実施形態に係る情報処理方法において、制御処理（ステップＳ５０７乃至Ｓ５１１、Ｓ５１５）では、ユーザＵ１の運転負荷が基準よりも低い場合には、謝罪を示す表情としたエージェント機器２００の顔部をユーザＵ１の方向に向け、その謝罪を示す音声を出力させる態様とする。例えば、図２、図７（Ｄ）、図８（Ｃ）に示すように、謝罪を示す表情としたエージェント機器２００の顔部（眼部）をユーザＵ１の方向に向け、その謝罪を示す音声を出力させる。

【0212】

この構成によれば、発話を受け入れられ、かつ、エージェント機器２００の方向を向く可能性が高い場合には、エージェント機器２００がユーザＵ１の方向を向き、発話により謝罪の意図をできるだけ早くユーザＵ１に対して表現することができる。これにより、ユーザＵ１の運転負荷を考慮して、適切なタイミングで、かつ、迅速にユーザＵ１に対してエージェント機器２００が謝罪することが可能となる。

【0213】

本実施形態に係る情報処理方法において、エージェント機器２００を制御する際に用いられる機器（例えば、図４に示す各部（特にＣＰＵ））の稼働率と、機器（例えば、図４に示す各部（特に各センサ））の安定度とのうちの少なくとも１つに基づいて、報知情報の確信度を判定する確信度判定処理（ステップＳ５０２）をさらに含み、制御処理（ステップＳ５０３乃至Ｓ５１５）では、ユーザＵ１の負荷と、確信度とに基づいて、謝罪の態様を変更する。

【0214】

この構成によれば、報知情報の出力の際の報知情報の確信度を考慮して、ユーザＵ１の負荷が低い場合における謝罪の内容を適切に決定して実行するため、ユーザＵ１をさらに不快にすることを防止し、ユーザＵ１の信頼感を失うことを防止することが可能である。

【0215】

本実施形態に係る情報処理方法において、制御処理（ステップＳ５０３乃至Ｓ５１５）では、確信度が基準よりも高く、ユーザＵ１の負荷が基準よりも低い場合には、エージェント機器２００に謝罪に関する発話及びユーザＵ１の不快度に関する理由を音声出力させて謝罪を実行し、確信度が基準よりも低く、ユーザＵ１の負荷が基準よりも低い場合には、エージェント機器２００に謝罪に関する発話を音声出力させて謝罪を実行し、ユーザＵ１の負荷が基準よりも高い場合には、確信度にかかわらず、音声出力をさせずにエージェント機器２００に所定のしぐさを実行させることにより謝罪を実行する。例えば、確信度が基準よりも高く、ユーザＵ１の負荷が基準よりも低い場合には、図７（Ｄ）、図８（Ｃ）に示すように、エージェント機器２００に謝罪に関する発話及びユーザＵ１の不快度に関する理由を音声出力させて謝罪を実行する。一方、確信度が基準よりも低く、ユーザＵ１の負荷が基準よりも低い場合には、図２に示すように、エージェント機器２００に謝罪に関する発話を音声出力させて謝罪を実行する。また、ユーザＵ１の負荷が基準よりも高い場合には、図７（Ｃ）、図８（Ｂ）に示すように、確信度にかかわらず、音声出力をさせずにエージェント機器２００に所定のしぐさを実行させることにより謝罪を実行する。

【0216】

この構成によれば、報知情報の確信度が基準よりも高く、ユーザＵ１の負荷が基準よりも低い場合には、ユーザＵ１の不快に関する理由にも言及するようにする。このように、謝罪とともに、ユーザＵ１を不快にさせた理由を推定してユーザＵ１に伝えることにより、エージェント機器２００がユーザＵ１のことを見ていてユーザＵ１との関係を大切にしていることを迅速に伝えることができる。これにより、ユーザＵ１とエージェント機器２００との絆を深め、エージェント機器２００からの報知情報をユーザＵ１が適切に受け入れることが可能となる。

【0217】

本実施形態に係る情報処理方法において、不快度判定処理（ステップＳ５０２、Ｓ５２１乃至Ｓ５２８、Ｓ５３１乃至Ｓ５３８）では、ユーザＵ１の動作と、ユーザＵ１の周囲の状況とのうちの少なくとも１つに基づいて、ユーザＵ１を不快にさせた理由を推定し、制御処理（ステップＳ５０７乃至Ｓ５１０）では、確信度が基準よりも高く、ユーザＵ１の負荷が基準よりも低い場合において、ユーザＵ１を不快にさせた理由がユーザＵ１の周囲の状況に基づくと推定されたときには、当該周囲の状況に関する理由を音声出力させ、ユーザＵ１を不快にさせた理由がユーザＵ１の動作に基づくと推定されたときには、当該ユーザの動作に関する理由を音声出力する。例えば、ユーザＵ１を不快にさせた理由がユーザＵ１の周囲の状況に基づくと推定されたときには、図７（Ｄ）に示すように、当該周囲の状況に関する理由を音声出力させて謝罪を実行する。一方、ユーザＵ１を不快にさせた理由がユーザＵ１の動作に基づくと推定されたときには、図８（Ｃ）に示すように、当該ユーザの動作に関する理由を音声出力させて謝罪を実行する。

【0218】

この構成によれば、謝罪とともに、ユーザＵ１を不快にさせた理由を推定してユーザＵ１に伝えることにより、エージェント機器２００がユーザＵ１のことを見ていてユーザＵ１との関係を大切にしていることを迅速に伝えることができる。これにより、ユーザＵ１とエージェント機器２００との絆を深め、エージェント機器２００からの報知情報をユーザＵ１が適切に受け入れることが可能となる。

【0219】

情報処理装置１１０は、エージェント機器２００を用いて報知情報をユーザＵ１に報知する情報処理装置である。情報処理装置１１０は、報知情報をユーザＵ１に報知した後に、その報知情報又はその報知の態様に対するユーザＵ１の不快度を判定する不快度判定部１２１と、ユーザＵ１の不快度が基準よりも高いと判定された場合に、その報知に関する謝罪をエージェント機器２００に表現させるエージェント制御部１２４（制御部の一例）とを備え、エージェント制御部１２４は、ユーザＵ１の負荷に基づいて、その謝罪の態様を変更する。なお、情報処理装置１１０は、エージェント機器２００に内蔵される機器としてもよく、エージェント機器２００とは異なる機器としてもよい。また、情報処理装置１１０の代わりに、情報処理装置１１０により実現される各処理を実行可能な複数の機器により構成される情報処理システムとしてもよい。

【0220】

この構成によれば、報知情報の出力、又はその報知の態様に対する謝罪の際のユーザの負荷を考慮して、謝罪するタイミング、謝罪の内容を決定するため、ユーザＵ１をさらに不快にすることを防止し、ユーザＵ１の信頼感を失うことを防止することが可能である。

【0221】

なお、本実施形態で示した各処理手順は、本実施形態を実現するための一例を示したものであり、本実施形態を実現可能な範囲で各処理手順の一部の順序を入れ替えてもよく、各処理手順の一部を省略したり他の処理手順を追加したりしてもよい。

【0222】

なお、本実施形態で示した各処理は、各処理手順をコンピュータに実行させるためのプログラムに基づいて実行されるものである。このため、本実施形態は、それらの各処理を実行する機能を実現するプログラム、そのプログラムを記憶する記録媒体の実施形態としても把握することができる。例えば、情報処理装置に新機能を追加するためのアップデート処理により、そのプログラムを情報処理装置の記憶装置に記憶させることができる。これにより、そのアップデートされた情報処理装置に本実施形態で示した各処理を実施させることが可能となる。

【0223】

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。

【符号の説明】

【0224】

１００ 情報処理システム、１１０ 情報処理装置、１２０ 制御部、１２１ 不快度判定部、１２２ 負荷判定部、１２３ 確信度判定部、１２４ エージェント制御部、１３０ 記憶部、１３１ エージェント情報ＤＢ、１３２ 報知情報ＤＢ、１３３ 地図情報ＤＢ、１３４ 周囲状況ＤＢ、１３５ ユーザ状態ＤＢ、１３６ 報知情報及び振る舞いＤＢ、１４０ 通信部、２００ エージェント機器、２１０ 表示部、２２０ 音出力部、２３０ 駆動部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】