IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

2025-98901情報処理方法、情報処理装置及びプログラム
<>
  • -情報処理方法、情報処理装置及びプログラム 図1
  • -情報処理方法、情報処理装置及びプログラム 図2
  • -情報処理方法、情報処理装置及びプログラム 図3
  • -情報処理方法、情報処理装置及びプログラム 図4
  • -情報処理方法、情報処理装置及びプログラム 図5
  • -情報処理方法、情報処理装置及びプログラム 図6
  • -情報処理方法、情報処理装置及びプログラム 図7
  • -情報処理方法、情報処理装置及びプログラム 図8
  • -情報処理方法、情報処理装置及びプログラム 図9
  • -情報処理方法、情報処理装置及びプログラム 図10
  • -情報処理方法、情報処理装置及びプログラム 図11
  • -情報処理方法、情報処理装置及びプログラム 図12
  • -情報処理方法、情報処理装置及びプログラム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025098901
(43)【公開日】2025-07-02
(54)【発明の名称】情報処理方法、情報処理装置及びプログラム
(51)【国際特許分類】
   G06F 3/01 20060101AFI20250625BHJP
   G06F 3/0481 20220101ALI20250625BHJP
   B60R 16/02 20060101ALI20250625BHJP
【FI】
G06F3/01 510
G06F3/0481
B60R16/02 640K
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2023215320
(22)【出願日】2023-12-20
(71)【出願人】
【識別番号】000003997
【氏名又は名称】日産自動車株式会社
(71)【出願人】
【識別番号】507308902
【氏名又は名称】ルノー エス.ア.エス.
【氏名又は名称原語表記】RENAULT S.A.S.
【住所又は居所原語表記】122-122 bis, avenue du General Leclerc, 92100 Boulogne-Billancourt, France
(74)【代理人】
【識別番号】110002468
【氏名又は名称】弁理士法人後藤特許事務所
(72)【発明者】
【氏名】茂田 美友紀
(72)【発明者】
【氏名】高松 敦
(72)【発明者】
【氏名】柳 拓良
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA41
5E555BA23
5E555BB23
5E555BC01
5E555CB65
5E555DA21
5E555DA23
5E555DB32
5E555DB53
5E555DC19
5E555EA04
5E555FA00
(57)【要約】
【課題】必要に応じてエージェントの存在感を調整することで、ドライバとエージェントとの一体感を高め、エージェントからドライバに伝える情報の伝達能力を高める。
【解決手段】ドライバD1に提示する所定情報が存在するか否かを判定する判定処理(ステップS516、S517)と、所定情報が存在する場合には、ドライバD1の視覚に入り易い場所に位置する第1出力機器200(又は第2出力機器210)を利用して、エージェント(エージェント画像AG1、AG2)をドライバD1に視認可能とした状態で、エージェント画像AG1、AG2を用いて所定情報を提示させ(ステップS518乃至S521)、所定情報が存在しない場合には、周辺機器220を利用して、ドライバD1に認識され難い態様(発熱)でエージェントの存在を感じさせる演出を実行(ステップS525乃至S527)する制御処理とを含む。
【選択図】図12
【特許請求の範囲】
【請求項1】
車両における複数の機器を利用してドライバとのコミュニケーションを行うための制御を実行する情報処理方法であって、
前記ドライバに提示する所定情報が存在するか否かを判定する判定処理と、
前記所定情報が存在する場合には、前記複数の機器のうち、前記ドライバの視覚に入り易い場所に位置する第1機器を利用して、前記コミュニケーションを行うためのエージェントを前記ドライバに視認可能とした状態で、前記エージェントを用いて前記所定情報を提示させ、
前記所定情報が存在しない場合には、前記複数の機器のうち、前記第1機器以外の第2機器を利用して、前記ドライバに認識され難い態様で前記エージェントの存在を感じさせる演出を実行する制御処理と、を含む
情報処理方法。
【請求項2】
請求項1に記載の情報処理方法であって、
前記第1機器は、表示機器であり、
前記制御処理では、
前記所定情報が存在する場合には、前記エージェントを表すエージェント画像を前記第1機器に表示させ、
前記所定情報が存在しない場合には、前記第1機器及び前記第2機器の双方に前記エージェント画像を表示させずに、前記ドライバの五感のうちの視覚以外の感覚を用いて前記エージェントの存在を感じさせる前記演出を前記第2機器により実行する、
情報処理方法。
【請求項3】
請求項1に記載の情報処理方法であって、
前記第2機器は、前記ドライバの周辺に設置されている周辺機器であり、
前記制御処理では、前記第2機器の温度を調整する温度調整処理と、前記第2機器を振動させる振動処理と、前記第2機器又はその方向から前記エージェントの存在を認識可能な所定音を出力させる音出力処理と、前記第2機器又はその方向から前記エージェントの存在を認識可能な所定の光を出力させる光出力処理と、前記第2機器又はその方向から前記エージェントの存在を認識可能な所定の匂いを発生させる匂い発生処理と、前記第2機器又はその方向からの反動を変化させる反動処理と、前記第1機器から前記第2機器に前記エージェントが移動する移動処理とのうちの少なくとも1つを実行することにより、前記演出を実行する、
情報処理方法。
【請求項4】
請求項3に記載の情報処理方法であって、
前記周辺機器は、前記ドライバの周辺に設置され、前記ドライバが触れることが可能な機器であり、シフトレバー、ステアリングホイール、着座シート、アームレスト、シートベルトのうちの少なくとも1つである、
情報処理方法。
【請求項5】
請求項1に記載の情報処理方法であって、
前記車両の位置情報及び地図情報に基づく前記ドライバの視線の予測処理と、前記ドライバの眼を含む画像に基づく前記ドライバの視線の検出処理とのうちの少なくとも1つを実行することで、前記ドライバの視線方向を検出する視線方向検出処理、をさらに含み、
前記制御処理では、前記所定情報が存在する場合には、前記複数の機器のうち、前記ドライバの視線方向に基づいて求められる前記ドライバの視覚に入る機器を前記第1機器として利用する、
情報処理方法。
【請求項6】
請求項1に記載の情報処理方法であって、
前記第1機器は、表示機器であり、
前記車両の外部の環境に関する環境情報と、前記ドライバの運転行動に関する運転行動情報とのうちの少なくとも1つに基づいて、前記ドライバの運転負荷を判定する運転負荷判定処理、をさらに含み、
前記制御処理では、前記運転負荷が所定値未満である場合には、前記エージェントを表すエージェント画像を前記第1機器に表示させ、前記エージェント画像を用いて前記コミュニケーションを実行する、
情報処理方法。
【請求項7】
請求項6に記載の情報処理方法であって、
前記第1機器は、第1表示部と、前記第1表示部よりも前記ドライバから離れた場所に位置する第2表示部とを含む複数の表示機器であり、
前記制御処理では、
前記運転負荷が所定値未満である場合には、前記エージェント画像を前記第1表示部に表示させ、
前記運転負荷が所定値以上である場合において、前記所定情報が存在するときには、前記エージェント画像を前記第2表示部に表示させ、前記エージェント画像を用いて前記所定情報を提示させる、
情報処理方法。
【請求項8】
請求項1から7の何れかに記載の情報処理方法であって、
前記制御処理では、前記第1機器を利用して前記エージェントを用いた前記所定情報の提示を実行する第1制御と、前記第2機器を利用して前記演出を実行する第2制御とを切り替える場合には、前記第1機器及び前記第2機器間を前記エージェントが移動する移動演出を実行する、
情報処理方法。
【請求項9】
請求項1から7の何れかに記載の情報処理方法であって、
前記所定情報は、前記ドライバに提示する支援情報のうち、重要度が閾値以上である支援情報である、
情報処理方法。
【請求項10】
請求項1から7の何れかに記載の情報処理方法であって、
前記第2機器は、前記ドライバの視覚に入り難い場所に位置する機器である、
情報処理方法。
【請求項11】
車両における複数の機器を利用してドライバとのコミュニケーションを行うための制御を実行する情報処理装置であって、
前記ドライバに提示する所定情報が存在するか否かを判定する判定部と、
前記所定情報が存在する場合には、前記複数の機器のうち、前記ドライバの視覚に入り易い場所に位置する第1機器を利用して、前記コミュニケーションを行うためのエージェントを前記ドライバに視認可能とした状態で、前記エージェントを用いて前記所定情報を提示させ、
前記所定情報が存在しない場合には、前記複数の機器のうち、前記第1機器以外の第2機器を利用して、前記ドライバに認識され難い態様で前記エージェントの存在を感じさせる演出を実行する制御部と、を備える
情報処理装置。
【請求項12】
車両における複数の機器を利用してドライバとのコミュニケーションを行うための制御を実行するコンピュータに実行させるためのプログラムであって、
前記ドライバに提示する所定情報が存在するか否かを判定する判定処理と、
前記所定情報が存在する場合には、前記複数の機器のうち、前記ドライバの視覚に入り易い場所に位置する第1機器を利用して、前記コミュニケーションを行うためのエージェントを前記ドライバに視認可能とした状態で、前記エージェントを用いて前記所定情報を提示させ、
前記所定情報が存在しない場合には、前記複数の機器のうち、前記第1機器以外の第2機器を利用して、前記ドライバに認識され難い態様で前記エージェントの存在を感じさせる演出を実行する制御処理と、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザとのコミュニケーションを行うことが可能なエージェントを制御する情報処理方法、情報処理装置及びプログラムに関する。
【背景技術】
【0002】
従来、車両において各種情報をユーザに伝える技術が提案されている。例えば、表示部にキャラクタ画像(エージェント画像)を表示させ、ユーザによる車両の運転を支援する技術が提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2020-179844号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述した従来技術では、ユーザに情報を案内するときだけでなく、待機中であってもエージェント画像が表示され続ける。このように、エージェントがユーザと一緒にいるように感じさせるために、エージェント画像を大きく動かさずに、エージェント画像を出現したままにすると、ユーザはエージェント画像の存在を煩わしく感じてしまうおそれがある。そこで、ユーザに情報を案内しないときには、エージェント画像を消去することが考えられる。しかし、エージェント画像を消去してしまうと、そのエージェントの存在をユーザが認識できなくなるため、そのエージェントがユーザと一緒にいるように感じ難くなる。この場合には、そのエージェントに対する信頼度、愛着等が低下し、そのエージェントからユーザに伝える情報の伝達能力が低下するおそれがある。
【0005】
本発明は、必要に応じてエージェントの存在感を調整することで、ドライバとエージェントとの一体感を高め、エージェントからドライバに伝える情報の伝達能力を高めることを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様は、車両における複数の機器を利用してドライバとのコミュニケーションを行うための制御を実行する情報処理方法である。この情報処理方法は、ドライバに提示する所定情報が存在するか否かを判定する判定処理と、所定情報が存在する場合には、複数の機器のうち、ドライバの視覚に入り易い場所に位置する第1機器を利用して、コミュニケーションを行うためのエージェントをドライバに視認可能とした状態で、エージェントを用いて所定情報を提示させ、所定情報が存在しない場合には、複数の機器のうち、第1機器以外の第2機器を利用して、ドライバに認識され難い態様でエージェントの存在を感じさせる演出を実行する制御処理とを含む。
【発明の効果】
【0007】
本発明によれば、必要に応じてエージェントの存在感を調整することで、ドライバとエージェントとの一体感を高め、エージェントからドライバに伝える情報の伝達能力を高めることができる。
【図面の簡単な説明】
【0008】
図1図1は、車両の車室内の構成例を簡略化して示す図である。
図2図2は、車両の車室内の構成例を簡略化して示す図である。
図3図3は、車両の車室内の構成例を簡略化して示す図である。
図4図4は、車両の車室内の構成例を簡略化して示す図である。
図5図5は、情報処理システムのシステム構成例を示すブロック図である。
図6図6は、車両における各関係例を示す図である。
図7図7は、エージェントを移動させる場合の遷移例を示す図である。
図8図8は、エージェントを移動させる場合の遷移例を示す図である。
図9図9は、エージェントを移動させる場合の遷移例を示す図である。
図10図10は、エージェントを移動させる場合の遷移例を示す図である。
図11図11は、エージェント表現処理例を示すフローチャートである。
図12図12は、エージェント表現処理例を示すフローチャートである。
図13図13は、エージェントの他の表現態様例を示す図である。
【発明を実施するための形態】
【0009】
以下、添付図面を参照しながら本発明の実施形態について説明する。
【0010】
[エージェント画像の表示例]
図1乃至図4は、車両C1の車室内の構成例を簡略化して示す図である。なお、図1乃至図4では、運転席、助手席(図示省略)よりも前側を、車両C1の前後方向の後側から見た場合の車両C1の車室内を簡略化して示す。また、図1では、説明を容易にするため、ダッシュボード2、ステアリングホイール3、フロントウインド4、バックミラー5、シフトレバー6、第1出力機器200、第2出力機器210以外の図示は省略する。なお、図1乃至図4に示す例では、説明を容易にするため、シフトレバー6の構成として、シフトレバー6の上部のみを簡略化して示す。
【0011】
第1出力機器200、第2出力機器210は、車両C1の内部に設置される出力機器であり、情報処理装置110(図3参照)からの指示に基づいて各種出力動作を実行する。第1出力機器200は、ダッシュボード2の中央付近に設置される機器であり、表示部201及び音出力部202(図5参照)を備える。また、第2出力機器210は、ステアリングホイール3に設置される機器であり、表示部211及び音出力部212(図5参照)を備える。
【0012】
例えば、第1出力機器200、第2出力機器210は、各種情報を提供可能な1又は複数の機器からなる車載システムである。第1出力機器200、第2出力機器210として、例えば、ナビゲーション機器、オーディオ機器、DVD機器、TVチューナー機器、IVI(In-Vehicle Infotainment)等のうちの少なくとも1つを用いることが可能である。なお、第1出力機器200、第2出力機器210のそれぞれに表示させる画像については、フロントウインド4において実現されるHUD(Head Up Display)を用いて表示させることも可能である(図4参照)。また、ドライバD1が所持することが可能な携帯型の機器(又は車両C1に設置可能な機器)、例えば、スマートフォン、タブレット端末、携帯型のパーソナルコンピュータ等の情報処理装置を用いてもよい。
【0013】
また、第1出力機器200、第2出力機器210は、車両C1に乗車するユーザ(ドライバD1を含む)とのコミュニケーションを行うことが可能な出力動作を実行する。例えば、第1出力機器200の表示部201には、ユーザとのコミュニケーションを行うことが可能なエージェント画像AG1(図1参照)が表示され、エージェント画像AG1を用いた各種演出が実行される。また、例えば、第2出力機器210の表示部211には、ユーザとのコミュニケーションを行うことが可能なエージェント画像AG2(図2参照)が表示され、エージェント画像AG2を用いた各種演出が実行される。また、例えば、フロントウインド4(HUD表示領域)には、ユーザとのコミュニケーションを行うことが可能なエージェント画像AG3(図4参照)が表示され、エージェント画像AG3を用いた各種演出が実行される。なお、フロントウインド4(HUD表示領域)に表示される画像については、情報処理装置110(図3参照)からの指示に基づいて第3出力機器(図示省略)が各種出力動作を実行する。なお、第3出力機器は、公知のHUD技術を用いてHUD表示を実現するための表示機器である。すなわち、第1出力機器200、第2出力機器210、フロントウインド4(HUD表示領域)は、ユーザとのコミュニケーションを行うことが可能なエージェント機器として機能する。なお、以下では、主に、第1出力機器200、第2出力機器210をエージェント機器として機能させる例を示すが、フロントウインド4(HUD表示領域)についても同様にエージェント機器として機能させることが可能である。
【0014】
エージェント画像AG1乃至AG3は、ユーザとのコミュニケーションを行うことが可能な物体を表す画像である。本実施形態では、人間の顔を模した画像をエージェント画像AG1乃至AG3とする例を示す。ただし、エージェント画像AG1乃至AG3はこれに限定されず、例えば、人間の全身又は一部(例えば上半身)を模した画像をエージェント画像AG1乃至AG3としてもよく、ウサギ、豚等のような動物(又はその動物の顔)を模した画像、仮想物の生物(例えばアニメのキャラクターの顔)(又はその顔)を模した画像をエージェント画像AG1乃至AG3としてもよい。このように、擬生物化された画像をエージェント画像AG1乃至AG3とすることが可能である。
【0015】
第1出力機器200、第2出力機器210は、情報処理装置110(図3参照)からの指示に基づいて運転支援に関する各種の動作(例えばエージェント画像AG1、AG2に関する動作)を実行する。例えば、第1出力機器200、第2出力機器210は、情報処理装置110の制御に基づいて、ドライバD1が運転操作をする際における運転支援、周囲の施設等に関する各種情報を出力する。なお、本実施形態では、ドライバD1の運転負荷が閾値以上である場合には、第1出力機器200に表示されたエージェント画像AG1を用いて各種情報を出力し、ドライバD1の運転負荷が閾値未満である場合には、第2出力機器300に表示されたエージェント画像AG2を用いて各種情報を出力する例を示す。なお、ドライバD1の運転負荷が閾値以上である場合は、例えば、車両C1が走行中の場合である。また、ドライバD1の運転負荷が閾値未満である場合は、例えば、車両C1が停車中の場合である。なお、ドライバD1の運転負荷の検出方法については、後述する。
【0016】
なお、エージェント画像AG1等を用いた運転支援として、前方又は後方の動体の報知等が想定される。例えば、前方の動体の報知として、「この先踏切だから気を付けてよ」と音声出力したり、「前方に人がいるよ」と音声出力したりすることができる。これらの各出力時にエージェント画像AG1等を用いて各種動作を実行させることが可能である。すなわち、エージェント画像AG1等を用いて運転支援を実行可能である。また、例えば、第1出力機器200、第2出力機器210は、情報処理装置110の制御に基づいて、エージェント画像AG1等を用いた各種処理を実行する。例えば、第1出力機器200、第2出力機器210は、エージェント画像AG1、AG2を用いて、ドライバD1との間で各種やりとりを行うコミュニケーション処理を実行する。例えば、第1出力機器200、第2出力機器210は、エージェント画像AG1、AG2を用いて、ドライバD1との間で各種会話のやりとりを行ったり、ドライバD1が好む情報を提供したりする。
【0017】
ここで、本実施形態では、ドライバD1の運転負荷が閾値以上であり、かつ、ドライバD1に提示する所定情報が存在しない場合には、第1出力機器200及び第2出力機器210の双方にはエージェント画像を表示させず、他の機器を用いてエージェントの存在を感じさせる演出を実行する。他の機器として、例えば、ドライバD1の周辺に設置されている周辺機器であって、ドライバD1が触れることが可能な機器を利用することが可能である。この機器として、例えば、シフトレバー6、ステアリングホイール3、着座シート、アームレスト、シートベルトのうちの少なくとも1つを用いることが可能である。なお、図3では、シフトレバー6を用いる例を示す。また、これらの機器を用いて、ドライバD1に認識され難い態様でエージェントの存在を感じさせる演出を実行する。なお、ドライバD1の周辺に設置されている周辺機器のうち、ドライバD1の視覚に入り難い場所に位置する機器(例えば、着座シート、アームレスト、シートベルト)を利用することも可能である。
【0018】
エージェントの存在を感じさせる演出は、例えば、周辺機器220の接触部における触感を用いてエージェントの存在を感じさせることを意味する。例えば、機器の温度を調整して機器の温度でエージェントの存在を感じさせることが可能である。例えば、シフトレバー6にヒータ部221(図5参照)を設け、ヒータ部221を発熱させることが可能である。これにより、シフトレバー6に接触したドライバD1に、生物的な温もりを感じさせることが可能であり、シフトレバー6においてエージェントの存在感を発生させることが可能である。なお、シフトレバー6を発熱する場合の温度については、生物的な温もりを感じさせる程度の温度(例えば、30乃至40度態度)とすることが好ましい。また、これらの温度については、実験又はシミュレーション等に基づいて適宜設定可能である。
【0019】
同様に、ステアリングホイール3、着座シート、アームレスト、シートベルトのそれぞれについても、各機器の温度を調整して機器の温度でエージェントの存在を感じさせることが可能である。例えば、ステアリングホイール3については、ドライバD1が握る部分にヒータ部221(例えば、ヒートシート)を設けることが可能である。また、着座シートについては、ドライバD1の身体が接触する部分(例えば、背中、お尻が接触する部分)にヒータ部221(例えば、ヒートシート)を設けることが可能である。また、アームレストについては、ドライバD1の身体が接触する部分(例えば、肘が接触する部分)にヒータ部221(例えば、ヒートシート)を設けることが可能である。また、シートベルトについては、ドライバD1の身体が接触する部分にヒータ部221(例えば、ヒートシート)を設けることが可能である。
【0020】
ここで、周辺機器(例えば、シフトレバー6、ステアリングホイール3、着座シート、アームレスト、シートベルト)においてエージェントの存在を表現する場合には、他の出力機器から移動演出があった後に、エージェントの存在を継続して表現する演出(すなわち発熱)を実行してもよく、必要に応じてエージェントの存在を断続的に表現する演出(すなわち発熱)を実行してもよい。例えば、ドライバD1が接触した部分について、エージェントの存在を表現する演出(すなわち発熱)を実行してもよい。例えば、ドライバD1が両手でステアリングホイール3を握っている場合には、ステアリングホイール3においてドライバD1の手で握られている部分において、エージェントの存在を表現する演出(すなわち発熱)を実行することが可能である。また、例えば、ドライバD1の一方の手がシフトレバー6を握った場合には、シフトレバー6においてドライバD1の手で握られている部分において、エージェントの存在を表現する演出(すなわち発熱)を実行することが可能である。
【0021】
なお、ドライバD1が接触している部分については、各機器に設けられている接触センサに基づいて検出可能である。また、ドライバ状況取得部122により取得されたドライバD1の画像に基づいて、ドライバD1が接触している部分を検出してもよい。この検出処理では、公知の画像認識技術を用いることが可能である。
【0022】
また、必要に応じてエージェントの存在を移動させてもよい。例えば、ドライバD1が両手でステアリングホイール3を握っていた後に、ドライバD1の一方の手がシフトレバー6を握った場合には、ステアリングホイール3における発熱とともに、シフトレバー6においてドライバD1の手で握られている部分を発熱させることが可能である。すなわち、ドライバD1が新たに触った部分を瞬間的に温かくすることで、エージェントの存在を表現することが可能である。このように、ドライバD1の動きに追従させてエージェントの存在を表現してもよい。この場合に、ドライバD1の動きに追従させてその移動先の機器を発熱させ、移動元の機器の発熱を停止してもよい。例えば、ドライバD1が両手でステアリングホイール3を握っていた後に、ドライバD1の一方の手がシフトレバー6を握った場合には、ステアリングホイール3における発熱を停止し、シフトレバー6においてドライバD1の手で握られている部分を発熱させることが可能である。
【0023】
以上では、エージェントの存在を感じさせる演出として、周辺機器220(例えばシフトレバー6)の温度を調整して機器の温度でエージェントの存在を感じさせる例を示したが、本実施形態は、これに限定されない。例えば、周辺機器220を振動させる振動処理と、周辺機器220又はその方向からエージェントの存在を認識可能な所定音を出力させる音出力処理と、周辺機器220又はその方向からエージェントの存在を認識可能な所定の光を出力させる光出力処理と、周辺機器220又はその方向からエージェントの存在を認識可能な所定の匂いを発生させる匂い発生処理と、周辺機器220又はその方向からの反動を変化させる反動処理と、直前にエージェントを表現していた他の機器から周辺機器220にエージェントが移動する移動処理とのうちの少なくとも1つを実行することにより、その演出を実行してもよい。これらの場合には、ドライバD1の五感(視覚、聴覚、触覚、味覚、嗅覚)のうちの少なくとも1つを用いてエージェントの存在を感じさせる演出が実行される。
【0024】
例えば、バイブレーション機能を備える振動機器を周辺機器220に設けることで、周辺機器220を振動させる振動処理を実行することが可能である。例えば、エージェントの存在がわかる程度の振動を振動機器で発生させることで、エージェントの存在を表現する演出を実行することが可能である。なお、発熱、振動等でエージェントの存在を表現する演出は、ドライバD1の五感のうちの触覚を用いた表現方法の一例である。
【0025】
また、例えば、周辺機器220又はその方向(ドライバD1を基準とする方向)にスピーカ(音出力機器)を設けることで、周辺機器220又はその方向からエージェントの存在を認識可能な所定音を出力させる音出力処理を実行することが可能である。この場合には、各周辺機器220にスピーカを設ける必要はなく、周辺機器220から音が発せられたようにドライバD1に感じさせることが可能であれば、各周辺機器220の付近にスピーカを設けることが可能である。例えば、エージェントの存在がわかる程度の音をスピーカから出力させることで、エージェントの存在を表現する演出を実行することが可能である。この場合に出力させる音として、例えばエージェントに関連する音(例えば、エージェントの声質の音、エージェントの登場音又は退場音)を用いることが可能である。なお、音等でエージェントの存在を表現する演出は、ドライバD1の五感のうちの聴覚を用いた表現方法の一例である。
【0026】
また、例えば、周辺機器220又はその方向(ドライバD1を基準とする方向)に発光機器(例えばLED(light Emitting Diode))を設けることで、周辺機器220又はその方向からエージェントの存在を認識可能な所定の光を出力させる光出力処理を実行することが可能である。この場合には、周辺機器220に発光機器を設ける必要はなく、周辺機器220から光が発せられたようにドライバD1に感じさせることが可能であれば、各周辺機器220の付近に発光機器を設けることが可能である。例えば、エージェントの存在がわかる程度の光を発光機器から出力させることで、エージェントの存在を表現する演出を実行することが可能である。この場合に出力させる光として、例えばエージェントに関連する色(例えば、エージェント自体の色、エージェントの装飾品の色、エージェントの背景色)の光を用いることが可能である。なお、光等でエージェントの存在を表現する演出は、ドライバD1の五感のうちの視覚を用いた表現方法の一例である。
【0027】
また、例えば、周辺機器220又はその方向(ドライバD1を基準とする方向)に匂い発生機器を設けることで、周辺機器220又はその方向からエージェントの存在を認識可能な所定の匂いを発生させる匂い発生処理を実行することが可能である。この場合には、周辺機器220に匂い発生機器を設ける必要はなく、周辺機器220から匂いが発せられたようにドライバD1に感じさせることが可能であれば、周辺機器220の付近に匂い発生機器を設けることが可能である。ここで、人間に届く匂いに基づいてその匂いが発生する位置を判断することは困難であることが多い。そこで、匂いを用いる場合には、匂いの強弱、方向等でドライバD1からエージェントまでの距離の近さ、方向等を調整可能である。例えば、車両C1に設置されているエアーコンディショナー(エアコン)に匂い発生機を設け、エージェントの存在を示す方向から風が流れるようにする。又は、エージェントの存在を示す方向に風を送ってもよい。また、エージェントの存在を示す位置をドライバD1から近い位置とする場合には、ヘッドレスト側から強い風を送り、強い匂いを発生させることが可能である。一方、エージェントの存在を示す位置をドライバD1から遠い位置とする場合には、ダッシュボード2から弱い風を送り、薄い匂いを発生させることが可能である。このように、エージェントの存在がわかる程度の匂いを匂い発生機器から出力させることで、エージェントの存在を表現する演出を実行することが可能である。この場合に出力させる匂いとして、例えばエージェントに関連する匂い(例えば、女性的なイメージのエージェントの場合にはその印象に合う香水の匂い、スポーティなイメージのエージェントの場合には汗の匂い、食欲旺盛なイメージのエージェントの場合には飲食物(例えば生姜焼き)の匂い)を用いることが可能である。なお、匂い等でエージェントの存在を表現する演出は、ドライバD1の五感のうちの嗅覚を用いた表現方法の一例である。
【0028】
また、例えば、周辺機器220又はその方向(ドライバD1を基準とする方向)からの反動を変化させる機器を設けることで、周辺機器220又はその方向からの反動を変化させる反動処理を実行することが可能である。ここで示す反動は、例えば、着座シートの固さを固めに変化させること、シートベルトの締め付け感を固めに変化させること等を意味する。なお、反動等でエージェントの存在を表現する演出は、ドライバD1の五感のうちの触覚を用いた表現方法の一例である。
【0029】
また、例えば、直前にエージェントを表現していた他の機器から周辺機器220にエージェントが移動する移動処理を実行することが可能である。この移動処理については、図7乃至図10を参照して詳細に説明する。
【0030】
また、例えば、エアコンの風圧を利用してエージェントの存在感を表現してもよい。例えば、エージェントが移動する際に、一時的にエアコンの風圧を強くしてエージェントがエアコンに乗り移る演出を実行することが可能である。
【0031】
ここで、光によりエージェントの存在を表現する場合には、点滅等で緩やかに断続的に発光させてもよく、存在だけを感じさせる弱い光を発光し続けてもよい。また、音によりエージェントの存在を表現する場合には、音を出し続ける必要はなく、必要に応じて音を出力することが好ましい。例えば、エージェントを移動させるときに、その移動を感じさせるため、「今から下に行くね」「今から横に移動するね」等の音声情報を出力することが可能である。また、熱によりエージェントの存在を表現する場合には、継続的に発熱させることが好ましい。
【0032】
ここで、エージェントがドライバD1と一緒にいるように感じさせるために、エージェント画像AG1、AG2を出現したままにすると、ドライバD1はエージェント画像AG1、AG2の存在を煩わしく感じてしまうおそれがある。そこで、ドライバD1に情報を案内しないときには、エージェント画像AG1、AG2を消去することが考えられる。しかし、エージェント画像AG1、AG2を消去してしまうと、そのエージェントの存在をドライバD1が認識できなくなるため、そのエージェントがドライバD1と一緒にいるように感じ難くなる。この場合には、そのエージェントに対する信頼度、愛着等が低下し、そのエージェントからドライバD1に伝える情報の伝達能力が低下するおそれがある。
【0033】
そこで、本実施形態では、必要に応じてエージェントの存在感を調整することで、ドライバD1とエージェントとの一体感を高め、エージェントからドライバD1に伝える情報の伝達能力を高めるようにする。
【0034】
[情報処理システムの構成例]
図5は、車両C1に設置されている情報処理システム100のシステム構成の一例を示すブロック図である。
【0035】
情報処理システム100は、音取得部101と、ドライバ画像取得部102と、車室画像取得部103と、車外画像取得部104と、情報処理装置110と、第1出力機器200と、第2出力機器210と、周辺機器220とを備える。情報処理装置110は、ドライバD1とのコミュニケーションを行うことが可能な第1出力機器200、第2出力機器210、周辺機器220を制御する機器の一例である。
【0036】
なお、情報処理装置110、第1出力機器200、第2出力機器210、周辺機器220は、有線通信又は無線通信を利用した通信方式によって接続される。また、情報処理装置110は、無線通信を利用した通信方式によってネットワーク20に接続されている。ネットワーク20は、公衆回線網、インターネット等のネットワークである。なお、第1出力機器200、第2出力機器210、周辺機器220についても、無線通信を利用した通信方式によってネットワーク20に接続してもよい。なお、図5では、情報処理装置110、第1出力機器200、第2出力機器210を別体として構成する例を示すが、情報処理装置110、第1出力機器200、第2出力機器210を一体の機器として構成してもよい。
【0037】
音取得部101は、車両C1の内部に設けられ、車両C1の内部の音を取得するものであり、取得された音に関する音情報を情報処理装置110に出力する。音取得部101として、例えば、1又は複数のマイクや音取得センサを用いることができる。
【0038】
ドライバ画像取得部102は、車両C1に乗車するドライバD1を撮像して画像(画像データ)を生成するものであり、生成された画像に関する画像情報を情報処理装置110に出力する。ドライバ画像取得部102は、車両C1のうちの少なくとも内部に設けられ、車両C1に乗車するドライバD1を撮像して画像(画像データ)を生成する。ドライバ画像取得部102は、例えば、ドライバD1を撮像することが可能な1又は複数のカメラ機器や画像センサにより構成される。例えば、1つのドライバ画像取得部102を車両C1の内部の前方(例えば天井)に設け、車両C1の前方からのドライバD1を撮像して画像(画像データ)を生成することが可能である。例えば、フロントウインド4の上部、すなわち、バックミラー5の上側にドライバ画像取得部102を設けることができる。なお、ドライバ画像取得部102及び車室画像取得部103については、同一の機器を用いてもよく、異なる機器として構成してもよい。
【0039】
車室画像取得部103は、車両C1の内部の被写体を撮像して画像(画像データ)を生成するものであり、生成された画像に関する画像情報を情報処理装置110に出力する。車室画像取得部103は、車両C1のうちの少なくとも内部(例えば天井)に設けられ、車両C1の内部の被写体を撮像して画像(画像データ)を生成する。車室画像取得部103は、例えば、被写体を撮像することが可能な1又は複数のカメラ機器や画像センサにより構成される。例えば、1つの車室画像取得部103を車両C1の前方に設け、前方からの被写体を撮像して画像(画像データ)を生成してもよく、他の車室画像取得部103を車両C1の後方に設け、後方からの被写体を撮像して画像(画像データ)を生成してもよい。
【0040】
車外画像取得部104は、車両C1の外部の被写体を撮像して画像(画像データ)を生成するものであり、生成された画像に関する画像情報を情報処理装置110に出力する。なお、2以上の車外画像取得部104を備え、これらの車外画像取得部104のうちの全部又は一部の画像を用いてもよい。例えば、1つの車外画像取得部104を車両C1の前方に設け、車両C1の前方からの被写体を撮像して画像(画像データ)を生成してもよく、他の車外画像取得部104を車両C1の後方に設け、車両C1からの後方の被写体を撮像して画像(画像データ)を生成してもよい。また、車両C1の全方位に存在する被写体と、車両C1の内部の被写体とを取得可能な1又は複数の機器、例えば、360度カメラを用いてもよい。
【0041】
なお、ドライバ画像取得部102、車室画像取得部103及び車外画像取得部104は、例えば、レンズにより集光された被写体からの光を入射する撮像素子(イメージセンサ)と、その撮像素子により生成された画像データについて所定の画像処理を施す画像処理部とにより構成される。撮像素子として、例えば、CCD(Charge Coupled Device)型やCMOS(Complementary Metal Oxide Semiconductor)型の撮像素子を用いることができる。
【0042】
情報処理装置110は、制御部120と、記憶部130と、通信部140とを備える。通信部140は、制御部120の制御に基づいて、有線通信又は無線通信を利用して、他の機器との間で各種情報のやりとりを行うものである。
【0043】
制御部120は、記憶部130に記憶されている各種プログラムに基づいて各部を制御するものである。制御部120は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等の処理装置により実現される。なお、車両C1の車両ECU(Electronic Control Unit)を制御部120としても使用してもよく、車両ECUとは異なる処理装置を制御部120として設けてもよい。
【0044】
制御部120は、音取得部101、ドライバ画像取得部102、車室画像取得部103、車外画像取得部104、通信部140等から出力された各情報と、車両情報取得部125により取得された各情報とに基づいて各種制御を実行する。例えば、制御部120は、第1出力機器200、第2出力機器210、周辺機器220の動作状態を制御する制御処理を実行する。具体的には、制御部120は、発話取得部121と、ドライバ状況取得部122と、車室状況取得部123と、車外状況取得部124と、車両情報取得部125と、コミュニケーション内容決定部126と、出力態様決定部127と、エージェント制御部128とを備える。
【0045】
発話取得部121は、音取得部101から出力された音情報について所定の音解析処理を実行することにより、その音情報に含まれる各ユーザ(ドライバD1を含む)の発話に関する発話情報を取得するものであり、その発話情報をコミュニケーション内容決定部126に出力する。この音解析処理は、公知の音解析処理を用いることが可能である。
【0046】
ドライバ状況取得部122は、ドライバ画像取得部102から出力された画像情報について所定の画像解析処理を実行することにより、その画像情報に含まれるドライバD1に関する各種情報を取得するものであり、その各情報をコミュニケーション内容決定部126に出力する。この画像解析処理は、公知の画像解析処理を用いることが可能である。ドライバD1に関する各種情報として、例えば、ドライバD1の表情、ドライバD1の視線、手、顔、身体等の動きに関するドライバD1の各行動を取得することが可能である。これらにより、例えば、ドライバD1の車両C1への乗車及び降車、車両C1における各座席の着座の有無、シートベルトを締める動作等を検出可能である。すなわち、ドライバ状況取得部122によりドライバD1の状態に関するドライバ状態情報が取得される。
【0047】
車室状況取得部123は、車室画像取得部103から出力された画像情報について所定の画像解析処理を実行することにより、その画像情報に含まれる車両C1の車室内に関する各種情報を取得するものであり、その各情報をコミュニケーション内容決定部126に出力する。この画像解析処理は、公知の画像解析処理を用いることが可能である。車両C1の車室内に関する各種情報として、例えば、各ユーザの表情、各ユーザの視線、手、顔、身体等の動きに関する各ユーザの各行動を取得することが可能である。すなわち、車室状況取得部123により車両C1に乗車する各ユーザの状態に関するユーザ状態情報と、車両C1の状態に関する車両状態情報とが取得される。
【0048】
車外状況取得部124は、車外画像取得部104から出力された画像情報について所定の画像解析処理を実行することにより、その画像情報に含まれる車両C1の外部に関する各種情報を取得するものであり、その各情報をコミュニケーション内容決定部126に出力する。この画像解析処理は、公知の画像解析処理を用いることが可能である。車両C1の外部に関する各種情報として、例えば、車両C1が道路上を走行しているか否か、車両C1が道路上に停車しているか否か、車両C1の前方に存在する信号、標識等を検出可能である。すなわち、車外状況取得部124により車両C1の状態に関する車両状態情報が取得される。
【0049】
車両情報取得部125は、車両C1に関する各種の車両状態に関する情報(車両状態情報)を取得するものであり、取得された車両状態情報をコミュニケーション内容決定部126に出力する。車両状態情報は、例えば、CAN(Controller Area Network)信号から取得可能である。なお、車両状態情報は、例えば、車速、加速度、シフトレバーの位置(例えば、Pレンジ、Dレンジ)、アクセルペダルの踏込量、ブレーキペダルの踏込量、位置情報等である。例えば、車速、加速度等により車両C1の停車中及び走行中を判定可能である。
【0050】
また、車両情報取得部125は、車両C1に設置されている各種のセンサから出力されたセンサ検出情報を取得してもよい。センサ類は、例えば、LiDAR(Light Detection And Ranging)、RADAR(Radio Detection And Ranging)、Sonar、車速センサ、加速度センサ、ステアリングセンサ、アクセルポジションセンサ、位置情報取得センサ(位置情報取得部)、着座センサ、シートベルトセンサ等である。これらの各センサについては、公知のセンサを用いることが可能である。なお、LiDAR、RADAR、Sonar等は、車両C1の周囲の状況を検出するセンサの一例である。また、車速センサ、加速度センサ、ステアリングセンサ、アクセルポジションセンサ等は、ドライバD1の運転操作の状況を検出するセンサの一例である。なお、これらは一例であり、他のセンサを用いてもよい。また、これらのうちの一部のセンサのみを用いてもよい。
【0051】
位置情報取得部は、車両C1が存在する位置に関する位置情報を取得するものである。例えば、GNSS(Global Navigation Satellite System:全球測位衛星システム)を利用して位置情報を取得するGNSS受信機により実現できる。また、その位置情報には、GNSS信号の受信時における緯度、経度、高度等の位置に関する各データが含まれる。また、他の位置情報の取得方法により位置情報を取得してもよい。例えば、周囲に存在するアクセスポイントや基地局からの情報を用いて位置情報を導き出してもよい。また、ビーコンを用いて位置情報を取得してもよい。
【0052】
着座センサ(又はシートセンサ)は、車両C1の各座席に着座している乗員の有無を検出するセンサである。また、シートベルトセンサは、車両C1の各座席に着座している乗員がシートベルトを着用しているか否かを検出するセンサである。例えば、運転席に着座しているドライバD1のシートベルトの着用の有無については、着座センサ、シートベルトセンサ等を用いて検出可能である。
【0053】
コミュニケーション内容決定部126は、発話取得部121、ドライバ状況取得部122、車室状況取得部123、車外状況取得部124、車両情報取得部125等から出力された各情報に基づいて、車両C1に乗車する何れかのユーザと行うコミュニケーションの内容を決定するものである。そして、コミュニケーション内容決定部126は、それらの各情報と、決定されたコミュニケーションの内容とを出力態様決定部127、エージェント制御部128に出力する。例えば、コミュニケーション内容決定部126は、車両C1に乗車する各ユーザ(ドライバD1を含む)の状態に関するユーザ状態情報と、車両C1の状態に関する車両状態情報とのうちの少なくとも1つを取得する。そして、コミュニケーション内容決定部126は、その取得されたユーザ状態情報及び車両状態情報のうちの少なくとも1つに基づいて、何れかのユーザと行うコミュニケーションの内容を決定する。例えば、コミュニケーション内容決定部126は、ユーザ状態情報又は車両状態情報に基づいて、ドライバD1に伝えるべき支援情報が検出された場合には、その支援情報をドライバD1に伝えることを決定する。また、例えば、コミュニケーション内容決定部126は、ユーザ状態情報又は車両状態情報に基づいて、車両C1に乗車する何れかのユーザに対して所定のコミュニケーション(例えば、会話)を実行することが検出された場合には、そのコミュニケーションを実行することを決定する。
【0054】
出力態様決定部127は、コミュニケーション内容決定部126により決定されたコミュニケーションの内容と、ドライバD1の運転負荷とに基づいて、エージェントを出力させる態様(エージェントの表現態様)を決定するものである。そして、出力態様決定部127は、決定されたエージェントの表現態様をエージェント制御部128に出力する。例えば、出力態様決定部127は、車両C1の外部の環境に関する環境情報(車外状況取得部124により取得可能)と、ドライバD1の運転行動に関する運転行動情報(ドライバ状況取得部122、車両情報取得部125により取得可能)とのうちの少なくとも1つに基づいて、ドライバD1の運転負荷を検出することが可能である。なお、ドライバD1の運転負荷の検出方法については、後述する。また、エージェントの表現態様については、図6を参照して詳細に説明する。
【0055】
エージェント制御部128は、コミュニケーション内容決定部126により決定されたコミュニケーションの内容と、出力態様決定部127により決定されたエージェントの表現態様とに基づいて、第1出力機器200、第2出力機器210、周辺機器220の動作状態を制御するものである。なお、これらの各動作については、図6乃至図10等を参照して詳細に説明する。
【0056】
記憶部130は、各種情報を記憶する記憶媒体である。例えば、記憶部130には制御部120が各種処理を行うために必要となる各種情報(例えば、制御プログラム、エージェント情報DB131、エージェント管理DB132、地図情報DB)が記憶される。また、記憶部130には、通信部140を介して取得された各種情報が記憶される。記憶部130として、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、SRAM(Static Random Access Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)、又は、これらの組み合わせを用いることができる。
【0057】
エージェント情報DB131には、第1出力機器200、第2出力機器210、周辺機器220の各種動作を実現するために必要となる各種情報が格納されている。例えば、第1出力機器200の表示部201、第2出力機器210の表示部211に表示させるエージェント画像AG1、AG2に関する画像情報と、周辺機器220においてエージェントを表現させる表現情報とがエージェント情報DB131に格納される。また、例えば、各種コミュニケーションを実行する際に第1出力機器200又は第2出力機器210におけるエージェントを動作させるための動作情報等がエージェント情報DB131に格納される。
【0058】
エージェント管理DB132には、エージェントの表現場所を管理するためのエージェント管理情報が格納されている。例えば、エージェントが第1位置乃至第3位置(図6参照)の何れかで表現されているかを示す情報がエージェント管理情報として管理される。
【0059】
第1出力機器200は、情報処理装置110からの指示に基づいてエージェント画像AG1を表示させ、エージェント画像AG1を用いてドライバD1等に各種情報を伝えることが可能な機器である。また、第2出力機器210は、情報処理装置110からの指示に基づいてエージェント画像AG2を表示させ、エージェント画像AG2を用いてドライバD1等に各種情報を伝えることが可能な機器である。
【0060】
第1出力機器200は、表示部201及び音出力部202を備える。なお、表示部201及び音出力部202は、第1出力機器200が備える制御部(図示省略)に基づいて制御される。また、第2出力機器210は、表示部211及び音出力部212を備える。なお、表示部211及び音出力部212は、第2出力機器210が備える制御部(図示省略)に基づいて制御される。
【0061】
表示部201、表示部211は、情報処理装置110からの指示に基づいて、各種画像を表示する表示部である。なお、表示部201、表示部211については、使用者がその指を表示面に接触又は近接することにより操作入力を行うことが可能なタッチパネルとして構成してもよく、別体のユーザインタフェースとして構成してもよい。
【0062】
音出力部202、音出力部212は、情報処理装置110からの指示に基づいて、各種音声を出力するものである。音出力部202、音出力部212として、例えば、1又は複数のスピーカを用いることができる。なお、表示部201、音出力部212、音出力部202、音出力部212は、ユーザインタフェースの一例であり、これらのうちの一部を省略してもよく、他のユーザインタフェースを用いてもよい。
【0063】
周辺機器220は、情報処理装置110からの指示に基づいてエージェントの存在を表現することが可能な機器である。周辺機器220は、例えば、シフトレバー6、ステアリングホイール3、着座シート、アームレスト、シートベルトのうちの少なくとも1つである。周辺機器220は、ヒータ部221を備える。なお、ヒータ部221は、情報処理装置110に基づいて発熱が制御される。なお、図5では、周辺機器220が発熱処理を実行する場合の例を示すが、上述したように、他の処理(例えば、振動処理、音出力処理、光出力処理、匂い発生処理、形状変化処理、移動処理)を実行する場合には、各処理に応じた処理部が周辺機器220(又はその周囲)に設けられる。例えば、周辺機器220が振動処理を実行する場合には、周辺機器220に振動部が設けられる。また、例えば、周辺機器220が音出力処理を実行する場合には、周辺機器220又はその方向に音出力機器が設けられる。また、例えば、周辺機器220が光出力処理を実行する場合には、周辺機器220又はその方向に発光機器が設けられる。また、例えば、周辺機器220が匂い発生処理を実行する場合には、周辺機器220又はその周囲に匂い発生機器が設けられる。また、例えば、周辺機器220が形状変化処理を実行する場合には、周辺機器220自体を形状が変化可能な機器とする。
【0064】
[運転負荷の検出例]
運転負荷の度合については、車両C1が停車中であるか走行中であるかに基づいて判定が可能である。例えば、車両C1が停車中である場合には、運転負荷が低い(例えば運転負荷が閾値未満)と判定可能である。一方、車両C1が走行中である場合には、運転負荷が高い(例えば運転負荷が閾値以上)と判定可能である。車両C1が停車中であるか走行中であるかについては、車両情報取得部125により取得された車両情報(例えば、車速、加速度、シフトレバーの位置(例えば、Pレンジ、Dレンジ)、アクセルペダルの踏込量、ブレーキペダルの踏込量)に基づいて判定可能である。
【0065】
また、運転負荷は、車両C1の前方の信号に基づいて判定が可能である。例えば、車両C1の前方の信号が赤であり、車両C1が停車中である場合には、運転負荷が低い(例えば運転負荷が閾値未満)と判定可能である。一方、車両C1が停車中であるが、車両C1の前方の信号が青に変化した場合には、運転負荷が高い(例えば運転負荷が閾値以上)と判定可能である。なお、これらの判定以外では、車両C1が停車中であるか走行中であるかに基づく判定と同様とすることが可能である。
【0066】
なお、ドライバD1の運転操作、車両C1の周辺状況等に基づいてドライバD1の運転負荷を判定してもよい。
【0067】
例えば、ドライバD1の操作状況、車両C1の周囲の状況等をドライバ状況取得部122、車外状況取得部124、車両情報取得部125等により取得可能である。例えば、所定時間内におけるアクセル操作の回数が多く、ステアリング操作の回数も多い場合には、ドライバD1の運転負荷が高いと推定可能である。また、車両C1の周囲の状況等に基づいてドライバD1の運転負荷を推定可能である。例えば、くねくねする道、狭い道、混雑度が高い道、人が多い道等を車両C1が走行している場合には、ドライバD1の運転負荷が高いと推定可能である。また、ユーザの顔の表情、ドライバD1が発する声等に基づいてドライバD1の運転負荷を推定可能である。
【0068】
例えば、ドライバD1の運転操作として、ステアリングエントロピーを用いることが可能である。ステアリングエントロピー法は、運転者の操舵角の滑らかさに基づいて運転者の負荷を測定して推定する測定方法であり、公知の演算方法を用いることが可能である。また、このステアリングエントロピー法では、時系列舵角データに基づいて計算される情報エントロピー値として数値化された測定結果(測定値)を用いることが可能である。
【0069】
また、例えば、車両C1の周辺状況として、車両C1の周囲の交通参加者の数、車両C1の周囲の天候、車両C1の周囲の暗さ、車両C1の周囲の道路形状等を用いることが可能である。
【0070】
上述した各値を用いてドライバD1の運転負荷を求めることが可能である。例えば、上述した各値に所定の演算(例えば加算)を施し、この演算結果を用いてドライバD1の運転負荷を求めることが可能である。なお、上述した各値のうちの少なくとも1つを用いてドライバD1の運転負荷を求めてもよい。
【0071】
[ドライバに提示する情報の重要度について]
本実施形態では、ドライバD1の運転負荷が閾値以上である場合(例えば車両C1が走行中)において、ドライバD1に提示する情報が発生したときには、その情報の重要度に応じて、ドライバD1に提示するタイミングを調整する。なお、ドライバD1に提示する情報は、例えば、ドライバD1の運転操作を支援する支援情報である。この支援情報は、例えば、ドライバD1の運転操作に必要となる情報であって、例えば、ナビゲーション情報、ランドマーク案内情報、観光案内情報、名所案内情報等である。
【0072】
例えば、ドライバD1に提示する情報の重要度については、車両C1の安全性等に基づいて決定される。例えば、迅速にドライバD1に伝えないと安全性に影響がある情報については、重要度が高く設定される。すなわち、閾値以上の重要度が設定される。閾値以上の重要度が設定される情報は、例えば、ナビゲーション機能を実現するための情報である。この情報として、例えば、前方に存在する交差点、踏切等を知らせる情報、前方の交差点の右左折等を知らせる情報が考えられる。
【0073】
一方、安全性の影響が少ないと考える情報については、重要度が低く設定される。すなわち、閾値未満の重要度が設定される。閾値未満の重要度が設定される情報は、例えば、車両C1の周囲に存在するランドマーク、観光地、名所等を案内するための情報が考えられる。なお、ドライバD1の運転負荷が閾値以上である場合において、ドライバD1に提示する情報として閾値未満の重要度の情報が発生したときには、その情報をストックしておく。そして、ドライバD1の運転負荷未満となった場合に、エージェントを用いて、その情報を雑談としてドライバD1に伝えることが可能である。
【0074】
[車両における各状況とエージェントの役割と使用機器との関係例]
図6は、車両C1における各状況とエージェントの役割と使用機器との関係例を示す図である。なお、図6で示す関係例は、一例であり、これ以外の関係を用いてもよい。
【0075】
ここで、人間が感じる生命の存在感については、存在、注目、意図、共感等の各レベル感で示すことが可能である。そこで、本実施形態では、それらの各レベル感をドライバD1が感じるように各エージェントの状態を設定する。また、車両C1の内部では、心理的な距離は物理的な距離に対応すると考えられる。そこで、本実施形態では、物理的な距離をエージェントが行き来することで、ドライバD1に接近した状態でコミュニケーションをしたり、ドライバD1から遠ざかった状態で存在感のみを示したりして各エージェントの状態を設定する。例えば、車両C1が走行中(ドライバD1が運転中)には、エージェントを2状態(第1状態(第1位置)、第2状態(第2位置))とすることが可能である。また、車両C1が停車中には、エージェントを1状態(第3状態(第3位置))とすることが可能である。なお、第2状態は、運転中のドライバD1の視界に入る位置でのエージェントの表現態様の一例であり、通常状態と考えることが可能である。また、第1状態は、外観を持たないエージェントの表現態様の一例(例えば、熱、音、光)であり、ドライバD1から遠ざかる状態と考えることが可能である。また、第3状態は、ドライバD1に近づく状態と考えることが可能である。なお、第3状態は、インタラクションを楽しむための状態と称することも可能である。このように、第1位置をエージェントとドライバD1との距離が最も遠い位置とし、第3位置がエージェントとドライバD1との距離が最も近い位置とする。すなわち、第1位置、第2位置、第3位置となるのに応じて、エージェントの物理的な距離がドライバD1に近づくことになる。
【0076】
このように、本実施形態では、車両C1に存在するエージェントについて3状態を使い分ける例を示す。第1状態は、ドライバD1の運転負荷が高い場合に、エージェントが支援情報の提示、コミュニケーション等を実行しない状態を示す。この第1状態では、ドライバD1の運転負荷が高いため、ドライバD1のディストラクションを減らす必要がある。そこで、第1状態では、ドライバD1に認識され難い態様でエージェントの存在を感じさせる演出を実行する。例えば、ドライバD1が触れている車両C1の部品の挙動等を利用してエージェントの存在感を表現することが可能である。例えば、ドライバD1が触れる可能性が高いシフトレバー6を発熱させることでエージェントの存在感を表現することが可能である。
【0077】
第2状態は、エージェントが支援情報を提示する必要がある状態を示す。この第2状態では、ドライバD1の運転負荷にかかわらず、エージェントが支援情報を提示する必要があるため、ドライバD1の視界の入る位置にエージェントを出現させ、エージェントを用いて支援情報を提示する。ドライバD1の運転負荷にかかわらず、提示する必要がある支援情報は、例えば重要度が高い支援情報である。この支援情報として、例えば、ナビゲーションを実行するためのナビゲーション情報(例えば、交差点等を知らせる情報)等が想定される。
【0078】
第3状態は、ドライバD1の運転負荷が低い場合(例えば停車中)に、エージェントがドライバD1とコミュニケーションを実行する状態を示す。この第3状態では、ドライバD1の運転負荷が低いため、ドライバD1に近い位置にエージェントを出現させ、ドライバD1とエージェントとの距離を近くして積極的なコミュニケーションを実行する。例えば、ドライバD1の目の前に存在するステアリングホイール3に設置されている第2出力機器210を利用してエージェント画像AG2を表示させることが可能である。
【0079】
次に、上述した3状態について詳細に説明する。例えば、車両C1における各状況として、ドライバD1の運転負荷が閾値以上であり、かつ、ドライバD1に提示する提示情報が存在しない場合を想定する。この場合には、ドライバD1の運転操作を優先するため、ドライバD1と同じ空間(車両C1内の空間)で存在感を示すことをエージェントの役割とする。また、そのような役割をエージェントが果たすための表現手段を用いる。例えば、図3に示すように、シフトレバー6を発熱させることにより、エージェントが見えなくてもエージェントが車両C1の内部に存在してその存在感を出すことが可能である。また、例えば、図4に示すように、フロントウインド4(HUD表示領域)にエージェント画像AG3を表示することによりエージェントの存在感を出すことが可能である。このようなエージェントの位置を第1位置と称する。このように、エージェントの存在感を示すことにより、ドライバD1がエージェントの存在を煩わしく感じてしまうことを防止することが可能である。また、エージェントの存在をドライバD1が認識できるため、エージェントがドライバD1と一緒にいるように感じさせることが可能である。このため、エージェントに対する信頼度、愛着等を維持することが可能であり、エージェントからドライバD1に伝える情報の伝達能力を高めることが可能である。
【0080】
また、例えば、車両C1における各状況として、ドライバD1の運転負荷が閾値以上であり、かつ、ドライバD1に提示する提示情報(重要度が閾値以上)が存在する場合を想定する。この場合には、ドライバD1の運転負荷を増加させずに、重要な提示情報を提供することをエージェントの役割とする。また、そのような役割をエージェントが果たすための表現手段を用いる。例えば、図1に示すように、第1出力機器200の表示部201にエージェント画像AG1を表示させ、エージェント画像AG1を用いて提示情報を出力(例えば、音声情報S1「次の交差点を右だよ」の出力)することにより、重要な提示情報を提供することが可能である。このようなエージェントの位置を第2位置と称する。このように、ドライバD1が極力運転中の視線を変えずにエージェントが情報を提示できる位置に移動することにより、車両C1がドライバD1に伝えたいことを適切に表現することが可能である。これにより、エージェントからドライバD1に伝える情報の伝達能力を高めることが可能である。
【0081】
なお、ここでは、ドライバD1が極力運転中の視線を変えずにエージェントが情報を提示できる位置として第1出力機器200を用いて例を示すが、他の位置としてもよい。例えば、車両C1の位置情報と、地図情報DBとに基づいて、ドライバD1の視線を予測し、この予測した視線の方向にエージェント画像を表示してもよい。例えば、表示機器720(図13(C)参照)を用いたり、フロントウインド4のHUD(図13(D)参照)を用いたりして表示が可能な位置にエージェント画像を表示することが可能である。例えば、所定のランドマーク等が存在する場合には、ドライバD1がそのランドマークの方向を見ることが想定される。例えば、右斜め前方に東京タワーが見える位置を車両C1が走行している場合には、少なくとも一時的にドライバD1が東京タワーを見ることが想定される。そこで、地図情報DBに格納されているランドマーク情報の車両C1に対する相対位置に基づいて、ドライバD1の視線方向を推定可能である。また、例えば、所定形状の道路が存在する場合には、ドライバD1はその形状に沿って前方を見ることが想定される。例えば、右方向に大きく曲がる道路を車両C1が走行している場合には、ドライバD1は右方向を見ることが想定される。そこで、地図情報DBに格納されている地図情報の車両C1に対する相対位置に基づいて、ドライバD1の視線方向を推定可能である。なお、ドライバD1の眼を含む画像(例えば、ドライバ状況取得部122により取得可能)に基づいて、ドライバD1の視線を検出する視線検出処理を実行し、ドライバD1の視線方向を検出する視線方向検出処理を実行してもよい。例えば、この視線方向の検出方法については、公知の視線検出技術を用いることが可能である。
【0082】
また、例えば、車両C1における各状況として、ドライバD1の運転負荷が閾値未満である場合を想定する。この場合には、ドライバD1の運転負荷が低いため、ドライバD1との距離が近い位置でコミュニケーションを実行すること(すなわち、パーソナルスペース内でのコミュニケーション)をエージェントの役割とする。また、そのような役割をエージェントが果たすための表現手段を用いる。例えば、図2に示すように、第2出力機器210の表示部211にエージェント画像AG2を表示させ、エージェント画像AG2を用いて所定のコミュニケーションを実行(例えば、音声情報S2「おしゃべりしよう」の出力)することが可能である。このようなエージェントの位置を第3位置と称する。このように、ドライバD1に近い位置にエージェントを移動させ、エージェントがドライバD1と交流を行うことにより、ドライバD1にコミュニケーションを楽しんでもらうことが可能である。これにより、エージェントに対する信頼度、愛着等を高めることが可能であり、エージェントからドライバD1に伝える情報の伝達能力を高めることが可能である。
【0083】
[第1出力機器からシフトレバーにエージェントを移動させる場合の遷移例]
図7は、第1出力機器200からシフトレバー6にエージェントを移動させる場合の遷移例を示す図である。なお、図7に示す車両C1の車室内の構成については、図1乃至図4に示す車両C1の車室内の構成と同様であるため、図1乃至図4と共通する部分には同一の符号を付してこれらの説明を省略する。また、図8乃至図10に示す例についても同様に、図1乃至図4と共通する部分には同一の符号を付してこれらの説明を省略する。
【0084】
図7(A)には、第1出力機器200の表示部201にエージェント画像AG1が表示されている場合の例を示す。例えば、ドライバD1の運転負荷が閾値以上である場合(例えば車両C1が走行中)において、ドライバD1に提示する所定情報(重要度が閾値以上)が存在する場合には、第1出力機器200の表示部201にエージェント画像AG1が表示され、エージェント画像AG1を用いてその所定情報が出力される。そして、ドライバD1の運転負荷が閾値以上であり、かつ、その所定情報の出力が終了した場合には、第1出力機器200からシフトレバー6にエージェントを移動させる移動演出が実行される。
【0085】
具体的には、図7(B)に示すように、第1出力機器200の表示部201において、エージェント画像AG1がシフトレバー6の方向に移動するとともに、その移動に応じてエージェント画像AG1が小さくなるように表示態様を変化させる移動演出が実行される。
【0086】
続いて、図7(C)に示すように、第1出力機器200の表示部201において、エージェント画像AG1がシフトレバー6の方向にさらに移動するとともに、その移動に応じてエージェント画像AG1がさらに小さくなるように表示態様を変化させる移動演出が実行される。この移動演出の実行後、又は、この移動演出の実行中において、シフトレバー6のヒータ部221を徐々に発熱させ、シフトレバー6を所定の温度とする移動演出が実行される。
【0087】
なお、第1出力機器200の表示部201において、エージェント画像AG1がシフトレバー6の方向に移動する際には、エージェント画像AG1の移動の軌跡がわかるように、その移動の遷移をアニメーション処理により表現してもよい。
【0088】
図7(A)乃至(C)に示すように、第1出力機器200の表示部201に表示されているエージェント画像AG1の存在を、シフトレバー6に移動させる場合には、表示部201において移動先(シフトレバー6)の方向にエージェント画像AG1を移動させる。これにより、エージェント画像AG1の存在がシフトレバー6に移動したことをドライバD1の視覚(五感の一例)により容易に把握可能となる。また、その移動のタイミング、又は、その移動の直後において、シフトレバー6のヒータ部221を徐々に発熱させ、シフトレバー6を所定の温度とすることで、エージェント画像AG1の存在がシフトレバー6に移動したことをドライバD1の触覚(五感の一例)により容易に把握可能となる。
【0089】
[シフトレバーから第1出力機器にエージェントを移動させる場合の遷移例]
図8は、シフトレバー6から第1出力機器200にエージェントを移動させる場合の遷移例を示す図である。
【0090】
図8(A)には、シフトレバー6を所定の温度とすることで、エージェントの存在感を示す場合の例を示す。例えば、ドライバD1の運転負荷が閾値以上である場合(例えば車両C1が走行中)において、ドライバD1に提示する所定情報(重要度が閾値以上)が存在する場合には、第1出力機器200の表示部201にエージェント画像AG1が表示され、エージェント画像AG1を用いてその所定情報が出力される。
【0091】
具体的には、図8(A)(B)に示すように、第1出力機器200の表示部201において、エージェント画像AG1がシフトレバー6の方向から移動するとともに、その移動に応じてエージェント画像AG1が大きくなるように表示態様を変化させる移動演出が実行される。
【0092】
続いて、図8(C)に示すように、第1出力機器200の表示部201にエージェント画像AG1が表示される移動演出が実行される。この移動演出の実行前、又は、この移動演出の実行中において、シフトレバー6のヒータ部221における発熱処理を徐々に停止させる移動演出が実行される。
【0093】
なお、第1出力機器200の表示部201において、エージェント画像AG1がシフトレバー6の方向から移動する際には、エージェント画像AG1の移動の軌跡がわかるように、その移動の遷移をアニメーション処理により表現してもよい。
【0094】
図8(A)乃至(C)に示すように、エージェントの存在感が表現されているシフトレバー6から、そのエージェントの存在を、第1出力機器200の表示部201に移動させる場合には、表示部201において移動元(シフトレバー6)の方向からエージェント画像AG1を移動させる。これにより、エージェント画像AG1の存在がシフトレバー6から移動したことをドライバD1の視覚(五感の一例)により容易に把握可能となる。また、その移動のタイミング、又は、その移動の直前において、シフトレバー6のヒータ部221の発熱処理を徐々に停止させることで、シフトレバー6におけるエージェントの存在が第1出力機器200に移動したことをドライバD1の触覚(五感の一例)により容易に把握可能となる。
【0095】
[第2出力機器からシフトレバーにエージェントを移動させる場合の遷移例]
図9は、第2出力機器210からシフトレバー6にエージェントを移動させる場合の遷移例を示す図である。
【0096】
図9(A)には、第2出力機器210の表示部211にエージェント画像AG2が表示されている場合の例を示す。例えば、ドライバD1の運転負荷が閾値未満である場合(例えば車両C1が停車中)には、第2出力機器210の表示部211にエージェント画像AG2が表示され、エージェント画像AG2を用いて所定のコミュニケーションが実行される。そして、ドライバD1の運転負荷が閾値以上となった場合には、第2出力機器210からシフトレバー6にエージェントを移動させる移動演出が実行される。
【0097】
具体的には、図9(B)に示すように、第2出力機器210の表示部211において、エージェント画像AG2がシフトレバー6の方向に移動するとともに、その移動に応じてエージェント画像AG2が小さくなるように表示態様を変化させる移動演出が実行される。
【0098】
続いて、図9(C)に示すように、第2出力機器210の表示部211において、エージェント画像AG2がシフトレバー6の方向にさらに移動するとともに、その移動に応じてエージェント画像AG2がさらに小さくなるように表示態様を変化させる移動演出が実行される。この移動演出の実行後、又は、この移動演出の実行中において、シフトレバー6のヒータ部221を徐々に発熱させ、シフトレバー6を所定の温度とする移動演出が実行される。
【0099】
なお、第2出力機器210の表示部211において、エージェント画像AG2がシフトレバー6の方向に移動する際には、エージェント画像AG2の移動の軌跡がわかるように、その移動の遷移をアニメーション処理により表現してもよい。
【0100】
図9(A)乃至(C)に示すように、第2出力機器210の表示部211に表示されているエージェント画像AG2の存在を、シフトレバー6に移動させる場合には、表示部211において移動先(シフトレバー6)の方向にエージェント画像AG2を移動させる。これにより、エージェント画像AG2の存在がシフトレバー6に移動したことをドライバD1の視覚(五感の一例)により容易に把握可能となる。また、その移動のタイミング、又は、その移動の直後において、シフトレバー6のヒータ部221を徐々に発熱させ、シフトレバー6を所定の温度とすることで、エージェント画像AG2の存在がシフトレバー6に移動したことをドライバD1の触覚(五感の一例)により容易に把握可能となる。
【0101】
[シフトレバーから第2出力機器にエージェントを移動させる場合の遷移例]
図10は、シフトレバー6から第2出力機器210にエージェントを移動させる場合の遷移例を示す図である。
【0102】
図10(A)には、シフトレバー6を所定の温度とすることで、エージェントの存在感を示す場合の例を示す。例えば、ドライバD1の運転負荷が閾値未満である場合(例えば車両C1が停車中)には、第2出力機器210の表示部211にエージェント画像AG2が表示され、エージェント画像AG2を用いて所定のコミュニケーションが実行される。
【0103】
具体的には、図10(A)(B)に示すように、第2出力機器210の表示部211において、エージェント画像AG2がシフトレバー6の方向から移動するとともに、その移動に応じてエージェント画像AG2が大きくなるように表示態様を変化させる移動演出が実行される。
【0104】
続いて、図10(C)に示すように、第2出力機器210の表示部211にエージェント画像AG2が表示される移動演出が実行される。この移動演出の実行前、又は、この移動演出の実行中において、シフトレバー6のヒータ部221における発熱処理を徐々に停止させる移動演出が実行される。
【0105】
なお、第2出力機器210の表示部211において、エージェント画像AG2がシフトレバー6の方向から移動する際には、エージェント画像AG2の移動の軌跡がわかるように、その移動の遷移をアニメーション処理により表現してもよい。
【0106】
図10(A)乃至(C)に示すように、エージェントの存在感が表現されているシフトレバー6から、そのエージェントの存在を、第2出力機器210の表示部211に移動させる場合には、表示部211において移動元(シフトレバー6)の方向からエージェント画像AG2を移動させる。これにより、エージェント画像AG2の存在がシフトレバー6から移動したことをドライバD1の視覚(五感の一例)により容易に把握可能となる。また、その移動のタイミング、又は、その移動の直前において、シフトレバー6のヒータ部221の発熱処理を徐々に停止させることで、シフトレバー6におけるエージェントの存在が第2出力機器210に移動したことをドライバD1の触覚(五感の一例)により容易に把握可能となる。
【0107】
このように、本実施形態では、エージェントの移動と称する場合には、ある表示機器に表示されているエージェント画像を消去して、そのエージェント画像を他の表示機器に新たに表示させることを意味する。また、エージェントの移動と称する場合には、ある表示機器に表示されているエージェント画像を消去して、そのエージェント画像に対応するエージェントの存在を感じさせる演出を他の機器に新たに実行させることを意味する。また、エージェントの移動と称する場合には、ある機器において実行されているエージェントの存在を感じさせる演出を止めて、そのエージェントに対応するエージェント画像を他の表示機器に新たに表示させることを意味する。なお、これらの移動の際には、移動元と移動先とにおいて同時にエージェントが存在するように表現してもよく、移動元と移動先との何れかのみにおいてエージェントが存在するように表現をしてもよい。
【0108】
[情報処理システムの動作例]
図11図12は、情報処理システム100におけるエージェント表現処理の一例を示すフローチャートである。また、このエージェント表現処理は、記憶部130(図3参照)に記憶されているプログラムに基づいて、制御部120(図3参照)により実行される。また、このエージェント表現処理は、制御周期毎に常時実行される。また、このエージェント表現処理では、図1乃至図10を適宜参照して説明する。
【0109】
ステップS501において、コミュニケーション内容決定部126は、車両C1のドライバD1の運転負荷が閾値未満であるか否かを判定する。なお、運転負荷の検出方法については、上述した検出方法と同様である。また、ここで示す閾値は、ドライバD1の運転負荷が高いか低いかを判定するための判定情報である。この閾値については、実験又はシミュレーション等に基づいて適宜設定可能である。なお、ここでは、ドライバD1の運転負荷が閾値未満であるか否かを判定する例を示すが、車両C1が走行中か停車中かを判定してもよい。ドライバD1の運転負荷が閾値未満である場合には、ステップS502に進む。一方、ドライバD1の運転負荷が閾値以上である場合には、ステップS516(図12参照)に進む。
【0110】
ステップS502において、コミュニケーション内容決定部126は、エージェント管理DB132に基づいて、エージェントが第3位置(図6参照)に存在するか否かを判定する。具体的には、図2に示すように、第2出力機器210の表示部211にエージェント画像AG2が表示されているか否かが判定される。エージェントが第3位置に存在する場合には、ステップS507に進む。一方、エージェントが第3位置に存在しない場合には、ステップS503に進む。
【0111】
ステップS503において、コミュニケーション内容決定部126は、ドライバD1に提示する情報が存在するか否かを判定する。例えば、ドライバD1に提示する情報として、ナビゲーション情報、車両C1の周囲に存在するランドマークに関する情報等が想定される。ドライバD1に提示する情報が存在する場合には、ステップS504に進む。一方、ドライバD1に提示する情報が存在しない場合には、ステップS513に進む。
【0112】
ステップS504において、出力態様決定部127は、他の位置から第3位置にエージェントが移動する演出を実行することを決定する。そして、エージェント制御部128は、他の位置から第3位置にエージェントが移動する演出を実行する。例えば、図10に示すように、シフトレバー6に存在するエージェントを第2出力機器210の表示部211に移動させる移動演出が実行される。例えば、温かかったシフトレバー6が冷たくなり、エージェント画像AG2が表示部211の画面下から(すなわちシフトレバー6の方向から)出現する演出が実行される。この場合に、シフトレバー6の方向から音声情報「ねえねえ」等を出力してもよく、エージェント画像AG2が表示部211に出現した後には、音声出力をするスピーカを変更し、第2出力機器210からエージェントの発話が聞こえるようにしてもよい。なお、上述したように、ドライバD1の視線方向を予測し、その視線方向に近い位置にエージェント画像AG2を表示させてもよい。
【0113】
ステップS505において、エージェント制御部128は、第3位置にエージェントを出現させる処理を実行する。例えば、図10(C)に示すように、第2出力機器210の表示部211にエージェント画像AG2を表示させる処理が実行される。
【0114】
ステップS506において、エージェント制御部128は、第3位置に出現させたエージェントに情報を提示させる処理を実行する。例えば、図10(C)に示すように、第2出力機器210の表示部211に表示させたエージェント画像AG2を用いてドライバD1に対する情報を提供する。例えば、エージェント画像AG2が発する音声情報により情報を提供することが可能である。
【0115】
ステップS507において、コミュニケーション内容決定部126は、エージェントがドライバD1とコミュニケーションを実行中であるか否かを判定する。例えば、図2に示すように、第2出力機器210の表示部211に表示させたエージェント画像AG2とドライバD1との間で何らかのやりとり(例えば会話)が行われている場合には、エージェントがドライバD1とコミュニケーションを実行中であると判定される。エージェントがドライバD1とコミュニケーションを実行中である場合には、ステップS512に進む。一方、エージェントがドライバD1とコミュニケーションを実行中でない場合には、ステップS508に進む。
【0116】
ステップS508において、コミュニケーション内容決定部126は、エージェントがドライバD1に所定のコミュニケーションの実行を提案することを決定する。そして、エージェント制御部128は、第2出力機器210の表示部211に表示させたエージェント画像AG2を用いて、ドライバD1に所定のコミュニケーションの実行を提案する。例えば、所定のコミュニケーションとして、エージェント及びドライバD1が雑談等の会話をすること、簡単なゲームをすること、ステップS524(図12参照)で保持された情報を提供すること等を提案することが可能である。例えば、図2に示すように、第2出力機器210の表示部211に表示させたエージェント画像AG2が音声情報S2「おしゃべりしよう」を発することで、その提案をすることが可能である。
【0117】
ステップS509において、コミュニケーション内容決定部126は、ステップS508で実行した提案をドライバD1が拒否したか否か(すなわち、その提案をドライバD1が断ったか否か)を判定する。例えば、ドライバD1が拒否する発言(例えば、遠慮するよ、またの機会に)をしたか否かに基づいて、その提案をドライバD1が拒否したことを判定可能である。また、例えば、ドライバD1が拒否する動き(例えば首を振る動作、手を振る動作)をしたか否かに基づいて、その提案をドライバD1が拒否したことを判定可能である。なお、ドライバD1が発する音声については、発話取得部121により取得された音声情報に基づいて、公知の音声認識技術を用いて認識可能である。また、ドライバD1の動きについては、ドライバ状況取得部122により取得されたドライバD1の画像情報に基づいて、公知の物体認識技術を用いて認識可能である。その提案をドライバD1が拒否した場合には、ステップS510に進む。一方、その提案をドライバD1が拒否しなかった場合(その提案を受け入れた場合)には、ステップS512に進む。なお、その提案がドライバD1により拒否された場合には、その拒否された時刻(拒否時刻)を記憶部130に保持させる。
【0118】
ステップS510において、出力態様決定部127は、第3位置から第1位置にエージェントが移動する演出を実行することを決定する。そして、エージェント制御部128は、第3位置から第1位置にエージェントが移動する演出を実行する。例えば、エージェントがシフトレバー6に帰る演出が実行される。例えば、図9に示すように、第2出力機器210の表示部211に表示されているエージェント画像AG2を、シフトレバー6に移動させる移動演出が実行される。なお、エージェント画像AG2からの提案がドライバD1により拒否された場合には、エージェント画像AG2が「シフトレバーに戻るね」等の音声情報を発した後に、シフトレバー6に移動させる移動演出を実行してもよい。このように、エージェント画像AG2からの提案がドライバD1により拒否された場合には、エージェントの存在をドライバD1の視覚から消すような演出を実行するとともに、エージェントの存在をドライバD1が感じられる演出を実行する。
【0119】
ステップS511において、エージェント制御部128は、第1位置においてエージェントの存在感を出す処理を実行する。例えば、図9(C)に示すように、シフトレバー6を発熱させる処理が実行される。
【0120】
ステップS512において、エージェント制御部128は、第3位置に出現させたエージェントがドライバD1と所定のコミュニケーションを行うための制御を実行する。例えば、図2に示すように、第2出力機器210の表示部211に表示させたエージェント画像AG2を用いてエージェント画像AG2とドライバD1とが会話する制御が実行される。
【0121】
ステップS513において、コミュニケーション内容決定部126は、ステップS509で提案が拒否されたタイミングから所定時間が経過したか否かを判定する。なお、拒否されたタイミングは、ステップS509で記憶部130に保持された拒否時刻に基づいて取得可能である。また、所定時間は、エージェントの提案を拒否したドライバD1の気持ちが変化する程度の時間(例えば数分乃至数十分程度)を設定することが可能である。また、この所定時間については、実験又はシミュレーション等に基づいて適宜設定可能である。提案が拒否されたタイミングから所定時間が経過した場合には、ステップS514に進む。なお、ステップS509で提案が拒否されていない場合についても同様にステップS514に進む。一方、提案が拒否されたタイミングから所定時間が経過していない場合には、エージェント表現処理の動作を終了する。
【0122】
ステップS514、S515の各処理については、ステップS504、S505の各処理に対応するため、ここでの説明を省略する。
【0123】
図12に示すステップS516において、コミュニケーション内容決定部126は、ドライバD1に提示する情報が存在するか否かを判定する。ドライバD1に提示する情報については、ステップS503で示した情報と同様である。ドライバD1に提示する情報が存在する場合には、ステップS517に進む。一方、ドライバD1に提示する情報が存在しない場合には、ステップS525に進む。
【0124】
ステップS517において、コミュニケーション内容決定部126は、ドライバD1に提示する情報の重要度が閾値未満であるか否かを判定する。ドライバD1に提示する情報の重要度については、上述した重要度と同様である。ドライバD1に提示する情報の重要度が閾値未満である場合には、ステップS524に進む。一方、ドライバD1に提示する情報の重要度が閾値以上である場合には、ステップS518に進む。
【0125】
なお、本実施形態では、ドライバD1に提示する情報の重要度が閾値未満であるか否か(すなわち、重要度が高いか低いか)に基づいて、エージェントの位置を変化させる例を示す。ただし、ドライバD1に提示する情報の重要度を2以上の閾値を用いて判定し、その情報の重要度が高くなるのに応じて、エージェントとドライバD1との距離を段階的に近づけるようにしてもよい。例えば、車両C1の左右方向に長い表示機器720(図13(C)参照)をダッシュボード2に設け、表示機器720にエージェント画像を表示させる場合に、その情報の重要度が高くなるのに応じて、エージェント画像をドライバD1に近づけるように表示してもよい。
【0126】
ステップS518において、コミュニケーション内容決定部126は、エージェント管理DB132に基づいて、エージェントが第2位置(図6参照)に存在するか否かを判定する。具体的には、図1に示すように、第1出力機器200の表示部201にエージェント画像AG1が表示されているか否かが判定される。エージェントが第2位置に存在する場合には、ステップS521に進む。一方、エージェントが第2位置に存在しない場合には、ステップS519に進む。
【0127】
ステップS519において、出力態様決定部127は、他の位置から第2位置にエージェントが移動する演出を実行することを決定する。そして、エージェント制御部128は、他の位置から第2位置にエージェントが移動する演出を実行する。例えば、図8に示すように、シフトレバー6に存在するエージェントを第1出力機器200の表示部201に移動させる移動演出が実行される。
【0128】
ステップS520において、エージェント制御部128は、第2位置にエージェントを出現させる処理を実行する。例えば、図8(C)に示すように、第1出力機器200の表示部201にエージェント画像AG1を表示させる処理が実行される。
【0129】
ステップS521において、エージェント制御部128は、第2位置に出現させたエージェントに情報を提示させる処理を実行する。例えば、図1に示すように、第1出力機器200の表示部201に表示させたエージェント画像AG1を用いてドライバD1に対する情報を提供する。例えば、エージェント画像AG1が発する音声情報S1により情報「次の交差点を右だよ」をドライバD1に提供することが可能である。
【0130】
ステップS522において、出力態様決定部127は、第2位置から第1位置にエージェントが移動する演出を実行することを決定する。そして、エージェント制御部128は、第2位置から第1位置にエージェントが移動する演出を実行する。例えば、図7に示すように、第1出力機器200の表示部201に表示されているエージェント画像AG1を、シフトレバー6に移動させる移動演出が実行される。例えば、表示部201に表示されていたエージェント画像AG1が表示部201の下方向(シフトレバー6の方向)へ移動して、表示部201の画面から消え、冷たかったシフトレバー6が温かくなる演出が実行される。なお、表示部201に表示されていたエージェント画像AG1が音声情報「必要な情報は伝えたから、シフトレバーに戻るね」等を出力し、表示部201の下方向(シフトレバー6の方向)へ移動して、表示部201の画面から消えた後に、シフトレバー6の方向から音声情報「シフトレバーに戻ったよ」が出力される演出を実行してもよい。このように、エージェントの存在をドライバD1の視覚から消すような演出を実行するとともに、エージェントの存在をドライバD1が感じられる演出を実行する。
【0131】
ステップS523において、エージェント制御部128は、第1位置においてエージェントの存在感を出す処理を実行する。例えば、図7(C)に示すように、シフトレバー6を発熱させる処理が実行される。
【0132】
ステップS524において、コミュニケーション内容決定部126は、ステップS517で重要度が閾値未満であると判定された情報を、次のタイミングでドライバD1に提示するため、その情報を記憶部130に保持させる。このように、重要度が閾値未満であると判定された情報については、データベースにストックしておき、ドライバD1の運転負荷が閾値未満となった場合に、雑談の話題等としてドライバD1に提供することが可能である。
【0133】
ステップS525において、コミュニケーション内容決定部126は、エージェント管理DB132に基づいて、エージェントが第1位置(図6参照)に存在するか否かを判定する。具体的には、図3に示すように、シフトレバー6における発熱によりエージェントの存在が表現されているか否かが判定される。エージェントが第1位置に存在する場合には、エージェント表現処理の動作を終了する。一方、エージェントが第1位置に存在しない場合には、ステップS526に進む。
【0134】
ステップS526において、出力態様決定部127は、他の位置から第1位置にエージェントが移動する演出を実行することを決定する。そして、エージェント制御部128は、他の位置から第1位置にエージェントが移動する演出を実行する。例えば、図7に示すように、第1出力機器200の表示部201に表示されているエージェント画像AG1を、シフトレバー6に移動させる移動演出が実行される。また、例えば、図9に示すように、第2出力機器210の表示部211に表示されているエージェント画像AG2を、シフトレバー6に移動させる移動演出が実行される。例えば、表示部211に表示されていたエージェント画像AG2が表示部211の下方向(シフトレバー6の方向)へ移動して、表示部211の画面から消え、冷たかったシフトレバー6が温かくなる演出が実行される。
【0135】
ここで、例えば、前方の信号が赤信号で車両C1が停車している場合には、ステップS501でドライバD1の運転負荷が閾値未満と判定されるため、第2出力機器210の表示部211にエージェント画像AG2が表示されていることが多い。このように、表示部211にエージェント画像AG2が表示されている状態で、前方の信号が青信号に変化した場合を想定する。この場合には、前方の信号が青に変わったことをエージェントがドライバD1に伝えてもよい。例えば、表示部211に表示されていたエージェント画像AG2が音声情報「青になったね」を出力し、表示部211の下方向(シフトレバー6の方向)へ移動して、表示部211の画面から消えた後に、シフトレバー6の方向から音声情報「青になったね」が出力される演出を実行してもよい。
【0136】
ステップS527において、エージェント制御部128は、第1位置においてエージェントの存在感を出す処理を実行する。例えば、図7(C)、図9(C)に示すように、シフトレバー6を発熱させる処理が実行される。
【0137】
なお、図11図12では、主に、ドライバD1の運転負荷の高低の判定処理(ステップS501)、ドライバD1に提示する情報の有無の判定処理(ステップS503、S516、S517)の結果に基づいて、エージェントの表現態様を変化させる制御処理を示した。ただし、本実施形態はこれに限定されず、他の制御例で実現してもよい。例えば、ドライバD1の運転負荷の高低の判定処理(ステップS501)を省略し、ドライバD1に提示する情報の有無(ステップS516、S517)の結果に基づいて、エージェントの表現態様を変化させる制御処理(例えば、ステップS516乃至S527)としてもよい。
【0138】
また、ドライバD1の運転負荷、ドライバD1に提示する情報の有無等に基づいて、エージェントの表現態様を変化させる制御処理を実行する例を示した。ただし、他の方法によりその制御処理を実行してもよい。例えば、人工知能(AI:Artificial Intelligence)を利用して制御処理を実行することが可能である。例えば、ドライバD1、車両C1等に関する各状況と、それらの状況に対応して実行するエージェントの表現態様とを予め学習しておき、この学習データを制御処理に用いることが可能である。例えば、ドライバD1、車両C1等に関して生じた各状況についてその学習データを用いて、エージェントの表現態様を決定し、その決定された表現態様をエージェントに実行させることができる。
【0139】
[エージェントの他の表現態様例]
図13は、エージェントの他の表現態様例を示す図である。図13(A)(B1)では、エージェントとしてロボットを用いる例を示す。また、図13(C)(D)では、左右方向に長い表示機器に表示させるエージェント画像を用いる例を示す。
【0140】
図13(A)には、レールRL1上をエージェント機器600が移動する移動構造の一例を示す。図13(A)に示すように、ダッシュボード2上において左右方向に延びる2つのレール部材から構成されるレールRL1が設置される。また、エージェント機器600の下部には、レールRL1上を走行可能な車輪が設置される。そして、エージェント機器600の駆動部(図示省略)は、エージェント制御部128からの制御に基づいて、レールRL1上においてエージェント機器600を左右方向(矢印A11方向)に移動させる。なお、レールRL1のレール構造と、エージェント機器600の車輪構造とについては、公知のレール技術を採用することが可能である。
【0141】
図13(A)では、第2位置に配置されたエージェント機器をエージェント機器600aで示し、第3位置に配置されたエージェント機器をエージェント機器600bで示す。なお、ここでは、2つの位置においてエージェント機器を登場させる例を示すが、3以上の位置においてエージェント機器を登場させてもよい。
【0142】
なお、図13(A)では、レールRL1上をエージェント機器600が移動する例を示すが、レールRL1を省略し、自律的に移動可能なエージェント機器600を用いてもよい。例えば、エージェント機器600が自律的に移動可能となるように、ダッシュボード2上の少なくとも一部を平面状にする。そして、その平面状のダッシュボード2上をエージェント機器600が移動することにより、エージェント機器600の位置を変更することが可能である。
【0143】
図13(B1)には、ダッシュボード2上に複数の穴HO1、HO2を設置し、複数の穴HO1、HO2を利用してエージェント機器611、612が移動する態様を実現する構造の一例を示す。図13(B2)には、穴HO1の構成例を示す。なお、他の穴HO2の構成についても穴HO1と同様とすることが可能である。また、エージェント機器612は、エージェント機器611と同様とする。
【0144】
穴HO1は、エージェント機器611を収容することが可能な程度の大きさを備える円筒形状の穴であり、底部BO2には、エージェント機器611を上昇又は下降させることが可能な棒状体の上昇下降機構UD1を備える。上昇下降機構UD1の上端部は、エージェント機器611の下部に連結される。また、上昇下降機構UD1は、駆動部(図示省略)により上昇又は下降が制御される。
【0145】
例えば、エージェント機器612が第3位置に配置される場合には、図13(B1)に示すように、穴HO2のエージェント機器612のみが上昇した状態となり、穴HO1のエージェント機器611は、下降した状態で各底部に貼り付いた状態となる。また、例えば、エージェント機器611が第2位置に配置される場合には、穴HO1のエージェント機器611のみが上昇した状態となり、穴HO2のエージェント機器612は、下降した状態で各底部に貼り付いた状態となる。
【0146】
なお、図13(B1)(B2)では図示を省略するが、複数の穴HO1、HO2のそれぞれに蓋を設置し、エージェント機器が上昇状態となっている穴の蓋のみを開け、他の穴の蓋を閉じた状態としてもよい。このように、複数の穴HO1、HO2のそれぞれに蓋を設置することにより、1つのエージェント機器のみをドライバD1が視認可能となり、各エージェント機器の同一性を高めることが可能である。なお、ここでは、2つの穴を用いて2つのエージェント機器を登場させる例を示すが、3以上の穴を用いて3以上のエージェント機器を登場させてもよい。
【0147】
なお、図13(A)(B1)(B2)の各例を組み合わせてもよい。例えば、図13(B1)(B2)に示す例と同様に、ダッシュボード2に複数の穴HO1、HO2を設置し、ダッシュボード2の内部において各穴HO1、HO2の底部を繋ぐ横方向の穴を別途設ける。すなわち、ダッシュボード2の内部において凹型の穴を設ける。そして、横方向の穴にレールを設置し、そのレール上をエージェント機器が移動可能としてもよい。また、各表現態様に応じて、何れかの穴からエージェント機器を上昇させるようにする。
【0148】
図13(C)には、車両C1のダッシュボード2に設置されている表示機器720の表示部721にエージェント画像722、723を表示する場合の例を示す。なお、表示機器720の表示状態は、エージェント制御部128により制御される。例えば、CG(Computer Graphics)によりエージェント画像722、723を実現することが可能である。
【0149】
エージェント画像722は、第2位置に表示される画像である。また、エージェント画像723は、第3位置に表示される画像である。
【0150】
図7(D)には、車両C1のHUD(Head Up Display)にエージェント画像731、732を表示する場合の例を示す。この場合には、ダッシュボード2の上部において、フロントウインド4との境界付近に、HUDを実現するためのHUD表示装置を設ける。
【0151】
HUD表示装置は、フロントウインド4の表示領域4aに光を投射して、その反射光を利用してドライバD1に虚像を見せるHUD表示を実現するための表示装置、例えばプロジェクタ、光学系である。すなわち、HUD表示装置からフロントウインド4の表示領域4aに投射された光は、フロントウインド4により反射され、その反射光がドライバD1の眼に向かう。そして、表示領域4aに投射されてドライバD1の眼に入った反射光は、フロントウインド4越しに見える実際の物体とともに、その物体に重畳されて表示される。このように、HUD表示装置は、フロントウインド4を用いて虚像を表示することにより、HUD表示を実現する。
【0152】
例えば、HUD表示装置は、情報処理装置110(図5参照)の制御に基づいて、エージェント画像731、732を表示領域4aに表示させる。また、フロントウインド4は、車両C1のHUDの表示媒体として機能する。
【0153】
エージェント画像731は、第2位置に表示される画像である。また、エージェント画像732は、第3位置に表示される画像である。
【0154】
なお、図13(C)(D)では、エージェント画像を各態様に遷移させる場合には、元の態様の位置から新たな態様の位置へのエージェント画像の移動軌跡をアニメーション処理等により表現してもよい。
【0155】
また、上述した各態様(例えば、図1乃至図4図13)については、何れかの態様を組み合わせてもよい。また、第2位置、第3位置にエージェントを配置する場合には、上述したように、ドライバD1の視線方向を予測し、その視線方向に対応する位置にエージェントを配置するようにしてもよい。
【0156】
[車両の乗員を考慮する例]
なお、本実施形態では、車両C1に乗車するドライバD1の運転負荷、ドライバD1に提示する情報の重要度等に基づいてエージェントの表現態様を変化させる例を示した。ただし、車両C1に乗車する他の乗員を考慮してエージェントの表現態様を変化させてもよい。例えば、ドライバD1の運転負荷が閾値以上である場合(例えば車両C1が走行中)において、助手席の乗員がエージェントと所定のコミュニケーションを実行することも考えられる。この場合には、第1出力機器200の表示部201にエージェント画像AG1を表示させ、エージェント画像AG1と助手席の乗員とが所定のコミュニケーションを実行することが考えられる。この場合には、ドライバD1はエージェントが助手席の乗員と所定のコミュニケーションを実行していることを理解できるため、周辺機器220を用いたエージェントの存在感を示す処理(例えばシフトレバー6の発熱処理)を実行しないようにする。仮に、第1出力機器200の表示部201にエージェント画像AG1を表示させ、エージェント画像AG1と助手席の乗員とが所定のコミュニケーションを実行している場合に、周辺機器220を用いたエージェントの存在感を示す処理(例えばシフトレバー6の発熱処理)を実行すると、ドライバD1は、エージェントが2人いるように感じてしまうおそれがある。この場合には、エージェントに対する信頼度等が低下し、エージェントからドライバD1に伝える情報の伝達能力が低下するおそれがあるため、エージェントが1人いるようにドライバD1に感じさせることが重要である。
【0157】
[本実施形態における効果例]
ここで、例えば、エージェントがドライバD1と一緒にいるように感じさせるために、エージェント画像を大きく動かさずに、エージェント画像を出現したままにすると、ドライバD1はエージェント画像の存在を煩わしく感じてしまうおそれがある。そこで、ドライバD1に情報を案内しないときには、エージェント画像を消去することが考えられる。しかし、エージェント画像を消去してしまうと、エージェントの存在をドライバD1が認識できなくなるため、エージェントがドライバD1と一緒に車両C1に乗車しているように感じ難くなる。すなわち、必要なときにエージェントを出現させ、不要なときにエージェントの存在を消えてしまうと、必要なときに出現して不要なときは消えるオペレータのような存在としてドライバD1に認識されるおそれがある。この場合には、エージェントに対する信頼度、愛着等が低下し、エージェントからドライバD1に伝える情報の伝達能力が低下するおそれがある。
【0158】
そこで、本実施形態では、必要に応じてエージェントの存在感を調整することで、エージェントがドライバD1と一緒に車両C1に乗車している感じを出すことが可能となり、ドライバD1がエージェントと一緒にいる感覚を高めることが可能となる。すなわち、ドライバD1とエージェントとの一体感を高めることが可能となる。これにより、エージェントに対する信頼度、愛着等を高めることが可能であり、エージェントからドライバD1に伝える情報の伝達能力を高めることが可能である。
【0159】
また、エージェントが、車両C1からの情報を受け入れやすくする存在であるということをドライバD1に感じてもらうためには、エージェントがドライバD1にとって親しみやすい存在となる必要がある。そこで、エージェントが親しみやすくするため、エージェントを常時表示させ、エージェントとドライバD1との接触回数、接触時間を増やすことが考えられる(例えば、単純接触効果)。しかし、運転状況によってはエージェントが常時表示されていることにドライバD1が煩わしさを感じてしまうおそれもある。そこで、エージェントが常時存在することによる煩わしさ、エージェントが常時存在することによるディストラクション(気の散ること)を防止するため、必要のないときにエージェントの外観を消すことが考えられる。この場合には、上述した煩わしさ、ディストラクションを防止することができるが、エージェントが消えたり出現したりすることにより、エージェントと車両C1との一体感が減ってしまうおそれがある。
【0160】
そこで、本実施形態では、必要のないときにエージェントの外観が消えるような演出を実行するが、エージェントの存在感はそのままの状態とする。すなわち、エージェントの外観は認識し難い状態だけど、ドライバD1と同じ空間内に存在するという感覚をドライバD1に与えることが可能である。
【0161】
これにより、ドライバD1の周囲の環境に反応するようなエージェントの演出を実行することが可能である。すなわち、エージェントに知性が感じられる演出を実行することが可能である。また、ドライバD1に仲間意識を感じさせ、ドライバD1との共感を高める演出を実行することが可能である。
【0162】
[他の機器、他のシステムにおいて処理を実行させる例]
なお、以上では、判定処理、検出処理、制御処理等を情報処理装置110(又は情報処理システム100)において実行する例を示したが、それらの各処理の全部又は一部を他の機器において実行してもよい。この場合には、それらの各処理の一部を実行する各機器により情報処理システムが構成される。例えば、車載機器、ユーザが使用可能な機器(例えば、スマートフォン、タブレット端末、パーソナルコンピュータ、カーナビゲーション装置、IVI)、インターネット等の所定のネットワークを介して接続可能なサーバ等の各種情報処理装置、各種電子機器を用いて各処理の少なくとも一部を実行させることができる。
【0163】
また、情報処理装置110(又は情報処理システム100)の機能を実行可能な情報処理システムの一部(又は全部)については、インターネット等の所定のネットワークを介して提供可能なアプリケーションにより提供されてもよい。このアプリケーションは、例えばSaaS(Software as a Service)である。
【0164】
[本実施形態の構成例及びその効果]
本実施形態に係る情報処理方法は、車両C1における第1出力機器200、第2出力機器210、周辺機器220(複数の機器の一例)を利用してドライバD1とのコミュニケーションを行うための制御を実行する情報処理方法である。この情報処理方法は、ドライバD1に提示する所定情報が存在するか否かを判定する判定処理(ステップS516、S517)と、所定情報が存在する場合には、複数の機器のうち、ドライバD1の視覚に入り易い場所に位置する第1出力機器200(第1機器の一例)(又は第2出力機器210)を利用して、コミュニケーションを行うためのエージェント(例えばエージェント画像AG1)をドライバD1に視認可能とした状態で、エージェント(例えばエージェント画像AG1)を用いて所定情報を提示させ(ステップS518乃至S521)、所定情報が存在しない場合には、複数の機器のうち、第1出力機器200以外の周辺機器220(第2機器の一例)を利用して、ドライバD1に認識され難い態様(例えば発熱)でエージェントの存在を感じさせる演出を実行(ステップS525乃至S527)する制御処理とを含む。また、本実施形態に係るプログラムは、これらの各処理をコンピュータに実行させるプログラムである。言い換えると、本実施形態に係るプログラムは、情報処理装置110が実行可能な各機能をコンピュータに実現させるプログラムである。
【0165】
この構成によれば、ドライバD1に提示する所定情報の有無に応じてエージェントの存在感を調整することで、エージェントがドライバD1と一緒に車両C1に乗車している感じを出すことが可能となり、ドライバD1がエージェントと一緒にいる感覚を高めることが可能となる。すなわち、ドライバD1とエージェントとの一体感を高めることが可能となる。これにより、エージェントに対する信頼度、愛着等を高めることが可能であり、エージェントからドライバD1に伝える情報の伝達能力を高めることが可能である。
【0166】
本実施形態に係る情報処理方法において、第1出力機器200(第1機器の一例)は、表示機器である。また、制御処理では、所定情報が存在する場合には、エージェントを表すエージェント画像AG1を第1出力機器200に表示させ(ステップS518乃至S521)、所定情報が存在しない場合には、第1出力機器200及び周辺機器220(第2機器の一例)の双方にエージェント画像を表示させずに、ドライバD1の五感のうちの視覚以外の感覚を用いてエージェントの存在を感じさせる演出を周辺機器220により実行する(ステップS525乃至S527)。
【0167】
この構成によれば、必要のあるときにエージェントの外観を現わして所定情報を提示させ、必要のないときにはエージェントの外観が消えるような演出を実行する。これにより、ドライバD1に提示する所定情報の有無にかかわらず、車両C1におけるエージェントの存在感はそのままの状態とすることが可能である。すなわち、ドライバD1に提示する所定情報がないときには、エージェントの外観は認識し難い状態とはなるが、ドライバD1と同じ空間内に存在するという感覚をドライバD1に与えることが可能である。
【0168】
本実施形態に係る情報処理方法において、周辺機器220(第2機器の一例)は、ドライバD1の周辺に設置されている周辺機器である。制御処理では、周辺機器220の温度を調整する温度調整処理と、周辺機器220を振動させる振動処理と、周辺機器220又はその方向からエージェントの存在を認識可能な所定音を出力させる音出力処理と、周辺機器220又はその方向からエージェントの存在を認識可能な所定の光を出力させる光出力処理と、周辺機器220又はその方向からエージェントの存在を認識可能な所定の匂いを発生させる匂い発生処理と、周辺機器220又はその方向からの反動を変化させる反動処理と、第1出力機器200(又は第2出力機器210)から周辺機器220にエージェントが移動する移動処理とのうちの少なくとも1つを実行することにより、エージェントの存在を感じさせる演出を実行する(ステップS525乃至S527)。
【0169】
この構成によれば、ドライバD1に提示する所定情報がないときでも、エージェントの外観は認識し難い状態だけど、ドライバD1と同じ空間内に存在するという感覚をドライバD1に与えることが可能である。
【0170】
本実施形態に係る情報処理方法において、周辺機器220は、ドライバD1の周辺に設置され、ドライバD1が触れることが可能な機器であり、シフトレバー、ステアリングホイール、着座シート、アームレスト、シートベルトのうちの少なくとも1つである。
【0171】
この構成によれば、ドライバD1の周辺に設置され、運転時にドライバD1が触れることが可能な機器を用いて、エージェントがドライバD1と同じ空間内に存在するという感覚をドライバD1に与えることが可能である。
【0172】
本実施形態に係る情報処理方法において、車両C1の位置情報及び地図情報(地図情報DB又は外部から取得可能)に基づくドライバD1の視線の予測処理と、ドライバD1の眼を含む画像に基づくドライバD1の視線の検出処理とのうちの少なくとも1つを実行することで、ドライバD1の視線方向を検出する視線方向検出処理、をさらに含む。また、制御処理では、所定情報が存在する場合には、複数の機器のうち、ドライバD1の視線方向に基づいて求められるドライバD1の視覚に入る機器を第1機器として利用する(ステップS518乃至S521)。例えば、ステップS519において、視線方向検出処理を実行することが可能である。
【0173】
この構成によれば、運転時のドライバD1の視線方向に基づいて求められるドライバD1の視覚に入る機器を第1機器として利用することで、ドライバD1の運転負荷の増加を抑制し、所定情報をドライバD1に適切に提示することが可能である。
【0174】
本実施形態に係る情報処理方法において、第1出力機器200は、表示機器である。また、情報処理方法は、車両C1の外部の環境に関する環境情報(車外状況取得部124により取得可能)と、ドライバD1の運転行動に関する運転行動情報(ドライバ状況取得部122、車両情報取得部125により取得可能)とのうちの少なくとも1つに基づいて、ドライバD1の運転負荷を判定する運転負荷判定処理(ステップS501)をさらに含む。制御処理では、運転負荷が所定値未満である場合には、所定情報の存在にかかわらず、エージェントを表すエージェント画像AG2を第2出力機器210(第1機器の一例)に表示させ、エージェント画像AG2を用いてコミュニケーションを実行する(ステップS504乃至S509、S512)。
【0175】
この構成によれば、ドライバD1の運転負荷が所定値未満である場合には、エージェント画像AG2を用いてコミュニケーションを実行することで、エージェント画像AG2に対する愛着等を高めることができ、エージェント画像AG2からドライバD1に伝える情報の伝達能力を高めることが可能である。
【0176】
本実施形態に係る情報処理方法において、第1機器は、第2出力機器210(第1表示部の一例)と、第2出力機器210よりもドライバD1から離れた場所に位置する第1出力機器200(第2表示部の一例)とを含む複数の表示機器である。制御処理(ステップS502乃至S508、S512、S518乃至S521)では、ドライバD1の運転負荷が所定値未満である場合には、エージェント画像AG2を第2出力機器210に表示させ、ドライバD1の運転負荷が所定値以上である場合において、所定情報が存在するときには、エージェント画像AG1を第1出力機器200に表示させ、エージェント画像AG1を用いて所定情報を提示させる。
【0177】
この構成によれば、ドライバD1の運転負荷に応じた適切な表示機器を用いてエージェント画像AG1、AG2を表示させることができる。これにより、ドライバD1の運転負荷の増加を抑制し、所定情報をドライバD1に適切に提示することが可能である。
【0178】
本実施形態に係る情報処理方法において、制御処理では、第1出力機器200又は第2出力機器210(第1機器の一例)を利用してエージェントを用いた所定情報の提示を実行する第1制御と、周辺機器220(第2機器の一例)を利用して、エージェントの存在を感じさせる演出を実行する第2制御とを切り替える場合には、第1出力機器200(又は第2出力機器210)及び周辺機器220間をエージェントが移動する移動演出を実行する(ステップS504、S510、S514、S519、S522、S526)。例えば、図7乃至図10に示すように、移動演出が実行される。
【0179】
この構成によれば、移動先と移動元とをドライバD1が把握し易くなるため、エージェントがドライバD1と同じ空間内に存在するという感覚をドライバD1に与えることが可能である。
【0180】
本実施形態に係る情報処理方法において、所定情報は、ドライバD1に提示する支援情報のうち、重要度が閾値以上である支援情報である。
【0181】
この構成によれば、ドライバD1に提示する支援情報のうち、重要度が閾値以上である支援情報を基準としてエージェントの表現態様を決定することができるため、ドライバD1の運転負荷の増加を抑制し、所定情報をドライバD1に適切に提示することが可能である。
【0182】
本実施形態に係る情報処理方法において、周辺機器220を、ドライバD1の視覚に入り難い場所に位置する機器としてもよい。
【0183】
この構成によれば、必要のないときにはエージェントの外観を消すような演出を適切に実行することが可能となる。
【0184】
情報処理装置110は、車両C1における第1出力機器200、第2出力機器210、周辺機器220(複数の機器の一例)を利用してドライバD1とのコミュニケーションを行うための制御を実行する情報処理装置である。情報処理装置110は、ドライバD1に提示する所定情報が存在するか否かを判定するコミュニケーション内容決定部126(判定部の一例)と、所定情報が存在する場合には、複数の機器のうち、ドライバD1の視覚に入り易い場所に位置する第1出力機器200(第1機器の一例)(又は第2出力機器210)を利用して、コミュニケーションを行うためのエージェント(例えばエージェント画像AG1)をドライバD1に視認可能とした状態で、エージェント(例えばエージェント画像AG1)を用いて所定情報を提示させ、所定情報が存在しない場合には、複数の機器のうち、第1出力機器200以外の周辺機器220(第2機器の一例)を利用して、ドライバD1に認識され難い態様(例えば発熱)でエージェントの存在を感じさせる演出を実行する出力態様決定部127、エージェント制御部128(制御部の一例)とを備える。なお、情報処理装置110は、第1出力機器200、第2出力機器210、周辺機器220の何れかに内蔵される機器としてもよく、第1出力機器200、第2出力機器210、周辺機器220とは異なる機器としてもよい。また、情報処理装置110の代わりに、情報処理装置110により実現される各処理を実行可能な複数の機器により構成される情報処理システムとしてもよい。
【0185】
この構成によれば、ドライバD1に提示する所定情報の有無に応じてエージェントの存在感を調整することで、エージェントがドライバD1と一緒に車両C1に乗車している感じを出すことが可能となり、ドライバD1がエージェントと一緒にいる感覚を高めることが可能となる。すなわち、ドライバD1とエージェントとの一体感を高めることが可能となる。これにより、エージェントに対する信頼度、愛着等を高めることが可能であり、エージェントからドライバD1に伝える情報の伝達能力を高めることが可能である。
【0186】
なお、本実施形態で示した各処理手順は、本実施形態を実現するための一例を示したものであり、本実施形態を実現可能な範囲で各処理手順の一部の順序を入れ替えてもよく、各処理手順の一部を省略したり他の処理手順を追加したりしてもよい。
【0187】
なお、本実施形態の各処理は、各種の処理手順をコンピュータに実行させるためのプログラムに基づいて実行される。本実施形態は、それらの各処理を実行する機能を実現するプログラム、そのプログラムを記憶する記録媒体の実施形態としても把握することができる。例えば、情報処理装置に新機能を追加するためのアップデート処理により、そのプログラムを情報処理装置の記憶装置に記憶させることができる。これにより、そのアップデートされた情報処理装置に本実施形態で示した各処理を実施させることが可能となる。
【0188】
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
【符号の説明】
【0189】
20 ネットワーク、100 情報処理システム、101 音取得部、102 ドライバ画像取得部、103 車室画像取得部、104 車外画像取得部、105 車両情報入力部、110 情報処理装置、120 制御部、121 発話取得部、122 ドライバ状況取得部、123 車室状況取得部、124 車外状況取得部、125 車両情報取得部、126 コミュニケーション内容決定部、127 出力態様決定部、128 エージェント制御部、130 記憶部、131 エージェント情報DB、132 エージェント管理DB、140 通信部、200 第1出力機器、201、211 表示部、202、212 音出力部、210 第2出力機器、220 周辺機器、221 ヒータ部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13