特開 2018-72922 情報処理装置、情報処理方法および情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2018-72922(P2018-72922A)

(43)【公開日】2018年5月10日

(54)【発明の名称】情報処理装置、情報処理方法および情報処理プログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20180406BHJP

   G08G 1/00 20060101ALI20180406BHJP

【ＦＩ】

   G08G1/16 F

   G08G1/00 X

   G08G1/16 D

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

【全頁数】15

(21)【出願番号】特願2016-208590(P2016-208590)

(22)【出願日】2016年10月25日

(71)【出願人】

【識別番号】592048110

【氏名又は名称】損害保険ジャパン日本興亜株式会社

(74)【代理人】

【識別番号】100134430

【弁理士】

【氏名又は名称】加藤 卓士

(74)【代理人】

【識別番号】100198960

【弁理士】

【氏名又は名称】奥住 忍

(72)【発明者】

【氏名】中村 成志

(72)【発明者】

【氏名】手銭 建太

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181AA14

5H181AA27

5H181BB04

5H181BB12

5H181CC04

5H181EE12

5H181FF04

5H181FF05

5H181FF10

5H181FF11

5H181FF12

5H181FF13

5H181FF27

5H181FF33

5H181LL01

5H181LL04

5H181LL08

5H181LL09

5H181LL15

5H181LL20

(57)【要約】

【課題】運転者の取るべき行動についての行動データを出力して、安全運転を十分に支援すること。
【解決手段】情報処理装置は、車両の運転者の生体情報を取得する生体情報取得部と、車両の車両情報を取得する車両情報取得部と、車両に取り付けられた撮像部から、車両を含む車両の周囲画像を取得する周囲画像取得部と、生体情報、車両情報および周囲画像の複数の組を記憶する記憶部と、複数の組を解析し、運転者の生体情報が変化に至った車両情報と周囲画像との関連情報を生成する解析部と、関連情報を用いて、車両情報および周囲画像の少なくともいずれかと運転者の取るべき行動とを対応付けた行動データを出力する行動データ出力部と、を備えた。
【選択図】 図１

【特許請求の範囲】

【請求項1】

車両の運転者の生体情報を取得する生体情報取得手段と、
前記車両の車両情報を取得する車両情報取得手段と、
前記車両に取り付けられた撮像手段から、前記車両を含む前記車両の周囲画像を取得する周囲画像取得手段と、
前記生体情報、前記車両情報および前記周囲画像の複数の組を記憶する記憶手段と、
前記複数の組を解析し、運転者の生体情報が変化に至った車両情報と周囲画像との関連情報を生成する解析手段と、
前記関連情報を用いて、車両情報および周囲画像の少なくともいずれかと運転者の取るべき行動とを対応付けた行動データを出力する行動データ出力手段と、
を備えた情報処理装置。

【請求項2】

前記行動データを用いて、自動運転可能な車両に用いられる運転用データを生成する運転用データ生成手段をさらに備えた請求項１に記載の情報処理装置。

【請求項3】

前記運転用データ生成手段は、自動運転可能な車両の車両情報および前記自動運転可能な車両の撮像手段が撮像した周囲画像の少なくともいずれかに基づいて、前記運転用データを生成する請求項２に記載の情報処理装置。

【請求項4】

前記運転用データは、車両情報および周囲画像に基づいて、自動運転が危険であると判断した場合、手動運転に切り替える第１切替データを含む請求項３に記載の情報処理装置。

【請求項5】

前記運転用データは、生体情報が運転者の異常を表す場合、自動運転に切り替える第２切替データを含む請求項３または４に記載の情報処理装置。

【請求項6】

前記行動データを用いて、運転者に対して指示するための指示用データを生成する指示用データ生成手段をさらに備えた請求項１または２に記載の情報処理装置。

【請求項7】

前記指示用データ生成手段は、車両の車両情報および前記車両の撮像手段が撮像した周囲画像の少なくともいずれかに基づいて、前記指示用データを生成する請求項６に記載の情報処理装置。

【請求項8】

前記記憶手段は、前記生体情報、前記車両情報および前記周囲画像に、さらに、気象情報を含む外部情報を対応付けて記憶し、
前記解析手段は、前記記憶手段に記憶された前記生体情報、前記車両情報、前記周囲画像および前記気象情報を解析し、前記生体情報の変化に至った前記車両情報と前記周囲画像と前記気象情報の関連情報を生成する、請求項１乃至７のいずれか１項に記載の情報処理装置。

【請求項9】

前記周囲画像は、事故に関連する画像を含み、
前記生体情報の変化に応じて、前記運転者が前記事故の発生を察知したタイミングを推定するタイミング推定手段をさらに備え、
前記解析手段は、前記タイミングに基づいて、前記生体情報の変化に至った前記車両情報と前記周囲画像との関連情報を生成する、請求項１乃至８のいずれか１項に記載の情報処理装置。

【請求項10】

前記タイミング推定手段は、前記生体情報の変化から所定時間前を前記タイミングと推定する請求項９に記載の情報処理装置。

【請求項11】

車両の運転者の生体情報を取得する生体情報取得ステップと、
前記車両の車両情報を取得する車両情報取得ステップと、
前記車両に取り付けられた撮像手段から、前記車両を含む前記車両の周囲画像を取得する周囲画像取得ステップと、
前記生体情報、前記車両情報および前記周囲画像の複数の組を記憶する記憶ステップと、
前記複数の組を解析し、運転者の生体情報が変化に至った車両情報と周囲画像との関連情報を生成する解析ステップと、
前記関連情報を用いて、車両情報および周囲画像の少なくともいずれかと運転者の取るべき行動とを対応付けた行動データを出力する行動データ出力ステップと、
を含む情報処理方法。

【請求項12】

車両の運転者の生体情報を取得する生体情報取得ステップと、
前記車両の車両情報を取得する車両情報取得ステップと、
前記車両に取り付けられた撮像手段から、前記車両を含む前記車両の周囲画像を取得する周囲画像取得ステップと、
前記生体情報、前記車両情報および前記周囲画像の複数の組を記憶する記憶ステップと、
前記複数の組を解析し、運転者の生体情報が変化に至った車両情報と周囲画像との関連情報を生成する解析ステップと、
前記関連情報を用いて、車両情報および周囲画像の少なくともいずれかと運転者の取るべき行動とを対応付けた行動データを出力する行動データ出力ステップと、
をコンピュータに実行させる情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。

【背景技術】

【0002】

上記技術分野において、特許文献１には、運転者の操作量などを時系列パターンとして統計処理した統計情報と車両の位置情報とを関連付けて生成した地図情報に基づいて運転支援を行う技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１４／０１３９８５号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記文献に記載の技術では、運転者の取るべき行動についての行動データを出力しないので、安全運転を十分に支援することができなかった。

【0005】

本発明の目的は、上述の課題を解決する技術を提供することにある。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明に係る情報処理装置は、
車両の運転者の生体情報を取得する生体情報取得手段と、
前記車両の車両情報を取得する車両情報取得手段と、
前記車両に取り付けられた撮像手段から、前記車両を含む前記車両の周囲画像を取得する周囲画像取得手段と、
前記生体情報、前記車両情報および前記周囲画像の複数の組を記憶する記憶手段と、
前記複数の組を解析し、運転者の生体情報が変化に至った車両情報と周囲画像との関連情報を生成する解析手段と、
前記関連情報を用いて、車両情報および周囲画像の少なくともいずれかと運転者の取るべき行動とを対応付けた行動データを出力する行動データ出力手段と、
を備えた。

【0007】

上記目的を達成するため、本発明に係る情報処理方法は、
車両の運転者の生体情報を取得する生体情報取得ステップと、
前記車両の車両情報を取得する車両情報取得ステップと、
前記車両に取り付けられた撮像手段から、前記車両を含む前記車両の周囲画像を取得する周囲画像取得ステップと、
前記生体情報、前記車両情報および前記周囲画像の複数の組を記憶する記憶ステップと、
前記複数の組を解析し、運転者の生体情報が変化に至った車両情報と周囲画像との関連情報を生成する解析ステップと、
前記関連情報を用いて、車両情報および周囲画像の少なくともいずれかと運転者の取るべき行動とを対応付けた行動データを出力する行動データ出力ステップと、
を含む。

【0008】

上記目的を達成するため、本発明に係る情報処理プログラムは、
車両の運転者の生体情報を取得する生体情報取得ステップと、
前記車両の車両情報を取得する車両情報取得ステップと、
前記車両に取り付けられた撮像手段から、前記車両を含む前記車両の周囲画像を取得する周囲画像取得ステップと、
前記生体情報、前記車両情報および前記周囲画像の複数の組を記憶する記憶ステップと、
前記複数の組を解析し、運転者の生体情報が変化に至った車両情報と周囲画像との関連情報を生成する解析ステップと、
前記関連情報を用いて、車両情報および周囲画像の少なくともいずれかと運転者の取るべき行動とを対応付けた行動データを出力する行動データ出力ステップと、
をコンピュータに実行させる。

【発明の効果】

【0009】

本発明によれば、運転者の取るべき行動についての行動データを出力するので、安全運転を十分に支援することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。

【図2A】本発明の第２実施形態に係る情報処理装置による処理の概要の一例を説明する図である。

【図2B】本発明の第２実施形態に係る情報処理装置による処理の概要の他の例を説明する図である。

【図3】本発明の第２実施形態に係る情報処理装置の構成を示すブロック図である。

【図4】本発明の第２実施形態に係る情報処理装置の備える画像テーブルの構成の一例を示す図である。

【図5】本発明の第２実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。

【図6】本発明の第２実施形態に係る情報処理装置の処理手順を説明するフローチャートである。

【図7】本発明の第３実施形態に係る情報処理装置の構成を示すブロック図である。

【図8】本発明の第３実施形態に係る情報処理装置の備える画像テーブルの一例を示す図である。

【図9】本発明の第３実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。

【図10】本発明の第３実施形態に係る情報処理装置の処理手順を説明するフローチャートである。

【発明を実施するための形態】

【0011】

以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明記載する。ただし、以下の実施の形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。

【0012】

［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、運転者の取るべき行動についての行動データを出力する装置である。

【0013】

図１に示すように、情報処理装置１００は、生体情報取得部１０１と、車両情報取得部１０２と、周囲画像取得部１０３と、記憶部１０４と、解析部１０５と、行動データ出力部１０６と、を含む。

【0014】

生体情報取得部１０１は、車両の運転者の生体情報を取得する。車両情報取得部１０２は、車両の車両情報を取得する。周囲画像取得部１０３は、車両に取付けられた撮像部から、車両を含む車両の周囲画像を取得する。記憶部１０４は、生体情報、車両情報および周囲画像の複数の組を記憶する。解析部１０５は、複数の組を解析し、運転者の生体情報が変化に至った車両情報と周囲画像との関連情報を生成する。行動データ出力部１０６は、関連情報を用いて、車両情報および周囲画像の少なくともいずれかと運転者の取るべき行動とを対応付けた行動データを出力する。

【0015】

本実施形態によれば、運転者の取るべき行動についての行動データを出力するので、安全運転を十分に支援することができる。

【0016】

［第２実施形態］
次に本発明の第２実施形態に係る情報処理装置について、図２Ａ乃至図６を用いて説明する。図２Ａは、本実施形態に係る情報処理装置２００による処理の概要の一例を説明する図である。また、図２Ｂは、本実施形態に係る情報処理装置２００による処理の概要の他の例を説明する図である。

【0017】

図２Ａには、２台の車両が、互いに異なる方角から交差点に接近している状況が示されている。また、図２Ｂには、車両が交差点に接近しており、歩行者が横断歩道上を歩行している状況が示されている。例えば、これらの状況は、車両に取り付けられたドライブレコーダにより画像や映像などが撮像される。撮像された画像や映像は、生体情報や車両情報と対応付けて記憶される。なお、ドライブレコーダによる画像や映像の撮像は、常時撮像をしていてもよいし、撮像のための所定のトリガーを検知した場合に撮像を開始するようにしてもよい。

【0018】

情報処理装置２００は、例えば、運転者が、相手車両の存在を認識して、危険を察知することにより、心拍数や血圧が上がったり、発汗量が増えたりするなどの生体情報の変化に応じて、記憶された画像を解析する。そして、このような生体情報の変化が生じたときの車両情報と、撮像された画像との関連を示す関連情報を生成する。情報処理装置２００は、生成された関連情報を用いて、車両情報および周囲画像のいずれかと運転者が取るべき行動とを対応付けて、行動データとして出力する。

【0019】

そして、行動データを用いて、自動運転可能な車両に用いられる運転用データを生成する。情報処理装置２００は、生成した運転用データを自動運転可能な車両に提供してもよい。

【0020】

また、情報処理装置２００は、行動データを用いて、運転者に対して指示するための指示用データも生成する。この指示用データは、車両の車両情報および車両の撮像部が撮像した周囲画像のいずれかに基づいて生成される。情報処理装置２００は、生成した指示用データを車両に対して提供してもよい。なお、情報処理装置２００が、運転用データや指示用データを提供するタイミングは特に限定されないが、例えば、道路状況などを踏まえて接近する事象への対処が可能なタイミングで提供してもよい。また、例えば、車両のエンジンを掛けたタイミングで提供してもよい。

【0021】

運転者が取るべき行動としては、相手車両が右にハンドルを切ったら、左にハンドルを切る、歩行者がいる場合にはブレーキを踏む、などであるが、これらには限定されない。運転者が取るべき行動は、例えば、相手車両との位置関係や、自車両および相手車両のスピードや車重、車体形状、車体カラーなどにより様々に変化する。なお、ここでは、情報処理装置２００が記憶された周囲画像を解析する例で説明をしたが、情報処理装置２００は、上述の処理をリアルタイムで行ってもよい。

【0022】

図３は、本実施形態に係る情報処理装置２００の構成を示すブロック図である。情報処理装置２００は、生体情報取得部３０１と、車両情報取得部３０２と、周囲画像取得部３０３と、記憶部３０４と、解析部３０５と、行動データ出力部３０６と、運転用データ生成部３０７と、指示用データ生成部３０８と、を備える。

【0023】

生体情報取得部３０１は、ウェアラブルデバイスから車両の運転者の生体情報を取得する。取得する生体情報は、例えば、心拍や血圧、発汗量、呼吸数、脳波などであるがこれらには限定されない。なお、生体情報は、例えば、タクシーやバスの運転手などから取得されるが、生体情報の取得対象はこれらには限定されない。

【0024】

車両情報取得部３０２は、運転者が運転する車両の車両情報を取得する。車両情報は、例えば、車両の位置情報や、速度、加速度、ハンドル舵角、残燃料、ブレーキ踏力などを含むが、これらには限定されない。車両の位置情報は、例えば、車両に取り付けられたＧＰＳ（Global Positioning System）機器などから取得されるが、位置情報の取得先はこれには限定されない。また、車両の速度や、加速度、ハンドル舵角などは、例えば、ＯＢＤ（On-board Diagnostics）やＣＡＮ（Controller Area Network）などから取得されるが、これらには限定されない。なお、車両情報は、タクシーやバスなどの営業車両や一般車両などから取得される。

【0025】

周囲画像取得部３０３は、運転者の運転する車両（自車両）を含む車両の周囲の画像（周囲画像）を取得する。すなわち、周囲画像取得部３０３は、車両に取り付けられたドライブレコーダなどのカメラで撮像した画像を取得する。また、周囲画像取得部３０３は、車両の運転者や同乗者の所有するスマートフォンなどの携帯端末などのカメラで撮像した画像を取得してもよく、スマートフォンなどは所定の取付器具で車両に取り付けられる。なお、周囲画像取得部３０３は、周囲画像を常時取得するものであっても、所定のトリガーを検知したら取得を開始するものであってもよい。また、周囲画像には、自動車に関連する事故の画像などが含まれてもよい。なお、周囲画像は、タクシーやバスなどの営業車両や一般車両などから取得される。

【0026】

記憶部３０４は、生体情報取得部３０１で取得した生体情報、車両情報取得部３０２で取得した車両情報および周囲画像取得部３０３で取得した周囲画像を対応付けて記憶する。また、記憶部３０４は、生体情報取得部３０１で取得した生体情報、車両情報取得部３０２で取得した車両情報および周囲画像取得部３０３で取得した周囲画像に、さらに、天候などの気象情報を含む外部情報を対応付けて記憶してもよい。外部情報は、例えば、渋滞情報、混雑予測情報、故障車両情報などのプローブデータであるが、これらには限定されない。なお、記憶部３０４は、周囲画像の撮影日時や撮影時間帯（例えば、朝昼夜など）、地域、自車および相手車の車体形状や車高などを合わせて記憶してもよい。

【0027】

解析部３０５は、生体情報の変化に応じて、記憶部３０４に記憶された生体情報、車両情報および周囲画像を解析する。そして、解析部３０５は、生体情報の変化に至った車両情報と周囲画像との関連情報を生成する。すなわち、生体情報の変化が生じるまでの過程やその後の過程について、周囲画像に映っている自車両の挙動や相手車両の挙動、相手車両の大きさ、相手車両の形状、歩行者の挙動などと車両情報との関連を示す関連情報を生成する。

【0028】

周囲画像などの解析は、例えば、画像などを所定の時間間隔に区切って行う。つまり、画像や映像を細かく区切ることにより、連続する行動を確率的にパターン化する。例えば、運転者が、ある行動を取った場合の次の行動は、確率的にパターン化することができ、画像を区切る時間間隔を短くすることにより、画像を細かく解析することができるので、さらに精度を上げることができる。

【0029】

行動データ出力部３０６は、解析部３０５が生成した関連情報を用いて、例えば、周囲画像や車両情報、周囲画像および車両情報に基づいて決定された運転者の取るべき行動についての行動データを出力する。運転者の取るべき行動は、例えば、ハンドルを切る、ブレーキを踏む、車線を変更する、などの危険回避のための操作や行動などである。

【0030】

運転用データ生成部３０７は、行動データ出力部３０６が出力した行動データを用いて、自動運転可能な車両に用いられる運転用データを生成する。

【0031】

また、運転用データは、車両情報および周囲画像に基づいて、自動運転が危険であると判断した場合に、自動運転から、運転手による手動運転に切り替える切替データを含む。例えば、複数の事象が同時に発生し、どの事象から対処していくべきかの判断が難しい場合に、運転者に判断を委ねるために、自動運転から手動運転に切り替えてもよい。

【0032】

さらに、運転用データは、車両の運転者に装着されたウェアラブルデバイスなどから取得した生体情報が運転者の異常、例えば、発作や眠気などを表す場合、手動運転から自動運転に切り替える切替データを含む。例えば、手動運転を継続していると、事故が発生する確率が高くなる場合に、危険回避のために、手動運転から自動運転に切り替えてもよい。

【0033】

指示用データ生成部３０８は、行動データを用いて、運転者に対して指示するための指示用データ生成する。そして、指示用データ生成部３０８は、車両の車両情報および車両の撮像部が撮像した周囲画像の少なくともいずれかに基づいて、指示用データを生成する。この指示用データは、例えば、車両の運転者に対して、運転操作を指示する音声などのアラートであってもよいが、これには限定されない。

【0034】

図４は、本実施形態に係る情報処理装置２００の備える画像テーブル４０１の構成の一例を示す図である。画像テーブル４０１は、運転ＩＤ（identifier）４１１に対応付けて、画像ＩＤ４１２、生体情報４１３、車両情報４１４および気象情報４１５を記憶する。運転ＩＤ４１１は、運転を識別するための情報であり、これには、例えば、運転者の属性などの運転者に関する情報や、車両に関する情報、運転日時に関する情報などが含まれる。画像ＩＤ４１２は、画像を識別するための情報であり、画像に対して一意に割り当てられた番号などである。生体情報４１３は、運転者が装着しているウェアラブル端末などから取得した生体情報のデータである。車両情報４１４は、車両から取得された、車両の状態を示すデータであり、車速や加速度、ハンドル舵角などのデータである。気象情報４１５は、画像が撮像されたときの天候に関する情報である。そして、解析部３０５は、画像テーブル４０１を参照して、周囲画像を解析し、関連情報を生成する。

【0035】

図５は、本実施形態に係る情報処理装置２００のハードウェア構成を示すブロック図である。ＣＰＵ(Central Processing Unit)５１０は演算制御用のプロセッサであり、プログラムを実行することで図３の情報処理装置２００の機能構成部を実現する。ＲＯＭ(Read Only Memory)５２０は、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインタフェース５３０は、ネットワークを介して他の装置などと通信する。なお、ＣＰＵ５１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ(Graphics Processing Unit)を含んでもよい。また、ネットワークインタフェース５３０は、ＣＰＵ５１０とは独立したＣＰＵを有して、ＲＡＭ(Random Access Memory)５４０の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭ５４０とストレージ５５０との間でデータを転送するＤＭＡＣ(Direct Memory Access Controller)を設けるのが望ましい（図示なし）。さらに、入出力インタフェース５６０は、ＣＰＵ５１０とは独立したＣＰＵを有して、ＲＡＭ５４０の領域に入出力データを書き込みあるいは読み出しするのが望ましい。したがって、ＣＰＵ５１０は、ＲＡＭ５４０にデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵ５１０は、処理結果をＲＡＭ５４０に準備し、後の送信あるいは転送はネットワークインタフェース５３０やＤＭＡＣ、あるいは入出力インタフェース５６０に任せる。

【0036】

ＲＡＭ５４０は、ＣＰＵ５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ５４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。生体情報データ５４１は、運転者の生体情報に関するデータである。車両情報データ５４２は、車両の速度や加速度などに関するデータである。周囲画像データ５４３は、ドライブレコーダなどで撮像された画像に関するデータである。関連情報データ５４４は、生体情報の変化に至った車両情報と周囲画像との関連性に関する情報である。これらのデータは、画像テーブル４０１から展開されたデータである。行動データ５４５は、運転者が取るべき行動についてのデータである。運転用データ／指示用データ５４６は、自動運転可能な車両に用いられる自動運転のためのデータおよび運転者に対して指示するためのデータである。

【0037】

入出力データ５４７は、入出力インタフェース５６０を介して入出力されるデータである。送受信データ５４８は、ネットワークインタフェース５３０を介して送受信されるデータである。また、ＲＡＭ５４０は、各種アプリケーションモジュールを実行するためのアプリケーション実行領域５４９を有する。

【0038】

ストレージ５５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ５５０は、画像テーブル４０１を格納する。画像テーブル４０１は、図４に示した、運転ＩＤ４１１と画像ＩＤ４１２などとの関係を管理するテーブルである。ストレージ５５０は、さらに、生体情報取得モジュール５５１と、車両情報取得モジュール５５２と、撮像モジュール５５３と、解析モジュール５５４と、行動データ出力モジュール５５５と、運転用データ生成モジュール５５６と、指示用データ生成モジュール５５７と、を格納する。これらのモジュールは、ＣＰＵ５１０により実行される。

【0039】

生体情報取得モジュール５５１は、車両の運転者の生体情報を取得するモジュールである。車両情報取得モジュール５５２は、車両の車両情報を取得するモジュールである。撮像モジュール５５３は、車両を含む車両の周囲画像を撮像するモジュールである。解析モジュール５５４は、生体情報の変化に応じて、生体情報、車両情報および周囲画像を解析し、生体情報の変化に至った車両情報と周囲画像との関連情報を生成するモジュールである。行動データ出力モジュール５５５は、車両情報および周囲画像の少なくともいずれかに基づいて決定された運転者の取るべき行動についての行動データを出力するモジュールである。運転用データ生成モジュール５５６は、行動データを用いて、自動運転可能な車両に用いられる運転用データを生成するモジュールである。指示用データ生成モジュール５５７は、行動データを用いて、運転者に対して指示するための指示用データを生成するモジュールである。これらのモジュール５５１〜５５７は、ＣＰＵ５１０によりＲＡＭ５４０のアプリケーション実行領域５４９に読み出され、実行される。制御プログラム５５７は、情報処理装置２００の全体を制御するためのプログラムである。

【0040】

入出力インタフェース５６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース５６０には、表示部５６１、操作部５６２、が接続される。また、入出力インタフェース５６０には、さらに、記憶媒体５６４が接続されてもよい。さらに、音声出力部であるスピーカ５６３や、音声入力部であるマイク、あるいは、ＧＰＳ位置判定部が接続されてもよい。なお、図５に示したＲＡＭ５４０やストレージ５５０には、情報処理装置２００が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。

【0041】

図６は、本実施形態に係る情報処理装置２００の処理手順を説明するフローチャートである。このフローチャートは、ＣＰＵ５１０がＲＡＭ５４０を使用して実行し、図３の情報処理装置２００の機能構成部を実現する。

【0042】

ステップＳ６０１において、情報処理装置２００は、車両の運転者の生体情報を、例えば、運転者の装着しているウェアラブル端末などから取得する。ステップＳ６０３において、情報処理装置２００は、車両の車両情報を取得する。ステップＳ６０５において、情報処理装置２００は、自車両を含む自車両の周囲画像を取得する。なお、ステップＳ６０１〜Ｓ６０５の順序は図６に示した順序には限定されず、順序を適宜入れ替えて実行してもよいし、これらのステップを同時に実行してもよい。

【0043】

ステップＳ６０７において、情報処理装置２００は、生体情報、車両情報および周囲画像を対応付けて記憶する。ステップＳ６０９において、情報処理装置２００は、取得した生体情報に変化があるか否かを判定する。生体情報に変化がない場合（ステップＳ６０９のＮＯ）、情報処理装置２００は、ステップＳ６０１に戻る。生体情報に変化がある場合（ステップＳ６０９のＹＥＳ）、情報処理装置２００は、ステップＳ６１１へ進む。

【0044】

ステップＳ６１１において、情報処理装置２００は、生体情報の変化に応じて、記憶された生体情報、車両情報および周囲画像を解析し、生体情報の変化に至った車両情報と周囲画像との関連情報を生成する。ステップＳ６１３において、情報処理装置２００は、生成した関連情報を用いて、車両情報および周囲画像の少なくともいずれかに基づいて決定された運転者の取るべき行動についての行動データを生成する。ステップＳ６１５において、情報処理装置２００は、出力された行動データを用いて、自動運転可能な車両に用いられる運転用データを生成する。また、情報処理装置２００は、出力された行動データを用いて、運転者に指示するための指示用データを生成する。

【0045】

本実施形態によれば、運転者の取るべき行動についての行動データを出力するので、安全運転を十分に支援することができる。また、出力した行動データを用いて、運転用データを生成するので、自動運転技術を高度化することができる。さらに、出力した行動データを用いて、指示用データを生成するので、安全運転を十分に支援することができる。

【0046】

［第３実施形態］
次に本発明の第３実施形態に係る情報処理装置について、図７乃至図１０を用いて説明する。図７は、本実施形態に係る情報処理装置７００の構成を示すブロック図である。本実施形態に係る情報処理装置７００は、上記第２実施形態と比べると、タイミング推定部を有する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

【0047】

情報処理装置７００は、さらに、タイミング推定部７０１を備える。タイミング推定部７０１は、生体情報の変化に応じて、運転者が事故の発生を察知したタイミングを推定する。タイミング推定部７０１は、例えば、生体情報の変化が発生してから所定時間前を察知のタイミングと推定するが、タイミングの推定方法は、これには限定されない。そして、解析部３０５は、推定したタイミングに基づいて、関連情報を生成する。

【0048】

図８は、本実施形態に係る情報処理装置７００の備える画像テーブル８０１の一例を示す図である。画像テーブル８０１は、運転ＩＤ４１１に対応付けて所定時間８１１を記憶する。タイミング推定部７０１は、画像テーブル８０１を参照して、運転者が事故発生を察知したタイミングを推定する。

【0049】

図９は、本実施形態に係る情報処理装置７００のハードウェア構成を示すブロック図である。ＲＡＭ９４０は、ＣＰＵ９１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ９４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。所定時間データ９４１は、察知タイミングの推定に用いる時間データであり、画像テーブル８０１から展開されたデータである。ストレージ９５０は、画像テーブル８０１を格納する。画像テーブル８０１は、図８に示した、運転ＩＤ４１１と所定時間８１１などとの関係を管理するテーブルである。ストレージ５５０は、さらに、タイミング推定モジュール９５１を格納する。タイミング推定モジュール９５１は、運転者が事故の発生を察知したタイミングを推定するモジュールである。タイミング推定モジュール９５１は、ＣＰＵ５１０によりＲＡＭ９４０のアプリケーション実行領域５４９に読み出され、実行される。

【0050】

図１０は、本実施形態に係る情報処理装置７００の処理手順を説明するフローチャートである。このフローチャートは、ＣＰＵ５１０がＲＡＭ９４０を使用して実行し、図７の情報処理装置７００の機能構成部を実現する。なお、図６と同様のステップには同じステップ番号を付して重複する説明を省略する。

【0051】

ステップＳ１００１において、情報処理装置７００は、運転者が事故の発生を察知したタイミングを推定する。ステップＳ１００３において、情報処理装置７００は、推定したタイミングに基づいて、生体情報の変化に至った車両情報と周囲画像との関連情報を生成する。

【0052】

本実施形態によれば、事故察知のタイミングを推定するので、運転者の取るべき行動についての行動データの精度が上がり、自動運転技術をさらに高度化することができる。

【0053】

［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

【0054】

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】