特開 2023-57656 情報処理装置、情報処理方法、情報処理プログラム及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023057656

(43)【公開日】2023-04-24

(54)【発明の名称】情報処理装置、情報処理方法、情報処理プログラム及び記録媒体

(51)【国際特許分類】

   G08G 1/00 20060101AFI20230417BHJP

【ＦＩ】

G08G1/00 D

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2021167245

(22)【出願日】2021-10-12

(71)【出願人】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】110001025

【氏名又は名称】弁理士法人レクスト国際特許事務所

(72)【発明者】

【氏名】加藤 信彦

(72)【発明者】

【氏名】荒井 和明

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181BB05

5H181CC04

5H181CC12

5H181EE02

5H181FF04

5H181FF05

5H181FF10

5H181FF22

5H181FF27

5H181FF32

5H181FF40

5H181MB02

(57)【要約】

【課題】
運転者が安全確認を適正に行っているか否かを判定可能であり、車両の挙動には現れない潜在的な事故のリスクを評価可能である情報処理装置、情報処理方法、情報処理プログラム及び記録媒体を提供することを目的の１つとしている。
【解決手段】
第１車両の走行中に生じた第１イベント時の第１シチュエーションに関する情報を取得するシチュエーション情報取得部と、前記第１イベント中における前記第１車両の運転者の一連の視線方向を示す第１視線方向データを取得する視線方向データ取得部と、少なくとも前記第１シチュエーションに関する情報及び前記第１視線方向データに基づいて、前記第１イベントにおける前記第１車両の運転者の前記一連の視線方向の評価情報を出力する評価情報出力部と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１車両の走行中に生じた第１イベント時の第１シチュエーションに関する情報を取得するシチュエーション情報取得部と、
前記第１イベント中における前記第１車両の運転者の一連の視線方向を示す第１視線方向データを取得する視線方向データ取得部と、
少なくとも前記第１シチュエーションに関する情報及び前記第１視線方向データに基づいて、前記第１イベントにおける前記第１車両の運転者の前記一連の視線方向の評価情報を出力する評価情報出力部と、
を有することを特徴とする情報処理装置。

【請求項2】

前記評価情報出力部は、少なくとも車両の走行中に生じたイベント時のシチュエーションに関するシチュエーション情報及び車両の運転者の一連の視線方向を示す視線方向データを入力すると、車両の運転者の一連の視線方向に関する評価情報を出力するように、機械学習がなされた学習済みモデルを用いて、前記評価情報を出力することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記シチュエーション情報取得部は、前記第１車両の走行履歴に基づいて、前記第１イベント時に前記第１車両が通過した道路の形状及び通過の態様を特定し、前記道路の形状及び前記通過の態様に対応する識別子を前記第１シチュエーションに関する情報として取得することを特徴とする請求項１又は２に記載の情報処理装置。

【請求項4】

前記シチュエーション情報取得部は、前記第１車両の走行履歴に基づいて、前記第１イベント時の前記第１車両の地図上の位置から求まる交差点及び前記第１イベント時に前記第１車両が前記交差点を通過した際の通過の態様を特定し、前記交差点を示す情報と、前記通過の態様を示す情報との組を、前記第１シチュエーションに関する情報として取得することを特徴とする請求項１又は２に記載の情報処理装置。

【請求項5】

前記シチュエーション情報取得部は、前記第１車両の前方を撮影した画像に基づいて前記第１シチュエーションを特定することを特徴とする請求項１又は２に記載の情報処理装置。

【請求項6】

前記シチュエーション情報取得部は、走行中の前記第１車両の現在位置及び前記第１イベント時の前記第１車両の進行予定方向に基づいて前記第１シチュエーションに関する情報を取得することを特徴とする請求項１又は２に記載の情報処理装置。

【請求項7】

前記第１視線方向データは、前記第１車両の運転者を撮影した画像から推定される顔の角度又は視線の角度を示す数値であることを特徴とする請求項１乃至６のいずれか１つに記載の情報処理装置。

【請求項8】

前記第１視線方向データは、前記運転者の視線方向の、鉛直方向に沿った軸周りの角度を示す数値を少なくとも含むことを特徴とする請求項１乃至７のいずれか１つに記載の情報処理装置。

【請求項9】

前記評価情報出力部は、前記第１視線方向データが取得された際の前記第１車両の挙動を示す情報をさらに入力とすることを特徴とする請求項２に記載の情報処理装置。

【請求項10】

情報処理装置によって実行される情報処理方法であって、
第１車両の走行中に生じた第１イベント時の第１シチュエーションに関する情報を取得するシチュエーション情報取得ステップと、
前記第１イベント中における前記第１車両の運転者の一連の視線方向を示す第１視線方向データを取得する視線方向データ取得ステップと、
少なくとも前記第１シチュエーションに関する情報及び前記第１視線方向データに基づいて、前記第１イベントにおける前記第１車両の運転者の前記一連の視線方向の評価情報を出力する評価情報出力ステップと、
を含むことを特徴とする情報処理方法。

【請求項11】

コンピュータを備える情報処理装置によって実行される情報処理プログラムであって、前記コンピュータに、
第１車両の走行中に生じた第１イベント時の第１シチュエーションに関する情報を取得するシチュエーション情報取得ステップと、
前記第１イベント中における前記第１車両の運転者の一連の視線方向を示す第１視線方向データを取得する視線方向データ取得ステップと、
少なくとも前記第１シチュエーションに関する情報及び前記第１視線方向データに基づいて、前記第１イベントにおける前記第１車両の運転者の前記一連の視線方向の評価情報を出力する評価情報出力ステップと、
を実行させるための情報処理プログラム。

【請求項12】

請求項１１に記載の情報処理プログラムを格納し、コンピュータが読取可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、情報処理プログラム及び記録媒体に関し、特に、運転の評価に関する情報の処理を行う情報処理装置、情報処理方法、情報処理プログラム及び記録媒体に関する。

【背景技術】

【0002】

車両の運転者の運転行動を評価する装置が提案されている。

【0003】

例えば、特許文献１には、車載カメラにより撮影された画像及び自車両の位置情報の少なくとも一方を用いて運転シーンを特定し、複数の運転シーンそれぞれに対応付けられた複数の評価ロジックのうち、特定した運転シーンのみに対応付けられた評価ロジックを実行することによって、運転行動に対する評価を導出する運転行動評価装置が開示されている。特許文献１には、当該評価ロジックにおいて、所定の時間間隔で取得された車両の挙動に関する車両挙動関連データを入力として用いることが開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－２４５２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

例えば、交差点での右左折等の特に注意が必要な運転行動の際に、運転者が安全確認動作を適正に行っているかどうかを評価することで、当該運転者の事故のリスクを評価できる可能性がある。

【0006】

しかし、安全確認動作は目視確認が中心であるため、例えば、上記のような車両の挙動に基づく評価だけでは運転者が適性に安全確認動作を行っているか否かがわからないことが課題の１つとして挙げられる。

【0007】

本発明は上記した点に鑑みてなされたものであり、運転者が安全確認を適正に行っているか否かを判定可能であり、車両の挙動には現れない潜在的な事故のリスクを評価可能である情報処理装置、情報処理方法、情報処理プログラム及び記録媒体を提供することを目的の１つとしている。

【課題を解決するための手段】

【0008】

請求項１に記載の発明は、第１車両の走行中に生じた第１イベント時の第１シチュエーションに関する情報を取得するシチュエーション情報取得部と、前記第１イベント中における前記第１車両の運転者の一連の視線方向を示す第１視線方向データを取得する視線方向データ取得部と、少なくとも前記第１シチュエーションに関する情報及び前記第１視線方向データに基づいて、前記第１イベントにおける前記第１車両の運転者の前記一連の視線方向の評価情報を出力する評価情報出力部と、を有することを特徴とする。

【0009】

請求項１０に記載の発明は、情報処理装置によって実行される情報処理方法であって、第１車両の走行中に生じた第１イベント時の第１シチュエーションに関する情報を取得するシチュエーション情報取得ステップと、前記第１イベント中における前記第１車両の運転者の一連の視線方向を示す第１視線方向データを取得する視線方向データ取得ステップと、少なくとも前記第１シチュエーションに関する情報及び前記第１視線方向データに基づいて、前記第１イベントにおける前記第１車両の運転者の前記一連の視線方向の評価情報を出力する評価情報出力ステップと、を含むことを特徴とする。

【0010】

請求項１１に記載の発明は、コンピュータを備える情報処理装置によって実行される情報処理プログラムであって、前記コンピュータに、第１車両の走行中に生じた第１イベント時の第１シチュエーションに関する情報を取得するシチュエーション情報取得ステップと、前記第１イベント中における前記第１車両の運転者の一連の視線方向を示す第１視線方向データを取得する視線方向データ取得ステップと、少なくとも前記第１シチュエーションに関する情報及び前記第１視線方向データに基づいて、前記第１イベントにおける前記第１車両の運転者の前記一連の視線方向の評価情報を出力する評価情報出力ステップと、を実行させるための情報処理プログラムである。

【図面の簡単な説明】

【0011】

【図1】実施例に係る情報処理システム１００を示す図である。

【図2】実施例に係る端末装置が搭載されている車両の前席部分を示す図である。

【図3】実施例に係る端末装置の構成を示すブロック図である。

【図4】実施例に係る視線方向データのサンプリングポイントを示す図である。

【図5】実施例に係る視線方向データの一例を示す図である。

【図6】実施例に係る情報処理装置の構成を示すブロック図である。

【図7】実施例に係るシチュエーション情報の一例を示す図である。

【図8】実施例に係る学習モデルの一例を模式的に示す図である。

【図9】実施例に係る端末装置が実行するルーチンの一例を示すフローチャートである。

【図10】実施例に係る情報処理装置が実行するルーチンの一例を示すフローチャートである。

【図11】実施例の変形例に係るシチュエーション情報の一例を示す図である。

【図12】実施例の変形例に係る学習モデルの一例を模式的に示す図である。

【図13】実施例の変形例に係る情報処理装置が実行するルーチンの一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下に本発明の実施例について詳細に説明する。なお、以下の説明及び添付図面においては、実質的に同一又は等価な部分には同一の参照符号を付している。

【実施例0013】

図１～図８を参照しつつ、実施例に係る情報処理装置１０を含む情報処理システム１００の構成について説明する。

【0014】

図１は、実施例１に係る情報処理システム１００の構成を示す図である。図１に示すように、情報処理システム１００は、情報処理装置１０、端末装置２０、及び管理サーバ５０を含んで構成されている。情報処理装置１０は、車両Ｍに搭載されている端末装置２０との間でネットワークＮＷを介して通信を行うサーバ装置である。なお、情報処理装置１０及び管理サーバ５０は、一体の装置として構成されてもよい。

【0015】

情報処理システム１００は、車両Ｍの走行中の安全確認が必要な場面で、運転者が適切に安全確認を行ったか否かを、運転者の一連の視線の方向を示す視線方向データを用いて評価するシステムである。

【0016】

車両Ｍの走行中には、交差点の通過、車線変更等の、ドライバーによる適切な安全確認が必要なイベントが生じる。

【0017】

本明細書において、上記イベントの開始から終了までの車両Ｍの走行の状況をシチュエーションであるとして説明する。シチュエーションは、例えば、１のイベント時に車両Ｍが走行している交差点の形状、具体的には三叉路、十字路、五叉路等の別、当該交差点のどこから進入してどこから退出するか等、交差点の通過態様を示すものとして説明する。

【0018】

例えば、交差点の通過というイベント中に、十字路を右折、Ｔ字路を左折等のシチュエーションが想定される。

【0019】

シチュエーション毎に適した安全確認があり、安全確認には目視確認を伴うものが多い。そこで、本発明では、車両Ｍの運転者が適切に安全確認を行ったか否かを評価するために、イベント中における当該運転者の一連の視線方向を示す情報を用いる。

【0020】

情報処理装置１０は、端末装置２０から車両Ｍの走行履歴と、車両Ｍの運転者の視線の方向を示す情報を取得して、当該取得した走行履歴及び視線方向データに基づいて当該運転者の運転の評価結果を示す評価情報を出力するサーバ装置である。

【0021】

端末装置２０は、車両Ｍ内に存在する端末装置である。端末装置２０は、車両Ｍの走行履歴を取得して情報処理装置１０に送信する。端末装置２０は、車内カメラを備えており、車両Ｍの運転者の顔を撮影した映像を取得する。当該映像から、運転者の視線方向を示すデータが取得される。端末装置２０は、当該視線方向を示すデータ又は運転者の顔を撮影した映像を情報処理装置１０に送信する。

【0022】

本実施例において、端末装置２０は、車両に搭載されている車載装置である。なお、端末装置２０は、車載装置に限られず、例えばスマートフォン等の車両の乗員が携帯する端末装置であってもよい。

【0023】

管理サーバ５０は、情報処理装置１０による運転に関する評価結果の管理を行うサーバ装置である。管理サーバ５０は、例えば、情報処理装置１０から車両Ｍの運転者を含む複数の運転者の運転に関する評価結果を取得して、集計等の管理を行う。例えば、管理サーバ５０は、保険会社において自動車保険に関する管理を行うサーバである。

【0024】

情報処理装置１０と端末装置２０と管理サーバ５０とは、ネットワークＮＷを介して、例えば、ＴＣＰ／ＩＰ等の通信プロトコルを用いて相互にデータの送受信が可能になっている。端末装置２０とネットワークＮＷとの接続は、例えば４Ｇ（4th Generation）又は５Ｇ（5th Generation）等の移動体通信、Ｗｉ－Ｆｉ（登録商標）等の無線通信によりなされ得る。

【0025】

図２は、車両Ｍの前席部分を示す図である。図２に示すように、端末装置２０は、車両Ｍのセンターコンソールに配置されている。本実施例において、端末装置２０は、経路生成機能及びナビゲーション機能（いわゆるカーナビゲーション機能）を有する。なお、端末装置２０自体はカーナビゲーション機能を有さなくてもよい。その場合は、端末装置２０は、車両Ｍに搭載されているカーナビゲーション装置に車両Ｍの走行履歴に関する情報を取得可能に接続されていてもよい。

【0026】

車内カメラ１１は、車両Ｍの内部を撮影するように取り付けられており、車両Ｍの運転席に居る運転者を撮影する。例えば、当該運転者を撮影した画像データから、運転者の視線方向を示すデータ又は運転者の顔の向きを示すデータが取得される。

【0027】

車内カメラ１１は、運転者の視線の向き又は顔の向きを検出できる位置であればいずれの位置に取り付けられていてもよい。例えば、車内カメラ１１は、ダッシュボードＤＢ上に取り付けられていてもよい。

【0028】

例えば、運転者の視線方向又は運転者の顔の向きを示すデータは、基準となる軸に対する運転者の視線の向き又は顔の向きを角度で表した数値である。

【0029】

図２中、運転者の視線の向き又は顔の向きを表した角度を運転者の頭の位置付近に模式的に示している。図２において、ＸＹ平面は水平面であり、Ｚ軸は、鉛直方向に沿った軸である。図２中、Ｙ方向は車両Ｍの前後方向を示し、Ｘ方向は車両Ｍの左右方向を示す。

【0030】

例えば、車両Ｍの運転者の視線方向は、例えば、Ｙ軸に沿った車両Ｍの後方を０°とし、前方を１８０°として、Ｚ軸すなわち鉛直方向の軸に沿った角度（Yaw角）によって表すことができる。

【0031】

なお、視線方向が真後ろの方向を跨いで変化することは稀であるので、前方を１８０°とすると取得する角度値が飛躍することは殆どない。

【0032】

なお、視線方向の表し方はこれに限られず、例えば上記の表し方に加えて、Ｘ軸周りの角度（Pitch角）を組み合わせてもよい。

【0033】

前方カメラ１３は、ルームミラーＲＭの裏、すなわちフロントガラスＦＧに対向する面に設けられている。前方カメラ１３は、車両Ｍの進行方向を撮影方向としている。車両Ｍの進行方向を前方としたとき、前方カメラ１３は、車両Ｍの前方、右前方及び左前方を含む範囲の画像を撮影可能に配置されている。

【0034】

前方カメラ１３は、車両Ｍの前方の映像を撮影可能であれば車両Ｍのいずれの箇所に設けられてもよい。例えば、前方カメラ１３は、ダッシュボードＤＢ上に配されていてもよく、車両Ｍの外側面（外装面）、例えばボンネット上またはフロントバンパー等に設けられていてもよい。

【0035】

前方カメラ１３は、端末装置２０と通信可能に接続されており、撮影した映像の信号を端末装置２０に送信することが可能である。前方カメラ１３によって撮影された映像は、例えば、車両Ｍの走行中に生じる交差点の通過等のイベント時のシチュエーションの特定に利用される。当該シチュエーションは、例えば、通過中の交差点の形状及び交差点における車両Ｍの進行方向を含む。

【0036】

ＧＮＳＳ受信機１５は、ＧＮＳＳ（Global Navigation Satellite System）衛星からの信号（ＧＮＳＳ信号）を受信する装置である。ＧＮＳＳ受信機１５は、例えば、ダッシュボードＤＢ上に配されている。なお、ＧＮＳＳ受信機１５は、ＧＮＳＳ信号が受信できれば車両Ｍ内のいずれの箇所に配されていてもよい。

【0037】

ＧＮＳＳ受信機１５は、端末装置２０と通信可能に接続されており、受信したＧＮＳＳ信号を端末装置２０に送信することが可能である。端末装置２０は、ＧＮＳＳ信号を用いて車両Ｍの現在位置情報を取得して記憶し、車両Ｍの走行履歴を生成する。

【0038】

タッチパネルディスプレイ１７は、タッチパネル及びディスプレイからなる。タッチパネルディスプレイ１７は、端末装置２０と通信可能に接続されている。タッチパネルディスプレイ１７のディスプレイは、端末装置２０から供給される画像を表示する。タッチパネルディスプレイ１７のタッチパネルは、タッチパネルへの接触による入力操作を示す信号を端末装置２０に送信する。

【0039】

例えば、タッチパネルディスプレイ１７は、車両Ｍの経路案内に関する表示及び入力操作の受付を行う。

【0040】

ステアリングホイール１９は、車両Ｍの操舵のための操縦操作を受け付ける部材である。ステアリングホイール１９は、ダッシュボードＤＢに対して回動可能に設けられている。ステアリングホイール１９が回動させられると、それに従って車両Ｍの操舵輪となる車輪が回動動作する。

【0041】

アクセルペダル２１は、運転席の足下に設けられており、運転者による踏み込み動作による、車両Ｍの走行用エンジンまたはモータ等の原動機の制御に関する操作を受け付ける部材である。すなわち、アクセルペダル２１は、車両Ｍの加減速に関する操縦操作を受け付ける部材である。

【0042】

ブレーキペダル２３は、運転席の足下に設けられており、運転者による踏み込み動作による、車両Ｍのブレーキの制御に関する操作を受け付ける部材である。すなわち、ブレーキペダル２３は、車両Ｍの減速に関する操縦操作を受け付ける部材である。

【0043】

まず、図３～６を参照しつつ、車両Ｍに搭載されている端末装置２０の構成及び機能について説明する。

【0044】

図３は、端末装置２０の構成を示すブロック図である。図３に示すように、端末装置２０は、システムバス２５を介して各部が接続されて構成されている。

【0045】

入力部２７は、端末装置２０と車両Ｍに備えられた機器とを通信可能に接続するインターフェースである。

【0046】

入力部２７は、端末装置２０と、車内カメラ１１とを通信可能に接続するインターフェースである。

【0047】

入力部２７は、端末装置２０と、前方カメラ１３とを通信可能に接続するインターフェースである。

【0048】

また、入力部２７は、端末装置２０とステアリングホイール１９の回転量や回転力等の操作に関する物理量を検出するセンサであるステアリングセンサ１９Ｓとを通信可能に接続するインターフェースである。

【0049】

入力部２７は、端末装置２０と、アクセルペダル２１の移動量や移動速度等の操作に関する物理量を検出するセンサであるアクセルセンサ２１Ｓとを通信可能に接続するインターフェースである。また、入力部２７は、端末装置２０とブレーキペダル２３の移動量や移動速度等の操作に関する物理量を検出するセンサであるブレーキセンサ２３Ｓとを通信可能に接続するインターフェースである。

【0050】

入力部２７は、端末装置２０とＧＮＳＳ受信機１５、ジャイロセンサＧＹ及び加速度センサＡＣとを通信可能に接続するインターフェースである。ジャイロセンサＧＹは、例えば、車両Ｍの横方向の角度（姿勢）や角速度あるいは角加速度を検出することが可能なセンサである。加速度センサＡＣは、車両Ｍの上方から見て車両Ｍの進行方向、すなわち前後方向と交差する方向の加速度を検出可能なセンサである。また、加速度センサＡＣは、例えば、車両Ｍの進行方向と垂直な横方向（幅方向）の加速度を検出可能である。

【0051】

端末装置２０は、ステアリングセンサ１９Ｓ、アクセルセンサ２１Ｓ、ブレーキセンサ２３Ｓ、ＧＮＳＳ受信機１５、ジャイロセンサＧＹ及び加速度センサＡＣのセンサ信号から、車両Ｍの挙動を示す車両挙動情報を取得してもよい。

【0052】

入力部２７は、端末装置２０とタッチパネルディスプレイ１７のタッチパネルとを通信可能に接続するインターフェースである。

【0053】

記憶部２９は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成されており、端末装置２０において実行される各種プログラムを記憶する。なお、各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、記憶部２９に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータに読み取り可能な記録媒体に記録して譲渡することが可能である。

【0054】

記憶部２９には、地図情報データベース（以下、地図情報ＤＢと称する）２９Ａが構築されている。地図情報データベース２９Ａには、端末装置２０による車両Ｍの走行履歴を示す情報の生成等に用いられる地図情報が格納されている。

【0055】

制御部３１は、ＣＰＵ（Central Processing Unit）３１Ａ、ＲＯＭ（Read Only Memory）３１Ｂ、ＲＡＭ（Random Access Memory）３１Ｃ等により構成され、コンピュータとして機能する。そして、ＣＰＵ３１Ａが、ＲＯＭ３１Ｂや記憶部２９に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。

【0056】

制御部３１は、入力部２７を介して、車両Ｍの現在位置情報をＧＮＳＳ受信機１５から取得して、車両Ｍの走行履歴を示す走行履歴情報（以下、単に走行履歴とも称する）を生成する。当該走行履歴情報は、例えば、時刻を示す情報と、その時刻における車両Ｍの位置を示す情報が対応付けられた情報である。また、走行履歴情報における車両Ｍの位置を示す情報は、地図上の位置を示す情報であってもよい。また、走行履歴情報には、地図情報が含まれていてもよい。

【0057】

制御部３１は、例えば、車両Ｍの走行履歴から、車両Ｍの走行中に生じた１又は複数のイベントを特定して、特定したイベントの各々に、識別子（イベントＩＤ）を付与する。ここで言うイベントは、上記したような交差点通過、合流、分岐等の車両Ｍのドライバーが適切な安全確認をすべき事象である。

【0058】

また、制御部３１は、入力部２７を介して、車両Ｍの運転者を撮影した映像を車内カメラ１１から取得する。制御部３１は、例えば、車内カメラ１１から取得された映像に基づいて、車両Ｍの運転者の視線の方向又は顔の向きを取得して、当該取得した視線の方向または顔の向きから当該運転者の視線方向を示す視線方向データを生成する。

【0059】

当該視線方向データが示す運転者の視線は、そのシチュエーションにおいて適切な視線方向であったか否かを情報処理装置１０が評価するために利用される。従って、イベントが生じている期間の運転者の視線方向データがあればよい。制御部３１は、例えば、車両Ｍの走行履歴から特定したイベント中の視線方向データを生成する。

【0060】

制御部３１は、例えば、車両Ｍがイベント中に走行した所定距離内の所定距離毎の時系列順の一連の視線方向の各々を示す視線方向データを生成する。また、制御部３１は、例えば、車両Ｍの走行中のイベント中の所定時間内における所定時間毎の時系列順の一連の視線方向の各々を示す視線方向データを生成する。

【0061】

図４は、交差点を通過するというイベント中に、制御部３１が視線方向データを生成する際のサンプリングポイントを示す図である。図４に示す例においては、交差点の中心の前後５０ｍを車両Ｍが走行している期間をイベント発生中としている。図４に示す例においては、車両Ｍが単位距離を走行する毎の視線方向を示す時系列順のデータが、一連の視線方向を示すデータとして生成される。制御部３１は、例えば、Ｚ軸周りまたはＺ軸及びＸ軸回りの角度を示す数値を、車両Ｍの運転者の視線方向を示す数値として視線方向データを生成してもよい。

【0062】

図４に示す例においては、１ｍおきに１００点の視線方向データのサンプリングを行う場合の例を示しており、Ｐ１、Ｐ２、Ｐ３～Ｐ１００はそれぞれサンプリングポイントを示している。

【0063】

なお、視線方向データのサンプリングは、車両Ｍの走行距離を基準とする場合に限られず、例えば、制御部３１は、交差点を通過する前後の所定時間、例えば交差点の中心を通過した時刻の前後１０秒の期間について、１００ミリ秒～１秒毎にサンプリングを行ってもよい。

【0064】

また、視線方向データのサンプリングは、車両Ｍの走行終了後に行われてもよく、リアルタイムで行われてもよい。

【0065】

図５は、制御部３１によって生成される視線方向データの一例を示す図である。上述したように、視線方向データは、車両Ｍの走行中に生じた１つのイベント中における運転者の視線方向を示す時系列のデータである。

【0066】

図５に示す例においては、１つのイベントについて、イベントＩＤ「ＡＡ」が記載されている。図５に示すように、イベントＩＤ「ＡＡ」のイベントについて、Ｐ１～Ｐ１００までの視線方向のサンプリングポイントの各々に、当該サンプリングポイントに車両Ｍが存在した時刻に取得されたＺ軸回りの視線角度、すなわち水平方向の視線角度が記載されている。

【0067】

端末装置２０は、車両Ｍの運転者の一連の視線方向データを情報処理装置１０に送信する。なお、端末装置２０は、視線方向データを生成することなく、車両Ｍの運転者を撮影した映像を情報処理装置１０に送信してもよい。その場合、情報処理装置１０において、走行履歴からイベントが特定されてイベントＩＤが付され、各サンプリングポイントに該当する映像の部分から視線方向データが取得される。

【0068】

再び図３を参照すると、制御部３１は、入力部２７を介して、車両Ｍの前方を撮影した画像を前方カメラ１３から取得する。

【0069】

制御部３１は、入力部２７を介して、車両Ｍに備えられたステアリングセンサ１９Ｓ等の各種センサから、車両Ｍの挙動に関する車両挙動情報を取得する。車両挙動情報は、例えば、車両Ｍの走行状態又は操作状態を示す情報である。

【0070】

例えば、制御部３１は、ジャイロセンサＧＹ及び加速度センサＡＣから信号を受信して、車両Ｍの加速度や進行方向等の挙動示す情報を車両挙動情報として取得する。なお、制御部３１は、前照灯やウィンカーの点灯状態を検出するセンサ（図示せず）から、前照灯やウィンカーの点灯状態を示す信号を受信して車両Ｍの挙動を示す情報を取得してもよい。

【0071】

また、制御部３１は、ステアリングホイール１９の回転量や回転力等の操作に関する物理量を示す信号を受信する。また、制御部３１は、アクセルペダル２１の移動量や移動速度等の操作に関する物理量を示す信号及びブレーキペダル２３の移動量や移動速度等の操作に関する物理量を示す信号を受信する。制御部３１はこれらの信号に基づいて、車両Ｍの操舵または加減速に対する操作の状態を示す操作情報を取得する。なお、制御部３１は、この操作情報に基づいて、車両Ｍの挙動を示す情報を取得してもよい。また、制御部３１は、操舵情報としてシフトレバーの位置を示す情報を取得可能であってもよい。

【0072】

このように、制御部３１は、上述したセンサからの信号に基づいて、車両Ｍの速度、進行方向、加減速等の走行状態又は操舵輪の舵角等を含む操作状態を示す情報である車両挙動情報を取得する機能を有していてもよい。制御部３１は、例えば、取得した車両挙動情報を情報処理装置１０に送信する。

【0073】

通信部３３は、無線装置（図示せず）に接続されているＮＩＣ（Network Interface Card）等のネットワークアダプタである。通信部３３は、制御部３１からの命令に従って、情報処理装置１０、管理サーバ５０及びその他の外部装置との通信を行う。例えば、通信部３３は、端末装置２０が車両Ｍの走行履歴及び車両Ｍの運転者の一連の視線方向データを情報処理装置１０に送信する際の通信を行う。

【0074】

また、例えば、通信部３３は、情報処理装置１０又は管理サーバ５０から、車両Ｍの運転者の一連の視線方向の評価結果を端末装置２０が受信する場合には、当該受信の際の通信を行う。

【0075】

出力部３５は、車両Ｍに備えられたタッチパネルディスプレイ１７のディスプレイに接続されている。出力部３５は、制御部３１からの命令に従って、ディスプレイに各種情報を供給するためのインターフェースである。

【0076】

例えば、出力部３５は、ナビゲーション画面を表示するための情報をディスプレイに供給する。また、例えば、出力部３５は、車両Ｍの運転者の一連の視線方向の評価結果を表示するための情報をディスプレイに供給する。例えば、情報処理装置１０による運転者の一連の視線方向の評価結果として点数がディスプレイに表示されてもよい。

【0077】

続いて、図６～１０を参照しつつ、情報処理装置１０の構成及び機能について説明する。

【0078】

図６は、情報処理装置１０の構成を示すブロック図である。図６に示すように、情報処理装置１０は、システムバス４１を介して各部が接続されて構成されているサーバ装置である。

【0079】

大容量記憶装置４３は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成された記憶装置である。大容量記憶装置４３は、情報処理装置１０において実行される各種プログラムを記憶する。なお、各種プログラムは、例えば他のサーバ装置等からネットワークを介して取得されてもよく、記録媒体に記録されて各種ドライブ装置を介して読み込まれてもよい。例えば、大容量記憶装置４３は、情報処理装置１０によって、車両Ｍの運転者の一連の視線方向の評価情報が出力される際に実行される情報処理プログラムを記憶する。

【0080】

大容量記憶装置４３は、各種プログラムを実行するために必要なデータが格納されたデータベースを記憶している。

【0081】

大容量記憶装置４３は、シチュエーションデータベース（以下、シチュエーションＤＢと称する）４３Ａを含む。シチュエーションＤＢ４３Ａには、シチュエーションの種別を特定するために必要な情報が記憶されている。

【0082】

シチュエーションＤＢ４３Ａには、例えば、安全確認が必要なシチュエーションの各々を特定する識別子（シチュエーションＩＤ）と、そのシチュエーションの内容を示す情報とが対応付けられて記憶されている。

【0083】

当該シチュエーションの内容を示す情報は、例えば、イベント中に車両Ｍが走行した道路の形状、及び車両Ｍが当該道路を通過した際の通過の態様が含まれる。当該通過の態様は、例えば、当該イベント中に車両Ｍが通過した道路への進入退出方向である。

【0084】

図７は、シチュエーションＤＢ４３Ａに記憶されているシチュエーション情報の一例を示す図である。図７に示すように、道路形状と進入退出方向との組ごとに、シチュエーションＩＤが付されている。

【0085】

図７に示す例においては、例えば、道路形状「十字路」と進入退出方向「右折」との組、すなわち「十字路を右折する」というシチュエーションに対してシチュエーションＩＤ「１」が付されている。同様に、道路形状「十字路」と進入退出方向「左折」との組、すなわち「十字路を左折する」というシチュエーションに対してシチュエーションＩＤ「２」、道路形状「Ｔ字路」と進入退出方向「左折」との組、すなわち「Ｔ字を左折する」というシチュエーションに対してシチュエーションＩＤ「４」が付されている。

【0086】

図７に示す例では道路形状と進入退出方向との組ごとにシチュエーションが区分されているが、さらに、車両Ｍの走行の状況を示す要素を追加して、シチュエーションの区分をより細分化してもよい。例えば、図７の道路形状と進入退出方向に加えて、イベント中に車両Ｍが走行した道路における信号機の有無、または、イベント中に車両Ｍが走行した道路の進入退出方向に対する信号機の表示色又は矢印信号の点灯状態等を、車両Ｍの走行の状況を示す要素として追加し、それぞれの要素の組ごとにシチュエーションＩＤが付与されるようにしてもよい。さらに、車両Ｍの走行の状況を示す要素として、走行時の時刻帯や天候が追加されてもよい。シチュエーションの区分をより細分化することで、後述する学習済みモデルを用いた車両Ｍの運転者の一連の視線方向の評価情報の精度をより高めることが可能となる。

【0087】

また、大容量記憶装置４３は、学習モデル記憶部４３Ｂを含む。学習モデル記憶部４３Ｂは、車両の走行中に生じたイベント時のシチュエーションを示すシチュエーションＩＤ及び当該イベント中における当該車両の運転者の一連の視線方向を示す視線方向データを入力として、車両の運転者の一連の視線方向の評価情報を出力とする学習済みモデルを記憶している。学習モデル記憶部４３Ｂに記憶された学習済みモデルは、例えば深層学習の手法を用いて構築された数理モデルである。

【0088】

情報処理装置１０は、学習モデル記憶部４３Ｂに記憶されている学習済みモデルを用いて、車両Ｍの運転者の一連の視線方向の評価情報を出力する。

【0089】

図８は、学習モデル記憶部４３Ｂに記憶されている学習済みモデルの一例である学習済みモデルＭ１を模式的に示す図である。図８は、学習済みモデルＭ１の出力として、車両Ｍの運転者の一連の視線方向の評価を点数として表した運転スコアの各々を示す数値が出力される例について示している。

【0090】

図８に示す学習済みモデルＭ１は、ディープラーニング（深層学習）によって構築されたニューラルネットワークである。当該ニューラルネットワークは、入力層、２つ又は３つ以上の中間層（隠れ層）及び出力層から構成されている。

【0091】

例えば、学習済みモデルＭ１の入力層には、車両Ｍの運転者の一連の視線方向データを構成するサンプリングポイントごとの視線方向データ１～１００及びシチュエーションＩＤを示す数値が入力される。

【0092】

例えば、視線方向データ１～１００の各々は、運転者の視線の方向を角度で表した数値である。例えば、図２に示したように、視線方向が真後ろの方向を跨いで変化することは稀であるので、前方を１８０°とすると取得する角度値が飛躍することは殆ど無く、前方を１８０°として取得する角度値は、学習モデルに入力する値として適している。

【0093】

また、例えば、シチュエーションＩＤが数値として付されている場合には当該数値がそのまま入力層から入力されてもよい。例えば、シチュエーションＩＤが数値以外の文字を含む場合は、当該シチュエーションＩＤを数値に変換したものが入力層から入力されることとしてもよい。

【0094】

入力層への入力がなされると、出力層では、車両Ｍの運転者の一連の視線方向の評価結果を示す数値が出力される。例えば、出力層では、運転スコアを示す数値が出力される。

【0095】

例えば、出力層に、３段階の運転スコア１～３のいずれかを示す数値が出力されてもよい。例えば、運転スコア３が一番良いスコアであり、例えば熟練運転者のスコアに相当する。運転スコアは、３段階に限られず、２段階、又は４段階以上の点数で表されてもよい。

【0096】

すなわち、学習済みモデルＭ１は、車両の走行中に生じた１のイベント時の１のシチュエーションに関する１のシチュエーション情報と、当該１のイベント中における当該車両の運転者の一連の視線方向データと、を入力とし、当該車両の運転者の一連の視線方向の評価情報を出力とするように構築されている。

【0097】

なお、学習済みモデルＭ１は、出力層において、例えば、運転スコアの各々に該当する確率を示す数値を出力するように構築されていてもよい。

【0098】

学習済みモデルＭ１は、例えば以下のような教師あり学習によって機械学習がなされて構築される。例えば、学習に用いるデータを取得するために用いる車両を学習用車両とする。学習用車両の運転者を、例えば、いわゆる熟練運転者（経験豊富な運転者又は運転の上級者）を含む様々な運転スキルを有する複数の運転者とする。当該熟練運転者は、例えば運転に関する指導員の経験を有する者を含んでもよい。なお、学習用車両の運転者は、様々な運転スキルのレベルの運転者を含んでいれば、低いスコアから高いスコアまでの機械学習を行うことができる。

【0099】

学習モデルの学習工程においては、複数の学習用車両の走行中に生じた１のイベントについて、イベント時のシチュエーションを示すシチュエーションＩＤ（図７参照）と、当該学習用車両の運転者の、当該イベント中における一連の視線方向データ（図５参照）と、を取得して入力データとする。入力データ毎、すなわち、シチュエーションＩＤと一連の視線方向データの組ごとに、運転スコアを決定して正解データとする。

【0100】

当該入力データを複数の中間層を有するニューラルネットワークに入力して、出力が正解データの運転スコアとなるように、ニューラルネットワークのパラメータを誤差逆伝搬法によって更新しながら学習を行う。このような学習を多数のイベント、多数の車両、及び多数の運転者について行うことで、学習済みモデルＭ１を構築することができる。

【0101】

なお、学習済みモデルＭ１の構築において、例えば、すべてのシチュエーションＩＤの各々について多数のデータを用いて学習することが好ましい。

【0102】

制御部４５は、ＣＰＵ（Central Processing Unit）４５Ａ、ＲＯＭ（Read Only Memory）４５Ｂ、ＲＡＭ（Random Access Memory）４５Ｃ等により構成され、コンピュータとして機能する。そして、ＣＰＵ４５Ａが、ＲＯＭ４５Ｂや大容量記憶装置４３に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。

【0103】

制御部４５は、大容量記憶装置４３に記憶された情報処理プログラムを読み出して実行することで、車両Ｍの走行中に生じた１のイベント時における当該車両Ｍの運転者の一連の視線方向の評価情報を出力する。

【0104】

制御部４５は、例えば、端末装置２０から車両Ｍの走行履歴を取得して、当該走行履歴において、車両Ｍが、例えば安全確認が必要な注意地点等の道路上の所定の部分を通過した場合に、当該道路上の所定の部分の通過を１のイベントとして特定する。例えば、「交差点の通過」が１のイベントとして特定される。

【0105】

制御部４５は、例えば、車両Ｍの走行履歴に基づいて、１のイベント時に車両Ｍが通過した道路の形状及び通過の態様を特定する。当該通過の態様として、制御部４５は、例えば、１のイベント時に車両Ｍが通過した道路上の所定の部分への進入方向及び退出方向である進入退出方向を特定する。

【0106】

具体的には、例えば、当該道路の形状として「十字路」、通過の態様として「右折」等が特定される。つまり、１のイベント時のシチュエーションが特定される。

【0107】

制御部４５は、走行履歴に基づいて取得した当該道路の形状及び通過の態様に基づいて、シチュエーションに関する情報を取得する。例えば、制御部４５は、シチュエーションＤＢ４３Ａを参照し、シチュエーションを示す数値を取得する。

【0108】

制御部４５は、車両Ｍの走行中に生じた第１イベント時の１のシチュエーションに関する情報を取得するシチュエーション情報取得ステップを実行するシチュエーション情報取得部として機能する。

【0109】

制御部４５は、１のイベント中における車両Ｍの運転者の一連の視線方向を示す視線方法データを端末装置２０から取得する。

【0110】

制御部４５は、車両Ｍに備えられた車内カメラ１１によって取得された、車両Ｍの運転者の顔を撮影した映像を端末装置２０から取得し、当該映像からイベント中における一連の視線方向データを取得してもよい。

【0111】

制御部４５は、第１イベント中における車両Ｍの運転者の一連の視線方向を示す第１視線方向データを取得するステップ（視線方向データ取得ステップ）を実行する視線方向データ取得部として機能する。

【0112】

制御部４５は、例えば、シチュエーションに関する情報及び一連の視線方向データに基づいて評価情報を出力する。

【0113】

制御部４５は、例えば、シチュエーションを示すシチュエーションＩＤ及び一連の視線方向データを入力として車両の運転者の一連の視線方向データの評価情報を出力するように構築された学習済みモデルを用いて、車両Ｍの運転者の一連の視線方向データの評価情報を出力する。

【0114】

制御部４５は、少なくとも第１シチュエーションに関する情報及び第１視線方向データに基づいて、第１イベントにおける第１車両の運転者の一連の視線方向の評価情報を出力するステップ（評価情報出力ステップ）を実行する評価情報出力部として機能する。

【0115】

通信部４７は、無線装置（図示せず）に接続されているＮＩＣ（Network Interface Card）等のネットワークアダプタである。通信部４７は、制御部４５からの命令に従って、情報処理装置１０と外部との通信を行う。

【0116】

例えば、通信部４７は、情報処理装置１０が、車両Ｍの走行履歴及び車両Ｍの運転者の視線方向データを端末装置２０から取得する際の通信を行う。また、通信部４７は、例えば、情報処理装置１０が、車両Ｍの運転者の一連の視線方向の評価情報を出力して管理サーバ５０に送信する際の通信を行う。

【0117】

図９～図１０を参照しつつ、本実施例における情報処理システム１００において実行される情報処理について説明する。

【0118】

図９は、端末装置２０の制御部３１によって実行されるルーチンの一例である走行履歴送信ルーチンＲＴ１を示すフローチャートである。制御部３１は、例えば、車両Ｍが一連の走行を終了し、ＡＣＣ電源がＯＦＦになると、走行履歴送信ルーチンＲＴ１を開始する。また、例えば、制御部３１は、車両Ｍの経路案内が終了して目的地に到着すると、走行履歴送信ルーチンＲＴ１を開始する。

【0119】

制御部３１は、走行履歴送信ルーチンＲＴ１を開始すると、車両Ｍの一連の走行履歴を示す走行履歴情報を生成する（ステップＳ１０１）。ステップＳ１０１において、例えば、制御部３１は、時刻を示す情報と、その時刻における車両Ｍの地図上の位置を示す情報が対応付けられた情報を走行履歴情報として生成する。また、ステップＳ１０１において、例えば、地図情報を含む走行履歴情報が生成される。

【0120】

ステップＳ１０１の実行後、制御部３１は、走行履歴情報に基づいて、車両Ｍの走行中にイベントが生じたか否かを判定する（ステップＳ１０２）。ステップＳ１０２において、例えば、制御部３１は、車両Ｍが走行した経路に交差点、Ｔ字路、五差路等の、安全確認が必要になるような地点が含まれる場合に、イベントが生じたと判定する。ステップＳ１０２において、例えば、車両Ｍの走行履歴にナビゲーション機能上の案内地点が含まれる場合に、イベントが生じたと判定されてもよい。

【0121】

制御部３１は、ステップＳ１０２において、イベントが生じていないと判定する（ステップ１０２：ＮＯ）と、走行履歴送信ルーチンＲＴ１を終了する。

【0122】

制御部３１は、ステップＳ１０２において、イベントが生じたと判定する（ステップ１０２：ＹＥＳ）と、生じたイベントの各々にイベントＩＤを付与する（ステップＳ１０３）。

【0123】

ステップＳ１０３の実行後、制御部３１は、イベントＩＤが付されたイベントの各々について、イベント中における車両Ｍの運転者の一連の視線方向データを生成する（ステップＳ１０４）。ステップＳ１０４において、例えば、制御部３１は、入力部２７を介して、車内カメラ１１によって撮影された車両Ｍの運転者の顔を撮影した映像を取得し、当該映像から推定される視線方向を示す数値の時系列のデータを生成する。

【0124】

ステップＳ１０４の実行後、制御部３１は、ステップＳ１０１において生成した車両Ｍの走行履歴情報及びステップＳ１０３において生成したイベントの各々についての一連の視線方向データを情報処理装置１０に送信する（ステップ１０５）。ステップＳ１０５において、例えば、制御部３１は、車両Ｍの走行履歴情報及び視線方向データを含むデータに、車両Ｍを特定可能な識別子を付して送信する。

【0125】

ステップＳ１０５の実行後、制御部３１は、走行履歴送信ルーチンＲＴ１を終了する。

【0126】

なお、端末装置２０の制御部３１は、車両ＭのＡＣＣ電源がＯＮとなった場合に、走行履歴送信ルーチンＲＴ１を開始することとし、車両Ｍが交差点、Ｔ字路、五差路等の、安全確認が必要になるような地点を通過するイベントが生じるたびに、当該イベントに関して、車両Ｍの走行履歴情報及び視線方向データを含むデータに、車両Ｍを特定可能な識別子を付して送信するようにしてもよい。

【0127】

図１０は、情報処理装置１０の制御部４５によって実行されるルーチンの一例である評価ルーチンＲＴ２を示すフローチャートである。制御部４５は、例えば、情報処理装置１０に電源が投入されると、評価ルーチンＲＴ２を開始する。

【0128】

制御部４５は、評価ルーチンＲＴ２を開始すると、端末装置２０から車両の走行履歴及び視線方向データを受信したか否かを判定する（ステップＳ２０１）。

【0129】

制御部４５は、ステップＳ２０１において、走行履歴及び視線方向データを受信していないと判定する（ステップＳ２０１：ＮＯ）と、評価ルーチンＲＴ２を終了し、次の評価ルーチンＲＴ２を新たに開始する。

【0130】

制御部４５は、ステップＳ２０１において、走行履歴及び視線方向データを受信したと判定する（ステップＳ２０１：ＹＥＳ）と、受信した走行履歴及び視線方向データに含まれる１又は複数のイベントのうちのｋ番目のイベントを特定する（ステップＳ２０２）。

【0131】

ステップＳ２０１において、制御部４５は、第１イベント中における第１車両の運転者の一連の視線方向を示す第１視線方向データを取得する視線方向データ取得部として機能する。

【0132】

ステップＳ２０２の実行後、制御部４５は、ステップＳ２０２において特定されたイベント時のシチュエーションを特定する（ステップＳ２０３）。ステップＳ２０３において、例えば、制御部４５は、シチュエーションＤＢ４３Ａを参照し、車両Ｍの走行履歴に基づいて、当該イベント時に車両Ｍが走行していた道路の形状及び進入退出方向がいずれのシチュエーションＩＤに該当するかを特定する。

【0133】

ステップＳ２０３において、例えば、制御部４５は、地図情報から道路の形状を特定する。地図情報は、走行履歴と共に端末装置２０から送られてきてもよい。また、走行履歴に地図情報が含まれていてもよい。又は、走行履歴に含まれる位置情報に基づいて、情報処理装置１０が有する地図情報を参照して道路の形状を特定してもよい。

【0134】

ステップＳ２０３において、制御部４５は、第１車両の走行中に生じた第１イベント時の第１シチュエーションに関する情報を取得するシチュエーション情報取得部として機能する。

【0135】

ステップＳ２０３の実行後、制御部４５は、ステップＳ２０３において特定したシチュエーションＩＤと、ステップＳ２０２において特定したｋ番目のイベントにおける車両Ｍの運転者の一連の視線方向を示す視線方向データとを入力として、当該車両Ｍの運転者の一連の視線方向の評価情報を出力する（ステップＳ２０４）。

【0136】

ステップＳ２０４において、例えば、制御部４５は、図８に示したような学習モデルを用いて、当該評価情報を出力する。ステップＳ２０４において、例えば、制御部４５は、一連の視線方向データ１～１００及びシチュエーションＩＤを学習済みモデルに入力すると、学習済みモデルから、運転スコアを示す値が出力される。

【0137】

ステップＳ２０４において、制御部４５は、第１シチュエーションに関する情報及び第１視線方向データを入力とし、第１イベントにおける第１車両の運転者の一連の視線方向の評価情報を出力する評価情報出力部として機能する。

【0138】

ステップＳ２０４の実行後、制御部４５は、ｋをインクリメントしてｋ＋１をｋとする（ステップＳ２０５）。

【0139】

ステップＳ２０５の実行後、制御部４５は、ステップＳ２０１において受信した走行履歴及び視線方向データを参照し、ｋ番目のイベントが存在するか否かを判定する（ステップＳ２０６）。

【0140】

制御部４５は、ステップＳ２０６において、ｋ番目のイベントが存在すると判定する（ステップＳ２０６：ＹＥＳ）と、ステップＳ２０２に戻り、再びｋ番目のイベントを特定する。

【0141】

制御部４５は、ステップＳ２０６において、ｋ番目のイベントが存在しないと判定する（ステップＳ２０６：ＮＯ）と、一連の視線方向の評価情報を外部に送信する（ステップＳ２０７）。ステップＳ２０７において、例えば、制御部４５は、ステップＳ２０４において生成した一連の視線方向の評価情報を管理サーバ５０に送信する。また、ステップＳ２０７において、例えば、制御部４５は、ステップＳ２０４において生成した一連の視線方向の評価情報を車両Ｍの運転者が携帯するスマートフォン等の端末装置（図示せず）に送信してもよい。

【0142】

制御部４５は、ステップＳ２０７の実行後、評価ルーチンＲＴ２を終了し、次の評価ルーチンＲＴ２を新たに開始する。

【0143】

なお、端末装置２０の制御部３１が、安全確認が必要になるような地点を通過するイベントが生じるたびに、当該イベントに関して、車両Ｍの走行履歴情報及び視線方向データを含むデータを送信する場合は、制御部４５は、上述したステップＳ２０２、Ｓ２０５およびＳ２０６を省略し、新たなイベントに関する車両Ｍの走行履歴情報及び視線方向データを含むデータを受信するたびに、視線方向の評価情報の生成及び送信を行うようにしてもよい。

【0144】

以上、説明したように、本実施例の情報処理装置１０は、第１車両としての車両Ｍの走行中に生じた１のイベントである第１イベント時の第１シチュエーションに関する情報を取得するシチュエーション情報取得部と、当該第１イベント中における第１車両の運転者の一連の視線方向を示す第１視線方向データを取得する視線方向データ取得部と、少なくとも第１シチュエーションに関する情報及び第１視線方向データに基づいて、第１イベントにおける第１車両の運転者の一連の視線方向の評価情報を出力する評価情報出力部と、を有する。

【0145】

なお、ここまで情報処理装置１０の評価情報出力部として、機械学習により構築された学習済みモデルを利用することで、運転者の一連の視線方向の評価情報の生成を行う例を説明したが、評価情報出力部として用いられる評価モデルは機械学習による学習済みモデルに限定されるものではなく、例えば、シチュエーションに関する情報や運転者の一連の視線方向を示す視線方向データの解析結果に基づいて、人間が所定のアルゴリズムを設定することでルール化したルールベースの評価モデルを用いることとしてもよい。しかしながら、シチュエーション別の運転者の一連の視線方向と当該視線方向の評価情報の相関関係は、交差点の形状のバリエーション数と当該交差点の進入退出方向の組合せのバリエーション数とが非常に多いことから極めて複雑であり、すべてのバリエーションに対して許容レベルの評価情報を得ることが困難となるため、評価モデルには機械学習により構築された学習済みモデルを採用することが好適である。

【0146】

このような構成により、情報処理装置１０によれば、例えば、熟練運転者の安全確認時の視線の運び方を正しい視線方向、すなわち最も良い評価情報（運転スコア）に該当する視線方向として、評価対象の運転者の視線の運び方についての評価情報を出力することができる。

【0147】

従って、運転者が安全確認を適正に行っているか否かを判定可能であり、車両の挙動には現れない潜在的な事故のリスクを評価可能である情報処理装置、情報処理方法、情報処理プログラム及び記録媒体を提供することができる。

【0148】

［変形例］
図１１～図１３を参照しつつ、本実施例の変形例に係る情報処理装置１０を含む情報処理システム１００について説明する。

【0149】

本変形例において、情報処理装置１０の大容量記憶装置４３のシチュエーションＤＢ４３Ａには、実施例におけるシチュエーション情報とは異なる態様で、シチュエーションに関する情報が記憶されている。

【0150】

また、本変形例において、大容量記憶装置４３の学習モデル記憶部４３Ｂには、実施例における学習モデルとは、入力するデータの種類の一部が異なる学習モデルが記憶されている。

【0151】

その他の点においては、情報処理装置１０、端末装置２０及びこれらを含む情報処理システム１００は実施例の場合と同様に構成されている。

【0152】

上述の実施例では、道路の形状及び通過の態様に基づいてシチュエーションＩＤを特定してシチュエーションに関する情報としていたところ、本変形例では、イベント時の車両Ｍの地図上の位置から求まる道路上の地点を示す情報と、当該道路上の地点を車両Ｍが通過する際の通過の態様を示す情報と、の組をシチュエーションに関する情報とする。

【0153】

本変形例において、情報処理装置１０は、道路上の地点を示す情報と通過の態様を示す情報との組を入力として、視線方向の評価情報を出力する装置である。

【0154】

図１１は、本変形例のシチュエーションＤＢ４３Ａに記憶されているシチュエーションに関する情報の一例を示す図である。

【0155】

本変形例において、イベントは、安全確認が必要な注意地点で生じることとし、イベント時の車両Ｍの地図上の位置は注意地点となる。注意地点の一例として、交差点が挙げられる。

【0156】

図１１に示す例は、所定の交差点を視線方向の評価を行う交差点とする場合について示している。図１１に示すように、当該所定の交差点の各々に交差点ＩＤが付され、交差点の各々の位置情報が記載されている。さらに、交差点の通過の態様としての進入退出方向毎に、進入退出方向ＩＤが付されている。

【0157】

進入退出方向として、例えば、五差路の場合、１つの進入経路につき４つの退出経路が存在するため、各経路に時計回りに１～５の番号をつけると、経路１から進入する場合は（1→２）、（1→３）、（1→４）、（1→５）、と表すことができる。

【0158】

図１２は、本変形例に係る学習済みモデルＭ２の一例を模式的に示す図である。学習済みモデルＭ２は、学習済みモデルＭ１におけるシチュエーションＩＤを示す数値の代わりに、交差点ＩＤ及び進入退出方向ＩＤを入力としている点で、学習済みモデルＭ１と異なる。

【0159】

学習済みモデルＭ２には、車両Ｍの運転者の一連の視線方向データを構成するサンプリングポイントごとの視線方向データ１～１００、交差点ＩＤ及び進入退出方向ＩＤが入力される。

【0160】

学習済みモデルＭ２への入力がなされると、学習済みモデルＭ２は、車両Ｍの運転者の一連の視線方向の評価結果を示す数値を出力する。例えば、学習済みモデルＭ２は、上述したように、一連の視線方向の評価情報として、運転スコアを示す数値を出力する。

【0161】

学習済みモデルＭ２は、例えば以下のような教師あり学習によって構築される。上述のような学習用車両の走行中に生じた１のイベントについて、当該イベント中における一連の視線方向データ（図６参照）と、イベント時のシチュエーションに関する情報としての交差点ＩＤと進入退出方向ＩＤとの組とを取得して入力データとする。入力データ毎、すなわち、交差点ＩＤ及び進入退出方向ＩＤと一連の視線方向データの組ごとに、運転スコアを決定して正解データとする。

【0162】

当該入力データを複数の中間層を有するニューラルネットワークに入力して、出力が正解データの運転スコアとなるように、ニューラルネットワークのパラメータを誤差逆伝搬法によって更新しながら学習を行う。このような学習を多数のイベント、多数の車両、及び多数の運転者について行うことで、学習済みモデルＭ２を構築することができる。

【0163】

なお、学習済みモデルＭ２の構築において、例えば、より多くの交差点ＩＤの各々について多数のデータを用いて学習することが好ましい。

【0164】

このように、学習済みモデルＭ２の構築の際には、交差点ＩＤを用いて、個別の交差点を区別して学習が行われるので、交差点毎の詳細な特徴、例えば、予告信号機の有無、信号機の高さ位置、見通しの悪さなどの影響を学習モデルの構築に反映させることが可能となり、より精度の高い評価が可能となる。

【0165】

図１３は、本変形例に係る情報処理装置１０の制御部４５によって実行されるルーチンの一例である評価ルーチンＲＴ３を示すフローチャートである。評価ルーチンＲＴ３は、評価ルーチンＲＴ２と同様に進行し、ステップＳ２０３の代わりにステップＳ３０３を実行する点において評価ルーチンＲＴ２と異なる。

【0166】

評価ルーチンＲＴ３のステップＳ２０２の実行後、制御部４５は、ステップＳ２０２において特定されたイベント時の注意地点及び進入退出方向を特定する（ステップＳ３０３）。ステップＳ３０３において、例えば、制御部４５は、シチュエーションＤＢ４３Ａを参照し、車両Ｍの走行履歴に基づいて、当該イベント時に車両Ｍが走行していた交差点の交差点ＩＤ及び当該交差点を車両Ｍが通過した際の進入退出方向ＩＤを特定する。

【0167】

ステップＳ３０３において、例えば、制御部４５は、車両Ｍの走行履歴に含まれるイベント時の車両Ｍの位置を示す位置情報及び地図情報に基づいて、イベント時に車両Ｍが走行していた交差点及び進入退出方向を特定する。

【0168】

ステップＳ３０３において、制御部４５は、第１車両の走行中に生じた第１イベント時の第１シチュエーションに関する情報を取得するシチュエーション情報取得部として機能する。

【0169】

本変形例によれば、シチュエーションに関する情報として、交差点ＩＤ及び進入退出方向ＩＤを用いて、個別の交差点についての一連の視線方向の評価情報が得られる。例えば、交差点毎の詳細な特徴、例えば、予告信号機の有無、信号機の高さ位置、見通しの悪さなどの影響を学習モデルの構築に反映させることが可能となり、より精度の高い視線方向の評価が可能となる。

【0170】

従って、運転者が安全確認を適正に行っているか否かを高い精度で判定可能であり、車両の挙動には現れない潜在的な事故のリスクをより詳細に評価可能である情報処理装置、情報処理方法、情報処理プログラム及び記録媒体を提供することができる。

【0171】

上述した実施例における構成及びルーチンは例示に過ぎず、用途等に応じて適宜選択及び変更可能である。

【0172】

なお、上記の実施例及び変形例において、一連の視線方向の評価をリアルタイムで実行するようにしてもよい。その場合、例えば、端末装置２０の制御部３１又は情報処理装置１０の制御部４５が、車両Ｍの現在位置からイベントを特定し、車両Ｍの進行予定の経路から進行予定方向を取得し、当該車両Ｍの現在位置及び車両Ｍの進行予定方向に基づいて、シチュエーションに関する情報を取得してもよい。その場合、情報処理装置１０の制御部４５の機能が端末装置２０の制御部３１に備えられていてもよい。

【0173】

なお、上記の実施例及び変形例における視線方向の評価において、上述したような車両の挙動を示す情報をさらに入力として用いてもよい。例えば、学習済みモデルＭ１又は学習済みモデルＭ２の入力として、ステアリングホイール１９、アクセルペダル２１若しくはブレーキペダル２３の操作に関する物理量を示す情報、車両Ｍの加速度や進行方向等の挙動示す情報、前照灯やウィンカーの点灯状態を示す情報、又はシフトレバーの位置を示す情報を用いてもよい。これによって、車両の操作を適切に行っていたか否か及び当該操作のタイミングに関連した視線方向の評価を含めた評価を実現することができ、視線方向及び運転に関するより高い精度の評価を実行することができる。

【符号の説明】

【0174】

１０ 情報処理装置
２０ 端末装置
２７ 入力部
２９ 記憶部
３１ 制御部
３３ 通信部
３５ 出力部
４３ 大容量記憶装置
４３Ａ シチュエーションＤＢ
４３Ｂ 学習モデル記憶部
４５ 制御部
４７ 通信部
５０ 管理サーバ
１００ 情報処理システム
Ｍ 車両

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】