特開 2023-57664 情報処理装置、情報処理方法、情報処理プログラム及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023057664

(43)【公開日】2023-04-24

(54)【発明の名称】情報処理装置、情報処理方法、情報処理プログラム及び記録媒体

(51)【国際特許分類】

   G08G 1/00 20060101AFI20230417BHJP

【ＦＩ】

G08G1/00 D

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2021167257

(22)【出願日】2021-10-12

(71)【出願人】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】110001025

【氏名又は名称】弁理士法人レクスト国際特許事務所

(72)【発明者】

【氏名】加藤 信彦

(72)【発明者】

【氏名】荒井 和明

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181BB05

5H181CC04

5H181CC12

5H181EE02

5H181FF04

5H181FF05

5H181FF10

5H181FF22

5H181FF27

5H181FF32

5H181FF40

5H181MB02

(57)【要約】

【課題】
本発明は上記した点に鑑みてなされたものであり、運転者が安全確認動作を適正に行っているか否かを判定可能であり、車両の挙動には現れない潜在的な事故のリスクを高い精度で評価可能である情報処理装置、情報処理方法、情報処理プログラム及び記録媒体を提供することを目的の１つとしている
【解決手段】
第１車両の走行中に所定のイベントが生じた際の前記第１車両の位置及び進行方向を示す走行データを取得する走行データ取得部と、前記イベント中における前記第１車両の運転者の一連の視線方向を示す第１視線方向データを取得する視線方向データ取得部と、少なくとも、前記イベントが生じた際の前記第１車両の位置、前記第１車両の前記イベント中の前記進行方向及び前記第１視線方向データに基づいて、前記イベントにおける前記第１車両の運転者の前記一連の視線方向の評価情報を生成する評価情報生成部と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１車両の走行中に所定のイベントが生じた際の前記第１車両の位置及び進行方向を示す走行データを取得する走行データ取得部と、
前記イベント中における前記第１車両の運転者の一連の視線方向を示す第１視線方向データを取得する視線方向データ取得部と、
少なくとも、前記イベントが生じた際の前記第１車両の位置、前記第１車両の前記イベント中の前記進行方向及び前記第１視線方向データに基づいて、前記イベントにおける前記第１車両の運転者の前記一連の視線方向の評価情報を生成する評価情報生成部と、
を有することを特徴とする情報処理装置。

【請求項2】

前記評価情報生成部は、前記イベントが生じた際の前記第１車両の位置に基づいて選択された第１評価手段に前記第１車両の前記イベント中の前記進行方向及び前記第１視線方向データを入力し、前記イベントにおける前記第１車両の運転者の前記一連の視線方向の評価情報を出力することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記評価情報生成部は、各々が複数の交差点の各々に対応付けられた複数の評価手段の中から、前記第１車両の位置に基づいて決まる交差点に対応する前記第１評価手段を選択することを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記複数の評価手段の各々は、車両の走行中に前記所定のイベントが生じた際の前記車両の進行方向及び前記車両の運転者の一連の視線方向を示す視線方向データを入力すると、車両の運転者の一連の視線方向に関する評価情報を出力するように機械学習がなされた学習済みモデルであることを特徴とする請求項３に記載の情報処理装置。

【請求項5】

前記複数の評価手段の各々は、車両の実際の走行中に生じた前記所定のイベント中における前記車両の進行方向と、前記車両の複数の運転者の各々の一連の実視線方向を示す実視線方向データと、前記実視線方向の評価情報と、を学習データとして機械学習がなされた学習済みモデルであることを特徴とする請求項４に記載の情報処理装置。

【請求項6】

前記複数の評価手段の各々は、所定の安全確認ルールに基づくシミュレーションにより再現された、仮想の車両の走行中に生じる前記所定のイベント中における前記仮想の車両の進行方向と、前記仮想の車両の複数の仮想の運転者の各々の一連の仮想視線方向を示す仮想視線方向データと、前記仮想視線方向の評価情報と、を学習データとして用いた機械学習がなされた学習済みモデルであることを特徴とする請求項４に記載の情報処理装置。

【請求項7】

前記複数の評価手段の各々は、前記所定のイベントが生じた際の前記車両の進行方向、前記車両の運転者の一連の視線方向を示す視線方向データ及び前記第１車両の挙動を示す情報を入力すると、車両の運転者の一連の視線方向に関する評価情報を出力することを特徴とする請求項３乃至６のいずれか１つに記載の情報処理装置。

【請求項8】

前記第１視線方向データは、前記第１車両の運転者を撮影した画像から推定される顔の角度又は視線の角度を示す数値であることを特徴とする請求項１乃至７のいずれか１つに記載の情報処理装置。

【請求項9】

前記第１視線方向データは、前記運転者の視線方向の、鉛直方向に沿った軸周りの角度を示す数値を少なくとも含むことを特徴とする請求項１乃至８のいずれか１つに記載の情報処理装置。

【請求項10】

前記第１視線方向データは、前記第１車両の運転者を撮影した画像であることを特徴とする請求項１乃至７のいずれか１つに記載の情報処理装置。

【請求項11】

前記第１視線方向データは、前記イベント中の前記第１車両が単位距離走行する毎に取得される運転者の一連の視線方向を示すことを特徴とする請求項１乃至１０のいずれか１つに記載の情報処理装置。

【請求項12】

情報処理装置によって実行される情報処理方法であって、
第１車両の走行中に所定のイベントが生じた際の前記第１車両の位置及び進行方向を示す走行データを取得する走行データ取得ステップと、
前記イベント中における前記第１車両の運転者の一連の視線方向を示す第１視線方向データを取得する視線方向データ取得ステップと、
少なくとも、前記イベントが生じた際の前記第１車両の位置、前記第１車両の前記イベント中の前記進行方向及び前記第１視線方向データに基づいて、前記イベントにおける前記第１車両の運転者の前記一連の視線方向の評価情報を生成する評価情報生成ステップと、
を含むことを特徴とする情報処理方法。

【請求項13】

コンピュータを備える情報処理装置によって実行される情報処理プログラムであって、前記コンピュータに、
第１車両の走行中に所定のイベントが生じた際の前記第１車両の位置及び進行方向を示す走行データを取得する走行データ取得ステップと、
前記イベント中における前記第１車両の運転者の一連の視線方向を示す第１視線方向データを取得する視線方向データ取得ステップと、
少なくとも、前記イベントが生じた際の前記第１車両の位置、前記第１車両の前記イベント中の前記進行方向及び前記第１視線方向データに基づいて、前記イベントにおける前記第１車両の運転者の前記一連の視線方向の評価情報を生成する評価情報生成ステップと、
を実行させるための情報処理プログラム。

【請求項14】

請求項１３に記載の情報処理プログラムを格納し、コンピュータが読取可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、情報処理プログラム及び記録媒体に関し、特に、運転の評価に関する情報の処理を行う情報処理装置、情報処理方法、情報処理プログラム及び記録媒体に関する。

【背景技術】

【0002】

車両の運転者の運転行動を評価する装置が提案されている。

【0003】

例えば、特許文献１には、車載カメラにより撮影された画像及び自車両の位置情報の少なくとも一方を用いて運転シーンを特定し、複数の運転シーンそれぞれに対応付けられた複数の評価ロジックのうち、特定した運転シーンのみに対応付けられた評価ロジックを実行することによって、運転行動に対する評価を導出する運転行動評価装置が開示されている。特許文献１には、当該評価ロジックにおいて、所定の時間間隔で取得された車両の挙動に関する車両挙動関連データを入力として用いることが開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－２４５２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

例えば、交差点での右左折等の特に注意が必要な運転行動の際に、運転者が安全確認動作を適正に行っているかどうかを評価することで、当該運転者の事故のリスクを評価できる可能性がある。

【0006】

しかし、安全確認動作は目視確認が中心であるため、例えば、上記のような車両の挙動に基づく評価だけでは運転者が適性に安全確認動作を行っているか否かがわからないことが課題の１つとして挙げられる。

【0007】

また、交差点での右左折等の同じ種類の場面であっても、固有の交差点毎に注意すべきポイントが異なる場合もあり、そのような地点毎の個別の注意点についての安全確認動作の評価が困難であったことが課題の１つとして挙げられる。

【0008】

本発明は上記した点に鑑みてなされたものであり、運転者が安全確認動作を適正に行っているか否かを判定可能であり、車両の挙動には現れない潜在的な事故のリスクを高い精度で評価可能である情報処理装置、情報処理方法、情報処理プログラム及び記録媒体を提供することを目的の１つとしている。

【課題を解決するための手段】

【0009】

請求項１に記載の発明は、第１車両の走行中に所定のイベントが生じた際の前記第１車両の位置及び進行方向を示す走行データを取得する走行データ取得部と、前記イベント中における前記第１車両の運転者の一連の視線方向を示す第１視線方向データを取得する視線方向データ取得部と、少なくとも、前記イベントが生じた際の前記第１車両の位置、前記第１車両の前記イベント中の前記進行方向及び前記第１視線方向データに基づいて、前記イベントにおける前記第１車両の運転者の前記一連の視線方向の評価情報を生成する評価情報生成部と、を有することを特徴とする。

【0010】

請求項１２に記載の発明は、情報処理装置によって実行される情報処理方法であって、第１車両の走行中に所定のイベントが生じた際の前記第１車両の位置及び進行方向を示す走行データを取得する走行データ取得ステップと、前記イベント中における前記第１車両の運転者の一連の視線方向を示す第１視線方向データを取得する視線方向データ取得ステップと、少なくとも、前記イベントが生じた際の前記第１車両の位置、前記第１車両の前記イベント中の前記進行方向及び前記第１視線方向データに基づいて、前記イベントにおける前記第１車両の運転者の前記一連の視線方向の評価情報を生成する評価情報生成ステップと、を含むことを特徴とする。

【0011】

請求項１３に記載の発明は、コンピュータを備える情報処理装置によって実行される情報処理プログラムであって、前記コンピュータに、第１車両の走行中に所定のイベントが生じた際の前記第１車両の位置及び進行方向を示す走行データを取得する走行データ取得ステップと、前記イベント中における前記第１車両の運転者の一連の視線方向を示す第１視線方向データを取得する視線方向データ取得ステップと、少なくとも、前記イベントが生じた際の前記第１車両の位置、前記第１車両の前記イベント中の前記進行方向及び前記第１視線方向データに基づいて、前記イベントにおける前記第１車両の運転者の前記一連の視線方向の評価情報を生成する評価情報生成ステップと、を実行させるための情報処理プログラムである。

【図面の簡単な説明】

【0012】

【図1】実施例に係る情報処理システム１００を示す図である。

【図2】実施例に係る端末装置が搭載されている車両の前席部分を示す図である。

【図3】実施例に係る端末装置の構成を示すブロック図である。

【図4】実施例に係る視線方向データのサンプリングポイントを示す図である。

【図5】実施例に係る視線方向データの一例を示す図である。

【図6】実施例に係る情報処理装置の構成を示すブロック図である。

【図7】実施例に係る位置及び進行方向情報の一例を示す図である。

【図8】実施例に係る評価モデルの一例を模式的に示す図である。

【図9】実施例に係る評価テーブルの一例を示す図である。

【図10】実施例に係る端末装置が実行するルーチンの一例を示すフローチャートである。

【図11】実施例に係る情報処理装置が実行するルーチンの一例を示すフローチャートである。

【発明を実施するための形態】

【0013】

以下に本発明の実施例について詳細に説明する。なお、以下の説明及び添付図面においては、実質的に同一又は等価な部分には同一の参照符号を付している。

【実施例0014】

図１～図８を参照しつつ、実施例に係る情報処理装置１０を含む情報処理システム１００の構成について説明する。

【0015】

図１は、実施例１に係る情報処理システム１００の構成を示す図である。図１に示すように、情報処理システム１００は、情報処理装置１０、端末装置２０、及び管理サーバ５０を含んで構成されている。情報処理装置１０は、車両Ｍに搭載されている端末装置２０との間でネットワークＮＷを介して通信を行うサーバ装置である。なお、情報処理装置１０及び管理サーバ５０は、一体の装置として構成されてもよい。

【0016】

情報処理システム１００は、車両Ｍの走行中の安全確認が必要な場面で、運転者が適切に安全確認を行ったか否かを、運転者の一連の視線の方向を示す視線方向データを用いて評価するシステムである。

【0017】

車両Ｍの走行中には、交差点の通過等のドライバーによる適切な安全確認が必要なイベントが生じる。言い換えれば、イベントは、安全確認が必要な地点で生じる。以下の説明において、イベントが生じた地点をイベント発生地点又は注意地点と称する。従って、イベント時の車両Ｍの地図上の位置は必然的に注意地点となる。注意地点の一例として、交差点が挙げられる。

【0018】

また、本明細書において、上記イベントの開始から終了までの車両Ｍの走行の状況をシチュエーションであるとして説明する。本明細書において、シチュエーションは、個別の交差点等のイベント発生地点毎の当該地点の通過態様毎に区別されるものとして説明する。例えば、シチュエーションは、１のイベント時に車両Ｍが走行している地図上の位置に基づいて定まる特定の交差点と、当該特定の交差点のどこから進入してどこから退出するか（以下、進行方向とも称する）等、交差点の通過態様とを示すものとして説明する。

【0019】

例えば、交差点の通過というイベント中に、〇〇通りの〇〇十字路を右折、〇〇通りの〇〇Ｔ字路を左折等のシチュエーションが想定される。このようなシチュエーションは、上記イベントが生じた際の車両Ｍの位置及び進行方向を示す走行データによって特定されるものとして説明する。

【0020】

イベントが生じた際の車両Ｍの位置及び進行方向によって定まるシチュエーションの各々に適した安全確認があり、安全確認には目視確認を伴うものが多い。そこで、本発明では、車両Ｍの運転者が適切に安全確認を行ったか否かを評価するために、イベント中における当該運転者の一連の視線方向を示す情報を用いる。

【0021】

情報処理装置１０は、端末装置２０から車両Ｍの走行履歴と、車両Ｍの運転者の視線の方向を示す情報を取得して、当該取得した走行履歴及び視線方向データに基づいて当該運転者の運転の評価結果を示す評価情報を出力するサーバ装置である。

【0022】

端末装置２０は、車両Ｍ内に存在する端末装置である。端末装置２０は、車両Ｍの走行履歴を取得して情報処理装置１０に送信する。端末装置２０は、車内カメラを備えており、車両Ｍの運転者の顔を撮影した映像を取得する。当該映像から、運転者の視線方向を示すデータが取得される。端末装置２０は、当該視線方向を示すデータ又は運転者の顔を撮影した映像を情報処理装置１０に送信する。

【0023】

本実施例において、端末装置２０は、車両に搭載されている車載装置である。なお、端末装置２０は、車載装置に限られず、例えばスマートフォン等の車両の乗員が携帯する端末装置であってもよい。

【0024】

管理サーバ５０は、情報処理装置１０による運転に関する評価結果の管理を行うサーバ装置である。管理サーバ５０は、例えば、情報処理装置１０から車両Ｍの運転者を含む複数の運転者の運転に関する評価結果を取得して、集計等の管理を行う。例えば、管理サーバ５０は、保険会社において自動車保険に関する管理を行うサーバである。

【0025】

情報処理装置１０と端末装置２０と管理サーバ５０とは、ネットワークＮＷを介して、例えば、ＴＣＰ／ＩＰ等の通信プロトコルを用いて相互にデータの送受信が可能になっている。端末装置２０とネットワークＮＷとの接続は、例えば４Ｇ（4th Generation）又は５Ｇ（5th Generation）等の移動体通信、Ｗｉ－Ｆｉ（登録商標）等の無線通信によりなされ得る。

【0026】

図２は、車両Ｍの前席部分を示す図である。図２に示すように、端末装置２０は、車両Ｍのセンターコンソールに配置されている。本実施例において、端末装置２０は、経路生成機能及びナビゲーション機能（いわゆるカーナビゲーション機能）を有する。なお、端末装置２０自体はカーナビゲーション機能を有さなくてもよい。その場合は、端末装置２０は、車両Ｍに搭載されているカーナビゲーション装置に車両Ｍの走行履歴に関する情報を取得可能に接続されていてもよい。

【0027】

車内カメラ１１は、車両Ｍの内部を撮影するように取り付けられており、車両Ｍの運転席に居る運転者を撮影する。例えば、当該運転者を撮影した画像データから、運転者の視線方向を示すデータ又は運転者の顔の向きを示すデータが取得される。

【0028】

車内カメラ１１は、運転者の視線の向き又は顔の向きを検出できる位置であればいずれの位置に取り付けられていてもよい。例えば、車内カメラ１１は、ダッシュボードＤＢ上に取り付けられていてもよい。

【0029】

例えば、運転者の視線方向又は運転者の顔の向きを示すデータは、基準となる軸に対する運転者の視線の向き又は顔の向きを角度で表した数値である。

【0030】

図２中、運転者の視線の向き又は顔の向きを表した角度を運転者の頭の位置付近に模式的に示している。図２において、ＸＹ平面は水平面であり、Ｚ軸は、鉛直方向に沿った軸である。図２中、Ｙ方向は車両Ｍの前後方向を示し、Ｘ方向は車両Ｍの左右方向を示す。

【0031】

例えば、車両Ｍの運転者の視線方向は、例えば、Ｙ軸に沿った車両Ｍの後方を０°とし、前方を１８０°として、Ｚ軸すなわち鉛直方向の軸に沿った角度（Yaw角）によって表すことができる。

【0032】

なお、視線方向が真後ろの方向を跨いで変化することは稀であるので、前方を１８０°とすると取得する角度値が飛躍することは殆どない。

【0033】

なお、視線方向の表し方はこれに限られず、例えば上記の表し方に加えて、Ｘ軸周りの角度（Pitch角）を組み合わせてもよい。

【0034】

車内カメラ１１によって検出された運転者の視線の向き又は顔の向きを示すデータは、情報処理装置１０によって、一連の視線の方向を示す視線方向データとして用いられる。

【0035】

なお、視線方向データは、運転者を撮影した画像データそのものであってもよい。

【0036】

前方カメラ１３は、ルームミラーＲＭの裏、すなわちフロントガラスＦＧに対向する面に設けられている。前方カメラ１３は、車両Ｍの進行方向を撮影方向としている。車両Ｍの進行方向を前方としたとき、前方カメラ１３は、車両Ｍの前方、右前方及び左前方を含む範囲の画像を撮影可能に配置されている。

【0037】

前方カメラ１３は、車両Ｍの前方の映像を撮影可能であれば車両Ｍのいずれの箇所に設けられてもよい。例えば、前方カメラ１３は、ダッシュボードＤＢ上に配されていてもよく、車両Ｍの外側面（外装面）、例えばボンネット上またはフロントバンパー等に設けられていてもよい。

【0038】

前方カメラ１３は、端末装置２０と通信可能に接続されており、撮影した映像の信号を端末装置２０に送信することが可能である。前方カメラ１３によって撮影された映像は、例えば、車両Ｍの走行中に生じる交差点の通過等のイベント時のシチュエーションの特定に利用される。例えば、イベント時に前方カメラ１３によって撮影された映像から、車両が進入する交差点及び進行方向が特定され得る。前方カメラ１３によって撮影された映像からの交差点の特定は、例えば、映像内から交差点に備えられた、交差点名が記載された標識の文字の読み取り結果に基づいて、交差点内の風景に基づいてなされても良い。

【0039】

ＧＮＳＳ受信機１５は、ＧＮＳＳ（Global Navigation Satellite System）衛星からの信号（ＧＮＳＳ信号）を受信する装置である。ＧＮＳＳ受信機１５は、例えば、ダッシュボードＤＢ上に配されている。なお、ＧＮＳＳ受信機１５は、ＧＮＳＳ信号が受信できれば車両Ｍ内のいずれの箇所に配されていてもよい。

【0040】

ＧＮＳＳ受信機１５は、端末装置２０と通信可能に接続されており、受信したＧＮＳＳ信号を端末装置２０に送信することが可能である。端末装置２０は、ＧＮＳＳ信号を用いて車両Ｍの現在位置情報を取得して記憶し、車両Ｍの走行履歴を生成する。

【0041】

タッチパネルディスプレイ１７は、タッチパネル及びディスプレイからなる。タッチパネルディスプレイ１７は、端末装置２０と通信可能に接続されている。タッチパネルディスプレイ１７のディスプレイは、端末装置２０から供給される画像を表示する。タッチパネルディスプレイ１７のタッチパネルは、タッチパネルへの接触による入力操作を示す信号を端末装置２０に送信する。

【0042】

例えば、タッチパネルディスプレイ１７は、車両Ｍの経路案内に関する表示及び入力操作の受付を行う。

【0043】

ステアリングホイール１９は、車両Ｍの操舵のための操縦操作を受け付ける部材である。ステアリングホイール１９は、ダッシュボードＤＢに対して回動可能に設けられている。ステアリングホイール１９が回動させられると、それに従って車両Ｍの操舵輪となる車輪が回動動作する。

【0044】

アクセルペダル２１は、運転席の足下に設けられており、運転者による踏み込み動作による、車両Ｍの走行用エンジンまたはモータ等の原動機の制御に関する操作を受け付ける部材である。すなわち、アクセルペダル２１は、車両Ｍの加減速に関する操縦操作を受け付ける部材である。

【0045】

ブレーキペダル２３は、運転席の足下に設けられており、運転者による踏み込み動作による、車両Ｍのブレーキの制御に関する操作を受け付ける部材である。すなわち、ブレーキペダル２３は、車両Ｍの減速に関する操縦操作を受け付ける部材である。

【0046】

まず、図３～５を参照しつつ、車両Ｍに搭載されている端末装置２０の構成及び機能について説明する。

【0047】

図３は、端末装置２０の構成を示すブロック図である。図３に示すように、端末装置２０は、システムバス２５を介して各部が接続されて構成されている。

【0048】

入力部２７は、端末装置２０と車両Ｍに備えられた機器とを通信可能に接続するインターフェースである。

【0049】

入力部２７は、端末装置２０と、車内カメラ１１とを通信可能に接続するインターフェースである。

【0050】

入力部２７は、端末装置２０と、前方カメラ１３とを通信可能に接続するインターフェースである。

【0051】

また、入力部２７は、端末装置２０とステアリングホイール１９の回転量や回転力等の操作に関する物理量を検出するセンサであるステアリングセンサ１９Ｓとを通信可能に接続するインターフェースである。

【0052】

入力部２７は、端末装置２０と、アクセルペダル２１の移動量や移動速度等の操作に関する物理量を検出するセンサであるアクセルセンサ２１Ｓとを通信可能に接続するインターフェースである。また、入力部２７は、端末装置２０とブレーキペダル２３の移動量や移動速度等の操作に関する物理量を検出するセンサであるブレーキセンサ２３Ｓとを通信可能に接続するインターフェースである。

【0053】

入力部２７は、端末装置２０とＧＮＳＳ受信機１５、ジャイロセンサＧＹ及び加速度センサＡＣとを通信可能に接続するインターフェースである。ジャイロセンサＧＹは、例えば、車両Ｍの横方向の角度（姿勢）や角速度あるいは角加速度を検出することが可能なセンサである。加速度センサＡＣは、車両Ｍの上方から見て車両Ｍの進行方向、すなわち前後方向と交差する方向の加速度を検出可能なセンサである。また、加速度センサＡＣは、例えば、車両Ｍの進行方向と垂直な横方向（幅方向）の加速度を検出可能である。

【0054】

端末装置２０は、ステアリングセンサ１９Ｓ、アクセルセンサ２１Ｓ、ブレーキセンサ２３Ｓ、ＧＮＳＳ受信機１５、ジャイロセンサＧＹ及び加速度センサＡＣのセンサ信号から、車両Ｍの挙動を示す情報を取得してもよい。

【0055】

入力部２７は、端末装置２０とタッチパネルディスプレイ１７のタッチパネルとを通信可能に接続するインターフェースである。

【0056】

記憶部２９は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成されており、端末装置２０において実行される各種プログラムを記憶する。なお、各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、記憶部２９に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータに読み取り可能な記録媒体に記録して譲渡することが可能である。

【0057】

記憶部２９には、地図情報データベース（以下、地図情報ＤＢと称する）２９Ａが構築されている。地図情報データベース２９Ａには、端末装置２０による車両Ｍの走行履歴を示す情報の生成等に用いられる地図情報が格納されている。

【0058】

制御部３１は、ＣＰＵ（Central Processing Unit）３１Ａ、ＲＯＭ（Read Only Memory）３１Ｂ、ＲＡＭ（Random Access Memory）３１Ｃ等により構成され、コンピュータとして機能する。そして、ＣＰＵ３１Ａが、ＲＯＭ３１Ｂや記憶部２９に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。

【0059】

制御部３１は、入力部２７を介して、車両Ｍの現在位置情報をＧＮＳＳ受信機１５から取得して、車両Ｍの走行履歴を示す走行履歴情報（以下、単に走行履歴とも称する）を生成する。当該走行履歴情報は、例えば、時刻を示す情報と、その時刻における車両Ｍの位置を示す情報が対応付けられた情報である。また、走行履歴情報における車両Ｍの位置を示す情報は、地図上の位置を示す情報であってもよい。また、走行履歴情報には、地図情報が含まれていてもよい。

【0060】

制御部３１は、例えば、車両Ｍの走行履歴から、車両Ｍの走行中に生じた１又は複数のイベントを特定して、特定したイベントの各々に、識別子（イベントＩＤ）を付与する。ここで言うイベントは、上記したような交差点通過等の車両Ｍのドライバーが適切な安全確認をすべき事象である。

【0061】

また、制御部３１は、入力部２７を介して、車両Ｍの運転者を撮影した映像を車内カメラ１１から取得する。制御部３１は、例えば、車内カメラ１１から取得された映像に基づいて、車両Ｍの運転者の視線の方向又は顔の向きを取得して、当該取得した視線の方向または顔の向きから当該運転者の視線方向を示す視線方向データを生成する。

【0062】

当該視線方向データが示す運転者の視線は、そのシチュエーションにおいて適切な視線方向であったか否かを情報処理装置１０が評価するために利用される。従って、イベントが生じている期間の運転者の視線方向データがあればよい。制御部３１は、例えば、車両Ｍの走行履歴から特定したイベント中の視線方向データを生成する。

【0063】

制御部３１は、例えば、車両Ｍがイベント中に走行した所定距離内の所定距離毎の時系列順の一連の視線方向の各々を示す視線方向データを生成する。この場合、視線方向データは、イベント中の車両Ｍが単位距離を走行する毎に取得される運転者の一連の視線方向を示す。

【0064】

また、制御部３１は、例えば、車両Ｍの走行中のイベント中の所定時間内における所定時間毎の時系列順の一連の視線方向の各々を示す視線方向データを生成する。この場合、視線方向データは、イベント中の車両Ｍが単位時間走行する毎に取得される運転者の一連の視線方向を示す。

【0065】

図４は、交差点を通過するというイベント中に、制御部３１が視線方向データを生成する際のサンプリングポイントを示す図である。図４に示す例においては、交差点の中心の前後５０ｍを車両Ｍが走行している期間をイベント発生中としている。図４に示す例においては、車両Ｍが単位距離走行する毎の視線方向を示す時系列順のデータが、一連の視線方向を示すデータとして生成される。

【0066】

図４に示す例においては、１ｍおきに１００点の視線方向データのサンプリングを行う場合の例を示しており、Ｐ１、Ｐ２、Ｐ３～Ｐ１００はそれぞれサンプリングポイントを示している。

【0067】

なお、視線方向データのサンプリングは、車両Ｍの走行距離を基準とする場合に限られず、例えば、制御部３１は、交差点を通過する前後の所定時間、例えば交差点の中心を通過した時刻の前後１０秒の期間について、単位時間毎に、例えば１００ミリ秒～１秒毎にサンプリングを行ってもよい。

【0068】

また、視線方向データのサンプリングは、車両Ｍの走行終了後に行われてもよく、リアルタイムで行われてもよい。

【0069】

図５は、制御部３１によって生成される視線方向データの一例を示す図である。上述したように、視線方向データは、車両Ｍの走行中に生じた１つのイベント中における運転者の視線方向を示す時系列のデータである。

【0070】

図５に示す例においては、１つのイベントについて、イベントＩＤ「ＡＡ」が記載されている。図５に示すように、イベントＩＤ「ＡＡ」のイベントについて、Ｐ１～Ｐ１００までの視線方向のサンプリングポイントの各々に、当該サンプリングポイントに車両Ｍが存在した時刻に取得されたＺ軸回りの視線角度、すなわち水平方向の視線角度が記載されている。

【0071】

端末装置２０は、車両Ｍの運転者の一連の視線方向データを情報処理装置１０に送信する。なお、端末装置２０は、視線方向データを生成することなく、車両Ｍの運転者を撮影した映像を情報処理装置１０に送信してもよい。その場合、情報処理装置１０において、走行履歴からイベントが特定されてイベントＩＤが付され、各サンプリングポイントに該当する映像の部分から視線方向データが取得される。又は、各サンプリングポイントに該当する画像が視線方向データとして取得されてもよい。

【0072】

再び図３を参照すると、制御部３１は、入力部２７を介して、車両Ｍの前方を撮影した画像を前方カメラ１３から取得する。

【0073】

制御部３１は、入力部２７を介して、車両Ｍに備えられたステアリングセンサ１９Ｓ等の各種センサから、車両Ｍの挙動を示す情報を取得する。車両の挙動を示す情報は、例えば、車両Ｍの走行状態又は操作状態を示す情報である。

【0074】

例えば、制御部３１は、ジャイロセンサＧＹ及び加速度センサＡＣから信号を受信して、車両Ｍの加速度や進行方向等の挙動示す情報を取得する。なお、制御部３１は、前照灯やウィンカーの点灯状態を検出するセンサ（図示せず）から、前照灯やウィンカーの点灯状態を示す信号を受信して車両Ｍの挙動を示す情報を取得してもよい。

【0075】

また、制御部３１は、ステアリングホイール１９の回転量や回転力等の操作に関する物理量を示す信号を受信する。また、制御部３１は、アクセルペダル２１の移動量や移動速度等の操作に関する物理量を示す信号及びブレーキペダル２３の移動量や移動速度等の操作に関する物理量を示す信号を受信する。制御部３１はこれらの信号に基づいて、車両Ｍの操舵または加減速に対する操作の状態を示す操作情報を取得する。なお、制御部３１は、この操作情報に基づいて、車両Ｍの挙動を示す情報を取得してもよい。また、制御部３１は、操舵情報としてシフトレバーの位置を示す情報を取得可能であってもよい。

【0076】

このように、制御部３１は、上述したセンサからの信号に基づいて、車両Ｍの速度、進行方向、加減速等の走行状態又は操舵輪の舵角等を含む操作状態を示す情報である車両の挙動を示す情報を取得する機能を有していてもよい。例えば、制御部３１は、取得した車両の挙動を示す情報を情報処理装置１０に送信する。

【0077】

通信部３３は、無線装置（図示せず）に接続されているＮＩＣ（Network Interface Card）等のネットワークアダプタである。通信部３３は、制御部３１からの命令に従って、情報処理装置１０、管理サーバ５０及びその他の外部装置との通信を行う。例えば、通信部３３は、端末装置２０が車両Ｍの走行履歴及び車両Ｍの運転者の一連の視線方向データを情報処理装置１０に送信する際の通信を行う。

【0078】

また、例えば、通信部３３は、情報処理装置１０又は管理サーバ５０から、車両Ｍの運転者の一連の視線方向の評価結果を端末装置２０が受信する場合には、当該受信の際の通信を行う。

【0079】

出力部３５は、車両Ｍに備えられたタッチパネルディスプレイ１７のディスプレイに接続されている。出力部３５は、制御部３１からの命令に従って、ディスプレイに各種情報を供給するためのインターフェースである。

【0080】

例えば、出力部３５は、ナビゲーション画面を表示するための情報をディスプレイに供給する。また、例えば、出力部３５は、車両Ｍの運転者の一連の視線方向の評価結果を表示するための情報をディスプレイに供給する。例えば、情報処理装置１０による運転者の一連の視線方向の評価結果として点数がディスプレイに表示されてもよい。

【0081】

続いて、図６～１１を参照しつつ、情報処理装置１０の構成及び機能について説明する。

【0082】

図６は、情報処理装置１０の構成を示すブロック図である。図６に示すように、情報処理装置１０は、システムバス４１を介して各部が接続されて構成されているサーバ装置である。

【0083】

大容量記憶装置４３は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成された記憶装置である。大容量記憶装置４３は、情報処理装置１０において実行される各種プログラムを記憶する。なお、各種プログラムは、例えば他のサーバ装置等からネットワークを介して取得されてもよく、記録媒体に記録されて各種ドライブ装置を介して読み込まれてもよい。例えば、大容量記憶装置４３は、情報処理装置１０によって、車両Ｍの運転者の一連の視線方向の評価情報が出力される際に実行される情報処理プログラムを記憶する。

【0084】

大容量記憶装置４３は、各種プログラムを実行するために必要なデータが格納されたデータベースを記憶している。

【0085】

大容量記憶装置４３は、交差点データベース（以下、交差点ＤＢと称する）４３Ａを含む。交差点ＤＢ４３Ａには、イベントが発生した注意地点及び当該注意地点への車両Ｍの進入及び退出の方向（以下、進行方向と称する）を特定するために必要な情報が記憶されている。

【0086】

交差点ＤＢ４３Ａには、例えば、安全確認が必要な注意地点の各々を特定する識別子（交差点ＩＤ）と、当該注意地点の位置を示す情報とが対応付けられて記憶されている。

【0087】

また、交差点ＤＢ４３Ａにおいて、注意地点の各々に、注意地点を通過する際に車両Ｍが取り得る進行方向と、当該進行方向を識別する識別子（進行方向ＩＤ）とが対応付けられて記憶されている。

【0088】

以下、安全確認が必要な注意地点が交差点である場合を中心に説明する。

【0089】

図７は、交差点ＤＢ４３Ａに記憶されている位置及び進行方向情報の一例を示す図である。図７に示すように、交差点の位置情報に交差点ＩＤが付されている。また、図７に示すように、交差点ＩＤ毎に、進行方向を示す情報及び進行方向を識別する識別子として進行方向ＩＤが対応付けられている。

【0090】

図７に示す例においては、交差点ＩＤ「１」が示す交差点が十字路であり、１つの進入経路につき３つの退出経路が存在する。図７において、各経路の番号を時計回りに１～４とし、経路１から進入する場合は進行方向として、左折（1→２）、直進（1→３）、右折（1→４）、と表され、経路２から進入する場合は右折（２→１）等と表されている。

【0091】

また、図７に示す例においては、交差点ＩＤ「２」が示す交差点が五叉路であり、１つの進入経路につき４つの退出経路が存在するため、各経路の番号を時計回りに１～５とし、経路１から進入する場合は（1→２）、（1→３）、（1→４）、（1→５）、と表されている。

【0092】

情報処理装置１０は、車両Ｍの運転者の一連の視線方向の評価情報を出力する際に、図７に示すような位置及び進行方向情報に基づいて交差点ＩＤ及び進行方向ＩＤを走行データとして取得して、評価情報の生成に用いる。

【0093】

また、大容量記憶装置４３は、評価モデル記憶部４３Ｂを含む。評価モデル記憶部４３Ｂは、安全確認が必要な注意地点毎、例えば交差点毎に構築された複数の評価モデルを記憶している。

【0094】

評価モデル記憶部４３Ｂに記憶されている評価モデルの各々は、車両の走行中に所定のイベントが生じた際の当該車両の進行方向及び当該車両の運転者の一連の視線方向を示す視線方向データを入力すると、車両の運転者の一連の視線方向に関する評価情報又は評価情報の生成に資する情報を出力するように機械学習がなされた学習済みモデルである。

【0095】

情報処理装置１０は、評価モデル記憶部４３Ｂに記憶されている評価モデルを用いて、車両Ｍの運転者の一連の視線方向の評価情報を出力するための情報処理を実行する。

【0096】

より詳細には、情報処理装置１０は、車両Ｍの走行中に所定のイベントが生じた際の当該車両Ｍの位置に基づいて、当該イベントが生じた交差点を特定し、交差点毎に構築された複数の評価手段としての複数の評価モデルの中から、特定された交差点について構築された第１評価手段としての評価モデルを選択して、車両Ｍの運転者の一連の視線方向の評価情報を出力するための情報処理を実行する。

【0097】

図８は、評価モデル記憶部４３Ｂに記憶されている評価モデルの一例である評価モデルＭ１を模式的に示す図である。上述したように、評価モデルＭ１は、特定の交差点について構築されている。以下、評価モデルＭ１は、図７中の交差点ＩＤ「１」の交差点について構築された学習済みモデルであるとして説明する。図８は、評価モデルＭ１の出力として、車両Ｍの運転者の一連の視線方向の評価を点数として表した運転スコアの各々を示す数値が出力される例について示している。

【0098】

図８に示す評価モデルＭ１は、ディープラーニング（深層学習）によって構築されたニューラルネットワークである。当該ニューラルネットワークは、入力層、２つ又は３つ以上の中間層（隠れ層）及び出力層から構成されている。

【0099】

例えば、評価モデルＭ１の入力層には、イベント中、例えば交差点ＩＤ「１」の交差点を通過中の車両Ｍの運転者の一連の視線方向データを構成するサンプリングポイントごとの視線方向データ１～１００及び交差点ＩＤ「１」の交差点における進行方向ＩＤを示す数値が入力される。

【0100】

例えば、視線方向データ１～１００の各々は、運転者の視線の方向を角度で表した数値である。例えば、図２に示したように、視線方向が真後ろの方向を跨いで変化することは稀であるので、前方を１８０°とすると取得する角度値が飛躍することは殆ど無く、前方を１８０°として取得する角度値は、学習モデルに入力する値として適している。

【0101】

また、例えば、進行方向ＩＤが数値として付されている場合には当該数値がそのまま入力層から入力されてもよい。例えば、進行方向ＩＤが数値以外の文字を含む場合は、当該進行方向ＩＤを数値に変換したものが入力層から入力されることとしてもよい。

【0102】

入力層への入力がなされると、出力層では、車両Ｍの運転者の一連の視線方向の評価結果を示す数値が出力される。例えば、出力層では、運転スコアを示す数値が出力される。

【0103】

例えば、出力層に、３段階の運転スコア１～３のいずれかを示す数値が出力されてもよい。例えば、運転スコア３が一番良いスコアであり、例えば熟練運転者のスコアに相当する。運転スコアは、３段階に限られず、２段階、又は４段階以上の点数で表されてもよい。

【0104】

すなわち、評価モデルＭ１は、車両の走行中に所定のイベントが生じた際の当該車両の進行方向と、当該車両の運転者の一連の視線方向を示す視線方向データと、を入力すると、車両の運転者の一連の視線方向に関する評価情報を出力とするように機械学習がなされて構築されている。

【0105】

なお、評価モデルＭ１は、出力層において、例えば、複数の運転スコアの各々に該当する確率を示す数値を出力するように構築されていてもよい。

【0106】

評価モデルＭ１は、例えば以下のような教師あり学習によって機械学習がなされて構築される。以下、機械学習の際の入力データとして、実際の視線方向データを用いる場合と仮想の視線方向データを用いる場合に分けて説明する。

【0107】

［実際の視線方向データを用いる方法］
例えば、学習に用いるデータを取得するために用いる車両を学習用車両とする。学習用車両の運転者を、例えば、いわゆる熟練運転者（経験豊富な運転者又は運転の上級者）を含む様々な運転スキルを有する複数の運転者とする。当該熟練運転者は、例えば運転に関する指導員の経験を有する者を含んでもよい。なお、学習用車両の運転者は、様々な運転スキルのレベルの運転者を含んでいれば、低いスコアから高いスコアまでの機械学習を行うことができる。

【0108】

次に、１の学習用車両を実際に走行させて、交差点ＩＤ「１」で示される交差点を通過させる。その際に、例えば、図７中の交差点ＩＤ「１」に対応付けられている全ての進行方向ＩＤに対応する通過態様で交差点ＩＤ「１」の交差点を通過させる。夫々の通過態様で複数回の走行を行い、進行方向毎に、学習用車両の運転者の一連の実際の視線方向を示す視線方向データを実視線方向データとして取得する。

【0109】

進行方向ＩＤと、当該進行方向ＩＤが示す進行方向で交差点ＩＤ「１」の交差点を学習用車両が通過した際の運転者の視線方向データと、を入力データとする。

【0110】

続いて、入力データ毎、すなわち、進行方向ＩＤと一連の視線方向データとの組ごとに、実視線方向の評価情報として運転スコアを決定して正解データとする。

【0111】

当該入力データを複数の中間層を有するニューラルネットワークに入力して、出力が正解データの運転スコアとなるように、ニューラルネットワークのパラメータを誤差逆伝搬法によって更新しながら学習を行う。

【0112】

このような学習を複数のタイプ（例えば、セダンタイプ、スポーツタイプ、バンタイプ、トラックタイプ）の車両を学習対象車両として行ったり、多数の運転者について行ったりすることで、評価モデルＭ１を構築することができる。

【0113】

なお、機械学習の際の入力データは、交差点ＩＤ「１」で示される交差点における進行方向ＩＤと一連の視線方向データに限定されず、例えば、学習用車両が交差点ＩＤ「１」で示される交差点を通行した際の信号機の状態を示すデータを入力データに加えるようにしてもよい。信号機の状態を示すデータとしては、例えば、学習用車両が交差点ＩＤ「１」で示される交差点を通行した際の信号機の表示色又は矢印信号の点灯状態を含むようにしてもよいし、当該交差点に信号機が存在しない場合には、信号機が存在しない旨を示す情報を含むようにしてもよい。この場合、評価モデルＭ１は、車両が交差点ＩＤ「１」で示される交差点を通行した際の当該車両の進行方向と、当該交差点を通行した際の信号機の状態を示すデータと、当該車両の運転者の一連の視線方向を示す視線方向データと、を入力すると、当該車両の運転者の一連の視線方向に関する評価情報を出力とするように機械学習がなされて構築される。

【0114】

このように構築した評価モデルＭ１を利用する場合、情報処理装置１０は、後述する車両Ｍの運転者の一連の視線方向の評価情報を生成するステップ（評価情報生成ステップ）において、車両Ｍが交差点ＩＤ「１」で示される交差点を通行した際の進行方向、当該交差点を通行した際の信号機の状態を示すデータ、及び車両Ｍの運転者の一連の視線方向を示す視線方向データを、評価モデルＭ１に入力することで、車両Ｍの運転者の一連の視線方向の評価情報を取得することができる。なお、情報処理装置１０は、車両Ｍに備えられた前方カメラ１３により撮影した映像に含まれる信号機の状態に基づいて、信号機の状態を示すデータを取得することができる。

【0115】

［仮想の視線方向データを用いる方法］
例えば、情報処理装置１０の内部又は外部に設けられたシミュレーション実行用のコンピュータが、交差点ＩＤ「１」の交差点の情報及び当該交差点を通行する際の進行方向ＩＤが示す進行方向の各々について定められた安全確認ルールに基づいてシミュレーションを実行し、シミュレーション上の仮想の学習用車両の仮想の運転者の一連の仮想視線方向を算出する。

【0116】

シミュレーション実行用のコンピュータは、各種交差点を通行する際の安全確認ルールを予め設定した人工知能による仮想ドライバー（ＡＩドライバ―）を含む。この仮想ドライバーは、予め設定された安全確認ルールに従い、仮想の学習用車両が交差点を通行する際の状況に応じた安全確認動作を行う。

【0117】

シミュレーション実行用のコンピュータに入力される交差点ＩＤ「１」の交差点の情報は、少なくとも当該交差点の道路マップに基づく形状を含み、当該交差点における信号機及び横断歩道の有無に関する情報や当該交差点の実際の画像を含んでいてもよい。

【0118】

シミュレーション実行用のコンピュータは、交差点ＩＤ「１」の交差点の情報、及び当該交差点を通行する際の進行方向ＩＤが示す進行方向が入力されることで、交差点情報に基づいて生成した交差点ＩＤ「１」の交差点の仮想環境を、仮想ドライバーによりシミュレーション走行させ、進行方向ＩＤが示す進行方向に従って当該交差点を通行する際の、仮想ドライバーの一連の視線方向を算出する。従って、仮想ドライバーに予め設定しておく安全確認ルールのパラメータを変化させることで、進行方向ＩＤの各々について、個性の異なる複数の仮想ドライバーの一連の視線方向を示す仮想視線方向データを得る。

【0119】

進行方向ＩＤと、当該進行方向ＩＤが示す進行方向で交差点ＩＤ「１」の交差点を仮想の学習用車両が通過した際の仮想の運転者の一連の仮想の視線方向を示す仮想視線方向データと、を入力データとする。

【0120】

入力データ毎、すなわち、進行方向ＩＤと仮想視線方向データとの組ごとに、仮想視線方向の評価情報として運転スコアを決定して正解データとする。

【0121】

当該入力データを複数の中間層を有するニューラルネットワークに入力して、出力が正解データの運転スコアとなるように、ニューラルネットワークのパラメータを誤差逆伝搬法によって更新しながら学習を行う。このような学習を複数の仮想学習対象車両、及び複数の仮想の運転者について行うことで、学習済みモデルＭ１を構築することができる。

【0122】

このように、シミュレーションによって得られる仮想の視線方向データを用いて評価モデルＭ１を生成することで、複数のドライバーが実際に車両Ｍを運転して視線方向データを取得する必要がない。従って、多数の交差点についての学習済みモデルを低コストで構築することができる。また、例えば、新たに開通して間もない交差点や建設中の道路の交差点についても、学習済みモデルを構築することができる。

【0123】

交差点ＤＢ４３Ａに記憶されている他の交差点についての学習済みモデルも、上記した評価モデルＭ１の構築方法と同様に、実際の視線方向データ又は仮想の視線方向データ並びに運転スコアを用いて機械学習を行うことで構築可能である。

【0124】

言い換えれば、実際の視線方向データを用いる場合、複数の評価手段の各々は、車両の実際の走行中に生じた所定のイベント中における車両の進行方向と、当該車両の複数の運転者の各々の一連の実際の視線方向（実視線方向）を示す実視線方向データと、当該実視線方向の評価情報と、を学習データとして機械学習がなされた学習済みモデルである。

【0125】

また、仮想の視線方向データを用いる場合、複数の評価手段の各々は、所定の安全確認ルールに基づくシミュレーションにより再現された、仮想の車両の走行中に生じる所定のイベント中における仮想の車両の進行方向と、当該仮想の車両の複数の仮想の運転者の各々の一連の仮想の視線方向（仮想視線方向）を示す仮想視線方向データと、当該仮想視線方向の評価情報と、を学習データとして用いた機械学習がなされた学習済みモデルである。

【0126】

制御部４５は、ＣＰＵ（Central Processing Unit）４５Ａ、ＲＯＭ（Read Only Memory）４５Ｂ、ＲＡＭ（Random Access Memory）４５Ｃ等により構成され、コンピュータとして機能する。そして、ＣＰＵ４５Ａが、ＲＯＭ４５Ｂや大容量記憶装置４３に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。

【0127】

制御部４５は、大容量記憶装置４３に記憶された情報処理プログラムを読み出して実行することで、車両Ｍの走行中に所定のイベント、すなわち運転者による安全確認が重要となるような事象が生じた際の当該車両Ｍの運転者の一連の視線方向の評価情報を出力する。

【0128】

制御部４５は、例えば、端末装置２０から車両Ｍの走行履歴を取得して、当該走行履歴において、車両Ｍが、例えば安全確認が必要な注意地点を通過した場合に、当該注意地点の通過を１のイベントとして特定する。例えば、「交差点の通過」が１のイベントとして特定される。

【0129】

制御部４５は、例えば、車両Ｍの走行履歴に基づいて、１のイベントが生じた際の車両Ｍの位置及び進行方向を示す走行データを取得する。例えば、制御部４５は、交差点ＤＢ４３Ａを参照し、制御部４５は、例えば、車両Ｍの位置に基づいて定まる交差点を識別する識別子を取得する。制御部４５は、例えば、交差点ＤＢ４３Ａを参照し、１のイベントが生じた際の車両Ｍの位置に基づいて定まる交差点への進入方向及び退出方向である進行方向を識別する識別子を取得する。

【0130】

制御部４５は、車両Ｍの走行中に所定のイベントが生じた際の車両Ｍの位置及び進行方向を示す走行データを取得する走行データ取得部として機能する。

【0131】

制御部４５は、１のイベント中における車両Ｍの運転者の一連の視線方向を示す視線方向データを端末装置２０から取得する。

【0132】

制御部４５は、車両Ｍに備えられた車内カメラ１１によって取得された、車両Ｍの運転者の顔を撮影した映像を端末装置２０から取得し、当該映像からイベント中における一連の視線方向データを取得してもよい。

【0133】

制御部４５は、所定のイベント中における車両Ｍの運転者の一連の視線方向を示す第１視線方向データを取得するステップ（視線方向データ取得ステップ）を実行する視線方向データ取得部として機能する。

【0134】

制御部４５は、所定のイベントが生じた際の車両Ｍの位置に基づいて選択された第１評価手段に車両Ｍの当該イベント中の進行方向及び視線方向データを入力し、当該イベントにおける車両Ｍの運転者の一連の視線方向の評価情報を生成するステップ（評価情報生成ステップ）を実行する評価情報生成部として機能する。

【0135】

当該第１評価手段は、例えば、車両Ｍの位置に基づいて決まる交差点に対応付けられた評価モデルである。例えば、制御部４５は、各々が複数の交差点の各々に対応付けられた複数の評価手段の中から、車両Ｍの位置に基づいて決まる交差点に対応する第１評価手段を選択する。

【0136】

当該複数の評価手段の各々は、車両の走行中に所定のイベントが生じた際の車両の進行方向及び当該車両の運転者の一連の視線方向を示す視線方向データを入力すると、車両の運転者の一連の視線方向に関する評価情報を出力するように機械学習がなされた学習済みモデルである。

【0137】

なお、第１評価手段は、学習モデルである場合に限られず、一連の視線方向データの評価基準を進行方向毎に定めたテーブルであってもよい。当該テーブルは、例えば交差点毎に作成されている。例えば、当該テーブルには、視線方向データを評価するためのチェック項目が記載されており、例えばチェック項目を満たす毎に評価点数が加算されるように構成されていてもよい。チェック項目の内容は、例えば、交差点内の基準位置に対して特定の相対位置となる車両位置において視線が特定の方向を向いているか否か等であり得る。

【0138】

図９は、第１評価手段としての評価テーブルの一例を示す。図９の評価テーブルには、交差点ＩＤ「１」についての、進行方向が右折の場合の視線方向データの評価基準が示されている。図９に示す例においては、視線方向データのサンプリングポイントごとに、適切な視線方向として許容される視線角度の範囲が記載されている。例えば、第１評価手段としての評価テーブルには、進行方向毎の複数の評価基準が含まれる。例えば、交差点ＩＤ「１」について、進行方向が右折の場合の他、進行方向が左折及び直進の場合の評価基準が設けられていてもよく、図７に示したような進行方向ＩＤ毎に評価基準が設けられていてもよい。

【0139】

例えば、制御部４５は、第１評価手段として図９の評価テーブルを選択した場合には、交差点ＩＤ「１」についての視線方向データのサンプリングポイントごとに、評価テーブルに記載されている視線角度の範囲内にあるか否かを判定してもよい。制御部４５は、当該判定の結果、範囲内にある場合に所定の点数を加算して、全サンプリングポイントの合計点数を一連の視線方向データの評価情報として出力してもよい。

【0140】

通信部４７は、無線装置（図示せず）に接続されているＮＩＣ（Network Interface Card）等のネットワークアダプタである。通信部４７は、制御部４５からの命令に従って、情報処理装置１０と外部との通信を行う。

【0141】

例えば、通信部４７は、情報処理装置１０が、車両Ｍの走行履歴及び車両Ｍの運転者の視線方向データを端末装置２０から取得する際の通信を行う。また、通信部４７は、例えば、情報処理装置１０が、車両Ｍの運転者の一連の視線方向の評価情報を出力して管理サーバ５０に送信する際の通信を行う。

【0142】

図１０～図１１を参照しつつ、本実施例における情報処理システム１００において実行される情報処理について説明する。

【0143】

図１０は、端末装置２０の制御部３１によって実行されるルーチンの一例である走行履歴送信ルーチンＲＴ１を示すフローチャートである。例えば、制御部３１は、車両Ｍの経路案内が終了して目的地に到着すると、走行履歴送信ルーチンＲＴ１を開始する。

【0144】

制御部３１は、走行履歴送信ルーチンＲＴ１を開始すると、車両Ｍの一連の走行履歴を示す走行履歴情報を生成する（ステップＳ１０１）。ステップＳ１０１において、例えば、制御部３１は、時刻を示す情報と、その時刻における車両Ｍの地図上の位置を示す情報が対応付けられた情報を走行履歴情報として生成する。また、ステップＳ１０１において、例えば、地図情報を含む走行履歴情報が生成される。

【0145】

ステップＳ１０１の実行後、制御部３１は、走行履歴情報に基づいて、車両Ｍの走行中にイベントが生じたか否かを判定する（ステップＳ１０２）。ステップＳ１０２において、例えば、制御部３１は、車両Ｍが走行した経路に交差点、Ｔ字路、五差路等の、安全確認が必要になるような地点が含まれる場合に、イベントが生じたと判定する。ステップＳ１０２において、例えば、車両Ｍの走行履歴にナビゲーション機能上の案内地点が含まれる場合に、イベントが生じたと判定されてもよい。

【0146】

制御部３１は、ステップＳ１０２において、イベントが生じていないと判定する（ステップ１０２：ＮＯ）と、走行履歴送信ルーチンＲＴ１を終了する。

【0147】

制御部３１は、ステップＳ１０２において、イベントが生じたと判定する（ステップ１０２：ＹＥＳ）と、生じたイベントの各々にイベントＩＤを付与する（ステップＳ１０３）。

【0148】

ステップＳ１０３の実行後、制御部３１は、イベントＩＤが付されたイベントの各々について、イベント中における車両Ｍの運転者の一連の視線方向データを生成する（ステップＳ１０４）。ステップＳ１０４において、例えば、制御部３１は、入力部２７を介して、車内カメラ１１によって撮影された車両Ｍの運転者の顔を撮影した映像を取得し、当該映像から推定される視線方向を示す数値の時系列のデータを生成する。

【0149】

ステップＳ１０４の実行後、制御部３１は、ステップＳ１０１において生成した車両Ｍの走行履歴情報及びステップＳ１０３において生成したイベントの各々についての一連の視線方向データを情報処理装置１０に送信する（ステップ１０５）。ステップＳ１０５において、例えば、制御部３１は、車両Ｍの走行履歴情報及び視線方向データを含むデータに、車両Ｍを特定可能な識別子を付して送信する。

【0150】

ステップＳ１０５の実行後、制御部３１は、走行履歴送信ルーチンＲＴ１を終了する。なお、端末装置２０の制御部３１は、車両ＭのＡＣＣ電源がＯＮとなった場合に、走行履歴送信ルーチンＲＴ１を開始することとし、車両Ｍが交差点、Ｔ字路、五差路等の、安全確認が必要になるような地点を通過するイベントが生じるたびに、当該イベントに関して、車両Ｍの走行履歴情報及び視線方向データを含むデータに、車両Ｍを特定可能な識別子を付して送信するようにしてもよい。

【0151】

図１１は、情報処理装置１０の制御部４５によって実行されるルーチンの一例である評価ルーチンＲＴ２を示すフローチャートである。制御部４５は、例えば、情報処理装置１０に電源が投入されると、評価ルーチンＲＴ２を開始する。

【0152】

制御部４５は、評価ルーチンＲＴ２を開始すると、端末装置２０から車両の走行履歴及び視線方向データを受信したか否かを判定する（ステップＳ２０１）。

【0153】

制御部４５は、ステップＳ２０１において、走行履歴及び視線方向データを受信していないと判定する（ステップＳ２０１：ＮＯ）と、評価ルーチンＲＴ２を終了し、次の評価ルーチンＲＴ２を新たに開始する。

【0154】

制御部４５は、ステップＳ２０１において、走行履歴及び視線方向データを受信したと判定する（ステップＳ２０１：ＹＥＳ）と、受信した走行履歴及び視線方向データに含まれる１又は複数のイベントのうちのｋ番目のイベントを特定する（ステップＳ２０２）。

【0155】

ステップＳ２０１において、制御部４５は、第１イベント中における第１車両の運転者の一連の視線方向を示す第１視線方向データを取得する視線方向データ取得部として機能する。

【0156】

ステップＳ２０２の実行後、制御部４５は、ステップＳ２０２において特定されたイベントが生じた際の車両Ｍの位置及び進行方向を示す走行データを取得する（ステップＳ２０３）。

【0157】

ステップＳ２０３において、例えば、制御部４５は、交差点ＤＢ４３Ａを参照し、車両Ｍの走行履歴に基づいて、ｋ番目のイベントが生じた際の車両Ｍの位置に基づいて決まる交差点の交差点ＩＤと、当該交差点を通過する際の車両Ｍの進行方向を示す進行方向ＩＤと、を取得する。

【0158】

ステップＳ２０３において、制御部４５は、ステップＳ２０２において特定されたイベントが生じた際の車両Ｍの位置及び進行方向を示す走行データを取得するステップ（走行データ取得ステップ）を実行する走行データ取得部として機能する。

【0159】

ステップＳ２０３の実行後、制御部４５は、評価モデル記憶部４３Ｂに記憶されている複数の評価モデルの中から、車両Ｍの位置に基づいて決まる交差点に対応する評価モデルを選択する（ステップＳ２０４）。

【0160】

ステップＳ２０４において、例えば、制御部４５は、ステップＳ２０３において取得した交差点ＩＤに対応付けられている評価モデルを選択する。

【0161】

言い換えれば、ステップＳ２０４において、評価情報生成部としての制御部４５は、複数の評価手段の中から、車両Ｍの位置に基づいて決まる交差点に対応する第１評価手段を選択する。

【0162】

ステップＳ２０４の実行後、制御部４５は、ステップＳ２０４において選択した評価モデルに、車両Ｍの進行方向と、視線方向データと、を入力し、車両Ｍの運転者の一連の視線方向の評価情報を生成して出力する（ステップＳ２０５）。

【0163】

ステップＳ２０５において、例えば、制御部４５は、図８に示したような評価モデルＭ１を用いて、当該評価情報を出力する。ステップＳ２０５において、例えば、制御部４５は、一連の視線方向データ１～１００及び進行方向ＩＤをニューラルネットワークの入力層に入力すると、ニューラルネットワークの出力層から、運転スコアを示す値が出力される。

【0164】

制御部４５は、例えば、当該出力層から出力された値又は当該値について所定の換算を行った換算値を評価情報として出力し得る。例えば、制御部４５は、出力層からの５段階の評価出力の数値を１００点満点の値に換算し、その換算値を評価情報として出力してもよい。

【0165】

ステップＳ２０５において、制御部４５は、所定のイベントが生じた際の第１車両の位置に基づいて選択された第１評価手段に第１車両の当該イベント中の進行方向及び第１視線方向データを入力し、当該イベントにおける第１車両の運転者の一連の視線方向の評価情報を生成する評価情報生成部として機能する。

【0166】

ステップＳ２０５の実行後、制御部４５は、ｋをインクリメントしてｋ＋１をｋとする（ステップＳ２０６）。

【0167】

ステップＳ２０６の実行後、制御部４５は、ステップＳ２０１において受信した走行履歴及び視線方向データを参照し、ｋ番目のイベントが存在するか否かを判定する（ステップＳ２０７）。

【0168】

制御部４５は、ステップＳ２０７において、ｋ番目のイベントが存在すると判定する（ステップＳ２０７：ＹＥＳ）と、ステップＳ２０２に戻り、再びｋ番目のイベントを特定する。

【0169】

制御部４５は、ステップＳ２０７において、ｋ番目のイベントが存在しないと判定する（ステップＳ２０７：ＮＯ）と、ステップＳ２０５において出力した交差点毎の一連の視線方向の評価情報を外部に送信する（ステップＳ２０８）。

【0170】

ステップＳ２０８において、例えば、複数のイベントについての評価情報が出力されている場合には、当該複数の評価情報がまとめて送信される。例えば、車両Ｍの一連の走行についての評価情報、言い換えれば、ステップＳ２０１において取得された走行履歴に含まれる全ての交差点についての評価情報がまとめて送信される。

【0171】

ステップＳ２０８において、例えば、制御部４５は、ステップＳ２０４において生成した一連の視線方向の評価情報を管理サーバ５０に送信する。例えば、ステップＳ２０８において送信された評価情報は、管理サーバ５０において、保険料の算出に用いられる。当該保険料の算出において、例えば、評価結果が良いドライバーについて、安全確認を適切に行っており事故のリスクが低いとして、保険料が低く設定される。

【0172】

また、ステップＳ２０８において、例えば、制御部４５は、ステップＳ２０４において生成した一連の視線方向の評価情報を車両Ｍの運転者が携帯するスマートフォン等の端末装置（図示せず）に送信してもよい。

【0173】

制御部４５は、ステップＳ２０８の実行後、評価ルーチンＲＴ２を終了し、次の評価ルーチンＲＴ２を新たに開始する。

【0174】

なお、評価ルーチンＲＴ２のステップＳ２０４において、制御部４５は、学習済みモデルに限られず、例えば、視線方向の評価基準を定めた複数のテーブルの中から、ステップＳ２０３において取得した交差点ＩＤに対応付けられているテーブルを選択してもよい。その場合、ステップＳ２０５において、制御部４５は、当該テーブルにおいて、進行方向毎に定められた視線方向の評価基準に従って、ステップＳ２０１において取得した視線方向データについての車両Ｍの運転者の一連の視線方向の評価情報を出力する。

【0175】

以上、説明したように、本実施例の情報処理装置１０は、第１車両としての車両Ｍの走行中に所定のイベントが生じた際の車両Ｍの位置及び進行方向を示す走行データを取得する走行データ取得部と、当該イベント中における車両Ｍの運転者の一連の視線方向を示す第１視線方向データを取得する視線方向データ取得部と、少なくとも、当該イベントが生じた際の車両Ｍの位置、車両Ｍの当該イベント中の進行方向及び第１視線方向データに基づいて、当該イベントにおける車両Ｍの運転者の一連の視線方向の評価情報を生成する評価情報生成部と、を有する。

【0176】

このような構成により、情報処理装置１０によれば、所定イベントが生じた際の車両Ｍの位置及び車両Ｍの当該イベント中の進行方向に関連づけて車両Ｍの運転者の一連の視線方向を評価することができ、例えば、当該車両Ｍの位置及び進行方向に適した視線の動かし方をしていたか否かを評価することができる。

【0177】

また、情報処理装置１０によれば、例えば、当該イベントが生じた際の車両Ｍの位置に基づいて選択された第１評価手段を用いることで、例えば、イベントが生じ得る位置毎の熟練運転者の安全確認時の視線の運び方を正しい視線方向として、イベントが生じた際の車両Ｍの位置毎に評価した評価情報を出力することができる。

【0178】

従って、運転者が安全確認動作を適正に行っているか否かを判定可能であり、車両の挙動には現れない潜在的な事故のリスクを高い精度で評価可能である情報処理装置、情報処理方法、情報処理プログラム及び記録媒体を提供することができる。

【0179】

上述した実施例における構成及びルーチンは例示に過ぎず、用途等に応じて適宜選択及び変更可能である。

【0180】

なお、上記の実施例及び変形例において、一連の視線方向の評価をリアルタイムで実行するようにしてもよい。その場合、例えば、端末装置２０の制御部３１又は情報処理装置１０の制御部４５が、車両Ｍの現在位置からイベントを特定し、車両Ｍの進行予定の経路から進行予定方向を取得し、当該車両Ｍの現在位置及び車両Ｍの進行予定方向に基づいて、走行データを取得してもよい。その場合、情報処理装置１０の制御部４５の機能が端末装置２０の制御部３１に備えられていてもよい。

【0181】

なお、上記の実施例及び変形例における視線方向の評価において、上述したような車両の挙動を示す情報をさらに入力として用いてもよい。例えば、評価モデルＭ１の入力として、ステアリングホイール１９、アクセルペダル２１若しくはブレーキペダル２３の操作に関する物理量を示す情報、車両Ｍの加速度や進行方向等の挙動示す情報、前照灯やウィンカーの点灯状態を示す情報、又はシフトレバーの位置を示す情報を用いてもよい。これによって、車両の操作を適切に行っていたか否か及び当該操作のタイミングに関連した視線方向の評価を含めた評価を実現することができ、視線方向に現れる安全運転動作に関するより高い精度の評価を実行することができる。

【符号の説明】

【0182】

１０ 情報処理装置
２０ 端末装置
２７ 入力部
２９ 記憶部
３１ 制御部
３３ 通信部
３５ 出力部
４３ 大容量記憶装置
４３Ａ 交差点ＤＢ
４３Ｂ 評価モデル記憶部
４５ 制御部
４７ 通信部
５０ 管理サーバ
１００ 情報処理システム
Ｍ 車両

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】