特開 2022-156699 リスク評価装置、リスク評価システム、リスク評価方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022156699

(43)【公開日】2022-10-14

(54)【発明の名称】リスク評価装置、リスク評価システム、リスク評価方法

(51)【国際特許分類】

   G06Q 50/30 20120101AFI20221006BHJP

   G08G 1/00 20060101ALI20221006BHJP

   G08G 1/16 20060101ALI20221006BHJP

【ＦＩ】

G06Q50/30

G08G1/00 D

G08G1/16 F

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021060518

(22)【出願日】2021-03-31

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．カラーコーン

(71)【出願人】

【識別番号】515133268

【氏名又は名称】株式会社オファサポート

(74)【代理人】

【識別番号】110002790

【氏名又は名称】Ｏｎｅ ｉｐ弁理士法人

(72)【発明者】

【氏名】服部 幸雄

【テーマコード（参考）】

5H181

5L049

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181BB05

5H181CC02

5H181CC03

5H181CC04

5H181CC11

5H181CC15

5H181CC27

5H181FF04

5H181FF05

5H181FF10

5H181LL20

5H181MB11

5H181MB12

5H181MC19

5L049CC41

(57)【要約】      （修正有）

【課題】ドライバの運転に伴うリスクを評価するリスク評価装置、リスク評価システム及びリスク評価方法を提供する。
【解決手段】ユーザの運転におけるリスクを評価するサーバ装置が、ネットワークを介して車両装置及びユーザ端末４と接続されるリスク評価システムにおいて、サーバ装置は、ユーザが運転する車両の周囲の周囲画像と、ユーザの視野を模したユーザ視野画像に含まれる交通対象物を検出する交通対象物検出部１１５と、交通対象物の中でユーザが認知すべき重要交通対象物を識別し、周囲画像に含まれる重要交通対象物と、ユーザ視野画像に含まれる重要交通対象物を比較することでユーザのリスクを評価するリスク評価部１２０と、を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

ユーザの運転におけるリスクを評価するリスク評価装置であって、
前記ユーザが運転する車両の周囲の周囲画像と、前記ユーザの視野を模したユーザ視野画像に含まれる交通対象物を検出する交通対象物検出部と、
前記交通対象物の中でユーザが認知すべき重要交通対象物を識別し、前記周囲画像に含まれる前記重要交通対象物と、前記ユーザ視野画像に含まれる前記重要交通対象物を比較することで前記ユーザのリスクを評価するリスク評価部と、
を備えることを特徴とする、リスク評価装置。

【請求項2】

前記ユーザの視線を推定し、前記ユーザの前記交通対象物に対する認知を判定する認知判定部と、
をさらに備え、
前記リスク評価部は、前記認知判定部が判定した、前記重要交通対象物に対する認知の有無の情報をもとに、リスクを評価すること、
を特徴とする、請求項１に記載のリスク評価装置。

【請求項3】

前記交通対象物検出部は、前記交通対象物を囲むバウンディングボックスを生成し、
前記認知判定部は、前記視線が前記バウンディングボックスと所定の時間重なることで、前記ユーザの前記交通対象物に対する認知を判定すること、
を特徴とする、請求項２に記載のリスク評価装置。

【請求項4】

ユーザの運転におけるリスクを評価するリスク評価システムであって、
前記ユーザが運転する車両の周囲の周囲画像と、前記ユーザの視野を模したユーザ視野画像に含まれる交通対象物を検出する交通対象物検出機能と、
前記交通対象物の中でユーザが認知すべき重要交通対象物を識別し、前記周囲画像に含まれる前記重要交通対象物と、前記ユーザ視野画像に含まれる前記重要交通対象物を比較することで前記ユーザのリスクを評価するリスク評価機能と、
を備えることを特徴とする、リスク評価システム。

【請求項5】

ユーザの運転におけるリスクを評価するリスク評価方法であって、
前記ユーザが運転する車両の周囲の周囲画像と、前記ユーザの視野を模したユーザ視野画像に含まれる交通対象物を検出する交通対象物検出ステップと、
前記交通対象物の中でユーザが認知すべき重要交通対象物を識別し、前記周囲画像に含まれる前記重要交通対象物と、前記ユーザ視野画像に含まれる前記重要交通対象物を比較することで前記ユーザのリスクを評価するリスク評価ステップと、
を備えることを特徴とする、リスク評価方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、リスク評価装置、リスク評価システム、リスク評価方法に関する。

【背景技術】

【0002】

運転において、ドライバはまず周囲の状況を認知し、ハンドルを切る、ブレーキを踏むなどの判断をし、具体的な行動を起こす。従って、運転において認知の役割は重要である。特に高齢者ドライバにおいては、認知機能の衰えによって、運転に支障をきたすことが知られている。

【0003】

ドライバの精神的又は感覚的な状態を評価する技術が提案されている（特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開第２０１９－１７０４５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の技術は、ドライバの視線運動の情報から、ドライバの眠気や疲労度、緊張度などを判定することを目的としており、ドライバが運転中に対向車や信号などの認知ができているのか、また認知の状態の変化などから、ドライバが自身の運転に伴うリスクを知ることはできなかった。

【0006】

そこで、本開示は上記問題点に鑑みてなされたものであり、その目的は、ドライバの運転に伴うリスクを評価するリスク評価装置、リスク評価システム、リスク評価方法を提供することである。

【課題を解決するための手段】

【0007】

本開示によれば、ユーザの運転におけるリスクを評価するリスク評価装置であって、前記ユーザが運転する車両の周囲の周囲画像と、前記ユーザの視野を模したユーザ視野画像に含まれる交通対象物を検出する交通対象物検出部と、前記交通対象物の中でユーザが認知すべき重要交通対象物を識別し、前記周囲画像に含まれる前記重要交通対象物と、前記ユーザ視野画像に含まれる前記重要交通対象物を比較することで前記ユーザのリスクを評価するリスク評価部と、を備えることを特徴とする、リスク評価装置、が提供される。

【0008】

その他本願が開示する課題やその解決方法については、発明の実施形態の欄および図面により明らかにされる。

【発明の効果】

【0009】

本開示によれば、ドライバの運転に伴うリスクを解析できる。

【図面の簡単な説明】

【0010】

【図1】本開示の一実施形態に係る健康支援システムの全体構成例を示す図である。

【図2】同実施形態に係る車両装置３の機能構成例を示す図である。

【図3】同実施形態に係るサーバ装置１のハード構成例を示す図である。

【図4】同実施形態に係るサーバ装置１の機能構成例を示す図である。

【図5】同実施形態に係るユーザ情報記憶部１３１に記憶される情報の構成例を示す図である。

【図6】同実施形態に係る交通対象物検出部１１５の処理の例を示す図である。

【図7】同実施形態に係る交通対象物検出部１１５の処理の例を示す他の図である。

【図8】同実施形態に係る視線推定部１１６の処理の例を示す図である。

【図9】同実施形態に係るサーバ装置１の処理の例を示す図である。

【発明を実施するための形態】

【0011】

本発明の実施形態の内容を列記して説明する。本発明の一実施形態は、以下のような構成を備える。
［項目１］
ユーザの運転におけるリスクを評価するリスク評価装置であって、
前記ユーザが運転する車両の周囲の周囲画像と、前記ユーザの視野を模したユーザ視野画像に含まれる交通対象物を検出する交通対象物検出部と、
前記交通対象物の中でユーザが認知すべき重要交通対象物を識別し、前記周囲画像に含まれる前記重要交通対象物と、前記ユーザ視野画像に含まれる前記重要交通対象物を比較することで前記ユーザのリスクを評価するリスク評価部と、
を備えることを特徴とする、リスク評価装置。
［項目２］
前記ユーザの視線を推定し、前記ユーザの前記交通対象物に対する認知を判定する認知判定部と、
をさらに備え、
前記リスク評価部は、前記認知判定部が判定した、前記重要交通対象物に対する認知の有無の情報をもとに、リスクを評価すること、
を特徴とする、項目１に記載のリスク評価装置。
［項目３］
前記交通対象物検出部は、前記交通対象物を囲むバウンディングボックスを生成し、
前記認知判定部は、前記視線が前記バウンディングボックスと所定の時間重なることで、前記ユーザの前記交通対象物に対する認知を判定すること、
を特徴とする、項目２に記載のリスク評価装置。
［項目４］
ユーザの運転におけるリスクを評価するリスク評価システムであって、
前記ユーザが運転する車両の周囲の周囲画像と、前記ユーザの視野を模したユーザ視野画像に含まれる交通対象物を検出する交通対象物検出機能と、
前記交通対象物の中でユーザが認知すべき重要交通対象物を識別し、前記周囲画像に含まれる前記重要交通対象物と、前記ユーザ視野画像に含まれる前記重要交通対象物を比較することで前記ユーザのリスクを評価するリスク評価機能と、
を備えることを特徴とする、リスク評価システム。
［項目５］
ユーザの運転におけるリスクを評価するリスク評価方法であって、
前記ユーザが運転する車両の周囲の周囲画像と、前記ユーザの視野を模したユーザ視野画像に含まれる交通対象物を検出する交通対象物検出ステップと、
前記交通対象物の中でユーザが認知すべき重要交通対象物を識別し、前記周囲画像に含まれる前記重要交通対象物と、前記ユーザ視野画像に含まれる前記重要交通対象物を比較することで前記ユーザのリスクを評価するリスク評価ステップと、
を備えることを特徴とする、リスク評価方法。
＜実施の形態の詳細＞

【0012】

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0013】

＝＝概要＝＝
図１はリスク評価システムの全体構成を示す図である。図１に示すように、リスク評価システムは、サーバ装置１、車両装置３、ユーザ端末４を有する。サーバ装置１は、ネットワーク２を介して車両装置３、ユーザ端末４と接続される。車両装置３、ユーザ端末４は１台だけ示してあるが、これ以上存在してもよいことは言うまでもない。

【0014】

＝＝車両装置３＝＝
車両装置３は、本実施の形態では、図２に示すように、車両Ａの挙動を検出する車両挙動検出群３１、ドライバ（以下ユーザ）の車両Ａに対する操作量を検出する車両操作量検出群３２、ユーザの動作や状態を検出するドライバ検出群３３、車両Ａの位置情報を検出するＧＰＳ受信部３４、車両Ａの周辺やドライバの映像を撮像するドライブレコーダ、及び車両装置３を制御する制御部３６を主要構成として備える。なお、制御部３６は、当該車両がＣＡＮ搭載車両（ＣＡＮ：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）であれば、ＣＡＮが取得する情報を取得して処理に用いてもよい。

【0015】

この制御部２５には、本実施の形態では、操作部３７、表示部３８、及び記憶部３９が接続される。

【0016】

車両挙動検出群３１は、本実施の形態では、車速度検出部３１１、加速度検出部３１２、及び角速度検出部３１３を主要構成として備える。

【0017】

車速度検出部３１１は、実施の形態では、車両Ａの速度に応じた車速度データを出力し、加速度検出部３１２は、車両Ａの加速度に応じた加速度データを出力し、かつ角速度検出部３１３は、例えば鉛直方向１軸の周りの角速度（ヨーレート）に応じた角速度を出力する。

【0018】

車両操作量検出群３２は、本実施の形態では、アクセルペダル踏み角検出部３２１、ブレーキペダル踏み角検出部３２２、及び操舵角検出部３２３を主要構成として備える。

【0019】

アクセルペダル踏み角検出部３２１は、実施の形態では、アクセルペダルの踏み込み角度を検出して対応するアクセルペダル踏み角データを出力し、ブレーキペダル踏み角検出部３２２は、ブレーキペダルの踏み込み角度を検出して対応するブレーキペダル踏み角データを出力する。

【0020】

これらアクセルペダル及びブレーキペダルの踏み角は、本実施の形態では、例えばペダルを踏み込んでいない場合に０度に設定されており、ペダルの踏み込み量に応じて踏み角が増大する。

【0021】

操舵角検出部３２３は、本実施の形態では、ステアリングの操作量に応じた操舵角を出力する。

【0022】

ドライバ検出群３３は、本実施の形態では、視野計３３１、撮像部３３２、生体計測部３３３を主要構成として備え、ドライバ情報を検出する。この視野計３３１は、ユーザの視線の動作を計測し、この計測結果に応じた視野データを出力する。撮像部３３２は、例えば、ユーザの顔周辺に取り付けたカメラ等であり、運転時のユーザの視野と近いと想定される映像を撮像する。撮像部３３２は、眼鏡にカメラ機能を有する眼鏡型のデバイスなどであればよいが、これに限定されない。生体計測部３３３は、被検者に取り付けた機器、ウェアラブルデバイス等から、生体の状態を計測する。本開示のシステムにとって容認できる生体計測用のセンサは多岐に渡るが、生体計測部３３３には、ユーザの身体との連続性がありかつ当該身体に付着されるセンサと、患者の身体から遠隔するセンサとの双方を含み得る。生体計測部３３３が有するセンサは、加速度計、ＲＦＩＤセンシング、抵抗、容量、誘導及び磁気センサ、反射センサ、赤外センサ、ビデオモニタリング、圧力及び応力センサ、経皮的酸素圧力センサ、経皮的ＣＯ２センサ、ハイドレーションセンサ、ｐＨセンサ、超音波センサ、リモート光学分光センサ及びレーザドップラーフローセンサなどを含んでもよい。

【0023】

ＧＰＳ受信部３４は、本実施の形態では、道路上の車両Ａの位置情報を検出するものである。例えば、自動車教習所等の走行コースにおいて、車両Ａが走行予定コースに沿って走行しているか否かを検出してもよい。

【0024】

ドライブレコーダ３５は、本実施の形態では、映像を撮影する機能を備える端末である。ドライブレコーダ３５は、たとえば、一般的に車両に取り付けられるドラレコ、でもよいし、スマートフォンやタブレットコンピュータ、パーソナルコンピュータ、通信機能を備えるカメラなどでもよい。ドライブレコーダ３５は、自動車の周辺（特に車両の前方であるが、これに限定されない）と、ドライバと、のいずれかまたは両方の画像（映像を含む。音声を含んでいてもよい）を撮像する。当該画像は記憶部３９に記憶されてもよいし、車両装置３からネットワーク２を介してサーバ装置１に送信されて、サーバ装置１に記憶されてもよい。更に、自動車の周辺と、ドライバと、の画像を撮像するため、複数の異なるドライブレコーダ３５が用いられてもよい。更に、ドライブレコーダ３５は撮像部３３２を兼ねていてもよい。また、当該画像は記憶部３９に記憶された場合は、サーバ装置１を用いる事業者などが、取り外し可能な記憶媒体を介して、サーバ装置１に情報を移し、サーバ装置１に記憶されてもよい。

【0025】

制御部３６は、本実施の形態では、車両挙動検出群３１、車両操作量検出群３２、ドライバ検出群３３、ＧＰＳ受信部、ドライブレコーダ３５が取得したデータを取得し、記憶部３９に記憶する。また、制御部３６は、取得したデータを、ネットワーク２を介して、サーバ装置１に送信してもよい。

【0026】

＝＝ユーザ端末４＝＝
ユーザ端末４は、ユーザが操作するコンピュータである。ユーザ端末４は、たとえば、スマートフォンやタブレットコンピュータ、パーソナルコンピュータなどであるが、それに限定されずその他電子機器であってもよい。また、ユーザ端末４は、ＧＰＳ、ジャイロセンサ、加速度センサ、照度センサ、近接センサなどのセンサを備えていてもよい。車両装置３とユーザ端末４で同等のデータを取得できる場合は、車両装置３で取得するデータを、ユーザ端末４から取得してもよい。ユーザは、たとえばユーザ端末４で実行されるアプリケーションやＷｅｂブラウザによりサーバ装置１にアクセスすることができる。

【0027】

以下、サーバ装置１の構成について説明する。

【0028】

図３は、本実施形態のサーバ装置１のハードウェア構成例を示す図である。サーバ装置１は、プロセッサ１０１、メモリ１０２、記憶装置１０３、通信インタフェース１０４、入力装置１０５、出力装置１０６を備える。記憶装置１０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース１０４は、ネットワーク２に接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタやＲＳ２３２Ｃコネクタなどである。入力装置１０５は、たとえばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどを通じてデータの入力を受け付ける装置である。出力装置１０６は、データを出力する、たとえば、ディスプレイやプリンタ、スピーカーなどを備える。

【0029】

図４は、サーバ装置１の機能構成を示すブロック図である。図４に示すように、サーバ装置１は、ユーザ情報取得部１１１と、周囲画像取得部１１２と、ドライバ視野画像取得部１１３と、ドライバ画像取得部１１４と、交通対象物検出部１１５と、視線推定部１１６と、認知判定部１１７と、認知解析部１１８と、車両挙動情報・車両操作情報・ドライバ情報取得部１１９と、評価部１２０と、アドバイス情報送信部１２１と、の各処理部と、ユーザ情報記憶部１３１と、周囲画像情報記憶部１３２と、ドライバ視野画像情報記憶部１３３と、ドライバ画像情報記憶部１３４と、交通対象物情報記憶部１３５と、視線情報記憶部１３６と、車両挙動情報・車両操作情報・ドライバ情報記憶部１３７と、アドバイス情報記憶部１３８と、の各記憶部と、を含んで構成される。

【0030】

なお、上記各機能部は、サーバ装置１が備えるプロセッサ１０１が記憶装置１０３に記憶されているプログラムをメモリ１０２に読み出して実行することにより実現され、上記各記憶部は、サーバ装置１が備えるメモリ１０２及び記憶装置１０３が提供する記憶領域の一部として実現される。

【0031】

ここで、本実施の形態において、ユーザ情報記憶部１３１と、周囲画像情報記憶部１３２と、ドライバ視野画像情報記憶部１３３と、ドライバ画像情報記憶部１３４と、交通対象物情報記憶部１３５と、視線情報記憶部１３６と、車両挙動情報・車両操作情報・ドライバ情報記憶部１３７と、アドバイス情報記憶部１３８と、のデータ構成について示す。

【0032】

ユーザ情報記憶部１３１は、ユーザ情報取得部１１１が受け付けた、図５に一例を示すユーザ情報を記憶する。図４に示すように、ユーザ情報は、一例として、氏名、年齢、性別、身長、体重、既往歴、筋力、認知力、運転歴などの情報を含む。

【0033】

周囲画像情報記憶部１３２は、ドライブレコーダ３５が撮像し、周囲画像取得部１１２が受け付けた、ユーザが運転する車両の周囲の画像を記憶する。当該周囲画像は映像を含む。また、当該周囲画像には、信号や中心線、停止線などの道路上に固定された対象物や、歩行者、自動車、自転車などの道路上に動的に存在する対象物などが含まれるが、これらに限定されない。

【0034】

ドライバ視野画像情報記憶部１３３は、撮像部３３２が撮像する、ユーザの視野と近いと想定される映像を記憶する。当該映像は、ユーザの頭部、顔部などに取り付けられたカメラ等（撮像部３３２）で撮像され、当該カメラは、ユーザが首、顔、体などを動かしてある方向を向いた際に、同じ方向を撮像するように取り付けられていれば、どのような方式で取り付けられていてもよい。

【0035】

ドライバ画像情報記憶部１３４は、撮像部３３２が撮像し、ドライバ画像取得部１１４が取得した、ドライバの画像を記憶する。当該画像は、ユーザの顔を含む。また、当該画像は、運転中のユーザの目の動きを含んでいてもよい。

【0036】

交通対象物情報記憶部１３５は、交通対象物検出部１１５が検出した、交通対象物の情報を記憶する。当該交通対象物の情報は、前記周囲画像または前記ドライバ視野画像の動画像ファイルに紐づけて、時間と座標の情報で記憶してもよいし、前記周囲画像または前記ドライバ視野画像に、バウンディングボックスを重ねて画像化した状態で記憶してもよい。

【0037】

視線情報記憶部１３６は、視線推定部１１６が検出した、ユーザの視線の情報を記憶する。当該視線の情報は、前記周囲画像または前記ドライバ視野画像の動画像ファイルに紐づけて、時間と座標の情報で記憶してもよいし、前記周囲画像または前記ドライバ視野画像に、視線マーカを重ねて画像化した状態で記憶してもよい。

【0038】

車両挙動情報・車両操作情報・ドライバ情報記憶部１３７は、車両挙動検出群３１と、車両操作量検出群３２と、ドライバ検出群３３が検出し、車両挙動情報・車両操作情報・ドライバ情報取得部１１９が取得した、車両挙動情報と、車両操作量情報と、生体情報を記憶する。前記車両挙動情報は、一例として、車速度、加速度、角速度などの情報を含み、また、それらを時間軸や位置情報に紐づけて記憶してもよい。前記車両操作情報は、一例として、アクセルペダル踏み角、ブレーキペダル踏み角、操舵角などの情報を含み、また、それらを時間軸や位置情報に紐づけて記憶してもよい。前記ドライバ情報は、一例として、視線の動作、ドライバの映像、生体情報などの情報を含み、また、それらを時間軸や位置情報に紐づけて記憶してもよい。

【0039】

アドバイス情報記憶部１３８は、ユーザに対するアドバイス情報を記憶する。当該アドバイス情報には、年齢、運転歴などのユーザ情報に含まれる属性と、認知解析部１１８、評価部１２０の処理内容に応じた、運転に対するアドバイス、運転にまつわるトレーニングなどの情報を記憶する。

【0040】

以上がサーバ装置１のデータ構成についての説明である。

【0041】

ここで、本実施の形態において、ユーザ情報取得部１１１と、周囲画像取得部１１２と、ドライバ視野画像取得部１１３と、ドライバ画像取得部１１４と、交通対象物検出部１１５と、視線推定部１１６と、認知判定部１１７と、認知解析部１１８と、車両挙動情報・車両操作情報・ドライバ情報取得部１１９と、評価部１２０と、アドバイス情報送信部１２１と、の機能について示す。

【0042】

ユーザ情報取得部１１１は、一例として、ネットワーク２を介して、ユーザ端末４にユーザ情報に関する入力フォームを提示し、ユーザに関する情報を取得する。当該送受信における通信は、有線、無線のいずれでもよく、また、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。なお、当該ユーザ情報の一部または全体を、サーバ装置１を用いる事業者が、前記ユーザへのヒアリングやアンケート等で回収した情報をサーバ装置１に直接入力してもよいし、ネットワーク２を介して事業者端末から入力してもよい。

【0043】

周囲画像取得部１１２は、一例として、ネットワーク２を介して、ドライブレコーダ３５が撮像し、車両装置３からサーバ装置１に送信される、車両の周囲画像を取得する。当該送受信における通信は、有線、無線のいずれでもよく、また、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。

【0044】

ドライバ視野画像取得部１１３は、一例として、ネットワーク２を介して、撮像部３３２が撮像し、車両装置３からサーバ装置１に送信される、ユーザの視野と近い映像を取得する。当該送受信における通信は、有線、無線のいずれでもよく、また、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。

【0045】

ドライバ画像取得部１１４は、一例として、ネットワーク２を介して、車両装置３から送信される、ユーザの画像（ドライバ画像）を取得する。当該送受信における通信は、有線、無線のいずれでもよく、また、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。

【0046】

交通対象物検出部１１５は、一例として、前記周囲画像および、前記ドライバ視野画像から、交通対象物を検出し、前記周囲画像および、前記ドライバ視野画像上にバウンディングボックスを生成する。また、交通対象物検出部１１５は、検出した交通対象物に関する情報を、交通対象物情報記憶部１３５に記憶する。交通対象物とは、例えば、運転時にドライバが認識する必要のある情報である。交通対象物は、例えば、ドライバが運転する車両以外に道路上に存在する立体物を含み、車両の走行の障害になり得るものを含んでもよい。交通対象物は、一例として、他のドライバが運転する車両、歩行者、自転車などである。また、交通対象物は、例えば、道路上に意図的に設置されたガードレール、縁石、中央分離帯、信号、工事等のカラーコーンを含んでもよい。また、交通対象物は、例えば、通常道路上に存在しないが、何らかの理由で道路上に存在するものでよく、倒木、落石、道路の陥没等を含んでもよい。また、交通対象物は、ドライバに運転ルールや、道路の状況を伝える情報を含んでもよい。交通対象物は、一例として、信号、道路標識、道路標示（規制表示、指示表示）などを含んでもよい。

【0047】

交通対象物検出部１１５は、一例として、前記周囲画像および、前記ドライバ視野画像から、交通対象物を検出する。交通対象物検出部１１５は、一般的な画像認識技術を用いて、交通対象物を検出すればよい。以下に、交通対象物検出部１１５が行う処理の一例を示す。交通対象物検出部１１５は、例えば、歩行者を検出する場合、歩行者がいる可能性がある画像内のすべての場所に，歩行者の大きさの矩形を候補領域として設定する。一例として、ドライブレコーダ３５が２台のカメラを用いるステレオ視の場合、交通対象物検出部１１５は、視差計算により距離情報を計算する。これにより道路面ではない物体の領域を抽出し，その場所に歩行者が立っていると仮定して候補領域を設定すればよい。ドライブレコーダ３５がカメラ１台の場合は，カメラと道路面の位置関係を用いて，路面上に一定間隔で候補領域を配置する。交通対象物検出部１１５は、当該候補領域に対して歩行者検出に有効な情報を取り出すために特徴量を計算する。交通対象物検出部１１５は，あらかじめ大量のサンプル画像データを用いて学習しておいたモデルを用いて，この特徴量が歩行者画像のものか否かを判定すればよい。歩行者に限らず、交通対象物検出部１１５は、他の交通対象物を検出する場合にも同様の処理を行えばよい。当該特徴量としてよく知られているのは、画像の輝度勾配方向に関するヒストグラムＨＯＧ （Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）であるが、交通対象物検出部１１５が用いる特徴庁はこれに限定されない。

【0048】

交通対象物検出部１１５は、一例として、検出した交通対象物を含む領域に、バウンディングボックスを生成する。図６は、一例として、交通対象物検出部１１５が歩行者を交通対象物として判定し、バウンディングボックスを生成した画像である。ユーザ視野画像５０において、交通対象物検出部１１５は歩行者を検出し、バウンディングボックス５１を生成する。

【0049】

なお、交通対象物検出部１１５は、一例として、図７に示すように、検出した交通対象物にポイント（６２）を付け、ポイントを結んで線画像を生成してもよく、道路の中心（２本の側線の中心を結ぶ）など、存在しない線画像を生成してもよい。これらの線画像も、バウンディングボックスに含むこととする。

【0050】

視線推定部１１６は、前記ドライバ画像から、ユーザの視線を計測する。視線推定部１１６は、一般的な視線計測技術を用いて、ユーザの視線を計測すればよい。以下に、視線推定部１１６が行う処理の一例を示す。視線推定部１１６は、前記ドライバ画像が眼球の動きを捉えたものの場合、眼球の方向を解析し、視線の方向を推定して座標情報を生成する。視線推定部１１６は、前記ドライバ視野画像上に、当該座標情報をプロットし、視線マーカとして提示してもよい。また、視線推定部１１６は、顔の方向を入力情報とし、視線の向きを出力情報とする視線推定モデルを用いて視線を推定してもよい。

【0051】

図８は、視線推定部１１６が推定した視線の位置を、視線マーカとして表示した図である。ユーザは、自車両が運転する道路に、側道から入り込もうとしている車両の先端の位置を見ている（視線マーカ７１）。

【0052】

認知判定部１１７は、交通対象物検出部１１５が検出した交通対象物の情報と、視線推定部１１６が推定したユーザの視線の情報をもとに、ユーザが交通対象物を認知したか否かを判定する。

【0053】

認知判定部１１７は、交通対象物検出部１１５が前記ドライバ視野画像に重ねて生成したバウンディングボックスと、視線推定部１１６が前記ドライバ視野画像に重ねて提示した視線マーカの情報をもとに、ユーザが交通対象物を認知したか否かを判定する。

【0054】

認知判定部１１７は、一例として、前記視線マーカと、前記バウンディングボックスが、所定の時間重なった場合に、ユーザが当該バウンディングボックスの対象である交通対象物を認知したと判定する。なお、一時的に前記視線マーカが、前記バウンディングボックスの外に１回以上出た場合でも、それが所定の時間以下である場合には、その前後で前記視線マーカと前記バウンディングボックスとが重なった時間の合計値が、所定の時間以上である場合に、認知判定部１１７は、ユーザが当該バウンディングボックスの対象である交通対象物を認知したと判定してもよい。また、認知判定部１１７は、前記視線マーカと、前記バウンディングボックスと、の距離が、所定の時間以上、所定の距離以内にある場合に、ユーザが当該バウンディングボックスの対象である交通対象物を認知したと判定してもよい。

【0055】

例えば、図８において、視線マーカ７１は、バウンディングボックス７２と重なっている。この状態が所定の時間続くことで、ユーザは、バウンディングボックス７２の対象となっている車両を認知している、と認知判定部１１７は判定する。

【0056】

認知判定部１１７は、一例として、ユーザが複数の交通対象物を短時間に認知する必要がある場合に、所定の時間内に、前記視線マーカが、複数のバウンディングボックスと重なった場合に、ユーザが当該バウンディングボックスの対象である交通対象物を認知したと判定してもよい。これは、例えば交差点内走行時などであり、信号機、前方車両、横断歩行者等の複数の交通対象物を短時間に認知することが求められる状況での、認知判定部１１７による判定処理である。

【0057】

認知判定部１１７は、一例として、前記視線マーカをもとに、ユーザが意識せずにその方向を見ている状態（緩慢状態）を判定してもよい。認知判定部１１７は、前記視線マーカが所定の範囲に、所定の時間以上留まっている場合に、ユーザが緩慢状態であると判定してもよい。当該所定の範囲に、交通対象物が存在していたとしても、認知判定部１１７は、緩慢状態であると判定してもよい。

【0058】

認知解析部１１８は、一例として、交通対象物検出部１１５が検出した交通対象物の情報と、認知判定部１１７が行った、ユーザの認知の判定の情報をもとに、当該ユーザの認知の状態を解析する。

【0059】

認知解析部１１８は、一例として、ユーザの認知速度を解析する。認知解析部１１８は、前記交通対象物が前記周囲画像に現れた時点を第１時点とし、当該交通対象物をユーザが認知するまでの時間を第２時点とし、第１時点から第２時点までの時間を、ユーザの認知速度として解析する。また、認知解析部１１８は、前記交通対象物とユーザが運転する車両との距離が所定の距離となった時点を第１時点とし、当該交通対象物をユーザが認知するまでの時間を第２時点とし、第１時点から第２時点までの時間を、ユーザの認知速度として解析してもよい。また、認知解析部１１８は、ユーザの認知速度を、交通対象物ごとに分類し、交通対象物ごとの平均的な認知速度を解析してもよい。例えば、前方走行中の車両がウインカーを用いて車線変更を行う場合に、ウインカーが最初に点滅した時点を第１時点として、ユーザがウインカーに視線を所定の時間向けた時点を第２時点とし、当該第１時点から当該第２時点までの時間を、ユーザの認知速度としてもよい。

【0060】

認知解析部１１８は、一例として、ユーザが認知しやすい対象物と、そうでない対象物を解析する。認知解析部１１８は、前記ユーザ視野画像において、認知が行われたエリアを解析する。認知解析部１１８は、当該ユーザ視野画像の上部、下部、右部、左部、中央部など、どの部分で認知が行われたかを解析することで、ユーザが認知しやすい視野における場所を解析する。また、認知解析部１１８は、一例として、認知した交通対象物を解析することで、ユーザが認知しやすい色や形状などを解析する。

【0061】

認知解析部１１８は、一例として、ユーザが認知しやすい時間帯を解析する。認知解析部１１８は、ユーザが交通対象物を認知した時間の情報を解析し、ユーザが認知しやすい時間を解析する。また、認知解析部１１８は、ユーザが運転を開始した時点から、ユーザが交通対象物を認知するまでの時間を解析し、ユーザが運転開始後に認知機能が落ちていく時間を解析してもよい。

【0062】

車両挙動情報・車両操作情報・ドライバ情報取得部１１９は、一例として、ネットワーク２を介して、車両挙動検出群３１と、車両操作量検出群３２と、ドライバ検出群３３が検出した、車両挙動と、車両操作量と、ドライバ情報と、を取得し、車両挙動情報・車両操作量情報・ドライバ情報記憶部１３７に記憶する。当該送受信における通信は、有線、無線のいずれでもよく、また、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。

【0063】

リスク評価部１２０は、交通対象物検出部１１５が検出した交通対象物情報と、認知判定部１１７が判定した認知情報と、認知解析部１１８が解析した認知解析情報と、前記車両挙動情報と、前記車両操作量情報と、前記生体情報と、のいずれかまたは複数の情報をもとに、ユーザの運転のリスクを評価する。

【0064】

リスク評価部１２０は、例えば、前記周囲画像に含まれる交通対象物の内、認知することが重要である交通対象物（以下、周囲画像重要交通対象物という）を識別する。リスク評価部１２０は、交通対象物の内、信号、道路標識、道路標示など、運転に関する規制をユーザに示す交通対象物は、周囲画像重要交通対象物と識別する。また、リスク評価部１２０は、ユーザが運転する車両の進行方向に存在する、または数秒以内に車両の進行方向に入ってくると想定される立体物（車両や人の飛出しなど）を、周囲画像重要交通対象物と識別する。また、リスク評価部１２０は、場所や車両のおかれている状況に応じて、周囲画像重要交通対象物に優先度をつけてもよい。例えば、リスク評価部は、交差点においては、信号、対向車、進行方向にある横断歩道等を歩行する歩行者などを優先度の高い周囲画像重要交通対象物と識別してもよい。

【0065】

また、リスク評価部１２０は、一例として、前記ドライバ視野画像に含まれる交通対象物から、認知することが重要である交通対象物（以下、ドライバ視野画像重要対象物という）を識別する。当該識別の方法は、前述した周囲画像重要交通対象物を識別する方法を用いてもよいし、リスク評価部１２０が、周囲画像重要交通対象物と同じ対象物を、当該ドライバ視野画像から探し、存在した場合にドライバ視野画像重要対象物と識別してもよい。

【0066】

リスク評価部１２０は、一例として、前記周囲画像重要交通対象物と、前記ドライバ視野画像重要交通対象物とを比較することで、ユーザが、認知することが重要な交通対象物を、そもそも視野に捉えているか否かを評価する。

【0067】

リスク評価部１２０は、一例として、前記周囲画像重要交通対象物が、前記ドライバ視野画像に含まれない場合に、ユーザが当該周囲画像重要交通対象物の存在する方向に対して注意不足（例えば、前方不注意など）であると評価してもよい。

【0068】

リスク評価部１２０は、一例として、進路変更等の際に、前方または後方、側面の車両などの前記周囲画像重要対象物が、前記ドライバ視野画像に含まれない場合に、ユーザが進路変更等の運転行動に紐づく重要な確認行為を怠っている（例えば、安全不確認など）であると評価してもよい。

【0069】

リスク評価部１２０は、一例として、前記ドライバ視野画像重要対象物と、認知判定部１１７が判定した認知情報とをもとに、ユーザが、認知することが重要な交通対象物を、そもそも視野に捉えた上で、認知できているか否かを評価する。

【0070】

リスク評価部１２０は、一例として、相手（前方／交差等）車両等のドライバ視野画像重要交通対象物を認知したと認知判定部１１７が判定した場合にも、その後に動静の注視を怠った（認知の判定が、所定の時間内に十分な回数されなかった。また、当該ドライバ視野画像重要交通対象物を最初に認知してから、動いた後に再度認知しなかった、など）場合に、動静不注視であると評価してもよい。

【0071】

リスク評価部１２０は、一例として、交差点内（直進／右左折など）通行において、ドライバ視野画像に信号機が含まれているにもかかわらず、認知判定部１１７が信号機の認知を判定しない場合に、信号無視であると評価してもよい。

【0072】

リスク評価部１２０は、一例として、認知判定部１１７が判定した認知情報と、前記車両挙動情報、車両操作量情報、ドライバ情報のいずれかまたは全ての情報をもとに、ユーザの運転に際したリスクを評価してもよい。

【0073】

リスク評価部１２０は、一例として、ユーザが道路上の交通標示、交通標識等を認知したと認知判定部１１７が判定したにもかかわらず、当該交通標示、当該交通標識に応じた運転行動（操作／挙動）しなかった場合に、危険運転があったと評価してもよい。例えば、リスク評価部１２０は、一時停止違反、徐行違反、速度違反、追越し違反などと評価する。

【0074】

リスク評価部１２０は、一例として、ユーザが前方車両を認知していると認知判定部１１７が判定しているにもかかわらず、ユーザが前方車両との安全な距離を継続的に保っていない場合に、当該ユーザの認知能力が衰えていると評価してもよい。

【0075】

アドバイス送信１２２は、認知解析部１１８と、リスク評価部１２０のいずれかまたは両方の情報をもとに、ユーザに対するアドバイスを送信する。

【0076】

図９を用いて、本実施形態の代表的な処理の流れを説明する。ユーザ情報取得部１１１がユーザ情報を受け付ける（１００１）。周囲画像取得部１１２が周囲画像情報を受け付ける（１００２）。ドライバ視野画像取得部１１３がドライバ視野画像情報を受け付ける（１００３）。ドライバ画像取得部１１４がドライバ画像情報を受け付ける（１００４）。交通対象物検出部１１５は、前記周囲画像、前記ドライバ視野画像に含まれる交通対象物を検出する（１００５）。視線推定部１１６は、ドライバ画像から、ユーザの視線を推定する（１００６）。認知判定部１１７は、前記交通対象物の情報と、前記視線の情報から、ユーザが前記交通対象物に対して認知しているか否かを判定する（１００７）。リスク評価部１２０は、前記周囲画像と、前記ドライバ視野画像に含まれる前記交通対象物を比較することで、リスクを評価する（１００８）。リスク評価部１２０は、認知判定部１１７が、前記ドライバ視野画像において、当該ユーザがどの交通対象物を認知したか、をもとにリスクを評価する。（１００９）。

【0077】

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

【0078】

本明細書において説明した装置は、単独の装置として実現されてもよく、一部または全部がネットワークで接続された複数の装置（例えばクラウドサーバ）等により実現されてもよい。例えば、サーバ装置１の各機能部および各記憶部は、互いにネットワークで接続された異なるサーバにより実現されてもよい。

【0079】

本明細書において説明した装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施形態に係るサーバ装置１の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

【0080】

また、本明細書においてフローチャート図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

【0081】

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

【符号の説明】

【0082】

１ サーバ装置
２ ネットワーク
３ 車両装置
４ ユーザ端末
１０１ プロセッサ
１０２ メモリ
１０３ 記憶装置
１０４ 通信インタフェース
１０５ 入力装置
１０６ 出力装置
１１１ ユーザ情報取得部
１１２ 周囲画像取得部
１１３ ドライバ視野画像取得部
１１４ ドライバ画像取得部
１１５ 交通対象物検出部
１１６ 視線推定部
１１７ 認知判定部
１１８ 認知解析部
１１９ 車両挙動情報・車両操作情報・ドライバ情報取得部
１２０ 評価部
１２２ アドバイス送信部
１３１ ユーザ情報記憶部
１３２ 周囲画像情報記憶部
１３３ ドライバ視野画像情報記憶部
１３４ ドライバ画像情報記憶部
１３５ 交通対象物情報記憶部
１３６ 視野情報記憶部
１３７ 車両挙動情報・車両操作情報・ドライバ情報記憶部
１３８ アドバイス情報記憶部
３１ 車両挙動検出群
３２ 車両操作量検出群
３３ ドライバ検出群
３４ ＧＰＳ受信部
３５ ドライブレコーダ
３６ 制御部
３７ 操作部
３８ 表示部
３９ 記憶部
３１１ 車速度検出部
３１２ 加速度検出部
３１３ 角速度検出部
３２１ アクセルペダル踏み角検出部
３２２ ブレーキペダル踏み角検出部
３２３ 操舵角検出部
３３１ 視野計
３３２ 撮像部
３３３ 生体計測部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】