特開 2024-61803 判定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024061803

(43)【公開日】2024-05-08

(54)【発明の名称】判定装置

(51)【国際特許分類】

   G08G 1/00 20060101AFI20240426BHJP

   G07C 5/00 20060101ALI20240426BHJP

   G06T 7/00 20170101ALI20240426BHJP

【ＦＩ】

G08G1/00 D

G07C5/00 Z

G06T7/00 650Z

【審査請求】有

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2024036556

(22)【出願日】2024-03-11

(62)【分割の表示】P 2020054202の分割

【原出願日】2020-03-25

(71)【出願人】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】100134832

【弁理士】

【氏名又は名称】瀧野 文雄

(74)【代理人】

【識別番号】100165308

【弁理士】

【氏名又は名称】津田 俊明

(74)【代理人】

【識別番号】100115048

【弁理士】

【氏名又は名称】福田 康弘

(72)【発明者】

【氏名】伊藤 友二

(72)【発明者】

【氏名】井上 俊明

(72)【発明者】

【氏名】柴田 晃司

(57)【要約】

【課題】心理的負担がかかったことにより生じる事故やヒヤリハットといった安全上の問題が発生した疑いを判定する。
【解決手段】判定装置１は、視覚顕著性演算部３が、移動体から外部を撮像した画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性マップを取得し、視線座標設定部４が、理想視線の座標を設定する。そして、ベクトル誤差演算部５が、視覚顕著性マップと理想視線とに基づいて画像における視覚的注意集中度Ｐｓを算出する。判定部６が、視覚的注意集中度Ｐｓの時間的な変化量に基づいて、ヒヤリハット等の移動体の走行中に安全上の問題が発生した疑いがあると判定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

移動体から外部を撮像した画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性分布情報を取得する取得部と、
予め定めた規則に従って前記画像における基準視線位置を設定する視線位置設定部と、
前記視覚顕著性分布情報と前記視線位置とに基づいて前記画像における視覚的注意の集中度を算出する視覚的注意集中度算出部と、
前記視覚的注意の集中度の時間的な変化量に基づいて、前記移動体の走行中に安全上の問題が発生した疑いがあると判定する判定部と、
を備えることを特徴とする判定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体から外部を撮像した画像に基づいて所定の判定処理を行う判定装置に関する。

【背景技術】

【0002】

例えばドライブレコーダにおいては、車両の加速度に基づいて事故又はヒヤリハット等の発生を検出して、その発生前後の画像を記録している。

【0003】

特許文献１には、事故やヒヤリハットといったイベントを高精度に検出し、イベントの発生の原因を特定することができることができるドライブレコーダ装置の発明が記載されている。特許文献１に記載の発明では、加速度の変化量が加速側で発生した場合、制御部２１は、アクセル開度の変化量が運転者の判断によって操作したと判断される一定値以下であるか否かを判別し、アクセル開度の変化量が一定値以下である場合、外部エネルギーによるイベントであると判断する。一方、アクセル開度の変化量が一定値を越える場合、制御部２１は、運転手の判断によるイベントであると判断する。この場合、制御部２１は、ヒヤリハットの事例として、イベント情報、各種センサで収集したデータ、および映像情報を記録部２６に記録する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２－１６４１３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

加速度のみで事故やヒヤリハットと判定すると、急制動を伴わない例えば突然の車両の横からの侵入によるヒヤリハットや、漫然状態におけるヒヤリハットを検知することはできない。

【0006】

特許文献１に記載された発明では、アクセルの開度も判断の基準となっているため、急制動を伴わない例えば突然の車両の横からの侵入によるヒヤリハットや、漫然状態におけるヒヤリハットを検知することはできない。

【0007】

本発明が解決しようとする課題としては、心理的負担がかかったことにより生じる事故やヒヤリハットといった安全上の問題が発生した疑いを判定することが一例として挙げられる。

【課題を解決するための手段】

【0008】

上記課題を解決するために、請求項１に記載の発明は、移動体から外部を撮像した画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性分布情報を取得する取得部と、予め定めた規則に従って前記画像における基準視線位置を設定する視線位置設定部と、前記視覚顕著性分布情報と前記視線位置とに基づいて前記画像における視覚的注意の集中度を算出する視覚的注意集中度算出部と、前記視覚的注意の集中度の時間的な変化量に基づいて、前記移動体の走行中に安全上の問題が発生した疑いがあると判定する判定部と、を備えることを特徴としている。

【0009】

請求項５に記載の発明は、移動体から外部を撮像した画像に基づいて所定の判定処理を行う判定装置で実行される判定方法であって、前記画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性分布情報を取得する取得工程と、予め定めた規則に従って前記画像における基準視線位置を設定する視線位置設定工程と、前記視覚顕著性分布情報と前記視線位置とに基づいて前記画像における視覚的注意の集中度を算出する視覚的注意集中度算出工程と、前記視覚的注意の集中度の時間的な変化量に基づいて、前記移動体の走行中に安全上の問題が発生した疑いがあると判定する判定工程と、を含むことを特徴としている。

【0010】

請求項６に記載の発明は、請求項５に記載の判定方法をコンピュータにより実行させることを特徴としている。

【0011】

請求項７に記載の発明は、請求項６に記載の判定プログラムを格納したことを特徴としている。

【図面の簡単な説明】

【0012】

【図1】本発明の第１の実施例にかかる判定装置を有するシステムの概略構成図である。

【図2】図１に示された判定装置の機能構成図である。

【図3】図１に示された視覚顕著性演算部の構成を例示するブロック図である。

【図4】（ａ）は判定装置へ入力する画像を例示する図であり、（ｂ）は（ａ）に対し推定される、視覚顕著性マップを例示する図である。

【図5】図１に示された視覚顕著性演算部の処理方法を例示するフローチャートである。

【図6】非線形写像部の構成を詳しく例示する図である。

【図7】中間層の構成を例示する図である。

【図8】（ａ）および（ｂ）はそれぞれ、フィルタで行われる畳み込み処理の例を示す図である。

【図9】（ａ）は、第１のプーリング部の処理を説明するための図であり、（ｂ）は、第２のプーリング部の処理を説明するための図であり、（ｃ）は、アンプーリング部の処理を説明するための図である。

【図10】ベクトル誤差の説明図である。

【図11】図１に示された画像入力部に入力された画像と、その画像から取得された視覚顕著性マップの例である。

【図12】視覚的注意集中度の時間的変化の例を示したグラフである。

【図13】図１に示された判定装置の動作のフローチャートである。

【図14】判定装置の出力の画面例である。

【発明を実施するための形態】

【0013】

以下、本発明の一実施形態にかかる判定装置を説明する。本発明の一実施形態にかかる判定装置は、取得部が、移動体から外部を撮像した画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性分布情報を取得し、視線位置設定部が、予め定めた規則に従って画像における基準視線位置を設定する。そして、視覚的注意集中度算出部が、視覚顕著性分布情報と視線位置とに基づいて画像における視覚的注意の集中度を算出する。そして、判定部が、視覚的注意の集中度の時間的な変化量に基づいて、移動体の走行中に安全上の問題が発生した疑いがあると判定する。このようにすることにより、視覚顕著性分布情報を用いるため、画像内に含まれる標識や歩行者といった物体に視線が無意識に集中しやすいという文脈的な注意状態の時間的な変化量に基づいて安全上の問題が発生した疑いがあると判定することができる。したがって、画像のみで心理的負担がかかったことにより生じる事故やヒヤリハットといった安全上の問題が発生した疑いを判定することができる。

【0014】

また、視覚的注意集中度算出部は、視覚顕著性分布情報を構成する各画素の値と、各画素の位置と基準視線位置の座標位置とのベクトル誤差と、に基づいて視覚的注意の集中度を算出してもよい。このようにすることにより、視覚顕著性が高い位置と基準視線位置との差に応じた値が視覚的注意の集中度として算出される。したがって、例えば、視覚顕著性が高い位置と基準視線位置との距離に応じて視覚的注意の集中度の値が変化するようにできる。

【0015】

また、判定部の判定結果に関する情報を出力する出力部を備えてもよい。このようにすることにより、判定結果や判定結果に基づく情報等を外部に表示等して伝達することができる。

【0016】

また、画像は、移動体が備えるセンサにより移動体の急制動加速度が検出されたことにより得られたものであってもよい。このようにすることにより、例えばドライブレコーダ等において、急制動の検出に基づいて抽出された画像について、さらにヒヤリハット等の判定をすることができるため、人手による手間を省くことができる。

【0017】

また、取得部は、画像を写像処理可能な中間データに変換する入力部と、中間データを写像データに変換する非線形写像部と、写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力部と、を備え、非線形写像部は、中間データに対し特徴の抽出を行う特徴抽出部と、特徴抽出部で生成されたデータのアップサンプルを行うアップサンプル部と、を備えてもよい。このようにすることにより、小さな計算コストで、視覚顕著性を推定することができる。また、このようにして推定した視覚顕著性は、文脈的な注意状態を反映したものとなる。

【0018】

また、本発明の一実施形態にかかる情報処理方法は、取得工程で、移動体から外部を撮像した画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性分布情報を取得し、視線位置設定工程で、予め定めた規則に従って画像における基準視線位置を設定する。そして、視覚的注意集中度算出工程で、視覚顕著性分布情報と視線位置とに基づいて画像における視覚的注意の集中度を算出する。そして、判定工程で、視覚的注意の集中度の時間的な変化量に基づいて、移動体の走行中に安全上の問題が発生した疑いがあると判定する。このようにすることにより、視覚顕著性分布情報を用いるため、画像内に含まれる標識や歩行者といった物体に視線が無意識に集中しやすいという文脈的な注意状態の時間的な変化量に基づいて安全上の問題が発生した疑いがあると判定することができる。したがって、画像のみで心理的負担がかかったことにより生じる事故やヒヤリハットといった安全上の問題が発生した疑いを判定することができる。

【0019】

また、上述した情報処理方法を、コンピュータにより実行させている。このようにすることにより、コンピュータを用いて安全上の問題が発生した疑いがあると判定することができる。したがって、画像のみで精度良く事故やヒヤリハットといった安全上の問題が発生した疑いを判定することができる。

【0020】

また、上述した情報処理プログラムをコンピュータ読み取り可能な記憶媒体に格納してもよい。このようにすることにより、当該プログラムを機器に組み込む以外に単体でも流通させることができ、バージョンアップ等も容易に行える。

【実施例0021】

本発明の一実施例にかかる判定装置を図１～図１４を参照して説明する。本実施例にかかる判定装置は、例えば自動車等の移動体に設置されるに限らず、事業所等に設置されるサーバ装置等で構成してもよい（図１を参照）。即ち、リアルタイムに解析する必要はなく、走行後等に解析を行ってもよい。

【0022】

図１は、判定装置をサーバ装置で構成した例である。図１では、車両Ｖに搭載されているドライブレコーダ１０において、加速度センサ等の車両挙動検出部１１によって急制動や急加速、その他の衝撃等により大きな加速度が検出された場合に、その前後の所定期間の画像（動画像）をインターネット等のネットワークＮを介して判定装置１に送信している。なお、図２に示した車両挙動検出部１１は、加速度センサに限らず、車両Ｖに搭載されているＡＢＳ（Anti-lock Braking System）や横滑り防止装置等であってもよい。これらの装置（センサ）が作動したことをトリガとして前後の所定期間の画像を送信あるいは保存すればよい。このような急制動等が検出された画像を後述する処理の対象とすることで、ある程度絞られた画像に対して処理を実行することができ、処理を行う時間（処理量）を削減することができる。なお、図１のような通信で送信する形態に限らず、サーバ装置１に接続されたハードディスクドライブやメモリカード等の記録媒体から読み出した画像であってもよい。また、判定装置はサーバ装置に限らず、判定手段等が組み込まれた車載機器や、自宅や事業所のＰＣ端末であってもよいし、これらの機器とサーバとで処理を分散するように構成されていてもよい。

【0023】

図２に示したように、判定装置１は、画像入力部２と、視覚顕著性演算部３と、視線座標設定部４と、ベクトル誤差演算部５と、判定部６と、を備えている。

【0024】

画像入力部２は、例えば上述したドライブレコーダ等のカメラなどで撮像された画像（例えば動画像）が入力され、その画像を画像データとして出力する。なお、入力された動画像は、例えばフレーム毎等の時系列に分解された画像データとして出力する。画像入力部２に入力される画像として静止画を入力してもよいが、時系列に沿った複数の静止画からなる画像群として入力するのが好ましい。

【0025】

画像入力部２に入力される画像は、例えば車両の進行方向が撮像された画像が挙げられる。つまり、移動体から外部を連続的に撮像した画像とする。この画像はいわゆるパノラマ画像や複数カメラを用いて取得した画像等の水平方向に１８０°や３６０°等進行方向以外が含まれる画像であってもよい。また、画像入力部２には入力されるのは、カメラで撮像された画像に限らず、上述したようにハードディスクドライブやメモリカード等の記録媒体から読み出した画像であってもよい。

【0026】

視覚顕著性演算部３は、画像入力部２から画像データが入力され、後述する視覚顕著性推定情報として視覚顕著性マップを出力する。即ち、視覚顕著性演算部３は、移動体から外部を撮像した画像に基づいて視覚顕著性の高低を推測して得られた視覚顕著性マップ（視覚顕著性分布情報）を取得する取得部として機能する。

【0027】

図３は、視覚顕著性演算部３の構成を例示するブロック図である。本実施例に係る視覚顕著性演算部３は、入力部３１０、非線形写像部３２０、出力部３３０および記憶部３９０を備える。入力部３１０は、画像を写像処理可能な中間データに変換する。非線形写像部３２０は、中間データを写像データに変換する。出力部３３０は、写像データに基づき顕著性分布を示す顕著性推定情報を生成する。そして、非線形写像部３２０は、中間データに対し特徴の抽出を行う特徴抽出部３２１と、特徴抽出部３２１で生成されたデータのアップサンプルを行うアップサンプル部３２２とを備える。記憶部３９０は、画像入力部２から入力された画像データや後述するフィルタの係数等が保持されている。以下に詳しく説明する。

【0028】

図４（ａ）は、視覚顕著性演算部３へ入力する画像を例示する図であり、図４（ｂ）は、図４（ａ）に対し推定される、視覚顕著性分布を示す画像を例示する図である。本実施例に係る視覚顕著性演算部３は、画像における各部分の視覚顕著性を推定する装置である。視覚顕著性とは例えば、目立ちやすさや視線の集まりやすさを意味する。具体的には視覚顕著性は、確率等で示される。ここで、確率の大小は、たとえばその画像を見た人の視線がその位置に向く確率の大小に対応する。

【0029】

図４（ａ）と図４（ｂ）とは、互いに位置が対応している。そして、図４（ａ）において、視覚顕著性が高い位置ほど、図４（ｂ）において輝度が高く表示されている。図４（ｂ）のような視覚顕著性分布を示す画像は、出力部３３０が出力する視覚顕著性マップの一例である。本図の例において、視覚顕著性は、２５６階調の輝度値で可視化されている。出力部３３０が出力する視覚顕著性マップの例については詳しく後述する。

【0030】

図５は、本実施例に係る視覚顕著性演算部３の動作を例示するフローチャートである。図５に示したフローチャートは、コンピュータによって実行される判定方法の一部であって、入力ステップＳ１１０、非線形写像ステップＳ１２０、および出力ステップＳ１３０を含む。入力ステップＳ１１０では、画像が写像処理可能な中間データに変換される。非線形写像ステップＳ１２０では、中間データが写像データに変換される。出力ステップＳ１３０では、写像データに基づき顕著性分布を示す視覚顕著性推定情報（視覚顕著性分布情報）が生成される。ここで、非線形写像ステップＳ１２０は、中間データに対し特徴の抽出を行う特徴抽出ステップＳ１２１と、特徴抽出ステップＳ１２１で生成されたデータのアップサンプルを行うアップサンプルステップＳ１２２とを含む。

【0031】

図３に戻り、視覚顕著性演算部３の各構成要素について説明する。入力ステップＳ１１０において入力部３１０は、画像を取得し、中間データに変換する。入力部３１０は、画像データを画像入力部２から取得する。そして入力部３１０は、取得した画像を中間データに変換する。中間データは非線形写像部３２０が受け付け可能なデータであれば特に限定されないが、たとえば高次元テンソルである。また、中間データはたとえば、取得した画像に対し輝度を正規化したデータ、または、取得した画像の各画素を、輝度の傾きに変換したデータである。入力ステップＳ１１０において入力部３１０は、さらに画像のノイズ除去や解像度変換等を行っても良い。

【0032】

非線形写像ステップＳ１２０において、非線形写像部３２０は入力部３１０から中間データを取得する。そして、非線形写像部３２０において中間データが写像データに変換される。ここで、写像データは例えば高次元テンソルである。非線形写像部３２０で中間データに施される写像処理は、たとえばパラメータ等により制御可能な写像処理であり、関数、汎関数、またはニューラルネットワークによる処理であることが好ましい。

【0033】

図６は、非線形写像部３２０の構成を詳しく例示する図であり、図７は、中間層３２３の構成を例示する図である。上記した通り、非線形写像部３２０は、特徴抽出部３２１およびアップサンプル部３２２を備える。特徴抽出部３２１において特徴抽出ステップＳ１２１が行われ、アップサンプル部３２２においてアップサンプルステップＳ１２２が行われる。また、本図の例において、特徴抽出部３２１およびアップサンプル部３２２の少なくとも一方は、複数の中間層３２３を含むニューラルネットワークを含んで構成される。ニューラルネットワークにおいては、複数の中間層３２３が結合されている。

【0034】

特にニューラルネットワークは畳み込みニューラルネットワークであることが好ましい。具体的には、複数の中間層３２３のそれぞれは、一または二以上の畳み込み層３２４を含む。そして、畳み込み層３２４では、入力されたデータに対し複数のフィルタ３２５による畳み込みが行われ、複数のフィルタ３２５の出力に対し活性化処理が施される。

【0035】

図６の例において、特徴抽出部３２１は、複数の中間層３２３を含むニューラルネットワークを含んで構成され、複数の中間層３２３の間に第１のプーリング部３２６を備える。また、アップサンプル部３２２は、複数の中間層３２３を含むニューラルネットワークを含んで構成され、複数の中間層３２３の間にアンプーリング部３２８を備える。さらに、特徴抽出部３２１とアップサンプル部３２２とは、オーバーラッププーリングを行う第２のプーリング部３２７を介して互いに接続されている。

【0036】

なお、本図の例において各中間層３２３は、二以上の畳み込み層３２４からなる。ただし、少なくとも一部の中間層３２３は、一の畳み込み層３２４のみからなってもよい。互いに隣り合う中間層３２３は、第１のプーリング部３２６、第２のプーリング部３２７およびアンプーリング部３２８のいずれかで区切られる。ここで、中間層３２３に二以上の畳み込み層３２４が含まれる場合、それらの畳み込み層３２４におけるフィルタ３２５の数は互いに等しいことが好ましい。

【0037】

本図では、「Ａ×Ｂ」と記された中間層３２３は、Ｂ個の畳み込み層３２４からなり、各畳み込み層３２４は、各チャネルに対しＡ個の畳み込みフィルタを含むことを意味している。このような中間層３２３を以下では「Ａ×Ｂ中間層」とも呼ぶ。たとえば、６４×２中間層３２３は、２個の畳み込み層３２４からなり、各畳み込み層３２４は、各チャネルに対し６４個の畳み込みフィルタを含むことを意味している。

【0038】

本図の例において、特徴抽出部３２１は、６４×２中間層３２３、１２８×２中間層３２３、２５６×３中間層３２３、および、５１２×３中間層３２３をこの順に含む。また、アップサンプル部３２２は、５１２×３中間層３２３、２５６×３中間層３２３、１２８×２中間層３２３、および６４×２中間層３２３をこの順に含む。また、第２のプーリング部３２７は、２つの５１２×３中間層３２３を互いに接続している。なお、非線形写像部３２０を構成する中間層３２３の数は特に限定されず、たとえば画像データの画素数に応じて定めることができる。

【0039】

なお、本図は非線形写像部３２０の構成の一例であり、非線形写像部３２０は他の構成を有していても良い。たとえば、６４×２中間層３２３の代わりに６４×１中間層３２３が含まれても良い。中間層３２３に含まれる畳み込み層３２４の数が削減されることで、計算コストがより低減される可能性がある。また、たとえば、６４×２中間層３２３の代わりに３２×２中間層３２３が含まれても良い。中間層３２３のチャネル数が削減されることで、計算コストがより低減される可能性がある。さらに、中間層３２３における畳み込み層３２４の数とチャネル数との両方を削減しても良い。

【0040】

ここで、特徴抽出部３２１に含まれる複数の中間層３２３においては、第１のプーリング部３２６を経る毎にフィルタ３２５の数が増加することが好ましい。具体的には、第１の中間層３２３ａと第２の中間層３２３ｂとが、第１のプーリング部３２６を介して互いに連続しており、第１の中間層３２３ａの後段に第２の中間層３２３ｂが位置する。そして、第１の中間層３２３ａは、各チャネルに対するフィルタ３２５の数がＮ１である畳み込み層３２４で構成されており、第２の中間層３２３ｂは、各チャネルに対するフィルタ３２５の数がＮ２である畳み込み層３２４で構成されている。このとき、Ｎ２＞Ｎ１が成り立つことが好ましい。また、Ｎ２＝Ｎ１×２が成り立つことがより好ましい。

【0041】

また、アップサンプル部３２２に含まれる複数の中間層３２３においては、アンプーリング部３２８を経る毎にフィルタ３２５の数が減少することが好ましい。具体的には、第３の中間層３２３ｃと第４の中間層３２３ｄとが、アンプーリング部３２８を介して互いに連続しており、第３の中間層３２３ｃの後段に第４の中間層３２３ｄが位置する。そして、第３の中間層３２３ｃは、各チャネルに対するフィルタ３２５の数がＮ３である畳み込み層３２４で構成されており、第４の中間層３２３ｄは、各チャネルに対するフィルタ３２５の数がＮ４である畳み込み層３２４で構成されている。このとき、Ｎ４＜Ｎ３が成り立つことが好ましい。また、Ｎ３＝Ｎ４×２が成り立つことがより好ましい。

【0042】

特徴抽出部３２１では、入力部３１０から取得した中間データから勾配や形状など、複数の抽象度を持つ画像特徴を中間層３２３のチャネルとして抽出する。図７は、６４×２中間層３２３の構成を例示している。本図を参照して、中間層３２３における処理を説明する。本図の例において、中間層３２３は第１の畳み込み層３２４ａと第２の畳み込み層３２４ｂとで構成されており、各畳み込み層３２４は６４個のフィルタ３２５を備える。第１の畳み込み層３２４ａでは、中間層３２３に入力されたデータの各チャネルに対して、フィルタ３２５を用いた畳み込み処理が施される。たとえば入力部３１０へ入力された画像がＲＧＢ画像である場合、３つのチャネルｈ^０ _ｉ（ｉ＝１．．３）のそれぞれに対して処理が施される。また、本図の例において、フィルタ３２５は６４種の３×３フィルタであり、すなわち合計６４×３種のフィルタである。畳み込み処理の結果、各チャネルｉに対して、６４個の結果ｈ^０ _ｉ，ｊ（ｉ＝１．．３，ｊ＝１．．６４）が得られる。

【0043】

次に、複数のフィルタ３２５の出力に対し、活性化部３２９において活性化処理が行われる。具体的には、全チャネルの対応する結果ｊについて、対応する要素毎の総和に活性化処理が施される。この活性化処理により、６４チャネルの結果ｈ^１ _ｉ（ｉ＝１．．６４）、すなわち、第１の畳み込み層３２４ａの出力が、画像特徴として得られる。活性化処理は特に限定されないが、双曲関数、シグモイド関数、および正規化線形関数の少なくともいずれかを用いる処理が好ましい。

【0044】

さらに、第１の畳み込み層３２４ａの出力データを第２の畳み込み層３２４ｂの入力データとし、第２の畳み込み層３２４ｂにて第１の畳み込み層３２４ａと同様の処理を行って、６４チャネルの結果ｈ^２ _ｉ（ｉ＝１．．６４）、すなわち第２の畳み込み層３２４ｂの出力が、画像特徴として得られる。第２の畳み込み層３２４ｂの出力がこの６４×２中間層３２３の出力データとなる。

【0045】

ここで、フィルタ３２５の構造は特に限定されないが、３×３の二次元フィルタであることが好ましい。また、各フィルタ３２５の係数は独立に設定可能である。本実施例において、各フィルタ３２５の係数は記憶部３９０に保持されており、非線形写像部３２０がそれを読み出して処理に用いることができる。ここで、複数のフィルタ３２５の係数は機械学習を用いて生成、修正された補正情報に基づいて定められてもよい。たとえば、補正情報は、複数のフィルタ３２５の係数を、複数の補正パラメータとして含む。非線形写像部３２０は、この補正情報をさらに用いて中間データを写像データに変換することができる。記憶部３９０は視覚顕著性演算部３に備えられていてもよいし、視覚顕著性演算部３の外部に設けられていてもよい。また、非線形写像部３２０は補正情報を、通信ネットワークを介して外部から取得しても良い。

【0046】

図８（ａ）および図８（ｂ）はそれぞれ、フィルタ３２５で行われる畳み込み処理の例を示す図である。図８（ａ）および図８（ｂ）では、いずれも３×３畳み込みの例が示されている。図８（ａ）の例は、最近接要素を用いた畳み込み処理である。図８（ｂ）の例は、距離が二以上の近接要素を用いた畳み込み処理である。なお、距離が三以上の近接要素を用いた畳み込み処理も可能である。フィルタ３２５は、距離が二以上の近接要素を用いた畳み込み処理を行うことが好ましい。より広範囲の特徴を抽出することができ、視覚顕著性の推定精度をさらに高めることができるからである。

【0047】

以上、６４×２中間層３２３の動作について説明した。他の中間層３２３（１２８×２中間層３２３、２５６×３中間層３２３、および、５１２×３中間層３２３等）の動作についても、畳み込み層３２４の数およびチャネルの数を除いて、６４×２中間層３２３の動作と同じである。また、特徴抽出部３２１における中間層３２３の動作も、アップサンプル部３２２における中間層３２３の動作も上記と同様である。

【0048】

図９（ａ）は、第１のプーリング部３２６の処理を説明するための図であり、図９（ｂ）は、第２のプーリング部３２７の処理を説明するための図であり、図９（ｃ）は、アンプーリング部３２８の処理を説明するための図である。

【0049】

特徴抽出部３２１において、中間層３２３から出力されたデータは、第１のプーリング部３２６においてチャネル毎にプーリング処理が施された後、次の中間層３２３に入力される。第１のプーリング部３２６ではたとえば、非オーバーラップのプーリング処理が行われる。図９（ａ）では、各チャネルに含まれる要素群に対し、２×２の４つの要素３０を１つの要素３０に対応づける処理を示している。第１のプーリング部３２６ではこのような対応づけが全ての要素３０に対し行われる。ここで、２×２の４つの要素３０は互いに重ならないよう選択される。本例では、各チャネルの要素数が４分の１に縮小される。なお、第１のプーリング部３２６において要素数が縮小される限り、対応づける前後の要素３０の数は特に限定されない。

【0050】

特徴抽出部３２１から出力されたデータは、第２のプーリング部３２７を介してアップサンプル部３２２に入力される。第２のプーリング部３２７では、特徴抽出部３２１からの出力データに対し、オーバーラッププーリングが施される。図９（ｂ）では、一部の要素３０をオーバーラップさせながら、２×２の４つの要素３０を１つの要素３０に対応づける処理を示している。すなわち、繰り返される対応づけにおいて、ある対応づけにおける２×２の４つの要素３０のうち一部が、次の対応づけにおける２×２の４つの要素３０にも含まれる。本図のような第２のプーリング部３２７では要素数は縮小されない。なお、第２のプーリング部３２７において対応づける前後の要素３０の数は特に限定されない。

【0051】

第１のプーリング部３２６および第２のプーリング部３２７で行われる各処理の方法は特に限定されないが、たとえば、４つの要素３０の最大値を１つの要素３０とする対応づけ（max pooling）や４つの要素３０の平均値を１つの要素３０とする対応づけ（average
pooling）が挙げられる。

【0052】

第２のプーリング部３２７から出力されたデータは、アップサンプル部３２２における中間層３２３に入力される。そして、アップサンプル部３２２の中間層３２３からの出力データはアンプーリング部３２８においてチャネル毎にアンプーリング処理が施された後、次の中間層３２３に入力される。図９（ｃ）では、１つの要素３０を複数の要素３０に拡大する処理を示している。拡大の方法は特に限定されないが、１つの要素３０を２×２の４つの要素３０へ複製する方法が例として挙げられる。

【0053】

アップサンプル部３２２の最後の中間層３２３の出力データは写像データとして非線形写像部３２０から出力され、出力部３３０に入力される。出力ステップＳ１３０において出力部３３０は、非線形写像部３２０から取得したデータに対し、たとえば正規化や解像度変換等を行うことで視覚顕著性マップを生成し、出力する。視覚顕著性マップはたとえば、図４（ｂ）に例示したような視覚顕著性を輝度値で可視化した画像（画像データ）である。また、視覚顕著性マップはたとえば、ヒートマップのように視覚顕著性に応じて色分けされた画像であっても良いし、視覚顕著性が予め定められた基準より高い視覚顕著領域を、その他の位置とは識別可能にマーキングした画像であっても良い。さらに、視覚顕著性推定情報は画像等として示されたマップ情報に限定されず、視覚顕著領域を示す情報を列挙したテーブル等であっても良い。

【0054】

視線座標設定部４は、後述する理想視線を視覚顕著性マップ上に設定する。理想視線とは、障害物や自分以外の交通参加者がいないという理想的な交通環境下で自動車の運転者が進行方向に沿って向ける視線をいう。画像データや視覚顕著性マップ上では（ｘ，ｙ）座標として取り扱う。なお、本実施例では理想視線は固定値とするが、移動体の停止距離に影響する速度や道路の摩擦係数の関数として扱ってもよいし、設定された経路情報を利用して決定されてもよい。また、理想視点を算出する方法として現走行路に対応する消失点を利用してもよい。その際に、自車両速度を検知して、理想視点を消失点と自車位置との間の２秒後や３秒後に設定してもよい。即ち、視線座標設定部４は、予め定めた規則に従って画像における理想視線（基準視線位置）を設定する視線位置設定部として機能する。

【0055】

ベクトル誤差演算部５は、視覚顕著性演算部３が出力した視覚顕著性マップ及び当該視覚顕著性マップや画像に対して視線座標設定部４が設定した理想視線に基づいてベクトル誤差を算出し、そのベクトル誤差に基づいて視覚的注意の集中度を示す後述する視覚的注意集中度Ｐｓを演算する。即ち、ベクトル誤差演算部５は、視覚顕著性分布情報と視線位置とに基づいて画像における視覚的注意の集中度を算出する視覚的注意集中度算出部として機能する。

【0056】

ここで、本実施例におけるベクトル誤差について図１０を参照して説明する。図１０は、視覚顕著性マップの例を示したものである。この視覚顕著性マップはＨ画素×Ｖ画素の２５６階調の輝度値で示されており、図４と同様に視覚顕著性が高い画素ほど輝度が高く表示されている。図１０において、理想視線の座標（ｘ，ｙ）＝（ｘ_ｉｍ，ｙ_ｉｍ）としたとき、視覚顕著性マップ内の任意の座標（ｋ，ｍ）の画素とのベクトル誤差を算出する。視覚顕著性マップにおいて輝度が高い座標と理想視線の座標とが離れている場合は、注視すべき位置と実際に注視し易い位置とが離れることを意味し、視覚的注意が散漫になり易い画像といえる。一方、輝度が高い座標と理想視線の座標とが近い場合は、注視すべき位置と実際に注視し易い位置とが近いことを意味し、注視すべき位置に視覚的注意が集中し易い画像といえる。

【0057】

次に、ベクトル誤差演算部５における視覚的注意集中度Ｐｓの算出方法について説明する。本実施例では、視覚的注意集中度Ｐｓは次の（１）式により算出される。

【数1】

【0058】

（１）式において、Ｖ_ｖｃはピクセル深度（輝度値）、ｆ_ｗは重みづけ関数、ｄ_ｅｒｒはベクトル誤差を示している。この重みづけ関数は、例えばＶ_ｖｃの値を示す画素から理想視線の座標までの距離に基づいて重み設定される関数である。αは輝点１点の視覚顕著性マップ（リファレンスヒートマップ）における、輝点の座標と理想視線の座標が一致したときの視覚的注意集中度Ｐｓが１となるような係数である。

【0059】

即ち、ベクトル誤差演算部５（視覚的注意集中度算出部）は、視覚顕著性マップ（視覚顕著性分布情報）を構成する各画素の値と、各画素の位置と理想視線（基準視線位置）の座標位置とのベクトル誤差と、に基づいて視覚的注意の集中度を算出している。

【0060】

このようにして得られた視覚的注意集中度Ｐｓは、視覚顕著性マップ上に設定した理想視線の座標からの全画素の座標のベクトル誤差と輝度値の関係を重みづけした上で合計したものの逆数である。この視覚的注意集中度Ｐｓは、理想視線の座標から視覚顕著性マップの輝度が高い分布が離れていると低い値が算出される。即ち、視覚的注意集中度Ｐｓは、理想視線に対する集中度ともいえる。

【0061】

図１１に画像入力部２に入力された画像と、その画像から取得された視覚顕著性マップの例を示す。図１１（ａ）は入力画像、（ｂ）は視覚顕著性マップである。このような、図１１において、理想視線の座標を例えば前方を走行するトラック等の道路上に設定すると、その場合における視覚的注意集中度Ｐｓが算出される。

【0062】

判定部６は、ベクトル誤差演算部５で算出された視覚的注意集中度Ｐｓの時間的変化に基づいて画像入力部２から入力された画像が事故又はヒヤリハット等の移動体の走行中に安全上の問題が発生した疑いがあるか判定する。判定後は、その判定結果等を外部へ出力する。

【0063】

図１２に視覚的注意集中度Ｐｓの時間的変化の例を示す。図１２は、１２秒間の動画像における視覚的注意集中度Ｐｓの変化を示している。図１２において、約６．５秒～約７秒の間で視覚的注意集中度Ｐｓが急激に変化している。これは、例えば自車両の前方に他車両が割り込んだ場合等であり、このような変化を検出することでヒヤリハットとなる事象を検出することができる。

【0064】

図１２に示したように、視覚的注意集中度Ｐｓの短時間当たりの変化率や変化値などの変化量を予め定めた閾値等と比較することによりヒヤリハット等の疑いがある画像を抽出することができる。

【0065】

次に、上述した構成の判定装置１における動作（判定方法）について、図１３のフローチャートを参照して説明する。また、このフローチャートを判定装置１として機能するコンピュータで実行されるプログラムとして構成することで判定プログラムとすることができる。また、この判定プログラムは、判定装置１が有するメモリ等に記憶するに限らず、メモリカードや光ディスク等の記憶媒体に格納してもよい。

【0066】

まず、画像入力部２が、入力された画像を画像データとして視覚顕著性演算部３に出力する（ステップＳ１１）。本ステップでは、画像入力部２に入力された画像データを画像フレーム等の時系列に分解して視覚顕著性演算部３へ入力している。また、本ステップでノイズ除去や幾何学変換などの画像処理を施してもよい。

【0067】

次に、視覚顕著性演算部３が、視覚顕著性マップを取得する（ステップＳ１２）。視覚顕著性マップは、視覚顕著性演算部３において、上述した方法により図４（ｂ）に示したような視覚顕著性マップを時系列に出力する。

【0068】

一方、ステップＳ１２と並行して、視線座標設定部４が、理想視線の座標を設定する（ステップＳ１３）。この座標は、上述したように本実施例では前方注視等の固定位置とする。

【0069】

次に、ベクトル誤差演算部５が、視覚顕著性マップ及び理想視線から視覚的注意集中度Ｐｓを算出する（ステップＳ１４）。即ち、上述したように、理想視線の座標と、視覚顕著性マップの座標とのベクトル誤差を算出し、そのベクトル誤差と、各画素の値と、に基づいて（１）式により視覚的注意集中度Ｐｓを算出する。

【0070】

次に、判定部６が、ベクトル誤差演算部５で算出された視覚的注意集中度Ｐｓの時間的変化に基づいて画像入力部２から入力された画像が移動体の走行中に安全上の問題が発生した疑いがあるか判定する（ステップＳ１５）。

【0071】

次に、判定部６が、ステップＳ１６の判定結果を出力する（ステップＳ１６）。本ステップでは、単に判定結果を出力するに限らず、その結果を表示装置等に表示させたり、画像入力部２から入力された画像に判定結果に応じたラベルを付加する等の処理を行ってもよい。あるいは、画像入力部２から入力された画像のうち安全上の問題が発生した疑いがあると判定された画像のみを特定の記憶装置（特定の記憶領域）に保存するといった処理を行ってもよい。即ち、判定部６は、判定結果に関する情報を出力する出力部として機能する。

【0072】

以上の説明から明らかなように、ステップＳ１２が取得工程、ステップＳ１３視線位置設定工程、ステップＳ１４が視覚的注意集中度算出工程、ステップＳ１５が判定工程、としてそれぞれ機能する。

【0073】

ここで、上述した判定装置１における判定結果を表示する画像の例について図１４を参照して説明する。図１４に示した画像は判定部６により生成され、所定の表示装置に表示される。図１４に示した画像５０は、走行画像表示領域５１と、視覚的注意集中度表示領域５２と、を備えている。

【0074】

走行画像表示領域５１は、ドライブレコーダ等により撮像された車両の走行画像が表示される。走行画像表示領域５１には、消失点ＶＰと、視覚顕著性マップＶＭと、視線推定位置ＧＥと、検知物体枠ＯＦと、水平線及び奥行距離推定線ＨＤと、白線推定ＷＬと、ヒヤリハット判定枠ＨＦと、が表示可能となっている。

【0075】

消失点ＶＰは、後述する白線推定ＷＬ等から推定してもよいし、オプティカルフロー等を用いて推定してもよい。視覚顕著性マップＶＭは、走行画像表示領域５１に表示されている画像についての視覚顕著性マップ（ヒートマップ）を当該画像に重ねて表示させている。なお、図１４では、ヒートマップ上の輝度の高い部分のみが視認できるが実際は輝度の低い部分も含め走行画像に重ねられている。つまり、走行画像において視線が向かい易い部分を表示している。

【0076】

視線推定位置ＧＥは、本実施例では、ヒートマップ上で輝度が最も高い位置を視線位置と推定している。検知物体枠ＯＦは、走行画像において周知のアルゴリズムによる物体検知の結果検知された物体を囲む枠として表示される。なお、本実施例における物体検知では、検出する物体の種類（車両、人間等）を指定し、指定された種類に属する物体のみが検知される。物体検知処理は、判定部６で行ってもよいし、図１には図示されていない他のブロックで行ってもよい。

【0077】

水平線及び奥行距離推定線ＨＤは、走行画像における水平線と奥行距離を示している。白線推定ＷＬは、走行画像内の白線等の区画線を認識して示している。ヒヤリハット判定枠ＨＦは、走行画像表示領域５１の四辺に沿うような枠状に形成され、判定部６によりヒヤリハット等の安全上の問題が発生した疑いがあると判定された場合に表示される。または、ヒヤリハット判定枠ＨＦは常時青色等の枠として表示され、安全上の問題が発生した疑いがあると判定された場合は赤色等で表示される等表示色を変更したり、点滅させるなどとしてもよい。

【0078】

視覚的注意集中度表示領域５２は、走行画像表示領域５１の右側に設けられている。視覚的注意集中度表示領域５２は、ベクトル誤差演算部５で演算された視覚的注意集中度Ｐｓをバーグラフ状に表示する。図１４では、符号５２ａが視覚的注意集中度Ｐｓを示すバーである。視覚的注意集中度Ｐｓが大きな値を示しているときはバー５２ａが高くなり、視覚的注意集中度Ｐｓが小さな値を示しているときはバー５２ａが低くなる。つまり、バー５２ａが高い位置では、集中度が高い（集中）傾向であり、バー５２ａが低い位置では、集中度が低い（分散）傾向であるといえる。

【0079】

視覚的注意集中度表示領域５２のバー５２ａの高さは、視覚顕著性マップがフレーム単位で取得されることから、画像の再生時間の推移とともに変化する。そのため、例えばバー５２ａの高さが急激に高くなるようなシーンは、視覚的注意の集中度が分散から集中へ急速に変化したことを示し、このバー５２ａによっても、判定部６による安全上の問題が発生した疑いがあることを視覚的に表示することができる。

【0080】

本実施例によれば、判定装置１は、視覚顕著性演算部３が、移動体から外部を撮像した画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性マップを取得し、視線座標設定部４が、理想視線の座標を設定する。そして、ベクトル誤差演算部５が、視覚顕著性マップと理想視線とに基づいて画像における視覚的注意集中度Ｐｓを算出する。判定部６が、視覚的注意集中度Ｐｓの時間的な変化量に基づいて、ヒヤリハット等の移動体の走行中に安全上の問題が発生した疑いがあると判定する。このようにすることにより、視覚顕著性マップを用いるため、画像内に含まれる標識や歩行者といった物体に視線が無意識に集中しやすいという文脈的な注意状態の時間的な変化量に基づいてヒヤリハット等の安全上の問題が発生した疑いがあると判定することができる。したがって、画像のみで心理的負担がかかったことにより生じる事故やヒヤリハットといった安全上の問題が発生した疑いを判定することができる。

【0081】

また、ベクトル誤差演算部５は、視覚顕著性マップを構成する各画素の値と、各画素の位置と理想視線の座標位置とのベクトル誤差と、に基づいて視覚的注意集中度Ｐｓを算出している。このようにすることにより、視覚顕著性が高い位置と理想視線との差に応じた値が視覚的注意集中度Ｐｓとして算出される。したがって、例えば、視覚顕著性が高い位置と理想視線との距離に応じて視覚的注意集中度Ｐｓの値が変化するようにすることができる。

【0082】

また、判定部６は、判定結果に関する情報を出力している。このようにすることにより、判定結果や判定結果に基づく情報等を外部に表示等して伝達することができる。

【0083】

また、画像入力部２に入力される画像は、移動体が備えるセンサにより急制動が検出されたこと、例えば移動体の加速度が基準値以上であることにより得られたものであってもよい。このようにすることにより、例えばドライブレコーダ等において、加速度に基づいて抽出された画像について、さらにヒヤリハット等の判定をすることができるため、従来人手により急制動が事故やヒヤリハットに係るものか、事故やヒヤリハット以外の要因（例えば、移動体が段差を超えたことによるもの、荒い運転によるもの）であるかを判別していた手間をより省くことができる。また、急制動の場合に加えて、急な運転操作（別言すれば危険挙動）の場合を含めてもよい。例えば、横方向の加速度から何かをよける操作や、白線からのはみ出し走行に気づいて戻す操作等に関連するヒヤリハットが発生した可能性があるとして画像を抽出してもよい。また、急加速をさらに含んでもよい。例えば、高速道路における漫然運転により速度の低下に気づいて急加速をした可能性があるとして、画像を抽出してもよい。

【0084】

また、視覚顕著性演算部３は、画像を写像処理可能な中間データに変換する入力部３１０と、中間データを写像データに変換する非線形写像部３２０と、写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力部３３０と、を備え、非線形写像部３２０は、中間データに対し特徴の抽出を行う特徴抽出部３２１と、特徴抽出部３２１で生成されたデータのアップサンプルを行うアップサンプル部３２２と、を備えている。このようにすることにより、小さな計算コストで、視覚顕著性を推定することができる。また、このようにして推定した視覚顕著性は、文脈的な注意状態を反映したものとなる。

【0085】

また、本発明は上記実施例に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の判定装置を具備する限り、勿論、本発明の範疇に含まれるものである。

【符号の説明】

【0086】

１ 判定装置
２ 画像入力部
３ 視覚顕著性演算部（取得部）
４ 視線座標設定部（視線位置設定部）
５ ベクトル誤差演算部（視覚的注意集中度算出部）
６ 判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】