特許 7502051 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-10

(45)【発行日】2024-06-18

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240611BHJP

   G08G 1/16 20060101ALI20240611BHJP

   A61B 3/113 20060101ALI20240611BHJP

【ＦＩ】

G06T7/00 130

G06T7/00 350C

G08G1/16 C

A61B3/113

【請求項の数】 6

(21)【出願番号】P 2020040999

(22)【出願日】2020-03-10

(65)【公開番号】P2021144308

(43)【公開日】2021-09-24

【審査請求日】2023-02-17

(73)【特許権者】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】100134832

【弁理士】

【氏名又は名称】瀧野 文雄

(74)【代理人】

【識別番号】100165308

【弁理士】

【氏名又は名称】津田 俊明

(74)【代理人】

【識別番号】100115048

【弁理士】

【氏名又は名称】福田 康弘

(72)【発明者】

【氏名】柴田 晃司

(72)【発明者】

【氏名】井上 俊明

(72)【発明者】

【氏名】伊藤 友二

【審査官】佐藤 実

(56)【参考文献】

【文献】特開２０１３－００９８２５（ＪＰ，Ａ）

【文献】加藤大貴 他１名，Ｄｉｌａｔｅｄ－ＣＮＮを用いた顕著性マップの生成，第２４回 画像センシングシンポジウム，画像センシング技術研究会，2018年06月13日，IS2-15

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０８Ｇ １／１６

Ａ６１Ｂ ３／１１３

(57)【特許請求の範囲】

【請求項1】

移動体から外部を撮像した画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性分布情報を取得する取得部と、
予め定めた規則に従って前記画像における基準視線位置を設定する視線位置設定部と、
前記視覚顕著性分布情報と前記基準視線位置とに基づいて前記画像における視覚的注意の集中度を算出する視覚的注意集中度算出部と、
を備え、
前記視覚的注意集中度算出部は、視覚顕著性分布情報を構成する各画素の値と、前記各画素の位置と前記基準視線位置の座標位置とのベクトル誤差と、に基づいて、前記視覚顕著性分布情報上に設定した前記基準視線位置の座標からの全画素の座標の前記ベクトル誤差と前記画素の値との関係を重みづけした上で合計したものの逆数により前記視覚的注意の集中度を算出する、
ことを特徴とする情報処理装置。

【請求項2】

前記視覚的注意集中度の時間的変化に基づいて当該画像の示す地点におけるリスクに関する情報を出力する出力部を備えることを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記取得部は、
前記画像を写像処理可能な中間データに変換する入力部と、
前記中間データを写像データに変換する非線形写像部と、
前記写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力部と、を備え、
前記非線形写像部は、前記中間データに対し特徴の抽出を行う特徴抽出部と、前記特徴抽出部で生成されたデータのアップサンプルを行うアップサンプル部と、を備える、
ことを特徴とする請求項１から２のうちいずれか一項に記載の情報処理装置。

【請求項4】

移動体から外部を撮像した画像に基づいて所定の情報処理を行う情報処理装置で実行される情報処理方法であって、
前記画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性分布情報を取得する取得工程と、
予め定めた規則に従って前記画像における基準視線位置を設定する視線位置設定工程と、
前記視覚顕著性分布情報と前記基準視線位置とに基づいて前記画像における視覚的注意の集中度を算出する視覚的注意集中度算出工程と、
を含み、
前記視覚的注意集中度算出工程は、視覚顕著性分布情報を構成する各画素の値と、前記各画素の位置と前記基準視線位置の座標位置とのベクトル誤差と、に基づいて、前記視覚顕著性分布情報上に設定した前記基準視線位置の座標からの全画素の座標の前記ベクトル誤差と前記画素の値との関係を重みづけした上で合計したものの逆数により前記視覚的注意の集中度を算出する、
ことを特徴とする情報処理方法。

【請求項5】

請求項４に記載の情報処理方法をコンピュータにより実行させることを特徴とする情報処理プログラム。

【請求項6】

請求項５に記載の情報処理プログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体から外部を撮像した画像に基づいて所定の処理を行う情報処理装置に関する。

【背景技術】

【0002】

例えば交通事故の発生リスクが高い地点（事故リスク地点）の情報を運転者等に提供することで交通事故のリスクを低減するようなことが提案されている。この場合の事故リスク地点の設定は、交通量等の交通環境の物理的な属性や時刻や天候等の自然現象の依存した推測と、現実に事故が発生した地点と、の両面を考慮して行っていた。

【0003】

特許文献１には、走行環境がどの程度目が疲れやすい状況であるかを自車両の進行方向を撮像した画像から推定するために、自車両の進行方向における撮像画像を取得し、撮像画像中において、運転者が生理的に注視してしまう位置を推定し、撮像画像中において、運転者が自車両を運転する際に視認すべき位置を推定し、注視してしまう位置と視認すべき位置との位置関係に基づいて、視認負荷量を推定することが記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第５４８２７３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載した方法を用いて抽出された視認負荷量に基づいて当該映像が表すシーンの安全やリスクに係る指標を算出することもできる。しかしながら、特許文献１に記載の方法では、画像内に含まれる標識や歩行者といった物体に視線が無意識に集中しやすいという文脈的な注意状態は反映できないため、実際の運転者の視認状態とのズレが生じる場合があり、算出精度の向上の余地がある。

【0006】

本発明が解決しようとする課題としては、精度良く安全やリスクに係る指標を算出することを特徴とすることが一例として挙げられる。

【課題を解決するための手段】

【0007】

上記課題を解決するために、請求項１に記載の発明は、移動体から外部を撮像した画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性分布情報を取得する取得部と、予め定めた規則に従って前記画像における基準視線位置を設定する視線位置設定部と、前記視覚顕著性分布情報と前記基準視線位置とに基づいて前記画像における視覚的注意の集中度を算出する視覚的注意集中度算出部と、を備え、前記視覚的注意集中度算出部は、視覚顕著性分布情報を構成する各画素の値と、前記各画素の位置と前記基準視線位置の座標位置とのベクトル誤差と、に基づいて、前記視覚顕著性分布情報上に設定した前記基準視線位置の座標からの全画素の座標の前記ベクトル誤差と前記画素の値との関係を重みづけした上で合計したものの逆数により前記視覚的注意の集中度を算出する、ことを特徴としている。

【0008】

請求項４に記載の発明は、移動体から外部を撮像した画像に基づいて所定の情報処理を行う情報処理装置で実行される情報処理方法であって、前記画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性分布情報を取得する取得工程と、予め定めた規則に従って前記画像における基準視線位置を設定する視線位置設定工程と、前記視覚顕著性分布情報と前記基準視線位置とに基づいて前記画像における視覚的注意の集中度を算出する視覚的注意集中度算出工程と、を含み、前記視覚的注意集中度算出工程は、視覚顕著性分布情報を構成する各画素の値と、前記各画素の位置と前記基準視線位置の座標位置とのベクトル誤差と、に基づいて、前記視覚顕著性分布情報上に設定した前記基準視線位置の座標からの全画素の座標の前記ベクトル誤差と前記画素の値との関係を重みづけした上で合計したものの逆数により前記視覚的注意の集中度を算出する、ことを特徴としている。

【0009】

請求項５に記載の発明は、請求項４に記載の情報処理方法をコンピュータにより実行さ
せることを特徴としている。

【0010】

請求項６に記載の発明は、請求項５に記載の情報処理プログラムを格納したことを特徴としている。

【図面の簡単な説明】

【0011】

【図1】本発明の第１の実施例にかかる情報処理装置の機能構成図である。

【図2】図１に示された視覚顕著性抽出手段の構成を例示するブロック図である。

【図3】（ａ）は判定装置へ入力する画像を例示する図であり、（ｂ）は（ａ）に対し推定される、視覚顕著性マップを例示する図である。

【図4】図１に示された視覚顕著性抽出手段の処理方法を例示するフローチャートである。

【図5】非線形写像部の構成を詳しく例示する図である。

【図6】中間層の構成を例示する図である。

【図7】（ａ）および（ｂ）はそれぞれ、フィルタで行われる畳み込み処理の例を示す図である。

【図8】（ａ）は、第１のプーリング部の処理を説明するための図であり、（ｂ）は、第２のプーリング部の処理を説明するための図であり、（ｃ）は、アンプーリング部の処理を説明するための図である。

【図9】ベクトル誤差の説明図である。

【図10】図１に示された画像入力部に入力された画像と、その画像から取得された視覚顕著性マップの例である。

【図11】視覚的注意集中度の時間的変化の例を示したグラフである。

【図12】図１に示された情報処理装置の動作のフローチャートである。

【図13】本発明の第２の実施例にかかる情報処理装置が対象とする交差点の例を示した図である。

【図14】図１３に示された交差点について理想視線を設定して視覚的注意集中度を算出した図である。

【図15】図１４に示された視覚的注意集中度の時間的変化を示したグラフである。

【図16】図１５に示された視覚的注意集中度について右左折時と直進時で比を算出した結果のグラフである。

【図17】本発明の第２の実施例にかかる情報処理装置の動作のフローチャートである。

【図18】第２の実施例の変形例が対象とするカーブの例である。

【発明を実施するための形態】

【0012】

以下、本発明の一実施形態にかかる情報処理装置を説明する。本発明の一実施形態にかかる情報処理装置は、取得部が、移動体から外部を撮像した画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性分布情報を取得し、視線位置設定部が、予め定めた規則に従って画像における基準視線位置を設定する。そして、視覚的注意集中度算出部が、視覚顕著性分布情報と視線位置とに基づいて画像における視覚的注意の集中度を算出する。このようにすることにより、視覚顕著性分布情報を用いるため、画像内に含まれる標識や歩行者といった物体に視線が無意識に集中しやすいという文脈的な注意状態を反映することができる。したがって、精度良く安全やリスクに係る指標を算出することが可能となる。

【0013】

また、視覚的注意集中度算出部は、視覚顕著性分布情報を構成する各画素の値と、各画素の位置と基準視線位置の座標位置とのベクトル誤差と、に基づいて視覚的注意の集中度を算出してもよい。このようにすることにより、視覚顕著性が高い位置と基準視線位置との差に応じた値が視覚的注意の集中度として算出される。したがって、例えば、視覚顕著性が高い位置と基準視線位置との距離に応じて視覚的注意の集中度の値が変化するようにすることができる。

【0014】

また、視覚的注意の集中度の時間的変化に基づいて当該画像の示す地点におけるリスクに関する情報を出力する出力部を備えてもよい。このようにすることにより、例えば視覚的注意の集中度の時間的変化が大きい地点を事故リスク地点等として出力することが可能となる。

【0015】

また、取得部は、画像を写像処理可能な中間データに変換する入力部と、中間データを写像データに変換する非線形写像部と、写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力部と、を備え、非線形写像部は、中間データに対し特徴の抽出を行う特徴抽出部と、特徴抽出部で生成されたデータのアップサンプルを行うアップサンプル部と、を備えてもよい。このようにすることにより、小さな計算コストで、視覚顕著性を推定することができる。また、このようにして推定した視覚顕著性は、文脈的な注意状態を反映したものとなる。

【0016】

また、本発明の一実施形態にかかる情報処理方法は、取得工程で、移動体から外部を撮像した画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性分布情報を取得し、視線位置設定工程で、予め定めた規則に従って画像における基準視線位置を設定する。そして、視覚的注意集中度算出工程で、視覚顕著性分布情報と視線位置とに基づいて画像における視覚的注意の集中度を算出する。このようにすることにより、視覚顕著性分布情報を用いるため、画像内に含まれる標識や歩行者といった物体に視線が無意識に集中しやすいという文脈的な注意状態を反映することができる。したがって、精度良く安全やリスクに係る指標を算出することが可能となる。

【0017】

また、上述した情報処理方法を、コンピュータにより実行させている。このようにすることにより、コンピュータを用いて視覚顕著性を推測した視覚顕著性分布情報を用いるため、画像内に含まれる標識や歩行者といった物体に視線が無意識に集中しやすいという文脈的な注意状態を反映することができる。したがって、精度良く安全やリスクに係る指標を算出することが可能となる。

【0018】

また、上述した情報処理プログラムをコンピュータ読み取り可能な記憶媒体に格納してもよい。このようにすることにより、当該プログラムを機器に組み込む以外に単体でも流通させることができ、バージョンアップ等も容易に行える。

【実施例1】

【0019】

本発明の第１の実施例にかかる情報処理装置を図１～図１２を参照して説明する。本実施例にかかる情報処理装置は、例えば自動車等の移動体に設置されるに限らず、事業所等に設置されるサーバ装置等で構成してもよい。即ち、リアルタイムに解析する必要はなく、走行後等に解析を行ってもよい。

【0020】

図１に示したように、情報処理装置１は、画像入力部２と、視覚顕著性演算部３と、視線座標設定部４と、ベクトル誤差演算部５と、出力部６と、を備えている。

【0021】

画像入力部２は、例えばカメラなどで撮像された画像（例えば動画像）が入力され、その画像を画像データとして出力する。なお、入力された動画像は、例えばフレーム毎等の時系列に分解された画像データとして出力する。画像入力部２に入力される画像として静止画を入力してもよいが、時系列に沿った複数の静止画からなる画像群として入力するのが好ましい。

【0022】

画像入力部２に入力される画像は、例えば車両の進行方向が撮像された画像が挙げられる。つまり、移動体から外部を連続的に撮像した画像とする。この画像はいわゆるパノラマ画像や複数カメラを用いて取得した画像等の水平方向に１８０°や３６０°等進行方向以外が含まれる画像であってもよい。また、画像入力部２には入力されるのは、カメラで撮像された画像に限らず、ハードディスクドライブやメモリカード等の記録媒体から読み出した画像であってもよい。

【0023】

視覚顕著性演算部３は、画像入力部２から画像データが入力され、後述する視覚顕著性推定情報として視覚顕著性マップを出力する。即ち、視覚顕著性演算部３は、移動体から外部を撮像した画像に基づいて視覚顕著性の高低を推測して得られた視覚顕著性マップ（視覚顕著性分布情報）を取得する取得部として機能する。

【0024】

図２は、視覚顕著性演算部３の構成を例示するブロック図である。本実施例に係る視覚顕著性演算部３は、入力部３１０、非線形写像部３２０、出力部３３０および記憶部３９０を備える。入力部３１０は、画像を写像処理可能な中間データに変換する。非線形写像部３２０は、中間データを写像データに変換する。出力部３３０は、写像データに基づき顕著性分布を示す顕著性推定情報を生成する。そして、非線形写像部３２０は、中間データに対し特徴の抽出を行う特徴抽出部３２１と、特徴抽出部３２１で生成されたデータのアップサンプルを行うアップサンプル部３２２とを備える。記憶部３９０は、画像入力部２から入力された画像データや後述するフィルタの係数等が保持されている。以下に詳しく説明する。

【0025】

図３（ａ）は、視覚顕著性演算部３へ入力する画像を例示する図であり、図３（ｂ）は、図３（ａ）に対し推定される、視覚顕著性分布を示す画像を例示する図である。本実施例に係る視覚顕著性演算部３は、画像における各部分の視覚顕著性を推定する装置である。視覚顕著性とは例えば、目立ちやすさや視線の集まりやすさを意味する。具体的には視覚顕著性は、確率等で示される。ここで、確率の大小は、たとえばその画像を見た人の視線がその位置に向く確率の大小に対応する。

【0026】

図３（ａ）と図３（ｂ）とは、互いに位置が対応している。そして、図３（ａ）において、視覚顕著性が高い位置ほど、図３（ｂ）において輝度が高く表示されている。図３（ｂ）のような視覚顕著性分布を示す画像は、出力部３３０が出力する視覚顕著性マップの一例である。本図の例において、視覚顕著性は、２５６階調の輝度値で可視化されている。出力部３３０が出力する視覚顕著性マップの例については詳しく後述する。

【0027】

図４は、本実施例に係る視覚顕著性演算部３の動作を例示するフローチャートである。図４に示したフローチャートは、コンピュータによって実行される情報処理方法の一部であって、入力ステップＳ１１０、非線形写像ステップＳ１２０、および出力ステップＳ１３０を含む。入力ステップＳ１１０では、画像が写像処理可能な中間データに変換される。非線形写像ステップＳ１２０では、中間データが写像データに変換される。出力ステップＳ１３０では、写像データに基づき顕著性分布を示す視覚顕著性推定情報（視覚顕著性分布情報）が生成される。ここで、非線形写像ステップＳ１２０は、中間データに対し特徴の抽出を行う特徴抽出ステップＳ１２１と、特徴抽出ステップＳ１２１で生成されたデータのアップサンプルを行うアップサンプルステップＳ１２２とを含む。

【0028】

図２に戻り、視覚顕著性演算部３の各構成要素について説明する。入力ステップＳ１１０において入力部３１０は、画像を取得し、中間データに変換する。入力部３１０は、画像データを画像入力部２から取得する。そして入力部３１０は、取得した画像を中間データに変換する。中間データは非線形写像部３２０が受け付け可能なデータであれば特に限定されないが、たとえば高次元テンソルである。また、中間データはたとえば、取得した画像に対し輝度を正規化したデータ、または、取得した画像の各画素を、輝度の傾きに変換したデータである。入力ステップＳ１１０において入力部３１０は、さらに画像のノイズ除去や解像度変換等を行っても良い。

【0029】

非線形写像ステップＳ１２０において、非線形写像部３２０は入力部３１０から中間データを取得する。そして、非線形写像部３２０において中間データが写像データに変換される。ここで、写像データは例えば高次元テンソルである。非線形写像部３２０で中間データに施される写像処理は、たとえばパラメータ等により制御可能な写像処理であり、関数、汎関数、またはニューラルネットワークによる処理であることが好ましい。

【0030】

図５は、非線形写像部３２０の構成を詳しく例示する図であり、図６は、中間層３２３の構成を例示する図である。上記した通り、非線形写像部３２０は、特徴抽出部３２１およびアップサンプル部３２２を備える。特徴抽出部３２１において特徴抽出ステップＳ１２１が行われ、アップサンプル部３２２においてアップサンプルステップＳ１２２が行われる。また、本図の例において、特徴抽出部３２１およびアップサンプル部３２２の少なくとも一方は、複数の中間層３２３を含むニューラルネットワークを含んで構成される。ニューラルネットワークにおいては、複数の中間層３２３が結合されている。

【0031】

特にニューラルネットワークは畳み込みニューラルネットワークであることが好ましい。具体的には、複数の中間層３２３のそれぞれは、一または二以上の畳み込み層３２４を含む。そして、畳み込み層３２４では、入力されたデータに対し複数のフィルタ３２５による畳み込みが行われ、複数のフィルタ３２５の出力に対し活性化処理が施される。

【0032】

図５の例において、特徴抽出部３２１は、複数の中間層３２３を含むニューラルネットワークを含んで構成され、複数の中間層３２３の間に第１のプーリング部３２６を備える。また、アップサンプル部３２２は、複数の中間層３２３を含むニューラルネットワークを含んで構成され、複数の中間層３２３の間にアンプーリング部３２８を備える。さらに、特徴抽出部３２１とアップサンプル部３２２とは、オーバーラッププーリングを行う第２のプーリング部３２７を介して互いに接続されている。

【0033】

なお、本図の例において各中間層３２３は、二以上の畳み込み層３２４からなる。ただし、少なくとも一部の中間層３２３は、一の畳み込み層３２４のみからなってもよい。互いに隣り合う中間層３２３は、第１のプーリング部３２６、第２のプーリング部３２７およびアンプーリング部３２８のいずれかで区切られる。ここで、中間層３２３に二以上の畳み込み層３２４が含まれる場合、それらの畳み込み層３２４におけるフィルタ３２５の数は互いに等しいことが好ましい。

【0034】

本図では、「Ａ×Ｂ」と記された中間層３２３は、Ｂ個の畳み込み層３２４からなり、各畳み込み層３２４は、各チャネルに対しＡ個の畳み込みフィルタを含むことを意味している。このような中間層３２３を以下では「Ａ×Ｂ中間層」とも呼ぶ。たとえば、６４×２中間層３２３は、２個の畳み込み層３２４からなり、各畳み込み層３２４は、各チャネルに対し６４個の畳み込みフィルタを含むことを意味している。

【0035】

本図の例において、特徴抽出部３２１は、６４×２中間層３２３、１２８×２中間層３２３、２５６×３中間層３２３、および、５１２×３中間層３２３をこの順に含む。また、アップサンプル部３２２は、５１２×３中間層３２３、２５６×３中間層３２３、１２８×２中間層３２３、および６４×２中間層３２３をこの順に含む。また、第２のプーリング部３２７は、２つの５１２×３中間層３２３を互いに接続している。なお、非線形写像部３２０を構成する中間層３２３の数は特に限定されず、たとえば画像データの画素数に応じて定めることができる。

【0036】

なお、本図は非線形写像部３２０の構成の一例であり、非線形写像部３２０は他の構成を有していても良い。たとえば、６４×２中間層３２３の代わりに６４×１中間層３２３が含まれても良い。中間層３２３に含まれる畳み込み層３２４の数が削減されることで、計算コストがより低減される可能性がある。また、たとえば、６４×２中間層３２３の代わりに３２×２中間層３２３が含まれても良い。中間層３２３のチャネル数が削減されることで、計算コストがより低減される可能性がある。さらに、中間層３２３における畳み込み層３２４の数とチャネル数との両方を削減しても良い。

【0037】

ここで、特徴抽出部３２１に含まれる複数の中間層３２３においては、第１のプーリング部３２６を経る毎にフィルタ３２５の数が増加することが好ましい。具体的には、第１の中間層３２３ａと第２の中間層３２３ｂとが、第１のプーリング部３２６を介して互いに連続しており、第１の中間層３２３ａの後段に第２の中間層３２３ｂが位置する。そして、第１の中間層３２３ａは、各チャネルに対するフィルタ３２５の数がＮ１である畳み込み層３２４で構成されており、第２の中間層３２３ｂは、各チャネルに対するフィルタ
３２５の数がＮ２である畳み込み層３２４で構成されている。このとき、Ｎ２＞Ｎ１が成り立つことが好ましい。また、Ｎ２＝Ｎ１×２が成り立つことがより好ましい。

【0038】

また、アップサンプル部３２２に含まれる複数の中間層３２３においては、アンプーリング部３２８を経る毎にフィルタ３２５の数が減少することが好ましい。具体的には、第３の中間層３２３ｃと第４の中間層３２３ｄとが、アンプーリング部３２８を介して互いに連続しており、第３の中間層３２３ｃの後段に第４の中間層３２３ｄが位置する。そして、第３の中間層３２３ｃは、各チャネルに対するフィルタ３２５の数がＮ３である畳み込み層３２４で構成されており、第４の中間層３２３ｄは、各チャネルに対するフィルタ３２５の数がＮ４である畳み込み層３２４で構成されている。このとき、Ｎ４＜Ｎ３が成り立つことが好ましい。また、Ｎ３＝Ｎ４×２が成り立つことがより好ましい。

【0039】

特徴抽出部３２１では、入力部３１０から取得した中間データから勾配や形状など、複数の抽象度を持つ画像特徴を中間層３２３のチャネルとして抽出する。図６は、６４×２
中間層３２３の構成を例示している。本図を参照して、中間層３２３における処理を説明する。本図の例において、中間層３２３は第１の畳み込み層３２４ａと第２の畳み込み層３２４ｂとで構成されており、各畳み込み層３２４は６４個のフィルタ３２５を備える。第１の畳み込み層３２４ａでは、中間層３２３に入力されたデータの各チャネルに対して、フィルタ３２５を用いた畳み込み処理が施される。たとえば入力部３１０へ入力された画像がＲＧＢ画像である場合、３つのチャネルｈ^０ _ｉ（ｉ＝１．．３）のそれぞれに対して処理が施される。また、本図の例において、フィルタ３２５は６４種の３×３フィルタであり、すなわち合計６４×３種のフィルタである。畳み込み処理の結果、各チャネルｉに対して、６４個の結果ｈ^０ _ｉ，ｊ（ｉ＝１．．３，ｊ＝１．．６４）が得られる。

【0040】

次に、複数のフィルタ３２５の出力に対し、活性化部３２９において活性化処理が行われる。具体的には、全チャネルの対応する結果ｊについて、対応する要素毎の総和に活性化処理が施される。この活性化処理により、６４チャネルの結果ｈ^１ _ｉ（ｉ＝１．．６４
）、すなわち、第１の畳み込み層３２４ａの出力が、画像特徴として得られる。活性化処理は特に限定されないが、双曲関数、シグモイド関数、および正規化線形関数の少なくともいずれかを用いる処理が好ましい。

【0041】

さらに、第１の畳み込み層３２４ａの出力データを第２の畳み込み層３２４ｂの入力データとし、第２の畳み込み層３２４ｂにて第１の畳み込み層３２４ａと同様の処理を行って、６４チャネルの結果ｈ^２ _ｉ（ｉ＝１．．６４）、すなわち第２の畳み込み層３２４ｂの出力が、画像特徴として得られる。第２の畳み込み層３２４ｂの出力がこの６４×２中間層３２３の出力データとなる。

【0042】

ここで、フィルタ３２５の構造は特に限定されないが、３×３の二次元フィルタであることが好ましい。また、各フィルタ３２５の係数は独立に設定可能である。本実施例において、各フィルタ３２５の係数は記憶部３９０に保持されており、非線形写像部３２０がそれを読み出して処理に用いることができる。ここで、複数のフィルタ３２５の係数は機械学習を用いて生成、修正された補正情報に基づいて定められてもよい。たとえば、補正情報は、複数のフィルタ３２５の係数を、複数の補正パラメータとして含む。非線形写像部３２０は、この補正情報をさらに用いて中間データを写像データに変換することができる。記憶部３９０は視覚顕著性演算部３に備えられていてもよいし、視覚顕著性演算部３の外部に設けられていてもよい。また、非線形写像部３２０は補正情報を、通信ネットワークを介して外部から取得しても良い。

【0043】

図７（ａ）および図７（ｂ）はそれぞれ、フィルタ３２５で行われる畳み込み処理の例を示す図である。図７（ａ）および図７（ｂ）では、いずれも３×３畳み込みの例が示されている。図７（ａ）の例は、最近接要素を用いた畳み込み処理である。図７（ｂ）の例は、距離が二以上の近接要素を用いた畳み込み処理である。なお、距離が三以上の近接要素を用いた畳み込み処理も可能である。フィルタ３２５は、距離が二以上の近接要素を用いた畳み込み処理を行うことが好ましい。より広範囲の特徴を抽出することができ、視覚顕著性の推定精度をさらに高めることができるからである。

【0044】

以上、６４×２中間層３２３の動作について説明した。他の中間層３２３（１２８×２中間層３２３、２５６×３中間層３２３、および、５１２×３中間層３２３等）の動作についても、畳み込み層３２４の数およびチャネルの数を除いて、６４×２中間層３２３の動作と同じである。また、特徴抽出部３２１における中間層３２３の動作も、アップサンプル部３２２における中間層３２３の動作も上記と同様である。

【0045】

図８（ａ）は、第１のプーリング部３２６の処理を説明するための図であり、図８（ｂ）は、第２のプーリング部３２７の処理を説明するための図であり、図８（ｃ）は、アンプーリング部３２８の処理を説明するための図である。

【0046】

特徴抽出部３２１において、中間層３２３から出力されたデータは、第１のプーリング部３２６においてチャネル毎にプーリング処理が施された後、次の中間層３２３に入力される。第１のプーリング部３２６ではたとえば、非オーバーラップのプーリング処理が行われる。図８（ａ）では、各チャネルに含まれる要素群に対し、２×２の４つの要素３０を１つの要素３０に対応づける処理を示している。第１のプーリング部３２６ではこのような対応づけが全ての要素３０に対し行われる。ここで、２×２の４つの要素３０は互いに重ならないよう選択される。本例では、各チャネルの要素数が４分の１に縮小される。なお、第１のプーリング部３２６において要素数が縮小される限り、対応づける前後の要素３０の数は特に限定されない。

【0047】

特徴抽出部３２１から出力されたデータは、第２のプーリング部３２７を介してアップサンプル部３２２に入力される。第２のプーリング部３２７では、特徴抽出部３２１からの出力データに対し、オーバーラッププーリングが施される。図８（ｂ）では、一部の要素３０をオーバーラップさせながら、２×２の４つの要素３０を１つの要素３０に対応づける処理を示している。すなわち、繰り返される対応づけにおいて、ある対応づけにおける２×２の４つの要素３０のうち一部が、次の対応づけにおける２×２の４つの要素３０にも含まれる。本図のような第２のプーリング部３２７では要素数は縮小されない。なお、第２のプーリング部３２７において対応づける前後の要素３０の数は特に限定されない。

【0048】

第１のプーリング部３２６および第２のプーリング部３２７で行われる各処理の方法は特に限定されないが、たとえば、４つの要素３０の最大値を１つの要素３０とする対応づけ（max pooling）や４つの要素３０の平均値を１つの要素３０とする対応づけ（average pooling）が挙げられる。

【0049】

第２のプーリング部３２７から出力されたデータは、アップサンプル部３２２における中間層３２３に入力される。そして、アップサンプル部３２２の中間層３２３からの出力データはアンプーリング部３２８においてチャネル毎にアンプーリング処理が施された後、次の中間層３２３に入力される。図８（ｃ）では、１つの要素３０を複数の要素３０に拡大する処理を示している。拡大の方法は特に限定されないが、１つの要素３０を２×２の４つの要素３０へ複製する方法が例として挙げられる。

【0050】

アップサンプル部３２２の最後の中間層３２３の出力データは写像データとして非線形写像部３２０から出力され、出力部３３０に入力される。出力ステップＳ１３０において出力部３３０は、非線形写像部３２０から取得したデータに対し、たとえば正規化や解像度変換等を行うことで視覚顕著性マップを生成し、出力する。視覚顕著性マップはたとえば、図３（ｂ）に例示したような視覚顕著性を輝度値で可視化した画像（画像データ）である。また、視覚顕著性マップはたとえば、ヒートマップのように視覚顕著性に応じて色分けされた画像であっても良いし、視覚顕著性が予め定められた基準より高い視覚顕著領域を、その他の位置とは識別可能にマーキングした画像であっても良い。さらに、視覚顕著性推定情報は画像等として示されたマップ情報に限定されず、視覚顕著領域を示す情報を列挙したテーブル等であっても良い。

【0051】

視線座標設定部４は、後述する理想視線を視覚顕著性マップ上に設定する。理想視線とは、障害物や自分以外の交通参加者がいないという理想的な交通環境下で自動車の運転者が進行方向に沿って向ける視線をいう。画像データや視覚顕著性マップ上では（ｘ，ｙ）座標として取り扱う。なお、本実施例では理想視線は固定値とするが、移動体の停止距離に影響する速度や道路の摩擦係数の関数として扱ってもよいし、設定された経路情報を利用して決定されてもよい。即ち、視線座標設定部４は、予め定めた規則に従って画像における理想視線（基準視線位置）を設定する視線位置設定部として機能する。

【0052】

ベクトル誤差演算部４は、視覚顕著性演算部３が出力した視覚顕著性マップ及び当該視覚顕著性マップや画像に対して視線座標設定部５が設定した理想視線に基づいてベクトル誤差を算出し、そのベクトル誤差に基づいて視覚的注意の集中度を示す後述の視覚的注意集中度Ｐｓを演算する。即ち、ベクトル誤差演算部４は、視覚顕著性分布情報と視線位置とに基づいて画像における視覚的注意の集中度を算出する視覚的注意集中度算出部として機能する。

【0053】

ここで、本実施例におけるベクトル誤差について図９を参照して説明する。図９は、視覚顕著性マップの例を示したものである。この視覚顕著性マップはＨ画素×Ｖ画素の２５６階調の輝度値で示されており、図３と同様に視覚顕著性が高い画素ほど輝度が高く表示されている。図９において、理想視線の座標（ｘ，ｙ）＝（ｘ_ｉｍ，ｙ_ｉｍ）としたとき、視覚顕著性マップ内の任意の座標（ｋ，ｍ）の画素とのベクトル誤差を算出する。視覚顕著性マップにおいて輝度が高い座標と理想視線の座標とが離れている場合は、注視すべき位置と実際に注視し易い位置とが離れることを意味し、視覚的注意が散漫になり易い画像といえる。一方、輝度が高い座標と理想視線の座標とが近い場合は、注視すべき位置と実際に注視し易い位置とが近いことを意味し、注視すべき位置に視覚的注意が集中し易い画像といえる。

【0054】

次に、ベクトル誤差演算部４における視覚的注意集中度Ｐｓの算出方法について説明する。本実施例では、視覚的注意集中度Ｐｓは次の（１）式により算出される。

【数1】

【0055】

（１）式において、Ｖ_ｖｃはピクセル深度（輝度値）、ｆ_ｗは重みづけ関数、ｄ_ｅｒｒはベクトル誤差を示している。この重みづけ関数は、例えばＶ_ｖｃの値を示す画素から理想視線の座標までの距離に基づいて重み設定される関数である。αは輝点１点の視覚顕著性マップ（リファレンスヒートマップ）における、輝点の座標と理想視線の座標が一致したときの視覚的注意集中度Ｐｓが１となるような係数である。

【0056】

即ち、ベクトル誤差演算部５（視覚的注意集中度算出部）は、視覚顕著性マップ（視覚顕著性分布情報）を構成する各画素の値と、各画素の位置と理想視線（基準視線位置）の座標位置とのベクトル誤差と、に基づいて視覚的注意の集中度を算出している。

【0057】

このようにして得られた視覚的注意集中度Ｐｓは、視覚顕著性マップ上に設定した理想視線の座標からの全画素の座標のベクトル誤差と輝度値の関係を重みづけした上で合計したものの逆数である。この視覚的注意集中度Ｐｓは、理想視線の座標から視覚顕著性マップの輝度が高い分布が離れていると低い値が算出される。即ち、視覚的注意集中度Ｐｓは、理想視線に対する集中度ともいえる。

【0058】

図１０に画像入力部２に入力された画像と、その画像から取得された視覚顕著性マップの例を示す。図１０（ａ）は入力画像、（ｂ）は視覚顕著性マップである。このような、図１０において、理想視線の座標を例えば前方を走行するトラック等の道路上に設定すると、その場合における視覚的注意集中度Ｐｓが算出される。

【0059】

出力部６は、ベクトル誤差演算部５で算出された視覚的注意集中度Ｐｓに基づいて当該視覚的注意集中度Ｐｓが算出された画像が示すシーンについてのリスクに関する情報を出力する。リスクに関する情報としては、例えば、視覚的注意集中度Ｐｓに所定の閾値を設け、算出された視覚的注意集中度Ｐｓが閾値以下の場合はリスクが高いシーンであるとの情報を出力する。例えば図１０で算出された視覚的注意集中度Ｐｓが閾値以下の場合はリスクが高いシーンであると判定し、リスク有（またはリスク高）といった情報を出力することができる。

【0060】

また、出力部６は、ベクトル誤差演算部５で算出された視覚的注意集中度Ｐｓの時間的変化に基づいてリスクに関する情報を出力してもよい。図１１に視覚的注意集中度Ｐｓの時間的変化の例を示す。図１１は、１２秒間の動画像における視覚的注意集中度Ｐｓの変化を示している。図１１において、約６．５秒～約７秒の間で視覚的注意集中度Ｐｓが急激に変化している。これは、例えば自車両の前方に他車両が割り込んだ場合等である。

【0061】

図１１に示したように、視覚的注意集中度Ｐｓの短時間当たりの変化率や変化値を予め定めた閾値と比較することによりリスクが高いシーンであると判定し、リスク有（またはリスク高）を示す情報を出力してもよい。また、例えば一旦下がった視覚的注意集中度Ｐｓが上がる等の変化のパターンによりリスクの有無（高低）を判定してもよい。

【0062】

次に、上述した構成の情報処理装置１における動作（情報処理方法）について、図１２のフローチャートを参照して説明する。また、このフローチャートを情報処理装置１として機能するコンピュータで実行されるプログラムとして構成することで情報処理プログラムとすることができる。また、この情報処理プログラムは、情報処理装置１が有するメモリ等に記憶するに限らず、メモリカードや光ディスク等の記憶媒体に格納してもよい。

【0063】

まず、画像入力部２が、入力された画像を画像データとして視覚顕著性演算部３に出力する（ステップＳ１１）。本ステップでは、画像入力部２に入力された画像データを画像フレーム等の時系列に分解して視覚顕著性演算部３へ入力している。また、本ステップでノイズ除去や幾何学変換などの画像処理を施してもよい。

【0064】

次に、視覚顕著性演算部３が、視覚顕著性マップを取得する（ステップＳ１２）。視覚顕著性マップは、視覚顕著性演算部３において、上述した方法により図３（ｂ）に示したような視覚顕著性マップを時系列に出力する。

【0065】

一方、ステップＳ１２と並行して、視線座標設定部４が、理想視線の座標を設定する（ステップＳ１３）。この座標は、上述したように前方注視等の固定位置とする。

【0066】

次に、ベクトル誤差演算部５が、視覚顕著性マップ及び理想視線から視覚的注意集中度Ｐｓを算出する（ステップＳ１４）。即ち、上述したように、理想視線の座標と、視覚顕著性マップの座標とのベクトル誤差を算出し、そのベクトル誤差と、各画素の値と、に基づいて（１）式により視覚的注意集中度Ｐｓを算出する。

【0067】

次に、出力部６が、リスク情報を出力する（ステップＳ１５）。本ステップでは、上述したように、算出された１つの視覚的注意集中度Ｐｓあるいは時間的変化に基づいてリスク情報を出力する。

【0068】

以上の説明から明らかなように、ステップＳ１２が取得工程、ステップＳ１３視線位置設定工程、ステップＳ１４が視覚的注意集中度算出工程としてそれぞれ機能する。

【0069】

本実施例によれば、情報処理装置１は、視覚顕著性演算部３が、移動体から外部を撮像した画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性マップを取得し、視線座標設定部４が、予め定めた固定位置に理想視線の座標を設定する。そして、ベクトル誤差演算部５が、視覚顕著性マップと理想視線とに基づいて画像における視覚的注意集中度Ｐｓを算出する。このようにすることにより、視覚顕著性マップを用いるため、画像内に含まれる標識や歩行者といった物体に視線が無意識に集中しやすいという文脈的な注意状態を反映することができる。したがって、精度良く安全やリスクに係る指標を算出することが可能となる。

【0070】

また、ベクトル誤差演算部５は、視覚顕著性マップを構成する各画素の値と、各画素の位置と理想視線の座標位置とのベクトル誤差と、に基づいて視覚的注意集中度Ｐｓを算出している。このようにすることにより、視覚顕著性が高い位置と理想視線との差に応じた値が視覚的注意集中度Ｐｓとして算出される。したがって、例えば、視覚顕著性が高い位置と理想視線との距離に応じて視覚的注意集中度Ｐｓの値が変化するようにすることができる。

【0071】

また、視覚的注意集中度Ｐｓの時間的変化に基づいて当該画像の示す地点におけるリスク情報を出力する出力部６を備えている。このようにすることにより、例えば視覚的注意集中度Ｐｓの時間的変化が大きい地点を事故リスク地点等として出力することが可能となる。また、当該リスク情報は、視覚的注意集中度Ｐｓの時間的変化から、ヒヤリハットに係る情報として出力されてもよい。

【0072】

また、視覚顕著性演算部３は、画像を写像処理可能な中間データに変換する入力部３１０と、中間データを写像データに変換する非線形写像部３２０と、写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力部３３０と、を備え、非線形写像部３２０は、中間データに対し特徴の抽出を行う特徴抽出部３２１と、特徴抽出部３２１で生成されたデータのアップサンプルを行うアップサンプル部３２２と、を備えている。このようにすることにより、小さな計算コストで、視覚顕著性を推定することができる。また、このようにして推定した視覚顕著性は、文脈的な注意状態を反映したものとなる。

【実施例2】

【0073】

次に、本発明の第２の実施例にかかるリスク情報出力装置を図１３～図１６を参照して説明する。なお、前述した第１の実施例と同一部分には、同一符号を付して説明を省略する。

【0074】

本実施例は、ブロック構成等は図１と同様である。つまり、情報処理装置１が本実施例にかかるリスク情報出力装置として機能する。画像入力部２から入力される画像は、交差点へ進入する画像であること、出力部６におけるリスクの判定方法等が異なる。

【0075】

本実施例におけるリスク情報が出力される対象となる交差点の例を図１３に示す。図１３は、四叉路（十字路）を構成する交差点である。この交差点において、Ａ方向、Ｂ方向、Ｃ方向からそれぞれ進入する場合における交差点方向（進行方向）の画像をそれぞれ示す。つまり、図１３に示した画像は、Ａ方向、Ｂ方向、Ｃ方向をそれぞれ交差点に進入する際の道路である進入路とした場合の画像である。

【0076】

図１３に示した画像に対して、第１の実施例で説明したように視覚顕著性マップをそれぞれ取得する。そして、画像について、直進、右折、左折の各進行方向について理想視線を設定し、それぞれの理想視線について視覚的注意集中度Ｐｓを算出する（図１４）。つまり、交差点に進入後抜け出す道路となる退出路毎に、画像における理想視線（基準視線位置）をそれぞれ設定して、それぞれの理想視線に対する視覚的注意集中度Ｐｓをベクトル誤差演算部５が算出している。

【0077】

ここで、各進入路から交差点に進入する際の視覚的注意集中度Ｐｓの時間的変化を図１５に示す。このような時間的変化はベクトル誤差演算部５の算出結果に基づくものである。図１５のグラフは縦軸に視覚的注意集中度Ｐｓ、横軸に時間を示し、太線は直進、細線は左折、破線は右折の各進行方向に理想視線を設定した場合をそれぞれ示している。そして、図１５（ａ）はＡ方向から進入する場合、図１５（ｂ）はＢ方向から進入する場合、図１５（ｃ）はＣ方向から進入する場合をそれぞれ示している。

【0078】

図１５によれば、交差点に接近する際には、視覚的注意集中度Ｐｓが低下する傾向にあるが、図１５（ｂ）のように交差点の直近で急激に低下する場合もある。また、図１５によれば、直進するために前をまっすぐ見たと仮定したときの視覚的注意集中度Ｐｓよりも、右折や左折のために視線を左右いずれかに向けたと仮定したときの視覚的注意集中度Ｐｓが低い傾向となった。

【0079】

次に、図１５で算出された視覚的注意集中度Ｐｓの時間的変化を利用して右又は左方向の視覚的注意集中度Ｐｓと直進方向の視覚的注意集中度Ｐｓとの比を出力部６で算出する。算出した比の変化を図１６に示す。図１６のグラフは縦軸に比、横軸に時間を示し、太線は左折／直進比（Ｌ／Ｃ）、細線は右折／直進比（Ｒ／Ｃ）を示している。そして、図１６（ａ）はＡ方向から進入する場合、図１６（ｂ）はＢ方向から進入する場合、図１６（ｃ）はＣ方向から進入する場合をそれぞれ示している。例えば図１６（ａ）のＩ_ＡＬはＰＳ_ＬＡ（Ａ方向左視覚的注意集中度）／ＰＳ_ＣＡ（Ａ方向直進視覚的注意集中度）を示し、Ｉ_ＡＲはＰＳ_ＲＡ（Ａ方向右視覚的注意集中度）／ＰＳ_ＣＡ（Ａ方向直進視覚的注意集中度）を示している。図１６（ｂ）のＩ_ＢＬ、Ｉ_ＢＲ、図１６（ｃ）のＩ_ＣＬ、Ｉ_ＣＲも進入方向が異なるのみで意味は同じである。

【0080】

図１６によれば、Ｉ_ＡＬやＩ_ＡＲといった視覚的注意集中度の比が１より小さいときは、直進するために視線を運ぶときより右左折するときに視線を運ぶときの方が運転者の集中度（＝視覚的注意集中度Ｐｓ）が落ちる交差点であることを表しているといえる。逆に比が１より大きいときは、直進するときの視線で運転者の集中度が落ちる交差点であることを表しているといえる。

【0081】

したがって、出力部６では、上記のような視覚的注意集中度Ｐｓの時間的変化や視覚的注意集中度Ｐｓの比に基づいて対象とする交差点のリスクの状態を判定して、判定結果をリスクに関する情報として出力することが可能となる。

【0082】

次に、本実施例にかかる情報処理装置１における動作（情報処理方法）について、図１７のフローチャートを参照して説明する。

【0083】

まず、画像入力部２が、入力された画像を画像データとして視覚顕著性演算部３に出力する（ステップＳ２１）。本ステップでは、図１３のように、交差点の各進入路から交差点方向へ進入する画像を取得する。このとき、画像だけでなく位置情報や時刻情報も同時に取得するとよい。位置情報によってどの方向からの進入かが把握でき、時刻情報により朝昼夜等の時間帯ごとに分析が可能となることや交差点への進入速度を算出することも可能となる。

【0084】

次に、視覚顕著性演算部３が、視覚顕著性マップを取得する（ステップＳ２２）。各進入路からの画像に基づいて視覚顕著性マップを取得する。一方、ステップＳ２２と並行して、視線座標設定部４が、理想視線の座標を設定する（ステップＳ２３）。ステップＳ２３における理想視線は、図１４のように、各進行方向（退出路）に設定する。

【0085】

次に、ベクトル誤差演算部５が、視覚顕著性マップ及び理想視線から視覚的注意集中度Ｐｓを算出する（ステップＳ２４）。本ステップでは、図１４に示したように理想視線が設定された退出路毎に視覚的注意集中度Ｐｓを算出する。また、視覚的注意集中度Ｐｓは、図１５に示したように時系列に算出する。

【0086】

次に、出力部６が、ステップＳ２４で算出された視覚的注意集中度Ｐｓに基づいて当該交差点のリスクを判定する（ステップＳ２５）。例えば、視覚的注意集中度Ｐｓが交差点の接近段階で急激に変化することが、複数方向からの進入路であった場合はリスク有（あるいはリスク高）の交差点と判定する。または、上述した比が交差点の接近段階で１より小さいことが複数方向からの進入路であった場合はリスク有（あるいはリスク高）の交差点と判定する。また、これらの条件の両方が成立した場合にリスク有（あるいはリスク高）の交差点と判定してもよい。さらには、上記条件を満たすのが複数回あった場合にリスク有（あるいはリスク高）の交差点と判定してもよい。複数回とは、同じ交差点について異なる時間に（あるいは異なる車両で）撮像された画像に基づいて本フローチャートを複数回実行したことをいう。

【0087】

そして、出力部６は、ステップＳ２５の判定結果をリスク情報として出力する（ステップＳ２６）。

【0088】

以上の説明から明らかなように、ステップＳ２２が取得工程、ステップＳ２３視線位置設定工程、ステップＳ２４が視覚的注意集中度算出工程、ステップＳ２５、Ｓ２６が出力工程としてそれぞれ機能する。

【0089】

本実施例によれば、情報処理装置１は、視覚顕著性演算部３が、交差点に進入する際の道路である進入路毎の画像から、当該画像内における視覚顕著性の高低を推測して得られた視覚顕著性マップを進入路毎に取得し、視線座標設定部４が、視覚顕著性マップについて、交差点に進入後抜け出す道路となる退出路毎に、画像における理想視線の座標をそれぞれ設定する。そして、ベクトル誤差演算部５、視覚顕著性マップと理想視線とに基づいて画像における退出路毎の視覚的注意集中度Ｐｓを算出して、出力部６が、退出路毎に算出された視覚的注意集中度Ｐｓに基づいて交差点におけるリスク情報を出力する。このようにすることにより、対象とする交差点についてリスクを評価してリスク情報を出力することができる。

【0090】

また、出力部６は、退出路のうち、直進する退出路の視覚的注意集中度Ｐｓと右折または左折する退出路の視覚的注意集中度Ｐｓとの比に基づいてリスク情報を出力している。このようにすることにより、直進する際と右左折する際でどちらに注意が向かい易いかを評価して、評価結果を出力することができる。

【0091】

また、出力部６は、視覚的注意集中度Ｐｓの時間的変化に基づいてリスク情報を出力してもよい。このようにすることにより、例えば視覚的注意集中度Ｐｓが急激に変化する場合等を検出してリスク情報を出力することができる。

【0092】

なお、第２の実施例において、例えば図１４では、Ａ方向から交差点に進入する場合は、右折（Ｂ方向へ向かう）の視覚的注意集中度Ｐｓが低下する。Ｂ方向から交差点に進入する場合は、右左折（Ａ方向又はＣ方向へ向かう）の視覚的注意集中度Ｐｓが低下する。Ｃ方向から交差点に進入する場合は、右折の視覚的注意集中度Ｐｓが低下する。

【0093】

この場合、例えばＡ方向から右折する経路と、Ｂ方向から左折する経路は、いずれも視覚的注意集中度Ｐｓが他の経路よりも低下する経路であり、さらに進入路と退出路とを入れ替えた場合に同じ経路となる。したがって、この交差点においては、この経路はリスク有（またはリスク高）といったリスクに関する情報を出力するようにしてもよい。

【0094】

また、第２の実施例は、交差点について説明したが、この考え方を道路上のカーブに適用することもできる。図１８を参照して説明する。

【0095】

図１８は、カーブしている道路の例である。この道路は、Ｄ方向（図下側）から左カーブとして通行する場合と、Ｅ方向（図左側）から右カーブとして通行する場合がある。ここで、例えばＤ方向からカーブに進入する場合、道路の湾曲方向である左方向に理想視線を設定するだけでなく、道路が直進していたと仮定した場合の方向（Ｄ’方向）にも理想視線を設定し、それぞれ視覚的注意集中度Ｐｓを算出する。Ｅ方向からカーブに進入する場合も同様に、道路の湾曲方向である右方向に理想視線を設定するだけでなく、道路が直進していたと仮定した場合の方向（Ｅ’方向）にも理想視線を設定し、それぞれ視覚的注意集中度Ｐｓを算出する。

【0096】

そして、算出された視覚的注意集中度Ｐｓに基づいて交差点と同様に時系列の変化や比等に基づいてリスクを判定すればよい。

【0097】

なお、図１８のようにカーブの曲率が大きい場合は、直進方向のみでなく、カーブの湾曲方向と逆向きにも仮想的な理想視線を設定してもよい。図１８であれば、Ｄ方向から進入する場合であれば、Ｄ’方向だけでなくＥ’方向にも理想視線を設定して視覚的注意集中度Ｐｓを算出してもよい。つまり、カーブの湾曲方向と異なる方向に理想視線を設定すればよい。

【0098】

即ち、視覚顕著性演算部３が、道路上のカーブに進入する際の画像から、当該画像内における視覚顕著性の高低を推測して得られた視覚顕著性マップを取得し、視線座標設定部４が、視覚顕著性マップについて、カーブの湾曲方向及び湾曲方向と異なる方向に、画像における理想視線の座標をそれぞれ設定する。そして、ベクトル誤差演算部５が、視覚顕著性マップと理想視線とに基づいて画像における湾曲方向と湾曲方向と異なる方向の視覚的注意集中度Ｐｓを算出し、出力部６が、退出路毎に算出された視覚的注意集中度Ｐｓに基づいてカーブにおけるリスク情報を出力している。

【0099】

このようにすることにより、対象とするカーブについてリスクを評価してリスクに関する情報を出力することができる。

【0100】

また、本発明は上記実施例に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の情報処理装置を具備する限り、勿論、本発明の範疇に含まれるものである。

【符号の説明】

【0101】

１ 情報処理装置（リスク情報出力装置）
２ 画像入力部
３ 視覚顕著性演算部（取得部）
４ 視線座標設定部（視線位置設定部）
５ ベクトル誤差演算部（視覚的注意集中度算出部）
６ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】