特開 2024-32022 視認負荷量推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024032022

(43)【公開日】2024-03-08

(54)【発明の名称】視認負荷量推定装置

(51)【国際特許分類】

   G06V 10/62 20220101AFI20240301BHJP

   G06T 7/246 20170101ALI20240301BHJP

   G06V 10/46 20220101ALI20240301BHJP

   A61B 5/11 20060101ALI20240301BHJP

【ＦＩ】

G06V10/62

G06T7/246

G06V10/46

A61B5/11

【審査請求】有

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2023210953

(22)【出願日】2023-12-14

(62)【分割の表示】P 2019205194の分割

【原出願日】2019-11-13

(71)【出願人】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】100134832

【弁理士】

【氏名又は名称】瀧野 文雄

(74)【代理人】

【識別番号】100165308

【弁理士】

【氏名又は名称】津田 俊明

(74)【代理人】

【識別番号】100115048

【弁理士】

【氏名又は名称】福田 康弘

(72)【発明者】

【氏名】井上 俊明

(57)【要約】

【課題】視覚的に負荷を感じる部分を自動的に抽出する。
【解決手段】視認負荷量推定装置１は、視覚顕著性抽出手段３で車両から外部を連続的に撮像した画像に基づいて視覚顕著性の高低を推測して得られた視覚顕著性マップを画像ごとに生成し、視認負荷量推定手段４で生成された視覚顕著性マップに基づいて注視点の移動量を算出する。そして、算出された推定注視点の移動量の時間的推移に基づいて視認負荷量を推定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

移動体から外部を連続的に撮像した画像における視覚顕著性分布情報に基づいて推定注視点の移動量を算出する算出部と、
算出された前記推定注視点の移動量の時間的推移に基づいて視認負荷量を推定する推定部と、
を備えることを特徴とする視認負荷量推定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体から外部を撮像した画像に基づいて視認負荷量を推定する視認負荷量推定装置に関する。

【背景技術】

【0002】

特許文献１には、走行環境がどの程度目が疲れやすい状況であるかを自車両の進行方向を撮像した画像から推定するために、自車両の進行方向における撮像画像を取得し、撮像画像中において、運転者が生理的に注視してしまう位置を推定し、撮像画像中において、運転者が自車両を運転する際に視認すべき位置を推定し、注視してしまう位置と視認すべき位置との位置関係に基づいて、視認負荷量を推定することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第５４８２７３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、視覚的に負荷を感じるのは、特許文献１に記載された、視認すべき位置と生理的に注視してしまう度合いとのギャップに限らない。例えば、視線の推移が大きくなるような場面も視覚的に負荷を感じることがあるが、特許文献１では、このような場面は考慮されていない。

【0005】

本発明が解決しようとする課題としては、視覚的に負荷を感じる部分を自動的に抽出することが一例として挙げられる。

【課題を解決するための手段】

【0006】

上記課題を解決するために、請求項１に記載の発明は、移動体から外部を連続的に撮像した画像における視覚顕著性分布情報に基づいて推定注視点の移動量を算出する算出部と、算出された前記推定注視点の移動量の時間的推移に基づいて視認負荷量を推定する推定部と、を備えることを特徴としている。

【図面の簡単な説明】

【0007】

【図1】本発明の一実施例にかかる視認負荷量推定装置の機能構成図である。

【図2】図１に示された視覚顕著性抽出手段の構成を例示するブロック図である。

【図3】（ａ）は判定装置へ入力する画像を例示する図であり、（ｂ）は（ａ）に対し推定される、視覚顕著性マップを例示する図である。

【図4】図１に示された視覚顕著性抽出手段の処理方法を例示するフローチャートである。

【図5】非線形写像部の構成を詳しく例示する図である。

【図6】中間層の構成を例示する図である。

【図7】（ａ）および（ｂ）はそれぞれ、フィルタで行われる畳み込み処理の例を示す図である。

【図8】（ａ）は、第１のプーリング部の処理を説明するための図であり、（ｂ）は、第２のプーリング部の処理を説明するための図であり、（ｃ）は、アンプーリング部の処理を説明するための図である。

【図9】図１に示された視認負荷量推定手段の機能構成図である。

【図10】図９に示された視認負荷量推定手段における各機能の動作を示した波形図である。

【図11】図１に示された視認負荷量推定装置の動作のフローチャートである。

【発明を実施するための形態】

【0008】

以下、本発明の一実施形態にかかる視認負荷量推定装置を説明する。本発明の一実施形態にかかる視認負荷量推定装置は、生成部で移動体から外部を連続的に撮像した画像に基づいて視覚顕著性の高低を推測して得られた視覚顕著性分布情報を前記画像ごとに生成し、算出部で生成された視覚顕著性分布情報に基づいて推定注視点の移動量を算出する。そして、推定部で算出された推定注視点の移動量の時間的推移に基づいて視認負荷量を推定する。このようにすることにより、推定注視点の移動量の時間的推移に基づくことから視線の推移が大きくなるような場面を推定することができる。したがって、視覚的に負荷を感じる部分を自動的に抽出することができる。

【0009】

また、算出部は、推定注視点を、視覚顕著性分布情報において視覚顕著性が最大値となる画像上の位置と推定して移動量の算出をしてもよい。このようにすることにより、最も視認すると推定される位置に基づいて移動量を算出することができる。

【0010】

また、推定部は、推定注視点の移動量を複数の基底成分に分解し、分解された基底成分に基づいて視認負荷量を算出してもよい。このようにすることにより、経験モード分解（ＥＭＤ；Empirical Mode Decomposition）といったアルゴリズムを利用することができるようになる。

【0011】

また、生成部は、画像を写像処理可能な中間データに変換する入力部と、中間データを写像データに変換する非線形写像部と、写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力部と、を備え、非線形写像部は、中間データに対し特徴の抽出を行う特徴抽出部と、特徴抽出部で生成されたデータのアップサンプルを行うアップサンプル部と、を備えてもよい。このようにすることにより、小さな計算コストで、視覚顕著性を推定することができる。

【0012】

また、推定部における推定結果を提示する提示部を備えてもよい。このようにすることにより、例えば視認負荷量の多い地点が接近することを通知することが可能となる。

【0013】

また、本発明の一実施形態にかかる視認負荷量推定方法は、生成工程で移動体から外部を連続的に撮像した画像に基づいて視覚顕著性の高低を推測して得られた視覚顕著性分布情報を前記画像ごとに生成し、算出工程で生成された視覚顕著性分布情報に基づいて推定注視点の移動量を算出する。そして、推定工程で算出された推定注視点の移動量の時間的推移に基づいて視認負荷量を推定する。このようにすることにより、推定注視点の移動量の時間的推移に基づくことから視線の推移が大きくなるような位置を推定することができる。したがって、視覚的に負荷を感じる部分を自動的に抽出することができる。

【0014】

また、上述した視認負荷量推定方法を、コンピュータにより実行させている。このようにすることにより、コンピュータを用いて、推定注視点の移動量の時間的推移に基づくことから視線の推移が大きくなるような位置を推定することができる。したがって、視覚的に負荷を感じる部分を自動的に抽出することができる。

【0015】

また、上述した視認負荷量推定プログラムをコンピュータ読み取り可能な記憶媒体に格納してもよい。このようにすることにより、当該プログラムを機器に組み込む以外に単体でも流通させることができ、バージョンアップ等も容易に行える。

【実施例0016】

本発明の一実施例にかかる視認負荷量推定装置を図１～図１１を参照して説明する。本実施例にかかる視認負荷量推定装置は、例えば自動車等の移動体に設置されるに限らず、事業所等に設置されるサーバ装置等で構成してもよい。即ち、リアルタイムに解析する必要はなく、走行後等に解析を行ってもよい。

【0017】

図１に示したように、視認負荷量推定装置１は、入力手段２と、視覚顕著性抽出手段３と、視認負荷量推定手段４と、情報提示手段５と、を備えている。

【0018】

入力手段２は、例えばカメラなどで撮像された画像（動画像）が入力され、その画像を画像データとして出力する。なお、入力された動画像は、例えばフレーム毎等の時系列に分解された画像データとして出力する。入力手段２に入力される画像として静止画を入力してもよいが、時系列に沿った複数の静止画からなる画像群として入力するのが好ましい。

【0019】

入力手段２に入力される画像は、例えば車両の進行方向が撮像された画像が挙げられる。つまり、移動体から外部を連続的に撮像した画像とする。この画像はいわゆるパノラマ画像等の水平方向に１８０°や３６０°等進行方向以外が含まれる画像であってもよい。また、入力手段２には入力されるのは、カメラで撮像された画像に限らず、ハードディスクドライブやメモリカード等の記録媒体から読み出した画像であってもよい。

【0020】

視覚顕著性抽出手段３は、入力手段２から画像データが入力され、後述する視覚顕著性推定情報として視覚顕著性マップを出力する。即ち、視覚顕著性抽出手段３は、移動体から外部を撮像した画像に基づいて視覚顕著性の高低を推測して得られた視覚顕著性マップ（視覚顕著性分布情報）を生成する生成部として機能する。

【0021】

図２は、視覚顕著性抽出手段３の構成を例示するブロック図である。本実施例に係る視覚顕著性抽出手段３は、入力部３１０、非線形写像部３２０、出力部３３０および記憶部３９０を備える。入力部３１０は、画像を写像処理可能な中間データに変換する。非線形写像部３２０は、中間データを写像データに変換する。出力部３３０は、写像データに基づき顕著性分布を示す顕著性推定情報を生成する。そして、非線形写像部３２０は、中間データに対し特徴の抽出を行う特徴抽出部３２１と、特徴抽出部３２１で生成されたデータのアップサンプルを行うアップサンプル部３２２とを備える。記憶部３９０は、入力手段２から入力された画像データや後述するフィルタの係数等が保持されている。以下に詳しく説明する。

【0022】

図３（ａ）は、視覚顕著性抽出手段３へ入力する画像を例示する図であり、図３（ｂ）は、図３（ａ）に対し推定される、視覚顕著性分布を示す画像を例示する図である。本実施例に係る視覚顕著性抽出手段３は、画像における各部分の視覚顕著性を推定する装置である。視覚顕著性とは例えば、目立ちやすさや視線の集まりやすさを意味する。具体的には視覚顕著性は、確率等で示される。ここで、確率の大小は、たとえばその画像を見た人の視線がその位置に向く確率の大小に対応する。

【0023】

図３（ａ）と図３（ｂ）とは、互いに位置が対応している。そして、図３（ａ）において、視覚顕著性が高い位置ほど、図３（ｂ）において輝度が高く表示されている。図３（ｂ）のような視覚顕著性分布を示す画像は、出力部３３０が出力する視覚顕著性マップの一例である。本図の例において、視覚顕著性は、２５６階調の輝度値で可視化されている。出力部３３０が出力する視覚顕著性マップの例については詳しく後述する。

【0024】

図４は、本実施例に係る視覚顕著性抽出手段３の動作を例示するフローチャートである。図４に示したフローチャートは、コンピュータによって実行される視認負荷量推定方法の一部であって、入力ステップＳ１１０、非線形写像ステップＳ１２０、および出力ステップＳ１３０を含む。入力ステップＳ１１０では、画像が写像処理可能な中間データに変換される。非線形写像ステップＳ１２０では、中間データが写像データに変換される。出力ステップＳ１３０では、写像データに基づき顕著性分布を示す視覚顕著性推定情報が生成される。ここで、非線形写像ステップＳ１２０は、中間データに対し特徴の抽出を行う特徴抽出ステップＳ１２１と、特徴抽出ステップＳ１２１で生成されたデータのアップサンプルを行うアップサンプルステップＳ１２２とを含む。

【0025】

図２に戻り、視覚顕著性抽出手段３の各構成要素について説明する。入力ステップＳ１１０において入力部３１０は、画像を取得し、中間データに変換する。入力部３１０は、画像データを入力手段２から取得する。そして入力部３１０は、取得した画像を中間データに変換する。中間データは非線形写像部３２０が受け付け可能なデータであれば特に限定されないが、たとえば高次元テンソルである。また、中間データはたとえば、取得した画像に対し輝度を正規化したデータ、または、取得した画像の各画素を、輝度の傾きに変換したデータである。入力ステップＳ１１０において入力部３１０は、さらに画像のノイズ除去や解像度変換等を行っても良い。

【0026】

非線形写像ステップＳ１２０において、非線形写像部３２０は入力部３１０から中間データを取得する。そして、非線形写像部３２０において中間データが写像データに変換される。ここで、写像データは例えば高次元テンソルである。非線形写像部３２０で中間データに施される写像処理は、たとえばパラメータ等により制御可能な写像処理であり、関数、汎関数、またはニューラルネットワークによる処理であることが好ましい。

【0027】

図５は、非線形写像部３２０の構成を詳しく例示する図であり、図６は、中間層３２３の構成を例示する図である。上記した通り、非線形写像部３２０は、特徴抽出部３２１およびアップサンプル部３２２を備える。特徴抽出部３２１において特徴抽出ステップＳ１２１が行われ、アップサンプル部３２２においてアップサンプルステップＳ１２２が行われる。また、本図の例において、特徴抽出部３２１およびアップサンプル部３２２の少なくとも一方は、複数の中間層３２３を含むニューラルネットワークを含んで構成される。ニューラルネットワークにおいては、複数の中間層３２３が結合されている。

【0028】

特にニューラルネットワークは畳み込みニューラルネットワークであることが好ましい。具体的には、複数の中間層３２３のそれぞれは、一または二以上の畳み込み層３２４を含む。そして、畳み込み層３２４では、入力されたデータに対し複数のフィルタ３２５による畳み込みが行われ、複数のフィルタ３２５の出力に対し活性化処理が施される。

【0029】

図５の例において、特徴抽出部３２１は、複数の中間層３２３を含むニューラルネットワークを含んで構成され、複数の中間層３２３の間に第１のプーリング部３２６を備える。また、アップサンプル部３２２は、複数の中間層３２３を含むニューラルネットワークを含んで構成され、複数の中間層３２３の間にアンプーリング部３２８を備える。さらに、特徴抽出部３２１とアップサンプル部３２２とは、オーバーラッププーリングを行う第２のプーリング部３２７を介して互いに接続されている。

【0030】

なお、本図の例において各中間層３２３は、二以上の畳み込み層３２４からなる。ただし、少なくとも一部の中間層３２３は、一の畳み込み層３２４のみからなってもよい。互いに隣り合う中間層３２３は、第１のプーリング部３２６、第２のプーリング部３２７およびアンプーリング部３２８のいずれかで区切られる。ここで、中間層３２３に二以上の畳み込み層３２４が含まれる場合、それらの畳み込み層３２４におけるフィルタ３２５の数は互いに等しいことが好ましい。

【0031】

本図では、「Ａ×Ｂ」と記された中間層３２３は、Ｂ個の畳み込み層３２４からなり、各畳み込み層３２４は、各チャネルに対しＡ個の畳み込みフィルタを含むことを意味している。このような中間層３２３を以下では「Ａ×Ｂ中間層」とも呼ぶ。たとえば、６４×２中間層３２３は、２個の畳み込み層３２４からなり、各畳み込み層３２４は、各チャネルに対し６４個の畳み込みフィルタを含むことを意味している。

【0032】

本図の例において、特徴抽出部３２１は、６４×２中間層３２３、１２８×２中間層３２３、２５６×３中間層３２３、および、５１２×３中間層３２３をこの順に含む。また、アップサンプル部３２２は、５１２×３中間層３２３、２５６×３中間層３２３、１２８×２中間層３２３、および６４×２中間層３２３をこの順に含む。また、第２のプーリング部３２７は、２つの５１２×３中間層３２３を互いに接続している。なお、非線形写像部３２０を構成する中間層３２３の数は特に限定されず、たとえば画像データの画素数に応じて定めることができる。

【0033】

なお、本図は非線形写像部３２０の構成の一例であり、非線形写像部３２０は他の構成を有していても良い。たとえば、６４×２中間層３２３の代わりに６４×１中間層３２３が含まれても良い。中間層３２３に含まれる畳み込み層３２４の数が削減されることで、計算コストがより低減される可能性がある。また、たとえば、６４×２中間層３２３の代わりに３２×２中間層３２３が含まれても良い。中間層３２３のチャネル数が削減されることで、計算コストがより低減される可能性がある。さらに、中間層３２３における畳み込み層３２４の数とチャネル数との両方を削減しても良い。

【0034】

ここで、特徴抽出部３２１に含まれる複数の中間層３２３においては、第１のプーリング部３２６を経る毎にフィルタ３２５の数が増加することが好ましい。具体的には、第１の中間層３２３ａと第２の中間層３２３ｂとが、第１のプーリング部３２６を介して互いに連続しており、第１の中間層３２３ａの後段に第２の中間層３２３ｂが位置する。そして、第１の中間層３２３ａは、各チャネルに対するフィルタ３２５の数がＮ１である畳み込み層３２４で構成されており、第２の中間層３２３ｂは、各チャネルに対するフィルタ３２５の数がＮ２である畳み込み層３２４で構成されている。このとき、Ｎ２＞Ｎ１が成り立つことが好ましい。また、Ｎ２＝Ｎ１×２が成り立つことがより好ましい。

【0035】

また、アップサンプル部３２２に含まれる複数の中間層３２３においては、アンプーリング部３２８を経る毎にフィルタ３２５の数が減少することが好ましい。具体的には、第３の中間層３２３ｃと第４の中間層３２３ｄとが、アンプーリング部３２８を介して互いに連続しており、第３の中間層３２３ｃの後段に第４の中間層３２３ｄが位置する。そして、第３の中間層３２３ｃは、各チャネルに対するフィルタ３２５の数がＮ３である畳み込み層３２４で構成されており、第４の中間層３２３ｄは、各チャネルに対するフィルタ３２５の数がＮ４である畳み込み層３２４で構成されている。このとき、Ｎ４＜Ｎ３が成り立つことが好ましい。また、Ｎ３＝Ｎ４×２が成り立つことがより好ましい。

【0036】

特徴抽出部３２１では、入力部３１０から取得した中間データから勾配や形状など、複数の抽象度を持つ画像特徴を中間層３２３のチャネルとして抽出する。図６は、６４×２中間層３２３の構成を例示している。本図を参照して、中間層３２３における処理を説明する。本図の例において、中間層３２３は第１の畳み込み層３２４ａと第２の畳み込み層３２４ｂとで構成されており、各畳み込み層３２４は６４個のフィルタ３２５を備える。第１の畳み込み層３２４ａでは、中間層３２３に入力されたデータの各チャネルに対して、フィルタ３２５を用いた畳み込み処理が施される。たとえば入力部３１０へ入力された画像がＲＧＢ画像である場合、３つのチャネルｈ０ｉ（ｉ＝１．．３）のそれぞれに対して処理が施される。また、本図の例において、フィルタ３２５は６４種の３×３フィルタであり、すなわち合計６４×３種のフィルタである。畳み込み処理の結果、各チャネルｉに対して、６４個の結果ｈ０ｉ，ｊ（ｉ＝１．．３，ｊ＝１．．６４）が得られる。

【0037】

次に、複数のフィルタ３２５の出力に対し、活性化部３２９において活性化処理が行われる。具体的には、全チャネルの対応する結果ｊについて、対応する要素毎の総和に活性化処理が施される。この活性化処理により、６４チャネルの結果ｈ１ｉ（ｉ＝１．．６４）、すなわち、第１の畳み込み層３２４ａの出力が、画像特徴として得られる。活性化処理は特に限定されないが、双曲関数、シグモイド関数、および正規化線形関数の少なくともいずれかを用いる処理が好ましい。

【0038】

さらに、第１の畳み込み層３２４ａの出力データを第２の畳み込み層３２４ｂの入力データとし、第２の畳み込み層３２４ｂにて第１の畳み込み層３２４ａと同様の処理を行って、６４チャネルの結果ｈ２ｉ（ｉ＝１．．６４）、すなわち第２の畳み込み層３２４ｂの出力が、画像特徴として得られる。第２の畳み込み層３２４ｂの出力がこの６４×２中間層３２３の出力データとなる。

【0039】

ここで、フィルタ３２５の構造は特に限定されないが、３×３の二次元フィルタであることが好ましい。また、各フィルタ３２５の係数は独立に設定可能である。本実施例において、各フィルタ３２５の係数は記憶部３９０に保持されており、非線形写像部３２０がそれを読み出して処理に用いることができる。ここで、複数のフィルタ３２５の係数は機械学習を用いて生成、修正された補正情報に基づいて定められてもよい。たとえば、補正情報は、複数のフィルタ３２５の係数を、複数の補正パラメータとして含む。非線形写像部３２０は、この補正情報をさらに用いて中間データを写像データに変換することができる。記憶部３９０は視覚顕著性抽出手段３に備えられていてもよいし、視覚顕著性抽出手段３の外部に設けられていてもよい。また、非線形写像部３２０は補正情報を、通信ネットワークを介して外部から取得しても良い。

【0040】

図７（ａ）および図７（ｂ）はそれぞれ、フィルタ３２５で行われる畳み込み処理の例を示す図である。図７（ａ）および図７（ｂ）では、いずれも３×３畳み込みの例が示されている。図７（ａ）の例は、最近接要素を用いた畳み込み処理である。図７（ｂ）の例は、距離が二以上の近接要素を用いた畳み込み処理である。なお、距離が三以上の近接要素を用いた畳み込み処理も可能である。フィルタ３２５は、距離が二以上の近接要素を用いた畳み込み処理を行うことが好ましい。より広範囲の特徴を抽出することができ、視覚顕著性の推定精度をさらに高めることができるからである。

【0041】

以上、６４×２中間層３２３の動作について説明した。他の中間層３２３（１２８×２中間層３２３、２５６×３中間層３２３、および、５１２×３中間層３２３等）の動作についても、畳み込み層３２４の数およびチャネルの数を除いて、６４×２中間層３２３の動作と同じである。また、特徴抽出部３２１における中間層３２３の動作も、アップサンプル部３２２における中間層３２３の動作も上記と同様である。

【0042】

図８（ａ）は、第１のプーリング部３２６の処理を説明するための図であり、図８（ｂ）は、第２のプーリング部３２７の処理を説明するための図であり、図８（ｃ）は、アンプーリング部３２８の処理を説明するための図である。

【0043】

特徴抽出部３２１において、中間層３２３から出力されたデータは、第１のプーリング部３２６においてチャネル毎にプーリング処理が施された後、次の中間層３２３に入力される。第１のプーリング部３２６ではたとえば、非オーバーラップのプーリング処理が行われる。図８（ａ）では、各チャネルに含まれる要素群に対し、２×２の４つの要素３０を１つの要素３０に対応づける処理を示している。第１のプーリング部３２６ではこのような対応づけが全ての要素３０に対し行われる。ここで、２×２の４つの要素３０は互いに重ならないよう選択される。本例では、各チャネルの要素数が４分の１に縮小される。なお、第１のプーリング部３２６において要素数が縮小される限り、対応づける前後の要素３０の数は特に限定されない。

【0044】

特徴抽出部３２１から出力されたデータは、第２のプーリング部３２７を介してアップサンプル部３２２に入力される。第２のプーリング部３２７では、特徴抽出部３２１からの出力データに対し、オーバーラッププーリングが施される。図８（ｂ）では、一部の要素３０をオーバーラップさせながら、２×２の４つの要素３０を１つの要素３０に対応づける処理を示している。すなわち、繰り返される対応づけにおいて、ある対応づけにおける２×２の４つの要素３０のうち一部が、次の対応づけにおける２×２の４つの要素３０にも含まれる。本図のような第２のプーリング部３２７では要素数は縮小されない。なお、第２のプーリング部３２７において対応づける前後の要素３０の数は特に限定されない。

【0045】

第１のプーリング部３２６および第２のプーリング部３２７で行われる各処理の方法は特に限定されないが、たとえば、４つの要素３０の最大値を１つの要素３０とする対応づけ（max pooling）や４つの要素３０の平均値を１つの要素３０とする対応づけ（average pooling）が挙げられる。

【0046】

第２のプーリング部３２７から出力されたデータは、アップサンプル部３２２における中間層３２３に入力される。そして、アップサンプル部３２２の中間層３２３からの出力データはアンプーリング部３２８においてチャネル毎にアンプーリング処理が施された後、次の中間層３２３に入力される。図８（ｃ）では、１つの要素３０を複数の要素３０に拡大する処理を示している。拡大の方法は特に限定されないが、１つの要素３０を２×２の４つの要素３０へ複製する方法が例として挙げられる。

【0047】

アップサンプル部３２２の最後の中間層３２３の出力データは写像データとして非線形写像部３２０から出力され、出力部３３０に入力される。出力ステップＳ１３０において出力部３３０は、非線形写像部３２０から取得したデータに対し、たとえば正規化や解像度変換等を行うことで視覚顕著性マップを生成し、出力する。視覚顕著性マップはたとえば、図３（ｂ）に例示したような視覚顕著性を輝度値で可視化した画像（画像データ）である。また、視覚顕著性マップはたとえば、ヒートマップのように視覚顕著性に応じて色分けされた画像であっても良いし、視覚顕著性が予め定められた基準より高い視覚顕著領域を、その他の位置とは識別可能にマーキングした画像であっても良い。さらに、視覚顕著性推定情報は画像等として示されたマップ情報に限定されず、視覚顕著領域を示す情報を列挙したテーブル等であっても良い。

【0048】

視認負荷量推定手段４は、視覚顕著性抽出手段３が出力した視覚顕著性マップに基づいて視認負荷量推定を推定する。視認負荷量推定手段４で推定された結果である視認負荷量は、例えばスカラ量またはベクトル量であってもよい。あるいは単一データまたは複数の時系列データであってもよい。視認負荷量推定手段４は、図９に示したように、注視点推定手段４１と、注視点移動量算出手段４２と、基底成分分解手段４３と、基底成分選択手段４４と、パワー算出手段４５と、パワー合成手段４６と、を備えている。

【0049】

注視点推定手段４１は、視覚顕著性抽出手段３が出力した時系列の視覚顕著性マップから注視点情報を推定する。注視点情報の定義については特に限定しないが、例えば顕著性の値が最大値となる位置（座標）などとすることができる。即ち、注視点推定手段４１は、推定注視点を、視覚顕著性マップ（視覚顕著性分布情報）において視覚顕著性が最大値となる画像上の位置と推定している。

【0050】

注視点移動量算出手段４２は、注視点推定手段４１で推定された時系列の注視点情報から時系列の注視点移動量を算出する。注視点移動量算出手段４２により算出された注視点移動量もまた時系列データとなる。算出方法については特に限定しないが、例えば時系列で前後の関係にある注視点座標間のユークリッド距離などとすることができる。即ち、注視点移動量算出手段４２は、生成された視覚顕著性マップ（視覚顕著性分布情報）に基づいて注視点（推定注視点）の移動量を算出している。

【0051】

基底成分分解手段４３は、注視点移動量算出手段４２で算出された注視点移動量の時系列変化を１個以上の基底成分群に分解する。基底成分分解手段４３により分解された各基底成分もまた移動量に対応した時系列データとなる。分解方法については特に限定しないが、例えば経験モード分解（Empirical Mode Decomposition；ＥＭＤ）が望ましく、この場合の基底成分は固有モード関数（Intrinsic Mode Function；ＩＭＦ）となる。他にフーリエ変換ファミリ（基底成分は正弦波）などを用いても良い。

【0052】

基底成分選択手段４４は、基底成分分解手段４３で分解された基底成分群から１個以上の基底成分を選択する。なお、選択方法は限定されず種々の方法を用いることができる。

【0053】

パワー算出手段４５は、基底成分選択手段４４で選択された基底成分の各々についてパワーを算出する。ここでパワーもまた基底成分に対応した時系列データとなる。算出方法については特に限定しないが、基底成分分解手段として経験モード分解を用いた場合は、基底成分（固有モード関数）に対してＨｉｌｂｅｒｔ変換を用いて振幅成分と位相成分を算出し、振幅成分をパワーとするのが望ましい。

【0054】

パワー合成手段４６は、パワー算出手段４５により算出された複数のパワー成分を合成して視認負荷量を算出する。ここで視認負荷量もパワーに対応した時系列データとなる。合成手段については特に限定しないが、例えば複数のパワー成分の単純加算としてもよい。即ち、基底成分分解手段４３～パワー合成手段４６までの手段によって、算出された注視点（推定注視点）の移動量の時間的推移に基づいて視認負荷量を推定している。

【0055】

図１０に注視点移動量算出手段４２が出力した注視点移動量と、その注視点移動量を基底成分分解手段４３により分解した基底成分群と、基底成分群からパワー算出手段４５により算出されたパワーをパワー合成手段４６で合成して出力された視認負荷量と、の波形の例を示す。図１０の最上段が注視点移動量である。図１０の２段目から１６段目までが基底成分群である。そして図１０の１７段目（最下段）が視認負荷量である。

【0056】

図１０においては、最下段に示した視認負荷量の振幅が大きくなる部分が視認負荷量が大きい推定される。

【0057】

情報提示手段５は、視認負荷量推定手段４が出力した視認負荷量を提示する。情報提示手段としては、液晶ディスプレイ等の表示装置やスピーカ等の音声出力手段等が挙げられる。

【0058】

次に、上述した構成の視認負荷量推定装置１における動作（視認負荷量推定方法）について、図１１のフローチャートを参照して説明する。また、このフローチャートを視認負荷量推定装置１として機能するコンピュータで実行されるプログラムとして構成することで視認負荷量推定プログラムとすることができる。また、この視認負荷量推定プログラムは、視認負荷量推定装置１が有するメモリ等に記憶するに限らず、メモリカードや光ディスク等の記憶媒体に格納してもよい。

【0059】

まず、入力手段２が、入力された画像を画像データとして視覚顕著性抽出手段３に出力する（ステップＳ２１０）。本ステップでは、入力手段２に入力された画像データを画像フレーム等の時系列に分解して視覚顕著性抽出手段３へ入力している。また、本ステップでノイズ除去や幾何学変換などの画像処理を施してもよい。

【0060】

次に、視覚顕著性抽出手段３が、視覚顕著性マップを抽出する（ステップＳ２２０）。視覚顕著性マップは、視覚顕著性抽出手段３において、上述した方法により図３（ｂ）に示したような視覚顕著性マップを時系列に出力する。

【0061】

次に、視覚顕著性マップから視認負荷量を推定する（ステップＳ２３０）。視認負荷量の推定は、視認負荷量推定手段４において、視覚顕著性抽出手段３が出力した視覚顕著性マップに基づいて、上記した方法により視認負荷量を推定する。

【0062】

次に、視認負荷量を提示する（ステップＳ２４０）。本実施例では、図１０に示した視認負荷量の推移のグラフを示してもよいし、当該グラフとともに対応する画像（フレーム）や走行位置等を表示するようにしてもよい。

【0063】

そして、全フレームについて読み出しが完了した場合は（ステップＳ２５０：Ｙｅｓ）、フローチャートを終了し、全フレームについて読み出しが完了していない場合は（ステップＳ２５０：Ｎｏ）、ステップＳ２２０に戻って、次のフレームについて処理を行う。

【0064】

本実施例によれば、視認負荷量推定装置１は、視覚顕著性抽出手段３で車両から外部を連続的に撮像した画像に基づいて視覚顕著性の高低を推測して得られた視覚顕著性マップを画像ごとに生成し、視認負荷量推定手段４で生成された視覚顕著性マップに基づいて注視点の移動量を算出する。そして、視認負荷量推定手段４では算出された推定注視点の移動量の時間的推移に基づいて視認負荷量を推定する。このようにすることにより、注視点の移動量の時間的推移に基づくことから視線の推移が大きくなるような位置を推定することができる。したがって、視覚的に負荷を感じる部分を自動的に抽出することができる。

【0065】

また、視認負荷量推定手段４は、推定注視点の移動量を基底成分に分解し、分解された基底成分に基づいて視認負荷量を算出している。このようにすることにより、経験モード分解といった、注視点の移動量の解析に適したアルゴリズムを利用することができるようになる。

【0066】

また、視認負荷量推定手段４は、注視点を視覚顕著性マップにおいて視覚顕著性が最大値となる画像上の位置と推定して移動量の算出をしている。このようにすることにより、最も視認すると推定される位置に基づいて移動量を推定することができる。

【0067】

また、視覚顕著性抽出手段３は、画像を写像処理可能な中間データに変換する入力部３１０と、中間データを写像データに変換する非線形写像部３２０と、写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力部３３０と、を備え、非線形写像部３２０は、中間データに対し特徴の抽出を行う特徴抽出部３２１と、特徴抽出部３２１で生成されたデータのアップサンプルを行うアップサンプル部３２２と、を備えている。このようにすることにより、小さな計算コストで、視覚顕著性を推定することができる。

【0068】

また、視認負荷量推定手段４における推定結果を提示する情報提示手段５を備えている。このようにすることにより、例えば視認負荷量の大きい地点が接近することを通知することが可能となる。具体的には、運転中の運転者に対して、視覚的に負荷量が増加しそうな場所が近づいていることを、車載カメラ画像などから自動的に抽出して事前に知らせることができるようになる。したがって、ドライバディストラクションによる運転ミスや事故の低減が期待できる。

【0069】

また、例えば、地図上の任意の経路に対応する実際の風景画像から、視覚的な負荷量が増加しそうな場所を特定することで、交通環境（道路構造や標識配置など）に関わる危険性解析の効率化が期待できる。

【0070】

また、本発明は上記実施例に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の視認負荷量推定装置を具備する限り、勿論、本発明の範疇に含まれるものである。

【符号の説明】

【0071】

１ 視認負荷量推定装置
２ 入力手段
３ 視覚顕著性抽出手段（生成部）
４ 視認負荷量推定手段（算出部、推定部）
５ 情報提示手段（提示部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】