特許 7519190 判定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-10

(45)【発行日】2024-07-19

(54)【発明の名称】判定装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240711BHJP

   G08G 1/04 20060101ALI20240711BHJP

【ＦＩ】

G06T7/00 130

G08G1/04 D

【請求項の数】 9

(21)【出願番号】P 2020041003

(22)【出願日】2020-03-10

(65)【公開番号】P2021144312

(43)【公開日】2021-09-24

【審査請求日】2023-02-17

(73)【特許権者】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】100134832

【弁理士】

【氏名又は名称】瀧野 文雄

(74)【代理人】

【識別番号】100165308

【弁理士】

【氏名又は名称】津田 俊明

(74)【代理人】

【識別番号】100115048

【弁理士】

【氏名又は名称】福田 康弘

(72)【発明者】

【氏名】加川 良平

(72)【発明者】

【氏名】井上 俊明

(72)【発明者】

【氏名】伊藤 友二

【審査官】佐藤 実

(56)【参考文献】

【文献】堀田裕弘 他３名，景観画像からの感性情報の抽出と推定，画像電子学会誌，画像電子学会，2004年09月25日，第３３巻 第５号，pp.712-720

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０８Ｇ １／０４

(57)【特許請求の範囲】

【請求項1】

移動体から外部を撮像した画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性分布情報を取得する取得部と、
前記視覚顕著性分布情報に基づいて算出された統計量を用いて当該画像が単調傾向か判定する判定部と、
を備えることを特徴とする判定装置。

【請求項2】

前記視覚顕著性分布情報として得られた画像内の各画素の輝度の標準偏差を算出する標準偏差算出部を備え、
前記判定部は、算出された前記標準偏差に基づいて当該画像が単調傾向か判定する、
ことを特徴とする請求項１に記載の判定装置。

【請求項3】

前記視覚顕著性分布情報として得られた画像内の各画素の輝度の平均値を算出する平均値算出部を備え、
前記判定部は、算出された前記平均値に基づいて当該画像が単調傾向か判定する、
ことを特徴とする請求項１に記載の判定装置。

【請求項4】

前記取得部は、前記視覚顕著性分布情報を時系列に取得し、
前記判定部は、時系列に取得した前記視覚顕著性分布情報から前記統計量を算出し、時系列に得られた前記統計量に基づいて単調傾向か判定する第一判定部と、
前記統計量の自己相関に基づいて単調傾向か判定する第二判定部と、
を備えることを特徴とする請求項１に記載の判定装置。

【請求項5】

前記視覚顕著性分布情報として時系列に得られた画像に基づいてフレーム間の視線移動量を算出する視線移動量算出部を備え、
前記判定部は、算出された前記視線移動量に基づいて当該画像が単調傾向か判定する、
ことを特徴とする請求項１に記載の判定装置。

【請求項6】

前記取得部は、
前記画像を写像処理可能な中間データに変換する入力部と、
前記中間データを写像データに変換する非線形写像部と、
前記写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力部と、を備え、
前記非線形写像部は、前記中間データに対し特徴の抽出を行う特徴抽出部と、前記特徴抽出部で生成されたデータのアップサンプルを行うアップサンプル部と、を備える、
ことを特徴とする請求項１から５のうちいずれか一項に記載の判定装置。

【請求項7】

移動体から外部を撮像した画像に基づいて当該画像が単調傾向か判定する判定装置で実行される判定方法であって、
前記画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性分布情報を取得する取得工程と、
前記視覚顕著性分布情報に基づいて算出された統計量を用いて当該画像が単調傾向か判定する判定工程と、
を含むことを特徴とする判定方法。

【請求項8】

請求項７に記載の判定方法をコンピュータにより実行させることを特徴とする判定プログラム。

【請求項9】

請求項８に記載の判定プログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体から外部を撮像した１または複数の画像に基づいて当該画像が単調傾向か判定する判定装置に関する。

【背景技術】

【0002】

一般に高速道路などの単調な風景や景色が続く道路において長時間運転していると、眠気を催す等の催眠状態に陥る現象は高速道路催眠現象として知られている。また、景色の変化が無い、あるいは景色の変化が乏しい道路や等間隔に規則正しく設置された街灯などを有する道路においては眠気を催すことがある。

【0003】

このような単調な道路を検出する発明として、例えば特許文献１には、外観画像を取得する画像取得手段と、画像取得手段により取得した外観画像に基づいて、外観画像に対応する風景の単調度を演算する単調度演算手段とを備える風景単調度演算装置が記載されている。

【0004】

また、特許文献２には、運転者の覚醒状態を高い精度で判断する覚醒状態判断システムが記載されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特許第４５５０１１６号公報

【文献】特開２０１０－１２８６４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に記載された発明の場合、特徴判断処理を行って風景分類をし、風景の変化数カウントに基づいて単調度を求めている。そのため、「街並み」のように風景が複雑であっても、時間変化又は位置変化が小さければ単調度が低く判定されてしまう。また、特許文献２に記載された発明の場合、道路情報、車両情報、車間距離情報を用いて単調区間と判定された区間における、頭部の動きから覚醒度を判定している。単調区間検出は、道路情報を基に判定を行っているため、視覚情報を考慮していない。そのため、看板や標識が乱立していても直線単路であれば単調であると判定する場合がある。

【0007】

本発明が解決しようとする課題としては、撮像した画像から単調の傾向を検出することが一例として挙げられる。

【課題を解決するための手段】

【0008】

上記課題を解決するために、請求項１に記載の発明は、移動体から外部を撮像した画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性分布情報を取得する取得部と、前記視覚顕著性分布情報に基づいて算出された統計量を用いて当該画像が単調傾向か判定する判定部と、を備えることを特徴としている。

【0009】

請求項６に記載の発明は、移動体から外部を撮像した画像に基づいて当該画像が単調傾向か判定する判定装置で実行される判定方法であって、前記画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性分布情報を取得する取得工程と、前記視覚顕著性分布情報に基づいて算出された統計量を用いて当該画像が単調傾向か判定する判定工程と、を含むことを特徴としている。

【0010】

請求項７に記載の発明は、請求項６に記載の判定方法をコンピュータにより実行させることを特徴としている。

【0011】

請求項８に記載の発明は、請求項７に記載の判定プログラムを格納したことを特徴としている。

【図面の簡単な説明】

【0012】

【図1】本発明の第１実施例にかかる判定装置の機能構成図である。

【図2】図１に示された風景画像処理部の構成を例示するブロック図である。

【図3】（ａ）は判定装置へ入力する画像を例示する図であり、（ｂ）は（ａ）に対し推定される、視覚顕著性マップを例示する図である。

【図4】図１に示された風景画像処理部の処理方法を例示するフローチャートである。

【図5】非線形写像部の構成を詳しく例示する図である。

【図6】中間層の構成を例示する図である。

【図7】（ａ）および（ｂ）はそれぞれ、フィルタで行われる畳み込み処理の例を示す図である。

【図8】（ａ）は、第１のプーリング部の処理を説明するための図であり、（ｂ）は、第２のプーリング部の処理を説明するための図であり、（ｃ）は、アンプーリング部の処理を説明するための図である。

【図9】図１に示された単調判定部の動作のフローチャートである。

【図10】本発明の第２実施例にかかる判定装置の動作のフローチャートである。

【図11】自己相関の演算結果の例である。

【発明を実施するための形態】

【0013】

以下、本発明の一実施形態にかかる判定装置を説明する。本発明の一実施形態にかかる判定装置は、取得部が、移動体から外部を撮像した画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性分布情報を取得し、判定部が、視覚顕著性分布情報に基づいて算出された統計量を用いて当該画像が単調傾向か判定する。このようにすることにより、撮像した画像から、人間の注視し易い位置に基づき単調傾向か判定可能となる。人間（運転者）の注視し易い位置に基づいて判定されるため、運転者が単調と感じるのと近い傾向で判定することができ、より精度良く判定することができる。

【0014】

また、視覚顕著性分布情報として得られた画像内の各画素の輝度の標準偏差を算出する標準偏差算出部を備え、判定部は、算出された標準偏差に基づいて当該画像が単調傾向か判定してもよい。このようにすることにより、１枚の画像において、注視し易い位置が集中している場合に単調傾向と判定することができる。

【0015】

また、視覚顕著性分布情報として得られた画像内の各画素の輝度の平均値を算出する平均値算出部を備え、判定部は、算出された平均値に基づいて当該画像が単調傾向か判定してもよい。このようにすることにより、１枚の画像において、注視し易い位置が集中している場合に単調傾向と判定することができる。また、平均値により判定するので、演算処理を簡素化することができる。

【0016】

また、取得部は、視覚顕著性分布情報を時系列に取得し、判定部は、時系列に取得した視覚顕著性分布情報から統計量を算出し、時系列に得られた統計量に基づいて単調傾向か判定する第一判定部と、自己相関に基づいて単調傾向か判定する第二判定部と、を備えてもよい。このようにすることにより、統計量のみでは判定が困難な走行中に現れる街灯等の周期的に現れる物体による単調傾向を自己相関により判定することができる。

【0017】

また、視覚顕著性分布情報として時系列に得られた画像に基づいてフレーム間の視線移動量を算出する視線移動量算出部を備え、判定部は、算出された視線移動量に基づいて当該画像が単調傾向か判定してもよい。このようにすることにより、例えば視線移動量が小さい場合は単調傾向などと判定することができる。

【0018】

また、取得部は、画像を写像処理可能な中間データに変換する入力部と、中間データを写像データに変換する非線形写像部と、写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力部と、を備え、非線形写像部は、中間データに対し特徴の抽出を行う特徴抽出部と、特徴抽出部で生成されたデータのアップサンプルを行うアップサンプル部と、を備えてもよい。このようにすることにより、小さな計算コストで、視覚顕著性を推定することができる。また、このようにして推定した視覚顕著性は、文脈的な注意状態を反映したものとなる。

【0019】

また、本発明の一実施形態にかかる判定方法は、取得工程で、移動体から外部を撮像した画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性分布情報を取得し、判定工程で、視覚顕著性分布情報に基づいて算出された統計量を用いて当該画像が単調傾向か判定する。このようにすることにより、撮像した画像から、人間の注視し易い位置に基づき単調傾向か判定可能となる。人間（運転者）の注視し易い位置に基づいて判定されるため、運転者が単調と感じるのと近い傾向で判定することができ、より判定精度を良くすることができる。

【0020】

また、上述した判定方法を、コンピュータにより実行させている。このようにすることにより、コンピュータを用いて撮像した画像から、人間の注視し易い位置に基づき単調傾向か判定可能となる。

【0021】

また、上述した判定プログラムをコンピュータ読み取り可能な記憶媒体に格納してもよい。このようにすることにより、当該プログラムを機器に組み込む以外に単体でも流通させることができ、バージョンアップ等も容易に行える。

【実施例1】

【0022】

本発明の第１の実施例にかかる判定装置を図１～図９を参照して説明する。本実施例にかかる判定装置は、例えば自動車等の移動体に設置されるに限らず、事業所等に設置されるサーバ装置等で構成してもよい。即ち、リアルタイムに解析する必要はなく、走行後等に解析を行ってもよい。

【0023】

図１に示したように、判定装置１は、風景画像取得部２と、風景画像処理部３と、単調判定部４と、を備えている。

【0024】

風景画像取得部２は、例えばカメラなどで撮像された画像（例えば動画像）が入力され、その画像を画像データとして出力する。なお、入力された動画像は、例えばフレーム毎等の時系列に分解された画像データとして出力する。風景画像取得部２に入力される画像として静止画を入力してもよいが、時系列に沿った複数の静止画からなる画像群として入力するのが好ましい。

【0025】

風景画像取得部２に入力される画像は、例えば車両の進行方向が撮像された画像が挙げられる。つまり、移動体から外部を連続的に撮像した画像とする。この画像はいわゆるパノラマ画像や複数カメラを用いて取得した画像等の水平方向に１８０°や３６０°等進行方向以外が含まれる画像であってもよい。また、風景画像取得部２には入力されるのは、カメラで撮像された画像に限らず、ハードディスクドライブやメモリカード等の記録媒体から読み出した画像であってもよい。

【0026】

風景画像処理部３は、風景画像取得部２から画像データが入力され、後述する視覚顕著性推定情報として視覚顕著性マップを出力する。即ち、風景画像処理部３は、移動体から外部を撮像した画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性マップ（視覚顕著性分布情報）を取得する取得部として機能する。

【0027】

図２は、風景画像処理部３の構成を例示するブロック図である。本実施例に係る風景画像処理部３は、入力部３１０、非線形写像部３２０、出力部３３０および記憶部３９０を備える。入力部３１０は、画像を写像処理可能な中間データに変換する。非線形写像部３２０は、中間データを写像データに変換する。出力部３３０は、写像データに基づき顕著性分布を示す顕著性推定情報を生成する。そして、非線形写像部３２０は、中間データに対し特徴の抽出を行う特徴抽出部３２１と、特徴抽出部３２１で生成されたデータのアップサンプルを行うアップサンプル部３２２とを備える。記憶部３９０は、風景画像取得部２から入力された画像データや後述するフィルタの係数等が保持されている。以下に詳しく説明する。

【0028】

図３（ａ）は、風景画像処理部３へ入力する画像を例示する図であり、図３（ｂ）は、図３（ａ）に対し推定される、視覚顕著性分布を示す画像を例示する図である。本実施例に係る風景画像処理部３は、画像における各部分の視覚顕著性を推定する装置である。視覚顕著性とは例えば、目立ちやすさや視線の集まりやすさを意味する。具体的には視覚顕著性は、確率等で示される。ここで、確率の大小は、たとえばその画像を見た人の視線がその位置に向く確率の大小に対応する。

【0029】

図３（ａ）と図３（ｂ）とは、互いに位置が対応している。そして、図３（ａ）において、視覚顕著性が高い位置ほど、図３（ｂ）において輝度が高く表示されている。図３（ｂ）のような視覚顕著性分布を示す画像は、出力部３３０が出力する視覚顕著性マップの一例である。本図の例において、視覚顕著性は、２５６階調の輝度値で可視化されている。出力部３３０が出力する視覚顕著性マップの例については詳しく後述する。

【0030】

図４は、本実施例に係る風景画像処理部３の動作を例示するフローチャートである。図４に示したフローチャートは、コンピュータによって実行される判定方法の一部であって、入力ステップＳ１１０、非線形写像ステップＳ１２０、および出力ステップＳ１３０を含む。入力ステップＳ１１０では、画像が写像処理可能な中間データに変換される。非線形写像ステップＳ１２０では、中間データが写像データに変換される。出力ステップＳ１３０では、写像データに基づき顕著性分布を示す視覚顕著性推定情報（視覚顕著性分布情報）が生成される。ここで、非線形写像ステップＳ１２０は、中間データに対し特徴の抽出を行う特徴抽出ステップＳ１２１と、特徴抽出ステップＳ１２１で生成されたデータのアップサンプルを行うアップサンプルステップＳ１２２とを含む。

【0031】

図２に戻り、風景画像処理部３の各構成要素について説明する。入力ステップＳ１１０において入力部３１０は、画像を取得し、中間データに変換する。入力部３１０は、画像データを風景画像取得部２から取得する。そして入力部３１０は、取得した画像を中間データに変換する。中間データは非線形写像部３２０が受け付け可能なデータであれば特に限定されないが、たとえば高次元テンソルである。また、中間データはたとえば、取得した画像に対し輝度を正規化したデータ、または、取得した画像の各画素を、輝度の傾きに変換したデータである。入力ステップＳ１１０において入力部３１０は、さらに画像のノイズ除去や解像度変換等を行っても良い。

【0032】

非線形写像ステップＳ１２０において、非線形写像部３２０は入力部３１０から中間データを取得する。そして、非線形写像部３２０において中間データが写像データに変換される。ここで、写像データは例えば高次元テンソルである。非線形写像部３２０で中間データに施される写像処理は、たとえばパラメータ等により制御可能な写像処理であり、関数、汎関数、またはニューラルネットワークによる処理であることが好ましい。

【0033】

図５は、非線形写像部３２０の構成を詳しく例示する図であり、図６は、中間層３２３の構成を例示する図である。上記した通り、非線形写像部３２０は、特徴抽出部３２１およびアップサンプル部３２２を備える。特徴抽出部３２１において特徴抽出ステップＳ１２１が行われ、アップサンプル部３２２においてアップサンプルステップＳ１２２が行われる。また、本図の例において、特徴抽出部３２１およびアップサンプル部３２２の少なくとも一方は、複数の中間層３２３を含むニューラルネットワークを含んで構成される。ニューラルネットワークにおいては、複数の中間層３２３が結合されている。

【0034】

特にニューラルネットワークは畳み込みニューラルネットワークであることが好ましい。具体的には、複数の中間層３２３のそれぞれは、一または二以上の畳み込み層３２４を含む。そして、畳み込み層３２４では、入力されたデータに対し複数のフィルタ３２５による畳み込みが行われ、複数のフィルタ３２５の出力に対し活性化処理が施される。

【0035】

図５の例において、特徴抽出部３２１は、複数の中間層３２３を含むニューラルネットワークを含んで構成され、複数の中間層３２３の間に第１のプーリング部３２６を備える。また、アップサンプル部３２２は、複数の中間層３２３を含むニューラルネットワークを含んで構成され、複数の中間層３２３の間にアンプーリング部３２８を備える。さらに、特徴抽出部３２１とアップサンプル部３２２とは、オーバーラッププーリングを行う第２のプーリング部３２７を介して互いに接続されている。

【0036】

なお、本図の例において各中間層３２３は、二以上の畳み込み層３２４からなる。ただし、少なくとも一部の中間層３２３は、一の畳み込み層３２４のみからなってもよい。互いに隣り合う中間層３２３は、第１のプーリング部３２６、第２のプーリング部３２７およびアンプーリング部３２８のいずれかで区切られる。ここで、中間層３２３に二以上の畳み込み層３２４が含まれる場合、それらの畳み込み層３２４におけるフィルタ３２５の数は互いに等しいことが好ましい。

【0037】

本図では、「Ａ×Ｂ」と記された中間層３２３は、Ｂ個の畳み込み層３２４からなり、各畳み込み層３２４は、各チャネルに対しＡ個の畳み込みフィルタを含むことを意味している。このような中間層３２３を以下では「Ａ×Ｂ中間層」とも呼ぶ。たとえば、６４×２中間層３２３は、２個の畳み込み層３２４からなり、各畳み込み層３２４は、各チャネルに対し６４個の畳み込みフィルタを含むことを意味している。

【0038】

本図の例において、特徴抽出部３２１は、６４×２中間層３２３、１２８×２中間層３２３、２５６×３中間層３２３、および、５１２×３中間層３２３をこの順に含む。また、アップサンプル部３２２は、５１２×３中間層３２３、２５６×３中間層３２３、１２８×２中間層３２３、および６４×２中間層３２３をこの順に含む。また、第２のプーリング部３２７は、２つの５１２×３中間層３２３を互いに接続している。なお、非線形写像部３２０を構成する中間層３２３の数は特に限定されず、たとえば画像データの画素数に応じて定めることができる。

【0039】

なお、本図は非線形写像部３２０の構成の一例であり、非線形写像部３２０は他の構成を有していても良い。たとえば、６４×２中間層３２３の代わりに６４×１中間層３２３が含まれても良い。中間層３２３に含まれる畳み込み層３２４の数が削減されることで、計算コストがより低減される可能性がある。また、たとえば、６４×２中間層３２３の代わりに３２×２中間層３２３が含まれても良い。中間層３２３のチャネル数が削減されることで、計算コストがより低減される可能性がある。さらに、中間層３２３における畳み込み層３２４の数とチャネル数との両方を削減しても良い。

【0040】

ここで、特徴抽出部３２１に含まれる複数の中間層３２３においては、第１のプーリング部３２６を経る毎にフィルタ３２５の数が増加することが好ましい。具体的には、第１の中間層３２３ａと第２の中間層３２３ｂとが、第１のプーリング部３２６を介して互いに連続しており、第１の中間層３２３ａの後段に第２の中間層３２３ｂが位置する。そして、第１の中間層３２３ａは、各チャネルに対するフィルタ３２５の数がＮ１である畳み込み層３２４で構成されており、第２の中間層３２３ｂは、各チャネルに対するフィルタ
３２５の数がＮ２である畳み込み層３２４で構成されている。このとき、Ｎ２＞Ｎ１が成り立つことが好ましい。また、Ｎ２＝Ｎ１×２が成り立つことがより好ましい。

【0041】

また、アップサンプル部３２２に含まれる複数の中間層３２３においては、アンプーリング部３２８を経る毎にフィルタ３２５の数が減少することが好ましい。具体的には、第３の中間層３２３ｃと第４の中間層３２３ｄとが、アンプーリング部３２８を介して互いに連続しており、第３の中間層３２３ｃの後段に第４の中間層３２３ｄが位置する。そして、第３の中間層３２３ｃは、各チャネルに対するフィルタ３２５の数がＮ３である畳み込み層３２４で構成されており、第４の中間層３２３ｄは、各チャネルに対するフィルタ３２５の数がＮ４である畳み込み層３２４で構成されている。このとき、Ｎ４＜Ｎ３が成り立つことが好ましい。また、Ｎ３＝Ｎ４×２が成り立つことがより好ましい。

【0042】

特徴抽出部３２１では、入力部３１０から取得した中間データから勾配や形状など、複数の抽象度を持つ画像特徴を中間層３２３のチャネルとして抽出する。図６は、６４×２
中間層３２３の構成を例示している。本図を参照して、中間層３２３における処理を説明する。本図の例において、中間層３２３は第１の畳み込み層３２４ａと第２の畳み込み層３２４ｂとで構成されており、各畳み込み層３２４は６４個のフィルタ３２５を備える。第１の畳み込み層３２４ａでは、中間層３２３に入力されたデータの各チャネルに対して、フィルタ３２５を用いた畳み込み処理が施される。たとえば入力部３１０へ入力された画像がＲＧＢ画像である場合、３つのチャネルｈ^０ _ｉ（ｉ＝１．．３）のそれぞれに対して処理が施される。また、本図の例において、フィルタ３２５は６４種の３×３フィルタであり、すなわち合計６４×３種のフィルタである。畳み込み処理の結果、各チャネルｉに対して、６４個の結果ｈ^０ _ｉ，ｊ（ｉ＝１．．３，ｊ＝１．．６４）が得られる。

【0043】

次に、複数のフィルタ３２５の出力に対し、活性化部３２９において活性化処理が行われる。具体的には、全チャネルの対応する結果ｊについて、対応する要素毎の総和に活性化処理が施される。この活性化処理により、６４チャネルの結果ｈ^１ _ｉ（ｉ＝１．．６４
）、すなわち、第１の畳み込み層３２４ａの出力が、画像特徴として得られる。活性化処理は特に限定されないが、双曲関数、シグモイド関数、および正規化線形関数の少なくともいずれかを用いる処理が好ましい。

【0044】

さらに、第１の畳み込み層３２４ａの出力データを第２の畳み込み層３２４ｂの入力データとし、第２の畳み込み層３２４ｂにて第１の畳み込み層３２４ａと同様の処理を行って、６４チャネルの結果ｈ^２ _ｉ（ｉ＝１．．６４）、すなわち第２の畳み込み層３２４ｂの出力が、画像特徴として得られる。第２の畳み込み層３２４ｂの出力がこの６４×２中間層３２３の出力データとなる。

【0045】

ここで、フィルタ３２５の構造は特に限定されないが、３×３の二次元フィルタであることが好ましい。また、各フィルタ３２５の係数は独立に設定可能である。本実施例において、各フィルタ３２５の係数は記憶部３９０に保持されており、非線形写像部３２０がそれを読み出して処理に用いることができる。ここで、複数のフィルタ３２５の係数は機械学習を用いて生成、修正された補正情報に基づいて定められてもよい。たとえば、補正情報は、複数のフィルタ３２５の係数を、複数の補正パラメータとして含む。非線形写像部３２０は、この補正情報をさらに用いて中間データを写像データに変換することができる。記憶部３９０は風景画像処理部３に備えられていてもよいし、風景画像処理部３の外部に設けられていてもよい。また、非線形写像部３２０は補正情報を、通信ネットワークを介して外部から取得しても良い。

【0046】

図７（ａ）および図７（ｂ）はそれぞれ、フィルタ３２５で行われる畳み込み処理の例を示す図である。図７（ａ）および図７（ｂ）では、いずれも３×３畳み込みの例が示されている。図７（ａ）の例は、最近接要素を用いた畳み込み処理である。図７（ｂ）の例は、距離が二以上の近接要素を用いた畳み込み処理である。なお、距離が三以上の近接要素を用いた畳み込み処理も可能である。フィルタ３２５は、距離が二以上の近接要素を用いた畳み込み処理を行うことが好ましい。より広範囲の特徴を抽出することができ、視覚顕著性の推定精度をさらに高めることができるからである。

【0047】

以上、６４×２中間層３２３の動作について説明した。他の中間層３２３（１２８×２中間層３２３、２５６×３中間層３２３、および、５１２×３中間層３２３等）の動作についても、畳み込み層３２４の数およびチャネルの数を除いて、６４×２中間層３２３の動作と同じである。また、特徴抽出部３２１における中間層３２３の動作も、アップサンプル部３２２における中間層３２３の動作も上記と同様である。

【0048】

図８（ａ）は、第１のプーリング部３２６の処理を説明するための図であり、図８（ｂ）は、第２のプーリング部３２７の処理を説明するための図であり、図８（ｃ）は、アンプーリング部３２８の処理を説明するための図である。

【0049】

特徴抽出部３２１において、中間層３２３から出力されたデータは、第１のプーリング部３２６においてチャネル毎にプーリング処理が施された後、次の中間層３２３に入力される。第１のプーリング部３２６ではたとえば、非オーバーラップのプーリング処理が行われる。図８（ａ）では、各チャネルに含まれる要素群に対し、２×２の４つの要素３０を１つの要素３０に対応づける処理を示している。第１のプーリング部３２６ではこのような対応づけが全ての要素３０に対し行われる。ここで、２×２の４つの要素３０は互いに重ならないよう選択される。本例では、各チャネルの要素数が４分の１に縮小される。なお、第１のプーリング部３２６において要素数が縮小される限り、対応づける前後の要素３０の数は特に限定されない。

【0050】

特徴抽出部３２１から出力されたデータは、第２のプーリング部３２７を介してアップサンプル部３２２に入力される。第２のプーリング部３２７では、特徴抽出部３２１からの出力データに対し、オーバーラッププーリングが施される。図８（ｂ）では、一部の要素３０をオーバーラップさせながら、２×２の４つの要素３０を１つの要素３０に対応づける処理を示している。すなわち、繰り返される対応づけにおいて、ある対応づけにおける２×２の４つの要素３０のうち一部が、次の対応づけにおける２×２の４つの要素３０にも含まれる。本図のような第２のプーリング部３２７では要素数は縮小されない。なお、第２のプーリング部３２７において対応づける前後の要素３０の数は特に限定されない。

【0051】

第１のプーリング部３２６および第２のプーリング部３２７で行われる各処理の方法は特に限定されないが、たとえば、４つの要素３０の最大値を１つの要素３０とする対応づけ（max pooling）や４つの要素３０の平均値を１つの要素３０とする対応づけ（average pooling）が挙げられる。

【0052】

第２のプーリング部３２７から出力されたデータは、アップサンプル部３２２における中間層３２３に入力される。そして、アップサンプル部３２２の中間層３２３からの出力データはアンプーリング部３２８においてチャネル毎にアンプーリング処理が施された後、次の中間層３２３に入力される。図８（ｃ）では、１つの要素３０を複数の要素３０に拡大する処理を示している。拡大の方法は特に限定されないが、１つの要素３０を２×２の４つの要素３０へ複製する方法が例として挙げられる。

【0053】

アップサンプル部３２２の最後の中間層３２３の出力データは写像データとして非線形写像部３２０から出力され、出力部３３０に入力される。出力ステップＳ１３０において出力部３３０は、非線形写像部３２０から取得したデータに対し、たとえば正規化や解像度変換等を行うことで視覚顕著性マップを生成し、出力する。視覚顕著性マップはたとえば、図３（ｂ）に例示したような視覚顕著性を輝度値で可視化した画像（画像データ）である。また、視覚顕著性マップはたとえば、ヒートマップのように視覚顕著性に応じて色分けされた画像であっても良いし、視覚顕著性が予め定められた基準より高い視覚顕著領域を、その他の位置とは識別可能にマーキングした画像であっても良い。さらに、視覚顕著性推定情報は画像等として示されたマップ情報に限定されず、視覚顕著領域を示す情報を列挙したテーブル等であっても良い。

【0054】

単調判定部４は、風景画像処理部３において取得した視覚顕著性マップに基づいて、風景画像取得部２に入力された画像が単調傾向か判定する。本実施例では、視覚顕著性マップから種々の統計量を算出し、その統計量に基づいて単調傾向か判定する。即ち、単調判定部４は、視覚顕著性マップ（視覚顕著性分布情報）に基づいて算出された統計量を用いて当該画像が単調傾向か判定する判定部として機能する。

【0055】

図９に単調判定部４の動作のフローチャートを示す。まず、視覚顕著性マップを構成する画像（例えば図３（ｂ））における各画素の輝度の標準偏差を演算する（ステップＳ１１）。本ステップでは、まず、視覚顕著性マップを構成する画像における各画像の輝度の平均値を算出する。視覚顕著性マップを構成する画像がＨ画素×Ｖ画素であり、任意の座標（ｋ，ｍ）における輝度値をＶ_{ＶＣ（ｋ，ｍ）}とすると、平均値は以下の（１）式で算出される。

【数1】

【0056】

（１）式により算出された平均値から視覚顕著性マップを構成する画像における各画像の輝度の標準偏差を算出する。標準偏差ＳＤＥＶは以下の（２）式で算出される。

【数2】

【0057】

ステップＳ１１で算出された標準偏差について、出力結果が複数あるか判定する（ステップＳ１２）。このステップでは、風景画像取得部２から入力された画像が動画像であり、フレーム単位で視覚顕著性マップが取得されて、ステップＳ１１では複数フレーム分の標準偏差が算出されたかを判定している。

【0058】

出力結果が複数ある場合は（ステップＳ１２；Ｙｅｓ）、視線移動量を演算する（ステップＳ１３）。視線移動量は、本実施例では、時間的に前後のフレームそれぞれの視覚顕著性マップにおける輝度値が最大（最高）の座標距離により求めている。視線移動量ＶＳＡは、前のフレームにおける最高輝度値の座標を（ｘ１，ｙ１）、後のフレームにおける最高輝度値の座標を（ｘ２，ｙ２）とすると、次の（３）式で算出される。

【数3】

【0059】

そして、ステップＳ１１で算出された標準偏差やＳ１３で算出された視線移動量に基づいて単調傾向かを判定する（ステップＳ１４）。本ステップでは、ステップＳ１２がＮｏの場合は、ステップＳ１１で算出される標準偏差に閾値を設け、その閾値と比較することで閾値と比較することで単調傾向かを判定すればよい。一方、ステップＳ１２がＹｅｓの場合は、ステップＳ１３で算出される視線移動量に閾値を設け、その閾値と比較することで閾値と比較することで単調傾向かを判定すればよい。

【0060】

即ち、単調判定部４は、視覚顕著性マップ（視覚顕著性分布情報）として得られた画像内の各画素の輝度の標準偏差を算出する標準偏差算出部として機能し、視覚顕著性マップ（視覚顕著性分布情報）として時系列に得られた画像に基づいてフレーム間の視線移動量を算出する視線移動量算出部として機能する。

【0061】

なお、単調判定部４の処理結果（判定結果）は、判定装置１の外部に出力される。例えば、この処理結果に基づいて、車載ディスプレイ装置等に視覚的に単調な道路を走行している旨の報知を行ってもよいし、スピーカ等から聴覚的、あるいは、シート等の振動などにより報知を行ってもよい。さらには、単調判定部４の処理結果に基づいて、休息できる場所等へ誘導するようにしてもよい。また、運転におけるヒヤリハットの要因分析として判定結果を用いてもよい。

【0062】

また、上述した説明では、標準偏差により単調傾向か判定していたが、視覚顕著性マップの輝度の平均値、つまり、（１）式の結果に基づいて単調傾向か判定してもよい。輝度の平均値の場合も標準偏差と同様に閾値を設け、その閾値と比較することで単調傾向か判定すればよい。この場合は単調判定部４が平均値算出部として機能する。

【0063】

また、図１に示した構成を例えばコンピュータで実行されるプログラムとすることで、判定方法を実行する判定プログラムとすることができる。また、この判定プログラムは、判定装置１が有するメモリ等に記憶するに限らず、メモリカードや光ディスク等の記憶媒体に格納してもよい。

【0064】

本実施例によれば、判定装置１は、風景画像処理部３が、移動体から外部を撮像した画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性マップを時系列に取得し、単調判定部４が、視覚顕著性マップに基づいて算出された標準偏差や視線移動量等に基づいて当該画像が単調傾向か判定する。このようにすることにより、撮像した画像から、人間の注視し易い位置に基づき単調傾向か判定可能となる。人間（運転者）の注視し易い位置に基づいて判定されるため、運転者が単調と感じるのと近い傾向で判定することができ、より精度良く判定することができる。

【0065】

また、単調判定部４は、視覚顕著性マップとして得られた画像内の各画素の輝度の標準偏差を算出し、そして、算出された標準偏差に基づいて当該画像が単調傾向か判定している。このようにすることにより、１枚の画像において、注視し易い位置が集中している場合に単調傾向と判定することができる。

【0066】

また、単調判定部４は、視覚顕著性マップとして得られた画像内の各画素の輝度の平均値を算出し、そして、算出された平均値に基づいて当該画像が単調傾向か判定してもよい。このようにすることにより、１枚の画像において、注視し易い位置が集中している場合に単調傾向と判定することができる。また、平均値により判定するので、演算処理を簡素化することができる。

【0067】

また、単調判定部４は、視覚顕著性マップとして時系列に得られた画像に基づいてフレーム間の視線移動量を算出し、そして、算出された視線移動量に基づいて単調傾向か判定している。このようにすることにより、動画像について判定する場合に、例えば視線移動量が小さい場合は単調傾向などと判定することができる。

【0068】

また、風景画像処理部３は、画像を写像処理可能な中間データに変換する入力部３１０と、中間データを写像データに変換する非線形写像部３２０と、写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力部３３０と、を備え、非線形写像部３２０は、中間データに対し特徴の抽出を行う特徴抽出部３２１と、特徴抽出部３２１で生成されたデータのアップサンプルを行うアップサンプル部３２２と、を備えている。このようにすることにより、小さな計算コストで、視覚顕著性を推定することができる。また、このようにして推定した視覚顕著性は、文脈的な注意状態を反映したものとなる。

【実施例2】

【0069】

次に、本発明の第２の実施例にかかるリスク情報出力装置を図１０及び図１１を参照して説明する。なお、前述した第１の実施例と同一部分には、同一符号を付して説明を省略する。

【0070】

本実施例は、第１の実施例の方法、特に出力結果が複数ある場合（動画）において検出が漏れるケースについても単調傾向と判定できるようにするものである。ブロック構成等は第１の実施例と同様である。本実施例にかかる単調判定部４の動作のフローチャートを図１０に示す。

【0071】

図１０のフローチャートにおいて、ステップＳ１１、Ｓ１３は、図９と同様である。なお、本実施例では、後述するように自己相関を利用するため、対象となる画像は動画像となることからステップＳ１２は省略する。ステップＳ１４Ａは、判定内容はステップＳ１４と同様である。このステップＳ１４Ａは、本実施例では、単調傾向についての一次判定として行われる。

【0072】

次に、ステップＳ１４Ａの判定の結果、単調傾向であると判定された場合は（ステップＳ１５；Ｙｅｓ）、図９と同様に、その判定結果を判定装置１の外部へ出力する。一方、ステップＳ１４Ａに判定の結果、単調傾向でないと判定された場合は（ステップＳ１５；Ｎｏ）、自己相関演算を行う（ステップＳ１６）。

【0073】

本実施例では、ステップＳ１１やＳ１３で算出された標準偏差（輝度平均値）や視線移動量を用いて自己相関を演算する。自己相関Ｒ_（ｋ）は、期待値をＥ、Ｘの平均をμ、Ｘの分散をσ^２、ラグをｋとすると次の（４）式で算出されることが知られている。本実施例では、ｋを所定範囲で変化させて（４）式の演算を行い、最も大きな算出値を自己相関値とする。

【数4】

【0074】

そして、算出された自己相関値に基づいて単調傾向か判定する（ステップＳ１７）。判定は、第１の実施例と同様に自己相関値に閾値を設け、閾値と比較することで単調傾向かを判定すればよい。例えば、ｋ＝ｋ１での自己相関値が閾値より大きければｋ１毎に同じような風景が繰り返されることを意味する。単調傾向と判定された場合は、当該風景画像は単調傾向である画像と分類される。このような自己相関値を算出することによって、等間隔に規則正しく設置された街灯などの周期的に配置された物体による単調な傾向の道路を判定することができるようになる。

【0075】

図１１に自己相関の演算結果の例を示す。図１１は、走行動画について視覚顕著性マップの輝度平均値についてのコレログラムである。図１１の縦軸は相関関数（自己相関値）、横軸はラグを示している。また、図１１において、網掛けの部分は信頼区間９５％（優位水準αs＝０．０５）であり、帰無仮説を「ラグｋのとき周期性がない」、対立仮説を「ラグｋのとき周期性がある」とすると、この網掛け部分内のデータは帰無仮説を棄却できないため周期性がないと判定され、網掛け部分を超えたものは正負にかかわらず周期性があるものと判定される。

【0076】

図１１（ａ）はトンネル走行の動画であり、周期性がある例である。図１１（ａ）によれば、１０個目と１７個目に周期性がみられることが分かる。トンネルの場合、トンネル内照明が一定間隔で配置されているので、その照明等による単調な傾向を判定することができる。一方、図１１（ｂ）は一般道路走行の動画であり、周期性が無い例である。図１１（ｂ）によれば、殆どのデータが信頼区間に入っていることが分かる。

【0077】

図１０のフローチャートのように動作させることで、まずは平均・標準偏差・視線移動量で単調か判定し、そこで漏れたものの中から周期性という観点で二次判定をすることができるようになる。

【0078】

本実施例によれば、風景画像処理部３は、視覚顕著性マップを時系列に取得し、単調判定部４は、時系列に取得した視覚顕著性マップから統計量を算出し、時系列に得られた統計量に基づいて単調傾向か判定する第一判定部と、自己相関に基づいて単調傾向か判定する第二判定部と、して機能する。このようにすることにより、統計量のみでは判定が困難な走行中に現れる街灯等の周期的に現れる物体による単調傾向を自己相関により判定することができる。

【0079】

また、本発明は上記実施例に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の判定装置を具備する限り、勿論、本発明の範疇に含まれるものである。

【符号の説明】

【0080】

１ 判定装置
２ 風景画像取得部
３ 風景画像処理部（取得部）
４ 単調判定部（判定部、標準偏差算出部、平均値算出部、視線移動量算出部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】