特許 5890816 フィルタリング装置および環境認識システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5890816

(24)【登録日】2016年2月26日

(45)【発行日】2016年3月22日

(54)【発明の名称】フィルタリング装置および環境認識システム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20160308BHJP

【ＦＩ】

   G06T1/00 315

   G06T1/00 330B

【請求項の数】4

【全頁数】14

(21)【出願番号】特願2013-205391(P2013-205391)

(22)【出願日】2013年9月30日

(65)【公開番号】特開2015-69567(P2015-69567A)

(43)【公開日】2015年4月13日

【審査請求日】2014年4月16日

(73)【特許権者】

【識別番号】000005348

【氏名又は名称】富士重工業株式会社

(74)【代理人】

【識別番号】110000936

【氏名又は名称】特許業務法人青海特許事務所

(72)【発明者】

【氏名】小野 宏行

【審査官】 村松 貴士

(56)【参考文献】

【文献】 特開２００１−３５１２００（ＪＰ，Ａ）

【文献】 特開２００５−１１４３６５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００ − ７／６０

Ｇ０１Ｂ １１／００ − １１／３０

(57)【特許請求の範囲】

【請求項1】

互いに関連性を有する一対の比較対象に対し、一方の比較対象から任意に抽出した抽出部位と他方の比較対象から抽出した複数の抽出部位との相関を示す複数の評価値を導出する評価値導出部と、
前記複数の評価値によって形成される推移波形のうち相関が最も高い評価値を含み、該相関が最も高い評価値から該推移波形の傾きが初めて０となる水平方向の前後２つの変曲点までの２つの波形のうち、該相関が最も高い評価値と該変曲点との評価値の差分が大きい波形を基準波形として設定する基準波形設定部と、
前記推移波形において前記基準波形に類似する類似波形が存在するか否か判定し、その結果に基づいて前記相関が最も高い評価値が差分値として有効か否か判定する差分値判定部と、
を備えることを特徴とするフィルタリング装置。

【請求項2】

前記差分値判定部は、前記推移波形の傾きが０となる変曲点の評価値の絶対値、前記相関が最も高い評価値と該推移波形の傾きが初めて０となる変曲点との評価値の差分、および、該相関が最も高い評価値と所定の条件を満たした該変曲点との水平方向の差分、から選択された１または複数のパラメータが前記基準波形と近似している波形を前記類似波形とすることを特徴とする請求項１に記載のフィルタリング装置。

【請求項3】

前記比較対象は画像であり、前記抽出部位は該画像中の１または複数の画素からなるブロックであることを特徴とする請求項１または２に記載のフィルタリング装置。

【請求項4】

互いに関連性を有する一対の画像を生成する撮像装置と、
生成された一対の画像に対し、一方の画像から任意に抽出したブロックと他方の画像から抽出した複数のブロックとの相関を示す複数の評価値を導出する評価値導出部と、
前記複数の評価値によって形成される推移波形のうち相関が最も高い評価値を含み、該相関が最も高い評価値から該推移波形の傾きが初めて０となる水平方向の前後２つの変曲点までの２つの波形のうち、該相関が最も高い評価値と該変曲点との評価値の差分が大きい波形を基準波形として設定する基準波形設定部と、
前記推移波形において前記基準波形に類似する類似波形が存在するか否か判定し、その結果に基づいて前記相関が最も高い評価値が視差として有効か否か判定する差分値判定部と、
を備えることを特徴とする環境認識システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の比較対象における対象物の差分値（視差）を求める際、その差分値が有効か否かを判定するフィルタリング装置および環境認識システムに関する。

【背景技術】

【0002】

従来、自車両の前方に位置する車両等の特定物を検出し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。

【0003】

このような衝突回避制御やクルーズコントロールでは、自車両前方に位置する対象物の、自車両との相対距離を得るために、例えば、視点の異なる２つの撮像装置を用い、それぞれから画像データを取得し、一方の画像データに基づく画像（以下、基準画像という）から任意に抽出したブロック（以下、基準ブロックという）と相関の高いブロック（以下、比較ブロックという）を他方の画像データに基づく画像（以下、比較画像という）から検索する、所謂パターンマッチングを用いて視差を導き出す。そして、撮像装置の設置位置や焦点距離等の撮像パラメータを参照し、三角測量法による所謂ステレオ法を用いて、導出した視差から対象物の撮像装置に対する相対距離を求め、相対距離に水平距離および高さを加えた３次元の位置情報に変換する。そして、この３次元の位置情報を用いて各種認識処理が行われる。ここで、「水平」は画面横方向を示し、後述する「垂直」は画面縦方向を示す。

【0004】

上記パターンマッチングでは、比較画像上でブロックを水平方向にシフトしながら基準画像のブロックとの相関演算を行い、相関が最も高いブロックの比較画像上の座標と、基準画像のブロックの座標との差分（差分値）を視差としている。しかし、類似する特徴を有する対象物や、対象物中に類似する特徴を有する対象部位が水平方向に位置する場合、類似する他の対象物や対象部位とマッチングされてしまい、誤った視差を導出する可能性がある。

【0005】

そこで、パターンマッチングにおいて、比較画像の１の比較ブロックが基準画像の複数の基準ブロックと相関が最も高くなる場合に、視差が最小となる基準ブロックに関する視差のみを有効とする技術が開示されている（例えば、特許文献２）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特許第３３４９０６０号公報

【特許文献2】特許第３２８７４６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかし、類似する対象物や対象部位が、例えば３以上連続する場合に、基準画像の対象物が比較画像の離隔している他の対象物や対象部位とマッチングされてしまうと、導出された視差（差分値）と本来の視差とがかけ離れ、車両前方に存在する対象物より本来奥まっている対象物が、車両前方に存在する対象物より手前に位置すると誤判定されるおそれがある。ここで、特許文献２の技術を採用したとしても、一旦誤って導出された視差が有効と判定されると、やはり上記の現象が生じ得る。すなわち、このような類似する対象物や対象部位が連続する場合において、本来無効とすべき視差を効果的に除外することができなかった。

【0008】

本発明は、このような課題に鑑み、評価関数の評価値を適切に評価することで、本来無効とすべき差分値を効果的に除外することが可能なフィルタリング装置および環境認識システムを提供することを目的としている。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明のフィルタリング装置は、互いに関連性を有する一対の比較対象に対し、一方の比較対象から任意に抽出した抽出部位と他方の比較対象から抽出した複数の抽出部位との相関を示す複数の評価値を導出する評価値導出部と、複数の評価値によって形成される推移波形のうち相関が最も高い評価値を含み、相関が最も高い評価値から推移波形の傾きが初めて０となる水平方向の前後２つの変曲点までの２つの波形のうち、相関が最も高い評価値と変曲点との評価値の差分が大きい波形を基準波形として設定する基準波形設定部と、推移波形において基準波形に類似する類似波形が存在するか否か判定し、その結果に基づいて相関が最も高い評価値が差分値として有効か否か判定する差分値判定部と、を備えることを特徴とする。

【0010】

差分値判定部は、推移波形の傾きが０となる変曲点の評価値の絶対値、相関が最も高い評価値と推移波形の傾きが初めて０となる変曲点との評価値の差分、および、相関が最も高い評価値と所定の条件を満たした変曲点との水平方向の差分、から選択された１または複数のパラメータが基準波形と近似している波形を類似波形としてもよい。

【0012】

比較対象は画像であり、抽出部位は画像中の１または複数の画素からなるブロックであってもよい。

【0013】

上記課題を解決するために、本発明の環境認識システムは、互いに関連性を有する一対の画像を生成する撮像装置と、生成された一対の画像に対し、一方の画像から任意に抽出したブロックと他方の画像から抽出した複数のブロックとの相関を示す複数の評価値を導出する評価値導出部と、複数の評価値によって形成される推移波形のうち相関が最も高い評価値を含み、相関が最も高い評価値から推移波形の傾きが初めて０となる水平方向の前後２つの変曲点までの２つの波形のうち、相関が最も高い評価値と変曲点との評価値の差分が大きい波形を基準波形として設定する基準波形設定部と、推移波形において基準波形に類似する類似波形が存在するか否か判定し、その結果に基づいて相関が最も高い評価値が視差として有効か否か判定する差分値判定部と、を備えることを特徴とする。

【発明の効果】

【0014】

本発明によれば、評価関数の評価値を適切に評価することで、本来無効とすべき差分値を効果的に除外することが可能となる。

【図面の簡単な説明】

【0015】

【図1】環境認識システムの接続関係を示したブロック図である。

【図2】車外環境認識装置の概略的な機能を示した機能ブロック図である。

【図3】平均値差分マッチングの動作を説明する説明図である。

【図4】基準画像と比較画像を例示した説明図である。

【図5】任意の２つの領域における評価値の推移を示した説明図である。

【図6】変曲点の特定処理を説明するための説明図である。

【図7】基準波形を説明するための説明図である。

【図8】差分値判定部における類似波形の絞り込みを説明するための説明図である。

【図9】差分値判定部における類似波形の絞り込みを説明するための説明図である。

【図10】差分値判定部における類似波形の絞り込みを説明するための説明図である。

【発明を実施するための形態】

【0016】

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

【0017】

近年では、車両に搭載した車載カメラによって自車両の前方の道路環境を撮像し、画像（比較対象）内における色情報や位置情報に基づいて先行車両等の対象物を特定し、特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ（ＡＣＣ：Adaptive Cruise Control）、所謂衝突防止機能を搭載した車両が普及しつつある。

【0018】

かかる衝突防止機能では、自車両前方に位置する対象物の、自車両との相対距離を得るために、例えば、視点の異なる２つの撮像装置を用い、２つの撮像装置それぞれから取得した一対の比較対象である基準画像と比較画像とを比較し、所謂パターンマッチングを用いて相関の高いブロック（抽出部位）を抽出する。しかし、画像上の水平方向に類似する特徴を有する対象物や、対象物中に類似する特徴を有する対象部位が連続的に複数出現している場合、類似する他の対象物や対象部位とマッチングされてしまい、誤った視差（差分値）を導出する可能性がある。そこで、本実施形態では、パターンマッチングの評価関数における評価値によって形成される波形である推移波形、すなわち、評価値の最小値（相関が最高となる値）近傍の波形と類似した波形が存在するか否か（波形が繰り返し性を有するか否か）を判定し、本来無効とすべき視差を効果的に除外することを目的としている。ここで、ブロックは、画像中の１または複数の画像で構成される部位を示す。以下、このような目的を達成するための環境認識システムを説明し、その具体的な構成要素である車外環境認識装置に設けられたフィルタリング装置を詳述する。

【0019】

（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

【0020】

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方に相当する環境を撮像し、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなるカラー画像やモノクロ画像を生成することができる。ここでは、撮像装置１１０で撮像されたカラー画像を輝度画像として採用し、後述する距離画像と区別する。

【0021】

また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、認識する対象物は、車両、歩行者、信号機、道路（進行路）、ガードレール、建物といった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の一部として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機としてフレーム毎に各処理を遂行する。

【0022】

車外環境認識装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、所謂パターンマッチングを用いて視差を導き出し、導出された視差情報（後述する相対距離に相当）を画像データに対応付けて距離画像を生成する。パターンマッチングについては後ほど詳述する。また、車外環境認識装置１２０は、輝度画像に基づく輝度、および、距離画像に基づく自車両１との相対距離を含む実空間における３次元の位置情報を用い、輝度が等しく３次元の位置情報が近いブロック同士を対象物としてグループ化し、自車両１前方の検出領域における対象物がいずれの特定物に対応するかを特定する。

【0023】

車外環境認識装置１２０は、特定物を特定すると、その特定物（例えば、先行車両）を追跡しつつ、特定物の相対速度等を導出し、特定物と自車両１とが衝突する可能性が高いか否かの判定を行う。ここで、衝突の可能性が高いと判定した場合、車外環境認識装置１２０は、その旨、運転者の前方に設置されたディスプレイ１２２を通じて運転者に警告表示（報知）を行うとともに、車両制御装置１３０に対して、その旨を示す情報を出力する。

【0024】

車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転者の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、駆動機構１４４、制動機構１４６を制御する。

【0025】

以下、車外環境認識装置１２０の構成について詳述する。ここでは、本実施形態に特徴的な、フィルタリング装置における対象物の視差を求める処理について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。

【0026】

（車外環境認識装置１２０）
図２は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

【0027】

Ｉ／Ｆ部１５０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信した画像データを一時的に保持する。

【0028】

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、評価値導出部１６０、基準波形設定部１６２、差分値判定部１６４としても機能する。また、評価値導出部１６０、基準波形設定部１６２、および、差分値判定部１６４はフィルタリング装置としても機能する。以下、パターンマッチング処理の詳細な動作を説明する。

【0029】

（パターンマッチング処理）
評価値導出部１６０は、２つの撮像装置１１０それぞれから画像データを取得し、取得した２つの画像データに基づく、互いに関連性を有する一対の画像に対し、基準となる一方の画像（基準画像）から任意に抽出したブロックと、比較先である他方の画像（比較画像）から抽出した複数のブロックとの相関を示す複数の評価値を導出する。

【0030】

このパターンマッチングとしては、一対の画像間において、任意のブロック単位で輝度（Ｙ色差信号）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。このうち、ここでは、ＳＡＤを例に挙げて説明する。また、本実施形態では、基準画像および比較画像のブロック周囲の画素の輝度の平均値を求め、ブロック内の輝度からそれぞれの平均値を減算した結果に基づいて評価値を導出する平均値差分マッチングを行っている。以下に、平均値差分マッチングの動作を説明する。

【0031】

図３は、平均値差分マッチングの動作を説明する説明図である。まず、評価値導出部１６０は、図３（ａ）に示すように、基準画像２００から、例えば水平４画素×垂直４画素の画素２０２の配列で表されるブロック（以下、基準ブロックという）２０４を抽出する。そして、以降の処理において、順次、基準ブロック２０４を抽出し、抽出した基準ブロック２０４毎に視差を導出する。ここでは、基準ブロック２０４を水平４画素×垂直４画素としているが、基準ブロック２０４内の画素数は任意に設定することができる。

【0032】

かかる基準ブロック２０４においては、隣接する基準ブロック２０４同士の画素を重ねない。また、本実施形態では、基準ブロック２０４同士を隣接させているので、例えば、検出領域（例えば水平６００画素×垂直１８０画素）に映し出されている全ての画素２０２に対して、水平１５０×垂直４５＝６７５０のブロックが基準ブロック２０４として順次抽出されることとなる。

【0033】

ただし、上述したように、本実施形態では平均値差分マッチングを採用しているので、図３（ｂ）に示すように、評価値導出部１６０は、下記数式１に基づいて、基準ブロック２０４を中心とした基準ブロック２０４の周囲の水平８画素×垂直８画素で表される領域２０６内の画素２０２の輝度Ｒｂ（ｉ，ｊ）の平均値Ａｂを求める。
Ａｂ＝ΣＲｂ（ｉ，ｊ）／６４…（数式１）
ただし、ｉは１〜８で表される領域２０６内の水平画素位置、ｊは１〜８で表される領域２０６内の垂直画素位置である。また、領域２０６が基準画像２００に収まらない場合（端部により領域２０６が欠ける場合）、収まらない部分を省略して平均値Ａｂを求める。

【0034】

そして、評価値導出部１６０は、下記数式２の如く、基準ブロック２０４内の画素２０２の輝度Ｅｂ（ｉ，ｊ）から上記平均値Ａｂを減算して、平均値差分輝度ＥＥｂ（ｉ，ｊ）を導出する。
ＥＥｂ（ｉ，ｊ）＝Ｅｂ（ｉ，ｊ）−Ａｂ…（数式２）
ただし、ｉは１〜４で表される基準ブロック２０４内の水平画素位置、ｊは１〜４で表される基準ブロック２０４内の垂直画素位置である。

【0035】

続いて、評価値導出部１６０は、図３（ｃ）に示すように、比較画像２１０から、例えば水平４画素×垂直４画素の画素２１２の配列で表されるブロック（以下、比較ブロックという）２１４を抽出する。ここでは、１の基準ブロック２０４に対して、順次、複数の比較ブロック２１４を抽出し、それぞれ基準ブロック２０４との相関を示す評価値を導出する。

【0036】

かかる比較ブロック２１４は、例えば、水平方向に１画素ずつシフトされて抽出されるので、隣接する比較ブロック２１４同士の画素が重なることとなる。本実施形態では、１の基準ブロック２０４に対し、基準ブロック２０４に相当する位置２１６から水平方向の左右に合計１２８の比較ブロック２１４を抽出することとなる。したがって、抽出範囲（探索範囲）は水平（１２８＋３＝）１３１画素×垂直４画素となる。基準ブロック２０４に相当する位置２１６と抽出範囲との位置関係は、基準画像２００と比較画像２１０との視差の出現態様に応じて設定される。

【0037】

ただし、上述したように、本実施形態では平均値差分マッチングを採用しているので、基準ブロック２０４同様、評価値導出部１６０は、下記数式３に基づいて比較ブロック２１４を中心とした比較ブロック２１４の周囲の水平８画素×垂直８画素で表される領域内の画素の輝度Ｒｃ（ｉ，ｊ）の平均値Ａｃを求める。
Ａｃ＝ΣＲｃ（ｉ，ｊ）／６４…（数式３）
ただし、ｉは１〜８で表される領域内の水平画素位置、ｊは１〜８で表される領域内の垂直画素位置である。

【0038】

そして、評価値導出部１６０は、下記数式４の如く、比較ブロック２１４内の画素の輝度Ｅｃ（ｉ，ｊ）から上記平均値Ａｃを減算して、平均値差分輝度ＥＥｃ（ｉ，ｊ）を導出する。
ＥＥｃ（ｉ，ｊ）＝Ｅｃ（ｉ，ｊ）−Ａｃ…（数式４）
ただし、ｉは１〜４で表される比較ブロック２１４内の水平画素位置、ｊは１〜４で表される比較ブロック２１４内の垂直画素位置である。

【0039】

次に、評価値導出部１６０は、下記数式５に示すように、基準ブロック２０４の各画素２０２の平均値差分輝度ＥＥｂ（ｉ，ｊ）から、比較ブロック２１４内の同一の位置に相当する各画素２１２の平均値差分輝度ＥＥｃ（ｉ，ｊ）を減算し、それを積算して評価値Ｓを導出する。
Ｓ＝Σ（ＥＥｂ（ｉ，ｊ）−ＥＥｃ（ｉ，ｊ））…（数式５）

【0040】

こうして導出された複数の評価値Ｓは、小さい程、すなわち、差分がないほど、相関が高くなる。したがって、１の基準ブロック２０４に対する比較ブロック２１４との複数（ここでは１２８）の評価値のうち、最小の評価値（最小値）の位置が視差の一端を示す位置の候補となる。

【0041】

評価値導出部１６０は、任意の基準ブロック２０４に対する評価値の最小値が導出されると、その最小値に相当する比較ブロック２１４の座標と、基準ブロック２０４（基準ブロック２０４に相当する位置２１６）の座標の差分を視差としてデータ保持部１５２の所定の領域に保持させる。したがって、データ保持部１５２には、水平１５０×垂直４５＝６７５０の基準ブロック２０４の視差が保持されることとなる。

【0042】

上記平均値差分マッチングは、画像の高周波成分のみをマッチングの対象とするものであり、ハイパスフィルタと等価な作用を有しているため低周波ノイズを除去することができる。また、基準画像２００と比較画像２１０との間の輝度の僅かなバランスの狂いの影響、カメラやアナログ回路部品の経年変化によるゲイン変化の影響に対しても、視差の特定精度が高く、視差の導出精度を高めることが可能となる。

【0043】

図４は、基準画像２００と比較画像２１０を例示した説明図である。ここでは、視点の異なる２つの撮像装置１１０から取得した一対の画像のうち、図４（ａ）に示す、右に位置する撮像装置１１０からの画像を基準画像２００とし、図４（ｂ）に示す、左に位置する撮像装置１１０からの画像を比較画像２１０とする。

【0044】

評価値導出部１６０が基準画像２００と比較画像２１０とに基づいて評価値を導出する場合、例えば、図４（ａ）に示す領域２２０では、車両の側端にエッジが生じており、パターンマッチングし易く、視差を容易に導出することができる。

【0045】

一方、図４（ａ）に示す領域２２２の外壁のように、水平方向に類似する特徴を有する対象部位、ここでは、フェンスのパターンが連続して繰り返される場合、基準画像２００の基準ブロック２０４が比較画像２１０内の本来マッチングされるべきではない比較ブロック２１４とマッチングされてしまい、誤った視差を導出する可能性がある。

【0046】

図５は、上記の２つの領域２２０、２２２における評価値の推移を示した説明図であり、領域２２０中の任意の基準ブロック２０４の例を図５（ａ）に、領域２２２中の任意の基準ブロック２０４の例を図５（ｂ）に示す。また、図５（ａ）、（ｂ）では、横軸に比較ブロック２１４の水平位置を、縦軸に評価値を示す。ここで、評価値は、小さいほど相関が高いことを表す。

【0047】

図５（ａ）では、領域２２０において比較されるブロック同士が特徴的なので、局所的に評価値が小さい方に突出し、明確に最小値が出現する。一方、図５（ｂ）では、評価値の最小値に相当する、波形が下に凸となる変曲点（傾きが０となる点）が複数出現し、基準画像２００と比較画像２１０との表示態様によっては、特に、最小値の近傍に位置する他の変曲点が最小値となって、その変曲点を視差と誤認識するおそれがある。

【0048】

そこで、本実施形態では、パターンマッチングの評価値によって形成される波形である推移波形に着目し、評価値の最小値（相関が最高となる値）近傍の波形と類似した波形が存在するか否か、すなわち、推移波形が繰り返し性を有するか否かを判定し、推移波形中に類似している波形が複数存在していたら、その評価値は信頼に足らないとし、視差として無効と判定する。以下に、その処理を詳述する。

【0049】

基準波形設定部１６２は、複数の評価値によって形成される推移波形から変曲点を特定するとともに、特定された変曲点のうち、相関が最も高い評価値（最小値）と他の変曲点とに基づいて、最小値を含む基準波形を設定する。

【0050】

図６は、変曲点の特定処理を説明するための説明図である。変曲点は、推移波形の傾きが０となる点なので、その変曲点の水平方向前後の２点は、いずれも変曲点以上か以下の値となる。具体的に、隣接する３つの点の比較ブロック２１４の水平位置と評価値とが（ｘ−１，ｓ０）、（ｘ，ｓ１）、（ｘ＋１，ｓ２）であったとする。かかる点同士の関係が下記数式６または数式７を満たす場合、点同士の関係は、図６（ａ）のようになり、水平位置ｘの評価値ｓ１が下に凸となる変曲点（以下、谷変曲点という）となる。
ｓ０≧ｓ１かつｓ１<ｓ２ …（数式６）
ｓ０>ｓ１かつｓ１≦ｓ２ …（数式７）

【0051】

また、点同士の関係が下記数式８または数式９を満たす場合、点同士の関係は、図６（ｂ）のようになり、水平位置ｘの評価値ｓ１が上に凸となる変曲点（以下、山変曲点という）となる。
ｓ０≦ｓ１かつｓ１>ｓ２ …（数式８）
ｓ０<ｓ１かつｓ１≧ｓ２ …（数式９）

【0052】

図７は、基準波形を説明するための説明図である。基準波形設定部１６２は、谷変曲点でもある最小値と、最小値と水平方向前後に隣接する（推移波形の傾きが初めて０となる）２つの変曲点（山変曲点）との評価値の差分を導出する。こうして、水平方向左側に位置する山変曲点との評価値の差分Ｈｌと、水平方向右側に位置する山変曲点との評価値の差分Ｈｒとが導出される。そして、基準波形設定部１６２は、図７に示すように、２つの波形のうち、最小値と山変曲点との評価値の差分が大きい側、ここでは、評価値の差分Ｈｌ側の変曲点までの推移波形を基準波形として設定する。勿論、評価値の差分Ｈｒが差分Ｈｌより大きい場合、評価値の差分Ｈｒ側の変曲点までの推移波形が基準波形となる。

【0053】

このように基準波形を最小値に対して一方の変曲点のみとの波形とすることで、波形を比較する際の処理負荷を軽減することができる。また、変曲点として、最小値との評価値の差分がより大きい、すなわち、より特徴を有している変曲点を選択することで、基準波形に類似する波形を高精度に抽出することが可能となる。

【0054】

差分値判定部１６４は、推移波形において基準波形に類似する類似波形が存在するか否か判定し、その結果に基づいて評価値の最小値が視差として有効か否か判定する。差分値判定部１６４は、基準波形に類似する類似波形が存在するか否か判定すべく、複数の条件を通じて波形を絞り込み、全ての条件を満たす波形を検出する。本実施形態では、仮に３つの条件を満たす波形を類似波形としている。

【0055】

図８〜１０は、差分値判定部１６４における類似波形の絞り込みを説明するための説明図である。まず、差分値判定部１６４は、図８（ａ）の如く、推移波形から、一点鎖線で示される基準波形と同等の傾きを有する波形、すなわち、水平方向左側に山変曲点を有し、水平方向右側に谷変曲点を有する、図８（ａ）において実線で示される波形を類似波形の候補として全て抽出する。次に、差分値判定部１６４は、図８（ｂ）の如く、谷変曲点の評価値の絶対値が基準波形の谷変曲点（最小値）と近似していない、すなわち、谷変曲点の評価値の絶対値が所定の閾値以上となる、図中の破線で示した波形を排除する。こうして、谷変曲点の評価値の絶対値が所定の閾値未満となる波形のみが、類似波形の候補として残ることとなる。

【0056】

ここで、所定の閾値Ｄは、下記数式１０によって定められる。
Ｄ＝Ｈ×Ｇｄ＋Ｐ＋Ｂ …（数式１０）
ただし、Ｈは、上記評価値の差分ＨｌまたはＨｒの大きい方であり、Ｇｄは設定されたゲイン、Ｐは最小値、Ｂは任意のオフセットを示す。

【0057】

かかる構成により、谷変曲点の評価値の絶対値が、最小値と離れた、視差として認められるべきではない波形を効果的に排除することができる。

【0058】

続いて、差分値判定部１６４は、図９の如く、数式１０によって絞られた波形のうち、最小値と山変曲点（推移波形の傾きが初めて０となる変曲点）との評価値の差分と近似していない、すなわち、山変曲点と谷変曲点との評価値の差分Ｖが所定の範囲に含まれていない、破線で示した波形を排除する。こうして、山変曲点と谷変曲点との評価値の差分Ｖが所定の範囲に含まれている波形のみが類似波形の候補として残ることとなる。

【0059】

ここで、所定の範囲であるか否かは、下記数式１１によって定められる。
Ｈ×Ｇｌ<Ｖ<Ｈ×Ｇｈ …（数式１１）
ただし、Ｈは、上記評価値の差分ＨｌまたはＨｒの大きい方であり、Ｇｌ、Ｇｈはそれぞれ上限と下限を定義するゲインである。

【0060】

かかる構成により、山変曲点と谷変曲点との評価値の差分Ｖが、基準波形における山変曲点と谷変曲点との評価値の差分と離れた、基準波形と類似していると認められるべきではない波形を効果的に排除することができる。

【0061】

次に、差分値判定部１６４は、図１０の如く、数式１１によって絞られた波形のうち、最小値から所定の条件を満たした谷変曲点までの水平方向の差分と近似していない、すなわち、下記数式１２で示すように、最小値から所定の谷変曲点までの水平方向の差分Ｗと数式１１によって絞られた波形の谷変曲点同士の水平方向の差分Ｘとの差の絶対値が所定の閾値Ｔ以上となる、破線で示した波形を排除する。こうして、谷変曲点同士の水平方向の差分が最小値から所定の谷変曲点までの水平方向の差分に近似している波形のみが類似波形の候補として残ることとなる。
｜Ｗ−Ｘ｜<Ｔ …（数式１２）
ただし、所定の谷変曲点は、数式１１によって絞られた波形のうち基準波形と水平方向前後の関係にある２つの波形のいずれか一方の波形の谷変曲点である。図１０の例では、基準波形の左側に位置する波形の谷変曲点を所定の谷変曲点としているが、勿論、基準波形の右側に位置する波形の谷変曲点を所定の谷変曲点としてもよい。差分値判定部１６４は、こうして残った波形を類似波形として設定する。

【0062】

かかる構成により、谷変曲点同士の水平方向の差分Ｘが、最小値から所定の谷変曲点までの水平方向の差分Ｗと離れた、波形間の距離が基準波形を含む波形間の距離と類似していると認められるべきではない波形を効果的に排除することができる。

【0063】

続いて、差分値判定部１６４は、数式１２によって絞られた波形である１または複数の類似波形に基づいて最小値が視差として有効か否か判定する。具体的に、差分値判定部１６４は、類似波形の数（もしくはその谷変曲点の数）が所定の閾値（例えば、２以上）であるか否かに基づき、図１０の如く、類似波形が所定の閾値以上あれば、最小値を視差として無効化する。

【0064】

また、上記の類似波形の数に代えて、または、加えて、類似波形が基準波形の水平方向前後の波形であることを判定してもよい。例えば、図１０の例では、類似波形が基準波形の水平方向前後に存在するので、最小値を視差として無効化する。

【0065】

以上、説明したように、本実施形態では、複数の条件を通じて、評価値の最小値近傍の波形と類似した波形が存在するか否か、すなわち、推移波形が繰り返し性を有するか否かを判定し、推移波形中に類似している波形が複数存在していたら、その最小値は信頼に足らないとし、視差として無効化する。こうして、本来無効とすべき視差を効果的に除外することが可能となる。

【0066】

また、コンピュータを、上述したフィルタリング装置や環境認識システムとして機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

【0067】

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

【0068】

例えば、上述した実施形態においては、比較対象として、視点の異なる２つの撮像装置１１０において同時に撮像された一対の画像を用いる例を挙げて説明したが、かかる場合に限らず、互いに関連性を有する一対の画像に対して広く適用可能である。このような互いに関連性を有する一対の画像としては、例えば、所謂オプティカルフローの処理対象である、１の撮像装置（単眼カメラ）で異なる時刻に撮像され、時系列に出力された２つの画像や、所謂テンプレートマッチングの処理対象である、撮像された画像と予め準備された画像との組み合わせ等が考えられる。また、上述した実施形態では、差分値として、視点の異なる２つの撮像装置１１０において同時に撮像された一対の画像における「視差」を挙げて説明したが、かかる場合に限らず、差分値は、互いに関連性を有する一対の画像における基準ブロックの差分等、対応する抽出部位同士の差分であればよい。

【0069】

また、上述した実施形態では、輝度画像を比較対象とし、輝度画像の輝度に基づいて評価値を導出しているが、かかる場合に限らず、輝度以外の情報、例えば、遠赤外線カメラより得られる熱分布や、レーザレーダやミリ波レーダより得られる反射強度の分布等を比較対象とし、それらに基づいて評価値を導出してもよい。この場合も、上記同様、差分値は、対応する抽出部位同士の差分を示す。

【産業上の利用可能性】

【0070】

本発明は、複数の画像における対象物の差分値（視差）を求める際、その差分値が有効か否かを判定するフィルタリング装置および環境認識システムに利用することができる。

【符号の説明】

【0071】

１００ 環境認識システム
１１０ 撮像装置
１２０ 車外環境認識装置（フィルタリング装置）
１６０ 評価値導出部
１６２ 基準波形設定部
１６４ 差分値判定部
２００ 基準画像
２０４ 基準ブロック
２１０ 比較画像
２１４ 比較ブロック

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】