特許 5955292 フィルタリング装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5955292

(24)【登録日】2016年6月24日

(45)【発行日】2016年7月20日

(54)【発明の名称】フィルタリング装置

(51)【国際特許分類】

   G06T 1/00 20060101AFI20160707BHJP

【ＦＩ】

   G06T1/00 315

   G06T1/00 330B

【請求項の数】12

【全頁数】22

(21)【出願番号】特願2013-205392(P2013-205392)

(22)【出願日】2013年9月30日

(65)【公開番号】特開2015-69568(P2015-69568A)

(43)【公開日】2015年4月13日

【審査請求日】2014年4月16日

(73)【特許権者】

【識別番号】000005348

【氏名又は名称】富士重工業株式会社

(74)【代理人】

【識別番号】110000936

【氏名又は名称】特許業務法人青海特許事務所

(72)【発明者】

【氏名】小野 宏行

【審査官】 村松 貴士

(56)【参考文献】

【文献】 特開２００１−１１６５１３（ＪＰ，Ａ）

【文献】 特開２００７−２４９６８２（ＪＰ，Ａ）

【文献】 特開２０１２−０７３９３０（ＪＰ，Ａ）

【文献】 特開平０７−１５２９１４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００ − ７／６０

Ｇ０１Ｂ １１／００ − １１／３０

(57)【特許請求の範囲】

【請求項1】

互いに関連性を有する一対の比較対象に対し、一方の比較対象から任意に抽出した基準抽出部位と他方の比較対象から抽出した複数の比較抽出部位との相関を示す複数の評価値を導出する評価値導出部と、
複数の基準抽出部位それぞれに対して相関が相対的に高い複数の比較抽出部位を抽出し、基準抽出部位に対する複数の比較抽出部位の相関順と該相関順同士の位置関係とを導出して該基準抽出部位に対応づける位置関係情報導出部と、
１の基準抽出部位に対する複数の比較抽出部位の相関順と該相関順同士の位置関係と、他の基準抽出部位に対する複数の比較抽出部位の相関順と該相関順同士の位置関係とを比較して、該複数の比較抽出部位同士の位置関係と基準抽出部位同士の前後の位置関係が同じになるように、複数の比較抽出部位の中から基準抽出部位に対応する比較抽出部位を特定する位置関係置換部と、
を備えることを特徴とするフィルタリング装置。

【請求項2】

前記位置関係置換部は、１の基準抽出部位に対して最も相関が高い比較抽出部位と、他の基準抽出部位に対して最も相関が高い比較抽出部位との位置の差が所定の閾値未満であり、かつ、１の基準抽出部位に対して２番目に相関が高い比較抽出部位と、他の基準抽出部位に対して２番目に相関が高い比較抽出部位との位置の差が所定の閾値未満である場合、いずれか一方の基準抽出部位に対応する比較抽出部位の相関関係に誤りが生じていると評価することを特徴とする請求項１記載のフィルタリング装置。

【請求項3】

前記位置関係情報導出部は、抽出した比較抽出部位の基準抽出部位に対する相対位置を導出し、
前記位置関係置換部は、１の基準抽出部位に対して２番目に相関が高い比較抽出部位の相対位置と、他の基準抽出部位に対して最も相関が高い比較抽出部位の相対位置との差が所定の閾値未満である場合、１の基準抽出部位に対応する比較抽出部位の相関関係に誤りが生じていると評価し、１の基準抽出部位に対応する比較抽出部位の相関順を互いに置換することを特徴とする請求項２記載のフィルタリング装置。

【請求項4】

前記位置関係情報導出部は、抽出した比較抽出部位の基準抽出部位に対する相対位置を導出し、
前記位置関係置換部は、１の基準抽出部位に対して最も相関が高い比較抽出部位の相対位置と、他の基準抽出部位に対して２番目に相関が高い比較抽出部位の相対位置との差が所定の閾値未満である場合、他の基準抽出部位に対応する比較抽出部位の相関関係に誤りが生じていると評価し、他の基準抽出部位に対応する比較抽出部位の相関順を互いに置換することを特徴とする請求項２または３記載のフィルタリング装置。

【請求項5】

前記位置関係情報導出部は、抽出した比較抽出部位の基準抽出部位に対する相対位置を導出し、
前記位置関係置換部は、１の基準抽出部位に対して２番目に相関が高い比較抽出部位の相対位置と、他の基準抽出部位に対して最も相関が高い比較抽出部位の相対位置との差が所定の閾値以上であり、かつ、１の基準抽出部位に対して最も相関が高い比較抽出部位の相対位置と、他の基準抽出部位に対して２番目に相関が高い比較抽出部位の相対位置との差が所定の閾値以上である場合、基準抽出部位に対して相対位置が最も小さくなる比較抽出部位を有効とし、それ以外の比較抽出部位の相対位置を無効とすることを特徴とする請求項２から４のいずれか１項に記載のフィルタリング装置。

【請求項6】

前記位置関係置換部は、１の基準抽出部位に対して最も相関が高い比較抽出部位と、他の基準抽出部位に対して２番目に相関が高い比較抽出部位との位置の差が所定の閾値未満であり、かつ、１の基準抽出部位に対して２番目に相関が高い比較抽出部位と、他の基準抽出部位に対して最も相関が高い比較抽出部位との位置の差が所定の閾値未満である場合、両方の基準抽出部位に対応する比較抽出部位の相関関係に誤りが生じているおそれがあると評価することを特徴とする請求項１記載のフィルタリング装置。

【請求項7】

前記位置関係情報導出部は、抽出した比較抽出部位の基準抽出部位に対する相対位置を導出し、
前記位置関係置換部は、１の基準抽出部位に対して２番目に相関が高い比較抽出部位の相対位置と、他の基準抽出部位に対して２番目に相関が高い比較抽出部位の相対位置との差が所定の閾値未満である場合、両方の基準抽出部位に対応するそれぞれの比較抽出部位の相関関係を互いに置換することを特徴とする請求項６記載のフィルタリング装置。

【請求項8】

前記位置関係情報導出部は、抽出した比較抽出部位の基準抽出部位に対する相対位置を導出し、
前記位置関係置換部は、１の基準抽出部位に対して最も相関が高い比較抽出部位の相対位置と、他の基準抽出部位に対して最も相関が高い比較抽出部位の相対位置との差が所定の閾値未満である場合、両方の基準抽出部位に対応するそれぞれの比較抽出部位の相関関係は正しいものとして評価することを特徴とする請求項６または７に記載のフィルタリング装置。

【請求項9】

前記位置関係情報導出部は、抽出した比較抽出部位の基準抽出部位に対する相対位置を導出し、
前記位置関係置換部は、１の基準抽出部位に対して２番目に相関が高い比較抽出部位の相対位置と、他の基準抽出部位に対して２番目に相関が高い比較抽出部位の相対位置との差が所定の閾値以上であり、かつ、１の基準抽出部位に対して最も相関が高い比較抽出部位の相対位置と、他の基準抽出部位に対して最も相関が高い比較抽出部位の相対位置との差が所定の閾値以上である場合、２つの基準抽出部位のうち、相対位置が最小となる基準抽出部位の相対位置を有効とし、相対位置が最小とならない基準抽出部位の相対位置は無効とすることを特徴とする請求項６から８のいずれか１項に記載のフィルタリング装置。

【請求項10】

前記フィルタリング装置は、互いに関連性を有する一対の画像を生成するステレオ撮像装置に適用され、前記一対の比較対象はステレオ撮像装置の一方のカメラで撮像した基準画像と他方のカメラで撮像した比較画像からなることを特徴とする請求項１から９のいずれか１項に記載のフィルタリング装置。

【請求項11】

前記フィルタリング装置は、単眼カメラを有する単眼撮像装置に適用され、前記一対の比較対象は互いに異なる時刻に撮像された一対の画像からなることを特徴とする請求項１から９のいずれか１項に記載のフィルタリング装置。

【請求項12】

前記フィルタリング装置は、単眼カメラを有する単眼撮像装置に適用され、前記一対の比較対象は撮像画像と予め準備されたテンプレート画像からなることを特徴とする請求項１から９のいずれか１項にフィルタリング装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の比較対象における対象物の差分値（視差）を適切に導出するフィルタリング装置に関する。

【背景技術】

【0002】

従来、自車両の前方に位置する車両等の特定物を検出し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。

【0003】

このような衝突回避制御やクルーズコントロールでは、自車両前方に位置する対象物の、自車両との相対距離を得るために、例えば、視点の異なる２つの撮像装置を用い、それぞれから画像データを取得し、一方の画像データに基づく画像（以下、基準画像という）から任意に抽出したブロック（以下、基準ブロックという）と相関の高いブロック（以下、比較ブロックという）を他方の画像データに基づく画像（以下、比較画像という）から検索する、所謂パターンマッチングを用いて視差を導き出す。そして、撮像装置の設置位置や焦点距離等の撮像パラメータを参照し、三角測量法による所謂ステレオ法を用いて、導出した視差から対象物の撮像装置に対する相対距離を求め、相対距離に水平距離および高さを加えた３次元の位置情報に変換する。そして、この３次元の位置情報を用いて各種認識処理が行われる。ここで、「水平」は画面横方向を示し、後述する「垂直」は画面縦方向を示す。

【0004】

上記パターンマッチングでは、比較画像上で比較ブロックを水平方向にシフトしながら基準ブロックとの相関演算を行い、相関が最も高い比較ブロックの比較画像上の座標と、基準ブロックの座標との差分（差分値）を視差としている。ただし、自車両前方には様々な対象物が存在し、複数の類似した対象物や、対象物中に類似した対象部位が含まれる場合もある。類似した対象物や対象部位の典型的な例としては、例えば、道路のパイロン列、照明灯または電柱、車両の所定部位等が挙げられる。このような類似した対象物や対象部位が水平方向に位置すると、類似する他の対象物や対象部位とマッチングされてしまい、誤った視差を導出する可能性がある。

【0005】

そこで、パターンマッチングにおいて、比較画像の１の比較ブロックが基準画像の複数の基準ブロックと相関が最も高くなる場合に（かかる事象を単にペアリングという）、視差が最小となる基準ブロックに関する視差のみを有効とする技術が開示されている（例えば、特許文献２）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特許第３３４９０６０号公報

【特許文献2】特許第３２８７４６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかし、特許文献２の技術では、有効と判定されなかった基準ブロックに関する視差（差分値）が除外されることとなるので、この有効と判定されなかった基準ブロックに対応する比較ブロックが実際には存在するにも拘わらず、存在しないものとして処理されてしまう。また、複数の基準ブロックに対応する複数の比較ブロックが互いに誤ってマッチングしてしまった場合、すなわち、１の基準ブロックに、他の基準ブロックに対応する比較ブロックがマッチングし、他の基準ブロックに、１の基準ブロックに対応する比較ブロックがマッチングした場合（かかる事象を単にクロスペアリングという）、特許文献２の技術では、その誤ったマッチングを正すことができない。

【0008】

本発明は、このような課題に鑑み、基準ブロック同士や比較ブロック同士の相対的な位置関係を評価することで、対象物の差分値を適切に導出することが可能なフィルタリング装置を提供することを目的としている。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明のフィルタリング装置は、互いに関連性を有する一対の比較対象に対し、一方の比較対象から任意に抽出した基準抽出部位と他方の比較対象から抽出した複数の比較抽出部位との相関を示す複数の評価値を導出する評価値導出部と、複数の基準抽出部位それぞれに対して相関が相対的に高い複数の比較抽出部位を抽出し、基準抽出部位に対する複数の比較抽出部位の相関順と相関順同士の位置関係とを導出して基準抽出部位に対応づける位置関係情報導出部と、１の基準抽出部位に対する複数の比較抽出部位の相関順と相関順同士の位置関係と、他の基準抽出部位に対する複数の比較抽出部位の相関順と相関順同士の位置関係とを比較して、複数の比較抽出部位同士の位置関係と基準抽出部位同士の前後の位置関係が同じになるように、複数の比較抽出部位の中から基準抽出部位に対応する比較抽出部位を特定する位置関係置換部と、を備えることを特徴とする。

【0011】

位置関係置換部は、１の基準抽出部位に対して最も相関が高い比較抽出部位と、他の基準抽出部位に対して最も相関が高い比較抽出部位との位置の差が所定の閾値未満であり、かつ、１の基準抽出部位に対して２番目に相関が高い比較抽出部位と、他の基準抽出部位に対して２番目に相関が高い比較抽出部位との位置の差が所定の閾値未満である場合、いずれか一方の基準抽出部位に対応する比較抽出部位の相関関係に誤りが生じていると評価してもよい。

【0012】

位置関係情報導出部は、抽出した比較抽出部位の基準抽出部位に対する相対位置を導出し、位置関係置換部は、１の基準抽出部位に対して２番目に相関が高い比較抽出部位の相対位置と、他の基準抽出部位に対して最も相関が高い比較抽出部位の相対位置との差が所定の閾値未満である場合、１の基準抽出部位に対応する比較抽出部位の相関関係に誤りが生じていると評価し、１の基準抽出部位に対応する比較抽出部位の相関順を互いに置換してもよい。

【0013】

位置関係情報導出部は、抽出した比較抽出部位の基準抽出部位に対する相対位置を導出し、位置関係置換部は、１の基準抽出部位に対して最も相関が高い比較抽出部位の相対位置と、他の基準抽出部位に対して２番目に相関が高い比較抽出部位の相対位置との差が所定の閾値未満である場合、他の基準抽出部位に対応する比較抽出部位の相関関係に誤りが生じていると評価し、他の基準抽出部位に対応する比較抽出部位の相関順を互いに置換してもよい。

【0014】

位置関係情報導出部は、抽出した比較抽出部位の基準抽出部位に対する相対位置を導出し、位置関係置換部は、１の基準抽出部位に対して２番目に相関が高い比較抽出部位の相対位置と、他の基準抽出部位に対して最も相関が高い比較抽出部位の相対位置との差が所定の閾値以上であり、かつ、１の基準抽出部位に対して最も相関が高い比較抽出部位の相対位置と、他の基準抽出部位に対して２番目に相関が高い比較抽出部位の相対位置との差が所定の閾値以上である場合、基準抽出部位に対して相対位置が最も小さくなる比較抽出部位を有効とし、それ以外の比較抽出部位の相対位置を無効としてもよい。

【0015】

位置関係置換部は、１の基準抽出部位に対して最も相関が高い比較抽出部位と、他の基準抽出部位に対して２番目に相関が高い比較抽出部位との位置の差が所定の閾値未満であり、かつ、１の基準抽出部位に対して２番目に相関が高い比較抽出部位と、他の基準抽出部位に対して最も相関が高い比較抽出部位との位置の差が所定の閾値未満である場合、両方の基準抽出部位に対応する比較抽出部位の相関関係に誤りが生じているおそれがあると評価してもよい。

【0016】

位置関係情報導出部は、抽出した比較抽出部位の基準抽出部位に対する相対位置を導出し、位置関係置換部は、１の基準抽出部位に対して２番目に相関が高い比較抽出部位の相対位置と、他の基準抽出部位に対して２番目に相関が高い比較抽出部位の相対位置との差が所定の閾値未満である場合、両方の基準抽出部位に対応するそれぞれの比較抽出部位の相関関係を互いに置換してもよい。

【0017】

位置関係情報導出部は、抽出した比較抽出部位の基準抽出部位に対する相対位置を導出し、位置関係置換部は、１の基準抽出部位に対して最も相関が高い比較抽出部位の相対位置と、他の基準抽出部位に対して最も相関が高い比較抽出部位の相対位置との差が所定の閾値未満である場合、両方の基準抽出部位に対応するそれぞれの比較抽出部位の相関関係は正しいものとして評価してもよい。

【0018】

位置関係情報導出部は、抽出した比較抽出部位の基準抽出部位に対する相対位置を導出し、位置関係置換部は、１の基準抽出部位に対して２番目に相関が高い比較抽出部位の相対位置と、他の基準抽出部位に対して２番目に相関が高い比較抽出部位の相対位置との差が所定の閾値以上であり、かつ、１の基準抽出部位に対して最も相関が高い比較抽出部位の相対位置と、他の基準抽出部位に対して最も相関が高い比較抽出部位の相対位置との差が所定の閾値以上である場合、２つの基準抽出部位のうち、相対位置が最小となる基準抽出部位の相対位置を有効とし、相対位置が最小とならない基準抽出部位の相対位置は無効としてもよい。

【0019】

フィルタリング装置は、互いに関連性を有する一対の画像を生成するステレオ撮像装置に適用され、一対の比較対象はステレオ撮像装置の一方のカメラで撮像した基準画像と他方のカメラで撮像した比較画像からなるとしてもよい。

【0020】

フィルタリング装置は、単眼カメラを有する単眼撮像装置に適用され、一対の比較対象は互いに異なる時刻に撮像された一対の画像からなるとしてもよい。

【0021】

フィルタリング装置は、単眼カメラを有する単眼撮像装置に適用され、一対の比較対象は撮像画像と予め準備されたテンプレート画像からなるとしてもよい。

【発明の効果】

【0022】

本発明によれば、基準ブロック同士や比較ブロック同士の相対的な位置関係を評価することで、対象物の差分値を適切に導出することが可能となる。

【図面の簡単な説明】

【0023】

【図1】環境認識システムの接続関係を示したブロック図である。

【図2】車外環境認識装置の概略的な機能を示した機能ブロック図である。

【図3】基準画像と比較画像を例示した説明図である。

【図4】パターンマッチング処理の動作を示したフローチャートである。

【図5】平均値差分マッチングの動作を説明する説明図である。

【図6】位置関係情報を説明するための説明図である。

【図7】保持領域を説明するための説明図である。

【図8】位置関係置換部の動作を説明するための説明図である。

【図9】保持領域を説明するための説明図である。

【図10】保持領域を説明するための説明図である。

【図11】保持領域を説明するための説明図である。

【図12】保持領域を説明するための説明図である。

【図13】位置関係置換部の他の動作を説明するための説明図である。

【図14】保持領域を説明するための説明図である。

【図15】保持領域を説明するための説明図である。

【図16】保持領域を説明するための説明図である。

【発明を実施するための形態】

【0024】

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

【0025】

近年では、車両に搭載した車載カメラによって自車両の前方の道路環境を撮像し、画像（比較対象）内における色情報や位置情報に基づいて先行車両等の対象物を特定し、特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ（ＡＣＣ：Adaptive Cruise Control）、所謂衝突防止機能を搭載した車両が普及しつつある。

【0026】

かかる衝突防止機能では、自車両前方に位置する対象物の、自車両との相対距離を得るために、例えば、視点の異なる２つの撮像装置（ステレオ撮像装置）を用い、２つの撮像装置それぞれから取得した一対の比較対象である基準画像と比較画像とを比較し、所謂パターンマッチングを用いて相関の高いブロック（抽出部位）を抽出する。しかし、複数の類似した対象物や、対象物中の類似した対象部位が水平方向に位置する場合、類似する他の対象物や対象部位とマッチングされてしまい、誤った視差（差分値）を導出する可能性がある。そこで、本実施形態では、基準ブロック（基準抽出部位）同士や比較ブロック（比較抽出部位）同士の相対的な位置関係、特に、基準ブロックと比較ブロックとの評価値のうち相関が高い順番の位置関係を評価することで、対象物の視差を適切に導出することを目的としている。ここで、ブロックは、画像中の１または複数の画素で構成される部位を示す。以下、このような目的を達成するための環境認識システムを説明し、その具体的な構成要素である車外環境認識装置に設けられたフィルタリング装置を詳述する。

【0027】

（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

【0028】

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方に相当する環境を撮像し、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなるカラー画像やモノクロ画像を生成することができる。ここでは、撮像装置１１０で撮像されたカラー画像を輝度画像として採用し、後述する距離画像と区別する。

【0029】

また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、認識する対象物は、車両、歩行者、信号機、道路（進行路）、ガードレール、建物といった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の一部として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機としてフレーム毎に各処理を遂行する。

【0030】

車外環境認識装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、所謂パターンマッチングを用いて視差を導き出し、導出された視差情報（後述する相対距離に相当）を画像データに対応付けて距離画像を生成する。パターンマッチングについては後ほど詳述する。また、車外環境認識装置１２０は、輝度画像に基づく輝度、および、距離画像に基づく自車両１との相対距離を含む実空間における３次元の位置情報を用い、輝度が等しく３次元の位置情報が近いブロック同士を対象物としてグループ化し、自車両１前方の検出領域における対象物がいずれの特定物に対応するかを特定する。

【0031】

車外環境認識装置１２０は、特定物を特定すると、その特定物（例えば、先行車両）を追跡しつつ、特定物の相対速度等を導出し、特定物と自車両１とが衝突する可能性が高いか否かの判定を行う。ここで、衝突の可能性が高いと判定した場合、車外環境認識装置１２０は、その旨、運転者の前方に設置されたディスプレイ１２２を通じて運転者に警告表示（報知）を行うとともに、車両制御装置１３０に対して、その旨を示す情報を出力する。

【0032】

車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転者の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、駆動機構１４４、制動機構１４６を制御する。

【0033】

以下、車外環境認識装置１２０の構成について詳述する。ここでは、本実施形態に特徴的な、フィルタリング装置における対象物の視差を求める処理について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。

【0034】

（車外環境認識装置１２０）
図２は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

【0035】

Ｉ／Ｆ部１５０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信した画像データを一時的に保持する。

【0036】

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、評価値導出部１６０、位置関係情報導出部１６２、位置関係置換部１６４、差分値決定部１６６としても機能する。また、評価値導出部１６０、位置関係情報導出部１６２、位置関係置換部１６４、および、差分値決定部１６６はフィルタリング装置としても機能する。以下、基準画像と比較画像とを例示しつつ、各機能部を説明する。

【0037】

図３は、基準画像２００と比較画像２１０を例示した説明図である。ここでは、視点の異なる２つの撮像装置１１０から取得した一対の画像のうち、図３（ａ）に示す、右に位置する撮像装置１１０からの画像を基準画像２００とし、図３（ｂ）に示す、左に位置する撮像装置１１０からの画像を比較画像２１０とする。

【0038】

基準画像２００と比較画像２１０とに基づいて評価値を導出する場合、例えば、図３（ａ）および（ｂ）のトラックの中央において楕円で囲った領域では、垂直方向に延長される類似する２つのエッジ２３０が生じており、その２つのエッジ２３０においては、基準ブロック同士および比較ブロック同士が類似する。本実施形態では、このように、基準ブロック同士が類似する場合に、その基準ブロックに対し、本来対応させるべきではない比較ブロックを誤って対応させてしまうことを回避する。これは、以下のようにして実現する。

【0039】

複数の基準ブロック同士が類似する場合、それに対応する複数の比較ブロック同士も類似することとなる。すなわち、１の基準ブロックに対して複数の比較ブロックの相関が高くなり易い。そこで、本実施形態では、１の基準ブロックに対して相関が最も高い比較ブロックのみならず、類似していると考えられる相関が相対的に高い複数の比較ブロックも抽出する。そして、本来対応させるべき比較ブロックをその複数の比較ブロックの中から特定する。

【0040】

また、上記２つの撮像装置１１０は視点こそ異なるものの、同一の被写体を撮像しているので、相対距離が等しい対象物における基準ブロックと比較ブロックとの位置関係は、その対象物中のいずれの基準ブロックにおいてもほぼ等しくなる。そうすると、複数の基準ブロックが類似していたとしても、複数の基準ブロックそれぞれに対応する複数の比較ブロック同士の位置関係は、基準ブロック同士の位置関係とほぼ等しくなる。そこで、本実施形態では、基準ブロック同士の位置関係と、比較ブロック同士の位置関係とが等しくなるように、少なくとも１の基準ブロックに対応する比較ブロックを並べ替える。

【0041】

そこで、評価値導出部１６０は、２つの撮像装置１１０それぞれから取得した２つの画像データに基づく２つの画像に対し、一方の画像（基準画像２００）から任意に抽出した基準ブロックと他方の画像（比較画像２１０）から抽出した複数の比較ブロックとの相関を示す複数の評価値を導出する。次に、位置関係情報導出部１６２は、評価値導出部１６０が導出した複数の評価値のうち相関が高い方から予め定められた所定数の評価値を特定し、特定された評価値の相関が高い順番である相関順と相関順同士の位置関係とを示す位置関係情報（基準ブロックに対応する比較ブロックの相関関係）を導出し、基準ブロックに対応付ける。ここで、相関順と、相関順同士の仮の位置関係が定められる。

【0042】

位置関係置換部１６４は、導出された位置関係情報と所定の関係にある位置関係情報がデータ保持部１５２に保持されていなければ、導出された位置関係情報を基準ブロックに対応付けてデータ保持部１５２に保持させる。かかる所定の関係については後程詳述する。ここで、基準ブロックと比較ブロックとが適切に対応していない場合、新たに導出された位置関係情報と、既にデータ保持部１５２に保持されている位置関係情報とが所定の関係になる場合がある。そこで、位置関係置換部１６４は、導出された位置関係情報と所定の関係にある位置関係情報がデータ保持部１５２に保持されていれば、導出された位置関係情報に対応する基準ブロック、保持された位置関係情報に対応する基準ブロック、および、位置関係情報に基づいて、複数の比較ブロック同士の位置関係と基準ブロック同士の前後の位置関係が同じになるように、少なくともいずれか１の基準ブロックの位置関係情報を変更して、複数の比較ブロックの中から基準ブロックに対応する比較ブロック（相関が最も高い相関順の位置）を特定する。こうして、位置関係情報（相関順とその位置関係）が本来あるべき状態に更新される。そして、差分値決定部１６６は、位置関係置換部１６４によって特定された、基準ブロックに関する位置関係情報における相関が最も高い相関順の位置を、基準ブロックの視差として決定する。以下、パターンマッチング処理の詳細な動作を説明する。

【0043】

（パターンマッチング処理）
図４は、パターンマッチング処理の動作を示したフローチャートである。ここでは、撮像装置１１０において画像データが生成される毎に、当該パターンマッチング処理が割込処理として実行される。また、説明の便宜上、ここでは、評価値を高い方から２つ特定する例を挙げる。したがって、相関順は１ｓｔと２ｎｄの２つとなる。

【0044】

（ステップＳ３００）
評価値導出部１６０は、データ保持部１５２に設定された各保持領域（後述する視差候補保持領域、基準保持領域、２ｎｄ保持領域、２ｎｄ視差保持領域）をリセットする。そして、評価値導出部１６０は、２つの撮像装置１１０それぞれから画像データを取得し、取得した２つの画像データに基づく、互いに関連性を有する一対の画像のうち、基準となる基準画像２００から１の基準ブロックを抽出する。

【0045】

（ステップＳ３０２）
評価値導出部１６０は、所謂パターンマッチングによって、抽出した基準ブロックと、比較先である比較画像２１０から抽出した複数の比較ブロックとの相関を示す複数の評価値を導出する。

【0046】

このパターンマッチングとしては、一対の画像間において、任意のブロック単位で輝度（Ｙ色差信号）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。このうち、ここでは、ＳＡＤを例に挙げて説明する。また、本実施形態では、基準画像２００および比較画像２１０のブロック周囲の画素の輝度の平均値を求め、ブロック内の輝度からそれぞれの平均値を減算した結果に基づいて評価値を導出する平均値差分マッチングを行っている。以下に、平均値差分マッチングの動作を説明する。

【0047】

図５は、平均値差分マッチングの動作を説明する説明図である。まず、評価値導出部１６０は、図５（ａ）に示すように、基準画像２００から、例えば水平４画素×垂直４画素の画素２０２の配列で表されるブロック（以下、基準ブロックという）２０４を抽出する。そして、以降の処理において、順次、基準ブロック２０４を抽出し、抽出した基準ブロック２０４毎に視差を導出する。ここでは、基準ブロック２０４を水平４画素×垂直４画素としているが、基準ブロック２０４内の画素数は任意に設定することができる。

【0048】

かかる基準ブロック２０４においては、隣接する基準ブロック２０４同士の画素を重ねない。また、本実施形態では、基準ブロック２０４同士を隣接させているので、例えば、検出領域（例えば水平６００画素×垂直１８０画素）に映し出されている全ての画素２０２に対して、水平１５０×垂直４５＝６７５０のブロックが基準ブロック２０４として順次抽出されることとなる。

【0049】

ただし、上述したように、本実施形態では平均値差分マッチングを採用しているので、図５（ｂ）に示すように、評価値導出部１６０は、下記数式１に基づいて、基準ブロック２０４を中心とした基準ブロック２０４の周囲の水平８画素×垂直８画素で表される領域２０６内の画素２０２の輝度Ｒｂ（ｉ，ｊ）の平均値Ａｂを求める。
Ａｂ＝ΣＲｂ（ｉ，ｊ）／６４…（数式１）
ただし、ｉは１〜８で表される領域２０６内の水平画素位置、ｊは１〜８で表される領域２０６内の垂直画素位置である。また、領域２０６が基準画像２００に収まらない場合（端部により領域２０６が欠ける場合）、収まらない部分を省略して平均値Ａｂを求める。

【0050】

そして、評価値導出部１６０は、下記数式２の如く、基準ブロック２０４内の画素２０２の輝度Ｅｂ（ｉ，ｊ）から上記平均値Ａｂを減算して、平均値差分輝度ＥＥｂ（ｉ，ｊ）を導出する。
ＥＥｂ（ｉ，ｊ）＝Ｅｂ（ｉ，ｊ）−Ａｂ…（数式２）
ただし、ｉは１〜４で表される基準ブロック２０４内の水平画素位置、ｊは１〜４で表される基準ブロック２０４内の垂直画素位置である。

【0051】

続いて、評価値導出部１６０は、図５（ｃ）に示すように、比較画像２１０から、例えば水平４画素×垂直４画素の画素２１２の配列で表されるブロック（以下、比較ブロックという）２１４を抽出する。ここでは、１の基準ブロック２０４に対して、順次、複数の比較ブロック２１４を抽出し、それぞれ基準ブロック２０４との相関を示す評価値を導出する。

【0052】

かかる比較ブロック２１４は、例えば、水平方向に１画素ずつシフトされて抽出されるので、隣接する比較ブロック２１４同士の画素が重なることとなる。本実施形態では、１の基準ブロック２０４に対し、基準ブロック２０４に相当する位置２１６から水平方向の左右に合計１２８の比較ブロック２１４を抽出することとなる。したがって、抽出範囲（探索範囲）は水平（１２８＋３＝）１３１画素×垂直４画素となる。基準ブロック２０４に相当する位置２１６と抽出範囲との位置関係は、基準画像２００と比較画像２１０との視差の出現態様に応じて設定される。

【0053】

ただし、上述したように、本実施形態では平均値差分マッチングを採用しているので、基準ブロック２０４同様、評価値導出部１６０は、下記数式３に基づいて比較ブロック２１４を中心とした比較ブロック２１４の周囲の水平８画素×垂直８画素で表される領域内の画素の輝度Ｒｃ（ｉ，ｊ）の平均値Ａｃを求める。
Ａｃ＝ΣＲｃ（ｉ，ｊ）／６４…（数式３）
ただし、ｉは１〜８で表される領域内の水平画素位置、ｊは１〜８で表される領域内の垂直画素位置である。

【0054】

そして、評価値導出部１６０は、下記数式４の如く、比較ブロック２１４内の画素の輝度Ｅｃ（ｉ，ｊ）から上記平均値Ａｃを減算して、平均値差分輝度ＥＥｃ（ｉ，ｊ）を導出する。
ＥＥｃ（ｉ，ｊ）＝Ｅｃ（ｉ，ｊ）−Ａｃ…（数式４）
ただし、ｉは１〜４で表される比較ブロック２１４内の水平画素位置、ｊは１〜４で表される比較ブロック２１４内の垂直画素位置である。

【0055】

次に、評価値導出部１６０は、下記数式５に示すように、基準ブロック２０４の各画素２０２の平均値差分輝度ＥＥｂ（ｉ，ｊ）から、比較ブロック２１４内の同一の位置に相当する各画素２１２の平均値差分輝度ＥＥｃ（ｉ，ｊ）を減算し、それを積算して評価値Ｔを導出する。
Ｔ＝Σ（ＥＥｂ（ｉ，ｊ）−ＥＥｃ（ｉ，ｊ））…（数式５）

【0056】

こうして導出された複数の評価値Ｔは、小さい程、すなわち、差分がないほど、相関が高くなる。したがって、１の基準ブロック２０４に対する比較ブロック２１４との複数（ここでは１２８）の評価値のうち、最小の評価値（最小値）の位置が視差の一端を示す位置の候補となる。

【0057】

ただし、本実施形態では、最小の評価値のみならず、次に小さい評価値も視差の一端を示す位置の候補とする。すなわち、最小の評価値と次に小さい評価値の２つが処理対象となる。

【0058】

上記平均値差分マッチングは、画像の高周波成分のみをマッチングの対象とするものであり、ハイパスフィルタと等価な作用を有しているため低周波ノイズを除去することができる。また、基準画像２００と比較画像２１０との間の輝度の僅かなバランスの狂いの影響、カメラやアナログ回路部品の経年変化によるゲイン変化の影響に対しても、視差の特定精度が高く、視差の導出精度を高めることが可能となる。

【0059】

（ステップＳ３０４）
位置関係情報導出部１６２は、複数の評価値のうち小さい方から（相関が高い方から）予め定められた所定数（ここでは２）の評価値を特定し、特定された評価値の値が小さい順番（相関が高い順番）である相関順と相関順同士の位置関係とを示す位置関係情報を導出する。

【0060】

図６は、位置関係情報を説明するための説明図である。例えば、図６のように、基準ブロック２０４ａとの平均値差分マッチングを実行した結果、比較ブロック２１４ａで評価値が最小となり、比較ブロック２１４ｂで評価値が２番目に小さくなったとする。すると、かかる２つの比較ブロック２１４ａ、２１４ｂにそれぞれ「１ｓｔ」と「２ｎｄ」の相関順を関連付ける。そして、２つの比較ブロック２１４ａ、２１４ｂが比較画像２１０中のどこに位置するか（位置関係）が導出される。例えば、図６の例では、基準ブロック２０４ａのブロック位置Ｄａに対し、相関順１ｓｔの比較ブロック２１４ａがＰａ＋Ｆａに位置し、相関順２ｎｄの比較ブロック２１４ｂがＰａ＋Ｓａに位置し、これが位置関係情報となる。このように相関順と、相関順同士の位置関係が導出されると、評価値自体は不要となる。ただし、Ｄｘ（ｘは基準ブロック２０４の識別子に対応）は基準画像２００におけるブロック位置であり、Ｐｘ、Ｆｘ、Ｓｘは比較画像２１０における画素位置である。

【0061】

（ステップＳ３０６）
続いて、位置関係置換部１６４は、導出された位置関係情報と所定の関係、具体的には、相関順同士の位置関係が等しい関係にある位置関係情報がデータ保持部１５２に保持されているか否か判定する。ここで、相関順同士の位置関係が等しい関係とは、導出された位置関係情報に対応する比較ブロック２１４の相関順の位置（例えば、１ｓｔの位置Ｐａ＋Ｆａ、２ｎｄの位置Ｐａ＋Ｓａ）と、保持された位置関係情報に対応する比較ブロック２１４の相関順の位置（例えば、１ｓｔの位置Ｐｘ＋Ｆｘ、２ｎｄの位置Ｐｘ＋Ｓｘ）とが等しい、または、ほぼ等しいことを言う。この場合、いずれか一方の基準ブロック２０４に対応する比較ブロック２１４の相関関係（位置関係情報）に誤りが生じていると評価することができる。

【0062】

（ステップＳ３０８）
パターンマッチングの比較的早い段階において、導出された位置関係情報と相関順同士の位置関係が等しい関係にある位置関係情報がデータ保持部１５２に保持されていなければ（Ｓ３０６におけるＮＯ）、位置関係置換部１６４は、今度は、導出された位置関係情報と所定の関係、具体的には、相関順同士の位置関係が置換関係にある位置関係情報がデータ保持部１５２に保持されているか否か判定する。ここで、相関順同士の位置関係が置換関係とは、導出された位置関係情報に対応する比較ブロック２１４の相関順の位置（例えば、１ｓｔの位置Ｐａ＋Ｆａ、２ｎｄの位置Ｐａ＋Ｓａ）と、保持された位置関係情報に対応する比較ブロック２１４の相関順の位置（例えば、１ｓｔの位置Ｐｘ＋Ｆｘ、２ｎｄの位置Ｐｘ＋Ｓｘ）との、１ｓｔと２ｎｄの位置が互いに置き換えられている関係を言う。この場合、両方の基準ブロック２０４に対応する比較ブロック２１４の相関関係（位置関係情報）に誤りが生じているおそれがあると評価することができる。

【0063】

（ステップＳ３１０）
パターンマッチングの比較的早い段階において、導出された位置関係情報と相関順同士の位置関係が置換関係にある位置関係情報がデータ保持部１５２に保持されていなければ（Ｓ３０８におけるＮＯ）、位置関係置換部１６４は、導出された位置関係情報を基準ブロック２０４ａに対応付けてデータ保持部１５２の各保持領域に保持させ、ステップＳ３３２に処理を移す。

【0064】

図７は、保持領域を説明するための説明図であり、特に、図７（ａ）は、視差候補保持領域を示し、図７（ｂ）は、基準保持領域を示し、図７（ｃ）は、２ｎｄ保持領域を示し、図７（ｄ）は、２ｎｄ視差保持領域を示す。例えば、図６に示した位置関係情報を保持することを試みると、図７（ａ）の視差候補保持領域のブロック位置Ｄａに、基準ブロック２０４ａの視差、すなわち、ブロック位置Ｄａに相当する画素位置Ｐａと１ｓｔ位置Ｐａ＋Ｆａとの差分（相対位置）Ｆａが保持される。また、図７（ｂ）の基準保持領域の１ｓｔ位置Ｐａ＋Ｆａには、元となる基準ブロック２０４ａを特定するためのブロック位置Ｄａが保持される。図７（ｃ）の２ｎｄ保持領域の１ｓｔ位置Ｐａ＋Ｆａには、その１ｓｔ位置と対応する基準ブロック２０４ａの２ｎｄ位置Ｐａ＋Ｓａが保持される。図７（ｄ）の２ｎｄ視差保持領域の１ｓｔ位置Ｐａ＋Ｆａには、その１ｓｔ位置と対応する基準ブロック２０４ａの２ｎｄ位置Ｐａ＋Ｓａが視差として選択された場合の差分（相対位置）Ｓａが保持される。こうして、位置関係情報がデータ保持部１５２に保持される。かかる保持領域では、基準保持領域を参照して、任意の比較ブロック２１４が既に１ｓｔ位置として抽出されているか否か判定でき、１ｓｔ位置として抽出されていれば、２ｎｄ保持領域や２ｎｄ視差保持領域を参照して、２ｎｄ位置の情報を取得することができる。

【0065】

（ペアリング）
図８は、位置関係置換部１６４の動作を説明するための説明図である。このように、位置関係情報がデータ保持部１５２に保持されると、以降の基準ブロック（例えば、２０４ｂ）の位置関係情報（Ｄｂ、Ｐｂ、Ｆｂ、Ｓｂ）が、その保持された位置関係情報（Ｄａ、Ｐａ、Ｆａ、Ｓａ）と相関順同士の位置関係が等しい関係となる可能性が生じる。そこで、ステップＳ３０６において、位置関係置換部１６４は、相関順同士の位置関係が等しい関係にある位置関係情報がデータ保持部１５２に保持されているか否かを以下の数式６および数式７に基づいて判定する。
｜（Ｐａ＋Ｆａ）−（Ｐｂ＋Ｆｂ）｜<閾値 …（数式６）
｜（Ｐａ＋Ｓａ）−（Ｐｂ＋Ｓｂ）｜<閾値 …（数式７）
上記数式６は、１ｓｔ位置の差が閾値未満であれば、１ｓｔ位置同士が等しい、または、ほぼ等しいとみなすことができることを示し、上記数式７は、２ｎｄ位置の差が閾値未満であれば、２ｎｄ位置同士が等しい、または、ほぼ等しいとみなすことができることを示す。かかる数式６および数式７を満たす場合、いずれか一方の基準ブロック２０４について相関順が誤っているおそれが高い。

【0066】

（ステップＳ３１２）
導出された位置関係情報と相関順同士の位置関係が等しい関係にある位置関係情報がデータ保持部１５２に保持されていれば、すなわち、上記数式６および数式７の条件を満たしていれば（Ｓ３０６におけるＹＥＳ）、位置関係置換部１６４は、以下の数式８を満たすか否か判定する。
｜Ｆｂ−Ｓａ｜<閾値 …（数式８）
上記数式８を用いることで、基準ブロック２０４ｂの１ｓｔの視差に相当する差分（相対位置）Ｆｂが基準ブロック２０４ａの２ｎｄの視差に相当する差分（相対位置）Ｓａと等しい、または、ほぼ等しいか判定できる。

【0067】

（ステップＳ３１４）
上記数式８を満たす場合（Ｓ３１２におけるＹＥＳ）、一方の基準ブロック２０４ａについて相関順が誤っているとみなすことができるので、位置関係置換部１６４は、基準ブロック２０４ａの相関順を互いに置換するとともに、基準ブロック２０４ａの位置関係情報をデータ保持部１５２に保持させ、ステップＳ３３２に処理を移す。

【0068】

図９および図１０は、保持領域を説明するための説明図である。具体的に、位置関係置換部１６４は、既に保持された基準ブロック２０４ａの位置関係情報について、図９に示すように、基準ブロック２０４ａの相関順（１ｓｔと２ｎｄと）を置換する。すなわち、図９（ａ）の視差候補保持領域のブロック位置Ｄａに、ブロック位置Ｄａに相当する画素位置Ｐａと２ｎｄ位置Ｐａ＋Ｓａとの差分Ｓａが新たに保持される。また、図９（ｂ）の基準保持領域の２ｎｄ位置Ｐａ＋Ｓａにブロック位置Ｄａが保持される。図９（ｃ）の２ｎｄ保持領域の２ｎｄ位置Ｐａ＋Ｓａには、基準ブロック２０４ａの１ｓｔ位置Ｐａ＋Ｆａが保持される。図９（ｄ）の２ｎｄ視差保持領域の２ｎｄ位置Ｐａ＋Ｓａには視差に相当する差分Ｆａが保持される。こうして、基準ブロック２０４ａの位置関係情報が更新され、新たに生じうるペアリングに対応可能となる。

【0069】

また、位置関係置換部１６４は、導出された基準ブロック２０４ｂの位置関係情報について、図１０（ａ）の視差候補保持領域のブロック位置Ｄｂに、ブロック位置Ｄｂに相当する画素位置Ｐｂと１ｓｔ位置Ｐｂ＋Ｆｂとの差分Ｆｂが保持される。また、図１０（ｂ）の基準保持領域の１ｓｔ位置Ｐｂ＋Ｆｂには、元となる基準ブロック２０４ｂを特定するためのブロック位置Ｄｂが保持される。図１０（ｃ）の２ｎｄ保持領域の１ｓｔ位置Ｐｂ＋Ｆｂには、２ｎｄ位置Ｐｂ＋Ｓｂが保持される。図１０（ｄ）の２ｎｄ視差保持領域の１ｓｔ位置Ｐｂ＋Ｆｂには視差に相当する差分Ｓｂが保持される。こうして、基準ブロック２０４ｂの位置関係情報がデータ保持部１５２に保持される。

【0070】

（ステップＳ３１６）
上記数式８を満たさない場合（Ｓ３１２におけるＮＯ）、位置関係置換部１６４は、以下の数式９を満たすか否か判定する。
｜Ｆａ−Ｓｂ｜<閾値 …（数式９）
上記数式９を用いることで、基準ブロック２０４ａの１ｓｔの視差に相当する差分（相対位置）Ｆａが基準ブロック２０４ｂの２ｎｄの視差に相当する差分（相対位置）Ｓｂと等しい、または、ほぼ等しいか判定できる。

【0071】

（ステップＳ３１８）
上記数式９を満たす場合（Ｓ３１６におけるＹＥＳ）、他方の基準ブロック２０４ｂについて相関順が誤っているとみなすことができるので、位置関係置換部１６４は、基準ブロック２０４ａの位置関係情報を更新することなく、基準ブロック２０４ｂの相関順（１ｓｔと２ｎｄと）を互いに置換し、置換した位置関係情報をデータ保持部１５２に保持させ、ステップＳ３３２に処理を移す。

【0072】

図１１は、保持領域を説明するための説明図である。具体的に、位置関係置換部１６４は、導出された基準ブロック２０４ｂの位置関係情報について、図１１（ａ）の視差候補保持領域のブロック位置Ｄｂに、ブロック位置Ｄｂに相当する画素位置Ｐｂと２ｎｄ位置Ｐｂ＋Ｓｂとの差分Ｓｂが保持される。また、図１１（ｂ）の基準保持領域の２ｎｄ位置Ｐｂ＋Ｓｂにブロック位置Ｄｂが保持される。図１１（ｃ）の２ｎｄ保持領域の２ｎｄ位置Ｐｂ＋Ｓｂには、基準ブロック２０４ａの１ｓｔ位置Ｐｂ＋Ｆｂが保持される。図１１（ｄ）の２ｎｄ視差保持領域の２ｎｄ位置Ｐｂ＋Ｓｂには視差に相当する差分Ｆｂが保持される。こうして、基準ブロック２０４ｂの位置関係情報がデータ保持部１５２に保持され、新たに生じうるペアリングに対応可能となる。

【0073】

（ステップＳ３２０）
上記数式９を満たさない場合（Ｓ３１６におけるＮＯ）、２つの基準ブロック２０４ａ、２０４ｂのうち、視差が最小となる（比較ブロック２１４との相対位置が最小となる）一方の基準ブロック２０４に関する視差のみを有効とし、視差が最小とならない他方の基準ブロック２０４を無効化して、ステップＳ３３２に処理を移す。

【0074】

図１２は、保持領域を説明するための説明図である。仮に、基準ブロック２０４ａを無効とする場合、位置関係置換部１６４は、既に保持された基準ブロック２０４ａの位置関係情報について、図１２に示すように、リセット処理を施す。すなわち、図１２（ａ）の視差候補保持領域のブロック位置Ｄａの値Ｆａを０に変換する。また、図１２（ｂ）〜（ｄ）の各保持領域の１ｓｔ位置Ｐａ＋Ｆａの値を全てリセットする。こうして、基準ブロック２０４ａの位置関係情報が無効化される。かかる視差が最小とならない基準ブロック２０４の無効化処理については特許第３２８７４６５号公報等、既存の技術を適用できるので、ここでは、その詳細な説明を省略する。

【0075】

（クロスペアリング）
図１３は、位置関係置換部１６４の他の動作を説明するための説明図である。上記では、基準ブロック（例えば、２０４ｂ）の位置関係情報（Ｄｂ、Ｐｂ、Ｆｂ、Ｓｂ）が、その保持された位置関係情報（Ｄａ、Ｐａ、Ｆａ、Ｓａ）と相関順同士の位置関係が等しくなる場合を説明した。ここでは、両位置関係情報の相関順同士の位置関係が置換関係にある場合を説明する。ステップＳ３０８において、位置関係置換部１６４は、相関順同士の位置関係が置換関係にある位置関係情報がデータ保持部１５２に保持されているか否かを以下の数式１０および数式１１に基づいて判定する。
｜（Ｐａ＋Ｆａ）−（Ｐｂ＋Ｓｂ）｜<閾値 …（数式１０）
｜（Ｐａ＋Ｓａ）−（Ｐｂ＋Ｆｂ）｜<閾値 …（数式１１）
上記数式１０は、基準ブロック２０４ａの１ｓｔ位置と基準ブロック２０４ｂの２ｎｄ位置との差が閾値未満であれば、それらが等しい、または、ほぼ等しいとみなすことができることを示し、上記数式１１は、基準ブロック２０４ａの２ｎｄ位置と基準ブロック２０４ｂの１ｓｔ位置との差が閾値未満であれば、それらが等しい、または、ほぼ等しいとみなすことができることを示す。かかる数式１０および数式１１を満たす場合、両基準ブロック２０４について相関順が誤っているおそれがある。

【0076】

（ステップＳ３２２）
導出された位置関係情報と相関順同士の位置関係が置換関係にある位置関係情報がデータ保持部１５２に保持されていれば、すなわち、上記数式１０および数式１１の条件を満たしていれば（Ｓ３０８におけるＹＥＳ）、位置関係置換部１６４は、以下の数式１２を満たすか否か判定する。
｜Ｓａ−Ｓｂ｜<閾値 …（数式１２）
上記数式１２を用いることで、基準ブロック２０４ａと基準ブロック２０４ｂとの２ｎｄの視差（相対位置）同士が等しい、または、ほぼ等しいか判定できる。

【0077】

（ステップＳ３２４）
上記数式１２を満たす場合（Ｓ３２２におけるＹＥＳ）、両基準ブロック２０４ａ、２０４ｂについて相関順が誤っているとみなすことができるので、位置関係置換部１６４は、基準ブロック２０４ａの相関順を互いに置換するとともに、基準ブロック２０４ｂの相関順を互いに置換し、置換した位置関係情報をデータ保持部１５２に保持させ、ステップＳ３３２に処理を移す。

【0078】

図１４および図１５は、保持領域を説明するための説明図である。具体的に、位置関係置換部１６４は、既に保持された基準ブロック２０４ａの位置関係情報について、図１４に示すように、基準ブロック２０４ａの相関順を置換する。すなわち、図１４（ａ）の視差候補保持領域のブロック位置Ｄａに、ブロック位置Ｄａに相当する画素位置Ｐａと２ｎｄ位置Ｐａ＋Ｓａとの差分Ｓａが新たに保持される。また、図１４（ｂ）の基準保持領域の２ｎｄ位置Ｐａ＋Ｓａにブロック位置Ｄａが保持される。図１４（ｃ）の２ｎｄ保持領域の２ｎｄ位置Ｐａ＋Ｓａには、基準ブロック２０４ａの１ｓｔ位置Ｐａ＋Ｆａが保持される。図１４（ｄ）の２ｎｄ視差保持領域の２ｎｄ位置Ｐａ＋Ｓａには視差に相当する差分Ｆａが保持される。こうして、基準ブロック２０４ａの位置関係情報が更新される。

【0079】

また、位置関係置換部１６４は、導出された基準ブロック２０４ｂの位置関係情報について、相関順を置換し、図１５（ａ）の視差候補保持領域のブロック位置Ｄｂに、ブロック位置Ｄｂに相当する画素位置Ｐｂと２ｎｄ位置Ｐｂ＋Ｓｂとの差分Ｓｂが保持される。また、図１５（ｂ）の基準保持領域の２ｎｄ位置Ｐｂ＋Ｓｂには、元となる基準ブロック２０４ｂを特定するためのブロック位置Ｄｂが保持される。図１５（ｃ）の２ｎｄ保持領域の２ｎｄ位置Ｐｂ＋Ｓｂには、１ｓｔ位置Ｐｂ＋Ｆｂが保持される。図１５（ｄ）の２ｎｄ視差保持領域の２ｎｄ位置Ｐｂ＋Ｓｂには視差に相当する差分Ｆｂが保持される。こうして、基準ブロック２０４ｂの位置関係情報が正しく更新され、データ保持部１５２に保持される。

【0080】

（ステップＳ３２６）
上記数式１２を満たさない場合（Ｓ３２２におけるＮＯ）、位置関係置換部１６４は、以下の数式１３を満たすか否か判定する。
｜Ｆａ−Ｆｂ｜<閾値 …（数式１３）
上記数式１３を用いることで、基準ブロック２０４ａと基準ブロック２０４ｂとの１ｓｔの視差（相対位置）同士が等しい、または、ほぼ等しいか判定できる。

【0081】

（ステップＳ３２８）
上記数式１３を満たす場合（Ｓ３２６におけるＹＥＳ）、基準ブロック２０４ａおよび基準ブロック２０４ｂの両ブロックについて、相関順が正しいとみなすことができるので、位置関係置換部１６４は、基準ブロック２０４ａの位置関係情報を更新することなく、基準ブロック２０４ｂの位置関係情報をデータ保持部１５２に保持させ、ステップＳ３３２に処理を移す。

【0082】

図１６は、保持領域を説明するための説明図である。具体的に、位置関係置換部１６４は、導出された基準ブロック２０４ｂの位置関係情報について、図１６（ａ）の視差候補保持領域のブロック位置Ｄｂに、ブロック位置Ｄｂに相当する画素位置Ｐｂと１ｓｔ位置Ｐｂ＋Ｆｂとの差分Ｆｂが保持される。また、図１６（ｂ）の基準保持領域の１ｓｔ位置Ｐｂ＋Ｆｂにブロック位置Ｄｂが保持される。図１６（ｃ）の２ｎｄ保持領域の１ｓｔ位置Ｐｂ＋Ｆｂには、基準ブロック２０４ａの２ｎｄ位置Ｐｂ＋Ｓｂが保持される。図１６（ｄ）の２ｎｄ視差保持領域の１ｓｔ位置Ｐｂ＋Ｆｂには視差に相当する差分Ｓｂが保持される。こうして、基準ブロック２０４ｂの位置関係情報がデータ保持部１５２に保持される。

【0083】

（ステップＳ３３０）
上記数式１３を満たさない場合（Ｓ３２６におけるＮＯ）、２つの基準ブロック２０４ａ、２０４ｂのうち、視差が最小となる（比較ブロック２１４との相対位置が最小となる）基準ブロック２０４に関する視差のみを有効とし、視差が最小とならない基準ブロック２０４を無効化して、ステップＳ３３２に処理を移す。かかる処理については、図１２を用いて既に説明したので、ここでは、その詳細な説明を省略する。

【0084】

（ステップＳ３３２）
続いて、位置関係置換部１６４は、対象となる全ての基準ブロック２０４についてステップＳ３０２〜ステップＳ３３０の処理が完了したか否か判定する。

【0085】

（ステップＳ３３４）
対象となる全ての基準ブロック２０４について処理が完了していなければ（Ｓ３３２におけるＮＯ）、基準となる基準画像から新たに１の基準ブロック２０４を抽出して、ステップＳ３０２からの処理を繰り返す。

【0086】

（ステップＳ３３６）
対象となる全ての基準ブロック２０４について処理が完了していれば（Ｓ３３２におけるＹＥＳ）、差分値決定部１６６は、位置関係置換部１６４によって特定された、基準ブロック２０４に関する位置関係情報における相関が最も高い相関順の位置、すなわち、１ｓｔ位置を、基準ブロック２０４の視差として決定し、当該パターンマッチング処理を終了する。

【0087】

以上、説明したように、パターンマッチングにおいて、比較画像２１０の１の比較ブロック２１４が基準画像２００の複数の基準ブロック２０４と相関が最も高くなる場合においても、単に一方の基準ブロック２０４を無効とせず、基準ブロック同士や比較ブロック同士の相対的な位置関係を評価し、本来の相関順となっていない位置関係情報の相関順を置換して正すことで、対象物の視差を適切に導出することが可能となる。こうして、基準ブロック２０４同士と比較ブロック２１４同士の位置関係がより明確に対応付けられる。

【0088】

また、コンピュータを、上述したフィルタリング装置や環境認識システム１００として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

【0089】

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

【0090】

例えば、上述した実施形態においては、比較対象として、視点の異なる２つの撮像装置１１０において同時に撮像された一対の画像を用いる例を挙げて説明したが、かかる場合に限らず、互いに関連性を有する一対の画像に対して広く適用可能である。このような互いに関連性を有する一対の画像としては、例えば、所謂オプティカルフローの処理対象である、単眼カメラによる１の撮像装置（単眼撮像装置）で異なる時刻に撮像され、時系列に出力された２つの画像や、所謂テンプレートマッチングの処理対象である、撮像された画像と予め準備された画像（テンプレート画像）との組み合わせ等が考えられる。また、上述した実施形態では、差分値として、視点の異なる２つの撮像装置１１０において同時に撮像された一対の画像における「視差」を挙げて説明したが、かかる場合に限らず、差分値は、互いに関連性を有する一対の画像における基準ブロックの差分等、対応する抽出部位同士の差分であればよい。

【0091】

また、上述した実施形態では、輝度画像を比較対象とし、輝度画像の輝度に基づいて評価値を導出しているが、かかる場合に限らず、輝度以外の情報、例えば、遠赤外線カメラより得られる熱分布や、レーザレーダやミリ波レーダより得られる反射強度の分布等を比較対象とし、それらに基づいて評価値を導出してもよい。この場合も、上記同様、差分値は、対応する抽出部位同士の差分であればよい。

【0092】

また、上述した実施形態では、図３に示すように、トラックの中央における領域を例に挙げて説明したが、道路のパイロン列、照明灯または電柱、テールランプ等、車両の所定部位にも適用できるのは言うまでもない。

【0093】

また、上述した実施形態では、「１ｓｔ」と「２ｎｄ」の２つの差分値の候補に対する処理を例示したが、候補となる差分値は２に留まらず、データ保持部１５２の該当する保持領域を追加することで、３以上の差分値の候補に対して同様のペアリングおよびクロスペアリングを行うことも可能である。

【0094】

なお、本明細書のパターンマッチング処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、例えば、ペアリングとクロスペアリングを、並列的あるいはサブルーチンによる処理を含んでもよい。ペアリングとクロスペアリングとを並列的に実行する場合、両現象が同時に成り立つことがある。この場合、いずれかの処理を優先するとしてもよいし、さらに他の処理結果を用いて、いずれの処理が正しいかを判定してもよい。

【産業上の利用可能性】

【0095】

本発明は、複数の画像における対象物の差分値（視差）を適切に導出するフィルタリング装置に利用することができる。

【符号の説明】

【0096】

１１０ 撮像装置
１２０ 車外環境認識装置（フィルタリング装置）
１６０ 評価値導出部
１６２ 位置関係情報導出部
１６４ 位置関係置換部
１６６ 差分値決定部
２００ 基準画像
２０４ 基準ブロック
２１０ 比較画像
２１４ 比較ブロック

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】