特開 2023-166832 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023166832

(43)【公開日】2023-11-22

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   G06T 7/593 20170101AFI20231115BHJP

【ＦＩ】

G06T7/593

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022077643

(22)【出願日】2022-05-10

(71)【出願人】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110000925

【氏名又は名称】弁理士法人信友国際特許事務所

(72)【発明者】

【氏名】内田 裕介

(72)【発明者】

【氏名】稲田 圭介

(72)【発明者】

【氏名】高田 雅士

(72)【発明者】

【氏名】野中 進一

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA04

5L096CA05

5L096DA02

5L096FA66

5L096FA67

5L096FA69

5L096GA19

5L096GA51

5L096JA03

(57)【要約】

【課題】階層探索において上位の視差が無効と判定された場合であっても、視差算出の可能性を高める。
【解決手段】２つのカメラで撮像した画像を比較して視差を求める画像処理装置であって、画像処理装置は、２つの画像のうち一方の画像に含まれる第一画像ブロックと類似度の高い画像ブロックを、他方の画像のうち所定の第一の探索幅に基づいて決められる第一の探索範囲から特定し、第一の大きさの画像領域単位で第一の視差を求める第一階層のマッチング処理と、他方の画像のうち第一の視差及び所定の第二の探索幅に基づいて決められる第二の探索範囲から特定することで、第二の大きさの画像領域単位で第二の視差を求める第二階層のマッチング処理と、を行い、第一階層のマッチング処理において、第一の探索範囲内の端で、第一画像ブロックと類似度の高い画像ブロックが存在する場合に、第一の探索幅又は第二の探索範囲を広げて探索を行う。
【選択図】図３

【特許請求の範囲】

【請求項1】

２つのカメラで撮像された２つの画像を比較して視差を求める視差算出部を備えた画像処理装置であって、
前記視差算出部は、
第一の大きさの画像領域であり前記２つの画像のうち一方の画像に含まれる第一画像ブロックと最も類似度の高い画像ブロックを、前記２つの画像の他方の画像のうち予め定められた第一の探索幅に基づいて決められる第一の探索範囲から特定することで、前記第一の大きさの画像領域単位で第一の視差を求める第一階層のステレオマッチング処理と、
第一の大きさより小さい第二の大きさの画像領域であり前記２つの画像のうち一方の画像に含まれる第二画像ブロックと最も類似度の高い画像ブロックを、前記２つの画像の他方の画像のうち前記第一の視差及び予め定められた第二の探索幅に基づいて決められる第二の探索範囲から特定することで、前記第二の大きさの画像領域単位で第二の視差を求める第二階層のステレオマッチング処理と、を行い、
前記第一階層のステレオマッチング処理において、前記第一の探索範囲内の端で、前記第一画像ブロックと最も類似度の高い画像ブロックが存在する場合に、前記第一の探索幅又は前記第二の探索範囲を広げて、探索を行う、
画像処理装置。

【請求項2】

前記第一の探索幅又は前記第二の探索範囲を広げて探索を行う際に、前記第一の探索幅又は前記第二の探索範囲に予め上限を設ける、
請求項１に記載の画像処理装置。

【請求項3】

前記視差算出部は、前記第一の探索幅又は前記第二の探索範囲を広げて探索を行う際に、探索方向に沿って類似度が減少した点に基づき探索を打ち切る、
請求項１に記載の画像処理装置。

【請求項4】

前記視差算出部は、前記第一階層のステレオマッチング処理において、前記第一の探索範囲内の端で、前記第一画像ブロックと最も類似度の高い画像ブロックが存在する場合に、前記第一の探索範囲のいずれの端で前記最も類似度の高い画像ブロックが見つかったかに基づいて、前記第一の探索幅又は前記第二の探索範囲を決定する、
請求項１に記載の画像処理装置。

【請求項5】

前記視差算出部は、前記第一画像ブロックの大きさに基づき、前記第一の探索幅又は前記第二の探索範囲を広げて探索を行うか否かを決定する、
請求項１に記載の画像処理装置。

【請求項6】

前記視差算出部は、前記第一階層のステレオマッチング処理における探索において、前記第一の探索範囲内の前記類似度の差が、予め定めた閾値より大きいか否かに基づき、前記第一の探索幅又は前記第二の探索範囲を広げて探索を行うか否かを決定する、
請求項１に記載の画像処理装置。

【請求項7】

前記視差算出部は、前記第一階層のステレオマッチング処理における探索において、前記最も類似度の高い画像ブロックの類似度が、前記探索範囲内の他の画像ブロックの類似度と比べて、予め定めた閾値より大きい差があるか否かに基づき、前記第一の探索幅又は前記第二の探索範囲を広げて探索を行うか否かを決定する、
請求項１に記載の画像処理装置。

【請求項8】

前記視差算出部は、前記第一階層のステレオマッチング処理において求めた前記第一の視差が、予め定めた閾値より大きいか否かに基づいて、前記第一の探索幅又は前記第二の探索範囲を広げて探索を行うか否かを決定する、
請求項１に記載の画像処理装置。

【請求項9】

前記視差算出部は、前記画像ブロック内の輝度勾配が、予め定めた閾値より大きいか否かに基づいて、前記第一の探索幅又は前記第二の探索範囲を広げて探索を行うか否かを決定する、
請求項１に記載の画像処理装置。

【請求項10】

前記視差算出部は、前記第一階層のステレオマッチング処理において、前記第一画像ブロックと類似するとされる画像ブロックが複数存在する場合に、前記第一階層のステレオマッチング処理の結果、前記第一の視差を出力せず、前記第二階層のステレオマッチング処理を行う、
請求項１に記載の画像処理装置。

【請求項11】

前記視差算出部は、前記画像ブロック内の輝度勾配が、予め定めた閾値よりも大きいか否かに基づいて、前記第一の視差を出力するか否かを決定する、
請求項１０に記載の画像処理装置。

【請求項12】

２つのカメラで撮像された２つの画像を比較して視差を求める視差算出部を備えた画像処理装置による画像処理方法であって、
前記視差算出部は、
第一の大きさの画像領域であり前記２つの画像のうち一方の画像に含まれる第一画像ブロックと最も類似度の高い画像ブロックを、前記２つの画像の他方の画像のうち予め定められた第一の探索幅に基づいて決められる第一の探索範囲から特定することで、前記第一の大きさの画像領域単位で第一の視差を求める第一階層のステレオマッチング処理と、
第一の大きさより小さい第二の大きさの画像領域であり前記２つの画像のうち一方の画像に含まれる第二画像ブロックと最も類似度の高い画像ブロックを、前記２つの画像の他方の画像のうち前記第一の視差及び予め定められた第二の探索幅に基づいて決められる第二の探索範囲から特定することで、前記第二の大きさの画像領域単位で第二の視差を求める第二階層のステレオマッチング処理と、を行い、
前記第一階層のステレオマッチング処理において、前記第一の探索範囲内の端で、前記第一画像ブロックと最も類似度の高い画像ブロックが存在する場合に、前記第一の探索幅又は前記第二の探索範囲を広げて、探索を行う、
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影装置で撮影された画像を用いて、車両の周辺に存在する対象物を監視する画像処理装置及び画像処理方法に関する。

【背景技術】

【0002】

一対のカメラを有するステレオカメラで撮影されたステレオ画像に基づき、カメラ視野内に存在する物体までの距離を三角測量の原理で計測する位置測定装置が知られている。三角測量の原理とはすなわち、左右のカメラによって撮影された同一の物体の像の位置のずれ（視差）を用いて、カメラからその物体までの距離を算出するものである。視差の導出は、物体の一方の画像上における像が、他方の画像上のどこに存在するかを特定することによって実現する。

【0003】

視差の導出方法としては様々な手法が提案されている。例えば、古典的手法では、一方の画像中の複数画素からなる画像領域に対して、他方の画像中で最も非類似度の低い画像領域を探索するブロックマッチングが知られている。

【0004】

近年、こうした測距結果が車両の自動運転（ＡＤ）や高度運転支援（ＡＤＡＳ）などに用いられる。自動運転では、より遠方の路上落下物の検知や、穴、隆起等の路面状態の把握が必須となる。しかし、遠方の物体は近方の物体と比べて、画像上より少数の画素から構成されるため、より高精細な距離情報が必要となる。そのために、視差の導出にかかる演算量や演算時間が増大するという課題がある。

【0005】

演算量や演算時間の増大に対する対策としては、まず低解像度の視差画像を作成しておき、より高精細な視差の探索には対応する低解像度の視差、すなわち上位視差の周辺のみを探索する階層探索が知られている（特許文献１を参照）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００１－３１９２２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１では、より高解像度（下位）の視差を算出するために、予め算出した低解像度（上位）の視差周辺のみを探索することで、計算量や計算時間の縮減を図っている。一方、視差の探索にあたっては、例えば、視差探索範囲内の端で左右画像の画像内領域の非類似度が最小となって、探索範囲外に真の視差が存在することが予想されるなどを理由にして、算出された視差の信頼度を低いとみなして当該視差を無効とすることがある。階層探索において、より低解像度の視差が無効とみなされた場合、この低解像度の視差に対応する高解像度の視差は探索できず、すべて無効となる。そのため、最終的な高解像度の視差画像において大量の無効視差が発生する場合があるという課題がある。

【0008】

上記の状況から、階層探索において上位の視差が無効と判定された場合に、対応する下位の視差すべてを無効とすることを避け、視差算出の可能性を高める手法が要望されていた。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明の一態様の画像処理装置は、２つのカメラで撮像された２つの画像を比較して視差を求める視差算出部を備えた画像処理装置である。
上記視差算出部は、第一の大きさの画像領域であり２つの画像のうち一方の画像に含まれる第一画像ブロックと最も類似度の高い画像ブロックを、２つの画像の他方の画像のうち予め定められた第一の探索幅に基づいて決められる第一の探索範囲から特定することで、第一の大きさの画像領域単位で第一の視差を求める第一階層のステレオマッチング処理と、第一の大きさより小さい第二の大きさの画像領域であり２つの画像のうち一方の画像に含まれる第二画像ブロックと最も類似度の高い画像ブロックを、２つの画像の他方の画像のうち第一の視差及び予め定められた第二の探索幅に基づいて決められる第二の探索範囲から特定することで、第二の大きさの画像領域単位で第二の視差を求める第二階層のステレオマッチング処理と、を行う。そして、視差算出部は、第一階層のステレオマッチング処理において、第一の探索範囲内の端で、第一画像ブロックと最も類似度の高い画像ブロックが存在する場合に、第一の探索幅又は第二の探索範囲を広げて、探索を行う。
ここで、探索範囲は、探索幅を決める探索の始点と終点の情報である。

【発明の効果】

【0010】

本発明の少なくとも一態様によれば、階層探索において上位の視差が無効と判定された場合に、対応する下位の視差すべてを無効とすることを避け、視差算出の可能性を高めることができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0011】

【図1】車両内の制御系のハードウェア構成例を示す図である。

【図2】車両周辺の様子、粗距離画像、及び詳細距離画像の比較を示す図である。

【図3】本発明の第１の実施形態に係る演算装置の機能構成例を示すブロック図である。

【図4】本発明の第１の実施形態における視差算出部が備える視差探索部による視差決定の概念を示す図である。

【図5】本発明の第１の実施形態による局所再探索の判定例及び再探索時の探索範囲延長方向の例を示す図である。

【図6】本発明の第１の実施形態による階層探索第Ｎ階層の局所探索処理の手順例を示すフローチャートである。

【図7】本発明の第２の実施形態に係る演算装置における視差算出部の機能構成例を示すブロック図である。

【図8】本発明の第２の実施形態による階層探索第Ｎ階層の局所探索処理の手順例を示したフローチャートである。

【図9】本発明の第２の実施形態における局所探索範囲内の非類似度の大小の例を示す図である。

【図10】本発明の第３の実施形態による階層探索第Ｎ階層の局所探索処理の手順例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明を実施するための形態（以下、「実施形態」と称する）の例について、添付図面を参照して説明する。本明細書及び添付図面において、同一の構成要素又は実質的に同一の機能を有する構成要素には同一の符号を付して重複する説明を省略する。また、同一あるいは同様の機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。また、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。

【0013】

＜第１の実施形態＞
まず、本発明の第１の実施形態に係る演算装置（画像処理装置の一例）について図１～図６を参照して説明する。

【0014】

図１は、車両内の制御系のハードウェア構成例を示す図である。図１に示す車両１０は、演算装置１と、左カメラ２と、右カメラ３と、車両制御装置４とを備える。演算装置１及び車両制御装置４は、電子制御装置（Electronic Control Unit：ECU）である。左カメラ２及び右カメラ３は、車両１０の周囲を撮影して得られた撮影画像を演算装置１に出力する。左カメラ２及び右カメラ３は、水平方向に並んで配置される。以下では、左カメラ２の撮影画像を第１カメラ画像２１、右カメラ３の撮影画像を第２カメラ画像３１と呼ぶ。また、左カメラ２を「第１のカメラ」と呼び、右カメラ３を「第２のカメラ」と呼ぶこともある。

【0015】

左カメラ２及び右カメラ３は水平方向を向くように配置されるので、第１カメラ画像２１（左画像）及び第２カメラ画像３１（右画像）のいずれも、鉛直方向及び水平方向に広がりのある３次元空間を撮影して得られた画像である。ただし、ここでいう水平や垂直は厳密な意味ではなく、第１カメラ画像２１及び第２カメラ画像３１の左右方向が天地ではなく水平方向に対応するという程度の意味である。例えば、左カメラ２および右カメラ３が光軸を回転中心として最大で３０度程度傾いてもよい。

【0016】

演算装置１は、中央演算装置であるＣＰＵ１１、読み出し専用の記憶装置であるＲＯＭ１２、読み書き可能な記憶装置であるＲＡＭ１３、及び第１カメラ画像２１や第２カメラ画像３１を受信するインタフェース１４を備える。ＣＰＵ１１がＲＯＭ１２に格納されるコンピュータープログラムをＲＡＭ１３に展開して実行することで、演算装置１の後述する複数の機能が実現される。ＲＯＭ１２の代わりに、図示しない不揮発性ストレージにコンピュータープログラムを格納してもよい。ＲＯＭ１２及び不揮発性ストレージは、当該プログラムを格納したコンピューター読取可能な非一過性の記録媒体の一例として用いられる。

【0017】

ただし、演算装置１は、ＣＰＵ１１、ＲＯＭ１２、及びＲＡＭ１３の組合せの代わりに、書換え可能な論理回路であるＦＰＧＡ（Field Programmable Gate Array）や特定用途向け集積回路であるＡＳＩＣ（Application Specific Integrated Circuit）により、それらの一部又はすべての機能が実現されてもよい。また、演算装置１は、ＣＰＵ１１、ＲＯＭ１２、及びＲＡＭ１３の組合せの代わりに、異なる構成の組合せ、例えば、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３とＦＰＧＡの組合せにより実現されてもよい。

【0018】

インタフェース１４は、第１カメラ画像２１（左画像）及び第２カメラ画像３１（右画像）を受信し、ＣＰＵ１１に提供する。ただし、ＣＰＵ１１に備えられるレジスタにはわずかな情報しか格納できないので、ＣＰＵ１１が自由にそれらの情報を参照できるように、インタフェース１４は受信した第１カメラ画像２１及び第２カメラ画像３１をＲＡＭ１３に格納する。

【0019】

演算装置１は、入力される第１カメラ画像２１（左画像）及び第２カメラ画像３１（右画像）を用いて、視差に基づいた車両１０周辺の物体までの距離情報を含む距離画像４１（図２参照）を作成し、車両制御装置４に出力する。演算装置１が距離画像４１を作成する過程は、図２以降を参照して後に詳述する。距離画像４１とは、二次元平面における距離の遠近を色の濃淡や色の彩度で表したものである。ただし、本実施形態では、距離画像４１の各画素には濃淡を表す「０」～「２５５」の整数値が格納される。このうち「０」は、距離の算出が不可能であったことを示す特別な数値である。

【0020】

距離画像４１に示される範囲は、第１カメラ画像２１（左画像）及び第２カメラ画像３１（右画像）と略同一である。ただし、距離画像４１に示される範囲は、第１カメラ画像２１及び第２カメラ画像３１に示される範囲よりも狭くてもよい。距離画像４１の画素数は、第１カメラ画像２１及び第２カメラ画像３１と略同一でもよいし、第１カメラ画像２１及び第２カメラ画像３１の画素数よりも少なくてもよい。

【0021】

すなわち、第１カメラ画像２１（左画像）、及び第２カメラ画像３１（右画像）に記録されている三次元空間は、少なくとも一部が重複していればよい。左カメラ２、及び右カメラ３の車両１０における取り付け位置や取り付け姿勢は既知であり、第１カメラ画像２１、及び第２カメラ画像３１の相互の位置関係も既知である。そのため、第１カメラ画像２１における所定の画素の三次元空間における位置が、第２カメラ画像３１のどの位置に相当するかも既知である。第１カメラ画像２１及び第２カメラ画像３１の相互の位置関係は、演算で求めてもよいし、予めルックアップテーブルなどを用意して参照して求めてもよい。

【0022】

すなわち、左カメラ２と右カメラ３の相対位置は既知であり、２つのカメラの内部パラメータも既知なので、被写体のカメラまでの距離と視差の関係も既知である。本実施形態では、距離と視差の関係は、不図示の視差テーブルとして演算装置１のＲＯＭ１２に格納される。本実施形態では、距離と視差の関係は既知なので、視差は「距離に対応する情報」と呼ぶこともできる。また、本実施形態では、距離と視差は相互に容易に変換可能なので、両者は実質的に同一の情報とみなせる。

【0023】

車両制御装置４は、演算装置１から入力される距離画像４１を用いて車両１０を制御する。車両制御装置４は、例えば、距離画像４１から車両１０の周辺に存在する障害物を検出し、車両１０と検出した障害物との衝突を避けるように車両１０を制御する。車両制御装置４による車両１０の制御は、例えば、車両制御装置４が、不図示の操舵装置及び不図示の制動装置に動作指令を出力することにより実現される。

【0024】

［車両周辺の様子、粗距離画像、及び詳細距離画像］
図２は、被写体周辺の様子、粗距離画像、及び詳細距離画像の比較を示す図である。
図２は、第１カメラ画像２１、第２カメラ画像３１、粗距離画像４５、及び詳細距離画像４６に格納される情報の解像度の比較を説明する図である。ただし、ここでいう解像度とは、奥行き方向の距離ではなく、画像上の上下方向や左右方向の分解能の高さを意味する。なお、粗距離画像４５と詳細距離画像４６は、図１に示した距離画像４１の一例である。

【0025】

図２上段は車両１０の周辺の様子を示す図であり、他の車両２０が存在している。図２中段は車両２０を撮影した粗距離画像４５の解像度を示す概念図、図２下段は粗距離画像４５よりも解像度が高い詳細距離画像４６の解像度を示す概念図である。

【0026】

図２中段に示す粗距離画像４５には、図２上段に示す領域を縦と横のそれぞれを５分割した合計２５個の画像領域ごとの距離情報が格納される。

【0027】

図２下段に示す詳細距離画像４６には、図２上段に示す領域を縦と横のそれぞれを１０分割した合計１００個の画像領域ごとの距離情報が格納される。粗距離画像４５及び詳細距離画像４６は、図示画像の上下が天地方向に、図示画像の左右が水平方向に対応する。

【0028】

本実施形態では、図２中段に示すように粗距離画像４５に含まれる１つの距離情報が示す画像領域を「第一画像ブロック」と呼び、図２下段に示すように詳細距離画像４６に含まれる１つの距離情報が示す画像領域を「第二画像ブロック」と呼ぶ。第一画像ブロックの大きさ（第一の大きさ）は第二画像ブロックの大きさ（第二の大きさ）よりも大きい。図２に示す例及び本実施形態では、第一画像ブロックは第二画像ブロックに比べて幅と高さがそれぞれ２倍であり、面積は４倍である。ただし、第一画像ブロックが第二画像ブロックよりも大きければよく、倍数は特に制限されない。

【0029】

なお、１点の距離情報は、必ずしも第一画像ブロック全体を測定して得られた距離情報ではないが、本実施形態では、その距離情報が便宜的に第一画像ブロック全体を代表する距離情報とみなしている。また、詳細距離画像４６における第二画像ブロックのそれぞれが、粗距離画像４５におけるいずれの第一画像ブロックの領域内に含まれるかも既知である。

【0030】

第１カメラ画像２１及び第２カメラ画像３１のそれぞれは、第二画像ブロックと同等以上の解像度で輝度や彩度の情報を有する。図２の例に即すると、第１カメラ画像２１及び第２カメラ画像３１のそれぞれは、図２上段に示す範囲について縦と横ともに少なくとも１０画素、すなわち全部で１００画素以上の情報を有する。第１カメラ画像２１と第２カメラ画像３１は、詳細距離画像４６と略同一の画素数でもよいし、縦方向や横方向が２倍や１０倍の画素を有していてもよい。本実施形態では、一例として第１カメラ画像２１と第２カメラ画像３１は、詳細距離画像４６と略同一の画素数とする。

【0031】

［視差算出部の機能構成］
次に、本発明の第１の実施形態に係る演算装置１の機能構成例について図３を参照して説明する。
図３は、演算装置１の機能構成例を示すブロック図である。図３に示すように、演算装置１は、視差探索部１０１、上位参照視差決定部１０２、及び視差無効性判定部１０３から構成される視差算出部１００を備える。視差算出部１００の視差探索部１０１、上位参照視差決定部１０２、及び視差無効性判定部１０３の各機能は、前述のＣＰＵ１１によるソフトウェア処理により実現される。なお、以下に説明する処理により生成される情報、例えば、探索範囲情報、視差情報、非類似度情報、上位視差情報、視差無効性情報、探索範囲変更指示は、ＲＡＭ１３に一時的に保存される。

【0032】

また、既述したように、三角測量の原理を用いて、同一の被写体を含む左右２つのカメラ画像の視差に基づいて、左右のカメラから当該被写体までの距離を求めることができる。したがって、視差算出部１００において２つの画像の視差情報に基づいて距離画像（例えば、粗距離画像４５、詳細距離画像４６など）を生成して車両制御装置４へ出力してもよい。ただし、本実施形態では、視差算出部１００で視差情報を算出して車両制御装置４へ出力する例を説明する。

【0033】

視差算出部１００には、左カメラ２１と右カメラ３１により異なる視点で撮像された第１カメラ画像２１（左画像）と第２カメラ画像３１（右画像）が入力される。

【0034】

視差探索部１０１は、第１カメラ画像２１と第２カメラ画像３１の２つの画像を比較することで視差探索（視差決定）を実施し、探索結果として「視差情報」と、視差決定に用いた「非類似度情報」を出力する。この探索処理には、一例としてステレオマッチング処理を用いることができる。ステレオマッチング処理では、２つの画像のそれぞれの比較対象の画像ブロックを一画素ずつずらして照合する。ここでのステレオマッチング処理は、第一階層のステレオマッチング処理の例である。視差探索部１０１は、このとき生成する視差が階層探索（例えば、特許文献１参照）における最上位視差ではない場合には、上位参照視差決定部１０２から「探索範囲情報」を得て、その範囲内のみを探索する局所探索を行う。この局所探索処理は、第二階層のステレオマッチング処理の例である。なお、以降の説明では、視差探索を単に「探索」ともいう。

【0035】

上記の探索範囲情報は、ステレオマッチング処理を用いた視差探索において、基準のカメラ画像（例えば、第１カメラ画像２１）に対する他のカメラ画像（例えば、第２カメラ画像３１）のうち探索範囲（画素ずらし量）を決める始点と終点の画素の情報である。始点と終点から探索幅が求められる。一般に、高解像度の画像ほど探索幅が広くなる。

【0036】

また、最上位視差は、カメラ画像（原画像）から階層的な複数の解像度の画像を生成した場合に、その中の最も低解像度画像から探索された視差である。探索の結果、視差探索部１０１は、非類似度が最小となるように視差を決定する。決定した視差の情報（画像上での当該視差の位置を表わす情報）は、非類似度情報とともに視差無効性判定部１０３に送られる。

【0037】

視差無効性判定部１０３は、視差探索部１０１から出力された「非類似度情報」を参照して、視差探索部１０１が決定した視差が局所探索範囲内の端に位置するか否かを判定する。ここで、当該決定した視差の位置が端であった場合、視差無効性判定部１０３は、局所探索範囲外にさらに非類似度の低い点、すなわち真の視差が存在する可能性が高いとみなして、視差探索部１０１に対して決定された視差の位置する局所探索範囲端の外側に局所探索範囲を変更（例えば延長）して再探索するよう指示（図中「探索範囲変更指示」）を出す。

【0038】

局所探索範囲の延長の程度に関しては、予め画像の階層（解像度）等の条件ごとに延長後の探索範囲や延長幅を決定して、視差算出部１００内（例えば、ＲＯＭ１２）に登録しておく。この局所探索範囲の延長の程度は、例えば、許容探索時間、コストによって、画像の階層ごとに異なる。例えば、演算装置１の処理能力、カメラ画像のデータサイズなどにより探索時間が異なる。局所探索範囲の最大延長幅は演算装置１の回路規模（処理能力）で決まる。

【0039】

視差探索部１０１は、視差無効性判定部１０３の探索範囲変更指示を受けて再探索を実施し、延長された探索範囲を含めて非類似度が最小となる点を視差として再度出力する。

【0040】

このとき、演算装置１の演算量や演算時間を考慮して、延長する探索範囲には上限を定めてもよい。すなわち、演算装置１では、第一の探索幅（上位階層の探索幅）又は第二の探索範囲（下位階層の探索範囲）を広げて探索を行う際に、第一の探索幅又は第二の探索範囲に予め上限を設ける。このように構成された本実施形態によれば、第一の探索幅又は第二の探索範囲に上限が設けられることで、演算装置１の演算量の軽減及び演算時間の短縮が可能となる。

【0041】

また、視差探索部１０１は、再探索の過程で１つ目の非類似度の極小値を見つけたら、そこで探索を打ち切って、１つ目の極小値の点を視差として出力してもよい。すなわち、視差探索部１０１は、第一の探索幅（上位階層の探索幅）又は第二の探索範囲（下位階層の探索範囲）を広げて探索を行う際に、探索方向に沿って類似度が減少した点に基づき探索を打ち切るように構成することができる。このように構成された本実施形態によれば、探索方向に沿って類似度が減少した点に基づいて視差を確定することで、演算装置１の演算量の軽減及び演算時間の短縮が可能となる。

【0042】

なお、本明細書において、最小、極小という用語を用いているが、本明細書では、厳密に数学的な意味での最小、極小以外にも実質的な最小、極小を含む。例えば、極小点については、微分値が０又は所定値以下（例えば、０に近い小さい値）となる箇所が該当する。

【0043】

さらに、後述する図５を用いて説明する局所探索範囲の延長方向が、探索の向きと同一であるか逆向きであるかによって、延長探索実施の有無や延長範囲を変えてもよい。すなわち、視差探索部１０１は、第一階層のステレオマッチング処理（より上位階層の局所探索）において、第一の探索範囲内の端で、第一画像ブロックと最も類似度の高い画像ブロックが存在する場合に、第一の探索範囲のいずれの端で最も類似度の高い画像ブロックが見つかったかに基づいて、第一の探索幅又は第二の探索範囲を決定するように構成することができる。このように構成された本実施形態によれば、第一の探索範囲のいずれの端で類似度が高い（非類似度が最小の）画像ブロックが見つかったかに基づいて、第一の探索幅又は第二の探索範囲を決定することで、より類似度が高い視差を探索することができる。

【0044】

再探索結果の「視差情報」と「非類似度情報」は、再び視差探索部１０１から視差無効性判定部１０３に送られる。ここでは、視差無効性判定部１０３は、視差探索部１０１において一度再探索した結果をそのまま「視差情報」及び「視差無効性（有効／無効）情報」として車両制御装置４に送ってもよいし、視差無効性判定部１０３において再探索のための判定を再度行ってもよい。有効／無効の基本的な考え方として、上記決定した視差の位置が局所探索範囲内の端ではない場合には当該視差を有効とし、当該決定した視差の位置が局所探索範囲内の端である場合には当該視差を無効と判定する。

【0045】

［視差探索部による視差決定］
次に、本発明の第１の実施形態における視差算出部１００が備える視差探索部１０１（図３）による視差決定の概念について図４を参照して説明する。
図４は、視差算出部１００の視差探索部１０１による視差決定の概念を示す図である。図４上段に、第１カメラ画像２１と第２カメラ画像３１が示されている。この例では、基準画像である第１カメラ画像２１の画像領域２０１に対応する参照画像、すなわち第２カメラ画像３１の画像領域を探索している。なお、第１カメラ画像２１を基準画像としたが、第２カメラ画像３１を基準画像としてもよい。

【0046】

本実施形態では、左カメラ２と右カメラ３が水平方向に並んで設置されているので、エピポーラ幾何によるエピポーラ線２０２は水平方向に延びる破線で示される。第１カメラ画像２１及び第２カメラ画像３１の図示横方向の幅が１０００画素であり、画像領域２０１の中心が第１カメラ画像２１の左端から４００画素目の場合に、参照画像である第２カメラ画像３１の横方向には図示するように－４００～＋６００の数値が振られる。例えば、視差探索部１０１により参照画像の左端から５００画素を中心とする画像領域２０３が基準画像の画像領域２０１に対応すると判断された場合には、視差は「１００」と算出される。

【0047】

図４中段は、参照画像（第２カメラ画像３１）のエピポーラ線２０２上の位置ごとの画像領域２０１との非類似度の一例を示す図である。図４中段に示す例では、非類似度が最小となるピーク（極小点）が存在し、他に近い値のピークが存在しないため、視差探索部１０１により画像領域２０１の視差が「１００」と算出される。

【0048】

図４下段は、参照画像（第２カメラ画像３１）のエピポーラ線２０２上の位置ごとの画像領域２０１との非類似度の別の一例を示す図である。図４下段に示す例では、非類似度が最小となるピークが２つ存在しそれらの非類似度の値が略同一のため、画像領域２０１の視差が「－１８０」と「＋１１５」のいずれであるのかが決定できない。このような場合には、視差探索部１０１は、画像領域２０１は無効領域として距離画像４１の画像領域２０１に対応する位置には視差「０」を設定する。なお、この非類似度が最小となるピークが複数ある場合の関連発明を、後述する第３の実施形態に示している。

【0049】

［局所再探索の判定例及び再探索時の探索範囲延長方向］
図５は、本発明の第１の実施形態による局所再探索の判定例及び再探索時の探索範囲延長方向の例を示す図である。図中のグラフの横軸は第１カメラ画像２１と第２カメラ画像３１の両画像を比較する際の位置（画素ずらし量に相当）であり、縦軸は比較の結果の非類似度である。２本の一点鎖線で挟まれた領域は局所探索範囲を示している。

【0050】

図５上段のグラフでは、局所探索範囲内における視差の非類似度は単調減少し、局所探索範囲の右端で非類似度が最小となる。そのため、視差探索部１０１は、局所探索範囲の右端にある視差５０１を出力するが、同時にここで算出した５つの非類似度（視差５０１に対応する非類似度を含む）も出力する。視差無効性判定部１０３は、視差探索部１０１から視差５０１とともに５つの非類似度を取得することで、視差５０１が局所探索範囲内の右端に位置すること、すなわち視差５０１が無効であることを判定できる。よって、視差５０１は、視差無効性判定部１０３による探索範囲変更指示の対象となる。

【0051】

または、視差探索部１０１は、非類似度の代わりに、出力視差が局所探索範囲内の端であること、又は右端であることを出力してもよい。視差無効性判定部１０３は、これら情報から視差探索部１０１が出力した視差が局所探索範囲内の端（ここでは右端）であることを判定できる。図５上段に示す例の場合、再探索時の探索範囲の延長方向は右方向（画素ずらし量が増える方向）となる。

【0052】

図５中段のグラフでは、局所探索範囲内における視差の非類似度は単調減少ではなく極大値を有するが、やはり視差探索部１０１は、局所探索範囲の右端に位置する視差５０２を非類似度の最小点として出力する。そのため、視差５０２は、視差無効性判定部１０３による探索範囲変更指示の対象となる。再探索時の探索範囲の延長方向は右方向（画素ずらし量が増える方向）となる。

【0053】

図５下段のグラフは、局所探索範囲内における視差の非類似度は単調増加ではなく極大値及び極小値を有するが、局所探索範囲内の左端に位置する視差５０３の非類似度が最小値である。そのため、視差５０３は、視差無効性判定部１０３による探索範囲変更指示の対象となる。再探索時の探索範囲の延長方向は左方向（画素ずらし量が減る方向）となる。

【0054】

［局所探索処理の手順例］
次に、本発明の第１の実施形態における階層探索第Ｎ階層の局所探索処理の手順例について図６を参照して説明する。
図６は、第１の実施形態の視差算出部１００による階層探索第Ｎ階層の局所探索処理の手順例を示すフローチャートである。

【0055】

まず、視差算出部１００において、上位参照視差決定部１０２は、視差無効性判定部１０３から得られる第Ｎ階層よりも上位の第Ｎ－１階層（より低解像度）の視差を参照して（ステップＳ１）、第Ｎ階層における初期の探索範囲を決定する（ステップＳ２）。なお、第Ｎ階層が最上位階層（最低解像度）であれば、探索範囲は予め設定しておいてＲＯＭ１２に記憶しておく。

【0056】

次いで、視差探索部１０１は、上位参照視差決定部１０２により決定された初期の探索範囲を局所探索の探索範囲に設定し、その探索範囲について局所探索を行う（ステップＳ３）。

【0057】

次いで、視差無効性判定部１０３は、視差探索部１０１による探索結果を基に、非類似度が最小となった点が探索範囲内の端に位置するかどうかを判定する（ステップＳ４）。

【0058】

ステップＳ４において非類似度が最小となった点が探索範囲内の端ではない場合（ステップＳ４のＮＯ）、視差無効性判定部１０３は、視差及び視差有効／無効（この場合は有効）を確定して出力する（ステップＳ７）。視差及び視差有効／無効の情報は、車両制御装置４及び上位参照視差決定部１０２に出力される。

【0059】

一方、非類似度が最小となった点が探索範囲内の端である場合（ステップＳ４のＹＥＳ）、視差無効性判定部１０３は、再探索回数が予め設定した再探索回数の上限以内であるかどうかを判定する（ステップＳ５）。再探索回数が予め設定した再探索回数の上限以内である場合は（ステップＳ５のＹＥＳ）、視差無効性判定部１０３は、視差探索部１０１に探索範囲変更指示を出す。なお、ステップＳ５の判定処理は許容処理時間を考慮して設けたが、削除してもよい。

【0060】

次いで、視差探索部１０１は探索範囲変更指示を受け付けると、ステップＳ３における局所探索時の探索範囲を修正して（ステップＳ６）、視差を再探索する（ステップＳ３）。

【0061】

次いで、ステップＳ４でＹＥＳ判定後、視差無効性判定部１０３は、再探索回数が予め設定した再探索回数の上限に達したと判定した場合は（ステップＳ５のＮＯ）、視差及び視差有効／無効を確定して出力する（ステップＳ７）。ステップＳ７の処理後、階層探索第Ｎ階層の局所探索処理を終了する。

【0062】

以上のとおり、第１の実施形態に係る画像処理装置（演算装置１）は、２つのカメラ（左カメラ２、右カメラ３）で撮像された２つの画像（第１カメラ画像２１、第２カメラ画像３１）を比較して視差を求める視差算出部（視差算出部１００）を備えた画像処理装置である。
上記視差算出部は、第一の大きさの画像領域であり２つの画像のうち一方の画像に含まれる第一画像ブロック（例えば、画像領域２０１）と最も類似度の高い画像ブロック（例えば、画像領域２０３）を、２つの画像の他方の画像のうち予め定められた第一の探索幅に基づいて決められる第一の探索範囲（局所探索範囲）から特定することで、第一の大きさの画像領域単位で第一の視差を求める第一階層のステレオマッチング処理（上位階層の局所探索）と、第一の大きさより小さい第二の大きさの画像領域であり２つの画像のうち一方の画像に含まれる第二画像ブロックと最も類似度の高い画像ブロックを、２つの画像の他方の画像のうち第一の視差及び予め定められた第二の探索幅に基づいて決められる第二の探索範囲から特定することで、第二の大きさの画像領域単位で第二の視差を求める第二階層のステレオマッチング処理（下位階層の局所探索（再探索））と、を行う。そして、視差算出部は、第一階層のステレオマッチング処理において、第一の探索範囲内の端で、第一画像ブロックと最も類似度の高い画像ブロックが存在する場合に、第一の探索幅又は第二の探索範囲を広げて、（例えば、変更（延長）した局所探索範囲に基づいて）探索を行う。

【0063】

上記構成の本実施形態によれば、階層探索において上位の視差が無効と判定された場合に、対応する下位の視差すべてを無効とすることを避け、視差算出の可能性を高めることができる。そして、視差の導出にかかる演算量や演算時間を増大することなく、高精細な距離情報を計算することができるので、遠方の物体でも高精度の把握することができる。よって、本実施形態によれば、より遠方の路上落下物の検知や、穴、隆起等の路面状態を把握することが可能であり、本実施形態は車両の自動運転（ＡＤ）や高度運転支援（ＡＤＡＳ）に適用して好適である。

【0064】

また、本実施形態は、視差の無効判定があっても、局所探索範囲（又は探索幅）を変えて再探索する構成としている。そのため、本実施形態は、２つの画像から非類似度（又は類似度）の真の最小値（又は極小値）を求めるというだけでなく、階層探索における同階層又は下位階層にフィードバックして、いったん無効判定しても演算負荷を上げずに効率的に有効視差を探索することができる。

【0065】

＜第２の実施形態＞
第２の実施形態は、視差の非類似度が局所探索範囲内の端で最小値となったときに、当該階層では無効判定を出力するように構成された例である。以下、第２の実施形態について、主に第１の実施形態と異なる点に着目して説明する。

【0066】

［視差算出部の機能構成］
図７は、本発明の第２の実施形態に係る演算装置（画像処理装置の一例）における視差算出部の機能構成例を示すブロック図である。図７に示すように、演算装置１は、視差探索部１０１、上位参照視差決定部１０２、及び視差無効性判定部１０３から構成される視差算出部１００Ａを備える。ただし、本実施形態に係る演算装置１の視差算出部１００Ａは、第１の実施形態に係る視差算出部１００（図３）と比較して、上位参照視差決定部１０２から視差探索部１０１に探索範囲変更指示を出す信号ラインがない点が異なる。

【0067】

視差探索部１０１には、第１の実施形態と同様に、左カメラ２１と右カメラ３１により異なる視点で撮像された第１カメラ画像２１（左画像）と第２カメラ画像３１（右画像）が入力される。

【0068】

視差探索部１０１は、第１の実施形態と同様に、第１カメラ画像２１と第２カメラ画像３１の２つの画像を比較することで視差探索（視差決定）を実施し、探索結果として「視差情報」と、視差決定に用いた「非類似度情報」を出力する。ここでの探索処理は、第一階層のステレオマッチング処理の例である。視差探索部１０１は、このとき生成する視差が階層探索（例えば、特許文献１参照）における最上位視差ではない場合には、上位参照視差決定部１０２から「探索範囲情報」を得て、その範囲内のみを探索する局所探索を行う。この局所探索処理は、第二階層のステレオマッチング処理の例である。

【0069】

探索の結果、視差探索部１０１は、非類似度が最小となるように視差を決定する。決定した視差の情報（画像上での当該視差の位置を表わす情報）は、非類似度情報とともに視差無効性判定部１０３に送られる。

【0070】

視差無効性判定部１０３は、視差探索部１０１から出力された「非類似度情報」を参照して、視差探索部１０１が決定した視差が局所探索範囲内の端に位置するか否かを判定する。ここで、当該決定した視差の位置が端であった場合、視差無効性判定部１０３は、局所探索範囲外にさらに非類似度の低い点、すなわち真の視差が存在する可能性が高いとみなして、当該視差を無効と判定する。視差無効性判定部１０３は、視差探索部１０１から出力された「視差情報」と、「視差無効性（有効／無効）情報」とを、車両制御装置４及び上位参照視差決定部１０２に出力する。ここで無効判定された視差は、下位階層の局所探索時に上位視差として参照されるが、無効視差のままでは下位視差すべてが無効判定される。その際に、例えば、特開２０２０－１４０３４４号公報に記された方法を用いて、隣接する上位視差の探索範囲の周辺を局所探索することで、無効判定を回避して下位視差を出力することができる場合がある。

【0071】

［局所探索処理の手順例］
次に、本発明の第２の実施形態における階層探索第Ｎ階層の局所探索処理の手順例について図８を参照して説明する。
図８は、第２の実施形態の視差算出部１００Ａによる階層探索第Ｎ階層の局所探索処理の手順例を示したフローチャートである。

【0072】

まず、視差算出部１００において、上位参照視差決定部１０２は、視差無効性判定部１０３から得られる第Ｎ階層よりも上位の第Ｎ－１階層（より低解像度）の視差を参照する（ステップＳ１１）。そして、上位参照視差決定部１０２は、第Ｎ階層における初期の探索範囲を決定する。

【0073】

次いで、上位参照視差決定部１０２は、その上位視差が無効であるか否かを判定し（ステップＳ１２）、上位視差が無効ではない場合は（ステップＳ１２のＮＯ）、ステップＳ１４に進む。

【0074】

ステップＳ１２において上位視差が無効であると判定された場合は（ステップＳ１２のＹＥＳ）、上位参照視差決定部１０２は、上位視差に隣接する上位階層の視差に参照先を切り替える（ステップＳ１３）。

【0075】

ステップＳ１２においてＮＯ判定の場合、又は、ステップＳ１３の処理後、視差探索部１０１は、局所探索の探索範囲を設定する。ステップＳ１２においてＮＯ判定の場合、視差探索部１０１は、上位参照視差決定部１０２により決定された初期の探索範囲を局所探索の探索範囲に設定する（ステップＳ１４）。また、ステップＳ１３の処理後では、視差探索部１０１は、上位参照視差決定部１０２において参照した上位階層の隣接する視差の周辺に局所探索の探索範囲を設定する（ステップＳ１４）。

【0076】

次いで、視差探索部１０１は、設定した局所探索の探索範囲について、局所探索を行う（ステップＳ１５）。

【0077】

次いで、視差無効性判定部１０３は、視差探索部１０１による探索結果を基に、非類似度が最小となった点が探索範囲内の端に位置するかどうかを判定する（ステップＳ１６）。

【0078】

ステップＳ１６において非類似度が最小となった点が探索範囲内の端ではない場合（ステップＳ１６のＮＯ）、視差無効性判定部１０３は、視差及び視差有効を確定して出力する（ステップＳ１８）。

【0079】

一方、非類似度が最小となった点が探索範囲内の端である場合（ステップＳ１６のＹＥＳ）、視差無効性判定部１０３は、視差を無効と判定して判定結果を出力する（ステップＳ１７）。視差及び視差有効／無効の情報は、車両制御装置４及び上位参照視差決定部１０２に出力される。ステップＳ１７又はＳ１８の処理後、階層探索第Ｎ階層の局所探索処理を終了する。

【0080】

なお、本実施形態においては、第１の実施形態で説明した図３のステップＳ５における再探索回数が上限以内かどうかの判定処理を、ステップＳ１６の処理後に設けてもよい。

【0081】

また、本実施形態で述べた無効判定は、すべての局所探索で一律である必要はない。例えば、本実施形態では、低解像度のため一度の視差探索で任意の閾値よりも広範囲を探索する比較的上位の階層（例えば、３階層のうち最上位の低解像度階層など）では、本発明における視差無効判定のときに局所探索範囲を変更する機能（以下「本機能」）をオフとし、逆に、高解像度のため一度の探索で狭い範囲を探索する比較的下位の階層では、本機能をオンとするなどの運用も可能である。

【0082】

このように演算装置１（画像処理装置）において、視差探索部１０１は、第一画像ブロック（上位階層のカメラ画像の画像ブロック）の大きさに基づき、第一の探索幅（上位階層の探索幅）又は第二の探索範囲（下位階層の探索範囲）を広げて探索を行うか否かを決定するように構成することができる。このような構成の本実施形態によれば、２つの画像のうち一方の画像に含まれる第一画像ブロックの大きさに応じて、効率よく視差探索を行うことができる。

【0083】

また、局所探索内の非類似度の差が任意の閾値よりも大きいときは局所探索範囲外に最小値が存在する確率が高いとみなして本機能をオンにし、逆に、非類似度の差が小さいときは局所探索範囲外に最小値が存在する確率が低いとしてオフにするような運用も可能である。

【0084】

このように演算装置１（画像処理装置）において、視差探索部１０１は、第一階層のステレオマッチング処理における探索（上位階層の局所探索）において、第一の探索範囲内の類似度の差が、予め定めた閾値より大きいか否かに基づき、第一の探索幅又は第二の探索範囲を広げて探索を行うか否かを決定するように構成することができる。このような構成の本実施形態によれば、第一の探索範囲内の類似度の差に応じて、効率よく視差探索を行うことができる。

【0085】

また、局所探索範囲内で最小値をとった端の近くにある視差の非類似度が、他の視差の非類似度と比べて所定量以上の差がある場合に、本機能をオンにするような運用も可能である。

【0086】

このように演算装置１（画像処理装置）において、視差無効性判定部１０３は、第一階層のステレオマッチング処理における探索（上位階層の局所探索）において、最も類似度の高い画像ブロックの類似度が、探索範囲内の他の画像ブロックの類似度と比べて、予め定めた閾値より大きい差があるか否かに基づき、第一の探索幅又は第二の探索範囲を広げて探索を行うか否かを決定するように構成することができる。このような構成の本実施形態によれば、第一の探索範囲内の類似度の差に応じて、効率よく視差探索を行うことができる。

【0087】

［局所探索処理の手順例］
以下、上述した本機能のオン／オフの切り替えについて図９を参照して説明する。
図９は、本発明の第２の実施形態における局所探索範囲内の非類似度の大小の例を示す図である。
例えば、図９のように局所探索範囲の左右端の非類似度のうち小さい方を“ＬＲｍｉｎ”、左右端を除いた非類似度の最大を“ＳＡＤｍａｘ”、最小を“ＳＡＤｍｉｎ”とする。ここで、閾値Ｔｈ０を定めておき、視差無効性判定部１０３は、次の式（１）が成立するかどうかを判定して式（１）が成立するときに本機能をオンにする運用をしてもよい。

【0088】

［数１］
ＳＡＤｍｉｎ－ＬＲｍｉｎ ≧ Ｔｈ０ ・・・・（１）

【0089】

このような運用とするのは、局所探索範囲の左右端で大きく非類似度が落ち込んでいることから、局所探索範囲外に、より小さな非類似度の点が存在する可能性が高いためである。

【0090】

また、閾値Ｔｈ１を定めおき、視差無効性判定部１０３は、次の式（２）が成立するかどうかを判定して式（２）が成立するときに本機能をオンにする運用をしてもよい。

【0091】

［数２］
ＳＡＤｍａｘ－ＬＲｍｉｎ ≧ Ｔｈ１ ・・・・（２）

【0092】

このような運用とするのは、局所探索範囲内での非類似度の大きな変動から、局所探索範囲周辺に、より小さな非類似度の点が存在すると推測できるためである。

【0093】

同様に、閾値Ｔｈ２を定めておき、視差無効性判定部１０３は、次の式（３）が成立するかどうかを判定して式（３）が成立するときに本機能をオンにする運用としてもよい。

【0094】

［数３］
ＳＡＤｍａｘ－ＳＡＤｍｉｎ ≧ Ｔｈ２ ・・・・（３）

【0095】

このように演算装置１において、視差無効性判定部１０３は、画像ブロック内の輝度勾配（非類似度の勾配；例えば、ＳＡＤｍｉｎ－ＬＲｍｉｎ、ＳＡＤｍａｘ－ＬＲｍｉｎ、又はＳＡＤｍａｘ－ＳＡＤｍｉｎ）が、予め定めた閾値（例えば、Ｔｈ０、Ｔｈ１、又はＴｈ２）より大きいか否かに基づいて、第一の探索幅（上位階層の探索幅）又は第二の探索範囲（下位階層の探索範囲）を広げて探索を行うか否かを決定するように構成することができる。このような構成の本実施形態によれば、画像ブロック内の輝度勾配に応じて、効率よく視差探索を行うことができる。

【0096】

なお、演算装置１において、視差無効性判定部１０３は、第一階層のステレオマッチング処理（上位階層の局所探索）において求めた第一の視差が、予め定めた閾値より大きいか否かに基づいて、第一の探索幅又は第二の探索範囲を広げて探索を行うか否かを決定するように構成してもよい。このような構成の本実施形態によれば、２つのカメラから物体までの距離の遠近（第一の視差と閾値との関係）に応じて、効率よく視差探索を行うことができる。

【0097】

＜第３の実施形態＞
次に、第３の実施形態に係る演算装置（画像処理装置の一例）について図１０を参照して説明する。
図１０は、第３の実施形態の視差算出部１００Ａによる階層探索第Ｎ階層の局所探索処理の手順例を示すフローチャートである。本実施形態に係る視差算出部１００Ａは、第２の実施形態に係る視差算出部１００Ａと同じ構成を用いることができる。図１０のステップＳ２１～Ｓ２５の処理は、第２の実施形態における図８のステップＳ１１～Ｓ１５の処理と同じであるため、説明を省略する。

【0098】

まず、視差算出部１００Ａにおいて、上位参照視差決定部１０２及び視差探索部１０１は、ステップＳ２１～Ｓ２５の処理を実施する。

【0099】

ステップＳ２５の処理後、視差無効性判定部１０３は、視差探索部１０１による探索結果を基に、局所探索範囲内に非類似度の複数の極小値があるか否かを判定する（ステップＳ２６）。

【0100】

ステップＳ２６において局所探索範囲内に非類似度の極小値が一つである場合（ステップＳ２６のＮＯ）、視差無効性判定部１０３は、局所探索範囲内での極小値の位置（端との距離が閾値よりも近いかどうか）に応じて有効／無効を判定し、視差及び視差有効／無効を確定して出力する（ステップＳ２８）。

【0101】

一方、局所探索範囲内に非類似度の複数の極小値が存在する場合（ステップＳ２６のＹＥＳ）、視差無効性判定部１０３は、視差を無効と判定して判定結果を出力する（ステップＳ２７）。視差及び視差有効／無効の情報は、車両制御装置４及び上位参照視差決定部１０２に出力される。ステップＳ２７又はＳ２８の処理後、階層探索第Ｎ階層の局所探索処理を終了する。

【0102】

以上のとおり、第３の実施形態に係る画像処理装置（演算装置１）は、第一階層のステレオマッチング処理（上位階層の局所探索）において、第一画像ブロックと類似するとされる画像ブロックが複数存在する場合に、第一階層のステレオマッチング処理の結果、第一の視差を出力せず、第二階層のステレオマッチング処理（下位階層の局所探索）を行うように構成することができる。

【0103】

上記構成の本実施形態によれば、第一階層のステレオマッチング処理において、第一画像ブロックと類似するとされる画像ブロックが複数存在する場合に、求めた視差を無効判定するとともに、第二階層のステレオマッチング処理（下位階層の局所探索）を行うため、対応する下位の視差すべてを無効とすることを避け、視差算出の可能性を高めることができる。

【0104】

また、演算装置１において、視差無効性判定部１０３は、第２の実施形態の構成を流用して、画像ブロック内の輝度勾配が、予め定めた閾値よりも大きいか否かに基づいて、第一の視差を出力するか否かを決定するように構成することができる。このような構成の本実施形態によれば、画像ブロック内の輝度勾配に応じて、効率よく視差探索を行うことができる。

【0105】

＜変形例＞
さらに、本発明は上述した実施形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、その他種々の応用例、変形例を取り得ることは勿論である。例えば、上述した実施形態は本発明を分かりやすく説明するためにその構成を詳細かつ具体的に説明したものであり、必ずしも説明したすべての構成要素を備えるものに限定されない。また、ある実施形態の構成の一部を他の実施形態の構成要素に置き換えることが可能である。また、ある実施形態の構成に他の実施形態の構成要素を加えることも可能である。また、各実施形態の構成の一部について、他の構成要素の追加又は置換、削除をすることも可能である。

【0106】

また、本明細書において、時系列的な処理を記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的、あるいは個別に実行される処理（例えば、オブジェクトによる処理）をも含むものである。

【0107】

また、上述した実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成要素が相互に接続されていると考えてもよい。

【符号の説明】

【0108】

１…演算装置、 ２…左カメラ、 ３…右カメラ、 ４…車両制御装置、 １０…車両、 ２０…被写体、 ４１…距離画像、 ４５…粗距離画像、 ４６…詳細距離画像、 ２１…第１カメラ画像（左カメラ画像）、 ３１…第２カメラ画像（右カメラ画像）、 １００，１００Ａ…視差算出部、 １０１…視差探索部、 １０２…上位参照視差決定部、 １０３…視差無効性判定部、 ２０１，２０３…画像領域、 ２０２…エピポーラ線、 ５０１～５０３，９０１…視差

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】