特許 6321365 対応点探索方法および距離測定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6321365

(24)【登録日】2018年4月13日

(45)【発行日】2018年5月9日

(54)【発明の名称】対応点探索方法および距離測定装置

(51)【国際特許分類】

   G01C 3/06 20060101AFI20180423BHJP

   G06T 1/00 20060101ALI20180423BHJP

【ＦＩ】

   G01C3/06 110V

   G01C3/06 140

   G06T1/00 315

【請求項の数】4

【全頁数】13

(21)【出願番号】特願2013-258192(P2013-258192)

(22)【出願日】2013年12月13日

(65)【公開番号】特開2015-114269(P2015-114269A)

(43)【公開日】2015年6月22日

【審査請求日】2016年11月17日

(73)【特許権者】

【識別番号】000004695

【氏名又は名称】株式会社ＳＯＫＥＮ

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(73)【特許権者】

【識別番号】592032636

【氏名又は名称】学校法人トヨタ学園

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際特許業務法人

(72)【発明者】

【氏名】石丸 和寿

(72)【発明者】

【氏名】今西 勝之

(72)【発明者】

【氏名】テヘラニニキネジャド ホセイン

(72)【発明者】

【氏名】白井 孝昌

(72)【発明者】

【氏名】三田 誠一

(72)【発明者】

【氏名】ロン チャン

【審査官】 中村 説志

(56)【参考文献】

【文献】 特開２００３−０８５５６６（ＪＰ，Ａ）

【文献】 特開２０１２−１８１１４２（ＪＰ，Ａ）

【文献】 特開２００６−０９０８９６（ＪＰ，Ａ）

【文献】 特開２００５−１６５９２８（ＪＰ，Ａ）

【文献】 特開平０３−２９１７６６（ＪＰ，Ａ）

【文献】 特表２００２−５４１５６８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／０３０７９３７（ＵＳ，Ａ１）

【文献】 福嶋慶繁、外３名，“Ｍｕｌｔｉ−Ｐａｓｓ Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇによる光線空間補間”，電子情報通信学会論文誌，２００７年 ７月 １日，Vol.J90-D, No.7，p.1721-1725，ISSN:1880-4535

【文献】 Jae Chul Kim, et al.，"A Dense Stereo Matching Using Two-Pass Dynamic Programming with Generalized Ground Control Points"，Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05)，２００５年 ６月２０日，ISSN:1063-6919, DOI:10.1109/CVPR.2005.22

【文献】 三田誠一，“車両の走行環境認識技術とその応用”，第４回ＺＭＰフォーラム，［online］，２０１２年 ７月２６日，［平成29年9月21日検索］，インターネット＜URL：http://www.zmp.co.jp/forum/pdf/4th/mita_1.pdf＞,＜URL：http://www.zmp.co.jp/forum/pdf/4th-program.pdf＞

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｃ ３／００− ３／３２

Ｇ０１Ｂ１１／００−１１／３０

Ｇ０６Ｔ １／００− １／４０

Ｇ０６Ｔ ３／００− ９／４０

(57)【特許請求の範囲】

【請求項1】

複数の画像を画像処理する画像処理装置にて実行され、複数の画像間の対応点を探索する対応点探索方法（Ｓ１３０）であって、
前記複数の画像のうちの基準画像中のある画素を表す基準画素における画素情報と、前記基準画像を除く他の画像中の画素を表す比較画素における画素情報と、の差異に基づく画素コストを、前記基準画素および前記比較画素を変更しつつ、前記基準画素毎に演算する画素コスト演算工程（Ｓ２１０）と、
前記基準画素を変更する際において前記基準画素と前記比較画素との座標差である視差の変化量に対するコストを表す視差コストを、前記基準画素毎に演算し、前記各基準画素に対して、前記画素コストと前記視差コストとの和を表す合計コストが最小値となる際の比較画素との組み合わせを演算する最小コスト画素演算工程（Ｓ２２０〜Ｓ２６０）と、
前記各基準画素に対応する比較画素を、前記各基準画素に対応する対応点として設定する対応点設定工程（Ｓ２７０）と、
を実施し、
前記最小コスト画素演算工程では、
前記基準画素および前記比較画素を複数の方向に沿って順に変更したときにおける合計コストが最小となるときの最小コストを演算し、方向毎に演算された最小コストを互いに加算した値を前記最小値とし、
前記最小コスト画素演算工程では、最小コストＥ（ｐ，ｕ）を下記式を用いて演算すること
を特徴とする対応点探索方法。

【数1】

ただし、Ｅ（ｐ，ｕ）は、ピクセル位置ｐ、ピクセル位置ｐ−１との視差ｕの際の最小コスト、ｓ（ｕ，ｖ）は、ピクセル位置ｐ−１からピクセル位置ｐになるときに、視差がｖからｕに変化する際のコスト、Ｄ（ｐ，ｕ）は、ピクセル位置ｐ、視差ｕのときの、基準画像の画素位置と視差との関係によって特定される位置でのコストを表す。

【請求項2】

請求項１に記載の対応点探索方法において、
前記最小コスト画素演算工程では、
前記基準画像を除く他の画像を比較画像として、前記基準画素および前記比較画素を複数の方向に沿って前記比較画像の一方の端部から他方の端部まで順に変更したときにおける最小コストを前記方向毎に演算し、方向毎に演算された最小コストを加算した値を前記最小値とすること
を特徴とする対応点探索方法。

【請求項3】

請求項１または請求項２に記載の対応点探索方法において、
前記最小コスト画素演算工程では、
前記基準画素および前記比較画素を第１方向に沿って順に変更したときにおける最小コストを演算する第１コスト演算工程（Ｓ２２０）と、
前記基準画素および前記比較画素を、前記第１方向とは異なる１または複数の方向を表す第２方向に沿って順に変更したときにおける最小コストを方向毎に演算する第２コスト演算工程（Ｓ２３０〜Ｓ２５０）と、
前記各最小コストを加算した値を前記最小値とするコスト加算工程（Ｓ２６０）と、
を実施することを特徴とする対応点探索方法。

【請求項4】

視差を有する複数の撮像画像を用いて撮像画像中の物標までの距離を測定する距離測定装置（１）であって、
前記複数の撮像画像における各画素間の位置関係を対応付ける画素対応手段（Ｓ１３０）と、
前記各画素間の位置関係に基づいて物標までの距離を測定する測定手段（Ｓ１４０）と、
を備え、
前記画素対応手段は、請求項１〜請求項３の何れか１項に記載の対応点探索方法を用いて前記複数の撮像画像における各画素間の位置関係を対応付けること
を特徴とする距離測定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の画像間の対応点を探索する対応点探索方法、および対応点探索方法を利用する距離測定装置に関する。

【背景技術】

【0002】

上記の対応点探索方法として、左右の撮像画像の横１方向にビタビアルゴリズムを適用し、対応点の探索を行うものが知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００３−０８５５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の対応点探索方法では、横方向にエッジ部（明るさ等の変化点）が無い場合、対応点の探索結果が不安定になるという問題点があった。
そこで、このような問題点を鑑み、複数の画像間の対応点を探索する対応点探索方法において、より精度よく対応点の探索ができるようにすることを本発明の目的とする。

【課題を解決するための手段】

【0005】

本発明の対応点探索方法においては、画素コスト演算工程にて、前記複数の画像のうちの基準画像中のある画素を表す基準画素における画素情報と、前記基準画像を除く他の画像中の画素を表す比較画素における画素情報と、の差異に基づく画素コストを、前記基準画素および前記比較画素を変更しつつ、前記基準画素毎に演算する。そして、最小コスト画素演算工程にて、前記基準画素を変更する際において前記基準画素と前記比較画素との座標差である視差の変化量に対するコストを表す視差コストを、前記基準画素毎に演算し、前記各基準画素に対して、前記画素コストと前記視差コストとの和を表す合計コストが最小値となる際の比較画素との組み合わせを演算する。

【0006】

さらに、対応点設定工程にて、前記各基準画素に対応する比較画素を、前記各基準画素に対応する対応点として設定する。ここで、最小コスト画素演算工程では、基準画素および前記比較画素を複数の方向に沿って順に変更したときにおける合計コストが最小となるときの最小コストを演算し、方向毎に演算された最小コストを互いに加算した値を前記最小値とする。

【0007】

このような対応点探索方法によれば、最小コストを演算する際に、１方向だけでなく複数の方向に沿って比較画素を変更させ、この際のコストをそれぞれ求めるので、１方向だけではエッジ部が抽出できない場合であっても、複数方向でエッジ部を探索することができる。したがって、エッジ部を抽出しやすくすることができる。よって、複数の画像間でエッジ部を対応付けやすくすることができ、複数の画像間の対応点を探索する際に、より精度よく対応点の探索を行うことができる。

【0008】

なお、本発明は対応点探索方法を利用する距離検出装置として構成してもよく、また、対応点探索方法の各工程を、コンピュータを用いて実現するための距離検出プログラムとしてもよい。

【0009】

また、各請求項の記載は、可能な限りにおいて任意に組み合わせることができる。この際、発明の目的を達成できる範囲内において一部構成を除外してもよい。

【図面の簡単な説明】

【0010】

【図1】本発明が適用された距離検出装置１の概略構成を示すブロック図である。

【図2】処理部１０（ＣＰＵ１１）が実行する距離演算処理を示すフローチャートである。

【図3】距離演算処理のうちの対応点探索処理を示すフローチャートである。

【図4】左右方向におけるコスト演算の概略を示す説明図である。

【図5】ＳＳＩＭを説明する模式図である。

【図6】上下方向におけるコスト演算の概略を示す説明図である。

【図7】斜め方向におけるコスト演算の概略を示す説明図である。

【図8】高速処理の概略の示す説明図である。

【図9】種々の演算方法における処理速度を記述した表である。

【図10】得られた距離画像の一例である。

【発明を実施するための形態】

【0011】

以下に本発明にかかる実施の形態を図面と共に説明する。
［本実施形態の構成］
本発明が適用された距離検出装置１は、複数の撮像画像の視差を検出することによって撮像画像中の各点（物標）までの距離を検出する装置である。特に、本実施形態の距離検出装置１では、動的計画法であるビタビアルゴリズムを複数の方向に適用することで複数の撮像画像を構成する画素間の対応関係（視差）を高精度に求めることができるよう配慮されている。

【0012】

詳細には、距離検出装置１は、乗用車等の車両に搭載されており、図１に示すように、処理部１０と、２つの撮像部２１，２２と、車両制御部３０とを備えている。なお、撮像部は２つに限られることなく、３以上設けられていてもよい。

【0013】

撮像部２１，２２は、それぞれ車両の進行方向が撮像範囲内となる周知のカメラとして構成されている。撮像部２１，２２は、中心軸が平行かつ水平方向に所定の距離だけ離れて配置されたステレオカメラを構成している。これらの撮像部２１，２２は、予め決まった時間で周期的に同時に撮像を行うよう設定されている。

【0014】

処理部１０は、ＣＰＵ１１と、ＲＯＭ、ＲＡＭ等のメモリ１２とを備えた周知のコンピュータとして構成されている。処理部１０（ＣＰＵ１１）は、撮像部２１，２２によって撮像された撮像画像を取得する。そして、メモリ１２に格納されたプログラムに基づいて後述する距離演算処理等の各種処理を実行する。

【0015】

車両制御部３０は、処理部１０による処理結果を利用して車両を制御する処理を行う。例えば、車両制御部３０は、撮像部２１，２２による撮像範囲内の各点（各画素）における距離の情報を処理部１０から取得し、この距離の情報に基づいて物標位置および相対速度を認識する。そして、物標が走行に支障を来す虞がある場合、走行軌道を変更する車両制御を行う。

【0016】

［本実施形態の処理］
このように構成された距離検出装置１において、処理部１０（ＣＰＵ１１）は、図２以下に示す距離演算処理を実施する。距離演算処理は、撮像画像中の各点までの距離を演算する処理である。距離演算処理は、例えば距離検出装置１の電源が投入されると開始され、その後、一定周期毎に繰り返し実施される。

【0017】

この処理では、まず、撮像部２１，２２によって撮像された撮像画像を取得する（Ｓ１１０）。続いて、撮像された画像を平行化する（Ｓ１２０）。ここで、画像の平行化とは、撮像画像のレンズによる画像の歪みや姿勢のずれを補正する処理等を示す。

【0018】

続いて、対応点探索処理を実施する（Ｓ１３０）。対応点探索処理は、基準画像（例えば撮像部２１による撮像画像）を構成する各画素と比較画像（例えば撮像部２２による撮像画像）を構成する各画素との対応関係、すなわち、同じものが写っている場所を関連付ける処理である。

【0019】

詳細には図３に示すように、まず、節点のコストを算出する（Ｓ２１０）。ここで、節点とは、図４（ａ）に示すように、基準画像の画素位置を横軸に取り、基準画像の画素位置と比較画像の画素位置との視差を縦軸に取ったマトリクスにおいて、このマトリクスを構成する要素（基準画像の画素位置と視差との関係）の１つ１つを示す。なお、この処理では、基準画像の画素位置毎に、比較画像の視差探索する範囲内にある画素に対するコストを算出する。

【0020】

ここで、ピクセル位置ｐ，視差ｕｐのときの節点のコストをＤ（ｐ，ｕｐ）と表現する。また、コストＤ（ｐ，ｕｐ）は、下記ＳＳＩＭ（Structual Similarity）を用いて求める。

【0021】

【数1】

なお、上記数式における各記号の定義については、図５に示す。また、上記数式中のα、β、γは、任意の定数である。

【0022】

次に、ビタビアルゴリズムによるコストを求める（Ｓ２２０〜Ｓ２６０）。Ｓ２２０の処理では、コストＥｘを下記の手順を実施することで求める。
［手順１−１］
まず、基準画像の画素については、基準画像の左上の画素から右方向に順に選択し、右端まで選択し終わると、１段下の左端の画素を選択し、再び右方向に順に選択する処理を繰り返す。この際、比較画像については、基準画像の選択中の画素と同じ高さ（鉛直方向の位置）にある比較画像の画素を、左から右に向かう方向（右方向）に左端から右端まで順次選択する。すなわち、図４（ｂ）に示すように、基準画像および比較画像についてそれぞれ水平方向（Ｘ方向）について選択する画素の座標を遷移させる。

【0023】

そして、比較画像の各画素について、視差（基準画像の画素の位置と比較画像の画素の位置の差）が大きくなるにつれてコストが大きくなるよう予め設定された関数を用いて視差コストＳ（ｕｐ，ｕｑ）を求める。なお、Ｓ（ｕｐ，ｕｑ）は、ｐからｑに視差が変化する際の視差コストを示す。

【0024】

［手順１−２］
そして、節点のコストＤ（ｐ，ｕｐ）と、視差コストＳ（ｕｐ，ｕｑ）とについてビタビアルゴリズムを適用する。

【0025】

【数2】

上記式（ビタビアルゴリズムの式）では、前述のある節点について、図４（ａ）に示すマトリクスにおける左端の何れかの節点からその節点（ある節点）に至るまでの、節点のコストＤ（ｐ，ｕｐ）と、視差コストＳ（ｕｐ，ｕｑ）との和、を示している。

【0026】

ここでは、節点毎に、このＥ（ｕｐ）が最小となる節点コストおよび視差コストの組み合わせをビタビアルゴリズムを用いて求める。この演算によって得られるこれらのデータを右方向のコストとする。

【0027】

［手順１−３］
上記［手順１−１］〜［手順１−２］と同様の方法を、右から左に向かう方向（左方向）に適用することによって、ビタビアルゴリズムのコストを得る。この演算によって得られるこれらのデータを左方向のコストとする。

【0028】

［手順１−４］
上記の手順にて求めた右方向のコストと左方向のコストとを対応する節点同士で加算し、得られたデータを左右方向のコストＥｘとしてメモリ１２に記録させる。

【0029】

続いて、Ｓ２３０の処理では、コストＥｙを下記の手順を実施することで求める。
［手順２−１］
まず、図６（ｂ）に示すように、各節点について、Ｙ方向（画像の鉛直方向）からみた仮想的な平面を準備する。そしてこの平面に対応する画素を選択する。すなわち、基準画像の画素については、基準画像の左上の画素から下方向に順に選択し、下端まで選択し終わると、１段右側の上端の画素を選択し、再び下方向に順に選択する処理を繰り返す。この際、比較画像については、基準画像のうちの選択中の画素と同じ左右位置（水平方向の位置）にある比較画像の画素を、上から下に向かう方向（下方向）に上端から下端まで順次選択する。

【0030】

そして、この際の視差コストＳ（ｕｐ，ｕｑ）を求める。
［手順２−２］
そして、計算済みの節点のコストＤ（ｐ，ｕｐ）と、視差コストＳ（ｕｐ，ｕｑ）とについてビタビアルゴリズムを適用する。

【0031】

ここでは、図６（ａ）に示すように、前述のビタビアルゴリズムの式を利用して、節点毎に、このＥ（ｕｐ）が最小となる節点コストおよび視差コストの組み合わせを求める。この演算によって得られるこれらのデータを下方向のコストとする。

【0032】

［手順２−３］
上記［手順２−１］〜［手順２−２］と同様の方法を、下から上に向かう方向（上方向）に適用することによって、ビタビアルゴリズムのコストを得る。この演算によって得られるこれらのデータを上方向のコストとする。

【0033】

［手順２−４］
上記の手順にて求めた下方向のコストと上方向のコストとを対応する節点同士で加算し、得られたデータを上下方向のコストＥｙとしてメモリ１２に記録させる。

【0034】

続いて、Ｓ２４０の処理では、コストＥｘ−ｙを下記の手順を実施することで求める。
［手順３−１］
まず、図７（ｂ）に示すように、各節点について、ＸＹ方向（画像の左下から４５度斜め右上方向）からみた仮想的な平面を準備する。そしてこの平面に対応する画素を選択する。すなわち、基準画像の画素については、基準画像の左上の画素を選択し、４５度右上の画素を順に選択する。

【0035】

そして、端部まで選択し終わると、左端の画素のうちの最も上段の画素を選択し、再び４５度右上に順に選択する処理を繰り返す。この際、比較画像については、基準画像のうちの選択中の画素と対応する斜め方向に位置する画素を左下端から右上端まで順次選択する。

【0036】

そして、この際の視差コストＳ（ｕｐ，ｕｑ）を求める。
［手順３−２］
そして、計算済みの節点のコストＤ（ｐ，ｕｐ）と、視差コストＳ（ｕｐ，ｕｑ）とについてビタビアルゴリズムを適用する。

【0037】

ここでは、図７（ａ）に示すように、前述のビタビアルゴリズムの式を利用して、節点毎に、このＥ（ｕｐ）が最小となる節点コストおよび視差コストの組み合わせを求める。この演算によって得られるこれらのデータを右斜め上方向のコストとする。

【0038】

［手順３−３］
上記［手順３−１］〜［手順３−２］と同様の方法を、右上から左斜め下に向かう方向に適用することによって、ビタビアルゴリズムのコストを得る。この演算によって得られるこれらのデータを右斜め下方向のコストとする。

【0039】

［手順３−４］
上記の手順にて求めた右斜め下方向のコストと右斜め上方向のコストとを対応する節点同士で加算し、得られたデータを右斜め方向のコストＥｘ−ｙとしてメモリ１２に記録させる。

【0040】

［手順４］
続いて、Ｓ２５０の処理では、コストＥｘ＋ｙを下記の手順を実施することで求める。この際には、［手順３−１］〜［手順３−４］と同様に、左斜め方向のコストＥｘ＋ｙを求め、メモリ１２に記録させる。

【0041】

ここで、上記の各処理において、ビタビアルゴリズムのコストＥ（ｐ，ｕ）（Ｅｘ、Ｅｙ、Ｅｘ−ｙ、Ｅｘ＋ｙ）は以下の式（１１）で求められる。

【0042】

【数3】

ただし、Ｅ（ｐ，ｕ）は、ピクセル位置ｐ、ピクセル位置ｐ−１との視差ｕの際のビタビアルゴリズムによるコスト、ｓ（ｕ，ｖ）は、ピクセル位置ｐ−１からピクセル位置ｐになるときに、視差がｖからｕに変化する際のコスト、Ｄ（ｐ，ｕ）は、ピクセル位置ｐ、視差ｕのときの節点のコストを表す。

【0043】

図８に示す例では、例えば、左から右方向に向けて、ピクセル位置ｐ-1からｐへのビタビアルゴリズムのコストを演算する例を示している。ピクセル位置ｐ, 視差ｕのビタビアルゴリズムのコストは、ピクセル位置ｐ−１にある全ての節点から接続される経路の内で、最も小さい｛Ｅｐ−１，ｖ｝＋ｓ（ｕ，ｖ）｝に自ノードのＤ（ｐ，ｕ）を足したものになる。

【0044】

ここで、取り得る視差の範囲をｍ, 探索範囲(図８での矢印の本数)をｎ個とすると、ピクセル位置ｐ−１からｐへ遷移するためには、ｍ×ｎ回の探索を行う必要があるといえる。

【0045】

しかしながら、本実施形態においては、下記式を用いてＥ（ｐ，ｕ）を求める。

【0046】

【数4】

この式（１２）では、視差（ｕ−１）かつピクセル位置ｐでのコストと、視差ｕ、ピクセル位置（ｐ−１）のコストと、節点のコストＤ（ｐ，ｕ）とを利用して、最適解を求めている。

【0047】

本実施形態において式（１１）の代わりに式（１２）を用いるのは、式（１１）と式（１２）とが等価であるからである。式（１１）と式（１２）とが等価であることを以下に証明する。

【0048】

【数5】

式（１３）について、Ｅ（ｐ，ｕ）は上記のように，ｍｉｎの部分について，｛ｖ＝０，…，ｕ−１｝の範囲と｛ｖ＝ｕ｝のときの２項比較と等価となる。また、式（１４）は、式（１１）におけるｕを（ｕ−１）に置換した定義と同様の式である。

【0049】

【数6】

上記式（１４）の右辺のＤを左辺に移項し，両辺に−ｓ(ｕ−１，ｖ)＋ｓ（ｕ，ｖ）を足すと以下の式（１６）が得られる。

【0050】

【数7】

そして、式（１３）の右辺のｍｉｎ｛Ｅ（ｐ−１，ｖ）＋ｓ（ｕ，ｖ）｝の部分を式（１６）の左辺に置き換えると、Ｅ（ｐ，ｕ）は上記の式（１２）で表される。つまり、２項の比較演算（ｍｉｎ部分）と節点コストＤとの足し算により算出できることが分かる。

【0051】

なお、上記においては、ｓ（ｕ, ｖ）＝ｕ−ｖとしている。このように式（１１）に換えて式（１２）を用いてコストＥ（ｐ，ｕ）を求めることで、ｍ×ｎ回の探索を２ｍ回の探索とすることができる。すなわち、処理を高速化することができる。

【0052】

詳細には、式（１２）を用いた本実施形態の処理（FastVitarbi）では、図９に示すように、式（１１）を採用した例（NormalVitarbi）と比較して、処理時間が１／３〜１／１０程度に短縮できることが分かる。なお、図９における数値は相対的な処理時間を表しており、図９では参考のために適当な３〜５点の分岐先に限定して演算を行った例（NormalVitarbiCost）についても記載している。

【0053】

続いて、図３に戻り、方向毎に演算された最小コストを互いに加算した値を最小値とする（Ｓ２６０）。そして、コストＥ（Ｅ（ｐ，ｕ））に従って、最小となる視差を選択し（Ｓ２７０）、基準画像における各画素と比較画像における各画素との対応関係をメモリ１２に記録し（Ｓ２８０）、対応点探索処理を終了する。

【0054】

このような対応点探索処理が終了すると、図２に戻り、各画素における対応点の視差に応じて各画素に写っている物標までの距離を算出する（Ｓ１４０）。そして、これらの画素と距離との対応データを車両制御装置３０に対して出力し（Ｓ１５０）、距離演算処理を終了する。

【0055】

［本実施形態による効果］
上記距離検出装置１において処理部１０は、複数の画像のうちの基準画像中のある画素を表す基準画素における画素情報（輝度、明暗、分散）と、基準画像を除く他の画像（比較画像）中の画素を表す比較画素における画素情報と、の差異に基づく画素コストを、基準画素および比較画素を変更しつつ、基準画素毎に演算する（Ｓ２１０）。そして、基準画素を変更する際において基準画素と比較画素との座標差である視差の変化量に対するコストを表す視差コストを、基準画素毎に演算し、各基準画素に対して、画素コストと視差コストとの和を表す合計コストが最小値となる際の比較画素との組み合わせを演算する（Ｓ２２０〜Ｓ２６０）。この際、基準画素および比較画素を複数の方向に沿って順に変更したときにおける合計コストが最小となるときの最小コストを演算し、方向毎に演算された最小コストを互いに加算した値を最小値とする。さらに、各基準画素に対応する比較画素を、各基準画素に対応する対応点として設定する（Ｓ２７０）。

【0056】

このような距離検出装置１によれば、最小コストを演算する際に、１方向だけでなく複数の方向に沿って比較画素を変更させ、この際のコストをそれぞれ求めるので、１方向だけではエッジ部が抽出できない場合であっても、複数方向でエッジ部を探索することができるので、エッジ部を抽出しやすくすることができる。

【0057】

よって、複数の画像間でエッジ部を対応付けやすくすることができるので、複数の画像間の対応点を探索する際に、より精度よく対応点の探索を行うことができる。そして、この対応点の探索結果を利用して物標までの距離を測定するので、距離の測定精度を向上させることができる。

【0058】

より詳細には、例えば図１０（ａ）に示すような撮像画像において、水平方向１方向だけの視差を考慮した場合には、図１０（ｂ）の破線で囲われた領域において示すように、距離が正確に求められていない部位が比較的多く存在する。しかし、本実施形態のように複数の方向についての視差を考慮した場合には、図１０（ｃ）に示すように、水平方向１方向だけの視差を考慮した場合に距離が正確に求められなかった部位においても正確に距離が求められていることが分かる。

【0059】

また、上記距離検出装置１において処理部１０は、基準画素および比較画素を複数の方向に沿って比較画像の一方の端部から他方の端部まで順に変更したときにおける最小コストを方向毎に演算し、方向毎に演算された最小コストを加算した値を最小値とする。

【0060】

このような距離検出装置１によれば、方向毎により広範囲の比較画素について探索を行うので、視差が大きな場合にも対応点の探索を良好に行うことができる。
上記距離検出装置１において処理部１０は、基準画素および比較画素を第１方向に沿って順に変更したときにおける最小コストを演算し、基準画素および比較画素を、第１方向とは異なる１または複数の方向を表す第２方向に沿って順に変更したときにおける最小コストを方向毎に演算する。そして、各最小コストを加算した値を前記最小値とする。

【0061】

特に、上記距離検出装置１において処理部１０は、動的計画法によって各方向の最小コストを演算し、新たに得られた最小コストを用いて既に得られた最小コストの補正を行う。

【0062】

このような距離検出装置１によれば、ある方向について求めた最小コストに誤りがあるとしても、他の方向について求めた最小コストでこの誤りをより確からしい値に補正することができる。よって、より対応点の探索精度を向上させることができる。

【0063】

［その他の実施形態］
本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、上記の複数の実施形態を適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。

【0064】

例えば、上記実施形態において、車両に適用したが、車両以外にも適用可能である。また、上記実施形態においては、多数の方向についてビタビアルゴリズムを適用したが、少なくとも２方向においてビタビアルゴリズムを適用すればよい。

【0065】

さらに、上記実施形態においては、画像の端部から反対側の端部までビタビアルゴリズムを適用したが、端部までに限らず、予め設定された領域内（あるピクセル数等）においてビタビアルゴリズムを適用すればよい。

【0066】

［実施形態の構成と本発明の手段との対応関係］
上記実施形態の処理部１０が実施する処理において、Ｓ１３０の処理は本発明でいう対応点探索方法および画素対応手段に相当し、本実施形態のＳ１４０の処理は本発明でいう測定手段に相当する。また、本実施形態のＳ２１０の処理は本発明でいう画素コスト演算工程に相当し、本実施形態のＳ２２０〜Ｓ２６０の処理は本発明でいう最小コスト画素演算工程に相当する。

【0067】

さらに、本実施形態のＳ２２０の処理は本発明でいう第１コスト演算工程に相当し、本実施形態のＳ２３０〜Ｓ２５０の処理は本発明でいう第２コスト演算工程に相当する。また、本実施形態のＳ２６０の処理は本発明でいうコスト加算工程に相当する。

【0068】

さらに、本実施形態のＳ２７０の処理は本発明でいう対応点設定工程に相当する。

【符号の説明】

【0069】

１…距離検出装置、１０…処理部、１１…ＣＰＵ、１２…メモリ、２１，２２…撮像部、３０…車両制御部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】