特許 6571492 対応点探索方法、および距離測定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6571492

(24)【登録日】2019年8月16日

(45)【発行日】2019年9月4日

(54)【発明の名称】対応点探索方法、および距離測定装置

(51)【国際特許分類】

   G06T 7/593 20170101AFI20190826BHJP

   G06T 7/00 20170101ALI20190826BHJP

   G06T 1/00 20060101ALI20190826BHJP

   G01C 3/06 20060101ALI20190826BHJP

【ＦＩ】

   G06T7/593

   G06T7/00 650A

   G06T1/00 315

   G06T1/00 330A

   G01C3/06 110V

【請求項の数】8

【全頁数】12

(21)【出願番号】特願2015-214460(P2015-214460)

(22)【出願日】2015年10月30日

(65)【公開番号】特開2017-84259(P2017-84259A)

(43)【公開日】2017年5月18日

【審査請求日】2017年12月13日

(73)【特許権者】

【識別番号】000004695

【氏名又は名称】株式会社ＳＯＫＥＮ

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(73)【特許権者】

【識別番号】592032636

【氏名又は名称】学校法人トヨタ学園

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際特許業務法人

(72)【発明者】

【氏名】石丸 和寿

(72)【発明者】

【氏名】白井 孝昌

(72)【発明者】

【氏名】ロン チャン

(72)【発明者】

【氏名】三田 誠一

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２０１０−１９１６３７（ＪＰ，Ａ）

【文献】 特開２０１３−１６４３５１（ＪＰ，Ａ）

【文献】 特開２００６−０５４６８１（ＪＰ，Ａ）

【文献】 特開２０１２−１１８６９８（ＪＰ，Ａ）

【文献】 特開２０１２−１５０７３０（ＪＰ，Ａ）

【文献】 特開２０１５−１１４２６９（ＪＰ，Ａ）

【文献】 特開２００３−０８５５６６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

Ｇ０６Ｔ １／００

Ｇ０１Ｃ ３／０６

(57)【特許請求の範囲】

【請求項1】

視差を有する複数の画像を画像処理する画像処理装置（１０）にて実行され、複数の画像間における対応点を探索する対応点探索方法（Ｓ１０〜Ｓ１００）であって、
前記複数の画像に含まれる画素において道路を示す道路領域および空を示す空領域のうちの少なくとも一方を示す領域を特定領域として抽出する特定領域抽出工程（Ｓ４０，Ｓ５０）と、
前記複数の画像から前記特定領域を除外した通常領域について、前記複数の画像のうちの基準画像中の画素毎に前記複数の画像間の対応点を探索する通常探索工程（Ｓ６０）と、
前記特定領域について、前記通常領域において対応点を探索するときよりも探索範囲を狭くして前記複数の画像間の対応点を探索する特定探索工程（Ｓ６０）と、
を実施する対応点探索方法。

【請求項2】

請求項１に記載の対応点探索方法において、
前記特定領域抽出工程では、前記基準画像における画素とその周囲の画素との関係において平均輝度および輝度の分散がそれぞれ予め設定された判定範囲内である画素を前記空領域を構成する画素として抽出する
対応点探索方法。

【請求項3】

請求項２に記載の対応点探索方法において、
前記特定探索工程では、前記空領域を示す画素について予め設定された画素を前記対応点とする
対応点探索方法。

【請求項4】

請求項１〜請求項３の何れか１項に記載の対応点探索方法において、
前記特定領域抽出工程では、前記基準画像において道路面よりも地中側の部位が含まれる可能性がある画素を前記道路領域として抽出する
対応点探索方法。

【請求項5】

請求項４に記載の対応点探索方法において、
前記特定探索工程では、前記道路領域を示す画素において道路面よりも地中側となる範囲について対応点の探索を省略する
対応点探索方法。

【請求項6】

請求項１〜請求項５の何れか１項に記載の対応点探索方法において、
前記複数の画像のそれぞれから解像度の異なる複数組の任意解像度画像を生成する複数解像度画像生成工程（Ｓ３０）、を実施し、
前記特定領域抽出工程では、前記複数組の任意解像度画像のうちの最も解像度が高い任意解像度画像以外の何れかを表す特定解像度画像から前記特定領域を抽出する
対応点探索方法。

【請求項7】

請求項１〜請求項６の何れか１項に記載の対応点探索方法において、
前記通常探索工程および前記特定探索工程では、
前記基準画像中のある画素を表す基準画素において該画素の特徴を表す画素情報と、前記基準画像を除く他の画像中の画素を表す比較画素における画素情報と、の差異に基づく画素コストを、前記基準画素および前記比較画素を変更しつつ、前記基準画素毎に演算する画素コスト演算工程（Ｓ４２０）と、
前記基準画素を変更する際において前記基準画素と前記比較画素との座標差である視差の変化量に対するコストを表す視差コストを、前記基準画素毎に演算し、前記各基準画素に対して、前記画素コストと前記視差コストとの和を表す合計コストが最小値となる際の比較画素との組み合わせを演算する最小コスト画素演算工程（Ｓ４３０，Ｓ４４０）と、
前記各基準画素に対応する比較画素を、前記各基準画素に対応する対応点として設定する対応点設定工程（Ｓ４５０）と、
を実行する対応点探索方法。

【請求項8】

複数の撮像画像に基づいて撮像画像中の物体までの距離を検出する距離検出装置（１）であって、
前記複数の撮像画像に含まれる画素において道路を示す道路領域および空を示す空領域のうちの少なくとも一方を示す領域を特定領域として抽出する特定領域抽出部（Ｓ４０，Ｓ５０）と、
前記複数の撮像画像から前記特定領域を除外した通常領域について、前記複数の撮像画像のうちの基準画像中の画素毎に前記複数の撮像画像間の対応点を探索する通常探索部（Ｓ６０）と、
前記特定領域について、前記通常領域において対応点を探索するときよりも探索範囲を狭くして前記複数の撮像画像間の対応点を探索する特定探索部（Ｓ６０）と、
前記複数の撮像画像間の対応点から得られる視差に基づいて前記基準画像中のある画素が示す物体までの距離を演算する距離演算部（Ｓ７０）と、
を備えたことを特徴とする距離検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視差を有する複数の画像間における対応点を探索する対応点探索方法、および距離測定装置に関する。

【背景技術】

【0002】

上記の対応点探索方法として、基準となる画像の全ての画素について同様の処理にて対応点を探索するものが知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５−１１４２６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記対応点探索方法では、全ての画素について同様の処理を行っているが、対応点を探索する際の処理負荷を軽減することに対する要求がある。そこで、視差を有する複数の画像間における対応点を探索する対応点探索方法において、対応点を探索する際の処理負荷を軽減できるようにすることを本発明の目的とする。

【課題を解決するための手段】

【0005】

本発明の一側面の対応点探索方法において、特定領域抽出工程では、複数の画像に含まれる画素において道路を示す道路領域および空を示す空領域のうちの少なくとも一方を示す領域を特定領域として抽出する。また、通常探索工程では、複数の画像から特定領域を除外した通常領域について、複数の画像のうちの基準画像中の画素毎に複数の画像間の対応点を探索する。また、特定探索工程では、特定領域について、通常領域において対応点を探索するときよりも探索範囲を狭くして複数の画像間の対応点を探索する。

【0006】

このような対応点探索方法によれば、道路や空を示す特定領域において対応点を探索する際に通常領域よりも探索範囲を狭くするので、対応点を探索する際の処理負荷を軽減することができる。

【0007】

なお、各請求項の記載は、可能な限りにおいて任意に組み合わせることができる。この際、一部構成を除外してもよい。

【図面の簡単な説明】

【0008】

【図1】本発明が適用された距離検出装置１の概略構成を示すブロック図である。

【図2】処理部１０（ＣＰＵ１１）が実行する距離演算処理を示すフローチャートである。

【図3】空領域および道路領域の一例を示す画像図である。

【図4】距離演算処理のうちの空領域抽出処理を示すフローチャートである。

【図5】道路領域の概念を示す側面図である。

【図6】距離演算処理のうちの道路面抽出処理を示すフローチャートである。

【図7】距離演算処理のうちの対応点探索処理を示すフローチャートである。

【図8】左右方向におけるコスト演算の概略を示す説明図である。

【図9】コスト演算の際に探索範囲に制限を加える処理の一例を示す説明図である。

【図10】実施形態による効果を示す距離画像である。

【発明を実施するための形態】

【0009】

以下に本発明にかかる実施の形態を図面と共に説明する。
［本実施形態の構成］
本発明が適用された距離検出装置１は、複数の撮像画像の視差を検出することによって撮像画像中の各点（物体）までの距離を検出する装置である。なお、視差とは、同一の物体を見る場所によって見える方向が異なることを示す。特に、本実施形態では、異なる位置にて撮像された物体が撮像画像中において撮像される位置が異なること、またこの際の位置のずれを視差という。

【0010】

本実施形態の距離検出装置１では、動的計画法であるビタビアルゴリズムを複数の方向に適用することで複数の撮像画像を構成する画素間の対応関係（つまり視差）を高精度かつ低負荷で求めることができるよう配慮されている。特に本実施形態では、空および道路の領域において対応点を探索する範囲を限定することによって、処理負荷をより軽減できるよう構成されている。

【0011】

詳細には、距離検出装置１は、乗用車等の車両に搭載されており、図１に示すように、処理部１０と、２つの撮像部２１，２２と、車両制御部３０とを備えている。なお、撮像部は２つに限られることなく、３以上設けられていてもよい。

【0012】

撮像部２１，２２は、それぞれ車両の進行方向が撮像範囲内となる周知のカメラとして構成されている。撮像部２１，２２は、中心軸が平行かつ水平方向に所定の距離だけ離れて配置されたステレオカメラを構成している。これらの撮像部２１，２２は、予め決まった時間で周期的に同時に撮像を行うよう設定されている。

【0013】

処理部１０は、ＣＰＵ１１と、ＲＯＭ、ＲＡＭ等のメモリ１２とを備えた周知のコンピュータとして構成されている。処理部１０（ＣＰＵ１１）は、撮像部２１，２２によって撮像された撮像画像を取得する。そして、メモリ１２に格納されたプログラムに基づいて後述する距離演算処理等の各種処理を実行する。

【0014】

車両制御部３０は、処理部１０による処理結果を利用して車両を制御する処理を行う。例えば、車両制御部３０は、撮像部２１，２２による撮像範囲内の各点（各画素）における距離の情報を処理部１０から取得し、この距離の情報を繰り返し利用することによって物体の位置および相対速度を認識する。そして、物体が走行に支障を来す虞がある場合、走行軌道を変更する車両制御を行う。

【0015】

［本実施形態の処理］
このように構成された距離検出装置１において、処理部１０（ＣＰＵ１１）は、図２以下に示す距離演算処理を実施する。距離演算処理は、撮像画像中の各画素が示す各点までの距離を演算する処理である。距離演算処理は、例えば距離検出装置１の電源が投入されると開始され、その後、一定周期毎に繰り返し実施される。

【0016】

この処理では、まず、撮像部２１，２２によって撮像された撮像画像を取得する（Ｓ１０）。続いて、撮像された画像を平行化する（Ｓ２０）。ここで、画像の平行化とは、撮像画像のレンズによる画像の歪みや姿勢のずれを補正する処理等を示す。

【0017】

続いて、複数解像度画像を生成する（Ｓ３０）。ここで、複数解像度画像とは、１つの撮像画像から生成される解像度の異なる複数の画像を示す。例えば、撮像画像から、画像拡大率ηが１である高解像画像、画像拡大率ηが１／２である中解像画像、拡大率ηが１／４である低解像画像の３種類の画像を生成し、これらを複数解像度画像としてメモリ１２に記録させる。

【0018】

なお、後述する対応点探索処理では、解像度が低い順（つまり、画像拡大率ηが小さい順）に、複数解像度画像を構成するそれぞれの画像について実施される。
続いて、空領域抽出処理を実施する（Ｓ４０）。空領域抽出処理は、撮像画像に写る空を示す画素の集合である空領域を抽出する処理である。ここで、空領域は、例えば図３に示すように、建物の間等、撮像画像の上方において検出される。また、後述する道路領域においては、撮像画像の下方において検出される。

【0019】

空領域抽出処理や後述する道路面抽出処理では、これらの空領域および道路領域において後述する対応点探索処理の際に利用する探索範囲を制限する設定を行うことで、対応点探索処理の際の処理負荷を低減する。なお、空領域抽出処理や道路面抽出処理では、低解像画像を用いて処理が実施される。

【0020】

空領域抽出処理では、図４に示すように、基準画像において、この画像を構成する各画素のうちの最初の画素（つまりピクセル）を選択する（Ｓ２１０）。ここで、基準画像とは、例えば撮像部２１による撮像画像等、複数の撮像画像のうちの予め選択された撮像画像を表す。

【0021】

続いて、選択した画素の周囲の平均輝度μを計算する（Ｓ２２０）。「選択した画素の周囲」として、例えば、選択した画素と隣接する周囲の８画素との９画素を選択する。そして、選択した画素の周囲における輝度の分散σを計算する（Ｓ２３０）。

【0022】

続いて、平均輝度μと分散σとが予め設定された範囲内であるか否かを判定する（Ｓ２４０）。詳細には、平均輝度μが、平均輝度μに対して予め準備された最小閾値および最大閾値の間に収まっているか否かを判定するとともに、分散σが分散σに対して予め準備された最小閾値および最大閾値の間に収まっているか否かを判定する。

【0023】

平均輝度μおよび分散σの両方が予め設定された範囲内であれば（Ｓ２４０：ＹＥＳ）、選択中の画素を空領域の一部を構成する画素であると判定する（Ｓ２５０）。この際、例えばこの画素の位置の情報等、この画素を特定するための情報を対応付けて、この画素が空領域の一部である旨をメモリ１２に記録させる。また、平均輝度μおよび分散σの何れかが予め設定された範囲内でなければ（Ｓ２４０：ＮＯ）、Ｓ２６０の処理に移行する。

【0024】

続いて、演算領域内で判定が完了したか否か、すなわち、基準画像の全ての画素を選択したか否かを判定する（Ｓ２６０）。演算領域内での判定が完了していなければ（Ｓ２６０：ＮＯ）、未選択の次の画素を選択し（Ｓ２７０）、Ｓ２２０の処理に戻る。

【0025】

また、演算領域内での判定が完了していれば（Ｓ２６０：ＹＥＳ）、空領域抽出処理を終了する。
続いて、図２に戻り、道路面抽出処理を実施する（Ｓ５０）。道路面抽出処理は、撮像画像に写る道路を示す画素の集合である道路領域を抽出する処理である。この際、道路面抽出処理では、図５に示すように、道路面よりも地中側、すなわち、鉛直方向下側に位置する領域を後述する対応点探索処理にて探索（計算）しなくてもよい領域に設定する。

【0026】

道路面抽出処理では、図６に示すように、まず、基準画像において、この画像を構成する各画素のうちの最初の画素（つまりピクセル）を選択する（Ｓ３１０）。続いて、この画素における鉛直方向の座標値であるｙ座標値に基づいて、道路面を示す視差ｄｒを計算する（Ｓ３２０）。

【0027】

ここで、道路面は、自車両の傾きや道路の勾配が存在しないときに地面が存在するはずの平面を基準にして予め設定されている平面である。道路面は、自車両のタイヤの下端や、タイヤの下端から所定の距離だけ地中側を通る水平面であってもよいし、この水平面に対して数％の下り勾配を想定して設定されていてもよい。

【0028】

また、道路面は、カメラの設置位置と設置角度とに基づいて、画素のｙ座標値に対する道路面までの距離が一意に求められる。視差ｄｒは、道路面までの距離を示すものであり、視差が大きくなるにつれて距離が近いことを示し、視差が小さくなるにつれて距離が大きいことを示す。

【0029】

なお、ｙ座標値によっては道路面が存在しないことになり、この場合は距離が無限大、すなわち視差ｄｒが０となる。また、計算上は道路面が存在する場合であっても、道路面を特定する必要がない場合には、視差ｄｒを０としてもよい。例えば、図３に示す例では、自車両が走行する確度が高い領域のみ視差ｄｒを求め、他の領域の視差ｄｒを０としている。

【0030】

続いて、選択した画素について、視差ｄｒが０であるか否かを判定する（Ｓ３４０）。視差ｄｒが０であれば（Ｓ３４０：ＹＥＳ）、後述するＳ３６０の処理に移行する。
また、視差ｄｒが０でなければ（Ｓ３４０：ＮＯ）、道路面よりも地中側となる視差の範囲を道路外領域の視差として設定する（Ｓ３５０）。この際、例えばこの画素の位置の情報等、この画素を特定するための情報を対応付けて、この画素についての道路外領域の視差をメモリ１２に記録させる。

【0031】

続いて、演算領域内で判定が完了したか否かを判定する（Ｓ３６０）。演算領域内とは、例えば基準画像の全ての画素を示す。演算領域内での判定が完了していなければ（Ｓ３６０：ＮＯ）、未選択の次の画素を選択し（Ｓ３７０）、Ｓ３２０の処理に戻る。

【0032】

また、演算領域内での判定が完了していれば（Ｓ３６０：ＹＥＳ）、道路領域抽出処理を終了する。
続いて、図２に戻り、対応点探索処理を実施する（Ｓ６０）。対応点探索処理は、対応点を関連付ける処理である。ここで、対応点とは、基準画像を構成する各画素に対して、基準画像を除く撮像画像である比較画像（例えば撮像部２２による撮像画像）を構成する各画素において同じものが写っている画素を示す。

【0033】

対応点探索処理の詳細は図７に示すように、まず、複数解像度画像のうちの最も解像度が高い画像を除く画像（本実施形態では最も解像度が低い低解像度画像）を選択する（Ｓ４１０）。そして、空領域に対応する画素、道路外領域の視差について、メモリ１２から読み出して探索を実施しない範囲を設定する（Ｓ４１５）。空領域に対応する画素においては、例えば、対応点の探索範囲を０または１ピクセルとする。つまり、距離が無限大、または無限大に極めて近い画素だけを対応点の探索範囲として設定し、その他の画素を対応点の探索範囲外とする。また、道路領域については、道路外領域の視差と認められた範囲を対応点の探索範囲外とし、その他の画素を対応点の探索範囲とする。

【0034】

続いて、節点のコストを算出する（Ｓ４２０）。ここで、節点とは、図８（ａ）に示すように、基準画像の画素位置を横軸に取り、基準画像の画素位置と比較画像の画素位置との視差を縦軸に取ったマトリクスにおいて、このマトリクスを構成する要素の１つ１つを示す。なお、ここでの各要素は、基準画像の画素位置と視差との関係を表す。

【0035】

ここで、節点のコストは、画素情報を用いて求められる。なお、画素情報とは、輝度や色度等の画素の特徴を表す。また、節点のコストを求める処理は、例えば、特許文献１の段落［００１９］〜［００２１］にて示す処理と同様の処理を行う。

【0036】

次に、ビタビアルゴリズムによる各方向についてのコストを求める（Ｓ４３０）。この際、図８（ｂ）に示すように、基準画像および比較画像についてそれぞれ水平方向（Ｘ方向）について選択する画素の座標を遷移させつつ、ビタビアルゴリズムを用いて視差コストを求める。この処理を各方向においてそれぞれ実施する。

【0037】

なお、この処理については、例えば、特許文献１の段落［００２２］〜［００５２］にて示す処理と同様の処理を行う。ここで、ビタビアルゴリズムによる各方向についてのコストＥを求める処理では、基準画像において空領域および道路領域に該当する場合に、探索を実施しない範囲を加味して対応点の探索を行う。例えば、図９に示す例では、対応点の探索範囲外となった画素について、×印を付している。すなわち本処理では、対応点を探索する際に、探索範囲を限定していることが分かる。この結果、相関値が高い画素だけが探索範囲として選択されることになる。

【0038】

続いて、図７に戻り、コストＥに従って、最小となる視差を選択し（Ｓ４４０）、基準画像における各画素と比較画像における各画素との対応関係をメモリ１２に記録する（Ｓ４５０）。続いて、現在、高解像画像が選択されているか否かを判定する（Ｓ４８０）。

【0039】

高解像画像が選択されていなければ（Ｓ４８０：ＮＯ）、現在選択されている画像の次に解像度が高い複数解像度画像を選択する（Ｓ４９０）。そして、探索領域を縮小して設定する（Ｓ５００）。探索領域を縮小する処理では、より高い解像度の複数解像度画像にて対応点を探索する際に、既に解像度の低い画像にて得られた対応点にて示される視差を用いて、探索領域を限定する。例えば、ある画素において得られた視差の前後３ピクセル程度を探索領域とする。具体的には、ある画素において得られた対応点の視差が５ピクセルであれば、より解像度の高い画像による探索領域には視差が２〜８の範囲を設定する。

【0040】

なお、解像度が異なる画像間の各画素の対応付けについては、概ね同様の位置を示す画素同士が対応付けられる。
このような処理が終了するとＳ４１５の処理に戻る。また、Ｓ４８０の処理にて高解像画像が選択されていれば（Ｓ４８０：ＹＥＳ）、対応点探索処理を終了する。

【0041】

このような対応点探索処理が終了すると、図２に戻り、各画素における対応点の視差に応じて各画素に写っている物体までの距離を算出する（Ｓ７０）。そして、これらの画素と距離との対応データを車両制御部３０に対して出力する（Ｓ８０）。

【0042】

ここで、この処理で出力される対応データは、図１０（Ｃ）に示すようなものである。すなわち、上記処理を用いて図１０（Ａ）に示すような撮像画像（シーン画像）を処理すると、図１０（Ｃ）に示すような距離画像が得られる。図１０（Ｃ）に示す距離画像では、濃淡によって距離を表現しており、濃度が高くなるにつれて距離が遠くなることを示す。一方、図１０（Ｂ）は、本処理を適用することなく、単にビダビアルゴリズムを適用して得られた距離画像である。図１０（Ｃ）に示す距離画像では、図１０（Ｂ）に示す距離画像を求めるときよりも処理負荷が軽減されているが、図１０（Ｂ）に示す距離画像とほぼ同様に、正確に距離が検出できていることが分かる。

【0043】

続いて、距離画像に基づいて同じ距離を示す画素群を１つの物体として認識し、このようにして得られた物体の位置（物体までの距離）を車両制御部３０に出力する（Ｓ９０）。このような処理が終了すると距離演算処理を終了する。

【0044】

［本実施形態による効果］
上記の距離検出装置１において処理部１０は、複数の画像に含まれる画素において道路を示す道路領域および空を示す空領域のうちの少なくとも一方を示す領域を特定領域として抽出する。また、通常探索工程では、複数の画像から特定領域を除外した通常領域について、複数の画像のうちの基準画像中の画素毎に複数の画像間の対応点を探索する。また、特定探索工程では、特定領域について、通常領域において対応点を探索するときよりも探索範囲を狭くして複数の画像間の対応点を探索する。

【0045】

このような距離検出装置１によれば、道路や空を示す特定領域において対応点を探索する際に通常領域よりも探索範囲を狭くするので、対応点を探索する際の処理負荷を軽減することができる。

【0046】

また、このような距離検出装置１によれば、対応点探索方法を用いるので、処理負荷を軽減しつつ物体までの距離を検出することができる。
上記の距離検出装置１において処理部１０は、基準画像における画素とその周囲の画素との関係において平均輝度および輝度の分散がそれぞれ予め設定された判定範囲内である領域を空領域として抽出する。

【0047】

このような距離検出装置１によれば、平均輝度および輝度の分散を用いて空領域を良好に抽出することができる。
上記の距離検出装置１において処理部１０は、空領域を示す画素について予め設定された画素を対応点とする。

【0048】

このような距離検出装置１によれば、空領域については視差が生じていないものとして予め設定された画素を対応点とするので、対応点を探索する際の処理負荷をより軽減することができる。

【0049】

上記の距離検出装置１において処理部１０は、基準画像において道路面よりも地中側の部位が含まれる可能性がある画素を道路領域として抽出する。
このような距離検出装置１によれば、道路領域を簡素な処理で抽出することができる。

【0050】

なお、「道路面よりも地中側の部位が含まれる可能性がある画素」については、撮像画像を得る際のカメラの向きやレンズの仕様等によって特定することができる。例えば、水平よりも下側が撮像される画素を道路領域とすることができる。

【0051】

上記の距離検出装置１において処理部１０は、道路領域を示す画素において道路面よりも地中側となる範囲について対応点の探索を省略する。
このような距離検出装置１によれば、道路面よりも地中側となる範囲について対応点の探索を省略するので、対応点を探索する際の処理負荷をより軽減することができる。

【0052】

上記の距離検出装置１において処理部１０は、複数の撮像画像のそれぞれから解像度の異なる複数組の任意解像度画像を生成し、複数組の任意解像度画像のうちの最も解像度が高い任意解像度画像以外の何れかを表す特定解像度画像から特定領域を抽出する。

【0053】

このような距離検出装置１によれば、解像度が低く、処理負荷が小さい特定解像度画像を画像処理することによって特定領域を抽出しておくので、特定領域を抽出する際の処理負荷を軽減することができる。

【0054】

上記の距離検出装置１において処理部１０は、基準画像のある画素を表す基準画素において該画素の特徴を表す画素情報と、基準画像を除く他の画像中の画素を表す比較画素における画素情報と、の差異に基づく画素コストを、基準画素および比較画素を変更しつつ、基準画素毎に演算する。また、処理部１０は、基準画素を変更する際において基準画素と比較画素との座標差である視差の変化量に対するコストを表す視差コストを、基準画素毎に演算し、各基準画素に対して、画素コストと視差コストとの和を表す合計コストが最小値となる際の比較画素との組み合わせを演算する。そして、処理部１０は、各基準画素に対応する比較画素を、各基準画素に対応する対応点として設定する。

【0055】

このような距離検出装置１によれば、コスト演算により対応点を求めるので、簡素な処理で物体を認識することができる。よって、物体までの距離を求める際の処理負荷を軽減することができる。

【0056】

［その他の実施形態］
本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の一部を、課題を解決できる限りにおいて省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

【0057】

上述した距離検出装置１の他、当該距離検出装置１を構成要素とするシステム、当該距離検出装置１としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、距離検出方法など、種々の形態で本発明を実現することもできる。

【0058】

［実施形態の構成と本発明の手段との対応関係］
上記実施形態において処理部１０は、本発明でいう画像処理装置に相当する。また、処理部１０が実行する処理のうちのＳ１０〜Ｓ１００の処理は本発明でいう対応点探索方法に相当し、上記実施形態においてＳ３０の処理は本発明でいう複数解像度画像生成工程に相当する。

【0059】

また、上記実施形態においてＳ４０，Ｓ５０の処理は本発明でいう特定領域抽出工程および特定領域抽出部に相当し、上記実施形態においてＳ６０の処理は本発明でいう通常探索工程、通常探索部、特定探索工程、および特定探索部に相当する。また、上記実施形態においてＳ７０の処理は本発明でいう距離演算部に相当し、上記実施形態においてＳ４２０の処理は本発明でいう画素コスト演算工程に相当する。

【0060】

また、上記実施形態においてＳ４３０，Ｓ４４０の処理は本発明でいう最小コスト画素演算工程に相当し、上記実施形態においてＳ４５０の処理は本発明でいう対応点設定工程に相当する。

【符号の説明】

【0061】

１…距離検出装置、１０…処理部、１１…ＣＰＵ、１２…メモリ、２１，２２…撮像部、３０…車両制御部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】