特許 6969951 測距装置、プログラム、測距方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6969951

(24)【登録日】2021年11月1日

(45)【発行日】2021年11月24日

(54)【発明の名称】測距装置、プログラム、測距方法

(51)【国際特許分類】

   G06T 7/593 20170101AFI20211111BHJP

   G01C 3/06 20060101ALI20211111BHJP

【ＦＩ】

   G06T7/593

   G01C3/06 110V

   G01C3/06 140

【請求項の数】10

【全頁数】11

(21)【出願番号】特願2017-184814(P2017-184814)

(22)【出願日】2017年9月26日

(65)【公開番号】特開2019-61433(P2019-61433A)

(43)【公開日】2019年4月18日

【審査請求日】2020年8月18日

(73)【特許権者】

【識別番号】000004695

【氏名又は名称】株式会社ＳＯＫＥＮ

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(73)【特許権者】

【識別番号】592032636

【氏名又は名称】学校法人トヨタ学園

(74)【代理人】

【識別番号】110000028

【氏名又は名称】特許業務法人明成国際特許事務所

(72)【発明者】

【氏名】石丸 和寿

(72)【発明者】

【氏名】テヘラニニキネジャド ホセイン

(72)【発明者】

【氏名】西 隆史

(72)【発明者】

【氏名】三田 誠一

(72)【発明者】

【氏名】シュー ユーチュエン

【審査官】 山田 辰美

(56)【参考文献】

【文献】 特開２０１５−２３２４５５（ＪＰ，Ａ）

【文献】 特開２０１７−１２３１２２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

Ｇ０１Ｃ ３／０６

(57)【特許請求の範囲】

【請求項1】

第１カメラ（２１）によって撮像された基準画像の着目画素に対応する画素として尤もらしい画素を、第２カメラ（２２）によって撮像された参照画像から探索することによって、視差計算を実行する測距装置（１０）であって、
前記基準画像に対して所定形状の第１窓を複数箇所に配置し、前記着目画素を含むｋ（≧３）個の画素を選択することを複数回、実行する第１選択部（Ｓ１１０）と、
前記第１窓の各々の配置に対応する第２窓をｎ（≧２）箇所前記参照画像に配置し、比較画素を含む前記ｋ個の画素を、前記ｎ箇所において選択する第２選択部（Ｓ１２０）と、
各々が前記第１窓及び前記第２窓の形状の一部を区画する所定形状を有し、前記着目画素または前記比較画素と、更に１つ以上の画素とを含むｍ（≧２）種類の部分領域それぞれについて、前記基準画像の画素群の輝度値と前記参照画像の画素群の輝度値との相違度を算出する算出部（Ｓ１３０，Ｓ１４０，Ｓ１５０）と、
前記第１窓に含まれる前記着目画素それぞれについて、前記参照画像に対する１箇所の前記第２窓の配置毎に前記ｍ個、算出された相違度に基づき、前記ｎ個の前記比較画素それぞれとの相違度を決定する決定部（Ｓ１６０，Ｓ１７０，Ｓ１８０）と、
前記着目画素それぞれに対応する尤もらしい画素を、前記決定された相違度に基づき、前記ｎ個の前記比較画素から１つ取得する取得部（Ｓ２００，Ｓ２１０）と、
を備える測距装置。

【請求項2】

前記取得部（Ｓ２１０）は、前記決定された相違度と、前記着目画素が移動する際の視差の変化とをコストとして計算し、最小コストの前記比較画素を取得する
請求項１に記載の測距装置。

【請求項3】

前記取得部（Ｓ２００）は、前記着目画素それぞれについて、前記ｎ個、決定された相違度のうち最小の相違度の前記比較画素を取得する
請求項１に記載の測距装置。

【請求項4】

前記決定部は、前記ｍ個、算出された相違度のうち最小の相違度を、前記比較画素との相違度として決定する
請求項１から請求項３までの何れか一項に記載の測距装置。

【請求項5】

前記決定部は、前記ｍ個、算出された相違度の中から外れ値を除去し、残った相違度のうち最小の相違度を、前記比較画素との相違度として決定する
請求項１から請求項３までの何れか一項に記載の測距装置。

【請求項6】

前記決定部は、前記第１窓内の前記ｋ個の画素の輝度値に基づき信頼度を算出し、前記算出された相違度に前記信頼度を加味して、前記ｎ個の前記比較画素それぞれとの相違度を決定する
請求項１から請求項５までの何れか一項に記載の測距装置。

【請求項7】

前記決定部は、輝度値のエッジ強度を前記信頼度として算出する
請求項６に記載の測距装置。

【請求項8】

前記算出部は、前記第１窓内の画素それぞれの輝度値から前記着目画素の輝度値を減算した結果と、前記第２窓内の画素それぞれの輝度値から前記比較画素の輝度値を減算した結果とを比較することによって、前記相違度を算出する
請求項１から請求項７までの何れか一項に記載の測距装置。

【請求項9】

第１カメラによって撮像された基準画像の着目画素に対応する画素として尤もらしい画素を、第２カメラによって撮像された参照画像から探索することによって、視差計算を実行するためのプログラムであって、
前記基準画像に対して、所定形状の第１窓を複数箇所に配置し、前記着目画素を含むｋ（≧３）個の画素を選択することを複数回、実行する第１選択機能と、
前記第１窓の各々の配置に対応させて、前記参照画像に対して前記第１窓と同じ形状の第２窓をｎ（≧２）箇所に配置し、比較画素を含む前記ｋ個の画素を、前記ｎ箇所において選択する第２選択機能と、
各々が前記第１窓及び前記第２窓の一部を区画する予め定められた形状を有し、前記着目画素または前記比較画素と、更に１つ以上の画素とを含むｍ（≧２）種類の部分領域それぞれについて、前記基準画像の画素群の輝度値と前記参照画像の画素群の輝度値との相違度を算出する算出機能と、
前記第１窓に含まれる前記着目画素それぞれについて、前記ｍ個、算出された相違度に基づき、前記ｎ個の前記比較画素それぞれとの相違度を決定する決定機能と、
前記着目画素それぞれに対応する尤もらしい画素を、前記決定された相違度に基づき、前記ｎ個の前記比較画素から１つ取得する取得機能と、
を測距装置に実現させるためのプログラム。

【請求項10】

測距装置が、第１カメラによって撮像された基準画像の着目画素に対応する画素として尤もらしい画素を、第２カメラによって撮像された参照画像から探索し、視差計算を実行することによって、障害物までの距離を測定する方法であって、
前記基準画像に対して所定形状の第１窓を複数箇所に配置し、前記着目画素を含むｋ（≧３）個の画素を選択することを複数回、実行し、
前記第１窓の各々の配置に対応する第２窓をｎ（≧２）箇所前記参照画像に配置し、比較画素を含む前記ｋ個の画素を、前記ｎ箇所において選択し、
各々が前記第１窓及び前記第２窓の形状の一部を区画する所定形状を有し、前記着目画素または前記比較画素と、更に１つ以上の画素とを含むｍ（≧２）種類の部分領域それぞれについて、前記基準画像の画素群の輝度値と前記参照画像の画素群の輝度値との相違度を算出し、
前記第１窓に含まれる前記着目画素それぞれについて、前記参照画像に対する１箇所の前記第２窓の配置毎に前記ｍ個、算出された相違度に基づき、前記ｎ個の前記比較画素それぞれとの相違度を決定し、
前記着目画素それぞれに対応する尤もらしい画素を、前記決定された相違度に基づき、前記ｎ個の前記比較画素から１つ取得する
ことを含む測距方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ステレオ画像による距離の測定に関する。

【背景技術】

【0002】

特許文献１は、画像中のテクスチャの弱い部分では対応点があいまいになり精度が落ちやすいことに鑑み、ステレオ相関法よって３次元計測を行う際に、ステレオ相関法における基準画像から作成した等輝度線画像を用いてテクスチャの強度を評価することで、窓の大きさを調節する手法を開示している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−５４０９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記先行技術の場合、窓の大きさを調節するための処理負荷が大きい。しかも、ハードウエア化を実施する場合に、並列化による高速化が難しい。本開示は、上記を踏まえ、対応点の探索の精度を良好にしつつ、処理負荷の増大を抑制することを解決課題とする。

【課題を解決するための手段】

【0005】

本開示の一形態は、第１カメラ（２１）によって撮像された基準画像の着目画素に対応する画素として尤もらしい画素を、第２カメラ（２２）によって撮像された参照画像から探索することによって、視差計算を実行する測距装置（１０）であって；前記基準画像に対して第１窓を複数箇所に配置し、前記着目画素を含むｋ（≧３）個の画素を選択することを複数回、実行する第１選択部（Ｓ１１０）と；前記第１窓の各々の配置に対応する第２窓をｎ（≧２）箇所前記参照画像に配置し、比較画素を含む前記ｋ個の画素を、前記ｎ箇所において選択する第２選択部（Ｓ１２０）と；各々が前記第１窓及び前記第２窓の形状の一部を区画する所定形状を有し、前記着目画素または前記比較画素と、更に１つ以上の画素とを含むｍ（≧２）種類の部分領域それぞれについて、前記基準画像の画素群の輝度値と前記参照画像の画素群の輝度値との相違度を算出する算出部（Ｓ１３０，Ｓ１４０，Ｓ１５０）と；前記第１窓に含まれる前記着目画素それぞれについて、前記参照画像に対する１箇所の前記第２窓の配置毎に前記ｍ個、算出された相違度に基づき、前記ｎ個の前記比較画素それぞれとの相違度を決定する決定部（Ｓ１６０，Ｓ１７０，Ｓ１８０）と；前記着目画素それぞれに対応する尤もらしい画素を、前記決定された相違度に基づき、前記ｎ個の前記比較画素から１つ取得する取得部（Ｓ２００，Ｓ２１０）と；を備える測距装置である。この形態によれば、第１窓と第２窓と部分領域との何れも所定形状を有しているので、相違度の算出において第１窓と第２窓との大きさの調節が不要になる。このため、処理負荷が軽減される。

【図面の簡単な説明】

【0006】

【図1】自動運転車の構成図。

【図2】画像認識処理を示すフローチャート。

【図3】視差計算の手順を示すフローチャート。

【図4】基準画像および参照画像の例。

【図5】基準画像および参照画像における窓内の画素の輝度値。

【図6】窓内の輝度値の差を算出する様子を示す図。

【図7】小窓内における輝度値の差の総和を演算する様子を示す図。

【図8】小窓内における輝度値の差の総和を演算する様子を示す図。

【図9】小窓内における輝度値の差の総和を演算する様子を示す図。

【図10】小窓内における輝度値の差の総和を演算する様子を示す図。

【図11】信頼度を演算する様子を示す図。

【図12】画像認識処理を示すフローチャート（実施形態２）。

【図13】最小コストの経路探索の様子を示す図。

【発明を実施するための形態】

【0007】

実施形態１を説明する。図１に示す自動運転車１は、少なくとも、自動で操舵および制動が可能なレベル以上の自動運転車である。自動運転車１は、ＥＣＵ１０を搭載する。

【0008】

ＥＣＵ１０は、カメラＥＣＵである。ＥＣＵ１０は、ＣＰＵ１１と、記憶媒体１２とを備える。ＥＣＵ１０は、カメラ２１とカメラ２２とから撮像データとして各画素の輝度値を取得し、後述する画像認識処理を実行する。ＥＣＵ１０は、画像認識処理を実行するためのプログラムを、記憶媒体１２に記憶している。

【0009】

カメラ２１，２２は、自動運転車１の前方が撮像範囲内となるように搭載されている。カメラ２１，２２は、ステレオカメラを構成している。カメラ２１は、自動運転車１の進行方向の左側に位置する。カメラ２２は、自動運転車１の進行方向の右側に位置する。カメラ２１による撮像画像を左画像ともいい、カメラ２２による撮像画像を右画像ともいう。

【0010】

制御部３０は、複数のＥＣＵから構成される。制御部３０は、画像認識処理の結果をＥＣＵ１０から取得し、衝突を回避するための操舵および制動を実現する。

【0011】

ＥＣＵ１０は、図２に示す画像認識処理を、自動運転車１の走行中、繰り返し実行する。ＥＣＵ１０は、まず、Ｓ１００として、視差計算を実行する。

【0012】

ＥＣＵ１０は、視差計算を開始すると、図３に示すようにＳ１１０として、着目画素を選択する。

【0013】

本実施形態の説明においては、図４に示すように、左画像および右画像ともに、Ｘ方向に１４画素、Ｙ方向に８画素であると仮定する。Ｘ方向は画像の水平方向、Ｙ方向は画像の垂直方向である。実際には、画像は、Ｘ方向およびＹ方向ともに、もっと細かい画素に分割されている。

【0014】

本実施形態においては、左画像を基準画像、右画像を参照画像として用いる。このため、着目画素の選択として、左画像を構成する画素のうちの１つを選択する。選択の順序は、どのような順序であってもよい。本実施形態においては、左上の画素を初めに選択し、１つずつ右にずらしていく。右端まで選択したら、Ｙ方向について１つ下にずらして、左端から始める。このようにして、全ての画素を選択する。

【0015】

着目画素を選択すると、図４に示すように、付随して８つの周辺画素が選択される。着目画素および周辺画素を取り囲む領域は、窓という。窓は、１辺が３画素の正方形である。本実施形態においては、着目画素および周辺画素に配置される窓は、形状が同じであるので、特に区別せず、同じ名称で呼ぶ。

【0016】

なお、Ｘ方向およびＹ方向それぞれの端に位置する画素は、周辺画素を８つ選択することができない。このため、端に位置する画素は、着目画素の選択対象から除外されている。

【0017】

次にＥＣＵ１０は、Ｓ１２０に進み、比較画素を選択する。比較画素は、参照画像を構成する画素のうちの１つの画素である。比較画素として選択対象になるのは、着目画素とＹ方向の位置が一致する画素である。比較画素を選択する際においても、窓に含まれる周辺画素が付随して選択される。Ｘ方向については、Ｘ方向の端を除き、着目画素とＹ方向の位置が一致する全ての画素が対象となり、Ｓ１２０を実行するごとに１つずつ選択される。

【0018】

なお、比較画素の選択に伴い、視差値が決定される。ここでいう視差値は、画素を単位とする。例えば、図４に示した例では、着目画素のＸ方向の位置は、左から６番目である。以下、Ｘ方向の位置が左からｎ番目であることを、Ｘ＝ｎと表記する。このため、比較画素の位置がＸ＝６の場合、視差値はゼロである。一方、比較画素の位置がＸ＝１０の場合、視差値は４であり、比較画素の位置がＸ＝２の場合、視差値は−４である。各視差値は、後述する信頼度付き相違度の値とセットで記憶される。

【0019】

ＥＣＵ１０は、比較画素を選択するとＳ１３０に進み、窓内の各画素の輝度値から、中心画素の輝度値を減算する。中心画素とは、着目画素および比較画素のことである。Ｓ１３０の対象は、基準画像の窓内の画素と、参照画像の窓内の画素との両方である。例えば、窓内の画素が図５に示す場合、Ｓ１３０を実行すると、図６に示す値になる。中心画素については、Ｓ１３０を実行すると、当然、値がゼロになる。

【0020】

なお、図５に示す輝度値６４は白線、輝度値０はアスファルトを撮像した結果を想定したものである。つまり、図５の基準画像の窓、参照画像の窓の何れについても、白線とアスファルトとの境界を含んでいる。理想的には、境界のＹ方向の位置は、基準画像と参照画像とで一致する。しかし、図５に示す例は、１画素分、Ｙ方向についてずれている。なお、図５で示した輝度値の例は、図２で示した１４×８画素ではなく、実際のもっと細かく分割された画素を想定している。

【0021】

次にＥＣＵ１０は、Ｓ１４０に進み、窓内の各画素の輝度値の差の絶対値（以下、輝度値差）を算出する。図６には、Ｓ１４０の様子が示される。中心画素については、Ｓ１４０を実行しても、当然、値はゼロである。

【0022】

次にＥＣＵ１０は、Ｓ１５０に進み、小窓ごとに相違度を算出する。相違度とは、小窓内の輝度値差の和である。小窓とは、中心画素を含み、且つ、窓内の一部の範囲を区画する領域のことである。言い換えると、小窓とは、中心画素を含み、且つ、窓内の一部を除外した領域のことである。本実施形態においては、６つの画素を含む矩形の範囲として、図７〜図１１に示すように、４種類が用意されている。

【0023】

次にＥＣＵ１０は、Ｓ１６０に進み、最小の相違度を選択する。図７〜図１１に示した例では、図９の相違度１９２が選択される。

【0024】

次にＥＣＵ１０は、Ｓ１７０に進み、信頼度を算出する。信頼度は、窓内の画素群に対して１つの値が算出される。本実施形態においては、信頼度として、Ｙ方向のエッジ強度を算出する。つまり、図１１に示すように、Ｙ方向に隣接する画素の輝度値の差の絶対値を算出し、合計した値を、Ｙ方向のエッジ強度、つまり信頼度として算出する。

【0025】

次にＥＣＵ１０は、Ｓ１８０に進み、信頼度付き相違度を算出する。具体的には、Ｓ１６０で選択した相違度を、信頼度で除算する。上記の例では、選択された相違度、及び信頼度ともに１９２であるので、信頼度付き相違度は１である。なお、先述したように、信頼度付き相違度に対して、視差値の値が対応付けられて、セットで記憶される。以下、本実施形態においては、信頼度付き相違度を、単に、相違度という。

【0026】

次にＥＣＵ１０は、Ｓ１９０に進み、現在の着目画素に対して対象になり得る比較画素を全て選択したかを判定する。ＥＣＵ１０は、選択していない比較画素が残っている場合、Ｓ１９０でＮＯと判定し、Ｓ１２０に戻る。

【0027】

ＥＣＵ１０は、全ての比較画素を選択した場合、Ｓ１９０でＹＥＳと判定し、Ｓ１９５に進む。ＥＣＵ１０は、Ｓ１９５に進むと、着目画素を全て選択したかを判定する。ＥＣＵ１０は、選択していない着目画素が残っている場合、Ｓ１９５でＮＯと判定し、Ｓ１１０に戻る。ＥＣＵ１０は、全ての着目画素を選択した場合、Ｓ１９５でＹＥＳと判定し、視差計算を終える。

【0028】

次にＥＣＵ１０は、Ｓ２００に進み、視差を推定する。上記で説明したように、視差計算を完了すると、各着目画素について、最も相違度の値が小さい比較画素が定まる。この最も相違度の値が小さい比較画素が、着目画素に対応する画素として最も尤もらしいと推定できる。そこで、本実施形態においては、相違度に基づき、視差を推定する。

【0029】

次にＥＣＵ１０は、Ｓ３００に進み、視差画像を作成する。視差画像とは、各画素に対して、視差（つまり距離）を付与した画像である。

【0030】

次にＥＣＵ１０は、Ｓ４００に進み、障害物の情報を出力して、Ｓ１００から画像認識処理を繰り返す。障害物の情報は、制御部３０に入力される。障害物の情報とは、自動車や人などが、衝突の可能性が有る程に接近している場合に、その位置と距離とを示す情報である。制御部３０は、障害物の情報を基に、衝突を回避するため、操舵や制動を自動で実行する。

【0031】

以上に説明した本実施形態によれば、４種類の小窓を用いて相違度を決定するため、窓内の細かな特徴を捉えることができ、ひいては相違度の尤もらしさが向上する。特に効果が発揮されるのは、図４に例示したＸ方向に沿った白線等の場合である。このような白線の場合、図５に例示したようにＹ方向に１画素分ずれただけで、輝度値が大きく変化し、窓内全体の相違度が小さいことと、尤もらしさとの相関が崩れることがある。本実施形態によれば、このような場合であっても、上記したように小窓を用いることによって、尤もらしい相違度を決定することができる。

【0032】

さらに、Ｓ１３０で窓内の画素の輝度値から、中心画素の輝度値を減算した結果を、Ｓ１４０での輝度値の差の算出に用いるので、窓内のより細かな形状を評価することができる。

【0033】

小窓による演算は、画一的に実行できるので、処理負荷が過大になることは回避されている。

【0034】

信頼度を用いているので、視差の推定精度が向上する。エッジ強度を信頼度として用いているのは、エッジ強度が強ければ強いほど、窓内の輝度値の分布に特徴が出やすく、着目画素に対応する画素として尤もらしい場合と、そうでない場合との差がはっきりしやすいからである。

【0035】

実施形態２を説明する。実施形態２の説明は、主に実施形態１と異なる点を対象にする。特に説明しない点については、実施形態１と同じである。

【0036】

実施形態２では、図１２に示すように、Ｓ２００としての視差の推定に代えて、Ｓ２１０として、視差の最適化を実行する。視差値の最適化は、既知のビタビアルゴリズムを用いる。ビタビアルゴリズムは、尤もらしい経路を探索する動的計画法アルゴリズムの一種である。このように本実施形態でいう最適化とは、最適化問題の解析という意味で用いており、必ずしも、得られる結果がこの上なく優れていることを保証している訳ではない。

【0037】

以下、図１３に示された例を用いて説明する。視差計算を完了すると、基準画像において着目画素として選択された画素に対して、視差値と相違度とのセットが複数、対応付けられている。このセットを用い、視差値をＸＹ平面に直交する座標（Ｚ軸）、相違度をＸＹＺ空間における各位置に格納された値として整理する。図１３は、このように整理された値を、基準画像における或るＹ方向位置に並んだ画素について抜き出して示す。

【0038】

Ｙ方向には移動せず、Ｘ＝２を入口、Ｘ＝１３を出口とする経路を探索する場合を考える。Ｘ＝２において入口となる視差値は、全通りが対象となる。以下、Ｘ＝２の画素に対して相違度１が格納された視差値を入口とする例で考える。入口となる視差値から、Ｘ＝３の画素に対応付けられた視差値と相違度とのセットに移動する経路は、Ｘ＝３の画素に対応付けられた視差値の数だけ存在する。

【0039】

これらの経路のうち、最もコストが小さい経路が何れであるかを特定する。コストは、移動先の相違度と、移動に伴う視差値の変化とによって定まる。つまり、移動先の相違度が小さければ小さいほど、コストも小さくなる。そして、移動元と移動先との視差値の変化が小さければ小さいほど、コストも小さくなる。相違度と、視差値の変化との重み付けは、適宜、決定すればよい。

【0040】

図１３に示す例では、Ｘ＝２の画素とＸ＝３の画素とで同じ視差値に移動するのが最もコストが低いので、その視差値への経路が選択されている。この結果、Ｘ＝３の画素で相違度１が格納された視差値は、経路から外れる。このように、単に相違度が小さいだけでは、その相違度に対応する視差値が選択されるとは限らない。同様なコスト計算によって、順次、Ｘ方向への経路を探索し、Ｘ＝１３まで辿り着くと、経路と、経路のコストとが定まる。

【0041】

同様な経路探索を、Ｘ＝２の画素に対応付けられた全ての視差値を入口として実行すると、最もコストが小さい経路が定まる。同様な経路探索を、他のＹ方向位置の画素群に対しても実施する。さらには、同様な経路探索を、Ｘ方向の位置を固定し、Ｙ方向に移動する態様でも実施する。これらの経路探索によって定まる最小コストの経路が辿る画素と視差値との関係が、尤もらしい関係であると見なし、最適化された視差値として採用される。

【0042】

このようにして、全ての着目画素に対して、視差値が決定されると、Ｓ２１０が完了する。

【0043】

以上に説明した本実施形態によれば、視差画像に用いられる視差値が、より尤もらしくなる。経路探索において、視差値の変化をコストとして扱うのは、距離が急激に変化することは、画素単位ではさほど頻繁には発生しないはずだからである。それにも関わらず、視差値が急激に変化する理由の一つとしては、偶々、相違度が小さくなる比較画素が、同じＹ方向位置にあったことが挙げられる。このような現象に対し、視差値の変化をコストとして扱うことによって、上記した効果を得ることができる。

【0044】

実施形態と特許請求の範囲との対応関係は次の通りである。ＥＵＣ１０は測距装置、Ｓ１１０は第１選択部、Ｓ１２０は第２選択部、Ｓ１３０，Ｓ１４０，Ｓ１５０は算出部、Ｓ１６０，Ｓ１７０，Ｓ１８０は決定部、Ｓ２００，Ｓ２１０は取得部、窓に含まれる９つの画素はｋ個の画素、参照画像におけるＸ方向についての１２箇所の配置はｎ箇所の配置、窓は第１窓および第２窓、４種類の小窓はｍ種類の部分領域に対応する。

【0045】

本開示は、本明細書の実施形態や実施例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現できる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例中の技術的特徴は、先述の課題の一部又は全部を解決するために、或いは、先述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせができる。その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除できる。例えば、以下の実施形態が例示される。

【0046】

Ｓ１６０において、最小の相違度を選択する際に、外れ値を除去してもよい。つまり、最小の相違度が、他の相違度に比べて小さすぎる場合には、最小の相違度を外れ値として除去し、残った相違度の中から選択してもよい。外れ値に該当するか否かは、例えば、標準偏差を用いてもよい。

【0047】

信頼度として、Ｘ方向のエッジ強度を用いてもよいし、Ｘ，Ｙ方向それぞれのエッジ強度を合計してもよい。或いは、信頼度を用いなくてもよい。

【0048】

Ｓ１３０を省略し、Ｓ１４０で、輝度値そのものを対象にして、輝度値の差を算出してもよい。

【0049】

小窓の形状は、中心画素を含んでいれば、どのような形状でもよい。例えば、３×３の窓内の画素に含まれる４つの角に位置する画素のうち、３つの角に位置する画素を含む３角形であってもよい。この３角形には、中心画素を含む６つの画素が含まれる。

【0050】

上記実施形態において、ソフトウエアによって実現された機能及び処理の一部又は全部は、ハードウエアによって実現されてもよい。また、ハードウエアによって実現された機能及び処理の一部又は全部は、ソフトウエアによって実現されてもよい。ハードウエアとしては、例えば、集積回路、ディスクリート回路、または、それらの回路を組み合わせた回路モジュールなど、各種回路を用いてもよい。特に、上記した実施形態は、ハードウエア化による並列化および高速化に適している。

【0051】

相違度を算出する際に、小窓内の画素の標準偏差や共分散を加味してもよい。

【符号の説明】

【0052】

１０ ＥＣＵ、２１ カメラ、２２ カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】