特許 6377970 視差画像生成装置及び視差画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6377970

(24)【登録日】2018年8月3日

(45)【発行日】2018年8月22日

(54)【発明の名称】視差画像生成装置及び視差画像生成方法

(51)【国際特許分類】

   H04N 13/106 20180101AFI20180813BHJP

   H04N 13/239 20180101ALI20180813BHJP

   G06T 7/593 20170101ALI20180813BHJP

【ＦＩ】

   H04N13/106

   H04N13/239

   G06T7/593

【請求項の数】9

【全頁数】27

(21)【出願番号】特願2014-121668(P2014-121668)

(22)【出願日】2014年6月12日

(65)【公開番号】特開2016-1841(P2016-1841A)

(43)【公開日】2016年1月7日

【審査請求日】2016年10月18日

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(73)【特許権者】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(74)【代理人】

【識別番号】100117075

【弁理士】

【氏名又は名称】伊藤 剣太

(72)【発明者】

【氏名】永田 暁彦

(72)【発明者】

【氏名】松原 利之

(72)【発明者】

【氏名】城殿 清澄

【審査官】 益戸 宏

(56)【参考文献】

【文献】 特表２０１１−５２５６５７（ＪＰ，Ａ）

【文献】 特開２０１４−０８５１２０（ＪＰ，Ａ）

【文献】 特開２０１４−０３８５４６（ＪＰ，Ａ）

【文献】 米国特許第０６６０６４０６（ＵＳ，Ｂ１）

【文献】 米国特許出願公開第２０１４／００６３１９９（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１２／００５０４９６（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００

Ｇ０６Ｔ ７／５９３

(57)【特許請求の範囲】

【請求項1】

車両の周囲環境の撮像結果に基づいて視差画像を取得する視差画像取得手段と、
前記視差画像を構成する各々の画素の視差値を、同画素に対して少なくとも一方向の所定の画素経路である第一画素経路の少なくとも一部を構成する画素の視差値に基づいて最適化する第一補正手段と、
前記視差画像を構成する各々の画素の視差値を、同画素に対して少なくとも一方向の所定の画素経路であり且つ前記第一画素経路と異なる画素経路である第二画素経路の少なくとも一部を構成する画素の視差値に基づいて最適化する第二補正手段と、
第一時刻に前記視差画像取得手段によって取得された第一視差画像に対して、前記第一補正手段による最適化を適用し、前記第一時刻より後の時刻である第二時刻に前記視差画像取得手段によって取得された第二視差画像に対して、前記第二補正手段による最適化を適用し、前記第一補正手段により最適化された前記第一視差画像と、前記第二補正手段により最適化された前記第二視差画像との比較に基づいて所望の視差画像を算出して生成する視差画像生成手段と、
を備えることを特徴とする視差画像生成装置。

【請求項2】

前記車両の運動情報を取得する車両情報取得手段と、
前記車両情報取得手段によって取得された前記第一時刻から前記第二時刻までの運動情報に基づいて、前記第一視差画像を構成する所定の画素位置と、前記第二視差画像を構成する所定の画素位置と、が同一の撮像位置となるように対応付ける対応付け手段と、
を更に備え、
前記視差画像生成手段は、
前記対応付け手段によって対応付けされた画素間で、前記第一補正手段により最適化された前記第一視差画像と、前記第二補正手段により最適化された前記第二視差画像とを、画素ごとに比較することで、前記所望の視差画像を算出する請求項１に記載の視差画像生成装置。

【請求項3】

前記視差画像生成手段は、
前記第一補正手段により最適化された前記第一視差画像の視差値と、前記第二補正手段により最適化された前記第二視差画像の視差値との差を、画素ごとに比較することで前記所望の視差画像を算出して生成するときに、
前記視差値の差が、所定の判定閾値以上である場合は、前記第二視差画像における同画素の視差値を前記所望の視差画像の視差値として使用することを抑制する一方で、
前記視差値の差が、前記判定閾値より小さい場合は、前記第二視差画像における同画素の視差値を前記所望の視差画像の視差値として使用することを促進する請求項１または請求項２に記載の視差画像生成装置。

【請求項4】

前記視差画像生成手段は、
前記視差値の差が、前記判定閾値以上である場合は、前記第二視差画像における同画素の視差値を前記所望の視差画像の視差値として使用しない一方で、前記視差値の差が、前記判定閾値より小さい場合は、前記第二視差画像における同画素の視差値を前記所望の視差画像の視差値として使用する請求項３に記載の視差画像生成装置。

【請求項5】

前記視差画像生成手段は、
前記視差値の差が、前記判定閾値以上である場合は、前記第二視差画像における同画素の視差値を信頼度の低い視差値として前記所望の視差画像に設定する一方で、前記視差値の差が、前記判定閾値より小さい場合は、前記第二視差画像における同画素の視差値を信頼度の高い視差値として前記所望の視差画像に設定する請求項３に記載の視差画像生成装置。

【請求項6】

前記所定の判定閾値は、視差値が大きくなると閾値も大きくなるように規定したマップを参照することで視差値に応じて決定される判定閾値、または、予め固定値として設定された判定閾値である請求項３から５のうちいずれか一項に記載の視差画像生成装置。

【請求項7】

車両の周囲環境の撮像結果に基づいて視差画像を取得する視差画像取得ステップと、
前記視差画像取得ステップで取得された前記視差画像を構成する各々の画素の視差値を、同画素に対して少なくとも一方向の所定の画素経路である第一画素経路の少なくとも一部を構成する画素の視差値に基づいて最適化する第一補正ステップと、
前記視差画像取得ステップで取得された前記視差画像を構成する各々の画素の視差値を、同画素に対して少なくとも一方向の所定の画素経路であり且つ前記第一画素経路と異なる画素経路である第二画素経路の少なくとも一部を構成する画素の視差値に基づいて最適化する第二補正ステップと、
第一時刻に前記視差画像取得ステップで取得された第一視差画像に対して、前記第一補正ステップの処理による最適化を適用し、前記第一時刻より後の時刻である第二時刻に前記視差画像取得ステップで取得された第二視差画像に対して、前記第二補正ステップの処理による最適化を適用し、前記第一補正ステップの処理により最適化された前記第一視差画像と、前記第二補正ステップの処理により最適化された前記第二視差画像との比較に基づいて所望の視差画像を算出して生成する視差画像生成ステップと、
を含むことを特徴とする視差画像生成方法。

【請求項8】

前記車両の運動情報を取得する車両情報取得ステップと、
前記車両情報取得ステップで取得された前記第一時刻から前記第二時刻までの運動情報に基づいて、前記第一視差画像を構成する所定の画素位置と、前記第二視差画像を構成する所定の画素位置と、が同一の撮像位置となるように対応付ける対応付けステップと、
を更に含み、
前記視差画像生成ステップにおいて、
前記対応付けステップで対応付けされた画素間で、前記第一補正ステップの処理により最適化された前記第一視差画像と、前記第二補正ステップの処理により最適化された前記第二視差画像とを、画素ごとに比較することで、前記所望の視差画像が算出される請求項７に記載の視差画像生成方法。

【請求項9】

前記視差画像生成ステップは、
前記第一補正ステップの処理により最適化された前記第一視差画像の視差値と、前記第二補正ステップの処理により最適化された前記第二視差画像の視差値との差を、画素ごとに比較することで前記所望の視差画像を算出して生成するときに、
前記視差値の差が、所定の判定閾値以上である場合は、前記第二視差画像における同画素の視差値を前記所望の視差画像の視差値として使用することを抑制する一方で、
前記視差値の差が、前記判定閾値より小さい場合は、前記第二視差画像における同画素の視差値を前記所望の視差画像の視差値として使用することを促進する請求項７または請求項８に記載の視差画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視差画像生成装置、視差画像生成方法及び画像に関する。

【背景技術】

【0002】

従来、高密度視差画像（dense disparity image）を生成する際には、２枚の画像間で対応（マッチング）する点を探索して視差画像を生成した後、周囲（８〜１６方位）の視差との滑らかさを考慮して視差値を最適化するアルゴリズム（ＳＧＭ：Semi-Global Matching法）が用いられていた。

【0003】

例えば、特許文献１に記載の高密度視差画像生成技術においては、以下の手法が用いられている。ステレオカメラの左右のそれぞれのカメラから輝度画像Ｌ、および輝度画像Ｒを取得する。取得した輝度画像Ｌおよび輝度画像Ｒ両方に基づいて輝度画像Ｌをベースとした視差画像Ｄ（１）を作成すると共に、輝度画像Ｌおよび輝度画像Ｒ両方に基づいて輝度画像Ｒをベースとした視差画像Ｄ’（１’）を作成する。作成した視差画像Ｄ（１）を構成する各々の画素の視差値を、同画素に対して（ｉ）左の画素経路、（ｉｉ）左斜め上の画素経路、（ｉｉｉ）上の画素経路、および（ｉｖ）右斜め上の画素経路、のそれぞれの一部の画素の視差値に基づいて補正する（以下、補正処理Ａとする）ことで画像Ｃ（１）（および画像Ｓ（１））を作成する。作成した視差画像Ｄ’（１’）を構成する各々の画素の視差値を、同画素に対して（ｖ）右の画素経路、（ｖｉ）右斜め下の画素経路、（ｖｉｉ）下の画素経路、および（ｖｉｉｉ）左斜め下の画素経路、のそれぞれの一部の画素の視差値に基づいて補正する（以下、補正処理Ｂとする）ことで画像Ｃ’（１’）（および画像Ｓ’（１’））を作成する。作成した画像Ｃ１（Ｓ（１））および画像Ｃ’（１’）（Ｓ’（１’））をそれぞれ構成する画素値同士を比較することによって、所望の視差画像を算出する。

【0004】

また、非特許文献１には、特許文献１に記載の技術の基本技術として、高機能車載ステレオカメラ技術であるＳＧＭ法に基づく高密度視差画像算出技術が開示されている。非特許文献１に記載の技術では、ステレオカメラより視差画像Ｄを取得し、視差画像Ｄを構成する各々の画素の視差値を、同画素に対して少なくとも周囲８方向の画素経路、のそれぞれの一部の画素の視差値に基づいて補正することで所望の視差画像を算出する。また、非特許文献２にもＳＧＭ法について開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】国際公開第２０１０／０２８７１８号公報

【非特許文献】

【0006】

【非特許文献1】Ｈｅｉｋｏ Ｈｉｒｓｃｈｍｕｌｌｅｒ，「Ａｃｃｕｒａｔｅ ａｎｄ Ｅｆｆｉｃｉｅｎｔ Ｓｔｅｒｅｏ Ｐｒｏｃｅｓｓｉｎｇ ｂｙ Ｓｅｍｉ−Ｇｌｏｂａｌ Ｍａｔｃｈｉｎｇ ａｎｄ Ｍｕｔｕａｌ Ｉｎｆｏｒａｍａｔｉｏｎ」，ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），Ｓａｎ Ｄｉｅｇｏ，ＣＡ，ＵＳＡ，Ｊｕｎｅ ２０−２６，２００５．

【非特許文献2】実吉敬二、「リアルタイムステレオカメラの最近の動向と歩行者検出への応用」（特集 自動者安全に関する医工連携）、自動車技術学会誌、Ｖｏｌ．６７，Ｎｏ．１２，２０１３．

【発明の概要】

【発明が解決しようとする課題】

【0007】

ところで、一般的に高密度視差画像を生成するには膨大な計算量を必要とする。例えば、従来の高密度視差画像生成技術（特許文献１等に記載のＳＧＭ法）においては、輝度画像Ｌをベースとした視差画像と、輝度画像Ｒをベースとした視差画像と、の両方に基づいてその後の画像処理が行われるため、処理コストがかかる。以下にその理由について図１を参照して説明する。図１は、従来の高密度視差画像生成技術における最適化処理の概要を示す図である。

【0008】

図１に示すように、周囲の視差との滑らかさを考慮して着目点の視差値を最適化する処理（ＳＧＭ法）では、輝度画像Ｌベースの視差画像（図１左図）を左上から右下にラスタ走査をして着目点の左および上方向の視差との滑らかさを考慮した情報（以下、中間情報と呼ぶ）をメモリに保持する。続いて、輝度画像Ｒベースの視差画像（図１右図）を右下から左上にラスタ走査をして着目点の右および下方向の視差との滑らかさを考慮した情報を、メモリに保持しておいた中間情報と照合して最適な視差値を決定する。そして、決定した最適な視差値をマージして所望の視差画像（図１下図）を算出する。ここで、従来の最適化処理は、２方向のラスタ走査をしなければならないため処理量が多くなってしまう。ここでいう２方向のラスタ走査とは、例えば、図１左図に示す視差画像の左上の画素を起点として上の行から下の行に向かうラスタ走査、及び、図１右図に示す視差画像の右下の画素を起点として下の行から上の行に向かうラスタ走査である。また、中間情報を保持するためのメモリを用意する必要があるため、車載マイコンに実装することが困難となる。

【0009】

そこで、計算量を減らして処理コストを抑えるために、１方向のラスタ走査（例えば、図１左図に示す視差画像の左上の画素を起点として上の行から下の行に向かうラスタ走査のみ）で最適化処理を行うことも考えられるが、この場合は高密度視差画像の生成における精度が落ちてしまう。以下にその理由について図２を参照して説明する。図２は、１方向のラスタ走査で最適化処理を行う場合に算出される視差値の一例を示す図である。

【0010】

図２に示すように、１方向のラスタ走査で最適化処理を行う場合、交通環境の視差画像内の対象領域を例に挙げると、影などでコントラストが低い路面（水平面）上の点の視差はマッチングコスト（信頼度）が低くなる。そのため、周囲のマッチングコストが高い視差、例えば日向などのコントラストが高い路面（水平面）上の点、の視差の寄与度が高くなってしまう。これにより、２方向で走査した場合の最適解（格子２）とは異なり、１方向で走査した場合は誤った最適解（格子１および格子３）が導出されてしまう。

【0011】

具体的には、本来であれば２方向の走査をした場合は、上下左右８方位で最適化を行うので、視差値は上から２，３，４，５，６，７，８となる（格子２）。一方、１方向の走査をした場合、例えば左上から右下に走査すると（格子１）、左上４方向のみで最適化を行うので、日向の視差（格子１の上から２番目の視差値３）が伝播して、影に対応する点（格子１の上から３番目から５番目）の視差が寄与度の高い日向に対応する点と同じ視差値（格子１において、視差値３）になってしまう。この場合、視差値は上から２，３，３，３，３，７，８となる。同様に、例えば右下から左上に走査すると（格子３）、右下４方向のみで最適化を行うので、日向の視差（格子２の下から２番目の視差値７）が伝播して、影に対応する点（格子３の下から３番目から５番目）の視差が寄与度の高い日向に対応する点と同じ視差値（格子３において、視差値７）になってしまう。この場合、視差値は上から２，３，７，７，７，７，８となる。

【0012】

本発明は、上記の事情に鑑みてなされたものであって、高密度視差画像を生成する技術において、処理コストを抑えつつ高精度に高密度視差画像を生成することが可能な視差画像生成装置および視差画像生成方法を提供することを目的とする。

【課題を解決するための手段】

【0013】

本発明の視差画像生成装置は、車両の周囲環境の撮像結果に基づいて視差画像を取得する視差画像取得手段と、前記視差画像を構成する各々の画素の視差値を、同画素に対して少なくとも一方向の所定の画素経路である第一画素経路の少なくとも一部を構成する画素の視差値に基づいて最適化する第一補正手段と、前記視差画像を構成する各々の画素の視差値を、同画素に対して少なくとも一方向の所定の画素経路であり且つ前記第一画素経路と異なる画素経路である第二画素経路の少なくとも一部を構成する画素の視差値に基づいて最適化する第二補正手段と、第一時刻に前記視差画像取得手段によって取得された第一視差画像に対して、前記第一補正手段による最適化を適用し、前記第一時刻より後の時刻である第二時刻に前記視差画像取得手段によって取得された第二視差画像に対して、前記第二補正手段による最適化を適用し、前記第一補正手段により最適化された前記第一視差画像と、前記第二補正手段により最適化された前記第二視差画像との比較に基づいて所望の視差画像を算出して生成する視差画像生成手段と、を備えることを特徴とする。

【0014】

上記視差画像生成装置において、前記車両の運動情報を取得する車両情報取得手段と、前記車両情報取得手段によって取得された前記第一時刻から前記第二時刻までの運動情報に基づいて、前記第一視差画像を構成する所定の画素位置と、前記第二視差画像を構成する所定の画素位置と、が同一の撮像位置となるように対応付ける対応付け手段と、を更に備え、前記視差画像生成手段は、前記対応付け手段によって対応付けされた画素間で、前記第一補正手段により最適化された前記第一視差画像と、前記第二補正手段により最適化された前記第二視差画像とを、画素ごとに比較することで、前記所望の視差画像を算出することが好ましい。

【0015】

上記視差画像生成装置において、前記視差画像生成手段は、前記第一補正手段により最適化された前記第一視差画像の視差値と、前記第二補正手段により最適化された前記第二視差画像の視差値との差を、画素ごとに比較することで前記所望の視差画像を算出して生成するときに、前記視差値の差が、所定の判定閾値以上である場合は、前記第二視差画像における同画素の視差値を前記所望の視差画像の視差値として使用することを抑制する一方で、前記視差値の差が、前記判定閾値より小さい場合は、前記第二視差画像における同画素の視差値を前記所望の視差画像の視差値として使用することを促進することが好ましい。

【0016】

上記視差画像生成装置において、前記視差画像生成手段は、前記視差値の差が、前記判定閾値以上である場合は、前記第二視差画像における同画素の視差値を前記所望の視差画像の視差値として使用しない一方で、前記視差値の差が、前記判定閾値より小さい場合は、前記第二視差画像における同画素の視差値を前記所望の視差画像の視差値として使用することが好ましい。

【0017】

上記視差画像生成装置において、前記視差画像生成手段は、前記視差値の差が、前記判定閾値以上である場合は、前記第二視差画像における同画素の視差値を信頼度の低い視差値として前記所望の視差画像に設定する一方で、前記視差値の差が、前記判定閾値より小さい場合は、前記第二視差画像における同画素の視差値を信頼度の高い視差値として前記所望の視差画像に設定することが好ましい。

【0018】

上記視差画像生成装置において、前記所定の判定閾値は、視差値が大きくなると閾値も大きくなるように規定したマップを参照することで視差値に応じて決定される判定閾値、または、予め固定値として設定された判定閾値であることが好ましい。

【0019】

本発明の視差画像生成方法は、車両の周囲環境の撮像結果に基づいて視差画像を取得する視差画像取得ステップと、前記視差画像取得ステップで取得された前記視差画像を構成する各々の画素の視差値を、同画素に対して少なくとも一方向の所定の画素経路である第一画素経路の少なくとも一部を構成する画素の視差値に基づいて最適化する第一補正ステップと、前記視差画像取得ステップで取得された前記視差画像を構成する各々の画素の視差値を、同画素に対して少なくとも一方向の所定の画素経路であり且つ前記第一画素経路と異なる画素経路である第二画素経路の少なくとも一部を構成する画素の視差値に基づいて最適化する第二補正ステップと、第一時刻に前記視差画像取得ステップで取得された第一視差画像に対して、前記第一補正ステップの処理による最適化を適用し、前記第一時刻より後の時刻である第二時刻に前記視差画像取得ステップで取得された第二視差画像に対して、前記第二補正ステップの処理による最適化を適用し、前記第一補正ステップの処理により最適化された前記第一視差画像と、前記第二補正ステップの処理により最適化された前記第二視差画像との比較に基づいて所望の視差画像を算出して生成する視差画像生成ステップと、を含むことを特徴とする。

【0020】

上記視差画像生成方法において、前記車両の運動情報を取得する車両情報取得ステップと、前記車両情報取得ステップで取得された前記第一時刻から前記第二時刻までの運動情報に基づいて、前記第一視差画像を構成する所定の画素位置と、前記第二視差画像を構成する所定の画素位置と、が同一の撮像位置となるように対応付ける対応付けステップと、
を更に含み、前記視差画像生成ステップにおいて、前記対応付けステップで対応付けされた画素間で、前記第一補正ステップの処理により最適化された前記第一視差画像と、前記第二補正ステップの処理により最適化された前記第二視差画像とを、画素ごとに比較することで、前記所望の視差画像が算出されることが好ましい。

【0021】

上記視差画像生成方法では、前記視差画像生成ステップにおいて、前記第一補正ステップの処理により最適化された前記第一視差画像の視差値と、前記第二補正ステップの処理により最適化された前記第二視差画像の視差値との差を、画素ごとに比較することで前記所望の視差画像を算出して生成するときに、前記視差値の差が、所定の判定閾値以上である場合は、前記第二視差画像における同画素の視差値を前記所望の視差画像の視差値として使用することを抑制する一方で、前記視差値の差が、前記判定閾値より小さい場合は、前記第二視差画像における同画素の視差値を前記所望の視差画像の視差値として使用することを促進することが好ましい。

【0022】

本発明の画像は、車両の周囲環境の撮像結果に基づいて視差画像を取得する視差画像取得ステップと、前記視差画像取得ステップで取得された前記視差画像を構成する各々の画素の視差値を、同画素に対して少なくとも一方向の所定の画素経路である第一画素経路の少なくとも一部を構成する画素の視差値に基づいて最適化する第一補正ステップと、前記視差画像取得ステップで取得された前記視差画像を構成する各々の画素の視差値を、同画素に対して少なくとも一方向の所定の画素経路であり且つ前記第一画素経路と異なる画素経路である第二画素経路の少なくとも一部を構成する画素の視差値に基づいて最適化する第二補正ステップと、第一時刻に前記視差画像取得ステップで取得された第一視差画像に対して、前記第一補正ステップの処理による最適化を適用し、前記第一時刻より後の時刻である第二時刻に前記視差画像取得ステップで取得された第二視差画像に対して、前記第二補正ステップの処理による最適化を適用し、前記第一補正ステップの処理により最適化された前記第一視差画像と、前記第二補正ステップの処理により最適化された前記第二視差画像との比較に基づいて所望の視差画像を算出して生成する視差画像生成ステップと、を含む視差画像生成方法により生成される画像であって、前記画像は、前記視差画像生成ステップにおいて、前記第一補正ステップの処理により最適化された前記第一視差画像の視差値と、前記第二補正ステップの処理により最適化された前記第二視差画像の視差値との差が判定閾値より小さいと判定された前記第二視差画像の視差値を有する画素のみから構成されることを特徴とする。

【発明の効果】

【0023】

本発明にかかる視差画像生成装置および視差画像生成方法は、高密度視差画像を生成する技術において、時間列で連続する視差画像に対して最適化処理の走査方向をフレーム毎に切り替えることができる。これにより、本発明にかかる視差画像生成装置および視差画像生成方法によれば、処理コストを抑えつつ高精度に高密度視差画像を生成することが可能になるという効果を奏する。

【図面の簡単な説明】

【0024】

【図1】図１は、従来の高密度視差画像生成技術における最適化処理の概要を示す図である。

【図2】図２は、１方向のラスタ走査で最適化処理を行う場合に算出される視差値の一例を示す図である。

【図3】図３は、本発明に係る視差画像生成装置の構成を示す図である。

【図4】図４は、本実施形態における視差最適化処理の一例を示す図である。

【図5】図５は、本実施形態における視差最適化処理の一例を示す図である。

【図6】図６は、本実施形態における視差最適化処理の一例を示す図である。

【図7】図７は、本実施形態における視差最適化処理の一例を示す図である。

【図8】図８は、本実施形態における視差最適化処理の一例を示す図である。

【図9】図９は、本実施形態における視差最適化処理の一例を示す図である。

【図10】図１０は、本実施形態における視差最適化処理の一例を示す図である。

【図11】図１１は、本実施形態における視差最適化処理の一例を示す図である。

【図12】図１２は、本実施形態における対応付け処理の一例を示す図である。

【図13】図１３は、本実施形態における視差画像比較処理の一例を示す図である。

【図14】図１４は、本実施形態における判定閾値の一例を示す図である。

【図15】図１５は、本実施形態において生成される画像の一例を示す図である。

【図16】図１６は、本発明に係る視差画像生成装置の基本処理の一例を示すフローチャートである。

【図17】図１７は、本発明に係る視差画像生成装置の基本処理の別の一例を示すフローチャートである。

【図18】図１８は、本実施形態における上下反転処理の一例を示す図である。

【図19】図１９は、本発明に係る視差画像生成装置における別の処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0025】

以下に、本発明にかかる視差画像生成装置および視差画像生成方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記の実施形態における構成要素には、当業者が容易に想定できるものあるいは実質的に同一のものが含まれる。

【0026】

［実施形態］
図３〜図１５を参照して、本発明に係る視差画像生成装置の構成について説明する。ここで、図３は、本発明に係る視差画像生成装置の構成を示す図である。図４〜図１１は、本実施形態における視差最適化処理の一例を示す図である。図１２は、本実施形態における対応付け処理の一例を示す図である。図１３は、本実施形態における視差画像比較処理の一例を示す図である。図１４は、本実施形態における判定閾値の一例を示す図である。図１５は、本実施形態において生成される画像の一例を示す図である。

【0027】

本実施形態における視差画像生成装置は、車両（自車両）に搭載され、典型的には、撮像装置１と、車両運動量検出装置２と、ＥＣＵ３と、アクチュエータ４と、を備える。

【0028】

撮像装置１は、車両の進行方向の交通環境を撮像する撮像手段である。撮像装置１は、撮像可能な右カメラ１ａと左カメラ１ｂとから構成される。右カメラ１ａは、車両前方右側に設置され、左カメラ１ｂは、車両前方左側に設置される。右カメラ１ａ及び左カメラ１ｂは、例えば、ステレオカメラである。右カメラ１ａは、車両の進行方向を撮像した画像である輝度画像ＲをＥＣＵ３へ出力する。左カメラ１ｂは、車両の進行方向を撮像した画像である輝度画像ＬをＥＣＵ３へ出力する。

【0029】

車両運動量検出装置２は、車両運動量を示す各種情報（車速やヨーレートや加速度等）を検出する自車運動量検出手段である。車両運動量検出装置２は、車速センサ２ａとヨーレートセンサ２ｂと加速度センサ２ｃを少なくとも含んで構成される。車速センサ２ａは、車輪毎に設けられ、夫々の車輪速度を検出する車輪速度検出装置である。各車速センサ２ａは、各車輪の回転速度である車輪速度を検出する。各車速センサ２ａは、検出した各車輪の車輪速度を示す車輪速信号をＥＣＵ３へ出力する。ＥＣＵ３は、各車速センサ２ａから入力される各車輪の車輪速度に基づいて、車両の走行速度である車速を算出する。ＥＣＵ３は、各車速センサ２ａのうち少なくとも１つから入力される車輪速度に基づいて車速を算出してもよい。ＥＣＵ３は、算出した車速を車両の運動情報として取得する。ヨーレートセンサ２ｂは、車両のヨーレートを検出するヨーレート検出装置である。ヨーレートセンサ２ｂは、検出したヨーレートを示すヨーレート信号をＥＣＵ３へ出力する。ＥＣＵ３は、入力されたヨーレート信号を車両の運動情報として取得する。加速度センサ２ｃは、車体にかかる加速度を検出する加速度検出装置である。加速度センサ２ｃは、検出した加速度を示す加速度信号をＥＣＵ３へ出力する。ＥＣＵ３は、入力された加速度信号を車両の運動情報として取得する。

【0030】

ＥＣＵ３は、車両の各部の駆動を制御するものであり、ＣＰＵ、ＲＯＭ、ＲＡＭ及びインターフェースを含む周知のマイクロコンピュータを主体とする電子制御ユニットである。ＥＣＵ３は、撮像装置１および車両運動量検出装置２と電気的に接続され、検出結果に対応した電気信号が入力される。そして、ＥＣＵ３は、検出結果に対応した電気信号に応じて各種演算処理を行い、演算結果に対応した制御指令を出力することで、ＥＣＵ３と電気的に接続されたアクチュエータ４の作動を制御する。例えば、ＥＣＵ３は、この演算処理結果に基づいた制御信号をアクチュエータ４へ出力して、アクチュエータ４を作動させることで車両の挙動を制御する運転支援制御を行う。

【0031】

ＥＣＵ３の各種処理部の詳細について説明する。ＥＣＵ３は、輝度画像取得部３ａと、視差画像取得部３ｂと、第一補正部３ｃと、第二補正部３ｄと、車両情報取得部３ｅと、対応付け部３ｆと、視差画像生成部３ｇと、対象物検出部３ｈと、車両制御部３ｉと、を少なくとも備える。

【0032】

ＥＣＵ３のうち、輝度画像取得部３ａは、撮像装置１の右カメラ１ａ及び左カメラ１ｂからそれぞれ出力される輝度画像Ｒおよび輝度画像Ｌを取得する輝度画像取得手段である。輝度画像取得部３ａは、更に、画像歪補正処理として、右カメラ１ａと左カメラ１ｂのレンズ歪みがなくなるように輝度画像Ｒおよび輝度画像Ｌを補正し、右カメラ１ａと左カメラ１ｂの光軸が平行になるように輝度画像Ｒおよび輝度画像Ｌを補正する処理を行う機能も有する。輝度画像取得部３ａにより取得されかつ歪みを補正された輝度画像Ｒおよび輝度画像Ｌは、視差画像取得部３ｂの処理に用いられる。

【0033】

視差画像取得部３ｂは、車両の周囲環境の撮像結果に基づいて視差画像を取得する視差画像取得手段である。視差画像取得部３ｂは、輝度画像取得部３ａにより取得されかつ歪み補正された輝度画像Ｒおよび輝度画像Ｌに基づいて、視差画像Ｄを取得する。本実施形態において、視差画像取得部３ｂは、輝度画像Ｌおよび輝度画像Ｒの何れか一方のみをベースとして視差画像Ｄを取得する。言い換えると、視差画像取得部３ｂは、輝度画像Ｌおよび輝度画像Ｒの両方に基づいて輝度画像Ｌをベースとして視差画像Ｄ（１）を取得するか、又は、輝度画像Ｌおよび輝度画像Ｒの両方に基づいて輝度画像Ｒをベースとして視差画像Ｄ’（１’）を取得する。視差画像取得部３ｂで取得された視差画像Ｄ（すなわち、視差画像Ｄ（１）または視差画像Ｄ’（１’）のいずれか）は、第一補正部３ｃ及び第二補正部３ｄの処理に用いられる。

【0034】

例えば、輝度画像Ｌ及び輝度画像Ｒの両方に基づいて輝度画像Ｌをベースとして視差画像Ｄ（１）を、次の処理で用いる視差画像Ｄとして取得する場合の一例を以下に説明する。まず、視差画像取得部３ｂは、輝度画像Ｌと輝度画像Ｒの間で対応する画素を探索する。そして、視差画像取得部３ｂは、探索した対応する画素ごとに視差値Ｄ（ｘ，ｙ）及び信頼度Ｒ（ｘ，ｙ）を算出する。更に、視差画像取得部３ｂは、算出した視差値Ｄ（ｘ，ｙ）及び信頼度Ｒ（ｘ，ｙ）をその画素の位置情報（ｘ，ｙ）ごとに紐付ける処理を行う。なお、本実施形態において、画素は、単一画素の場合のみならず、複数画素のまとまりとしてもよい。

【0035】

具体的には、視差画像取得部３ｂは、視差値Ｄ（ｘ，ｙ）を算出するときに輝度画像Ｌをベースとする場合、対応する画素間で、輝度画像Ｌから輝度画像Ｒまでのズレ量を視差値Ｄ（ｘ，ｙ）として算出する。なお、輝度画像Ｒをベースとして視差画像Ｄ’（１’）を、次の処理で用いる視差画像Ｄとして取得する場合については、対応する画素間で、輝度画像Ｒから輝度画像Ｌまでのズレ量を視差値Ｄ（ｘ，ｙ）として算出すればよい。また、視差画像取得部３ｂは、輝度画像Ｌおよび輝度画像Ｒの左右画像間で対応する画素が略同等の輝度値情報を持つかどうかを判定することで視差算出コストとしての信頼度Ｒ（ｘ，ｙ）を算出する。視差画像取得部３ｂは、略同等の輝度値情報を持つと判定した場合は信頼度Ｒ（ｘ，ｙ）を高い値に設定し、略同等の輝度値情報を持たないと判定した場合は信頼度Ｒ（ｘ，ｙ）を低い値に設定する。

【0036】

第一補正部３ｃは、視差画像取得部３ｂで取得された視差画像Ｄを構成する各々の画素の視差値Ｄ（ｘ，ｙ）を、同画素に対して少なくとも一方向の所定の画素経路である第一画素経路Ａ（Ａ１，Ａ２，Ａ３，Ａ４，…）の少なくとも一部を構成する画素の視差値に基づいて最適化する第一補正手段である。本実施形態において、第一補正部３ｃは、第一時刻（ｔ−１）に視差画像取得部３ｂによって取得された第一視差画像Ｄ（ｔ−１）に対して、上記最適化処理を実行する。例えば、図４に示すように、第一補正部３ｃは、第一時刻（ｔ−１）に視差画像取得部３ｂによって取得された第一視差画像Ｄ（ｔ−１）を構成する各々の画素の視差値Ｄｔ−１（ｘ，ｙ）を、第一画素経路Ａ（Ａ１，Ａ２，Ａ３，Ａ４，…）を構成する画素の視差値に基づいて最適化する。図４の例において、第一画素経路Ａ（Ａ１，Ａ２，Ａ３，Ａ４，…）は、複数の画素から構成される、対象とする画素（図４中の太枠で囲われた画素）周辺の画素領域であり、同画素を起点とする複数の画素経路Ａ１，Ａ２，Ａ３，Ａ４を構成する複数の画素から構成される。つまり、図４の例は、対象とする画素の視差値Ｄｔ−１（ｘ，ｙ）を最適化するために用いる画素領域が、画素経路Ａ１，Ａ２，Ａ３，Ａ４上の画素から構成される場合を示している。この場合、第一補正部３ｃは、対象とする画素の視差値Ｄｔ−１（ｘ，ｙ）を、複数の画素経路Ａ１，Ａ２，Ａ３，Ａ４上の画素の視差値を用いて最適化処理を実行する。

【0037】

例えば、第一補正部３ｃは、上記最適化処理において、周囲の視差との滑らかさを考慮して対象の画素の視差値を最適化する以下の数式を用いる。以下の数式は、Ｅ（Ｄ_ｐ）が最小値となるＤ_ｐを決定するための式であり、本実施形態では、以下の数式で決定されたＤ_ｐを最適化された画素位置ｐにおける視差値とする。

【数1】

上記［数１］に示した数式における各変数の詳細は、以下の通りである。
ｐは、画素位置を示す。画素位置ｐは、単一画素の中心位置であっても、複数の画素から構成される画素領域の中心位置であってもよい。
Ｄ_ｐは、画素位置ｐに対応する視差値を示す。
Ｃ（ｐ，Ｄ_ｐ）は、コスト関数を示す。
Ｎ_ｐは、画素位置ｐの近傍画素領域を示す。近傍画素領域Ｎ_ｐは、画素位置ｐに対応する画素領域を含まないように設定される。近傍画素領域Ｎ_ｐは、図４〜１０に示す画素経路のように、種々のパターンに従って設定される。
ｑは、近傍画素領域Ｎ_ｐを構成する画素位置を示す。
Ｔは、論理演算子を示す。論理演算子Ｔは、設定された条件が「真」である場合は値「１」をとる一方、設定された条件が「偽」である場合は値「０」をとる。
Ｄ_ｔｈは、予め設定される閾値（固定値）を示す。閾値Ｄ_ｔｈは、画素位置ｐに対応する視差値Ｄ_ｐと、近傍画素領域Ｎ_ｐを構成する画素位置ｑに対応する視差値Ｄ_ｑと、の差が大きいか小さいかを区別するために設定される。
Ｐ_１，Ｐ_２は、それぞれ重み付け定数を示す。重み付け定数Ｐ_１と重み付け定数Ｐ_２は、Ｐ_１＜Ｐ_２となるように設定される。

【0038】

図４の例において、上記［数１］に示した数式の画素位置ｐは、第一視差画像Ｄ（ｔ−１）を構成する各画素の位置（ｘ，ｙ）に対応する。ここでは、説明上、対象とする画素位置ｐを、図４中の太枠で囲われた画素の位置とする。上記［数１］に示した数式の視差値Ｄ_ｐは、対象とする画素の視差値Ｄｔ−１（ｘ，ｙ）に対応する。上記［数１］に示した数式の近傍画素領域Ｎ_ｐは、画素経路Ａ１〜Ａ４に対応する。上記［数１］に示した数式の画素位置ｑは、画素経路Ａ１〜Ａ４をそれぞれ構成する画素の位置に対応する。具体的にｘ座標とｙ座標で画素位置ｑを例示すると、図４の例では、画素経路Ａ１を構成する２つの画素の位置（２，３），（１，３）と、画素経路Ａ２を構成する２つの画素の位置（２，２），（１，１）と、画素経路Ａ３を構成する２つの画素の位置（３，２），（３，１）と、画素経路Ａ４を構成する２つの画素の位置（４，２），（５，１）となる。

【0039】

上記［数１］に示した数式の説明を続ける。当該数式の右辺第一項は、左右の輝度画像のうちいずれか一方の輝度画像（例えば、輝度画像Ｌ）における画素位置ｐ上の輝度値情報と、左右の輝度画像の他方の輝度画像（例えば、輝度画像Ｒ）中においてｘ方向（水平方向）に移動量として視差値Ｄ_ｐ分だけ移動した画素位置上の輝度値情報と、の類似度を算出する項である。類似度が高いほど、コスト関数Ｃ（ｐ，Ｄ_ｐ）は小さな値をとり、類似度が低いほど、コスト関数Ｃ（ｐ，Ｄ_ｐ）は大きな値をとる。つまり、本実施形態において、コスト関数Ｃ（ｐ，Ｄ_ｐ）は、上述の信頼度Ｒ（ｘ，ｙ）に対応する。なお、コスト関数の式は、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を利用した視差コスト算出式やＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）の式を利用した視差コスト算出式などの周知の式であってもよい。

【0040】

上記［数１］に示した数式の右辺第二項及び右辺第三項は、画素位置ｐの周囲の画素位置ｑに対応する視差値Ｄ_ｑを加味して、当該数式の左辺の値を最適化するための項である。したがって、当該数式の右辺第二項及び右辺第三項は、画素位置ｐに対応する視差値Ｄ_ｐの値を最適化するための項となる。

【0041】

例えば、上記［数１］に示した数式において、Ｄ_ｔｈ＝１である場合、当該数式の右辺第二項のＴ［｜Ｄ_ｐ−Ｄ_ｑ｜＝１］においては、｜Ｄ_ｐ−Ｄ_ｑ｜＝１ならば、Ｔ［｜Ｄ_ｐ−Ｄ_ｑ｜＝１］＝１となり、｜Ｄ_ｐ−Ｄ_ｑ｜≠１ならば、Ｔ［｜Ｄ_ｐ−Ｄ_ｑ｜＝１］＝０となる。同様に、Ｄ_ｔｈ＝１である場合、当該数式の右辺第三項のＴ［｜Ｄ_ｐ−Ｄ_ｑ｜＞１］においては、｜Ｄ_ｐ−Ｄ_ｑ｜＞１ならば、Ｔ［｜Ｄ_ｐ−Ｄ_ｑ｜＝１］＝１となり、｜Ｄ_ｐ−Ｄ_ｑ｜≦１ならば、Ｔ［｜Ｄ_ｐ−Ｄ_ｑ｜＝１］＝０となる。よって、上記［数１］に示した数式において、Ｄ_ｔｈ＝１の場合、パターン（１）｜Ｄ_ｐ−Ｄ_ｑ｜＜Ｄ_ｔｈでは、Ｐ_１及びＰ_２の何れも加算されず、パターン（２）｜Ｄ_ｐ−Ｄ_ｑ｜＝Ｄ_ｔｈでは、Ｐ_１は加算され、パターン（３）｜Ｄ_ｐ−Ｄ_ｑ｜＞Ｄ_ｔｈでは、Ｐ_２は加算されることとなる。

【0042】

すなわち、設定した近傍画素領域Ｎ_ｐにおいて、画素位置ｐに対応する視差値Ｄ_ｐと近傍画素領域Ｎｐを構成する画素位置ｑに対応する視差値Ｄ_ｑとの差｜Ｄ_ｐ−Ｄ_ｑ｜が、所定の値（閾値Ｄ_ｔｈ）より大きくなるような画素位置ｐ周辺の画素位置ｑの数が多い程、上記［数１］に示した数式の左辺Ｅ（Ｄ_ｐ）の値はより大きな値をとりやすくなる。言い換えると、画素位置ごとの視差値の分布において、画素位置ｐから近傍画素領域Ｎ_ｐにかけての視差値変化が滑らかであることの蓋然性が低い程、当該数式の左辺Ｅ（Ｄ_ｐ）の値はより大きな値をとりやすくなる。つまり、視差値の信頼度としては下がりやすくなる。一方で、画素位置ｐに対応する視差値Ｄ_ｐと近傍画素領域Ｎｐを構成する画素位置ｑに対応する視差値Ｄ_ｑとの差｜Ｄ_ｐ−Ｄ_ｑ｜が、所定の値（閾値Ｄ_ｔｈ）未満となるような画素位置ｐ周辺の周辺の画素位置ｑの数が多い程、当該数式の左辺Ｅ（Ｄ_ｐ）の値はより小さな値をとりやすくなる。言い換えると、画素位置ごとの視差値の分布において、画素位置ｐから近傍画素領域Ｎ_ｐにかけての視差値変化が滑らかであることの蓋然性が高い程、当該数式の左辺Ｅ（Ｄ_ｐ）の値はより小さな値をとりやすくなる。つまり、視差値の信頼度としては上がりやすくなる。

【0043】

本実施形態では、この算出を、従来の視差値決定方法と同じように、式の変数である視差値Ｄ_ｐ（＝Ｄ_ｐ１，Ｄ_ｐ２，Ｄ_ｐ３，…）それぞれに対して、設定された範囲で実行することで、どの視差値Ｄ_ｐのときにＥ（Ｄ_ｐ）が最小値を取るかを調べる。そして、Ｅ（Ｄ_ｐ）が最小値となる視差値Ｄ_ｐを最終的な視差値として決定する。このため、画素位置ｐに対応する視差値Ｄ_ｐの決定に際し、画素位置ごとの視差値の分布において画素位置ｐから近傍画素領域Ｎ_ｐにかけての視差値変化が滑らかであることの蓋然性が低い場合の視差値Ｄ_ｐよりも、画素位置ｐから近傍画素領域Ｎ_ｐにかけての視差値変化が滑らかであることの蓋然性が高い場合の視差値Ｄ_ｐの方が、最終的な視差値として選択されやすくなる。

【0044】

その結果、近傍画素領域Ｎｐを構成する画素位置ｑに対応する視差値Ｄ_ｑを加味せずに（すなわち、上記［数１］に示した数式の右辺において第一項のみを使用して）視差値を算出する場合に対して、近傍画素領域Ｎｐを構成する画素位置ｑに対応する視差値Ｄ_ｑを加味して（すなわち、数式の右辺において第一項のみではなく更に第二項及び第三項を使用して）視差値を算出する場合は、周囲の視差値の滑らかさを考慮して最適化された視差値を算出することができる。

【0045】

図３に戻り、第二補正部３ｄは、視差画像取得部３ｂで取得された視差画像Ｄを構成する各々の画素の視差値Ｄ（ｘ，ｙ）を、同画素に対して少なくとも一方向の所定の画素経路であり且つ第一画素経路Ａと異なる画素経路である第二画素経路Ｂ（Ｂ１，Ｂ２，Ｂ３，Ｂ４，…）の少なくとも一部を構成する画素の視差値に基づいて最適化する第二補正手段である。ここで、第一画素経路Ａと異なる画素経路とは、第一画素経路の方向と略対向する方向の画素経路を意味する。本実施形態において、第二補正部３ｄは、第一時刻（ｔ−１）より後の時刻である第二時刻（ｔ）に視差画像取得部３ｂによって取得された第二視差画像Ｄ（ｔ）に対して、上記最適化処理を実行する。例えば、図５に示すように、第二補正部３ｄは、第二時刻（ｔ）に視差画像取得部３ｂによって取得された第二視差画像Ｄ（ｔ）を構成する各々の画素の視差値Ｄｔ（ｘ，ｙ）を、第二画素経路Ｂ（Ｂ１，Ｂ２，Ｂ３，Ｂ４，…）を構成する画素の視差値に基づいて最適化する。図５の例において、第二画素経路Ｂ（Ｂ１，Ｂ２，Ｂ３，Ｂ４，…）は、複数の画素から構成される、対象とする画素（図５中の太枠で囲われた画素）周辺の画素領域であり、同画素を起点とする複数の画素経路Ｂ１，Ｂ２，Ｂ３，Ｂ４を構成する複数の画素から構成される。つまり、図５の例は、対象とする画素の視差値Ｄｔ（ｘ，ｙ）を最適化するために用いる画素領域が、画素経路Ｂ１，Ｂ２，Ｂ３，Ｂ４上の画素から構成される例を示している。この場合、第二補正部３ｄは、対象とする画素の視差値Ｄｔ（ｘ，ｙ）を、複数の画素経路Ｂ１，Ｂ２，Ｂ３，Ｂ４上の画素の視差値を用いて最適化処理を実行する。

【0046】

例えば、第二補正部３ｄも第一補正部３ｃと同様に、上記最適化処理において、周囲の視差との滑らかさを考慮して視差値を最適化する上記［数１］で示した数式を用いる。図５の例において、上記［数１］に示した数式の画素位置ｐは、第二視差画像Ｄ（ｔ）を構成する各画素の位置（ｘ，ｙ）に対応する。ここでは、説明上、対象とする画素位置ｐを、図５中の太枠で囲われた画素の位置とする。上記［数１］に示した数式の視差値Ｄ_ｐは、対象とする画素の視差値Ｄｔ（ｘ，ｙ）に対応する。上記［数１］に示した数式の近傍画素領域Ｎ_ｐは、画素経路Ｂ１〜Ｂ４に対応する。上記［数１］に示した数式の画素位置ｑは、画素経路Ｂ１〜Ｂ４をそれぞれ構成する画素の位置に対応する。具体的にｘ座標とｙ座標で画素位置ｑを例示すると、図５の例では、画素経路Ｂ１を構成する３つの画素の位置（４，３），（５，３），（６，３）と、画素経路Ｂ２を構成する３つの画素の位置（４，４），（５，５），（６，６）と、画素経路Ｂ３を構成する３つの画素の位置（３，４），（３，５），（３，６）と、画素経路Ｂ４を構成する２つの画素の位置（２，４），（２，５）となる。

【0047】

図４の例では、第一補正部３ｃが、対象とする画素の視差値Ｄｔ−１（ｘ，ｙ）を、同画素に対して４方向の第一画素経路Ａ（Ａ１，Ａ２，Ａ３，Ａ４）を構成する画素の視差値に基づいて最適化する例を示したが、これに限定されない。例えば、図６に示すように、対象とする画素の視差値Ｄｔ−１（ｘ，ｙ）を最適化するために用いる画素領域が、対象とする画素に対して１方向の画素経路Ａ１上の画素から構成される場合、第一補正部３ｃは、対象とする画素の視差値Ｄｔ−１（ｘ，ｙ）を、画素経路Ａ１上の画素の視差値を用いて最適化してもよい。図６の例において、上記［数１］に示した数式の近傍画素領域Ｎ_ｐは、画素経路Ａ１に対応する。上記［数１］に示した数式の画素位置ｑは、画素経路Ａ１を構成する画素の位置に対応する。具体的にｘ座標とｙ座標で画素位置ｑを例示すると、図６の例では、画素経路Ａ１を構成する２つの画素の位置（２，３），（１，３）となる。

【0048】

また、図５の例では、第二補正部３ｄが、対象とする画素の視差値Ｄｔ（ｘ，ｙ）を、同画素に対して４方向の第二画素経路Ｂ（Ｂ１，Ｂ２，Ｂ３，Ｂ４）を構成する画素の視差値に基づいて最適化する例を示したが、これに限定されない。例えば、図７に示すように、対象とする画素の視差値Ｄｔ（ｘ，ｙ）を最適化するために用いる画素領域が、対象とする画素に対して１方向の画素経路Ｂ１上の画素から構成される場合、第二補正部３ｄは、対象とする画素の視差値Ｄｔ（ｘ，ｙ）を、画素経路Ｂ１上の画素の視差値を用いて最適化してもよい。図７の例において、上記［数１］に示した数式の近傍画素領域Ｎ_ｐは、画素経路Ｂ１に対応する。上記［数１］に示した数式の画素位置ｑは、画素経路Ｂ１を構成する画素の位置に対応する。具体的にｘ座標とｙ座標で画素位置ｑを例示すると、図７の例では、画素経路Ｂ１を構成する３つの画素の位置（４，３），（５，３），（６，３）となる。

【0049】

なお、第一補正部３ｃ及び第二補正部３ｄが最適化に用いる画素経路の組み合わせは、図６と図７に示した画素経路Ａ１及び画素経路Ｂ１同士の組み合わせの他、画素経路Ａ２及び画素経路Ｂ２同士の組み合わせ、画素経路Ａ３及び画素経路Ｂ３同士の組み合わせ、画素経路Ａ３及び画素経路Ｂ３同士の組み合わせなども可能である。つまり、第一補正部３ｃ及び第二補正部３ｄが最適化に用いる画素経路の組み合わせは、対向する方向同士の画素経路の組み合わせであればよい。

【0050】

図６では、第一補正部３ｃが、対象とする画素の視差値Ｄｔ−１（ｘ，ｙ）を、同画素に対して１方向の第一画素経路Ａ１を構成する全ての画素の視差値に基づいて最適化し、図７では、第二補正部３ｄが、対象とする画素の視差値Ｄｔ（ｘ，ｙ）を、同画素に対して１方向の第一画素経路Ｂ１を構成する全ての画素の視差値に基づいて最適化する例を示したが、これに限定されない。

【0051】

例えば、図８に示すように、対象とする画素の視差値Ｄｔ−１（ｘ，ｙ）を最適化するために用いる画素領域が、対象とする画素に対して１方向の画素経路Ａ１’上の画素から構成される場合、第一補正部３ｃは、対象とする画素の視差値Ｄｔ−１（ｘ，ｙ）を、画素経路Ａ１’上の画素の視差値を用いて最適化してもよい。ここで、図８の画素経路Ａ１’は、図６の画素経路Ａ１を構成する画素の内、対象とする画素に近い１つの画素のみから構成されている。図８の例において、上記［数１］に示した数式の近傍画素領域Ｎ_ｐは、画素経路Ａ１’に対応する。上記［数１］に示した数式の画素位置ｑは、画素経路Ａ１’を構成する画素の位置に対応する。具体的にｘ座標とｙ座標で画素位置ｑを例示すると、図８の例では、画素経路Ａ１’を構成する１つの画素の位置（２，３）となる。

【0052】

また、図９に示すように、対象とする画素の視差値Ｄｔ（ｘ，ｙ）を最適化するために用いる画素領域が、対象とする画素に対して１方向の画素経路Ｂ１’上の画素から構成される場合、第二補正部３ｄは、対象とする画素の視差値Ｄｔ（ｘ，ｙ）を、画素経路Ｂ１’上の画素の視差値を用いて最適化してもよい。ここで、図９の画素経路Ｂ１’は、図７の画素経路Ｂ１を構成する画素の内、対象とする画素に近い２つの画素のみから構成されている。図９の例において、上記［数１］に示した数式の近傍画素領域Ｎ_ｐは、画素経路Ｂ１’に対応する。上記［数１］に示した数式の画素位置ｑは、画素経路Ｂ１’を構成する画素の位置に対応する。具体的にｘ座標とｙ座標で画素位置ｑを例示すると、図９の例では、画素経路Ｂ１’を構成する２つの画素の位置（４，３），（５，３）となる。

【0053】

なお、本実施形態において、最適化用の画素領域を構成する画素は、画素経路上に存在する画素に限定されず、ラスタ走査済みの画素領域の中から設定することも可能である。この場合、第一補正部３ｃで用いる最適化用の画素領域を構成する画素と、第二補正部３ｄで用いる最適化用の画素領域を構成する画素とは、図１０の画素領域Ａと図１１の画素領域Ｂに示すように、第一視差画像Ｄ（ｔ−１）と第二視差画像Ｄ（ｔ）の２枚の対照画像の対応点（図１０中の太枠で囲われた画素、及び、図１１中の太枠で囲われた画素）において、互いに略対向する方向に位置する画素であればよい。図１０の例において、上記［数１］に示した数式の近傍画素領域Ｎ_ｐは、画素領域Ａに対応する。上記［数１］に示した数式の画素位置ｑは、画素領域Ａを構成する画素の位置に対応する。具体的にｘ座標とｙ座標で画素位置ｑを例示すると、図１０の例では、画素領域Ａを構成する１１個の画素の位置（１，１），（２，１），（３，１），（４，１），（５，１），（１，２），（２，２），（３，２），（４，２），（１，３），（２，３）となる。図１１の例において、上記［数１］に示した数式の近傍画素領域Ｎ_ｐは、画素領域Ｂに対応する。上記［数１］に示した数式の画素位置ｑは、画素領域Ｂを構成する画素の位置に対応する。具体的にｘ座標とｙ座標で画素位置ｑを例示すると、図１１の例では、画素領域Ｂを構成する２０個の画素の位置（６，６），（５，６），（４，６），（３，６），（２，６），（１，６），（６，５），（５，５），（４，５），（３，５），（２，５），（１，６），（６，４），（５，４），（４，４），（３，４），（２，４），（６，３），（５，３），（４，３）となる。

【0054】

図３に戻り、車両情報取得部３ｅは、車両の運動情報を取得する車両情報取得手段である。車両情報取得部３ｅは、車両運動量検出装置２から入力される車速、ヨーレート、加速度を車両の運動情報として取得する。

【0055】

対応付け部３ｆは、車両情報取得部３ｅによって取得された第一時刻（ｔ−１）から第二時刻（ｔ）までの運動情報に基づいて、第一視差画像Ｄ（ｔ−１）を構成する所定の画素位置と、第二視差画像Ｄ（ｔ）を構成する所定の画素位置と、が同一の撮像位置となるように対応付ける対応付け手段である。図１２に示すように、対応付け部３ｆは、時系列で連続する視差画像について、１フレーム前の視差画像Ｄ（ｔ−１）の点を自車運動量だけ移動させ、画像座標上で同じ位置に存在する現フレームの視差画像Ｄ（ｔ）の点と対応付けする。図１２では、対応付け部３ｆは、時刻ｔ−１の視差画像Ｄ（ｔ−１）について、この時刻ｔ−１の視差画像Ｄ（ｔ−１）を時刻ｔの視差画像Ｄ（ｔ）と比較可能なように、視差点を自車運動量だけ移動させる（図１２において、時刻ｔ−１の移動済み視差画像Ｄ’（ｔ−１））。そして、対応付け部３ｂは、この時刻ｔ−１の移動済み視差画像Ｄ’（ｔ−１）と、時刻ｔの視差画像Ｄ（ｔ）とを用いて、画像上で同じ位置の点を対応付ける。

【0056】

例えば、対応付け部３ｆは、以下の方法に従って、時刻ｔ−１の移動済み視差画像Ｄ’（ｔ−１）と、時刻ｔの視差画像Ｄ（ｔ）とを用いて、画像上で同じ位置の点を対応付ける処理を行う。一例として、時刻ｔ−１における視差点（ｕ_ｔ−１，ｖ_ｔ−１，ｄ_ｔ−１）を時刻ｔ−１から時刻ｔへの自車運動量だけ移動させた時刻ｔにおける視差点（ｕ_ｔ，ｖ_ｔ，ｄ_ｔ）の導出法を以下に示す。まず、次式に従って、時刻ｔ−１における画像座標点（ｕ_ｔ−１，ｖ_ｔ−１，ｄ_ｔ−１）を車両座標点（Ｘ_ｔ−１，Ｙ_ｔ−１，Ｚ_ｔ−１）に座標変換する。ここで、ｆは、焦点距離を示し、ｂは、基線長を示す。

【数2】

続いて、次式に従って、時刻ｔ−１における車両座標点（Ｘ_ｔ−１，Ｙ_ｔ−１，Ｚ_ｔ−１）を時刻ｔ−１から時刻ｔへ自車運動量だけ移動させた時刻ｔにおける車両座標点（Ｘ_ｔ，Ｙ_ｔ，Ｚ_ｔ）を算出する。ここで、Ｒは、自車運動量の回転成分を示し、Ｔは、自車運動量の並進成分を示す。

【数3】

最後に、次式に従って、時刻ｔにおける車両座標点（Ｘ_ｔ，Ｙ_ｔ，Ｚ_ｔ）を画像座標点（ｕ_ｔ，ｖ_ｔ，ｄ_ｔ）に座標変換する。

【数4】

【0057】

図３に戻り、視差画像生成部３ｇは、第一時刻（ｔ−１）に視差画像取得部３ｂによって取得された第一視差画像Ｄ（ｔ−１）に対して、第一補正部３ｃによる最適化処理を適用し、第一時刻（ｔ−１）より後の時刻である第二時刻（ｔ）に視差画像取得部３ｂによって取得された第二視差画像Ｄ（ｔ）に対して、第二補正部３ｄによる最適化処理を適用し、第一補正部３ｃにより補正された第一視差画像Ｄ（ｔ−１）と、第二補正部３ｄにより補正された第二視差画像Ｄ（ｔ）との比較に基づいて所望の視差画像Ｄ２を算出して生成する視差画像生成手段である。

【0058】

ここで、視差画像生成部３ｇは、対応付け部３ｆによって対応付けされた画素間で、第一補正部３ｃにより最適化された第一視差画像Ｄ（ｔ−１）と、第二補正部３ｄにより最適化された第二視差画像Ｄ（ｔ）とを、画素ごとに比較することで、所望の視差画像Ｄ２を算出する。本実施形態において、所望の視差画像Ｄ２は、第二視差画像Ｄ（ｔ）を補正したものであることが望ましい。ただし、所望の視差画像Ｄ２は、第二視差画像Ｄ（ｔ）とは別に新たに生成されたものであってもよい。

【0059】

具体的には、視差画像生成部３ｇは、第一補正部３ｃにより最適化された第一視差画像Ｄ（ｔ−１）の視差値と、第二補正部３ｄにより最適化された第二視差画像Ｄ（ｔ）の視差値との差を、画素ごとに比較することで所望の視差画像Ｄ２を算出して生成するときに、視差値の差が、所定の判定閾値Ｔｈ以上である場合は、第二視差画像Ｄ（ｔ）における同画素の視差値を所望の視差画像Ｄ２の視差値として使用することを抑制する一方で、視差値の差が、判定閾値Ｔｈより小さい場合は、第二視差画像Ｄ（ｔ）における同画素の視差値を所望の視差画像Ｄ２の視差値として使用することを促進する。

【0060】

本実施形態において、「視差値として使用することを促進する」ことには、（ｉ）「視差値として使用すること」、及び、（ｉｉ）「信頼度が高いとのフラグを立てることなどによって、視差値としての信頼度を高く設定すること」が含まれる。また、「視差値として使用することを抑制する」ことには、（ｉｉｉ）「視差値として使用しないこと」、及び、（ｉｖ）「信頼度が低いとのフラグを立てることなどによって、視差値としての信頼度を低く設定すること」が含まれる。

【0061】

本実施形態において、視差画像生成部３ｇは、第一補正部３ｃにより最適化された第一視差画像Ｄ（ｔ−１）の視差値と、第二補正部３ｄにより最適化された第二視差画像Ｄ（ｔ）の視差値との差を、画素ごとに比較することで所望の視差画像Ｄ２を算出して生成するときに、視差値の差が、判定閾値Ｔｈ以上である場合は、第二視差画像Ｄ（ｔ）における同画素の視差値を所望の視差画像の視差値として使用しない一方で、視差値の差が、判定閾値Ｔｈより小さい場合は、第二視差画像Ｄ（ｔ）における同画素の視差値を所望の視差画像の視差値として使用する。

【0062】

例えば、図１３に示すように、視差画像生成部３ｇは、図１３（ａ）の時刻ｔ−１の移動済み視差画像Ｄ’（ｔ−１）と、図１３（ｂ）の時刻ｔの視差画像Ｄ（ｔ）の間で、対応付けした視差点の視差値の差分を算出し、差分値が判定閾値Ｔｈ以上の場合は、最適解が誤っていると判断して視差値を除去する。一方、視差画像生成部３ｇは、対応付けした視差点の視差値の差分を算出し、差分値が判定閾値Ｔｈより小さい場合は、最適解は正しいと判断して視差値を保持する。ここで、時刻ｔの視差画像Ｄ（ｔ）における位置（ｘ，ｙ）の視差点の視差値をＤｔ（ｘ，ｙ）とし、時刻ｔ−１の移動済み視差画像Ｄ’（ｔ−１）における位置（ｘ，ｙ）の視差点の視差値をＤｔ−１（ｘ，ｙ）とすると、視差画像生成部３ｇは、｜Ｄｔ（ｘ，ｙ）−Ｄｔ−１（ｘ，ｙ）｜＜Ｔｈの場合は、時刻ｔの視差画像Ｄ（ｔ）における視差値を保持し、一方、｜Ｄｔ（ｘ，ｙ）−Ｄｔ−１（ｘ，ｙ）｜≧Ｔｈの場合は、時刻ｔの視差画像Ｄ（ｔ）における視差値を除去する。このようにして時刻ｔの視差画像Ｄ（ｔ）の各視差点が保持されるか又は除去される。

【0063】

本実施形態において、所定の判定閾値Ｔｈは、図１４に示すように、視差値Ｄｔ（ｘ，ｙ）が大きくなると閾値も大きくなるように規定したマップを参照することで視差値に応じて決定される判定閾値である。なお、本実施形態において、所定の判定閾値Ｔｈは、予め固定値として設定された判定閾値であってもよい

【0064】

また、視差画像生成部３ｇは、第一補正部３ｃにより最適化された第一視差画像Ｄ（ｔ−１）の視差値と、第二補正部３ｄにより最適化された第二視差画像Ｄ（ｔ）の視差値との差を、画素ごとに比較することで所望の視差画像Ｄ２を算出して生成するときに、視差値の差が、判定閾値Ｔｈ以上である場合は、第二視差画像Ｄ（ｔ）における同画素の視差値を信頼度の低い視差値として所望の視差画像に設定する一方で、視差値の差が、判定閾値より小さい場合は、第二視差画像Ｄ（ｔ）における同画素の視差値を信頼度の高い視差値として所望の視差画像Ｄ２に設定してもよい。

【0065】

この場合、例えば、図１３に示すように、視差画像生成部３ｇは、図１３（ａ）の時刻ｔ−１の移動済み視差画像Ｄ’（ｔ−１）と、図１３（ｂ）の時刻ｔの視差画像Ｄ（ｔ）の間で、対応付けした視差点の視差値の差分を算出し、差分値が判定閾値Ｔｈ以上の場合は、最適解が誤っていると判断して視差値の信頼度フラグをＯＦＦにする。一方、視差画像生成部３ｇは、対応付けした視差点の視差値の差分を算出し、差分値が判定閾値Ｔｈより小さい場合は、最適解は正しいと判断して視差値の信頼度フラグをＯＮにする。ここで、時刻ｔの視差画像Ｄ（ｔ）における位置（ｘ，ｙ）の視差点の視差値をＤｔ（ｘ，ｙ）とし、時刻ｔ−１の移動済み視差画像Ｄ’（ｔ−１）における位置（ｘ，ｙ）の視差点の視差値をＤｔ−１（ｘ，ｙ）とすると、｜Ｄｔ（ｘ，ｙ）−Ｄｔ−１（ｘ，ｙ）｜＜Ｔｈの場合は、時刻ｔの視差画像Ｄ（ｔ）における位置（ｘ，ｙ）の視差点の信頼度フラグをＯＮにし、一方、｜Ｄｔ（ｘ，ｙ）−Ｄｔ−１（ｘ，ｙ）｜≧Ｔｈの場合は、時刻ｔの視差画像Ｄ（ｔ）における位置（ｘ，ｙ）の視差点の信頼度フラグをＯＦＦにする。このようにして時刻ｔの視差画像Ｄ（ｔ）の各視差点の信頼度フラグにＯＮもしくはＯＦＦが設定される。

【0066】

ここで、図１５を参照して、視差画像生成部３ｇにより生成される画像の一例について説明する。図１５（ａ）は、各画素に視差値（図１５（ａ）において、視差値１〜７）が付与された視差画像を示している。図１５（ａ）の視差画像には、第一補正部３ｃ及び第二補正部３ｄの処理により最適化された視差値が各画素に付与されている。ここで、視差値の差分値の判定閾値Ｔｈ＝５とすると、図１５（ｂ）に示すように、視差画像生成部３ｇの処理により、視差値５以上の視差値を有する画素の視差値は除去され、視差値５より小さい、視差値１〜４の視差値を有する画素の視差値は除去される。あるいは、図１５（ｃ）に示すように、視差画像生成部３ｇの処理により、視差値５以上の視差値を有する画素に対して信頼度フラグがＯＦＦに設定され、視差値５より小さい、視差値１〜４の視差値を有する画素に対して信頼度フラグがＯＮに設定される（図１５（ｃ）において、信頼度フラグＯＮは○印、信頼度フラグＯＦＦは×印に対応）。そして、図１５（ｄ）に示すように、視差画像生成部３ｇの処理により、視差値が保持された画素または信頼度フラグがＯＮに設定された画素のみから構成される画像が生成される。図１５（ｄ）の画像は、視差画像生成部３ｇの処理において、第一補正部３ｃの処理により最適化された第一視差画像Ｄ（ｔ−１）の視差値と、第二補正部３ｄの処理により最適化された第二視差画像Ｄ（ｔ）の視差値との差が判定閾値Ｔｈより小さいと判定された第二視差画像Ｄ（ｔ）の視差値を有する画素のみから構成される。このようにして視差画像生成部３ｇは、図１５（ｄ）の視差画像を所望の視差画像Ｄ２として生成する。

【0067】

図３に戻り、対象物検出部３ｈは、視差画像生成部３ｇにより生成された所望の視差画像Ｄ２を用いて対象物を検出する対象物検出手段である。対象物検出部３ｈは、視差画像生成部３ｇにより生成された所望の視差画像Ｄ２内に、検出対象とする対象物（例えば、歩行者など）が存在するか否かを、パターンマッチング等の手法により解析することで対象物を検出する。

【0068】

車両制御部３ｉは、対象物検出部３ｈにより検出された対象物を車両が回避するように車両挙動を制御する運転支援制御を行う車両制御手段である。車両制御部３ｉは、例えば、車両の車速及び加速度、車両が走行可能な領域を示す各種情報、及び、回避対象となる対象物の位置などに基づいて、車両が対象物を回避可能な走行軌跡や走行速度等を演算する。そして、車両制御部３ｉは、この演算処理結果に基づいた制御信号をアクチュエータ４へ出力して、アクチュエータ４を作動させることで回避制御を実行する。車両制御部３ｉは、回避制御として、例えば、ＥＰＳ等のアクチュエータ４を介して車両の操舵輪の舵角を制御することで、車両が対象物を回避するように操舵支援を実行する。車両制御部３ｉは、対象物をより確実に回避できるように、回避制御として、操舵支援にブレーキ支援を組み合わせて実行してもよい。このようにして、車両制御部３ｉは、対象物の位置への車両の移動を回避する回避制御手段として機能する。

【0069】

続いて、上述のように構成される視差画像生成装置において実行される処理について、図１６を参照して説明する。ここで、図１６は、本発明に係る視差画像生成装置の基本処理の一例を示すフローチャートである。

【0070】

図１６に示すように、ＥＣＵ３は、左右カメラの歪補正済みの輝度画像間で対応点を探索して視差画像を算出する（ステップＳ１）。

【0071】

ＥＣＵ３は、ステップＳ１で算出した視差画像の撮像タイミング番号に対応するフレーム番号が奇数であるか偶数であるかを判定する（ステップＳ２）。

【0072】

ステップＳ２において、例えば、フレーム番号が１〜１０まであるとすると、奇数フレームは、１，３，５，７，９となる。また、偶数フレームは、２，４，６，８，１０となる。図１６の処理において、第一時刻（ｔ−１）を奇数フレーム１とした場合、第二時刻（ｔ）は偶数フレーム２となる。また、第一時刻（ｔ−１）を奇数フレーム３とした場合、第二時刻（ｔ）は偶数フレーム４となる。同様に、第一時刻（ｔ−１）をそれぞれ奇数フレーム５，７，９とした場合、第二時刻（ｔ）はそれぞれ偶数フレーム６，８，１０となる。

【0073】

ＥＣＵ３は、ステップＳ２においてフレーム番号が奇数であると判定した場合（ステップＳ２：奇数）、上述の図４に示したように、フレーム番号が奇数なら画像の左上の画素を起点として上の行から下の行に向かってラスタ走査して視差を最適化する（ステップＳ３）。その後、ステップＳ５の処理へ移行する。

【0074】

ＥＣＵ３は、ステップＳ２においてフレーム番号が偶数であると判定した場合（ステップＳ２：偶数）、上述の図５に示したように、フレーム番号が偶数なら画像の右下の画素を起点として下の行から上の行に向かってラスタ走査して視差を最適化する（ステップＳ４）。その後、ステップＳ５の処理へ移行する。

【0075】

ＥＣＵ３は、ステップＳ３及びステップＳ４の最適化処理の後、フレーム間で視差点を対応付けする（ステップＳ５）。具体的には、ＥＣＵ３は、上述の図１２に示したように、時系列で連続する視差画像について、１フレーム前の視差画像Ｄ（ｔ−１）の点を自車運動量だけ移動させ、画像座標上で同じ位置に存在する現フレームの視差画像Ｄ（ｔ）の点と対応付けする。

【0076】

ＥＣＵ３は、ステップＳ５で対応付けした視差画像から視差差分を算出する（ステップＳ６）。ＥＣＵ３は、ステップＳ６で算出した視差差分が判定閾値Ｔｈより小さいか否かを画素ごとに判定する（ステップＳ７）。ＥＣＵ３は、ステップＳ７において視差差分が判定閾値Ｔｈより小さいと判定した場合（ステップＳ７：ＹＥＳ）、その画素については、視差値を保持する（ステップＳ８）。一方、ＥＣＵ３は、ステップＳ７において視差差分が判定閾値Ｔｈ以上であると判定した場合（ステップＳ７：Ｎｏ）、その画素については、視差値を除去する（ステップＳ９）。ＥＣＵ３は、ステップＳ８およびステップＳ９の処理の結果に基づいて、視差画像を生成する（ステップＳ１０）。例えば、ステップＳ１０において、ＥＣＵ３は、上述の図１５に示したような画像を生成する。その後、本処理を終了する。

【0077】

このように、本実施形態では、時系列で連続する視差画像に対して最適化処理の走査方向をフレーム毎に切り替えて視差値の最適化処理を行い、時系列で連続し走査方向の異なる２枚の視差画像間で対応する視差点の視差値を比較し、視差値の差分が大きい点は最適解が誤っていると判断することができる。具体的には、視差値の最適化処理を対象の視差画像に対して一回だけ走査し、最適化処理の走査方向をフレーム毎に、画像の左上の画素を起点として上の行から下の行に向かうラスタ走査、画像の右下の画素を起点として下の行から上の行に向かうラスタ走査とを交互に切り替えることができる。これにより、最適化処理の走査回数を一回にすることで１フレームに要する処理量を抑えることができる。なお、最適化処理の走査方向はフレーム毎に、画像の左上の画素を起点として左の列から右の列に向かうラスタ走査と、画像の右下の画素を起点として右の列から左の列に向かうラスタ走査とを交互に切り替えてもよい。

【0078】

また、本実施形態では、対応付けした視差点の視差値を比較し、例えば、視差値の差分が判定閾値Ｔｈ以上の場合は、最適解が誤っていると判断し、視差を除去する。これにより、誤った視差値が算出され易い画素位置（例えば、影など）の視差値の使用を抑制して、信頼精度の高い視差値のみから構成される所望の視差画像Ｄ２を算出することができる。ここで、上述の図２に示したように、１方向のラスタ走査で最適化処理をすると、コントラストが低い水平面の視差は、コントラストが高い水平面の視差の寄与度が高い情報で最適化されてしまい、誤った最適解が導出される。しかし、本実施形態によれば、最適化処理の走査方向が異なる視差画像を比較することで誤った最適解が導出された点を識別することができる。

【0079】

上述の図１６の例では、判定閾値Ｔｈ以上の場合は視差値を除去し、判定閾値Ｔｈより小さい場合は視差値を保持する例を説明したが、本実施形態では、判定閾値Ｔｈ以上の場合は視差値の信頼度フラグをＯＦＦにし、判定閾値Ｔｈより小さい場合は視差値の信頼度フラグをＯＮにしてもよい。この場合の処理について、図１７を参照して説明する。図１７は、本発明に係る視差画像生成装置の基本処理の別の一例を示すフローチャートである。図１７では、フレーム間で対応付けした視差点の視差差分を閾値処理して、信頼度を付与する場合の処理フローを示している。

【0080】

図１７に示すように、ＥＣＵ３は、左右カメラの歪補正済み輝度画像間で対応点を探索して視差画像を算出する（ステップＳ１）。

【0081】

ＥＣＵ３は、ステップＳ１で算出した視差画像の撮像タイミング番号に対応するフレーム番号が奇数であるか偶数であるかを判定する（ステップＳ２）。

【0082】

ステップＳ２において、例えば、フレーム番号が１〜１０まであるとすると、奇数フレームは、１，３，５，７，９となる。また、偶数フレームは、２，４，６，８，１０となる。図１７の処理において、第一時刻（ｔ−１）を奇数フレーム１とした場合、第二時刻（ｔ）は偶数フレーム２となる。また、第一時刻（ｔ−１）を奇数フレーム３とした場合、第二時刻（ｔ）は偶数フレーム４となる。同様に、第一時刻（ｔ−１）をそれぞれ奇数フレーム５，７，９とした場合、第二時刻（ｔ）はそれぞれ偶数フレーム６，８，１０となる。

【0083】

ＥＣＵ３は、ステップＳ２においてフレーム番号が奇数であると判定した場合（ステップＳ２：奇数）、上述の図４に示したように、フレーム番号が奇数なら画像の左上の画素を起点として上の行から下の行に向かってラスタ走査して視差を最適化する（ステップＳ３）。その後、ステップＳ５の処理へ移行する。

【0084】

ＥＣＵ３は、ステップＳ２においてフレーム番号が偶数であると判定した場合（ステップＳ２：偶数）、上述の図５に示したように、フレーム番号が偶数なら画像の右下の画素を起点として下の行から上の行に向かってラスタ走査して視差を最適化する（ステップＳ４）。その後、ステップＳ５の処理へ移行する。

【0085】

ＥＣＵ３は、ステップＳ３及びステップＳ４の最適化処理の後、フレーム間で視差点を対応付けする（ステップＳ５）。具体的には、ＥＣＵ３は、上述の図１２に示したように、時系列で連続する視差画像について、１フレーム前の視差画像Ｄ（ｔ−１）の点を自車運動量だけ移動させ、画像座標上で同じ位置に存在する現フレームの視差画像Ｄ（ｔ）の点と対応付けする。

【0086】

ＥＣＵ３は、ステップＳ５で対応付けした視差画像から視差差分を算出する（ステップＳ６）。ＥＣＵ３は、ステップＳ６で算出した視差差分が判定閾値Ｔｈより小さいか否かを画素ごとに判定する（ステップＳ７）。ＥＣＵ３は、ステップＳ７において視差差分が判定閾値Ｔｈより小さいと判定した場合（ステップＳ７：ＹＥＳ）、その画素については、視差値の信頼度フラグをＯＮにする（ステップＳ１１）。一方、ＥＣＵ３は、ステップＳ７において視差差分が判定閾値Ｔｈ以上であると判定した場合（ステップＳ７：Ｎｏ）、その画素については、視差値の信頼度フラグをＯＦＦにする（ステップＳ１２）。ＥＣＵ３は、ステップＳ１１およびステップＳ１２の処理の結果に基づいて、時刻ｔの信頼度付き視差画像を生成する（ステップＳ１３）。例えば、ステップＳ１３において、ＥＣＵ３は、上述の図１５に示したような画像を生成する。その後、本処理を終了する。

【0087】

このように、本実施形態における視差画像生成装置および視差画像生成方法によれば、視差値の最適化処理を、従来技術（特許文献１等）のように輝度画像Ｌベースの視差画像Ｄ（１）及び輝度画像Ｒベースの視差画像Ｄ’（１’）の両方に基づいて行うのではなく、輝度画像Ｌ及び輝度画像Ｒの何れか一方のみをベースとして、相互に異なる撮像時刻の撮像フレームごとで算出された第一視差画像Ｄ（ｔ−１）及び第二視差画像Ｄ（ｔ）に基づいて行うことができる。これにより、従来技術と同程度の補正レベルを維持した上で、輝度画像Ｌ及び輝度画像Ｒの何れか一方のみをベースとした輝度画像に基づいて、所望の視差画像Ｄ２を得ることができる。更に、その結果として、視差画像の算出処理及びそれ以降の画像処理を、輝度画像Ｌベース及び輝度画像Ｒベースの両方で行う必要がなくなるため、従来技術よりも処理コストを抑制することができる。

【0088】

また、本実施形態における視差画像生成装置および視差画像生成方法によれば、時系列で連続する視差画像について、１フレーム前の視差画像Ｄ（ｔ−１）の点を自車運動量だけ移動させ、画像座標上で同じ位置に存在する現フレームの視差画像Ｄ（ｔ）の点と対応付けするので、第一時刻（ｔ−１）から第二時刻（ｔ）までの間に、車両が大きく運動（併進や旋回）し、第二時刻（ｔ）における画素の撮像範囲が、第一時刻（ｔ−１）における画素の撮像範囲から大きくはずれる場合であっても、最適化して処理を続行することができる。

【0089】

この他、本実施形態では、視差画像生成部３ｇは、最適化処理の走査方向をフレーム毎に切り替えるのではなく、視差画像取得部３ｂにより取得された視差画像Ｄの上下をフレーム毎に切り替える処理を行ってもよい。例えば、本実施形態における上下反転処理の一例を示す図である図１８に示すように、奇数フレームの時刻ｔ−１の視差画像Ｄ（ｔ−１）については、そのまま視差最適化処理を行い、偶数フレームの時刻ｔの視差画像Ｄ（ｔ）については、上下反転した後、奇数フレームの時刻ｔ−１の視差画像Ｄ（ｔ−１）に対する視差最適化処理と同様の処理を実施する。そして、視差最適化処理を実施後の時刻ｔ−１の最適化済み視差画像Ｄ’’（ｔ−１）については、その後そのままフレーム間対応付け処理へ移行する。ここで、視差最適化処理を実施後の時刻ｔの最適化済み視差画像Ｄ’’（ｔ）については、再び上下反転した後に、フレーム間対応付け処理へ移行する。これにより、最適化処理の走査方向毎に処理ロジックを用意する必要がなくなるため、車載マイコン（ＥＣＵ）に実装する回路規模を抑えることができる。この場合の処理について、図１９を参照して説明する。図１９は、本発明に係る視差画像生成装置における別の処理の一例を示すフローチャートである。

【0090】

図１９に示すように、ＥＣＵ３は、左右カメラの歪補正済み輝度画像間で対応点を探索して視差画像を算出する（ステップＳ１）。

【0091】

ＥＣＵ３は、ステップＳ１で算出した視差画像の撮像タイミング番号に対応するフレーム番号が奇数であるか偶数であるかを判定する（ステップＳ２）。

【0092】

ステップＳ２において、例えば、フレーム番号が１〜１０まであるとすると、奇数フレームは、１，３，５，７，９となる。また、偶数フレームは、２，４，６，８，１０となる。図１９の処理において、第一時刻（ｔ−１）を奇数フレーム１とした場合、第二時刻（ｔ）は偶数フレーム２となる。また、第一時刻（ｔ−１）を奇数フレーム３とした場合、第二時刻（ｔ）は偶数フレーム４となる。同様に、第一時刻（ｔ−１）をそれぞれ奇数フレーム５，７，９とした場合、第二時刻（ｔ）はそれぞれ偶数フレーム６，８，１０となる。

【0093】

ＥＣＵ３は、ステップＳ２においてフレーム番号が奇数であると判定した場合（ステップＳ２：奇数）、上述の図４に示したように、画像の左上の画素を起点として上の行から下の行に向かってラスタ走査して視差を最適化する（ステップＳ３）。その後、ステップＳ５の処理へ移行する。

【0094】

ＥＣＵ３は、ステップＳ２においてフレーム番号が偶数であると判定した場合（ステップＳ２：偶数）、上述の図１８に示したように、偶数フレームの視差画像については上下反転させる（ステップＳ１４）。その後、ステップＳ３の処理へ移行し、上下反転させた視差画像に対して、上述の図４に示したように、奇数フレームと同様に画像の左上の画素を起点として上の行から下の行に向かってラスタ走査して視差を最適化する。なお、偶数フレームの最適化済みの視差画像については、ステップＳ５の処理へ移行する前に、再度上下反転させる。その後、ステップＳ５の処理へ移行する。

【0095】

ＥＣＵ３は、ステップＳ３の最適化処理の後、フレーム間で視差点を対応付けする（ステップＳ５）。具体的には、ＥＣＵ３は、上述の図１２に示したように、時系列で連続する視差画像について、１フレーム前の視差画像Ｄ（ｔ−１）の点を自車運動量だけ移動させ、画像座標上で同じ位置に存在する現フレームの視差画像Ｄ（ｔ）の点と対応付けする。

【0096】

ＥＣＵ３は、ステップＳ５で対応付けした視差画像から視差差分を算出する（ステップＳ６）。ＥＣＵ３は、ステップＳ６で算出した視差差分が判定閾値Ｔｈより小さいか否かを画素ごとに判定する（ステップＳ７）。ＥＣＵ３は、ステップＳ７において視差差分が判定閾値Ｔｈより小さいと判定した場合（ステップＳ７：ＹＥＳ）、その画素については、視差値を保持する（ステップＳ８）。一方、ＥＣＵ３は、ステップＳ７において視差差分が判定閾値Ｔｈ以上であると判定した場合（ステップＳ７：Ｎｏ）、その画素については、視差値を除去する（ステップＳ９）。ＥＣＵ３は、ステップＳ８およびステップＳ９の処理の結果に基づいて、視差画像を生成する（ステップＳ１０）。例えば、ステップＳ１０において、ＥＣＵ３は、上述の図１５に示したような画像を生成する。その後、本処理を終了する。

【0097】

なお、上述の実施形態において、第一時刻（ｔ−１）を奇数フレームに対応する１，３，５，７，９とし、第二時刻（ｔ）を偶数フレームに対応する２，４，６，８，１０とした例について説明したがこれに限定されない。第二時刻（ｔ）は、第一時刻（ｔ−１）の後の時刻であればよく、一定間隔ごとに設定してもよい。例えば、一定間隔を３フレーム毎にした場合、第一時刻（ｔ）を１，４，７として、第２時刻（ｔ−１）を２，５，８としてもよい。

【符号の説明】

【0098】

１ 撮像装置
１ａ 右カメラ
１ｂ 左カメラ
２ 車両運動量検出装置
２ａ 車速センサ
２ｂ ヨーレートセンサ
２ｃ 加速度センサ
３ ＥＣＵ
３ａ 輝度画像取得部
３ｂ 視差画像取得部
３ｃ 第一補正部
３ｄ 第二補正部
３ｅ 車両情報取得部
３ｆ 対応付け部
３ｇ 視差画像生成部
３ｈ 対象物検出部
３ｉ 車両制御部
４ アクチュエータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】