特開 2020-204583 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2020-204583(P2020-204583A)

(43)【公開日】2020年12月24日

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   G01C 3/06 20060101AFI20201127BHJP

   G06T 7/593 20170101ALI20201127BHJP

【ＦＩ】

   G01C3/06 110V

   G06T7/593

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

【全頁数】17

(21)【出願番号】特願2019-113291(P2019-113291)

(22)【出願日】2019年6月19日

(71)【出願人】

【識別番号】000005348

【氏名又は名称】株式会社ＳＵＢＡＲＵ

(74)【代理人】

【識別番号】110001357

【氏名又は名称】特許業務法人つばさ国際特許事務所

(72)【発明者】

【氏名】小甲 啓隆

(72)【発明者】

【氏名】白石 哲夫

【テーマコード（参考）】

2F112

5L096

【Ｆターム（参考）】

2F112AC03

2F112AC06

2F112BA06

2F112CA05

2F112CA12

2F112FA35

5L096BA04

5L096CA05

5L096CA27

5L096DA02

5L096FA35

5L096FA66

5L096FA69

5L096GA08

5L096HA02

5L096JA09

(57)【要約】

【課題】視差画像の精度を高めることができることができる画像処理装置を提供する。
【解決手段】本開示の一実施の形態に係る画像処理装置は、それぞれが左画像および右画像を有する複数のステレオ画像に含まれる第１および第２のステレオ画像に基づいて、互いに対応する、第１のステレオ画像における第１の左画像点および第１の右画像点と第２のステレオ画像における第２の左画像点および第２の右画像点とを探索する対応点探索部と、第１の左画像点および第１の右画像点に基づいて第１の視差を算出し、第２の左画像点および第２の右画像点に基づいて第２の視差を算出し、進行距離、第１の視差、および第２の視差に基づいて第１の視差補正値を算出する視差補正値算出部と、第１の視差補正値に基づいて補正マップを生成する補正マップ生成部と、第３のステレオ画像および補正マップに基づいて第１の視差画像を生成する画像生成部とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

それぞれが左画像および右画像を有し、自車両において互いに異なる撮像タイミングで撮像された複数のステレオ画像に含まれる第１のステレオ画像および第２のステレオ画像に基づいて、互いに対応する、前記第１のステレオ画像の前記左画像における第１の左画像点、前記第１のステレオ画像の前記右画像における第１の右画像点、前記第２のステレオ画像の前記左画像における第２の左画像点、および前記第２のステレオ画像の前記右画像における第２の右画像点を探索する対応点探索部と、
前記第１の左画像点および前記第１の右画像点に基づいて第１の視差を算出し、前記第２の左画像点および前記第２の右画像点に基づいて第２の視差を算出し、前記第１のステレオ画像の前記撮像タイミングと、前記第２のステレオ画像の前記撮像タイミングとの間に前記自車両が移動した進行距離、前記第１の視差、および前記第２の視差に基づいて第１の視差補正値を算出する視差補正値算出部と、
前記第１の視差補正値に基づいて補正マップを生成する補正マップ生成部と、
前記複数のステレオ画像に含まれる、前記第１のステレオ画像の前記撮像タイミングおよび前記第２のステレオ画像の前記撮像タイミングよりも後の前記撮像タイミングで撮像された第３のステレオ画像および前記補正マップに基づいて、前記第３のステレオ画像に応じた第１の視差画像を生成する画像生成部と
を備えた画像処理装置。

【請求項2】

前記視差補正値算出部は、前記自車両の速度が所定の条件を満たした場合に前記第１の視差補正値を算出する
請求項１に記載の画像処理装置。

【請求項3】

前記視差補正値算出部は、前記自車両の舵角が所定の条件を満たした場合に前記第１の視差補正値を算出する
請求項１または請求項２に記載の画像処理装置。

【請求項4】

前記視差補正値算出部は、前記第１の左画像点、前記第１の右画像点、前記第２の左画像点、および前記第２の右画像点がエピポーラ幾何拘束に従う場合に、前記第１の視差補正値を算出する
請求項１から請求項３のいずれか一項に記載の画像処理装置。

【請求項5】

前記第１のステレオ画像および前記第２のステレオ画像に基づいて、エピポーラ幾何拘束に基づく演算を行うことにより第２の視差補正値を算出する演算部をさらに備え、
前記補正マップ生成部は、前記第１の視差補正値に加え、前記第２の視差補正値にも基づいて、前記補正マップを生成する
請求項１から請求項４のいずれか一項に記載の画像処理装置。

【請求項6】

前記画像生成部は、
前記補正マップに基づいて、前記第３のステレオ画像の前記左画像および前記右画像を補正する補正部と、
前記補正部により補正された前記左画像および前記右画像に基づいて、前記第１の視差画像を生成する視差画像生成部と
を有する
請求項１から請求項５のいずれか一項に記載の画像処理装置。

【請求項7】

前記画像生成部は、
前記第３のステレオ画像の前記左画像および前記右画像に基づいて、第２の視差画像を生成する視差画像生成部と、
前記補正マップに基づいて、前記視差画像生成部が生成した前記第２の視差画像を補正することにより前記第１の視差画像を生成する補正部と
を有する
請求項１から請求項５のいずれか一項に記載の画像処理装置。

【請求項8】

前記対応点探索部は、さらに、互いに対応する、前記第１のステレオ画像の前記左画像における第３の左画像点、前記第１のステレオ画像の前記右画像における第３の右画像点、前記第２のステレオ画像の前記左画像における第４の左画像点、および前記第２のステレオ画像の前記右画像における第４の右画像点を探索し、
前記視差補正値算出部は、さらに、前記第３の左画像点および前記第３の右画像点に基づいて第３の視差を算出し、前記第４の左画像点および前記第４の右画像点に基づいて第４の視差を算出し、前記進行距離、前記第３の視差、および前記第４の視差に基づいて第３の視差補正値を算出し、
前記補正マップ生成部は、前記第１の視差補正値および前記第３の視差補正値に基づいて、前記補正マップを生成する
請求項１から請求項７のいずれか一項に記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ステレオ画像に基づいて視差画像を得る画像処理装置に関する。

【背景技術】

【0002】

自動車等の車両には、ステレオカメラにより得られたステレオ画像に基づいて、視差についての情報を含む視差画像を生成するものがある。例えば、特許文献１には、例えば出荷前などに、ステレオカメラにより校正用具を撮影することにより補正パラメータを算出し、この補正パラメータを用いて撮像画像を補正する視差算出装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５−１６３８６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

画像処理装置では、視差画像の精度が高いことが望まれており、さらなる精度の向上が期待されている。

【0005】

視差画像の精度を高めることができる画像処理装置を提供することが望ましい。

【課題を解決するための手段】

【0006】

本開示の一実施の形態に係る画像処理装置は、対応点探索部と、視差補正値算出部と、補正マップ生成部と、画像生成部とを備えている。対応点探索部は、それぞれが左画像および右画像を有し、自車両において互いに異なる撮像タイミングで撮像された複数のステレオ画像に含まれる第１のステレオ画像および第２のステレオ画像に基づいて、互いに対応する、第１のステレオ画像の左画像における第１の左画像点、第１のステレオ画像の右画像における第１の右画像点、第２のステレオ画像の左画像における第２の左画像点、および第２のステレオ画像の右画像における第２の右画像点を探索するように構成される。視差補正値算出部は、第１の左画像点および第１の右画像点に基づいて第１の視差を算出し、第２の左画像点および第２の右画像点に基づいて第２の視差を算出し、第１のステレオ画像の撮像タイミングと、第２のステレオ画像の撮像タイミングとの間に自車両が進行した進行距離、第１の視差、および第２の視差に基づいて第１の視差補正値を算出するように構成される。補正マップ生成部は、第１の視差補正値に基づいて補正マップを生成するように構成される。画像生成部は、複数のステレオ画像に含まれる、第１のステレオ画像の撮像タイミングおよび第２のステレオ画像の撮像タイミングよりも後の撮像タイミングで撮像された第３のステレオ画像および補正マップに基づいて、第３のステレオ画像に応じた第１の視差画像を生成するように構成される。

【発明の効果】

【0007】

本開示の一実施の形態に係る画像処理装置によれば、視差画像の精度を高めることができる。

【図面の簡単な説明】

【0008】

【図1】本開示の一実施の形態に係る画像処理装置の一構成例を表すブロック図である。

【図2】図１に示した画像補正部に供給される情報の一例を表す説明図である。

【図3】マッチング処理の一例を表す説明図である。

【図4】図１に示したステレオカメラと物体との位置関係を表す説明図である。

【図5】変形例に係る画像処理装置の一構成例を表すブロック図である。

【発明を実施するための形態】

【0009】

以下、本開示の実施の形態について、図面を参照して詳細に説明する。

【0010】

＜実施の形態＞
［構成例］
図１は、一実施の形態に係る画像処理装置（画像処理装置１）の一構成例を表すものである。画像処理装置１は、ステレオカメラ１１と、処理部２０と、進行距離センサ１２と、操舵角センサ１３とを有している。画像処理装置１は、自動車等の車両１０に搭載される。

【0011】

ステレオカメラ１１は、車両１０の前方を撮像することにより、互いに視差を有する一組の画像（左画像ＰＬおよび右画像ＰＲ）を生成するように構成される。ステレオカメラ１１は、左カメラ１１Ｌと、右カメラ１１Ｒとを有する。左カメラ１１Ｌおよび右カメラ１１Ｒのそれぞれは、レンズとイメージセンサとを含んでいる。左カメラ１１Ｌおよび右カメラ１１Ｒは、この例では、車両１０の車両内において、車両１０のフロントガラスの上部近傍に、車両１０の幅方向に所定距離だけ離間して配置される。左カメラ１１Ｌおよび右カメラ１１Ｒは、互いに同期して撮像動作を行う。左カメラ１１Ｌは左画像ＰＬを生成し、右カメラ１１Ｒは右画像ＰＲを生成する。左画像ＰＬおよび右画像ＰＲは、ステレオ画像ＰＩＣを構成する。左画像ＰＬおよび右画像ＰＲは互いに視差を有する。ステレオカメラ１１は、所定のフレームレート（例えば６０［ｆｐｓ］）で撮像動作を行うことにより、一連のステレオ画像ＰＩＣを生成するようになっている。

【0012】

進行距離センサ１２は、車両１０の進行距離Ｐを検出するように構成される。具体的には、進行距離センサ１２は、ステレオカメラ１１におけるある撮像タイミングから、次の撮像タイミングまでの時間において、車両１０が進行した距離を検出する。例えば、ステレオカメラ１１のフレームレートが６０［ｆｐｓ］である場合には、進行距離センサ１２は、１６．７［ｍｓｅｃ．］（＝１／６０［Ｈｚ］）の間に車両１０が進行した距離を検出する。そして、進行距離センサ１２は、その検出結果を処理部２０に供給するようになっている。

【0013】

操舵角センサ１３は、車両１０の操舵角を検出するように構成される。そして、操舵角センサ１３は、その検出結果を処理部２０に供給するようになっている。

【0014】

処理部２０は、ステレオカメラ１１から供給されたステレオ画像ＰＩＣに基づいて、車両１０の前方の物体を認識するように構成される。車両１０では、例えば、処理部２０が認識した物体についての情報に基づいて、例えば、車両１０の走行制御を行い、あるいは、認識した物体についての情報をコンソールモニタに表示することができるようになっている。処理部２０は、例えば、プログラムを実行するＣＰＵ（Central Processing Unit）、処理データを一時的に記憶するＲＡＭ（Random Access Memory）、プログラムを記憶するＲＯＭ（Read Only Memory）などにより構成される。処理部２０は、画像メモリ２１と、画像補正部２２と、視差画像生成部２３と、物体認識部２４と、エピポーラ幾何拘束演算部２５と、補正値算出部３０と、補正マップ生成部２６とを有している。

【0015】

画像メモリ２１は、ステレオ画像ＰＩＣに含まれる左画像ＰＬおよび右画像ＰＲを一旦記憶するように構成される。そして、画像メモリ２１は、記憶された左画像ＰＬおよび右画像ＰＲを、順次、画像補正部２２、物体認識部２４、エピポーラ幾何拘束演算部２５、および補正値算出部３０に供給するようになっている。

【0016】

画像補正部２２は、補正マップ生成部２６から供給された補正マップＭに基づいて、左画像ＰＬおよび右画像ＰＲを補正するように構成される。

【0017】

図２は、画像補正部２２に供給される情報の一例を表すものであり、（Ａ）は左画像ＰＬおよび右画像ＰＲを示し、（Ｂ）は補正マップＭの一例を示す。

【0018】

左画像ＰＬおよび右画像ＰＲのそれぞれは、図２（Ａ）に示したように、複数の画素値ＰＶを有している。左画像ＰＬにおける複数の画素値ＰＶは、左カメラ１１Ｌにおける複数の画素によりそれぞれ得られた値である。右画像ＰＲにおける複数の画素値ＰＶは、右カメラ１１Ｒにおける複数の画素によりそれぞれ得られた値である。左画像ＰＬにおける複数の画素値ＰＶは、複数のサブ領域１００（複数のサブ領域１００Ｌ）に区分され、右画像ＰＲにおける複数の画素値ＰＶは、複数のサブ領域１００（複数のサブ領域１００Ｒ）に区分される。各サブ領域１００は、複数（例えば１６×１６個）の画素値ＰＶを含む。

【0019】

補正マップＭは、図２（Ｂ）に示したように、複数の視差補正値Ａを含んでいる。複数の視差補正値Ａは、複数のサブ領域１００に対応してそれぞれ設けられている。視差補正値Ａは、対応するサブ領域１００における視差の補正値を示している。

【0020】

画像補正部２２は、補正マップＭに基づいて、左画像ＰＬおよび右画像ＰＲをサブ領域１００単位で補正する。具体的には、画像補正部２２は、補正マップＭにおける各サブ領域１００での視差補正値Ａの分だけ、左画像ＰＬにおけるそのサブ領域１００（サブ領域１００Ｌ）の画像、および右画像ＰＲにおけるそのサブ領域１００（サブ領域１００Ｒ）の画像の間の視差を補正することにより、左画像ＰＬおよび右画像ＰＲを補正するようになっている。

【0021】

視差画像生成部２３は、画像補正部２２により補正された左画像ＰＬおよび右画像ＰＲに基づいて、ステレオマッチング処理やフィルタリング処理などを含む所定の画像処理を行うことにより、視差画像ＰＤを生成するように構成される。視差画像ＰＤは、複数の画素値を有している。複数の画素値のそれぞれは、各画素における視差についての値を示している。言い換えれば、複数の画素値のそれぞれは、３次元の実空間における、各画素に対応する点までの距離に対応している。

【0022】

物体認識部２４は、画像メモリ２１から供給された左画像ＰＬおよび右画像ＰＲと、視差画像生成部２３により生成された視差画像ＰＤとに基づいて、車両１０の前方の物体を認識するように構成される。そして、物体認識部２４は、その認識結果についての情報を出力するようになっている。

【0023】

エピポーラ幾何拘束演算部２５は、ステレオ画像ＰＩＣに基づいて、エピポーラ幾何拘束に基づく演算を行うことにより、各サブ領域１００における視差補正値Ａ１を算出するように構成される。すなわち、例えば、左カメラ１１Ｌおよび右カメラ１１Ｒを用いてステレオカメラ１１を組み立てる際の組み立て精度などにより、左カメラ１１Ｌにより得られた左画像ＰＬ、および右カメラ１１Ｒにより得られた右画像ＰＲの間には、視差の誤差が生じ得る。エピポーラ幾何拘束演算部２５は、左画像ＰＬおよび右画像ＰＲに基づいて、この視差の誤差を補正する視差補正値Ａ１をサブ領域１００単位で生成する。そして、エピポーラ幾何拘束演算部２５は、各サブ領域１００における視差補正値Ａ１を補正マップ生成部２６に供給するようになっている。

【0024】

補正値算出部３０は、互いに異なるタイミングで撮像された複数のステレオ画像ＰＩＣおよび進行距離Ｐに基づいて、各サブ領域１００における視差補正値δを算出するように構成される。すなわち、例えば、左カメラ１１Ｌのレンズの歪み、右カメラ１１Ｒのレンズの歪み、車両１０のフロントガラスの歪みなどにより、左カメラ１１Ｌにより得られた左画像ＰＬと、右カメラ１１Ｒにより得られた右画像ＰＲの間には、視差の誤差が生じ得る。補正値算出部３０は、左画像ＰＬおよび右画像ＰＲに基づいて、この視差の誤差を補正する視差補正値δをサブ領域１００単位で生成する。そして、補正値算出部３０は、各サブ領域１００における視差補正値δを補正マップ生成部２６に供給するようになっている。補正値算出部３０は、画像範囲設定部３１と、２点マッチング処理部３２と、対応点バッファ３３と、４点マッチング処理部３４と、判定部３５と、対応点バッファ３６と、視差補正値算出部３７とを有している。

【0025】

画像範囲設定部３１は、左画像ＰＬおよび右画像ＰＲのそれぞれにおいて、２点マッチング処理部３２がマッチング処理を行う画像範囲を設定するように構成される。２点マッチングでは、後述するように、左画像ＰＬにおける複数のサブ領域１００Ｌおよび右画像ＰＲにおける複数のサブ領域１００Ｒのうちの、互いに対応するサブ領域１００が特定される。この２点マッチングにおいて、全てのサブ領域１００を探索すると時間がかかってしまうので、画像範囲設定部３１は、探索する画像範囲を設定するようになっている。

【0026】

２点マッチング処理部３２は、各ステレオ画像ＰＩＣにおいて、左画像ＰＬおよび右画像ＰＲに基づいてサブ領域１００単位でマッチング処理（２点マッチング処理）を行うことにより、互いに対応する２つの画像点（対応点ＣＰ２）を特定するように構成される。具体的には、２点マッチング処理部３２は、左画像ＰＬにおける複数のサブ領域１００Ｌ、および右画像ＰＲにおける複数のサブ領域１００Ｒのうち、ほぼ同じＹ座標を有し、かつ、同様の画像パターンを有するサブ領域１００Ｌ，１００Ｒを探索することにより、互いに対応する２つの画像点（対応点ＣＰ２）を特定するようになっている。２点マッチング処理部３２は、例えばテンプレートマッチングにより対応点ＣＰ２を特定してもよいし、局所特徴量に基づく特徴量マッチングにより対応点ＣＰ２を特定してもよい。

【0027】

図３は、対応点ＣＰ２の一例を表すものであり、（Ａ）は、ある撮像タイミングで得られたステレオ画像ＰＩＣ（ステレオ画像ＰＩＣ１）における対応点ＣＰ２の一例を示し、（Ｂ）は、その次の撮像タイミングで得られたステレオ画像ＰＩＣ（ステレオ画像ＰＩＣ２）における対応点ＣＰ２の一例を示す。

【0028】

例えば、ステレオ画像ＰＩＣ１（図３（Ａ））では、左画像ＰＬにおけるあるサブ領域１００Ｌ（サブ領域１０１Ｌ）が、道路上の１つの標識を含んでおり、右画像ＰＲにおけるあるサブ領域１００Ｒ（サブ領域１０１Ｒ）が、その標識を含んでいる。よって、左画像ＰＬにおけるサブ領域１０１Ｌおよび右画像ＰＲにおけるサブ領域１０１Ｒは、互いに対応する画像点であり、対応点ＣＰ２を構成する。２点マッチング処理部３２は、ステレオ画像ＰＩＣ１の左画像ＰＬにおける複数のサブ領域１００Ｌおよび右画像ＰＲにおける複数のサブ領域１００Ｒについてこのような２点マッチング処理を行うことにより、ステレオ画像ＰＩＣ１に係る複数の対応点ＣＰ２を特定するようになっている。

【0029】

同様に、ステレオ画像ＰＩＣ２（図３（Ｂ））では、左画像ＰＬにおけるサブ領域１０２Ｌおよび右画像ＰＲにおけるサブ領域１０２Ｒが、互いに対応する画像点であり、対応点ＣＰ２を構成する。２点マッチング処理部３２は、ステレオ画像ＰＩＣ２の左画像ＰＬにおける複数のサブ領域１００Ｌおよび右画像ＰＲにおける複数のサブ領域１００Ｒについてこのような２点マッチング処理を行うことにより、ステレオ画像ＰＩＣ２に係る複数の対応点ＣＰ２を特定するようになっている。

【0030】

対応点バッファ３３は、２点マッチング処理部３２が特定した複数の対応点ＣＰ２についての情報を記憶するように構成される。具体的には、対応点バッファ３３は、対応点ＣＰ２を構成するサブ領域１００Ｌ，１００Ｒのペアについての情報を記憶するようになっている。対応点バッファ３３は、例えば、最新のステレオ画像ＰＩＣにおける複数の対応点ＣＰ２についての情報、および一つ前のステレオ画像ＰＩＣにおける複数の対応点ＣＰ２についての情報を記憶する。図３の例では、対応点バッファ３３が記憶する情報は、ステレオ画像ＰＩＣ１に基づいて特定された１つの対応点ＣＰ２を構成するサブ領域１０１Ｌ，１０１Ｒについての情報と、ステレオ画像ＰＩＣ２に基づいて特定された１つの対応点ＣＰ２を構成するサブ領域１０２Ｌ，１０２Ｒについての情報とを含んでいる。

【0031】

４点マッチング処理部３４は、対応点バッファ３３に記憶された、あるステレオ画像ＰＩＣにおける複数の対応点ＣＰ２についての情報、およびそのステレオ画像ＰＩＣの一つ前に得られたステレオ画像ＰＩＣにおける複数の対応点ＣＰ２についての情報に基づいて、進行距離センサ１２の検出結果および操舵角センサ１３の検出結果を利用して、互いに対応する４つの画像点（対応点ＣＰ４）を特定するように構成される。

【0032】

図３の例では、ステレオ画像ＰＩＣ１（図３（Ａ））におけるサブ領域１０１Ｌ，１０１Ｒが対応点ＣＰ２を構成し、ステレオ画像ＰＩＣ２（図３（Ｂ））におけるサブ領域１０２Ｌ，１０２Ｒが対応点ＣＰ２を構成する。サブ領域１０１Ｌ，１０１Ｒは、道路上の１つの標識を含んでおり、サブ領域１０２Ｌ，１０２Ｒは、その標識を含んでいる。よって、ステレオ画像ＰＩＣ１（図３（Ａ））におけるサブ領域１０１Ｌ，１０１Ｒ、およびステレオ画像ＰＩＣ２（図３（Ｂ））におけるサブ領域１０２Ｌ，１０２Ｒは、互いに対応する画像点であり、対応点ＣＰ４を構成する。この例では、１つの対応点ＣＰ４について説明したが、４点マッチング処理部３４は、ステレオ画像ＰＩＣ１の左画像ＰＬにおける複数のサブ領域１００Ｌおよび右画像ＰＲにおける複数のサブ領域１００Ｒと、ステレオ画像ＰＩＣ２の左画像ＰＬにおける複数のサブ領域１００Ｌおよび右画像ＰＲにおける複数のサブ領域１００Ｒとについて、このような４点マッチング処理を行うことにより、複数の対応点ＣＰ４を特定するようになっている。

【0033】

判定部３５は、４点マッチング処理部３４が特定した複数の対応点ＣＰ４のそれぞれをその後の演算で使用すべきかどうかを判定するように構成される。具体的には、判定部３５は、例えば、進行距離センサ１２の検出結果に基づいて、車両１０の車速が所定の車速よりも速い場合には、４点マッチング処理部３４が特定した複数の対応点ＣＰ４を使用すべきと判定し、車両１０の車速が所定の車速よりも遅い場合には、４点マッチング処理部３４が特定した複数の対応点ＣＰ４を使用すべきでないと判定する。すなわち、車両１０の車速が所定の車速よりも遅い場合には、進行距離Ｐが短くなりすぎてしまい、後述する視差補正値算出部３７における算出精度が低下するおそれがあるので、判定部３５は、４点マッチング処理部３４が特定した複数の対応点ＣＰ４を使用すべきでないと判定する。また、判定部３５は、例えば、操舵角センサ１３の検出結果に基づいて、車両１０の操舵角が所定の操舵角よりも小さい場合には、４点マッチング処理部３４が特定した複数の対応点ＣＰ４を使用すべきと判定し、車両１０の操舵角が所定の操舵角よりも大きい場合には、４点マッチング処理部３４が特定した複数の対応点ＣＰ４を使用すべきでないと判定する。すなわち、車両１０の操舵角が所定の操舵角よりも大きい場合には、ステレオ画像ＰＩＣ１、ＰＩＣ２の間で画像の変化が大きくなりすぎてしまい、後述する視差補正値算出部３７における算出精度が低下するおそれがあるので、判定部３５は、４点マッチング処理部３４が特定した複数の対応点ＣＰ４を使用すべきでないと判定する。また、判定部３５は、４点マッチング処理部３４が特定した複数の対応点ＣＰ４のそれぞれがエピポーラ幾何拘束に従うかどうかを確認し、対応点ＣＰ４がエピポーラ幾何拘束に従う場合には、その対応点ＣＰ４を使用すべきと判定し、対応点ＣＰ４がエピポーラ幾何拘束に従わない場合には、その対応点ＣＰ４を使用すべきでないと判定するようになっている。

【0034】

対応点バッファ３６は、判定部３５により使用すべきと判定された複数の対応点ＣＰ４についての情報を記憶するように構成される。具体的には、対応点バッファ３６は、対応点ＣＰ４を構成するサブ領域１００のグループについての情報と、進行距離Ｐについての情報を記憶するようになっている。図３の例では、対応点バッファ３６が記憶する情報は、ステレオ画像ＰＩＣ１，ＰＩＣ２に基づいて特定された１つの対応点ＣＰ４を構成するサブ領域１０１Ｌ，１０１Ｒ，１０２Ｌ，１０２Ｒについての情報と、ステレオ画像ＰＩＣ１の撮像タイミングとステレオ画像ＰＩＣ２の撮像タイミングの間の時間に車両１０が進んだ進行距離Ｐについての情報を含んでいる。

【0035】

視差補正値算出部３７は、対応点バッファ３６に記憶された対応点ＣＰ４についての情報に基づいて、各サブ領域１００における視差補正値δを算出するように構成される。以下に、視差補正値算出部３７における視差補正値δの算出方法について詳細に説明する。

【0036】

図４は、互いに異なるタイミングｔ１，ｔ２において１つの物体Ｏを撮像した場合における、ステレオカメラ１１と物体Ｏと位置関係の一例を表すものである。

【0037】

この例では、車両１０は、図４の上方向に向かって進行している。タイミングｔ１はある撮像タイミングであり、タイミングｔ２は、その撮像タイミングの次の撮像タイミングである。ステレオカメラ１１は、これらのタイミングｔ１，ｔ２において、物体Ｏを撮像している。すなわち、タイミングｔ１におけるサブ領域１００Ｌ，１００Ｒ（サブ領域１０３Ｌ，１０３Ｒ）、およびタイミングｔ２におけるサブ領域１００Ｌ，１００Ｒ（サブ領域１０４Ｌ，１０４Ｒ）は、対応点ＣＰ４を構成する。

【0038】

タイミングｔ１とタイミングｔ２との間の時間において、車両１０は、進行方向に進行距離Ｐだけ進行している。進行方向における物体Ｏとステレオカメラ１１との間の距離の検出値（検出距離Ｌ）は、タイミングｔ１では検出距離Ｌ１であり、タイミングｔ２では検出距離Ｌ２である。検出距離Ｌ１，Ｌ２および進行距離Ｐは、次式を満たす。

【数1】

ここで、ｅｒｒは誤差であり、“０”になることが期待される。この式ＥＱ１において、検出距離Ｌ１を視差Ｄ１を用いて表すとともに、検出距離Ｌ２を視差Ｄ２を用いて表すことにより、次式を得る。

【数2】

ここで、視差Ｄ１は、タイミングｔ１における視差であり、視差Ｄ２は、タイミングｔ２における視差である。言い換えれば、視差Ｄ１は、図４に示したサブ領域１０３Ｌとサブ領域１０３ＲのＸ方向におけるずれに対応し、視差Ｄ２は、図４に示したサブ領域１０４Ｌとサブ領域１０４ＲのＸ方向におけるずれに対応する。パラメータＢＦは、焦点距離（focal length）と基線長（base line length）の積を示すパラメータである。

【0039】

誤差ｅｒｒは、視差Ｄ１のずれおよび視差Ｄ２のずれに起因して生じている。よって、次式に示すように、この誤差ｅｒｒを“０”にするために、視差Ｄ１を視差補正値δ１で補正し、視差Ｄ２を視差補正値δ２で補正することができる。

【数3】

【0040】

視差補正値δ１は、サブ領域１０３Ｌ，１０３Ｒにおける視差Ｄ１のずれを補正するための補正値であり、視差補正値δ２は、サブ領域１０４Ｌ，１０４Ｒにおける視差Ｄ２のずれを補正するための補正値である。一般に、左カメラ１１Ｌに係るサブ領域１０３Ｌおよびサブ領域１０４Ｌは、互いに近い領域であり、同様に、右カメラ１１Ｒに係るサブ領域１０３Ｒおよびサブ領域１０４Ｒは、互いに近い領域である。よって、視差補正値δ１および視差補正値δ２の差は小さいと考えられる。そこで、視差補正値δ１，δ２は同じ値（視差補正値δ）であると仮定し、式ＥＱ３を視差補正値δについて整理すると、次式を得る。

【数4】

【0041】

この式ＥＱ４は、視差補正値δについての２次関数である。よって、以下の式により、視差補正値δを算出することができる。

【数5】

【0042】

視差補正値算出部３７は、対応点バッファ３６に記憶された対応点ＣＰ４についての情報に基づいて、式ＥＱ５を用いて、各サブ領域１００における視差補正値δを算出する。具体的には、図３の例では、視差補正値算出部３７は、対応点バッファ３６に記憶された対応点ＣＰ４についての情報に含まれる、ステレオ画像ＰＩＣ１（図３（Ａ））における２つの画像点（サブ領域１０１Ｌ，１０１Ｒ）に基づいて視差Ｄ１を算出するとともに、ステレオ画像ＰＩＣ２（図３（Ｂ））における２つの画像点（サブ領域１０２Ｌ，１０２Ｒ）に基づいて視差Ｄ２を算出する。そして、視差補正値算出部３７は、算出した視差Ｄ１，Ｄ２、および対応点バッファ３６に記憶された対応点ＣＰ４についての情報に含まれる進行距離Ｐに基づいて、式ＥＱ５を用いて、サブ領域１０１Ｌ，１０１Ｒ，１０２Ｌ，１０２Ｒに対応するサブ領域１００での視差補正値δを算出する。対応点バッファ３６は、複数の対応点ＣＰ４についての情報を記憶しているので、視差補正値算出部３７は、それらの複数の対応点ＣＰ４についての情報に基づいて、複数のサブ領域１００での視差補正値δをそれぞれ算出するようになっている。

【0043】

このようにして、補正値算出部３０は、各サブ領域１００における視差補正値δを算出する。そして、補正値算出部３０は、各サブ領域１００における視差補正値δを、補正マップ生成部２６に供給するようになっている。

【0044】

補正マップ生成部２６は、エピポーラ幾何拘束演算部２５により生成された、各サブ領域１００での視差補正値Ａ１、および補正値算出部３０により生成された、各サブ領域１００における視差補正値δに基づいて、図２（Ｂ）に示した補正マップＭを生成するように構成される。そして、補正マップ生成部２６は、生成した補正マップＭを画像補正部２２に供給するようになっている。

【0045】

この構成により、画像処理装置１では、エピポーラ幾何拘束演算部２５が、ステレオ画像ＰＩＣに基づいて、各サブ領域１００における視差補正値Ａ１を算出し、補正値算出部３０が、互いに異なるタイミングで撮像された複数のステレオ画像ＰＩＣおよび進行距離Ｐに基づいて、各サブ領域１００における視差補正値δを算出する。補正マップ生成部２６は、各サブ領域１００での視差補正値Ａ１および視差補正値δに基づいて、補正マップＭを生成する。画像補正部２２は、この補正マップＭに基づいて、左画像ＰＬおよび右画像ＰＲを補正する。視差画像生成部２３は、画像補正部２２により補正された左画像ＰＬおよび右画像ＰＲに基づいて、ステレオマッチング処理やフィルタリング処理などを含む所定の画像処理を行うことにより、視差画像ＰＤを生成する。これにより、画像処理装置１では、ステレオカメラ１１を組み立てる際の組み立て精度に起因する視差のずれや、ステレオカメラ１１のレンズの歪みや車両１０のフロントガラスの歪みに起因する視差のずれを効果的に補正することができる。その結果、画像処理装置１では、視差画像ＰＤの精度を高めることができるようになっている。

【0046】

ここで、２点マッチング処理部３２および４点マッチング処理部３４は、本開示における「対応点探索部」の一具体例に対応する。視差補正値算出部３７は、本開示における「視差補正値算出部」の一具体例に対応する。補正マップ生成部２６は、本開示における「補正マップ生成部」の一具体例に対応する。画像補正部２２および視差画像生成部２３は、本開示における「視差補正値算出部」の一具体例に対応する。エピポーラ幾何拘束演算部２５は、本開示における「演算部」の一具体例に対応する。

【0047】

ステレオ画像ＰＩＣ１は、本開示における「第１のステレオ画像」の一具体例に対応する。サブ領域１０１Ｌは、本開示における「第１の左画像点」の一具体例に対応する。サブ領域１０１Ｒは、本開示における「第１の右画像点」の一具体例に対応する。視差Ｄ１は、本開示における「第１の視差」の一具体例に対応する。ステレオ画像ＰＩＣ２は、本開示における「第２のステレオ画像」の一具体例に対応する。サブ領域１０２Ｌは、本開示における「第２の左画像点」の一具体例に対応する。サブ領域１０２Ｒは、本開示における「第２の右画像点」の一具体例に対応する。視差Ｄ２は、本開示における「第２の視差」の一具体例に対応する。視差補正値δは、本開示における「第１の視差補正値」の一具体例に対応する。視差補正値Ａ１は、本開示における「第２の視差補正値」の一具体例に対応する。

【0048】

［動作および作用］
続いて、本実施の形態の画像処理装置１の動作および作用について説明する。

【0049】

（全体動作概要）
まず、図１を参照して、画像処理装置１の全体動作概要を説明する。ステレオカメラ１１は、車両１０の前方を撮像することにより、左画像ＰＬおよび右画像ＰＲを含むステレオ画像ＰＩＣを生成する。進行距離センサ１２は、車両１０の進行距離Ｐを検出する。操舵角センサ１３は、車両１０の操舵角を検出する。処理部２０において、画像メモリ２１は、ステレオ画像ＰＩＣに含まれる左画像ＰＬおよび右画像ＰＲを一旦記憶する。エピポーラ幾何拘束演算部２５は、ステレオ画像ＰＩＣに基づいて、エピポーラ幾何拘束に基づく演算を行うことにより、各サブ領域１００における視差補正値Ａ１を算出する。補正値算出部３０は、互いに異なるタイミングで撮像された複数のステレオ画像ＰＩＣおよび進行距離Ｐに基づいて、各サブ領域１００における視差補正値δを算出する。補正マップ生成部２６は、エピポーラ幾何拘束演算部２５により生成された、各サブ領域１００での視差補正値Ａ１、および補正値算出部３０により生成された、各サブ領域１００における視差補正値δに基づいて、補正マップＭを生成する。視差画像生成部２３は、画像補正部２２により補正された左画像ＰＬおよび右画像ＰＲに基づいて、ステレオマッチング処理やフィルタリング処理などを含む所定の画像処理を行うことにより、視差画像ＰＤを生成する。物体認識部２４は、画像メモリ２１から供給された左画像ＰＬおよび右画像ＰＲと、視差画像生成部２３により生成された視差画像ＰＤとに基づいて、車両１０の前方の物体を認識する。

【0050】

（詳細動作）
補正値算出部３０は、互いに異なるタイミングで撮像された複数のステレオ画像ＰＩＣおよび進行距離Ｐに基づいて、各サブ領域１００における視差補正値δを算出する。以下に、この補正値算出部３０における動作について、詳細に説明する。

【0051】

まず、画像範囲設定部３１は、左画像ＰＬおよび右画像ＰＲのそれぞれにおいて、２点マッチング処理部３２がマッチング処理を行う画像範囲を設定する。

【0052】

そして、２点マッチング処理部３２は、各ステレオ画像ＰＩＣにおいて、左画像ＰＬおよび右画像ＰＲに基づいてサブ領域１００単位でマッチング処理（２点マッチング処理）を行うことにより、互いに対応する２つの画像点（対応点ＣＰ２）を特定する。例えば、図３（Ａ）に示した例では、２点マッチング処理部３２は、左画像ＰＬにおけるサブ領域１０１Ｌおよび右画像ＰＲにおけるサブ領域１０１Ｒを、互いに対応する２つの画像点（対応点ＣＰ２）として特定する。２点マッチング処理部３２は、ステレオ画像ＰＩＣ１の左画像ＰＬにおける複数のサブ領域１００Ｌおよび右画像ＰＲにおける複数のサブ領域１００Ｒについてこのような２点マッチング処理を行うことにより、ステレオ画像ＰＩＣ１に係る複数の対応点ＣＰ２を特定する。同様に、図３（Ｂ）に示した例では、２点マッチング処理部３２は、左画像ＰＬにおけるサブ領域１０２Ｌおよび右画像ＰＲにおけるサブ領域１０２Ｒを、互いに対応する２つの画像点（対応点ＣＰ２）として特定する。２点マッチング処理部３２は、ステレオ画像ＰＩＣ２の左画像ＰＬにおける複数のサブ領域１００Ｌおよび右画像ＰＲにおける複数のサブ領域１００Ｒについてこのような２点マッチング処理を行うことにより、ステレオ画像ＰＩＣ２に係る複数の対応点ＣＰ２を特定する。対応点バッファ３３は、２点マッチング処理部３２が特定した複数の対応点ＣＰ２についての情報を記憶する。

【0053】

４点マッチング処理部３４は、対応点バッファ３３に記憶された、あるステレオ画像ＰＩＣにおける複数の対応点ＣＰ２についての情報、およびそのステレオ画像ＰＩＣの一つ前に得られたステレオ画像ＰＩＣにおける複数の対応点ＣＰ２についての情報に基づいて、進行距離センサ１２の検出結果および操舵角センサ１３の検出結果を利用して、互いに対応する４つの画像点（対応点ＣＰ４）を特定する。図３の例では、４点マッチング処理部３４は、ステレオ画像ＰＩＣ１（図３（Ａ））におけるサブ領域１０１Ｌ，１０１Ｒ、および、ステレオ画像ＰＩＣ２（図３（Ｂ））におけるサブ領域１０２Ｌ，１０２Ｒを、互いに対応する４つの画像点（対応点ＣＰ４）として特定する。４点マッチング処理部３４は、ステレオ画像ＰＩＣ１の左画像ＰＬにおける複数のサブ領域１００Ｌおよび右画像ＰＲにおける複数のサブ領域１００Ｒと、ステレオ画像ＰＩＣ２の左画像ＰＬにおける複数のサブ領域１００Ｌおよび右画像ＰＲにおける複数のサブ領域１００Ｒとについて、このような４点マッチング処理を行うことにより、複数の対応点ＣＰ４を特定する。

【0054】

判定部３５は、４点マッチング処理部３４が特定した複数の対応点ＣＰ４のそれぞれをその後の演算で使用すべきかどうかを判定する。具体的には、判定部３５は、例えば、進行距離センサ１２の検出結果に基づいて、車両１０の車速が所定の車速よりも速い場合には、４点マッチング処理部３４が特定した複数の対応点ＣＰ４を使用すべきと判定し、車両１０の車速が所定の車速よりも遅い場合には、４点マッチング処理部３４が特定した複数の対応点ＣＰ４を使用すべきでないと判定する。また、判定部３５は、例えば、操舵角センサ１３の検出結果に基づいて、車両１０の操舵角が所定の操舵角よりも小さい場合には、４点マッチング処理部３４が特定した複数の対応点ＣＰ４を使用すべきと判定し、車両１０の操舵角が所定の操舵角よりも大きい場合には、４点マッチング処理部３４が特定した複数の対応点ＣＰ４を使用すべきでないと判定する。また、判定部３５は、４点マッチング処理部３４が特定した複数の対応点ＣＰ４のそれぞれがエピポーラ幾何拘束に従うかどうかを確認し、対応点ＣＰ４がエピポーラ幾何拘束に従う場合には、その対応点ＣＰ４を使用すべきと判定し、対応点ＣＰ４がエピポーラ幾何拘束に従わない場合には、その対応点ＣＰ４を使用すべきでないと判定する。

【0055】

対応点バッファ３６は、判定部３５により使用すべきと判定された複数の対応点ＣＰ４についての情報を記憶する。判定部３５が上述した判定を行うので、４点マッチング処理部３４が特定した複数の対応点ＣＰ４のうちの一部が、その後の演算で使用すべきと判定され、対応点バッファ３６に記憶される。そして、例えば、補正値算出部３０が約１０００枚程度のステレオ画像ＰＩＣに基づく処理を行うことにより、対応点バッファ３６には、ほぼ全てのサブ領域１００における対応点ＣＰ４についての情報が蓄積される。

【0056】

視差補正値算出部３７は、対応点バッファ３６に記憶された対応点ＣＰ４についての情報に基づいて、式ＥＱ５を用いて、各サブ領域１００における視差補正値δを算出する。図３の例では、視差補正値算出部３７は、対応点バッファ３６に記憶された対応点ＣＰ４についての情報に含まれる、ステレオ画像ＰＩＣ１（図３（Ａ））における２つの画像点（サブ領域１０１Ｌ，１０１Ｒ）に基づいて視差Ｄ１を算出するとともに、ステレオ画像ＰＩＣ２（図３（Ｂ））における２つの画像点（サブ領域１０２Ｌ，１０２Ｒ）に基づいて視差Ｄ２を算出する。そして、視差補正値算出部３７は、算出した視差Ｄ１，Ｄ２、および対応点バッファ３６に記憶された対応点ＣＰ４についての情報に含まれる進行距離Ｐに基づいて、式ＥＱ５を用いて、サブ領域１０１Ｌ，１０１Ｒ，１０２Ｌ，１０２Ｒに対応するサブ領域１００での視差補正値δを算出する。対応点バッファ３６は、複数の対応点ＣＰ４についての情報を記憶しているので、視差補正値算出部３７は、それらの複数の対応点ＣＰ４についての情報に基づいて、複数のサブ領域１００での視差補正値δをそれぞれ算出する。

【0057】

このようにして、補正値算出部３０は、各サブ領域１００における視差補正値δを算出する。そして、補正値算出部３０は、各サブ領域１００における視差補正値δを、補正マップ生成部２６に供給する。

【0058】

その後、補正マップ生成部２６は、エピポーラ幾何拘束演算部２５により生成された、各サブ領域１００での視差補正値Ａ１、および補正値算出部３０により生成された、各サブ領域１００における視差補正値δに基づいて、補正マップＭを生成する。画像補正部２２は、補正マップ生成部２６から供給された補正マップＭに基づいて、左画像ＰＬおよび右画像ＰＲを補正する。そして、視差画像生成部２３は、画像補正部２２により補正された左画像ＰＬおよび右画像ＰＲに基づいて、ステレオマッチング処理やフィルタリング処理などを含む所定の画像処理を行うことにより、視差画像ＰＤを生成する。

【0059】

このように、画像処理装置１では、互いに異なるタイミングで撮像された複数のステレオ画像ＰＩＣおよび進行距離Ｐに基づいて視差補正値δを生成するようにした。具体的には、２点マッチング処理部３２および４点マッチング処理部３４は、互いに対応する、あるステレオ画像ＰＩＣにおける２つの画像点（第１の左画像点および第１の右画像点）と、そのステレオ画像ＰＩＣの次のステレオ画像ＰＩＣにおける２つの画像点（第２の左画像点および第２の右画像点）とを探索し、視差補正値算出部３７は、第１の左画像点および第１の右画像点に基づいて第１の視差を算出し、第２の左画像点および第２の右画像点に基づいて第２の視差を算出し、進行距離Ｐ、第１の視差、および第２の視差に基づいて視差補正値δを生成した。そして、画像処理装置１では、この視差補正値δに基づいて補正マップＭを生成し、左画像ＰＬおよび右画像ＰＲに基づいて、この補正マップＭを用いて視差画像ＰＤを生成するようにした。これにより、画像処理装置１では、視差画像ＰＤの精度を高めることができる。

【0060】

すなわち、ステレオカメラ１１は、車両１０の車両内において、車両１０のフロントガラスの上部近傍に配置される。よって、ステレオカメラ１１では、車両１０のフロントガラスの歪みに起因する視差のずれが生じるおそれがある。特に、フロントガラスは、個体差が大きく、１枚１枚の歪み量が異なる傾向がある。また、ステレオカメラ１１をフロントガラスの上部近傍に配置する際、その配置位置がずれた場合には、視差のずれが変化し得る。画像処理装置１では、互いに異なるタイミングで撮像された複数のステレオ画像ＰＩＣおよび進行距離Ｐに基づいて、各サブ領域１００における視差補正値δを生成し、この視差補正値δに基づいて補正マップＭを生成するようにした。これにより、画像処理装置１では、この補正マップＭを用いて視差画像ＰＤを生成することができるので、例えば、フロントガラスに起因する視差のずれを補正することができるため、視差画像ＰＤの精度を高めることができる。

【0061】

また、画像処理装置１では、エピポーラ幾何拘束演算部２５が生成した視差補正値Ａ１、および補正値算出部３０が生成した視差補正値δに基づいて補正マップＭを生成し、この補正マップＭを用いて視差画像ＰＤを生成するようにした。このように、エピポーラ幾何拘束演算部２５が生成した視差補正値Ａ１に基づいて視差画像ＰＤを生成することにより、左カメラ１１Ｌおよび右カメラ１１Ｒを用いてステレオカメラ１１を組み立てる際の組み立て精度に起因する視差のずれを補正することができる。そして、補正値算出部３０が生成した視差補正値δに基づいて視差画像ＰＤを生成することにより、左カメラ１１Ｌのレンズの歪み、右カメラ１１Ｒのレンズの歪み、車両１０のフロントガラスの歪みなどに起因する視差のずれを補正することができる。その結果、画像処理装置１では、視差画像ＰＤの精度を高めることができる。

【0062】

また、画像処理装置１では、車両１０が走行している期間において、互いに異なるタイミングで撮像された複数のステレオ画像ＰＩＣおよび進行距離Ｐに基づいて視差補正値δを生成し、この視差補正値δに基づいて補正マップＭを生成するようにした。これにより、画像処理装置１では、車両１０が走行している期間において、継続して、補正マップＭを生成することができる。その結果、例えば、車両１０の出荷前などに校正を行う必要がないので、製造工程をシンプルにすることができる。

【0063】

［効果］
以上のように本実施の形態では、互いに異なるタイミングで撮像された複数のステレオ画像および進行距離に基づいて視差補正値δを生成し、この視差補正値δに基づいて補正マップを生成するようにした。そして、左画像および右画像に基づいて、この補正マップを用いて視差画像を生成するようにした。これにより、例えば、フロントガラスに起因する視差のずれを補正することができるため、視差画像の精度を高めることができる。

【0064】

本実施の形態では、エピポーラ幾何拘束演算部が生成した視差補正値Ａ１、および補正値算出部が生成した視差補正値δに基づいて補正マップを生成し、この補正マップを用いて視差画像を生成するようにしたので、様々な理由に起因する視差のずれを補正することができるため、視差画像の精度を高めることができる

【0065】

本実施の形態では、車両が走行している期間において、互いに異なるタイミングで撮像された複数のステレオ画像および進行距離に基づいて視差補正値δを生成し、この視差補正値δに基づいて補正マップを生成するようにしたので、例えば、車両の出荷前などに校正を行う必要がないので、製造工程をシンプルにすることができる

【0066】

［変形例１］
上記実施の形態では、図１に示したように、画像補正部２２が、補正マップＭに基づいて左画像ＰＬおよび右画像ＰＲを補正したが、これに限定されるものではない。これに代えて、図５に示す画像処理装置１Ａのように、補正マップＭに基づいて視差画像ＰＤを補正してもよい。画像処理装置１Ａは、処理部２０Ａを備えている。処理部２０Ａは、視差画像生成部２３Ａと、視差画像補正部２７Ａとを有している。視差画像生成部２３Ａは、画像メモリ２１から供給された左画像ＰＬおよび右画像ＰＲに基づいて、ステレオマッチング処理やフィルタリング処理などを含む所定の画像処理を行うことにより、視差画像ＰＤを生成するように構成される。視差画像補正部２７Ａは、補正マップ生成部２６から供給された補正マップＭに基づいて、視差画像ＰＤを補正するように構成される。ここで、視差画像生成部２３Ａおよび視差画像補正部２７Ａは、本開示における「視差補正値算出部」の一具体例に対応する。このように構成しても、上記実施の形態の場合と同様の効果を得ることができる。

【0067】

［変形例２］
上記実施の形態では、補正マップ生成部２６は、エピポーラ幾何拘束演算部２５により生成された、各サブ領域１００での視差補正値Ａ１、および補正値算出部３０により生成された、各サブ領域１００における視差補正値δに基づいて、図２（Ｂ）に示したように、各サブ領域１００における視差補正値Ａを生成することにより、補正マップＭを生成するようにした。その際、補正マップ生成部２６は、複数回にわたり視差補正値Ａを生成し、それらの複数の視差補正値Ａのヒストグラムを作成し、そのヒストグラムにおける視差補正値Ａの最頻値に基づいて、補正マップＭを生成してもよい。

【0068】

以上、いくつかの実施の形態および変形例を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。

【0069】

例えば、上記実施の形態では、各サブ領域１００は、例えば１６×１６個の画素値ＰＶを含むようにしたが、これに限定されるものではなく、より少ない画素値ＰＶを含んでいてもよいし、より多い画素値ＰＶを含んでいてもよい。

【0070】

例えば、上記実施の形態では、ステレオカメラ１１が車両１０の前方を撮像するようにしたが、これに限定されるものではなく、例えば、車両１０の側方や後方を撮像してもよい。

【0071】

なお、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、また、他の効果があってもよい。

【符号の説明】

【0072】

１，１Ａ…画像処理装置、１１…ステレオカメラ、１１Ｌ…左カメラ、１１Ｒ…右カメラ、１２…進行距離センサ、１３…操舵角センサ、２０，２０Ａ…処理部、２１…画像メモリ、２２…画像補正部、２３…視差画像生成部、２４…物体認識部、２５…エピポーラ幾何拘束演算部、２６…補正マップ生成部、２７Ａ…視差画像補正部、３０…補正値算出部、３１…画像範囲設定部、３２…２点マッチング処理部、３３…対応点バッファ、３４…４点マッチング処理部、３５…判定部、３６…対応点バッファ、３７…視差補正値算出部、１００，１００Ｌ，１００Ｒ…サブ領域、Ａ，Ａ１，δ…視差補正値、Ｍ…補正マップ、Ｐ…進行距離、ＰＩＣ…ステレオ画像、ＰＤ…視差画像、ＰＬ…左画像、ＰＲ…右画像、ＰＶ…画素値。

【図1】

【図2】

【図3】

【図4】

【図5】