特開 2024-98318 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024098318

(43)【公開日】2024-07-23

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240716BHJP

   G06T 7/593 20170101ALI20240716BHJP

   G06T 7/00 20170101ALI20240716BHJP

   G06T 5/20 20060101ALI20240716BHJP

   H04N 23/45 20230101ALI20240716BHJP

【ＦＩ】

H04N23/60 500

G06T7/593

G06T7/00 C

G06T5/20

H04N23/45

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023001753

(22)【出願日】2023-01-10

(71)【出願人】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110000925

【氏名又は名称】弁理士法人信友国際特許事務所

(72)【発明者】

【氏名】金田 久慶

【テーマコード（参考）】

5B057

5C122

5L096

【Ｆターム（参考）】

5B057CA08

5B057CA13

5B057CA16

5B057CB13

5B057CB16

5B057CD06

5B057CD12

5B057CE06

5B057DA07

5B057DB02

5C122EA31

5C122FA18

5C122FH01

5C122FH06

5C122FH11

5C122FH23

5C122HA88

5C122HB01

5C122HB10

5L096CA05

5L096EA12

5L096EA14

5L096EA33

5L096FA66

5L096FA69

5L096GA55

5L096MA07

(57)【要約】

【課題】ステレオカメラの左右撮像部のレンズの収差の個体差がもたらす測距誤差を低減し、測距精度を向上する。
【解決手段】画像処理装置１０は、左撮像部１０１及び右撮像部１０２と、左撮像部１０１の撮像画像に、右撮像部１０２から生成された第２点像分布フィルタを施し、右撮像部１０２の撮像画像に、左撮像部１０１から生成された第１点像分布フィルタを施す画像補正処理を行う画像補正部１０４と、を備える。
【選択図】 図１

【特許請求の範囲】

【請求項1】

第１撮像部及び第２撮像部と、
前記第１撮像部の撮像画像に、前記第２撮像部から生成された第２点像分布フィルタを施し、前記第２撮像部の撮像画像に、前記第１撮像部から生成された第１点像分布フィルタを施す画像補正処理を行う画像補正部と、を備える
画像処理装置。

【請求項2】

前記画像補正部は、前記画像補正処理を実空間での畳み込み演算により実施する
請求項１に記載の画像処理装置。

【請求項3】

前記実空間は、画像上における二次元の座標で表す空間である
請求項２に記載の画像処理装置。

【請求項4】

前記画像補正部による前記画像補正処理が行われた、前記第１撮像部の撮像画像及び前記第２撮像部の撮像画像を用いて、視差を演算して視差画像を生成する視差画像生成部を備える
請求項３に記載の画像処理装置。

【請求項5】

前記視差画像を利用して立体物を検知し、画像識別により立体物の種別を識別し、識別した前記立体物を含む所定領域の画像を立体物の画像として認識する立体物認識処理を行う立体物認識部を備える
請求項４に記載の画像処理装置。

【請求項6】

前記画像補正部は、前記立体物認識部による前記立体物認識処理の後に、前記画像補正処理を行う
請求項５に記載の画像処理装置。

【請求項7】

前記画像補正部は、
前記立体物認識部により認識された前記立体物の画像に対して前記画像補正処理を行うか否かを判定し、
認識された全ての前記立体物の画像、または、前記画像補正処理を行うと判定した前記立体物の画像に対して前記画像補正処理を行う
請求項６に記載の画像処理装置。

【請求項8】

前記第１撮像部及び前記第２撮像部は、画像の輝度階調変換機能を有する
請求項１に記載の画像処理装置。

【請求項9】

第１撮像部及び第２撮像部を有する画像処理装置における画像処理方法であって、
前記第１撮像部の撮像画像に、前記第２撮像部から生成された第２点像分布フィルタを施し、前記第２撮像部の撮像画像に、前記第１撮像部から生成された第１点像分布フィルタを施す画像補正処理を行うステップを、含む
画像処理方法。

【請求項10】

第１撮像部、及び、前記第１撮像部よりレンズの収差による影響が大きい第２撮像部と、
前記第２撮像部の撮像画像に、前記第１撮像部から生成された第１点像分布フィルタを施す画像補正処理を行う画像補正部と、を備える
画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及び画像処理方法に関する。

【背景技術】

【0002】

ステレオカメラは、複数のカメラ、例えば、２つのカメラで立体物を撮像する。画像処理装置は、各カメラにより撮像された画像に映る立体物の視差を計算し、三角測量の原理で当該立体物の奥行き距離を測ることで、立体物を３次元に認識することができる。それゆえ、ステレオカメラは、車の衝突防止機能、ロボットのセンサ及び監視カメラ、セキュリティ等の広い範囲で応用されている。例えば、ステレオカメラは、自動車などに搭載され、周囲の自動車や、歩行者、自転車、バイク、その他の立体物等の位置を検出し、その情報を基に、自動緊急ブレーキ等の車両の自動制御を行う。

【0003】

なお、ステレオカメラは、応用される様々なケースに対応するには、より広画角、かつより遠方の立体物の測距が求められている。特に遠方の立体物を測距する場合、視差の計算は１画素未満（以下では、「サブ画素」と称する）のオーダー精度が求められる。これは、立体物が遠方になればなるほど、立体物の視差の絶対値が小さくなるためである。サブ画素のオーダー精度を担保するためには、２つのカメラのレンズの収差の個体差がもたらす視差誤差を低減することが必要である。そこで、例えば、特許文献１において、左右の撮像装置が撮像した画像に対して、点像分布を左右で同一になるような画像処理を行って、視差演算を行う技術が提案されている。

【0004】

特許文献１には、「視差検出装置は、複数の光学系間に生じる視差を算出する視差検出装置であって、複数の光学系の点像分布が所定の光学系の点像分布と同一となるように、複数の光学系のそれぞれから得られる複数の画像の少なくとも１つを補正する点像分布同一化部と、点像分布同一化部によって補正された画像を用いて、複数の光学系間に生じる視差を算出する視差算出部とを備える。」と記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】国際公開第１１／０１０４３８号

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述のように、左右の撮像装置が撮像した画像に対して、点像分布を左右で同一になるような画像処理を行うことにより、左右の撮像装置のレンズの収差の個体差がもたらす視差誤差を低減する技術（特許文献１を参照）が提案されている。しかし、特許文献１に記載の技術では、点像分布を同一化する補正データを生成するため、第１の光学伝達関数を第２の光学伝達関数で除する処理、すなわち、点像分布同士のデコンボリューション処理が行われる。デコンボリューション処理では、ゼロ除算による値の発散によって一部の周波数の情報が失われるという問題がある。なお、ウィーナーフィルタやその他の統計手法を利用して、デコンボリューション処理におけるゼロ除算による値の発散を低減することができるが、完全に排除することはできない。それゆえ、特許文献１に記載の技術は、点像分布の同一化を高精度に行うことができないため、左右撮像部のレンズの収差の個体差がもたらす視差誤差を低減する効果が低下する問題がある。

【0007】

本発明は上記課題を解決するためになされたものであり、本発明の目的は、ステレオカメラの左右撮像部のレンズの収差の個体差がもたらす測距誤差を低減し、測距精度を向上する画像処理装置を提供することである。

【課題を解決するための手段】

【0008】

本発明の画像処理装置は、第１撮像部及び第２撮像部と、第１撮像部の撮像画像に、第２撮像部から生成された第２点像分布フィルタを施し、第２撮像部の撮像画像に、第１撮像部から生成された第１点像分布フィルタを施す画像補正処理を行う画像補正部と、を備える。

【発明の効果】

【0009】

上記構成の本発明におれば、ステレオカメラの左右撮像部のレンズの収差の個体差がもたらす測距誤差を低減し、測距精度を向上することができる。
上記以外の課題、構成及び効果は、以下の実施の形態の説明により明らかにされる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１実施形態に係る画像処理装置の構成例を示すブロック図である。

【図2】本発明の第１実施形態に係る画像処理装置における点像分布フィルタの例１を示す図である。

【図3】本発明の第１実施形態に係る画像処理装置における点像分布フィルタの例２を示す図である。

【図4】本発明の第１実施形態に係る画像処理装置におけるステレオカメラの輝度階調変換特性を示す図である。

【図5】点像分布を説明するための図である。

【図6】本発明の第１実施形態に係る画像処理装置の左右撮像部が理想的なレンズを介して撮像した前方車両のテールライトの画像の模式図である。

【図7】本発明の第１実施形態に係る画像処理装置の左右撮像部が実際のレンズを介して撮像した前方車両のテールライトの画像の模式図である。

【図8】本発明の第１実施形態に係る画像処理装置の左右撮像部の撮像画像の輝度分布を説明するための図である。

【図9】本発明の第１実施形態に係る画像処理装置の左右撮像部のレンズの収差の個体差がもたらす視差誤差を示す図である。

【図10】本発明の第１実施形態に係る画像処理装置における、画像補正後のテールライトの画像の模式図である。

【図11】本発明の第１実施形態に係る画像処理装置における、画像補正後の左右撮像部の撮像画像の視差誤差を示す図である。

【図12】本発明の第１実施形態に係る画像処理装置における処理の手順を示すフローチャートである。

【図13】本発明の第１実施形態に係る画像処理装置の製造プロセスを示すフローチャートである。

【図14】本発明の第１実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。

【図15】本発明の第２実施形態に係る画像処理装置の構成例を示すブロック図である。

【図16】本発明の第２実施形態に係る画像処理装置における処理の手順を示すフローチャートである。

【図17】本発明の第３実施形態に係る画像処理装置の構成例を示すブロック図である。

【図18】本発明の第３実施形態に係る画像処理装置の立体物認識部の構成例を示すブロック図である。

【図19】本発明の第３実施形態に係る画像処理装置の立体物検知部における立体物検知処理を説明するための図である。

【図20】本発明の第３実施形態に係る画像処理装置における処理の手順を示すフローチャートである。

【図21】本発明の第３実施形態に係る画像処理装置の立体物認識部における立体物認識処理の手順を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明を実施するための形態について、添付図面を参照して説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。本発明は、例えば、先進運転支援システム（ＡＤＡＳ：Advanced Driver Assistance System）、又は自動運転（ＡＤ：Autonomous Driving）向けの車載ＥＣＵ（Electronic Control Unit）が通信可能な車両制御用の演算装置に適用可能である。

【0012】

＜第１実施形態＞
［画像処理装置１０の構成例］
まず、本発明の第１実施形態に係る画像処理装置１０の構成について説明する。以下では、画像処理装置１０が、車両に搭載された場合の構成例を説明する。なお、本発明はこれに限定されず、画像処理装置１０をロボットのセンサや監視カメラなどに搭載してもよい。

【0013】

図１は、本実施形態に係る画像処理装置１０の構成例を示すブロック図である。画像処理装置１０は、図１に示すように、ステレオカメラの第１撮像部（左撮像部１０１）と、ステレオカメラの第２撮像部（右撮像部１０２）と、画像前処理部１０３と、画像補正部１０４と、輝度階調変換部１０５と、歪補正及び平行化部１０６と、画像補間部１０７と、視差画像生成部１０８と、立体物認識部１０９と、車両制御部１１０とを備える。

【0014】

左撮像部１０１及び右撮像部１０２は、それぞれ画像前処理部１０３に接続される。画像前処理部１０３、画像補正部１０４、輝度階調変換部１０５、歪補正及び平行化部１０６、画像補間部１０７、視差画像生成部１０８、立体物認識部１０９、及び車両制御部１１０この順で接続される。

【0015】

左撮像部１０１及び右撮像部１０２は、それぞれ、レンズと画像センサとを備えた単眼カメラであり、車両前方の立体物を撮像する。左撮像部１０１により撮像された画像Ｐ１、及び、右撮像部１０２により撮像された画像Ｐ２は、画像前処理部１０３に出力される。なお、以下では、左撮像部１０１及び右撮像部１０２を区別しない場合、左撮像部１０１及び右撮像部１０２を「左右撮像部」と総称する。

【0016】

画像前処理部１０３は、左右撮像部から入力した画像Ｐ１及び画像Ｐ２に対する前処理として、画像Ｐ１及び画像Ｐ２の輝度のゲイン調整を行い、画像Ｐ１及び画像Ｐ２のそれぞれの輝度のむらを補正するシェーディング補正を行う。また、画像前処理部１０３は、シェーディング補正後の画像Ｐ１及び画像Ｐ２を画像補正部１０４に出力する。

【0017】

画像補正部１０４は、画像Ｐ１及び画像Ｐ２を補正する機能を有する。この画像補正部１０４は、点像分布フィルタ記憶部１０４ａと、点像分布フィルタ補間部１０４ｂと、点像分布フィルタ畳み込み部１０４ｃとを有する。

【0018】

点像分布フィルタ記憶部１０４ａは、点像分布フィルタ畳み込み部１０４ｃが行う処理に利用される点像分布フィルタを記憶する。左右撮像部のそれぞれの点像分布フィルタは、例えば、画像処理装置１０の製造時に、左右撮像部を筐体に取り付けた後、左右撮像部のそれぞれの点像分布が測定され、点像分布フィルタとして生成される。第１撮像部（左撮像部１０１）から生成された点像分布フィルタが第１点像分布フィルタとし、第２撮像部（右撮像部１０２）から生成された点像分布フィルタが第２点像分布フィルタとして点像分布フィルタ記憶部１０４ａに記憶される。以下では、各フィルタを区別しない場合に、第１点像分布フィルタ及び第２点像分布フィルタを「点像分布フィルタ」と総称する。なお、点像分布フィルタの測定及び記憶は、画像処理装置１０の製造時に限定されず、点像分布フィルタ畳み込み部１０４ｃにおける後述の画像補正処理が行われる前に、点像分布フィルタを測定して点像分布フィルタ記憶部１０４ａに記憶しておけばよい。

【0019】

点像分布フィルタは、例えば、左右撮像部が点光源を撮像する等の方法により点像分布を測定する際に、点光源の撮像画像から、点光源が十分に明るく写った領域を切り出して生成された２次元のフィルタである。点像分布の形状は、撮像画像内の画素位置によって異なるため、点像分布フィルタは、撮像画像の各画素に対応して記憶される。

【0020】

図２は、本実施形態に係る画像処理装置１０における点像分布フィルタの例１を示す図である。図２Ａは、３×３サイズの点像分布フィルタＦ２１を示す。図２Ｂは、図２Ａに示す点像分布フィルタＦ２１が畳み込まれる撮像画像Ｐ２１を示す。図２Ｂに示す撮像画像Ｐ２１のサイズは、点像分布の拡がりの範囲のサイズである、図２Ａに示す点像分布フィルタＦ２１のサイズは、点像分布の拡がりの範囲に基づいて定められて、図２Ｂに示す撮像画像Ｐ２１のサイズと同じである。例えば、明るさを示す指標として用いられるＦ値が２．０であり、総合波面収差のＲＭＳ（Root Mean Square）値が２００ｍλ（λ≒０．５５μｍ）であるレンズが採用される場合には、３０μｍ×３０μｍサイズの点像分布フィルタが用いられる。なお、総合波面収差のＲＭＳ値は、レンズを通過した実際の波面と理想波面のずれ量として収差の大きさを評価する指標である。

【0021】

図３は、本実施形態に係る画像処理装置１０における点像分布フィルタの例２を示す図である。図３Ａは、７×７サイズの画像に対する点像分布フィルタＦ３１を示す。図３Ｂは、図３Ａに示す点像分布フィルタＦ３１を間引いて生成された点像分布フィルタＦ３２を示す。図３に示すＭ_ｉは、各画素に割り当てられる点像分布フィルタである。図３Ａに示す例では、ｉは、１～４９の数字である。なお、車載カメラでは、全ての画素分の点像分布フィルタを記憶する容量を確保できない場合、点像分布フィルタ記憶部１０４ａにおいて、点像分布フィルタを、記憶容量を超えない程度に間引いて記憶する。例えば、図３Ａに示す７×７サイズの点像分布フィルタＦ３１から所定数の画素を間引いて、図３Ｂに示す点像分布フィルタＦ３２を点像分布フィルタ記憶部１０４ａに記憶する。なお、左右撮像部の点像分布フィルタの測定について、後述の図１３に示す製造プロセスにおいて説明する。

【0022】

ここで、画像補間部１０７の後述する、カラーフィルタアレイによって欠落した色成分を補間するデモザイキングの処理前のＲＡＷ画像に対してフィルタリング処理、すなわち、点像分布フィルタの畳み込み処理を行うため、デモザイキングパターンを考慮してフィルタリングを行う必要がある。このため、予めデモザイキングパターンとの位置関係で、各画素に複数種の点像分布フィルタを用意する。

【0023】

画像補正部１０４の点像分布フィルタ補間部１０４ｂは、例えば、点像分布フィルタ記憶部１０４ａの記憶容量の削減のため、点像分布フィルタが間引かれた場合に、点像分布フィルタの読み出し時に間引かれた画素を補間して点像分布フィルタを復元する。具体的には、例えば、点像分布フィルタ補間部１０４ｂは、図３Ｂに示す点像分布フィルタが対応していない画素に対して、線形補間などの補間処理を用いて、図３Ａに示す点像分布フィルタの状態に復元する。なお、点像分布フィルタが間引かれた場合、撮影画像の全面に対する画像補正処理の精度が若干低下するが、光軸付近にしか写らない遠方の立体物、例えば、前方車両のテールライトに対する画像補正処理の精度は低下しない。また、点像分布フィルタ記憶部１０４ａの記憶容量を確保でき、点像分布フィルタを間引く処理を行わない場合、画像補正部１０４が点像分布フィルタ補間部１０４ｂを備えなくてもよい。

【0024】

画像補正部１０４の点像分布フィルタ畳み込み部１０４ｃは、画像Ｐ１及び画像Ｐ２に対して、点像分布フィルタ記憶部１０４ａに記憶された点像分布フィルタを施す画像補正処理を行う。画像補正部１０４は、画像補正処理を実空間での畳み込み演算により実施する。ここで、実空間とは、画像上における二次元の座標で表す空間である。以下では、画像補正部１０４における画像補正処理を、「点像分布フィルタの実空間畳み込み処理」とも称する。

【0025】

画像補正部１０４の点像分布フィルタ畳み込み部１０４ｃは、第１撮像部（左撮像部１０１）の撮像画像である画像Ｐ１に、第２撮像部（右撮像部１０２）から生成された第２点像分布フィルタを施す画像補正処理を行う。また、画像補正部１０４の点像分布フィルタ畳み込み部１０４ｃは、第２撮像部（右撮像部１０２）の撮像画像である画像Ｐ２に、第１撮像部（左撮像部１０１）から生成された第１点像分布フィルタを施す画像補正処理を行う。具体的には、例えば、図２Ｂに示す撮像画像Ｐ２１に、図２Ａに示す点像分布フィルタＦ２１を実区間で畳み込む場合、実空間畳み込み処理の出力結果は、下記式（１）により算出される。また、点像分布フィルタ畳み込み部１０４ｃは、畳み込み処理後の画像Ｐ１及び画像Ｐ２を輝度階調変換部１０５に出力する。

【0026】

【数1】

【0027】

式（１）のａは、図２Ａに示す点像分布フィルタＦ２１である。ｂは、図２Ｂに示す撮像画像Ｐ２１の画素である。ｉは、図２Ｂに示す撮像画像Ｐ２１の画素に対応する識別子である。

【0028】

実空間畳み込み処理は、単純な加減乗除の計算で実現可能であるため、計算コストが低いというメリットがある。一方、実空間畳み込み処理に対して、周波数空間畳み込み処理が存在する。周波数空間とは、画像をフーリエ変換し、二次元の周波数成分で表す空間である。周波数空間畳み込み処理は、画像及び点像分布フィルタに対し、フーリエ変換を行い、フーリエ変換後の画像と点像分布フィルタを乗算し、逆フーリエ変換する処理である。しかし、フーリエ変換の計算コストが高いので、車載カメラの処理系に実装することは容易ではない。なお、本発明は、実空間畳み込み処理に限定されず、実空間畳み込み処理を周波数空間畳み込み処理で代替することが可能である。

【0029】

輝度階調変換部１０５は、実空間畳み込み処理後の画像Ｐ１及び画像Ｐ２に対して、輝度値の階調を変換する輝度階調変換を行う。輝度階調変換は、所定の輝度階調変換曲線に従って行われる。ここで、所定の輝度階調変換曲線として、例えば、図４に示すガンマ曲線が利用される。図４は、本実施形態に係る画像処理装置１０において利用される輝度階調変換特性を示す図である。図４の横軸は入力輝度階調を表し、縦軸は出力輝度階調を表す。輝度階調変換部１０５は、図４に示す輝度階調変換曲線を陽関数で表現し、それに従い、画像Ｐ１及び画像Ｐ２の輝度階調を変換する。なお、本発明はこれに限定されず、例えば、輝度階調変換部１０５は、輝度階調変換曲線に従って、入力値と出力値とが紐づけられた輝度階調変換テーブルに基づいて、画像Ｐ１及び画像Ｐ２の輝度階調を変換してもよい。輝度階調変換部１０５は、輝度階調変換後の画像Ｐ１及び画像Ｐ２を歪補正及び平行化部１０６に出力する。

【0030】

歪補正及び平行化部１０６は、輝度階調変換後の画像Ｐ１及び画像Ｐ２に対して、レンズ歪の補正、及び、視差探索方向に垂直する方向のずれを揃える平行化処理を行う。レンズ歪の補正とは、例えば、魚眼レンズの射影方式のｆｓｉｎθを、（ｆｔａｎθｘ、ｆｔａｎθｙ）の座標系へ射影変換する処理である。ここで、ｆは魚眼レンズの焦点距離、θは魚眼レンズに入射する画角、θｘ及びθｙは魚眼レンズに入射する画角の水平及び垂直成分を表す。また、平行化処理は、例えば、視差探索方向を水平方向とする場合、水平方向に垂直する鉛直方向のずれを揃える処理である。歪補正及び平行化部１０６は、歪補正及び平行化処理後の画像Ｐ１及び画像Ｐ２を画像補間部１０７に出力する。

【0031】

画像補間部１０７は、歪補正及び平行化処理後の画像Ｐ１及び画像Ｐ２に対して、デモザイキング処理を行う。デモザイキング処理とは、例えば、ベイヤー画像を、カラー画像又はグレースケール画像に変換する処理等である。また、画像補間部１０７は、デモザイキング処理後の画像Ｐ１及び画像Ｐ２を視差画像生成部１０８に出力する。

【0032】

視差画像生成部１０８は、視差演算部の一例であり、画像補正部１０４による画像補正処理が行われた、第１撮像部の撮像画像（画像Ｐ１）及び第２撮像部の撮像画像（画像Ｐ２）を用いて、視差を演算して視差画像を生成する。ここで、視差画像生成部１０８は、画像補間部１０７から入力した画像Ｐ１及び画像Ｐ２に対して、ステレオマッチング処理を行って視差を演算する。画像補間部１０７から入力した画像Ｐ１及び画像Ｐ２は、すなわち、画像補正部１０４による画像補正処理後、並びに、輝度階調変換部１０５、歪補正及び平行化部１０６、及び画像補間部１０７による各種処理後の画像Ｐ１及び画像Ｐ２である。また、ステレオマッチング処理とは、画像Ｐ２の注目画素に対して、その画素を中心とした特定範囲の領域に対応する画像Ｐ１内の同じ面積の領域を、領域同士の類似度が最も高い箇所を探索する処理である。マッチング手法としては、例えば、ＳＡＤ（Sum of Absolute Difference）やＳＳＤ（Sum of Squared Difference）などを用いる。本実施形態では、視差画像生成部１０８は、画像Ｐ２と画像Ｐ１との対応画素の水平方向の差分を当該画素の視差とし、画像Ｐ２のすべての画素に対して視差を演算して視差画像を生成する。視差画像生成部１０８は、生成した視差画像を立体物認識部１０９に出力する。

【0033】

立体物認識部１０９は、視差画像を利用して立体物を検知し、画像識別により立体物の種別（例えば、歩行者・自転車・自動車・バイク・光点など）を識別し、識別した立体物を含む所定領域の画像を立体物の画像として認識する。また、立体物認識部１０９は、認識した立体物に対して測距を行う。立体物認識部１０９は、認識した立体物の画像及び当該立体物の種別、測定した距離に関する情報を車両制御部１１０に出力する。

【0034】

車両制御部１１０は、立体物認識部１０９により認識された立体物の画像及び当該立体物の種別、距離に関する情報、車両の走行速度等に基づいて、緊急ブレーキや先行者追従などのために、自車両の加減速、操舵等の車両制御を実施する。

【0035】

［画像補正部における画像補正処理］
次に、画像処理装置１０の画像補正部１０４における画像補正処理の内容について説明する。ここで、まず、点像分布について説明する。点像分布とは、点光源がレンズを通過して結像したときの強度分布である。点光源は、理想的なレンズを通過した場合に１点に結像するが、実際のレンズによる回折やレンズの収差などの影響により、有限の領域に広がる。以下では、点光源が理想的なレンズを介して撮像された画像、すなわち、１点に結像した理想的な点像分布が畳み込まれた撮像画像を「原画像」と称する。また、点光源が収差の存在する実際のレンズを介して撮像された画像、すなわち、有限の領域に広がって結像した点像分布が畳み込まれた撮像画像を「実画像」と称する。

【0036】

図５は、点像分布を説明するための図である。図５Ａは、点光源の結像を説明するための図である。図５Ｂは、理想的な場合の点光源の点像分布を示す図である。図５Ｃは、実際の場合の点光源の点像分布を示す図である。図５Ａに示すように、点光源Ｌ５１から出た光が、レンズＬを通過して結像面Ｌ５２に結像する。理想的な場合に、点光源Ｌ５１の点像分布は、図５Ｂに示ように、１点に結像した理想的な点像分布Ｌ５３となる。しかし、実際のレンズによる回折やレンズの収差などの影響により、点光源Ｌ５１の点像分布は、図５Ｃに示ように、非対称な広がりを持って結像した点像分布Ｌ５４となる。

【0037】

ここで、画像処理装置１０における点像分布を具体的に説明する。理想的な場合には、図１に示す左撮像部１０１及び右撮像部１０２は、理想的なレンズ（無収差のレンズ）を有する。このため、左撮像部１０１及び右撮像部１０２がそれぞれ撮像した画像Ｐ１と画像Ｐ２は、理想的な点像分布が畳み込まれた原画像であり、輝度分布も同じである。

【0038】

しかし、実際の場合には、左撮像部１０１及び右撮像部１０２は、収差のあるレンズを備える。このため、左撮像部１０１及び右撮像部１０２がそれぞれ撮像した画像Ｐ１と画像Ｐ２は、非対称な広がりを持って結像した点像分布が畳み込まれた画像である。また、左撮像部１０１と右撮像部１０２とのレンズは、収差の個体差が存在するため、それぞれに介して結像された点像分布が異なる。それゆえ、画像Ｐ１と画像Ｐ２とは、異なる点像分布が畳み込まれた異なる実画像であり、輝度分布も異なる。

【0039】

以下では、左撮像部１０１及び右撮像部１０２が、前方車両のテールライトを撮像する例を説明する。図６は、本実施形態に係る画像処理装置１０の左右撮像部の理想的なレンズを介して撮像されたテールライトの画像の模式図Ｐ６０である。模式図Ｐ６０では、前方車両の左右テールライトの撮像画像の輝度分布を等高線で示されており、等高線の外側から内側に向けて輝度が高くなる。なお、以降のテールライトの模式図も同様に等高線で示される。

【0040】

画像Ｐ６１は、左側のテールライトの画像の模式図であり、画像Ｐ６２は、右側のテールライトの画像の模式図である。左撮像部１０１及び右撮像部１０２のレンズが無収差であるため、左右撮像部が撮像したテールライトの画像は、差別のないテールライトの原画像であるので、図６に示すように、画像Ｐ６１と画像Ｐ６２とは同じである。

【0041】

図７は、本実施形態に係る画像処理装置１０の左右撮像部の実際のレンズを介して撮像されたテールライトの画像の模式図である。図７Ａは、左撮像部１０１が撮像した前方車両のテールライトの画像の模式図Ｐ７１を示す。図７Ｂは、右撮像部１０２が撮像した前方車両のテールライトの画像の模式図Ｐ７２を示す。図７Ａに示す画像Ｐ７３及び画像Ｐ７４は、それぞれ、左撮像部１０１が撮像した左側のテールライトの画像及び右側のテールライトの画像の模式図である。図７Ｂに示す画像Ｐ７５及び画像Ｐ７６は、それぞれ、右撮像部１０２が撮像した左側のテールライトの画像及び右側のテールライトの画像の模式図である。図７Ａと図７Ｂとを比較して分かるように、左撮像部１０１が撮像した画像の模式図Ｐ７１と、右撮像部１０２が撮像した画像の模式図Ｐ７２とは、異なる画像である。これは、左撮像部１０１及び右撮像部１０２のレンズに収差の個体差が存在するためである。左撮像部１０１及び右撮像部１０２のレンズの収差の個体差により、模式図Ｐ７１及び模式図Ｐ７２は、それぞれ異なる点像分布が畳み込まれた実画像であり、模式図Ｐ７１と模式図Ｐ７２との輝度分布も異なる。

【0042】

図８は、本実施形態に係る画像処理装置１０の左右撮像部の撮像画像の輝度分布を説明するための図である。図８には、図７に示す、左撮像部１０１が撮像した左側テールライトの画像Ｐ７３、及び、右撮像部１０２が撮像した左側テールライトの画像Ｐ７５のそれぞれの水平位置に対応する輝度分布が示されている。図８Ａは、画像Ｐ７３の水平位置に対応する輝度分布Ｐ８１を示す。図８Ｂは、画像Ｐ７５の水平位置に対応する輝度分布Ｐ８２を示す。図８に示すように、画像Ｐ７３の輝度分布Ｐ８１と、画像Ｐ７５の輝度分布Ｐ８２とは、左撮像部１０１及び右撮像部１０２のレンズの収差の個体差の影響により異なっている。このレンズの収差の個体差は、ステレオマッチング処理において視差を求める際に誤差を生じる。レンズの収差の個体差による視差誤差は、左右撮像部が水平方向に平行して設置される場合、概ね点像分布の重心の水平位置の左右差となる。

【0043】

図９は、本実施形態に係る画像処理装置１０の左右撮像部のレンズの収差の個体差がもたらす視差誤差を示す図である。図９に示す視差誤差は、図６に示す画像Ｐ６０（原画像）に対して、左右撮像部のレンズの収差をゼルニケ多項式の１５次（フリンジオーダー）までの係数の値をランダムに与えてステレオマッチングを行い、視差誤差を算出するシミュレーションを１００ケース程行った結果である。図９に示す画像Ｐ９０の横軸は、左右撮像部のレンズのそれぞれを介して結像された点像分布の重心位置が水平方向における位置差（左右差）を表し、縦軸は、シミュレーションにより算出された視差誤差を表す。位置差及び視差誤差の単位はピクセル（ｐｉｘ）である。図９に示すように、視差誤差が点像分布重心位置の左右差に対する変化特性はほぼ線形である。

【0044】

上述した左右撮像部のレンズの収差の個体差がもたらす視差誤差をなくすため、画像処理装置１０の画像補正部１０４は、画像Ｐ１に右撮像部１０２の点像分布（点像分布フィルタ）を畳み込み、画像Ｐ２に左撮像部１０１の点像分布（点像分布フィルタ）を畳み込む。点像分布フィルタの畳み込み処理後の画像Ｐ１及び画像Ｐ２の点像分布特性は同じになる。

【0045】

画像処理装置１０の画像補正部１０４により点像分布フィルタの実空間畳み込み処理後すなわち、画像補正処理後のテールライトの画像は、図１０に示されている。図１０は、本実施形態に係る画像処理装置１０における、画像補正後のテールライトの画像の模式図である。図１０Ａは、画像補正後の左撮像部１０１が撮像したテールライトの画像の模式図Ｐ１０１を示す。図１０Ｂは、画像補正後の右撮像部１０２が撮像したテールライトの画像の模式図Ｐ１０２を示す。

【0046】

図１０Ａに示す画像Ｐ１０３及び画像Ｐ１０４は、それぞれ、左撮像部１０１が撮像した左側のテールライトの画像及び右側のテールライトの画像の模式図である。図１０Ｂに示す画像Ｐ１０５及び画像Ｐ１０６は、それぞれ、右撮像部１０２が撮像した左側のテールライトの画像及び右側のテールライトの画像の模式図である。図１０Ａと図１０Ｂとを比較して分かるように、画像補正後の左右撮像部の撮像画像の模式図が同じであり、左右撮像部のレンズの収差の個体差がもたらす視差誤差がなくなった。

【0047】

図１０に示す補正後の左右撮像部の撮像画像の視差誤差は、図１１に示されている。図１１は、本実施形態に係る画像処理装置１０における、画像補正後の左右撮像部の撮像画像の視差誤差を示す図である。図１１に示すように、画像補正後の左右撮像部の撮像画像の視差誤差は、０付近（－０．２ピクセル～＋０．２ピクセルの範囲内）に抑えられている。

【0048】

［画像処理装置１０における処理］
次に、画像処理装置１０における処理の手順について説明する。図１２は、本実施形態に係る画像処理装置１０における処理の手順を示すフローチャートである。以下に説明する処理は、ステレオカメラが撮像すると開始する。

【0049】

まず、ステレオカメラの左撮像部１０１及び右撮像部１０２は、それぞれ、立体物を撮像し、撮像した画像Ｐ１及び画像Ｐ２を画像前処理部１０３に出力する（ステップＳ２１）。

【0050】

次いで、画像前処理部１０３は、左撮像部１０１が撮像した画像Ｐ１、及び、右撮像部１０２が撮像した画像Ｐ２の輝度のゲイン調整し、画像Ｐ１及び画像Ｐ２のそれぞれの輝度のむらを補正するシェーディング補正を行う（ステップＳ２２）。また、画像前処理部１０３は、シェーディング補正後の画像Ｐ１及び画像Ｐ２を画像補正部１０４に出力する。

【0051】

次いで、画像補正部１０４の点像分布フィルタ畳み込み部１０４ｃは、画像前処理部１０３によるシェーディング補正後の画像Ｐ１及び画像Ｐ２に対して、点像分布フィルタの実空間畳み込み処理後を行う（ステップＳ２３）。この処理では、点像分布フィルタ畳み込み部１０４ｃは、点像分布フィルタ記憶部１０４ａから、点像分布フィルタを読み込む。また、点像分布フィルタ畳み込み部１０４ｃは、画像Ｐ１に右撮像部１０２から生成された第２点像分布フィルタを実空間で畳み込み、画像Ｐ２に左撮像部１０１から生成された第２点像分布フィルタを実空間で畳み込む。また、この処理では、点像分布フィルタ記憶部１０４ａの記憶容量の削減のため、点像分布フィルタが間引かれた場合に、点像分布フィルタ補間部１０４ｂは、間引かれた点像分布フィルタを復元する（図３を参照）。また、点像分布フィルタ畳み込み部１０４ｃは、実空間畳み込み処理後の画像Ｐ１及び画像Ｐ２を輝度階調変換部１０５に出力する。

【0052】

次いで、輝度階調変換部１０５は、実空間畳み込み処理後の画像Ｐ１及び画像Ｐ２に対して、輝度階調変換を行う（ステップＳ２４）。また、輝度階調変換部１０５は、輝度階調変換後の画像Ｐ１及び画像Ｐ２を歪補正及び平行化部１０６に出力する。

【0053】

次いで、歪補正及び平行化部１０６は、輝度階調変換後の画像Ｐ１及び画像Ｐ２に対して、レンズの歪補正、及び、視差探索方向に垂直な方向のずれを揃える平行化処理を行う（ステップＳ２５）。また、歪補正及び平行化部１０６は、歪補正及び平行化処理後の画像Ｐ１及び画像Ｐ２を画像補間部１０７に出力する。

【0054】

次いで、画像補間部１０７は、歪補正及び平行化処理後の画像Ｐ１及び画像Ｐ２に対して、画像補間処理の一例としてデモザイキング処理を行う（ステップＳ２６）。また、画像補間部１０７は、デモザイキング処理後の画像Ｐ１及び画像Ｐ２を視差画像生成部１０８に出力する。

【0055】

次いで、視差画像生成部１０８は、デモザイキング処理後の画像Ｐ１及び画像Ｐ２に対して、ステレオマッチング処理を行い、視差画像を生成する（ステップＳ２７）。また、視差画像生成部１０８は、生成した視差画像を立体物認識部１０９に出力する。

【0056】

次いで、立体物認識部１０９は、視差画像を利用して立体物の検知及び測距を行い、画像識別により立体物の種別を識別し、識別した立体物を含む所定領域の画像を立体物の画像として認識する。（ステップＳ２８）。また、立体物認識部１０９は、認識した立体物の画像及び当該立体物の種別、距離に関する情報を車両制御部１１０に出力する。

【0057】

次いで、車両制御部１１０は、立体物認識部１０９により認識された立体物の画像及び当該立体物の種別、距離、車両の走行速度に基づいて、緊急ブレーキや先行者追従などのために、自車両の加減速、操舵等の車両制御を実施する（ステップＳ２９）。ステップＳ２９の処理後、画像処理装置１０における処理は終了する。

【0058】

［画像処理装置の製造プロセス］
次に、画像処理装置１０の製造プロセスにおける点像分布フィルタの測定について説明する。図１３は、本実施形態に係る画像処理装置１０の製造プロセスを示すフローチャートである。以下に説明するプロセスは、画像処理装置１０を製造する際に作業員が、点像分布フィルタの記憶を完成するまでの流れである。

【0059】

まず、作業員は、ステレオカメラのレンズモジュールを組み立てる（ステップＳ３１）。

【0060】

次いで、作業員は、レンズモジュールを用いて、ステレオカメラを組み立てる（ステップＳ３２）。

【0061】

次いで、作業員は、ステレオカメラの組付けや、撮像センサの不具合などの基礎検査を行う（ステップＳ３３）。

【0062】

次いで、作業員は、ステレオカメラの左撮像部１０１及び右撮像部１０２のそれぞれの点像分布を測定する（ステップＳ３４）。点像分布の測定方法としては、例えば、撮像センサの分解能より小さくなるように点光源を撮像することで測定する方法等が用いられる。

【0063】

次いで、作業員は、測定した左撮像部１０１及び右撮像部１０２のそれぞれの点像分布を、点像分布フィルタとして画像補正部１０４の点像分布フィルタ記憶部１０４ａに記憶する（ステップＳ３５）。ステップＳ３５の処理後、点像分布の記録が完了する。

【0064】

［画像処理装置１０のハードウェア構成例］
次に、本実施形態に係る画像処理装置１０のハードウェア構成について説明する。図１４は、本実施形態に係る画像処理装置１０のハードウェア構成例を示すブロック図である。画像処理装置１０は、図１４に示すように、図１で説明した各種構成部だけでなく、ＣＰＵ（Central Processing Unit）１２１と、ＲＯＭ（Read Only Memory）１２２と、ＲＡＭ（Random Access Memory）１２３と、記憶装置１２４と、入出力インターフェース１２５と、バス１２６とを備える。バス１２６は、各構成部間を電気的に接続して、各構成部間における情報データの入出力が行われる信号経路である。

【0065】

ＣＰＵ１２１は、画像処理装置１０内の各部の動作を制御する。例えば、ＣＰＵ１２１は、画像前処理部１０３、画像補正部１０４、及び輝度階調変換部１０５のそれぞれにおける処理を制御する。また、ＣＰＵ１２１は、歪補正及び平行化部１０６、画像補間部１０７、視差画像生成部１０８、立体物認識部１０９、及び車両制御部１１０のそれぞれにおける処理を制御する。なお、ＣＰＵ１２１に代えてＧＰＵ（Graphics Processing Unit）を用いてもよく、ＣＰＵ１２１とＧＰＵ（Graphics Processing Unit）を併用してもよい。

【0066】

ＲＯＭ１２２は、例えば不揮発性メモリ等の記憶媒体で構成され、ＣＰＵ１２１が実行及び参照するプログラムやデータ等を記憶する。

【0067】

ＲＡＭ１２３は、例えば揮発性メモリ等の記憶媒体で構成され、ＣＰＵ１２１が行う各処理に必要な情報（データ）を一時的に記憶する。

【0068】

記憶装置１２４は、ＣＰＵ１２１によって実行されるプログラムを格納したコンピューター読取可能な非一過性の記録媒体で構成され、例えばＨＤＤ（Hard Disk Drive）等の記憶装置で構成される。記憶装置１２４は、ＣＰＵ１２１が各部を制御するためのプログラム、ＯＳ（Operating System）、コントローラー等のプログラム、データを記憶する。なお、記憶装置１２４に記憶されるプログラム、データの一部は、ＲＯＭ１２２に記憶されてもよい。また、ＣＰＵ１２１によって実行されるプログラムを格納したコンピューター読取可能な非一過性の記録媒体は、ＨＤＤに限定されず、例えば、ＳＳＤ（Solid State Drive）、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ等の記録媒体であってもよい。

【0069】

入出力インターフェース１２５は、ＣＰＵ１２１の制御により、画像処理装置１０の外部との情報データの送受信を行う。

【0070】

［効果］
上述したように、本実施形態に係る画像処理装置１０では、測定された左撮像部１０１及び右撮像部１０２のそれぞれの点像分布が点像分布フィルタとして記憶される。画像処理装置１０の画像補正部１０４は、左撮像部１０１の撮像画像に、測定された右撮像部１０２の点像分布を実空間で畳み込む。また、画像補正部１０４は、右撮像部１０２の撮像画像に、測定された左撮像部１０１の点像分布を実空間で畳み込む。このため、実空間畳み込み処理後の左右撮像部の撮像画像の点像分布が同じになる。すなわち、画像補正部１０４は、デコンボリューション処理を行わず、左右撮像部の撮像画像の点像分布を同一化することができる。それゆえ、本実施形態に係る画像処理装置１０は、デコンボリューション処理におけるゼロ除算による値の発散を避けて、ステレオカメラの左右撮像部のレンズの収差の個体差がもたらす測距誤差を低減し、測距精度を向上することができる。

【0071】

＜第２実施形態＞
ここから、本発明の第２実施形態に係る画像処理装置２０について説明する。

【0072】

［画像処理装置２０の構成例］
図１５は、本実施形態に係る画像処理装置２０の構成例を示すブロック図である。図１５と図１を比較して分かるように、画像処理装置２０において、輝度階調変換部１０５が配置されず、左ＨＤＲ撮像部２０１、右ＨＤＲ撮像部２０２及び画像補正部２０４以外の各構成部は、図１に示す第１実施形態に係る画像処理装置１０の各構成部と同じである。また、画像処理装置２０は、図１４に示す画像処理装置１０のハードウェア構成と同じハードウェア構成を有する。なお、ここで、画像処理装置２０と画像処理装置１０との重複する構成部の説明を省略する。

【0073】

画像処理装置２０の左ＨＤＲ撮像部２０１（第１撮像部の一例）及び右ＨＤＲ撮像部２０２（第２撮像部の一例）は、レンズと、ハイダイナミックレンジ（ＨＤＲ：High Dynamic Range）に対応した画像センサとを備えた単眼カメラである。第１撮像部（左ＨＤＲ撮像部２０１）及び第２撮像部（右ＨＤＲ撮像部２０２）は、画像センサから出力される画像の輝度階調を予め圧縮しておくために、画像の輝度階調変換機能を有する。左ＨＤＲ撮像部２０１及び右ＨＤＲ撮像部２０２が画像の輝度階調変換機能を備えているため、画像処理装置２０には、別の輝度階調変換部、すなわち、図１に示す輝度階調変換部１０５が設けられていない。また、左ＨＤＲ撮像部２０１及び右ＨＤＲ撮像部２０２は、それぞれの撮像画像に対して輝度階調変換を行い、輝度階調変換後の画像Ｐ１及び画像Ｐ２を出力する。それゆえ、画像処理装置２０では、図１に示す画像処理装置１０の画像補正部１０４における画像補正処理と異なり、画像補正部２０４は、輝度階調変換後の画像Ｐ１及び画像Ｐ２に対して画像補正処理を行う。以下では、左ＨＤＲ撮像部２０１及び右ＨＤＲ撮像部２０２を区別しない場合、左ＨＤＲ撮像部２０１及び右ＨＤＲ撮像部２０２を「左右ＨＤＲ撮像部」と総称する。

【0074】

なお、本実施形態では、撮像画像の輝度値が左右ＨＤＲ撮像部に入力された光の強度に対する変化特性は線形であること前提としている。これは、輝度階調変換により、画像の輝度値と左右ＨＤＲ撮像部の入射光の強度との線形成が崩れれば、点像分布フィルタの畳み込み処理では、適切な処理を行うことができないためである。

【0075】

画像補正部２０４は、図１５に示すように、点像分布フィルタ記憶部１０４ａと、点像分布フィルタ補間部１０４ｂと、点像分布フィルタ畳み込み部２０４ｃとを備える。すなわち、画像補正部２０４と、図１に示す画像補正部１０４との違いは、点像分布フィルタ畳み込み部２０４ｃである。

【0076】

点像分布フィルタ畳み込み部２０４ｃは、画像前処理部１０３から出力された画像Ｐ１及び画像Ｐ２の各画素の輝度値に対して輝度階調変換の逆変換（以下では、「輝度階調逆変換」と称する）を行う。また、点像分布フィルタ畳み込み部２０４ｃは、輝度階調逆変換後の画像Ｐ１及び画像Ｐ２に対して点像分布フィルタの実空間畳み込み処理を行い、その後、輝度階調変換処理を行う。

【0077】

具体的には、例えば、左右ＨＤＲ撮像部における輝度階調変換をＴ（・）とし、輝度階調逆変換をＴ^―１（・）とし、図２Ｂに示す撮像画像Ｐ２１に、図２Ａに示す点像分布フィルタＦ２１を実区間で畳み込む場合、実空間畳み込み処理の出力結果は、下記式（２）により算出される。

【0078】

【数2】

【0079】

式（２）のａは、図２Ａに示す点像分布フィルタである。ｂは、図２Ｂに示す撮像画像の画素である。ｉは、図２Ｂに示す撮像画像の画素に対応する識別子である。

【0080】

［画像処理装置２０における処理］
次に、画像処理装置２０における処理について説明する。図１６は、本実施形態に係る画像処理装置２０における処理の手順を示すフローチャートである。図１６と図１２とを比較して分かるように、図１６に示す画像処理装置２０における処理では、ステップＳ４１及びステップＳ４２以外の各ステップの処理は、図１２に示す各ステップの処理と同じである。このため、図１６と図１２との重複するステップの処理の説明を省略する。

【0081】

ステップＳ４１の処理では、左ＨＤＲ撮像部２０１及び右ＨＤＲ撮像部２０２（図中では「ＨＤＲステレオカメラ」と記載）は、それぞれ、レンズを介して立体物を撮像し、画像センサで撮像画像に対して輝度階調変換を行う。左ＨＤＲ撮像部２０１及び右ＨＤＲ撮像部２０２は、輝度階調変換後の撮像画像である画像Ｐ１及び画像Ｐ２を画像前処理部１０３に出力する。

【0082】

ステップＳ４２の処理では、画像補正部２０４の点像分布フィルタ畳み込み部２０４ｃは、画像前処理部１０３から出力された画像Ｐ１及び画像Ｐ２の各画素の輝度値に対して輝度階調逆変換を行う。また、点像分布フィルタ畳み込み部２０４ｃは、輝度階調逆変換後の画像Ｐ１及び画像Ｐ２に対して点像分布フィルタの実空間畳み込み処理を行い、その後、輝度階調変換処理を行う。

【0083】

なお、画像補正部２０４における点像分布フィルタの実空間畳み込み処理で利用される点像分布フィルタは、図１に示す画像補正部１０４で利用される点像分布フィルタと同じである。

【0084】

［効果］
上述したように、本実施形態に係る画像処理装置２０は、ＨＤＲに対応した左ＨＤＲ撮像部２０１及び右ＨＤＲ撮像部２０２を備えるので、明所と暗所が同時に含まれる画像であっても、白飛び又は黒つぶれすることなく、正しく視差画像を生成して立体物を認識することができる。また、本実施形態に係る画像処理装置２０は、第１実施形態に係る画像処理装置１０と同じ効果を得ることができる。

【0085】

＜第３実施形態＞
ここから、本発明の第３実施形態に係る画像処理装置３０について説明する。

【0086】

［画像処理装置３０の構成例］
図１７は、本実施形態に係る画像処理装置３０の構成例を示すブロック図である。図１７と図１を比較して分かるように、画像処理装置３０において、画像補正部１０４が設けられていない。その代わり、画像処理装置３０では、画像補正部１０４の機能を立体物認識部５０１が担っている。また、画像処理装置３０は、図１４に示す画像処理装置１０のハードウェア構成と同じハードウェア構成を有する。なお、ここで、画像処理装置３０と画像処理装置１０との重複する構成部の説明を省略する。

【0087】

立体物認識部５０１は、視差画像生成部１０８から入力した、視差画像を利用して立体物を検知し、画像識別により立体物の種別を識別する。また、立体物認識部５０１は、立体物が遠方の光点等、左右撮像部のレンズの収差の個体差の影響を受けやすいものであると判定した場合、当該立体物に対して、画像補正処理を行い、画像補正処理後に立体物の測距を行う。一方、立体物認識部５０１は、立体物が歩行者等、左右撮像部のレンズの収差の個体差の影響を受けやすいものでないと判定した場合、画像補正処理を行わずに立体物の測距を行う。具体的には、図１８を用いて説明する。

【0088】

図１８は、本実施形態に係る画像処理装置３０の立体物認識部５０１の構成例を示すブロック図である。立体物認識部５０１は、図１８に示すように、立体物検知部６０１と、立体物識別部６０２と、立体物画像補正部６０３と、立体物測距部６０４とを有する。立体物検知部６０１、立体物識別部６０２、立体物画像補正部６０３、及び立体物測距部６０４は、この順で接続される。また、立体物識別部６０２は、立体物測距部６０４にも接続される。

【0089】

立体物検知部６０１は、視差画像を用いて、視差値の分布から物体の塊と考えられるクラスタを抽出して立体物として検知する。ここで、立体物検知部６０１が図１９に示す撮像画像から立体物を検知する処理例を説明する。図１９は、本実施形態に係る画像処理装置３０の立体物検知部６０１における立体物検知処理を説明するための図である。図１９Ａは、ステレオカメラの撮像画像の一例である画像Ｐ１８１を示す。図１９Ｂは、立体物検知部６０１が図１９Ａに示す画像Ｐ１８１に対する立体物検知処理後の画像Ｐ１８２を示す。図１９Ａの示す画像Ｐ１８１には、車Ｃ１０及び歩行者Ｃ２０が写っている。立体物検知部６０１は、画像Ｐ１８１から立体物を含む所定領域の画像、すなわち、図１９Ｂに示す、画像領域Ｃ１１及び画像領域Ｃ２１を立体物の画像として抽出する。図１９Ｂに示すように、画像領域Ｃ１１は、車Ｃ１０を含む矩形の所定領域であり、画像領域Ｃ２１は、歩行者Ｃ２０を含む矩形の所定領域である。

【0090】

立体物識別部６０２は、立体物検知部６０１により検知された立体物の種別、例えば、歩行者・自転車・自動車・バイク・光点（自動車やバイクのテールライトなど）等を識別する。具体的には、立体物識別部６０２は、例えば、図１９Ｂに示す画像領域Ｃ１１及び画像領域Ｃ２１に含まれる立体物の種類が、それぞれ車及び歩行者であると識別する。

【0091】

立体物画像補正部６０３は、画像補正部の一例であり、図１８に示すように、点像分布フィルタ記憶部１０４ａと、点像分布フィルタ補間部１０４ｂと、点像分布フィルタ畳み込み部６０３ｃとを有する。画像補正部（立体物画像補正部６０３）は、立体物認識部５０１（立体物検知部６０１及び立体物識別部６０２）による立体物認識処理の後に、画像補正処理を行う。

【0092】

画像補正部（立体物画像補正部６０３）の点像分布フィルタ畳み込み部６０３ｃは、立体物認識部５０１により認識された立体物の画像に対して、画像補正処理を行うか否かを判定する。点像分布フィルタ畳み込み部６０３ｃは、立体物認識部５０１の立体物検知部６０１及び立体物識別部６０２により認識された立体物が左右撮像部のレンズの収差の個体差の影響を受けやすいものである場合、画像補正処理を行うと判定する。一方、立体物画像補正部６０３は、立体物認識部５０１の立体物検知部６０１及び立体物識別部６０２におり認識された立体物が左右撮像部のレンズの収差の個体差の影響を受けやすいものでない場合、画像補正処理を行わないと判定する。また、点像分布フィルタ畳み込み部６０３ｃは、画像補正処理を行うと判定した場合、画像補正処理を行うと判定した立体物の画像に対して画像補正処理を行う。

【0093】

具体的には、点像分布フィルタ畳み込み部６０３ｃは、立体物識別部６０２により識別された立体物から、補正すべきである立体物を選択する。例えば、左右撮像部のレンズの収差の個体差の影響を受けやすい車のテールライトの画像は補正すべきものである。また、点像分布フィルタ畳み込み部６０３ｃは、補正すべきである立体物を含む所定領域（「補正領域」とも称する）の画像に対して、点像分布フィルタの実空間畳み込み処理を行う。ここで、点像分布フィルタの実空間畳み込み処理の対象画像が、輝度階調変換、及び歪補正・平行化処理後の画像であるため、点像分布フィルタ畳み込み部６０３ｃは、輝度階調逆変換、逆歪補正及び逆平行化を行ってから点像分布フィルタの実空間畳み込み処理を行う。また、点像分布フィルタ畳み込み部６０３ｃは、点像分布フィルタの実空間畳み込み処理後、再度、輝度階調変換、歪補正及び平行化処理を行う。

【0094】

なお、立体物画像補正部６０３が有する点像分布フィルタ記憶部１０４ａ及び点像分布フィルタ補間部１０４ｂは、それぞれ、図１に示す点像分布フィルタ記憶部１０４ａ及び点像分布フィルタ補間部１０４ｂと同じであるため、重複説明を省略する。

【0095】

立体物測距部６０４は、立体物識別部６０２により識別された立体物、又は、立体物画像補正部６０３による画像補正処理後の立体物に対して測距を行う。立体物測距部６０４は、識別された立体物を含む所定領域ごとの視差を計算し、立体物ごとの奥行き距離を測定する。

【0096】

なお、本実施形態では、画像処理装置３０が輝度階調変換部１０５を備える構成例を説明したが、本発明はこれに限定されない。例えば、画像処理装置３０の左右撮像部がＨＤＲに対応した単眼カメラで構成される場合、画像処理装置３０は、輝度階調変換部１０５を備えない構成に変更可能である。

【0097】

［画像処理装置３０における処理の手順］
次に、画像処理装置３０における処理について説明する。図２０は、本実施形態に係る画像処理装置３０における処理の手順を示すフローチャートである。図２０と図１２とを比較して分かるように、図２０に示す画像処理装置３０における処理では、図１２に示すステップＳ２３の画像補正処理（実空間畳み込み処理）が、独立の処理ステップとして行われない。なお、画像処理装置３０における処理では、点像分布フィルタの実空間畳み込み処理がステップＳ７１の立体物認識処理に含まれている。ステップＳ７１以外の各ステップの処理は、図１２に示す各ステップの処理と同じであるため、重複説明を省略する。

【0098】

ステップＳ７１の処理内容は、図２１に示されている。図２１は、本実施形態に係る画像処理装置３０の立体物認識部５０１における立体物認識処理の手順を示すフローチャートである。以下に説明する処理は、図２０に示すステップＳ７１の処理において、サブルーチンとして呼び出される。

【0099】

まず、立体物認識部５０１の立体物検知部６０１は、視差画像を用いて、視差値の分布から物体の塊と考えられるクラスタを抽出して立体物として検知する（ステップＳ８１）。

【0100】

次いで、立体物識別部６０２は、立体物検知部６０１により検知された立体物の種別、例えば、歩行者・自転車・自動車・バイク・光点（自動車やバイクのテールライトなど）等を識別する（ステップＳ８２）。

【0101】

次いで、立体物画像補正部６０３の点像分布フィルタ畳み込み部６０３ｃは、立体物識別部６０２により識別された立体物に対して、画像補正処理を行うか否かを判定する（ステップＳ８３）。この処理において、点像分布フィルタ畳み込み部６０３ｃは、識別された立体物が左右撮像部のレンズの収差の個体差の影響を受けやすいものである場合、画像補正処理を行うと判定し、ステップＳ８３はＹＥＳ判定となる。また、立体物画像補正部６０３は、識別された立体物が左右撮像部のレンズの収差の個体差の影響を受けやすいものでない場合、画像補正処理を行わないと判定し、ステップＳ８３はＮＯ判定となる。

【0102】

ステップＳ８３の処理において、点像分布フィルタ畳み込み部６０３ｃは、画像補正処理を行わないと判定した場合（ステップＳ８３がＮＯ判定の場合）、後述のステップＳ８５の処理が行われる。

【0103】

一方、ステップＳ８３の処理において、点像分布フィルタ畳み込み部６０３ｃは、画像補正処理を行うと判定した場合（ステップＳ８３がＹＥＳ判定の場合）、画像補正処理を行うと判定した立体物を含む所定領域の画像に対して、点像分布フィルタの実空間畳み込み処理を行う（ステップＳ８４）。

【0104】

次いで、立体物測距部６０５は、立体物識別部６０２により識別された立体物、又は、立体物画像補正部６０３による画像補正処理後の立体物に対して測距を行う（ステップＳ８５）。ステップＳ８４の処理後、立体物認識部５０１における立体物認識処理は終了する。

【0105】

［効果］
上述したように、本実施形態に係る画像処理装置３０では、画像補正部が独立な構成部として設けられず、画像補正部の機能を有する画像補正部（立体物画像補正部６０３）が、立体物認識部５０１の内部に設けられている。立体物画像補正部６０３は、識別された立体物に対して、画像補正処理を行うか否かを判定し、画像補正処理を行うと判定した立体物を含む所定領域の画像に対して点像分布フィルタの畳み込み処理を行う。また、立体物画像補正部６０３は、画像補正処理を行わないと判定された立体物に対して点像分布フィルタの畳み込み処理を行わない。それゆえ、本実施形態に係る画像処理装置３０は、立体物の種類に応じて処理を切り替え、必要のない処理を実行しないことにより計算コストを削減することができる。また、本実施形態に係る画像処理装置３０は、第１実施形態に係る画像処理装置１０の効果と同じ効果を得ることができる。なお、計算リソースの容量が十分に確保できる場合、立体物画像補正部６０３は、認識された全ての立体物の画像に対して画像補正処理を行ってもよい。すなわち、画像補正部（立体物画像補正部６０３）は、計算リソースの容量に応じて、認識された全ての立体物の画像、または、画像補正処理を行うと判定した立体物の画像に対して画像補正処理を行うことが可能である。

【0106】

＜第４実施形態＞
ここから、本発明の第４実施形態に係る画像処理装置について説明する。本実施形態に係る画像処理装置は、第１実施形態～第３実施形態に係る画像処理装置１０～画像処理装置３０のいずれの構成と同じ構成を備える。本実施形態に係る画像処理装置と、画像処理装置１０～画像処理装置３０との違いは、本実施形態に係る画像処理装置は、第１撮像部と、第１撮像部よりレンズの収差による影響が大きい第２撮像部を備えることである。すなわち、ステレオカメラの左右撮像部のどちらか一方が他方に比べて、よりレンズの収差による影響が大きいである。例えば、左右撮像部の焦点距離が異なることで、左右撮像部により撮像された画像内で同一の物体が占める画素数が異なる場合がある。この場合、視差を計算するため、画素数の少ない方の撮像部の撮像画像を、他方の撮像部の撮像画像に合わせて拡大すれば、画素数の少ない方の撮像部の撮像画像が、レンズの収差の個体差による影響も他方に比べて増幅されることになる。また、単純に左右の撮像部のレンズの収差に大きな個体差が存在する場合も考えられる。

【0107】

上述した場合に、画像補正部は、第２撮像部（レンズの収差による影響が大きい撮像部）の撮像画像に、第１撮像部（レンズの収差による影響が小さい撮像部）から生成された第１点像分布フィルタを施す画像補正処理のみを行う。すなわち、レンズの収差による影響が小さい撮像部（例えば、第２撮像部）の撮像画像に対する画像補正処理を行わない。

【0108】

［効果］
上述したように、本実施形態に係る画像処理装置では、ステレオカメラの左右撮像部のどちらか一方が他方に比べて、よりレンズの収差による影響が大きいので、画像補正部がレンズの収差の影響が大きい撮像部の撮像画像のみに対して画像補正処理を行う。それゆえ、本実施形態に係る画像処理装置は、左右撮像部のどちらか一方が他方に比べて、よりレンズの収差の個体差による影響が大きいステレオカメラに適用することができるとともに、第１実施形態～第３実施形態の効果と同じ効果を得ることができる。

【0109】

なお、本発明は上述した各実施形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
例えば、上述した各実施形態は本発明を分かりやすく説明するために画像処理装置の構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、ここで説明した実施形態の構成の一部を他の実施形態の構成に置き換えることは可能であり、さらにはある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【0110】

上述した各実施形態では、点像分布フィルタ記憶部１０４ａが画像処理装置の画像補正部の内部に設けられる例を説明したが、本発明はこれに限定されない。例えば、点像分布フィルタ記憶部１０４ａを独立な構成部として画像処理装置の画像補正部の外部、または、画像処理装置の外部に設けてもよい。このようにする場合、点像分布フィルタ記憶部１０４ａは、画像処理装置の画像補正部の点像分布フィルタ畳み込み部１０４ｃ及び点像分布フィルタ補間部１０４ｂのそれぞれと、情報データの送受信ができるように接続される。

【符号の説明】

【0111】

１０，２０，３０…画像処理装置、１０１…左撮像部、１０２…右撮像部、１０３…画像前処理部、１０４，２０４…画像補正部、１０４ａ…点像分布フィルタ記憶部、１０４ｂ…点像分布フィルタ補間部、１０４ｃ，２０４ｃ，６０３ｃ…点像分布フィルタ畳み込み部、１０５…輝度階調変換部、１０６…歪補正及び平行化部、１０７…画像補間部、１０８…視差画像生成部、１０９…立体物認識部、１１０…車両制御部、２０１…左ＨＤＲ撮像部、２０２…右ＨＤＲ撮像部、５０１…立体物認識部、６０１…立体物検知部、６０２…立体物識別部、６０３…立体物画像補正部、６０４…立体物測距部、６０５…立体物測距部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】