特開 2024-7678 画像処理装置、および、画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024007678

(43)【公開日】2024-01-19

(54)【発明の名称】画像処理装置、および、画像処理方法

(51)【国際特許分類】

   G01C 3/06 20060101AFI20240112BHJP

   G06T 7/593 20170101ALI20240112BHJP

【ＦＩ】

G01C3/06 110V

G06T7/593

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022108907

(22)【出願日】2022-07-06

(71)【出願人】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】大里 琢馬

(72)【発明者】

【氏名】的野 春樹

(72)【発明者】

【氏名】城戸 英彰

(72)【発明者】

【氏名】小林 正幸

(72)【発明者】

【氏名】永崎 健

【テーマコード（参考）】

2F112

5L096

【Ｆターム（参考）】

2F112AC03

2F112AC06

2F112BA06

2F112CA12

2F112FA03

2F112FA21

2F112FA35

2F112FA38

5L096AA06

5L096BA04

5L096CA05

5L096DA02

5L096EA39

5L096FA14

5L096FA18

5L096FA64

5L096FA69

5L096GA04

5L096GA08

5L096GA51

(57)【要約】

【課題】 ステレオカメラによって光源を撮影し、左右のレンズ特性が異なることによる拡散光成分の違いが発生した場合においても、拡散光成分の影響を除外し、正しく視差を算出する画像処理装置を提供する。
【解決手段】 上記目的を達成するために、本発明は、視野が重複する複数のカメラで同時に得られた複数の画像のそれぞれにおいて光源の撮影される領域を特定する光源領域特定部と、光源領域の画素の輝度値に応じて当該画素に重みづけを行い、重みづけされた各画素を用いて、光源領域の視差マッチングを行うことで視差を求める視差算出部と、を備える。
【選択図】 図２

【特許請求の範囲】

【請求項1】

視野が重複する複数のカメラで同時に得られた複数の画像のそれぞれにおいて光源の撮影される領域を特定する光源領域特定部と、
光源領域の画素の輝度値に応じて当該画素に重みづけを行い、重みづけされた各画素を用いて、光源領域の視差マッチングを行うことで視差を求める視差算出部と、
を持つことを特徴とする、画像処理装置。

【請求項2】

請求項１に記載の画像処理装置であって、
前記視差算出部は、輝度値が高い画素に対して、輝度値が低い画素よりも、前記視差マッチングに与える影響が大きくなるように重みづけることを特徴とする、画像処理装置。

【請求項3】

請求項１に記載の画像処理装置であって、
前記視差算出部は、光源領域全体の輝度値を一律に減算したうえで視差マッチング処理を行うことを特徴とする、画像処理装置。

【請求項4】

請求項１に記載の画像処理装置であって、
前記視差算出部は、輝度値及び輝度勾配が高いほど視差マッチングに与える影響が大きくなるように重みづけることを特徴とする、画像処理装置。

【請求項5】

請求項１に記載の画像処理装置であって、
前記視差算出部は、光源の種別に応じて重みの変化度合いを変更することを特徴とする、画像処理装置。

【請求項6】

請求項１に記載の画像処理装置であって、
前記光源領域特定部は、撮像された画像のうち輝度値が閾値以上である領域を検出することを特徴とする、画像処理装置。

【請求項7】

請求項６に記載の画像処理装置であって、
前記閾値は、画像全体が明るいほど高くなるよう動的に変化することを特徴とする、画像処理装置。

【請求項8】

請求項１に記載の画像処理装置であって、
前記光源領域特定部は、発光可能性のある物体であると識別された物体識別結果を外部から取得し、該物体識別結果により特定される領域の輝度値を時系列に監視し、輝度値が大きくなった際に先行車両に取り付けられた光源が発光したと判定することを特徴とする、画像処理装置。

【請求項9】

請求項１に記載の画像処理装置であって、
さらに前記視差算出部で得られたそれぞれの視差に対応する信頼度を示す信頼度マップを算出する信頼度マップ算出部を備えることを特徴とする、画像処理装置。

【請求項10】

請求項９に記載の画像処理装置であって、
前記信頼度マップ算出部は、前記重みを用いずに視差算出を行い、重みを用いた視差算出結果と比較し、差分があるほど信頼度が低くなる信頼度マップを算出することを特徴とする、画像処理装置。

【請求項11】

請求項９に記載の画像処理装置であって、
前記信頼度マップ算出部は、事前に計測しておいた複数のカメラの拡散特性差が大きいほど、あるいは対象となる光源の明るさが明るいほど、信頼度が低くなる信頼度マップを算出することを特徴とする、画像処理装置。

【請求項12】

請求項１に記載の画像処理装置であって、
前記視差算出部は、周辺の明るさ情報によって、暗いほど重みの変化度合いが大きくなるように設定する明るさパラメタ設定部を備えることを特徴とする、画像処理装置。

【請求項13】

請求項１２に記載の画像処理装置であって、
前記明るさパラメタ設定部は、外部から取得した時刻情報あるいは地図情報を用いて明るさパラメタを決定することを特徴とする、画像処理装置。

【請求項14】

請求項１２に記載の画像処理装置であって、
前記明るさパラメタ設定部は、基準画像の輝度値によって明るさパラメタを決定することを特徴とする、画像処理装置。

【請求項15】

視野が重複する複数のカメラで同時に得られた複数の画像のそれぞれにおいて光源の撮影される領域を特定する光源領域特定ステップと、
光源領域の画素の輝度値に応じて当該画素に重みづけを行い、重みづけされた各画素を用いて、光源領域の視差マッチングを行うことで視差を求める視差算出ステップと、
を持つことを特徴とする、画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ステレオカメラで同期撮像した一対の画像に基づいて撮像対象物の三次元位置を算出する画像処理装置、および、画像処理方法に関する。

【背景技術】

【0002】

近年の自動車には、自車両周辺の他車両、歩行者、障害物等や、路面の中央線、車線境界線等の撮像対象物の三次元位置を推定し、それらの推定結果に応じて自車両の駆動、制動、操舵等を制御する、先進運転支援システムや自動運転システムを搭載したものが普及しつつある。

【0003】

それらのシステムで利用される外界認識装置の一種として、ステレオカメラが知られている。ステレオカメラでは、異なる位置に配置した複数のカメラによって異なる視点から同一対象物を同期撮像し、撮像した複数の画像における同一対象物の見え方のずれ、いわゆる視差に基づいて対象物までの距離を算出することで、撮像対象物の三次元位置を推定している。

【0004】

視差の算出にあたっては、ブロックマッチングなどの手法が用いられる。この手法は、一対のカメラで同期撮像した一対の画像のうち一方の画像を基準画像とし、基準画像上で指定した小領域を抜き出して、他方の参照画像から同一の小領域を探索する視差算出手法である。小領域同士が同一であるかについては、ＳＡＤ（Sum of Absolute Difference）などのコスト関数が用いられる。但し、これらの視差算出手法の利用には、各カメラの光学特性が同一であることが前提となる。

【0005】

ブロックマッチング処理中の探索は通常、画素単位で行われるが、後段処理によって測距分解能を向上する技術として、特許文献１がある。この文献の要約書には、課題として「ステレオ画像を処理して得られる画素を単位とする視差に起因する遠距離での測距分解能の低下を解消し、近距離から遠距離まで測距分解能を向上する。」と記載されており、解決手段として「ステレオカメラ１０で撮像した一対の画像に対し、ステレオ処理部３０で、各画像の小領域毎にシティブロック距離を計算して互いの相関を求めることで対応する小領域を特定するステレオマッチングを行い、対象物までの距離に応じて生じる画素のズレ（＝視差）を距離データとして画像化した距離画像を生成する。さらに、認識処理部４０で、基準画像及び比較画像のデータを用いてステレオマッチングを行って１画素以下の視差（サブピクセル成分）を求め、距離画像から得られる画素を単位とする視差を１画素以下の分解能で補間する。これにより、遠距離での測距分解能の低下を解消し、近距離から遠距離までの測距精度を確保する。」と記載されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０００－２８３７５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１の技術によって測距精度を確保するには、ステレオカメラの左右カメラの光学特性が同一という前提を必要とした。しかしながら、実際には各カメラの光学特性必ずしも同一ではないため、各カメラの光学特性が同一という前提で視差を算出した場合、視差算出結果には誤差が含まれることになる。

【0008】

各カメラの光学特性が異なる要因の一つとして、各カメラのレンズの拡散特性Ｆの相違が挙げられる。図１に示す通り、レンズ２１（１枚のレンズとして簡略表示しているが、複数のレンズを組み合わせたものであっても良い）と撮像素子２２（ＣＭＯＳイメージセンサーなど）を有するカメラ２では、理想的な点光源Ｓから発された光はレンズ２１を通して撮像素子２２に投影され、画像Ｐが生成される。

【0009】

この場合、大きさを持たない点光源Ｓを撮像していることから、理想的には「理想のモデル」の画像Ｐｉのように、点光源Ｓが撮像素子２２上で結像した１画素にのみ光源が撮像されることが期待される。ところが実際には、レンズ２１の拡散特性Ｆによって点光源Ｓの光が撮像位置周辺に拡散するため、「実際のモデル」の画像Ｐｒのように、点光源Ｓに起因する光が外周に行くほど明るさを減衰しながら広範囲に撮像されることとなる。

【0010】

従って、ステレオカメラの左右カメラの拡散特性Ｆが異なれば、仮に同じ位置から同じ明るさの点光源Ｓを撮像しても、異なる態様の画像が各カメラで撮像されることになる。この結果、各カメラの拡散特性Ｆが異なるステレオカメラを利用して視差を算出する場合は、画像毎に相違する拡散成分を元にブロックマッチングを実施することになるため、光源の視差が正確には算出されず、光源の三次元位置を正確に推定できないことになる。特に、光源が遠方にある場合は、ステレオカメラの特性上、小さな視差誤差でも大きな測距誤差に繋がるという性質があるため、遠方の物体を測距して後段の制御に利用するような処理、例えば、車載ステレオカメラを利用した先行車追従機能などでは、各カメラの拡散特性Ｆの相違に起因する視差誤差が大きな問題となる。

【0011】

この問題に対し、ステレオカメラの左右カメラが同一の拡散特性Ｆを持つようにレンズをペアリングすることが１つの解決策として考えられるが、同一設計値のレンズの同一ロット品であっても拡散特性Ｆにはバラツキがあるため、拡散特性の一致するレンズをペアリングするには、レンズ毎に拡散特性Ｆの計測を行い、似た特性のレンズを探し出してペアリングする、という多大な労力を必要とした。

【0012】

本発明は、このような問題を鑑みてなされたものであり、ステレオカメラを構成する各カメラの拡散特性が異なっても、正しく視差を算出できる画像処理装置、および、画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0013】

上記目的を達成するために、本発明は、視野が重複する複数のカメラで同時に得られた複数の画像のそれぞれにおいて光源の撮影される領域を特定する光源領域特定部と、光源領域の画素の輝度値に応じて当該画素に重みづけを行い、重みづけされた各画素を用いて、光源領域の視差マッチングを行うことで視差を求める視差算出部と、を備える。

【発明の効果】

【0014】

本発明の画像処理装置、および、画像処理方法によれば、テレオカメラを構成する各カメラの拡散特性が異なっても、正しく視差を算出することができる。上記した以外の課題、構成及び効果は、以下の実施例により明らかにされる。

【図面の簡単な説明】

【0015】

【図1】レンズの拡散特性の説明図

【図2】実施例１の画像処理装置の概略構成図

【図3】実施例１の画像処理部の機能ブロック図

【図4A】光源判定閾値の動的算出に関する説明図

【図4B】光源判定閾値の動的算出に関する説明図

【図5】実施例１の視差算出部の機能ブロック図

【図6】実施例１の重み設定部で設定される重みの一例

【図7】光源領域と非光源領域の輝度値の一例

【図8】実施例１の視差マッチング部の機能ブロック図の一例

【図9】実施例１の視差マッチング部の機能ブロック図の別例

【図10】重みを反映する輝度減算処理の説明図

【図11】実施例２の光源検知部の機能ブロック図

【図12】実施例２で用いる物体識別結果の一例

【図13】実施例２の視差算出部の機能ブロック図

【図14】統合重み算出処理の例

【図15】実施例３の画像処理部の機能ブロック図

【図16】実施例３の信頼度算出部の機能ブロック図の一例

【図17】実施例３の信頼度算出部の機能ブロック図の別例

【図18】実施例４の視差算出部の機能ブロック図

【発明を実施するための形態】

【0016】

以下、本発明の画像処理装置の実施例を、図面を参照して説明する。なお、以下では、車両に搭載した画像処理装置を例に本発明を説明するが、本発明の画像処理装置は車両に搭載されるものに限定されるものではない。

【実施例0017】

図２から図１０を用いて、本発明の実施例１に係る画像処理装置１を説明する。

【0018】

まず、図２を用いて、実施例１の画像処理装置１の概略構成を説明する。ここに示すように、本実施例の画像処理装置１は、ステレオカメラ１１、メモリ１２、演算処理部１３、画像処理部１４、外部出力部１５を備える。そして、各構成要素は、通信ライン１６を介して相互通信可能に接続されている。

【0019】

ステレオカメラ１１は、左カメラ２Ｌと右カメラ２Ｒを用い、左画像と右画像を同期撮像するカメラシステムである。以下では、同期撮像した左右画像のうち任意の一方を基準画像Ｐ０と称し、他方を参照画像Ｐ１と称する。なお、本実施例の左カメラ２Ｌと右カメラ２Ｒは、視線方向が並行、かつ、視野が重複するように配置されているものとする。

【0020】

メモリ１２は、基準画像Ｐ０や参照画像Ｐ１を一時記憶したり、演算処理部１３や画像処理部１４が実行するプログラムを記憶したりする、半導体メモリ等の記憶装置である。

【0021】

演算処理部１３は、メモリ１２に格納されているプログラムの指示に従って、以降で説明する演算処理を実装するＣＰＵ（Central Processing Unit）等の演算装置である。

【0022】

画像処理部１４は、基準画像Ｐ０と参照画像Ｐ１に基づいて視差ｐを算出したりするＧＰＵ（Graphics Processing Unit）等の演算装置である。なお、画像処理部１４で実行される、視差ｐを算出するための具体的な処理については後段で述べる。

【0023】

外部出力部１５は、画像処理部１４で算出した視差ｐ等を外部（例えば、ＥＣＵ（Electronic Control Unit））に送信するインターフェースである。なお、ＥＣＵは、車両の駆動系、制動系、操舵系等を制御する制御装置であり、外部出力部１５から取得した視差ｐ等を、先進運転支援システムや自動運転システムの一機能である、物体検知や走行路検出等に活用する。なお、これらの機能は、画像処理装置１の一部として組み込まれていても構わない。

【0024】

＜画像処理部１４＞
次に、図３の機能ブロック図を用いて、画像処理部１４の詳細について説明する。図示するように、画像処理部１４は、光源領域特定部１４１と、視差算出部１４２を有している。以下、各部の詳細を順次説明する。

【0025】

＜＜光源領域特定部１４１＞＞
光源領域特定部１４１は、ステレオカメラ１１で撮像した一対の画像を、基準画像Ｐ０、参照画像Ｐ１として受け取り、受け取った画像内において光源の撮像された領域（以下、光源領域Ｒと称する）を特定する。ここで、本実施例における光源とは、自発光する自動車のヘッドライト・ブレーキランプ・テールランプ、街灯、信号などはもちろん、強い光を反射する鏡など、周辺環境に比べて強い光をカメラ２に向けて発している物体を包括する用語である。

【0026】

光源領域Ｒを特定する手法の１つとして、画像内の画素の輝度値を参照し、輝度値が閾値以上である領域を光源領域Ｒとして抽出する手法が考えられる。また、このとき、拡散成分は光源が明るいほど強くなり、拡散成分が視差マッチングに与える影響は周辺が暗いほど強くなる。よって、図４Ａに示すように、画像全体から判定した周辺の暗さが明るいほど、光源判定閾値が大きくなるように、光源領域特定部１４１を設計することが望ましい。

【0027】

また、図４Ｂに、周辺の明るさと、視差マッチングに影響を与える拡散光成分の関係を簡単に示す。この図では、横軸を右に行くほど周辺が明るくなり、縦軸を上に行くほど光源が明るくなる。この図から明らかなように、光源の明るさが同じであり、同様の拡散光を発生させていても、周辺が明るければ、周辺の光に紛れて拡散光成分が小さくなるため、視差マッチングへの影響は相対的に小さくなる。一方、周辺が暗い場合は、比較的暗い光源であっても拡散光成分の影響は相対的に大きくなる。すなわち、図４Ａのように、周辺の明るさを元に光源と判定する閾値を決定することで、視差マッチングに影響のある光源の撮像された領域（光源領域Ｒ）だけを効率よく抽出することができる。

【0028】

＜＜視差算出部１４２＞＞
視差算出部１４２は、光源領域特定部１４１で特定した光源領域Ｒの各画素に対して重みづけを行い、重みづけされた各画素を用いた視差マッチング処理を行うことで最終的な視差ｐを算出する。

【0029】

図５の機能ブロック図に示すように、視差算出部１４２は、重み設定部１４２ａと、視差マッチング部１４２ｂを有している。以下、各部の詳細を順次説明する。

【0030】

重み設定部１４２ａは、ステレオカメラ１１で撮像した基準画像Ｐ０と参照画像Ｐ１、及び、光源領域特定部１４１で特定した光源領域Ｒに基づいて、画像の各画素に対して重みを設定する。

【0031】

重み設定部１４２ａで設定する重みについて図６を用いて説明する。ここに例示するように、基準画像Ｐ０の光源領域Ｒ０においては、光源そのものが撮影されている部分Ａ１が特に輝度値が高く、視差誤差の要因となる拡散光成分Ａ２はその周辺に低輝度で分布している。このことから、この基準画像Ｐ０に対しては、図６左下グラフに示すように、単純に輝度値に応じて重みを設定する方法が考えられる。あるいは、輝度値だけでなく輝度勾配を合わせて考慮して重みを設定しても良い。図６左下グラフでは、重みは離散的に変化しているが、滑らかに変化する輝度値に合わせて滑らかに重みが変化するようモデル化しても良い。

【0032】

ここで、夜間に撮像した画像Ｐにおいて、光源を含む光源領域Ｒと、光源ではない物体（例えば、林立する柱状物体）を含む非光源領域Ｒ’を例に、各領域に設定すべき重みについて説明する。図７に示すように、非光源領域Ｒ’内の林立する柱状物体は、単純に光量が少ないため低輝度の画素となっているが、視差マッチングに積極的に利用したい画素であるので設定する重みを大きくしたい。一方、光源領域Ｒの拡散光成分は、非光源領域Ｒ’内の柱状物体撮像領域と同程度の低輝度の画素となっているが、視差マッチング時のノイズになると考えられるため、設定する重みを小さくしたい。すなわち、同程度の低輝度の画素でも、光源領域Ｒと非光源領域Ｒ’では、最適な重みが異なっている。

【0033】

低輝度の画素が何れに分類されるかを区別する際に参考となりうる、光源領域Ｒと非光源領域Ｒ’の特性を比較すると、両者には次の相違があることが分かる。すなわち、非光源領域Ｒ’では、柱状物体の外縁部で物体の有無によって輝度が急変するため、全体的に輝度値が小さくても、大きな輝度勾配を含む傾向にある。一方、光源領域Ｒの拡散光成分は、輝度値が小さく、かつ、輝度勾配も緩やかである。

【0034】

そこで、両者の特性の差異に鑑み、輝度値が低く、かつ、輝度勾配が小さいときにのみ（すなわち、光源領域Ｒ内の拡散光成分に該当すると考えられるときのみ）小さくなるような重みを設計することで、拡散光成分以外の低輝度部分（例えば、非光源領域Ｒ’内の物体）に対して重みを不当に小さくする危険性を回避することができる。

【0035】

本実施例で各画素に設定する重みｗをより具体的に説明すれば、仮に、ある画像座標（ｉ，ｊ）における輝度値をＬ（ｉ，ｊ）、輝度勾配をＬ’（ｉ，ｊ）とする場合、以下の式１で規定されるような重みｗを画像座標（ｉ，ｊ）に与えればよい。ここで、式１のａ，ｂは、輝度値と輝度勾配のスケールを合わせるスケールファクターとしての役割を果たす係数である。

【0036】

【数1】

【0037】

視差マッチング部１４２ｂは、重み設定部１４２ａで設定した重みを元に画素ごとに重みづけをしつつ視差マッチングを行い、視差ｐを出力する。以下、重みづけの反映の仕方について説明する。

【0038】

図８に、視差に先立ち計算する輝度差分に画素毎の重み付けを行う視差マッチング部１４２ｂの機能ブロック図を示す。この例においては、基準画像Ｐ０と参照画像Ｐ１の輝度差分を計算した後に、各輝度差分に対して重み付けを適用する。その後、重みを適用した輝度差分を利用して、視差マッチングにより視差を算出する。但し、この手法では、参照画像Ｐ１側の各画素に設定すべき重みを考慮していないため、重みの低い画素（拡散光成分）の影響を十分に排除できない。

【0039】

そこで、図８の問題を改善する方策の一例として、図９に、事前に基準画像Ｐ０と参照画像Ｐ１の双方を画像変換することで、両画像について画素毎の重み付けを実現する視差マッチング部１４２ｂの機能ブロック図を示す。この図においては、重みの小さな画素における輝度が後段の差分計算において影響が小さくなるように、輝度画像である基準画像Ｐ０と参照画像Ｐ１を事前に変換する。例えば、重みの低い領域においては、該当する画素の輝度値が左右画像（基準画像Ｐ０と参照画像Ｐ１）ですべて０になるよう変換すれば、その領域内では視差マッチング時に計算される差分は常に０となり、他の領域の差分が優先的に扱われることになる。

【0040】

実際の変換手順の例について、図１０に示す。同図の上段グラフは、基準画像Ｐ０の光源領域Ｒ０の横方向の輝度変化を示したグラフである。この上段グラフの輝度に対して、式１等による重み係数を単純に乗算する方法では、領域に設定された重みをそれぞれの輝度に掛けて画像を生成し、視差マッチングを行う。このやり方は簡単であるが、図１０の中段グラフに示した通り重みを強くした部分と弱くした部分の間で急激に変化する画像となり、元々存在しない部分に新たなエッジが生成されてしまい、元々存在しない物体を検知したと誤解して誤マッチングに繋がる可能性もある。

【0041】

そこで、図１０の下段グラフに示すように、画像全体の輝度を所定量減算した輝度画像を生成し、これを視差マッチングの処理対象とすることで、重み変化箇所の影響を最小限にした視差マッチングを行うことができる。この手法では、光源として特定された領域全体から、一定の輝度値を一律に減算した後にマッチングを行う。明るい部分からも輝度が減算されることから、下段グラフに示したように、高輝度領域では輝度勾配が一定に保たれる。減算する輝度の具体的な数値については、重みが一定以下である画素の輝度値がすべて０になるように減算値を設定しても良いし、光源領域の輝度が初期状態の２０％になるような減算値を設定しても良い。これらは使用するレンズ２１の拡散特性Ｆにも影響されるため、ステレオカメラ１１に要求される視差精度を元に設計する必要がある。

【0042】

以上で説明した実施例の画像処理装置１によって、光源を撮像して視差算出を行った際、光源周辺の拡散光成分の影響を除去したうえで視差算出を行うため、左右レンズ特性の違いに起因する視差誤差を最小限に抑え、高精度な測距を実現することができる。

【実施例0043】

次に、図１１から図１４を用いて、本発明の実施例２に係る画像処理装置１を説明する。なお、実施例１との共通点は重複説明を省略する。

【0044】

実施例２は実施例１の変形例であり、光源となり得る物体の物体識別結果Ｉを外部から取得する場合の実施例である。本実施例によれば、本発明の画像処理を行うべき光源領域を画像輝度値以外の情報も活用して特定することができ、重要な光源を見落とすことなく画像処理することができる。

【0045】

本実施例における光源領域特定部１４１の機能ブロック図を図１１に示す。ここに示すように、本実施例の光源領域特定部１４１は、基準画像Ｐ０、参照画像Ｐ１、物体識別結果Ｉを入力とし、光源領域Ｒを出力するものであり、監視領域設定部１４１ａと、輝度変化判定部１４１ｂを有している。

【0046】

物体識別結果Ｉは、画像上で立体物を検知した領域と、その立体物の種別を示すラベルを合わせたものであり、図示しない物体識別部でパターンマッチング等を利用して生成される。物体識別結果Ｉの一例を図１２に示す。例えば、物体識別結果Ｉとして車両検知結果Ｏｂ１が得られた場合、ブレーキランプ点灯やテールランプ点灯の可能性があるため、光源領域特定部１４１では、車両検知結果Ｏｂ１が示す領域を光源可能性物体として扱う。具体的には、監視領域設定部１４１ａにて車両のブレーキランプが存在するであろう領域を監視領域として設定する。そして、該当領域を時系列に追跡し、輝度変化判定部１４１ｂで輝度値が大きく変化した瞬間を判定する。輝度値が明るい方向に変化していた場合、ブレーキランプ点灯タイミングであると判定され、該当領域は光源領域であるとして出力する。

【0047】

同様に、物体識別結果Ｉとして信号検知結果Ｏｂ２を得た場合も、監視領域設定部１４１ａは、上記同様に、信号のランプ位置を光源可能性物体として監視領域に設定した後、輝度変化判定部１４１ｂで該領域の輝度変化を監視し、明るくなった場合に光源領域であるとして出力する。

【0048】

一方、街路樹など光源となりえない物体のその他検知結果Ｏｂ３が得られた場合は、監視領域設定部１４１ａでは、特に監視領域を設定する必要はない。

【0049】

次に、本実施例の視差算出部１４２の機能ブロック図を図１３に示す。ここに示すように、本実施例の視差算出部１４２は、実施例１の図５等で説明した重み設定部１４２ａと視差マッチング部１４２ｂに加え、種別パラメタ設定部１４２ｃと重みマージ部１４２ｄを有している。

【0050】

種別パラメタ設定部１４２ｃでは、上記した物体識別結果Ｉを受け取り、実施例１の重みとは別に種別パラメタを設定する。種別パラメタとは、対象物体に対する測距の重要度から本発明の重みづけ処理の軽重を決定する重みである。重みづけを強く実施した場合、拡散光成分が除去される効果が高いため測距精度が向上する。一方、視差マッチングに使用しない画素が増えることから、検知の安定性という点で劣る。重みづけを弱くした場合はその逆である。これらの影響はトレードオフであるから、シーンに応じて適切に用いることが重要である。

【0051】

図１２に例示したように、外部から取得した物体識別結果Ｉに基づいて撮像対象物体の種別が予め分かっている場合、例えばブレーキランプ点灯中の先行車両であれば、自車両の緊急ブレーキ対象となる可能性があり、緊急性・測距要求精度ともに高い。よって、本発明による拡散光成分の除去を出来る限り行い、高精度な測距を行うべきである。しかし、テールランプ点灯中の車両であれば、緊急性は低く、ランプがブレーキランプより暗いことから拡散光の影響による誤差量も小さいため、拡散光成分の除去はブレーキランプよりも小さくて良い。さらに、信号や街灯であれば、測距要求精度は低い。

【0052】

このように種別に応じて重みづけを変化させることで、測距精度が必要な場合においては本処理を強く実施して精度を優先し、そうでない場合においては本処理を弱めることで安定性を確保する。種別パラメタはこれらの傾向を示すパラメタとして後段処理に出力する。

【0053】

重み設定部１４２ａと種別パラメタ設定部１４２ｃで算出された重みと種別パラメタは、重みマージ部１４２ｄにおいて最終的に視差マッチングに用いるための重みに統合される。説明のため、全く同一の光源を先行車のブレーキランプとして判定した場合の統合重み算出の例と、信号として判定した場合の統合重み算出の例を図１４に示す。

【0054】

図１４左図に示すように、光源をブレーキランプと判定した場合、拡散光の影響を少しでも減らして測距精度を上げるために、光源部分と拡散光部分の重み変化をより急峻に変換する。これは、先進運転支援システムや自動運転システムの制御によって、急減速中の先行車への追突を回避するには、その前提として、先行車のブレーキランプまでの距離を正確に推定する必要があるからである。

【0055】

一方、図１４右図に示すように、光源を信号と判定した場合は、光源部分では測距精度を向上させず、視差マッチングに使う情報を増やすことで信号検出の安定性を保つ。これは、信号までの距離を正確に推定できなくても、特段の悪影響が無いからである。

【0056】

本実施例によれば、重みづけ処理を行うべき光源領域を画像輝度値以外の情報も活用して特定すると共に、該光源の種別に応じた重みづけを行うことで、測距制度の必要な光源についてのみ、適切に拡散光成分を除去した視差マッチングを行うことができる。