特許 7261006 車外環境認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-11

(45)【発行日】2023-04-19

(54)【発明の名称】車外環境認識装置

(51)【国際特許分類】

   G06T 7/593 20170101AFI20230412BHJP

   G08G 1/16 20060101ALI20230412BHJP

   G06T 7/00 20170101ALI20230412BHJP

   G06T 1/00 20060101ALI20230412BHJP

【ＦＩ】

G06T7/593

G08G1/16 C

G06T7/00 650B

G06T1/00 330B

【請求項の数】 1

(21)【出願番号】P 2018244863

(22)【出願日】2018-12-27

(65)【公開番号】P2020107052

(43)【公開日】2020-07-09

【審査請求日】2021-09-24

(73)【特許権者】

【識別番号】000005348

【氏名又は名称】株式会社ＳＵＢＡＲＵ

(74)【代理人】

【識別番号】110000936

【氏名又は名称】弁理士法人青海国際特許事務所

(72)【発明者】

【氏名】大久保 淑実

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０１１－０２３９７３（ＪＰ，Ａ）

【文献】特開２００４－２５８２６６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

位置を異にする複数の撮像装置において所定の第１露光時間で撮像した複数の第１輝度画像を取得する第１輝度画像取得部と、
前記複数の撮像装置において前記第１露光時間より短い第２露光時間で撮像した複数の第２輝度画像を取得する第２輝度画像取得部と、
前記複数の第１輝度画像をパターンマッチングして第１距離画像を生成する第１距離画像生成部と、
前記複数の第２輝度画像をパターンマッチングして第２距離画像を生成する第２距離画像生成部と、
光源が存在する光源領域を特定する領域特定部と、
前記第２距離画像における前記光源領域に対応する画像と、前記第１距離画像における前記光源領域以外の領域に対応する画像を合成して合成画像を生成する合成画像生成部と、
を備え、
前記領域特定部は、前記第２輝度画像における前記光源の位置を含み、前記第１輝度画像において輝度が所定輝度以上である範囲を前記光源領域として特定する車外環境認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対向車線に存在する立体物を特定する車外環境認識装置に関する。

【背景技術】

【0002】

従来、自車両の前方に位置する車両等の立体物を検出し、先行車両や対向車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第３３４９０６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のような衝突回避制御を実現するためには、車両前方の車外環境を認識し、例えば、対向車線に存在する立体物が対向車両等の特定物であるか否か特定しなければならない。しかし、撮像装置が車内に設けられている場合に、自車両のフロントガラスが汚れているような状況下では、撮像装置で撮像した画像において、対向車両のヘッドランプのような輝度の高い光源の周りにも光が散乱し、意図せず輝度が高い部位が生じ得る。かかる輝度が高い部位はミスマッチングで距離画像上のノイズとなり、対向車両を安定して検出できない問題がある。

【0005】

本発明は、このような課題に鑑み、対向車両を安定して特定することが可能な車外環境認識装置を提供することを目的としている。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明の車外環境認識装置は、位置を異にする複数の撮像装置において所定の第１露光時間で撮像した複数の第１輝度画像を取得する第１輝度画像取得部と、複数の撮像装置において第１露光時間より短い第２露光時間で撮像した複数の第２輝度画像を取得する第２輝度画像取得部と、複数の第１輝度画像をパターンマッチングして第１距離画像を生成する第１距離画像生成部と、複数の第２輝度画像をパターンマッチングして第２距離画像を生成する第２距離画像生成部と、光源が存在する光源領域を特定する領域特定部と、第２距離画像における光源領域に対応する画像と、第１距離画像における光源領域以外の領域に対応する画像を合成して合成画像を生成する合成画像生成部と、を備え、領域特定部は、第２輝度画像における光源の位置を含み、第１輝度画像において輝度が所定輝度以上である範囲を光源領域として特定する。

【発明の効果】

【0008】

本発明によれば、対向車両を安定して特定することが可能となる。

【図面の簡単な説明】

【0009】

【図1】車外環境認識システムの接続関係を示したブロック図である。

【図2】車外環境認識装置の概略的な機能を示した機能ブロック図である。

【図3】車外環境認識処理の流れを示すフローチャートである。

【図4】第１輝度画像を示した説明図である。

【図5】第２輝度画像を示した説明図である。

【図6】第１距離画像の生成態様を示した説明図である。

【図7】第２距離画像の生成態様を示した説明図である。

【図8】光源領域を説明するための説明図である。

【図9】合成画像を説明するための説明図である。

【図10】立体物特定部の処理を説明するための説明図である。

【図11】立体物特定部の処理を説明するための説明図である。

【発明を実施するための形態】

【0010】

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

【0011】

（車外環境認識システム１００）
図１は、車外環境認識システム１００の接続関係を示したブロック図である。車外環境認識システム１００は、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

【0012】

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方の車外環境を撮像し、少なくとも輝度の情報が含まれる輝度画像（カラー画像やモノクロ画像）を生成することができる。また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。

【0013】

撮像装置１１０は、自車両１の前方の検出領域に存在する立体物を撮像した輝度画像を、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、撮像装置１１０によって認識する立体物は、自転車、歩行者、車両（先行車両、対向車両）、信号機、道路標識、ガードレール、建物といった独立して存在する物のみならず、自転車の車輪等、その一部として特定できる物も含む。

【0014】

また、車外環境認識装置１２０は、２つの撮像装置１１０それぞれから輝度画像を取得し、所謂パターンマッチングを用いて、視差、および、任意のブロックの画像内の位置を示す画像位置を含む視差情報を有する距離画像を生成する。かかるパターンマッチングおよび距離画像については、後程、詳述する。

【0015】

また、車外環境認識装置１２０は、輝度画像に基づく輝度値（カラー値）、および、距離画像に基づいて算出された、自車両１との相対距離を含む実空間における三次元空間の位置情報を用いて、まず路面を特定し、特定した路面上に位置し、カラー値が等しく三次元の位置情報が近いブロック同士を立体物としてグループ化して、自車両１の前方の検出領域における立体物がいずれの特定物（例えば、先行車両や対向車両）に対応するかを特定する。

【0016】

また、車外環境認識装置１２０は、このように特定物を特定すると、特定物との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように自車両１を制御する（クルーズコントロール）。なお、上記相対距離は、距離画像におけるブロック毎の視差情報を、所謂ステレオ法を用いて三次元の位置情報に変換することで求められる。ここで、ステレオ法は、三角測量法を用いることで、立体物の視差からその立体物の撮像装置１１０に対する相対距離を導出する方法である。このように、二次元の視差情報から三次元の位置情報を得る手法をステレオマッチングということもある。

【0017】

車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転手の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、操舵機構１４２、駆動機構１４４、制動機構１４６を制御する。

【0018】

上述したように、車外環境認識システム１００では、車内に設けられた２つの撮像装置１１０それぞれから輝度画像に基づき、ステレオマッチングを行うことで、例えば、対向車線に存在する対向車両等の立体物の三次元位置を特定している。しかし、自車両１のフロントガラスが汚れているような状況下では、対向車両のヘッドランプ（光源）のみならず、そのヘッドランプの周囲に光が散乱し、意図せず輝度が高い部位が生じ得る。そうすると、本来同一ではない（左右で異なる）輝度が高い部位同士をミスマッチングしてしまう。このように意図せずマッチングされた部位は、距離画像上のノイズとなり、対向車両を安定して検出できなくなってしまう。

【0019】

そこで、本実施形態では、距離画像の生成態様を改良し、対向車両を安定して特定することを目的としている。

【0020】

（車外環境認識装置１２０）
図２は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

【0021】

Ｉ／Ｆ部１５０は、撮像装置１１０、および、車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持する。

【0022】

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、第１輝度画像取得部１６０、第２輝度画像取得部１６２、第１距離画像生成部１６４、第２距離画像生成部１６６、領域特定部１６８、合成画像生成部１７０、立体物特定部１７２としても機能する。以下、本実施形態に特徴的な、距離画像（合成画像）の生成を含む車外環境認識処理について、当該中央制御部１５４の各機能部の動作も踏まえて詳述する。

【0023】

（車外環境認識処理）
図３は、車外環境認識処理の流れを示すフローチャートである。車外環境認識処理では、所定の割込周期が到来する度に、第１輝度画像取得処理（Ｓ２００）、第２輝度画像取得処理（Ｓ２０２）、第１距離画像生成処理（Ｓ２０４）、第２距離画像生成処理（Ｓ２０６）、領域特定処理（Ｓ２０８）、合成画像生成処理（Ｓ２１０）、立体物特定処理（Ｓ２１２）がその順に実行される。以下、各処理を詳述する。

【0024】

（第１輝度画像取得処理Ｓ２００）
第１輝度画像取得部１６０は、２つの撮像装置１１０それぞれの露光時間（撮像素子がレンズを通して光に晒される時間）を、車外環境の比較的暗い部分（例えば、夕夜間における周囲の特定物）が黒つぶれすることなく、そのエッジを取得することができる所定の第１露光時間（長露光時間）に設定し、撮像された２つの第１輝度画像を取得する。

【0025】

図４は、第１輝度画像を示した説明図である。図４（ａ）は、略水平方向に離隔して配置された撮像装置１１０のうち、左側に配置された撮像装置１１０で取得された第１輝度画像２１０であり、図４（ｂ）は、右側に配置された撮像装置１１０で取得された第１輝度画像２１２である。ここでは、夕夜間において、比較的長い露光時間で撮像しているので、対向車両のヘッドランプの近傍に相当する領域２００では白飛びしているものの、対向車両以外の領域２０２では先行車両や信号等の特定物が適切に取得されている。

【0026】

（第２輝度画像取得処理Ｓ２０２）
第２輝度画像取得部１６２は、２つの撮像装置１１０それぞれの露光時間を、車外環境の比較的明るい部分（例えば、ヘッドランプやテールランプ）が白飛びすることなく、そのエッジを取得することができる所定の第２露光時間（短露光時間）に設定し、撮像された複数の第２輝度画像を取得する。かかる第２露光時間は、露出を抑えるため、第１露光時間より短い。また、第１輝度画像取得部１６０と第２輝度画像取得部１６２との撮像間隔は、画像間の同時性を担保するため、極短時間であることが望ましい。

【0027】

図５は、第２輝度画像を示した説明図である。図５（ａ）は、略水平方向に離隔して配置された撮像装置１１０のうち、左側に配置された撮像装置１１０で取得された第２輝度画像２２０であり、図５（ｂ）は、右側に配置された撮像装置１１０で取得された第２輝度画像２２２である。ここでは、夕夜間において比較的短い露光時間で撮像しているので、対向車両以外の領域２０２では黒つぶれして先行車両等の特定物を明確に取得できないが、対向車両のヘッドランプの近傍に相当する領域２００では、少なくとも対向車両のヘッドランプが適切に取得されている。

【0028】

（第１距離画像生成処理Ｓ２０４）
第１距離画像生成部１６４は、第１輝度画像取得部１６０が取得した２つの第１輝度画像２１０、２１２を用い、パターンマッチングによって視差情報を有する１の第１距離画像を生成する。

【0029】

図６は、第１距離画像２１４の生成態様を示した説明図である。第１距離画像生成部１６４は、例えば、図６（ａ）に示された第１輝度画像２１０と、図６（ｂ）に示された第１輝度画像２１２とのパターンマッチングを行う。

【0030】

具体的に、２つの第１輝度画像２１０、２１２のうち、一方の輝度画像から任意に抽出したブロック（例えば、水平４画素×垂直４画素の配列）に対応するブロックを他方の輝度画像から検索し（パターンマッチング）、視差、および、任意のブロックの画像内の位置を示す画像位置を含む視差情報を導出する。ここで、水平は、撮像した画像の画像横方向を示し、垂直は、撮像した画像の画像縦方向を示す。このパターンマッチングとしては、一対の画像間において、任意のブロック単位で輝度（Ｙ）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。

【0031】

車外環境認識装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば、６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。こうして、図６（ｃ）のような第１距離画像２１４が生成される。

【0032】

ここでは、図６（ａ）、図６（ｂ）に示した第１輝度画像２１０、２１２において対向車両以外の領域２０２の画像が適切に取得されているので、図６（ｃ）の第１距離画像２１４においても、対向車両以外の領域２０２の視差情報が適切に導出される。しかし、第１輝度画像２１０、２１２において対向車両のヘッドランプの近傍に相当する領域２００では、光が散乱して意図せず輝度が高い部位が生じる。したがって、その領域２００のパターンマッチングでは、本来同一ではない（左右で異なる）輝度が高い部位同士のミスマッチングが生じるので、距離の信頼度が低くなる。

【0033】

（第２距離画像生成処理Ｓ２０６）
第２距離画像生成部１６６は、第２輝度画像取得部１６２が取得した２つの第２輝度画像２２０、２２２を用い、パターンマッチングによって視差情報を有する１の第２距離画像を生成する。

【0034】

図７は、第２距離画像２２４の生成態様を示した説明図である。第２距離画像生成部１６６は、例えば、図７（ａ）に示された第２輝度画像２２０と、図７（ｂ）に示された第２輝度画像２２２のパターンマッチングを行う。そうすると、図７（ｃ）のような第２距離画像２２４が生成される。

【0035】

ここでは、図７（ａ）、図７（ｂ）に示した第２輝度画像２２０、２２２において対向車両のヘッドランプの近傍に相当する領域２００が適切に取得されているので、図７（ｃ）の第２距離画像２２４においても、対向車両のヘッドランプの視差情報が適切に導出される。なお、第２輝度画像２２０、２２２において対向車両以外の領域２０２は黒つぶれしているので、その領域２０２のパターンマッチングでは距離の信頼度が低くなる。

【0036】

（領域特定処理Ｓ２０８）
領域特定部１６８は、第２輝度画像２２０における対向車両のヘッドランプが存在する光源領域を以下のように特定する。

【0037】

図８は、光源領域２３２を説明するための説明図である。光源領域２３２には、ヘッドランプ（光源）２３０そのものが含まれなければならない。したがって、領域特定部１６８は、まず、図８（ａ）のように、高輝度の立体物を特定可能な、露光時間が短い第２輝度画像２２０を参照し、ヘッドランプ２３０自体を適切に特定する。なお、ここでは、２つの第２輝度画像２２０、２２２の一方を参照すれば足りるので、第２輝度画像２２０の代わりに第２輝度画像２２２を参照してもよい。

【0038】

また、光が散乱して意図せず輝度が高い部位が生じ、輝度が高い部位同士がミスマッチングされるのは、ヘッドランプ２３０の周囲であり、かつ、輝度が高い部位である。かかる部位は、露光時間が長い第１輝度画像２１０の方が特定し易い。そこで、領域特定部１６８は、図８（ｂ）のように、第２輝度画像２２０における対向車両のヘッドランプ２３０の位置から、第１輝度画像２１０において輝度が所定輝度（例えば２５０）以上である範囲を図８（ｂ）中、黒の太線で示したように特定し、その領域を光源領域２３２とする。なお、ここでは、２つの第１輝度画像２１０、２１２の一方を参照すれば足りるので、第１輝度画像２１０の代わりに第１輝度画像２１２を参照してもよい。

【0039】

こうして特定された光源領域２３２は、（１）少なくともヘッドランプ２３０を含む。（２）光が散乱して意図せず輝度が高い部位が生じるので、距離画像を生成する際、意図せずマッチングされた部位が距離画像上のノイズとなり易い。といった特徴を持つこととなる。したがって、かかる光源領域２３２については、以下に示すように、ミスマッチングが生じ易い第１距離画像２１４を用いず、少なくともヘッドランプ２３０を適切に特定できる第２距離画像２２４を用いる。

【0040】

なお、このように特定された光源領域２３２は画素単位である。しかし、ここでは、距離画像上でのノイズ除去が目的なので、光源領域２３２は、パターンマッチングの対象であるブロック単位で特定すべきである。そこで、領域特定部１６８は、特定された光源領域２３２を、パターンマッチングの対象となるブロック単位に適合するように拡大し、光源領域２３２を更新する。

【0041】

また、ここでは、輝度が所定輝度以上であるブロックの全てが含まれる外形線が、２本の水平線および２本の垂直線からなる矩形状の枠（面）を光源領域２３２として設定したが、かかる場合に限らず、平行四辺形、台形、真円形、楕円形等、様々な形に設定することができる。

【0042】

また、ここでは、領域特定部１６８が、第１輝度画像２１０において輝度が所定輝度（例えば２５０）以上である範囲を、水平方向および垂直方向に特定し光源領域２３２とする例を挙げて説明した。しかし、図１０を用いて後述するように、距離画像（以下で示す合成画像２３６）は垂直方向に延在する短冊形状で判断されるため、対向車両との相対距離が最短となる可能性が高い状況下では、領域特定部１６８が、第１輝度画像２１０において輝度が所定輝度（例えば２５０）以上である範囲を、水平方向にのみ特定して光源領域２３２としてもよい。こうして、処理負荷を軽減することが可能となる。

【0043】

（合成画像生成処理Ｓ２１０）
図９は、合成画像２３６を説明するための説明図である。合成画像生成部１７０は、図９（ａ）に示す第２距離画像２２４における光源領域２３２に対応する画像と、図９（ｂ）に示す第１距離画像２１４における光源領域２３２以外の領域２３４に対応する画像を合成して、図９（ｃ）のような合成画像２３６を生成する。

【0044】

次に、合成画像生成部１７０は、合成画像２３６における検出領域内のブロック毎の視差情報を、上述したステレオ法を用いて、水平距離ｘ、高さｙおよび相対距離ｚを含む三次元の位置情報に変換する。

【0045】

ここで、視差情報が、合成画像２３６における各ブロックの視差を示すのに対し、三次元の位置情報は、実空間における各ブロックの相対距離の情報を示す。また、視差情報が画素単位ではなくブロック単位、即ち複数の画素単位で導出されている場合、その視差情報はブロックに属する全ての画素の視差情報とみなして、画素単位の計算を実行することができる。かかる三次元の位置情報への変換については、特開２０１３－１０９３９１号公報等、既存の技術を参照できるので、ここでは、その詳細な説明を省略する。

【0046】

（立体物特定処理Ｓ２１２）
立体物特定部１７２は、合成画像生成部１７０が生成した合成画像２３６に基づいて立体物を特定する。

【0047】

具体的に、立体物特定部１７２は、合成画像２３６を複数の分割領域に分割し、分割領域毎に、分割領域内の複数のブロックの相対距離を複数の階級（等距離で区分した相対距離の距離区分を短い順に並べたもの）に振り分けたヒストグラム（度数分布）を生成する。

【0048】

図１０、図１１は、立体物特定部１７２の処理を説明するための説明図である。立体物特定部１７２は、まず、合成画像２３６を、水平方向に対して複数の分割領域２４０に分割する。そうすると、分割領域２４０は、図１０（ａ）のような垂直方向に延在する短冊形状になる。ここでは、説明の便宜上、短冊形状の分割領域２４０として、合成画像２３６を１６等分しているが、その分割数は１５０等分等、任意に設定することができる。

【0049】

続いて、立体物特定部１７２は、分割領域２４０毎に、三次元の位置情報に基づき、分割領域２４０内の、道路表面より上方に位置するとみなされるすべてのブロックを対象に、相対距離が複数の階級のいずれに含まれるか判定する。次に、立体物特定部１７２は、相対距離をそれぞれ対応する階級に振り分けて、ヒストグラム（図１０（ｂ）中、横長の四角（バー）で示す）を生成する。すると、図１０（ｂ）のように、分割領域２４０毎のヒストグラムによる距離分布が得られる。ここで、縦方向は、相対距離を等距離で区分した階級を、横方向は、階級に振り分けられたブロックの個数（度数）を示している。ただし、図１０（ｂ）は計算を行う上での仮想的な画面であり、実際には視覚的な画面の生成を伴わない。

【0050】

続いて、立体物特定部１７２は、合成画像２３６において、三次元の位置情報が所定の距離範囲内にあるブロック同士をグループ化し、立体物を特定する。このため、立体物特定部１７２は、まず、分割領域２４０毎の距離分布を参照し、同一の分割領域２４０内で一番大きい度数（図１１中、黒で塗りつぶした四角で示す）を代表距離２４２とする。

【0051】

続いて、立体物特定部１７２は、隣接する分割領域２４０同士を比較し、図１１（ａ）のように、代表距離２４２が近接する（例えば、１．０ｍ以内に位置する）分割領域２４０同士をグループ化して分割領域群２４４を生成する。このとき、３つ以上の分割領域２４０で代表距離２４２が近接していた場合にも、連続するすべての分割領域２４０を分割領域群２４４として纏める。かかるグループ化によって、道路表面より上方に位置する立体物の横幅方向の大きさと水平面上の方向を特定することができる。

【0052】

続いて、立体物特定部１７２は、分割領域群２４４内における、相対距離ｚが代表距離２４２に相当するブロックを基点として、そのブロックと、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた所定範囲（例えば±０．１ｍ）内にあるブロックとを、同一の特定物に対応すると仮定してグループ化する。こうして、仮想的なブロック群が生成される。上記の所定範囲は実空間上の距離で表され、車両の製造者や搭乗者によって任意の値に設定することができる。また、立体物特定部１７２は、グループ化により新たに追加されたブロックに関しても、そのブロックを基点として、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が所定範囲内にあるブロックをさらにグループ化する。結果的に、同一の特定物と仮定可能なブロック全てがグループ化されることとなる。

【0053】

こうして、図１１（ｂ）のようにグループ化されたブロック群が複数抽出される。また、立体物特定部１７２は、グループ化されたブロックの全てが含まれる外形線が、水平線および垂直線、または、奥行き方向に延びる線および垂直線からなる矩形状の枠（面）を、立体物２４６（２４６ａ、２４６ｂ、２４６ｃ、２４６ｄ）として特定する。こうして、立体物２４６の大きさと位置が特定される。

【0054】

そして、立体物特定部１７２は、グループ化した立体物２４６がいずれの特定物に対応するか特定する。例えば、立体物特定部１７２は、立体物２４６が、車両らしい大きさ、形状、相対速度であり、かつ、その前方の所定の位置にヘッドランプ（発光源）が確認された場合、その立体物２４６を対向車両と特定する。

【0055】

以上、説明したように、本実施形態では、露光時間を異にして複数（ここでは２）の距離画像の組み合わせを撮像し、露光時間毎にパターンマッチングを行って距離画像を生成する。その後、ミスマッチングが生じ易いか否かによる距離の信頼度に基づいて、複数の距離画像を合成し、１の合成画像２３６を生成している。したがって、対向車両を安定して特定することが可能となる。

【0056】

また、コンピュータを車外環境認識装置１２０として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

【0057】

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

【0058】

例えば、上述した実施形態では、第１露光時間と第２露光時間の２つの異なる露光時間で撮像する例を挙げて説明したが、かかる場合に限らず、３つ以上の露光時間それぞれに対して２つの輝度画像を生成し、それらをパターンマッチングして３つ以上の距離画像を生成し、その後、距離の信頼度に応じて、複数の距離画像を合成するとしてもよい。かかる構成により、露光時間を細分化することができ、より精度の高い距離画像（合成画像）を実現することが可能となる。

【0059】

また、上述した実施形態では、光源領域として対向車両のヘッドランプが存在する領域を例に挙げて説明したが、かかる場合に限らず、光源であれば足り、例えば、先行車両のテールランプやブレーキランプが存在する領域を光源領域としてもよい。

【0060】

なお、本明細書の車外環境認識処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

【産業上の利用可能性】

【0061】

本発明は、対向車線に存在する立体物を特定する車外環境認識装置に利用することができる。

【符号の説明】

【0062】

１ 自車両
１１０ 撮像装置
１２０ 車外環境認識装置
１６０ 第１輝度画像取得部
１６２ 第２輝度画像取得部
１６４ 第１距離画像生成部
１６６ 第２距離画像生成部
１６８ 領域特定部
１７０ 合成画像生成部
１７２ 立体物特定部
２１４ 第１距離画像
２２４ 第２距離画像
２３６ 合成画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】