特許 6591188 車外環境認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6591188

(24)【登録日】2019年9月27日

(45)【発行日】2019年10月16日

(54)【発明の名称】車外環境認識装置

(51)【国際特許分類】

   G06T 1/00 20060101AFI20191007BHJP

   G06T 7/60 20170101ALI20191007BHJP

   G06T 7/62 20170101ALI20191007BHJP

   G08G 1/16 20060101ALI20191007BHJP

【ＦＩ】

   G06T1/00 330B

   G06T7/60 180B

   G06T7/62

   G06T7/60

   G08G1/16 C

【請求項の数】2

【全頁数】13

(21)【出願番号】特願2015-70329(P2015-70329)

(22)【出願日】2015年3月30日

(65)【公開番号】特開2016-191988(P2016-191988A)

(43)【公開日】2016年11月10日

【審査請求日】2018年2月8日

(73)【特許権者】

【識別番号】000005348

【氏名又は名称】株式会社ＳＵＢＡＲＵ

(74)【代理人】

【識別番号】110000936

【氏名又は名称】特許業務法人青海特許事務所

(72)【発明者】

【氏名】斉藤 由佳

(72)【発明者】

【氏名】大久保 淑実

【審査官】 山田 辰美

(56)【参考文献】

【文献】 特開２０１４−２３５７５０（ＪＰ，Ａ）

【文献】 特開２００１−３３１７８８（ＪＰ，Ａ）

【文献】 特開２０１４−０９６００５（ＪＰ，Ａ）

【文献】 特開２０１３−１７８６６４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００−７／９０

Ｇ０８Ｇ １／１６

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

撮像装置により撮像された画像のうち、複数の、所定の画素の配列で表されたブロックを３次元の位置情報に変換した場合の該複数のブロック間の距離が第１距離範囲内となると、該複数のブロック同士をグループ化して第１グループを生成する第１グループ化部と、
前記第１グループ化部がグループ化した複数の前記第１グループを３次元の位置情報に変換した場合の該複数の第１グループ間の距離が前記第１距離範囲より大きい第２距離範囲内であり、かつ、該複数の第１グループ同士が幅方向左右の位置関係にある場合に、該複数の第１グループ同士の幅方向の間であり、画像上、該複数の第１グループと高さ方向の位置が重なる領域において、自車両前方の相対距離が所定の閾値以上離れているブロックが所定数未満である統合条件を満たせば、該複数の第１グループ同士を統合して第２グループを生成し、
前記複数の第１グループ間の距離が前記第２距離範囲内であり、かつ、該複数の第１グループ同士が幅方向左右の位置関係にある場合であっても、前記統合条件を満たさなければ、該複数の第１グループ同士を統合しない第２グループ化部と、
を備える車外環境認識装置。

【請求項2】

前記第２グループ化部は、さらに、前記複数の第１グループ同士を統合した場合の大きさが車両として妥当な大きさである場合に限り、該複数の第１グループ同士を統合して前記第２グループを生成することを特徴とする請求項１に記載の車外環境認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自車両外の環境を認識する車外環境認識装置にかかり、特に、自車両の制御対象となる領域を特定する車外環境認識装置に関する。

【背景技術】

【0002】

従来、自車両の前方に位置する車両等の特定物を検出し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている。そして、先行車両を特定するために、車載されたステレオカメラを用いる技術が知られている。具体的には、自車両前方を撮像した２つの画像データからブロック毎に視差情報（自車両と立体物までの相対距離に相当）を導出し、視差情報を画像データに対応付けた距離画像を生成する。そして、距離画像を水平方向に対して複数の分割領域に分割し、その分割領域毎に、分割領域内の相対距離のヒストグラム（度数分布）を生成し、ヒストグラムに基づいて先行車両を特定する技術が知られている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平１０−２８３４６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述した特許文献１の技術では、まず、近距離にあるブロック同士をグループ化し、さらに、距離があまり離隔していないグループ同士を仮に統合した場合に、それが車両として妥当であるか否か判定し、妥当であれば、そのグループ同士を統合し、先行車両として特定している。したがって、車両が一体的に認識されず、複数の部位がそれぞれ個別に認識された場合においても、それらを統合し、適切に先行車両として制御することが可能となる。

【0005】

しかし、偶然、距離があまり離隔していない別体の立体物に相当する２つの立体像が画像の幅方向に並んで位置し、その立体像同士を仮に統合した場合に、それが車両として妥当であれば、それらを統合し、先行車両として認識してしまう。そうすると、衝突回避制御やクルーズコントロールによって、快適な走行が却って阻害されるおそれがある。

【0006】

本発明は、このような課題に鑑み、制御対象となる領域を適切に特定することが可能な車外環境認識装置を提供することを目的としている。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明の車外環境認識装置は、撮像装置により撮像された画像のうち、複数の、所定の画素の配列で表されたブロックを３次元の位置情報に変換した場合の複数のブロック間の距離が第１距離範囲内となると、複数のブロック同士をグループ化して第１グループを生成する第１グループ化部と、第１グループ化部がグループ化した複数の第１グループを３次元の位置情報に変換した場合の複数の第１グループ間の距離が第１距離範囲より大きい第２距離範囲内であり、かつ、複数の第１グループ同士が幅方向左右の位置関係にある場合に、複数の第１グループ同士の幅方向の間であり、画像上、複数の第１グループと高さ方向の位置が重なる領域において、自車両前方の相対距離が所定の閾値以上離れているブロックが所定数未満である統合条件を満たせば、複数の第１グループ同士を統合して第２グループを生成し、複数の第１グループ間の距離が第２距離範囲内であり、かつ、複数の第１グループ同士が幅方向左右の位置関係にある場合であっても、統合条件を満たさなければ、複数の第１グループ同士を統合しない第２グループ化部と、を備える。

【0008】

第２グループ化部は、さらに、複数の第１グループ同士を統合した場合の大きさが車両として妥当な大きさである場合に限り、複数の第１グループ同士を統合して第２グループを生成してもよい。

【発明の効果】

【0009】

本発明によれば、制御対象となる領域を適切に特定することが可能となる。

【図面の簡単な説明】

【0010】

【図1】環境認識システムの接続関係を示したブロック図である。

【図2】車外環境認識装置の概略的な機能を示した機能ブロック図である。

【図3】車外環境認識処理の流れを示すフローチャートである。

【図4】輝度画像と距離画像を説明するための説明図である。

【図5】ヒストグラム生成部の処理を説明するための説明図である。

【図6】第１グループ化部の処理を説明するための説明図である。

【図7】第２グループ化部の処理を説明するための説明図である。

【図8】第２グループ化部の処理を説明するための説明図である。

【図9】第２グループ化部の処理を説明するための説明図である。

【発明を実施するための形態】

【0011】

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

【0012】

近年では、車両に搭載した車載カメラによって自車両の前方の道路環境を撮像し、画像内における色情報や位置情報に基づいて、先行車両等の特定物を特定し、特定された特定物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ（ＡＣＣ：Adaptive Cruise Control）、所謂衝突防止機能を搭載した車両が普及しつつある。

【0013】

このような車外環境を認識する車外環境認識装置を搭載した車両においては、例えば、自車両の前方に位置する立体物に対応する画像上の立体像が車両（先行車両）等の特定物であるか否か判定する。そして、立体像が先行車両であれば、その先行車両を制御対象とし、衝突を回避したり、車間距離を制御する。本実施形態では、このような先行車両等の特定物を適切に特定することが可能な車外環境認識装置を提供する。

【0014】

（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

【0015】

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方に相当する環境を撮像し、カラー画像やモノクロ画像を生成することができる。ここで、カラー値は、１つの輝度（Ｙ）と２つの色差（ＵＶ）からなる、または、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなる数値群である。ここでは、撮像装置１１０で撮像されたカラー画像やモノクロ画像を輝度画像と呼び、後述する距離画像と区別する。

【0016】

また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する特定物を撮像した画像データを、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、認識対象となる特定物は、車両、人（歩行者）、信号機、ガードレールのように独立して存在する物のみならず、テールランプ、ウィンカー、信号機の各点灯部分等、独立して存在する物の一部も含む。以下の実施形態における各機能部は、このような画像データの更新を契機としてフレーム毎に各処理を遂行する。

【0017】

車外環境認識装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、所謂パターンマッチングを用いて視差を導き出し、導出された視差情報（後述する相対距離に相当）を画像データに対応付けて距離画像を生成する。輝度画像および距離画像については後ほど詳述する。また、車外環境認識装置１２０は、輝度画像に基づく輝度（カラー値）、および、距離画像に基づく自車両１との相対距離を用いて自車両１前方の検出領域に表示された立体像がいずれの特定物に対応するかを特定する。

【0018】

車外環境認識装置１２０は、立体像が特定物、例えば、先行車両として特定されると、その先行車両を追跡しつつ、先行車両の相対速度等を導出し、先行車両と自車両１とが衝突する可能性が高いか否かの判定を行う。ここで、衝突の可能性が高いと判定した場合、車外環境認識装置１２０は、その旨、運転者の前方に設置されたディスプレイ１２２を通じて運転者に警告表示（報知）を行うとともに、車両制御装置１３０に対して、その旨を示す情報を出力する。

【0019】

車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転者の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、操舵機構１４２、駆動機構１４４、制動機構１４６を制御する。

【0020】

以下、車外環境認識装置１２０の構成について詳述する。ここでは、本実施形態に特徴的な、自車両１前方に位置する先行車両等の特定物の特定手順について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。

【0021】

（車外環境認識装置１２０）
図２は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

【0022】

Ｉ／Ｆ部１５０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信した画像データを一時的に保持する。

【0023】

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、画像処理部１６０、３次元位置情報生成部１６２、ヒストグラム生成部１６４、第１グループ化部１６６、第２グループ化部１６８、特定物特定部１７０、車両制御部１７２としても機能する。

【0024】

（車外環境認識処理）
図３は、車外環境認識処理の流れを示すフローチャートである。車外環境認識処理では、画像処理部１６０が、撮像装置１１０から取得した画像を処理し（Ｓ２００）、ヒストグラム生成部１６４が、ヒストグラムを生成し（Ｓ２０２）、第１グループ化部１６６が、３次元位置に基づいてグループ化された第１グループを生成し（Ｓ２０４）、第２グループ化部１６８が、第１グループの出現態様に応じ、さらに第１グループ同士を統合して、第２グループを生成し（Ｓ２０６）、特定物特定部１７０が特定物を特定し（Ｓ２０８）、車両制御部１７２は、自車両１を制御する（Ｓ２１０）。以下、個々の処理を詳述する。

【0025】

（画像処理Ｓ２００）
画像処理部１６０は、２つの撮像装置１１０それぞれから画像データを取得し、一方の画像データから任意に抽出したブロック（例えば、水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、「水平」は、撮像した輝度画像の画面横方向を示し、「垂直」は、撮像した輝度画像の画面縦方向を示す。

【0026】

このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度（Ｙ色差信号）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理部１６０は、このようなブロック単位の視差導出処理を検出領域（例えば水平６００画素×垂直１８０画素）に映し出されているすべてのブロックについて行う。ここでは、ブロックを水平４画素×垂直４画素としているが、ブロック内の画素数は任意に設定することができる。

【0027】

ただし、画像処理部１６０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような立体像の一部であるかを認識できない。したがって、視差情報は、立体像単位ではなく、検出領域におけるブロック単位で独立して導出されることとなる。このようにして導出された視差情報（後述する相対距離に相当）を画像データの各ブロックに対応付けた画像を距離画像という。

【0028】

図４は、輝度画像２１０と距離画像２１２を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域２１４について図４（ａ）のような輝度画像（画像データ）２１０が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像２１０の一方のみを模式的に示している。本実施形態において、画像処理部１６０は、このような輝度画像２１０からブロック毎の視差を求め、図４（ｂ）のような距離画像２１２を形成する。距離画像２１２における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。

【0029】

図２に戻って説明すると、３次元位置情報生成部１６２は、画像処理部１６０で生成された距離画像２１２に基づいて検出領域２１４内のブロック毎の視差情報を、所謂ステレオ法を用いて、水平距離、高さおよび相対距離を含む３次元の位置情報に変換する。ここで、ステレオ法は、三角測量法を用いることで、ブロックの視差からそのブロックの撮像装置１１０に対する相対距離を導出する方法である。このとき、３次元位置情報生成部１６２は、ブロックの相対距離と、ブロックと同相対距離にある道路表面上の点からブロックまでの距離画像２１２上の距離とに基づいて、ブロックの道路表面からの高さを導出する。かかる三次元の位置情報への変換については、特開２０１３−１０９３９１号公報等、既存の技術を参照できるので、ここでは、その詳細な説明を省略する。

【0030】

（ヒストグラム生成処理Ｓ２０２）
続いて、ヒストグラム生成部１６４は、距離画像２１２を複数の分割領域に分割し、分割領域毎に、分割領域内の複数のブロックの相対距離を複数の階級（等距離で区分した相対距離の距離区分を短い順に並べたもの）に振り分けたヒストグラム（度数分布）を生成する。以下に、ヒストグラム生成部１６４の具体的な処理を説明する。

【0031】

図５は、ヒストグラム生成部１６４の処理を説明するための説明図である。ヒストグラム生成部１６４は、まず、距離画像２１２を、水平方向に対して複数の分割領域２１６に分割する。そうすると、分割領域２１６は、図５（ａ）のような垂直方向に延在する短冊形状になる。このような短冊形状の分割領域２１６は、本来、例えば、水平幅４画素のものが１５０列配列してなるが、ここでは、説明の便宜上、検出領域２１４を１６等分したもので説明する。

【0032】

続いて、ヒストグラム生成部１６４は、分割領域２１６毎に、三次元の位置情報に基づき、分割領域２１６内の、道路表面より上方に位置するとみなされるすべてのブロックを対象に、相対距離が複数の階級のいずれに含まれるか判定し、相対距離をそれぞれ対応する階級に振り分けて、ヒストグラム（図５（ｂ）中、横長の四角（バー）で示す）を生成する。すると、図５（ｂ）のように、分割領域２１６毎のヒストグラムによる距離分布２１８が得られる。ここで、縦方向は、相対距離を等距離で区分した階級を、横方向は、階級に振り分けられたブロックの個数（度数）を示している。ただし、図５（ｂ）は計算を行う上での仮想的な画面であり、実際には視覚的な画面の生成を伴わない。

【0033】

（第１グループ化処理Ｓ２０４）
図６は、第１グループ化部１６６の処理を説明するための説明図である。第１グループ化部１６６は、まず、分割領域２１６毎の距離分布２１８を参照し、同一の分割領域２１６内で有効な度数を有する階級が連続していれば、その連続した階級をグループ化して、図６（ａ）に示すように、分割領域２１６毎に立体物の候補である分割立体像候補２２０を生成する。そして、第１グループ化部１６６は、分割立体像候補２２０内で一番大きい度数（図６中、黒で塗りつぶした四角で示す）を代表距離２２２とする。

【0034】

続いて、第１グループ化部１６６は、隣接する分割領域２１６同士を比較し、代表距離２２２が近接する（例えば、１ｍ以下に位置する）分割領域２１６同士をグループ化して、図６（ｂ）に示すように、分割領域群２４０を生成する。このとき、３以上の分割領域２１６で代表距離２２２が近接していた場合にも、連続するすべての分割領域２１６を分割領域群２４０として纏める。かかるグループ化によって、道路表面より上方に位置する立体像の横幅方向の大きさを特定することができる。

【0035】

続いて、第１グループ化部１６６は、分割領域群２４０内における、相対距離ｚが代表距離２２２に相当するブロックを基点として、そのブロックと、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた第１距離範囲（例えば０．１ｍ）内にあるブロックとを、同一の特定物に対応すると仮定してグループ化する。こうして、仮想的なブロック群である第１グループ２４２が生成される。上記の範囲は実空間上の距離で表され、製造者や搭乗者によって任意の値に設定することができる。また、第１グループ化部１６６は、グループ化により新たに追加されたブロックに関しても、そのブロックを基点として、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が第１距離範囲内にあるブロックをさらにグループ化する。結果的に、同一の特定物と仮定可能なブロックすべてがグループ化されることとなる。

【0036】

また、ここでは、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分をそれぞれ独立して判定し、すべてが第１距離範囲に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分の二乗平均√（（水平距離ｘの差分）^２＋（高さｙの差分）^２＋（相対距離ｚの差分）^２）が第１距離範囲に含まれる場合に同一のグループとしてもよい。かかる計算により、ブロック同士の実空間上の正確な距離を導出することができるので、グループ化精度を高めることができる。かかるグループ化によって生成される第１グループ２４２や後述する第２グループは、グループ化された全てのブロックを含み、外形線が水平線および垂直線からなる矩形状の立体像として扱われる。

【0037】

（第２グループ化処理Ｓ２０６）
図７〜図９は、第２グループ化部１６８の処理を説明するための説明図である。図７（ａ）のように、距離画像２１２において先行車両が出現した場合に、画像データの輝度によってはパターンマッチングで距離が明確にでないブロックが生じ得る。第１グループ化部１６６は、本来、相対距離ｚがほぼ等しい先行車両の領域２５０全てをグループ化すべきであるが、実際には、図７（ａ）のように、先行車両の全てのブロックで相対距離ｚを得られず、複数の部位がそれぞれ個別に第１グループ２４２を形成することがある。

【0038】

そこで、第２グループ化部１６８は、第１グループ化部１６６がグループ化した第１グループ２４２の出現態様（第１グループ２４２相互の位置関係）に応じ、後述する統合条件（距離条件、車両性条件、連続性条件）に従って、さらに第１グループ２４２同士を統合し、第２グループを生成する。

【0039】

（距離条件）
まず、第２グループ化部１６８は、図７のように、第１グループ２４２（第１グループ２４２の端点）同士の距離が、第１距離範囲より大きい第２距離範囲（例えば１ｍ）内であれば、その第１グループ２４２同士を仮に統合して、図７（ｂ）の如く、第２グループ２５４を形成する。

【0040】

（車両性条件）
次に、第２グループ化部１６８は、上記距離条件によって第１グループ２４２同士を仮に統合した第２グループ２５４の大きさが車両として妥当な大きさ、例えば、水平方向に１．５ｍ〜２．５ｍ、垂直方向に０．５ｍ〜３．８ｍの範囲に含まれていれば、新たに、当該第２グループ２５４を特定物の候補となる立体像とし、水平方向に１．５ｍ〜２．５ｍ、垂直方向に０．５ｍ〜３．８ｍの範囲に含まれていなければ、第１グループ２４２はそれぞれ別体の立体像を示すとして、第２グループ２５４の生成を行わない。

【0041】

なお、ここでは、車両らしさとして、車両の大きさの妥当性を判定しているが、かかる場合に限らず、車両の他の特徴を用いて車両らしさを判定してもよい。例えば、車両の後部が１つの面で表される特徴を用い、第１グループ２４２それぞれによって形成される面と水平面との交線同士がほぼ一直線上になる（傾きが等しくなる）ことをもって車両らしいと判定してもよい。

【0042】

このように距離条件と車両性条件を満たす第２グループ２５４を生成することで、先行車両が領域２５０として一体的に認識されず、複数の部位として認識された場合においても、図７（ｂ）のように、適切な大きさで立体像（第２グループ２５４）を形成することが可能となる。しかし、かかる条件のみでは、以下の問題が生じ得る。

【0043】

ここで、図８（ａ）に示すように、距離があまり離隔していない別体の立体物２６０、例えば、看板と車両に相当する２つの第１グループ２４２が画像の幅方向に並んで位置しているとする。このとき、第１グループ２４２同士の距離が第２距離範囲内であり（距離条件を満たし）、図８（ｂ）のように、第１グループ２４２同士を統合した第２グループ２５４の大きさが車両として妥当な大きさであった（車両性条件を満たした）とする。そうすると、第２グループ化部１６８は、第１グループ２４２同士を統合した第２グループ２５４を特定物の候補となる立体物として認識するので、衝突回避制御やクルーズコントロールによって、快適な走行が却って阻害されるおそれがある。

【0044】

ここで、図７と図８とを比較すると、図７（ｂ）に一点鎖線で示した、第１グループ２４２同士の幅方向の間であり、画像上、第１グループ２４２と高さ方向の位置が重なる領域（したがって、幅は第１グループ２４２間の距離、高さは第１グループ２４２と等しい領域）２６２に存在するブロックの相対距離ｚは、第１グループ２４２の相対距離ｚとほぼ等しいのに対し、図８（ｂ）に一点鎖線で示した、第１グループ２４２同士の幅方向の間の領域２６２に存在するブロック（ポール）の相対距離ｚは、第１グループ２４２より遠方である点が異なる。なお、ここでは、高さ方向の位置が重なる領域の対象として、２つの第１グループ２４２の高さ方向の最大値をとる。すなわち、２つの第１グループ２４２のうち上辺が高い第１グループ２４２の高さの最大値から、２つの第１グループ２４２のうち下辺が低い第１グループ２４２の高さの最小値までを高さ方向の位置が重なる領域としている。ただし、本実施形態の領域の対象は、かかる場合に限らず、規則的に定められていれば足り、例えば、２つの第１グループ２４２の高さ方向の最小値、すなわち、２つの第１グループ２４２のうち上辺が低い第１グループ２４２の高さの最大値から、２つの第１グループ２４２のうち下辺が高い第１グループ２４２の高さの最小値までとしてもよい。また、２つの第１グループ２４２のうちいずれか一方の第１グループ２４２を対象としてもよく、例えば、高さ方向の長さが長い方、高さ方向の長さが短い方、画像左側に位置する方、画像右側に位置する方を選択することができる。

【0045】

そこで、第２グループ化部１６８は、第１グループ２４２同士の幅方向の間であり、画像上、第１グループ２４２と高さ方向の位置が重なる領域２６２に存在するブロック（相対距離ｚを得ることができたブロック）の相対距離ｚに応じて、第１グループ２４２同士の連続性を判断する。

【0046】

（連続性条件）
具体的に、第２グループ化部１６８は、第１グループ２４２同士が幅方向左右の位置関係にある場合に、第１グループ２４２同士の幅方向の間であり、画像上、第１グループ２４２と高さ方向の位置が重なる領域２６２において、所定の閾値（例えば５ｍ）以上遠方に位置する（第１グループ２４２との相対距離ｚが閾値以上離れている）ブロックが所定数（例えば１０）未満であれば、第１グループ２４２同士は特定物の候補となる同じ立体像を示すものとして、第１グループ２４２同士を正式に統合して当該第２グループ２５４を生成し、所定数以上であれば、第１グループ２４２はそれぞれ別体の立体像を示すとして、第２グループ２５４の生成を行わない。なお、所定数を１とすることで、所定の閾値以上遠方に位置するブロック自体が有るか無いかを条件とすることができる。

【0047】

ここでは、所定の閾値（例えば５ｍ）以上遠方に位置するブロックの数に応じて連続性を判断しているが、かかる場合に限らず、分割立体像候補２２０の数（分割領域２１６の数）に応じて連続性を判断してもよい。

【0048】

こうすることで、図７に示した先行車両は、統合条件（距離条件、車両性条件、連続性条件の全て）を満たすので、その先行車両の領域２５０全てを第２グループ２５４として抽出できる。一方、図８に示した別体の立体物２６０は、距離条件、車両性条件を満たしたとしても、連続性条件を満たさないので（統合条件を満たさないので）、第２グループ２５４の生成が行われず、統合される前の第１グループ２４２それぞれが特定物の候補となる立体像になる。

【0049】

また、第１グループ２４２と、画像上、高さ方向の位置が重なる領域２６２のみを連続性条件の対象とすることで、第１グループ２４２同士の幅方向の間であって、かつ、第１グループ２４２より垂直上方や垂直下方に他の立体像が存在する場合であっても、互いに影響されることがない。

【0050】

例えば、図９（ａ）の距離画像２１２のように、相対距離ｚが近い側（手前側）の下方にフェンスがあり、遠い側（奥側）に立体物２６０が存在しているとする。ここで、状況によっては、同一のフェンスを示す第１グループ２４２同士が離れて生成されることがある。しかも、その幅方向の間には立体物２６０も存在している。しかし、第１グループ２４２と、画像上、高さ方向の位置が重なる領域２６２のみを連続性条件の対象としているので、適切に、特定物を特定することが可能となる。

【0051】

同様に、図９（ｂ）の距離画像２１２のように、相対距離ｚが近い側（手前側）の上方に道路情報表示器があり、遠い側（奥側）に立体物２６０が存在しているとする。ここで、同一の道路情報表示器を示す第１グループ２４２同士が離れて生成されることがある。しかも、その幅方向の間には立体物２６０も存在している。しかし、第１グループ２４２と、画像上、高さ方向の位置が重なる領域２６２のみを連続性条件の対象としているので、図９（ａ）同様、適切に、特定物を特定することが可能となる。

【0052】

（特定物特定処理Ｓ２０８）
特定物特定部１７０は、第２グループ化部１６８がグループ化した第２グループ２５４、および、第２グループ化部１６８がグループ化を行わなかった第１グループ２４２を、複数の特定物の条件と比較し、条件を満たすと、特定物として特定する。例えば、特定物特定部１７０は、第２グループ化部１６８がグループ化した第２グループ２５４の幅が２．０ｍ以上であり、第２グループ２５４の高さが１．０ｍ以上であり、第２グループ２５４の道路表面からの高さが２．０ｍ以下であり、自車両１の走行軌跡からの水平距離が５．０ｍ以下であれば、その第１グループ２４２を先行車両と特定する。以上の構成により、道路上に位置する先行車両を効率的かつ適切に抽出することができる。

【0053】

（車両制御処理Ｓ２１０）
車両制御部１７２は、特定物特定部１７０が先行車両を特定すると、その先行車両を追跡しつつ、先行車両の相対速度等を導出し、先行車両と自車両１とが衝突する可能性が高いか否かの判定を行い、その結果を車両制御装置１３０に出力する。こうして、衝突回避制御やクルーズコントロールが実行される。

【0054】

以上、説明したように、本実施形態の車外環境認識装置１２０では、別体の立体物の距離が近い場合であっても、制御対象となる領域、例えば、先行車両を適切に特定することができるので、安定した衝突回避制御やクルーズコントロールを実現することが可能となる。

【0055】

また、上記車外環境認識装置１２０に加え、コンピュータを車外環境認識装置１２０として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

【0056】

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

【0057】

例えば、上述した実施形態においては、第２グループ化部１６８が、統合条件としての距離条件、車両性条件、連続性条件の３つの条件を全て満たした場合に、第１グループ２４２同士を統合し、第２グループ２５４を生成する例を挙げて説明したが、かかる場合に限らず、統合条件として、少なくとも距離条件、連続性条件の２つの条件を満たせば、第２グループ２５４を生成することができる。

【0058】

また、上述した実施形態においては、同時に撮像された一対のフレーム画像（ステレオ画像）への適用例について説明したが、本発明はこれに限定されるものではなく、互いに関連性を有する一対のフレーム領域に対して広く適用可能である。このようなフレーム領域の別の例としては、いわゆるオプティカルフローの処理対象となる、異なる時刻に撮像された一対のフレーム画像が挙げられる。この場合、上述した撮像装置１１０の代わりに単眼カメラが用いられ、フレーム画像が時系列的に出力される。また、このようなフレーム領域は、輝度によって規定される画像（輝度分布）に限定されるものではなく、輝度以外の情報（例えば、遠赤外線カメラより得られる熱分布、レーザレーダやミリ波レーダより得られる反射強度の分布等）によって規定されるものであってもよい。

【0059】

なお、本明細書の車外環境認識処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

【産業上の利用可能性】

【0060】

本発明は、自車両外の環境を認識する車外環境認識装置にかかり、特に、自車両の制御対象となる領域を特定する車外環境認識装置に利用することができる。

【符号の説明】

【0061】

１２０ 車外環境認識装置
１６６ 第１グループ化部
１６８ 第２グループ化部
２４２ 第１グループ
２５４ 第２グループ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】