特許 7216526 車外環境認識装置および車外環境認識方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-24

(45)【発行日】2023-02-01

(54)【発明の名称】車外環境認識装置および車外環境認識方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20230125BHJP

   G06T 7/00 20170101ALI20230125BHJP

【ＦＩ】

G08G1/16 C

G06T7/00 650B

【請求項の数】 6

(21)【出願番号】P 2018218614

(22)【出願日】2018-11-21

(65)【公開番号】P2020086791

(43)【公開日】2020-06-04

【審査請求日】2021-09-09

(73)【特許権者】

【識別番号】000005348

【氏名又は名称】株式会社ＳＵＢＡＲＵ

(74)【代理人】

【識別番号】110000936

【氏名又は名称】弁理士法人青海国際特許事務所

(72)【発明者】

【氏名】大久保 淑実

【審査官】佐々木 佳祐

(56)【参考文献】

【文献】特開２００８－１８６３４２（ＪＰ，Ａ）

【文献】米国特許出願公開第２００８／０１８１４６１（ＵＳ，Ａ１）

【文献】特開２０１５－２３１１７９（ＪＰ，Ａ）

【文献】特開平０７－１９２１９９（ＪＰ，Ａ）

【文献】米国特許第０５５３０４２０（ＵＳ，Ａ）

【文献】国際公開第２０１８／１９８７５８（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０２０／００５５４９５（ＵＳ，Ａ１）

【文献】韓国登録特許第１０－１５２６７４３（ＫＲ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００－９９／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

コンピュータが、
撮像装置から取得した画像における各ブロックの３次元位置を導出する位置導出部と、
前記ブロック同士をグループ化して立体物を特定するグループ化部と、
前記立体物の側面が、前記画像の水平方向端部側に位置する端部領域に含まれるという特定条件を満たせば、前記立体物の側面の奥行き方向の端部を基準に前記立体物の速度を導出する速度導出部と、
して機能する車外環境認識装置。

【請求項2】

前記特定条件には、前記立体物の側面の水平面上の長さが時間の経過に応じて漸増していることを含む請求項１に記載の車外環境認識装置。

【請求項3】

コンピュータが、前記立体物の側面の奥行き方向の端部の過去の位置から、前記端部の現在の位置を推定する位置推定部として機能し、
前記特定条件には、前記位置推定部に推定された推定位置と、前記立体物の奥行き方向の端部を実測した実測位置とが所定距離未満であることを含む請求項１または２に記載の車外環境認識装置。

【請求項4】

前記速度導出部は、前記特定条件を満たさなければ、前記立体物の側面の奥行き方向の中央位置を基準に前記立体物の速度を導出する請求項１から３のいずれか１項に記載の車外環境認識装置。

【請求項5】

前記速度導出部は、前記立体物が、自車両が走行しているレーンに割り込む可能性がある場合にのみ速度を導出する請求項１から４のいずれか１項に記載の車外環境認識装置。

【請求項6】

コンピュータが、
撮像装置から取得した画像における各ブロックの３次元位置を導出し、
前記ブロック同士をグループ化して立体物を特定し、
前記立体物の側面が、前記画像の水平方向端部側に位置する端部領域に含まれるという特定条件を満たせば、前記立体物の側面の奥行き方向の端部を基準に前記立体物の速度を導出する車外環境認識方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自車両の進行方向に存在する立体物を特定する車外環境認識装置および車外環境認識方法に関する。

【背景技術】

【0002】

従来、自車両の前方に位置する車両等の立体物を検出し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第３３４９０６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のような衝突回避制御やクルーズコントロールを実現するため、例えば、ステレオ画像処理によって生成された車両前方の距離画像を用い、３次元位置が互いに隣接するブロック同士を立体物の背面や側面としてグループ化する。そして、グループ化した立体物の大きさや速度に応じて、衝突回避制御やクルーズコントロールを実行する。

【0005】

ここで、画像の水平端部側において一部が画角に含まれていない車両については、車両の側面（特に前方側面）しか視認できず、その側面に基づいて速度を導出しなければならない。しかし、単純に、車両の側面の水平面上の中央位置を基準に速度を導出しようとすると、画像への露出程度（相対的に前後に移動すること）によって中央位置が変化してしまい、安定的かつ正確に速度を導出することができない。

【0006】

本発明は、このような課題に鑑み、自車両以外の車両の速度の導出精度を向上することが可能な車外環境認識装置および車外環境認識方法を提供することを目的としている。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明の車外環境認識装置は、コンピュータが、撮像装置から取得した画像における各ブロックの３次元位置を導出する位置導出部と、ブロック同士をグループ化して立体物を特定するグループ化部と、立体物の側面が、画像の水平方向端部側に位置する端部領域に含まれるという特定条件を満たせば、立体物の側面の奥行き方向の端部を基準に立体物の速度を導出する速度導出部と、して機能する。

【0008】

特定条件には、立体物の側面の水平面上の長さが時間の経過に応じて漸増していることを含むとしてもよい。

【0009】

コンピュータが、立体物の側面の奥行き方向の端部の過去の位置から、端部の現在の位置を推定する位置推定部として機能し、特定条件には、位置推定部に推定された推定位置と、立体物の奥行き方向の端部を実測した実測位置とが所定距離未満であることを含むとしてもよい。

【0010】

速度導出部は、特定条件を満たさなければ、立体物の側面の奥行き方向の中央位置を基準に立体物の速度を導出してもよい。

【0011】

速度導出部は、立体物が、自車両が走行しているレーンに割り込む可能性がある場合にのみ速度を導出してもよい。

【0012】

上記課題を解決するために、本発明の車外環境認識方法は、コンピュータが、撮像装置から取得した画像における各ブロックの３次元位置を導出し、ブロック同士をグループ化して立体物を特定し、立体物の側面が、画像の水平方向端部側に位置する端部領域に含まれるという特定条件を満たせば、立体物の側面の奥行き方向の端部を基準に立体物の速度を導出する。

【発明の効果】

【0013】

本発明によれば、自車両以外の車両の速度の導出精度を向上することが可能となる。

【図面の簡単な説明】

【0014】

【図1】車外環境認識システムの接続関係を示したブロック図である。

【図2】車外環境認識装置の概略的な機能を示した機能ブロック図である。

【図3】車外環境認識方法の流れを示すフローチャートである。

【図4】輝度画像と距離画像を説明するための説明図である。

【図5】ヒストグラム生成部の処理を説明するための説明図である。

【図6】グループ化部の処理を説明するための説明図である。

【図7】グループ化部の処理を説明するための説明図である。

【図8】特定条件を説明するための説明図である。

【発明を実施するための形態】

【0015】

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

【0016】

（車外環境認識システム１００）
図１は、車外環境認識システム１００の接続関係を示したブロック図である。車外環境認識システム１００は、自車両１において、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

【0017】

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成される。撮像装置１１０は、自車両１の前方の車外環境を撮像し、少なくとも輝度の情報が含まれる輝度画像（カラー画像やモノクロ画像）を生成する。また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する立体物を撮像した輝度画像を、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、撮像装置１１０によって認識する立体物は、自転車、歩行者、車両、信号機、道路標識、ガードレール、建物といった独立して存在する物のみならず、車両の背面や側面、自転車の車輪等、その一部として特定できる物も含む。ここで、車両の背面は、自車両１のフロントに対向する面を示し、車両自体の後方面を示すものではない。また、車両の側面は、自車両１の側面に対向する、自車両１から視認できる面を示し、車両自体の側面を示すものではない。

【0018】

また、車外環境認識装置１２０は、２つの撮像装置１１０それぞれから輝度画像を取得し、所謂パターンマッチングを用いて距離画像を生成する。車外環境認識装置１２０は、距離画像に基づき、所謂ステレオ法を用いて、自車両１との相対距離を含む実空間における３次元空間の位置情報を導出する。かかる輝度画像、距離画像、パターンマッチング、ステレオ法については後程詳述する。

【0019】

続いて、車外環境認識装置１２０は、導出した位置情報を用い、まず路面を特定し、特定した路面上に位置し、カラー値が等しく３次元の位置情報が互いに隣接するブロック同士を立体物の背面や側面としてグループ化する。そして、車外環境認識装置１２０は、その立体物がいずれの特定物（例えば、先行車両）に対応するかを特定する。また、車外環境認識装置１２０は、このように特定物を特定すると、その大きさや速度に基づいて、特定物との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように自車両１を制御する（クルーズコントロール）。

【0020】

車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転手の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、操舵機構１４２、駆動機構１４４、制動機構１４６を制御する。

【0021】

（車外環境認識装置１２０）
図２は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

【0022】

Ｉ／Ｆ部１５０は、撮像装置１１０、および、車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持する。

【0023】

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、位置導出部１７０、ヒストグラム生成部１７２、グループ化部１７４、速度導出部１７６、位置推定部１７８、立体物特定部１８０としても機能する。以下、当該中央制御部１５４の各機能部の動作も踏まえて詳述する。

【0024】

（車外環境認識方法）
図３は、車外環境認識方法の流れを示すフローチャートである。車外環境認識方法では、位置導出部１７０が、撮像装置１１０から取得した輝度画像における各ブロックの３次元位置を導出し（位置導出処理Ｓ２００）、ヒストグラム生成部１７２が、距離画像２１４を複数の分割領域に分割し、分割領域毎にヒストグラムを生成し（ヒストグラム生成処理Ｓ２０２）、グループ化部１７４が、ブロック同士をグループ化して立体物を特定し（グループ化処理Ｓ２０４）、速度導出部１７６が、グループ化された立体物の速度を導出し（速度導出処理Ｓ２０６）、位置推定部１７８が、立体物の側面の奥行き方向の端部の現在の位置を推定し（位置推定処理Ｓ２０８）、立体物特定部１８０が、立体物がいずれの特定物に対応するか特定する（立体物特定処理Ｓ２１０）。

【0025】

（位置導出処理Ｓ２００）
位置導出部１７０は、２つの撮像装置１１０それぞれから輝度画像を取得し、一方の輝度画像から任意に抽出したブロック（例えば、水平４画素×垂直４画素の配列）に対応するブロックを他方の輝度画像から検索し（パターンマッチング）、視差を示す視差情報（後述する相対距離ｚに相当）を導出する。位置導出部１７０は、導出された視差情報を各ブロックに配して距離画像を生成する。ここでは、ブロックを水平４画素×垂直４画素としているが、ブロック内の画素数は任意に設定することができる。また、ブロックの代わりに１画素を用いてもよい。また、「水平」は画面横方向を示し、「垂直」は画面縦方向を示し、「奥行き」は画面奥行き方向を示す。

【0026】

図４は、輝度画像２１２と距離画像２１４を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域２１６について図４（ａ）のような輝度画像２１２が生成されたとする。ただし、ここでは、理解を容易にするため、撮像装置１１０それぞれが生成した２つの輝度画像２１２の一方のみを模式的に示している。本実施形態において、位置導出部１７０は、このような輝度画像２１２からブロック毎の視差を求め、図４（ｂ）のような距離画像２１４を形成する。距離画像２１４における各ブロックには、そのブロックの視差情報が関連付けられている。ここでは、説明の便宜上、視差情報が導出されたブロックを黒のドットで表している。

【0027】

位置導出部１７０は、距離画像２１４のブロック毎の視差情報を、所謂ステレオ法を用いて、水平距離ｘ、高さｙおよび相対距離ｚを含む実空間における３次元位置に変換する。ここで、ステレオ法は、三角測量法を用いることで、ブロック（画素または複数の画素からなるブロック）の距離画像２１４における視差からそのブロックの撮像装置１１０に対する相対距離ｚを導出する方法である。このとき、位置導出部１７０は、ブロックの相対距離ｚと、ブロックと同相対距離ｚにある道路表面上の点とブロックとの距離画像２１４上の検出距離とに基づいて、ブロックの道路表面からの高さｙを導出する。そして、導出された３次元位置を改めて距離画像２１４に対応付ける。かかる相対距離ｚの導出処理や３次元位置の特定処理は、様々な公知技術を適用できるので、ここでは、その説明を省略する。

【0028】

（ヒストグラム生成処理Ｓ２０２）
ヒストグラム生成部１７２は、距離画像２１４を複数の分割領域に分割し、分割領域毎に、分割領域内の複数のブロックの相対距離を複数の階級（等距離で区分した相対距離の距離区分を短い順に並べたもの）に振り分けたヒストグラム（度数分布）を生成する。以下に、ヒストグラム生成部１７２の具体的な処理を説明する。

【0029】

図５は、ヒストグラム生成部１７２の処理を説明するための説明図である。ヒストグラム生成部１７２は、まず、距離画像２１４を、水平方向に対して複数の分割領域２１８に分割する。そうすると、分割領域２１８は、図５（ａ）のような垂直方向に延在する短冊形状になる。ここでは、説明の便宜上、短冊形状の分割領域２１８として１６等分しているが、その分割数は１５０等分等、任意に設定することができる。

【0030】

続いて、ヒストグラム生成部１７２は、分割領域２１８毎に、三次元の位置情報に基づき、分割領域２１８内の、道路表面より上方に位置するとみなされるすべてのブロックを対象に、相対距離が複数の階級のいずれに含まれるか判定し、相対距離をそれぞれ対応する階級に振り分けて、ヒストグラム（図５（ｂ）中、横長の四角（バー）で示す）を生成する。すると、図５（ｂ）のように、分割領域２１８毎のヒストグラムによる距離分布が得られる。ここで、縦方向は、相対距離を等距離で区分した階級を、横方向は、階級に振り分けられたブロックの個数（度数）を示している。ただし、図５（ｂ）は計算を行う上での仮想的な画面であり、実際には視覚的な画面の生成を伴わない。

【0031】

（グループ化処理Ｓ２０４）
グループ化部１７４は、距離画像２１４において、三次元の位置情報が所定の距離範囲内にあるブロック同士をグループ化し、立体物を特定する。

【0032】

図６および図７は、グループ化部１７４の処理を説明するための説明図である。グループ化部１７４は、まず、分割領域２１８毎の距離分布を参照し、同一の分割領域２１８内で一番大きい度数（図６中、黒で塗りつぶした四角で示す）を代表距離２２０とする。

【0033】

続いて、グループ化部１７４は、隣接する分割領域２１８同士を比較し、図６のように、代表距離２２０が近接する（例えば、１．０ｍ以内に位置する）分割領域２１８同士をグループ化して分割領域群２２２を生成する。このとき、３つ以上の分割領域２１８で代表距離２２０が近接していた場合にも、連続するすべての分割領域２１８を分割領域群２２２として纏める。かかるグループ化によって、道路表面より上方に位置する立体物の横幅方向の大きさと水平面上の方向を特定することができる。

【0034】

続いて、グループ化部１７４は、分割領域群２２２内における、相対距離ｚが代表距離２２０に相当するブロックを基点として、そのブロックと、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた所定範囲（例えば±０．１ｍ）内にあるブロックとを、同一の特定物に対応すると仮定してグループ化する。こうして、仮想的なブロック群が生成される。上記の所定範囲は実空間上の距離で表され、製造者や搭乗者によって任意の値に設定することができる。また、グループ化部１７４は、グループ化により新たに追加されたブロックに関しても、そのブロックを基点として、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が所定範囲内にあるブロックをさらにグループ化する。結果的に、同一の特定物と仮定可能なブロック全てがグループ化されることとなる。

【0035】

ここで、仮に、図７（ａ）のような距離画像２１４が生成されたとする。グループ化部１７４は、かかる距離画像２１４からブロック同士をグループ化する。こうして、図７（ｂ）のようにグループ化されたブロック群が複数抽出される。また、グループ化部１７４は、グループ化されたブロックの全てが含まれる外形線が、水平線および垂直線、または、奥行き方向に延びる線および垂直線からなる矩形状の枠（面）を、立体物２２４（２２４ａ、２２４ｂ、２２４ｃ、２２４ｄ）として特定する。こうして、立体物２２４の大きさと位置が特定される。

【0036】

このとき、グループ化されたブロック群を水平距離ｘおよび相対距離ｚで示す２次元の水平面（水平方向と奥行き方向によって形成される面）で表すと、立体物２２４ａ、立体物２２４ｂ、２２４ｃ、２２４ｄは図７（ｃ）のようになる。

【0037】

（速度導出処理Ｓ２０６）
速度導出部１７６は、グループ化された立体物２２４の速度を導出する。例えば、速度導出部１７６は、図７（ｂ）における立体物２２４ａ、立体物２２４ｃについては、立体物２２４の側面として速度を導出し、立体物２２４ｂ、立体物２２４ｄについては、立体物２２４の背面として速度を導出する。なお、立体物２２４ｃと立体物２２４ｄとは、同一の立体物２２４の側面と背面の関係にあるので、一体的な立体物２２４として速度を導出することができる。

【0038】

ただし、立体物２２４ａは、図７（ｃ）のように、距離画像２１４の水平端部側（ここでは左側端部側）において一部が画角に含まれておらず、その立体物２２４ａの側面（特に前方側面）しか視認できない。この場合、速度導出部１７６は、立体物２２４ａの側面のみに基づいて立体物２２４ａの速度を導出しなければならない。

【0039】

しかし、単純に、立体物２２４ａの側面の水平面上の中央位置、すなち、図７（ｃ）において立体物２２４ａを直線と見なしたときの中央位置を特定し、その中央位置の速度を導出しようとすると、画像への露出程度（立体物２２４ａが相対的に前後に移動すること）によって、中央位置が変化してしまい、安定的かつ正確に速度を導出することができない。これは、立体物２２４aを直線と見なしたときの直線の変化量に対し、その中央位置は１／２でしか変化しないからである。したがって、立体物２２４aの側面の水平面上の中央位置の速度の変化量は、立体物２２４ａの実際の速度の変化量の１／２となる。

【0040】

なお、立体物２２４の側面におけるエッジを追尾できる部位、例えば、奥行き方向の端部を基準に立体物２２４ａの速度を導出することも考えられるが、奥行き方向の端部は、その位置を特定し難く、高頻度で前後に移動するので、安定して速度を導出することが難しい。

【0041】

そこで、本実施形態では、立体物２２４の側面が全て画角に含まれていない立体物２２４であるか否かに応じて速度の導出処理を切り替え、立体物２２４の速度の導出精度を向上する。

【0042】

具体的に、速度導出部１７６は、立体物２２４の側面が全て画角に含まれていない立体物２２４である可能性が高く、その端部が安定して取得されている以下の特定条件を満たせば、立体物２２４の側面の奥行き方向の端部、すなわち、相対距離が長い方の端部を基準に立体物２２４の速度を導出する。

【0043】

なお、対象を、立体物２２４の側面の奥行き方向の端部（先頭）としたのは、車両の先頭は垂直方向のエッジが立ちやすいので水平方向の位置を特定し易く、時系列に同一箇所を追尾できる可能性が高いからである。

【0044】

図８は、特定条件を説明するための説明図である。まず、特定条件（１）として、立体物２２４の側面が端部領域２３０に含まれることが挙げられる。端部領域２３０は、図８（ａ）、図８（ｂ）にハッチングで示すように、距離画像２１４の水平方向端部側に位置する短冊形状の領域である。端部領域２３０の画角は、左右それぞれ水平方向全長の約１／１０とし（したがって端部領域２３０以外は８／１０）、その奥行き方向の相対距離ｚは約８ｍまでとする。なお、端部領域２３０の画角や相対距離ｚを任意に設定できるのはいうまでもない。また、端部領域２３０の画角や相対距離ｚを、自車両１の走行状態、例えば、速度、走行路、天候等に応じて、適切な値に切り替えるとしてもよい。

【0045】

かかる端部領域２３０に立体物２２４の側面が含まれる場合、その立体物２２４が、距離画像２１４の水平端部側（ここでは左側端部側）において一部が画角に含まれていない可能性が高い。したがって、速度導出部１７６は、立体物２２４ａが、特定条件（１）を満たせば、立体物２２４の一部が画角に含まれていない可能性が高いとして、立体物２２４ａの側面の奥行き方向の端部２３２を基準に立体物２２４の速度を導出する。

【0046】

また、特定条件（２）として、立体物２２４の側面の水平面上の長さ（水平面に投影した長さ）が、時間の経過に応じ、所定時間毎に漸増していることが挙げられる。かかる立体物２２４の側面の水平面上の長さ、例えば、図８（ｂ）における立体物２２４ａを直線とみなした場合の端点間の長さが時間の経過に応じて漸増している場合、その立体物２２４は、自車両１より奥行き方向に移動していることとなり、今後、衝突回避制御やクルーズコントロールの対象となる可能性が高い。したがって、速度導出部１７６は、立体物２２４ａが、特定条件（１）に加え、特定条件（２）を満たせば、立体物２２４ａが速度を導出するのに適しているとして、立体物２２４ａの側面の奥行き方向の端部２３２を基準に立体物２２４の速度を導出する。

【0047】

なお、ここでは、今後、衝突回避制御やクルーズコントロールの対象となる可能性が高いとして、立体物２２４の側面の水平面上の長さが、時間の経過に応じて漸増している場合を挙げて説明したが、時間の経過に応じて漸減している場合であっても、立体物２２４の速度の導出精度を向上する本願の効果を奏することができる。

【0048】

また、特定条件（３）として、立体物２２４の奥行き方向の端部２３２の推定位置と実測位置とが所定距離未満であることが挙げられる。後述するように、位置推定部１７８は、立体物２２４の側面の奥行き方向の端部２３２の過去の位置から、現在の位置（推定位置）を推定する。そして、速度導出部１７６は、このように、推定された、立体物２２４の奥行き方向の端部２３２の推定位置と、立体物２２４の奥行き方向の端部２３２を実測した実測位置とを比較し、その距離が所定距離未満であるか否か判定する。かかる所定距離は、三次元の位置情報の特定精度に応じて任意に設定することができる。

【0049】

このような立体物２２４の奥行き方向の端部２３２の実測位置は、三次元の位置情報の特定精度が低いと不安定になる場合がある。一方、立体物２２４の奥行き方向の端部２３２の推定位置は比較的安定な値となる。実測位置と推定位置との距離が長くなるということは、実測位置が不安定な値であることを示しており、その端部２３２を基準とするのは適当ではない。したがって、速度導出部１７６は、立体物２２４ａが、特定条件（１）、（２）に加え、特定条件（３）を満たせば、端部２３２が安定して取得されているとして、立体物２２４ａの側面の奥行き方向の端部２３２を基準に立体物２２４の速度を導出する。

【0050】

なお、ここでは、速度導出部１７６が、特定条件（１）、（２）、（３）の全てを満たす場合に、立体物２２４ａの側面の奥行き方向の端部２３２を基準に立体物２２４の速度を導出する例を挙げて説明したが、特定条件（１）、（２）、（３）のうちのいずれか１または２を満たせば、立体物２２４ａの側面の奥行き方向の端部２３２を基準に立体物２２４の速度を導出するとしてもよい。

【0051】

このように、立体物２２４の側面が全て画角に含まれていない立体物２２４であり、かつ、端部２３２が安定して取得されていることを条件に、立体物２２４の側面の奥行き方向の端部２３２を基準とすることで、立体物２２４の絶対的な位置を基準に速度を導出することができる。したがって、立体物２２４の側面が全て距離画像２１４の画角に含まれていない場合であっても、立体物２２４の速度の導出精度を向上することができる。

【0052】

ただし、立体物２２４が、自車両１が走行しているレーン以外のレーンを単に直進している車両である場合、その車両は、衝突回避制御やクルーズコントロールの対象になり得ない。このような衝突回避制御やクルーズコントロールの対象になり得ない立体物２２４の速度を常に導出していると処理負荷が増加する。

【0053】

そこで、速度導出部１７６は、立体物２２４が、自車両１が走行しているレーンに割り込む可能性がある場合にのみ速度を導出するとしてもよい。かかる立体物２２４が、自車両１が走行しているレーンに割り込む可能性がある場合とは、例えば、自車両１の前方において、立体物２２４が、自車両１が走行しているレーン以外のレーンから自車両１が走行しているレーンに移動しようとしている場合を言う。かかる構成により、衝突回避制御やクルーズコントロールの対象になり得ない立体物２２４の速度導出に費やす処理負荷を削減することが可能となる。

【0054】

また、上述した実施形態において、速度導出部１７６は、特定条件（１）、（２）、（３）を満たせば、立体物２２４ａの側面の奥行き方向の端部２３２を基準に立体物２２４の速度を導出する。しかし、立体物２２４の側面が全て画角に含まれていない立体物２２４が、必ず特定条件（１）、（２）、（３）を満たすとは限らない。

【0055】

そこで、速度導出部１７６は、上記の処理と並行して、立体物２２４の側面の奥行き方向の中央位置を基準に立体物２２４の速度を導出する。そして、速度導出部１７６は、立体物２２４が、特定条件（１）、（２）、（３）を満たせば、立体物２２４の側面の奥行き方向の端部２３２を基準に立体物２２４の速度を導出し、特定条件（１）、（２）、（３）を満たさなければ、立体物２２４の側面の奥行き方向の中央位置を基準に立体物２２４の速度を導出する。

【0056】

かかる構成により、立体物２２４が、特定条件（１）、（２）、（３）を満たすか否かに拘わらず、確実に立体物２２４の速度を導出することができる。また、仮に、立体物２２４が、特定条件（１）、（２）、（３）を満たさず、立体物２２４の側面の奥行き方向の中央位置を基準に立体物２２４の速度を導出する場合があるとする。しかし、少なくとも、立体物２２４が、特定条件（１）、（２）、（３）を満たしたときには、立体物２２４の側面の奥行き方向の端部２３２を基準に立体物２２４の速度を導出しているので、立体物２２４の実際の速度（真値）に比較的近い値を適用することができる。

【0057】

ただし、立体物２２４が、特定条件（１）、（２）、（３）を満たす場合と満たさない場合とが比較的短時間に交互に生じると、立体物２２４の速度変化が激しくなり、チャタリングが生じるおそれがある。

【0058】

そこで、速度導出部１７６は、立体物２２４の速度にＬＰＦ等のフィルタリングを行い、速度の平滑化を図るとしてもよい。また、このとき、特定条件（１）、（２）、（３）を満たす場合の速度の重み付けを、特定条件（１）、（２）、（３）を満たさない場合の速度の重み付けより大きくしてもよい。かかる構成により、立体物２２４の速度を安定させることが可能となる。

【0059】

（位置推定処理Ｓ２０８）
位置推定部１７８は、立体物２２４の側面の奥行き方向の端部２３２の過去の位置から、移動平均算出、カルマンフィルタ等を通じて、現在の位置（推定位置）を推定（トレース）する。このように推定された推定位置は、特定条件（３）の判定に用いられるとともに、次回フレームにおける立体物２２４の奥行き方向の端部２３２の推定に用いられる。

【0060】

（立体物特定処理Ｓ２１０）
立体物特定部１８０は、グループ化された立体物２２４がいずれの特定物に対応するか特定する。例えば、立体物特定部１８０は、立体物２２４が、車両らしい大きさ、形状、速度であり、かつ、後方の所定の位置にブレーキランプやハイマウントストップランプ等の発光源が確認された場合、その立体物２２４を先行車両と特定する。

【0061】

以上、説明したように、本実施形態では、自車両以外の車両の速度の導出精度を向上することが可能となる。ひいては、側面しか視認できない立体物２２４、例えば、車両に対し、適切に衝突回避制御を実行することができる。

【0062】

また、コンピュータを車外環境認識装置１２０として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

【0063】

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

【0064】

なお、本明細書の車外環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

【産業上の利用可能性】

【0065】

本発明は、自車両の進行方向に存在する立体物を特定する車外環境認識装置および車外環境認識方法に利用することができる。

【符号の説明】

【0066】

１１０ 撮像装置
１２０ 車外環境認識装置
１７０ 位置導出部
１７４ グループ化部
１７６ 速度導出部
１７８ 位置推定部
１８０ 立体物特定部
２２４ 立体物
２３０ 端部領域
２３２ 端部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】