特許 7616844 車外環境認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-08

(45)【発行日】2025-01-17

(54)【発明の名称】車外環境認識装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250109BHJP

   G08G 1/16 20060101ALI20250109BHJP

【ＦＩ】

G06T7/00 650B

G08G1/16 C

【請求項の数】 2

(21)【出願番号】P 2020141452

(22)【出願日】2020-08-25

(65)【公開番号】P2022037358

(43)【公開日】2022-03-09

【審査請求日】2023-07-03

(73)【特許権者】

【識別番号】000005348

【氏名又は名称】株式会社ＳＵＢＡＲＵ

(74)【代理人】

【識別番号】110000936

【氏名又は名称】弁理士法人青海国際特許事務所

(72)【発明者】

【氏名】大久保 淑実

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０２０－０３８４４６（ＪＰ，Ａ）

【文献】特開平１０－２８３４７７（ＪＰ，Ａ）

【文献】特開２００６－０７２４９５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

撮像された画像におけるブロック単位の三次元位置を導出する位置導出部と、
前記三次元位置の差分が所定範囲内にあるブロック同士をグルーピングして立体物候補を特定するグルーピング部と、
前記立体物候補を水平面に投影し、奥行き方向に対する角度に基づいて背面と側面とに区別し、前記背面と前記側面とをペアリングしてペアを特定するペアリング部と、
前記ペアの未来の位置を予測するペア予測部と、
を備え、
前記グルーピング部は、
前記ペア予測部に過去に予測された前記ペアの背面の位置を示す予測背面線からの距離が所定範囲内のブロックをグルーピングすることによって、背面に相当する前記立体物候補を特定し、
前記ペア予測部に過去に予測された前記ペアの側面の位置を示す予測側面線からの距離が所定範囲内のブロックをグルーピングすることによって、側面に相当する前記立体物候補を特定する車外環境認識装置。

【請求項2】

前記ペアリング部は、
前記ペア予測部に過去に予測された前記ペアの背面の位置に基づいて前記ペアの背面の位置を補正し、
前記ペア予測部に過去に予測された前記ペアの側面の位置に基づいて前記ペアの側面の位置を補正し、
前記ペア予測部は、
前記ペアリング部に補正された前記ペアの背面の位置に基づいて未来の前記予測背面線を予測し、
前記ペアリング部に補正された前記ペアの側面の位置に基づいて未来の前記予測側面線を予測する、請求項１に記載の車外環境認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自車両の進行方向に存在する立体物を特定する車外環境認識装置に関する。

【背景技術】

【0002】

特許文献１には、自車両の前方に位置する先行車両を検出し、先行車両との衝突被害を軽減する技術や、先行車両との車間距離を安全な距離に保つように追従制御する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第３３４９０６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

自車両と先行車両との衝突被害を軽減するため、また、先行車両への追従制御を実現するため、自車両は、まず、進行方向に存在する立体物を特定し、その立体物が先行車両等の特定物であるか否か判定する。自車両は、立体物を適切に特定するために、例えば、三次元位置が互いに隣接する距離画像のブロック同士を、立体物の背面や、立体物の側面としてそれぞれグルーピングする。そして、自車両は、グルーピングされた背面と側面とをペアリングし、同一の立体物を表すペアとして特定する。

【0005】

しかし、距離画像における相対距離のミスマッチングによってノイズが生じると、自車両は、立体物の背面や側面を適切にグルーピングできず、その結果、立体物として安定的に特定することが困難となる。

【0006】

本発明は、このような課題に鑑み、立体物の背面や側面を適切にグルーピングすることで、立体物の特定精度を向上することが可能な車外環境認識装置を提供することを目的としている。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明の車外環境認識装置は、撮像された画像におけるブロック単位の三次元位置を導出する位置導出部と、三次元位置の差分が所定範囲内にあるブロック同士をグルーピングして立体物候補を特定するグルーピング部と、立体物候補を水平面に投影し、奥行き方向に対する角度に基づいて背面と側面とに区別し、背面と側面とをペアリングしてペアを特定するペアリング部と、ペアの未来の位置を予測するペア予測部と、を備え、グルーピング部は、ペア予測部に過去に予測されたペアの背面の位置を示す予測背面線からの距離が所定範囲内のブロックをグルーピングすることによって、背面に相当する立体物候補を特定し、ペア予測部に過去に予測されたペアの側面の位置を示す予測側面線からの距離が所定範囲内のブロックをグルーピングすることによって、側面に相当する立体物候補を特定する。

【0008】

ペアリング部は、ペア予測部に過去に予測されたペアの背面の位置に基づいてペアの背面の位置を補正し、ペア予測部に過去に予測されたペアの側面の位置に基づいてペアの側面の位置を補正し、ペア予測部は、ペアリング部に補正されたペアの背面の位置に基づいて未来の予測背面線を予測し、ペアリング部に補正されたペアの側面の位置に基づいて未来の予測側面線を予測してもよい。

【発明の効果】

【0009】

本発明によれば、立体物の背面と側面とを適切にペアリングすることで、立体物の特定精度を向上することが可能となる。

【図面の簡単な説明】

【0010】

【図1】図１は、車外環境認識システムの接続関係を示したブロック図である。

【図2】図２は、車外環境認識装置の概略的な機能を示した機能ブロック図である。

【図3】図３は、車外環境認識方法の流れを示すフローチャートである。

【図4】図４は、輝度画像と距離画像を説明するための説明図である。

【図5】図５は、グルーピング部の動作を説明するための説明図である。

【図6】図６は、ペアリング部の動作を説明するための説明図である。

【図7】図７は、ペアリング部によるペアリング可否の判断を説明するための説明図である。

【図8】図８は、背面および側面の補正を説明するための説明図である。

【図9】図９は、ペア予測部の動作を説明するための説明図である。

【図10】図１０は、グルーピング部の動作を説明するための説明図である。

【図11】図１１は、グルーピング部の動作を説明するための説明図である。

【発明を実施するための形態】

【0011】

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

【0012】

（車外環境認識システム１００）
図１は、車外環境認識システム１００の接続関係を示したブロック図である。車外環境認識システム１００は、自車両１に設けられ、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置１３０とを含む。

【0013】

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子で構成される。撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の車外環境を撮像し、少なくとも輝度の情報が含まれる輝度画像（カラー画像やモノクロ画像）を生成する。撮像装置１１０は、自車両１の前方の検出領域に存在する立体物を撮像した輝度画像を、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、車外環境認識装置１２０が認識する立体物は、自転車、歩行者、車両、信号機、道路標識、ガードレール、建物といった独立して存在する物のみならず、車両の背面や側面、自転車の車輪等、その一部として特定できる物も含む。ここで、車両の背面は、自車両１の前方において自車両１に対向する面を示し、車両自体の後方面を示すものではない。

【0014】

車外環境認識装置１２０は、２つの撮像装置１１０それぞれから輝度画像を取得し、所謂パターンマッチングを用いて距離画像を生成する。車外環境認識装置１２０は、輝度画像と距離画像に基づき、路面より上方に位置し、カラー値が等しく、三次元の位置情報が互いに隣接するブロック同士を立体物としてグルーピングする。そして、車外環境認識装置１２０は、立体物がいずれの特定物であるかを特定する。例えば、車外環境認識装置１２０は、立体物が先行車両であると特定する。また、車外環境認識装置１２０は、このように先行車両を特定すると、自車両１と先行車両との衝突被害の軽減制御を行い、また、自車両１を先行車両に追従させる追従制御を行う。車外環境認識装置１２０の具体的な動作については後程詳述する。

【0015】

車両制御装置１３０は、ＥＣＵ（Electronic Control Unit）等で構成され、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転手の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、操舵機構１４２、駆動機構１４４、制動機構１４６を制御する。

【0016】

（車外環境認識装置１２０）
図２は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含む。

【0017】

Ｉ／Ｆ部１５０は、撮像装置１１０、および、車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持する。

【0018】

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、位置導出部１７０、グルーピング部１７２、ペアリング部１７４、ペア予測部１７６、立体物特定部１７８としても機能する。以下、車外環境認識方法について、当該中央制御部１５４の各機能部の動作も踏まえて詳述する。

【0019】

（車外環境認識方法）
図３は、車外環境認識方法の流れを示すフローチャートである。車外環境認識装置１２０は、所定の割込時間毎に車外環境認識方法を実行する。車外環境認識方法において、位置導出部１７０は、撮像装置１１０から取得した輝度画像におけるブロック単位の三次元位置を導出する（位置導出処理Ｓ２００）。グルーピング部１７２は、ブロック同士をグルーピングして立体物候補を特定する（グルーピング処理Ｓ２０２）。ペアリング部１７４は、立体物候補を水平面に投影し、奥行き方向に対する角度に基づいて背面と側面とに区別し、背面と側面とをペアリングしてペアを特定する（ペアリング処理Ｓ２０４）。ペア予測部１７６は、ペアの未来の位置を予測する（ペア予測処理Ｓ２０６）。立体物特定部１７８は、ペアを構成する立体物やその他の立体物がいずれの特定物に対応するか特定する（立体物特定処理Ｓ２０８）。

【0020】

（位置導出処理Ｓ２００）
図４（図４Ａ～図４Ｃ）は、輝度画像および距離画像を説明するための説明図である。位置導出部１７０は、撮像装置１１０で光軸を異として同タイミングで撮像された複数（ここでは２）の輝度画像をそれぞれ取得する。ここで、位置導出部１７０は、輝度画像２１２として、図４Ａに示す、自車両１の比較的右側に位置する撮像装置１１０で撮像された第１輝度画像２１２ａと、図４Ｂに示す、自車両１の比較的左側に位置する撮像装置１１０で撮像された第２輝度画像２１２ｂとを取得したとする。

【0021】

図４Ａおよび図４Ｂを参照すると、撮像装置１１０の撮像位置の違いから、第１輝度画像２１２ａと第２輝度画像２１２ｂとで、画像に含まれる立体物の画像位置が水平方向に異なるのが理解できる。ここで、水平は、撮像した画像の画面横方向を示し、垂直は、撮像した画像の画面縦方向を示す。

【0022】

位置導出部１７０は、位置導出部１７０が取得した、図４Ａに示す第１輝度画像２１２ａと、図４Ｂに示す第２輝度画像２１２ｂとに基づいて、図４Ｃのような、撮像対象の距離を特定可能な距離画像２１４を生成する。

【0023】

具体的に、位置導出部１７０は、所謂パターンマッチングを用いて、視差、および、任意のブロックの画像内の位置を示す画像位置を含む視差情報を導出する。そして、位置導出部１７０は、一方の輝度画像（ここでは第１輝度画像２１２ａ）から任意に抽出したブロックに対応するブロックを他方の輝度画像（ここでは第２輝度画像２１２ｂ）から検索する。ここで、ブロックは、例えば、水平４画素×垂直４画素の配列で表される。また、パターンマッチングは、一方の輝度画像から任意に抽出したブロックに対応するブロックを他方の輝度画像から検索する手法である。

【0024】

例えば、パターンマッチングにおけるブロック間の一致度を評価する関数として、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。

【0025】

位置導出部１７０は、このようなブロック単位の視差導出処理を、例えば、６００画素×２００画素の検出領域に映し出されている全てのブロックについて行う。ここで、位置導出部１７０は、ブロックを４画素×４画素として処理しているが、任意の画素数で処理してもよい。

【0026】

位置導出部１７０は、距離画像２１４のブロック毎の視差情報を、所謂ステレオ法を用いて、水平距離ｘ、高さｙおよび相対距離ｚを含む実空間における三次元位置に変換する。ここで、ステレオ法は、三角測量法を用いることで、ブロックの距離画像２１４における視差からそのブロックの撮像装置１１０に対する相対距離ｚを導出する手法である。このとき、位置導出部１７０は、ブロックの相対距離ｚと、ブロックと同相対距離ｚにある道路表面上の点とブロックとの距離画像２１４上の検出距離とに基づいて、ブロックの道路表面からの高さｙを導出する。そして、位置導出部１７０は、導出した三次元位置を改めて距離画像２１４に対応付ける。かかる相対距離ｚの導出処理や三次元位置の特定処理は、様々な公知技術を適用できるので、ここでは、その説明を省略する。

【0027】

（グルーピング処理Ｓ２０２）
グルーピング部１７２は、路面より上方に位置し、カラー値が等しく、距離画像２１４における三次元位置の差分が所定範囲内にあるブロック同士をグルーピングして立体物候補を特定する。具体的に、グルーピング部１７２は、距離画像２１４における、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた範囲（例えば０．１ｍ）内にあるブロック同士を、同一の特定物に対応すると仮定してグルーピングする。こうして、仮想的なブロック群が生成される。

【0028】

図５（図５Ａ～図５Ｃ）は、グルーピング部１７２の動作を説明するための説明図である。ここで、位置導出部１７０が、例えば、図５Ａのような距離画像２１４を生成したとする。グルーピング部１７２は、かかる距離画像２１４からブロック同士をグルーピングする。こうして、図５Ｂのようにグルーピングされたブロック群が複数抽出される。グルーピング部１７２は、図５Ｂにおいて、グルーピングしたブロックの全てが含まれる外形線、例えば、水平線および垂直線、または、奥行き方向に延びる線および垂直線からなる矩形状の枠（面）を、立体物候補２２０（２２０ａ、２２０ｂ、２２０ｃ、２２０ｄ、２２０ｅ）とする。

【0029】

図５Ｂにおける、距離画像２１４上の立体物候補２２０ａ、２２０ｂ、２２０ｃ、２２０ｄ、２２０ｅは、水平距離ｘおよび相対距離ｚで示す２次元の水平面で表すと、図５Ｃにおける、立体物候補２２０ａ、２２０ｂ、２２０ｃ、２２０ｄ、２２０ｅとなる。

【0030】

（ペアリング処理Ｓ２０４）
図５Ｃにおいては、例えば、立体物候補２２０ａと立体物候補２２０ｂとは異なる立体物候補となっている。しかし、立体物候補２２０ａは先行車両の背面を構成し、立体物候補２２０ｂは先行車両の側面を構成している。したがって、立体物候補２２０ａと立体物候補２２０ｂとは、本来、一体的な同一の立体物を構成するペアとして認識されるべきである。同様に、立体物候補２２０ｄと立体物候補２２０ｅも同一の立体物として認識されるべきである。そこで、ペアリング部１７４は、同一の立体物の背面と側面とすべき立体物候補２２０をペアリングする。

【0031】

図６は、ペアリング部１７４の動作を説明するための説明図である。図６は、立体物候補２２０を水平面に投影したものであり、水平距離ｘおよび相対距離ｚのみで表されている。

【0032】

ペアリング部１７４は、立体物候補２２０を水平面に投影し、奥行き方向に対する角度に基づいて背面と側面とに区別し、背面と側面との関係が所定条件を満たせば、背面と側面とをペアリングしてペアを特定する。

【0033】

具体的に、ペアリング部１７４は、まず、奥行き方向に相当する相対距離の軸に対する、立体物候補２２０の近似直線の角度を導出する。ペアリング部１７４は、導出した角度の絶対値が４５度以上１３５度未満であれば、その立体物候補２２０を背面とする。一方、ペアリング部１７４は、導出した角度の絶対値が０度以上４５度未満または１３５度以上１８０度以下であれば、その立体物候補２２０を側面とする。

【0034】

ここで、例えば、グルーピング部１７２がグルーピングした結果、図６Ａのように、立体物候補２２０ｆ、２２０ｇを導出したとする。かかる例では、図６Ｂのように、立体物候補２２０ｆの近似直線の角度の絶対値は４５度以上１３５度未満となるので、ペアリング部１７４は、当該立体物候補２２０ｆを背面であると判定する。一方、立体物候補２２０ｇの近似直線の角度の絶対値は０度以上４５度未満となるので、ペアリング部１７４は、当該立体物候補２２０ｇを側面であると判定する。こうして、グルーピング部１７２は、背面と側面とを大凡区別することができる。

【0035】

ペアリング部１７４は、このように区別された背面と側面との全ての組み合わせについて総当たりでペアリング可能か否か判断する。したがって、ペアリング部１７４は、１の背面に対する全ての側面とのペアリング判断を背面の数だけ繰り返すこととなるので、その処理回数は、背面の数×側面の数となる。なお、このとき、ペアリング部１７４は、背面と側面との距離が車両の一部として適切な距離（例えば２ｍ）以内であり、背面と側面との速度がいずれも安定し、背面および側面それぞれの長さが所定値（例えば１ｍ）以上であり、かつ、その中央位置が検出領域内であれば、ペアリングを実行するとしてもよい。かかるペアリングの前提条件を追加することで、ペアリング部１７４は、ペアリングの対象を適切に制限することが可能となり、処理負荷の軽減を図ることが可能となる。

【0036】

図７（図７Ａ～図７Ｄ）は、ペアリング部１７４によるペアリング可否の判断を説明するための説明図である。ペアリング部１７４は、背面２２２と側面２２４との関係が所定条件を満たすか否かによってペアリング可否を判定する。その結果、所定の条件を満たすと判定すると、ペアリング部１７４は、同一の立体物の背面２２２と側面２２４とをペアとして特定する。ここでは、立体物候補２２０ｆに対応する背面２２２と、立体物候補２２０ｇに対応する側面２２４とを挙げて、そのペアリングの可否を判断する。また、所定の条件として、「端点間距離」、「速度ベクトル距離」、「交点距離」、「成す角度」の４つの項目を説明する。なお、所定条件として、必ずしも４つ全ての項目を採用する必要はなく、適宜、１または複数の項目を採用するとしてもよい。

【0037】

まず、ペアリング部１７４は、図７Ａのように、水平面において、背面２２２と側面２２４との互いに近い方の端点を特定し、その特定した端点間の距離を導出する。そして、ペアリング部１７４は、その端点間距離が例えば１ｍ未満であれば、「端点間距離」の条件を満たしていると判定する。

【0038】

次に、ペアリング部１７４は、図７Ｂのように、水平面において、背面２２２の速度ベクトルと側面２２４の速度ベクトルをそれぞれ導出する。そして、ペアリング部１７４は、速度ベクトルの差分ベクトル、すなわち、２つの速度ベクトルの始点を合わせた状態における２つの速度ベクトルの距離を導出する。そして、ペアリング部１７４は、その速度ベクトル距離ｙが例えば１０ｋｍ／ｈ未満であれば、「速度ベクトル距離」の条件を満たしていると判定する。

【0039】

続いて、ペアリング部１７４は、図７Ｃのように、水平面において、背面２２２の近似直線と側面２２４の近似直線との交点と、背面２２２の交点側の端点との距離を導出する。そして、ペアリング部１７４は、その交点距離が例えば１ｍ未満であれば、「交点距離」の条件を満たしていると判定する。

【0040】

次に、ペアリング部１７４は、図７Ｄのように、水平面において、背面２２２の近似直線と側面２２４の近似直線との成す角度を導出する。そして、ペアリング部１７４は、その成す角度ｖが９０度に近い、例えば７０～１１０度の範囲であれば、「成す角度」の条件を満たしていると判定する。

【0041】

ペアリング部１７４は、「端点間距離」、「速度ベクトル距離」、「交点距離」、「成す角度」の４つの条件を満たすと、その背面２２２と側面２２４とをペアリングする。

【0042】

続いて、ペアリング部１７４は、前回フレームで生成した背面２２２と側面２２４とのペアを用いて、ペアリングした背面２２２と側面２２４とを補正する。

【0043】

図８（図８Ａ、図８Ｂ）は、背面２２２および側面２２４の補正を説明するための説明図である。図８には、図７同様、背面２２２と側面２２４とが示されている。ペアリング部１７４は、当該フレームでペアリングした背面２２２と側面２２４とに対し、まず、交点と端点に関する実測値を特定する。

【0044】

具体的に、ペアリング部１７４は、図８Ａに示すように、背面２２２の近似直線と側面２２４の近似直線との交点の実測値を実測交点とし、背面２２２の交点側の端点の実測値を実測交点側端点とし、背面２２２の交点側と逆の端点の実測値を実測背面端点とし、側面２２４の交点側と逆の端点の実測値を実測側面端点とする。なお、ペアリング部１７４は、交点に相当する実測値の導出において、背面２２２と側面２２４との実際の交点をそのまま用いず、その交点と、背面２２２の交点側の端点、すなわち、実測交点側端点との中間点を用いる。これは、側面２２４に比べ背面２２２の特定精度が高く、背面２２２の端点の方が、信頼性が高いからである。

【0045】

ここで、中間点は各点の水平距離および相対距離をそれぞれ平均することで求められる。なお、中間点は、必ずしも平均とすることはなく、その信頼性から重みをつけてもよい。例えば、背面２２２の端点の信頼性が高い場合、実測交点より実測交点側端点に近い点を中間点として補正交点を求めてもよい。

【0046】

次に、ペアリング部１７４は、実測値を補正し、補正交点、補正背面端点、および、補正側面端点を導出する。具体的に、ペアリング部１７４は、予測交点と、実測交点および実測交点側端点の中間点との中間点を補正交点とし、予測背面端点と実測背面端点との中間点を補正背面端点とし、予測側面端点と実測側面端点との中間点を補正側面端点とする。ここで、予測交点、予測背面端点、および、予測側面端点は、ペア予測部１７６が、前回フレームにおいて、当該フレームにおける交点、背面端点、および側面端点を予測したものである。なお、前回フレームにおいて、予測交点、予測背面端点、および、予測側面端点が導出されていない場合、ペアリング部１７４は、実測交点、実測背面端点、実測側面端点を、そのまま予測交点、予測背面端点、および、予測側面端点として用いる。

【0047】

こうして、ペアリング部１７４は、図８Ｂに示すような、補正交点、補正背面端点、補正側面端点を特定する。車外環境認識装置１２０は、補正交点と補正背面端点とを結ぶ線を補正後の背面２２２とし、補正交点と補正側面端点とを結ぶ線を補正後の側面２２４とする。車外環境認識装置１２０は、かかる補正交点、補正背面端点、予測側面端点、背面２２２、側面２２４を用いて、自車両１と先行車両との衝突被害の軽減制御を行い、また、自車両１を先行車両に追従させる追従制御を行う。

【0048】

（ペア予測処理Ｓ２０６）
ペア予測部１７６は、ペアリング部１７４がペアリングした背面２２２と側面２２４とのペアの未来の位置、ここでは、次フレームにおける位置を予測する。

【0049】

図９は、ペア予測部１７６の動作を説明するための説明図である。図９は、水平距離ｘおよび相対距離ｚのみで表されている。ペア予測部１７６は、導出された補正交点、補正背面端点、補正側面端点と、過去に導出した複数回分の補正交点、補正背面端点、補正側面端点とを用い、例えば、カルマンフィルタ等を用いて、次回の予測交点、予測背面端点、予測側面端点とを導出する。このとき、ペア予測部１７６は、背面および側面の相対速度、Ｙ軸回りの角速度、および、エゴモーションを考慮して、次回の予測交点、予測背面端点、予測側面端点を予測する。

【0050】

（立体物特定処理Ｓ２０８）
立体物特定部１７８は、ペアリング部１７４によってペアリングされた背面２２２と側面２２４とのペアによって構成される立体物やその他の立体物がいずれの特定物に対応するか特定する。例えば、立体物特定部１７８は、背面２２２と側面２２４とのペアによって構成される立体物が、車両らしい大きさ、形状、相対速度であり、かつ、後方の所定の位置にブレーキランプやハイマウントストップランプ等の発光源を有する場合、その立体物を先行車両と特定する。

【0051】

図９を用いて説明したように、ペア予測部１７６は、次フレームにおける背面２２２、側面２２４を予測する。そして、図５を用いて説明したように、グルーピング部１７２が隣接するブロック同士をグルーピングし、図６、７を用いて説明したように、ペアリング部１７４は、グルーピングされた立体物候補２２０同士をペアリングする。そして、図８を用いて説明したように、ペアリング部１７４は、その予測された背面２２２、側面２２４を用いて、背面２２２、側面２２４の位置を補正する。このように、ペアリング部１７４は、ペア予測部１７６が予測した背面２２２、側面２２４を用いることで、背面２２２、側面２２４の位置を適切に補正することができる。

【0052】

ただし、ペアリング部１７４におけるペアリングが適切に行われても、その前段のグルーピング部１７２におけるグルーピングが適切に行われていなければ、立体物の特定精度は高まらない。

【0053】

図１０は、グルーピング部１７２の動作を説明するための説明図である。図１０は、水平距離ｘおよび相対距離ｚのみで表されている。例えば、距離画像２１４において、図１０のようなブロックが抽出されたとする。グルーピング部１７２は、距離画像２１４における三次元位置の差分が所定範囲内にあるブロック同士をグルーピングする。しかし、距離画像２１４における相対距離のミスマッチングによってノイズが生じると、グルーピング部１７２は、背面２２２や側面２２４を適切にグルーピングできない場合が生じる。

【0054】

例えば、図１０の例では、グルーピング部１７２が、３つの立体物候補２２０ｈ、２２０ｉ、２２０ｊを特定したとする。ここで、立体物候補２２０ｈは背面２２２に相当し、立体物候補２２０ｉは側面２２４に相当する。一方、立体物候補２２０ｊはノイズであり、本来、立体物候補とすべきではない。また、ブロックの位置によっては、グルーピング部１７２が、このようなノイズを含めて立体物候補２２０ｊを特定するおそれもある。そうすると、ペアリング部１７４が背面２２２および側面２２４を適切にペアリングできず、車外環境認識装置１２０は、これらを立体物として安定的に特定することが困難となる。

【0055】

そこで、グルーピング部１７２は、ペア予測部１７６が前回フレームで予測した、次フレームにおける背面２２２、側面２２４を用いて、立体物候補２２０を特定する。

【0056】

図１１（図１１Ａ、図１１Ｂ）は、グルーピング部１７２の動作を説明するための説明図である。グルーピング部１７２は、ペア予測部１７６が予測した背面２２２および側面２２４それぞれに近いブロックを優先してグルーピングする。

【0057】

具体的に、図１１Ａに示すように、グルーピング部１７２は、ペア予測部１７６が予測した予測交点と予測背面端点とを結ぶ、背面２２２に相当する予測背面線２３２を生成する。次に、グルーピング部１７２は、予測背面線２３２からの距離が、図中破線で示した所定範囲内にあるブロックであり、かつ、三次元位置の差分が所定範囲内にあるブロック同士をグルーピングする。こうして、グルーピング部１７２は、背面２２２に相当する立体物候補２２０ｈを特定できる。なお、ブロックから予測背面線２３２への距離は、ブロックから予測背面線２３２に垂線をおろし、その垂線と予測背面線２３２との交点とブロックとの距離を示す。

【0058】

同様に、図１１Ｂに示すように、グルーピング部１７２は、ペア予測部１７６が予測した予測交点と予測側面端点とを結ぶ、側面２２４に相当する予測側面線２３４を生成する。次に、グルーピング部１７２は、予測側面線２３４からの距離が、図中破線で示した所定範囲内にあるブロックであり、かつ、三次元位置の差分が所定範囲内にあるブロック同士をグルーピングする。こうして、グルーピング部１７２は、側面２２４に相当する立体物候補２２０ｉを特定できる。

【0059】

なお、ここでは、グルーピング部１７２が、予測側面線２３４からの距離が所定範囲内にあるブロックをグルーピングの対象としたが、かかる場合に限らず、様々な統計的手法を用いることができる。例えば、グルーピング部１７２は、最小二乗距離やＭ推定を用いて、分散が所定範囲内となるブロックのみをグルーピングの対象とすることができる。

【0060】

また、グルーピング部１７２は、背面２２２と側面２２４との交点に位置するブロックは、背面２２２および側面２２４のいずれにも属するブロックとして処理してもよいし、背面２２２および側面２２４のいずれか一方にのみ属するブロックとして処理してもよい。

【0061】

かかる構成により、距離画像２１４における相対距離のミスマッチングによってノイズが生じたとしても、グルーピング部１７２は、背面２２２に相当する立体物候補２２０ｈおよび側面２２４に相当する立体物候補２２０ｉを適切に特定できる。その結果、ペアリング部１７４は、グルーピングされた立体物候補２２０ｈ、２２０ｉを適切にペアリングでき、立体物の特定精度を向上することが可能となる。

【0062】

また、ここでは、ペア予測部１７６は、背面２２２と側面２２４のペアで位置を予測しているが、グルーピング部１７２が、背面２２２のグルーピングと側面２２４のグルーピングとを独立して実行している。したがって、グルーピング部１７２は、背面２２２および側面２２４をそれぞれ独立して適切に特定することができる。

【0063】

また、コンピュータを車外環境認識装置１２０として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

【0064】

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

【0065】

例えば、上述した実施形態では、先行車両が自車両１より画面右側に位置しており、グルーピング部１７２が、先行車両の左側の側面２２４を特定する例を挙げて説明した。しかし、かかる場合に限らず、先行車両が自車両１より画面左側に位置している場合、グルーピング部１７２は、先行車両の右側の側面２２４を特定することとなる。

【0066】

また、上述した実施形態では、立体物候補２２０が、背面２２２または側面２２４のいずれであるか特定されているが、ペアリング部１７４が特定するまでは、立体物候補２２０が背面２２２か側面２２４か明確に特定できない場合がある。この場合、グルーピング部１７２は、ペアとなり得る２つの立体物候補２２０をそれぞれ、左面、右面として処理してもよいし、第１面、第２面として処理してもよい。

【0067】

なお、本明細書の車外環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

【産業上の利用可能性】

【0068】

本発明は、自車両の進行方向に存在する立体物を特定する車外環境認識装置に利用することができる。

【符号の説明】

【0069】

１１０ 撮像装置
１２０ 車外環境認識装置
１７０ 位置導出部
１７２ グルーピング部
１７４ ペアリング部
１７６ ペア予測部
２２２ 背面
２２４ 側面
２３２ 予測背面線
２３４ 予測側面線

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】