特許 7514139 車外環境認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-02

(45)【発行日】2024-07-10

(54)【発明の名称】車外環境認識装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240703BHJP

   G08G 1/16 20060101ALI20240703BHJP

   B60W 40/02 20060101ALI20240703BHJP

【ＦＩ】

G06T7/00 650Z

G08G1/16 C

B60W40/02

【請求項の数】 6

(21)【出願番号】P 2020135392

(22)【出願日】2020-08-07

(65)【公開番号】P2021140723

(43)【公開日】2021-09-16

【審査請求日】2023-07-03

(31)【優先権主張番号】P 2020039047

(32)【優先日】2020-03-06

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000005348

【氏名又は名称】株式会社ＳＵＢＡＲＵ

(74)【代理人】

【識別番号】110000936

【氏名又は名称】弁理士法人青海国際特許事務所

(72)【発明者】

【氏名】倉岡 稔

【審査官】吉川 康男

(56)【参考文献】

【文献】特開２０１８－１０６５１１（ＪＰ，Ａ）

【文献】特開２０１９－１８５６４０（ＪＰ，Ａ）

【文献】特開２００７－０７３０５８（ＪＰ，Ａ）

【文献】特開２０１８－１０６７４９（ＪＰ，Ａ）

【文献】特開２０１７－２１７８０（ＪＰ，Ａ）

【文献】国際公開第２０１７／１３０６３９（ＷＯ，Ａ１）

【文献】３Ｄ－ＬｉＤＡＲとカメラを用いたリアルタイム物体位置検出，ロボティクスメカトロニクス講演会２０１８講演会論文集，2018年06月01日

【文献】An Object Detection and Classification Method using Radar and Camera Data Fusion，IEEE International Conference on Signal, Information and Data Processing (ICSIDP)，2019年12月11日，https://ieeexplore.ieee.org/abstract/document/9173452

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０８Ｇ １／１６

Ｂ６０Ｗ ４０／０２

(57)【特許請求の範囲】

【請求項1】

撮像対象の輝度を特定可能な輝度画像に基づいて第１立体物の第１幅を導出する第１幅導出部と、
撮像対象の距離を特定可能な距離画像に基づいて第２立体物の第２幅を導出する第２幅導出部と、
前記第１幅と前記第２幅とが水平方向において重複する重複幅を求め、前記重複幅／前記第１幅、および、前記重複幅／前記第２幅のうち大きい方を重複度とする重複度導出部と、
前記重複度が所定の閾値以上であれば、前記第１立体物と第２立体物とを同一の特定物と判定する特定物判定部と、
を備える車外環境認識装置。

【請求項2】

前記特定物判定部は、同一の特定物と判定した前記重複度に対する前記閾値を下げる請求項１に記載の車外環境認識装置。

【請求項3】

前記特定物判定部は、前記重複度に対する前記閾値を下げた後、同一の特定物ではないと判定した前記重複度に対する前記閾値を上げる請求項２に記載の車外環境認識装置。

【請求項4】

前記特定物判定部は、同一の特定物と判定した回数に応じて前記重複度に対する前記閾値を段階的に変化させる請求項２または３に記載の車外環境認識装置。

【請求項5】

前記特定物判定部は、ワイパーの作動有無に応じて前記閾値を変化させる請求項１から４のいずれか１項に記載の車外環境認識装置。

【請求項6】

前記特定物判定部は、自車両の速度に応じて前記閾値を変化させる請求項１から５のいずれか１項に記載の車外環境認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自車両の進行方向に存在する特定物を特定する車外環境認識装置に関する。

【背景技術】

【0002】

従来、特許文献１のように、自車両の前方に位置する先行車両を検出し、先行車両との衝突による被害を軽減したり、先行車両との車間距離を安全な距離に保つように追従制御する技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第３３４９０６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

自車両と先行車両との衝突被害を軽減したり、自車両を先行車両に追従させる追従制御を実現するためには、まず、自車両周辺に位置する立体物が車両等の特定物であるか否か判断しなくてはならない。例えば、撮像部で撮像した輝度画像内における立体物の形状を認識して先行車両と判定したり、距離画像内における立体物の相対距離や速度を認識して先行車両と判定していた。

【0005】

しかし、立体物が自車両から遠方に位置している場合、画像中における立体物自体が占有する面積が小さくなるので、輝度画像における形状や距離画像における相対距離が揺らぎ、特定物の判定精度の低下を招いていた。

【0006】

本発明は、このような課題に鑑み、特定物の判定精度を向上することが可能な、車外環境認識装置を提供することを目的としている。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明の車外環境認識装置は、撮像対象の輝度を特定可能な輝度画像に基づいて第１立体物の第１幅を導出する第１幅導出部と、撮像対象の距離を特定可能な距離画像に基づいて第２立体物の第２幅を導出する第２幅導出部と、第１幅と第２幅とが水平方向において重複する重複幅を求め、重複幅／第１幅、および、重複幅／第２幅のうち大きい方を重複度とする重複度導出部と、重複度が所定の閾値以上であれば、第１立体物と第２立体物とを同一の特定物と判定する特定物判定部と、を備える。

【0008】

特定物判定部は、同一の特定物と判定した重複度に対する閾値を下げるとしてもよい。

【0009】

特定物判定部は、重複度に対する閾値を下げた後、同一の特定物ではないと判定した重複度に対する閾値を上げるとしてもよい。

【0010】

特定物判定部は、同一の特定物と判定した回数に応じて重複度に対する閾値を段階的に変化させるとしてもよい。

【0011】

特定物判定部は、ワイパーの作動有無に応じて閾値を変化させるとしてもよい。

【0012】

特定物判定部は、自車両の速度に応じて閾値を変化させるとしてもよい。

【発明の効果】

【0013】

本発明によれば、特定物の判定精度を向上することが可能となる。

【図面の簡単な説明】

【0014】

【図1】図１は、車外環境認識システムの接続関係を示したブロック図である。

【図2】図２は、車外環境認識装置の概略的な機能を示した機能ブロック図である。

【図3】図３は、車外環境認識方法の流れを示すフローチャートである。

【図4】図４は、輝度画像および距離画像を説明するための説明図である。

【図5】図５は、重複度を説明するための説明図である。

【図6】図６は、特定物判定部で参照される閾値の求め方を説明するためのグラフである。

【図7】図７は、閾値の変化態様を説明するための説明図である。

【図8】図８は、閾値の変化態様を説明するための説明図である。

【発明を実施するための形態】

【0015】

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

【0016】

（車外環境認識システム１００）
図１は、車外環境認識システム１００の接続関係を示したブロック図である。車外環境認識システム１００は、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置１３０とを含む。

【0017】

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方の車外環境を撮像し、少なくとも輝度の情報が含まれる輝度画像（カラー画像やモノクロ画像）を生成することができる。また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する立体物を撮像した輝度画像を、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。

【0018】

また、車外環境認識装置１２０は、撮像装置１１０から取得した輝度画像や、２の輝度画像に基づく距離画像を通じて車外の境を認識する。そして、車外環境認識装置１２０は、認識した車外環境と、自車両１の走行状況とに基づいて、自車両１の走行における速度制御や舵角制御を行う。車外環境認識装置１２０については後程詳述する。

【0019】

車両制御装置１３０は、ＥＣＵ（Electronic Control Unit）で構成され、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転手の操作入力を受け付け、車軸に設けられた速度センサ１３８を参照し、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、操舵機構１４２、駆動機構１４４、制動機構１４６を制御する。また、雨天時の走行において、車両制御装置１３０は、運転手の操作に応じ、自車両１のフロントガラスおよびリアガラスの汚れや不純物を拭き取るワイパー１４８を動作させる。

【0020】

（車外環境認識装置１２０）
図２は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

【0021】

Ｉ／Ｆ部１５０は、撮像装置１１０、および、車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持する。

【0022】

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、画像取得部１６０、距離画像生成部１６２、立体物特定部１６３、第１幅導出部１６４、第２幅導出部１６６、重複度導出部１６８、特定物判定部１７０としても機能する。以下、本実施形態に特徴的な、自車両１前方の立体物を抽出し、先行車両等の特定物を判定する車外環境認識方法について、当該中央制御部１５４の各機能部の動作も踏まえて詳述する。

【0023】

（車外環境認識方法）
図３は、車外環境認識方法の流れを示すフローチャートである。車外環境認識装置１２０は、所定の割込時間毎に当該車外環境認識方法を実行する。車外環境認識方法では、まず、画像取得部１６０が、複数の輝度画像を取得する（Ｓ２００）。距離画像生成部１６２が、距離画像を生成する（Ｓ２０２）。立体物特定部１６３が、立体物を特定する（Ｓ２０３）。第１幅導出部１６４が、撮像対象の輝度を特定可能な輝度画像に基づいて第１立体物の第１幅を導出する（Ｓ２０４）。第２幅導出部１６６が、撮像対象の距離を特定可能な距離画像に基づいて第２立体物の第２幅を導出する（Ｓ２０６）。重複度導出部１６８が、第１幅と第２幅とが画像水平方向において重複する領域の幅である重複幅を求める。そして、重複度導出部１６８は、重複幅／第１幅、および、重複幅／第２幅のうち大きい方を重複度とする（Ｓ２０８）。特定物判定部１７０が、重複度が所定の閾値以上であれば、第１立体物と第２立体物とを同一の特定物と判定する（Ｓ２１０）。以下、車外環境認識方法の各処理について詳細に説明し、本実施形態の特徴と無関係な処理については説明を省略する。なお、本実施形態において「／」は除算を意味し、例えば、重複幅／第１幅は、重複幅を第１幅で除算することを示す。

【0024】

（画像取得処理Ｓ２００）
図４（図４Ａ～図４Ｃ）は、輝度画像および距離画像を説明するための説明図である。画像取得部１６０は、撮像装置１１０で光軸を異として撮像された複数（ここでは２）の輝度画像をそれぞれ取得する。ここで、画像取得部１６０は、輝度画像１８０として、図４Ａに示す、自車両１の比較的右側に位置する撮像装置１１０で撮像された第１輝度画像１８０ａと、図４Ｂに示す、自車両１の比較的左側に位置する撮像装置１１０で撮像された第２輝度画像１８０ｂとを取得したとする。

【0025】

図４を参照すると、撮像装置１１０の撮像位置の違いから、第１輝度画像１８０ａと第２輝度画像１８０ｂとで、画像に含まれる立体物の画像位置が水平方向に異なるのが理解できる。ここで、水平は、撮像した画像の画面横方向を示し、垂直は、撮像した画像の画面縦方向を示す。

【0026】

（距離画像生成処理Ｓ２０２）
距離画像生成部１６２は、画像取得部１６０が取得した、図４Ａに示す第１輝度画像１８０ａと、図４Ｂに示す第２輝度画像１８０ｂとに基づいて、図４Ｃのような、撮像対象の距離を特定可能な距離画像１８２を生成する。

【0027】

具体的に、距離画像生成部１６２は、所謂パターンマッチングを用いて視差、および、任意のブロックの画像内の位置を示す画像位置を含む視差情報を導出する。具体的に、一方の輝度画像（ここでは第１輝度画像１８０ａ）から任意に抽出したブロックに対応するブロックを他方の輝度画像（ここでは第２輝度画像１８０ｂ）から検索する。ここで、ブロックは、例えば、水平４画素×垂直４画素の配列で表される。また、パターンマッチングは、一方の輝度画像から任意に抽出したブロックに対応するブロックを他方の輝度画像から検索する手法である。

【0028】

例えば、パターンマッチングにおけるブロック間の一致度を評価する関数として、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。

【0029】

距離画像生成部１６２は、このようなブロック単位の視差導出処理を、例えば、６００画素×２００画素の検出領域に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。

【0030】

ただし、距離画像生成部１６２は、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような立体物の一部であるかを認識できない。したがって、視差情報は、立体物単位ではなく、検出領域における検出分解能単位、例えばブロック単位で独立して導出されることとなる。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。

【0031】

距離画像生成部１６２は、距離画像１８２におけるブロック毎の視差情報を、所謂ステレオ法を用いて三次元の位置情報に変換し、相対距離を導出する。ここで、ステレオ法は、三角測量法を用いることで、ブロックの視差からそのブロックの撮像装置１１０に対する相対距離を導出する方法である。

【0032】

車外環境認識装置１２０では、このように導出された輝度画像１８０および距離画像１８２を通じて車外環境を認識し、例えば、自車両１より前方の立体物を、先行車両等の特定物と判定する。しかし、図４Ａにおける立体物１８４、および、図４Ｃにおける立体物１８６が自車両１から遠方に位置している場合、画像中における立体物自体が占有する面積が小さく、輝度画像１８０における形状や距離画像１８２における相対距離が揺らぐので、特定物の判定精度の低下を招いていた。そこで、輝度画像１８０および距離画像１８２それぞれで特定された立体物同士が重複する重複度を導出し、その重複度に応じて両立体物が同一の特定物であるか否か判定する。

【0033】

（立体物特定処理Ｓ２０３）
立体物特定部１６３は、まず、自車両１前方の路面を特定する。そして、立体物特定部１６３は、特定した路面の鉛直上方に高さを有する立体物を特定する。具体的に、立体物特定部１６３は、路面からの高さが所定距離（例えば０．３ｍ）以上に位置するブロックを、路面から高さ方向に突出している立体物の候補とする。立体物特定部１６３は、路面の鉛直上方に高さを有する立体物の候補とされた複数のブロックのうち、自車両１との相対距離が等しいブロックをグループ化し、立体物として特定する。

【0034】

（第１幅導出処理Ｓ２０４）
第１幅導出部１６４は、２つの輝度画像１８０のうちいずれか一方、例えば、第１輝度画像１８０ａ中の所定の立体物１８４（第１立体物）の水平方向の幅である第１幅を導出する。第１幅は、例えば、ピクセル数や距離の換算値で表される。

【0035】

なお、輝度画像１８０から立体物を抽出する際には機械学習技術が用いられる。例えば、輝度画像１８０のエッジパターンおよび時間的変化を入力とし、一体形成されているとみなすことができる立体物を出力する。かかる機械学習技術は、既存の様々な技術を適用できるので、ここでは、その詳細な説明を省略する。

【0036】

（第２幅導出処理Ｓ２０６）
第２幅導出部１６６は、距離画像１８２中の所定の立体物１８６（第２立体物）の水平方向の幅である第２幅を導出する。第２幅は、例えば、ピクセル数や距離の換算値で表される。

【0037】

ここでは、第１幅導出部１６４および第２幅導出部１６６のいずれもが、立体物１８４、１８６の水平方向の幅を導出している。これは以下の理由による。自車両１は、道路の凹凸により、ピッチ方向およびロール方向に揺動するおそれがある。一方、ヨー方向は、ピッチ方向およびロール方向ほど揺動しない。したがって、安定したヨー方向に相当する水平方向の幅を対象とすることで、特定物の判定精度を向上することができる。なお、平坦な道路では、ヨー方向に相当する水平方向の幅に代えて、または、加えて、ピッチ方向に相当する垂直方向の幅を対象とすることができるのは言うまでもない。

【0038】

（重複度導出処理Ｓ２０８）
図５（図５Ａ～図５Ｆ）は、重複度を説明するための説明図である。重複度導出部１６８は、まず、第１幅導出部１６４が導出した第１幅１９０と、第２幅導出部１６６が導出した第２幅１９２とを取得し、第１幅と第２幅とが画像水平方向において重複する領域の幅である重複幅１９４を導出する。

【0039】

図５Ａ～図５Ｃでは、立体物１８４の第１幅１９０の方が、立体物１８６の第２幅１９２より長い。図５Ａでは、水平方向において立体物１８６が立体物１８４に含まれている。したがって、重複幅１９４は、第２幅１９２と等しくなる。図５Ｂでは、水平方向において立体物１８４と立体物１８６とのそれぞれ一部が重複している。したがって、重複幅１９４は、第１幅１９０および第２幅１９２より短くなる。図５Ｃでは、水平方向において立体物１８４と立体物１８６とが重複していない。したがって、重複幅１９４は０となる。

【0040】

図５Ｄ～図５Ｆでは、立体物１８４の第１幅１９０の方が、立体物１８６の第２幅１９２より短い。図５Ｄでは、水平方向において立体物１８４が立体物１８６に含まれている。したがって、重複幅１９４は、第１幅１９０と等しくなる。図５Ｅでは、水平方向において立体物１８４と立体物１８６とのそれぞれ一部が重複している。したがって、重複幅１９４は、第１幅１９０および第２幅１９２より短くなる。図５Ｆでは、水平方向において立体物１８４と立体物１８６とが重複していない。したがって、重複幅１９４は０となる。

【0041】

続いて、重複度導出部１６８は、重複幅が０以外の値を示す場合、すなわち、少なくとも重複していると判定した場合、重複幅１９４／第１幅１９０、および、重複幅１９４／第２幅１９２を導出し、重複幅１９４／第１幅１９０、および、重複幅１９４／第２幅１９２のうち大きい方を重複度とする。

【0042】

図５Ａの例では、重複幅１９４／第１幅１９０<重複幅１９４／第２幅１９２なので、重複度は重複幅１９４／第２幅１９２（＝１）となる。図５Ｂの例では、重複幅１９４／第１幅１９０<重複幅１９４／第２幅１９２なので、重複度は重複幅１９４／第２幅１９２となる。図５Ｃの例では、重複幅１９４が０なので、すなわち、重複していないので、重複度も０となる。

【0043】

図５Ｄの例では、重複幅１９４／第１幅１９０>重複幅１９４／第２幅１９２なので、重複度は重複幅１９４／第１幅１９０（＝１）となる。図５Ｅの例では、重複幅１９４／第１幅１９０>重複幅１９４／第２幅１９２なので、重複度は重複幅１９４／第１幅１９０となる。図５Ｆの例では、重複幅１９４が０なので、すなわち、重複していないので、重複度も０となる。

【0044】

（特定物判定処理Ｓ２１０）
特定物判定部１７０は、閾値を参照して、立体物１８４と立体物１８６とが同一の特定物であるか否か判定する。

【0045】

図６は、特定物判定部１７０で参照される閾値の求め方を説明するためのグラフである。図６のグラフにおける横軸は相対距離を示し、縦軸は重複度を示す。ここで、重複度は０～１の範囲で表される。かかる重複度グラフは予め準備される。

【0046】

例えば、自車両１が、事前に、所定の地域において走行し、その間に抽出した複数の立体物のうち車両に相当する特定物のみを特定して、その相対距離と重複度の実測値をプロットする。そうすると、図６の点群を得ることができる。ここでは、相対距離が長くなる程、重複度として小さい値が生じることが理解できる。図６において、全ての相対距離における点群の下限値以下となる直線が生成される。かかる直線が閾値１９６となる。したがって、閾値１９６は、相対距離の一次関数として表すことができる。なお、全ての相対距離における点群の下限値以下であれば、閾値１９６は、直線に限らず曲線、すなわち複数次の関数で表されてもよい。なお、ここでは、自車両１自体が、相対距離と重複度の実測値をプロットする例を挙げて説明したが、かかる場合に限らず、他の車両でプロットした相対距離と重複度の実測値を自車両１に反映するとしてもよい。

【0047】

特定物判定部１７０は、このようにして準備された閾値１９６を参照し、重複度導出部１６８が導出した立体物１８４と立体物１８６とが位置する相対距離における立体物１８４と立体物１８６との重複度が閾値１９６以上であれば、立体物１８４と立体物１８６とが同一の特定物であると判定する。

【0048】

ここでは、立体物１８４と立体物１８６とが同一の特定物であることを厳格に判定するために、閾値１９６として高い値を採用している。しかし、立体物１８４と立体物１８６とが同一の特定物であると判定した後にまで、閾値１９６を高くする必要はない。そこで、ヒステリシス機能を設け、一旦、同一の特定物と判定されれば、重複度が多少低下しても、同一の特定物として判定し続けられるようにする。

【0049】

図７、図８は、閾値１９６の変化態様を説明するための説明図である。具体的に、特定物判定部１７０は、立体物１８４と立体物１８６とを同一の特定物と判定すると、その立体物１８４と立体物１８６との重複度を比較する閾値１９６を、例えば、図７において破線で示した閾値１９６ａから、一点鎖線で示した閾値１９６ｂに下げる。

【0050】

こうして、同一の特定物と判定された立体物１８４と立体物１８６との重複度が閾値１９６ａ近傍で揺動したとしても、少なくとも閾値１９６ｂ以上となるので、その後も継続して同一の特定物と判定され易くなる。したがって、安定して特定物を判定することが可能となる。

【0051】

なお、特定物判定部１７０は、連続して同一の特定物と判定した回数を計数する。そして、特定物判定部１７０は、同一の特定物と判定した回数に応じて重複度に対する閾値１９６を、図７において破線で示した閾値１９６ａ→一点鎖線で示した閾値１９６ｂ→実線で示した閾値１９６ｃといったように予め準備された複数段階の閾値を段階的に下げてもよい。

【0052】

具体的に、閾値１９６ａにより、所定回数（例えば、１０回）、同一の特定物と判定されると、特定物判定部１７０は、同一の特定物と判定された立体物１８４と立体物１８６との重複度に対する閾値１９６を、例えば、図７の閾値１９６ａから閾値１９６ｂに下げる。さらに、閾値１９６ｂにより、所定回数（例えば、１０回）、同一の特定物と判定されると、特定物判定部１７０は、同一の特定物と判定された立体物１８４と立体物１８６との重複度に対する閾値１９６を、例えば、図７の閾値１９６ｂから閾値１９６ｃに下げる。

【0053】

こうして、立体物１８４と立体物１８６とが、同一の特定物と判定されると、閾値１９６が段階的に低くなり、その後も継続して同一の特定物と判定され易くなる。したがって、より安定して特定物を判定することが可能となる。

【0054】

また、閾値１９６が下げられているにも拘わらず、重複度が閾値１９６未満となり、立体物１８４と立体物１８６とが同一の特定物ではないと判定されれば、最早、その閾値１９６を維持すべきではない。そこで、同一の特定物と判定されなくなった場合にもヒステリシス機能を設け、一旦、同一の特定物ではないと判定され、重複度が高まらなければ、同一の特定物として判定しないこととする。

【0055】

具体的に、特定物判定部１７０は、閾値１９６が図８において実線で示した閾値１９６ｃであった場合に、立体物１８４と立体物１８６とを同一の特定物ではないと判定すると、その立体物１８４と立体物１８６との重複度を比較する閾値１９６を、例えば、閾値１９６ｃから、図８において一点鎖線で示した閾値１９６ｂに上げる。

【0056】

こうして、同一の特定物ではないと判定された立体物１８４と立体物１８６との重複度が閾値１９６ｃ以上となったとしても、少なくとも閾値１９６ｂ以上となるまで、同一の特定物と判定され難くなる。したがって、特定物ではない立体物を安定して排除できる。

【0057】

なお、特定物判定部１７０は、同一の特定物ではないと判定した回数に応じて重複度に対する閾値１９６を、図８において実線で示した閾値１９６ｃ→一点鎖線で示した閾値１９６ｂ→破線で示した閾値１９６ａといったように段階的に上げてもよい。

【0058】

同一の特定物と判定された立体物１８４と立体物１８６が、閾値１９６ｃにより、所定回数（例えば、１０回）、同一の特定物ではないと判定されると、特定物判定部１７０は、同一の特定物と判定された立体物１８４と立体物１８６との重複度に対する閾値１９６を、例えば、図８の閾値１９６ｃから閾値１９６ｂに上げる。さらに、閾値１９６ｂにより、所定回数（例えば、１０回）、同一の特定物ではないと判定されると、特定物判定部１７０は、同一の特定物と判定された立体物１８４と立体物１８６との重複度に対する閾値１９６を、例えば、図８の閾値１９６ｂから閾値１９６ａに上げる。

【0059】

こうして、同一の特定物と判定された立体物１８４と立体物１８６とが、同一の特定物ではないと判定されると、閾値１９６が段階的に高くなり、その後も同一の特定物と判定され難くなる。したがって、特定物ではない立体物をより安定して排除できる。

【0060】

なお、降雨時における走行では、撮像装置１１０前方の例えばフロントガラスやレンズに雨滴が付着し輝度画像１８０や距離画像１８２がぼやける場合がある。その場合、立体物１８４と立体物１８６との重複度が本来の値より小さくなる場合がある。そうすると、特定物判定部１７０は、本来、同一の特定物と判定すべき立体物１８４と立体物１８６とを、同一の特定物ではないと判定するおそれがある。そこで、特定物判定部１７０は、雨滴の付着が想定される場合、例えば、ワイパー１４８が作動している場合、ワイパー１４８が作動していない場合より閾値１９６を下げるとしてもよい。かかる構成により、降雨時の走行においても、特定物を適切に判定することが可能となる。

【0061】

また、自車両１の速度が高いと、遠くに位置する特定物としての先行車両をより適切に判定しなければならないが、自車両１の速度が低いと、自車両１の速度が高い場合ほど確実に判定しなくてもよい。そこで、特定物判定部１７０は、自車両１の速度に応じて閾値１９６を変化させる。例えば、速度センサ１３８で検出された自車両１の速度が高いと、速度が低いときに比べ閾値１９６を上げ、自車両１の速度が低いと、速度が高いときに比べ閾値１９６を下げる。ここで、自車両１の速度に比例して線形的に、または、段階的に閾値１９６を変化させてもよい。こうして、自車両１の速度に拘わらず、特定物を適切に判定することが可能となる。

【0062】

そして、特定物判定部１７０は、重複度が所定の閾値以上となった同一の特定物が、いずれの特定物であるか特定する。例えば、特定物判定部１７０は、まず、距離画像１８２において、路面からの高さが所定距離以上に位置する複数のブロックのうち自車両１との相対距離が等しく、かつ、互いに垂直方向および水平方向の距離が近いブロックをグループ化し、例えば、先行車両の候補とする。次に、特定物判定部１７０は、このように特定した立体物全てを含む第１輝度画像１８０ａにおける矩形の領域を立体物領域として特定する。ここで、矩形は、垂直方向に延伸し、立体物の左右エッジにそれぞれ接する２本の直線、および、水平方向に延伸し、立体物の上下エッジにそれぞれ接する２本の直線で構成される。

【0063】

特定物判定部１７０は、このように形成された立体物領域に含まれる特定物を、車両らしさを示す様々な条件に基づいて、先行車両と特定する。このように、立体物領域が先行車両と特定されると、車外環境認識装置１２０は、先行車両との衝突による被害を軽減したり、先行車両との車間距離を安全な距離に保つように制御する。

【0064】

また、特定物判定部１７０は、同一の特定物と判定した立体物１８４と立体物１８６の位置および速度をデータ保持部１５２に記憶し、位置や速度に基づいて立体物１８４および立体物１８６を追跡する。こうして、特定物判定部１７０は、前回のフレームで同一の特定物と判定された立体物１８４や立体物１８６を特定することが可能となる。

【0065】

本実施形態では、輝度画像および距離画像を用い、それぞれにおける立体物の重複度に応じて同一の特定物であるか否かを判定する構成により、特定物の判定精度を向上することが可能となる。

【0066】

また、コンピュータを車外環境認識装置１２０として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

【0067】

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

【0068】

例えば、上述した実施形態では、自車両１の前方の特に遠くに位置する特定物としての先行車両を判定する例を挙げて説明したが、かかる場合に限らず、近傍に位置する特定物にも適用できることは言うまでもない。

【0069】

また、上述した実施形態では、２つの撮像装置１１０で撮像された２つの輝度画像１８０を用い、その一方である第１輝度画像１８０ａと、両方に基づく距離画像１８２とを利用する例を挙げて説明した。しかし、輝度画像１８０と距離画像１８２とは、それぞれ独立して取得されてもよく、例えば、３つの撮像装置１１０の１の撮像装置１１０から輝度画像１８０を、２の撮像装置１１０から距離画像１８２を導出するとしてもよい。

【0070】

なお、本明細書の車外環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

【産業上の利用可能性】

【0071】

本発明は、自車両の進行方向に存在する特定物を特定する車外環境認識装置に利用することができる。

【符号の説明】

【0072】

１１０ 撮像装置
１２０ 車外環境認識装置
１３０ 車両制御装置
１６４ 第１幅導出部
１６６ 第２幅導出部
１６８ 重複度導出部
１７０ 特定物判定部
１８０ 輝度画像
１８２ 距離画像
１９０ 第１幅
１９２ 第２幅
１９４ 重複幅
１９６ 閾値

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】