特許 5906224 車外環境認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5906224

(24)【登録日】2016年3月25日

(45)【発行日】2016年4月20日

(54)【発明の名称】車外環境認識装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20160407BHJP

   G06T 7/60 20060101ALI20160407BHJP

   B60R 1/00 20060101ALI20160407BHJP

   B60R 21/00 20060101ALI20160407BHJP

【ＦＩ】

   G08G1/16 C

   G06T7/60 250A

   B60R1/00 A

   B60R21/00 624C

【請求項の数】4

【全頁数】13

(21)【出願番号】特願2013-202629(P2013-202629)

(22)【出願日】2013年9月27日

(65)【公開番号】特開2015-69381(P2015-69381A)

(43)【公開日】2015年4月13日

【審査請求日】2014年4月16日

(73)【特許権者】

【識別番号】000005348

【氏名又は名称】富士重工業株式会社

(74)【代理人】

【識別番号】110000936

【氏名又は名称】特許業務法人青海特許事務所

(72)【発明者】

【氏名】笠置 誠佑

【審査官】 田中 純一

(56)【参考文献】

【文献】 特開２０１２−１１８６９８（ＪＰ，Ａ）

【文献】 特開２０１２−２４３０４９（ＪＰ，Ａ）

【文献】 特開２００８−００５３９９（ＪＰ，Ａ）

【文献】 特開２０１５−０６９３８０（ＪＰ，Ａ）

【文献】 特開２０１３−１８６６６８（ＪＰ，Ａ）

【文献】 特開２００５−０７９９９９（ＪＰ，Ａ）

【文献】 特開平０９−０７３５４１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００ − ９９／００

Ｂ６０Ｒ １／００ − １／０４

Ｂ６０Ｒ １／０８ − １／１２

Ｂ６０Ｒ ２１／００ − ２１／１３

Ｇ０６Ｔ ７／００ − ７／６０

(57)【特許請求の範囲】

【請求項1】

検出領域を撮像した画像における複数の対象部位の実空間における３次元位置を導出する３次元位置導出部と、
前記３次元位置の差分が所定範囲内にある対象部位同士をグループ化して対象物を特定する対象物特定部と、
前記対象物を含む領域を水平方向に分割して複数の分割領域を設定し、当該分割領域毎に、分割領域内の各画素の輝度値に基づいて、エッジ強度の平均値であるエッジ平均を導出するエッジ強度導出部と、
前記エッジ平均と予め定められた閾値とを比較し、該エッジ平均が該閾値未満の場合、当該対象物は浮遊物らしいものとして特定する浮遊物特定部と、
を備えることを特徴とする車外環境認識装置。

【請求項2】

前記エッジ強度導出部は、前記分割領域内に設定された所定の複数の判定部位内の各画素の輝度値に基づいてエッジ平均を導出するものであって、前記所定の複数の判定部位は、水平方向に所定数連続した状態で、前記対象物の水平方向端部側に偏り、かつ、垂直方向に均等に離隔していることを特徴とする請求項１に記載の車外環境認識装置。

【請求項3】

前記判定部位は画素であり、
前記エッジ強度導出部は、前記判定部位に対応する画素と、該判定部位から水平方向に連なる左右２画素とを対象としたラプラシアンフィルタを用いてエッジ強度を導出することを特徴とする請求項１または２に記載の車外環境認識装置。

【請求項4】

前記エッジ強度導出部は、フレーム単位で前記エッジ平均を導出し、時間的に連続する３フレーム分のエッジ平均のうちメディアンフィルタを用いた中央値を該エッジ平均とみなすことを特徴とする請求項１から３のいずれか１項に記載の車外環境認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検出領域に存在する対象物がいずれの特定物に対応するかを特定する車外環境認識装置に関する。

【背景技術】

【0002】

従来、自車両の前方に位置する車両等の特定物を検出し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１、２）。

【0003】

ところで、特に寒冷地や標高が高い場所等では、道路上方に水蒸気の塊が浮遊していたり、先行車両の排気管から白い排気ガスが排出され、すぐには拡散せずに滞留することがある。上述したような車両の制御技術では、水蒸気や排気ガス等の浮遊物を車両や歩行者等の特定物と誤判断し、これらを回避するための停止や減速の制御が作動するおそれがある。

【0004】

そこで、検出した物体の各部分の距離の平均値に対するばらつき（分散）量を算出し、ばらつき量が閾値を超えると、その検出した物体は、水蒸気や排気ガス等接触してもよい浮遊物であると判断する技術が公開されている（例えば、特許文献３）。また、検出領域内の対象部位を相対距離に基づいて対象物としてグループ化し、対象物の輝度のヒストグラムに対する輝度の平均値、分散値、歪度、または尖度のいずれか１または複数の特徴量に基づいて対象物が白色の浮遊物であるか否か判断する技術も開示されている（例えば、特許文献４）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第３３４９０６０号公報

【特許文献2】特開２０１０−２２４９２５号公報

【特許文献3】特開２００９−１１０１６８号公報

【特許文献4】特開２０１２−２４３０４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、例えば、無風状態において、水蒸気や排気ガス等の浮遊物が道路上に滞留（停滞）する場合がある。この場合、浮遊物の各部分の距離のばらつきが小さくなるので、特許文献３の技術では浮遊物と特定物とを区別するのは難しい。また、浮遊物が取り得る距離の分布のパターンは多岐に渡るため、ばらつきだけでは、浮遊物に特徴的な距離の分布を的確に捉えることができず、浮遊物の検出精度は比較的低い値となる。

【0007】

また、例えば、浮遊物に信号機の発光色や街灯が反射し、浮遊物が色合いを帯びている場合に、特許文献４のように白色を判定する技術のみでは、浮遊物の検出精度が高まらない場合があった。

【0008】

本発明は、このような課題に鑑み、水蒸気や排気ガス等の浮遊物を精度よく検出することが可能な、車外環境認識装置を提供することを目的としている。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明の車外環境認識装置は、検出領域を撮像した画像における複数の対象部位の実空間における３次元位置を導出する３次元位置導出部と、３次元位置の差分が所定範囲内にある対象部位同士をグループ化して対象物を特定する対象物特定部と、対象物を含む領域を水平方向に分割して複数の分割領域を設定し、当該分割領域毎に、分割領域内の各画素の輝度値に基づいて、エッジ強度の平均値であるエッジ平均を導出するエッジ強度導出部と、エッジ平均と予め定められた閾値とを比較し、エッジ平均が閾値未満の場合、当該対象物は浮遊物らしいものとして特定する浮遊物特定部と、を備えることを特徴とする。

【0010】

エッジ強度導出部は、分割領域内に設定された所定の複数の判定部位内の各画素の輝度値に基づいてエッジ平均を導出するものであって、所定の複数の判定部位は、水平方向に所定数連続した状態で、対象物の水平方向端部側に偏り、かつ、垂直方向に均等に離隔しているとしてもよい。

【0011】

判定部位は画素であり、エッジ強度導出部は、判定部位に対応する画素と、判定部位から水平方向に連なる左右２画素とを対象としたラプラシアンフィルタを用いてエッジ強度を導出してもよい。

【0012】

エッジ強度導出部は、フレーム単位でエッジ平均を導出し、時間的に連続する３フレーム分のエッジ平均のうちメディアンフィルタを用いた中央値をエッジ平均とみなしてもよい。

【発明の効果】

【0013】

本発明によれば、水蒸気や排気ガス等の浮遊物を精度よく検出することが可能となる。

【図面の簡単な説明】

【0014】

【図1】環境認識システムの接続関係を示したブロック図である。

【図2】車外環境認識装置の概略的な機能を示した機能ブロック図である。

【図3】輝度画像と距離画像を説明するための説明図である。

【図4】判定部位を説明するための説明図である。

【図5】エッジ強度導出部の動作を説明するための説明図である。

【図6】閾値を説明するための説明図である。

【図7】車外環境認識方法の全体的な処理の流れを示したフローチャートである。

【図8】車外環境認識方法の全体的な処理の流れを示したフローチャートである。

【図9】車外環境認識方法の全体的な処理の流れを示したフローチャートである。

【発明を実施するための形態】

【0015】

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

【0016】

近年では、車両に搭載した車載カメラによって自車両の前方の道路環境を撮像し、画像内における色情報や位置情報に基づいて先行車両等の対象物を特定し、特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ（ＡＣＣ：Adaptive Cruise Control）、所謂衝突防止機能を搭載した車両が普及しつつある。しかし、画像を用いて単純に特定物を特定したとすると、道路上に滞留する水蒸気や排気ガス等の浮遊物を、車両や歩行者といった特定物と誤認識する場合も生じ得る。

【0017】

ここで、浮遊物特有の距離のばらつきや白さに基づいて浮遊物を特定することも考えられるが、無風状態で距離のばらつきが小さかったり、浮遊物に信号機の発光色や街灯が反射して白色ではなくなっている場合には、その特定精度が高まらない場合がある。そこで、本実施形態では、浮遊物において、その色合いが単調にしか変化せず、すなわち模様が少なく、エッジの強度（輝度差分値）が通常の特定物に対して比較的低くなることに着目し、エッジ強度に応じて浮遊物を検出することを目的としている。以下、このような目的を達成するための環境認識システムを説明し、その具体的な構成要素である車外環境認識装置を詳述する。

【0018】

（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

【0019】

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方に相当する環境を撮像し、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなるカラー画像やモノクロ画像を生成することができる。ここでは、撮像装置１１０で撮像されたカラー画像を輝度画像として採用し、後述する距離画像と区別する。

【0020】

また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、認識する対象物は、車両、歩行者、信号機、道路（進行路）、ガードレール、建物といった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の一部として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機としてフレーム毎に各処理を遂行する。

【0021】

車外環境認識装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、所謂パターンマッチングを用いて視差を導き出し、導出された視差情報（後述する奥行距離に相当）を画像データに対応付けて距離画像を生成する。輝度画像および距離画像については後ほど詳述する。また、車外環境認識装置１２０は、輝度画像に基づく輝度、および、距離画像に基づく自車両１との奥行距離を用いて自車両１前方の検出領域における対象物がいずれの特定物に対応するかを特定する。

【0022】

車外環境認識装置１２０は、特定物を特定すると、その特定物（例えば、先行車両）を追跡しつつ、特定物と自車両１とが衝突する可能性が高いか否かの判定を行う。ここで、衝突の可能性が高いと判定した場合、車外環境認識装置１２０は、その旨、運転者の前方に設置されたディスプレイ１２２を通じて運転者に警告表示（報知）を行うとともに、車両制御装置１３０に対して、その旨を示す情報を出力する。

【0023】

車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転者の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、駆動機構、制動機構を制御する。

【0024】

以下、車外環境認識装置１２０に構成について詳述する。ここでは、本実施形態に特徴的な、対象物を浮遊物と特定する手順について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。

【0025】

（車外環境認識装置１２０）
図２は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

【0026】

Ｉ／Ｆ部１５０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信した画像データを一時的に保持する。

【0027】

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、画像処理部１６０、３次元位置導出部１６２、対象物特定部１６４、判定部位決定部１６６、エッジ強度導出部１６８、浮遊物特定部１７０としても機能する。以下、このような機能部について大凡の目的を踏まえ、画像処理、対象物特定処理、浮遊物特定処理といった順に詳細な動作を説明する。

【0028】

（画像処理）
画像処理部１６０は、２つの撮像装置１１０それぞれから画像データを取得し、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、「水平」は画面横方向を示し、「垂直」は画面縦方向を示す。

【0029】

このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度（Ｙ色差信号）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理部１６０は、このようなブロック単位の視差導出処理を検出領域（例えば水平６００画素×垂直１８０画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを水平４画素×垂直４画素としているが、ブロック内の画素数は任意に設定することができる。

【0030】

ただし、画像処理部１６０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（後述する奥行距離に相当）を画像データに対応付けた画像を距離画像という。

【0031】

図３は、輝度画像２１０と距離画像２１２を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域２１４について図３（ａ）のような輝度画像（画像データ）２１０が生成されたとする。ただし、ここでは、理解を容易にするため、撮像装置１１０それぞれが生成した２つの輝度画像２１０の一方のみを模式的に示している。本実施形態において、画像処理部１６０は、このような輝度画像２１０からブロック毎の視差を求め、図３（ｂ）のような距離画像２１２を形成する。距離画像２１２における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。

【0032】

図２に戻って説明すると、３次元位置導出部１６２は、画像処理部１６０で生成された距離画像２１２に基づいて検出領域２１４内のブロック毎の視差情報を、所謂ステレオ法を用いて、水平距離、高さおよび奥行距離を含む実空間における３次元の位置情報に変換する。ここで、ステレオ法は、三角測量法を用いることで、対象部位の距離画像２１２における視差からその対象部位の撮像装置１１０に対する奥行距離を導出する方法である。このとき、３次元位置導出部１６２は、対象部位の奥行距離と、対象部位と同奥行距離にある道路表面上の点と対象部位との距離画像２１２上の検出距離とに基づいて、対象部位の道路表面からの高さを導出する。そして、導出された３次元位置情報を改めて距離画像２１２に対応付ける。かかる奥行距離の導出処理や３次元位置の特定処理は、様々な公知技術を適用できるので、ここでは、その説明を省略する。

【0033】

（対象物特定処理）
対象物特定部１６４は、距離画像２１２に基づく３次元の位置情報を用いて検出領域２１４における対象部位（画素やブロック）同士をグループ化して対象物を特定する。具体的に、対象物特定部１６４は、任意の対象部位を基点として、その対象部位と、水平距離の差分、高さの差分、および、奥行距離の差分が予め定められた所定範囲内にある他の対象部位をグループ化し、その対象部位も一体的な対象物とする。ここで、所定範囲は実空間上の距離で表され、任意の値（例えば、１．０ｍ等）に設定することができる。また、対象物特定部１６４は、グループ化により新たに追加された対象部位に関しても、その対象部位を基点として、水平距離の差分、高さの差分、および、奥行距離の差分が所定範囲内にある他の対象部位をグループ化する。結果的に、距離が所定範囲内であれば、それら全ての対象部位が対象物としてグループ化されることとなる。

【0034】

（浮遊物特定処理）
続いて、対象物におけるエッジ強度が導出され、その結果に基づいて対象物が浮遊物であるか否か判定される。

【0035】

判定部位決定部１６６は、浮遊物であるか否かを判定する対象物に対して、さらに、エッジ強度の判定対象となる部位（以下、判定部位という。）を決定する。

【0036】

図４は、判定部位を説明するための説明図である。判定部位決定部１６６は、まず、図４（ａ）のように、対象物の水平方向および垂直方向の端点を含む長方形２２０で対象物を囲い、水平方向に均等に３分割した領域（画面左から順に分割領域２２２ａ、２２２ｂ、２２２ｃとする。）を設定する。以後の処理は、このような分割領域２２２ａ、２２２ｂ、２２２ｃ毎に行われる。

【0037】

判定部位決定部１６６は、図４（ｂ）に示すように、分割領域２２２ａ、２２２ｂ、２２２ｃ毎に複数（ここでは２５個）の短冊２２４を設定する。短冊２２４は、水平方向に延長され、垂直方向に略均等に離隔して配される。かかる短冊２２４の水平方向の長さは例えば２５画素であり、垂直方向の長さは例えば１画素である。ここで、垂直方向に略均等としたのは、対象物の垂直方向の画素数によっては、短冊２２４を均等に離隔させることで画素に端数がでるからである。例えば、分割領域２２２ａ、２２２ｂ、２２２ｃの垂直方向の長さが２５＋２４×ｎ（ｎは整数）であれば、短冊２２４同士を垂直方向にｎ画素空けることで均等に配することができるが、それ以外であれば、短冊２２４同士の間隔が等しくないものが生じる。この場合、１画素異なる範囲で短冊２２４同士の間隔を設定する。例えば、対象物の垂直方向の画素が１００であれば、間隔は、３と４とが存在することとなる。ただし、短冊２２４の水平方向や垂直方向の画素数、および分割領域２２２ａ、２２２ｂ、２２２ｃ毎の短冊２２４の数は上述した値に限らず、任意の値を設定することができる。

【0038】

また、短冊２２４の分割領域２２２ａ、２２２ｂ、２２２ｃ内における水平方向の位置は分割領域２２２ａ、２２２ｂ、２２２ｃ毎に異ならせ、例えば、対象物の水平方向端部側に偏らせることができる。例えば、図４（ｂ）に示すように、画面左に位置する分割領域２２２ａでは、分割領域２２２ａの左端から短冊２２４が形成され、画面右に位置する分割領域２２２ｃでは、分割領域２２２ｃの右端から短冊２２４が形成され、画面中央に位置する分割領域２２２ｂでは、分割領域２２２ｂのうち水平方向の中央を中心に、左右に均等な幅となるように短冊２２４が形成される。本実施形態においては、このように形成された短冊２２４中の各画素が判定部位となる。こうすることで、エッジが生じやすい水平方向の端部を含んだ状態で、対象物の輝度値の分布を全体に亘って判定することができる。

【0039】

エッジ強度導出部１６８は、まず、判定部位決定部１６６が決定した判定部位に対し、ラプラシアンフィルタを用いて隣接する画素同士の輝度差分値を導出し、それをエッジ強度とする。

【0040】

図５は、エッジ強度導出部１６８の動作を説明するための説明図である。ここでは、図５（ａ）に示すように、図４（ｂ）のいずれか１の短冊２２４を例に挙げてエッジ強度の導出処理を説明する。本実施形態におけるラプラシアンフィルタでは、対象となる判定部位に対応する画素２３０のエッジ強度を、図５（ｂ）の如く、判定部位に対応する画素２３０と、その画素から水平方向に連なる左右２画素２３２とから求める。したがって、図５（ｂ）に示すように、１の短冊２２４において連続する２５画素の判定部位に対するエッジ強度を求めるため、短冊２２４の左右２画素２３２を合わせた２９画素が必要となる。

【0041】

そして、エッジ強度導出部１６８は、判定部位に対応する画素２３０の輝度値を４倍し、その左右２画素（合わせて４画素）２３２それぞれの輝度値を減じる（−１倍）。このような計算により、対象となる判定部位に対応する画素２３０と、その左右２画素２３２とで輝度値が異なる場合、エッジ強度は大きくなり、輝度値がほぼ等しい場合、エッジ強度は０に近い値になる。このようなエッジ強度計算を２５画素×２５短冊×３分割領域＝１８７５回行う。本実施形態では、対象物の大きさに拘わらず、判定部位の数を固定することで、処理負荷および処理時間の変動を抑制している。

【0042】

続いて、エッジ強度導出部１６８は、分割領域２２２ａ、２２２ｂ、２２２ｃ毎のエッジ強度の平均値を導出する。すなわち、左中右の３つの分割領域２２２ａ、２２２ｂ、２２２ｃそれぞれに含まれる２５画素／短冊×２５短冊＝６２５画素の判定部位のエッジ強度をすべて積算し、その数（６２５）で除算する。すると、３つの分割領域２２２ａ、２２２ｂ、２２２ｃ毎にエッジ強度の平均値（以下、エッジ平均という。）が１つ導出される。こうして導出されたエッジ平均が浮遊物の判定に用いられる。

【0043】

ただし、毎フレーム、単純にエッジ平均を採用すると、本来採用すべきではない突発的なエッジ平均もそのまま判定に反映されてしまう。そこで、本実施形態のエッジ強度導出部１６８は、メディアンフィルタを用い、時間的に連続する現在フレームと前後１フレームとの３フレームにおいて導出されたエッジ平均の中央値（２番目に小さい値または２番目に大きい値）を、そのフレームにおけるエッジ平均とみなすこととする。したがって、１のフレームのエッジ平均は、その前フレームや後フレームでも利用されるので、計３回利用されることとなる。また、エッジ平均の導出開始フレームでは、その前フレームがないので、メディアンフィルタを用いることなく、そのフレームのみのエッジ平均を最終的なエッジ平均とする。

【0044】

こうすることで、突発的な値が生じた場合であっても、そのフレームのエッジ平均が前後のいずれかのフレームのエッジ平均と置き換えられるので、時間方向に均したエッジ平均を得ることができる。

【0045】

浮遊物特定部１７０は、フレーム毎に、エッジ強度導出部１６８によって導出されたエッジ平均を予め定められた所定の閾値と比較し、エッジ平均が閾値未満であるか、閾値以上であるかに応じて点数を付け、その点数を積算する。例えば、エッジ平均が閾値未満であれば＋１を積算（１を加算）し、閾値以上であれば−１を積算（１を減算）する。

【0046】

図６は、閾値を説明するための説明図である。ここで、閾値は、浮遊物と、一般的な特定物（例えば、車両や歩行者）とのエッジ強度の差分の中心値をとるとよい。例えば、図６には、車両、歩行者、および、浮遊物の奥行距離に応じたエッジ強度の実験値が示されている。図６を参照して理解できるように、車両や歩行者のエッジ強度と比べ、浮遊物のエッジ強度は比較的小さくなっている。ここでは、例えば、閾値を８とすることで、車両や歩行者と、浮遊物とを大凡区別することが可能となる。また、閾値は、特性に応じて分割領域２２２ａ、２２２ｂ、２２２ｃ毎に独立して設けることとする。

【0047】

そして、浮遊物特定部１７０は、積算した点数が１１点以上であるか否か判定し、１１点以上であれば、対象物は浮遊物らしいと判定する。ただし、積算後の点数には、例えば、上限２０、下限−１０といったように上下限が設けられている。このように、上下限を設けることで、浮遊物を検出していない期間や浮遊物を検出している期間が長時間に亘ったとしても点数の絶対値が大きくなることがなく、浮遊物の検出の有無が切り替わった場合に、迅速に、その有無を判定することが可能となる。

【0048】

（車外環境認識方法）
図７〜図９は、本実施形態による車外環境認識方法の全体的な処理の流れを示したフローチャートである。かかる車外環境認識方法は、フレーム単位で実行される。まず、図７に示すように、画像処理部１６０は、２つの撮像装置１１０それぞれから画像データを取得し、パターンマッチングを用いて視差情報を導出し、画像データに対応付けた距離画像２１２を生成する（Ｓ３００）。３次元位置導出部１６２は、検出領域２１４を撮像した画像における複数の対象部位の実空間における３次元位置を導出する（Ｓ３０２）。続いて、対象物特定部１６４は、３次元位置の差分が所定範囲内にある対象部位同士をグループ化して対象物を特定する（Ｓ３０４）。

【0049】

判定部位決定部１６６は、対象物特定部１６４に特定された対象物に対して、さらに、エッジ強度の判定対象となる判定部位を決定する（Ｓ３０６）。続いて、エッジ強度導出部１６８は、対象物における所定の複数の判定部位のエッジ強度の平均値であるエッジ平均を導出する。具体的に、エッジ強度導出部１６８は、各分割領域２２２ａ、２２２ｂ、２２２ｃから１の短冊２２４を選択するとともに、その短冊２２４の１の画素２３０を選択する（Ｓ３０８）。

【0050】

図８を参照すると、エッジ強度導出部１６８は、左端の分割領域２２２ａにおける選択した画素２３０がエッジであるか否か判定し（Ｓ３１０）、エッジであれば（Ｓ３１０におけるＹＥＳ）、ラプラシアンフィルタを用いて、当該画素２３０のエッジ強度を導出する（Ｓ３１２）。そして、エッジ強度導出部１６８は、分割領域２２２ａにおけるエッジ強度を積算する（Ｓ３１４）。また、選択した画素２３０がエッジでなければ（Ｓ３１０におけるＮＯ）、次の分割領域２２２ｂに処理を移行する。

【0051】

続いて、エッジ強度導出部１６８は、中央の分割領域２２２ｂにおける選択した画素２３０がエッジであるか否か判定し（Ｓ３１６）、エッジであれば（Ｓ３１６におけるＹＥＳ）、ラプラシアンフィルタを用いて、当該画素２３０のエッジ強度を導出する（Ｓ３１８）。そして、エッジ強度導出部１６８は、分割領域２２２ｂにおけるエッジ強度を積算する（Ｓ３２０）。また、選択した画素２３０がエッジでなければ（Ｓ３１６におけるＮＯ）、次の分割領域２２２ｃに処理を移行する。

【0052】

次に、エッジ強度導出部１６８は、右端の分割領域２２２ｃにおける選択した画素２３０がエッジであるか否か判定し（Ｓ３２２）、エッジであれば（Ｓ３２２におけるＹＥＳ）、ラプラシアンフィルタを用いて、当該画素２３０のエッジ強度を導出する（Ｓ３２４）。そして、エッジ強度導出部１６８は、分割領域２２２ｃにおけるエッジ強度を積算する（Ｓ３２６）。また、選択した画素２３０がエッジでなければ（Ｓ３２２におけるＮＯ）、画素終了判定ステップ（Ｓ３２８）に処理を移行する。

【0053】

エッジ強度導出部１６８は、選択された短冊２２４における画素２３０すべてに対して上記の処理が終了しているか否か判定し（Ｓ３２８）、終了していなければ（Ｓ３２８におけるＮＯ）、短冊２２４内の次の画素２３０を選択して（Ｓ３３０）、エッジ判定処理（Ｓ３１０）からの処理を繰り返す。終了していれば（Ｓ３２８におけるＹＥＳ）、分割領域終了判定ステップ（Ｓ３３２）に処理を移行する。

【0054】

エッジ強度導出部１６８は、各分割領域２２２ａ、２２２ｂ、２２２ｃにおける短冊２２４すべてに対して上記の処理が終了しているか否か判定し（Ｓ３３２）、終了していなければ（Ｓ３３２におけるＮＯ）、各分割領域２２２ａ、２２２ｂ、２２２ｃ内の次の短冊２２４を選択して（Ｓ３３４）、エッジ判定処理（Ｓ３１０）からの処理を繰り返す。終了していれば（Ｓ３３２におけるＹＥＳ）、エッジ強度導出部１６８は、各分割領域２２２ａ、２２２ｂ、２２２ｃにおいて積算されたエッジ強度を画素２３０の数（ここでは、６２５）で除算し、エッジ平均を導出する（Ｓ３３６）。

【0055】

続いて、エッジ強度導出部１６８は、上記エッジ平均が３フレーム分導出されているか否か判定する（Ｓ３３８）。その結果、３フレーム分のエッジ平均が導出されていれば（Ｓ３３８におけるＹＥＳ）、エッジ強度導出部１６８は、メディアンフィルタを用い、前後３フレームにおいて導出されたエッジ平均の中央値を、そのフレームにおけるエッジ平均とみなし、次回のメディアンフィルタのために当該フレームにおけるエッジ平均を記憶する（Ｓ３４０）。一方、３フレーム分のエッジ平均が導出されていなければ（Ｓ３３８におけるＮＯ）、そのフレームで導出されたエッジ平均をそのまま利用する（Ｓ３４２）。

【0056】

図９を参照すると、浮遊物特定部１７０は、エッジ平均と予め定められた閾値とを比較する（Ｓ３４４）。その結果、エッジ平均が閾値未満であれば（Ｓ３４４におけるＹＥＳ）、さらに積算された点数が２０以上であるか否か判定する（Ｓ３４６）。その結果、点数が２０未満であれば（Ｓ３４６におけるＮＯ）、浮遊物特定部１７０は、点数に１を加算する（Ｓ３４８）。また、点数が２０以上であれば（Ｓ３４６におけるＹＥＳ）、浮遊物判定処理（Ｓ３５４）に処理を移行する。

【0057】

また、エッジ平均が閾値以上であれば（Ｓ３４４におけるＮＯ）、さらに積算された点数が−１０以下であるか否か判定する（Ｓ３５０）。その結果、点数が−１０より大きければ（Ｓ３５０におけるＮＯ）、浮遊物特定部１７０は、点数から１を減算する（Ｓ３５２）。また、点数が−１０以下であれば（Ｓ３５０におけるＹＥＳ）、浮遊物判定処理（Ｓ３５４）に処理を移行する。

【0058】

続いて、浮遊物特定部１７０は、積算された点数が１１点以上であるか否か判定し（Ｓ３５４）、１１点以上であれば（Ｓ３５４におけるＹＥＳ）、対象物は浮遊物らしいものとして特定し（Ｓ３５６）、１１点未満であれば（Ｓ３５４におけるＮＯ）、対象物は浮遊物ではないと特定する（Ｓ３５８）。

【0059】

以上、説明したように、本実施形態では、浮遊物の各対象部位の距離のばらつきが小さかったり、浮遊物が色合いを帯びている場合であっても、対象物のエッジ強度に応じて、水蒸気や排気ガス等の浮遊物を精度よく検出することが可能となる。

【0060】

また、コンピュータを、車外環境認識装置１２０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

【0061】

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

【0062】

例えば、上述した実施形態においては、対象物のエッジ強度に応じて浮遊物を特定する例を挙げているが、特開２００９−１１０１６８号公報に示すような、物体の各対象部位の距離の平均値に対するばらつき（分散）に応じて浮遊物を特定する技術や、特開２０１２−２４３０４９号公報に示すような、対象物の輝度のヒストグラムに対する輝度の平均値、分散値、歪度、または尖度のいずれか１または複数の特徴量に基づいて浮遊物を特定する技術と、本実施形態の技術を併用して、その総合評価により、浮遊物を特定するとしてもよい。こうして、浮遊物の特定精度を高めることが可能となる。

【0063】

なお、本明細書の車外環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

【産業上の利用可能性】

【0064】

本発明は、検出領域に存在する対象物がいずれの特定物に対応するかを特定する車外環境認識装置に利用することができる。

【符号の説明】

【0065】

１２０ 車外環境認識装置
１６２ ３次元位置導出部
１６４ 対象物特定部
１６８ エッジ強度導出部
１７０ 浮遊物特定部

【図1】

【図2】

【図3】

【図7】

【図8】

【図9】

【図4】

【図5】

【図6】