特許 6741646 車外環境認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6741646

(24)【登録日】2020年7月29日

(45)【発行日】2020年8月19日

(54)【発明の名称】車外環境認識装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20200806BHJP

   G06T 7/00 20170101ALI20200806BHJP

【ＦＩ】

   G08G1/16 C

   G06T7/00 650A

【請求項の数】3

【全頁数】14

(21)【出願番号】特願2017-248483(P2017-248483)

(22)【出願日】2017年12月25日

(65)【公開番号】特開2019-114149(P2019-114149A)

(43)【公開日】2019年7月11日

【審査請求日】2018年11月2日

(73)【特許権者】

【識別番号】000005348

【氏名又は名称】株式会社ＳＵＢＡＲＵ

(74)【代理人】

【識別番号】110000936

【氏名又は名称】特許業務法人青海特許事務所

(72)【発明者】

【氏名】大久保 淑実

【審査官】 田中 純一

(56)【参考文献】

【文献】 特開２０１４−２２５２２０（ＪＰ，Ａ）

【文献】 特開２０１５−１４９０２８（ＪＰ，Ａ）

【文献】 特開２０１１−１２８８４４（ＪＰ，Ａ）

【文献】 特開２０１７−０８３３２６（ＪＰ，Ａ）

【文献】 特開２０１６−０６２３５６（ＪＰ，Ａ）

【文献】 特開２０１７−２０７８７４（ＪＰ，Ａ）

【文献】 特開２０１６−２０６７７６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１４／００７１２４０（ＵＳ，Ａ１）

【文献】 中国特許出願公開第１０４１６６８３４（ＣＮ，Ａ）

【文献】 中国特許出願公開第１０３８３７１３９（ＣＮ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００ − ９９／００

Ｇ０６Ｔ １／００ − １／４０

Ｇ０６Ｔ ３／００ − ５／５０

Ｇ０６Ｔ ７／００ − ７／９０

Ｇ０６Ｔ ９／００ − ９／４０

(57)【特許請求の範囲】

【請求項1】

コンピュータが、
画像中の路面に相当する第１路面領域を特定し、前記第１路面領域における水平ライン毎の代表距離を、前記水平ラインの垂直位置に対応させてプロットして第１路面モデルを生成する第１路面特定部と、
前記第１路面領域よりさらに遠方における路面に相当し、かつ、前記第１路面領域よりさらに遠方における路面を三次元空間に置換したときの水平方向の長さが前記第１路面領域より長くなるように拡張された第２路面領域を特定し、前記第２路面領域における水平ライン毎の代表距離を、前記水平ラインの垂直位置に対応させてプロットして第２路面モデルを生成する第２路面特定部、
として機能する車外環境認識装置。

【請求項2】

前記第２路面特定部は、前記第２路面領域の開始線から、画像中の複数の画素からなるブロックを画像の垂直方向上方に向かって複数抽出し、抽出した複数ブロックの自車両との相対距離に対する三次元空間における高さの推移における前記高さの変化量が所定の閾値以上になるところまで前記第２路面領域とする請求項１に記載の車外環境認識装置。

【請求項3】

前記コンピュータが、
前記第１路面領域および前記第２路面領域における水平ラインにおける水平位置毎の相対距離に基づいて水平方向の勾配を特定する水平勾配特定部として機能する請求項１または２に記載の車外環境認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自車両の進行方向に存在する特定物を特定する車外環境認識装置に関する。

【背景技術】

【0002】

従来、自車両の前方に位置する車両等の立体物を検出し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第３３４９０６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

自車両の進行方向に存在する立体物としては、同方向に走行する先行車両や、進行路を自車両横方向に横断する歩行者等がある。このような立体物の抽出条件の１つとして、路面より鉛直上方に高さを有することが挙げられる。

【0005】

しかし、かかる立体物の抽出条件は、路面を適切に特定できていることが前提であり、路面が適切に特定できていないと、勾配のある道路自体を立体物と判定したり、本来存在するはずの立体物を抽出できなかったりすることとなる。特に、遠方の道路では、その画像（視差）が路面を示している信頼度が低くなり、路面を特定するのが困難であった。

【0006】

本発明は、このような課題に鑑み、路面を適切に特定可能な車外環境認識装置を提供することを目的としている。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明の車外環境認識装置は、コンピュータが、画像中の路面に相当する第１路面領域を特定し、第１路面領域における水平ライン毎の代表距離を、水平ラインの垂直位置に対応させてプロットして第１路面モデルを生成する第１路面特定部と、
第１路面領域よりさらに遠方における路面に相当し、かつ、第１路面領域よりさらに遠方における路面を三次元空間に置換したときの水平方向の長さが、その領域の開始線から第１路面領域より長くなるように拡張された第２路面領域を特定し、第２路面領域における水平ライン毎の代表距離を、水平ラインの垂直位置に対応させてプロットして第２路面モデルを生成する第２路面特定部、
として機能している。

【0008】

第２路面特定部は、第２路面領域の開始線から、画像中の複数の画素からなるブロックを画像の垂直方向上方に向かって複数抽出し、抽出した複数ブロックの自車両との相対距離に対する三次元空間における高さの推移における高さの変化量が所定の閾値以上になるところまで第２路面領域としてもよい。

【0009】

コンピュータが、第１路面領域および第２路面領域における水平ラインにおける水平位置毎の相対距離に基づいて水平方向の勾配を特定する水平勾配特定部として機能してもよい。

【発明の効果】

【0010】

本発明によれば、路面を適切に特定することが可能となる。

【図面の簡単な説明】

【0011】

【図1】車外環境認識システムの接続関係を示したブロック図である。

【図2】輝度画像と距離画像を説明するための説明図である。

【図3】車外環境認識装置の概略的な機能を示した機能ブロック図である。

【図4】車外環境認識処理の流れを示すフローチャートである。

【図5】第１路面領域の特定処理を説明するための説明図である。

【図6】ヒストグラムを説明するための説明図である。

【図7】第１路面モデルを説明するための説明図である。

【図8】第２路面領域の特定処理を説明するための説明図である。

【図9】ヒストグラムを説明するための説明図である。

【図10】第２路面モデルを説明するための説明図である。

【図11】水平勾配を説明するための説明図である。

【図12】立体物特定部の立体物を特定する処理を説明するための説明図である。

【発明を実施するための形態】

【0012】

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

【0013】

（車外環境認識システム１００）
図１は、車外環境認識システム１００の接続関係を示したブロック図である。車外環境認識システム１００は、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

【0014】

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方の車外環境を撮像し、少なくとも輝度の情報が含まれる輝度画像（カラー画像やモノクロ画像）を生成することができる。また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する立体物を撮像した輝度画像を、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、撮像装置１１０によって認識する立体物は、自転車、歩行者、車両、信号機、道路標識、ガードレール、建物といった独立して存在する物のみならず、自転車の車輪等、その一部として特定できる物も含む。

【0015】

また、車外環境認識装置１２０は、２つの撮像装置１１０それぞれから輝度画像を取得し、一方の輝度画像から任意に抽出したブロック（例えば、水平４画素×垂直４画素の配列）に対応するブロックを他方の輝度画像から検索する、所謂パターンマッチングを用いて、視差、および、任意のブロックの画像内の位置を示す画像位置を含む視差情報を導出する。ここで、水平は、撮像した画像の画像横方向を示し、垂直は、撮像した画像の画像縦方向を示す。このパターンマッチングとしては、一対の画像間において、任意のブロック単位で輝度（Ｙ）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。車外環境認識装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば、６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。

【0016】

ただし、車外環境認識装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような立体物の一部であるかを認識できない。したがって、視差情報は、立体物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報を対応付けた画像を、上述した輝度画像と区別して距離画像という。

【0017】

図２は、輝度画像１２６と距離画像１２８を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２４について図２（ａ）のような輝度画像１２６が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２６の一方のみを模式的に示している。車外環境認識装置１２０は、このような輝度画像１２６からブロック毎の視差を求め、図２（ｂ）のような距離画像１２８を形成する。距離画像１２８における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。

【0018】

また、車外環境認識装置１２０は、輝度画像１２６に基づく輝度値（カラー値）、および、距離画像１２８に基づいて算出された、自車両１との相対距離を含む実空間における三次元空間の位置情報を用いて、まず路面を特定し、特定した路面上に位置し、カラー値が等しく三次元の位置情報が近いブロック同士を立体物としてグループ化して、自車両１の前方の検出領域における立体物がいずれの特定物（例えば、先行車両や自転車）に対応するかを特定する。また、車外環境認識装置１２０は、このように立体物を特定すると、立体物との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように自車両１を制御する（クルーズコントロール）。なお、上記相対距離は、距離画像１２８におけるブロック毎の視差情報を、所謂ステレオ法を用いて三次元の位置情報に変換することで求められる。ここで、ステレオ法は、三角測量法を用いることで、立体物の視差からその立体物の撮像装置１１０に対する相対距離を導出する方法である。

【0019】

車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転手の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、操舵機構１４２、駆動機構１４４、制動機構１４６を制御する。

【0020】

上述したように、車外環境認識システム１００では、カラー値が等しく三次元の位置情報が近いブロック同士を、路面より鉛直上方に高さを有することを条件にグループ化して立体物としている。ただし、このように立体物を適切に抽出するためには、まず、路面を適切に特定しなければならない。例えば、路面が適切に特定できていないと、勾配のある道路自体を路面より鉛直上方に突出する立体物と判定したり、下り坂に本来存在するはずの立体物を、路面より鉛直下方に位置すると判定して抽出できないこととなる。特に、遠方の道路では、その画像（視差）が路面を示している信頼度が低くなり、路面を特定するのが困難であった。そこで、本実施形態では、路面を適切に特定することを目的とする。

【0021】

以下、このような目的を実現するための車外環境認識装置１２０の構成について詳述する。ここでは、本実施形態に特徴的な、自車両１の前方の検出領域における路面の特定処理について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。

【0022】

（車外環境認識装置１２０）
図３は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図３に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

【0023】

Ｉ／Ｆ部１５０は、撮像装置１１０、および、車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持する。

【0024】

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、第１路面特定部１６０、第２路面特定部１６２、水平勾配特定部１６４、立体物特定部１６６としても機能する。以下、本実施形態に特徴的な路面を特定する車外環境認識処理について、当該中央制御部１５４の各機能部の動作も踏まえて詳述する。

【0025】

（車外環境認識処理）
図４は、車外環境認識処理の流れを示すフローチャートである。車外環境認識処理では、第１路面特定部１６０により、画像中の路面に相当する第１路面領域を特定し、第１路面モデルを生成する第１路面特定処理（Ｓ２００）が実行され、第２路面特定部１６２により、第１路面領域よりさらに遠方における路面に相当する第２路面領域を特定し、第２路面モデルを生成する第２路面特定処理（Ｓ２０２）が実行され、水平勾配特定部１６４により、第１路面領域および第２路面領域における水平ライン毎の相対距離に基づいて水平方向の勾配を特定する水平勾配特定処理（Ｓ２０４）が実行され、立体物特定部１６６により、少なくとも第１路面モデルおよび第２路面モデルに基づいて画像中の立体物を特定する立体物特定処理（Ｓ２０６）が実行される。

【0026】

（第１路面特定処理Ｓ２００）
まず、第１路面特定部１６０は、輝度画像１２６や距離画像１２８における近距離側の路面に相当する第１路面領域を特定する。

【0027】

ここで、第１路面領域を特定する方法としては、現在の舵角、旋回角速度（ヨーレート）および速度で自車両１が将来進行するであろう予想進行路に基づき、例えば、自車両１の前方に延在する予想進行路を示す曲線から水平方向に±２．５ｍ内の領域を第１路面領域とすることが考えられる。

【0028】

しかし、予想進行路を示す曲線は、運転手の操舵により変化し易く、また、実際に自車両１が進行した軌跡との誤差が大きい場合がある。そうすると、遠方まで適切に第１路面領域を特定することができない。そこで、本実施形態では、路面における自車両１が走行しているレーン左右の車線（白線等）に基づいて第１路面領域を特定する。ただし、このように、路面の車線のみから第１路面領域を特定する場合に限らず、これに加え、予想進行路に基づいても第１路面領域を特定し、両者を補間し合うことで第１路面領域の特定精度を高めるとしてもよい。

【0029】

図５は、第１路面領域の特定処理を説明するための説明図である。路面には車両が円滑に走行するための車線が記されている。例えば、図５（ａ）の例では、輝度画像１２６上の道路２００において、２本のレーン２０２ａ、２０２ｂが存在し、これに伴い、幅方向の中央に１本、両端にそれぞれ１本の計３本の車線２１０ａ、２１０ｂ、２１０ｃが含まれている。

【0030】

ここで、第１路面特定部１６０は、図５（ｂ）のように、自車両１が走行しているレーン２０２ａを形成する車線２１０ａ、２１０ｂのうちで最も左に位置する車線２１０aの左端よりさらに所定距離（例えば１０ｃｍ）左に、破線で示した仮想の左限界線２１２aを設定する。また、第１路面特定部１６０は、同様に、自車両１が走行しているレーン２０２ａを形成する車線２１０ａ、２１０ｂのうちで最も右に位置する車線２１０ｂの右端よりさらに所定距離（例えば１０ｃｍ）右に、破線で示した仮想の右限界線２１２ｂを設定する。そして、第１路面特定部１６０は、左限界線２１２aより右、かつ、右限界線２１２ｂより左の領域、すなわち、左限界線２１２aと右限界線２１２ｂとの水平方向の間のハッチングした領域を第１路面領域２１４として設定する。

【0031】

続いて、第１路面特定部１６０は、距離画像１２８における第１路面領域２１４から相対距離を有する（パターンマッチングによって相対距離が得られた）ブロックを全て抽出し、第１路面モデルを生成する。以下、第１路面モデルの生成態様を説明する。

【0032】

図６は、ヒストグラムを説明するための説明図であり、図７は、第１路面モデルを説明するための説明図である。第１路面特定部１６０は、まず、第１路面領域２１４の水平方向の水平ラインについて相対距離のヒストグラムを生成する。具体的に、第１路面領域２１４において、垂直方向の任意のブロックと垂直位置（画像上の垂直方向の位置）を等しくするブロック、すなわち、図６（ａ）にクロスハッチで示した水平ラインにおける全てのブロックの相対距離を投票する。こうして、図６（ｂ）のように、任意の垂直位置に関するヒストグラムが生成される。

【0033】

そして、第１路面特定部１６０は、ヒストグラムで投票数が最大数となる、図６（ｂ）においてハッチングで示した相対距離を、その垂直位置の代表距離とする。このような処理を、第１路面領域２１４において、垂直位置を変えて繰り返す。そうすると、第１路面領域２１４の複数の垂直位置それぞれに対して代表距離が求まる。

【0034】

第１路面モデルは、縦軸が垂直位置、横軸が距離画像１２８の相対距離で表される。第１路面特定部１６０は、垂直位置（水平ライン）毎の代表距離を、その垂直位置にプロットする。そうすると、図７（ａ）のような点群を得る。第１路面特定部１６０は、最小二乗法等により、図７（ａ）において実線で示したように、点群の近似直線を導出し、第１路面モデル２１６とする。こうして、路面の変化態様、例えば、道路の勾配を把握することができる。なお、ここでは説明の便宜上、近似直線を導出する例を挙げて説明するが、複数次の近似曲線を導出してもよい。

【0035】

ただし、単純に最小二乗法等により近似直線を導出すると、例えば、第１路面領域２１４内において、間違ってパターンマッチングされてしまった、実際の相対距離とは異なるノイズ的な代表距離（ノイズ代表距離）が含まれる場合がある。そのような本来除外すべきノイズ代表距離が含まれている状態で近似直線を導出すると、ノイズ代表距離の影響を受けて、図７（ａ）のように、近似直線が本来の位置や傾きからずれるおそれがある。そうすると、勾配のある道路自体を立体物と判定したり、本来存在するはずの立体物を抽出できなくなってしまう。

【0036】

そこで、本実施形態では、直線に関するハフ（Hough）変換を用い、同一の直線を形成する、または、同一ではないが近距離（所定の相対距離内）の平行直線を形成する代表距離のみを残し、それ以外の、例えば、図７（ａ）において破線で囲んだ代表距離をノイズ代表距離として除外する。そして、第１路面特定部１６０は、残った代表距離のみを対象として、最小二乗法等により、かかる点群の近似直線を導出する。こうして、図７（ｂ）のように、本来の代表距離によって適切に近似された第１路面モデル２１６が導出される。なお、直線に関するハフ変換は、複数の点を共通して通る直線を導出する既存の技術なので、ここでは、その説明を省略する。

【0037】

また、ここでは、路面の変化態様を近似直線で表しているが、検出領域内の道路が必ずしも同一の態様で変化しているとは限らない。例えば、道路の勾配が大きく変化する場合もある。この場合、上述したようにハフ変換を施すと、勾配が変化した後の路面に対応する代表距離が、ほとんどノイズ代表距離として除外されてしまう。

【0038】

そこで、本実施形態では、ハフ変換で除外された代表距離が所定数以上あり、かつ、その点群が連続性を有する場合、その点群のみで新たに近似直線を導出する。このとき、その近似直線に関してさらにノイズ代表距離を除外できるのは言うまでもない。こうして、図７（ｃ）のように、２本の近似直線が連続する第１路面モデル２１６が導出される。

【0039】

なお、導出された２つの近似直線の交点は所定の角度をもって交差するとしてもよいし、所定のＲを有する緩和曲線を通じて接続されるとしてもよい。また、ここでは、近似直線を２本生成する例を挙げて説明したが、道路の変化が多い場合、３本以上生成してもよい。

【0040】

こうして生成された、例えば、図７（ｂ）の第１路面モデル２１６を参照すると、第１路面領域２１４内の垂直位置が下方に移行するほど相対距離が近く（視差が大きく）なり、垂直位置が上方に移行するほど相対距離が遠く（視差が小さく）なることが理解できる。

【0041】

次に、第１路面特定部１６０は、第１路面領域２１４の垂直方向に延伸する水平方向の中心線を導出する。例えば、第１路面領域２１４における垂直方向の任意のブロックと垂直位置を等しくするブロック、すなわち、図６（ａ）にクロスハッチで示した、水平方向のブロックの左端と右端の中央位置を中央ブロックとする。そして、第１路面特定部１６０は、かかる処理を、垂直位置を変えて繰り返す。そうすると、第１路面領域２１４の複数の垂直位置それぞれに対して中央ブロックが求まる。かかる中央ブロックを結ぶことで垂直方向の中心線２１８が導出される。

【0042】

また、上述したように、第１路面領域２１４内のブロックにはノイズ代表距離に相当するブロックが含まれる。そうすると、中心線２１８が、除外すべきブロックの影響を受けて本来の位置や傾きからずれるおそれがある。そこで、上述したハフ変換により除外したブロックを除いて中央ブロックおよび中心線２１８を導出するとしてもよい。

【0043】

（第２路面特定処理Ｓ２０２）
第１路面特定処理Ｓ２００によって、路面の比較的手前側の第１路面モデル２１６および中心線２１８が導出される。しかし、遠方の道路では、その画像（視差）が路面を示している信頼度が低くなるので、左限界線２１２aと右限界線２１２ｂとの水平方向の間の相対距離を抽出するだけでは路面を適切に特定するのが困難となる。したがって、図７（ｂ）に破線で示したように、所定の垂直位置までしか第１路面モデル２１６を特定できない。

【0044】

そこで、第２路面特定部１６２は、第１路面特定部１６０と異なるロジックを採用して、輝度画像１２６や距離画像１２８における第１路面領域２１４より遠方の第２路面領域を特定する。

【0045】

図８は、第２路面領域の特定処理を説明するための説明図である。第１路面特定処理Ｓ２００によって、路面の比較的手前側の第１路面モデル２１６および中心線２１８が導出されるが、いずれも手前側の第１路面領域２１４の範囲である。したがって、図８（ａ）に実線で示した水平ライン２２０から遠方における路面の変化態様は不明である。

【0046】

ここで、水平ライン２２０より手前に相当する路面の変化態様を利用して、その変化態様が遠方まで継続しているとみなし、例えば、図７（ｂ）の第１路面モデル２１６の近似直線を延長して、その路面を基準に立体物を特定することが考えられる。しかし、この場合も、やはり、遠方の勾配のある道路自体を立体物と判定したり、本来存在するはずの遠方の立体物を抽出できない場合が生じ得る。

【0047】

そこで、第２路面特定部１６２は、まず、水平ライン２２０上で第２路面領域の開始線を拡張する。例えば、第２路面特定部１６２は、水平ライン２２０において、第１路面特定部１６０が導出した中心線２１８との交点２２２を中心に、三次元空間に置換したときの水平方向の長さが第１路面領域２１４より長い±所定距離（例えば５ｍ）の範囲を新たな第２路面領域の開始線として設定する。

【0048】

ただし、明らかに道路とは関係のないブロックまで第２路面領域とする必要はないので、水平ライン２２０上において立体物を検知した場合、その立体物の内側を第２路面領域の開始線として設定する。すなわち、第２路面特定部１６２は、水平ライン２２０を、交点２２２を中心に左に移動し、５ｍまでに壁等の立体物を何ら検出しなければ、５ｍを左端とし、立体物を検出すると、その直前までを左端とする。同様に、第２路面特定部１６２は、水平ライン２２０を、交点２２２を中心に右に移動し、５ｍまでに壁等の立体物を何ら検出しなければ、５ｍを右端とし、立体物を検出すると、その直前までを右端とする。こうして、例えば、図８（ｂ）のように第２路面領域の開始線２２４が設定される。したがって、第２路面領域の三次元空間に置換したときの水平方向の長さは、第１路面領域２１４より長くなる。

【0049】

次に、第２路面特定部１６２は、第２路面領域の開始線２２４から、垂直方向上方に向かってブロックの相対距離を抽出する。具体的に、開始線２２４上で水平方向の任意のブロックと水平方向の位置を等しくするブロック、すなわち、図８（ｂ）にクロスハッチで示した、垂直方向に延伸するブロックの相対距離を、垂直方向上方（遠方）に向かって抽出する。そして、抽出したブロックの三次元空間における高さの変化量、すなわち、高さを連続させた場合の線分の微分値が所定の閾値以上になると、その点で道路が終了しているとして、ブロックの抽出を停止し、かかるブロックを第２路面領域の境界とする。

【0050】

このような処理を、水平位置（画像上の水平方向の位置）を変えて繰り返す。そうすると、図８（ｃ）のように、第２路面領域の開始線から垂直方向上方に向かってブロック群が形成される。ここでは、このハッチングで示した範囲を第２路面領域２２６とする。

【0051】

続いて、第２路面特定部１６２は、このように抽出された第２路面領域２２６に含まれるブロック群のみに対して、第２路面モデルを生成する。

【0052】

図９は、ヒストグラムを説明するための説明図であり、図１０は、第２路面モデルを説明するための説明図である。第２路面特定部１６２は、まず、第２路面領域２２６の水平方向に相対距離のヒストグラムを生成する。具体的に、第２路面領域２２６において、垂直方向の任意のブロックと垂直位置を等しくするブロック、すなわち、図９（ａ）にクロスハッチで示した、水平ラインにおける全てのブロックの相対距離を投票する。こうして、図９（ｂ）のように、任意の垂直位置に関するヒストグラムが生成される。

【0053】

そして、第２路面特定部１６２は、ヒストグラムで投票数が最大数となる、図９（ｂ）においてハッチングで示した相対距離を、その垂直位置の代表距離とする。このような処理を、第２路面領域２２６において、垂直位置を変えて繰り返す。そうすると、第２路面領域２２６の複数の垂直位置それぞれに対して代表距離が求まる。

【0054】

第２路面モデルは、第１路面モデル２１６同様、縦軸が垂直位置、横軸が距離画像１２８の相対距離で表される。第２路面特定部１６２は、垂直位置（水平ライン）毎の代表距離を、その垂直位置にプロットする。このとき、第２路面モデルを図７（ｂ）に示した第１路面モデル２１６に重ねて表してもよい。そうすると、図１０のような、所定の垂直位置より遠方に点群を得る。第２路面特定部１６２は、最小二乗法等により、図１０において実線で示したように、点群の近似直線を導出し、第２路面モデル２２８とする。こうして、第１路面モデル２１６同様、第２路面領域２２６における路面の変化態様、例えば、道路の勾配を把握することができる。

【0055】

このとき、第１路面特定処理Ｓ２００同様、直線に関するハフ変換を用い、同一の直線を形成する、または、同一ではないが近距離（所定の相対距離内）の平行直線を形成する代表距離のみを残し、それ以外の、例えば、図１０において破線で囲んだ代表距離をノイズ代表距離として除外する。そして、第２路面特定部１６２は、残った代表距離のみを対象として、最小二乗法等により、かかる点群の近似直線を導出する。

【0056】

また、ハフ変換で除外された代表距離が所定数以上あり、かつ、その点群が連続性を有する場合、その点群のみで新たに近似直線を導出してもよい。このとき、その近似直線に関してさらにノイズ代表距離を除外できるのは言うまでもない。

【0057】

ここでは、遠方の第２路面モデル２２８を形成する上で、第２路面領域２２６を幅方向に広げ、立体物より手前の道路とみなせる範囲のブロック全てを対象としているので、遠方であるにも拘わらず、図１０のように、路面の変化態様を高精度に取得することが可能となる。

【0058】

また、第１路面特定処理Ｓ２００では、直接、水平方向のヒストグラムを導出しているが、第２路面特定処理Ｓ２０２では垂直方向に高さの変化量が所定の閾値以上となるところまでブロックを抽出し、適切な第２路面領域２２６を導出しているので、特定精度をさらに高めることが可能となる。

【0059】

また、ここでは、第１路面モデル２１６と第２路面モデル２２８とを独立して求めているが、本来、第１路面領域２１４と第２路面領域２２６とは連続しているはずなので、その連続性を踏まえ、第１路面モデル２１６と連続するように、第２路面領域２２６における第２路面モデル２２８を導出してもよい。

【0060】

（水平勾配特定処理Ｓ２０４）
以上の処理により、第１路面モデル２１６および第２路面モデル２２８といった奥行き方向の勾配が高精度で特定できるようになる。しかし、ここでは、道路の奥行き方向の勾配は求まるものの、道路の水平方向の勾配は把握できない（均等であると仮定されている）。したがって、水平方向にも勾配が存在する場合、高い路面を立体物と認識したり、低い立体物を検出できない場合がある。

【0061】

そこで、水平勾配特定部１６４は、第１路面領域２１４および第２路面領域２２６における水平位置（水平ライン）毎の相対距離に基づいて水平方向の勾配を特定する。

【0062】

図１１は、水平勾配を説明するための説明図である。第１路面領域２１４および第２路面領域２２６において、垂直方向の任意のブロックと垂直位置を等しくするブロック、すなわち、図１１（ａ）にクロスハッチで示した、垂直位置（水平ライン）における全ての相対距離を抽出する。

【0063】

そして、抽出した相対距離を、その水平位置にプロットする。そうすると、図１１（ｂ）のような点群を得る。水平勾配特定部１６４は、最小二乗法等により、図１１（ｂ）において実線で示したように、点群の近似直線を導出し水平勾配２３０とする。こうして、路面の変化態様、例えば、道路の勾配を把握することができる。なお、ここでは説明の便宜上、近似直線を導出する例を挙げて説明するが、複数次の近似曲線を導出してもよい。

【0064】

また、水平勾配特定部１６４は、第１路面モデル２１６および第２路面モデル２２８の垂直位置毎に水平勾配２３０を求めることで、水平方向と奥行き方向の平面の勾配（路面距離マップ）を生成することもできる。

【0065】

（立体物特定処理Ｓ２０６）
立体物特定部１６６は、このような第１路面モデル２１６および第２路面モデル２２８、もしくは、さらに水平勾配２３０を加えた路面距離マップに基づいて、路面の鉛直上方に高さを有する立体物を特定する。

【0066】

図１２は、立体物特定部１６６の立体物を特定する処理を説明するための説明図である。図１２では、任意のタイミングにおける第１路面領域２１４の第１路面モデル２１６および第２路面領域２２６の第２路面モデル２２８のいずれもが直線で示され、画像全体における相対距離を有するブロックが、その相対距離および垂直位置に点で示されている。

【0067】

立体物特定部１６６は、ブロック毎の相対距離と第１路面モデル２１６および第２路面モデル２２８とを比較することで、そのブロックが立体物に相当するか否か判定する。具体的に、立体物特定部１６６は、第１路面モデル２１６および第２路面モデル２２８から高さが±所定距離（例えば３０ｃｍ）の範囲である、図１２中破線で上下限を示した路面範囲２４０より内側に位置するブロックは、路面に相当すると判定する。

【0068】

一方、立体物特定部１６６は、路面範囲２４０より外側（特に上側）に位置するブロックは、路面から高さ方向に突出しているので立体物の候補とする。そして、立体物特定部１６６は、路面の鉛直上方に高さを有する立体物の候補とされた複数のブロックの相対距離が等しいと、図１２中、楕円２４２で囲んだようにグループ化し、立体物として特定する。このような立体物となった点群の立体物らしさ（形状、大きさ等）の判定や、立体物がいずれの特定物であるかの判定については、既存の様々な技術を利用できるので、ここでは、その詳細な説明を省略する。

【0069】

以上、説明したように、路面を適切に特定することで、その鉛直上方に高さを有する立体物も適切に特定することができる。

【0070】

また、コンピュータを車外環境認識装置１２０として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

【0071】

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

【0072】

なお、本明細書の車外環境認識処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

【産業上の利用可能性】

【0073】

本発明は、自車両の進行方向に存在する特定物を特定する車外環境認識装置に利用することができる。

【符号の説明】

【0074】

１ 自車両
１２６ 輝度画像
１２８ 距離画像
１６０ 第１路面特定部
１６２ 第２路面特定部
１６４ 水平勾配特定部
１６６ 立体物特定部
２００ 道路
２１４ 第１路面領域
２１６ 第１路面モデル
２２６ 第２路面領域
２２８ 第２路面モデル
２３０ 水平勾配

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】