【新規性喪失の例外の表示】特許法第30条第2項適用 平成26年6月20日に全国のSUBARU販売店にて、環境認識装置(運転支援システム アイサイト(ver.3))を搭載した車両(LEVORG)を販売・公開
(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0016】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【0017】
近年では、車両に搭載した車載カメラによって自車両の前方の道路環境を撮像し、画像内における色情報や位置情報に基づいて先行車両等の移動物を特定し、特定された移動物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ(ACC:Adaptive Cruise Control)、所謂衝突防止機能を搭載した車両が普及しつつある。
【0018】
このような車外環境を認識する車外環境認識装置を搭載した車両においては、まず、車線(レーン)等、自車両が走行すると想定される領域(以下、単に自車両領域という)を特定し、その自車両領域内に位置する立体物が車両や人といった移動物であるか否か判定する。そして、移動物を制御対象とし、衝突を回避したり、車間距離を制御する。本実施形態では、このような自車両領域等を適切に特定することが可能な車外環境認識装置を提供する。
【0019】
(環境認識システム100)
図1は、環境認識システム100の接続関係を示したブロック図である。環境認識システム100は、自車両1内に設けられた、撮像装置110と、車外環境認識装置120と、車両制御装置(ECU:Engine Control Unit)130とを含んで構成される。
【0020】
撮像装置110は、CCD(Charge-Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等の撮像素子を含んで構成され、自車両1の前方に相当する環境を撮像し、カラー画像やモノクロ画像を生成することができる。ここで、カラー値は、1つの輝度(Y)と2つの色差(UV)からなる、または、3つの色相(R(赤)、G(緑)、B(青))からなる数値群である。ここでは、撮像装置110で撮像されたカラー画像やモノクロ画像を輝度画像と呼び、後述する距離画像と区別する。
【0021】
また、撮像装置110は、自車両1の進行方向側において2つの撮像装置110それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置110は、自車両1の前方の検出領域に存在する特定物を撮像した画像データを、例えば1/60秒のフレーム毎(60fps)に連続して生成する。ここで、認識対象となる特定物は、車両、人(歩行者)、信号機、道路(進行路)、ガードレールといった独立して存在する物のみならず、テールランプやウィンカー、信号機の各点灯部分等、独立して存在する物の一部として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機としてフレーム毎に各処理を遂行する。
【0022】
車外環境認識装置120は、2つの撮像装置110それぞれから画像データを取得し、所謂パターンマッチングを用いて視差を導き出し、導出された視差情報(後述する相対距離に相当)を画像データに対応付けて距離画像を生成する。輝度画像および距離画像については後ほど詳述する。また、車外環境認識装置120は、輝度画像に基づく輝度(カラー値)、および、距離画像に基づく自車両1との相対距離を用いて自車両1前方の検出領域に表示された立体物がいずれの特定物に対応するかを特定する。
【0023】
車外環境認識装置120は、立体物を、特定物のうちの移動物として特定すると、その移動物(例えば、先行車両)を追跡しつつ、移動物の相対速度等を導出し、移動物と自車両1とが衝突する可能性が高いか否かの判定を行う。ここで、衝突の可能性が高いと判定した場合、車外環境認識装置120は、その旨、運転者の前方に設置されたディスプレイ122を通じて運転者に警告表示(報知)を行うとともに、車両制御装置130に対して、その旨を示す情報を出力する。
【0024】
車両制御装置130は、ステアリングホイール132、アクセルペダル134、ブレーキペダル136を通じて運転者の操作入力を受け付け、操舵機構142、駆動機構144、制動機構146に伝達することで自車両1を制御する。また、車両制御装置130は、車外環境認識装置120の指示に従い、駆動機構144、制動機構146を制御する。
【0025】
以下、車外環境認識装置120の構成について詳述する。ここでは、本実施形態に特徴的な、自車両領域や交差点領域の特定手順と、そのような領域内での移動物の特定手順について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。
【0026】
(車外環境認識装置120)
図2は、車外環境認識装置120の概略的な機能を示した機能ブロック図である。
図2に示すように、車外環境認識装置120は、I/F部150と、データ保持部152と、中央制御部154とを含んで構成される。
【0027】
I/F部150は、撮像装置110や車両制御装置130との双方向の情報交換を行うためのインターフェースである。データ保持部152は、RAM、フラッシュメモリ、HDD等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置110から受信した画像データを一時的に保持する。
【0028】
中央制御部154は、中央処理装置(CPU)、プログラム等が格納されたROM、ワークエリアとしてのRAM等を含む半導体集積回路で構成され、システムバス156を通じて、I/F部150、データ保持部152等を制御する。また、本実施形態において、中央制御部154は、画像処理部160、3次元位置情報生成部162、グループ化部164、信号機特定部166、白線特定部168、自車両領域特定部170、交差点領域特定部172、移動物特定部174、車両制御部176としても機能する。以下、このような機能部について大凡の目的を踏まえ、画像処理、信号機特定処理、白線特定処理、自車両領域特定処理、交差点領域特定処理、移動物特定処理、車両制御処理といった順に詳細な動作を説明する。
【0029】
(画像処理)
画像処理部160は、2つの撮像装置110それぞれから画像データを取得し、一方の画像データから任意に抽出したブロック(例えば水平4画素×垂直4画素の配列)に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、「水平」は、撮像した輝度画像の画面横方向を示し、「垂直」は、撮像した輝度画像の画面縦方向を示す。
【0030】
このパターンマッチングとしては、2つの画像データ間において、任意の画像位置を示すブロック単位で輝度(Y色差信号)を比較することが考えられる。例えば、輝度の差分をとるSAD(Sum of Absolute Difference)、差分を2乗して用いるSSD(Sum of Squared intensity Difference)や、各画素の輝度から平均値を引いた分散値の類似度をとるNCC(Normalized Cross Correlation)等の手法がある。画像処理部160は、このようなブロック単位の視差導出処理を検出領域(例えば水平600画素×垂直180画素)に映し出されている全てのブロックについて行う。ここでは、ブロックを水平4画素×垂直4画素としているが、ブロック内の画素数は任意に設定することができる。
【0031】
ただし、画像処理部160では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような立体物の一部であるかを認識できない。したがって、視差情報は、立体物単位ではなく、検出領域における例えばブロックといった検出分解能単位(以下、立体部位という)で独立して導出されることとなる。ここでは、このようにして導出された視差情報(後述する相対距離に相当)を画像データの各立体部位に対応付けた画像を距離画像という。
【0032】
図3は、輝度画像210と距離画像212を説明するための説明図である。例えば、2つの撮像装置110を通じ、検出領域214について
図3(a)のような輝度画像(画像データ)210が生成されたとする。ただし、ここでは、理解を容易にするため、2つの輝度画像210の一方のみを模式的に示している。本実施形態において、画像処理部160は、このような輝度画像210から立体部位毎の視差を求め、
図3(b)のような距離画像212を形成する。距離画像212における各立体部位には、その立体部位の視差が関連付けられている。ここでは、説明の便宜上、視差が導出された立体部位を黒のドットで表している。
【0033】
図2に戻って説明すると、3次元位置情報生成部162は、画像処理部160で生成された距離画像212に基づいて検出領域214内の立体部位毎の視差情報を、所謂ステレオ法を用いて、水平距離、高さおよび相対距離を含む3次元の位置情報に変換する。ここで、ステレオ法は、三角測量法を用いることで、立体部位の視差からその立体部位の撮像装置110に対する相対距離を導出する方法である。このとき、3次元位置情報生成部162は、立体部位の相対距離と、立体部位と同相対距離にある道路表面上の点から立体部位までの距離画像212上の距離とに基づいて、立体部位の道路表面からの高さを導出する。
【0034】
グループ化部164は、距離画像212における、3次元位置(水平距離xの差分、高さyの差分および相対距離z)の差分が予め定められた範囲(例えば0.1m)内にある立体部位同士を、同一の特定物に対応すると仮定してグループ化する。こうして、立体部位の集合体である立体物が生成される。上記グループ化の範囲は実空間上の距離で表され、製造者によって任意の値に設定することができる。また、グループ化部164は、グループ化により新たに追加された立体部位に関しても、その立体部位を基点として、水平距離xの差分、高さyの差分および相対距離zの差分が所定範囲内にある立体部位をさらにグループ化する。結果的に、同一の特定物と仮定可能な立体部位全てが立体物としてグループ化されることとなる。
【0035】
(信号機特定処理)
信号機特定部166は、グループ化部164がグループ化した立体物の3次元位置や輝度画像210に基づく輝度(カラー値)に基づいて、検出領域214内に位置する1または複数の立体物が信号機に相当するか否か判定し、信号機に相当する立体物を信号機として特定する。そして、信号機特定部166は、その立体物に信号機である可能性が高いことを示す情報を対応付ける。したがって、以下に「信号機の位置」と言う場合、信号機であると想定される立体物の3次元位置を示すことになる。かかる信号機特定処理は、既存の様々な技術を採用することができるので、ここでは、その詳細な説明を省略する。
【0036】
(白線特定処理)
白線特定部168は、距離画像212における3次元位置や輝度画像210に基づく輝度(カラー値)に基づいて、3次元位置情報生成部162が特定した道路表面上の白線を特定する。かかる白線特定処理は、既存の様々な技術を採用することができるので、ここでは、その詳細な説明を省略する。
【0037】
(自車両領域特定処理)
自車両領域特定部170は、白線特定部168が白線を特定した場合、自車両1が走行すると想定される軌跡(以下、単に走行軌跡という)を含む領域であり、かつ、白線を左右の境界とする自車両領域を特定する。ここで、走行軌跡は、例えば、自車両1におけるステアリングホイール132の操作角、速度、ヨーレートや白線軌跡等に基づいて導出することができる。
【0038】
図4および
図5は、自車両領域特定処理を説明するための説明図である。例えば、道路に白線が設けられている場合、自車両領域特定部170は、
図4(a)に示すように、走行軌跡220を含む、白線に挟まれた車線222aを自車両領域230として特定する。また、自車両1が走行する方向(片側)に複数の車線222b、222cが設けられている場合、自車両領域特定部170は、
図4(b)に示すように、走行軌跡220を含み、かつ、現在、自車両1が走行している車線222bおよび車線222bに隣接する車線222cを含む複数の車線(ここでは車線222b、222c)を自車両領域230として特定する。
【0039】
ただし、自車両領域230の奥行き方向については、
図4(a)および
図4(b)に示すように、自車両1から所定の相対距離(例えば50m)までの範囲に制限してもよい。これは、相対距離が長い(遠い)領域では、立体物の認識精度、および、自車両1が走行する可能性が低くなるからである。
【0040】
また、道路によっては、白線が予め破線で示されていたり、白線として認識し難くなっていたり、交差点等白線が存在しない場合がある。この場合、自車両領域特定部170は、白線特定部168が特定した白線の長手方向を把握し、白線の間欠している部分において白線同士を直線で結んで補間したり、白線を長手方向に延長したりして仮想白線を生成することで、自車両領域230を特定する。白線を延長して自車両領域230を特定する構成により、自車両領域230を有効に特定することができる。
【0041】
このように白線に基づいて自車両領域230を特定すると、特定された自車両領域230を参照し、後述するように、自車両領域230に含まれる車両や人といった移動物を特定して、衝突回避制御やクルーズコントロールが実行される。しかし、積雪や経時による擦れ等、何らかの原因で白線が抽出しにくい道路や、そもそも白線が存在しない道路または交差点においては、自車両領域230を明確に特定できない場合が生じ得る。そこで、本実施形態の自車両領域特定部170は、白線の存在有無に拘わらず、信号機を参照し、信号機の水平面上の位置に基づいて自車両領域230を適切に特定する。
【0042】
ここで、自車両領域特定部170は、信号機特定部166が自車両1の前方にいくつの信号機を特定したかに応じ、例えば、信号機が1つのみ特定された場合と、信号機が複数特定された場合で、自車両領域230の特定処理の手順を異ならせている。
【0043】
具体的に、信号機特定部166が自車両1の前方に1の信号機232aを特定している場合、自車両領域特定部170は、
図5(a)のように、その1の信号機232aを基準とした、例えば、1の信号機232aの中心位置から所定の水平距離(例えば±2.0m)の幅で、自車両1の走行軌跡220と平行な方向(走行軌跡220に沿う方向)に延長した帯状領域を自車両領域230として特定する。ここで、自車両領域230の奥行き方向は、白線に基づいて自車両領域230を特定する場合同様、自車両1から所定の相対距離(例えば50m)までの範囲に制限する。なお、水平距離を±2.0mとしているのは、自車両1が走行している車線を確実に含めるためであり、その値は任意に決定することができる。
【0044】
また、信号機特定部166が自車両1の前方に複数の信号機を特定している場合、自車両領域特定部170は、
図5(b)のように、まず、複数の信号機のうち、自車両1前方に位置し、かつ、自車両1に最も近い方から2の信号機232b、232cを抽出する。そして、自車両領域特定部170は、自車両領域230の水平方向の幅を以下のように決定する。すなわち、自車両領域230の左側の境界は、その2の信号機232b、232cのうち左側の信号機232bの中心位置から左側に水平距離2.0mの位置とし、自車両領域230の右側の境界は、その2の信号機232b、232c間の水平距離の中点に相当する位置(中央線の位置)とする。
【0045】
続いて、自車両領域特定部170は、このように決定された幅で、自車両1の走行軌跡220と平行な方向(走行軌跡220に沿う方向)に延長した帯状領域を自車両領域230として特定する。ここで、自車両領域230の奥行き方向は、白線から自車両領域230を特定する場合同様、自車両1から所定の相対距離(例えば50m)までの範囲に制限する。
【0046】
このようにして、自車両領域特定部170は、白線の存在有無に拘わらず、また、停止車両等の静止物を回避することで走行軌跡220が変位した場合においても、1または複数の信号機の位置に基づいて、自車両領域230を適切に特定することができる。
【0047】
また、白線特定部168が白線を特定し、かつ、信号機特定部166が1または複数の信号機を特定している場合、いずれに基づいても自車両領域230を特定することができる。この場合、予め定められた優先順位により、白線に基づいた自車両領域または信号機の位置に基づいた自車両領域の一方を選択し、または、双方の平均的な領域(両領域の外形同士の中央位置に相当する線分に囲まれた領域)を導出して自車両領域230としてもよい。
【0048】
(交差点領域特定処理)
また、信号機特定部166が自車両1の前方に複数の信号機を特定している場合、自車両領域特定部170が自車両領域230を特定するのに加え、または、代えて、交差点領域特定部172は、複数の信号機の位置に基づいて、自車両が進入すると想定される交差点領域を特定することができる。
【0049】
図6は、交差点領域特定処理を説明するための説明図である。交差点領域特定部172は、
図6のように、まず、複数の信号機のうち、自車両1前方に位置し、かつ、自車両1に最も近い方から2の信号機232b、232cを抽出する。そして、交差点領域特定部172は、交差点領域240の水平方向の幅を以下のように決定する。すなわち、交差点領域240の左側の境界は、その2の信号機232b、232cのうち左側の信号機232bの中心位置から左側に水平距離2.0mの位置とし、交差点領域240の右側の境界は、その2の信号機232b、232cのうち右側の信号機232cの中心位置から右側に水平距離2.0mの位置とする。
【0050】
続いて、交差点領域特定部172は、交差点領域240の奥行き方向の幅を以下のように決定する。すなわち、交差点領域240の自車両1手前側の境界は、その2の信号機232b、232cのうち手前側に位置する信号機232cの位置とし、交差点領域240の自車両1奥側の境界は、その2の信号機232b、232cのうち奥側に位置する信号機232bの位置とする。
【0051】
交差点のように、白線が存在しないところでは、従来、安全性の観点から、制御対象となる領域として、白線が存在する場合よりも広い領域を設定せざるを得ず、本来含まれるべきでない特定物、例えば、信号機のポール、看板、街灯等も制御対象に含まれ得る。このような特定物を制御対象から除外して、車両や人といった移動物を適切に抽出すべく、移動物らしさを判定する閾値を単純に引き上げると(判定基準を厳しくすると)、移動物の特定精度は高まるものの、本来移動物と判定すべき立体物を他の特定物と判定するおそれが生じる。
【0052】
しかし、本実施形態では、上述したように、信号機の位置に基づいて交差点領域240を適切に特定することができるので、交差点領域240として無駄に広い領域を設定することなく、また、移動物らしさを判定する判定基準を厳しくすることなく、移動物の特定精度を高めることが可能となる。
【0053】
(移動物特定処理)
移動物特定部174は、自車両領域特定部170が特定した自車両領域230や、交差点領域特定部172が特定した交差点領域240を参照し、自車両領域230や交差点領域240に含まれる立体物が、車両や人といった移動物であるか否か判定し、移動物を特定する。
【0054】
図7は、移動物特定処理の判定基準を説明するための説明図である。移動物特定部174は、自車両領域特定部170が特定した自車両領域230を参照し、自車両領域230に含まれる立体物が各判定条件に対応付けられた判定基準を満たせば、例えば、
図7に示すように、立体物の幅が2.0m以上であり、立体物の高さが1.0m以上であり、道路面からの高さが2.0m以下であり、走行軌跡220からの水平距離が5.0m以下であれば、その立体物を移動物と特定する。
【0055】
また、移動物特定部174は、交差点領域240においても、自車両領域230同様、移動物を特定する。ただし、交差点領域240と自車両領域230との判定基準を、以下の理由により異ならせている。すなわち、車両は、交差点において、奥行き方向のみならず、水平方向にも移動する。また、人(歩行者)は、通常、車道ではない歩道を移動するところ、交差点においては、道路を横断しなければならなくなる。したがって、交差点内に位置する立体物は、車両や人といった移動物である蓋然性が非常に高くなる。
【0056】
そこで、本実施形態では、交差点領域240における移動物の判定基準を自車両領域230における移動物の判定基準より緩めて(引き下げて)、移動物を特定し易くする。この場合、特定精度が低下し、本来移動物として特定すべきではない立体物も移動物と判定される可能性が生じるが、上述したように、交差点内に移動物が位置する蓋然性を踏まえると、問題にはならない。
【0057】
具体的に、移動物特定部174は、交差点領域特定部172が特定した交差点領域240を参照し、交差点領域240に含まれる立体物が、自車両領域230を参照した場合より緩い判定基準を満たせば、例えば、
図7に示すように、立体物の幅が0.1m以上であり、立体物の高さが0.1m以上であり、道路面からの高さが3.0m以下であり、走行軌跡220からの水平距離が10.0m以下であれば、その立体物を移動物と特定する。ただし、かかる交差点領域240および自車両領域230に対応付けられた各判定条件や、その判定基準に相当する具体的な数値は、
図7に限定されず、任意に設定することができる。
【0058】
また、
図5(b)の自車両領域230と、
図6の交差点領域240とを比較して理解できるように、自車両領域230と交差点領域240とが重畳する場合がある。この場合、移動物特定部174は、交差点領域240を優先し、重畳する領域については、交差点領域240を参照した場合の判定基準を用いて移動物を特定する。かかる構成により、道路上に位置する移動物を効果的に抽出することができる。
【0059】
(車両制御処理)
車両制御部176は、移動物特定部174が移動物を特定すると、その移動物を追跡しつつ、移動物の相対速度等を導出し、移動物と自車両1とが衝突する可能性が高いか否かの判定を行い、その結果を車両制御装置130に出力する。こうして、衝突回避制御やクルーズコントロールが実行される。
【0060】
以上、説明したように、本実施形態の車外環境認識装置120では、道路上に白線が存在しない場合であっても、自車両領域230や交差点領域240を適切に特定することが可能となる。
【0061】
また、自車両領域230や交差点領域240を特定し、それを参照して移動物を特定する方法や、コンピュータを、車外環境認識装置120として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ROM、CD、DVD、BD等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【0062】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。