特開2015-231179(P2015-231179A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士重工業株式会社の特許一覧
<>
  • 特開2015231179-車外環境認識装置 図000003
  • 特開2015231179-車外環境認識装置 図000004
  • 特開2015231179-車外環境認識装置 図000005
  • 特開2015231179-車外環境認識装置 図000006
  • 特開2015231179-車外環境認識装置 図000007
  • 特開2015231179-車外環境認識装置 図000008
  • 特開2015231179-車外環境認識装置 図000009
  • 特開2015231179-車外環境認識装置 図000010
  • 特開2015231179-車外環境認識装置 図000011
  • 特開2015231179-車外環境認識装置 図000012
  • 特開2015231179-車外環境認識装置 図000013
  • 特開2015231179-車外環境認識装置 図000014
  • 特開2015231179-車外環境認識装置 図000015
  • 特開2015231179-車外環境認識装置 図000016
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2015-231179(P2015-231179A)
(43)【公開日】2015年12月21日
(54)【発明の名称】車外環境認識装置
(51)【国際特許分類】
   H04N 7/18 20060101AFI20151124BHJP
   B60R 1/00 20060101ALI20151124BHJP
   B60R 21/00 20060101ALI20151124BHJP
   G06T 7/60 20060101ALI20151124BHJP
   G08G 1/16 20060101ALI20151124BHJP
【FI】
   H04N7/18 J
   B60R1/00 A
   B60R21/00 624C
   B60R21/00 626G
   G06T7/60 300A
   G08G1/16 C
【審査請求】未請求
【請求項の数】7
【出願形態】OL
【全頁数】19
(21)【出願番号】特願2014-117303(P2014-117303)
(22)【出願日】2014年6月6日
(71)【出願人】
【識別番号】000005348
【氏名又は名称】富士重工業株式会社
(74)【代理人】
【識別番号】110000936
【氏名又は名称】特許業務法人青海特許事務所
(72)【発明者】
【氏名】笠置 誠佑
【テーマコード(参考)】
5C054
5H181
5L096
【Fターム(参考)】
5C054FC01
5C054FC12
5C054FC14
5C054FD02
5C054HA30
5H181AA01
5H181CC04
5H181FF32
5H181LL01
5H181LL04
5H181LL08
5H181LL09
5L096AA09
5L096BA04
5L096CA05
5L096FA06
5L096FA52
5L096FA66
5L096FA67
5L096FA69
5L096GA51
(57)【要約】
【課題】車外環境や照射範囲の変化に拘わらず、判定対象となる範囲を適切に定め、その中のエッジ成分の分布に基づいて特定物を判定することで、特定物の特定精度を向上する。
【解決手段】 車外環境認識装置120は、撮像装置により撮像された画像内における立体像の垂直方向の輝度の分布に基づいて、立体像を垂直方向上下に分断する境界を導出する境界導出部180と、境界の垂直方向上下のいずれか輝度の高い方の画像を用い、エッジ成分に基づいて立体像が所定の特定物か否か判定する特定物特定部184と、を備える。
【選択図】図3
【特許請求の範囲】
【請求項1】
撮像装置により撮像された画像内における立体像の垂直方向の輝度の分布に基づいて、該立体像を垂直方向上下に分断する境界を導出する境界導出部と、
前記境界の垂直方向上下のいずれか輝度の高い方の画像を用い、エッジ成分に基づいて前記立体像が所定の特定物か否か判定する特定物特定部と、
を備えることを特徴とする車外環境認識装置。
【請求項2】
前記境界導出部は、前記立体像を垂直方向に分割した、水平方向に延伸する複数の第1分割領域を生成し、該複数の第1分割領域同士の輝度の差分に基づいて前記境界を導出することを特徴とする請求項1に記載の車外環境認識装置。
【請求項3】
前記画像が明状態か暗状態か判定する明暗判定部と、
明状態であれば前記立体像の前記境界の上方を残し、暗状態であれば前記立体像の該境界の下方を残し、該残した立体像を水平方向に分割した、垂直方向に延伸する複数の第2分割領域を生成し、該複数の第2分割領域のうち、中央に位置する第2分割領域内の、垂直方向に延伸する垂直エッジの数と、左右に位置する第2分割領域内の該垂直エッジの数を計数するエッジ計数部と、
をさらに備え、
前記特定物特定部は、前記中央に位置する第2分割領域内の垂直エッジの数と、前記左右に位置する第2分割領域内の垂直エッジの数とに基づいて前記立体像が所定の特定物か否か判定することを特徴とする請求項1または2に記載の車外環境認識装置。
【請求項4】
前記特定物特定部は、前記中央に位置する第2分割領域内の垂直エッジの数が所定の閾値未満であり、かつ、前記左右に位置する第2分割領域内の垂直エッジが所定の閾値以上であれば、前記立体像を車両であると判定することを特徴とする請求項3に記載の車外環境認識装置。
【請求項5】
前記グループ化部は、前記立体像の左右一方の近傍領域において相対距離が傾斜していれば、該立体像において該近傍領域から連続して相対距離が傾斜している領域を該立体像から除外することを特徴とする請求項1から4のいずれか1項に記載の車外環境認識装置。
【請求項6】
前記グループ化部は、前記立体像の左右両方の近傍領域において相対距離の変化態様が連続していない場合に該立体像を導出することを特徴とする請求項1から5のいずれか1項に記載の車外環境認識装置。
【請求項7】
前記グループ化部がグループ化した立体像を追跡する立体像追跡部をさらに備え、
前記境界導出部は、進行路との水平距離の差が最短の立体像、または、進行路との水平距離の差が所定範囲内に維持された立体像を対象として境界を導出することを特徴とする請求項1から6のいずれか1項に記載の車外環境認識装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自車両の周囲に存在する特定物を特定する車外環境認識装置に関する。
【背景技術】
【0002】
従来、自車両の前方に位置する車両等の特定物を特定し、先行車両との衝突を回避したり(衝突回避制御)、先行車両との車間距離を安全な距離に保つように制御する(クルーズコントロール)技術が知られている。このような自車両の前方監視技術により、先行車両や歩行者などの特定物との接触事故の回避や軽減にも効果が期待されている。
【0003】
特定物の特定技術としては、例えば、レーダ装置によって障害物を検知し、自車両と障害物との相対速度に基づいて障害物が静止物体であるか否か判定する技術が知られている(例えば、特許文献1)。また、立体物が存在する判定対象領域内のエッジ成分のエッジ方向やエッジ強度の分布に基づいて立体物の種別を判定する技術も公開されている(例えば、特許文献2)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2007−278892号公報
【特許文献2】特開2007−156626号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、上述した特許文献1の技術では、レーダ装置のみで立体物を判定しているので、立体物の形状を認識できず、特定物の特定精度に劣る。また、特許文献2の技術では、エッジ方向やエッジ強度の分布に応じて特定物の特定精度は高まるものの、昼や夜といった車外環境の変化や、それに伴う判定対象への光源の照射範囲の変化に適応していない。そのため、例えば、夜間の場合、ヘッドライトを点灯した時の先行車両の照射範囲は先行車両との相対距離によって変わり、先行車両の上下でエッジの特性が変動することになる。しかし、特許文献2の技術では、ヘッドライトによる先行車両の照射範囲の影響まで考慮されていないため、夜間では、自車両からのヘッドライトによる判定対象領域のエッジ成分に道路面のエッジ成分が含まれてしまうなど、エッジ成分の検出への対応が十分ではなく、適切に先行車両を特定できない問題があった。
【0006】
本発明は、このような課題に鑑み、車外環境や照射範囲の変化に拘わらず特定物の特定精度を向上することが可能な車外環境認識装置を提供することを目的としている。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明の車外環境認識装置は、撮像装置により撮像された画像内における立体像の垂直方向の輝度の分布に基づいて、立体像を垂直方向上下に分断する境界を導出する境界導出部と、境界の垂直方向上下のいずれか輝度の高い方の画像を用い、エッジ成分に基づいて立体像が所定の特定物か否か判定する特定物特定部と、を備えることを特徴とする。
【0008】
境界導出部は、立体像を垂直方向に分割した、水平方向に延伸する複数の第1分割領域を生成し、複数の第1分割領域同士の輝度の差分に基づいて境界を導出してもよい。
【0009】
画像が明状態か暗状態か判定する明暗判定部と、明状態であれば立体像の境界の上方を残し、暗状態であれば立体像の境界の下方を残し、残した立体像を水平方向に分割した、垂直方向に延伸する複数の第2分割領域を生成し、複数の第2分割領域のうち、中央に位置する第2分割領域内の、垂直方向に延伸する垂直エッジの数と、左右に位置する第2分割領域内の垂直エッジの数を計数するエッジ計数部と、をさらに備え、特定物特定部は、中央に位置する第2分割領域内の垂直エッジの数と、左右に位置する第2分割領域内の垂直エッジの数とに基づいて立体像が所定の特定物か否か判定してもよい。
【0010】
特定物特定部は、中央に位置する第2分割領域内の垂直エッジの数が所定の閾値未満であり、かつ、左右に位置する第2分割領域内の垂直エッジが所定の閾値以上であれば、立体像を車両であると判定してもよい。
【0011】
グループ化部は、立体像の左右一方の近傍領域において相対距離が傾斜していれば、立体像において近傍領域から連続して相対距離が傾斜している領域を立体像から除外してもよい。
【0012】
グループ化部は、立体像の左右両方の近傍領域において相対距離の変化態様が連続していない場合に立体像を導出してもよい。
【0013】
グループ化部がグループ化した立体像を追跡する立体像追跡部をさらに備え、境界導出部は、進行路との水平距離の差が最短の立体像、または、進行路との水平距離の差が所定範囲内に維持された立体像を対象として境界を導出してもよい。
【発明の効果】
【0014】
本発明によれば、車外環境や照射範囲に拘わらず特定物の特定精度を向上することが可能となる。
【図面の簡単な説明】
【0015】
図1】環境認識システムの接続関係を示したブロック図である。
図2】車外環境の変化による立体像への光源の照射範囲の変化を説明するための説明図である。
図3】車外環境認識装置の概略的な機能を示した機能ブロック図である。
図4】車外環境認識処理の流れを示すフローチャートである。
図5】輝度画像と距離画像を説明するための説明図である。
図6】グループ化処理を例示した説明図である。
図7】グループ化処理の他の例を示した説明図である。
図8】グループ化処理の他の例を示した説明図である。
図9】立体像の制限を説明するための説明図である。
図10】明暗判定部の処理を説明するための説明図である。
図11】境界導出部の動作を説明するための説明図である。
図12】エッジ計数部の動作を説明するための説明図である。
図13】エッジ方向を説明するための説明図である。
図14】垂直エッジの出現態様を説明するための説明図である。
【発明を実施するための形態】
【0016】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【0017】
(環境認識システム100)
図1は、環境認識システム100の接続関係を示したブロック図である。環境認識システム100は、自車両1内に設けられた、撮像装置110と、車外環境認識装置120と、車両制御装置(ECU:Engine Control Unit)130とを含んで構成される。
【0018】
撮像装置110は、CCD(Charge-Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等の撮像素子を含んで構成され、自車両1の前方に相当する環境を撮像し、輝度(Y)による輝度画像(モノクロ画像)、または、カラー値によるカラー画像を生成することができる。ここで、カラー値は、1つの輝度(Y)と2つの色差(U、V)からなるYUV形式の色空間、3つの色相(R(赤)、G(緑)、B(青))からなるRGB形式の色空間、または、色相(H)、彩度(S)、明度(B)からなるHSB形式の色空間のいずれかで表される数値群である。本実施形態では、少なくとも輝度(Y)を有していればよく、輝度画像およびカラー画像のいずれかであれば足りるので、撮像装置110は、輝度画像を生成するとして説明する。
【0019】
また、撮像装置110は、自車両1の進行方向側において2つの撮像装置110それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置110は、自車両1の前方の検出領域に存在する立体物を撮像した輝度画像を、例えば1/60秒のフレーム毎(60fps)に連続して生成する。ここで、認識する立体物や、立体物に対応付けて特定する特定物は、車両、歩行者、自転車、信号機、道路、ガードレール、建物、道路の側壁、急勾配の坂といった立体的に独立して存在する物のみならず、テールランプやウィンカー、信号機の各点灯部分等、特定物の一部として特定できる物も含む。本実施形態の目的の一つは、輝度画像に含まれる立体像(立体物の像)を特定物、例えば車両として特定することにある。以下の実施形態における各機能部は、このような輝度画像の取得(更新)を契機としてフレーム毎に各処理を遂行する。
【0020】
車外環境認識装置120は、2つの撮像装置110それぞれから輝度画像を取得し、所謂パターンマッチングを用いて視差を導き出し、導出された視差情報(後述する相対距離に相当)を輝度画像に対応付けて距離画像を生成する。輝度画像および距離画像については後ほど詳述する。また、車外環境認識装置120は、輝度画像に基づく輝度、および、距離画像に基づく自車両1との相対距離zを用いて、自車両1前方の検出領域における立体像を抽出し、立体像の中から制御対象となる特定物を特定する。
【0021】
また、車外環境認識装置120は、特定物を特定すると、その特定物(例えば、先行車両)を追跡しつつ、特定物の相対速度等を導出し、特定物と自車両1とが衝突する可能性が高いか否かの判定を行う。ここで、衝突の可能性が高いと判定した場合、車外環境認識装置120は、その旨、運転者の前方に設置されたディスプレイ122を通じて運転者に警告表示(報知)を行うとともに、車両制御装置130に対して、その旨を示す情報を出力する。
【0022】
車両制御装置130は、ステアリングホイール132、アクセルペダル134、ブレーキペダル136を通じて運転者の操作入力を受け付け、操舵機構142、駆動機構144、制動機構146に伝達することで自車両1を制御する。また、車両制御装置130は、車外環境認識装置120の指示に従い、駆動機構144、制動機構146を制御する。
【0023】
以上、説明したように、環境認識システム100では、輝度画像に含まれる立体像の中から、自車両1前方に存在する、例えば先行車両を特定し、先行車両への追従制御や、先行車両との衝突回避制御を実行する。したがって、環境認識システム100では、自車両1前方に存在する立体物が、先行車両等の移動物であるか、道路の側壁や急勾配の坂といった静止物であるか正確に判定する必要がある。そこで、例えば、抽出した立体像のエッジ成分(エッジ方向やエッジ強度)に基づいて、その立体像が車両であるか否か判定することが考えられる。
【0024】
しかし、昼や夜といった車外環境の変化や、それに伴う立体像への光源の照射範囲の変化を考慮せず、単にエッジ成分に基づいて特定物(例えば先行車両)を特定しようとすると、特定物としての先行車両を正確に特定できない場合がある。
【0025】
図2は、車外環境の変化による立体像への光源の照射範囲の変化を説明するための説明図である。例えば、図2(a)のような立体像(先行車両の背面)に対し、昼間は、先行車両の上方に位置する太陽が主たる光源になることが多く、図2(b)に示すように、立体像への光源の照射範囲が、立体像の上部に限定され、立体像下部においては輝度が低くなる場合がある。このような状態においても、単に立体像全体を対象にエッジ成分を判定すると、立体像の上下でエッジ成分の特性が異なり、特に、立体像下部のエッジ方向が意図したエッジ方向とならず、先行車両を他の特定物、例えば、道路の側壁や急勾配の坂と誤判定する場合が生じ得る。また、昼間においては、トラックなど荷室が比較的上方に位置する車両は、逆光の状況下で、車両背面のうち下部の空間が影となり、暗く黒く見え、そもそもエッジ成分が無くなってしまう。また、順光の状況下では、その下部の空間に光が当たって路面表示が立体像として含まれることとなり、その模様がノイズとなることがある。
【0026】
一方、夜間は、先行車両後方から照射する自車両1のヘッドライトが光源になることが多く、図2(c)に示すように、先行車両の背面(後部面)への光源の照射範囲が、下部に限定され、立体像上部においては輝度が低くなる。このような状態においても、単に立体像全体を対象にエッジ成分を判定すると、立体像の上下でエッジ成分の特性が異なり、特に、立体像上部のエッジ方向が意図したエッジ方向とならず、先行車両を他の特定物、例えば、道路の側壁や急勾配の坂と誤判定する場合が生じ得る。
【0027】
そこで、本実施形態では、昼夜(明暗)を判定することで車外環境や照射範囲の変化を考慮し、立体像を適切に判定して、特定物の特定精度を向上することを目的とする。
【0028】
以下、車外環境認識装置120の構成について詳述する。ここでは、本実施形態に特徴的な立体像を、先行車両、道路の側壁、急勾配の坂のいずれかに特定する手順について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。
【0029】
(車外環境認識装置120)
図3は、車外環境認識装置120の概略的な機能を示した機能ブロック図である。図3に示すように、車外環境認識装置120は、I/F部160と、データ保持部162と、中央制御部164とを含んで構成される。
【0030】
I/F部160は、撮像装置110や車両制御装置130との双方向の情報交換を行うためのインターフェースである。データ保持部162は、RAM、フラッシュメモリ、HDD等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置110から受信した輝度画像を一時的に保持する。
【0031】
中央制御部164は、中央処理装置(CPU)、プログラム等が格納されたROM、ワークエリアとしてのRAM等を含む半導体集積回路で構成され、システムバス166を通じて、I/F部160、データ保持部162等を制御する。また、本実施形態において、中央制御部164は、画像処理部170、3次元位置導出部172、グループ化部174、立体像追跡部176、明暗判定部178、境界導出部180、エッジ計数部182、特定物特定部184としても機能する。
【0032】
(車外環境認識処理)
図4は、車外環境認識処理の流れを示すフローチャートである。車外環境認識処理では、画像処理部170が、撮像装置110から取得した画像を処理し(S200)、3次元位置導出部172が、画像から3次元位置を導出し(S202)、グループ化部174が、3次元位置に基づいてグループ化された立体像を生成する(S204)。また、立体像追跡部176が立体像を追跡し(S206)、明暗判定部178が、車外環境が明状態か暗状態か判定し(S208)、境界導出部180が、立体像を垂直方向上下に分断する境界を導出し(S210)、エッジ計数部182が、立体像の判定対象の領域を絞り、その絞った領域中の垂直エッジの数を計数する(S212)。そして、特定物特定部184がその結果に応じて特定物を特定する(S214)。ここで、「垂直」は画面縦方向を示し、後述する「水平」は画面横方向を示す。以下、個々の処理を詳述する。
【0033】
(画像処理S200)
画像処理部170は、2つの撮像装置110それぞれから輝度画像を取得し、一方の輝度画像から任意に抽出したブロック(例えば水平4画素×垂直4画素の配列)に対応するブロックを他方の輝度画像から検索する、所謂パターンマッチングを用いて視差を導き出す。
【0034】
このパターンマッチングとしては、2つの輝度画像間において、任意の画像位置を示すブロック単位で輝度(Y色差信号)を比較することが考えられる。例えば、輝度の差分をとるSAD(Sum of Absolute Difference)、差分を2乗して用いるSSD(Sum of Squared intensity Difference)や、各画素の輝度から平均値を引いた分散値の類似度をとるNCC(Normalized Cross Correlation)等の手法がある。画像処理部170は、このようなブロック単位の視差導出処理を検出領域(例えば水平600画素×垂直180画素)に映し出されている全てのブロックについて行う。ここでは、ブロックを水平4画素×垂直4画素としているが、ブロック内の画素数は任意に設定することができる。以下、かかる視差情報を導出する単位となるブロックを視差ブロックと称する。
【0035】
ただし、画像処理部170では、検出分解能単位である視差ブロック毎に視差を導出することはできるが、その視差ブロックがどのような立体像の一部であるかを認識できない。したがって、視差情報は、立体像単位ではなく、検出領域における検出分解能単位(例えば視差ブロック単位)で独立して導出されることとなる。ここでは、このようにして導出された視差情報(後述する相対距離zに相当)を輝度画像に対応付けた画像を距離画像という。
【0036】
図5は、輝度画像212と距離画像214を説明するための説明図である。例えば、2つの撮像装置110を通じ、検出領域216について図5(a)のような輝度画像212が生成されたとする。ただし、ここでは、理解を容易にするため、撮像装置110それぞれが生成した2つの輝度画像212の一方のみを模式的に示している。本実施形態において、画像処理部170は、このような輝度画像212から視差ブロック毎の視差を求め、図5(b)のような距離画像214を生成する。距離画像214における各視差ブロックには、その視差ブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出された視差ブロックを黒のドットで表している。
【0037】
(3次元位置導出処理S202)
図3に戻って説明すると、3次元位置導出部172は、画像処理部170で生成された距離画像214に基づいて検出領域216内の視差ブロック毎の視差情報(視差ブロック中の画素は全て視差ブロックと等しい視差情報を有する。)を、所謂ステレオ法を用いて、水平距離x、高さyおよび相対距離zを含む実空間における3次元位置に変換する。ここで、ステレオ法は、三角測量法を用いることで、画素の距離画像214における視差からその画素の撮像装置110に対する相対距離zを導出する方法である。このような処理の最小単位である画像部位としては、かかる画素の他、複数の画素からなるブロックを用いることもできる。このとき、3次元位置導出部172は、画素の相対距離zと、画素と同相対距離zにある道路表面上の点と画素との距離画像214上の検出距離とに基づいて、画素の道路表面からの高さyを導出する。そして、導出された3次元位置を改めて距離画像214に対応付ける。かかる相対距離zの導出処理や3次元位置の特定処理は、様々な公知技術を適用できるので、ここでは、その説明を省略する。
【0038】
(グループ化処理S204)
グループ化部174は、3次元位置の差分が所定範囲内にある画素同士をグループ化して立体像とする。具体的に、グループ化部174は、距離画像214における、水平距離xの差分、高さyの差分および相対距離zの差分が予め定められた範囲(例えば0.1m)内にある画素同士を、同一の特定物に対応すると仮定してグループ化する。こうして、仮想的な画素群である立体像が生成される。上記の範囲は実空間上の距離で表され、製造者や搭乗者によって任意の値に設定することができる。また、グループ化部174は、グループ化により新たに追加された画素に関しても、その画素を基点として、水平距離xの差分、高さyの差分および相対距離zの差分が所定範囲内にある画素をさらにグループ化する。結果的に、同一の特定物と仮定可能な画素全てがグループ化されることとなる。
【0039】
また、ここでは、水平距離xの差分、高さyの差分および相対距離zの差分をそれぞれ独立して判定し、全てが所定範囲に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離xの差分、高さyの差分および相対距離zの差分の二乗平均√((水平距離xの差分)+(高さyの差分)+(相対距離zの差分))が所定範囲に含まれる場合に同一のグループとしてもよい。かかる計算により、画素同士の実空間上の正確な距離を導出することができるので、グループ化精度を高めることができる。
【0040】
図6は、グループ化処理S204を例示した説明図である。例えば、図6(a)のような輝度画像212において、グループ化部174は、図6(b)に一点鎖線で囲んだように、距離画像214に基づく3次元位置を用いて、水平距離xの差分、高さyの差分および相対距離zの差分が予め定められた範囲内にある画素同士をグループ化する。このとき、グループ化部174は、立体像(画素の集合体)とともに、立体像が含まれる、外形線が水平線および垂直線からなる矩形状(以下、単に矩形状という)のウィンドウを設定する。なお、図6(b)では、説明の便宜上、水平距離xおよび相対距離zの関係のみ記載し、高さyについては省略している。
【0041】
具体的に、グループ化部174は、図6(a)に示す、先行車両220aの画素を、図6(b)に一点鎖線で示したように、3次元位置に基づいてグループ化し、図6(c)のように矩形状のウィンドウ222aを生成する。同様に、グループ化部174は、図6(a)に示す、人220bの画素を、図6(b)に一点鎖線で示したように、3次元位置に基づいてグループ化し、図6(c)のように矩形状のウィンドウ222bを生成する。
【0042】
本実施形態では、このような自車両1前方に位置する複数のウィンドウ222のうち、特に、追従制御や衝突回避制御の対象となり得る先行車両の立体像を含むウィンドウ222を特定することを目的とする。しかし、明らかに先行車両ではない位置にあるウィンドウを先行車両の可能性があるウィンドウと判定したり、先行車両と判定すべきウィンドウを先行車両の可能性があるウィンドウから除外してしまう場合がある。以下では、このような状況が生じる具体的な事例を挙げ、その対応策を述べる。
【0043】
まず、明らかに先行車両ではない位置にあるウィンドウを先行車両の可能性があるウィンドウと判定してしまう例としては、道路の側方に位置する樹木、ガードレール、壁、さらに、急勾配の坂の一部を先行車両の可能性があるウィンドウ222と判定することが挙げられる。これらの立体像に対してエッジ成分を判定すると、立体像のエッジ方向がランダムに出現し、エッジ成分に関するヒストグラムの分布が車両の分布と類似する場合がある。そうすると、かかる立体像が車両でないにも拘わらず、車両(先行車両)として特定してしまうおそれがある。
【0044】
また、先行車両と判定すべきウィンドウを先行車両の可能性があるウィンドウから除外してしまう例としては、逆光となる条件下で先行車両を撮像する場合がある。この場合、輝度画像212中、先行車両の背景(前方の風景)が白色に近く、かつ、輝度が高くなり、その反面、先行車両自体は黒色に近く、かつ、輝度が低くなる。そうすると、先行車両の背面の模様が認識不可能となり、エッジ成分を抽出できず、先行車両として特定できなくなる。また、先行車両が冷凍車等の特殊車両であると、背面に模様やエッジが少ない場合がある。この場合も、先行車両の模様が認識不可能となり、エッジ成分を抽出できず、先行車両として特定できなくなる。
【0045】
そこで、本実施形態のグループ化部174は、ウィンドウ222(立体像)の左右両方の近傍領域における立体像との相対距離の変化態様が連続していない場合に、立体像を導出することとする。
【0046】
図7は、グループ化処理S204の他の例を示した説明図である。図7(a)に示した、道路の側方に位置する壁(フェンス)は、道路に沿って鉛直方向に立設している。したがって、道路が湾曲(カーブ)している場合には、図7(a)に示すように、壁が自車両1の前方に位置することとなるので、グループ化部174が、壁の複数の部分を、図7(b)に示すように、それぞれ個別にグループ化し、先行車両の可能性があるウィンドウ222として認識してしまう場合がある。
【0047】
ここで、図7(b)を参照すると、図7(a)の各ウィンドウ222中の立体像は、元々連続した壁なので、相対距離の変化態様が連続している。すなわち、水平距離に対する相対距離の変化量の変動が少ないのが理解できる。そこで、グループ化部174は、ウィンドウ222(立体像)の左右両方の近傍領域における立体像の相対距離の変化態様が連続している場合、そのウィンドウ222を、先行車両の可能性があるウィンドウ222から除外し、相対距離の変化態様が連続していない場合にのみ、そのウィンドウ222を、先行車両の可能性があるウィンドウ222とする。こうして、明らかに先行車両ではない位置にあるウィンドウ222を先行車両の可能性があるウィンドウ222から除外することが可能となる。
【0048】
また、図7(c)では、逆光となる条件下で先行車両を撮像しているので、先行車両自体は黒色に近く、かつ、輝度が低くなっている。しかし、図7(d)を参照すると、図7(c)の各ウィンドウ222中の立体像は、左右両方の近傍領域の立体像と相対距離、および、相対距離の変化態様が異なる。すなわち、水平距離に対する相対距離の変化態様が連続していない。そこで、グループ化部174は、ウィンドウ222(立体像)の左右両方の近傍領域における立体像の相対距離の変化態様が連続していないことをもって、そのウィンドウ222を、先行車両の可能性があるウィンドウ222とする。こうして、先行車両と判定すべきウィンドウ222を除外することなく、適切に判定対象とすることが可能となる。
【0049】
図8は、グループ化処理S204の他の例を示した説明図である。本実施形態では、先行車両の確からしさを判定するため、後述するように、先行車両の背面のみを判定対象としている。したがって、グループ化部174は、先行車両の背面のみを立体像としてグループ化するのが望ましい。この点に関し、通常、先行車両と自車両1とは、同方向に進行していることが多いので、先行車両の背面のみが立体像として取得されるはずである。しかし、図8(a)のように、自車両1が走行している道路が湾曲している場合、先行車両が左右何れかに向かい、先行車両の進行方向と自車両1の進行方向とが有意な角度を有すこととなり、また、交差点を先行車両が左折または右折する場合も先行車両の進行方向と自車両1の進行方向とが有意な角度を有すこととなる。この場合、先行車両の背面のみならず、先行車両の側面の一部も立体像として取得されることがある。
【0050】
そうすると、グループ化部174は、図8(b)のように、側面の一部も含んだ立体像をグループ化し、図8(a)のように、その立体像に対して先行車両の可能性があるウィンドウ222を生成することとなる。この場合、先行車両の背面を判定する際に、側面のエッジ成分がノイズとして混在することとなり、先行車両の特定に支障を来すおそれがある。
【0051】
ここで、図8(b)を参照すると、図8(a)のウィンドウ222中の立体像では、その立体像の左右の近傍領域224の一方において、ここでは、左の近傍領域224において、先行車両の側面のうち背面に近い一部のみが背面と共にグループ化されている場合がある。したがって、先行車両の進行方向と自車両1の進行方向とが有意な角度を有している場合、立体像の左右一方の近傍領域224、ここでは、左の近傍領域224に対応する領域の相対距離が、図8(b)の二点鎖線のように傾斜していれば、その近傍領域224の右方向(先行車両の左部)において、先行車両の側面が取得されている可能性が高いこととなる。
【0052】
そこで、立体像の左右一方の近傍領域224において相対距離が傾斜していれば、グループ化部174は、図8(b)に示すように、立体像において、近傍領域224から連続して相対距離が傾斜している領域226を、先行車両の可能性があるウィンドウ222から除外する。ここで、連続して相対距離が傾斜している領域226は、ウィンドウ222の左端から、図8(b)に二点鎖線で示す、左の近傍領域224の相対距離の傾斜と、実線で示す、立体像の背面の傾斜との交点までとする。
【0053】
また、車両の幅が例えば1.5mと大凡決まっている場合、例えば、ウィンドウ222のうち、相対距離が傾斜している領域と反対側の端部(ここではウィンドウ222の右端)から水平距離にして1.5mの部分までを残し、その部分から左の領域を固定的に除外してもよい。例えば、図8(a)の例では、右端から1.5mの位置から左の領域を除外することとなる。こうして、図8(c)のように、ウィンドウ222の水平方向の幅が絞られ、先行車両の背面のみを立体像として取得することが可能となる。
【0054】
(立体像追跡処理S206)
立体像追跡部176は、グループ化部174がグループ化した立体像(ウィンドウ222)を追跡する。かかる立体像を追跡する手順は既存の様々な技術を適用できるので、ここではその詳細な説明を省略する。
【0055】
ところで、環境認識システム100では、自車両1の前方の検出領域に位置する立体像が先行車両であるか否か判定することを目的の一つとしている。しかし、先行車両の判定は、テンプレートとの比較や、ハフ変換、色情報の取得等、様々な手法を用いるため、処理負荷が重くなる。特に、自車両1の前方の検出領域に位置する立体像の数には制限が無いので、その全ての立体像に対して判定を行うとすると、処理負荷が増大するおそれがある。そこで、本実施形態では、自車両1の進行方向に対応する進行路と、立体像追跡部176が追跡している立体像とに基づいて、判定対象となる立体像を制限する。
【0056】
図9は、立体像の制限を説明するための説明図である。例えば、図9のように、立体像232aが、自車両1の進行方向に対応する、図9に一点鎖線で示した進行路230上に位置している場合、その立体像232aを判定対象とする。また、立体像232aが存在しない(進行路230に何ら立体像が位置していない)場合、進行路230との水平距離の差が最短の立体像、例えば、立体像232bを判定対象とする。
【0057】
また、かかる条件の代わりに、もしくは、かかる条件に加え、図9でハッチングしたように、立体像追跡部176が追跡している立体像232aが、進行路230との水平距離の差が所定範囲内に維持されている(含まれている)ことをもって、その立体像232aを判定対象とすることができる。後述する境界導出部180では、このように、進行路230との水平距離の差が最短の立体像、または、進行路230との水平距離の差が所定範囲内に維持された立体像を判定対象として、所定の処理を実行する。かかる構成により、自車両1の前方の検出領域に複数の立体像が位置する場合であっても、処理負荷を軽減することが可能となる。
【0058】
(明暗判定処理S208)
明暗判定部178は、輝度画像212の輝度に応じて明状態か暗状態か判定する。かかる明状態は主として車外環境の輝度が高い昼間を、暗状態は主として車外環境の輝度が低い夜間を示すが、かかる場合に限らず、例えば、昼間であってもトンネル内を走行する場合に暗状態としてもよい。
【0059】
図10は、明暗判定部178の処理を説明するための説明図である。まず、明暗判定部178は、輝度画像212中の所定の位置に対応する3つの対象点240における所定のブロックに含まれる所定数の画素の輝度を抽出し、対象点240毎に輝度の平均を導出する。さらに、明暗判定部178は、導出した3つの平均値をさらに平均し、3つの対象点240全ての輝度の平均値(全体平均値)を導出する。そして、明暗判定部178は、その全体平均値と所定の閾値とを比較し、全体平均値が閾値以上であれば、明状態と判定し、全体平均値が閾値未満であれば、暗状態と判定する。
【0060】
上記では、輝度画像212に基づいて明状態か暗状態か判定する例を挙げたが、かかる場合に限らず、撮像装置110のシャッタの開閉時間やゲインとそれぞれの閾値を比較する等、既存の様々な手順によって明状態か暗状態か判定することができる。また、上記では、全体平均値と閾値との1回の比較によって明状態か暗状態か判定する例を挙げたが、かかる場合に限らず、全体平均値と閾値との比較結果に応じて明状態と暗状態にそれぞれポイントを加減算し、その総数に応じて明状態か暗状態かを判定するとしてもよい。
【0061】
(境界導出処理S210)
境界導出部180は、グループ化部174によって生成された立体像を含むウィンドウ222の垂直方向の輝度の分布に基づいて、ウィンドウ222を垂直方向上下に分断する境界を導出する。以下、境界導出部180の具体的な動作を説明する。
【0062】
図11は、境界導出部180の動作を説明するための説明図である。図2を用いて説明したように、明状態では、図11(a)の左に示すように、立体像への光源の照射範囲が、立体像の上部に限定され、立体像下部においては輝度が低くなる。一方、暗状態では、図11(b)の左に示すように、先行車両の背面(後部面)への光源の照射範囲が、下部に限定され、立体像上部においては輝度が低くなる。そこで、境界導出部180は、その輝度の変化の境目(境界)を導出する。
【0063】
具体的に、境界導出部180は、まず、ウィンドウ222を垂直方向に分割し、水平方向に延伸する複数(ここでは10)の第1分割領域250を生成する。続いて、境界導出部180は、図11(a)および図11(b)の右に示すように、分割した複数の第1分割領域250毎に第1分割領域250内の全ての画素における輝度の平均値を導出する。ここでは、理解を容易にするために垂直方向に10分割する例を挙げているが、分割数はかかる場合に限らず、必要な分解能に応じて任意に決定することができる。
【0064】
次に、境界導出部180は、明暗判定部178が判定した結果に基づき、明状態であれば垂直上方から検索し、輝度が所定の閾値以上低下する変化点を導出し、暗状態であれば同様に垂直上方から検索し、輝度が所定の閾値以上上昇する変化点を導出する。そして、その変化点は、水平方向に延伸する立体像内の境界252となる。図11を参照すると、境界252の上下で照射態様が反転しているのが理解でき、その境が境界252となる。
【0065】
(エッジ計数処理S212)
続いて、エッジ計数部182と特定物特定部184とは、境界導出部180が導出した境界252の垂直方向上下のいずれか輝度の高い方の画像を用い、エッジ成分に基づいて立体像が所定の特定物か否か判定する。具体的に、まず、エッジ計数部182は、境界導出部180が導出した境界252に基づいて、先行車両の背面におけるエッジ成分の出現態様を特定する。
【0066】
図12は、エッジ計数部182の動作を説明するための説明図である。まず、エッジ計数部182は、境界導出部180が導出した境界252に基づいてウィンドウ222を絞る。具体的に、エッジ計数部182は、図12(a)に示すように、明状態であればウィンドウ222(立体像)の境界252の下方を除外して上方を残し、図12(b)に示すように、暗状態であればウィンドウ222の境界252の上方を除外して下方を残し、それをエッジ成分の判定対象とする。
【0067】
次に、エッジ計数部182は、図12(a)および図12(b)に示すように、このようにして残した部分を、水平方向に分割し、垂直方向に延伸する複数(ここでは3)の第2分割領域260を生成する。そして、エッジ計数部182は、かかる複数の第2分割領域260毎に、その中に含まれる画素毎のエッジ方向を導出する。ここで、エッジ方向は、エッジの延伸方向を示す。
【0068】
図13は、エッジ方向を説明するための説明図である。図13(a)に示すように、第2分割領域260における4画素からなる任意のブロック262を拡大すると、図13(b)のような輝度分布となっていたとする。また、輝度の範囲を0〜255とし、図13(b)中、仮に、白色の塗りつぶしを輝度「200」、黒色の塗りつぶしを輝度「0」とする。ここでは、仮に、ブロック262の図中左上画素の輝度をA、右上画素の輝度をB、左下画素の輝度をC、右下画素の輝度をDとし、エッジ方向の水平方向成分を(A+B)−(C+D)、エッジ方向の垂直方向成分を(B+D)−(A+C)と定義する。
【0069】
すると、図13(b)に示すブロック262のエッジ方向の水平方向成分は、(A+B)−(C+D)=(200+0)−(200+0)=0となり、エッジ方向の垂直方向成分は、(B+D)−(A+C)=(0+0)−(200+200)=−400となる。したがって、水平方向成分「0」、垂直方向成分「−400」となり、エッジ方向は、図13(c)の如く垂直方向下向き(負)の矢印で示される。ただし、図13(d)のように、水平成分は画面右方向を正、垂直成分は画面上方向を正としている。こうして導出されたエッジ方向はブロック内の4つの画素全てに対応付けられる。すなわち、ブロック内の4つの画素は全て同じエッジ方向を有することとなる。
【0070】
このように、ブロック内の半分の領域から他の半分の領域を減算する構成により、ブロック内全体に含まれる輝度のオフセットやノイズを取り除くことができ、エッジを適切に抽出することが可能となる。また、加減算のみの単純計算でエッジ方向を導出できるので、計算負荷を軽減できる。
【0071】
本実施形態では、このように導出されたエッジ方向を累積し、その割合を導出することを目的としている。しかし、上記水平方向成分や垂直方向成分を導出した値をそのまま用いて単純にエッジ方向としてしまうと、そのエッジ方向のバリエーションが無限に存在することとなる。そうすると、その無限のバリエーションに対して同一とみなしてよいエッジ方向の範囲を設定しなければならない。
【0072】
そこで、本実施形態では、水平方向成分および垂直方向成分のいずれも単位長さで定義し、エッジ方向のバリエーションを単純化する。即ち、水平方向成分および垂直方向成分のいずれも−1、0、+1のいずれかとみなすこととする。そうすると、エッジ方向は、図13(e)のようにそれぞれ45度ずつの角度をなす8つの方向に限定することができる。例えば、上述した図13(b)の例では、エッジ方向は図13(e)の「7」の方向となる。こうすることで、エッジ計数部182の計算負荷を大幅に軽減することが可能となる。ただし、エッジ方向の導出手段は、かかる場合に限らず、エッジの出現態様を判定できる既存の様々な導出手段を適用することができる。
【0073】
エッジ計数部182は、このようなエッジ方向を、複数の第2分割領域260それぞれの全ての画素に対応するブロックに対して導出し、そのエッジ方向の数を第2分割領域260毎に累計する。このとき、エッジ計数部182は、第2分割領域260内の垂直エッジの数のみを計数する。垂直エッジは、垂直方向のエッジ、および、垂直方向から所定の角度範囲にある斜め方向のエッジを言う。例えば、図13(e)の例では、垂直方向のエッジである「3」および「7」、ならびに、斜め方向のエッジ「2」、「4」、「6」、「8」のエッジ方向である。したがって、ここでは、垂直エッジの角度範囲は、水平左方向を0とした場合に、22.5°〜157.5°、および、−22.5°〜−157.5°となる。ただし、垂直エッジの角度範囲は、かかる場合に限らず、任意に決定することができる。
【0074】
また、ここでは、第2分割領域260それぞれの全ての画素に対応するブロックに対してエッジ方向を導出する例を挙げて説明しているが、かかる場合に限らず、エッジ方向の導出するブロックを所定数に制限してもよい。例えば、第2分割領域260の水平方向に所定間隔を空けて50画素、垂直方向に所定間隔を空けて50画素を抽出し、その画素に対応するブロックに対してエッジ方向を導出し、その50画素×50画素に関して垂直エッジを計数してもよい。
【0075】
このように第2分割領域260毎に垂直エッジを計数するとしたのは、車両、道路の側壁、急勾配の坂で、第2分割領域260毎の垂直エッジの数が異なり、その比率によって車両、道路の側壁、急勾配の坂を識別できるからである。
【0076】
図14は、垂直エッジの出現態様を説明するための説明図である。図14では、エッジ方向を示しているが、理解を容易にするため、分解能を低くして表している。図14に示すように、車両は、外形の左右端部に垂直エッジを多く含むので、第2分割領域260のうち、中央に位置する第2分割領域260内の垂直エッジの数は少なく、左右に位置する第2分割領域260内の垂直エッジが多くなる。また、道路の側壁は、エッジ成分がランダムに生じ全体的に垂直エッジを多く含むので、第2分割領域260それぞれの垂直エッジが比較的均一に多くなる。さらに、急勾配の坂は、全体的に水平方向のエッジ成分が多くなるので、第2分割領域260それぞれの垂直エッジが比較的均一に少なくなる。
【0077】
(特定物特定処理S214)
特定物特定部184は、中央に位置する第2分割領域内の垂直エッジの数と左右に位置する第2分割領域内の垂直エッジの数とに基づいて立体像が所定の特定物か否か判定する。
【0078】
具体的に、特定物特定部184は、複数の第2分割領域260毎に垂直エッジを計数し、それぞれの垂直エッジの数と所定の閾値とを比較し、その結果に応じて、ウィンドウ222内の立体像を以下の様に特定する。例えば、特定物特定部184は、中央に位置する第2分割領域260内の垂直エッジの数が所定の閾値未満であり、かつ、左右に位置する第2分割領域260内の垂直エッジの数が所定の閾値以上であれば、車両であると仮決定する。また、特定物特定部184は、中央に位置する第2分割領域260内の垂直エッジの数が所定の閾値以上であり、かつ、左右に位置する第2分割領域260内の垂直エッジの数が所定の閾値以上であれば、道路の側壁であると仮決定する。特定物特定部184は、中央に位置する第2分割領域260内の垂直エッジの数が所定の閾値未満であり、かつ、左右に位置する第2分割領域260内の垂直エッジの数が所定の閾値未満であれば、急勾配の坂であると仮決定する。
【0079】
ここで、所定の閾値は、複数の試行から統計的に求めた予め定められた値である。また、所定の閾値は、先行車両の相対距離に応じ、相対距離が長ければ、より小さく、短ければ、より大きく変化させる。また、ウィンドウ222中の立体像の絶対的な大きさに応じ、トラック等、立体像が大きければ、より大きく、立体像が小さければ、より小さく変化させる。
【0080】
続いて、特定物特定部184は、ウィンドウ222に対してポイントを加算する。具体的に、特定物特定部184は、車両であると仮決定すると車両のポイントを例えば1加算し、他のポイントを例えば1減算もしくはリセットする。また、特定物特定部184は、道路の側壁であると仮決定すると道路の側壁のポイントを1加算し、他のポイントを1減算もしくはリセットする。特定物特定部184は、急勾配の坂であると仮決定すると急勾配の坂のポイントを1加算し、他のポイントを1減算もしくはリセットする。そして、車両、道路の側壁、または、急勾配の坂のいずれかのポイントが、時間経過に応じて所定のポイント以上となると、そのウィンドウ222は、ポイント以上となった立体像を特定物、例えば、車両であると特定する。かかるポイントの計数は、車両、道路の側壁、または、急勾配の坂それぞれに対して重み付けをしてもよい。
【0081】
こうして、本実施形態の車外環境認識装置120では、車外環境や照射範囲の変化に拘わらず、判定対象となる範囲を適切に定め、その中のエッジ成分の分布に基づいて特定物を判定することで、特定物の特定精度を向上することが可能となる。また、特定物を適切に定めることで、衝突回避制御やクルーズコントロールの制御対象を適切に定めることができ、車両の走行安定性を向上することができる。
【0082】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【0083】
例えば、上述した実施形態では、立体像を含むウィンドウ222を判定対象としたが、かかる場合に限らず、当然にして、立体像そのものを判定対象とすることもできる。
【0084】
なお、本明細書の車外環境認識処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【0085】
本発明は、自車両の周囲に存在する立体像を特定する車外環境認識装置に利用することができる。
【符号の説明】
【0086】
1 自車両
100 環境認識システム
110 撮像装置
120 車外環境認識装置
170 画像処理部
172 3次元位置導出部
174 グループ化部
176 立体像追跡部
178 明暗判定部
180 境界導出部
182 エッジ計数部
184 特定物特定部
250 第1分割領域
260 第2分割領域
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14