ホーム > 特許ランキング > 日立Ａｓｔｅｍｏ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-10
(45)【発行日】2024-12-18
(54)【発明の名称】外界認識装置、および、外界認識方法
(51)【国際特許分類】
B60W 40/04 20060101AFI20241211BHJP
G08G 1/16 20060101ALI20241211BHJP
G06T 7/00 20170101ALI20241211BHJP
G06T 7/254 20170101ALI20241211BHJP
G06T 7/593 20170101ALI20241211BHJP
G06T 7/529 20170101ALI20241211BHJP
G06T 7/60 20170101ALI20241211BHJP
G06T 7/70 20170101ALI20241211BHJP
【ＦＩ】
B60W40/04
G08G1/16 C
G06T7/00 650B
G06T7/254 A
G06T7/593
G06T7/529
G06T7/60 200Z
G06T7/70 Z
【請求項の数】
10
(21)【出願番号】P 2023529475
(86)(22)【出願日】2022-02-07
(86)【国際出願番号】 JP2022004712
(87)【国際公開番号】W WO2022269980
(87)【国際公開日】2022-12-29
【審査請求日】2023-09-26
(31)【優先権主張番号】P 2021104736
(32)【優先日】2021-06-24
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】509186579
【氏名又は名称】日立Ａｓｔｅｍｏ株式会社
(74)【代理人】
【識別番号】110000350
【氏名又は名称】ポレール弁理士法人
(72)【発明者】
【氏名】竹村 雅幸
(72)【発明者】
【氏名】志磨 健
(72)【発明者】
【氏名】田中 大樹
【審査官】佐々木 佳祐
(56)【参考文献】
【文献】特開２００８－１１７０７３（ＪＰ，Ａ）
【文献】特開２０２０－１７３７９９（ＪＰ，Ａ）
【文献】国際公開第２０１７／０４７６８７（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ６０Ｗ ４０／０４
Ｇ０８Ｇ １／００－９９／００
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／２５４
Ｇ０６Ｔ ７／５９３
Ｇ０６Ｔ ７／５２９
Ｇ０６Ｔ ７／６０
Ｇ０６Ｔ ７／７０
(57)【特許請求の範囲】
【請求項1】
自車両に接近中の他車両の一部を撮像した左右の画像の視差に基づいて、前記他車両の
側面情報を前記画像から抽出する側面抽出部と、
前記側面情報に基づいて、前記他車両の背面位置を探索する背面探索部と、
前記側面情報および前記背面位置に基づいて、前記画像中の前記他車両に近似する直方
体形状をフィッティングする形状フィッティング部と、
前記直方体形状を用いて、前記他車両を前記自車両の前方車両として認識する他車両認
識部と、を有する外界認識装置において、
前記他車両認識部は、
前記前方車両と前記自車両の相対姿勢、もしくは、前記前方車両の前記画像での側面と
背面の長さの推定値に基づいて、
前記前方車両の側面を基準に側面を探索するか、前記前方車両の背面を基準に側面を探
索するかを切り替えることを特徴とする外界認識装置。
【請求項2】
自車両に接近中の他車両の一部を撮像した左右の画像の視差に基づいて、前記他車両の
側面情報を前記画像から抽出する側面抽出部と、
前記側面情報に基づいて、前記他車両の背面位置を探索する背面探索部と、
前記側面情報および前記背面位置に基づいて、前記画像中の前記他車両に近似する直方
体形状をフィッティングする形状フィッティング部と、
前記直方体形状を用いて、前記他車両を前記自車両の前方車両として認識する他車両認
識部と、を有する外界認識装置において、
前記側面情報は、前記他車両の側面の位置と姿勢、および、前記側面の前記画像におけ
る奥行方向の長さであり、
前記側面抽出部は、視差値と横画像座標の２軸を持った視差投票空間に、前記左右の画
像の視差を投票することで、前記他車両の側面情報を抽出することを特徴とする外界認識
装置。
【請求項3】
自車両に接近中の他車両の一部を撮像した左右の画像の視差に基づいて、前記他車両の
側面情報を前記画像から抽出する側面抽出部と、
前記側面情報に基づいて、前記他車両の背面位置を探索する背面探索部と、
前記側面情報および前記背面位置に基づいて、前記画像中の前記他車両に近似する直方
体形状をフィッティングする形状フィッティング部と、
前記直方体形状を用いて、前記他車両を前記自車両の前方車両として認識する他車両認
識部と、を有する外界認識装置において、
前記側面情報は、前記他車両の側面の位置と姿勢、および、前記側面の前記画像におけ
る奥行方向の長さであり、
前記側面抽出部は、
前記画像を横方向に解析し、テクスチャの異なる位置を特定することで、もしくは、
前記左右の画像の視差を横方向に解析し、視差値の急変する位置を特定することで、
前記前方車両の側面先端の位置を高精度に抽出することを特徴とする外界認識装置。
【請求項4】
自車両に接近中の他車両の一部を撮像した左右の画像の視差に基づいて、前記他車両の
側面情報を前記画像から抽出する側面抽出部と、
前記側面情報に基づいて、前記他車両の背面位置を探索する背面探索部と、
前記側面情報および前記背面位置に基づいて、前記画像中の前記他車両に近似する直方
体形状をフィッティングする形状フィッティング部と、
前記直方体形状を用いて、前記他車両を前記自車両の前方車両として認識する他車両認
識部と、を有する外界認識装置において、
前記側面情報は、前記他車両の側面の位置と姿勢、および、前記側面の前記画像におけ
る奥行方向の長さであり、
前記側面抽出部は、
前記前方車両の側面に対して背面が直角であることを前提に、前記背面の視差を側面側
に投票し、投票が最も累積した位置を側面後端と特定することで、
前記前方車両の側面後端の位置を高精度に抽出することを特徴とする外界認識装置。
【請求項5】
請求項２に記載の外界認識装置において、前記側面抽出部は、
前記前方車両の側面に対して背面が直角であることを前提に、前記視差投票空間上で、
直線状にならぶ背面位置の視差を探索し、線上に最も投票が累積した線を背面候補線とし
て抽出することを特徴とする外界認識装置。
【請求項6】
自車両に接近中の他車両の一部を撮像した左右の画像の視差に基づいて、前記他車両の
側面情報を前記画像から抽出する側面抽出部と、
前記側面情報に基づいて、前記他車両の背面位置を探索する背面探索部と、
前記側面情報および前記背面位置に基づいて、前記画像中の前記他車両に近似する直方
体形状をフィッティングする形状フィッティング部と、
前記直方体形状を用いて、前記他車両を前記自車両の前方車両として認識する他車両認
識部と、を有する外界認識装置において、
前記他車両認識部は、前記前方車両の側面の法線に対して垂直な直線と、前記前方車両
の背面の法線に対して垂直な直線の交点を算出することで、前記前方車両の後角を正確に
算出することを特徴とする外界認識装置。
【請求項7】
自車両に接近中の他車両の一部を撮像した左右の画像の視差に基づいて、前記他車両の
側面情報を前記画像から抽出する側面抽出部と、
前記側面情報に基づいて、前記他車両の背面位置を探索する背面探索部と、
前記側面情報および前記背面位置に基づいて、前記画像中の前記他車両に近似する直方
体形状をフィッティングする形状フィッティング部と、
前記直方体形状を用いて、前記他車両を前記自車両の前方車両として認識する他車両認
識部と、を有する外界認識装置において、
前記他車両認識部は、前記画像を複数フレーム利用し、
前記直方体形状内の前記前方車両を追跡することで、前記前方車両の相対速度ベクトル
を算出するとともに、
前記直方体形状外において、静止物の速度ベクトルを算出することで、前記前方車両の
絶対速度を推定することを特徴とする外界認識装置。
【請求項8】
先行車追従制御中に、車載フロントセンサから取得した自車両前方の３次元情報に基づいて、自車両前方に割り込む割込車を認識する外界認識方法であって、
前記３次元情報が示す奥行き距離を、奥行き距離と画像横座標の２軸を持った投票空間
に投票する投票ステップと、
俯瞰図上での自車両の進路に対して所定角度内の線分を、前記投票空間内で探索する線
分探索ステップと、
探索した前記所定角度内の線分から、前記割込車の側面を抽出する側面抽出ステップと
、
抽出した側面に基づいて、前記割込車の背面を抽出する背面抽出ステップと、
抽出した側面と背面に基づいて、前記割込車を認識する割込車認識ステップと、
を有することを特徴とする外界認識方法。
【請求項9】
請求項８に記載の外界認識方法において、前記側面抽出ステップでは、前記所定角度内の線分のうち、前記自車両に最も近い線分
を前記割込車の側面として抽出することを特徴とする外界認識方法。
【請求項10】
請求項８に記載の外界認識方法において、前記割込車との接触可能性を判定する接触判定ステップと、
接触可能性があれば、前記自車両に制動を指令する制動指令ステップと、
制動可能性がなければ、前記割込車を追従対象に変更する追従対象変更ステップと、
を更に有することを特徴とする外界認識方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、先行車追従等の車両制御時に利用される、外界認識装置、および、外界認識方法に関する。
【背景技術】
【0002】
近年、車速に応じた安全な車間距離を保って先行車に追従走行する、先行車追従制御（Adaptive Cruise Control、ＡＣＣ）を搭載した自動車が普及しつつある。このＡＣＣに関連する先行技術文献として、例えば、特許文献１がある。
【0003】
特許文献１の要約書には、課題として「割り込みを早期に判定する物体検出方法及び物体検出装置を提供する。」と記載されており、また、解決手段として「物体検出装置１００は、自車両５０の周囲の画像を取得するステレオカメラ１０、１１と、コントローラ２０とを備える。コントローラ２０は、画像から複数の特徴点を抽出し、複数の特徴点の中から、移動物体を構成する複数の特徴点を抽出する。コントローラ２０は、異なる時刻に取得された複数の画像から移動物体を構成する複数の特徴点の動きベクトルの分散を算出する。コントローラ２０は、動きベクトルの道路幅方向における成分の分散が閾値以上である場合、移動物体は自車両が走行する車線に割り込む可能性が有ると判定する。」と記載されている。
【0004】
さらに、特許文献１の段落００１４には「オプティカルフロー算出部２２は、過去の画像の特徴点と現在の画像の特徴点から、オプティカルフローを算出する。オプティカルフローとは、ステレオ画像中における物体の動きをベクトルで表すものである。オプティカルフロー算出部２２は、過去の特徴点に対応する実空間中の対象と同一の対象に対応する現在の特徴点を、関連する特徴点として検出する。オプティカルフロー算出部２２は、互いに関連する、過去の特徴点と現在の特徴点との組み合わせをオプティカルフローとして算出する。」との説明がある。
【0005】
このように、特許文献１の物体検出装置では、自車前方に割り込む他車両を、ステレオ画像中のオプティカルフローを活用して認識していた。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２０２０－３９７１号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献１の段落００３０には、「車両制御部３０は、割込み判定部２８によって他車両が割り込む可能性が有ると判定された場合、例えば、乗員が違和感を感じないように自車両を制動させる。また、車両制御部３０は、割込み判定部２８によって他車両が割り込むと判定された場合にも、乗員が違和感を感じないように自車両を制動させてもよい。」との記載がある。すなわち、特許文献１では、他車両の割り込みの可能性がある場合や、他車両が割り込むと判定された場合に、その割り込みの態様によらず、自車両を制動させていた。しかしながら、接近する車両がいたとしても、実際に接近車両の輪郭形状や、速度ベクトルなどをもとに接触するか、いつ接触しそうなのかを正確に判断することができなければ、乗員に違和感を与える制御となることは明らかである。
【0008】
また、特許文献１の段落０００４では、「先行車追従制御などで速度制御が行われる場合、割り込みの判定が遅れると急な減速が発生し、乗員が違和感を感じるおそれがある。
」と指摘しているが、乗員に違和感を与えない先行車追従制御の具体的な実現方法については特段の言及がない。
」と指摘しているが、乗員に違和感を与えない先行車追従制御の具体的な実現方法については特段の言及がない。
【0009】
そこで、本発明では、先行車と自車両の間に割込車が割り込んだ場合、その割込車の側面情報に基づいて、その割込車を車両と認識する外界認識装置および外界認識方法を提供することを目的とする。また、その割込車と接触可能性があれば自車両を制動する一方、接触可能性がなければ、先行車追従制御における追従対象車を、従前の先行車から割込車に切り替えることで安定した走行を継続することができる、外界認識装置および外界認識方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
自車両に接近中の他車両の一部を撮像した左右の画像の視差に基づいて、前記他車両の側面情報を前記画像から抽出する側面抽出部と、前記側面情報に基づいて、前記他車両の背面位置を探索する背面探索部と、前記側面情報および前記背面位置に基づいて、前記画像中の前記他車両に近似する直方体形状をフィッティングする形状フィッティング部と、前記直方体形状を用いて、前記他車両を前記自車両の前方車両として認識する他車両認識部と、を有することを特徴とする外界認識装置。
【発明の効果】
【0011】
本発明によれば、先行車と自車両の間に割込車が割り込んだ場合、その割込車の側面情報に基づいて、その割込車を車両と認識することができる。また、その割込車と接触可能性があれば自車両を制動する一方、接触可能性がなければ、先行車追従制御における追従対象車を、従前の先行車から割込車に切り替えることで安定した走行を継続することができる。
【図面の簡単な説明】
【0012】
【図1】一実施例の外界認識装置を取り付けた自車両の正面図
【図2】一実施例の外界認識装置の機能ブロック図
【図3A】先行車と自車両の間への割り込みシーンの俯瞰図
【図3B】先行車と自車両の間への割り込みシーンでの自車前方環境
【図4】視差値の投票後のＵＤ空間の一例
【図6】先行車識別部の機能ブロック図
【図7】側面抽出部の機能ブロック図
【図9】側面候補線の抽出手順の説明図
【図10】直角形状フィッティング部の機能ブロック図
【図11】側面先端のフィッティング手順の説明図
【図12】側面後端のフィッティング手順の説明図
【図13A】割込車の一部を撮像時の側面ベースの背面探索手順の説明図
【図13B】割込車の全部を撮像時の側面ベースの背面探索手順の説明図
【図14】画像上での車両の輪郭形状の見え方の説明図
【図15】背面ベースの側面探索手順の説明図
【図16】詳細形状フィッティング手順の説明図
【図17】輪郭内での特徴点追跡／速度推定手順の説明図
【図18】割込車判定部の機能ブロック図
【図19】衝突追跡判定部の機能ブロック図
【図20】衝突追跡判定が実行される環境の一例を示す俯瞰図
【図21】一実施例の外界認識装置の処理フローチャート
【発明を実施するための形態】
【0013】
以下、本発明の外界認識装置の一実施例を、図面を用いて説明する。
【0014】
【0015】
図１の正面図に示すように、外界認識装置１００は、自車両Ｖ０のフロントガラスの内面上部に取り付けられ、先行車追従制御（ＡＣＣ）等の車両制御時に自車両Ｖ０の前方環境を認識するための装置である。
【0016】
また、図２の機能ブロック図に示すように、外界認識装置１００は、ステレオカメラ部１と、視差投票部２と、背面抽出部３と、先行車識別部４と、接触追跡判定部５と、側面抽出部６と、直角形状フィッティング部７と、割込車判定部８を有している。なお、外界認識装置１００の構成のうち、ステレオカメラ部１以外の各部は、具体的には、ＣＰＵ等の演算装置、半導体メモリ等の記憶装置、および、通信装置などのハードウェアを備えたコンピュータユニットである。そして、記憶装置に記憶されたプログラムを演算装置が実行することで、上記した各機能を実現するが、以下では、このようなコンピュータ分野の周知技術を適宜省略しながら、各部の詳細を順次説明する。
【0017】
＜ステレオカメラ部１＞
ステレオカメラ部１は、自車前方に向けた左カメラ１Ｌと右カメラ１Ｒ、および、画像処理部で構成される。画像処理部では、各カメラの撮像素子で撮影した左画像ＰＬと右画像ＰＲに対して周知のステレオマッチング処理を施すことで視差画像（左右画像の視差値Ｄを二次元配置した情報）を生成し、これを自車前方の３次元情報として出力する。なお、本実施例では、３次元情報の生成にステレオカメラ部１を利用するが、ステレオカメラ部１に代え、単眼カメラやＬｉｄａｒ等の他種のフロントセンサを用いて、３次元情報を生成しても良い。
ステレオカメラ部１は、自車前方に向けた左カメラ１Ｌと右カメラ１Ｒ、および、画像処理部で構成される。画像処理部では、各カメラの撮像素子で撮影した左画像ＰＬと右画像ＰＲに対して周知のステレオマッチング処理を施すことで視差画像（左右画像の視差値Ｄを二次元配置した情報）を生成し、これを自車前方の３次元情報として出力する。なお、本実施例では、３次元情報の生成にステレオカメラ部１を利用するが、ステレオカメラ部１に代え、単眼カメラやＬｉｄａｒ等の他種のフロントセンサを用いて、３次元情報を生成しても良い。
【0018】
＜視差投票部２＞
視差投票部２では、縦軸を視差値Ｄ、横軸を画像横座標Ｕとした視差投票空間（以下「ＵＤ空間」と称する）に、ステレオカメラ部１でのステレオマッチングの結果である視差値Ｄを投票する。なお、三角測量の原理を応用すれば、視差値Ｄを撮像物までの奥行き距離に換算できるため、図４等に図示するＵＤ空間の縦軸には、視差値Ｄの大小に加え、奥行き距離の遠近も併記している。
視差投票部２では、縦軸を視差値Ｄ、横軸を画像横座標Ｕとした視差投票空間（以下「ＵＤ空間」と称する）に、ステレオカメラ部１でのステレオマッチングの結果である視差値Ｄを投票する。なお、三角測量の原理を応用すれば、視差値Ｄを撮像物までの奥行き距離に換算できるため、図４等に図示するＵＤ空間の縦軸には、視差値Ｄの大小に加え、奥行き距離の遠近も併記している。
【0019】
例えば、図３Ａの俯瞰図に例示するように、先行車追従制御中の自車両Ｖ０と、現在の追従対象車である先行車Ｖ１の間に、左車線から割込車Ｖ２が割り込んできた場合、自車両Ｖ０の前方は図３Ｂに例示するような見え方の環境になる。
【0020】
図４は、図３Ｂの環境下でステレオカメラ部１が出力した視差画像の視差値Ｄを投票したＵＤ空間である。視差投票部２は、視差画像の一端から順に１画素列ずつ（または複数画素列ずつ）縦方向に視差値Ｄをスキャンしながら、ＵＤ空間の画素列毎に視差値Ｄを投票していくことで図４のようなＵＤ空間を完成させる。視差画像が立体物を含む場合、その立体物の同じ奥行き距離の部分では視差値Ｄがほぼ同じ値となるので、ＵＤ空間の各列の縦軸方向では、ある値の近傍に視差値Ｄの投票が集中する。図４では、視差値Ｄの投票集中を、高輝度（濃白色）で表示している。図３Ｂの環境下で生成した図４のＵＤ空間では、先行車Ｖ１の背面、割込車Ｖ２の側面、割込車Ｖ２の背面の夫々に対応する横軸（画像横座標Ｕ）の位置に、夫々の奥行きに相当する視差値Ｄの投票集中が発生するため、ＵＤ空間上の３カ所に高輝度領域（濃白色領域）が表現された結果となっている。なお、図３Ｂに示したように、自車両Ｖ０の右側には、縁石が設置されているため、図４のＵＤ空間の右側には、縁石に起因する視差値Ｄの投票集中（傾斜した薄白色領域）も表現されている。
【0021】
＜背面抽出部３＞
背面抽出部３では、視差投票部２で得たＵＤ空間（図４）に基づいて立体物を検知する。先行車Ｖ１や対向車（図示せず）のように、自車両Ｖ０と平行移動する幅広の立体物に関しては、ＵＤ空間上で視差値Ｄの投票集中が横方向に並ぶことになるため、背面抽出部３では、ＵＤ空間を横方向にスキャンして横方向に長い高輝度領域を抽出することで立体物候補（背面）を検知することが可能となる。以下、図５Ａ、図５Ｂを用いて、背面抽出部３の処理の概要を説明する。
背面抽出部３では、視差投票部２で得たＵＤ空間（図４）に基づいて立体物を検知する。先行車Ｖ１や対向車（図示せず）のように、自車両Ｖ０と平行移動する幅広の立体物に関しては、ＵＤ空間上で視差値Ｄの投票集中が横方向に並ぶことになるため、背面抽出部３では、ＵＤ空間を横方向にスキャンして横方向に長い高輝度領域を抽出することで立体物候補（背面）を検知することが可能となる。以下、図５Ａ、図５Ｂを用いて、背面抽出部３の処理の概要を説明する。
【0022】
図５Ａは、背面抽出部３が図４のＵＤ空間を横方向にスキャンすることで、視差値Ｄの投票集中（濃白色）が横方向に連続する領域を、立体物候補として抽出した図である。なお、図５ＡのＵＤ空間は本来、図４に示した輝度情報も備えているが、図５Ａでの説明対象を強調するため、図５Ａでは輝度情報を省略し、図４にない情報のみを表示している。
この扱いは後述する図８等のＵＤ空間でも同様である。
この扱いは後述する図８等のＵＤ空間でも同様である。
【0023】
図５Ａに示す立体物候補を抽出すると、背面抽出部３は、自車両Ｖ０と平行移動する先行車Ｖ１の背面などの立体物を、図５Ｂの画像内の検知枠に示すように正常に抽出することができる。一方、自車両Ｖ０と平行でない方向に移動する割込車Ｖ２のような立体物に対しては、背面抽出部３は、画像内の割込車Ｖ２の背面と側面を夫々独立した立体物と誤検知する可能性がある。また、ステレオカメラ部１で連続撮像した各フレームにおいて、割込車Ｖ２の進行方向（見え方）が徐々に変化すると、割込車Ｖ２に起因する２つの立体物候補（図５Ａ参照）の幅や比率が徐々に変化するため、背面抽出部３では、大きさ、位置、姿勢、速度などが不安定な２つの立体物を抽出することとなる。
【0024】
ここで、背面抽出部３は、連続撮像画像の各フレームで抽出された立体物の検知枠（図５Ｂの点線）を時系列に追跡し、安定した横位置、奥行きとして追跡された場合に、安定した立体物として確定する。そして、時系列に安定して立体物として追跡可能な物体のみを、以降の処理に利用し、時系列に安定しない物体は、ノイズ要因として排除する。このため割込車Ｖ２の側面のように、不安定な物体に対する検知枠は時系列に安定せず立体物としては利用されない、また背面に関しても、ある程度幅が不安定であり、不検知になる場合や、ある程度追跡できていたとしても位置、姿勢、速度などが不安定であり、警報や制御の正しい対象とならない場合が多い。誤警報や誤制御を、抑制するためには、不安定な位置や速度の物体には、制御を実施しないような設計とする必要がある。
【0025】
このように、背面抽出部３による立体物抽出では、背面と側面の一部が同時に撮像される割込車Ｖ２、特に、渋滞時等に近距離から急角度で割り込んできたため、全体を撮像できない割込車Ｖ２を正確に認識することが困難であった。
【0026】
＜先行車識別部４＞
先行車識別部４では、背面抽出部３で抽出した立体物候補の中から、時系列に安定して抽出可能な立体物（例えば、図５Ａ中の、先行車Ｖ１に起因する立体物候補）を選定し、更に、この中から大きさ、画像上見た目から、車両かどうかの確定処理を実施する。このような処理を実行するため、先行車識別部４は、図６に示す、追跡部４１、車両背面候補選定部４２、車両識別部４３、位置速度推定部４４を有している。以下、各部を順次説明する。
先行車識別部４では、背面抽出部３で抽出した立体物候補の中から、時系列に安定して抽出可能な立体物（例えば、図５Ａ中の、先行車Ｖ１に起因する立体物候補）を選定し、更に、この中から大きさ、画像上見た目から、車両かどうかの確定処理を実施する。このような処理を実行するため、先行車識別部４は、図６に示す、追跡部４１、車両背面候補選定部４２、車両識別部４３、位置速度推定部４４を有している。以下、各部を順次説明する。
【0027】
最初に、追跡部４１では、連続撮像した画像中の、時系列に位置や大きさが安定した立体物に対して追跡処理を実施し、位置と速度を簡易的に計算する。
【0028】
次に、車両背面候補選定部４２では、追跡中の立体物の中から、車両としてありうる大きさ及び速度の立体物を選別して、車両背面候補を選定する。
【0029】
車両識別部４３は、選定された車両背面と思われる大きさの立体物候補に対して、識別処理を実施し、車かどうかを識別する。具体的には、毎フレーム識別処理を実施し、数フレーム連続で識別スコアが高かった立体物を最終的に車両として識別する。
【0030】
位置速度推定部４４では、車両として識別された立体物の位置と速度を高精度に推定する。
【0031】
図３Ｂの先行車Ｖ１のように自車両Ｖ０と同じ車線内を先行する他車両や、隣接車線を走行する他車両であってもある程度遠方を走行している、側面があまり見えない他車両であれば、背面を安定してとらえることができるため、先行車識別部４で車両として識別可能となる。また、遠距離での割込車Ｖ２に関しては、多少の認識遅延があっても衝突の可能性が低いことから、先行車識別部４の出力を利用した割込車Ｖ２の対応も可能であった。
【0032】
しかし、渋滞時等に至近距離から急角度で割り込んで来る割込車Ｖ２に関しては、そもそも背面抽出部３での、立体物としての抽出も不安定かつ識別もうまくいかない場合もあり、先行車識別部４での背面をベースとする先行車識別手法ではうまく対応ができないことが多かった。このような状況下で割込車Ｖ２を正確に認識するため、本実施例の外界認識装置１００では、以下で述べる、側面抽出部６や直角形状フィッティング部７を追加している。
【0033】
＜側面抽出部６＞
側面抽出部６では、図４で例示したＵＤ空間を利用して、割込車Ｖ２の側面候補を探索する。この処理を実行するため、側面抽出部６は、図７に示す、側面候補線探索部６１、車両候補判定部６２、追跡部６３、側面速度解析部６４を有している。以下、各部を順次説明する。
側面抽出部６では、図４で例示したＵＤ空間を利用して、割込車Ｖ２の側面候補を探索する。この処理を実行するため、側面抽出部６は、図７に示す、側面候補線探索部６１、車両候補判定部６２、追跡部６３、側面速度解析部６４を有している。以下、各部を順次説明する。
【0034】
まず、側面候補線探索部６１では、図４のＵＤ空間上の高輝度領域から、図８に示すような、自車進路Ｒ０に沿って伸びる線分（俯瞰図上で、自車進路Ｒ０に対して所定角度内の線分）を探索する。なお、図８の例では、自車進路Ｒ０の左側では、割込車Ｖ２の側面に起因する線分が探索されており、自車進路Ｒ０の右側では、縁石に起因する線分が探索されている。
【0035】
ここでの探索処理は、自車進路Ｒ０に割り込んでくる割込車Ｖ２の側面を探索できるように、自車進路Ｒ０に対して±５０°程度の傾きの線分を探索対象とする。なお、この「５０°」という角度は、図４のＵＤ空間や、図３Ｂのような実画像上での角度ではなく、俯瞰図（図３Ａ参照）上における車両の実際の相対的な姿勢を意味する。探索対象とする線分の角度に制限を付けるのはそもそも背面を探索する処理においても、ある程度の背面の傾きには対応しているからである。また、完全に横方向から飛び出すような、俯瞰図上で、自車両Ｖ０に対して角度９０°の方向に進行する車両に対しては、出会い頭の事故対応として別途対策がなされているため、本実施例では探索の対象外とした。なお、以下では、バイクも含めた割込車Ｖ２を検知することを想定し、例えば、長さ１．５ｍ以上１５ｍ以下を対象として、自車側方に存在する線分を探索する。ＵＤ空間上では、路肩や建築物の壁など、側方にいる車両以外にも多くの立体物が存在するため、複数の側面を探索することができる。ただし、自車両Ｖ０に対する安全性を考慮すると、最も近距離の物体さえ考慮できればよい。
【0036】
【0037】
まず、図９（１）に示すように、ＵＤ空間（図４）上に、俯瞰図上での自車進路Ｒ０と平行な線分を多数設定する。次に、図９（２）に示すように、各線分について、線上での視差値Ｄの投票数を累積したヒストグラムを生成する。側面をもつ立体物（割込車Ｖ２）がある位置（図９（１）の一点鎖線矢印の近傍）では、側面の角度が多少ずれていても線上の投票数の累積が他より多くなるため、ヒストグラムでは、この線分に対応する横軸（画像横座標Ｕ）の位置で投票数累積の山（極大値）が生じる。
【0038】
図９（３）では、自車進路Ｒ０（中心）から外側に向けて閾値以上の投票数が累積した山を探索する。例えば、自車進路Ｒ０の左側に、割込車Ｖ２の側面、路肩、壁の三者が順に存在する環境では、ヒストグラムの左側には、山が３個ならぶことになる。但し、ここでの処理は、自車両Ｖ０に接触する立体物、もしくは、自車両Ｖ０の車両挙動に直接影響する立体物を探索するための処理であるため、ヒストグラムの中心に近い山（割込車Ｖ２の側面に起因する山）を抽出した時点で、それより外側への探索処理を停止し、その山が側面を有する立体物である可能性が高いと判定して、この山に対する詳細な解析を実施しても良い。
【0039】
次に、図９（４）では、図９（３）で選んだヒストグラムの山の位置から、ＵＤ空間上における、自車進路Ｒ０に沿って伸びる線分の概略位置に相当する線分（図９（１）の一点鎖線矢印）を特定する。その後、図９（５）では、図９（４）で選ばれた線分を基準として、その周辺に位置と角度を変化させた多数の線分を設定し、各線分に対して、図９（２）と同様に、視差値Ｄの投票数を累積したヒストグラムを生成する。そして、線上の投票数の累積量が最も多い線（例えば、図９（５）の一点鎖線矢印）を、側面候補線として抽出する。
【0040】
次に、車両候補判定部６２では、抽出した側面候補線に基づいて、側面の長さを仮決めする。例えば、側面候補線上の投票値で、ある閾値以上の投票が連続して３回つづくと、最初の１回目からを線分の開始点とし、途中２回程度閾値を下回る場合は線分が継続しているとして、線分をなぞるように長さを確認し３連続閾値を下回ると、３連続の前の点が線分の終点として登録する。このようにして得られた線分の長さが、２輪車の側面長さに相当する１．５ｍ以上、かつ、大型トラックの側面長さに相当する１５ｍ以下であれば、車両候補として線分を抽出する。一方、この範囲外の長さであれば、ノイズもしくは路肩や壁などであるとして車両の側面候補線から除外する。更に、車両の側面候補線と判定した場合であれば、長さが１ｍ以上かつ有効視差が４０％程度以上は存在すると想定し、線分上の投票量が、奥行きによって変化するものの高さ１ｍを想定した４０％分が投票量として存在することを確認する。部分的に下回る個所が存在することは許容し、平均して上記４０％を上回ることを確認して車両候補とする。投票が集まらないような状況においては、対象物が路肩のように路面から背の低い物体であり、２輪車などを含む車両ではないと判断する。
【0041】
追跡部６３では、車両候補判定部６２で選定した側面候補線に対して、追跡を実施する。一度追跡が始まった側面候補線に対しては、上記の車両候補判定部６２で長さや高さの基準を満たさなかった線分もトラッキング対象とすることで、追跡失敗による追跡の途切れを減らすように処理を実施する。
【0042】
側面速度解析部６４では、追跡部６３で追跡した側面候補線の速度（奥行き方向速度、横移動方向速度）を算出する。更に、側面速度解析部６４では、時系列に安定化を実施し、抽出した側面候補線が自車両Ｖ０に対して接近しているかどうか、また、自車挙動の横移動分を考慮しても接近してくる側面であるかの判定を毎フレーム実施する。
【0043】
＜直角形状フィッティング部７＞
直角形状フィッティング部７では、側面抽出部６で抽出した側面候補線に対してのみ直角形状を詳細にフィッティングすることで、演算処理負荷を軽減しつつ、割込車Ｖ２の輪郭形状を正確に抽出する。また、直角形状フィッティング部７では、割込車Ｖ２の位置や速度も算出し、自車両Ｖ０が安全かつ快適な運転を継続するうえで、監視対象とすべき割込車Ｖ２かを判別する。ここで、監視対象と判別される割込車Ｖ２は、主に、（１）自車両Ｖ０が緊急ブレーキや緊急回避等の対応を採らなければ、接触の可能性のある割込車Ｖ２、（２）自車両Ｖ０が減速しなければ、安全な車間距離未満まで接近する可能性のある割込車Ｖ２、の２態様である。以上の処理を実行するため、直角形状フィッティング部７は、図１０に示す、側面先端フィッティング部７１、側面後端フィッティング部７２、側面ベースの背面探索部７３、検知ベース線切替部７４、背面ベースの側面探索部７５、詳細形状フィッティング部７６、特徴点追跡/速度推定部７７、車両識別部７８を有している。以下、各部を順次説明する。
直角形状フィッティング部７では、側面抽出部６で抽出した側面候補線に対してのみ直角形状を詳細にフィッティングすることで、演算処理負荷を軽減しつつ、割込車Ｖ２の輪郭形状を正確に抽出する。また、直角形状フィッティング部７では、割込車Ｖ２の位置や速度も算出し、自車両Ｖ０が安全かつ快適な運転を継続するうえで、監視対象とすべき割込車Ｖ２かを判別する。ここで、監視対象と判別される割込車Ｖ２は、主に、（１）自車両Ｖ０が緊急ブレーキや緊急回避等の対応を採らなければ、接触の可能性のある割込車Ｖ２、（２）自車両Ｖ０が減速しなければ、安全な車間距離未満まで接近する可能性のある割込車Ｖ２、の２態様である。以上の処理を実行するため、直角形状フィッティング部７は、図１０に示す、側面先端フィッティング部７１、側面後端フィッティング部７２、側面ベースの背面探索部７３、検知ベース線切替部７４、背面ベースの側面探索部７５、詳細形状フィッティング部７６、特徴点追跡/速度推定部７７、車両識別部７８を有している。以下、各部を順次説明する。
【0044】
・側面先端フィッティング部７１
側面抽出部６では、割込車Ｖ２の側面長さを大まかに抽出したが、側面先端フィッティング部７１では、割込車Ｖ２の先端を詳細に探索する。そのため、側面先端フィッティング部７１では、視差を使った距離をベースに先端を見つける手法、あるいは、テクスチャをベースに先端を見つける手法を実行する。
側面抽出部６では、割込車Ｖ２の側面長さを大まかに抽出したが、側面先端フィッティング部７１では、割込車Ｖ２の先端を詳細に探索する。そのため、側面先端フィッティング部７１では、視差を使った距離をベースに先端を見つける手法、あるいは、テクスチャをベースに先端を見つける手法を実行する。
【0045】
まず、図１１を用いて、視差を使った距離をベースに割込車Ｖ２の先端を再探索する手法を説明する。この手法では、図１１に示すように、ＵＤ空間上で抽出した側面先端位置（初期値）を基準として、原画像上での割込車Ｖ２の先端の奥行きを、視差画像を利用して計測する。その際、視差画像における、車体と路面の奥行きの差を利用して、車体先端位置を特定する。図１１上図に示すように、原画像上で割込車Ｖ２のバンパー付近（例えば、割込車Ｖ２の下端から５０ｃｍの高さに相当）を横切る一点鎖線上の奥行きを確認すると、一点鎖線の左側では車体側面までの奥行き距離に相当する視差値Ｄが算出されるのに対して、一点鎖線の右側では車体側面より遠方にある路面までの奥行き距離に相当する視差値Ｄが算出されるので、視差値Ｄ（奥行きの距離）には、ある位置の左右で大きな差が生じる。この差が生じる境界を、より正確な車両先端の位置として抽出することで、割込車Ｖ２の正確な先端を探索することができる。
【0046】
一方、上記の手法を利用できない場合、例えば、撮像範囲に割込車Ｖ２の極一部しか入っておらず割込車Ｖ２のテクスチャが不足している場合や、夜間であるため暗色の割込車Ｖ２のテクスチャを鮮明に撮像できなかった場合等には、正常なステレオマッチングを実行できずに、無効視差が多発するため、上記の先端位置のフィッティングを実施できないこともある。このような場合には、視差値だけでなく、テクスチャ情報もうまく活用する。具体的には、路面テクスチャと、車体テクスチャの違いから境界位置を特定するような手法を活用することで、車体先端を補正するような手法でもよい。
【0047】
テクスチャで分離するような手法としては、輝度やカラー情報の異なりから境界を抽出する手法であってもよいし、類似テクスチャを小領域に分割する手法を活用してもよいし、Semantic Segmentationを活用する手法でもよい。視差と輝度を併用する手法で、安定性を改善する手法を活用してもよい。
【0048】
・側面後端フィッティング部７２
側面後端フィッティング部７２では、既に抽出された割込車Ｖ２の側面の線分に対して、後端位置を再度フィッティングする。自車両Ｖ０の前方に割り込んでくる割込車Ｖ２であっても、基本的には自車両Ｖ０に並走しながら割り込んでくるため、自車両Ｖ０のステレオカメラ部１で撮像した画像内に、割込車Ｖ２の後端がある程度入ってくれば、少なくとも車両後端（背面）部分の視差がＵＤ空間上でほぼ横方向にならぶ視差投票値（高輝度領域）として見えるはずである。もちろん、割り込みの角度が過度に鋭い場合には、この限りではなく、多少の傾いた投票の線となることもあるが、基本的にはＵＤ空間の横方向に車体背面視差が並ぶこととなる。
側面後端フィッティング部７２では、既に抽出された割込車Ｖ２の側面の線分に対して、後端位置を再度フィッティングする。自車両Ｖ０の前方に割り込んでくる割込車Ｖ２であっても、基本的には自車両Ｖ０に並走しながら割り込んでくるため、自車両Ｖ０のステレオカメラ部１で撮像した画像内に、割込車Ｖ２の後端がある程度入ってくれば、少なくとも車両後端（背面）部分の視差がＵＤ空間上でほぼ横方向にならぶ視差投票値（高輝度領域）として見えるはずである。もちろん、割り込みの角度が過度に鋭い場合には、この限りではなく、多少の傾いた投票の線となることもあるが、基本的にはＵＤ空間の横方向に車体背面視差が並ぶこととなる。
【0049】
図１２下図に示すように、事前に抽出された車両側面の候補線の後端に対して、横方向に投票値を累積しヒストグラム化する分析を実施する。ヒストグラム化すると、横方向に投票値があつまる背面部分が累積値のピークとなる。このためこのピーク部分を詳細な背面位置として抽出する。フィッティング後の結果として側面候補線分の延長と、ヒストグラムピークの交点を白四角点として抽出し、これを後端フィッティング結果として採用する。割り込み角度が鋭く、ヒストグラムのピークが比較的分散するような場合には、今回の補正値は暫定として、後段処理における補正を重要視しても良い。
【0050】
・側面ベースの背面探索部７３
側面ベースの背面探索部７３では、側面後端フィッティング部７２で抽出したＵＤ空間上での側面後端の位置を起点として、背面線分を探索する。例えば、図１３Ａは、割込車Ｖ２の一部を撮像時の側面ベースの背面探索手順の説明図であり、図１３Ｂは、割込車Ｖ２の全部を撮像時の側面ベースの背面探索手順の説明図である。これらの図に示すように、側面の傾きに対して、実空間（俯瞰図上）で直角となる位置を中心に多少の側面線分の角度ずれも想定して、角度を変化させて探索する。探索開始の起点となる各図の側面後端位置を中心に、角度と縦方向位置を変化させてラインスキャンする。ラインスキャンでは、ＵＤ空間上で、線上の投票値を累積してヒストグラムを生成する。このため実際の車両背面に沿って引いた線での投票値の累積が最も高くなるため、ヒストグラムから累積値の最も高い線を特定することで、車体背面位置を探索することができる。側面後端位置自体は誤差がある可能性があるため、この位置を基準として、位置、角度を変化させて探索することで、側面後端位置自体の誤差も吸収し、側面の角度にずれがあった場合にも背面の線分をＵＤ空間上でただしく安定的に検索することが可能となる。また、側面後端位置が画面端であるかつ、探索してもヒストグラムの累積値が高くならないことをもって背面が画面内にほぼないことを確認することも可能である。
側面ベースの背面探索部７３では、側面後端フィッティング部７２で抽出したＵＤ空間上での側面後端の位置を起点として、背面線分を探索する。例えば、図１３Ａは、割込車Ｖ２の一部を撮像時の側面ベースの背面探索手順の説明図であり、図１３Ｂは、割込車Ｖ２の全部を撮像時の側面ベースの背面探索手順の説明図である。これらの図に示すように、側面の傾きに対して、実空間（俯瞰図上）で直角となる位置を中心に多少の側面線分の角度ずれも想定して、角度を変化させて探索する。探索開始の起点となる各図の側面後端位置を中心に、角度と縦方向位置を変化させてラインスキャンする。ラインスキャンでは、ＵＤ空間上で、線上の投票値を累積してヒストグラムを生成する。このため実際の車両背面に沿って引いた線での投票値の累積が最も高くなるため、ヒストグラムから累積値の最も高い線を特定することで、車体背面位置を探索することができる。側面後端位置自体は誤差がある可能性があるため、この位置を基準として、位置、角度を変化させて探索することで、側面後端位置自体の誤差も吸収し、側面の角度にずれがあった場合にも背面の線分をＵＤ空間上でただしく安定的に検索することが可能となる。また、側面後端位置が画面端であるかつ、探索してもヒストグラムの累積値が高くならないことをもって背面が画面内にほぼないことを確認することも可能である。
【0051】
・検知ベース線切替部７４
検知ベース線切替部７４では、画像に映る割込車Ｖ２を背面ベースで検知処理した方が安定するか、側面ベースで検知処理した方が安定するかを判定する。割込車Ｖ２のより安定した検知には、画像上でより長い線分をベース線にした方がよく、より長いベース線を手掛かりとして、直角方向に見えづらいもう一方の線分を探索すれば、車両の輪郭形状（背面および側面の長さ、位置）を安定して検知できる。そこで、検知ベース線切替部７４では、背面と側面の何れをベースとするかを判定する。
検知ベース線切替部７４では、画像に映る割込車Ｖ２を背面ベースで検知処理した方が安定するか、側面ベースで検知処理した方が安定するかを判定する。割込車Ｖ２のより安定した検知には、画像上でより長い線分をベース線にした方がよく、より長いベース線を手掛かりとして、直角方向に見えづらいもう一方の線分を探索すれば、車両の輪郭形状（背面および側面の長さ、位置）を安定して検知できる。そこで、検知ベース線切替部７４では、背面と側面の何れをベースとするかを判定する。
【0052】
ここで、側面をベースに割込車Ｖ２の輪郭を検知した方が安定する状況の一例として、図１４の左図を示し、背面をベースに割込車Ｖ２の輪郭を検知した方が安定する状況の一例として、図１４の右図を示す。図１４の左上図に示すように、割込車Ｖ２が自車両Ｖ０の直前に割り込んでくる場合、ステレオカメラ部１で撮像した画像（図１４左下図）では、割込車Ｖ２の側面の長さが背面の長さよりも長くなる。従って、側面をベースにすれば割込車Ｖ２の輪郭検知が安定すると考えられる。一方、図１４の右上図に示すように、割込車Ｖ２が遠方で割り込んでくる場合、ステレオカメラ部１で撮像した画像（図１４右下図）では、割込車Ｖ２の背面の長さが側面の長さよりも長くなる。従って、背面をベースにすれば割込車Ｖ２の輪郭検知が安定すると考えられる。
【0053】
この図１４のように、自車両Ｖ０のステレオカメラ部１で撮像した画像（図１４の左下図または右下図参照）上で、割込車Ｖ２の正確な輪郭形状（背面の長さ、側面の長さ）が分かる場合であれば、側面と背面の何れが画像上でより長いかを計算可能であるが、背面と側面の特定前の段階では、背面と側面のどちらかをベース線として選ぶ処理が必要となる。このため、検知ベース線切替部７４は、割込車Ｖ２の背面のみを特定した時点、または、割込車Ｖ２の側面のみを特定した時点で、割込車Ｖ２の大まかな重心位置を推定し、推定した重心とステレオカメラカメラ部１の角度から、どちらをベースとして輪郭形状を抽出するかを選定する。なお、この際、側面や背面の抽出結果、及びその相対位置などから基準となるような標準的な車両大きさを利用して重心位置を推定してもよい。なお、ここでは、背面と側面のどちらをベースとすれば全体処理が安定するかを大凡判断するだけであるので、背面と側面が大凡同じ長さの場合には、どちらをベースに探索しても結果としては、大きく変わらない。
【0054】
輪郭検知性能が大きく劣化するのは、図１５のように、割込車Ｖ２の側面が良く見えない状況で、側面をベースに背面を抽出しようとする場合である。この場合、不安定な側面抽出の結果に基づいて背面を探索することとなるため、安定した輪郭形状（背面および側面の長さ）を最終的に得ることが難しくなる。また、反対に、図１３Ａのように画像に背面全体が撮像されていない割込車Ｖ２や、図１３Ｂのように割り込み角度が鋭く背面よりも側面が長く見えている割込車Ｖ２に対して、背面をベースにすると、不安定な背面から側面を抽出することになるため、結果として、探索した側面も不安定で信頼性の低いものとなりやすい。
【0055】
このため、検知ベース線切替部７４は、割込車Ｖ２が一般的な乗用車程度の大きさであると仮定したり、割込車Ｖ２が自車両Ｖ０に対して平行に走行していると仮定したりするなどの各条件下で、割込車Ｖ２の大凡の重心位置を推定した後、その重心位置と自車両Ｖ０のステレオカメラ部１の設置位置の角度算出結果に基づいて、背面と側面の何れをベース線として利用するかを選定してもよい。もしくは、検知ベース線切替部７４は、抽出した側面や背面の長さ、及び、重心と自車両Ｖ０の角度を利用して、検知処理のベース線の切り替えを実施してもよい。
【0056】
また、追跡が始まった割込車Ｖ２が、徐々に自車前方に進入し、最終的に自車両Ｖ０の先行車Ｖ１になるような場合には、検知ベース線切替部７４は、あるタイミングで、側面ベース検知処理から背面ベース検知処理に切り換えても良い。
【0057】
・背面ベースの側面探索部７５
背面ベースの側面探索部７５では、探索された背面内端位置を活用して、側面の線分をＵＤ空間上で探索する。図１５の下図に示すように、割込車Ｖ２背面の傾きに対して、俯瞰図上で直角となる位置を中心に、多少の背面線分の角度ずれも想定して、ＵＤ空間上で角度を変化させて側面を探索する。更に背面内端の位置ずれも考慮して、背面内端位置をベースに横方向の位置も変化させて探索する。探索開始の基準位置となる図１５下図の背面内端を中心に、背面に対して直角を中心の角度として角度と位置を変化させてラインスキャンする。ラインスキャンでは、ＵＤ空間上で、線を引き線上の投票値を累積しヒストグラムを生成する。このため投票値が高い車両側面部分をなぞるように引いた線が最も累積値が高くなるため、車体側面位置を探索することができる。背面内側位置自体は誤差がある可能性があるため、位置、角度を変化させて探索することで、背面内側位置のずれを吸収し、安定的に側面線分をＵＤ空間上で正しく検索することが可能となる。
背面ベースの側面探索部７５では、探索された背面内端位置を活用して、側面の線分をＵＤ空間上で探索する。図１５の下図に示すように、割込車Ｖ２背面の傾きに対して、俯瞰図上で直角となる位置を中心に、多少の背面線分の角度ずれも想定して、ＵＤ空間上で角度を変化させて側面を探索する。更に背面内端の位置ずれも考慮して、背面内端位置をベースに横方向の位置も変化させて探索する。探索開始の基準位置となる図１５下図の背面内端を中心に、背面に対して直角を中心の角度として角度と位置を変化させてラインスキャンする。ラインスキャンでは、ＵＤ空間上で、線を引き線上の投票値を累積しヒストグラムを生成する。このため投票値が高い車両側面部分をなぞるように引いた線が最も累積値が高くなるため、車体側面位置を探索することができる。背面内側位置自体は誤差がある可能性があるため、位置、角度を変化させて探索することで、背面内側位置のずれを吸収し、安定的に側面線分をＵＤ空間上で正しく検索することが可能となる。
【0058】
・詳細形状フィッティング部７６
割込車Ｖ２との衝突判定には、割込車Ｖ２の後角位置を精度よく推定することが重要である。なぜならば、割込車Ｖ２との衝突や接触は、背面、後角、側面、前角で発生する可能性があるが、背面との衝突や接触の回避に関しては、先行車Ｖ１への追突を回避する従来技術で対処できるのに対し、後角、側面、前角との衝突や接触回避は、その従来技術では実現できないため、正確に推定した後角位置を基準として、側面や前角の位置も正確に推定することが、割込車Ｖ２の後角、側面、前角との衝突、接触を避けるために有効だからである。
割込車Ｖ２との衝突判定には、割込車Ｖ２の後角位置を精度よく推定することが重要である。なぜならば、割込車Ｖ２との衝突や接触は、背面、後角、側面、前角で発生する可能性があるが、背面との衝突や接触の回避に関しては、先行車Ｖ１への追突を回避する従来技術で対処できるのに対し、後角、側面、前角との衝突や接触回避は、その従来技術では実現できないため、正確に推定した後角位置を基準として、側面や前角の位置も正確に推定することが、割込車Ｖ２の後角、側面、前角との衝突、接触を避けるために有効だからである。
【0059】
上記した何れかの方法により、側面の大凡の位置は推定できるが、割込車Ｖ２が、四隅の丸まったデザインの車両である場合や、視差を演算しづらい車体形状や色調の車両である場合などには、側面線分の長さ（すなわち、前角と後角の位置）を正確に推定できていない可能性もある。そこで、詳細形状フィッティング部７６では、割込車Ｖ２が俯瞰図上で長方状の輪郭を有すると仮定して、車両の外形枠をフィッティングするとともに、後角の位置も正確に抽出する。
【0060】
図１６は、詳細形状フィッティング部７６による、外形枠のフィッティング手順の一例を説明する図である。まず、図１６（ａ）に示すように、ステレオカメラ部１で撮像した側面の視差を利用して、側面各点での法線を計算するとともに、ステレオカメラ部１で撮像した背面における視差を利用して、背面各点での法線を計算する。これにより、割込車Ｖ２の側面と背面に多数の法線を引くことができる。次に、図１６（ｂ）に示すように、背面法線に対する俯瞰図上での垂直線と、側面法線に対する俯瞰図上での垂直線を計算し、側面垂直線と背面垂直線のペアを順次選択し、各ペアの交点を計算する。すると、割込車Ｖ２の後角付近に、交点が集中する箇所が計算されるので、この部分を後端角として抽出する。このような手法により、視差の抜けや、線分の長さの誤差から受ける影響をノイズとして除去しながら、後角の位置を正確に抽出することができる。
【0061】
もしくは、図１６（ｂ）に代えて、図１６（ｃ）の処理を実行することで後角の位置を正確に抽出しても良い。すなわち、図１６（ｃ）のように、図１６（ａ）で求めた多数の法線と、予め用意した長方形（例えば、一般的な普通車の輪郭に相当する長方形）をセットして、その法線と長方形が交わる距離の合計が最も短くなるように（二乗誤差合計が最小となるように）、長方形を回転させることにより、長方形が割込車Ｖ２に最もフィッティングする角度を推定する。これによって、後端角と先端を正確に推定することが可能となる。
【0062】
・特徴点追跡／速度推定部７７
これまでの検知処理により、割込車Ｖ２の輪郭形状（背面および側面の長さ、位置）を推定することが可能となった。しかしながら、画像に割込車Ｖ２の側面や背面の一部しか撮像されていない状況では、上記手法による輪郭形状のフィッティング後に、画面内に割込車Ｖ２が進入してくるにつれて、車両サイズがより大きく検知されることが多い。このため、重心を利用した速度推定手法や、車体全体が見えていると仮定した速度推定手法では、割込車Ｖ２に関して推定した速度の誤差が大きい可能性がある。そこで、ステレオカメラ部１で撮像した画像に進入してきた割込車Ｖ２の速度を安定して推定するには、画像上の車体の特徴的な部位（部品の角など）を追跡する手法が有効であり、かつ、正確な車両の速度を抽出するためには、原画像であり最も高解像度な画像を利用することが有効であると考える。一般的なＵＤ空間は、原画像と比較して低解像度であることが多く、分解能的にも正確な速度を算出しにくい場合がある。もっとも原画像とおなじ解像度であれば、解像度の影響はない。ただし、より正確な速度を算出するためには、画像のコーナーなどを利用して速度算出する方が、画像上に撮影されている部分が画像の一部であろうとなかろうと安定的な速度算出が可能となる。
これまでの検知処理により、割込車Ｖ２の輪郭形状（背面および側面の長さ、位置）を推定することが可能となった。しかしながら、画像に割込車Ｖ２の側面や背面の一部しか撮像されていない状況では、上記手法による輪郭形状のフィッティング後に、画面内に割込車Ｖ２が進入してくるにつれて、車両サイズがより大きく検知されることが多い。このため、重心を利用した速度推定手法や、車体全体が見えていると仮定した速度推定手法では、割込車Ｖ２に関して推定した速度の誤差が大きい可能性がある。そこで、ステレオカメラ部１で撮像した画像に進入してきた割込車Ｖ２の速度を安定して推定するには、画像上の車体の特徴的な部位（部品の角など）を追跡する手法が有効であり、かつ、正確な車両の速度を抽出するためには、原画像であり最も高解像度な画像を利用することが有効であると考える。一般的なＵＤ空間は、原画像と比較して低解像度であることが多く、分解能的にも正確な速度を算出しにくい場合がある。もっとも原画像とおなじ解像度であれば、解像度の影響はない。ただし、より正確な速度を算出するためには、画像のコーナーなどを利用して速度算出する方が、画像上に撮影されている部分が画像の一部であろうとなかろうと安定的な速度算出が可能となる。
【0063】
そこで、特徴点追跡／速度推定部７７では、図１７に示すように、詳細形状フィッティング部７６でフィッティングした長方形に相当する直方体内の割込車Ｖ２に対し、連続する撮像フレーム間の特徴点を追跡する。特に、多フレーム間で安定的に追跡できている特徴点を優先的に活用することで、１フレームだけ追跡できたようなノイズ成分は除去し、また、追跡できた特徴点の中からも大きく外れた移動距離のものをノイズ成分として除去しながら、安定的に追跡できた特徴点のみを利用して、割込車Ｖ２の速度を算出する。
【0064】
なお、車両の輪郭形状、及び特徴点の３次元位置が、ステレオカメラ部１の視差画像から計測可能であるため、図１７では、この車体輪郭形状にある３次元点の移動方向（奥行き方向、横方向）を速度ベクトルで表現している。このように、特徴点が複数算出されるため、車体輪郭形状の表面のそれぞれの位置を原点として、複数の速度ベクトルが算出される。剛体である車体を想定すれば、３次元空間上で原点は異なっても、同じ方向へ同じ速度となることを利用し、得られた速度ベクトルにはノイズ成分を含むものの、外れ値除去した後に平均値を利用することで安定した速度ベクトルを算出する。
【0065】
また、画像中の背景や白線なども同様に特徴点をトラッキングすることで速度ベクトルを算出し、白線に対して割込車Ｖ２が接近しているか、白線をまたいで接近しているか、自車両Ｖ０の挙動は関係なく、相手車両が自分の車両側に接近しているかなど、割込車Ｖ２が自車両Ｖ０にとって衝突、接触のリスクがあるかどうかを判定するために必要な相対速度ベクトルと、絶対速度ベクトル（静止物に対してどのような方向へ動いているか）、車線内の位置などを算出する。
【0066】
・車両識別部７８
特徴点追跡／速度推定部７７での速度ベクトルの推定が完了した時点で、立体物候補が直方体形状かや、自車両Ｖ０に接近しているかが判断できるため、ある程度の確度で立体物候補が割込車Ｖ２であると特定できる。しかしながら、割込車Ｖ２の検知精度をさらに高めるため、車両識別部７８では、割込車Ｖ２の背面幅や側面長等の情報に基づいて、割込車Ｖ２が４輪車か２輪車かを識別できるようにする。これにより、カーブを走行中に自車両Ｖ０が壁に接近するような状況など、自車挙動や他車両候補の動きに誤差が生じやすい環境において、静止物を割込車候補と誤検知することが抑制される。
特徴点追跡／速度推定部７７での速度ベクトルの推定が完了した時点で、立体物候補が直方体形状かや、自車両Ｖ０に接近しているかが判断できるため、ある程度の確度で立体物候補が割込車Ｖ２であると特定できる。しかしながら、割込車Ｖ２の検知精度をさらに高めるため、車両識別部７８では、割込車Ｖ２の背面幅や側面長等の情報に基づいて、割込車Ｖ２が４輪車か２輪車かを識別できるようにする。これにより、カーブを走行中に自車両Ｖ０が壁に接近するような状況など、自車挙動や他車両候補の動きに誤差が生じやすい環境において、静止物を割込車候補と誤検知することが抑制される。
【0067】
＜割込車判定部８＞
割込車判定部８では、直角形状フィッティング部７で得られた情報を時系列に活用して、自車両Ｖ０に対して制御の対象とすべき割込車Ｖ２であるかどうかを総合的に判定する。以上の処理を実行するため、割込車判定部８は、図１８に示す、白線情報部８１、同一車線合流判定部８２、混雑複雑環境判定部８３、先行車候補判定部８４、接触可能性判定部８５を有している。以下、各部を順次説明する。
割込車判定部８では、直角形状フィッティング部７で得られた情報を時系列に活用して、自車両Ｖ０に対して制御の対象とすべき割込車Ｖ２であるかどうかを総合的に判定する。以上の処理を実行するため、割込車判定部８は、図１８に示す、白線情報部８１、同一車線合流判定部８２、混雑複雑環境判定部８３、先行車候補判定部８４、接触可能性判定部８５を有している。以下、各部を順次説明する。
【0068】
・白線情報部８１
まず、白線情報部８１では、総合判定するための一情報として、白線認識の結果を観測する。具体的には、白線情報部８１は、自車両Ｖ０が走行する車線の左右白線を把握するとともに、左右白線内での自車挙動が安定しているかも把握する。また、並走車両がいる場合には、並走車両が、交通規則を順守しながら白線内を走行しているかも把握する。そして、自他車とも白線内を安定走行している場合は、同一車線合流判定部８２を有効にする。一方、そうでなければ、混雑複雑環境判定部８３を有効にする。
まず、白線情報部８１では、総合判定するための一情報として、白線認識の結果を観測する。具体的には、白線情報部８１は、自車両Ｖ０が走行する車線の左右白線を把握するとともに、左右白線内での自車挙動が安定しているかも把握する。また、並走車両がいる場合には、並走車両が、交通規則を順守しながら白線内を走行しているかも把握する。そして、自他車とも白線内を安定走行している場合は、同一車線合流判定部８２を有効にする。一方、そうでなければ、混雑複雑環境判定部８３を有効にする。
【0069】
・同一車線合流判定部８２
同一車線合流判定部８２は、白線の位置や有無を利用して、自車両Ｖ０が走行する車線内への割り込みを判定する。この同一車線合流判定部８２では、自車走行白線内に割り込んでくる可能性の高い、すでに若干白線をまたいで接近してきている車両、もしくは、所定時間内に接触の可能性が高い車両を、割込車候補として抽出する。反対に、白線を割り込んで来ない車両に関しては、ある程度の自車両Ｖ０に接近している状況においても、割り込みの意図がないものと判断する。ただし、自車もしくは他車の白線内での横位置が素早く変化している場合には、斜線逸脱に至らずとも、この変化度合いから予測して接触可能性を判定してもよい。
同一車線合流判定部８２は、白線の位置や有無を利用して、自車両Ｖ０が走行する車線内への割り込みを判定する。この同一車線合流判定部８２では、自車走行白線内に割り込んでくる可能性の高い、すでに若干白線をまたいで接近してきている車両、もしくは、所定時間内に接触の可能性が高い車両を、割込車候補として抽出する。反対に、白線を割り込んで来ない車両に関しては、ある程度の自車両Ｖ０に接近している状況においても、割り込みの意図がないものと判断する。ただし、自車もしくは他車の白線内での横位置が素早く変化している場合には、斜線逸脱に至らずとも、この変化度合いから予測して接触可能性を判定してもよい。
【0070】
・混雑複雑環境判定部８３
混雑複雑環境判定部８３では、白線内を走行するようなルールを順守しない環境かつそもそも白線がかすれているもしくは白線が存在しないような走行環境であることを判断し、白線認識の結果があったとしてもこれを利用しない。他車も自車両Ｖ０も白線内を走行することを順守しないのであれば、白線の認識結果を利用する意味がないからである。このような走行環境においては基本的に、自車両Ｖ０の挙動と相手車両の挙動に基づいて制御すべきかどうかを判定する。
混雑複雑環境判定部８３では、白線内を走行するようなルールを順守しない環境かつそもそも白線がかすれているもしくは白線が存在しないような走行環境であることを判断し、白線認識の結果があったとしてもこれを利用しない。他車も自車両Ｖ０も白線内を走行することを順守しないのであれば、白線の認識結果を利用する意味がないからである。このような走行環境においては基本的に、自車両Ｖ０の挙動と相手車両の挙動に基づいて制御すべきかどうかを判定する。
【0071】
・先行車候補判定部８４
先行車候補判定部８４は、自車両Ｖ０が先行車追従制御（ＡＣＣ）を実施する場合、近隣の車両が追従対象である先行車Ｖ１の候補になりえるかを判定し、該当する場合は、その車両を先行車Ｖ１の候補に設定する。特に、図３Ａや図３Ｂに示すように、自車両Ｖ０が先行車Ｖ１に自動追従しているときに、先行車Ｖ１より低速の割込車Ｖ２が自車進路に割り込んできた場合には、追従対象車両を先行車Ｖ１から割込車Ｖ２に素早く切り替えることが安全な先行車追従制御の継続に重要である。このような状況下で追従対象車両の切り替えが遅れれば、自車両Ｖ０が減速しないまま低速の割込車Ｖ２に追突する可能性もあるし、ある程度の減速により追突を免れたとしても、自車両Ｖ０が割込車Ｖ２に過度に接近すれば、自車両Ｖ０の乗員に不安を与え、自動追従運転中にもかかわらず、ドライバーが自分でブレーキや回避などの操作をすることも考えられる。
先行車候補判定部８４は、自車両Ｖ０が先行車追従制御（ＡＣＣ）を実施する場合、近隣の車両が追従対象である先行車Ｖ１の候補になりえるかを判定し、該当する場合は、その車両を先行車Ｖ１の候補に設定する。特に、図３Ａや図３Ｂに示すように、自車両Ｖ０が先行車Ｖ１に自動追従しているときに、先行車Ｖ１より低速の割込車Ｖ２が自車進路に割り込んできた場合には、追従対象車両を先行車Ｖ１から割込車Ｖ２に素早く切り替えることが安全な先行車追従制御の継続に重要である。このような状況下で追従対象車両の切り替えが遅れれば、自車両Ｖ０が減速しないまま低速の割込車Ｖ２に追突する可能性もあるし、ある程度の減速により追突を免れたとしても、自車両Ｖ０が割込車Ｖ２に過度に接近すれば、自車両Ｖ０の乗員に不安を与え、自動追従運転中にもかかわらず、ドライバーが自分でブレーキや回避などの操作をすることも考えられる。
【0072】
そこで、先行車候補判定部８４は、例えば、白線内走行を順守する走行エリアと判断された場合には、割込車Ｖ２が白線を越えて自車線内に割り込んで来ることを先行車候補の判定条件の一つとし、反対に、白線内走行を順守する必要のない走行エリアと判断された場合にはその条件を利用しない。
【0073】
・接触可能性判定部８５
接触可能性判定部８５では、自車両Ｖ０と他車の輪郭形状を利用した接触判定を実施する。他車背面のみを利用した従来の接触判定手法では、他車両の先端部分との接触の可能性や、側面同士の接触の可能性などを判定することが難しかった。そこで、本実施例の接触可能性判定部８５では、他車両の輪郭形状を正確に推定し、この輪郭形状を利用し、自車両Ｖ０の形状は既知であるとし輪郭形状どうしの接触判定を実施する。そして、白線内を走行するルールを順守するエリアにおいては、白線を割り込んで接近してきた車両に対して警報や制御を早めに実施する。反対に、白線内を走行するルールを順守しないエリアにおいては、白線内を割り込んでくるかどうかも利用せず、接触間際になるまで警報や制御を実施しない。これは日常的に、他車両と自車両Ｖ０が、接触間際の運転をすることも多いため、意図的な運転なのか、意図せずに接触の危険があるようなシーンかどうかの判別が困難である。このため接触間際になるまでは、警報や制御を実施しない。
接触可能性判定部８５では、自車両Ｖ０と他車の輪郭形状を利用した接触判定を実施する。他車背面のみを利用した従来の接触判定手法では、他車両の先端部分との接触の可能性や、側面同士の接触の可能性などを判定することが難しかった。そこで、本実施例の接触可能性判定部８５では、他車両の輪郭形状を正確に推定し、この輪郭形状を利用し、自車両Ｖ０の形状は既知であるとし輪郭形状どうしの接触判定を実施する。そして、白線内を走行するルールを順守するエリアにおいては、白線を割り込んで接近してきた車両に対して警報や制御を早めに実施する。反対に、白線内を走行するルールを順守しないエリアにおいては、白線内を割り込んでくるかどうかも利用せず、接触間際になるまで警報や制御を実施しない。これは日常的に、他車両と自車両Ｖ０が、接触間際の運転をすることも多いため、意図的な運転なのか、意図せずに接触の危険があるようなシーンかどうかの判別が困難である。このため接触間際になるまでは、警報や制御を実施しない。
【0074】
＜接触追跡判定部５＞
接触追跡判定部５では、車両として識別され、かつ位置、速度が車両としてありうる変化をする物体に対して、自車両Ｖ０との接触、衝突などに対する警報、制御の判定を実施する。また、先行車自動追従ＡＣＣを利用している最中の追跡対象として利用する。この処理を実行するため、接触追跡判定部５は、図１９に示す、衝突判定部５１、先行車追跡部５２、追跡対象変更部５３、統合判定部５４を有している。以下、各部を順次説明する。
接触追跡判定部５では、車両として識別され、かつ位置、速度が車両としてありうる変化をする物体に対して、自車両Ｖ０との接触、衝突などに対する警報、制御の判定を実施する。また、先行車自動追従ＡＣＣを利用している最中の追跡対象として利用する。この処理を実行するため、接触追跡判定部５は、図１９に示す、衝突判定部５１、先行車追跡部５２、追跡対象変更部５３、統合判定部５４を有している。以下、各部を順次説明する。
【0075】
図２０の俯瞰図には、同一車線内に先行車Ｖ１と自車両Ｖ０が存在する状況を示している。まず、この図を使いながら、衝突判定部５１と先行車追跡部５２について説明する。
図２０の先行車Ｖ１が自車両Ｖ０より低速であったり、停車中であったりした場合には、自車両Ｖ０が先行車Ｖ１に追突する可能性がある。先行車Ｖ１と自車両Ｖ０の距離が十分に遠ければ、ドライバーが自分でブレーキをかけて減速または停止可能な状況であり、追突予防措置としては、警報で足り、緊急ブレーキは必要ないと考えられる。
図２０の先行車Ｖ１が自車両Ｖ０より低速であったり、停車中であったりした場合には、自車両Ｖ０が先行車Ｖ１に追突する可能性がある。先行車Ｖ１と自車両Ｖ０の距離が十分に遠ければ、ドライバーが自分でブレーキをかけて減速または停止可能な状況であり、追突予防措置としては、警報で足り、緊急ブレーキは必要ないと考えられる。
【0076】
そこで、衝突判定部５１は、先行車識別部４で認識された車両の位置と速度から、相対速度と距離を利用して、何秒後に自車両Ｖ０と接触するかを判定し、ドライバーがブレーキを踏めば十分に追突を回避できる状況であれば警報の発動を判断し、一方、ドライバー操作では追突回避困難というタイミングであれば緊急ブレーキの発動を判断する。
【0077】
次に、先行車追跡部５２では、ドライバーがＡＣＣ実行時において、先行車Ｖ１と自車両Ｖ０の距離が、ドライバー設定の一定距離かつ上限速度未満に保たれるように、先行車Ｖ１と自車両Ｖ０の相対速、距離から、先行車Ｖ１になめらかに追従できるように自車両Ｖ０のアクセルやブレーキなどの制御量を決定する。
【0078】
追跡対象変更部５３では、先行車追従中に割込車Ｖ２が、先行車Ｖ１と自車両Ｖ０の間に割り込んで来ていると先行車候補判定部８４で判定された場合には、追従対象とする車両を変更するタイミングを判断する。
【0079】
反対に、近距離から接近する車両は、ステレオカメラ部１の画像上で側面のみが撮像されていたり、背面が撮像されている場合であっても画像内の背面は極一部のみであったりする。このような場合、側面が大きく映るシーンにおいては、従来手法では接近車両の検知や速度推定が不安定となり、制御利用不可などの判断になる場合も多い。
【0080】
このため、本実施例においては、側面抽出部６からはじめる側面をベースとした割込車検知手法で、側面が大きく見える車両の安定的な車体輪郭の検知と速度推定を実施している。これらにより得られた情報を基に、割込車判定部８での判定結果を利用して、近距離における割込車Ｖ２による緊急ブレーキや回避など含めて統合判定部５４において警報タイミングや制御内容を決定する。
【0081】
また、統合判定部５４においては、上記の得られた情報から、車線内もしくは走行路内を避ける制御をドライバーが許可している場合において、ブレーキを踏むだけの制御とすべきか、車線内の立体物の空き状況、もしくは、路肩までを含めた走行路の立体物の空き状況を見たうえで操舵しながらの回避とブレーキ制御がよいか統合的な判断を実施してもよい。また、白線内の回避だけでなく路肩検知や自車全周をセンシングできている場合においては、路肩への退避なども統合判定部において実施する。自車両Ｖ０の少し斜め先を進んでいる車両が右前などにいるような場合において周囲を走る車両がいないような場合には、左側に白線を超えながらの回避操舵の判定を実施、左側車線を走行する車両や路肩なども同時にセンシングすることで退避を実施する。
【0082】
・車両制御部９
車両制御部９においては、上記で判別された警報、制御内容に従って、音や車速制御、緊急ブレーキ、操舵などを実施する。
車両制御部９においては、上記で判別された警報、制御内容に従って、音や車速制御、緊急ブレーキ、操舵などを実施する。
【0083】
【0084】
まず、ステップＳ１では、ステレオカメラ部１の左右カメラは、自車両Ｖ０の前方の左画像ＰＬと右画像ＰＲを撮像する（図３Ｂ参照）。
【0085】
次に、ステップＳ２では、ステレオカメラ部１の画像処理部は、左右画像の平行化と感度補正を実施後に、ステレオマッチングを実施し、視差画像を生成する。
【0086】
ステップＳ３では、視差投票部２は、ステップＳ２で得た視差画像を利用して、ＵＤ空間に視差値Ｄを投票する（図４参照）。この視差値投票では、奥行きが同一かつ画像上の横座標が同一であるような視差が存在する場合、つまり画像上に映る路面に鉛直に立つ立体物がある場合に視差の投票が、ＵＤ空間の同じ場所に集まりやすい仕組みとなる。つまり、このＵＤ空間を利用することで、立体物が存在する場所には視差投票値が累積されることとなる。このためＵＤ空間上で投票値が高い場所を探索することで、立体物の存在がわかることとなる。このＵＤ空間を利用しながら、周囲環境をセンシングする。
【0087】
ステップＳ４では、背面抽出部３は、ＵＤ空間に投票された結果を利用して立体物の背面を抽出するために、ＵＤ空間を横方向にスキャンし、立体物候補を探索する（図５Ａ参照）。横方向に探索するために、背面がカメラから見て横方向に広がっている立体物に関しては安定的な検知が可能となる。特に、車両背面に関しては、車両同士が基本的に同一な方向を向いていることが多いため、基本的にはこの処理にて車両の背面が検出することが可能であり、先行車Ｖ１への緊急ブレーキや、先行車Ｖ１の追従にはこの処理によって抽出された車両背面候補を利用する。この処理の中では２輪車や歩行者、電柱などの立体物も抽出対象となっており、幅がある程度以上ある立体物については一旦抽出し、この後、歩行者か４輪車か２輪車などの、走行物体に関しては、その種別特定処理まで実施する。
【0088】
ステップＳ５では、先行車識別部４は、ステップＳ４で抽出した立体物候補の中から、車両想定幅以内の立体物候補に対しては識別処理を実施し、車両かどうかを識別する。更に、レーン認識結果が得られる場合には、この結果を併用することで、隣接車線の車両か先行車Ｖ１かどうかを判断する。更に、立体物候補の中から２輪車としての想定幅以内の物体に対して、２輪車かどうかの判別も同時に実施する。同様に、歩行者に関しても実施し、特に車両運転中に、衝突、接触などを気にする移動体に関しては種別なども特定することで、信頼性を向上させる。
【0089】
上記したステップＳ４，Ｓ５による、従来の立体物検知や車両検知などは基本的に、自車両Ｖ０に対して対面する壁を探すような手法で、立体物をとらえることで処理を簡素化したものである。この手法自体は、自車進路Ｒ０に存在する立体物をとらえ緊急ブレーキをかけるため、もしくは、先行車Ｖ１への追従という観点でいえば、非常に効率的な手法であった。しかしながら欠点としては、自車両Ｖ０の側面に対して接触するような壁、割込車側面などを扱うには、不十分であり、立体物の傾きや位置などを正確にとらえにくい欠点がある。
【0090】
これまでの基本機能といえる車両や歩行者など比較的、立体物の高さが高く、かつ自車進路Ｒ０に入った場合だけ制御対象となるような場合には充分であったが、近年基本機能の搭載だけでなく、進路周囲の走行環境に対する制御なども考慮した場合には不足もある手法であった。このため、本発明では、背面を探索する従来処理（ステップＳ４，Ｓ５）では、対応が困難な割込車Ｖ２との接触判定や、割り込み時の先行車追従対象の切替判定などを実施するため、上記のステップＳ４，Ｓ５と並行して、以下のステップＳ６～Ｓ８を実行する。
【0091】
隣接車線を走行する近距離の割込車Ｖ２の場合には、自車両Ｖ０から大きく側面が見えるために背面よりも側面を抽出する方が安定性である場合が多く、特に背面の一部もしくはすべてがカメラから見えていない場合も存在し、横方向に探索する背面抽出処理（ステップＳ４）では、安定かつ正確に割込車Ｖ２の側面を抽出できない。
【0092】
そこで、ステップＳ６では、側面抽出部６は、側面探索を実施し、割込車Ｖ２の側面を抽出する（図８、図９参照）。更に、本ステップでは割込車Ｖ２を探索対象としているので、側面抽出部６は、ある程度の高さがある立体物かつ、奥行き長さがある程度以上あるか、さらに、自車方向へ接近しているかを判断することで割込車候補であるかどうかを判定する。
【0093】
ステップＳ７では、直角形状フィッティング部７は、割込車候補が実際に割込車Ｖ２であれば、その側面線分に対して直角に背面線分が存在することを利用して、側面線分の先端と後端位置の再フィッティング処理（図１１，図１２参照）と、さらには背面探索処理（図１３Ａ、図１３Ｂ参照）を実施することで、より安定的な直角形状を探索する。これにより従来は難しかった、自車両Ｖ０に対して側面のみ、もしくは背面の一部が欠けた車両、側面の方が背面より大きく見える車両に対して安定的な輪郭形状をとらえることが可能となり、接触や、追従対象の先行車の切替などを正確に判断するための情報が取得可能となる。
【0094】
更に、車両の速度に関しては、この輪郭形状内の特徴点の動きを画像上で探索することで更なる高精度化を実施する（図１７参照）。これは視差画像と原画像の解像度に差があるときに特に必要となってくる。視差画像など、後処理用に加工された画像情報は、原画像と比較して解像度が低いことが多い。このため、速度算出には解像度の高い原画像を利用すれば精度が高い。このため原画像を利用し、抽出された輪郭形状内においてフローを算出することで相対速度を算出、輪郭形状であることを考慮することで、視差を利用した奥行き方向の速度と、横方向の速度を同時に算出する。更に背景に対しても同じように静止物の速度を算出することで、静止物に対する割込車Ｖ２の移動速度（絶対速度も算出する。）
ステップＳ８では、割込車判定部８は、割込車候補の相対位置、速度、絶対的な位置、速度、白線位置、自車挙動などを利用することで、自車両Ｖ０の運転に影響を及ぼす割込車Ｖ２かどうかを判定する。接触などの可能性がある場合には、接触の角度にもよるがお互いの輪郭形状を考慮した場合には、自車両Ｖ０が緊急ブレーキする方がよいか、もしくは操舵による車線内回避、もしくは路肩も含めた回避候補がよいかなどを判断する。また、先行車追従中であれば、接触や衝突の恐れがないにしても、追従するための対象屋の切替をどのタイミングで実施するかなどを判断する。
ステップＳ８では、割込車判定部８は、割込車候補の相対位置、速度、絶対的な位置、速度、白線位置、自車挙動などを利用することで、自車両Ｖ０の運転に影響を及ぼす割込車Ｖ２かどうかを判定する。接触などの可能性がある場合には、接触の角度にもよるがお互いの輪郭形状を考慮した場合には、自車両Ｖ０が緊急ブレーキする方がよいか、もしくは操舵による車線内回避、もしくは路肩も含めた回避候補がよいかなどを判断する。また、先行車追従中であれば、接触や衝突の恐れがないにしても、追従するための対象屋の切替をどのタイミングで実施するかなどを判断する。
【0095】
ステップＳ９では、接触追跡判定部５は、先行車識別情報と自車挙動、更には、割込車Ｖ２と判断された車両の情報を利用して、自車両Ｖ０との衝突、接触を判定する。自車挙動を考慮しながら自車両Ｖ０の輪郭情報と、他車両の輪郭情報を利用することで、正面に対する衝突以外に接触や、車体角と側面の衝突などを含めて正確な接触事故の判定を可能とする。また、誤警報、誤制御の抑制も可能とする。
【0096】
また、接触間際の近距離を走行し、自車両Ｖ０にとっての新たな先行車Ｖ１として切り替わるような場合にも、先行車Ｖ１への乗り換えタイミングを適切に切り替えることで、自車両Ｖ０の自動追従走行自体がドライバーへ不安をいだかせるような速度などにならないような調整を実施する。安心できるタイミングで先行追従車両の切り替えを割込車Ｖ２に切り替えることで、安心できる車間の確保などに努める。他車両の運転自体がそうであったとしても自車両Ｖ０はできる限りすばやく、正確に安心できる相対距離や位置に移動するなど、安全、安心をドライバーに提供することが可能となる。自車両Ｖ０と他車両それぞれの直角形状であることを利用した簡易的ではあるが輪郭形状を利用した衝突、追跡判定を実施することで、従来は難しかった自車両Ｖ０の側面間際を通過するような割込車Ｖ２に対する適切な自車両Ｖ０の制御を安定的に実施することを可能とする。
【0097】
ステップＳ１０では、車両制御部９は、ステップＳ９の判定結果に基づいて、警報、制御を実施、もしくは追従車の対象切替を実施する。
【0098】
以上で説明したように、本実施例の外界認識装置によれば、先行車と自車両の間に割込車が割り込んだ場合、その割込車の側面情報に基づいて、その割込車を車両と認識することができる。また、その割込車と接触可能性があれば自車両を制動する一方、接触可能性がなければ、先行車追従制御における追従対象車を、従前の先行車から割込車に切り替えることで安定した走行を継続することができる。
【符号の説明】
【0099】
１００…外界認識装置、１…ステレオカメラ部、１Ｌ…左カメラ、１Ｒ…右カメラ、２…視差投票部、３…背面抽出部、４…先行車識別部、４１…追跡部、４２…車両背面候補選定部、４３…車両識別部、４４… 位置速度推定部、５…接触追跡判定部、５１…衝突判定部、５２…先行車追跡部、５３…追跡対象変更部、５４…統合判定部、６…側面抽出部、６１…側面候補線探索部、６２…車両候補判定部、６３… 追跡部、６４… 側面速度解析部、７…直角形状フィッティング部、７１…側面先端フィッティング部、７２…側面後端フィッティング部、７３…側面ベースの背面探索部、７４…検知ベース線切替部、７５…背面ベースの側面探索部、７６…詳細形状フィッティング部、７７…特徴点追跡／速度推定部、７８…車両識別部、８…割込車判定部、８１…白線情報部、８２…同一車線合流判定部、８３…混雑複雑環境判定部、８４…先行車候補判定部、８５…接触可能性判定部、９…車両制御部、Ｖ０…自車両、Ｖ１…先行車、Ｖ２…割込車
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13A】
【図13B】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】