知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-26
(45)【発行日】2023-10-04
(54)【発明の名称】立体物検出装置、車載システム、及び立体物検出方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20230927BHJP
G06T 7/70 20170101ALI20230927BHJP
G08G 1/16 20060101ALI20230927BHJP
H04N 7/18 20060101ALI20230927BHJP
【ＦＩ】
G06T7/00 650A
G06T7/70 A
G08G1/16 C
H04N7/18 J
【請求項の数】
6
(21)【出願番号】P 2020024176
(22)【出願日】2020-02-17
(65)【公開番号】P2021128672
(43)【公開日】2021-09-02
【審査請求日】2023-01-19
(73)【特許権者】
【識別番号】000001487
【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社
(74)【代理人】
【識別番号】110001081
【氏名又は名称】弁理士法人クシブチ国際特許事務所
(72)【発明者】
【氏名】宮下 彩乃
(72)【発明者】
【氏名】清水 直樹
【審査官】小太刀 慶明
(56)【参考文献】
【文献】国際公開第２０１３／１２５３３５（ＷＯ，Ａ１）
【文献】国際公開第２０１４／０１７５２２（ＷＯ，Ａ１）
【文献】特開２００９－７１７９０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／７０
Ｇ０８Ｇ １／００ － １／１６
Ｈ０４Ｎ ７／１８
Ｂ６０Ｒ ２１／００
(57)【特許請求の範囲】
【請求項1】
車両の走行中に異なるタイミングでカメラによって撮影された第１撮影画像、及び第２撮影画像のそれぞれを第１俯瞰画像、及び第２俯瞰画像に変換する俯瞰変換処理部と、互いの撮影位置が揃った前記第１俯瞰画像、及び前記第２俯瞰画像の差分画像を生成する差分画像生成部と、
前記差分画像において立体物が映っている候補の立体物候補領域以外をマスキングするマスク画像を生成し、当該マスク画像で前記差分画像をマスキングしてマスク差分画像を生成するマスク差分画像生成部と、
前記マスク差分画像に基づいて、前記差分画像における立体物の近傍接地線を特定する近傍接地線特定部と、
前記立体物の幅を特定する幅特定部と、
前記立体物の幅、及び、前記近傍接地線に基づいて、前記差分画像における前記立体物の遠方接地線を特定する遠方接地線特定部と、
前記近傍接地線、及び前記遠方接地線に基づいて、前記差分画像における立体物の位置を特定する位置特定部と、を備え、
前記幅特定部は、
前記マスク差分画像に基づいて前記立体物の端点を求め、
前記マスク画像において、前記撮影位置から最遠方に位置する非マスキング領域の境界である最遠方非マスキング領域境界と、前記マスク差分画像に基づいて求められた前記立体物の端点を通って前記立体物の幅方向に延びる直線との交点を特定し、当該端点と当該交点との間の距離に基づいて前記立体物の幅を特定する
ことを特徴とする立体物検出装置。
【請求項2】
前記幅特定部は、前記マスク画像において、前記撮影位置から前記立体物の幅方向に延びる直線上に設定された複数の検出点のそれぞれから当該マスク画像の縦方向に沿って前記撮影位置から遠ざかる遠方方向に走査し、マスキング領域から非マスキング領域に変わる最遠方非マスキング領域境界点を特定し、
前記検出点のそれぞれの最遠方非マスキング領域境界点から一次近似手法を用いて近似直線を求めることで、前記最遠方非マスキング領域境界を特定する
ことを特徴とする請求項１に記載の立体物検出装置。
【請求項3】
前記位置特定部は、前記差分画像において前記撮影位置から延び、前記立体物の鉛直方向輪郭線を含む放射線と、前記近傍接地線、及び前記遠方接地線のそれぞれとの交点に基づいて、前記近傍接地線において前記立体物が位置する第１領域、及び前記遠方接地線において前記立体物が位置する第２領域を特定し、これら第１領域、及び第２領域が重複する範囲に基づいて、前記差分画像において前記立体物が映った立体物領域を特定する
ことを特徴とする請求項１または２に記載の立体物検出装置。
【請求項4】
前記近傍接地線特定部は、前記車両の走行方向に垂直な横方向を横軸とし、前記マスク差分画像の各画素の画素値を前記走行方向に沿って累積した走行方向差分量累積値を縦軸としたマスク差分ヒストグラムにおいて前記走行方向差分量累積値が第３閾値を越える横軸の位置に基づいて、前記近傍接地線を特定する
ことを特徴とする請求項１から３のいずれかに記載の立体物検出装置。
【請求項5】
請求項１から４のいずれかに記載の立体物検出装置と、前記立体物検出装置によって特定された他車両の位置を表示する表示装置と、
を備えたことを特徴とする車載システム。
【請求項6】
コンピュータが、車両の走行中に異なるタイミングでカメラによって撮影された第１撮影画像、及び第２撮影画像のそれぞれを第１俯瞰画像、及び第２俯瞰画像に変換する第１ステップと、
互いの撮影位置が揃った前記第１俯瞰画像、及び前記第２俯瞰画像の差分画像を生成する第２ステップと、
前記差分画像において立体物が映っている候補の立体物候補領域以外をマスキングするマスク画像を生成し、当該マスク画像で前記差分画像をマスキングしてマスク差分画像を生成する第３ステップと、
前記マスク差分画像に基づいて、前記差分画像における立体物の近傍接地線を特定する第４ステップと、
前記立体物の幅を特定する第５ステップと、
前記立体物の幅、及び、前記近傍接地線に基づいて、前記差分画像における前記立体物の遠方接地線を特定する第６ステップと、
前記近傍接地線、及び前記遠方接地線に基づいて、前記差分画像における立体物の位置を特定する第７ステップと、を備え、
前記第５ステップでは、
前記マスク差分画像に基づいて前記立体物の端点を求め、
前記マスク画像において、前記撮影位置から最遠方に位置する非マスキング領域の境界である最遠方非マスキング領域境界と、前記マスク差分画像に基づいて求められた前記立体物の端点を通って前記立体物の幅方向に延びる直線との交点を特定し、当該端点と当該交点との間の距離に基づいて前記立体物の幅を特定する
ことを特徴とする立体物検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、立体物検出装置、車載システム、及び立体物検出方法に関する。
【背景技術】
【0002】
異なるタイミングの俯瞰画像（鳥瞰視画像とも呼ばれる）の差分に基づいて、車両周囲の他車両等の立体物を検出する技術が知られている（例えば、特許文献１、特許文献２参照）。かかる技術は、特許文献１のように、車両の駐車時に周辺の他車両等の立体物を障害物として検知して警報を発する駐車支援システムなどに応用されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００８－２２７６４６号公報
【文献】国際公開第２０１４／０１７５２１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
建物や標識、信号機等の構造物の影が路面に現れることが多々あり、走行中の車両からは、この影が相対移動して観測される。かかる影が走行中の車両と、その周囲の立体物との間に存在する場合、立体物の検出精度が悪くなる、という問題があった。
【0005】
本発明は、走行中の車両の周囲に存在する立体物の検出精度を向上させることができる立体物検出装置、車載システム、及び立体物検出方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、車両の走行中に異なるタイミングでカメラによって撮影された第１撮影画像、及び第２撮影画像のそれぞれを第１俯瞰画像、及び第２俯瞰画像に変換する俯瞰変換処理部と、互いの撮影位置が揃った前記第１俯瞰画像、及び前記第２俯瞰画像の差分画像を生成する差分画像生成部と、前記差分画像において立体物が映っている候補の立体物候補領域以外をマスキングするマスク画像を生成し、当該マスク画像で前記差分画像をマスキングしてマスク差分画像を生成するマスク差分画像生成部と、前記マスク差分画像に基づいて、前記差分画像における立体物の近傍接地線を特定する近傍接地線特定部と、前記立体物の幅を特定する幅特定部と、前記立体物の幅、及び、前記近傍接地線に基づいて、前記差分画像における前記立体物の遠方接地線を特定する遠方接地線特定部と、前記近傍接地線、及び前記遠方接地線に基づいて、前記差分画像における立体物の位置を特定する位置特定部と、を備え、前記幅特定部は、前記マスク差分画像に基づいて前記立体物の端点を求め、前記マスク画像において、前記撮影位置から最遠方に位置する非マスキング領域の境界である最遠方非マスキング領域境界と、前記マスク差分画像に基づいて求められた前記立体物の端点を通って前記立体物の幅方向に延びる直線との交点を特定し、当該端点と当該交点との間の距離に基づいて前記立体物の幅を特定することを特徴とする。
【発明の効果】
【0007】
本発明によれば、走行中の車両の周囲に存在する立体物の検出精度を向上させることができる。
【図面の簡単な説明】
【0008】
【図1】本発明の実施形態に係る車載システムの構成を示す図である。
【図2】カメラＥＣＵの機能的構成を示す図である。
【図3】同実施形態における車両と他車両の位置関係を示す図である。
【図4】立体物検出処理のフローチャートである。
【図5】差分画像生成動作を説明するための図であり、（Ａ）は第１俯瞰画像、及び第２俯瞰画像の一例を示し、（Ｂ）は差分画像の一例を示す。
【図6】マスク画像生成処理のフローチャートである。
【図7】鉛直方向輪郭線の倒れ込みを説明するための図であり、（Ａ）は撮影画像の一例を示し、（Ｂ）は俯瞰画像の一例を示す。
【図8】ラベル画像を模式的に示す図である。
【図9】ルックアップテーブルを模式的に示す図である。
【図10】差分ヒストグラムの生成を説明するための図であり、（Ａ）は差分画像の一例を示し、（Ｂ）は差分ヒストグラムの一例を示す。
【図11】エッジ強度ヒストグラムの生成を説明するための図であり、（Ａ）はエッジ画像の一例を示し、（Ｂ）はエッジ強度ヒストグラムＲｂの一例を示す。
【図12】マスク画像の生成を説明するための図であり、（Ａ）はラベル画像の一例を示し、（Ｂ）はマスク画像の一例を示す。
【図13】マスク差分画像の生成動作の説明図である。
【図14】近傍接地線特定処理のフローチャートである。
【図15】マスク差分ヒストグラムの生成を説明するための図であり、（Ａ）はマスク差分画像の一例を示し、（Ｂ）は（Ａ）のマスク差分画像から得られるマスク差分ヒストグラムの一例を示す。
【図16】近傍接地線特定動作の説明図である。
【図17】車幅特定処理のフローチャートである。
【図18】車幅特定処理においてマスク画像に設定される各種パラメータの説明図である。
【図19】差分マスク画像に基づく他車両の端点の特定動作の説明図であり、（Ａ）は差分マスク画像の一例を示し、（Ｂ）は端点特定用差分マスク画像の一例を示し、（Ｃ）は端点特定用差分ヒストグラムの一例を示し、（Ｄ）は差分マスク画像における他車両の端点の一例を示す。
【図20】カメラ映像、俯瞰画像、及びマスク画像の例を、車幅が異なる複数の他車両について示す図である。
【図21】車幅特定条件の説明図である。
【図22】俯瞰画像における近傍接地線、及び遠方接地線と鉛直方向輪郭線との関係を示す図である。
【図23】立体物領域特定処理の概要説明図である。
【図24】立体物領域特定処理のフローチャートである。
【図25】差分近傍ヒストグラムの生成を説明するための図であり、（Ａ）は差分画像の一例を示し、（Ｂ）は差分近傍ヒストグラムの一例を示す。
【図26】エッジ強度近傍ヒストグラムの生成を説明するための図であり、（Ａ）はエッジ画像の一例を示し、（Ｂ）はエッジ強度近傍ヒストグラムＲｂｎの一例を示す。
【図27】差分遠方ヒストグラムの生成を説明するための図であり、（Ａ）は差分画像の一例を示し、（Ｂ）は差分遠方ヒストグラムの一例を示す。
【図28】エッジ強度遠方ヒストグラムの生成を説明するための図であり、（Ａ）はエッジ画像の一例を示し、（Ｂ）エッジ強度遠方ヒストグラムの一例を示す。
【図29】近傍用マスクラベル画像、及び遠方用マスクラベル画像の説明図である。
【図30】近傍領域に限定して立体物検出を行った場合の他車両領域特定動作の説明図である。
【図31】近傍接地線における各交点のグルーピング動作の説明図である。
【図32】最終的な単一他車両領域の決定動作の説明図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して本発明の実施形態について説明する。
図１は、本実施形態に係る車載システム１の構成を示す図である。
車載システム１は、車両２に搭載されたシステムであり、撮影部３と、カメラＥＣＵ６と、車両制御ユニット８と、ＨＭＩ部９と、ＣＡＮ１０と、を備える。ＣＡＮ１０は、カメラＥＣＵ６、車両制御ユニット８、及びＨＭＩ部９を接続する車載ネットワークの一種である。
図１は、本実施形態に係る車載システム１の構成を示す図である。
車載システム１は、車両２に搭載されたシステムであり、撮影部３と、カメラＥＣＵ６と、車両制御ユニット８と、ＨＭＩ部９と、ＣＡＮ１０と、を備える。ＣＡＮ１０は、カメラＥＣＵ６、車両制御ユニット８、及びＨＭＩ部９を接続する車載ネットワークの一種である。
【0010】
撮影部３は、車両２の全周囲（３６０度の範囲）を撮影して得られたカメラ映像５をカメラＥＣＵ６に出力する。撮影部３は、車両２の前方を撮影するフロントカメラと、後方ＤＢ（図３）を撮影するリアカメラと、右側方を撮影する右サイドカメラと、左側方を撮影する左サイドカメラと、いった複数のカメラ４を備え、各カメラ４からカメラ映像５が出力される。なお、本実施形態では、車両２が前進走行しているものとし、車両２の前方と走行方向Ｂとは一致している。
【0011】
カメラＥＣＵ６は、撮影部３の撮影動作を制御する機能と、各カメラ映像５に適宜の信号処理を施す機能とを備えた装置である。本実施形態のカメラＥＣＵ６は、車両２に並走する立体物である他車両Ａ（図３）の位置を、各カメラ４のカメラ映像５ごとに検出し、他車両Ａの位置情報をＣＡＮ１０を通じて車両制御ユニット８に送信する他車両検出装置（立体物検出装置）としても機能する。カメラＥＣＵ６の詳細については後述する。
【0012】
車両制御ユニット８は、車両２の走行に係る各種の制御を実行するプロセッサを備えたユニットであり、この制御のために、操舵機構や駆動機構などの車両２の各部を制御する機能を備える。また車両制御ユニット８は、これらの制御に要する各種の車両情報（少なくとも走行速度）を検出する１又は複数のセンサを備える。
【0013】
また車両制御ユニット８は、運転者の運転操作に代わって車両２を運転制御する機能（いわゆる、自動運転制御機能）を備え、車両２の走行時には、車両２の周囲に存在する立体物の位置を逐次に取得し、立体物までの間に適切な距離を確保するように運転制御する。例えば、車線変更時や合流時、分流時などのように、立体物の一例である他車両Ａに車両２が接近し得る場合、車両制御ユニット８は、他車両Ａの位置を取得し、当該他車両Ａの位置に基づいて、当該他車両Ａとの間に適切な車間距離を確保するように運転制御する。
【0014】
なお、車両制御ユニット８は、自動運転制御機能に代えて、或いは、自動運転制御機能と併せて、運転者の運転操作を支援する運転支援機能を備えてもよい。運転支援機能は、車両２の走行時に、車両２の周囲に存在する立体物の位置を逐次に取得し、立体物を運転者に案内したり、当該立体物の位置に基づく各種の警報等を運転者に報知したりすることで運転者の運転操作を支援するものである。
【0015】
ＨＭＩ部９は、ユーザインタフェースとなる入力装置、及び出力装置を備え、当該出力装置は、各種情報を表示する表示装置９Ａ、及び各種音声を出力するスピーカを備える。表示装置９Ａには、各カメラ４のカメラ映像５や、車両２を上方から俯瞰した映像などが表示され、また、カメラＥＣＵ６によって検出された他車両Ａに関する情報（当該他車両Ａの位置や大きさなど）も適宜の態様で表示される。
【0016】
上述したカメラＥＣＵ６は、プロセッサの一例であるＣＰＵ１２と、プログラム１３等の各種情報を記憶するＲＯＭやＲＡＭなどのメモリ１４と、ＣＡＮ１０を通じて車両制御ユニット８と通信する通信回路モジュールとしてのＣＡＮＩ／Ｆ１６と、を備えた、いわゆるコンピュータを備える。本実施形態のカメラＥＣＵ６は、メモリ１４に記憶されたプログラムをＣＰＵ１２が実行することで、上述した他車両検出装置として機能する。
【0017】
図２は、カメラＥＣＵ６の機能的構成を示す図である。
本実施形態のカメラＥＣＵ６は、異なるタイミングで撮影された第１撮影画像、及び第２撮影画像を同じカメラ４で撮影されたカメラ映像５から取得し、これら第１撮影画像、及び第２撮影画像を俯瞰変換した第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２の差分である差分画像Ｇに基づいて、当該カメラ４のカメラ映像５に映った他車両Ａの位置を検出する。カメラＥＣＵ６は、かかる検出を各カメラ４のカメラ映像５ごとに行うことで、車両２の全周囲について他車両Ａの位置を検出する。
係る検出動作のために、カメラＥＣＵ６は、図２に示すように、車両情報取得部２０と、前処理部２２と、立体物位置特定部２４と、を備えている。
本実施形態のカメラＥＣＵ６は、異なるタイミングで撮影された第１撮影画像、及び第２撮影画像を同じカメラ４で撮影されたカメラ映像５から取得し、これら第１撮影画像、及び第２撮影画像を俯瞰変換した第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２の差分である差分画像Ｇに基づいて、当該カメラ４のカメラ映像５に映った他車両Ａの位置を検出する。カメラＥＣＵ６は、かかる検出を各カメラ４のカメラ映像５ごとに行うことで、車両２の全周囲について他車両Ａの位置を検出する。
係る検出動作のために、カメラＥＣＵ６は、図２に示すように、車両情報取得部２０と、前処理部２２と、立体物位置特定部２４と、を備えている。
【0018】
車両情報取得部２０は、車両制御ユニット８から車両情報を取得する。この車両情報には、少なくとも車両２の走行速度が含まれる。
【0019】
前処理部２２は、カメラ映像５から差分画像Ｇを得るための処理を実行するものであり、カメラ映像取得部３０と、輝度変換処理部３２と、俯瞰変換処理部３４と、差分画像生成部３６と、を備える。
【0020】
カメラ映像取得部３０は、撮影部３を制御することで、所定時間以上に亘って撮影部３による撮影を継続し、その撮影によって得られたカメラ映像５を取得する。
輝度変換処理部３２は、カメラ映像５を構成する各フレーム（撮影画像）を輝度画像に変換する。各フレームは静止画像である撮影画像に相当し、輝度画像は、この撮影画像のそれぞれの画素値を、その画素の輝度値に変換した画像である。
俯瞰変換処理部３４は、各輝度画像を俯瞰画像に変換する。俯瞰画像は、車両２の上方に設定された仮想視点から直下方向を視た画像である。俯瞰変換処理部３４は輝度画像を射影変換（視点変換とも呼ばれる）することで俯瞰画像を生成する。
差分画像生成部３６は、俯瞰変換処理部３４によって順次に生成される俯瞰画像の中から、撮影タイミングが異なる２つの第１撮影画像、及び第２撮影画像から得られた第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２（図５（Ａ）参照）を抽出し、両者の差分画像Ｇを生成する。差分画像Ｇは、第１撮影画像Ｅ１の各画素の画素値（輝度値）を、その画素に対応する第２撮影画像Ｅ２の画素の画素値（輝度値）との差に変換し、所定の閾値で各画素の画素値を２値化した画像である。差分画像Ｇの生成時には、差分画像生成部３６は、第１俯瞰画像Ｆ１と第２俯瞰画像Ｆ２の撮影位置Ｏを、第１俯瞰画像Ｆ１を基準に揃えた状態で、両者の各画素の画素値の差分量を算出することで、差分画像Ｇを生成する。
輝度変換処理部３２は、カメラ映像５を構成する各フレーム（撮影画像）を輝度画像に変換する。各フレームは静止画像である撮影画像に相当し、輝度画像は、この撮影画像のそれぞれの画素値を、その画素の輝度値に変換した画像である。
俯瞰変換処理部３４は、各輝度画像を俯瞰画像に変換する。俯瞰画像は、車両２の上方に設定された仮想視点から直下方向を視た画像である。俯瞰変換処理部３４は輝度画像を射影変換（視点変換とも呼ばれる）することで俯瞰画像を生成する。
差分画像生成部３６は、俯瞰変換処理部３４によって順次に生成される俯瞰画像の中から、撮影タイミングが異なる２つの第１撮影画像、及び第２撮影画像から得られた第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２（図５（Ａ）参照）を抽出し、両者の差分画像Ｇを生成する。差分画像Ｇは、第１撮影画像Ｅ１の各画素の画素値（輝度値）を、その画素に対応する第２撮影画像Ｅ２の画素の画素値（輝度値）との差に変換し、所定の閾値で各画素の画素値を２値化した画像である。差分画像Ｇの生成時には、差分画像生成部３６は、第１俯瞰画像Ｆ１と第２俯瞰画像Ｆ２の撮影位置Ｏを、第１俯瞰画像Ｆ１を基準に揃えた状態で、両者の各画素の画素値の差分量を算出することで、差分画像Ｇを生成する。
【0021】
立体物位置特定部２４は、差分画像Ｇに基づいて、立体物の一例である他車両Ａの位置を特定するものであり、マスク差分画像生成部５０と、近傍接地線特定部５１と、車幅特定部５２と、遠方接地線特定部５３と、位置特定部５４と、を備える。
【0022】
マスク差分画像生成部５０は、差分画像Ｇの中で他車両候補領域６０を除く残余の領域をマスキングするマスク画像９０を生成し、差分画像Ｇをマスク画像９０によってマスキングすることで、他車両候補領域６０以外がマスキングされたマスク差分画像Ｇｍ（図１３参照）を生成する。
他車両候補領域６０は、差分画像Ｇにおいて他車両Ａが映っている蓋然性が高い領域であり、他車両領域Ｈの候補の領域である。他車両領域Ｈは、差分画像Ｇにおいて他車両Ａが映っていると確定された領域（立体物領域）である。
他車両候補領域６０は、差分画像Ｇにおいて他車両Ａが映っている蓋然性が高い領域であり、他車両領域Ｈの候補の領域である。他車両領域Ｈは、差分画像Ｇにおいて他車両Ａが映っていると確定された領域（立体物領域）である。
【0023】
近傍接地線特定部５１は、マスク差分画像Ｇｍに基づいて、差分画像Ｇにおける近傍接地線Ｌ１を特定する。
ここで、接地線は、車両２が走行している車線に隣接する他の車線に存在する他車両Ａが地面に接する線を言い、平面視における他車両Ａの左右両側の輪郭線６３（図３）に相当する。
本実施形態において、図３に示すように、他車両Ａの左右両側の輪郭線６３のうちの車両２に近い側の線を近傍接地線Ｌ１と言い、車両２から遠い側の線を遠方接地線Ｌ２と言う。
これら近傍接地線Ｌ１、及び遠方接地線Ｌ２が差分画像Ｇの中に設定されることで、この差分画像Ｇの中で、車両２からみて横方向Ｃｈにおける他車両領域Ｈの位置が特定される。なお、横方向Ｃｈは車両２の走行方向Ｂに垂直な方向を指す。
ここで、接地線は、車両２が走行している車線に隣接する他の車線に存在する他車両Ａが地面に接する線を言い、平面視における他車両Ａの左右両側の輪郭線６３（図３）に相当する。
本実施形態において、図３に示すように、他車両Ａの左右両側の輪郭線６３のうちの車両２に近い側の線を近傍接地線Ｌ１と言い、車両２から遠い側の線を遠方接地線Ｌ２と言う。
これら近傍接地線Ｌ１、及び遠方接地線Ｌ２が差分画像Ｇの中に設定されることで、この差分画像Ｇの中で、車両２からみて横方向Ｃｈにおける他車両領域Ｈの位置が特定される。なお、横方向Ｃｈは車両２の走行方向Ｂに垂直な方向を指す。
【0024】
車幅特定部５２は、マスク画像９０（図１３）に基づいて、他車両Ａの車幅Ｖｗ（図３）を特定する。
遠方接地線特定部５３は、近傍接地線Ｌ１、及び車幅Ｖｗに基づいて、差分画像Ｇにおける遠方接地線Ｌ２を特定する。
遠方接地線特定部５３は、近傍接地線Ｌ１、及び車幅Ｖｗに基づいて、差分画像Ｇにおける遠方接地線Ｌ２を特定する。
【0025】
位置特定部５４は、近傍接地線Ｌ１、遠方接地線Ｌ２、他車両Ａの先端ＶＦ、及び後端ＶＢ（図３）に基づいて、差分画像Ｇにおける単一他車両領域Ｋを特定する。単一他車両領域Ｋは、差分画像Ｇにおいて１台（単一）の他車両Ａが占める（映っている）領域である。
詳述すると、複数の他車両Ａが縦列走行している場合、これら複数の他車両Ａを含む１つの領域が他車両領域Ｈとして特定される可能性がある。単一他車両領域Ｋは、かかる他車両領域Ｈを他車両Ａごとに分けた領域に相当し、位置特定部５４は、他車両領域Ｈに代えて、かかる単一他車両領域Ｋを最終的に特定する。
また位置特定部５４は、差分画像Ｇにおける単一他車両領域Ｋの位置に基づいて、実空間における他車両Ａの位置を特定し、当該位置を車両制御ユニット８に逐次に送信する。単一他車両領域Ｋの位置から実空間における他車両Ａの位置への変換には、公知又は周知の適宜の手法を用いることができる。
詳述すると、複数の他車両Ａが縦列走行している場合、これら複数の他車両Ａを含む１つの領域が他車両領域Ｈとして特定される可能性がある。単一他車両領域Ｋは、かかる他車両領域Ｈを他車両Ａごとに分けた領域に相当し、位置特定部５４は、他車両領域Ｈに代えて、かかる単一他車両領域Ｋを最終的に特定する。
また位置特定部５４は、差分画像Ｇにおける単一他車両領域Ｋの位置に基づいて、実空間における他車両Ａの位置を特定し、当該位置を車両制御ユニット８に逐次に送信する。単一他車両領域Ｋの位置から実空間における他車両Ａの位置への変換には、公知又は周知の適宜の手法を用いることができる。
【0026】
また位置特定部５４は、実空間における他車両Ａの位置の情報を表示するためのデータをＨＭＩ部９に送信し、当該情報を表示装置９Ａに表示させる。かかる表示態様としては、例えば、車両２を上方から俯瞰した映像に、単一他車両領域Ｋの輪郭線を重ねて表示する態様などがあり得る。本実施形態では、他車両Ａの車幅Ｖｗには、予め設定された既定値ではなく、車幅特定部５２がマスク画像９０に基づいて特定した実測の値が用いられるため、他車両Ａの位置（他車両Ａが占める領域）を、より正確に表示することができる。
【0027】
次いで、カメラＥＣＵ６による他車両Ａの検出動作について説明する。
本動作説明では、リアカメラのカメラ映像５に映った他車両ＡをカメラＥＣＵ６が検出する場合を例示する。また本動作説明では、図３に示すように、車両２が走行している車線７０の両側に、他の車線７０Ｒ、７０Ｌが隣接して存在し、各車線７０Ｒ、７０Ｌを他車両Ａが車両２と同一方向に走行（すなわち並走）しているものとする。また、いずれの他車両Ａも車両２より後方ＤＢに位置し、かつ、リアカメラの画角αの範囲内に位置するものとする。なお、図３において、矩形線で示した領域は、車両制御ユニット８による自動運転制御や運転支援において他車両Ａの存在を検出する検出領域７２を示すものである。
本動作説明では、リアカメラのカメラ映像５に映った他車両ＡをカメラＥＣＵ６が検出する場合を例示する。また本動作説明では、図３に示すように、車両２が走行している車線７０の両側に、他の車線７０Ｒ、７０Ｌが隣接して存在し、各車線７０Ｒ、７０Ｌを他車両Ａが車両２と同一方向に走行（すなわち並走）しているものとする。また、いずれの他車両Ａも車両２より後方ＤＢに位置し、かつ、リアカメラの画角αの範囲内に位置するものとする。なお、図３において、矩形線で示した領域は、車両制御ユニット８による自動運転制御や運転支援において他車両Ａの存在を検出する検出領域７２を示すものである。
【0028】
図４は、立体物検出処理のフローチャートである。
立体物検出処理は、少なくとも車両２が走行している間、周囲の他車両Ａの存在を検知するために、各カメラ４のカメラ映像５ごとにカメラＥＣＵ６によって継続的に繰り返し実行される。
立体物検出処理は、少なくとも車両２が走行している間、周囲の他車両Ａの存在を検知するために、各カメラ４のカメラ映像５ごとにカメラＥＣＵ６によって継続的に繰り返し実行される。
【0029】
立体物検出処理において、先ず、車両情報取得部２０が車両情報（少なくとも走行速度を含む）を取得し（ステップＳａ１）、カメラ映像取得部３０がカメラ映像５を取得する（ステップＳａ２）。
次いで、輝度変換処理部３２がカメラ映像５の各フレーム（撮影画像）を輝度画像に順次に変換し（ステップＳａ３）、俯瞰変換処理部３４が、各輝度画像に基づいて俯瞰画像Ｆを順次に生成する（ステップＳａ４）。
次いで、輝度変換処理部３２がカメラ映像５の各フレーム（撮影画像）を輝度画像に順次に変換し（ステップＳａ３）、俯瞰変換処理部３４が、各輝度画像に基づいて俯瞰画像Ｆを順次に生成する（ステップＳａ４）。
【0030】
次に、差分画像生成部３６が、俯瞰変換処理部３４によって順次に生成される俯瞰画像の中から、撮影タイミングが異なる２つの第１撮影画像、及び第２撮影画像から得られた第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２を抽出し、両者の差分画像Ｇを生成する（ステップＳａ５）。
【0031】
図５は差分画像生成動作を説明するための図であり、図５（Ａ）は第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２の一例を示し、図５（Ｂ）は差分画像Ｇの一例を示す。
なお、以下では、直近に撮影された撮影画像を第１撮影画像とし、それよりも前に撮影された撮影画像を第２撮影画像として説明する。
なお、以下では、直近に撮影された撮影画像を第１撮影画像とし、それよりも前に撮影された撮影画像を第２撮影画像として説明する。
【0032】
第１撮影画像、及び第２撮影画像は、それぞれの撮影位置Ｏが走行方向Ｂにずれるため、図５（Ａ）に示すように、第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２においても撮影位置Ｏに、車両２の移動に起因したずれＤＥが生じる。差分画像生成部３６は、撮影位置ＯのずれＤＥを補正して差分画像Ｇを生成するために、第１俯瞰画像Ｆ１及び第２俯瞰画像Ｆ２の両者の撮影位置Ｏを、いずれか一方（図５（Ａ）では第１俯瞰画像Ｆ１）を基準に揃えた状態で両者の差分画像Ｇを生成する。
【0033】
具体的には、差分画像生成部３６は、車両２の走行速度と、第１撮影画像、及び第２撮影画像の撮影タイミングの時間差ｔａとに基づいて、車両２の走行距離を算出する。そして差分画像生成部３６は、第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２のいずれか一方（図５（Ａ）では、撮影タイミングが早い方の第２俯瞰画像Ｆ２）の各画素を、走行距離に応じた画素数分だけ走行方向Ｂに沿ってずらす。これにより、第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２の他方を基準に、両者の撮影位置Ｏが揃えられた状態となる。
【0034】
路面標示の一種である白線７４等の任意の静止物体が第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２の各々に映っている場合、両者の撮影位置Ｏが揃えられることで、図５（Ａ）に示すように、静止物体が映っている位置が揃う。
その一方で、移動物体である他車両Ａが第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２の各々に映っている場合、両者の撮影位置Ｏが揃えられることで、図５（Ａ）に示すように、それぞれに映った他車両Ａの位置にずれが生じる。
これにより、両者の差分を示す差分画像Ｇにおいては、図５（Ｂ）に示すように、路面標示（白線７４等）の静止物体が映っている領域の画素値（差分量）は小さくなり、他車両Ａが映っている領域の画素値（差分量）は比較的大きくなる。したがって、差分画像Ｇの２値化に用いる輝度値の閾値が適切に設定されることで、静止物体を除いた画像を差分画像Ｇとして得ることができる。そして、この差分画像Ｇにおいて、高輝度値の領域に基づいて、他車両Ａが映っている他車両領域Ｈが特定可能となる。
その一方で、移動物体である他車両Ａが第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２の各々に映っている場合、両者の撮影位置Ｏが揃えられることで、図５（Ａ）に示すように、それぞれに映った他車両Ａの位置にずれが生じる。
これにより、両者の差分を示す差分画像Ｇにおいては、図５（Ｂ）に示すように、路面標示（白線７４等）の静止物体が映っている領域の画素値（差分量）は小さくなり、他車両Ａが映っている領域の画素値（差分量）は比較的大きくなる。したがって、差分画像Ｇの２値化に用いる輝度値の閾値が適切に設定されることで、静止物体を除いた画像を差分画像Ｇとして得ることができる。そして、この差分画像Ｇにおいて、高輝度値の領域に基づいて、他車両Ａが映っている他車両領域Ｈが特定可能となる。
【0035】
ただし、前掲図３に示すように、車両２と他車両Ａとの間に、車両２や他車両Ａなどの任意の移動物体によって影７６が生じている場合、差分画像Ｇにおいては、その影７６に対応する領域の画素値も増大する。このため、差分画像Ｇの中で画素値が大きい領域を他車両領域Ｈとして単純に位置特定部５４が抽出した場合、影７６に対応する領域が他車両領域Ｈに含まれ、他車両領域Ｈの精度が悪くなる。
【0036】
そこで、本実施形態では、位置特定部５４が差分画像Ｇに基づいて他車両領域Ｈを特定するに前に、前掲図４に示すように、先ず、マスク差分画像生成部５０が差分画像Ｇにおいて他車両候補領域６０を除く残余の領域、すなわち、影７６などのノイズに対応する領域をマスキングしたマスク差分画像Ｇｍを生成する（ステップＳａ６：マスク差分画像生成処理）。そして、近傍接地線特定部５１が、このマスク差分画像Ｇｍに基づいて、他車両領域Ｈを区画する線の１つである上記近傍接地線Ｌ１を特定する（ステップＳａ７：近傍接地線特定処理）。これにより、近傍接地線Ｌ１を精度よく特定することができる。
【0037】
図６は、上述のマスク画像生成処理のフローチャートである。
マスク画像生成処理では、先ず、マスク差分画像生成部５０がマスク画像９０を生成する（ステップＳｂ１）。マスク画像９０は、差分画像Ｇの中のマスキング領域６２をマスクする画像である。マスキング領域６２は、差分画像Ｇにおいて他車両候補領域６０を除いた残余の領域である。マスク差分画像生成部５０は、この他車両候補領域６０を、差分画像Ｇに映っている他車両Ａの鉛直方向輪郭線Ｐに基づいて特定する。
マスク画像生成処理では、先ず、マスク差分画像生成部５０がマスク画像９０を生成する（ステップＳｂ１）。マスク画像９０は、差分画像Ｇの中のマスキング領域６２をマスクする画像である。マスキング領域６２は、差分画像Ｇにおいて他車両候補領域６０を除いた残余の領域である。マスク差分画像生成部５０は、この他車両候補領域６０を、差分画像Ｇに映っている他車両Ａの鉛直方向輪郭線Ｐに基づいて特定する。
【0038】
図７は、鉛直方向輪郭線Ｐの倒れ込みを説明するための図であり、（Ａ）は撮影画像Ｍの一例を示し、（Ｂ）は俯瞰画像Ｆの一例を示す。
鉛直方向輪郭線Ｐは、図７（Ａ）に示すように、撮影画像Ｍ（カメラ映像５のフレーム）に映っている他車両Ａの輪郭線６３や、当該他車両Ａの車体パーツ（ドアなど）の輪郭線、他車両Ａに描かれた模様の輪郭線などのうち、実空間において鉛直方向（地面に対して垂直方向）に延びている線である。撮影画像Ｍの射影変換（視点変換）に伴い、当該撮影画像Ｍの鉛直方向輪郭線Ｐは、図７（Ｂ）に示すように、俯瞰画像Ｆにおいてカメラ４（本動作説明ではリアカメラ）の撮影位置Ｏから放射状に延びる放射線Ｑに変換される（いわゆる、鉛直方向輪郭線Ｐの倒れ込み）。つまり、俯瞰画像Ｆにおいて、この鉛直方向輪郭線Ｐを線分に含む放射線Ｑによって区画される領域（図７（Ｂ）のハッチングで示す領域）は他車両Ａが存在する領域を示すため、かかる領域が他車両候補領域６０となる。なお、鉛直方向輪郭線Ｐを線分に含む放射線Ｑの方向は、射影変換（視点変換）によって立体物が倒れ込む方向とも呼ばれる。
鉛直方向輪郭線Ｐは、図７（Ａ）に示すように、撮影画像Ｍ（カメラ映像５のフレーム）に映っている他車両Ａの輪郭線６３や、当該他車両Ａの車体パーツ（ドアなど）の輪郭線、他車両Ａに描かれた模様の輪郭線などのうち、実空間において鉛直方向（地面に対して垂直方向）に延びている線である。撮影画像Ｍの射影変換（視点変換）に伴い、当該撮影画像Ｍの鉛直方向輪郭線Ｐは、図７（Ｂ）に示すように、俯瞰画像Ｆにおいてカメラ４（本動作説明ではリアカメラ）の撮影位置Ｏから放射状に延びる放射線Ｑに変換される（いわゆる、鉛直方向輪郭線Ｐの倒れ込み）。つまり、俯瞰画像Ｆにおいて、この鉛直方向輪郭線Ｐを線分に含む放射線Ｑによって区画される領域（図７（Ｂ）のハッチングで示す領域）は他車両Ａが存在する領域を示すため、かかる領域が他車両候補領域６０となる。なお、鉛直方向輪郭線Ｐを線分に含む放射線Ｑの方向は、射影変換（視点変換）によって立体物が倒れ込む方向とも呼ばれる。
【0039】
２つの俯瞰画像Ｆの差分である差分画像Ｇにおいても俯瞰画像Ｆと同様に、鉛直方向輪郭線Ｐは放射線Ｑの線分となる。差分画像Ｇにおいて、鉛直方向輪郭線Ｐを含んだ放射線Ｑを構成する各画素は、画素値（差分量）が他の画素よりも大きくなる。このことを踏まえ、マスク差分画像生成部５０は、差分画像Ｇの各画素値に基づいて他車両候補領域６０を特定する。またマスク差分画像生成部５０は、ラベル画像９１、及びルックアップテーブル９２を用いて他車両候補領域６０の特定を効率良く行っている。
【0040】
図８は、ラベル画像９１を模式的に示す図である。
ラベル画像９１は、撮影位置Ｏから等間隔に放射状に延び、それぞれがラベル番号によって識別された複数の放射線Ｑの画像であり、それぞれの放射線Ｑが、差分画像Ｇにおける鉛直方向輪郭線Ｐを含んだ放射線Ｑの候補となる。本実施形態では、ラベル画像９１には、ラベル番号が「１」から「１００」までの１００本の放射線Ｑが含まれる。
かかるラベル画像９１は、差分画像Ｇに相当する画素数を有し、図８に示すように、同じ放射線Ｑを構成する各画素に、その放射線Ｑのラベル番号（「１」から「１００」のいずれか）が対応付けられている。
ラベル画像９１は、撮影位置Ｏから等間隔に放射状に延び、それぞれがラベル番号によって識別された複数の放射線Ｑの画像であり、それぞれの放射線Ｑが、差分画像Ｇにおける鉛直方向輪郭線Ｐを含んだ放射線Ｑの候補となる。本実施形態では、ラベル画像９１には、ラベル番号が「１」から「１００」までの１００本の放射線Ｑが含まれる。
かかるラベル画像９１は、差分画像Ｇに相当する画素数を有し、図８に示すように、同じ放射線Ｑを構成する各画素に、その放射線Ｑのラベル番号（「１」から「１００」のいずれか）が対応付けられている。
【0041】
図９は、ルックアップテーブル９２を模式的に示す図である。
ルックアップテーブル９２は、ラベル画像９１の各画素に、非マスキング（白色）に対応する「２５５」、及びマスキング（黒色）に対応する「０」のいずれかの画素値を指定するものである。ラベル画像９１の各画素の画素値が、ルックアップテーブル９２の指定に基づいて設定されることで、各画素が非マスキング状態（白色）、又はマスキング状態（黒色）となったマスク画像９０が得られる。
ルックアップテーブル９２は、ラベル画像９１の各画素に、非マスキング（白色）に対応する「２５５」、及びマスキング（黒色）に対応する「０」のいずれかの画素値を指定するものである。ラベル画像９１の各画素の画素値が、ルックアップテーブル９２の指定に基づいて設定されることで、各画素が非マスキング状態（白色）、又はマスキング状態（黒色）となったマスク画像９０が得られる。
【0042】
図９に示すように、ルックアップテーブル９２において、放射線Ｑのラベル番号ごとに、その放射線Ｑの画素値が指定されている。この画素値は、差分画像Ｇにおける放射線Ｑごとの画素値に基づいて決定されている。
【0043】
マスク差分画像生成部５０は、上記マスク画像生成処理において（図６：ステップＳｂ１）、先ず上記ラベル画像９１の全ての画素値を、「２５５」（非マスキング状態）、又は「０」（マスキング状態）にして初期化する（ステップＳｂ１Ａ）。
次いで、マスク差分画像生成部５０は、差分画像Ｇの中の各放射線Ｑの画素値に基づいて、上記ルックアップテーブル９２を作成する（ステップＳｂ１Ｂ）。具体的には、マスク差分画像生成部５０は、差分ヒストグラムＲａ、及びエッジ強度ヒストグラムＲｂに基づいて、ルックアップテーブル９２における放射線Ｑごとの各画素の輝度値を示すフラグ（「０」又は「２５５」）を決定する。
次いで、マスク差分画像生成部５０は、差分画像Ｇの中の各放射線Ｑの画素値に基づいて、上記ルックアップテーブル９２を作成する（ステップＳｂ１Ｂ）。具体的には、マスク差分画像生成部５０は、差分ヒストグラムＲａ、及びエッジ強度ヒストグラムＲｂに基づいて、ルックアップテーブル９２における放射線Ｑごとの各画素の輝度値を示すフラグ（「０」又は「２５５」）を決定する。
【0044】
図１０は、差分ヒストグラムＲａの生成を説明するための図であり、図１０（Ａ）は差分画像Ｇの一例を示し、図１０（Ｂ）は、図１０（Ａ）に示す差分画像Ｇから得られる差分ヒストグラムＲａの一例を示す。
差分ヒストグラムＲａは、図１０（Ｂ）に示すように、ラベル番号を横軸とし、図１０（Ａ）に示す差分画像Ｇにおいて放射線Ｑごとに画素値の有無を累積した値（以下、「放射線方向差分量累積値」と言う）を縦軸としたグラフである。放射線方向差分量累積値は、放射線Ｑが鉛直方向輪郭線Ｐを含んでいると大きくなるため、この差分ヒストグラムＲａにおいて、放射線方向差分量累積値が所定の第１閾値Ｔｈ１を越えている各放射線Ｑを特定することで、他車両候補領域６０となる放射線Ｑの範囲Ｕａを特定することができる。
また放射線Ｑごとの放射線方向差分量累積値に基づいて、鉛直方向輪郭線Ｐを含む放射線Ｑを特定することで、例えば輪郭抽出処理などの画像処理を差分画像Ｇに施して鉛直方向輪郭線Ｐを検出する手法に比べ、高速かつ高精度に放射線Ｑを特定できる。
差分ヒストグラムＲａは、図１０（Ｂ）に示すように、ラベル番号を横軸とし、図１０（Ａ）に示す差分画像Ｇにおいて放射線Ｑごとに画素値の有無を累積した値（以下、「放射線方向差分量累積値」と言う）を縦軸としたグラフである。放射線方向差分量累積値は、放射線Ｑが鉛直方向輪郭線Ｐを含んでいると大きくなるため、この差分ヒストグラムＲａにおいて、放射線方向差分量累積値が所定の第１閾値Ｔｈ１を越えている各放射線Ｑを特定することで、他車両候補領域６０となる放射線Ｑの範囲Ｕａを特定することができる。
また放射線Ｑごとの放射線方向差分量累積値に基づいて、鉛直方向輪郭線Ｐを含む放射線Ｑを特定することで、例えば輪郭抽出処理などの画像処理を差分画像Ｇに施して鉛直方向輪郭線Ｐを検出する手法に比べ、高速かつ高精度に放射線Ｑを特定できる。
【0045】
図１１はエッジ強度ヒストグラムＲｂの生成を説明するための図であり、図１１（Ａ）はエッジ画像Ｅの一例を示し、図１１（Ｂ）は図１１（Ａ）のエッジ画像Ｅから得られるエッジ強度ヒストグラムＲｂの一例を示す。
エッジ強度ヒストグラムＲｂは、図１１（Ｂ）に示すように、ラベル番号を横軸とし、図１１（Ａ）に示すエッジ画像Ｅにおいて放射線Ｑごとに画素値の有無を累積した値（以下、「放射線方向エッジ強度累積値」と言う）を縦軸としたグラフである。
エッジ画像Ｅは、第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２のうち、撮影タイミングが遅い方（すなわち直近の方）の俯瞰画像（本実施形態では第１俯瞰画像Ｆ１）において、その俯瞰画像に映った物体（当該物体の模様等を含む）の輪郭成分を抽出した画像である。かかるエッジ画像Ｅは、マスク差分画像生成部５０が、俯瞰画像において、周辺の画素との間の輝度差が大きな（所定値以上）の各画素の画素値を、その輝度差に応じた値（強度値）に変換することで生成される。したがって、エッジ強度ヒストグラムＲｂは、放射線Ｑに含まれる立体物のエッジ成分の大小を、放射線Ｑのラベルごとに示したグラフとなる。
エッジ強度ヒストグラムＲｂは、図１１（Ｂ）に示すように、ラベル番号を横軸とし、図１１（Ａ）に示すエッジ画像Ｅにおいて放射線Ｑごとに画素値の有無を累積した値（以下、「放射線方向エッジ強度累積値」と言う）を縦軸としたグラフである。
エッジ画像Ｅは、第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２のうち、撮影タイミングが遅い方（すなわち直近の方）の俯瞰画像（本実施形態では第１俯瞰画像Ｆ１）において、その俯瞰画像に映った物体（当該物体の模様等を含む）の輪郭成分を抽出した画像である。かかるエッジ画像Ｅは、マスク差分画像生成部５０が、俯瞰画像において、周辺の画素との間の輝度差が大きな（所定値以上）の各画素の画素値を、その輝度差に応じた値（強度値）に変換することで生成される。したがって、エッジ強度ヒストグラムＲｂは、放射線Ｑに含まれる立体物のエッジ成分の大小を、放射線Ｑのラベルごとに示したグラフとなる。
【0046】
マスク差分画像生成部５０は、図６のステップＳｂ１Ｂにおいて、ルックアップテーブル９２を作成する際、差分ヒストグラムＲａの中で放射線方向差分量累積値が所定の第１閾値Ｔｈ１を越え、かつ、エッジ強度ヒストグラムＲｂの中で放射線方向エッジ強度累積値が所定の第２閾値Ｔｈ２を越えている放射線Ｑを特定する。そして、マスク差分画像生成部５０は、ルックアップテーブル９２において、これらの放射線Ｑに「非マスキング状態」の画素値を設定し、それ以外の放射線Ｑに「マスキング状態」の画素値を設定する。
次いでマスク差分画像生成部５０は、ルックアップテーブル９２に基づいて、ラベル画像９１の各画素値を設定することで、マスク画像９０を生成する（ステップＳｂ１Ｃ）。
次いでマスク差分画像生成部５０は、ルックアップテーブル９２に基づいて、ラベル画像９１の各画素値を設定することで、マスク画像９０を生成する（ステップＳｂ１Ｃ）。
【0047】
図１２は、マスク画像９０の生成を説明するための図であり、図１２（Ａ）はラベル画像９１の一例を示し、図１２（Ｂ）はマスク画像９０の一例を示す。
図１２（Ａ）に示すラベル画像９１に、ルックアップテーブル９２が適用されることで、図１２（Ｂ）に示すように、他車両候補領域６０に相当する領域が非マスキング状態の非マスキング領域６４となり、当該非マスキング領域６４以外の領域がマスキング領域６２となったマスク画像９０が得られる。
図１２（Ａ）に示すラベル画像９１に、ルックアップテーブル９２が適用されることで、図１２（Ｂ）に示すように、他車両候補領域６０に相当する領域が非マスキング状態の非マスキング領域６４となり、当該非マスキング領域６４以外の領域がマスキング領域６２となったマスク画像９０が得られる。
【0048】
そして、マスク差分画像生成部５０は、続くステップＳｂ２において、差分画像Ｇに、マスク画像９０を重畳することで、図１３に示すように、他車両候補領域６０以外の領域がマスキングされたマスク差分画像Ｇｍを生成する。
【0049】
そして、マスク差分画像Ｇｍが生成されると、上述の通り、近傍接地線特定部５１が、このマスク差分画像Ｇｍに基づいて近傍接地線Ｌ１を特定する（図４：ステップＳａ７：近傍接地線特定処理）。
【0050】
図１４は、近傍接地線特定処理のフローチャートである。
近傍接地線特定部５１は、近傍接地線Ｌ１を求めるために、先ず、マスク差分ヒストグラムＲｃを生成する（ステップＳｃ１）。
近傍接地線特定部５１は、近傍接地線Ｌ１を求めるために、先ず、マスク差分ヒストグラムＲｃを生成する（ステップＳｃ１）。
【0051】
図１５はマスク差分ヒストグラムＲｃの生成を説明するための図であり、図１５（Ａ）はマスク差分画像Ｇｍの一例を示し、図１５（Ｂ）は図１５（Ａ）のマスク差分画像Ｇｍから得られるマスク差分ヒストグラムＲｃの一例を示す。
マスク差分ヒストグラムＲｃは、図１５（Ｂ）に示すように、車両２の走行方向Ｂに対して垂直な横方向Ｃｈの位置（以下、「横方向位置」と言う）を横軸とし、図１５（Ａ）に示すマスク差分画像Ｇｍの横方向を所定間隔で短冊状の小領域に区切り、その領域ごとに走行方向Ｂに沿って画素値の有無を累積した値（以下、「走行方向差分量累積値」と言う）を縦軸としたグラフである。マスク差分画像Ｇｍでは、他車両候補領域６０以外がマスキングされているため、横方向Ｃｈにおける走行方向差分量累積値の分布によって、他車両Ａの近傍接地線Ｌ１を特定することができる。
マスク差分ヒストグラムＲｃは、図１５（Ｂ）に示すように、車両２の走行方向Ｂに対して垂直な横方向Ｃｈの位置（以下、「横方向位置」と言う）を横軸とし、図１５（Ａ）に示すマスク差分画像Ｇｍの横方向を所定間隔で短冊状の小領域に区切り、その領域ごとに走行方向Ｂに沿って画素値の有無を累積した値（以下、「走行方向差分量累積値」と言う）を縦軸としたグラフである。マスク差分画像Ｇｍでは、他車両候補領域６０以外がマスキングされているため、横方向Ｃｈにおける走行方向差分量累積値の分布によって、他車両Ａの近傍接地線Ｌ１を特定することができる。
【0052】
具体的には、前掲図１４に示すように、近傍接地線特定部５１は、その横方向位置に他車両Ａが存在すると見做す走行方向差分量累積値の第３閾値Ｔｈ３を設定する（ステップＳｃ２）。この第３閾値Ｔｈ３には、走行方向差分量累積値の平均値Ａｖｅと、走行方向差分量累積値の最小値Ｍｉｎとの中間値（＝（Ａｖｅ＋Ｍｉｎ）／２）が設定される。
【0053】
次いで、近傍接地線特定部５１は、マスク差分ヒストグラムＲｃにおいて、走行方向差分量累積値が、所定数以上に亘って連続して第３閾値Ｔｈ３を越えている横方向位置の範囲Ｕｃに基づいて近傍接地線Ｌ１を特定する。
具体的には、近傍接地線特定部５１は、図１６に示すように、マスク差分ヒストグラムＲｃの横軸上のｉ（ｉは１以上の整数）箇所に判定点Ｘを等間隔に設定する。各判定点Ｘは、マスク差分ヒストグラムＲｃの横軸における区間（グラフの柱）に対応させてもよい。
そして、近傍接地線特定部５１は、前掲図１４に示すように、撮影位置Ｏに近い判定点Ｘから順に、所定の近傍接地線判定条件を満足するか否かを判定し（ステップＳｃ３）、満足してない場合には（ステップＳｃ３：Ｎｏ）、次の判定点Ｘを判定する（ステップＳｃ４）。また、近傍接地線判定条件が満足されている場合は（ステップＳｃ３：Ｙｅｓ）、近傍接地線特定部５１は、判定点Ｘを近傍接地線Ｌ１の位置であると特定する（ステップＳｃ５）。
具体的には、近傍接地線特定部５１は、図１６に示すように、マスク差分ヒストグラムＲｃの横軸上のｉ（ｉは１以上の整数）箇所に判定点Ｘを等間隔に設定する。各判定点Ｘは、マスク差分ヒストグラムＲｃの横軸における区間（グラフの柱）に対応させてもよい。
そして、近傍接地線特定部５１は、前掲図１４に示すように、撮影位置Ｏに近い判定点Ｘから順に、所定の近傍接地線判定条件を満足するか否かを判定し（ステップＳｃ３）、満足してない場合には（ステップＳｃ３：Ｎｏ）、次の判定点Ｘを判定する（ステップＳｃ４）。また、近傍接地線判定条件が満足されている場合は（ステップＳｃ３：Ｙｅｓ）、近傍接地線特定部５１は、判定点Ｘを近傍接地線Ｌ１の位置であると特定する（ステップＳｃ５）。
【0054】
上記近傍接地線判定条件は、判定点Ｘの走行方向差分量累積値が第３閾値Ｔｈ３以下であり、なおかつ、次の判定点Ｘから所定個数分の判定点Ｘの全てにおいて走行方向差分量累積値が第３閾値Ｔｈ３以上である、という条件である。
撮影位置Ｏに近い判定点Ｘから順に近傍接地線判定条件が判定されることで、図１６に示すように、所定個数分の判定点Ｘの全ての走行方向差分量累積値が第３閾値Ｔｈ３を越える範囲Ｕｃに対し、撮影位置Ｏからみて直前の判定点Ｘが求められ、この判定点Ｘが近傍接地線Ｌ１として特定されることとなる。これにより、近傍接地線Ｌ１が他車両Ａに入り込んだ位置（第３閾値Ｔｈ３を越えている範囲）に設定されることがなく、より正確な位置に近傍接地線Ｌ１が設定される。
撮影位置Ｏに近い判定点Ｘから順に近傍接地線判定条件が判定されることで、図１６に示すように、所定個数分の判定点Ｘの全ての走行方向差分量累積値が第３閾値Ｔｈ３を越える範囲Ｕｃに対し、撮影位置Ｏからみて直前の判定点Ｘが求められ、この判定点Ｘが近傍接地線Ｌ１として特定されることとなる。これにより、近傍接地線Ｌ１が他車両Ａに入り込んだ位置（第３閾値Ｔｈ３を越えている範囲）に設定されることがなく、より正確な位置に近傍接地線Ｌ１が設定される。
【0055】
このように、差分画像Ｇにおける近傍接地線Ｌ１の位置は、当該差分画像Ｇではなく、影７６などのノイズがマスキングされたマスク差分画像Ｇｍに基づいて特定されるので、特定された位置は非常に正確なものとなる。
【0056】
近傍接地線Ｌ１が特定されると、前掲図４に示すように、車幅特定部５２が車幅特定処理を実行する（ステップＳａ８）。この車幅特定処理では、車幅特定部５２が上記マスク画像９０に基づいて、他車両Ａの車幅Ｖｗを特定する。
【0057】
図１７は車幅特定処理のフローチャートであり、図１８は当該車幅特定処理においてマスク画像９０上に設定される各種パラメータの説明図である。
車幅特定処理において、車幅特定部５２は、先ず、他車両Ａの位置が車幅特定条件範囲内か否かを判定する（ステップＳｅ１）。車幅特定条件は、差分画像Ｇに映っている他車両Ａの車幅Ｖｗがマスク画像９０から特定可能か否かを示す条件である。なお、この車幅特定条件については後述する。
車幅特定処理において、車幅特定部５２は、先ず、他車両Ａの位置が車幅特定条件範囲内か否かを判定する（ステップＳｅ１）。車幅特定条件は、差分画像Ｇに映っている他車両Ａの車幅Ｖｗがマスク画像９０から特定可能か否かを示す条件である。なお、この車幅特定条件については後述する。
【0058】
車幅特定部５２は、他車両Ａの位置が車幅特定条件範囲内でない場合（ステップＳｅ１：Ｎｏ）、そのまま処理を終了し、他車両Ａの位置が車幅特定条件範囲内である場合（ステップＳｅ１：Ｙｅｓ）、他車両Ａの車幅Ｖｗを特定すべく、次の処理を実行する。
【0059】
すなわち、車幅特定部５２は、マスク画像９０において、非マスキング領域境界Ｎのうちの最遠方非マスキング領域境界Ｎｆを特定する（ステップＳｅ２）。
非マスキング領域境界Ｎは、非マスキング領域６４とマスキング領域６２との境界であり、当該非マスキング領域６４の縁に相当する。非マスキング領域６４は、差分画像Ｇにおけるマスキング領域６２以外の領域、すなわち他車両Ａが映っている候補となる他車両候補領域６０に該当する。最遠方非マスキング領域境界Ｎｆは、マスク画像９０において、撮影位置Ｏからみて横方向Ｃｈの最遠方に位置する非マスキング領域境界Ｎである。
非マスキング領域境界Ｎは、非マスキング領域６４とマスキング領域６２との境界であり、当該非マスキング領域６４の縁に相当する。非マスキング領域６４は、差分画像Ｇにおけるマスキング領域６２以外の領域、すなわち他車両Ａが映っている候補となる他車両候補領域６０に該当する。最遠方非マスキング領域境界Ｎｆは、マスク画像９０において、撮影位置Ｏからみて横方向Ｃｈの最遠方に位置する非マスキング領域境界Ｎである。
【0060】
車体側面のパーツや模様の輪郭線、或いは車両２の影などがカメラ映像５に映り込んだ場合、マスク画像９０には、図１８に示すように、この映り込み部分をマスキングする１又は複数（図示例では１つ）のマスキング領域６２Ａが生じる。このマスキング領域６２Ａは、１台分の非マスキング領域６４（差分画像Ｇの他車両候補領域６０に相当）の中に生じるため、本来ならば１つの非マスキング領域６４が複数（図示例では２つ）に分断される。したがって、最遠方非マスキング領域境界Ｎｆを特定することは、マスキング領域６２Ａで分断された非マスキング領域６４の非マスキング領域境界Ｎを特定することを意味する。
【0061】
ステップＳe２において、車幅特定部５２は、次のようにして最遠方非マスキング領域境界Ｎｆを特定する。
すなわち、車幅特定部５２は、図１８に示すように、撮影位置Ｏから横方向Ｃｈに直線状に延びる第１横線Ｌｃ１上に複数の検出点Ｄｔを設定する。次いで、車幅特定部５２は、各検出点Ｄｔから縦方向に沿って撮影位置Ｏから遠ざかる遠方方向Ｃｖｆ（本実施形態では車両２の後方ＤＢに一致）に走査し、最遠方非マスキング領域境界点Ｎｆｄを特定する。最遠方非マスキング領域境界点Ｎｆｄは、最遠方非マスキング領域境界Ｎｆを構成する点であり、車幅特定部５２による走査の過程において、マスキング領域６２から非マスキング領域６４に変わる点によって特定される。
次いで、車幅特定部５２は、各検出点Ｄｔでの最遠方非マスキング領域境界点Ｎｆｄから適宜の一次近似手法を用いて近似直線Ｌａｐｐを求める。この近似直線Ｌａｐｐが最遠方非マスキング領域境界Ｎｆとなる。
すなわち、車幅特定部５２は、図１８に示すように、撮影位置Ｏから横方向Ｃｈに直線状に延びる第１横線Ｌｃ１上に複数の検出点Ｄｔを設定する。次いで、車幅特定部５２は、各検出点Ｄｔから縦方向に沿って撮影位置Ｏから遠ざかる遠方方向Ｃｖｆ（本実施形態では車両２の後方ＤＢに一致）に走査し、最遠方非マスキング領域境界点Ｎｆｄを特定する。最遠方非マスキング領域境界点Ｎｆｄは、最遠方非マスキング領域境界Ｎｆを構成する点であり、車幅特定部５２による走査の過程において、マスキング領域６２から非マスキング領域６４に変わる点によって特定される。
次いで、車幅特定部５２は、各検出点Ｄｔでの最遠方非マスキング領域境界点Ｎｆｄから適宜の一次近似手法を用いて近似直線Ｌａｐｐを求める。この近似直線Ｌａｐｐが最遠方非マスキング領域境界Ｎｆとなる。
【0062】
車幅特定部５２は、近似直線Ｌａｐｐによって非マスキング領域境界Ｎｆを特定した後、図１７に示すように、マスク画像９０における他車両Ａの端点Ｖの位置を特定する（ステップＳｅ３）。他車両Ａの端点Ｖは、カメラ映像５に映っている他車両Ａの先端ＶＦ、又は後端ＶＢである。本動作例では、他車両Ａがリアカメラのカメラ映像５に映っているため、カメラ映像５と、当該カメラ映像５から得られる差分画像Ｇとには、他車両Ａの先端ＶＦが映り込む。したがって、ステップＳｅ３では、図１８に示すように、他車両Ａの端点Ｖとして先端ＶＦの位置が特定される。
【0063】
本実施形態では、車幅特定部５２は、マスク画像９０における他車両Ａの端点Ｖの位置を、マスク差分画像Ｇｍに基づいて特定する。
具体的には、車幅特定部５２は、図１９（Ａ）に示すように、マスク差分画像Ｇｍに近傍接地線Ｌ１を重畳し、当該マスク差分画像Ｇｍにおいて、近傍接地線Ｌ１よりも車両２の撮影位置Ｏに近い側の領域を更にマスキングすることで、図１９（Ｂ）に示す端点特定用マスク差分画像Ｇｍｔを生成する。
次いで、車幅特定部５２は、図１９（Ｃ）に示すように、端点特定用マスク差分画像Ｇｍｔから端点特定用差分ヒストグラムＲｇｍｔを生成する。端点特定用差分ヒストグラムＲｇｍｔは、端点特定用マスク差分画像Ｇｍｔの縦方向（本実施形態では車両２の後方ＤＢの方向）を所定間隔で短冊状の小領域に区切り、その領域ごとに、端点特定用マスク差分画像Ｇｍｔの横方向Ｃｈに画素値の有無を累積したグラフである。以下、この画素値の累積値を横方向差分量累積値という。
具体的には、車幅特定部５２は、図１９（Ａ）に示すように、マスク差分画像Ｇｍに近傍接地線Ｌ１を重畳し、当該マスク差分画像Ｇｍにおいて、近傍接地線Ｌ１よりも車両２の撮影位置Ｏに近い側の領域を更にマスキングすることで、図１９（Ｂ）に示す端点特定用マスク差分画像Ｇｍｔを生成する。
次いで、車幅特定部５２は、図１９（Ｃ）に示すように、端点特定用マスク差分画像Ｇｍｔから端点特定用差分ヒストグラムＲｇｍｔを生成する。端点特定用差分ヒストグラムＲｇｍｔは、端点特定用マスク差分画像Ｇｍｔの縦方向（本実施形態では車両２の後方ＤＢの方向）を所定間隔で短冊状の小領域に区切り、その領域ごとに、端点特定用マスク差分画像Ｇｍｔの横方向Ｃｈに画素値の有無を累積したグラフである。以下、この画素値の累積値を横方向差分量累積値という。
【0064】
端点特定用マスク差分画像Ｇｍｔでは、他車両候補領域６０以外の領域に加え、近傍接地線Ｌ１よりも車両２の撮影位置Ｏに近い側の領域がマスキングされているため、横方向差分量累積値の分布により、他車両Ａの端部のうち、車両２の撮影位置Ｏに近い側の端部（本実施形態では、他車両Ａの先端ＶＦ）の位置を特定できる。
【0065】
具体的には、車幅特定部５２は、近傍接地線特定部５１がマスク差分ヒストグラムＲｃに基づいて近傍接地線Ｌ１を特定した手法と同様にして、端点特定用差分ヒストグラムＲｇｍｔに基づいて他車両Ａの近傍側の端部を特定する。
すなわち、車幅特定部５２は、撮影位置Ｏに近い判定点Ｘから順に、端点特定用差分ヒストグラムＲｇｍｔの各区間を走査する。そして、図１９（Ｂ）に示すように、端点特定用差分ヒストグラムＲｇｍｔにおいて各区間の横方向差分量累積値が所定回数に亘って連続して端点判定用閾値Ｔｈｇｍｔを越えている場合に、車幅特定部５２は、図１９（Ｃ）に示すように、当該連続した区間の先頭の区間（すなわち、連続した区間のうち、撮影位置Ｏに最も近い区間）Ｋｇｍｔを特定する。そして、車幅特定部５２は、マスク差分画像Ｇｍにおいて、上記区間Ｐｇｍｔに対応する位置を通って横方向Ｃｈに延びる端部線Ｌｇｍｔを当該マスク差分画像Ｇｍに重畳する。この端部線Ｌｇｍｔがマスク差分画像Ｇｍにおける他車両Ａの端部（先端ＶＦ）の位置を示している。したがって、車幅特定部５２は、この端部線Ｌｇｍｔと近傍接地線Ｌ１との交点を求めることで、マスク差分画像Ｇｍにおける端点Ｖを特定する。
そして、車幅特定部５２は、マスク画像９０において、マスク差分画像Ｇｍにおける他車両Ａの端点Ｖの位置に対応する位置を、マスク画像９０における端点Ｖの位置として特定する。
すなわち、車幅特定部５２は、撮影位置Ｏに近い判定点Ｘから順に、端点特定用差分ヒストグラムＲｇｍｔの各区間を走査する。そして、図１９（Ｂ）に示すように、端点特定用差分ヒストグラムＲｇｍｔにおいて各区間の横方向差分量累積値が所定回数に亘って連続して端点判定用閾値Ｔｈｇｍｔを越えている場合に、車幅特定部５２は、図１９（Ｃ）に示すように、当該連続した区間の先頭の区間（すなわち、連続した区間のうち、撮影位置Ｏに最も近い区間）Ｋｇｍｔを特定する。そして、車幅特定部５２は、マスク差分画像Ｇｍにおいて、上記区間Ｐｇｍｔに対応する位置を通って横方向Ｃｈに延びる端部線Ｌｇｍｔを当該マスク差分画像Ｇｍに重畳する。この端部線Ｌｇｍｔがマスク差分画像Ｇｍにおける他車両Ａの端部（先端ＶＦ）の位置を示している。したがって、車幅特定部５２は、この端部線Ｌｇｍｔと近傍接地線Ｌ１との交点を求めることで、マスク差分画像Ｇｍにおける端点Ｖを特定する。
そして、車幅特定部５２は、マスク画像９０において、マスク差分画像Ｇｍにおける他車両Ａの端点Ｖの位置に対応する位置を、マスク画像９０における端点Ｖの位置として特定する。
【0066】
次いで、車幅特定部５２は、図１８に示すように、マスク画像９０上に、端点Ｖを通って横方向Ｃｈに直線状に延びる第２横線Ｌｃ２を設定する（図１７：ステップＳｅ４）。そして車幅特定部５２は、マスク画像９０において、第２横線Ｌｃ２と近似直線Ｌａｐｐ（最遠方非マスキング領域境界Ｎｆ）との交点Ｖｍを特定する（図１７：ステップＳｅ５）。
【0067】
ここで、第２横線Ｌｃ２は、差分画像Ｇに映っている他車両Ａの車幅方向に延びる線を示し、さらに当該第２横線Ｌｃ２と近似直線Ｌａｐｐとの交点Ｖｍは、他車両Ａの先端ＶＦ、又は後端ＶＢを示している。
したがって、ステップＳｅ３によって特定された端点Ｖと、ステップＳｅ５によって特定された交点Ｖｍとは、他車両Ａの先端側における車幅方向の両端に相当する。そこで、車幅特定部５２は、マスク画像９０における端点Ｖと交点Ｖｍとの距離を、実空間における距離に変換することで、当該実空間における車幅Ｖｗを特定する（ステップＳｅ６）。
したがって、ステップＳｅ３によって特定された端点Ｖと、ステップＳｅ５によって特定された交点Ｖｍとは、他車両Ａの先端側における車幅方向の両端に相当する。そこで、車幅特定部５２は、マスク画像９０における端点Ｖと交点Ｖｍとの距離を、実空間における距離に変換することで、当該実空間における車幅Ｖｗを特定する（ステップＳｅ６）。
【0068】
このように、車幅特定部５２は、マスク画像９０において最遠方非マスキング領域境界Ｎｆを特定し、当該最遠方非マスキング領域境界Ｎｆを用いて車幅Ｖｗを特定する。
これにより、車体側面のパーツや模様の輪郭線、或いは車両２の影などに起因したマスキング領域６２Ａがマスク画像９０に生じ、本来ならば１つの非マスキング領域６４が複数に分断された場合でも、本来の非マスキング領域６４の非マスキング領域境界Ｎが最遠方非マスキング領域境界Ｎｆによって特定され、車幅Ｖｗが正確に求められる。
これにより、車体側面のパーツや模様の輪郭線、或いは車両２の影などに起因したマスキング領域６２Ａがマスク画像９０に生じ、本来ならば１つの非マスキング領域６４が複数に分断された場合でも、本来の非マスキング領域６４の非マスキング領域境界Ｎが最遠方非マスキング領域境界Ｎｆによって特定され、車幅Ｖｗが正確に求められる。
【0069】
図２０は、カメラ映像５、俯瞰画像Ｆ、及びマスク画像９０の例を、車幅Ｖｗが異なる複数の他車両Ａについて示す図である。なお、同図には、他車両Ａの例として、普通車（普通四輪自動車）、大型バス（大型乗用自動車）、及びバイク（二輪自動車）が示されている。
同図に示すように、車幅特定処理により、それぞれの他車両Ａごとに、適切に車幅Ｖｗが特定される。
同図に示すように、車幅特定処理により、それぞれの他車両Ａごとに、適切に車幅Ｖｗが特定される。
【0070】
ところで、この車幅特定処理では、マスク画像９０における他車両Ａの先端側、又は後端側の端点Ｖに基づいて車幅Ｖｗが特定されるため、これら先端側、又は後端側が俯瞰画像Ｆ、及びカメラ映像５に映り込んでいない場合、車幅Ｖｗを特定することはできない。この場合、車幅特定処理の実行は無駄となる。
そこで、本実施形態では、他車両Ａの先端側、又は後端側がカメラ映像５に映り込む条件が上記車幅特定条件に予め設定されており、車幅特定処理の開始時のステップＳａ１において車幅特定条件の充足を判定することで、無駄な処理の実行を防止している。
そこで、本実施形態では、他車両Ａの先端側、又は後端側がカメラ映像５に映り込む条件が上記車幅特定条件に予め設定されており、車幅特定処理の開始時のステップＳａ１において車幅特定条件の充足を判定することで、無駄な処理の実行を防止している。
【0071】
他車両Ａの先端側、又は後端側がカメラ映像５に映り込む条件は、車両２を中心とした３６０度の全周囲のうち、他車両Ａが位置する範囲によって規定可能である。例えば、図２１に示すように、当該他車両Ａの先端側、又は後端側がカメラ映像５（図２１の例では俯瞰映像Ｆ）に映らない範囲として、他車両Ａが車両２の略側方の所定範囲βが設定され、この所定範囲βを除く残余の範囲が上記車幅特定条件に設定される。
そして、ステップＳｅ１において、車幅特定部５２は、所定範囲βを除く残余の範囲に他車両Ａが位置するか否かを判定し、当該範囲内に他車両Ａが位置する場合に限り、ステップＳｅ２以降の処理を実行する。これにより、車幅特定処理が無駄に行われることが防止される。なお、車幅特定部５２は、車両２に対する他車両Ａの位置を、例えば各カメラ４のカメラ映像５、或いは、俯瞰画像Ｆに基づいて特定してもよいし、ソナーなどの別途の物体検知センサの検出結果を用いて特定してもよい。
そして、ステップＳｅ１において、車幅特定部５２は、所定範囲βを除く残余の範囲に他車両Ａが位置するか否かを判定し、当該範囲内に他車両Ａが位置する場合に限り、ステップＳｅ２以降の処理を実行する。これにより、車幅特定処理が無駄に行われることが防止される。なお、車幅特定部５２は、車両２に対する他車両Ａの位置を、例えば各カメラ４のカメラ映像５、或いは、俯瞰画像Ｆに基づいて特定してもよいし、ソナーなどの別途の物体検知センサの検出結果を用いて特定してもよい。
【0072】
車幅Ｖｗが特定されると、前掲図４に示すように、遠方接地線特定部５３が差分画像Ｇにおける遠方接地線Ｌ２を特定する（ステップＳａ９）。具体的には、遠方接地線特定部５３は、差分画像Ｇにおいて、近傍接地線Ｌ１から車幅Ｖｗだけ離間し、当該近傍接地線Ｌ１に平行な線を遠方接地線Ｌ２として特定する。
この遠方接地線Ｌ２の位置は、マスク画像９０から得られた車幅Ｖｗを使って求められるので、車幅Ｖｗを予め適宜に定めた固定値とする場合に比べ、正確に求められる。
この遠方接地線Ｌ２の位置は、マスク画像９０から得られた車幅Ｖｗを使って求められるので、車幅Ｖｗを予め適宜に定めた固定値とする場合に比べ、正確に求められる。
【0073】
次いで、位置特定部５４が、差分画像Ｇにおいて他車両領域Ｈを特定する（ステップＳａ１０：立体物領域特定処理）。
他車両領域Ｈは、近傍接地線特定処理（ステップＳａ７）、及び遠方接地線特定処理（ステップＳａ９）のそれぞれで特定された近傍接地線Ｌ１、及び遠方接地線Ｌ２と、他車両Ａの先端ＶＦ、及び後端ＶＢと、によって特定される。
他車両領域Ｈは、近傍接地線特定処理（ステップＳａ７）、及び遠方接地線特定処理（ステップＳａ９）のそれぞれで特定された近傍接地線Ｌ１、及び遠方接地線Ｌ２と、他車両Ａの先端ＶＦ、及び後端ＶＢと、によって特定される。
【0074】
他車両Ａの先端ＶＦ、及び後端ＶＢは、上述の通り、近傍接地線Ｌ１、及び遠方接地線Ｌ２と鉛直方向輪郭線Ｐとの交点から求めることができる。
すなわち、図２２に示すように、俯瞰画像Ｆにおいて、他車両Ａの後端近傍側鉛直方向輪郭線Ｐ１、及び先端近傍側鉛直方向輪郭線Ｐ２と、近傍接地線Ｌ１との各々の交点によって、近傍接地線Ｌ１における後端近傍側位置Ｌ１ＶＢと、先端近傍側位置Ｌ１ＶＦとを求めることができる。また同様に、他車両Ａの後端近傍側鉛直方向輪郭線Ｐ１、及び先端近傍側鉛直方向輪郭線Ｐ２と、遠方接地線Ｌ２との各々の交点によって、遠方接地線Ｌ２における後端遠方側位置Ｌ２ＶＢと、先端遠方側位置Ｌ２ＶＦとを求めることができる。
なお、後端近傍側位置Ｌ１ＶＢ、及び後端遠方側位置Ｌ２ＶＢは、他車両Ａの後端側における車幅方向の両端を示し、先端近傍側位置Ｌ１ＶＦ、及び先端遠方側位置Ｌ２ＶＦは、他車両Ａの先端側における車幅方向の両端を示す。
すなわち、図２２に示すように、俯瞰画像Ｆにおいて、他車両Ａの後端近傍側鉛直方向輪郭線Ｐ１、及び先端近傍側鉛直方向輪郭線Ｐ２と、近傍接地線Ｌ１との各々の交点によって、近傍接地線Ｌ１における後端近傍側位置Ｌ１ＶＢと、先端近傍側位置Ｌ１ＶＦとを求めることができる。また同様に、他車両Ａの後端近傍側鉛直方向輪郭線Ｐ１、及び先端近傍側鉛直方向輪郭線Ｐ２と、遠方接地線Ｌ２との各々の交点によって、遠方接地線Ｌ２における後端遠方側位置Ｌ２ＶＢと、先端遠方側位置Ｌ２ＶＦとを求めることができる。
なお、後端近傍側位置Ｌ１ＶＢ、及び後端遠方側位置Ｌ２ＶＢは、他車両Ａの後端側における車幅方向の両端を示し、先端近傍側位置Ｌ１ＶＦ、及び先端遠方側位置Ｌ２ＶＦは、他車両Ａの先端側における車幅方向の両端を示す。
【0075】
しかしながら、俯瞰画像Ｆにおいては、上述したように、他車両Ａが放射線Ｑの方向に倒れ込んで映るため、他車両Ａのルーフ部分Ａｒ等の影響により実際よりも走行方向Ｂに長く延びた他車両領域Ｈが検出されることとなり、他車両Ａの位置に誤差が生じることとなる。
【0076】
本実施形態の立体物領域特定処理では、かかる誤差を排除するために、位置特定部５４が次のようにして他車両領域Ｈを特定している。
すなわち、図２３に示すように、位置特定部５４は、近傍接地線Ｌ１、及び遠方接地線Ｌ２のそれぞれごとに、他車両Ａの鉛直方向輪郭線Ｐを含む放射線Ｑとの交点ＬＶを求める。次いで、位置特定部５４は、近傍接地線Ｌ１における交点ＬＶから暫定第１他車両領域Ｈ１を特定し、また遠方接地線Ｌ２における交点ＬＶから暫定第２他車両領域Ｈ２を特定する。そして、位置特定部５４は、これら暫定第１他車両領域Ｈ１と暫定第２他車両領域Ｈ２とが重複するエリアに基づいて他車両Ａの先端ＶＦ、及び後端ＶＢを特定する。そして、これら近傍接地線Ｌ１、遠方接地線Ｌ２、先端ＶＦ、及び後端ＶＢによって正確な他車両領域Ｈが特定される。
ここで、遠方接地線Ｌ２の精度が悪い場合、暫定第１他車両領域Ｈ１、及び暫定第２他車両領域Ｈ２が重複せず、他車両領域Ｈが特定されないことがある。これに対し、本実施形態では、遠方接地線Ｌ２は、マスク差分画像Ｇｍに基づいて特定された近傍接地線Ｌ１、及びマスク画像９０に基づいて特定された車幅Ｖｗを用いて正確に特定されているため、他車両領域Ｈを確実に特定することができる。
すなわち、図２３に示すように、位置特定部５４は、近傍接地線Ｌ１、及び遠方接地線Ｌ２のそれぞれごとに、他車両Ａの鉛直方向輪郭線Ｐを含む放射線Ｑとの交点ＬＶを求める。次いで、位置特定部５４は、近傍接地線Ｌ１における交点ＬＶから暫定第１他車両領域Ｈ１を特定し、また遠方接地線Ｌ２における交点ＬＶから暫定第２他車両領域Ｈ２を特定する。そして、位置特定部５４は、これら暫定第１他車両領域Ｈ１と暫定第２他車両領域Ｈ２とが重複するエリアに基づいて他車両Ａの先端ＶＦ、及び後端ＶＢを特定する。そして、これら近傍接地線Ｌ１、遠方接地線Ｌ２、先端ＶＦ、及び後端ＶＢによって正確な他車両領域Ｈが特定される。
ここで、遠方接地線Ｌ２の精度が悪い場合、暫定第１他車両領域Ｈ１、及び暫定第２他車両領域Ｈ２が重複せず、他車両領域Ｈが特定されないことがある。これに対し、本実施形態では、遠方接地線Ｌ２は、マスク差分画像Ｇｍに基づいて特定された近傍接地線Ｌ１、及びマスク画像９０に基づいて特定された車幅Ｖｗを用いて正確に特定されているため、他車両領域Ｈを確実に特定することができる。
【0077】
以下、かかる立体物領域特定処理について、より詳細に説明する。
【0078】
図２４は、立体物領域特定処理のフローチャートである。
位置特定部５４は、暫定第１他車両領域Ｈ１、及び暫定第２他車両領域Ｈ２を特定するために、先ず、差分近傍ヒストグラムＲａｎ、及びエッジ強度近傍ヒストグラムＲｂｎと、差分遠方ヒストグラムＲａｆ、及びエッジ強度遠方ヒストグラムＲｂｆと、をそれぞれ生成する（ステップＳｄ１）。
位置特定部５４は、暫定第１他車両領域Ｈ１、及び暫定第２他車両領域Ｈ２を特定するために、先ず、差分近傍ヒストグラムＲａｎ、及びエッジ強度近傍ヒストグラムＲｂｎと、差分遠方ヒストグラムＲａｆ、及びエッジ強度遠方ヒストグラムＲｂｆと、をそれぞれ生成する（ステップＳｄ１）。
【0079】
図２５は差分近傍ヒストグラムＲａｎの生成を説明するための図であり、図２５（Ａ）は差分画像Ｇの一例を示し、図２５（Ｂ）は図２５（Ａ）の差分画像Ｇから得られる差分近傍ヒストグラムＲａｎの一例を示す。また図２６はエッジ強度近傍ヒストグラムＲｂｎの生成を説明するための図であり、図２６（Ａ）はエッジ画像Ｅの一例を示し、図２６（Ｂ）は図２６（Ａ）のエッジ画像Ｅから得られるエッジ強度近傍ヒストグラムＲｂｎの一例を示す。
差分近傍ヒストグラムＲａｎは、図２５（Ｂ）に示すように、図２５（Ａ）に示す差分画像Ｇにおける近傍領域Ｊｎについて上述した差分ヒストグラムＲａを求めたものである。またエッジ強度近傍ヒストグラムＲｂｎは、図２６（Ｂ）に示すように、図２６（Ａ）に示すエッジ画像Ｅにおける近傍領域Ｊｎについて、上述したエッジ強度ヒストグラムＲｂを求めたものである。
近傍領域Ｊｎは、差分画像Ｇにおいて、近傍接地線Ｌ１と遠方接地線Ｌ２とで挟まれた領域である。
差分近傍ヒストグラムＲａｎは、図２５（Ｂ）に示すように、図２５（Ａ）に示す差分画像Ｇにおける近傍領域Ｊｎについて上述した差分ヒストグラムＲａを求めたものである。またエッジ強度近傍ヒストグラムＲｂｎは、図２６（Ｂ）に示すように、図２６（Ａ）に示すエッジ画像Ｅにおける近傍領域Ｊｎについて、上述したエッジ強度ヒストグラムＲｂを求めたものである。
近傍領域Ｊｎは、差分画像Ｇにおいて、近傍接地線Ｌ１と遠方接地線Ｌ２とで挟まれた領域である。
【0080】
図２７は差分遠方ヒストグラムＲａｆの生成を説明するための図であり、図２７（Ａ）は差分画像Ｇの一例を示し、図２７（Ｂ）は図２７（Ａ）の差分画像Ｇから得られる差分遠方ヒストグラムＲａｆの一例を示す。また図２８はエッジ強度遠方ヒストグラムＲｂｆの生成を説明するための図であり、図２８（Ａ）はエッジ画像Ｅの一例を示し、図２８（Ｂ）は図２８（Ａ）のエッジ画像Ｅから得られるエッジ強度遠方ヒストグラムＲｂｆの一例を示す。
差分遠方ヒストグラムＲａｆは、図２７（Ｂ）に示すように、図２７（Ａ）に示す差分画像Ｇにおける遠方領域Ｊｆについて上述した差分ヒストグラムＲａを求めたものである。またエッジ強度遠方ヒストグラムＲｂｆは、図２８（Ｂ）に示すように、図２８（Ａ）に示すエッジ画像Ｅにおける遠方領域Ｊｆについて、上述したエッジ強度ヒストグラムＲｂを求めたものである。
遠方領域Ｊｆは、差分画像Ｇにおいて、撮影位置Ｏからみて近傍接地線Ｌ１よりも遠方の領域である。
差分遠方ヒストグラムＲａｆは、図２７（Ｂ）に示すように、図２７（Ａ）に示す差分画像Ｇにおける遠方領域Ｊｆについて上述した差分ヒストグラムＲａを求めたものである。またエッジ強度遠方ヒストグラムＲｂｆは、図２８（Ｂ）に示すように、図２８（Ａ）に示すエッジ画像Ｅにおける遠方領域Ｊｆについて、上述したエッジ強度ヒストグラムＲｂを求めたものである。
遠方領域Ｊｆは、差分画像Ｇにおいて、撮影位置Ｏからみて近傍接地線Ｌ１よりも遠方の領域である。
【0081】
差分近傍ヒストグラムＲａｎ、及びエッジ強度近傍ヒストグラムＲｂｎの生成には近傍用マスクラベル画像９１ｎが用いられ、差分遠方ヒストグラムＲａｆ、及びエッジ強度遠方ヒストグラムＲｂｆの生成には遠方用マスクラベル画像９１ｆが用いられる。
【0082】
図２９は、近傍用マスクラベル画像９１ｎ、及び遠方用マスクラベル画像９１ｆの説明図である。
近傍用マスクラベル画像９１ｎは、差分画像Ｇにおいて近傍領域Ｊｎ以外の画素値を無効とし、累積値のカウントから除外されるようにする画像である。かかる近傍用マスクラベル画像９１ｎは、図２９に示すように、差分画像Ｇにおける近傍領域Ｊｎ以外をマスキングする近傍領域用マスク画像９０ｎを、上述したラベル画像９１に重畳することで得られる。
位置特定部５４が、近傍用マスクラベル画像９１ｎを用いて差分ヒストグラムＲａ、及びエッジ強度ヒストグラムＲｂを求めることで、近傍領域Ｊｎの画素値だけが累積値の加算対象となり、差分近傍ヒストグラムＲａｎ、及びエッジ強度近傍ヒストグラムＲｂｎが求められることとなる。
近傍用マスクラベル画像９１ｎは、差分画像Ｇにおいて近傍領域Ｊｎ以外の画素値を無効とし、累積値のカウントから除外されるようにする画像である。かかる近傍用マスクラベル画像９１ｎは、図２９に示すように、差分画像Ｇにおける近傍領域Ｊｎ以外をマスキングする近傍領域用マスク画像９０ｎを、上述したラベル画像９１に重畳することで得られる。
位置特定部５４が、近傍用マスクラベル画像９１ｎを用いて差分ヒストグラムＲａ、及びエッジ強度ヒストグラムＲｂを求めることで、近傍領域Ｊｎの画素値だけが累積値の加算対象となり、差分近傍ヒストグラムＲａｎ、及びエッジ強度近傍ヒストグラムＲｂｎが求められることとなる。
【0083】
遠方用マスクラベル画像９１ｆは、差分画像Ｇにおいて遠方領域Ｊｆ以外の画素値を無効とし、累積値のカウントから除外されるようにする画像であり、差分画像Ｇにおける遠方領域Ｊｆ以外をマスキングする遠方領域用マスク画像９０ｆをラベル画像９１に重畳することで得られる。
位置特定部５４が、遠方用マスクラベル画像９１ｆを用いて差分ヒストグラムＲａ、及びエッジ強度ヒストグラムＲｂを求めることで、遠方領域Ｊｆの画素値だけが累積値の加算対象となり、差分遠方ヒストグラムＲａｆ、及びエッジ強度遠方ヒストグラムＲｂｆが求められる。
位置特定部５４が、遠方用マスクラベル画像９１ｆを用いて差分ヒストグラムＲａ、及びエッジ強度ヒストグラムＲｂを求めることで、遠方領域Ｊｆの画素値だけが累積値の加算対象となり、差分遠方ヒストグラムＲａｆ、及びエッジ強度遠方ヒストグラムＲｂｆが求められる。
【0084】
前掲図２４に戻り、位置特定部５４は、次に、差分近傍ヒストグラムＲａｎ、及びエッジ強度近傍ヒストグラムＲｂｎに基づいて、近傍領域Ｊｎにおける立体物判定を行う（ステップＳｄ２）。
具体的には、位置特定部５４は、差分近傍ヒストグラムＲａｎにおいて放射線方向差分量累積値が第４閾値Ｔｈ４（図２５）以上であり、なおかつエッジ強度近傍ヒストグラムＲｂｎにおいて放射方向エッジ強度累積値が第５閾値Ｔｈ５（図２６）以上となるラベル番号の放射線Ｑを特定する。
そして、図３０に示すように、位置特定部５４は、差分画像Ｇにおいて、特定された放射線Ｑの各々と近傍接地線Ｌ１との交点ＬＶを特定する。これらの交点ＬＶは、差分画像Ｇの中に設定された所定の検出領域についてのみ行われる。この検出領域は、例えば上記検出領域７２（図３、図５）などである。
これらの交点ＬＶによって、近傍領域Ｊｎに限定して立体物検出を行った場合の暫定第１他車両領域Ｈ１が特定される。なお、暫定第１他車両領域Ｈ１の横方向Ｃｈの幅には、車幅特定処理（図４：ステップＳａ９）において特定された車幅Ｖｗが用いられる。
具体的には、位置特定部５４は、差分近傍ヒストグラムＲａｎにおいて放射線方向差分量累積値が第４閾値Ｔｈ４（図２５）以上であり、なおかつエッジ強度近傍ヒストグラムＲｂｎにおいて放射方向エッジ強度累積値が第５閾値Ｔｈ５（図２６）以上となるラベル番号の放射線Ｑを特定する。
そして、図３０に示すように、位置特定部５４は、差分画像Ｇにおいて、特定された放射線Ｑの各々と近傍接地線Ｌ１との交点ＬＶを特定する。これらの交点ＬＶは、差分画像Ｇの中に設定された所定の検出領域についてのみ行われる。この検出領域は、例えば上記検出領域７２（図３、図５）などである。
これらの交点ＬＶによって、近傍領域Ｊｎに限定して立体物検出を行った場合の暫定第１他車両領域Ｈ１が特定される。なお、暫定第１他車両領域Ｈ１の横方向Ｃｈの幅には、車幅特定処理（図４：ステップＳａ９）において特定された車幅Ｖｗが用いられる。
【0085】
前掲図２４に戻り、位置特定部５４は、差分遠方ヒストグラムＲａｆ、及びエッジ強度遠方ヒストグラムＲｂｆに基づいて遠方領域Ｊｆにおける立体物判定を行う（ステップＳｄ３）。これにより、遠方領域Ｊｆに限定して立体物検出を行った場合の暫定第２他車両領域Ｈ２が特定されることとなる。
【0086】
ここで、上述の通り、複数の他車両Ａが縦列走行していた場合、暫定第１他車両領域Ｈ１、及び暫定第２他車両領域Ｈ２には、２台以上の他車両Ａが含まれる可能性がある。
そこで、位置特定部５４は、近傍接地線Ｌ１における各交点ＬＶ、及び遠方接地線Ｌ２における各交点ＬＶのそれぞれを、次のようにして１台の他車両Ａごとにグループ化する（ステップＳｄ４、Ｓｄ５）。
そこで、位置特定部５４は、近傍接地線Ｌ１における各交点ＬＶ、及び遠方接地線Ｌ２における各交点ＬＶのそれぞれを、次のようにして１台の他車両Ａごとにグループ化する（ステップＳｄ４、Ｓｄ５）。
【0087】
近傍接地線Ｌ１に交点ＬＶを例にするすると、図３１に示すように、位置特定部５４は、近傍接地線Ｌ１における各交点ＬＶを、撮影位置Ｏから近い順に探索し、隣り合う２つの交点ＬＶの間の距離Ｗが所定の第６閾値Ｔｈ６以下の場合は、それら２つの交点ＬＶを同一のグループ９７に分類し、距離Ｗが所定の第６閾値Ｔｈ６を越えた場合は、撮影位置Ｏから遠い方の交点ＬＶを新たなグループ９７に分類する。これにより、第６閾値Ｔｈ６よりも交点ＬＶ同士の間隔が開いている箇所、すなわち２台の他車両Ａの車間でグループ９７が分けられ、他車両Ａごとに、交点ＬＶがグループ化される。
そして、位置特定部５４は、グループ９７ごとに、そのグループ９７に属する交点ＬＶによって単一他車両領域Ｋ１を特定することで、暫定第１他車両領域Ｈ１が、単一の他車両Ａごとに分けられることとなる。
そして、位置特定部５４は、グループ９７ごとに、そのグループ９７に属する交点ＬＶによって単一他車両領域Ｋ１を特定することで、暫定第１他車両領域Ｈ１が、単一の他車両Ａごとに分けられることとなる。
【0088】
前掲図２４に戻り、位置特定部５４は、近傍接地線Ｌ１について特定された単一他車両領域Ｋ１と、遠方接地線Ｌ２について特定された単一他車両領域Ｋ２と、に基づいて、最終的な単一他車両領域Ｋを決定する（ステップＳｄ６）。
すなわち、図３２に示すように、単一他車両領域Ｋ１、及び単一他車両領域Ｋ２の各々の他車両Ａの先端ＶＦ、及び後端ＶＢのうち、単一他車両領域Ｋ１、及び単一他車両領域Ｋ２の両者が重複している範囲にあるものを、最終的な単一他車両領域Ｋの先端ＶＦ、及び後端ＶＢとして特定する。
そして、これら先端ＶＦ、及び後端ＶＢと、近傍接地線Ｌ１及び遠方接地線Ｌ２とによって、射影変換による倒れ込みに起因する誤差を排除し、矩形状の単一他車両領域Ｋの正確な位置が特定されることとなる。
すなわち、図３２に示すように、単一他車両領域Ｋ１、及び単一他車両領域Ｋ２の各々の他車両Ａの先端ＶＦ、及び後端ＶＢのうち、単一他車両領域Ｋ１、及び単一他車両領域Ｋ２の両者が重複している範囲にあるものを、最終的な単一他車両領域Ｋの先端ＶＦ、及び後端ＶＢとして特定する。
そして、これら先端ＶＦ、及び後端ＶＢと、近傍接地線Ｌ１及び遠方接地線Ｌ２とによって、射影変換による倒れ込みに起因する誤差を排除し、矩形状の単一他車両領域Ｋの正確な位置が特定されることとなる。
【0089】
上述した実施形態によれば、次のような効果を奏する。
【0090】
本実施形態のカメラＥＣＵ６（立体物検出装置）は、互いの撮影位置Ｏが揃った第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２の差分画像Ｇにおいて他車両Ａが映っていると候補となる他車両候補領域６０以外をマスキングしたマスク差分画像Ｇｍを生成し、このマスク差分画像Ｇｍに基づいて、差分画像Ｇにおける他車両Ａの位置を特定する。
これにより、差分画像Ｇに基づいて他車両Ａの位置を特定する場合に比べ、走行中の車両２と、その周囲の他車両Ａとの間に影７６が存在するときでも、他車両Ａの位置を精度よく特定ができる。
したがって、車両制御ユニット８にあっては、他車両Ａの正確な位置に基づいて、車線変更や合流、分流時の他車両と接近するようなシーンで、より正確な自動運転制御を実現できる。
これに加え、カメラＥＣＵ６は、マスク差分画像Ｇｍに基づいて他車両Ａの端点Ｖを求め、マスク画像９０における、他車両Ａの端点Ｖと非マスキング領域境界Ｎとの距離に基づいて、他車両Ａの車幅Ｖｗを特定する車幅特定部５２を備える。これにより、カメラＥＣＵ６が予め適宜に定めた固定値を車幅Ｖｗに用いて他車両Ａの位置を特定する場合に比べ、他車両Ａの位置を正確に特定することができる。
また、車幅特定部５２は、マスク差分画像Ｇｍの生成に供されるマスク画像９０に基づいて車幅Ｖｗを特定するため、既存のマスク画像９０を用いて効率良く車幅Ｖｗを特定できる。
さらに、車幅特定部５２は、マスク画像９０において最遠方非マスキング領域境界Ｎｆと他車両Ａの端点Ｖを通る第２横線Ｌｃ２との交点Ｖｍを特定し、当該端点Ｖと当該交点Ｖｍとの間の距離に基づいて他車両Ａの車幅Ｖｗを特定する。これにより、車体側面のパーツや模様の輪郭線、或いは車両２の影などに起因したマスキング領域６２Ａ（図１８）がマスク画像９０に生じ、本来ならば１つの非マスキング領域６４が複数に分断された場合でも、本来の非マスキング領域６４の非マスキング領域境界Ｎが最遠方非マスキング領域境界Ｎｆによって特定され、車幅Ｖｗが正確に求められる。
これにより、差分画像Ｇに基づいて他車両Ａの位置を特定する場合に比べ、走行中の車両２と、その周囲の他車両Ａとの間に影７６が存在するときでも、他車両Ａの位置を精度よく特定ができる。
したがって、車両制御ユニット８にあっては、他車両Ａの正確な位置に基づいて、車線変更や合流、分流時の他車両と接近するようなシーンで、より正確な自動運転制御を実現できる。
これに加え、カメラＥＣＵ６は、マスク差分画像Ｇｍに基づいて他車両Ａの端点Ｖを求め、マスク画像９０における、他車両Ａの端点Ｖと非マスキング領域境界Ｎとの距離に基づいて、他車両Ａの車幅Ｖｗを特定する車幅特定部５２を備える。これにより、カメラＥＣＵ６が予め適宜に定めた固定値を車幅Ｖｗに用いて他車両Ａの位置を特定する場合に比べ、他車両Ａの位置を正確に特定することができる。
また、車幅特定部５２は、マスク差分画像Ｇｍの生成に供されるマスク画像９０に基づいて車幅Ｖｗを特定するため、既存のマスク画像９０を用いて効率良く車幅Ｖｗを特定できる。
さらに、車幅特定部５２は、マスク画像９０において最遠方非マスキング領域境界Ｎｆと他車両Ａの端点Ｖを通る第２横線Ｌｃ２との交点Ｖｍを特定し、当該端点Ｖと当該交点Ｖｍとの間の距離に基づいて他車両Ａの車幅Ｖｗを特定する。これにより、車体側面のパーツや模様の輪郭線、或いは車両２の影などに起因したマスキング領域６２Ａ（図１８）がマスク画像９０に生じ、本来ならば１つの非マスキング領域６４が複数に分断された場合でも、本来の非マスキング領域６４の非マスキング領域境界Ｎが最遠方非マスキング領域境界Ｎｆによって特定され、車幅Ｖｗが正確に求められる。
【0091】
本実施形態の車幅特定部５２は、マスク画像９０において、撮影位置Ｏから他車両Ａの車幅方向に直線状に延びる第１横線Ｌｃ１に設定された複数の検出点Ｄｔのそれぞれから当該マスク画像９０の縦方向に沿って遠方方向Ｃｖｆに走査し、マスキング領域６２から非マスキング領域６４に変わる最遠方非マスキング領域境界点Ｎｆｄを特定する。そして車幅特定部５２は、検出点Ｄｔのそれぞれの最遠方非マスキング領域境界点Ｎｆｄから一次近似手法を用いて近似直線を求めることで最遠方非マスキング領域境界Ｎｆを特定する。
これにより、最遠方非マスキング領域境界Ｎｆを確実に特定することができる。
これにより、最遠方非マスキング領域境界Ｎｆを確実に特定することができる。
【0092】
本実施形態の位置特定部５４は、他車両Ａの鉛直方向輪郭線Ｐを含む放射線Ｑと、近傍接地線Ｌ１、及び遠方接地線Ｌ２のそれぞれとの交点ＬＶに基づいて、近傍接地線Ｌ１において他車両Ａが位置する暫定第１他車両領域Ｈ１、及び、遠方接地線Ｌ２において他車両Ａが位置する暫定第２他車両領域Ｈ２を特定し、これら暫定第１他車両領域Ｈ１、及び暫定第２他車両領域Ｈ２が重複する範囲に基づいて、差分画像Ｇにおける他車両領域Ｈを特定する。
これにより、射影変換による倒れ込みの影響を排除して、正確に他車両領域Ｈを特定することができる。
また遠方接地線Ｌ２の精度が悪い場合、暫定第１他車両領域Ｈ１、及び暫定第２他車両領域Ｈ２が重複せず、他車両領域Ｈが特定されないことがある。これに対し、本実施形態では、遠方接地線Ｌ２は、マスク差分画像Ｇｍに基づいて特定された近傍接地線Ｌ１、及びマスク画像９０に基づいて特定された車幅Ｖｗを用いて正確に特定されるため、他車両領域Ｈを確実に特定することができる。
これにより、射影変換による倒れ込みの影響を排除して、正確に他車両領域Ｈを特定することができる。
また遠方接地線Ｌ２の精度が悪い場合、暫定第１他車両領域Ｈ１、及び暫定第２他車両領域Ｈ２が重複せず、他車両領域Ｈが特定されないことがある。これに対し、本実施形態では、遠方接地線Ｌ２は、マスク差分画像Ｇｍに基づいて特定された近傍接地線Ｌ１、及びマスク画像９０に基づいて特定された車幅Ｖｗを用いて正確に特定されるため、他車両領域Ｈを確実に特定することができる。
【0093】
本実施形態の近傍接地線特定部５１は、マスク差分画像Ｇｍに基づいて生成されたマスク差分ヒストグラムＲｃにおいて走行方向差分量累積値が第３閾値Ｔｈ３を越える横軸の位置に基づいて、差分画像Ｇにおける他車両Ａの近傍接地線Ｌ１を特定する。
これにより、近傍接地線Ｌ１がマスク差分画像Ｇｍを用いて正確に特定される。
これにより、近傍接地線Ｌ１がマスク差分画像Ｇｍを用いて正確に特定される。
【0094】
上述した実施形態は、あくまでも本発明の一態様を例示したものであって、本発明の趣旨を逸脱しない範囲において任意に変形、及び応用が可能である。
【0095】
上述した実施形態では、カメラＥＣＵ６が立体物検出装置として機能したが、これに限らず、車載システム１が備える任意の装置が立体物検出装置として機能してもよい。
【0096】
また上述した実施形態において、図２に示す機能ブロックは、本願発明を理解容易にするために、カメラＥＣＵ６の構成要素を主な処理内容に応じて分類して示した概略図であり、カメラＥＣＵ６の構成要素は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。
【0097】
また上述した実施形態において、水平、及び垂直等の方向や、各種の形状は、特段の断りがなされていない場合、同一の作用効果を奏する限りにおいて、その周辺の方向や近似の形状（いわゆる、均等の範囲）を含むものである。
【符号の説明】
【0098】
１ 車載システム
２ 車両
３ 撮影部
４ カメラ
６ カメラＥＣＵ（立体物検出装置、コンピュータ）
９Ａ 表示装置
２４ 立体物位置特定部
３０ カメラ映像取得部
３４ 俯瞰変換処理部
３６ 差分画像生成部
５０ マスク差分画像生成部
５１ 近傍接地線特定部
５２ 車幅特定部（幅特定部）
５３ 遠方接地線特定部
５４ 位置特定部
６０ 他車両候補領域
６２、６２Ａ マスキング領域
６４ マスキング領域
Ａ 他車両（立体物）
Ｂ 走行方向
Ｃｈ 横方向
Ｃｖｆ 遠方方向
Ｄｔ 検出点
Ｅ エッジ画像
Ｆ 俯瞰画像
Ｇ 差分画像
Ｇｍ マスク差分画像
Ｈ 他車両領域
Ｈ１ 暫定第１他車両領域
Ｈ２ 暫定第２他車両領域
Ｌ１ 近傍接地線
Ｌ２ 遠方接地線
Ｌａｐｐ 近似直線
Ｍ 撮影画像
Ｎ マスキング領域境界
Ｎｆ マスキング領域境界
Ｎｆｄ マスキング領域境界点
Ｏ 撮影位置
Ｐ 鉛直方向輪郭線
Ｑ 放射線
Ｒｃ マスク差分ヒストグラム
Ｔｈ３ 第３閾値
Ｖ 端点
Ｖｍ 交点
Ｖｗ 車幅
２ 車両
３ 撮影部
４ カメラ
６ カメラＥＣＵ（立体物検出装置、コンピュータ）
９Ａ 表示装置
２４ 立体物位置特定部
３０ カメラ映像取得部
３４ 俯瞰変換処理部
３６ 差分画像生成部
５０ マスク差分画像生成部
５１ 近傍接地線特定部
５２ 車幅特定部（幅特定部）
５３ 遠方接地線特定部
５４ 位置特定部
６０ 他車両候補領域
６２、６２Ａ マスキング領域
６４ マスキング領域
Ａ 他車両（立体物）
Ｂ 走行方向
Ｃｈ 横方向
Ｃｖｆ 遠方方向
Ｄｔ 検出点
Ｅ エッジ画像
Ｆ 俯瞰画像
Ｇ 差分画像
Ｇｍ マスク差分画像
Ｈ 他車両領域
Ｈ１ 暫定第１他車両領域
Ｈ２ 暫定第２他車両領域
Ｌ１ 近傍接地線
Ｌ２ 遠方接地線
Ｌａｐｐ 近似直線
Ｍ 撮影画像
Ｎ マスキング領域境界
Ｎｆ マスキング領域境界
Ｎｆｄ マスキング領域境界点
Ｏ 撮影位置
Ｐ 鉛直方向輪郭線
Ｑ 放射線
Ｒｃ マスク差分ヒストグラム
Ｔｈ３ 第３閾値
Ｖ 端点
Ｖｍ 交点
Ｖｗ 車幅
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】