IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ クラリオン株式会社の特許一覧

特許7356371立体物検出装置、車載システム、及び立体物検出方法
<図1>
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図1
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図2
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図3
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図4
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図5
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図6
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図7
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図8
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図9
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図10
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図11
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図12
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図13
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図14
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図15
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図16
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図17
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図18
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図19
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図20
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図21
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図22
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図23
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図24
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図25
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図26
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図27
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図28
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図29
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図30
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図31
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図32
  • 特許-立体物検出装置、車載システム、及び立体物検出方法 図33
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-26
(45)【発行日】2023-10-04
(54)【発明の名称】立体物検出装置、車載システム、及び立体物検出方法
(51)【国際特許分類】
   G06T 7/00 20170101AFI20230927BHJP
   G06T 7/70 20170101ALI20230927BHJP
   G08G 1/16 20060101ALI20230927BHJP
   H04N 7/18 20060101ALI20230927BHJP
【FI】
G06T7/00 650A
G06T7/70 A
G08G1/16 C
H04N7/18 J
【請求項の数】 7
(21)【出願番号】P 2020024175
(22)【出願日】2020-02-17
(65)【公開番号】P2021128671
(43)【公開日】2021-09-02
【審査請求日】2023-01-19
(73)【特許権者】
【識別番号】000001487
【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社
(74)【代理人】
【識別番号】110001081
【氏名又は名称】弁理士法人クシブチ国際特許事務所
(72)【発明者】
【氏名】宮下 彩乃
(72)【発明者】
【氏名】清水 直樹
【審査官】小太刀 慶明
(56)【参考文献】
【文献】国際公開第2013/125335(WO,A1)
【文献】国際公開第2014/017522(WO,A1)
【文献】特開2009-71790(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
G06T 7/70
G08G 1/00 - 1/16
H04N 7/18
B60R 21/00
(57)【特許請求の範囲】
【請求項1】
車両の走行中に異なるタイミングでカメラによって撮影された第1撮影画像、及び第2撮影画像のそれぞれを第1俯瞰画像、及び第2俯瞰画像に変換する俯瞰変換処理部と、
互いの撮影位置が揃った前記第1俯瞰画像、及び前記第2俯瞰画像の差分画像を生成する差分画像生成部と、
前記差分画像において立体物が映っている候補の立体物候補領域以外をマスキングするマスク画像を生成し、当該マスク画像で前記差分画像をマスキングしてマスク差分画像を生成するマスク差分画像生成部と、
前記マスク差分画像に基づいて、前記差分画像における立体物の近傍接地線を特定する近傍接地線特定部と、
前記マスク差分画像に基づいて前記立体物の端点を求め、前記マスク画像における非マスキング領域の境界である非マスキング領域境界と前記立体物の端点との間の距離に基づいて、前記立体物の幅を特定する幅特定部と、
前記立体物の幅、及び、前記近傍接地線に基づいて、前記差分画像における前記立体物の遠方接地線を特定する遠方接地線特定部と、
前記近傍接地線、及び前記遠方接地線に基づいて、前記差分画像における立体物の位置を特定する位置特定部と、
を備えることを特徴とする立体物検出装置。
【請求項2】
前記幅特定部は、
前記立体物の端点から当該立体物の幅方向に延びる線と前記非マスキング領域境界との交点を特定し、当該交点と、前記立体物の端点との間の距離に基づいて前記立体物の幅を特定する
ことを特徴とする請求項1に記載の立体物検出装置。
【請求項3】
前記幅特定部は、
前記立体物の端点から前記立体物の幅方向に延びる線に沿って前記マスク画像を走査して前記交点を特定する
ことを特徴とする請求項2に記載の立体物検出装置。
【請求項4】
前記位置特定部は、
前記差分画像において前記撮影位置から延び、前記立体物の鉛直方向輪郭線を含む放射線と、前記近傍接地線、及び前記遠方接地線のそれぞれとの交点に基づいて、前記近傍接地線において前記立体物が位置する第1領域、及び前記遠方接地線において前記立体物が位置する第2領域を特定し、これら第1領域、及び第2領域が重複する範囲に基づいて、前記差分画像において前記立体物が映った立体物領域を特定する
ことを特徴とする請求項1から3のいずれかに記載の立体物検出装置。
【請求項5】
前記近傍接地線特定部は、
前記車両の走行方向に垂直な横方向を横軸とし、前記マスク差分画像の各画素の画素値を前記走行方向に沿って累積した走行方向差分量累積値を縦軸としたマスク差分ヒストグラムにおいて前記走行方向差分量累積値が第3閾値を越える横軸の位置に基づいて、前記近傍接地線を特定する
ことを特徴とする請求項1から4のいずれかに記載の立体物検出装置。
【請求項6】
請求項1から5のいずれかに記載の立体物検出装置と、
前記立体物検出装置によって特定された他車両の位置を表示する表示装置と、
を備えたことを特徴とする車載システム。
【請求項7】
コンピュータが、
車両の走行中に異なるタイミングでカメラによって撮影された第1撮影画像、及び第2撮影画像のそれぞれを第1俯瞰画像、及び第2俯瞰画像に変換するステップと、
互いの撮影位置が揃った前記第1俯瞰画像、及び前記第2俯瞰画像の差分画像を生成するステップと、
前記差分画像において立体物が映っている候補の立体物候補領域以外をマスキングするマスク画像を生成し、当該マスク画像で前記差分画像をマスキングしてマスク差分画像を生成するステップと、
前記マスク差分画像に基づいて、前記差分画像における立体物の近傍接地線を特定するステップと、
前記マスク差分画像に基づいて前記立体物の端点を求め、前記マスク画像における非マスキング領域の境界である非マスキング領域境界と前記立体物の端点との間の距離に基づいて、前記立体物の幅を特定するステップと、
前記立体物の幅、及び、前記近傍接地線に基づいて、前記差分画像における前記立体物の遠方接地線を特定するステップと、
前記近傍接地線、及び前記遠方接地線に基づいて、前記差分画像における立体物の位置を特定するステップと、
を備えることを特徴とする立体物検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、立体物検出装置、車載システム、及び立体物検出方法に関する。
【背景技術】
【0002】
異なるタイミングの俯瞰画像(鳥瞰視画像とも呼ばれる)の差分に基づいて、車両周囲の他車両等の立体物を検出する技術が知られている(例えば、特許文献1、特許文献2参照)。かかる技術は、特許文献1のように、車両の駐車時に周辺の他車両等の立体物を障害物として検知して警報を発する駐車支援システムなどに応用されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2008-227646号公報
【文献】国際公開第2014/017521号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
建物や標識、信号機等の構造物の影が路面に現れることが多々あり、走行中の車両からは、この影が相対移動して観測される。かかる影が走行中の車両と、その周囲の立体物との間に存在する場合、立体物の検出精度が悪くなる、という問題があった。
【0005】
本発明は、走行中の車両の周囲に存在する立体物の検出精度を向上させることができる立体物検出装置、車載システム、及び立体物検出方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、車両の走行中に異なるタイミングでカメラによって撮影された第1撮影画像、及び第2撮影画像のそれぞれを第1俯瞰画像、及び第2俯瞰画像に変換する俯瞰変換処理部と、互いの撮影位置が揃った前記第1俯瞰画像、及び前記第2俯瞰画像の差分画像を生成する差分画像生成部と、前記差分画像において立体物が映っている候補の立体物候補領域以外をマスキングするマスク画像を生成し、当該マスク画像で前記差分画像をマスキングしてマスク差分画像を生成するマスク差分画像生成部と、前記マスク差分画像に基づいて、前記差分画像における立体物の近傍接地線を特定する近傍接地線特定部と、前記マスク差分画像に基づいて前記立体物の端点を求め、前記マスク画像における非マスキング領域の境界である非マスキング領域境界と前記立体物の端点との間の距離に基づいて、前記立体物の幅を特定する幅特定部と、前記立体物の幅、及び、前記近傍接地線に基づいて、前記差分画像における前記立体物の遠方接地線を特定する遠方接地線特定部と、前記近傍接地線、及び前記遠方接地線に基づいて、前記差分画像における立体物の位置を特定する位置特定部と、を備えることを特徴とする立体物検出装置を提供する。
【発明の効果】
【0007】
本発明によれば、走行中の車両の周囲に存在する立体物の検出精度を向上させることができる。
【図面の簡単な説明】
【0008】
図1】本発明の実施形態に係る車載システムの構成を示す図である。
図2】カメラECUの機能的構成を示す図である。
図3】同実施形態における車両と他車両の位置関係を示す図である。
図4】立体物検出処理のフローチャートである。
図5】差分画像生成動作を説明するための図であり、(A)は第1俯瞰画像、及び第2俯瞰画像の一例を示し、(B)は差分画像の一例を示す。
図6】マスク画像生成処理のフローチャートである。
図7】鉛直方向輪郭線の倒れ込みを説明するための図であり、(A)は撮影画像の一例を示し、(B)は俯瞰画像の一例を示す。
図8】ラベル画像を模式的に示す図である。
図9】ルックアップテーブルを模式的に示す図である。
図10】差分ヒストグラムの生成を説明するための図であり、(A)は差分画像の一例を示し、(B)は差分ヒストグラムの一例を示す。
図11】エッジ強度ヒストグラムの生成を説明するための図であり、(A)はエッジ画像の一例を示し、(B)はエッジ強度ヒストグラムRbの一例を示す。
図12】マスク画像の生成を説明するための図であり、(A)はラベル画像の一例を示し、(B)はマスク画像の一例を示す。
図13】マスク差分画像の生成動作の説明図である。
図14】近傍接地線特定処理のフローチャートである。
図15】マスク差分ヒストグラムの生成を説明するための図であり、(A)はマスク差分画像の一例を示し、(B)は(A)のマスク差分画像から得られるマスク差分ヒストグラムの一例を示す。
図16】近傍接地線特定動作の説明図である。
図17】車幅特定処理のフローチャートである。
図18】車幅特定処理においてマスク画像に設定される各種パラメータの説明図である。
図19】差分マスク画像に基づく他車両の端点の特定動作の説明図であり、(A)は差分マスク画像の一例を示し、(B)は端点特定用差分マスク画像の一例を示し、(C)は端点特定用差分ヒストグラムの一例を示し、(D)は差分マスク画像における他車両の端点の一例を示す。
図20】カメラ映像、俯瞰画像、及びマスク画像の例を、車幅が異なる複数の他車両について示す図である。
図21】車幅特定条件の説明図である。
図22】俯瞰画像における近傍接地線、及び遠方接地線と鉛直方向輪郭線との関係を示す図である。
図23】立体物領域特定処理の概要説明図である。
図24】立体物領域特定処理のフローチャートである。
図25】差分近傍ヒストグラムの生成を説明するための図であり、(A)は差分画像の一例を示し、(B)は差分近傍ヒストグラムの一例を示す。
図26】エッジ強度近傍ヒストグラムの生成を説明するための図であり、(A)はエッジ画像の一例を示し、(B)はエッジ強度近傍ヒストグラムRbnの一例を示す。
図27】差分遠方ヒストグラムの生成を説明するための図であり、(A)は差分画像の一例を示し、(B)は差分遠方ヒストグラムの一例を示す。
図28】エッジ強度遠方ヒストグラムの生成を説明するための図であり、(A)はエッジ画像の一例を示し、(B)エッジ強度遠方ヒストグラムの一例を示す。
図29】近傍用マスクラベル画像、及び遠方用マスクラベル画像の説明図である。
図30】近傍領域に限定して立体物検出を行った場合の他車両領域特定動作の説明図である。
図31】近傍接地線における各交点のグルーピング動作の説明図である。
図32】最終的な単一他車両領域の決定動作の説明図である。
図33】本発明の変形例に係る車幅特定処理の説明図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して本発明の実施形態について説明する。
図1は、本実施形態に係る車載システム1の構成を示す図である。
車載システム1は、車両2に搭載されたシステムであり、撮影部3と、カメラECU6と、車両制御ユニット8と、HMI部9と、CAN10と、を備える。CAN10は、カメラECU6、車両制御ユニット8、及びHMI部9を接続する車載ネットワークの一種である。
【0010】
撮影部3は、車両2の全周囲(360度の範囲)を撮影して得られたカメラ映像5をカメラECU6に出力する。撮影部3は、車両2の前方を撮影するフロントカメラと、後方DB(図3)を撮影するリアカメラと、右側方を撮影する右サイドカメラと、左側方を撮影する左サイドカメラと、いった複数のカメラ4を備え、各カメラ4からカメラ映像5が出力される。なお、本実施形態では、車両2が前進走行しているものとし、車両2の前方と走行方向Bとは一致している。
【0011】
カメラECU6は、撮影部3の撮影動作を制御する機能と、各カメラ映像5に適宜の信号処理を施す機能とを備えた装置である。本実施形態のカメラECU6は、車両2に並走する立体物である他車両A(図3)の位置を、各カメラ4のカメラ映像5ごとに検出し、他車両Aの位置情報をCAN10を通じて車両制御ユニット8に送信する他車両検出装置(立体物検出装置)としても機能する。カメラECU6の詳細については後述する。
【0012】
車両制御ユニット8は、車両2の走行に係る各種の制御を実行するプロセッサを備えたユニットであり、この制御のために、操舵機構や駆動機構などの車両2の各部を制御する機能を備える。また車両制御ユニット8は、これらの制御に要する各種の車両情報(少なくとも走行速度)を検出する1又は複数のセンサを備える。
【0013】
また車両制御ユニット8は、運転者の運転操作に代わって車両2を運転制御する機能(いわゆる、自動運転制御機能)を備え、車両2の走行時には、車両2の周囲に存在する立体物の位置を逐次に取得し、立体物までの間に適切な距離を確保するように運転制御する。例えば、車線変更時や合流時、分流時などのように、立体物の一例である他車両Aに車両2が接近し得る場合、車両制御ユニット8は、他車両Aの位置を取得し、当該他車両Aの位置に基づいて、当該他車両Aとの間に適切な車間距離を確保するように運転制御する。
【0014】
なお、車両制御ユニット8は、自動運転制御機能に代えて、或いは、自動運転制御機能と併せて、運転者の運転操作を支援する運転支援機能を備えてもよい。運転支援機能は、車両2の走行時に、車両2の周囲に存在する立体物の位置を逐次に取得し、立体物を運転者に案内したり、当該立体物の位置に基づく各種の警報等を運転者に報知したりすることで運転者の運転操作を支援するものである。
【0015】
HMI部9は、ユーザインタフェースとなる入力装置、及び出力装置を備え、当該出力装置は、各種情報を表示する表示装置9A、及び各種音声を出力するスピーカを備える。表示装置9Aには、各カメラ4のカメラ映像5や、車両2を上方から俯瞰した映像などが表示され、また、カメラECU6によって検出された他車両Aに関する情報(当該他車両Aの位置や大きさなど)も適宜の態様で表示される。
【0016】
上述したカメラECU6は、プロセッサの一例であるCPU12と、プログラム13等の各種情報を記憶するROMやRAMなどのメモリ14と、CAN10を通じて車両制御ユニット8と通信する通信回路モジュールとしてのCANI/F16と、を備えた、いわゆるコンピュータを備える。本実施形態のカメラECU6は、メモリ14に記憶されたプログラムをCPU12が実行することで、上述した他車両検出装置として機能する。
【0017】
図2は、カメラECU6の機能的構成を示す図である。
本実施形態のカメラECU6は、異なるタイミングで撮影された第1撮影画像、及び第2撮影画像を同じカメラ4で撮影されたカメラ映像5から取得し、これら第1撮影画像、及び第2撮影画像を俯瞰変換した第1俯瞰画像F1、及び第2俯瞰画像F2の差分である差分画像Gに基づいて、当該カメラ4のカメラ映像5に映った他車両Aの位置を検出する。カメラECU6は、かかる検出を各カメラ4のカメラ映像5ごとに行うことで、車両2の全周囲について他車両Aの位置を検出する。
係る検出動作のために、カメラECU6は、図2に示すように、車両情報取得部20と、前処理部22と、立体物位置特定部24と、を備えている。
【0018】
車両情報取得部20は、車両制御ユニット8から車両情報を取得する。この車両情報には、少なくとも車両2の走行速度が含まれる。
【0019】
前処理部22は、カメラ映像5から差分画像Gを得るための処理を実行するものであり、カメラ映像取得部30と、輝度変換処理部32と、俯瞰変換処理部34と、差分画像生成部36と、を備える。
【0020】
カメラ映像取得部30は、撮影部3を制御することで、所定時間以上に亘って撮影部3による撮影を継続し、その撮影によって得られたカメラ映像5を取得する。
輝度変換処理部32は、カメラ映像5を構成する各フレーム(撮影画像)を輝度画像に変換する。各フレームは静止画像である撮影画像に相当し、輝度画像は、この撮影画像のそれぞれの画素値を、その画素の輝度値に変換した画像である。
俯瞰変換処理部34は、各輝度画像を俯瞰画像に変換する。俯瞰画像は、車両2の上方に設定された仮想視点から直下方向を視た画像である。俯瞰変換処理部34は輝度画像を射影変換(視点変換とも呼ばれる)することで俯瞰画像を生成する。
差分画像生成部36は、俯瞰変換処理部34によって順次に生成される俯瞰画像の中から、撮影タイミングが異なる2つの第1撮影画像、及び第2撮影画像から得られた第1俯瞰画像F1、及び第2俯瞰画像F2(図5(A)参照)を抽出し、両者の差分画像Gを生成する。差分画像Gは、第1撮影画像E1の各画素の画素値(輝度値)を、その画素に対応する第2撮影画像E2の画素の画素値(輝度値)との差に変換し、所定の閾値で各画素の画素値を2値化した画像である。差分画像Gの生成時には、差分画像生成部36は、第1俯瞰画像F1と第2俯瞰画像F2の撮影位置Oを、第1俯瞰画像F1を基準に揃えた状態で、両者の各画素の画素値の差分量を算出することで、差分画像Gを生成する。
【0021】
立体物位置特定部24は、差分画像Gに基づいて、立体物の一例である他車両Aの位置を特定するものであり、マスク差分画像生成部50と、近傍接地線特定部51と、車幅特定部52と、遠方接地線特定部53と、位置特定部54と、を備える。
【0022】
マスク差分画像生成部50は、差分画像Gの中で他車両候補領域60を除く残余の領域をマスキングするマスク画像90を生成し、差分画像Gをマスク画像90によってマスキングすることで、他車両候補領域60以外がマスキングされたマスク差分画像Gm(図13参照)を生成する。
他車両候補領域60は、差分画像Gにおいて他車両Aが映っている蓋然性が高い領域であり、他車両領域Hの候補の領域である。他車両領域Hは、差分画像Gにおいて他車両Aが映っていると確定された領域(立体物領域)である。
【0023】
近傍接地線特定部51は、マスク差分画像Gmに基づいて、差分画像Gにおける近傍接地線L1を特定する。
ここで、接地線は、車両2が走行している車線に隣接する他の車線に存在する他車両Aが地面に接する線を言い、平面視における他車両Aの左右両側の輪郭線63(図3)に相当する。
本実施形態において、図3に示すように、他車両Aの左右両側の輪郭線63のうちの車両2に近い側の線を近傍接地線L1と言い、車両2から遠い側の線を遠方接地線L2と言う。
これら近傍接地線L1、及び遠方接地線L2が差分画像Gの中に設定されることで、この差分画像Gの中で、車両2からみて横方向Chにおける他車両領域Hの位置が特定される。なお、横方向Chは車両2の走行方向Bに垂直な方向を指す。
【0024】
車幅特定部52は、マスク画像90(図13)に基づいて、他車両Aの車幅Vw(図3)を特定する。
遠方接地線特定部53は、近傍接地線L1、及び車幅Vwに基づいて、差分画像Gにおける遠方接地線L2を特定する。
【0025】
位置特定部54は、近傍接地線L1、遠方接地線L2、他車両Aの先端VF、及び後端VB(図3)に基づいて、差分画像Gにおける単一他車両領域Kを特定する。単一他車両領域Kは、差分画像Gにおいて1台(単一)の他車両Aが占める(映っている)領域である。
詳述すると、複数の他車両Aが縦列走行している場合、これら複数の他車両Aを含む1つの領域が他車両領域Hとして特定される可能性がある。単一他車両領域Kは、かかる他車両領域Hを他車両Aごとに分けた領域に相当し、位置特定部54は、他車両領域Hに代えて、かかる単一他車両領域Kを最終的に特定する。
また位置特定部54は、差分画像Gにおける単一他車両領域Kの位置に基づいて、実空間における他車両Aの位置を特定し、当該位置を車両制御ユニット8に逐次に送信する。単一他車両領域Kの位置から実空間における他車両Aの位置への変換には、公知又は周知の適宜の手法を用いることができる。
【0026】
また位置特定部54は、実空間における他車両Aの位置の情報を表示するためのデータをHMI部9に送信し、当該情報を表示装置9Aに表示させる。かかる表示態様としては、例えば、車両2を上方から俯瞰した映像に、単一他車両領域Kの輪郭線を重ねて表示する態様などがあり得る。本実施形態では、他車両Aの車幅Vwには、予め設定された既定値ではなく、車幅特定部52がマスク画像90に基づいて特定した実測の値が用いられるため、他車両Aの位置(他車両Aが占める領域)を、より正確に表示することができる。
【0027】
次いで、カメラECU6による他車両Aの検出動作について説明する。
本動作説明では、リアカメラのカメラ映像5に映った他車両AをカメラECU6が検出する場合を例示する。また本動作説明では、図3に示すように、車両2が走行している車線70の両側に、他の車線70R、70Lが隣接して存在し、各車線70R、70Lを他車両Aが車両2と同一方向に走行(すなわち並走)しているものとする。また、いずれの他車両Aも車両2より後方DBに位置し、かつ、リアカメラの画角αの範囲内に位置するものとする。なお、図3において、矩形線で示した領域は、車両制御ユニット8による自動運転制御や運転支援において他車両Aの存在を検出する検出領域72を示すものである。
【0028】
図4は、立体物検出処理のフローチャートである。
立体物検出処理は、少なくとも車両2が走行している間、周囲の他車両Aの存在を検知するために、各カメラ4のカメラ映像5ごとにカメラECU6によって継続的に繰り返し実行される。
【0029】
立体物検出処理において、先ず、車両情報取得部20が車両情報(少なくとも走行速度を含む)を取得し(ステップSa1)、カメラ映像取得部30がカメラ映像5を取得する(ステップSa2)。
次いで、輝度変換処理部32がカメラ映像5の各フレーム(撮影画像)を輝度画像に順次に変換し(ステップSa3)、俯瞰変換処理部34が、各輝度画像に基づいて俯瞰画像Fを順次に生成する(ステップSa4)。
【0030】
次に、差分画像生成部36が、俯瞰変換処理部34によって順次に生成される俯瞰画像の中から、撮影タイミングが異なる2つの第1撮影画像、及び第2撮影画像から得られた第1俯瞰画像F1、及び第2俯瞰画像F2を抽出し、両者の差分画像Gを生成する(ステップSa5)。
【0031】
図5は差分画像生成動作を説明するための図であり、図5(A)は第1俯瞰画像F1、及び第2俯瞰画像F2の一例を示し、図5(B)は差分画像Gの一例を示す。
なお、以下では、直近に撮影された撮影画像を第1撮影画像とし、それよりも前に撮影された撮影画像を第2撮影画像として説明する。
【0032】
第1撮影画像、及び第2撮影画像は、それぞれの撮影位置Oが走行方向Bにずれるため、図5(A)に示すように、第1俯瞰画像F1、及び第2俯瞰画像F2においても撮影位置Oに、車両2の移動に起因したずれDEが生じる。差分画像生成部36は、撮影位置OのずれDEを補正して差分画像Gを生成するために、第1俯瞰画像F1及び第2俯瞰画像F2の両者の撮影位置Oを、いずれか一方(図5(A)では第1俯瞰画像F1)を基準に揃えた状態で両者の差分画像Gを生成する。
【0033】
具体的には、差分画像生成部36は、車両2の走行速度と、第1撮影画像、及び第2撮影画像の撮影タイミングの時間差taとに基づいて、車両2の走行距離を算出する。そして差分画像生成部36は、第1俯瞰画像F1、及び第2俯瞰画像F2のいずれか一方(図5(A)では、撮影タイミングが早い方の第2俯瞰画像F2)の各画素を、走行距離に応じた画素数分だけ走行方向Bに沿ってずらす。これにより、第1俯瞰画像F1、及び第2俯瞰画像F2の他方を基準に、両者の撮影位置Oが揃えられた状態となる。
【0034】
路面標示の一種である白線74等の任意の静止物体が第1俯瞰画像F1、及び第2俯瞰画像F2の各々に映っている場合、両者の撮影位置Oが揃えられることで、図5(A)に示すように、静止物体が映っている位置が揃う。
その一方で、移動物体である他車両Aが第1俯瞰画像F1、及び第2俯瞰画像F2の各々に映っている場合、両者の撮影位置Oが揃えられることで、図5(A)に示すように、それぞれに映った他車両Aの位置にずれが生じる。
これにより、両者の差分を示す差分画像Gにおいては、図5(B)に示すように、路面標示(白線74等)の静止物体が映っている領域の画素値(差分量)は小さくなり、他車両Aが映っている領域の画素値(差分量)は比較的大きくなる。したがって、差分画像Gの2値化に用いる輝度値の閾値が適切に設定されることで、静止物体を除いた画像を差分画像Gとして得ることができる。そして、この差分画像Gにおいて、高輝度値の領域に基づいて、他車両Aが映っている他車両領域Hが特定可能となる。
【0035】
ただし、前掲図3に示すように、車両2と他車両Aとの間に、車両2や他車両Aなどの任意の移動物体によって影76が生じている場合、差分画像Gにおいては、その影76に対応する領域の画素値も増大する。このため、差分画像Gの中で画素値が大きい領域を他車両領域Hとして単純に位置特定部54が抽出した場合、影76に対応する領域が他車両領域Hに含まれ、他車両領域Hの精度が悪くなる。
【0036】
そこで、本実施形態では、位置特定部54が差分画像Gに基づいて他車両領域Hを特定するに前に、前掲図4に示すように、先ず、マスク差分画像生成部50が差分画像Gにおいて他車両候補領域60を除く残余の領域、すなわち、影76などのノイズに対応する領域をマスキングしたマスク差分画像Gmを生成する(ステップSa6:マスク差分画像生成処理)。そして、近傍接地線特定部51が、このマスク差分画像Gmに基づいて、他車両領域Hを区画する線の1つである上記近傍接地線L1を特定する(ステップSa7:近傍接地線特定処理)。これにより、近傍接地線L1を精度よく特定することができる。
【0037】
図6は、上述のマスク画像生成処理のフローチャートである。
マスク画像生成処理では、先ず、マスク差分画像生成部50がマスク画像90を生成する(ステップSb1)。マスク画像90は、差分画像Gの中のマスキング領域62をマスクする画像である。マスキング領域62は、差分画像Gにおいて他車両候補領域60を除いた残余の領域である。マスク差分画像生成部50は、この他車両候補領域60を、差分画像Gに映っている他車両Aの鉛直方向輪郭線Pに基づいて特定する。
【0038】
図7は、鉛直方向輪郭線Pの倒れ込みを説明するための図であり、(A)は撮影画像Mの一例を示し、(B)は俯瞰画像Fの一例を示す。
鉛直方向輪郭線Pは、図7(A)に示すように、撮影画像M(カメラ映像5のフレーム)に映っている他車両Aの輪郭線63や、当該他車両Aの車体パーツ(ドアなど)の輪郭線、他車両Aに描かれた模様の輪郭線などのうち、実空間において鉛直方向(地面に対して垂直方向)に延びている線である。撮影画像Mの射影変換(視点変換)に伴い、当該撮影画像Mの鉛直方向輪郭線Pは、図7(B)に示すように、俯瞰画像Fにおいてカメラ4(本動作説明ではリアカメラ)の撮影位置Oから放射状に延びる放射線Qに変換される(いわゆる、鉛直方向輪郭線Pの倒れ込み)。つまり、俯瞰画像Fにおいて、この鉛直方向輪郭線Pを線分に含む放射線Qによって区画される領域(図7(B)のハッチングで示す領域)は他車両Aが存在する領域を示すため、かかる領域が他車両候補領域60となる。なお、鉛直方向輪郭線Pを線分に含む放射線Qの方向は、射影変換(視点変換)によって立体物が倒れ込む方向とも呼ばれる。
【0039】
2つの俯瞰画像Fの差分である差分画像Gにおいても俯瞰画像Fと同様に、鉛直方向輪郭線Pは放射線Qの線分となる。差分画像Gにおいて、鉛直方向輪郭線Pを含んだ放射線Qを構成する各画素は、画素値(差分量)が他の画素よりも大きくなる。このことを踏まえ、マスク差分画像生成部50は、差分画像Gの各画素値に基づいて他車両候補領域60を特定する。またマスク差分画像生成部50は、ラベル画像91、及びルックアップテーブル92を用いて他車両候補領域60の特定を効率良く行っている。
【0040】
図8は、ラベル画像91を模式的に示す図である。
ラベル画像91は、撮影位置Oから等間隔に放射状に延び、それぞれがラベル番号によって識別された複数の放射線Qの画像であり、それぞれの放射線Qが、差分画像Gにおける鉛直方向輪郭線Pを含んだ放射線Qの候補となる。本実施形態では、ラベル画像91には、ラベル番号が「1」から「100」までの100本の放射線Qが含まれる。
かかるラベル画像91は、差分画像Gに相当する画素数を有し、図8に示すように、同じ放射線Qを構成する各画素に、その放射線Qのラベル番号(「1」から「100」のいずれか)が対応付けられている。
【0041】
図9は、ルックアップテーブル92を模式的に示す図である。
ルックアップテーブル92は、ラベル画像91の各画素に、非マスキング(白色)に対応する「255」、及びマスキング(黒色)に対応する「0」のいずれかの画素値を指定するものである。ラベル画像91の各画素の画素値が、ルックアップテーブル92の指定に基づいて設定されることで、各画素が非マスキング状態(白色)、又はマスキング状態(黒色)となったマスク画像90が得られる。
【0042】
図9に示すように、ルックアップテーブル92において、放射線Qのラベル番号ごとに、その放射線Qの画素値が指定されている。この画素値は、差分画像Gにおける放射線Qごとの画素値に基づいて決定されている。
【0043】
マスク差分画像生成部50は、上記マスク画像生成処理において(図6:ステップSb1)、先ず上記ラベル画像91の全ての画素値を、「255」(非マスキング状態)、又は「0」(マスキング状態)にして初期化する(ステップSb1A)。
次いで、マスク差分画像生成部50は、差分画像Gの中の各放射線Qの画素値に基づいて、上記ルックアップテーブル92を作成する(ステップSb1B)。具体的には、マスク差分画像生成部50は、差分ヒストグラムRa、及びエッジ強度ヒストグラムRbに基づいて、ルックアップテーブル92における放射線Qごとの各画素の輝度値を示すフラグ(「0」又は「255」)を決定する。
【0044】
図10は、差分ヒストグラムRaの生成を説明するための図であり、図10(A)は差分画像Gの一例を示し、図10(B)は、図10(A)に示す差分画像Gから得られる差分ヒストグラムRaの一例を示す。
差分ヒストグラムRaは、図10(B)に示すように、ラベル番号を横軸とし、図10(A)に示す差分画像Gにおいて放射線Qごとに画素値の有無を累積した値(以下、「放射線方向差分量累積値」と言う)を縦軸としたグラフである。放射線方向差分量累積値は、放射線Qが鉛直方向輪郭線Pを含んでいると大きくなるため、この差分ヒストグラムRaにおいて、放射線方向差分量累積値が所定の第1閾値Th1を越えている各放射線Qを特定することで、他車両候補領域60となる放射線Qの範囲Uaを特定することができる。
また放射線Qごとの放射線方向差分量累積値に基づいて、鉛直方向輪郭線Pを含む放射線Qを特定することで、例えば輪郭抽出処理などの画像処理を差分画像Gに施して鉛直方向輪郭線Pを検出する手法に比べ、高速かつ高精度に放射線Qを特定できる。
【0045】
図11はエッジ強度ヒストグラムRbの生成を説明するための図であり、図11(A)はエッジ画像Eの一例を示し、図11(B)は図11(A)のエッジ画像Eから得られるエッジ強度ヒストグラムRbの一例を示す。
エッジ強度ヒストグラムRbは、図11(B)に示すように、ラベル番号を横軸とし、図11(A)に示すエッジ画像Eにおいて放射線Qごとに画素値の有無を累積した値(以下、「放射線方向エッジ強度累積値」と言う)を縦軸としたグラフである。
エッジ画像Eは、第1俯瞰画像F1、及び第2俯瞰画像F2のうち、撮影タイミングが遅い方(すなわち直近の方)の俯瞰画像(本実施形態では第1俯瞰画像F1)において、その俯瞰画像に映った物体(当該物体の模様等を含む)の輪郭成分を抽出した画像である。かかるエッジ画像Eは、マスク差分画像生成部50が、俯瞰画像において、周辺の画素との間の輝度差が大きな(所定値以上)の各画素の画素値を、その輝度差に応じた値(強度値)に変換することで生成される。したがって、エッジ強度ヒストグラムRbは、放射線Qに含まれる立体物のエッジ成分の大小を、放射線Qのラベルごとに示したグラフとなる。
【0046】
マスク差分画像生成部50は、図6のステップSb1Bにおいて、ルックアップテーブル92を作成する際、差分ヒストグラムRaの中で放射線方向差分量累積値が所定の第1閾値Th1を越え、かつ、エッジ強度ヒストグラムRbの中で放射線方向エッジ強度累積値が所定の第2閾値Th2を越えている放射線Qを特定する。そして、マスク差分画像生成部50は、ルックアップテーブル92において、これらの放射線Qに「非マスキング状態」の画素値を設定し、それ以外の放射線Qに「マスキング状態」の画素値を設定する。
次いでマスク差分画像生成部50は、ルックアップテーブル92に基づいて、ラベル画像91の各画素値を設定することで、マスク画像90を生成する(ステップSb1C)。
【0047】
図12は、マスク画像90の生成を説明するための図であり、図12(A)はラベル画像91の一例を示し、図12(B)はマスク画像90の一例を示す。
図12(A)に示すラベル画像91に、ルックアップテーブル92が適用されることで、図12(B)に示すように、他車両候補領域60に相当する領域が非マスキング状態の非マスキング領域64となり、当該非マスキング領域64以外の領域がマスキング領域62となったマスク画像90が得られる。
【0048】
そして、マスク差分画像生成部50は、続くステップSb2において、差分画像Gに、マスク画像90を重畳することで、図13に示すように、他車両候補領域60以外の領域がマスキングされたマスク差分画像Gmを生成する。
【0049】
そして、マスク差分画像Gmが生成されると、上述の通り、近傍接地線特定部51が、このマスク差分画像Gmに基づいて近傍接地線L1を特定する(図4:ステップSa7:近傍接地線特定処理)。
【0050】
図14は、近傍接地線特定処理のフローチャートである。
近傍接地線特定部51は、近傍接地線L1を求めるために、先ず、マスク差分ヒストグラムRcを生成する(ステップSc1)。
【0051】
図15はマスク差分ヒストグラムRcの生成を説明するための図であり、図15(A)はマスク差分画像Gmの一例を示し、図15(B)は図15(A)のマスク差分画像Gmから得られるマスク差分ヒストグラムRcの一例を示す。
マスク差分ヒストグラムRcは、図15(B)に示すように、車両2の走行方向Bに対して垂直な横方向Chの位置(以下、「横方向位置」と言う)を横軸とし、図15(A)に示すマスク差分画像Gmの横方向を所定間隔で短冊状の小領域に区切り、その領域ごとに走行方向Bに沿って画素値の有無を累積した値(以下、「走行方向差分量累積値」と言う)を縦軸としたグラフである。マスク差分画像Gmでは、他車両候補領域60以外がマスキングされているため、横方向Chにおける走行方向差分量累積値の分布によって、他車両Aの近傍接地線L1を特定することができる。
【0052】
具体的には、前掲図14に示すように、近傍接地線特定部51は、その横方向位置に他車両Aが存在すると見做す走行方向差分量累積値の第3閾値Th3を設定する(ステップSc2)。この第3閾値Th3には、走行方向差分量累積値の平均値Aveと、走行方向差分量累積値の最小値Minとの中間値(=(Ave+Min)/2)が設定される。
【0053】
次いで、近傍接地線特定部51は、マスク差分ヒストグラムRcにおいて、走行方向差分量累積値が、所定数以上に亘って連続して第3閾値Th3を越えている横方向位置の範囲Ucに基づいて近傍接地線L1を特定する。
具体的には、近傍接地線特定部51は、図16に示すように、マスク差分ヒストグラムRcの横軸上のi(iは1以上の整数)箇所に判定点Xを等間隔に設定する。各判定点Xは、マスク差分ヒストグラムRcの横軸における区間(グラフの柱)に対応させてもよい。
そして、近傍接地線特定部51は、前掲図14に示すように、撮影位置Oに近い判定点Xから順に、所定の近傍接地線判定条件を満足するか否かを判定し(ステップSc3)、満足してない場合には(ステップSc3:No)、次の判定点Xを判定する(ステップSc4)。また、近傍接地線判定条件が満足されている場合は(ステップSc3:Yes)、近傍接地線特定部51は、判定点Xを近傍接地線L1の位置であると特定する(ステップSc5)。
【0054】
上記近傍接地線判定条件は、判定点Xの走行方向差分量累積値が第3閾値Th3以下であり、なおかつ、次の判定点Xから所定個数分の判定点Xの全てにおいて走行方向差分量累積値が第3閾値Th3以上である、という条件である。
撮影位置Oに近い判定点Xから順に近傍接地線判定条件が判定されることで、図16に示すように、所定個数分の判定点Xの全ての走行方向差分量累積値が第3閾値Th3を越える範囲Ucに対し、撮影位置Oからみて直前の判定点Xが求められ、この判定点Xが近傍接地線L1として特定されることとなる。これにより、近傍接地線L1が他車両Aに入り込んだ位置(第3閾値Th3を越えている範囲)に設定されることがなく、より正確な位置に近傍接地線L1が設定される。
【0055】
このように、差分画像Gにおける近傍接地線L1の位置は、当該差分画像Gではなく、影76などのノイズがマスキングされたマスク差分画像Gmに基づいて特定されるので、特定された位置は非常に正確なものとなる。
【0056】
近傍接地線L1が特定されると、前掲図4に示すように、車幅特定部52が車幅特定処理を実行する(ステップSa8)。この車幅特定処理では、車幅特定部52が上記マスク画像90に基づいて、他車両Aの車幅Vwを特定する。
【0057】
図17は車幅特定処理のフローチャートであり、図18は当該車幅特定処理においてマスク画像90上に設定される各種パラメータの説明図である。
車幅特定処理において、車幅特定部52は、先ず、他車両Aの位置が車幅特定条件範囲内か否かを判定する(ステップSe1)。車幅特定条件は、差分画像Gに映っている他車両Aの車幅Vwがマスク画像90から特定可能か否かを示す条件である。なお、この車幅特定条件については後述する。
【0058】
車幅特定部52は、他車両Aの位置が車幅特定条件範囲内でない場合(ステップSe1:No)、そのまま処理を終了し、他車両Aの位置が車幅特定条件範囲内である場合(ステップSe1:Yes)、他車両Aの車幅Vwを特定すべく、次の処理を実行する。
【0059】
すなわち、車幅特定部52は、マスク画像90において他車両Aの端点Vの位置を特定する(ステップSe2)。他車両Aの端点Vは、カメラ映像5に映っている他車両Aの先端VF、又は後端VBである。本動作例では、他車両Aがリアカメラのカメラ映像5に映っているため、カメラ映像5と、当該カメラ映像5から得られる差分画像Gとには、他車両Aの先端VFが映り込む。したがって、ステップSe2では、図18に示すように、他車両Aの端点Vとして先端VFの位置が特定される。
【0060】
本実施形態では、車幅特定部52は、マスク画像90における他車両Aの端点Vの位置を、マスク差分画像Gmに基づいて特定する。
具体的には、車幅特定部52は、図19(A)に示すように、マスク差分画像Gmに近傍接地線L1を重畳し、当該マスク差分画像Gmにおいて、近傍接地線L1よりも車両2の撮影位置Oに近い側の領域を更にマスキングすることで、図19(B)に示す端点特定用マスク差分画像Gmtを生成する。
次いで、車幅特定部52は、図19(C)に示すように、端点特定用マスク差分画像Gmtから端点特定用差分ヒストグラムRgmtを生成する。端点特定用差分ヒストグラムRgmtは、端点特定用マスク差分画像Gmtの縦方向(本実施形態では車両2の後方DBの方向)を所定間隔で短冊状の小領域に区切り、その領域ごとに、端点特定用マスク差分画像Gmtの横方向Chに画素値の有無を累積したグラフである。以下、この画素値の累積値を横方向差分量累積値という。
【0061】
端点特定用マスク差分画像Gmtでは、他車両候補領域60以外の領域に加え、近傍接地線L1よりも車両2の撮影位置Oに近い側の領域がマスキングされているため、横方向差分量累積値の分布により、他車両Aの端部のうち、車両2の撮影位置Oに近い側の端部(本実施形態では、他車両Aの先端VF)の位置を特定できる。
【0062】
具体的には、車幅特定部52は、近傍接地線特定部51がマスク差分ヒストグラムRcに基づいて近傍接地線L1を特定した手法と同様にして、端点特定用差分ヒストグラムRgmtに基づいて他車両Aの近傍側の端部を特定する。
すなわち、車幅特定部52は、撮影位置Oに近い判定点Xから順に、端点特定用差分ヒストグラムRgmtの各区間を走査する。そして、図19(B)に示すように、端点特定用差分ヒストグラムRgmtにおいて各区間の横方向差分量累積値が所定回数に亘って連続して端点判定用閾値Thgmtを越えている場合に、車幅特定部52は、図19(C)に示すように、当該連続した区間の先頭の区間(すなわち、連続した区間のうち、撮影位置Oに最も近い区間)Kgmtを特定する。そして、車幅特定部52は、マスク差分画像Gmにおいて、上記区間Pgmtに対応する位置を通って横方向Chに延びる端部線Lgmtを当該マスク差分画像Gmに重畳する。この端部線Lgmtがマスク差分画像Gmにおける他車両Aの端部(先端VF)の位置を示している。したがって、車幅特定部52は、この端部線Lgmtと近傍接地線L1との交点を求めることで、マスク差分画像Gmにおける端点Vを特定する。
そして、車幅特定部52は、マスク画像90において、マスク差分画像Gmにおける他車両Aの端点Vの位置に対応する位置を、マスク画像90における端点Vの位置として特定する。
【0063】
次いで、車幅特定部52は、図18に示すように、マスク画像90上に、端点Vを通って横方向Chに延びる横線Lcを設定する(図17:ステップSe3)。そして車幅特定部52は、マスク画像90において、端点Vを起点とし、車両2から遠ざかる遠方方向Chf(図18)に向かって横線Lcに沿って走査し、当該横線Lcと非マスキング領域境界Nとの交点Vmを特定する(図17:ステップSe4)。
【0064】
ここで、非マスキング領域境界Nは、非マスキング領域64とマスキング領域62との境界であり、当該非マスキング領域64の縁に相当する。非マスキング領域64は、差分画像Gにおけるマスキング領域62以外の領域、すなわち他車両Aが映っている候補となる他車両候補領域60に該当する。
また横線Lcは、差分画像Gに映っている他車両Aの車幅方向に延びる線を示し、さらに当該横線Lcと非マスキング領域境界Nとの交点Vmは、他車両Aの先端VF、又は後端VBを示している。
【0065】
したがって、ステップSe2によって特定された端点Vと、ステップSe4によって特定された交点Vmとは、他車両Aの先端側における車幅方向の両端に相当する。そこで、車幅特定部52は、マスク画像90における端点Vと交点Vmとの距離を、実空間における距離に変換することで、当該実空間における車幅Vwを特定する(ステップSe5)。
【0066】
図20は、カメラ映像5、俯瞰画像F、及びマスク画像90の例を、車幅Vwが異なる複数の他車両Aについて示す図である。なお、同図には、他車両Aの例として、普通車(普通四輪自動車)、大型バス(大型乗用自動車)、及びバイク(二輪自動車)が示されている。
同図に示すように、車幅特定処理により、それぞれの他車両Aごとに、適切に車幅Vwが特定される。
【0067】
ところで、この車幅特定処理では、マスク画像90における他車両Aの先端側、又は後端側の端点Vに基づいて車幅Vwが特定されるため、これら先端側、又は後端側が俯瞰画像F、及びカメラ映像5に映り込んでいない場合、車幅Vwを特定することはできない。この場合、車幅特定処理の実行は無駄となる。
そこで、本実施形態では、他車両Aの先端側、又は後端側がカメラ映像5に映り込む条件が上記車幅特定条件に予め設定されており、車幅特定処理の開始時のステップSa1において車幅特定条件の充足を判定することで、無駄な処理の実行を防止している。
【0068】
他車両Aの先端側、又は後端側がカメラ映像5に映り込む条件は、車両2を中心とした360度の全周囲のうち、他車両Aが位置する範囲によって規定可能である。例えば、図21に示すように、当該他車両Aの先端側、又は後端側がカメラ映像5(図21の例では俯瞰映像F)に映らない範囲として、他車両Aが車両2の略側方の所定範囲βが設定され、この所定範囲βを除く残余の範囲が上記車幅特定条件に設定される。
そして、ステップSe1において、車幅特定部52は、所定範囲βを除く残余の範囲に他車両Aが位置するか否かを判定し、当該範囲内に他車両Aが位置する場合に限り、ステップSe2以降の処理を実行する。これにより、車幅特定処理が無駄に行われることが防止される。なお、車幅特定部52は、車両2に対する他車両Aの位置を、例えば各カメラ4のカメラ映像5、或いは、俯瞰画像Fに基づいて特定してもよいし、ソナーなどの別途の物体検知センサの検出結果を用いて特定してもよい。
【0069】
車幅Vwが特定されると、前掲図4に示すように、遠方接地線特定部53が差分画像Gにおける遠方接地線L2を特定する(ステップSa9)。具体的には、遠方接地線特定部53は、差分画像Gにおいて、近傍接地線L1から車幅Vwだけ離間し、当該近傍接地線L1に平行な線を遠方接地線L2として特定する。
この遠方接地線L2の位置は、マスク画像90から得られた車幅Vwを使って求められるので、車幅Vwを予め適宜に定めた固定値とする場合に比べ、正確に求められる。
【0070】
次いで、位置特定部54が、差分画像Gにおいて他車両領域Hを特定する(ステップSa10:立体物領域特定処理)。
他車両領域Hは、近傍接地線特定処理(ステップSa7)、及び遠方接地線特定処理(ステップSa9)のそれぞれで特定された近傍接地線L1、及び遠方接地線L2と、他車両Aの先端VF、及び後端VBと、によって特定される。
【0071】
他車両Aの先端VF、及び後端VBは、上述の通り、近傍接地線L1、及び遠方接地線L2と鉛直方向輪郭線Pとの交点から求めることができる。
すなわち、図22に示すように、俯瞰画像Fにおいて、他車両Aの後端近傍側鉛直方向輪郭線P1、及び先端近傍側鉛直方向輪郭線P2と、近傍接地線L1との各々の交点によって、近傍接地線L1における後端近傍側位置L1VBと、先端近傍側位置L1VFとを求めることができる。また同様に、他車両Aの後端近傍側鉛直方向輪郭線P1、及び先端近傍側鉛直方向輪郭線P2と、遠方接地線L2との各々の交点によって、遠方接地線L2における後端遠方側位置L2VBと、先端遠方側位置L2VFとを求めることができる。
なお、後端近傍側位置L1VB、及び後端遠方側位置L2VBは、他車両Aの後端側における車幅方向の両端を示し、先端近傍側位置L1VF、及び先端遠方側位置L2VFは、他車両Aの先端側における車幅方向の両端を示す。
【0072】
しかしながら、俯瞰画像Fにおいては、上述したように、他車両Aが放射線Qの方向に倒れ込んで映るため、他車両Aのルーフ部分Ar等の影響により実際よりも走行方向Bに長く延びた他車両領域Hが検出されることとなり、他車両Aの位置に誤差が生じることとなる。
【0073】
本実施形態の立体物領域特定処理では、かかる誤差を排除するために、位置特定部54が次のようにして他車両領域Hを特定している。
すなわち、図23に示すように、位置特定部54は、近傍接地線L1、及び遠方接地線L2のそれぞれごとに、他車両Aの鉛直方向輪郭線Pを含む放射線Qとの交点LVを求める。次いで、位置特定部54は、近傍接地線L1における交点LVから暫定第1他車両領域H1を特定し、また遠方接地線L2における交点LVから暫定第2他車両領域H2を特定する。そして、位置特定部54は、これら暫定第1他車両領域H1と暫定第2他車両領域H2とが重複するエリアに基づいて他車両Aの先端VF、及び後端VBを特定する。そして、これら近傍接地線L1、遠方接地線L2、先端VF、及び後端VBによって正確な他車両領域Hが特定される。
ここで、遠方接地線L2の精度が悪い場合、暫定第1他車両領域H1、及び暫定第2他車両領域H2が重複せず、他車両領域Hが特定されないことがある。これに対し、本実施形態では、遠方接地線L2は、マスク差分画像Gmに基づいて特定された近傍接地線L1、及びマスク画像90に基づいて特定された車幅Vwを用いて正確に特定されているため、他車両領域Hを確実に特定することができる。
【0074】
以下、かかる立体物領域特定処理について、より詳細に説明する。
【0075】
図24は、立体物領域特定処理のフローチャートである。
位置特定部54は、暫定第1他車両領域H1、及び暫定第2他車両領域H2を特定するために、先ず、差分近傍ヒストグラムRan、及びエッジ強度近傍ヒストグラムRbnと、差分遠方ヒストグラムRaf、及びエッジ強度遠方ヒストグラムRbfと、をそれぞれ生成する(ステップSd1)。
【0076】
図25は差分近傍ヒストグラムRanの生成を説明するための図であり、図25(A)は差分画像Gの一例を示し、図25(B)は図25(A)の差分画像Gから得られる差分近傍ヒストグラムRanの一例を示す。また図26はエッジ強度近傍ヒストグラムRbnの生成を説明するための図であり、図26(A)はエッジ画像Eの一例を示し、図26(B)は図26(A)のエッジ画像Eから得られるエッジ強度近傍ヒストグラムRbnの一例を示す。
差分近傍ヒストグラムRanは、図25(B)に示すように、図25(A)に示す差分画像Gにおける近傍領域Jnについて上述した差分ヒストグラムRaを求めたものである。またエッジ強度近傍ヒストグラムRbnは、図26(B)に示すように、図26(A)に示すエッジ画像Eにおける近傍領域Jnについて、上述したエッジ強度ヒストグラムRbを求めたものである。
近傍領域Jnは、差分画像Gにおいて、近傍接地線L1と遠方接地線L2とで挟まれた領域である。
【0077】
図27は差分遠方ヒストグラムRafの生成を説明するための図であり、図27(A)は差分画像Gの一例を示し、図27(B)は図27(A)の差分画像Gから得られる差分遠方ヒストグラムRafの一例を示す。また図28はエッジ強度遠方ヒストグラムRbfの生成を説明するための図であり、図28(A)はエッジ画像Eの一例を示し、図28(B)は図28(A)のエッジ画像Eから得られるエッジ強度遠方ヒストグラムRbfの一例を示す。
差分遠方ヒストグラムRafは、図27(B)に示すように、図27(A)に示す差分画像Gにおける遠方領域Jfについて上述した差分ヒストグラムRaを求めたものである。またエッジ強度遠方ヒストグラムRbfは、図28(B)に示すように、図28(A)に示すエッジ画像Eにおける遠方領域Jfについて、上述したエッジ強度ヒストグラムRbを求めたものである。
遠方領域Jfは、差分画像Gにおいて、撮影位置Oからみて近傍接地線L1よりも遠方の領域である。
【0078】
差分近傍ヒストグラムRan、及びエッジ強度近傍ヒストグラムRbnの生成には近傍用マスクラベル画像91nが用いられ、差分遠方ヒストグラムRaf、及びエッジ強度遠方ヒストグラムRbfの生成には遠方用マスクラベル画像91fが用いられる。
【0079】
図29は、近傍用マスクラベル画像91n、及び遠方用マスクラベル画像91fの説明図である。
近傍用マスクラベル画像91nは、差分画像Gにおいて近傍領域Jn以外の画素値を無効とし、累積値のカウントから除外されるようにする画像である。かかる近傍用マスクラベル画像91nは、図29に示すように、差分画像Gにおける近傍領域Jn以外をマスキングする近傍領域用マスク画像90nを、上述したラベル画像91に重畳することで得られる。
位置特定部54が、近傍用マスクラベル画像91nを用いて差分ヒストグラムRa、及びエッジ強度ヒストグラムRbを求めることで、近傍領域Jnの画素値だけが累積値の加算対象となり、差分近傍ヒストグラムRan、及びエッジ強度近傍ヒストグラムRbnが求められることとなる。
【0080】
遠方用マスクラベル画像91fは、差分画像Gにおいて遠方領域Jf以外の画素値を無効とし、累積値のカウントから除外されるようにする画像であり、差分画像Gにおける遠方領域Jf以外をマスキングする遠方領域用マスク画像90fをラベル画像91に重畳することで得られる。
位置特定部54が、遠方用マスクラベル画像91fを用いて差分ヒストグラムRa、及びエッジ強度ヒストグラムRbを求めることで、遠方領域Jfの画素値だけが累積値の加算対象となり、差分遠方ヒストグラムRaf、及びエッジ強度遠方ヒストグラムRbfが求められる。
【0081】
前掲図24に戻り、位置特定部54は、次に、差分近傍ヒストグラムRan、及びエッジ強度近傍ヒストグラムRbnに基づいて、近傍領域Jnにおける立体物判定を行う(ステップSd2)。
具体的には、位置特定部54は、差分近傍ヒストグラムRanにおいて放射線方向差分量累積値が第4閾値Th4(図25)以上であり、なおかつエッジ強度近傍ヒストグラムRbnにおいて放射方向エッジ強度累積値が第5閾値Th5(図26)以上となるラベル番号の放射線Qを特定する。
そして、図30に示すように、位置特定部54は、差分画像Gにおいて、特定された放射線Qの各々と近傍接地線L1との交点LVを特定する。これらの交点LVは、差分画像Gの中に設定された所定の検出領域についてのみ行われる。この検出領域は、例えば上記検出領域72(図3図5)などである。
これらの交点LVによって、近傍領域Jnに限定して立体物検出を行った場合の暫定第1他車両領域H1が特定される。なお、暫定第1他車両領域H1の横方向Chの幅には、車幅特定処理(図4:ステップSa9)において特定された車幅Vwが用いられる。
【0082】
前掲図24に戻り、位置特定部54は、差分遠方ヒストグラムRaf、及びエッジ強度遠方ヒストグラムRbfに基づいて遠方領域Jfにおける立体物判定を行う(ステップSd3)。これにより、遠方領域Jfに限定して立体物検出を行った場合の暫定第2他車両領域H2が特定されることとなる。
【0083】
ここで、上述の通り、複数の他車両Aが縦列走行していた場合、暫定第1他車両領域H1、及び暫定第2他車両領域H2には、2台以上の他車両Aが含まれる可能性がある。
そこで、位置特定部54は、近傍接地線L1における各交点LV、及び遠方接地線L2における各交点LVのそれぞれを、次のようにして1台の他車両Aごとにグループ化する(ステップSd4、Sd5)。
【0084】
近傍接地線L1に交点LVを例にするすると、図31に示すように、位置特定部54は、近傍接地線L1における各交点LVを、撮影位置Oから近い順に探索し、隣り合う2つの交点LVの間の距離Wが所定の第6閾値Th6以下の場合は、それら2つの交点LVを同一のグループ97に分類し、距離Wが所定の第6閾値Th6を越えた場合は、撮影位置Oから遠い方の交点LVを新たなグループ97に分類する。これにより、第6閾値Th6よりも交点LV同士の間隔が開いている箇所、すなわち2台の他車両Aの車間でグループ97が分けられ、他車両Aごとに、交点LVがグループ化される。
そして、位置特定部54は、グループ97ごとに、そのグループ97に属する交点LVによって単一他車両領域K1を特定することで、暫定第1他車両領域H1が、単一の他車両Aごとに分けられることとなる。
【0085】
前掲図24に戻り、位置特定部54は、近傍接地線L1について特定された単一他車両領域K1と、遠方接地線L2について特定された単一他車両領域K2と、に基づいて、最終的な単一他車両領域Kを決定する(ステップSd6)。
すなわち、図32に示すように、単一他車両領域K1、及び単一他車両領域K2の各々の他車両Aの先端VF、及び後端VBのうち、単一他車両領域K1、及び単一他車両領域K2の両者が重複している範囲にあるものを、最終的な単一他車両領域Kの先端VF、及び後端VBとして特定する。
そして、これら先端VF、及び後端VBと、近傍接地線L1及び遠方接地線L2とによって、射影変換による倒れ込みに起因する誤差を排除し、矩形状の単一他車両領域Kの正確な位置が特定されることとなる。
【0086】
上述した実施形態によれば、次のような効果を奏する。
【0087】
本実施形態のカメラECU6(立体物検出装置)は、互いの撮影位置Oが揃った第1俯瞰画像F1、及び第2俯瞰画像F2の差分画像Gにおいて他車両Aが映っていると候補となる他車両候補領域60以外をマスキングしたマスク差分画像Gmを生成し、このマスク差分画像Gmに基づいて、差分画像Gにおける他車両Aの位置を特定する。
これにより、差分画像Gに基づいて他車両Aの位置を特定する場合に比べ、走行中の車両2と、その周囲の他車両Aとの間に影76が存在するときでも、他車両Aの位置を精度よく特定ができる。
したがって、車両制御ユニット8にあっては、他車両Aの正確な位置に基づいて、車線変更や合流、分流時の他車両と接近するようなシーンで、より正確な自動運転制御を実現できる。
これに加え、カメラECU6は、マスク差分画像Gmに基づいて他車両Aの端点Vを求め、マスク画像90における、他車両Aの端点Vと非マスキング領域境界Nとの距離に基づいて、他車両Aの車幅Vwを特定する車幅特定部52を備える。これにより、カメラECU6が予め適宜に定めた固定値を車幅Vwに用いて他車両Aの位置を特定する場合に比べ、他車両Aの位置を正確に特定することができる。
また、車幅特定部52は、マスク差分画像Gmの生成に供されるマスク画像90に基づいて車幅Vwを特定するため、既存のマスク画像90を用いて効率良く車幅Vwを特定できる。
【0088】
本実施形態の車幅特定部52は、他車両Aの端点Vから当該他車両Aの車幅方向に延びる横線Lcと非マスキング領域境界Nとの交点Vmを特定し、当該交点Vmと他車両Aの端点Vとの間の距離に基づいて車幅Vwを特定する。
これにより、他車両Aの車幅Vwをマスク画像90から正確に求めることができる。
【0089】
本実施形態の車幅特定部52は、他車両Aの端点Vから当該他車両Aの車幅方向に延びる横線Lcに沿ってマスク画像90を走査することで上記交点Vmを特定する。
これにより、交点Vmを比較的簡単に特定することができる。
【0090】
本実施形態の位置特定部54は、他車両Aの鉛直方向輪郭線Pを含む放射線Qと、近傍接地線L1、及び遠方接地線L2のそれぞれとの交点LVに基づいて、近傍接地線L1において他車両Aが位置する暫定第1他車両領域H1、及び、遠方接地線L2において他車両Aが位置する暫定第2他車両領域H2を特定し、これら暫定第1他車両領域H1、及び暫定第2他車両領域H2が重複する範囲に基づいて、差分画像Gにおける他車両領域Hを特定する。
これにより、射影変換による倒れ込みの影響を排除して、正確に他車両領域Hを特定することができる。
また遠方接地線L2の精度が悪い場合、暫定第1他車両領域H1、及び暫定第2他車両領域H2が重複せず、他車両領域Hが特定されないことがある。これに対し、本実施形態では、遠方接地線L2は、マスク差分画像Gmに基づいて特定された近傍接地線L1、及びマスク画像90に基づいて特定された車幅Vwを用いて正確に特定されるため、他車両領域Hを確実に特定することができる。
【0091】
本実施形態の近傍接地線特定部51は、マスク差分画像Gmに基づいて生成されたマスク差分ヒストグラムRcにおいて走行方向差分量累積値が第3閾値Th3を越える横軸の位置に基づいて、差分画像Gにおける他車両Aの近傍接地線L1を特定する。これにより、近傍接地線L1がマスク差分画像Gmを用いて正確に特定される。
【0092】
上述した実施形態は、あくまでも本発明の一態様を例示したものであって、本発明の趣旨を逸脱しない範囲において任意に変形、及び応用が可能である。
【0093】
(変形例)
上述した車幅特定処理(図17)について、次の変形が可能である。
すなわち、車幅特定部52は、マスク画像90において、端点Vを起点とし遠方方向Chfに横線Lcに沿って走査し、横線Lcと非マスキング領域境界Nとの交点Vmを特定した(図17:ステップSe4)。
【0094】
しかしながら、車体側面のパーツや模様の輪郭線、或いは車両2の影などがカメラ映像5に映り込んだ場合、マスク画像90には、例えば図33に示すように、この映り込み部分をマスキングする1又は複数(図示例では1つ)のマスキング領域62Aが生じる。このマスキング領域62Aは、1台分の非マスキング領域64(差分画像Gの他車両候補領域60に相当)の中に生じるため、非マスキング領域64が複数(図示例では2つ)に分断される。したがって、この場合には、横線Lcが端点Vを起点とし遠方方向Chfに横断する非マスキング領域64の数だけ、交点Vm1、Vm2、・・・が存在することになる。このような場合に、車幅特定部52が横線Lcに沿った走査時に最初に検出した交点Vm1に基づいて車幅Vw1を求めると、実際の車幅Vwよりも短い車幅Vw1が求められてしまう。
【0095】
そこで、車幅特定処理において、車幅特定部52が端点Vを起点とし遠方方向Chfに横線Lcに沿って走査する際(ステップSe4)、車幅特定部52は、マスク画像90の縁端90Fまで走査し、端点Vと縁端90Fとの間に存在する全ての交点Vm1、Vm2、・・・を特定してもよい。この場合、車幅特定部52は、それぞれの交点Vm1、Vm2から求められる車幅Vw1、Vw2の中から、他車両Aの車幅Vwとして妥当な値のものを特定する。
【0096】
なお、車幅特定部52が、端点Vと縁端90Fとの間に存在する全ての交点Vm1、Vm2、・・・を特定する構成に代えて、次のようにしてもよい。
すなわち、車両2に含まれる輪郭線や当該車両2の影に起因して生じるマスキング領域62Aは比較的狭い傾向にある。そこで、このマスキング領域62Aを他のマスキング領域62と区別するための所定幅が車幅特定部52に予め設定された構成とする。
そして車幅特定部52は、横線Lcに沿った走査の際、交点Vmが検出されるごとに、その交点Vmが属するマスキング領域62Aの横線Lcに沿った幅62Aw(図33)を検出し、当該幅62Awと所定幅とを比較する。車幅特定部52は、この比較結果に基づいて、車両2の影などに起因した上記マスキング領域62Aに交点Vmが属しているか否かを判定し、当該マスキング領域62Aに交点Vmが属していない場合に、当該交点Vmに基づいて車幅Vwを特定する。
【0097】
(その他の変形例)
上述した実施形態では、カメラECU6が立体物検出装置として機能したが、これに限らず、車載システム1が備える任意の装置が立体物検出装置として機能してもよい。
【0098】
また上述した実施形態において、図2に示す機能ブロックは、本願発明を理解容易にするために、カメラECU6の構成要素を主な処理内容に応じて分類して示した概略図であり、カメラECU6の構成要素は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、1つの構成要素がさらに多くの処理を実行するように分類することもできる。
【0099】
また上述した実施形態において、水平、及び垂直等の方向や、各種の形状は、特段の断りがなされていない場合、同一の作用効果を奏する限りにおいて、その周辺の方向や近似の形状(いわゆる、均等の範囲)を含むものである。
【符号の説明】
【0100】
1 車載システム
2 車両
4 撮影部
6 カメラECU(立体物検出装置、コンピュータ)
9A 表示装置
24 立体物位置特定部
30 カメラ映像取得部
34 俯瞰変換処理部
36 差分画像生成部
50 マスク差分画像生成部
51 近傍接地線特定部
52 車幅特定部(幅特定部)
53 遠方接地線特定部
54 位置特定部
60 他車両候補領域
62、62A マスキング領域
64 非マスキング領域
90 マスク画像
A 他車両(立体物)
B 走行方向
Ch 横方向
Chf 遠方方向
E エッジ画像
F 俯瞰画像
G 差分画像
Gm マスク差分画像
H 他車両領域
H1 暫定第1他車両領域(第1領域)
H2 暫定第2他車両領域(第2領域)
L1 近傍接地線
L2 遠方接地線
Lc 横線
M 撮影画像
N マスキング領域境界
O 撮影位置
P 鉛直方向輪郭線
Rc マスク差分ヒストグラム
Th3 第3閾値
V 端点
Vm、Vm1、Vm2 交点
Vw、Vw1、Vw2 車幅
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33