特許 7511992 車両支援装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-28

(45)【発行日】2024-07-08

(54)【発明の名称】車両支援装置

(51)【国際特許分類】

   G08G 1/14 20060101AFI20240701BHJP

   B60W 30/06 20060101ALI20240701BHJP

   G06T 7/00 20170101ALI20240701BHJP

【ＦＩ】

G08G1/14 A

B60W30/06

G06T7/00 650Z

【請求項の数】 3

(21)【出願番号】P 2020216003

(22)【出願日】2020-12-25

(65)【公開番号】P2022101749

(43)【公開日】2022-07-07

【審査請求日】2023-09-07

(73)【特許権者】

【識別番号】000010098

【氏名又は名称】アルプスアルパイン株式会社

(74)【代理人】

【識別番号】100103171

【弁理士】

【氏名又は名称】雨貝 正彦

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(74)【代理人】

【識別番号】100098497

【弁理士】

【氏名又は名称】片寄 恭三

(74)【代理人】

【識別番号】100099748

【弁理士】

【氏名又は名称】佐藤 克志

(72)【発明者】

【氏名】川崎 康博

【審査官】高島 壮基

(56)【参考文献】

【文献】国際公開第２０１６／０５１８８５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｗ ３０／００－６０／００

Ｇ０６Ｔ ７／００

Ｇ０８Ｇ １／００－９９／００

(57)【特許請求の範囲】

【請求項1】

車両側方を撮像する撮像手段と、
前記撮像手段によって撮像された側方画像に基づいて、撮像範囲に含まれる路面と立体物とを認識する路面・立体物認識手段と、
前記路面・立体物認識手段によって前記立体物として認識された画像から俯瞰画像に変換する俯瞰画像生成手段と、
前記俯瞰画像に対応する前記立体物の座標を検出する立体物座標検出手段であって、前記立体物の側面を含む平面上に前記撮像手段が存在するときに、前記撮像手段の位置と前記側面に対する角度によってこの側面の座標を検出する立体物座標検出手段と、
前記立体物座標検出手段によって検出された立体物の座標に基づいて、立体物に隣接する駐車スペースを検出する駐車スペース検出手段と、
を備え、前記撮像手段による撮像動作、前記路面・立体物認識手段による認識動作、前記俯瞰画像生成手段による俯瞰画像生成動作は、繰り返し行われており、
前記立体物座標検出手段は、生成された複数の俯瞰画像の中から、前記立体物の側面を含む平面上に前記撮像手段が存在する俯瞰画像を見つけることにより、前記側面の座標の検出を行うことを特徴とする車両支援装置。

【請求項2】

前記立体物座標検出手段は、前記側面の座標検出に用いられた俯瞰画像よりも前の撮像タイミングで得られた前記俯瞰画像を用いて検出した前記側面の下部輪郭の座標と、この検出した前記側面の座標とに基づいて、前記立体物の地表高を判定し、前記俯瞰画像に含まれる前記立体物の前面の座標をこの地表高を用いて検出することを特徴とする請求項１に記載の車両支援装置。

【請求項3】

前記駐車スペース検出手段は、前記立体物座標検出手段によって検出された前記立体物の側面および前面の座標に基づいて、この立体物に隣接する前記駐車スペースを検出することを特徴とする請求項２に記載の車両支援装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、駐車中の他の車両の位置を検出する車両支援装置に関する。

【背景技術】

【0002】

従来から、自車両に搭載されたカメラで車両周辺を撮像した画像を俯瞰画像（鳥瞰図）に変換することにより、白線等で描かれた駐車枠を特定して自車両が駐車可能な駐車可能領域を検出するようにした検出装置（例えば、特許文献１参照。）や駐車位置検出システム（例えば、特許文献２参照。）が知られている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１３７１８２号公報

【文献】特開２０１７－１４７６２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、上述した特許文献１、２に開示された検出装置等では、カメラで撮像した画像に基づいて駐車枠を特定しているため、２台の車両が間をあけて駐車している場合であってその間に駐車スペースはあるが駐車枠がない場合には、駐車スペースとは認識されないという問題があった。

【0005】

本発明は、このような点に鑑みて創作されたものであり、その目的は、駐車枠の有無に関係なく駐車スペースを検出することができる車両支援装置を提供することにある。

【課題を解決するための手段】

【0006】

上述した課題を解決するために、本発明の車両支援装置は、車両側方を撮像する撮像手段と、撮像手段によって撮像された側方画像に基づいて、撮像範囲に含まれる路面と立体物とを認識する路面・立体物認識手段と、路面・立体物認識手段によって立体物として認識された画像から俯瞰画像に変換する俯瞰画像生成手段と、俯瞰画像に対応する立体物の座標を検出する立体物座標検出手段と、立体物座標検出手段によって検出された立体物の座標に基づいて、立体物に隣接する駐車スペースを検出する駐車スペース検出手段とを備えている。路面上の立体物を認識してその俯瞰画像に基づいて立体物の座標を検出しているため、立体物に隣接する駐車スペースを、駐車枠の有無に関係なく検出することが可能となる。

【0007】

また、上述した立体物座標検出手段は、立体物の側面を含む平面上に撮像手段が存在するときに、撮像手段の位置と側面に対する角度によってこの側面の座標を検出する。具体的には、上述した撮像手段による撮像動作、路面・立体物認識手段による認識動作、俯瞰画像生成手段による俯瞰画像生成動作は、繰り返し行われており、立体物座標検出手段は、生成された複数の俯瞰画像の中から、立体物の側面を含む平面上に撮像手段が存在する俯瞰画像を見つけることにより、側面の座標の検出を行う。

【0008】

俯瞰画像に含まれる車両等の立体物は、路面から浮いている場合には、俯瞰画像上での立体物の位置が実際の位置とずれるが、立体物の側面を含む平面上に撮像手段が存在する場合には、この側面の位置（座標）にはずれがないため、このようなタイミングで俯瞰画像を撮像した撮像手段の位置を特定することにより、立体物の側面の正確な位置（座標）を検出することが可能となる。

【0009】

また、上述した立体物座標検出手段は、側面の座標検出に用いられた俯瞰画像よりも前の撮像タイミングで得られた俯瞰画像を用いて検出した側面の下部輪郭の座標と、この検出した側面の座標とに基づいて、立体物の地表高を判定し、俯瞰画像に含まれる立体物の前面の座標をこの地表高を用いて検出することが望ましい。立体物の側面下部の地表高が前面下部の地表高と同じであると仮定することにより、路面から浮いている前面の正確な位置（座標）を検出することが可能となる。

【0010】

また、上述した駐車スペース検出手段は、立体物座標検出手段によって検出された立体物の側面および前面の座標に基づいて、この立体物に隣接する駐車スペースを検出することが望ましい。立体物の側面と前面の正確な座標を検出することにより、この立体物に隣接する路面の空きスペースとしての駐車スペースを、駐車枠等を用いることなく正確に検出することが可能となる。

【図面の簡単な説明】

【0011】

【図1】一実施形態の車両支援装置の構成を示す図である。

【図2】サイドカメラによる撮像の状況を示す図である。

【図3】生成された俯瞰画像を用いて車両座標検出部によって車両座標を検出する動作手順を示す流れ図である。

【図4】車両の側面検出の原理を示す図である。

【図5】車両の側面検出の具体例を示す図である。

【図6】カウント結果の具体例を示す図である。

【図7】地表高判定の説明図である。

【図8】車体前面の座標計算の説明図である。

【発明を実施するための形態】

【0012】

以下、本発明を適用した一実施形態の車両支援装置について、図面を参照しながら説明する。

【0013】

図１は、一実施形態の車両支援装置の構成を示す図である。図１に示すように、本実施形態の車両支援装置１００は、サイドカメラ１１０、撮像画像格納部１１２、路面・立体物認識部１１４、俯瞰画像生成部１１６、俯瞰画像格納部１１８、位置センサ１２０、車両座標検出部１２２、駐車スペース検出部１２４を備えている。

【0014】

サイドカメラ１１０は、車両側方の所定位置（例えば、ドアミラー下部）に取り付けられ、魚眼レンズや広角レンズを通して路面を含む車両側方を撮影する。サイドカメラ１１０による撮像によって得られた画像（側方画像）は撮像画像格納部１１２に格納される。また、サイドカメラ１１０による車両側方の撮像は、所定間隔（例えば、一定時間毎、あるいは、一定の走行距離毎）で繰り返し行われ、撮像複数回分の側方画像が順次撮像画像格納部１１２に格納される。

【0015】

路面・立体物認識部１１４は、サイドカメラ１１０によって撮像された側方画像に基づいて、撮像範囲に含まれる路面と立体物としての車両とを認識する。例えば、側方画像の各画素値が路面と類似しているか否かを判定することにより、路面とそれ以外（立体物）とを認識する場合が考えられる。路面・立体物認識部１１４は、認識結果としての２値画像を作成する。

【0016】

俯瞰画像生成部１１６は、路面・立体物認識部１１４によって作成された２値画像を用いて俯瞰画像を生成する。俯瞰画像は、上空から路面を見た場合の画像であり、サイドカメラ１１０のレンズの歪みパラメータや取付位置パラメータなどを考慮した上で視点変換を行うことにより生成することができる。俯瞰画像生成部１１６によって生成された俯瞰画像は俯瞰画像格納部１１８に格納される。

【0017】

位置センサ１２０は、この車両支援装置１００が搭載された自車両の位置を検出する。例えば、ＧＰＳや走行距離センサ、加速度センサなどを用いて実現することができる。

【0018】

車両座標検出部１２２は、俯瞰画像生成部１１６によって生成された俯瞰画像に含まれる立体物としての車両の座標を検出する。座標検出の詳細については後述する。

【0019】

駐車スペース検出部１２４は、車両座標検出部１２２によって検出された車両の座標に基づいて、隣接する車両間の駐車スペースを検出する。検出された駐車スペースの情報は自動駐車制御部２００に送られる。この情報には、駐車スペースに隣接する車両の側面や正面の座標が含まれており、自動駐車制御部２００は、この情報に基づいて駐車スペースに自車両を自動運転して駐車させる。なお、舵角等を制御して自動運転を行って駐車スペースに駐車させる動作自体は、既存の技術を用いて行うことができるため、その詳細については説明を省略する。

【0020】

上述したサイドカメラ１１０が撮像手段に、路面・立体物認識部１１４が路面・立体物認識手段に、俯瞰画像生成部１１６が俯瞰画像生成手段に、車両座標検出部１２２が立体物座標検出手段に、駐車スペース検出部１２４が駐車スペース検出手段にそれぞれ対応する。

【0021】

本実施形態の車両支援装置１００はこのような構成を有しており、次に、駐車スペースを検出する動作について説明する。

【0022】

利用者（車両の運転者）は、操作部（図示せず）を操作して駐車スペースの検出開始を指示した後、検出対象となる駐車スペースが含まれる駐車場内を低速度で走行する。この低速走行時に、サイドカメラ１１０による撮像動作と、路面・立体物認識部１１４による認識動作と、俯瞰画像生成部１１６による俯瞰画像生成動作が繰り返し行われ、生成された複数の俯瞰画像が、それぞれに対応する撮像位置（自車両の世界座標系で表した位置）とともに俯瞰画像格納部１１８に格納される。なお、上述した自車両の走行動作を、運転者自身が行うのではなく、自動運転によって行うようにしてもよい。

【0023】

図２は、サイドカメラ１１０による撮像の状況を示す図である。図２において、Ｇは自車両を、Ｔ１～Ｔ４は駐車場内の他の車両をそれぞれ示している。また、Ｐは検出対象となる駐車スペースであり、路面に駐車スペースを区分けする白線はあってもなくてもよい。自車両Ｇは、車両Ｔ１～Ｔ４や駐車スペースＰを横目に見ながら（サイドカメラ１１０でこれらを撮像しながら）、走行位置を移動する。なお、図２に示す例では、車両の左側にサイドカメラ１１０を設けた例を図示したが、実際には、車両の右側にもサイドカメラ１１０が備わっており、２つのサイドカメラ１１０による撮像が並行して行われる。

【0024】

図３は、生成された俯瞰画像を用いて車両座標検出部１２２によって車両座標を検出する動作手順を示す流れ図である。

【0025】

まず、車両座標検出部１２２は、他の車両（図２に示す車両Ｔ１～Ｔ４）の側面を検出する（ステップ１００）。

【0026】

図４は、車両の側面検出の原理を示す図である。図４には、サイドカメラ１１０と車両Ｔ３との相対位置が時間経過とともに変化する様子が示されている。また、これらの図において、点線ｔ３で示された枠は、路面上の車両Ｔ３の正確な位置を示している。生成された俯瞰画像に含まれる立体物（車両）は以下の特徴を有する。
（１）高さのある物体は大きく、地表より浮かんでいる物体は遠くに映るため、俯瞰画像上の座標をそのまま車両の座標として用いることはできない。
（２）立体物の鉛直面（車体側面）とサイドカメラ１１０とが同一平面上にある場合、その鉛直面は俯瞰画像上で直線状に見える（図４（Ｂ））。この直線の傾き、切片は、鉛直面の実世界の座標と一致する。

【0027】

このような特徴から、時系列の俯瞰画像の中から、鉛直面がサイドカメラ１１０と同一平面上にあるタイミングの俯瞰画像を見つけることができれば、車体の側面の座標を知ることができる。

【0028】

図５は、車両の側面検出の具体例を示す図である。図５に示す具体例では、サイドカメラ１１０の撮像範囲を、視野の中心に左右±９０°の範囲でＮ分割して車体側面用のスキャンラインを定義する。図５では、説明をわかりやすくするために、３つの角度θ１、θ２、θ３について図示したが、実際には例えば１°間隔で９０分割している。

【0029】

車両座標検出部１２２は、各時刻の俯瞰画像について、スキャンライン上に映っている立体物の画素数をカウントする。スキャンライン上で画素数のカウントが急激に増加（あるいは減少）した角度と位置（自車両のサイドカメラ１１０の位置）に対応して車体側面の座標が判定される。

【0030】

図６は、カウント結果の具体例を示す図である。この例では、角度θ２の画素数が時刻５で急激に増加し、時刻１０で急激に減少しているため、これらに対応して車体側面を検出することができる。

【0031】

このようにして車体側面の検出が行われた後、車両座標検出部１２２は、車体の地表高を判定する（ステップ１０２）。これまでで車体側面の座標が得られているので、三角測量の手法により地表高を判定することができる。

【0032】

図７は、地表高判定の説明図である。車両座標検出部１２２は、車外側面を検出したタイミングよりも前の時刻の俯瞰画像を用いて、車体下部の輪郭線（図７（Ａ）のＬ１）を検出する。また、車両座標検出部１２２は、車体側面の座標と下部輪郭線Ｌ１の座標を用いて、三角測量により、車体の地表高Ｈを算出する（図７（Ｂ））。

【0033】

このようにして車体の地表高Ｈが得られた後、車両座標検出部１２２は、車体の前面の座標を検出する（ステップ１０４）。ここまでで車体の地表高が得られているので、三角測量の手法により車体の前面の座標を計算することができる。

【0034】

図８は、車体前面の座標計算の説明図である。車両座標検出部１２２は、俯瞰画像を用いて、車体前面下部の輪郭線（図８(Ａ）のＬ２）を検出する。また、車両座標検出部１２２は、車体の地表高Ｈと下部輪郭線Ｌ２の座標を用いて、三角測量により、車体前面の座標を算出する（図８（Ｂ））。このようにして、車体の側面と前面の正確な座標（図４において点線ｔ３で示された枠の正確な位置）、すなわち正確な駐車位置の検出動作が終了する。

【0035】

このようにして駐車中の車両の位置が検出されると、駐車スペース検出部１２４は、得られた駐車位置を用いて駐車スペースを検出する。例えば、図２に示す例では車両Ｔ２の側面ｓ２と前面ｆ２の座標と、車両Ｔ３の側面ｓ３と前面ｆ３の座標とが検出されると、これらの側面ｓ２、ｓ３と前面ｆ２、ｆ３とで区分けされた駐車スペースｐを検出することが可能となる。

【0036】

このように、本実施形態の車両支援装置１００は、路面上の立体物（車両）を認識してその俯瞰画像に基づいて立体物の座標を検出しているため、立体物に隣接する駐車スペースを、駐車枠の有無に関係なく検出することが可能となる。

【0037】

また、俯瞰画像に含まれる車両等の立体物は、路面から浮いている場合には、俯瞰画像上での立体物の位置が実際の位置とずれるが、立体物の側面を含む平面上にサイドカメラ１１０が存在する場合には、この側面の位置（座標）にはずれがないため、このようなタイミングで俯瞰画像を撮像したサイドカメラ１１０の位置を特定することにより、立体物の側面の正確な位置（座標）を検出することが可能となる。

【0038】

また、立体物の側面下部の地表高が前面下部の地表高と同じであると仮定することにより、路面から浮いている前面の正確な位置（座標）を検出することが可能となる。

【0039】

特に、このようにして立体物の側面と前面の正確な座標を検出することにより、この立体物に隣接する路面の空きスペースとしての駐車スペースを、駐車枠等を用いることなく正確に検出することが可能となる。

【0040】

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、サイドカメラ１１０によって撮像された画像に基づいて生成された俯瞰画像を用いて車体前面の座標等を計算するようにしたが、レーダやソナーなどの測距センサを用いて車体の前面や側面までの距離を検出し、距離の算出に関してこれらを併用するようにしてもよい。この場合に、立体物の前面のように比較的正確な距離が検出可能なものについては測距センサによる検出結果を優先的に使用し、立体物の側面のように、測距センサによる検出精度が低下する場合には測距センサによる検出結果を補助的に使用するなどの方法が考えられる。

【産業上の利用可能性】

【0041】

上述したように、本発明によれば、路面上の立体物を認識してその俯瞰画像に基づいて立体物の座標を検出しているため、立体物に隣接する駐車スペースを、駐車枠の有無に関係なく検出することが可能となる。

【符号の説明】

【0042】

１００ 車両支援装置
１１０ サイドカメラ
１１２ 撮像画像格納部
１１４ 路面・立体物認識部
１１６ 俯瞰画像生成部
１１８ 俯瞰画像格納部
１２０ 位置センサ
１２２ 車両座標検出部
１２４ 駐車スペース検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】