(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-15
(45)【発行日】2024-01-23
(54)【発明の名称】駐車支援装置
(51)【国際特許分類】
B60W 30/06 20060101AFI20240116BHJP
B60R 99/00 20090101ALI20240116BHJP
G08G 1/16 20060101ALI20240116BHJP
【FI】
B60W30/06
B60R99/00 320
G08G1/16 C
(21)【出願番号】P 2019188380
(22)【出願日】2019-10-15
【審査請求日】2022-09-08
(73)【特許権者】
【識別番号】000000011
【氏名又は名称】株式会社アイシン
(74)【代理人】
【識別番号】110001818
【氏名又は名称】弁理士法人R&C
(72)【発明者】
【氏名】乾 陽司
(72)【発明者】
【氏名】祖父江 将太
(72)【発明者】
【氏名】古川 賢樹
(72)【発明者】
【氏名】山村 直樹
(72)【発明者】
【氏名】下平 祐也
(72)【発明者】
【氏名】川端 幸夫
(72)【発明者】
【氏名】山本 政孝
【審査官】櫻田 正紀
(56)【参考文献】
【文献】特開2016-144110(JP,A)
【文献】特開2002-314990(JP,A)
【文献】特開2016-082329(JP,A)
【文献】特開2012-176656(JP,A)
【文献】特開2019-040316(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B60W 10/00-10/30
30/00-60/00
G08G 1/00-99/00
B60R 99/00
(57)【特許請求の範囲】
【請求項1】
車両の側方の路面を撮像した撮像画像を取得する撮像画像取得部と、
前記撮像画像を撮像するカメラの撮像範囲において前記車両と共に移動する移動領域を
、前記撮像画像に基づいて算定する移動領域算定部と、
前記撮像画像において前記車両の側方に前記路面に沿って設定された基準領域のうち、前記移動領域と重複する重複領域を算定する重複領域算定部と、
前記基準領域から前記重複領域を除いて、前記車両の駐車区画を規定する地物を検出する検出領域を設定する検出領域設定部と、
前記撮像画像の前記検出領域内において前記地物を検出する地物検出部と、
を備え
、
前記撮像範囲において前記車両と共に移動する前記移動領域は、前記路面上の領域で設定する移動領域である駐車支援装置。
【請求項2】
前記移動領域算定部は、前記車両の状態を示す車体情報及び前記車両の周囲の物体を示す物体情報の少なくともいずれか一方に基づいて前記移動領域を算定する請求項1に記載の駐車支援装置。
【請求項3】
前記車体情報は、前記車両のドアの開閉状態を示す開閉情報、及び前記車両の操舵輪の切れ角を示す角度情報の少なくともいずれか一方である請求項2に記載の駐車支援装置。
【請求項4】
前記物体情報は、前記車両の周囲の物体を検出する物体検出部の検出結果、及び前記撮像画像を用いて画像認識処理により前記物体を検出した検出結果の少なくともいずれか一方である請求項2又は3に記載の駐車支援装置。
【請求項5】
過去に取得された前記撮像画像である第1撮像画像において検出された前記地物の端部の位置を示す位置情報を、前記車両の移動量を示す移動量情報に基づいて算定する位置情報算定部と、
前記位置情報算定部によって算出された前記地物の端部の位置を示す前記位置情報を記憶する記憶部と、を更に備え、
前記記憶部は、前記地物検出部が新たに取得された前記撮像画像である第2撮像画像において前記地物の端部が検出できない場合に、前記記憶部に記憶された前記地物の端部の位置を示す前記位置情報を出力する請求項1から4のいずれか一項に記載の駐車支援装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両の駐車を支援する駐車支援装置に関する。
【背景技術】
【0002】
従来、車両を駐車する際に、運転者の負担を軽減すべく駐車操作を支援する駐車支援装置が利用されてきた。このような駐車操作の支援にあっては、車両が駐車可能な駐車区画を検出する検出支援、検出された駐車区画から自車を駐車させる目標駐車区画を設定する設定支援、駐車を開始する駐車開始位置まで車両を案内する開始位置案内支援、駐車開始位置から目標駐車区画へ車両を案内する駐車位置案内支援といったものがある。これらの一連の支援中においては、駐車区画を規定する地物を認識することが重要である。このような地物の認識に関する技術として、例えば下記に出典を示す特許文献1に記載のものがある。
【0003】
特許文献1には、駐車区画に対して目標位置を精度良く設定する駐車支援装置が開示されている。この駐車支援装置は、駐車区画の境界を示す境界表示を検出し、当該境界表示の特徴データを記憶する。駐車支援装置は、これらの境界表示及び特徴データに基づいて、目標位置を決定している。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載の技術は、車両の左右両側に、車体の右端部及び左端部から近い領域に検出範囲が設定され、この検出範囲において駐車区画(境界表示)を検出している。例えば、車両から側方に突出する突出物がある場合には検出範囲に当該突出部が含まれ、境界表示を誤検出する可能性がある。また、ステアリングの舵角によっては、操舵輪が検出範囲に含まれることもあり、境界表示を誤検出する可能性がある。係る場合、境界表示の誤検出により、目標駐車位置が所期の位置からずれる可能性があり、改良の余地がある。
【0006】
そこで、適切に目標駐車位置を設定できる駐車支援装置が求められる。
【課題を解決するための手段】
【0007】
本発明に係る駐車支援装置の特徴構成は、車両の側方の路面を撮像した撮像画像を取得する撮像画像取得部と、前記撮像画像を撮像するカメラの撮像範囲において前記車両と共に移動する移動領域を、前記撮像画像に基づいて算定する移動領域算定部と、前記撮像画像において前記車両の側方に前記路面に沿って設定された基準領域のうち、前記移動領域と重複する重複領域を算定する重複領域算定部と、前記基準領域から前記重複領域を除いて、前記車両の駐車区画を規定する地物を検出する検出領域を設定する検出領域設定部と、前記撮像画像の前記検出領域内において前記地物を検出する地物検出部と、を備え、前記撮像範囲において前記車両と共に移動する前記移動領域は、前記路面上の領域で設定する移動領域である点にある。
【0008】
このような特徴構成とすれば、車両と共に移動する移動領域を除いて設定された検出領域において地物を検出するので、車両と共に移動する移動領域(車両と共に移動する物体)に起因した地物の誤検出を防止できる。また、基準領域から取り除く移動領域を最小限に抑えることができるので、地物の認識精度に対する影響も低減することができる。したがって、適切に目標駐車位置を設定することが可能となる。
【0009】
また、前記移動領域算定部は、前記車両の状態を示す車体情報及び前記車両の周囲の物体を示す物体情報の少なくともいずれか一方に基づいて前記移動領域を算定すると好適である。
【0010】
このような構成とすれば、車両の状態に応じて適切に移動領域を算定することができるので、車両の状態や車両の周囲の状況に応じて検出領域を設定することが可能となる。
【0011】
また、前記車体情報は、前記車両のドアの開閉状態を示す開閉情報、及び前記車両の操舵輪の切れ角を示す角度情報の少なくともいずれか一方であると好適である。
【0012】
このような構成とすれば、移動領域の算定を開閉情報や角度情報に基づいて、定量的に行うことが可能となる。
【0013】
また、前記物体情報は、前記車両の周囲の物体を検出する物体検出部の検出結果、及び前記撮像画像を用いて画像認識処理により前記物体を検出した検出結果の少なくともいずれか一方であると好適である。
【0014】
このような構成とすれば、移動領域の算定を物体検出部や画像認識処理により検出された物体に基づいて行うことができる。
【0015】
また、過去に取得された前記撮像画像である第1撮像画像において検出された前記地物の端部の位置を示す位置情報を、前記車両の移動量を示す移動量情報に基づいて算定する位置情報算定部と、前記位置情報算定部によって算出された前記地物の端部の位置を示す前記位置情報を記憶する記憶部と、を更に備え、前記記憶部は、前記地物検出部が新たに取得された前記撮像画像である第2撮像画像において前記地物の端部が検出できない場合に、前記記憶部に記憶された前記地物の端部の位置を示す前記位置情報を出力すると好適である。
【0016】
このような構成とすれば、車両の移動量を示す移動量情報に基づいて、過去に検出されていた地物の端部の位置を算定するので、当該過去の地物の端部を継続して追跡することができる。したがって、新たに取得された撮像画像から地物の端部が検出できない場合には、新たに取得された撮像画像において上記追跡していた地物の位置情報で示される位置に対応する位置に端部があるものとすることが可能となる。
【図面の簡単な説明】
【0017】
【
図1】駐車支援装置が支援する車両の模式図である。
【
図2】駐車支援装置の構成を示すブロック図である。
【
図5】左側撮像画像に含まれる移動領域の一例である。
【発明を実施するための形態】
【0018】
本発明に係る駐車支援装置は、駐車区画を規定する地物を適切に認識することができるように構成される。ここで、本実施形態における駐車区画とは、例えば駐車場等において1台毎に車両を駐車することができるように仕切られたスペースである。地物とは、路面(地面)に設置された物である。したがって、駐車区画を規定する地物とは、駐車場等において1台毎に車両を駐車するスペースを仕切るために、路面に設置された物が相当する。具体的には、路面に付された区画線等の指標や、ブロックや縁石や生垣等(以下「ブロック等」とする)が相当する。本駐車支援装置は、このような指標やブロック等を適切に認識することができるように構成される。以下、本実施形態の駐車支援装置1について説明する。
【0019】
図1は、駐車支援装置1が駐車を支援する車両2の模式図である。
図1に示されるように、車両2には、車両2の周囲の情景を撮像するカメラ3が設けられる。本実施形態では、カメラ3は、左のサイドミラー4及び右のサイドミラー5に設けられる。以下では、理解を容易にするために、夫々を区別する場合には左のサイドミラー4に設けられたカメラ3を左側カメラ3Aとし、右のサイドミラー5に設けられたカメラ3を右側カメラ3Bとして説明する。
【0020】
カメラ3は、車両2の側方の路面の撮像画像を撮像する。車両2の側方とは、車両2の車体2Aの幅方向外側である。上述したようにカメラ3は、左側カメラ3Aと右側カメラ3Bとを含んで構成される。このため、左側カメラ3Aは車体2Aの左外側の路面の撮像画像を撮像し、右側カメラ3Bは車体2Aの右外側の路面の撮像画像を撮像する。左側カメラ3A及び右側カメラ3Bによる撮像画像は、画像データとして駐車支援装置1に伝達される。
【0021】
図2は、駐車支援装置1の構成を示すブロック図である。
図2に示されるように、駐車支援装置1は、撮像画像取得部11、移動領域算定部12、重複領域算定部13、検出領域設定部14、地物検出部15、撮像画像記憶部31、位置情報算定部51を備えて構成される。これらの各機能部は車両2の駐車支援に係る処理を行うために、CPUを中核部材としてハードウェア又はソフトウェア或いはその両方で構築されている。
【0022】
撮像画像取得部11は、車両2の側方の路面を撮像した撮像画像を取得する。上述したように、本実施形態では、左側カメラ3Aが車体2Aの左外側の路面の撮像画像(以下「左側撮像画像」とする)を撮像し、右側カメラ3Bが車体2Aの右外側の路面の撮像画像(以下「右側撮像画像」とする)を撮像する。撮像画像取得部11は、左側カメラ3Aから左側撮像画像を取得し、右側カメラ3Bから右側撮像画像を取得する。ここで、左側カメラ3A及び右側カメラ3Bは、夫々、継続して左側撮像画像及び右側撮像画像を撮像する。このため、撮像画像取得部11も継続して左側撮像画像及び右側撮像画像を取得する。
【0023】
図3には左側撮像画像の一例が示され、
図4には右側撮像画像の一例が示される。本実施形態では、左側カメラ3A及び右側カメラ3Bは魚眼レンズを介して車両2の側方の路面を撮像する。このため、
図3及び
図4に示されるように、本実施形態における右側撮像画像及び左側撮像画像は、所謂魚眼画像となる。
【0024】
図2に戻り、移動領域算定部12は、撮像画像を撮像するカメラ3の撮像範囲において車両2と共に移動する移動領域8(
図5参照)を算定する。撮像画像とは、上述した左側撮像画像及び右側撮像画像である。また、カメラ3は、上述したように左のサイドミラー4及び右のサイドミラー5に設けられる。車両2と共に移動する移動領域8とは、車両2と一体となって移動する物体が占める領域である。したがって、撮像画像を撮像するカメラ3の撮像範囲において車両2と共に移動する移動領域8とは、左側撮像画像及び右側撮像画像の夫々を撮像する、左のサイドミラー4及び右のサイドミラー5との夫々に設けられた左側カメラ3A及び右側カメラ3Bの撮像範囲において、車両2と一体となって移動する物体が占める領域を意味する。このような移動領域8としては、例えば車両2の車輪や、車両2のドアや、窓から左のサイドミラー4及び右のサイドミラー5よりも下方に出した乗員の体の一部(例えば手や腕等)の領域が挙げられる。
【0025】
図5には、例えば左側撮像画像に含まれる、移動領域8の一例が示される。
図5の例にあっては車両2が4輪操舵であって、左前車輪6及び左後車輪7が車両2と共に移動する。したがって、
図5の左側撮像画像に含まれる左前車輪6及び左後車輪7の領域が、移動領域8にあたる。移動領域算定部12は、左側撮像画像及び右側撮像画像に含まれる、このような移動領域8を算定する。
【0026】
ここで、移動領域算定部12は、撮像画像に基づいて移動領域8を算定するように構成することが可能である。例えば、移動領域算定部12は、撮像画像に移動領域8が含まれない場合の撮像画像を予め記憶しておき、当該移動領域8が含まれない場合の撮像画像と、移動領域8を算定する撮像画像(移動領域8の算定対象である撮像画像)とを用いて画像認識により移動領域8を算定するように構成することが可能である。
【0027】
更に、移動領域算定部12は、車両2の状態を示す車体情報に基づいて移動領域8を算定するように構成することも可能である。車両2の状態を示す車体情報とは、車両2の各機能部の動作状態や各機能部の位置を示す情報である。具体的には、車体情報は、車両2のドアの開閉状態を示す開閉情報や、車両2の操舵輪の切れ角を示す角度情報が相当する。開閉情報は、車両2のドアの開度を検出するセンサの検出結果とすると好適である。また、角度情報は操舵輪の切れ角を検出するセンサの検出結果とすることも可能であるし、操舵輪の切れ角を操舵するステアリングの舵角を検出するセンサの検出結果とすることも可能である。移動領域算定部12が、このような開閉状態や操舵輪の切れ角にも基づいて移動領域8を算定するように構成する場合には、ドアの開度と移動領域8との関係や、操舵輪の切れ角と移動領域8との関係を予め記憶しておき、開閉情報や角度情報を取得した場合にこれらの関係に基づき移動領域8を算定するように構成することが可能である。なお、上述した各種センサによる検出結果は、各センサと移動領域算定部12とがCAN(Controller Area Network)通信を行うことで伝達することが可能である。
【0028】
また、移動領域算定部12は、車両2の周囲の物体を示す物体情報に基づいて移動領域8を算定するように構成することも可能である。車両2の周囲の物体を示す物体情報とは、具体的には、車両2の周囲の物体を検出する物体検出部の検出結果、及び撮像画像を用いて画像認識処理により物体を検出した検出結果の少なくともいずれか一方である。物体検出部とは、例えばソナーやレーザーレーダ等のような所謂障害物センサが相当する。このような障害物センサの検出結果や、撮像画像を用いて物体が存在しているか否かを検出した検出結果が、車両2の周囲の物体を示す物体情報にあたる。したがって、移動領域算定部12は、障害物センサの検出結果や、撮像画像を用いて物体が存在しているか否かを検出した検出結果に基づいて、移動領域8を算定することも可能である。なお、移動領域算定部12は、上述した車体情報及び物体情報の双方に基づいて移動領域8を算定しても良いし、いずれか一方を用いて移動領域8を算定しても良い。
【0029】
重複領域算定部13は、撮像画像において車両2の側方に路面に沿って設定された基準領域9のうち、移動領域8と重複する重複領域10を算定する。
図6には、左側撮像画像において、車両2の側方に路面に沿って設定された基準領域9の一例が示される。基準領域9は、後述する検出領域20の基となるものであって、車両2の平面視において車両2の前後方向に沿う長さが車両2の全長よりも長く、車両2の幅方向に沿う長さが車両2の車幅よりも長い領域として設定される。撮像画像において、このような基準領域9と上述した移動領域8とが互いに重複する領域が重複領域10(
図7参照)に相当する。したがって、
図7に示されるように移動領域8の一部が基準領域9に含まれる場合には、重複領域10は移動領域8のうち、基準領域9に含まれる領域を除いた領域となる。なお、図示はしないが、基準領域9が車体2Aと接して設定される場合において、移動領域8の全てが基準領域9に含まれる場合には、重複領域10は移動領域8と等しい領域となる。
【0030】
検出領域設定部14は、基準領域9から重複領域10を除いて、車両2の駐車区画を規定する地物を検出する検出領域20(
図7参照)を設定する。基準領域9は、重複領域算定部13において用いられた基準領域9であって、基準領域9のサイズを規定する情報は、重複領域算定部13と検出領域設定部14とで共有される。また、重複領域10は重複領域算定部13により算定結果として伝達される。基準領域9から重複領域10を除いた領域が検出領域20に相当する。検出領域設定部14は、後述する地物検出部15が車両2の駐車区画を規定する地物の検出する領域として利用する検出領域20を撮像画像において設定する。
【0031】
地物検出部15は、撮像画像の検出領域20内において地物を検出する。地物とは、本実施形態では上述したように、路面に付された区画線等の指標やブロック等である。地物検出部15は、検出領域設定部14により撮像画像上において設定された検出領域20内の区画線等の指標やブロック等を検出する。この検出は、公知であるので詳細な説明は省略するが、例えば検出領域20において、公知のエッジ抽出によりエッジ検出を行い、検出されたエッジに基づいて指標やブロック等であるか否かを判定することで検出可能である。
【0032】
本駐車支援装置1は、以上のように、例えば操舵輪やドア等を検出領域20から除外することで、地物の誤判定を防止することが可能となる。したがって、駐車支援装置1は、適切に目標駐車位置を設定することができる。
【0033】
ここで、車両2の移動状況によっては、所定時間前に検出されていた地物の上に車両2の一部(例えば車輪)が乗り上げていることもある。係る場合、地物検出部15は、上述したエッジ抽出が行うことができず、駐車支援装置1は適切に目標駐車位置を設定することができない。
【0034】
そこで、位置情報算定部51が、過去に取得された撮像画像である第1撮像画像において検出された地物の端部の位置を示す位置情報を、車両2の移動量を示す移動量情報に基づいて算定するように構成すると好適である。過去に取得された撮像画像とは、車両2が今回、駐車区画に駐車すべく地物を検出するに至った以降にカメラ3により撮像された撮像画像である。このような撮像画像は、撮像画像記憶部31に記憶するように構成すると良い。このような過去に取得された撮像画像は、本駐車支援装置1では第1撮像画像と称される。第1撮像画像は、
図8の(A)に示されるような、車両2が地物の算定を開始してから、例えば地物の全体の形状が含まれるようなものを優先的に記憶しておくと良い。なお、撮像画像記憶部31に記憶された第1撮像画像は、所定時間や所定日数が経過する毎に撮像画像記憶部31から消去するように構成しても良いし、今回の駐車区画への駐車が完了した際に、撮像画像記憶部31から消去するように構成しても良い。
【0035】
車両2の移動量とは、車両2が走行して移動した距離及び方位で規定される量であって、上述した角度情報や走行距離を算定する距離センサの検出結果に基づき算定することが可能である。もちろん、GPS情報(位置情報)に基づいて算定することも可能である。このような量は、移動量情報として示される。したがって、位置情報算定部51は、地物の端部が隠れていない第1撮像画像を撮像画像記憶部31から取得し、角度情報や距離センサの検出結果等に基づいて算定される移動量情報を用いて、第1撮像画像において検出されていた地物の端部の位置を示す位置情報を算定する。このような位置情報によれば、第1撮像画像において検出されていた地物の端部を追跡することができることから、位置情報算定部51は追跡部であるとも言える。このような位置情報算定部51によって算出された地物の端部の位置を示す位置情報は記憶部(図示せず)に記憶すると良い。
【0036】
係る場合、地物検出部15が新たに取得された撮像画像である第2撮像画像において地物の端部が検出できない場合に、記憶部が当該記憶部に記憶された地物の端部の位置を示す位置情報を出力すると良い。新たに取得された撮像画像とは、最新の撮像画像である。このような最新の撮像画像は、本駐車支援装置1では第2撮像画像と称される。第2撮像画像は、車両2の状況によっては、
図8の(B)(
図7と同じ)に示されるように、車両2の少なくとも一部と地物とが互いに重複することがある。
【0037】
上述したように、地物検出部15は、撮像画像取得部11が撮像画像を取得する毎に、地物を検出するが、例えば
図8の(B)の例のように、地物上に車両2(車輪等)が位置していると、端部を適切に検出できないことから、記憶部に記憶された地物の端部の位置に、端部があるものとみなす。
【0038】
図8の(C)には第1撮像画像において検出された地物の平面図が示される。理解を容易にするために、
図8の(A)及び(C)の夫々について対応する地物同士に同じ符号Z1,Z2を付している。
図8の(D)には
図8の(B)の第2撮像画像において検出された地物の平面図が示される。
図8の(D)では、
図8の(B)に示される地物Z1が検出されておらず、図示しない右側カメラ3Bの第2撮像画像にうつる地物Z2が示される。
【0039】
係る場合、上述した第1撮像画像において検出された地物の端部の位置情報(
図8の(C)における地物の端部の位置情報)に基づき、地物Z1の端部が補完(生成)される。
図8の(E)には第2撮像画像において、第1撮像画像において検出された地物の端部の位置情報を使って補完された地物Z1が示される。これにより、地物の全体形状を特定でき、駐車支援装置1は適切に目標駐車位置を設定することが可能となる。
【0040】
ここで、車両2の車内には例えばカーナビゲーションシステム等に利用可能な表示装置が設けられる。この表示装置の表示画面には、カメラ3により撮像された撮像画像を用いて車両2の周囲の情景を表示することがあるが、上述したように、例えば操舵輪やドア等を検出領域20から除外する状況にあっては、表示画面に表示される地物を乗員が把握し辛いことが想定される。
【0041】
そこで、表示装置の表示画面に表示する地物においても、第1撮像画像において検出した地物の端部の位置情報を使って、補完画像を生成して表示するように構成することも可能である。このような表示の一例が
図9に示される。このように車両2と地物が重複し、地物検出部15により検出されない場合でも、補完画像を生成して表示することで、乗員が地物全体の形状を把握することが可能となる。
【0042】
〔その他の実施形態〕
上記実施形態では、撮像画像における移動領域8が車輪やドアであるとして説明した。例えばカメラ3を左のサイドミラー4及び右のサイドミラー5以外に設ける場合には、移動領域8として左のサイドミラー4及び右のサイドミラー5を含むことも可能である。もちろん、車輪やドアや左のサイドミラー4及び右のサイドミラー5以外のものであっても良い。
【0043】
上記実施形態では、車体情報は、車両2のドアの開閉状態を示す開閉情報、及び車両2の操舵輪の切れ角を示す角度情報であるとして説明したが、車両情報は車両2のドアの開閉状態を示す開閉情報、及び車両2の操舵輪の切れ角を示す角度情報でいずれか一方であっても良い。また、物体情報も、車両2の周囲の物体を検出する物体検出部の検出結果、及び撮像画像を用いて画像認識処理により物体を検出した検出結果のいずれか一方で良い。
【0044】
上記実施形態では、駐車支援装置1が、位置情報算定部51を備えているとして説明したが、位置情報算定部51を備えずに構成することも可能である。また、表示装置の表示画面に補完画像を表示しないように構成することも可能である。
【0045】
上記実施形態では、カメラ3として、左側カメラ3Aと右側カメラ3Bとを用いた場合の例を挙げて説明したが、フロントカメラやリアカメラを用いてもよい。
【0046】
本発明は、車両の駐車を支援する駐車支援装置に用いることが可能である。
【符号の説明】
【0047】
1:駐車支援装置
2:車両
3:カメラ
8:移動領域
9:基準領域
10:重複領域
11:撮像画像取得部
12:移動領域算定部
13:重複領域算定部
14:検出領域設定部
15:地物検出部
20:検出領域
51:位置情報算定部