特開 2024-110527 駐車領域検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024110527

(43)【公開日】2024-08-16

(54)【発明の名称】駐車領域検出装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240808BHJP

   G06T 7/12 20170101ALI20240808BHJP

   G08G 1/16 20060101ALI20240808BHJP

   B60W 30/06 20060101ALI20240808BHJP

   B60W 50/14 20200101ALI20240808BHJP

   B60R 99/00 20090101ALI20240808BHJP

【ＦＩ】

G06T7/00 650A

G06T7/00 350C

G06T7/12

G08G1/16 D

B60W30/06

B60W50/14

B60R99/00 330

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023015142

(22)【出願日】2023-02-03

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】小久保 嘉人

(72)【発明者】

【氏名】後藤 帆貴

(72)【発明者】

【氏名】大須賀 晋

【テーマコード（参考）】

3D241

5H181

5L096

【Ｆターム（参考）】

3D241BA21

3D241BA50

3D241BB03

3D241BC01

3D241BC02

3D241CE08

3D241DC33Z

5H181AA01

5H181AA21

5H181CC04

5H181FF32

5H181LL04

5H181LL09

5H181LL17

5L096AA02

5L096AA06

5L096BA04

5L096CA05

5L096CA14

5L096CA25

5L096DA02

5L096FA03

5L096FA05

5L096FA06

5L096FA12

5L096GA41

5L096GA51

5L096HA11

(57)【要約】

【課題】ルールベース型手法及びＡＩ型手法の両方を効率的に利用して駐車領域を高精度に検出可能な駐車領域検出装置を提供する。
【解決手段】駐車領域検出装置は、移動体の周辺を撮像して得られた撮像画像に基づいて移動体が駐車される駐車領域を検出するための処理を実行する駐車領域検出装置であって、機械学習を利用して構成される学習済みモデルを利用して、撮像画像から駐車領域の第１方向に沿った２辺のそれぞれに対応する関心領域を設定する第１の処理部と、各前記関心領域に対して予め定められたルールに基づくルールベース処理を実行し、実行結果に基づいて、前記駐車領域の位置を決定する第２の処理部と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

移動体の周辺を撮像して得られた撮像画像に基づいて前記移動体が駐車される駐車領域を検出するための処理を実行する駐車領域検出装置であって、
学習済みモデルを利用して、前記撮像画像から前記駐車領域の第１方向に沿った２辺のそれぞれに対応する関心領域を設定する第１の処理部と、
各前記関心領域に対して予め定められたルールに基づくルールベース処理を実行し、実行結果に基づいて、前記駐車領域の位置を決定する第２の処理部と、
を備える駐車領域検出装置。

【請求項2】

前記第１の処理部は、
前記学習済みモデルに前記撮像画像を入力し、前記移動体の周辺に存在する前記駐車領域の４つの隅の位置を推定する隅位置推定部と、
前記隅位置推定部により推定された前記隅の位置に基づいて、前記関心領域を設定する関心領域設定部と、を備え、
前記第２の処理部は、
前記ルールベース処理を実行することにより、各前記関心領域内に存在する前記第１方向に平行な直線である基準線を検出する基準線検出部と、
前記関心領域内に存在する前記隅の位置を当該関心領域内で検出された前記基準線に近付けるように補正する補正部と、
前記補正部により補正された前記隅の位置に基づいて前記駐車領域の位置を決定する決定部と、
を備える請求項１に記載の駐車領域検出装置。

【請求項3】

前記補正部は、前記隅の位置を前記第１方向に直交する第２方向に沿って移動させることにより補正する、
請求項２に記載の駐車領域検出装置。

【請求項4】

前記第１方向は、前記駐車領域の前後方向であり、
前記第２方向は、前記駐車領域の左右方向である、
請求項３に記載の駐車領域検出装置。

【請求項5】

前記学習済みモデルは、前記第１方向に沿った一対の前記隅の位置が前記移動体の理想的な駐車位置の前後方向と平行となるように４つの前記隅の位置を推定する、
請求項４に記載の駐車領域検出装置。

【請求項6】

前記第１方向は、前記駐車領域の左右方向であり、
前記第２方向は、前記駐車領域の前後方向である、
請求項３に記載の駐車領域検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、駐車領域検出装置に関する。

【背景技術】

【0002】

車両を駐車領域に自動的又は半自動的に駐車させる駐車支援システム等において、車両に搭載されたカメラにより車両の周辺を撮像して得られた撮像画像から車両の周辺に存在する駐車領域を検出する技術が利用されている。

【0003】

撮像画像から駐車領域を検出する際に実行される画像解析の手法として、ルールベース型手法とＡＩ（Artificial Intelligence）型手法とがある。ルールベース型手法は、特許文献１のように、人により予め作成された所定のルールに従って撮像画像内における駐車領域の位置を推定するための処理を行う手法である。ＡＩ型手法は、特許文献２のように、様々な駐車領域を撮像した複数の撮像画像を教師データとして用いて実行された機械学習（深層学習）により生成された学習済みモデルを利用して、実際の撮像画像内における駐車領域の位置を推定するための処理を行う手法である。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２２－１０５７７号公報

【特許文献2】特開２０２１－２６６２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ルールベース型手法によれば、路面に描画された駐車領域を示す枠線がある程度良好な状態であれば、比較的高精度に駐車領域の位置を推定できる。しかし、ルールベース型手法よる枠線の検出においては、枠線の状態の制限が比較的大きくなる。例えば、枠線がかすれている場合、日光等の光による反射や陰影がある場合、路面と枠線との色差が小さい場合等には、ルールベース型手法による枠線の検出は困難となる可能性が高い。

【0006】

一方、ＡＩ型手法によれば、様々な状態の駐車領域（枠線）の撮像画像を教師データとして学習済みモデルを生成することにより、枠線の状態が様々に変化している場合であっても、比較的高精度に駐車領域の位置を推定できる。すなわち、ＡＩ型手法によれば、ルールベース型手法に比べ、枠線の状態の制限が低くなる。しかし、枠線の状態がある程度良好である場合には、ＡＩ型手法による推定精度はルールベース型手法より低くなる場合が多い。

【0007】

そこで、本発明の実施形態の課題の一つは、ルールベース型手法及びＡＩ型手法の両方を効率的に利用して駐車領域を高精度に検出可能な駐車領域検出装置を提供することである。

【課題を解決するための手段】

【0008】

本発明の一実施形態にかかる駐車領域検出装置は、移動体の周辺を撮像して得られた撮像画像に基づいて移動体が駐車される駐車領域を検出するための処理を実行する駐車領域検出装置であって、学習済みモデルを利用して、撮像画像から駐車領域の第１方向に沿った２辺のそれぞれに対応する関心領域を設定する第１の処理部と、各前記関心領域に対して予め定められたルールに基づくルールベース処理を実行し、実行結果に基づいて、前記駐車領域の位置を決定する第２の処理部と、を備える。

【0009】

上記構成によれば、学習済みモデルを利用するＡＩ型手法とルールベース型手法の両方を効率的に利用するため、駐車領域を高精度に検出することができる。

【0010】

上記構成において、第１の処理部は、学習済みモデルに撮像画像を入力し、移動体の周辺に存在する駐車領域の４つの隅の位置を推定する隅位置推定部と、隅位置推定部により推定された隅の位置に基づいて、関心領域を設定する関心領域設定部と、を備え、第２の処理部は、ルールベース処理を実行することにより、各関心領域内に存在する第１方向に平行な直線である基準線を検出する基準線検出部と、関心領域内に存在する隅の位置を当該関心領域内で検出された基準線に近付けるように補正する補正部と、補正部により補正された隅の位置に基づいて駐車領域の位置を決定する決定部と、を備える。

【0011】

上記構成によれば、先ず、学習済みモデルを利用したＡＩ型手法により撮像した撮像画像から駐車領域の四隅の位置が推定される。ＡＩ型手法においては、駐車領域を区画する枠線の状態の制限が比較的低いため、枠線の状態があまり良好でない場合であっても四隅の位置を推定できる。その後、四隅の位置の推定結果に基づいて駐車領域の第１方向に沿った２辺のそれぞれに対応する関心領域が設定され、各関心領域に対するルールベース処理（ルールベース型手法）により基準線が検出される。基準線の検出をルールベース型手法により行うことにより、ＡＩ型手法を用いる場合よりも検出精度を向上させることができる。そして、上記のように検出された基準線に基づいて、ＡＩ型手法により推定された四隅の位置を補正することにより、駐車領域の位置を高精度に特定できる。これにより、ルールベース型手法及びＡＩ型手法の両方を効率的に利用して、移動体の周辺を撮像した撮像画像から駐車領域を高精度に検出することが可能となる。

【0012】

また、上記構成において、補正部は、隅の位置を第１方向に直交する第２方向に沿って移動させることにより補正するものであってもよい。

【0013】

上記構成によれば、各隅の位置を効率的に補正できると共に、過剰な補正が行われてしまうことを防止できる。

【0014】

また、上記構成において、第１方向は、駐車領域の前後方向であり、第２方向は、駐車領域の左右方向であってもよい。

【0015】

上記構成によれば、駐車領域の左右方向の長さを高精度に検出できる。

【0016】

また、上記構成において、学習済みモデルは、第１方向に沿った一対の隅の位置が移動体の理想的な駐車位置の前後方向と平行となるように４つの隅の位置を推定するものであってもよい。

【0017】

上記構成によれば、駐車領域の四隅の位置を移動体の理想的な駐車位置を考慮して適切に推定できる。

【0018】

また、上記構成において、第１方向は、駐車領域の左右方向であり、第２方向は、駐車領域の前後方向であってもよい。

【0019】

上記構成によれば、駐車領域の前後方向の長さや車両の停止位置等を高精度に検出できる。

【図面の簡単な説明】

【0020】

【図1】図１は、第１実施形態の駐車領域検出装置が搭載される車両の構成の一例を示す図である。

【図2】図２は、第１実施形態の駐車領域検出装置を含む駐車支援システムの構成の一例を示す図である。

【図3】図３は、第１実施形態のＥＣＵの機能構成の一例を示す図である。

【図4】図４は、第１実施形態の撮像画像の一例を示す図である。

【図5】図５は、第１実施形態の四隅の位置の推定結果の一例を示す図である。

【図6】図６は、第１実施形態の関心領域の一例を示す図である。

【図7】図７は、第１実施形態の基準線の一例を示す図である。

【図8】図８は、第１実施形態の隅の位置の補正処理の一例を示す図である。

【図9】図９は、第１実施形態の駐車領域の決定方法の一例を示す図である。

【図10】図１０は、第１実施形態の駐車領域検出装置による処理の一例を示すフローチャートである。

【図11】図１１は、第２実施形態の関心領域の一例を示す図である。

【図12】図１２は、第２実施形態の基準線及び隅の位置の補正方法の一例を示す図である。

【発明を実施するための形態】

【0021】

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、並びに当該構成によってもたらされる作用、結果及び効果は、例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

【0022】

（第１実施形態）
図１は、第１実施形態の駐車領域検出装置が搭載される車両１０の構成の一例を示す図である。車両１０は、移動体の一例である。車両１０は、例えば、内燃機関（不図示のエンジン）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（不図示のモータ）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１０は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１０における車輪１２（前輪１２Ｆ、後輪１２Ｒ）の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。

【0023】

図１に例示されるように、車両１０には、複数の撮像部１４として、例えば４つの撮像部１４ａ～１４ｄが設けられている。撮像部１４は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS Image Sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１４は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１４は、それぞれ、広角レンズ又は魚眼レンズを有し、水平方向には例えば１４０°～２２０°の範囲を撮影することができる。また、撮像部１４の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１４は、車両１０が移動可能な路面や路面に付された指標（駐車区画を示す区画線、車線分離線や矢印等を含む）や物体（障害物として、例えば、歩行者、車両等）を含む車両１０の外部の周辺環境を逐次撮影し、撮像画像データとして出力する。

【0024】

撮像部１４は、車両１０の外周部に設けられている。撮像部１４ａは、例えば、車両１０の後側、すなわち車両前後方向の後方側で車幅方向のほぼ中央の端部、例えばリヤバンパ１０ａの上方位置に設けられて、車両１０の後端部（例えばリヤバンパ１０ａ）を含む後方領域を撮像可能である。また、撮像部１４ｂは、例えば、車両１０の前側、すなわち車両前後方向の前方側で車幅方向のほぼ中央の端部、例えばフロントバンパ１０ｂやフロントグリル等に設けられて、車両１０の前端部（例えばフロントバンパ１０ｂ）を含む前方画像を撮像可能である。

【0025】

また、撮像部１４ｃは、例えば、車両１０の右側の端部、例えば右側のドアミラー１０ｃに設けられて、車両１０の右側方を中心とする領域（例えば右前方から右後方の領域）を含む右側方画像を撮像可能である。撮像部１４ｄは、例えば、車両１０の左側の端部、例えば左側のドアミラー１０ｄに設けられて、車両１０の左側方を中心とする領域（例えば左前方から左後方の領域）を含む左側方画像を撮像可能である。

【0026】

本実施形態の駐車領域検出装置は、撮像部１４で得られた撮像画像に対して所定の解析処理や演算処理等を実行することで、車両１０の周辺に存在する駐車領域を検出する。

【0027】

図２は、第１実施形態の駐車領域検出装置を含む駐車支援システム１００の構成の一例を示す図である。車両１０の車室内には、表示装置１６や、音声出力装置１８が設けられている。表示装置１６は、例えば、ＬＣＤ（Liquid Crystal Display）や、ＯＥＬＤ（Organic Electro-Luminescent Display）等である。音声出力装置１８は、例えば、スピーカである。また、表示装置１６は、例えば、タッチパネル等、透明な操作入力部２０で覆われている。乗員（例えば、運転者）は、操作入力部２０を介して表示装置１６の表示画面に表示される画像を視認することができる。また、乗員は、表示装置１６の表示画面に表示される画像に対応した位置で、手指等で操作入力部２０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置１６や、音声出力装置１８、操作入力部２０等は、例えば、車両１０のダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置２２に設けられている。モニタ装置２２は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。モニタ装置２２は、例えば、ナビゲーションシステムやオーディオシステムと兼用され得る。

【0028】

また、図２に例示されるように、駐車支援システム１００は、撮像部１４（１４ａ～１４ｄ）やモニタ装置２２に加え、ＥＣＵ２４（Electronic Control Unit）を備える。駐車支援システム１００では、ＥＣＵ２４やモニタ装置２２は、電気通信回線としての車内ネットワーク２６を介して電気的に接続されている。車内ネットワーク２６は、例えば、ＣＡＮ（Controller Area Network）として構成されている。ＥＣＵ２４は、車内ネットワーク２６を通じて制御信号を送ることで、各種システムの制御を実行できる。例えば、駐車支援システム１００では、ＥＣＵ２４や、モニタ装置２２等の他、操舵システム２８、舵角センサ３７、ブレーキシステム３９、駆動システム３４、アクセルセンサ３６、シフトセンサ３８、車輪速センサ４０等が車内ネットワーク２６を介して電気的に接続されている。ＥＣＵ２４は、車内ネットワーク２６を通じて制御信号を送ることで、操舵システム２８、ブレーキシステム３９、駆動システム３４等を制御することができる。また、ＥＣＵ２４は、車内ネットワーク２６を介して、トルクセンサ２８ａ、ブレーキセンサ３９ｂ、舵角センサ３７、アクセルセンサ３６、シフトセンサ３８、車輪速センサ４０等の検出結果や、操作入力部２０等の操作信号等を、受け取ることができる。

【0029】

ＥＣＵ２４は、例えば、ＣＰＵ２４ａ（Central Processing Unit）、ＲＯＭ２４ｂ（Read Only Memory）、ＲＡＭ２４ｃ（Random Access Memory）、表示制御部２４ｄ、音声制御部２４ｅ、ＳＳＤ２４ｆ（Solid State Drive、フラッシュメモリ）等を備えている。ＣＰＵ２４ａは、各種の演算処理や制御を実行する。

【0030】

ＣＰＵ２４ａは、ＲＯＭ２４ｂ等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムに従って演算処理を実行する。ＲＯＭ２４ｂは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ２４ｃは、ＣＰＵ２４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部２４ｄは、ＥＣＵ２４での演算処理のうち、主として、撮像部１４で得られた撮像画像の画像データに対する画像処理や、表示装置１６で表示される画像（映像）の画像データの合成等を実行する。また、音声制御部２４ｅは、ＥＣＵ２４での演算処理のうち、主として、音声出力装置１８で出力される音声の音声データの処理を実行する。また、ＳＳＤ２４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ２４の電源がＯＦＦされた場合にあってもデータを記憶することができる。なお、ＣＰＵ２４ａや、ＲＯＭ２４ｂ、ＲＡＭ２４ｃ等は、同一パッケージ内に集積され得る。また、ＥＣＵ２４は、ＣＰＵ２４ａに替えて又は加え、ＤＳＰ（Digital Signal Processor）や、ＡＳＩＣ（Application Specific Integrated circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ２４ｆに替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤ２４ｆやＨＤＤは、ＥＣＵ２４とは別に設けられてもよい。

【0031】

図１に例示されるように、車両１０は、例えば、四輪自動車であり、左右二つの前輪１２Ｆと、左右二つの後輪１２Ｒとを有する。これら四つの車輪１２は、いずれも転舵可能に構成され得る。図２に例示されるように、操舵システム２８は、車両１０の少なくとも二つの車輪１２を操舵する。操舵システム２８は、トルクセンサ２８ａとアクチュエータ２８ｂとを有する。操舵システム２８は、ＥＣＵ２４等によって電気的に制御されて、アクチュエータ２８ｂを動作させる。操舵システム２８は、例えば、電動パワーステアリングシステムや、ＳＢＷ（Steer By Wire）システム等である。操舵システム２８は、アクチュエータ２８ｂによって操舵部（例えば、ステアリングホイール）にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ２８ｂによって車輪１２を転舵したりする。この場合、アクチュエータ２８ｂは、一つの車輪１２を転舵してもよいし、複数の車輪１２を転舵してもよい。また、トルクセンサ２８ａは、例えば、運転者が操舵部に与えるトルクを検出する。

【0032】

舵角センサ３７は、例えば、操舵部の操舵量を検出するセンサである。舵角センサ３７は、例えば、ホール素子等を用いて構成される。ＥＣＵ２４は、運転者による操舵部の操舵量や、自動操舵時の各車輪１２の操舵量等を、舵角センサ３７から取得して各種制御を実行する。なお、舵角センサ３７は、操舵部に含まれる回転部分の回転角度を検出する。

【0033】

ブレーキシステム３９は、例えば、ブレーキのロックを抑制するＡＢＳ（Anti-lock Brake System）や、コーナリング時の車両１０の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic Stability Control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（Brake By Wire）等である。ブレーキシステム３９は、アクチュエータ３９ａを介して、車輪１２ひいては車両１０に制動力を与える。また、ブレーキシステム３９は、左右の車輪１２の回転差等からブレーキのロックや、車輪１２の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ３９ｂは、例えば、制動操作部（例えば、ブレーキペダル）の可動部の位置を検出するセンサである。

【0034】

駆動システム３４は、駆動源としての内燃機関（エンジン）システムやモータシステムである。駆動システム３４は、アクセルセンサ３６により検出された運転者（利用者）の要求操作量（例えばアクセルペダルの踏み込み量）に従いエンジンの燃料噴射量や吸気量の制御やモータの出力値を制御する。また、利用者の操作に拘わらず、車両１０の走行状態に応じて、操舵システム２８やブレーキシステム３９の制御と協働してエンジンやモータの出力値を制御し得る。

【0035】

アクセルセンサ３６は、例えば、加速操作部（例えば、アクセルペダル）の可動部の位置を検出するセンサである。アクセルセンサ３６は、可動部としてのアクセルペダルの位置を検出することができる。

【0036】

シフトセンサ３８は、例えば、変速操作部（例えば、シフトレバー）の可動部の位置を検出するセンサである。シフトセンサ３８は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ３８は、変位センサを含んでもよいし、スイッチとして構成されてもよい。ＥＣＵ２４は、シフトセンサ３８の検出結果に基づいて、車両１０が前進走行要求を受けているか、後退走行要求を受けているかの判定を行うことができる。

【0037】

車輪速センサ４０は、各車輪１２に設けられ各車輪１２の回転量や単位時間当たりの回転数を検出するセンサであり、検出した回転数を示す車輪速パルス数を検出値として出力する。車輪速センサ４０は、例えば、ホール素子等を用いて構成されうる。ＥＣＵ２４は、車輪速センサ４０から取得した検出値に基づき、車両１０の車速や移動量等を演算し、各種制御を実行する。ＥＣＵ２４は、各車輪１２の車輪速センサ４０の検出値に基づいて車両１０の車速を算出する場合、四輪のうち最も小さな検出値の車輪１２の速度に基づき車両１０の車速を決定し、各種制御を実行する。

【0038】

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、例であって、種々に設定（変更）することができる。

【0039】

本実施形態のＥＣＵ２４は、撮像部１４から取得した撮像画像に基づいて、車両１０の周辺に存在する駐車領域を検出するための駐車領域検出処理を実行する。すなわち、ＥＣＵ２４は、駐車領域検出装置の一例（一形態）である。また、ＥＣＵ２４は、駐車領域検出処理により検出された駐車領域に車両１０を自動的又は半自動的に駐車させるように車両１０の舵角や速度等を制御する駐車支援処理等を実行する。

【0040】

図３は、第１実施形態のＥＣＵ２４の機能構成の一例を示す図である。ＥＣＵ２４は、図３に示すように、取得部１０１と、第１の処理部１１０と、第２の処理部１２０と、駐車支援処理部１０７と、を有する。第１の処理部１１０は、隅位置推定部１０２と、関心領域設定部１０３と、を有する。第２の処理部１２０は、基準線検出部１０４と、補正部１０５と、決定部１０６と、を有する。これらの機能部１０１～１０７は、図２に例示されるようなハードウェアとソフトウェア（例えばＲＯＭ２４ｂやＳＳＤ２４ｆ等に記憶されたプログラムやファームウェア等）との協働により構成され得る。また、これらの機能部１０１～１０７のうち少なくとも一部が専用のハードウェア（回路等）により構成されてもよい。

【0041】

取得部１０１は、撮像部１４から車両１０の周辺を撮像した撮像画像（画像データ）を取得する。

【0042】

図４は、第１実施形態の撮像画像３０の一例を示す図である。ここで例示する撮像画像３０は、車両１０のフロントバンパ１０ｂに搭載された撮像部１４ｂにより撮像された画像であり、車両１０の周辺（本例では前方）に存在する駐車領域Ｅの映像を含んでいる。ここで例示する駐車領域Ｅは、略Ｕ字形状の枠線３２により区画されている。すなわち、本例の駐車領域Ｅは、隣り合う２つの枠線３２ａ，３２ｂの間に形成される領域であり、隣り合う２つの枠線３２ａ，３２ｂにより駐車領域Ｅの横幅が規定されている。図４中、Ｄ１は、駐車領域Ｅの前後方向（第１方向の一例）を示しており、Ｄ２は、前後方向Ｄ１に直交する、駐車領域Ｅの左右方向（第２方向の一例）を示している。

【0043】

図３に戻り、第１の処理部１１０は、機械学習により生成された学習済みモデルを利用して、取得部１０１で取得した撮像画像３０から駐車領域の第１方向に沿った２辺のそれぞれに対応する関心領域を設定する。以下、第１の処理部１１０の詳細について説明する。

【0044】

第１の処理部１１０の隅位置推定部１０２は、学習済みモデルを利用して、取得部１０１により取得された撮像画像３０から車両１０の周辺に存在する駐車領域Ｅの四隅の位置を推定する。学習済みモデルは、ニューラルネットワークを利用して構成され、適宜な教師データを用いて事前に行われる機械学習により生成されたモデルである。本実施形態の学習済みモデルは、取得部１０１により取得された撮像画像３０が入力されると、当該撮像画像３０内に存在する駐車領域Ｅの四隅の位置の推定結果を示す隅位置情報を出力する。また、学習済みモデルは、駐車領域Ｅの前後方向Ｄ１に沿った一対の隅の位置が車両１０の理想的な駐車位置の前後方向と平行となるように、四隅の位置を推定するものであってもよい。このような学習済みモデルを利用することにより、駐車領域Ｅの四隅の位置を車両１０の理想的な駐車位置を考慮して適切に推定できる。

【0045】

図５は、第１実施形態の四隅Ｐｆａ，Ｐｆｂ，Ｐｒａ，Ｐｒｂの位置の推定結果の一例を示す図である。図５において、隅位置推定部１０２の学習済みモデルにより推定された、撮像画像３０に含まれる駐車領域Ｅ（ここでは車両１０に最も近い駐車領域）の四隅Ｐｆａ，Ｐｆｂ，Ｐｒａ，Ｐｒｂの位置が例示されている。このような学習済みモデルによる四隅Ｐｆａ，Ｐｆｂ，Ｐｒａ，Ｐｒｂの位置の推定は、枠線３２の状態に多少不具合（例えば枠線３２のかすれ、光の反射、陰影、路面と枠線３２との色差不足等）があっても実行できる。

【0046】

図３に戻り、第１の処理部１１０の関心領域設定部１０３は、隅位置推定部１０２により推定された四隅Ｐｆａ，Ｐｆｂ，Ｐｒａ，Ｐｒｂに基づいて、撮像画像３０において駐車領域Ｅの前後方向Ｄ１に沿った２辺のそれぞれに対応する関心領域を設定する。

【0047】

図６は、第１実施形態の関心領域Ｒａ，Ｒｂの一例を示す図である。図６において、駐車領域Ｅを区画する側線としての２つの枠線３２ａ，３２ｂのそれぞれについて関心領域Ｒａ，Ｒｂが設定された状態が例示されている。本例では、一方の枠線３２ａの前後方向Ｄ１に沿って延びる内側の直線３５ａと、他方の枠線３２ｂの前後方向Ｄ１に沿って延びる内側の直線３５ｂと、が上記「２辺」に相当する。一方の関心領域Ｒａは、その長手方向が直線３５ａに沿うように設定され、四隅Ｐｆａ，Ｐｆｂ，Ｐｒａ，Ｐｒｂのうち直線３５ａに沿って存在する一対の隅Ｐｆａ，Ｐｒａを含んでいる。他方の関心領域Ｒｂは、その長手方向が直線３５ｂに沿うように設定され、四隅Ｐｆａ，Ｐｆｂ，Ｐｒａ，Ｐｒｂのうち直線３５ｂに沿って存在する一対の隅Ｐｆｂ，Ｐｒｂを含んでいる。

【0048】

図３に戻り、第２の処理部１２０は、関心領域に対して予め定められたルールに基づくルールベース処理を実行し、実行結果に基づいて、駐車領域の位置を決定する。以下、第２の処理部１２０の詳細について説明する。

【0049】

第２の処理部１２０の基準線検出部１０４は、各関心領域Ｒａ，Ｒｂに対してルールベース処理を実行することにより、各関心領域Ｒａ，Ｒｂ内に存在する前後方向Ｄ１に平行な直線である基準線を検出する。ルールベース処理は、入力に対して、人により予め定められた所定のルールに基づいて出力を行う処理である。本実施形態では、ルールベース処理として基準線を検出する処理が該当するが、これに限定されるものではない。例えば、白線のエッジ検出等の処理をルールベース処理に含めることができる。ルールベース処理における具体的なルールは、撮像部１４の仕様等に応じて適宜決定されるべきものであるが、例えば、撮像画像３０の各画素の色差が閾値以上ある部分を検出すること等により枠線３２ａ，３２ｂを検出し、検出した枠線３２ａ，３２ｂのうち前後方向Ｄ１に平行な部分を基準線とすることができる。

【0050】

図７は、第１実施形態の基準線Ｌの一例を示す図である。図７において、基準線検出部１０４のルールベース処理により検出された、一方の関心領域Ｒａ内の基準線Ｌが例示されている。本例の基準線Ｌは、関心領域Ｒａ内に存在する枠線３２ａの駐車領域Ｅ側の直線３５ａ（駐車領域Ｅの路面と枠線３２ａとの境界線）と一致している。なお、他方の関心領域Ｒｂについても、上記と同様に基準線が検出される。

【0051】

図３に戻り、第２の処理部１２０の補正部１０５は、関心領域（例えば関心領域Ｒａ）内に存在する隅（例えば隅Ｐｆａ，Ｐｒａ）の位置を当該関心領域内で検出された基準線Ｌに近付けるように補正する。このとき、補正部１０５は、当該隅（例えば隅Ｐｆａ，Ｐｒａ）の位置を前後方向Ｄ１に直交する左右方向Ｄ２に沿って移動させることにより、対応する基準線（例えば関心領域Ｒａ内の基準線Ｌ）に近付けるように補正することが好ましい。これにより、各隅の位置を効率的に補正できると共に、過剰な補正を防止できる。過剰な補正とは、例えば、一方の隅（例えば隅Ｐｆａ）が他方の隅（例えば隅Ｐｒａ）に過剰に接近してしまうような補正である。上記のような補正処理は、両方の関心領域Ｒａ，Ｒｂについて実行される。

【0052】

図８は、第１実施形態の隅Ｐｆａ，Ｐｒａの位置の補正処理の一例を示す図である。図８において、一方の枠線３２ａに対応する関心領域Ｒａ内に存在する２つの隅Ｐｆａ，Ｐｒａの位置を補正する場合が例示されている。本例では、補正前の前側の隅Ｐｆａが基準線Ｌより外側に位置し、補正前の後側の隅Ｐｒａが基準線Ｌより内側に位置している。このような場合、前側の隅Ｐｆａは、左右方向Ｄ２に沿って基準線Ｌに達するまで内側（図中左側）に移動され、後ろ側の隅Ｐｒａは、左右方向Ｄ２に沿って基準線Ｌに達するまで外側（図中右側）に移動される。これにより、補正後の前側の隅Ｐｆａ´及び補正後の後側の隅Ｐｒａ´は、基準線Ｌ上に乗ることとなる。このような補正処理は、他方の関心領域Ｒｂ内に存在する２つの隅Ｐｆｂ，Ｐｒｂについても実行される。

【0053】

図３に戻り、第２の処理部１２０の決定部１０６は、補正部１０５により補正された四隅の位置を示す補正後隅位置情報に基づいて駐車領域Ｅの位置（大きさ及び形状を含む）を決定する。

【0054】

図９は、第１実施形態の駐車領域Ｅの決定方法の一例を示す図である。図９に示されるように、本実施形態の決定部１０６は、補正後の四隅Ｐｆａ´，Ｐｆｂ´，Ｐｒａ´，Ｐｒｂ´により囲まれた領域を駐車領域Ｅとして決定する。

【0055】

図３に戻り、駐車支援処理部１０７は、決定部１０６により決定された駐車領域Ｅに関する駐車領域情報に基づいて、車両１０を当該駐車領域Ｅに駐車させるための駐車支援処理を行う。駐車支援処理の具体的内容は特に限定されるべきものではないが、例えば駐車支援処理には舵角制御、速度制御、乗員に対する画像や音声の出力等が含まれ得る。

【0056】

図１０は、第１実施形態の駐車領域検出装置（ＥＣＵ２４）による処理の一例を示すフローチャートである。取得部１０１が撮像部１４から車両１０の周辺を撮像した撮像画像３０を取得すると（Ｓ１０１）、隅位置推定部１０２は、学習済みモデルにより当該撮像画像３０内における駐車領域Ｅの四隅Ｐｆａ，Ｐｆｂ，Ｐｒａ，Ｐｒｂの位置を推定する（Ｓ１０２）。

【0057】

その後、関心領域設定部１０３は、推定された四隅Ｐｆａ，Ｐｆｂ，Ｐｒａ，Ｐｒｂの位置に基づいて、撮像画像３０に関心領域Ｒａ，Ｒｂを設定する（Ｓ１０３）。その後、基準線検出部１０４は、関心領域Ｒａ，Ｒｂに対してルールベース処理を実行し、２つの関心領域Ｒａ，Ｒｂのそれぞれについて、駐車領域Ｅの前後方向Ｄ１に平行な直線（直線３５ａ，３５ｂ）に対応する基準線Ｌを検出する（Ｓ１０４）。

【0058】

その後、補正部１０５は、各関心領域Ｒａ，Ｒｂ内の隅Ｐｆａ，Ｐｆｂ，Ｐｒａ，Ｐｒｂの位置を各関心領域Ｒａ，Ｒｂ内で検出された基準線Ｌに近付けるように補正する（Ｓ１０５）。このとき、補正部１０５は、各隅Ｐｆａ，Ｐｆｂ，Ｐｒａ，Ｐｒｂの位置を左右方向Ｄ２に沿って移動させてそれぞれ対応する基準線Ｌに近付けることにより補正する。

【0059】

そして、決定部１０６は、補正後の四隅Ｐｆａ´，Ｐｆｂ´，Ｐｒａ´，Ｐｒｂ´の位置に基づいて駐車領域Ｅの位置を決定する（Ｓ１０６）。

【0060】

上記本実施形態によれば、機械学習により生成された学習済みモデルを利用して、撮像画像から駐車領域の第１方向に沿った２辺のそれぞれに対応する関心領域を設定し、各関心領域に対して予め定められたルールに基づくルールベース処理を実行し、実行結果に基づいて、駐車領域の位置を決定する。より具体的には、本実施形態では。先ず、学習済みモデルを利用したＡＩ型手法により、車両１０の周辺を撮像した撮像画像３０から駐車領域Ｅの四隅Ｐｆａ，Ｐｆｂ，Ｐｒａ，Ｐｒｂの位置が推定される。ＡＩ型手法においては、駐車領域Ｅを区画する枠線３２の状態の制限が比較的低いため、枠線３２の状態があまり良好でない場合であっても四隅Ｐｆａ，Ｐｆｂ，Ｐｒａ，Ｐｒｂの位置を推定できる。その後、四隅Ｐｆａ，Ｐｆｂ，Ｐｒａ，Ｐｒｂの位置の推定結果に基づいて駐車領域Ｅの前後方向Ｄ１に沿った２辺のそれぞれに対応する関心領域Ｒａ，Ｒｂが設定され、各関心領域Ｒａ，Ｒｂに対するルールベース処理（ルールベース型手法）により基準線Ｌが検出される。基準線Ｌの検出をルールベース型手法により行うことにより、検出精度を向上させることができる。そして、上記のように検出された基準線Ｌに基づいて、ＡＩ型手法により推定された四隅Ｐｆａ，Ｐｆｂ，Ｐｒａ，Ｐｒｂの位置を補正することにより、駐車領域Ｅの位置を高精度に特定できる。以上のように、本実施形態によれば、ルールベース型手法及びＡＩ型手法の両方を効率的に利用して、車両１０の周辺を撮像した撮像画像３０から駐車領域Ｅを高精度に検出することが可能となる。

【0061】

また、上記のように、駐車領域Ｅの前後方向Ｄ１を関心領域Ｒａ，Ｒｂの長手方向に対応する第１方向とし、駐車領域Ｅの左右方向Ｄ２を補正処理における四隅Ｐｆａ，Ｐｆｂ，Ｐｒａ，Ｐｒｂの位置の移動方向に対応する第２方向とすることにより、駐車領域Ｅの左右方向Ｄ２の長さ（横幅）を高精度に検出することが可能となる。

【0062】

（第２実施形態）
上記第１実施形態においては、駐車領域Ｅの前後方向Ｄ１を第１方向とし、駐車領域Ｅの左右方向Ｄ２を第２方向とする場合について説明したが、左右方向Ｄ２を第１方向とし、前後方向Ｄ１を第２方向としてもよい。

【0063】

図１１は、第２実施形態の関心領域Ｒｆ，Ｒｒの一例を示す図である。本実施形態の駐車領域Ｅの枠線３２は、右側の枠線３２ａ、左側の枠線３２ｂ、前方の枠線３２ｃ及び後方の枠線３２ｄを含む。本実施形態では、前方の枠線３２ｃに対応する関心領域Ｒｆと、後方の枠線３２ｄに対応する関心領域Ｒｒと、が設定される。関心領域Ｒｆは、隅位置推定部１０２により推定された四隅Ｐｆａ，Ｐｆｂ，Ｐｒａ，Ｐｒｂのうち、前方の枠線３２ｃに沿って存在する２つの隅Ｐｆａ，Ｐｆｂを含む。関心領域Ｒｒは、隅位置推定部１０２により推定された四隅Ｐｆａ，Ｐｆｂ，Ｐｒａ，Ｐｒｂのうち、後方の枠線３２ｄに沿って存在する２つの隅Ｐｒａ，Ｐｒｂを含む。

【0064】

図１２は、第２実施形態の基準線Ｌ及び隅Ｐｆａ，Ｐｆｂの位置の補正方法の一例を示す図である。図１２において、前方の枠線３２ｃに対応する関心領域Ｒｆ内における基準線Ｌが例示されている。当該基準線Ｌは、関心領域Ｒｆ内に存在する枠線３２ｃのうち左右方向Ｄ２（本実施形態における第１方向）に平行な部分（例えば枠線３２ｃの駐車領域Ｅ側の直線）に対応する線である。

【0065】

本実施形態の補正部１０５は、当該関心領域Ｒｆに含まれる隅Ｐｆａ，Ｐｆｂを、当該関心領域Ｒｆ内で検出された基準線Ｌに近付けるように補正する。このとき、補正部１０５は、これらの隅Ｐｆａ，Ｐｆｂの位置を駐車領域Ｅの前後方向Ｄ１（本実施形態における第２方向）に沿って基準線Ｌに達するまで移動させる。これにより、補正後の隅Ｐｆａ´，Ｐｆｂ´は、基準線Ｌ上に位置することとなる。

【0066】

なお、上記においては、駐車領域Ｅの前方側における関心領域Ｒｆの設定及び隅Ｐｆａ，Ｐｆｂの位置の補正について説明したが、駐車領域Ｅの後方側における関心領域Ｒｒの設定及び隅Ｐｒａ，Ｐｒｂの位置の補正も上記と同様に実施できる。

【0067】

上記のように、左右方向Ｄ２を第１方向とし、前後方向Ｄ１を第２方向とすることにより、駐車領域Ｅの前後方向Ｄ１の長さや車両１０の停止位置等を高精度に検出することが可能となる。

【0068】

上記実施形態では、機械学習により生成された学習済みモデルを利用して、撮像画像から駐車領域の第１方向に沿った２辺のそれぞれに対応する関心領域を設定する第１の処理部１１０の例として、隅位置推定部１０２により、撮像画像から学習済みモデルにより駐車領域の４つの隅位置を推定し、関心領域設定部１０３により、推定された４つの隅位置から関心領域を設定していた。ただし、関心領域の設定手法は、学習済みモデルを用いる処理であればよく、これに限定されるものではなく、他の手法によって実現することができる。

【0069】

上記実施形態では、各関心領域に対して予め定められたルールに基づくルールベース処理を実行し、実行結果に基づいて、駐車領域の位置を決定する第２の処理部１２０の例として、基準線検出部１０４により、ルールベース処理を実行することにより、各関心領域内に存在する第１方向に平行な直線である基準線を検出し、補正部１０５により、関心領域内に存在する隅の位置を当該関心領域内で検出された基準線に近付けるように補正し、決定部１０６により、補正された隅の位置に基づいて駐車領域の位置を決定していた。ただし、駐車領域の位置の決定手法としては。ルールベース処理を実行するものであれば、これに限定されるものではなく、他の手法によって実現することができる。

【0070】

上記実施形態の駐車領域検出装置の機能を実現するためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

【0071】

さらに、当該プログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、当該プログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。

【0072】

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0073】

１０…車両、１４，１４ａ，１４ｂ，１４ｃ，１４ｄ…撮像部、２４…ＥＣＵ、３０…撮像画像、３２，３２ａ，３２ｂ，３２ｃ，３２ｄ…枠線、１００…駐車支援システム、１０１…取得部、１０２…隅位置推定部、１０３…関心領域設定部、１０４…基準線検出部、１０５…補正部、１０６…決定部、１０７…駐車支援処理部、Ｅ…駐車領域、Ｄ１…前後方向、Ｄ２…左右方向、Ｌ…基準線、Ｐｆａ，Ｐｆｂ，Ｐｒａ，Ｐｒｂ，Ｐｆａ´，Ｐｆｂ´，Ｐｒａ´，Ｐｒｂ´…隅、Ｒａ，Ｒｂ，Ｒｆ，Ｒｒ…関心領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】