特開 2024-135335 駐車支援装置、駐車支援方法、及び駐車支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024135335

(43)【公開日】2024-10-04

(54)【発明の名称】駐車支援装置、駐車支援方法、及び駐車支援プログラム

(51)【国際特許分類】

   B60W 30/06 20060101AFI20240927BHJP

   G06T 7/00 20170101ALI20240927BHJP

   G06T 7/70 20170101ALI20240927BHJP

   G08G 1/16 20060101ALI20240927BHJP

   B60R 99/00 20090101ALN20240927BHJP

【ＦＩ】

B60W30/06

G06T7/00 650Z

G06T7/70 Z

G08G1/16 D

B60R99/00 330

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023045962

(22)【出願日】2023-03-22

(71)【出願人】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】浅井 彰司

(72)【発明者】

【氏名】早川 和孝

(72)【発明者】

【氏名】上田 康貴

【テーマコード（参考）】

3D241

5H181

5L096

【Ｆターム（参考）】

3D241BA21

3D241CE05

3D241DA52Z

3D241DB32Z

5H181AA01

5H181BB13

5H181CC04

5H181LL01

5H181LL02

5H181LL17

5L096AA13

5L096BA04

5L096CA05

5L096DA05

5L096FA26

5L096FA67

5L096FA69

5L096HA02

(57)【要約】

【課題】照明条件の悪い環境において、駐車スペースに対する車両の位置及び姿勢を、セマンティック・セグメンテーション等の手法に比して少ない算出量で推定する。
【解決手段】駐車支援装置１０は、駐車スペースと第１位置との間の車両の位置変化量及び姿勢変化量を示すオドメトリ情報を取得するオドメトリ情報取得部３０と、第１位置から撮像された第１画像内における駐車スペースの路面領域を、オドメトリ情報に基づいて特定する路面領域特定部３２と、第２位置から撮像された第２画像内における路面領域と、第１画像内における路面領域とを比較することにより、第１位置と第２位置との間の車両の位置変化量及び姿勢変化量を示す相対位置姿勢情報を算出し、オドメトリ情報及び相対位置姿勢情報に基づいて、車両が第２位置に位置している場合の駐車スペースに対する車両の位置及び姿勢を示す位置姿勢推定情報を出力する位置姿勢推定部３４とを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

駐車スペースと、前記駐車スペースの外の第１位置との間の車両の位置変化量及び姿勢変化量を示すオドメトリ情報を取得するオドメトリ情報取得部と、
前記車両に搭載された車載カメラによって前記第１位置から撮像された第１画像内における前記駐車スペースの路面領域を、前記オドメトリ情報に基づいて特定する路面領域特定部と、
前記駐車スペースの外の前記第１位置とは異なる第２位置から前記車載カメラによって撮像された第２画像内における前記路面領域と、前記第１画像内における前記路面領域とを比較することにより、前記第１位置と前記第２位置との間の前記車両の位置変化量及び姿勢変化量を示す相対位置姿勢情報を算出し、前記オドメトリ情報及び前記相対位置姿勢情報に基づいて、前記車両が前記第２位置に位置している場合の前記駐車スペースに対する前記車両の位置及び姿勢を示す位置姿勢推定情報を出力する位置姿勢推定部と、
を備える駐車支援装置。

【請求項2】

前記位置姿勢推定部は、前記第１画像内における前記路面領域に含まれる画素の輝度値と、前記第２画像内における前記路面領域に含まれる画素の輝度値とに基づいて、前記第１画像及び前記第２画像間のホモグラフィ行列を算出し、前記ホモグラフィ行列を分解することにより、前記相対位置姿勢情報を算出する、
請求項１に記載の駐車支援装置。

【請求項3】

前記位置姿勢推定情報に基づいて、前記車両を前記第２位置から前記駐車スペースに駐車させる制御を行う駐車制御部を備える
請求項１又は請求項２に記載の駐車支援装置。

【請求項4】

駐車スペースと、前記駐車スペースの外の第１位置との間の車両の位置変化量及び姿勢変化量を示すオドメトリ情報を取得するオドメトリ情報取得ステップと、
前記車両に搭載された車載カメラによって前記第１位置から撮像された第１画像内における前記駐車スペースの路面領域を、前記オドメトリ情報に基づいて特定する路面領域特定ステップと、
前記駐車スペースの外の前記第１位置とは異なる第２位置から前記車載カメラによって撮像された第２画像内における前記路面領域と、前記第１画像内における前記路面領域とを比較することにより、前記第１位置と前記第２位置との間の前記車両の位置変化量及び姿勢変化量を示す相対位置姿勢情報を算出し、前記オドメトリ情報及び前記相対位置姿勢情報に基づいて、前記車両が前記第２位置に位置している場合の前記駐車スペースに対する前記車両の位置及び姿勢を示す位置姿勢推定情報を出力する位置姿勢推定ステップと、
を備える駐車支援方法。

【請求項5】

駐車スペースと、前記駐車スペースの外の第１位置との間の車両の位置変化量及び姿勢変化量を示すオドメトリ情報を取得するオドメトリ情報取得ステップと、
前記車両に搭載された車載カメラによって前記第１位置から撮像された第１画像内における前記駐車スペースの路面領域を、前記オドメトリ情報に基づいて特定する路面領域特定ステップと、
前記駐車スペースの外の前記第１位置とは異なる第２位置から前記車載カメラによって撮像された第２画像内における前記路面領域と、前記第１画像内における前記路面領域とを比較することにより、前記第１位置と前記第２位置との間の前記車両の位置変化量及び姿勢変化量を示す相対位置姿勢情報を算出し、前記オドメトリ情報及び前記相対位置姿勢情報に基づいて、前記車両が前記第２位置に位置している場合の前記駐車スペースに対する前記車両の位置及び姿勢を示す位置姿勢推定情報を出力する位置姿勢推定ステップと、
をコンピュータに実行させるための駐車支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、駐車支援装置、駐車支援方法、及び駐車支援プログラムに関する。

【背景技術】

【0002】

車両を駐車させる場合の支援を行う駐車支援装置としては、例えば、次の技術が公知である。すなわち、特許文献１に記載の駐車支援装置は、車両の周囲を撮像するように車両に取り付けられたカメラと、該カメラによって撮像された車両を駐車させる駐車場の画像に基づいて駐車場に関する情報を取得して駐車場情報として登録し、該駐車場情報を用いて車両を駐車場に自動的に駐車させる制御手段とを備える。

【0003】

制御手段は、車両が駐車場の入口付近で停止しているときに駐車場情報を取得して登録し、当該駐車場への車両の駐車が完了したときに駐車場情報を取得して登録するように構成されている。また、制御手段は、カメラによって撮像された駐車場の画像中の特徴点に関する情報を駐車場情報として登録するように構成されている。この駐車支援装置によれば、車両を駐車場に駐車させるために車両を自動的に走行させているときに、車両と駐車場との位置関係を正確に把握することができるとされている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－０６２７１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記特許文献１に記載の駐車支援装置では、照明条件の良い環境では、画像から特徴点（例えば、物体又は模様のコーナーなど）を検出し、特徴点周辺の輝度パターンを用いて画像間で特徴点を対応付けることにより、駐車スペースに対する車両の位置姿勢を推定することができる。しかしながら、夜間の屋外駐車場など照明条件の悪い環境では、特徴点の誤対応が多いため、車両の位置姿勢を正確に推定することが困難である。

【0006】

ここで、画像中の平面が映る領域を特定できれば、車両の位置姿勢を推定できる。なお、平面が映る領域の特定方法として、セマンティック・セグメンテーション等の手法があるが、これらの手法では算出量が多い。

【0007】

本開示の技術は、上記の事情に鑑みてなされたものであり、照明条件の悪い環境において、駐車スペースに対する車両の位置及び姿勢を、セマンティック・セグメンテーション等の手法に比して少ない算出量で推定することができる駐車支援装置、駐車支援方法、及び駐車支援プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本開示の技術に係る第１態様は、駐車スペースと、前記駐車スペースの外の第１位置との間の車両の位置変化量及び姿勢変化量を示すオドメトリ情報を取得するオドメトリ情報取得部と、前記車両に搭載された車載カメラによって前記第１位置から撮像された第１画像内における前記駐車スペースの路面領域を、前記オドメトリ情報に基づいて特定する路面領域特定部と、前記駐車スペースの外の前記第１位置とは異なる第２位置から前記車載カメラによって撮像された第２画像内における前記路面領域と、前記第１画像内における前記路面領域とを比較することにより、前記第１位置と前記第２位置との間の前記車両の位置変化量及び姿勢変化量を示す相対位置姿勢情報を算出し、前記オドメトリ情報及び前記相対位置姿勢情報に基づいて、前記車両が前記第２位置に位置している場合の前記駐車スペースに対する前記車両の位置及び姿勢を示す位置姿勢推定情報を出力する位置姿勢推定部とを備える駐車支援装置である。

【0009】

本開示の技術に係る第２態様は、第１態様に係る駐車支援装置において、前記位置姿勢推定部は、前記第１画像内における前記路面領域に含まれる画素の輝度値と、前記第２画像内における前記路面領域に含まれる画素の輝度値とに基づいて、前記第１画像及び前記第２画像間のホモグラフィ行列を算出し、前記ホモグラフィ行列を分解することにより、前記相対位置姿勢情報を算出する駐車支援装置である。

【0010】

本開示の技術に係る第３態様は、第１態様又は第２態様に係る駐車支援装置において、前記位置姿勢推定情報に基づいて、前記車両を前記第２位置から前記駐車スペースに駐車させる制御を行う駐車制御部を備える駐車支援装置である。

【0011】

本開示の技術に係る第４態様は、駐車スペースと、前記駐車スペースの外の第１位置との間の車両の位置変化量及び姿勢変化量を示すオドメトリ情報を取得するオドメトリ情報取得ステップと、前記車両に搭載された車載カメラによって前記第１位置から撮像された第１画像内における前記駐車スペースの路面領域を、前記オドメトリ情報に基づいて特定する路面領域特定ステップと、前記駐車スペースの外の前記第１位置とは異なる第２位置から前記車載カメラによって撮像された第２画像内における前記路面領域と、前記第１画像内における前記路面領域とを比較することにより、前記第１位置と前記第２位置との間の前記車両の位置変化量及び姿勢変化量を示す相対位置姿勢情報を算出し、前記オドメトリ情報及び前記相対位置姿勢情報に基づいて、前記車両が前記第２位置に位置している場合の前記駐車スペースに対する前記車両の位置及び姿勢を示す位置姿勢推定情報を出力する位置姿勢推定ステップとを備える駐車支援方法である。

【0012】

本開示の技術に係る第５態様は、駐車スペースと、前記駐車スペースの外の第１位置との間の車両の位置変化量及び姿勢変化量を示すオドメトリ情報を取得するオドメトリ情報取得ステップと、前記車両に搭載された車載カメラによって前記第１位置から撮像された第１画像内における前記駐車スペースの路面領域を、前記オドメトリ情報に基づいて特定する路面領域特定ステップと、前記駐車スペースの外の前記第１位置とは異なる第２位置から前記車載カメラによって撮像された第２画像内における前記路面領域と、前記第１画像内における前記路面領域とを比較することにより、前記第１位置と前記第２位置との間の前記車両の位置変化量及び姿勢変化量を示す相対位置姿勢情報を算出し、前記オドメトリ情報及び前記相対位置姿勢情報に基づいて、前記車両が前記第２位置に位置している場合の前記駐車スペースに対する前記車両の位置及び姿勢を示す位置姿勢推定情報を出力する位置姿勢推定ステップと、をコンピュータに実行させるための駐車支援プログラムである。

【発明の効果】

【0013】

本開示の技術によれば、照明条件の悪い環境において、駐車スペースに対する車両の位置及び姿勢を、セマンティック・セグメンテーション等の手法に比して少ない算出量で推定することができる。

【図面の簡単な説明】

【0014】

【図1】実施形態に係る駐車支援システムの構成の一例を示すブロック図である。

【図2】実施形態に係る駐車支援装置の機能的な構成の一例を示すブロック図である。

【図3】駐車スペースと駐車スペースの外の第１位置との位置関係の一例を示す平面図である。

【図4】第１位置から車載カメラによって撮像された第１画像の一例を示す図である。

【図5】各車載カメラのカメラ座標系と車両座標系との位置関係を示す平面図である。

【図6】第１画像内における画像座標系と路面領域の各端点との位置関係の一例を示す図である。

【図7】駐車スペースと第１位置と第２位置との位置関係の一例を示す平面図である。

【図8】第２位置から車載カメラによって撮像された第２画像の一例を示す図である。

【図9】実施形態に係る駐車支援処理の流れの一例を示すフローチャートである。

【図10】実施形態に係るホモグラフィ行列最適値算出処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0015】

以下、図面を参照して、本開示の技術を実施するための形態の一例について詳細に説明する。なお、動作、作用、機能が同じ働きを担う構成要素及び処理には、全図面を通して同じ符号を付与し、重複する説明を適宜省略する場合がある。各図面は、本開示の技術を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本開示の技術は、図示例のみに限定されるものではない。また、本実施形態では、本開示の技術と直接的に関連しない構成又は周知な構成については、説明を省略する場合がある。

【0016】

図１は、本実施形態に係る駐車支援システム１００の構成の一例を示すブロック図である。本実施形態に係る駐車支援システム１００は、車両４０に搭載されている。車両４０は、例えば、乗用自動車等のどのような車両でもよい。駐車支援システム１００は、車両４０を駐車させる場合の支援を行うシステムであり、駐車支援装置１０と、車輪速センサ２０と、操舵角センサ２１と、車載カメラ２２とを備えている。

【0017】

車載カメラ２２は、車両４０に設置されており、車両４０の周辺を撮影する。車載カメラ２２は、路面を撮影可能な状態で設置されていればよく、車両４０における設置場所は特に限定されない。車載カメラ２２には、例えば、単眼カメラが適用されるが、これに限定されず、ステレオカメラ等であってもよい。

【0018】

車載カメラ２２は、例えば、車載カメラ２２の光軸が水平方向より若干下側を向くように配置される。車載カメラ２２は、駐車支援装置１０と通信可能に接続されており、撮影した画像を駐車支援装置１０に送る。なお、車両４０には、一つの車載カメラ２２が搭載されていてもよく、複数の車載カメラ２２が搭載されていてもよい。以下、車両４０に複数の車載カメラ２２（例えば、車体の前後左右にそれぞれ設置された４つの車載カメラ２２）が搭載された例を説明する。

【0019】

車輪速センサ２０は、車両４０に設けられた車輪の車輪速を計測する。車輪速センサ２０は、計測した車輪速のデータを駐車支援装置１０に送信する。車輪速センサ２０には、車輪に対して設けられたエンコーダが用いられてもよい。また、車両４０がハイブリッド車等の駆動用モータを備えた車両である場合には、車輪速センサ２０として、駆動用モータに設けられたエンコーダが用いられてもよい。

【0020】

操舵角センサ２１は、車両４０の操舵角を計測する。操舵角センサ２１は、計測した操舵角のデータを駐車支援装置１０に送信する。

【0021】

駐車支援装置１０は、車両制御用コンピュータであるＥＣＵ（Electronic Control Unit）の一部によって実現されてもよいし、ＥＣＵとは別の車載コンピュータによって実現されてもよい。

【0022】

駐車支援装置１０は、ＣＰＵ（Central Processing Unit）１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、入出力インタフェース（Ｉ／Ｏ）１４と、記憶部１５と、外部インタフェース（外部Ｉ／Ｆ）１６とを備えている。

【0023】

ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、及びＩ／Ｏ１４は、バスを介して各々接続されている。Ｉ／Ｏ１４には、記憶部１５と、外部Ｉ／Ｆ１６とを含む各機能部が接続されている。これらの各機能部は、Ｉ／Ｏ１４を介して、ＣＰＵ１１と相互に通信可能とされる。

【0024】

ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、及びＩ／Ｏ１４によって制御部が構成される。制御部は、駐車支援装置１０の一部の動作を制御するサブ制御部として構成されてもよいし、駐車支援装置１０の全体の動作を制御するメイン制御部の一部として構成されてもよい。

【0025】

制御部の各ブロックの一部又は全部には、例えば、ＬＳＩ（Large Scale Integration）等の集積回路又はＩＣ（Integrated Circuit）チップセットが用いられてもよい。また、上記各ブロックに個別の回路が用いられてもよいし、一部又は全部を集積した回路が用いられてもよい。また、上記各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、上記各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。制御部の集積化には、ＬＳＩに限らず、専用回路又は汎用プロセッサが用いられてもよい。

【0026】

記憶部１５としては、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又はフラッシュメモリ等が用いられる。記憶部１５には、本実施形態に係る駐車支援プログラム１５Ａが記憶される。なお、この駐車支援プログラム１５Ａは、ＲＯＭ１２に記憶されていてもよい。

【0027】

駐車支援プログラム１５Ａは、例えば、駐車支援装置１０に予めインストールされていてもよい。また、駐車支援プログラム１５Ａは、不揮発性の記憶媒体に記憶され、又はネットワークを介して配布されて、駐車支援装置１０に適宜インストールされることで実現されてもよい。なお、不揮発性の記憶媒体の例としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）、光磁気ディスク、ＨＤＤ、ＤＶＤ-ＲＯＭ（Digital Versatile Disc Read Only Memory）、フラッシュメモリ、及びメモリカード等が挙げられる。

【0028】

外部Ｉ／Ｆ１６は、車輪速センサ２０、操舵角センサ２１、及び車載カメラ２２の各々と通信可能に接続するためのインタフェースである。

【0029】

本実施形態に係る駐車支援装置１０のＣＰＵ１１は、記憶部１５に記憶されている駐車支援プログラム１５ＡをＲＡＭ１３に書き込んで実行することにより、図２に示す各部として機能する。

【0030】

図２は、本実施形態に係る駐車支援装置１０の機能的な構成の一例を示すブロック図である。本実施形態に係る駐車支援装置１０のＣＰＵ１１は、オドメトリ情報取得部３０、路面領域特定部３２、位置姿勢推定部３４、及び駐車制御部３６として機能する。

【0031】

図３は、駐車スペースＰ０と第１位置Ｐ１との位置関係の一例を示す平面図である。第１位置Ｐ１は、駐車スペースＰ０の外の位置であり、任意の位置である。一例として、第１位置Ｐ１は、駐車スペースＰ０の出口付近の位置である。第１位置Ｐ１は、車両４０が駐車スペースＰ０に入庫する場合の位置でもよく、車両４０が駐車スペースＰ０から出庫した場合の位置でもよい。また、車両４０の運転は、運転者による手動運転でもよく、自動運転システムによる自動運転でもよい。

【0032】

オドメトリ情報取得部３０は、車両４０が駐車スペースＰ０と第１位置Ｐ１との間を移動する場合に車輪速センサ２０及び操舵角センサ２１によって計測された計測値を取得し、取得した計測値に基づいてオドメトリ情報を算出することで、オドメトリ情報を取得する。

【0033】

車輪速センサ２０と操舵角センサ２１の計測値は、車両４０が駐車スペースＰ０と第１位置Ｐ１との間を移動した場合に得られる車両４０の走行履歴情報の一例である。オドメトリ情報は、駐車スペースＰ０と第１位置Ｐ１との間の車両４０の位置変化量及び姿勢変化量を示す情報である。

【0034】

オドメトリ情報は、駐車スペースＰ０に駐車された車両４０の後輪軸中心に駐車場座標系（Ｘ_ｐ－Ｙ_ｐ座標系）の原点が設定された場合に、後輪軸中心の位置（ｘ_ν０，ｙ_ν０）とヨー角θ_ν０で表される。ただし、Ｘ_ｐ軸は、駐車スペースＰ０に駐車された車両４０の前後方向に延びる座標軸であり、Ｙ_ｐ軸は、駐車スペースＰ０に駐車された車両４０の幅方向に延びる座標軸である。以下、オドメトリ情報を、オドメトリ情報（ｘ_ν０，ｙ_ν０，θ_ν０）と称する場合がある。

【0035】

オドメトリ情報（ｘ_ν０，ｙ_ν０，θ_ν０）の算出式を以下に説明する。なお、以下、駐車場座標系（Ｘ_ｐ－Ｙ_ｐ座標系）の原点に対する後輪軸中心の位置を車両位置（ｘ_ν，ｙ_ν）と称する。

【0036】

ここでは、サンプリング周期をＴ［ｓ］、ｋ回目のサンプリングにおける各種状態量を・（ｋ）で表す。以下、一例として、出庫するケースで説明する。ｋ＝０では、車両４０が駐車スペースＰ０に駐車されているとする。

【0037】

車輪速センサ２０で計測された車輪速ω_ｔ（ｋ）［ｒａｄ/ｓ］から、車輪（タイヤ）の半径Ｒ_ｔ［ｍ］を用いて、車速Ｖ（ｋ）［ｍ／ｓ］が次式で算出される。

【数1】

【0038】

操舵角センサ２１で計測されたハンドル角θ_ｈ（ｋ）［ｒａｄ］から、ステアリングギア比Ｇ_ｓを用いて、前輪舵角θ_ｆ（ｋ）［ｒａｄ］が次式で算出される。

【数2】

【0039】

車速Ｖ（ｋ）と前輪舵角θ_ｆ（ｋ）から、ホイールベースＬ_ｗｂ［ｍ］を用いて、ヨーレートω_ν（ｋ）［ｒａｄ／ｓ］が次式で算出される。

【数3】

【0040】

ヨーレートω_ν（ｋ）から、ヨー角θ_ν（ｋ）［ｒａｄ］が次式で算出される。なお、θ_ν（０）＝０である。

【数4】

【0041】

車速Ｖ（ｋ）とヨー角θ_ν（ｋ）から、車両位置（ｘ_ν（ｋ），ｙ_ν（ｋ））が次式で算出される。なお、ｘ_ν（０）＝０、ｙ_ν（０）＝０である。

【数5】

【0042】

車両４０が第１位置Ｐ１に位置している場合のオドメトリ情報（ｘ_ν（ｋ），ｙ_ν（ｋ），θ_ν（ｋ）)は、（ｘ_ν０，ｙ_ν０，θ_ν０)で表される。

【0043】

図４は、第１位置Ｐ１から車載カメラ２２によって撮像された第１画像５１の一例を示す図である。路面領域特定部３２は、車載カメラ２２によって第１位置Ｐ１から撮像された第１画像５１を取得し、取得した第１画像５１内における駐車スペースＰ０の路面領域Ａを、オドメトリ情報（ｘ_ν０，ｙ_ν０，θ_ν０)に基づいて特定する。

【0044】

ここで、実空間での駐車スペースＰ０の路面領域Ａは、車両４０の全長及び全幅で定まる長方形として扱われる。第１画像５１は、車両４０に搭載された複数の車載カメラ２２（すなわち、車体の前後左右にそれぞれ設置された４つの車載カメラ２２）のうちのどの車載カメラ２２で撮影された画像でもよい。

【0045】

図５は、各車載カメラ２２のカメラ座標系（Ｘ_ｃ－Ｚ_ｃ座標系）と車両座標系（Ｘ_ν－Ｙ_ν座標系）との位置関係を示す平面図である。車両座標系（Ｘ_ν－Ｙ_ν座標系）は、後輪軸中心に設定されている。以下の説明では、各車載カメラ２２のカメラ座標系（Ｘ_ｃ－Ｚ_ｃ座標系）について、車両座標系（Ｘ_ν－Ｙ_ν座標系）に対する相対位置及び相対姿勢が予め得られていることとする。したがって、車両座標系（Ｘ_ν－Ｙ_ν座標系）に対するカメラ座標系（Ｘ_ｃ－Ｚ_ｃ座標系）の相対位置及び相対姿勢と、オドメトリ情報（ｘ_ν０，ｙ_ν０，θ_ν０)を用いて、第１画像５１内における駐車スペースＰ０の路面領域Ａを特定することが可能である。このように、セマンティック・セグメンテーション等の算出量の多い手法を使わずに、オドメトリ情報に基づいて第１画像５１内における路面領域Ａを特定することで、算出リソースを削減して低コスト化することができる。

【0046】

第１画像５１内における路面領域Ａの算出式を以下に説明する。ここでは、車両４０について、全長をＬ_ν［ｍ］、全幅をＷ_ν［ｍ］、後輪軸中心から車体後端までの距離をＬ_ｒ［ｍ］とする。図３に示す駐車場座標系（Ｘ_ｐ－Ｙ_ｐ座標系）における路面領域Ａの４つの端点を、端点Ｐ_１、Ｐ_２、Ｐ_３、Ｐ_４とした場合、端点Ｐ_１、Ｐ_２、Ｐ_３、Ｐ_４の各位置が次式のベクトルｐ_１＿ｐ、ｐ_２＿ｐ、ｐ_３＿ｐ、ｐ_４＿ｐで表される。なお、Ｔは転置を表す。

【数6】

【0047】

車両座標系（Ｘ_ν－Ｙ_ν座標系）における端点Ｐｉ（ｉ＝１、２、３、４）の位置をベクトルｐ_ｉ＿νとすると、ベクトルｐ_ｉ＿νが次式で算出される。

【数7】

【0048】

図６は、第１画像５１内における画像座標系（ｕ－ν座標系）と路面領域Ａの各端点Ｐ_１、Ｐ_２、Ｐ_３、Ｐ_４との位置関係の一例を示す図である。画像座標系（ｕ－ν座標系）の原点は、第１画像５１の複数の端点のうちの一の端点（一例として、左上の端点）に設定されている。ｕ座標軸は、第１画像５１の横方向に延びる座標軸であり、ν座標軸は、第１画像５１の縦方向に延びる座標軸である。第１画像５１内における路面領域Ａの各端点Ｐ_１、Ｐ_２、Ｐ_３、Ｐ_４の位置は、（Ｕ_ｐ１，ν_ｐ１）、（Ｕ_ｐ２，ν_ｐ２）、（Ｕ_ｐ３，ν_ｐ３）、（Ｕ_ｐ４，ν_ｐ４）で表される。

【0049】

Ｐ_ｉ＿ν＝［ｘ_ｉ＿ν，ｙ_ｉ＿ν，０］^Ｔから、図６に示す画像座標系（ｕ－ν座標系）における各端点Ｐ_ｉ（ｉ＝１、２、３、４）の位置（ｕ_ｐｉ，ν_ｐｉ）は、車載カメラ２２の内部パラメータ行列Ｋと外部パラメータ行列Ｔ_ｅｘｔを用いて、次式で算出される。ただし、ｆは車載カメラ２２の焦点距離であり、（ｃ_ｘ，ｃ_ｙ）は第１画像５１の中心座標であり、Ｔ_１１～Ｔ_３４は外部パラメータ行列であり、いずれも既知である。

【数8】

【0050】

図７は、駐車スペースＰ０と第１位置Ｐ１と第２位置Ｐ２との位置関係の一例を示す平面図である。第２位置Ｐ２は、例えば、車両４０を駐車スペースＰ０に自動で駐車させる場合の駐車開始位置である。第２位置Ｐ２は、駐車スペースＰ０の外の第１位置Ｐ１とは異なる位置であり、任意の位置である。一例として、第２位置Ｐ２は、第１位置Ｐ１に対する駐車スペースＰ０とは反対側の位置である。換言すれば、第１位置Ｐ１は、第２位置Ｐ２と駐車スペースＰ０との間の途中位置に相当する。

【0051】

図８は、第２位置Ｐ２から車載カメラ２２によって撮像された第２画像５２の一例を示す図である。位置姿勢推定部３４は、車両４０を第２位置Ｐ２から駐車スペースＰ０に自動で駐車させる場合に、第２位置Ｐ２から車載カメラ２２によって撮像された第２画像５２を取得する。第２画像５２は、車両４０に搭載された複数の車載カメラ２２（すなわち、車体の前後左右にそれぞれ設置された４つの車載カメラ２２）のうちのどの車載カメラ２２で撮影された画像でもよい。また、第２画像５２は、第１画像５１を撮影した車載カメラ２２とは異なる車載カメラ２２によって撮影された画像でもよい。

【0052】

続いて、位置姿勢推定部３４は、第２画像５２内における路面領域Ａと、第１画像５１内における路面領域Ａとを比較することにより、第１位置Ｐ１と第２位置Ｐ２との間の車両４０の位置変化量及び姿勢変化量を示す相対位置姿勢情報を算出する。相対位置姿勢情報は、車両４０が第１位置Ｐ１に位置している場合の車両座標系（Ｘ_ν－Ｙ_ν座標系）の原点を基準にして（ｘ_νｄ，ｙ_νｄ，θ_νｄ）で表される。以下、相対位置姿勢情報を、相対位置姿勢情報（ｘ_νｄ，ｙ_νｄ，θ_νｄ）と称する場合がある。

【0053】

位置姿勢推定部３４は、具体的には、相対位置姿勢情報（ｘ_νｄ，ｙ_νｄ，θ_νｄ）を次の要領で算出する。先ず、位置姿勢推定部３４は、第１画像５１内における路面領域Ａに含まれる画素の輝度値と、第２画像５２内における路面領域Ａに含まれる画素の輝度値とに基づいて、第１画像５１及び第２画像５２間のホモグラフィ行列を算出する。例えば、第１画像５１内における路面領域Ａに含まれる画素の輝度値と、第２画像５２内における路面領域Ａに含まれる画素の輝度値との偏差が最小となる領域を探索することにより、第１画像５１及び第２画像５２間のホモグラフィ行列が求まる。なお、ホモグラフィとは、射影変換を用いて、ある平面を別の平面に射影することをいう。

【0054】

続いて、位置姿勢推定部３４は、ホモグラフィ行列を分解することにより、相対位置姿勢情報（ｘ_νｄ，ｙ_νｄ，θ_νｄ）を算出する。この場合に、位置姿勢推定部３４は、ホモグラフィ行列を分解することにより、第１位置Ｐ１及び第２位置Ｐ２間の車載カメラ２２の相対位置及び相対姿勢を求める。次に、位置姿勢推定部３４は、車両座標系に対するカメラ座標系の相対位置及び相対姿勢を用いて、第１位置Ｐ１及び第２位置Ｐ２間の車載カメラ２２の相対位置及び相対姿勢を車両４０の相対位置及び相対姿勢に換算することにより、相対位置姿勢情報（ｘ_νｄ，ｙ_νｄ，θ_νｄ）を求める。

【0055】

そして、位置姿勢推定部３４は、オドメトリ情報（ｘ_ν０，ｙ_ν０，θ_ν０）及び相対位置姿勢情報（ｘ_νｄ，ｙ_νｄ，θ_νｄ）に基づいて、車両４０が第２位置Ｐ２に位置している場合の駐車スペースＰ０に対する車両４０の位置及び姿勢を示す位置姿勢推定情報（ｘ_ν１，ｙ_ν１，θ_ν１）を推定して出力する。このように、相対位置姿勢情報（ｘ_νｄ，ｙ_νｄ，θ_νｄ）を求める場合に、第１画像５１及び第２画像５２内における路面領域Ａに含まれる画素の輝度値を使用するため、駐車スペースＰ０の照明条件が悪い環境でも、駐車スペースＰ０に対する車両４０の位置及び姿勢を推定することができる。

【0056】

位置姿勢推定情報（ｘ_ν１，ｙ_ν１，θ_ν１）の算出式を以下に説明する。先ず、第１画像５１及び第２画像５２間のホモグラフィ行列の初期値Ｇ_０が３行３列の単位行列に設定され、ホモグラフィ行列の最適値Ｇ_ｏｐｔが算出される。ホモグラフィ行列の最適値Ｇ_ｏｐｔを求める算出手順については、後に図１０を参照しながら説明する。次に、ホモグラフィ行列の最適値Ｇ_ｏｐｔが次式のように分解される。

【数9】

【0057】

ここで、Ｋは前出の車載カメラ２２の内部パラメータ行列であり、Ｒ_ｅｓｔはカメラ座標系（Ｘ_ｃ－Ｚ_ｃ座標系）に対する車載カメラ２２の姿勢変化量を表す回転行列（推定値）であり、ｔ_ｅｓｔはカメラ座標系に対する車載カメラ２２の位置変化量を表す並進ベクトル（推定値）であり、ｎ_ｅｓｔはカメラ座標系に対する路面法線ベクトル（推定値）であり、ｈは路面からの車載カメラ２２の設置高さ（事前の計測値）である。

【0058】

なお、ホモグラフィ行列の最適値Ｇ_ｏｐｔの分解方法は下記文献に開示されている。
E. Malis, et al., “Deeper understanding of the homography decomposition for vision-based control,” Research Report, RR-6303, INRIA, 2007.

【0059】

次に、図７に示す第１位置Ｐ１の車両座標系（Ｘ_ν－Ｙ_ν座標系）に対する、車両４０の姿勢変化量を表す回転行列Ｒ_νｄと車両４０の位置変化量を表す並進ベクトルｔ_νｄが、次式で算出される。

【数10】

【0060】

図７に示す第１位置Ｐ１の車両座標系（Ｘ_ν－Ｙ_ν座標系）で表した第２位置Ｐ２の相対位置姿勢情報を（ｘ_νｄ，ｙ_νｄ，θ_νｄ）で表すと、並進ベクトルｔ_νｄの第１行第１列成分がｘ_νｄに該当し、並進ベクトルｔ_νｄの第２行第１列成分がｙ_νｄに該当する。また、θ_νｄは次式で算出される。ここで、Ｒ_１２はＲ_νｄの第１行第２列成分であり、Ｒ_２２はＲ_νｄの第２行第２列成分である。

【数11】

【0061】

そして、オドメトリ情報（ｘ_ν０，ｙ_ν０，θ_ν０）と相対位置姿勢情報（ｘ_νｄ，ｙ_νｄ，θ_νｄ）から、図７に示す駐車スペースＰ０の駐車場座標系（Ｘ_ｐ－Ｙ_ｐ座標系）で表した第２位置Ｐ２の位置姿勢推定情報（ｘ_ν１，ｙ_ν１，θ_ν１）が次式で算出される。

【数12】

【0062】

駐車制御部３６は、位置姿勢推定情報（ｘ_ν１，ｙ_ν１，θ_ν１）に基づいて、車両４０を第２位置Ｐ２から駐車スペースＰ０に駐車させる制御を行う。この場合、照明条件の悪い環境でも、駐車スペースＰ０に対する車両４０の位置及び姿勢を推定することができるため、第２位置Ｐ２から駐車スペースＰ０へ自動で駐車することができる。

【0063】

次に、本実施形態に係る駐車支援装置１０の作用について説明する。

【0064】

図９は、本実施形態に係る駐車支援プログラム１５Ａによる駐車支援処理の流れの一例を示すフローチャートである。

【0065】

まず、駐車支援装置１０が駐車支援処理の開始の指示を受け付けると、ＣＰＵ１１により駐車支援プログラム１５Ａが起動され、以下の各ステップを実行する。

【0066】

ステップＳ１０１では、ＣＰＵ１１が、車両４０が駐車スペースＰ０と第１位置Ｐ１との間を移動する場合に車輪速センサ２０及び操舵角センサ２１によって計測された計測値を取得し、取得した計測値に基づいてオドメトリ情報（ｘ_ν０，ｙ_ν０，θ_ν０）を算出することで、オドメトリ情報（ｘ_ν０，ｙ_ν０，θ_ν０）を取得する。ステップＳ１０１は、本開示の技術に係るオドメトリ情報取得ステップの一例である。

【0067】

ステップＳ１０２では、ＣＰＵ１１が、車載カメラ２２によって第１位置Ｐ１から撮像された第１画像５１を取得し、取得した第１画像５１内における駐車スペースＰ０の路面領域Ａを、オドメトリ情報（ｘ_ν０，ｙ_ν０，θ_ν０)に基づいて特定する。ステップＳ１０２は、本開示の技術に係る路面領域特定ステップの一例である。

【0068】

ステップＳ１０３では、ＣＰＵ１１が、車両４０を第２位置Ｐ２から駐車スペースＰ０に自動で駐車させる場合に、第２位置Ｐ２から車載カメラ２２によって撮像された第２画像５２を取得する。続いて、位置姿勢推定部３４は、第２画像５２内における路面領域Ａと、第１画像５１内における路面領域Ａとを比較することにより、第１位置Ｐ１と第２位置Ｐ２との間の車両４０の位置変化量及び姿勢変化量を示す相対位置姿勢情報（ｘ_νｄ，ｙ_νｄ，θ_νｄ）を算出する。

【0069】

具体的には、先ず、位置姿勢推定部３４は、第１画像５１内における路面領域Ａに含まれる画素の輝度値と、第２画像５２内における路面領域Ａに含まれる画素の輝度値とに基づいて、第１画像５１及び第２画像５２間のホモグラフィ行列を算出する。続いて、位置姿勢推定部３４は、ホモグラフィ行列を分解することにより、相対位置姿勢情報（ｘ_νｄ，ｙ_νｄ，θ_νｄ）を算出する。

【0070】

そして、位置姿勢推定部３４は、オドメトリ情報（ｘ_ν０，ｙ_ν０，θ_ν０）及び相対位置姿勢情報（ｘ_νｄ，ｙ_νｄ，θ_νｄ）に基づいて、車両４０が第２位置Ｐ２に位置している場合の駐車スペースＰ０に対する車両４０の位置及び姿勢を示す位置姿勢推定情報（ｘ_ν１，ｙ_ν１，θ_ν１）を推定して出力する。ステップＳ１０３は、本開示の技術に係る位置姿勢推定ステップの一例である。

【0071】

ステップＳ１０４では、ＣＰＵ１１が、位置姿勢推定情報（ｘ_ν１，ｙ_ν１，θ_ν１）に基づいて、車両４０を第２位置Ｐ２から駐車スペースＰ０に駐車させる制御を行う。ステップＳ１０４は、本開示の技術に係る駐車制御ステップの一例である。

【0072】

なお、本実施形態に係る駐車支援装置１０の作用として説明した上述の方法は、本開示の技術に係る駐車支援方法の一例である。

【0073】

次に、ホモグラフィ行列の最適値Ｇ_ｏｐｔを求める算出手順について説明する。

【0074】

図１０は、本実施形態に係るホモグラフィ行列最適値算出処理の流れの一例を示すフローチャートである。なお、ここでは、図６に示す第１画像５１内における端点Ｐ_１、Ｐ_２、Ｐ_３、Ｐ_４で定まる路面領域Ａ内の全画素（画素数はｎ個）に番号ｉ（ｉ＝１、２～ｎ）が割り振られる。特に図示しないが、第１画像５１と同様に、第２画像５２内における端点Ｐ_１、Ｐ_２、Ｐ_３、Ｐ_４で定まる路面領域Ａ内の全画素に番号ｉ（ｉ＝１、２～ｎ）が割り振られる。

【0075】

ステップＳ４０では、ＣＰＵ１１が、画像Ｉ^＊（第１画像５１と同義）に対して追跡領域（第１画像５１内の路面領域Ａと同義）を指定し、輝度勾配行列Ｊ_Ｉ＊と、ヤコビ行列Ｊ_Ｗ、Ｊ_Ｇと、を算出する。

【0076】

具体的には、輝度勾配行列Ｊ_Ｉ＊は、画像Ｉ^＊における追跡領域の各画素の輝度（０～２５５の値）から次式により算出される。

【0077】

【数13】

【0078】

ただし、Ｊ_Ｉ＊ｉ（ｉ＝１、２～ｎ）が次式で表される。Ｊ_Ｉ＊ｕｉはｉ番目の画素の横方向の輝度勾配を示し、Ｊ_Ｉ＊ｖｉはｉ番目の画素の縦方向の輝度勾配を示す。

【数14】

【0079】

ヤコビ行列Ｊ_Ｗは、画像Ｉ^＊における追跡領域の各画素の座標から次式により算出される。

【0080】

【数15】

【0081】

ただし、追跡領域の各画素の座標が次式により表される。

【0082】

【数16】

【0083】

このとき、Ｊ_Ｗｉが次式により表される。

【数17】

【0084】

ヤコビ行列Ｊ_Ｇは、リー代数の基底Ａ_ｉ（ｉ＝１～８）から次式により算出される。

【数18】

【0085】

ここで、[Ａ_ｉ]_ｖは、次式により表される通り、行毎に並べ替えた９行１列のベクトルである。

【数19】

【0086】

ステップＳ４２では、ＣＰＵ１１が、ホモグラフィ行列の推定値Ｇ＾（＾はＧの直上、以下同じ。）に初期値Ｇ_０（単位行列）を代入し、イテレーション回数（繰り返し回数）ｎ_ｉｔｅに１を代入する。

【0087】

ステップＳ４４では、ＣＰＵ１１が、画像Ｉ（第２画像５２と同義）における追跡領域の輝度勾配行列Ｊ_Ｉを算出する。

【0088】

具体的には、ＣＰＵ１１が、画像Ｉにおける座標を次式により算出する。

【数20】

【0089】

ただし、画像Ｉにおける座標ｐｉが次式により表される。

【数21】

【0090】

輝度勾配行列Ｊ_Ｉは、画像Ｉにおける追跡領域の各画素の輝度から次式により算出される。

【数22】

【0091】

ただし、Ｊ_Ｉｉが次式により表される。Ｊ_Ｉｕｉはｉ番目の画素の横方向の輝度勾配を示し、Ｊ_Ｉｖｉはｉ番目の画素の縦方向の輝度勾配を示す。

【数23】

【0092】

ステップＳ４６では、ＣＰＵ１１が、ホモグラフィ行列のパラメータｘ（８行１列のベクトル）を算出する。

【0093】

具体的に、ＣＰＵ１１が、パラメータｘを次式により算出する。

【数24】

【0094】

ここで、Ｊ_ｅｓｍは、ヤコビ行列であり、次式により算出される。

【数25】

【0095】

一方、ｙは、輝度差ベクトルであり、次式で表される。

【数26】

【0096】

ここで、ｙｉは、画像Ｉのｉ番目の画素の輝度Ｉ_ｉと、画像Ｉ^＊のｉ番目の画素の輝度Ｉ_ｉ ^＊とから次式により算出される。

【数27】

【0097】

ステップＳ４８では、ＣＰＵ１１が、ホモグラフィ行列の推定値Ｇ＾を次式により更新する。

【0098】

【数28】

【0099】

そして、ＣＰＵ１１が、上記Ｇを新たなＧ＾にする。

【0100】

ステップＳ５０では、ＣＰＵ１１が、終了条件を満たすか否か、つまり、イテレーション（繰り返し）が必要か否かを判定する。終了条件を満たす、つまり、イテレーション（繰り返し）が不要と判定された場合（肯定判定の場合）、ステップＳ５２に移行し、終了条件を満たさない、つまり、イテレーション（繰り返し）が必要と判定された場合（否定判定の場合）、ステップＳ４４に戻り処理が繰り返される。

【0101】

具体的に、今回の輝度差の二乗平均平方根をｙ_ｃｕｒｒとすると、ｙ_ｃｕｒｒが次式により表される。

【0102】

【数29】

【0103】

ここでは、イテレーションの上限回数をｎ_ｍａｘ（例えば、１００）とし、収束判定の閾値をε（例えば、１０^－５）とする。

【0104】

ｎ_ｉｔｅ＝１の場合、前回の輝度差の二乗平均平方根ｙ_ｐｒｅｖに、今回の輝度差の二乗平均平方根ｙ_ｃｕｒｒが代入され、イテレーション回数ｎ_ｉｔｅに１が加算されて、ステップＳ４４に戻る。

【0105】

１＜ｎ_ｉｔｅ＜ｎ_ｍａｘの場合、ｙ_ｐｒｅｖ－ｙ_ｃｕｒｒ＞εであれば、収束していないと判定され、前回の輝度差の二乗平均平方根ｙ_ｐｒｅｖに、今回の輝度差の二乗平均平方根ｙ_ｃｕｒｒが代入され、イテレーション回数ｎ_ｉｔｅに１が加算されて、ステップＳ４４に戻る。一方、ｙ_ｐｒｅｖ－ｙ_ｃｕｒｒ≦εであれば、収束したと判定され、ステップＳ５２に移行する。

【0106】

ｎ_ｉｔｅ＝ｎ_ｍａｘの場合、ステップＳ５２に移行する。

【0107】

ステップＳ５２では、ＣＰＵ１１が、ホモグラフィ行列の推定値Ｇ＾を最適値Ｇ_ＯＰＴとして採用し、処理を終了する。

【0108】

以上詳述した通り、本実施形態によれば、ＣＰＵ１１が、駐車スペースＰ０と第１位置Ｐ１との間の車両４０の位置変化量及び姿勢変化量を示すオドメトリ情報（ｘ_ν０，ｙ_ν０，θ_ν０）を取得し、車載カメラ２２によって第１位置Ｐ１から撮像された第１画像５１内における駐車スペースＰ０の路面領域Ａを、オドメトリ情報（ｘ_ν０，ｙ_ν０，θ_ν０）に基づいて特定する。したがって、セマンティック・セグメンテーション等の算出量の多い手法を使わずに、オドメトリ情報（ｘ_ν０，ｙ_ν０，θ_ν０）に基づいて第１画像５１内における駐車スペースＰ０の路面領域Ａを特定することができるので、算出リソースを削減して低コスト化することができる。

【0109】

また、ＣＰＵ１１が、駐車スペースＰ０の外の第２位置Ｐ２から車載カメラ２２によって撮像された第２画像５２内における路面領域Ａと、第１画像５１内における路面領域Ａとを比較することにより、第１位置Ｐ１と第２位置Ｐ２との間の車両４０の位置変化量及び姿勢変化量を示す相対位置姿勢情報（ｘ_νｄ，ｙ_νｄ，θ_νｄ）を算出する。ここで、ＣＰＵ１１は、一例として、第１画像５１内における路面領域Ａに含まれる画素の輝度値と、第２画像５２内における路面領域Ａに含まれる画素の輝度値とに基づいて、第１画像５１及び第２画像５２間のホモグラフィ行列を算出し、ホモグラフィ行列を分解することにより、相対位置姿勢情報（ｘ_νｄ，ｙ_νｄ，θ_νｄ）を算出する。

【0110】

そして、ＣＰＵ１１が、オドメトリ情報（ｘ_ν０，ｙ_ν０，θ_ν０）及び相対位置姿勢情報（ｘ_νｄ，ｙ_νｄ，θ_νｄ）に基づいて、車両４０が第２位置Ｐ２に位置している場合の駐車スペースＰ０に対する車両４０の位置及び姿勢を示す位置姿勢推定情報（ｘ_ν１，ｙ_ν１，θ_ν１）を推定する。したがって、相対位置姿勢情報（ｘ_νｄ，ｙ_νｄ，θ_νｄ）を求める場合に、第１画像５１及び第２画像５２内における路面領域Ａに含まれる画素の輝度値を使用するため、駐車スペースＰ０の照明条件が悪い環境でも、駐車スペースＰ０に対する車両４０の位置及び姿勢を推定することができる。

【0111】

また、ＣＰＵ１１が、位置姿勢推定情報（ｘ_ν１，ｙ_ν１，θ_ν１）に基づいて、車両４０を第２位置Ｐ２から駐車スペースＰ０に駐車させる制御を行う。したがって、照明条件の悪い環境でも、駐車スペースＰ０に対する車両４０の位置及び姿勢を推定することができるため、第２位置Ｐ２から駐車スペースＰ０へ自動で駐車することができる。

【0112】

なお、上記実施形態において、ＣＰＵ１１は、一例として、第１画像５１内における路面領域Ａに含まれる画素の輝度値と、第２画像５２内における路面領域Ａに含まれる画素の輝度値とに基づいて、第１画像５１及び第２画像５２間のホモグラフィ行列を算出し、ホモグラフィ行列を分解することにより、相対位置姿勢情報（ｘ_νｄ，ｙ_νｄ，θ_νｄ）を算出する。しかしながら、ＣＰＵ１１は、ホモグラフィ行列を用いる算出手法以外の手法により、第２画像５２内における路面領域Ａと、第１画像５１内における路面領域Ａとを比較することにより、相対位置姿勢情報（ｘ_νｄ，ｙ_νｄ，θ_νｄ）を算出してもよい。

【0113】

また、上記実施形態において、ＣＰＵ１１は、車両４０が駐車スペースＰ０と第１位置Ｐ１との間を移動する場合に車輪速センサ２０及び操舵角センサ２１によって計測された計測値を取得し、取得した計測値に基づいてオドメトリ情報（ｘ_ν０，ｙ_ν０，θ_ν０）を算出する。しかしながら、ＣＰＵ１１は、例えば、車両４０以外の場所に設置されたセンサによって計測された計測値を取得し、取得した計測値に基づいてオドメトリ情報（ｘ_ν０，ｙ_ν０，θ_ν０）を算出してもよい。また、ＣＰＵ１１は、車両の外部から駐車支援装置１０に入力されたオドメトリ情報（ｘ_ν０，ｙ_ν０，θ_ν０）を取得してもよい。

【0114】

また、上記実施形態において、プロセッサとは、広義的なプロセッサを指し、ＣＰＵなどの汎用的なプロセッサでもよいし、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、又はＦＰＧＡ（Field Programmable Gate Array）などの専用のプロセッサを含むものでもよい。

【0115】

また、上記実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は、上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更されてもよい。

【0116】

以上、実施形態に係る駐車支援装置を例示して説明した。実施形態は、駐車支援装置が備える各部の機能をコンピュータに実行させるためのプログラムの形態とされてもよい。実施形態は、これらのプログラムを記憶したコンピュータが読み取り可能な非一時的記憶媒体の形態とされてもよい。

【0117】

その他、上記実施形態で説明した駐車支援装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更されてもよい。

【0118】

また、上記実施形態で説明したプログラムの処理の流れも、一例である。したがって、上記実施形態においては、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

【0119】

また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現されてもよい。

【符号の説明】

【0120】

１０ 駐車支援装置
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ Ｉ／Ｏ
１５ 記憶部
１５Ａ 駐車支援プログラム
１６ 外部Ｉ／Ｆ
２０ 車輪速センサ
２１ 操舵角センサ
２２ 車載カメラ
３０ オドメトリ情報取得部
３２ 路面領域特定部
３４ 位置姿勢推定部
３６ 駐車制御部
４０ 車両
５１ 第１画像
５２ 第２画像
１００ 駐車支援システム
Ｐ０ 駐車スペース
Ｐ１ 第１位置
Ｐ２ 第２位置
Ａ 路面領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【手続補正書】

【提出日】2024-03-21

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】００６６

【補正方法】変更

【補正の内容】

【0066】

ステップＳ１０では、ＣＰＵ１１が、車両４０が駐車スペースＰ０と第１位置Ｐ１との間を移動する場合に車輪速センサ２０及び操舵角センサ２１によって計測された計測値に基づいて算出されたオドメトリ情報（ｘ_ν０，ｙ_ν０，θ_ν０）を記憶部１５から取得する。ステップＳ１０は、本開示の技術に係るオドメトリ情報取得ステップの一例である。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００６７

【補正方法】変更

【補正の内容】

【0067】

ステップＳ１２では、ＣＰＵ１１が、車載カメラ２２によって第１位置Ｐ１から撮像された第１画像５１を記憶部１５から取得し、取得した第１画像５１内における駐車スペースＰ０の路面領域Ａを、オドメトリ情報（ｘ_ν０，ｙ_ν０，θ_ν０)に基づいて特定する。ステップＳ１２は、本開示の技術に係る路面領域特定ステップの一例である。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００６８

【補正方法】変更

【補正の内容】

【0068】

ステップＳ１４では、ＣＰＵ１１が、これから駐車しようしている車両４０を第２位置Ｐ２から駐車スペースＰ０に自動で駐車させる場合に、第２位置Ｐ２から車載カメラ２２によって撮像された第２画像５２を取得する。続いて、位置姿勢推定部３４は、第２画像５２内における路面領域Ａと、第１画像５１内における路面領域Ａとを比較することにより、第１位置Ｐ１と第２位置Ｐ２との間の車両４０の位置変化量及び姿勢変化量を示す相対位置姿勢情報（ｘ_νｄ，ｙ_νｄ，θ_νｄ）を算出する。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００７０

【補正方法】変更

【補正の内容】

【0070】

そして、位置姿勢推定部３４は、オドメトリ情報（ｘ_ν０，ｙ_ν０，θ_ν０）及び相対位置姿勢情報（ｘ_νｄ，ｙ_νｄ，θ_νｄ）に基づいて、車両４０が第２位置Ｐ２に位置している場合の駐車スペースＰ０に対する車両４０の位置及び姿勢を示す位置姿勢推定情報（ｘ_ν１，ｙ_ν１，θ_ν１）を推定して出力する。ステップＳ１４は、本開示の技術に係る位置姿勢推定ステップの一例である。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】００７１

【補正方法】変更

【補正の内容】

【0071】

ステップＳ１６では、ＣＰＵ１１が、位置姿勢推定情報（ｘ_ν１，ｙ_ν１，θ_ν１）に基づいて、車両４０を第２位置Ｐ２から駐車スペースＰ０に駐車させる制御を行う。ステップＳ１６は、本開示の技術に係る駐車制御ステップの一例である。