特開 2023-148235 駐車支援方法および駐車支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023148235

(43)【公開日】2023-10-13

(54)【発明の名称】駐車支援方法および駐車支援システム

(51)【国際特許分類】

   G06V 10/44 20220101AFI20231005BHJP

   G06T 7/00 20170101ALI20231005BHJP

   G06V 20/56 20220101ALI20231005BHJP

【ＦＩ】

G06V10/44

G06T7/00 650Z

G06V20/56

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022056145

(22)【出願日】2022-03-30

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】佐藤 紘史

(72)【発明者】

【氏名】鹿谷 真依子

(72)【発明者】

【氏名】福山 真幸

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA04

5L096FA09

5L096GA02

5L096KA04

(57)【要約】

【課題】周辺環境を撮像した複数の画像のそれぞれから適切に特徴点を抽出する。
【解決手段】本開示の駐車支援方法では、第１駐車において記録した教師データに基づき第２駐車の駐車支援を行う駐車支援方法であって、第１駐車の際に、車両の周辺を撮像した複数の第１画像に基づいて、マップ情報を生成する生成ステップを有し、生成ステップでは、複数の第１画像の内、参照元となる第１画像の特徴点と、参照先となる第１画像の特徴点とをマッチングして、マッチング結果に基づいてマップ情報を生成し、参照元となる第１画像の特徴点を抽出する際、抽出する特徴点を限定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１駐車において記録した教師データに基づき第２駐車の駐車支援を行う駐車支援方法であって、
前記第１駐車の際に、車両の周辺を撮像した複数の第１画像に基づいて、マップ情報を生成する生成ステップを有し、
前記生成ステップでは、
前記複数の第１画像の内、参照元となる第１画像の特徴点と、参照先となる第１画像の特徴点とをマッチングして、マッチング結果に基づいて前記マップ情報を生成し、
前記参照元となる第１画像の特徴点を抽出する際、抽出する特徴点を限定する、
駐車支援方法。

【請求項2】

前記参照先となる第１画像の特徴点を抽出する際、抽出する特徴点は限定しない、
請求項１に記載の駐車支援方法。

【請求項3】

前記第２駐車の際に、車両の周辺を撮像した第２画像から特徴点を抽出する抽出ステップを更に有し、
前記参照元となる第１画像の特徴点と、前記第２画像の特徴点とをマッチングして、マッチング結果に基づいて自己位置推定を行うステップと、
前記参照元となる第１画像の特徴点を抽出する際、抽出する特徴点を限定する、
請求項１に記載の駐車支援方法。

【請求項4】

前記第２画像の特徴点を抽出する際、抽出する特徴点は限定しない、
請求項３に記載の駐車支援方法。

【請求項5】

前記生成ステップでは、前記参照元となる画像のエッジ画像の直線部分に基づいて特徴点を抽出する、請求項１に記載の駐車支援方法。

【請求項6】

前記生成ステップでは、前記参照先となる第１画像の特徴点を抽出する際、当該第１画像のコントラストに基づいて特徴点を抽出する、請求項１に記載の駐車支援方法。

【請求項7】

第１駐車において記録した教師データに基づき第２駐車の駐車支援を行う駐車支援システムであって、
前記第１駐車の際に、車両の周辺を撮像した複数の第１画像に基づいて、マップ情報を生成する生成部を備え、
前記生成部は、
前記複数の第１画像の内、参照元となる第１画像の特徴点と、参照先となる第１画像の特徴点とをマッチングして、マッチング結果に基づいて前記マップ情報を生成し、
前記参照元となる第１画像の特徴点を抽出する際、抽出する特徴点を限定する、
駐車支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、駐車支援方法および駐車支援システムに関する。

【背景技術】

【0002】

近年、運転者によるステアリング操作やアクセルブレーキ操作を伴わずに自動で駐車（以下、自動駐車と称する）を行う駐車支援の機能が求められている。

【0003】

例えば、特許文献１には、運転者が車両を運転する際に、車両は、周辺環境を撮像した画像に基づき、車両を自動運転するための自動運転情報を生成する。さらに、自動運転を行う際に、車両は、周辺環境を撮像した画像と自動運転情報とに基づき、車両位置情報を算出して、自動駐車を行う。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７－１３８６６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

自動運転情報を生成する際、周辺環境を撮像した複数の画像のそれぞれから特徴点を抽出して、マッチングを行う。この場合、不要な特徴点を除去しつつ、特徴点を一定量確保することが望まれる。

【0006】

本開示は、周辺環境を撮像した複数の画像のそれぞれから適切に特徴点を抽出する。

【課題を解決するための手段】

【0007】

本開示に係る駐車支援方法は、第１駐車において記録した教師データに基づき第２駐車の駐車支援を行う駐車支援方法であって、第１駐車の際に、車両の周辺を撮像した複数の第１画像に基づいて、マップ情報を生成する生成ステップを有し、生成ステップでは、複数の第１画像の内、参照元となる第１画像の特徴点と、参照先となる第１画像の特徴点とをマッチングして、マッチング結果に基づいてマップ情報を生成し、参照元となる第１画像の特徴点を抽出する際、抽出する特徴点を限定する。

【発明の効果】

【0008】

本開示に係る駐車支援方法によれば、周辺環境を撮像した複数の画像のそれぞれから適切に特徴点を抽出することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、本実施形態の駐車支援システムの一例の模式図である。

【図2】図２は、本実施形態にかかる第１駐車時におけるマッチング部の機能的構成の一例を示す図である。

【図3A】図３Ａは、本実施形態にかかる画像の一例を示す図である。

【図3B】図３Ｂは、本実施形態にかかる画像の一例を示す図である。

【図3C】図３Ｃは、本実施形態にかかる画像の一例を示す図である。

【図4】図４は、本実施形態にかかるマッチング処理手順を示すフローチャートである。

【図5】図５は、本実施形態にかかる第２駐車時におけるマッチング部の機能的構成の一例を示す図である。

【図6】図６は、本実施形態にかかる姿勢推定処理手順を示すフローチャートである。

【発明を実施するための形態】

【0010】

（実施形態）
実施形態に係る駐車支援システムについて、図１を参照しつつ説明する。

【0011】

実施形態に係る駐車支援システムは、予め記録された経路情報に基づいて車両の駐車を行う自動駐車を実現するための駐車支援を行うシステムである。

【0012】

具体的には、車両は、ユーザの指示に応じて、教師走行モードおよび自動走行モードのいずれかで走行する。教師走行モードは、自動駐車を行うための前段階として行われる駐車であり、ユーザの操作により車両を駐車させるモードである。

【0013】

駐車支援装置は、教師走行モードにおいて、ユーザの操作により車両を駐車スペースに駐車する間に、センサ装置または撮像装置５０から得られる情報に基づいて、車両の自己位置推定に用いるための車両周辺のマップ情報を作成し、駐車終了までの間、作成したマップ情報を順次記録する。さらに、駐車支援装置は、マップ情報の作成とともに、車両の駐車終了までに走行した経路情報等の教師データを記録する。教師データとは、教師走行時の駐車スペースの目標駐車位置、教師走行時の速度、教師走行時の操舵角、教師走行時の制動動作、教師走行時の経路情報、駐車開始位置の少なくとも何れかを含むデータである。

【0014】

自動走行モードは、ユーザの操作を伴わず自動で車両を駐車させるモードである。自動走行モードでは、撮像装置５０により撮影された画像から周辺の特徴点を抽出する。続いて、教師走行モード時に記録した周辺のマップ情報と、自動走行モードで抽出した特徴点を照合して、記録したマップ情報の位置情報から車両の自己位置を推定し、その推定位置を踏まえて記録された経路情報に従って車両を駐車させる。次に、本実施形態に係る駐車支援システムを構成する各部材について説明する。

【0015】

（駐車支援システム１０の構成）
まず、本実施形態の駐車支援システム１０の構成を、図１を参照して説明する。図１は、本実施形態の駐車支援システム１０の構成を示すブロック図である。

【0016】

駐車支援システム１０は、上述したように車両の自動駐車を実行するためのものであり、情報処理装置２０、自動運転制御装置４０、撮像装置５０、および駆動装置６０を備える。なお、駐車支援システム１０は車両内部に搭載されていてもよいし、別途車両と無線ネットワークで接続されて、その全体あるいは一部を車両の外部に備えていてもよい。情報処理装置２０の構成について以下に詳述する。

【0017】

（情報処理装置２０の構成）
情報処理装置２０は、処理部２１０および記憶部２２０を備えており、例えば車両の前後左右に設置された撮像装置５０により車両の周辺を撮影した撮像画像から、車両の自己位置の推定に用いるための車両周辺の様々な立体構造物や路面のテクスチャなどの画像特徴点情報で構成されるマップ情報を生成する。さらに、車両の走行と共に車両周辺の撮像位置が更新される撮像画像から新たに生成されるマップ情報を、車載センサとなるステアリングの舵角センサと車輪速パルスセンサから推定される車両の移動量(距離と向き)とを関連付けて１つのマップ情報として記憶する。さらに、情報処理装置２０では、記憶されているマップ情報を必要に応じて更新する。

【0018】

第１駐車は運転者が車両を走行させることにより実行され、第２駐車は自動走行により実行されてもよい。あるいは、自動走行モードによる駐車を繰り返すことで、第１駐車および第２駐車は、自動走行により実行されてもよい。

【0019】

（処理部２１０）
処理部２１０のより詳細な構成について以下に説明する。処理部２１０は、画像取得部２１１、およびマッチング部２１２を備える。処理部２１０を構成する各部について以下に説明する。

【0020】

（画像取得部２１１）
画像取得部２１１は、車両に搭載された撮像装置５０により撮影された車両周辺の撮像画像を取得する。撮像画像は、画素ごとに画素値を規定したデジタル画像データである。通常、車両に搭載された撮像装置５０は車両の前後左右に設置された4つの撮像装置５０で構成される。なお、画像取得部２１１は、車両に搭載された撮像装置５０に限らず、インフラカメラなどの撮像装置５０により撮影された車両周辺の撮像画像を取得してもよい。

【0021】

（マッチング部２１２）
マッチング部２１２は、教師走行モード時において、画像取得部２１１が取得した撮像画像を使って、マップ情報を生成する。マップ情報は、車両の自己位置を算出するために用いられる情報である。また、マッチング部２１２は、事前に記憶されているマップ情報中の特徴量と、撮像画像に基づいて生成されたマップ情報中の特徴量とのマッチングを行うことで、車両の自己位置を推定する。

【0022】

（記憶部２２０）
記憶部２２０は、マップ情報を記憶するための記録媒体である。記憶部２２０において記録されるマップ情報は、当初は教師走行モードにおいて生成されるマップ情報である。その後、ユーザから指示を受けた場合に、自動走行モードにおいて生成されたマップ情報に基づいて、記憶部２２０に記憶されているマップ情報は更新される。

【0023】

上記記録媒体としては、例えば、磁気テープやカセットテープなどのテープ類、フロッピー（登録商標）ディスク／ハードディスクなどの磁気ディスクやCD-ROM（Compact Disc Read-Only Memory）／MOディスク（Magneto-Optical disc）／MD（Mini Disc）／DVD（Digital Versatile Disc:登録商標）／CD-R（CD Recordable）／ブルーレイディスク（Blu-ray Disc：登録商標）などの光ディスクを含むディスク類、ICカード（メモリカードを含む）／光カードなどのカード類、マスクROM／EPROM（Erasable Programmable Read-Only Memory）／EEPROM（Electrically Erasable and Programmable Read-Only Memory：登録商標）／フラッシュROMなどの半導体メモリ類、あるいはPLD（Programmable logic device）やFPGA（Field Programmable Gate Array）などの論理回路類などを用いることができる。

【0024】

なお、記憶部２２０は必ずしも情報処理装置２０の内部に備えられている必要はなく、必要に応じて情報処理装置２０の外部に備えられていてもよい。

【0025】

（自動運転制御装置４０の構成）
自動運転制御装置４０は、教師走行モード時に動作する。自動運転制御装置４０は、教師走行モードにおいて、車両の駐車終了までに走行した経路情報を記録する。

【0026】

自動運転制御装置４０は、自動走行モードである場合に動作する。自動運転制御装置４０は、自動走行モードにおいて撮像装置５０によって撮影された車両周辺の画像と、自己位置とに基づき、経路情報に従って、駆動装置６０を制御して車両を自動走行させる。

【0027】

（撮像装置５０の構成）
撮像装置５０は、車両の周囲を撮影可能となるように、設置位置および画角が予め調整されている。本実施形態では、車両は、撮影方向の異なる複数の撮像装置５０を備える。

【0028】

（駆動装置６０の構成）
駆動装置６０は、車両を自動的に運転するために、駆動部を制御する。より具体的には、駆動装置６０は、自己位置と教師走行モード時に記録した経路情報に基づいて、指示された速度で経路上を自動走行するよう、車両のアクセル量、ブレーキ量、操舵角などを制御する。

【0029】

続いて、マッチング部２１２によるマップ情報生成処理について、図２等を用いて説明する。マッチング部２１２は、例えば、教師走行モード時においてマップ情報生成処理を実行する。

【0030】

図２は、記憶部２２０に記憶されている情報を用いてマッチング部２１２による処理を説明する図である。マッチング部２１２は、教師走行モード時に撮像された２つの撮像画像（第１画像）をマッチングする際に、参照元となる撮像画像と、参照先となる撮像画像のそれぞれから抽出する特徴点を調整してマッチングする。参照元となる撮像画像とは、マッチング済の撮像画像である。参照先となる撮像画像とは、マッチング対象の撮像画像である。マッチング部２１２は、参照元となる撮像画像から抽出する特徴点をエッジ画像に基づいて特徴点を抽出して、参照先となる撮像画像から抽出する特徴点をエッジ画像に基づいて抽出する場合より多くの特徴点を抽出するようにする。言い換えると、マッチング部２１２は、参照元となる撮像画像から抽出する特徴点を限定する処理を行い、参照先となる撮像画像から抽出する特徴点は限定する処理を行わない。

【0031】

記憶部２２０は、カメラ画像記憶領域２２０１、前のフレーム（撮像画像）の特徴点記憶領域２２０２、およびマップ情報記憶領域２２０３を有するものとする。カメラ画像記憶領域２２０１は、撮像画像を記憶する領域である。前のフレームの特徴点記憶領域２２０２は、前のフレームの特徴点を記憶する領域である。

【0032】

マッチング部２１２は、特徴点抽出部２１２１、特徴量計算部２１２２、特徴点選択部２１２３、特徴点マッチング部２１２４、姿勢推定部２１２５、三角測量部２１２６、およびバンドル調整部２１２７を有する。

【0033】

特徴点抽出部２１２１は、カメラ画像記憶領域２２０１に記憶されている画像フレームを取得して、当該画像フレームから特徴点を抽出する。特徴点抽出部２１２１は、画像フレーム中における周囲とは異なる箇所であると識別可能な箇所を候補特徴点として抽出する。

【0034】

特徴量計算部２１２２は、候補特徴点の特徴量を計算する。特徴量としては、カメラ画像上の輝度や濃度の他、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量、又はＳＵＲＦ（Speeded UpRobust Features）特徴量等が用いられる。なお、特徴量は、同一の三次元位置の特徴点であっても、当該特徴点を撮影したときのカメラの撮影位置や撮影方向毎に別個に記憶されていてもよい。

【0035】

特徴点選択部２１２３は、特徴点抽出部２１２１で抽出した候補特徴点から、マッチング対象となる候補特徴点を選択する。特徴点選択部２１２３は、マッチングにおける参照元となるフレームからエッジを抽出し、当該エッジに対応する候補特徴点を選択する。特徴点選択部２１２３は、選択した候補特徴点の座標を前のフレームの特徴点記憶領域２２０２に登録する。このように、特徴点選択部２１２３は、最初に抽出した候補特徴点からエッジ部分の候補特徴点に絞ることで、フレームにおける人工物の箇所の候補特徴点を選択することができる。これにより、マッチング部２１２は、マッチング処理負荷を軽減させることができる。

【0036】

特徴点マッチング部２１２４は、参照元となるフレームの候補特徴点と、参照先となるフレームの候補特徴点とに基づいて、マッチング処理を実行する。特徴点マッチング部２１２４は、前のフレームの特徴点記憶領域２２０２の特徴点座標と、参照先となるフレームの候補特徴点と、マップ情報記憶領域２２０３に記憶されているマップ情報とに基づいてマッチング処理を実行する。マップ情報は、特徴点座標と、特徴量と、フレーム内の位置情報とを含む情報である。２つのフレームの特徴点と、マップ情報とを用いてマッチング処理を実行する方法は、公知の技術を適用することができる。

【0037】

姿勢推定部２１２５は、マップ情報記憶領域２２０３のマップ情報のマッチング済の情報と、特徴点マッチング部２１２４によるマッチング結果とを用いて撮像装置５０の姿勢を推定する。三角測量部２１２６は、特徴点マッチング部２１２４によるマッチング結果と、現フレームの推定結果とに基づき現フレームの特徴点の３次元座標を算出する。

【0038】

バンドル調整部２１２７は、現フレームの特徴点の２／３次元座標、特徴量、および登録済のマップ情報に基づいてバンドル調整する。バンドル調整方法は、例えば、特許文献１に記載されている手法を用いる。バンドル調整部２１２７は、バンドル調整後、現フレームに対応する特徴点座標、特徴量、および登録フレームの位置を対応付けたマップ情報をマップ情報記憶領域２２０３に登録する。

【0039】

なお、姿勢推定部２１２５、三角測量部２１２６、およびバンドル調整部２１２７による処理は、公知の技術（例えば、特開２０２１－８２１８１号公報に記載の技術）を適用することができる。

【0040】

ここで、図３Ａ～図３Ｃを用いて、特徴点の抽出について説明する。マッチングする際、参照元となるフレームをフレーム１６１、参照先となるフレームをフレーム１６２とする。図３Ａに示すように、特徴点抽出部２１２１は、フレームの周囲のコントラスト等に基づいて候補特徴点を抽出する。例えば、特徴点抽出部２１２１は、フレーム１６１から候補特徴点Ｐ１～Ｐ１２を抽出する。また、特徴点抽出部２１２１は、フレーム１６２について候補特徴点Ｐ３１～Ｐ４６を抽出する。

【0041】

続いて、図３Ｂに、フレーム１６１およびフレーム１６２をエッジ抽出したエッジ画像の例を示す。このように、エッジを抽出することで、人工物の枠線を示す部分を抽出することができる。続いて、図３Ａで示した候補特徴点のうち、図３Ｂに示すエッジ画像上の候補特徴点を、図３Ｃに示す。図３Ｃに示すように、特徴点候補点が絞られる。

【0042】

仮に、参照元のフレーム１６１および参照先のフレーム１６２を図３Ｃに示すような候補特徴点を絞った状態でマッチング処理を実行した場合、特徴点の数が少なすぎるためマッチング可能な特徴点の数が少なくなる問題がある。

【0043】

本実施形態では、マッチング部２１２は、参照元のフレーム１６１として、図３Ｃに示すような候補特徴点を絞ったフレームを選択する。マッチング部２１２は、参照先のフレーム１６２として、図３Ａに示すような候補特徴点を絞っていないフレームを選択する。このように、マッチング部２１２は、参照元のフレーム１６１の候補特徴点を限定して、参照先のフレーム１６２の候補特徴点を限定しない。

【0044】

この場合、参照元側のフレームについて候補特徴点を絞っているので、マッチング処理負荷を軽減させることができる。また、参照先のフレームについて、エッジに基づいて候補特徴点を絞っていないので、マッチングする候補特徴点が少なくなってしまうことを回避することができる。

【0045】

続いて、マッチング部２１２によるマップ情報生成の処理手順を図４に示すフローチャートを用いて説明する。

【0046】

マッチング部２１２は、フレームから候補特徴点を抽出する（ステップＳ１）。そして、マッチング部２１２は、候補特徴点の特徴量を計算する（ステップＳ２）。マッチング部２１２は、参照元のフレームである場合、候補特徴点をエッジ画像に基づいて選択する（ステップＳ３）。

【0047】

特徴点を抽出したフレームが最初のフレーム（参照元のフレーム）であれば（ステップＳ４：Ｙｅｓ）、ステップＳ１に進み、次のフレーム（参照先のフレーム）について特徴点を抽出する。

【0048】

ステップＳ４において、最初のフレームでない場合（ステップＳ４：Ｎｏ）、マッチング部２１２は、参照元のフレームと参照先のフレームについて候補特徴点についてマッチング処理を実行する（ステップＳ５）。

【0049】

続いて、マッチング部２１２は、マッチング結果に基づいて姿勢推定する（ステップＳ６）。そして、マッチング部２１２は、姿勢推定した結果およびマッチング結果に基づいて三角測量して（ステップＳ７）、バンドル調整してマップ情報を登録する（ステップＳ８）。最終フレームでなければ（ステップＳ９：Ｎｏ）、ステップＳ１へ進む。最終フレームであれば（ステップＳ９：Ｙｅｓ）、処理を終了する。

【0050】

続いて、自動駐車時のマッチング処理について、図５を用いて説明する。特徴点抽出部２１２１は、カメラ画像記憶領域２２０１に記憶されている画像フレームを取得して、当該画像フレームから特徴点を抽出する。特徴点抽出部２１２１は、画像フレーム中における周囲とは異なる箇所であると識別可能な箇所を候補特徴点として抽出する。

【0051】

特徴量計算部２１２２は、候補特徴点の特徴量を計算する。特徴点マッチング部２１２４は、抽出した候補特徴点とマップ情報とを用いてマッチング処理を実行する。姿勢推定部２１２８は、マッチング処理の実行結果に基づいて姿勢推定する。そして、姿勢推定結果を自己位置情報記憶領域２２０４へ登録する。自動運転制御装置４０は、自己位置情報を用いて自動運転する。

【0052】

続いて、自動駐車時におけるマッチング部２１２によるマッチング処理手順を図６に示すフローチャートを用いて説明する。

【0053】

マッチング部２１２は、フレームから候補特徴点を抽出する（ステップＳ１１）。そして、マッチング部２１２は、候補特徴点の特徴量を計算する（ステップＳ１２）。続いてマッチング部２１２は、参照先のフレームの候補特徴点とマップ情報とに基づいてマッチング処理を実行する（ステップＳ１３）。

【0054】

続いて、マッチング部２１２は、マッチング結果に基づいて姿勢推定する（ステップＳ１４）。最終フレームでなければ（ステップＳ１５：Ｎｏ）、ステップＳ１１へ進む。最終フレームであれば（ステップＳ１５：Ｙｅｓ）、処理を終了する。

【0055】

上述の実施形態では、自動駐車時において、自動駐車時に撮像した画像フレーム（第２画像）とマップ情報とに基づいてマッチング処理を実行して自己位置を推定する場合について述べたが、教師走行モード時に撮像した画像と、自動駐車時に撮像した画像とに基づいてマッチング処理を実行して自己位置を推定するようにしてもよい。

【0056】

前提として、教師走行モード時の画像フレームを記憶しているものとする。マッチング部２１２は、教師走行時の画像フレームを取得し、当該画像フレームから特徴点を抽出する。マッチング部２１２は、教師走行時の画像フレームの特徴点を抽出する際、上述のようなエッジ画像から特徴点を抽出する。そして、マッチング部２１２は、自動運転時の画像フレームの特徴点を抽出し、教師走行時の画像フレームから抽出した特徴点と、自動運転時の画像フレームから抽出した特徴点とに基づいてマッチング処理を実行して自己位置を推定する。なお、マッチング部２１２は、当該マッチング処理を実行する際、マップ情報を用いてもよい。マッチング部２１２は、教師走行時の画像フレームの特徴点を抽出する際、抽出する特徴点を限定する。マッチング部２１２は、自動運転時の画像フレームから特徴点を抽出する際、抽出する特徴点を限定しない。

【0057】

上述の実施形態では、駐車支援システム１０は、最初の駐車時（教師走行モード時）に撮像した複数の画像に基づいてマップ情報を生成する。また、駐車支援システム１０は、次の駐車時（自動走行モード時）に撮像した複数の画像と、マップ情報とに基づいた自己位置に基づいて車両を自動運転する。駐車支援システム１０は、参照元の画像の候補特徴点と、参照先の画像の候補特徴点とをマッチングして、マッチング結果に基づいてマップ情報を生成する。駐車支援システム１０は、参照元の画像のエッジ画像に基づいて候補特徴点を抽出し、参照先の画像については、エッジ画像とすることなく候補特徴点を抽出する。

【0058】

上述の実施形態にかかる駐車支援システム１０は、参照元の画像については、エッジ画像に基づいて候補特徴点を抽出することで特徴候補点を限定するので、マッチング処理負荷を軽減させることができる。また、駐車支援システム１０は、参照先の画像については、エッジ画像に基づいて候補特徴点を絞っていないので、マッチングする候補特徴点が少なくなってしまうことを回避することができる。すなわち、駐車支援システム１０は、マッチング処理負荷とマッチングする候補特徴点の数のバランスを取ったマッチング処理を実行することができる。すなわち、駐車支援システム１０は、周辺環境を撮像した複数の画像のそれぞれから適切に特徴点を抽出することができる。

【0059】

以上、本開示の実施形態を説明したが、上述の実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら新規な実施形態およびその変形は、発明の範囲および要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。さらに、異なる実施形態および変形例にわたる構成要素を適宜組み合わせてもよい。

【0060】

また、上述した実施の形態における「・・・部」という表記は、「・・・回路（circuitry）」、「・・・アッセンブリ」、「・・・デバイス」、「・・・ユニット」、又は、「・・・モジュール」といった他の表記に置換されてもよい。

【0061】

上記各実施形態では、本開示はハードウェアを用いて構成する例にとって説明したが、本開示はハードウェアとの連携においてソフトウェアでも実現することも可能である。

【0062】

また、上記各実施形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。集積回路は、上記実施の形態の説明に用いた各機能ブロックを制御し、入力端子と出力端子を備えてもよい。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

【0063】

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサおよびメモリを用いて実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、ＬＳＩ内部の回路セルの接続又は設定を再構成可能なリコンフィギュラブル プロセッサ（Reconfigurable Processor）を利用してもよい。

【0064】

さらには、半導体技術の進歩又は派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックを集積化してもよい。バイオ技術の適用等が可能性としてありえる。

【0065】

また、本明細書に記載された実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。

【符号の説明】

【0066】

１０ 駐車支援システム
２０ 情報処理装置
４０ 自動運転制御装置
５０ 撮像装置
６０ 駆動装置
２１０ 処理部
２１１ 画像取得部
２１２ マッチング部

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】