IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックIPマネジメント株式会社の特許一覧

<>
  • 特開-駐車支援方法および駐車支援装置 図1
  • 特開-駐車支援方法および駐車支援装置 図2
  • 特開-駐車支援方法および駐車支援装置 図3
  • 特開-駐車支援方法および駐車支援装置 図4
  • 特開-駐車支援方法および駐車支援装置 図5
  • 特開-駐車支援方法および駐車支援装置 図6
  • 特開-駐車支援方法および駐車支援装置 図7
  • 特開-駐車支援方法および駐車支援装置 図8
  • 特開-駐車支援方法および駐車支援装置 図9
  • 特開-駐車支援方法および駐車支援装置 図10
  • 特開-駐車支援方法および駐車支援装置 図11
  • 特開-駐車支援方法および駐車支援装置 図12
  • 特開-駐車支援方法および駐車支援装置 図13
  • 特開-駐車支援方法および駐車支援装置 図14
  • 特開-駐車支援方法および駐車支援装置 図15
  • 特開-駐車支援方法および駐車支援装置 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023043715
(43)【公開日】2023-03-29
(54)【発明の名称】駐車支援方法および駐車支援装置
(51)【国際特許分類】
   B60W 30/06 20060101AFI20230322BHJP
   B60W 50/14 20200101ALI20230322BHJP
【FI】
B60W30/06
B60W50/14
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2021151489
(22)【出願日】2021-09-16
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】徳弘 崇文
【テーマコード(参考)】
3D241
【Fターム(参考)】
3D241BA21
3D241BA60
3D241BB02
3D241CE05
3D241CE08
3D241DA52Z
3D241DB02Z
3D241DC33Z
3D241DD11Z
(57)【要約】
【課題】教師走行に基づく車両の走行経路と車両の周囲の物体および道路との位置関係を、ユーザが容易に把握することができる駐車支援方法および駐車支援装置を提供する。
【解決手段】本開示に係る駐車支援方法は、運転者による教師走行に基づいて車両の自動走行を行う駐車支援方法であって、教師走行時の車両の周囲を車両の移動と共に時系列に撮像した撮像画像を、車両に設けられた撮像装置から取得する第1の取得ステップと、教師走行における車両の走行経路を記録する経路記録ステップと、撮像画像に基づいて、走行経路および走行経路の周囲を含む表示対象範囲を上方から俯瞰した第1の拡張俯瞰画像を生成する第1の拡張俯瞰画像生成ステップと、第1の拡張俯瞰画像を表示部に表示させる第1の表示ステップと、を含む。
【選択図】図5
【特許請求の範囲】
【請求項1】
運転者による教師走行に基づいて車両の自動走行を行う駐車支援方法であって、
前記教師走行時の前記車両の周囲を前記車両の移動と共に時系列に撮像した撮像画像を、前記車両に設けられた撮像装置から取得する第1の取得ステップと、
前記教師走行における前記車両の走行経路を記録する経路記録ステップと、
前記撮像画像に基づいて、前記走行経路および前記走行経路の周囲を含む表示対象範囲を上方から俯瞰した第1の拡張俯瞰画像を生成する第1の拡張俯瞰画像生成ステップと、
前記第1の拡張俯瞰画像を表示部に表示させる第1の表示ステップと、
を含む駐車支援方法。
【請求項2】
前記第1の表示ステップにおいて、前記第1の拡張俯瞰画像上に記録された前記走行経路を示す走行経路画像を重畳した俯瞰経路画像を、前記表示部に表示させる、
請求項1に記載の駐車支援方法。
【請求項3】
前記表示対象範囲は、前記教師走行における走行経路の開始位置から終了位置までを含む範囲である、
請求項1または2に記載の駐車支援方法。
【請求項4】
前記第1の表示ステップにおいて、さらに、前記教師走行における前記車両の車体の外郭の移動軌跡を表す外郭画像を、前記第1の拡張俯瞰画像上に重畳して表示させる、
請求項1から3のいずれか1項に記載の駐車支援方法。
【請求項5】
前記第1の取得ステップにおいて、さらに、前記教師走行時の前記車両の周囲の物体と前記車両との距離に関する情報を取得し、
前記第1の表示ステップにおいて、前記外郭画像のうち前記距離が閾値以下の箇所を、前記距離が閾値より離れている箇所とは異なる態様で、前記俯瞰経路画像上に表示させる、
請求項4に記載の駐車支援方法。
【請求項6】
前記第1の表示ステップにおいて、前記俯瞰経路画像上の前記教師走行の終了時における前記車両の位置に、前記車両を表す車両画像を表示させる、
請求項1から5のいずれか1項に記載の駐車支援方法。
【請求項7】
前記第1の表示ステップにおいて、前記教師走行の終了時における前記車両の前方向が、前記表示部の画面上方を向く角度で、前記俯瞰経路画像を、前記表示部に表示させる、
請求項2に記載の駐車支援方法。
【請求項8】
ユーザによる前記教師走行の記録の開始および終了の操作を受け付ける開始終了操作受付ステップ、をさらに含み、
前記教師走行の記録の終了の操作を受け付けた場合に、前記第1の表示ステップによる前記俯瞰経路画像の表示が実行される、
請求項2または7に記載の駐車支援方法。
【請求項9】
前記俯瞰経路画像上の前記走行経路を修正するユーザの操作を受け付ける修正操作受付ステップ、をさらに含む、
請求項1から8のいずれか1項に記載の駐車支援方法。
【請求項10】
複数の教師走行の実行後に、前記複数の教師走行の各々に基づく複数の俯瞰経路画像を前記表示部に表示させる第2の表示ステップと、
前記複数の俯瞰経路画像のうち、登録対象の走行経路に対応する俯瞰経路画像を選択するユーザの操作を受け付ける選択受付ステップと、を含む、
請求項1から9のいずれか1項に記載の駐車支援方法。
【請求項11】
前記走行経路に基づく自動走行により、車両を駐車位置に移動させる走行制御ステップと、
前記自動走行中の前記車両の周囲を前記車両の移動と共に時系列に撮像した撮像画像を、前記撮像装置から取得する第2の取得ステップと、
前記第2の取得ステップで取得された前記撮像画像から俯瞰画像を生成する俯瞰画像生成ステップと、
前記第1の拡張俯瞰画像生成ステップで生成された前記第1の拡張俯瞰画像に、前記俯瞰画像を合成することにより第2の拡張俯瞰画像を生成する合成ステップと、
前記第2の拡張俯瞰画像を前記表示部に表示させる第3の表示ステップと、をさらに含む、
請求項1から10のいずれか1項に記載の駐車支援方法。
【請求項12】
運転者による教師走行に基づいて、車両の自動走行を行う駐車支援を実行する駐車支援装置であって、
前記教師走行時の前記車両の周囲を前記車両の移動と共に時系列に撮像した撮像画像を、前記車両に設けられた撮像装置から取得する取得部と、
前記教師走行における前記車両の走行経路を記録する経路記録部と、
前記撮像画像に基づいて、前記走行経路および前記走行経路の周囲を含む表示対象範囲を上方から俯瞰した第1の拡張俯瞰画像を生成する拡張俯瞰画像生成部と、
前記第1の拡張俯瞰画像を表示部に表示させる表示制御部と、
を備える駐車支援装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、駐車支援方法および駐車支援装置に関する。
【背景技術】
【0002】
従来、車両の駐車の際に自動運転により車両を移動させる駐車支援の技術が知られている。このような駐車支援の1つに、運転者による教師走行に基づいて走行経路を学習し、当該学習結果を利用して、駐車支援を行う技術がある。当該技術は例えばユーザの自宅または勤務先等の駐車場など、決まった駐車位置への駐車を繰り返し行なう場合に利用される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第3286306号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、教師走行に基づく車両の走行経路と車両の周囲の物体および道路との位置関係を、ユーザが客観的に把握することが困難な場合があった。
【0005】
本開示は、教師走行に基づく車両の走行経路と車両の周囲の物体および道路との位置関係を、ユーザが容易に把握することができる駐車支援方法および駐車支援装置を提供する。
【課題を解決するための手段】
【0006】
本開示に係る駐車支援方法は、運転者による教師走行に基づいて車両の自動走行を行う駐車支援方法であって、教師走行時の車両の周囲を車両の移動と共に時系列に撮像した撮像画像を、車両に設けられた撮像装置から取得する第1の取得ステップと、教師走行における車両の走行経路を記録する経路記録ステップと、撮像画像に基づいて、走行経路および走行経路の周囲を含む表示対象範囲を上方から俯瞰した第1の拡張俯瞰画像を生成する第1の拡張俯瞰画像生成ステップと、第1の拡張俯瞰画像を表示部に表示させる第1の表示ステップと、を含む。
【発明の効果】
【0007】
本開示に係る駐車支援方法および駐車支援装置によれば、教師走行に基づく車両の走行経路と車両の周囲の物体および道路との位置関係を、ユーザが容易に把握することができる。
【図面の簡単な説明】
【0008】
図1図1は、第1の実施形態に係る駐車支援装置を備える車両の一例を示す図である。
図2図2は、第1の実施形態に係る車両の運転席近傍の構成の一例を示す図である。
図3図3は、第1の実施形態に係る駐車支援装置のハードウェア構成の一例を示す図である。
図4図4は、第1の実施形態に係る教師走行の一例について説明する図である。
図5図5は、第1の実施形態に係る駐車支援装置が備える機能の一例を示すブロック図である。
図6図6は、第1の実施形態に係る走行経路画像の一例を示す図である。
図7図7は、第1の実施形態に係る外郭画像の一例を示す図である。
図8図8は、第1の実施形態に係る俯瞰画像の一例を示す図である。
図9図9は、第1の実施形態に係る拡張俯瞰画像の一例を示す図である。
図10図10は、第1の実施形態に係る俯瞰経路画像の一例を示す図である。
図11図11は、第1の実施形態に係る駐車支援装置で実行される走行経路記録処理の流れの一例を示すフローチャートである。
図12図12は、第2の実施形態に係る俯瞰経路画像の一例を示す図である。
図13図13は、第3の実施形態に係る俯瞰経路画像の一例を示す図である。
図14図14は、第4の実施形態に係る走行経路選択画面の一例を示す図である。
図15図15は、第4の実施形態に係る駐車支援装置で実行される走行経路記録処理の流れの一例を示すフローチャートである。
図16図16は、第5の実施形態に係る俯瞰経路画像の一例を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら、本開示に係る駐車支援方法および駐車支援装置の実施形態について説明する。
【0010】
(第1の実施形態)
図1は、第1の実施形態に係る駐車支援装置100を備える車両1の一例を示す図である。図1に示すように、車両1は、車体12と、車体12に所定方向に沿って配置された2対の車輪13とを備える。2対の車輪13は、1対のフロントタイヤ13f及び1対のリアタイヤ13rを備える。
【0011】
図1に示すフロントタイヤ13fは、本実施形態における第1の車輪の一例である。また、リアタイヤ13rは、本実施形態における第2の車輪の一例である。なお、図1に示す車両1は、4つの車輪13を備えるが、車輪13の数はこれに限定されるものではない。例えば、車両1は2輪車であっても良い。
【0012】
車体12は、車輪13に結合され、車輪13によって移動可能である。この場合、2対の車輪13が配置される所定方向が車両1の走行方向となる。車両1は、不図示のギアの切り替え等により前進または後退することができる。また、車両1は、操舵により右左折することもできる。
【0013】
また、車体12は、フロントタイヤ13f側の端部である前端部Fと、リアタイヤ13r側の端部である後端部Rを有する。車体12は上面視で略矩形をしており、略矩形状の4つの角部を端部と呼ぶ場合もある。また、図1では図示を省略するが、車両1は、表示装置、スピーカ、および操作部を備える。
【0014】
車体12の前後端部F,Rであって、車体12の下端付近には1対のバンパー14が設けられている。1対のバンパー14のうち、フロントバンパー14fは車体12の下端部付近の前面全体と側面の一部を覆う。1対のバンパー14のうち、リアバンパー14rは車体12の下端部付近の後面全体と側面の一部を覆う。
【0015】
車体12の所定の端部には、超音波等の音波の送受波を行う送受波部15f,15rが配置される。例えば、フロントバンパー14fには1つ以上の送受波部15fが配置され、リアバンパー14rには1つ以上の送受波部15rが配置される。以下、送受波部15f,15rを特に限定しない場合には、単に送受波部15という。また、送受波部15の数および位置は、図1に示す例に限定されるものではない。例えば、車両1は、左右の側方に送受波部15を備えても良い。
【0016】
本実施形態においては、超音波を使用したソナーを送受波部15の一例として説明するが、送受波部15は、電磁波を送受波するレーダーであっても良い。あるいは、車両1は、ソナーとレーダーの両方を備えても良い。また、送受波部15を単にセンサと称しても良い。
【0017】
送受波部15は、音波または電磁波の送受結果に基づいて、車両1の周囲の障害物を検出する。また、送受波部15は、音波または電磁波の送受結果に基づいて、車両1の周囲の障害物と車両1との距離を計測する。
【0018】
また、車両1は、車両1の前方を撮像する第1の撮像装置16a、車両1の後方を撮像する第2の撮像装置16b、車両1の左側方を撮像する第3の撮像装置16c、および車両1の右側方を撮像する第4の撮像装置を備える。第4の撮像装置は図示を省略する。
【0019】
以下、第1の撮像装置16a、第2の撮像装置16b、第3の撮像装置16c、および第4の撮像装置を特に区別しない場合には単に撮像装置16という。撮像装置の位置及び数は図1に示す例に限定されるものではない。例えば、車両1は、また、第1の撮像装置16aおよび第2の撮像装置16bの2台のみを備えても良い。あるいは、車両1は、上述の例の他に、さらに他の撮像装置を有しても良い。
【0020】
撮像装置16は、車両1の周囲の映像を撮像可能であり、例えば、カラー画像を撮像するカメラである。なお、撮像装置16が撮像する撮像画像は、動画でも良いし、静止画でも良い。また、撮像装置16は、車両1に内蔵されたカメラであっても良いし、車両1に後付けされたドライブレコーダのカメラ等であっても良い。
【0021】
また、車両1には、駐車支援装置100が搭載される。駐車支援装置100は、車両1に搭載可能な情報処理装置であり、例えば、車両1の内部に設けられたECU(Electronic Control Unit)、もしくはOBU(On Board Unit)である。あるいは、駐車支援装置100は、車両1のダッシュボード付近に設置された外付けの装置であっても良い。なお、駐車支援装置100はカーナビゲーション装置等を兼ねても良い。
【0022】
次に、本実施形態の車両1の運転席近傍の構成について説明する。図2は、第1の実施形態に係る車両1の運転席130a近傍の構成の一例を示す図である。
【0023】
図2に示すように、車両1は運転席130a、および助手席130bを備える。また、運転席130aの前方にはフロントガラス180、ダッシュボード190、ステアリングホイール140、表示装置120、および操作ボタン141が設けられる。
【0024】
表示装置120は、車両1のダッシュボード190に設けられたディスプレイである。表示装置120は、一例として、図2に示すようにダッシュボード190の中央に位置する。表示装置120は例えば液晶ディスプレイまたは有機EL(Electro Luminescence)ディスプレイである。また、表示装置120は、タッチパネルを兼ねても良い。表示装置120は、本実施形態における表示部の一例である。
【0025】
また、ステアリングホイール140は、運転席130aの正面に設けられ、運転者によって操作可能である。ステアリングホイール140の回転角度、つまり操舵角は、操舵輪であるフロントタイヤ13fの向きの変化と電気的または機械的に連動する。なお、操舵輪はリアタイヤ13rでも良いし、フロントタイヤ13fとリアタイヤ13rの両方が操舵輪であっても良い。
【0026】
操作ボタン141は、ユーザによる操作を受け付け可能なボタンである。なお、本実施形態においてユーザは、例えば車両1の運転者である。操作ボタン141は、運転手からの押下を受け付けることにより、運転手から例えば駐車支援の開始の操作を受け付ける。なお、操作ボタン141の位置は図2に示す例に限定されるものでなく、例えばステアリングホイール140に設けられても良い。操作ボタン141は、本実施形態における操作部の一例である。また、表示装置120がタッチパネルを兼ねる場合は、表示装置120が操作部の一例であっても良い。また、不図示のタブレット端末、スマートフォン、リモートコントローラ、または電子キー等の、車両1の外部から車両1に対して信号を送信可能な操作端末を、操作部の一例としても良い。
【0027】
次に、駐車支援装置100のハードウェア構成について説明する。図3は、第1の実施形態に係る駐車支援装置100のハードウェア構成の一例を示す図である。図3に示すように、駐車支援装置100は、CPU(Central Processing Unit)11A、ROM(Read Only Memory)11B、RAM(Random Access Memory)11C、I/F(インタフェース)11D、HDD(Hard Disk Drive)11E等がバス11Fにより相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。
【0028】
CPU11Aは、ECU全体を制御する演算装置である。なお、CPU11Aは、本実施形態の駐車支援装置100におけるプロセッサの一例であり、他のプロセッサまたは処理回路がCPU11Aの代わりに設けられても良い。ROM11Bは、CPU11Aによる各種処理を実現するプログラム等を記憶する。RAM11Cは、例えば駐車支援装置100の主記憶装置であり、CPU11Aによる各種処理に必要なデータを記憶する。I/F11Dは、データを送受信するためのインタフェースである。I/F11Dは、車両1に設けられた他のデバイス、例えば表示装置120との間でデータを送受信する。また、I/F11Dは、車両1内のCAN(Controller Area Network)等を介して車両1に搭載された他のECUとの間で情報の送受信をしても良いし、インターネット等のネットワークを介して車両1の外部の情報処理装置と通信をしても良い。
【0029】
なお、図1~3では、表示装置120は、駐車支援装置100とは別個の装置として図示しているが、表示装置120は駐車支援装置100に含まれても良い。
【0030】
本実施形態の駐車支援装置100は、運転者による教師走行に基づいて走行経路を学習し、当該学習結果を利用して、駐車支援を行う。換言すれば、駐車支援装置100によって実行される駐車支援方法は、運転者による教師走行に基づいて、車両1の自動走行を行う方法である。このような駐車支援方法は、例えば運転者の自宅の車庫、集合住宅の契約駐車位置、または勤務先等の駐車場内の規定の駐車位置等、決まった駐車位置への駐車を繰り返し行なう場合に、運転者の駐車の手間を低減するために有効である。このような駐車支援は、ホームゾーンパーキングと呼ばれる。
【0031】
図4は、第1の実施形態に係る教師走行の一例について説明する図である。図4に示す例では、車両1の運転者の自宅70付近に位置する駐車スペース910が、車両1の目標駐車位置である。また、駐車スペース910の近傍には庭721、およびコーナースペース722が存在する。庭721のうち、駐車スペース910に面した側には樹木73a,73bがある。
【0032】
また、駐車スペース910の周囲には、他の住宅71a,71b、他の住宅71a,71bの駐車スペース711a~711c、および、他の車両30a~30c等が存在する。庭721の樹木73a,73b、他の住宅71a,71b、他の住宅71a,71bの駐車スペース711a~711c、および、他の車両30a~30c等は、車両1が駐車スペース910に駐車する際の障害物となり得る。このため、運転者は、教師走行の際、これらを避けて車両1を走行させる。なお、車両1の障害物となり得る物体はこれらに限定されるものではない。
【0033】
教師走行では、運転者は、道路40上の開始位置900から駐車スペース910まで、手動運転により車両1を走行させる。駐車支援装置100は、教師走行における開始位置900から駐車スペース910までの走行経路80を記録する。記録された走行経路80を自動走行用の走行経路80としてユーザが決定した場合、駐車支援装置100は、当該走行経路80を自動走行用の走行経路80として登録する。なお、ユーザは、所望の走行経路80が得られるまで、複数回の教師走行を繰り返しても良い。
【0034】
このような教師走行による走行経路80の登録が完了した後は、駐車支援装置100は、登録した走行経路80で車両1を自動走行させることにより、車両1を駐車スペース910に駐車させることができる。
【0035】
なお、図4に示す駐車スペース910およびその周囲の環境は一例であり、これに限定されるものではない。
【0036】
次に、本実施形態の駐車支援装置100の機能の詳細について説明する。図5は、第1の実施形態に係る駐車支援装置100が備える機能の一例を示すブロック図である。
【0037】
図5に示すように、本実施形態の駐車支援装置100は、受付部101、取得部102、抽出部103、経路記録部104、経路画像生成部105、拡張俯瞰画像生成部106、表示制御部107、登録処理部108、推定部109、車両制御部110、および記憶部111を備える。
【0038】
記憶部111は、例えばROM11B、RAM11C、またはHDD11Eによって構成される。なお、図5では1つの記憶部111が駐車支援装置100に含まれるように記載したが、複数の記憶媒体が記憶部111として機能しても良い。
【0039】
記憶部111は、駐車支援装置100で実行される各種の処理で使用されるプログラムおよびデータを記憶する。例えば、本実施形態の駐車支援装置100で実行されるプログラムは、上述した各機能部(受付部101、取得部102、抽出部103、経路記録部104、経路画像生成部105、拡張俯瞰画像生成部106、表示制御部107、登録処理部108、推定部109、車両制御部110)を含むモジュール構成となっており、実際のハードウェアとしてはCPU11Aが記憶部111からプログラムを読み出して実行することにより上記各部がRAM11C上にロードされ、受付部101、取得部102、抽出部103、経路記録部104、経路画像生成部105、拡張俯瞰画像生成部106、表示制御部107、登録処理部108、推定部109、および車両制御部110がRAM11C上に生成されるようになっている。なお、駐車支援装置100の各機能部が実現する処理を、ステップともいう。
【0040】
本実施形態の駐車支援装置100で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでフラッシュメモリ、CD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【0041】
また、本実施形態の駐車支援装置100で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の駐車支援装置100で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、本実施形態の駐車支援装置100で実行されるプログラムを、ROM11B等に予め組み込んで提供するように構成してもよい。
【0042】
受付部101は、ユーザからの各種の操作を受け付ける。受付部101は、例えば、操作ボタン141が押下された場合に、ユーザによる教師走行の記録の開始および終了の操作を受け付ける。本実施形態においては、教師走行の記録の開始の操作を受け付ける処理である開始操作受付ステップと、教師走行の記録の終了の操作を受け付ける処理である終了操作受付ステップとを総称する場合、開始終了操作受付ステップという。
【0043】
また、受付部101は、教師走行の終了後、当該教師走行の走行経路80を、自動走行用の走行経路80として登録するか否かを指示するユーザの操作を受け付ける。
【0044】
また、受付部101は、例えば、走行経路80が登録済みの状態で、操作ボタン141が押下された場合に、ユーザによる駐車支援の開始の操作を受け付ける。
【0045】
なお、受付部101がユーザの操作を受け付ける手段は特に限定されない。例えば、表示装置120がタッチパネルである場合、受付部101は、当該タッチパネル上の画像ボタンが押下された場合に、教師走行の記録の開始および終了、または駐車支援の開始の操作を受け付けても良い。
【0046】
取得部102は、教師走行時の車両1の周囲を車両1の移動と共に時系列に撮像した複数の撮像画像を、複数の撮像装置16a~16cから取得する。なお、当該撮像画像は、車両1の周辺を撮像した画像であるため、本実施形態において周辺画像という。当該取得処理は、本実施形態における第1の取得ステップの一例である。また、第1の取得ステップにおいて、取得部102は、さらに、教師走行時の車両1の周囲の物体と車両との距離に関する情報を取得する。
【0047】
車両1の周囲の物体と車両との距離に関する情報は、例えば、送受波部15によって検出された障害物の有無、および検出された車両1の周囲の障害物と車両1との距離の長さである。送受波部15によって検出された障害物の有無、および送受波部15によって計測された車両1の周囲の障害物と車両1との距離を、車両1の周囲の環境に関する環境情報と称しても良い。なお、環境情報は、これらの情報に限定されるものではない。
【0048】
また、取得部102は、車両1の各種センサまたは他のECUから、車両1の車両情報を取得する。車両情報は、例えば、車両1の速度、操舵角、および制動動作に関する情報を含む。車両1の車両情報に含まれる各情報は、各情報が検出された時刻と対応付けられて記憶部111に記憶される。なお、車両1の車両情報は、さらに、車輪速または車輪13の回転数、ジャイロセンサ等で計測された車両1の加速度等を含んでも良い。
【0049】
抽出部103は、周辺画像から特徴点を抽出する。抽出部103による特徴点の抽出の手法は特に限定されるものではなく、公知の手法を適用してよい。例えば、抽出部103は、FAST(Features from Accelerated Segment Test)またはORB (Oriented FAST and Rotated BRIEF)等の手法により特徴点を抽出する。また、抽出部103は、走行経路80の学習の際は、抽出した特徴点のうち、規定の条件を満たす特徴点を、優先的に記録しても良い。例えば、時系列で連続する複数の周辺画像のうち、撮像中に車両1が移動した距離が長いものから抽出された特徴点ほど、優先して特徴点として選定しても良い。
【0050】
経路記録部104は、教師走行における車両1の走行経路80を記録する。経路記録部104は、例えば、複数の周辺画像から抽出された特徴点の変化、および車両1の車両情報に基づいて、教師走行中の車両1の位置を推定し、当該位置の時系列の変化から、走行経路80を特定する。走行経路80の記録処理は、経路記録ステップの一例である。
【0051】
より詳細には、経路記録部104は、教師走行中に撮像された複数の周辺画像から抽出された特徴点の時系列の変化に基づいて、車両1の位置の変化を特定する。また、経路記録部104は、特徴点から特定された車両1の位置を、取得された車両情報に基づいて補正しても良い。
【0052】
本実施形態においては、自動走行用の走行経路80および当該走行経路80を走行する車両1の速度、操舵角、制動動作、および教師走行中に車両1の移動と共に撮像された複数の周辺画像から抽出された特徴点を時系列に対応付けた情報を、走行経路情報という。経路記録部104は、走行経路情報を記憶部111に保存する。走行経路情報は、後述の自動走行の際に、車両制御部110によって用いられる。なお、走行経路80の記録手法、および走行経路情報の定義は当該例に限定されるものではない。
【0053】
また、経路記録部104は教師走行中に撮像された周辺画像から抽出された特徴点に基づいて車両1の周囲の環境を地図として定義し、当該地図を記憶部111に記憶させる。なお、教師走行に基づく走行経路80の記録処理を、学習処理と呼んでも良い。
【0054】
経路画像生成部105は、経路記録部104によって記録された走行経路80を表す走行経路画像を生成する。
【0055】
図6は、第1の実施形態に係る走行経路画像801の一例を示す図である。走行経路画像801は、例えば、図6に示すように、走行経路80の開始位置から終了位置までを、線で表す画像である。走行経路画像801においては、例えば、車両1の車体12の中心の移動軌跡を基準として走行経路80を表す。また、図6に示す例では、走行経路画像801である線の先端は、車両1の進行方向を示す矢印になっている。なお、走行経路画像801の態様はこれに限定されるものではない。
【0056】
また、経路画像生成部105は、教師走行における車両1の車体12の外郭の移動軌跡を表す外郭画像を生成する。
【0057】
図7は、第1の実施形態に係る外郭画像820の一例を示す図である。なお、図7では、外郭画像820と共に走行経路画像801も図示する。外郭画像820は、例えば、図7に示すように、車両1が走行経路80を走行した際の車両1の車体12の外郭の移動軌跡を表す。経路画像生成部105は、例えば記録された走行経路80と、車体12の大きさとに基づいて、車体12の外郭の移動軌跡を推定する。なお、車体12の大きさは、例えば記憶部111に記憶されているものとする。
【0058】
本実施形態の外郭画像820は、少なくとも、車両1の車体12の左右の両端部の移動軌跡を表す車幅画像821を含む。また、走行経路80が切り返しを含む場合は、外郭画像は、切り返し箇所における車両1の車体12の前端部または後端部の位置を示す端部画像822を含む。
【0059】
図5に戻り、拡張俯瞰画像生成部106は、周辺画像に基づいて、走行経路80および走行経路80の周囲を含む表示対象範囲を上方から俯瞰した拡張俯瞰画像を生成する。表示対象範囲は、例えば、教師走行における走行経路80の開始位置900から終了位置までを含む範囲である。当該拡張俯瞰画像は、本実施形態における第1の拡張俯瞰画像の一例である。当該処理は、第1の拡張俯瞰画像生成ステップの一例である。
【0060】
図8は、第1の実施形態に係る俯瞰画像61の一例を示す図である。拡張俯瞰画像生成部106は、走行経路80上の複数の位置において複数の撮像装置16a~16cによって時系列に撮像された複数の周辺画像を仮想視点から見た画像に変換して合成することにより、走行経路80上の複数の位置ごとに車両1の周囲の複数の俯瞰画像61を生成する。このような視点変換および合成の画像処理は、俯瞰画像生成ステップの一例である。
【0061】
仮想視点は、例えば、車両1の真上に位置する。このため、俯瞰画像はトップビューとも呼ばれる。俯瞰画像61の生成の手法は、公知の技術を採用することができる。
【0062】
図8に示す俯瞰画像61は、車両1が走行経路80の終了地点である駐車スペース910に位置する場合に、複数の撮像装置16a~16cによって撮像された複数の周辺画像に基づいて生成された合成画像である。車両1の移動と共に複数の撮像装置16a~16cの撮像範囲が変化するため、車両1が走行経路80上の異なる位置にある場合は、俯瞰画像61も異なる。
【0063】
そして、拡張俯瞰画像生成部106は、複数の俯瞰画像61を、各俯瞰画像61に対応する周辺画像の撮像時刻の時系列の変化に沿って合成することにより、走行経路80全体における車両1の周囲を描出する画像を生成する。このような画像は、個々の俯瞰画像61よりも広い範囲を描出対象とするため、本実施形態においては拡張俯瞰画像と称する。なお、拡張俯瞰画像を単に俯瞰画像と称しても良い。
【0064】
図9は、第1の実施形態に係る拡張俯瞰画像60の一例を示す図である。拡張俯瞰画像生成部106は、例えば、複数の俯瞰画像61に含まれる特徴点に基づいて、複数の俯瞰画像61を繋ぎ合わせることにより、1つの拡張俯瞰画像60を生成する。拡張俯瞰画像60には、走行経路80の開始位置900から終了位置である駐車スペース910までの、車両1が走行する路面または地面、および走行経路80の周辺を描出する背景が含まれる。
【0065】
なお、図8、9では、拡張俯瞰画像生成部106は、複数の周辺画像から複数の俯瞰画像61を生成した後に、当該複数の俯瞰画像61から拡張俯瞰画像60を生成するものとして説明したが、生成処理の流れはこれに限定されるものではない。例えば、拡張俯瞰画像生成部106は、複数の周辺画像から拡張俯瞰画像60を生成してもよい。
【0066】
図5に戻り、表示制御部107は、拡張俯瞰画像60上に、走行経路画像801を重畳して、表示装置120に表示させる。以下、走行経路画像801が重畳された拡張俯瞰画像60を、俯瞰経路画像という。なお、当該表示処理は、本実施形態における第1の表示ステップの一例である。
【0067】
図10は、第1の実施形態に係る俯瞰経路画像62の一例を示す図である。図10に示す俯瞰経路画像62では、拡張俯瞰画像60上に、走行経路画像801と外郭画像820とが重畳されている。なお、外郭画像820は必須ではなく、拡張俯瞰画像60上には少なくとも走行経路画像801が重畳表示されれば良い。
【0068】
図10に示す例では、表示制御部107は、拡張俯瞰画像60の背景として、矩形の背景領域602を表示する。なお、拡張俯瞰画像60が背景領域602を含むものとしても良い。なお、図10では背景領域602は黒色で表示されているが、これは一例であり、表示態様は特に限定されない。
【0069】
俯瞰経路画像62の表示タイミングは、例えば、ユーザによって教師走行の終了の操作が実行された場合である。表示制御部107は、受付部101によって教師走行の記録の終了の操作を受け付けられた場合、俯瞰経路画像62を表示装置120に表示させる。
【0070】
例えば、俯瞰経路画像62には、道路40と、走行経路80の周囲の障害物である樹木73a,73b、他の住宅71a、他の駐車スペース711a,711c、および、他の車両30a等が、走行経路画像801および外郭画像820と共に描出されている。このため、ユーザは、教師走行の際の車両1と周囲の障害物および道路との位置関係を確認することができる。
【0071】
また、表示制御部107は、教師走行の終了時における車両1の前方向が、表示装置120の縦方向を向く角度で、俯瞰経路画像62を表示装置120に表示させる。図10に示す例では、表示装置120の縦方向をY方向、横方向をX方向とする。縦方向は画面上方ともいう。なお、車両1の前方向とは、車両1の前端部が向く方向を意味する。
【0072】
図4に図示したように、本実施形態では、車両1は、教師走行の際、前進した後に、後進して駐車スペース910に進入している。このため、教師走行の終了時における車両1の前方は、駐車スペース910の入口側を向いており、運転者も駐車スペース910の入口側を向いた状態となる。つまり、表示制御部107が教師走行の終了時における車両1の前方向がY方向を向くように俯瞰経路画像62を表示装置120に表示させることで、教師走行の終了時において運転者が車両1の外の景色を実際に見る方向と、表示装置120に表示された俯瞰経路画像62の向きとが一致する。このため、運転者は、走行経路80と実際の周囲の環境との関係性を容易に把握することができる。
【0073】
また、表示制御部107は、俯瞰経路画像62と共に、登録ボタン141aとやり直しボタン141bとを表示装置120に表示させる。登録ボタン141aは、俯瞰経路画像62に対応する走行経路80の登録を指示するユーザの操作を受け付ける画像ボタンである。また、やり直しボタン141bは、俯瞰経路画像62に対応する走行経路80を登録しないことを指示するユーザの操作を受け付ける画像ボタンである。登録ボタン141aおよびやり直しボタン141bが押下された場合、受付部101が、各ボタンに対応する操作を受け付ける。なお、走行経路80の登録または削除の操作の受付手法はこれに限定されるものではない。
【0074】
図5に戻り、登録処理部108は、経路記録部104によって生成された走行経路80を、記憶部111に登録する。本実施形態においては、登録処理部108は、ユーザによって自動走行用の走行経路80として選択された走行経路80のみを登録する。例えば、俯瞰経路画像62は、俯瞰経路画像62と共に表示された登録ボタン141aがユーザによって押下された場合、当該俯瞰経路画像62に対応する走行経路80を自動走行用の走行経路80として登録する。また、俯瞰経路画像62は、俯瞰経路画像62と共に表示されたやり直しボタン141bがユーザによって押下された場合、当該俯瞰経路画像62に対応する走行経路80を削除する。
【0075】
推定部109は、車両1が後述の車両制御部110により走行経路80に基づく自動走行をする際に、周辺画像に基づいて、車両1の位置および向きを推定する。
【0076】
例えば、推定部109は、教師走行の際に撮像された周辺画像の特徴点と、現在の周辺画像の特徴点とを比較することにより、車両1の位置を推定する。なお、推定部109による車両1の位置および向きの推定の手法は当該例に限定されるものではない。
【0077】
車両制御部110は、走行経路80に基づく自動運転により、駐車スペース910に車両1を移動させる。車両制御部110は、車両1の操舵、制動、および加減速を制御することにより、登録された走行経路80に沿って車両1を自動走行させる。このような走行制御の手法は、走行経路80を再生する、ともいう。車両制御部110による自動走行の処理は、走行制御ステップの一例である。
【0078】
また、車両制御部110は、自動走行中に、取得部102によって取得された車両1の車両情報、および環境情報に基づいて、車両1に教師走行とは異なる動作をさせても良い。環境情報は、上述のように、車両1の周囲の有無、および車両1の周囲の障害物と車両1との距離を含む。例えば、自動運転中に他の車両等の障害物が接近した場合には、車両制御部110は、車両1を停止させる等の制御を実行する。
【0079】
なお、車両制御部110による自動走行中は、運転者が車両1の運転席130aに着座していても良いし、車両1から降車していても良い。
【0080】
また、車両制御部110は、自動走行中に車両1が走行経路80から外れた場合に、フィードバック制御により、車両1を走行経路80に戻すように移動させてもよい。例えば、車両制御部110は、推定部109により推定された車両1の位置と走行経路80との差異を特定し、当該差異を小さくするように車両1を走行させる。
【0081】
また、図5では駐車支援装置100が車両制御部110を備えるものとして図示しているが、車両制御部110は、駐車支援装置100とは異なる他のECUによって実現されても良い。
【0082】
次に、以上のように構成された本実施形態の駐車支援装置100で実行される駐車支援処理の流れについて説明する。
【0083】
図11は、第1の実施形態に係る駐車支援装置100で実行される走行経路記録処理の流れの一例を示すフローチャートである。
【0084】
まず、受付部101は、ユーザによる教師走行の開始操作を受け付けたか否かを判定する(S101)。ユーザによる教師走行の開始操作を受け付けていない場合(S101“No”)、受付部101は、S101の処理を繰り返して待機する。
【0085】
受付部101がユーザによる教師走行の開始操作を受け付けた場合(S101“Yes”)、教師走行の記録の処理が開始する。また、運転者は、教師走行の開始操作をした後、車両1を手動で走行させて、駐車スペース910へ移動させる。
【0086】
そして、運転者による教師走行中、取得部102は、複数の撮像装置16a~16cから周辺画像を取得する。また、取得部102は、車両1の各種センサまたは他のECUから、車両1の速度、操舵角、制動動作を取得する。また、取得部102は、送受波部15から、車両1と周囲の障害物との間の距離の測距結果を取得する(S102)。
【0087】
抽出部103は、取得された複数の周辺画像から特徴点を抽出する(S103)。
【0088】
そして、経路記録部104は、複数の周辺画像から抽出された特徴点の変化、および速度、操舵角、制動動作、および測距結果に基づいて、教師走行中の車両1の位置を推定し、当該位置の時系列の変化を、走行経路80として記録する(S104)。
【0089】
そして、受付部101は、教師走行の終了操作を受け付けたか否を判定する(S105)。ユーザによる教師走行の終了操作を受け付けていない場合(S105“No”)、受付部101は、S102~S105の処理を繰り返す。
【0090】
受付部101がユーザによる教師走行の終了操作を受け付けた場合(S105“Yes”)、経路画像生成部105は、経路記録部104によって記録された走行経路80に基づいて、走行経路画像801を生成する(S106)。
【0091】
また、経路画像生成部105は、教師走行における車両1の車体12の外郭の移動軌跡を表す外郭画像820を生成する(S107)。
【0092】
また、拡張俯瞰画像生成部106は、複数の撮像装置16a~16cによって時系列に撮像された複数の周辺画像に基づいて、拡張俯瞰画像60を生成する(S108)。
【0093】
次に、表示制御部107は、走行経路画像801および外郭画像820を拡張俯瞰画像60に重畳した俯瞰経路画像62を表示装置120に表示させる(S109)。また、表示制御部107は、図10に図示したように、登録ボタン141aとやり直しボタン141bとを表示装置120に表示させる。
【0094】
そして、受付部101が、ユーザによる教師走行のやり直しの操作を受け付けた場合(S110“やり直し”)、S101の処理に戻る。また、受付部101が、ユーザによる教師走行の登録の操作を受け付けた場合(S110“登録”)、登録処理部108は、走行経路80を自動走行用の走行経路80として記憶部111に登録する(S111)。ここで、このフローチャートの処理は終了する。
【0095】
このように、本実施形態の駐車支援装置100によって実行される駐車支援方法では、教師走行時の車両1の周囲を車両1の移動と共に時系列に撮像した撮像画像を、車両1に設けられた撮像装置16から取得し、教師走行における車両1の走行経路80を記録する。当該駐車支援方法では、撮像画像に基づいて、走行経路80および走行経路80の周囲を含む表示対象範囲を上方から俯瞰した拡張俯瞰画像60を生成し、生成した拡張俯瞰画像60を、表示装置120に表示させる。このため、本実施形態の駐車支援方法および駐車支援装置100によれば、教師走行に基づく車両1の走行経路80と車両1の周囲の物体および道路40との位置関係を、ユーザが容易に把握することができる。また、本実施形態の駐車支援装置100では、拡張俯瞰画像60に走行経路画像801を重畳した俯瞰経路画像62を表示装置120に表示させることにより、教師走行に基づく車両1の走行経路80と車両1の周囲の物体および道路40との位置関係を、ユーザが把握することがさらに容易となっている。
【0096】
比較例として、通常の俯瞰画像では、現在の車両の周囲の状態が上方から見た視点で描出されるが、走行経路全体にわたる範囲およびその周囲まで拡大した領域は描出されない。このため、運転者がリアルタイムで確認するには適しているが、走行経路全体を確認するには不十分な場合がある。これに対して、本実施形態の駐車支援装置100によって実行される駐車支援方法では、教師走行における走行経路80全体およびその周囲の状態をユーザが客観的に把握することができる。
【0097】
また、本実施形態の駐車支援装置100によって実行される駐車支援方法では、教師走行における車両1の車体12の外郭の移動軌跡を表す外郭画像820を、拡張俯瞰画像60上に重畳して表示させる。このため、本実施形態の駐車支援装置100によって実行される駐車支援方法によれば、車両1の車体12の外郭と周囲の障害物等との位置関係および距離を、運転者が容易に把握することができる。例えば、教師走行において車両1が周囲の障害物に接触せずに駐車スペースに到達した場合であっても、車体12の外郭と周囲の障害物等との距離が近接している場合がある。ユーザは、拡張俯瞰画像60上の外郭画像820を視認することにより、上方視点から車体12の外郭と周囲の障害物等との距離を確認することができる。
【0098】
例えば、図10に示す例では、教師走行において車両1の外郭画像820は、図4に示したコーナースペース722に相当する領域にも描出されている。このため、教師走行において車両1の中心はコーナースペース722を通過していないものの、車両1の車体12はコーナースペース722を通過していることが明らかとなる。例えば、教師走行の際にはコーナースペース722には何も置かれていなかったとして、当該コーナースペース722を駐輪場として使用される場合があるとする。この場合、ユーザは、車両1の車体12の移動軌跡を俯瞰経路画像62上の外郭画像820で確認することにより、コーナースペース722を通過する走行経路80を自動走行用に採用することを回避することできる。
【0099】
また、本実施形態の駐車支援装置100によって実行される駐車支援方法では、ユーザによる教師走行の記録の開始および終了の操作を受け付けた場合に、俯瞰経路画像62を表示する。このため、本実施形態の駐車支援装置100によって実行される駐車支援方法によれば、ユーザは、教師走行の終了後に、当該教師走行における車両1と周囲の障害物および道路との位置関係を、俯瞰経路画像62によってすぐに確認することができる。また、このような確認が容易になることにより、教師走行の終了後に、当該教師走行に基づく走行経路を登録するか、教師走行をやり直すかについてのユーザの意思決定を支援することができる。
【0100】
また、本実施形態の駐車支援装置100によって実行される駐車支援方法では、教師走行の終了時における車両1の前方向が、表示装置120の画面上方を向く角度で、俯瞰経路画像62を、表示装置120に表示させる。このような構成により、教師走行の終了時において運転者が車両1の外の景色を実際に見る方向と、表示装置120に表示された俯瞰経路画像62の向きとが一致する。このため、運転者は、走行経路80と実際の周囲の環境との関係性を容易に把握することができる。
【0101】
(第2の実施形態)
上述の第1の実施形態では、駐車支援装置100は、走行経路画像801および外郭画像820を拡張俯瞰画像60に重畳表示していた。この第2の実施形態では、駐車支援装置100は、さらに、車両1の周囲の障害物との距離に応じて、外郭画像820の表示態様を変化させる。
【0102】
本実施形態の車両1は、図1、2で説明した第1の実施形態と同様の構成を備える。また、本実施形態の駐車支援装置100のハードウェア構成は、図3で説明した第1の実施形態と同様である。
【0103】
本実施形態の駐車支援装置100は、第1の実施形態と同様に、受付部101、取得部102、抽出部103、経路記録部104、経路画像生成部105、拡張俯瞰画像生成部106、表示制御部107、登録処理部108、推定部109、車両制御部110、および記憶部111を備える。受付部101、取得部102、抽出部103、経路記録部104、拡張俯瞰画像生成部106、表示制御部107、登録処理部108、推定部109、車両制御部110、および記憶部111は、第1の実施形態と同様の機能を備える。
【0104】
本実施形態の経路画像生成部105は、第1の実施形態と同様の機能を備えた上で、外郭画像のうち、教師走行時の車両1の周囲の物体と車両1との距離が閾値以下の箇所の態様を、当該距離が閾値より離れている箇所とは異なる態様で生成する。車両1の周囲の物体と車両1との距離の閾値の値は特に限定されるものではないが、例えば50cm等でも良い。なお、当該閾値は、予め設定された固定値でも良いし、ユーザが変更可能であっても良い。
【0105】
図12は、第2の実施形態に係る俯瞰経路画像62aの一例を示す図である。図12に示す例では、走行経路80上の車両1の切り返し位置で、周囲の障害物と車両1との距離が閾値以下になっている。
【0106】
経路画像生成部105は、例えば、車両1の周囲の物体と車両1との距離が閾値より離れている箇所では実線、車両1の周囲の物体と車両1との距離が閾値以下の箇所を2重線で、外郭画像820aを生成する。図12に示す例では、経路画像生成部105は、周囲の障害物と車両1との距離が閾値以下である箇所に対応する端部画像822aを2重線、当該距離が閾値より離れている箇所に対応する車幅画像821は実線としている。
【0107】
そして、本実施形態の表示制御部107は、第1の実施形態と同様の機能を備えた上で、経路画像生成部105によって生成された、端部画像822aと車幅画像821とを拡張俯瞰画像60上に重畳して表示させることにより、外郭画像820のうち周囲の障害物との距離が閾値以下の箇所を、当該距離が閾値より離れている箇所とは異なる態様で表示させる。
【0108】
なお、表示態様は図12に示す例に限定されるものではなく、経路画像生成部105は、車両1の周囲の物体と車両1との距離が閾値以下の箇所の色を他の箇所とは異なる色にしても良いし、注意喚起のマークまたはメッセージを付加しても良い。
【0109】
このように、本実施形態の駐車支援装置100によって実行される駐車支援方法では、外郭画像820のうち周囲の障害物との距離が閾値以下の箇所を、当該距離が閾値より離れている箇所とは異なる態様で表示させる。このため、本実施形態の駐車支援装置100によって実行される駐車支援方法によれば、教師走行において、車両1と周囲の障害物との距離が近接した箇所をユーザに把握させることができることにより、教師走行の終了後に、当該教師走行に基づく走行経路を登録するか、あるいは教師走行をやり直すかについてのユーザの意思決定を支援することができる。
【0110】
(第3の実施形態)
この第3の実施形態では、駐車支援装置100は、さらに、俯瞰経路画像上に車両1を表す車両画像を表示させる。
【0111】
本実施形態の車両1は、図1、2で説明した第1の実施形態と同様の構成を備える。また、本実施形態の駐車支援装置100のハードウェア構成は、図3で説明した第1の実施形態と同様である。
【0112】
本実施形態の駐車支援装置100は、第1の実施形態と同様に、受付部101、取得部102、抽出部103、経路記録部104、経路画像生成部105、拡張俯瞰画像生成部106、表示制御部107、登録処理部108、推定部109、車両制御部110、および記憶部111を備える。受付部101、取得部102、抽出部103、経路記録部104、経路画像生成部105、拡張俯瞰画像生成部106、登録処理部108、推定部109、車両制御部110、および記憶部111は、第1の実施形態と同様の機能を備える。
【0113】
本実施形態の表示制御部107は、第1の実施形態と同様の機能を備えた上で、俯瞰経路画像上の教師走行の終了時における車両1の位置に、車両1を表す車両画像を表示させる。車両画像は、例えば、車両1の形状を模したCG(Computer Graphics)画像である。車両画像は、例えば記憶部111に予め記憶されているものとする。
【0114】
図13は、第3の実施形態に係る俯瞰経路画像62bの一例を示す図である。
【0115】
本実施形態の表示制御部107は、図13に示すように、拡張俯瞰画像60上の駐車スペース910に対応する位置に車両画像83を重畳表示させる。また、車両画像83の向きは、教師走行の終了時における車両1の向きであるものとする。
【0116】
本実施形態では、教師走行の終了時における車両1の位置は、駐車スペース910である。例えば、運転者が教師走行の終了後に車両1に乗車したまま俯瞰経路画像62bを確認する場合、俯瞰経路画像62b上に、運転者が乗車中の車両1の位置が表示されるため、車両1の位置と走行経路80との位置関係を運転者が容易に把握することができる。
【0117】
(第4の実施形態)
上述の第1の実施形態では、駐車支援装置100は、1回の教師走行毎に、当該教師走行で得られた走行経路80を登録または削除するユーザの操作を受け付けていた。この第4の実施形態では、駐車支援装置100は、複数の教師走行の終了後に、複数の教師走行で得られた複数の走行経路80のうち、ユーザが選択した走行経路80を登録する。
【0118】
本実施形態の車両1は、図1、2で説明した第1の実施形態と同様の構成を備える。また、本実施形態の駐車支援装置100のハードウェア構成は、図3で説明した第1の実施形態と同様である。
【0119】
本実施形態の駐車支援装置100は、第1の実施形態と同様に、受付部101、取得部102、抽出部103、経路記録部104、経路画像生成部105、拡張俯瞰画像生成部106、表示制御部107、登録処理部108、推定部109、車両制御部110、および記憶部111を備える。取得部102、抽出部103、経路記録部104、経路画像生成部105、拡張俯瞰画像生成部106、推定部109、車両制御部110、および記憶部111は、第1の実施形態と同様の機能を備える。
【0120】
本実施形態の表示制御部107は、第1の実施形態と同様の機能を備えた上で、複数の教師走行の実行後に、複数の教師走行の各々に基づく複数の俯瞰経路画像を表示装置120に表示させる。当該表示処理は、本実施形態における第2の表示ステップの一例である。
【0121】
図14は、第4の実施形態に係る走行経路選択画面121の一例を示す図である。表示制御部107は、複数の俯瞰経路画像62c~62fを含む走行経路選択画面121を表示装置120に表示させる。各俯瞰経路画像62c~62fは、それぞれ、1回目から4回目までの教師走行に対応する。なお、図14に示す教師走行および俯瞰経路画像62の数は一例であり、4回に限定されるものではない。
【0122】
各俯瞰経路画像62c~62fは、拡張俯瞰画像60c~60f上に、走行経路画像801c~801fおよび外郭画像820c~820fが重畳された画像である。外郭画像820c~820fは、車幅画像821c~820fおよび端部画像822c~822fを含む。
【0123】
また、表示制御部107は、走行経路選択画面121上に、各俯瞰経路画像62c~62fをユーザが選択可能な選択ボタン143a~143d、および登録ボタン142aを表示させる。各選択ボタン143a~143dは、それぞれ俯瞰経路画像62c~62fと1対1で対応する。
【0124】
本実施形態の受付部101は、第1の実施形態と同様の機能を備えた上で、複数の俯瞰経路画像62c~62fのうち、登録対象の走行経路80に対応する1つの俯瞰経路画像62を選択するユーザの操作を受け付ける。当該受け付け処理は、本実施形態における選択受付ステップの一例である。
【0125】
例えば、ユーザは、選択ボタン143a~143dのいずれかを押下した上で、登録ボタン142aを押下することにより、登録対象の走行経路80に対応する1つの俯瞰経路画像62を選択する。図14に示す例では、ユーザは3回目の教師走行に対応する選択ボタン143cを選択している。この状態ユーザが登録ボタン142aを押下した場合、受付部101は、3回目の教師走行で得られた走行経路80を、自動走行用の走行経路80として登録するユーザの操作を受け付ける。
【0126】
本実施形態の登録処理部108は、第1の実施形態と同様の機能を備えた上で、ユーザによって選択された走行経路80を、自動走行用の走行経路80として記憶部111に登録する。
【0127】
図15は、第4の実施形態に係る駐車支援装置100で実行される走行経路記録処理の流れの一例を示すフローチャートである。
【0128】
S101の教師走行の開始操作の受け付けの有無の判定の処理から、S109の教師走行ごとの俯瞰経路画像62の表示までは、第1の実施形態と同様の処理である。
【0129】
そして、S109の後に受付部101が、ユーザによる教師走行のもう一度教師走行を開始する操作を受け付けた場合(S201“もう一度教師走行を開始”)、S101の処理に戻る。また、この場合、運転者は、車両1を駐車スペース910から出庫させ、開始位置900へ車両1を移動させる。
【0130】
また、受付部101がユーザによる走行経路80の選択の開始の操作を受け付けた場合(S201“走行経路の選択開始”)、表示制御部107は、走行経路選択画面121を表示装置120に表示させる(S202)。
【0131】
そして、受付部101は、ユーザによる登録対象の走行経路80を選択する操作を受け付けたか否かを判定する(S203)。受付部101がユーザによる登録対象の走行経路80を選択する操作を受け付けていない場合(S203“No”)、表示制御部107は、走行経路選択画面121の表示を継続する。
【0132】
また、受付部101がユーザによる登録対象の走行経路80を選択する操作を受け付けた場合、登録処理部108は、ユーザによって選択された走行経路80を、自動走行用の走行経路80として記憶部111に登録する(S204)。ここで、このフローチャートの処理は終了する。
【0133】
このように、本実施形態の駐車支援装置100によって実行される駐車支援方法では、複数の教師走行の実行後に、複数の教師走行の各々に基づく複数の俯瞰経路画像62c~62fを表示装置120に表示させ、複数の俯瞰経路画像62c~62fのうち、登録対象の走行経路80に対応する俯瞰経路画像62を選択するユーザの操作を受け付ける。このため、本実施形態の駐車支援装置100によって実行される駐車支援方法によれば、ユーザは、複数回の教師走行で得られた複数の走行経路80を比較して、所望の走行経路80を登録対象として選択することができる。
【0134】
(第5の実施形態)
上述の第1~4の実施形態では、教師走行後の俯瞰経路画像62,62a~62fの表示について説明したが、この第5の実施形態では、自動走行中の俯瞰経路画像の表示について説明する。
【0135】
本実施形態の車両1は、図1、2で説明した第1の実施形態と同様の構成を備える。また、本実施形態の駐車支援装置100のハードウェア構成は、図3で説明した第1の実施形態と同様である。
【0136】
本実施形態の駐車支援装置100は、第1の実施形態と同様に、受付部101、取得部102、抽出部103、経路記録部104、経路画像生成部105、拡張俯瞰画像生成部106、表示制御部107、登録処理部108、推定部109、車両制御部110、および記憶部111を備える。受付部101、経路記録部104、経路画像生成部105、登録処理部108、推定部109、車両制御部110、および記憶部111は、第1の実施形態と同様の機能を備える。
【0137】
本実施形態の取得部102は、第1の実施形態と同様の機能を備えた上で、自動走行中の車両1の周囲を車両1の移動と共に時系列に撮像した撮像画像、つまり周辺画像を、複数の撮像装置16a~16cから取得する。自動走行中の当該取得処理は、本実施形態における第2の取得ステップの一例である。
【0138】
本実施形態の抽出部103は、第1の実施形態と同様の機能を備えた上で、自動走行中に取得された周辺画像から特徴点を抽出する。
【0139】
本実施形態の拡張俯瞰画像生成部106は、第1の実施形態と同様の機能を備えた上で、自動走行中に取得された周辺画像から俯瞰画像61を生成する。
【0140】
また、拡張俯瞰画像生成部106は、記憶部111に記憶された教師走行時の拡張俯瞰画像60に、自動走行中に撮像された周辺画像に基づく俯瞰画像61を合成することにより、自動走行中の車両1の進行に伴って、拡張俯瞰画像60を更新する。当該合成処理は、合成ステップの一例である。
【0141】
例えば、拡張俯瞰画像生成部106は、抽出部103によって抽出された特徴点に基づいて、教師走行時の拡張俯瞰画像60のうち、自動走行中に撮像された周辺画像に基づく俯瞰画像61に相当する画像範囲を特定し、特定した画像範囲を俯瞰画像61に置き換える。このような処理を繰り返すことにより、教師走行時の拡張俯瞰画像60のうち、車両1の進行に沿って撮像装置16が撮像した範囲が順に置き換わる。なお、教師走行時の拡張俯瞰画像60と、自動走行中に撮像された周辺画像に基づく俯瞰画像61との合成の手法はこれに限定されるものではない。
【0142】
本実施形態では、教師走行時の拡張俯瞰画像60を第1の拡張俯瞰画像60と呼び、第1の拡張俯瞰画像60と自動走行中に撮像された周辺画像に基づく俯瞰画像61とが合成された画像を第2の拡張俯瞰画像と呼ぶことにより区別する。
【0143】
本実施形態の表示制御部107は、第1の実施形態と同様の機能を備えた上で、自動走行中に拡張俯瞰画像生成部106によって生成された第2の拡張俯瞰画像を表示装置120に表示させる。当該表示処理は、第3の表示ステップの一例である。
【0144】
図16は、第5の実施形態に係る俯瞰経路画像62gの一例を示す図である。図16に示す第2の拡張俯瞰画像63のうち、走行経路80の開始位置900付近に位置する車両1の撮像装置16によって周辺画像が撮像された範囲は、自動走行中に生成された俯瞰画像61に置き換わっている。また、第2の拡張俯瞰画像63のうち、撮像装置16によって周辺画像がまだ撮像されていない範囲は、第1の拡張俯瞰画像60のまま表示されている。
【0145】
表示制御部107は、車両1が車両制御部110によって自動走行している場合、図16に示すように、第2の拡張俯瞰画像63に走行経路画像802および車両画像83を重畳表示させた俯瞰経路画像62gを表示させる。
【0146】
より詳細には、表示制御部107は、第2の拡張俯瞰画像63上で現在の車両1の位置に対応する箇所に、車両画像83を表示させる。表示制御部107は、自動走行による車両1の移動に伴い、第2の拡張俯瞰画像63上の車両画像83を移動させる。
【0147】
また、図16に示す例では、表示制御部107は、走行経路画像802のうち、車両1が走行済みの範囲を実線、車両1がまだ走行していない範囲を破線で表示させる。このような表示により、ユーザが、車両1が走行経路80上のどの位置にあるかを把握することができる。
【0148】
なお、図16に示す走行経路画像802の表示態様は一例であり、車両1の走行の有無によって表示態様を変化させなくとも良い。また、表示制御部107は、自動走行中に走行経路画像802を表示させなくとも良い。
【0149】
また、図16に示す例では、表示制御部107は、現在の車両1の前方向が、表示装置120のY方向を向くように、俯瞰経路画像62gを表示させる。この場合、車両1の方向が変化すると、俯瞰経路画像62gの向きも変化する。
【0150】
なお、当該表示方向は一例であり、変更可能であっても良い。例えば、表示制御部107は、現在の車両1の前方向が表示装置120のY方向を向くくように俯瞰経路画像62gを表示させる第1の表示モードと、走行経路80の終了地点における車両1の前方向が表示装置120のY方向を向くように俯瞰経路画像62gを表示させる第2の表示モードとを備えても良い。第2の表示モードの場合は、自動走行中の車両1の向きの変化に関わらず、俯瞰経路画像62gの向きは固定される。
【0151】
例えば、受付部101がユーザによる第1の表示モードまたは第2の表示モードの選択の操作を受け付けるものとしても良い。表示制御部107は、ユーザによって選択された表示モードで、俯瞰経路画像62gを表示させる。
【0152】
このように、本実施形態の駐車支援装置100によって実行される駐車支援方法では、走行経路80に基づく車両1の自動走行中に撮像された周辺画像から生成した俯瞰画像61を教師走行時の拡張俯瞰画像60に合成することにより、第2の拡張俯瞰画像63を生成する。そして、当該駐車支援方法では、生成した第2の拡張俯瞰画像63を表示装置120に表示させる。このため、本実施形態の駐車支援装置100によって実行される駐車支援方法によれば、走行経路80に基づく車両1の自動走行中において、現在の車両1の周囲の状態を反映した第2の拡張俯瞰画像63を運転者に提示することができる。
【0153】
例えば、教師走行時には存在しなかった障害物等が車両1の周囲に存在する場合、本実施形態の駐車支援装置100によって実行される駐車支援方法によれば、第2の拡張俯瞰画像63上に、当該障害物を描出することができる。
【0154】
(変形例1)
上述の各実施形態では、表示装置120および操作部は、車両1に搭載されるものとしたが、車両1の外部に設けられても良い。例えば、表示装置120および操作部は、駐車支援装置100と無線または有線で通信可能なタブレット端末またはスマートフォン等のモバイル端末であっても良い。なお、タブレット端末等と車両1の駐車支援装置100とが直接的に接続せず、サーバ装置またはクラウド環境を介してデータおよび制御信号を送受信可能であれば良い。
【0155】
表示装置120および操作部がタブレット端末等である場合、運転者は、車両1内で当該タブレット端末等を使用しても良いし、車両1から降車した状態で当該タブレット端末等を使用しても良い。
【0156】
あるいは、車両1がヘッドアップディスプレイを備える場合、当該ヘッドアップで委スプレイが表示部の一例となっても良い。例えば、車両1のフロントガラス180が不図示の投影装置によって画像が投影されることにより、画像を表示可能なヘッドアップディスプレイになっても良い。
【0157】
(変形例2)
また、駐車支援装置100の表示制御部107が俯瞰経路画像62,62a~62gを表示させる表示タイミングは、上述の各実施形態で挙げた例に限定されるものではない。
【0158】
例えば、本変形例の駐車支援装置100は、ユーザによる走行経路80の修正操作を受け付ける機能を備えるものとする。この場合、教師走行の終了後、受付部101がユーザによる走行経路80の修正画面の表示を指示する操作を受け付けると、表示制御部107は、俯瞰経路画像62,62a~62gを表示装置120に表示させる。
【0159】
ユーザによる走行経路80の修正画面の表示を指示する操作は、例えば、俯瞰経路画像62,62a~62g上の走行経路を修正する操作である。当該操作を受け付ける処理は、修正操作受付ステップの一例である。
【0160】
より具体的には、ユーザは、俯瞰経路画像62,62a~62gに含まれる走行経路画像801を指またはマウス等で操作することにより、走行経路80の修正操作を入力する。駐車支援装置100は、ユーザによる走行経路80の修正操作を受け付けた場合、当該修正操作に基づいて再計算を実行し、走行経路80を補正する。
【0161】
なお、ユーザによる走行経路80の修正画面の表示を指示する操作は、ユーザが車両1に乗車した状態で実行されても良いし、ユーザが車両1を降車した後に、タブレット端末等を表示装置および操作部として使用して実行されても良い。また、教師走行で記録された直後の走行経路80だけではなく、既に自動走行用の走行経路として登録済みの走行経路80に対しても、ユーザによる修正操作が可能であってもよい。
【0162】
(変形例3)
なお、上述の各実施形態では、駐車支援装置100は、教師走行における車両1の走行軌跡を、走行経路80として使用していたが、駐車支援装置100は、教師走行における車両1の走行軌跡に対して速度や走行位置についての補正を施して走行経路80を生成しても良い。
【0163】
また、上述の各実施形態では、教師走行は、自動走行における車両1の走行と同様に、開始位置900から駐車スペース910まで車両1を走行させるものとしたが、教師走行は、自動走行とは逆向きであっても良い。
【0164】
より詳細には、駐車スペース910を教師走行の出発地点とし、開始位置900を教師走行の終了地点としても良い。この場合、経路記録部104は、教師走行の経路を逆方向に変換することにより、自動走行用の走行経路80を生成する。換言すれば、車両制御部110は、教師走行とは逆向きに車両1を開始位置900から駐車スペース910へ走行させる。このような手法は、走行経路を逆再生する、ともいう。
【0165】
(変形例4)
また、上述の各実施形態における駐車支援装置100の機能の一部が、車両1の外部に設けられた情報処理装置によって実行されても良い。車両1の外部に設けられた情報処理装置とは、例えば、スマートフォン等のモバイル端末、PC、サーバ装置等である。なお、情報処理装置は、クラウド環境上に設けられても良い。
【0166】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0167】
1 車両
12 車体
15,15f,15r 送受波部
16,16a~16d 撮像装置
40 道路
60,60c~60f 拡張俯瞰画像(第1の拡張俯瞰画像)
61 俯瞰画像
62,62a~62g 俯瞰経路画像
63 第2の拡張俯瞰画像
70 自宅
80 走行経路
83 車両画像
100 駐車支援装置
101 受付部
102 取得部
103 抽出部
104 経路記録部
105 経路画像生成部
106 拡張俯瞰画像生成部
107 表示制御部
108 登録処理部
109 推定部
110 車両制御部
111 記憶部
120 表示装置
121 走行経路選択画面
141 操作ボタン
141a 登録ボタン
141b やり直しボタン
143a~143d 選択ボタン
180 フロントガラス
801,801c~801f,802 走行経路画像
820,820a,820c~820f 外郭画像
821,821c~820f 車幅画像
822,822a,822c~822f 端部画像
900 開始位置
910 駐車スペース
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16