IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックIPマネジメント株式会社の特許一覧

特開2023-30612情報処理装置、駐車支援装置、および方法
<>
  • 特開-情報処理装置、駐車支援装置、および方法 図1
  • 特開-情報処理装置、駐車支援装置、および方法 図2
  • 特開-情報処理装置、駐車支援装置、および方法 図3
  • 特開-情報処理装置、駐車支援装置、および方法 図4
  • 特開-情報処理装置、駐車支援装置、および方法 図5
  • 特開-情報処理装置、駐車支援装置、および方法 図6
  • 特開-情報処理装置、駐車支援装置、および方法 図7
  • 特開-情報処理装置、駐車支援装置、および方法 図8
  • 特開-情報処理装置、駐車支援装置、および方法 図9
  • 特開-情報処理装置、駐車支援装置、および方法 図10
  • 特開-情報処理装置、駐車支援装置、および方法 図11
  • 特開-情報処理装置、駐車支援装置、および方法 図12
  • 特開-情報処理装置、駐車支援装置、および方法 図13
  • 特開-情報処理装置、駐車支援装置、および方法 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023030612
(43)【公開日】2023-03-08
(54)【発明の名称】情報処理装置、駐車支援装置、および方法
(51)【国際特許分類】
   G08G 1/16 20060101AFI20230301BHJP
   G08G 1/09 20060101ALI20230301BHJP
【FI】
G08G1/16 A
G08G1/09 F
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2021135836
(22)【出願日】2021-08-23
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】竹田 厳太朗
【テーマコード(参考)】
5H181
【Fターム(参考)】
5H181AA01
5H181BB04
5H181CC04
5H181CC11
5H181CC14
5H181FF10
5H181FF13
5H181LL01
5H181LL04
5H181LL09
5H181LL17
(57)【要約】
【課題】登録済みの走行経路に基づく移動を車両が開始する前に、当該走行経路の走行の可否を判定することができる情報処理装置を提供する。
【解決手段】本開示に係る情報処理装置は、通信部と、検出部と、判定部とを備える。通信部は、車載装置から、車両を特定可能な車両識別情報を受信する。検出部は、障害物を検出する。判定部は、検出された障害物の位置と走行経路とに応じて、車両が走行経路に沿って走行可能か否かを判定する。また、通信部は、判定部による走行可否の判定結果を車載装置に送信する。
【選択図】図4
【特許請求の範囲】
【請求項1】
運転者による教師走行に基づいて記録された走行経路に沿って駐車場内で自動走行を行う車両に搭載された車載装置から、前記車両を特定可能な車両識別情報を受信する通信部と、
障害物を検出する検出部と、
検出された前記障害物の位置と前記走行経路とに応じて、前記車両が前記走行経路に沿って走行可能か否かを判定する判定部と、を備え、
前記通信部は、前記判定部による走行可否の判定結果を前記車載装置に送信する、
情報処理装置。
【請求項2】
前記車両の前記教師走行時に前記駐車場が撮影された第1の背景画像を、前記車両識別情報と対応付けて記憶部に記録させる記録部をさらに備え、
前記検出部は、前記車両が前記自動走行を開始する時点において前記駐車場が撮影された第2の背景画像と、前記第1の背景画像とに基づいて、前記障害物を検出する、
請求項1に記載の情報処理装置。
【請求項3】
前記検出部は、前記第1の背景画像と前記第2の背景画像との差分を抽出することにより、前記障害物を検出する、
請求項2に記載の情報処理装置。
【請求項4】
前記検出部は、画像認識により、前記車両が前記自動走行を開始する時点において前記駐車場が撮影された画像から前記障害物を検出する、
請求項1に記載の情報処理装置。
【請求項5】
前記判定部は、検出された前記障害物の位置が、前記車両が前記走行経路に沿って走行する際に通過する走行領域内である場合、前記車両が前記走行経路に沿って走行不可であると判定する、
請求項1から4のいずれか1項に記載の情報処理装置。
【請求項6】
前記記憶部は、一の前記車両識別情報に対して複数の走行経路を記憶可能であり、
前記判定部は、前記複数の走行経路のうち前記車両が走行可能な走行経路を判定し、
前記通信部は、前記複数の走行経路のうち走行可能な走行経路を表す走行経路識別情報を、前記車載装置に送信する、
請求項2に記載の情報処理装置。
【請求項7】
前記記憶部は、一の前記車両識別情報に対応する前記複数の走行経路を、優先順位をつけて記憶可能であり、
前記判定部は、前記車両が前記複数の走行経路のうち最も優先順位の高い走行経路に沿って走行不可であると判定した場合に、前記複数の走行経路のうち前記車両が走行可能な他の走行経路を判定し、
前記通信部は、前記複数の走行経路のうち、前記判定部によって前記車両が走行可能な他の走行経路として判定された走行経路を表す走行経路識別情報を、前記車載装置に送信する、
請求項6に記載の情報処理装置。
【請求項8】
前記検出部は、前記駐車場に設置された固定カメラによって撮影された画像に基づいて、前記障害物を検出する、
請求項1から7のいずれか1項に記載の情報処理装置。
【請求項9】
運転者による教師走行に基づいて記録された走行経路に沿って車両の自動走行を行う駐車支援を実行する駐車支援装置であって、
情報処理装置に対して前記車両を特定可能な車両識別情報を送信し、前記情報処理装置から、前記走行経路に沿った走行の可否を表す情報を受信する通信部と、
受信した前記情報が前記走行経路に沿った走行が不可であることを表す場合、通知を出力する出力部と、
を備える駐車支援装置。
【請求項10】
前記出力部は、前記通知として、障害物が存在するため、自動走行を開始できないことを表すメッセージを前記車両内の表示部に表示させる、
請求項9に記載の駐車支援装置。
【請求項11】
複数の教師走行に基づく複数の走行経路を記憶可能な記憶部を備え、
前記通信部は、前記複数の走行経路のうち、前記車両が走行可能な走行経路を表す走行経路識別情報を前記情報処理装置から受信し、
前記出力部は、受信した前記走行経路識別情報に基づいて、前記車両が走行可能な走行経路を表す通知を出力する、
請求項9または10に記載の駐車支援装置。
【請求項12】
運転者による教師走行に基づいて記録された走行経路に沿って駐車場内で自動走行を行う車両に搭載された車載装置から、前記車両を特定可能な車両識別情報を受信する第1の通信ステップと、
障害物を検出する検出ステップと、
検出された前記障害物の位置と前記走行経路とに応じて、前記車両が前記走行経路に沿って走行可能か否かを判定する判定ステップと、
走行可否の判定結果を前記車載装置に送信する第2の通信ステップと、
を含む方法。
【請求項13】
運転者による教師走行に基づいて記録された走行経路に沿って車両の自動走行を行う駐車支援方法であって、
情報処理装置に対して前記車両を特定可能な車両識別情報を送信し、前記情報処理装置から、前記走行経路に沿った走行の可否を表す情報を受信する通信ステップと、
受信した前記情報が前記走行経路に沿った走行が不可であることを表す場合、通知を出力する出力ステップと、
を含む方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、駐車支援装置、および方法に関する。
【背景技術】
【0002】
従来、車両の駐車の際に自動運転により車両を移動させる駐車支援の技術が知られている。このような駐車支援の1つに、運転者による教師走行に基づいて走行経路を記録し、記録された走行経路を利用して、駐車支援を行う技術がある。当該技術は例えばユーザの自宅または勤務先等の駐車場など、決まった駐車位置への駐車を繰り返し行なう場合に利用される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007-161119号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このような駐車支援により車両が駐車位置へ移動する際に走行経路上に障害物が存在する場合、車載センサにより当該障害物を認識するまでは、当該走行経路の走行が不可であることを判定することが困難であった。このため、車両が実際に走行を開始した後に、登録された走行経路の走行が不可であることをドライバに通知することになり、途中まで進行した駐車のやり直しの手間が発生する場合があった。このような場合に、ドライバが不便さを感じる可能性があった。
【0005】
本開示は、登録済みの走行経路に基づく移動を車両が開始する前に、当該走行経路の走行の可否を判定することができる情報処理装置を提供する。
【課題を解決するための手段】
【0006】
本開示に係る情報処理装置は、通信部と、検出部と、判定部とを備える。通信部は、運転者による教師走行に基づいて記録された走行経路に沿って駐車場内で自動走行を行う車両に搭載された車載装置から、車両を特定可能な車両識別情報を受信する。検出部は、障害物を検出する。判定部は、検出された障害物の位置と走行経路とに応じて、車両が走行経路に沿って走行可能か否かを判定する。また、通信部は、判定部による走行可否の判定結果を車載装置に送信する。
【発明の効果】
【0007】
本開示に係る情報処理装置によれば、登録済みの走行経路に基づく移動を車両が開始する前に、当該走行経路の走行の可否を判定することができる。
【図面の簡単な説明】
【0008】
図1図1は、第1の実施形態に係る駐車支援装置を備える車両の一例を示す図である。
図2図2は、第1の実施形態に係る車両の運転席近傍の構成の一例を示す図である。
図3図3は、第1の実施形態に係る車両が駐車する駐車場の一例を示す図である。
図4図4は、第1の実施形態に係る駐車支援システムの一例を示す図である。
図5図5は、第1の実施形態に係る走行領域情報の一例を示す図である。
図6図6は、第1の実施形態に係る駐車支援装置のハードウェア構成の一例を示す図である。
図7図7は、第1の実施形態に係る駐車支援装置およびサーバ装置で実行される走行経路記録処理の流れの一例を示すシーケンス図である。
図8図8は、第1の実施形態に係る駐車支援装置およびサーバ装置で実行される駐車支援処理の流れの一例を示すシーケンス図である。
図9図9は、第1の実施形態に係る走行不可の通知画面の一例を示す図である。
図10図10は、第2の実施形態に係る走行領域情報の一例を示す図である。
図11図11は、第2の実施形態に係る操舵・制動情報の一例を示す図である。
図12図12は、第2の実施形態に係る周辺画像と、走行経路IDおよび優先順位の対応付けの一例を示す図である。
図13図13は、第2の実施形態に係る走行可能な走行経路の通知画面の一例を示す図である。
図14図14は、変形例1に係る固定カメラとサーバ装置の関係の一例を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら、本開示に係る情報処理装置、駐車支援装置、および方法の実施形態について説明する。
【0010】
(第1の実施形態)
図1は、第1の実施形態に係る駐車支援装置100を備える車両1の一例を示す図である。図1に示すように、車両1は、車体12と、車体12に所定方向に沿って配置された2対の車輪13とを備える。2対の車輪13は、1対のフロントタイヤ13f及び1対のリアタイヤ13rを備える。
【0011】
図1に示すフロントタイヤ13fは、本実施形態における第1の車輪の一例である。また、リアタイヤ13rは、本実施形態における第2の車輪の一例である。なお、図1に示す車両1は、4つの車輪13を備えるが、車輪13の数はこれに限定されるものではない。例えば、車両1は2輪車であっても良い。
【0012】
車体12は、車輪13に結合され、車輪13によって移動可能である。この場合、2対の車輪13が配置される所定方向が車両1の走行方向となる。車両1は、不図示のギヤの切り替え等により前進または後退することができる。また、車両1は、操舵により右左折することもできる。
【0013】
また、車体12は、フロントタイヤ13f側の端部である前端部Fと、リアタイヤ13r側の端部である後端部Rを有する。車体12は上面視で略矩形をしており、略矩形状の4つの角部を端部と呼ぶ場合もある。また、図1では図示を省略するが、車両1は、表示装置、スピーカ、および操作部を備える。
【0014】
車体12の前後端部F,Rであって、車体12の下端付近には1対のバンパー14が設けられている。1対のバンパー14のうち、フロントバンパー14fは車体12の下端部付近の前面全体と側面の一部を覆う。1対のバンパー14のうち、リアバンパー14rは車体12の下端部付近の後面全体と側面の一部を覆う。
【0015】
車体12の所定の端部には、超音波等の音波の送受波を行う送受波部15f,15rが配置される。例えば、フロントバンパー14fには1つ以上の送受波部15fが配置され、リアバンパー14rには1つ以上の送受波部15rが配置される。以下、送受波部15f,15rを特に限定しない場合には、単に送受波部15という。また、送受波部15の数および位置は、図1に示す例に限定されるものではない。例えば、車両1は、左右の側方に送受波部15を備えても良い。
【0016】
本実施形態においては、超音波を使用したソナーを送受波部15の一例として説明するが、送受波部15は、電磁波を送受波するレーダーであっても良い。あるいは、車両1は、ソナーとレーダーの両方を備えても良い。また、送受波部15を単にセンサと称しても良い。
【0017】
送受波部15は、音波または電磁波の送受結果に基づいて、車両1の周囲の障害物を検出する。また、送受波部15は、音波または電磁波の送受結果に基づいて、車両1の周囲の障害物と車両1との距離を計測する。
【0018】
また、車両1は、車両1の前方を撮影する第1の車載カメラ16a、車両1の後方を撮影する第2の車載カメラ16b、車両1の左側方を撮影する第3の車載カメラ16c、および車両1の右側方を撮影する第4の車載カメラを備える。第4の車載カメラは図示を省略する。
【0019】
以下、第1の車載カメラ16a、第2の車載カメラ16b、第3の車載カメラ16c、および第4の車載カメラを特に区別しない場合には単に車載カメラ16という。車載カメラの位置及び数は図1に示す例に限定されるものではない。例えば、車両1は、また、第1の車載カメラ16aおよび第2の車載カメラ16bの2台のみを備えても良い。あるいは、車両1は、上述の例の他に、さらに他の車載カメラを有しても良い。
【0020】
車載カメラ16は、車両1の周囲の映像を撮影可能であり、例えば、カラー画像を撮影するカメラである。なお、車載カメラ16が撮影する画像は、動画でも良いし、静止画でも良い。また、車載カメラ16は、車両1に内蔵されたカメラであっても良いし、車両1に後付けされたドライブレコーダのカメラ等であっても良い。
【0021】
また、車両1には、駐車支援装置100が搭載される。駐車支援装置100は、車両1に搭載可能な情報処理装置であり、例えば、車両1の内部に設けられたECU(Electronic Control Unit)、もしくはOBU(On Board Unit)である。あるいは、駐車支援装置100は、車両1のダッシュボード付近に設置された外付けの装置であっても良い。なお、駐車支援装置100はカーナビゲーション装置等を兼ねても良い。駐車支援装置100は、本実施形態における車載装置の一例である。
【0022】
次に、本実施形態の車両1の運転席近傍の構成について説明する。図2は、第1の実施形態に係る車両1の運転席130a近傍の構成の一例を示す図である。
【0023】
図2に示すように、車両1は運転席130a、および助手席130bを備える。また、運転席130aの前方にはフロントガラス180、ダッシュボード190、ステアリングホイール140、表示装置120、および操作ボタン141が設けられる。
【0024】
表示装置120は、車両1のダッシュボード190に設けられたディスプレイである。表示装置120は、一例として、図2に示すようにダッシュボード190の中央に位置する。表示装置120は例えば液晶ディスプレイまたは有機EL(Electro Luminescence)ディスプレイである。また、表示装置120は、タッチパネルを兼ねても良い。表示装置120は、本実施形態における表示部の一例である。
【0025】
また、ステアリングホイール140は、運転席130aの正面に設けられ、ドライバ(運転者)によって操作可能である。ステアリングホイール140の回転角度、つまり操舵角は、操舵輪であるフロントタイヤ13fの向きの変化と電気的または機械的に連動する。なお、操舵輪はリアタイヤ13rでも良いし、フロントタイヤ13fとリアタイヤ13rの両方が操舵輪であっても良い。
【0026】
操作ボタン141は、ユーザによる操作を受け付け可能なボタンである。なお、本実施形態においてユーザは、例えば車両1のドライバである。操作ボタン141は、ドライバからの押下を受け付けることにより、ドライバから例えば駐車支援の開始の操作を受け付ける。なお、操作ボタン141の位置は図2に示す例に限定されるものでなく、例えばステアリングホイール140に設けられても良い。操作ボタン141は、本実施形態における操作部の一例である。また、表示装置120がタッチパネルを兼ねる場合は、表示装置120が操作部の一例であっても良い。また、不図示のタブレット端末、スマートフォン、リモートコントローラ、または電子キー等の、車両1の外部から車両1に対して信号を送信可能な操作端末を、操作部の一例としても良い。
【0027】
本実施形態の駐車支援装置100は、ドライバによる教師走行に基づいて走行経路を記録し、記録した走行経路を利用して駐車支援をする。換言すれば、駐車支援装置100によって実行される駐車支援方法は、ドライバによる教師走行に基づいて、車両1の自動走行を行う方法である。このような駐車支援方法は、例えばドライバの自宅の車庫、集合住宅の契約駐車枠、または勤務先等の駐車場内の規定の駐車枠等、決まった場所への駐車を繰り返し行なう場合に、ドライバの駐車の手間を低減するために有効である。このような駐車支援は、ホームゾーンパーキングと呼ばれる。
【0028】
本実施形態においては、特に、集合住宅の駐車場、または勤務先等の駐車場内に、車両1用の駐車枠がある場合を想定する。本実施形態の駐車支援装置100は、このような駐車場を管理するサーバ装置と相互に通信可能であるものとする。
【0029】
図3は、第1の実施形態に係る車両1が駐車する駐車場9の一例を示す図である。図3に示すように、駐車場9には、複数の駐車枠901~904が設けられている。図3に示す例では、車両1には、駐車枠903が割当てられている。
【0030】
図3に示す走行経路8は、車両1がドライバの手動運転による教師走行で駐車枠903へ駐車した経路である。図3に示す走行領域800は、車両1が走行経路8を走行する際の、車両1の車体12が通過する領域である。
【0031】
駐車場9には、固定カメラ5が設けられている。固定カメラ5は、少なくとも、複数の駐車枠901~904、および各駐車枠901~904に割当てられた複数の車両の走行領域800を撮影可能な位置に設置される。固定カメラ5が撮影する画像は、動画でも良いし、静止画でも良い。また、固定カメラ5は、監視カメラ等の用途を兼ねても良い。
【0032】
サーバ装置2は、例えば、駐車場9の管理室等に設けられる。あるいは、サーバ装置2は、駐車場9の外部に設けられても良い。サーバ装置2は、本実施形態における情報処理装置の一例である。
【0033】
車両1の駐車支援装置100は、サーバ装置2と無線通信により相互に通信する。無線通信の規格はWi-Fi、またはBluetooth(登録商標)等であるが、特に限定されるものではない。
【0034】
また、サーバ装置2は、固定カメラ5から、固定カメラ5が撮影した画像を取得する。サーバ装置2と固定カメラ5とは、無線通信により相互に通信しても良いし、通信ケーブルを介して互いに通信しても良い。
【0035】
また、駐車支援装置100および固定カメラ5は、サーバ装置2と直接的に接続しなくとも良く、例えば、駐車場9内に設けられた通信装置を介してサーバ装置2と通信しても良い。
【0036】
サーバ装置2は、車両1の教師走行前に固定カメラ5から取得した画像を保存する。そして、その後、車両1が当該教師走行に基づく自動走行により駐車枠903へ自動駐車をする際に、車両1の教師走行前に固定カメラ5から取得した画像を保存する。
【0037】
車両1の教師走行前に固定カメラ5によって撮影された画像は、本実施形態における第1の背景画像の一例である。また、自動走行開始前に固定カメラ5によって撮影された画像は、本実施形態における第2の背景画像の一例である。
【0038】
サーバ装置2は、第1の背景画像と第2の背景画像とに基づいて、障害物70a,70bを検出する。障害物70a,70bの検出の手法の詳細は後述する。サーバ装置2は、検出した障害物70a,70bが走行領域800内に位置する場合に、車両1が走行経路8に沿って走行不可であると判定する。サーバ装置2は、走行可否の判定結果を、車両1に送信する。
【0039】
次に、本実施形態の駐車支援装置100およびサーバ装置2が備える機能の詳細について説明する。
【0040】
図4は、第1の実施形態に係る駐車支援システムS100の一例を示す図である。本実施形態の駐車支援システムS100は、車両1に搭載される車載システムS1と、駐車場側に設けられるインフラシステムS2とを備える。
【0041】
車載システムS1は、表示装置120、車載カメラ16、駐車支援装置100、および車両制御システム18を備える。なお、車載システムS1は、さらに他の装置を含んでも良い。
【0042】
車両制御システム18は、車両1の操舵、アクセル、ブレーキ、およびトランスミッションのギヤを制御することにより、車両1の走行を制御する。
【0043】
駐車支援装置100は、通信装置101、表示制御部102、走行情報記録部103、画像処理部104、補正部105、および記憶部110を備える。
【0044】
なお、図4では駐車支援装置100が通信装置101、表示制御部102、走行情報記録部103、画像処理部104、補正部105、および記憶部110を備える1台の装置であるものとして図示しているが、駐車支援装置100の構成はこれに限定されない。例えば、駐車支援装置100は複数のECU等の装置により構成されてもよい。また、車両制御システム18と駐車支援装置100とが1つのECUに統合されても良い。
【0045】
記憶部110は、例えばROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリ、またはHDD(Hard Disk Drive)等によって構成される。なお、複数の記憶媒体が記憶部110として機能しても良い。
【0046】
記憶部110は、駐車支援装置100で実行される各種の処理で使用されるプログラムおよびデータを記憶する。例えば、本実施形態の駐車支援装置100で実行されるプログラムは、上述した各機能部(表示制御部102、走行情報記録部103、画像処理部104、および補正部105)を含むモジュール構成となっており、実際のハードウェアとしてはCPUが記憶部110からプログラムを読み出して実行することにより上記各部がRAM上にロードされ、表示制御部102、走行情報記録部103、画像処理部104、および補正部105がRAM上に生成されるようになっている。なお、駐車支援装置100の各機能部が実現する処理を、ステップともいう。
【0047】
本実施形態の駐車支援装置100で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでフラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【0048】
また、本実施形態の駐車支援装置100で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の駐車支援装置100で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、本実施形態の駐車支援装置100で実行されるプログラムを、ROM等に予め組み込んで提供するように構成してもよい。
【0049】
なお、表示制御部102、走行情報記録部103、画像処理部104、および補正部105は、個別のハードウェア回路であっても良い。
【0050】
通信装置101は、車両1の外部の情報処理装置と無線通信可能な通信機器である。具体的には、通信装置101は、インフラシステムS2のサーバ装置2と、相互に無線通信可能であるものとする。なお、図3で説明したように、通信装置101は、サーバ装置2と直接的に接続しなくとも良く、例えば、駐車場9内に設けられた他の通信装置を介してサーバ装置2と通信しても良い。通信装置101は、本実施形態における駐車支援装置100の通信部の一例である。
【0051】
本実施形態においては、通信装置101は、車両1がサーバ装置2の通信範囲に入った場合に、サーバ装置2に対して車両1の車両情報を送信する。また、通信装置101は、サーバ装置2から、走行経路8に沿った走行の可否を表す情報を受信する。
【0052】
車両情報は、車両1に関する情報であり、少なくとも、車両1を特定可能な車両IDを含む。車両IDは、本実施形態における車両識別情報の一例である。
【0053】
また、通信装置101は、教師走行を開始するユーザの操作がドライバ用UIまたはその他の操作部から入力された場合、教師走行の開始を示す教師走行開始信号をサーバ装置2に送信する。また、通信装置101は、教師走行を終了するユーザの操作がドライバ用UIまたはその他の操作部から入力された場合、教師走行の終了を示す教師走行終了信号をサーバ装置2に送信する。また、通信装置101は、自動走行による駐車支援を開始するユーザの操作がドライバ用UIまたはその他の操作部から入力された場合、駐車支援の開始を示す駐車支援開始信号をサーバ装置2に送信する。
【0054】
表示制御部102は、表示装置120を制御して、各種のドライバ用UI(User Interface)を表示させる。例えば、表示制御部102は、通信装置101がサーバ装置2から受信した走行可否情報が、走行経路8に沿った走行が不可であることを表す場合、表示装置120に通知を出力させる。
【0055】
例えば、表示制御部102は、例えば、通知として、障害物70aが存在するため、自動走行を開始できないことを表すメッセージを車両1内の表示装置120に表示させる。表示制御部102は、本実施形態における出力部の一例である。
【0056】
なお、通知の出力手法は画面表示に限定されるものではなく、音声による通知の出力等であっても良い。例えば、駐車支援装置100は、スピーカに音声メッセージを出力させる音声出力部を備えても良い。
【0057】
走行情報記録部103は、教師走行における車両1の走行情報を記録する。走行情報記録部103は、車両1の各種センサまたは他のECUから、車両1の操舵角に関する操舵情報、および制動動作に関する制動情報を取得し、記憶部110に登録する。図3では、操舵情報と制動情報とを総称して操舵・制動情報111という。
【0058】
画像処理部104は、教師走行の際に、車載カメラ16から、車両1の周囲を撮影した周辺画像112を取得し、記憶部110に登録する。
【0059】
操舵・制動情報111と周辺画像112とを総称して自動駐車用登録データという。
【0060】
また、画像処理部104は、自動走行による駐車支援の実行の際、車載カメラ16から取得した周辺画像と、記憶部110に登録された教師走行時の周辺画像112とを比較し、比較結果に基づいて車両1の位置を推定する。例えば、画像処理部104は、駐車支援の実行の際に取得した周辺画像と教師走行時の周辺画像112とから特徴点を抽出し、特徴点の位置の差異に基づいて、教師走行時の車両1の位置を基準とした現在の車両1の相対位置を推定する。
【0061】
特徴点の抽出の手法は、FAST(Features from Accelerated Segment Test)またはORB (Oriented FAST and Rotated BRIEF)等の手法を採用しても良い。また、画像処理部104は、その他の公知の手法による自己位置推定を実行しても良い。画像処理部104は、教師走行中に撮像された周辺画像112から抽出された特徴点に基づいて車両1の周囲の環境を地図として定義し、当該地図を記憶部110に記憶させてもよい。
【0062】
補正部105は、自動走行による駐車支援の実行の際、画像処理部104によって推定された車両1の相対位置に基づいて、記憶部110に登録された操舵・制動情報111を補正する。
【0063】
また、補正部105は、送受波部15によって車両1の周囲の障害物が検出された場合、当該障害物の位置に応じて操舵・制動情報111を補正しても良い。また、車両1の周囲の障害物の検出は、送受波部15で行われると限定されるものでなく、車載カメラ16によって撮影された画像に基づいて車両1の周囲の障害物が検出されても良い。例えば、車載カメラ16は、撮影した画像から、画像認識等により障害物を検出しても良い。あるいは、補正部105が、車載カメラ16により撮影された画像から、画像認識等により障害物を検出しても良い。送受波部15による障害物の検出と、車載カメラ16または補正部015による画像に基づく障害物の検出とは、併用されてもよいし、いずれか一方のみが用いられても良い。
【0064】
また、補正部105は、障害物の検出結果に限らず、車両1の周囲の状況を表す種々の周辺情報に基づいて、操舵・制動情報111を補正してもよい。
【0065】
補正部105は、補正した操舵・制動情報111を、車両制御システム18に送信する。車両制御システム18は、補正部105により補正された操舵・制動情報111に基づいて、車両1を自動走行させる。
【0066】
インフラシステムS2は、固定カメラ5と、サーバ装置2とを備える。
【0067】
サーバ装置2は、通信装置201と、ID管理部202と、車両検知部203と、領域認識部204と、障害物検出部205と、走行可否判定部206と、メモリ管理部207と、記憶部210とを備える。
【0068】
なお、図4ではサーバ装置2が通信装置201、ID管理部202、車両検知部203、領域認識部204、障害物検出部205、走行可否判定部206、メモリ管理部207、および記憶部210を備える1台の装置であるものとして図示しているが、サーバ装置2の構成はこれに限定されない。例えば、サーバ装置2の機能の一部または全てがクラウド環境に設けられても良い。また、複数のサーバ装置2により、これらの機能が実現されても良い。
【0069】
記憶部210は、例えばROM、RAM、フラッシュメモリまたはHDD等によって構成される。なお、複数の記憶媒体が記憶部210として機能しても良い。
【0070】
記憶部210は、サーバ装置2で実行される各種の処理で使用されるプログラムおよびデータを記憶する。例えば、本実施形態のサーバ装置2で実行されるプログラムは、上述した各機能部(ID管理部202、車両検知部203、領域認識部204、障害物検出部205、走行可否判定部206、メモリ管理部207)を含むモジュール構成となっており、実際のハードウェアとしてはCPUが記憶部210からプログラムを読み出して実行することにより上記各部がRAM上にロードされ、ID管理部202、車両検知部203、領域認識部204、障害物検出部205、走行可否判定部206、メモリ管理部207がRAM上に生成されるようになっている。なお、サーバ装置2の各機能部が実現する処理を、ステップともいう。
【0071】
本実施形態のサーバ装置2で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでフラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【0072】
また、本実施形態のサーバ装置2で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のサーバ装置2で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、本実施形態のサーバ装置2で実行されるプログラムを、ROM等に予め組み込んで提供するように構成してもよい。
【0073】
なお、ID管理部202、車両検知部203、領域認識部204、障害物検出部205、走行可否判定部206、メモリ管理部207は、個別のハードウェア回路であっても良い。
【0074】
通信装置201は、駐車支援装置100および固定カメラ5と無線通信可能な通信機器である。通信装置201は、本実施形態におけるサーバ装置2の通信部の一例である。
【0075】
本実施形態においては、通信装置201は、駐車支援装置100から、車両情報を受信する。例えば、車両1が、通信装置201の通信範囲に入り、駐車支援装置100の通信装置101とサーバ装置2の通信装置201とが疎通すると、通信装置201は、通信装置101から送信された車両情報を受信する。
【0076】
また、通信装置201は、駐車支援装置100から、教師走行開始信号、教師走行終了信号、および駐車支援開始信号を取得する。
【0077】
また、通信装置201は、車両1が走行経路8に沿って走行可能か否かの判定結果を表す走行可否情報を、駐車支援装置100に送信する。
【0078】
また、通信装置201は、固定カメラ5から、固定カメラ5が撮影した画像を取得する。通信装置201は、固定カメラ5が撮影した画像を常時取得し続けていても良い。なお、固定カメラ5によって撮影された画像は車両検知部203、領域認識部204、障害物検出部205、メモリ管理部207によって実行される処理で用いられるため、図4では、固定カメラ5と車両検知部203、領域認識部204、障害物検出部205、メモリ管理部207とが矢印で接続するが、実際の画像の送信経路は通信装置201を介しても良い。
【0079】
ID管理部202は、通信装置201が受信した車両情報に含まれる車両1の車両IDを抽出する。ID管理部202は、車両1の車両IDをメモリ管理部207に送出する。また、ID管理部202は、車両情報に含まれる車両1の車両IDが、記憶部210に予め登録された車両ID情報213に含まれるか否かを判定しても良い。車両ID情報213は、例えば、駐車場9を契約している車両1の車両IDと、当該車両1の契約駐車枠を特定可能な契約駐車枠IDとが対応付けられたテーブルである。
【0080】
車両検知部203は、車両1の教師走行中に固定カメラ5によって時系列に撮影された複数の画像から、車両1を検知する。車両1を検知する手法は特に限定されるものではないが、例えば、オブジェクト認識等の公知の画像処理の技術を採用可能である。また、車両検知部203は、車両1の教師走行開始前に撮影された第1の背景画像と、車両1の教師走行中に撮影された画像の差分を抽出することにより、車両1を検知しても良い。車両検知部203は、複数の画像と、当該画像上で車両1が描出された位置を領域認識部204に送出する。
【0081】
領域認識部204は、車両検知部203によって検知された教師走行中の車両1の位置の変化に基づいて、駐車場9における車両1の走行領域800を認識する。例えば、領域認識部204は、画像に占める走行領域800の範囲を、画像上の座標により特定する。領域認識部204は、認識した走行領域800をメモリ管理部207に送出する。メモリ管理部207は、領域認識部204によって認識された走行領域800と、ID管理部202により特定された車両IDとを対応付けて、走行領域情報212として記憶部210に保存する。なお、当該処理は領域認識部204が実行しても良い。
【0082】
また、領域認識部204は、認識した走行領域800の幅方向の中心の移動経路を、走行経路8として認識しても良い。
【0083】
図5は、第1の実施形態に係る走行領域情報212の一例を示す図である。図5に示すように、走行領域情報212は、例えば、各車両の車両IDと、走行領域とが対応付けられたテーブルである。
【0084】
図4に戻り、障害物検出部205は、固定カメラ5によって撮影された画像に基づいて、駐車場9に存在する障害物70a,70bを検出する。より詳細には、車両1が自動走行を開始する時点において駐車場9が撮影された第2の背景画像と、車両1の教師走行の開始前に駐車場9が撮影された第1の背景画像とに基づいて、障害物70a,70bを検出する。例えば、障害物検出部205は、第1の背景画像と第2の背景画像との差分を抽出することにより、障害物70a,70bを検出する。
【0085】
図3で説明した例では、植物の鉢植71は、車両1が自動走行をした際に、既に駐車場9に置かれていたものとする。この場合、植物の鉢植71は、第1の背景画像と第2の背景画像の両方において同じ位置に描出されるので、差分が生じない。この場合、障害物検出部205は、植物の鉢植71を障害物として検出しない。
【0086】
また、障害物70a,70bは、車両1が自動走行をした際には駐車場9になく、車両1が自動走行を開始する時点においては駐車場9に存在した。このため、障害物70a,70bは第1の背景画像には描出されず、第2の背景画像にのみ描出される。この場合、障害物70a,70bが描出された箇所において、第1の背景画像と第2の背景画像に差分が生じる。この場合、障害物検出部205は、障害物70a,70bを検出する。
【0087】
なお、障害物検出部205は、その他の手法を用いて障害物70a,70bを検出しても良い。例えば、障害物検出部205は、画像認識により、車両1が自動走行を開始する時点において、駐車場9が撮影された画像から、障害物70a,70bを検出しても良い。画像認識に用いられる画像は、例えば、第2の背景画像と同様のタイミングで固定カメラ5により撮影される。当該手法を採用する場合は、教師走行時の第1の背景画像は記憶部210に保存されなくとも良い。障害物検出部205は、本実施形態における検出部の一例である。
【0088】
障害物検出部205は、検出した障害物70a,70bの位置を、走行可否判定部206に送出する。障害物70a,70bの位置は、例えば第2の背景画像上の座標によって表されても良い。
【0089】
走行可否判定部206は、障害物検出部205によって検出された障害物70a,70bの位置と、車両1の走行経路8とに応じて、車両1が走行経路8に沿って走行可能か否かを判定する。走行可否判定部206は、本実施形態における判定部の一例である。
【0090】
より詳細には、走行可否判定部206は、検出された障害物70a,70bの位置が、車両1が走行経路8に沿って走行する際に通過する走行領域800内である場合、車両1が走行経路8に沿って走行不可であると判定する。
【0091】
本実施形態において、障害物70a,70bの位置が走行領域800内であるとは、障害物70a,70bの少なくとも一部が、走行領域800に含まれることをいう。図3に示した例では、障害物70bは走行領域800内に位置していないが、障害物70aの一部が走行領域800内に位置している。この場合、走行可否判定部206は、車両1が走行経路8に沿って走行不可であると判定する。走行可否判定部206は、走行可否の判定結果を通信装置201に送出する。
【0092】
メモリ管理部207は、記憶部210へのデータの保存、および記憶部210からのデータの読み出しを管理する。また、メモリ管理部207は、車両1の教師走行時に駐車場9が撮影された第1の背景画像211を、車両IDと対応付けて記憶部210に記録させる。車両IDは、例えば、第1の背景画像211の付帯情報として登録されても良いし、テーブル等の形式で車両IDと第1の背景画像211とを対応付けても良い。メモリ管理部207は、本実施形態における記録部の一例である。
【0093】
なお、本実施形態においてメモリ管理部207は、他の機能部により生成された各種データを記憶部210に保存する処理を実行しているが、これらの処理は、他の機能部が実行しても良い。
【0094】
次に、駐車支援装置100のハードウェア構成について説明する。図6は、第1の実施形態に係る駐車支援装置100のハードウェア構成の一例を示す図である。
【0095】
次に、駐車支援装置100のハードウェア構成について説明する。図6は、第1の実施形態に係る駐車支援装置100のハードウェア構成の一例を示す図である。図6に示すように、駐車支援装置100は、CPU(Central Processing Unit)11A、ROM11B、RAM11C、CAN(Controller Area Network)I/F(インタフェース)11D、NW(NetWork) I/F11E、HDD11F等がバス11Gにより相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。
【0096】
CPU11Aは、ECU全体を制御する演算装置である。なお、CPU11Aは、本実施形態の駐車支援装置100におけるプロセッサの一例であり、他のプロセッサまたは処理回路がCPU11Aの代わりに設けられても良い。
【0097】
ROM11B、RAM11C、およびHDD11Fは、記憶部110として機能する。例えば、ROM11Bは、CPU11Aによる各種処理を実現するプログラム等を記憶する。RAM11Cは、例えば駐車支援装置100の主記憶装置であり、CPU11Aによる各種処理に必要なデータを記憶する。
【0098】
CAN I/F11Dは、車両1内のCAN介して車両1に搭載された他のECUとの間で情報の送受信をするためのインタフェースである。なお、CAN以外の規格を採用しても良い。NW I/F11Eは、インターネット等のネットワークを介して車両1の外部の情報処理装置と通信可能な通信装置101である。
【0099】
なお、図6に示す駐車支援装置100のハードウェア構成は一例であり、これに限定されるものではない。
【0100】
また、サーバ装置2のハードウェア構成は図示を省略するが、駐車支援装置100と同様に、プロセッサおよび記憶装置を備えた通常のコンピュータを利用したハードウェア構成とする。
【0101】
次に、以上のように構成された本実施形態の駐車支援装置100およびサーバ装置2で実行される走行経路記録処理の流れについて説明する。
【0102】
図7は、第1の実施形態に係る駐車支援装置100およびサーバ装置2で実行される走行経路記録処理の流れの一例を示すシーケンス図である。当該処理は、ドライバが手動運転により車両1を教師走行する際に実行される。当該処理の開始の前提として、車両1が駐車場9の入口に到着しているものとする。
【0103】
車両1が駐車場9の入口に到着すると、車両1がサーバ装置2の通信装置201の通信範囲に入る。この場合、図7に示すように、駐車支援装置100の通信装置101とサーバ装置2の通信装置201とが疎通する(S101)。
【0104】
この場合、駐車支援装置100の通信装置101は、車両1の車両情報をサーバ装置2へ送信する(S102)。サーバ装置2の通信装置201は車両情報を受信する。そして、ID管理部202は、通信装置201が受信した車両情報に含まれる車両1の車両IDを抽出し、メモリ管理部207に送出する。以降の処理では、ID管理部202により抽出された車両IDに対応付けて各種データが保存される。このように各種データに、車両IDを対応付けて管理することを、ID管理という(S103)。なお、このとき、ID管理部202は、車両ID情報213に基づいて、車両1の車両IDの認証処理を実行しても良い。例えば、事前に登録された車両IDのみ、駐車場9における走行領域800の登録が可能であるものとしても良い。
【0105】
そして、表示装置120に表示されたドライバ用UIまたはその他の操作部が、ドライバによる教師走行のための駐車開始操作を受け付ける(S104)。
【0106】
この場合、駐車支援装置100の通信装置101は、教師走行開始信号をサーバ装置2に送信する(S105)。サーバ装置2の通信装置201は教師走行開始信号を受信する。
【0107】
サーバ装置2のメモリ管理部207は、通信装置201により教師走行開始信号が受信された場合、この時点で固定カメラ5により撮影された画像を、第1の背景画像211として、車両1の車両IDと対応付けて記憶部210に保存する。この時点では、車両1は駐車場9に入場していないため、第1の背景画像211には車両1自体は描出されず、車両1が走行予定の駐車場9の状態が描出される。
【0108】
そして、車両1はドライバによる教師走行を開始する(S107)。なお、S104の駐車開始操作を受け付けタイミングに加えて、実際に車両1が教師走行を開始したタイミングで、さらに、通信装置101が信号をサーバ装置2に送信しても良い。ドライバが手動で教師走行をする間、走行情報記録部103は、教師走行における車両1の走行情報を記録する。また、画像処理部104は、車載カメラ16から周辺画像を取得する。
【0109】
そして、車両1が教師走行をしている間、サーバ装置2の車両検知部203は、固定カメラ5によって時系列に撮影された複数の画像から、車両1を検知する。また、領域認識部204は、車両検知部203によって検知された教師走行中の車両1の位置の変化に基づいて、駐車場9における車両1の走行領域800を認識する(S108)。
【0110】
そして、表示装置120に表示されたドライバ用UIまたはその他の操作部が、ドライバによる教師走行の終了操作を受け付ける(S109)。
【0111】
この場合、駐車支援装置100の通信装置101は、教師走行終了信号をサーバ装置2に送信する(S110)。サーバ装置2の通信装置201は教師走行終了信号を受信する。通信装置201が教師走行終了信号を受信すると、車両検知部203による車両1の検知、および領域認識部204による走行領域800の認識の処理が終了する。領域認識部204は、認識した走行領域800を、メモリ管理部207を介して記憶部210に保存する。ここで、このシーケンス図の処理は終了する。
【0112】
次に、以上のように構成された本実施形態の駐車支援装置100およびサーバ装置2で実行される駐車支援処理の流れについて説明する。
【0113】
図8は、第1の実施形態に係る駐車支援装置100およびサーバ装置2で実行される駐車支援処理の流れの一例を示すシーケンス図である。このシーケンス図の処理の前提として、車両1の教師走行による走行領域800が、サーバ装置2に登録済みであるものとする。
【0114】
車両1が駐車場9の入口に到着すると、車両1がサーバ装置2の通信装置201の通信範囲に入る。この場合、図7に示すように、駐車支援装置100の通信装置101とサーバ装置2の通信装置201とが疎通する(S101)。
【0115】
この場合、駐車支援装置100の通信装置101は、車両1の車両情報をサーバ装置2へ送信する(S201)。サーバ装置2の通信装置201は車両情報を受信する。
【0116】
そして、ID管理部202は、通信装置201が受信した車両情報に含まれる車両1の車両IDを抽出し、認証処理を実行する(S203)。例えば、ID管理部202は、車両1の車両IDが、車両ID情報213、および走行領域情報212に登録されているか否かを判定しても良い。車両1の車両IDが、走行領域情報212に登録されていない場合は、教師走行は可能であるが、自動走行による駐車支援は不可であることを示す情報を通信装置101が車両1に送信しても良い。なお、当該処理は必須ではない。
【0117】
次に、表示装置120に表示されたドライバ用UIまたはその他の操作部が、ドライバによる教師走行のための駐車支援の開始操作を受け付ける(S204)。
【0118】
この場合、駐車支援装置100の通信装置101は、駐車支援開始信号をサーバ装置2に送信する(S205)。サーバ装置2の通信装置201は駐車支援開始信号を受信する。
【0119】
サーバ装置2の障害物検出部205は、通信装置201が駐車支援開始信号を受信した場合、この時点において固定カメラ5が駐車場9を撮影した第2の背景画像を取得する。なお、障害物検出部205は、第2の背景画像を記憶部210に保存しても良い。そして、障害物検出部205は、当該第2の背景画像と、記憶部210に保存された第1の背景画像211との差分を抽出することにより、障害物70a,70bを検出する(S206)。
【0120】
そして、走行可否判定部206は、障害物検出部205によって検出された障害物70a,70bの位置と、車両1の走行経路8とに応じて、障害物70a,70bは走行領域800に侵入しているか否かを判定する(S207)。
【0121】
なお、S206およびS207の処理が実行されている間、駐車支援装置100の画像処理部104は、車載カメラ16から取得した周辺画像に基づく自己位置の推定処理を開始していても良い。
【0122】
次に、走行可否判定部206は、車両1が走行経路8に沿って走行可能か否かを判定する(S208)。例えば、走行可否判定部206は、障害物70a,70bのいずれかの少なくとも一部が走行領域800に侵入している場合、車両1が走行経路8に沿って走行不可であると判定する。
【0123】
そして、通信装置201は、走行可否情報を、駐車支援装置100に送信する(S209)。駐車支援装置100の通信装置101は、走行可否情報を受信する。
【0124】
また、走行可否情報が走行不可であることを示す場合、通信装置201は、走行可否情報とともに第2の背景画像を駐車支援装置100に送信してもよい。また、この場合、通信装置201は、障害物検出部205によって検出された障害物70a,70bのうち走行可否判定部206によって走行領域800内に位置すると判定された障害物70aの第2の背景画像上の位置を示す情報を駐車支援装置100に送信してもよい。
【0125】
駐車支援装置100は、走行可否情報に基づいて、自動走行による駐車支援の開始、またはドライバへの走行不可の通知を出力する(S210)。
【0126】
例えば、走行可否情報が走行可能であることを示す場合、駐車支援装置100の補正部105は、車両1の周囲の状況に応じて補正した操舵・制動情報111を車両制御システム18に送信することにより、自動走行による駐車支援を開始する。この場合、表示制御部102は、自動走行を開始することを表示装置120に表示させても良い。
【0127】
また、走行可否情報が走行不可であることを示す場合、駐車支援装置100の表示制御部102は、ドライバへの走行不可の通知を表示装置120に表示させる。
【0128】
図9は、第1の実施形態に係る走行不可の通知画面の一例を示す図である。図9に示すように、表示制御部102は、障害物70aが存在するため、自動走行を開始できないことを表すメッセージM1を表示装置120上に表示させる。
【0129】
また、図9に示すように、表示制御部102は、サーバ装置2から送信された第2の背景画像51を表示装置120上に表示させても良い。この場合、表示制御部102は、例えば、サーバ装置2の障害物検出部205によって障害物70aとして検出された物体を強調するように、枠700を表示させても良い。また、表示制御部102は、第2の背景画像51上に、走行経路8または走行領域800を表す画像を重畳して表示させても良い。
【0130】
当該通知画面により、車両1のドライバは、教師走行と同じ走行経路8では目標とする駐車枠903に駐車できないことを把握する。その後、例えば、車両1のドライバは手動運転による駐車に切り替えて車両1を駐車させても良い。あるいは、ドライバが障害物70aの除去等の対応をした上で、再度、図9のS201から処理を開始しても良い。なお、図9に示す通知画面の表示態様は一例であり、これに限定されるものではない。
【0131】
ここで、図8に示すシーケンス図の処理は終了する。
【0132】
このように、本実施形態のサーバ装置2は、駐車場9における障害物70a,70bを検出し、障害物70a,70bの位置と車両1の走行経路8とに応じて、車両1が走行経路8に沿って走行可能か否かを判定し、走行可否の判定結果を車両1の駐車支援装置100に送信する。このため、本実施形態のサーバ装置2によれば、登録済みの走行経路8に基づく移動を車両1が開始する前に、当該走行経路8の走行の可否を判定することができる。このため、車両1の自動走行を開始する前に、走行経路8に沿った走行の可否を車両1のドライバが把握することができるため、車両1が途中まで走行した後に障害物70aによって走行が不可となり、駐車のやり直しをする手間が発生することを低減することができる。
【0133】
また、本実施形態のサーバ装置2は、車両1の教師走行時に駐車場9が撮影された第1の背景画像211を車両1の車両IDと対応付けて記憶し、当該第1の背景画像211と、車両1が自動走行を開始する時点において駐車場9が撮影された第2の背景画像51と、に基づいて、障害物70a,70bを検出する。このため、本実施形態のサーバ装置2によれば、車両1が問題なく走行経路8を走行できた教師走行時における駐車場9の状態を基準として、車両1が自動走行を開始する時点において駐車場9に存在する障害物70a,70bを効率的に検出することができる。
【0134】
また、本実施形態のサーバ装置2は、第1の背景画像211と第2の背景画像51との差分を抽出することにより、障害物70a,70bを検出する。このため、本実施形態のサーバ装置2によれば、教師走行時には存在せずに車両1が自動走行を開始する時点において存在する障害物70a,70bを高精度に検出することができる。例えば、本実施形態のサーバ装置2によれば、教師走行時から同じ位置に存在する物体は障害物70a,70bとは判定しないため、車両1のへの通知の基準が必要以上に厳しくなることを低減することができる。
【0135】
また、本実施形態のサーバ装置2は、駐車場9に設置された固定カメラ5によって撮影された第1の背景画像211および第2の背景画像51に基づいて、障害物70a,70bを検出する。車両1に搭載された車載カメラ16とは異なり、駐車場9に設置された固定カメラ5は位置が移動しないため、第1の背景画像211と第2の背景画像51の撮影範囲および撮影角度が変化しない。このため、本実施形態のサーバ装置2によれば、第1の背景画像211と第2の背景画像51との差分から、高精度に障害物70a,70bを検出することができる。
【0136】
また、本実施形態のサーバ装置2による障害物検出手段の他の例として、画像認識により、車両1が自動走行を開始する時点において駐車場9が撮影された画像から障害物70a,70bを検出しても良い。このような構成を採用したサーバ装置2によれば、車両1の教師走行時に撮影された画像が保存されていなくとも、駐車場9に存在する障害物70a,70bを検出することができる。また、当該構成を採用する場合にも、駐車場9に設置された固定カメラ5によって撮影された画像を用いることにより、走行経路8の開始位置から遠くに位置する障害物70a,70bも検出可能となり、車両1の車載カメラ16のみで障害物70a,70bを検出するよりも早い段階で障害物70a,70bを検出可能となる。
【0137】
また、本実施形態のサーバ装置2は、検出した障害物70a,70bの位置が、車両1が走行経路8に沿って走行する際に通過する走行領域800内である場合、車両1が走行経路8に沿って走行不可であると判定する。このため、本実施形態のサーバ装置2によれば、走行領域800から離れた位置の障害物70b等を除外して走行可否の判定をすることができ、必要以上に走行不可の通知が発せられることを低減することができる。
【0138】
また、本実施形態の駐車支援装置100は、サーバ装置2に対して車両1を特定可能な車両IDを送信し、サーバ装置2から、走行経路8に沿った走行の可否を表す走行可否情報を受信し、受信した走行可否情報が走行経路8に沿った走行が不可であることを表す場合、通知を出力する。このため、本実施形態のサーバ装置2によれば、登録済みの走行経路8に基づく移動を車両1が開始する前に、当該走行経路8の走行の可否をドライバに通知することができる。
【0139】
また、本実施形態の駐車支援装置100は、通知として、障害物70aが存在するため、自動走行を開始できないことを表すメッセージM1を車両1内の表示装置120に表示させる。このため、本実施形態のサーバ装置2によれば、走行経路8に基づく移動を車両1が開始する前に、ドライバに駐車場9内の障害物70aの存在を把握させることができるため、ドライバは、手動運転または当該障害物70aの移動等の対応を、早期に検討することができる。
【0140】
(第2の実施形態)
上述の第1の実施形態では、サーバ装置2は、各車両1につき1つの走行領域800を記録していた。この第2の実施形態では、サーバ装置2は、各車両1につき複数の走行領域800を記録することができる。
【0141】
本実施形態の駐車支援システムS100は、第1の実施形態と同様に、車載システムS1と、インフラシステムS2とを備える。
【0142】
インフラシステムS2は、第1の実施形態と同様に、固定カメラ5と、サーバ装置2とを備える。サーバ装置2は、第1の実施形態と同様に、通信装置201と、ID管理部202と、車両検知部203と、領域認識部204と、障害物検出部205と、走行可否判定部206と、メモリ管理部207と、記憶部210とを備える。
【0143】
車載システムS1は、第1の実施形態と同様に、表示装置120、車載カメラ16、駐車支援装置100、および車両制御システム18を備える。駐車支援装置100は、第1の実施形態と同様に、通信装置101、表示制御部102、走行情報記録部103、画像処理部104、補正部105、および記憶部110を備える。
【0144】
本実施形態のサーバ装置2の記憶部210は、一の車両IDに対して複数の走行経路8を記憶可能である。
【0145】
図10は、第2の実施形態に係る走行領域情報212aの一例を示す図である。図10に示すように、本実施形態の記憶部210に記憶される走行領域情報212aは、車両ID、走行経路ID、優先順位、および走行領域800を対応付けて記憶する。
【0146】
走行経路IDは、各車両IDの走行経路8を特定可能な識別情報である。走行経路IDは、車両IDごとに一意となっていれば良い。図10に示す例では、車両ID“001”には2つの走行経路ID“R001”および“R002”が対応付けられている。また、車両ID“003”には3つの走行経路ID“R001”、“R002”、および“R003”が対応付けられている。車両ID“001”に対応付けられた走行経路ID“R001”と、車両ID“003”に対応付けられた走行経路ID“R001”とは、異なる走行経路8である。走行経路IDは、本実施形態における走行経路識別情報の一例である。
【0147】
なお、走行経路IDは、サーバ装置2と、各車両1の駐車支援装置100とで同一のIDとして共有される。走行経路IDを最初に決定する機能は、サーバ装置2と駐車支援装置100とのいずれが有しても良い。例えば、車両1の教師走行の際に、駐車支援装置100の走行情報記録部103が、記録した走行経路8に走行経路IDを割当て、通信装置101が、当該走行経路IDをサーバ装置2に送信しても良い。あるいは、車両1の教師走行の際に、サーバ装置2のID管理部202が走行経路8に走行経路IDを割当て、通信装置201が、当該走行経路IDを駐車支援装置100に送信しても良い。
【0148】
また、本実施形態の記憶部210は、一の車両IDに対応する複数の走行経路8を、優先順位をつけて記憶可能である。優先順位は、各車両IDに対応付けられた走行経路IDの走行可否を走行可否判定部206が判定する順番である。走行可否判定部206は、いずれかの走行経路8で車両1が走行可能であると判定した場合、当該走行可能な走行経路8よりも優先順位の低い走行経路8については走行可否の判定をしない。
【0149】
優先順位は、例えば教師走行により走行経路が記録される際に、ドライバによってドライバ用UIまたはその他の操作部から入力されても良い。あるいは、駐車にかかる時間の短さ等の基準により、駐車支援装置100の走行情報記録部103またはサーバ装置2のID管理部202等が優先順位を自動的に定めても良い。
【0150】
なお、図10では、送経路IDとは別に優先順位の項目を設けているが、走行経路IDが数値を含む場合、走行経路IDの番号が優先順位の高さを表しても良い。
【0151】
また、図10では、走行領域情報212aを1つのテーブルの形式で図示しているが、車両IDごとに個別のテーブルが生成されても良い。また、走行領域情報212aは、テーブル以外の形式で車両ID、走行経路ID、優先順位、および走行領域800が対応付けられていても良い。
【0152】
本実施形態においては、記憶部210は、車両IDおよび走行経路IDごとに複数の第1の背景画像211を記憶しても良い。例えば、記憶部210は、第1の背景画像211に車両IDおよび走行経路IDを対応付けて記憶しても良い。
【0153】
なお、走行経路IDが異なっても車両1に割当てられた駐車枠903は変化しない為、第1の背景画像211は第1の実施形態と同様に、車両IDごとに1つのみ登録されても良い。
【0154】
本実施形態の走行可否判定部206は、第1の実施形態と同様の機能を備えた上で、記憶部210に保存され、車両1の車両IDに対応付けられた複数の走行経路8のうち、車両1が走行可能な走行経路8を判定する。
【0155】
より詳細には、走行可否判定部206は、車両1が当該車両1の車両IDに対応付けられた複数の走行経路8のうち最も優先順位の高い走行経路8に沿って走行不可であると判定した場合に、複数の走行経路8のうち車両1が走行可能な他の走行経路を判定する。例えば、走行可否判定部206は、当該車両1の車両IDに対応付けられて走行領域情報212aに登録された走行経路IDのうち、優先順位が高いものから、走行領域800が障害物70a,70bの位置と重複するか否かを判定する。
【0156】
本実施形態の通信装置201は、第1の実施形態と同様の機能を備えた上で、車両1の車両IDに対応付けられた複数の走行経路8のうち走行可能な走行経路8の走行経路IDを、駐車支援装置100に送信する。より詳細には、通信装置201は、走行可否判定部206によって判定された車両1が走行可能な走行経路8の走行経路IDを、駐車支援装置100に送信する。
【0157】
本実施形態のメモリ管理部207は、第1の実施形態と同様の機能を備えた上で、領域認識部204によって認識された走行領域800と、ID管理部202により特定された車両IDおよび走行経路IDとを対応付けて、走行領域情報212aとして記憶部210に保存する。なお、当該処理は領域認識部204が実行しても良い。
【0158】
また、本実施形態のメモリ管理部207は、車両1の教師走行毎に、第1の背景画像211を、車両IDおよび当該教師走行で記録された走行経路8の走行経路IDと対応付けて記憶部210に記録させてもよい。
【0159】
本実施形態の駐車支援装置100の記憶部110は、複数の教師走行に基づく複数の走行経路8を記憶可能である。より詳細には、本実施形態の記憶部110は、複数の走行経路8ごとに、操舵・制動情報および周辺画像を記憶する。
【0160】
図11は、第2の実施形態に係る操舵・制動情報111aの一例を示す図である。図11に示すように、本実施形態の操舵・制動情報111aは、例えば、走行経路ID、優先順位、操舵情報、および制動情報が対応付けられたテーブルであっても良い。なお、操舵・制動情報111aは、テーブル以外の形式で走行経路ID、優先順位、操舵情報、および制動情報が対応付けられた情報であっても良い。
【0161】
また、図12は、第2の実施形態に係る周辺画像112と、走行経路IDおよび優先順位の対応付けの一例を示す図である。記憶部110は、図12に示すように、周辺画像112と、走行経路IDおよび優先順位とを対応付けた周辺画像情報1112を記憶しても良い。教師走行の走行経路8によって車両1の車載カメラ16によって撮影される画像は異なるため、各走行経路IDに対応付けられた周辺画像112はそれぞれ異なる。
【0162】
なお、周辺画像情報1112は、テーブル以外の形式で周辺画像112、走行経路ID、および優先順位が対応付けられた情報であっても良い。
【0163】
本実施形態の駐車支援装置100の通信装置101は、第1の実施形態と同様の機能を備えた上で、複数の走行経路8のうち、車両1が走行可能な走行経路8を表す走行IDをサーバ装置2から受信する。
【0164】
本実施形態の駐車支援装置100の表示制御部102は、第1の実施形態と同様の機能を備えた上で、通信装置101がサーバ装置2から受信した走行経路IDに基づいて、車両1が走行可能な走行経路8を表す通知を出力する。
【0165】
図13は、第2の実施形態に係る走行可能な走行経路8の通知画面の一例を示す図である。図13に示すように、表示制御部102は、障害物70aが存在すること、および、車両1が走行可能な走行経路8を示すメッセージM2を表示装置120上に表示させる。
【0166】
また、図13に示すように、表示制御部102は、サーバ装置2から送信された第2の背景画像51を表示装置120上に表示させても良い。また、表示制御部102は、サーバ装置2の障害物検出部205によって障害物70aとして検出された物体を強調するように、枠700を表示させても良い。
【0167】
また、図13に示すように、本実施形態の表示制御部102は、車両1が走行可能な走行経路8を表す走行経路画像81を、第2の背景画像51上に表示させても良い。
【0168】
走行経路画像81は、例えば、サーバ装置2の領域認識部204に認識された走行経路8の形状に基づく画像であってもよい。この場合、サーバ装置2の通信装置201は、領域認識部204に認識された走行経路8の形状を、駐車支援装置100に送信するものとする。あるいは、表示制御部102は、駐車支援装置100の操舵・制動情報111aに基づいて、走行経路8の形状を推定し、推定した走行経路8の形状と第2の背景画像51とを位置合わせして表示させても良い。位置合わせの基準は、例えば、走行経路8の開始位置である駐車場9の入口、および走行経路8の終了位置である駐車枠903等である。
【0169】
また、図13に示すように、本実施形態の表示制御部102は、走行可能な走行経路8の通知画面上にOKボタン1201とキャンセルボタン1202を表示させても良い。
【0170】
OKボタン1201は、メッセージM2に示された推奨走行経路で自動走行を開始することを承認するドライバの操作を受け付け可能な画像ボタンである。OKボタン1201がドライバに押下された場合、駐車支援装置100の補正部105は、操舵・制動情報111に登録された操舵情報および制動情報のうち、メッセージM2に示された推奨走行経路“R002”に対応する操舵情報および制動情報を、読み出し、車両1の周囲の状況に応じて補正する。補正部105は、補正した操舵・制動情報111を車両制御システム18に送信することにより、自動走行による駐車支援を開始する。
【0171】
キャンセルボタン1202は、自動走行による駐車支援を終了するドライバの操作を受け付け可能な画像ボタンである。キャンセルボタン1202が押下された場合、駐車支援は終了する。この場合、ドライバは例えば手動運転により車両1を駐車枠903へ駐車させても良い。
【0172】
なお、図13に示す通知画面の構成は一例であり、これに限定されるものではない。
【0173】
また、サーバ装置2の走行可否判定部206によりいずれの走行経路8も走行不可であると判定された場合、表示制御部102は、走行可能な走行経路が無いこと、および手動運転への切り替えを提案する内容を通知する通知画面を、表示装置120に表示させても良い。
【0174】
このように、本実施形態のサーバ装置2は、一の車両IDに対して複数の走行経路8を記憶可能であり、複数の走行経路8のうち車両1が走行可能な走行経路8を判定する。本実施形態のサーバ装置2は、複数の走行経路8のうち走行可能な走行経路8を表す走行経路IDを、駐車支援装置100に送信する。このため、本実施形態のサーバ装置2によれば、第1の実施形態と同様の効果を奏した上で、いずれかの走行経路8の近傍に障害物70aが存在する場合にも、走行可能な走行経路8を車両1へ提案することができる。
【0175】
また、本実施形態のサーバ装置2は、一の車両IDに対応する複数の走行経路8を、優先順位をつけて記憶可能であり、車両1が複数の走行経路8のうち最も優先順位の高い走行経路8に沿って走行不可であると判定した場合に、複数の走行経路8のうち車両1が走行可能な他の走行経路8を判定する。本実施形態のサーバ装置2は、複数の走行経路8のうち、走行可能な車両1が走行可能な他の走行経路8として判定された走行経路を表す走行IDを、駐車支援装置100に送信する。このため、本実施形態のサーバ装置2によれば、複数の走行経路8が登録されている場合に、推奨走行経路を効率的に特定することができる。
【0176】
また、本実施形態の駐車支援装置100は、複数の教師走行に基づく複数の走行経路8を記憶し、当該複数の走行経路8のうち、車両1が走行可能な走行経路8を表す走行経路IDをサーバ装置2から受信する。本実施形態のサーバ装置2は、受信した走行経路IDに基づいて、車両1が走行可能な走行経路8を表す通知を出力する。このため、本実施形態の駐車支援装置100によれば、駐車支援開始時の駐車場9の状況に応じて、走行可能な走行経路8をドライバに提案することができる。
【0177】
(変形例1)
上述の各実施形態では、駐車場9に設置される固定カメラ5の数が1台である場合を例として説明したが、駐車場9には複数の固定カメラ5が設置されても良い。例えば、駐車場9が1台の固定カメラ5の撮像可能な範囲よりも広い場合や、駐車場9が複数のフロアに分かれている場合に、1つの駐車場9に複数の固定カメラ5が設置される場合がある。
【0178】
図14は、変形例1に係る固定カメラ5a~5cとサーバ装置2の関係の一例を示す図である。図14に示すように、固定カメラ5a~5cは、それぞれ、サーバ装置2と通信可能であり、撮影した画像をサーバ装置2に送信する。固定カメラ5a~5cは、例えばカメラID等の識別情報により特定可能であるものとする。
【0179】
本変形例の車両検知部203、領域認識部204、障害物検出部205、およびメモリ管理部207は、各固定カメラ5a~5cに撮影された画像を処理に用いる。
【0180】
例えば、本変形例の車両検知部203は、車両1の教師走行中に、複数の固定カメラ5a~5cによって時系列に撮影された複数の画像から、車両1を検知する。
【0181】
また、本変形例の領域認識部204は、車両検知部203によって検知された教師走行中の車両1の位置の変化に基づいて、駐車場9における車両1の走行領域800を認識する。
【0182】
また、本変形例の障害物検出部205は、固定カメラ5a~5cごとに撮影された第1の背景画像211と第2の背景画像51に基づいて、障害物70a,70を検出する。比較対象となる第1の背景画像211および第2の背景画像51は、同一の固定カメラ5で撮影された画像とする。
【0183】
例えば、障害物検出部205は、固定カメラ5aにより撮影された第1の背景画像211と固定カメラ5aにより第2の背景画像51との差分を抽出することにより、障害物70a,70bを検出する。また、障害物検出部205は、固定カメラ5bにより撮影された第1の背景画像211と固定カメラ5bにより第2の背景画像51との差分を抽出することにより、障害物70a,70bを検出する。障害物検出部205は、固定カメラ5cにより撮影された第1の背景画像211と固定カメラ5cにより第2の背景画像51との差分を抽出することにより、障害物70a,70bを検出する。
【0184】
また、本変形例のメモリ管理部207は、各固定カメラ5a~5cを特定可能なカメラIDと、領域認識部204によって固定カメラ5a~5cごとに認識された走行領域800と、ID管理部202により特定された車両IDとを対応付けて、走行領域情報212として記憶部210に保存する。
【0185】
また、本変形例のメモリ管理部207は、各固定カメラ5a~5cで撮影された第1の背景画像211を、カメラIDおよび車両IDと対応付けて記憶部210に記録させる。
【0186】
車両検知部203、領域認識部204、障害物検出部205、およびメモリ管理部207は、各固定カメラ5a~5c専用に、別個に設けられても良い。例えば、サーバ装置2は、固定カメラ5a~5cの台数と同じ数の、3つの車両検知部203、3つの領域認識部204、3つの障害物検出部205、および3つのメモリ管理部207が設けられても良い。あるいは、1つの車両検知部203、領域認識部204、障害物検出部205、およびメモリ管理部207が、複数の固定カメラ5a~5cごとに、処理を実行しても良い。
【0187】
本変形例の駐車支援装置100およびサーバ装置2によれば、駐車場9が1台の固定カメラ5の撮像可能な範囲よりも広い場合や、駐車場9が複数のフロアに分かれている場合であっても、車両1の自動走行を開始する前に、走行経路8に沿った走行の可否を車両1のドライバに通知することができる。なお、固定カメラ5a~5cの数は、図14に示す例に限定されるものではない。
【0188】
(変形例2)
上述の各実施形態においてサーバ装置2の機能として説明した機能を、固定カメラ5が備えても良い。すなわち、固定カメラ5の内部に、ID管理部202、車両検知部203、領域認識部204、障害物検出部205、走行可否判定部206、メモリ管理部207、および記憶部210が設けられても良い。当該構成を採用する場合、固定カメラ5が情報処理装置の一例となる。
【0189】
また、変形例1に述べたように、複数の固定カメラ5a~5cが駐車場9に設けられている場合、各固定カメラ5a~5cが、それぞれ、ID管理部202、車両検知部203、領域認識部204、障害物検出部205、走行可否判定部206、メモリ管理部207、および記憶部210がを備えても良い。
【0190】
(変形例3)
上述の各実施形態では、第1の背景画像の撮影のタイミングを教師走行の開始前としたが、第1の背景画像の撮影のタイミングは、教師走行の終了後でも良い。
【0191】
(変形例4)
上述の各実施形態では、走行可否判定部206は、検出された障害物70a,70bの位置が走行領域800内である場合に、車両1が走行経路8に沿って走行不可であると判定するものとしたが、判定基準はこれに限定されるものではない。例えば、走行可否判定部206は、障害物70a,70bが走行領域800内に位置していなくとも、走行領域800の外郭と障害物70a,70bとの距離が、規定の距離以下である場合、車両1が走行経路8に沿って走行不可であると判定しても良い。規定の距離は特に限定されるものではなく、例えば、インフラシステムS2の管理者等によって予め設定されても良い。
【0192】
(変形例5)
上述の第2の実施形態では、記憶部210は、一の車両IDに対応する複数の走行経路8を、優先順位をつけて記憶するものとして説明したが、記憶部210は、複数の走行経路8を優先順位を付けずに記憶しても良い。この場合、サーバ装置2の走行可否判定部206は、駐車支援開始信号を送信しして来た車両1の車両IDに対応付けられた全ての走行経路8について走行可否の判定をしても良い。
【0193】
(変形例6)
上述の各実施形態では、表示装置120および車載カメラ16は駐車支援装置100に含まれないものとして説明したが、駐車支援装置100が表示装置120および車載カメラ16を備える構成を採用しても良い。
【0194】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0195】
1 車両
2 サーバ装置
5 固定カメラ
8 走行経路
9 駐車場
12 車体
16,16a~16c 車載カメラ
18 車両制御システム
51 第2の背景画像
70a,70b 障害物
81 走行経路画像
100 駐車支援装置
101 通信装置
102 表示制御部
103 走行情報記録部
104 画像処理部
105 補正部
110 記憶部
111,111a 操舵・制動情報
112 周辺画像
120 表示装置
201 通信装置
202 ID管理部
203 車両検知部
204 領域認識部
205 障害物検出部
206 走行可否判定部
207 メモリ管理部
210 記憶部
211 第1の背景画像
212 走行領域情報
212a 走行領域情報
213 車両ID情報
800 走行領域
901~904 駐車枠
1112 周辺画像情報
1201 OKボタン
1202 キャンセルボタン
S1 車載システム
S2 インフラシステム
S100 駐車支援システム
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14