IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧 ▶ ソニーセミコンダクタソリューションズ株式会社の特許一覧

特開2023-123353情報処理装置、および情報処理方法、並びにプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023123353
(43)【公開日】2023-09-05
(54)【発明の名称】情報処理装置、および情報処理方法、並びにプログラム
(51)【国際特許分類】
   G08G 1/14 20060101AFI20230829BHJP
【FI】
G08G1/14 A
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2023002709
(22)【出願日】2023-01-11
(31)【優先権主張番号】P 2022026439
(32)【優先日】2022-02-24
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】110000763
【氏名又は名称】弁理士法人大同特許事務所
(72)【発明者】
【氏名】鈴木 誠司
(72)【発明者】
【氏名】入矢 真一
(72)【発明者】
【氏名】宮澤 克次
(72)【発明者】
【氏名】赤川 聰
【テーマコード(参考)】
5H181
【Fターム(参考)】
5H181AA01
5H181BB04
5H181CC03
5H181CC04
5H181CC14
5H181CC27
5H181FF27
5H181FF32
5H181KK07
(57)【要約】
【課題】駐車場内の駐車車両や人など様々なオブジェクトの特徴を識別可能としたアイコンを含む駐車場マップを生成して表示することで実際の車両の位置などを迅速かつ高精度に判別可能とした構成を実現する。
【解決手段】センサ検出情報を用いて駐車場内の車両や人の特徴情報、例えば色、向き、位置、サイズ、車種の少なくともいずれかの特徴情報を取得するオブジェクト解析部と、車両や人に対応するアイコンを含む駐車場マップを生成して表示部に出力する表示データ生成部を有する。表示データ生成部は、オブジェクト解析部が取得した車両や人などのオブジェクトの色、向き、位置、サイズ、車種の少なくともいずれかの特徴情報を識別可能としたアイコンを生成して表示部に出力する。
【選択図】図7
【特許請求の範囲】
【請求項1】
センサ検出情報を用いて駐車場内の車両の特徴情報を取得するオブジェクト解析部と、
前記車両に対応する車両アイコンを含む駐車場マップを生成して表示部に出力する表示データ生成部を有し、
前記表示データ生成部は、
前記オブジェクト解析部が取得した車両の特徴情報を識別可能とした車両アイコンを生成して前記表示部に出力する情報処理装置。
【請求項2】
前記オブジェクト解析部が取得する車両の特徴情報は車両の色であり、
前記表示データ生成部は、
車両の色を識別可能とした車両アイコンを生成して前記表示部に出力する請求項1に記載の情報処理装置。
【請求項3】
前記オブジェクト解析部が取得する車両の特徴情報は車両の向きであり、
前記表示データ生成部は、
車両の向きを識別可能とした車両アイコンを生成して前記表示部に出力する請求項1に記載の情報処理装置。
【請求項4】
前記表示データ生成部は、
車両の向きを識別可能とするため、サイドミラー、またはヘッドライト、またはフロントウィンドウ、または前後方向識別マークの少なくともいずれかを含む車両アイコンを生成して前記表示部に出力する請求項3に記載の情報処理装置。
【請求項5】
前記オブジェクト解析部が取得する車両の特徴情報は車両の色、向き、位置、サイズ、車種の少なくともいずれかの特徴情報であり、
前記表示データ生成部は、
車両の色、向き、位置、サイズ、車種の少なくともいずれかの車両特徴を識別可能とした車両アイコンを生成して前記表示部に出力する請求項1に記載の情報処理装置。
【請求項6】
前記オブジェクト解析部は、
駐車場内の駐車領域各々が、駐車車両が存在しない駐車可能領域であるか、駐車車両がある駐車不可領域であるかを解析し、
前記表示データ生成部は、
駐車可能領域には駐車可能領域アイコン、駐車不可領域には駐車領域に駐車している車両の特徴情報を識別可能とした車両アイコンを示した駐車場マップを生成して表示部に出力する請求項1に記載の情報処理装置。
【請求項7】
前記表示データ生成部は、
表示部に表示したカメラ撮影画像上に駐車可能領域を示す駐車可能領域識別用グラフィックデータを重畳表示する請求項6に記載の情報処理装置。
【請求項8】
前記表示データ生成部は、
自車両が停止したことを検出した場合、前記表示部に表示した駐車場マップ内の駐車可能領域アイコンの表示態様を変更する請求項6に記載の情報処理装置。
【請求項9】
前記表示データ生成部は、
自車両が停止したことを検出した場合、前記表示部に表示した駐車場マップ内の複数の駐車可能領域アイコンを、識別子を設定した識別子設定アイコンに変更する請求項8に記載の情報処理装置。
【請求項10】
前記表示データ生成部は、
自車両が駐車する目標駐車位置の決定に応じて、自車両の現在位置から目標駐車位置までの駐車走行路情報を前記駐車場マップに表示する請求項1に記載の情報処理装置。
【請求項11】
前記表示データ生成部は、
前記駐車走行路情報を、自車両の位置からの距離に応じたグラテーションを持つグラフィックデータとして前記駐車場マップに表示する請求項10に記載の情報処理装置。
【請求項12】
前記表示データ生成部は、
表示部に表示したカメラ撮影画像上に自車両の現在位置から目標駐車位置までの駐車走行路を示すグラフィックデータを重畳表示する請求項10に記載の情報処理装置。
【請求項13】
前記オブジェクト解析部は、
駐車場内の車両以外のオブジェクトの特徴情報を取得し、
前記表示データ生成部は、
前記オブジェクト解析部が解析した車両以外のオブジェクトについて、オブジェクトの特徴を識別可能としたオブジェクトアイコンを生成して前記表示部に出力する請求項1に記載の情報処理装置。
【請求項14】
前記オブジェクト解析部が取得するオブジェクトの特徴情報はオブジェクトの色であり、
前記表示データ生成部は、
オブジェクトの色を識別可能としたオブジェクトアイコンを生成して前記表示部に出力する請求項13に記載の情報処理装置。
【請求項15】
前記オブジェクト解析部は、
駐車場内の人の服の色を取得し、
前記表示データ生成部は、
人の服の色を識別可能とした人アイコンを生成して前記表示部に出力する請求項13に記載の情報処理装置。
【請求項16】
前記オブジェクト解析部は、
駐車場内の三角コーンの色を取得し、
前記表示データ生成部は、
三角コーンの色を識別可能としたオブジェクトアイコンを生成して前記表示部に出力する請求項13に記載の情報処理装置。
【請求項17】
前記オブジェクト解析部は、
駐車場内の路面上の描画情報の色を取得し、
前記表示データ生成部は、
駐車場内の路面上の描画情報の色を識別可能としたオブジェクトアイコンを生成して前記表示部に出力する請求項13に記載の情報処理装置。
【請求項18】
前記表示データ生成部が生成した車両アイコンを含む駐車場マップを外部のユーザ端末に送信する通信部を更に有する請求項1に記載の情報処理装置。
【請求項19】
情報処理装置において実行する情報処理方法であり、
オブジェクト解析部が、センサ検出情報を用いて駐車場内の車両の特徴情報を取得するオブジェクト解析ステップと、
表示データ生成部が、前記車両に対応する車両アイコンを含む駐車場マップを生成して表示部に出力する表示データ生成ステップを実行し、
前記表示データ生成ステップにおいて、
前記オブジェクト解析部が取得した車両の特徴情報を識別可能とした車両アイコンを生成して前記表示部に出力する情報処理方法。
【請求項20】
情報処理装置において情報処理を実行させるプログラムであり、
オブジェクト解析部に、センサ検出情報を用いて駐車場内の車両の特徴情報を取得させるオブジェクト解析ステップと、
表示データ生成部に、前記車両に対応する車両アイコンを含む駐車場マップを生成して表示部に出力させる表示データ生成ステップを実行させ、
前記表示データ生成ステップにおいて、
前記オブジェクト解析部が取得した車両の特徴情報を識別可能とした車両アイコンを生成して前記表示部に出力させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、および情報処理方法、並びにプログラムに関する。具体的には、例えば駐車場において車両の駐車可能領域を車両運転者であるユーザに分かりやすく提示する表示データを生成する情報処理装置、および情報処理方法、並びにプログラムに関する。
【背景技術】
【0002】
例えば、ショッピングセンターや遊園地、観光地、その他、街中等の駐車場の多くは、多数の車両を駐車可能としている場合が多い。
車両の運転者であるユーザは、駐車場から駐車可能な空きスペースを探して駐車する。この場合、ユーザは、駐車場内で車両を走行させ、周囲を目視で確認して多数の駐車区分領域から、駐車車両のない空き領域を探すことになる。
【0003】
このような駐車可能領域の確認処理は時間を要し、また、狭い駐車場内で走行を行うと他の車両や人との接触事故が起こりやすいという問題がある。
【0004】
このような問題を解決する構成を開示した従来技術として、例えば特許文献1(特開2009-205191号公報)がある。
【0005】
この特許文献1は、車両のカメラによって撮影された画像を俯瞰変換し、駐車場上部から観察したと同様の俯瞰変換画像を生成してモニタに表示することで、駐車場の駐車区分領域各々が空きスペースであるか否かを認識可能とした表示データを出力する構成を開示している。
【0006】
しかし、車両のカメラによって撮影された画像を俯瞰変換して生成される俯瞰変換画像には様々な歪みが発生する。例えば、車両が変形して表示されることも多く、各駐車区分領域の車両存在有無やどのような車両が駐車しているのかを明確に判別することが困難になる場合が多い。
【0007】
また、歪みの多い俯瞰変換画像では、ある1つの駐車区分領域に車両が駐車していることは認識できても、その駐車車両が実際に見える駐車場のどの車両に対応するのかを即座に判断することが困難になる場合が多い。
このような場合、結果的に、ユーザは目視で周囲を再確認することが必要になる。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2009-205191号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
本開示は、例えば上記問題点に鑑みてなされたものであり、例えば駐車場において車両の駐車可能スペースを車両運転者であるユーザに分かりやすく提示する表示データを生成する情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本開示の第1の側面は、
センサ検出情報を用いて駐車場内の車両の特徴情報を取得するオブジェクト解析部と、
前記車両に対応する車両アイコンを含む駐車場マップを生成して表示部に出力する表示データ生成部を有し、
前記表示データ生成部は、
前記オブジェクト解析部が取得した車両の特徴情報を識別可能とした車両アイコンを生成して前記表示部に出力する情報処理装置にある。
【0011】
さらに、本開示の第2の側面は、
情報処理装置において実行する情報処理方法であり、
オブジェクト解析部が、センサ検出情報を用いて駐車場内の車両の特徴情報を取得するオブジェクト解析ステップと、
表示データ生成部が、前記車両に対応する車両アイコンを含む駐車場マップを生成して表示部に出力する表示データ生成ステップを実行し、
前記表示データ生成ステップにおいて、
前記オブジェクト解析部が取得した車両の特徴情報を識別可能とした車両アイコンを生成して前記表示部に出力する情報処理方法にある。
【0012】
さらに、本開示の第3の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
オブジェクト解析部に、センサ検出情報を用いて駐車場内の車両の特徴情報を取得させるオブジェクト解析ステップと、
表示データ生成部に、前記車両に対応する車両アイコンを含む駐車場マップを生成して表示部に出力させる表示データ生成ステップを実行させ、
前記表示データ生成ステップにおいて、
前記オブジェクト解析部が取得した車両の特徴情報を識別可能とした車両アイコンを生成して前記表示部に出力させるプログラムにある。
【0013】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置、画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【0014】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【0015】
本開示の一実施例の構成によれば、駐車場内の駐車車両や人など様々なオブジェクトの特徴を識別可能としたアイコンを含む駐車場マップを生成して表示することで実際の車両の位置などを迅速かつ高精度に判別可能とした構成が実現される。
具体的には、例えば、センサ検出情報を用いて駐車場内の車両や人の特徴情報、例えば色、向き、位置、サイズ、車種の少なくともいずれかの特徴情報を取得するオブジェクト解析部と、車両や人に対応するアイコンを含む駐車場マップを生成して表示部に出力する表示データ生成部を有する。表示データ生成部は、オブジェクト解析部が取得した車両や人などのオブジェクトの色、向き、位置、サイズ、車種の少なくともいずれかの特徴情報を識別可能としたアイコンを生成して表示部に出力する。
本構成により、駐車場内の駐車車両や人など様々なオブジェクトの特徴を識別可能としたアイコンを含む駐車場マップを生成して表示することで実際の車両の位置などを迅速にかつ高精度に判別可能とした構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【0016】
図1】駐車場に駐車する車両の走行例について説明する図である。
図2】駐車場に駐車する車両の走行例について説明する図である。
図3】駐車場に駐車する車両の走行例について説明する図である。
図4】本開示の情報処理装置が生成する表示データを適用して駐車場に駐車する処理例について説明する図である。
図5】本開示の情報処理装置が生成する表示データの具体例について説明する図である。
図6】本開示の情報処理装置が生成する表示データの具体例について説明する図である。
図7】本開示の情報処理装置が生成する表示データの具体例について説明する図である。
図8】本開示の情報処理装置が生成する表示データである車両アイコンの具体例について説明する図である。
図9】本開示の情報処理装置が生成する表示データであり、駐車区分領域内の駐車車両の特徴が解析できない場合の駐車車両アイコン表示例について説明する図である。
図10】本開示の情報処理装置が生成する表示データであり、駐車区分領域内の駐車車両の特徴が解析できない場合の駐車車両アイコン表示例について説明する図である。
図11】本開示の情報処理装置が生成する表示データであり、駐車区分領域内の駐車車両の特徴が解析できない場合の駐車車両アイコン表示例について説明する図である。
図12】本開示の情報処理装置が生成する表示データの具体例について説明する図である。
図13】本開示の情報処理装置が生成する表示データの具体例について説明する図である。
図14】本開示の情報処理装置が生成する表示データの具体例について説明する図である。
図15】本開示の情報処理装置が生成する表示データの具体例について説明する図である。
図16】本開示の情報処理装置が生成する表示データの具体例について説明する図である。
図17】本開示の情報処理装置が生成する表示データの具体例について説明する図である。
図18】本開示の情報処理装置が生成する表示データの具体例について説明する図である。
図19】本開示の情報処理装置が生成する表示データの具体例について説明する図である。
図20】本開示の情報処理装置が生成する表示データの具体例について説明する図である。
図21】本開示の情報処理装置が生成する表示データの具体例について説明する図である。
図22】本開示の情報処理装置が生成する表示データの具体例について説明する図である。
図23】本開示の情報処理装置が生成する表示データの具体例について説明する図である。
図24】本開示の情報処理装置が生成する表示データの具体例について説明する図である。
図25】本開示の情報処理装置が生成する表示データの具体例について説明する図である。
図26】本開示の情報処理装置が生成し、ユーザ端末に送信して表示する表示データの具体例について説明する図である。
図27】本開示の情報処理装置が実行する処理の処理シーケンスについて説明するフローチャートを示す図である。
図28】本開示の情報処理装置が実行する処理の処理シーケンスについて説明するフローチャートを示す図である。
図29】本開示の情報処理装置の構成例について説明する図である。
図30】本開示の情報処理装置のハードウェア構成例について説明する図である。
【発明を実施するための形態】
【0017】
以下、図面を参照しながら本開示の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
1.駐車場における車両駐車処理の一般的な処理と、その問題点について
2.駐車可能領域の位置をユーザに分かりやすく提示する本開示の処理について
3.駐車車両アイコンの具体例について
4.駐車車両アイコン以外のオブジェクト識別アイコンの具体例について
5.駐車場マップの拡大、縮小処理について
6.駐車場マップからの駐車領域選択と駐車処理の具体例について
7.車両の表示部に表示する様々な表示データの例について
8.ユーザによる希望駐車領域の設定と、ユーザ設定を反映した駐車領域自動選択処理について
9.ユーザ端末の表示部に駐車場マップを表示する実施例について
10.本開示の情報処理装置が実行する処理のシーケンスについて
11.本開示の情報処理装置の構成例について
12.本開示の情報処理装置のハードウェア構成例について
13.本開示の構成のまとめ
【0018】
[1.駐車場における車両駐車処理の一般的な処理と、その問題点について]
まず、駐車場における車両駐車処理の一般的な処理と、その問題点について説明する。
【0019】
図1以下を参照して、車両を駐車場に駐車させる場合の一般的な走行例について説明する。
図1には、車両10と駐車場20を示している、車両10は、駐車場20の入り口から駐車場20に入り、空きスペースを探して駐車しようとしている。
【0020】
図1の状態で、車両10の運転者であるユーザは、車両前方を見ながら、駐車場20の入り口から駐車場内に侵入するが、侵入時点では駐車区分領域のどこが空いているかを確認することは困難である。
【0021】
そのため、車両10の運転者であるユーザは、例えば図2に示すようなシーケンスで、車両10を駐車場内で走行させて、空きスペースを確認して駐車を行うことになる。
【0022】
まず、図2に示す(ステップS1)において、車両10が駐車場20の端部から走行を開始する。この時点で、ユーザ(運転者)は、どこが空いているかを確認できない。ユーザ(運転者)は、どこが空いているかを確認するため、(ステップS2)に示すように左側にある駐車区分領域の右側を直進して、左側の駐車区分領域の各々に車があるか否かを、順次確認する。
【0023】
車両10が直進し、(ステップS2)に示す位置まで進むと、ユーザ(運転者)は、車のない空きスペースを目視で確認することができる。
【0024】
この結果、ユーザ(運転者)は、(ステップS2)の位置で、目視によって確認できた空きスペースに駐車するようにハンドルを操作する。
すなわち、(ステップS3)に示すように、まず右前方方向に進み、その後バックして空きスペースに駐車するための運転操作行うことになる。
【0025】
これらの一連の処理における車両10の走行ルートは図3に示すような走行ルートとなる。
車両10は、駐車可能領域の確認処理のために図3に示すような走行ルートに従って駐車場内を走行して駐車することが必要となる。このような空きスペース確認のための走行は、時間を要し、また、狭い駐車場内での走行は他車や人との接触事故を起こしやすく安全性の問題もある。
【0026】
なお、車両10が自動運転可能な車両であり自動駐車を行うことが可能な車両である場合においても、駐車しようとする駐車領域を決定するのは運転者である場合が多く、駐車領域を決定するためには、駐車場の空き領域を確認することが必要であり、上記と同様の問題が発生する。
【0027】
また、自動運転車両の制御部自体が空いている駐車領域の検出処理を実行して、検出した空き領域に自動駐車する構成も可能であるが、この場合も自動運転制御部は、駐車可能な空き領域の探索処理を行うことが必要であり、駐車場内で無駄な走行を行ってしまう場合がある。
【0028】
なお、以下に説明する本開示の構成や処理は、ユーザ(運転者)が運転する車両、ユーザの運転が不要な自動運転車両、いずれの車両においても利用可能である。
【0029】
[2.駐車可能領域の位置をユーザに分かりやすく提示する本開示の処理について]
次に、駐車可能領域の位置をユーザに分かりやすく提示する本開示の処理について説明する。
【0030】
図4は、先に説明した図1と同様の図である。図4には、車両10と駐車場20を示しており、車両10は、駐車場20の入り口から駐車場20に入り、空きスペースに駐車しようとしている。
車両10は運転者(ユーザ)による運転が行われる車両、自動運転車両、いずれでもよい。
【0031】
図4の状態で、車両10の運転者であるユーザは、車両前方を見ても、目視では駐車区分領域のどこが空いているかを確認することは困難である。
しかし、車両10に備えられた本開示の情報処理装置は、車両10に装着したセンサの検出情報、または、例えば駐車場管理サーバ等の外部装置からの受信情報に基づいて、駐車場20内の各駐車区分領域単位で駐車可能領域であるか、駐車車両がある駐車不可能領域であるかを解析する。
【0032】
さらに、本開示の情報処理装置は駐車区分領域に駐車している駐車車両の特徴情報(色、向き、駐車位置、サイズ、車種等)についても解析する。また、駐車車両以外の駐車場内のオブジェクト、例えば歩行者や、三角コーン、植物、路面上にペイントされた矢印、横断歩道などの路面上の描画情報など、様々なオブジェクトについてもその特徴情報(色、位置、サイズ等)を解析する。
本開示の情報処理装置は、これら駐車車両や駐車車両以外の駐車場内のオブジェクトの特徴情報を反映した識別アイコンを生成して表示部に表示する。
【0033】
車両10に備えられたセンサは、例えばカメラ、LiDAR(Light Detection and Ranging)、ToF(Time of Flight)センサ、Radar(Radio Detection and Ranging)等のセンサである。
なお、LiDAR(Light Detection and Ranging)やToFセンサは、例えばレーザ光等の光を出力してオブジェクトによる反射光を解析して、周囲のオブジェクトの距離を計測するセンサである。
【0034】
なお、車両10に備えられた情報処理装置は、これらのセンサ検出情報に限らず、例えば駐車場管理サーバ等の外部装置から駐車場20内の各駐車区分領域単位の空き状態、すなわち、各駐車区分領域が駐車可能か駐車不可能かの情報や、駐車車両、その他のオブジェクトの特徴情報を受信してもよい。
【0035】
このように、本開示の情報処理装置はセンサ検出情報、または外部からの受信情報の少なくともいずれかの情報を利用して駐車場の車両、その他のオブジェクトの状況を解析する。
【0036】
具体的には、駐車場20の各駐車区分領域が駐車可能領域であるか、駐車車両がある駐車不可能領域であるか、さらに駐車車両の特徴情報(色、向き、駐車位置、サイズ、車種等)や、駐車場内に存在する様々なオブジェクト(人、構造物、ペイント等)の特徴情報についても解析し、これらの解析結果に基づいて車両10内の表示部(モニタ)に、駐車車両やその他のオブジェクトに対応するアイコンを含む表示データを生成して表示する。
【0037】
図5以下を参照して、本開示の情報処理装置が生成する表示データの具体例について説明する。
図5には、車両10の内部である車両10のフロントパネルの例を示している。車両10のフロントパネルに構成された表示部30に本開示の情報処理装置が生成する表示データが表示される。
なお、図5に示す車両10は、図4に示す車両10に相当し、駐車場20の走行路を走行している。
【0038】
車両10に備えられた情報処理装置は、センサ検出情報、あるいは外部からの受信情報に基づいて、駐車場20内の各駐車区分領域が駐車可能領域であるか、あるいは駐車車両がある駐車不可領域であるか、さらに、駐車不可領域に駐車された駐車車両の車両情報、例えば車両の色、車両の向き、位置、サイズ、車種などの車両情報を容易に判別可能とした表示データを生成して表示部に表示する。
【0039】
図5に示す例において、駐車場20には以下の駐車車両が存在する。
駐車車両a(白)21a、
駐車車両b(黄色)21b、
駐車車両c(赤色)21c、
駐車車両d(黒)21d、
駐車車両e(緑色)21e、
駐車車両f(銀色)21f、
()内に示す色は、各駐車車両の色である。
【0040】
図6に本開示の情報処理装置が生成する表示データの一例を示す。
図6に示す表示データは、車両10のフロントパネルに構成された表示部30に表示されるデータの一例を示す図である。
【0041】
図6に示す表示部30の表示データには以下の各データが含まれる。
(a)駐車場マップ31、
(b)カメラ撮影画像32、
(c)操作部33
【0042】
「(a)駐車場マップ31」は、車両10に備えられたカメラ等のセンサ検出情報、あるいは外部からの受信情報に基づいて生成される駐車場マップであり、駐車場の上面図である。
表示部30に表示される駐車場マップ31は、車両10の前方の駐車場領域を上面から見たデータであり、カメラによって撮影される実画像ではなく仮想画像(アニメーション画像)である。
「(a)駐車場マップ31」として表示される駐車場領域は、車両10の進行に伴い順次、変更して表示される。すなわち車両10の前方領域を上面から見た仮想画像に順次、変更されるアニメーション画像として表示される。
【0043】
「(a)駐車場マップ31」には、図に示すように様々なアイコンが表示される。具体的には、
自車両を示す自車両アイコン50、
駐車車両を示す駐車車両アイコン51、
駐車可能領域を示す駐車可能領域アイコン52、
これらの複数のアイコンが表示される。
図に示す三角コーンや矢印も、実画像ではなく、各オブジェクト対応のアイコンである。
なお、本明細書において「アイコン」とは、オブジェクトの種類を識別可能としたグラフィックデータである。
【0044】
自車両を示す自車両アイコン50は、これから駐車しようとする自車両を示す。すなわち図4に示す車両10に対応する。
駐車車両を示す駐車車両アイコン51は、各駐車区分領域に駐車された車両を示すアイコンである。
駐車可能領域を示す駐車可能領域アイコン52は、駐車車両が存在しない駐車区分領域、すなわち駐車可能な空き領域を示しており、駐車可能であることを示す「P」の文字を含むアイコンである。
【0045】
なお、後段で詳細に説明するが、本開示の情報処理装置は、「駐車車両アイコン51」を駐車車両各々の特徴情報(色、向き、位置、サイズ、車種)を反映したアイコンとして生成し、表示部30に表示する。
【0046】
「(a)駐車場マップ31」は、車両10に備えられたカメラ等のセンサ検出情報、あるいは外部からの受信情報の少なくともいずれかの情報を用いて生成する。
【0047】
なお、「(a)駐車場マップ31」は、例えば、学習モデルやAI解析を利用して生成することも可能である。
例えば、車両のカメラの撮影画像、あるいは撮影画像から生成した俯瞰画像を多数、用いた学習処理を予め実行して学習モデルを生成する。学習モデルは駐車区分領域の検出、駐車区分領域が駐車可能領域であるか、あるいは駐車車両が存在する駐車不可領域であるかの判別、駐車車両の位置、向き、色、サイズ、車種などを判別する学習モデルである。
【0048】
車両10に備えられたカメラ撮影画像をこの予め生成した学習モデルを利用したAI解析部に入力して画像解析を実行する。この解析処理により、各駐車区分領域が駐車可能領域であるか、あるいは駐車車両がある駐車不可領域であるか、さらに、駐車不可領域に駐車された駐車車両の車両特徴情報、例えば車両の色、車両の位置や向き、サイズなどの車両特徴情報を取得することが可能であり、これらの取得情報に基づいてアイコンを生成して表示することができる。
【0049】
車両以外のオブジェクト、例えば歩行者や、三角コーン、植物、路面上にペイントされた矢印、横断歩道など、路面上の描画情報を含む様々なオブジェクトについても、学習モデルを適用したAI解析により、オブジェクトの特徴情報(色、位置、サイズ等)を取得することが可能である。
【0050】
なお、車両や車両以外のオブジェクトの特徴情報取得処理は、これらの学習モデルを適用したAI解析に限らない。車両10に搭載したカメラ等のセンサの検出情報の解析処理や、駐車場管理サーバ等、外部からの情報を用いて特徴情報取得処理を実行する構成も可能である。
【0051】
図6に示す表示部30の表示データに含まれる「(b)カメラ撮影画像32」は、車両10に備えられたカメラ撮影画像である。車両10のシフトレンジがDレンジである場合は、車両10の前方を撮影するカメラの撮影画像が表示される。車両10のシフトレンジがRレンジである場合は、車両10の後方を撮影するカメラの撮影画像が表示される。
なお、図に示すように、カメラ撮影画像32の表示領域には、駐車可能領域識別用グラフィックデータ53などの様々な仮想画像データが重畳表示される。
図に示す「P」は、駐車車両が存在しない駐車可能な駐車区分領域を示すグラフィックデータである。
【0052】
操作部33は、ユーザが操作可能な操作部である。
図に示す例では、操作部a,33aは、ユーザが「おまかせ駐車」を指示する場合に押下する。「おまかせ駐車」は車両10に、駐車車両が存在しない駐車可能な駐車区分領域を検出させて、その領域に自動駐車させる処理である。
操作部b,33bは、自動駐車をユーザが「中止」させる場合に押下する。
【0053】
なお、図に示す例では、操作部33に操作部a,33として「おまかせ駐車」、操作部b,33bとして「中止」の2つの操作部を示しているが、操作部33の表示領域には、これらの2つ操作部のみならず、状況に応じて様々な操作部が表示される。
【0054】
[3.駐車車両アイコンの具体例について]
次に、駐車車両アイコンの具体例について説明する。
【0055】
図7を参照して表示部30の表示データである駐車場マップ31に表示する駐車車両アイコンの詳細について説明する。
先に図6を参照して説明したように、「(a)駐車場マップ31」には以下のアイコンが表示される。
自車両を示す自車両アイコン50、
駐車車両を示す駐車車両アイコン51、
駐車可能領域を示す駐車可能領域アイコン52、
【0056】
前述したように、本開示の情報処理装置は、「駐車車両アイコン51」については、駐車車両の特徴情報(色、向き、位置、サイズ、車種)を反映したアイコンを生成して表示する。
具体例について図7を参照して説明する。
【0057】
図7に表示部30の表示データとして示す「駐車場マップ31」には複数の駐車車両アイコン51a~51fが表示されている。
これらの駐車車両アイコン51a~51fは、図5に示す駐車場20内の駐車車両に対応するアイコンである。
【0058】
図7に示す駐車車両アイコンa(白)51aは、図5に示す駐車車両a(白)21aを示すアイコンであり、図5に示す実際の駐車車両a(白)21aの色=白と同色の白色のアイコンとして表示される。
【0059】
図7に示す駐車車両アイコンb(黄色)51bは、図5に示す駐車車両b(黄色)21bを示すアイコンであり、図5に示す実際の駐車車両b(黄色)21bの色=黄色とほぼ同色の黄色のアイコンとして表示される。
【0060】
以下の駐車車両アイコン51c~51fも同様である。
図7に示す駐車車両アイコンc(赤色)51cは、図5に示す駐車車両c(赤色)21cとほぼ同色の赤色のアイコンとして表示される。
駐車車両アイコンd(黒)51dは、図5に示す駐車車両d(黒)21dと同様の黒色のアイコンとして表示される。
駐車車両アイコンe(緑色)51eは、図5に示す駐車車両e(緑色)21eとほぼ同色の緑色のアイコンとして表示される。
駐車車両アイコンf(銀色)51fは、図5に示す駐車車両f(銀色)21fとほぼ同色の銀色のアイコンとして表示される。
【0061】
このように、本開示の情報処理装置は、駐車車両アイコンについて、実際の駐車車両の色とほぼ同色のアイコンを生成して表示する。
【0062】
また、本開示の情報処理装置は、車両の向きを識別可能な駐車車両アイコンを生成して表示する。
図7に示す駐車車両アイコンは、サイドミラーを示す突起部を有する矩形型アイコンであり、矩形型アイコンの長さ方向においてサイドミラー部を示す突起部を設定した側が車両の前方向となる。
【0063】
駐車車両アイコンが示す車両方向は、実際の駐車車両の車両方向と同一の方向に設定される。
例えば、図7に示す駐車車両アイコンa,51aや、駐車車両アイコンb,51bは、各駐車区分領域において走行路側に車両の前方を向けて駐車していることを示している。これらは、図5に示す実際の駐車車両、すなわち駐車車両a(白)21aや、駐車車両b(黄色)21bの車両の向きと同一である。
【0064】
これに対して、例えば図7に示す駐車車両アイコンc,51cは、駐車区分領域において走行路側に車両の後方を向けて駐車していることを示している。これは、図5に示す実際の駐車車両、すなわち駐車車両c(赤色)21cの車両の向きと同一である。
【0065】
このように、本開示の情報処理装置は、車両の向きを識別可能な駐車車両アイコンを生成して表示する。
【0066】
さらに、本開示の情報処理装置は、実際の駐車車両の駐車位置や車両サイズを反映させた車両アイコンを表示する処理を行う。
図7に示す駐車車両アイコン51c~51fの表示位置やアイコンサイズは、実際の駐車車両の駐車位置や車両サイズを反映させたアイコンである。
【0067】
例えば、図7に示す駐車車両アイコンa,51aは、駐車領域に対して斜めに表示されている。これはこの駐車区分領域の実際の駐車車両が斜めに駐車していることを示している。
駐車車両アイコンb,51bは、他の車両アイコンよりサイズの小さなアイコンであり、この駐車区分領域の実際の駐車車両が小型車両であることを示している。
【0068】
駐車車両アイコンc,51cは、他の車両アイコンと逆向きで、かつ駐車領域に対して斜めに表示されている。これは、この駐車区分領域の実際の駐車車両が他の車両と異なる逆向きに駐車しており、さらに駐車区分領域に対して斜めに駐車していることを示している。
【0069】
駐車車両アイコンd,51dは、他の車両アイコンよりサイズの大きなアイコンとして表示されている。これはこの駐車区分領域の実際の駐車車両が大型車両であることを示している。また、図示は省略するが、駐車車両アイコン51は、識別された車種に対応したブランドのエンブレムが表示されても良い。
【0070】
このように、本開示の情報処理装置は、実際の駐車車両の色、向き、駐車位置、サイズ、車種等の駐車車両の特徴を識別可能とした車両アイコンを生成して表示する。なお、本開示の情報処理装置は、駐車車両の複数の特徴情報(色、向き、位置、サイズ、車種)のうち、少なくとも1つの特徴情報を反映したアイコンを生成して表示しても良い。
【0071】
なお、図7に示す例では、車両の向きを識別可能とするためサイドミラーを示す突起部を有する矩形型アイコンを用いた例を説明したが、車両の向きを識別可能としたアイコンはこの例に限らず、様々な設定が可能である。
図8を参照して、車両の向きを識別可能としたアイコンの例について説明する。
【0072】
図8(1)は、図7を参照して説明したアイコンであり、サイドミラーを示す突起部を有する矩形型アイコンを用いた例である。矩形型アイコンの長さ方向においてサイドミラー部を示す突起部を設定した側が車両の前方向となる。
【0073】
図8(2)は、ヘッドライトを示す楕円部を有するアイコンを用いた例である。矩形型アイコンの長さ方向においてヘッドライトを示す楕円部を有する側が車両の前方向となる。
図8(3)は、フロントウィンドウを示す台形部を有するアイコンを用いた例である。矩形型アイコンの長さ方向においてフロントウィンドウを示す台形部を有する側が車両の前方向となる。
【0074】
図8(4)は、(1)~(3)の各構成、すなわち、サイドミラー、ヘッドライト、フロントウィンドウを有するアイコンを用いた例である。
図8(5)は、車両前方向を示すための三角形の識別マークを用いた例である、識別マークを表示した側が車両の前方向を示している。
このように、車両の向きを識別可能としたアイコンは様々な設定が可能である。
【0075】
上述したように、本開示の情報処理装置は、「駐車車両アイコン51」について、実際の駐車車両の特徴情報(色、向き、位置、サイズ)を反映したアイコンを生成して表示部30に表示する。
車両の運転者等のユーザは、表示部30に表示された「駐車車両アイコン51」と、車両10から見える実際の車両との対応付けを容易に行うことが可能となる。
この結果、駐車可能領域アイコン52の表示された駐車区分領域の実際の位置を即座に理解することが可能となり、例えば、目標駐車領域の決定処理を短時間に行うことが可能となる。
【0076】
なお、例えば、駐車区分領域が車両10から離れている場合や、駐車区分領域が手前の駐車車両によって隠れている場合などには、車両10のカメラ撮影画像に基づく画像解析処理によって、その駐車区分領域内の駐車車両の色や形や向きなどの特徴が解析できない場合もある。具体的には、例えば、その駐車区分領域に駐車車両が存在することは確認できているが、その駐車車両の特徴(色、向き、位置、サイズ、車種等)を特定できない場合がある。
【0077】
このように駐車区分領域の駐車車両の特徴が不明確な場合、本開示の情報処理装置は、まず、特徴情報(色、向き、位置、サイズ、車種等)を反映しない「駐車車両アイコン51」を表示する。その後、車両10がその駐車区分領域に近づいて、駐車車両の特徴が明確になった時点で、特徴情報(色、向き、位置、サイズ、車種等)を反映した「駐車車両アイコン51」に切り替えて表示する。
【0078】
この駐車車両アイコン51の切り替え表示処理の具体例について、図9を参照して説明する。
図9には、駐車区分領域に特徴不明車両が存在する場合の駐車場マップ31の表示切替処理例として、以下の2つの表示例を示している。
(a)駐車区分領域に特徴不明車両が存在する場合の駐車場マップ31の表示例
(b)特徴不明車両の特徴が解析された後の駐車場マップ31の表示例
【0079】
図9(a)は、図に示す駐車場マップ31の左上端の駐車区分領域が自車両である車両10から離れており、車両10のカメラ撮影画像に基づく画像解析処理によって、この左上端の駐車区分領域内に駐車車両が存在することは確認できているが、その駐車車両の色などの特徴が解析できていない状態である。
【0080】
この場合、本開示の情報処理装置は、実際の駐車車両の特徴情報(色、向き、位置、サイズ、車種等)を反映しない駐車車両アイコンk,51kを生成して表示部30に表示する。
図に示す例では、駐車車両アイコンk,51kは白色に設定したアイコンである。
ただし、白色の設定は一例であり、この他の色の設定としてもよい。
【0081】
その後、車両10が移動して、車両10のカメラの撮影画像から左上端の駐車区分領域内の駐車車両の特徴の少なくともいずれか1つ、例えば車両の色の解析に成功すると、図9の右下の(b)に示すように、解析された特徴である車両の色を反映した駐車車両アイコンk,51kに切り替えて表示する。
【0082】
図9の右下の(b)に示す駐車車両アイコンk,51kは、駐車場マップ31の左上端の駐車区分領域内の駐車車両の特徴の1つである色を反映した黒色の駐車車両アイコンk,51kである。
【0083】
このように、本開示の情報処理装置は、駐車区分領域内の駐車車両の特徴が解析できない時点では、表示部30に表示する駐車車両アイコンを車両の特徴(色、向き、位置、サイズ、車種等)を反映しない駐車車両アイコンとして表示する。
その後、駐車区分領域内の駐車車両の特徴のいずれかが解析できた時点で、表示部30に表示している駐車車両アイコンを解析された車両の特徴(色、向き、位置、サイズ、車種等のいずれか)を反映した駐車車両アイコンに切り替えて表示する。
【0084】
なお、図9に示す例では、駐車車両の特徴である色が解析できていない場合の駐車車両アイコンk,51kを白色に設定したアイコンとしているが、これは一例であり、この他の色設定のアイコンとしてもよい。
例えば図10に示す例では、駐車車両の特徴である色が解析できていない時点の駐車車両アイコンk,51kを透明として、車両の輪郭を示すドット(点線)のみを表示した例である。
さらに、このドット(点線)を点滅させるなどの設定としてもよい。
【0085】
この図10に示す例でも、その後、駐車区分領域内の駐車車両の特徴が解析できた時点で、表示部30に表示している駐車車両アイコンを車両の特徴(色、向き、位置、サイズ、車種等)を反映した駐車車両アイコンに切り替えて表示する。
【0086】
さらに、駐車区分領域内の駐車車両の特徴(色、向き、位置、サイズ、車種等)のうち、不明な特徴が何であるかについて、車両の運転者等のユーザが理解できるように、不明な特徴の種類に応じて表示態様を変更する構成としてもよい。
具体例について図11を参照して説明する。
【0087】
図11には、以下の表示例を示している。
(a)駐車車両の色が不明な場合の表示例
(b)駐車車両の向きが不明な場合の表示例
(c)駐車車両のサイズが不明な場合の表示例
(d)駐車車両の形状が不明な場合の表示例
【0088】
「(a)駐車車両の色が不明な場合の表示例」は、駐車区分領域内の駐車車両アイコンの色を順次、変更して表示する例である。例えば、駐車車両アイコンの色を黄色→緑色→青色→赤色→黄色・・・と、順次、変更して表示する。
このような表示を行うことで、車両の運転者等のユーザは、特定の駐車区分領域の駐車車両の色が解析できていないことを知ることができる。
駐車車両の色の解析に成功すると、駐車車両アイコンの色変化は停止され、解析された色に固定されて表示される。
【0089】
「(b)駐車車両の向きが不明な場合の表示例」は、駐車区分領域内の駐車車両アイコンの向きを順次、変更して表示する例である。例えば、駐車車両アイコンの向きを左向きと、右向き、交互に変更して表示する。
このような表示を行うことで、車両の運転者等のユーザは、特定の駐車区分領域の駐車車両の向きが解析できていないことを知ることができる。
駐車車両の向きの解析に成功すると、駐車車両アイコンの向きの変化は停止され、解析された向きに固定されて表示される。
【0090】
「(c)駐車車両のサイズが不明な場合の表示例」は、駐車区分領域内の駐車車両アイコンのサイズを順次、変更して表示する例である。例えば、駐車車両アイコンのサイズを小型→中型→大型→小型・・・と、順次、変更して表示する。
このような表示を行うことで、車両の運転者等のユーザは、特定の駐車区分領域の駐車車両のサイズが解析できていないことを知ることができる。
駐車車両のサイズの解析に成功すると、駐車車両アイコンのサイズ変化は停止され、解析されたサイズに固定されて表示される。
【0091】
「(d)駐車車両の形状が不明な場合の表示例」は、駐車区分領域内の駐車車両アイコンの形状を順次、変更して表示する例である。例えば、駐車車両アイコンの形状を丸型→角型→丸形・・・と、順次、変更して表示する。
このような表示を行うことで、車両の運転者等のユーザは、特定の駐車区分領域の駐車車両の形状が解析できていないことを知ることができる。
駐車車両の形状の解析に成功すると、駐車車両アイコンの形状変化は停止され、解析された形状に固定されて表示される。
【0092】
なお、駐車車両の複数の特徴が解析されていない場合は、図11に示す(a)~(d)の表示態様を組み合わせて表示する。
このような処理を行うことで、車両の運転者等のユーザは、特定の駐車区分領域の駐車車両のどの特徴が解析できていないかを知ることができる。
【0093】
[4.駐車車両アイコン以外のオブジェクト識別アイコンの具体例について]
次に、駐車車両アイコン以外のオブジェクト識別アイコンの具体例について説明する。
【0094】
先に説明したように、本開示の情報処理装置は、駐車車両以外の駐車場内のオブジェクト、例えば歩行者や、三角コーン、植物、路面上にペイントされた矢印、横断歩道など、路面上の描画情報等の様々なオブジェクトについてもその特徴情報(色、位置、サイズ等)を解析し、これらの特徴情報を反映した識別アイコンを生成して表示部に表示する。
【0095】
まず、図12図13を参照して、駐車場内の歩行者等の人を識別して、識別された人の特徴情報(色、位置、サイズ等)を解析し、これらの特徴情報を反映した人識別アイコンを生成して表示部30に表示する処理の具体例について説明する。
【0096】
図12は、先に説明した図5と同様、駐車場20の駐車領域に駐車しようとする車両10のフロントパネルを示している。図12に示す車両10は、図4に示す車両10に相当し、駐車場20の走行路を走行している。
【0097】
車両10の前方には2人の歩行者がいる。
歩行者a,23aは、赤色の服を着た歩行者である。また、歩行者b,23bは、緑色の服を着た歩行者である。
【0098】
上述したように、本開示の情報処理装置は、歩行者についてもその特徴情報(色、位置、サイズ等)を解析し、これらの特徴情報を反映した識別アイコンを生成して表示部に表示する。
【0099】
前述したように、本開示の情報処理装置は、車両10に備えられたカメラ等のセンサ検出情報、あるいは外部からの受信情報に基づいて、車両、車両以外の歩行者等のオブジェクトの特徴情報(色、位置、サイズ等)を取得する。あるいは予め生成した学習モデルを利用したAI解析によって特徴情報を取得する。
本開示の情報処理装置は、歩行者等のオブジェクトの特徴情報(色、位置、サイズ等)を解析し、これらの特徴情報を反映した識別アイコンを生成して車両10の表示部30に表示する。
【0100】
図13は、表示部30に表示されるデータの例であり、駐車場マップ31に人アイコン54を表示した例である。
図13の駐車場マップ31に示す人アイコンa(赤色)54aは、赤色の人型の形状を有するアイコンである。また、人アイコンb(緑色)54bは、緑色の人型の形状を有するアイコンである。
【0101】
図13に示す駐車場マップ31内の人アイコンa(赤色)54aは、図12に示す駐車場内の実際の歩行者である赤色の服を着た大人の歩行者a,23aを示すアイコンである。
また、図13に示す駐車場マップ31内の人アイコンb(緑色)54bは、図12に示す駐車場内の実際の歩行者である緑色の服を着た小さな子供の歩行者b,23bを示すアイコンである。
【0102】
このように、本開示の情報処理装置は、歩行者等の人についても、駐車車両アイコンと同様、実際の人の服の色と同様の色の人型のアイコンを生成して表示する。
なお、人の向きやサイズについても解析可能な場合は、実際の人の向きやサイズを反映させたアイコンを生成して表示部30に表示する。
【0103】
このように、実際の人の服の色や向き、サイズと一致する色や向き、サイズを設定した人アイコンを表示することで、車両の運転者等のユーザは、表示部30に表示された「人アイコン54」と、車両10から見える実際の人との対応付けを容易に行うことが可能となる。
【0104】
この結果、表示部30に人アイコン54が表示された場合、自車両アイコン50との位置関係から、車両外の実際の人の位置を即座に判断することが可能となり、歩行者に近づくような危険な運転を即座に回避することが可能となる。
【0105】
先に説明したように、本開示の情報処理装置は、駐車車両以外の駐車場内のオブジェクト、例えば歩行者や、三角コーン、植物、路面上にペイントされた矢印、横断歩道など、路面上の描画情報等の様々なオブジェクトについてもその特徴情報(色、位置、サイズ等)を解析し、これらの特徴情報を反映した識別アイコンを生成して表示部に表示する。
【0106】
次に、図14図15を参照して、駐車場内のその他のオブジェクトを識別して、識別されたオブジェクトの特徴情報(色、位置、サイズ等)を解析し、これらの特徴情報を反映したオブジェクトアイコンを生成して表示部30に表示する処理の具体例について説明する。
【0107】
図14は、先に説明した図5図12と同様、駐車場20の駐車領域に駐車しようとする車両10のフロントパネルを示している。図14に示す車両10は、図4に示す車両10に相当し、駐車場20の走行路を走行している。
【0108】
車両11の前方には、走行路上に置かれた三角コーン(赤色)24a、さらに走行路にペイントされた横断歩道(白)24b、案内矢印(白)24cが見えている。
【0109】
三角コーン(赤色)24aは、赤色の三角コーンである。また、横断歩道(白)24b、案内矢印(白)24cは、白色のペイントによって描かれている。
【0110】
上述したように、本開示の情報処理装置は、これらの様々なオブジェクトについてもその特徴情報(色、位置、サイズ等)を解析し、これらの特徴情報を反映した識別アイコンを生成して表示部に表示する。
【0111】
前述したように、本開示の情報処理装置は、車両10に備えられたカメラ等のセンサ検出情報、あるいは外部からの受信情報に基づいて、様々なオブジェクトの特徴情報(色、位置、サイズ等)を取得する。あるいは予め生成した学習モデルを利用したAI解析によって特徴情報を取得する。
本開示の情報処理装置は、様々なオブジェクトの特徴情報(色、位置、サイズ等)を解析し、これらの特徴情報を反映した識別アイコンを生成して車両10の表示部30に表示する。
【0112】
図15は、表示部30に表示されるデータの例であり、駐車場マップ31に路上オブジェクトアイコン55を表示した例である。
図15の駐車場マップ31に示す路上オブジェクト(三角コーン)アイコンa(赤色)55aは、赤色の三角コーン型の形状を有するアイコンである。
【0113】
また、駐車場マップ31に示す路上オブジェクト(横断歩道)アイコンb(白)55bは、白色の横断歩道形状を有するアイコンである。
路上オブジェクト(案内矢印)アイコンc(白)55cは、白色の矢印形状を有するアイコンである。
【0114】
これらの各アイコンは、図14に示す駐車場20内の実際のオブジェクト、すなわち、三角コーン(赤色)24a、横断歩道(白)24b、案内矢印(白)24cの位置、色を反映したアイコンである。
【0115】
このように、本開示の情報処理装置は、車両、歩行者以外の様々なオブジェクトについても、駐車車両アイコン等と同様、実際のオブジェクトの色と同様の色のアイコンを生成して表示する。
【0116】
表示部30に実際のオブジェクトの色と一致する色を設定したアイコンを表示することで、車両の運転者等のユーザは、表示部30に表示された「路上オブジェクトアイコン55」と、車両10から見える実際の様々なオブジェクトとの対応付けを容易に行うことが可能となる。
【0117】
この結果、ユーザは、自分の車両10の位置と様々オブジェクトとの位置関係を即座に判断することが可能となり、駐車場20における車両10の正確な位置を正確に判断することが可能となり、スムーズな運転や駐車処理を行うことが可能となる。
【0118】
[5.駐車場マップの拡大、縮小処理について]
次に、駐車場マップの拡大、縮小処理について説明する。
【0119】
先に説明したように、車両10の表示部30には以下の各データが表示される。
(a)駐車場マップ31、
(b)カメラ撮影画像32、
(c)操作部33
【0120】
前述したように「(a)駐車場マップ31」として表示される駐車場領域は、車両10の進行に伴い順次、変更して表示される。すなわち車両10の前方領域を上面から見た仮想画像に順次、変更されるアニメーション画像として表示される。
【0121】
さらに、図16に示すように、この「(a)駐車場マップ31」は、ユーザ操作によって、拡大処理、縮小処理が可能である。
ユーザ操作は例えばピンチアウト、ピンチイン等のユーザ操作であり、表示部30に表示された駐車場マップ31上に2本の指をおいて広げるピンチアウト動作や、2本の指を狭めるピンチイン動作を行うことで駐車場マップ31の拡大処理や、縮小処理を行うことができる。
【0122】
なお、図16(b)に示す駐車場マップ縮小画像には、車両10が過去に走行した経路情報、すなわち自車両走行経路情報56が表示される。
【0123】
本開示の情報処理装置は、前述したように車両の進行に伴い、駐車場マップも順次、更新して表示するアニメーション表示を行う。
過去に表示された駐車場マップの画像フレームは、順次、情報処理装置内の記憶部に格納される。さらに、この格納画像フレームには、自車両の位置情報が属性情報(メタデータ)として記録される。
【0124】
情報処理装置は、記憶部に格納された駐車場マップの画像フレームを組み合わせて図16(b)に示すような広い駐車場領域のマップ画像である広域駐車場マップを生成する。
さらに各画像フレームに属性情報(メタデータ)として記録されている自車両位置を接続する処理を行うことで広域駐車場マップ上に図16(b)に示すような自車両走行経路情報56を生成して表示する。
【0125】
ユーザは、図16(b)に示すような広い駐車場領域のマップ画像である広域駐車場マップをいつでも確認することが可能であり、自分の希望する駐車領域を、より広い範囲から選択する処理が可能となる。
【0126】
[6.駐車場マップからの駐車領域選択と駐車処理の具体例について]
次に、駐車場マップからの駐車領域選択と駐車処理の具体例について説明する。
【0127】
なお、前述したように、本開示の構成や処理は、車両10がユーザによる運転が行われる車両であっても、自動運転車両でも、いずれの車両においても利用可能である。
【0128】
図17以下を参照して、車両10の表示部30に表示された駐車場マップ31から駐車する駐車領域を選択する処理と、選択した駐車領域に駐車する処理の具体例について説明する。
【0129】
図17は、車両10の表示部30の表示データの変化について説明する図である。
車両10は、ユーザ(運転者)が運転を行って駐車場20に侵入し、その後、駐車場20の走行路上で一時停止する。停止している間にユーザが希望する駐車領域の指定情報を車両10(=車両10に搭載された情報処理装置)に入力する。
車両10の情報処理装置は、ユーザによって入力された指定駐車領域に自動駐車を実行する。
【0130】
図17(a)に示す表示部30の表示データ例は、ユーザ(運転者)が運転を行って駐車場20に侵入し、走行路を走行している間に表示される表示データの例である。
図17(b)は、ユーザ(運転者)が駐車場20の走行路上で一時停止した際の表示データの例である。
図17(a)と(b)に示す表示データの差異は、駐車場マップ31内の空き領域、すなわち駐車可能な領域に表示されるアイコンと、カメラ撮影画像32内の空き領域に表示されるグラフィックデータである。
【0131】
図17(a)に示す駐車場マップ31内の空き領域に表示されるアイコン、すなわち、車両10が走行中に表示部30に表示されるアイコンは、これまで説明してきた「駐車可能領域アイコン52」である。この「駐車可能領域アイコン52」は、駐車場マップ31内の空き領域、すなわち駐車可能な領域に表示されるアイコンであり、「P」の文字が含まれるアイコンである。
また、カメラ撮影画像32内の空き領域に表示される「駐車可能領域識別用グラフィックデータ53」も「P」の文字からなるグラフィックデータである。
【0132】
一方、図17(b)に示す表示データ、すなわち、車両10が停止した際に表示部30の駐車場マップ31内の空き領域に表示されるアイコンは、図17(b)に示すように、文字「P」ではなく、領域各々、異なる識別子(例えば番号1,2,3,・・・)を含むアイコンとして表示される。
すなわち、図17(b)に示すように、駐車場マップ31内の空き領域には、「駐車可能領域位置識別子設定アイコン57」が表示される。
【0133】
さらに、カメラ撮影画像32内の空き領域に表示されるグラフィックデータも「P」の文字ではなく、空き領域各々に対応する異なる識別子(番号)からなる「駐車可能領域位置識別子設定グラフィックデータ58」の表示に置き換えられる。
【0134】
図に示す例では、「駐車可能領域位置識別子設定アイコン57」、および駐車可能領域位置識別子設定グラフィックデータ58」の識別子として1,2,3の3つの数値が表示されている。
ユーザは、表示部30に表示された駐車場マップ31に3つの空き領域があることを瞬時に判別することができる。
【0135】
ユーザ(運転者)は、これら3つの空き領域から希望する駐車領域を選択する。
すなわち、車両10が停止している間に希望する駐車領域の指定情報を車両10(=車両10に搭載された情報処理装置)に入力する。
車両10の情報処理装置は、ユーザによって入力された指定駐車領域に自動駐車を実行する。
【0136】
図17(b)に示す車両停止期間中に表示部30に表示される表示データの拡大図を図18に示す。
図18に示すように、駐車場マップ31内の駐車可能な空き領域には、識別子(番号1,2,3)を含む「駐車可能領域位置識別子設定アイコン57a~c」が表示される。同様に、カメラ撮影画像32内の空き領域にも識別子(番号1,2,3)を含む「駐車可能領域位置識別子設定グラフィックデータ58」が表示される。
【0137】
図19は、ユーザ(運転者)による希望駐車領域の選択処理例を示している。
表示部30はタッチパネルとして利用可能な構成であり、ユーザ(運転者)は、希望する駐車領域のアイコン部分をタッチする。このタッチ処理を車両10内の情報処理装置が検出すると、ユーザの指定した駐車領域に対する自動駐車処理が開始される。
【0138】
なお、ユーザ(運転者)による希望駐車領域の指示は、図19に示すように表示部30のUIを利用した操作(タッチ)によって実行することが可能であるが、その他、例えば情報処理装置が音声認識部を備えている場合、ユーザ(運転者)による音声入力を利用することも可能である。
【0139】
例えば、ユーザ(運転者)が、
「1番に駐車して」
上記発話を行うことで、情報処理装置の音声認識部が、ユーザ発話を解釈して識別子(1)が表示された駐車領域、すなわち、「駐車可能領域位置識別子設定アイコン57a」が表示された駐車領域への自動駐車処理を開始する。
【0140】
なお、表示部30に対するユーザ操作や音声によってユーザ(運転者)が希望駐車領域の指示を車両10(=車両10内の情報処理装置)に通知した際、情報処理装置は、ユーザ指示が受け付けられたことを示すため、表示部30に表示された駐車場マップ31の「駐車可能領域位置識別子設定アイコン57a」の表示態様を変更する。
【0141】
例えば図19に示すように表示色を変更(グレーから白)する。あるいは点滅表示する。またはアイコンに所定色の枠(例えば赤枠)を表示するなど、表示態様の変更処理を実行する。
この表示態様変更処理によって、ユーザ(運転者)は、車両10(=車両10内の情報処理装置)がユーザによる駐車領域指定指示を受け付け、目標駐車領域の決定処理がなされたことを確認可能となる。
この処理の後、車両10(=車両10内の情報処理装置)は指定駐車領域への自動駐車処理を開始する。
【0142】
車両10が自動駐車処理を開始した時点の表示部30の表示データの一例を図20に示す。
車両10による自動駐車の開始時点で、車両10の表示部30の駐車場マップ31には、図20に示すように駐車走行路情報61が表示される。現在の車両10の位置に表示される自車両アイコン50から前方方向に伸びる前進走行路と、指定された駐車領域「1」に侵入するための後進走行路が表示される。
【0143】
これら、前進走行路、後進走行路は、例えば各々異なる色、例えば前進走行路は緑、後進走行路は赤系の色を有し、かつグラデーションを持つ表示データとして表示される。
前進走行路は現在の車両10の位置に表示される自車両アイコン50から離れるほど透明度が低下するグラデーションを有する表示データである。同様に後進走行路は駐車予定領域「1」から離れるほど透明度が低下するグラデーションを持つ表示データである。このようなグラデーションを持つ表示データにすることで、ユーザは切り返し位置を識別しやすくなる。
なお、色の設定やグラデーションの設定は一例であり、自動駐車走行路は、この他、様々な表示態様を持つ表示データを利用して表示することが可能である。
【0144】
なお、図20では駐車走行路情報を駐車場マップ31にのみ表示した例を説明したが、例えば図21に示すように、カメラ撮影画像32内にも「駐車走行路情報61b」をグラフィックデータとして重畳表示する構成としてもよい。
【0145】
このカメラ撮影画像32内の「駐車走行路情報61b」も、例えば先に説明した駐車上マップ31に表示される駐車走行路情報61と同様の色やグラデーションを持つ表示データとして表示する。
【0146】
さらに、車両10が自動駐車処理を開始する時点で、表示部30に前進走行から、後進走行への切り替え地点までの距離を表示する構成としてもよい。
具体例について図22を参照して説明する。
【0147】
図22に示す表示データは、車両10が自動駐車処理を開始する時点で表示部30に表示するデータの一例である。
図22に示す駐車場マップ31には、車両10が自動駐車処理を行う際に実行される前進走行から後進走行への切り替え地点を示す停止位置ライン62と、この停止位置ライン62までの距離(7.64m)である停止位置距離情報63が表示されている。
【0148】
車両10が自動駐車処理を開始し、前進走行を開始すると、この停止位置距離情報63(7.64m)は順次、減少して表示され、0になった時点で停止し、後進走行が開始されることになる。
ユーザ(運転者)は、このような表示更新処理により、安全確実な自動駐車処理が行われていることを確認することができる。
【0149】
[7.車両の表示部に表示する様々な表示データの例について]
次に、車両の表示部に表示する様々な表示データの例について説明する。
【0150】
図23は、カメラ撮影画像32に重畳するグラフィックデータとして、「駐車可能領域位置識別子設定グラデーションパネル64」を表示した例である。
カメラ撮影画像32条には様々な実際の車両などのオブジェクトが表示されているため、空き領域を示す識別子(番号)が認識されにくいという問題がある。
【0151】
この問題を解決するため、図23に示すように、空き領域を示す識別子(番号)を含む「駐車可能領域位置識別子設定グラデーションパネル64」を表示する。
このグラデーションパネルは、例えばブルー系の色を有し、路面側の透明度が低く、上側ほど透明度が高くなるグラデーションを有するグラフィックイデータである。
なお、色やグラデーションの設定は一例であり、この他の設定のパネル型表示を行う構成としてもよい。
【0152】
また、表示部30に対する表示データは、昼間と夜間で異なる表示態様としてもよい。夜間は、車両10の車内は暗いため、明るすぎる表示データは眩しいと感じてしまう。
そのため、夜間は、表示部30の表示データを全体的に暗めのデータとして設定する。
【0153】
夜間の表示データの例を図24に示す。
図24に示す表示部30に表示される駐車場マップ31のバックグラウンドを輝度の低いグレー系の表示データとしている。
このような表示制御を行うことで、ユーザは暗い車内でも、眩しさを感じることなく、表示部30の表示データを確認することが可能となる。
【0154】
[8.ユーザによる希望駐車領域の設定と、ユーザ設定を反映した駐車領域自動選択処理について]
次に、ユーザによる希望駐車領域の設定と、ユーザ設定を反映した駐車領域自動選択処理について説明する。
【0155】
多数の駐車領域が設定された駐車場において、多くのユーザは自分好みの駐車領域に駐車したいと思う。
例えば、隣に駐車車両がない角の駐車領域や、スーパーマーケットの入口に近い駐車領域、あるいは木陰となる駐車領域などを希望する場合が多い。
【0156】
以下に説明する実施例は、ユーザが希望する駐車領域の特徴を予め入力し、車両10の情報処理装置がユーザ希望に合う駐車領域を検出してその駐車領域をユーザに提示して自動駐車を行う実施例である。
【0157】
図25は、車両10の表示部30に表示されるデータの一例である。駐車場マップ31の右側にユーザ希望駐車領域設定UI35が表示されている。
【0158】
ユーザ希望駐車領域設定UI35は、ユーザが希望する駐車領域の特徴を選択して入力するUIである。図に示す例では、以下の選択肢が表示されている。
(a)左右空き優先
(b)角スペース優先
(c)縦列駐車優先
(d)前向き駐車優先
(e)木陰優先
(f)入口近く優先
【0159】
ユーザはこれらの選択肢から任意数の選択肢を入力する。入力データは車両10の情報処理装置の記憶部に登録される。
情報処理装置は、センサ検出情報や、駐車場管理サーバ等の外部装置から入力する情報に基づいて、駐車可能な空き領域の特徴を解析し、空き領域の各々がユーザ希望を満たす領域であるか否かを判定する。
【0160】
さらに、判定結果に基づいて、ユーザ希望の満足度が最も高い空き領域を選択し、選択した空き領域をユーザに通知する。
具体的には、例えば図25に示すように、駐車場マップ31から選択されたユーザ希望の満足度が最も高い空き領域に、ユーザ希望満足領域識別マーク65を表示する。
【0161】
ユーザは、このマークを確認することで、この空き領域がユーザの希望を満足する空き領域であることを知ることができる。
その後、例えばユーザがこの空き領域をタッチする等の指示を行うことで、この空き領域に対する自動駐車処理が開始される。
【0162】
[9.ユーザ端末の表示部に駐車場マップを表示する実施例について]
次に、ユーザ端末の表示部に駐車場マップを表示する実施例について説明する。
【0163】
上述した実施例は、車両10内の表示部30に駐車場マップ31を表示する実施例として説明した。
この駐車場マップは、例えば車両10を下車したユーザのスマホ等のユーザ端末に表示してもよい。
【0164】
図26を参照して具体例について説明する。
図26には、ユーザが車両10を降りて、駐車場20内でユーザ端末(スマホ等)70に表示された駐車場マップ71を見ながら、車両10が自動駐車する様子を確認している状態を示す図である。
【0165】
車両10の情報処理装置とユーザ端末(スマホ)70は通信部を介して通信を行う。
ユーザ端末70には、車両10の情報処理装置が生成した駐車場マップ71が表示される。
駐車場マップ71には、先に説明した車両10の表示部30に表示される駐車場マップ31と同様のデータが表示される。
【0166】
例えば、駐車車両アイコン51、駐車可能領域アイコン52、駐車可能領域位置識別子設定アイコン57等の各種アイコンが表示される。
さらに、車両10に対して自動駐車処理を開始させるための操作部72も表示される。
操作部72aは、車両10に自動駐車を開始させる場合に操作する。操作部72bは自動駐車を停止させる場合に操作する操作部である。
【0167】
ユーザが駐車場マップ71に表示された駐車可能領域位置識別子設定アイコン57の1つを選択して、操作部72aをタッチすると、車両10は、ユーザの指定した空き領域への自動駐車走行を開始する。
また、このタイミングで、ユーザが保持するユーザ端末70には、先に図20図22等を参照して説明したと同様の駐車走行路情報74が表示される。
【0168】
このように、ユーザは車両10の外部においてもスマホ等のユーザ端末を介して車両10の駐車領域の指定や自動駐車走行の開始、停止などの指示、制御を行うことが可能となる。
【0169】
[10.本開示の情報処理装置が実行する処理のシーケンスについて]
次に、本開示の情報処理装置が実行する処理のシーケンスについて説明する。
【0170】
図27は、車両10に搭載された本開示の情報処理装置が実行する処理のシーケンスの一例について説明するフローチャートである。
なお、図27に示すフローチャートは、本開示の情報処理装置のデータ処理部の制御の下で実行される。本開示の情報処理装置は例えばCPU等のプログラム実行機能を持つデータ処理部を有し、データ処理部は情報処理装置内の記憶部に格納されたプログラムに従って図27に示すフローに従った処理を実行する。
以下、図27に示すフローチャートの各ステップの処理について説明する。
【0171】
(ステップS101)
まず、車両10に搭載された情報処理装置のデータ処理部は、ステップS101において、センサ検出情報、または外部からの入力情報に基づいて、駐車区分領域各々について、
(a)駐車可能空き領域、
(b)駐車車両存在領域、
上記(a),(b)のいずれの領域に対応するかの駐車領域判別処理を実行する。
【0172】
この処理は、例えば車両10の運転者(ユーザ)からの指示に基づいて開始される。
なお、車両10が自動運転車両であり、目的地として駐車場が設定されている場合には、ユーザ入力の代わりに自動運転制御部が領域判別処理の開始指示をデータ処理部に出力してもよい。
【0173】
情報処理装置のデータ処理部は、ステップS101において、車両10に備えられたセンサの検出情報、または駐車場管理サーバ等、外部装置からの入力情報、これらの少なくともいずれかの情報に基づいて、各駐車区分領域の各々が、
(a)駐車可能空き領域、
(b)駐車車両存在領域、
上記(a),(b)のいずれの領域に対応するかの駐車領域判別処理を実行する。
【0174】
(ステップS102)
次に、情報処理装置のデータ処理部は、ステップS102において、ステップS101における駐車領域判別処理の結果として、「(b)駐車車両存在領域」として識別された駐車領域に駐車された車両の特徴情報(色、位置、前後方向、サイズ等)を取得する。
【0175】
この特徴情報取得処理も、車両10に備えられたセンサの検出情報、または駐車場管理サーバ等、外部装置からの入力情報の少なくともいずれかを用いて実行する。
【0176】
なお、前述したように、ステップS101の駐車領域判別処理や、駐車車両の特徴情報(色、位置、前後方向、サイズ等)取得処理には、予め生成した学習モデルを利用した画像解析(AI解析)を適用する構成としてもよい。
【0177】
(ステップS103)
次に、情報処理装置のデータ処理部は、ステップS103において、表示部30に対する以下のデータ表示処理を実行する。
「(a)駐車可能空き領域」には、「駐車可能領域アイコン」、
「(b)駐車車両存在領域」には、駐車車両の特徴(色、位置、前後方向、サイズ等)を識別可能とした「駐車車両アイコン」、
これらの各アイコンを設定した駐車場マップを生成して表示部30に出力する。
【0178】
すなわち、図7等を参照して説明した駐車場マップ31を生成して表示部30に表示する。
【0179】
なお、フローには説明していないが、先に図7を参照して説明したように、情報処理装置のデータ処理部は、駐車場マップ31の他カメラ撮影画像32や操作部33を含む表示データを生成して表示部30に表示する。
【0180】
(ステップS104)
さらに、情報処理装置のデータ処理部は、ステップS104において、センサ検出情報、または外部からの入力情報の少なくともいずれかの情報に基づいて、車両外検出オブジェクト(歩行者、路面上オブジェクト)の特徴情報(色、位置、サイズ等)を取得する。
【0181】
(ステップS105)
さらに、情報処理装置のデータ処理部は、ステップS105において、車両外検出オブジェクト(歩行者、路面上オブジェクト)の特徴情報(色、位置、サイズ等)を識別可能とした「表示データ(アイコン)」を駐車場マップ上に表示する。
【0182】
このステップS104~S105の処理は先に図12図15を参照して説明した処理に対応する処理である。
【0183】
これらのデータ表示処理を行うことで、車両10のユーザ(運転者など)は、表示部30に表示された駐車車両や、人、その他のオブジェクトと、車両10から直接確認される実際の車両や人、その他のオブジェクトのどれに対応するかを即座に判断することが可能となる。その結果、駐車領域の選択処理の迅速化、人に対する接近などの早期回避処理などが可能となり、安全な駐車処理を実行させることができる。
【0184】
なお、図27では、ステップS104~S105の処理をステップS102~S103の処理に続けて実行するシーケンスとして説明したが、ステップS104~S105の処理は、ステップS101~S103の処理と並列に実行することが可能である。
【0185】
次に、図28に示すフローを参照して、車両10の情報処理装置が車両10を自動駐車させる場合の処理シーケンスについて説明する。
なお、図28に示すフローの開始時点で、車両10の表示部30には、先に図7を参照して説明した表示データ、すなわち、
(a)駐車場マップ31、
(b)カメラ撮影画像32、
(c)操作部33
これらの各データが表示されているものとする。
【0186】
また、駐車場マップ31には、先に図7を参照して説明した各アイコン、すなわち、自車両アイコン50、駐車車両アイコン51、駐車可能領域アイコン52が表示されているものとする。
ステップS201以下の各ステップの処理について、順次、説明する。
【0187】
(ステップS201)
情報処理装置のデータ処理部は、ステップS201において、車両が停止したか否かを判定する。なお、車両が停止したか否かの判定においては、車両が所定速度以下(例えば、3km/h以下)になった場合に車両が停止したと判定しても良い。
【0188】
車両が停止したと判定した場合は、ステップS202に進む。
【0189】
(ステップS202)
ステップS201において、車両が停止したと判定した場合、情報処理装置のデータ処理部は、ステップS202において、表示部30に表示した駐車場マップ31内の駐車可能領域アイコン52を、駐車可能領域位置識別子(番号等)設定アイコン57に変更するアイコン表示変更処理を行う。
【0190】
この処理は、先に図17を参照して説明した処理に相当する。すなわち、図17(a)に示す駐車場マップ31内の駐車可能領域アイコン52を、図17(b)に示すような駐車可能領域位置識別子(番号1,2,3等)設定アイコン57に変更するアイコン表示変更処理を行う。
【0191】
(ステップS203)
次に、情報処理装置のデータ処理部は、ステップS203において、ユーザから目標駐車領域の指定入力、または、おまかせ駐車の要求入力があったか否かを判定する。
【0192】
ユーザから目標駐車領域の指定入力は、例えば先に図19を参照して説明した処理に相当する。
ユーザ(運転者)は、希望する駐車領域のアイコン部分をタッチする。このタッチ処理を車両10内の情報処理装置が検出すると、ユーザの指定した駐車領域に対する自動駐車処理が開始される。
【0193】
なお、前述したように、ユーザ(運転者)による希望駐車領域の指示は、図19に示すように表示部30のUIを利用した操作(タッチ)によって実行することが可能であるが、その他、例えば情報処理装置が音声認識部を備えている場合、ユーザ(運転者)による音声入力を利用することも可能である。
【0194】
「おまかせ駐車」は、例えば図19に示す表示部の表示データ中の操作部a,32aを操作することで開始される。
この「おまかせ駐車」は、車両10の情報処理装置内の自動運転制御部が駐車対象の空き駐車領域を自動選択して駐車を行う処理である。
【0195】
ステップS203において、ユーザから目標駐車領域の指定入力、または、おまかせ駐車の要求入力があったと判定した場合、ステップS204に進む。
【0196】
(ステップS204)
ステップS203において、ユーザから目標駐車領域の指定入力、または、おまかせ駐車の要求入力があったと判定された場合、情報処理装置は、ステップS204において、ユーザから指定された目標駐車領域、または、おまかせ駐車の駐車実行アルゴリズムに従って選択された目標駐車領域のアイコン表示態様を変更する。
【0197】
この処理は、先に図19を参照して説明した処理に相当する。表示部30に対するユーザ操作や音声によってユーザ(運転者)が希望駐車領域の指示を車両10(=車両10内の情報処理装置)に通知した際、情報処理装置は、ユーザ指示が受け付けられたことを示すため、表示部30に表示された駐車場マップ31の「駐車可能領域位置識別子設定アイコン57」の表示態様を変更する。
【0198】
また、「おまかせ駐車」の実行によって自動運転制御部が駐車目標位置を決定した場合にも、表示部30に表示された駐車場マップ31の「駐車可能領域位置識別子設定アイコン57」の表示態様を変更する。
【0199】
例えば図19に示すように、決定した駐車目標領域のアイコン(駐車可能領域位置識別子設定アイコン57)の表示色を変更(グレーから白)する。あるいは点滅表示する、アイコンに所定色の枠(例えば赤枠)を表示するなど、表示態様の変更処理を実行する。
この表示態様変更処理によって、ユーザ(運転者)は、車両10(=車両10内の情報処理装置)が目標駐車領域を決定したことを確認することが可能となる。
【0200】
(ステップS205)
次に情報処理装置のデータ処理部は、ステップS205において、目標駐車領域への駐車処理の予定走行経路を表示する処理を実行する。さらに、一時停止位置ラインや、一時停止位置までの距離情報を表示してもよい。
【0201】
この処理は、先に図20図22等を参照して説明した処理に対応する。
先に図20を参照して説明したように、駐車場マップ31に駐車走行路情報61を表示する。現在の車両10の位置に表示される自車両アイコン50から前方方向に伸びる前進走行路と、指定された駐車領域に侵入するための後進走行路の表示処理を実行する。
【0202】
これら、前進走行路、後進走行路は、例えば各々異なる色、例えば前進走行路は緑、後進走行路は赤系の色を有し、かつグラデーションを持つ表示オブジェクトとして表示する。
先に図21を参照して説明したように、この駐車走行路情報61はカメラ撮影画像32上に重畳表示してもよい。
【0203】
さらに、図22を参照して説明したように、駐車場マップ31に、車両10が自動駐車処理を行う際に実行される前進走行から後進走行への切り替え地点を示す停止位置ライン62と、この停止位置ライン62までの距離(例えば、7.64m)である停止位置距離情報63の表示処理を行ってもよい。
【0204】
車両10が自動駐車処理を開始し、前進走行を開始すると、この停止位置距離情報63(例えば、7.64m)は順次、減少して表示され、0になった時点で停止し、後進走行が開始されることになる。
ユーザ(運転者)は、このような表示更新処理により、安全確実な自動駐車処理が行われていることを確認することができる。
【0205】
(ステップS206)
次に、情報処理装置のデータ処理部は、ステップS206において、目標駐車領域への自動駐車処理を実行する。
【0206】
(ステップS207)
次に、情報処理装置のデータ処理部は、ステップS207において、目標駐車領域への自動駐車処理が終了したことを確認すると処理を終了する。
【0207】
なお、先に図26を参照して説明したように、駐車場マップは車両10内の表示部30に限らず、例えば車両10の外にいるユーザの保持するスマホ等のユーザ端末に送信して表示する構成としてもよい。
【0208】
[11.本開示の情報処理装置の構成例について]
次に本開示の情報処理装置の構成例について説明する。
【0209】
図29は、車両10に搭載される本開示の情報処理装置150の一例を示すブロック図である。
図29に示すように情報処理装置150は、センサ151、オブジェクト解析部152、表示データ生成部153、表示部154、入力部(UI)155、通信部156、記憶部157、自動運転制御部158を有する。
オブジェクト解析部152は、駐車領域解析部161、駐車車両解析部162、車両外オブジェクト解析部163を有する。
【0210】
センサ151は、例えばカメラ、LiDAR(Light Detection and Ranging)、ToF(Time of Flight)センサ、Radar (Radio Detection and Ranging)等のセンサである。
なお、LiDAR(Light Detection and Ranging)やToFセンサは、例えばレーザ光等の光を出力してオブジェクトによる反射光を解析して、周囲のオブジェクトの距離を計測するセンサである。
【0211】
センサ151の検出情報は、オブジェクト解析部152、表示データ生成部153、および自動運転制御部158に出力される。
【0212】
オブジェクト解析部152は、駐車領域解析部161、駐車車両解析部162、車両外オブジェクト解析部163を有する。
駐車領域解析部161は、駐車場内の駐車区分領域の各々が、駐車車両のない空き領域、すなわち駐車可能領域であるか、または、駐車車両の存在する駐車不可領域であるかの識別処理を実行する。
【0213】
また、駐車車両解析部162は、駐車車両の特徴情報、例えば車両の色、車両の位置や向き、サイズなどの車両の特徴情報を取得する。
車両外オブジェクト解析部163は、車両以外のオブジェクト、例えば人や三角コーン、植物、路面上にペイントされた矢印、横断歩道などの様々なオブジェクトの特徴情報、例えば服の色、位置、向き、サイズなどのオブジェクト特徴情報を取得する。
【0214】
なお、これら、車両や人、その他のオブジェクトの特徴情報は、車両10に備えられたカメラ等のセンサ151の検出情報や、駐車場管理サーバ等の外部装置181から通信部156を介して受信する情報等に基づいて解析する。
なお、オブジェクト解析部152は、例えば予め生成した学習モデルを利用したAI解析によって様々なオブジェクトの解析を実行する構成としてもよい。
【0215】
表示データ生成部153はオブジェクト解析部152が解析した車両や人、その他のオブジェクトの特徴情報に基づいて表示部154に表示するための表示データを生成する。
【0216】
具体的には、表示データ生成部153は、先に図7を参照して説明した以下の表示データを生成して表示部154に表示する。
(a)駐車場マップ31、
(b)カメラ撮影画像32、
(c)操作部33
【0217】
表示データ生成部153は、オブジェクト解析部152の駐車領域解析部161や駐車車両解析部162が解析した情報を用いて、表示部154に表示する「(a)駐車場マップ31」に、例えば以下のアイコンを出力して表示する。
自車両を示す自車両アイコン50、
駐車車両を示す駐車車両アイコン51、
駐車可能領域を示す駐車可能領域アイコン52、
【0218】
これらは先に図7を参照して説明したアイコンであり、例えば駐車車両アイコン51は、駐車車両の色や駐車位置、駐車の向き、サイズなどを識別可能としたアイコンを生成して表示する。
【0219】
さらに、表示データ生成部153は、オブジェクト解析部152の車両外オブジェクト解析部163の解析結果を用いて、人を示す人アイコンや、路上オブジェクトアイコンなどを生成して表示部154に表示する。
これらは、先に図12図15を参照して説明したアイコンであり、人の服の色やオブジェクトの色、位置、向き、サイズなどを反映したアイコンを生成して表示する。
【0220】
また、表示データ生成部153は、先に図7等を参照して説明したように、表示部154に表示されるカメラ撮影画像32上にも駐車可能領域識別用グラフィックデータを生成して表示する。
【0221】
表示データ生成部153は、さらに、先に図20図23を参照して説明したように、図20図23に示す駐車走行経路情報61、停止位置ライン62、停止位置距離情報63などの表示データも生成して表示部154に表示する。
なお、駐車走行経路情報61、停止位置ライン62、停止位置距離情報63を生成するための走行路情報は、自動駐車のための走行路を算出する自動運転制御部158から入力する。
【0222】
表示部154には表示データ生成部153が生成した上記各アイコンを含む駐車場マップ、さらに、グラフィックデータが重畳されたカメラ撮影画像等が表示される。
【0223】
車両を駐車しようとするユーザ(運転者)は、車両の表示部154に表示された表示データを見て、駐車車両や人、その他のオブジェクトを明確に判別することができる。
【0224】
入力部(UI)155は、例えばユーザ(運転者等)による自動駐車の指示等の入力処理や、目標駐車領域の選択情報入力処理等に利用するUI(ユーザインターフェース)である。入力部(UI)155は、表示部154上に構成されるタッチパネルを利用した構成としてもよい。
また、音声入力部を有する構成としてもよい。
【0225】
入力部(UI)155の入力情報は、表示データ生成部153、および自動運転制御部158に入力される。
例えば、入力部(UI)155から、目標駐車領域の指定情報が入力されると、表示データ生成部153は、指定された目標駐車領域の駐車可能領域識別子設定アイコンの表示態様を変更する。この処理は、先に図19を参照して説明した処理に相当する。
【0226】
また、自動運転制御部158は、入力部(UI)155から入力される目標駐車領域の選択情報に応じて目標駐車領域への自動駐車を開始する。
【0227】
通信部156は、外部装置、例えば駐車場管理サーバや道路管理サーバ等の外部装置181、さらにスマホ等のユーザ端末182との通信を行う。
例えば、外部装置181から駐車領域単位の駐車可否情報や、駐車車両情報などを受信して、受信情報をオブジェクト解析部152に出力する。この情報は、オブジェクト解析部152におけるオブジェクト解析処理に利用される。
【0228】
また、通信部156は、スマホ等のユーザ端末181に対して表示データ生成部153が生成した駐車場マップ等の表示データの送信処理も実行する。
この処理は、先に図26を参照して説明した処理であり、ユーザは車外から、スマホ等のユーザ端末182を操作して自動駐車を行わせることが可能となる。
【0229】
記憶部157には、表示データ生成部153が生成した駐車場マップがマップ生成自の時間情報に対応付けられて記録される。
このマップは、先に図16を参照して説明した駐車場マップの拡縮表示を行う際に利用される。
【0230】
自動運転制御部158は、車両の自動駐車等の自動運転処理を実行する。上述したように、入力部(UI)155から目標駐車領域の選択情報が入力された場合は、目標駐車領域への自動駐車のための走行制御を実行する。
【0231】
[12.本開示の情報処理装置のハードウェア構成例について]
次に、図30を参照して、本開示の情報処理装置のハードウェア構成例について説明する。
なお、情報処理装置は車両10内に装着される。図30に示すハードウェア構成は、車両10内の情報処理装置のハードウェア構成例である。
図30に示すハードウェア構成について説明する。
【0232】
CPU(Central Processing Unit)301は、ROM(Read Only Memory)302、または記憶部308に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)303には、CPU301が実行するプログラムやデータなどが記憶される。これらのCPU301、ROM302、およびRAM303は、バス304により相互に接続されている。
【0233】
CPU301はバス304を介して入出力インタフェース305に接続され、入出力インタフェース305には、各種スイッチ、タッチパネル、マイクロホン、さらに、ユーザ入力部やカメラ、LiDAR等各種センサ321の状況データ取得部などよりなる入力部306、ディスプレイ、スピーカなどよりなる出力部307が接続されている。
また、出力部307は、車両の駆動部322に対する駆動情報も出力する。
【0234】
CPU301は、入力部306から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部307に出力する。
入出力インタフェース305に接続されている記憶部308は、例えばハードディスク等からなり、CPU301が実行するプログラムや各種のデータを記憶する。通信部309は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
また、CPUの他、カメラから入力される画像情報などの専用処理部としてGPU(Graphics Processing Unit)を備えてもよい。
【0235】
入出力インタフェース305に接続されているドライブ310は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア311を駆動し、データの記録あるいは読み取りを実行する。
【0236】
[13.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【0237】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) センサ検出情報を用いて駐車場内の車両の特徴情報を取得するオブジェクト解析部と、
前記車両に対応する車両アイコンを含む駐車場マップを生成して表示部に出力する表示データ生成部を有し、
前記表示データ生成部は、
前記オブジェクト解析部が取得した車両の特徴情報を識別可能とした車両アイコンを生成して前記表示部に出力する情報処理装置。
【0238】
(2) 前記オブジェクト解析部が取得する車両の特徴情報は車両の色であり、
前記表示データ生成部は、
車両の色を識別可能とした車両アイコンを生成して前記表示部に出力する(1)に記載の情報処理装置。
【0239】
(3) 前記オブジェクト解析部が取得する車両の特徴情報は車両の向きであり、
前記表示データ生成部は、
車両の向きを識別可能とした車両アイコンを生成して前記表示部に出力する(1)または(2)に記載の情報処理装置。
【0240】
(4) 前記表示データ生成部は、
車両の向きを識別可能とするため、サイドミラー、またはヘッドライト、またはフロントウィンドウ、または前後方向識別マークの少なくともいずれかを含む車両アイコンを生成して前記表示部に出力する(3)に記載の情報処理装置。
【0241】
(5) 前記オブジェクト解析部が取得する車両の特徴情報は車両の色、向き、位置、サイズ、車種の少なくともいずれかの特徴情報であり、
前記表示データ生成部は、
車両の色、向き、位置、サイズ、車種の少なくともいずれかの車両特徴を識別可能とした車両アイコンを生成して前記表示部に出力する(1)~(4)いずれかに記載の情報処理装置。
【0242】
(6) 前記オブジェクト解析部は、
駐車場内の駐車領域各々が、駐車車両が存在しない駐車可能領域であるか、駐車車両がある駐車不可領域であるかを解析し、
前記表示データ生成部は、
駐車可能領域には駐車可能領域アイコン、駐車不可領域には駐車領域に駐車している車両の特徴情報を識別可能とした車両アイコンを示した駐車場マップを生成して表示部に出力する(1)~(5)いずれかに記載の情報処理装置。
【0243】
(7) 前記表示データ生成部は、
表示部に表示したカメラ撮影画像上に駐車可能領域を示す駐車可能領域識別用グラフィックデータを重畳表示する(6)に記載の情報処理装置。
【0244】
(8) 前記表示データ生成部は、
自車両が停止したことを検出した場合、前記表示部に表示した駐車場マップ内の駐車可能領域アイコンの表示態様を変更する(6)または(7)に記載の情報処理装置。
【0245】
(9) 前記表示データ生成部は、
自車両が停止したことを検出した場合、前記表示部に表示した駐車場マップ内の複数の駐車可能領域アイコンを、識別子を設定した識別子設定アイコンに変更する(8)に記載の情報処理装置。
【0246】
(10) 前記表示データ生成部は、
自車両が駐車する目標駐車位置の決定に応じて、自車両の現在位置から目標駐車位置までの駐車走行路情報を前記駐車場マップに表示する(1)~(9)いずれかに記載の情報処理装置。
【0247】
(11) 前記表示データ生成部は、
前記駐車走行路情報を、自車両の位置からの距離に応じたグラテーションを持つグラフィックデータとして前記駐車場マップに表示する(10)に記載の情報処理装置。
【0248】
(12) 前記表示データ生成部は、
表示部に表示したカメラ撮影画像上に自車両の現在位置から目標駐車位置までの駐車走行路を示すグラフィックデータを重畳表示する(10)または(11)に記載の情報処理装置。
【0249】
(13) 前記オブジェクト解析部は、
駐車場内の車両以外のオブジェクトの特徴情報を取得し、
前記表示データ生成部は、
前記オブジェクト解析部が解析した車両以外のオブジェクトについて、オブジェクトの特徴を識別可能としたオブジェクトアイコンを生成して前記表示部に出力する(1)~(12)いずれかに記載の情報処理装置。
【0250】
(14) 前記オブジェクト解析部が取得するオブジェクトの特徴情報はオブジェクトの色であり、
前記表示データ生成部は、
オブジェクトの色を識別可能としたオブジェクトアイコンを生成して前記表示部に出力する(13)に記載の情報処理装置。
【0251】
(15) 前記オブジェクト解析部は、
駐車場内の人の服の色を取得し、
前記表示データ生成部は、
人の服の色を識別可能とした人アイコンを生成して前記表示部に出力する(13)または(14)に記載の情報処理装置。
【0252】
(16) 前記オブジェクト解析部は、
駐車場内の三角コーンの色を取得し、
前記表示データ生成部は、
三角コーンの色を識別可能としたオブジェクトアイコンを生成して前記表示部に出力する(13)~(15)いずれかに記載の情報処理装置。
【0253】
(17) 前記オブジェクト解析部は、
駐車場内の路面上の描画情報の色を取得し、
前記表示データ生成部は、
駐車場内の路面上の描画情報の色を識別可能としたオブジェクトアイコンを生成して前記表示部に出力する(13)~(16)いずれかに記載の情報処理装置。
【0254】
(18) 前記表示データ生成部が生成した車両アイコンを含む駐車場マップを外部のユーザ端末に送信する通信部を更に有する(1)~(17)いずれかに記載の情報処理装置。
【0255】
(19) 情報処理装置において実行する情報処理方法であり、
オブジェクト解析部が、センサ検出情報を用いて駐車場内の車両の特徴情報を取得するオブジェクト解析ステップと、
表示データ生成部が、前記車両に対応する車両アイコンを含む駐車場マップを生成して表示部に出力する表示データ生成ステップを実行し、
前記表示データ生成ステップにおいて、
前記オブジェクト解析部が取得した車両の特徴情報を識別可能とした車両アイコンを生成して前記表示部に出力する情報処理方法。
【0256】
(20) 情報処理装置において情報処理を実行させるプログラムであり、
オブジェクト解析部に、センサ検出情報を用いて駐車場内の車両の特徴情報を取得させるオブジェクト解析ステップと、
表示データ生成部に、前記車両に対応する車両アイコンを含む駐車場マップを生成して表示部に出力させる表示データ生成ステップを実行させ、
前記表示データ生成ステップにおいて、
前記オブジェクト解析部が取得した車両の特徴情報を識別可能とした車両アイコンを生成して前記表示部に出力させるプログラム。
【0257】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【0258】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にある場合もあるが、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【0259】
以上、説明したように、本開示の一実施例の構成によれば、駐車場内の駐車車両や人など様々なオブジェクトの特徴を識別可能としたアイコンを含む駐車場マップを生成して表示することで実際の車両の位置などを迅速かつ高精度に判別可能とした構成が実現される。
具体的には、例えば、センサ検出情報を用いて駐車場内の車両や人の特徴情報、例えば色、向き、位置、サイズ、車種の少なくともいずれかの特徴情報を取得するオブジェクト解析部と、車両や人に対応するアイコンを含む駐車場マップを生成して表示部に出力する表示データ生成部を有する。表示データ生成部は、オブジェクト解析部が取得した車両や人などのオブジェクトの色、向き、位置、サイズ、車種の少なくともいずれかの特徴情報を識別可能としたアイコンを生成して表示部に出力する。
本構成により、駐車場内の駐車車両や人など様々なオブジェクトの特徴を識別可能としたアイコンを含む駐車場マップを生成して表示することで実際の車両の位置などを迅速にかつ高精度に判別可能とした構成が実現される。
【符号の説明】
【0260】
10 車両
20 駐車場
30 表示部
31 駐車場マップ
32 カメラ撮影画像
33 操作部
35 ユーザ希望駐車領域設定UI
50 自車両アイコン
51 駐車車両アイコン
52 駐車可能領域アイコン
53 駐車可能領域識別用グラフィックデータ
54 人アイコン
55 路上オブジェクトアイコン
56 自車両走行経路情報
57 駐車可能領域位置識別子設定アイコン
58 駐車可能領域位置識別子設定グラフィックデータ
61 駐車走行路情報
62 停止位置ライン
63 停止位置距離情報
64 駐車可能領域位置識別子設定グラデーションパネル
65 ユーザ希望満足領域識別マーク
70 ユーザ端末(スマホ)
71 駐車場マップ
72 操作部
74 駐車走行路情報
150 情報処理装置
151 センサ
152 オブジェクト解析部
153 表示データ生成部
154 表示部
155 入力部(UI)
156 通信部
157 記憶部
158 自動運転制御部
161 駐車領域解析部
162 駐車車両解析部
163 車両外オブジェクト解析部
181 外部装置
182 ユーザ端末
301 CPU
302 ROM
303 RAM
304 バス
305 入出力インタフェース
306 入力部
307 出力部
308 記憶部
309 通信部
310 ドライブ
311 リムーバブルメディア
321 センサ
322 駆動部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30