特許 6852556 俯瞰映像生成装置、俯瞰映像表示システム、俯瞰映像生成方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6852556

(24)【登録日】2021年3月15日

(45)【発行日】2021年3月31日

(54)【発明の名称】俯瞰映像生成装置、俯瞰映像表示システム、俯瞰映像生成方法およびプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20210322BHJP

   B60R 21/00 20060101ALI20210322BHJP

   G08G 1/16 20060101ALI20210322BHJP

   G06T 1/00 20060101ALI20210322BHJP

【ＦＩ】

   H04N7/18 J

   B60R21/00 991

   B60R21/00 992

   G08G1/16 C

   G06T1/00 330A

【請求項の数】8

【全頁数】23

(21)【出願番号】特願2017-97185(P2017-97185)

(22)【出願日】2017年5月16日

(65)【公開番号】特開2018-195935(P2018-195935A)

(43)【公開日】2018年12月6日

【審査請求日】2019年9月30日

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】勝俣 昇

(72)【発明者】

【氏名】春原 一史

(72)【発明者】

【氏名】大御堂 隆

(72)【発明者】

【氏名】清水 義之

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特開２０１６−１６６８１（ＪＰ，Ａ）

【文献】 特開２０１５−７９４２１（ＪＰ，Ａ）

【文献】 特開２００８−８３９９０（ＪＰ，Ａ）

【文献】 特開２０１０−１６５２９９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ ２１／００

Ｇ０６Ｔ １／００

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

車両の周辺を撮影部が撮影した周辺映像データを取得する映像データ取得部と、
前記映像データ取得部が取得した前記撮影部の周辺映像に対して視点変換処理および合成処理を行うことで俯瞰映像を生成する俯瞰映像生成部と、
前記車両の周辺における駐車区画を検出する駐車区画検出部と、
前記駐車区画検出部が検出した駐車区画より、並んで位置する複数の駐車区画における車両の前後方向の停止位置が不連続であることを判断する判断部と、
前記判断部が、並んで位置する複数の駐車区画における車両の前後方向の停止位置が不連続であると判断したとき、前記複数の駐車区画に対して車両の前後方向の停止位置を示す仮想区画標示を前記俯瞰映像生成部が生成した俯瞰映像に重畳させた重畳映像を生成する重畳処理部と、
前記重畳処理部が生成した重畳映像を表示部に表示させる表示制御部と、
を備え、
前記駐車区画検出部は、駐車区画の境界を示す駐車枠線を検出し、
前記仮想区画標示は、駐車区画の境界を示す一対の側方枠線に重畳した一対の仮想側方枠線と、一方の仮想側方枠線の後端部から他方の仮想側方枠線に向かって垂直に延びる仮想後方枠線と、他方の仮想側方枠線の前端部から一方の仮想側方枠線に向かって垂直に延びる仮想前方枠線とを含む、
俯瞰映像生成装置。

【請求項2】

前記駐車区画検出部は、検出した駐車区画のうち前記車両が駐車対象とする駐車区画を特定し、
前記重畳処理部は、前記複数の駐車区画に対して前記車両が駐車対象とする駐車区画を基準とした矩形の仮想区画標示を俯瞰映像に重畳させた重畳映像を生成する、
請求項１に記載の俯瞰映像生成装置。

【請求項3】

前記重畳処理部は、前記車両が駐車対象とする駐車区画を基準として格子状に配置した矩形の仮想区画標示を、前記車両が駐車対象とする駐車区画に隣接した駐車区画に対して重畳させた重畳映像を生成する、
請求項２に記載の俯瞰映像生成装置。

【請求項4】

前記判断部は、前記車両が駐車対象とする駐車区画と、前記車両が駐車対象とする駐車区画に隣接した駐車区画とが角度付き駐車区画である場合に不連続であると判断する、
請求項２または請求項３に記載の俯瞰映像生成装置。

【請求項5】

前記判断部は、前記車両が駐車対象とする駐車区画と、前記車両が駐車対象とする駐車区画に隣接した駐車区画との向きが異なる場合に不連続であると判断する、
請求項３に記載の俯瞰映像生成装置。

【請求項6】

請求項１から５のいずれか一項に記載の俯瞰映像生成装置と、
前記映像データ取得部に周辺映像データを供給する前記撮影部、前記表示制御部が重畳映像を表示させる表示部、の少なくともどちらかを備える、俯瞰映像表示システム。

【請求項7】

車両の周辺を撮影部が撮影した周辺映像データを取得する映像データ取得ステップと、
前記映像データ取得ステップが取得した前記撮影部の周辺映像に対して視点変換処理および合成処理を行うことで俯瞰映像を生成する俯瞰映像生成ステップと、
前記車両の周辺における駐車区画を検出する駐車区画検出ステップと、
前記駐車区画検出ステップが検出した駐車区画より、並んで位置する複数の駐車区画における車両の前後方向の停止位置が不連続であることを判断する判断ステップと、
前記判断ステップが、並んで位置する複数の駐車区画における車両の前後方向の停止位置が不連続であると判断したとき、前記複数の駐車区画に対して車両の前後方向の停止位置を示す仮想区画標示を前記俯瞰映像生成ステップが生成した俯瞰映像に重畳させた重畳映像を生成する重畳処理ステップと、
前記重畳処理ステップが生成した重畳映像を表示部に表示させる表示制御ステップと、
を含み、
前記駐車区画検出ステップは、駐車区画の境界を示す駐車枠線を検出し、
前記仮想区画標示は、駐車区画の境界を示す一対の側方枠線に重畳した一対の仮想側方枠線と、一方の仮想側方枠線の後端部から他方の仮想側方枠線に向かって垂直に延びる仮想後方枠線と、他方の仮想側方枠線の前端部から一方の仮想側方枠線に向かって垂直に延びる仮想前方枠線とを含む、
俯瞰映像生成方法。

【請求項8】

車両の周辺を撮影部が撮影した周辺映像データを取得する映像データ取得ステップと、
前記映像データ取得ステップが取得した前記撮影部の周辺映像に対して視点変換処理および合成処理を行うことで俯瞰映像を生成する俯瞰映像生成ステップと、
前記車両の周辺における駐車区画を検出する駐車区画検出ステップと、
前記駐車区画検出ステップが検出した駐車区画より、並んで位置する複数の駐車区画における車両の前後方向の停止位置が不連続であることを判断する判断ステップと、
前記判断ステップが、並んで位置する複数の駐車区画における車両の前後方向の停止位置が不連続であると判断したとき、前記複数の駐車区画に対して車両の前後方向の停止位置を示す仮想区画標示を前記俯瞰映像生成ステップが生成した俯瞰映像に重畳させた重畳映像を生成する重畳処理ステップと、
前記重畳処理ステップが生成した重畳映像を表示部に表示させる表示制御ステップと、
を含み、
前記駐車区画検出ステップは、駐車区画の境界を示す駐車枠線を検出し、
前記仮想区画標示は、駐車区画の境界を示す一対の側方枠線に重畳した一対の仮想側方枠線と、一方の仮想側方枠線の後端部から他方の仮想側方枠線に向かって垂直に延びる仮想後方枠線と、他方の仮想側方枠線の前端部から一方の仮想側方枠線に向かって垂直に延びる仮想前方枠線とを含む、
ことを俯瞰映像生成装置として動作するコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、俯瞰映像生成装置、俯瞰映像表示システム、俯瞰映像生成方法およびプログラムに関する。

【背景技術】

【0002】

車両の駐車時、運転者は、車両を上方から見たような俯瞰映像を表示することで、車両の周囲の安全確認、及び、車両の周辺の駐車区画や他車両などとの位置関係の把握が容易になる。車両の駐車時、車両の俯瞰映像を車両画像と共に表示して駐車を支援する車両周辺表示装置に関する技術が知られている（例えば、特許文献１、特許文献２参照）。特許文献１に記載の技術は、駐車領域間の境界線として白線が路面に描かれていない駐車場において、車幅方向に延びた車止めから隣接する駐車領域間の境界を設定し、俯瞰映像に重畳して表示する。特許文献２に記載の技術は、駐車枠の既定部分が表示範囲外にあるとき、駐車枠の延長線を示す延長線画像を俯瞰映像に重畳して表示する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３−１１６６９６号公報

【特許文献2】特開２００８−０８３９９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

駐車区画は、通路に対して傾いて形成されたり、隣接する駐車区画と異なる向きに形成されたりすることがある。このような駐車区画では、自車両が駐車しようとする駐車区画と、隣接する駐車区画との相対的な位置関係を確認しにくいことがある。

【0005】

本発明は、上記に鑑みてなされたものであって、車両と周辺との相対的な位置関係を適切に確認可能にすることを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明に係る俯瞰映像生成装置は、車両の周辺を撮影部が撮影した周辺映像データを取得する映像データ取得部と、前記映像データ取得部が取得した前記撮影部の周辺映像に対して視点変換処理および合成処理を行うことで俯瞰映像を生成する俯瞰映像生成部と、前記車両の周辺における駐車区画を検出する駐車区画検出部と、前記駐車区画検出部が検出した駐車区画より、並んで位置する複数の駐車区画における車両の前後方向の停止位置が不連続であることを判断する判断部と、前記判断部が、並んで位置する複数の駐車区画における車両の前後方向の停止位置が不連続であると判断したとき、前記複数の駐車区画に対して車両の前後方向の停止位置を示す仮想区画標示を前記俯瞰映像生成部が生成した俯瞰映像に重畳させた重畳映像を生成する重畳処理部と、前記重畳処理部が生成した重畳映像を表示部に表示させる表示制御部とを備えることを特徴とする。

【0007】

本発明に係る俯瞰映像表示システムは、上記の俯瞰映像生成装置と、前記映像データ取得部に周辺映像データを供給する前記撮影部、前記表示制御部が重畳映像を表示させる表示部、の少なくともどちらかを備えることを特徴とする。

【0008】

本発明に係る俯瞰映像生成方法は、車両の周辺を撮影部が撮影した周辺映像データを取得する映像データ取得ステップと、前記映像データ取得ステップが取得した前記撮影部の周辺映像に対して視点変換処理および合成処理を行うことで俯瞰映像を生成する俯瞰映像生成ステップと、前記車両の周辺における駐車区画を検出する駐車区画検出ステップと、前記駐車区画検出ステップが検出した駐車区画より、並んで位置する複数の駐車区画における車両の前後方向の停止位置が不連続であることを判断する判断ステップと、前記判断ステップが、並んで位置する複数の駐車区画における車両の前後方向の停止位置が不連続であると判断したとき、前記複数の駐車区画に対して車両の前後方向の停止位置を示す仮想区画標示を前記俯瞰映像生成ステップが生成した俯瞰映像に重畳させた重畳映像を生成する重畳処理ステップと、前記重畳処理ステップが生成した重畳映像を表示部に表示させる表示制御ステップとを含む。

【0009】

本発明に係るプログラムは、車両の周辺を撮影部が撮影した周辺映像データを取得する映像データ取得ステップと、前記映像データ取得ステップが取得した前記撮影部の周辺映像に対して視点変換処理および合成処理を行うことで俯瞰映像を生成する俯瞰映像生成ステップと、前記車両の周辺における駐車区画を検出する駐車区画検出ステップと、前記駐車区画検出ステップが検出した駐車区画より、並んで位置する複数の駐車区画における車両の前後方向の停止位置が不連続であることを判断する判断ステップと、前記判断ステップが、並んで位置する複数の駐車区画における車両の前後方向の停止位置が不連続であると判断したとき、前記複数の駐車区画に対して車両の前後方向の停止位置を示す仮想区画標示を前記俯瞰映像生成ステップが生成した俯瞰映像に重畳させた重畳映像を生成する重畳処理ステップと、前記重畳処理ステップが生成した重畳映像を表示部に表示させる表示制御ステップとを俯瞰映像生成装置として動作するコンピュータに実行させる。

【発明の効果】

【0010】

本発明によれば、車両と周辺との相対的な位置関係を適切に確認可能にすることができるという効果を奏する。

【図面の簡単な説明】

【0011】

【図1】図１は、第一実施形態に係る俯瞰映像生成装置の構成例を示すブロック図である。

【図2】図２は、駐車区画に車両を駐車している状態を示す図である。

【図3】図３は、第一実施形態に係る俯瞰映像生成装置が生成した重畳映像の一例を示す図である。

【図4】図４は、第一実施形態に係る俯瞰映像生成装置における処理の流れを示すフローチャートである。

【図5】図５は、駐車区画に車両を駐車している状態を示す図である。

【図6】図６は、第一実施形態に係る俯瞰映像生成装置が生成した俯瞰映像の一例を示す図である。

【図7】図７は、第一実施形態に係る俯瞰映像生成装置が生成した重畳映像の他の例を示す図である。

【図8】図８は、駐車区画に車両を駐車している状態を示す図である。

【図9】図９は、第一実施形態に係る俯瞰映像生成装置が生成した重畳映像の他の例を示す図である。

【図10】図１０は、駐車区画に車両を駐車している状態を示す図である。

【図11】図１１は、第一実施形態に係る俯瞰映像生成装置が生成した重畳映像の他の例を示す図である。

【図12】図１２は、第二実施形態に係る俯瞰映像生成装置が生成した重畳映像の一例を示す図である。

【図13】図１３は、第二実施形態に係る俯瞰映像生成装置における処理の流れを示すフローチャートである。

【図14】図１４は、第二実施形態に係る俯瞰映像生成装置が生成した重畳映像の他の例を示す図である。

【図15】図１５は、第二実施形態に係る俯瞰映像生成装置が生成した重畳映像の他の例を示す図である。

【図16】図１６は、駐車区画に車両を駐車している状態を示す図である。

【図17】図１７は、第三実施形態に係る俯瞰映像生成装置が生成した重畳映像の一例を示す図である。

【図18】図１８は、駐車区画に車両を駐車している状態を示す図である。

【図19】図１９は、第三実施形態に係る俯瞰映像生成装置が生成した俯瞰映像の一例を示す図である。

【図20】図２０は、駐車区画に車両を駐車している状態を示す図である。

【図21】図２１は、第三実施形態に係る俯瞰映像生成装置が生成した重畳映像の他の例を示す図である。

【図22】図２２は、駐車区画に車両を駐車している状態を示す図である。

【図23】図２３は、第三実施形態に係る俯瞰映像生成装置が生成した重畳映像の他の例を示す図である。

【図24】図２４は、駐車区画の他の例を示す図である。

【図25】図２５は、俯瞰映像生成装置が生成した重畳映像に表示される仮想区画標示の他の例を示す図である。

【図26】図２６は、俯瞰映像生成装置が生成した重畳映像に表示される仮想区画標示の他の例を示す図である。

【図27】図２７は、俯瞰映像生成装置が生成した重畳映像に表示される仮想区画標示の他の例を示す図である。

【発明を実施するための形態】

【0012】

以下に添付図面を参照して、本発明に係る俯瞰映像生成装置、俯瞰映像表示システム、俯瞰映像生成方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

【0013】

［第一実施形態］
図１は、第一実施形態に係る俯瞰映像生成装置の構成例を示すブロック図である。俯瞰映像表示システム１は、例えば、車両Ｖを駐車する際に、車両Ｖの俯瞰映像１００（図６参照）または重畳映像１００Ａ（図３参照）を生成する。

【0014】

図１を参照して、俯瞰映像表示システム１について説明する。俯瞰映像表示システム１は、前方カメラ（撮影部）１１と、後方カメラ（撮影部）１２と、左側方カメラ（撮影部）１３と、右側方カメラ（撮影部）１４と、表示パネル（表示部）３１と、俯瞰映像生成装置４０とを有する。

【0015】

前方カメラ１１は、俯瞰映像用カメラである。前方カメラ１１は、車両Ｖの前方に配置され、車両Ｖの前方を中心とした周辺を撮影する。前方カメラ１１は、例えば、１８０°程度の第一撮影範囲Ａ１（図２参照）を撮影する。第一撮影範囲Ａ１は、俯瞰映像１００の表示範囲Ａ（図２参照）より車両Ｖの前方に広い範囲を含む。前方カメラ１１は、撮影した周辺映像データを俯瞰映像生成装置４０の映像データ取得部４２へ出力する。

【0016】

後方カメラ１２は、俯瞰映像用カメラである。後方カメラ１２は、車両Ｖの後方に配置され、車両Ｖの後方を中心とした周辺を撮影する。後方カメラ１２は、例えば、１８０°程度の第二撮影範囲Ａ２（図２参照）を撮影する。第二撮影範囲Ａ２は、俯瞰映像１００の表示範囲Ａより車両（自車両）Ｖの後方に広い範囲を含む。後方カメラ１２は、撮影した周辺映像データを俯瞰映像生成装置４０の映像データ取得部４２へ出力する。

【0017】

左側方カメラ１３は、俯瞰映像用カメラである。左側方カメラ１３は、車両Ｖの左側方に配置され、車両Ｖの左側方を中心とした周辺を撮影する。左側方カメラ１３は、例えば、１８０°程度の第三撮影範囲Ａ３（図２参照）を撮影する。第三撮影範囲Ａ３は、俯瞰映像１００の表示範囲Ａより車両Ｖの左側方に広い範囲を含む。左側方カメラ１３は、撮影した周辺映像データを俯瞰映像生成装置４０の映像データ取得部４２へ出力する。

【0018】

右側方カメラ１４は、俯瞰映像用カメラである。右側方カメラ１４は、車両Ｖの右側方に配置され、車両Ｖの右側方を中心とした周辺を撮影する。右側方カメラ１４は、例えば、１８０°程度の第四撮影範囲Ａ４（図２参照）を撮影する。第四撮影範囲Ａ４は、俯瞰映像１００の表示範囲Ａより車両Ｖの右側方に広い範囲を含む。右側方カメラ１４は、撮影した周辺映像データを俯瞰映像生成装置４０の映像データ取得部４２へ出力する。

【0019】

前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とで、車両Ｖの全方位を撮影する。

【0020】

表示パネル３１は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイを含むディスプレイである。表示パネル３１は、俯瞰映像表示システム１の俯瞰映像生成装置４０から出力された映像信号に基づいて、俯瞰映像１００または重畳映像１００Ａ（図３参照）を表示する。表示パネル３１は、俯瞰映像表示システム１に専用のものであっても、例えば、ナビゲーションシステムを含む他のシステムと共同で使用するものであってもよい。表示パネル３１は、運転者から視認容易な位置に配置されている。

【0021】

俯瞰映像生成装置４０は、制御部４１と、記憶部４９とを有する。俯瞰映像生成装置４０は、車両Ｖに搭載されている。俯瞰映像生成装置４０は、車両Ｖに載置されているものに加えて、可搬型で車両Ｖにおいて利用可能な装置であってもよい。

【0022】

制御部４１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置である。制御部４１は、記憶部４９に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部４１は、映像データ取得部４２と、車両情報取得部４３と、俯瞰映像生成部４４と、駐車区画検出部４５と、判断部４６と、重畳処理部４７と、表示制御部４８とを有する。制御部４１には図示しない内部メモリが含まれ、内部メモリは制御部４１におけるデータの一時記憶などに用いられる。

【0023】

映像データ取得部４２は、車両Ｖの周辺を撮影した周辺映像データを取得する。より詳しくは、映像データ取得部４２は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とが出力した周辺映像データを取得する。映像データ取得部４２は、取得した周辺映像データを俯瞰映像生成部４４と駐車区画検出部４５とに出力する。各々のカメラから取得する周辺映像データは、例えば毎秒３０フレームの画像から構成される動画像である。

【0024】

車両情報取得部４３は、車両Ｖのギア操作情報など、俯瞰映像の表示開始のトリガとなる車両Ｖの状況を示す車両情報を、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）や車両Ｖの状態をセンシングする各種センサなどから取得する。車両情報取得部４３は、例えば、後退トリガを取得する。車両情報取得部４３は、例えば、車速情報を取得する。車両情報取得部４３は、取得した車両情報を俯瞰映像生成部４４に出力する。

【0025】

俯瞰映像生成部４４は、映像データ取得部４２が取得した周辺映像から車両Ｖを上方から見下ろすように視点変換処理と車両Ｖを示す自車両アイコン１１０を含む合成処理とを行い、車両Ｖから所定の表示範囲Ａを表示する俯瞰映像１００を生成する。より詳しくは、俯瞰映像生成部４４は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とが撮影した周辺映像に基づいて、俯瞰映像１００を生成する。俯瞰映像１００を生成する方法は、公知のいずれの方法でもよく、限定されない。俯瞰映像生成部４４は、生成した俯瞰映像１００を重畳処理部４７と表示制御部４８とに出力する。

【0026】

俯瞰映像生成部４４は、視点変換処理部４４１と、切出処理部４４２と、合成処理部４４３とを有する。

【0027】

視点変換処理部４４１は、映像データ取得部４２が取得した周辺映像データに対して、車両Ｖを上方から見下ろすように視点変換処理を行う。より詳しくは、視点変換処理部４４１は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とが撮影した周辺映像データに基づいて、視点変換処理を行った映像を生成する。視点変換処理の方法は、公知のいずれの方法でもよく、限定されない。視点変換処理部４４１は、視点変換処理を行った周辺映像データを切出処理部４４２に出力する。

【0028】

切出処理部４４２は、視点変換処理を行った周辺映像データから所定の範囲の映像を切出す切出処理を行う。どの範囲を切出範囲とするかは、あらかじめ登録され記憶されている。切出処理部４４２は、切出処理を行った映像の映像データを合成処理部４４３に出力する。

【0029】

合成処理部４４３は、切出処理を行った映像データを合成する合成処理を行う。合成処理部４４３は、合成した映像に自車両アイコン１１０を表示した俯瞰映像１００を生成する。

【0030】

駐車区画検出部４５は、車両Ｖの周辺における駐車区画Ｃを検出する。より詳しくは、駐車区画検出部４５は、前方カメラ１１の撮影範囲Ａ１、後方カメラ１２の撮影範囲Ａ２、左側方カメラ１３の撮影範囲Ａ３、右側方カメラ１４の撮影範囲Ａ４に含まれる駐車区画Ｃを検出する。駐車区画検出部４５は、映像データ取得部４２が取得した周辺映像データに対して視点変換処理部４４１が視点変換処理した周辺映像データに対して駐車区画Ｃを検出してもよい。駐車区画Ｃは、車幅方向に複数並んでいる。駐車区画Ｃは、駐車枠によって区画されている。駐車区画検出部４５は、俯瞰映像１００として表示される範囲より広い範囲に対して駐車区画Ｃを検出する。

【0031】

駐車枠は、所定長さ以上の直線性を備える。駐車枠は、例えば、駐車区画線、車道外側線、路面上に引かれた線などを含む駐車枠線、縁石、車両止めである。本実施形態では、駐車枠線によって駐車区画Ｃが区画されている。

【0032】

図２を参照して、駐車枠線と駐車区画Ｃとについて説明する。図２は、駐車区画に車両を駐車している状態を示す図である。本実施形態では、駐車枠線は、車両Ｖの駐車時に車両側面に向かい合う複数の側方枠線Ｂ１と、車両後端部に向かい合う後方枠線Ｂ２とを含む。複数の側方枠線Ｂ１は、平行である。側方枠線Ｂ１は、後方枠線Ｂ２に対して傾斜している。このような複数の側方枠線Ｂ１と後方枠線Ｂ２とによって、隣接した複数の駐車区画Ｃを形成する。駐車区画Ｃは、後方枠線Ｂ２に対して傾斜している。このような駐車区画Ｃは、「角度付き駐車区画」という。駐車区画Ｃは、駐車区画ＣＴと、駐車区画ＣＴの右隣に位置する駐車区画ＣＲと、駐車区画ＣＴの左隣に位置する駐車区画ＣＬとを含む。駐車区画ＣＴと駐車区画ＣＲと駐車区画ＣＬとを特に区別する必要がない場合、駐車区画Ｃとして説明する。

【0033】

駐車区画検出部４５は、映像データ取得部４２が取得した周辺映像に対して物体認識処理を行い、駐車区画Ｃの境界を示す駐車枠線を検出する。物体認識処理は、駐車枠線としての条件を備える被撮影物を検出する。駐車区画検出部４５は、エッジ検出処理により、周辺映像から所定長さ以上の直線性を備えた被撮影物を駐車枠線として検出してもよい。駐車区画検出部４５は、駐車枠線を記憶した認識辞書により、周辺映像から駐車枠線を検出してもよい。物体認識処理は、既存の白線検出処理や、認識辞書を用いた特定の物体検出処理などを用い、または併用してもよい。

【0034】

図１に戻って、判断部４６は、駐車区画検出部４５が検出した駐車区画Ｃが所定の条件を満たすか否かを判断する。所定の条件とは、駐車区画検出部４５が検出した駐車区画Ｃのうち、並んで位置する複数の駐車区画Ｃにおける前後方向の区画位置が不連続であることである。ここでいう前後方向とは、駐車区画Ｃに車両を駐車する場合の車両の前後方向に対応する方向である。より詳しくは、所定の条件とは、並んで位置する複数の駐車区画Ｃの前後方向の区画位置が前後方向に異なる位置であることである。区画位置が不連続であるとは、例えば、並んで位置する複数の駐車区画Ｃに同一車長の車両Ｖを同様に駐車した際に、隣接した駐車区画Ｃに停車した車両Ｖの前後方向の停止位置が車幅方向に沿った同一直線上に位置せず、ずれてしまう配置となっていることである。本実施形態では、所定の条件とは、駐車区画Ｃが角度付き駐車区画Ｃであることである。

【0035】

本実施形態では、判断部４６は、側方枠線Ｂ１が、後方枠線Ｂ２に対して傾斜しているとき、駐車区画Ｃが角度付き駐車区画Ｃであると判断する。

【0036】

または、判断部４６は、駐車区画Ｃの側方枠線Ｂ１が通路の延びる方向（図２における矢印方向）に対して傾斜しているとき、駐車区画Ｃが角度付き駐車区画Ｃであると判定してもよい。さらに、判断部４６は、後方枠線Ｂ２または通路等、側方枠線Ｂ１をの角度を定義する基準が存在しないまたは検出できない場合は、認識した側方枠線Ｂ１の端点位置、隣接した駐車区画に駐車している車両の位置などを基準として、駐車区画Ｃが角度付き駐車区画Ｃであると判定してもよい。

【0037】

通路の延びる方向は、映像データ取得部４２が取得した周辺映像に対して物体認識処理やエッジ検出処理を行って検出してもよい。または、通路の延びる方向は、車両情報取得部４３が取得した車両Ｖの走行方向を含む車両情報から検出してもよい。

【0038】

例えば、側方枠線Ｂ１が、後方枠線Ｂ２または通路の延びる方向に対して９０度の角度で配置されているときは、判断部４６は駐車区画Ｃが角度付き駐車区画Ｃであると判断しない。また、側方枠線Ｂ１が、後方枠線Ｂ２または通路の延びる方向に対して角度が９０度±１０度の間で配置されているときも、判断部４６は駐車区画Ｃが角度付き駐車区画Ｃであると判断しないこととしてもよい。

【0039】

重畳処理部４７は、判断部４６が、並んで位置する複数の駐車区画Ｃにおける車両Ｖの前後方向の停止位置が不連続であると判断したとき、複数の駐車区画Ｃに対して車両Ｖの前後方向の停止位置を示す仮想区画標示１２０を俯瞰映像生成部４４が生成した俯瞰映像１００に重畳させた重畳映像１００Ａを生成する。

【0040】

仮想区画標示１２０は、駐車区画Ｃを標示するものであればよく、表示態様は枠状に限定されない。仮想区画標示１２０は、例えば、駐車区画Ｃの外周を囲う矩形の態様、駐車区画Ｃの角部を示す態様、駐車区画Ｃの外周を点状に示す態様などであってもよい。本実施形態では、仮想区画標示１２０は、各駐車区画Ｃを基準とした矩形状である。仮想区画標示１２０は、各駐車区画Ｃに対応して表示される。

【0041】

図３を参照して、仮想区画標示１２０について説明する。図３は、第一実施形態に係る俯瞰映像生成装置が生成した重畳映像の一例を示す図である。仮想区画標示１２０は、駐車区画ＣＴに重畳して表示された仮想区画標示１２０Ｔと、駐車区画ＣＲに重畳して表示された仮想区画標示１２０Ｒと、駐車区画ＣＬに重畳して表示された仮想区画標示１２０Ｌとを含む。仮想区画標示１２０Ｔは、一対の側方枠線Ｂ１に重畳した一対の仮想側方枠線１２１Ｔと、一方の仮想側方枠線１２１Ｔの後端部から他方の仮想側方枠線１２１Ｔに向かって垂直に延びる仮想後方枠線１２２Ｔと、他方の仮想側方枠線１２１Ｔの前端部から一方の仮想側方枠線１２１Ｔに向かって垂直に延びる仮想前方枠線１２３Ｔとを含む。仮想区画標示１２０Ｒは、一方の仮想側方枠線１２１Ｔと仮想後方枠線１２２Ｒとを含む。仮想区画標示１２０Ｌは、他方の仮想側方枠線１２１Ｔと仮想前方枠線１２３Ｌとを含む。仮想区画標示１２０Ｔと仮想区画標示１２０Ｒと仮想区画標示１２０Ｌとを特に区別する必要がない場合、仮想区画標示１２０として説明する。重畳処理部４７は、仮想区画表示１２０を、矩形として定義する。

【0042】

表示制御部４８は、俯瞰映像１００または重畳処理部４７が生成した重畳映像１００Ａを表示パネル３１に表示させる。

【0043】

記憶部４９は、俯瞰映像生成装置４０における各種処理に要するデータおよび各種処理結果を記憶する。記憶部４９は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。

【0044】

次に、図４を参照して、俯瞰映像生成装置４０における処理の流れについて説明する。図４は、第一実施形態に係る俯瞰映像生成装置における処理の流れを示すフローチャートである。

【0045】

制御部４１は、俯瞰映像表示を開始するか否かを判定する（ステップＳ１１）。俯瞰映像表示を開始する判定の例として、制御部４１は、後退トリガの有無に基づいて、俯瞰映像表示を開示するか否かを判定する。後退トリガとは、例えば、シフトポジションが「リバース」とされたことをいう。または、後退トリガとは、車両Ｖの進行方向が車両Ｖの前後方向の後方となったことをいう。制御部４１は、後退トリガがない場合、俯瞰映像表示を開始しないと判定し（ステップＳ１１でＮｏ）、ステップＳ１１の処理を再度実行する。制御部４１は、後退トリガがある場合、俯瞰映像表示を開始すると判定し（ステップＳ１１でＹｅｓ）、ステップＳ１２に進む。

【0046】

制御部４１は、俯瞰映像１００を生成し表示する（ステップＳ１２）。より詳しくは、制御部４１は、俯瞰映像生成部４４によって、映像データ取得部４２が取得した周辺映像から車両Ｖを上方から見下ろすように視点変換を行った俯瞰映像１００を生成させる。制御部４１は、ステップＳ１３に進む。

【0047】

制御部４１は、駐車区画Ｃを検出したか否かを判定する（ステップＳ１３）。より詳しくは、制御部４１は、駐車区画検出部４５によって、駐車区画Ｃが検出されたか否かを判定する。制御部４１は、駐車区画Ｃが検出されたと判定した場合（ステップＳ１３でＹｅｓ）、ステップＳ１４に進む。制御部４１は、駐車区画Ｃが検出されていないと判定した場合（ステップＳ１３でＮｏ）、ステップＳ１７に進む。

【0048】

制御部４１は、駐車区画Ｃが所定の条件を満たすか否かを判断する（ステップＳ１４）。より詳しくは、制御部４１は、判断部４６によって、駐車区画検出部４５が検出した、並んで位置する複数の駐車区画Ｃにおける車両Ｖの前後方向の停止位置が不連続であるか否かを判断する。本実施形態では、制御部４１は、判断部４６によって、駐車区画検出部４５が検出した駐車区画Ｃが角度付き駐車区画Ｃであるか否かを判断する。制御部４１は、所定の条件を満たすと判断した場合（ステップＳ１４でＹｅｓ）、ステップＳ１５に進む。制御部４１は、所定の条件を満たさないと判定した場合（ステップＳ１４でＮｏ）、ステップＳ１７に進む。

【0049】

制御部４１は、重畳映像１００Ａを生成する（ステップＳ１５）。より詳しくは、制御部４１は、重畳処理部４７によって、仮想区画標示１２０を俯瞰映像生成部４４が生成した俯瞰映像１００に重畳させた重畳映像１００Ａを生成させる。制御部４１は、ステップＳ１６に進む。

【0050】

制御部４１は、重畳映像１００Ａを表示する（ステップＳ１６）。より詳しくは、制御部４１は、表示制御部４８によって、重畳処理部４７が生成した重畳映像１００Ａを表示パネル３１に表示させる。制御部４１は、ステップＳ１８に進む。

【0051】

制御部４１は、ステップＳ１２で生成表示された俯瞰映像１００の表示を継続する（ステップＳ１７）。より詳しくは、制御部４１は、表示制御部４８によって、俯瞰映像生成部４４が生成し、ステップＳ１２で表示が開始された俯瞰映像１００に対して、重畳映像を生成することなく表示パネル３１への表示を継続させる。制御部４１は、ステップＳ１８に進む。

【0052】

制御部４１は、俯瞰映像表示を終了するか否かを判定する（ステップＳ１８）。より詳しくは、制御部４１は、後退終了トリガの有無に基づいて、俯瞰映像１００の表示と重畳映像１００Ａの表示とを含む俯瞰映像表示を終了するか否かを判定する。後退終了トリガとは、例えば、シフトポジションが「リバース」から他のポジションとなったことをいう。また、後退終了トリガの他の例としては、シフトポジションが「パーキング」となったことや、例えば５秒以上の時間速度がゼロとなったこと、エンジン停止などである。ステップＳ１８においては、表示されている映像は俯瞰映像１００または重畳映像１００Ａである。制御部４１は、後退終了トリガがある場合、俯瞰映像１００または重畳映像１００Ａの表示を終了すると判定し（ステップＳ１８でＹｅｓ）、処理を終了する。制御部４１は、後退終了トリガがない場合、俯瞰映像１００または重畳映像１００Ａの表示を終了しないと判定し（ステップＳ１８でＮｏ）、ステップＳ１３の処理を再度実行する。

【0053】

このようにして、俯瞰映像表示システム１は、俯瞰映像１００の表示範囲Ａに角度付き駐車区画Ｃが検出されると、仮想区画標示１２０を重畳した重畳映像１００Ａを表示パネル３１に表示させる映像信号を出力する。表示パネル３１は、俯瞰映像表示システム１から出力された映像信号に基づいて、例えば、ナビゲーション画面とともに重畳映像１００Ａを表示する。

【0054】

例えば、車両Ｖを角度付き駐車区画Ｃに駐車する場合の一例を、図５ないし図１１、図２、図３を参照して説明する。図５は、駐車区画に車両を駐車している状態を示す図である。図６は、第一実施形態に係る俯瞰映像生成装置が生成した俯瞰映像の一例を示す図である。図７は、第一実施形態に係る俯瞰映像生成装置が生成した重畳映像の他の例を示す図である。図８は、駐車区画に車両を駐車している状態を示す図である。図９は、第一実施形態に係る俯瞰映像生成装置が生成した重畳映像の他の例を示す図である。図１０は、駐車区画に車両を駐車している状態を示す図である。図１１は、第一実施形態に係る俯瞰映像生成装置が生成した重畳映像の他の例を示す図である。

【0055】

図５は、車両Ｖが駐車区画ＣＴに後退で駐車しようとしている状態を示し、車両Ｖは、中央部より後部が駐車区画ＣＴ内に位置している。このときのシフトポジションは「リバース」である。図５の状態は、ステップＳ１１において、後退トリガにより俯瞰映像表示が開始されている状態であるとともに、ステップＳ１３において、駐車区画Ｃは検出されているが、ステップＳ１４において、検出されている駐車区画Ｃが所定の条件を満たす判断がされていない状態である。このような状態においては、制御部４１は、俯瞰映像生成部４４によって、図６に示すような俯瞰映像１００を生成し表示パネル３１に表示する。

【0056】

図６を参照して、俯瞰映像１００について説明する。俯瞰映像１００は、縦長の矩形状である。俯瞰映像１００は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とが撮影した映像に基づいて、上方から見下ろすように視点変換処理と車両を示す自車両アイコン１１０を含む合成処理とを行った映像である。俯瞰映像１００は、中央部に自車両アイコン１１０が配置されている。自車両アイコン１１０は、車両Ｖの位置と向きとを示す。俯瞰映像１００には、被撮影物として側方枠線Ｂ１が表示されている。

【0057】

図６においては、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とが撮影した映像の境界を図示していないが、実際に表示パネル３１に表示される俯瞰映像１００には境界を破線などで表示してもよい。他の図も同様である。

【0058】

図５の状態において、またはさらに後退した状態において、ステップＳ１３において検出された駐車区画Ｃとして、第二撮影範囲Ａ２に後方枠線Ｂ２を検出し、第二撮影範囲Ａ２と第四撮影範囲Ａ４とに一方の側方枠線Ｂ１を検出し、第二撮影範囲Ａ２と第三撮影範囲Ａ３とに他方の側方枠線Ｂ１が検出されている。

【0059】

そして、ステップＳ１４において、制御部４１は、判断部４６によって、駐車区画Ｃは所定の条件を満たすと判断する。そして、ステップＳ１５において、制御部４１は、重畳処理部４７によって、図７に示すような、仮想区画標示１２０を俯瞰映像１００に重畳させた重畳映像１００Ａを生成する。そして、ステップＳ１６において、制御部４１は、表示制御部４８によって、生成した重畳映像１００Ａを表示パネル３１に表示する。

【0060】

図７を参照して、重畳映像１００Ａについて説明する。重畳映像１００Ａは、俯瞰映像１００と同じ縦長の矩形状である。重畳映像１００Ａは、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とが撮影した映像と、自車両アイコン１１０と、重畳された仮想区画標示１２０とを含む。仮想区画標示１２０は、各駐車区画Ｃを基準とした矩形状である。仮想区画標示１２０は、駐車区画ＣＴに重畳して表示された仮想区画標示１２０Ｔと、駐車区画ＣＲに重畳して表示された仮想区画標示１２０Ｒとを含む。仮想区画標示１２０Ｔは、一対の仮想側方枠線１２１Ｔと仮想前方枠線１２３Ｔとを含む。仮想区画標示１２０Ｒは、仮想側方枠線１２１Ｔと仮想後方枠線１２２Ｒとを含む。自車両アイコン１１０は、後端部が仮想区画標示１２０Ｔ内に位置している。

【0061】

図５に示す状態から、車両Ｖが後退して、車両Ｖと駐車区画Ｃとが近づいた状態を、図８に示す。車両Ｖは、図示しないサイドミラーより後部が駐車区画ＣＴ内に位置している。

【0062】

ステップＳ１３おいて、制御部４１は、俯瞰映像１００の表示範囲Ａに駐車区画Ｃを検出したと判定する。より詳しくは、制御部４１は、駐車区画検出部４５によって、第二撮影範囲Ａ２と第四撮影範囲Ａ４とに後方枠線Ｂ２を検出したと判定する。制御部４１は、駐車区画検出部４５によって、第二撮影範囲Ａ２と第四撮影範囲Ａ４とに一方の側方枠線Ｂ１を検出し、第二撮影範囲Ａ２と第三撮影範囲Ａ３とに他方の側方枠線Ｂ１を検出したと判定する。

【0063】

そして、ステップＳ１４において、制御部４１は、判断部４６によって、駐車区画Ｃは所定の条件を満たすと判断する。そして、ステップＳ１５において、制御部４１は、重畳処理部４７によって、図９に示すような、仮想区画標示１２０を俯瞰映像１００に重畳させた重畳映像１００Ａを生成する。そして、ステップＳ１６において、制御部４１は、表示制御部４８によって、生成した重畳映像１００Ａを表示パネル３１に表示する。

【0064】

図９を参照して、重畳映像１００Ａについて説明する。重畳映像１００Ａには、仮想区画標示１２０Ｔと仮想区画標示１２０Ｒとに加えて、駐車区画Ｃに重畳して表示された仮想区画標示１２０Ｌが表示されている。自車両アイコン１１０は、中央部より後側が仮想区画標示１２０Ｔ内に位置している。

【0065】

図８に示す状態から、車両Ｖが後退して、車両Ｖの前端部が駐車区画Ｃ内に位置する状態を、図１０に示す。制御部４１は、ステップＳ１３〜ステップＳ１６の処理を実行して、図１１に示すような、仮想区画標示１２０を俯瞰映像１００に重畳させた重畳映像１００Ａを生成して表示パネル３１に表示する。

【0066】

図１１を参照して、重畳映像１００Ａについて説明する。重畳映像１００Ａには、仮想区画標示１２０Ｔと仮想区画標示１２０Ｒと仮想区画標示１２０Ｌとが表示されている。自車両アイコン１１０は、前端部の一部が仮想区画標示１２０Ｔ外に位置している。

【0067】

図１０に示す状態から、車両Ｖが後退して、車両Ｖが駐車区画Ｃ内の停止位置に位置する状態を、図２に示す。制御部４１は、ステップＳ１３〜ステップＳ１６の処理を実行して、図１１に示すような、仮想区画標示１２０を俯瞰映像１００に重畳させた重畳映像１００Ａを生成して表示パネル３１に表示する。

【0068】

図３を参照して、重畳映像１００Ａについて説明する。重畳映像１００Ａには、仮想区画標示１２０Ｔと仮想区画標示１２０Ｒと仮想区画標示１２０Ｌとが表示されている。自車両アイコン１１０は、全体が仮想区画標示１２０Ｔ内に位置している。自車両アイコン１１０の前後方向は、仮想側方枠線１２１Ｔと平行な方向に沿っている。

【0069】

上述したように、俯瞰映像１００の表示範囲Ａに角度付き駐車区画Ｃが検出されると、矩形状の仮想区画標示１２０を重畳した重畳映像１００Ａを表示パネル３１に表示させる。このように、本実施形態は、角度付き駐車区画Ｃに対して矩形状の仮想区画標示１２０を表示した重畳映像１００Ａを生成することができる。これにより、本実施形態は、角度付き駐車区画Ｃにおいて、隣接する駐車区画Ｃとの停止位置のずれを認識しやすくすることができる。

【0070】

図２に示す角度付き駐車区画Ｃは、前後方向の停止位置が示されていない。車両Ｖを駐車区画ＣＴに駐車する際に、隣接する駐車区画ＣＲ内に駐車されている車両Ｖ１を基準にしようとしても、駐車区画ＣＴと駐車区画ＣＲとは前後方向の停止位置がずれている。このように、角度付き駐車区画Ｃにおいては、車両Ｖを駐車区画ＣＴの正しい停止位置に合わせることが難しいことがある。

【0071】

これに対して、本実施形態によれば、駐車区画ＣＴに仮想区画標示１２０を重畳した重畳映像１００Ａを生成し表示する。これにより、本実施形態は、仮想区画標示１２０によって車両Ｖの正しい停止位置を把握することができる。本実施形態によれば、重畳映像１００Ａの仮想区画標示１２０を基準とすることで、角度付き駐車区画Ｃであっても、車両Ｖを正しい停止位置に合わせることができる。本実施形態は、車両Ｖと周辺との相対的な位置関係を適切に確認可能にすることができる。

【0072】

［第二実施形態］
図１２ないし図１５を参照しながら、本実施形態に係る俯瞰映像表示システム１について説明する。図１２は、第二実施形態に係る俯瞰映像生成装置が生成した重畳映像の一例を示す図である。図１３は、第二実施形態に係る俯瞰映像生成装置における処理の流れを示すフローチャートである。図１４は、第二実施形態に係る俯瞰映像生成装置が生成した重畳映像の他の例を示す図である。図１５は、第二実施形態に係る俯瞰映像生成装置が生成した重畳映像の他の例を示す図である。俯瞰映像表示システム１は、基本的な構成は第一実施形態の俯瞰映像表示システム１と同様である。以下の説明においては、俯瞰映像表示システム１と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。

【0073】

駐車区画検出部４５は、検出した駐車区画Ｃのうち、車両Ｖが駐車対象とする駐車区画ＣＴを特定する。より詳しくは、駐車区画検出部４５は、検出した駐車区画Ｃのうち、車両Ｖの少なくとも一部が内側に位置するものを駐車区画ＣＴとして特定してもよい。または、駐車区画検出部４５は、検出した駐車区画Ｃのうち、車両Ｖからの距離が小さいものを駐車区画ＣＴとして特定してもよい。または、駐車区画検出部４５は、検出した駐車区画Ｃのうち、俯瞰映像１００の表示範囲Ａに含まれる面積が大きいものを駐車区画ＣＴとして特定してもよい。または、駐車区画検出部４５は、検出した駐車区画Ｃのうち、車両Ｖの進行方向に存在するものを駐車区画ＣＴとして特定してもよい。この場合、駐車区画検出部４５は、車両Ｖの進行方向における周辺映像から駐車区画ＣＴを検出すればよい。または、駐車区画検出部４５は、例えば、表示パネル３１に表示された駐車区画Ｃのうち、ユーザが選択操作したものを駐車区画ＣＴとして特定してもよい。

【0074】

車両Ｖの進行方向における周辺映像とは、車両Ｖの進行方向を向いた、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４との少なくとも一つが出力した映像データである。例えば、車両Ｖの進行方向が後方のとき、後方カメラ１２が撮影した映像データと、左側方カメラ１３と右側方カメラ１４とが撮影した映像データの中で車両Ｖの側後方の範囲の映像データである。

【0075】

重畳処理部４７は、判断部４６が、並んで位置する複数の駐車区画Ｃにおける車両Ｖの前後方向の停止位置が不連続であると判断したとき、駐車区画ＣＴを基準として格子状に配置した矩形の仮想区画標示１２０を、駐車区画ＣＴに隣接した駐車区画ＣＲ及び駐車区画ＣＬに対して重畳させた重畳映像１００Ａを生成する。

【0076】

図１２を参照して、仮想区画標示１２０について説明する。仮想区画標示１２０は、側方枠線Ｂ１に重畳した仮想側方枠線１２１と、駐車区画ＣＴの仮想側方枠線１２１の後端部から隣接する仮想側方枠線１２１に向かって垂直に延びる仮想後方枠線１２２と、駐車区画ＣＴの仮想側方枠線１２１の前端部から隣接する仮想側方枠線１２１に向かって垂直に延びる仮想前方枠線１２３とによって格子状に形成されている。仮想側方枠線１２１は、一方の端部が仮想後方枠線１２２に接続し、他方の端部が仮想前方枠線１２３に接続している。

【0077】

次に、図１３を参照して、俯瞰映像生成装置４０における処理の流れについて説明する。ステップＳ２１〜ステップＳ２４、ステップＳ２６〜ステップＳ２９は、ステップＳ１１〜ステップＳ１４、ステップＳ１５〜ステップＳ１８と同様の処理を行う。

【0078】

制御部４１は、駐車対象区画を特定する（ステップＳ２５）。より詳しくは、制御部４１は、駐車区画検出部４５によって、車両Ｖの駐車対象の駐車対象区画ＣＴを特定する。本実施形態では、制御部４１は、駐車区画検出部４５によって、検出した駐車区画Ｃのうち、車両Ｖからの距離が小さいものを駐車区画ＣＴとして特定する。制御部４１は、ステップＳ２６に進む。

【0079】

例えば、車両Ｖを角度付き駐車区画Ｃに駐車する場合の一例を、図１４、図１５、図１２を参照して説明する。

【0080】

図５に示す状態のとき、例えば、制御部４１は、図１４に示すような重畳映像１００Ａを表示パネル３１に表示させる。重畳映像１００Ａには、格子状の仮想区画標示１２０が駐車区画ＣＴと、駐車区画ＣＲ及び駐車区画ＣＬとに重畳して表示されている。自車両アイコン１１０は、中央部より後部が駐車区画ＣＴ内に位置している。仮想区画標示１２０の前方枠線１２３は、他車両Ｖ１の後部を通過している。言い換えると、他車両Ｖ１は駐車区画ＣＲに重畳した仮想区画標示１２０からはみ出している。

【0081】

図１０に示す状態のとき、例えば、制御部４１は、図１５に示すような重畳映像１００Ａを表示パネル３１に表示させる。自車両アイコン１１０は、前端部の一部が仮想区画標示１２０Ｔ外に位置している。

【0082】

図２に示す状態のとき、例えば、制御部４１は、図１２に示すような重畳映像１００Ａを表示パネル３１に表示させる。自車両アイコン１１０は、全体が仮想区画標示１２０内に位置している。自車両アイコン１１０の前後方向は、仮想側方枠線１２１と平行な方向に沿っている。

【0083】

上述したように、俯瞰映像１００の表示範囲Ａに角度付き駐車区画Ｃが検出されると、格子状の仮想区画標示１２０を重畳した重畳映像１００Ａを表示パネル３１に表示させる。このように、本実施形態は、角度付き駐車区画Ｃに対して格子状の仮想区画標示１２０を表示した重畳映像１００Ａを生成することができる。

【0084】

本実施形態によれば、仮想区画標示１２０が駐車区画ＣＴと基準とした格子状であるので、駐車区画ＣＴをより確認しやすい表示にすることができる。

【0085】

［第三実施形態］
図１６ないし図２３を参照しながら、本実施形態に係る俯瞰映像表示システム１について説明する。図１６は、駐車区画に車両を駐車している状態を示す図である。図１７は、第三実施形態に係る俯瞰映像生成装置が生成した重畳映像の一例を示す図である。図１８は、駐車区画に車両を駐車している状態を示す図である。図１９は、第三実施形態に係る俯瞰映像生成装置が生成した俯瞰映像の一例を示す図である。図２０は、駐車区画に車両を駐車している状態を示す図である。図２１は、第三実施形態に係る俯瞰映像生成装置が生成した重畳映像の他の例を示す図である。図２２は、駐車区画に車両を駐車している状態を示す図である。図２３は、第三実施形態に係る俯瞰映像生成装置が生成した重畳映像の他の例を示す図である。俯瞰映像表示システム１は、判断部４６と重畳処理部４７とにおける処理が第二実施形態と異なる。

【0086】

判断部４６は、駐車区画ＣＴと、駐車区画ＣＴに隣接した駐車区画ＣＲ及び駐車区画ＣＬの少なくとも一方の向きが異なることを判断する。言い換えると、所定の条件とは、駐車区画ＣＴが隣接する駐車区画Ｃと向きが異なることである。判断部４６は、駐車区画ＣＴの側方枠線Ｂ１と、隣接した駐車区画ＣＲ及び駐車区画ＣＬの少なくとも一方の側方枠線Ｂ３が平行ではない場合、駐車区画Ｃの向きが異なると判断する。

【0087】

図１６を参照して、駐車枠線と駐車区画Ｃとについて説明する。本実施形態では、駐車枠線は、車両Ｖの駐車時に車両側面に向かい合う側方枠線Ｂ１と、車両Ｖ及び車両Ｖ１の駐車時に車両後端部に向かい合う後方枠線Ｂ２と、車両Ｖ１の駐車時に車両側面に向かい合う側方枠線Ｂ３とを含む。側方枠線Ｂ１は、後方枠線Ｂ２に対して傾斜している。側方枠線Ｂ３は、後方枠線Ｂ２に直交している。側方枠線Ｂ１と後方枠線Ｂ２とによって、駐車区画ＣＴが形成されている。側方枠線Ｂ３と後方枠線Ｂ２とによって、駐車区画ＣＲが形成されている。駐車区画ＣＴと駐車区画ＣＲとは、向きが異なる。

【0088】

重畳処理部４７は、判断部４６が、駐車区画ＣＴと、駐車区画ＣＴに隣接した駐車区画ＣＲ及び駐車区画ＣＬの少なくとも一方の向きが異なると判断したとき、駐車区画ＣＴを基準として格子状に配置した矩形の仮想区画標示１２０を、駐車区画ＣＴに隣接した駐車区画ＣＲ及び駐車区画ＣＬに対して重畳させた重畳映像１００Ａを生成する。

【0089】

図１７を参照して、仮想区画標示１２０について説明する。仮想区画標示１２０は、側方枠線Ｂ１に重畳した仮想側方枠線１２１と、駐車区画ＣＴの仮想側方枠線１２１の後端部から隣接する仮想側方枠線１２１に向かって垂直に延びる仮想後方枠線１２２と、駐車区画ＣＴの仮想側方枠線１２１の前端部から隣接する仮想側方枠線１２１に向かって垂直に延びる仮想前方枠線１２３とによって格子状に形成されている。仮想側方枠線１２１は、仮想後方枠線１２２及び仮想前方枠線１２３と交差している。

【0090】

例えば、車両Ｖを隣接する駐車区画ＣＲと向きの異なる駐車区画ＣＴに駐車する場合の一例を、図１８ないし図２３、図１６、図１７を参照して説明する。

【0091】

図１８は、車両Ｖが駐車区画ＣＴに後退で駐車しようとしている状態を示し、、車両Ｖは、駐車区画ＣＴの近傍に位置している。このときのシフトポジションは「リバース」である。図５の状態は、ステップＳ２１において、後退トリガにより、俯瞰映像表示が開始されている状態であるとともに、ステップＳ１３において、駐車区画Ｃは検出されているが、ステップＳ１４において、検出されている駐車区画Ｃが所定の条件を満たす判断がされていない状態である。このような状態においては、制御部４１は、俯瞰映像生成部４４によって、図１９に示すような俯瞰映像１００を生成し表示パネル３１に表示する。

【0092】

図１９を参照して、俯瞰映像１００について説明する。自車両アイコン１１０は、駐車区画ＣＴの近傍に位置している。

【0093】

図１８に示す状態から、車両Ｖが後退した状態を、図２０に示す。車両Ｖは、図示しないサイドミラーより後部が駐車区画ＣＴ内に位置している。

【0094】

ステップＳ２３おいて検出された駐車区画Ｃに基づき、制御部４１は、判断部４６によって、駐車区画Ｃは所定の条件を満たすと判断する。より詳しくは、制御部４１は、判断部４６によって、駐車区画ＣＴと、駐車区画ＣＴに隣接した駐車区画ＣＲの向きが異なることを判断する。そして、ステップＳ２５において、制御部４１は、駐車区画検出部４５によって、駐車対象区画ＣＴを特定する。そして、ステップＳ２６において、制御部４１は、重畳処理部４７によって、図２１に示すような、仮想区画標示１２０を俯瞰映像１００に重畳させた重畳映像１００Ａを生成する。そして、ステップＳ２７において、制御部４１は、表示制御部４８によって、生成した重畳映像１００Ａを表示パネル３１に表示する。

【0095】

図２１を参照して、重畳映像１００Ａについて説明する。重畳映像１００Ａには、格子状の仮想区画標示１２０が駐車区画ＣＴと駐車区画ＣＲとに重畳して表示されている。自車両アイコン１１０は、中央部より後部が駐車区画ＣＴ内に位置している。

【0096】

図２０に示す状態から、車両Ｖが後退した状態を、図２２に示す。制御部４１は、ステップＳ２３〜ステップＳ２７の処理を実行して、図２３に示すような重畳映像１００Ａを表示パネル３１に表示させる。

【0097】

図２３を参照して、重畳映像１００Ａについて説明する。自車両アイコン１１０は、前端部の一部が駐車区画ＣＴ外に位置している。

【0098】

図２２に示す状態から、車両Ｖが後退した状態を、図１６に示す。制御部４１は、ステップＳ２３〜ステップＳ２７の処理を実行して、図１７に示すような重畳映像１００Ａを表示パネル３１に表示させる。

【0099】

図１７を参照して、重畳映像１００Ａについて説明する。自車両アイコン１１０は、全体が駐車区画ＣＴ内に位置している。

【0100】

上述したように、俯瞰映像１００の表示範囲Ａに向きの異なる駐車区画Ｃが検出されると、格子状の仮想区画標示１２０を重畳した重畳映像１００Ａを表示パネル３１に表示させる。このように、本実施形態は、向きの異なる駐車区画Ｃに対して格子状の仮想区画標示１２０を表示した重畳映像１００Ａを生成することができる。

【0101】

図１６に示す向きの異なる駐車区画ＣＴは、前後方向の停止位置が示されていない。また、駐車区画ＣＴは、隣接する駐車区画ＣＲと向きが異なる。車両Ｖを駐車区画ＣＴに駐車する際に、隣接する駐車区画ＣＲ内に駐車されている車両Ｖ１を基準にしようとしても、駐車区画ＣＴと駐車区画ＣＲとは前後方向の停止位置がずれている。また、駐車区画ＣＴと駐車区画ＣＲとは向きが異なっている。このように、向きが異なる駐車区画ＣＴにおいては、車両Ｖを駐車区画ＣＴの正しい停止位置に合わせることが難しいことがある。

【0102】

これに対して、本実施形態によれば、駐車区画ＣＴに仮想区画標示１２０を重畳した重畳映像１００Ａを生成し表示する。これにより、本実施形態によれば、重畳映像１００Ａの仮想区画標示１２０を基準とすることで、向きの異なる駐車区画Ｃであっても、車両Ｖを正しい停止位置に合わせることができる。本実施形態は、車両Ｖと周辺との相対的な位置関係を適切に確認可能にすることができる。

【0103】

しかも、本実施形態によれば、仮想側方枠線１２１が仮想後方枠線１２２及び仮想前方枠線１２３と交差しているので、駐車区画ＣＴの向きをより確認しやすい表示にすることができる。

【0104】

さて、これまで本発明に係る俯瞰映像表示システム１について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。

【0105】

図示した俯瞰映像表示システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

【0106】

俯瞰映像表示システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

【0107】

上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

【0108】

図２４を参照して、駐車区画Ｃの他の例を説明する。図２４は、駐車区画の他の例を示す図である。図２４において、普通乗用車用の駐車区画ＣＴと、軽自動車用の駐車区画ＣＲが隣接している。この場合、判断部４６は、駐車区画ＣＴと、駐車区画ＣＴに隣接した駐車区画ＣＲ及び駐車区画ＣＬの少なくとも一方が車両長方向の長さが異なる駐車区画Ｃであることを判断する。図２４に示す駐車区画では、駐車区画ＣＴと駐車区画ＣＲとが車両長方向の長さが異なっている。駐車区画Ｃの車両長方向の長さの違いは、例えば、側方枠線Ｂ１の長さと側方枠線Ｂ４の長さが異なること、後方枠線Ｂ２と後方枠線Ｂ５との位置がずれていることで判断してもよい。判断部４６は、駐車区画Ｃの側方枠線Ｂ１の長さが異なるとき、並んで位置する複数の駐車区画Ｃにおける車両Ｖの前後方向の停止位置が不連続であると判定する。

【0109】

図２５ないし図２７を参照して、仮想区画標示１２０の他の形態について説明する。図２５は、俯瞰映像生成装置が生成した重畳映像に表示される仮想区画標示の他の例を示す図である。図２６は、俯瞰映像生成装置が生成した重畳映像に表示される仮想区画標示の他の例を示す図である。図２７は、俯瞰映像生成装置が生成した重畳映像に表示される仮想区画標示の他の例を示す図である。仮想区画標示１２０は、駐車区画Ｃを着色してもよい。図２５に示すように、仮想区画標示１２０は、駐車区画ＣＴを着色してもよい。図２６に示すように、仮想区画標示１２０は、すべての駐車区画Ｃを着色してもよい。図２７に示すように、仮想区画標示１２０は、駐車区画ＣＴと隣接する駐車区画Ｃとを色を変えて着色してもよい。このようにすることで、より駐車区画Ｃを認識しやすくすることができる。

【0110】

仮想区画標示１２０は、破線で表示するものとして説明したが、これに限定されない。仮想区画標示１２０は、例えば、帯状の図形でもよい。仮想区画標示１２０は、駐車区画Ｃの全周を囲うものに限定されず、例えば、角部を示すものであってもよい。

【符号の説明】

【0111】

１ 俯瞰映像表示システム
１１ 前方カメラ（撮影部）
１２ 後方カメラ（撮影部）
１３ 左側方カメラ（撮影部）
１４ 右側方カメラ（撮影部）
３１ 表示パネル（表示部）
４０ 俯瞰映像生成装置
４１ 制御部
４２ 映像データ取得部
４３ 車両情報取得部
４４ 俯瞰映像生成部
４４１ 視点変換処理部
４４２ 切出処理部
４４３ 合成処理部
４５ 駐車区画検出部
４６ 判断部
４７ 重畳処理部
４８ 表示制御部
４９ 記憶部
１００ 俯瞰映像
１００Ａ 重畳映像
１１０ 自車両アイコン
１２０ 仮想区画標示
Ｃ 駐車区画

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】