特許 6825512 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6825512

(24)【登録日】2021年1月18日

(45)【発行日】2021年2月3日

(54)【発明の名称】俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20210121BHJP

   B60R 1/00 20060101ALI20210121BHJP

   B60R 21/00 20060101ALI20210121BHJP

【ＦＩ】

   H04N7/18 J

   B60R1/00 A

   B60R21/00 991

【請求項の数】11

【全頁数】16

(21)【出願番号】特願2017-147716(P2017-147716)

(22)【出願日】2017年7月31日

(65)【公開番号】特開2019-29829(P2019-29829A)

(43)【公開日】2019年2月21日

【審査請求日】2020年3月30日

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】荒瀬 貴之

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 特開２００３−３１２４１５（ＪＰ，Ａ）

【文献】 特開２０１７−０２８３８９（ＪＰ，Ａ）

【文献】 国際公開第２０１７／０６１２３０（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

Ｂ６０Ｒ ２１／００

(57)【特許請求の範囲】

【請求項1】

車両の周辺を撮影する撮影部が撮影した周辺映像データを取得する映像データ取得部と、
前記車両の周辺の状況を示す周辺情報を取得する周辺情報取得部と、
前記車両の車速を含む車両情報を取得する車両情報取得部と、
前記映像データ取得部が取得した周辺映像に視点変換処理を行い、視点変換処理を行った複数の周辺映像の合成処理を行い、前記車両の周辺を表示する表示範囲の俯瞰映像を生成する俯瞰映像生成部と、
前記俯瞰映像生成部が生成した俯瞰映像を表示部に表示させる表示制御部と、
を備え、
前記表示制御部は、前記周辺情報取得部が取得した周辺情報と前記車両情報取得部が取得した車両情報とに基づいて、前記車両の側方に車両が出入り可能な出入口部が存在し、かつ、前記車両によって他車両の前記出入口部へのスムースな出入りを難しくする可能性があると判定される場合、俯瞰映像を前記表示部に表示させる、
ことを特徴とする俯瞰映像生成装置。

【請求項2】

前記表示制御部は、前記周辺情報取得部が取得した周辺情報と前記車両情報取得部が取得した車両情報とに基づいて、前記車両の側方に前記出入口部が存在し、かつ、前記車両が前記出入口部の少なくとも一部を塞いで停止する可能性があると判定される場合、俯瞰映像を前記表示部に表示させる、ことを特徴とする請求項１に記載の俯瞰映像生成装置。

【請求項3】

前記周辺情報取得部は、前記車両の前方を走行する先行車両の車速、前記車両と前記先行車両との車間距離、及び、前記車両と前記先行車両との相対速度の少なくともいずれかを含む先行車両情報を取得する先行車両情報取得部、を有し、
前記表示制御部は、前記先行車両情報取得部が取得した先行車両情報に基づいて、前記先行車両の車速が閾値以下である場合、または、前記車両と前記先行車両との車間距離が閾値以下である場合、または、前記車両と前記先行車両との相対速度が閾値以下である場合、俯瞰映像を生成する、ことを特徴とする請求項１または請求項２に記載の俯瞰映像生成装置。

【請求項4】

前記表示制御部は、前記先行車両情報取得部が取得した先行車両情報と、前記出入口部の存在に基づいて、前記車両が前記出入口部の少なくとも一部を塞いで停止する可能性があると判定される場合、俯瞰映像を前記表示部に表示させる、ことを特徴とする請求項３に記載の俯瞰映像生成装置。

【請求項5】

前記俯瞰映像生成部は、前記出入口部側を表示する周辺映像の前記表示範囲を広くした前記俯瞰映像を生成する、ことを特徴とする請求項１から請求項４のいずれか一項に記載の俯瞰映像生成装置。

【請求項6】

前記俯瞰映像生成部は、前記出入口部側を相対的に広く表示するように前記表示範囲をずらした前記俯瞰映像を生成する、ことを特徴とする請求項１から請求項４のいずれか一項に記載の俯瞰映像生成装置。

【請求項7】

前記俯瞰映像生成部は、前記出入口部側を拡大して表示するように前記表示範囲を変更した前記俯瞰映像を生成する、ことを特徴とする請求項１から請求項４のいずれか一項に記載の俯瞰映像生成装置。

【請求項8】

前記俯瞰映像生成部は、前記出入口部を強調表示した前記俯瞰映像を生成する、ことを特徴とする請求項１から請求項７のいずれか一項に記載の俯瞰映像生成装置。

【請求項9】

請求項１から請求項８のいずれか一項に記載の俯瞰映像生成装置と、
前記車両の周辺を撮影し前記映像データ取得部に周辺映像データを供給する撮影部と
を備えることを特徴とする俯瞰映像生成システム。

【請求項10】

車両の周辺を撮影する撮影部が撮影した周辺映像データを取得する映像データ取得ステップと、
前記車両の周辺の状況を示す周辺情報を取得する周辺情報取得ステップと、
前記車両の車速を含む車両情報を取得する車両情報取得ステップと、
前記映像データ取得ステップで取得した周辺映像に視点変換処理を行い、視点変換処理を行った複数の周辺映像の合成処理を行い、前記車両の周辺を表示する表示範囲の俯瞰映像を生成する俯瞰映像生成ステップと、
前記俯瞰映像生成ステップで生成した俯瞰映像を表示部に表示させる表示制御ステップと、
を含み、
前記表示制御ステップは、前記周辺情報取得ステップで取得した周辺情報と前記車両情報取得ステップで取得した車両情報とに基づいて、前記車両の側方に車両が出入り可能な出入口部が存在し、かつ、前記車両によって他車両の前記出入口部へのスムースな出入りを難しくする可能性があると判定される場合、俯瞰映像を前記表示部に表示させる、
俯瞰映像生成方法。

【請求項11】

車両の周辺を撮影する撮影部が撮影した周辺映像データを取得する映像データ取得ステップと、
前記車両の周辺の状況を示す周辺情報を取得する周辺情報取得ステップと、
前記車両の車速を含む車両情報を取得する車両情報取得ステップと、
前記映像データ取得ステップで取得した周辺映像に視点変換処理を行い、視点変換処理を行った複数の周辺映像の合成処理を行い、前記車両の周辺を表示する表示範囲の俯瞰映像を生成する俯瞰映像生成ステップと、
前記俯瞰映像生成ステップで生成した俯瞰映像を表示部に表示させる表示制御ステップと、
を含み、
前記表示制御ステップは、前記周辺情報取得ステップで取得した周辺情報と前記車両情報取得ステップで取得した車両情報とに基づいて、前記車両の側方に車両が出入り可能な出入口部が存在し、かつ、前記車両によって他車両の前記出入口部へのスムースな出入りを難しくする可能性があると判定される場合、俯瞰映像を前記表示部に表示させる、
ことを俯瞰映像生成装置として動作するコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラムに関する。

【背景技術】

【0002】

車両の俯瞰画像を車両画像と共に表示する車両周辺表示装置に関する技術が知られている（例えば、特許文献１参照）。この技術は、車両が前進から後退に切り替わったとき、車両画像よりも後方について俯瞰画像の表示領域を広げる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５−０７６６４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

車両は、走行中に信号待ち、または、渋滞によって停止することがある。車両の側方に、例えば、駐車場の出入口部、または、路地の出入口部が存在する場合、車両が出入口部を塞ぐ位置で停止してしまうと、出入口部に出入りする他車両のスムースな通行を妨げることがある。そこで、車両が出入口部の近くで停止しそうなとき、運転者が適切な停止位置を判断可能にすることを支援するため、車両周辺を確認可能に表示することが望まれる。

【0005】

本発明は、上記に鑑みてなされたものであって、車両周辺を確認可能に表示することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明に係る俯瞰映像生成装置は、車両の周辺を撮影する撮影部が撮影した周辺映像データを取得する映像データ取得部と、前記車両の周辺の状況を示す周辺情報を取得する周辺情報取得部と、前記車両の車速を含む車両情報を取得する車両情報取得部と、前記映像データ取得部が取得した周辺映像に視点変換処理を行い、視点変換処理を行った複数の周辺映像の合成処理を行い、前記車両の周辺を表示する表示範囲の俯瞰映像を生成する俯瞰映像生成部と、前記俯瞰映像生成部が生成した俯瞰映像を表示部に表示させる表示制御部と、を備え、前記表示制御部は、前記周辺情報取得部が取得した周辺情報と前記車両情報取得部が取得した車両情報とに基づいて、前記車両の側方に車両が出入り可能な出入口部が存在し、かつ、前記車両によって他車両の前記出入口部へのスムースな出入りを難しくする可能性があると判定される場合、俯瞰映像を前記表示部に表示させることを特徴とする。

【0007】

本発明に係る俯瞰映像生成システムは、上記の俯瞰映像生成装置と、前記車両の周辺を撮影し前記映像データ取得部に周辺映像データを供給する撮影部と、を備えることを特徴とする。

【0008】

本発明に係る俯瞰映像生成方法は、車両の周辺を撮影する撮影部が撮影した周辺映像データを取得する映像データ取得ステップと、前記車両の周辺の状況を示す周辺情報を取得する周辺情報取得ステップと、前記車両の車速を含む車両情報を取得する車両情報取得ステップと、前記映像データ取得ステップで取得した周辺映像に視点変換処理を行い、視点変換処理を行った複数の周辺映像の合成処理を行い、前記車両の周辺を表示する表示範囲の俯瞰映像を生成する俯瞰映像生成ステップと、前記俯瞰映像生成ステップで生成した俯瞰映像を表示部に表示させる表示制御ステップと、を含み、前記表示制御ステップは、前記周辺情報取得ステップで取得した周辺情報と前記車両情報取得ステップで取得した車両情報とに基づいて、前記車両の側方に車両が出入り可能な出入口部が存在し、かつ、前記車両によって他車両の前記出入口部へのスムースな出入りを難しくする可能性があると判定される場合、俯瞰映像を前記表示部に表示させる。

【0009】

本発明に係るプログラムは、車両の周辺を撮影する撮影部が撮影した周辺映像データを取得する映像データ取得ステップと、前記車両の周辺の状況を示す周辺情報を取得する周辺情報取得ステップと、前記車両の車速を含む車両情報を取得する車両情報取得ステップと、前記映像データ取得ステップで取得した周辺映像に視点変換処理を行い、視点変換処理を行った複数の周辺映像の合成処理を行い、前記車両の周辺を表示する表示範囲の俯瞰映像を生成する俯瞰映像生成ステップと、前記俯瞰映像生成ステップで生成した俯瞰映像を表示部に表示させる表示制御ステップと、を含み、前記表示制御ステップは、前記周辺情報取得ステップで取得した周辺情報と前記車両情報取得ステップで取得した車両情報とに基づいて、前記車両の側方に車両が出入り可能な出入口部が存在し、かつ、前記車両によって他車両の前記出入口部へのスムースな出入りを難しくする可能性があると判定される場合、俯瞰映像を前記表示部に表示させることを俯瞰映像生成装置として動作するコンピュータに実行させる。

【発明の効果】

【0010】

本発明によれば、車両周辺を確認可能に表示することができるという効果を奏する。

【図面の簡単な説明】

【0011】

【図1】図１は、第一実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。

【図2】図２は、車両とその周辺とを示す図である。

【図3】図３は、車両とその周辺とを示す図である。

【図4】図４は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。

【図5】図５は、第一実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。

【図6】図６は、第二実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。

【図7】図７は、第三実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。

【図8】図８は、第四実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。

【図9】図９は、第五実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。

【発明を実施するための形態】

【0012】

以下に添付図面を参照して、本発明に係る俯瞰映像生成装置４０、俯瞰映像生成システム１、俯瞰映像生成方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

【0013】

［第一実施形態］
図１は、第一実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。図２は、車両とその周辺とを示す図である。図３は、車両とその周辺とを示す図である。俯瞰映像生成システム１は、車両Ｖ１の側方に他車両Ｖ３が出入り可能な出入口部Ｐが存在し、かつ、車両Ｖ１によって他車両Ｖ３の出入口部Ｐへのスムースな出入りを難しくする可能性があると判定される場合、俯瞰映像１００（図４参照）を生成する。

【0014】

出入口部Ｐは、他車両Ｖ３が車両Ｖ１の前後を横切って出入りする可能性がある場所である。本実施形態では、出入口部Ｐは、例えば、対向車線を走行する右折車両である他車両Ｖ３が車両Ｖ１の前方を横切って出入りする可能性がある場所である。出入口部Ｐとは、例えば、駐車場の出入口部または路地の出入口部である。このような場所においては、車両Ｖ１によって、言い換えると、車両Ｖ１が出入口部Ｐを塞ぐ位置で停止することによって、他車両Ｖ３の出入口部Ｐへのスムースな出入りを難しくする可能性がある。

【0015】

俯瞰映像生成装置４０および俯瞰映像生成システム１は、車両Ｖ１に搭載されている。俯瞰映像生成装置４０および俯瞰映像生成システム１は、車両Ｖ１に載置されているものに加えて、可搬型で車両Ｖ１において利用可能な装置であってもよい。

【0016】

図１を用いて、俯瞰映像生成システム１について説明する。俯瞰映像生成システム１は、前方カメラ（撮影部）１１と、後方カメラ（撮影部）１２と、左側方カメラ（撮影部）１３と、右側方カメラ（撮影部）１４と、表示パネル（表示部）３１と、俯瞰映像生成装置４０とを有する。

【0017】

前方カメラ１１は、俯瞰映像用カメラである。前方カメラ１１は、車両Ｖ１の前方に配置され、車両Ｖ１の前方を中心とした周辺を撮影する。図２に示すように、前方カメラ１１は、例えば、１８０°程度の第一撮影範囲Ａ１を撮影する。第一撮影範囲Ａ１は、俯瞰映像１００の表示範囲Ａより車両Ｖ１の前方に広い範囲を含む。前方カメラ１１は、撮影した映像を俯瞰映像生成装置４０の映像データ取得部４２へ出力する。

【0018】

後方カメラ１２は、俯瞰映像用カメラである。後方カメラ１２は、車両Ｖ１の後方に配置され、車両Ｖ１の後方を中心とした周辺を撮影する。後方カメラ１２は、例えば、１８０°程度の第二撮影範囲Ａ２を撮影する。第二撮影範囲Ａ２は、俯瞰映像１００の表示範囲Ａより車両Ｖ１の後方に広い範囲を含む。後方カメラ１２は、撮影した映像を俯瞰映像生成装置４０の映像データ取得部４２へ出力する。

【0019】

左側方カメラ１３は、俯瞰映像用カメラである。左側方カメラ１３は、車両Ｖ１の左側方に配置され、車両Ｖ１の左側方を中心とした周辺を撮影する。左側方カメラ１３は、例えば、１８０°程度の第三撮影範囲Ａ３を撮影する。第三撮影範囲Ａ３は、俯瞰映像１００の表示範囲Ａより車両Ｖ１の左側方に広い範囲を含む。左側方カメラ１３は、撮影した映像を俯瞰映像生成装置４０の映像データ取得部４２へ出力する。

【0020】

右側方カメラ１４は、俯瞰映像用カメラである。右側方カメラ１４は、車両Ｖ１の右側方に配置され、車両Ｖ１の右側方を中心とした周辺を撮影する。右側方カメラ１４は、例えば、１８０°程度の第四撮影範囲Ａ４を撮影する。第四撮影範囲Ａ４は、俯瞰映像１００の表示範囲Ａより車両Ｖ１の右側方に広い範囲を含む。右側方カメラ１４は、撮影した映像を俯瞰映像生成装置４０の映像データ取得部４２へ出力する。

【0021】

前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とで、車両Ｖ１の全方位を撮影する。

【0022】

図１に戻って、表示パネル３１は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイを含むディスプレイである。表示パネル３１は、俯瞰映像生成システム１の俯瞰映像生成装置４０から出力された映像信号に基づいて、俯瞰映像１００を表示する。表示パネル３１は、俯瞰映像生成システム１に専用のものであっても、例えば、ナビゲーションシステムを含む他のシステムと共同で使用するものであってもよい。表示パネル３１は、運転者から視認容易な位置に配置されている。

【0023】

俯瞰映像生成装置４０は、制御部４１と、記憶部５０とを有する。

【0024】

制御部４１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置である。制御部４１は、記憶部５０に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部４１は、映像データ取得部４２と、周辺情報取得部４３と、車両情報取得部４４と、俯瞰映像生成部４５と、表示制御部４９とを有する。制御部４１には図示しない内部メモリが含まれ、内部メモリは制御部４１におけるデータの一時記憶などに用いられる。

【0025】

映像データ取得部４２は、車両Ｖ１の周辺を撮影した周辺映像データを取得する。より詳しくは、映像データ取得部４２は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とが出力した映像データを取得する。映像データ取得部４２は、取得した映像データを周辺情報取得部４３と俯瞰映像生成部４５とに出力する。各々のカメラから取得する映像データは、例えば毎秒３０フレームの画像から構成される動画像である。

【0026】

周辺情報取得部４３は、車両Ｖ１の周辺の状況を示す周辺情報を取得する。本実施形態では、周辺情報取得部４３は、映像データ取得部４２で取得した周辺映像に画像処理を実行して、車両Ｖ１の側前方に存在する出入口部Ｐを検出して、その検出結果を周辺情報とする。例えば、周辺情報取得部４３は、前方カメラ１１と左側方カメラ１３との少なくともどちらかで撮影された周辺映像において、車両Ｖ１の左前方にガードレールまたは縁石の切れ目が存在する場所を出入口部Ｐとして検出する。例えば、周辺情報取得部４３は、前方カメラ１１と左側方カメラ１３との少なくともどちらかで撮影された周辺映像において、車両Ｖ１の左前方に駐車場の入口を示す標示が存在する場所を出入口部Ｐとして検出する。周辺情報取得部４３は、出入口部Ｐの検出結果を周辺情報として俯瞰映像生成部４５に出力する。

【0027】

周辺情報取得部４３は、エッジ検出処理により、周辺映像から所定長さ以上の直線性を備えた被撮影物をガードレールまたは縁石として検出し、その切れ目を検出してもよい。周辺情報取得部４３は、ガードレールまたは縁石の切れ目を記憶した認識辞書により、周辺映像からガードレールまたは縁石の切れ目を検出してもよい。

【0028】

または、周辺情報取得部４３は、図示しないナビゲーションシステムの地図情報と車両Ｖ１の現在位置情報とから出入口部Ｐを検出してもよい。

【0029】

さらに、周辺情報取得部４３は、車両Ｖ１の前方を走行する先行車両Ｖ２の車速、車両Ｖ１と先行車両Ｖ２との車間距離Ｌ１、及び、車両Ｖ１と先行車両Ｖ２との相対速度の少なくともいずれかを含む先行車両情報を取得する先行車両情報取得部４３１を有してもよい。先行車両情報取得部４３１は、先行車両Ｖ２の状態を前方カメラ１１やセンシングする各種センサ、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）から得た車両Ｖ１の状況を示す車両情報などから取得する。

【0030】

車両情報取得部４４は、車両Ｖ１の状況を示す車両情報を、ＣＡＮや車両Ｖ１の状態をセンシングする各種センサなどから取得する。車両情報取得部４４は、例えば、車速情報を取得する。車両情報取得部４４は、取得した車両情報を俯瞰映像生成部４５に出力する。

【0031】

俯瞰映像生成部４５は、周辺情報取得部４３が取得した周辺の状況を示す周辺情報と車両情報取得部４４が取得した車両情報とに基づいて、車両Ｖ１の側方に他車両Ｖ３が出入り可能な出入口部Ｐが存在し、かつ、車両Ｖ１の停止や減速が予測され、他車両Ｖ３の出入口部Ｐへのスムースな出入りを難しくする可能性があると判定される場合、俯瞰映像１００を生成する。本実施形態では、俯瞰映像生成部４５は、車両Ｖ１の側前方に出入口部Ｐが存在し、かつ、車両Ｖ１が出入口部Ｐの少なくとも一部を塞いで停止する可能性があると判定される場合、俯瞰映像１００を生成する。より詳しくは、俯瞰映像生成部４５は、車両Ｖ１の側前方に出入口部Ｐが存在し、かつ、車両Ｖ１が停止する可能性があると判定され、車両Ｖ１の車速に基づく予測停止位置が出入口部Ｐの少なくとも一部を塞ぐと判定される場合、俯瞰映像１００を生成する。

【0032】

図３を用いて、車両Ｖ１の予測停止位置について説明する。出入口部Ｐの少なくとも一部を塞ぐとは、車速に基づいて算出された予測停止位置で停止した車両Ｖ１が出入口部Ｐの側方に位置し、車両Ｖ１の前端部と先行車両Ｖ２の後端部との車間距離Ｌ１が、出入口部Ｐの幅Ｌ２より小さいことをいう。車間距離Ｌ１は、他車両Ｖ３が通行することができない程度の大きさである。

【0033】

車両Ｖ１の停止や減速が予測されるか否か、言い換えると、車両Ｖ１が停止する可能性があるか否かは、例えば、以下のように判定する。車両情報取得部４４が取得した車両情報と、先行車両情報取得部４３１が取得した先行車両情報と、周辺情報取得部４３が取得した周辺の状況を示す周辺情報との少なくともいずれかに基づいて、車両Ｖ１が停止する可能性があるか否かを判定する。例えば、車両Ｖ１の車速や加速度が閾値以下である場合、または、前方の信号が赤信号であるなどの情報を取得した場合、車両Ｖ１が停止する可能性があると判定する。または、例えば、先行車両Ｖ２が存在するときは、先行車両Ｖ２の車速が閾値以下である場合、または、車両Ｖ１と先行車両Ｖ２との車間距離Ｌ１が閾値以下である場合、または、車両Ｖ１と先行車両Ｖ２との相対速度が閾値以下である場合、車両Ｖ１が停止する可能性があると判定する。本実施形態では、車両Ｖ１または先行車両Ｖ２の車速の閾値は、２０ｋｍ／ｈとする。本実施形態では、車間距離Ｌ１の閾値は、１０ｍとする。これらの数値はたとえば車両Ｖ１が走行している道路の幅や規制速度に応じて設定されてもよく、ユーザが任意に設定してもよい。

【0034】

俯瞰映像生成部４５は、生成した俯瞰映像１００を表示制御部４９に出力する。俯瞰映像生成部４５は、視点変換処理部４５１と、切出処理部４５２と、合成処理部４５３とを有する。

【0035】

視点変換処理部４５１は、映像データ取得部４２で取得した周辺映像データに対して、車両Ｖ１を上方から見下ろすように視点変換処理を行う。より詳しくは、視点変換処理部４５１は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とで撮影した周辺映像データに基づいて、視点変換処理を行った映像を生成する。視点変換処理の方法は、公知のいずれの方法でもよく、限定されない。視点変換処理部４５１は、視点変換処理を行った周辺映像データを切出処理部４５２に出力する。

【0036】

切出処理部４５２は、視点変換処理を行った周辺映像データから所定の範囲の映像を切出す切出処理を行う。どの範囲を切出範囲とするかは、あらかじめ登録され記憶されている。切出処理部４５２は、切出処理を行った映像の映像データを合成処理部４５３に出力する。

【0037】

合成処理部４５３は、切出処理を行った映像データを合成する合成処理を行う。合成処理部４５３は、合成した映像に車両アイコン１１０を表示した俯瞰映像１００を生成する。

【0038】

図４を用いて、俯瞰映像１００について説明する。図４は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。俯瞰映像１００は、車両Ｖ１から所定の表示範囲Ａを表示する。俯瞰映像１００は、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４と、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４とで囲まれた中央部に位置する車両アイコン１１０とを含む。車両アイコン１１０は、車両Ｖ１の位置と向きとを示す。車両アイコン１１０は、前後方向を俯瞰映像１００の前後方向と平行にして、中央部に配置されている。俯瞰映像１００は、車両Ｖ１と出入口部Ｐとの相対的な位置関係を認識可能である。

【0039】

図４においては、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４との境界を示す斜めの破線を説明のために図示しているが、実際に表示パネル３１に表示される俯瞰映像１００には当該破線は表示されなくてもよい。他の図も同様である。

【0040】

表示制御部４９は、周辺情報取得部４３が取得した周辺の状況を示す周辺情報と車両情報取得部４４が取得した車両情報とに基づいて、車両Ｖ１の側方に他車両Ｖ３が出入り可能な出入口部Ｐが存在し、かつ、車両Ｖ１の停止や減速が予測され、他車両Ｖ３の出入口部Ｐへのスムースな出入りを難しくする可能性があると判定される場合、俯瞰映像生成部４５によって生成された俯瞰映像１００を表示パネル３１に表示する。

【0041】

記憶部５０は、俯瞰映像生成装置４０における各種処理に要するデータおよび各種処理結果を記憶する。記憶部５０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。

【0042】

次に、図５を用いて、俯瞰映像生成装置４０における処理の流れについて説明する。図５は、第一実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。

【0043】

制御部４１は、側方に出入口部Ｐがあるか否かを判定する（ステップＳ１１）。より詳しくは、制御部４１は、周辺情報取得部４３から取得した周辺情報に基づいて出入口部Ｐが検出されたと判定された場合（ステップＳ１１でＹｅｓ）、ステップＳ１２に進む。制御部４１は、周辺情報取得部４３から取得した周辺情報に基づいて出入口部Ｐが検出されていないと判定された場合（ステップＳ１１でＮｏ）、ステップＳ１１の処理を再度実行する。

【0044】

制御部４１は、車両Ｖ１が出入口部Ｐ付近で停止する可能性があるか否かを判定する（ステップＳ１２）。より詳しくは、制御部４１は、車両Ｖ１が停止する可能性があると判定され、車両Ｖ１の予測停止位置が出入口部Ｐの少なくとも一部を塞いで停止する可能性があると判定された場合（ステップＳ１２でＹｅｓ）、ステップＳ１３に進む。制御部４１は、車両Ｖ１が停止する可能性があると判定されない場合、または、車両Ｖ１の予測停止位置が出入口部Ｐの少なくとも一部を塞いで停止する可能性がないと判定される場合（ステップＳ１２でＮｏ）、ステップＳ１１の処理を再度実行する。

【0045】

制御部４１は、俯瞰映像１００を生成する（ステップＳ１３）。より詳しくは、制御部４１は、俯瞰映像生成部４５で、映像データ取得部４２が取得した周辺映像から車両Ｖ１を上方から見下ろすように視点変換を行った俯瞰映像１００を生成する。制御部４１は、ステップＳ１４に進む。

【0046】

制御部４１は、俯瞰映像１００を表示する（ステップＳ１４）。より詳しくは、制御部４１は、表示制御部４９で、俯瞰映像１００を表示パネル３１に表示する。制御部４１は、ステップＳ１５に進む。

【0047】

制御部４１は、俯瞰映像表示を終了するか否かを判定する（ステップＳ１５）。より詳しくは、制御部４１は、終了トリガの有無に基づいて、俯瞰映像１００の表示を終了するか否かを判定する。終了トリガとは、例えば、車両Ｖ１が停止する可能性がなくなった場合、または、車両Ｖ１が出入口部Ｐの側方を通過した場合である。制御部４１は、終了トリガがある場合、俯瞰映像１００の表示を終了すると判定し（ステップＳ１５でＹｅｓ）、処理を終了する。制御部４１は、終了トリガがない場合、俯瞰映像１００の表示を終了しないと判定し（ステップＳ１５でＮｏ）、ステップＳ１３の処理を再度実行する。

【0048】

このようにして、俯瞰映像生成システム１は、車両Ｖ１の側方に出入口部Ｐが存在し、かつ、車両Ｖ１が出入口部Ｐの少なくとも一部を塞いで停止する可能性があると判定される場合、俯瞰映像１００を表示パネル３１に表示する映像信号を出力する。表示パネル３１は、俯瞰映像生成システム１から出力された映像信号に基づいて、例えば、ナビゲーション画面とともに俯瞰映像１００を表示する。

【0049】

上述したように、本実施形態は、車両Ｖ１の側方に出入口部Ｐが存在し、かつ、車両Ｖ１が出入口部Ｐの少なくとも一部を塞いで停止する可能性があると判定される場合、俯瞰映像１００を表示パネル３１に表示する。これにより、本実施形態によれば、運転者に車両Ｖ１の側方に出入口部Ｐが存在することを容易に認識させることができる。また、本実施形態によれば、俯瞰映像１００によって、運転者に車両Ｖ１と出入口部Ｐとの相対的な位置関係を容易に確認させることができる。このように、本実施形態は、車両周辺を確認可能に表示することができる。本実施形態は、俯瞰映像１００を表示することによって、運転者が車両Ｖ１の適切な停止位置を判断することを支援することができる。

【0050】

本実施形態と異なり、車両Ｖ１の側方に出入口部Ｐが存在し、かつ、車両Ｖ１が出入口部Ｐの少なくとも一部を塞いで停止する可能性があっても、俯瞰映像１００が表示されない場合、運転者が車両Ｖ１の側方に出入口部Ｐが存在することを認識しにくいおそれがある。これにより、図３に示すように、車両Ｖ１が出入口部Ｐを塞ぐような停止位置で停止してしまうおそれがある。この場合、対向車線から車両Ｖ１の前方を横切って出入口部Ｐに進入しようとする他車両Ｖ３は、車両Ｖ１が前進するまで進むことができず、他車両Ｖ３の後続車両が滞留して対向車線のスムースな通行が妨げられるおそれがある。

【0051】

これに対して、本実施形態によれば、図４に示すような俯瞰映像１００を表示するので、運転者は、車両Ｖ１がさらに進むと出入口部Ｐを塞いで停止しまうことを容易に確認することができる。運転者は、車両Ｖ１を出入口部Ｐを塞がない現在位置で停止した方がよいと判断することができる。これにより、本実施形態によれば、他車両Ｖ３をスムースに通行させることが可能になる。さらに、本実施形態によれば、他車両Ｖ３の後続車両が滞留することを抑制することができる。

【0052】

［第二実施形態］
図６を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図６は、第二実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。俯瞰映像生成システム１は、基本的な構成は第一実施形態の俯瞰映像生成システム１と同様である。以下の説明においては、俯瞰映像生成システム１と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成部４５における処理が、第一実施形態の俯瞰映像生成部４５と異なる。

【0053】

俯瞰映像生成部４５は、出入口部Ｐ側を表示する周辺映像の表示範囲を広くした俯瞰映像１００Ａを生成する。本実施形態では、俯瞰映像生成部４５は、出入口部Ｐ側を表示する左側方映像１０３Ａの表示範囲と、前方映像１０１Ａの表示範囲の左側と、後方映像１０２Ａの表示範囲の左側とを広くした俯瞰映像１００Ａを生成する。右側方映像１０４Ａは、通常の俯瞰映像１００の表示範囲と同じである。

【0054】

より詳しくは、制御部４１によって、出入口部Ｐの方向を撮影するカメラの撮像範囲を広くすることによって、出入口部Ｐ側を表示する周辺映像の表示範囲を広くした俯瞰映像１００Ａを生成してもよい。この場合、制御部４１は、左側方カメラ１３の第三撮影範囲Ａ３と前方カメラ１１の第一撮影範囲Ａ１と後方カメラ１２の第二撮影範囲Ａ２とを左方向に広くして撮像させる。そして、制御部４１は、視点変換処理部４５１によって、各カメラで撮影された周辺映像データの視点変換処理を行う。そして、制御部４１は、切出処理部４５２によって、視点変換処理を行った周辺映像データから、各方向の撮影範囲に応じて、左側方映像１０３Ａと前方映像１０１Ａと後方映像１０２Ａとを通常より広い切出範囲で、右側方映像１０４Ａを通常の切出範囲で切出す切出処理を行う。そして、制御部４１は、合成処理部４５３によって、切出処理を行った映像データを合成する合成処理を行う。このようにして、出入口部Ｐ側を表示する周辺映像の表示範囲を広くした俯瞰映像１００Ａを生成する。

【0055】

または、出入口部Ｐの方向を撮影した周辺映像を広い切出範囲で切出すことによって、出入口部Ｐ側を表示する周辺映像の表示範囲を広くした俯瞰映像１００Ａを生成してもよい。この場合、制御部４１は、切出処理部４５２によって、視点変換処理を行った周辺映像データから、左側方映像１０３Ａと前方映像１０１Ａと後方映像１０２Ａとを通常より広い切出範囲で、右側方映像１０４Ａを通常の切出範囲で切出す切出処理を行う。そして、制御部４１は、合成処理部４５３によって、切出処理を行った映像データを合成する合成処理を行う。このようにして、出入口部Ｐ側を表示する周辺映像の表示範囲を広くした俯瞰映像１００Ａを生成する。

【0056】

図６を用いて、俯瞰映像１００Ａについて説明する。俯瞰映像１００Ａは、一点鎖線で示す通常の俯瞰映像１００に対して、左側方が広く生成されている。俯瞰映像１００Ａは、例えば、前方と後方と右側方は車両Ｖ１から２ｍ程度の範囲が表示され、左側方は車両Ｖ１から５ｍ程度の範囲が表示されている。俯瞰映像１００Ａは、車両Ｖ１と出入口部Ｐとの相対的な位置関係を認識可能である。

【0057】

上述したように、本実施形態は、出入口部Ｐ側を表示する周辺映像の表示範囲を広くした俯瞰映像１００Ａを生成することができる。本実施形態によれば、このような俯瞰映像１００Ａを表示することで、出入口部Ｐを認識しやすくすることができる。本実施形態は、車両周辺を確認可能に表示することができる。

【0058】

［第三実施形態］
図７を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図７は、第三実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成部４５における処理が、第一実施形態の俯瞰映像生成部４５と異なる。

【0059】

俯瞰映像生成部４５は、出入口部Ｐ側を相対的に広く表示するように表示範囲Ａをずらした俯瞰映像１００Ｂを生成する。本実施形態では、俯瞰映像生成部４５は、出入口部Ｐを表示する左側方映像１０３Ｂと前方映像１０１Ｂとを相対的に広くするように表示範囲Ａを左前方にずらした俯瞰映像１００Ｂを生成する。後方映像１０２Ｂと右側方映像１０４Ｂとは、通常の俯瞰映像１００より狭くなっている。

【0060】

制御部４１は、切出処理部４５２によって、視点変換処理を行った周辺映像データから、左側方映像１０３Ｂと前方映像１０１Ｂとを通常より左前方に広くした切出範囲で、後方映像１０２Ｂと右側方映像１０４Ｂとを通常より狭い切出範囲で切出す切出処理を行う。そして、制御部４１は、合成処理部４５３によって、切出処理を行った映像データを合成する合成処理を行う。このようにして、出入口部Ｐ側を相対的に広く表示するように表示範囲Ａをずらした俯瞰映像１００Ｂを生成する。

【0061】

図７を用いて、俯瞰映像１００Ｂについて説明する。俯瞰映像１００Ｂは、図７に一点鎖線で示す通常の俯瞰映像１００の表示範囲Ａを左前方にずらして生成されている。俯瞰映像１００Ｂは、車両Ｖ１と出入口部Ｐとの相対的な位置関係を認識可能である。

【0062】

上述したように、本実施形態は、出入口部Ｐ側に表示範囲Ａをずらした俯瞰映像１００Ｂを生成することができる。本実施形態によれば、このような俯瞰映像１００Ｂを表示することで、出入口部Ｐを認識しやすくすることができる。本実施形態は、車両周辺を確認可能に表示することができる。

【0063】

［第四実施形態］
図８を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図８は、第四実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成部４５における処理が、第一実施形態の俯瞰映像生成部４５と異なる。

【0064】

俯瞰映像生成部４５は、出入口部Ｐ側を拡大して表示するように表示範囲Ａを変更した俯瞰映像１００Ｃを生成する。本実施形態では、俯瞰映像生成部４５は、出入口部Ｐを表示する左側方映像１０３Ｃの前方と、前方映像１０１Ｃの左側方とが拡大されるように表示範囲Ａを変更した俯瞰映像１００Ｃを生成する。

【0065】

制御部４１は、切出処理部４５２によって、視点変換処理を行った周辺映像データから、左前方を拡大するような切出範囲で切出す切出処理を行う。そして、制御部４１は、合成処理部４５３によって、切出処理を行った映像データを合成する合成処理を行う。

【0066】

図８を用いて、俯瞰映像１００Ｃについて説明する。俯瞰映像１００Ｃは、左前方が拡大されて生成されている。俯瞰映像１００Ｃは、車両Ｖ１と出入口部Ｐとの相対的な位置関係を認識可能である。

【0067】

上述したように、本実施形態は、出入口部Ｐ側を拡大した俯瞰映像１００Ｃを生成することができる。本実施形態によれば、このような俯瞰映像１００Ｃを表示することで、出入口部Ｐを認識しやすくすることができる。本実施形態は、車両周辺を確認可能に表示することができる。

【0068】

［第五実施形態］
図９を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図９は、第五実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成部４５における処理が、第一実施形態の俯瞰映像生成部４５と異なる。

【0069】

俯瞰映像生成部４５は、出入口部Ｐ側を強調表示した俯瞰映像１００Ｄを生成する。本実施形態では、俯瞰映像生成部４５は、合成処理部４５３によって、合成した俯瞰映像に、出入口部Ｐを強調表示する出入口アイコン１０５Ｄを合成して俯瞰映像１００Ｄを生成する。

【0070】

図９を用いて、俯瞰映像１００Ｄについて説明する。俯瞰映像１００Ｄは、出入口部Ｐの幅を強調表示する出入口アイコン１０５Ｄを含む。出入口アイコン１０５Ｄは、出入口部Ｐの幅に対応した帯状のアイコンである。

【0071】

上述したように、本実施形態は、出入口部Ｐ側を強調表示した俯瞰映像１００Ｄを生成することができる。本実施形態によれば、このような俯瞰映像１００Ｄを表示することで、出入口部Ｐを認識しやすくすることができる。本実施形態は、車両周辺を確認可能に表示することができる。

【0072】

これまで本発明に係る俯瞰映像生成システム１について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。

【0073】

図示した俯瞰映像生成システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

【0074】

俯瞰映像生成システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

【0075】

上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

【0076】

周辺情報取得部４３は、車両Ｖ１の周辺情報として、映像データ取得部４２で取得した周辺映像に画像処理を実行して、車両Ｖ１の前方の信号機が赤であることを検出してもよい。周辺情報取得部４３は、車両Ｖ１の周辺情報として、画像処理によって、先行車両Ｖ２のブレーキランプが点灯していることを検出してもよい。周辺情報取得部４３は、車両Ｖ１の周辺情報として、図示しないセンサによって検出した車両Ｖ１と先行車両Ｖ２との車間距離Ｌ１が閾値以下となったこと検出してもよい。そして、俯瞰映像生成部４５は、これらの情報に基づいて、車両Ｖ１が停止する可能性があると判定してもよい。

【0077】

上記の実施形態では、他車両Ｖ３は、右折して出入口部Ｐに進入しようとしている車両として説明したがこれに限定されるものではない。他車両Ｖ３は、出入口部Ｐから右折して退出しようとしている車両でもよい。

【0078】

俯瞰映像生成部４５は、所定条件を満たす場合に俯瞰映像１００を生成するものとして説明したがこれに限定されない。俯瞰映像生成部４５は、俯瞰映像生成システム１が起動されている間、俯瞰映像１００を生成するようにしてもよい。この場合、表示制御部４９によって、車両Ｖ１の側方に他車両Ｖ３が出入り可能な出入口部Ｐが存在し、かつ、車両Ｖ１の停止や減速が予測され、他車両Ｖ３の出入口部Ｐへのスムースな出入りを難しくする可能性があると判定される場合、俯瞰映像１００を表示するように制御すればよい。

【符号の説明】

【0079】

１ 俯瞰映像生成システム
１１ 前方カメラ
１２ 後方カメラ
１３ 左側方カメラ
１４ 右側方カメラ
４０ 俯瞰映像生成装置
４１ 制御部
４２ 映像データ取得部
４３ 周辺情報取得部
４４ 車両情報取得部
４５ 俯瞰映像生成部
４９ 表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】