特許 6548900 画像生成装置、画像生成方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6548900

(24)【登録日】2019年7月5日

(45)【発行日】2019年7月24日

(54)【発明の名称】画像生成装置、画像生成方法及びプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20190711BHJP

   G08G 1/16 20060101ALI20190711BHJP

【ＦＩ】

   G06T1/00 330A

   G08G1/16 C

【請求項の数】9

【全頁数】25

(21)【出願番号】特願2015-8424(P2015-8424)

(22)【出願日】2015年1月20日

(65)【公開番号】特開2016-134001(P2016-134001A)

(43)【公開日】2016年7月25日

【審査請求日】2017年11月30日

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(72)【発明者】

【氏名】澤田 康嘉

【審査官】 山田 辰美

(56)【参考文献】

【文献】 特開２０１１−０６５５２０（ＪＰ，Ａ）

【文献】 特開２０１４−１９７８１７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０８Ｇ １／１６

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

車両において用いられる画像生成装置であって、
複数のカメラで得られた複数の撮影画像を用いて、仮想視点からみた前記車両の周辺を示す複数の仮想視点画像を時間的に連続して生成する生成手段と、
前記複数の仮想視点画像が前記車両の周囲を周回するように、前記仮想視点を時間的に連続して変更する変更手段と、
前記車両の周辺に存在する物体を検出する検出手段の検出結果を取得する取得手段と、
前記検出手段が検出した物体が存在する領域を先行して示す方向を前記周回の周回方向として決定する決定手段と、
を備えることを特徴とする画像生成装置。

【請求項2】

請求項１に記載の画像生成装置において、
前記検出手段が複数の物体を検出した場合に、前記複数の物体それぞれに関して前記車両と接触する可能性の程度を示す危険度を導出する導出手段、
をさらに備え、
前記決定手段は、前記複数の物体のうち前記危険度が最も高い物体の位置に基づいて前記周回方向を決定することを特徴とする画像生成装置。

【請求項3】

請求項２に記載の画像生成装置において、
前記導出手段は、前記複数の物体それぞれの位置に基づいて、前記複数の物体それぞれの前記危険度を導出することを特徴とする画像生成装置。

【請求項4】

請求項３に記載の画像生成装置において、
前記導出手段は、前記車両が走行すると予測される予測進路と前記複数の物体それぞれの位置とに基づいて、前記複数の物体それぞれの前記危険度を導出することを特徴とする
画像生成装置。

【請求項5】

請求項１ないし４のいずれかに記載の画像生成装置において、
前記変更手段は、
前記仮想視点の視線が前記物体に向く場合は、前記周回の周回速度を基準速度よりも小さくし、
前記仮想視点の視線が前記物体以外の領域に向く場合は、前記周回の周回速度を前記基準速度よりも大きくすることを特徴とする画像生成装置。

【請求項6】

請求項１ないし４のいずれかに記載の画像生成装置において、
前記変更手段は、前記車両の周囲のうちの前記物体以外の領域をスキップしつつ前記物体のみに前記仮想視点の視線が向くように、前記仮想視点を変更することを特徴とする画像生成装置。

【請求項7】

請求項１ないし６のいずれかに記載の画像生成装置において、
前記複数の仮想視点画像を表示する表示手段、
をさらに備えることを特徴とする画像生成装置。

【請求項8】

車両において用いられる画像生成方法であって、
（ａ）複数のカメラで得られた複数の撮影画像を用いて、仮想視点からみた前記車両の周辺を示す複数の仮想視点画像を時間的に連続して生成する工程と、
（ｂ）前記複数の仮想視点画像が前記車両の周囲を周回するように、前記仮想視点を時間的に連続して変更する工程と、
（ｃ）前記車両の周辺に存在する物体を検出する検出手段の検出結果を取得する工程と、
（ｄ）前記検出手段が検出した物体が存在する領域を先行して示す方向を前記周回の周回方向として決定する工程と、
を備えることを特徴とする画像生成方法。

【請求項9】

車両において用いられるコンピュータによって実行可能なプログラムであって、
前記コンピュータに、
（ａ）複数のカメラで得られた複数の撮影画像を用いて、仮想視点からみた前記車両の周辺を示す複数の仮想視点画像を時間的に連続して生成する工程と、
（ｂ）前記複数の仮想視点画像が前記車両の周囲を周回するように、前記仮想視点を時間的に連続して変更する工程と、
（ｃ）前記車両の周辺に存在する物体を検出する検出手段の検出結果を取得する工程と、
（ｄ）前記検出手段が検出した物体が存在する領域を先行して示す方向を前記周回の周回方向として決定する工程と、
を実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の周辺を示す画像を生成する技術に関する。

【背景技術】

【0002】

従来より、自動車などの車両の周辺を示す画像を生成し、生成した画像を車両内の表示装置に出力して表示させる画像生成装置が知られている。このような画像を視認することにより、ユーザ（代表的にはドライバ）は、車両の周辺の様子をほぼリアルタイムに確認することができる。

【0003】

また、近年では、複数のカメラで得られた複数の撮影画像を合成して、仮想視点からみた車両の周辺を示す仮想視点画像を生成する画像生成装置も知られている。このような仮想視点画像として、車両の外部の視点から見下ろすように車両の周辺を示す画像（例えば、俯瞰画像）や、車両の内部の視点からみた車両の周辺を示す画像（例えば、ドライバ視点の画像）を生成することが提案されている。

【0004】

また、画像生成装置が仮想視点を連続的に変更しながら仮想視点画像を連続的に生成することで、車両の周囲を周回するように車両の周辺を示す動画（アニメーション）を表示することも提案されている（例えば、特許文献１参照。）。このような動画を利用することで、ユーザは、車両の周辺に存在する歩行者や障害物などの物体を容易に把握することができる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１１−８７６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述した車両の周囲を周回するように車両の周辺を示す動画の表示には、ある程度の時間（例えば、１０秒程度）が必要となる。このため、動画の表示の終盤においてユーザに示される車両の周辺の領域に物体が存在した場合は、ユーザによる当該物体の把握が遅くなる可能性がある。

【0007】

本発明は、上記課題に鑑みてなされたものであり、車両の周辺に存在する物体をユーザが速やかに把握できる技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するため、請求項１の発明は、車両において用いられる画像生成装置であって、複数のカメラで得られた複数の撮影画像を用いて、仮想視点からみた前記車両の周辺を示す複数の仮想視点画像を時間的に連続して生成する生成手段と、前記複数の仮想視点画像が前記車両の周囲を周回するように、前記仮想視点を時間的に連続して変更する変更手段と、前記車両の周辺に存在する物体を検出する検出手段の検出結果を取得する取得手段と、前記検出手段が検出した物体が存在する領域を先行して示す方向を前記周回の周回方向として決定する決定手段と、を備えている。

【0009】

また、請求項２の発明は、請求項１に記載の画像生成装置において、前記検出手段が複数の物体を検出した場合に、前記複数の物体それぞれに関して前記車両と接触する可能性の程度を示す危険度を導出する導出手段、をさらに備え、前記決定手段は、前記複数の物体のうち前記危険度が最も高い物体の位置に基づいて前記周回方向を決定する。

【0010】

また、請求項３の発明は、請求項２に記載の画像生成装置において、前記導出手段は、前記複数の物体それぞれの位置に基づいて、前記複数の物体それぞれの前記危険度を導出する。

【0011】

また、請求項４の発明は、請求項３に記載の画像生成装置において、前記導出手段は、前記車両が走行すると予測される予測進路と前記複数の物体それぞれの位置とに基づいて、前記複数の物体それぞれの前記危険度を導出する。

【0012】

また、請求項５の発明は、請求項１ないし４のいずれかに記載の画像生成装置において、前記変更手段は、前記仮想視点の視線が前記物体に向く場合は、前記周回の周回速度を基準速度よりも小さくし、前記仮想視点の視線が前記物体以外の領域に向く場合は、前記周回の周回速度を前記基準速度よりも大きくする。

【0013】

また、請求項６の発明は、請求項１ないし４のいずれかに記載の画像生成装置において、前記変更手段は、前記車両の周囲のうちの前記物体以外の領域をスキップしつつ前記物体のみに前記仮想視点の視線が向くように、前記仮想視点を変更する。

【0014】

また、請求項７の発明は、請求項１ないし６のいずれかに記載の画像生成装置において、前記複数の仮想視点画像を表示する表示手段、をさらに備えている。

【0015】

また、請求項８の発明は、車両において用いられる画像生成方法であって、（ａ）複数のカメラで得られた複数の撮影画像を用いて、仮想視点からみた前記車両の周辺を示す複数の仮想視点画像を時間的に連続して生成する工程と、（ｂ）前記複数の仮想視点画像が前記車両の周囲を周回するように、前記仮想視点を時間的に連続して変更する工程と、（ｃ）前記車両の周辺に存在する物体を検出する検出手段の検出結果を取得する工程と、（ｄ）前記検出手段が検出した物体が存在する領域を先行して示す方向を前記周回の周回方向として決定する工程と、を備えている。

【0016】

また、請求項９の発明は、車両において用いられるコンピュータによって実行可能なプログラムであって、前記コンピュータに、（ａ）複数のカメラで得られた複数の撮影画像を用いて、仮想視点からみた前記車両の周辺を示す複数の仮想視点画像を時間的に連続して生成する工程と、（ｂ）前記複数の仮想視点画像が前記車両の周囲を周回するように、前記仮想視点を時間的に連続して変更する工程と、（ｃ）前記車両の周辺に存在する物体を検出する検出手段の検出結果を取得する工程と、（ｄ）前記検出手段が検出した物体が存在する領域を先行して示す方向を前記周回の周回方向として決定する工程と、を実行させる。

【発明の効果】

【0017】

請求項１ないし９の発明によれば、車両の周囲を周回するように車両の周辺を示す動画の周回方向が物体の位置に基づいて決定される。このため、ユーザが車両の周辺に存在する物体を速やかに確認することができる。

【0018】

また、特に請求項２の発明によれば、危険度が最も高い物体の位置に基づいて周回方向が決定されるため、ユーザが危険度が最も高い物体を速やかに確認することができる。

【0019】

また、特に請求項３の発明によれば、複数の物体それぞれの位置に基づいて、物体の危険度を適切に導出することができる。

【0020】

また、特に請求項４の発明によれば、車両の予測進路に基づいて、物体の危険度をさらに適切に導出することができる。

【0021】

また、特に請求項５の発明によれば、仮想視点の視線が物体に向く場合は、周回速度を基準速度よりも小さくするため、ユーザが物体を詳細に確認できる。これとともに、仮想視点の視線が物体以外の領域に向く場合は、周回速度の変更速度を基準速度よりも大きくするため、動画の表示に必要な時間が長期化することを防止できる。

【0022】

また、特に請求項６の発明によれば、車両の周囲のうち物体以外の領域をスキップするため、動画の表示に必要な時間を短縮することができる。

【図面の簡単な説明】

【0023】

【図1】図１は、画像表示システムの構成を示す図である。

【図2】図２は、４つのカメラがそれぞれ撮影する方向を示す図である。

【図3】図３は、物体検出装置の構成を示す図である。

【図4】図４は、クリアランスソナーが車両に配置される位置を示す図である。

【図5】図５は、仮想視点画像を生成する手法を説明する図である。

【図6】図６は、画像表示システムの動作モードの遷移を示す図である。

【図7】図７は、第１の実施の形態の周回モードにおける仮想視点の遷移の例を示す図である。

【図8】図８は、周回モードに生成される複数の仮想視点画像の例を示す図である。

【図9】図９は、第１の実施の形態の周回モードにおける仮想視点の遷移の例を示す図である。

【図10】図１０は、周回モードに生成される仮想視点画像の例を示す図である。

【図11】図１１は、画像生成装置の動作の流れを示す図である。

【図12】図１２は、予測進路の例を示す図である。

【図13】図１３は、予測進路の例を示す図である。

【図14】図１４は、予測進路の例を示す図である。

【図15】図１５は、危険度の導出例を示す図である。

【図16】図１６は、危険度の導出例を示す図である。

【図17】図１７は、危険度の導出例を示す図である。

【図18】図１８は、危険度の導出例を示す図である。

【図19】図１９は、第２の実施の形態の周回モードにおける仮想視点の遷移の例を示す図である。

【図20】図２０は、第３の実施の形態の周回モードにおける仮想視点の遷移の例を示す図である。

【図21】図２１は、周回モードにおける仮想視点の遷移の他の例を示す図である。

【図22】図２２は、周回モードに生成される仮想視点画像の他の例を示す図である。

【発明を実施するための形態】

【0024】

以下、図面を参照しつつ本発明の実施の形態について説明する。

【0025】

＜１．第１の実施の形態＞
＜１−１．構成＞
図１は、第１の実施の形態の画像生成装置２を含む画像表示システム１０の構成を示す図である。この画像表示システム１０は、車両（本実施の形態では、自動車）において用いられるものであり、車両の周辺を示す画像を生成して車室内に表示する機能を有している。画像表示システム１０のユーザ（代表的にはドライバ）は、この画像表示システム１０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できる。

【0026】

図１に示すように、画像表示システム１０は、複数のカメラ５、表示装置３、操作ボタン４、物体検出装置７及び画像生成装置２を備えている。

【0027】

複数のカメラ５はそれぞれ、レンズと撮像素子とを備えており、車両の周辺を撮影して撮影画像を取得する。各カメラ５は、車両の周辺を示す撮影画像を電子的に取得し、取得した撮影画像を画像生成装置２に入力する。複数のカメラ５は、フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒを含んでいる。これら４つのカメラ５は、車両９において互いに異なる位置に配置され、車両９の周辺の異なる方向を撮影する。

【0028】

図２は、４つのカメラ５がそれぞれ撮影する方向を示す図である。フロントカメラ５Ｆは、車両９の前端に設けられ、その光軸５Ｆａは車両９の前後方向に沿って前方に向けられる。リアカメラ５Ｂは、車両９の後端に設けられ、その光軸５Ｂａは車両９の前後方向に沿って後方に向けられる。左サイドカメラ５Ｌは、左側の左サイドミラー９３Ｌに設けられ、その光軸５Ｌａは車両９の左右方向に沿って左方に向けられる。また、右サイドカメラ５Ｒは、右側の右サイドミラー９３Ｒに設けられ、その光軸５Ｒａは車両９の左右方向に沿って右方に向けられる。

【0029】

これらのカメラ５のレンズには魚眼レンズなどの広角レンズが採用され、各カメラ５は１８０度以上の画角θを有している。このため、４つのカメラ５を利用することで、車両９の全周囲を撮影することが可能である。

【0030】

図１に戻り、表示装置３は、例えば、液晶などの薄型の表示パネルを備え、画像生成装置２で生成された表示画像を表示する。表示装置３は、ユーザが表示パネルの画面を視認できるように、車両９のインストルメントパネルなどに配置される。表示装置３は、画像生成装置２と同一のハウジング内に配置されて画像生成装置２と一体化されていてもよく、画像生成装置２とは別体の装置であってもよい。

【0031】

また、表示装置３は、表示パネルに重ねてタッチパネル３１を備えており、ユーザの操作を受け付けることが可能である。表示装置３は、表示画像を表示する機能以外に、目的地までのルート案内を行うナビゲーション機能などの他の機能を有していてもよい。

【0032】

操作ボタン４は、ユーザの操作を受け付ける操作部材である。操作ボタン４は、例えば、車両９のステアリングホイールに設けられており、主にドライバからの操作を受け付ける。ユーザは、操作ボタン４、及び、表示装置３のタッチパネル３１を介して画像表示システム１０に対する各種の操作を行うことができる。操作ボタン４及びタッチパネル３１のいずれかにユーザの操作がなされた場合は、その操作の内容を示す操作信号が画像生成装置２に入力される。

【0033】

物体検出装置７は、車両９の周辺に存在する歩行者や障害物などの物体を検出する電子装置である。物体検出装置７は、物体を検出した検出結果を示す信号を画像生成装置２に出力する。この物体検出装置７の詳細については後述する。

【0034】

画像生成装置２は、車両９の周辺を示す撮影画像を用いて、表示装置３に表示するための表示画像を生成する画像処理を行う電子装置である。画像生成装置２は、画像取得部２１、画像生成部２２、画像調整部２３、及び、画像出力部２４を備えている。

【0035】

画像取得部２１は、４つのカメラ５で得られた４つの撮影画像を取得する。画像取得部２１は、アナログの撮影画像をデジタルの撮影画像に変換する機能などの画像処理機能を有している。画像取得部２１は、取得した撮影画像に所定の画像処理を行い、処理後の撮影画像を画像生成部２２に入力する。

【0036】

画像生成部２２は、仮想視点からみた車両９の周辺を示す仮想視点画像を生成するための画像処理を行うハードウェア回路である。画像生成部２２は、４つのカメラ５で取得された４つの撮影画像を用いて、仮想視点からみた車両９の周辺を示す仮想視点画像を生成する。画像生成部２２は、各カメラ５において直近に得られた撮影画像を用いて仮想視点画像を時間的に連続して生成する。これにより、画像生成部２２は、車両９の周辺をほぼリアルタイムに示す仮想視点画像を生成する。

【0037】

画像調整部２３は、表示装置３で表示するための表示画像を生成する。画像調整部２３は、画像生成部２２で生成された仮想視点画像などを含む表示画像を生成する。

【0038】

画像出力部２４は、画像調整部２３で生成された表示画像を表示装置３に出力して、表示画像を表示装置３に表示させる。これにより、仮想視点からみた車両９の周辺をほぼリアルタイムに示す仮想視点画像が表示装置３に表示される。

【0039】

また、画像生成装置２は、制御部２０と、操作受付部２５と、信号受信部２６と、記憶部２７とをさらに備えている。制御部２０は、例えば、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたマイクロコンピュータであり、画像生成装置２の全体を統括的に制御する。

【0040】

操作受付部２５は、ユーザが操作を行った場合に操作ボタン４及びタッチパネル３１から送出される操作信号を受信する。これにより、操作受付部２５はユーザの操作を受け付ける。操作受付部２５は、受信した操作信号を制御部２０に入力する。

【0041】

信号受信部２６は、物体検出装置７から送出される信号を受信するとともに、車両９に設けられる他の装置から送出される信号を受信する。信号受信部２６は、受信した信号を制御部２０に入力する。車両９に設けられる他の装置には、シフトセンサ９５及び舵角センサ９６が含まれる。

【0042】

シフトセンサ９５は、車両９の変速装置のシフトレバーの位置であるシフトポジションを検出し、そのシフトポジションを示す信号を送出する。また、舵角センサ９６は、車両９のステアリングホイールの中立位置からの回転角度である舵角（操舵角）を検出し、車両９の舵角を示す信号を送出する。したがって、信号受信部２６は、車両９のシフトポジション及び舵角を取得する。制御部２０は、シフトポジションに基づいて車両９の前後の進行方向を判断でき、また、舵角に基づいて車両９の左右の進行方向を判断できる。

【0043】

記憶部２７は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部２７は、物体検出装置７の機能に必要となるファームウェアとしてのプログラム２７ａ、及び、各種のデータを記憶する。記憶部２７は、物体検出装置７の機能に必要となるデータとして、例えば、車両９の車体の形状及びサイズなどを示す車両データ２７ｂを記憶する。

【0044】

制御部２０の各種の機能は、記憶部２７に記憶されたプログラム２７ａの実行（プログラム２７ａに従ったＣＰＵの演算処理）によって実現される。図中に示す視点制御部２０ａ、結果取得部２０ｂ、危険度導出部２０ｃ及び方向決定部２０ｄは、プログラム２７ａの実行により実現される機能部の一部である。

【0045】

視点制御部２０ａは、画像生成部２２が生成する仮想視点画像に係る仮想視点の位置及び視線の向きを制御する。結果取得部２０ｂは、車両９の周辺に存在する物体を検出する物体検出装置７の検出結果を取得する。危険度導出部２０ｃは、物体検出装置７が検出した物体の危険度を導出する。方向決定部２０ｄは、物体検出装置７が検出した物体の位置に基づいて、車両９の周囲を周回するように車両９の周辺を示す動画の周回方向を決定する。これらの機能部の処理の詳細については後述する。

【0046】

＜１−２．物体検出装置＞
次に、物体検出装置７について説明する。図３は、物体検出装置７の構成を主に示す図である。図に示すように、物体検出装置７は、装置全体を統括するソナー制御部７１と、複数のクリアランスソナー７２とを備えている。

【0047】

図４は、複数のクリアランスソナー７２が車両９に配置される位置を示す図である。図４に示すように、車両９の周囲全体の領域は１０個の区分領域Ａ１〜Ａ１０に区分される。これらの区分領域Ａ１〜Ａ１０は、車両９に対して相対的に設定される。１０個の区分領域のうち、区分領域Ａ１，Ａ４，Ａ６，Ａ８は車両９の左側の領域であり、区分領域Ａ３，Ａ５，Ａ７，Ａ１０は車両９の右側の領域である。

【0048】

また、これら１０個の区分領域Ａ１〜Ａ１０のそれぞれに対応するように１０個のクリアランスソナー７２が車両９に配置される。車両９の４つのコーナーにそれぞれ１個のクリアランスソナー７２が設けられ、車両９の前端及び後端にそれぞれ１個のクリアランスソナー７２が設けられ、さらに、車両９の左サイド及び右サイドにそれぞれ２個のクリアランスソナー７２が設けられる。

【0049】

各クリアランスソナー７２は、対応する区分領域Ａ１〜Ａ１０に存在する物体を検出する。クリアランスソナー７２は、超音波を発信し、その超音波が物体で反射した反射波を受信することで物体を検出する。また、クリアランスソナー７２は、超音波の発信から反射波の受信までの時間に基づいて車両９から物体までの距離も検出する。各クリアランスソナー７２は、検出した結果を示す信号をソナー制御部７１に入力する。

【0050】

ソナー制御部７１は、各クリアランスソナー７２から入力される信号に基づいて車両９の周辺に物体が存在することを検出する。また、ソナー制御部７１は、物体を検出したクリアランスソナー７２が対応する区分領域と、車両９から物体までの距離とに基づいて、車両９に対する相対的な物体の位置を検出する。

【0051】

物体検出装置７は、物体を検出した場合は、検出結果として、物体を検出したことを示す情報と、検出した物体の位置とを含む信号を画像生成装置２に出力する。物体検出装置７は、車両９の周辺に存在する複数の物体を同時に検出することも可能である。物体検出装置７は、複数の物体を検出した場合は、それら複数の物体それぞれの位置を含む信号を画像生成装置２に出力する。

【0052】

＜１−３．仮想視点画像＞
次に、画像生成部２２が、仮想視点からみた車両９の周辺を示す仮想視点画像を生成する手法について説明する。図５は、画像生成部２２が仮想視点画像を生成する手法を説明する図である。画像生成部２２は、仮想視点画像の生成に仮想の立体的な曲面である投影面ＴＳを用いることで、現実に近い臨場感のある仮想視点画像を生成する。

【0053】

フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒは、車両９の前方、後方、左方及び右方をそれぞれ示す４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲを取得する。これら４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲには、車両９の全周囲のデータが含まれている。

【0054】

画像生成部２２は、これら４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲに含まれるデータ（画素の値）を、仮想的な三次元空間における投影面ＴＳに投影する。投影面ＴＳは、例えば、略半球状（お椀形状）をしており、その中心領域（お椀の底部分）は車両９の位置として定められている。また、投影面ＴＳにおける車両９の位置の外側は、車両９の周辺の領域に相当する。

【0055】

撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲに含まれるデータの位置と、投影面ＴＳの位置とは予め対応関係が定められている。このような対応関係を示すテーブルデータは、記憶部２７に記憶される。画像生成部２２は、このテーブルデータを用いて、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲに含まれるデータを、投影面ＴＳの対応する位置に投影する。

【0056】

画像生成部２２は、投影面ＴＳにおいて車両９の前方に相当する部分に、フロントカメラ５Ｆの撮影画像ＳＦのデータを投影する。また、画像生成部２２は、投影面ＴＳにおいて車両９の後方に相当する部分に、リアカメラ５Ｂの撮影画像ＳＢのデータを投影する。さらに、画像生成部２２は、投影面ＴＳにおいて車両９の左方に相当する部分に左サイドカメラ５Ｌの撮影画像ＳＬのデータを投影し、投影面ＴＳにおいて車両９の右方に相当する部分に右サイドカメラ５Ｒの方向画像ＳＲのデータを投影する。

【0057】

このように投影面ＴＳに撮影画像のデータを投影すると、次に、画像生成部２２は、記憶部２７に記憶された車両データ２７ｂを用いて、車両９の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両９のモデルは、仮想的な三次元空間における車両９の位置である投影面ＴＳの中心領域に配置される。

【0058】

次に、画像生成部２２は、視点制御部２０ａの制御により、三次元空間に対して仮想視点ＶＰを設定する。この仮想視点ＶＰは、位置と視線の向きとで規定される。画像生成部２２は、任意の位置、かつ、任意の視線の向きの仮想視点ＶＰを３次元空間に設定できる。

【0059】

次に、画像生成部２２は、設定した仮想視点ＶＰに応じた投影面ＴＳの一部の領域を用いて仮想視点画像ＣＰを生成する。すなわち、画像生成部２２は、投影面ＴＳのうち仮想視点ＶＰからみて所定の視野角に含まれる領域のデータを画像として切り出す。切り出した画像は、車両９の周辺に存在する被写体の像を含んでいる。仮想視点ＶＰの視線が向けられた領域は、切り出した画像の中心に位置する。

【0060】

これとともに、画像生成部２２は、設定した仮想視点ＶＰに応じて車両９のモデルに関してレンダリングを行い、その結果となる二次元の車両像９０を、切り出した画像に対して重畳する。車両像９０は、仮想視点ＶＰからみた車両９の車体の形状を示す。これにより、画像生成部２２は、仮想視点ＶＰからみた車両９の周辺と車両９の車体とを示す仮想視点画像ＣＰを生成する。

【0061】

例えば、図５に示すように、位置を車両９の直上とし視線を下方に向けた仮想視点ＶＰａを設定した場合には、車両９の周辺と車両９の車体とを俯瞰する仮想視点画像（俯瞰画像）ＣＰａを生成できる。また、位置を車両９の左後方とし視線を車両９の中心に向けた仮想視点ＶＰｂを設定した場合には、車両９の左後方からみた車両９の周辺と車両９の車体とを示す仮想視点画像ＣＰｂを生成できる。

【0062】

＜１−４．周回モード＞
次に、画像表示システム１０の動作モードの一つである周回モードについて説明する。図６は、画像表示システム１０の動作モードの遷移を示す図である。画像表示システム１０は、通常モードＭ０、俯瞰モードＭ１、及び、周回モードＭ２の３つの動作モードを有している。画像生成装置２の制御部２０は、車両９の状態やユーザの操作に応じてこれらの動作モードを切り替える。

【0063】

通常モードＭ０は、画像生成装置２の画像処理機能を利用しない動作モードである。表示装置３がナビゲーション機能を有している場合は、通常モードＭ０において、表示装置３はナビゲーション機能に基づく地図画像などを表示する。

【0064】

一方、俯瞰モードＭ１、及び、周回モードＭ２は、画像生成装置２の画像処理機能を利用する動作モードである。これらの動作モードでは、画像生成装置２が時間的に連続して生成する仮想視点画像を表示装置３が時間的に連続して表示することで、車両９の周辺の様子がほぼリアルタイムにユーザに示される。俯瞰モードＭ１では、仮想視点ＶＰが変更されずに、車両９の直上の視点からみた車両９の周辺の様子が示される。これに対して、周回モードＭ２では、仮想視点ＶＰが時間的に連続して変更され、車両９の周囲を周回するように車両９の周辺の様子が示される。

【0065】

図６に示すように、通常モードＭ０において、ユーザが操作ボタン４を通常の長さで押した場合は、動作モードは俯瞰モードＭ１に切り替えられる。また、俯瞰モードＭ１において、ユーザが操作ボタン４を押した場合は、動作モードは通常モードＭ０に切り替えられる。

【0066】

一方、通常モードＭ０において、ユーザが操作ボタン４を長押した場合（一定時間以上継続して押圧した場合）は、動作モードは周回モードＭ２に切り替えられる。また、画像表示システム１０が起動した際にも、動作モードは最初に周回モードＭ２となる。周回モードＭ２では、車両９の周囲を周回するように車両９の周辺を示す動画（アニメーション）が表示され、動画の表示が完了すると動作モードは通常モードＭ０に切り替えられる。

【0067】

図７は、周回モードＭ２における仮想視点ＶＰの遷移の例を示す図である。周回モードＭ２においては、まず、視点制御部２０ａが、位置を車両９の後方上部の初期位置Ｐ０とし、視線を車両９の中心９ｃに向けた仮想視点ＶＰを設定する。そして、視点制御部２０ａは、仮想視点ＶＰの位置及び視線の向きを時間的に連続して変更する。具体的には、視点制御部２０ａは、仮想視点ＶＰの視線が車両９の中心９ｃに向くように仮想視点ＶＰの視線の向きを変更しつつ、仮想視点ＶＰの位置を車両９の周囲を一周するように移動する。これにより、仮想視点ＶＰの視線（仮想視点画像ＣＰの中心に示される領域）が車両９の周囲を周回する。

【0068】

このように視点制御部２０ａが仮想視点ＶＰを時間的に連続して変更している状態で、画像生成部２２が複数の仮想視点画像ＣＰを時間的に連続して生成する。これにより、例えば、図８に示すような複数の仮想視点画像ＣＰが生成される。これらの複数の仮想視点画像ＣＰは、時間的に連続して表示装置３に表示されることで、車両９の周囲を周回するように車両９の周辺を示す動画（以下、「周回動画」という。）となる。このような周回動画を視認することで、ユーザは車両９の周囲に存在する物体を直感的に把握することができる。

【0069】

図７においては、視点制御部２０ａは、仮想視点ＶＰの視線の向きを「右回り」で変更しつつ、仮想視点ＶＰの位置を「右回り」で車両９の周囲を移動させている（矢印ＡＲ１）。これに対し、図９に示すように、視点制御部２０ａは、仮想視点ＶＰの視線の向きを「左回り」で変更しつつ、仮想視点ＶＰの位置を「左回り」で車両９の周囲を移動させることもできる（矢印ＡＲ２）。

【0070】

図７のように仮想視点ＶＰを変更する場合は、図８に示すように、周回動画においては、車両９の背面、車両９の左側、車両９の正面、車両９の右側、及び、車両９の背面の順で車両９の周辺の様子がユーザに示される。以下、図７のように仮想視点ＶＰを変更することを、「周回動画の周回方向を右回りにする」と表現する。周回動画の周回方向を「右回り」にした場合は、車両９の周辺のうち左側の領域が右側の領域よりも先行してユーザに示される。

【0071】

一方、図９のように仮想視点ＶＰを変更する場合は、図１０に示すように、周回動画においては、車両９の背面、車両９の右側、車両９の正面、車両９の左側、及び、車両９の背面の順で車両９の周辺の様子がユーザに示される。以下、図９のように仮想視点ＶＰを変更することを、「周回動画の周回方向を左回りにする」と表現する。周回動画の周回方向を「左回り」にした場合は、車両９の周辺のうち右側の領域が左側の領域よりも先行してユーザに示される。

【0072】

方向決定部２０ｄは、このような周回動画の周回方向を決定する。方向決定部２０ｄは、物体検出装置７が検出した物体の位置に基づいて、周回動画の周回方向を決定する。これにより、ユーザが車両９の周辺に存在する物体を速やかに確認できるようになっている。

【0073】

なお、周回動画の周回方向は、仮想視点ＶＰの位置の移動方向（仮想視点ＶＰの視線の向きの変更方向）で規定される。このため、方向決定部２０ｄが、周回動画の周回方向を決定することは、仮想視点ＶＰの位置の移動方向（仮想視点ＶＰの視線の向きの変更方向）を決定することに実質的に相当する。

【0074】

＜１−５．動作の流れ＞
次に、周回モードＭ２における画像生成装置２の動作の流れについて説明する。図１１は、周回モードＭ２における画像生成装置２の動作の流れを示す図である。

【0075】

まず、結果取得部２０ｂが、物体検出装置７の検出結果を取得する（ステップＳ１１）。結果取得部２０ｂは、信号受信部２６が物体検出装置７から受信した信号に基づいて、物体検出装置７の検出結果を取得する。

【0076】

次に、方向決定部２０ｄは、結果取得部２０ｂが取得した検出結果に基づいて物体検出装置７が物体を検出したか否かを判定する（ステップＳ１２）。

【0077】

物体検出装置７が物体を検出しなかった場合は（ステップＳ１２にてＮｏ）、方向決定部２０ｄは、周回動画の周回方向を予め定められた基準方向に決定する（ステップＳ１７）。

【0078】

続いて、視点制御部２０ａが仮想視点ＶＰを時間的に連続して変更しつつ、画像生成部２２が複数の仮想視点画像ＣＰを時間的に連続して生成することで、画像生成装置２は表示装置３に周回動画を表示させる（ステップＳ１８）。この周回動画の表示に際して、視点制御部２０ａは、ステップＳ１７で方向決定部２０ｄが決定した周回方向（すなわち、基準方向）に従って仮想視点ＶＰを変更する。その結果、車両９の左側及び右側のうち基準方向に応じた側が、先行してユーザに示される。

【0079】

基準方向は、運転席の位置に応じて定めることが望ましい。例えば、車両９が右ハンドル車の場合は、運転席の反対側となる車両９の左側がドライバからは確認しにくくなる。このため、車両９が右ハンドル車の場合は、車両９の左側が先行してユーザに示されるように、基準方向を「右回り」にすることが望ましい（図７参照。）。

【0080】

一方、物体検出装置７が物体を検出した場合は（ステップＳ１２にてＹｅｓ）、方向決定部２０ｄは、物体検出装置７が複数の物体を検出したか否かを判定する（ステップＳ１３）。

【0081】

物体検出装置７が一つの物体のみを検出した場合は（ステップＳ１３にてＮｏ）、方向決定部２０ｄは、物体検出装置７の検出結果に含まれる当該物体の位置に基づいて、周回動画の周回方向を決定する（ステップＳ１６）。

【0082】

続いて、画像生成装置２は表示装置３に周回動画を表示させる（ステップＳ１８）。この周回動画の表示に際して、視点制御部２０ａは、ステップＳ１６で方向決定部２０ｄが決定した周回方向に従って仮想視点ＶＰを変更する。これにより、車両９の左側及び右側のうち物体が存在する側が、先行してユーザに示される。

【0083】

物体が車両９の左側の領域に存在する場合は、方向決定部２０ｄは、周回動画の周回方向を「右回り」に決定する（図７参照。）。これにより、周回動画においては、物体が存在する車両９の左側が先行してユーザに示される。一方、物体が車両９の右側の領域に存在する場合は、方向決定部２０ｄは、周回動画の周回方向を「左回り」に決定する（図９参照。）。これにより、周回動画においては、物体が存在する車両９の右側が先行してユーザに示される。

【0084】

このように、方向決定部２０ｄは、物体検出装置７が検出した物体の位置に基づいて、周回動画の周回方向を決定する。このため、周回動画を視認したユーザは、車両９の周辺に存在する物体を速やかに確認することができる。

【0085】

なお、車両９の前方中央または後方中央に物体が存在するなどにより、車両９の左側及び右側のいずれの領域に物体が存在しているかを判断しにくい場合は、方向決定部２０ｄは、周回動画の周回方向を基準方向に決定すればよい。

【0086】

また、物体検出装置７が複数の物体を検出した場合は（ステップＳ１３にてＹｅｓ）、危険度導出部２０ｃが、検出された複数の物体それぞれの危険度を導出する（ステップＳ１４）。物体の危険度は、当該物体が車両９と接触する可能性の程度を示すパラメータであり、危険度が大きいほど車両９と接触する可能性が高くなる。危険度導出部２０ｃは、複数の物体それぞれの位置に基づいて、複数の物体それぞれの危険度を導出する（詳細は後述。）。

【0087】

次に、方向決定部２０ｄは、検出された複数の物体のうち危険度が最大となる物体を選択し、選択した物体の位置に基づいて周回動画の周回方向を決定する（ステップＳ１５）。

【0088】

続いて、画像生成装置２は表示装置３に周回動画を表示させる（ステップＳ１８）。この周回動画の表示に際して、視点制御部２０ａは、ステップＳ１５で方向決定部２０ｄが決定した周回方向に従って仮想視点ＶＰを変更する。これにより、車両９の左側及び右側のうち危険度が最大となる物体が存在する側が、先行してユーザに示される。すなわち、車両９と接触する可能性が最も高い物体が、他の物体と比較して優先的にユーザに示されることになる。

【0089】

危険度が最大の物体が車両９の左側の領域に存在する場合は、方向決定部２０ｄは、周回動画の周回方向を「右回り」に決定する（図７参照。）。これにより、周回動画においては、危険度が最大の物体が存在する車両９の左側が先行してユーザに示される。一方、危険度が最大の物体が車両９の右側の領域に存在する場合は、方向決定部２０ｄは、周回動画の周回方向を「左回り」に決定する（図９参照。）。これにより、周回動画においては、危険度が最大の物体が存在する車両９の右側が先行してユーザに示される。

【0090】

このように、方向決定部２０ｄは、物体検出装置７が検出した複数の物体のうち危険度が最も高い物体の位置に基づいて、周回動画の周回方向を決定する。このため、周回動画を視認したユーザは、車両９と接触する可能性が最も高い物体を速やかに確認することができる。

【0091】

＜１−６．危険度＞
次に、物体検出装置７が複数の物体を検出した場合に、危険度導出部２０ｃが導出する物体の危険度について説明する。危険度導出部２０ｃは、車両９が走行すると予測される予測進路を導出し、予測進路に基づいて危険度を導出する。

【0092】

予測進路は、車両９がクリープ現象で走行した場合において所定時間（例えば、３秒間）に進行すると予測される領域である。危険度導出部２０ｃは、信号受信部２６が取得する車両９のシフトポジション及び舵角に基づいて予測進路を導出する。

【0093】

例えば、シフトポジションがドライブであり、ステアリングホイールが中立位置である場合は、図１２に示すように、危険度導出部２０ｃは、車両９の前方に直線的に拡がる予測進路Ｒ１を導出する。また例えば、シフトポジションがドライブであり、ステアリングホイールが中立位置から左側に回転している場合は、図１３に示すように、危険度導出部２０ｃは、車両９の左側及び車両９の前方左側に拡がる予測進路Ｒ１を導出する。また例えば、シフトポジションがリバースであり、ステアリングホイールが中立位置から左側に回転している場合は、図１４に示すように、危険度導出部２０ｃは、車両９の右側及び車両９の後方左側に拡がる予測進路Ｒ１を導出する。

【0094】

このようなシフトポジション及び舵角と予測進路Ｒ１との関係は、予め導出されて、車両データ２７ｂの一部として記憶部２７に記憶されている。このため、危険度導出部２０ｃは、車両９のシフトポジション及び舵角に基づいて車両データ２７ｂを参照することで予測進路Ｒ１を導出できる。

【0095】

危険度導出部２０ｃは、このような予測進路Ｒ１を導出すると、この予測進路Ｒ１と、物体検出装置７が検出した複数の物体それぞれの位置とに基づいて、複数の物体それぞれの危険度を導出する。

【0096】

危険度導出部２０ｃは、図１２から図１４に示すように、予測進路Ｒ１と、現時点の車両９が存在する領域である車両領域Ｒ０とで形成される判定領域Ｒ２を設定する。そして、危険度導出部２０ｃは、物体の位置から判定領域Ｒ２までの距離に応じて危険度を導出する。危険度導出部２０ｃは、物体の位置から判定領域Ｒ２までの距離が小さいほど、危険度を大きくする。

【0097】

図１５から図１８は、危険度の導出例を示す図である。これらの図に示した例においては、車両９の左側及び右側の双方の領域に物体ＯＬ，ＯＲが存在している。

【0098】

図１５は、シフトポジションがドライブであり、ステアリングホイールが中立位置である場合を示している。図１５の場合においては、判定領域Ｒ２までの距離は、右側の物体ＯＲの方が左側の物体ＯＬと比較して小さい。このため、危険度導出部２０ｃは、右側の物体ＯＲの危険度を左側の物体ＯＬと比較して大きくする。

【0099】

したがって、図１５の場合は、周回動画の表示において危険度が大きな右側の物体ＯＲが優先的にユーザに示されるように、方向決定部２０ｄは周回動画の周回方向を「左回り」に決定する（矢印ＡＲ２）。

【0100】

また、図１６は、シフトポジションがドライブであり、ステアリングホイールが中立位置から左側に回転している場合を示している。図１６の場合においては、車両領域Ｒ０までの距離は、左側の物体ＯＬと右側の物体ＯＲとで同一である。しかしながら、左側の物体ＯＬは予測進路Ｒ１に含まれており、判定領域Ｒ２までの距離は左側の物体ＯＬの方が右側の物体ＯＲと比較して小さい。このため、危険度導出部２０ｃは、左側の物体ＯＬの危険度を右側の物体ＯＲと比較して大きくする。

【0101】

したがって、図１６の場合は、周回動画の表示において危険度が大きな左側の物体ＯＬが優先的にユーザに示されるように、方向決定部２０ｄは周回動画の周回方向を「右回り」に決定する（矢印ＡＲ１）。

【0102】

また、図１７は、シフトポジションがドライブであり、ステアリングホイールが中立位置から右側に回転している場合を示している。図１７の場合においては、車両領域Ｒ０までの距離は、左側の物体ＯＬと右側の物体ＯＲとで同一である。しかしながら、右側の物体ＯＲは予測進路Ｒ１に含まれており、判定領域Ｒ２までの距離は右側の物体ＯＲの方が左側の物体ＯＬと比較して小さい。このため、危険度導出部２０ｃは、右側の物体ＯＲの危険度を左側の物体ＯＬと比較して大きくする。

【0103】

したがって、図１７の場合は、周回動画の表示において危険度が大きな右側の物体ＯＲが優先的にユーザに示されるように、方向決定部２０ｄは周回動画の周回方向を「左回り」に決定する（矢印ＡＲ２）。

【0104】

また、図１８は、シフトポジションがリバースであり、ステアリングホイールが中立位置から左側に回転している場合を示している。図１８の場合においては、車両領域Ｒ０までの距離は、左側の物体ＯＬと右側の物体ＯＲとで同一である。しかしながら、右側の物体ＯＲは予測進路Ｒ１に含まれており、判定領域Ｒ２までの距離は右側の物体ＯＲの方が左側の物体ＯＬと比較して小さい。このため、危険度導出部２０ｃは、右側の物体ＯＲの危険度を左側の物体ＯＬと比較して大きくする。

【0105】

したがって、図１８の場合は、周回動画の表示において危険度が大きな右側の物体ＯＲが優先的にユーザに示されるように、方向決定部２０ｄは周回動画の周回方向を「左回り」に決定する（矢印ＡＲ２）。

【0106】

以上のように、本実施の形態の画像生成装置２においては、画像生成部２２が、複数のカメラで得られた複数の撮影画像を用いて、仮想視点ＶＰからみた車両９の周辺を示す複数の仮想視点画像ＣＰを時間的に連続して生成する。視点制御部２０ａは、複数の仮想視点画像ＣＰが車両９の周囲を周回するように車両９の周辺を示す周回動画となるように、仮想視点ＶＰを時間的に連続して変更する。また、結果取得部２０ｂが車両９の周辺に存在する物体を検出する物体検出装置７の検出結果を取得し、方向決定部２０ｄは物体検出装置７が検出した物体の位置に基づいて周回動画の周回方向を決定する。このため、ユーザが車両９の周辺に存在する物体を速やかに確認することができる。

【0107】

また、危険度導出部２０ｃは、物体検出装置７が複数の物体を検出した場合に、複数の物体それぞれに関して車両９と接触する可能性の程度を示す危険度を導出する。そして、方向決定部２０ｄは、複数の物体のうち危険度が最も高い物体の位置に基づいて周回動画の周回方向を決定する。このため、ユーザが危険度が最も高い物体を速やかに確認することができる。

【0108】

また、危険度導出部２０ｃは、車両９が走行すると予測される予測進路Ｒ１と複数の物体それぞれの位置とに基づいて、複数の物体それぞれの危険度を導出する。このため、複数の物体それぞれの危険度を適切に導出することができる。

【0109】

＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態の画像生成装置２の構成及び動作は、第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。

【0110】

第１の実施の形態では、周回動画の周回速度を一定としていた。これに対して、第２の実施の形態では、車両９の周辺に物体が存在しない場合は周回動画の周回速度を一定とする一方で、車両９の周辺に物体が存在する場合は周回動画の周回速度が物体の位置に応じて変更される。

【0111】

図１９は、第２の実施の形態の周回モードＭ２における仮想視点ＶＰの遷移の例を示す図である。図１９に示す例においては、車両９の左側の区分領域Ａ４に物体ＯＬが存在し、車両９の右側の区分領域Ａ５に物体ＯＲが存在している。

【0112】

この場合においても、視点制御部２０ａは、まず、位置を車両９の後方上部の初期位置Ｐ０とし、視線を車両９の中心に向けた仮想視点ＶＰを設定する。そして、方向決定部２０ｄが決定した周回方向に従って、視点制御部２０ａは、仮想視点ＶＰの位置及び視線の向きを時間的に連続して変更する。図１９の例では、周回動画の周回方向を「右回り」としている。このように視点制御部２０ａが変更する仮想視点ＶＰの位置の移動速度（仮想視点ＶＰの視線の向きの変更速度）が、周回動画の周回速度を規定する。

【0113】

そして、仮想視点ＶＰの視線が物体に向く場合は、視点制御部２０ａは、周回動画の周回速度を基準速度より小さくする。一方で、仮想視点ＶＰの視線が車両９の周囲のうちの物体以外の領域に向く場合は、視点制御部２０ａは、周回動画の周回速度を基準速度より大きくする。基準速度は、車両９の周辺に物体が存在しない場合における周回動画の周回速度である。

【0114】

本実施の形態では、視点制御部２０ａは、物体が存在する区分領域を仮想視点ＶＰの視線が通過する場合は、仮想視点ＶＰの視線が物体に向いていると判断する。一方で、視点制御部２０ａは、物体が存在する区分領域を仮想視点ＶＰの視線が通過しない場合は、仮想視点ＶＰの視線が物体以外の領域に向いていると判断する。

【0115】

図１９の例では、仮想視点ＶＰの位置が初期位置Ｐ０から位置Ｐ１に移動する期間は、仮想視点ＶＰの視線が物体以外の領域に向いている。このため、視点制御部２０ａは、周回動画の周回速度を基準速度より大きくする。

【0116】

また、仮想視点ＶＰの位置が位置Ｐ１から位置Ｐ２に移動する期間は、左側の物体ＯＬが存在する区分領域Ａ４を仮想視点ＶＰの視線が通過する。このため、視点制御部２０ａは、仮想視点ＶＰの視線が左側の物体ＯＬに向いていると判断し、周回動画の周回速度を基準速度より小さくする。

【0117】

また、仮想視点ＶＰの位置が位置Ｐ２から位置Ｐ３に移動する期間は、仮想視点ＶＰの視線が物体以外の領域に向いている。このため、視点制御部２０ａは、周回動画の周回速度を基準速度より大きくする。

【0118】

また、仮想視点ＶＰの位置が位置Ｐ３から位置Ｐ４に移動する期間は、右側の物体ＯＲが存在する区分領域Ａ５を仮想視点ＶＰの視線が通過する。このため、視点制御部２０ａは、仮想視点ＶＰの視線が右側の物体ＯＲに向いていると判断し、周回動画の周回速度を基準速度より小さくする。

【0119】

また、仮想視点ＶＰの位置が位置Ｐ４から初期位置Ｐ０に移動する期間は、仮想視点ＶＰの視線が物体以外の領域に向いている。このため、視点制御部２０ａは、周回動画の周回速度を基準速度より大きくする。

【0120】

このように、仮想視点ＶＰの視線が物体に向く場合は、周回速度を基準速度よりも小さくするため周回動画が示す物体の様子をユーザが詳細に確認することができる。

【0121】

ここで仮に、仮想視点ＶＰの視線が物体以外の領域に向く場合に周回速度を基準速度よりも大きくせずに基準速度とした場合を想定する。この場合においては、仮想視点ＶＰの視線が物体に向く場合に周回速度が基準速度よりも小さくなるため、車両９の周辺に物体が存在しない場合と比較して、周回動画の表示に必要な時間は長くなる。

【0122】

これに対して、第２の実施の形態では、仮想視点ＶＰの視線が物体以外の領域に向く場合は周回速度を基準速度よりも大きくするため、周回動画の表示に必要な時間が長期化することを防止できる。これにより、物体の確認の容易さと、周回動画の表示に必要な時間の非長期化とを両立させることができる。車両９の周辺に物体が存在しない場合と、車両９の周辺に物体が存在する場合とで、周回動画の表示に必要な時間を一定とすることが望ましい。

【0123】

＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態の画像生成装置２の構成及び動作は、第２の実施の形態とほぼ同様であるため、以下、第２の実施の形態との相違点を中心に説明する。

【0124】

第２の実施の形態では、視点制御部２０ａは、仮想視点ＶＰの視線が物体以外の領域に向く場合に周回速度が基準速度よりも大きくなるように、仮想視点ＶＰを変更していた。これに対して、第３の実施の形態では、視点制御部２０ａは、車両９の周囲のうちの物体以外の領域をスキップしつつ物体のみに仮想視点ＶＰの視線が向くように、仮想視点ＶＰを変更する。

【0125】

図２０は、第３の実施の形態の周回モードＭ２における仮想視点ＶＰの遷移の例を示す図である。図２０に示す例においては、車両９の左側の区分領域Ａ４に物体ＯＬが存在し、車両９の右側の区分領域Ａ５に物体ＯＲが存在している。

【0126】

この場合においても、視点制御部２０ａは、まず、位置を車両９の後方上部の初期位置Ｐ０とし、視線を車両９の中心に向けた仮想視点ＶＰを設定する。そして、方向決定部２０ｄが決定した周回方向に従って、視点制御部２０ａは、仮想視点ＶＰの位置及び視線の向きを変更する。図２０の例では、周回動画の周回方向を「右回り」としている。ただし、視点制御部２０ａは、車両９の周囲のうちの物体以外の領域をスキップし、仮想視点ＶＰの視線が物体以外の領域に向かないようにする。

【0127】

仮想視点ＶＰの位置が初期位置Ｐ０から位置Ｐ１までの範囲となる場合は、仮想視点ＶＰの視線が物体に向かない。このため、視点制御部２０ａは、初期位置Ｐ０から位置Ｐ１までの範囲に関しては、仮想視点ＶＰの位置を時間的に連続して移動させずにスキップする。すなわち、視点制御部２０ａは、仮想視点ＶＰの位置を初期位置Ｐ０から位置Ｐ１まで瞬時に移動させる。

【0128】

また、仮想視点ＶＰの位置が位置Ｐ１から位置Ｐ２までの範囲となる場合は、仮想視点ＶＰの視線が左側の物体ＯＬに向く。このため、視点制御部２０ａは、仮想視点ＶＰの位置を位置Ｐ１から位置Ｐ２まで時間的に連続して変更する。この際、ユーザが物体ＯＬを詳細に確認できるように、視点制御部２０ａは周回動画の周回速度を基準速度より小さくすることが望ましい。

【0129】

また、仮想視点ＶＰの位置が位置Ｐ２から位置Ｐ３までの範囲となる場合は、仮想視点ＶＰの視線が物体に向かない。このため、視点制御部２０ａは、位置Ｐ２から位置Ｐ３までの範囲に関しては、仮想視点ＶＰの位置を時間的に連続して移動させずにスキップする。すなわち、視点制御部２０ａは、仮想視点ＶＰの位置を位置Ｐ２から位置Ｐ３まで瞬時に移動させる。

【0130】

また、仮想視点ＶＰの位置が位置Ｐ３から位置Ｐ４までの範囲となる場合は、仮想視点ＶＰの視線が右側の物体ＯＲに向く。このため、視点制御部２０ａは、仮想視点ＶＰの位置を位置Ｐ３から位置Ｐ４まで時間的に連続して変更する。この際、ユーザが物体ＯＲを詳細に確認できるように、視点制御部２０ａは周回動画の周回速度を基準速度より小さくすることが望ましい。

【0131】

また、仮想視点ＶＰの位置が位置Ｐ４から初期位置Ｐ０までの範囲となる場合は、仮想視点ＶＰの視線が物体に向かない。このため、視点制御部２０ａは、位置Ｐ４から初期位置Ｐ０までの範囲に関しては、仮想視点ＶＰの位置を時間的に連続して移動させずにスキップする。すなわち、視点制御部２０ａは、仮想視点ＶＰの位置を位置Ｐ４から初期位置Ｐ０まで瞬時に移動させる。

【0132】

このように第３の実施の形態においては、視点制御部２０ａは、車両９の周囲のうちの物体以外の領域をスキップしつつ物体のみに仮想視点ＶＰの視線が向くように、仮想視点ＶＰを変更する。このため、周回動画の表示に必要な時間を短縮することができる。

【0133】

＜４．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

【0134】

上記実施の形態では、仮想視点ＶＰの位置を車両９の外部に設定し、視点制御部２０ａが車両９の周囲を周回するように仮想視点ＶＰの位置を時間的に連続して移動させることで周回動画を表示させていた。これに対して、図２１に示すように、仮想視点ＶＰの位置を車両９の車室９１の内部に設定し、視点制御部２０ａが仮想視点ＶＰの視線の向きを時間的に連続して変更することで、周回動画を表示させてもよい。この場合も、仮想視点ＶＰの視線（仮想視点画像ＣＰの中心に示される領域）が車両９の周囲を周回する。

【0135】

この場合において例えば、仮想視点ＶＰの位置を運転席の位置Ｐ９に設定すれば、図２２に示すように、ドライバの視点からみた複数の仮想視点画像ＣＰを生成することができる。これらの複数の仮想視点画像ＣＰは、時間的に連続して表示装置３に表示されることで、車両９の周囲を周回するように車両９の周辺を示す周回動画となる。この場合においても、方向決定部２０ｄは、物体検出装置７が検出した物体の位置に基づいて周回動画の周回方向を決定する。図２１に示すように、視点制御部２０ａが仮想視点ＶＰの視線の向きを変更する変更方向（矢印ＡＲ３，ＡＲ４）が、周回動画の周回方向を規定する。

【0136】

また、このように仮想視点ＶＰの位置を車両９の車室９１の内部に設定する場合において、仮想視点ＶＰの視線の向きに応じて仮想視点ＶＰの位置を移動させてもよい。例えば、仮想視点ＶＰの視線が車両９の後方へ向く場合は、仮想視点ＶＰの位置を車両９の車室９１の後方へ移動させてもよい。

【0137】

また、上記実施の形態では、危険度導出部２０ｃは、予測進路Ｒ１を導出する際における車両９の左右の進行方向を舵角に基づいて判断していたが、舵角に代えて、あるいは、舵角に加えて車両９の方向指示器が指し示す方向に基づいて車両９の左右の進行方向を判断してもよい。

【0138】

また、上記実施の形態では、クリアランスソナー７２を含む物体検出装置７が車両９の周辺に存在する物体を検出していた。これに対して、例えば、レーダーによる物体検出や、撮影画像に基づく物体認識などの他の手法によって、車両９の周辺に存在する物体を検出してもよい。

【0139】

また、上記実施の形態では、仮想視点ＶＰの初期位置Ｐ０は車両９の後方上部としていたが、車両９の前方上部など他の位置であってもよい。

【0140】

また、上記実施の形態では、周回動画が車両９の周囲を一周するようにして車両９の周辺を示していたが、一周未満であってもよく、一周を超えてもよい。

【0141】

また、上記実施の形態では、画像生成装置２を含む画像表示システム１０は車両９に搭載される装置として説明したが、車両に持ち込んで使用可能なスマートフォンなどの可搬性のコンピュータであってもよい。

【0142】

また、上記実施の形態において一つのブロックとして説明した機能は必ずしも単一の物理的要素によって実現される必要はなく、分散した物理的要素によって実現されてよい。また、上記実施の形態で複数のブロックとして説明した機能は単一の物理的要素によって実現されてもよい。また、車両内の装置と車両外の装置とに任意の一つの機能に係る処理を分担させ、これら装置間において通信によって情報の交換を行うことで、全体として当該一つの機能が実現されてもよい。

【0143】

また、上記実施の形態においてプログラムの実行によってソフトウェア的に実現されると説明した機能の全部又は一部は電気的なハードウェア回路により実現されてもよく、ハードウェア回路によって実現されると説明した機能の全部又は一部はソフトウェア的に実現されてもよい。また、上記実施の形態において一つのブロックとして説明した機能が、ソフトウェアとハードウェアとの協働によって実現されてもよい。

【符号の説明】

【0144】

２ 画像生成装置
２２ 画像生成部
２０ａ 視点制御部
２０ｂ 結果取得部
２０ｃ 危険度導出部
２０ｄ 方向決定部
ＯＬ 物体
ＯＲ 物体
ＶＰ 仮想視点

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】