特許 7318265 画像生成装置および画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-24

(45)【発行日】2023-08-01

(54)【発明の名称】画像生成装置および画像生成方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230725BHJP

   G06T 19/00 20110101ALI20230725BHJP

   G06T 15/04 20110101ALI20230725BHJP

   B60R 1/00 20220101ALI20230725BHJP

   B60R 11/02 20060101ALI20230725BHJP

【ＦＩ】

H04N7/18 J

G06T19/00 A

G06T15/04

B60R1/00

B60R11/02 C

【請求項の数】 3

(21)【出願番号】P 2019062650

(22)【出願日】2019-03-28

(65)【公開番号】P2020162089

(43)【公開日】2020-10-01

【審査請求日】2021-11-17

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】100106149

【弁理士】

【氏名又は名称】矢作 和行

(74)【代理人】

【識別番号】100121991

【弁理士】

【氏名又は名称】野々部 泰平

(74)【代理人】

【識別番号】100145595

【弁理士】

【氏名又は名称】久保 貴則

(72)【発明者】

【氏名】伊井野 将嘉

(72)【発明者】

【氏名】▲高▼田 道弘

(72)【発明者】

【氏名】前田 真由子

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２０１５－０７５９６６（ＪＰ，Ａ）

【文献】特開２０１８－０５６７９４（ＪＰ，Ａ）

【文献】特開２０１４－０６８３０８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ １９／００

Ｇ０６Ｔ １５／０４

Ｂ６０Ｒ １／００

Ｂ６０Ｒ １１／０２

(57)【特許請求の範囲】

【請求項1】

車両に搭載されたカメラの撮影画像を取得する画像取得部と、
一部の領域の明るさが他の領域の明るさとは異なる光沢を持たせた前記車両を示す自車両データを記憶する記憶部と、
前記撮影画像から、前記車両および前記車両の周辺領域を仮想視点からみた周辺画像を生成する俯瞰画像生成部と、
３次元形状の自車両像を生成する３Ｄ画像生成部と、
前記周辺画像に前記自車両像を重畳した合成画像を生成する画像合成部と、
を備え、
前記３Ｄ画像生成部は、前記記憶部から読み込んだ前記自車両データから３次元形状の前記自車両像を生成するものであって、
前記仮想視点は、複数箇所の中から選択的に設定可能に構成されており、
前記記憶部には、設定可能な前記仮想視点のそれぞれに対応する前記自車両データとして、それぞれ異なる位置に光沢が付与された複数の前記自車両データが保存されており、
前記３Ｄ画像生成部は、表示要求される前記仮想視点の位置に応じて、前記自車両像の生成に使用する前記自車両データを変更することを特徴とする画像生成装置。

【請求項2】

前記車両に関する車両情報を取得する信号受信部を備え、
前記車両情報に応じて前記記憶部から読み出す前記自車両データを変更することを特徴とする請求項１に記載の画像生成装置。

【請求項3】

（ａ）車両に搭載されたカメラの撮影画像を取得する工程と、
（ｂ）設定可能な仮想視点のうち、表示要求される前記仮想視点を取得する工程と、
（ｃ）前記車両を示す自車両データとして車体においてそれぞれ異なる位置に光沢が付与された複数の前記自車両データが保存されている記憶部から、表示要求される前記仮想視点に応じた前記自車両データを読み出す工程と、
（ｄ）前記撮影画像から、前記車両および前記車両の周辺領域を前記仮想視点からみた周辺画像を生成する工程と、
（ｅ）前記工程（ｃ）で読み出した前記自車両データを用いて３次元形状の自車両像を生成する工程と、
（ｆ）前記周辺画像に前記自車両像を重畳した合成画像を生成する工程と、
を含む画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両において画像を生成して表示させる技術に関する。

【背景技術】

【0002】

従来、画像生成装置は、車両（主に車両のユーザであるドライバが乗車する車両、以下「自車両」という。）の周辺を当該自車両に備えた複数のカメラで撮影し、その撮影画像に基づいて自車両周辺の画像を生成する。そして、周辺画像に自車両の車両像（以下、「自車両像」という。）を重畳した合成画像が表示装置に表示される。

【0003】

自車両像はポリゴン（三角形や四角形といった多角形）の集合体で仮想３次元空間上にポリゴンモデル、つまり３次元モデルとして表現される。また、３次元モデルに対して質感を出すためにテクスチャを施して見栄えを良くする処理が一般的に知られている。テクスチャとは、３次元モデルを背景などに貼り付けることで質感や雰囲気を表現するための画像やパターンのことである。また、自車両像を作成した後に自車両像に対して視点角度に応じて光量を変える処理を行うことで見栄えを良くするライティング処理も知られている。

【0004】

特許文献１に係る発明は、ゲーム等において仮想的な３次元空間であるオブジェクト空間内の所与の視点（仮想カメラ）から見える画像を生成する際に、影やハイライト（ライティング含む）等を用いてリアルに表現することを目的としている。そのために、特許文献１に係る発明は、影オブジェクトや、ハイライトを表すためのハイライトオブジェクトを予め用意する。特許文献１に係る発明は、これらのオブジェクトを、道路、車などのオブジェクトの一部の上に重ねて配置することで、影やハイライトを表現する。

【0005】

これにより、ハイライト用テクスチャがマッピングされるようになることで、ハイライトの領域だけが明るく表示されるような画像を表示できる。また、視点変換に応じてジオメトリ処理（座標変換、透視変換等）を施した画像を重ねて配置することが特許文献１には開示されている。

【0006】

特許文献１に係る画像生成方法は、元絵のテクスチャと投影テクスチャとがマルチテクスチャマッピングされたオブジェクトを、任意の位置、任意の方向から見た場合の画像を生成できる。これにより、ハイライトや影等のリアルな表現が可能になり、画像のリアル度を高めることができる。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２００１－８４３９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかし、ゲーム等の電子機器では３Ｄ演算用のリソースを潤沢に搭載しているが、これに比べて車両に搭載された電子機器ではＣＰＵの演算量は少なくなる。よって、高度な演算が必要となるハイライト（ライティング）処理を車両で行うには計算量が多すぎて描画処理が間に合わなくなることがあった。

【0009】

本発明は、以上のような課題に鑑みてなされたものであり、その目的とするところは、演算量を抑えつつ、ライティングと同等の見栄えを確保したリアルな自車両の表現を可能にする画像生成装置および画像生成方法を提供することにある。

【課題を解決するための手段】

【0010】

上記課題を解決するため、本発明は、車両に搭載されたカメラの撮影画像を取得する画像取得部と、一部の領域の明るさが他の領域の明るさとは異なる光沢を持たせた前記車両を示す自車両データを記憶する記憶部と、前記撮影画像から、前記車両および前記車両の周辺領域を仮想視点からみた周辺画像を生成する俯瞰画像生成部と、３次元形状の自車両像を生成する３Ｄ画像生成部と、前記周辺画像に前記自車両像を重畳した合成画像を生成する画像合成部と、を備え、前記３Ｄ画像生成部は、前記記憶部から読み込んだ前記自車両データから３次元形状の前記自車両像を生成するものであって、前記仮想視点は、複数箇所の中から選択的に設定可能に構成されており、前記記憶部には、設定可能な前記仮想視点のそれぞれに対応する前記自車両データとして、それぞれ異なる位置に光沢が付与された複数の前記自車両データが保存されており、前記３Ｄ画像生成部は、表示要求される前記仮想視点の位置に応じて、前記自車両像の生成に使用する前記自車両データを変更する。

【発明の効果】

【0011】

本発明によれば、映像の品質を確保しつつ演算量を削減することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施の形態に係る画像表示システムの構成を示す機能ブロック図である。

【図2】４つのカメラがそれぞれ撮影する方向を示す図である。

【図3】周辺画像、自車両像、および、合成画像を説明する図である。

【図4】自車両データのポリゴンモデルのイメージと、ポリゴンモデルを２次元平面に展開した状態を示す図である。

【図5】２次元のテクスチャのイメージと、これを２次元平面に展開されたポリゴンに貼り付けたことを示す図である。

【図6】車両像のライティングと非ライティングのイメージである。

【図7】画像生成装置が行う映像処理を説明する図である。

【図8】ＣＰＵバス構成の一例を示す図である。

【発明を実施するための形態】

【0013】

以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。

【0014】

＜１.構成＞
図１は、画像表示システム１の構成を示す図である。この画像表示システム１は、乗用車、トラック、バス、作業用車両等、様々な車両のユーザ（以下、「ドライバ」と称する）が乗車する車両７において用いられる。そして、ドライバに対して自車両の周辺の領域を示す画像（以下、「周辺画像ＡＰ」という。）を生成して車室内に表示する機能を有している。これによりドライバは自車両の周辺の様子を車室内において即座に把握可能となる。

【0015】

図１に示すように、画像表示システム１は、画像生成装置２、表示装置３、操作ボタン４１、車両用センサ５、複数のカメラ６を備えている。

【0016】

複数のカメラ６の各々は、自車両７に搭載される。複数のカメラ６の各々は、車両７の周辺を撮影して撮影画像を生成し、生成した撮影画像を画像生成装置２に出力する。画像生成装置２は自車両７の周辺を示す撮影画像を用いて自車両７の車両像（以下、「自車両像７Ａ」という。）を含む周辺画像である合成画像を生成する。

【0017】

図２は、複数のカメラ６を構成する４つのカメラ６Ｆ，６Ｂ，６Ｌ，６Ｒがそれぞれ撮影する方向を示す図である。フロントカメラ６Ｆは、自車両７の前端に設けられ、その光軸６Ｆａは自車両７の前方方向に向けられる。リアカメラ６Ｂは、自車両７の後端に設けられ、その光軸６Ｂａは自車両７の後方に向けられる。

【0018】

左サイドカメラ６Ｌは左側の左サイドミラーＭＬに設けられ、その光軸６Ｌａは自車両７の左方（自車両７の直進方向の直交方向）に向けられる。また、右サイドカメラ６Ｒは右側の右サイドミラーＭＲに設けられ、その光軸６Ｒａは自車両７の右方（自車両７の直進方向の直交方向）に向けられる。

【0019】

これらのカメラ６Ｆ，６Ｂ，６Ｌ，６Ｒのレンズには魚眼レンズなどの広角レンズが採用され、各カメラ６Ｆ，６Ｂ，６Ｌ，６Ｒは１８０度以上の画角θを有している。このため、４つのカメラ６Ｆ，６Ｂ，６Ｌ，６Ｒを利用することで、自車両７の全周囲を撮影することが可能である。

【0020】

図１に戻り、表示装置３は、例えば、液晶などの薄型の表示パネル３１を備えており、各種の情報や画像を表示する。表示装置３は、ドライバがその画面を視認できるように、自車両７のインストルメントパネルなどに配置される。

【0021】

表示装置３は、画像生成装置２と同一のハウジング内に配置されて画像生成装置２と一体化されていてもよく、画像生成装置２とは別体の装置であってもよい。表示装置３は、表示パネル３１に重ねてタッチパネル３２を備えており、ドライバの操作を受け付けることが可能である。

【0022】

操作ボタン４１は、ドライバの操作を受け付ける操作部材である。操作ボタン４１は、例えば、自車両７のステアリングホイールに設けられており、主にドライバからの操作を受け付ける。ドライバは、この操作ボタン４１と表示装置３のタッチパネル３２とを介して画像表示システム１に対する各種の操作を行うことができる。

【0023】

なお、以下では、この操作ボタン４１と、表示装置３のタッチパネル３２を操作部４という。操作部４によりドライバの操作がなされた場合は、その操作の内容を示す操作信号が画像生成装置２に入力される。ドライバの操作は周辺画像の視点変更要求を含む。

【0024】

車両用センサ５は、自車両７の状態を示す情報を取得するセンサである。シフトセンサ５１は、自車両７の変速装置のシフトレバーの位置であるシフトポジションを示す信号を取得し信号受信部２６に出力する。また、車速センサ５２は、自車両７の車軸の回転数に基づいて自車両７の速度に応じた信号を取得して信号受信部２６に出力する。計時部５３は、現在の日時及び時刻情報を取得して信号受信部２６に出力する。計温部５４は、車両の温度情報を取得して信号受信部２６に出力する。

【0025】

画像生成装置２は、表示装置３、操作部４、車両用センサ５、複数のカメラ６を制御する画像表示システム１の制御装置である。画像生成装置２は、制御部２１と、記憶部２２と、画像取得部２３と、画像出力部２４と、操作受付部２５と、信号受信部２６とを主に備えている。

【0026】

記憶部２２は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部２２は、ファームウェアとしてのプログラム２２１や、周辺画像、および、合成画像を生成するときに用いる各種のデータを記憶する。また、記憶部２２は、周辺画像の生成に用いられる他のデータとして、複数の仮想視点および視線方向を含むデータである仮想視点データ２２２があり俯瞰画像生成部２２１で使用される。また、記憶部２２は、前述した自車両像７Ａを生成する際に用いられる自車両データ２２３が記憶されている。

【0027】

画像取得部２３は、４つのカメラ６Ｆ，６Ｂ，６Ｌ，６Ｒでそれぞれ得られた撮影画像のデータを取得する。画像取得部２３は、アナログの撮影画像をデジタルの撮影画像に変換する機能などの画像処理機能を有している。画像取得部２３は、取得した撮影画像のデータに所定の画像処理を行い、処理後の撮影画像のデータを制御部２１に出力する。

【0028】

画像出力部２４は、制御部２１で生成された合成画像を表示装置３に出力して表示画像として表示装置３に表示させる。

【0029】

操作受付部２５は、操作部４から出力されるドライバの視点変更要求を含む操作信号を入力し、ドライバの操作信号を制御部２１に出力する。制御部２１は、ドライバの操作要求に応じた視点の自車両像７Ａを生成することができる。

【0030】

信号受信部２６は、画像生成装置２とは別に自車両７に設けられる車両用センサ５から車両情報を受信して、制御部２１に出力する。信号受信部２６は、例えば、自車両７の変速装置のシフトレバーの位置であるシフトポジションを示す信号をシフトセンサ５１から受信する。信号受信部２６は、シフトポジションを示す信号を制御部２１に出力する。

【0031】

信号受信部２６は、自車両７の車軸の回転数に基づいて自車両７の速度に応じた信号を車速センサ５２から受信する。信号受信部２６は、自車両７の速度に応じた信号を制御部２１に出力する。

【0032】

また、信号受信部２６は、現在時刻に関する情報を計時部５３から受信して制御部２１に出力する。そして、信号受信部２６は、現在時刻に関する情報を制御部２１に出力する。信号受信部２６は、自車両７の周辺の温度に関する情報を計温部５４から受信して、制御部２１に出力する。そして、信号受信部２６は、自車両７の周辺の温度に関する情報を制御部２１に出力する。

【0033】

制御部２１は、例えば、ＣＰＵ、ＲＡＭ、および、ＲＯＭなどを備えたマイクロコンピュータであり、画像生成装置２の全体、つまり記憶部２２と、画像取得部２３と、画像出力部２４と、操作受付部２５と、信号受信部２６を統括的に制御する。制御部２１の各種の機能は、記憶部２２に記憶されたプログラム２２１等に従ってＣＰＵが演算処理を行うことで実現される。制御部２１は、俯瞰画像生成部２１１と、３Ｄ画像生成部２１２と、画像合成部２１３と、を備えている。

【0034】

制御部２１は、操作受付部２５からドライバの操作信号を入力し、ドライバの操作要求に応じた視点の自車両像７Ａを生成する。制御部２１は、信号受信部２６からのシフト信号を受信して自車両７の進行方向が前方あるいは後方のいずれであるかを判定する。制御部２１は、信号受信部２６から車速情報を受信して現時点の車両速度を演算する。制御部２１は、信号受信部２６から計時部５３の時刻情報を受信して現在時刻を把握する。制御部２１は、信号受信部２６からの温度情報から自車両７の周辺の温度状況を把握する。

【0035】

俯瞰画像生成部２１１は、複数のカメラ６により生成された撮影画像を画像取得部２３から取得する。俯瞰画像生成部２１１は、その取得した撮影画像を用いて、仮想視点からみた自車両７の周辺の様子を示す周辺画像を生成する。仮想視点は、自車両７の外部の位置から自車両７を俯瞰する俯瞰視点や、その他ドライバにとって死角となる自車両７の周辺の視点である。

【0036】

３Ｄ画像生成部２１２は、記憶部２２から自車両データ２２３を読み出して周辺画像に重畳する自車両７の車両像である自車両像７Ａを生成する。ここで自車両像７Ａは、後述する自車両７のポリゴンモデルＰＧの全面に対してテクスチャＴＸが貼りつけられたものを一つの仮想視点から見た画像として生成される車両像である。自車両像７Ａは、一部の領域の明るさが他の領域の明るさとは異なる光沢をもって表示される。

【0037】

自車両データは記憶部２２に複数用意されても良く、ドライバの選択や環境などの条件に応じて適宜選択されて記憶部２２から読み出される。その場合、自車両像７Ａは読み出された自車両データ２２３に基づいて３Ｄ画像生成部により生成される。

【0038】

画像合成部２１３は、３Ｄ画像生成部２１２で生成した自車両像７Ａを俯瞰画像生成部２１１で生成された周辺画像に重畳することにより合成画像を生成する。生成された合成画像は、画像出力部２４に出力される。このようにして、制御部２１は自車両７の周辺の状況を示す周辺画像、自車両７の車両像である自車両像７Ａ、および、周辺画像に自車両像７Ａを重畳した合成画像等を生成する。

【0039】

＜２．合成画像の生成＞
次に、合成画像生成部２１３が、周辺画像ＡＰに自車両像７Ａを重畳した合成画像を生成する手法について説明する。図３は、周辺画像ＡＰ、自車両像７Ａ、および、合成画像を説明する図である。

【0040】

先ず、フロントカメラ６Ｆ、リアカメラ６Ｂ、左サイドカメラ６Ｌ、及び右サイドカメラ６Ｒの各々が車両７周辺を撮影すると、車両７の前方、後方、左方、及び右方を示す４つの画像ＡＰ（Ｆ）、ＡＰ（Ｂ）、ＡＰ（Ｌ）、ＡＰ（Ｒ）が画像取得部２３で取得される。これら４つの画像は、車両７の全周囲を示す画像データを含む。

【0041】

俯瞰画像生成部２１１は、これら４つの画像ＡＰ（Ｆ）、ＡＰ（Ｂ）、ＡＰ（Ｌ）、ＡＰ（Ｒ）に含まれるデータ（各画素の値）を、仮想的な三次元空間における立体曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば、略半球状（お椀形状）である。この投影面ＴＳの中心部（お椀の底部分）は、車両７の存在位置である。また、投影面ＴＳの中心部以外の部分は、画像ＡＰ（Ｆ）、ＡＰ（Ｂ）、ＡＰ（Ｌ）、ＡＰ（Ｒ）のいずれかと対応付けられる。

【0042】

俯瞰画像生成部２１１は、投影面ＴＳの中心部以外の部分に、周辺画像ＡＰ（Ｆ）、ＡＰ（Ｂ）、ＡＰ（Ｌ）、ＡＰ（Ｒ）を投影する。俯瞰画像生成部２１１は、投影面ＴＳにおける車両７前方に相当する領域にフロントカメラ６Ｆの画像ＡＰ（Ｆ）を投影し、車両７後方に相当する領域にリアカメラ６Ｂの画像ＡＰ（Ｂ）を投影する。さらに、俯瞰画像生成部２１１は、投影面ＴＳにおける車両７左側方に相当する領域に左サイドカメラ６Ｌの画像ＡＰ（Ｌ）を投影し、車両７右側方に相当する領域に右サイドカメラ６Ｒの画像ＡＰ（Ｒ）を投影する。これにより、車両７全周囲の領域を示す周辺画像ＡＰが生成される。すなわち、周辺画像ＡＰは画像ＡＰ（Ｆ）、ＡＰ（Ｂ）、ＡＰ（Ｌ）、ＡＰ（Ｒ）のいずれかから生成される画像である。

【0043】

次に、俯瞰画像生成部２１１は、操作部４で受け付けたドライバの視点要求から三次元空間における任意の視点位置から任意の視点方向に向けた仮想視点ＶＰを設定する。ＶＰの例としては図３で示すＶＰ（ＶＰｔ）、ＶＰ（ＶＰｂ）、ＶＰ（ＶＰｌ）がありドライバの視点要求に応じて設定される。そして、投影面ＴＳのうち、設定した仮想視点ＶＰからみた視野角に含まれる領域に投影された画像データを切り出す。切り出した画像データにより、仮想視点ＶＰからみた車両７周辺の領域を示す周辺画像ＡＰが生成される。

【0044】

３Ｄ画像生成部２１２は、記憶部２２から自車両データ２２３を読み出し、仮想視点ＶＰからみた車両７の自車両像７Ａを生成する。そして、画像合成部２１３は仮想視点ＶＰからみた車両７周辺の領域を示す周辺画像ＡＰに自車両像７Ａを合成し、合成画像ＣＰを生成する。

【0045】

画像合成部２１３は、視点位置を車両７の直上、視野方向を直下とした仮想視点ＶＰｔを設定した場合、周辺画像ＡＰ（Ｆ）、ＡＰ（Ｂ）、ＡＰ（Ｌ）、ＡＰ（Ｒ）及び自車両像７Ａを用いて、車両７及び車両７の周辺領域を俯瞰する合成画像ＣＰｔを生成する。合成画像ＣＰｔは、車両７を直上から見下ろしたような画像であり、車両７周囲の領域を示す。操作部４から特に視点位置の要求が無ければ合成画像ＣＰｔを表示する。

【0046】

また、画像合成部２１３は、視点位置を車両７の前方上方、視野方向を車両７の後方下向きとした仮想視点ＶＰｂを設定した場合、周辺画像ＡＰ（Ｂ）、ＡＰ（Ｌ）、ＡＰ（Ｒ）及び自車両像７Ａを用いて、車両７及び車両７の周辺領域を俯瞰する合成画像ＣＰｂを生成する。合成画像ＣＰｂは、車両７を前方上方から後方を見下ろしたような画像であり、車両７後方の領域を示す。

【0047】

また、画像合成部２１３は、視点位置を車両７の左斜め後方かつ上方、視野方向を車両７の前方下向きとした仮想視点ＶＰｌを設定した場合、周辺画像ＡＰ（Ｆ）、ＡＰ（Ｌ）、ＡＰ（Ｒ）及び自車両像７Ａを用いて、車両７及び車両７の周辺領域を俯瞰する合成画像ＣＰｌを生成する。合成画像ＣＰｌは、車両７を左斜め後方かつ上方から前方を見下ろしたような画像であり、車両７左側の領域を示す。

【0048】

＜３-１．自車両データの生成＞
次に、図４、図５を用いて記憶部２２に記憶されている自車両データ２２３が作成される手順を説明する。自車両データ２２３の作成手順は主に４つの手順から成り、画像生成装置２とは別の３Ｄ演算が可能な装置で行われる。

【0049】

先に４つの手順の全体の流れを説明する。３Ｄ演算が可能な装置において、最初にポリゴンモデルＰＧを準備する（ステップ１、図４（ａ））。続いて、３Ｄ演算が可能な装置において、ポリゴンモデルＰＧを２次元の平面上（ＵＶ座標）に展開する（ステップ２、図４（ｂ））。そして、３Ｄ演算が可能な装置において、２次元の平面上に展開されたポリゴンモデルＰＧに合うようにテクスチャＴＸを作成する（ステップ３、図５（ａ））。最後に、３Ｄ演算が可能な装置において、これら２次元の平面上に展開されたポリゴンモデルＰＧとテクスチャＴＸとを貼り合わせる（ステップ４、図５（ｂ））。

【0050】

図４は、自車両データのポリゴンモデルのイメージと、ポリゴンモデルとを２次元平面に展開した状態を示す図である。図４を用いて自車両データ２２３が作成される前記各ステップ１～４の手順の詳細を説明する。図４（ａ）で示すようにベースとなるのは自車両像７Ａの基礎となるポリゴンモデルＰＧである。ポリゴンモデルＰＧとは、３次元形状を三角形や四角形の多角形の集合体で表現するモデルであり、主に三角形状のポリゴンが用いられる。

【0051】

図４（ａ）では、説明のため、車両のルーフパネルに対応する領域ＰＧｄとボンネットに対応する領域ＰＧｃとにのみポリゴンモデルＰＧを構成する三角形を示しているが、実際は車両全体が三角形の集合体で構成されている。制御部２１がポリゴンモデルＰＧを仮想空間内で演算により動かすことで立体的な動きを表現可能である。

【0052】

しかし、ポリゴンモデルＰＧだけではデザイン性に乏しくなるため、これに対してテクスチャＴＸを施す処理、いわゆるテクスチャマッピングを行うことで見栄えを向上させる。次からは、テクスチャマッピングについて説明する。

【0053】

＜３－２.テクスチャマッピングの手順＞
図４（ｂ）は、図４（ａ）の仮想的な３次元データであるポリゴンモデルＰＧを二次元の平面上（ＵＶ座標）に展開したものである。展開方法の詳細については省略するが、この手法は既に一般的に知られており、本発明でも一般的な手法を用いて行う。

【0054】

図４（ａ）と展開後の図４（ｂ）の対応を説明する。図４（ａ）において、ポリゴンモデルＰＧのボンネットに対応する領域ＰＧｃは、図４（ｂ）に示す領域ＵＶｃに対応する。

【0055】

同様に、図４（ａ）においてルーフパネルに対応する領域ＰＧｄは、図４（ｂ）に示す領域ＵＶｄに対応する。図４（ａ）に示す領域ＰＧａは、図４（ｂ）に示す領域ＵＶａに対応する。領域ＰＧａは、車両を真上から見下ろした際に見える領域ＰＧｃと領域ＰＧｄを除いたフェンダーやルーフサイドレールを含む。

【0056】

同じように、図４（ａ）においてサイドドアを含む領域ＰＧｅは図４（ｂ）において領域ＵＶｅに対応する。図４（ａ）においてサイドドアを含む領域ＰＧｂは図４（ｂ）において領域ＵＶｂに対応する。

【0057】

ポリゴンモデルＰＧを前面や後面から見た場合や、ミラーやその他の細かい部品については省略して図示していないが、同様に３次元座標を二次元座標に変換可能である。

【0058】

図５は、２次元のテクスチャを２次元平面に展開されたポリゴンに貼り付けたことを示す図である。図５（ａ）では図４（ｂ）のように二次元に展開された領域ＵＶａ～ＵＶｅに対してテクスチャを施す処理を説明する。尚、テクスチャを施すことをテクスチャマッピングとも言う。また、場合によっては実写を取り込んで編集することによってテクスチャが作成される。

【0059】

ここで、本実施の形態ではテクスチャマッピングの際に、ライティングした時に相当する色彩を模したテクスチャを作成し、これをポリゴンの全面に貼り付けることを「疑似ライティング」と称する。

【0060】

＜３－３.疑似ライティング＞
疑似ライティングについて図６を用いてより詳しく説明する。疑似ライティングは、ドライバが自車両像７Ａを視認した時にリアルな質感を演出するために施される。先ず、疑似ライティングが分かり易いように図６（ａ）にて疑似ライティングを施さずにテクスチャのみを施した場合について説明する。

【0061】

図６（ａ）は、ポリゴンのグリルやライトなど一部だけにテクスチャを貼ってライティングしていない車両像を示す。車両像に対して特定の方向から光が当たっているようなライティングの表現がされていないため、立体感が乏しく見栄えが悪い印象を受ける。

【0062】

一方で、図６（ｂ）は車両像の一部ＬＩにライティングを表現した疑似ライティングを施したテクスチャを全面に張り付けた車両像を示す。一般的に現実の屋外にある車両は昼間であれば太陽光を、また、夜間であれば街灯の光を受けて車体の一部が光を反射していることが多い。疑似ライティングはこれを再現したものである。疑似ライティングされている部分は周りのテクスチャに比べて輝度や色合い、α値や透明度などに代表される色彩に関連する情報が明るく描画されている部分である。これにより、疑似ライティング部分に光が当たっているように表現することが可能である。

【0063】

図６（ｂ）の車両像は現実の車両に乗車したドライバの視点から見た場合にドライバの左前部、つまり、左フェンダー、左バンパー、ボンネット左側に相当する車両位置が光っている。このように、車両像を構成するテクスチャにおいて特定部分を光らせることを疑似ライティングと言い、疑似ライティング部分はＬＩである。図６（ａ）と比較して疑似ライティングされている図６（ｂ）は立体的で見栄えが良い車両像となる。

【0064】

自車両データ２２３の作成手順に戻り、図４（ｂ）の領域ＵＶａの形状と同一の形状である図５（ａ）のテクスチャＴＸａが準備される。同様に、図４（ｂ）の領域ＵＶｂの形状と同一の形状である図５（ａ）のテクスチャＴＸｂが準備される。また、図４（ｂ）の形状と同一の形状である図５（ａ）のテクスチャＴＸｃが準備される。また、図４（ｂ）の形状と同一の形状である図５（ａ）のテクスチャＴＸｄが準備される。また、図４（ｂ）の形状と同一の形状である図５（ａ）のテクスチャＴＸｅが準備される。

【0065】

この時に、最終的に図６（ｂ）のような疑似的にライティングされた車両像を作成するために、図５（ａ）のテクスチャＴＸａに領域ＴＬ１が疑似ライティング部分としてテクスチャに描画される。また、図５（ａ）のテクスチャＴＸｃに領域ＴＬ２が疑似ライティング部分としてテクスチャに描画される。また、図５（ａ）のテクスチャＴＸｅに領域ＴＬ３が疑似ライティング部分としてテクスチャに描画される。

【0066】

次に、３Ｄ演算が可能な装置において、ポリゴンにテクスチャを貼り合わせる処理を行う。図４（ｂ）の二次元の平面上（ＵＶ座標）に展開した領域ＵＶａに対して図５（ａ）のテクスチャＴＸａを貼り合わせることで図５（ｂ）のイメージデータＤＩａが作成される。これによりポリゴンモデルＰＧ上の対応する位置にテクスチャがマッピングされたことになる。

【0067】

同様にテクスチャＴＸｂ～ＴＸｅが領域ＵＶｂ～領域ＵＶｅ張り合わされることにより、イメージデータＤＩｂ～ＤＩｅが作成される。これにより、疑似ライティング領域ＴＬ１～ＴＬ３についてもテクスチャとして二次元平面にＤＩ１～ＤＩ３としてマッピングされることとなる。

【0068】

図４、図５を用いて説明したテクスチャマッピングの手順については、画像生成装置２以外の３Ｄ演算ソフトで予め実行されている。そして、作成されたイメージデータＤＩａ～ＤＩｅはオーサリングツール（ＵＩＣ）等にインポートされてデータ変換され画像生成装置２で扱うことのできるデータとなる。そして、オーサリングツール（ＵＩＣ）等で変換されたイメージデータＤＩａ～ＤＩｅは画像生成装置２の記憶部２２に自車両データ２２３として記憶される。そして、画像生成装置２の３Ｄ画像生成部によってユーザから要求された視点に応じて仮想的な３次元形状の自車両像７Ａとして表現される。

【0069】

画像生成装置２の説明に戻る。要求される仮想視点ＶＰａが変化した場合は、それに応じて合成画像における周辺画像ＡＰの視野角が変更され、変化した仮想視点ＶＰａに応じて自車両像７Ａが新たに生成される。その際、自車両像７Ａの疑似ライティングがされている位置も合わせて変更されることになる。

【0070】

例えば、図３の仮想視点ＶＰｌの仮想視点から見た自車両像７Ａの生成が指示された場合、車両を左後方から見た自車両像７Ａが作成される。これにより、自車両像７Ａにおいて疑似ライティングされている位置も移動する。つまり、図６（ｂ）においてＬＩに対応する自車両像７Ａの位置が疑似ライティングされた自車両像７Ａが表示される。

【0071】

このように、仮想視点位置に応じて予め疑似ライティングされている自車両データを３次元形状の自車両像７Ａとして表示するだけでライティングされた自車両像７Ａが生成できる。よって、自車両像７Ａを作成した後にライティングする必要が無いので演算量を削減できる。

【0072】

以上の実施形態では、記憶部２２に記憶させておく自車両データ２２３の疑似ライティング箇所は一つの場合を説明してきた。図６（ｂ）の車両像のように現実の車両に乗車したドライバの視点から見た場合にドライバの左前部、つまり、左フェンダー、左バンパー、ボンネット左側に相当する車両位置が光るように図５（ｂ）のＤＩ１～ＤＩ３が作成される。

【0073】

しかし、別の実施形態として、自車両データ２２３の数は一つではなく視点位置の変更に応じて常に最低１箇所は疑似ライティングされるように記憶部２２に複数記憶させておくことも可能である。ドライバから要求される視点位置が車両を鉛直上向きから見下ろした場合（図３のＶＰｔに相当する視点）に車両中心から前方方向を角度０°とし、時計回りで角度が増加する場合で説明する。視点一周分である角度０°～角度３６０°を８等分して４５°毎の領域に区切る。領域（１）が角度２２．５°～角度４５°、領域（２）が角度４５°～角度６７．５°、・・・と言うようにして最後に領域（８）が角度３３７．５°～角度２２．５°とする。

【0074】

ドライバからの要求視点が領域（１）に該当する角度であれば記憶部２２に記憶された複数の自車両データ２２３から車両の右前が疑似ライティングされた自車両データ２２３を読み出して自車両像７Ａを作成する。同様に、ドライバからの要求視点が領域（２）に該当する角度であれば車両の右側部が疑似ライティングされた自車両データ２２３を読み出して自車両像７Ａを作成する。同様に、ドライバからの要求視点が領域（８）に該当する角度であれば車両の前部が疑似ライティングされた自車両データ２２３を読み出して自車両像７Ａを作成する。

【0075】

このように、８つの領域に分割してドライバから要求される視点位置に応じて異なる箇所が疑似ライティングされた自車両データから自車両像７Ａを作成する。これにより常に自車両像７Ａの一部が疑似ライティングされるように表現することが可能となり、常にライティングと同等の見栄えを確保することが可能となる。

【0076】

＜４．自車両像の表示態様変更＞
これまでの説明では自車両像７Ａの種類については触れていなかったが、リアリティを追求するために複数の自車両像７Ａを状況に応じて使い分けるニーズもある。例えば、昼と夜とでは現実世界でも車両に指す光の具合が異なるため、車両の見え方は異なるものとなる。

【0077】

しかし、自車両像７Ａが１種類のみである場合、自車両像７Ａが周辺画像ＡＰとマッチしないことがある。自車両像７Ａが周辺画像ＡＰと一致しないことは、違和感を搭乗者に生じさせる原因ともなる。そこで、記憶部２２に記憶させておく自車両データ２２３を複数持たせておいて状況に応じて切り替えることも可能である。

【0078】

例えば、画像生成装置２において、昼と夜とで異なる疑似ライティングが施された自車両データ２２３を記憶部２２に記憶させておくことで、これらを切り替えて表示させることが可能となる。制御部２１は、車両センサ５の計時部５３から信号受信部２６を介して制御部２１に入力された時刻情報から、現在が昼であるか夜であるかを判断し、３Ｄ画像生成部２１２が生成する自車両像７Ａを変更することが可能である。

【0079】

制御部２１は昼と夜に限らず、他にも、信号受信部２６を介して計温部５４で取得した温度情報を元にして変更しても良いし、操作部４からドライバの意思で自車両像７Ａの変更を受け付けて変更しても良い。

【0080】

＜５．画像生成装置の処理フロー＞
図７を用いて画像生成装置の処理フローを説明する。図７は画像生成装置が行う映像処理を説明する図である。Ｓ１０１で、画像取得部２３は複数のカメラ６で取得した自車両７の周辺の映像を取得する。次に、Ｓ１０２に移り、操作部４がドライバからの合成画像の視点要求を受け付ける。

【0081】

次に、Ｓ１０３に移り、俯瞰画像生成部２１１が操作部４からの視点要求に応じた周辺画像ＡＰを、画像取得部２３の映像と仮想視点データ２２２とに基づいて生成する。この時、合成画像生成部２１３は、ドライバからの合成画像の視点要求が無ければ自車両を真上から見下ろした視点の周辺画像ＡＰを生成する。

【0082】

次に、Ｓ１０４に移り、３Ｄ画像生成部２１２が、自車両データ２２３に基づいて操作部４からの視点要求に応じた視点位置からみた自車両像７Ａを生成する。この時、３Ｄ画像生成部２１２はドライバからの合成画像の視点要求が無ければ自車両を真上から見下ろした視点の周辺画像ＡＰを生成する。

【0083】

次に、Ｓ１０５に移り、合成画像生成部２１３はＳ１０３で作成した周辺画像ＡＰとＳ１０４で作成した自車両像７Ａを合成して合成画像ＡＳを生成する。次に、Ｓ１０６に移り、制御部２１はＳ１０６で生成した合成画像を表示装置３に出力する。

【0084】

例えば、上記実施の形態（変形例を含む）の各機能ブロックを、ソフトウェアにより実現する場合、図８に示したハードウェア構成（例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入力部、出力部等をバスＢｕｓにより接続したハードウェア構成）を用いて、各機能部をソフトウェア処理により実現するようにしてもよい。

【0085】

以上、詳細に説明したように本実施形態に係る画像生成装置２は、車両に搭載されたカメラの撮影画像を取得する画像取得部と、一部の領域の明るさが他の領域の明るさとは異なる光沢を持たせた前記車両を示す自車両データを記憶する記憶部と、前記撮影画像から、前記車両および前記車両の周辺領域を仮想視点からみた周辺画像を生成する俯瞰画像生成部と、３次元形状の自車両像を生成する３Ｄ画像生成部と、前記周辺画像に前記自車両像を重畳した合成画像を生成する画像合成部と、を備え、前記３Ｄ画像生成部は、前記記憶部から読み込んだ前記自車両データから３次元形状の前記自車両像を生成する。

【0086】

これによれば、映像の品質を確保しつつ演算量を削減することができる。

【0087】

また、本実施形態に係る画像生成装置２は、前記車両に関する車両情報を取得する信号受信部を備え、前記車両情報に応じて前記記憶部から読み出す前記自車両データを変更する。

【0088】

これによれば、表示形態が変更された場合でも見栄えの良い映像を確保しつつ演算量を削減することができる。

【0089】

また、本実施形態に係る画像生成装置２は、前記自車両像は、表示要求される視点の変化に応じて異なる方向から見た車両像として生成され、前記光沢の位置も視点の変化に合わせて移動する。

【0090】

これによれば、視点変更がされた場合でも見栄えの良い映像を確保しつつ演算量を削減することができる。

【0091】

＜変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態、および、以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

【0092】

上記実施の形態において、画像生成装置２の制御部２１によって実現されると説明した機能の一部は、表示装置３の制御部によって実現されてもよい。

【0093】

また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。

【符号の説明】

【0094】

１ 画像表示システム
２ 画像生成装置
２１制御部
２１１俯瞰画像生成部
２１２ ３Ｄ画像生成部
２１３ 画像合成部
２２ 記憶部
２２１ プログラム
２２２ 仮想視点データ
２２３ 自車両データ
２３ 画像取得部
２４ 画像出力部
２５ 操作受付部
２６ 信号受信部
３ 表示装置
３１ 表示パネル
３２ タッチパネル
４１ 操作ボタン
５ 車両用センサ
５１ シフトセンサ
５２ 車速センサ
５３ 計時部
５４ 計温部
６ 複数のカメラ
６Ｆ フロントカメラ
６Ｂ リアカメラ
６Ｌ 左サイドカメラ
６Ｒ 右サイドカメラ
７ 自車両
７Ａ 自車両像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】