特許 7613313 車両用表示装置、車両用表示方法及び車両用表示プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-06

(45)【発行日】2025-01-15

(54)【発明の名称】車両用表示装置、車両用表示方法及び車両用表示プログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20250107BHJP

   B60R 1/20 20220101ALI20250107BHJP

【ＦＩ】

H04N7/18 J

B60R1/20

【請求項の数】 8

(21)【出願番号】P 2021128449

(22)【出願日】2021-08-04

(65)【公開番号】P2023023175

(43)【公開日】2023-02-16

【審査請求日】2023-10-26

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】日隈 友仁

(72)【発明者】

【氏名】窪田 陽介

【審査官】武田 悟

(56)【参考文献】

【文献】特開２０１７－６９８４６（ＪＰ，Ａ）

【文献】特開２０１１－６６７６３（ＪＰ，Ａ）

【文献】特開２０２１－１０３８３１（ＪＰ，Ａ）

【文献】特開２００８－１７３１１（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０１０－０００５９７１（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／２０ － １／３１

(57)【特許請求の範囲】

【請求項1】

自車両の前方、左側方、右側方、及び後方の各々の画像データを取得する複数の撮像部と、
前記複数の撮像部で取得した画像データを、前記自車両の中央上部位置に設定した仮想カメラ位置から下向きに見た視点に変換した後に合成して前記自車両の全周を俯瞰した全周俯瞰合成画像を生成すると共に、前記左側方の画像データと前記後方の画像データと前記右側方の画像データとを合成して広範囲後方画像を、前記左側方の画像データと前記後方の画像データとを合成して左後方画像を、前記後方の画像データと前記右側方の画像データとを合成して右後方画像を、前記自車両の前方の画像データをトリミングして前方画像を、前記自車両の後方の画像データをトリミングして後方画像を、各々生成する画像合成部と、
前記広範囲後方画像、前記左後方画像、前記右後方画像、前記前方画像、及び前記後方画像の各々の生成に供した画像データの前記広範囲後方画像、前記左後方画像、前記右後方画像、前記前方画像、及び前記後方画像における画角を算出する画角抽出部と、
前記広範囲後方画像、前記左後方画像、前記右後方画像、前記前方画像、及び前記後方画像のいずれかを車室内表示部の第１表示領域に表示すると共に、前記第１表示領域に表示された画像に対応した画角を示す情報を前記全周俯瞰合成画像に重畳して前記車室内表示部の第２表示領域に表示するように前記車室内表示部を制御する表示制御部と、
を含み、
前記画像合成部は、前記撮像部で取得した画像データの各々から抽出した前記撮像部の光軸を中心とした所定領域を合成して前記広範囲後方画像、前記左後方画像、及び前記右後方画像の各々を生成する合成処理を行い、当該合成処理で得た画像の境界で画素が未検出の場合は前記所定領域を拡大して画像を合成する前記合成処理を再度行い、前記合成処理で得た画像の境界でモアレを示す画素値の異常を検出した場合は前記所定領域を縮小して画像を合成する前記合成処理を再度行う車両用表示装置。

【請求項2】

前記第１表示領域の表示を変更する切替部を有し、
前記表示制御部は、前記切替部の操作に基づいて、前記第１表示領域の表示を前記広範囲後方画像、前記左後方画像、前記右後方画像、前記前方画像、前記後方画像、及び画像表示なしに変更する請求項１に記載の車両用表示装置。

【請求項3】

前記表示制御部は、前記自車両の方向指示器の操作に応じて前記左後方画像、及び前記右後方画像のいずれかを前記第１表示領域に表示し、前記自車両のトランスミッションがリバースに設定された場合に後方画像を前記第１表示領域に表示する請求項１に記載の車両用表示装置。

【請求項4】

前記表示制御部は、前記第２表示領域に表示する画像を変更した際に、前記第２表示領域に表示する前記全周俯瞰合成画像に、変更後の画像に対応した画角を示す情報を一時的に強調表示する請求項１～３のいずれか１項に記載の車両用表示装置。

【請求項5】

前記表示制御部は、前記第２表示領域に表示する画像を変更した際に、前記第２表示領域に表示する前記全周俯瞰合成画像に、変更後の画像に対応した画角を示す情報を所定時間重畳して表示する請求項１～３のいずれか１項に記載の車両用表示装置。

【請求項6】

前記表示制御部は、前記全周俯瞰合成画像に重畳する各々の画角を各々異なる色で表示し、第１表示領域に表示される画像の各々の画角に対応する領域を、前記全周俯瞰合成画像に重畳した画角と同じ色の線で囲って表示する請求項１～５のいずれか１項に記載の車両用表示装置。

【請求項7】

自車両の前方、左側方、右側方、及び後方の各々の画像データを取得する複数の撮像部で取得した画像データを、前記自車両の中央上部位置に設定した仮想カメラ位置から下向きに見た視点に変換した後に合成して前記自車両の全周を俯瞰した全周俯瞰合成画像を生成すると共に、前記左側方の画像データと前記後方の画像データと前記右側方の画像データとを合成して広範囲後方画像を、前記左側方の画像データと前記後方の画像データとを合成して左後方画像を、前記後方の画像データと前記右側方の画像データとを合成して右後方画像を、前記自車両の前方の画像データをトリミングして前方画像を、前記自車両の後方の画像データをトリミングして後方画像を、各々生成する第１工程と、
前記広範囲後方画像、前記左後方画像、前記右後方画像、前記前方画像、及び前記後方画像の各々の生成に供した画像データの前記広範囲後方画像、前記左後方画像、前記右後方画像、前記前方画像、及び前記後方画像における画角を算出する第２工程と、
前記広範囲後方画像、前記左後方画像、前記右後方画像、前記前方画像、及び前記後方画像のいずれかを車室内表示部の第１表示領域に表示すると共に、前記第１表示領域に表示された画像に対応した画角を示す情報を前記全周俯瞰合成画像に重畳して前記車室内表示部の第２表示領域に表示するように前記車室内表示部を制御する第３工程と、
を含む車両用表示方法であって、
前記第１工程は、前記撮像部で取得した画像データの各々から抽出した前記撮像部の光軸を中心とした所定領域を合成して前記広範囲後方画像、前記左後方画像、及び前記右後方画像の各々を生成する合成処理を行い、当該合成処理で得た画像の境界で画素が未検出の場合は前記所定領域を拡大して画像を合成する前記合成処理を再度行い、前記合成処理で得た画像の境界でモアレを示す画素値の異常を検出した場合は前記所定領域を縮小して画像を合成する前記合成処理を再度行う車両用表示方法。

【請求項8】

コンピュータを、
自車両の前方、左側方、右側方、及び後方の各々の画像データを取得する複数の撮像部で取得した画像データを、前記自車両の中央上部位置に設定した仮想カメラ位置から下向きに見た視点に変換した後に合成して前記自車両の全周を俯瞰した全周俯瞰合成画像を生成すると共に、前記左側方の画像データと前記後方の画像データと前記右側方の画像データとを合成して広範囲後方画像を、前記左側方の画像データと前記後方の画像データとを合成して左後方画像を、前記後方の画像データと前記右側方の画像データとを合成して右後方画像を、前記自車両の前方の画像データをトリミングして前方画像を、前記自車両の後方の画像データをトリミングして後方画像を、各々生成する画像合成部、
広範囲後方画像、前記左後方画像、前記右後方画像、前記前方画像、及び前記後方画像の各々の生成に供した画像データの前記広範囲後方画像、前記左後方画像、前記右後方画像、前記前方画像、及び前記後方画像における画角を算出する画角抽出部、
及び、前記広範囲後方画像、前記左後方画像、前記右後方画像、前記前方画像、及び前記後方画像のいずれかを車室内表示部の第１表示領域に表示すると共に、前記第１表示領域に表示された画像に対応した画角を示す情報を前記全周俯瞰合成画像に重畳して前記車室内表示部の第２表示領域に表示するように前記車室内表示部を制御する表示制御部
として機能させるための車両用表示プログラムであって、
前記画像合成部は、前記撮像部で取得した画像データの各々から抽出した前記撮像部の光軸を中心とした所定領域を合成して前記広範囲後方画像、前記左後方画像、及び前記右後方画像の各々を生成する合成処理を行い、当該合成処理で得た画像の境界で画素が未検出の場合は前記所定領域を拡大して画像を合成する前記合成処理を再度行い、前記合成処理で得た画像の境界でモアレを示す画素値の異常を検出した場合は前記所定領域を縮小して画像を合成する前記合成処理を再度行う車両用表示プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両用表示装置、車両用表示方法及び車両用表示プログラムに関する。

【背景技術】

【0002】

車両の前後左右等の各々設けられた複数台のカメラによって取得した画像データにおける視点を、当該車両の中央上部位置に設定した仮想カメラ位置から下向きに見た視点に変換し、前後左右等の俯瞰画像を合成することで全周俯瞰合成画像を生成して表示する車両用表示装置が知られている。当該車両用表示装置は、当該車両の乗員にとって死角となる領域をモニタ映像として表示するが可能で、駐車時等において有効な運転支援情報を乗員に提供することができる。

【0003】

特許文献１には、合成画像を生成するに際して、合成に供する画像間のつなぎ目に二重写りが生じることを抑えると共に、車両用表示装置に全周俯瞰合成画像のほかに、自車両から見て前方、後方、右方、左方、又は遠方の画像を表示する発明が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１０－１６６１９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記特許文献１に記載の技術には、ユーザが表示画像を見た際に、当該表示画像が自車両から見てどの方向の画像かが判別し難いという問題があった。

【0006】

本発明は上記事実を考慮したもので、表示画像が自車両から見てどの方向のものであるかを容易に判別できる車両用表示装置を得ることが目的である。

【課題を解決するための手段】

【0007】

第１の態様に係る車両用表示装置は、自車両の前方、左側方、右側方、及び後方の各々の画像データを取得する複数の撮像部と、前記複数の撮像部で取得した画像データを、前記自車両の中央上部位置に設定した仮想カメラ位置から下向きに見た視点に変換した後に合成して前記自車両の全周を俯瞰した全周俯瞰合成画像を生成すると共に、前記左側方の画像データと前記後方の画像データと前記右側方の画像データとを合成して広範囲後方画像を、前記左側方の画像データと前記後方の画像データとを合成して左後方画像を、前記後方の画像データと前記右側方の画像データとを合成して右後方画像を、前記自車両の前方の画像データをトリミングして前方画像を、前記自車両の後方の画像データをトリミングして後方画像を、各々生成する画像合成部と、前記広範囲後方画像、前記左後方画像、前記右後方画像、前記前方画像、及び前記後方画像の各々の生成に供した画像データの前記広範囲後方画像、前記左後方画像、前記右後方画像、前記前方画像、及び前記後方画像における画角を算出する画角抽出部と、前記広範囲後方画像、前記左後方画像、前記右後方画像、前記前方画像、及び前記後方画像のいずれかを車室内表示部の第１表示領域に表示すると共に、前記第１表示領域に表示された画像に対応した画角を示す情報を前記全周俯瞰合成画像に重畳して前記車室内表示部の第２表示領域に表示するように前記車室内表示部を制御する表示制御部と、を含み、前記画像合成部は、前記撮像部で取得した画像データの各々から抽出した前記撮像部の光軸を中心とした所定領域を合成して前記広範囲後方画像、前記左後方画像、及び前記右後方画像の各々を生成する合成処理を行い、当該合成処理で得た画像の境界で画素が未検出の場合は前記所定領域を拡大して画像を合成する前記合成処理を再度行い、前記合成処理で得た画像の境界でモアレを示す画素値の異常を検出した場合は前記所定領域を縮小して画像を合成する前記合成処理を再度行う。

【0008】

第１の態様に係る車両用表示装置は、広範囲後方画像、左後方画像、右後方画像、前方画像、及び後方画像のいずれかを車室内表示部の第１表示領域に表示すると共に、第１表示領域に表示された画像に対応した画角を示す情報を全周俯瞰合成画像に重畳して車室内表示部の第２表示領域に表示することにより、表示画像が自車両から見てどの方向のものであるかを容易に判別できる。また、合成処理で得た画像の境界に不具合がある場合、合成に供する画像データの所定領域を動的に変更して合成処理を再度行うことにより不具合を解消できる。

【0009】

第２の態様に係る車両用表示装置は、前記第１表示領域の表示を変更する切替部を有し、前記表示制御部は、前記切替部の操作に基づいて、前記第１表示領域の表示を前記広範囲後方画像、前記左後方画像、前記右後方画像、前記前方画像、前記後方画像、及び画像表示なしに変更する。

【0010】

第２の態様に係る車両用表示装置は、運転者の操作により表示画像を変更することができる。

【0011】

第３の態様に係る車両用表示装置は、前記表示制御部は、前記自車両の方向指示器の操作に応じて前記左後方画像、及び前記右後方画像のいずれかを前記第１表示領域に表示し、前記自車両のトランスミッションがリバースに設定された場合に後方画像を前記第１表示領域に表示する。

【0012】

第３の態様に係る車両用表示装置は、車両の走行状態に応じて、表示画像を切り替えることができる。

【0013】

第４の態様に係る車両用表示装置は、前記表示制御部は、前記第２表示領域に表示する画像を変更した際に、前記第２表示領域に表示する前記全周俯瞰合成画像に、変更後の画像に対応した画角を示す情報を一時的に強調表示する。

【0014】

第４の態様に係る車両用表示装置は、変更後の画角を強調表示することにより、運転者に画像表示が変化したことを示唆することができる。

【0015】

第５の態様に係る車両用表示装置は、前記表示制御部は、前記第２表示領域に表示する画像を変更した際に、前記第２表示領域に表示する前記全周俯瞰合成画像に、変更後の画像に対応した画角を示す情報を所定時間重畳して表示する。

【0016】

第５の態様に係る車両用表示装置は、画角の表示を所定時間のみに限定するので、運転者が画角の表示を煩わしいと感じることを防止できる。

【0017】

第６の態様に係る車両用表示装置は、前記表示制御部は、前記全周俯瞰合成画像に重畳する各々の画角を各々異なる色で表示し、第１表示領域に表示される画像の各々の画角に対応する領域を、前記全周俯瞰合成画像に重畳した画角と同じ色の線で囲って表示する。

【0018】

第６の態様に係る車両用表示装置は、第２表示領域に各々の画角を異なる色で表示すると共に、第１表示領域に表示する画像の各々の画角に対応する領域を第２表示領域に表示した画角と同じ色の線で囲って表示することにより、第１表示領域に表示する画像と、各々の撮像部で取得した画像の画角との対応関係を運転者に示唆することができる。

【0021】

第７の態様に係る車両用表示方法は、自車両の前方、左側方、右側方、及び後方の各々の画像データを取得する複数の撮像部で取得した画像データを、前記自車両の中央上部位置に設定した仮想カメラ位置から下向きに見た視点に変換した後に合成して前記自車両の全周を俯瞰した全周俯瞰合成画像を生成すると共に、前記左側方の画像データと前記後方の画像データと前記右側方の画像データとを合成して広範囲後方画像を、前記左側方の画像データと前記後方の画像データとを合成して左後方画像を、前記後方の画像データと前記右側方の画像データとを合成して右後方画像を、前記自車両の前方の画像データをトリミングして前方画像を、前記自車両の後方の画像データをトリミングして後方画像を、各々生成する第１工程と、前記広範囲後方画像、前記左後方画像、前記右後方画像、前記前方画像、及び前記後方画像の各々の生成に供した画像データの前記広範囲後方画像、前記左後方画像、前記右後方画像、前記前方画像、及び前記後方画像における画角を算出する第２工程と、前記広範囲後方画像、前記左後方画像、前記右後方画像、前記前方画像、及び前記後方画像のいずれかを車室内表示部の第１表示領域に表示すると共に、前記第１表示領域に表示された画像に対応した画角を示す情報を前記全周俯瞰合成画像に重畳して前記車室内表示部の第２表示領域に表示するように前記車室内表示部を制御する第３工程と、を含む車両用表示方法であって、前記第１工程は、前記撮像部で取得した画像データの各々から抽出した前記撮像部の光軸を中心とした所定領域を合成して前記広範囲後方画像、前記左後方画像、及び前記右後方画像の各々を生成する合成処理を行い、当該合成処理で得た画像の境界で画素が未検出の場合は前記所定領域を拡大して画像を合成する前記合成処理を再度行い、前記合成処理で得た画像の境界でモアレを示す画素値の異常を検出した場合は前記所定領域を縮小して画像を合成する前記合成処理を再度行う。

【0022】

第７の態様に係る車両用表示方法は、広範囲後方画像、左後方画像、右後方画像、前方画像、及び後方画像のいずれかを車室内表示部の第１表示領域に表示すると共に、第１表示領域に表示された画像に対応した画角を示す情報を全周俯瞰合成画像に重畳して車室内表示部の第２表示領域に表示することにより、表示画像が自車両から見てどの方向のものであるかを容易に判別できる。また、合成処理で得た画像の境界に不具合がある場合、合成に供する画像データの所定領域を動的に変更して合成処理を再度行うことにより不具合を解消できる。

【0023】

第８の態様に係る車両用表示プログラムは、コンピュータを、自車両の前方、左側方、右側方、及び後方の各々の画像データを取得する複数の撮像部で取得した画像データを、前記自車両の中央上部位置に設定した仮想カメラ位置から下向きに見た視点に変換した後に合成して前記自車両の全周を俯瞰した全周俯瞰合成画像を生成すると共に、前記左側方の画像データと前記後方の画像データと前記右側方の画像データとを合成して広範囲後方画像を、前記左側方の画像データと前記後方の画像データとを合成して左後方画像を、前記後方の画像データと前記右側方の画像データとを合成して右後方画像を、前記自車両の前方の画像データをトリミングして前方画像を、前記自車両の後方の画像データをトリミングして後方画像を、各々生成する画像合成部、広範囲後方画像、前記左後方画像、前記右後方画像、前記前方画像、及び前記後方画像の各々の生成に供した画像データの前記広範囲後方画像、前記左後方画像、前記右後方画像、前記前方画像、及び前記後方画像における画角を算出する画角抽出部、及び、前記広範囲後方画像、前記左後方画像、前記右後方画像、前記前方画像、及び前記後方画像のいずれかを車室内表示部の第１表示領域に表示すると共に、前記第１表示領域に表示された画像に対応した画角を示す情報を前記全周俯瞰合成画像に重畳して前記車室内表示部の第２表示領域に表示するように前記車室内表示部を制御する表示制御部として機能させるための車両用表示プログラムであって、前記画像合成部は、前記撮像部で取得した画像データの各々から抽出した前記撮像部の光軸を中心とした所定領域を合成して前記広範囲後方画像、前記左後方画像、及び前記右後方画像の各々を生成する合成処理を行い、当該合成処理で得た画像の境界で画素が未検出の場合は前記所定領域を拡大して画像を合成する前記合成処理を再度行い、前記合成処理で得た画像の境界でモアレを示す画素値の異常を検出した場合は前記所定領域を縮小して画像を合成する前記合成処理を再度行う。

【0024】

第８の態様に係る車両用表示プログラムは、広範囲後方画像、左後方画像、右後方画像、前方画像、及び後方画像のいずれかを車室内表示部の第１表示領域に表示すると共に、第１表示領域に表示された画像に対応した画角を示す情報を全周俯瞰合成画像に重畳して車室内表示部の第２表示領域に表示することにより、表示画像が自車両から見てどの方向のものであるかを容易に判別できる。また、合成処理で得た画像の境界に不具合がある場合、合成に供する画像データの所定領域を動的に変更して合成処理を再度行うことにより不具合を解消できる。

【発明の効果】

【0025】

以上説明したように、第１の態様に係る車両用表示装置は、表示画像が自車両から見てどの方向のものであるかを容易に判別できると共に、合成処理で得た画像の境界に不具合がある場合、合成に供する画像データの所定領域を動的に変更して合成処理を再度行うことにより不具合を解消できる、という効果を奏する。

【0026】

第２の態様に係る車両用表示装置は、運転者の操作により表示画像を変更することができるという効果を奏する。

【0027】

第３の態様に係る車両用表示装置は、車両の走行状態に応じて、表示画像を切り替えることができるという効果を奏する。

【0028】

第４の態様に係る車両用表示装置は、変更後の画角を強調表示することにより、運転者に画像表示が変化したことを示唆するという効果を奏する。

【0029】

第５の態様に係る車両用表示装置は、画角の表示を所定時間のみに限定するので、運転者が画角の表示を煩わしいと感じることを防止できるという効果を奏する。

【0030】

第６の態様に係る車両用表示装置は、第１表示領域に表示する画像と、各々の撮像部で取得した画像の画角との対応関係を運転者に示唆することができるという効果を奏する。

【0032】

第７の態様に係る車両用表示方法は、表示画像が自車両から見てどの方向のものであるかを容易に判別できると共に、合成処理で得た画像の境界に不具合がある場合、合成に供する画像データの所定領域を動的に変更して合成処理を再度行うことにより不具合を解消できる、という効果を奏する。

【0033】

第８の態様に係る車両用表示プログラムは、表示画像が自車両から見てどの方向のものであるかを容易に判別できると共に、合成処理で得た画像の境界に不具合がある場合、合成に供する画像データの所定領域を動的に変更して合成処理を再度行うことにより不具合を解消できる、という効果を奏する。

【図面の簡単な説明】

【0034】

【図1】本実施形態における車両用表示装置の構成の一例を示したブロック図である。

【図2】前方カメラ、左側方カメラ、右側方カメラ、左後側方カメラ、右後側方カメラ及び後方カメラの各々の自車両における配置と光軸を示した概略図である。

【図3】制御部のＣＰＵの機能構成を示すブロック図である。

【図4】本実施形態に係る車両用表示装置の制御部における処理の一例を示したフローチャートである。

【図5】車室内表示装置に表示される全周俯瞰合成画像及び広範囲後方画像の一例を示した概略図である。

【図6】（Ａ）は左後方画像のカメラ画角を、（Ｂ）は右後方画像におけるカメラ画角を、（Ｃ）は後方画像におけるカメラ画角を各々示した説明図である。

【発明を実施するための形態】

【0035】

以下、図１～図３を用いて本実施形態における車両用表示装置１０を説明する。図１に示す車載システム４０はバス４２を含み、バス４２には互いに異なる制御を行う複数の電子制御ユニット及び複数のセンサユニットが各々接続されている。なお、図１は車載システム４０のうち本実施形態に関係する一部のみ示している。個々の電子制御ユニットは、ＣＰＵ、メモリ及び不揮発性の記憶部を含む制御ユニットであり、以下、ＥＣＵ(Electronic Control Unit)と称する。バス４２に接続されている複数のＥＣＵには車両用表示装置１０の制御部３２が含まれている。

【0036】

制御部３２には、前方カメラ１２、左側方カメラ１４、右側方カメラ１６、左後側方カメラ１８、右後側方カメラ２０、後方カメラ２２及び車室内表示装置３４が各々接続されている。これらの制御部３２、前方カメラ１２、左側方カメラ１４、右側方カメラ１６、左後側方カメラ１８、右後側方カメラ２０、後方カメラ２２及び車室内表示装置３４は、車両用表示装置１０を構成する。

【0037】

前方カメラ１２は車両前方の動画像を、左側方カメラ１４は車両の左側方の動画像を、右側方カメラ１６は車両の右側方の動画像を、左後側方カメラ１８は車両の斜め左後ろの動画像を、右後側方カメラ２０は車両の斜め右後ろの動画像を、後方カメラ２２は車両後方の動画像を各々取得する撮像装置である。

【0038】

図２は、前方カメラ１２、左側方カメラ１４、右側方カメラ１６、左後側方カメラ１８、右後側方カメラ２０及び後方カメラ２２の各々の自車両５０における配置と光軸１２Ａ、１４Ａ、１６Ａ、１８Ａ、２０Ａ、２２Ａを示した概略図である。前方カメラ１２、左側方カメラ１４、右側方カメラ１６、左後側方カメラ１８、右後側方カメラ２０及び後方カメラ２２の各々は、略１８０度の画角を有する対角線魚眼レンズである。左側方カメラ１４及び右側方カメラ１６の解像度が高い場合は、左後側方カメラ１８及び右後側方カメラ２０を備えなくてもよい。

【0039】

図２に示したように、前方カメラ１２は自車両５０の前端部に設けられ、自車両５０の長手方向に平行する光軸１２Ａを有し、自車両５０の前方の画像を取得する。前方カメラ１２の配置位置は自車両５０の前方を撮影可能な位置であればよく、自車両５０の前端部(例えばフロントバンパ付近)に配置されていてもよいし、フロントウインドシールドガラス越しに自車両５０の前方を撮影するように配置されていてもよい。

【0040】

左側方カメラ１４は左ドアミラー（電子ミラー装備車では左カメラ支持体）６０Ｌの左端に設けられ自車両５０の左側方のやや後方に伸びる光軸１４Ａを有し、自車両５０の左側方の画像を取得する。

【0041】

右側方カメラ１６は右ドアミラー（電子ミラー装備車では右カメラ支持体）６０Ｒの右端に設けられ自車両５０の右側方のやや後方に伸びる光軸１６Ａを有し、自車両５０の右側方の画像を取得する。

【0042】

左後側方カメラ１８は左ドアミラー６０Ｌの左端かつ左側方カメラ１４よりも後方寄りに設けられ自車両５０の左側方の後方に伸びる光軸１８Ａを有し、自車両５０の左後側方の画像を取得する。

【0043】

右後側方カメラ２０は右ドアミラー６０Ｒの右端かつ右側方カメラ１６よりも後方寄りに設けられ自車両５０の右側方の後方に伸びる光軸２０Ａを有し、自車両５０の右後側方の画像を取得する。

【0044】

後方カメラ２２は自車両５０の後端部に設けられ、自車両５０の長手方向に平行する光軸２２Ａを有し、自車両５０の後方の画像を取得する。後方カメラ２２の配置位置は自車両５０の後方を撮影可能な位置であればよく、自車両５０の後端部(例えばリヤバンパ付近)に配置されていてもよいし、リヤウインドシールドガラス越しに自車両５０の後方を撮影するように配置されていてもよい。

【0045】

車室内表示装置３４は、左後側方カメラ１８、右後側方カメラ２０及び後方カメラ２２の少なくともいずれか１つで取得した画像データ又はこれらの画像データを合成して生成された画像を表示する第１表示領域と、自車両５０のダッシュボード等に設けられ、前方カメラ１２、左側方カメラ１４、右側方カメラ１６及び後方カメラ２２で取得した画像データを合成して生成された全周俯瞰合成画像を表示する第２表示領域とを備えた、液晶パネル、プラズマディスプレイ、及びブラウン管等のいずれかを用いた表示装置である。車室内表示装置３４に表示する画像は、自車両５０のステアリング等に設けられたスイッチを操作することにより、切り替えることができる。

【0046】

図１に示すように、制御部３２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２４、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２６、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２８、及びストレージ３０を含んでいる。

【0047】

ＣＰＵ２４は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。ＣＰＵ２４は、ＲＯＭ２６又はストレージ３０からプログラムを読み出し、ＲＡＭ２８を作業領域としてプログラムを実行する。

【0048】

図３は、制御部３２のＣＰＵ２２の機能構成を示すブロック図である。図３に示したように、ＣＰＵ２２は、カメラ制御部２２０、画像取得部２３０、画像合成部２４０、画角抽出部２５０及び表示制御部２６０を有している。各機能構成は、ＲＯＭ２６又はストレージ３０に記憶されている実行プログラムを読み出し、当該実行プログラムを実行することによって実現される。

【0049】

カメラ制御部２２０は、前方カメラ１２、左側方カメラ１４、右側方カメラ１６、左後側方カメラ１８、右後側方カメラ２０及び後方カメラ２２の絞り値、シャッタースピード及びピントの各々を制御する。

【0050】

画像取得部２３０は、前方カメラ１２、左側方カメラ１４、右側方カメラ１６、左後側方カメラ１８、右後側方カメラ２０及び後方カメラ２２の各々による動画像のデータを取得し、処理後段である画像合成部２４０に出力する。

【0051】

画像合成部２４０は、前方カメラ１２、左側方カメラ１４、右側方カメラ１６及び後方カメラ２２の各々で取得した画像データを合成して全周俯瞰合成画像を生成すると共に、全周俯瞰合成画像とは別に車室内表示装置３４に表示する画像として、左後側方カメラ１８、右後側方カメラ２０及び後方カメラ２２の各々で取得した画像データを合成した画像を生成する。左後側方カメラ１８、右後側方カメラ２０及び後方カメラ２２の各々で取得した画像データから生成される画像は、例えば、左後側方カメラ１８、右後側方カメラ２０及び後方カメラ２２の各々で取得した３つの画像を合成した広範囲後方画像、左後側方カメラ１８及び後方カメラ２２の各々で取得した画像データを合成した左後方画像、並びに右後側方カメラ２０及び後方カメラ２２の各々で取得した画像データを合成した右後方画像である。また、画像合成部２４０は、前方カメラ１２で取得した画像データをトリミングして自車両５０の前方画像を、後方カメラ２２で取得した画像データをトリミングして自車両５０の後方画像を各々生成する。そして、画像合成部２４０は、処理した画像データを画角抽出部２５０に出力する。

【0052】

画角抽出部２５０は、左後側方カメラ１８、右後側方カメラ２０及び後方カメラ２２の少なくともいずれか１つの画像を、全周俯瞰合成画像とは別に車室内表示装置３４に表示する際の画角を抽出する。前述のように、前方カメラ１２、左側方カメラ１４、右側方カメラ１６、左後側方カメラ１８、右後側方カメラ２０及び後方カメラ２２の各々は略１８０度の画角を有するので、本実施形態では、前方カメラ１２、左後側方カメラ１８（又は左側方カメラ１４）、右後側方カメラ２０（又は右側方カメラ１６）及び後方カメラ２２の各々で取得した画像データは、１８０度よりも狭角な画角にトリミングされ、必要に応じて画像合成部２４０で画像合成される。画角抽出部２５０は、一例として、画像合成部２４０で合成した画像における各々のカメラで取得した画像データに係る領域と、元の画像との面積比（画素数の比）から各々のカメラで取得した画像データの画角を算出して、処理後段である表示制御部２６０に算出した画角の情報を出力する。

【0053】

表示制御部２６０は、画像合成部２４０で生成した広範囲後方画像、左後方画像、右後方画像、前方画像、及び後方画像を表示すると共に、全周俯瞰合成画像に画角抽出部２５０で算出した各々の撮像装置に係る画角を重畳して表示するように車室内表示装置３４を制御する。また、表示制御部２６０は、スイッチ操作、方向指示器の操作、及びトランスミッションの操作に応じて車室内表示装置３４に表示する画像を変更する。

【0054】

図４は、本実施形態に係る車両用表示装置１０の制御部３２における処理の一例を示したフローチャートである。ステップ１００では、前方カメラ１２、左側方カメラ１４、右側方カメラ１６、左後側方カメラ１８、右後側方カメラ２０及び後方カメラ２２の各々による画像データを取得する。

【0055】

ステップ１０２では、取得した前方カメラ１２、左側方カメラ１４、右側方カメラ１６、左後側方カメラ１８、右後側方カメラ２０及び後方カメラ２２の各々の画像データから車室内表示装置３４に表示する全周俯瞰合成画像、広範囲後方画像、左後方画像、右後方画像、前方画像、及び後方画像を生成する。前述のように、前方カメラ１２、左側方カメラ１４、右側方カメラ１６、左後側方カメラ１８、右後側方カメラ２０及び後方カメラ２２の各々は略１８０度の画角を有する対角線魚眼レンズなので、レンズの前方にある物体の略全てが被写体となる。本実施形態では、広範囲を撮影した画像データの最適な領域を抽出して全周俯瞰合成画像、広範囲後方画像、左後方画像、右後方画像、前方画像、及び後方画像を生成する。

【0056】

図５は、車室内表示装置３４に表示される全周俯瞰合成画像１１０及び広範囲後方画像１２０の一例を示した概略図である。全周俯瞰合成画像１１０は、前方カメラ１２、左側方カメラ１４、右側方カメラ１６及び後方カメラ２２の各々によって取得した画像データにおける視点を、自車両５０の中央上部位置に設定した仮想カメラ位置から下向きに見た視点に変換し、合成することで生成される。

【0057】

広範囲後方画像１２０は、左後側方カメラ１８、右後側方カメラ２０及び後方カメラ２２の各々によって取得した画像データを、各々のカメラの光軸１８Ａ、２０Ａ、２２Ａを中心とした所定領域を抽出し、抽出した領域の画像データを合成して生成される。一例として、各々のカメラで取得した画像データにおける所定の領域は、左後側方カメラ１８で取得した画像データと後方カメラ２２で取得した画像データとが重複するように、そして後方カメラ２２で取得した画像データと右後側方カメラ２０で取得した画像データとが重複するように設定される。画像データ同士が重複する領域は、合成して得られた画像に画素の空白が生じない程度の必要最小限の大きさでよい。所定領域を抽出した画像データは、例えば、エッジ強調等の輪郭抽出処理により被写体を検出し、互いの画像データにおける同一被写体を重ね合わせるように画像データ同士の合成の位置決めをして互いの画像データを合成する。

【0058】

左後方画像は、左後側方カメラ１８及び後方カメラ２２の各々によって取得した画像データを、各々のカメラの光軸１８Ａ、２２Ａを中心とした所定の領域を抽出し、抽出した領域の画像データを合成して生成される。また、右後方画像は、右後側方カメラ２０及び後方カメラ２２の各々によって取得した画像データを、各々のカメラの光軸２０Ａ、２２Ａを中心とした所定の領域を抽出し、抽出した領域の画像データを合成して生成される。左後方画像、及び右後方画像の各々においても、所定の領域は、各々のカメラで取得した画像データが重複するように設定され、互いの画像データの重複した領域における同一被写体を重ね合わせるように画像データ同士の合成の位置決めをして互いの画像データを合成する。

【0059】

左側方カメラ１４及び右側方カメラ１６の各々の解像度が高い等の場合には、左後側方カメラ１８及び右後側方カメラ２０を要しないが、かかる場合には、左側方カメラ１４で取得した画像データと後方カメラ２２で取得した画像データとから左後方画像を、右側方カメラ１６で取得した画像データと後方カメラ２２で取得した画像データとから右後方画像を各々生成する。

【0060】

画像データ同士の合成の位置決めをして互いの画像データを合成する場合でも、画像合成の境界で被写体の二重写り又は被写体の消失等が生じるおそれがある。本実施形態では、画像合成時の画角に相当する所定領域の範囲を動的に変更することにより、画像合成の境界で被写体の二重写り又は被写体の消失等を解消する。例えば、画像合成の境界で画素が未検出の場合は被写体消失と判断して、各々の画像の所定領域を拡大して各々の画像を再合成する。また、合成画像の境界でモアレ等を示す画素値の異常を検出した場合は二重写りと判断して、各々の画像の所定領域を縮小して各々の画像を再合成する。

【0061】

ステップ１０４では、広範囲後方画像、左後方画像、右後方画像、前方画像、及び後方画像を各々生成した際のカメラ画角を抽出する。カメラ画角は、一例として、図５の全周俯瞰合成画像１１０に示されている左後側方カメラ画角１１２、後方カメラ画角１１４及び右後側方カメラ画角１１６である。各々のカメラ画角は、撮像装置の光軸を中心とした撮影方向と撮影範囲を示しているので、表示画像が自車両５０から見てどの方向のものであるかを容易に判別できる。カメラ画角は、前述の所定の領域に対応したカメラの光軸１８Ａ、２０Ａ、２２Ａを中心とした範囲の角度でもよいし、画像合成で得られた広範囲後方画像、左後方画像、右後方画像、前方画像、及び後方画像における各々のカメラに係る画像データの領域の大きさから各々のカメラ画角を導出してもよい。

【0062】

また、左後方画像におけるカメラ画角は図６（Ａ）に示したように、右後方画像におけるカメラ画角は図６（Ｂ）に示したようになる。左後方画像、及び右後方画像における左後側方カメラ画角１１２、後方カメラ画角１１４及び右後側方カメラ画角１１６の各々は図５に示した全周俯瞰合成画像１１０と同じである。

【0063】

図６（Ｃ）は、広範囲後方画像１２０に代えて、後方カメラ２２で取得した画像のみを車室内表示装置３４に表示する場合の後方カメラ画角１１８である。図６（Ｃ）に示したように、後方カメラ画角１１８を、広範囲後方画像１２０等におけるカメラ画角よりも大きくすることにより、画像合成処理を要さずに、自車両５０の後方における広範囲な画像を車室内表示装置３４に表示することができる。後方カメラ画角１１４と後方カメラ画角１１８のように、各々のカメラの画角は一定値に固定されたものでなく、状況に応じて動的に変更してもよい。

【0064】

ステップ１０６では、全周俯瞰合成画像１１０にカメラ画角の範囲を重畳する。前述のように、図５に示した全周俯瞰合成画像１１０には、左後側方カメラ画角１１２、後方カメラ画角１１４及び右後側方カメラ画角１１６が示されている。このようにカメラ画角の範囲を全周俯瞰合成画像１１０に重畳することにより、車室内表示装置３４に表示されている画像が、自車両５０を中心とした位置からどの方向を撮影したものかを直感的に把握することができる。また、図５に示したように左後側方カメラ画角１１２、後方カメラ画角１１４及び右後側方カメラ画角１１６の各々を全周俯瞰合成画像１１０に重畳して表示することにより、広範囲後方画像１２０の端にいる車両の自車両５０に対する位置をユーザである運転者に示唆することができる。全周俯瞰合成画像１１０に重畳して表示するカメラ画角は、図５で示した一点鎖線を、赤、黄、青又は緑等の視認しやすい色で表示してもよいし、一点鎖線で囲まれた領域を他の領域とは異なる色で表示してもよい。また、第２表示領域で各々のカメラのカメラ画角を各々異なる色で表示し、第１表示領域に表示される画像の各々のカメラ画角に対応する領域を、対応するカメラ画角と同じ色の線で囲って表示してもよい。

【0065】

ステップ１０８では、カメラ画角を重畳した全周俯瞰合成画像１１０、広範囲後方画像１２０、左後方画像、右後方画像、前方画像、又は後方画像を車室内表示装置３４に表示して処理を終了する。運転者は、自車両５０のステアリングホイール等に設けられたスイッチを操作することにより、車室内表示装置３４の表示を、広範囲後方画像１２０、図６（Ａ）に示したカメラ画角による左後方画像、図６（Ｂ）に示したカメラ画角による右後方画像、図６（Ｃ）に示したカメラ画角による後方画像、前方画像、画像表示のオフを選択することができる。例えば、ステアリングホイール等に設けられたスイッチは一種のトグルスイッチになっており、スイッチ操作毎に、広範囲後方画像１２０、左後方画像、右後方画像、後方画像、前方画像、画像表示のオフに切り替わるようにしてもよい。

【0066】

車室内表示装置３４の表示はスイッチ操作のみならず、自車両５０の走行状態に合わせて変更するようにしてもよい。例えば、自車両５０が、左折する場合には図６（Ａ）に示したカメラ画角による左後方画像を、右折する場合には図６（Ｂ）に示したカメラ画角による右後方画像を、自車両５０がバックする場合には図６（Ｃ）に示したカメラ画角による後方画像を各々表示する。具体的には、方向指示器の操作に応じて左後方画像、又は右後方画像を、トランスミッションがリバースに設定された場合に後方画像を、各々表示する。

【0067】

自車両５０の走行状態に応じて表示画像を自動的に変更するか、運転者がスイッチ操作で変更するかは、自車両５０のステアリングホイール又はダッシュボード等に設けられたスイッチを操作することによって選択する。

【0068】

また、通常は、自車両５０の走行状態に応じて表示画像を切り替え、運転者がステアリングホイール等に設けられた画像切替のスイッチを操作した場合に、所定時間（数秒程度）、スイッチ操作に基づく画像が表示されるようにしてもよい。

【0069】

車室内表示装置３４に表示する画像を切り替えた際には、全周俯瞰合成画像１１０に重畳されるカメラ画角の表示を一時的（数秒間）に点滅させる、又はカメラ画角の表示を一時的（数秒間）に赤等の目立つ色に変更する等の強調表示をすることにより、カメラ画角が切り替わったことを運転者に示唆する。

【0070】

カメラ画角の表示は、常時、全周俯瞰合成画像１１０に重畳して表示してもよいが、運転者のスイッチ操作によって画像を切り替えた場合、又は走行状態に応じて画像を切り替えた場合に、所定時間（数秒程度）のみ全周俯瞰合成画像１１０に重畳して表示してもよい。

【0071】

以上説明したように、本実施形態によれば、全周俯瞰合成画像１１０に重畳して広範囲後方画像１２０等に係るカメラ画角を表示することにより、表示画像が自車両５０から見てどの方向のものであるかを容易に判別できる車両用表示装置１０を得ることができる。

【0072】

運転者は、全周俯瞰合成画像１１０に重畳して表示されるカメラ画角に基づいて、自車両５０と自車両５０周辺の車両との位置関係を把握することも可能となり、安全運転に寄与し得る。

【0073】

また、全周俯瞰合成画像１１０や広範囲後方画像１２０等を画像合成で生成する際に、画像合成の境界で被写体の二重写り又は被写体の消失等が生じるおそれがある場合に、画像合成時に画角に相当する所定領域の範囲を動的に変更することにより、画像合成の境界で被写体の二重写り又は被写体の消失等を解消することが可能である。

【0074】

なお、上記各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0075】

また、上記各実施形態では、プログラムがストレージ３０等に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0076】

（付記項１）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
自車両の前方、左側方、右側方、及び後方の各々の画像データを取得し、
取得した画像データを、前記自車両の中央上部位置に設定した仮想カメラ位置から下向きに見た視点に変換した後に合成して前記自車両の全周を俯瞰した全周俯瞰合成画像を生成すると共に、前記左側方の画像データと前記後方の画像データと前記右側方の画像データとを合成して広範囲後方画像を、前記左側方の画像データと前記後方の画像データとを合成して左後方画像を、前記後方の画像データと前記右側方の画像データとを合成して右後方画像を、前記自車両の前方の画像データをトリミングして前方画像を、前記自車両の後方の画像データをトリミングして後方画像を、各々生成し、
前記広範囲後方画像、前記左後方画像、前記右後方画像、前記前方画像、及び前記後方画像の各々の生成に供した画像データの前記広範囲後方画像、前記左後方画像、前記右後方画像、前記前方画像、及び前記後方画像における画角を算出し、
前記広範囲後方画像、前記左後方画像、前記右後方画像、前記前方画像、及び前記後方画像のいずれかを車室内表示部の第１表示領域に表示すると共に、前記第１表示領域に表示された画像に対応した画角を示す情報を前記全周俯瞰合成画像に重畳して前記車室内表示部の第２表示領域に表示するように前記車室内表示部を制御する、
ように構成されている車両用表示装置。

【符号の説明】

【0077】

１０ 車両用表示装置
１２ 前方カメラ
１２Ａ 光軸
１４ 左側方カメラ
１４Ａ 光軸
１６ 右側方カメラ
１６Ａ 光軸
１８ 左後側方カメラ
１８Ａ 光軸
２０ 右後側方カメラ
２０Ａ 光軸
２２ 後方カメラ
２２Ａ 光軸
２４ ＣＰＵ
２６ ＲＯＭ
２８ ＲＡＭ
３０ ストレージ
３２ 制御部
３４ 車室内表示装置
４０ 車載システム
４２ バス
５０ 自車両
１１０ 全周俯瞰合成画像
１１２ 左後側方カメラ画角
１１４ 後方カメラ画角
１１６ 右後側方カメラ画角
１１８ 後方カメラ画角
１２０ 広範囲後方画像
２２０ カメラ制御部
２３０ 画像取得部
２４０ 画像合成部
２５０ 画角抽出部
２６０ 表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】