特許 7364009 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-10

(45)【発行日】2023-10-18

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20231011BHJP

   B60R 1/20 20220101ALI20231011BHJP

   G06T 5/50 20060101ALI20231011BHJP

   G01C 21/36 20060101ALI20231011BHJP

   G09G 5/00 20060101ALI20231011BHJP

   G09G 5/36 20060101ALI20231011BHJP

   G09G 5/02 20060101ALI20231011BHJP

【ＦＩ】

H04N7/18 J

B60R1/20 100

G06T5/50

G01C21/36

G09G5/00 510A

G09G5/00 550C

G09G5/36 200

G09G5/36 300

G09G5/02 B

G09G5/00 530M

【請求項の数】 6

(21)【出願番号】P 2022170967

(22)【出願日】2022-10-25

(62)【分割の表示】P 2021538517の分割

【原出願日】2019-08-02

(65)【公開番号】P2023010713

(43)【公開日】2023-01-20

【審査請求日】2022-11-15

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(74)【代理人】

【識別番号】110000486

【氏名又は名称】弁理士法人とこしえ特許事務所

(72)【発明者】

【氏名】岡本 麻衣

(72)【発明者】

【氏名】菊地 宏幸

【審査官】長谷川 素直

(56)【参考文献】

【文献】特開２０１５－０９９１８６（ＪＰ，Ａ）

【文献】特開２０１７－２１０２３３（ＪＰ，Ａ）

【文献】国際公開第２０１５／１４５９８０（ＷＯ，Ａ１）

【文献】特開２００３－３２０８６９（ＪＰ，Ａ）

【文献】特開２０１６－０１３７４７（ＪＰ，Ａ）

【文献】国際公開第２０１９／１１１３０５（ＷＯ，Ａ１）

【文献】特開２０１９－０２５９４７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／２０

Ｇ０６Ｔ ５／５０

Ｇ０１Ｃ ２１／３６

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

ディスプレイに表示される画像を処理する画像処理装置であって、
前記ディスプレイの表示領域の一部が車両の内装部から前記車両のウィンドの方向に延在し、
前記ディスプレイの表示領域は、第１領域と、前記第１領域より前記内装部側に位置する第２領域を含み、
前記車両の前記内装部の表面を表した画像である第２画像をデータベースから取得する情報取得部と、
前記ディスプレイに表示される表示画像を生成する画像生成部と、
前記表示画像を前記ディスプレイに出力する出力部とを備え、
前記表示画像は、前記第１領域に表示される第１画像と、前記第２領域に表示される前記第２画像とから生成された背景画像を含む画像処理装置。

【請求項2】

前記表示領域は、直線の境界で前記第１領域と前記第２領域に分けられている請求項１記載の画像処理装置。

【請求項3】

前記ディスプレイは、前記表示領域が矩形形状のディスプレイであり、
前記画像生成部は、
前記表示領域の前記ウィンド側の端部及び前記内装部側の端部から、前記第１領域と前記第２領域の前記境界に向かって、所定の色となるように前記第１画像及び前記第２画像にグラデーションを施す処理を行い、
前記出力部は、グラデーション処理された前記第１画像及び前記第２画像を前記ディスプレイに出力する請求項２に記載の画像処理装置。

【請求項4】

前記画像生成部は、
前記ウィンド側の端部から前記境界に向かう方向である第１方向と第２方向に沿ってグラデーションが施されるように、前記第１画像を補正し、
前記内装部側の端部から前記境界に向かう方向である第３方向と第４方向に沿ってグラデーションが施されるように、前記第２画像を補正し、
前記背景画像は、前記第１方向、前記第２方向、前記第３方向、及び前記第４方向に沿った線を含む請求項３記載の画像処理装置。

【請求項5】

前記背景画像は、前記第１方向、前記第２方向、前記第３方向、及び前記第４方向に沿った黒色のグラデーションを含む請求項４記載の画像処理装置。

【請求項6】

前記ウィンドの下端の高さと前記境界の高さが同じ高さである請求項２～４のいずれか一項に記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及び画像処理方法に関するものである。

【背景技術】

【0002】

撮像手段と、格納手段と、ナビゲーション制御手段と、画像合成手段と、表示器を備えるカーナビゲーションシステムが知られている（例えば、特許文献１）。このカーナビゲーションシステムにおいて、撮像手段は、自動車の進行方向の景色を撮像する。また画像合成手段は、撮像手段により撮像された実写映像を背景画像とし、当該背景画像にナビゲーション情報要素を重ね合わせて合成する。また表示器は、画像合成手段により画像合成された結果の画像を表示する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平１１－１０８６８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記従来技術では、実際の景色の一部がそのままディスプレイに表示されるため、ディスプレイに表示される画像と車両の内装部の表面に視覚的な統一感を持たせることが難しい。このため、車両の乗員がディスプレイの存在感を過大に感じ、乗員の快適性が損なわれる恐れがある。

【0005】

本発明が解決しようとする課題は、車両の乗員の快適性を向上させることができる画像処理装置及び画像処理方法を提供することである。

【課題を解決するための手段】

【0006】

本発明は、ディスプレイに表示される表示画像が、第１領域に表示される第１画像と、第２領域に表示される第２画像とから生成された背景画像を含むように、表示画像を生成し、車両の室内に設けられたディスプレイに表示画像を出力することにより、上記課題を解決する。

【発明の効果】

【0007】

本発明によれば、乗員が感じるディスプレイの存在感を低減することができるため、乗員の快適性を向上させることができる。

【図面の簡単な説明】

【0008】

【図1】図１は、第１実施形態に係る画像処理装置を含む画像表示システムの一例を示すブロック図である。

【図2】図２は、ディスプレイの一例である。

【図3】図３は、ディスプレイの位置と乗員の視野との関係性を説明するための図である。

【図4A】図４Ａは、第１画像の生成方法を説明するための図である。

【図4B】図４Ｂは、第１画像の生成方法を説明するための図である。

【図4C】図４Ｃは、第１画像の生成方法を説明するための図である。

【図5】図５は、第２画像の一例である。

【図6A】図６Ａは、背景画像の生成方法を説明するための図である。

【図6B】図６Ｂは、背景画像の生成方法を説明するための図である。

【図6C】図６Ｃは、背景画像の生成方法を説明するための図である。

【図7】図７は、表示画像の生成方法を説明するための図である。

【図8】図８は、第１実施形態に係る画像処理装置が実行する処理を示すフローチャートである。

【図9】図９は、図８に示すステップＳ３のサブルーチンである。

【図10】図１０は、図８に示すステップＳ５のサブルーチンである。

【図11】図１１は、画像処理装置により生成された背景画像がディスプレイに表示された場面の一例である。

【図12】図１２は、第２実施形態に係る画像処理装置を含む画像表示システムの一例を示すブロック図である。

【図13】図１３は、図８に示すステップＳ３のサブルーチンである。

【発明を実施するための形態】

【0009】

以下、本発明に係る画像処理装置及び画像処理方法の実施形態を図面に基づいて説明する。

【0010】

《第１実施形態》
本実施形態では、車両に搭載された画像処理装置を例示して説明する。図１は、第１実施形態に係る画像処理装置４を含む画像表示システム１００の一例を示すブロック図である。図１に示すように、本実施形態における画像表示システム１００は、撮像装置１と、データベース２と、ディスプレイ３と、画像処理装置４とを含む。本実施形態のシステムは、画像処理装置４で生成された画像をディスプレイ３に表示させるシステムである。車両の乗員は、本実施形態のシステムにより、ディスプレイ３を介して、画像処理装置４で生成された画像を視認することができる。

【0011】

本実施形態において、車両の乗員とは、車両に乗車している人間であればよく、乗員が着座するシートの位置は特に限定されない。また車両の乗員の人数も特に限定されず、本実施形態における画像表示システム１００は、一又は複数の乗員に対して画像処理装置４で生成された画像を提示する。

【0012】

次に、画像処理装置４が搭載されている車両について説明する。本実施形態において、車両は、例えば、ナビゲーションシステムが搭載されて人間が運転する一般的な自動車である。また車両は、例えば、ナビゲーションシステムが搭載されているともに走行制御（速度制御と操舵制御）を自動制御する機能を備える自動車であって人間が運転する自動車であってもよい。また車両は、例えば、ナビゲーションシステムが搭載されているとともに走行制御を自動制御する自動車であって無人で運転する自動車であってもよい。

【0013】

また本実施形態において、車両の動力源は特に限定されない。車両は、電気をエネルギー源とし、モーターを動力源として走行する電気自動車であってもよい。また車両は、ガソリンエンジンを動力源として走行するガソリン車であってもよい。また車両は、エンジンとモーターを動力源として備えた電気式ハイブリッド車であってもよい。本実施形態では、車両として、外部充電が必要な電気自動車を例に挙げて説明する。

【0014】

次に、図１に示す画像表示システム１００に含まれる各構成について説明する。撮像装置１は、車両の外部を撮像する装置である。車両の外部とは、車両周辺の少なくとも一部の領域を意味する。撮像装置１としては、例えば、車両の前方に設けられ、車両の外部のうち車両の前方を撮像する前方カメラが挙げられる。撮像装置１により撮像された撮像画像は、画像処理装置４に出力される。以降では、撮像装置１が上記の前方カメラである場合を例に挙げて説明する。なお、撮像装置１は、前方カメラのみに限られず、撮像装置１には、車両の側方に設けられ、車両の外部のうち車両の側方を撮像する側方カメラが含まれていてもよい。また撮像装置１には、車両の後方に設けられ、車両の外部のうち車両の後方を撮像する後方カメラが含まれていてもよい。

【0015】

撮像装置１は、車両の前方の景色（車両の前景ともいう）を逐次撮像し、撮像するたびに撮像画像を画像処理装置４に出力する。例えば、撮像装置１は、所定の周期で、車両の前方の景色を撮像する。このように逐次撮像することで、車両の前方の景色が時間帯、天気、及び場所に応じて変化しても、撮像装置１は時間帯、天気、及び場所に対応した車両の前方の景色を撮像することができる。これにより、後述する画像処理装置４は、時間帯、天気、及び場所に対応した車両の外部の色情報を取得することができる。

【0016】

撮像装置１は、車両の進行方向の景色を撮像する。撮像装置１により撮像された景色とは、車両の前方に設けられたウィンドを介して、車両の乗員が視認する景色である。本実施形態では、車両の乗員からの視野を考慮した位置に撮像装置１を設けることが好ましい。例えば、乗員が車両の前方シートに着座する場合、この乗員は、前方のウィンドを介して、車両が走行する車線、車線の周辺に設けられた道路構造物、車両の周辺を走行する他車両、その他の景色等を視認する。上記の例に挙げた全ての対象を撮像可能な位置に、撮像装置１を設けることが好ましい。このような位置に撮像装置１を設けることで、撮像装置１は、車両の乗員が視認する対象を撮像することができる。

【0017】

データベース２は、画像情報を格納するデータベースである。データベース２が格納する画像情報には、車両の内装部の画像が含まれる。内装部の画像とは、例えば内装部の表面の色、材質、及び模様の少なくともいずれかの情報が含まれる画像である。内装部の画像は、内装部の表面の色、材質、及び模様の少なくともいずれかを模した画像であってもよく、内装部を撮像した画像であってもよい。本実施形態において、車両の内装部とは、車両の前方に設けられたインストルメントパネルである。データベース２は、インストルメントパネルの画像を格納している。データベース２は、例えば、車両の車種ごと、及び一の車種における内装の色ごとに、インストルメントパネルの画像を格納している。

【0018】

データベース２は、画像処理装置４からの指令に応じて、格納する複数の画像のうち指定された画像を画像処理装置４に出力する。

【0019】

ディスプレイ３は、車両の乗員に対して画像を提示する機器である。本実施形態では、ディスプレイ３は、車両の前方シートに着座する乗員にとって視認しやすい場所に設けられている。またディスプレイ３の形状は特に限定されないが、本実施形態では、ディスプレイ３の形状が矩形形状の場合を例に挙げて説明する。

【0020】

ディスプレイ３には、画像処理装置４から表示画像が入力される。ディスプレイ３は、画像処理装置４から入力された表示画像を表示する。またディスプレイ３は、画像処理装置４から表示画像が入力されるたびに、表示する画像を更新する。以降では、説明の便宜上、ディスプレイ３に表示され、車両の乗員が視認する画像を、表示画像と称して説明する。

【0021】

表示画像は、背景画像とコンテンツ情報で構成されている。具体的には、背景画像に対してコンテンツ情報が重畳して表示されることで、一の表示画像が形成される。コンテンツ情報とは、車両の乗員に提供するための情報全般を示す画像であり、情報の種別は特に限定されない。コンテンツ情報としては、例えば、車両のスピードメーター、ナビゲーションシステムの操作画面、車両の状態を示す画面などが挙げられる。コンテンツ情報は、アイコン、文字であってもよい。画像処理装置４から入力される表示画像については後述する。

【0022】

図２は、本実施形態に係るディスプレイ３の一例である。図２は、車両Ｖの室内を示す。図２の例において、ディスプレイ３は、形状が矩形のディスプレイである。ディスプレイ３の大きさは特に限定されない。例えば、ディスプレイ３は、少なくともナビゲーションシステムの操作画面が表示される程度の大きさを有している。ディスプレイ３は、表示画像を表示するための領域である表示領域３１を有している。表示領域３１の大きさは、ディスプレイ３の構造により決まる。例えば、ディスプレイ３の端部と表示領域３１との間にある縁部が比較的薄い場合、表示領域３１はディスプレイ３の大きさとほぼ同じ大きさになる。なお、本実施形態では、ディスプレイ３の形状と表示領域３１の形状を同一形状として説明するが、ディスプレイ３の形状と表示領域３１の形状は、異なる形状であってもよい。

【0023】

ディスプレイ３は、車両Ｖの運転席１１及び助手席１２に着座する乗員にとって視認しやすい位置に設けられている。図２の例では、ディスプレイ３は、表示領域３１の一部が、車両Ｖの内装部１３からウィンド１４の方向に向かって延在している。ウィンド１４は、いわゆるフロントガラスであり、車両Ｖの前方に設けられている。本実施形態では、ディスプレイ３は、ウィンド１４の下端に沿って設けられている。言い換えると、ディスプレイ３は、ウィンド１４の下端付近において、ウィンド１４の下端の延在方向と平行に設けられている。

【0024】

例えば、ディスプレイ３は、ディスプレイ３の上端の高さとウィンド１４の下端の高さとが一致する（略一致する）高さに設けられていてもよい。この場合、運転者の目の高さ（アイポイントともいう）にかかわらず、運転者がウィンド１４を介して車両Ｖの前方を視認したとき、運転者の視界にディスプレイ３が干渉することを確実に防止することができる。あるいは、ディスプレイ３は、ディスプレイ３の上端と下端との間にウィンド１４の下端が位置する高さに設けられていてもよい。この場合、運転者の視界において、ウィンド１４の下端とディスプレイ３の上端が近接した位置に視認され、あたかもウィンド１４とディスプレイ３とが連続しているように運転者に錯覚されやすい。

【0025】

本実施形態では、ディスプレイ３は内装部１３の表面に装着されている。車両Ｖの内装部１３は、インストルメントパネルである。車両Ｖの内装部１３の表面は、所定の一又は複数の色で塗装されている。本実施形態において、内装部１３の色は特に限定されない。また本実施形態において、車両Ｖの内装部１３の表面を構成する材質は特に限定されない。車両Ｖの内装部１３の表面には、材質そのものの模様（例えば、木目調）が付されていてもよい。ディスプレイ３は、内装部１３の表面に装着されていることに限定されず、内装部１３に埋め込まれていてもよい。この場合、ディスプレイ３は、表示領域の一部が内装部１３からウィンド１４に向かって突出することになる。

【0026】

図２に示すように、表示領域３１は、ウィンド１４側の領域である第１領域３２と、第１領域３２よりも内装部１３側の領域である第２領域３３で構成される。別の言い方をすれば、第１領域３２及び第２領域３３はそれぞれ表示領域３１の一部であり、第１領域３２は第２領域３３よりもウィンド１４側に位置する。本実施形態の画像表示システム１００は、第１領域３２及び第２領域３３にそれぞれ異なる背景画像を表示することで、表示領域３１全体としての背景画像を表示する。第１領域３２及び第２領域３３に表示される画像については後述する。

【0027】

図３は、ディスプレイ３の位置と乗員の視野との関係性を説明するための図である。図３は、図２に示すＡ－Ａ’線に沿う断面図である。図３に示すように、車両Ｖの運転者Ｄは運転席１１に着座して車両Ｖを運転する。図３に示すＣは、運転者Ｄの視野のうち上下方向の視野を模式的に表している。運転者Ｄの視野Ｃは、運転者ＤがＢ方向を視認したときの視野である。Ｂ方向とは、車両Ｖの進行方向である。つまり、図３は、運転者Ｄがウィンド１４を介して車両Ｖの進行方向を視ながら運転している場面を示している。

【0028】

図３に示すように、ディスプレイ３は、運転者Ｄの視野Ｃに含まれる場所に設けられている。より詳細には、運転者Ｄの視野Ｃには、ディスプレイ３のうち表示領域３１（図２参照）が含まれている。別の言い方をすれば、運転者Ｄの視野Ｃには、第１領域３２（図２参照）と第２領域３３（図２参照）が含まれている。このような場所にディスプレイ３を設けることで、運転者Ｄが車両Ｖの進行方向からディスプレイ３に視線を移動させるのに要する角度は小さくなるため、運転中の運転者Ｄにかかる負荷を抑制し、運転者Ｄの快適性が向上する。

【0029】

一方で、図３に示す場所にディスプレイ３が設けられると、運転者Ｄの視野Ｃにはディスプレイ３が含まれるため、運転者Ｄは、ディスプレイ３の存在を否応なしに気にする。このため、例えば、ナビゲーションシステムにおける案内画面のような車両Ｖの前景とは無関係な表示画像がディスプレイ３に表示された場合、車両Ｖの進行方向を視ている運転者Ｄは、視野Ｃに含まれるディスプレイ３の存在が気になる恐れがある。この場合、運転者Ｄがディスプレイ３の存在感を過大に感じ、運転者Ｄの快適性が損なわれる恐れがある。そこで、本実施形態に係る画像処理装置４は、運転者Ｄにとって視認しやすい場所にディスプレイ３が設けられている場合であっても、以下の方法を用いて、ディスプレイ３の存在感を低減させることができる。

【0030】

再び図１に戻り、画像表示システム１００の構成について説明する。画像処理装置４は、ハードウェア及びソフトウェアを備えたコンピュータにより構成され、プログラムを格納したＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行するＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）とから構成されている。なお、動作回路としては、ＣＰＵに代えて又はこれとともに、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを用いることができる。図１に示す制御装置４０はＣＰＵに相当し、また図１に示す記憶装置４４はＲＯＭ及びＲＡＭに相当する。

【0031】

図１に示すように、制御装置４０には、情報取得部４１と、画像生成部４２と、出力部４３が含まれ、これらのブロックは、ＲＯＭに確立されたソフトウェアによって、後述する各機能を実現する。

【0032】

情報取得部４１の機能について説明する。情報取得部４１は、車両の外部の色情報を含む外部情報と、車両の内装部の色情報である内装部情報を取得する。

【0033】

本実施形態において、色情報とは、色を示す数値データである。色を示す方法としては、ＲＧＢカラーモードが一例として挙げられる。ＲＧＢカラーモードにおける色は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各要素がどれだけ含まれているかで示すことができる。例えば、赤、緑、青の各要素の明度を８ビット（１バイト）の１０進数で表す場合、（０、０、０）は黒を示し、（２５５、２５５、２５５）は白を示し、（２５５、０、０）は赤を示し、（０、２５５、０）は緑を示し、（０、０、２５５）は青を示す（カッコ内は左から、Ｒ、Ｇ、Ｂの順で各要素の明度を示す）。

【0034】

次に情報取得部４１が取得する外部情報について説明する。情報取得部４１は、撮像装置１から車両の前景が写る撮像画像を取得し、撮像画像から車両の外部の色情報を取得する。例えば、情報取得部４１は、撮像画像に対して画像処理を実行することで、撮像画像の画素単位における色情報を取得する。そして、情報取得部４１は、撮像画像全体の色情報の平均値を算出することで、車両の前景の色情報を取得する。これにより、車両の乗員が視認する景色の色情報を取得することができる。例えば、夕方に車両が走行している場合、撮像画像全体における色情報は、夕日の色であるオレンジ色が支配的になる。この場合、情報取得部４１は、車両の前景の色情報として、オレンジ色を示す数値データを取得する。

【0035】

また情報取得部４１は、所定の周期で、撮像装置１により撮像された撮像画像を取得する。これにより、車両が走行するシーンに応じた車両の前景の色情報を取得することができる。なお、所定の周期は予め設定された周期である。

【0036】

次に内装部情報について説明する。情報取得部４１は、データベース２から車両のインストルメントパネルの画像を取得し、インストルメントパネルの画像から車両の内装部の色情報を取得する。例えば、情報取得部４１は、インストルメントパネルの画像に対して画像処理を実行することで、車両の内装部の色情報を取得する。例えば、車両のインストルメントパネルの表面に木目調の模様が付されていた場合、内装部における色情報は、木目の色であるベージュ色が支配的になる。この場合、情報取得部４１は、車両の内装部の色情報として、ベージュ色を示す数値データを取得する。

【0037】

次に画像生成部４２の機能について説明する。画像生成部４２は、表示画像のうち背景画像として機能する第１画像及び第２画像を生成する。第１画像とは、ディスプレイ３の表示領域のうち第１領域に表示される画像である。また第２画像とは、ディスプレイ３の表示領域のうち第１領域とは異なる領域である第２領域に表示される画像である。第１領域とは、ディスプレイ３の表示領域のうちウィンド側の領域である（例えば、図２の第１領域３２）。また第２領域とは、ディスプレイ３の表示領域のうち第１領域よりも車両の内装部側の領域である（例えば、図２の第２領域３３）。なお、本実施形態では、第１画像の大きさと第２画像の大きさを同じ大きさとして説明するが、第１画像の大きさと第２画像の大きさは異なっていてもよい。言い換えると、第１領域の大きさと第２領域の大きさは同じであってもよいし、異なっていてもよい。

【0038】

本実施形態では、ディスプレイ３の表示領域は第１領域及び第２領域に分けられるため、背景画像の大きさは、第１領域及び第２領域を足し合わせた領域である。また画像生成部４２は、第１画像及び第２画像を結合するとともに、第１画像及び第２画像を加工することで背景画像を生成する。そして、画像生成部４２は、背景画像に対してコンテンツ情報を重畳させることで、表示画像を生成する。以降、各画像の具体的な生成方法を説明する。

【0039】

図４Ａ～図４Ｃを用いて、第１画像の生成方法について説明する。図４Ａ～図４Ｃは、第１画像の生成方法を説明するための図である。図４Ａに示すように、画像生成部４２は、撮像装置１により撮像された撮像画像２１を取得する。画像生成部４２は、情報取得部４１が撮像装置１により撮像された撮像画像を取得したタイミングに対応して、以降で説明する画像の加工処理を行う。画像生成部４２は、撮像画像２１から、第１領域に対応した対象範囲２２の画像を抽出する。

【0040】

ここで、画像生成部４２は、撮像画像２１に写る車両の前景を実際の車両の前景とみなすとともに、車両の前景において、ディスプレイ３の存在により実際には車両の乗員が視認するには困難な領域を推測する。例えば、画像生成部４２は、車両の乗員の視野とディスプレイ３との位置関係に基づいて、実際にはディスプレイ３の存在によって乗員が視認するには困難な領域を推測する。画像生成部４２は、推測された領域を対象範囲２２として特定する。これにより、ディスプレイ３の背後にあるため、実際には乗員が視認するには困難な車両の前景に基づく画像を、後述する第１画像とすることができる。その結果、車両の前景と第１画像との間に所定範囲よりも大きな色情報の差異が発生する可能性を低減させることができる。

【0041】

図４Ｂは、画像生成部４２により抽出された対象画像２３である。対象画像２３は、図４Ａに示す撮像画像２１のうち、対象範囲２２の画像である。

【0042】

図４Ｃは、画像生成部４２により生成された第１画像２４を示す。画像生成部４２は、対象画像２３に対して加工処理を行うことで、第１画像２４を生成する。具体的には、画像生成部４２は、情報取得部４１により取得された外部情報に基づいて、対象画像２３に対してぼかし加工を行う。

【0043】

例えば、画像生成部４２は、車両の前景の色情報に対する差異が所定の範囲内にあるように、ぼかし加工のレベルを設定する。所定の範囲とは、予め設定された範囲である。ぼかし加工のレベルとは、元の画像とぼかし加工された画像との差の大きさを示す。例えば、ぼかし加工として、ぼかし加工のレベルが大きいほど元の画像との色情報の差異が大きくなる加工方法が採用されてもよい。この場合、画像生成部４２は、ぼかし加工レベルの大きさに応じて、対象画像の色情報を補正する。実際の景色の画像をぼかした画像をディスプレイ３に表示することにより、実際の景色の画像が表示される場合よりも、ノイズを避けることができる。また、実際の景色の色情報とは異なるため、実際の景色の画像が表示される場合よりも、車両の乗員が画像に気を取られる可能性を低減することができる。その結果、運転者の運転操作を妨げられる可能性を低減することができる。なお、画像処理装置４には、本願出願時に知られた、ぼかし加工の画像処理技術を適宜援用することができる。なお、ぼかし加工として、ぼかし加工のレベルにかかわらず、元の画像との色情報の差異が一定（又は、略一定）となるように画像を加工する加工方法が採用されてもよい。

【0044】

次に図５を用いて、第２画像の生成方法について説明する。図５は、第２画像の一例である。本実施形態では、画像生成部４２は、データベース２から車両のインストルメントパネルの画像を取得し、取得した画像を第２画像とする。ここで、画像生成部４２は、データベース２に格納されている画像から、第２領域に対応した対象範囲の画像を抽出し、第２領域の大きさに対応した画像を第２画像とする。図５の例では、画像処理装置４が搭載された車両のインストルメントパネルには木目調の模様が付されているため、画像生成部４２は、木目調の第２画像２５を生成する。

【0045】

次に図６Ａ～図６Ｃを用いて、背景画像の生成方法について説明する。図６Ａ～図６Ｃは、背景画像の生成方法を説明するための図である。図６Ａに示すように、画像生成部４２は、第１画像２４の端部のうち内装部１３側の端部と、第２画像２５の端部のうちウィンド１４側の端部を結合することで、結合画像２６を生成する。図６Ａに示す第１画像２４は、図４Ｃに示す第１画像２４に対応し、図６Ａに示す第２画像２５は、図５に示す第２画像２５に対応する。また図６Ａにおいて、第１領域３２は図２に示す第１領域３２に対応し、第２領域３３は図２に示す第２領域３３に対応する。また図６Ａにおいて、２７は第１領域３２と第２領域３３の境界を示す。例えば、ディスプレイ３の表示領域３１が矩形形状であって、図６Ａに示すように、第１領域３２と第２領域３３の大きさが同じ場合、境界２７は、表示領域３１を第１領域３２と第２領域３３に二分するセンターライン（直線）になる。

【0046】

画像生成部４２は、第１画像及び第２画像を結合させた後、結合された画像に対して加工処理を行うことで、背景画像を生成する。

【0047】

本実施形態では、画像生成部４２は、第１画像及び第２画像に対して縦方向にグラデーション加工を行う。縦方向とは、車両の上方部から下方部の方向又は下方部から上方部の方向である。縦方向における方向の向きは限定されない。図６Ｂに示す背景画像５０は、画像生成部４２により、図６Ａの結合画像２６に対して縦方向のグラデーション加工が行われた背景画像である。

【0048】

例えば、画像生成部４２は、第１画像２４の端部２４Ａから境界２７の方向に向かって、黒色となるように第１画像２４にグラデーションを施す処理を行う。具体的には、画像生成部４２は、色を示す数値データが境界２７で黒色を示す数値データとなるように、図６Ｂに示す矢印５１の方向に沿って第１画像２４の色情報を補正する。矢印５１は、図２に示すウィンド１４から内装部１３への方向を示す。

【0049】

また例えば、画像生成部４２は、第２画像２５の端部２５Ａから境界２７の方向に向かって、黒色となるように第２画像２５にグラデーションを施す処理を行う。具体的には、画像生成部４２は、色を示す数値データが境界２７で黒色を示す数値データとなるように、図６Ｂに示す矢印５２の方向に沿って第２画像２５の色情報を補正する。矢印５２は、図２に示す内装部１３からウィンド１４への方向を示す。

【0050】

画像生成部４２は、第１画像及び第２画像に対して縦方向にグラデーション加工をした後、加工された画像に対して横方向にグラデーション加工を行う。

【0051】

横方向とは、車両の車両左側方から車両右側方の方向又は車両右側方から車両左側方の方向である。横方向における方向の向きは限定されない。図６Ｃに示す背景画像６０は、画像生成部４２により、図６Ｂの背景画像５０に対して横方向のグラデーション加工が行われた背景画像である。

【0052】

例えば、画像生成部４２は、第１画像２４の端部２４Ｂ及び端部２４Ｃから境界２７の方向に向かって、黒色となるように第１画像２４にグラデーションを施す処理を行う。具体的には、画像生成部４２は、色を示す数値データが境界２７で黒色を示す数値データとなるように、図６Ｃに示す矢印６１の方向に沿って第１画像２４の色情報を補正する。また画像生成部４２は、色を示す数値データが境界２７で黒色を示す数値データとなるように、図６Ｃに示す矢印６２の方向に沿って第１画像２４の色情報を補正する。

【0053】

また例えば、画像生成部４２は、第２画像２５の端部２５Ｂ及び端部２５Ｃから境界２７の方向に向かって、黒色となるように第２画像２５にグラデーションを施す処理を行う。具体的には、画像生成部４２は、色を示す数値データが境界２７で黒色を示す数値データとなるように、図６Ｃに示す矢印６３の方向に沿って第２画像２５の色情報を補正する。また画像生成部４２は、色を示す数値データが境界２７で黒色を示す数値データとなるように、図６Ｃに示す矢印６４の方向に沿って第２画像２５の色情報を補正する。

【0054】

図６Ａ～図６Ｃを用いて説明した画像処理を行うことで、図６Ｃに示すような縦方向及び横方向にグラデーション加工された第１画像及び第２画像で構成される背景画像６０が生成される。このようなグラデーションを施すことで、車両の乗員が背景画像６０を視認したときに、車両の乗員が奥行きを感じるような効果を得ることができる。別の言い方をすれば、縦方向及び横方向のグラデーションを施すことで、立体的な背景画像６０を生成することができる。なお、図６Ｂ及び図６Ｃを用いて説明したグラデーションを施す処理は一例であって、特に限定されるものではない。画像処理装置４には、本願出願時に知られたグラデーションを施す画像処理技術を適宜援用することができる。

【0055】

次に図７を用いて、表示画像の生成方法について説明する。図７は、表示画像の生成方法を説明するための図である。図７に示すように、画像生成部４２は、背景画像６０に対して、コンテンツ情報７１及びコンテンツ情報７２を重畳させることで、表示画像７０を生成する。図７に示す７１及び７２は、それぞれコンテンツ情報を模式的に表したものであって、コンテンツ情報の表示形態及び表示内容は特に限定されない。例えば、コンテンツ情報７１は、車両のスピードメーターを示す画面である。また例えば、コンテンツ情報７２は、車両の状態を示す画面である。

【0056】

再び図１に戻り、制御装置４０を構成するその他のブロックの機能について説明する。出力部４３は、画像生成部４２により生成された表示画像をディスプレイ３に出力する。表示画像には、第１画像及び第２画像も含まれているため、出力部４３は、第１画像及び第２画像をディスプレイ３に出力する。これにより、ディスプレイ３には表示画像が表示される。

【0057】

次に、図８～図１０を用いて、表示画像をディスプレイ３に表示する画像表示システム１００において、画像処理装置４が実行する処理を説明する。図８は、画像処理装置４が実行する処理を示すフローチャートである。

【0058】

ステップＳ１では、画像処理装置４は、車両の外部の色情報を含む外部情報を取得する。例えば、画像処理装置４は、撮像装置１から車両の前景の撮像画像を取得する。画像処理装置４は、撮像画像に対して画像処理を実行することで、撮像画像全体の色情報を取得する。

【0059】

ステップＳ２では、画像処理装置４は、車両の内装部の色情報を含む内装部情報を取得する。例えば、画像処理装置４は、データベース２から車両のインストルメントパネルの画像を取得する。画像処理装置４は、インストルメントパネルの画像に対して画像処理を実行することで、車両の内装部の色情報を取得する。またこのステップにおいて、画像処理装置４は、ディスプレイ３の形状、車両の室内においてディスプレイ３が設けられている位置、及びディスプレイ３の表示領域の大きさの情報も取得する。これにより、画像処理装置４は、第１領域及び第２領域の大きさ、第１領域と第２領域の境界の位置を認識することができる。

【0060】

ステップＳ３では、画像処理装置４は、第１領域に表示される第１画像を生成する。図９は、図８に示すステップＳ３のサブルーチンである。

【0061】

ステップＳ３１では、画像処理装置４は、車両の前景の撮像画像から、第１領域に対応した大きさの対象画像を抽出する。例えば、画像処理装置４は、車両の乗員の視野とディスプレイ３との位置関係に基づいて、車両の前景において、実際にはディスプレイ３の背後にあるため、乗員が視認するには困難な領域を推測する。そして、画像処理装置４は、車両の前景の撮像画像から、推測された領域を対象画像として抽出する。対象画像の一例としては、図４Ｂに示す対象画像２３が挙げられる。

【0062】

ステップＳ３２では、画像処理装置４は、ステップＳ１で取得された外部情報に基づいて、ステップＳ３１で抽出された対象画像に対してぼかし加工の処理を実行する。例えば、画像処理装置４は、車両の前景の色情報に対する差異が所定の範囲内にあるように、ぼかし加工のレベルを設定する。画像処理装置４は、設定したレベルに応じて、対象画像の色情報を補正する。

【0063】

ステップＳ３３では、画像処理装置４は、ステップＳ３２の処理により撮像画像をぼかした対象画像を、第１画像とする。第１画像の一例としては、図４Ｃに示す第１画像２４が挙げられる。

【0064】

ステップＳ３３で第１画像が生成されると、図９に示すサブルーチンを抜け、図８に示すステップＳ４に進む。

【0065】

ステップＳ４では、画像処理装置４は、第２画像を生成する。本実施形態では、画像処理装置４は、データベース２から車両のインストルメントパネルの画像を取得し、取得した画像を第２画像とする。第２画像の一例としては、図５に示す第２画像２５が挙げられる。

【0066】

ステップＳ５では、画像処理装置４は、ステップＳ３で生成された第１画像及びステップＳ４で生成された第２画像に基づいて、ディスプレイ３の表示領域に表示させるための表示画像を生成する。図１０は、図８に示すステップＳ５のサブルーチンである。

【0067】

ステップＳ５１では、画像処理装置４は、ステップＳ３で生成された第１画像及びステップＳ４で生成された第２画像を結合する。例えば、画像処理装置４は、第１画像の端部のうち車両の内装部側の端部と、第２画像の端部のうち車両の前方のウィンド側の端部を結合する。これにより、車両の上方部から下方部の方向に沿って、第１画像、第２画像の順で結合された画像が生成される。結合された画像の一例としては、図６Ａに示す結合画像２６が挙げられる。

【0068】

ステップＳ５２では、画像処理装置４は、ステップＳ５１で生成された画像に対して縦方向のグラデーションを施す処理を実行する。例えば、画像処理装置４は、第１画像のウィンド側の端部から第１画像及び第２画像の境界に向かって、黒色となるように第１画像にグラデーションを施す処理を行う。また例えば、画像処理装置４は、第２画像の車両の内装部側の端部から第１画像及び第２画像の境界に向かって、黒色となるように第２画像にグラデーションを施す処理を行う。縦方向のグラデーション処理が行われた画像の一例としては、図６Ｂに示す背景画像５０が挙げられる。

【0069】

ステップＳ５３では、ステップＳ５２で処理された画像に対して横方向のグラデーションを施す処理を実行する。例えば、画像処理装置４は、第１画像のウィンド側の端部及び第２画像の内装部側の端部以外の端部から、第１画像及び第２画像の境界に向かって、黒色となるように第１画像及び第２画像にグラデーションを施す処理を行う。横方向のグラデーション処理が行われた画像の一例としては、図６Ｃに示す背景画像６０が挙げられる。

【0070】

ステップＳ５１～ステップＳ５３の処理をすることで、ステップＳ５４にて、第１画像及び第２画像に基づく背景画像が生成される。

【0071】

ステップＳ５５では、画像処理装置４は、ステップＳ５４で生成された背景画像に対して、コンテンツ情報を重畳させる。例えば、画像処理装置４は、ナビゲーションの案内画面を背景画像に重畳させる。コンテンツ情報が重畳された画像の一例としては、図７に示す表示画像７０が挙げられる。

【0072】

ステップＳ５５の処理をすることで、ステップＳ５６にて、表示画像が生成される。ステップＳ５６で表示画像が生成されると、図１０に示すサブルーチンを抜け、図８に示すステップＳ６に進む。

【0073】

ステップＳ６では、画像処理装置４は、ステップＳ５で生成された表示画像をディスプレイ３に出力する。ステップＳ６の処理が終了すると、画像処理装置４は処理を終了させる。

【0074】

図１１は、画像処理装置４により生成された背景画像がディスプレイ３に表示された場面の一例である。図１１は、図２の車両の室内を示す図に対応している。例えば、図１１に示す場面は、車両Ｖが夕方の時間帯を走行している場面である。ディスプレイ３の第１領域３２には、夕日の色であるオレンジ色が支配的な色であって、車両Ｖの前景をぼかした画像（第１画像）が表示される。またディスプレイ３の第２領域３３には、内装部１３の画像（第２画像）が表示される。また第１画像と第２画像にはそれぞれ車両の乗員が奥行きを感じるように、縦方向及び横方向にグラデーションが施されている。このような背景画像がディスプレイ３に表示されることで、車両Ｖの乗員は、ディスプレイ３が存在する場所には内装部１３が存在するように錯覚しやすくなる。また車両Ｖの乗員は、内装部１３の上方に車両Ｖの前景が存在するように錯覚しやすくなる。車両Ｖの乗員が錯覚しやすくなることで、車両Ｖの乗員が感じるディスプレイ３の存在感を低減させることができる。

【0075】

以上のように、本実施形態に係る画像処理装置４は、車両の外部の色情報を含む外部情報を取得する情報取得部４１と、外部情報に基づいて、車両の外部に対する色情報の差異が所定の範囲内にある第１画像２４を生成する画像生成部４２と、車両の室内に設けられたディスプレイ３に第１画像２４を出力する出力部４３とを備える。これにより、ディスプレイ３に表示される第１画像と、ディスプレイ３周辺の景色に視覚的な統一感を持たすことができる。車両の乗員は、第１画像と車両の外部の景色で一つのまとまった景色と錯覚しやすくなり、車両の乗員が感じるディスプレイの存在感を低減させることができる。その結果、車両の乗員の快適性を向上させることができる。

【0076】

また、本実施形態では、第１画像２４は、ディスプレイ３の表示領域３１の一部である第１領域３２に表示される。これにより、ディスプレイ３の一部と、ディスプレイ３の周辺の景色に視覚的な統一感を持たすことができ、車両の乗員が感じるディスプレイ３の存在感を低減させることができる。

【0077】

さらに、本実施形態では、ディスプレイ３は、表示領域３１の一部が車両の内装部１３から車両のウィンド１４の方向に延在しており、第１領域３２は、ウィンド１４側に位置する。これにより、車両の乗員がウィンドを介して車両の外部を視認したときに、乗員は、第１領域周辺の景色と、第１領域に表示される第１画像が全体として一つのまとまった景色と錯覚しやすくなる。その結果、乗員が感じるディスプレイ３の存在感を低減させることができる。

【0078】

加えて、本実施形態では、ディスプレイ３は、車両の乗員がウィンド１４を介して車両の外部を視認したときに、第１領域３２が乗員の視野に含まれる場所に設けられる。これにより、図２に示すような車両の乗員に視認されやすい場所にディスプレイ３が設けられる場合であっても、ディスプレイ３の存在感を低減させることができる。例えば、ディスプレイ３にコンテンツ情報としてナビゲーションシステムの案内画面が表示された場合、車両の乗員は、ディスプレイ３の存在を気にするよりも、ナビゲーションシステムからの情報に集中しやすくなる。その結果、車両の乗員の快適性を向上させることができる。

【0079】

また、本実施形態では、ディスプレイ３は、車両の乗員の前方に設けられ、情報取得部４１は、車両の前方の外部情報を取得する。これにより、乗員は、車両の進行方向の景色の一部として第１画像を認識しやすくなり、乗員が感じるディスプレイ３の存在感を低減させることができる。

【0080】

さらに、本実施形態では、情報取得部４１は、撮像装置１により撮像された車両の外部の撮像画像を取得し、画像生成部４２は、外部情報に基づく加工処理を行うことにより、第１画像２４を生成する。これにより、実際の景色の色情報に基づく第１画像を生成することができる。その結果、第１画像とディスプレイ３の周辺景色に視覚的な統一感を持たせやすくすることができる。

【0081】

加えて、本実施形態では、画像生成部４２が撮像画像に行う加工処理は、撮像画像をぼかす処理である。これにより、実際の景色よりも色の濃淡の差が小さい第１画像を生成することができるため、乗員の視線は、実際の景色が写る車両のウィンド１４側に向かいやすくなる。その結果、例えば、乗員による運転操作を妨げる可能性を低減することができる。

【0082】

また、本実施形態では、情報取得部４１は、車両の前方の撮像画像を逐次取得し、画像生成部４２は、撮像画像が取得されたタイミングに対応して撮像画像に加工処理を行う。これにより、車両の走行シーンが変わったことで、車両の前方の景色が変化したとしても、車両の前方の景色に対応した第１画像を生成することができる。その結果、車両の走行シーンにかかわらず、乗員が感じるディスプレイ３の存在感を低減させることができる。

【0083】

さらに、本実施形態では、画像生成部４２は、表示領域３１のうち第１領域３２と異なる第２領域３３に表示される第２画像２５を生成し、出力部４３は、ディスプレイ３に第２画像２５を出力する。これにより、例えば、第１画像と色合いが異なる第２画像を一つのディスプレイ３の中で表示させることができる。

【0084】

加えて、本実施形態では、第２領域３３は、第１領域３２より内装部１３側に位置する。これにより、例えば、車両の内装部１３の色合いに合わせた画像を第２画像として表示させることができ、その結果、内装部１３と第２画像に視覚的な統一感を持たせやすくすることができる。

【0085】

また、本実施形態では、ディスプレイ３は、車両の乗員がウィンド１４を介して車両の外部を視認したときに、第２領域３３が乗員の視野に含まれる場所に設けられる。これにより、図２に示すような車両の乗員に視認されやすい場所にディスプレイ３が設けられる場合であっても、ディスプレイ３の存在感を低減させることができる。

【0086】

さらに、本実施形態では、第２画像２５は、内装部１３の表面を表した画像である。これにより、内装部１３と第２画像に視覚的な統一感を持たせることができ、車両の乗員が感じるディスプレイ３の存在感を低減させることができる。

【0087】

加えて、本実施形態では、ディスプレイ３は、表示領域３１が矩形形状のディスプレイであり、画像生成部４２は、表示領域３１のウィンド１４側の端部及び内装部１３側の端部から、第１領域３２と第２領域３３の境界２７に向かって、黒色となるように第１画像２４及び第２画像２５にグラデーションを施す処理を行う。そして、出力部４３は、グラデーション処理された第１画像２４及び第２画像をディスプレイ３に出力する。第１画像と第２画像の境界周辺では、色を示す数値データの差が小さくなるため、第２画像として、内装部１３の表面の画像が表示された場合、車両の乗員は、内装部１３に奥行きがあるように錯覚しやすくなる。その結果、乗員が感じるディスプレイ３の存在を低減させることができる。

【0088】

また、本実施形態では、画像生成部４２は、表示領域３１のうちウィンド１４側の端部及び内装部１３側の端部以外の端部から、第１領域３２と第２領域３３の境界２７に向かって、黒色となるように第１画像２４及び第２画像２５にグラデーションを施す処理を行う。これにより、例えば、内装部１３の表面の画像が表示された場合、車両の乗員は、内装部１３に奥行きがあるようにより錯覚しやすくなる。その結果、乗員が感じるディスプレイ３の存在をより低減させることができる。

【0089】

さらに、本実施形態では、画像生成部４２は、第１画像２４及び第２画像２５に、乗員に提供するための情報であるコンテンツ情報７１、７２を重畳することにより、表示領域３１に表示される表示画像７０を生成し、出力部４３は、ディスプレイ３に表示画像を出力する。これにより、背景画像として機能する第１画像２４及び第２画像の存在により、乗員が感じるディスプレイ３の存在感を低減させつつ、乗員にはコンテンツ情報を提示させることができる。その結果、乗員は、空間にコンテンツ情報が表示されているように錯覚しやすくなり、乗員に非日常感を与えることができる。

【0090】

≪第２実施形態≫
次に、第２実施形態に係る画像処理装置及び画像処理方法について説明する。図１２は、第２実施形態に係る画像処理装置１０４を含む画像表示システム２００の一例を示すブロック図である。図１２に示すように、本実施形態における画像表示システム２００は、撮像装置１と、データベース１０２と、通信装置１０５と、ディスプレイ３と、画像処理装置１０４とを含む。以降の説明では、第１実施形態に係る画像表示システム１００と異なる構成について説明を行う。また図１２では、第１実施形態と同じ構成については、第１実施形態での符号と同じ符号が付されている。これらの構成については、説明を省略し、第１実施形態で行った説明を援用する。

【0091】

データベース１０２は、画像情報を格納するデータベースである。本実施形態では、データベース１０２は、車両の内装部の画像に加えて、車両の前景の画像を格納している。

【0092】

データベース１０２は、車両が走行するシーン（以降では、車両の走行シーンという）ごとに、車両の前景の画像を格納している。データベース１０２は、車両の前景を写す複数の画像を予め記憶している。車両の走行シーンは、例えば、時間帯、天気、場所に応じて変化する。時間帯としては、例えば、朝、昼、夕方、夜の４種類が挙げられる。天気としては、例えば、晴れ、雨、曇りの３種類が挙げられる。場所としては、例えば、市街地、郊外の２種類が挙げられる。データベース１０２は、時間帯、天気、及び場所の各組み合わせに対応した車両の前景の画像を格納している。上記例の場合、データベース１０２は、２４種類の画像を格納している。

【0093】

なお、時間帯、天気、場所の種別の一例としてそれぞれ数種類の種別を挙げたが、種別の数は特に限定されない。例えば、「場所」の場合、さらに、直進路、曲り道、上り坂、下り坂、交差点など道路の形状に応じて細かく分類されていてもよい。

【0094】

通信装置１０５は、所定のネットワークを介して、車両の外部に設けられたサーバと通信可能な通信装置である。通信装置１０５には、画像処理装置１０４から指令が入力される。通信装置１０５は、画像処理装置１０４からの指令に応じてサーバから情報を取得するとともに、サーバから取得した情報を画像処理装置１０４に出力する。

【0095】

本実施形態では、通信装置１０５がサーバから取得する情報は画像情報である。サーバは、例えば、車両の車種ごとに、車両の前景の画像を格納しているサーバである。またサーバは、例えば、データベース１０２の説明で挙げたような車両の走行シーンごとに、車両の前景の画像を格納しているサーバである。例えば、通信装置１０５は、画像処理装置１０４から指定された車種及び走行シーンについて、車両の前景の画像を取得する。通信装置１０５は、取得した車両の前景の画像を画像処理装置１０４に出力する。通信装置１０５としては、４Ｇ ＬＴＥのモバイル通信機能を備えたデバイス、Ｗｉｆｉ通信機能を備えたデバイス等が例示できる。

【0096】

本実施形態に係る画像処理装置１０４は、第１実施形態に係る画像処理装置４と比べて、制御装置１４０に含まれる情報取得部１４１と画像生成部１４２が異なる以外は同様の構成を有している。第１実施形態の構成と同じ符号が付された構成については、説明を省略し、第１実施形態で行った説明を援用する。

【0097】

本実施形態に係る情報取得部１４１は、外部情報として、車両の前景が写る撮像画像に加えて、データベース１０２から車両の前景の画像を取得する。また情報取得部１４１は、外部情報として、サーバから車両の前景の画像を取得する。例えば、情報取得部１４１は、現在の車両の走行シーンを条件として指定し、指定した条件に該当する複数の車両の前景の画像を取得する。この場合において、情報取得部１４１は、全ての条件に完全に一致した画像だけでなく、条件の一部で一致した画像も含めて取得する。

【0098】

本実施形態に係る画像生成部１４２は、第１実施形態に係る画像生成部４２と比べて、第１画像の生成方法が異なる以外は同様の機能を有している。このため、第１画像と同様の機能の説明については省略し、第１実施形態で行った説明を援用する。

【0099】

画像生成部１４２による第１画像の生成方法について説明する。本実施形態では、画像生成部１４２は、外部情報に基づいて、情報取得部１４１により取得された複数の車両の前景の画像から、第１画像を選択する。画像生成部１４２は、データベース１０２やサーバに予め記録されている複数の画像候補の中から、車両の前景に対する色情報の差異が所定の範囲内にある画像を、第１画像として選択する。

【0100】

例えば、画像生成部１４２は、撮像装置１により撮像された撮像画像全体を対象にして、色を示す数値データの平均値を算出する。また画像生成部１４２は、情報取得部１４１により取得された車両の前景の画像全体を対象にして、色を示す数値データの平均値を算出する。画像生成部１４２は、算出した２つの平均値を比較し、色を示す数値データの差を算出する。画像生成部１４２は、画像候補ごとに、色を示す数値データの差を算出し、複数の画像候補の中から、色を示す数値データの差が最も小さい画像候補を、第１画像として選択する。

【0101】

次に、図１３を用いて、画像処理装置１０４が第１画像を生成する処理を説明する。図１３は、画像処理装置１０４が実行する処理であって、図８に示すステップＳ３のサブルーチンである。画像処理装置１０４は、第１実施形態と比べて、ステップＳ３の処理が異なる以外は、同様の処理を実行する。このため、第１実施形態と同様の処理については説明を省略し、第１実施形態で行った説明を援用する。

【0102】

ステップＳ１３１では、画像処理装置１０４は、複数の画像候補を取得する。例えば、画像処理装置１０４は、データベース１０２から、車両の前景が写る複数の画像を取得する。この際に、画像処理装置１０４は、車両の走行シーンに比較的近い複数の画像を取得する。また画像処理装置１０４は、通信装置１０５を介して、サーバから、車両の前景が写る複数の画像を取得する。

【0103】

ステップＳ１３２では、画像処理装置１０４は、車両の外部の色情報を含む外部情報に基づいて、ステップＳ１３１で取得した複数の画像候補から、第１画像を選択する。例えば、画像処理装置１０４は、車両の外部に対する色情報の差異が所定の範囲内にある画像候補を、第１画像として選択する。所定の範囲とは、車両の外部に対して色の差異が少ないことを示すための範囲であって、予め定められた範囲である。

【0104】

ステップＳ１３２での処理が終了すると、図１３に示すサブルーチンを抜け、図８に示すステップＳ４に進む。

【0105】

以上のように、本実施形態に係る画像処理装置１０４では、情報取得部１４１は、第１画像の候補である複数の候補画像を取得し、画像生成部１４２は、外部情報に基づいて複数の候補画像から第１画像を選択する。これにより、データベース１０２やサーバに予め格納された画像を第１画像として用いることができ、撮像画像から第１画像を生成する場合と比べて、撮像画像に対する加工処理を減らすことができる。その結果、画像処理によって制御装置１４０にかかる演算負荷を軽減させることができる。

【0106】

なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

【0107】

例えば、制御装置４０が実行するプログラムについて、ＲＯＭとして機能する記憶装置４４に格納されたプログラムを例に挙げて説明したが、プログラムの格納場所は、画像処理装置４の外部であってもよい。例えば、コンピュータが読み取り可能な記録媒体に制御装置４０が実行するプログラムが格納されていてもよい。この場合、当該記録媒体と画像処理装置４を何らかの方法・規格を用いて接続することで、制御装置４０は、記録媒体に記録されたプログラムを実行することができる。

【0108】

また例えば、上述した第１実施形態では、画像処理装置４が行うグラデーション処理として、黒色となるような処理を例に挙げて説明したが、グラデーション処理における色は特に限定されない。例えば、画像処理装置４は、第１画像及び第２画像に対して、白色となるような縦方向及び／又は横方向のグラデーションを施す処理を行ってもよい。

【0109】

また例えば、上述した第１実施形態では、乗員が奥行きを感じるように錯覚しやすくするために、画像処理装置４が第１画像及び第２画像に対して、縦方向及び横方向のグラデーションを施す場合を例に挙げて説明したが、これに限られない。例えば、画像処理装置４は、乗員が奥行きを感じるように錯覚しやすくするためのその他の加工処理を行ってもよい。

【0110】

また例えば、上述した第２実施形態では、車両がデータベース１０２を備える構成を例に挙げて説明したが、データベース１０２は車両の外部に設けられていてもよい。この場合、画像処理装置１０４は、通信装置１０５を介して、データベース１０２にアクセスし、複数の画像候補を取得する。

【0111】

また例えば、上述した第２実施形態では、画像処理装置１０４がデータベース１０２及びサーバから複数の画像候補を取得する構成を例に挙げて説明したが、画像処理装置１０４は、データベース１０２及びサーバの何れか一方から複数の画像候補を取得してもよい。

【0112】

また例えば、上述した第２実施形態では、データベース１０２が車両の走行シーンごとに車両の前景の画像を格納している場合を例に挙げたが、車両の走行シーンを構成する要素としては、時間帯、天気、場所に限られない。車両の走行シーンを構成する要素は、その他の要素であってもよい。例えば、車両の走行シーンを構成する他の要素としては、先行車両が存在するか否かが挙げられる。またその他の要素としては、例えば、車両が走行する車線の数などが挙げられる。

【0113】

また例えば、ディスプレイ３の形状は、本実施形態において例示されている形状とは異なる形状であってもよい。例えば、ディスプレイ３の形状は、縦長の矩形形状であってもよい。また、例えば、ディスプレイ３の形状は、左右一対のＡピラー（又は、それらの近傍）の間にわたって延在するような、車両幅方向に長い横長の矩形形状であってもよい。ディスプレイ３が車両幅方向に長い形状である場合、本実施形態に係るディスプレイ３と比較して、通常であれば車両Ｖの乗員がディスプレイの存在感を一層過大に感じやすい。このため、ディスプレイ３が車両幅方向に長い形状である場合、画像処理装置４，１０４を採用することにより奏される効果が一層大きくなる。

【0114】

また例えば、ディスプレイ３は、車両Ｖのウィンド１４の上端に沿って設けられていてもよい。言い換えると、ディスプレイ３は、ウィンド１４と平行に、ウィンド１４の上端の高さに合わせて設けられていてもよい。例えば、ディスプレイ３は、ディスプレイ３の下端の高さとウィンド１４の上端の高さとが一致する（略一致する）高さに設けられていてもよい。この場合、運転者の目の高さにかかわらず、運転者がウィンド１４を介して車両Ｖの前方を視認したとき、運転者の視界にディスプレイ３が干渉することを確実に防止することができる。あるいは、ディスプレイ３は、ディスプレイ３の上端と下端との間にウィンド１４の上端が位置する高さに設けられていてもよい。この場合、運転者の視界において、ウィンド１４の下端とディスプレイ３の上端が近接した位置に視認され、あたかもウィンド１４とディスプレイ３とが連続しているように運転者に錯覚されやすい。

【符号の説明】

【0115】

１…撮像装置
２…データベース
３…ディスプレイ
４…画像処理装置
４０…制御装置
４１…情報取得部
４２…画像生成部
４３…出力部
４４…記憶装置
１００…画像表示システム

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】