特許 7491194 周辺画像生成装置、表示制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-20

(45)【発行日】2024-05-28

(54)【発明の名称】周辺画像生成装置、表示制御方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240521BHJP

   B60R 1/20 20220101ALI20240521BHJP

   G06T 1/00 20060101ALI20240521BHJP

【ＦＩ】

H04N7/18 J

B60R1/20

G06T1/00 330A

【請求項の数】 10

(21)【出願番号】P 2020193954

(22)【出願日】2020-11-23

(65)【公開番号】P2022082487

(43)【公開日】2022-06-02

【審査請求日】2023-02-15

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【氏名又は名称】矢作 和行

(74)【代理人】

【識別番号】100121991

【弁理士】

【氏名又は名称】野々部 泰平

(74)【代理人】

【識別番号】100145595

【弁理士】

【氏名又は名称】久保 貴則

(72)【発明者】

【氏名】木田 昌吾

(72)【発明者】

【氏名】森山 親一

【審査官】西島 篤宏

(56)【参考文献】

【文献】米国特許出願公開第２０１９／００３１１０１（ＵＳ，Ａ１）

【文献】特開２０１９－０１４３９８（ＪＰ，Ａ）

【文献】特開２０１８－０９８５６７（ＪＰ，Ａ）

【文献】特開２０１８－１１０３２８（ＪＰ，Ａ）

【文献】特開２００４－３３６６１３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／２０

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

車両で用いられ、前記車両の周辺に存在する立体物を検出する障害物センサ（８）と接続されて使用される周辺画像生成装置であって、
前記車両の周辺を撮影する複数のカメラで得られた複数のカメラ画像を取得する画像取得部（Ｆ１）と、
前記画像取得部が取得した前記カメラ画像のうち少なくとも進行方向側を撮像した前記カメラ画像の一部又は全部を記憶する画像記憶部（Ｍ１）と、
前記画像取得部が取得した前記カメラ画像、及び、前記画像記憶部が記憶している前記カメラ画像を用いて、前記車両の底部を透過させた合成画像である床下透過画像を生成する合成画像生成部（Ｆ７）と、を備え、
前記合成画像生成部は、前記床下透過画像として、前記車両の下方に位置する地面の一部または全部を示す画像上に、車体が存在する範囲の境界を示す車両境界線（Ｌｖｃ）を重畳させるとともに、前記車両境界線に所定パターンの装飾を付与した画像を生成するように構成されており、
前記障害物センサの検出結果を示す信号を取得する障害物情報取得部（Ｆ４）と、
前記車両境界線に付与される前記装飾としての画像である装飾画像（Ｅｆ）及び前記車両境界線のそれぞれの表示状態を制御する表示制御部（Ｆ６）と、をさらに備え、
前記表示制御部は、前記障害物情報取得部が前記障害物センサから前記車両から所定距離以内に障害物が存在していることを示す信号を取得していることに基づいて、前記車両境界線の表示態様を変更するとともに、前記車両境界線の表示態様の変更に連動させて前記装飾画像の表示態様も変更するように構成されている周辺画像生成装置。

【請求項2】

請求項１に記載の周辺画像生成装置であって、
前記装飾画像（Ｅｆ）は、前記車両境界線から離れるにつれて透明度が段階的に高まるグラデーションを有している周辺画像生成装置。

【請求項3】

請求項１又は２に記載の周辺画像生成装置であって、
前記装飾画像（Ｅｆ）は、透明度が相対的に低い部分である第１部（Ｅ１）と、前記第１部よりも透明度が相対的に高い第２部（Ｅ２）とが交互に並ぶ縞模様を有する画像である周辺画像生成装置。

【請求項4】

請求項１から３の何れか１項に記載の周辺画像生成装置であって、
前記装飾画像（Ｅｆ）は、所定幅を有する帯状の画像であって、前記車両境界線から車両外側又は真上に向かって延出されている周辺画像生成装置。

【請求項5】

請求項１から３の何れか１項に記載の周辺画像生成装置であって、
前記装飾画像（Ｅｆ）は、前記車両境界線から離れている方の縁部が波形状の画像であって、
前記合成画像生成部は、前記車両境界線に対する場所ごとの高さを経時的に変化させるように構成されている周辺画像生成装置。

【請求項6】

請求項１から５の何れか１項に記載の周辺画像生成装置であって、
前記合成画像生成部は、複数の前記カメラ画像のデータを投影した仮想の投影面と、ユーザの指示操作に基づいて位置及び方向が変更されうる仮想視点と、に基づいて、前記床下透過画像としての合成画像を生成するものであって、
前記合成画像生成部は、設定可能な仮想視点のパターンとして、車室内に配された車室内視点（ＶＰｄ）と、車室外において前記車両の屋根部よりも上方に配置された鳥瞰視点（ＶＰｂ）を備え、
前記車両境界線に付与される前記装飾としての画像である装飾画像（Ｅｆ）の表示状態を制御する表示制御部（Ｆ６）を備え、
前記表示制御部は、前記仮想視点が前記車室内視点に設定されている場合には前記装飾画像を表示し、前記仮想視点が前記鳥瞰視点に設定されている場合には前記装飾画像を表示しないように構成されている周辺画像生成装置。

【請求項7】

車両で用いられる周辺画像生成装置であって、
前記車両の周辺を撮影する複数のカメラで得られた複数のカメラ画像を取得する画像取得部（Ｆ１）と、
前記画像取得部が取得した前記カメラ画像のうち少なくとも進行方向側を撮像した前記カメラ画像の一部又は全部を記憶する画像記憶部（Ｍ１）と、
前記画像取得部が取得した前記カメラ画像、及び、前記画像記憶部が記憶している前記カメラ画像を用いて、前記車両の底部を透過させた合成画像である床下透過画像を生成する合成画像生成部（Ｆ７）と、を備え、
前記合成画像生成部は、
前記床下透過画像として、前記車両の下方に位置する地面の一部または全部を示す画像上に、車体が存在する範囲の境界を示す車両境界線（Ｌｖｃ）を重畳させるとともに、前記車両境界線に所定パターンの装飾を付与した画像を生成するように構成されており、
前記合成画像生成部は、複数の前記カメラ画像のデータを投影した仮想の投影面と、ユーザの指示操作に基づいて位置及び方向が変更されうる仮想視点と、に基づいて、前記床下透過画像としての合成画像を生成するものであって、
前記合成画像生成部は、設定可能な仮想視点のパターンとして、車室内に配された車室内視点（ＶＰｄ）と、車室外において前記車両の屋根部よりも上方に配置された鳥瞰視点（ＶＰｂ）と、を備え、
前記車両境界線に付与される前記装飾としての画像である装飾画像（Ｅｆ）の表示状態を制御する表示制御部（Ｆ６）をさらに備え、
前記表示制御部は、前記仮想視点が車室内に設定されている場合には前記装飾画像を表示し、前記仮想視点が鳥瞰視点に設定されている場合には前記装飾画像を表示しないように構成されている周辺画像生成装置。

【請求項8】

請求項１から５の何れか１項に記載の周辺画像生成装置であって、
前記車両境界線に付与される前記装飾としての画像である装飾画像（Ｅｆ）及び前記車両境界線のそれぞれの表示状態を制御する表示制御部（Ｆ６）を備え、
前記車両の移動状態に応じて前記装飾画像の表示態様を変更するように構成されている周辺画像生成装置。

【請求項9】

車両の運転操作を支援するための画像の表示を制御する表示制御方法であって、
前記車両の周辺を撮影する複数のカメラで得られた複数のカメラ画像を取得すること（Ｓ２）と、
進行方向側を撮像した前記カメラ画像を所定のメモリに保存すること（Ｓ２１）と、
複数の前記カメラ画像、及び、前記メモリに保存されている前記カメラ画像を用いて、前記車両の底部を透過させた合成画像である床下透過画像を生成すること（Ｓ３、Ｓ４、Ｓ６）と、
前記床下透過画像として、前記車両の下方に位置する地面の一部または全部を示す画像上に、車体が存在する範囲の境界を示す車両境界線（Ｌｖｃ）を重畳させるとともに、前記車両境界線に所定パターンの装飾を付与した画像を生成することと、
前記車両の周辺に存在する立体物を検出する障害物センサ（８）から、前記障害物センサの検出結果を示す信号を取得することと、
前記障害物センサから前記車両から所定距離以内に障害物が存在していることを示す信号を取得していることに基づいて、前記車両境界線の表示状態を変更するとともに、前記車両境界線の表示態様の変更に連動させて前記車両境界線に付与される前記装飾としての画像である装飾画像（Ｅｆ）の表示態様も変更することと、を含む表示制御方法。

【請求項10】

車両の運転操作を支援するための画像の表示を制御する表示制御方法であって、
前記車両の周辺を撮影する複数のカメラで得られた複数のカメラ画像を取得すること（Ｓ２）と、
進行方向側を撮像した前記カメラ画像を所定のメモリに保存すること（Ｓ２１）と、
複数の前記カメラ画像、及び、前記メモリに保存されている前記カメラ画像を用いて、前記車両の底部を透過させた合成画像である床下透過画像を生成すること（Ｓ３、Ｓ４、Ｓ６）と、
前記床下透過画像として、前記車両の下方に位置する地面の一部または全部を示す画像上に、車体が存在する範囲の境界を示す車両境界線（Ｌｖｃ）を重畳させるとともに、前記車両境界線に所定パターンの装飾を付与した画像を生成することと、を含み、
前記床下透過画像を生成することは、複数の前記カメラ画像のデータを投影した仮想の投影面と、ユーザの指示操作に基づいて位置及び方向が変更されうる仮想視点と、に基づいて、前記床下透過画像としての合成画像を生成することを含み、
設定可能な仮想視点は、車室内に配された車室内視点（ＶＰｄ）と、車室外において前記車両の屋根部よりも上方に配置された鳥瞰視点（ＶＰｂ）と、を含み、
前記仮想視点が前記車室内視点に設定されている場合には前記車両境界線に付与される前記装飾としての画像である装飾画像（Ｅｆ）を表示する一方、前記仮想視点が前記鳥瞰視点に設定されている場合には前記装飾画像を表示しないことと、含む表示制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、車体の下方に位置する路面の画像を表示する周辺画像生成装置、表示制御方法に関する。

【背景技術】

【0002】

特許文献１には、車両前進時に取得したフロントカメラの画像を用いて、車体の下方に位置する路面の画像を他のカメラ画像と合成して表示する技術が開示されている。このように車体下の路面を示す合成画像は、車体の底部などを透過させたような画像であるため、以降では床下透過画像とも称する。

【0003】

特許文献２には、車両の周辺を示す鳥瞰画像において、車両が存在する範囲を枠線で示す構成が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－１９７７８５号公報

【文献】特許第３７９７３４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１には床下透過画像に、車体が存在する範囲を示す線である車両境界線を重畳表示する構成については言及されていない。そのような構成では、ユーザは、床下透過画像を見ても、どこまで車体が存在するのかを認識することが難しい。ユーザが車体の存在範囲を誤認識してしまうと、障害物に接触する恐れが高まってしまう。

【0006】

そのような課題に対し、特許文献２のように、車両境界線に相当する枠線を表示する構成も想定される。しかしながら、床下透過画像には、タイヤの存在範囲を示すタイヤ境界線や、操舵角に応じた車両の予測軌道を示すガイド線など、多様な線が重畳表示される場合がある。車両境界線として単なる枠線を配置しただけでは、他の表示線との区別が難しい場合もあり、依然として車両が存在する範囲をユーザがわかりにくいといった課題が残る。

【0007】

本開示は、この事情に基づいて成されたものであり、その目的とするところは、車体が存在する範囲をユーザが認識しやすい床下透過画像を表示可能な周辺画像生成装置、表示制御方法を提供することにある。

【課題を解決するための手段】

【0008】

その目的を達成するための第１の周辺画像生成装置は、車両で用いられ、車両の周辺に存在する立体物を検出する障害物センサ（８）と接続されて使用される周辺画像生成装置であって、車両の周辺を撮影する複数のカメラで得られた複数のカメラ画像を取得する画像取得部（Ｆ１）と、画像取得部が取得したカメラ画像のうち少なくとも進行方向側を撮像したカメラ画像の一部又は全部を記憶する画像記憶部（Ｍ１）と、画像取得部が取得したカメラ画像、及び、画像記憶部が記憶しているカメラ画像を用いて、車両の底部を透過させた合成画像である床下透過画像を生成する合成画像生成部（Ｆ７）と、を備え、合成画像生成部は、床下透過画像として、車両の下方に位置する地面の一部または全部を示す画像上に、車体が存在する範囲の境界を示す車両境界線（Ｌｖｃ）を重畳させるとともに、車両境界線に所定パターンの装飾を付与した画像を生成するように構成されており、障害物センサの検出結果を示す信号を取得する障害物情報取得部（Ｆ４）と、車両境界線に付与される装飾としての画像である装飾画像（Ｅｆ）及び車両境界線のそれぞれの表示状態を制御する表示制御部（Ｆ６）と、をさらに備え、表示制御部は、障害物情報取得部が障害物センサから車両から所定距離以内に障害物が存在していることを示す信号を取得していることに基づいて、車両境界線の表示態様を変更するとともに、車両境界線の表示態様の変更に連動させて装飾画像の表示態様も変更するように構成されている。
また、本開示に含まれる第２の周辺画像生成装置は、車両で用いられる周辺画像生成装置であって、車両の周辺を撮影する複数のカメラで得られた複数のカメラ画像を取得する画像取得部（Ｆ１）と、画像取得部が取得したカメラ画像のうち少なくとも進行方向側を撮像したカメラ画像の一部又は全部を記憶する画像記憶部（Ｍ１）と、画像取得部が取得したカメラ画像、及び、画像記憶部が記憶しているカメラ画像を用いて、車両の底部を透過させた合成画像である床下透過画像を生成する合成画像生成部（Ｆ７）と、を備え、合成画像生成部は、床下透過画像として、車両の下方に位置する地面の一部または全部を示す画像上に、車体が存在する範囲の境界を示す車両境界線（Ｌｖｃ）を重畳させるとともに、車両境界線に所定パターンの装飾を付与した画像を生成するように構成されており、合成画像生成部は、複数のカメラ画像のデータを投影した仮想の投影面と、ユーザの指示操作に基づいて位置及び方向が変更されうる仮想視点と、に基づいて、床下透過画像としての合成画像を生成するものであって、合成画像生成部は、設定可能な仮想視点のパターンとして、車室内に配された車室内視点（ＶＰｄ）と、車室外において車両の屋根部よりも上方に配置された鳥瞰視点（ＶＰｂ）と、を備え、車両境界線に付与される装飾としての画像である装飾画像（Ｅｆ）の表示状態を制御する表示制御部（Ｆ６）をさらに備え、表示制御部は、仮想視点が車室内に設定されている場合には装飾画像を表示し、仮想視点が鳥瞰視点に設定されている場合には装飾画像を表示しないように構成されている。

【0009】

上記の構成によれば、所定パターン装飾が付与された車両境界線が表示されることとなる。当該装飾によって車両境界線が強調されるため、ユーザが車体が存在する範囲を認識しやすくなる。

【0010】

また上記目的を達成するための第１の表示制御方法は、車両の運転操作を支援するための画像の表示を制御する表示制御方法であって、車両の周辺を撮影する複数のカメラで得られた複数のカメラ画像を取得すること（Ｓ２）と、進行方向側を撮像したカメラ画像を所定のメモリに保存すること（Ｓ２１）と、複数のカメラ画像、及び、メモリに保存されているカメラ画像を用いて、車両の底部を透過させた合成画像である床下透過画像を生成すること（Ｓ３、Ｓ４、Ｓ６）と、床下透過画像として、車両の下方に位置する地面の一部または全部を示す画像上に、車体が存在する範囲の境界を示す車両境界線（Ｌｖｃ）を重畳させるとともに、車両境界線に所定パターンの装飾を付与した画像を生成することと、車両の周辺に存在する立体物を検出する障害物センサ（８）から、障害物センサの検出結果を示す信号を取得することと、障害物センサから車両から所定距離以内に障害物が存在していることを示す信号を取得していることに基づいて、車両境界線の表示状態を変更するとともに、車両境界線の表示態様の変更に連動させて車両境界線に付与される装飾としての画像である装飾画像（Ｅｆ）の表示態様も変更することと、を含む。
また、本開示に含まれる第２の表示制御方法は、車両の運転操作を支援するための画像の表示を制御する表示制御方法であって、車両の周辺を撮影する複数のカメラで得られた複数のカメラ画像を取得すること（Ｓ２）と、進行方向側を撮像したカメラ画像を所定のメモリに保存すること（Ｓ２１）と、複数のカメラ画像、及び、メモリに保存されているカメラ画像を用いて、車両の底部を透過させた合成画像である床下透過画像を生成すること（Ｓ３、Ｓ４、Ｓ６）と、床下透過画像として、車両の下方に位置する地面の一部または全部を示す画像上に、車体が存在する範囲の境界を示す車両境界線（Ｌｖｃ）を重畳させるとともに、車両境界線に所定パターンの装飾を付与した画像を生成することと、を含み、床下透過画像を生成することは、複数のカメラ画像のデータを投影した仮想の投影面と、ユーザの指示操作に基づいて位置及び方向が変更されうる仮想視点と、に基づいて、床下透過画像としての合成画像を生成することを含み、設定可能な仮想視点は、車室内に配された車室内視点（ＶＰｄ）と、車室外において車両の屋根部よりも上方に配置された鳥瞰視点（ＶＰｂ）と、を含み、仮想視点が車室内視点に設定されている場合には車両境界線に付与される装飾としての画像である装飾画像（Ｅｆ）を表示する一方、仮想視点が鳥瞰視点に設定されている場合には装飾画像を表示しないことと、含む。

【0011】

上記方法は、前述の周辺画像生成装置に対応する方法であって、上記装置と同様の効果を奏する。

【0012】

なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

【図面の簡単な説明】

【0013】

【図1】周辺表示システムＳｙｓの全体像を示すブロック図である。

【図2】各カメラ２の設置位置及び撮影範囲の一例を示す図である。

【図3】各ソナー８の設置位置及び撮影範囲の一例を示す図である。

【図4】画像生成ＥＣＵ１の機能を説明するためのブロック図である。

【図5】仮想視点ＶＰについて説明するための図である。

【図6】投影面ＴＳについて説明するための図である。

【図7】床下透過画像の生成に使用する画像データについて説明するための図である。

【図8】床下透過画像の一例を示す図である。

【図9】図８において破線で囲む領域の拡大図である。

【図10】装飾画像Ｅｆの模式図である。

【図11】車両境界線Ｌｖｃに対する装飾画像Ｅｆの付与姿勢を示す図である。

【図12】画像生成ＥＣＵ１の作動の流れを示すフローチャートである。

【図13】表示画像ＤＰの構成の一例を示す図である。

【図14】装飾画像Ｅｆの変形例を示す図である。

【図15】装飾画像Ｅｆの変形例を示す図である。

【図16】床下透過画像の一例を示す図である。

【図17】図１６において破線で囲む領域の拡大図である。

【図18】装飾画像Ｅｆの変形例を示す図である。

【図19】装飾画像Ｅｆの変形例を示す図である。

【図20】装飾画像Ｅｆの変形例を示す図である。

【図21】装飾画像Ｅｆの変形例を示す図である。

【図22】装飾画像Ｅｆの表示態様を車両の移動状態に応じて変更する場合の制御態様の一例を示す図である。

【図23】仮想視点ＶＰの他の設定例を示す図である。

【発明を実施するための形態】

【0014】

以下、図面を参照しながら本開示にかかる周辺表示システムＳｙｓの実施形態について説明する。周辺表示システムＳｙｓは、当該システムが搭載された車両の周辺の画像をディスプレイに表示するものである。以下では周辺表示システムＳｙｓが搭載されている車両Ｖを自車両とも記載する。

【0015】

＜前置き＞
本実施形態の自車両は例えば、路面がアスファルトなどで舗装された道路上（つまりオンロード）だけでなく、オフロードを走行することも想定された四輪駆動車であって、走行モードとして通常モードとオフロードモードを備える。通常モードは、オンロードの走行に適した走行モードであり、オフロードモードはオフロードの走行に適した走行モードである。各走行モードは、前後左右の車輪への駆動力の分配制御の方式が異なる。なお、ここでのオフロードとは、主として岩石路などの凹凸が大きい地面を指すものとする。もちろん、オフロードは、オンロード以外の地面、すなわち整備されていない地面全般と解することもできる。また、本開示は、オフロードを走行することが想定されていない車両にも適用することができる。自車両は、エンジンを駆動源とする車両であってもよいし、モータを駆動源として備える電気自動車またはハイブリッドカーであってもよい。

【0016】

以下の説明における前後、左右、上下の各方向は、自車両を基準として規定される。具体的に、前後方向は、自車両の長手方向に相当する。左右方向は、自車両の幅方向に相当する。上下方向は、車両高さ方向に相当する。別の観点によれば、上下方向は、前後方向及び左右方向に平行な平面に対して垂直な方向に相当する。本開示では車両高さ方向に垂直な平面を車両水平面とも称する。また、前後左右方向を含む、車両高さ方向に垂直な方向を車両水平方向とも称する。車両水平方向は自車両から離れる方向に相当する。

【0017】

加えて、本開示における「平行」とは完全な平行状態に限らない。数度から２０度程度傾いていても良い。つまり概ね平行である状態（いわゆる略平行な状態）を含みうる。本開示における「垂直」という表現についても、完全に垂直な状態に限らず、数度～２０度程度傾いている状態を含めることができる。

【0018】

＜全体構成の説明＞
図１は、本開示に係る周辺表示システムＳｙｓの概略的な構成の一例を示す図である。図１に示すように、周辺表示システムＳｙｓは、画像生成ＥＣＵ１、複数のカメラ２、ディスプレイ３、タッチパネル４、操作ボタン５、車両状態センサ６、ソナーＥＣＵ７、及び複数のソナー８を備える。なお、部材名称中のＥＣＵは、Electronic Control Unitの略であり、電子制御装置を意味する。

【0019】

画像生成ＥＣＵ１は、複数のカメラ２、ディスプレイ３、タッチパネル４、操作ボタン５、車両状態センサ６、及びソナーＥＣＵ７のそれぞれと通信可能に接続されている。ソナーＥＣＵ７には、複数のソナー８が接続されている。上記の種々の装置またはセンサと画像生成ＥＣＵ１とは、専用線で個別に接続されていても良いし、車両内に構築された通信ネットワークである車両内ネットワークを介して接続されていてもよい。例えばカメラ２と画像生成ＥＣＵ１とは専用の映像信号線で直接的に接続されていても良い。

【0020】

画像生成ＥＣＵ１は、車両Ｖの運転操作を支援するための画像として、各カメラ２から入力される画像データに基づいて車両周辺領域を任意の視点から見た合成画像を生成し、ディスプレイ３に表示するＥＣＵである。画像生成ＥＣＵ１が周辺画像生成装置に相当する。画像生成ＥＣＵ１は、コンピュータを用いて実現されている。すなわち、画像生成ＥＣＵ１は、処理部１１、ＲＡＭ１２、ストレージ１３、Ｉ／Ｏ１４、及びこれらの構成を接続するバスラインなどを備えている。

【0021】

処理部１１は、ＲＡＭ１２と結合された演算処理のためのハードウェア（換言すれば演算コア）である。処理部１１は、例えばＣＰＵである。処理部１１は、ＲＡＭ１２へのアクセスにより、後述する各機能部の機能を実現するための種々の処理を実行する。ＲＡＭ１２は揮発性の記憶媒体である。

【0022】

ストレージ１３は、フラッシュメモリ等の不揮発性の記憶媒体を含む構成である。ストレージ１３には、ファームウェアとしての画像生成プログラムＰｇや、合成画像生成部Ｆ７が合成画像を生成するための多様な描画用データを記憶する。描画用データには、後述する投影面ＴＳの形状等を示すデータや、自車両外観の３Ｄモデルのデータ、自車両の所定の構成部材の３Ｄモデルのデータなどが含まれる。３Ｄモデルのデータが用意されている構成部材としては、例えばタイヤや、ハンドル、インストゥルメントパネル、ピラー、ボディパネルなどである。なお、処理部１１が当該画像生成プログラムＰｇを実行することは、当該画像生成プログラムＰｇに対応する方法である表示制御方法が実行されることに相当する。Ｉ／Ｏ１４は、他装置と通信するための回路モジュールである。Ｉ／Ｏ１４は、アナログ回路素子やＩＣなどを用いて実現されている。画像生成ＥＣＵ１の詳細については別途後述する。

【0023】

カメラ２は、自車両周辺を撮影し、当該撮影画像のデータを画像生成ＥＣＵ１に出力する車載カメラである。各カメラ２は、少なくともレンズと撮像素子とを備えており、自車両の周辺を示す画像を電子的に取得する。複数のカメラ２はそれぞれ異なる範囲を撮像するように自車両の所定位置に、所定の姿勢で取り付けられている。本実施形態の周辺表示システムＳｙｓはカメラ２として図２に示すようにフロントカメラ２Ｆ、リアカメラ２Ｂ、左サイドカメラ２Ｌ、及び右サイドカメラ２Ｒを備える。これら４つのカメラ２は、自車両において互いに異なる位置に配置され、自車両の周辺の異なる方向を撮影する。具体的には次のとおりである。

【0024】

フロントカメラ２Ｆは、車両前方を所定の画角で撮像するカメラである。フロントカメラ２Ｆは、例えばフロントグリルなどの自車両の前端において、その光軸２Ｆａが自車両の正面方向に向けられた姿勢で取り付けられている。リアカメラ２Ｂは、車両後方を所定の画角で撮像するカメラである。リアカメラ２Ｂは、光軸２Ｂａが自車両の後方に向けられた姿勢で、例えばリアナンバープレート付近やリアウインドウ付近など、車体背面部の所定位置に配置されている。左サイドカメラ２Ｌは、自車両の左側方を撮像するカメラである。左サイドカメラ２Ｌは、左側サイドミラーにおいて、光軸２Ｌａが自車両の左側に向いた姿勢で取り付けられている。右サイドカメラ２Ｒは、自車両の右側方を撮像するカメラである。右サイドカメラ２Ｒは、右側サイドミラーにおいて、その光軸２Ｒａが自車両の右側に向いた姿勢で取り付けられている。

【0025】

これらのカメラ２のレンズとしては魚眼レンズなどの広角レンズが採用されており、各カメラ２は１８０度以上の画角θを有している。このため、４つのカメラ２を利用することで、自車両の全周囲を撮影することが可能である。なお、上述した各カメラ２の取り付け位置は適宜変更可能である。フロントカメラ２Ｆは、ルームミラーやフロントガラスの上端部などに取り付けられていても良い。右サイドカメラ２Ｒ及び左サイドカメラ２Ｌは、ＡピラーやＢピラーの付け根付近に配置されていてもよい。周辺表示システムＳｙｓは、ルーフ上に取り付けられたカメラ２を備えていても良い。一部または全部のカメラ２は、例えばルーフ上や、ダッシュボード上、窓枠付近などに後付されたカメラであってもよい。

【0026】

車両Ｖにおける各カメラ２の搭載位置及び姿勢を示すデータ（以降、搭載位置データ）は、ストレージ１３に格納されている。各カメラ２の搭載位置は、例えば、車両Ｖの任意の位置を中心とする３次元座標（以降、車両３次元座標系）上の点として表されていれば良い。車両３次元座標系を形成するＸ軸は、例えば、車両の左右方向に平行な軸とすることができる。また、Ｙ軸は前後方向に平行な軸とすることができる。Ｚ軸は車両高さ方向に平行な軸とすることができる。車両右方向がＸ軸正方向に対応し、車両前方がＹ軸正方向に対応し、車両上方がＺ軸正方向に対応するものとする。車両３次元座標系の中心は、例えば、後輪車軸の中心などとすることができる。

【0027】

ディスプレイ３は、例えば、液晶などの薄型の表示パネルを備えており、各種の情報や画像を表示するデバイスである。ディスプレイ３は、ユーザがその画面を視認できるように、自車両のインストゥルメントパネルなどに配置される。ディスプレイ３は、画像生成ＥＣＵ１と同一のハウジング内に配置されることにより、画像生成ＥＣＵ１と一体化されていてもよい。もちろん、ディスプレイ３は、画像生成ＥＣＵ１とは別体の装置であってもよい。ディスプレイ３は、表示パネル上に積層されたタッチパネル４を備えており、ユーザの操作を受け付け可能に構成されている。タッチパネル４は例えば静電容量式のタッチパネルであって、ユーザのタッチ位置を示す信号を出力する。なお、ここでのユーザとは、主として運転席の乗員（いわゆるドライバ）を指す。ユーザにはドライバの他に、助手席の乗員などを含めることができる。

【0028】

操作ボタン５は、ディスプレイ３の表示内容に対するユーザの操作を受け付ける操作部材である。操作ボタン５は、画像生成ＥＣＵ１が生成した合成画像をディスプレイ３に表示させたり、合成画像の仮想視点等を変更したりするためのスイッチである。操作ボタン５は、例えば、自車両のステアリングホイールに設けられており、主にドライバからの操作を受け付ける。ユーザは、この操作ボタン５、及び、タッチパネル４を介して周辺表示システムＳｙｓに対する各種の操作を行うことができる。操作ボタン５及びタッチパネル４の何れかにユーザの操作がなされた場合は、その操作の内容を示す操作信号が画像生成ＥＣＵ１に入力される。なお、操作ボタン５は、マルチインフォメーションスイッチと呼ぶこともできる。操作ボタン５はインストゥルメントパネルに配されていても良い。

【0029】

なお、周辺表示システムＳｙｓは、ドライバが車両Ｖの走行モードをオフロードモードに切り替えるための操作部材としての走行モードスイッチを備えていても良い。走行モードを切り替えるための操作部材はダイヤル式であってもよい。なお、走行モードスイッチとしての機能はシフトレバーが備えていても良い。

【0030】

車両状態センサ６は、自車両の走行制御に関わる状態量を検出するセンサである。車両状態センサ６には、シフトセンサや、車速センサ、操舵角センサ、加速度センサなどが含まれる。シフトセンサは、シフトポジション、換言すれば変速機の設定状態を検出するセンサである。車速センサは、自車両の走行速度を検出するセンサである。操舵角センサは、ハンドルの回転角（いわゆる操舵角）を検出するセンサである。加速度センサは、自車両に作用する車両前後方向、横方向、及び、上下方向の少なくとも何れか１方向の加速度を検出するセンサである。ここでは加速度センサとして３軸加速度センサが採用されているものとする。加速度センサの検出値は、水平面に対する車両姿勢を判断するための材料として使用することができる。なお、車両状態センサ６として周辺表示システムＳｙｓが使用するセンサの種類は適宜設計されればよく、上述した全てのセンサを備えている必要はない。また、車高センサやジャイロセンサ、方位角センサなどを車両状態センサ６に含めることができる。各センサは、検出対象とする物理状態量の現在の値（つまり検出結果）を示すデータを画像生成ＥＣＵ１に出力する。

【0031】

ソナーＥＣＵ７は、ソナー８の動作を制御するＥＣＵである。ソナー８は、探査波としての超音波を発信し、その超音波が物体で反射した反射波を受信することで、自車両の周辺に存在する物体を検出する。また、ソナー８は、超音波を発信してから反射波として戻ってくるまでの時間に基づいてソナー８から物体までの距離を検出する。各ソナー８が検出した物体の距離情報は、例えばソナーＥＣＵ７を介して画像生成ＥＣＵ１に入力される。

【0032】

本実施形態では一例として図３に示すように８個のソナー８を備える。具体的にはフロントバンパの右側コーナー部から左側コーナー部にかけて４つのソナー８Ａ～８Ｄが分散配置されている。また、自車両のリアバンパの右側コーナー部から左側コーナー部にかけて、４つのソナー８Ｅ～８Ｈが分散配置されている。このようなソナー８の配置により、ソナーＥＣＵ７は、自車両の前方または後方に存在する物体を検出できる。なお、ソナー８の配置態様は一例であって、図３に示す例に限定されない。また、ソナー８として、車両側方に向けて超音波を発するように、サイドシルやフェンダー、ドアパネルに取り付けられていてもよい。

【0033】

その他、ソナーＥＣＵ７は、複数のソナー８での検出結果を組み合わせることで自車両周辺に存在する物体の相対位置を特定しうる。例えば検出物の方向は、２以上のソナー８のそれぞれで検出された同一の物体までの距離に基づいて、当該物体の自車両に対する相対的な方向を導出する。ソナーＥＣＵ７は、ソナー８が物体を検出した場合は、検出結果として当該物体の方向及び距離を示すデータを画像生成ＥＣＵ１に入力する。また、ソナーＥＣＵ７は、反射強度や受信波形を解析することにより検出物の高さを判定し、検出物情報として、位置及び高さ情報を画像生成ＥＣＵ１に出力するように構成されていても良い。なお、ソナーＥＣＵ７は画像生成ＥＣＵ１と統合されていてもよい。

【0034】

＜画像生成ＥＣＵの構成について＞
画像生成ＥＣＵ１は、図４に示すように機能部として画像取得部Ｆ１、操作受付部Ｆ２、車両状態取得部Ｆ３、障害物情報取得部Ｆ４、画像認識部Ｆ５、表示制御部Ｆ６、合成画像生成部Ｆ７、表示画像生成部Ｆ８、及び画像出力部Ｆ９を備えている。また、画像生成ＥＣＵ１は、画像データを一時的に保持するためのメモリである画像メモリＭ１を備える。画像メモリＭ１は、例えばＲＡＭ１２が備える記憶領域の一部を用いて実現されている。画像メモリＭ１には、各カメラの画像に当該画像撮像時の車両Ｖの位置情報および向き情報が対応付けて蓄積されうる。画像メモリＭ１が画像記憶部に相当する。

【0035】

画像取得部Ｆ１は、４つのカメラ２でそれぞれ生成された画像であるカメラ画像を取得する。これらカメラ２毎の画像を組み合わせることにより、自車両の全周囲についての画像データが得られる。画像取得部Ｆ１は、カメラ２から入力された画像信号を、所定のデータ形式のデジタル画像データに変換した上で、画像認識部Ｆ５や合成画像生成部Ｆ７に出力する。

【0036】

また、画像取得部Ｆ１は、例えば自車両が所定の保存距離移動するたびに、その時点で各カメラ２で撮像された画像のデータを、別途取得される自車両の位置情報及び車体姿勢情報と対応付けて画像メモリＭ１に保存する。保存距離は、例えば０．１ｍや、０．３ｍ、０．５ｍなどとすることができる。尚、画像取得部Ｆ１は、例えば車両前進時においては、少なくとも車両前端の直下から３ｍ先までの地面を移したフロントカメラ２Ｆの撮影画像データを画像メモリＭ１に保存すればよい。また、車両後退時には、少なくとも車両後端の直下から３ｍ先までの地面を移したリアカメラ２Ｂの撮影画像データを画像メモリＭ１に保存すればよい。

【0037】

なお、画像メモリＭ１内における画像データの保存態様は多様な態様を採用可能である。例えば画像取得部Ｆ１は画像メモリＭ１において、最も古く更新された領域に対して、新規データを上書き保存していく。すなわち、画像メモリＭ１はリングバッファとして構成されていてもよい。リングバッファは、論理的にリング状に配置された記憶領域である。なお、画像取得部Ｆ１は、直近所定時間以内に取得した画像フレームを、上述した一定距離毎の画像データとは別領域に保存するように構成されていても良い。画像メモリＭ１に保存された新規画像データは、合成画像生成部Ｆ７及び表示画像生成部Ｆ８によって参照される。なお、画像取得部Ｆ１は、カメラ２から取得した画像に対してレンズ特性に応じた歪み補正や拡大縮小、切り出しなどの画像処理を行った上で画像メモリＭ１に保存してもよい。

【0038】

操作受付部Ｆ２は、操作ボタン５及びタッチパネル４から出力される操作信号を受信する。操作信号は、操作ボタン５やタッチパネル４に対するユーザの操作の内容を示す信号である。これにより、操作受付部Ｆ２は、合成画像やカメラ画像の表示に対するユーザの指示操作を受け付ける。操作受付部Ｆ２は、受信した操作信号に対応するデータを表示制御部Ｆ６に入力する。

【0039】

車両状態取得部Ｆ３は、車両状態センサ６など、自車両に設けられている他の装置から、自車両の状態を示す情報を取得する構成である。車両状態取得部Ｆ３は、種々のセンサから、シフトポジションや、検出軸方向毎の加速度、車速、操舵角などを取得する。なお、車両状態取得部Ｆ３は、種々の状態量を他のＥＣＵから取得してもよい。例えば操舵角などの情報は、操舵システムを構成するＥＣＵから取得しても良い。また、車両状態取得部Ｆ３は画像認識部Ｆ５から所定時間前に対する移動距離や向きの変化量などを取得してもよい。つまり車両状態取得部Ｆ３は、センサに限らず、他ＥＣＵや画像認識部Ｆ５などから自車両の状態にかかる多様な情報を取得してもよい。また、車両状態取得部Ｆ３は、複数種類の情報を組み合わせて、車両の移動距離や、車体の向きの変化量などを算出するように構成されていてもよい。車両の向きとは、車両が向いている方向（いわゆるヨー角）だけでなく、ピッチ角やロール角などを含めても良い。

【0040】

障害物情報取得部Ｆ４は、ソナーＥＣＵ７から、車両周辺に存在する立体物についての情報を取得する。すなわち、検出された立体物の大きさや高さ、相対位置などを取得する。また、ソナーＥＣＵ７が、受信した反射波の信号波形の特徴量を解析することで、例えば低背物か障害物かなど、検出物の種別を識別する識別器を備えている場合には、ソナーＥＣＵ７による検出物の識別結果も取得する。なお、ここでの低背物とは高さが所定値（例えば４ｃｍ）以下の立体物であって、概念的には車両Ｖが乗り越え可能な立体物を指す。例えば路面からの突出量が所定の閾値以下の岩場や、駐車場に配置されているフラップ板などを指す。また、ここでの障害物は、概念的には車両Ｖが避けるべき立体物であって、例えば車両Ｖのボディと接触するような高さを有する岩や、ガードレール、壁、他の移動体を指す。他の移動体には、他車両の他、自転車や歩行者、動物などを含めることができる。なお、障害物情報取得部Ｆ４はソナーＥＣＵ７からの情報と、画像認識部Ｆ５での認識結果とを組み合わせて物体を検出する、いわゆるセンサフュージョンを行うように構成されていてもよい。

【0041】

画像認識部Ｆ５は、カメラ２から入力される画像を解析することによって所定の検出対象物の位置及びその種別等を検出する構成である。画像認識部Ｆ５は、例えば画像の特徴量ベクトルに基づき、物体の種別を識別する識別器としての機能を備える。画像認識部Ｆ５は、例えばディープラーニングを適用したＣＮＮ（Convolutional Neural Network）やＤＮＮ（Deep Neural Network）技術などを用いて物体の識別を行う。検出対象物としては、歩行者や他車両などの他、舗装された道路に付与されうる区画線などの路面表示や、道路端などが含まれる。区画線には、レーンマーカーとしての線の他、駐車枠などを示す線を含めることができる。

【0042】

また、画像認識部Ｆ５は、画像上に適宜設定される特徴点の画像フレーム間における位置の変化量に基づいて自車両の移動量や向きの変化量を推定するように構成されていても良い。例えば画像認識部Ｆ５は、フレーム間差分法の一種であるオプティカルフロー法などを用いて、或る基準地点に対する現在位置や、車体の向きの変化量、ヨーレートなどを推定するよう構成されている。オプティカルフローは、画像データに映っている物体の動きをベクトルで示した情報である。画像認識部Ｆ５の物体認識結果や、自車位置等の推定結果は、表示制御部Ｆ６や、車両状態取得部Ｆ３、合成画像生成部Ｆ７、表示画像生成部Ｆ８などに出力される。

【0043】

表示制御部Ｆ６は、画像生成ＥＣＵ１の全体を統括的に制御する構成である。例えば、表示制御部Ｆ６は、操作受付部Ｆ２や車両状態取得部Ｆ３から入力される情報に基づいて、合成画像生成部Ｆ７及び表示画像生成部Ｆ８を制御して、自車両の走行状態やユーザの設定に応じた合成画像及び表示画像ＤＰを生成させる。

【0044】

表示制御部Ｆ６は、例えばシフトセンサからの信号またはタイヤの回転方向に基づいて、自車両の進行方向が前進方向及び後退方向のいずれであるかを判定する。表示制御部Ｆ６は、走行モードスイッチからの入力信号に基づいて走行環境がオフロードかどうかを判別しても良い。

【0045】

また、表示制御部Ｆ６は、自車両の進行方向、タッチパネル４からの信号、及び操作ボタン５からの信号の少なくとも何れか１つに基づいて、後述する合成画像を生成する際の仮想視点ＶＰの位置及び視線方向を設定する。設定されうる仮想視点ＶＰのパターンとしては、例えば図５に示すように、鳥瞰視点ＶＰｂや、ドライバ視点ＶＰｄなどを採用可能である。鳥瞰視点ＶＰｂは、視点位置を自車両の直上、視野方向を直下とした仮想視点ＶＰの設定パターンであって、自車両及びその周辺を車両の真上から俯瞰した画像である鳥瞰画像を生成する際に適用されうる。鳥瞰視点ＶＰｂの視野角φは、車両周辺の所定範囲を含むように適宜調整可能である。なお、鳥瞰視点ＶＰｂの視点位置は、車両の真上に限らず、車両の真上から後ろ側、前側、或いは、横方向にずれた位置であってもよい。鳥瞰視点ＶＰｂは、仮想視点ＶＰを車室外に配置した、車室外視点の一例に相当する。

【0046】

ドライバ視点ＶＰｄは、視点位置を車室内におけるドライバの目の想定位置に設定した仮想視点ＶＰの設定パターンである。ドライバ視点ＶＰｄの視線方向は、例えば、前輪付近を含むように前方斜め下方向に設定されうる。斜め下方向とは、例えば車両水平面から２０～３０°程度下方に向けられた方向とすることができる。なお、ドライバ視点ＶＰｄの視線方向は、前方斜め下方向を基準方向としつつ、タッチパネル４へのユーザ操作（例えばスワイプ）に基づいて任意の方向に変更可能に構成されていてもよい。ドライバ視点ＶＰｄの視野角φもまた、前輪付近の所定範囲を含むように適宜調整可能である。例えばドライバ視点ＶＰｄの視野角φは、水平方向１００度、垂直方向６０度などとすることができる。

【0047】

ドライバの目の想定位置は、例えば、運転席のヘッドレスト近傍に設定される。なお、ドライバの目の想定位置としては、車種ごとに設定されるアイリプスを援用することができる。アイリプスは、車種ごとに規定される仮想的な空間領域である。アイリプスは、乗員のアイポイントの空間分布を統計的に表したアイレンジに基づいて、仮想の楕円体状に設定されている。ドライバ視点ＶＰｄは、仮想視点ＶＰを車室内に配置した、車室内視点の一例に相当する。また、ドライバ視点ＶＰｄの位置は、ドライバの目の想定位置からずれた位置に配置されていても良い。例えば、ドライバ視点ＶＰｄは、ドライバの目の想定位置から助手席側に所定量ずれた位置、例えば運転席と助手席の中間となる位置に配置されていても良い。

【0048】

本実施形態の画像生成ＥＣＵ１は動作モードとして、車体底部を透過させた合成画像である床下透過画像ＣＰを表示する床下表示モードを備える。表示制御部Ｆ６は、シフトレバーが所定のポジションに設定されていること及びユーザ操作の少なくとも何れか一方に基づいて表示モードを切り替えうる。表示制御部Ｆ６は、例えば後述する透過床下表示条件が充足していることに基づいて、表示モードを床下表示モードに設定する。表示制御部Ｆ６は、床下表示モード時には合成画像生成部Ｆ７に床下透過画像ＣＰを生成させる。仮想視点ＶＰがドライバ視点ＶＰｄに設定された状態で生成された床下透過画像ＣＰのことを以降ではドライバ視点画像ＣＰｄとも称する。

【0049】

合成画像生成部Ｆ７は、例えば床下透過画像ＣＰなどの合成画像を生成するための画像処理を行う構成である。合成画像生成部Ｆ７は、自車両の周辺に相当する仮想の投影面ＴＳに複数のカメラ画像のデータを投影し、該投影面上のデータを用いて仮想視点ＶＰからみた自車両の周辺を示す合成画像を生成する。

【0050】

投影面ＴＳは、図６に概念的に示すように、自車両の周辺領域に相当する仮想の立体面である。投影面ＴＳの中心領域は、自車両の位置となる車両領域Ｒ０として定められている。車両領域Ｒ０は、例えば矩形状の平面部として設定されている。車両領域Ｒ０は上面視において自車両と重なる領域、換言すれば、カメラ２では直接撮像できない領域を含むように設定されている。投影面ＴＳは、例えば車両領域Ｒ０の近傍では車両水平方向に沿った平面として形成されており、かつ、車両領域Ｒ０から離れるほど傾き（勾配）が大きくなる、下に凸の曲面を有するお椀形状をしている。投影面ＴＳの各部にカメラ画像のどの部分を投影するかはテーブルデータ等の対応情報によって対応付けられている。投影面ＴＳにカメラ画像を投影することは、投影面ＴＳにカメラ画像をテクスチャマッピングすることに相当する。

【0051】

なお、投影面ＴＳの形状は適宜変更可能である。例えば投影面ＴＳは全領域が水平面に設定されていても良い。また、投影面ＴＳは、車両領域Ｒ０の縁部から下に凸の曲面領域が開始する形状、換言すれば車両領域Ｒ０の周りに平面領域を有さない形状であっても良い。

【0052】

合成画像生成部Ｆ７の作動は表示制御部Ｆ６によって制御される。例えば合成画像の生成に使用される仮想視点ＶＰは、表示制御部Ｆ６によって制御される。合成画像生成部Ｆ７はサブ機能として、カメラ画像合成部Ｆ７１と車両画像付与部Ｆ７２を備える。カメラ画像合成部Ｆ７１は前述した投影面ＴＳに各カメラ画像を投影する構成であり、車両画像付与部Ｆ７２は、カメラ画像が投影された投影面ＴＳの所定位置に車両Ｖについての画像を配置する構成である。カメラ画像合成部Ｆ７１及び車両画像付与部Ｆ７２の詳細については別途後述する。

【0053】

表示画像生成部Ｆ８は、ディスプレイ３で表示するための表示画像ＤＰを生成する。表示画像生成部Ｆ８は、合成画像生成部Ｆ７で生成された合成画像、及び、画像取得部Ｆ１が取得したカメラ画像を用いて、合成画像及びカメラ画像を含む表示画像ＤＰを生成する。表示画像ＤＰに含まれる画像の組み合わせは、自車両の進行方向やタッチパネル４等へのユーザ操作に応じて表示制御部Ｆ６によって決定される。つまり、表示画像生成部Ｆ８の作動は表示制御部Ｆ６によって制御される。

【0054】

画像出力部Ｆ９は、表示画像生成部Ｆ８で生成された表示画像ＤＰを所定の信号形式の映像信号に変換してディスプレイ３に出力し、表示画像ＤＰをディスプレイ３に表示させる。これにより、仮想視点ＶＰからみた自車両の周辺を示す合成画像がディスプレイ３に表示される。

【0055】

＜合成画像の生成方法について＞
以降では、合成画像生成部Ｆ７が床下透過画像ＣＰを生成する際の作動について説明する。カメラ画像合成部Ｆ７１は、後述する床下表示条件が充足されると、画像取得部Ｆ１から入力される各カメラ画像に含まれるデータ（各画素の値）を、仮想的な３次元空間における投影面ＴＳに投影する。投影面ＴＳに対する各カメラ画像の投影位置は、テーブルデータ等の対応情報によって予め対応付けられている。

【0056】

例えばカメラ画像合成部Ｆ７１は、フロントカメラ２Ｆの画像データを投影面ＴＳの前方領域ＰＦに投影し、リアカメラ２Ｂの画像データを投影面ＴＳの後方領域ＰＢに投影する。また、カメラ画像合成部Ｆ７１は、投影面ＴＳの左側方領域ＰＬに左サイドカメラ２Ｌの画像データを投影し、右側方領域ＰＲに右サイドカメラ２Ｒの画像データを投影する。なお、２つのカメラで重複して撮影される領域である重複領域に関しては、２つのカメラの撮影画像を所定の割合でブレンドする手法や、２つのカメラの撮影画像を所定の境界線で繋ぎ合わせる手法が採用されうる。

【0057】

さらに、表示制御部Ｆ６からの指示に基づき、画像メモリＭ１に保存されている過去の画像データから、車両領域Ｒ０が位置すると推定される部分の画像を抽出し、回転補正などを施した上で車両領域Ｒ０に投影する。車両領域Ｒ０に投影する画像とは、現在自車両の真下に位置する領域の画像、つまり床下の画像であるため、以降では床下画像とも称する。

【0058】

例えば自車両が前進している場合には、図７に示すように、現在位置よりも３ｍ後方で撮像されたフロントカメラ２Ｆの撮影画像を用いて、床下画像を生成する。また、自車両が後退している場合には、現在位置よりも３ｍ前方で撮像されたリアカメラ画像を用いて、床下画像を生成する。つまり、現在位置よりも所定距離、進行方向逆側となる位置に自車両が位置していたときの画像を用いて床下画像を生成する。なお、自車両が前進している場合には、現在位置よりも３ｍ後方に位置するときから現在位置に至るまでの複数時点で撮像されたフロントカメラ画像を用いて床下画像を生成してもよい。車両後退時も同様とする事ができる。車両領域Ｒ０（換言すれば床下部分）に投影する画像データは、車両Ｖの移動に伴って随時更新されれば良い。

【0059】

次に、合成画像生成部Ｆ７は、表示制御部Ｆ６の制御により、投影面ＴＳを含む３次元空間に対し、仮想視点ＶＰを設定する。合成画像生成部Ｆ７は、３次元空間における任意の視点位置に任意の視野方向に向けた仮想視点ＶＰを設定できる。

【0060】

そして、車両画像付与部Ｆ７２が、カメラ画像が投影された投影面ＴＳを含む仮想３次元空間上に、自車両についての多様な画像要素を配置する。仮に仮想視点ＶＰが鳥瞰視点ＶＰｂなどの車室外に配置されている場合には、車体が存在する路面範囲を示す車両境界線Ｌｖｃや、タイヤが存在する路面範囲を示すタイヤ境界線Ｌｔなどを車両領域Ｒ０上に付与する。車両境界線Ｌｖｃは、車体を路面に垂直に射影してなる領域の輪郭を示す線であって、鳥瞰視点における車両Ｖの外形を示す線に相当する。タイヤ境界線Ｌｔも同様に、タイヤを路面に垂直に射影（つまり正射影）してなる領域の輪郭を示す線であって、鳥瞰視点におけるタイヤの輪郭を示す線に相当する。本実施形態の車両画像付与部Ｆ７２は、車両境界線Ｌｖｃに対して所定の装飾画像Ｅｆを付与する。車両境界線Ｌｖｃや装飾画像Ｅｆ、タイヤ境界線Ｌｔなどの表示状態は表示制御部Ｆ６によって制御される。車両境界線Ｌｖｃや装飾画像Ｅｆ、タイヤ境界線Ｌｔの詳細については別途後述する。

【0061】

また、合成画像生成部Ｆ７は、仮想視点ＶＰがドライバ視点ＶＰｄなどの車室内に配置されている場合、車両境界線Ｌｖｃとタイヤ境界線Ｌｔの他に、３Ｄタイヤモデルや、３Ｄボディモデル、３Ｄ内装モデルなどをそれぞれ３次元空間上の所定位置に配置する。３Ｄタイヤモデルは、タイヤの３Ｄモデルであって、全体的に半透明に設定されている。なお、３Ｄタイヤモデルは、不透明または半透明の輪郭線だけで構成されていても良い。つまり３Ｄタイヤモデルの輪郭線以外の部分は、無色透明に設定されていても良い。

【0062】

ここでの半透明には、透明度が５０％である状態に限らず、例えば透明度が８０％である場合などを含めることができる。つまり、半透明といった表現には、その存在をぼんやりと示すレベルを含めることができる。透明度は、値が高いほど透明であることを指すパラメータであって、本開示においては透明度が１００％の状態は完全透明な状態を指すものとする。画像要素の透明度或いは不透明度は、画素のアルファ値に対応する概念である。一般的にアルファ値が小さいほど透明な度合いが高まる。

【0063】

３Ｄボディモデルは、車両ボディの３Ｄモデルであって、全体的に半透明に設定されている。３Ｄボディモデルは、不透明または半透明の輪郭線だけで構成されていても良い。つまり３Ｄボディモデルの輪郭線以外の部分は、無色透明に設定されていても良い。３Ｄ内装モデルは、インストゥルメントパネルやハンドル、Ａピラーなどの３Ｄモデルである。

【0064】

３Ｄタイヤモデル、３Ｄボディモデル、３Ｄ内装モデルなどは、自車両の構成部材を示す３Ｄモデルであって、構成部材モデルと呼ぶことができる。合成画像生成用の３次元空間内に配置する３Ｄモデルは適宜変更可能であって、例えば３Ｄタイヤモデルや、３Ｄボディモデル、３Ｄ内装モデルなどの配置は省略されても良い。

【0065】

その他、車両画像付与部Ｆ７２は、車両端部から所定距離離れた地点を示す目盛り線や、車幅を示す車幅線を描画しても良い。また、車両画像付与部Ｆ７２は、車両Ｖにかかるその他の画像要素として、車両Ｖの操舵角や転舵角に応じた走行予定軌道を示す線である予定軌道線を描画しても良い。なお、車幅線が予定軌道線としての役割を兼ねていても良い。車両境界線Ｌｖｃやタイヤ境界線Ｌｔ、走行予定軌道線などは、車両Ｖについての情報を示す画像であるため車両情報画像と呼ぶことができる。また、予定軌道線や目盛り線、車幅線などは、ドライバの運転操作を案内する情報としても機能しうる。故に、予定軌道線などの表示線は、ガイド線とよぶこともできる。ガイド線には、車両境界線Ｌｖｃやタイヤ境界線Ｌｔを含めることもできる。

【0066】

そして、合成画像生成部Ｆ７は、投影面ＴＳを含む３次元空間に存在する種々の画像要素に対して、仮想視点ＶＰに応じたレンダリングを行い、仮想視点ＶＰからみて所定の視野角に含まれる画像要素を切り出す。これにより、合成画像生成部Ｆ７は、仮想視点ＶＰからみた自車両の床下、及び、自車両の周辺の領域を示す合成画像を生成する。すなわち床下透過画像ＣＰとして、車体底部を透過させた合成画像を生成する。以上では一例としてカメラ画像を投影面ＴＳに投影してから車両画像を付与する順番で合成画像を生成する態様を述べたが、個々の処理は並列的に実行されても良い。

【0067】

また、合成画像を生成する方法としては多様な方法を採用することができる。例えば、カメラ画像に基づいて生成される路面画像、車両境界線Ｌｖｃ、タイヤ境界線Ｌｔ、及び車両を構成する部材の立体モデルの画像は、それぞれ別のレイヤに配置して個別に処理されても良い。例えば、合成画像は、カメラ画像を投影した投影面ＴＳの画像を含むレイヤであるカメラ画像レイヤと、車両境界線やタイヤ境界線などを配置したレイヤである境界線レイヤと、立体モデルの画像を含む３Ｄモデルレイヤと、を組み合わせて生成されてもよい。その場合、カメラ画像レイヤを最も下側（背景側）のレイヤとし、その上に、境界線レイヤ、３Ｄモデルレイヤが順に重ねられうる。もちろん、レイヤ構成もまた適宜変更可能である。複数のレイヤを用いて各画像要素を個別に取り扱う場合には、最終的に各レイヤを統合した画像が合成画像となる。

【0068】

＜車両境界線Ｌｖｃ及び装飾画像Ｅｆについて＞
本実施形態の画像生成ＥＣＵ１は、車両境界線Ｌｖｃに対して、例えばグラデーションや影などの装飾画像Ｅｆを付与した画像を生成する。ここでは車両境界線Ｌｖｃ及び装飾画像Ｅｆについて図８等を用いて説明する。図８は、本実施形態の合成画像生成部Ｆ７が生成するドライバ視点画像ＣＰｄの一例を示す図である。図９は、図８に示す左前輪付近の拡大図である。

【0069】

なお、図８及び図９に示す例では、車両境界線Ｌｖｃとタイヤ境界線Ｌｔに加えて、タイヤモデル画像Ｐｔｍや、ボディモデル画像Ｐｂｍなどを含む態様を例示している。各種モデル画像は、前輪に相当する３Ｄタイヤモデルや、３Ｄボディモデルなどをドライバ視点ＶＰｄから見たときのＣＧ（Computer Graphics）／ＣＧＩ（Computer Generated Imagery）である。もちろん、タイヤモデル画像Ｐｔｍやボディモデル画像Ｐｂｍは任意の要素であって、ユーザ設定等により省略可能である。例えば、画像生成ＥＣＵ１の設計者又はユーザの設定に基づき、ドライバ視点画像ＣＰｄにおいてタイヤモデル画像Ｐｔｍや、ボディモデル画像Ｐｂｍは非表示となりうる。

【0070】

車両境界線Ｌｖｃは、車両領域Ｒ０上に描画される線画像である。車両境界線Ｌｖｃは、車両Ｖが存在する路面上の範囲を示す線である。車両境界線Ｌｖｃの太さ（換言すれば幅Ｗｘ）は、例えば路面上の４ｃｍに相当する太さに設定されている。現実空間における長さは、投影面ＴＳを含む仮想空間における車体の大きさと現実空間における車体の大きさの比率に基づいて、仮想空間上の長さに変換されれば良い。床下透過画像ＣＰとしてディスプレイ３に表示される車両境界線Ｌｖｃの太さは、仮想視点ＶＰからの距離に応じて調整されうる。

【0071】

なお、車両境界線Ｌｖｃの太さは、現実空間の３ｃｍ相当や２ｃｍ相当であってもよい。また、車両境界線Ｌｖｃは、現実空間の６ｃｍや８ｃｍ相当の太さを有していてもよい。車両境界線Ｌｖｃを太くするほど、車両境界線Ｌｖｃの視認性は向上する。ただし、車両境界線Ｌｖｃを太くすると、当該線によってカメラ画像が隠れる部分が増える。つまり、合成画像として表示した場合に、当該合成画像をもとにユーザが視認できる路面の面積が小さくなる。故に、車両境界線Ｌｖｃの太さは現実空間において５ｃｍ値未満に相当する値に設定されていることが好ましい。

【0072】

車両境界線Ｌｖｃの色は適宜変更可能であって、例えば実際の路面の色と区別がつきやすいように青色に設定される。黒などの暗い色はアスファルトなどと同化しやすく、白などの明るい色は、砂利道や路面上に付与された区画線と同化しやすい。車両境界線Ｌｖｃの色は、多様な路面の色合いを考慮した上で、ドライバによる車両境界線Ｌｖｃの視認性が高まるように設定されている。

【0073】

装飾画像Ｅｆは、車両境界線Ｌｖｃの視認性を高めるための装飾的な画像要素である。換言すれば装飾画像Ｅｆは車両境界線Ｌｖｃを強調表示するための付属的な画像要素である。装飾画像Ｅｆは、例えば所定幅を有する帯状に形成されている。装飾画像Ｅｆは、図１０に示すように、一方の縁部が車両境界線Ｌｖｃに沿うように配置される。図１０は、図８及び図９に示す車両境界線Ｌｖｃと装飾画像Ｅｆの構成を説明するための模式図である。装飾画像Ｅｆは図１１に示すように車両水平面に対して４５度ほど傾いた態様で車両境界線Ｌｖｃから外側に向かって延出するように配置されうる。装飾画像Ｅｆは、車両境界線Ｌｖｃの外側縁部から車両高さ方向（つまり真上）に向かって伸びていても良い。

【0074】

車両水平面に対する装飾画像Ｅｆがなす角度である延出角度δは０度～９０度の範囲で適宜設定されうる。つまり、装飾画像Ｅｆは、車両境界線Ｌｖｃ上から、車両境界線Ｌｖｃの外側又は真上に向かって伸びるように設けられる。延出角度δを１度以上に設定した態様によれば、装飾画像Ｅｆが備える縁部のうち、車両境界線Ｌｖｃと接続するほうの縁部である接続縁部Ｅｆａとは反対側に位置する開放縁部Ｅｆｂが、路面から浮いた姿勢となる。なお、装飾画像Ｅｆは、車両境界線Ｌｖｃの内側に向いた姿勢で付与されてもよく、延出角度δは、例えば１２０度など、９１度以上に設定されていても良い。

【0075】

装飾画像Ｅｆの色は、車両境界線Ｌｖｃと同じ色とすることができる。装飾画像Ｅｆは、車両境界線Ｌｖｃに近いほど透明度が低く、車両境界線Ｌｖｃから離れるほど透明度が高く設定されている。つまり、車両境界線Ｌｖｃから離れるにつれて透明となるグラデーションを有する帯状の画像である。図１０では、グラデーションをドットパターンで示している。ドットパターンの密度が高いほど透明度が低く、ドットパターンの密度が小さいほど透明度が高いことを示している。例えば装飾画像Ｅｆの車両境界線Ｌｖｃと接続する部分の透明度は５０％程度に設定されており、遠方側の端部は１００％などに設定される。グラデーションを形成する、車両境界線Ｌｖｃからの距離に応じた透明度の変化度合いは、１次関数状であってもよいし２次関数状であってもよい。色調の変化度合いは適宜変更可能である。

【0076】

装飾画像Ｅｆの、車両境界線Ｌｖｃから離れる方向での長さである延出長Ｈは、例えば車両境界線Ｌｖｃの幅Ｗｘと同じか、車両境界線Ｌｖｃの幅Ｗｘよりも長く設定されている。例えば延出長Ｈは、現実空間における５～８ｃｍ程度に設定されている。また、延出長Ｈは、車両境界線Ｌｖｃの幅Ｗｘに所定の延出係数を乗じた長さに設定されても良い。延出係数は、例えば１．２や１．５などとすることができる。また、延出長Ｈは、車両境界線Ｌｖｃの幅Ｗｘよりも短く設定されていてもよい。例えば延出長Ｈは、車両境界線Ｌｖｃの幅Ｗｘの０．８倍に設定されていても良い。延出長Ｈは、装飾画像Ｅｆ自体の幅と解することもできる。延出長Ｈは、１つの側面において延出長Ｈは、装飾画像Ｅｆの高さと解することもできる。なお、以上で述べた車両境界線Ｌｖｃから放射状に伸びるグラデーションを提供する装飾画像Ｅｆは、車両境界線Ｌｖｃから上方又は外側に向かって伸びるカーテンまたはオーロラのような画像となる。

【0077】

このように車両境界線Ｌｖｃに装飾画像Ｅｆを付与した床下透過画像ＣＰを表示する態様によれば、車両境界線Ｌｖｃの視認性を高めることができる。また、装飾画像Ｅｆは半透明に設定されているため、装飾画像Ｅｆによって路面が見えなくなる恐れを低減できる。なお、車両境界線Ｌｖｃと装飾画像Ｅｆをまとめて車両外形画像Ｐｖｃと解することもできる。車両外形画像Ｐｖｃにおける車両境界線Ｌｖｃは本体部または主線と呼ぶ事ができる。また、車両外形画像Ｐｖｃにおける装飾画像Ｅｆは装飾部と呼ぶことができる。

【0078】

＜タイヤ境界線Ｌｔについて＞
タイヤ境界線Ｌｔは、車両Ｖのタイヤ（換言すれば車輪）が存在する路面範囲を示す線である。タイヤ境界線Ｌｔは、車両境界線Ｌｖｃよりも細く設定されている。例えば、タイヤ境界線Ｌｔの太さは、車両境界線Ｌｖｃの半分程度に設定されている。具体的にはタイヤ境界線Ｌｔの太さは、例えば路面上の２ｃｍに相当する太さに設定されている。タイヤ境界線Ｌｔを細めに設定することにより、タイヤの真下及びタイヤ近傍に存在する路面をドライバが視認しやすくなる。

【0079】

また、タイヤ境界線Ｌｔの色は、車両境界線Ｌｖｃとは異なる色に設定されている。例えばタイヤ境界線Ｌｔの色は、黄色～オレンジ色に設定されうる。もちろん、タイヤ境界線Ｌｔの色は、車両境界線Ｌｖｃと同様に、多様な路面の色合いを考慮した上で、ドライバの視認性が高まるように設定されている。

【0080】

例えばタイヤ境界線Ｌｔは、色相環において車両境界線Ｌｖｃの色の反対側に位置する色（いわゆる補色）、又は、それに隣接する色とすることができる。タイヤ境界線Ｌｔの色を車両境界線Ｌｖｃの補色とすることで、細めに形成されたタイヤ境界線Ｌｔを目立たせることが可能となる。なお、青色の補色は橙であって、それに隣接する色には黄色や赤が含まれる。

【0081】

一方、別の観点においては、タイヤ境界線Ｌｔの色は、車両境界線Ｌｖｃと同系統の色であってもよい。例えば車両境界線Ｌｖｃが青色である場合には、タイヤ境界線Ｌｔは、例えば水色や紺色などであってもよい。車両境界線Ｌｖｃもタイヤ境界線Ｌｔも何れも車両の現在位置を示す情報を示す線画像であるため、これらの色を同系統とすることで、一体感を高めることができる。また、合成画像としては、車両周辺に存在する障害物などの注目対象物を、赤又は橙といった色の枠線で囲って強調表示する構成も考えられる。そのような構成を踏まえると多様な色の線が画像上に存在すると、視覚的な煩わしさをユーザに与える懸念も生じる。そのような事情を踏まえると、車両境界線Ｌｖｃとタイヤ境界線Ｌｔの色を同系統の色に揃えておくことで、ユーザは車両についての情報を示す線と、周辺物体についての情報を示す線との区別がつきやすくなる。

【0082】

なお、以上では仮想視点ＶＰがドライバ視点ＶＰｄに設定されている場合の例を示したが、上述した車両境界線Ｌｖｃとタイヤ境界線Ｌｔは、鳥瞰視点ＶＰｂに設定されている場合にも表示されうる。鳥瞰画像においては、車両境界線Ｌｖｃの装飾画像Ｅｆは例えば路面平面に張り付いた態様で表示されうる。

【0083】

＜作動の流れ＞
ここでは図１２に示すフローチャートを用いて、画像生成ＥＣＵ１が床下透過画像ＣＰを表示する際に実行する一連の処理である床下透過画像表示処理の流れについて、図１２に示すフローチャートを用いて説明する。図１２に示すフローチャートは、所定の床下表示条件が充足した場合に開始される。床下表示条件は、床下透過画像ＣＰを表示するための条件と解することができる。例えば画像生成ＥＣＵ１は、ユーザによって操作ボタン５が押下された場合に、床下表示条件が充足されたと判定する。その他、画像生成ＥＣＵ１は、タッチパネル４を介して床下透過画像ＣＰを表示させるための所定のユーザ操作が行われたことを検出した場合に、床下表示条件が充足したと判定するように構成されていても良い。つまり、操作受付部Ｆ２が合成画像を表示するための操作が行われたことを示す信号を取得したことに基づいて、本フローは開始されうる。

【0084】

なお、床下表示条件を構成する項目には、シフトポジションや、車速などを含めることができる。例えば、シフトポジションが所定レンジに設定されていること、及び、車速が所定の低速閾値未満であることの少なくとも何れか一方を床下表示条件に含めてもよい。例えば、シフトポジションがローレンジに設定されていることや後退位置に設定されていることを画像生成に条件に含めてもよい。低速閾値は例えば１０ｋｍ／ｈや１５ｋｍ／ｈ、２０ｋｍ／ｈなどとすることができる。その他、フロントカメラ画像やリアカメラ画像をディスプレイ３に表示している状態において、タッチパネル４等を介して操作受付部Ｆ２が視点切替操作を受け付けた場合に、床下表示条件が充足されたと判定しても良い。

【0085】

また、図１２に示す処理フローは、所定の表示終了条件が充足するまで、所定の周期（例えば、１／３０秒周期）で繰り返し実行されうる。表示終了条件は、例えば、シフトポジションが所定レンジ以外に設定された場合や、車速が所定の閾値以上となった場合、操作ボタン５が再び押下された場合などとすることができる。その他、画像生成ＥＣＵ１は、タッチパネル４を介して床下透過画像ＣＰの表示を終了させるための操作が行われたことを検出した場合に、表示終了条件が充足したと判定するように構成されていても良い。

【0086】

ここでは一例として、床下透過画像表示処理はステップＳ１～Ｓ８を備えるものとする。もちろん、床下透過画像表示処理を構成するステップ数や処理順序などは適宜変更可能である。

【0087】

まずステップＳ１では車両状態取得部Ｆ３が、シフトポジションや車速などといった自車両の状態を示す情報を取得してステップＳ２に移る。このようなステップＳ１は車両状態取得ステップと呼ぶことができる。

【0088】

ステップＳ２では画像取得部Ｆ１が、４つのカメラ２でそれぞれ得られた４つのカメラ画像を取得してステップＳ２に移る。このようなステップＳ２は画像取得ステップと呼ぶことができる。また、ステップＳ２は、より細かいステップとしてステップＳ２１を含む。ステップＳ２１ではステップＳ１で取得した情報を元に、進行方向側のカメラ２が撮像した画像を前回保存したときから車両Ｖが所定の保存距離進んだかどうかを判断する。そして、カメラ画像を前回保存したときからの移動距離が保存距離以上となっている場合に、進行方向側のカメラ２が撮像した画像を画像メモリＭ１に保存する。

【0089】

つまりステップＳ２１は、車両Ｖが保存距離進むたびに、進行方向側のカメラ２が撮像した画像を画像メモリＭ１に保存するステップに相当する。なお、画像取得部Ｆ１は、画像生成条件が充足されていない状態から画像生成条件が充足された状態に遷移したタイミングで、初回の保存処理として、少なくとも進行方向側のカメラ２が撮像した画像を保存するものとする。このようなステップＳ２１は画像保存ステップと呼ぶことができる。

【0090】

ステップＳ３ではカメラ画像合成部Ｆ７１が、上述したように各カメラ２の撮影画像を投影面ＴＳの所定位置にマッピングする。また、画像メモリＭ１に保存されている、過去に撮像された画像データを用いて、車両領域Ｒ０に対して現在の車両位置に対応する路面領域の画像をマッピングする。これらの処理が完了するとステップＳ４に移る。なお、本フロー開始直後など、車両領域Ｒ０に投影可能な画像がまだ蓄積されていない場合には、車両領域Ｒ０には、フロア画像として、黒色などの不透明な画像が配置されてもよい。このようなステップＳ３は、カメラ画像合成ステップと呼ぶことができる。

【0091】

ステップＳ４では車両画像付与部Ｆ７２が、車両境界線Ｌｖｃやタイヤ境界線Ｌｔを車両領域Ｒ０の所定位置に配置してステップＳ５に移る。なお、ステップＳ４では、車両領域Ｒ０の上方の所定位置に、３Ｄタイヤモデルや３Ｄボディモデルなどを配置してもよい。また、ステップＳ４では、その他の画像要素として、予定軌道線や目盛り線、車幅線などを描画しても良い。このようなステップＳ４は、現在の車両の状態等を示す情報を合成画像に付与するステップであるため、車両情報付与ステップと呼ぶことができる。

【0092】

ステップＳ５では合成画像生成部Ｆ７が、表示制御部Ｆ６の制御のもと、合成画像を生成するための仮想視点ＶＰを設定する。例えば合成画像生成部Ｆ７は、走行用電源がオンとなって初めて床下透過画像ＣＰを生成する場合、仮想視点ＶＰのデフォルト設定は、設計者またはユーザによって予め設定された位置及び視線方向とすることができる。デフォルト設定は、例えば視線方向が前方斜め下方に向けられたドライバ視点ＶＰｄとすることができる。その他、ステップＳ５で設定される仮想視点ＶＰの設定は、床下透過画像ＣＰを前回表示した際の仮想視点ＶＰの位置及び方向とすることができる。その場合、準備処理として表示制御部Ｆ６は、床下透過画像ＣＰを前回表示したときの仮想視点ＶＰの設定データをＲＡＭ１２又はストレージ１３等に保存するように構成されているものとする。

【0093】

また、仮想視点ＶＰの位置及び視線方向は、自車両の進行方向に応じて決定されても良い。例えば自車両の進行方向が前進方向である場合には、上記のように視線方向が前方斜め下方に向けられたドライバ視点ＶＰｄを仮想視点ＶＰとして採用する。一方、自車両の進行方向が後退方向である場合には、例えば、仮想視点ＶＰとして、視線方向が後方斜め下方向に向けられたドライバ視点ＶＰｄを採用してもよい。その他、仮想視点ＶＰの視線方向は、操舵角に応じた方向に調整されてもよい。また、表示制御部Ｆ６は、タッチパネル４等を介してユーザによって指定された仮想視点ＶＰの位置及び方向を取得し、当該指定された位置及び方向の仮想視点ＶＰを設定するように合成画像生成部Ｆ７を制御しても良い。

【0094】

ここでは一例として、仮想視点ＶＰとして、視線方向が前方斜め下方に向けられたドライバ視点ＶＰｄが適用されるものとする。このようなステップＳ５は仮想視点設定ステップと呼ぶことができる。ステップＳ５が完了するとステップＳ６に移る。

【0095】

ステップＳ６では合成画像生成部Ｆ７が、ステップＳ６で設定された仮想視点ＶＰからみた床下透過画像ＣＰを生成する。ここでは一例として合成画像生成部Ｆ７は、床下透過画像ＣＰとして、車両の底部やボディを透過させて前輪付近の地面を示すドライバ視点画像ＣＰｄを生成する。合成画像生成部Ｆ７が生成した床下透過画像ＣＰのデータは表示画像生成部Ｆ８に出力される。このようなステップＳ６は合成画像生成ステップと呼ぶことができる。ステップＳ６での処理が完了するとステップＳ７に移る。

【0096】

ステップＳ７では、表示画像生成部Ｆ８が、合成画像生成部Ｆ７が生成した床下透過画像ＣＰを含む表示画像ＤＰを生成する。例えば、表示画像生成部Ｆ８は、表示画像ＤＰとして、図１３に示すように、ドライバ視点画像ＣＰｄと、右サイドカメラ画像ＳＲと、左サイドカメラ画像ＳＬと、視点切替スイッチ画像ＳＷとを含む画像を生成する。具体的には、ドライバ視点画像ＣＰｄは、表示画像ＤＰの中央領域上側に配置されており、その下方に、視点切替スイッチ画像ＳＷが配置されている。右サイドカメラ画像ＳＲは、ドライバ視点画像ＣＰｄの右側に配置されており、左サイドカメラ画像ＳＬは、ドライバ視点画像ＣＰｄの左側に配置されている。このような表示画像ＤＰのレイアウトによれば、ドライバ視点画像ＣＰｄに対するユーザによる視認性を良好に保ちつつ、左右の状況もドライバに視覚的に通知することができる。つまり、ドライバは上記表示画像ＤＰをみることで、前輪付近の地面の状態を認識できるとともに、車両側方の状況も同時に認識可能となる。

【0097】

なお、表示画像ＤＰに含まれる視点切替スイッチ画像ＳＷは、ユーザにタッチされることによって表示画像ＤＰとしての表示内容を切り替えるためのスイッチとして機能する画像である。視点切替スイッチ画像ＳＷをユーザがタッチしたか否かは、タッチパネル４から出力されるタッチ位置信号に基づいて判定されうる。視点切替スイッチ画像ＳＷへのユーザのタッチ操作を検出した場合、表示画像生成部Ｆ８は表示制御部Ｆ６からの指示により、画像中央領域に表示する画像を、例えばドライバ視点画像ＣＰｄからフロントカメラ画像に切り替える。視点切替スイッチ画像ＳＷは、仮想視点ＶＰをドライバ視点ＶＰｄから鳥瞰視点ＶＰｂに切り替えるものであってもよい。その場合、例えば表示画像生成部Ｆ８は、表示画像ＤＰとして床下を透過させた鳥瞰画像を含む画像を生成する。表示画像生成部Ｆ８が生成した表示画像ＤＰのデータは画像出力部Ｆ９に出力される。ステップＳ７は表示画像生成ステップと呼ぶことができる。

【0098】

ステップＳ８では、画像出力部Ｆ９が、表示画像生成部Ｆ８が生成した表示画像ＤＰのデジタルデータを所定の信号形式の信号に変換してディスプレイ３に出力する。これにより、ドライバ視点画像ＣＰｄを含む表示画像ＤＰが、ディスプレイ３に表示される。ステップＳ８は画像出力ステップと呼ぶことができる。

【0099】

なお、以上の制御態様は一例であって、表示画像生成部Ｆ８は、表示制御部Ｆ６の制御により、自車両の進行方向に応じたカメラ画像を選択して表示画像ＤＰの生成に用いることができる。例えば進行方向が後退方向である場合には、表示画像ＤＰの中央領域には、リアカメラ画像が配置されてもよい。また、表示制御部Ｆ６は、操作受付部Ｆ２が受信した操作信号に基づいて、表示画像ＤＰに表示する画像の組み合わせやレイアウト、カメラ画像の表示範囲などを変更しうる。

【0100】

＜上記構成の効果＞
上記構成によれば、インストゥルメントパネルや車体底部等、車両Ｖの構成部材を透過させつつ車両周辺を示す床下透過画像ＣＰが生成される。床下透過画像ＣＰは、車両の真下及び車両周辺に存在する被写体の像に、車両境界線Ｌｖｃやタイヤ境界線Ｌｔを重畳させた画像に相当する。ユーザは、このような床下透過画像ＣＰを確認することで、自車両の周囲の様子を車室内の視点から確認でき、かつ、自車両の周辺の様子を直感的に把握できることになる。

【0101】

また、ユーザは、床下透過画像ＣＰに含まれる車両境界線Ｌｖｃに基づいて、車両付近に存在する岩や縁石、フラップ板などの立体物に対する車体との距離感を認識しやすくなる。よって、意図せずに立体物に車体が接触する恐れを低減することができる。また、床下透過画像ＣＰにタイヤ境界線Ｌｔを含めた構成によれば、ユーザは車体下に位置する区画線や縁石、岩などに対する車体及びタイヤの位置を認識しやすくなる。その結果、例えばオフロード走行時には、狙った岩石にタイヤを乗せるなどの細かい運転操作が可能となる。また、オンロード走行時にも縁石などにタイヤがぶつからないように車体を道路端に寄せるなどの細かい運転操作が行いやすくなる。

【0102】

加えて、本実施形態の画像生成ＥＣＵ１は、車両境界線Ｌｖｃにグラデーション等の装飾画像Ｅｆを付与した車両境界線Ｌｖｃを表示する。当該構成によれば、車両境界線Ｌｖｃの視認性を高めることができる。また、車両境界線Ｌｖｃにはグラデーション等の装飾画像Ｅｆを付与する一方、他の表示線にはグラデーション等の装飾（換言すればエフェクト）を施さないで表示する。このような構成によれば、装飾の有無に基づいて車両境界線Ｌｖｃと他の表示線とを間違える恐れを抑制することができる。なお、ここでの他の表示線には、タイヤ境界線Ｌｔや、予定軌道線、目盛り線、車幅線などを含めることができる。

【0103】

なお、車両境界線Ｌｖｃを目立たせるための他の態様としては、装飾を付与せずに線を太くする方法も考えられる。しかしながら、車両境界線Ｌｖｃを太くすると、車両境界線Ｌｖｃによって路面が隠れる部分が増大してしまう。また、車両境界線Ｌｖｃを太くすると、実際に車両が存在する範囲が不明確となりうる。境界線が太すぎると、実際の車両Ｖの端部が境界線上のどの位置にあるか、すなわち、境界線の外側縁部に位置するのか、中央に位置するのか、内側縁部に位置するのかをユーザは判断困難となるためである。これに対して、上記の提案構成によれば、車両境界線Ｌｖｃの太さは細いままで、目立たせることが可能となる。つまり、上記の提案構成によればカメラ映像を必要以上に隠すことなく車両境界線Ｌｖｃを強調することができる。また、実際に車両が存在する範囲が不明確となるおそれを低減することもできる。

【0104】

以上では合成画像の仮想視点ＶＰとして、視線方向を前方に向けたドライバ視点ＶＰｄが適用されている場合を例にとって本実施形態の効果について説明したが、後方や側方、斜め側方など他の方向に視線方向が向けられている場合にも同様の効果が得られる。また、仮想視点ＶＰをドライバ視点ＶＰｄ以外にも、車室内の任意の位置を配置した場合にも同様の効果を得ることができる。加えて、車両Ｖの外側表面上や、車室外の車両近傍領域に仮想視点ＶＰを設定した場合も同様の効果が期待できる。ここでの車両近傍領域とは、例えば車両の外面部から０．２ｍ以内となる領域を指す。外面部には、左右の側面部の他、背面部や前端部、及び、ルーフを含めることができる。側面部にはドアパネルやフェンダー部分、ピラーなどを含めることができる。

【0105】

以上、本開示の実施形態を説明したが、本開示は上述の実施形態に限定されるものではなく、以降で述べる種々の補足説明や変形例も本開示の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。例えば下記の種々の変形例は、技術的な矛盾が生じない範囲において適宜組み合わせて実施することができる。なお、前述の実施形態で述べた部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。また、構成の一部のみに言及している場合、他の部分については先に説明した実施形態の構成を適用することができる。

【0106】

＜装飾画像Ｅｆの補足＞
以上では装飾画像Ｅｆをグラデーション画像とする態様を開示したが、装飾画像Ｅｆは、図１４に示すように縦縞模様を有する画像であってもよい。縦縞模様は、例えば、有色半透明な部分（以降、有色部Ｅ１）と無色透明な部分である無色部Ｅ２とが車両境界線Ｌｖｃに沿って交互に配置されることで形成される。縦縞模様には、ゼブラ模様を含めることができる。有色部Ｅ１が第１部に相当し、無色部Ｅ２が第２部に相当する。なお、第２部は第１部に比べて相対的に透明度が高ければよく、無色透明でなくとも良い。

【0107】

有色部Ｅ１の幅Ｗ１は、車両境界線Ｌｖｃの幅Ｗｘの１倍から４倍程度の値に設定されうる。例えば、有色部Ｅ１の幅Ｗ１は車両境界線Ｌｖｃの幅Ｗｘの３倍に設定されている。無色部Ｅ２の幅Ｗ２は、有色部Ｅ１の幅Ｗ１と同じ大きさに設定されている。なお、無色部Ｅ２の幅Ｗ２は、有色部Ｅ１の幅Ｗ１よりも大きくともよい。無色部Ｅ２の幅Ｗ２は、有色部Ｅ１の幅Ｗ１の２倍などに設定されていても良い。無色部Ｅ２の幅Ｗ２は、有色部Ｅ１の間隔を規定する。無色部Ｅ２の幅Ｗ２が大きいほど、装飾画像Ｅｆによってカメラ画像が隠れる面積が小さくなるため、ユーザによる路面の視認性を高めることができる。

【0108】

また、縞模様を構成する有色部Ｅ１は、図１５に示すように、車両境界線Ｌｖｃに近いほど透明度が低く、車両境界線Ｌｖｃから離れるほど透明度が高く設定された、グラデーションを有していても良い。例えば有色部Ｅ１の車両境界線Ｌｖｃと接続する部分の透明度は５０％程度に設定されており、遠方側の端部は１００％などに設定される。図１６及び図１７は、装飾画像Ｅｆとして図１５に模式的に示したパターンを適用した場合のドライバ視点ＶＰｄ設定時の床下透過画像ＣＰを示している。

【0109】

このように装飾画像Ｅｆを車両境界線Ｌｖｃから離れるについて透明となるグラデーションを有する縞模様とした構成によれば、上述した実施形態に比べてより一層、装飾画像Ｅｆによってカメラ画像が隠れる部分を低減可能となる。

【0110】

その他、装飾画像Ｅｆは、場所によって延出長Ｈが相違する形状を有していても良い。例えば装飾画像Ｅｆの開放縁部Ｅｆｂは、図１８、図１９、及び図２０に示すように波形状に設定されていても良い。波形状には、半円を連ねた、いわゆるスカラップ形状を含めることができる。また、装飾画像Ｅｆの開放縁部Ｅｆｂは、三角波状であってもよい。装飾画像Ｅｆを波形状とする場合、延出長Ｈの最大値Ｈｍｘは例えば現実世界における５ｃｍ相当とすればよい。また、延出長Ｈの最小値Ｈｍｎは０であっても良いし、現実世界における２ｃｍ相当であってもよい。

【0111】

また、装飾画像Ｅｆを波形状とする場合も、図２１に示すようにその有色部分は車両境界線Ｌｖｃに近いほど透明度が低く、車両境界線Ｌｖｃから離れるほど透明度が高く設定された、グラデーションを有していても良い。加えて、接続縁部Ｅｆａから開放縁部Ｅｆｂまでの間は前述の縞模様が適用されていても良い。

【0112】

さらに、図２１等に示すように装飾画像Ｅｆが波形状を有する場合、時間の経過に伴って場所ごとの高さを連続的に変化させてもよい。そのような表示制御によれば、装飾画像Ｅｆが経時的に動くこととなり、車両境界線Ｌｖｃをより一層目立たせることが可能となる。その他、装飾画像Ｅｆには、有色部分が炎のように揺らぐエフェクトが経時的に付与されても良い。

【0113】

また、図１４、図１５、図１８、及び図２１に示すように装飾画像Ｅｆが位置に応じて高さが異なる形状を有する場合、車両の移動に伴ってなびいているように表示しても良い。具体的には、装飾画像Ｅｆにおいて車両境界線Ｌｖｃに近い部分である根本部分の位置は動かさずに、頂点部分を進行方向とは逆方向に平行移動させ、それらの間を連続的に結ぶ画像を生成及び表示しても良い。図２２は、装飾画像Ｅｆが図１５に示すように縦縞模様を有する場合において、車両の移動状態に応じて有色部Ｅ１の傾斜角を変更する態様の一例を示した図である。

【0114】

図２２に示すように車両Ｖの進行方向や停止中か否かに応じて有色部Ｅ１の傾きを変更する態様によれば、ユーザは当該装飾画像Ｅｆの表示態様に基づいて車両の移動状態を直感的に認識しやすくなる。なお、装飾画像Ｅｆの模様の傾斜角は移動速度に応じて調整されても良い。移動速度が大きいほど傾斜角度は大きく設定されればよい。そのような構成によれば、ユーザは装飾画像Ｅｆの模様の傾斜度合いから車両の移動速度を認識可能となる。また、有色部Ｅ１の傾斜角は操舵角に応じて調整されても良い。

【0115】

その他、合成画像生成部Ｆ７は表示制御部Ｆ６の制御のもと、障害物の検知距離に応じて車両境界線Ｌｖｃの色を変更してもよい。例えば、障害物との距離が所定の第１距離以上である場合には車両境界線Ｌｖｃの色を青色や緑色などのデフォルト色とする一方、障害物との距離が第１距離未満かつ所定の第２距離以上である場合には黄色に変更してもよい。さらに、障害物との距離が第２距離未満である場合には車両境界線Ｌｖｃの色を赤色に変更しても良い。第１距離は例えば１．０ｍや０．８ｍなどとすることができる。第２距離は、第１距離よりも短い値であればよく、例えば０．３ｍや０．４ｍなどとすることができる。なお、第１距離や第２距離は移動速度に応じて動的に調整されてもよい。装飾画像Ｅｆの色は、車両境界線Ｌｖｃの色と連動するように変更されれば良い。例えば車両境界線Ｌｖｃが黄色となった場合には、装飾画像Ｅｆも、黄色をベースとする半透明な画像とされる。

【0116】

また、表示制御部Ｆ６は、障害物との距離が第１距離未満である場合には、障害物との距離に応じた時間間隔で車両境界線Ｌｖｃを明滅させても良い。その場合、表示制御部Ｆ６は、車両境界線Ｌｖｃの明滅と連動させて、換言すれば同期させて、装飾画像Ｅｆも明滅させてもよい。

【0117】

表示制御部Ｆ６は、装飾画像Ｅｆのうち、障害物が存在する方向に対応する部分の表示態様を局所的に変更しても良い。表示態様を構成する要素としては、大きさや形状、色、透明度などが挙げられる。例えば表示制御部Ｆ６は、障害物に近い部分の装飾画像Ｅｆを他の部分よりも長くしたり、明滅させたりしてもよい。また、障害物が存在する方向の装飾画像Ｅｆを振動させてもよい。当該構成によれば、車両から見てどちらの方向に障害物が存在するのかをユーザが認識しやすくなる。

【0118】

加えて、障害物との距離に応じて装飾画像Ｅｆを表示するか否かを切り替えてもよい。例えば表示制御部Ｆ６は、障害物との距離が第２距離以上である場合には装飾画像Ｅｆを表示する一方、障害物との距離が第２距離未満である場合には装飾画像Ｅｆを非表示としても良い。障害物との第２距離未満である場合には装飾画像Ｅｆを非表示とすることで、車両境界線Ｌｖｃと当該障害物との離隔や位置関係を見やすくすることができる。

【0119】

その他、上述した実施形態ではタイヤ境界線Ｌｔにはグラデーション等の装飾を付与しないものとしたがこれに限らない。タイヤ境界線Ｌｔにも装飾画像を付与してもよい。タイヤ境界線Ｌｔに付与する装飾画像は、タイヤ境界線Ｌｔと同じ色とされればよい。なお、タイヤ境界線Ｌｔに装飾画像を付与する場合には、車両境界線Ｌｖｃとの区別を容易とするために、タイヤ境界線Ｌｔと車両境界線Ｌｖｃの色は異なる色に設定されることが好ましい。

【0120】

＜仮想視点のバリエーションについて＞
以上では仮想視点ＶＰとして、鳥瞰視点ＶＰｂや、ドライバ視点ＶＰｄを例示したが、仮想視点ＶＰとして設定可能な位置及び方向の組み合わせは上記の例に限定されない。仮想視点ＶＰは、車室外の多様な位置に配置可能である。例えば画像生成ＥＣＵ１は図２３に示すように、仮想視点ＶＰとして、後ろ向き鳥瞰視点ＶＰｂ１や、前向き鳥瞰視点ＶＰｂ２を設定可能に構成されていても良い。後ろ向き鳥瞰視点ＶＰｂ１は、車両Ｖの屋根部よりも上方において車両前方に位置するポイントから車両Ｖ及びその後方を見下ろす仮想視点ＶＰに相当する。また、前向き鳥瞰視点ＶＰｂ２は、車両Ｖの屋根部よりも上方において車両後方に位置するポイントから車両Ｖ及びその前方を見下ろす仮想視点ＶＰに相当する。

【0121】

また、仮想視点ＶＰは車室内の多様な位置に設定可能に構成されていても良い。例えば仮想視点ＶＰとして、視点位置をサイドミラー付近に配置したパターンや、視点位置を車室内天井部の中央に配置した設定パターンなどを採用可能に構成されていても良い。また、表示制御部Ｆ６は、視点位置がアイリプスよりも所定距離後方であって、且つ、視線方向を後方斜め下方に向けられた室内後方視点ＶＰｒを設定可能に構成されていても良い。このような室内後方視点ＶＰｒによれば、車両後退時に表示する床下透過画像ＣＰとして、後輪付近をより大きく表示可能となる。その結果、後退時にも前進時と同様に、後輪やリアバンパ付近の様子をドライバが認識しやすくなる。

【0122】

表示制御部Ｆ６は、仮想視点ＶＰと路面との距離、例えば仮想視点ＶＰが車室内に存在するか否かに応じて、装飾画像Ｅｆを表示するか否かを変更しても良い。例えば仮想視点ＶＰがドライバ視点ＶＰｄなど車室内に設定されている場合には車両境界線Ｌｖｃに装飾画像Ｅｆを付加して表示する一方、仮想視点ＶＰが鳥瞰視点ＶＰｂなど屋根部よりも高い位置に設定されている場合には装飾画像Ｅｆを非表示としてもよい。鳥瞰視点ＶＰｂでは路面から視点が離れているため、仮に装飾画像Ｅｆを表示したとしても相対的に小さく表示されてしまい、あまり目立たない。鳥瞰画像においては、装飾画像Ｅｆのような細かい画像要素は省略されても、ユーザの利便性に与える影響は小さい。さらに装飾画像Ｅｆの表示を省略することにより処理部１１の処理負荷を低減可能となる。このように仮想視点ＶＰの位置に応じて、換言すれば合成画像の表示モードに応じて装飾画像Ｅｆを表示するか否かを切り替える構成によれば、車両境界線Ｌｖｃの視認性を高めつつ、処理部１１の処理負荷を軽減可能となる。

【0123】

＜障害物センサの補足＞
以上では車両周辺に存在する物体を検出するセンサ（いわゆる障害物センサ）として、ソナー８を用いる構成を例示したが、障害物センサは、ミリ波レーダでもよい。また、障害物センサは、ＬｉＤＡＲ（Light Detection and Ranging / Laser Imaging Detection and Ranging）であってもよい。画像生成ＥＣＵ１は、多様な障害物センサと接続されて使用されうる。

【0124】

＜ディスプレイ３の補足＞
上述した実施形態ではディスプレイ３を車載ディスプレイとする態様を開示したが、床下透過画像ＣＰなど、画像生成ＥＣＵ１が生成した画像の表示先は車載ディスプレイに限定されない。ディスプレイ３は、車両Ｖを遠隔操作するためのスマートフォン等の携帯端末が備えるディスプレイであってもよい。また、車両Ｖを遠隔操作するセンタに設けられたディスプレイであってもよい。

【0125】

＜付言＞
本開示に記載の装置、システム、並びにそれらの手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。また、本開示に記載の装置及びその手法は、専用ハードウェア論理回路を用いて実現されてもよい。さらに、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。つまり、画像生成ＥＣＵ１等が提供する手段および／または機能は、実体的なメモリ装置に記録されたソフトウェアおよびそれを実行するコンピュータ、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの組合せによって提供できる。例えば画像生成ＥＣＵ１が備える機能の一部又は全部はハードウェアとして実現されても良い。或る機能をハードウェアとして実現する態様には、１つ又は複数のＩＣなどを用いて実現する態様が含まれる。画像生成ＥＣＵ１は、ＣＰＵの代わりに、ＭＰＵやＧＰＵ、ＤＦＰ（Data Flow Processor）を用いて実現されていてもよい。画像生成ＥＣＵ１は、ＣＰＵや、ＭＰＵ、ＧＰＵなど、複数種類の演算処理装置を組み合せて実現されていてもよい。画像生成ＥＣＵ１は、システムオンチップ（ＳｏＣ：System-on-Chip）として実現されていても良い。さらに、各種処理部は、ＦＰＧＡ（Field-Programmable Gate Array）や、ＡＳＩＣ（Application Specific Integrated Circuit）を用いて実現されていても良い。各種プログラムは、非遷移的実体的記録媒体（non- transitory tangible storage medium）に格納されていればよい。プログラムの保存媒体としては、ＨＤＤ（Hard-disk Drive）やＳＳＤ（Solid State Drive）、フラッシュメモリ、ＳＤ（Secure Digital）カード等、多様な記憶媒体を採用可能である。

【符号の説明】

【0126】

１ 画像生成ＥＣＵ、２ カメラ、３ ディスプレイ、８ ソナー（障害物センサ）、１１ 処理部、ＣＰ 床下透過画像、ＤＰ 表示画像、ＶＰ 仮想視点、Ｆ１ 画像取得部、Ｆ２ 操作受付部、Ｆ３ 車両状態取得部、Ｆ４ 障害物情報取得部、Ｆ５ 画像認識部、Ｆ６ 表示制御部、Ｆ７ 合成画像生成部、Ｆ７１ カメラ画像合成部、Ｆ７２ 車両画像付与部、Ｆ８ 表示画像生成部、Ｆ９ 画像出力部、Ｍ１ 画像メモリ（画像記憶部）、Ｓ２ 画像取得ステップ、Ｓ２１ 画像保存ステップ、Ｓ３ カメラ画像合成ステップ、Ｓ４ 車両情報付与ステップ、Ｓ６ 合成画像生成ステップ、Ｌｖｃ 車両境界線、Ｅｆ 装飾画像、Ｅ１ 有色部（第１部）、Ｅ２ 無色部（第２部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】