知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社デンソーの特許一覧 ▶ トヨタ自動車株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-25
(45)【発行日】2024-12-03
(54)【発明の名称】画像生成装置、画像生成方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20241126BHJP
B60R 1/20 20220101ALI20241126BHJP
G06T 1/00 20060101ALI20241126BHJP
【ＦＩ】
H04N7/18 J
B60R1/20 100
G06T1/00 330A
【請求項の数】
10
(21)【出願番号】P 2020216417
(22)【出願日】2020-12-25
(65)【公開番号】P2022101979
(43)【公開日】2022-07-07
【審査請求日】2023-02-22
(73)【特許権者】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(73)【特許権者】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【氏名又は名称】矢作 和行
(74)【代理人】
【識別番号】100121991
【弁理士】
【氏名又は名称】野々部 泰平
(74)【代理人】
【識別番号】100145595
【弁理士】
【氏名又は名称】久保 貴則
(72)【発明者】
【氏名】森山 親一
(72)【発明者】
【氏名】澤田 康嘉
(72)【発明者】
【氏名】依藤 大和
(72)【発明者】
【氏名】上島 純
【審査官】武田 悟
(56)【参考文献】
【文献】特開２０１５－１５５２７（ＪＰ，Ａ）
【文献】特開２０１８－１６２５０（ＪＰ，Ａ）
【文献】特開２０２０－１２７１７１（ＪＰ，Ａ）
【文献】特開２００９－１７１５３７（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１５／０３５３０１０（ＵＳ，Ａ１）
【文献】国際公開第２０１５／０１４８８３（ＷＯ，Ａ１）
【文献】国際公開第２０１１／０１０３４６（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１８
Ｇ０６Ｔ １／００
Ｂ６０Ｒ １／２０ － １／３１
(57)【特許請求の範囲】
【請求項1】
車両で用いられる画像生成装置であって、前記車両の周辺を撮影する複数のカメラで得られた複数のカメラ画像を取得する画像取得部（Ｆ１）と、
前記車両の周辺に相当する仮想の投影面に複数の前記カメラ画像のデータを投影し、当該投影面上の前記データを用いて仮想視点からみた前記車両の周辺を示す合成画像を生成する画像合成部（Ｆ７）と、
前記車両に搭載された他の装置からの信号に基づいて、前記車両の走行環境がオフロードであるかオンロードであるかを判定する走行環境判定部（Ｆ６２）と、を備え、
前記画像合成部は、前記走行環境判定部によって前記走行環境がオフロードであると判定されているか否かに応じて前記合成画像の生成に使用する前記投影面の形状を変更するように構成されており、
前記画像合成部は、
前記走行環境判定部によって前記走行環境がオンロードであると判定されている場合には、前記投影面として、所定の形状を有するオンロード用投影面を用いて前記合成画像を生成し、
前記走行環境判定部によって前記走行環境がオフロードであると判定されている場合には、前記投影面として、前記オンロード用投影面とは異なる形状を有するオフロード用投影面を用いて前記合成画像を生成し、
前記オンロード用投影面は、前記車両が位置する領域である車両領域（Ｒ０）の周りに配置された平面状のオンロード用平面領域（Ｒ１）と、前記オンロード用平面領域の周りに配置された曲面状のオンロード用曲面領域（Ｒ２）と、を有し、
前記オフロード用投影面は、前記車両領域の外側に配置された曲面状のオフロード用曲面領域（Ｒ２ａ）を有し、
前記オフロード用曲面領域（Ｒ２ａ）は、前記オンロード用曲面領域（Ｒ２）とは異なる形状であって、
前記オンロード用曲面領域は、前記車両領域の外側において前記オンロード用曲面領域が始まる位置である曲面開始位置から前記車両領域の外側に向かっての距離をｘ，高さをＺとしたときにＺ＝ａ１×ｘ＾２で表現される放物線状であり、
前記オフロード用曲面領域は、前記車両領域の外側において前記オフロード用曲面領域が始まる位置である曲面開始位置から前記車両領域の外側に向かっての距離をｘ，高さをＺとしたときにＺ＝ａ２×ｘ＾２で表現される放物線状であり、
係数ａ２は係数ａ１よりも大きい値に設定されている画像生成装置。
【請求項2】
請求項１に記載の画像生成装置であって、前記オフロード用投影面において前記オフロード用曲面領域（Ｒ２ａ）は、前記車両領域の縁部に接続するように、前記車両領域の外側に配置されている画像生成装置。
【請求項3】
請求項１に記載の画像生成装置であって、前記オフロード用投影面は、前記車両領域（Ｒ０）の周りに配置された平面状のオフロード用平面領域（Ｒ１ａ）を有し、
前記オフロード用曲面領域（Ｒ２ａ）は、前記オフロード用平面領域の外側に配置されており、
前記オフロード用平面領域は、前記オンロード用平面領域よりも小さく設定されている画像生成装置。
【請求項4】
請求項３に記載の画像生成装置であって、前記オンロード用投影面において、前記車両領域から前記オンロード用曲面領域までの間に形成されている前記オンロード用平面領域の幅は、０．３ｍ以上に設定されており、
前記オフロード用投影面において、前記車両領域から前記オフロード用曲面領域までの間に形成されている前記オフロード用平面領域の幅は、０．３ｍ未満に設定されている画像生成装置。
【請求項5】
請求項１から４の何れか１項に記載の、前記車両の周辺に存在する立体物を検出する障害物センサ（８）と接続されて使用される画像生成装置であって、前記障害物センサの検出結果を示す信号を取得する障害物情報取得部（Ｆ４）を備え、
前記走行環境判定部は、前記障害物センサが前記車両の周辺に複数の立体物を検出していることに基づいて前記走行環境はオフロードであると判定するように構成されている画像生成装置。
【請求項6】
請求項１から５の何れか１項に記載の画像生成装置であって、前記カメラ画像を解析することで所定の検出対象物を検出する画像認識部（Ｆ５）を備え、
前記走行環境判定部は、前記画像認識部によって複数の岩石が検出されていること、前記画像認識部によって車線区画線が検出されていないこと、及び、前記画像認識部によって道路端が検出されていないことの少なくとも何れか１つに基づいて、前記走行環境はオフロードであると判定するように構成されている画像生成装置。
【請求項7】
請求項１から６の何れか１項に記載の、走行モードとして、オフロードを走行するためのモードであるオフロードモードを備える車両で使用される画像生成装置であって、前記走行環境判定部は、前記車両に搭載された、前記走行モードを前記オフロードモードに切り替えるための入力装置からの信号に基づいて、前記走行環境がオフロードであるか否かを判定するように構成されている画像生成装置。
【請求項8】
請求項１から７の何れか１項に記載の画像生成装置であって、前記画像合成部は、オフロード用の前記投影面として、それぞれ形状が異なる複数の前記投影面を選択的に使用可能に構成されており
前記走行環境判定部は、前記走行環境はオフロードであると判定している場合、前記他の装置からの信号に基づいてオフロードの種別を判別するように構成されており、
前記画像合成部は、前記走行環境判定部が判定したオフロードの種別に応じて、前記合成画像の生成に使用する前記投影面を変更するように構成されている画像生成装置。
【請求項9】
請求項１から８の何れか１項に記載の画像生成装置であって、前記画像合成部がオフロード用の前記投影面を用いて前記合成画像を生成している場合には、オフロード用の設定で生成した画像を表示していることを示す通知画像（ＮＰ）を表示装置に表示させるように構成されている画像生成装置。
【請求項10】
車両の運転操作を支援するための画像を生成する画像生成方法であって、前記車両の周辺を撮影する複数のカメラで得られた複数のカメラ画像を取得すること（Ｓ１）と、
前記車両の周辺に相当する仮想の投影面に、複数の前記カメラ画像のデータを投影し、当該投影面上の前記データを用いて仮想視点からみた前記車両の周辺を示す合成画像を生成すること（Ｓ８）と、
前記車両に搭載された他の装置からの信号に基づいて、前記車両の走行環境がオフロードであるかオンロードであるかを判定すること（Ｓ３）と、
前記走行環境はオンロードであると判定されている場合には、前記投影面として、所定の形状を有するオンロード用投影面を用いて前記合成画像を生成することと、
前記走行環境はオフロードであると判定されている場合には、前記投影面として、前記オンロード用投影面とは異なる形状を有するオフロード用投影面を用いて前記合成画像を生成することと、を含み、
前記オンロード用投影面は、前記車両が位置する領域である車両領域（Ｒ０）の周りに配置された平面状のオンロード用平面領域（Ｒ１）と、前記オンロード用平面領域の周りに配置された曲面状のオンロード用曲面領域（Ｒ２）と、を有し、
前記オフロード用投影面は、前記車両領域の外側に配置された曲面状のオフロード用曲面領域（Ｒ２ａ）を有し、
前記オフロード用曲面領域（Ｒ２ａ）は、前記オンロード用曲面領域（Ｒ２）とは異なる形状であって、
前記オンロード用曲面領域は、前記車両領域の外側において前記オンロード用曲面領域が始まる位置である曲面開始位置から前記車両領域の外側に向かっての距離をｘ，高さをＺとしたときにＺ＝ａ１×ｘ＾２で表現される放物線状であり、
前記オフロード用曲面領域は、前記車両領域の外側において前記オフロード用曲面領域が始まる位置である曲面開始位置から前記車両領域の外側に向かっての距離をｘ，高さをＺとしたときにＺ＝ａ２×ｘ＾２で表現される放物線状であり、
係数ａ２は係数ａ１よりも大きい値に設定されている画像生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、複数の車載カメラで撮像された画像を用いて車両の周辺を示す合成画像を生成する技術に関する。
【背景技術】
【0002】
特許文献１、２には、車両の複数箇所に設置されたカメラでの撮影画像を合成することによって、仮想視点からみた車両の周辺を示す合成画像を生成し、その合成画像を表示する画像表示システムが開示されている。合成画像としては、例えば、車両の上方から見下ろすように車両の周辺を示す俯瞰画像や、ドライバの視点からみた車両の周辺を、インストゥルメントパネルなどを透過させて示すドライバ視点画像などが例示されている。
【0003】
上記のような仮想視点から見た車両の周辺を示す合成画像は、車両の周辺に相当する仮想の投影面に複数の撮影画像のデータを投影し、投影面上のデータを用いることで生成される。
【0004】
投影面の形状としては、水平面や、お椀形状などが提案されている。ここでのお椀形状とは、車両の近傍では略水平であって且つ、車両の位置から離れるほど傾きが大きくなる曲面を有する形状である。お椀形状としての曲面は放物線を回転させてなる回転放物面に相当する。お椀形状には、平坦な平面領域の周りに下に凸な曲面領域を組み合わせた形状も含まれる。
【0005】
また、特許文献１には、障害物を検知した場合又はユーザによる拡大表示の指示操作に基づいて、投影面を、車両近傍領域が平坦に形成されたお椀形状を有する通常投影面から、所定の特殊投影面に切り替える構成が開示されている。特許文献１における特殊投影面は、車両領域に相当する矩形状の平面の周囲に上に凸な曲面領域が付与された形状を有する投影面である。
【0006】
上記のような画像表示システムを利用することにより、ユーザ（代表的にはドライバ）は、車両の周辺の様子をほぼリアルタイムに確認することができる。
【先行技術文献】
【特許文献】
【0007】
【文献】特許第５９１１７７５号公報
【文献】特許第６２５７９７８号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
これまで検討されていた上記画像生成装置は、車両が、アスファルトやコンクリート、煉瓦、石畳などで舗装された道路上（つまりオンロード）に位置することを前提として構成されている。換言すれば、車両周辺の地面が平坦であることを前提としている。それ故、車両近傍領域に相当する投影面は略平坦に形成されている。ここでの車両近傍領域とは、例えば車両から２ｍ乃至３ｍ以内となる範囲を指す。
【0009】
しかしながら、本開示の開発者らは、オフロード走行時にもドライバ視点画像等の合成画像を表示する構成を検討したところ、次のような知見を得た。すなわち、車両周辺が略平坦に設定された投影面を用いた合成画像では、車両周辺に存在する岩石等の像が平坦につぶれてしまい、ユーザにとって違和感のある画像となりうることがわかった。
【0010】
本開示は、この事情に基づいて成されたものであり、その目的とするところは、オフロード走行時に表示する合成画像としてユーザに違和感を与えにくい合成画像を生成可能な画像生成装置、画像生成方法を提供することにある。
【課題を解決するための手段】
【0011】
その目的を達成するための画像生成装置は、一例として、車両で用いられる画像生成装置であって、車両の周辺を撮影する複数のカメラで得られた複数のカメラ画像を取得する画像取得部（Ｆ１）と、車両の周辺に相当する仮想の投影面に複数のカメラ画像のデータを投影し、当該投影面上のデータを用いて仮想視点からみた車両の周辺を示す合成画像を生成する画像合成部（Ｆ７）と、車両に搭載された他の装置からの信号に基づいて、車両の走行環境がオフロードであるかオンロードであるかを判定する走行環境判定部（Ｆ６２）と、を備え、画像合成部は、走行環境判定部によって走行環境がオフロードであると判定されているか否かに応じて合成画像の生成に使用する投影面の形状を変更するように構成されており、画像合成部は、走行環境判定部によって走行環境がオンロードであると判定されている場合には、投影面として、所定の形状を有するオンロード用投影面を用いて合成画像を生成し、走行環境判定部によって走行環境がオフロードであると判定されている場合には、投影面として、オンロード用投影面とは異なる形状を有するオフロード用投影面を用いて合成画像を生成し、オンロード用投影面は、車両が位置する領域である車両領域（Ｒ０）の周りに配置された平面状のオンロード用平面領域（Ｒ１）と、オンロード用平面領域の周りに配置された曲面状のオンロード用曲面領域（Ｒ２）と、を有し、オフロード用投影面は、車両領域の外側に配置された曲面状のオフロード用曲面領域（Ｒ２ａ）を有し、オフロード用曲面領域（Ｒ２ａ）は、オンロード用曲面領域（Ｒ２）とは異なる形状であって、オンロード用曲面領域は、車両領域の外側においてオンロード用曲面領域が始まる位置である曲面開始位置から車両領域の外側に向かっての距離をｘ，高さをＺとしたときにＺ＝ａ１×ｘ＾２で表現される放物線状であり、オフロード用曲面領域は、車両領域の外側においてオフロード用曲面領域が始まる位置である曲面開始位置から車両領域の外側に向かっての距離をｘ，高さをＺとしたときにＺ＝ａ２×ｘ＾２で表現される放物線状であり、係数ａ２は係数ａ１よりも大きい値に設定されている。
【0012】
以上の構成によれば、走行環境がオフロードと判定されている場合には、車両はオンロードに位置していると判定されている場合とは異なる形状の投影面を用いて合成画像が生成される。つまり、車両の走行環境がオフロードであることを前提とした形状の投影面が適用されることとなる。そのため、オフロード走行時に表示する合成画像としてユーザに違和感を与えにくい合成画像を生成可能となる。
【0013】
また、上記目的を達成するための画像生成方法は、車両の運転操作を支援するための画像を生成する画像生成方法であって、車両の周辺を撮影する複数のカメラで得られた複数のカメラ画像を取得すること（Ｓ１）と、車両の周辺に相当する仮想の投影面に、複数のカメラ画像のデータを投影し、当該投影面上のデータを用いて仮想視点からみた車両の周辺を示す合成画像を生成すること（Ｓ８）と、車両に搭載された他の装置からの信号に基づいて、車両の走行環境がオフロードであるかオンロードであるかを判定すること（Ｓ３）と、走行環境はオンロードであると判定されている場合には、投影面として、所定の形状を有するオンロード用投影面を用いて合成画像を生成することと、走行環境はオフロードであると判定されている場合には、投影面として、オンロード用投影面とは異なる形状を有するオフロード用投影面を用いて合成画像を生成することと、を含み、オンロード用投影面は、車両が位置する領域である車両領域（Ｒ０）の周りに配置された平面状のオンロード用平面領域（Ｒ１）と、オンロード用平面領域の周りに配置された曲面状のオンロード用曲面領域（Ｒ２）と、を有し、オフロード用投影面は、車両領域の外側に配置された曲面状のオフロード用曲面領域（Ｒ２ａ）を有し、オフロード用曲面領域（Ｒ２ａ）は、オンロード用曲面領域（Ｒ２）とは異なる形状であって、オンロード用曲面領域は、車両領域の外側においてオンロード用曲面領域が始まる位置である曲面開始位置から車両領域の外側に向かっての距離をｘ，高さをＺとしたときにＺ＝ａ１×ｘ＾２で表現される放物線状であり、オフロード用曲面領域は、車両領域の外側においてオフロード用曲面領域が始まる位置である曲面開始位置から車両領域の外側に向かっての距離をｘ，高さをＺとしたときにＺ＝ａ２×ｘ＾２で表現される放物線状であり、係数ａ２は係数ａ１よりも大きい値に設定されている。
【0014】
上記の方法は、前述の画像生成装置に対応する方法である。上記方法によれば、車両の走行環境がオフロードである場合には、車両がオンロードに位置する場合に適用される投影面とは形状が異なる、走行環境がオフロードであることを前提とした投影面が適用されることとなる。故に、オフロード走行時に表示する合成画像としてユーザに違和感を与えにくい合成画像を生成可能となる。
【0015】
なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
【図面の簡単な説明】
【0016】
【図1】周辺表示システムＳｙｓの全体像を示すブロック図である。
【図2】各カメラ２の設置位置及び撮影範囲の一例を示す図である。
【図3】各ソナー８の設置位置及び撮影範囲の一例を示す図である。
【図4】画像生成ＥＣＵ１の機能を説明するためのブロック図である。
【図5】画像取得部Ｆ１が取得するカメラ画像の一例を示す図である。
【図6】投影面ＴＳについて説明するための図である。
【図7】ドライバ視点ＶＰｄについて説明するための図である。
【図8】通常投影面ＴＳ１の形状を説明するための図である。
【図9】通常投影面ＴＳ１の形状を説明するための図である。
【図10】オフロード用投影面ＴＳ２の形状を説明するための図である。
【図11】オフロード用投影面ＴＳ２の形状を説明するための図である。
【図12】ドライバ視点画像ＣＰｄの例を示す図である。
【図13】鳥瞰画像ＣＰｂの例を示す図である。
【図14】合成画像表示処理のフローチャートである。
【図15】表示画像ＤＰのレイアウトの一例を示す図である。
【図16】通常投影面ＴＳ１を用いた場合の岩石Ｒｋの見え方について説明するための図である。
【図17】オフロード用投影面ＴＳ２を用いた場合の岩石Ｒｋの見え方について説明するための図である。
【図18】通常投影面ＴＳ１を用いて生成されたドライバ視点画像ＣＰｄの線図である。
【図19】オフロード用投影面ＴＳ２を用いて生成されたドライバ視点画像ＣＰｄの線図である。
【図20】オフロード用投影面ＴＳ２の変形例を示す図である。
【図21】オフロード用投影面ＴＳ２の変形例を示す図である。
【図22】オフロード用投影面ＴＳ２の変形例を示す図である。
【図23】オフロード表示モードであることを示す通知画像ＮＰの表示例を示す図である。
【図24】車室内におけるドライバ視点ＶＰｄ以外の仮想視点ＶＰの設定位置の例を示す図である。
【発明を実施するための形態】
【0017】
以下、図面を参照しながら本開示にかかる周辺表示システムＳｙｓの実施形態について説明する。周辺表示システムＳｙｓは、当該システムが搭載された車両の周辺の画像をディスプレイに表示するものである。以下では周辺表示システムＳｙｓが搭載されている車両Ｖを自車両とも記載する。
【0018】
＜前置き＞
本実施形態の自車両は一例として、整備された道路上（つまりオンロード）だけでなく、オフロードを走行することも想定された四輪駆動車であって、走行モードとして、オンロードの走行に適した通常モードと、オフロードモードを備える。また、自車両はオフロードモードとして、泥ねい路や砂地路などの滑りやすい路面の走行に適した第１オフロードモードと、モーグル路や岩石路などの凹凸の大きい路面の走行に適した第２オフロードモードとを備えうる。各走行モードは、各車輪への駆動力の分配制御の方式が異なる。なお、ここでのオフロードとは、主として岩石路などの凹凸が大きい地面を指すものとする。もちろん、オフロードは、オンロード以外の地面、すなわち整備されていない地面全般と解することもできる。
本実施形態の自車両は一例として、整備された道路上（つまりオンロード）だけでなく、オフロードを走行することも想定された四輪駆動車であって、走行モードとして、オンロードの走行に適した通常モードと、オフロードモードを備える。また、自車両はオフロードモードとして、泥ねい路や砂地路などの滑りやすい路面の走行に適した第１オフロードモードと、モーグル路や岩石路などの凹凸の大きい路面の走行に適した第２オフロードモードとを備えうる。各走行モードは、各車輪への駆動力の分配制御の方式が異なる。なお、ここでのオフロードとは、主として岩石路などの凹凸が大きい地面を指すものとする。もちろん、オフロードは、オンロード以外の地面、すなわち整備されていない地面全般と解することもできる。
【0019】
以下の説明における前後、左右、上下の各方向は、自車両を基準として規定される。具体的に、前後方向は、自車両の長手方向に相当する。左右方向は、自車両の幅方向に相当する。上下方向は、車両高さ方向に相当する。別の観点によれば、上下方向は、前後方向及び左右方向に平行な平面に対して垂直な方向に相当する。本開示では車両高さ方向に垂直な平面を車両水平面とも称する。また、前後左右方向を含む、車両高さ方向に垂直な方向を車両水平方向とも称する。車両水平方向は自車両から離れる方向に相当する。
【0020】
加えて、本開示における「平行」とは完全な平行状態に限らない。数度から２０度程度傾いていても良い。つまり概ね平行である状態（いわゆる略平行な状態）を含みうる。本開示における「垂直」という表現についても、完全に垂直な状態に限らず、数度～２０度程度傾いている状態を含めることができる。
【0021】
＜全体構成の説明＞
図１は、本開示に係る周辺表示システムＳｙｓの概略的な構成の一例を示す図である。図１に示すように、周辺表示システムＳｙｓは、画像生成ＥＣＵ１、複数のカメラ２、ディスプレイ３、タッチパネル４、操作ボタン５、車両状態センサ６、ソナーＥＣＵ７、複数のソナー８、及び統合ＥＣＵ９を備える。なお、部材名称中のＥＣＵは、Electronic Control Unitの略であり、電子制御装置を意味する。
図１は、本開示に係る周辺表示システムＳｙｓの概略的な構成の一例を示す図である。図１に示すように、周辺表示システムＳｙｓは、画像生成ＥＣＵ１、複数のカメラ２、ディスプレイ３、タッチパネル４、操作ボタン５、車両状態センサ６、ソナーＥＣＵ７、複数のソナー８、及び統合ＥＣＵ９を備える。なお、部材名称中のＥＣＵは、Electronic Control Unitの略であり、電子制御装置を意味する。
【0022】
画像生成ＥＣＵ１は、複数のカメラ２、ディスプレイ３、タッチパネル４、操作ボタン５、車両状態センサ６、ソナーＥＣＵ７、及び統合ＥＣＵ９のそれぞれと通信可能に接続されている。ソナーＥＣＵ７には、複数のソナー８が接続されている。上記の種々の装置またはセンサと画像生成ＥＣＵ１とは、専用線で個別に接続されていても良いし、車両内に構築された通信ネットワークである車両内ネットワークを介して接続されていてもよい。例えばカメラ２と画像生成ＥＣＵ１とは専用の映像信号線で直接的に接続されていても良い。
【0023】
画像生成ＥＣＵ１は、車両Ｖの運転操作を支援するための画像として、各カメラ２から入力される画像データに基づいて車両周辺領域を任意の視点から見た合成画像ＣＰを生成し、ディスプレイ３に表示するＥＣＵである。画像生成ＥＣＵ１は、コンピュータを用いて実現されている。すなわち、画像生成ＥＣＵ１は、処理部１１、ＲＡＭ１２、ストレージ１３、Ｉ／Ｏ１４、及びこれらの構成を接続するバスラインなどを備えている。
【0024】
処理部１１はＲＡＭ１２と結合された演算処理のためのハードウェア（換言すれば演算コア）である。処理部１１は、例えばＣＰＵである。処理部１１は、ＲＡＭ１２へのアクセスにより、後述する各機能部の機能を実現するための種々の処理を実行する。ＲＡＭ１２は揮発性の記憶媒体である。
【0025】
ストレージ１３は、フラッシュメモリ等の不揮発性の記憶媒体を含む構成である。ストレージ１３には、ファームウェアとしての画像生成プログラムＰｇや、画像合成部Ｆ７が合成画像を生成するために用いる各種のデータを記憶する。このような合成画像の生成に用いるデータには、面形状等を規定するパラメータが異なる複数の投影面データＤｔが含まれる。なお、処理部１１が当該画像生成プログラムＰｇを実行することは、当該画像生成プログラムＰｇに対応する方法である画像生成方法が実行されることに相当する。Ｉ／Ｏ１４は、他装置と通信するための回路モジュールである。Ｉ／Ｏ１４は、アナログ回路素子やＩＣなどを用いて実現されている。画像生成ＥＣＵ１の詳細については別途後述する。
【0026】
カメラ２は、自車両周辺を撮影し、当該撮影画像のデータを画像生成ＥＣＵ１に出力する車載カメラである。各カメラ２は、少なくともレンズと撮像素子とを備えており、自車両の周辺を示す画像を電子的に取得する。複数のカメラ２はそれぞれ異なる範囲を撮像するように自車両の所定位置に、所定の姿勢で取り付けられている。本実施形態の周辺表示システムＳｙｓはカメラ２として図２に示すようにフロントカメラ２Ｆ、リアカメラ２Ｂ、左サイドカメラ２Ｌ、及び右サイドカメラ２Ｒを備える。これら４つのカメラ２は、自車両において互いに異なる位置に配置され、自車両の周辺の異なる方向を撮影する。具体的には次のとおりである。
【0027】
フロントカメラ２Ｆは、車両前方を所定の画角で撮像するカメラである。フロントカメラ２Ｆは、例えばフロントグリルなどの自車両の前端において、その光軸２Ｆａが自車両の正面方向に向けられた姿勢で取り付けられている。リアカメラ２Ｂは、車両後方を所定の画角で撮像するカメラである。リアカメラ２Ｂは、光軸２Ｂａが自車両の後方に向けられた姿勢で、例えばリアナンバープレート付近やリアウインドウ付近など、ボディ背面部の所定位置に配置されている。左サイドカメラ２Ｌは、自車両の左側方を撮像するカメラである。左サイドカメラ２Ｌは、左側サイドミラーにおいて、光軸２Ｌａが自車両の左側に向いた姿勢で取り付けられている。右サイドカメラ２Ｒは、自車両の右側方を撮像するカメラである。右サイドカメラ２Ｒは、右側サイドミラーにおいて、その光軸２Ｒａが自車両の右側に向いた姿勢で取り付けられている。
【0028】
これらのカメラ２のレンズには魚眼レンズなどの広角レンズが採用されており、各カメラ２は１８０度以上の画角θを有している。このため、４つのカメラ２を利用することで、自車両の全周囲を撮影することが可能である。なお、上述した各カメラ２の取り付け位置は適宜変更可能である。フロントカメラ２Ｆは、ルームミラーやフロントガラスの上端部などに取り付けられていても良い。右サイドカメラ２Ｒ及び左サイドカメラ２Ｌは、ＡピラーやＢピラーの付け根付近に配置されていてもよい。周辺表示システムＳｙｓは、ルーフ上に取り付けられたカメラ２を備えていても良い。一部または全部のカメラ２は、例えばルーフ上や、ダッシュボード上、窓枠付近などに後付されたカメラであってもよい。
【0029】
各カメラ２の車両Ｖにおける搭載位置及び姿勢を示すデータ（以降、搭載位置データ）は、ストレージ１３に格納されている。各カメラ２の搭載位置は、例えば、車両Ｖの任意の位置を中心とする３次元座標（以降、車両３次元座標系）上の点として表されていれば良い。車両３次元座標系を形成するＸ軸は、例えば、車両の左右方向に平行な軸とすることができる。また、Ｙ軸は前後方向に平行な軸とすることができる。Ｚ軸は車両高さ方向に平行な軸とすることができる。車両右方向がＸ軸正方向に対応し、車両前方がＹ軸正方向に対応し、車両上方がＺ軸正方向に対応するものとする。車両３次元座標系の中心は、例えば、後輪車軸の中心などとすることができる。
【0030】
ディスプレイ３は、例えば、液晶などの薄型の表示パネルを備えており、各種の情報や画像を表示するデバイスである。ディスプレイ３が表示装置に相当する。ディスプレイ３は、ユーザがその画面を視認できるように、自車両のインストゥルメントパネルなどに配置される。ディスプレイ３は、画像生成ＥＣＵ１と同一のハウジング内に配置されることにより、画像生成ＥＣＵ１と一体化されていてもよい。もちろん、ディスプレイ３は、画像生成ＥＣＵ１とは別体の装置であってもよい。ディスプレイ３は、表示パネル上に積層されたタッチパネル４を備えており、ユーザの操作を受け付けることが可能に構成されている。タッチパネル４は例えば静電容量式のタッチパネルであって、ユーザのタッチ位置を示す信号を出力する。なお、ここでのユーザとは、主として運転席の乗員（いわゆるドライバ）を指す。ユーザにはドライバの他に、助手席の乗員などを含めることができる。
【0031】
操作ボタン５は、ユーザの操作を受け付ける操作部材である。周辺表示システムＳｙｓは、操作ボタン５として、表示切替スイッチ５１と走行モードスイッチ５２とを含みうる。表示切替スイッチ５１は、画像生成ＥＣＵ１が生成した合成画像ＣＰをディスプレイ３に表示させたり、表示する合成画像ＣＰの仮想視点等を変更したりするためのスイッチである。表示切替スイッチ５１は、例えば、自車両のステアリングホイールに設けられており、主にドライバからの操作を受け付ける。ユーザは、この表示切替スイッチ５１、及び、ディスプレイ３のタッチパネル４を介して周辺表示システムＳｙｓに対する各種の操作を行うことができる。表示切替スイッチ５１及びタッチパネル４の何れかにユーザの操作がなされた場合は、その操作の内容を示す操作信号が画像生成ＥＣＵ１に入力される。なお、表示切替スイッチ５１は、マルチインフォメーションスイッチと呼ぶこともできる。表示切替スイッチ５１はインストゥルメントパネルに配されていても良い。
【0032】
走行モードスイッチ５２は、ドライバが車両Ｖの走行モードを切り替えるためのボタンである。走行モードスイッチ５２は例えばセンターコンソールや、インストゥルメントパネルなどに設けられても良い。走行モードスイッチ５２として、各走行モードに対応するボタンが配置されていてもよい。走行モードスイッチ５２はロータリスイッチとして構成されていても良い。走行モードを切り替えるための操作部材はダイヤル式であってもよい。なお、走行モードスイッチ５２としての機能はシフトレバーが備えていても良い。走行モードスイッチ５２及びシフトレバーが、走行モードをオフロードモードに切り替えるための入力装置に相当しうる。
【0033】
走行モードスイッチ５２はユーザによって設定されている走行モードを示す信号を画像生成ＥＣＵ１に出力する。また、走行モードスイッチ５２の出力信号は、車両の駆動システムを構成する複数のＥＣＵを統括的に制御する統合ＥＣＵ９にも入力される。統合ＥＣＵ９は例えばパワートレイン系のドメインＥＣＵに相当する。統合ＥＣＵ９は、走行モードスイッチ５２から入力信号に応答して、車両Ｖの走行モードを切り替えるとともに、パワートレインＥＣＵやシャシーＥＣＵなどの挙動を統括的に制御する。このような統合ＥＣＵ９は、１つの側面において車両の走行モードを管理するＥＣＵと解することができる。なお、パワートレインＥＣＵの制御対象である動力ユニットは、エンジンに限らずモータであってもよい。また、パワートレインＥＣＵは、前後輪のトルク配分を制御するとともに、さらに後輪のトルクを左右それぞれで独立制御する機能を備えていても良い。例えばパワートレインＥＣＵは、ＴＶＤ（Torque Vectoring Differential）ＥＣＵとしての機能を備えていても良い。
【0034】
車両状態センサ６は、自車両の走行制御に関わる状態量を検出するセンサである。車両状態センサ６には、シフトポジションセンサや、車速センサ、操舵角センサ、加速度センサなどが含まれる。シフトポジションセンサは、シフトレバーのポジションを検出するセンサである。車速センサは、自車両の走行速度を検出するセンサである。操舵角センサは、ハンドルの回転角（いわゆる操舵角）を検出するセンサである。加速度センサは、自車両に作用する車両前後方向、横方向、及び、上下方向の少なくとも何れか１方向の加速度を検出するセンサである。ここでは加速度センサとして３軸加速度センサが採用されているものとする。加速度センサの検出値は、水平面に対する車両姿勢を判断するための材料として使用することができる。なお、車両状態センサ６として周辺表示システムＳｙｓが使用するセンサの種類は適宜設計されればよく、上述した全てのセンサを備えている必要はない。また、車高センサなどを車両状態センサ６に含めることができる。各センサは、検出対象とする物理状態量の現在の値（つまり検出結果）を示すデータを画像生成ＥＣＵ１に出力する。
【0035】
ソナーＥＣＵ７は、ソナー８の動作を制御するＥＣＵである。ソナー８は、探査波としての超音波を発信し、その超音波が物体で反射した反射波を受信することで、自車両の周辺に存在する物体を検出する。また、ソナー８は、超音波を発信してから戻ってくるまでの時間に基づいて物体の距離を検出可能である。各ソナー８が検出した物体の距離情報は、例えばソナーＥＣＵ７を介して画像生成ＥＣＵ１に入力される。
【0036】
本実施形態では一例として図３に示すように８個のソナー８を備える。具体的にはフロントバンパの右側コーナー部から左側コーナー部にかけて４つのソナー８Ａ～８Ｄが分散配置されている。また、自車両のリアバンパの右側コーナー部から左側コーナー部にかけて、４つのソナー８Ｅ～８Ｈが分散配置されている。このようなソナー８の配置により、ソナーＥＣＵ７は、自車両の前方または後方に存在する物体を検出できる。なお、ソナー８の配置態様は一例であって、図３に示す例に限定されない。また、ソナー８として、車両側方に向けて超音波を発するように、サイドシルやフェンダー、ドアパネルに取り付けられていてもよい。
【0037】
その他、ソナーＥＣＵ７は、各ソナー８での検出結果を組み合わせることで自車両周辺に存在する物体の相対位置を特定する。例えば検出物の方向は、２以上のソナー８のそれぞれで検出された同一の物体までの距離に基づいて、当該物体の自車両に対する相対的な方向を導出する。ソナーＥＣＵ７は、ソナー８が物体を検出した場合は、検出結果として当該物体の方向及び距離を示すデータを画像生成ＥＣＵ１に入力する。また、ソナーＥＣＵ７は、車両周辺がオフロード環境かどうかを間接的に示す情報として、検出物の高さや、反射強度、受信波形なども画像生成ＥＣＵ１に出力するように構成されていても良い。さらにソナーＥＣＵ７は、受信波形等に基づいて、周辺環境が岩場などのオフロードであるか否かを判定し、その判定結果を画像生成ＥＣＵ１に出力するように構成されていても良い。なお、ソナーＥＣＵ７は画像生成ＥＣＵ１と統合されていてもよい。
【0038】
＜画像生成ＥＣＵの構成について＞
画像生成ＥＣＵ１は、図４に示すように機能部として画像取得部Ｆ１、操作受付部Ｆ２、車両状態取得部Ｆ３、障害物情報取得部Ｆ４、画像認識部Ｆ５、表示制御部Ｆ６、画像合成部Ｆ７、表示画像生成部Ｆ８、及び画像出力部Ｆ９を備えている。
画像生成ＥＣＵ１は、図４に示すように機能部として画像取得部Ｆ１、操作受付部Ｆ２、車両状態取得部Ｆ３、障害物情報取得部Ｆ４、画像認識部Ｆ５、表示制御部Ｆ６、画像合成部Ｆ７、表示画像生成部Ｆ８、及び画像出力部Ｆ９を備えている。
【0039】
画像取得部Ｆ１は、４つのカメラ２でそれぞれ生成された画像であるカメラ画像を取得する。複数のカメラ２のそれぞれで撮影が行われると、図５に示すように自車両の前方、後方、左側方及び右側方をそれぞれ示す４つのカメラ画像ＳＦ，ＳＢ，ＳＬ，ＳＲが取得される。これら４つのカメラ画像ＳＦ，ＳＢ，ＳＬ，ＳＲには、自車両の全周囲のデータが含まれている。なお、カメラ画像ＳＦはフロントカメラ２Ｆで生成される画像であり、カメラ画像ＳＢはリアカメラ２Ｂで生成される画像である。カメラ画像ＳＬは左サイドカメラ２Ｌで生成される画像であり、カメラ画像ＳＲは右サイドカメラ２Ｒで生成される画像である。画像取得部Ｆ１は、カメラ２から入力された画像信号を、所定のデータ形式のデジタル画像データに変換する機能などを有している。画像取得部Ｆ１は、取得したカメラ画像に所定の画像処理を行い、処理後のカメラ画像を画像合成部Ｆ７及び表示画像生成部Ｆ８に入力する。
【0040】
操作受付部Ｆ２は、ユーザが操作を行った場合に操作ボタン５及びタッチパネル４から出力される操作信号を受信する。これにより、操作受付部Ｆ２は、合成画像ＣＰやカメラ画像の表示に対するユーザの指示操作を受け付ける。操作受付部Ｆ２は、受信した操作信号に対応するデータを表示制御部Ｆ６に入力する。
【0041】
車両状態取得部Ｆ３は、車両状態センサ６など、画像生成ＥＣＵ１とは別に自車両に設けられている他の装置から自車両の状態を示す情報を取得する構成である。車両状態取得部Ｆ３は、例えばシフトポジションセンサから現在設定されているシフトポジションを取得する。車両状態取得部Ｆ３は、統合ＥＣＵ９から走行モードを取得してもよい。その他、車両状態取得部Ｆ３は、検出軸方向毎の加速度や、車速、操舵角などを取得する。
【0042】
障害物情報取得部Ｆ４は、ソナーＥＣＵ７から、車両周辺に存在する立体物についての情報を取得する。すなわち、検出された立体物の大きさや高さ、相対位置などを取得する。また、ソナーＥＣＵ７が、受信した反射波の信号波形の特徴量を解析することで検出物の種別を識別する識別器を備えている場合には、ソナーＥＣＵ７による検出物の識別結果も取得する。
【0043】
画像認識部Ｆ５は、カメラ２から入力される画像を解析することによって所定の検出対象物の位置及びその種別等を検出する構成である。画像認識部Ｆ５は、例えば画像の特徴量ベクトルに基づき、物体の種別を識別する識別器としての機能を備える。画像認識部Ｆ５は、例えばディープラーニングを適用したＣＮＮ（Convolutional Neural Network）やＤＮＮ（Deep Neural Network）技術などを用いて物体の識別を行う。検出対象物としては、歩行者や他車両などの他、舗装された道路に付与されうる車線区画線などの路面表示や、道路端などが含まれる。また、検出対象物には方面看板などの交通標識や、ガードレール、電柱などといった道路に付帯する立体構造物が含まれていても良い。
【0044】
加えて、画像認識部Ｆ５は、岩石を検出するように構成されていても良い。画像認識部Ｆ５の認識結果は表示制御部Ｆ６等に出力される。その他、画像認識部Ｆ５は、地面と想定される画像領域の模様（例えばエッジ検出結果）に基づいて、走行環境がオンロードか、オフロードかを示す認識結果を表示制御部Ｆ６に出力するように構成されていても良い。
【0045】
表示制御部Ｆ６は、画像生成ＥＣＵ１の全体を統括的に制御する構成である。例えば、表示制御部Ｆ６は、操作受付部Ｆ２や車両状態取得部Ｆ３から入力される情報に基づいて、画像合成部Ｆ７及び表示画像生成部Ｆ８を制御して、自車両の走行状態やユーザの設定に応じた合成画像ＣＰ及び表示画像ＤＰを生成させる。
【0046】
表示制御部Ｆ６は、サブ機能ブロックとして、進行方向取得部Ｆ６１、走行環境判定部Ｆ６２、投影面制御部Ｆ６３、及び視点制御部Ｆ６４を備える。進行方向取得部Ｆ６１は、例えばシフトポジションセンサからの信号またはタイヤの回転方向に基づいて、自車両の進行方向が前進方向及び後退方向のいずれであるかを判定する。
【0047】
走行環境判定部Ｆ６２は、自車両の走行位置（換言すれば走行環境）が、オンロードであるか、オフロードであるかを判定する構成である。このような走行環境判定部Ｆ６２は路面種別を判別する路面種別判定部と呼ぶこともできる。例えば走行環境判定部Ｆ６２は、走行モードスイッチ５２からの入力信号に基づいて走行環境がオフロードかどうかを判別しても良い。例えば走行環境判定部Ｆ６２は、走行モードスイッチ５２から、オフロードモードに設定されていることを示す信号が入力されていることに基づいて、走行環境はオフロードであると判定する。一方、走行環境判定部Ｆ６２は、走行モードスイッチ５２から、通常モードに設定されていることを示す信号が入力されていることに基づいて、走行環境は通常モードと判定しうる。また、走行環境判定部Ｆ６２は、車両状態取得部Ｆ３が統合ＥＣＵ９から取得している走行モードの情報に基づいて、オフロードかどうかを判別してもよい。
【0048】
さらに、走行環境判定部Ｆ６２は、画像認識部Ｆ５の認識結果に基づいて、オフロードかどうかを判定しても良い。例えば、画像認識処理によって、岩を示す特徴を有する物体が所定数以上検出されていること、或いは、車両の前後左右に岩が検出されていることに基づいて走行環境はオフロードであると判定しても良い。さらに、複数の障害物が連続的に検出されていることに基づいてオフロードであると判定しても良い。ここでの障害物とは、ガードレールや他車両といった人工的な立体物ではなく、岩や地面の段差などの自然立体物を指す。なお、岩などの自然立体物の形状は多様であるため、画像認識によって検出物の種別は自然立体物であると判定することは難しい。一方、人工物であれば相対的に種別を特定しやすい。そのような事情を踏まえると、走行環境判定部Ｆ６２は、画像認識処理で検出物の種別を特定できなかった立体物を自然立体物とみなして、走行環境がオフロードであるか否かを判定しても良い。また、走行環境判定部Ｆ６２は、画像認識部Ｆ５によって舗装路であることを示す要素が車両の前後左右の何れにも検出されていないことを条件として走行環境はオフロードであると判定してもよい。舗装路であることを示す要素とは、例えば車線区画線や道路端などである。
【0049】
また、走行環境判定部Ｆ６２は、ソナー８によって上記の障害物が連続的に、或いは車両の前後左右に検出されていることに基づいて走行環境はオフロードであると判定しても良い。走行環境判定部Ｆ６２は、画像認識処理とソナーのセンサフュージョンによって、走行環境がオフロードかどうかを判定しても良い。
【0050】
その他、走行環境判定部Ｆ６２は、加速度センサの検出パターンに基づいて走行環境がオフロードであるか否かを判定してもよい。例えば上下方向の加速度が、所定の閾値の振幅で変動している状態が一定距離（例えば３ｍ）継続した場合に走行環境はオフロードであると判定しても良い。また、同様に、振動センサが、車両の走行に伴って所定の閾値以上の振動を検出している状態が一定距離継続した場合に走行環境はオフロードであると判定しても良い。走行環境判定部Ｆ６２は、複数のタイヤの何れかが空転したことに基づいて走行環境はオフロードと判定しても良い。走行環境判定部Ｆ６２は、ＧＮＳＳ（Global Navigation Satellite System）で特定される自車両の位置情報と地図データとを用いて走行環境がオフロードであるか否かを判定しても良い。走行環境はオフロードであると判定するための材料となる情報の種別及び判断条件としては多様なものを採用可能である。
【0051】
なお、走行環境判定部Ｆ６２は、オフロードと判定する条件が充足しなくなったことに基づいて、オンロード判定することができる。例えば走行環境判定部Ｆ６２は、画像認識処理によって、区画線や道路端、ガードレール、道路標識などを検出したことに基づいて走行環境はオンロードであると判定することができる。また、走行に伴う上下方向の加速度の振幅が所定値未満に収まっていることに基づいて走行環境はオンロードであると判定しても良い。走行環境がオンロードであると判定するための条件も多様なものを採用可能である。
【0052】
投影面制御部Ｆ６３は、画像合成処理に使用する投影面ＴＳを切り替える構成である。投影面ＴＳは、図６に概念的に示すように、自車両の周辺領域に相当する仮想の立体面である。投影面ＴＳの中心領域は、自車両の位置となる車両領域Ｒ０として定められている。本実施形態の画像生成ＥＣＵ１は、通常投影面とオフロード用投影面とを選択的に使用可能に構成されている。通常投影面ＴＳ１は、自車両がオンロードに位置する場合に適用される投影面ＴＳであり、オフロード用投影面ＴＳ２は、オフロードに位置している場合に適用される投影面ＴＳである。このような複数の投影面ＴＳのそれぞれの形状は、走行環境判定部Ｆ６２に予め記憶された複数の投影面データＤｔによって定められる。投影面ＴＳの詳細については別途後述する。
【0053】
なお、合成画像ＣＰを生成する際の投影面を切り替えることは、１つの側面において、合成画像ＣＰの表示モードを切り替えることに相当する。便宜上、オフロード用投影面を用いた合成画像ＣＰを表示するモードをオフロード表示モードと称する。また、通常投影面を用いた合成画像ＣＰを表示する表示モードを通常表示モードと称する。通常投影面ＴＳ１は、自車両がオンロードに位置する場合に適用される投影面ＴＳであるため、オンロード用投影面と呼ぶことができる。また、通常表示モードは、オンロード表示モードと呼ぶことができる。
【0054】
視点制御部Ｆ６４は、進行方向取得部Ｆ６１の判定結果、タッチパネル４からの信号、及び表示切替スイッチ５１からの信号の少なくとも何れか１つに基づいて、後述する合成画像ＣＰを生成する際の仮想視点ＶＰの位置及び視線方向を設定する。設定されうる仮想視点ＶＰのパターンとしては、例えば、鳥瞰視点ＶＰｂや、ドライバ視点ＶＰｄなどを採用可能である。鳥瞰視点ＶＰｂは、視点位置を自車両の直上、視野方向を直下とした仮想視点ＶＰの設定パターンであって、自車両及びその周辺を車両の真上から俯瞰した画像である鳥瞰画像ＣＰｂを生成する際に適用されうる。なお、鳥瞰視点ＶＰｂの視点位置は、車両の真上に限らず、車両の真上から後ろ側、前側、或いは、横方向にずれた位置であってもよい。鳥瞰視点ＶＰｂは、仮想視点ＶＰを車室外に配置した、車室外視点の一例に相当する。
【0055】
ドライバ視点ＶＰｄは、図７に示すように、視点位置を車室内におけるドライバの目の想定位置に設定した仮想視点ＶＰの設定パターンである。ドライバ視点ＶＰｄの視線方向は、例えば、前輪付近を含むように前方斜め下方向に設定されうる。斜め下方向とは、例えば車両水平面から２０～３０°程度下方に向けられた方向とすることができる。なお、ドライバ視点ＶＰｄの視線方向は、前方斜め下方向をデフォルト方向としつつ、タッチパネル４へのユーザ操作（例えばスワイプ）に基づいて任意の方向に変更可能に構成されていてもよい。
【0056】
ドライバの目の想定位置としては、車種ごとに設定されるアイリプスを援用することができる。アイリプスは、車種ごとに規定される仮想的な空間領域であり、乗員のアイポイントの空間分布を統計的に表したアイレンジに基づいて、仮想の楕円体状に設定されている（ＪＩＳＤ００２１：１９９８を参照）。例えばドライバの目の想定位置は、運転席のヘッドレスト近傍に位置する。ドライバ視点ＶＰｄは、仮想視点ＶＰを車室内に配置した、車室内視点の一例に相当する。なお、ドライバ視点ＶＰｄの位置は、ドライバの目の想定位置からずれた位置に配置されていても良い。例えば、ドライバ視点ＶＰｄは、ドライバの目の想定位置から助手席側に所定量ずれた位置、例えば運転席と助手席の中間となる位置に配置されていても良い。
【0057】
合成画像ＣＰを生成する際の視点を切り替えることは、合成画像ＣＰの表示モードを切り替えることに相当する。便宜上、鳥瞰視点ＶＰｂを採用している状態を鳥瞰視点モードと称する。ドライバ視点ＶＰｄが採用されている状態をドライバ視点モードと称する。
【0058】
画像合成部Ｆ７は、合成画像ＣＰを生成するための画像処理を行う構成である。画像合成部Ｆ７は、自車両の周辺に相当する仮想の投影面に複数のカメラ画像のデータを投影し、該投影面上のデータを用いて仮想視点ＶＰからみた自車両の周辺を示す合成画像ＣＰを生成する。画像合成部Ｆ７の作動は表示制御部Ｆ６によって制御される。例えば合成画像ＣＰの生成に使用される投影面及び仮想視点ＶＰは、表示制御部Ｆ６によって制御される。より具体的には、画像合成部Ｆ７は、表示制御部Ｆ６の制御により、それぞれ形状が異なる複数の投影面のうちの一つを選択的に用いて合成画像ＣＰを生成する。この合成画像ＣＰを生成する手法の詳細については後述する。
【0059】
表示画像生成部Ｆ８は、ディスプレイ３で表示するための表示画像ＤＰを生成する。表示画像生成部Ｆ８は、画像合成部Ｆ７で生成された合成画像ＣＰ、及び、画像取得部Ｆ１が取得したカメラ画像を用いて、合成画像ＣＰ及びカメラ画像を含む表示画像ＤＰを生成する。表示画像ＤＰに含まれる画像の組み合わせは、自車両の進行方向やタッチパネル４等へのユーザ操作に応じて表示制御部Ｆ６によって決定される。つまり、表示画像生成部Ｆ８の作動は表示制御部Ｆ６によって制御される。表示画像ＤＰの生成にかかる表示画像生成部Ｆ８及び表示制御部Ｆ６の作動については別途後述する。
【0060】
画像出力部Ｆ９は、表示画像生成部Ｆ８で生成された表示画像ＤＰを所定の信号形式の映像信号に変換してディスプレイ３に出力し、表示画像ＤＰをディスプレイ３に表示させる。これにより、仮想視点ＶＰからみた自車両の周辺を示す合成画像ＣＰがディスプレイ３に表示される。
【0061】
＜通常投影面について＞
ここでは合成画像ＣＰを生成するために使用される通常投影面ＴＳ１について説明する。通常投影面ＴＳ１は、下に凸の曲面を有するお椀形状をしている。図８は、自車両の左右方向に沿った通常投影面ＴＳ１の断面を示す図であり、図９は、自車両の前後方向に沿った通常投影面ＴＳ１の断面を示す図である。図に示すように、通常投影面ＴＳ１は、概略的には、車両領域Ｒ０の近傍では車両水平方向に沿った平面として形成されており、かつ、車両領域Ｒ０から離れるほど傾き（勾配）が大きくなる形状を有している。本明細書において、投影面ＴＳの「傾き」とは、車両水平方向の単位長さに対する垂直方向の長さを表す。投影面ＴＳの各位置の「傾き」は、当該位置に対する接線の傾きであるともいえる。
ここでは合成画像ＣＰを生成するために使用される通常投影面ＴＳ１について説明する。通常投影面ＴＳ１は、下に凸の曲面を有するお椀形状をしている。図８は、自車両の左右方向に沿った通常投影面ＴＳ１の断面を示す図であり、図９は、自車両の前後方向に沿った通常投影面ＴＳ１の断面を示す図である。図に示すように、通常投影面ＴＳ１は、概略的には、車両領域Ｒ０の近傍では車両水平方向に沿った平面として形成されており、かつ、車両領域Ｒ０から離れるほど傾き（勾配）が大きくなる形状を有している。本明細書において、投影面ＴＳの「傾き」とは、車両水平方向の単位長さに対する垂直方向の長さを表す。投影面ＴＳの各位置の「傾き」は、当該位置に対する接線の傾きであるともいえる。
【0062】
通常投影面ＴＳ１は、自車両が位置する路面領域に相当する平面状の車両領域Ｒ０と、車両領域Ｒ０に連続する平面である平面領域Ｒ１と、車両領域Ｒ０から離れた下に凸の曲面となる曲面領域Ｒ２とに区分可能である。平面領域Ｒ１がオンロード用平面領域に相当し、曲面領域Ｒ２がオンロード用曲面領域に相当する。
【0063】
このような通常投影面ＴＳ１は、車両領域Ｒ０からの距離が相対的に小さく傾きが相対的に小さい平面領域Ｒ１と、車両領域Ｒ０からの距離が相対的に大きく傾きが相対的に大きい曲面領域Ｒ２とを有しているともいえる。なお、車両領域Ｒ０は上面視において自車両と重なる領域に相当する。
【0064】
平面領域Ｒ１は、車両領域Ｒ０に隣接し、車両領域Ｒ０の周囲を囲むように配置される。平面領域Ｒ１の外側には曲面領域Ｒ２が配置される。このような通常投影面ＴＳ１の構成は、別の観点によれば、車両領域Ｒ０と曲面領域Ｒ２の間に平面領域Ｒ１を介在させた構成に相当する。平面領域Ｒ１は、車両領域Ｒ０の縁部から車両水平方向に少なくとも所定の最小平面距離Ｄｍｉｎ以上離れた地点まで延設されている。換言すれば、車両領域Ｒ０から少なくとも最小平面距離Ｄｍｉｎ以内は平面領域Ｒ１に設定されている。最小平面距離Ｄｍｉｎは例えば０．３ｍや０．５ｍ、１ｍとすることができる。車両領域Ｒ０の縁部から平面領域Ｒ１と曲面領域Ｒ２との境界までの距離である平面形成距離Ｄ１は、最小平面距離Ｄｍｉｎ以上に設定されている。平面形成距離Ｄ１は、例えば１．５ｍとすることができる。なお、平面形成距離Ｄ１の大きさは、前後方向と左右方向とで相違していても良い。例えば前後方向における平面形成距離Ｄ１は左右方向における平面形成距離Ｄ１よりも０．２５～０．５ｍほど大きく設定されていても良い。
【0065】
曲面領域Ｒ２は、平面領域Ｒ１の外側すなわち通常投影面ＴＳ１の周縁部に形成され、傾きが徐々に大きくなる形状を有している。例えば曲面領域Ｒ２は、２次曲線と同様の形状、換言すれば放物線状とすることができる。故に、曲面領域Ｒ２の形状は、２次曲線の係数パラメータで定義することができる。例えば、通常投影面ＴＳ１が備える曲面領域Ｒ２の断面形状は、平面領域Ｒ１の外側縁部を原点とし、車両水平方向をｘ軸、車両高さ方向をｚ軸とすると、係数ａ１を用いて次の式（２）で表現されうる。なお、ｘ軸の正方向は、車両領域Ｒ０から離れる方向とする。
【0066】
ｚ＝ ａ１・ｘ＾２ …（１）
係数ａ１は、曲面領域Ｒ２の傾き度合いを規定するパラメータであって、傾き係数と呼ぶこともできる。ａ１の大きさは適宜設計されうる。すなわち、係数ａ１が大きいほど、曲面領域Ｒ２の傾きは大きくなる。もちろん、曲面領域Ｒ２のモデルは、２次曲線に限らず、円弧や、対数関数、指数関数であってもよい。
係数ａ１は、曲面領域Ｒ２の傾き度合いを規定するパラメータであって、傾き係数と呼ぶこともできる。ａ１の大きさは適宜設計されうる。すなわち、係数ａ１が大きいほど、曲面領域Ｒ２の傾きは大きくなる。もちろん、曲面領域Ｒ２のモデルは、２次曲線に限らず、円弧や、対数関数、指数関数であってもよい。
【0067】
なお、ここでは一例として車両領域Ｒ０にはカメラ画像のデータは投影されず、車両領域Ｒ０の外側の領域にカメラ画像のデータが投影される。つまり、車両領域Ｒ０は、カメラ画像が投影されない、非投影領域に相当する。以降では、種々の投影面ＴＳにおいて、カメラ画像のデータが投影される領域（車両領域Ｒ０の外側の領域）を、「投影対象領域」とも称する。通常投影面ＴＳ１では、平面領域Ｒ１及び曲面領域Ｒ２が投影対象領域に相当する。
【0068】
通常投影面ＴＳ１は、自車両の前方に相当する領域である前方領域ＰＦ、後方に相当する領域である後方領域ＰＢ、左側方に相当する領域である左側方領域ＰＬ、右側方に相当する領域である右側方領域ＰＲを含む。前方領域ＰＦは、フロントカメラ２Ｆの画像ＳＦが投影される領域であり、後方領域ＰＢはリアカメラ２Ｂの画像ＳＢが投影される領域である。左側方領域ＰＬは左サイドカメラ２Ｌの画像ＳＬが投影される領域であり、右側方領域ＰＲは右サイドカメラ２Ｒの画像ＳＲが投影される領域である。通常投影面ＴＳ１の各領域ＰＦ、ＰＢ、ＰＬ、ＰＲには、平面領域Ｒ１が含まれる。通常投影面ＴＳの投影対象領域における各位置は、４つのカメラ画像ＳＦ，ＳＢ，ＳＬ，ＳＲの何れかと、テーブルデータ等の対応情報によって対応付けられている。
【0069】
＜オフロード用投影面について＞
次に図１０、図１１を用いてオフロード用投影面ＴＳ２について説明する。オフロード用投影面ＴＳ２も通常投影面ＴＳ１と同様、合成画像ＣＰを生成するための投影面ＴＳであって、各カメラ画像が投影（換言すればテクスチャマッピング）される３次元モデルの表面に相当する。
次に図１０、図１１を用いてオフロード用投影面ＴＳ２について説明する。オフロード用投影面ＴＳ２も通常投影面ＴＳ１と同様、合成画像ＣＰを生成するための投影面ＴＳであって、各カメラ画像が投影（換言すればテクスチャマッピング）される３次元モデルの表面に相当する。
【0070】
図１０は、自車両の左右方向に沿ったオフロード用投影面ＴＳ２の断面を示す図であり、図１１は、自車両の前後方向に沿ったオフロード用投影面ＴＳ２の断面を示す図である。図１０及び図１１に示すように、オフロード用投影面ＴＳ２は、概略的には、下に凸の曲面を有するお椀形状をしている。このようなオフロード用投影面ＴＳ２は、自車両が位置する車両領域Ｒ０と、その周囲を囲む下に凸の曲面状の曲面領域Ｒ２ａとに区分されうる。つまり、本実施形態のオフロード用投影面ＴＳ２は、車両領域Ｒ０と曲面領域Ｒ２ａの間に、平面領域を備えない。曲面領域Ｒ２ａがオフロード用曲面領域に相当する。
【0071】
曲面領域Ｒ２ａは、車両領域Ｒ０の縁部と接合するように形成されている。本実施形態のオフロード用投影面ＴＳ２においては、曲面領域Ｒ２ａだけが投影対象領域に相当する。曲面領域Ｒ２ａは、自車両の前面に対向する前方領域ＰＦとしての領域と、自車両の背面部に対向する後方領域ＰＢとして領域と、左側面に対向する左側方領域ＰＬとしての領域と、右側面に対向する右側方領域ＰＲとしての領域を含む。
【0072】
曲面領域Ｒ２ａは、車両領域Ｒ０に近いほど傾きが小さく、車両領域Ｒ０から離れるほど傾きが大きい曲面となっている。つまり、曲面領域Ｒ２ａは、車両水平方向に向かって傾きが徐々に大きくなる形状を有している。例えば、曲面領域Ｒ２ａの断面の形状は、車両領域Ｒ０の縁部を原点とし、車両水平方向をｘ軸、車両高さ方向をｚ軸とすると次の式（２）で表現されうる。
【0073】
ｚ＝ ａ２・ｘ＾２ …（２）
ａ２は係数であり、曲面領域Ｒ２ａの傾きの大きさを規定する。係数ａ２もまた、傾き係数と呼ぶことができる。係数ａ２が大きいほど、曲面領域Ｒ２ａの傾きは大きくなる。係数ａ２は、上述した係数ａ１よりも大きい値に設定されている。つまり、オフロード用投影面ＴＳ２が備える曲面領域Ｒ２ａは、通常投影面ＴＳ１を構成する曲面領域Ｒ２よりも傾きが急峻に形成されている。例えば、オフロード用投影面ＴＳ２が備える曲面領域Ｒ２ａの傾きは、通常投影面ＴＳ１を構成する曲面領域Ｒ２の傾きの１．５倍以上に設定されている。例えばａ２≧１．５・ａ１の関係を充足するように設定されている。
ａ２は係数であり、曲面領域Ｒ２ａの傾きの大きさを規定する。係数ａ２もまた、傾き係数と呼ぶことができる。係数ａ２が大きいほど、曲面領域Ｒ２ａの傾きは大きくなる。係数ａ２は、上述した係数ａ１よりも大きい値に設定されている。つまり、オフロード用投影面ＴＳ２が備える曲面領域Ｒ２ａは、通常投影面ＴＳ１を構成する曲面領域Ｒ２よりも傾きが急峻に形成されている。例えば、オフロード用投影面ＴＳ２が備える曲面領域Ｒ２ａの傾きは、通常投影面ＴＳ１を構成する曲面領域Ｒ２の傾きの１．５倍以上に設定されている。例えばａ２≧１．５・ａ１の関係を充足するように設定されている。
【0074】
なお、オフロード用投影面ＴＳ２の曲面領域Ｒ２ａの傾きは、自車両の側面に対向する領域ＰＬ，ＰＲと、自車両の前面又は後面に対向する領域ＰＦ，ＰＢとで異なっていてもよい。例えば、前方領域ＰＦ及び後方領域ＰＢは、左右側方領域と比較して傾きが大きく設定されていても良い。車両真正面方向及び後ろ方向での係数ａ２は、車両右方向及び左方向での係数ａ２の１．２倍以上に設定されていても良い。曲面領域Ｒ２ａにおいて傾きが異なる部分同士の相互間では徐々に傾きが変更されている。
【0075】
なお、本実施形態では曲面領域Ｒ２ａを下に凸の放物線状とする態様を採用しているが、もちろん、これに限らない。曲面領域Ｒ２ａのモデルは、２次曲線に限らず、円弧や、対数関数、指数関数であってもよい。
【0076】
＜合成画像の生成方法について＞
ここでは、画像合成部Ｆ７が、仮想視点ＶＰからみた自車両の周辺の様子を示す合成画像ＣＰを生成する手法について説明する。なお、ここでは投影面ＴＳとして通常投影面ＴＳ１が適用される場合を例にとって合成画像ＣＰの生成方法について説明する。投影面ＴＳとしてオフロード用投影面ＴＳ２が適用される場合も同様とすることができる。
ここでは、画像合成部Ｆ７が、仮想視点ＶＰからみた自車両の周辺の様子を示す合成画像ＣＰを生成する手法について説明する。なお、ここでは投影面ＴＳとして通常投影面ＴＳ１が適用される場合を例にとって合成画像ＣＰの生成方法について説明する。投影面ＴＳとしてオフロード用投影面ＴＳ２が適用される場合も同様とすることができる。
【0077】
画像合成部Ｆ７は、合成画像ＣＰの生成に際して、まずは画像取得部Ｆ１から入力される４つのカメラ画像ＳＦ，ＳＢ，ＳＬ，ＳＲに含まれるデータ（各画素の値）を、仮想的な３次元空間における通常投影面ＴＳ１に投影する。通常投影面ＴＳ１に対する各カメラ画像の投影位置は、テーブルデータ等の対応情報によって予め対応付けられている。画像合成部Ｆ７は、４つのカメラ画像ＳＦ，ＳＢ，ＳＬ，ＳＲのデータをそれぞれ通常投影面ＴＳ１の対応する領域に投影する。
【0078】
具体的には、画像合成部Ｆ７は、通常投影面ＴＳ１の前方領域ＰＦに、フロントカメラ２Ｆのカメラ画像ＳＦのデータを投影する。また、画像合成部Ｆ７は、通常投影面ＴＳ１の後方領域ＰＢに、リアカメラ２Ｂのカメラ画像ＳＢのデータを投影する。さらに、画像合成部Ｆ７は、通常投影面ＴＳ１の左側方領域ＰＬに左サイドカメラ２Ｌのカメラ画像ＳＬのデータを投影し、右側方領域ＰＲに右サイドカメラ２Ｒのカメラ画像ＳＲのデータを投影する。
【0079】
なお、カメラ画像において投影対象領域からはみ出る部分は削除されうる。２つのカメラで重複して撮影される領域である重複領域に関しては、２つのカメラの撮影画像を所定の割合でブレンドする手法や、２つのカメラの撮影画像を所定の境界線で繋ぎ合わせる手法が採用されうる。
【0080】
通常投影面ＴＳ１の各部分に、対応するカメラ画像のデータを投影すると、次に、画像合成部Ｆ７は、自車両の３Ｄモデルである自車両画像Ｐｖを生成する。自車両画像Ｐｖを描画するためのデータは予めストレージ１３に描画用データとして保存されていれば良い。この自車両画像Ｐｖは、車両領域Ｒ０上に配置される。
【0081】
次に、画像合成部Ｆ７は、表示制御部Ｆ６の制御により、通常投影面ＴＳ１を含む３次元空間に対し、仮想視点ＶＰを設定する。画像合成部Ｆ７は、３次元空間における任意の視点位置に任意の視野方向に向けた仮想視点ＶＰを設定できる。そして、画像合成部Ｆ７は、通常投影面ＴＳ１のうち、設定した仮想視点ＶＰからみて所定の視野角に含まれる領域に投影されたデータを画像として切り出す。また、画像合成部Ｆ７は、自車両画像Ｐｖに対して、設定した仮想視点ＶＰに応じたレンダリングを行い、その結果となる２次元の自車両画像Ｐｖを、切り出した画像に対して重畳する。これにより、画像合成部Ｆ７は、仮想視点ＶＰからみた自車両及び自車両の周辺の領域を示す合成画像ＣＰを生成する。
【0082】
例えば、画像合成部Ｆ７は、仮想視点ＶＰの位置等がドライバ視点ＶＰｄに設定されている場合には、図１２に示すように、インストゥルメントパネル等を透過させつつ車両前方を示すドライバ視点画像ＣＰｄが生成される。ドライバ視点画像ＣＰｄは、ドライバからみた車両前方に存在する被写体の像に、ドライバ視点ＶＰｄからみた自車両の構成部材を示す構成部材画像Ｐｖｅが重畳された画像に相当する。ユーザは、このようなドライバ視点画像ＣＰｄを確認することで、自車両の周囲の様子を車室内の視点から確認でき、自車両の周辺の様子を直感的に把握できることになる。また、ユーザは、ドライバ視点画像ＣＰｄに含まれる構成部材画像Ｐｖｅに基づいて、ドライバ視点画像ＣＰｄが自車両の周囲のいずれの方向を示しているかを直感的に把握可能となる。
【0083】
なお、構成部材画像Ｐｖｅには、例えば、フロア画像Ｐｖｆ、タイヤ画像Ｐｖｔ、及び内装画像Ｐｖｉが含まれる。フロア画像Ｐｖｆは、車体底部が存在する領域を示す画像であって、例えば非透明に設定されている。タイヤ画像Ｐｖｔは、タイヤの３Ｄモデルを用いて描画される画像であって、不透明又は半透明に設定されている。なお、タイヤ画像Ｐｖｔは、不透明または半透明の輪郭線だけの画像であっても良い。タイヤ画像Ｐｖｔにおいて、輪郭線の内部は無色透明に設定されていても良い。加えて、合成画像ＣＰには、タイヤ画像Ｐｖｔの代わりに或いは並列的に、タイヤが存在する路面領域を示す枠線画像が含まれていても良い。内装画像Ｐｖｉは、インストゥルメントパネルやハンドル、Ａピラーなどを示す画像である。内装画像Ｐｖｉもまた、輪郭部分以外の領域は透明又は半透明に設定されている。加えて、内装画像Ｐｖｉの輪郭線は、半透明に設定されていても良い。加えて、内装画像Ｐｖｉは表示されていなくとも良い。図１２ではハンドルやＡピラー、ヘッドライトを表示している態様を示しているが、これらの部材の位置を示す画像は表示されていなくとも良い。構成部材画像Ｐｖｅに含める要素は、適宜変更可能である。
【0084】
上記のように、合成画像ＣＰにおいて、車両Ｖと周辺物体との位置関係をドライバが認識する上で表示の必要性が薄い構成要素については、非表示又は輪郭線のみの表示に留められている。換言すれば、合成画像ＣＰに含まれる構成部材画像Ｐｖｅをできるだけ少なくなるように調整されている。当該構成によれば、車両周辺への視認性が損なわれることを抑制できる。
【0085】
その他、画像合成部Ｆ７は、仮想視点ＶＰの位置等が鳥瞰視点ＶＰｂに設定されている場合には、図１３に示すように自車両及びその周辺領域を上方から俯瞰した合成画像ＣＰである鳥瞰画像ＣＰｂを生成する。
【0086】
合成画像ＣＰにおける仮想視点ＶＰの位置や視線方向の初期状態は、自車両の進行方向、ユーザの事前設定、及び操舵角の少なくとも何れか１つに基いて決定される。また、合成画像ＣＰにおける仮想視点ＶＰの位置や視線方向は、タッチパネル等に対するユーザ操作に基づいて、変更されうる。本実施形態の画像合成部Ｆ７は、ドライバ視点ＶＰｄを主に採用するように構成されている。すなわち、画像合成部Ｆ７は、後述する表示開始条件が充足された場合に最初に生成する合成画像ＣＰとして、車両の構成を透過させたドライバ目線の合成画像ＣＰであるドライバ視点画像ＣＰｄを生成するように構成されているものとする。
【0087】
＜動作の流れ＞
画像生成ＥＣＵ１が合成画像ＣＰを表示する際に実行する一連の処理である合成画像表示処理の流れについて、図１４に示すフローチャートを用いて説明する。図１４に示すフローチャートは、所定の表示開始条件が充足した場合に開始される。表示開始条件は、合成画像ＣＰを表示するための条件、換言すれば、本フローを開始するための条件と解することができる。例えば画像生成ＥＣＵ１は、ユーザによって表示切替スイッチ５１が押下された場合に、表示開始条件が充足されたと判定する。その他、画像生成ＥＣＵ１は、タッチパネル４を介して合成画像ＣＰを表示させるための所定のユーザ操作が行われたことを検出した場合に、表示開始条件が充足したと判定するように構成されていても良い。つまり、操作受付部Ｆ２が合成画像ＣＰを表示するための操作が行われたことを示す信号を取得したことに基づいて、本フローは開始されうる。
画像生成ＥＣＵ１が合成画像ＣＰを表示する際に実行する一連の処理である合成画像表示処理の流れについて、図１４に示すフローチャートを用いて説明する。図１４に示すフローチャートは、所定の表示開始条件が充足した場合に開始される。表示開始条件は、合成画像ＣＰを表示するための条件、換言すれば、本フローを開始するための条件と解することができる。例えば画像生成ＥＣＵ１は、ユーザによって表示切替スイッチ５１が押下された場合に、表示開始条件が充足されたと判定する。その他、画像生成ＥＣＵ１は、タッチパネル４を介して合成画像ＣＰを表示させるための所定のユーザ操作が行われたことを検出した場合に、表示開始条件が充足したと判定するように構成されていても良い。つまり、操作受付部Ｆ２が合成画像ＣＰを表示するための操作が行われたことを示す信号を取得したことに基づいて、本フローは開始されうる。
【0088】
なお、表示開始条件を構成する項目には、シフトポジションや、車速などを含めることができる。例えば、シフトポジションが所定レンジに設定されていること、及び、車速が所定の閾値未満であることの少なくとも何れか一方を表示開始条件に含めてもよい。また、フロントカメラ画像ＳＦやリアカメラ画像ＳＢが表示されている状態において、視点切替操作を受け付けた場合に本フローを開始しても良い。
【0089】
また、図１４に示す処理フローは、所定の表示解除条件が充足するまで、所定の周期（例えば、１／３０秒周期）で繰り返し実行されうる。表示解除条件は、例えば、表示切替スイッチ５１が再び押下された場合や、シフトポジションが所定レンジ以外に設定された場合、車速が所定の閾値以上となった場合などとすることができる。その他、画像生成ＥＣＵ１は、タッチパネル４を介して合成画像ＣＰの表示を終了させるための操作が行われたことを検出した場合に、表示解除条件が充足したと判定するように構成されていても良い。
【0090】
ここでは一例として、合成画像表示処理はステップＳ１～Ｓ１０を備えるものとする。もちろん、合成画像表示処理を構成するステップ数や処理順序などは適宜変更可能である。
【0091】
まず、ステップＳ１では画像取得部Ｆ１が、４つのカメラ２でそれぞれ得られた４つのカメラ画像ＳＦ、ＳＢ、ＳＬ、ＳＲを取得してステップＳ２に移る。ステップＳ１は画像取得ステップと呼ぶことができる。ステップＳ２では車両状態取得部Ｆ３が、シフトポジションや車速などといった自車両の状態を示す情報を取得してステップＳ３に移る。ステップＳ２は車両状態取得ステップと呼ぶことができる。
【0092】
ステップＳ３では走行環境判定部Ｆ６２が、例えば走行モードスイッチ５２からの信号に基づいて、走行環境がオフロードに該当するか否かを判定する。もちろん、走行環境がオフロードであると判定する方法は上述した多様な方法を採用することができる。ステップＳ３は走行環境判定ステップと呼ぶことができる。ここで、走行環境判定部Ｆ６２によって走行環境はオフロードであると判定された場合にはステップＳ４を肯定判定してステップＳ５に移る。一方、走行環境はオンロードであると判定された場合にはステップＳ４を否定判定してステップＳ６を実行する。
【0093】
ステップＳ５では投影面制御部Ｆ６３としての表示制御部Ｆ６が、画像合成部Ｆ７に対し、合成画像ＣＰの生成に用いる投影面ＴＳとしてオフロード用投影面ＴＳ２を使用するように指示する信号を出力する。画像合成部Ｆ７は、表示制御部Ｆ６からの指示に基づき、ストレージ１３からオフロード用投影面ＴＳ２に対応する投影面データＤｔを読み出して、オフロード用投影面ＴＳ２の形状を取得する。これにより、画像合成処理にオフロード用投影面ＴＳ２が適用されることとなる。このようなステップＳ５は、画像合成部Ｆ７が表示制御部Ｆ６の制御により投影面ＴＳとしてオフロード用投影面ＴＳ２を選択する、オフロード用投影面適用ステップと呼ぶことができる。ステップＳ５での処理が完了するとステップＳ７に移る。
【0094】
ステップＳ６では投影面制御部Ｆ６３としての表示制御部Ｆ６が、画像合成部Ｆ７に対し、合成画像ＣＰの生成に用いる投影面ＴＳとして通常投影面ＴＳ１を使用するように指示する信号を出力する。これにより、画像合成処理に通常投影面ＴＳ１が適用されることとなる。このようなステップＳ６は、画像合成部Ｆ７が表示制御部Ｆ６の制御により、投影面ＴＳとして通常投影面ＴＳ１を選択する、通常投影面適用ステップと呼ぶことができる。ステップＳ６での処理が完了するとステップＳ７に移る。このようなステップＳ４～Ｓ６の一連の処理は、走行環境判定部Ｆ６２の判定結果に基づいて合成画像ＣＰの生成に使用する投影面ＴＳを切り替える、投影面選択ステップと呼ぶことができる。
【0095】
ステップＳ７では視点制御部Ｆ６４が、合成画像ＣＰを生成するための仮想視点ＶＰを決定する。走行用電源がオンとなって最初に表示する場合、仮想視点ＶＰの設定は、設計者またはユーザによってデフォルト設定として予め設定された位置及び視線方向とすることができる。デフォルト設定は、例えば視線方向が前方斜め下方に向けられたドライバ視点ＶＰｄとすることができる。その他、ステップＳ７で読み出される仮想視点ＶＰの設定は、前回、ドライバが表示させた仮想視点ＶＰの位置及び方向とすることができる。その場合、準備処理として表示制御部Ｆ６は、合成画像ＣＰを前回表示したときの仮想視点ＶＰの設定データをストレージ１３等に保存するように構成されているものとする。
【0096】
また、仮想視点ＶＰの位置及び視線方向は、自車両の進行方向に応じて決定されても良い。例えば進行方向取得部Ｆ６１が取得している自車両の進行方向が前方である場合には、上記のように視線方向が前方斜め下方に向けられたドライバ視点ＶＰｄを仮想視点ＶＰとして採用する。一方、進行方向取得部Ｆ６１が取得している自車両の進行方向が後退方向である場合には、例えば、合成画像ＣＰを生成するための仮想視点ＶＰとして視線方向が後方斜め下方向に向けられたドライバ視点ＶＰｄを採用してもよい。その他、仮想視点ＶＰの視線方向は操舵角に応じた方向に調整されてもよい。また、視点制御部Ｆ６４は、タッチパネル４等を介してユーザによって指定された仮想視点ＶＰの位置及び方向を取得し、当該指定された位置及び方向の仮想視点ＶＰを設定しても良い。
【0097】
ステップＳ７で決定された仮想視点ＶＰの設定情報は画像合成部Ｆ７に出力される。ここでは一例として、仮想視点ＶＰとして、視線方向が前方斜め下方に向けられたドライバ視点ＶＰｄが適用されるものとする。このようなステップＳ７は仮想視点設定ステップと呼ぶことができる。ステップＳ７が完了するとステップＳ８に移る。
【0098】
ステップＳ８では画像合成部Ｆ７が、走行環境判定部Ｆ６２の判定結果に応じた投影面ＴＳを用いて、ステップＳ７で設定された仮想視点ＶＰからみた合成画像ＣＰを生成する。すなわち、ここではドライバ視点ＶＰｄからみた、車両前方の地面を示すドライバ視点画像ＣＰｄを生成する。
【0099】
例えば通常投影面ＴＳ１が適用されている場合、画像合成部Ｆ７は、通常投影面ＴＳ１の平面領域Ｒ１を含む投影対象領域に各カメラ画像のデータを投影する。そして、種々のカメラ画像が投影された通常投影面ＴＳ１上のデータを用いてドライバ視点画像ＣＰｄを生成する。また、オフロード用投影面ＴＳ２が適用されている場合、画像合成部Ｆ７は、オフロード用投影面ＴＳ２の投影対象領域としての曲面領域Ｒ２ａに各カメラ画像のデータを投影する。そして、各カメラ画像がマッピングされたオフロード用投影面ＴＳ２のデータを用いてドライバ視点画像ＣＰｄを生成する。画像合成部Ｆ７が生成した合成画像ＣＰのデータは表示画像生成部Ｆ８に出力される。このようなステップＳ８は合成画像生成ステップと呼ぶことができる。ステップＳ８での処理が完了するとステップＳ９に移る。
【0100】
ステップＳ９では、表示画像生成部Ｆ８が、画像合成部Ｆ７が生成した合成画像ＣＰを用いて、ディスプレイ３で表示するための表示画像ＤＰを生成する。例えば、表示画像生成部Ｆ８は、表示画像ＤＰとして、図１５に示すように、合成画像ＣＰとしてのドライバ視点画像ＣＰｄと、右サイドカメラ画像ＳＲと、左サイドカメラ画像ＳＬと、視点切替スイッチ画像ＳＷとを含む画像を生成する。具体的には、ドライバ視点画像ＣＰｄは、表示画像ＤＰの中央領域上側に配置されており、その下方に、視点切替スイッチ画像ＳＷが配置されている。右サイドカメラ画像ＳＲは、ドライバ視点画像ＣＰｄの右側に配置されており、左サイドカメラ画像ＳＬは、ドライバ視点画像ＣＰｄの左側に配置されている。このような表示画像ＤＰのレイアウトによれば、ドライバ視点画像ＣＰｄに対するユーザによる視認性を良好に保ちつつ、左右の状況もドライバに視覚的に通知することができる。つまり、ドライバは上記表示画像ＤＰをみることで、前輪及び車両前端付近の地面の状態を認識できるとともに、車両側方の状況も同時に認識可能となる。
【0101】
なお、表示画像ＤＰに含まれる視点切替スイッチ画像ＳＷは、ユーザにタッチされることによって表示画像ＤＰとしての表示内容を切り替えるためのスイッチとして機能する画像である。視点切替スイッチ画像ＳＷをユーザがタッチしたか否かは、タッチパネル４から出力されるタッチ位置信号に基づいて判定されうる。視点切替スイッチ画像ＳＷへのユーザのタッチ操作を検出した場合、例えば表示画像生成部Ｆ８は表示制御部Ｆ６からの指示により、画像中央領域に表示する画像を、ドライバ視点画像ＣＰｄからフロントカメラ画像ＳＦに切り替える。視点切替スイッチ画像ＳＷは、仮想視点ＶＰをドライバ視点ＶＰｄから鳥瞰視点ＶＰｂに切り替えるものであってもよい。その場合、例えば表示画像生成部Ｆ８は、表示画像ＤＰとして鳥瞰画像ＣＰｂを含む画像を生成する。表示画像生成部Ｆ８が生成した表示画像ＤＰのデータは画像出力部Ｆ９に出力される。ステップＳ９は表示画像生成ステップと呼ぶことができる。
【0102】
Ｓ１０では、画像出力部Ｆ９が、表示画像生成部Ｆ８が生成した表示画像ＤＰのデジタルデータを所定の信号形式の信号に変換してディスプレイ３に出力する。これにより、ドライバ視点画像ＣＰｄを含む表示画像ＤＰが、ディスプレイ３に表示される。ステップＳ１０は画像出力ステップと呼ぶことができる。
【0103】
なお、以上の制御態様は一例であって、表示画像生成部Ｆ８は、表示制御部Ｆ６の制御により、自車両の進行方向に応じたカメラ画像を選択して表示画像ＤＰの生成に用いることができる。例えば進行方向が後退方向である場合には、表示画像ＤＰの中央領域には、リアカメラ画像ＳＢが配置されてもよい。また、表示制御部Ｆ６は、操作受付部Ｆ２が受信した操作信号に基づいて、表示画像ＤＰに表示する画像の組み合わせやレイアウト、カメラ画像の表示範囲などを変更しうる。
【0104】
＜投影面を切り替える効果＞
ここでは走行環境がオフロードである場合に、合成画像の生成に使用する投影面ＴＳを、通常投影面ＴＳ１からオフロード用投影面ＴＳ２に切り替えることの効果について説明する。なお、前提としてオフロードにおいては、自車両がオンロードに存在する場合に比較して、岩や地形の段差などの立体物が車両周辺に連続的に複数存在する。また、オフロードでは、地面自体が平坦ではないことが多い。故に、走行環境がオフロードである場合においては、これらの岩石や地形についての立体感、及び臨場感を損なわずに表示することが重要となる。
ここでは走行環境がオフロードである場合に、合成画像の生成に使用する投影面ＴＳを、通常投影面ＴＳ１からオフロード用投影面ＴＳ２に切り替えることの効果について説明する。なお、前提としてオフロードにおいては、自車両がオンロードに存在する場合に比較して、岩や地形の段差などの立体物が車両周辺に連続的に複数存在する。また、オフロードでは、地面自体が平坦ではないことが多い。故に、走行環境がオフロードである場合においては、これらの岩石や地形についての立体感、及び臨場感を損なわずに表示することが重要となる。
【0105】
図１６は、合成画像ＣＰの生成に通常投影面ＴＳ１を用いた場合において、自車両の近傍に存在する岩石Ｒｋの像が投影される位置を説明するための図である。岩石Ｒｋは相対的に自車両に近い位置に存在する岩であって、通常投影面ＴＳ１の平面領域Ｒ１内、つまり自車両から平面形成距離Ｄ１以内に存在する岩を表している。なお、ここでの岩とは、例えば２０ｃｍ以上の大きさを有する石を指す。
【0106】
カメラ２（例えばフロントカメラ２Ｆ）で岩石Ｒｋを撮影することで得られる岩石Ｒｋの像は、当該カメラ２の位置と岩石Ｒｋの位置とを結ぶ直線が通常投影面ＴＳ１と交わる位置に投影される。岩石Ｒｋは自車両の近傍に存在していることから、岩石Ｒｋの像は通常投影面ＴＳ１の平面領域Ｒ１に投影される。通常投影面ＴＳ１において図中のＸ１は岩石Ｒｋの画像が投影される範囲を表している。また、岩石Ｒｋに付与している破線は、フロントカメラ２Ｆで撮像される表面部分を表している。図１６に示すように、岩石Ｒｋの表面のうち、フロントカメラ２Ｆで撮像される部分は、平面領域Ｒ１が位置する水平面よりも高い位置に存在する。そのため、平面領域Ｒ１において岩石Ｒｋの像は実際の位置よりも奥側（換言すれば外側）に引き伸ばされた態様で投影される。
【0107】
故に、通常投影面ＴＳ１をドライバ視点ＶＰｄから見た合成画像ＣＰにおいては、岩石Ｒｋの像は、自車両近傍の岩が実体よりも大きく、かつ、立体感が失われた平面状となる。また、このような現象は、平面領域Ｒ１内に存在する他の岩石等の立体物にも生じる。加えて、オフロード環境下では、狙った岩場にタイヤを載せたり、ボディが傷つくような大きい岩を回避するような操作を行ったりするために、ドライバはドライバ視点画像ＣＰｄのうち、車両Ｖから近い部分を注視しやすい。その結果、通常投影面ＴＳ１を用いたドライバ視点画像ＣＰｄをユーザが視認した場合、ユーザは自車両周辺が平坦であるように感じる可能性がある。また、立体物が潰れて表示されている印象をもたれやすい。
【0108】
もちろん、自車両の走行環境がオンロード、つまり平坦な道路上に存在する場合には、通常投影面ＴＳ１を使用することでユーザに与える視覚的印象は、実際の地面形状と一致する。そのため、自車両がオンロードに存在する場合には、通常投影面ＴＳ１は合成画像を生成するための投影面ＴＳとして好適な形状を有しているといえる。一方、上述の通り、オフロード環境下では地面は平坦であることは少なく、上記の視覚的印象は実際の地面形状と一致しない可能性が高い。その結果、オフロード時においても通常投影面ＴＳ１を用いる構成ではユーザに違和感を与える恐れが相対的に大きい。
【0109】
一方、図１７は、合成画像ＣＰの生成にオフロード用投影面ＴＳ２を用いた場合において、上記岩石Ｒｋの像が投影される位置を説明するための図である。カメラ２で撮像された岩石Ｒｋの像は、当該カメラ２の位置と岩石Ｒｋの位置とを結ぶ直線がオフロード用投影面ＴＳ２と交わる位置に投影される。ここで、オフロード用投影面ＴＳ２は、車両領域Ｒ０と曲面領域Ｒ２ａとの間に平面領域Ｒ１はない。岩石Ｒｋの像は、曲面領域Ｒ２ａに投影される。すなわち、岩石Ｒｋの像は、曲面領域Ｒ２ａ上の投影位置Ｘ２に投影される。
【0110】
このようにオフロード用投影面ＴＳ２を用いた場合は、岩石Ｒｋの像は、通常投影面ＴＳ１を用いた場合に投影される投影位置Ｘ１よりも、車両領域Ｒ０に近い投影位置Ｘ２に投影される。また、岩石Ｒｋの撮像面と投影面とが相対的に近くに位置するため、岩石Ｒｋの像が引き伸ばされてしまう恐れやその度合いを低減することができる。換言すれば、ドライバ視点画像ＣＰｄにおいて岩石Ｒｋの画像が歪んで表示される恐れを低減できる。その結果、ドライバが合成画像ＣＰを見たときの印象を、ドライバが岩石Ｒｋを直視した場合に近づけることができる。また、自車両周辺が平坦であるといった印象や、立体物が潰れているといった印象を持たれにくくすることができる。
【0111】
図１８、図１９は、同じオフロード環境で生成された２つのドライバ視点画像ＣＰｄを示している。図１８は通常投影面ＴＳ１を用いて生成されたドライバ視点画像ＣＰｄの線図であり、図１９はオフロード用投影面ＴＳ２を用いて生成されたドライバ視点画像ＣＰｄの線図である。なお、図１８、図１９では、図の視認性を確保するために、タイヤ画像等、フロア画像Ｐｖｆ以外の構成部材画像Ｐｖｅの表示は省略した画像としている。
【0112】
図１８及び図１９に示すドライバ視点画像ＣＰｄを比較して分かるように、通常投影面ＴＳ１を用いたドライバ視点画像ＣＰｄと比較して、オフロード用投影面ＴＳ２を用いたドライバ視点画像ＣＰｄでは、車両近傍の岩石等が立体的に表現されている。
【0113】
このように走行環境がオフロードであると判定されている場合には、車両領域Ｒ０の外側に平面領域Ｒ１を含まないオフロード用投影面ＴＳ２を用いて合成画像ＣＰを生成することで、ユーザに違和感を与える恐れを低減できる。また、ユーザが自車両周辺の路面状況を誤解することを抑制でき、ユーザは自車両を安全に運転できることになる。
【0114】
加えて、走行環境がオンロードであると判定されている場合には、通常投影面ＴＳ１を用いることで、路面形状に関してユーザに与える視覚的印象を、実際の地面形状と一致させることができる。つまり、走行環境がオフロードであるか否かに応じて投影面ＴＳを切り替えることにより、それぞれのシーンにおいて、ユーザに違和感を与える恐れを低減可能となる。
【0115】
なお、以上では合成画像ＣＰの仮想視点ＶＰとして、視線方向を前方に向けたドライバ視点ＶＰｄを採用した場合を例にとって本実施形態の効果について説明したが、後方や側方、斜め側方など他の方向に視線方向が向けられている場合にも同様の効果が得られる。また、仮想視点ＶＰをドライバ視点ＶＰｄ以外にも、車室内の任意の位置を配置した場合にも同様の効果を得ることができる。加えて、車両Ｖの外側表面上や、車室外の車両近傍領域に仮想視点ＶＰを設定した場合も同様の効果が期待できる。ここでの車両近傍領域とは、例えば車両の外面部から０．２ｍ以内となる領域を指す。外面部には、左右の側面部の他、背面部や前端部、及び、ルーフを含めることができる。側面部にはドアパネルやフェンダー部分、ピラーなどを含めることができる。
【0116】
以上、本開示の実施形態を説明したが、本開示は上述の実施形態に限定されるものではなく、以降で述べる種々の変形例も本開示の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。例えば下記の種々の変形例は、技術的な矛盾が生じない範囲において適宜組み合わせて実施することができる。なお、前述の実施形態で述べた部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。また、構成の一部のみに言及している場合、他の部分については先に説明した実施形態の構成を適用することができる。
【0117】
＜床下確認画像の適用＞
以上ではドライバ視点画像ＣＰｄとして、不透明なフロア画像Ｐｖｆを含む合成画像ＣＰを表示する態様を開示したが、これに限らない。例えば車両前進時に車両前端の直下から３ｍ先までの地面を移したフロントカメラ画像ＳＦをＲＡＭ１２等に保存しておき、自車両の進行に伴って当該保存済みの画像データを用いて、車体底部を透過させた合成画像ＣＰを生成するように構成されていても良い。床下部分に投影する画像データは、車両Ｖの走行に伴って随時更新されれば良い。また、当該表示制御は、車両前進時のみならず、車両後退時にも適用可能である。後退時には、リアカメラ画像ＳＢを用いて床下の画像を生成すればよい。
以上ではドライバ視点画像ＣＰｄとして、不透明なフロア画像Ｐｖｆを含む合成画像ＣＰを表示する態様を開示したが、これに限らない。例えば車両前進時に車両前端の直下から３ｍ先までの地面を移したフロントカメラ画像ＳＦをＲＡＭ１２等に保存しておき、自車両の進行に伴って当該保存済みの画像データを用いて、車体底部を透過させた合成画像ＣＰを生成するように構成されていても良い。床下部分に投影する画像データは、車両Ｖの走行に伴って随時更新されれば良い。また、当該表示制御は、車両前進時のみならず、車両後退時にも適用可能である。後退時には、リアカメラ画像ＳＢを用いて床下の画像を生成すればよい。
【0118】
＜オフロード用投影面ＴＳ２の補足＞
以上では、オフロード用投影面ＴＳ２は、平面領域を備えないものとしたが、これに限らない。オフロード用投影面ＴＳ２は、図２０及び図２１に示すように車両領域Ｒ０と曲面領域Ｒ２ａとの間に、幅が０．３ｍ未満の平面領域Ｒ１ａを含んでいても良い。平面領域Ｒ１ａがオフロード用平面領域に相当する。平面領域Ｒ１ａの幅が０．３ｍ未満であれば、ドライバ視点画像等における表示範囲としても小さい。加えて、車体から０．３ｍ以内に存在する領域は、概ね真上にカメラ２が位置するため、概ね真上から撮像されることとなる。その結果、当該領域の撮像画像を平坦な投影面に投影したとしても、画像は歪みにくい。故に、平面領域Ｒ１ａが微小であれば、車両近傍の立体物が潰れているような印象をドライバには与えにくい。つまり、オフロード用投影面ＴＳ２が、曲面領域Ｒ２ａの手前側に微小な平面領域Ｒ１ａを含んでいる場合であっても、上記の実施形態と同様の効果を得ることができる。
以上では、オフロード用投影面ＴＳ２は、平面領域を備えないものとしたが、これに限らない。オフロード用投影面ＴＳ２は、図２０及び図２１に示すように車両領域Ｒ０と曲面領域Ｒ２ａとの間に、幅が０．３ｍ未満の平面領域Ｒ１ａを含んでいても良い。平面領域Ｒ１ａがオフロード用平面領域に相当する。平面領域Ｒ１ａの幅が０．３ｍ未満であれば、ドライバ視点画像等における表示範囲としても小さい。加えて、車体から０．３ｍ以内に存在する領域は、概ね真上にカメラ２が位置するため、概ね真上から撮像されることとなる。その結果、当該領域の撮像画像を平坦な投影面に投影したとしても、画像は歪みにくい。故に、平面領域Ｒ１ａが微小であれば、車両近傍の立体物が潰れているような印象をドライバには与えにくい。つまり、オフロード用投影面ＴＳ２が、曲面領域Ｒ２ａの手前側に微小な平面領域Ｒ１ａを含んでいる場合であっても、上記の実施形態と同様の効果を得ることができる。
【0119】
なお、実施形態も含めて以上で例示した構成は、走行環境がオフロードであると判定されている場合には、走行環境がオンロードであると判定されている場合に比べて、投影面ＴＳの曲面領域を車両の近くに配置する構成に相当する。具体的には、走行環境はオンロードと判定されている場合には曲面開始位置を車両から０．３ｍ以上遠方に配置する一方、走行環境はオフロードであると判定されている場合には曲面開始位置を車両からの距離が０．３ｍ未満となる位置に配置する構成に相当する。曲面開始位置とは、曲面領域Ｒ２、Ｒ２ａが始まる地点であって、投影面の立ち上がり位置と解することができる。曲面開始位置は、車両領域Ｒ０が属する平面に対する傾きが例えば３～５度以上となる地点とすることができる。曲面開始位置を車両からの距離が０．３ｍ未満となる位置に配置する構成には、車両からの距離が０．０ｍとなる位置に配置する構成や、車両領域の内側に配置する構成も含まれる。
【0120】
＜障害物情報の利用＞
走行環境判定部Ｆ６２によって走行環境はオフロードであると判定されている状況において、オフロード用投影面ＴＳ２の傾きや形状は、ソナー８の検出結果に応じて動的に調整されても良い。例えばオフロード環境と判定されている場合であっても、周囲に障害物が検出されていない場合には、曲面領域Ｒ２ａの傾きをデフォルト値よりも小さくしてもよい。また、オフロード環境と判定されている場合において、所定の閾値以上の高さを有する立体物が複数、自車両から所定距離以内に存在することを検出している場合には、曲面領域Ｒ２ａの傾き（実体的には係数ａ２）をデフォルト値よりも大きくしてもよい。検出された立体物の数が所定値以上である場合など、車両周辺の地面の凹凸度合いが所定値以上である場合にも、同様に、曲面領域Ｒ２ａの傾き（実体的には係数ａ２）をデフォルト値よりも大きくしてもよい。曲面領域Ｒ２ａの傾きは、実体的には係数ａ２によって調整可能である。
走行環境判定部Ｆ６２によって走行環境はオフロードであると判定されている状況において、オフロード用投影面ＴＳ２の傾きや形状は、ソナー８の検出結果に応じて動的に調整されても良い。例えばオフロード環境と判定されている場合であっても、周囲に障害物が検出されていない場合には、曲面領域Ｒ２ａの傾きをデフォルト値よりも小さくしてもよい。また、オフロード環境と判定されている場合において、所定の閾値以上の高さを有する立体物が複数、自車両から所定距離以内に存在することを検出している場合には、曲面領域Ｒ２ａの傾き（実体的には係数ａ２）をデフォルト値よりも大きくしてもよい。検出された立体物の数が所定値以上である場合など、車両周辺の地面の凹凸度合いが所定値以上である場合にも、同様に、曲面領域Ｒ２ａの傾き（実体的には係数ａ２）をデフォルト値よりも大きくしてもよい。曲面領域Ｒ２ａの傾きは、実体的には係数ａ２によって調整可能である。
【0121】
図２２に示すＲ２ａＨは傾きをデフォルト値よりも大きく設定した曲面領域を表しており、Ｒ２ａＬは傾きをデフォルト値よりも大きく設定した曲面領域を表している。便宜上、曲面領域Ｒ２ａＬを含む投影面ＴＳを小傾斜投影面ＴＳ３とも称する。曲面領域Ｒ２ａＨを含む投影面ＴＳを急傾斜投影面ＴＳ４とも称する。また、曲面領域Ｒ２ａの傾きの観点において小傾斜投影面ＴＳ３と急傾斜投影面ＴＳ４との中間に位置するオフロード用投影面ＴＳ２のことを中間投影面とも称する。なお、オフロード用投影面ＴＳ２の曲面領域Ｒ２ａの傾きはデフォルト値を基準に調整するのではなく、ソナー８による障害物の検出状況に応じて所定の範囲内で動的に決定されても良い。その他、オフロード用投影面ＴＳ２の曲面領域Ｒ２ａは下に凸の曲面形状に限定されない。上に凸の曲面形状であっても良い。
【0122】
＜障害物センサの補足＞
以上では車両周辺に存在する物体を検出するセンサ（いわゆる障害物センサ）として、ソナー８を用いる構成を例示したが、障害物センサは、ミリ波レーダやＬｉＤＡＲ（Light Detection and Ranging / Laser Imaging Detection and Ranging）であってもよい。画像生成ＥＣＵ１は、多様な障害物センサと接続されて使用されうる。
以上では車両周辺に存在する物体を検出するセンサ（いわゆる障害物センサ）として、ソナー８を用いる構成を例示したが、障害物センサは、ミリ波レーダやＬｉＤＡＲ（Light Detection and Ranging / Laser Imaging Detection and Ranging）であってもよい。画像生成ＥＣＵ１は、多様な障害物センサと接続されて使用されうる。
【0123】
＜走行環境判定部の補足＞
走行環境判定部Ｆ６２は、上述した多様な判断材料を組み合わせることによって、オフロードの種別を判定するように構成されていてもよい。オフロードは、例えば、岩石路やモーグル路などの凹凸が多い立体路と、泥ねい路や砂地路、草原、雪原などのスリップ路とに大別されうる。スリップ路は相対的に地面の勾配変化や凹凸が緩やかな地面を指す。例えば、走行環境判定部Ｆ６２は、画像認識結果やソナーの検出結果、及び、設定されている走行モードの少なくとも何れか１つに基づいて、オフロードの種別として立体路とスリップ路と判別するように構成されていても良い。
走行環境判定部Ｆ６２は、上述した多様な判断材料を組み合わせることによって、オフロードの種別を判定するように構成されていてもよい。オフロードは、例えば、岩石路やモーグル路などの凹凸が多い立体路と、泥ねい路や砂地路、草原、雪原などのスリップ路とに大別されうる。スリップ路は相対的に地面の勾配変化や凹凸が緩やかな地面を指す。例えば、走行環境判定部Ｆ６２は、画像認識結果やソナーの検出結果、及び、設定されている走行モードの少なくとも何れか１つに基づいて、オフロードの種別として立体路とスリップ路と判別するように構成されていても良い。
【0124】
そして、投影面制御部Ｆ６３は、走行環境判定部Ｆ６２によって判定されているオフロードの種別に応じて、適用する投影面の形状パターンを変更してもよい。例えば、走行環境判定部Ｆ６２によって走行環境が立体路であると判定された場合には、立体路用のオフロード用投影面ＴＳ２を適用する一方、走行環境が立体路であると判定された場合には、スリップ路用のオフロード用投影面ＴＳ２を適用する。スリップ路用のオフロード用投影面ＴＳ２とは、例えば小傾斜投影面ＴＳ３を採用することができる。また、立体路用のオフロード用投影面ＴＳ２としては、例えば中間投影面や急傾斜投影面ＴＳ４などを採用する事ができる。立体路用のオフロード用投影面ＴＳ２は、小傾斜投影面ＴＳ３よりも曲面領域Ｒ２ａの傾きが大きければよい。
【0125】
以上で述べた構成によればオフロードの中でも、その種別に応じた投影面ＴＳが適用されることとなる。そのため、より違和感を与えにくいドライバ視点画像ＣＰｄを生成可能となる。
【0126】
＜オフロード表示モードの補足＞
表示画像生成部Ｆ８は、オフロード表示モードである場合、すなわち、投影面ＴＳとしてオフロード用投影面ＴＳ２が適用されている場合、図２３に示すように表示画像ＤＰの隅部等にオフロード表示モードとなっていることを示す通知画像ＮＰを配置しても良い。当該構成によれば、地面の見え方が通常時と異なることに対してドライバが戸惑いを覚える恐れを低減できる。
表示画像生成部Ｆ８は、オフロード表示モードである場合、すなわち、投影面ＴＳとしてオフロード用投影面ＴＳ２が適用されている場合、図２３に示すように表示画像ＤＰの隅部等にオフロード表示モードとなっていることを示す通知画像ＮＰを配置しても良い。当該構成によれば、地面の見え方が通常時と異なることに対してドライバが戸惑いを覚える恐れを低減できる。
【0127】
また、通知画像ＮＰを表示するか否かは、オフロードと判定した材料に応じて変更されても良い。例えば、操作ボタン５やタッチパネル４、シフトレバー等の操作部材に対するユーザ操作に基づいて走行環境はオフロードであると判定した場合には通知画像ＮＰを表示しない。一方、画像認識やソナーの検出結果など、ユーザ操作以外の情報に基づいて自動的に走行環境はオフロードであると判定した場合には通知画像ＮＰを表示するように構成されていても良い。操作部材に対するユーザ操作に応答して切り替えた場合には、ユーザは車両Ｖがオフロードモードで動作していることを認識しているため、不要な通知を省略することで、煩わしさを低減できる。一方、自動的に投影面ＴＳを切り替えた場合には、誤作動の可能性があるため、オフロード表示モードであることを通知することによりユーザを戸惑わせてしまう恐れを低減できる。
【0128】
＜仮想視点のバリエーションについて＞
以上では仮想視点ＶＰとして、鳥瞰視点ＶＰｂや、ドライバ視点ＶＰｄを例示したが、仮想視点ＶＰとして設定可能な位置及び方向の組み合わせは上記の例に限定されない。仮想視点ＶＰとしては、視点位置を自車両の左後方、視野方向を自車両の前方に設定したパターンなどを採用可能である。仮想視点ＶＰは、車室外の多様な位置に配置可能である。また、仮想視点ＶＰは車室内の任意の位置に配置可能に構成されていても良い。
以上では仮想視点ＶＰとして、鳥瞰視点ＶＰｂや、ドライバ視点ＶＰｄを例示したが、仮想視点ＶＰとして設定可能な位置及び方向の組み合わせは上記の例に限定されない。仮想視点ＶＰとしては、視点位置を自車両の左後方、視野方向を自車両の前方に設定したパターンなどを採用可能である。仮想視点ＶＰは、車室外の多様な位置に配置可能である。また、仮想視点ＶＰは車室内の任意の位置に配置可能に構成されていても良い。
【0129】
仮想視点ＶＰとしては、視点位置をサイドミラー付近に配置したパターンや、視点位置を車室内天井部の中央に配置した設定パターンなどを採用可能に構成されていても良い。また、視点制御部Ｆ６４は、図２４に示すように視点位置がアイリプスよりも所定距離後方であって、且つ、視線方向を後方斜め下方に向けられた室内後方視点ＶＰｒを設定可能に構成されていても良い。このような室内後方視点ＶＰｒによれば、車両後退時に表示する合成画像ＣＰとして、後輪付近及び車両後方を含む合成画像ＣＰである室内視点後方画像を生成及び表示可能となる。その結果、後退時にも前進時と同様に、後輪やリアバンパ付近の様子をドライバが認識しやすくなる。なお室内視点後方画像もドライバ視点画像ＣＰｄと同様に、後輪に相当するタイヤ画像やボディ境界線などを含むことが好ましい。当該構成によれば、車両を構成する各部材と車室外の物体との位置関係を認識しやすくなる。
【0130】
＜付言＞
本開示に記載の装置、システム、並びにそれらの手法は、コンピュータプログラムにより具体化された一つ又は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。また、本開示に記載の装置及びその手法は、専用ハードウェア論理回路を用いて実現されてもよい。さらに、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。つまり、処理部１１等が提供する手段および／または機能は、実体的なメモリ装置に記録されたソフトウェアおよびそれを実行するコンピュータ、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの組合せによって提供できる。例えば処理部１１が備える機能の一部又は全部はハードウェアとして実現されても良い。或る機能をハードウェアとして実現する態様には、１つ又は複数のＩＣなどを用いて実現する態様が含まれる。処理部１１は、ＣＰＵの代わりに、ＭＰＵやＧＰＵ、ＤＦＰ（Data Flow Processor）を用いて実現されていてもよい。処理部１１は、ＣＰＵや、ＭＰＵ、ＧＰＵなど、複数種類の演算処理装置を組み合せて実現されていてもよい。処理部１１は、システムオンチップ（ＳｏＣ：System-on-Chip）として実現されていても良い。さらに、各種処理部は、ＦＰＧＡ（Field-Programmable Gate Array）や、ＡＳＩＣ（Application Specific Integrated Circuit）を用いて実現されていても良い。各種プログラムは、非遷移的実体的記録媒体（non- transitory tangible storage medium）に格納されていればよい。プログラムの保存媒体としては、ＨＤＤ（Hard-disk Drive）やＳＳＤ（Solid State Drive）、フラッシュメモリ、ＳＤ（Secure Digital）カード等、多様な記憶媒体を採用可能である。
本開示の範囲には、上述した画像生成装置の他、当該画像生成装置を構成要素とするシステムなど、種々の形態も含まれる。例えば、コンピュータを画像生成装置として機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体等の形態も本開示の範囲に含まれる。
本開示に記載の装置、システム、並びにそれらの手法は、コンピュータプログラムにより具体化された一つ又は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。また、本開示に記載の装置及びその手法は、専用ハードウェア論理回路を用いて実現されてもよい。さらに、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。つまり、処理部１１等が提供する手段および／または機能は、実体的なメモリ装置に記録されたソフトウェアおよびそれを実行するコンピュータ、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの組合せによって提供できる。例えば処理部１１が備える機能の一部又は全部はハードウェアとして実現されても良い。或る機能をハードウェアとして実現する態様には、１つ又は複数のＩＣなどを用いて実現する態様が含まれる。処理部１１は、ＣＰＵの代わりに、ＭＰＵやＧＰＵ、ＤＦＰ（Data Flow Processor）を用いて実現されていてもよい。処理部１１は、ＣＰＵや、ＭＰＵ、ＧＰＵなど、複数種類の演算処理装置を組み合せて実現されていてもよい。処理部１１は、システムオンチップ（ＳｏＣ：System-on-Chip）として実現されていても良い。さらに、各種処理部は、ＦＰＧＡ（Field-Programmable Gate Array）や、ＡＳＩＣ（Application Specific Integrated Circuit）を用いて実現されていても良い。各種プログラムは、非遷移的実体的記録媒体（non- transitory tangible storage medium）に格納されていればよい。プログラムの保存媒体としては、ＨＤＤ（Hard-disk Drive）やＳＳＤ（Solid State Drive）、フラッシュメモリ、ＳＤ（Secure Digital）カード等、多様な記憶媒体を採用可能である。
本開示の範囲には、上述した画像生成装置の他、当該画像生成装置を構成要素とするシステムなど、種々の形態も含まれる。例えば、コンピュータを画像生成装置として機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体等の形態も本開示の範囲に含まれる。
【符号の説明】
【0131】
１ 画像生成ＥＣＵ（画像生成装置）、２ カメラ、３ ディスプレイ、８ ソナー（障害物センサ）、１１ 処理部、５２ 走行モードスイッチ、ＣＰ 合成画像、ＣＰｄ ドライバ視点画像、ＤＰ 表示画像、ＮＰ 通知画像、ＶＰ 仮想視点、ＶＰｄ ドライバ視点、Ｆ１ 画像取得部、Ｆ２ 操作受付部、Ｆ３ 車両状態取得部、Ｆ４ 障害物情報取得部、Ｆ５ 画像認識部、Ｆ６ 表示制御部、Ｆ６１ 進行方向取得部、Ｆ６２ 走行環境判定部、Ｆ６３ 投影面制御部、Ｆ６４ 視点制御部、Ｆ７ 画像合成部、Ｆ８ 表示画像生成部、Ｆ９ 画像出力部、Ｓ１ 画像取得ステップ、Ｓ３ 走行環境判定ステップ、Ｓ５ オフロード用投影面適用ステップ、Ｓ６ 通常投影面適用ステップ、Ｓ８ 合成画像生成ステップ、Ｒ１ オンロード用平面領域、Ｒ２ オンロード用曲面領域、Ｒ１ａ オフロード用平面領域、Ｒ２ａ オフロード用曲面領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】