(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-11
(45)【発行日】2024-11-19
(54)【発明の名称】周辺画像表示装置
(51)【国際特許分類】
H04N 7/18 20060101AFI20241112BHJP
G06T 1/00 20060101ALI20241112BHJP
【ＦＩ】
H04N7/18 J
G06T1/00 330A
【請求項の数】
8
(21)【出願番号】P 2021023678
(22)【出願日】2021-02-17
(65)【公開番号】P2022125859
(43)【公開日】2022-08-29
【審査請求日】2023-06-14
(73)【特許権者】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(73)【特許権者】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【氏名又は名称】矢作 和行
(74)【代理人】
【識別番号】100121991
【弁理士】
【氏名又は名称】野々部 泰平
(74)【代理人】
【識別番号】100145595
【弁理士】
【氏名又は名称】久保 貴則
(72)【発明者】
【氏名】青木 伸也
(72)【発明者】
【氏名】山下 善嗣
(72)【発明者】
【氏名】杉江 哲
(72)【発明者】
【氏名】宮田 知輝
(72)【発明者】
【氏名】上島 純
(72)【発明者】
【氏名】依藤 大和
(72)【発明者】
【氏名】前島 康平
【審査官】中村 直行
(56)【参考文献】
【文献】特開２０１８－２０７２８６（ＪＰ，Ａ）
【文献】特開２０１７－０７６８９０（ＪＰ，Ａ）
【文献】特開２０１４－２０９７１３（ＪＰ，Ａ）
【文献】特開２０１８－００６９２１（ＪＰ，Ａ）
【文献】特開２０１８－００６９４１（ＪＰ，Ａ）
【文献】特開２０１６－０２１６５３（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１６／０１０１７３４（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１８
Ｇ０６Ｔ １／００
(57)【特許請求の範囲】
【請求項1】
車両（９）の車輪速を取得する車輪速取得部（Ｆ３１）と、車輪が空転中であるか非空転中であるかを前記車輪速取得部が取得した前記車輪速に基づいて判断する空転判断部（Ｆ３２）と、
前記車両の周辺を撮像する複数のカメラ（２）で得られた複数のカメラ画像を取得する画像取得部（Ｆ１）と、
前記画像取得部が取得した前記カメラ画像のうち、前記車両の進行方向側を撮像した前記カメラ画像を過去画像として記憶する画像記憶部（Ｍ１）と、
前記画像取得部が取得した複数の前記カメラ画像を合成して前記車両の周辺を示す周辺画像を生成する合成画像生成部（Ｆ７）と、
前記合成画像生成部が生成した前記周辺画像をディスプレイ（３）に表示する表示制御部（Ｆ８）を備え、
前記表示制御部は、前記非空転中である場合には、現在の前記車輪速に基づいて選択された前記過去画像を用いて前記車両の床部を透過させた透過画像と現在の前記カメラ画像とを含む前記周辺画像を表示し、前記空転中である場合には、現在の前記車輪速に基づいて選択された前記過去画像を用いた前記透過画像を含まず現在の前記カメラ画像を含む前記周辺画像を表示する周辺画像表示装置。
【請求項2】
前記表示制御部は、前記空転中である場合に、前記車両の前記床部を透過させない不透過画像を表示する請求項１に記載の周辺画像表示装置。
【請求項3】
前記表示制御部は、前記非空転中に表示する前記透過画像から前記空転中に表示する前記不透過画像に表示を切り替える際に、透明度を段階的に変更して前記不透過画像を表示する請求項２に記載の周辺画像表示装置。
【請求項4】
前記表示制御部は、前記非空転中に表示する前記透過画像から前記空転中に表示する前記不透過画像に表示を切り替える際に、前記不透過画像の領域を段階的に広くして前記不透過画像を表示する請求項２に記載の周辺画像表示装置。
【請求項5】
前記表示制御部は、前記空転中である場合に、前記車輪が前記空転を開始する直前に表示していた前記透過画像を表示する請求項１に記載の周辺画像表示装置。
【請求項6】
前記画像取得部は、前記車両の進行方向の前記カメラ画像と左右方向の前記カメラ画像とを取得し、前記表示制御部は、前記車両の進行方向の前記カメラ画像と左右方向の前記カメラ画像とを用いて生成された前記周辺画像を表示する請求項１から請求項５のいずれかに記載の周辺画像表示装置。
【請求項7】
前記車輪速取得部は、右側の前記車輪である右車輪の前記車輪速と、左側の前記車輪である左車輪の前記車輪速とを取得し、前記空転判断部は、前記右車輪の前記車輪速と前記左車輪の前記車輪速との前記車輪速の差が空転時車輪速以上である場合に、前記空転中であると判断する請求項１から請求項６のいずれかに記載の周辺画像表示装置。
【請求項8】
前記空転判断部は、前記車輪速に基づいて前記空転中の可能性がないと判断した場合には、前記車輪が前記非空転中であると判断し、前記車輪速に基づいて前記空転中の可能性があると判断した場合には、前記カメラ画像の時間変化に基づいて前記車輪が前記空転中であるか前記非空転中であるかを判断する請求項１から請求項７のいずれかに記載の周辺画像表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
この明細書における開示は、周辺画像表示装置に関する。
【背景技術】
【0002】
特許文献１は、車両の位置における死角領域である床下領域を表示装置に表示する周辺監視装置を開示している。先行技術文献の記載内容は、この明細書における技術的要素の説明として、参照により援用される。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１６－２１６５３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
先行技術文献の構成では、オプティカルフローや車輪速やＧＰＳ等の情報に基づいて車両の移動量および位置を推定して、過去画像を床下画像として表示する。しかしながら、オプティカルフローなどの画像処理は、処理負荷が大きく移動量の推定に時間がかかる場合がある。また、車輪速に基づいて移動量を推定する場合、車輪が空転することで、推定した移動量と実際の移動量とが大きく異なる移動量となり得る。床下画像として誤った画像が表示されている場合、ユーザが床下の状況を誤認してしまい、周辺画像の信頼性が低下する可能性がある。上述の観点において、または言及されていない他の観点において、周辺画像表示装置にはさらなる改良が求められている。
【0005】
開示される１つの目的は、信頼性の高い周辺画像表示装置を提供することにある。
【課題を解決するための手段】
【0006】
ここに開示された周辺画像表示装置は、車両（９）の車輪速を取得する車輪速取得部（Ｆ３１）と、
車輪が空転中であるか非空転中であるかを車輪速取得部が取得した車輪速に基づいて判断する空転判断部（Ｆ３２）と、
車両の周辺を撮像する複数のカメラ（２）で得られた複数のカメラ画像を取得する画像取得部（Ｆ１）と、
画像取得部が取得したカメラ画像のうち、車両の進行方向側を撮像したカメラ画像を過去画像として記憶する画像記憶部（Ｍ１）と、
画像取得部が取得した複数のカメラ画像を合成して車両の周辺を示す周辺画像を生成する合成画像生成部（Ｆ７）と、
合成画像生成部が生成した周辺画像をディスプレイ（３）に表示する表示制御部（Ｆ８）を備え、
表示制御部は、非空転中である場合には、現在の車輪速に基づいて選択された過去画像を用いて車両の床部を透過させた透過画像と現在のカメラ画像とを含む周辺画像を表示し、空転中である場合には、現在の車輪速に基づいて選択された過去画像を含まず現在のカメラ画像を含む周辺画像を表示する。
車輪が空転中であるか非空転中であるかを車輪速取得部が取得した車輪速に基づいて判断する空転判断部（Ｆ３２）と、
車両の周辺を撮像する複数のカメラ（２）で得られた複数のカメラ画像を取得する画像取得部（Ｆ１）と、
画像取得部が取得したカメラ画像のうち、車両の進行方向側を撮像したカメラ画像を過去画像として記憶する画像記憶部（Ｍ１）と、
画像取得部が取得した複数のカメラ画像を合成して車両の周辺を示す周辺画像を生成する合成画像生成部（Ｆ７）と、
合成画像生成部が生成した周辺画像をディスプレイ（３）に表示する表示制御部（Ｆ８）を備え、
表示制御部は、非空転中である場合には、現在の車輪速に基づいて選択された過去画像を用いて車両の床部を透過させた透過画像と現在のカメラ画像とを含む周辺画像を表示し、空転中である場合には、現在の車輪速に基づいて選択された過去画像を含まず現在のカメラ画像を含む周辺画像を表示する。
【0007】
開示された周辺画像表示装置によると、非空転中である場合には、現在の車輪速に基づいて選択された過去画像を用いて車両の床部を透過させた透過画像を表示し、空転中である場合には、現在の車輪速に基づいて選択された過去画像を用いた透過画像を表示しない表示制御部を備えている。このため、空転中に誤った画像を床下画像として表示してしまい、ユーザに床下の状況を誤認させることを抑制できる。したがって、信頼性の高い周辺画像表示装置を提供できる。
【0008】
この明細書における開示された複数の態様は、それぞれの目的を達成するために、互いに異なる技術的手段を採用する。請求の範囲およびこの項に記載した括弧内の符号は、後述する実施形態の部分との対応関係を例示的に示すものであって、技術的範囲を限定することを意図するものではない。この明細書に開示される目的、特徴、および効果は、後続の詳細な説明、および添付の図面を参照することによってより明確になる。
【図面の簡単な説明】
【0009】
【図1】周辺画像表示システムの全体構成を示すブロック図である。
【図2】各カメラの設置位置および撮像範囲を説明するための説明図である。
【図3】画像生成ＥＣＵ７０の構成を示すブロック図である。
【図4】進行方向画像の生成に用いる投影面について説明するための説明図である。
【図5】透過画像を有する進行方向画像を示す図である。
【図6】表示画像を示す図である。
【図7】周辺画像表示システムの制御に関するフローチャートである。
【図8】第２実施形態における周辺画像表示システムの制御に関するフローチャートである。
【図9】第２実施形態における透過画像を有する進行方向画像を示す図である。
【図10】第２実施形態における透過画像を不透過画像に切り替える途中の進行方向画像を示す図である。
【図11】第２実施形態における不透過画像を有する進行方向画像を示す図である。
【図12】第３実施形態における周辺画像表示システムの制御に関するフローチャートである。
【図13】第３実施形態における透過画像を不透過画像に切り替える途中の進行方向画像を示す図である。
【図14】第３実施形態における透過画像を不透過画像に切り替える途中の進行方向画像を示す図である。
【発明を実施するための形態】
【0010】
図面を参照しながら、複数の実施形態を説明する。複数の実施形態において、機能的におよび／または構造的に対応する部分および／または関連付けられる部分には同一の参照符号、または百以上の位が異なる参照符号が付される場合がある。対応する部分および／または関連付けられる部分については、他の実施形態の説明を参照することができる。
【0011】
第１実施形態
図１において、周辺画像表示システム１は、当該システムが搭載された車両９の周辺の画像である周辺画像をディスプレイ３に表示するものである。ここで、車両９の周辺には、前方、後方、側方、下方等の様々な方向における車両９の周りの位置が含まれ得る。また、周辺画像は、車両９の全周囲の画像を含んでいる必要はなく、前方のみや後方のみを示す画像も周辺画像となり得る。以下では、周辺画像表示システム１が搭載されている車両９を自車両と記載する場合がある。
図１において、周辺画像表示システム１は、当該システムが搭載された車両９の周辺の画像である周辺画像をディスプレイ３に表示するものである。ここで、車両９の周辺には、前方、後方、側方、下方等の様々な方向における車両９の周りの位置が含まれ得る。また、周辺画像は、車両９の全周囲の画像を含んでいる必要はなく、前方のみや後方のみを示す画像も周辺画像となり得る。以下では、周辺画像表示システム１が搭載されている車両９を自車両と記載する場合がある。
【0012】
自車両は例えば、路面がアスファルトなどで舗装された道路上だけでなく、未舗装の道路を走行することも想定された四輪駆動車である。自車両は、走行モードとして通常モードとオフロードモードを備える。通常モードは、舗装道路であるオンロードの走行に適した走行モードである。オフロードモードは、未舗装の道路であるオフロードの走行に適した走行モードである。各走行モードは、前後左右の車輪への駆動力の分配制御の方式が異なる。ここでのオフロードとは、主として岩石路などの凹凸が大きい地面を指すものとする。もちろん、オフロードは、オンロード以外の地面、すなわち整備されていない地面全般と解することもできる。また、本開示は、オフロードを走行することが想定されていない場合にも適用することができる。自車両は、エンジンを駆動源とするガソリン車であってもよいし、モータを駆動源として備える電気自動車またはハイブリッドカーであってもよい。
【0013】
以下の説明における前後、左右、上下の各方向は、自車両を基準として規定される。具体的に、前後方向は、自車両の長手方向に相当する。左右方向は、自車両の幅方向に相当する。上下方向は、自車両の高さ方向に相当する。別の観点によれば、上下方向は、前後方向および左右方向に平行な平面に対して垂直な方向に相当する。本開示では、自車両の高さ方向に垂直な平面を車両水平面とも称する。また、前後左右方向を含む自車両の高さ方向に垂直な方向を車両水平方向とも称する。
【0014】
加えて、本開示における平行とは、完全な平行状態に限らない。完全な平行状態から数度から２０度程度傾いた状態を平行としてもよい。つまり、平行には、概ね平行である略平行な状態を含み得る。本開示における垂直という表現についても同様に、完全な垂直状態に限らない。
【0015】
周辺画像表示システム１は、画像生成ＥＣＵ７０、複数のカメラ２、ディスプレイ３、タッチパネル４、操作ボタン５、車両状態センサ６を備える。部材名称中のＥＣＵは、Electronic Control Unitの略であり、電子制御装置を意味する。
【0016】
画像生成ＥＣＵ７０は、複数のカメラ２、ディスプレイ３、タッチパネル４、操作ボタン５、車両状態センサ６のそれぞれと通信可能に接続されている。上述の各装置と画像生成ＥＣＵ７０とは、専用線で個別に接続されていてもよく、車両内に構築された通信ネットワークを介して接続されていてもよい。例えばカメラ２と画像生成ＥＣＵ７０とは専用の映像信号線で直接的に接続されていてもよい。
【0017】
画像生成ＥＣＵ７０は、各カメラ２で撮像した画像データに基づいて車両周辺を任意の視点から見た合成画像を生成するＥＣＵである。画像生成ＥＣＵ７０は、ディスプレイ３に生成した合成画像を表示するＥＣＵである。画像生成ＥＣＵ７０が合成画像を生成し、表示することで、車両９の運転操作を支援することができる。画像生成ＥＣＵ７０は、コンピュータを用いて実現されている。画像生成ＥＣＵ７０は、処理部７１、ＲＡＭ７２、ストレージ７３、通信ＩＦ７４、およびこれらの構成を接続するバスラインなどを備えている。画像生成ＥＣＵ７０は、周辺画像表示装置の一例を提供する。
【0018】
処理部７１は、ＲＡＭ７２と結合された演算処理のためのハードウェアである。処理部７１は、例えばＣＰＵである。処理部７１は、ＲＡＭ７２へのアクセスにより、後述する各機能部の機能を実現するための種々の処理を実行する。ＲＡＭ７２は、揮発性の記憶媒体である。
【0019】
ストレージ７３は、フラッシュメモリ等の不揮発性の記憶媒体を含む構成である。ストレージ７３には、ファームウェアとしての画像生成プログラムや、合成画像を生成するための多様な描画用データが記憶されている。描画用データには、後述する投影面ＴＳの形状等を示すデータ、自車両外観を示す３Ｄモデルのデータ、自車両の構成部材を示す３Ｄモデルのデータなどが含まれる。３Ｄモデルのデータが用意されている構成部材としては、例えばタイヤ、ハンドル、インストゥルメントパネル、ピラー、ボディパネルなどである。処理部７１が画像生成プログラムを実行することは、画像生成プログラムに対応する方法である表示制御方法が実行されることに相当する。
【0020】
通信ＩＦ７４は、他装置と通信するためインターフェースとして機能する回路モジュールである。通信ＩＦ７４は、アナログ回路素子やＩＣなどを用いて実現されている。画像生成ＥＣＵ７０の詳細については、別途後述する。
【0021】
カメラ２は、自車両周辺を撮像し、撮像した画像データを画像生成ＥＣＵ７０に出力する車載カメラである。各カメラ２は、少なくともレンズと撮像素子とを備えており、自車両の周辺を示す画像を取得する。複数のカメラ２は、それぞれ異なる範囲を撮像するように自車両の取り付け位置に取り付けられている。本実施形態の周辺画像表示システム１は、カメラ２として図２に示すようにフロントカメラ２Ｆ、リアカメラ２Ｂ、右サイドカメラ２Ｒおよび左サイドカメラ２Ｌを備える。これら４つのカメラ２は、自車両において互いに異なる位置に配置され、自車両の周辺の互いに異なる方向を撮像する。具体的には次のとおりである。
【0022】
フロントカメラ２Ｆは、車両前方を撮像する撮像装置である。フロントカメラ２Ｆは、例えばフロントグリルなどの自車両の前端において、その光軸２Ｆａが自車両の正面方向に向けられた姿勢で取り付けられている。車両９の進行方向が前方である場合には、フロントカメラ２Ｆが、進行方向側を撮像するカメラ２として機能する。
【0023】
リアカメラ２Ｂは、車両後方を撮像する撮像装置である。リアカメラ２Ｂは、光軸２Ｂａが自車両の後方に向けられた姿勢で、例えばリアナンバープレート付近やリアウインドウ付近など、車体背面部の所定位置に配置されている。車両９の進行方向が後方である場合には、リアカメラ２Ｂが、進行方向側を撮像するカメラ２として機能する。
【0024】
右サイドカメラ２Ｒは、自車両の右側方を撮像する撮像装置である。右サイドカメラ２Ｒは、右側サイドミラーにおいて、その光軸２Ｒａが自車両の右側に向いた姿勢で取り付けられている。左サイドカメラ２Ｌは、自車両の左側方を撮像する撮像装置である。左サイドカメラ２Ｌは、左側サイドミラーにおいて、光軸２Ｌａが自車両の左側に向いた姿勢で取り付けられている。
【0025】
これらのカメラ２のレンズとしては魚眼レンズなどの広角レンズが採用されており、各カメラ２は１８０°以上の画角θを有している。このため、４つのカメラ２を利用することで、自車両の全周囲を撮像することが可能である。上述した各カメラ２の取り付け位置は適宜変更可能である。フロントカメラ２Ｆは、ルームミラーやフロントガラスの上端部などに取り付けられていてもよい。右サイドカメラ２Ｒおよび左サイドカメラ２Ｌは、ＡピラーやＢピラーの付け根付近に配置されていてもよい。カメラ２は、例えばルーフ上や、ダッシュボード上、窓枠付近などに後付された構成であってもよい。
【0026】
車両９における各カメラ２の搭載位置および搭載姿勢を示すデータである搭載態様データは、ストレージ７３に格納されている。各カメラ２の搭載位置は、例えば、車両９の任意の位置を中心とする三次元座標である車両三次元座標系上の点として表されていればよい。車両三次元座標系を形成するＸ軸は、例えば、車両９の左右方向に平行な軸とすることができる。また、車両三次元座標系を形成するＹ軸は、前後方向に平行な軸とすることができる。また、車両三次元座標系を形成するＺ軸は、車両高さ方向に平行な軸とすることができる。車両右方向がＸ軸正方向に対応し、車両前方がＹ軸正方向に対応し、車両上方がＺ軸正方向に対応するものとする。車両三次元座標系の中心は、例えば、後輪車軸の中心などとすることができる。
【0027】
図１において、ディスプレイ３は、例えば、液晶などの薄型の表示パネルを備えており、各種の情報や画像を表示するデバイスである。ディスプレイ３は、ユーザがその画面を視認できるように、自車両のインストゥルメントパネルなどに配置される。ディスプレイ３は、画像生成ＥＣＵ７０と同一のハウジング内に配置されることにより、画像生成ＥＣＵ７０と一体化されていてもよい。もちろん、ディスプレイ３は、画像生成ＥＣＵ７０とは別体の装置であってもよい。ディスプレイ３は、表示パネル上に積層されたタッチパネル４を備えており、ユーザの操作を受け付け可能に構成されている。
【0028】
タッチパネル４は、例えば静電容量式であって、ユーザのタッチ位置を示す信号を出力する。ここでのユーザとは、主として運転席に着座している乗員であるドライバを指す。ユーザにはドライバの他に、助手席に着座している乗員などを含めることができる。
【0029】
操作ボタン５は、ディスプレイ３の表示内容に対するユーザの操作を受け付ける操作部品である。操作ボタン５は、画像生成ＥＣＵ７０が生成した合成画像をディスプレイ３に表示させたり、合成画像の視点位置等を変更したりするためのスイッチである。操作ボタン５は、例えば、自車両のステアリングホイールに設けられており、主にドライバからの操作を受け付ける。ユーザは、この操作ボタン５、および、タッチパネル４を介して周辺画像表示システム１に対する各種の操作を行うことができる。操作ボタン５やタッチパネル４をユーザが操作した場合には、その操作の内容を示す操作信号が画像生成ＥＣＵ７０に入力される。操作ボタン５は、インストゥルメントパネルに配されていてもよい。
【0030】
周辺画像表示システム１は、ドライバが車両９の走行モードをオフロードモードに切り替えるための操作部品としての走行モードスイッチを備えていてもよい。走行モードを切り替えるための操作部品はダイヤル式であってもよい。走行モードスイッチとしての機能はシフトレバーが備えていてもよい。
【0031】
車両状態センサ６は、自車両の走行制御に関する状態量を検出するセンサである。車両状態センサ６には、車輪速センサ６ｓが含まれる。車輪速センサ６ｓは、自車両の車輪の回転から車輪速を検出するセンサである。車輪速センサ６ｓとしては、車輪の回転をパルス信号の変化として検出するセンサを採用可能である。この場合、車輪速が速いほど単位時間あたりに得られるパルス信号の数が増加することとなる。車輪速センサ６ｓは、車輪速そのものを速度として検出するセンサである必要はなく、車輪速の算出に用いる状態量を検出するセンサであればよい。車輪速センサ６ｓは、自車両の車輪毎の車輪速を検出する。例えば、自車両が右前輪と左前輪と右後輪と左後輪との４つの車輪を備えている場合には、４つの車輪それぞれの車輪速を個別に検出する。
【0032】
車両状態センサ６には、車輪速センサ６ｓの他にシフトセンサや、車速センサ、操舵角センサ、加速度センサなどが含まれる。シフトセンサは、シフトポジションを検出するセンサである。車速センサは、自車両の走行速度を検出するセンサである。操舵角センサは、ハンドルの回転角を検出するセンサである。加速度センサは、自車両に作用する車両前後方向、左右方向、および、上下方向の少なくともいずれか１方向の加速度を検出するセンサである。ここでは加速度センサとして３軸加速度センサが採用されているものとする。加速度センサの検出値は、水平面に対する車両姿勢を判断するための材料として使用することができる。
【0033】
車両状態センサ６として周辺画像表示システム１が使用するセンサの種類は適宜設計されればよく、上述した全てのセンサを備えている必要はない。また、車高センサやジャイロセンサ、方位角センサなどを車両状態センサ６に含めることができる。各センサは、検出対象とする状態量の現在の値を示すデータを画像生成ＥＣＵ７０に出力する。
【0034】
画像生成ＥＣＵ７０は、図３に示すように機能部として画像取得部Ｆ１、操作受付部Ｆ２、車両状態取得部Ｆ３、表示設定取得部Ｆ４、画像認識部Ｆ５、合成画像生成部Ｆ７、表示制御部Ｆ８、および画像出力部Ｆ９を備えている。また、画像生成ＥＣＵ７０は、画像データを一時的に保持するためのメモリである画像記憶部Ｍ１を備えている。画像記憶部Ｍ１は、例えばＲＡＭ７２が備える記憶領域の一部を用いて実現されている。画像記憶部Ｍ１には、各カメラ２の画像に当該画像撮像時の車両９の位置情報と向き情報とが対応付けて蓄積され得る。
【0035】
画像取得部Ｆ１は、４つのカメラ２のそれぞれで撮像した画像データを取得する。これらカメラ２毎の画像データを組み合わせることにより、自車両の全周囲についての画像データが得られる。画像取得部Ｆ１は、カメラ２から入力された画像信号を、データ形式のデジタル画像データに変換した上で、画像認識部Ｆ５や合成画像生成部Ｆ７に出力する。
【0036】
また、画像記憶部Ｍ１は、例えば自車両が保存距離だけ移動するたびに、各カメラ２で撮像された画像データを保存する。この時、保存される画像データは、別途取得される自車両の位置情報および車体姿勢情報と対応付けられる。保存距離は、例えば０．１ｍや、０．３ｍ、０．５ｍなどとすることができる。保存距離が０．１ｍである場合、次に保存される画像データと保存されている最新の画像データとは、進行方向において０．１ｍずれた範囲を撮像した画像データとなる。保存距離の代わりに保存時間を設定し、保存時間が経過するたびに、各カメラ２で撮像された画像データを保存する構成としてもよい。
【0037】
画像記憶部Ｍ１は、例えば車両前進時において、車両前端の直下から３ｍ前方までの地面を撮像したフロントカメラ２Ｆの画像データを画像記憶部Ｍ１に保存する。また、車両後退時には、車両後端の直下から３ｍ後方までの地面を撮像したリアカメラ２Ｂの画像データを画像記憶部Ｍ１に保存すればよい。
【0038】
画像記憶部Ｍ１内における画像データの保存態様は多様な態様を採用可能である。例えば画像取得部Ｆ１は、画像記憶部Ｍ１において最も古く更新された領域に対して、新規データを上書き保存していく。すなわち、画像記憶部Ｍ１は、リングバッファとして構成されていてもよい。リングバッファは、論理的にリング状に配置された記憶領域である。画像取得部Ｆ１は、直近の保存時間以内に取得した画像フレームを、上述した保存距離毎の画像データとは別領域に保存する構成としてもよい。画像記憶部Ｍ１に保存された画像データは、合成画像生成部Ｆ７によって参照される。画像取得部Ｆ１は、カメラ２から取得した画像に対してレンズ特性に応じた歪み補正や拡大縮小、切り出しなどの画像処理を施してもよい。この場合、画像処理の施された画像データが画像記憶部Ｍ１に保存されることとなる。
【0039】
操作受付部Ｆ２は、操作ボタン５およびタッチパネル４から出力される操作信号を受信する。操作信号は、操作ボタン５やタッチパネル４に対するユーザの操作の内容を示す信号である。これにより、操作受付部Ｆ２は、合成画像などの画像データの表示に対するユーザの操作を受け付ける。操作受付部Ｆ２は、受信した操作信号に対応するデータを表示制御部Ｆ８に入力する。
【0040】
車両状態取得部Ｆ３は、車両状態センサ６など、自車両に設けられている他の装置から、自車両の状態を示す情報を取得する構成である。車両状態取得部Ｆ３は、車輪速取得部Ｆ３１と空転判断部Ｆ３２とを備えている。車輪速取得部Ｆ３１は、車輪速センサ６ｓで検出した各車輪の車輪速を取得する。例えば、右前輪の車輪速と左前輪の車輪速と右後輪の車輪速と左後輪の車輪速とをそれぞれ取得する。
【0041】
空転判断部Ｆ３２は、自車両の車輪が空転しているか否かを判断する。例えば前輪が空転している場合、右前輪と左前輪との地面との摩擦の大きさが互いに著しく異なる状態となる。このため、右前輪の車輪速と左前輪の車輪速とに大きな差が生じる。したがって、右前輪の車輪速と左前輪の車輪速との差が空転時車輪速以上である場合には、車輪が空転中であると判断できる。非空転中であってもカーブを曲がる際などには、右前輪の車輪速と左車輪の車輪速とが異なる値となる場合がある。このため、空転時車輪速は、非空転中と空転中とを適切に判断できるような値に設定することが好ましい。
【0042】
車輪の空転判断方法は、上述の方法に限られない。また、空転判断部Ｆ３２が車輪速に基づいて空転中か否かを判断するのではなく、画像生成ＥＣＵ７０以外のＥＣＵが空転中か否かを判断してもよい。この場合、空転判断部Ｆ３２は、画像生成ＥＣＵ７０とは別のＥＣＵが判断した空転判断結果を取得することとなる。
【0043】
車両状態取得部Ｆ３は、種々のセンサから、シフトポジションや、検出軸方向毎の加速度、車速、操舵角などを取得する。車両状態取得部Ｆ３は、種々の状態量を他のＥＣＵから取得してもよい。例えば操舵角などの情報は、操舵システムを構成するＥＣＵから取得してもよい。また、車両状態取得部Ｆ３は、画像認識部Ｆ５から移動距離や向きの時間変化量などを取得してもよい。つまり車両状態取得部Ｆ３は、センサに限らず、他ＥＣＵや画像認識部Ｆ５などから自車両の状態に関する多様な情報を取得可能である。また、車両状態取得部Ｆ３は、複数種類の情報を組み合わせて、車両９の移動距離や、車両９の向きの変化量などを算出するように構成されていてもよい。車両９の向きとは、車両９が向いている方向であるヨー角だけでなく、ピッチ角やロール角などを含めてもよい。
【0044】
表示設定取得部Ｆ４は、ディスプレイ３に表示する画像の表示設定を取得する。表示設定の一例は、ディスプレイ３の輝度に関する設定である。表示設定の一例は、表示を行うタイミングに関する設定である。表示設定の一例は、表示する画像の視点位置に関する設定である。表示設定の一例は、表示を切り替える際の演出に関する設定である。表示設定は、ユーザによるタッチパネル４や操作ボタン５の操作によって、変更可能である。
【0045】
画像認識部Ｆ５は、カメラ２から入力される画像を解析することによって検出対象物の位置およびその種別等を検出する構成である。画像認識部Ｆ５は、例えば画像の特徴量ベクトルに基づき、物体の種別を識別する識別器としての機能を備える。画像認識部Ｆ５は、例えばディープラーニングを適用したＣＮＮ（Convolutional Neural Network）やＤＮＮ（Deep Neural Network）技術などを用いて物体の識別を行う。検出対象物としては、歩行者や他車両などの他、舗装された道路に付与され得る区画線などの路面表示や、道路端などが含まれる。区画線には、レーンマーカーとしての線の他、駐車枠などを示す線を含めることができる。
【0046】
画像認識部Ｆ５は、画像上に適宜設定される特徴点の画像フレーム間における位置の変化量に基づいて自車両の移動量や向きの変化量を推定可能に構成されている。例えば画像認識部Ｆ５は、フレーム間差分法の一種であるオプティカルフロー法などを用いて、基準地点に対する現在位置や、車体の向きの変化量、ヨーレートなどを推定可能である。オプティカルフローとは、画像データに映っている物体の動きをベクトルで示した情報である。画像認識部Ｆ５の物体認識結果や、自車位置等の推定結果は、表示制御部Ｆ８や、車両状態取得部Ｆ３、合成画像生成部Ｆ７に出力される。
【0047】
合成画像生成部Ｆ７は、後述する進行方向画像ＡＰや透過画像ＣＰなどの合成画像を生成するための画像処理を行う構成である。合成画像生成部Ｆ７は、仮想の投影面ＴＳにカメラ２で撮像した複数の画像データを投影し、投影面ＴＳ上のデータを用いて仮想視点ＶＰから見た合成画像を生成する。
【0048】
投影面ＴＳは、図４に概念的に示すように、自車両の周辺領域に相当する仮想の立体面である。投影面ＴＳの中心領域は、自車両の位置となる車両領域として定められている。車両領域は、例えば矩形状の平面部として設定されている。車両領域は、自車両の高さ方向において自車両と重なる領域、言い換えると、カメラ２では直接撮像できない領域を含むように設定されている。投影面ＴＳは、車両領域の近傍では車両水平方向に沿った平面をなし、車両領域から離れた位置では車両領域から離れるほど傾きが大きくなる曲面をなしている。言い換えると、投影面ＴＳは、全体として下に凸の曲面形状をなしている。投影面ＴＳにカメラ画像を投影することは、投影面ＴＳにカメラ画像をテクスチャマッピングすることに相当する。
【0049】
投影面ＴＳの形状は、適宜変更可能である。投影面ＴＳの形状は、全領域が水平面に設定されていてもよい。投影面ＴＳの形状は、平面領域を備えずに、車両領域の縁部から下に凸の曲面領域が開始する形状に設定されていてもよい。
【0050】
合成画像生成部Ｆ７の作動は、表示制御部Ｆ８によって制御される。例えば合成画像の生成に使用される仮想視点ＶＰは、表示制御部Ｆ８によって制御される。合成画像生成部Ｆ７は、カメラ画像合成部Ｆ７１と車両モデル付与部Ｆ７２を備えている。カメラ画像合成部Ｆ７１は、前述した投影面ＴＳに各カメラ画像を投影する構成である。車両モデル付与部Ｆ７２は、カメラ画像が投影された投影面ＴＳの所定位置に車両９についてのモデル画像を配置する構成である。
【0051】
表示制御部Ｆ８は、画像生成ＥＣＵ７０の全体を統括的に制御する構成である。例えば、表示制御部Ｆ８は、操作受付部Ｆ２や車両状態取得部Ｆ３から入力される情報に基づいて、合成画像生成部Ｆ７および表示画像生成部Ｆ８１を制御する。これにより、自車両の走行状態やユーザの設定に応じた合成画像および表示画像ＤＰを生成させる。
【0052】
表示制御部Ｆ８は、例えばシフトセンサからの信号またはタイヤの回転方向に基づいて、自車両の進行方向が前進方向および後退方向のいずれであるかを判断する。表示制御部Ｆ８は、走行モードスイッチからの入力信号に基づいて走行環境がオフロードかどうかを判別する。
【0053】
表示制御部Ｆ８は、自車両の進行方向、タッチパネル４および操作ボタン５からの信号のいずれかに基づいて、後述する合成画像を生成する際の仮想視点ＶＰの位置および視線方向を設定する。設定され得る仮想視点ＶＰのパターンとしては、例えば鳥瞰視点やドライバ視点などを採用可能である。図４においては、仮想視点ＶＰを鳥瞰視点にした場合の視点位置を例示している。
【0054】
鳥瞰視点は、視点位置を自車両の直上、視線方向を直下とした仮想視点ＶＰの設定パターンである。鳥瞰視点は、自車両およびその周辺を自車両の真上から俯瞰した画像である鳥瞰画像を生成する際に適用され得る。鳥瞰視点の視野角は、自車両周辺を含むように適宜調整可能である。鳥瞰視点の視点位置は、自車両の真上に限らず、自車両の真上から後ろ側、前側、あるいは、横方向にずれた位置であってもよい。鳥瞰視点は、仮想視点ＶＰを車室外に配置した視点である車室外視点の一例に相当する。
【0055】
ドライバ視点は、視点位置を車室内におけるドライバの目の想定位置に設定した仮想視点ＶＰの設定パターンである。ドライバ視点の視線方向は、例えば、前輪付近を含むように前方斜め下方向に設定され得る。斜め下方向とは、例えば車両水平面から２０～３０°程度下方に向けられた方向とすることができる。ドライバ視点の視線方向は、前方斜め下方向を基準方向としつつ、タッチパネル４へのユーザ操作に基づいて任意の方向に変更可能に構成されていてもよい。ドライバ視点の視野角もまた、前輪付近を含むように適宜調整可能である。
【0056】
ドライバの目の想定位置は、例えば、運転席のヘッドレスト近傍に設定される。ドライバの目の想定位置としては、車種ごとに設定されるアイリプスを援用することができる。アイリプスは、車種ごとに規定される仮想的な空間領域である。アイリプスは、乗員のアイポイントの空間分布を統計的に表したアイレンジに基づいて、仮想の楕円体状に設定されている。ドライバ視点は、仮想視点ＶＰを車室内に配置した視点である車室内視点の一例に相当する。また、ドライバ視点の位置は、ドライバの目の想定位置からずれた位置に配置されていてもよい。例えば、ドライバ視点は、ドライバの目の想定位置から助手席側にずれた位置、例えば運転席と助手席の中間となる位置に配置されていてもよい。
【0057】
本実施形態の画像生成ＥＣＵ７０は動作モードとして、図５に示すような進行方向画像ＡＰを表示する周辺画像表示モードを備えている。進行方向画像ＡＰの生成方法の詳細については、後に説明する。
【0058】
進行方向画像ＡＰには、車体底部である床下を透過させた路面を示す合成画像である透過画像ＣＰを含み得る。進行方向画像ＡＰに床下を透過した透過画像ＣＰが含まれる場合には、周辺画像表示モードは、床下表示モードとも呼べる。表示制御部Ｆ８は、シフトレバーが特定のポジションに設定されていることおよびユーザ操作の少なくともいずれか一方に基づいて表示モードを切り替え得る。表示制御部Ｆ８は、例えば後述する周辺画像表示条件が充足している場合に、表示モードを周辺画像表示モードに設定する。以下では、進行方向画像ＡＰとして仮想視点ＶＰがドライバ視点に設定された状態で生成された画像を想定する。
【0059】
表示画像生成部Ｆ８１は、図６に示すような表示画像ＤＰを生成する。表示画像ＤＰは、ディスプレイ３で表示するための画像である。表示画像ＤＰには、進行方向画像ＡＰとアイコン画像３ｉとが含まれている。アイコン画像３ｉは、周辺画像として表示しているディスプレイ３に表示されている範囲を記号的に示す画像である。図においては、車両前方を周辺画像の範囲とする場合の画像を例示している。
【0060】
表示画像生成部Ｆ８１は、合成画像生成部Ｆ７で合成された合成画像、画像取得部Ｆ１が取得したカメラ画像、アイコン画像３ｉ等を用いて表示画像ＤＰを生成する。表示画像ＤＰに含まれる画像の組み合わせは、自車両の進行方向やタッチパネル４等へのユーザ操作に応じて表示制御部Ｆ８によって決定される。
【0061】
画像出力部Ｆ９は、表示画像生成部Ｆ８１で生成された表示画像ＤＰを映像信号に変換してディスプレイ３に出力し、表示画像ＤＰをディスプレイ３に表示させる。これにより、仮想視点ＶＰから見た自車両の周辺を示す合成画像を含む表示画像ＤＰがディスプレイ３に表示されることとなる。
【0062】
以下では、合成画像生成部Ｆ７が透過画像ＣＰを含む進行方向画像ＡＰを生成する際の作動について説明する。カメラ画像合成部Ｆ７１は、画像取得部Ｆ１が取得した各カメラ画像を、図４に示すような仮想的な三次元空間における投影面ＴＳに投影する。投影面ＴＳに対する各カメラ画像の投影位置は、テーブルデータ等の対応情報によって予め対応付けられている。
【0063】
例えばカメラ画像合成部Ｆ７１は、フロントカメラ２Ｆの画像データを投影面ＴＳの前方領域に投影する。さらに、カメラ画像合成部Ｆ７１は、リアカメラ２Ｂの画像データを投影面ＴＳの後方領域に投影する。また、カメラ画像合成部Ｆ７１は、投影面ＴＳの右側方領域に右サイドカメラ２Ｒの画像データを投影し、左側方領域に左サイドカメラ２Ｌの画像データを投影する。
【0064】
複数のカメラ２で重複して撮像される領域である重複領域に関しては、様々な手法が採用可能である。例えば、複数のカメラ２の画像データを適切な割合でブレンドする手法や、複数のカメラ２の画像データを境界線で繋ぎ合わせる手法が採用され得る。
【0065】
さらに、画像記憶部Ｍ１に保存されている過去画像から、車両領域に位置すると推定される部分の画像を抽出し、回転補正などを施した上で車両領域に投影する。車両領域に投影する画像とは、自車両の真下に位置する領域の画像、つまり床下の画像であるため、床下画像と称する場合がある。
【0066】
例えば自車両が前進している場合には、現在位置よりも３ｍ後方で撮像されたフロントカメラ画像を過去画像として用いて、床下画像を生成する。また、自車両が後退している場合には、現在位置よりも３ｍ前方で撮像されたリアカメラ画像を過去画像として用いて、床下画像を生成する。つまり、現在位置よりも進行方向逆側となる位置に自車両が位置していたときの画像を用いて床下画像を生成する。
【0067】
自車両が前進している場合に、現在位置よりも３ｍ後方の位置から現在位置に至るまでの複数時点で撮像されたフロントカメラ画像を過去画像として用いて床下画像を生成してもよい。この場合、一枚の床下画像が複数枚の過去画像によって生成されることとなる。車両後退時も同様とする事ができる。車両領域である床下部分に投影する過去画像の画像データは、車両９の移動に伴って随時更新されればよい。
【0068】
次に、合成画像生成部Ｆ７は、表示制御部Ｆ８の制御により、投影面ＴＳを含む三次元空間に対し、仮想視点ＶＰを設定する。合成画像生成部Ｆ７は、三次元空間における任意の視点位置に任意の視線方向に向けた仮想視点ＶＰを設定できる。
【0069】
そして、車両モデル付与部Ｆ７２が、カメラ画像が投影された投影面ＴＳを含む仮想三次元空間上に、自車両についての多様な画像要素を配置する。仮に仮想視点ＶＰが鳥瞰視点などの車室外に配置されている場合には、車両底部が存在する路面範囲を示す車両境界線Ｌｖｃを車両領域上に付与する。車両境界線Ｌｖｃは、車体を路面に垂直に射影してなる領域の輪郭を示す線であって、鳥瞰視点における車両９の外形を示す線に相当する。
【0070】
図５を用いて、仮想視点ＶＰがドライバ視点などの車室内に配置されている場合に生成される進行方向画像ＡＰについて説明する。この図は、駐車枠で区切られた駐車場内に自車両が位置している場合を想定した進行方向画像ＡＰである。進行方向画像ＡＰは、主に進行方向における自車両周辺を示す画像である。
【0071】
進行方向画像ＡＰは、第１進行方向画像ＡＰ１と第２進行方向画像ＡＰ２とを含んで構成されている。第１進行方向画像ＡＰ１は、カメラ２で撮像している現在のカメラ画像が投影されている部分である。第２進行方向画像ＡＰ２は、カメラ２で撮像した過去のカメラ画像である過去画像が投影されている部分である。まとめると、第１進行方向画像ＡＰ１は、カメラ２を用いてリアルタイムに撮像できる範囲の画像であり、第２進行方向画像ＡＰ２は、リアルタイムに撮像できない範囲の画像である。車両領域の路面を示す床下画像は、カメラ２を用いてリアルタイムに撮像できない範囲であり、第２進行方向画像ＡＰ２を構成している。図において、第１進行方向画像ＡＰ１と第２進行方向画像ＡＰ２との境界を二点鎖線で示している。
【0072】
仮想視点ＶＰがドライバ視点である場合、車両モデル付与部Ｆ７２は、車両境界線Ｌｖｃの他に、３ＤタイヤモデルＰｔや、３Ｄボディモデル、３Ｄ内装モデルなどをそれぞれ三次元空間上の所定位置に配置する。ただし、図においては、３ＤタイヤモデルＰｔのみを配置した場合を例示している。３ＤタイヤモデルＰｔは、タイヤの３Ｄモデルであって、全体的に半透明に設定されている。３ＤタイヤモデルＰｔは、不透明または半透明の輪郭線だけで構成されていてもよい。つまり３ＤタイヤモデルＰｔの輪郭線以外の部分は、無色透明に設定可能である。
【0073】
ここでの半透明には、透明度が５０％である状態に限らず、例えば透明度が８０％である場合などを含めることができる。つまり、半透明といった表現には、その存在をぼんやりと示すレベルを含めることができる。透明度は、値が高いほど透明であることを示すパラメータであって、本開示においては透明度が１００％の状態を完全に透明な状態とする。画像要素の透明度あるいは不透明度は、画素のアルファ値に対応する概念である。一般的にアルファ値が小さいほど透明な度合いが高まる。
【0074】
３Ｄボディモデルは、車両ボディの３Ｄモデルであって、全体的に半透明に設定されている。３Ｄボディモデルは、不透明または半透明の輪郭線だけで構成されていてもよい。つまり３Ｄボディモデルの輪郭線以外の部分は、無色透明に設定されていてもよい。３Ｄ内装モデルは、インストゥルメントパネルやハンドル、Ａピラーなどの３Ｄモデルである。
【0075】
３ＤタイヤモデルＰｔ、３Ｄボディモデル、３Ｄ内装モデルなどは、自車両の構成部材を示す３Ｄモデルであって、構成部材モデルと呼ぶことができる。合成画像生成用の三次元空間内に配置する３Ｄモデルは、適宜変更可能である。例えば、３ＤタイヤモデルＰｔ、３Ｄボディモデル、３Ｄ内装モデルなどの配置は、省略されてもよい。
【0076】
その他、車両モデル付与部Ｆ７２は、車両端部からの距離を示す目盛り線や、車幅を示す車幅線を描画してもよい。また、車両モデル付与部Ｆ７２は、車両９にかかるその他の画像要素として、車両９の操舵角に応じた走行予定軌道を示す線である予定軌道線を描画してもよい。車幅線が予定軌道線としての役割を兼ねていてもよい。車両境界線Ｌｖｃや走行予定軌道線などは、車両９についての情報を示す画像であるため車両情報画像と呼ぶことができる。また、予定軌道線や目盛り線、車幅線などは、ドライバの運転操作を案内する情報としても機能し得る。このため、予定軌道線などの表示線は、ガイド線と呼ぶことができる。
【0077】
そして、合成画像生成部Ｆ７は、投影面ＴＳを含む三次元空間に存在する種々の画像要素に対して、仮想視点ＶＰに応じたレンダリングを行う。さらに、合成画像生成部Ｆ７は、種々の画像要素がレンダリングされた画像データを用いて、仮想視点ＶＰから見て所定の視野角に含まれる画像要素を切り出す。これにより、合成画像生成部Ｆ７は、仮想視点ＶＰから見た自車両の床下、および、自車両の周辺の領域を示す合成画像を生成する。例えば透過画像ＣＰとして、車体底部を透過させた床下画像を生成する。以上では一例としてカメラ画像を投影面ＴＳに投影してから画像要素を付与する順番で合成画像を生成する態様を述べたが、個々の処理は並列的に実行されてもよい。
【0078】
また、合成画像を生成する方法としては多様な方法を採用することができる。例えば、カメラ画像に基づいて生成される路面画像、車両境界線Ｌｖｃ、および車両９を構成する構成部材の立体モデルは、それぞれ別のレイヤに配置して処理されてもよい。例えば、合成画像は、カメラ画像レイヤと境界線レイヤと３Ｄモデルレイヤとの３つのレイヤを組み合わせて生成されてもよい。ここで、カメラ画像レイヤは、カメラ画像を投影した投影面ＴＳの画像である路面画像を含むレイヤである。境界線レイヤは、車両境界線Ｌｖｃを配置したレイヤである。３Ｄモデルレイヤは、３ＤタイヤモデルＰｔなどの立体モデルを含むレイヤである。複数のレイヤを組み合わせる場合、カメラ画像レイヤを最も下側である背景側のレイヤとし、その上に、境界線レイヤ、３Ｄモデルレイヤが順に重ねられ得る。もちろん、レイヤ構成もまた適宜変更可能である。複数のレイヤを用いて各画像要素を個別に取り扱う場合には、最終的に各レイヤを統合した画像が合成画像となる。
【0079】
以下では、ディスプレイ３に表示する表示画像ＤＰについて説明する。図６に示すように、表示画像生成部Ｆ８１は、進行方向画像ＡＰとアイコン画像３ｉとを含む画像を表示画像ＤＰとして生成する。
【0080】
表示画像ＤＰの表示内容は、上述の例に限られず、適宜変更可能である。例えば、右サイドカメラ２Ｒで撮像した右サイドカメラ画像と左サイドカメラ２Ｌで撮像した左サイドカメラ画像を進行方向画像ＡＰに並べて表示してもよい。あるいは、進行方向画像ＡＰと右サイドカメラ画像と左サイドカメラ画像とを連続する一枚のパノラマ画像としてパノラマ表示する構成としてもよい。このような表示画像ＤＰのレイアウトによれば、進行方向画像ＡＰに対するユーザによる視認性を良好に保ちつつ、左右の状況もドライバに視覚的に通知することができる。つまり、ドライバは表示画像ＤＰを見ることで、前進する際に前輪付近の地面の状態を認識できるとともに、車両側方の状況も同時に認識可能となる。
【0081】
右サイドカメラ画像は、右サイドカメラ２Ｒで撮像しているカメラ画像から切り出すことで生成可能である。ただし、レンダリングされた後の合成画像に対して、自車両の右方を仮想視点ＶＰとして所定の視野角で切り出すことで生成してもよい。左サイドカメラ画像についても、左サイドカメラ２Ｌのカメラ画像を用いて、右サイドカメラ画像と同様の生成方法で生成可能である。
【0082】
アイコン画像３ｉは、ユーザがタッチすることによって表示画像ＤＰの表示内容を切り替えるためのスイッチとして機能可能である。アイコン画像３ｉをユーザがタッチしたか否かは、タッチパネル４から出力されるタッチ位置信号に基づいて判断され得る。アイコン画像３ｉへのユーザのタッチ操作を検出した場合、表示制御部Ｆ８は、例えば進行方向画像ＡＰのみを周辺画像とする表示画像ＤＰから左右のカメラ画像を含むパノラマ画像を周辺画像とする表示画像ＤＰに切り替える。
【0083】
以下では、画像生成ＥＣＵ７０が表示画像ＤＰを生成して表示する際に実行する一連の処理である周辺画像表示処理の流れについて説明する。図７に示すフローチャートは、周辺画像表示条件を充足した場合に開始される。周辺画像表示条件は、表示画像ＤＰを表示するための条件と解することができる。例えば画像生成ＥＣＵ７０は、ユーザによって操作ボタン５が押下された場合に、周辺画像表示条件が充足されたと判断する。その他、画像生成ＥＣＵ７０は、タッチパネル４を介して表示画像ＤＰを表示させるためのユーザ操作が行われたことを検出した場合に、周辺画像表示条件が充足したと判断するように構成されていてもよい。つまり、操作受付部Ｆ２が合成画像を表示するための操作が行われたことを示す信号を取得したことに基づいて、本フローが開始され得る。
【0084】
周辺画像表示条件を構成する項目には、変速機の設定状態であるシフトポジションや、車速などを含めることができる。例えば、シフトポジションが特定のレンジに設定されていること、および、車速が低速閾値未満であることの少なくともいずれか一方を周辺画像表示条件に含めてもよい。周辺画像表示条件を充足する特定のレンジは、ローレンジや後退レンジなどとすることができる。低速閾値は、例えば１０ｋｍ／ｈや１５ｋｍ／ｈ、２０ｋｍ／ｈなどとすることができる。その他、フロントカメラ画像やリアカメラ画像をディスプレイ３に表示している状態において、タッチパネル４等を介して操作受付部Ｆ２が視点切替操作を受け付けた場合に、周辺画像表示条件が充足されたと判断してもよい。
【0085】
図７に示す処理フローは、表示終了条件を充足するまで繰り返し実行され得る。表示終了条件は、例えば、シフトポジションが特定のレンジ以外に設定された場合や、車速が低速閾値以上となった場合、操作ボタン５が再び押下された場合などとすることができる。すなわち、周辺画像表示条件が充足されなくなったことを、表示終了条件が充足されたこととみなすことができる。その他、画像生成ＥＣＵ７０は、タッチパネル４を介して表示画像ＤＰの表示を終了させるための操作が行われたことを検出した場合に、表示終了条件が充足したと判断してもよい。
【0086】
まず、ステップＳ１０１では、画像取得部Ｆ１が、４つのカメラ２でそれぞれ得られたカメラ画像を取得する。カメラ画像の取得は、時間経過とともに繰り返され、最新のカメラ画像を取得し続けることとなる。
【0087】
また、画像記憶部Ｍ１は、自車両が保存距離だけ進むたびに進行方向側のカメラ２が撮像したカメラ画像を保存する。画像取得部Ｆ１は、周辺画像表示条件が充足されていない状態から充足されている状態に遷移した際に、初回の保存処理として進行方向側のカメラ２が撮像した画像を保存する。カメラ画像の取得後、ステップＳ１０２に進む。
【0088】
ステップＳ１０２では、表示設定取得部Ｆ４が表示設定を取得する。表示設定取得部Ｆ４は、例えば仮想視点ＶＰをドライバ視点とするか、鳥瞰視点とするかの設定を取得する。
【0089】
走行用電源がオンとなって初めて透過画像ＣＰを生成する場合、仮想視点ＶＰのデフォルト設定が適用される。デフォルト設定は、設計者またはユーザによって予め設定された位置および視線方向とすることができる。デフォルト設定は、例えば視線方向が前方斜め下方に向けられたドライバ視点とすることができる。また、仮想視点ＶＰの設定は、透過画像ＣＰを前回表示した際の仮想視点ＶＰの位置および方向とすることができる。その場合、準備処理として表示制御部Ｆ８は、透過画像ＣＰを表示した直近の仮想視点ＶＰの設定データをＲＡＭ７２等に保存するように構成されているものとする。
【0090】
また、仮想視点ＶＰの位置および視線方向は、自車両の進行方向に応じて決定されてもよい。例えば自車両の進行方向が前進方向である場合には、上述のように視線方向が前方斜め下方に向けられたドライバ視点を仮想視点ＶＰとして採用する。一方、自車両の進行方向が後退方向である場合には、例えば、仮想視点ＶＰとして、視線方向が後方斜め下方に向けられたドライバ視点を採用してもよい。その他、仮想視点ＶＰの視線方向は、操舵角に応じた方向に調整されてもよい。
【0091】
以下では一例として、仮想視点ＶＰとして、視線方向が前方斜め下方に向けられたドライバ視点が適用されるものとする。表示設定を取得した後、ステップＳ１１１に進む。
【0092】
ステップＳ１１１では、シフトポジションや車速などといった自車両の状態を示す情報である車両状態を車両状態取得部Ｆ３が取得する。特に、車両状態取得部Ｆ３の一部を構成している車輪速取得部Ｆ３１は、自車両の車輪速を取得する。車両状態を取得した後、ステップＳ１１２に進む。
【0093】
ステップＳ１１２では、車両状態取得部Ｆ３が左右の車輪速の差を算出する。より詳細には、右前輪の車輪速と左前輪の車輪速との車輪速の差を算出する。また、右後輪の車輪速と左後輪の車輪速との車輪速の差を算出する。車輪速の差を算出した後、ステップＳ１１３に進む。
【0094】
ステップＳ１１３では、自車両の車輪が空転中か否かを空転判断部Ｆ３２が判断する。空転判断部Ｆ３２は、例えば右前輪の車輪速と左前輪の車輪速との車輪速の差が空転時車輪速以上であれば、自車両の前輪が空転していると判断する。あるいは、空転判断部Ｆ３２は、例えば右後輪の車輪速と左後輪の車輪速との車輪速の差が空転時車輪速以上であれば、自車両の後輪が空転していると判断する。この時、各車輪の車輪速の瞬時値ではなく、単位時間当たりの平均値を各車輪の車輪速として、左右の車輪速の差を算出することが好ましい。これによると、空転判断に関して誤った判断をすることを抑制しやすい。
【0095】
空転判断方法は、左右の車輪速の差から判断する上述の方法に限られない。例えば、エンジンや走行用モータなどの動力の出力に対して、車輪速が著しく高い場合には、タイヤと地面との摩擦が非常に小さい状態、すなわち空転中であると判断できる。
【0096】
また、画像生成ＥＣＵ７０以外のＥＣＵが車輪速から空転を判断した判断結果が存在する場合には、その判断結果を空転判断部Ｆ３２が取得して空転判断結果として採用してもよい。
【0097】
自車両の前輪または後輪が１つでも空転中である場合（Ｓ１１３：ＹＥＳ）には、ステップＳ１１９に進む。一方、自車両の全ての車輪が空転中ではない、すなわち非空転中である場合（Ｓ１１３：ＮＯ）には、ステップＳ１１８に進む。
【0098】
ステップＳ１１８では、車輪速に基づいて透過画像ＣＰの生成に用いる過去画像を合成画像生成部Ｆ７が更新する。より詳細には、車輪速に基づいて、自車両の進んだ距離を算出し、画像記憶部Ｍ１に保存されているカメラ画像の中から、現在の自車両の床下に位置する部分を撮像したカメラ画像を過去画像として設定する。
【0099】
また、進行方向における最も新しいカメラ画像を新たな過去画像の候補として画像記憶部Ｍ１に保存する。一方、過去画像の候補として保存されていたカメラ画像のうち、自車両の床下を通り過ぎた位置を撮像したカメラ画像については、画像記憶部Ｍ１から消去する。言い換えると、自車両の床下の位置よりも進行方向側のカメラ画像のみを過去画像の候補として保存し、自車両の床下の位置よりも進行方向とは反対側のカメラ画像を消去する。車輪速に基づいて過去画像を更新した後、ステップＳ１２１に進む。
【0100】
ステップＳ１１９では、車輪が空転を開始する直前の過去画像を合成画像生成部Ｆ７が維持する。また、車輪速に基づいて自車両が進行方向に保存距離だけ進んだと判断した場合であっても、新たにカメラ画像を保存せず、現在保存されている過去画像の候補も消去しない。空転直前の過去画像を維持した後、ステップＳ１２１に進む。
【0101】
ステップＳ１２１では、カメラ画像合成部Ｆ７１がカメラ画像を合成する。より詳細には、カメラ画像合成部Ｆ７１が、上述したように各カメラ２の画像データと過去画像とを投影面ＴＳの所定位置にマッピングする。非空転中は、車輪速に基づいて更新された過去画像が車両領域に投影されることとなる。一方、空転中は、空転直前の過去画像が車両領域に投影されることとなる。カメラ画像を合成した後、ステップＳ１２２に進む。
【0102】
ステップＳ１２２では、車両モデル付与部Ｆ７２が車両境界線Ｌｖｃや３ＤタイヤモデルＰｔ等の車両モデルを合成画像に付与する。また、その他の画像要素として、予定軌道線や目盛り線、車幅線、３ＤタイヤモデルＰｔ以外の３Ｄモデル等を付与してもよい。車両モデルを付与した後、ステップＳ１２５に進む。
【0103】
ステップＳ１２５では、合成画像生成部Ｆ７が、透過画像ＣＰを含む進行方向画像ＡＰを生成する。より詳細には、車両モデルが付与された後の合成画像に対して、仮想視点ＶＰに応じたレンダリングを行い、仮想視点ＶＰから見て所定の視野角に含まれる画像要素を切り出す。仮想視点ＶＰが前方斜め下方のドライバ視点に設定されている場合、進行方向画像ＡＰには、自車両の前輪や前端を含む範囲の画像要素が切り出されることとなる。
【0104】
進行方向画像ＡＰのうち、リアルタイムなカメラ画像が投影されている部分を切り出している部分が第１進行方向画像ＡＰ１である。一方、進行方向画像ＡＰのうち、過去画像が投影されている部分を切り出している部分が第２進行方向画像ＡＰ２である。
【0105】
第１進行方向画像ＡＰ１は、フロントカメラ２Ｆと右サイドカメラ２Ｒと左サイドカメラ２Ｌとの３つのカメラ２で撮像したカメラ画像が合成された合成画像である。第２進行方向画像ＡＰ２は、撮像したタイミングの異なる複数の過去画像を組み合わせて合成された合成画像である。第２進行方向画像ＡＰ２を構成している過去画像は、フロントカメラ２Ｆで撮像したカメラ画像に回転補正等の補正が施されたカメラ画像である。
【0106】
自車両の車輪が非空転中であれば、第２進行方向画像ＡＰ２は、自車両の移動に合わせて適切な過去画像が更新される。一方、自車両の車輪が空転中であれば、第２進行方向画像ＡＰ２は、空転を開始する直前の位置の過去画像が維持され、空転している間は過去画像が変化しない。第１進行方向画像ＡＰ１は、車輪が空転中か非空転中かによらず、常に現在のカメラ画像が合成された画像となる。
【0107】
ステップＳ１４１では、合成画像生成部Ｆ７が生成した進行方向画像ＡＰを含む表示画像ＤＰを表示画像生成部Ｆ８１が生成する。表示画像ＤＰを生成した後、ステップＳ１４２に進む。
【0108】
ステップＳ１４２では、画像出力部Ｆ９がディスプレイ３に表示画像ＤＰを出力する。より詳細には、表示画像生成部Ｆ８１が生成した表示画像ＤＰのデジタル画像データを所定の信号形式に変換した信号を画像出力部Ｆ９がディスプレイ３に出力する。これにより、進行方向画像ＡＰを含む表示画像ＤＰが、ディスプレイ３に表示される。表示画像ＤＰを出力した後、周辺画像表示処理を終了する。ただし、表示終了条件が充足するまで、一連の処理が繰り返し実行され、最新の周辺画像が表示され続ける。
【0109】
以下、上述した実施形態による効果を説明する。上述した実施形態によると、表示制御部Ｆ８は、非空転中である場合には、現在の車輪速に基づいて選択された過去画像を用いて透過画像ＣＰを有する進行方向画像ＡＰを表示する。さらに、表示制御部Ｆ８は、空転中である場合には、空転を開始する直前の過去画像を用いた透過画像ＣＰを有する進行方向画像ＡＰを表示する。言い換えると、表示制御部Ｆ８は、非空転中である場合には、現在の車輪速に基づいて選択された過去画像を用いて車両９の床部を透過させた透過画像ＣＰを表示する。さらに、表示制御部Ｆ８は、空転中である場合には、現在の車輪速に基づいて選択された過去画像を用いた透過画像ＣＰを表示しない。このため、実際の床下の位置と大きく異なる位置のカメラ画像を過去画像に用いた透過画像ＣＰを表示してしまうことを抑制できる。したがって、空転中に表示される周辺画像として、実際の車両周辺と大きく異なる画像が表示されにくい。よって、信頼性の高い周辺画像表示装置を提供できる。
【0110】
また、過去画像の更新と空転判断を車輪速に基づいて行っている。このため、過去画像の更新を、オプティカルフロー法などのカメラ画像の画像処理を伴う方法で行う場合に比べて、処理負荷を低減しやすい。したがって、過去画像の更新を高速に行い、周辺画像表示処理において発生するタイムラグを短くしやすい。
【0111】
表示制御部Ｆ８は、空転中である場合に、車輪が空転を開始する直前の過去画像を用いて生成された透過画像ＣＰを含む進行方向画像ＡＰを表示する。言い換えると、表示制御部Ｆ８は、空転中である場合に、車輪が空転を開始する直前に表示していた透過画像ＣＰを表示する。このため、空転中の車輪速に基づいて選択された過去画像を用いて透過画像ＣＰを生成して表示する場合に比べて、透過画像ＣＰと実際の床下の位置とのずれを小さくしやすい。
【0112】
進行方向画像ＡＰには、フロントカメラ２Ｆのカメラ画像と左サイドカメラ２Ｌのカメラ画像と右サイドカメラ２Ｒのカメラ画像とが含まれている。言い換えると、表示制御部Ｆ８は、車両９の進行方向のカメラ画像と左右方向のカメラ画像とを用いて合成された周辺画像を表示する。このため、進行方向のカメラ画像のみを用いて生成された周辺画像を表示する場合に比べて、より広い範囲の画像を周辺画像として表示することができる。
【0113】
空転判断部Ｆ３２は、左車輪の車輪速と右車輪の車輪速との車輪速の差が空転時車輪速以上である場合に、空転中であると判断する。このため、車輪速の情報のみから空転判断を行うことができる。したがって、車両９の加速度を計測するための加速度センサや、車両位置を測位するための測位装置など、車輪速センサ６ｓ以外の装置を組み合わせて空転判断を行う場合に比べて、シンプルな構成で空転判断を行うことができる。
【0114】
インストゥルメントパネルや車体底部等、車両９の構成部材を透過させつつ自車両周辺を示す透過画像ＣＰを含む進行方向画像ＡＰが生成される。このため、ユーザは、このような周辺画像を確認することで、自車両の周囲の様子を車室内の視点から確認でき、かつ、自車両の周辺の様子を直感的に把握できる。
【0115】
進行方向画像ＡＰは、車両境界線Ｌｖｃや３ＤタイヤモデルＰｔなどの車両モデルを含んでいる。このため、進行方向画像ＡＰに含まれる車両境界線Ｌｖｃに基づいて、車両付近に存在する岩や縁石、フラップ板などの立体物に対する車体との距離感を認識しやすくなる。よって、意図せずに立体物に車体が接触する恐れを低減することができる。また、ユーザは車体下に位置する区画線や縁石、岩などに対する車体およびタイヤの位置を認識しやすくなる。その結果、例えばオフロード走行時には、狙った岩石にタイヤを乗せるなどの細かい運転操作が可能となる。また、オンロード走行時にも縁石などにタイヤがぶつからないように車体を道路端に寄せるなどの細かい運転操作が行いやすくなる。
【0116】
以上では仮想視点ＶＰとして、視線方向を前方に向けたドライバ視点が適用されている場合を例に本実施形態の効果について説明した。しかし、後方や側方、斜め側方など他の方向に視線方向が向けられている場合にも同様の効果が得られる。また、仮想視点ＶＰをドライバ視点以外にも、車室内の任意の位置を配置した場合にも同様の効果を得ることができる。加えて、車両９の外側表面上や、車室外の車両近傍領域に仮想視点ＶＰを設定した場合も同様の効果が期待できる。ここでの車両近傍領域とは、例えば車両９の外面部から０．２ｍ以内となる領域を指す。外面部には、左右の側面部の他、背面部や前端部、および、ルーフを含めることができる。側面部にはドアパネルやフェンダー部分、ピラーなどを含めることができる。
【0117】
また、仮想視点ＶＰは車室内の多様な位置に設定可能である。例えば仮想視点ＶＰとして、視点位置をサイドミラー付近に配置したパターンや、視点位置を車室内天井部の中央に配置したパターンなどを採用可能である。また、表示制御部Ｆ８は、視点位置がアイリプスよりも後方であって、かつ、視線方向を後方斜め下方に向けられた室内後方視点を設定可能に構成されていてもよい。このような室内後方視点によれば、車両後退時に表示する進行方向画像ＡＰとして、後輪付近をより大きく表示可能となる。その結果、後退時にも前進時と同様に、後輪やリアバンパ付近の様子をドライバが認識しやすくなる。
【0118】
以上ではディスプレイ３を車載ディスプレイとする態様を開示したが、画像生成ＥＣＵ７０が生成した画像の表示先は車載ディスプレイに限定されない。ディスプレイ３は、車両９を遠隔操作するためのスマートフォン等の携帯端末が備える表示装置であってもよい。また、車両９を遠隔操作で管理する管理センタに設けられた表示装置であってもよい。
【0119】
第２実施形態
この実施形態は、先行する実施形態を基礎的形態とする変形例である。この実施形態では、過去画像に重ねて表示する空転時画像の透明度を段階的に下げることで透過画像ＣＰに代えて不透過画像ＢＰを含む進行方向画像ＡＰを表示する。
この実施形態は、先行する実施形態を基礎的形態とする変形例である。この実施形態では、過去画像に重ねて表示する空転時画像の透明度を段階的に下げることで透過画像ＣＰに代えて不透過画像ＢＰを含む進行方向画像ＡＰを表示する。
【0120】
以下では、図８に示すフローチャートを用いて周辺画像表示処理の流れについて説明する。ただし、上述した処理と同様の処理に関しては、説明を省略する場合がある。周辺画像表示処理は、周辺画像表示条件を充足した場合に開始される。ステップＳ１１３で非空転であると空転判断部Ｆ３２が判断した場合（Ｓ１１３：ＮＯ）には、ステップＳ１１８に進む。一方、空転中であると空転判断部Ｆ３２が判断した場合（Ｓ１１３：ＹＥＳ）にはステップＳ２１９に進む。
【0121】
ステップＳ１１８では、合成画像生成部Ｆ７が車輪速に基づいて過去画像を更新する。その後、ステップＳ１２１に進み、カメラ画像合成部Ｆ７１がカメラ画像を合成する。その後、ステップＳ１２２に進み、車両モデル付与部Ｆ７２が車両モデルを合成画像に付与する。その後、ステップＳ１２５に進み、合成画像生成部Ｆ７が、透過画像ＣＰを含む進行方向画像ＡＰを生成し、ステップＳ２４１に進む。
【0122】
ステップＳ２１９では、合成画像生成部Ｆ７が過去画像に代えて空転時画像を採用する。空転時画像とは、車輪が空転している時に表示するための画像である。空転時画像は、現在の床下が表示されているとユーザに誤解させない画像であればよい。空転時画像としては、黒色や白色などの単一の色の画像を採用可能である。また、空転時画像として、空転中であることを文字で示す画像を採用してもよい。空転時画像は、路面の色や車両モデルの色と異なる色の画像であることが好ましい。過去画像に代えて空転時画像を採用した後、ステップＳ２３１に進む。
【0123】
ステップＳ２３１では、合成画像生成部Ｆ７がカメラ画像と空転時画像とを用いて画像を合成する。より詳細には、各カメラ２の画像データと空転時画像とを投影面ＴＳの所定位置にマッピングする。空転時画像は、車両領域に投影される。これにより、床下に相当する部分に空転時画像が合成されることとなる。画像を合成した後、ステップＳ２３２に進む。
【0124】
ステップＳ２３２では、車両モデル付与部Ｆ７２が車両境界線Ｌｖｃや３ＤタイヤモデルＰｔ等の車両モデルを合成画像に付与する。車両モデルを付与した後、ステップＳ２３５に進む。
【0125】
ステップＳ２３５では、合成画像生成部Ｆ７が不透過画像ＢＰを含む進行方向画像ＡＰを生成する。不透過画像ＢＰとは、床下を透過させた路面を示す画像である透過画像ＣＰとは異なる画像であって、ユーザが透過画像ＣＰであると誤解しないような画像である。合成画像生成部Ｆ７は、車両モデルが付与された後の合成画像に対して、仮想視点ＶＰに応じてレンダリングを行う。さらに、合成画像生成部Ｆ７は、仮想視点ＶＰから見て所定の視野角に含まれる画像要素を切り出すことで、不透過画像ＢＰを含む進行方向画像ＡＰを生成する。
【0126】
以下では、透過画像ＣＰを不透過画像ＢＰに切り替えて進行方向画像ＡＰを生成する場合を例に進行方向画像ＡＰの生成方法を説明する。図９において、第１進行方向画像ＡＰ１は、フロントカメラ２Ｆと右サイドカメラ２Ｒと左サイドカメラ２Ｌとで撮像した現在のカメラ画像を合成した画像である。第２進行方向画像ＡＰ２は、フロントカメラ２Ｆで撮像した過去画像である。この状態では、第１進行方向画像ＡＰ１と第２進行方向画像ＡＰ２との両方に駐車枠を示す白線が含まれている。
【0127】
図１０において、第２進行方向画像ＡＰ２は、過去画像と空転時画像とを組み合わせた画像である。より詳細には、第２進行方向画像ＡＰ２は、空転時画像の透明度を高めた状態の画像を空転直前の過去画像に重ねて表示した画像である。言い換えると、半透明の空転時画像を空転直前の過去画像に重ねて表示した画像である。図においては、第２進行方向画像ＡＰ２が空転直前の過去画像に半透明の空転時画像を表示した画像であることを、空転直前の過去画像にピッチの大きな斜線を付すことで表現している。
【0128】
空転時画像が黒色画像である場合には、過去画像が透けて黒く表示され、ユーザにとって空転直前の過去画像が視認しにくい状態となる。空転時画像が空転中であることを示す文字画像である場合には、空転直前の過去画像に重なって、空転中であることを示す文字が薄く表示されることとなる。この状態では、まだ床下を透過している画像が表示されているため、第２進行方向画像ＡＰ２に駐車枠の白線が含まれている。
【0129】
図１１において、第２進行方向画像ＡＰ２は、不透過画像ＢＰである空転時画像のみが表示された画像である。図においては、第２進行方向画像ＡＰ２が空転時画像のみの画像であることを、図１０の斜線よりもピッチの小さな斜線を付すことで表現している。空転時画像が黒色画像である場合には、第２進行方向画像ＡＰ２全体が黒くなり、空転直前の過去画像をユーザが視認できない状態となる。空転時画像が空転中であることを示す文字画像である場合には、空転中であることを示す文字のみが視認でき、空転直前の過去画像をユーザが視認できない状態となる。
【0130】
空転時画像は、床下を透過した部分を示す画像ではないため、この状態では、第２進行方向画像ＡＰ２に駐車枠の白線が含まれていない。ただし、第１進行方向画像ＡＰ１には、現在のカメラ画像を合成した画像が表示されているため、駐車枠の白線が含まれている。ユーザは、第１進行方向画像ＡＰ１を見ることで、床下以外の周辺画像を確認できる。また、ユーザは、第２進行方向画像ＡＰ２を見て床下画像ではなく空転時画像が表示されていることを認識することで、車輪が空転中であることを認識できる。
【0131】
不透過画像ＢＰを含む進行方向画像ＡＰを生成する際には、図９、図１０、図１１の順に示したように過去画像のみの画像から空転時画像のみの画像に段階的に切り替えるように画像を生成することとなる。より詳細には、空転時画像の透明度を１００％からゼロになるまで連続的に下げることとなる。不透過画像ＢＰを含む進行方向画像ＡＰを生成した後、ステップＳ２４１に進む。
【0132】
ステップＳ２４１では、表示画像生成部Ｆ８１が、合成画像生成部Ｆ７が生成した進行方向画像ＡＰを含む表示画像ＤＰを生成する。非空転中は、透過画像ＣＰを含む表示画像ＤＰを生成することとなる。一方、空転中は、不透過画像ＢＰを含む表示画像ＤＰを生成することとなる。また、非空転中の車輪が空転を開始した直後は、半透明の空転時画像を空転直前の過去画像に重ねて表示した透過画像ＣＰを含む表示画像ＤＰを生成することとなる。表示画像ＤＰを生成した後、ステップＳ２４２に進む。
【0133】
ステップＳ２４２は、画像出力部Ｆ９がディスプレイ３に表示画像ＤＰを出力する。非空転中は、透過画像ＣＰを含む表示画像ＤＰがディスプレイ３に表示される。一方、空転中は、不透過画像ＢＰを含む表示画像ＤＰがディスプレイ３に表示される。また、非空転中の車輪が空転を開始した直後は、半透明の過去画像を空転時画像に重ねて表示した透過画像ＣＰを含む表示画像ＤＰがディスプレイ３に表示される。表示画像ＤＰを出力した後、周辺画像表示処理を終了する。ただし、表示終了条件が充足するまで、一連の処理が繰り返し実行され、最新の周辺画像が表示され続ける。
【0134】
以下、上述した実施形態による効果を説明する。上述した実施形態によると、表示制御部Ｆ８は、空転中である場合に、車両９の床部を透過させない不透過画像ＢＰを表示する。このため、空転中における床下の状況をユーザに誤解させてしまうことを抑制できる。
【0135】
非空転中は透過画像ＣＰが表示され、空転中は不透過画像ＢＰが表示される。このため、透過画像ＣＰが表示されているか不透過画像ＢＰが表示されているかをユーザが認識することで、空転中であるか非空転中であるかをユーザが認識できる。
【0136】
表示制御部Ｆ８は、非空転中に表示する透過画像ＣＰから空転中に表示する不透過画像ＢＰに表示を切り替える際に、段階的に透明度を低くして不透過画像ＢＰを表示する。このため、ユーザが画像の切り替えに伴う演出である切り替え用演出を視認することができる。したがって、透過画像ＣＰから不透過画像ＢＰに切り替える際に、ディスプレイ３等が故障しているとユーザに誤解させることを抑制できる。
【0137】
不透過画像ＢＰを含む進行方向画像ＡＰの表示方法は、上述の方法に限られない。例えば、空転時画像に過去画像を重ねて表示する構成とし、過去画像の透明度を段階的に上げることで透過画像ＣＰに代えて不透過画像ＢＰを表示してもよい。
【0138】
第３実施形態
この実施形態は、先行する実施形態を基礎的形態とする変形例である。この実施形態では、空転中に不透過画像ＢＰが表示されている領域を段階的に広くすることで透過画像ＣＰに代えて不透過画像ＢＰを含む進行方向画像ＡＰを表示する。
この実施形態は、先行する実施形態を基礎的形態とする変形例である。この実施形態では、空転中に不透過画像ＢＰが表示されている領域を段階的に広くすることで透過画像ＣＰに代えて不透過画像ＢＰを含む進行方向画像ＡＰを表示する。
【0139】
以下では、図１２に示すフローチャートを用いて周辺画像表示処理の流れについて説明する。ただし、上述した処理と同様の処理に関しては、説明を省略する場合がある。周辺画像表示処理は、周辺画像表示条件を充足した場合に開始される。ステップＳ１０１でカメラ画像を取得する。その後、ステップＳ１０２に進み、表示設定を取得する。その後、ステップＳ１１１に進み、車両状態を取得する。その後、ステップＳ１１２に進み、車輪速の差を算出する。その後、ステップＳ３１３に進む。
【0140】
ステップＳ３１３では、車輪速から空転中である可能性があるかを空転判断部Ｆ３２が判断する。空転判断部Ｆ３２は、例えば右前輪の車輪速と左前輪の車輪速との車輪速の差が非空転車輪速よりも大きければ、自車両の前輪が空転中である可能性があると判断する。非空転車輪速は、空転車輪速よりも低い値に設定されている。
【0141】
車輪速の差が非空転車輪速以下であれば、車輪は空転していない状態である。車輪速の差が非空転車輪速よりも大きく空転車輪速よりも小さい場合には、空転中か非空転中か判断のつかない不明状態である。すなわち、車輪が空転している可能性がある状態である。車輪速の差が空転車輪速以上であれば、空転中である可能性の高い状態である。空転中である可能性がある場合（Ｓ３１３：ＹＥＳ）には、ステップＳ３１４に進む。一方、空転中である可能性がない場合（Ｓ３１３：ＮＯ）には、非空転中であると判断してステップＳ１１８に進む。
【0142】
ステップＳ３１４では、画像認識部Ｆ５がカメラ画像から車両９の移動量を算出する。車両９の移動量は、オプティカルフロー法等の画像処理を用いて算出することができる。カメラ画像から車両９の移動量を算出した場合、空転中は、車輪が回転しても車両９の移動量が略ゼロであり、非空転中は、車輪の回転に応じて車両９の移動量が大きくなる。カメラ画像から車両９の移動量を算出した後、ステップＳ３１５に進む。
【0143】
ステップＳ３１５では、自車両の車輪が空転中か否かを空転判断部Ｆ３２が判断する。より詳細には、車両９の移動量が略ゼロである場合には、空転中であると判断する。一方、車両９の移動量が車輪速から算出される移動量と同等である場合には、非空転中であると判断する。空転中であると判断した場合（Ｓ３１５：ＹＥＳ）は、ステップＳ２１９に進む。一方、非空転中であると判断した場合（Ｓ３１５：ＮＯ）は、ステップＳ１１８に進む。
【0144】
ステップＳ２１９では、合成画像生成部Ｆ７が過去画像に代えて空転時画像を採用する。その後、ステップＳ２３１に進み、カメラ画像と空転時画像とを用いて画像を合成する。その後、ステップＳ２３２に進み、合成画像に車両モデルを付与する。その後、ステップＳ３３５に進む。
【0145】
ステップＳ３３５では、合成画像生成部Ｆ７が、不透過画像ＢＰを含む進行方向画像ＡＰを生成する。以下では、透過画像ＣＰを不透過画像ＢＰに切り替えて進行方向画像ＡＰを生成する場合を例に進行方向画像ＡＰの生成方法を説明する。
【0146】
図１３において、第１進行方向画像ＡＰ１は、フロントカメラ２Ｆと右サイドカメラ２Ｒと左サイドカメラ２Ｌとで撮像した現在のカメラ画像を合成した画像である。第２進行方向画像ＡＰ２は、フロントカメラ２Ｆで撮像した過去画像である透過画像ＣＰと、空転時画像である不透過画像ＢＰとの両方の画像を含む画像である。第２進行方向画像ＡＰ２の左端および中央部分は、透過画像ＣＰが維持され、第２進行方向画像ＡＰ２の右端は、不透過画像ＢＰが採用されている。言い換えると、第２進行方向画像ＡＰ２の一部に不透過画像ＢＰが採用されている。図において、第２進行方向画像ＡＰ２は、不透過画像ＢＰの領域よりも透過画像ＣＰの領域の方が広い状態である。
【0147】
図１４において、第２進行方向画像ＡＰ２は、フロントカメラ２Ｆで撮像した過去画像である透過画像ＣＰと、空転時画像である不透過画像ＢＰとの両方の画像を含む画像である。第２進行方向画像ＡＰ２の左端は、透過画像ＣＰが維持され、第２進行方向画像ＡＰ２の右端および中央部分は、不透過画像ＢＰが採用されている。図において、第２進行方向画像ＡＰ２は、透過画像ＣＰの領域よりも不透過画像ＢＰの領域の方が広い状態である。
【0148】
不透過画像ＢＰを含む進行方向画像ＡＰを生成する際には、図９、図１３、図１４、図１１の順に示すように過去画像のみの画像から空転時画像のみの画像に段階的に切り替えて画像を生成することとなる。より詳細には、第２進行方向画像ＡＰ２の透過画像ＣＰの領域を段階的に狭くして、不透過画像ＢＰの領域を段階的に広くすることとなる。不透過画像ＢＰは、第２進行方向画像ＡＰ２の右端から左端に向かって拡大する態様に限られない。例えば、不透過画像ＢＰを第２進行方向画像ＡＰ２の左端から右端に向かって拡大させてもよい。例えば、不透過画像ＢＰを第２進行方向画像ＡＰ２の上端から下端に向かって拡大させてもよい。例えば、第２進行方向画像ＡＰ２の中央部から外周端に向かって拡大させてもよい。
【0149】
不透過画像ＢＰを含む進行方向画像ＡＰを生成した後、ステップＳ２４１に進み、表示画像ＤＰを生成する。その後、ステップＳ２４２に進み、表示画像ＤＰを出力する。表示画像ＤＰを出力した後、一連の周辺画像表示処理を終了する。ただし、表示終了条件が充足するまで、一連の周辺画像表示処理が繰り返し実行され、最新の周辺画像が表示され続ける。
【0150】
以下、上述した実施形態による効果を説明する。上述した実施形態によると、表示制御部Ｆ８は、透過画像ＣＰから不透過画像ＢＰに表示を切り替える際に、不透過画像ＢＰの領域を段階的に広くして不透過画像ＢＰを表示する。このため、透過画像ＣＰから不透過画像ＢＰに切り替える際に、ディスプレイ３等が故障しているとユーザに誤解させることを抑制できる。
【0151】
空転判断部Ｆ３２は、車輪速に基づいて空転中の可能性があると判断した場合には、カメラ画像の時間変化に基づいて車輪が空転中であるか非空転中であるかを判断する。このため、カメラ画像を用いて精度の高い空転判断を行うことができる。また、車輪速に基づいて空転中の可能性がないと判断した場合には、カメラ画像を用いた空転判断を行わない。ここで、カメラ画像を用いた空転判断は、車輪速に基づいた空転判断よりも処理負荷が大きい。このため、常にカメラ画像を用いた空転判断を行う場合に比べて、空転判断における処理負荷を小さくできる。したがって、空転判断から周辺画像の出力までの処理負荷を低減し、処理に要する時間を短縮しやすい。
【0152】
他の実施形態
この明細書および図面等における開示は、例示された実施形態に制限されない。開示は、例示された実施形態と、それらに基づく当業者による変形態様を包含する。例えば、開示は、実施形態において示された部品および／または要素の組み合わせに限定されない。開示は、多様な組み合わせによって実施可能である。開示は、実施形態に追加可能な追加的な部分をもつことができる。開示は、実施形態の部品および／または要素が省略されたものを包含する。開示は、１つの実施形態と他の実施形態との間における部品および／または要素の置き換え、または組み合わせを包含する。開示される技術的範囲は、実施形態の記載に限定されない。開示されるいくつかの技術的範囲は、請求の範囲の記載によって示され、さらに請求の範囲の記載と均等の意味および範囲内での全ての変更を含むものと解されるべきである。
この明細書および図面等における開示は、例示された実施形態に制限されない。開示は、例示された実施形態と、それらに基づく当業者による変形態様を包含する。例えば、開示は、実施形態において示された部品および／または要素の組み合わせに限定されない。開示は、多様な組み合わせによって実施可能である。開示は、実施形態に追加可能な追加的な部分をもつことができる。開示は、実施形態の部品および／または要素が省略されたものを包含する。開示は、１つの実施形態と他の実施形態との間における部品および／または要素の置き換え、または組み合わせを包含する。開示される技術的範囲は、実施形態の記載に限定されない。開示されるいくつかの技術的範囲は、請求の範囲の記載によって示され、さらに請求の範囲の記載と均等の意味および範囲内での全ての変更を含むものと解されるべきである。
【0153】
明細書および図面等における開示は、請求の範囲の記載によって限定されない。明細書および図面等における開示は、請求の範囲に記載された技術的思想を包含し、さらに請求の範囲に記載された技術的思想より多様で広範な技術的思想に及んでいる。よって、請求の範囲の記載に拘束されることなく、明細書および図面等の開示から、多様な技術的思想を抽出することができる。
【0154】
本開示に記載の制御部およびその手法は、コンピュータプログラムにより具体化された１つないしは複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置およびその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置およびその手法は、コンピュータプログラムを実行するプロセッサと１つ以上のハードウェア論理回路との組み合わせにより構成された１つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
【符号の説明】
【0155】
１ 周辺画像表示システム、 ２ カメラ、 ３ ディスプレイ、 ６ 車両状態センサ、 ６ｓ 車輪速センサ、 ９ 車両、 ７０ 画像生成ＥＣＵ、 Ｍ１ 画像記憶部、 Ｆ１ 画像取得部、 Ｆ２ 操作受付部、 Ｆ３ 車両状態取得部、 Ｆ３１ 車輪速取得部、 Ｆ３２ 空転判断部、 Ｆ４ 表示設定取得部、 Ｆ５ 画像認識部、 Ｆ７ 合成画像生成部、 Ｆ７１ カメラ画像合成部、 Ｆ７２ 車両モデル付与部、 Ｆ８ 表示制御部、 Ｆ８１ 表示画像生成部、 Ｆ９ 画像出力部、 ＡＰ 進行方向画像、 ＡＰ１ 第１進行方向画像、 ＡＰ２ 第２進行方向画像、 ＣＰ 透過画像、 ＢＰ 不透過画像、 Ｐｔ ３Ｄタイヤモデル、 Ｌｖｃ 車両境界線、
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】