特開 2020-203575 車載表示装置及び車載表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2020-203575(P2020-203575A)

(43)【公開日】2020年12月24日

(54)【発明の名称】車載表示装置及び車載表示方法

(51)【国際特許分類】

   B60R 1/00 20060101AFI20201127BHJP

   H04N 7/18 20060101ALI20201127BHJP

   G08G 1/16 20060101ALI20201127BHJP

【ＦＩ】

   B60R1/00 A

   H04N7/18 J

   G08G1/16 C

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

【全頁数】15

(21)【出願番号】特願2019-112111(P2019-112111)

(22)【出願日】2019年6月17日

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100151459

【弁理士】

【氏名又は名称】中村 健一

(72)【発明者】

【氏名】杉 芳朋

(72)【発明者】

【氏名】城本 理恵

(72)【発明者】

【氏名】溝口 雄太

【テーマコード（参考）】

5C054

5H181

【Ｆターム（参考）】

5C054FC11

5C054FE13

5C054FE28

5C054FF06

5C054HA30

5H181AA01

5H181BB20

5H181CC04

5H181FF10

5H181LL01

5H181LL02

5H181LL07

5H181LL08

5H181LL17

(57)【要約】

【課題】本発明は、停車または通過する位置に移動した際の車両の下の移動体の位置を表示することが可能な車載表示装置及び車載表示方法を提供することを目的とする。
【解決手段】本開示の実施例に係る車載表示装置は、過去に撮影した路面画像に基づき車両の車体下側路面画像を表示する車載表示装置において、車両周囲を撮影するカメラと、カメラが撮影した撮影画像に基づき過去時刻における撮影画像に含まれる移動体の位置と移動速度を算出する移動体状況算出手段と、移動体状況算出手段により算出された移動体の位置と移動速度に基づき、指定時刻での車両の車体下側における移動体の存在状態を判定する存在状態判定手段と、存在状態判定手段の判定結果に基づき、車体下側路面画像に移動体の存在状態を示す移動体存在状態表示を行う存在状態表示手段と、を有することを特徴とする。
【選択図】図３

【特許請求の範囲】

【請求項1】

過去に撮影した路面画像に基づき車両の車体下側路面画像を表示する車載表示装置において、
車両周囲を撮影するカメラと、
前記カメラが撮影した撮影画像に基づき過去時刻における撮影画像に含まれる移動体の位置と移動速度を算出する移動体状況算出手段と、
前記移動体状況算出手段により算出された移動体の位置と移動速度に基づき、指定時刻での車両の車体下側における移動体の存在状態を判定する存在状態判定手段と、
前記存在状態判定手段の判定結果に基づき、車体下側路面画像に移動体の存在状態を示す移動体存在状態表示を行う存在状態表示手段と、
を有することを特徴とする車載表示装置。

【請求項2】

前記指定時刻は、現時点であることを特徴とする請求項１に記載の車載表示装置。

【請求項3】

車両の停車状態において、前記存在状態判定手段が、移動体が存在する旨の判定をした場合に、警告音を発する警告音発生手段をさらに有する、請求項１または２に記載の車載表示装置。

【請求項4】

前記存在状態表示手段は、移動体の存在推定領域に移動体を表すキャラクタ画像を描画することを特徴とする請求項１〜３のいずれか一項に記載の車載表示装置。

【請求項5】

前記存在状態表示手段は、前記車体下側路面画像に移動体が含まれ、かつ当該移動体が車両の車体下側から離脱したと判定された場合、移動体画像部分を消去処理することを特徴とする請求項１〜４のいずれか一項に記載の車載表示装置。

【請求項6】

前記消去処理は、移動体画像部分を移動体が存在しない画像の過去画像で補完処理することを特徴とする請求項５に記載の車載表示装置。

【請求項7】

過去に撮影した路面画像に基づき車両の車体下側路面画像を表示する車載表示方法において、
車両周囲を撮影し、
撮影された撮影画像に基づき過去時刻における撮影画像に含まれる移動体の位置と移動速度を算出し、
算出された移動体の位置と移動速度に基づき、指定時刻での車両の車体下側における移動体の存在状態を判定し、
判定結果に基づき、車体下側路面画像に移動体の存在状態を示す移動体存在状態表示を行う、
ステップを有することを特徴とする車載表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車載表示装置及び車載表示方法に関し、特に車両の下の路面における移動体の存在状態を表示する車載表示装置及び車載表示方法に関する。

【背景技術】

【0002】

これまでに、車載カメラを用いて過去に撮像した映像を使用して、駐車時に車両の下の状態として表示する駐車支援装置が報告されている（例えば、特許文献１）。表示方法としては、例えば、３ｍ程度手前で撮影されたフロントカメラの映像に、現在の車両位置やタイヤの位置の目安を示す線を重ねて描画し、車両の下の映像として表示するものである。

【0003】

しかしながら、撮像した映像に猫や犬などの小動物（移動体）が映っていた場合、撮像した映像は駐車する時点よりも過去の時点で撮像したものであるため、駐車する時点では実際には小動物が存在していなくても、車両下に小動物がいるような映像が表示されてしまうという問題がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１１−１１６１４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、停車または通過する位置に移動した際の車両の下の移動体の位置を表示することが可能な車載表示装置及び車載表示方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の実施例に係る車載表示装置は、過去に撮影した路面画像に基づき車両の車体下側路面画像を表示する車載表示装置において、車両周囲を撮影するカメラと、カメラが撮影した撮影画像に基づき過去時刻における撮影画像に含まれる移動体の位置と移動速度を算出する移動体状況算出手段と、移動体状況算出手段により算出された移動体の位置と移動速度に基づき、指定時刻での車両の車体下側における移動体の存在状態を判定する存在状態判定手段と、存在状態判定手段の判定結果に基づき、車体下側路面画像に移動体の存在状態を示す移動体存在状態表示を行う存在状態表示手段と、を有することを特徴とする。

【0007】

本開示の実施例に係る車載表示方法は、過去に撮影した路面画像に基づき車両の車体下側路面画像を表示する車載表示方法において、車両周囲を撮影し、撮影された撮影画像に基づき過去時刻における撮影画像に含まれる移動体の位置と移動速度を算出し、算出された移動体の位置と移動速度に基づき、指定時刻での車両の車体下側における移動体の存在状態を判定し、判定結果に基づき、車体下側路面画像に移動体の存在状態を示す移動体存在状態表示を行う、ステップを有することを特徴とする。

【発明の効果】

【0008】

本開示の実施例に係る車載表示装置または車載表示方法によれば、停車または通過する位置に移動した際の車両の下の移動体の位置を表示することができる。

【図面の簡単な説明】

【0009】

【図1】本開示の実施例に係る車載表示装置を含む画像表示システムの構成図である。

【図2】カメラを搭載した車両の平面図である。

【図3】本開示の実施例に係る車載表示装置の構成図である。

【図4】車載カメラが、将来車両が停止または通過する位置を撮像する領域と、車両との位置関係を示す図である。

【図5】車載カメラが予め撮像した領域と車両との位置関係を示す図である。

【図6】車載カメラで撮像した画像から抽出した移動体の初期位置と車両の位置との関係をグラフ上に示した図である。

【図7】図６に示したグラフ上で、車載カメラで撮像した他の画像から抽出した移動体の所定時間後の位置と車両の位置との関係を示す図である。

【図8】図６に示したグラフ上で、車両が第１位置に移動した際に推定される移動体の位置が、車両の下の領域に含まれる例を示す図である。

【図9】図６に示したグラフ上で、車両が第１位置に移動した際に推定される移動体の位置が、車両の下の領域に含まれない例を示す図である。

【図10】車両が第１位置に移動した際に表示された車両下の路面の状態を示す画像であって、車両の下の路面に移動体が存在する場合の例を示す図である。

【図11】車両が第１位置に移動した際に表示された車両下の路面の状態を示す画像であって、車両の下の路面に移動体が存在しない場合の例を示す図である。

【図12】車両が第１位置に移動した際に表示された車両下の路面の状態を示す画像であって、車両の下の路面に移動体が存在しない場合の他の例を示す図である。

【図13】本開示の実施例に係る車載表示方法の手順を説明するためのフローチャートである。

【発明を実施するための形態】

【0010】

以下、図面を参照して、本発明に係る車載表示装置及び車載表示方法について説明する。ただし、本発明の技術的範囲はそれらの実施の形態には限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

【0011】

図１に本開示の実施例に係る車載表示装置を含む画像表示システムの構成図を示す。画像表示システム１００は、車両に搭載される電子装置であり、車両の周辺を撮影して画像を生成し、車室内に表示する機能を備えている。画像表示システム１００は、車両周囲を撮影するカメラ５と、カメラ５が撮影した画像を処理する機能を有するＥＣＵ（Electronic Control Unit）である本体部１０と、処理した画像を表示する表示部２１とを備えている。

【0012】

カメラ５は、本体部１０に電気的に接続され、本体部１０からの信号に基づいて動作する。カメラ５は、車載カメラであるフロントカメラ５１、サイドカメラ５２、及び、バックカメラ５３を備えている。各車載カメラ５１〜５３は、レンズと撮像素子とを備えており電子的に画像を取得する。

【0013】

これらの複数の車載カメラ５１〜５３は、車両の異なる位置にそれぞれ配置される。図２は、車載カメラ５１〜５３が車両５００に配置される位置を示す図である。

【0014】

図２に示すように、フロントカメラ５１は、車両５００の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両５００の直進方向に向けられている。バックカメラ５３は、車両５００の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５３ａは車両５００の直進方向と逆方向に向けられている。これらフロントカメラ５１やバックカメラ５３の取り付け位置は、左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。サイドカメラ５２は左右のサイドミラー９にそれぞれ設けられ、その光軸５２ａは車両５００の左右方向（直進方向と直交する方向）に沿って車両５００の外側に向けられている。

【0015】

これらの車載カメラ５１〜５３のレンズとしては広角系のレンズ、本例では魚眼レンズが採用されており、車載カメラ５１〜５３は１８０度以上の画角を有している。このため、車載カメラ５１〜５３は、それぞれの光軸を中心として、斜め下方や斜め上方の範囲の視野も撮影画像に映すことができる。カメラ５は、４つの車載カメラ５１〜５３を利用することで車両５００の全周囲の撮影が可能となっている。

【0016】

図１に示すように、本体部１０は、過去に撮影した路面画像に基づき車両の車体下側路面画像を表示する車載表示装置３と、各種の演算処理を行うＣＰＵ１と、表示部２１との間で通信を行う通信部４２とを備えている。車載表示装置３で生成された画像は通信部４２を介して表示部２１に出力されて表示される。尚、本例では車載表示装置３を撮影画像の処理を行えるＧＰＵ（Graphics Processing Unit）等で構成して独立して、移動体の検出、表示画像の加工・生成等の処理を行えるように構成しているが、ＣＰＵ１によりソフト的に実現する等の方法で実現することも可能である。

【0017】

画像表示システム１００の本体部１０は、メモリ１１、及び信号入力部４１をさらに備えており、これらはＣＰＵ１に接続されている。

【0018】

メモリ１１は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどであり、カメラ５で撮影された動画を記憶する。また、動画を記憶する代わりに、所定距離（所定時間）ごとの静止画を記憶するようにしてもよい。動画は、所定距離（所定時間）が短い複数の静止画と等価である。

【0019】

また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１００の外部からの信号がＣＰＵ１に入力される。本開示の実施形態では、シフトセンサ８１及び車速度センサ８２からの信号が信号入力部４１を介してＣＰＵ１に入力される。

【0020】

シフトセンサ８１からは、車両の変速装置のシフトレバーの操作の位置、すなわち、「Ｐ（駐車）」、「Ｄ（前進）」、「Ｎ（ニュートラル）」、「Ｒ（後退）」等のシフトポジションを示すシフト位置信号が入力される。車速度センサ８２からは、車両の停止状態又は移動状態を検出する、車速パルスに基づく状態信号が入力される。

【0021】

また、画像表示システム１００は、表示内容を切り替える指示をユーザから受け付ける切替スイッチ８３を備えている。この切替スイッチ８３からもユーザの指示を示す信号がＣＰＵ１に入力される。これにより、画像表示システム１００は、表示部２１に対するユーザの操作、及び、切替スイッチ８３に対するユーザの操作の双方に応答した動作が可能となっている。切替スイッチ８３は、ユーザが操作しやすいように、画像表示システム１００とは別に車両の適切な位置に配置される。

【0022】

車両電源制御装置８４からは車両のＡＣＣ（アクセサリー電源）をオン／オフする信号が入力される。ＡＣＣは、車両５００の画像表示システム１００を含む付属品に対して、電力を供給する供給線への電源（バッテリ）接続をオン／オフするスイッチである。

【0023】

図３に、本開示の実施例に係る車載表示装置３の構成図を示す。車載表示装置３は、移動体状況算出手段３１と、存在状態判定手段３２と、存在状態表示手段３３と、を有する。

【0024】

移動体状況算出手段３１は、カメラ５が撮影した撮影画像に基づき過去時刻における撮影画像に含まれる移動体の位置と移動速度を算出する。

【0025】

移動体状況算出手段３１は、停止位置（通過の場合は画像を表示する車両位置）から所定距離前の記憶画像をメモリ１１から呼び出すことにより、過去時刻における撮影画像を取得する。

【0026】

尚、メモリ１１に記憶された画像は所定距離（表示に用いる距離を十分に超えて、画像が不要になる距離）走行後に削除するようにしてもよい。例えば、ドライブレコーダ併用の場合は、ドライブレコーダの画像記憶処理に従う。即ち、メモリ１１の容量が足りなくなった場合は画像を上書き可能とする。但し、衝突等の異常検知・上書き禁止操作等、保存要画像については上書き禁止とすることが好ましい。

【0027】

車両下側の路面の表示は、車両下面表示モード時に行われる。車両下面表示モードとなるのは、マニュアル操作が行われた場合、走行予定路の画像を画像認識することにより路面の凹凸が激しいと判断された場合、車両の発進時等である。従って、車両が走行中の場合も車両下面の画像を表示部２１に表示することができる。

【0028】

このように、カメラ５は常時動画を撮影しておき、車両下面表示モードとなった際に、メモリ１１に記憶された車両現在位置から所定距離前に撮影した画像（動画（連続静止画）から選択）から車両現在位置領域（車両の車体下面となる領域）を切り出し、表示部２１に表示される。

【0029】

尚、所定距離前に撮影した画像から車両現在位置領域を切り出した画像における上方からの見下ろし角度（カメラ設置高さと車両現在位置領域までの距離により決まる角度）と、現位置における車両の車体下面となる領域の画像の見下ろし角度（地面に対して垂直）は異なるため、所定距離前に撮影した画像から車両現在位置領域を切り出した画像を見下ろし角度が地面に対して垂直となるように視点変換することが好ましい。

【0030】

尚、カメラ５により撮影された画像は、小動物（移動体）の検知、ドライブレコーダの記録画像、駐車支援画像等の車両周囲画像表示に使用されるため、撮影範囲はそれらの目的に応じた広範囲なものである。そこで、撮影画像からそれぞれの機能目的に応じた範囲の画像を切り出し、使用される。

【0031】

まず、車両下面表示に用いる元画像を車両移動に伴い順次選択する。即ち、移動している現車両位置の所定距離前に撮影した画像を順次選択する。次に、該当領域を切り出して表示に用いる。従って、表示部２１に表示される画像は、車両移動に伴い変化する動画となる。尚、車両が停止すれば所定距離前の位置も停止するため、表示部２１に表示される画像は静止画となる。

【0032】

切り出し領域は、車両下面表示領域となる。これを現カメラ画像から生成された車両周囲画像に入れ込む。一般的には、車体下面全面となるため、車体長さより若干長い距離前に撮影した画像から現車両位置下面全面に該当する領域を切り出すことになる。尚、車両下面の一部を表示する場合、例えば、前輪周囲だけの表示の場合は、現車両位置下面における当該車両下面の一部に該当する領域を切り出すことになる。

【0033】

移動体の検出に用いる複数の画像は、動画から所定時間毎に静止画を切り出す。あるいは、所定時間毎の画像フレームを選択するようにしてもよい。次に、それら複数の画像を用いて判断処理を行う。

【0034】

また、停車後についても、各カメラ画像から、小動物等の車両下側への侵入、および車両下側からの離脱を監視し、その監視結果に基づき表示を行うようにしてもよい。この場合、画像認識により、車両下側への侵入・離脱小動物の一致・不一致を判定し、車両下側に存在する小動物を識別することが好ましい。例えば、人工知能（ＡＩ）を用いた動物種別判定を行い、判定結果に基づいて表示用キャラクタを切り替える等の表示を行うことができる。

【0035】

尚、駐車中にも監視を続けることにより、駐車中に車両下側へ侵入した小動物を車両発進前に確認することもできる。

【0036】

図４に、車載カメラが、将来車両が停止または通過する位置（車両の車体下を表示する位置）を撮像する領域と、車両との位置関係を示す。また、図５に、車載カメラが予め撮像した領域と車両との位置関係を示す。車両５００が、第１位置で停止するか、あるいは第１位置を通過するとした場合、第１位置から所定距離ｄだけ手前の所定位置において、車両５００が、第１位置に移動した際の車両の下の路面の領域６０をフロントカメラ５１で撮像する。領域６０は、車両５００のシャーシ全体に相当する領域であってもよいし、フロント部分等、車両５００のシャーシの一部の領域であってもよい。所定距離ｄは、例えば３［ｍ］である。図４及び図５においては、フロントカメラ５１が、車両５００が将来停止または通過する第１位置に車両５００が移動した際の路面を撮像する例を示したが、このような例には限られず、車両５００が後退する場合は、バックカメラ５３が、車両５００が将来停止または通過する位置における車両の下の路面を撮像するようにしてもよい。

【0037】

カメラ５が取得する複数の画像は、車両５００が所定位置で停止した状態でフロントカメラ５１が撮像した画像でもよいし、車両５００が移動している状態でフロントカメラ５１が撮像した画像でもよい。ただし、複数の画像は、所定の時間間隔を持って撮像された複数の画像を含む。

【0038】

カメラ５で撮像された複数の画像はメモリ１１に記憶される。

【0039】

移動体状況算出手段３１は、カメラ５が撮影した撮影画像に基づき過去時刻における撮影画像に含まれる移動体４００の位置と移動速度を算出する。移動体４００の移動速度及び移動方向は、オプティカルフローにより算出することができる。ただし、ここでは、移動体４００が２次元平面上で線形的な動きをする場合を例にとって説明する。図６は、車載カメラで撮像した画像から抽出した移動体の初期位置と車両の位置との関係をグラフ上に示した図である。カメラ５が取得した複数の画像のうちのある画像（第１画像）に映っていた移動体の位置をＰ₀とする。ここで、図６に示すように、車両５００の進行方向と直交する方向にｘ軸をとり、車両５００の進行方向にｙ軸をとり、車両の後方左側端部を原点にとった場合、Ｐ₀の座標を（ｘ₀，ｙ₀）とする。また、車両５００の下の路面の範囲を０≦ｘ≦Ｘ_m、０≦ｙ≦Ｙ_mとする。ただし、Ｘ_mは車幅を表し、Ｙ_mは車長を表す。

【0040】

図７に、図６に示したグラフ上で、車載カメラで撮像した他の画像から抽出した移動体の所定時間後の位置と車両の位置との関係を示す。カメラ５が取得した複数の画像のうちのある画像（第１画像）を撮像してから所定時間Δｔ後に撮像した他の画像（第２画像）に映っていた移動体の位置をＰ₁とし、その座標を（ｘ₁，ｙ₁）とする。

【0041】

第１画像における移動体の座標Ｐ₀（ｘ₀，ｙ₀）、及び第２画像における移動体の座標Ｐ₁（ｘ₁，ｙ₁）から、移動体の移動速度及び移動方向を表す移動ベクトルＶ（ｖ_x，ｖ_y）を以下の式により算出することができる。
ｖ_x＝（ｘ₁−ｘ₀）／Δｔ
ｖ_y＝（ｙ₁−ｙ₀）／Δｔ

【0042】

存在状態判定手段３２は、移動体状況算出手段３１により算出された移動体４００の位置と移動速度に基づき、指定時刻での車両の車体下側における移動体の存在状態を判定する。具体的には、存在状態判定手段３２は、移動速度、移動方向、及び、移動時間に基づいて、第１位置における車両５００の下の路面に移動体４００が存在するか否かを判定する。

【0043】

車両５００のフロントカメラ５１が第１画像を撮像してから車両５００の先端部が第１位置に到達するまでの時間を移動時間ｔとすると、車両５００が第１位置に移動した際の移動体４００の位置Ｐの座標は、第１画像における移動体４００の位置Ｐ₀（ｘ₀，ｙ₀）、移動ベクトルＶ（ｖ_x，ｖ_y）、及び移動時間ｔから、（ｘ₀＋Ｖ_x×ｔ，ｙ₀＋Ｖ_y×ｔ）と求められる。

【0044】

このとき、移動体４００が車両の下に存在すると判定されるための条件は、以下の２つの式（１）、（２）を満たすことである。
０≦ｘ₀＋Ｖ_x×ｔ≦Ｘ_m （１）
０≦ｙ₀＋Ｖ_y×ｔ≦Ｙ_m （２）

【0045】

図８に、図６に示したグラフ上で、車両が第１位置に移動した際に推定される移動体の位置が、車両の下の領域に含まれる例を示す。移動時間がｔ₂であったとすると、車両５００が第１位置に移動した際の移動体の位置Ｐ₂は（ｘ₀＋Ｖ_x×ｔ₂，ｙ₀＋Ｖ_y×ｔ₂）となる。図８に示すように、Ｐ₂の座標は以下のように上記の条件式（１）、（２）を満足している。
０≦ｘ₀＋Ｖ_x×ｔ₂≦Ｘ_m
０≦ｙ₀＋Ｖ_y×ｔ₂≦Ｙ_m
このように、移動時間ｔ₂後の移動体の位置座標が上記の条件を満足している場合に、移動体４００が車両５００の下に存在すると判定することができる。

【0046】

図９に、図６に示したグラフ上で、車両が第１位置に移動した際に推定される移動体の位置が、車両の下の領域に含まれない例を示す。移動時間がｔ₃であったとすると、車両５００が第１位置に移動した際の移動体の位置Ｐ₃は（ｘ₀＋Ｖ_x×ｔ₃，ｙ₀＋Ｖ_y×ｔ₃）となる。図９に示すように、Ｐ₃の座標は以下のように上記の条件式（１）を満足していない。
Ｘ_m＜ｘ₀＋Ｖ_x×ｔ₃
０≦ｙ₀＋Ｖ_y×ｔ₃≦Ｙ_m
このように、移動時間ｔ₃後の移動体の位置座標は上記の条件式（１）、（２）の少なくとも一方を満足していない場合に、移動体が車両の下に存在しないと判定することができる。

【0047】

車両の下に移動体が存在するか否かを判定する時間が現時点である場合は、指定時間は現時点である。この場合、移動体の移動時間は、車体下側路面画像を撮像した過去時刻から指定時刻（現時点）までの時間である。このように現時点で車両の下に移動体が存在するか否かを判定する代わりに、将来のある時点において移動体が車両の下に存在するか否かを判定することもできる。この場合は、移動体の移動時間を過去時刻から将来のある時点までの時間に設定すればよい。

【0048】

存在状態表示手段３３は、存在状態判定手段３２の判定結果に基づき、車体下側路面画像に移動体４００の存在状態を示す移動体存在状態表示を行う。例えば、車両５００が第１位置に移動した時に、存在状態判定手段３２が車両５００の下に移動体４００が存在すると判定した場合に、存在状態表示手段３３は、存在状態表示手段３３は、移動体４００の存在推定領域に移動体４００を表すキャラクタ画像を描画するようにしてもよい。

【0049】

図１０に、車両が第１位置に移動した際に表示された車両下の路面の状態を示す画像であって、車両の下の路面に移動体４００が存在する場合の例を示す。画像６において、６０は車両下の路面、６１は左側の前輪のタイヤの位置、６２は右側の前輪のタイヤの位置、６３は車両の前方端部、６４は車両の左側側面の端部、６５は車両の右側側面の端部を示している。

【0050】

車両５００が第１位置に移動した際に、車両５００の下の路面の画像として表示部２１に表示される画像は、過去時刻において第１位置から所定距離離れた所定位置から撮像した画像であって、所定位置から第１位置までの移動時間だけ過去の画像である。従って、車両５００の下の路面における移動体４００は、過去時刻から所定の時間が経過した指定時刻においては、移動体状況算出手段３１によって算出された移動体の位置と移動速度から推定される位置に移動していると考えられる。そこで、存在状態判定手段３２によって、移動体４００が車両５００の下の路面に存在すると判定される場合に、存在状態表示手段３３は、移動体４００が存在する範囲を画像（例えば、第１画像）に移動体を表す画像２００を描画する。これにより、車両５００が第１位置に移動した際に、車両５００の下の路面のどの位置に移動体が移動しているかを認識することができる。

【0051】

図１０に示した例では、移動体の代表的な例として猫のシルエットを表すキャラクタ画像を表示する例を示したが、このような例には限られない。例えば、撮像した画像に含まれる実際の移動体の画像を用いるようにしてもよい。

【0052】

さらに、車両５００が第１位置に移動した時に、存在状態判定手段３２が車両５００の下に移動体４００が存在すると判定した場合に、警告音を発する警告音発生手段３４をさらに有するようにしてもよい。警告音の発生とともに、あるいは警告音を発する代わりに、表示部２１に移動体が車両の下に存在することを警告する警告文を表示するようにしてもよい。ただし、このような例には限られず、ランプ等の警告表示灯の点灯により警告するようにしてもよい。警告音発生手段３４が警告音を発すること等により、ユーザは車両の下の路面に移動体が存在することを認識することができる。

【0053】

また、車両５００が第１位置に移動した時に、存在状態判定手段３２が、車両５００の下に移動体４００が存在しないと判定した場合、即ち、過去に撮影した車体下側路面画像に移動体４００が含まれ、かつ当該移動体４００が車両の車体下側から離脱したと判定された場合、移動体画像部分を消去処理するようにしてもよい。消去処理の方法として、例えば、存在状態表示手段３３は、複数の画像のうちの一部の画像において、移動体が映っている範囲を単色で塗りつぶすようにしてもよい。

【0054】

図１１に、車両５００が第１位置に移動した際に表示された車両５００の下の路面の状態を示す画像であって、車両５００の下の路面に移動体４００が存在しない場合の例を示す。カメラ５が取得した画像の中には移動体４００が表示されていた場合であって、車両５００が第１位置に移動した際には移動体４００は車両の下には存在しないと判断した場合には、表示部２１には移動体が存在しない画像を表示することが好ましい。そこで、カメラ５が取得した画像において移動体４００が表示されていた領域３００を単色で塗りつぶすようにすることが好ましい。このように、カメラ５が取得した画像に表示されていた移動体が、車両５００が第１位置に移動した際には離脱したために既に存在していないと判定される場合に移動体を表示しないようにすること（消去処理）ができるため、車両５００が第１位置に移動した際の実際の路面の状況を反映した画像を表示部２１に表示することができる。

【0055】

また、車両５００が第１位置に移動した時に、存在状態判定手段３２が、車両５００の下に移動体４００が存在しないと判定した場合に、存在状態表示手段３３は、複数の画像のうち移動体４００が映っていない画像を用いて、移動体４００が映っている画像を補完するようにしてもよい。即ち、移動体画像部分を移動体が存在しない画像の過去画像で補完処理することにより消去処理を行うことができる。

【0056】

図１２に、車両５００が第１位置に移動した際に表示された車両５００の下の路面の状態を示す画像であって、車両５００の下の路面に移動体４００が存在しない場合の他の例を示す。上述したように、移動体４００が表示されていた領域３００には移動体は既に存在していないため領域３００を単色で塗りつぶす例を示したが、その代わりに、移動体が存在しない過去の画像６００を用いて、移動体が存在した領域の画像と置き換えるようにしてもよい。例えば、カメラ５が取得した第１画像及び第２画像のうち、第１画像を車両下の画像として用いる場合において、第１画像の移動体が存在する領域に対応する第２画像の領域には移動体が表示されていなかった場合は、第２画像の当該領域の画像を用いて第１画像を補完するようにしてもよい。このように補完処理を行うことにより、移動体が存在しない、より自然な画像を表示することができる。

【0057】

次に本開示の実施例に係る車載表示方法について説明する。図１３に、本開示の実施例に係る車載表示方法の手順を説明するためのフローチャートを示す。この処理は、車載表示装置の稼働中に繰り返し実行される。まず、ステップＳ１００において、カメラ５が、車両５００の下の路面を撮像した画像を取得し、メモリ１１に記憶する。

【0058】

次に、ステップＳ１０１において、車両下表示モードか否か判断し、車両下表示モードであればステップＳ１０２に移り、車両下表示モードでなければ処理を終える。

【0059】

そして、ステップＳ１０２において、メモリ１１から、所定距離前後に撮影した複数の画像を読み出し、現位置における車両の車体下面となる領域の画像切り出し処理、視線変換処理を当該画像に施す。

【0060】

次に、ステップＳ１０３において、読み出した複数の画像（切り出し処理、視線変換処理を行う前の画像でも、行った後の画像でも処理可能）において、移動体が検出されたか否かを判定する。具体的には、取得した複数の画像のうちの第１画像における物体の位置座標をＰ₀（ｘ₀，ｙ₀）とし、取得した複数の画像のうちの第１画像とは異なる第２画像における物体の位置座標をＰ₁（ｘ₁，ｙ₁）とした場合、ｘ₀≠ｘ₁及びｙ₀≠ｙ₁の少なくとも一方の条件を満足する場合に、画像に表示された物体は移動していることが検知できるため、移動体が検出されたものと判定することができる。

【0061】

次に、移動体が検出された場合は、ステップＳ１０４において、移動体状況算出手段３１が、複数の画像から移動体の移動速度及び移動方向を推定する。

【0062】

一方、ステップＳ１０３において、移動体が検出されなかった場合は、ステップＳ１１４において、撮像した画像を車両の下の画像として表示する。この画像には、移動体は表示されない。

【0063】

次に、ステップＳ１０５において、所定位置から第１位置までの車両の移動時間を計測する。

【0064】

次に、ステップＳ１０６において、移動体状況算出手段３１が、カメラ５が撮影した撮影画像に基づき過去時刻における撮影画像に含まれる移動体の位置と移動速度を算出する。

【0065】

次に、ステップＳ１０７において、存在状態判定手段３２が、移動体状況算出手段３１により算出された移動体の位置と移動速度に基づき、指定時刻での車両の車体下側における移動体の存在状態を判定する。指定時刻は、現時点とすることができる。

【0066】

車両の下に移動体が存在すると判定された場合は、ステップＳ１０８において、警告音発生手段３４が、警告音を発する。

【0067】

次に、ステップＳ１０９において、存在状態表示手段３３が、移動体が存在する範囲を車両の下の路面の状態を表す画像に描画する。

【0068】

次に、ステップＳ１１０において、表示部２１が、画像処理した画像を車両の下の画像として表示する。

【0069】

一方、ステップＳ１０７において、存在状態判定手段３２が車両の下に移動体が存在しないと判定した場合には、車両の下の画像として使用する画像に映っている移動体を表示しないようにすることが好ましい。そこで、ステップＳ１１１において、他の画像に移動体が映っているか否かを判定する。即ち、使用する画像の移動体が映っている領域に対応する他の画像の領域に、移動体が映っているか否かを判定する。

【0070】

他の画像に移動体が映っている場合には、車両の下の画像として使用する画像に映っている移動体の画像を移動体が映っていない画像で補完することができないため、ステップＳ１１２において、画像上で移動体が表示された領域を単色で塗りつぶす。

【0071】

一方、他の画像に移動体が映っていない場合には、車両の下の画像として使用する画像に映っている移動体の画像に対応する領域において、移動体が映っていない画像を取得できるため、ステップＳ１１３において、移動体が存在しない他の画像を用いて、車両の下の路面の状態を表す画像として使用する画像を補完する。

【0072】

次に、ステップＳ１１０において、表示部２１が、画像処理した画像を車両の下の路面の状態を表す画像として表示する。

【0073】

以上説明したように、本開示の実施例に係る車載表示装置及び車載表示方法によれば、停車または通過する位置より所定距離手前で撮像した画像に移動体が映っていた場合に、停車または通過する位置に移動した際の車両の下の移動体の位置を表示することができる。

【符号の説明】

【0074】

３ 車載表示装置
５ カメラ
１０ 本体部
２１ 表示部
３１ 移動体状況算出手段
３２ 存在状態判定手段
３３ 存在状態表示手段
３４ 警告音発生手段
５１ フロントカメラ
１００ 画像表示システム
４００ 移動体
５００ 車両

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】