特許 6543313 移動体用画像生成記録表示装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6543313

(24)【登録日】2019年6月21日

(45)【発行日】2019年7月10日

(54)【発明の名称】移動体用画像生成記録表示装置及びプログラム

(51)【国際特許分類】

   G06T 13/20 20110101AFI20190628BHJP

   G07C 5/00 20060101ALI20190628BHJP

【ＦＩ】

   G06T13/20

   G07C5/00 Z

【請求項の数】5

【全頁数】15

(21)【出願番号】特願2017-192431(P2017-192431)

(22)【出願日】2017年10月2日

(65)【公開番号】特開2019-67174(P2019-67174A)

(43)【公開日】2019年4月25日

【審査請求日】2017年10月2日

(73)【特許権者】

【識別番号】598001261

【氏名又は名称】株式会社エイチアイ

(74)【代理人】

【識別番号】100159547

【弁理士】

【氏名又は名称】鶴谷 裕二

(72)【発明者】

【氏名】笛木 一正

(72)【発明者】

【氏名】高橋 昇

【審査官】 田中 幸雄

(56)【参考文献】

【文献】 特開２００６−１０７５２１（ＪＰ，Ａ）

【文献】 特開平１１−３３９１９２（ＪＰ，Ａ）

【文献】 特開２００２−２７８６６２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １３／２０

Ｇ０６Ｔ １５／５０

Ｇ０７Ｃ ５／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

自己の移動体の位置及び速度を含む自己の移動体の走行状態に関する情報を取得する走行状態取得部と、
自己の移動体の周辺に存在する他の移動体及び走行路の形状を含む複数のオブジェクトに関する情報を取得するオブジェクト情報取得部と、
前記走行状態取得部及び前記オブジェクト情報取得部から得られた情報から、少なくとも、前記自己の移動体及び前記複数のオブジェクトの各々に対して仮想モデルを対応付けて三次元空間の中に配置することで、仮想空間を構築する仮想空間構築部と、
前記仮想空間に配置された仮想的なカメラから前記仮想空間を撮像した二次元映像を生成し表示画面に出力する二次元映像生成部と、
を有し、
前記二次元映像生成部は、前記自己の移動体との相対的な速度に応じて、二次元映像における前記複数のオブジェクトの各々に対応する仮想モデルの表示に所定の効果を加えて前記二次元映像を生成し、
前記効果は、離散的に表示される残像であって、時間の経過と共に透明度が増加する残像であるか、又は軌跡である、
移動体位置情報認識表示装置。

【請求項2】

前記効果が離散的に表示される残像であって、時間の経過と共に透明度が増加する残像である場合、前記残像は、現在の時刻よりも所定時間だけ前の時刻のモデルの映像であって、前記所定の時間が大きいほど、モデルの映像の透明度が増加している、請求項１に記載の移動体位置情報認識表示装置。

【請求項3】

前記自己の移動体に対向して走行するオブジェクト、前記自己の移動体との相対速度の絶対値あるいは相対速度変化の絶対値が所定の値より小さいオブジェクト、前記自己の移動体よりも速度が遅いオブジェクト、又は静止しているオブジェクトに対応するモデルを特定し、特定された当該モデルには、前記効果を加えない、請求項１又は２に記載の移動体位置情報認識表示装置。

【請求項4】

前記仮想空間又は前記二次元映像を記録する記録部、
を更に有する請求項１ないし３のうちいずれか１項記載の移動体位置情報認識表示装置。

【請求項5】

自己の移動体の位置及び速度を含む自己の移動体の走行状態に関する情報を取得する走行状態取得ステップと、
自己の移動体の周辺に存在する他の移動体及び走行路の形状を含む複数のオブジェクトに関する情報を取得するオブジェクト情報取得ステップと、
前記走行状態取得ステップ及び前記オブジェクト情報取得ステップから得られた情報から、少なくとも、前記自己の移動体及び前記複数のオブジェクトの各々に対して仮想モデルを対応付けて三次元空間の中に配置することで、仮想空間を構築する仮想空間構築ステップと、
前記仮想空間に配置された仮想的なカメラから前記仮想空間を撮像した二次元映像を生成し表示画面に出力する二次元映像生成ステップと、
をコンピュータに実行させるプログラムであって、
前記二次元映像生成ステップは、前記自己の移動体との相対的な速度に応じて、二次元映像における前記複数のオブジェクトの各々に対応する仮想モデルの表示に所定の効果を加えて前記二次元映像を生成し、
前記効果は、離散的に表示される残像であって、時間の経過と共に透明度が増加する残像であるか、又は軌跡である、
移動体位置情報認識表示プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体の周辺のオブジェクトの画像を生成し記録又は表示する装置及びそのプログラムに関する。

【背景技術】

【0002】

自動車などの移動体に設置されたカメラを用いて撮影した画像を処理して、移動体を様々な方向から見たときと近似した画像に変換する画像変換技術が存在する。移動体に搭載された複数個のカメラを用いて撮影した画像を合成し、この移動体の周囲の一定範囲の領域の画像を鳥観図のように生成する、いわゆる「アラウンドビューモニター」（登録商標）などの技術がある。このような画像合成技術は、移動体の運転席からは見えにくい位置にある他の移動体、物体などをモニタに表示してドライバに示すことにより、例えばバックでの運転時や縦列駐車の運転時のときなどにおいて利用されている。

【0003】

上述のような画像合成技術は、実際の撮影画像を変換して車内の表示装置に表示している。このため、撮影している対象が、一時的に他の移動体にさえぎられたり、カメラの死角に入ったりした場合に、その対象を表示することができない場合がある。

【0004】

また、移動体の走行を映像として記録するドライブレコーダが存在する。このドライブレコーダは、通常移動体のフロントガラス付近に1台設置され、映像の記録のために大容量の記憶装置を必要とする。
以下に、従来の技術について説明する。

【0005】

入力装置と、仮想モデルデータベースと、仮想モデル変換装置と、仮想モデル再構成装置と、仮想モデル処理装置と、制御装置又は表示装置とから構成される装置であって、仮想モデル変換装置は、入力装置から取得した複数の対象物に関する情報を認識し、仮想モデルデータベースから対応する仮想モデルを特定し、置換する。仮想モデル再構成装置は、対象物及びそれらの関係を仮想空間において対応する仮想モデル及びそれらの関係に再構成する。仮想モデル処理装置は、再構成された仮想モデル及びこれらの関係を基礎として、仮想モデル及びこれらの関係を理解、判断し、制御装置又は表示装置に指令する技術が存在する（例えば、特許文献１参照）。

【0006】

また、ナビゲーション装置内に記憶された地図情報を用い走行道路形状を生成することで、より現実的な道路表示を可能にし、自車両の表示位置をディスプレイ内の所定の一点に固定するように演算し、自車位置を示すマーク及び追従車の位置を示すマーク、さらに追従車両以外の周辺車両位置を示すマークを道路上に重ねて表示するように動作することで、自車両と周辺車両の距離間隔が容易に判別できるようにする技術が存在する（例えば、特許文献２参照）。

【0007】

また、他車の相対位置を表示する場合に、ＣＣＤカメラなどの画像情報を利用して、他の車両の車種等を通信処理のデータで受けることにより、その車両の三次元情報及び周囲の地図情報（地形情報）をデータベースから読出し、自車と他車との相対位置の検出結果に基づいて、車両と地形の三次元モデルをリアルタイムで測定結果に合わせて配置して描画させることで、人口現実的な仮想画像として表示装置に表示させる。視点を移動させて自由に移動させた視点からの状態を表示させることができ、例えば、表示画面の一部に操作レバーを表示し、その操作レバーを上下左右の好みの方向に操作させることで視点を移動させることができる。上方に視点を移動させると、高い位置から全体の状況を立体的に把握でき、直前の車両の陰になって見えなかった前方の車両の存在を三次元的に確認することができる。また、視点を道路の横方向から見るような位置に移動させると、自車やその前後に存在する他車の状態を側方から客観的に表示させることができるようにする技術が存在する（例えば、特許文献３参照）。

【0008】

また、視点変換画像生成手段が、視点変換画像のうち車両に相当する部分に、車両を模って描かれた車両モデル画像を合成する技術が存在する（例えば、特許文献４参照）。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開２００３−２１６９８１号公報

【特許文献2】特開平１１−２５０３９６号公報

【特許文献3】特開２００６−１０７５２１号公報

【特許文献4】特開２０１１−１８２０５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

上述のような移動体の周囲の複数のカメラにより映像を合成する技術では、カメラの視界から外れた部分が表示されない場合がある。また、自由な視点から移動体の周囲の映像を表示するには限界がある。

【0011】

上述のような仮想モデルを用いて仮想空間を構築する技術では、オペレータ（ドライバ）に仮想モデルをより分かりやすい形で二次元画像として表示するニーズが存在する。

【0012】

移動体に搭載されるドライブレコーダについては、フロントガラス付近に１台設置される場合がほとんどであるため、移動体の前方の映像を記録するものであり、その他の方向の映像を記録しない。また、走行中、映像を常に記録するためには大容量の記録媒体が必要となる。移動体の周囲の状況を記録するために複数台のカメラを設置する場合には、より大容量の記憶装置が必要となる。

【0013】

開示の技術は、このような従来技術の課題に鑑みなされたものであり、自己の運転する移動体の周辺の環境を映像として表示する際に、より分かりやすい形で情報を提供するとともに、移動体の走行状況を記録する場合にもより少ない記憶容量で記録できるようにすることを目的とする。

【課題を解決するための手段】

【0014】

開示の技術は、自己の移動体の位置及び速度を含む自己の移動体の走行状態に関する情報を取得する走行状態取得部と、自己の移動体の周辺に存在する他の移動体及び走行路の形状を含む複数のオブジェクトに関する情報を取得するオブジェクト情報取得部と、前記走行状態取得部及び前記オブジェクト情報取得部から得られた情報から、少なくとも、前記自己の移動体及び前記複数のオブジェクトの各々に対して仮想モデルを対応付けて三次元空間の中に配置することで、仮想空間を構築する仮想空間構築部と、前記仮想空間に配置された仮想的なカメラから前記仮想空間を撮像した二次元映像を生成し表示画面に出力する二次元映像生成部と、を有し、前記二次元映像生成部は、前記自己の移動体との相対的な速度に応じて、二次元映像における前記複数のオブジェクトの各々に対応する仮想モデルの表示に所定の効果を加えて前記二次元映像を生成する、移動体位置情報認識表示装置を提供する。

【発明の効果】

【0015】

開示の技術によれば、自己の移動体の周辺の環境を、映像として表示する際に、より分かりやすい形で情報を提供できるようにするとともに、移動体の走行状況を記録する場合にもより少ない記憶容量で記録することができる。

【図面の簡単な説明】

【0016】

【図1】一実施形態における仮想空間及び現実の移動体に設置されたセンサ類の例を示す図である。

【図2】一実施形態の機能ブロック図である。

【図3】一実施形態における第１の表示画像の例を示す図である。

【図4】一実施形態における第１の表示画像の変形例を示す図である。

【図5】一実施形態における第２の表示画像の例を示す図である。

【図6】一実施形態における周囲の移動体の残像の表示の第１のフローチャートである。

【図7】一実施形態における周囲の移動体の残像の表示の第２のフローチャートである。

【図8】ハードウエア構成を示す図である。

【発明を実施するための形態】

【0017】

図１は、一実施形態における仮想空間及び現実の移動体に設置されたセンサ類の例を示す図である。

【0018】

図１（Ａ）に示された仮想空間１５０は、図１（Ｂ）に示された現実の移動体１００Ｒに設置されたカメラ（１０１ａないし１０１ｄ）からの周辺オブジェクトの映像情報、レーダ１０３による周辺オブジェクトの相対速度及び位置等の情報、無線アンテナ１０５で受信されたＧＰＳの情報及び無線ネットワークに接続された他のシステムからの諸情報、現実の移動体１００Ｒ内に設置された速度計、加速度計、ジャイロなどのセンサ類（不図示）等から得られた移動体１００Ｒの情報等に基づいて構築される。

【0019】

上記のカメラ（１０１ａないし１０１ｄ）、レーダ１０３、無線アンテナ１０５及び速度計などのセンサ類（不図示）は、例示であって、その他適切な情報収集装置が利用され得る。またこれらの情報収集のための装置は、現実の移動体１００Ｒの車内又は車外の何れに設置されてもよい。

【0020】

図１（Ａ）における仮想空間１５０は、図１（Ｂ）に示される現実の移動体１００Ｒに対応する仮想移動体１００が仮想カメラ１３０の撮像方向の略中央に位置するように仮想カメラ１３０が設定されていることが望ましい。仮想カメラ１３０は、仮想カメラ１３０の仮想的な撮像系によって、仮想空間１５０を二次元画像に変換する場合に用いられる様々なパラメータを設定することができる。仮想カメラ１３０のパラメータとしては、例えば仮想カメラ１３０の仮想空間上での位置、撮像方向、焦点距離、画角等である。被写界深度は、仮想的なレンズ系の焦点の合う深度を示すパラメータであるが、本実施例の場合には、被写界深度はパンフォーカスに（すなわち、仮想カメラ１３０から何れの距離に存在する仮想的なオブジェクトに対しても焦点が合うように）設定されていることが望ましい。

【0021】

図１（Ａ）には、上記諸情報から現実の移動体１００Ｒの周辺に走行している実空間上の他の移動体及び静止物体等が認識される。実空間上の他の移動体及び静止物体等は、本発明の実施形態によって３Ｄモデルデータベースが参照され、それぞれ仮想モデルに対応付けられて仮想空間１５０内に配置される。

【0022】

図１（Ａ）の仮想空間には、トラック１１０、自動車１１２、バス１１４、路肩のポール１２０が、現実の移動体１００Ｒに対応する仮想空間内の仮想移動体１００の周囲に配置されている。仮想空間１５０内に存在するこれらの仮想的なモデルは、仮想移動体１００に対して現実の空間に存在するオブジェクトの各々に対応しており、それらと現実の移動体１００Ｒとの相対的な動きに応じて常に仮想空間１５０内を相対的に移動している。

【0023】

本実施形態では、仮想カメラ１３０の仮想的な撮像系は、常に仮想移動体１００を、画面の中央に置くように、仮想移動体１００と同じ方向に移動して、仮想撮像系が、仮想移動体１００を画面中央に置かれるように仮想移動体１００を追随するようになっていることが望ましい。なお、仮想カメラ１３０と仮想移動体１００との相対的な距離及び仮想カメラの撮像系のパラメータは、現実の移動体１００Ｒに搭乗しているオペレータ（ドライバ)の指示により自由に設定できるようになっていることが望ましい。仮想カメラ１３０の撮像する映像を、現実の移動体１００Ｒのオペレータ（ドライバ)等が見ることができるように運転席の近傍に表示装置が設置されることが望ましい。

【0024】

なお、認識された二輪車や人間なども、仮想空間に置くことができる。したがって、本実施形態においては、ドライバの運転において認識されることが必要となる現実のオブジェクトについては、仮想空間内に配置できるように、認識できるオブジェクトの網羅性を担保しておくことが望ましい。
なお、仮想空間に現実の移動体１００Ｒに対する対向車については、図１（Ａ）に描かれていないが、対向車についても認識対象とすることが望ましい。

【0025】

図２は、一実施形態の機能ブロック図である。移動体計測部２１０は、現実の移動体１００Ｒ内に設置された速度計、加速度計、ジャイロなどのセンサ類（不図示）等からの情報を受け取る。移動体計測部２１０で得られた現実の移動体１００Ｒの情報は仮想空間構築部２５０に送られる。

【0026】

周辺オブジェクト計測部２２０は、現実の移動体１００Ｒに設置されたカメラ（１０１ａないし１０１ｄ）からの周辺の他の移動体及びオブジェクトの映像情報、レーダ１０３による周辺の他の移動体及びオブジェクトの相対速度及び位置等の情報、無線アンテナ１０５で受信されたＧＰＳの情報及び無線ネットワークに接続された他のシステムからの諸情報（道路情報、道路の設置されたカメラからの映像等）を受け取る。周辺オブジェクト計測部２２０で受け取られた情報は仮想空間構築部２５０及びオブジェクト認識部２３０に送られる。

【0027】

オブジェクト認識部２３０は、周辺オブジェクト計測部２２０で受け取られた情報を基にして、周辺に存在する他の移動体及び路上のポール等のオブジェクトを認識し、認識された結果を仮想空間構築部２５０に送る。

【0028】

仮想空間構築部２５０は、カーナビゲーションデータベース２７０から道路の形状を取得し、仮想空間１５０に道路のモデルを形成する。また、仮想空間構築部２５０は、移動体計測部２１０からの情報を基にして、現実の移動体１００Ｒに対応する仮想移動体１００を仮想空間１５０に形成された仮想的な上記の道路に位置させ、現実の移動体１００Ｒに対応する速度で仮想的な上記道路を走行させる。仮想移動体１００の三次元形状は、仮想空間構築部２５０に保存されていてもよく、或いは３Ｄモデルデータベース２４０から取得されてもよい。

【0029】

更に仮想空間構築部２５０はオブジェクト認識部２３０から得られた情報を基にして、周辺の他の移動体及びオブジェクトに対応する仮想モデルを３Ｄモデルデータベースから取得する。仮想空間構築部２５０は、得られた周辺の他の移動体及びオブジェクトに対応する仮想モデルを仮想空間に置く。仮想空間構築部２５０は、周辺の他の移動体及びオブジェクトに対応する仮想モデルを、周辺オブジェクト計測部２２０の情報を基にして、仮想モデルの各々を仮想的な道路に走行させる。
また、仮想空間構築部２５０は、仮想空間の情報をレンダリング部２６０及びレコーダ部２８０に送る。

【0030】

レンダリング部２６０は、オペレータ（ドライバ）から指示された仮想カメラ指示情報を基にして、仮想カメラ１３０のパラメータを設定し、仮想空間１５０を撮像した情報を、レンダリング部２６０に送る。

【0031】

レンダリング部２６０は、仮想空間１５０を仮想カメラ１３０から撮像した二次元映像を生成する。生成された二次元映像は、表示装置に送られる。レンダリング部は、仮想移動体１００と相対的に移動している周辺の他の移動体に関して、前記相対速度が容易に識別できるように、周辺の移動体の残像を細切れ的に表示したり又は周辺の移動体の所定時間だけ過去の映像を、例えば過去の映像になるほど透明度を増加させて二次元画像に重畳して表示したりしてもよい。あるいは、周辺の移動体の移動状況がわかるように、周辺の移動体に軌跡（ブレ）を付加するようにしてもよい。どの程度過去の残像又は過去の他の移動体の映像までを表示させるかは、あらかじめ定めておくか、オペレータ（ドライバ)の指示に基づいて適宜変更してもよい。
なお、自己の移動体、対向して走行する移動体、自己の移動体との相対速度の絶対値あるいは相対速度変化の絶対値が所定の値より小さい移動体、自己の移動体よりも速度が遅い移動体、又は静止しているオブジェクト等については、残像、過去の映像等を表示させないようにしたり、或いはこれらの移動体のうちの一部の移動体又はオブジェクトについて残像、過去の映像等を表示させないようにしたり、移動体又はオブジェクトの種類或いは性質に応じて、表示の効果を異ならせるようにしたりすることができる。

【0032】

レコーダ部２８０は、時々刻々と変化する仮想空間の情報をメモリ７０４又は記憶媒体７６０に蓄積する。レコーダ部に蓄積される情報は、仮想空間１５０の情報であるため、現実の走行映像を記録するドライブレコーダよりも、より圧縮された情報を記録することができる。このため、消費する記憶容量を削減することができる。また、記録された時々刻々変化する仮想空間の情報は、仮想カメラを移動させることにより、後に記録情報を再生するときに、視点を変えて仮想空間を二次元画像でディスプレイに表示させることができる。

【0033】

図３は、一実施形態における第１の表示画像の例を示す図である。図３の画像は、仮想カメラ１３０が仮想空間１５０を撮像した画像である。現在時刻における仮想移動体１００、現在時刻における周辺移動体３１０、現在時刻に路肩に存在するポール３３０が表示されている。
図２において、残像３１２、残像３１４及び残像３１６は、周辺移動体３１０の残像の画像である。

【0034】

例えば、残像３１２は、現在時刻よりも時間ｄだけ過去の周辺移動体３１０の残像であってもよい。そして、残像３１２は、周辺移動体３１０よりも透明度をΔ％増加させた画像であってもよい。したがって、残像３１２は、周辺移動体３１０よりも透明度をΔ％増加させた画像であり、常に周辺移動体３１０よりも時間ｄだけ過去の画像であってもよい。この場合、残像３１２は仮想移動体１００よりも相対速度が速ければ、周辺移動体３１０を追随しているように見えることとなる。なお、上記の記載において、「透明度」とは、透明度１００％が完全な透明を意味し、透明度０％が完全な不透明を意味する語として用いている。

【0035】

あるいは、残像３１２は、ある時刻よりも所定の時間だけ過去の周辺移動体３１０の瞬間的な画像であって透明度をΔ％だけ増加させた画像であってもよい。すなわち、周辺移動体３１０は、所定のインターバル時間ｄで、残像を残すようにさせることとしてもよい。この場合、残像３１２は仮想移動体１００よりも相対速度が速ければ、周辺移動体３１０が、所定のインターバルｄ毎に、周辺移動体１００の静止画であって、透明度をΔ％増加させた静止画を残しながら移動しているように見えることとなる。

【0036】

残像３１４は、残像３１２よりも時間ｄだけ、過去の画像であって、更に透明度をΔ％増加させた画像であり、残像３１６は、残像３１４よりも時間ｄだけ、過去の画像であって、更に透明度をΔ％増加させた画像であってもよい。なお、透明度を増加させる値は、それぞれの残像で異なってもよい。また、残像のインターバルｄがそれぞれの残像で異なっていてもよい。なお、残像をいくつ残すかは、あらかじめ定めておいてもよい。あるいは、透明度を増加させた際に透明度が１００％以上になった場合には、残像を消すとともに、描画対象から除外してもよい。

【0037】

このように、周辺画像３１０の残像を残して、映像を生成することにより、周辺移動体３１０が、仮想移動体１００と相対的にどのような速度で移動しているかを知ることができる。

【0038】

なお、上述の説明では、仮想移動体１００の速度が変化しても、画像において静止しているように仮想カメラ１３０を移動させた場合を例に説明したが、仮想移動体１００が移動するように画像を生成してもよい。

【0039】

図３の例では、１つの仮想移動体１００のみを示したが、複数の仮想移動体を同様に表示するようにしてもよい。また、対向車をも表示させてもよい。仮想移動体３１０は、四輪車に限られず、二輪車、自転車などであってもよい。

【0040】

残像３１２、残像３１４、残像３１６は、仮想移動体１００と相対的な関係を保って表示されるようにすることが望ましい。したがって、残像は、静止している道路或いは路肩のポールとの相対的な位置関係が保たれないこととなってもよい。
なお、静止している路肩のポール３３０は、残像を残さないように表示させることが望ましい。
図４は、一実施形態における第１の表示画像の変形例を示す図である。

【0041】

図４におけるブレの画像３６０は、残像３１２、残像３１４及び残像３１６等にぼかしの効果を加えて、周辺移動体３１０の動きの様子を表現したものである。ブレの画像は、上述の処理以外にも多様な処理によって表現できることは言うまでもない。このような効果を表示することによって、オペレータ（ドライバ）に対して、より分かりやすい映像が提供できる。

【0042】

図５は、一実施形態における第２の表示画像の例を示す図である。
図５は、周辺移動体４１０の速度が、仮想移動体１００よりも遅いトラックの場合の例を示している。この場合には、現在時刻の周辺移動体４１０が表示されており、過去にさかのぼるにつれて、残像４１２、残像４１４、残像４１６が、周辺移動体４１０の前に表示されるようになる。なお、このトラックのように、周辺移動体４１０の速度が仮想移動体１００よりも遅い場合には、残像４１２、残像４１４及び残像４１６を表示させないようにしてもよい。このように周辺移動体４１０の速度が仮想移動体１００よりも遅い場合には、残像がトラックのフロント部分に重なるため、人間にとってトラック（周辺移動体４１０）の形状が認識しづらくなる場合がある。そのため、このような状況においては、残像を表示させないようにすることで、人間にとって、トラック（周辺移動体４１０）の移動の状況よりもトラックの形状をはっきりと認識させることができる場合がある。また、周辺移動体４１０と仮想移動体１００との相対速度の絶対値が所定の値より小さい場合には、残像の重なりが強くなり、人間にとってトラックの形状が認識しづらくなる場合がある。そのため、このような状況においては、残像を表示させないようにすることで、人間にとって、トラックの移動の状況よりもトラックの形状をはっきりと認識させることができる場合がある。
このように、仮想移動体１００に対する周辺移動体４１０の相対速度が特定の条件を満たす場合に、周辺移動体１００の表示に与える効果を変化させるようにしてもよい。
インターバル時間ｄ及び透明度Δ％については、図３と同様であるので、説明を省略する。
図６は、一実施形態における周囲の移動体の残像の表示の第１のフローチャートである。以下に各ステップについて、説明する。

【0043】

[ステップＳ５００]本実施形態の処理フローは、所定のインターバルで割り込みにより開始される。なお、処理の開始の契機は、割り込みに限定されるものではない。処理はステップＳ５１０に進む。
[ステップＳ５１０]ステップ５１０は、ステップＳ５２６との間に存在する各ステップの処理を、周辺のオブジェクト全てについて繰り返す。

【0044】

[ステップＳ５１２]例えば、現実の移動体１００Ｒに搭載されているカメラからの映像に基づいてパターン認識により認識されたオブジェクトが、新たなものであるかが判断される。新たなものであれば（「はい」）、ステップＳ５１４に進む。既に認識済みであり、新たなものでない場合には（「いいえ」）、ステップＳ５１６に進む。

【0045】

[ステップＳ５１４]新たなオブジェクトを判定し、対応する仮想モデルを特定する。認識されるべきオブジェクトが新たなものである場合には、パターン認識、機械学習の技術等を用いて、どのような車種であるか、或いはどのようなオブジェクトであるかが判定され、対応するモデルが特定される。パターン認識においては、例えば移動体であれば、ヘッドライトの位置、車体の様々なデザインなどの特徴に基づいて、その特徴に最も合致する車種を特定する。特定された車種に基づいて、３Ｄモデルデータベース２４０から、特定された車種の３Ｄモデルを検索し取得する。静止している路上のポール３３０についても特徴を抽出し、オブジェクトの認識を行い、３Ｄモデルの検索及び取得が行われる。取得された３Ｄモデルは、仮想空間を構築する際及びレンダリングの際に利用される。次にステップＳ５１６に進む。

【0046】

[ステップＳ５１６]オブジェクトを判定し仮想モデルを特定する。認識された１つ以上のオブジェクトの位置に基づいて、仮想空間１５０内の適切な位置に仮想モデルを配置する。次にステップＳ５１８に進む。
[ステップＳ５１８]レコーダにおいて仮想空間を記録する。オペレータ（ドライバ）等により、仮想空間を記録することが指示されている場合には、その時刻における仮想空間をメモリ７０４又は記憶媒体７６０に記憶する。次にステップＳ５２０に進む。

【0047】

[ステップＳ５２０]現在時刻から時間ｄだけ前の周辺の移動体のモデルの位置が特定される。この場合の位置とは、仮想移動体１００との相対的な位置を保持するようにすることが望ましく、静止している道路又は路肩のポール３３０との位置関係がずれてもよい。このようにすることによって、オペレータ（ドライバ）は、自己の仮想移動体１００と周辺の他の移動体との過去の位置関係を把握することができる。次にステップＳ５２２に進む。

【0048】

[ステップＳ５２２] 現在時刻から時間２ｄだけ前の周辺の移動体のモデルの位置が特定される。その他の処理は、ステップＳ５２０と同様である。次にステップＳ５２４に進む。

【0049】

[ステップＳ５２４] 現在時刻から時間３ｄだけ前の周辺の移動体のモデルの位置が特定される。その他の処理は、ステップＳ５２０と同様である。なお、図６に示す実施形態では、現在時刻から時間３ｄだけ前の周辺の移動体の処理だけを示したが、どれだけ過去までの移動体のモデルを処理するかは、あらかじめ定めておけばよい。したがって、実施形態の処理は、図６に限定されるものではない。次にステップＳ５２６に進む。

【0050】

[ステップＳ５２６]他の未処理のオブジェクトが存在する場合には、ステップＳ５１０に戻る。他の未処理のオブジェクトが存在しなければ、ステップＳ５２８に進む。

【0051】

[ステップＳ５２８]仮想空間１５０に対して、仮想カメラ１３０から撮像した二次元映像がレンダリングされる。なお、時間ｄだけ過去のモデルについては、現在時刻の周辺移動体よりも、透明度をΔ％だけ増加させ、時間２ｄだけ過去のモデルについては透明度を２Δ％だけ増加させ、時間３ｄだけ過去のモデルについては透明度を３Δ％だけ増加させてレンダリングを行って、図３に示される画像を取得することができる。なお、過去のモデルを一定のインターバルｄ毎に生成するようにした例を示したが、インターバルは一定でなくてもよい。また、透明度についても、所定の割合で透明度を増加させるのではなく、表示装置の特性などを考慮して、それぞれの過去のモデルの透明度を個別に変化させてもよい。

【0052】

以上の処理を行うことによって、図３に示されるように、現在における周辺移動体３１０の画像に追随するように、時間ｄだけ現在より過去の時刻における周辺移動体３１２が、Δ％だけ透明度を増加させて表示されるようになる。過去の周辺移動体３１４及び過去の周辺移動体３１６についてもすでに説明したとおりであるので、説明を省略する。

【0053】

図６の処理を用いることにより、過去の複数の時点における周辺移動体（３１２、３１４、３１６）が、滑らかに周辺移動体３１０に追随して移動するように映像が生成される。

【0054】

図６の処理を行うことによって、仮想移動体１００との関係で周辺移動体がどのように相対的に移動しているかを、オペレータ（ドライバ）に対して、より分かりやすく表示することができる。
なお、図４のように、ブレを表示させるためには、過去の複数の時点における周辺移動体（３１２、３１４、３１６）をぼかして表示させるようにしてもよい。あるいは、図７に示す過去の残像をぼかして表示するようにしてもよい。なお、ブレの表現については、これらの手法に限定されるものではない。

【0055】

図７は、一実施形態における周囲の移動体の残像の表示の第２のフローチャートである。以下に各ステップについて、説明する。
[ステップＳ６００] 本実施形態の処理フローは、所定のインターバルで割り込みにより開始される。なお、処理の開始の契機は、割り込みに限定されるものではない。処理はステップＳ６１０に進む。
[ステップＳ６１０]ステップ６１０は、ステップＳ６２６との間に存在する各ステップの処理を、周辺のオブジェクト全てについて繰り返す。

【0056】

[ステップＳ６１２]例えば、現実の移動体１００Ｒに搭載されているカメラからの映像に基づいてパターン認識により認識されたオブジェクトが、新たなものであるかが判断される。新たなものであれば（「はい」）、ステップＳ６１４に進む。既に認識済みであり、新たなものでない場合には、ステップＳ６１６に進む。

【0057】

[ステップＳ６１４] 新たなオブジェクトを判定し、対応する仮想モデルを特定する。認識されるべきオブジェクトが新たなものである場合には、パターン認識の技術を用いて、どのような車種であるか、或いはどのようなオブジェクトであるかが判定され、対応するモデルが特定される。パターン認識においては、例えば移動体であれば、ヘッドライトの位置、車体の様々なデザインなどの特徴に基づいて、その特徴に最も合致する車種を特定する。特定された車種に基づいて、３Ｄモデルデータベースから、特定された車種の３Ｄモデルを検索し取得する。静止している路上のポール３３０についても特徴を抽出し、オブジェクトの認識を行い、３Ｄモデルの検索及び取得が行われる。取得された３Ｄモデルは、仮想空間を構築する際及びレンダリングの際に利用される。次にステップＳ６１６に進む。

【0058】

[ステップＳ６１６] オブジェクトを判定し仮想モデルを特定する。認識された１つ以上のオブジェクトの位置に基づいて、仮想空間１５０内の適切な位置にモデルを配置する。次にステップＳ６１８に進む。

【0059】

[ステップＳ６１８]レコーダにおいて仮想空間を記録する。オペレータにより、仮想空間を記録することが指示されている場合には、その時刻における仮想空間をメモリ７０４又は記憶媒体７６０に記憶する。次にステップＳ６２０に進む。

【0060】

[ステップＳ６２０]インターバルの時間ｄ１が経過したかがチェックされる。インターバルの時間ｄ１が経過した場合（「はい」）には、インターバルの計測をゼロリセットして、ステップＳ６２２に進む。インターバルの時間ｄ１が経過していない場合（「いいえ」）には、ステップＳ６２４に進む。

【0061】

[ステップＳ６２２] 周辺の移動体については現在時刻のモデルの描画を残像として残す。ステップＳ６２２に進む。このステップによって、残像は、インターバルの時間ｄ１毎に順次複数個生成されることになる。

【0062】

[ステップＳ６２４] 複数の残像の各々の透明度をΔ％増加させる。透明度が１００％以上になった残像は描画対象から除外してもよい。残像は、仮想移動体１００との位置関係を維持することが望ましい。なお、透明度が１００％以上にならなくても、所定の時間だけ過去の残像は描画対象から除外するようにしてもよい。なお、レンダリングは、ステップＳ６２８においてまとめて行うことができる。ステップＳ６２６に進む。

【0063】

[ステップＳ６２６] 他の未処理のオブジェクトが存在する場合には、ステップＳ６１０に戻る。他の未処理のオブジェクトが存在しなければ、ステップＳ６２８に進む。

【0064】

[ステップＳ６２８] 仮想空間１５０に対して、仮想カメラ１３０から撮像した二次元映像がレンダリングされる。なお、時間ｄ１だけ過去の残像については透明度をΔ％だけ増加させ、時間２ｄだけ過去の残像については透明度を２Δ％だけ増加させ、時間３ｄだけ過去の残像については透明度を３Δ％だけ増加させてレンダリングを行って、図３に示される画像を取得することができる。なお、残像を一定のインターバルｄ１毎に生成する例を示したが、インターバルは一定でなくてもよい。また、透明度についても、所定の割合で透明度を増加させるのではなく、表示装置の特性などを考慮して、それぞれの過去のモデルの透明度を個別に変化させてもよい。

【0065】

以上の処理を行うことによって、図３に示されるように、現在における周辺移動体３１０の画像が、複数の残像を残すように、時間ｄ１だけ隔てて、順にΔ％だけ透明度を更に増加させて表示されるようになる。
図７の処理を用いることにより、周辺移動体３１２の残像（３１２、３１４、３１６）が、インターバル時間ｄ１毎に生成される。

【0066】

図７の処理を行うことによって、仮想移動体１００との関係で周辺移動体がどのように相対的に移動しているかを、オペレータ（ドライバ）に対して、より分かりやすく表示することができる。

【0067】

＜ハードウエア構成＞
図８は、一実施形態のハードウエア構成７００を示す図である。

【0068】

ハードウエア構成７００は、ＣＰＵ７０２、メモリ７０４、通信制御装置７０６、入力インタフェース７０８、表示制御部７１０、外部メモリ制御部７１２及び出力インタフェース７１４を有する。

【0069】

そして、通信制御装置７０６には、インターネット、ＣＡＮ７３１（コントローラエリアネットワーク）などのネットワークが接続される。入力インタフェース７０８には、タッチ感知センサ７４０、ＧＰＳ７４２、カメラ７４４などが接続される。表示制御部７１０には、ディスプレイ７５０が接続される。外部メモリ制御部７１２は、記憶媒体７６０を読み書きすることができる。出力インタフェースには、スピーカ７７０などが接続される。
記憶媒体７６０は、ＲＡＭ、ＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、メモリーカード等であってもよい。

【0070】

以上説明した実施形態のプログラムは、ハードウエア構成７００を備えるコンピュータにより実行され得る。また，実施形態のプログラムは，コンピュータに実行させる方法として，インプリメントされてもよい。本実施形態のプログラムの一部又は全部は、オペレーティングシステムにより実行されてもよい。また、プログラムの一部がハードウエアにより実現されてもよい。プログラムは記憶媒体７６０又はメモリ７０４に記憶されてもよい。
なお，上述の実施形態において，プログラムのステップは、矛盾のない限り，同時に，又は順序を入れ替えて実行されてもよい。
以上の実施形態は，ハードウエアの装置としてインプリメントされ得る。
以上の実施形態は，請求項に記載された発明を限定するものではなく，例示として取り扱われることは言うまでもない。

【符号の説明】

【0071】

２１０ 移動体計測部
２２０ 周辺オブジェクト計測部
２３０ オブジェクト認識部
２４０ ３Ｄモデルデータベース
２５０ 仮想空間構築部
２６０ レンダリング部
２７０ カーナビゲーションデータベース
２８０ レコーダ部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】