特許 6095985 再生装置、再生システム、再生方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6095985

(24)【登録日】2017年2月24日

(45)【発行日】2017年3月15日

(54)【発明の名称】再生装置、再生システム、再生方法及びプログラム

(51)【国際特許分類】

   G07C 5/00 20060101AFI20170306BHJP

   G06T 1/00 20060101ALI20170306BHJP

【ＦＩ】

   G07C5/00 Z

   G06T1/00 330

【請求項の数】11

【全頁数】36

(21)【出願番号】特願2013-1601(P2013-1601)

(22)【出願日】2013年1月9日

(65)【公開番号】特開2014-134912(P2014-134912A)

(43)【公開日】2014年7月24日

【審査請求日】2015年11月18日

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】富士通テン株式会社

(72)【発明者】

【氏名】森本 竜一

(72)【発明者】

【氏名】澤田 康嘉

(72)【発明者】

【氏名】村角 美紀

【審査官】 小島 哲次

(56)【参考文献】

【文献】 特開２００８−２２１９０６（ＪＰ，Ａ）

【文献】 特開２０１２−２５３６０９（ＪＰ，Ａ）

【文献】 英国特許出願公開第０２４４１３８９（ＧＢ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０７Ｃ ５／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

映像を再生する再生装置であって、
車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを取得する取得手段と、
前記周辺映像及び前記検知データの少なくとも一つに基いて、前記車両の走行中のイベントを検出する検出手段と、
前記周辺映像に基いて、表示装置で再生するための再生映像を生成する生成手段と、
を備え、
前記周辺映像は、前記車両の周辺の互いに異なる方向を示す複数の方向画像を含み、
前記生成手段は、前記複数の方向画像に基いて、仮想視点からみた前記車両の周辺を示す合成画像を前記再生映像として生成し、
前記再生映像は、前記イベントの発生時点の所定時間前に相当する再生時点から前記車両を周回しながら前記車両の周辺を示す動画表現を行うことを特徴とする再生装置。

【請求項2】

映像を再生する再生装置であって、
車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを取得する取得手段と、
前記周辺映像及び前記検知データの少なくとも一つに基いて、前記車両の走行中のイベントを検出する検出手段と、
前記周辺映像に基いて、表示装置で再生するための再生映像を生成する生成手段と、
を備え、
前記周辺映像は、前記車両の周辺の互いに異なる方向を示す複数の方向画像を含み、
前記生成手段は、前記生成手段は、前記複数の方向画像に基いて、仮想視点からみた前記車両の周辺を示す合成画像を前記再生映像として生成し、
前記再生映像は、前記イベントの発生時点の所定時間前に相当する再生時点から前記車両の周囲全体の領域を分割した複数の分割領域を順次に拡大して示す動画表現を行うことを特徴とする再生装置。

【請求項3】

映像を再生する再生装置であって、
車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを取得する取得手段と、
前記周辺映像及び前記検知データの少なくとも一つに基いて、前記車両の走行中のイベントを検出する検出手段と、
前記周辺映像に基いて、表示装置で再生するための再生映像を生成する生成手段と、
を備え、
前記検出手段は、前記周辺映像及び前記検知データのいずれかに基いて、前記車両と他の物体との近接を検出し、
前記生成手段は、前記近接の時点に相当する再生時点において前記他の物体に向いた前記再生映像を生成することを特徴とする再生装置。

【請求項4】

映像を再生する再生装置であって、
車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを取得する取得手段と、
前記周辺映像及び前記検知データの少なくとも一つに基いて、前記車両の走行中のイベントを検出する検出手段と、
前記周辺映像に基いて、表示装置で再生するための再生映像を生成する生成手段と、
を備え、
前記検知データは、前記車両の位置を含み、
前記検出手段は、前記車両の位置に基いて予め定められた登録地点への前記車両の接近を検出し、
前記生成手段は、前記登録地点に向いた前記再生映像を生成することを特徴とする再生装置。

【請求項5】

映像を再生する再生装置であって、
車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを取得する取得手段と、
前記周辺映像及び前記検知データの少なくとも一つに基いて、前記車両の走行中のイベントを検出する検出手段と、
前記周辺映像に基いて、表示装置で再生するための再生映像を生成する生成手段と、
を備え、
前記検知データは、前記車両のドライバの視線の方向を含み、
前記検出手段は、前記視線の方向の変化を検出し、
前記生成手段は、前記視線の先の対象に向いた前記再生映像を生成することを特徴とする再生装置。

【請求項6】

再生システムであって、
車両で用いられ、前記車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを記録する記録装置と、
前記記録装置で記録された前記周辺映像を再生する請求項１ないし５のいずれかに記載の再生装置と、
を備えることを特徴とする再生システム。

【請求項7】

映像を再生する再生方法であって、
（ａ）取得手段が、車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを取得する工程と、
（ｂ）検出手段が、前記周辺映像及び前記検知データの少なくとも一つに基いて、前記車両の走行中のイベントを検出する工程と、
（ｃ）生成手段が、前記周辺映像に基いて、表示装置で再生するための再生映像を生成する工程と、
を備え、
前記周辺映像は、前記車両の周辺の互いに異なる方向を示す複数の方向画像を含み、
前記工程（ｃ）は、前記複数の方向画像に基いて、仮想視点からみた前記車両の周辺を示す合成画像を前記再生映像として生成し、
前記再生映像は、前記イベントの発生時点の所定時間前に相当する再生時点から前記車両を周回しながら前記車両の周辺を示す動画表現を行うことを特徴とする再生方法。

【請求項8】

コンピュータによって実行可能なプログラムであって、
前記コンピュータに、
（ａ）車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを取得する工程と、
（ｂ）前記周辺映像及び前記検知データの少なくとも一つに基いて、前記車両の走行中のイベントを検出する工程と、
（ｃ）前記周辺映像に基いて、表示装置で再生するための再生映像を生成する工程と、
を実行させ、
前記周辺映像は、前記車両の周辺の互いに異なる方向を示す複数の方向画像を含み、
前記工程（ｃ）は、前記複数の方向画像に基いて、仮想視点からみた前記車両の周辺を示す合成画像を前記再生映像として生成し、
前記再生映像は、前記イベントの発生時点の所定時間前に相当する再生時点から前記車両を周回しながら前記車両の周辺を示す動画表現を行うことを特徴とするプログラム。

【請求項9】

映像を再生する再生方法であって、
（ａ）取得手段が、車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを取得する工程と、
（ｂ）検出手段が、前記周辺映像及び前記検知データの少なくとも一つに基いて、前記車両の走行中のイベントを検出する工程と、
（ｃ）生成手段が、前記周辺映像に基いて、表示装置で再生するための再生映像を生成する工程と、
を備え、
前記工程（ｂ）は、前記周辺映像及び前記検知データのいずれかに基いて、前記車両と他の物体との近接を検出し、
前記工程（ｃ）は、前記近接の時点に相当する再生時点において前記他の物体に向いた前記再生映像を生成することを特徴とする再生方法。

【請求項10】

コンピュータによって実行可能なプログラムであって、
前記コンピュータに、
（ａ）車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを取得する工程と、
（ｂ）前記周辺映像及び前記検知データの少なくとも一つに基いて、前記車両の走行中のイベントを検出する工程と、
（ｃ）前記周辺映像に基いて、表示装置で再生するための再生映像を生成する工程と、
を実行させ、
前記工程（ｂ）は、前記周辺映像及び前記検知データのいずれかに基いて、前記車両と他の物体との近接を検出し、
前記工程（ｃ）は、前記近接の時点に相当する再生時点において前記他の物体に向いた前記再生映像を生成することを特徴とするプログラム。

【請求項11】

映像を再生する再生方法であって、
（ａ）取得手段が、車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを取得する工程と、
（ｂ）検出手段が、前記周辺映像及び前記検知データの少なくとも一つに基いて、前記車両の走行中のイベントを検出する工程と、
（ｃ）生成手段が、前記周辺映像に基いて、表示装置で再生するための再生映像を生成する工程と、
を備え、
前記検知データは、前記車両の位置を含み、
前記工程（ａ）は、前記車両の位置に基いて予め定められた登録地点への前記車両の接近を検出し、
前記工程（ｃ）は、前記登録地点に向いた前記再生映像を生成することを特徴とする再生方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の走行中に得られた映像を再生する技術に関する。

【背景技術】

【0002】

従来より、車両で用いられ、車両の走行中に車両の周辺を撮影するカメラを用いて得られた周辺映像を、メモリカードなどの記録媒体に記録する記録装置であるドライブレコーダが知られている。

【0003】

ユーザは、ドライブレコーダで記録された周辺映像を再生する再生装置を用いて周辺映像の内容を確認することで、走行中における車両の周辺の状況を事後的に把握できる。これにより、ユーザは、車両と他の物体との衝突などのイベントが発生した場合にも、そのイベントの発生時点の状況を事後的に把握することができる。

【0004】

また、近年では、自車両の全周囲のデータを含む周辺映像をドライブレコーダで記録し、カメラとは別の視点からみた車両の周辺の状況を示す再生映像を再生装置において生成する技術も提案されている（例えば、特許文献１参照。）。このような技術を利用することで、ユーザは、ドライバの視点や他の車両からの視点で、走行中における車両の周辺の状況を事後的に把握することができる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１１−２２７５７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、上記の再生装置においては、特許文献１の技術を利用したとしても、再生映像の視点の位置及び方向は、再生中にわたって固定される。このため、再生映像の視点から死角となる領域で、車両と他の物体との衝突などのイベントが生じた場合には、その時点の状況を的確に把握できない。

【0007】

仮に、ユーザが再生映像の視点の位置や方向を再生前に設定できたとしても、ユーザは車両の周辺のいずれの領域でイベントが発生したかを再生映像の再生前には把握できない。このため、ユーザが、再生映像の再生前に適切な視点を設定することは困難である。

【0008】

本発明は、上記課題に鑑みてなされたものであり、イベントが発生した時点の車両の周辺の状況を事後的に的確に把握できる技術を提供することを目的とする。

【課題を解決するための手段】

【0009】

上記課題を解決するため、請求項１の発明は、映像を再生する再生装置であって、車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを取得する取得手段と、前記周辺映像及び前記検知データの少なくとも一つに基いて、前記車両の走行中のイベントを検出する検出手段と、前記周辺映像に基いて、表示装置で再生するための再生映像を生成する生成手段と、を備え、前記周辺映像は、前記車両の周辺の互いに異なる方向を示す複数の方向画像を含み、前記生成手段は、前記複数の方向画像に基いて、仮想視点からみた前記車両の周辺を示す合成画像を前記再生映像として生成し、前記再生映像は、前記イベントの発生時点の所定時間前に相当する再生時点から前記車両を周回しながら前記車両の周辺を示す動画表現を行う。

【0012】

また、請求項２の発明は、映像を再生する再生装置であって、車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを取得する取得手段と、前記周辺映像及び前記検知データの少なくとも一つに基いて、前記車両の走行中のイベントを検出する検出手段と、前記周辺映像に基いて、表示装置で再生するための再生映像を生成する生成手段と、を備え、前記周辺映像は、前記車両の周辺の互いに異なる方向を示す複数の方向画像を含み、前記生成手段は、前記複数の方向画像に基いて、仮想視点からみた前記車両の周辺を示す合成画像を前記再生映像として生成し、前記再生映像は、前記イベントの発生時点の所定時間前に相当する再生時点から前記車両の周囲全体の領域を分割した複数の分割領域を順次に拡大して示す動画表現を行う。

【0014】

また、請求項３の発明は、映像を再生する再生装置であって、車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを取得する取得手段と、前記周辺映像及び前記検知データの少なくとも一つに基いて、前記車両の走行中のイベントを検出する検出手段と、前記周辺映像に基いて、表示装置で再生するための再生映像を生成する生成手段と、を備え、前記検出手段は、前記周辺映像及び前記検知データのいずれかに基いて、前記車両と他の物体との近接を検出し、前記生成手段は、前記近接の時点に相当する再生時点において前記他の物体に向いた前記再生映像を生成する。

【0015】

また、請求項４の発明は、映像を再生する再生装置であって、車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを取得する取得手段と、前記周辺映像及び前記検知データの少なくとも一つに基いて、前記車両の走行中のイベントを検出する検出手段と、前記周辺映像に基いて、表示装置で再生するための再生映像を生成する生成手段と、を備え、前記検知データは、前記車両の位置を含み、前記検出手段は、前記車両の位置に基いて予め定められた登録地点への前記車両の接近を検出し、前記生成手段は、前記登録地点に向いた前記再生映像を生成する。

【0016】

また、請求項５の発明は、映像を再生する再生装置であって、車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを取得する取得手段と、前記周辺映像及び前記検知データの少なくとも一つに基いて、前記車両の走行中のイベントを検出する検出手段と、前記周辺映像に基いて、表示装置で再生するための再生映像を生成する生成手段と、を備え、前記検知データは、前記車両のドライバの視線の方向を含み、前記検出手段は、前記視線の方向の変化を検出し、前記生成手段は、前記視線の先の対象に向いた前記再生映像を生成する。

【0017】

また、請求項６の発明は、再生システムであって、車両で用いられ、前記車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを記録する記録装置と、前記記録装置で記録された前記周辺映像を再生する請求項１ないし５のいずれかに記載の再生装置と、を備えている。

【0018】

また、請求項７の発明は、映像を再生する再生方法であって、（ａ）取得手段が、車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを取得する工程と、（ｂ）検出手段が、前記周辺映像及び前記検知データの少なくとも一つに基いて、前記車両の走行中のイベントを検出する工程と、（ｃ）生成手段が、前記周辺映像に基いて、表示装置で再生するための再生映像を生成する工程と、を備え、前記周辺映像は、前記車両の周辺の互いに異なる方向を示す複数の方向画像を含み、前記工程（ｃ）は、前記複数の方向画像に基いて、仮想視点からみた前記車両の周辺を示す合成画像を前記再生映像として生成し、前記再生映像は、前記イベントの発生時点の所定時間前に相当する再生時点から前記車両を周回しながら前記車両の周辺を示す動画表現を行う。

【0019】

また、請求項８の発明は、コンピュータによって実行可能なプログラムであって、前記コンピュータに、（ａ）車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを取得する工程と、（ｂ）前記周辺映像及び前記検知データの少なくとも一つに基いて、前記車両の走行中のイベントを検出する工程と、（ｃ）前記周辺映像に基いて、表示装置で再生するための再生映像を生成する工程と、を実行させ、前記周辺映像は、前記車両の周辺の互いに異なる方向を示す複数の方向画像を含み、前記工程（ｃ）は、前記複数の方向画像に基いて、仮想視点からみた前記車両の周辺を示す合成画像を前記再生映像として生成し、前記再生映像は、前記イベントの発生時点の所定時間前に相当する再生時点から前記車両を周回しながら前記車両の周辺を示す動画表現を行う。
また、請求項９の発明は、映像を再生する再生方法であって、（ａ）取得手段が、車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを取得する工程と、（ｂ）検出手段が、前記周辺映像及び前記検知データの少なくとも一つに基いて、前記車両の走行中のイベントを検出する工程と、（ｃ）生成手段が、前記周辺映像に基いて、表示装置で再生するための再生映像を生成する工程と、を備え、前記工程（ｂ）は、前記周辺映像及び前記検知データのいずれかに基いて、前記車両と他の物体との近接を検出し、前記工程（ｃ）は、前記近接の時点に相当する再生時点において前記他の物体に向いた前記再生映像を生成する。
また、請求項１０の発明は、コンピュータによって実行可能なプログラムであって、前記コンピュータに、（ａ）車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを取得する工程と、（ｂ）前記周辺映像及び前記検知データの少なくとも一つに基いて、前記車両の走行中のイベントを検出する工程と、（ｃ）前記周辺映像に基いて、表示装置で再生するための再生映像を生成する工程と、を実行させ、前記工程（ｂ）は、前記周辺映像及び前記検知データのいずれかに基いて、前記車両と他の物体との近接を検出し、前記工程（ｃ）は、前記近接の時点に相当する再生時点において前記他の物体に向いた前記再生映像を生成する。
また、請求項１１の発明は、映像を再生する再生方法であって、（ａ）取得手段が、車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを取得する工程と、（ｂ）検出手段が、前記周辺映像及び前記検知データの少なくとも一つに基いて、前記車両の走行中のイベントを検出する工程と、（ｃ）生成手段が、前記周辺映像に基いて、表示装置で再生するための再生映像を生成する工程と、を備え、前記検知データは、前記車両の位置を含み、前記工程（ａ）は、前記車両の位置に基いて予め定められた登録地点への前記車両の接近を検出し、前記工程（ｃ）は、前記登録地点に向いた前記再生映像を生成する。

【発明の効果】

【0020】

請求項１、６ないし８の発明によれば、再生映像は、イベントの発生時点に相当する再生時点においてイベントに応じて特定される対象に向く。このため、ユーザは、イベントが発生した時点に相当する適切なタイミングで観察すべき対象に向いた再生映像を視認できるため、イベントが発生した時点の車両の周辺の状況を事後的に的確に把握できる。
また、仮想視点からみた車両の周辺を示す合成画像を再生映像として生成するため、イベントの発生時点の状況をさらに的確に把握できる。
また、再生映像は、イベントの発生時点の所定時間前に相当する再生時点から車両を周回しながら車両の周辺を示す動画表現を行う。このため、イベントの発生前における車両の周囲全体の状況を的確に把握することができる。

【0023】

また、特に請求項２の発明によれば、再生映像は、イベントが発生時点の所定時間前に相当する再生時点から車両の周囲全体の領域を分割した複数の分割領域を順次に拡大して示す動画表現を行う。このため、イベントの発生前における車両の周囲全体の状況を的確に把握することができる。

【0025】

また、特に請求項３、９、１０の発明によれば、再生映像は、車両と他の物体との近接の時点に相当する再生時点において当該他の物体に向く。このため、再生映像を視認するユーザは、車両と他の物体とが近接したときの状況を事後的に的確に把握できる。

【0026】

また、特に請求項４、１１の発明によれば、再生映像を視認するユーザは、登録地点の様子を事後的に把握できる。

【0027】

また、特に請求項５の発明によれば、再生映像を視認するユーザは、ドライバの視線の先の対象を事後的に把握できる。

【図面の簡単な説明】

【0028】

【図1】図１は、再生システムの概要を示す図である。

【図2】図２は、第１の実施の形態のドライブレコーダの構成を主に示す図である。

【図3】図３は、カメラが撮影する方向を示す図である。

【図4】図４は、画像処理部による画像処理の概要を示す図である。

【図5】図５は、メモリカードに記録されたデータの概要を示す図である。

【図6】図６は、再生装置の構成を主に示す図である。

【図7】図７は、合成画像を生成する手法を説明する図である。

【図8】図８は、ディスプレイに表示されるウィンドウの一例を示す図である。

【図9】図９は、合成画像の仮想視点の変化を示す図である。

【図10】図１０は、再生映像の変化を示す図である。

【図11】図１１は、衝突の時点前後の加速度データの一例を示す図である。

【図12】図１２は、第１の実施の形態の再生装置の処理の流れを示す図である。

【図13】図１３は、第１の実施の形態のイベント対応処理の流れを示す図である。

【図14】図１４は、合成画像の仮想視点の変化を示す図である。

【図15】図１５は、再生映像の変化を示す図である。

【図16】図１６は、第２の実施の形態のドライブレコーダの構成を示す図である。

【図17】図１７は、クリアランスソナーが配置される位置を示す図である。

【図18】図１８は、再生映像の変化を示す図である。

【図19】図１９は、第３の実施の形態の再生装置の構成を示す図である。

【図20】図２０は、第４の実施の形態の再生装置の構成を示す図である。

【図21】図２１は、地点テーブルの一例を示す図である。

【図22】図２２は、走行中の車両の位置の遷移例を示す図である。

【図23】図２３は、再生映像の変化を示す図である。

【図24】図２４は、合成画像の仮想視点の変化を示す図である。

【図25】図２５は、再生映像の変化を示す図である。

【図26】図２６は、第５の実施の形態のイベント対応処理の流れを示す図である。

【図27】図２７は、再生映像の変化を示す図である。

【図28】図２８は、第６の実施の形態のイベント対応処理の流れを示す図である。

【図29】図２９は、第７の実施の形態のドライブレコーダの構成を示す図である。

【図30】図３０は、合成画像の仮想視点の変化を示す図である。

【図31】図３１は、再生映像の変化を示す図である。

【図32】図３２は、第７の実施の形態の再生装置の処理の流れを示す図である。

【図33】図３３は、合成画像を生成する手法を説明する図である。

【図34】図３４は、ディスプレイに表示されるウィンドウの一例を示す図である。

【図35】図３５は、初期視点を示す図である。

【図36】図３６は、通常状態の時点に相当する再生時点の再生映像を示す図である。

【図37】図３７は、初期視点を示す図である。

【図38】図３８は、通常状態の時点に相当する再生時点の再生映像を示す図である。

【図39】図３９は、再生映像の変化を示す図である。

【発明を実施するための形態】

【0029】

以下、図面を参照しつつ本発明の実施の形態について説明する。

【0030】

＜１．第１の実施の形態＞
＜１−１．システムの概要＞
図１は、本実施の形態に係る再生システム１の概要を示す図である。再生システム１は、車両９の走行中に得られた映像を記録するドライブレコーダ２と、ドライブレコーダ２で記録された映像を再生する再生装置３とを備えている。

【0031】

ドライブレコーダ２は、自動車などの車両９で用いられ、車両９の走行中に得られた車両９の周辺を示す周辺映像を記録する。動画像である周辺映像には、車両９の周辺を撮影するカメラにより時間的に連続して得られた複数の静止画像が、そのフレームとして含まれている。ドライブレコーダ２は、イベントの発生の有無にかかわらず常時に周辺映像を記録する常時記録方式を採用している。

【0032】

また、ドライブレコーダ２は、車両９の走行中に周辺映像とともに得られた検知データも記録する。検知データには、車両９に搭載される各種のセンサで時間的に連続して得られた時系列のデータが含まれている。

【0033】

ドライブレコーダ２は、周辺映像及び検知データなどのデータを可搬性の記録媒体であるメモリカード８に記録する。ドライブレコーダ２で記録されたデータは、このメモリカード８を介して、再生装置３に受け渡される。なお、通信ケーブル、無線通信、及び、ネットワークなどを介して、ドライブレコーダ２で記録されたデータが再生装置３に受け渡されてもよい。

【0034】

再生装置３は、メモリカード８から周辺映像を取得し、周辺映像を再生する。再生装置３は、ディスプレイ３１を備えており、周辺映像に基いて再生用の動画像である再生映像を生成して、その再生映像をディスプレイ３１において表示する。

【0035】

また、再生装置３は、メモリカード８から検知データを取得し、検知データに基いて車両９の走行中に所定のイベントが発生したか否かを検出する。そして、再生装置３は、そのイベントの発生時点に相当する再生時点において、再生映像の視線をイベントに応じて特定される対象に向ける。

【0036】

本実施の形態では、再生装置３は、車両９と他の物体との衝突をイベントとして検出する。再生装置３は、衝突の時点に相当する再生時点において、再生映像の視線を衝突の発生箇所に向ける。したがって、このような再生映像を視認するユーザは、車両９と他の物体とが衝突したときの状況を事後的に的確に把握できるようになっている。以下、このような再生システム１の構成及び動作について詳細に説明する。

【0037】

＜１−２．ドライブレコーダの構成＞
まず、ドライブレコーダ２について説明する。図２は、ドライブレコーダ２の構成を主に示す図である。図２に示すように、ドライブレコーダ２は、画像を記憶する画像メモリ２１を備えている。

【0038】

画像メモリ２１は、例えば、揮発性の記憶装置であり、車両９に搭載される４つのカメラ４Ｆ，４Ｂ，４Ｌ，４Ｒのそれぞれで得られた画像を記憶する。４つのカメラ４Ｆ，４Ｂ，４Ｌ，４Ｒはそれぞれ、レンズと撮像素子とを備えており、電子的に画像を取得する。各カメラ４Ｆ，４Ｂ，４Ｌ，４Ｒは、所定の周期（例えば、１／３０秒周期）で繰り返し静止画像を取得する。各カメラ４Ｆ，４Ｂ，４Ｌ，４Ｒで取得された画像は、信号線を介してドライブレコーダ２に入力され、画像メモリ２１に記憶される。

【0039】

これら４つのカメラ４Ｆ，４Ｂ，４Ｌ，４Ｒは、車両９において互いに異なる位置に配置され、車両９の周辺の異なる方向を撮影する。図３は、４つのカメラ４Ｆ，４Ｂ，４Ｌ，４Ｒがそれぞれ撮影する方向を示す図である。フロントカメラ４Ｆは、車両９の前端に設けられ、その光軸４Ｆａは車両９の前後方向（Ｙ軸方向）に沿って前方に向けられる。リアカメラ４Ｂは、車両９の後端に設けられ、その光軸４Ｂａは車両９の前後方向に沿って後方に向けられる。左サイドカメラ４Ｌは左側の左サイドミラー９０Ｌに設けられ、その光軸４Ｌａは車両９の車両９の左右方向（Ｘ軸方向）に沿って左側方に向けられる。また、右サイドカメラ４Ｒは右側の右サイドミラー９０Ｒに設けられ、その光軸４Ｒａは車両９の左右方向に沿って右側方に向けられる。

【0040】

したがって、これら４つのカメラ４Ｆ，４Ｂ，４Ｌ，４Ｒにより、車両９の周辺の互いに異なる方向を示す４つの静止画像が取得される。また、各カメラ４Ｆ，４Ｂ，４Ｌ，４Ｒのレンズには魚眼レンズなどの広角レンズが採用され、各カメラ４Ｆ，４Ｂ，４Ｌ，４Ｒは１８０度以上の画角θを有している。このため、４つのカメラ４Ｆ，４Ｂ，４Ｌ，４Ｒを利用することで、車両９の全周囲を撮影することが可能である。以下、４つのカメラ４Ｆ，４Ｂ，４Ｌ，４Ｒのそれぞれで取得される静止画像を「方向画像」という。

【0041】

図２に戻り、ドライブレコーダ２は、また、画像処理部２２、及び、カードスロット２３を備えている。画像処理部２２は、例えば、所定の画像処理を行うハードウェア回路であり、画像メモリ２１に記憶された方向画像に基いて周辺映像を生成する。また、カードスロット２３は、メモリカード８を着脱可能であり、装着されたメモリカード８へ周辺映像及び検知データを書き込む。

【0042】

また、ドライブレコーダ２は、計時回路２４、及び、ＧＰＳ受信部２５を備えている。計時回路２４は、現時点の日付及び時刻を示す時刻データを取得する。また、ＧＰＳ受信部２５は、車両９の位置を示す位置データを取得する。ＧＰＳ受信部２５は、複数のＧＰＳ衛星からの信号を受信して、車両９の位置を緯度経度で示す位置データを取得する。

【0043】

また、ドライブレコーダ２は、車両９に設けられた加速度センサ９１、車速センサ９２及び舵角センサ９３のそれぞれと信号線を介して接続されている。加速度センサ９１は、車両９の車体にかかる加速度を示す加速度データを取得する。加速度センサ９１は、車両９の略中央部に配置され（図３参照。）、車両９の左右方向（Ｘ軸方向）、及び、車両９の前後方向（Ｙ軸方向）のそれぞれの加速度を検出する。Ｘ軸方向とＹ軸方向とは互いに直交している。これにより、加速度データには、車両９の左右方向（Ｘ軸方向）及び前後方向（Ｙ軸方向）それぞれの加速度が含まれる。

【0044】

車速センサ９２は、車両９の走行速度を示す車速データを取得する。車速センサ９２は、車両９のアウトプットシャフトの回転数に基いて車両９の走行速度を検出する。また、舵角センサ９３は、車両９のステアリングホイールの角度である舵角を示す舵角データを取得する。舵角センサ９３は、車両９のステアリングシャフトの回転数に基いて舵角を検出する。

【0045】

また、ドライブレコーダ２は、制御部２０、及び、記憶部２６を備えている。制御部２０は、例えば、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、ドライブレコーダ２の全体の動作を統括的に制御する。計時回路２４で得られた時刻データ、ＧＰＳ受信部２５で得られた位置データ、加速度センサ９１で得られた加速度データ、車速センサ９２で得られた車速データ、及び、舵角センサ９３で得られた舵角データは全て、制御部２０に入力される。制御部２０に入力されたこれら位置データ、加速度データ、車速データ、及び、舵角データは、メモリカード８に記録すべき検知データとなる。

【0046】

また、記憶部２６は、例えば、フラッシュメモリなどの不揮発性の記憶装置であり、ドライブレコーダ２の動作に必要なデータや、ファームウェアとしてのプログラム２６ａを記憶する。

【0047】

制御部２０の各種の機能は、記憶部２６に記憶されたプログラム２６ａに従ったＣＰＵの演算処理（すなわち、プログラム２６ａの実行）によって実現される。図中の記録制御部２０ａは、プログラム２６ａの実行により実現される機能の一部である。

【0048】

記録制御部２０ａは、周辺映像及び検知データをメモリカード８に記録するための制御を行う。具体的には、記録制御部２０ａは、時間的に連続して取得され画像メモリ２１に記憶された方向画像に基いて、画像処理部２２に周辺映像を生成させる。

【0049】

図４は、画像処理部２２による画像処理の概要を示す図である。フロントカメラ４Ｆ、リアカメラ４Ｂ、左サイドカメラ４Ｌ、及び、右サイドカメラ４Ｒのそれぞれで撮影が行われると、車両９の前方、後方、左側方及び右側方をそれぞれ示す４つの方向画像ＳＦ，ＳＢ，ＳＬ，ＳＲが取得される。これら４つの方向画像ＳＦ，ＳＢ，ＳＬ，ＳＲには、車両９の全周囲のデータが含まれている。同時期に取得された４つの方向画像ＳＦ，ＳＢ，ＳＬ，ＳＲは、画像メモリ２１に記憶される。

【0050】

画像処理部２２は、このように同時期に取得された４つの方向画像ＳＦ，ＳＢ，ＳＬ，ＳＲを画像メモリ２１から読み出し、４つの方向画像ＳＦ，ＳＢ，ＳＬ，ＳＲを結合する。これにより、画像処理部２２は、４つの方向画像ＳＦ，ＳＢ，ＳＬ，ＳＲを縦２×横２に配列して含む結合画像６１を生成する。画像処理部２２は、このような結合画像６１を周辺映像のフレームとして時間的に連続して生成する。

【0051】

また、記録制御部２０ａは、このような周辺映像の生成と並行して検知データを生成する。記録制御部２０ａは、時間的に連続して取得される位置データ、加速度データ、車速データ、及び、舵角データを用いて、検知データを生成する。そして、記録制御部２０ａは、カードスロット２３を介して、周辺映像と検知データとをメモリカード８に記録する。

【0052】

ドライブレコーダ２では、駆動開始から駆動終了まで、このような記録制御部２０ａの制御が継続して実行される。これにより、車両９の走行中に得られた車両９の周辺を示す周辺映像６と、その車両９の走行中に車両９の各種のセンサで得られた検知データ５とがメモリカード８に記録される。図５は、メモリカード８に記録されたデータの概要を示す図である。

【0053】

図５に示すようにメモリカード８には、検知データ５と周辺映像６とが記録されている。検知データ５には、位置データ５１、加速度データ５２、車速データ５３、及び、舵角データ５４が含まれている。これらのデータ５１〜５４はそれぞれ、時系列のデータであり、取得された時刻を示す時刻データと関連付けられている。

【0054】

また、周辺映像６には、フレームとして複数の結合画像６１が含まれている。これらの複数の結合画像６１はそれぞれ、４つの方向画像ＳＦ，ＳＢ，ＳＬ，ＳＲを含んでいる。すなわち、各結合画像６１には、車両９の全周囲のデータが含まれている。これら各結合画像６１も、撮影された時刻を示す時刻データと関連付けられている。

【0055】

＜１−３．再生装置の構成＞
次に、再生装置３について説明する。図６は、再生装置３の構成を主に示す図である。再生装置３のハードウェアとしての構成は一般的なコンピュータと同様である。具体的には、再生装置３は、ＣＰＵ、ＲＯＭ及びＲＡＭなどを含む制御部３０と、不揮発性の記憶装置であるハードディスク３４と、各種の情報を表示するディスプレイ３１と、ユーザが操作するキーボード及びマウスなどを含む操作部３２とを備えている。

【0056】

また、再生装置３は、メモリカード８を着脱可能なカードスロット３３を備えている。カードスロット３３は、装着されたメモリカード８からのデータの読み取りや、メモリカード８へのデータの書き込みを行う。

【0057】

また、ハードディスク３４には、プログラム３４ａが記憶されている。このプログラム３４ａに従った制御部３０のＣＰＵの演算処理（すなわち、プログラム３４ａの実行）によって、再生装置３として必要な各種機能が実現される。このようなプログラム３４ａは、プログラムを記録したコンピュータ読み取り可能な記録媒体（例えば、メモリカード８など）からの読み取りや、ネットワークを介した通信などによって取得され、ハードディスク３４に予め記憶される。

【0058】

図中のデータ取得部３０ａ、イベント検出部３０ｂ、及び、映像生成部３０ｃは、このようなプログラム３４ａの実行により実現される機能の一部である。

【0059】

データ取得部３０ａは、車両９の走行中に得られた車両９の周辺を示す周辺映像６と、その車両９の走行中に車両９の各種のセンサで得られた検知データ５とを取得する。データ取得部３０ａは、カードスロット３３を介して、周辺映像６及び検知データ５をメモリカード８から読み出して取得する。

【0060】

イベント検出部３０ｂは、データ取得部３０ａが取得した検知データ５に基いて、車両９の走行中のイベントを検出する。イベント検出部３０ｂは、検知データ５に含まれる加速度データ５２に基いて、車両９と他の物体との衝突を検出する。

【0061】

映像生成部３０ｃは、データ取得部３０ａが取得した周辺映像６に基いて、ディスプレイ３１で再生するための動画像である再生映像を生成する。周辺映像６を再生する場合には、この再生映像がディスプレイ３１に表示される。映像生成部３０ｃは、周辺映像６に含まれる結合画像６１を用いて、仮想視点からみた車両９の周辺を示す合成画像を再生映像のフレームとして生成する。映像生成部３０ｃは、この合成画像の仮想視点を任意に設定できる。

【0062】

＜１−４．合成画像の生成＞
次に、映像生成部３０ｃが、再生映像のフレームとなる合成画像を生成する手法について説明する。図７は、合成画像ＣＰを生成する手法を説明する図である。前述のように、周辺映像６のフレームである結合画像６１には、４つの方向画像ＳＦ，ＳＢ，ＳＬ，ＳＲが含まれている。そして、これら４つの方向画像ＳＦ，ＳＢ，ＳＬ，ＳＲには、車両９の全周囲のデータが含まれている。映像生成部３０ｃは、これら４つの方向画像ＳＦ，ＳＢ，ＳＬ，ＳＲを用いて合成画像ＣＰを生成する。

【0063】

映像生成部３０ｃは、まず、４つの方向画像ＳＦ，ＳＢ，ＳＬ，ＳＲに含まれるデータ（画素の値）を、仮想的な三次元空間における立体曲面ＴＳに投影する。立体曲面ＴＳは、車両９の周辺の領域に相当する仮想の投影面である。

【0064】

立体曲面ＴＳは、例えば、略半球状（お椀形状）をしており、その中心領域（お椀の底部分）は車両９の位置となる車両領域Ｒ０として定められている。映像生成部３０ｃは、立体曲面ＴＳのうち車両領域（車両９の位置）Ｒ０には方向画像のデータを投影せず、車両領域Ｒ０の外側の領域である投影領域Ｒ１に方向画像のデータを投影する。投影領域の各位置は、４つの方向画像ＳＦ，ＳＢ，ＳＬ，ＳＲのいずれかのデータと対応付けられる。映像生成部３０ｃは、４つの方向画像ＳＦ，ＳＢ，ＳＬ，ＳＲのデータをそれぞれ投影領域Ｒ１の対応する位置に投影する。

【0065】

映像生成部３０ｃは、投影領域Ｒ１において車両９の前方に相当する部分ＰＦに、フロントカメラ４Ｆの方向画像ＳＦのデータを投影する。また、映像生成部３０ｃは、投影領域Ｒ１において車両９の後方に相当する部分ＰＢに、リアカメラ４Ｂの方向画像ＳＢのデータを投影する。さらに、映像生成部３０ｃは、投影領域Ｒ１において車両９の左側方に相当する部分ＰＬに左サイドカメラ４Ｌの方向画像ＳＬのデータを投影し、投影領域Ｒ１において車両９の右側方に相当する部分ＰＲに右サイドカメラ４Ｒの方向画像ＳＲのデータを投影する。

【0066】

このように立体曲面ＴＳの投影領域Ｒ１に方向画像のデータを投影すると、次に、映像生成部３０ｃは、車両９の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両９のモデルは、立体曲面ＴＳが設定される三次元空間における車両９の位置である車両領域Ｒ０に配置される。このような車両９の三次元形状を示すデータは、ハードディスク３４などに予め記憶される。

【0067】

次に、映像生成部３０ｃは、三次元空間に対して仮想視点ＶＰを設定する。この仮想視点ＶＰは、視点位置と視線方向とで規定される。映像生成部３０ｃは、任意の視点位置、かつ、任意の視線方向の仮想視点ＶＰを三次元空間に設定できる。

【0068】

次に、映像生成部３０ｃは、立体曲面ＴＳのうち、設定した仮想視点ＶＰからみて所定の視野角に含まれる領域に投影されたデータを画像として切り出す。また、映像生成部３０ｃは、設定した仮想視点ＶＰに応じて車両９のモデルに関してレンダリングを行い、その結果となる二次元の車両像９０を、切り出した画像に対して重畳する。これにより、映像生成部３０ｃは、仮想視点ＶＰからみた車両９及び車両９の周辺の領域を示す合成画像ＣＰを生成する。

【0069】

例えば図に示すように、視点位置を車両９の直上、視線方向を直下とした仮想視点ＶＰａを設定した場合には、映像生成部３０ｃは、車両９及び車両９の周辺を俯瞰する合成画像ＣＰａを生成できる。また、視点位置を車両９の左後方、視線方向を車両９の前方とした仮想視点ＶＰｂを設定した場合には、映像生成部３０ｃは、車両９の左後方からみた車両９及び車両９の周辺を示す合成画像ＣＰｂを生成できる。

【0070】

以下、図中の仮想視点ＶＰａのように、視点位置を車両９の直上、視線方向を直下とした仮想視点ＶＰを「俯瞰視点」という。

【0071】

映像生成部３０ｃは、周辺映像６のフレームである結合画像６１を順次に利用して、この合成画像ＣＰを再生映像７のフレームとして順次に生成する。したがって、再生映像７を表示する際には、ディスプレイ３１には、時間的に連続して生成された合成画像ＣＰが順次に表示されることになる。

【0072】

図８は、再生映像７を表示する場合において、ディスプレイ３１に表示されるウィンドウ７０の一例を示す図である。ウィンドウ７０には、映像生成部３０ｃが生成した再生映像７が含まれている。そして、この再生映像７のフレームとして、車両９及び車両９の周辺を示す合成画像ＣＰが表示されている。ユーザは、このような再生映像７を視認することで、カメラとは異なる仮想視点ＶＰから、走行中の車両９の周辺の状況を事後的に確認することができる。

【0073】

＜１−５．イベントの発生＞
映像生成部３０ｃは、再生映像７の表示中（すなわち、周辺映像６の再生中）に、再生映像７のフレームとなる合成画像の仮想視点ＶＰを変更できる。この機能を利用して、映像生成部３０ｃは、車両９の走行中にイベントが発生した場合は、そのイベントに応じて特定される対象に仮想視点ＶＰの視線方向を向ける。すなわち、映像生成部３０ｃは、車両９の走行中に車両９と他の物体との衝突が発生した場合は、衝突が発生した箇所に仮想視点ＶＰの視線方向を向ける。

【0074】

図９は、映像生成部３０ｃが設定する仮想視点ＶＰを説明する図である。イベント（衝突）が発生していない通常状態においては、映像生成部３０ｃは、仮想視点ＶＰを初期の仮想視点（以下、「初期視点」という。）ＶＰ０に設定する。本実施の形態では、初期視点ＶＰ０は俯瞰視点となっている。このため、通常状態では、映像生成部３０ｃは、車両９及び車両９の周辺を俯瞰する合成画像ＣＰである俯瞰画像を生成する。

【0075】

これに対して、車両９の走行中にイベント（衝突）が発生した場合は、映像生成部３０ｃは、仮想視点ＶＰを初期視点ＶＰ０から変更し、イベントに応じて特定される対象に視線方向が向いた仮想視点（以下、「変更視点」という。）ＶＰ１に設定する。イベントに応じて特定される対象は衝突の発生箇所ＴＰであり、図９の例では、衝突の発生箇所ＴＰは車両９の前方右端部のコーナーとなっている。映像生成部３０ｃは、衝突の発生箇所ＴＰが見やすいように、変更視点ＶＰ１の視点位置も初期視点ＶＰ０から変更することが望ましい。これにより、映像生成部３０ｃは、衝突の発生箇所ＴＰに視線が向いた合成画像ＣＰを生成する。

【0076】

このような映像生成部３０ｃの処理により、再生映像７の表示中において、再生映像７の視線が変化する。図１０は、車両９の前方右端部のコーナーで衝突が発生した場合における再生映像７の視線の変化を示す図である。

【0077】

図１０の上部に示すように、通常状態の時点に相当する再生時点ＳＴ０においては、再生映像７の視線は、車両９及び車両９の周辺を俯瞰している。その後、図１０の下部に示すように、衝突の時点に相当する再生時点ＳＴ１においては、再生映像７の視線は、衝突の発生箇所である車両９の前方右端部に向くことになる。すなわち、再生映像７は、衝突の発生箇所である車両９の前方右端部の像を略中央部に含むことになる。ユーザは、このような再生映像７を視認することで、車両９と他の物体とが衝突したときの状況を事後的に的確に把握できる。

【0078】

衝突の発生箇所は、イベント検出部３０ｂが加速度データ５２に基いて特定する。図１１は、衝突の時点前後の加速度データ５２の一例を示す図である。図中の横軸は時間を示し、縦軸は加速度を示している。また、実線は車両９の左右方向（Ｘ軸方向）の加速度を示し、破線は車両９の前後方向（Ｙ軸方向）の加速度を示している。

【0079】

イベント検出部３０ｂは、このような加速度データ５２の各時点において、左右方向の加速度と前後方向の加速度との合成値を導出する。イベント検出部３０ｂは、この合成値が所定の閾値を超えた時点で、車両９と他の物体との衝突が生じたと判定する。そして、イベント検出部３０ｂは、合成値のピーク時点における左右方向及び前後方向それぞれの加速度のベクトルの和となるベクトルの方向に基いて、車両９の車体における衝突の発生箇所を特定する。なお、このようにイベント検出部３０ｂが衝突の発生箇所を特定する際に、車速データ５３及び舵角データ５４をさらに考慮してもよい。

【0080】

＜１−６．再生装置の処理の流れ＞
次に、再生装置３の処理の流れについて説明する。図１２は、周辺映像６を再生するための再生装置３の処理の流れを示す図である。この処理は、再生対象とする周辺映像６を操作部３２を介してユーザが選択した後に開始される。

【0081】

まず、データ取得部３０ａが、再生対象として選択された周辺映像６と、該周辺映像６とともに記録された検知データ５とを取得する（ステップＳ１１）。データ取得部３０ａは、カードスロット３３を介して、周辺映像６及び検知データ５をメモリカード８から読み出して取得する。

【0082】

次に、イベント検出部３０ｂが、検知データ５に基いて、周辺映像６が記録された際の車両９の走行中におけるイベントを検出する（ステップＳ１２）。イベント検出部３０ｂは、検知データ５に含まれる加速度データ５２に基いて、車両９と他の物体との衝突をイベントとして検出する。イベント検出部３０ｂは、衝突を検出した場合は、加速度データ５２に関連付けられた時刻データに基いて、その衝突の時点を特定する。

【0083】

イベント検出部３０ｂは、このように衝突の時点を特定すると、衝突の時点から所定時間前（例えば、３秒前）をイベント開始時点として設定し、衝突の時点から所定時間後（例えば、１０秒後）をイベント終了時点として設定する。さらに、イベント検出部３０ｂは、加速度データ５２に基いて衝突の発生箇所を特定する。イベント検出部３０ｂは、これらイベント開始時点、イベント終了時点及び衝突の発生箇所を、制御部３０のＲＡＭに記憶する。

【0084】

また、車両９と他の物体との衝突が複数回生じた場合（複数回のイベントが発生した場合）は、イベント検出部３０ｂは、複数回の衝突それぞれの時点を特定する。そして、イベント検出部３０ｂは、複数回の衝突のそれぞれに関するイベント開始時点、イベント終了時点及び衝突の発生箇所を導出して、ＲＡＭに記憶する。

【0085】

次に、映像生成部３０ｃが合成画像ＣＰを生成する（ステップＳ１３）。映像生成部３０ｃは、周辺映像６の一のフレームである結合画像６１を用いて、仮想視点ＶＰからみた車両９の周辺を示す合成画像ＣＰを再生映像７の一のフレームとして生成する。このステップＳ１３が実行される再生時点は、衝突が発生していない通常状態の時点に相当する。このため、映像生成部３０ｃは、仮想視点ＶＰを初期視点（俯瞰視点）ＶＰ０に設定し、車両９及び車両９の周辺を俯瞰する合成画像ＣＰである俯瞰画像を生成する。生成された合成画像ＣＰは、ディスプレイ３１に表示される。

【0086】

次に、周辺映像６の再生を終了するか否かが判定される（ステップＳ１４）。ユーザから終了の指示がなされた場合、あるいは、再生対象とする周辺映像６を最後まで再生した場合は、周辺映像６の再生を終了する（ステップＳ１４にてＹｅｓ）。

【0087】

また、周辺映像６の再生を終了しない場合は、イベント開始時点に相当する再生時点となったか否かが判定される（ステップＳ１５）。イベント開始時点に相当する再生時点となるまでの期間は（ステップＳ１５にてＮｏ）、再生映像７の一のフレームとなる合成画像ＣＰを生成する処理（ステップＳ１３）が繰り返される。

【0088】

そして、イベント開始時点に相当する再生時点となった場合は、映像生成部３０ｃがイベント対応処理（ステップＳ１６）を実行する。このイベント対応処理が終了した後は、再び、合成画像ＣＰを生成する処理（ステップＳ１３）が繰り返されることになる。

【0089】

複数回のイベントが発生した場合は、複数回のイベントのそれぞれに関してイベント対応処理（ステップＳ１６）が実行される。すなわち、車両９と他の物体との衝突が複数回生じた場合は、複数回の衝突のそれぞれに関してイベント対応処理が実行されることになる。

【0090】

図１３は、このイベント対応処理（ステップＳ１６）の詳細な流れを示す図である。まず、映像生成部３０ｃは、以降生成する合成画像ＣＰの仮想視点ＶＰをイベントに応じて特定される対象に向ける（ステップＳ２１）。すなわち、映像生成部３０ｃは、合成画像ＣＰの仮想視点ＶＰを、制御部３０のＲＡＭに記憶された衝突の発生箇所に視線方向が向いた変更視点ＶＰ１に設定する（図９参照。）。

【0091】

次に、映像生成部３０ｃが、再生映像７の一のフレームとして合成画像ＣＰを生成する（ステップＳ２２）。仮想視点ＶＰは変更視点ＶＰ１であるため、映像生成部３０ｃは、衝突の発生箇所に視線が向いた合成画像ＣＰを生成する。生成された合成画像ＣＰは、ディスプレイ３１に表示される。

【0092】

このような合成画像ＣＰを生成する処理（ステップＳ２２）は、イベント終了時点に相当する再生時点となるまでの期間（ステップＳ２３にてＮｏ）、繰り返されることになる。したがって、再生映像７の視線は、衝突の時点に相当する再生時点において衝突の発生箇所に向くことになる。ユーザは、このような再生映像７を視認することで、衝突の時点に相当する適切なタイミングで観察すべき対象である衝突の発生箇所を確認することができる。このため、ユーザは、車両９と他の物体とが衝突したときの状況を事後的に的確に把握できることになる。

【0093】

イベント終了時点に相当する再生時点となると（ステップＳ２３にてＹｅｓ）、映像生成部３０ｃは、合成画像ＣＰの仮想視点ＶＰを初期視点（俯瞰視点）ＶＰ０に戻し（ステップＳ２４）、イベント対応処理を終了する。

【0094】

以上のように、第１の実施の形態においては、再生装置３のデータ取得部３０ａが、車両９の走行中に得られた車両９の周辺を示す周辺映像６と、該走行中に車両９の各種センサで得られた検知データ５とを取得する。また、イベント検出部３０ｂが検知データ５に基いて車両９の走行中のイベントを検出し、映像生成部３０ｃが周辺映像６に基いてディスプレイ３１で再生するための再生映像７を生成する。そして、映像生成部３０ｃは、イベントの発生時点に相当する再生時点において該イベントに応じて特定される対象に向いた再生映像７を生成する。

【0095】

したがって、ディスプレイ３１に表示される再生映像７は、イベントの発生時点に相当する再生時点において、当該イベントにおいて観察すべき対象に自動的に向くことになる。このため、ユーザは、イベントが発生した時点に相当する適切なタイミングで観察すべき対象に向いた再生映像７を視認できる。したがって、ユーザは、視点の設定などの煩雑な操作を行わなくても、イベントが発生した時点の車両９の周辺の状況を事後的に的確に把握できる。

【0096】

また、イベント検出部３０ｂは、加速度データ５２に基づいて車両９と他の物体との衝突を検出し、映像生成部３０ｃは、衝突の時点に相当する再生時点において衝突の発生箇所に向いた再生映像７を生成する。このため、再生映像７を視認するユーザは、車両９と他の物体とが衝突したときの状況を事後的に的確に把握できる。

【0097】

なお、上記では、イベント開始時点に相当する再生時点に、合成画像ＣＰの仮想視点ＶＰを初期視点ＶＰ０から変更視点ＶＰ１に瞬時に変更している。これに対して、初期視点ＶＰ０から変更視点ＶＰ１まで合成画像ＣＰを生成するごとに段階的に仮想視点ＶＰを変更してもよい。この場合においても、衝突の時点に相当する再生時点までには、再生映像７の視線が衝突の発生箇所に向くようにする。これによれば、再生映像７は、被写体として含まれる車両９の周辺の領域を段階的に変更する動画表現（アニメーション）を行うことになる。このような動画表現を行うことで、再生映像７の視線がいずれの対象に向いているかをユーザが直感的に把握できることになる。

【0098】

また、上記では、変更視点ＶＰ１の視点位置は車両９の右側方に設定されていたが、衝突の発生箇所ＴＰが見やすい位置であれば他の位置でもよい。例えば、図１４に示すように、変更視点ＶＰ１の視点位置を車両９の前方に設定してもよい。この場合は、図１５に示すように、衝突の時点に相当する再生時点ＳＴ１において、再生映像７の視線は、車両９の前方から衝突の発生箇所ＴＰである車両９の前方右端部に向くことになる。この場合も、再生映像７は、衝突の発生箇所ＴＰである車両９の前方右端部の像を略中央部に含んでいる。また、このような変更視点ＶＰ１の視点位置をユーザが任意に変更できるようにしてもよい。

【0099】

＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態の再生システム１の構成及び処理は第１の実施の形態と略同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では、車両９と他の物体との衝突をイベントとして検出していた。これに対して、第２の実施の形態では、車両９と他の物体とが衝突せずとも、車両９と他の物体とが近接した場合には、その近接をイベントとして検出する。

【0100】

図１６は、第２の実施の形態のドライブレコーダ２の構成を示す図である。図に示すように、第２の実施の形態のドライブレコーダ２は、車両９に設けられたクリアランスソナー９４と信号線を介して接続されている。ドライブレコーダ２の他の構成は、図２に示す第１の実施の形態と同じである。

【0101】

クリアランスソナー９４は、超音波を発射し、その超音波が物体で反射した反射波を受信することで、車両９の近傍に存在する物体を検知する。また、クリアランスソナー９４は、超音波を発射してから戻ってくるまでの時間に基づいて物体の距離を導出可能である。

【0102】

図１７は、クリアランスソナー９４が車両９に配置される位置を示す図である。車両９には、複数のクリアランスソナー９４が設けられている。図１７に示すように、車両９の前方左端部、前方右端部、後方左端部、及び、後方右端部の４つのコーナーにそれぞれクリアランスソナー９４が設けられている。

【0103】

これらのクリアランスソナー９４はそれぞれ、車両９のコーナー近傍の領域Ａｎに向けて超音波を発信し、その領域Ａｎに存在する物体を検知する。このような４つのクリアランスソナー９４を利用することで、車両９のコーナー近傍の４つの領域Ａｎのいずれかに存在する物体の検知が可能となっている。

【0104】

これらのクリアランスソナー９４の検知結果である物体データはドライブレコーダ２の制御部２０に入力される。物体データには、物体が存在した領域Ａｎの識別情報と、検知した物体の距離とが含まれる。この物体データも、時系列のデータであり、取得された時刻を示す時刻データと関連付けられる。

【0105】

そして、物体データは、位置データ、加速度データ、車速データ、及び、舵角データとともに検知データ５に含まれて、メモリカード８に記録される。したがって、物体データは、メモリカード８を介して、再生装置３に受け渡される。

【0106】

本実施の形態の再生装置３のイベント検出部３０ｂは、図１２のステップＳ１２において、検知データ５に含まれる物体データを利用して、車両９と他の物体とが近接したことをイベントとして検出する。

【0107】

イベント検出部３０ｂは、このような近接を検出した場合は、物体データに関連付けられた時刻データに基いて、その近接の時点を特定する。イベント検出部３０ｂは、この近接の時点から所定時間前（例えば、３秒前）をイベント開始時点として設定し、近接の時点から所定時間後（例えば、１０秒後）をイベント終了時点として設定する。さらに、イベント検出部３０ｂは、物体データに含まれる領域Ａｎの識別情報と物体の距離とに基いて、車両９に近接した物体の位置を特定する。イベント検出部３０ｂは、これらイベント開始時点、イベント終了時点及び物体の位置を、制御部３０のＲＡＭに記憶する。

【0108】

また、車両９と他の物体との近接が複数回生じた場合（複数回のイベントが発生した場合）は、イベント検出部３０ｂは、複数回の近接それぞれの時点を特定する。そして、イベント検出部３０ｂは、複数回の近接のそれぞれに関するイベント開始時点、イベント終了時点及び物体の位置を導出して、ＲＡＭに記憶する。

【0109】

そして、イベント対応処理（図１３）のステップＳ２１において、映像生成部３０ｃは、合成画像ＣＰの仮想視点ＶＰを初期視点ＶＰ０から変更し、近接した物体の位置に視線方向が向いた変更視点ＶＰ１に設定する。

【0110】

このような処理により、図１８の上部に示すように、通常状態の時点に相当する再生時点ＳＴ０においては、再生映像７の視線は、車両９及び車両９の周辺を俯瞰している。その後、図１８の下部に示すように、近接の時点に相当する再生時点ＳＴ３においては、再生映像７の視線は、車両９に近接した物体Ｓｂ１の位置に向くことになる。すなわち、再生映像７は、車両９に近接した物体Ｓｂ１の像を略中央部に含むことになる。

【0111】

ユーザは、このような再生映像７を視認することで、車両９に他の物体が近接した時点に相当する適切なタイミングで観察すべき対象である近接した物体（車両等）を確認することができる。このため、ユーザは、車両９と他の物体とが近接したときの状況を事後的に的確に把握できることになる。

【0112】

なお、上記では、クリアランスソナー９４を利用して、車両９の近傍に存在する物体を検知していた。これに対して、例えば、レーダーなどの他の物体検知装置を利用して、車両９の近傍に存在する物体を検知してもよい。

【0113】

＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態の再生システム１の構成及び処理は第２の実施の形態と略同様であるため、以下、第２の実施の形態との相違点を中心に説明する。第２の実施の形態では、イベント検出部３０ｂは、検知データ５に含まれる物体データに基いて車両９と他の物体との近接を検出していた。これに対して、第３の実施の形態では、イベント検出部３０ｂは、周辺映像６に基いて車両９と他の物体との近接を検出する。

【0114】

図１９は、第３の実施の形態の再生装置３の構成を示す図である。図に示すように、再生装置３は、イベント検出部３０ｂが、画像認識部３０ｄを備えている。再生装置３の他の構成は、図６に示す第１の実施の形態と同じである。

【0115】

画像認識部３０ｄは、プログラム３４ａの実行により実現される機能の一部である。画像認識部３０ｄは、周辺映像６に基いて画像認識を行なって、車両９の近傍に存在する他の物体を検出する。

【0116】

画像認識部３０ｄは、例えば、オプティカルフロー方式などの周知の手法を用いて他の物体を検出することができる。オプティカルフロー方式は、時間的に連続する複数の画像（フレーム）のそれぞれから特徴点を抽出し、それら複数の画像間での特徴点の動きを示すオプティカルフローに基づいて物体を検出する。自ら移動する物体のオプティカルフローは、共通の動きをする背景のオプティカルフローとは異なる向きとなる。この原理を利用して、画像認識部３０ｄは、周辺映像６に含まれる複数の結合画像６１を用いてオプティカルフローを導出し、背景のオプティカルフローとは異なる向きのオプティカルフローを抽出することで、車両９の近傍に存在する他の物体を検出できる。

【0117】

本実施の形態のイベント検出部３０ｂは、図１２のステップＳ１２において、画像認識部３０ｄのこのような物体を検出する機能を利用して、車両９と他の物体との近接をイベントとして検出する。以降の処理は、第２の実施の形態と同じである。これにより、再生映像７は、車両９が他の物体と近接した時点に相当する再生時点において、近接した物体に向くことになる。したがって、本実施の形態においても、ユーザは、車両９と他の物体とが近接したときの状況を事後的に的確に把握できることになる。

【0118】

本実施の形態では、イベント検出部３０ｂは、検知データ５に含まれる物体データではなく、周辺映像６に基いて車両９と他の物体との近接を検出する。このため、検知データ５に物体データが含まれていなくてもよい。また、イベント検出部３０ｂは、検知データ５に含まれる物体データと周辺映像６との双方に基づいて、車両９と他の物体との近接を検出するようにしてもよい。このようにすれば、より正確に車両９と他の物体との近接を検出することができる。

【0119】

また、上記では、再生装置３が画像認識を行なって他の物体を検出しているが、ドライブレコーダ２が方向画像もしくは結合画像６１に基いて画像認識を行なって他の物体を検出するようにしてもよい。この場合は、検知データ５が画像認識に基づく物体データを含むようにし、再生装置３は第２の実施の形態と同様の処理を行えばよい。

【0120】

＜４．第４の実施の形態＞
次に、第４の実施の形態について説明する。第４の実施の形態の再生システム１の構成及び処理は第１の実施の形態と略同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では、車両９と他の物体との衝突をイベントとして検出していた。これに対して、第４の実施の形態では、車両９が予め定められた登録地点に接近した場合には、その接近をイベントとして検出する。

【0121】

図２０は、第４の実施の形態の再生装置３の構成を示す図である。図に示すように、再生装置３のハードディスク３４には、地点テーブル３４ｂが記憶されている。再生装置３の他の構成は、図６に示す第１の実施の形態と同じである。地点テーブル３４ｂには、登録地点に関するデータが登録されている。

【0122】

図２１は、地点テーブル３４ｂの一例を示す図である。図２１に示すように、地点テーブル３４ｂは、複数のレコードｒを含むテーブル形式のデータである。各レコードｒは、一の登録地点のデータを示している。各レコードｒは、「地点名称」「位置」及び「判定距離」を含んでいる。

【0123】

「地点名称」は、当該登録地点の名称を示している。「位置」は当該登録地点の緯度経度を示している。また、「判定距離」は、当該登録地点に車両９が接近したと判定する際の閾値となる距離である。この「判定距離」は一般に、登録地点にある建築物が高いほど長く設定される。このような地点テーブル３４ｂの登録地点の情報は、地図などを用いてユーザによって予め登録される。

【0124】

本実施の形態の再生装置３のイベント検出部３０ｂは、図１２のステップＳ１２において、この地点テーブル３４ｂと検知データ５に含まれる位置データとを利用して、登録地点への車両９の接近をイベントとして検出する。

【0125】

図２２は、走行中の車両９の位置の遷移例を示す図である。図の例においては、車両９は道路Ｒに沿って移動しており、車両９の位置は、位置Ｐｖ１、位置Ｐｖ２、位置Ｐｖ３及び位置Ｐｖ４の順で変化する。また、図中の位置Ｐｔは、地点テーブル３４ｂに基づく登録地点の「位置」を示している。

【0126】

この登録地点の「位置」Ｐｔから「判定距離」Ｄまでの範囲ＡＰ、すなわち、地点テーブル３４ｂの「位置」Ｐｔを中心とし「判定距離」Ｄを半径とする円の範囲ＡＰに車両９が入った場合に、イベント検出部３０ｂは、車両９が登録地点に接近したと判定する。

【0127】

車両９の位置が位置Ｐｖ１の場合は、車両９の位置は範囲ＡＰの外部となるため、車両９が登録地点に接近していない通常状態と判定される。その後、車両９の位置が位置Ｐｖ２，Ｐｖ３となると、車両９の位置が範囲ＡＰの内部となるため、車両９が登録地点に接近したと判定される。その後、車両９の位置が位置Ｐｖ４となると、再び、車両９の位置は範囲ＡＰの外部となるため、車両９が登録地点に接近していない通常状態と判定される。

【0128】

イベント検出部３０ｂは、このようにして登録地点への車両９の接近をイベントとして検出する。地点テーブル３４ｂに複数の登録地点が登録されている場合は、イベント検出部３０ｂは、いずれの登録地点に車両９が接近した場合であっても、その接近をイベントとして検出する。

【0129】

イベント検出部３０ｂは、このような登録地点への接近を検出した場合は、位置データに関連付けられた時刻データに基いて、車両９の位置が範囲ＡＰの内部に入った時点をイベント開始時点、車両９の位置が範囲ＡＰの外部に出た時点をイベント終了時点として特定して、制御部３０のＲＡＭに記憶する。また、登録地点への車両９の接近が複数回生じた場合（複数回のイベントが発生した場合）は、イベント検出部３０ｂは、複数回の接近それぞれのイベント開始時点及びイベント開始時点を特定して、ＲＡＭに記憶する。

【0130】

そして、イベント対応処理（図１３）のステップＳ２１において、映像生成部３０ｃは、合成画像ＣＰの仮想視点ＶＰを初期視点ＶＰ０から変更し、登録地点に視線方向が向いた変更視点ＶＰ１に設定する。この変更視点ＶＰ１の視線方向は、図２２において矢印ＡＲで示す方向に相当する。

【0131】

このような処理により、図２３の上部に示すように、通常状態の時点に相当する再生時点ＳＴ０においては、再生映像７の視線は、車両９及び車両９の周辺を俯瞰している。その後、図２３の下部に示すように、登録地点に車両９が接近した時点に相当する再生時点ＳＴ４においては、再生映像７の視線は、登録地点に向くことになる。すなわち、再生映像７は、登録地点に存在する建築物Ｓｂ２の像を略中央部に含むことになる。ユーザは、このような再生映像７を視認することで、所望の登録地点の様子を事後的に把握することができる。例えば、ユーザは、車両９の走行中に近くに存在した観光名所などを、事後的に確認することができる。

【0132】

＜５．第５の実施の形態＞
次に、第５の実施の形態について説明する。第５の実施の形態の再生システム１の構成及び処理は第１の実施の形態と略同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では、映像生成部３０ｃは、イベント開始時点に相当する再生時点に、合成画像ＣＰの仮想視点ＶＰを初期視点ＶＰ０から変更視点ＶＰ１に瞬時に変更していた。これに対して、第５の実施の形態では、映像生成部３０ｃは、イベント開始時点に相当する再生時点から、仮想視点ＶＰを車両９を周回させた後に、変更視点ＶＰ１に変更するようになっている。

【0133】

具体的には、イベント開始時点に相当する再生時点から、図２４に示すように、映像生成部３０ｃは、車両９の略中央部に視線方向を向けた仮想視点ＶＰを設定し、この仮想視点ＶＰの視点位置を車両９の周辺を周回するように連続的に移動する。仮想視点ＶＰの視点位置は、例えば、最初に車両９の後方に配置され、右回りで車両９の周辺を周回し、車両９の左側、前方及び右側を経由して再び後方まで移動する。

【0134】

映像生成部３０ｃは、このように仮想視点ＶＰを周回させつつ、再生映像７のフレームとなる合成画像ＣＰを時間的に連続して生成する。これにより、図２５に示すように、再生映像７は、車両９を周回しながら車両９の周辺を示す動画表現（アニメーション）を行うことになる。図２５に示す例では、再生映像７のフレームとして合成画像ＣＰ１，ＣＰ２，ＣＰ３，ＣＰ４，ＣＰ５がこの順で表示される。

【0135】

このような動画表現がなされた後、映像生成部３０ｃは、衝突の時点に相当する再生時点ＳＴ１において、仮想視点ＶＰを、衝突の発生箇所に視線方向が向いた変更視点ＶＰ１に設定する。これにより、衝突の時点に相当する再生時点ＳＴ１においては、再生映像７の視線は、衝突の発生箇所に向くことになる。

【0136】

図２６は、本実施の形態のイベント対応処理（ステップＳ１６）の詳細な流れを示す図である。まず、映像生成部３０ｃは、仮想視点ＶＰを車両９を周回するように移動させつつ（ステップＳ３１）、再生映像７のフレームとして合成画像ＣＰを生成する（ステップＳ３２）。生成された合成画像ＣＰは、ディスプレイ３１に表示される。映像生成部３０ｃは、このような処理を、仮想視点ＶＰの周回が完了するまで（ステップＳ３３にてＮｏ）繰り返す。

【0137】

その結果、再生映像７は、車両９を周回しながら車両９の周辺を示す動画表現を行う。このような動画表現は、衝突の時点に相当する再生時点より前に完了する。

【0138】

上記の動画表現が完了すると、映像生成部３０ｃは、仮想視点ＶＰを、衝突の発生箇所に視線方向が向いた変更視点ＶＰ１に設定する（ステップＳ３４）。その後、映像生成部３０ｃは、合成画像ＣＰを生成する処理（ステップＳ３５）を、イベント終了時点に相当する再生時点となるまでの期間（ステップＳ３６にてＮｏ）繰り返す。これにより、再生映像７の視線は、衝突の時点に相当する再生時点ＳＴ１において衝突の発生箇所に向くことになる。

【0139】

イベント終了時点に相当する再生時点となると（ステップＳ３６にてＹｅｓ）、映像生成部３０ｃは、仮想視点ＶＰを初期視点（俯瞰視点）ＶＰ０に戻し（ステップＳ３７）、イベント対応処理を終了する。

【0140】

このように再生映像７は、イベント開始時点（衝突の時点の所定時間前）に相当する再生時点から、車両９を周回しながら車両９の周辺を示す動画表現を行う。このため、ユーザは、このような再生映像７を視認することで、衝突の発生前における車両９の周囲全体の状況を的確に把握することができる。ユーザは、衝突の発生前に車両９の周囲で、衝突の相手となった物体が、どの位置からどの方向に移動したか等を事後的に確認することが可能である。

【0141】

なお、上記では第１の実施の形態と同様に、車両９と他の物体との衝突をイベントとして検出しているが、車両９と他の物体との近接などの他の事象をイベントとして検出してもよい。

【0142】

＜６．第６の実施の形態＞
次に、第６の実施の形態について説明する。第６の実施の形態の再生システム１の構成及び処理は第５の実施の形態と略同様であるため、以下、第５の実施の形態との相違点を中心に説明する。第５の実施の形態では、再生映像７は、車両９を周回しながら車両９の周辺を示す動画表現を行なっていた。これに対して、第６の実施の形態では、再生映像７は、車両９の周囲全体の領域を分割した複数の分割領域を順次に拡大して示す動画表現を行なうようになっている。

【0143】

具体的には、イベント開始時点に相当する再生時点から、映像生成部３０ｃは、仮想視点ＶＰを俯瞰視点のまま維持しつつ、再生映像７のフレームとして、俯瞰画像の一部の領域を拡大した拡大画像を生成する。図２７に示すように、この拡大画像ＤＰは、俯瞰画像が示す車両９の周囲全体の領域を分割した４つの分割領域Ａ１１〜Ａ１４のいずれかを拡大して示す。すなわち、拡大画像ＤＰは、車両９の前方左側の分割領域Ａ１１、車両９の後方左側の分割領域Ａ１２、車両９の後方右側の分割領域Ａ１３、及び、車両９の前方右側の分割領域Ａ１４のいずれかを拡大して示すことになる。

【0144】

イベント開始時点に相当する再生時点から、映像生成部３０ｃは、再生映像７のフレームとして、このような拡大画像ＤＰを、通常の合成画像ＣＰと同一サイズで生成する。そして、映像生成部３０ｃは、所定時間毎（例えば、０．５秒毎）に、拡大画像ＤＰが示す領域を切り替える。このような切り替えにより、拡大画像ＤＰが示す領域が、４つの分割領域Ａ１１〜Ａ１４を一巡する。

【0145】

これにより、再生映像７は、車両９の周囲全体の領域を分割した複数の分割領域Ａ１１〜Ａ１４を順次に拡大して示す動画表現（アニメーション）を行うことになる。図２７に示す例では、再生映像７のフレームとして拡大画像ＤＰ１，ＤＰ２，ＤＰ３，ＤＰ４がこの順で表示される。

【0146】

このような動画表現がなされた後、映像生成部３０ｃは、衝突の時点に相当する再生時点ＳＴ１において、仮想視点ＶＰを、衝突の発生箇所に視線方向が向いた変更視点ＶＰ１に設定する。これにより、衝突の時点に相当する再生時点ＳＴ１においては、再生映像７の視線は、衝突の発生箇所に向くことになる。

【0147】

図２８は、本実施の形態のイベント対応処理（ステップＳ１６）の詳細な流れを示す図である。まず、映像生成部３０ｃは、拡大画像ＤＰが示すべき領域を、４つの分割領域Ａ１１〜Ａ１４のうちの一つに設定する（ステップＳ４１）。次に、映像生成部３０ｃは、再生映像７のフレームとして、設定された分割領域を示す拡大画像ＤＰを生成する（ステップＳ４２）。生成された拡大画像ＤＰは、ディスプレイ３１に表示される。映像生成部３０ｃは、このような処理を、拡大画像ＤＰが示す領域が４つの分割領域Ａ１１〜Ａ１４を一巡するまでの期間（ステップＳ４３にてＮｏ）繰り返す。ステップＳ４１において、拡大画像ＤＰが示す領域は所定時間毎（例えば、０．５秒毎）に切り替えられる。

【0148】

その結果、再生映像７は、４つの分割領域Ａ１１〜Ａ１４を順次に拡大して示す動画表現を行う。このような動画表現は、衝突の時点に相当する再生時点より前に完了する。

【0149】

上記の動画表現が完了すると、映像生成部３０ｃは、仮想視点ＶＰを、衝突の発生箇所に視線方向が向いた変更視点ＶＰ１に設定する（ステップＳ４４）。その後、映像生成部３０ｃは、合成画像ＣＰを生成する処理（ステップＳ４５）を、イベント終了時点に相当する再生時点となるまでの期間（ステップＳ４６にてＮｏ）繰り返す。これにより、再生映像７の視線は、衝突の時点に相当する再生時点ＳＴ１において衝突の発生箇所に向くことになる。

【0150】

イベント終了時点に相当する再生時点となると（ステップＳ４６にてＹｅｓ）、映像生成部３０ｃは、仮想視点ＶＰを初期視点（俯瞰視点）ＶＰ０に戻し（ステップＳ４７）、イベント対応処理を終了する。

【0151】

このように再生映像７は、イベント開始時点（衝突の時点の所定時間前）に相当する再生時点から、車両９の周囲全体の領域を分割した複数の分割領域Ａ１１〜Ａ１４を順次に拡大して示す動画表現を行う。このため、ユーザは、このような再生映像７を視認することで、衝突の発生前における車両９の周囲全体の状況を的確に把握することができる。ユーザは、衝突の発生前に車両９の周囲で、衝突の相手となった物体が、どの位置からどの方向に移動したか等を事後的に確認することが可能である。

【0152】

なお、上記では第１の実施の形態と同様に、車両９と他の物体との衝突をイベントとして検出しているが、車両９と他の物体との近接などの他の事象をイベントとして検出してもよい。

【0153】

また、上記では、拡大画像ＤＰが示す領域を４つの分割領域Ａ１１〜Ａ１４のうちの一つから他の一つに瞬時に切り替えているが、拡大画像ＤＰを生成するごとに段階的に切り替えてもよい。また、上記では、車両９の周囲全体の領域を４つに分割しているが、４以外の数で分割してもよい。

【0154】

＜７．第７の実施の形態＞
次に、第７の実施の形態について説明する。第７の実施の形態の再生システム１の構成及び処理は第１の実施の形態と略同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では、車両９と他の物体との衝突をイベントとして検出していた。これに対して、第７の実施の形態では、車両９のドライバの視線の方向の変化をイベントとして検出する。

【0155】

図２９は、第７の実施の形態のドライブレコーダ２の構成を示す図である。図に示すように、第７の実施の形態のドライブレコーダ２は、車両９に設けられた視線センサ９５と信号線を介して接続されている。ドライブレコーダ２の他の構成は、図２に示す第１の実施の形態と同じである。

【0156】

視線センサ９５は、車両９のドライバの視線の方向を検知する。視線センサ９５は、例えば、車両９のバックミラーに配置され、撮像手段によりドライバの目の近傍の画像を取得する。視線センサ９５は、取得した画像に基いてドライバの目の目頭と虹彩との距離を計測することで、ドライバの視線の方向を示す視線データを取得する。

【0157】

視線センサ９５の検知結果である視線データはドライブレコーダ２の制御部２０に入力される。この視線データも、時系列のデータであり、取得された時刻を示す時刻データと関連付けられる。そして、視線データは、位置データ、加速度データ、車速データ、及び、舵角データとともに検知データ５に含まれて、メモリカード８に記録される。したがって、視線データは、メモリカード８を介して、再生装置３に受け渡される。

【0158】

本実施の形態の再生装置３のイベント検出部３０ｂは、この検知データ５に含まれる視線データを利用して、車両９のドライバの視線の方向の変化をイベントとして検出する。

【0159】

また、本実施の形態の映像生成部３０ｃは、図３０に示すように、合成画像ＣＰの仮想視点ＶＰの視点位置を、車両９のドライバの視点の位置に設定する。これにより、図３１に示すように、再生映像７のフレームとなる合成画像ＣＰは、車両９のドライバの視点からみた様子を示すものとなる。この合成画像ＣＰは、ドライバの視点からみた車両９の周辺の被写体の像に、ドライバの視点からみた車両９の内装を示す車両像９０が重畳されたものとなる。

【0160】

そして、映像生成部３０ｃは、ドライバの視線の方向が変化した場合は、仮想視点ＶＰの視点位置を維持しつつ、仮想視点ＶＰの視線方向をドライバの視線の先の対象に向ける（図３０参照。）。したがって、再生映像７の視線は、ドライバの視線の方向に応じて変化し、ドライバの視線の先の対象に常に向く。すなわち、再生映像７は、ドライバの視線の先の対象の像を略中央部に含むことになる。これにより、再生映像７は、ドライバが車両９の運転中に視認したものと同様の様子を示すことになる。

【0161】

ユーザは、このような再生映像７を視認することで、車両９のドライバの視線の先の対象を事後的に把握できる。すなわち、ユーザは、ドライバが車両９の運転中において視認していた対象を容易に確認できる。これにより、衝突などのイベントの発生時点において、ドライバがどこを見ていたかを事後的に確認することが可能である。

【0162】

図３２は、第７の実施の形態の再生装置３の処理の流れを示す図である。この処理も、再生対象とする周辺映像６を操作部３２を介してユーザが選択した後に開始される。

【0163】

まず、データ取得部３０ａが、再生対象として選択された周辺映像６と、該周辺映像６とともに記録された検知データ５とを取得する（ステップＳ５１）。そして以降、周辺映像６の再生が終了するまでの期間は（ステップＳ５３にてＮｏ）、映像生成部３０ｃが再生映像７の一のフレームとなる合成画像ＣＰを生成する処理（ステップＳ５２）が繰り返される。生成された合成画像ＣＰは、ディスプレイ３１に表示される。この合成画像ＣＰは、ドライバの視点からみた様子を示すものとなる。

【0164】

そして、このような合成画像ＣＰの生成を繰り返している間に、イベント検出部３０ｂは、検知データ５に含まれる視線データを利用して、車両９のドライバの視線の方向の変化をイベントとして検出する（ステップＳ５４）。イベント検出部３０ｂは、直近の合成画像ＣＰの生成に用いた結合画像６１と略同時刻の時刻データに関連付けられた視線データを利用して、車両９のドライバの視線の方向の変化を検出する。

【0165】

ドライバの視線の方向の変化があった場合は（ステップＳ５４にてＹｅｓ）、イベント検出部３０ｂは、ドライバの視線の方向に基いてドライバの視線の先の対象を特定する。そして、映像生成部３０ｃが、仮想視点ＶＰの視線方向をドライバの視線の先の対象に向ける（ステップＳ５５）。これにより、次のステップＳ５２の処理において生成される合成画像ＣＰの視線は、変更後のドライバの視線の先の対象に向く。このような処理により、再生映像７の視線は、ドライバの視線の方向に応じて変化し、ドライバの視線の先の対象に常に向くことになる。

【0166】

なお、ドライバの視線の方向は比較的頻繁に変わるため、視線データが示すドライバの視線の方向を直接的に再生映像７の視線に反映させると、再生映像７の視線が頻繁に変わって再生映像７の視認性が悪化する可能性がある。このため、視線データが示す値の過去所定時間分（例えば、１秒間分）の平均値を、ドライバの視線の方向として定めるようにしてもよい。

【0167】

また、上記では、周辺映像６の再生の開始時点から、ドライバの視点からみた様子を示す再生映像７を生成している。これに対して、通常状態の時点に相当する再生時点ＳＴ０においては俯瞰画像などを生成し、衝突などのイベントの発生時点の所定時間前（例えば、１０秒前）の再生時点から、ドライバの視点からみた様子を示す再生映像７を生成するようにしてもよい。

【0168】

また、仮想視点ＶＰの視線方向は車両９の前方などに固定しておき、ドライバの視線の方向に基いてその視線の先の対象を明示する指標を、合成画像ＣＰ中にプロットするようにしてもよい。

【0169】

＜８．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

【0170】

上記実施の形態では、ドライブレコーダ２で記録される周辺映像６は、４つの方向画像ＳＦ，ＳＢ，ＳＬ，ＳＲを結合した結合画像６１を含むと説明した。これに対して、周辺映像６は、４つの方向画像ＳＦ，ＳＢ，ＳＬ，ＳＲを結合していない状態で含んでいてもよい。この場合も、同時期に取得された４つの方向画像ＳＦ，ＳＢ，ＳＬ，ＳＲがグループ化されていることが望ましい。

【0171】

また、ドライブレコーダ２が合成画像ＣＰを生成する機能を有している場合は、周辺映像はフレームとして結合画像６１でなく合成画像を含むようにしてもよい。周辺映像６のフレームとする合成画像は、車両９の全周囲のデータを含む俯瞰画像とすることが望ましい。この場合は、再生装置３の映像生成部３０ｃは、図３３に示すように、周辺映像６のフレームである合成画像（俯瞰画像）ＣＰ１１のデータを立体曲面ＴＳに再投影する。これにより、映像生成部３０ｃは、再生映像７のフレームとして、任意の仮想視点ＶＰからみた合成画像ＣＰ１２を生成できる。

【0172】

また、ドライブレコーダ２は、周辺映像６及び検知データ５とともに、走行中の車両９の周辺の音を示す音声データをメモリカード８に記録するようにしてもよい。そして、再生装置３が、周辺映像６を再生する際に、音声データに基づく音を出力するようにしてもよい。

【0173】

また、上記実施の形態では、ウィンドウ７０には一つの再生映像７のみが表示されていた。これに対して、図３４に示すように、ウィンドウ７０ａに２つの表示領域Ｄａ１，Ｄａ２を設け、互いに視線が異なる２種類の再生映像７１，７２を２つの表示領域Ｄａ１，Ｄａ２にそれぞれ表示するようにしてもよい。この場合は、例えば、一方の表示領域Ｄａ１には、車両９及び車両９の周辺を俯瞰する再生映像７１が、イベントの発生の有無にかかわらず常に表示される。そして、他方の表示領域Ｄａ２には、通常状態の時点に相当する再生時点ＳＴ０においては何も表示されず、イベントの発生時点に相当する再生時点ＳＴ１において該イベントに応じて特定される対象に向いた再生映像７２が表示される。

【0174】

また、上記実施の形態では、初期視点ＶＰ０は俯瞰視点となっていたが、他の視点であってもよい。例えば、図３５に示すように、初期視点ＶＰ０を、車両９のドライバの視点としてもよい。この場合は、図３６に示すように、通常状態の時点に相当する再生時点ＳＴ０において、ドライバの視点からみた様子を示す再生映像７が表示される。また、例えば、図３７に示すように、初期視点ＶＰ０を、視点位置を車両９の後方、視線方向を車両９の前方とした視点としてもよい。この場合は、図３８に示すように、通常状態の時点に相当する再生時点ＳＴ０において、車両９の後方からみた車両９及び車両９の周辺を示す再生映像７が表示される。また、このような初期視点ＶＰ０を、複数の候補からユーザが選択できるようにしてもよい。

【0175】

また、上記実施の形態では、映像生成部３０ｃは、再生映像７のフレームとして合成画像を用いていた。これに対して、映像生成部３０ｃは、再生映像７のフレームとして合成していない方向画像を用いてもよい。この場合は例えば、図３９に示すように、通常状態の時点に相当する再生時点ＳＴ０においては、映像生成部３０ｃは、フロントカメラ４Ｆで得られた前方の方向画像ＳＦを再生映像７のフレームとして用いる。そして、イベントの発生時点に相当する再生時点においては、映像生成部３０ｃは、当該イベントに応じて特定される対象の像を含む方向画像を、再生映像７のフレームとして用いる。これによりこの場合も、再生映像７はイベントに応じて特定される対象に向くことになる。図３９の例では、登録地点に車両９が接近した時点に相当する再生時点ＳＴ４において、右サイドカメラ４Ｒで得られた方向画像ＳＲが再生映像７のフレームとして用いられている。この方向画像ＳＲは、登録地点に存在する建築物Ｓｂ２の像を含んでいる。

【0176】

また、上記実施の形態のドライブレコーダ２は、イベントの発生の有無にかかわらず常時に周辺映像を記録する常時記録方式を採用していたが、衝突などのイベントが発生した場合にそのイベント前後の周辺映像を記録するイベント記録方式を採用してもよい。

【0177】

また、上記実施の形態では、イベントの発生時点から所定時間前（Ｎ秒前とする）をイベント開始時点、イベントの発生時点から所定時間後（Ｍ秒後とする）をイベント終了時点としていた。このようなＮ秒、及び、Ｍ秒をユーザが設定できるようにしてもよい。

【0178】

また、上記実施の形態では、ドライブレコーダ２と再生装置３とは別個の装置として説明したが、ドライブレコーダ２と再生装置３とを一体化した一つの装置であってもよい。

【0179】

また、上記実施の形態では、プログラムの実行によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。

【符号の説明】

【0180】

１ 再生システム
２ ドライブレコーダ
３ 再生装置
５ 検知データ
６ 周辺映像
７ 再生映像
８ メモリカード
９ 車両
９０ 車両像
ＣＰ 合成画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】