IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社JVCケンウッドの特許一覧

特許7490959映像再生装置、記録再生装置、映像再生方法及び映像再生プログラム
<>
  • 特許-映像再生装置、記録再生装置、映像再生方法及び映像再生プログラム 図1
  • 特許-映像再生装置、記録再生装置、映像再生方法及び映像再生プログラム 図2
  • 特許-映像再生装置、記録再生装置、映像再生方法及び映像再生プログラム 図3
  • 特許-映像再生装置、記録再生装置、映像再生方法及び映像再生プログラム 図4
  • 特許-映像再生装置、記録再生装置、映像再生方法及び映像再生プログラム 図5
  • 特許-映像再生装置、記録再生装置、映像再生方法及び映像再生プログラム 図6
  • 特許-映像再生装置、記録再生装置、映像再生方法及び映像再生プログラム 図7
  • 特許-映像再生装置、記録再生装置、映像再生方法及び映像再生プログラム 図8
  • 特許-映像再生装置、記録再生装置、映像再生方法及び映像再生プログラム 図9
  • 特許-映像再生装置、記録再生装置、映像再生方法及び映像再生プログラム 図10
  • 特許-映像再生装置、記録再生装置、映像再生方法及び映像再生プログラム 図11
  • 特許-映像再生装置、記録再生装置、映像再生方法及び映像再生プログラム 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-20
(45)【発行日】2024-05-28
(54)【発明の名称】映像再生装置、記録再生装置、映像再生方法及び映像再生プログラム
(51)【国際特許分類】
   H04N 7/18 20060101AFI20240521BHJP
【FI】
H04N7/18 J
H04N7/18 U
【請求項の数】 8
(21)【出願番号】P 2020001541
(22)【出願日】2020-01-08
(65)【公開番号】P2021111848
(43)【公開日】2021-08-02
【審査請求日】2022-12-28
(73)【特許権者】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】谷山 紘史
(72)【発明者】
【氏名】酒井 康利
(72)【発明者】
【氏名】林 啓太
【審査官】益戸 宏
(56)【参考文献】
【文献】特開2008-221906(JP,A)
【文献】登録実用新案第3178291(JP,U)
【文献】特開2014-134912(JP,A)
【文献】特開2008-013022(JP,A)
【文献】国際公開第2011/001642(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
B60R 1/20
(57)【特許請求の範囲】
【請求項1】
車両の周囲を撮影する複数のカメラが撮影した複数の映像、および前記車両に対するイベントを示す情報を取得する情報取得部と、
前記情報取得部が取得した複数の映像を、前記車両の上方から見たように視点変換処理を行い合成した俯瞰映像を生成する俯瞰映像生成部と、
前記情報取得部が取得したイベントに起因しないときの映像を再生する場合は、前記俯瞰映像生成部が生成した俯瞰映像を表示し、前記情報取得部が取得したイベントに起因するときの映像を再生する場合には、俯瞰映像を生成せずに、前記情報取得部が取得した映像を表示させる、表示制御部と、
を備える映像再生装置。
【請求項2】
前記情報取得部は、前記車両に対するイベントを示す情報として前記車両に対するイベントの検出方向を示す情報をさらに取得し、
前記表示制御部は、前記情報取得部が取得したイベントに起因するときの映像を再生する場合には、前記情報取得部が取得した複数の映像のうちイベントの検出方向に対応する映像を主として表示させる、
請求項1に記載の映像再生装置。
【請求項3】
前記表示制御部は、前記情報取得部が取得したイベントに起因するときの映像を再生する場合には、前記情報取得部が取得した複数の映像のうちイベントの検出方向に対応する映像を他の映像より大きく表示させる、
請求項2に記載の映像再生装置。
【請求項4】
車両に加わる加速度に基づいて前記車両に対するイベントを検出するイベント検出部と、
記車両の周囲を撮影する複数のカメラが撮影した複数の撮影データを取得する情報取得部と、
前記情報取得部が取得した複数の映像を記録するとともに、前記イベント検出部が前記車両に対するイベントを検出した場合、検出したイベントに関する所定期間の複数の映像を記録する記録制御部と、
前記情報取得部が取得した複数の撮影データに対して前記車両の上方から見たように視点変換処理を行い合成した俯瞰映像を生成する俯瞰映像生成部と、
前記撮影データを再生するとき、イベントに起因しないときの映像を再生する場合は、前記俯瞰映像生成部が生成した俯瞰映像を表示し、イベントに起因するときの映像を再生する場合には、俯瞰映像を生成せずに、前記情報取得部が取得した映像を表示させる、表示制御部と
を備える記録再生装置。
【請求項5】
前記情報取得部は、前記車両に対するイベントを示す情報として前記車両に対するイベントの検出方向を示す情報をさらに取得し、
前記表示制御部は、前記情報取得部が取得したイベントに起因するときの映像を再生する場合には、前記情報取得部が取得した複数の映像のうちイベントの検出方向に対応する映像を主として表示させ、前記複数の映像のうちイベントの検出方向に対応する前記映像以外の映像については前記車両から見て遠方側となる範囲を表示させる
請求項4に記載の記録再生装置。
【請求項6】
車両の周囲を撮影する複数のカメラが撮影した複数の映像、および前記車両に対するイベントを示す情報を取得する情報取得ステップと、
前記情報取得ステップにおいて取得した複数の映像を、前記車両の上方から見たように視点変換処理を行い合成した俯瞰映像を生成する俯瞰映像生成ステップと、
前記情報取得ステップにおいて取得したイベントに起因しないときの映像を再生する場合は、前記俯瞰映像生成ステップにおいて生成した俯瞰映像を表示し、前記情報取得ステップにおいて取得したイベントに起因するときの映像を再生する場合には、俯瞰映像を生成せずに、前記情報取得ステップで取得した映像を表示させる、表示制御ステップと、
を含む映像再生方法。
【請求項7】
車両の周囲を撮影する複数のカメラが撮影した複数の映像、および前記車両に対するイベントを示す情報を取得する情報取得ステップと、
前記情報取得ステップにおいて取得した複数の映像を、前記車両の上方から見たように視点変換処理を行い合成した俯瞰映像を生成する俯瞰映像生成ステップと、
前記情報取得ステップにおいて取得したイベントに起因しないときの映像を再生する場合は、前記俯瞰映像生成ステップにおいて生成した俯瞰映像を表示し、前記情報取得ステップにおいて取得したイベントに起因するときの映像を再生する場合には、俯瞰映像を生成せずに、前記情報取得ステップで取得した映像を表示させる、表示制御ステップと、
をコンピュータに実行させる映像再生プログラム。
【請求項8】
車両の周囲を撮影する複数のカメラが撮影した複数の映像、前記車両に対するイベントを示す情報、および前記車両に対するイベントの検出方向を示す情報を取得する情報取得部と、
前記情報取得部が取得した複数の映像を、前記車両の上方から見たように視点変換処理を行い合成した俯瞰映像を生成する俯瞰映像生成部と、
前記情報取得部が取得したイベントに起因しないときの映像を再生する場合は、前記俯瞰映像生成部が生成した俯瞰映像を表示し、前記情報取得部が取得したイベントに起因するときの映像を再生する場合には、前記情報取得部が取得した映像のうちイベントの検出方向に対応する映像を主として表示させ、前記複数の映像のうちイベントの検出方向に対応する前記映像以外の映像については前記車両から見て遠方側となる範囲を表示させる、表示制御部と、
を備える映像再生装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像再生装置、記録再生装置、映像再生方法及び映像再生プログラムに関する。
【背景技術】
【0002】
従来、車両の俯瞰映像用カメラが撮影した映像を、ドライブレコーダ用の映像として表示又は記録する装置が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2014-134912号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
イベントが検出されたとき特許文献1に記載のような俯瞰映像を表示する場合、イベントの状態が適切に確認できない可能性がある。
【0005】
本発明は、上記に鑑みてなされたものであり、イベントの状態を適切に確認することができる映像再生装置、記録再生装置、映像再生方法及び映像再生プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る映像再生装置は、車両の周囲を撮影する複数のカメラが撮影した複数の映像、および前記車両に対するイベントを示す情報を取得する情報取得部と、前記情報取得部が取得した複数の映像を、前記車両の上方から見たように視点変換処理を行い合成した俯瞰映像を生成する俯瞰映像生成部と、前記情報取得部が取得したイベントに起因しないときの映像を再生する場合は、前記俯瞰映像生成部が生成した俯瞰映像を表示し、前記情報取得部が取得したイベントに起因するときの映像を再生する場合には、前記情報取得部が取得した映像を表示させる、表示制御部と、を備える。
【0007】
本発明に係る記録再生装置は、車両に加わる加速度に基づいて前記車両に対するイベントを検出するイベント検出部と、前記イベント検出部が検出したイベントに基づいて前記車両の周囲を撮影する複数のカメラが撮影した複数の撮影データ、および前記車両に対するイベントの検出方向を示す情報を取得する情報取得部と、前記イベント検出部が前記車両に対するイベントを検出した場合、検出したイベントに関する所定期間の複数の映像を記録する記録制御部と、前記情報取得部が取得した複数の撮影データに対して前記車両の上方から見たように視点変換処理を行い、前記複数の映像を合成する境界をイベント検出方向に応じて変更して合成した俯瞰映像を生成する俯瞰映像生成部と、前記撮影データを再生するとき、イベントに起因しないときの映像を再生する場合は、前記俯瞰映像生成部が生成した俯瞰映像を表示し、イベントに起因するときの映像を再生する場合には、前記情報取得部が取得した映像を表示させる、表示制御部と、前記撮影データを再生するとき、前記瞰映像生成部が生成した俯瞰映像を表示部に表示させる再生制御部と、を備える。
【0008】
本発明に係る映像再生方法は、車両の周囲を撮影する複数のカメラが撮影した複数の映像、および前記車両に対するイベントを示す情報を取得する情報取得ステップと、前記情報取得ステップにおいて取得した複数の映像を、前記車両の上方から見たように視点変換処理を行い合成した俯瞰映像を生成する俯瞰映像生成ステップと、前記情報取得ステップにおいて取得したイベントに起因しないときの映像を再生する場合は、前記俯瞰映像生成ステップにおいて生成した俯瞰映像を表示し、前記情報取得ステップにおいて取得したイベントに起因するときの映像を再生する場合には、前記情報取得部が取得した映像を表示させる、表示制御ステップと、を含む。
【0009】
本発明に係る映像再生プログラムは、車両の周囲を撮影する複数のカメラが撮影した複数の映像、および前記車両に対するイベントを示す情報を取得する情報取得ステップと、前記情報取得ステップにおいて取得した複数の映像を、前記車両の上方から見たように視点変換処理を行い合成した俯瞰映像を生成する俯瞰映像生成ステップと、前記情報取得ステップにおいて取得したイベントに起因しないときの映像を再生する場合は、前記俯瞰映像生成ステップにおいて生成した俯瞰映像を表示し、前記情報取得ステップにおいて取得したイベントに起因するときの映像を再生する場合には、前記情報取得部が取得した映像を表示させる、表示制御ステップと、をコンピュータに実行させる。
【発明の効果】
【0010】
本発明によれば、イベントの状況を適切に確認することができる。
【図面の簡単な説明】
【0011】
図1図1は、本発明の第1実施形態に係る記録再生装置の一例を示すブロック図である。
図2図2は、俯瞰映像の一例を示す説明図である。
図3図3は、撮影データが表示された撮影映像の一例を示す説明図である。
図4図4は、イベント検出方向に対応する映像を拡大した撮影映像の一例を示す図である。
図5図5は、撮影データが表示された撮影映像の他の例を示す説明図である。
図6図6は、図5に示す撮影映像においてイベント検出方向に対応する映像を拡大する場合の一例を示す図である。
図7図7は、図5に示す撮影映像においてイベント検出方向に対応する映像を拡大する場合の他の例を示す図である。
図8図8は、撮影部による垂直方向の撮影範囲の一例を示す図である。
図9図9は、撮影部による垂直方向の撮影範囲の他の例を示す図である。
図10図10は、第1実施形態に係る記録再生装置における記録処理の流れを示すフローチャートである。
図11図11は、第1実施形態に係る記録再生装置における再生処理の流れを示すフローチャートである。
図12図12は、第2実施形態に係る映像再生装置の一例を示すブロック図である。
【発明を実施するための形態】
【0012】
以下、本発明に係る映像再生装置、記録再生装置、映像再生方法及び映像再生プログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
【0013】
[第1実施形態]
図1を用いて、本発明の第1実施形態に係る記録再生装置の構成について説明する。図1は、本発明の各実施形態に係る記録再生装置の構成の一例を示すブロック図である。図1に示す記録再生装置100は、いわゆるドライブレコーダであり、車両に載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。また、記録再生装置100は、車両に備えられる、例えばナビゲーション装置やインフォテイメントシステム等と構成を共有して実現されてもよい。
【0014】
記録再生装置100は、撮影部10と、記録部20と、操作部30と、表示部40と、加速度センサ50と、GPS(Global Positioning System)受信部60と、制御部70とを備える。
【0015】
撮影部10は、前方カメラ11と、後方カメラ12と、右側方カメラ13と、左側方カメラ14とを有する。前方カメラ11は、車両の前部に配置され、車両の前方を中心とした周辺を撮影する。後方カメラ12は、車両の後部に配置され、車両の後方を中心とした周辺を撮影する。右側方カメラ13は、車両の右側部に配置され、車両の右側方を中心とした周辺を撮影する。左側方カメラ14は、車両の左側部に配置され、車両の左側方を中心とした周辺を撮影する。
【0016】
前方カメラ11、後方カメラ12、右側方カメラ13及び左側方カメラ14は、撮影した映像を、撮影データとして制御部70の撮影データ取得部71へ出力する。撮影部10は、前方カメラ11、後方カメラ12、右側方カメラ13及び左側方カメラ14により車両の全方位を撮影する。
【0017】
記録部20は、イベントが検出されたときに記録されるイベントデータなど種々のデータを保存する。記録部20は、例えば、イベントの検出に基づく所定期間の撮影データをイベントデータとして保存する。記録部20は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子、またはハードディスク、ソリッドステートドライブなどの記憶装置で実現することができる。記録部20は、複数の異なるメモリなどで構成されてもよい。
【0018】
操作部30は、制御部70に対する種々の操作を受け付ける。種々の操作には、イベントデータの再生の開始、イベントデータの保存の開始などの操作が含まれる。操作部30は、受け付けた操作に応じた操作信号を操作制御部77に出力する。操作部30は、例えば、物理的なスイッチや、表示部40に設けられたタッチパネルで実現することができる。
【0019】
表示部40は、種々の映像を表示する。表示部40は、例えば、記録部20が記録しているイベントデータが再生された映像を表示する。表示部40は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Organic Electro-Luminescence)ディスプレイなどを含むディスプレイである。
【0020】
加速度センサ50は、車両に加わった加速度を検出する。加速度センサ50は、例えば、駐車中に車両に加わった加速度を検出する。加速度センサ50は、例えば、3軸加速度センサで実現することができる。加速度センサ50は、検出した加速度に関する加速度情報を加速度情報取得部79に出力する。
【0021】
GPS受信部60は、GPS受信回路、GPS受信アンテナなどから構成されており、GPS信号を受信する。GPS受信部60は、受信したGPS信号を位置情報取得部82に出力する。
【0022】
制御部70は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、図示しない記憶部に記憶されたプログラム(例えば、本発明に係るプログラム)がRAM等を作業領域として実行されることにより実現される。また、制御部70は、コントローラ(Controller)であり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。
【0023】
制御部70は、撮影データ取得部(情報取得部)71と、バッファメモリ72と、撮影データ処理部73と、記録制御部74と、再生制御部75と、俯瞰映像生成部76と、操作制御部77と、表示制御部78と、加速度情報取得部79と、イベント検出部(情報取得部)80と、イベント検出方向取得部81と、位置情報取得部82とを有する。図1においては、制御部70で実現される各部は、理解を容易にするために、バス83を介して互いに接続されているように記載する。
【0024】
撮影データ取得部71は、外部から各種の撮影データを取得する。撮影データ取得部71は、例えば、撮影部10から撮影データを取得する。撮影データ取得部71は、例えば、走行中、停車中又は駐車中の車両の周辺を撮影部10で撮影した撮影データを取得する。撮影データ取得部71は、例えば、撮影部10から取得した撮影データをバッファメモリ72および表示制御部78に出力する。撮影データ取得部71は、撮影部10が撮影した撮影データに加えて、撮影部10または他の位置に配置された図示しないマイクロフォンが取得した音声データを含んだ撮影データを取得してもよい。撮影データ取得部71は、取得した複数の撮影データをバッファメモリ72に出力する。
【0025】
バッファメモリ72は、撮影データ取得部71が取得した撮影データを一時的に記憶する制御部70の内部メモリである。具体的には、バッファメモリ72は、撮影データ取得部71が取得した一定時間分の撮影データを、更新しながら一時的に記憶する。
【0026】
撮影データ処理部73は、バッファメモリ72が一時的に記憶している撮影データに対して種々の処理を実行する。撮影データ取得部71は、例えば、バッファメモリ72が一時的に記憶している撮影データを、例えば、MP4形式などの任意のファイル形式に変換する。撮影データ処理部73は、例えば、バッファメモリ72が一時的に記憶している撮影データから、一定時間分のデータファイルとした撮影データを生成する。具体的には、撮影データ処理部73は、バッファメモリ72が一時的に記憶している撮影データから、60秒間の撮影データをデータファイルとして生成する。撮影データ処理部73は、生成した撮影データを記録制御部74へ出力する。また、撮影データ処理部73は、生成した撮影データを表示制御部78へ出力する。データファイルとして生成される撮影データの期間は、一例として60秒としたが、これには限定されない。
【0027】
記録制御部74は、種々のデータを記録部20に保存する。記録制御部74は、例えば、撮影データ処理部73でファイル化された撮影データを、記録部20に記録させる制御を行う。記録制御部74は、例えば、イベント検出部80がイベントを検出した場合、そのイベントを含む映像に関する撮影データをイベントデータとして記録部20に保存する。
【0028】
再生制御部75は、記録部20に記録されている種々のデータを再生する。再生制御部75は、例えば、記録部20にデータファイルとして記録されている撮影データを再生する。再生制御部75は、例えば、記録部20に保存されているイベントデータを再生する。再生制御部75は、操作制御部77から出力された操作部30の操作に応じた制御信号に従って、任意の撮影データ及びイベントデータを再生する。
【0029】
俯瞰映像生成部76は、記録部20に記録されている複数の撮影データに対して車両の上方から見たように視点変換処理を行い、視点変換処理を行った複数の撮影データを合成することで俯瞰映像を生成する。本実施形態において、俯瞰映像生成部76は、車両の上方を仮想視点とした俯瞰映像を生成することができる。
【0030】
操作制御部77は、操作部30からユーザなどから受け付けた操作に関する操作信号を受け付ける。操作制御部77は、例えば、撮影データの再生の開始、撮影データの記録の開始などの操作に関する操作信号を受け付ける。操作制御部77は、受け付けた操作信号に応じた制御信号を記録制御部74又は再生制御部75に出力する。この場合、記録制御部74及び再生制御部75は、制御信号に従って、動作を実行する。
【0031】
表示制御部78は、種々の映像を表示部40に表示する。表示制御部78は、例えば、再生制御部75によって再生された撮影データおよびイベントデータを表示部40に表示する。具体的には、表示制御部78は、表示部40に映像信号を出力することで、表示部40に映像を表示する。表示制御部78は、例えば、記録部20に記録されている撮影データ及びイベントデータに関する映像信号を表示部40に出力することで、表示部40に撮影データを表示する。
【0032】
加速度情報取得部79は、加速度センサ50から車両に加わった加速度に関する加速度情報を取得する。具体的には、加速度情報取得部79は、駐車中に車両に加わった加速度に関する加速度情報を取得する。加速度情報取得部79は、取得した加速度情報をイベント検出部80に出力する。
【0033】
イベント検出部80は、車両に対するイベントを検出する。イベント検出部80が車両に対するイベントを検出する方法は任意であるが、一例として、イベント検出部80は、加速度センサ50の検出結果に基づいて、イベントを検出する。この場合、イベント検出部80は、加速度センサ50が検出した加速度における閾値以上の加速度が検出されると、イベントとして検出する。イベント検出部80がイベントとして検出する加速度は、車両に対して物体が衝突するような事故に相当する衝撃が検出されるような閾値が設定される。
【0034】
イベント検出方向取得部81は、イベント検出部80がイベントを検出した場合、車両に対するイベント検出方向を取得する。イベント検出方向取得部81は、イベントが検出されたときの加速度センサ50における軸毎の加速度情報に基づき、イベントとして検出された加速度を生じさせた他の物体が車両に対して衝突した方向を検出する。イベント検出方向取得部81が取得したイベント検出方向を示す情報は、イベントデータに対応つけられて記録される。イベント検出方向とは、車両から見てイベントが発生した方向である。イベント検出方向取得部81は、加速度センサ50からの加速度情報に限らず、音声や映像、またはこれらの組み合わせで、イベント検出方向を取得してもよい。
【0035】
位置情報取得部82は、GPS受信部60からGPS信号を受け付ける。位置情報取得部82は、GPS信号に基づいて、現在位置情報を算出する。位置情報取得部82およびGPS受信部60は、GPSに限らず、他の方式の測位衛星システムに対応していてもよい。
【0036】
図2を用いて、俯瞰映像生成部76により生成される俯瞰映像について説明する。図2は、俯瞰映像Pの一例を示す説明図である。俯瞰映像Pは、前方映像P1、後方映像P2、右側方映像P3及び左側方映像P4を含む。また、俯瞰映像Pは、合成境界B1、B2、B3、B4を含む。俯瞰映像Pの中央部には、自車両アイコンMが表示される。自車両アイコンMは、車両を上方から見下ろした形態を示す。
【0037】
俯瞰映像生成部76は、基本的に、表示向きがヘッディングアップ、すなわち車両の前側が画面内の上方に設定された俯瞰映像Pを生成する。俯瞰映像生成部76は、種々の条件に応じて、表示向きがヘッディングアップ以外、すなわち車両の前側が画面内の上方以外の方向に設定された俯瞰映像Pを生成してもよい。
【0038】
俯瞰映像生成部76は、俯瞰映像表示を開始するとき、撮影データ取得部42が取得した周辺映像を、車両の真上に位置する仮想視点から見えるように視点変換処理を行って合成した俯瞰映像を生成する。
【0039】
俯瞰映像生成部76は、撮影データ取得部71で取得し、記録部20に記録された複数の撮影データに対して、車両を上方から見たように視点変換処理を行う。より詳しくは、俯瞰映像生成部76は、前方カメラ11、後方カメラ12、右側方カメラ13及び左側方カメラ14で撮影した複数の撮影データに基づいて、視点変換処理を行った映像を生成する。視点変換処理の方法は、公知のいずれの方法でもよく、限定されない。
【0040】
俯瞰映像生成部76は、視点変換処理を行った複数の撮影データから所定の範囲の映像を切り出す切り出し処理を行う。俯瞰映像生成部76は、視点変換処理を行った前方カメラ11の撮影データから、前方切り出し範囲を切り出す。俯瞰映像生成部76は、視点変換処理を行った後方カメラ12の撮影データから、後方切り出し範囲を切り出す。俯瞰映像生成部76は、視点変換処理を行った右側方カメラ13の撮影データから、右側方切り出し範囲を切り出す。俯瞰映像生成部76は、視点変換処理を行った左側方カメラ14の撮影データから、左側方切り出し範囲を切り出す。
【0041】
前方切り出し範囲は、前方映像P1を切り出す範囲である。前方切り出し範囲は、車両の前端部から前方の範囲である。後方切り出し範囲は、視点変換処理を行った複数の撮影データから後方映像P2を切り出す範囲である。後方切り出し範囲は、車両の後端部から後方の範囲である。右側方切り出し範囲は、視点変換処理を行った複数の撮影データから右側方映像P3を切り出す範囲である。右側方切り出し範囲は、車両の右側部から右方の範囲である。左側方切り出し範囲は、視点変換処理を行った複数の撮影データから左側方映像P4を切り出す範囲である。左側方切り出し範囲は、車両の左側部から左方の範囲である。
【0042】
俯瞰映像生成部76は、俯瞰映像生成部76で切り出した複数の映像を合成する合成処理を行う。前方切り出し範囲(前方映像P1)と右側方切り出し範囲(右側方映像P3)との境界が、合成境界B1となる。前方切り出し範囲(前方映像P1)と左側方切り出し範囲(左側方映像P4)との境界が、合成境界B2となる。後方切り出し範囲(後方映像P2)と右側方切り出し範囲(右側方映像P3)との境界が、合成境界B3となる。後方切り出し範囲(後方映像P2)と左側方切り出し範囲(左側方映像P4)との境界が、合成境界B4となる。
【0043】
例えば、合成境界B1は、自車両アイコンMの右前角部から俯瞰映像Pの右辺の前部側にかけて設定される。合成境界B2は、自車両アイコンMの左前角部から俯瞰映像Pの左辺の前部側にかけて設定される。合成境界B3は、自車両アイコンMの右後角部から俯瞰映像Pの右辺の後部側にかけて設定される。合成境界B4は、自車両アイコンMの左後角部から俯瞰映像Pの左辺の後部側にかけて設定される。
【0044】
俯瞰映像生成部76は、イベントデータ以外の撮影データが再生された場合、図2に示すように、前方映像P1と後方映像P2とが上下対称の同一形状で同一の面積となり、右側方映像P3と左側方映像P4とが左右対称の同一形状で同一の面積となるように切り出し処理を行い、合成境界B1、B2、B3、B4を設定して、標準の俯瞰映像Pを生成する。本実施形態において、表示制御部78は、イベント検出部80が取得したイベントに起因しないときの映像を再生する場合は、俯瞰映像生成部76が生成した俯瞰映像Pとして映像を表示部40に表示する。
【0045】
イベント検出部80が取得したイベントに起因するときの映像を再生する場合、例えば図2に示すような俯瞰映像を生成して再生すると、俯瞰映像生成部76は、複数の撮影データから、車両の近傍の範囲を切り出して俯瞰映像を生成するため、イベントの原因となる状況が表示されない場合がある。
【0046】
このため、俯瞰映像生成部76は、イベントデータが再生された場合、俯瞰映像Pの生成を行わないようにする。本実施形態において、表示制御部78は、イベント検出部80が取得したイベントに起因するときの映像を再生する場合には、俯瞰映像生成部76による俯瞰映像Pを生成せずに撮影データ取得部71が取得した撮影データの映像を表示部40に表示させる。
【0047】
図3を用いて、再生制御部74によりイベントデータが再生され、表示制御部78によって表示部40に表示される場合の例について説明する。図3は、イベントデータとして記録された撮影データが表示された撮影映像の一例を示す説明図である。表示制御部78は、俯瞰映像Pと切り替わるように撮影映像Qを表示部40に表示させる。図3に示すように、撮影映像Qは、前方カメラ映像Q1、後方カメラ映像Q2、右側方カメラ映像Q3及び左側方カメラ映像Q4を含む。前方カメラ映像Q1、後方カメラ映像Q2、右側方カメラ映像Q3及び左側方カメラ映像Q4は、いずれも視点変換処理は行われていない映像である。
【0048】
前方カメラ映像Q1は、前方カメラ11により撮影された映像である。前方カメラ映像Q1は、撮影映像Qにおいて図中上部に表示される。後方カメラ映像Q2は、後方カメラ12により撮影された映像である。後方カメラ映像Q2は、撮影映像Qにおいて図中下部に表示される。右側方カメラ映像Q3は、右側方カメラ13により撮影された映像である。右側方カメラ映像Q3は、撮影映像Qにおいて、図中の前方カメラ映像Q1と後方カメラ映像Q2との間の領域の右側半分に表示される。左側方カメラ映像Q4は、左側方カメラ14により撮影された映像である。左側方カメラ映像Q4は、撮影映像Qにおいて、図中の前方カメラ映像Q1と後方カメラ映像Q2との間の領域の左側半分に表示される。各映像をこのような配置にすることにより、俯瞰映像Pを表示していた縦長の表示部40に対して撮影映像Qを適切かつ効率的に表示することができる。
【0049】
表示制御部78は、イベント検出方向が取得された場合、撮影映像Qを構成する複数の映像のうちイベント検出方向に対応する映像を主として表示させることができる。この場合、表示制御部78は、イベント検出方向に対応する映像を他の映像より大きく表示させる。
【0050】
図4は、イベント検出方向に対応する映像を拡大した撮影映像の一例を示す図である。図4では、イベント検出方向が前方である場合を例としている。図4に示すように、表示制御部78は、イベント検出方向に対応する映像として、イベント検出方向である前方を映した前方カメラ映像Q1を特定する。表示制御部78は、特定した前方カメラ映像Q1を図中の下方に広げて表示することができる。この場合、表示制御部78は、前方カメラ映像Q1以外の他の映像(後方カメラ映像Q2、右側方カメラ映像Q3、左側方カメラ映像Q4)については、前方カメラ映像Q1の拡大に伴って下方に縮小することができる。また、表示制御部78は、他の映像を縮小することなく、前方カメラ映像Q1を他の映像に重ねて表示させてもよい。また、表示制御部78は、表示部40の画面全体に前方カメラ映像Q1を表示させてもよい。
【0051】
図5は、撮影データが表示された撮影映像の他の例を示す説明図である。図5に示すように、表示制御部78は、表示部40をマトリクス状(例えば2行×2列)に区切り、前方カメラ映像Q1、後方カメラ映像Q2、右側方カメラ映像Q3、左側方カメラ映像Q4を各領域に表示させるようにしてもよい。図5に示す例において、表示制御部78は、前方カメラ映像Q1を左上の領域に表示させ、後方カメラ映像Q2を右下の領域に表示させ、右側方カメラ映像Q3を右上の領域に表示させ、左側方カメラ映像Q4左下の領域に表示させる場合を示している。なお、4つの各映像の配置については、上記に限定されず、他の配置としてもよい。
【0052】
図6及び図7は、図5に示す撮影映像Qにおいてイベント検出方向に対応する映像を拡大する場合の例を示す図である。図6及び図7では、イベント検出方向が前方である場合を例としている。
【0053】
図6に示すように、表示制御部78は、イベント検出方向に対応する前方カメラ映像Q1を、例えば図中の右方及び下方に広げて表示することができる。この場合、表示制御部78は、前方カメラ映像Q1を他の映像(後方カメラ映像Q2、右側方カメラ映像Q3、左側方カメラ映像Q4)の上に重ねて表示させることができる。なお、表示制御部78は、表示部40の画面全体に前方カメラ映像Q1を表示させてもよい。
【0054】
また、図7に示すように、表示制御部78は、イベント検出方向に対応する前方カメラ映像Q1を、例えば図中の右方に広げて表示することができる。この場合、表示制御部78は、前方カメラ映像Q1とは異なる他の映像(後方カメラ映像Q2、右側方カメラ映像Q3、左側方カメラ映像Q4)を前方カメラ映像Q1の図中の下方側に配置し、適宜縮小して表示させることができる。
【0055】
なお、表示制御部78は、撮影映像Qとして表示される複数の映像のうちイベント検出方向に対応する映像以外の映像については、例えば車両から見て遠方側となる範囲を撮影した映像として表示させることができる。図8は、撮影部10による垂直方向の撮影範囲の一例を示す図である。図8では、前方カメラ11及び後方カメラ12を例に挙げて説明するが、右側方カメラ13及び左側方カメラ14についても同様の説明が可能である。
【0056】
図8に示す例では、前方カメラ11の垂直方向の撮影可能範囲Rfと、撮影映像Qにおいて前方カメラ映像Q1として表示される表示範囲Rf1とを比較して示している。また、後方カメラ12の垂直方向の撮影可能範囲Rrと、撮影映像Qにおいて後方カメラ映像Q2として表示される表示範囲Rr1とを比較して示している。図8に示すように、撮影映像Qにおいて表示される表示範囲Rf1、Rr1は、それぞれ撮影可能範囲Rf、Rrの一部が用いられている。なお、表示範囲Rf1、Rr1は、撮影可能範囲Rf、Rrの全部が用いられてもよい。
【0057】
図9は、撮影部10による垂直方向の撮影範囲の他の例を示す図である。図9では、図8と同様に、前方カメラ11及び後方カメラ12を例に挙げて説明するが、右側方カメラ13及び左側方カメラ14についても同様の説明が可能である。図9では、イベント検出方向が前方であり、イベント検出方向に対応する映像が前方カメラ映像Q1である場合を例とする。図9に示すように、表示制御部78は、前方カメラ映像Q1を撮影する前方カメラ11とは異なる後方カメラ12について、上方の撮影範囲をカットした表示範囲Rr2を設定することができる。この場合、後方カメラ映像Q2としては、イベントデータの確認時に必要な範囲の映像が表示される。
【0058】
次に、図10を用いて、記録再生装置100における記録処理の流れについて説明する。図10は、第1実施形態に係る記録再生装置100における記録処理の流れを示すフローチャートである。ここでは、ループ記録処理を行う場合について説明する。
【0059】
記録再生装置100は、イベント検出およびループ記録を開始する(ステップS101)。より詳しくは、記録再生装置100は、イベント検出部80によって、加速度センサ50の検出結果に基づいて、イベントを検出する。記録再生装置100は、撮影データ処理部73によって、バッファメモリ72に記録された撮影データから、所定期間の映像ごとのループ記録撮影データを生成する。記録再生装置100は、記録制御部74によって、ループ記録撮影データを記録部20に記録させる。記録再生装置100は、ステップS102に進む。
【0060】
記録再生装置100は、イベント検出部80によって、イベントを検出したか否かを判定する(ステップS102)。より詳しくは、記録再生装置100は、イベント検出部80によって、イベントが検出された場合(ステップS102でYes)、ステップS103に進む。記録再生装置100は、イベント検出部80によって、イベントが検出されなかった場合(ステップS102でNo)、ステップS105に進む。
【0061】
イベントが検出された場合(ステップS102でYes)、記録再生装置100は、イベント検出方向取得部81によって、イベント検出方向を取得する(ステップS103)。記録再生装置100は、ステップS104に進む。
【0062】
記録再生装置100は、イベント検出前後の撮影データであるイベントデータと、イベント検出方向を保存する(ステップS104)。より詳しくは、記録再生装置100は、撮影データ処理部73によって、記録部20に記録されたループ記録撮影データから、少なくともイベントの発生時点を含む撮影データをイベントデータとして生成する。記録再生装置100は、記録制御部74によって、イベントデータを記録部20に保存する。記録再生装置100は、イベントデータとともに、イベント検出方向を示す情報を保存する。記録再生装置100は、イベントデータを上書き禁止の状態として保存する。記録再生装置100は、ステップS105に進む。ステップS103において、イベントが検出されたにもかかわらずイベント検出方向が取得できない場合は、ステップS104においては、イベント検出方向を取得せずにイベントデータを保存する。
【0063】
記録再生装置100は、イベント検出およびループ記録を終了するか否かを判定する(ステップS105)。より詳しくは、記録再生装置100は、操作制御部77によって、終了操作情報が出力された場合や、車両の動作が終了するなど、任意の条件で、イベント検出およびループ記録を終了すると判定して(ステップS105でYes)、処理を終了する。記録再生装置100は、操作制御部77によって、終了操作情報が出力されていないと、イベント検出およびループ記録を終了しないと判定して(ステップS105でNo)、ステップS102の処理を再度実行する。
【0064】
次に、図11を用いて、記録再生装置100における再生処理の流れについて説明する。図11は、第1実施形態に係る記録再生装置100における再生処理の流れを示すフローチャートである。
【0065】
記録再生装置100は、撮影データの再生指示があるか否かを判定する(ステップS201)。記録再生装置100は、操作制御部77が撮影データの再生指示を示す操作情報を取得した場合、撮影データの再生指示があると判定して(ステップS201でYes)、ステップS202に進む。記録再生装置100は、操作制御部77が撮影データの再生指示を示す操作情報を取得しない場合、撮影データの再生指示がないと判定して(ステップS201でNo)、本処理を終了する、又はステップS201の処理を再度実行してもよい。
【0066】
撮影データの再生指示があると判定した場合(ステップS201でYes)、記録再生装置100は、撮影対象がイベントデータであるか否かを判定する(ステップS202)。撮影対象がイベントデータであると判定した場合(ステップS202でYes)、ステップS203に進む。撮影対象がイベントデータではないと判定した場合(ステップS202でNo)、ステップS205に進む。
【0067】
撮影対象がイベントデータであると判定した場合(ステップS202でYes)、記録再生装置100は、俯瞰映像Pを生成せず、撮影データ取得部71が取得した撮影データを撮影映像Qとして表示して(ステップS203)、ステップS204に進む。
【0068】
記録再生装置100は、イベントデータの再生を終了するか否かを判定する(ステップS204)。イベントデータを最後まで再生した場合、または、再生を停止する操作が行われた場合、記録再生装置100は、イベントデータの再生を終了すると判定して(ステップS204でYes)、処理を終了する。上記に該当しない場合、記録再生装置100は、イベントデータの再生を終了しないと判定して(ステップS204でNo)、ステップS204の処理を再度実行する。
【0069】
ステップS202において、撮影対象がイベントデータではないと判定した場合(ステップS202でNo)、記録再生装置100は、標準の俯瞰映像P(図2参照)を生成し、生成した俯瞰映像Pを表示部40に表示して(ステップS205)、ステップS206に進む。イベントデータではない撮影対象とは、例えばループ記録データである。
【0070】
記録再生装置100は、ループ記録データの再生を終了するか否かを判定する(ステップS206)。ループ記録データを最後まで再生した場合、または、再生を停止する操作が行われた場合、記録再生装置100は、ループ記録データの再生を終了すると判定して(ステップS206でYes)、処理を終了する。上記に該当しない場合、記録再生装置100は、ループ記録データの再生を終了しないと判定して(ステップS206でNo)、ステップS206の処理を再度実行する。
【0071】
以上のように、本実施形態では、イベントに起因しないときの映像を再生する場合は俯瞰映像Pが表示部40に表示され、イベントに起因するときの映像を再生する場合には俯瞰映像Pが生成されずに撮影データ取得部71が取得した撮影映像Qが表示されるため、イベントの状態を適切に確認することができる。
【0072】
本実施形態において、イベントに起因するときの映像を再生する場合には、イベント検出方向に対応する映像が主として表示されるため、イベントの状態をより適切に確認することができる。本実施形態において、イベントに起因するときの映像を再生する場合には、イベント検出方向に対応する映像が主として表示される他の例としては、イベント検出方向に対応する映像を表示させ、イベント検出方向に対応しない映像を表示させないようにしてもよい。
【0073】
本実施形態において、イベントに起因するときの映像を再生する場合には、イベント検出方向に対応する映像が他の映像よりも大きく表示されるためイベントの状態をより適切に確認することができる。
【0074】
[第2実施形態]
図12を参照しながら、本実施形態に係る映像再生装置200について説明する。図12は、第2実施形態に係る映像再生装置200の一例を示すブロック図である。
【0075】
映像再生装置200は、例えば第1実施形態に記載の記録再生装置100で保存された撮影データを再生することができる。映像再生装置200は、記録部110と、操作部120と、表示部130と、制御部140とを有する。映像再生装置200は、例えば、パーソナルコンピュータ、スマートフォン、タブレット端末、ナビゲーション装置などを含む電子機器である。
【0076】
記録部110は、記録再生装置100などによって記録された、イベントデータ、イベント検出方向を示す情報、ループ記録データなどが格納されている。記録部110は、例えば、フラッシュメモリなどの半導体メモリ素子、または、メモリカードなどの記録部である。または、図示しない通信装置を介して無線接続される外部記録部であってもよい。
【0077】
操作部120は、映像再生装置200に対する各種操作を受付可能である。例えば、操作部120は、記録部110に記録したイベントデータまたはループ記録データを再生する操作を受付可能である。例えば、操作部120は、記録部110に記録したイベントデータを消去する操作を受付可能である。操作部120は、操作情報を制御部140の操作制御部144に出力する。
【0078】
操作部120は、表示部130に備えられているタッチパネルであり、記録部110に保存されているイベントデータを再生する操作を、表示部130に表示されたサムネイル画像をタッチすることで、イベントデータの選択、再生指示を行う。
【0079】
表示部130は、例えば、液晶ディスプレイまたは有機ELディスプレイなどを含むディスプレイである。表示部130は、制御部140の表示制御部145から出力された映像信号に基づいて、映像を表示する。表示部130は、記録部110に記録された映像を表示する。
【0080】
制御部140は、例えば、CPUなどで構成された演算処理装置(制御装置)である。制御部140は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部140には図示しない内部メモリが含まれ、内部メモリは制御部140におけるデータの一時記憶などに用いられる。制御部140は、バス146に接続された、情報取得部141と、再生制御部142と、俯瞰映像生成部143と、操作制御部144と、表示制御部145とを有する。
【0081】
情報取得部141は、車両の周囲を撮影する複数のカメラが撮影した複数の映像、車両に対するイベントを示す情報、および車両に対するイベントの検出方向を示す情報を取得する。
【0082】
再生制御部142は、選択されたイベントデータまたはループ記録データを記録部110から取得して再生する。再生制御部142は、操作制御部144から出力された選択操作および再生操作の制御信号に基づいて、記録部110に記録されたイベントデータまたはループ記録データを再生するよう制御する。再生制御部142は、撮影データを再生するとき、俯瞰映像生成部143が生成した俯瞰映像を表示部130に表示させる。
【0083】
俯瞰映像生成部143は、情報取得部141が取得した複数の撮影データに対して車両の上方から見たように視点変換処理を行い、複数の映像を合成する境界をイベント検出方向に応じて変更して合成した俯瞰映像を生成する。
【0084】
操作制御部144は、操作部120が受け付けた操作の操作情報を取得する。例えば、操作制御部144は、映像データの選択操作を示す選択操作情報、映像データの再生操作を示す再生操作情報、または、映像データの消去操作を示す消去操作情報を取得して制御信号を出力する。
【0085】
映像再生装置200における再生処理の流れは、図11に示す記録再生装置100における再生処理の流れと同一である。
【0086】
表示制御部145は、再生制御部142からの制御信号に基づいて、表示部130における映像データの表示を制御する。表示制御部145は、映像データを表示部130に出力させる映像信号を出力する。表示制御部145は、情報取得部141が取得したイベントに起因しないときの映像を再生する場合は、俯瞰映像生成部143が生成した俯瞰映像を表示し、情報取得部141が取得したイベントに起因するときの映像を再生する場合には、俯瞰映像生成部143による俯瞰映像を生成せずに情報取得部141が取得した映像を表示させる。表示制御部145は、イベントに起因するときの映像を再生する場合には、複数の映像のうちイベントの検出方向に対応する映像を主として表示させる。表示制御部145は、イベントに起因するときの映像を再生する場合には、複数の映像のうちイベントの検出方向に対応する映像を他の映像より大きく表示させる。表示制御部145は、イベントに起因するときの映像を再生する場合には、複数の映像のうちイベントの検出方向に対応する映像以外の映像については車両の遠方側を表示させる。
【0087】
このように、記録再生装置100で保存された撮影データを再生する映像再生装置200においても、イベントに起因しないときの映像を再生する場合は俯瞰映像Pが表示部40に表示され、イベントに起因するときの映像を再生する場合には俯瞰映像Pが生成されずに撮影データ取得部71が取得した撮影映像Qが表示されるため、イベントの状態を適切に確認することができる。
【0088】
これまで本発明に係る記録再生装置100および映像再生装置200について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよい。
【0089】
図示した記録再生装置100および映像再生装置200の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
【0090】
記録再生装置100および映像再生装置200の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
【0091】
上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
【0092】
上記では、ループ記録処理を行う場合について説明したが、イベントが検出されてから撮影を開始する場合についても同様である。
【符号の説明】
【0093】
B1,B2,B3,B4…合成境界、M…自車両アイコン、P…俯瞰映像、P1…前方映像、P2…後方映像、P3…右側方映像、P4…左側方映像、Q…撮影映像、Q1…前方カメラ映像、Q2…後方カメラ映像、Q3…右側方カメラ映像、Q4…左側方カメラ映像、Rf,Rr…撮影可能範囲、Rf1,Rf2,Rr1…表示範囲、10…撮影部、11…前方カメラ、12…後方カメラ、13…右側方カメラ、14…左側方カメラ、20,110…記録部、23…設定操作部、30,120…操作部、40,130…表示部、42,71…撮影データ取得部、50…加速度センサ、GPS受信部、70,140…制御部、72…バッファメモリ、73…撮影データ処理部、74…記録制御部、75,142…再生制御部、76,143…俯瞰映像生成部、77,144…操作制御部、78,80,145…表示制御部、79…加速度情報取得部、80…イベント検出部、81…イベント検出方向取得部、82…位置情報取得部、83,146…バス、100…記録再生装置、141…情報取得部、200…映像再生装置
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12