(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023155621
(43)【公開日】2023-10-23
(54)【発明の名称】映像記録装置および映像記録方法
(51)【国際特許分類】
G07C 5/00 20060101AFI20231016BHJP
G11B 20/10 20060101ALI20231016BHJP
G11B 27/00 20060101ALI20231016BHJP
G11B 27/02 20060101ALI20231016BHJP
H04N 5/77 20060101ALI20231016BHJP
H04N 5/92 20060101ALI20231016BHJP
【FI】
G07C5/00 Z
G11B20/10 301Z
G11B27/00 B
G11B27/02 A
H04N5/77 200
H04N5/92 010
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2022065055
(22)【出願日】2022-04-11
(71)【出願人】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(72)【発明者】
【氏名】山本 規広
【テーマコード(参考)】
3E138
5C053
5D044
5D110
【Fターム(参考)】
3E138MB08
3E138MC03
3E138MF02
3E138MF05
3E138MF06
5C053GB06
5C053JA21
5C053LA01
5D044AB05
5D044AB07
5D044DE17
5D044DE27
5D044DE49
5D044DE54
5D110AA27
5D110AA29
5D110BC06
5D110CA05
5D110CA06
5D110CA43
5D110DA04
5D110DA11
(57)【要約】
【課題】撮影された映像の検索を容易にすることを可能とする。
【解決手段】本発明にかかる映像記録装置10は、映像を撮影するカメラ102と、カメラ102が撮影した撮影データを取得する撮影制御部202と、カメラ102の周囲における所定レベル以上の音声の検出と検出した音声の発生方向を検出する音声検出部214と、撮影データから、サムネイル画像を対応付ける対象となる撮影ファイルを生成する撮影データ処理部206と、音声検出部214が音声を検出した場合、音声を検出したときに対応する撮影ファイルのサムネイル画像を、検出した音声の発生方向の画像から生成するサムネイル画像生成部216と、撮影データ処理部206が生成した撮影ファイルとサムネイル画像生成部216が生成したサムネイル画像とを対応付けて記録部104に記録する記録制御部208と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
映像を撮影するカメラと、
前記カメラが撮影した撮影データを取得する撮影制御部と、
前記カメラの周囲における所定レベル以上の音声の検出と検出した音声の発生方向を検出する音声検出部と、
前記撮影データから、サムネイル画像を対応付ける対象となる撮影ファイルを生成する撮影データ処理部と、
前記音声検出部が音声を検出した場合、音声を検出したときに対応する前記撮影ファイルのサムネイル画像を、検出した音声の発生方向の画像から生成するサムネイル画像生成部と、
前記撮影データ処理部が生成した前記撮影ファイルと前記サムネイル画像生成部が生成した前記サムネイル画像とを対応付けて記録部に記録する記録制御部と、
を備える、映像記録装置。
【請求項2】
前記撮影データ処理部は、イベント記録操作に基づいて、前記撮影データから、サムネイル画像を対応付ける対象となる撮影ファイルとしてのイベントデータを生成し、
前記サムネイル画像生成部は、前記音声検出部が所定レベル以上の音声を検出した場合、音声を検出したときに対応する前記イベントデータのサムネイル画像を、検出したときの前記イベントデータにおける検出した音声の発生方向の画像から生成する、
請求項1に記載の映像記録装置。
【請求項3】
前記映像記録装置は車両において用いられ、
前記カメラは、前記車両の前方を撮影可能な位置に配置されており、
前記サムネイル画像生成部は、前記音声検出部が前記車両の前方以外の方向の音声を検出した場合、音声を検出したときの前記撮影データにおける音声の発生方向の画像からサムネイル画像を生成する、
請求項1または2に記載の映像記録装置。
【請求項4】
前記映像記録装置は車両において用いられ、
前記カメラは、前記車両に取り付けられた全周囲カメラであり、
前記サムネイル生成部は、前記音声検出部が音声を検出していない場合、音声を検出していないときに対応する前記撮影ファイルのサムネイル画像を、前記撮影データにおける前記車両の前方方向の画像からサムネイル画像を生成し、前記音声検出部が音声を検出した場合、音声を検出したときに対応する前記撮影ファイルのサムネイル画像を、検出したときの前記撮影データにおける検出した音声の発生方向の画像から生成する、
請求項1または2に記載の映像記録装置。
【請求項5】
映像を撮影するカメラが撮影した撮影データを取得する撮影制御ステップと、
前記カメラの周囲における所定レベル以上の音声の検出と検出した音声の発生方向を検出する音声検出ステップと、
前記撮影データから、サムネイル画像を対応付ける対象となる撮影ファイルを生成する撮影データ処理ステップと、
前記音声検出ステップにおいて音声が検出された場合、音声を検出したときに対応する前記撮影ファイルのサムネイル画像を、検出したときの前記撮影データにおける検出した音声の発生方向の画像から生成するサムネイル画像生成ステップと、
前記撮影データ処理ステップにおいて生成した前記撮影ファイルと前記サムネイル画像生成ステップにおいて生成した前記サムネイル画像とを対応付けて記録部に記録する記録制御ステップと、
を映像記録装置が実行する映像記録方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像記録装置および映像記録方法に関する。
【背景技術】
【0002】
車両において主に車両外の映像を撮影するドライブレコーダが普及しており、例えば60秒毎の所定時間毎に撮影ファイルを生成して記録する。また、事故等のイベントが検出された場合は、イベント検出時点を含む所定期間の映像を、イベントデータとして保存する。例えば、特許文献1には、イベントデータを記録し、イベントデータに対応するサムネイル画像を表示することで、イベントデータを選択し、再生することができるドライブレコーダが開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ドライブレコーダなど、連続的に撮影ファイルを生成して記録する映像記録装置においては、イベントとして事故を検出したときの映像に加えて、車両の走行時に周囲の映像を記録する目的で利用される場合もある。例えば、車両の走行後に記録した映像を確認する場合、撮影ファイル毎のサムネイル画像が表示されても、サムネイル画像の表示に基づき所望の映像を見つけることが困難な場合がある。
【0005】
本発明は、撮影された映像の検索を容易にすることができる映像記録装置および映像記録方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る映像記録装置は、映像を撮影するカメラと、前記カメラが撮影した撮影データを取得する撮影制御部と、前記カメラの周囲における所定レベル以上の音声の検出と検出した音声の発生方向を検出する音声検出部と、前記撮影データから、サムネイル画像を対応付ける対象となる撮影ファイルを生成する撮影データ処理部と、前記音声検出部が音声を検出した場合、音声を検出したときに対応する前記撮影ファイルのサムネイル画像を、検出した音声の発生方向の画像から生成するサムネイル画像生成部と、前記撮影データ処理部が生成した前記撮影ファイルと前記サムネイル画像生成部が生成した前記サムネイル画像とを対応付けて記録部に記録する記録制御部と、を備える。
【0007】
本発明に係る映像記録方法は、映像を撮影するカメラが撮影した撮影データを取得する撮影制御ステップと、前記カメラの周囲における所定レベル以上の音声の検出と検出した音声の発生方向を検出する音声検出ステップと、前記撮影データから、サムネイル画像を対応付ける対象となる撮影ファイルを生成する撮影データ処理ステップと、前記音声検出ステップにおいて音声が検出された場合、音声を検出したときに対応する前記撮影ファイルのサムネイル画像を、検出したときの前記撮影データにおける検出した音声の発生方向の画像から生成するサムネイル画像生成ステップと、前記撮影データ処理ステップにおいて生成した前記撮影ファイルと前記サムネイル画像生成ステップにおいて生成した前記サムネイル画像とを対応付けて記録部に記録する記録制御ステップと、を映像記録装置が実行する。
【発明の効果】
【0008】
本発明によれば、撮影された映像の検索を容易にすることができる。
【図面の簡単な説明】
【0009】
【
図1】本発明の第一実施形態に係る映像記録装置の構成例を示すブロック図である。
【
図2】本発明の第一実施形態に係るカメラの配置位置の例を説明するための図である。
【
図3】本発明の第一実施形態に係るマイクロフォンの配置位置の例を説明するための図である。
【
図4】本発明の第一実施形態に係る制御部の処理例を示すフローチャートである。
【
図5】本発明の第一実施形態に係る撮影ファイルとサムネイル画像の関係例を模式的に示す図である。
【
図6】本発明の第一実施形態に係るサムネイル画像の例を模式的に示す図である。
【
図7】本発明の第一実施形態に係るサムネイル画像の例を模式的に示す図である。
【
図8】本発明の第一実施形態に係るサムネイル画像の例を模式的に示す図である。
【
図9】本発明の第二実施形態に係る制御部の処理例を示すフローチャートである。
【
図10】本発明の第二実施形態に係る撮影ファイルとサムネイル画像の関係例を模式的に示す図である。
【発明を実施するための形態】
【0010】
以下、添付図面を参照して、本発明に係る実施形態を詳細に説明する。以下の説明では、本実施の形態にかかる映像記録装置の例として、移動体である自動車において用いられるドライブレコーダの例として説明する。しかし、この実施形態により本発明が限定されるものではない。本発明は、例えば、オートバイ、自転車などの各種車両、鉄道、船舶、ロボット、さらには人など様々な移動体に対して適用することが可能である。さらには、移動体以外に、監視カメラなどにおいても適用することが可能である。また、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【0011】
[第一実施形態]
(映像記録装置)
図1から
図7を用いて、本発明の第一実施形態について説明する。
図1は、第一実施形態に係る映像記録装置の構成例を示すブロック図である。映像記録装置10は、車両に対して発生したイベントを記録する、いわゆるドライブレコーダである。映像記録装置10は、車両に載置されている装置であってもよいし、可搬型で車両において利用可能な装置であってもよい。映像記録装置10は、車両にあらかじめ設置されている装置やナビゲーション装置等の機能または構成を含んで実現されてもよい。映像記録装置10は、音声の発生方向を特定し、音声の発生方向に応じたサムネイル画像を生成する。
【0012】
図1に示すように、映像記録装置10は、カメラ102と、記録部104と、表示部106と、マイクロフォン108と、加速度センサ110と、操作部112と、GNSS(Global Navigation Satellite System)114と、制御部(記録制御装置)200と、を備える。
【0013】
カメラ102は、車両の周辺を撮影するカメラである。カメラ102は、一例としては、映像記録装置10に固有のカメラである。第一実施形態では、カメラ102は、例えば、車両の前方および後方を向いて配置される複数のカメラで構成され、制御部200の撮影制御部202による制御によって、車両の前方および後方を中心とした周辺を撮影する。カメラ102は、例えば、全天周や半天周を撮影可能な単一のカメラであってもよい。カメラ102は、映像記録装置10と有線または無線により接続される別体のカメラであってもよい。カメラ102には、図示しないが、レンズ、撮像素子、A-D(Analog to Digital)変換素子等が含まれる。カメラ102は、撮影した撮影データを制御部200の撮影制御部202へ出力する。カメラ102が撮影する撮影データは、例えば毎秒30フレームの画像から構成される動画像である。カメラ102が撮影する撮影データには、動画像に加えて音声データを含んでいてもよい。
【0014】
図2は、車両Vと、カメラ102の配置位置、撮影方向および撮影範囲を示す概略図を示している。カメラ102は、一例として、前方カメラ102Fおよび後方カメラ102Rで構成される。前方カメラ102Fは、車両Vのウィンドシールド上部に車両Vの前方を向いて配置され、車両Vの前方を中心とした周辺を撮影する。後方カメラ102Rは、車両Vのリアガラス上部に車両Vの後方を向いて配置され、車両Vの後方を中心とした周辺を撮影する。映像記録装置10の筐体に前方カメラ102Fが一体的に備えられている場合は、
図2における前方カメラ102Fは、映像記録装置10と記してもよい。
【0015】
前方カメラ102Fの水平方向における撮影範囲SR1は、例えば、前方カメラ102Fの前方を0度としととき、水平方向に±80度程度の範囲などが撮影可能である。後方カメラ102Rの水平方向における撮影範囲SR2は、例えば、後方カメラ102Rの後方を0度としととき、水平方向に±80度程度の範囲などが撮影可能である。
【0016】
記録部104は、映像記録装置10におけるデータの一時記憶などに用いられる。記録部104は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子、または、メモリカードなどの記録部である。または、図示しない通信装置を介して無線接続される外部の記録装置であってもよい。記録部104は、制御部200の記録制御部208から出力された制御信号に基づいて、ループ記録された撮影ファイルまたはイベントデータなどを記録する。記録部104に記録または保存された撮影ファイルとイベントデータは、再生制御部210の制御によって再生される。このため、映像記録装置10および映像記録制御装置200は、映像記録再生装置および映像記録再生制御装置と言い換えることもできる。
【0017】
表示部106は、例えば、映像記録装置10に固有の表示装置、または、ナビゲーションシステムを含む他のシステムと共用した表示装置などである。表示部106は、カメラ102と一体に形成されていてもよい。表示部106、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Organic Electro-Luminescence)ディスプレイなどを含むディスプレイである。表示部106は、制御部200の再生制御部210で再生された映像信号に基づいて、映像を表示する。表示部106は、カメラ102が撮影している映像、または、記録部104に記録された映像を表示する。
【0018】
マイクロフォン108は、映像記録装置10または映像記録装置10が搭載されている車両に設置され、映像記録装置10また映像記録装置10が搭載されている車両に対する、音声の発生方向が検出可能なマイクロフォンである。
【0019】
マイクロフォン108は、例えば、2個または4個など複数のマイクロフォンで構成される。マイクロフォン108は、例えば、映像記録装置10の筐体の左右方向に離間して、2個のマイクロフォンが配置される。または、マイクロフォン108は、例えば、映像記録装置10の筐体の左右方向および前後方向に離間して、4個のマイクロフォンが配置されていてもよい。マイクロフォン108は、取得した音声信号を、制御部200の音声検出部214に出力する。
【0020】
図3は、映像記録装置10におけるマイクロフォン108の配置例を示した図である。
図3に示す映像記録装置10は、車両Vのウィンドシールド上部に配置されており、
図3は、車室内側から見た例を示している。映像記録装置10の車室内側には、表示部106が設けられ、表示部106の反対側の面には、
図3においては図示していないが、前方カメラ102Fが設けられている。また、映像記録装置10の下方には、操作部112の一部である、イベント記録指示を行うための操作ボタンが設けられている。
【0021】
図3の例に示すように、マイクロフォン108は、映像記録装置10の筐体の左右方向に離間して、左マイクロフォン108Lおよび右マイクロフォン108Rからなる2個のマイクロフォンで構成されている。
【0022】
加速度センサ110は、車両に対して生じる加速度を検出するセンサである。加速度センサ110は、検出結果を制御部200のイベント検出部218に出力する。加速度センサ110は、例えば3軸方向の加速度を検出するセンサである。3軸方向とは、車両の前後方向、左右方向、および上下方向である。加速度センサ110は、映像記録装置10に一体的に備えられていてもよく、有線または無線により別体として接続されていてもよい。また、加速度センサ110は、加速度センサ110およびイベント検出部218を含むユニットとして別体であってもよい。
【0023】
操作部112は、映像記録装置10に対する各種操作を受付可能なインターフェースである。例えば、操作部112は、撮影した撮影データを記録部104にイベントデータとして手動で保存する操作を受付可能である。例えば、操作部112は、記録部104に記録したループ記録された撮影ファイルまたはイベントデータを再生する操作を受付可能である。例えば、操作部112は、記録部104に記録したイベントデータを消去する操作を受付可能である。例えば、操作部112は、ループ記録を終了する操作を受付可能である。操作部112は、操作情報を制御部200の操作制御部220に出力する。操作部112は、手動で操作するためのタッチパネルや操作ボタンなどである。また、マイクロフォン108が、音声操作を行うための音声コマンドを入力するための操作部112として機能してもよい。
【0024】
GNSS受信部114は、GNSS衛星からのGNSS信号を受信するGNSS受信機などで構成される。GNSS受信部114は、受信したGNSS信号を制御部200の位置情報取得部222へ出力する。
【0025】
制御部200は、映像記録装置10の各部を制御する。制御部200は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などの情報処理装置と、RAM(Random Access Memory)又はROM(Read Only Memory)などの記憶装置とを有する。制御部200は、本発明に係る映像記録装置10の動作を制御するプログラムを実行するコンピュータである。制御部200は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。制御部200は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。
【0026】
制御部200は、プログラムなどによって実現される機能として、撮影制御部202と、バッファメモリ204と、撮影データ処理部206と、記録制御部208と、再生制御部210と、表示制御部212と、音声検出部214と、サムネイル画像生成部216と、イベント検出部218と、操作制御部220と、位置情報取得部222と、を備える。
【0027】
撮影制御部202は、カメラ102による映像の撮影を制御する。また、撮影制御部202は、カメラ102が撮影した撮影データを取得し、カメラ102から取得した撮影データを、バッファメモリ204へ出力する。撮影制御部202が取得する撮影データは、映像のみのデータに限らず、映像と音声とを含む撮影データであってもよい。
【0028】
バッファメモリ204は、映像記録装置10が備える内部メモリであり、撮影制御部202が取得した一定時間分の撮影データを、更新しながら一時的に記録するメモリである。
【0029】
撮影データ処理部206は、バッファメモリ204が一時的に記憶している撮影データを、例えばH.264やMPEG-4(Moving Picture Experts Group)などの任意の方式のコーデックで符号化された、例えばMP4形式などの任意のファイル形式からなる撮影ファイルに変換する。撮影データ処理部206は、撮影データから一定時間分の撮影ファイルを生成する。具体例として、撮影データ処理部206は、バッファメモリ204が一時的に記憶している撮影データを、記録順に60秒間の撮影データからなる撮影ファイルとして生成する。撮影データ処理部206は、生成した撮影ファイルを記録制御部208へ出力する。撮影データに基づいて生成される撮影ファイルの期間は、一例として60秒としたが、これには限定されない。
【0030】
撮影データ処理部206は、バッファメモリ204が一時的に記憶している撮影データから、サムネイル画像を対応付ける対象となる撮影ファイルを生成する。撮影データ処理部206は、イベント検出部218がイベントを検出した場合、または操作制御部220がイベント記録を行う操作を受け付けた場合に、イベントを検出したときまたはイベント操作を受け付けたときを含む所定期間の撮影データから、サムネイル画像を対応付ける対象となる撮影ファイルとしてのイベントデータを生成する。撮影データ処理部206は、例えば、イベント検出部218がイベントを検出した時点、または操作制御部220がイベント記録を行う操作を受け付けた時点の、前後30秒間の撮影データからなる撮影ファイルをイベントデータとして生成する。
【0031】
記録制御部208は、撮影データ処理部206で生成された撮影ファイルを、記録部104に記録させる制御を行う。記録制御部208は、車両のアクセサリ電源がONである期間など、ループ記録処理を実行する期間は、撮影データ処理部206で生成された撮影ファイルを、上書き可能なファイルとして、記録部104に記録し続ける。記録制御部208は、ループ記録処理を実行する期間は、撮影データ処理部206が生成した撮影ファイルを記録部104に記録し続け、記録部104の容量が上限となった場合、記録部104に記録されている上書き可能な撮影ファイルのうち、古い撮影ファイルが記録されている記録領域から、新しい撮影ファイルを上書きして記録する。このような記録処理を、通常記録またはループ記録と称する。
【0032】
記録制御部208は、撮影データ処理部206が生成した撮影ファイルとサムネイル画像生成部216が生成したサムネイル画像とを対応付けて記録部104に記録する。記録制御部208は、撮影データ処理部206が生成した所定期間毎の撮影ファイルとサムネイル画像生成部216が生成したサムネイル画像とを対応付けて記録部104に記録する。記録制御部208は、撮影データ処理部206が生成したイベントデータとしての撮影ファイルを、上書き禁止のファイルとして記録部104に記録する。記録制御部208は、撮影データ処理部206が生成したイベントデータとしての撮影ファイルとサムネイル画像生成部216が生成したサムネイル画像とを対応付けて記録部104に記録する。
【0033】
記録制御部208が、イベントデータとしての撮影ファイルを上書禁止のファイルとして記録する方法は任意である。例えば、ループ記録された撮影ファイルにおける上書き禁止とする区間のヘッダもしくはペイロードなどに上書き禁止フラグを付与して、記録部104に記録する。または、ループ記録された撮影ファイルにおける上書き禁止とする区間を、記録部104の上書き禁止エリアにコピーする。
【0034】
記録制御部208は、ループ記録される撮影ファイル、およびイベントデータとしての撮影ファイルに対して、これらのファイルを構成する撮影データが撮影されたときにおける位置情報取得部222が取得した位置情報を対応つけて記録部104に記録する。
【0035】
再生制御部210は、操作制御部220から出力された再生操作の制御信号に基づいて、記録部104に記録された、ループ記録された撮影ファイル、またはイベントデータとしての撮影ファイルを再生し、表示制御部212に出力するよう制御する。再生制御部210は、操作制御部220から出力された再生操作の制御信号に基づいて、記録部104に記録されたサムネイル画像を表示制御部212によって表示部106に表示させる制御を行う。再生制御部210は、操作制御部220から出力された再生操作の制御信号に基づいて、表示部106に示されたサムネイルが選択された場合、選択されたサムネイルに対応付けられている、ループ記録された撮影ファイル、またはイベントデータとしての撮影ファイルを再生する制御を行う。
【0036】
表示制御部212は、表示部106に対し、様々な情報を表示させる制御を行う。表示制御部212は、再生された撮影ファイルなどに基づく映像信号を表示部106に出力する。より詳しくは、表示制御部212は、カメラ102が撮影し、撮影制御部202が取得している映像データ、または、記録部104に記録されたループ記録された撮影ファイル、またはイベントデータとしての撮影ファイルの再生によって生成される映像信号を表示部106に出力する。また、表示制御部212は、表示部106が操作部112としてのタッチパネル機能を備えている場合、タッチ操作を行うアイコンなどを表示部106に表示させる。
【0037】
音声検出部214は、マイクロフォン108が取得した音声信号において、所定レベル以上の音声を検出する。音声検出部214は、例えば60~80dB以上の音声を、所定レベル以上の音声として検出する。音声検出部214は、車両の走行中のロードノイズなど連続的に長時間発せられている音声ではなく、車両の周囲における衝突音、サイレン音、人の声などを検出する。このため、音声検出部214は、突発的に音声レベルが上昇した音を、所定レベル以上の音声として検出する。
【0038】
音声検出部214は、複数のマイクロフォンで構成されたマイクロフォン108が取得した音声から、検出した音声の発生方向を検出する。音声検出部214は、例えば、
図3に示すように、左マイクロフォン108Lおよび右マイクロフォン108Rからなる2個のマイクロフォンで構成されている場合、左マイクロフォン108Lおよび右マイクロフォン108Rで検出した同一の音声の到着時間差などに基づいて、音声の発生方向を算出する。音声検出部214が検出する音声の発生方向は、例えば、車両を基準して、前方、右方、左方、後方が判断できる精度があればよい。
【0039】
音声検出部214は、カメラ102の周囲における所定レベル以上の音声の検出と検出した音声の発生方向を検出する。音声検出部214は、言い換えると、映像記録装置10の周囲における所定レベル以上の音声の検出と検出した音声の発生方向を検出する。または、音声検出部214は、映像記録装置10が搭載されている車両の周囲における所定レベル以上の音声の検出と検出した音声の発生方向を検出する。
【0040】
音声検出部214は、マイクロフォン108から入力された音声を、予め登録された音響モデルと対比することで、音声コマンドが入力されたことを検出してもよい。検出する音声コマンドは、例えば、イベント記録を指示する音声コマンドである。
【0041】
サムネイル画像生成部216は、撮影データからサムネイル画像を生成する。ループ記録された撮影ファイル、またはイベントデータとしての撮影ファイルに対応するサムネイル画像を生成する。具体的には、サムネイル画像生成部216は、ループ記録された撮影ファイル、またはイベントデータとしての撮影ファイルの最初の映像データを、画像サイズを縮小して、サムネイル画像を生成する。
【0042】
サムネイル画像生成部216は、音声検出部214が音声を検出した場合、音声を検出したときに対応する撮影ファイルのサムネイル画像を、検出した音声の発生方向の画像から生成する。具体的には、サムネイル画像生成部216は、音声検出部214が所定レベル以上の音声を検出した場合、検出したときの撮影データが含まれる撮影ファイルのサムネイル画像を、音声を検出した方向の画像を用いて生成する。例えば、音声検出部214が、車両の右方向からの所定レベル以上の音声を検出した場合、音声を検出したときの撮影データが含まれる撮影ファイルのサムネイル画像を、サムネイル画像を生成する撮影データから車両の右方向を切出した映像を、サムネイル画像とする。
【0043】
イベント検出部218は、加速度センサ110が検出している加速度情報を取得し、イベントに該当する加速度が検出された場合、イベントが検出されたと判断する。イベントに該当する加速度とは、映像記録装置10が搭載されている車両に対して、他車両などの他の物体が衝突したときの加速度に該当する加速度である。イベントに該当する加速度の検出は、x軸方向、y軸方向およびz軸方向の各々で重み付けを行ってもよい。イベント検出部218は、イベントが検出されたと判断された場合、記録制御部208にイベント記録を行う指示を出力する。
【0044】
イベント検出部218は、加速度センサ110の出力値によるイベントの検出に加えて、操作部112におけるイベント記録を行う操作が受け付けられたことをイベントとして検出してもよい。また、イベント検出部218は、図示しない音声認識機能を用いて、音声コマンドが入力されたことをイベントとして検出してもよい。
【0045】
操作制御部220は、操作部112が受け付けた操作情報を取得し、操作情報に基づいた操作指示を、各構成要素に出力する。操作制御部220は、操作部112からイベント記録を行うボタンやアイコンに対する操作を受け付けた場合、記録制御部208にイベント記録を行う指示を出力する。操作制御部220は、上記に加えて、イベントデータ等の選択操作、再生操作、消去操作、一時停止操作、映像記録装置10の各種設定操作などを示す操作情報を取得し、取得した操作情報に対応した処理の指示を行う。
【0046】
位置情報取得部222は、GNSS受信部114が受信した電波に基づいて、映像記録装置10の位置情報を公知の方法によって算出する。位置情報取得部222が算出した位置情報は、記録制御部208によって撮影ファイルやイベントデータとともに記録される。位置情報取得部222が取得する映像記録装置10の位置情報は、映像記録装置10が搭載されている車両の位置情報でもある。
【0047】
次に、
図4から
図7を用いて、撮影ファイルに対応するサムネイル画像の生成処理について説明する。
図4に示す処理は、映像記録装置10が搭載されている車両などのエンジンまたは電源等がオンとなることで、映像記録装置10の動作開始によって開始される。
【0048】
処理の開始に伴い、撮影制御部202は、カメラ102による撮影を開始し、カメラ102が撮影した撮影データの取得を開始する。また、記録制御部208は、撮影データのループ記録を開始し、音声検出部214は、マイクロフォン108から入力される音声信号に基づき、音声の検出を開始し(ステップS10)、ステップS11に進む。ステップS10で開始される音声の検出とは、カメラ102の周囲、言い換えると、映像記録装置10の周囲または映像記録装置10が搭載されている車両の周囲において、所定レベル以上の音声を検出する。
【0049】
ステップS10においては、上記以外にも、イベント検出部218は、加速度センサ110から取得した加速度の計測値が、事故などに相当する加速度を示したか否かを判断することによるイベントの検出も開始される。また、ステップS10においては、音声検出部214による音声コマンドの検出が開始される。
【0050】
ステップS11においては、音声検出部214は、所定レベル以上の音声を検出したか否かを判断する。ステップS11において、所定レベル以上の音声を検出したと判断した場合(ステップS11:Yes)、ステップS12に進み、所定レベル以上の音声を検出したと判断しない場合(ステップS11:No)、ステップS14に進む。
【0051】
ステップS12においては、音声検出部214は、音声の発生方向を検出する。具体的には、音声検出部214は、ステップS11で検出された音声が、主に水平方向においてどの方向で発せられた音声であるかを、複数のマイクロフォンで構成されるマイクロフォン108から取得した音声の到着時間差などから検出する。
【0052】
ステップS12において、音声検出部214が、音声の発生方向を検出できた場合(ステップS12:Yes)、ステップS13に進み、音声の発生方向を検出できなかった場合(ステップS12:No)、ステップS14に進む。音声の発生方向を検出できなかった場合とは、音声の発生方向を特定できなかった場合と言い換えることもできる。
【0053】
ステップS13においては、サムネイル画像生成部216は、音声を検出したときに対応する撮影ファイルのサムネイル画像を、検出した音声の発生方向の画像から生成する。ステップS14においては、サムネイル画像生成部216は、撮影ファイルを生成する撮影データの最初の画像からサムネイル画像として生成する。
【0054】
ステップS13およびステップS14の処理を、
図5から
図7を用いて説明する。
図5は、撮影データとループ記録される撮影ファイルを模式的に示しており、紙面の左側から右側へ時間が経過していることを示している。撮影データ処理部206は、撮影制御部202が取得した撮影データD1に基づき、例えば60秒間の撮影ファイルを生成している。
【0055】
例えば、撮影データ処理部206は、撮影ファイルF1、撮影ファイルF2、撮影ファイルF3の順に撮影ファイルを生成し、記録制御部208は、撮影ファイルの生成順に記録部104にループ記録を行う。ここで、撮影ファイルF3のサムネイル画像について説明する。撮影ファイルF3は、時刻T1から時刻T2までの撮影データから生成された撮影ファイルである。時刻T1から時刻T2までの期間において、音声検出部214は、所定レベル以上の音声を検出していない。このため、
図4におけるステップS14の処理として、撮影ファイルF3の最初の画像である時刻T1の画像を撮影ファイルF3のサムネイル画像とする。
【0056】
図6は、ステップS14で生成されるサムネイル画像の例を模式的に示した図である。
図6において、画像It1は、例えば時刻T1における画像である。サムネイル画像生成部216は、撮影ファイルF3のサムネイル画像として、撮影ファイルF3の最初の画像である時刻T1の画像It1の画素数を低減したサムネイル画像St1を生成する。例えば、画像It1の画素数が1920×1080ピクセルで生成されている場合、480×270ピクセルにサイズを低減したサムネイル画像St1を生成する。
【0057】
図6においては、画像It1の画素数を低減したサムネイル画像St1を生成することとして説明したが、画像It1の中央部における480×270ピクセルの範囲を切出してサムネイル画像を生成してもよい。画像It1を撮影したカメラが前方カメラ102Fである場合は、車両の前方の画像がサムネイル画像となり、画像It1を撮影したカメラが後方カメラ102Rである場合は、車両の後方の画像がサムネイル画像となる。
【0058】
図7は、ステップS13で生成されるサムネイル画像の例を模式的に示した図である。
図7において、画像It2は、例えば時刻T2における画像である。また
図7は、音声検出部214が、時刻Tsにおいて、車両の進行方向に対して右側で発せられた音声を検出した場合のサムネイル画像の生成例を示している。サムネイル画像生成部216は、撮影ファイルF4のサムネイル画像として、撮影ファイルF4の最初の画像である時刻T2の画像It2における、音声の発生方向に対応した位置を切出した画像It2aに基づき、サムネイル画像St2を生成する。例えば、画像It2の画素数が1920×1080ピクセルで生成されている場合、画像It2の音声発生方向の画像として480×270ピクセルのサイズの画像It2aに基づき、サムネイル画像St2を生成する。
【0059】
図7に示す画像It2は、撮影ファイルF4の最初の画像である時刻T2の画像に代えて、撮影ファイルF4の音声検出時である時刻Tsにおける画像をサムネイル画像St2としてもよい。また、
図7に示す画像It2は、撮影ファイルF4における時刻T2から時刻T3の間の任意の時刻における画像をサムネイル画像St2としてもよい。
【0060】
図7においては、音声検出部214が、車両の前方を進行方向として、右方向で発せられた音声を検出し、画像It2を撮影したカメラが前方カメラ102Fである場合について説明した。このため、サムネイル画像は、画像It2における右側を切出して生成されている。画像It2を撮影したカメラが後方カメラ102Rである場合においても同様であり、車両の前方を進行方向として右側、つまり後方カメラ102Rが撮影した画像It2に対して音声の発生方向である左側を切出して、サムネイル画像が生成される。
【0061】
図4に戻り、ステップS15においては、ステップS13またはステップS15で生成されたサムネイル画像を撮影ファイルに対応つけて記録し、ステップS16に進む。例えば、
図5における撮影ファイルF3の記録時には、時刻T1の画像に基づいて生成されたサムネイル画像を撮影ファイルF3に対応つけて、記録部104にループ記録する。
図5における撮影ファイルF1、撮影ファイルF2、撮影ファイルF5においても、撮影ファイルF3と同様に、各々の撮影ファイルの最初の画像からサムネイル画像を生成し、各々の撮影ファイルに対応つけて、記録部104にループ記録する。また、
図5における撮影ファイルF4の記録時には、時刻T2または時刻Tsの画像における検出された音声の発生方向の画像に基づいて生成されたサムネイル画像を撮影ファイルF4に対応つけて、記録部104にループ記録する。
【0062】
ステップS16においては、制御部200は、処理を終了するか否かを判断する。具体的には、制御部200は、映像記録装置10が搭載されている車両などのエンジンまたは電源等がオフなることや、操作部112の操作によって映像記録装置10の電源がオフとなる操作が行われることで、処理を終了すると判断する。ステップS16において、処理を終了すると判断されない場合(ステップS16:No)、ステップS11に進む。ステップS16において、処理を終了すると判断された場合(ステップS16:Yes)、
図4の処理を終了する。
図4の処理を終了する場合には、ステップS10で開始した、カメラ102による撮影、撮影データのループ記録、音声の検出、イベントの検出などの処理を終了する。
【0063】
図4に示す処理によって記録された撮影ファイルを再生する処理について説明する。操作部112の操作によって撮影ファイルの再生を行う操作を受け付けた場合、表示制御部212は、表示部106に再生可能な撮影ファイルのサムネイル画像を一覧表示する。また、表示部106に一覧表示されたサムネイル画像が操作部112の操作によって選択され、再生操作が行われることで、再生制御部210によって、サムネイル画像が選択された撮影ファイルの再生が行われ、再生された撮影ファイルの映像信号が表示部106に表示される。
【0064】
このような映像ファイルの再生を行う際に、音声検出部214が所定レベル以上の音声を検出したときを含む撮影ファイルのサムネイル画像は、音声検出部214が所定レベル以上の音声を検出した方向の画像に基づいて生成されたサムネイル画像が表示される。このため、音声検出部214が検出した所定レベル以上の音声の発生原因となる映像がサムネイル画像に含まれる、またはサムネイル画像に大きく表示される。したがって、表示部106に表示されたサムネイル画像から、音声の発生原因を撮影した撮影ファイルを容易に検索することができる。
【0065】
また、
図4に示す処理によって記録された撮影ファイルは、メモリカードなど映像記録装置10から取り外し可能な記録媒体または図示しない通信部を介して、映像記録装置10以外の他の装置を用いて撮影ファイルを再生する場合も、同様の効果を得ることができる。
【0066】
[第一実施形態の変形例]
次に、
図8を用いて、第一実施形態の変形例について説明する。
図8は、カメラ102が全天周カメラである場合の撮影ファイルとサムネイル画像の関係例を模式的に示した図である。全天周カメラとしてのカメラ102は、
図2に示す前方カメラ102Fの位置に備えられる。
図8に示す画像IRt1およびIRt2の紙面における前後左右方向は、カメラ102を中心とした車両の前後左右方向に対応している。
【0067】
図8における画像IRt1およびサムネイル画像IRt1aは、
図6に示す画像It1およびサムネイル画像St1同様に、ステップS14で生成されるサムネイル画像の例を模式的に示している。画像IRt1は、音声検出部214が所定レベル以上の音声を検出していないときの撮影ファイルにおける最初の画像であり、例えば、
図5における撮影ファイルF3における時刻T2の画像である。
【0068】
図8におけるサムネイル画像は、音声検出部214が所定レベル以上の音声を検出していないときの撮影ファイルに対応付けられるサムネイル画像であり、車両の前方を撮影した範囲が切出されている。
【0069】
図8における画像IRt2およびサムネイル画像IRt2aは、
図7に示す画像It2およびサムネイル画像St2同様に、ステップS15で生成されるサムネイル画像の例を模式的に示している。画像IRt2は、音声検出部214が所定レベル以上の音声を検出したときの撮影ファイルにおける最初の画像または音声を検出したときの画像であり、例えば、
図5における撮影ファイルF3における時刻T2または時刻Tsの画像である。
【0070】
図8におけるサムネイル画像IRt2aは、音声検出部214が所定レベル以上の音声を検出たときの撮影ファイルに対応付けられるサムネイル画像であり、例えば、車両の右側で発せられた音声を検出した場合、車両の右側を撮影した範囲が切出されている。
【0071】
図8に示すサムネイル画像IRt1aおよびサムネイル画像IRt2aは、全天周カメラが撮影した映像を切出しているため、扇形状の画像として切出されている。サムネイル画像は、このような扇形状に切出された画像が矩形の画像となるように補正してサムネイル画像を生成する。
【0072】
[第二実施形態]
次に、
図9および
図10を用いて、本発明の第二実施形態について説明する。第一実施形態においては、ループ記録された撮影ファイルに対応するサムネイル画像を生成したが、第二実施形態においては、イベントデータとしての撮影ファイルに対応するサムネイル画像を生成する。第二実施形態に係る映像記録装置の構成は、第一実施形態に係る映像記録装置の構成と同一なので、説明を省略する。
【0073】
図9を用いて、イベントデータとしての撮影ファイルに対応するサムネイル画像の生成処理について説明する。
図9に示す処理の開始条件およびステップS20の処理は、
図4に示す処理の開始条件およびステップS10の処理と同一であるため、説明を省略する。
【0074】
ステップS21においては、イベント検出部218は、イベント記録を行う操作を受け付けたか否かを判断する。ステップS21で判断するイベント記録を行う操作とは、操作部112の操作によるイベント記録の指示、または音声検出部214が検出した音声コマンドによるイベント記録の指示である。ステップS21において、イベント検出部218は、加速度センサ110の出力値に基づくイベントの発生の有無を検出してもよいが、加速度センサ110の出力値に基づくイベントの発生とは、映像記録装置10を搭載している車両に対して発生した事故であるため、複数のイベントデータのサムネイルに基づき所望のイベントデータを検索する対象には適さない。
【0075】
ステップS21において、イベント記録を行う操作を受け付けたと判断した場合(ステップS21:Yes)、ステップS22に進み、イベント記録を行う操作を受け付けたと判断しない場合(ステップS21:No)、ステップS28に進む。
【0076】
ステップS22においては、撮影データ処理部206は、バッファメモリ204が一時的に記憶している撮影データから、サムネイル画像を対応付ける対象となるイベントデータを生成し、ステップS23に進む。
【0077】
ステップS23においては、音声検出部214は、ステップS22で生成されたイベントデータの期間に、所定レベル以上の音声を検出したか否かを判断する。ステップS23において、イベントデータの期間に所定レベル以上の音声を検出したと判断した場合(ステップS23:Yes)、ステップS24に進み、イベントデータの期間に所定レベル以上の音声を検出したと判断しない場合(ステップS23:No)、ステップS26に進む。
【0078】
ステップS24においては、音声検出部214は、音声の発生方向を検出する。具体的には、音声検出部214は、ステップS23で検出された音声が、主に水平方向においてどの方向で発せられた音声であるかを、複数のマイクロフォンで構成されるマイクロフォン108から取得した音声の到着時間差などから検出する。
【0079】
ステップS24において、音声検出部214が、音声の発生方向を検出できた場合(ステップS24:Yes)、ステップS25に進み、音声の発生方向を検出できなかった場合(ステップS24:No)、ステップS26に進む。
【0080】
ステップS25においては、サムネイル画像生成部216は、音声を検出したときに対応するイベントデータのサムネイル画像を、検出した音声の発生方向の画像から生成する。ステップS26においては、サムネイル画像生成部216は、イベントデータを生成する撮影データの最初の画像からサムネイル画像を生成する。
【0081】
ステップS25およびステップS26の処理を、
図10を用いて説明する。
図10は、撮影データとループ記録される撮影ファイルおよびイベントデータを模式的に示しており、紙面の左側から右側へ時間が経過していることを示している。撮影データD1に基づく撮影ファイルの生成は、第一実施形態と同一であるため、説明を省略する。
【0082】
図10において、時刻Iv1に、イベント検出部218がイベント記録を行う操作を受け付けている。このため、撮影データ処理部206は、例えば、時刻Iv1の前後30秒間の撮影データに基づき、イベントデータIF1を生成する。また、イベントデータIF1の期間内における時刻Ts2に、音声検出部214は、所定レベル以上の音声を検出している。このため、サムネイル画像生成部216は、ステップS25の処理として、イベントデータIF1の最初の画像である時刻Tf1、または所定レベル以上の音声が検出された時刻Ts2、またはイベント記録を行う操作を受け付けた時刻Iv1のいずれかの画像に基づいて、時刻Ts2で検出された音声の発生方向の画像からイベントデータIF1のサムネイル画像を生成する。
【0083】
ステップS26で生成されるサムネイル画像は、
図7で説明したサムネイル画像St2と同様であるため、説明を省略する。また、第一実施形態の変形例として説明した全天周カメラを用いた場合のサムネイル画像の例も、本実施形態に適用可能である。
【0084】
図9に戻り、ステップS27においては、ステップS25またはステップS26で生成されたサムネイル画像をイベントデータに対応つけて記録し、ステップS28に進む。ステップS28の処理は、
図4に示すステップS16の処理と同一であるため、説明を省略する。
【0085】
図9に示す処理によって記録された撮影ファイルを再生する処理について説明する。操作部112の操作によってイベントデータの再生を行う操作を受け付けた場合、表示制御部212は、表示部106に再生可能なイベントデータのサムネイル画像を一覧表示する。この場合、加速度センサ110の出力値に基づくイベントの検出によって記録したイベントデータと、イベント記録を行う操作によって記録したイベントデータとは、記録部104において、異なるフォルダに記録されるなど、分けて表示されることが好ましい。また、表示部106に一覧表示されたサムネイル画像が操作部112の操作によって選択され、再生操作が行われることで、再生制御部210によって、サムネイル画像が選択されたイベントデータの再生が行われ、再生されたイベントデータの映像信号が表示部106に表示される。
【0086】
このようなイベントデータの再生を行う際に、音声検出部214が所定レベル以上の音声を検出したときを含むイベントデータのサムネイル画像は、音声検出部214が所定レベル以上の音声を検出した方向の画像に基づいて生成されたサムネイル画像が表示される。このため、音声検出部214が検出した所定レベル以上の音声の発生原因となる映像がサムネイル画像に含まれる、またはサムネイル画像に大きく表示される。したがって、表示部106に表示されたサムネイル画像から、音声の発生原因を撮影したイベントデータを容易に検索することができる。このため、イベント記録を行う操作によって記録したイベントデータの中で、他車両における事故などに対応してイベント記録を行った場合のイベントデータなどを、容易に検索することができる。
【0087】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、上述した処理をコンピュータに実行させるためのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、車両用記録制御装置として動作するコンピュータに供給することができる。
【符号の説明】
【0088】
10 映像記録装置
102 カメラ
104 記録部
106 表示部
108 マイクロフォン
110 加速度センサ
112 操作部
114 GNSS受信部
200 制御部(映像記録制御装置)
202 撮影制御部
204 バッファメモリ
206 撮影データ処理部
208 記録制御部
210 再生制御部
212 表示制御部
214 音声検出部
216 サムネイル画像生成部
218 イベント検出部
220 操作制御部
222 位置情報取得部