特開 2024-80503 映像記録制御装置および映像記録方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024080503

(43)【公開日】2024-06-13

(54)【発明の名称】映像記録制御装置および映像記録方法

(51)【国際特許分類】

   H04N 5/92 20060101AFI20240606BHJP

   H04N 7/18 20060101ALI20240606BHJP

   G07C 5/08 20060101ALI20240606BHJP

【ＦＩ】

H04N5/92 010

H04N7/18 U

H04N7/18 J

G07C5/08

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022193758

(22)【出願日】2022-12-02

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】児玉 健太朗

(72)【発明者】

【氏名】山本 規広

【テーマコード（参考）】

3E138

5C053

5C054

【Ｆターム（参考）】

3E138AA01

3E138AA07

3E138CA03

3E138CB03

3E138EA02

3E138MA01

3E138MB08

3E138MB15

3E138MC17

3E138MF05

3E138MF06

5C053GB06

5C053JA21

5C053LA01

5C054CA04

5C054CC02

5C054EA01

5C054EA05

5C054EA07

5C054FC12

5C054FC13

5C054FC15

5C054GB01

5C054GB05

5C054GD03

5C054GD06

5C054GD07

5C054GD09

5C054HA30

(57)【要約】

【課題】撮影された映像の検索を容易にすること。
【解決手段】制御装置１００は、車両において用いられるカメラを制御し、カメラが撮影した撮影データを取得する撮影データ取得部１１１と、車両の搭乗者の生体情報および生体情報の変動を検出する生体情報検出部１１４と、撮影データから、サムネイル画像を対応付ける対象となる撮影ファイルを生成する撮影データ処理部１１３と、生体情報検出部１１４が生体情報の変動を検出した場合、検出した時点の映像からサムネイル画像を生成するサムネイル画像生成部１２０と、撮影データ処理部１１３が生成した撮影ファイルとサムネイル画像生成部１２０が生成したサムネイル画像とを対応付けて記録部２１２に記録する記録制御部１２２と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両において用いられるカメラを制御し、前記カメラが撮影した撮影データを取得する撮影データ取得部と、
前記車両の搭乗者の生体情報および前記生体情報の変動を検出する生体情報検出部と、
前記撮影データから、サムネイル画像を対応付ける対象となる撮影ファイルを生成する撮影データ処理部と、
前記生体情報検出部が前記生体情報の変動を検出した場合、検出した時点の映像からサムネイル画像を生成するサムネイル画像生成部と、
前記撮影データ処理部が生成した前記撮影ファイルと前記サムネイル画像生成部が生成した前記サムネイル画像とを対応付けて記録部に記録する記録制御部と、
を備える、映像記録制御装置。

【請求項2】

前記生体情報検出部は、前記生体情報の変動として、前記生体情報が平常状態から異常状態となったことを検出し、
前記サムネイル画像生成部は、前記生体情報検出部が、前記生体情報が平常状態から異常状態となったことを検出した場合、検出した時点の映像からサムネイル画像を生成する、
請求項１に記載の映像記録制御装置。

【請求項3】

前記生体情報検出部は、前記車両の搭乗者の心拍情報を検出するとともに、心拍数が平常状態の心拍数から上昇したことを前記異常状態となったこととして検出する、
請求項２に記載の映像記録制御装置。

【請求項4】

前記生体情報検出部は、前記車両の搭乗者の表情を検出するとともに、表情が平常状態の表情から驚愕を表す表情となったことを前記異常状態となったこととして検出する、
請求項２に記載の映像記録制御装置。

【請求項5】

車両において用いられるカメラを制御し、前記カメラが撮影した撮影データを取得する撮影制御ステップと、
前記車両の搭乗者の生体情報および前記生体情報の変動を検出する生体情報検出ステップと、
前記撮影データから、サムネイル画像を対応付ける対象となる撮影ファイルを生成する撮影データ処理ステップと、
前記生体情報検出ステップにおいて前記生体情報の変動を検出した場合、検出した時点の映像からサムネイル画像を生成するサムネイル画像生成ステップと、
前記撮影データ処理ステップで生成した前記撮影ファイルと前記サムネイル画像生成ステップで生成した前記サムネイル画像とを対応付けて記録部に記録する記録制御ステップと、
を映像記録装置が実行する映像記録方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像記録制御装置および映像記録方法に関する。

【背景技術】

【0002】

車両において主に車両外の映像を撮影するドライブレコーダが普及しており、例えば６０秒毎の所定時間毎に撮影ファイルを生成して記録する。また、事故等のイベントが検出された場合は、イベント検出時点を含む所定期間の映像を、イベントデータとして保存する。例えば、特許文献１には、イベントデータを記録し、イベントデータに対応するサムネイル画像を表示することで、イベントデータを選択し、再生することができるドライブレコーダが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１４１１７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ドライブレコーダなど、連続的に撮影ファイルを生成して記録する映像記録装置においては、イベントとして事故を検出したときの映像に加えて、車両の走行時に周囲の映像を記録する目的で利用される場合もある。このようなサムネイル画像は、撮影ファイルやイベントデータ（イベントファイル）の最初のフレーム画像から生成され、各々のファイルを選択するために、サムネイル画像が一覧表示される。このような場合、表示されているサムネイル画像には、確認対象としたい事象が撮影されていないこともあり、各々のファイル毎のサムネイル画像が表示されても、サムネイル画像の表示に基づき所望の映像を見つけることが困難な場合がある。

【0005】

本開示は、上記に鑑みてなされたものであって、撮影された映像の検索を容易にすることを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本開示に係る映像記録制御装置は、車両において用いられるカメラを制御し、前記カメラが撮影した撮影データを取得する撮影データ取得部と、前記車両の搭乗者の生体情報および前記生体情報の変動を検出する生体情報検出部と、前記撮影データから、サムネイル画像を対応付ける対象となる撮影ファイルを生成する撮影データ処理部と、前記生体情報検出部が前記生体情報の変動を検出した場合、検出した時点の映像からサムネイル画像を生成するサムネイル画像生成部と、前記撮影データ処理部が生成した前記撮影ファイルと前記サムネイル画像生成部が生成した前記サムネイル画像とを対応付けて記録部に記録する記録制御部と、を備える。

【0007】

本開示に係る映像記録方法は、車両において用いられるカメラを制御し、前記カメラが撮影した撮影データを取得する撮影制御ステップと、前記車両の搭乗者の生体情報および前記生体情報の変動を検出する生体情報検出ステップと、前記撮影データから、サムネイル画像を対応付ける対象となる撮影ファイルを生成する撮影データ処理ステップと、前記生体情報検出ステップにおいて前記生体情報の変動を検出した場合、検出した時点の映像からサムネイル画像を生成するサムネイル画像生成ステップと、前記撮影データ処理ステップで生成した前記撮影ファイルと前記サムネイル画像生成ステップで生成した前記サムネイル画像とを対応付けて記録部に記録する記録制御ステップと、を映像記録装置が実行する。

【発明の効果】

【0008】

本開示によれば、撮影された映像の検索を容易にすることができるという効果を奏する。

【図面の簡単な説明】

【0009】

【図1】図１は、第一実施形態に係る制御装置を有する映像記録装置の構成例を示すブロック図である。

【図2】図２は、撮影ファイルを説明する図である。

【図3】図３は、第一実施形態に係る制御装置における一般的な撮影ファイルの生成処理の流れの一例を示すフローチャートである。

【図4】図４は、第一実施形態に係る制御装置におけるサムネイル画像を対応付ける処理の流れの一例を示すフローチャートである。

【図5】図５は、撮影ファイルとイベントデータとを説明する図である。

【図6】図６は、第二実施形態に係る制御装置におけるサムネイル画像を対応付ける処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下に添付図面を参照して、本開示に係る映像記録制御装置および映像記録方法の実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

【0011】

［第一実施形態］
＜映像記録装置＞
図１は、第一実施形態に係る映像記録制御装置（以下、「制御装置」という。）１００を有する映像記録装置１０の構成例を示すブロック図である。映像記録装置１０は、車両に発生したイベントを記録する、いわゆるドライブレコーダである。映像記録装置１０は、撮影ファイルにサムネイル画像を対応付けて記録する。

【0012】

映像記録装置１０は、車両に載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。また、映像記録装置１０は、車両にあらかじめ設置されている装置やナビゲーションシステム等の機能または構成を含んで実現されてもよい。映像記録装置１０は、第一カメラ２１０と、第二カメラ２１１と、記録部２１２と、操作部２１３と、加速度センサ２１４と、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）受信部２１５と、表示部２１６と、制御装置１００とを有する。本実施形態では、第二カメラ２１１は、必須の構成ではなく、例えば、車両の搭乗者の心拍数、表情または表情の変動である生体情報を検出可能なセンサまたは搭乗者が装着した携帯電子機器などであってもよい。

【0013】

第一カメラ２１０は、車両に備えられたカメラである。第一カメラ２１０は、車両の周辺を撮影するカメラである。第一カメラ２１０は、複数のカメラ群であってもよい。第一カメラ２１０は、例えば、車両の車室内前方における車両の前方を撮影可能な位置に配置されている。本実施形態では、第一カメラ２１０は、車両のアクセサリ電源がＯＮである間、映像を常時撮影する。第一カメラ２１０は、撮影した撮影データを制御装置１００の撮影データ取得部１１１に出力する。撮影データは、例えば毎秒２７．５フレームの画像から構成される動画像である。

【0014】

第二カメラ２１１は、車両に備えられたカメラである。第二カメラ２１１は、車両の搭乗者を撮影するカメラである。第二カメラ２１１は、搭乗者の生体情報を検出可能に撮影するカメラである。第二カメラ２１１は、例えば、生体情報として搭乗者の心拍数を検出可能なカメラである。第二カメラ２１１は、例えば、生体情報として搭乗者の表情を検出可能なカメラである。第二カメラ２１１は、複数のカメラ群であってもよい。第二カメラ２１１は、例えば、車両の各座席の搭乗者を撮影可能な位置に配置されている。本実施形態では、第二カメラ２１１は、車両のアクセサリ電源がＯＮである間、映像を常時撮影する。第二カメラ２１１は、撮影した撮影データを制御装置１００の撮影データ取得部１１１に出力する。撮影データは、例えば毎秒２７．５フレームの画像から構成される動画像である。

【0015】

記録部２１２は、映像記録装置１０におけるデータの一時記憶などに用いられる。記録部２１２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリなどの半導体メモリ素子、または、メモリカードなどの記録部である。または、図示しない通信装置を介して無線接続される外部記録部であってもよい。記録部２１２は、制御装置１００の記録制御部１２２から出力された制御信号に基づいて、常時記録データ（通常ファイル）またはイベントデータである撮影ファイルを記録する。

【0016】

操作部２１３は、映像記録装置１０に対する各種操作を受付可能である。操作部２１３は、例えば、表示部２１６に備えられているタッチパネルである。例えば、操作部２１３は、撮影した撮影データを記録部２１２にイベントデータとして手動で保存する操作を受付可能である。例えば、操作部２１３は、記録部２１２に記録した常時記録データまたはイベントデータを再生する操作を受付可能である。例えば、操作部２１３は、記録部２１２に記録したイベントデータを消去する操作を受付可能である。例えば、操作部２１３は、常時記録を終了する操作を受付可能である。操作部２１３は、操作情報を制御装置１００の操作制御部１１６に出力する。

【0017】

加速度センサ２１４は、車両に対して生じる加速度を検出するセンサである。加速度センサ２１４は、検出結果を制御装置１００のイベント検出部１１７に出力する。加速度センサ２１４は、例えば３軸方向の加速度を検出するセンサである。３軸方向とは、車両の前後方向、左右方向、および上下方向である。

【0018】

ＧＮＳＳ受信部２１５は、ＧＮＳＳ衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機などで構成される。ＧＮＳＳ受信部２１５は、受信した位置情報信号を制御装置１００の位置情報取得部１１８に出力する。

【0019】

表示部２１６は、一例としては、映像記録装置１０に固有の表示装置、または、ナビゲーションシステムを含む他のシステムと共用した表示装置などである。表示部２１６は、第一カメラ２１０と一体に形成されていてもよい。表示部２１６は、例えば、液晶ディスプレイまたは有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。本実施形態では、表示部２１６は、車両の運転者前方の、ダッシュボード、インストルメントパネル、センターコンソールなどに配置されている。表示部２１６は、制御装置１００の表示制御部１１９から出力された映像信号に基づいて、映像を表示する。表示部２１６は、第一カメラ２１０が撮影している映像、または、記録部２１２に記録された映像を表示する。

【0020】

＜映像記録制御装置＞
制御装置１００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置（制御装置）である。制御装置１００は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御装置１００には図示しない内部メモリが含まれ、内部メモリは制御装置１００におけるデータの一時記憶などに用いられる。制御装置１００は、撮影データ取得部１１１と、バッファメモリ１１２と、撮影データ処理部１１３と、生体情報検出部１１４と、操作制御部１１６と、イベント検出部１１７と、位置情報取得部１１８と、表示制御部１１９と、サムネイル画像生成部１２０と、再生制御部１２１と、記録制御部１２２とを有する。

【0021】

撮影データ取得部１１１は、車両において用いられる第一カメラ２１０および第二カメラ２１１を制御し、第一カメラ２１０および第二カメラ２１１が撮影した撮影データを取得する。撮影データ取得部１１１は、取得した撮影データをバッファメモリ１１２に出力する。

【0022】

バッファメモリ１１２は、制御装置１００が備える内部メモリであり、撮影データ取得部１１１が取得した一定時間分の撮影データを、更新しながら一時的に記録するメモリである。

【0023】

撮影データ処理部１１３は、撮影データから、所定時間毎の撮影ファイルを生成する。撮影データ処理部１１３は、撮影データから、サムネイル画像を対応付ける対象となる撮影ファイルを生成する。撮影データ処理部１１３は、バッファメモリ１１２が一時的に記憶している撮影データを、例えばＨ．２６４やＭＰＥＧ－４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの任意の方式のコーデックで符号化された、例えばＭＰ４形式などの任意のファイル形式に変換する。撮影データ処理部１１３は、バッファメモリ１１２が一時的に記憶している撮影データから、一定時間分のファイルとした撮影ファイルを生成する。具体例として、撮影データ処理部１１３は、バッファメモリ１１２が一時的に記憶している撮影データを、記録順に６０秒間の撮影データを撮影ファイルとして生成する。撮影データ処理部１１３は、生成した撮影ファイルを記録制御部１２２へ出力する。また、撮影データ処理部１１３は生成した撮影ファイルを、再生制御部１２１を通して画像をデコード後、表示制御部１１９へ出力する。生成される撮影ファイルの期間は、一例として６０秒としたが、これには限定されない。ここで言う撮影データとは、第一カメラ２１０が撮影した映像に加えて音声が含まれたデータであってもよい。

【0024】

生体情報検出部１１４は、車両の搭乗者の生体情報および生体情報の変動を取得する。生体情報検出部１１４は、生体情報の変動として、生体情報が平常状態から異常状態となったことを検出する。本実施形態では、生体情報検出部１１４は、通常記録処理を行っている期間である通常記録期間に、生体情報が平常状態から異常状態となったことを検出する。

【0025】

生体情報検出部１１４は、検出する生体情報が心拍数である場合、車両の搭乗者を撮影している第二カメラ２１１の映像から、車両の搭乗者の心拍数を検出する。生体情報検出部１１４は、例えば、第二カメラ２１１が撮影した車両の搭乗者の顔などにおける、血液中のヘモグロビンが吸収する緑帯域の波長の変動に基づき、車両の搭乗者の心拍数を検出する。生体情報検出部１１４は、他の任意の心拍数検出手法を適用可能である。生体情報検出部１１４は、車両の搭乗者の心拍情報を検出するとともに、心拍数の変動として、心拍数が平常状態の心拍数から上昇したことを異常状態となったこととして検出する。生体情報検出部１１４は、例えば、車両の搭乗者の心拍数が、平均的に６０回／分以上７０回／分以下程度検出されている場合、例えば、５秒未満の期間に１００回／分以上まで上昇した場合などに、平常状態から異常状態となったこととして検出する。本実施形態では、生体情報検出部１１４は、通常記録期間に、心拍数が平常状態の心拍数から上昇したことを検出する。生体情報検出部１１４は、車両の搭乗者毎に平常状態における平均的な心拍数を予め記憶し、平均的な心拍数からの心拍数の変動に基づいて、平常状態から異常状態となったことを検出してもよい。

【0026】

生体情報検出部１１４は、検出する生体情報が表情である場合、車両の搭乗者を撮影している第二カメラ２１１の映像から、車両の搭乗者の表情を検出する。生体情報検出部１１４は、撮影された搭乗者の顔を検出するとともに、顔を構成する各パーツの動き、特に目の開度などを検出し、様々な表情を機械学習させた表情判断モデルを用い、表情の変動を検出する。生体情報検出部１１４は、車両の搭乗者の表情を検出するとともに、表情の変動として、表情が平常状態の表情から驚愕を表す表情となったことを異常状態となったこととして検出する。生体情報検出部１１４は、表情の変動として、例えば、驚愕を表す表情以外から、驚愕を表す表情となったこと、特に、１秒間未満の期間に変動したことを、平常状態から異常状態となったこととして検出する。本実施形態では、生体情報検出部１１４は、通常記録期間に、表情が平常状態の表情から驚愕を表す表情となったことを検出する。

【0027】

操作制御部１１６は、操作部２１３が受け付けた操作の操作情報を取得する。例えば、操作制御部１１６は、再生操作を示す再生操作情報、または、消去操作を示す消去操作情報を取得して制御信号を出力する。例えば、操作制御部１１６は、常時記録を終了する操作を示す終了操作情報を取得して制御信号を出力する。

【0028】

イベント検出部１１７は、車両に加わった加速度に基づき、イベントを検出する。より詳しくは、イベント検出部１１７は、加速度センサ２１４の検出結果に基づいて、イベントを検出する。イベント検出部１１７は、加速度センサ２１４から取得した加速度情報が閾値以上である場合、イベントが発生したことを検出する。

【0029】

位置情報取得部１１８は、車両の現在位置を示す位置情報を取得する。位置情報取得部１１８は、ＧＮＳＳ受信部２１５が受信したＧＮＳＳ信号に基づいて、車両の現在位置の位置情報を公知の方法によって算出する。

【0030】

表示制御部１１９は、表示部２１６における表示を制御する。表示制御部１１９は、常時記録データまたはイベントデータなどを表示部２１６に出力させる映像信号を出力する。より詳しくは、表示制御部１１９は、第一カメラ２１０が撮影している映像、または、記録部２１２に記録された常時記録データまたはイベントデータの再生によって表示する映像信号を出力する。

【0031】

サムネイル画像生成部１２０は、撮影ファイルを構成する画像からサムネイル画像を生成する。

【0032】

サムネイル画像生成部１２０は、撮影ファイルにサムネイル画像を付与する。より詳しくは、サムネイル画像生成部１２０は、通常、撮影ファイルを構成する映像における先頭フレームの画像からサムネイル画像を付与する。

【0033】

サムネイル画像生成部１２０は、生体情報検出部１１４が生体情報の変動を検出した場合、検出した時点の映像からサムネイル画像を生成する。より詳しくは、サムネイル画像生成部１２０は、生体情報検出部１１４が、生体情報が平常状態から異常状態となったことを検出した場合、検出した時点の映像からサムネイル画像を生成する。サムネイル画像生成部１２０がサムネイル画像を生成する映像は、生体情報の変動を検出した時点の前後２～５秒程度の任意の時点が設定されてもよい。

【0034】

サムネイル画像生成部１２０は、通常記録期間に生体情報の変動がある場合、生体情報の変動時の画像に基づくサムネイル画像を生成する。より詳しくは、サムネイル画像生成部１２０は、生体情報の変動時に撮影されたフレームの画像をその通常ファイル（通常記録データ）のサムネイル画像として付与する。このように生成されたサムネイル画像には、搭乗者の生体情報が変動する原因となった車両の周辺の事象が撮影されている可能性が高い。

【0035】

図２を用いて、通常ファイルとしての撮影ファイルについて説明する。図２は、撮影ファイルを説明する図である。図２に示す例では、第一カメラ２１０が撮影した撮影データから、例えば、６０秒毎の通常ファイルとしての撮影ファイルが生成される。通常ファイルは、車両が動作している期間は、常時、撮影が継続され、通常ファイルが生成、記録される。通常記録ファイルは、上書可能なファイルである。

【0036】

撮影ファイルＦ－１は、時刻Ｔ－１から時刻Ｔまでの期間の撮影データから生成される。時刻Ｔ－１から時刻Ｔまでの期間に、生体情報の変動が検出されていないものとする。この場合、撮影ファイルＦ－１のサムネイル画像は、時刻Ｔ－１の画像、言い換えると、撮影ファイルＦ－１の先頭フレームの画像から生成される。撮影ファイルＦ－１の通常記録期間は、時刻Ｔ－１から時刻Ｔまでの期間である。

【0037】

撮影ファイルＦは、時刻Ｔから時刻Ｔ＋１までの期間の撮影データから生成される。時刻Ｔから時刻Ｔ＋１までの期間内である時刻Ｔｂ１に、生体情報の変動が検出されているものとする。この場合、撮影ファイルＦのサムネイル画像は、時刻Ｔの画像ではなく、時刻Ｔｂ１の画像から生成される。撮影ファイルＦの通常記録期間は、時刻Ｔから時刻Ｔ＋１までの期間である。

【0038】

再生制御部１２１は、操作制御部１１６から出力された再生操作の制御信号に基づいて、記録部２１２に記録された常時記録データまたはイベントデータを再生するよう制御する。再生制御部１２１は、図示しないデコーダを含み、供給された圧縮データをデコードすることで、各種データを再生する。

【0039】

記録制御部１２２は、撮影データ取得部１１１が取得した撮影データの記録を行う。実施形態では、記録制御部１２２は、撮影データ処理部１１３でファイル化された撮影ファイルを、記録部２１２に記録させる制御を行う。記録制御部１２２は、車両のアクセサリ電源がＯＮであるときなど、常時記録処理を実行する期間は、撮影データ処理部１１３でファイル化された撮影ファイルを上書き可能な撮影ファイルとして記録部２１２に記録する。より詳しくは、記録制御部１２２は、常時記録処理を実行する期間は、撮影データ処理部１１３が生成した撮影ファイルを記録部２１２に記録し続け、記録部２１２の容量が一杯になった場合、最も古い撮影ファイルに新しい撮影ファイルを上書きして記録する。

【0040】

記録制御部１２２は、イベント検出部１１７によってイベントが検出された場合、イベントの検出に対応する撮影データであるイベントデータを保存する。イベントデータとは、撮影データ処理部１１３が生成した撮影ファイルにおける所定の期間であるイベント記録期間の撮影ファイルである。記録制御部１２２は、イベントの検出に対応する撮影ファイルを、上書きが禁止されたイベントデータとして記録部２１２に保存する。記録制御部１２２は、イベント検出部１１７によってイベントが検出された場合、例えば、イベントが検出された時点の前後１０秒程度の所定の期間の撮影ファイルをバッファメモリ１１２からコピーし、イベントデータとして保存する。

【0041】

記録制御部１２２は、撮影データ処理部１１３が生成した撮影ファイルとサムネイル画像生成部１２０が生成したサムネイル画像とを対応付けて記録部２１２に記録する。

【0042】

＜映像記録制御装置における情報処理＞
次に、図３、図４を用いて、制御装置１００における処理の流れについて説明する。図３は、第一実施形態に係る制御装置１００における一般的な撮影ファイルの生成処理の流れの一例を示すフローチャートである。図４は、第一実施形態に係る制御装置１００におけるサムネイル画像を対応付ける処理の流れの一例を示すフローチャートである。

【0043】

図３を用いて、記録処理について説明する。映像記録装置１０が動作している間、図３に示すフローチャートの処理が実行される。

【0044】

制御装置１００は、図３の処理の開始に伴い、通常記録およびイベント検出を開始し（ステップＳ１０１）、図３の処理が実行されている間、言い換えると、映像記録装置１０が動作している間、記録制御部１２２による通常記録、およびイベント検出部１１７によるイベント検出を継続する。制御装置１００は、ステップＳ１０２へ進む。

【0045】

制御装置１００は、図３の処理の開始に伴い、生体情報の検出を開始し（ステップＳ１０２）、図３の処理が実行されている間、言い換えると、映像記録装置１０が動作している間、生体情報の検出を継続する。より詳しくは、制御装置１００は、生体情報検出部１１４によって、車両の搭乗者の生体情報および生体情報の変動を取得する。より詳しくは、制御装置１００は、生体情報検出部１１４によって、例えば、心拍数が平常状態の心拍数から上昇したことを異常状態となったこととして検出する。制御装置１００は、生体情報検出部１１４によって、例えば、表情の変動として、表情が平常状態の表情から驚愕を表す表情となったことを異常状態となったこととして検出する。制御装置１００は、ステップＳ１０３へ進む。

【0046】

制御装置１００は、図３の処理が実行されている間、通常記録処理を継続する（ステップＳ１０３）。制御装置１００は、ステップＳ１０４へ進む。

【0047】

制御装置１００は、イベントを検出したか否かを判定する（ステップＳ１０４）。より詳しくは、制御装置１００は、イベント検出部１１７によって、加速度センサ２１４から取得した加速度情報が閾値以上である場合、イベントが発生したことを検出する。制御装置１００は、イベントを検出したと判定する場合（ステップＳ１０４でＹｅｓ）、ステップＳ１０５へ進む。制御装置１００は、イベントを検出したと判定しない場合（ステップＳ１０４でＮｏ）、ステップＳ１０６へ進む。

【0048】

イベントを検出したと判定する場合（ステップＳ１０４でＹｅｓ）、制御装置１００は、イベント記録処理を実行する（ステップＳ１０５）。制御装置１００は、ステップＳ１０６へ進む。

【0049】

ステップＳ１０５におけるイベント記録処理では、制御装置１００は、記録制御部１２２によって、撮影された映像データをイベントデータとして記録部２１２に上書きを禁止して保存させる。イベントデータは、イベント検出時点の前後の時間を含む撮影データである。

【0050】

イベントを検出したと判定しない場合（ステップＳ１０４でＮｏ）、制御装置１００は、通常記録処理を継続しながらステップＳ１０６へ進む。

【0051】

通常記録処理では、制御装置１００は、記録制御部１２２によって、撮影された撮影データを上書き可能な通常ファイルとして記録部２１２に保存させる。

【0052】

制御装置１００は、処理を終了するか否かを判定する（ステップＳ１０６）。例えば、車両の電源や動力がＯＦＦにされたことや、操作部２１３の操作がされたことなどで、処理を終了することが判定される。制御装置１００は、処理を終了すると判定された場合（ステップＳ１０６でＹｅｓ）、本処理を終了する。制御装置１００は、処理を終了すると判定されない場合（ステップＳ１０６でＮｏ）、ステップＳ１０３に進む。言い換えると、通常記録、イベント検出および生体情報検出が継続される。

【0053】

次に、図４を用いて、図３のステップＳ１０３に示す通常記録処理、つまり通常記録を行う場合における通常ファイルに対するサムネイル画像を付与する処理について説明する。図４に示すフローチャートの処理は、通常記録処理において実行される。

【0054】

制御装置１００は、通常記録期間に生体情報の変動があるか否かを判定する（ステップＳ１１１）。より詳しくは、制御装置１００は、生体情報検出部１１４の検出結果によって、通常記録期間における生体情報の変動として、生体情報が平常状態から異常状態となったか否かを判定する。より詳しくは、制御装置１００は、生体情報検出部１１４によって、通常記録期間に、心拍数が平常状態の心拍数から上昇して異常状態となったか否かを判定する。制御装置１００は、生体情報検出部１１４によって、通常記録期間に、表情の変動として、表情が平常状態の表情から驚愕を表す表情となったことを異常状態となったか否かを判定する。制御装置１００は、通常記録期間に生体情報の変動があると判定する場合（ステップＳ１１１でＹｅｓ）、ステップＳ１１２。制御装置１００は、通常記録期間に生体情報の変動があると判定しない場合（ステップＳ１１１でＮｏ）、ステップＳ１１３へ進む。

【0055】

通常記録期間に生体情報の変動があると判定する場合（ステップＳ１１１でＹｅｓ）、制御装置１００は、生体情報の変動時の画像に基づくサムネイル画像を生成する（ステップＳ１１２）。より詳しくは、制御装置１００は、サムネイル画像生成部１２０によって、生体情報の変動時に撮影されたフレームの画像をその通常ファイルのサムネイル画像として付与する。制御装置１００は、ステップＳ１１４へ進む。図２の例に当てはめると、通常ファイルである撮影ファイルＦが生成される通常記録期間（時刻Ｔから時刻Ｔ＋１）における時刻Ｔｂ１に生体情報の変動が検出されている。このため、時刻Ｔｂ１に撮影されたフレームの画像を撮影ファイルＦのサムネイル画像として付与する。

【0056】

通常記録期間に生体情報の変動があると判定しない場合（ステップＳ１１１でＮｏ）、制御装置１００は、通常ファイルの最初の画像に基づくサムネイル画像を生成する（ステップＳ１１３）。より詳しくは、制御装置１００は、サムネイル画像生成部１２０によって、撮影ファイルの先頭のフレームの画像を通常ファイルのサムネイル画像として付与する。制御装置１００は、ステップＳ１１４へ進む。図２の例に当てはめると、通常ファイルである撮影ファイルＦ－１が生成される通常記録期間（時刻Ｔ－１から時刻Ｔ）に生体情報の変動が検出されていない。このため、時刻Ｔ－１に撮影された撮影ファイルＦ－１の先頭のフレームの画像を撮影ファイルＦ－１のサムネイル画像として付与する。

【0057】

制御装置１００は、サムネイル画像を対応付け、通常ファイルを記録する（ステップＳ１１４）。より詳しくは、制御装置１００は、記録制御部１２２によって、撮影データ処理部１１３が生成した通常ファイルとしての撮影ファイルと、サムネイル画像生成部１２０が生成したサムネイル画像とを対応付けて記録部２１２に記録する。

【0058】

このようにして、制御装置１００は、通常、撮影ファイルを構成する映像における先頭フレームの画像からサムネイル画像を付与して記録する。制御装置１００は、通常記録期間に生体情報の変動がある場合、生体情報の変動時の画像に基づくサムネイル画像として付与して記録する。

【0059】

＜効果＞
上述したように、本実施形態は、生体情報の変動を検出した場合、変動を検出した時点の画像に基づくサムネイル画像として付与して記録することができる。本実施形態は、通常記録期間に生体情報の変動を検出した場合、生体情報の変動時の画像に基づくサムネイル画像として付与して記録することができる。本実施形態によれば、搭乗者の生体情報が変動する原因となった車両の周辺の事象が撮影されている可能性が高いサムネイル画像を付与して記録することができる。本実施形態によれば、撮影された通常ファイルの検索を容易にすることができる。

【0060】

本実施形態は、生体情報が平常状態から異常状態となったことを検出した場合、検出した時点の映像からサムネイル画像を生成することができる。

【0061】

本実施形態は、通常記録期間に、心拍数が平常状態の心拍数から上昇した場合、生体情報の変動時の画像に基づくサムネイル画像として付与して記録することができる。

【0062】

本実施形態は、通常記録期間に、表情が平常状態の表情から驚愕を表す表情となった場合、生体情報の変動時の画像に基づくサムネイル画像として付与して記録することができる。

【0063】

［第二実施形態］
図５、図６を参照しながら、本実施形態に係る映像記録装置１０について説明する。図５は、撮影ファイルとイベントデータとを説明する図である。図６は、第二実施形態に係る制御装置１００におけるサムネイル画像を対応付ける処理の流れの一例を示すフローチャートである。映像記録装置１０は、基本的な構成は第一実施形態の映像記録装置１０と同様である。以下の説明においては、映像記録装置１０と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態では、生体情報検出部１１４における処理が第一実施形態と異なる。

【0064】

本実施形態では、生体情報検出部１１４は、イベント検出前においてイベント記録処理を行った期間であるイベント記録期間に、生体情報が平常状態から異常状態となったことを検出する。

【0065】

本実施形態では、生体情報検出部１１４は、検出する生体情報が心拍数である場合、イベント検出前のイベント記録期間に、心拍数が平常状態の心拍数から上昇したことを検出する。

【0066】

本実施形態では、生体情報検出部１１４は、検出する生体情報が表情である場合、イベント検出前のイベント記録期間に、表情が平常状態の表情から驚愕を表す表情となったことを検出する。

【0067】

サムネイル画像生成部１２０は、イベントデータである撮影ファイルにサムネイル画像を付与する。より詳しくは、サムネイル画像生成部１２０は、通常、イベントデータである撮影ファイルを構成する映像における先頭フレームの画像からサムネイル画像を付与する。

【0068】

サムネイル画像生成部１２０は、イベント検出前のイベント記録期間に、生体情報の変動がある場合、生体情報の変動時の画像に基づくサムネイル画像を生成する。より詳しくは、サムネイル画像生成部１２０は、生体情報の変動時に撮影されたフレームの画像をそのイベントデータのサムネイル画像として付与する。

【0069】

図５を用いて、イベントデータと撮影ファイルとについて説明する。撮影ファイルＦ－１、撮影ファイルＦ、撮影ファイルＦ＋１は、第一実施形態と同様である。イベントデータは、イベントが検出された時点の前後所定期間の撮影データを、上書禁止されたイベントデータとして保存される。

【0070】

例えば、時刻Ｔｉにイベントが検出された場合、時刻Ｔｉ１から時刻Ｔｉ２までの期間の撮影データをイベントデータＩｆ０１として保存する。時刻Ｔｉにイベントが検出された場合、例えば、時刻Ｔｉ１から時刻Ｔｉまでの期間に生体情報の変動が検出されない場合、イベントデータＩｆ０１のサムネイル画像は、イベントデータＩｆ０１の先頭フレームの画像、言い換えると、時刻Ｔｉ１の画像から生成される。時刻Ｔｉにイベントが検出された場合、時刻Ｔｉ１から時刻Ｔｉまでの期間内である時刻Ｔｂ２に生体情報の変動が検出された場合、イベントデータＩｆ０１のサムネイル画像は、時刻Ｔｉ１の画像ではなく、時刻Ｔｂ２の画像から生成される。イベントデータＩｆ０１のイベント検出前のイベント記録期間は、時刻Ｔｉ１から時刻Ｔｉまでの期間である。

【0071】

次に、図６を用いて、図３のステップＳ１０５に示すイベント記録処理、つまりイベント記録を行う場合におけるイベントデータに対するサムネイル画像を付与する処理について説明する。ステップＳ１２２の処理は、図４に示すフローチャートのステップＳ１１２と同様の処理を行う。図６に示すフローチャートの処理は、イベント記録処理において実行される。

【0072】

制御装置１００は、イベント検出前のイベント記録期間に生体情報の変動があるか否かを判定する（ステップＳ１２１）。より詳しくは、制御装置１００は、生体情報検出部１１４の検出結果によって、イベント検出前のイベント記録期間における生体情報の変動として、生体情報が平常状態から異常状態となったか否かを判定する。より詳しくは、制御装置１００は、生体情報検出部１１４によって、イベント検出前のイベント記録期間に、心拍数が平常状態の心拍数から上昇して異常状態となったか否かを判定する。制御装置１００は、生体情報検出部１１４によって、イベント検出前のイベント記録期間に、表情の変動として、表情が平常状態の表情から驚愕を表す表情となったことを異常状態となったか否かを判定する。制御装置１００は、イベント検出前のイベント記録期間に、生体情報の変動があると判定する場合（ステップＳ１２１でＹｅｓ）、ステップＳ１２２。制御装置１００は、イベント検出前のイベント記録期間に生体情報の変動があると判定しない場合（ステップＳ１２１でＮｏ）、ステップＳ１２３へ進む。

【0073】

イベント検出前のイベント記録期間に生体情報の変動があると判定しない場合（ステップＳ１２１でＮｏ）、制御装置１００は、イベントデータの最初の画像に基づくサムネイル画像を生成する（ステップＳ１２３）。より詳しくは、制御装置１００は、サムネイル画像生成部１２０によって、イベントデータの先頭のフレームの画像をイベントデータのサムネイル画像として付与する。制御装置１００は、ステップＳ１２４へ進む。図５の例に当てはめると、イベントデータＩｆ０１におけるイベント検出前のイベント記録期間（時刻Ｔｉ１から時刻Ｔｉ）に生体情報の変動が検出されていない場合は、時刻Ｔｉ１に撮影されたイベントデータＩｆ０１の先頭のフレームの画像をイベントデータＩｆ０１のサムネイル画像として付与する。

【0074】

ステップＳ１２２の処理を図５の例に当てはめると、イベントデータＩｆ０１におけるイベント検出前のイベント記録期間（時刻Ｔｉ１から時刻Ｔｉ）における時刻Ｔｂ２に生体情報の変動が検出されている。このため、時刻Ｔｂ２に撮影されたフレームの画像をイベントデータＩｆ０１のサムネイル画像として付与する。

【0075】

制御装置１００は、サムネイル画像を対応付け、イベントデータを保存する（ステップＳ１２４）。より詳しくは、制御装置１００は、記録制御部１２２によって、撮影データ処理部１１３が生成したイベントデータとしての撮影ファイルと、サムネイル画像生成部１２０が生成したサムネイル画像とを対応付けて記録部２１２に記録する。

【0076】

このようにして、制御装置１００は、通常、撮影ファイルを構成する映像における先頭フレームの画像からサムネイル画像を付与して記録する。制御装置１００は、イベント検出前のイベント記録期間に、生体情報の変動がある場合、生体情報の変動時の画像に基づくサムネイル画像として付与して記録する。

【0077】

＜効果＞
上述したように、本実施形態によれば、撮影されたイベントデータの検索を容易にすることができる。

【0078】

本開示に係る映像記録装置は、上述した実施形態以外にも種々の異なる形態にて実施されてもよい。

【0079】

図示した映像記録装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

【0080】

映像記録装置の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

【0081】

上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

【0082】

上記では、第二カメラ２１１を備えるものとして説明したが、車両の搭乗者の心拍数の検出はこれに限定されない。車両の搭乗者の心拍数の検出は、第二カメラ２１１の映像による検出に限らず、車両のシートに備えられた各種センサまたはスマートウォッチなど、様々な方法を適用可能である。

【符号の説明】

【0083】

１０ 映像記録装置
１００ 制御装置（映像記録制御装置）
１１１ 撮影データ取得部
１１２ バッファメモリ
１１３ 撮影データ処理部
１１４ 生体情報検出部
１１６ 操作制御部
１１７ イベント検出部
１１８ 位置情報取得部
１１９ 表示制御部
１２１ 再生制御部
１２２ 記録制御部
１２０ サムネイル画像生成部
２１０ 第一カメラ
２１１ 第二カメラ
２１２ 記録部
２１３ 操作部
２１４ 加速度センサ
２１５ ＧＮＳＳ受信部
２１６ 表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】