(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-10
(45)【発行日】2023-07-19
(54)【発明の名称】記録装置、記録方法およびプログラム
(51)【国際特許分類】
G07C 5/00 20060101AFI20230711BHJP
G10L 15/00 20130101ALI20230711BHJP
G10L 13/00 20060101ALI20230711BHJP
G08G 1/00 20060101ALI20230711BHJP
B60R 21/0136 20060101ALI20230711BHJP
【FI】
G07C5/00 Z
G10L15/00 200J
G10L13/00 100C
G08G1/00 D
B60R21/0136 310
(21)【出願番号】P 2019054014
(22)【出願日】2019-03-22
【審査請求日】2021-10-29
【前置審査】
(73)【特許権者】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(72)【発明者】
【氏名】梨本 裕明
【審査官】中村 泰二郎
(56)【参考文献】
【文献】特開2018-046343(JP,A)
【文献】特開2012-203509(JP,A)
【文献】特開2014-133478(JP,A)
【文献】特開2014-078071(JP,A)
【文献】登録実用新案第3194857(JP,U)
(58)【調査した分野】(Int.Cl.,DB名)
G07C 1/00-15/00
G08G 1/00-99/00
B60R 11/00-11/06,
16/00-16/08,
21/00-21/13,
21/34-21/38,
25/00-99/00
H04N 7/18
G10L 15/10-17/26,
13/00-13/10,
19/00-99/00
(57)【特許請求の範囲】
【請求項1】
移動体に設置されたカメラが前記移動体の外部を撮影した撮影データを取得する撮影データ取得部と、
前記撮影データに含まれる情報を解析する撮影データ解析部と、
前記移動体に加わる加速度値を取得する加速度センサと、
前記加速度値が第1閾値以上の場合に前記移動体に対してイベントが発生したことを検出し、
前記加速度値が前記第1閾値より小さく、かつ、前記第1閾値より小さい第2閾値以上の場合には、前記解析の結果に基づいて前記イベントが発生したことを検出する、イベント検出部と、
前記イベントの検出に基づいて前記撮影データから予め設定された期間分の前記撮影データをイベント記録データとして記録する記録制御部と、
ユーザに対して音声を出力する音声制御部と、
入力された音声を取得し、取得した音声に含まれる人間の言葉を認識する音声認識部と、
を備える記録装置であって、
前記音声制御部は、前記加速度値が前記第1閾値より小さく、かつ、前記第1閾値より小さい第2閾値以上の場合には、前記解析の結果に基づいて、前記ユーザに対して前記イベント記録データを記録するか否かを問合せる音声を出力し、前記記録制御部が前記イベント記録データを記録した場合に、前記ユーザに対して前記イベント記録データの記録について通知し、
前記イベント検出部は、前記問合せに対して前記音声認識部を介して受ける前記ユーザの指示に基づいて前記イベントが発生したことを検出する、
記録装置。
【請求項2】
コンピュータが、
移動体に設置されたカメラが前記移動体の外部を撮影した撮影データを取得する撮影データ取得ステップと、
前記撮影データに含まれる情報を解析する撮影データ解析ステップと、
前記移動体に加わる加速度値を取得する加速度値取得ステップと、
前記加速度値が第1閾値以上の場合に前記移動体に対してイベントが発生したことを検出し、
前記加速度値が前記第1閾値より小さく、かつ、前記第1閾値より小さい第2閾値以上の場合には、前記解析の結果に基づいて前記イベントが発生したことを検出する、イベント検出ステップと、
前記イベントの検出に基づいて前記撮影データの少なくとも一部から予め設定された期間分の前記撮影データをイベント記録データとして記録する記録制御ステップと、
ユーザに対して音声を出力する音声制御ステップと、
入力された音声を取得し、取得した音声に含まれる人間の言葉を認識する音声認識ステップと、
を備える記録方法を実行するものであって、
前記音声制御ステップは、前記加速度値が前記第1閾値より小さく、かつ、前記第1閾値より小さい第2閾値以上の場合には、前記解析の結果に基づいて、前記ユーザに対して前記イベント記録データを記録するか否かを問合せる音声を出力し、前記記録制御ステップが前記イベント記録データを記録した場合には、前記ユーザに対して前記イベント記録データの記録について通知し、
前記イベント検出ステップは、前記問合せに対して前記音声認識ステップを介して受ける前記ユーザの指示に基づいて前記イベントが発生したことを検出する、
記録方法。
【請求項3】
移動体に設置されたカメラが前記移動体の外部を撮影した撮影データを取得する撮影データ取得ステップと、
前記撮影データに含まれる情報を解析する撮影データ解析ステップと、
前記移動体に加わる加速度値を取得する加速度値取得ステップと、
前記加速度値が第1閾値以上の場合に前記移動体に対してイベントが発生したことを検出し、
前記加速度値が前記第1閾値より小さく、かつ、前記第1閾値より小さい第2閾値以上の場合には、前記解析の結果に基づいて前記イベントが発生したことを検出する、イベント検出ステップと、
前記イベントの検出に基づいて前記撮影データの少なくとも一部から予め設定された期間分の前記撮影データをイベント記録データとして記録する記録制御ステップと、
ユーザに対して音声を出力する音声制御ステップと、
入力された音声を取得し、取得した音声に含まれる人間の言葉を認識する音声認識ステップと、を備え、
前記音声制御ステップは、前記加速度値が前記第1閾値より小さく、かつ、前記第1閾値より小さい第2閾値以上の場合には、前記解析の結果に基づいて、前記ユーザに対して前記イベント記録データを記録するか否かを問合せる音声を出力し、前記記録制御ステップが前記イベント記録データを記録した場合には、前記ユーザに対して前記イベント記録データの記録について通知し、
前記イベント検出ステップは、前記問合せに対して前記音声認識ステップを介して受ける前記ユーザの指示に基づいて前記イベントが発生したことを検出する、
記録方法を、コンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は記録装置、記録方法およびプログラムに関する。
【背景技術】
【0002】
車両に対する事故や危険運転等のイベントを検出した場合に、所定期間の映像等を再生可能に記録するための記録装置(以下、ドライブレコーダとも称する)が普及している。またドライブレコーダがイベントを適正に記録するための様々な技術が提案されている。
【0003】
例えば特許文献1に記載の記録装置は、イベント候補が発生していると判定するために、第2の閾値より低い第1の閾値を有している。イベント候補判定部は、例えば、加速度センサで検出されたセンサ情報が、車両による衝突のイベント候補を検出するための第1の閾値を超えたと判定した場合、イベント候補が発生していると判定する。また、イベント候補判定部は、例えば、マイクロホンで検出された音声情報が、車両等による擦りのイベント候補を判定するための第1の閾値を超えたと判定した場合、イベント候補が発生していると判定する。
【0004】
特許文献2に記載のドライブレコーダは、車両に印加される加速度情報が第1閾値以下となった後に、第1閾値より大きな第2閾値を越えた場合に、記録条件が成立したものと判断して、映像情報を記録する。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2018-046343号公報
【文献】特開2009-087007号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1に記載の技術は、車両が駐車中に発生する接触事故や盗難事故などのイベントを想定したものである。また、特許文献2に記載の技術は、加速度センサの誤動作等を抑制するためのものである。しかしながら、例えば走行中の車両において、設定された特定の閾値を超えない場合であっても、記録をすることが好ましい場合がある。一方で、単に閾値を下げると、記録不要な情報を過度に記録する虞がある。
【0007】
本発明は、このような課題を解決するためになされたものであって、柔軟かつ適正に移動中のイベント記録を行うことができる記録装置等を提供するものである。
【課題を解決するための手段】
【0008】
本発明にかかる記録装置は、撮影データ取得部、撮影データ解析部、加速度センサ、イベント検出部および記録制御部を有する。撮影データ取得部は、移動体に設置されたカメラが移動体の外部を撮影した撮影データを取得する。撮影データ解析部は、撮影データに含まれる情報を解析する。加速度センサは、移動体に加わる加速度値を取得する。イベント検出部は、加速度値が第1閾値以上の場合に移動体に対してイベントが発生したことを検出し、加速度値が第1閾値より小さく、かつ、第1閾値より小さい第2閾値以上の場合には、解析の結果に基づいてイベントが発生したことを検出する。記録制御部は、イベントの検出に基づいて撮影データの少なくとも一部から予め設定された期間分の撮影データをイベント記録データとして記録する。
【0009】
本発明にかかる記録方法は、撮影データ取得ステップ、撮影データ解析ステップ、加速度値取得ステップ、イベント検出ステップおよび記録制御ステップを有する。撮影データ取得ステップは、移動体に設置されたカメラが移動体の外部を撮影した撮影データを取得する。撮影データ解析ステップは、撮影データに含まれる情報を解析する。加速度値検出ステップは、移動体に加わる加速度値を取得する。イベント検出ステップは、加速度値が第1閾値以上の場合に移動体に対してイベントが発生したことを検出し、加速度値が第1閾値より小さく、かつ、第1閾値より小さい第2閾値以上の場合には、解析の結果に基づいてイベントが発生したことを検出する。記録制御ステップは、イベントの検出に基づいて撮影データの少なくとも一部から予め設定された期間分の撮影データをイベント記録データとして記録する。
【0010】
本発明にかかるプログラムは、撮影データ取得ステップ、撮影データ解析ステップ、加速度値取得ステップ、イベント検出ステップおよび記録制御ステップを有する記録方法をコンピュータに実行させる。撮影データ取得ステップは、移動体に設置されたカメラが移動体の外部を撮影した撮影データを取得する。撮影データ解析ステップは、撮影データに含まれる情報を解析する。加速度値検出ステップは、移動体に加わる加速度値を取得する。イベント検出ステップは、加速度値が第1閾値以上の場合に移動体に対してイベントが発生したことを検出し、加速度値が第1閾値より小さく、かつ、第1閾値より小さい第2閾値以上の場合には、解析の結果に基づいてイベントが発生したことを検出する。記録制御ステップは、イベントの検出に基づいて撮影データの少なくとも一部から予め設定された期間分の撮影データをイベント記録データとして記録する。
【発明の効果】
【0011】
本発明によれば、柔軟かつ適正に移動中のイベント記録を行うことができる記録装置等を提供することができる。
【図面の簡単な説明】
【0012】
【
図2】実施の形態1にかかる記録装置のブロック図である。
【
図3】記録装置が記憶する撮影データと時間との関係を示す第1の図である。
【
図4】記録装置が記憶する撮影データと時間との関係を示す第2の図である。
【
図5】実施の形態1にかかる記録装置の処理を示すフローチャートである。
【
図6】実施の形態1にかかる記録装置が記録した撮影データの例を示す図である。
【
図7】実施の形態2にかかる記録装置のブロック図である。
【
図8】実施の形態2にかかる記録装置の処理を示すフローチャートである。
【発明を実施するための形態】
【0013】
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲にかかる発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
【0014】
<実施の形態1>
以下、図を参照して実施の形態1の構成について説明する。
図1は、記録装置を搭載した車両の上面図である。移動体である車両900のウィンドシールド中央上部には、記録装置10が固定されている。記録装置10は車両900の前方を撮影するように設定されている。記録装置10が有するカメラは、図に示すように、車両900の前方を視野角180度で撮影する。記録装置10は、カメラが撮影した撮影データを記録および再生する。つまり、記録装置10は、ドライブレコーダとしての機能を有している。本実施の形態における記録装置10をドライブレコーダと称してもよい。
【0015】
次に、
図2を参照して記録装置10の機能構成の詳細について説明する。
図2は、実施の形態1にかかる記録装置のブロック図である。記録装置10は、各構成要素の制御を司る制御部100および制御部100に接続された複数の構成要素を有している。制御部100は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、メモリ、および複数のインタフェース等が実装された回路基板を有する制御装置であって、格納されているプログラムを実行して種々の処理を実行する。
【0016】
以下に制御部100の詳細について説明する。制御部100は、撮影データ取得部120、バッファメモリ121、撮影データ処理部122、記録制御部123、再生制御部124、操作制御部125、表示制御部126、イベント検出部127、位置情報取得部128、撮影データ解析部129および音声制御部130を有しており、これらの処理および制御を実行する構成は、制御部100が実行するプログラムによって実現される。便宜的に、これらの構成はそれぞれバスライン110に接続しているように表現される。
【0017】
撮影データ取得部120は、カメラ150から供給された撮影データを取得する。撮影データ取得部120は、バスライン110を介して撮影データをバッファメモリ121に供給する。
【0018】
バッファメモリ121は、揮発性または不揮発性のメモリ装置である。バッファメモリ121は、撮影データ取得部120を介してカメラ150が定期的に生成する撮影データを順次受け取り、受け取った撮影データを一時的に記憶する。バッファメモリ121が一時的に記憶する撮影データは予め設定された期間分である。バッファメモリ121は、予め設定された期間を経過した撮影データを順次消去するか、あるいは、新たに受け取った撮影データで順次上書きする。
【0019】
撮影データ処理部122は、バッファメモリ121が記憶している撮影データから、予め設定された方式に準拠した形式の撮影ファイルを生成する。予め設定された方式とは、例えばH.264やMPEG-4(Moving Picture Experts Group)などの方式である。
【0020】
なお、撮影データ処理部122は、撮影データを処理し、予め設定された画角の撮影ファイルを生成してもよい。また、撮影データ処理部122は、バッファメモリ121が出力した撮影データを処理し、予め設定された時間または予め設定された画角の撮影データを生成し、ファイル名称等のヘッダ情報等を付加して、撮影ファイルを生成してもよい。さらに、撮影データ処理部122は、バッファメモリ121が出力した撮影データを処理し、撮影データのノイズ除去や歪み補正等を行ってもよく、撮影データに時刻情報、車両900の速度情報または車両900の位置情報などを表示した撮影ファイルを生成してもよい。
【0021】
記録制御部123は、撮影データ処理部122が生成した撮影ファイルを記録部160に記録させる制御を行う。イベント検出部127がイベントを検出した場合、記録制御部123は、イベントの検出に基づいて予め設定された期間分の撮影ファイルを上書き禁止されたイベント記録データとして記録部160に記録する。記録制御部123はイベント記録データを、記録部160における所定の記録領域に記録する。所定の記録領域とは例えば、上書きまたは消去禁止とすることを定められた記録領域である。あるいは、記録制御部123により記録部160に供給されたイベント記録データは、上書きまたは消去禁止であることを示すフラグをファイル内に含めて記録してもよい。
【0022】
なお、記録制御部123は、イベント検出部127がイベントを検出していない場合、撮影ファイルを上書き可能な状態として記録部160に記憶させてもよい。記録部160に記憶させる、イベント記録データとは異なる撮影ファイルを、ここでは「通常ファイル」と称する。記録制御部123は、記録部160の記憶容量が上限となった場合、通常ファイルのうち古いものを消去して新たに生成された通常ファイルを記録部160に記録してもよい。
【0023】
再生制御部124は、予め設定された条件下において、記録されているイベント記録データを再生するための処理を行う。予め設定された条件とは、車両900に搭乗しているユーザ(以下、搭乗者とも称する)の操作を受け付けた場合などである。
【0024】
操作制御部125は、操作部140が受け付けた操作情報を取得し、操作情報に基づいた操作指示を、各構成要素に出力する。操作制御部125は、操作部140から再生対象となる各種データの選択指示を取得した場合、再生制御部124に記録部160に記録されているファイルなどを選択させる。操作制御部125は、操作部140から各種データの再生に関する指示を取得した場合、再生制御部124に再生に関する処理を行わせる。各種データの再生に関する指示とは、例えば、再生開始、一時停止、再生停止、拡大表示などである。
【0025】
表示制御部126は、表示部141に対し、様々な情報を表示させる制御を行う。例えば、表示制御部126は、カメラ150が撮影中の撮影データを表示部141に表示させる。また、表示制御部126は、再生制御部124から供給されたイベント記録データを受け取り、受け取ったイベント記録データを表示部141に表示させる。表示制御部126は、表示部141に、操作部140の機能としてタッチセンサが重畳されている場合、タッチセンサに対応したアイコンなどを表示部141に適宜表示させる。
【0026】
イベント検出部127は、加速度センサ142が検出する加速度に関する情報を受け取り、かかる情報に含まれる加速度値を予め設定された第1閾値または第2閾値と比較する。第1閾値は、例えば、通常の走行では発生せず、他の物体と衝突した際の衝撃によって発生する程度の加速度値に相当する値である。第2閾値は、第1閾値より小さい値であって通常の走行においても発生する可能性がある程度の加速度値に相当する値である。イベント検出部127は、加速度値と第1閾値または第2閾値とを比較して、車両に所定のイベントが発生したことを検出する。なお本実施の形態において「イベント」とは、例えば、急停止や急発進などの危険運転、接触事故および衝突事故など、所定の衝撃を伴って車両に発生する事象を称したものである。
【0027】
イベント検出部127は、加速度値が第1閾値以上の場合には、イベントが発生したことを検出する。イベント検出部127は、加速度値が第1閾値より小さく、かつ、第2閾値以上の場合には、撮影データ解析部129が行う解析の結果に基づいてイベントが発生したことを検出する。イベント検出部127が所定のイベントの発生を検出した場合には、イベント検出部127は、イベントの発生を示す信号を撮影データ処理部122に供給する。
【0028】
なおイベント検出部127は、3軸座標の座標軸であるX軸、Y軸およびZ軸の加速度を検出するものであってもよいし、これらのうち少なくとも1方向の加速度を検出するものであってもよい。またこれら3軸方向から受ける加速度に重み付けを行ってもよい。イベント検出部127が検出する第1閾値および第2閾値は、車両900の速度に応じて変化するものであってもよい。すなわち、車両900の走行速度が速いほど、第1閾値および第2閾値は、大きい値であってもよい。
【0029】
位置情報取得部128は、GPS(Global Positioning System)受信部143が受信したGPS衛星からの信号を受け取り、受け取った信号から現在位置に関する情報である位置情報を取得し、取得した位置情報を記録制御部123に供給する。位置情報には例えば、GPS衛星から信号を受け取った時刻における車両の緯度および経度が含まれる。
【0030】
撮影データ解析部129は、撮影データ取得部120から撮影データを受け取り、受け取った撮影データに含まれる情報を解析する。より具体的には、撮影データ解析部129は、撮影データに含まれる物体を認識するとともに、物体が車両900に接触した可能性の有無を検出する。撮影データ解析部129は、予め設定された物体が車両900に接触した可能性があることを検出した場合に、解析の結果として、イベントが発生した可能性があることを示す信号をイベント検出部127に通知する。
【0031】
音声制御部130は、予め設定された発信用の音声データを有し、音声データをスピーカ144に供給する。音声制御部130は例えば、記録制御部123がイベント記録データの保存を完了させた後に、イベント記録データの保存を行ったことを搭乗者に通知する音声データをスピーカ144に供給する。
【0032】
次に、制御部100に接続している各構成について説明する。記録装置10は、操作部140、表示部141、加速度センサ142、GPS受信部143、スピーカ144、カメラ150および記録部160を有している。
【0033】
操作部140は、記録装置10に対してユーザが行う操作を受け付けるユーザインタフェースである。ユーザインタフェースは、例えば操作ボタンであってもよいし、表示部141に重畳して設置されたタッチセンサであってもよい。またユーザインタフェースは、赤外線や無線通信の受信部であって、リモコン等から送信される信号を受け付けるものであってもよい。操作部140は、受け付けた操作に関する情報である操作情報を、所定のインタフェースを介して制御部100に供給する。操作情報は例えば、イベント記録開始の指示やイベント記録データの再生を行う指示等である。
【0034】
表示部141は、表示制御部126の制御により各種情報を表示する表示装置である。表示部141は、例えば、液晶パネルや有機EL(Electro Luminescence)などの表示パネルを少なくとも有している。表示部141は、表示制御部126に接続し、表示制御部126から供給される信号を表示する。表示部141は、イベント記録データに含まれる映像を表示するように構成されている。
【0035】
加速度センサ142は、例えば3軸加速度センサであって、記録装置10の任意の場所に設置されている。加速度センサ142は、加速度センサ142に印加された加速度を検出し、検出した加速度に応じて、検出した加速度に関する情報を制御部100に供給する。加速度センサ142は、イベント検出部127に接続しており、検出した加速度に関する情報をイベント検出部127に供給する。なお、加速度センサ142が制御部100に供給する加速度に関する情報は、適宜、他の構成も利用可能であり、より具体的には、再生制御部124も加速度センサ142から受け取る加速度に関する情報を利用する。なお、加速度センサ142は、3軸加速度センサに代えて、1軸または2軸加速度センサであってもよい。
【0036】
GPS受信部143は、GPSあるいはGNSS(Global Navigation Satellite System)と称される衛星測位システムにより車両の現在位置に関する情報を受信する。GPS受信部143は、GPS信号を受信するためのアンテナであってもよいし、車両が取得する位置情報を受け取るための通信インタフェースであってもよい。GPS受信部143は、受信した現在位置に関する信号を、位置情報取得部128に供給する。
【0037】
スピーカ144は、音声制御部130から受け取った音声データを音声に変換して発信し、ユーザに音声を認識させるスピーカである。
【0038】
カメラ150は、対物レンズ、撮像素子およびA-D(Analog to Digital)変換素子等を有する撮像装置である。カメラ150は、移動体である車両の周囲の景色を含む映像を撮影し、撮影した映像のデータである撮影データを生成する。カメラ150は、生成した撮影データを撮影データ取得部120に供給する。
【0039】
記録部160は、カメラ150から供給された撮影データを格納する記録装置である。記録部160は、例えばフラッシュメモリを含むメモリカードや、SSD(Solid State Drive)またはHDD(Hard Disk Drive)等の不揮発性の記録装置である。記録部160は、記録制御部123に接続し、記録制御部123から所定のデータを受け取り、受け取ったデータを記録する。また、記録部160は、再生制御部124の指示に応じて再生制御部124に対して記録しておいたイベント記録データを含むイベントファイルを供給する。記録部160は記録装置10から脱着可能に構成されていてもよいし、取り外しできない構成であってもよい。
【0040】
次に、
図3を参照しながら、撮影データについて説明する。
図3は、記録装置が記憶する撮影データと時間との関係を示す第1の図である。図の横軸は時刻を表しており、時刻t10から時刻t11に向かって矢印の方向(右方向)に時間が経過することを示している。
【0041】
時間軸に沿って示された長尺形状は、時刻t11における撮影データC11である。撮影データC11は、カメラ150が生成した撮影データであって、バッファメモリ121に記憶されている。記録装置10は、予め設定された期間Pnの撮影データを常に記憶しておくように設定されている。期間Pnは、例えば60秒、120秒あるいは150秒などの期間である。時刻t11における撮影データC11は、時刻t11から期間Pnを遡った時刻t10から時刻t11までの撮影データである。またバッファメモリ121に記憶される撮影データは時刻の経過とともに、期間Pnより過去の撮影データは順次消去される。
【0042】
ここで、
図3に示す例では、時刻t11において、記録装置10がイベントの発生を検出したものとする。そのため、記録装置10はこの後、時刻t11を基準としてイベント記録データを生成する処理を行う。
【0043】
次に、
図4を参照しながら、イベントの発生を検出した後の撮影データとイベント記録データについて説明する。
図4は、記録装置が記憶する撮影データと時間との関係を示す第2の図である。
図4は時刻t11より後の時刻t21におけるデータの構成を示している。時刻t21においてバッファメモリ121に記憶されているのは時刻t21から期間Pnを遡った時刻t20から時刻t21までの撮影データC21である。
【0044】
撮影データC21の下に示されている矩形は、イベント記録データE11である。イベント記録データE11は、時刻t11に検出されたイベントに応じて撮影データから抽出されたものである。本実施の形態において記録装置10は、イベントを検出した時刻t11を基準として、時刻t11から期間P1を遡った時刻tsをイベント記録データの開始時刻と設定する。また本実施の形態において、記録装置10は、イベントを検出した時刻t11を基準として期間P2を経過した時刻teをイベント記録データの終了時刻として設定する。期間P1および期間P2は、例えば10秒、15秒あるいは20秒などの期間である。すなわち、記録装置10は、時刻tsから時刻teまでの期間の撮影データをイベント記録データE11として保存する。
【0045】
上述のようにイベント記録データを生成することにより、記録装置10は、発生したイベントの前後の期間について、撮影データを保存できる。したがって、ユーザは、イベントが発生した後に記録装置10が保存したイベント記録データを再生することにより、イベント発生前後における車両の周囲の状況を視認できる。
【0046】
なお、記録装置10は、イベント記録データに加えて、通常ファイルを記録部160に記録してもよい。その場合、記録装置10は、バッファメモリ121に記憶されている撮影データから所定の期間の撮影データを抽出し、抽出した撮影データを通常ファイルとして記録部160に記録する。記録装置10は、通常ファイルを記録する処理と、イベント記録データを保存する処理とを並列して行ってもよい。
【0047】
次に、
図5を参照しながら記録装置10が行う処理について説明する。
図5は、実施の形態1にかかる記録装置の処理を示すフローチャートである。
図5は、制御部100が行う処理を示している。
図5に示すフローチャートは、車両の動作の開始などに応じて記録装置10に電源が供給されるなどの任意の条件により開始される。
【0048】
まず、制御部100が有する撮影データ取得部120は、撮影データの取得を開始する。それとともに、制御部100が有するイベント検出部127は、加速度値Gxの取得を開始する(ステップS10)。撮影データはカメラ150から定期的(例えば30フレーム毎秒)に供給される。加速度値Gxも同様に定期的に加速度センサ142から取得される。なお、撮影データ取得部120が撮影データを取得するタイミングと、イベント検出部127が加速度値Gxを取得するタイミングは異なっていてもよいし同じでもよい。撮影データ取得部120はカメラ150から供給される撮影データをバッファメモリ121に供給する。バッファメモリ121は予め設定された期間(例えば60秒)の撮影データを記憶し、予め設定された期間の撮影データが記憶された後は、古い撮影データを削除しながら新しい撮影データを順次記憶する。
【0049】
次にイベント検出部127は、加速度センサ142から受け取った加速度値Gxが第2閾値以上か否かを判断する(ステップS11)。加速度値Gxが第2閾値以上と判断しない場合(ステップS11:No)、車両900にはイベントが発生していないことになる。この場合、イベント検出部127は、ステップS11を繰り返す。
【0050】
一方、加速度値Gxが第2閾値以上と判断した場合(ステップS11:Yes)、イベント検出部127は、加速度値Gxが第1閾値より小さいか否かを判断する(ステップS12)。加速度値Gxが第1閾値以上の場合、イベント検出部127は、(ステップS12:No)。この場合、イベント検出部127は、イベントの発生を検出する(ステップS18)。そして、記録制御部123は、ステップS15に進みイベント記録データを記録する(ステップS15)。
【0051】
ステップS12に戻る。加速度値Gxが第1閾値より小さい場合、イベント検出部127は、加速度値Gxが第1閾値より小さいと判断する(ステップS12:Yes)。この場合、撮影データ解析部129は、イベント検出部127が加速度値を取得した時刻の前後の予め設定された期間の撮影データの解析を行う(ステップS13)。撮影データ解析部129が行う解析の詳細については後述する。
【0052】
次に、撮影データ解析部129は、解析の結果から、解析した期間の撮影データにイベントが発生した可能性があるか否かを判断する(ステップS14)。解析した期間の撮影データにイベントが発生した可能性があると判断しない場合(ステップS14:No)、制御部100はイベント記録データの記録をせず、ステップS17に進む。
【0053】
一方、解析した期間の撮影データにイベントが発生した可能性があると判断した場合(ステップS14:Yes)、撮影データ解析部129は、解析の結果として、イベントが発生した可能性があることを示す信号をイベント検出部127に通知する。イベント検出部127は、これによりイベントの発生を示す信号を撮影データ処理部122に供給する。そして、撮影データ処理部122がイベント記録データの生成を行い、続いて記録制御部123がイベント記録データを記録部160に記録する(ステップS15)。
【0054】
次に、制御部100は、イベント記録データを記録したことを搭乗者に通知する(ステップS16)。具体的には、音声制御部130は、イベント記録データの記録をしたことを搭乗者に通知する音声データとして、例えば「さきほど衝撃を受けたためイベント記録データを保存しました」などの音声をスピーカ144から発信させる。このように、音声により搭乗者に通知をすることにより、車両を運転中の搭乗者に対しても安全性を損なうことなく通知を行うことができる。なお音声制御部130は撮影データ解析部129でイベントが発生した原因である対象物を解析し、対象物を音声データとしてスピーカ144から発信させてもよい。この場合例えば、音声制御部130は、「さきほど動物と接触した可能性があるためイベント記録データを保存しました」や、「さきほど路上の落下物と接触した可能性があるためイベント記録データを保存しました」などの音声をスピーカ144から発信させる。
【0055】
ユーザに通知を行った後、制御部100はステップS17に進む。ステップS17において、制御部100は、
図5に示した処理を終了するか否かを判断する(ステップS17)。処理を終了すると判断しない場合(ステップS17:No)、制御部100はステップS11に戻り再び加速度値と第2閾値との比較を行う。一方、処理を終了すると判断した場合(ステップS17:Yes)、制御部100は処理を終了する。
【0056】
以上の処理により、記録装置10は、イベント記録データを記録する処理を行う。このような処理により、記録装置10は、適正に移動中のイベント記録を行うことができる。
【0057】
次に、
図6を参照して、撮影データ解析部129が行う解析の例について説明する。
図6は、実施の形態1にかかる記録装置が記録した撮影データの例を示す図である。
図6に示した画像A10は、記録装置10が撮影した撮影データのうち、
図5で説明したステップS13の処理にかかる画像を示したものである。すなわち、画像A10は、加速度値Gxが第2閾値以上、かつ、第1閾値未満であった場合の、当該加速度値Gxを取得した時刻の数秒前の画像である。
【0058】
画像A10は、車両900が交差点に進入しようとしていることを示している。車両900の左前方には自転車B10が車両900の近くを走行している。また前方には横断歩道を渡ろうとしている人間B20および人間B30が存在している。画像A10の下部には、領域Z10が示されている。領域Z10は、車両900の至近距離を示している。なお領域Z10は、記録装置10に予め設定されていてもよいし、ユーザが操作部140を介して設定してもよい。他の物体が領域Z10に含まれる場合、当該他の物体は車両900に接触してしまう可能性が高い。画像A10は、自転車B10の一部が領域Z10に含まれる。したがって画像A10は、自転車B10が車両900に接触する可能性が高いことを示している。
【0059】
上述の状況において、撮影データ解析部129は、画像A10に含まれる自転車B10、人間B20および人間B30を認識する。具体的には、撮影データ解析部129は、例えばHOG(Histograms of Oriented Gradients)を利用することにより、画像データ中の特徴量を抽出して、物体を認識する。なお、画像データから物体を認識する手法については既に当業者に広く知られている。そのためここでの詳述は省略する。撮影データ解析部129は、例えば、人間、自転車、バイク、自動車および動物などを認識するように設定されている。
【0060】
撮影データ解析部129は、このように、取得した加速度値Gxが第2閾値以上、かつ、第1閾値未満であった場合の画像において、領域Z10に所定の物体が含まれる場合、イベントが発生した可能性があると判断する。このような構成により、撮影データ解析部129は、加速度センサが受けた衝撃とカメラ150が撮影した撮影データとを関連づけて解析することにより、イベントが発生した可能性があるか否かを判断することができる。
【0061】
以上、実施の形態1について説明したが、実施の形態1にかかる記録装置10の構成は上述の内容に限られない。例えば、音声制御部130が出力する音声信号は、接触した可能性がある物体の種類を通知してもよい。これにより記録装置10は、より正確にイベントの内容を通知することができる。音声制御部130は、音声信号に代えて、所定のビープ音を出力するものであってもよい。これにより記録装置10は簡単な構成によりイベント記録データの記録について搭乗者に通知することができる。また、イベント記録データの記録についての通知は、音声に代えて、光や表示部141に表示するメッセージ等であってもよい。
【0062】
カメラ150は、赤外線カメラやLIDAR(Laser Imaging Detection and Ranging)などの測距センサであってもよいし、これらの組合せであってもよい。カメラ150は、車両900の前方を撮影するカメラに加えて、車両900の側方や後方を撮影するカメラを有していてもよい。カメラ150は車両900の周囲を撮影する360度カメラであってもよい。
【0063】
以上の構成により、記録装置10は、
図6に示したように、軽い接触事故等が発生した場合にも、イベント記録データを記録することができる。また、記録装置10は、例えば物体を轢いたことに搭乗者が気付かない程度の衝撃だった場合に、撮影データ解析部129はイベントが発生したことを判断する。よって、記録装置10は、搭乗者の過失による轢き逃げ事故の発生を防ぐことができる。
【0064】
<実施の形態2>
次に、実施の形態2について説明する。実施の形態2は、イベント記録データの記録について搭乗者に問合せを行う点において、実施の形態1と異なる。
【0065】
図7を参照して実施の形態2にかかる記録装置について説明する。
図7は、実施の形態2にかかる記録装置のブロック図である。図に示す記録装置20は、制御部100に代えて制御部200を有している。制御部200は、制御部100が有する構成に加えて、音声認識部131をさらに有する。また記録装置20は、制御部200に接続する構成として、マイク145を有する。
【0066】
音声認識部131は、マイク145に入力された音声を取得し、取得した音声に含まれる人間の言葉を認識する音声認識装置である。音声認識部131は、取得した音声に含まれる人間の言葉から、単語(ワード)を検出し、検出したワードに関する情報に応じた処理を行う。マイク145は、ユーザの発話や車両900の室内外の音声を取得して電気信号に変換し、変換した電気信号を音声認識部131に供給するマイクロホンである。
【0067】
記録装置20は、音声制御部130が搭乗者に対して所定の音声により問合せを行うことができる。また、記録装置20は、音声制御部130が行った問合せに対する搭乗者からの応答を取得することができる。このような構成により、記録装置20は、音声により搭乗者と情報の受け渡しを行う。これにより記録装置20は、例えば運転中の搭乗者と安全性を損なうことなく容易に情報の受け渡しをすることができる。
【0068】
次に
図8を参照して実施の形態2にかかる記録装置が行う処理の例について説明する。
図8は、記録装置20の処理を示すフローチャートである。
図8に示すフローチャートは、
図5で説明したフローチャートのステップS13およびステップS14に代えて、ステップS20~ステップS22を有している。以下に、
図5で説明したフローチャートと同様の内容を適宜省略し、
図5のフローチャートと異なる点について説明する。
【0069】
ステップS12で、加速度値Gxが第1閾値より小さい場合、イベント検出部127は、加速度値Gxが第1閾値より小さいと判断する(ステップS12:Yes)。この場合、撮影データ解析部129は、イベント検出部127が加速度値を取得した時刻の前後の予め設定された期間の撮影データの解析を行う。そして、撮影データ解析部129は、解析の結果に、所定の物体が含まれていたか、認識した所定の物体は車両900と接触した可能性があるか、などの情報を生成し、これらの情報を音声制御部130に送信する(ステップS20)。
【0070】
次に、音声制御部130は、撮影データ解析部129から受け取った情報を利用して、問合せのメッセージを生成し、生成したメッセージをスピーカ144に供給して、問合せを行う(ステップS21)。問合せのメッセージは、例えば、認識した物体の種類等が含まれるとよい。より具体的には、問合せのメッセージは「さきほど車両の左側に自転車が接触した可能性があります。イベント記録データの保存を行いますか?」などである。
【0071】
次に、制御部200は、搭乗者からイベント記録データの記録をすることを指示されたか否かを判断する(ステップS22)。より具体的には、上述の問合せ後に、音声認識部131が「おねがい」「オーケー」「保存して」などのワードを認識したか否かを判断する。
【0072】
上記ワードを認識することにより記録の指示を受けたと判断した場合(ステップS22:Yes)、音声認識部131は、イベント検出部127に、イベントの発生を示す信号を供給する。そして、イベント検出部127は、これによりイベントの発生を示す信号を撮影データ処理部122に供給する。そして、撮影データ処理部122がイベント記録データの生成を行い、続いて記録制御部123がイベント記録データを記録部160に記録する(ステップS15)。
【0073】
一方、上記ワードを認識しない場合や、「しない」など記録の指示を否定する意味のワードを認識した場合、音声認識部131はイベント記録データの記録の指示を受けたと判断しない(ステップS22:No)。この場合、制御部200は、ステップS17に進む。
【0074】
以上の処理により、実施の形態2にかかる記録装置20は、搭乗者の意思に応じてイベント記録データの記録を行うことができる。なお、実施の形態2の処理と、実施の形態1の処理を組み合わせてもよい。つまり、撮影データの解析の結果、イベント記録データの記録をすべきと判断する場合は、記録装置20は、搭乗者に問合せを行わず、このイベント記録データの記録を行ってもよい。そして、撮影データの解析の結果、イベント記録データの記録をすべきと判断しない場合には、上述の問合せを行ってもよい。
【0075】
以上、実施の形態2について説明した。実施の形態2にかかる記録装置20において、制御部200は、機械学習により生成された学習済みモデルを有しており、学習済みモデルにより音声認識処理を行ってもよい。
【0076】
実施の形態2にかかる記録装置20は、上述の構成により、搭乗者に問合せを行うことにより、柔軟かつ適正に移動中のイベント記録を行うことができる記録装置等を提供することができる。
【0077】
なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、および電磁波を含む。一時的なコンピュータ可読媒体は、電線および光ファイバ等の有線通信路、または無線通信路を介して、プログラムをコンピュータに供給できる。
【0078】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。記録装置は、通信機能を利用してネットワークに接続し、ネットワークを介して所定の解析を行うコンピュータにアクセスしてもよい。これにより、記録装置は、上述した撮影データの解析、音声データの選択、応答音声の認識等を、ネットワークを介してコンピュータに処理させ、処理させた結果を取得してもよい。
【符号の説明】
【0079】
10、20 記録装置
100、200 制御部
110 バスライン
120 撮影データ取得部
121 バッファメモリ
122 撮影データ処理部
123 記録制御部
124 再生制御部
125 操作制御部
126 表示制御部
127 イベント検出部
128 位置情報取得部
129 撮影データ解析部
130 音声制御部
131 音声認識部
140 操作部
141 表示部
142 加速度センサ
143 GPS受信部
144 スピーカ
145 マイク
150 カメラ
160 記録部
900 車両