特許 7417447 運転情報再生システム及び運転情報再生方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-10

(45)【発行日】2024-01-18

(54)【発明の名称】運転情報再生システム及び運転情報再生方法

(51)【国際特許分類】

   H04N 5/92 20060101AFI20240111BHJP

   H04N 5/77 20060101ALI20240111BHJP

   A47C 7/74 20060101ALI20240111BHJP

   B60N 2/56 20060101ALI20240111BHJP

   A47C 21/04 20060101ALI20240111BHJP

【ＦＩ】

H04N5/92 010

H04N5/77

A47C7/74 B

B60N2/56

A47C21/04 F

【請求項の数】 7

(21)【出願番号】P 2020051105

(22)【出願日】2020-03-23

(65)【公開番号】P2021150901

(43)【公開日】2021-09-27

【審査請求日】2022-09-29

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110001933

【氏名又は名称】弁理士法人 佐野特許事務所

(72)【発明者】

【氏名】平野 麻梨加

(72)【発明者】

【氏名】小野 紘平

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】特開２００７－１７２４８３（ＪＰ，Ａ）

【文献】特開２００９－０１５７８９（ＪＰ，Ａ）

【文献】特開２０２０－００５０１４（ＪＰ，Ａ）

【文献】特開２０１２－２５２７１３（ＪＰ，Ａ）

【文献】特開２０１３－１８２５７３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／９１－５／９５６

Ｈ０４Ｎ ５／７６－５／７７５

Ｈ０４Ｎ ５／８０－５／９０７

Ａ４７Ｃ ７／７４

Ｂ６０Ｎ ２／５６

Ａ４７Ｃ ２１／０４

(57)【特許請求の範囲】

【請求項1】

車両に搭載されるカメラによって撮影された画像を含む前記車両の運転状況に関する情報を記録媒体に記録する記録部と、
前記画像に写っている物体に関するテキスト情報を生成するテキスト情報生成部と、
前記記録媒体から削除する前記画像に対して生成された前記テキスト情報を前記記録媒体に保存する保存部と、
を備える、運転情報記録装置と、
前記運転情報記録装置によって保存された前記テキスト情報に基づく復元画像を生成する復元画像生成装置と、
前記復元画像を表示する表示装置と、
を備える、運転情報再生システム。

【請求項2】

前記テキスト情報には、前記物体の種類と、前記物体の前記画像内での位置と、が含まれる、請求項１に記載の運転情報再生システム。

【請求項3】

前記物体には、移動物体が含まれる、請求項１または請求項２に記載の運転情報再生システム。

【請求項4】

前記テキスト情報には、前記移動物体の移動方向と、前記移動物体の移動速度と、が含まれる、請求項３に記載の運転情報再生システム。

【請求項5】

前記テキスト情報生成部は、前記テキスト情報に含まれる前記移動物体に関する情報の少なくとも一部を複数フレームの前記画像から生成する、請求項３または請求項４に記載の運転情報再生システム。

【請求項6】

前記復元画像には、撮影時の天気が反映される、請求項１～５のいずれか一項に記載の運転情報再生システム。

【請求項7】

車両に搭載されるカメラによって撮影された画像を含む前記車両の運転状況に関する情報を記録媒体に記録する記録工程と、
前記画像に写っている物体に関するテキスト情報を生成するテキスト情報生成工程と、
前記記録媒体から削除する前記画像に対して生成された前記テキスト情報を前記記録媒体に保存する保存工程と、
前記記録媒体に保存された前記テキスト情報に基づく復元画像を生成する復元画像生成工程と、
前記復元画像を表示する表示工程と、
を備える、運転情報再生方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、運転情報を記録する技術及び記録された運転情報を再生する技術に関する。

【背景技術】

【0002】

従来、例えば、交通事故の原因究明や、運送事業者によるドライバの安全運転状況の監視等を目的として、ドライブレコーダが使用されている。また近年では、ドライブレコーダの駆動開始から駆動終了まで継続して所定周期で取得される画像を記録する常時記録方式のドライブレコーダが広く普及している。常時記録方式のドライブレコーダでは、急ブレーキ、急加速、又は、衝突等のイベントの発生とは無関係に画像が常時に記録媒体に記録される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－１５７８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

常時記録方式のドライブレコーダは、記録媒体の残存容量が所定容量を下回った場合には、上書き禁止画像データ以外の画像データを記録日時が古い順に削除し、新しい画像データを上書きする。このため、従来の常時記録方式のドライブレコーダでは削除された画像に何が写っていたかを確認する術がなかった。

【0005】

なお、特許文献１には、重要性の高い走行データほど大きくなる優先度を走行データの種類に応じて走行データに付与することで、特定の走行状態に係る情報を長期にわたって記憶保持するドライブレコーダが開示されている。しかしながら、特許文献１で開示されているドライブレコーダでも削除された画像に何が写っていたかを確認する術がなかった。

【0006】

本発明は、上記課題に鑑みて、削除された画像に何が写っていたかを確認することが可能な運転情報を記録することができる運転情報記録技術を提供することを第１の目的とする。また本発明は、上記課題に鑑みて、上記運転情報に基づき削除された画像を復元して再生することができる運転情報再生技術を提供することを第２の目的とする。

【課題を解決するための手段】

【0007】

本発明に係る運転情報記録装置は、車両に搭載されるカメラによって撮影された画像を含む前記車両の運転状況に関する情報を記録媒体に記録する記録部と、前記画像に写っている物体に関するテキスト情報を生成するテキスト情報生成部と、前記記録媒体から削除する前記画像に対して生成された前記テキスト情報を前記記録媒体に保存する保存部と、を備える構成（第１の構成）である。

【0008】

上記第１の構成の運転情報記録装置において、前記テキスト情報には、前記物体の種類と、前記物体の前記画像内での位置と、が含まれる構成（第２の構成）であってもよい。

【0009】

上記第１又は第２の構成の運転情報記録装置において、前記物体には、移動物体が含まれる構成（第３の構成）であってもよい。

【0010】

上記第３の構成の運転情報記録装置において、前記テキスト情報には、前記移動物体の移動方向と、前記移動物体の移動速度と、が含まれる構成（第４の構成）であってもよい。

【0011】

上記第３又は第４の構成の運転情報記録装置において、前記テキスト情報生成部は、前記テキスト情報に含まれる前記移動物体に関する情報の少なくとも一部を複数フレームの前記画像から生成する構成（第５の構成）であってもよい。

【0012】

本発明に係る運転情報再生システムは、上記第１～第５いずれかの構成の運転情報記録装置と、前記運転情報記録装置によって保存された前記テキスト情報に基づく復元画像を生成する復元画像生成装置と、前記復元画像を表示する表示装置と、を備える構成（第６の構成）である。

【0013】

上記第６の構成の運転情報再生システムにおいて、前記復元画像には、撮影時の天気が反映される構成（第７の構成）であってもよい。

【0014】

本発明に係る運転情報記録方法は、車両に搭載されるカメラによって撮影された画像を含む前記車両の運転状況に関する情報を記録媒体に記録する記録工程と、前記画像に写っている物体に関するテキスト情報を生成するテキスト情報生成工程と、前記記録媒体から削除する前記画像に対して生成された前記テキスト情報を前記記録媒体に保存する保存工程と、を備える構成（第８の構成）である。

【発明の効果】

【0015】

本発明に係る運転情報記録装置及び運転情報記録方法によると、削除された画像に何が写っていたかを確認する運転情報を記録することができる。また、本発明に係る運転情報再生システムによると、削除された画像を復元して再生することができる。

【図面の簡単な説明】

【0016】

【図1】ドライブレコーダの概要を説明するための図

【図2】ドライブレコーダの構成を示すブロック図

【図3】ドライブレコーダがメモリカードに情報を記録する処理の流れを示す図

【図4】ドライブレコーダにおけるファイル処理の流れを示す図

【図5】撮影画像を示す図

【図6】運転情報再生システムの概要を示す図

【図7】復元画像生成装置の構成を示すブロック図

【発明を実施するための形態】

【0017】

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。

【0018】

＜１．ドライブレコーダ＞
図１は、本発明の実施の形態に係るドライブレコーダ２の概要を説明するための図である。ドライブレコーダ２は、本発明の運転情報記録装置の一例である。ドライブレコーダ２は、車両１に搭載される。ドライブレコーダ２は、車両１の適所に配置される。本実施の形態において、車両１は自動車である。

【0019】

ドライブレコーダ２は、車両１に搭載されるカメラ３によって撮影される車両周辺の画像を取得する。本実施の形態では、ドライブレコーダ２は、カメラ３を備える。また、本実施の形態では、ドライブレコーダ２は、カメラ３によって撮影された画像を含む運転状況に関する情報を定期的に外部記憶媒体（図１において不図示）に記録する常時記録方式を採用する。

【0020】

本実施の形態では、ドライブレコーダ２は、車両１が備えるバッテリ（不図示）から供給される電力によって駆動する。また、本実施の形態では、ドライブレコーダ２は、ＩＧ（イグニッション）オンに応答して駆動を開始する。また、ドライブレコーダ２は、ＩＧオフに応答して駆動を停止する。なお、これは例示であり、ドライブレコーダは、例えばＡＣＣ（アクセサリ）のオンオフに連動して、駆動の開始と停止を切り替えてもよい。

【0021】

図２は、本発明の実施の形態に係るドライブレコーダ２の構成を示すブロック図である。ドライブレコーダ２は、カメラ３、画像処理部４、マイク５、操作部６、制御部７、カードスロット８、計時回路９、加速度センサ１０、及びＧＰＳ（Global Positioning System）受信部１１を備える。

【0022】

カメラ３は、レンズと撮像素子とを備え、電子的に画像データを取得する。カメラ３は、取得した画像データを画像処理部４に出力する。本実施の形態では、カメラ３は、その光軸が車両１の前方に向けられた状態でフロントガラスの上部付近に配置されている。カメラ３の数及び配置は、適宜変更されてよい。例えば、前方を撮影するフロントカメラと、後方を撮影するバックカメラとが備えられてよい。

【0023】

画像処理部４は、カメラ３から入力される画像データの信号に対して所定の画像処理を行い、所定の形式のデジタル画像データを生成する。本実施の形態では、画像処理部４はハードウェア回路である。所定の画像処理には、例えば、Ａ／Ｄ変換、輝度補正、コントラスト補正等が含まれる。所定の形式は、例えばＭＰＥＧ形式等である。画像処理部４で処理された画像データは、後述するＲＡＭ７ｂに記憶される。

【0024】

マイク５は、車両付近の音を集音して音声データを取得する。マイク５で取得された音声データは、後述するＲＡＭ７ｂに記憶される。マイク５は、例えば、ドライブレコーダ２の本体部や車両１の適所に配置される。

【0025】

操作部６は、運転者等からの指示を受け付ける。操作部６は、運転者等が操作しやすいように、ステアリングホイール（不図示）の近傍等、車両１の適所に配置される。

【0026】

制御部７は、マイクロコンピュータで構成され、ドライブレコーダ２の装置全体に対する制御を行う。詳細には、制御部７は、演算処理を行うことで各種の制御機能を実現するＣＰＵ（Central Processing Unit）７ａと、演算処理の作業領域となるＲＡＭ（Random Access Memory）７ｂと、各種のデータを記憶する不揮発性メモリ７ｃと、を備える。不揮発性メモリ７ｃは、例えばハードディスクやフラッシュメモリで構成される。不揮発性メモリ７ｃは、ファームウェアとしてのプログラムや設定パラメータ等を記憶する。

【0027】

ＲＡＭ７ｂの記憶領域のうちの一部は、ＦＩＦＯ（First In First Out）バッファとして利用される。ＦＩＦＯバッファとしては具体的にはリングバッファを用いる。このＦＩＦＯバッファに対して、画像処理部４で処理された画像データ、及び、マイク５で取得された音声データが一時的に記憶される。

【0028】

制御部７は、ドライブレコーダ２の各部を制御する機能として、カメラ３によって撮影された画像を含む車両１の運転状況に関する情報を、メモリカードＭＣ１に記録する記録部７ｄ、（メモリカードＭＣ１から削除する）カメラ３によって撮影された画像に写っている物体に関するテキスト情報を生成するテキスト情報生成部７ｅ、及びメモリカードＭＣ１から削除する画像に対して生成されたテキスト情報をメモリカードＭＣ１に保存する保存部７ｆを備える。制御部７が備える上記の機能は、不揮発性メモリ７ｃに予め記憶されるプログラムに従ってＣＰＵ７ａが演算処理を実行することによって実現される。本実施の形態では、削除する画像に対して生成されたテキスト情報をメモリカードＭＣ１に保存することで、削除された画像に写っている物体に何が写っていたかを事後的に確認することが可能になる。また、上記のテキスト情報に基づいて画像を復元して再生することが可能になる。すなわち、ドライブレコーダ２は、削除された画像を復元して再生することが可能な運転情報を記録することができる。また、予め生成されたテキスト情報を用いて検索や解析を行うことができるので、事後的に画像の検索や解析を行うよりも容易に検索や解析を実行することができる。

【0029】

カードスロット８は、制御部７と外部記憶媒体との間のインターフェースを提供する。外部記憶媒体は具体的には着脱可能なメモリカードＭＣ１である。カードスロット８は、メモリカードＭＣ１を着脱可能に構成される。メモリカードＭＣ１は、外部記憶媒体の一例である。なお、外部記憶媒体は、メモリカードＭＣ１に限定されない。例えば、外部記憶媒体は、ハードディスクドライブ、光ディスク、光磁気ディスク、フレキシブルディスク等であってもよい。メモリカードＭＣ１以外の外部記憶媒体が用いられる場合には、カードスロット８に代わる構成要素がドライブレコーダ２に備えられる。例えば、カードスロット８の代わりに、光ディスク装置等がドライブレコーダ２に備えられる。

【0030】

カードスロット８にメモリカードＭＣ１が装着されることにより、メモリカードＭＣ１からのデータの読み取りや、メモリカードＭＣ１へのデータの書き込みが可能になる。本実施の形態では、ＲＡＭ７ｂのＦＩＦＯバッファに記憶された画像データ及び音声データ等は、ＣＰＵ７ａの指示によって定期的にカードスロット８に装着されたメモリカードＭＣ１に記録される。なお、ＣＰＵ７ａは、新たなメモリカードＭＣ１がカードスロット８にセットされると、不揮発性メモリ７ｃに記憶される車両番号をメモリカードＭＣ１に記録する。これは、以降に記録する情報が自ドライブレコーダによる記録情報である旨を示すためである。

【0031】

計時回路９は、現在時刻に対応した信号を発生してＣＰＵ７ａに出力する。計時回路９は、例えば、内蔵電池を有することで、外部から電力供給を受けなくても動作して正確な時刻を計時する。

【0032】

加速度センサ１０は、車両１に加わる加速度を検出する。具体的には、加速度センサ１０は、互いに直交する３軸あるいは２軸方向の加速度の成分を、瞬時値として検出し、車両１に加わる加速度の大きさと向きを取得する。なお、車両１に加わる加速度には重力加速度のほか、事故などの衝撃による加速度が加わる。そのため、加速度センサ１０の検出値は、車両１に加わる衝撃の大きさの指標として用いることができる。加速度センサ１０は、このような加速度に対応した信号をＣＰＵ７ａに出力する。

【0033】

ＧＰＳ受信部１１は、複数のＧＰＳ衛星からの信号を受信して、現在時刻における車両１の位置である自車位置を取得する。ＧＰＳ受信部１１は、地球上における経度緯度で表現された位置情報として自車位置を取得して、ＣＰＵ７ａに出力する。なお、ＧＰＳ受信部１１は、ＧＰＳ衛星からの信号に基づき、正確な時刻を検出できる。このために、ＧＰＳ受信部１１が、計時回路９の代わりに用いられてもよい。また、ＧＰＳ受信部１１は、計時回路９の時刻を修正するために利用されてよい。

【0034】

その他、ＣＰＵ７ａには、ＣＡＮバス等の車載ネットワークＮＷ１を介して、車両情報センサＳＥＮ１によって検出された車両情報が入力される。車両情報センサＳＥＮ１は、車両１の速度を検出する車速センサＳＥＮ２と、車両１のステアリングの舵角を検出する舵角センサＳＥＮ３と、を備える。

【0035】

次に、ドライブレコーダ２の動作の具体例について説明する。図３は、ドライブレコーダ２がメモリカードＭＣ１に情報を記録する処理の流れを示す図である。ドライブレコーダ２は、ＩＧオンに応答して駆動を開始する。

【0036】

ＣＰＵ７ａは、ＲＡＭ７ｂに一時的に記憶された画像情報及び音声情報を、メモリカードＭＣ１に形成された一の動画ファイルに記録する（ステップＳ１）。詳細には、ＣＰＵ７ａは、ＲＡＭ７ｂに一時的に記憶された画像情報に、当該画像がカメラ３によって撮影された時刻における車両情報、日時等の付加情報を付与して動画ファイルに記録する。つまり、ＣＰＵ７ａは、車両１の運転状況に関する情報をメモリカードＭＣ１に記録する。

【0037】

車両情報には、例えば、当該車両１の、車速、加速度、位置等が含まれる。

【0038】

ＣＰＵ７ａは、メモリカードＭＣ１内の動画ファイルへのデータの記録と並行して、画像に写っている物体に関するテキスト情報を生成し、その生成したテキスト情報をメモリカードＭＣ１のテキストファイルに保存する（ステップＳ２）。テキスト情報の詳細については後述する。なお、本実施の形態では、データの上書き処理によって削除される画像に写っている物体に関するテキスト情報のみならず、削除されない画像（上書き禁止対象の画像）に写っている物体に関するテキスト情報も生成される。

【0039】

ＣＰＵ７ａは、メモリカードＭＣ１内の動画ファイルへの画像データの記録及びテキストファイルへのテキスト情報の保存を終了すると、当該ファイルにデータを所定時間記録したか否かを判断する（ステップＳ３）。本実施の形態では、一のファイルに記録する時間は、一例として５分と決まっている。このように、各ファイルに記録する時間を短く設定することによって、多数のファイルに分けて運転情報を保存できる。多数のファイルに分けて情報を記録することにより、例えば事故等によってメモリカードＭＣ１が損傷した場合でも、メモリカードＭＣ１における全てのデータが使えないといった状況を避けられる可能性が向上する。

【0040】

ファイルに所定時間分のデータが記録されたと判断すると（ステップＳ３でＹｅｓ）、ＣＰＵ７ａは、ファイル処理を実行する（ステップＳ４）。ファイル処理は、次にデータを記録するファイルを生成する処理である。ファイル処理の詳細については後述する。

【0041】

ファイルに所定時間分のデータが記録されていないと判断した場合（ステップＳ３でＮｏ）、或いは、ステップＳ４でファイル処理を実行した後には、ＣＰＵ７ａは、ＩＧがオフとなったか否かを確認する（ステップＳ５）。ＣＰＵ７ａは、ＩＧがオフされていないと判断すると（ステップＳ５でＮｏ）、ステップＳ１に戻って、次のデータのファイルへの記録を行う。一方、ＩＧがオフされたと判断すると（ステップＳ５でＹｅｓ）、ＣＰＵ７ａは、運転情報の記録処理を終了する。

【0042】

図４は、ドライブレコーダ２におけるファイル処理の流れを示す図である。ファイル処理とは、次にデータを記録するファイルを生成する処理である。また、その際、メモリカードＭＣ１の記録容量が上限に近い場合は、特定のファイルを削除して新たに記録できるようにする処理である。

【0043】

ＣＰＵ７ａは、まずメモリカードＭＣ１の使用容量（＝メモリカードＭＣ１の容量－メモリカードＭＣ１の空き容量）が上限に近いか否かを判断する。具体的には、ファイル数が上限であるか否かを判断する（ステップＳ６）。本実施の形態では、例えば、メモリカードＭＣ１の容量は８ギガバイトとされる。画像データ及び音声データを格納する各動画ファイルの容量は例えば５０メガバイトとされる。メモリカードＭＣ１の容量のうち例えば２００メガバイトは、テキスト情報の保存領域として用いられる。このために、メモリカードＭＣ１に生成できる動画ファイルの数は１５０程度である。ＣＰＵ７ａは、メモリカードＭＣ１に生成された動画ファイルの数が１５０を超える場合、メモリカードＭＣ１の記録容量が上限に近いと判断する。

【0044】

ＣＰＵ７ａは、メモリカードＭＣ１に生成された動画ファイルの数が上限に達したと判断すると（ステップＳ６でＹｅｓ）、最も古くデータの記録が行われた動画ファイルを削除する。動画ファイルの削除は具体的にはファイルの上書き処理として実行される。つまり、最も古くデータの記録が行われた動画ファイルを選択し、当該動画ファイルのファイル名を変更することで、次にデータを記録する動画ファイルを生成する（ステップＳ７）。この後は、この動画ファイルに所定時間分のデータの記録が行われる。すなわち、記録済みの動画ファイルに新規のデータが上書きされる。最も古くデータの記録が行われた動画ファイルが上書きファイルとして選択されるために、より新しいデータの保存が可能になる。

【0045】

一方、ＣＰＵ７ａは、新たにテキスト情報を書き込むテキストファイルは新規に生成する。つまりＣＰＵ７ａは、削除する動画ファイルに対応するテキストファイルは削除せず、メモリカードＭＣ１に残す。このため、削除する画像に対して生成されたテキスト情報は保存される。

【0046】

ＣＰＵ７ａは、メモリカードＭＣ１に生成されたファイルの数が上限に達していないと判断すると（ステップＳ６でＮｏ）、データを記録するための新たな動画ファイルとテキストファイルを生成する（ステップＳ８）。これらの新たなファイルには、新しい名称が付与される。この後は、これらの新たなファイルに所定時間分のデータの記録が行われる。ＣＰＵ７ａは、ステップＳ７、又は、ステップＳ８の後、ファイル処理を終了する。ファイル処理の終了後、図３のステップＳ５が実行される。

【0047】

なお、ドライブレコーダ２は、急ブレーキ、急加速、又は、衝突等のイベントの発生を検出する機能を有することが好ましい。イベントの発生は、加速度センサ１０及び車両情報センサＳＥＮ１から得られる情報に基づいて、ＣＰＵ７ａが検出する。当該構成では、ＣＰＵ７ａがイベントの発生を検出した場合に、例えば、イベントの種類に関する種類情報、イベントの発生時刻に関する時刻情報、イベントの発生位置に関する位置情報等が画像情報と共にメモリカードＭＣ１に記録される。イベントに関する情報が含まれるファイルについては、データの上書き処理が禁止されることが好ましい。

【0048】

＜２．テキスト情報＞
次に、テキスト情報の詳細について説明する。ＣＰＵ７ａは、例えばTensorFlow、Neural Talk2等の公知の画像認識技術を用いて、画像からテキスト情報を生成する。ＣＰＵ７ａは、例えば図５に示す画像（撮影画像）から物体ＯＢ１、物体ＯＢ２に関するテキスト情報を生成する。

【0049】

テキスト情報には、物体の種類と、物体の画像内での位置と、が含まれることが好ましい。これらの情報は運転情報を事後確認するにあたり、重要度の高い情報のためである。例えば物体の種類が車両か落下物かによって、物体が障害物か否かの判断が変わり、運転情報の意味合いが全く異なってくる。同様に、例えば歩行者が前方の横断歩道と歩道とのいずれに対応する位置に写っていたかによって、車両との衝突危険性の判断が変わり、運転情報の意味合いが全く異なってくる。つまり、少なくとも物体の種類と画像内での位置を記録しないと運転情報の事後判断を誤る可能性が高い。

【0050】

ここで、ＣＰＵ７ａが生成する物体の種類に関する情報は、基本属性に対してサブ属性を追加した構造を有する。具体的に、図５を例に説明を行う。図５に示す画像に写っている物体ＯＢ１の種類は、基本属性は「自動車」とする。ここにサブ属性として使用用途を追加した場合は、「自家用乗用車」とする。さらに別のサブ属性として車種を追加した場合は、「セダン型の自家用乗用車」とする。

【0051】

また、図５に示す画像に写っている物体ＯＢ２の種類は、基本属性は「木」とする。ここにサブ属性として木の種類を追加した場合は、「銀杏の木」とする。

【0052】

このとき、サブ属性を増やす、つまり物体の種類を細分化するほど、削除された画像に何が写っていたかをより詳細に確認することができる反面、テキスト情報のデータ量が増加する。また、詳細な分類を行うために高度な画像認識手段が必要になるため、処理負荷が増加する。そのため、所定の基本属性に対してサブ属性をいくつ付与するかは、基本属性の重要度などに応じて予め設定しておく。

【0053】

具体的には、運転情報としては一般的に静止物体に関する情報よりも移動物体に関する情報の方が重要であるため、静止物よりも移動物体に分類された基本属性にはサブ属性を多く付与して詳細度を高くする。例えば、物体が自動車（一つの名詞）である場合、「トラック」、「バス」、「タクシー」、「セダン型の自家用乗用車」、「１ＢＯＸ型の自家用乗用車」等の複数種類に細分化し、物体が木（一つの名詞）である場合、サブ属性を付与せず基本属性の「木」という一種類のみにすればよい。

【0054】

このとき、ＣＰＵ７ａは、複数フレームの画像を認識して、例えば画像差分法により物体が移動物体であるか静止物体であるかの判別を行う。ＣＰＵ７ａは、複数フレームの画像を認識して、例えば車両１に対する物体の相対速度を求め、その物体の相対速度と車両情報に含まれる車両１の速度とに基づき、物体の絶対速度を求めて物体が移動物体であるか静止物体であるかの判別を行う。

【0055】

ＣＰＵ７ａは、画像中における物体の中心位置を物体の位置として算出する。具体的には、認識した物体の外形を囲うバウンディングボックスの中心を、物体の位置として算出する。図５に示す画像に写っている物体ＯＢ１の画像内での位置は、物体ＯＢ１の外形を囲うバウンディングボックスＢＢ１の中心の画像内での画素位置（ｘ１，ｙ１）とする。同様に、図５に示す画像に写っている物体ＯＢ２の画像内での位置は、物体ＯＢ２の外形を囲うバウンディングボックスＢＢ２の中心の画像内での画素位置（ｘ２，ｙ２）とすればよい。なお、画素位置のｘは画像内の画素を水平方向に左から順にカウントした値であり、画素位置のｙは画像内の画素を垂直方向に上から順にカウントした値である。

【0056】

物体の種類及び物体の画像内での位置が決まれば、画像内での物体の大きさを推定することができるので、画像内での物体の大きさはテキスト情報に含めなくてもよい。なお、例えば画像認識技術により画像内での物体の外縁を検出し、その検出結果から求めた画像内での物体の大きさをテキスト情報に含めてもよい。

【0057】

上述した通り、運転情報としては一般的に静止物体に関する情報よりも移動物体に関する情報の方が重要であるため、ＣＰＵ７ａは、移動物体に関するテキスト情報を生成する。

【0058】

このとき、ＣＰＵ７ａは、テキスト情報として移動物体に関するテキスト情報のみを生成してもよく、テキスト情報として移動物体に関するテキスト情報及び静止物体に関するテキスト情報を生成してもよい。

【0059】

ＣＰＵ７ａが移動物体に関するテキスト情報及び静止物体に関するテキスト情報を生成する場合、移動物体に関するテキスト情報の生成を静止物体に関するテキスト情報の生成より優先する。例えば、１つの物体に関するテキスト情報に文字数制限を設け、１つの移動物体に関するテキスト情報の文字数の上限を１つの静止物体に関するテキスト情報の文字数の上限より多くする。これにより、事後確認を行う際における移動物体の情報精度を、静止物体の情報より優先的に高く設定することができる。また例えば、所定数の複数フレームの画像によって構成される動画から生成されるテキスト情報に文字数制限を設け、移動物体に関するテキスト情報の文字数が文字数制限に達していなければ、残っている文字数の範囲で静止物体に関するテキスト情報を生成してもよい。これにより、事後確認時の情報精度において静止物体よりも移動物体の方を優先的に高く設定することができる。

【0060】

なお、ＣＰＵ７ａが静止物体に関するテキスト情報を生成する場合、車道上に存在する静止物体に関するテキスト情報の生成を車道外に存在する静止物体に関するテキスト情報の生成より優先する。また、ＣＰＵ７ａが車道外に存在する静止物体に関するテキスト情報を生成する場合、車道上に存在する非定置物（例えば信号待ちで立ち止まっている歩行者等）に関するテキスト情報の生成を車道外に存在する定置物（例えば木、建物等）に関するテキスト情報の生成より優先する。

【0061】

ＣＰＵ７ａが移動物体に関するテキスト情報を生成する場合、テキスト情報には、移動物体の移動方向と、移動物体の移動速度とを含める。これにより、復元画像における移動物体の復元精度を高めることができる。なお、テキスト情報に含まれる移動物体の移動方向は、車両１に対する移動物体の相対的な移動方向であってもよく、移動物体の絶対的な移動方向（方位）であってもよい。

【0062】

なお、テキスト情報に含まれる移動物体の移動方向が移動物体の絶対的な移動方向（方位）である場合は、車両情報に含まれる車両１の位置情報の推移から求まる車両１の絶対的な移動方向（方位）が取得できれば、移動物体の絶対的な移動方向（方位）と車両１の絶対的な移動方向（方位）とから車両１に対する移動物体の相対的な移動方向（画像内での移動物体の移動方向）を求めることができる。同様に、テキスト情報に含まれる移動物体の移動速度が移動物体の絶対的な移動速度である場合は、車両情報に含まれる車両１の速度が取得できれば、移動物体の絶対的な移動速度と車両１の速度とから車両１に対する移動物体の相対的な移動速度（画像内での移動物体の移動速度）を求めることができる。

【0063】

ＣＰＵ７ａが移動物体に関するテキスト情報を生成する場合、ＣＰＵ７ａは、移動物体に関するテキスト情報の少なくとも一部を複数フレームの画像から生成する。上述した移動物体の移動方向、移動物体の移動速度等は一フレームの静止画像のみから求めることができないからである。つまり、移動物体に関するテキスト情報の少なくとも一部を複数フレームの画像から生成することにより、適切な移動物体に関するテキスト情報を生成することができる。なお、移動物体の種類等は、一フレームの静止画像のみから求めることができるため、ＣＰＵ７ａは、移動物体に関するテキスト情報の一部を一フレームの静止画像から生成してもよい。

【0064】

＜３．運転情報再生システム＞
図６は、本発明の実施の形態に係る運転情報再生システムＳＹＳの概要を示す図である。図６に示すように、運転情報再生システムＳＹＳは、ドライブレコーダ２と、復元画像生成装置１２と、表示装置１３と、を備える。復元画像生成装置１２は、メモリカードＭＣ１に保存されているテキスト情報に基づく復元画像を生成する。復元画像生成装置１２は、メモリカードＭＣ１に記録されている動画ファイル及び復元画像を表示装置１３に送信する。表示装置１３は、復元画像生成装置１２から送られてくる動画ファイル及び復元画像を再生して表示する。

【0065】

本実施の形態の運転情報再生システムＳＹＳによれば、例えば運転者自身や運送事業者の管理者等がドライブレコーダ２によって記録された運転情報を表示装置によって確認することができる。さらに、本実施の形態の運転情報再生システムＳＹＳによれば、ドライブレコーダ２において削除された画像を、復元画像生成装置１２において復元して、表示装置１３において再生することができる。

【0066】

例えば、復元画像生成装置１２はサーバであり、表示装置１３はパーソナルコンピュータであってよい。なお、ドライブレコーダ２からサーバへのデータの受け渡しは、メモリカードＭＣ１等の外部記憶媒体を物理的に移動させて実施するのではなく、無線通信、有線通信、又は無線通信と有線通信との組合せにより実施してもよい。

【0067】

別の形態として、復元画像生成装置１２及び表示装置１３は、単一のパーソナルコンピュータに内蔵される装置であってもよい。更に別の形態として、復元画像生成装置１２及び表示装置１３は、車両１に搭載されるナビゲーション装置に内蔵される装置であってもよい。更に別の形態として、復元画像生成装置１２及び表示装置１３は、ドライブレコーダ２に内蔵される装置であってもよい。

【0068】

図７は、本発明の実施の形態に係る復元画像生成装置１２の構成を示すブロック図である。復元画像生成装置１２は、制御部１２ａと、記憶部１２ｂと、通信部１２ｃと、カードスロット１２ｄと、を備える。これらの各部１２ａ～１２ｄは、バス１２ｅを介して相互に接続されている。

【0069】

制御部１２ａは、ＣＰＵと、ＣＰＵの処理に利用される周辺回路（ＲＯＭ（Read Only Memory）、ＲＡＭ、インターフェース回路等）と、を有する。制御部１２ａは、記憶部１２ｂに格納されているプログラムを実行することによって、各種データの演算と各部の制御を実行する。なお、記憶部１２ｂは、例えば、ハードディスクやフラッシュメモリ等によって構成される。

【0070】

通信部１２ｃは、表示装置１３との間で各種データを通信する。

【0071】

カードスロット１２ｄは、メモリカードＭＣ１を着脱可能に構成される。カードスロット１２ｄにメモリカードＭＣ１が装着されることにより、復元画像生成装置１２において、メモリカードＭＣ１からのデータの読み取りや、メモリカードＭＣ１へのデータの書き込みが可能になる。

【0072】

制御部１２ａは、メモリカードＭＣ１に保存されているテキスト情報に基づく復元画像を生成する際に、記憶部１２ｂに予め記憶されている物体画像を用いる。記憶部１２ｂに予め記憶されている物体画像の種類は、特に限定されず、例えばコンピュータグラフィックス、撮影画像、イラスト画像、アニメーション画像であってよい。１つの復元画像に複数種類の物体画像が混在してもよい。

【0073】

例えば、物体が自動車であり、テキスト情報に物体の移動方向が含まれていれば、制御部１２ａは、自動車が前走車（車両１と同じ方向に走行する自動車）であるか対向車（車両１と反対方向に走行する自動車）であるかを判定することができるので、正しい向きの自動車の画像を復元画像に含めることができる。

【0074】

制御部１２ａは、復元画像に撮影時の天気を反映させる。例えば、ドライブレコーダ２が撮影画像の平均輝度をテキスト情報としてメモリカードＭＣ１に保存することで、撮影画像の平均輝度と撮影日時により、晴れ、曇り、雨のいずれであるかを推定することができるので、その推定結果を復元画像に反映させる。

【0075】

また、復元画像生成装置１２が、メモリカードＭＣ１に記録されている撮影日時及び撮影位置の情報と、過去の天気情報を格納しているデータベースとを用いて、撮影時点の天気を特定し、その特定した天気を復元画像に反映させてもよい。上記のデータベースは、復元画像生成装置１２に内蔵されてもよく、復元画像生成装置１２の外部にあってもよい。

【0076】

なお、車両１の向き等も考慮して、日差し等も推定或いは特定できる場合には、日差し等も復元画像に反映させてもよい。

【0077】

天気が復元画像に反映されると、復元画像における路面状態等を把握し易くなるので、復元画像の有用性を高めることができる。

【0078】

また、復元画像生成装置１２は、メモリカードＭＣ１に保存されているテキスト情報と地図情報等とを比較して、重複する物体に関する情報は上記テキスト情報から削除する。これにより、撮影時特有の情報のみがテキスト情報に残るので、テキスト情報のデータ量を減らすことができる。テキスト情報をビックデータとして活用する場合には特に有用である。

【0079】

＜４．留意点＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書中に示される複数の実施形態及び変形例は可能な範囲で組み合わせて実施されてよい。

【0080】

例えば、テキスト情報の保存領域がテキスト情報で一杯になった場合には、その旨を車両１の乗員に報知する報知部を車両１に設けてもよい。また、ドライブレコーダ２に通信機能がある場合には、テキストファイルの保存領域がテキストファイルで一杯になると強制的にテキスト情報を外部に送信するようにしてもよい。

【0081】

また、上述した実施形態とは異なり、例えば画像を削除する直前にテキスト情報が生成されるようにしてもよい。

【0082】

また、以上に示した実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されていると説明したが、これらの機能のうちの少なくとも一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの少なくとも一部は、ソフトウェア的に実現されてもよい。

【符号の説明】

【0083】

１ 車両
２ ドライブレコーダ（運転情報記録装置）
３ カメラ
７ａ ＣＰＵ
７ｄ 記録部
７ｅ テキスト情報生成部
７ｆ 保存部
１２ 復元画像生成装置
１３ 表示装置
ＭＣ１ メモリカード（外部記憶媒体）
ＯＢ１、ＯＢ２ 物体
ＳＹＳ 運転情報再生システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】