特開 2020-205108 情報記録装置、情報記録方法及び情報記録用プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2020-205108(P2020-205108A)

(43)【公開日】2020年12月24日

(54)【発明の名称】情報記録装置、情報記録方法及び情報記録用プログラム

(51)【国際特許分類】

   G07C 5/00 20060101AFI20201127BHJP

   G08G 1/00 20060101ALI20201127BHJP

【ＦＩ】

   G07C5/00 Z

   G08G1/00 D

【審査請求】有

【請求項の数】1

【出願形態】ＯＬ

【全頁数】12

(21)【出願番号】特願2020-154694(P2020-154694)

(22)【出願日】2020年9月15日

(62)【分割の表示】特願2018-568100(P2018-568100)の分割

【原出願日】2018年2月1日

(31)【優先権主張番号】特願2017-25265(P2017-25265)

(32)【優先日】2017年2月14日

(33)【優先権主張国】JP

(71)【出願人】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】110000958

【氏名又は名称】特許業務法人 インテクト国際特許事務所

(74)【代理人】

【識別番号】100120189

【弁理士】

【氏名又は名称】奥 和幸

(72)【発明者】

【氏名】小林 好祥

【テーマコード（参考）】

3E138

5H181

【Ｆターム（参考）】

3E138AA07

3E138BA09

3E138BB04

3E138MB03

3E138MB08

3E138MB09

3E138MB10

3E138MB12

3E138MB13

3E138MB20

3E138MF05

5H181AA01

5H181BB12

5H181CC04

5H181CC11

5H181CC12

5H181DD08

5H181FF05

5H181FF10

5H181FF22

5H181FF27

5H181FF32

(57)【要約】

【課題】周囲の状況等を事後的に確認する場合等において、車両の装備品の動作状態と共に当該状況等の確認等ができるように画像等を記録することが可能な情報記録装置を提供する。
【解決手段】車両の周囲を撮像した周囲画像を取得すると共に、車両の装備品の動作状態を示す状態情報を取得するインターフェース１と、周囲画像及び状態情報に基づいて、周囲画像の撮像時刻における動作状態を示すクラクション表示等を周囲画像と共に表示するための表示画像データを生成し、これをメモリＳＤに記録する画像処理部３を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

移動体の周囲を当該移動体から撮像した周囲画像に相当する周囲画像情報を取得する画像情報取得手段と、
前記移動体の装備品の動作状態を示す状態情報を取得する状態情報取得手段と、
前記周囲画像情報及び前記状態情報に基づいて、前記周囲画像の撮像時刻における前記動作状態を示す動作状態画像を前記周囲画像と共に表示するための表示用情報を取得する表示用情報取得手段と、
前記周囲画像情報及び前記表示用情報に対応する表示画像情報を記録媒体に記録する記録手段と、
を備えることを特徴とする情報記録装置。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、情報記録装置、情報記録方法及び情報記録用プログラムの技術分野に属する。より詳細には、車両等の移動体の周囲を当該移動体から撮像した周囲画像に対応する表示画像情報を記録する情報記録装置及び情報記録方法並びに当該情報記録装置用のプログラムの技術分野に属する。

【背景技術】

【0002】

近年、例えば車両による移動中に事故、急加速又は急減速或いは急ハンドル等が発生した際の状況等を後から検証する等の目的に供させるべく、移動中の例えば車両の前方を撮像して記録するための、いわゆるドライブレコーダが一般化している。

【0003】

このとき、当該検証に用いられる画像を撮像するドライブレコーダに関する先行技術としては、例えば下記特許文献１に記載されている先行技術がある。この先行技術においては、事故が発生したか否かを判断する際の閾値を車両の加速度が越えた場合、事故発生前に撮像された所定時間分の映像に対して、当該撮像時刻と同じ時刻に取得された高度データ及び勾配データを重畳して画像メモリに記録する構成とされている。

【0004】

一方、上記のような検証の結果に基づいて、例えば事故について過失責任の分担を判定する場合には、撮像された画像に加えて、事故を起こした車の装備品（例えば、ヘッドライト、ワイパ又はウインカ等の電装品）の動作状態や相手車両の挙動までを検証する必要がある。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１３−２０６４１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

このとき、上記特許文献１に記載されている先行技術等により撮像された事故の画像（動画像）は、事故車又はその運転者の過失責任分担の判定には有益であるが、上述したように、事故車両の走行状態以外に、その車両の装備品の動作状況（例えば事故時においてヘッドライトを点灯していたか等）も、過失責任の分担に影響を与える。しかしながら上記特許文献１に記載されている先行技術では、事故を起こした車両の装備品の動作状況を記録することについては、何ら触れられていない。従って、当該装備品の動作状態と共に周囲の状況等を事後的に確認等することが可能なドライブレコーダが望まれている。

【0007】

そこで本願は、上記の要請に鑑みて為されたもので、その課題の一例は、車両等の周囲の状況等を事後的に確認する場合等において、その装備品の動作状態と共に当該状況等の確認等ができるように画像等を記録することが可能な情報記録装置及び情報記録方法並びに当該情報記録装置用のプログラムを提供することにある。

【課題を解決するための手段】

【0008】

上記の課題を解決するために、請求項１に記載の発明は、移動体の周囲を当該移動体から撮像した周囲画像に相当する周囲画像情報を取得する画像情報取得手段と、前記移動体の装備品の動作状態を示す状態情報を取得する状態情報取得手段と、前記周囲画像情報及び前記状態情報に基づいて、前記周囲画像の撮像時刻における前記動作状態を示す動作状態画像を前記周囲画像と共に表示するための表示用情報を取得する表示用情報取得手段と、前記周囲画像情報及び前記表示用情報に対応する表示画像情報を記録媒体に記録する記録手段と、を備える。

【0009】

上記の課題を解決するために、請求項１０に記載の発明は、画像情報取得手段と、状態情報取得手段と、表示用情報取得手段と、記録手段と、を備える情報記録装置において実行される情報記録方法であって、移動体の周囲を当該移動体から撮像した周囲画像に相当する周囲画像情報を前記画像情報取得手段により取得する画像情報取得工程と、前記移動体の装備品の動作状態を示す状態情報を前記状態情報取得手段により取得する状態情報取得工程と、前記周囲画像情報及び前記状態情報に基づいて、前記周囲画像の撮像時刻における前記動作状態を示す動作状態画像を前記周囲画像と共に表示するための表示用情報を前記表示用情報取得手段により取得する表示用情報取得工程と、前記周囲画像情報及び前記表示用情報に対応する表示画像情報を前記記録手段により記録媒体に記録する記録工程と、を含む。

【0010】

上記の課題を解決するために、請求項１１に記載の発明は、情報記録装置に含まれるコンピュータを、移動体の周囲を当該移動体から撮像した周囲画像に相当する周囲画像情報を取得する画像情報取得手段、前記移動体の装備品の動作状態を示す状態情報を取得する状態情報取得手段、前記周囲画像情報及び前記状態情報に基づいて、前記周囲画像の撮像時刻における前記動作状態を示す動作状態画像を前記周囲画像と共に表示するための表示用情報を取得する表示用情報取得手段、及び、前記周囲画像情報及び前記表示用情報に対応する表示画像情報を記録媒体に記録する記録手段、として機能させる。

【図面の簡単な説明】

【0011】

【図1】実施形態に係る情報記録装置の概要構成を示すブロック図である。

【図2】実施例に係るドライブレコーダの概要構成を示すブロック図である。

【図3】実施例に係るドライブレコーダにおける表示画像データの記録処理を示すフローチャートであり、（ａ）は当該記録処理の全体を示すフローチャートであり、（ｂ）は当該記録処理内の状況等検出処理の詳細を示すフローチャートであり、（ｃ）は当該記録処理内の表示画像データ生成処理の詳細を示すフローチャートである。

【図4】実施例に係るドライブレコーダによる記録処理により記録される画像を例示する図であり、（ａ）は第１例を示す図であり、（ｂ）は第２例を示す図である。

【発明を実施するための形態】

【0012】

次に、本願を実施するための形態について、図１を用いて説明する。なお図１は、実施形態に係る情報記録装置の概要構成を示すブロック図である。

【0013】

図１に示すように、実施形態に係る情報記録装置Ｓは、画像情報取得手段１と、状態情報取得手段２と、表示用情報取得手段３と、記録媒体ＳＤに接続される記録手段４と、を備えて構成されている。

【0014】

この構成において画像情報取得手段１は、移動体の周囲を当該移動体から撮像した周囲画像に相当する周囲画像情報を取得する。

【0015】

一方状態情報取得手段２は、上記移動体の装備品の動作状態を示す状態情報を取得する。

【0016】

そして表示用情報取得手段３は、画像情報取得手段１により取得された周囲画像情報及び状態情報取得手段２により取得された状態情報に基づいて、周囲画像の撮像時刻における装備品の動作状態を示す動作状態画像を周囲画像と共に表示するための表示用情報を取得する。

【0017】

これらにより記録手段４は、画像情報取得手段１により取得された周囲画像情報及び表示用情報取得手段３により取得された表示用情報に対応する表示画像情報を記録媒体ＳＤに記録する。

【0018】

以上説明したように、実施形態に係る情報記録装置Ｓの動作によれば、移動体から周囲を撮像した周囲画像に相当する周囲画像情報と、装備品の動作状態を示す状態情報と、に基づいて、周囲画像の撮像時刻における装備品の動作状態を示す動作状態画像を周囲画像と共に表示するための表示用情報を取得し、当該表示用情報及び周囲画像情報に対応する表示画像情報を記録媒体ＳＤに記録する。よって、移動体の周囲の状況等を事後的に確認する場合等において、装備品の動作状態と共に当該状況等を確認等することが可能な表示画像情報を記録することができる。

【実施例】

【0019】

次に、上述した実施形態に対応する具体的な実施例について、図２乃至図４を用いて説明する。なお以下に説明する実施例は、移動体の一例に相当する車両に搭載されたドライブレコーダにおける画像データ等の記録処理に対して実施形態を適用した場合の実施例である。

【0020】

また、図２は実施例に係るドライブレコーダの概要構成を示すブロック図であり、図３は当該ドライブレコーダにおける表示画像データの記録処理を示すフローチャートであり、図４は当該ドライブレコーダによる記録処理により記録される画像を例示する図である。このとき図２では、図１に示した実施形態に係る情報記録装置Ｓにおける各構成部材に対応する実施例の構成部材それぞれについて、当該情報記録装置Ｓにおける各構成部材と同一の部材番号を用いている。

【0021】

実施例に係るドライブレコーダは、当該ドライブレコーダが搭載されている車両の前方風景を撮影可能に、当該車両の室内に設置される。なお以下の説明において、実施例に係るドライブレコーダが用いられる車両を、単に「自車両」と称する。そして実施例に係るドライブレコーダＤＲは、図２に示すように、操作ボタンやタッチパネル等からなる操作部１１、種々の情報を出力するディスプレイ１８及び必要な操作案内音声等を放音するスピーカ１９を備えている。これらに加えて実施例に係るドライブレコーダＤＲは、ＣＰＵ、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等からなり且つドライブレコーダＤＲ全体を制御してその機能を発揮させる処理部９と、ＳＳＤ（Solid State Drive）等からなる画像データ記録部１０と、例えばＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）撮像素子等からなるカメラ１２と、ＳＳＤ等からなる地図データ記録部１３と、ＧＰＳ（Global Positioning Sensor）センサ１４と、加速度センサ１５と、マイク１６と、車両インターフェース１７と、例えば着脱式のＳＤ（Secure Digital）カード等であるメモリＳＤと、上記カメラ１２、地図データ記録部１３、ＧＰＳセンサ１４、加速度センサ１５、マイク１６及び車両インターフェース１７と処理部９とを接続するインターフェース１と、により構成されている。また処理部９は、画像処理部３と、記録部４と、により構成されている。これら画像処理部３及び記録部４は、処理部９を構成する上記ＣＰＵ等を含むハードウェアロジック回路により実現されてもよいし、後述する実施例に係る表示画像データの記録処理に相当するプログラムを当該ＣＰＵが読み出して実行することにより、ソフトウェア的に実現されるものであってもよい。

【0022】

このとき、インターフェース１が実施形態に係る画像情報取得手段１の一例及び状態情報取得手段２の一例にそれぞれ相当し、画像処理部３が実施形態に係る表示用情報取得手段３の一例に相当する。また、記録部４が実施形態に係る記録手段４の一例に相当し、メモリＳＤが実施形態に係る記録手段ＳＤの一例に相当する。そして図２に破線で示すように、インターフェース１、画像処理部３及び記録部４により、実施形態に係る情報記録装置Ｓの一例を構成している。また、インターフェース１が本願に係る「規則情報取得手段」の一例に相当し、画像処理部３が本願に係る「状態検出手段」の一例及び「判定手段」の一例にそれぞれ相当する。

【0023】

以上の構成において操作部１１は、ドライブレコーダＤＲの一部に操作ボタンやタッチパネル等により構成されており、使用者による操作を受け付けて当該操作に対応する操作信号を処理部９に出力する。またディスプレイ１８は、処理部９の制御の下、ドライブレコーダＤＲの機能として使用者に提示すべき情報を、例えば画像又はアイコン等を用いて表示する。更にスピーカ１９は、処理部９の制御の下、ドライブレコーダＤＲの機能発揮のために必要な上記操作案内音声等を放音する。

【0024】

次にカメラ１２は、自車両の移動方向前方を含む周囲をその撮像範囲としている。そしてカメラ１２は、当該撮像範囲内を撮像した周囲画像に相当する撮像データを生成し、インターフェース１を介して処理部９の画像処理部３に出力する。一方地図データ記録部１３は、地図データとして、一般的な道路データや交差点データに加えて、各道路又は交差点等における交通規則又は交通規制の内容を示す規則データを記録している。なお以下の説明において、上記交通規則又は上記交通規制を、単に「交通規則等」と称する。そして地図データ記録部１３は、画像処理部３からの要求に応じて、インターフェース１を介して当該規則データ等を当該画像処理部３に出力する。

【0025】

一方ＧＰＳセンサ１４は、図示しない航法衛星からの航法電波を受信した結果に基づいて、ドライブレコーダＤＲの現在位置を示す位置データを、インターフェース１を介して画像処理部３に出力する。ここで当該ドライブレコーダＤＲの現在位置は、換言すれば自車両の現在位置でもある。次に加速度センサ１５は、自車両に印加される加速度を、例えば自車両の進行方向、左右方向及び鉛直方向についてそれぞれ検出し、その検出結果としての加速度データを、インターフェース１を介して画像処理部３に出力する。

【0026】

他方マイク１６は、自車両の例えば車内の音又は音声を集音し、その集音結果としての音声データを、インターフェース１を介して画像処理部３に出力する。このとき、マイク１６が自車両の車外の音又は音声を集音できるものであってもよい。そして車両インターフェース１７は、例えばＣＡＮ（Controller Area Network）等の車内ネットワークを介して、自車両に備えられている装備品（特に電装品）の動作状態を示す状態データを取得し、インターフェース１を介して画像処理部３に出力する。このとき当該電装品には、例えば、自車両のクラクション、ウインカ、ワイパ、ブレーキ等が含まれる。なおウインカについては、右ウインカ及び左ウインカそれぞれの動作状態を示す状態データが、別個に取得される。次に画像データ記録部１０には、上記交通規則等に対応する交通標識を表示するための標識画像データや、上記装備品それぞれの動作状態を示す状態画像データ等が予め記録されている。そして画像データ記録部１０は、画像処理部３からの要求に応じて、当該標識画像データ及び当該状態画像データを出力する。

【0027】

これらにより画像処理部３及び記録部４は、インターフェース１を介してそれぞれ取得された上記撮像データ及び上記状態データ等と、画像データ記録部１０に記録されている標識画像データ及び状態画像データと、を用い、操作部１１における操作の内容に基づいて、実施例に係る表示画像データの記録処理を行う。このとき記録部４は、画像処理部３から出力された表示画像データをメモリＳＤに記録する。この場合に記録部４は、当該表示画像データを汎用のフォーマットによりメモリＳＤに記録する。なお上記汎用のフォーマットとは、例えば、ＭＰ４（Moving Picture 4）フォーマット、ＡＶＩ（Audio video Interleave）フォーマット又はＭＯＶフォーマット等である。また画像処理部３及び記録部４は、上記表示画像データのメモリＳＤへの記録と並行して、対応する表示画像データに同期させて上記音声データをメモリＳＤに記録する。そしてメモリＳＤに記録された表示画像データ及び音声データ等は、例えば事故等の事後検証等時に、外部の図示しない再生装置等により表示又は再生される。

【0028】

次に、上述した構成を備える実施例に係るドライブレコーダＤＲにおいて画像処理部３を中心として実行される、実施例に係る表示画像データの記録処理について、図２乃至図４を用いて説明する。

【0029】

実施例に係る表示画像データの記録処理は、例えば、ドライブレコーダＤＲの電源スイッチがオンとされたタイミングで開始される。そして図３（ａ）にその全体を示すように、実施例に係る表示画像データの記録処理において画像処理部３は、初めに、インターフェース１を介して上記撮像データ及び上記状態データ等をそれぞれ取得し、それらに基づいて、自車両前方の状況や自車両の現在位置等の状態等を検出する（ステップＳ１０）。そして画像処理部３は、ステップＳ１０で検出された状態等に基づいて、メモリＳＤに記録する表示画像データの生成処理等を行う（ステップＳ２０）。そして画像処理部３は、記録部４を用いて、ステップＳ２０で生成された表示画像データを、上記汎用のフォーマットによりメモリＳＤに記録する（ステップＳ３０）。この場合に記録部４は、上記撮像データと、上記状態データ及び上記標識画像データと、を、表示画像データとして別個のレイヤとして記録するように構成してもよいし、又は、上記状態データ及び上記標識画像データを上記撮像データに埋め込んだ表示画像データを記録するように構成してもよい。その後画像処理部３は、ドライブレコーダＤＲの上記電源スイッチがオフとされる等により実施例に係る表示画像データの記録処理を修了するか否かを判定する（ステップＳ４０）。ステップＳ４０の判定において当該記録処理を終了する場合（ステップＳ４０：ＹＥＳ）、画像処理部３は、そのまま当該処理を終了する。一方ステップＳ４０の判定において、当該記録処理を継続する場合（ステップＳ４０：ＮＯ）、画像処理部３は上記ステップＳ１に戻って、上述してきた各処理を繰り返す。なお画像処理部３は、上記ステップＳ１０乃至ステップＳ３０の処理を、予め設定された時間（例えば、１分乃至数分）ごとに、それ以前の表示画像データ等を消去しつつ、巡回的（サイクリック）に実行するように構成してもよい。

【0030】

次に、上記ステップＳ１０の状態等検出処理の詳細について、具体的に図３（ｂ）を用いて説明する。

【0031】

図３（ｂ）に示すように、ステップＳ１０の状態等検出処理として画像処理部３は、初めに、カメラ１２を用いたその撮像範囲内の撮像結果に対応する撮像データと、マイク１６を用いた集音結果に対応する音声データと、を、インターフェース１を介してそれぞれ取得する（ステップＳ１１）。次に画像処理部３は、ステップＳ１１で取得した撮像データに基づいて、自車両の前方に他の車両が存在しているか否かを、例えば既定の画像解析法により検出する。なお以下の説明において、撮像データに映っている上記他の車両を、単に「他車両」と称する。これに加えて画像処理部３は、上記他車両におけるヘッドライト（前照灯）の点灯状況及び当該他車両の速度を、上記撮像データに基づいて検出する（ステップＳ１２）。

【0032】

次に画像処理部３は、地図データ記録部１３からの上記規則データに基づいて、対応する道路データや交差点データが当該地図データ記録部１３に記録されている道路や交差点についての交通規則等を検出する（ステップＳ１３）。このとき画像処理部３は、ＧＰＳセンサ１４からの上記位置データを用いて、自車両の前方にある道路や交差点についての交通規則等を検出してもよいし、現在時刻に適用される交通規則等を検出するようにしてもよい。更に画像処理部３は、ステップＳ１２で検出した他車両の状態（例えばその速度等）と、ステップＳ１３で検出した交通規則等と、に基づいて、それが移動中の道路について他車両が交通規則違反をしているか否かを検出する（ステップＳ１４）。このステップＳ１４として例えば画像処理部３は、一時停止が指定されている交差点に進入する速度が時速ゼロキロメートルより大きい有意の値である場合や、自車両の前方で交差する道路を移動する他車両がその道路についての最高速度より速い速度で移動している場合に、当該他車両が交通規則違反をしていると検出する。

【0033】

次に画像処理部３は、上記位置データを用いて自車両の現在位置及び速度を検出すると共に、加速度センサ１５からの上記加速度データに基づいて、自車両における急加速、急減速、及び急ハンドルの状態を検出する（ステップＳ１５）。次に画像処理部３は、車両インターフェース１７を介して取得した上記状態データに基づいて、自車両の上記電装品の動作状態を、当該電装品ごとに検出する（ステップＳ１６）。その後画像処理部３は、図３（ａ）に示すステップＳ２０に移行する。

【0034】

次に、上記ステップＳ２０の表示画像データ生成処理の詳細について、具体的に図３（ｃ）を用いて説明する。

【0035】

図３（ｃ）に示すように、ステップＳ２０の表示画像データ生成処理として画像処理部３は、初めに、ステップＳ１１で取得した撮像データに対応する撮像範囲に映っている道路又は交差点についての交通標識を表示するための上記標識画像データと、ステップＳ１６で検出された動作状態を示す上記状態画像データと、を画像データ記録部１０から取得する（ステップＳ２１）。次に画像処理部３は、ステップＳ２１で取得した標識画像データについて、ステップＳ１１で取得した撮像データに映っている道路等の状態に基づいて、表示上のその形状を変形させる（ステップＳ２２）。より具体的に画像処理部３は、例えば自車両が移動中の道路（当該道路は、通常、カメラ１２の撮像範囲内を手前から奥側に向かって延びるように映っている）の最高速度を示す交通標識を、自車両から正面視した状態で表示するようにする。また例えば、自車両が移動する道路に対して前方の交差点で交差する道路（通常当該交差道路は、カメラ１２の撮像範囲内を左又は右から中央に向かって延びるように映っている）の最高速度を示す交通標識や一旦停止標識等は、その交差道路の位置及び自車両が移動する道路との関係に応じて、自車両から斜視した状態で表示するように変形する。

【0036】

次に画像処理部３は、ステップＳ２２で表示上の形状を変形させた各交通標識について、表示画像内の表示位置を調整した上で当該交通標識等に対応するシンボル画像を取得する（ステップＳ２３）。より具体的に画像処理部３は、例えば、撮像範囲内に他車両が映っている場合は、当該他車両の表示画像内の表示位置を外して表示するように当該交通標識等の表示位置を調整し、当該交通標識等に対応するシンボル画像を取得する。その後画像処理部３は、ステップＳ２３で表示位置が調整された交通標識等を含む表示画像データを、上記ステップＳ１４で検出された交通規則の状態等に基づいて生成し、当該生成された表示画像データを記録部４に出力する（ステップＳ２４）。その後画像処理部３は上記ステップＳ３０に移行する。

【0037】

次に、図３を用いて説明した実施例に係る表示画像データの記録処理の結果としてメモリＳＤに記録される画像について、図４を用いて説明する。

【0038】

先ず図４（ａ）に示すように、前方に十字交差点がある道路を自車両が移動している場合に対応する表示画像Ｇとしては、カメラ１２で撮像された前方の画像に重畳して、移動中の道路に対応する車線表示Ｌ及び車線表示Ｒが表示される。また、前方の交差点に右から近付いて来る他車両Ｃが映っている場合（図３（ｂ）ステップＳ１２参照）、当該他車両Ｃの存在及びその位置を示す車両表示２３が表示される。また、自車両が移動する道路及び上記交差点で交差する道路について、それぞれの最高速度を示す交通標識に相当する交通標識表示２０及び交通標識表示２１と、当該交差する道路についての交通規則等を示す交通標識表示２２（図４（ａ）に例示する場合は、一旦停止標識の表示）が、それぞれの道路の位置に対応する表示画像Ｇ内の位置に表示される。またこのとき、交差する道路に対応する交通標識表示２１及び交通標識表示２２については、自車両から斜視した態様で表示される（図３ステップＳ１３、ステップＳ２２及びステップＳ２３参照）。

【0039】

これらに加えて、自車両の速度を示す速度表示３０が表示される。このとき、当該速度が、自車両が移動する道路における最高速度以下である場合は（図３ステップＳ１３及びステップＳ１４参照）、速度表示３０の枠３０Ａ及び引出線３０Ｂが交通規則違反ではないことを示す色（例えば緑色）とされて表示される。なお、上記速度表示３０並びに枠３０Ａ及び引出線３０Ｂをそれぞれ表示するための各画像データは、画像データ記録部１０に予め記録されている。

【0040】

これに対し、他車両Ｃが撮像範囲内に存在する場合においては、当該他車両Ｃの速度を示す速度表示３１が表示される。このとき、当該速度が、他車両が移動する道路における最高速度（図４に例示する場合は時速３０キロメートル）より速い場合（即ち、当該他車両が速度超過である場合。図３ステップＳ１３及びステップＳ１４参照。）、速度表示３１の枠３１Ａ及び引出線３１Ｂが交通規則違反である旨を示す色（例えば赤色）とされて表示される。なお、上記速度表示３１並びに枠３１Ａ及び引出線３１Ｂをそれぞれ表示するための各画像データも、画像データ記録部１０に予め記録されている。

【0041】

次に、図４（ａ）に例示する状態から自車両が更に移動して、他車両Ｃが右から進入しようとする上記交差点に接近した場合であって、当該他車両Ｃが一旦停止せずに当該交差点に進入している場合における表示画像Ｇについて、図４（ｂ）を用いて説明する。即ち当該場合には図４（ｂ）に例示するように、図４（ａ）で示した車線表示Ｌ及び車線表示Ｒ並びに交通標識表示２０、交通標識表示２１及び交通標識表示２２が、引き続き、それぞれの道路の位置に対応する表示画像Ｇ内の位置に表示される（図３ステップＳ１３、ステップＳ２２及びステップＳ２３参照）。このとき、他車両Ｃが進入してくる道路についての交通標識表示２１（表示画像Ｇの右側に表示されている）及び交通標識表示２２については、他車両Ｃの画像に重ならないように、その表示位置が調整されて表示される（図３ステップＳ２３参照）。

【0042】

これらに加えて、他車両Ｃが一旦停止を怠って進入して来ていることが検出された場合（図３ステップＳ１２、ステップＳ１３及びステップＳ１４参照）、その旨を示す警告表示３２が、交通規則違反である旨を示す色（例えば赤色）の枠３２Ａ及び引出線３２Ｂと共に表示される。なお、上記警告表示３２並びに枠３２Ａ及び引出線３２Ｂをそれぞれ表示するための各画像データも、画像データ記録部１０に予め記録されている。更に図４（ｂ）に示す場合は、他車両Ｃの交差点への進入に伴って自車両のクラクションが鳴動されたことが検出されている場合（図３ステップＳ１６参照）、その旨を示すクラクション表示Ｋが、当該クラクションが鳴動されたタイミングの表示画像Ｇ内の例えば下辺の位置に表示される。

【0043】

なお、図４（ｂ）に例示する場合に限らず、自車両のウインカが動作していることが検出されている場合（図３ステップＳ１６参照）、その旨を示すウインカ表示ＷＬ及びウインカ表示ＷＲが、当該ウインカが動作したタイミングの表示画像Ｇ内の例えば下辺の位置に、左右別に表示される。また同様に、自車両のヘッドライトが点灯されていることが検出されている場合（図３ステップＳ１６参照）、その旨を示すヘッドライト表示ＬＴが、当該ヘッドライトが点灯されている間に、継続して表示画像Ｇ内の例えば下辺の位置に表示される。

【0044】

また、上記クラクション表示Ｋ、上記ウインカ表示ＷＬ及び上記ウインカ表示ＷＲ並びに上記ヘッドライト表示ＬＴについては、自車両の前方の状況の認識の妨げとならず、且つ他の交通標識表示２０等や警告表示３２と重ならない表示画面Ｇ内の位置に表示される（図３ステップＳ２３）。更に、上記クラクション表示Ｋ、上記ウインカ表示ＷＬ及び上記ウインカ表示ＷＲ並びに上記ヘッドライト表示ＬＴをそれぞれ表示するための各画像データも、画像データ記録部１０に予め記録されている。

【0045】

以上それぞれ説明したように、実施例に係る動作によれば、自車両からその前方を含む周囲を撮像した周囲画像と、自車両の装備品の動作状態と、に基づき、周囲画像の撮像時刻における装備品の動作状態を示すクラクション表示Ｋ等を周囲画像と共に表示するための表示画像データをメモリＳＤに記録するので、自車両の周囲の状況等を事後的に確認する場合等において、装備品の動作状態と共に当該状況等を確認等することが可能な表示画像データをメモリＳＤに記録することができる。

【0046】

また、対応する周囲画像内の位置にクラクション表示Ｋ等を埋め込んで表示画像データを生成する場合は、装備品の動作状態と周囲の状況等とを容易に対応付けて確認可能に表示するための表示画像データをメモリＳＤに記録することができる。

【0047】

更に、自車両の周囲又はその移動に関連する交通規則の内容を示す交通標識表示２０等を周囲画像内の対応する位置に表示するための表示画像データを記録するので、装備品の動作状態と、関連する交通規則の内容を含む周囲の状況等と、を容易に対応付けて確認可能に表示するための表示画像データをメモリＳＤに記録することができる。

【0048】

更にまた、自車両が移動する道路に関連する交通規則の内容を示す交通標識表示２０を表示する場合には当該交通標識表示２０を自車両から正面視した態様で表示し、交差する道路に関連する交通規則の内容を示す交通標識表示２１及び交通標識表示２２を表示する場合には当該交通標識表示２１及び交通標識表示２２を自車両から斜視した態様で表示する（図４参照）。よって、自車両が移動する道路に関連する交通規則と、交差する道路に関連する交通規則と、を区別して視認し易い状態で表示するための表示画像データをメモリＳＤに記録することができる。

【0049】

また、周囲画像に映った他車両Ｃの状態を示す車両表示２３及び警告表示３２等を対応する位置に表示するための表示画像データを記録するので（図４参照）、装備品の動作状態と、他車両Ｃの状態を含む周囲の状況等と、を容易に対応付けて確認可能に表示するための表示画像データをメモリＳＤに記録することができる。

【0050】

更に、他車両Ｃの状態が交通規則に違反する状態であるか否かを判定し（図３ステップＳ１４参照）、交通規則に違反すると判定された状態を示す速度表示３１（枠３１Ａ及び引出線３１Ｂ）並びに警告表示３２（枠３２Ａ及び引出線３２Ｂ）を、交通規則に違反しないと判定された状態を示す表示（例えば、枠３０Ａ及び引出線３０Ｂを含む速度表示３０）に対して識別可能にそれぞれ表示するので、装備品の動作状態と、他車両Ｃの状態が交通規則に違反するか否かを含む周囲の状況等と、を容易に対応付けて確認可能に表示するための表示画像データをメモリＳＤに記録することができる。

【0051】

更にまた、自車両の周囲を自車両から撮像した動画像を周囲画像として取得する場合は、自車両の周囲の状況等を事後的に確認する場合等において、装備品の動作状態と共に動画像として当該状況等を確認等することが可能な表示画像データをメモリＳＤに記録することができる。

【0052】

また、動作状態が検出される自車両の装備品が、クラクション、ライト、ウインカ又はワイパの少なくともいずれかであるその電装品であるので、自車両の周囲の状況等を事後的に確認する場合等において、クラクション等の電装品の動作状態と共に当該状況等を確認等することが可能となるように表示画像データをメモリＳＤに記録することができる。

【0053】

更に、メモリＳＤへの表示画像データの記録が汎用のフォーマットを用いて行われるので、表示画像データ自体の再生又は表示における汎用性を高めることができる。

【0054】

なお上述した実施例におけるクラクション表示Ｋ等に加えて、ワイパの動作状態を示すワイパ表示を表示画面Ｇ内に表示させてもよい。この場合は、雨天時に発生した事故等の事後検証に有益な表示画像データをメモリＳＤに記録することができる。更に上記撮像データに基づいて検出された（図３ステップＳ１２参照）、上記他車両におけるヘッドライトの点灯状況を示す表示を表示画面Ｇ内に表示させてもよい。この場合は、当該他車両のヘッドライトの点灯状態をも、上記事後検証に使用可能にメモリＳＤに記録することができる。

【0055】

また、表示画像データのメモリＳＤへの記録を開始するタイミングについては、例えば、周囲画像内に映っているいずれかの他車両の状態が交通規則に違反すると判定されたタイミングから（図３ステップ１４参照）、それまでに撮像されて一時的に画像処理部３内のＲＯＭ等に記録されていた表示画像Ｇに相当する表示画像データのメモリＳＤへの記録を開始するように構成してもよい。この場合には、事後的な確認等のために最小限必要な表示画像データを記録することで、メモリＳＤを節約しつつ、必要な表示画像データを記録することができる。更に、当該記録開始タイミングの他の例としては、加速度センサ１５からの上記加速度データにより、自車両の急減速、急加速、または急ハンドルが検出されたタイミングから、画像処理部３内の上記ＲＯＭ等に記録されていた表示画像Ｇに相当する表示画像データのメモリＳＤへの記録を開始するように構成してもよい。

【0056】

更にまた上述した実施例では、標識画像データ等が予め画像データ記録部１０に記録されており、これらを取得して表示画像データを生成する場合に対説明したが、これ以外に、必要の都度交通標識表示２０等を生成して周囲画像に重畳するように構成してもよい。

【0057】

また上述した実施例では、車両に搭載されたドライブレコーダＤＲに対して実施形態を適用した場合について説明したが、これ以外に、自動二輪車や自転車に搭載されたドライブレコーダに対して実施形態を適用することも可能である。

【0058】

更に、図３にそれぞれ示したフローチャートに相当するプログラムを、光ディスク又はハードディスク等の記録媒体に記録しておき、或いはインターネット等のネットワークを介して取得しておき、これを汎用のマイクロコンピュータ等に読み出して実行することにより、当該マイクロコンピュータ等を実施例に係る画像処理部３として機能させることも可能である。

【符号の説明】

【0059】

１ 画像情報取得手段（インターフェース）
２ 状態情報取得手段
３ 表示用情報取得手段（画像処理部）
４ 記録手段（記録部）
１２ カメラ
１３ 地図データ記録部
１４ ＧＰＳセンサ
１５ 加速度センサ
１６ マイク
１７ 車両インターフェース
２０、２１、２２ 交通標識表示
２３ 車両表示
３０、３１ 速度表示
３０Ａ、３１Ａ、３２Ａ 枠
３１Ｂ、３１Ｂ、３２Ｂ 引出線
３２ 警告表示
Ｓ 情報記録装置
Ｇ 表示画像
Ｌ、Ｒ 車線表示
Ｃ 他車両
Ｋ クラクション表示
ＤＲ ドライブレコーダ
ＳＤ 記録媒体（記録手段）
ＷＬ、ＷＲ ウインカ表示
ＬＴ ヘッドライト表示

【図1】

【図2】

【図3】

【図4】