(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0008】
車両用のドライブレコーダは、実際に交通事故が発生した場合や危険な状況に遭遇して大きな加速度が検出された場合に、これを記録トリガとして、その時点の前後所定時間の範囲内で撮影した画像のデータを記録し保存するものが一般的である。また、画像を常時記録するタイプのドライブレコーダの場合には、大きな加速度が検出された時に、時系列画像データの該当する記録位置に、事故の発生等に相当する適当なマークやフラグを記録する。
【0009】
つまり、従来の車両用のドライブレコーダは、交通事故が起きた際に証拠となる画像データを残したり、交通事故の原因を解明するために役立つ画像データを残すための用途に利用されている。
【0010】
一方、例えばトラック、バス、タクシーなどの業務用車両を所有する運送会社等においては、各車両に乗務するそれぞれの乗務員が安全運転を行うように管理および指導しなければならない。従って、各業務用車両にデジタルタコグラフを搭載し、運行中の運転の状況を表す様々な情報を時系列データとして記録している場合が多い。記録された時系列データを管理用のコンピュータに取り込んで分析することにより、各乗務員が安全運転を行っているかどうかを把握することが可能になる。
【0011】
しかしながら、従来のデジタルタコグラフは、車両の位置情報、車速、ブレーキの状態、ウインカーの状態などを定期的に取得してこれらを含む時系列データを順次に所定の記録媒体上に記録するだけである。従って、デジタルタコグラフによって記録された膨大な容量の時系列データを管理者が分析して安全運転を行っているかどうかを判断するのは容易ではない。また、デジタルタコグラフの他にドライブレコーダを搭載していた場合には、大きな加速度が検出された時点の画像情報が得られるので、これを安全運転の管理に役立てることも可能である。
【0012】
但し、例えば道路上で信号機がなく一時停止が必要な交差点の箇所で、該当する乗務員が一時停止を含む運転を行ったかどうかを把握することはできない。例えば、特許文献1の技術を利用すれば、交差点に接近した時の運転状況を表す画像を記録することができる。しかし、大きな衝撃が検出されなかった時には画像が保存されない可能性がある。また、特定の標識や道路上の標示がある箇所で、全ての画像を保存している場合には、乗務員が安全管理上問題のない運転を行っている場合であっても全ての画像が記録されることになるので、記録される画像の情報量が膨大なる。従って、安全運転を行っているかどうかを判断するために大量の画像データを分析しなければならず、大きな労力が必要になる。
【0013】
本発明は、上述した事情に鑑みてなされたものであり、その目的は、道路上の交差点等
において乗務員が安全運転を行っているかどうかを把握するために役立つ情報を得ること
が可能な画像記録制御方法およ
び車載画像記録装置を提供することにある。
【課題を解決するための手段】
【0014】
前述した目的を達成するために、本発明に係る画像記録制御方法は、下
記を特徴としている。
車両の運行上の違反状況を記録するために、少なくとも車載カメラの撮影により得られる時系列の画像データを含む情報の記録開始トリガ
を制御する、もしくは前記情報に付加される所定の識別情報の切り替えを制御するための画像記録制御方法であって、
車載カメラにより自車両の進行方向前方もしくは後方の被写体を撮影して得られる時系列の画像データの内容に基づいて、道路の路面上に表示された標識の有無、種別及び
、前記標識が有る場合における前記標識に到達するまでの時間を求めるために用いられる、現在の車両位置から前記標識までの距離を認識し、
前記標識を認識した時に自車両の走行状態を監視し、前記標識の種別と自車両の走行状態とに基づいて、
前記車両の運行上の違反状況の重要度の高低を自動的に識別し、
識別された状況の重要度の高低を、前記時系列の画像データを含む情報の記録制御に反映
し、
前記車両の運行上の違反状況の重要度の高低を識別する際に、少なくとも車両の、認識された前記標識に基づく一時停止の有無を、前記標識までの距離を用いて求められた前記標識に到達するまでの時間内に、所定速度よりも遅い速度の状態が所定時間より長く継続したか、によって自動的に識別し、
一時停止無と識別された場合に、
前記時系列の画像データを含む情報の記録が前記記録開始トリガに基づく場合には、前記時系列の画像データを含む情報としての、バッファメモリに上書きされる、前記車両の運行上の違反状況が生じた時点の前後にわたる時系列の画像データを含む情報を、前記記録開始トリガに従ってデータ記録媒体に記録し、
前記時系列の画像データを含む情報の記録が前記記録開始トリガに関係なく行われる場合には、前記車載カメラから得られる時系列の画像データを常時、前記データ記録媒体に記録すると共に、切り替えられた前記所定の識別情報としての、前記データ記録媒体に記録された画像データの中から一時停止無の違反の箇所を容易に抽出できるようにする情報を記録する
、
こと。
【0015】
上
記の構成の画像記録制御方法によれば、例えば信号機のない交差点のように道路の路面上に「一時停止」の標識が表示されている(標示がある)場所で、乗務員が一時停止を怠ったような場合に、重要度の高い状況として自動的に認識し、画像データ等の記録を保存することができる。従って、道路上の交差点等において乗務員が安全運転を行っているかどうかを把握するために役立つ情報が得られる。
また、「一時停止」に関する違反の有無を把握するのに役立つ情報が得られる。
また、「一時停止」に関する違反の有無を識別すべきタイミングの特定が容易になる。
また、「一時停止」に関する違反の有無を自動的に識別できる。
【0018】
前述した目的を達成するために、本発明に係る車載画像記録装置は、下
記を特徴としている。
少なくとも車載カメラの撮影により得られる時系列の画像データを含む情報を記録する車載画像記録装置であって、
車載カメラにより自車両の進行方向前方もしくは後方の被写体を撮影して得られる時系列の画像データの内容に基づいて、道路の路面上に表示された標識の有無、種別及び
、前記標識が有る場合における前記標識に到達するまでの時間を求めるために用いられる、現在の車両位置から前記標識までの距離を認識する標識認識部と、
前記標識を認識した時に自車両の走行状態を監視し、前記標識の種別と自車両の走行状態とに基づいて、前記車両の運行上の違反状況の重要度の高低を自動的に識別する重要度識別部と、
前記重要度識別部により識別された重要度の高低に従って
、前記時系列の画像データを含む情報の記録開始トリガ
を制御する、もしくは前記情報に付加される所定の識別情報の切り替えを制御
することにより、識別された状況の重要度の高低を、前記時系列の画像データを含む情報の記録制御に反映する記録制御部と
を備え
、
前記記録制御部は、
前記車両の運行上の違反状況の重要度の高低を識別する際に、少なくとも車両の、認識された前記標識に基づく一時停止の有無を、前記標識までの距離を用いて求められた前記標識に到達するまでの時間内に、所定速度よりも遅い速度の状態が所定時間より長く継続したか、によって自動的に識別し、
一時停止無と識別された場合に、
前記時系列の画像データを含む情報の記録が前記記録開始トリガに基づく場合には、前記時系列の画像データを含む情報としての、バッファメモリに上書きされる、前記車両の運行上の違反状況が生じた時点の前後にわたる時系列の画像データを含む情報を、前記記録開始トリガに従ってデータ記録媒体に記録し、
前記時系列の画像データを含む情報の記録が前記記録開始トリガに関係なく行われる場合には、前記車載カメラから得られる時系列の画像データを常時、前記データ記録媒体に記録すると共に、切り替えられた前記所定の識別情報としての、前記データ記録媒体に記録された画像データの中から一時停止無の違反の箇所を容易に抽出できるようにする情報を前記データ記録媒体に記録する
、
こと。
また、上
記の車載画像記録装置であって、
前記重要度識別部は、少なくとも自車両の一時停止の有無を自動的に識別し、
前記記録制御部は、自車両の一時停止の有無に従って、前記画像データを含む情報の記録開始トリガ、もしくは前記情報に付加される所定の識別情報の切り替えを制御する
、
こと。
【0019】
上
記の構成の車載画像記録装置によれば、道路上の交差点等において乗務員が安全運転を行っているかどうかを把握するために役立つ情報が得られる。この車載画像記録装置の機能は、例えばドライブレコーダやデジタルタコグラフに組み込むことが想定できる。
上
記の構成の車載画像記録装置によれば、「一時停止」に関する違反の有無を把握するのに役立つ情報が得られる。
【発明の効果】
【0020】
本発明の画像記録制御方法および画像認識装置ならびに車載画像記録装置によれば、道路上の交差点等において乗務員が安全運転を行っているかどうかを把握するために役立つ情報を得ることが可能である。
【0021】
以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。
【発明を実施するための形態】
【0023】
本発明の画像記録制御方法および画像認識装置ならびに車載画像記録装置に関する具体的な実施形態について、各図を参照しながら以下に説明する。
【0024】
本実施形態の画像認識装置10および車載画像記録装置20の機能上の構成に関する概要が
図3に示されている。
図3に示すように、画像認識装置10は標識認識部12及び重要度識別部13を備えている。また、車載画像記録装置20は標識認識部12、重要度識別部13の他に更に記録制御部14を備えている。
【0025】
車載カメラ11は、自動車などの車両に搭載され、例えば車室内の運転席の近傍から前方のウインドシールドガラス越しに見える進行方向前方の所定範囲の風景、すなわち道路の路面、自車の車体の一部分、先行車両、対向車両などを被写体として撮影できるように車体に固定される。
【0026】
なお、車載カメラ11の撮影方向を車両の進行方向の後方に向けて、後方の窓ガラス越しに後方の路面等の風景を撮影しても良い。また、車載カメラ11は装置の動作中は常時撮影を行うことが可能であり、一定のフレーム周期(例えば30フレーム/秒)で撮影を繰り返し行い、撮影された画像を順次に出力することができる。
【0027】
標識認識部12は、車載カメラ11から出力される画像のデータを処理してパターン認識を含む処理を行い、標識などの認識を行う。本実施形態では、標識認識部12は道路の路面上に表示された様々な標識(標示と呼ばれる)の有無とその種類の識別を行う。
【0028】
具体的には、代表例として一時停止が必要な場所かどうかの識別を可能にするために、道路上の信号機のない交差点の近傍にある白線(停止線)の標示や、横断歩道の標示や、「止まれ」の標示の有無およびその種類を認識する。
【0029】
道路上の車両および路面に表示された標識を上方から見た状態の例が
図7に示されている。
図7に示す例では、道路51を走行する車両52の前方の路面に、停止線54および横断歩道55の標示が存在しており、停止線54および横断歩道55の標示を含む被写体が車載カメラ53で撮影される場合を想定している。従って、車載カメラ53の撮影により得られる画像に基づき停止線54や横断歩道55の標示を認識すれば、一時停止が必要な場所かどうかを識別できる。
【0030】
公共の道路上には、「一時停止」と関連のある標示の他にも、例えば安全地帯、立ち入り禁止、バス専用(又は優先)、自転車専用、通行区分指定、速度指定などの様々な標示が存在している。これらの標示についても、標識認識部12は標示の有無およびその種類を識別することができる。
【0031】
重要度識別部13は、標識認識部12が標識(標示)を認識した時に自車両の走行状態を監視し、前記標識の種別と自車両の走行状態とに基づいて、状況の重要度の高低を自動的に識別し、識別された重要度の高低に対応する状態を表す制御信号を出力する。
【0032】
例えば、乗務員の安全管理上重要な「一時停止違反」等の有無を検出する。すなわち、一時停止が必要な交差点の停止線の近傍において、乗務員が標識の種類に違反して一時停止を怠って運転しているかどうかなどを識別し、重要な違反を検出した場合には、この状況を記録するために制御信号を出力する。重要度識別部13が出力する制御信号については、記録開始トリガや、検出した標識の種類又は違反の種類が想定される。
【0033】
記録制御部14は、車載カメラ11が撮影した画像を含む重要なデータを自動的に記録し不揮発性のデータ記録媒体15上に保存するための制御を行う。例えば、重要度識別部13が重要な違反を検出した時に、重要度識別部13から出力される記録開始トリガに従って、トリガ時点の前後所定時間(例えばトリガの15秒前からトリガの5秒後まで)の範囲内で撮影された全ての画像データを記録しデータ記録媒体15に保存する。また、検出した標識の種類又は違反の種類や、時刻、車両の現在位置などの情報もデータ記録媒体15に保存する。
【0034】
なお、記録制御部14は、トリガが発生しない時でも図示しないバッファメモリ上に撮影された画像データを常時記録しており、時間的に古くなった画像データから順番に上書きする。従って、所定時間(例えば15秒)前から現在までの過去の画像データが常に保持されているので、トリガの発生よりも前の時点で得られた古い画像データもデータ記録媒体15に保存できる。
【0035】
なお、データ記録媒体15として非常に記憶容量の大きい媒体を利用する場合には、トリガの発生有無とは無関係に、撮影された全ての画像データをデータ記録媒体15上に保存することもできる。その場合には、膨大な画像データの中から重要な箇所を容易に抽出できるように、トリガが発生した時に、その時刻に対応する画像データの位置や、検出した標識の種類又は違反の種類や、時刻、車両の現在位置などの情報もデータ記録媒体15に保存する。
【0036】
図3に示した画像認識装置10の動作の概要が
図1に示されている。また、
図1に示した動作の一部分の詳細が
図2に示されている。
図1及び
図2に示す動作について以下に説明する。画像認識装置10の電源が投入され、車両のイグニッションスイッチがオンになると
図1に示す処理が実行される。
【0037】
ステップS11では、車載カメラ11で撮影された最新の状況を表す進行方向前方の映像から標識認識部12が1フレームの画像データを取得する。この1フレームの画像データの中には、車室内の運転席の近傍から前方のウインドシールドガラス越しに見える進行方向前方の所定範囲の風景、例えば道路の路面や、自車の車体の一部分(ボンネットなど)や、走行状況に応じて先行車両、対向車両、歩行者などの被写体が含まれる。
【0038】
ステップS12では、標識認識部12が入力された1フレームの画像データを処理して、パターン認識により道路路面の標示を探索する。例えば、画像フレーム上の全体を順次に走査して特徴的なパターン形状を有する領域のデータを抽出し、この領域のデータの特徴量と予め標識認識部12内のデータベースに登録されている様々な種類の標示の特徴量とを比較して、一致する標示の有無を特定する。一致する標示がある場合には次のステップS13に進み、一致する標示がない場合はステップS11の処理に戻る。
【0039】
ステップS13では、ステップS12で検出された標示の種類を認識する。すなわち、予め登録されている様々な種類の標示の中から、該当する画像パターンと特徴量が最も類似している標示の種類を特定する。例えば、
図7に示す例では、停止線54および横断歩道55がそれぞれ独立した標示として検出される。
図7のように、複数種類の標示が同時に検出される場合もある。
【0040】
ステップS14では、ステップS13で認識した標示の種類に対応した処理を重要度識別部13が実行する。具体的には、運転の状況を監視して、標示の指示に従わない違反行為や安全運転上問題のある行為を行っているか否か、および違反の種類を自動的に識別する。この処理については後で詳細に説明する。
【0041】
ステップS15では、ステップS14の処理の結果を参照し、重要度の高い違反を検出したか否かを識別する。重要度の高い違反を検出した場合は次のステップS16に進み、重要度が低い違反の場合はステップS11に戻る。
【0042】
例えば、信号機の存在しない交差点においては、交通事故が発生し易いので、車両を運転する乗務員は交差点の近傍の路面に表示されている停止線や横断歩道などの標示に従って、この場所で一時停止をすることが要求される場合がある。これに違反するような運転を行った場合には、この乗務員が将来的に交通事故を引き起こす可能性が高まると考えられるので、安全管理上の重要度が高い違反として重要度識別部13が識別する。
【0043】
ステップS16では、現在の状況で車載カメラ11により撮影された画像等のデータを保存するために、記録開始トリガと、検出した違反の種類を表す情報を重要度識別部13が出力する。重要度識別部13が出力する記録開始トリガおよび違反の種類を表す情報は、記録制御部14に入力され、画像等の記録制御に利用される。
【0044】
図1中のステップS14に関する詳細な処理の内容が
図2に示されている。
図2の処理について以下に説明する。
【0045】
ステップS21では、
図1のステップS13で認識した標示が「一時停止」を指示する種類の標示か否かを重要度識別部13が識別する。「一時停止」を指示する標示の場合にはステップS22以降の処理を実行し、それ以外の場合は該当する標示の種類に対応した処理(図示せず)を行う。
【0046】
ステップS22では、現在の車両位置から停止線の白線など、車両が一時停止すべき道路上の所定位置までの実際の距離L1を撮影された画像の内容に基づいて算出する。すなわち、撮影された画像のフレーム内において、自車両の先端部位置から認識された特定の標示の位置までの距離L2を求め、距離L2を実際の距離L1に換算する。
【0047】
つまり、車載カメラ11を取り付けた位置の高さ、撮影方向の傾き、車載カメラ11の設置位置から車両先端部までの距離などの情報は既知の定数データとして事前に保持しておくことができるので、これらの定数データを用いて距離L2から実際の距離L1を算出できる。
【0048】
ステップS23では、車両側から出力される現在の車速の情報を入力し、前記距離L1と車速とに基づき、自車両が走行して停止線など停止すべき位置に到達する予定の時間を算出する。
【0049】
ステップS24では、ステップS23で算出した時間と現在時刻とを比較し、自車両の先端部が停止線の位置に接近したか否かを識別する。例えば所定距離以内に接近した場合はステップS25に進み、まだ接近していない場合はステップS22に戻る。
【0050】
ステップS25では、現在の自車両の車速を予め定めた閾値th1と比較する。閾値th1の具体例としては「2km/h」が想定される。「車速<th1」の条件を満たす場合はステップS26に進み、満たさない場合はステップS27に進む。
【0051】
ステップS26では、ステップS25で「車速<th1」の条件を満たす状態になってからの経過時間を監視して、この経過時間を予め定めた閾値th2とを比較する。閾値th2の具体例としては、「1秒」が想定される。「経過時間>th2」の条件を満たす場合はステップS26に進み、満たさない場合はステップS25に戻る。
【0052】
ステップS27では、現在時刻とステップS23で算出した予定到達時間とを比較して、超えたか否かを識別する。つまり、自車両の一時停止状態を検出する前に、自車両が停止線の位置を通り過ぎてしまったか否かをステップS27で識別する。超えた場合はステップS29に進み、超えてなければステップS25に戻る。
【0053】
ステップS28では、今回検出した一時停止の標示に対して、一時停止の違反なしとして重要度識別部13が認識する。また、ステップS29では今回検出した一時停止の標示に対して、一時停止の違反有りとして重要度識別部13が認識する。
【0054】
図3に示した画像認識装置10および車載画像記録装置20の現実的な構成例が
図4、
図5、
図6にそれぞれ示されている。すなわち、
図4に示す構成例においては、
図3の画像認識装置10に相当する画像認識ユニット100と、独立したドライブレコーダ200とを組み合わせて車載画像記録装置20に相当するシステムを構成している。また、
図5に示す構成例においては、
図3の画像認識装置10および車載画像記録装置20に相当する機能をドライブレコーダ200Bに内蔵した場合を想定している。また、
図6に示す構成例においては、
図3の画像認識装置10および車載画像記録装置20に相当する機能をデジタルタコグラフ300に内蔵した場合を想定している。
【0055】
まず、
図4に示す構成例について説明する。
図4に示す画像認識ユニット100は、主要な構成要素としてビデオアンプ101、NTSCデコーダ102、画像処理回路103、マイクロコンピュータ104、メモリ105、106および電源回路107を備えている。
【0056】
また、
図4に示すドライブレコーダ200は、主要な構成要素としてメインデコーダ201、データ処理部202、通信処理部203、メモリ204及び205、車両信号インタフェース206、メモリカード207、音声出力部208およびモニタ出力部209を備えている。
【0057】
ビデオアンプ101は、車載カメラ11から出力されるNTSC(National Television System Committee)規格の映像信号を入力し、必要なレベルに増幅した映像信号を出力する。ビデオアンプ101の出力は、ドライブレコーダ200の映像入力およびNTSCデコーダ102の入力と接続されている。
【0058】
NTSCデコーダ102は、ビデオアンプ101から入力されるNTSC規格の映像信号を処理してこれに含まれる複数の信号成分(Y,Cb,Cr)をそれぞれ抽出し、A/D変換を行って画像処理に利用できるデジタル画像信号を生成する。
【0059】
画像処理回路103は、パターン認識等の所定の画像処理を行うための機能を有する専用の大規模集積回路(LSI)である。この画像処理回路103は、入力される画像データに基づいて、例えば
図1に示すステップS12で道路路面に表示された標識等のパターンを検出したり、検出したパターンの種別を識別するために必要な機能を備えている。
【0060】
画像処理回路103にはROMで構成されるメモリ105及びRAMで構成されるメモリ106が接続されている。メモリ105は、画像処理回路103がパターン照合に利用する様々なパターンの各々の特徴を表す情報が登録されたデータベースや様々な定数データを予め保持している。メモリ106は、画像処理回路103が処理する画像などのデータを一時的に保持するために利用される。
【0061】
マイクロコンピュータ(マイコン)104は、CAN(Controller Area Network)規格の通信機能を搭載しており、画像認識ユニット100の通信端子と接続されたドライブレコーダ200との間で通信を行う。具体的には、
図1のステップS12で画像処理回路103が標示を検出した時に、車速などの車両の状態を表す情報をドライブレコーダ200を経由して取得して車両の状態を監視し、違反の有無や違反の種類をステップS14で自動的に識別する。そして、重要度の高い違反を検出した時に、マイクロコンピュータ104は記録開始トリガや、検出した違反の種類を表す情報をドライブレコーダ200に通知する。
【0062】
ドライブレコーダ200においては、画像認識ユニット100内のビデオアンプ101から出力されるNTSC規格の映像信号をメインデコーダ201が処理してこの映像信号に含まれる複数の信号成分(Y,Cb,Cr)をそれぞれ抽出し、A/D変換を行ってデータ処理部202の処理可能なデジタル画像信号を生成する。
【0063】
データ処理部202は、マイクロコンピュータで構成されており、主にメインデコーダ201から出力される画像データを順次に入力し圧縮して記録するための処理を行う。データ処理部202に接続されているメモリ(ROM)204は、データ処理部202が実行するプログラムやデータ処理部202が使用する各種定数データなどを予め保持している。メモリ(RAM)205は、処理途中のデータなど一時的なデータを保持するために利用される。ドライブレコーダ200が最終的に記録する画像等のデータについては、不揮発性メモリを搭載したメモリカード(例えばSDカード)207上に保存される。
【0064】
通信処理部203は、CAN規格の通信機能を搭載したマイクロコンピュータで構成されており、車両上の通信ネットワーク(CAN)を経由して、これに接続された画像認識ユニット100との間で通信を行う。また、通信処理部203とデータ処理部202との間で双方向に通信を行い、必要に応じて情報を受け渡す。
【0065】
車両信号インタフェース206は、車両側から出力される各種信号を入力してデータ処理部202が処理可能な信号に変換したり、データ処理部202が出力する各種信号を車両側が処理可能な信号に変換するための処理を行う。車両信号インタフェース206が扱う信号としては、トリガ出力、イグニッション(IGN)、手動スイッチ(SW)、ブレーキ、ウインカーL側、ウインカーR側、車速パルスなどがある。
【0066】
図4に示すシステムにおいては、車載カメラ11により撮影された映像に基づき、車両の走行中に画像認識ユニット100が停止線等の路面上の標示を認識すると、車両の状態を監視して重要な違反の有無や種類を画像認識ユニット100が識別する。なお、車両の状態を表す情報については、車両側から入力される信号を車両信号インタフェース206を経由してデータ処理部202が取り込み、所定の変換や計算を行った結果として生成される。データ処理部202が生成した車両の状態を表す情報は、通信処理部203及び車両上の通信ネットワーク(CAN)を経由して画像認識ユニット100のマイクロコンピュータ104に入力される。
【0067】
画像認識ユニット100は、重要な違反を検出すると、
図1のステップS16で記録開始トリガおよび検出した違反の種類を表す情報をマイクロコンピュータ104から出力する。これらの信号は、車両上の通信ネットワーク(CAN)を経由してドライブレコーダ200に入力され、記録の制御に利用される。すなわち、ドライブレコーダ200のデータ処理部202は、画像認識ユニット100側から記録開始トリガが入力されたタイミングを基準として、その前後所定時間の範囲内で撮影された画像を含む圧縮後のデータをメモリカード207上に保存する。また、記録開始トリガと共に入力された違反の種類を表す情報もメモリカード207上に保存する。
【0068】
データ処理部202は、記録開始トリガの有無とは無関係に、常時、最新の画像の圧縮されたデータをメモリ205上に割り当てたバッファメモリ上に記録すると共に、時間的に古くなった画像データを上書きするように制御している。従って、記録開始トリガに従って記録を開始する時には、その時点よりも所定時間(例えば15秒)前以降に撮影された画像データがバッファメモリに保持されているので、トリガが発生する前に撮影された画像も含めてメモリカード207上に保存することができる。
【0069】
また、例えばメモリカード207の記憶容量が非常に大きい場合には、トリガの発生とは無関係に撮影された全ての画像データをメモリカード207上に保存することも可能である。その場合には、メモリカード207上に蓄積される膨大な量の画像データの中から重要な箇所を容易に抽出できるように、記録開始トリガの有無や、検出された違反の種類を表す情報を、該当する画像の撮影時刻あるいは記録位置に対応付けてメモリカード207上に記録する。
【0070】
次に、
図5に示す構成例について説明する。
図5に示すドライブレコーダ200Bは、
図4の画像認識ユニット100及びドライブレコーダ200を一体化した場合と同等の機能を有している。
【0071】
ドライブレコーダ200Bの内部には、メインデコーダ211、データ処理部212、メモリ213、213B及び214、車両信号インタフェース215、NTSCエンコーダ216、モニタ出力部217、PC設定用インタフェース218、画像処理回路220、メモリカード231、バイブレータ出力部232、音声出力部233、位置情報入力部234、および通信処理部235が備わっている。また、画像処理回路220には、画像認識回路221、メモリ222及び223が備わっている。
【0072】
図5に示すドライブレコーダ200Bの入力には、前述の車載カメラ11の他にオプションとして車載カメラ11Bも接続することができる。例えば、車載カメラ11を用いて車両の進行方向前方あるいは後方の風景を撮影し、同時に車載カメラ11Bを用いて車室内の様子を撮影することができる。あるいは、車載カメラ11を用いて車両の進行方向前方の風景を撮影し、同時に車載カメラ11Bを用いて車両の進行方向後方の風景を撮影することも考えられる。
【0073】
メインデコーダ211は、車載カメラ11及び11Bからそれぞれ出力されるNTSC規格の映像信号を処理し、これらの映像信号に含まれる複数の信号成分(Y,Cb,Cr)をそれぞれ抽出し、A/D変換を行ってデータ処理部212及び画像処理回路220が処理可能なデジタル画像信号を生成する。
【0074】
画像認識回路221は、例えばルネサスエレクトロニクス社製の「IMAPCAR 2」のように、車載機器に適した画像認識処理を高速で実行可能な大規模集積回路(LSI)である。画像認識回路221には、メモリ(ROM)222及びメモリ(SDRAM)223が接続されている。メモリ223は、画像認識回路221が認識途中の画像など一時的なデータを保持するために利用される。メモリ222は、道路の路面上に表示される様々な種類の標識(標示)のパターンをそれぞれ認識するために必要な基準データを予め保持している。
【0075】
画像認識回路221は、車載カメラ11および11Bによって撮影された画像をメインデコーダ211の出力から入力し、予め登録されたプログラムにより定まるアルゴリズムに従って様々な画像認識処理を高速で実行する。本実施形態においては、車両の走行中の道路の路面に表示されている様々な標識(標示)のパターンの有無およびその種類を、入力された画像の中から画像認識回路221が自動的に認識する。
【0076】
データ処理部212は、リアルタイム制御を行うのに適した基本プログラム(制御系リアルタイムOS)を搭載したマイクロコンピュータで構成されている。データ処理部212は、基本的には、車載カメラ11及び11Bによりそれぞれ撮影された映像の画像データをメインデコーダ211の出力から入力し、圧縮処理した後で記録する動作を行う。
【0077】
また、画像認識回路221が道路の路面上に表示された標識(標示)を認識した時に、データ処理部212は該当する標識の種類を識別し(
図1のS13に相当)、標識の種類に応じた処理(
図1のS14に相当)により車両の状態を監視して違反の有無及び違反の種類を識別する。そして、記録すべき重要な違反の発生を検出した場合には(S15)、データ処理部212はその内部で記録開始トリガを発生し、その時点の前後所定時間の範囲内で撮影された映像に関する圧縮された画像データや、検出した違反の種類を表す情報をメモリカード231に保存する。
【0078】
データ処理部212に接続されているメモリ213は、予め用意したプログラムを保持するROMにより構成されている。また、メモリ213Bは、EEPROMで構成されており、データ処理部212が参照する各種閾値などの定数データを保持するために利用される。メモリ214は、データ処理部212が処理中の画像データなど一時的なデータを保持するために利用される。
【0079】
車両信号インタフェース215は、車両側から出力される各種信号を入力してデータ処理部212が処理可能な信号に変換したり、データ処理部212が出力する各種信号を車両側が処理可能な信号に変換するための処理を行う。車両信号インタフェース215が扱う信号としては、トリガ出力、イグニッション(IGN)、手動スイッチ(SW)、ブレーキ、ウインカーL側、ウインカーR側、車速パルスなどがある。
【0080】
NTSCエンコーダ216は、画像認識回路221の認識処理後の画像や、データ処理部212から出力される画像を、NTSC規格の映像信号に変換してモニタ出力部217に出力する。
【0081】
PC設定用インタフェース218は、パーソナルコンピュータ等のホスト装置とドライブレコーダ200Bとを接続するためのインタフェースである。ホスト装置をPC設定用インタフェース218に接続することにより、ホスト装置からの指示により、例えばデータ処理部212が参照する各種閾値を変更したり、違反を判定する条件を変更することが可能である。
【0082】
メモリカード231は、例えばSDカードのように不揮発性メモリを内蔵した記録媒体であり、ドライブレコーダ200Bに対して着脱自在になっている。バイブレータ出力部232は、例えば違反の発生等に対して乗務員に注意を促すための、機械的な振動を発生するバイブレータ(図示せず)を接続するために利用される。音声出力部233は、例えば違反の発生等に対して乗務員に注意を促すための、音声信号を出力するために利用される。
【0083】
位置情報入力部234は、例えばGPS(Global Positioning System)受信装置など、車両の現在位置の情報を入力可能な装置を接続するために利用される。通信処理部235は、車両上の通信ネットワーク(CAN)を経由して他の車載機器とドライブレコーダ200Bとの間で通信を行うための機能を提供する。
【0084】
次に、
図6に示す構成例について説明する。このシステムにおいては、車載器として車両に搭載されたデジタルタコグラフ300の入力に車載カメラ11及び11Bが接続され、デジタルタコグラフ300の通信処理部311に前述のドライブレコーダ200が接続されている。
【0085】
このデジタルタコグラフ300には、
図6に示すように、メインデコーダ301、データ処理部302、メモリ303、304及び306、PC設定用インタフェース307、メモリカード308、バイブレータ出力部309、音声出力部310、通信処理部311、位置情報入力部312、画像認識回路315、メモリ316及び317、NTSCエンコーダ318が備わっている。
【0086】
機能的には、一般的なデジタルタコグラフの機能の他に、
図4に示した画像認識ユニット100に相当する機能がデジタルタコグラフ300に備わっている。すなわち、デジタルタコグラフ300は道路の路面上に表示された標識(標示)を認識した時に、車両の状態を監視して違反の有無や違反の種類を識別し、重要な違反を検出した時に記録開始トリガや違反の種類を表す情報を出力する。また、デジタルタコグラフ300の出力する記録開始トリガや違反の種類を表す情報がドライブレコーダ200に入力され、ドライブレコーダ200の記録制御に反映される。
【0087】
メインデコーダ301は、車載カメラ11及び11Bからそれぞれ出力されるNTSC規格の映像信号を処理し、これらの映像信号に含まれる複数の信号成分(Y,Cb,Cr)をそれぞれ抽出し、A/D変換を行ってデータ処理部302及び画像認識回路315が処理可能なデジタル画像信号を生成する。
【0088】
画像認識回路315は、例えばルネサスエレクトロニクス社製の「IMAPCAR 2」のように、車載機器に適した画像認識処理を高速で実行可能な大規模集積回路(LSI)である。画像認識回路315には、メモリ(ROM)316及びメモリ(SDRAM)317が接続されている。メモリ317は、画像認識回路315が認識途中の画像など一時的なデータを保持するために利用される。メモリ316は、道路の路面上に表示される様々な種類の標識(標示)のパターンをそれぞれ認識するために必要な基準データを予め保持している。
【0089】
画像認識回路315は、車載カメラ11および11Bによって撮影された画像をメインデコーダ301の出力から入力し、予め登録されたプログラムにより定まるアルゴリズムに従って様々な画像認識処理を高速で実行する。本実施形態においては、車両の走行中の道路の路面に表示されている様々な標識(標示)のパターンの有無およびその種類を、入力された画像の中から画像認識回路315が自動的に認識する。
【0090】
データ処理部302は、リアルタイム制御を行うのに適した基本プログラム(制御系リアルタイムOS)を搭載したマイクロコンピュータで構成されている。データ処理部302は、画像認識回路315が道路の路面上に表示された標識(標示)を認識した時に、該当する標識の種類を識別し(
図1のS13に相当)、標識の種類に応じた処理(
図1のS14に相当)により車両の状態を監視して違反の有無及び違反の種類を識別する。そして、記録すべき重要な違反の発生を検出した場合には(S15)、データ処理部302はその内部で記録開始トリガを発生し、検出した違反の種類を表す情報をメモリカード308に保存する。また、記録開始トリガを発生した時には、データ処理部302は記録開始トリガ及び検出した違反の種類を表す情報を通信処理部311及び車両上の通信ネットワーク(CAN)を経由してドライブレコーダ200に送信する。勿論、データ処理部302は一般的なデジタルタコグラフの機能を実現するための処理も行う。
【0091】
データ処理部302に接続されているメモリ303は、予め用意したプログラムを保持するROMにより構成されている。また、メモリ306は、EEPROMで構成されており、データ処理部302が参照する各種閾値などの定数データを保持するために利用される。メモリ304は、一時的なデータを保持するために利用される。
【0092】
デジタルタコグラフ300は、車両信号インタフェース305を介して車両側の各種信号線と接続されている。車両信号インタフェース305は、車両側から出力される各種信号を入力してデータ処理部302が処理可能な信号に変換したり、データ処理部302が出力する各種信号を車両側が処理可能な信号に変換するための処理を行う。車両信号インタフェース305が扱う信号としては、トリガ出力、イグニッション(IGN)、手動スイッチ(SW)、ブレーキ、ウインカーL側、ウインカーR側、車速パルスなどがある。
【0093】
NTSCエンコーダ318は、画像認識回路315の認識処理後の画像を、NTSC規格の映像信号に変換してモニタ出力部に出力する。PC設定用インタフェース307は、は、パーソナルコンピュータ等のホスト装置とデジタルタコグラフ300とを接続するためのインタフェースである。ホスト装置をPC設定用インタフェース307に接続することにより、ホスト装置からの指示により、例えばデータ処理部302が参照する各種閾値を変更したり、違反を判定する条件を変更することが可能である。
【0094】
メモリカード308は、例えばCFカードのように不揮発性メモリを内蔵した記録媒体であり、デジタルタコグラフ300に対して着脱自在になっている。バイブレータ出力部309は、例えば違反の発生等に対して乗務員に注意を促すための、機械的な振動を発生するバイブレータ(図示せず)を接続するために利用される。音声出力部310は、例えば違反の発生等に対して乗務員に注意を促すための、音声信号を出力するために利用される。
【0095】
位置情報入力部312は、例えばGPS(Global Positioning System)受信装置など、車両の現在位置の情報を入力可能な装置を接続するために利用される。通信処理部311は、車両上の通信ネットワーク(CAN)を経由して他の車載機器とデジタルタコグラフ300との間で通信を行うための機能を提供する。
【0096】
以上のように、本発明の画像記録制御方法および画像認識装置ならびに車載画像記録装置は、例えば車両に搭載される画像認識ユニット、ドライブレコーダ、デジタルタコグラフなどの様々な車載機器に適用することが想定される。本発明を採用することにより、乗務員の運転に関する安全管理を行う上で役立つ貴重なデータを自動的に収集することができる。すなわち、道路の路面に表示された各種標識の指示に従って一時停止等の違反なしに安全な運転を行っているかどうかを容易に把握できる画像等のデータを取得できる。従って、交通事故の発生を未然に防止するために役立てることができる。
【0097】
しかも、重要度の高い情報が含まれる時間帯の画像だけを保存することができるので、大容量の記録媒体を必要としない。また、大容量の記録媒体を用いる場合には、記録された膨大な情報の中から重要な箇所を容易に抽出可能な状態でデータを記録できる。