特許 6927787 車載器および運転支援装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6927787

(24)【登録日】2021年8月10日

(45)【発行日】2021年9月1日

(54)【発明の名称】車載器および運転支援装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210823BHJP

   G08G 1/00 20060101ALI20210823BHJP

   G08G 1/16 20060101ALI20210823BHJP

【ＦＩ】

   G06T7/00 650B

   G08G1/00 D

   G08G1/16 C

   G06T7/00 650A

【請求項の数】5

【全頁数】16

(21)【出願番号】特願2017-143404(P2017-143404)

(22)【出願日】2017年7月25日

(65)【公開番号】特開2019-28481(P2019-28481A)

(43)【公開日】2019年2月21日

【審査請求日】2020年6月17日

(73)【特許権者】

【識別番号】501418498

【氏名又は名称】矢崎エナジーシステム株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】特許業務法人栄光特許事務所

(72)【発明者】

【氏名】大石 啓之

(72)【発明者】

【氏名】小林 裕一

(72)【発明者】

【氏名】青地 剛宙

(72)【発明者】

【氏名】薮崎 広行

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特開２０１３−０１７０２４（ＪＰ，Ａ）

【文献】 特開２００８−２７６３０８（ＪＰ，Ａ）

【文献】 国際公開第２０１３／０１８５３７（ＷＯ，Ａ１）

【文献】 特開２００９−１６６６２４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

Ｇ０８Ｇ １／００ −９９／００

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

車両の後方を撮影可能な車載カメラが出力する映像信号を入力して処理する画像処理部と、
前記車両における走行の有無および進行方向の少なくとも一方の状態を検知する車両状態検知部と、
前記画像処理部が処理する前記映像信号内の領域を動的に決定する画像領域決定部と、
を有し、
前記画像領域決定部は、前記車両状態検知部の検知状態を反映して、前記領域を自動的に変更し、
前記画像領域決定部は、前記車両状態検知部の検知状態に基づいて、前記車両の前進、後退、および停止のいずれかの状態を認識し、
前記車両の前進を認識した場合に前記画像処理部が処理する前記領域の数又は大きさが、前記車両の後退を認識した場合及び前記車両の停止を認識した場合に前記画像処理部が処理する前記領域の数又は大きさより小さい、
ことを特徴とする車載器。

【請求項2】

前記画像領域決定部は、
前記映像信号内に事前に割り当てた複数の二次元領域の各々の位置および大きさを表す定数データを保持する定数保持部を有し、
前記複数の二次元領域の中から、前記車両状態検知部の検知状態に応じて選択した１つ以上の二次元領域を、前記画像処理部が処理する前記映像信号内の領域として割り当てる、
ことを特徴とする請求項１に記載の車載器。

【請求項3】

前記画像領域決定部は、前記車両状態検知部の検知状態に応じて、前記複数の二次元領域の中から選択する二次元領域の数およびその組み合わせを自動的に決定する、
ことを特徴とする請求項２に記載の車載器。

【請求項4】

前記車両の停止を認識した場合に前記画像処理部が処理する前記領域の数又は大きさが、前記車両の後退を認識した場合に前記画像処理部が処理する前記領域の数又は大きさより小さい、
ことを特徴とする請求項１乃至請求項３のいずれか１項に記載の車載器。

【請求項5】

請求項１乃至請求項４のいずれか１項に記載の車載器と、
前記画像処理部が前記映像信号の中から認識した結果と、事前に定めた判定基準とに基づいて、前記車両の安全運転を支援する警報を生成する警報生成部と、
を備えたことを特徴とする運転支援装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車載カメラが出力する映像信号を入力して処理する画像処理部を有する車載器および運転支援装置に関する。

【背景技術】

【0002】

近年の車両においては、車載カメラの撮影により得られる映像信号を入力して処理する画像処理部を有する車載器が搭載される傾向にある。例えば、ドライブレコーダの機能を有する一般的な車載器は、車載カメラの映像信号を入力し、自車両に交通事故などの異常が発生した時に、トリガ信号に従いその前後一定時間内の画像データを自動的に記録することができる。また、運行記録計であるデジタルタコグラフの機能を有する車載器にも、車載カメラの映像信号を入力して処理するものが存在する。

【0003】

また、例えば特許文献１に示された車両用のナビゲーション装置においては、自位置周辺の画像情報を対象とする画像認識を行うに際して、画像認識処理の認識条件を可変設定することにより、演算処理負荷を軽減しつつ、誤認識を抑制して認識率を高めるための技術を示している。具体的には、自信度に応じて、画像情報に対する各対象地物についての画像認識処理を行う範囲を設定する。

【0004】

また、特許文献２においては、車両周辺の情景が撮影された画像を、広域表示と拡大表示との間で切り替えて表示する車両用周辺監視装置を示している。また、撮影された広域撮影データが、表示装置に同じ視野で表示させるための広域表示データと、広域撮影データの中の一部を拡大して表示させるための拡大表示データとに変換可能に構成されることを示している。また、広域表示データが表示されている状態で「前方」のボタンを操作すると、広域撮影データの中の「前方」に相当する領域が拡大表示されることを示している。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００８−２９８６９７号公報

【特許文献2】特開２００８−３０１０９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、例えばデジタルタコグラフ等の車載器においては、例えば以下に示す（１）〜（３）のような様々な運転支援機能を搭載することが望まれている。
（１）自車両と先行車両との間の車間距離の接近しすぎに対して警報を出力する機能。
（２）自車両が所定の走行レーンの範囲を逸脱する場合に警報を出力する機能。
（３）路面の標示に基づき認識した制限速度に対する自車両の速度超過について警報を出力する機能。

【0007】

上記の（１）〜（３）のような機能を実現する際には、例えば自車両の車載カメラで撮影した自車両前方の情景を表す映像信号を処理して様々なパターン認識を行うことが必要になる。すなわち、映像信号から得られる画像データに基づき、先行車両のパターン、走行レーンの左右境界を表す白線等のパターン、路面に標示されている制限速度の標示パターンなどをそれぞれ認識する必要がある。

【0008】

また、車両に搭載される車載カメラについては、自車両前方を撮影する車載カメラの他に、自車両後方の情景を撮影する車載カメラや、車室内の乗員等を撮影する車載カメラが含まれる場合もある。したがって、車載器においては、複数台の車載カメラがそれぞれ出力する複数の映像信号を同時に処理することが必要になる場合もある。

【0009】

しかしながら、自車両の走行等に伴って逐次変化する映像の中から複数のパターンを同時にリアルタイムで認識するためには、高性能の画像処理専用プロセッサや、高性能のマイクロコンピュータのように高価なハードウェアを車載器に搭載しなければならず、装置コストの増大が懸念される。しかし、比較的低コストのハードウェアで上記の機能を実現しようとすると、各パターンの認識処理に遅延が生じるため、安全運転を支援するための各種警報をリアルタイムで出力することが困難になる。

【0010】

そこで、例えば特許文献１および特許文献２に示されているように、画像の中で画像処理の対象とする範囲を予め限定することが想定される。範囲を限定することにより、画像処理の負荷が軽減されるので、比較的低コストのハードウェアを利用する場合であっても、認識処理の遅延をある程度抑制できる。

【0011】

しかし、上記の（１）〜（３）のような複数の機能を同時に実現しようとすると、同じ映像フレーム中の互いに異なる領域に映る複数の認識対象を同時に認識しなければならず、認識対象の範囲を狭くすることができない。その結果、認識対象の範囲のデータ量が増え、認識処理の遅延が増大する。また、複数の車載カメラの映像をそれぞれ処理する場合にも、認識対象物が映像フレーム中の様々な箇所に存在する可能性を考慮すると、対象の範囲を広げる必要がある。

【0012】

また、自車両が前進、停車、後退のいずれの状態であるかに応じて、映像フレーム中の注目すべき重要な領域が互いに異なるので、どの状態でも重要な領域を認識可能にするためには、認識対象の範囲の制限を緩和しなければならない。したがって、認識対象の範囲のデータ量が増え、認識処理の遅延が増大する。

【0013】

本発明は、上述した事情に鑑みてなされたものであり、その目的は、自車両の前進、停車、後退等の複数の状態のいずれにおいても重要な領域の認識を可能にすると共に、画像処理の負荷の低減が可能な車載器および運転支援装置を提供することにある。

【課題を解決するための手段】

【0014】

前述した目的を達成するために、本発明に係る車載器および運転支援装置は、下記（１）〜（５）を特徴としている。
（１） 車両の後方を撮影可能な車載カメラが出力する映像信号を入力して処理する画像処理部と、
前記車両における走行の有無および進行方向の少なくとも一方の状態を検知する車両状態検知部と、
前記画像処理部が処理する前記映像信号内の領域を動的に決定する画像領域決定部と、
を有し、
前記画像領域決定部は、前記車両状態検知部の検知状態を反映して、前記領域を自動的に変更し、
前記画像領域決定部は、前記車両状態検知部の検知状態に基づいて、前記車両の前進、後退、および停止のいずれかの状態を認識し、
前記車両の前進を認識した場合に前記画像処理部が処理する前記領域の数又は大きさが、前記車両の後退を認識した場合及び前記車両の停止を認識した場合に前記画像処理部が処理する前記領域の数又は大きさより小さい、
ことを特徴とする車載器。

【0015】

上記（１）及び上記（４）の構成の車載器によれば、車両状態検知部の検知状態に応じて、画像処理部が処理する映像信号内の領域を動的に決定することができる。したがって、例えば、自車両の前進、停車、後退等の複数の状態のいずれにおいても重要な領域の認識を可能とし、且つ処理対象のデータ量が削減されるように領域を最適化して、処理の負荷を低減できる。
更に、車両の前進、後退、および停止のいずれかの状態を認識できるので、状態に応じた適切な領域を画像処理部の処理対象として割り当てることができる。すなわち、車両の前進、後退、および停止のいずれの状態においても、映像フレーム中の注目すべき重要な領域のみを処理対象にし、データ量が削減されるように領域を最適化することができる。

【0016】

（２） 前記画像領域決定部は、
前記映像信号内に事前に割り当てた複数の二次元領域の各々の位置および大きさを表す定数データを保持する定数保持部を有し、
前記複数の二次元領域の中から、前記車両状態検知部の検知状態に応じて選択した１つ以上の二次元領域を、前記画像処理部が処理する前記映像信号内の領域として割り当てる、
ことを特徴とする上記（１）に記載の車載器。

【0017】

上記（２）の構成の車載器によれば、画像領域決定部は、定数保持部が保持している定数データに基づいて、画像処理部が処理する領域の適切な位置および大きさを容易に決定できる。

【0018】

（３） 前記画像領域決定部は、前記車両状態検知部の検知状態に応じて、前記複数の二次元領域の中から選択する二次元領域の数およびその組み合わせを自動的に決定する、
ことを特徴とする上記（２）に記載の車載器。

【0019】

上記（３）の構成の車載器によれば、例えば、自車両の前進、停車、後退等の複数の状態のそれぞれについて、同時に複数の二次元領域を割り当てることができ、二次元領域の数およびその組み合わせを最適化することもできる。また、映像フレーム中で注目すべき複数の重要な箇所が互いに離れた位置に分散している場合であっても、同時に複数の二次元領域を割り当てることにより、各々の二次元領域のサイズを削減し、画像処理部が処理するデータ量を大幅に削減できる。

【0020】

（４） 前記車両の停止を認識した場合に前記画像処理部が処理する前記領域の数又は大きさが、前記車両の後退を認識した場合に前記画像処理部が処理する前記領域の数又は大きさより小さい、
ことを特徴とする上記（１）乃至（３）のいずれかに記載の車載器。

【0022】

（５） 上記（１）乃至（４）のいずれかに記載の車載器と、
前記画像処理部が前記映像信号の中から認識した結果と、事前に定めた判定基準とに基づいて、前記車両の安全運転を支援する警報を生成する警報生成部と、
を備えたことを特徴とする運転支援装置。

【0023】

上記（５）の構成の運転支援装置によれば、車両状態検知部の検知状態に応じて、画像処理部が処理する映像信号内の領域を動的に決定できる。したがって、入力された映像フレームから同時に複数の移動物体を認識し、複数種類の警報を出力する機能を実現する場合であっても、処理対象のデータ量を削減し、警報の遅延を抑制できる。

【発明の効果】

【0024】

本発明の車載器および運転支援装置によれば、自車両の前進、停車、後退等の複数の状態のいずれにおいても重要な領域の認識を可能にすると共に、画像処理の負荷の低減が可能になる。

【0025】

以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態（以下、「実施形態」という。）を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。

【図面の簡単な説明】

【0026】

【図1】図１は、本発明の実施の形態における運行管理システムの構成例を示すブロック図である。

【図2】図２は、運転支援機能を実現するためのデジタルタコグラフの動作例を示すフローチャートである。

【図3】図３（ａ）、図３（ｂ）、および図３（ｃ）は、互いに異なる車両の状態で得られる各画像フレームとその中に割り当てられる各検知枠との関係の具体例を示す正面図である。

【図4】図４は、車両の状態に応じて使用する検知枠を自動的に決定するためのデジタルタコグラフの動作例を示すフローチャートである。

【図5】図５は、デジタルタコグラフが参照する車両状態テーブルＴ１の構成例を示す模式図である。

【図6】図６は、デジタルタコグラフが参照する検知枠テーブルＴ２の構成例を示す模式図である。

【発明を実施するための形態】

【0027】

本発明に関する具体的な実施形態について、各図を参照しながら以下に説明する。

【0028】

＜システムの構成および動作の概要＞
本発明の実施の形態における運行管理システム５の構成例を図１に示す。
図１に示した運行管理システム５は、トラック運送会社やバス会社等の事業者の設備として導入される。この運行管理システム５は、トラックやバス等の各車両の運行状況を管理するものであり、各車両に車載器として搭載された運行記録装置（以下、デジタルタコグラフという）１０と、各事業者の事務所等に設置される事務所ＰＣ３０とで構成されている。デジタルタコグラフ１０と、事務所ＰＣ３０との間は、ネットワーク７０を介して通信できるように接続される。

【0029】

事務所ＰＣ３０は、事務所に設置された汎用のコンピュータ装置で構成され、車両の運行状況を管理する。ネットワーク７０は、デジタルタコグラフ１０と広域通信を行う無線基地局８や事務所ＰＣ３０が接続されるインターネット等のパケット通信網であり、デジタルタコグラフ１０と事務所ＰＣ３０と間で行われるデータ通信を中継する。デジタルタコグラフ１０と無線基地局８との間の通信は、ＬＴＥ（Long Term Evolution）／４Ｇ（4th Generation）等のモバイル通信網（携帯回線網）で行われてもよいし、無線ＬＡＮ（Local Area Network）で行われてもよい。

【0030】

デジタルタコグラフ１０は、車両に搭載され、出入庫時刻、走行距離、走行時間、走行速度、速度オーバー、エンジン回転数オーバー、急発進、急加速、急減速等の運行データを記録する。また、本実施形態のデジタルタコグラフ１０は、それ以外に後述する運転支援機能を搭載している。

【0031】

図１に示したデジタルタコグラフ１０は、ハードウェアとして、ＣＰＵ（マイクロコンピュータ）１１、速度Ｉ／Ｆ（インタフェース）１２Ａ、エンジン回転Ｉ／Ｆ１２Ｂ、外部入力Ｉ／Ｆ１３、センサ入力Ｉ／Ｆ１４、ＧＰＳ受信部１５、カメラＩ／Ｆ１６、不揮発メモリ２６Ａ、揮発メモリ２６Ｂ、記録部１７、カードＩ／Ｆ１８、音声Ｉ／Ｆ１９、ＲＴＣ（時計ＩＣ）２１、ＳＷ入力部２２、通信部２４、表示部２７、およびアナログ入力Ｉ／Ｆ２９を内蔵している。

【0032】

ＣＰＵ１１は、予め組み込まれたプログラムに従い、デジタルタコグラフ１０の各部を統括的に制御する。不揮発メモリ２６Ａは、ＣＰＵ１１によって実行される動作プログラムや、ＣＰＵ１１が参照する定数データやテーブルなどを予め保持している。不揮発メモリ２６Ａは、データの書き換えが可能なメモリであり、保持しているデータは必要に応じて更新できる。

【0033】

記録部１７は、運行データや映像等のデータを記録する。カードＩ／Ｆ１８には、乗務員が所持するメモリカード６５が挿抜自在に接続される。ＣＰＵ１１は、カードＩ／Ｆ１８に接続されたメモリカード６５に対し運行データ、映像等のデータを書き込む。音声Ｉ／Ｆ１９には、内蔵のスピーカ２０が接続される。スピーカ２０は、警報等の音声を発する。

【0034】

ＲＴＣ２１（計時部）は、現在時刻を計時する。ＳＷ入力部２２には、出庫ボタン、入庫ボタン等の各種ボタンのＯＮ／ＯＦＦ信号が入力される。表示部２７は、ＬＣＤ（liquid crystal display）で構成され、通信や動作の状態の他、警報等を表示する。

【0035】

速度Ｉ／Ｆ１２Ａには、車両の速度を検出する車速センサ５１が接続され、車速センサ５１からの速度パルスが入力される。車速センサ５１は、デジタルタコグラフ１０にオプションとして設けられてもよいし、デジタルタコグラフ１０とは別の装置として設けられてもよい。エンジン回転Ｉ／Ｆ１２Ｂには、エンジン回転数センサ（図示せず）からの回転パルスが入力される。

【0036】

外部入力Ｉ／Ｆ１３の入力には、車両のブレーキのオンオフを表すブレーキ信号や、自動変速機の変速状態（前進／後退の区別を含む）を表す変速信号が、外部機器（図示せず）から印加される。

【0037】

センサ入力Ｉ／Ｆ１４には、加速度（Ｇ値）を検知する（衝撃を感知する）加速度センサ（Ｇセンサ）２８が接続され、Ｇセンサ２８からの信号が入力される。Ｇセンサとしては、加速度による機械的な変位を、振動として読み取る方式や光学的に読み取る方式を有するものが挙げられるが、特に限定されない。また、Ｇセンサは、車両前方からの衝撃を感知する（減速Ｇを検知する）他、左右方向からの衝撃を感知しても（横Ｇを検知しても）よいし、車両後方からの衝撃を感知しても（加速Ｇを検知しても）よい。Ｇセンサは、これらの加速度を検知可能なように、１つもしくは複数のセンサで構成される。

【0038】

アナログ入力Ｉ／Ｆ２９には、エンジン温度（冷却水温）を検知する温度センサ（図示せず）、燃料量を検知する燃料量センサ（図示せず）等の信号が入力される。ＣＰＵ１１は、これらのＩ／Ｆを介して入力される情報を基に、各種の運転状態を検出する。

【0039】

ＧＰＳ受信部１５は、ＧＰＳアンテナ１５ａに接続され、ＧＰＳ（Global Positioning System）衛星から送信される信号の電波を受信し、現在位置（ＧＰＳ位置情報）の情報を計算して取得する。

【0040】

カメラＩ／Ｆ１６の入力には、複数の車載カメラ２３、２３Ｂが接続されている。本実施形態では、一方の車載カメラ２３は自車両の進行方向前方の道路等の情景を撮影できる向きで固定した状態で車室内に設置されている。したがって、車載カメラ２３が撮影する映像の中には、自車両の前方に存在する先行車両、走行中の走行レーン境界を表す白線、路面上の交通規制の標示（制限速度など）が現れる。また、他方の車載カメラ２３は、自車両の後方の道路等の情景を撮影できる向きで固定した状態で車室内に設置されている。

【0041】

車載カメラ２３、２３Ｂは、例えば魚眼レンズを通して撮像される撮像面に例えば３０万画素、１００万画素、２００万画素が配置されたイメージセンサを有する。イメージセンサは、ＣＭＯＳ（相補性金属酸化膜半導体）センサやＣＣＤ（電荷結合素子）センサなど公知のセンサで構成されている。

【0042】

車載カメラ２３、２３Ｂがそれぞれ出力する映像の信号は、カメラＩ／Ｆ１６の内部回路によって画素毎の階調や色を表すデジタル信号に変換され、フレーム毎の画像データとしてカメラＩ／Ｆ１６から出力される。

【0043】

各車載カメラ２３、２３Ｂで撮影された映像（画像データ）は、記録部１７の動作により時系列データとして記録されるが、所定時間分だけ記録されるように繰り返し上書きされる。この所定時間は、例えば事故発生時、事故の状況が分かるように、事故発生前後の数秒間（例えば、２秒、４秒、１０秒等）に相当する時間である。カメラ２３で撮像される画像は、静止画でもよいし動画であってもよい。事故発生前後の映像は、事務所ＰＣ３０の表示部３３に表示される。

【0044】

また、本実施形態のデジタルタコグラフ１０は、例えば以下に示す（１）〜（４）のような運転支援機能を搭載している。
（１）自車両と先行車両との車間距離が近すぎる場合に警報を出力する機能。
（２）自車両が走行中の走行レーンの範囲を逸脱した場合に警報を出力する機能。
（３）自車両の走行速度が路面標示の制限速度を超えた場合に速度超過の警報を出力する機能。
（４）自車両の後退時などの状況において周囲の障害物等の存在を運転者に知らせる機能。

【0045】

上記（１）〜（４）の各機能を実現するためには、各車載カメラ２３、２３Ｂで撮影された映像の画像データを処理して、所定の画像認識を行う必要がある。すなわち、画像認識により先行車両の位置及び距離を特定したり、走行レーン境界の白線と自車両との相対位置を検出したり、路面標示の制限速度を検出したり、様々な障害物を検出することが必要になる。

【0046】

上記のような画像認識は、ＣＰＵ１１が組み込まれたプログラムに従って所定の認識アルゴリズムを実行することにより実現できる。しかし、処理対象の画像のデータ量が多い場合には、画像認識に要するＣＰＵ１１の負荷が非常に大きくなるので、リアルタイムでの処理が困難になり、検出の遅延が発生する可能性がある。特に、複数の車載カメラ２３、２３Ｂの映像を同時に処理したり、複数の認識対象を同時に検出するような場合には、遅延の発生が懸念される。そこで、本実施形態においては、画像認識を実行する際に、後述するように検知枠を設けて処理対象のデータ範囲を限定すると共に、車両の状態に応じて特別な処理を実施する。

【0047】

通信部２４は、広域通信を行い、携帯回線網（モバイル通信網）を介して無線基地局８に接続されると、無線基地局８と繋がるインターネット等のネットワーク７０を介して、事務所ＰＣ３０と通信を行う。電源部２５は、イグニッションスイッチのオン等によりデジタルタコグラフ１０の各部に電力を供給する。

【0048】

一方、事務所ＰＣ３０は、汎用のオペレーティングシステムで動作するＰＣ（パーソナルコンピュータ）により構成されている。事務所ＰＣ３０は、運行管理装置として機能し、ＣＰＵ３１、通信部３２、表示部３３、記憶部３４、カードＩ／Ｆ３５、操作部３６、出力部３７、音声Ｉ／Ｆ３８及び外部Ｉ／Ｆ４８を有する。

【0049】

ＣＰＵ３１は、事務所ＰＣ３０の各部を統括的に制御する。通信部３２は、ネットワーク７０を介してデジタルタコグラフ１０と通信可能である。また、通信部３２は、ネットワーク７０に接続された各種のデータベース（図示せず）とも接続可能であり、必要なデータを取得可能である。

【0050】

表示部３３は、運行管理画面の他、事故映像やハザードマップ等を表示する。記憶部３４は、デジタルタコグラフ１０から受信した映像を表示したり車両の位置情報を地図上に表示するためのシステム解析ソフトウェア等、各種プログラムを保持している。

【0051】

カードＩ／Ｆ３５には、メモリカード６５が挿抜自在に装着される。カードＩ／Ｆ３５は、デジタルタコグラフ１０によって計測され、メモリカード６５に記憶された運行データを入力する。操作部３６は、キーボードやマウス等を有し、事務所の管理者の操作を受け付ける。出力部３７は、各種データを出力する。音声Ｉ／Ｆ３８には、マイク４１及びスピーカ４２が接続される。事務所の管理者は、マイク４１及びスピーカ４２を用いて音声通話を行うことも可能であり、車両の事故が発生した場合、救急や警察等への連絡を行う。

【0052】

外部Ｉ／Ｆ４８には、外部記憶装置（ストレージメモリ）５４が接続される。外部記憶装置５４は、事故地点データベース（ＤＢ）５５、運行データＤＢ５６、ハザードマップＤＢ５７を保持する。事故地点データベース（ＤＢ）５５には、デジタルタコグラフ１０から送信される、事故発生時の車両のＧＰＳ位置情報（緯度，経度）が登録される。運行データＤＢ５６には、運行データとして、出入庫時刻、速度、走行距離等の他、急加減速、急ハンドル、速度オーバー、エンジン回転数オーバー等が記録される。ハザードマップＤＢ５７には、過去に事故が発生した地点（事故地点）を表すマークが地図に重畳して記述された地図データが登録される。なお、このハザードマップには、天災等の災害が想定される地域や避難場所等が記述されてもよい。

【0053】

ＣＰＵ３１は、ハザードマップＤＢ５７から指定された地域（例えば、事故地点を含む地域）のハザードマップを読み出して表示部３３に表示する際、事故地点ＤＢ５５に登録された事故地点のデータを取得し、ハザードマップ上にこれらの事故地点を表すマークを重畳し、新たなハザードマップを生成する。事務所の管理者は、最新の事故地点を地図（ハザードマップ）上で即座に視認できる。

【0054】

＜運転支援機能の詳細＞
運転支援機能を実現するためのデジタルタコグラフ１０の動作例を図２に示す。図２に示した動作は、デジタルタコグラフ１０内のＣＰＵ１１により短い時間周期で繰り返し実行される。

【0055】

ステップＳ２１では、各車載カメラ２３、２３Ｂの撮影した映像に相当する各フレームの画像データに対して所定の画像認識処理をＣＰＵ１１が実行する。但し、処理対象のデータは、各画像フレームの中で事前に定めた各検知枠の範囲内のみに限定する。各検知枠の範囲は、例えば検知枠テーブルＴ２Ａを参照することにより特定できる。検知枠テーブルＴ２Ａについては後で説明する。

【0056】

ステップＳ２２では、ＣＰＵ１１がＳ２１の認識結果を利用して、車間距離検出処理を実行する。すなわち、画像フレーム内で検出した先行車両の位置と、自車両との位置関係を把握し、画像上の距離と各カメラの撮影条件とに基づいて車間距離を算出する。更に、算出した車間距離を事前に定めた閾値と比較し、車間距離が近すぎる場合に車間距離の警報を出力する。

【0057】

ステップＳ２３では、ＣＰＵ１１がＳ２１の認識結果を利用して、レーン逸脱検出処理を実行する。すなわち、画像フレーム内で検出した走行レーン境界の白線の位置と、自車両の位置との左右方向の位置関係や距離を算出し、その結果を事前に定めた判定条件と比較することにより、車線逸脱の有無を識別する。そして、車線逸脱ありの場合は車線逸脱の警報を出力する。

【0058】

ステップＳ２４では、ＣＰＵ１１がＳ２１の認識結果を利用して、速度超過検出処理を実行する。すなわち、路面上の制限速度標示に基づき認識した制限速度と、自車両の現在の走行速度とを比較して速度超過の有無を識別する。そして、速度超過ありの場合は速度超過の警報を出力する。

【0059】

ステップＳ２５では、ＣＰＵ１１がＳ２１の認識結果を利用して、上記以外の検出処理を実行する。例えば、様々な障害物の有無、移動する物体の有無、道路上の各種境界位置などを検出する。そして、障害物や移動する物体への接近を検知した場合や、境界位置に自車両が接近したような場合に警報を出力する。

【0060】

＜画像フレームと検知枠との関係＞
互いに異なる車両の状態で得られる各画像フレーム１００Ａ、１００Ｂ、１００Ｃとその中に割り当てられる各検知枠との関係の具体例を図３（ａ）、図３（ｂ）、および図３（ｃ）にそれぞれ示す。

【0061】

車載カメラ２３、２３Ｂの撮影により得られる画像データをＣＰＵ１１が画像認識する際に、画像のデータ量が多いとＣＰＵ１１の処理の負荷が大きくなり、リアルタイムでの処理が困難になり、遅延が発生する。そこで、ＣＰＵ１１の処理の負荷を減らすために、処理対象のデータ量を削減する。具体的には、処理対象のデータの範囲を定める検知枠を設ける。

【0062】

また、特に後方を撮影する車載カメラ２３Ｂの画像を処理する場合には、車両の状態が「後退」、「停車」、「前進」のいずれであるかに応じて、最適化するように検知枠の総数、各検知枠の位置、各検知枠の大きさなどを変更する。すなわち、車両の状態が「後退」、「停車」、「前進」のいずれであるかに応じて、画像フレーム中で注目すべき重要な箇所がそれぞれ異なるので、車両の状態に合わせて変更することにより各検知枠を最小化することが可能であり、処理対象のデータ量を効果的に削減できる。

【0063】

図３（ａ）、図３（ｂ）、および図３（ｃ）は、それぞれ「後退」、「停車」、および「前進」の状態における各画像フレーム１００Ａ、１００Ｂ、１００Ｃとその中に割り当てられる各検知枠との関係との具体例を示している。

【0064】

図３（ａ）に示した画像フレーム１００Ａにおいては、このフレーム内の互いに異なる位置に、７つの互いに独立した矩形の検知枠Ｆ１１、Ｆ１２、Ｆ１３、Ｆ１４、Ｆ１５、Ｆ１６、Ｆ１７が割り当ててある。また、図３（ｂ）に示した画像フレーム１００Ｂにおいては、このフレーム内の互いに異なる位置に、５つの互いに独立した矩形の検知枠Ｆ２１、Ｆ２２、Ｆ２３、Ｆ２４、Ｆ２５が割り当ててある。また、図３（ｃ）に示した画像フレーム１００Ｃにおいては、このフレーム内の互いに異なる位置に、２つの互いに独立した矩形の検知枠Ｆ３１、Ｆ３２が割り当ててある。

【0065】

すなわち、自車両が後退する場合には、図３（ａ）に示した各検知枠Ｆ１１〜Ｆ１７のように、後方の映像における様々な箇所、つまり自車両後方周辺と進行方向先にそれぞれ注目することにより、後退時における安全を十分に確保できる。また、自車両が停車している時には、図３（ｂ）に示した各検知枠Ｆ２１〜Ｆ２５のように、後方の映像における近距離の自車両周辺にそれぞれ注目することにより、自車両が停車状態から動き始める際の安全を十分に確保できる。また、自車両が前進している時には、図３（ｃ）に示した検知枠Ｆ３１、Ｆ３２のように、後方の映像における近距離の左右脇のみに注目するだけで、後方側の安全を十分に確保できる。

【0066】

一方、自車両が前進している時には、車載カメラ２３Ｂが撮影した後方の映像と同時に、車載カメラ２３が撮影した前方の映像を認識することが不可欠であり、ＣＰＵ１１の処理の負荷が大きくなる。ここで、前方の映像と後方の映像を同時に処理すると、更にＣＰＵ１１の負荷が増大する。しかし、後方の映像の中で画像処理の対象範囲を図３（ｃ）に示した検知枠Ｆ３１、Ｆ３２のみに限定することにより、処理対象のデータ量が減り、負荷の増大を抑制できる。

【0067】

＜車両の状態に応じた検知枠の自動切替＞
車両の状態に応じて使用する検知枠を自動的に決定するためのデジタルタコグラフ１０の動作例を図４に示す。すなわち、デジタルタコグラフ１０のＣＰＵ１１が図４に示した動作を実行することにより、例えば図３（ａ）、図３（ｂ）、および図３（ｃ）に示したような検知枠の自動切替が実現する。図４の動作について以下に説明する。

【0068】

ステップＳ１１では、ＣＰＵ１１は、自車両の前進／後退を識別する。例えば、自車両の自動変速機から得られる変速信号の状態を参照することにより、自車両が前進、後退のいずれの状態であるのかを区別できる。

【0069】

ステップＳ１２では、ＣＰＵ１１は、自車両が停車しているか否かを識別する。例えば、自車両の現在の走行速度の情報と、ブレーキ信号の状態とに基づいて停車の有無を区別できる。

【0070】

ステップＳ１３では、ＣＰＵ１１は、Ｓ１１、Ｓ１２の結果に基づき、自車両が「後退」、「停車」、「前進」のいずれの状態であるのかを区別する。そして、「後退」の場合はＳ１３からＳ１４に進み、「停車」の場合はＳ１３からＳ１５に進み、「前進」の場合はＳ１３からＳ１６に進む。

【0071】

ステップＳ１４では、ＣＰＵ１１は、後退時の検知枠組合せを表す定数データを車両状態テーブルＴ１、および検知枠テーブルＴ２から取得する。車両状態テーブルＴ１、および検知枠テーブルＴ２については後で説明する。

【0072】

ステップＳ１５では、ＣＰＵ１１は、停車時の検知枠組合せを表す定数データを車両状態テーブルＴ１、および検知枠テーブルＴ２から取得する。また、ステップＳ１６では、ＣＰＵ１１は、前進時の検知枠組合せを表す定数データを車両状態テーブルＴ１、および検知枠テーブルＴ２から取得する。

【0073】

ステップＳ１７では、ＣＰＵ１１は、Ｓ１４、Ｓ１５、Ｓ１６のいずれかで取得した検知枠組合せの定数データを、検知枠テーブルＴ２Ａに書き込む。この検知枠テーブルＴ２Ａの内容が、図２に示したステップＳ２１の処理で使用する検知枠に反映される。なお、検知枠テーブルＴ２Ａを省略し、検知枠テーブルＴ２の中の一部分をＳ２１の処理で選択的に使用するように変更してもよい。

【0074】

＜テーブルＴ１、Ｔ２の構成例＞
デジタルタコグラフが参照する車両状態テーブルＴ１の構成例を図５に示す。また、デジタルタコグラフが参照する検知枠テーブルＴ２の構成例を図６に示す。

【0075】

図５に示した車両状態テーブルＴ１は、「後退」、「停車」、「前進」のそれぞれの状態と、検知枠数Ｎ１と、検知枠先頭の番号Ｎ２との関係を表す定数データを保持している。図５の車両状態テーブルＴ１においては、図３（ａ）に示した例と同じように後退時の検知枠数Ｎ１が「７」になっている。また、図３（ｂ）に示した例と同じように、停車時の検知枠数Ｎ１が「５」になっている。また、図３（ｃ）に示した例と同じように、前進時の検知枠数Ｎ１が「２」になっている。

【0076】

図６に示した検知枠テーブルＴ２は、多数の検知枠のそれぞれについて、番号Ｎ３、基準位置Ｐ、検知枠サイズＳの関係を表す定数データを保持している。この検知枠テーブルＴ２においては、例えば、番号Ｎ３が「１」の検知枠は、基準位置ＰがＰ１であり、Ｘ軸方向のサイズがＳｘ１、Ｙ軸方向のサイズがＳｙ１であることを表す定数データが割り当ててある。

【0077】

例えば、図５に示した車両状態テーブルＴ１における検知枠先頭の番号Ｎ２１が「１」の場合には、検知枠テーブルＴ２における番号Ｎ３が「１」〜「７」の範囲内の定数データが、後退時の検知枠の組合せとして図４のＳ１４で選択される。したがって、図３（ａ）に示した７つの検知枠Ｆ１１〜Ｆ１７の各々のフレーム内の位置および縦／横の各サイズをそれぞれ特定できる。

【0078】

また、図５に示した車両状態テーブルＴ１における検知枠先頭の番号Ｎ２２が「８」の場合には、検知枠テーブルＴ２における番号Ｎ３が「８」〜「１２」の範囲内の定数データが、停車時の検知枠の組合せとして図４のＳ１５で選択される。したがって、図３（ｂ）に示した５つの検知枠Ｆ２１〜Ｆ２５の各々のフレーム内の位置および縦／横の各サイズをそれぞれ特定できる。

【0079】

また、図５に示した車両状態テーブルＴ１における検知枠先頭の番号Ｎ２３が「１３」の場合には、検知枠テーブルＴ２における番号Ｎ３が「１３」〜「１４」の範囲内の定数データが、前進時の検知枠の組合せとして図４のＳ１６で選択される。したがって、図３（ｃ）に示した２つの検知枠Ｆ３１〜Ｆ３２の各々のフレーム内の位置および縦／横の各サイズをそれぞれ特定できる。

【0080】

検知枠テーブルＴ２の中からＳ１４、Ｓ１５、Ｓ１６のいずれかで抽出した一部のデータが検知枠テーブルＴ２Ａに書き込まれ、この検知枠テーブルＴ２Ａの内容が図２のステップＳ２１の処理に反映される。したがって、自車両の状態が「後退」、「停車」、「前進」のいずれであるかに応じて、図３（ａ）、図３（ｂ）、図３（ｃ）に示したように実際に使用する検知枠の数、位置、大きさなどを自動的に切り替えることができる。

【0081】

車両状態テーブルＴ１および検知枠テーブルＴ２は、不揮発メモリ２６Ａ上の記憶領域に配置され、これらが保持する各定数データは必要に応じて変更される。例えば、車載カメラ２３Ｂを自車両に新たに設置したり位置などを変更する際に、デジタルタコグラフ１０の各パラメータを調整するための特別なソフトウェアをＣＰＵ１１で実行することにより、管理者が車両状態テーブルＴ１および検知枠テーブルＴ２を更新できる。

【0082】

＜変形の可能性＞
図３（ａ）、図３（ｂ）、図３（ｃ）に示した例では、後方を撮影する車載カメラ２３Ｂの映像を処理する場合の検知枠だけを想定しているが、前方を撮影する車載カメラ２３や、車両側方、あるいは車室内を撮影する他の車載カメラの映像を処理する場合にも、同じような検知枠を適用して処理対象のデータ量を減らすことが想定される。そして、例えば自車両が後退する場合には、前方の映像を認識する処理が使用する検知枠の数やサイズを削減することにより、ＣＰＵ１１の負荷を低減し、後方の映像を認識する処理における遅延の発生を抑制できる。

【0083】

＜デジタルタコグラフ１０の利点＞
図１に示したデジタルタコグラフ１０においては、運転支援機能を実現するために、図２に示した動作を実行する際に、例えば自車両が前進している時には、ステップＳ２１で検知枠を用いることにより、後方の映像の処理にかかるＣＰＵ１１の負荷を大幅に低減できる。その結果、前方を撮影した映像に基づいて複数種類の運転支援機能（車間距離の警報、車線逸脱の警報、速度超過の警報など）を同時に実現しようとする場合であっても、高性能のＣＰＵを用いることなく、遅延のないリアルタイムの処理が可能になる。また、例えば自車両が後退するときには、後方の映像を処理する際に使用する検知枠の数を図３（ａ）のようにＳ１４で増やすことができるので、後方の安全性を十分に確保できる。

【0084】

ここで、上述した本発明の実施形態に係る車載器および運転支援装置の特徴をそれぞれ以下［１］〜［５］に簡潔に纏めて列記する。
［１］ 車両に搭載された１つ以上の車載カメラ（２３，２３Ｂ）が出力する映像信号を入力して処理する画像処理部（ＣＰＵ１１，Ｓ２１）と、
前記車両における走行の有無および進行方向の少なくとも一方の状態を検知する車両状態検知部（ＣＰＵ１１，Ｓ１１，Ｓ１２）と、
前記画像処理部が処理する前記映像信号内の領域を動的に決定する画像領域決定部（ＣＰＵ１１，Ｓ１３〜Ｓ１６）と、
を有し、
前記画像領域決定部は、前記車両状態検知部の検知状態を反映して、前記領域を自動的に変更する（Ｓ１７，Ｓ２１）、
ことを特徴とする車載器。

【0085】

［２］ 前記画像領域決定部は、
前記映像信号内に事前に割り当てた複数の二次元領域（検知枠Ｆ１１〜Ｆ１７，Ｆ２１〜Ｆ２５，Ｆ３１，Ｆ３２）の各々の位置および大きさを表す定数データを保持する定数保持部（検知枠テーブルＴ２）を有し、
前記複数の二次元領域の中から、前記車両状態検知部の検知状態に応じて選択した１つ以上の二次元領域を、前記画像処理部が処理する前記映像信号内の領域として割り当てる（Ｓ１７）、
ことを特徴とする上記［１］に記載の車載器。

【0086】

［３］ 前記画像領域決定部は、前記車両状態検知部の検知状態に応じて、前記複数の二次元領域の中から選択する二次元領域の数およびその組み合わせを自動的に決定する（Ｓ１３〜Ｓ１６）、
ことを特徴とする上記［２］に記載の車載器。

【0087】

［４］ 前記画像領域決定部は、前記車両状態検知部の検知状態に基づいて、前記車両の前進、後退、および停止のいずれかの状態を認識し、認識した前記車両の状態に応じて前記領域を自動的に変更する（Ｓ１３〜Ｓ１６）、
ことを特徴とする上記［１］乃至［３］のいずれかに記載の車載器。

【0088】

［５］ 上記［１］乃至［４］のいずれかに記載の車載器と、
前記画像処理部が前記映像信号の中から認識した結果と、事前に定めた判定基準とに基づいて、前記車両の安全運転を支援する警報を生成する警報生成部（Ｓ２２〜Ｓ２５）と、
を備えたことを特徴とする運転支援装置。

【符号の説明】

【0089】

５ 運行管理システム
８ 無線基地局
１０ デジタルタコグラフ
１１、３１ ＣＰＵ
１２Ａ 速度Ｉ／Ｆ
１２Ｂ エンジン回転Ｉ／Ｆ
１３ 外部入力Ｉ／Ｆ
１４ センサ入力Ｉ／Ｆ
１５ ＧＰＳ受信部
１５ａ ＧＰＳアンテナ
１６ カメラＩ／Ｆ
１７ 記録部
１８ カードＩ／Ｆ
１９ 音声Ｉ／Ｆ
２０、４２ スピーカ
２１ ＲＴＣ
２２ ＳＷ入力部
２３ 車載カメラ
２４、３２ 通信部
２５ 電源部
２６Ａ 不揮発メモリ
２６Ｂ 揮発メモリ
２７ 表示部
２８ Ｇセンサ
２９ アナログ入力Ｉ／Ｆ
３０ 事務所ＰＣ
３３ 表示部
３４ 記憶部
３５ カードＩ／Ｆ
３６ 操作部
３７ 出力部
３８ 音声Ｉ／Ｆ
４１ マイク
４８ 外部Ｉ／Ｆ
５１ 車速センサ
５４ 外部記憶装置
５５ 事故地点ＤＢ
５６ 運行データＤＢ
５７ ハザードマップＤＢ
６５ メモリカード
７０ ネットワーク
１００Ａ，１００Ｂ，１００Ｃ 画像フレーム
Ｆ１１，Ｆ１２，Ｆ１３，Ｆ１４，Ｆ１５，Ｆ１６，Ｆ１７ 検知枠
Ｆ２１，Ｆ２２，Ｆ２３，Ｆ２４，Ｆ２５，Ｆ３１，Ｆ３２ 検知枠
Ｔ１ 車両状態テーブル
Ｔ２，Ｔ２Ａ 検知枠テーブル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】