特開 2016-142647 画像処理装置、および車両システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2016-142647(P2016-142647A)

(43)【公開日】2016年8月8日

(54)【発明の名称】画像処理装置、および車両システム

(51)【国際特許分類】

   G01B 11/00 20060101AFI20160711BHJP

   G08G 1/16 20060101ALI20160711BHJP

   G01C 3/06 20060101ALI20160711BHJP

   G06T 1/00 20060101ALI20160711BHJP

【ＦＩ】

   G01B11/00 H

   G08G1/16 C

   G01C3/06 120S

   G06T1/00 330B

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

【全頁数】21

(21)【出願番号】特願2015-19039(P2015-19039)

(22)【出願日】2015年2月3日

(71)【出願人】

【識別番号】000001487

【氏名又は名称】クラリオン株式会社

(74)【代理人】

【識別番号】100084412

【弁理士】

【氏名又は名称】永井 冬紀

(74)【代理人】

【識別番号】100121360

【弁理士】

【氏名又は名称】粟田 照久

(74)【代理人】

【識別番号】100149157

【弁理士】

【氏名又は名称】関根 創史

(72)【発明者】

【氏名】中村 克行

(72)【発明者】

【氏名】秋山 靖浩

(72)【発明者】

【氏名】緒方 健人

(72)【発明者】

【氏名】内田 吉孝

【テーマコード（参考）】

2F065

2F112

5B057

5H181

【Ｆターム（参考）】

2F065AA04

2F065AA06

2F065AA17

2F065BB05

2F065BB15

2F065CC11

2F065DD03

2F065DD04

2F065EE08

2F065FF01

2F065FF04

2F065FF64

2F065FF66

2F065JJ03

2F065JJ05

2F065JJ26

2F065QQ31

2F065QQ33

2F065QQ34

2F065QQ38

2F065QQ41

2F065SS09

2F112AD05

2F112BA06

2F112BA07

2F112CA05

2F112CA12

2F112FA03

2F112FA32

2F112FA33

2F112FA35

2F112FA38

2F112FA41

5B057AA16

5B057CA08

5B057CA12

5B057CA16

5B057DA08

5B057DA11

5B057DA15

5B057DB02

5B057DB09

5B057DC04

5B057DC05

5B057DC06

5B057DC09

5B057DC22

5B057DC33

5H181AA01

5H181CC04

5H181LL04

5H181LL07

5H181LL08

(57)【要約】      （修正有）

【課題】単光源を搭載したバイクや自転車を含む様々な車両までの距離を算出できる画像処理装置、および車両システムを提供する。
【解決手段】画像処理装置１０は、レンズを備える撮像部により計測対象車両である対向車両に搭載されたヘッドライトを含む被写体を撮影して得られた画像が入力される画像入力部１０１と、画像から輝度が所定値よりも高い領域をヘッドライトに対応する光源領域として抽出する高輝度領域検出部１０２と、抽出された光源領域に基づき、画像において光源の中心位置に対応する光源中心を算出する光源中心算出部１０４と、光源中心の位置およびレンズの焦点距離に基づき、撮像部から計測対象車両までの距離を算出する実距離算出部１０５とを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

レンズを備える撮像部により計測対象車両に搭載された光源を含む被写体を撮影して得られた画像が入力される画像入力部と、
前記画像から輝度が閾値よりも高い領域を前記光源に対応する光源領域として抽出する高輝度領域検出部と、
前記光源領域に基づき、前記画像において前記光源の中心位置に対応する光源中心を算出する光源中心算出部と、
前記光源中心の位置および前記レンズの焦点距離に基づき、前記撮像部から前記計測対象車両までの距離を算出する実距離算出部と、を備える画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記光源中心算出部は、前記光源領域の重心点、または、前記光源領域の近傍において輝度が極大値を有する点を前記光源中心とする、画像処理装置。

【請求項3】

請求項１または２に記載の画像処理装置において、
前記高輝度領域検出部は、前記計測対象車両に搭載された一対の光源を含む複数の光源にそれぞれ対応する複数の光源領域を抽出し、
前記一対の光源の設置間隔に対応して予め設定された値、および前記光源中心の位置に基づき、前記高輝度領域検出部が検出した各光源領域について、当該光源領域とペアとなるべき他の光源領域の探索範囲を算出する光源間距離算出部と、
前記光源間距離算出部が算出した前記探索範囲に基づき、前記複数の光源領域の中から前記一対の光源に対応する一対の光源領域を探索し、その探索結果に基づいて前記計測対象車両を検出する車両検出部と、をさらに備える画像処理装置。

【請求項4】

請求項３に記載の画像処理装置において、
前記車両検出部は、前記複数の光源領域の形状および幾何的関係に基づき、前記複数の光源領域についての評価値をそれぞれ算出し、算出した前記評価値および前記探索範囲に基づき、前記複数の光源領域の中から前記一対の光源に対応する一対の光源領域を探索する画像処理装置。

【請求項5】

請求項３に記載の画像処理装置において、
前記車両検出部が検出した前記計測対象車両を時系列で対応付けて追跡する車両追跡部をさらに備える画像処理装置。

【請求項6】

請求項３に記載の画像処理装置において、
前記画像の歪みを補正する歪み補正部をさらに備える画像処理装置。

【請求項7】

請求項５に記載の画像処理装置において、
前記撮像部は速度および操舵角を計測するセンサを備える計測車両に搭載され、
前記画像処理装置は、前記センサの出力を受けるセンサ入力部をさらに備え、
前記車両追跡部は、前記センサの出力に基づき前記計測車両の移動量および旋回量を算出し、算出した前記移動量と前記旋回量を用いて前記計測対象車両の追跡を行う画像処理装置。

【請求項8】

請求項１に記載の画像処理装置において、
前記光源領域の形状を光点パターン・混合パターン・光線パターンのいずれかに分類する形状分類部をさらに備え、
前記光源中心算出部は、前記形状分類部により分類された前記光源領域の形状が前記光線パターンだった場合には当該光源領域の中心位置を算出しない、画像処理装置。

【請求項9】

請求項１に記載の画像処理装置を搭載する計測車両と、
当該計測車両の周囲を撮像する撮像部と、
前記撮像部が撮影して得られた画像に基づき、当該計測車両に接近する前記計測対象車両と衝突する危険度を算出する危険度算出部と、
前記危険度が所定の値以上である場合に、衝突を回避するように当該計測車両を制御する衝突回避部と、を備える車両システム。

【請求項10】

請求項９に記載の車両システムにおいて、
前記計測車両は、速度および操舵角を計測するセンサをさらに備え、
前記危険度算出部は、前記センサの出力に基づき前記計測車両の移動量および旋回量を算出し、前記撮像部が撮影して得られた画像、前記移動量、および前記旋回量に基づき当該計測車両に接近する前記計測対象車両と衝突する危険度を算出する、車両システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、および画像処理装置を備える車両システムに関する。

【背景技術】

【0002】

交通事故による死傷者数を低減するため、事故を未然に防ぐ予防安全システムの開発が進められている。予防安全システムは、事故の発生する可能性が高い状況下で作動するシステムである。例えば、自車に取り付けられたカメラによって他の車両を検出し、他の車両と衝突する可能性が生じたときには警報によって運転者に注意を促すシステムや、ブレーキ制御やステアリング制御を行うシステムが実用化されている。
こうしたシステムの実現形態として、車両に取り付けられた前方カメラから対向車両のヘッドライトを撮影し、ヘッドライトの間隔から自車と対向車両との距離を算出する装置が知られている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平８−１６６２２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載されている発明では、単光源を搭載したバイクや自転車などの車両までの距離を算出できない。

【課題を解決するための手段】

【0005】

本発明にかかる画像処理装置は、レンズを備える撮像部により計測対象車両に搭載された光源を含む被写体を撮影して得られた画像が入力される画像入力部と、画像から輝度が閾値よりも高い領域を光源に対応する光源領域として抽出する高輝度領域検出部と、光源領域に基づき、画像において光源の中心位置に対応する光源中心を算出する光源中心算出部と、光源中心の位置およびレンズの焦点距離に基づき、撮像部から計測対象車両までの距離を算出する実距離算出部と、を備える。
本発明にかかる車両システムは、上述する画像処理装置を搭載する計測車両と、当該計測車両の周囲を撮像する撮像部と、撮像部が撮影して得られた画像に基づき、当該計測車両に接近する計測対象車両と衝突する危険度を算出する危険度算出部と、危険度が所定の値以上である場合に、衝突を回避するように当該計測車両を制御する衝突回避部と、を備える。

【発明の効果】

【0006】

本発明によれば、単光源を搭載したバイクや自転車を含む様々な車両までの距離を算出できる。

【図面の簡単な説明】

【0007】

【図1】計測車両の構成を示すブロック図である。

【図2】画像処理装置の機能ブロック図である。

【図3】光源形状の分類の説明図である。

【図4】光源中心算出部における検出の説明図である。

【図5】撮像素子およびレンズと、光源中心との位置関係を示す正面図である。

【図6】ペアとなる２つの光源の距離と、撮像素子に結像する２つの光源の距離との関係を示す図である。

【図7】画像処理装置の動作を表すフローチャートである。

【図8】変形例３における、光源の異なる形状の例を示す図である。

【図9】変形例４における、車道の走行方向に勾配がある場合の例を示す図である。

【図10】第２の実施の形態における計測車両の構成を示すブロック図である。

【図11】撮像部を構成する４つのカメラの撮影範囲を示す図である。

【図12】第２の実施の形態における画像処理装置の機能ブロック図である。

【発明を実施するための形態】

【0008】

（第１の実施の形態）
以下、図１〜７を参照して、本発明にかかる画像処理装置の第１の実施の形態を説明する。
当該画像処理装置は、車道を走行する計測車両に搭載され、対向車両のヘッドライトから発せられる光を解析対象とする。第１の実施の形態では、対向車両を計測対象車両として、対向車両の備えるヘッドライトの間隔、および設置高さは全て既知の一定値として扱う。すなわち、第１の実施の形態では、全ての対向車両のヘッドライトの間隔は第１の既定値であり、全ての対向車両のヘッドライトの設置の高さは第２の既定値である。また、計測車両および対向車両が走行する車道は、走行方向および車幅方向に勾配がないものとする。

【0009】

図１は、第一の実施形態による画像処理装置１０と、画像処理装置１０を備える計測車両１の構成を示すブロック図である。計測車両１は、画像処理装置１０と、撮像部２０と、報知部３０とを備える。撮像部２０は、計測車両１の周囲を撮影し、撮影して得られた画像を画像処理装置１０に出力する。画像処理装置１０は、計測車両１の対向車両に搭載された一対のヘッドライトを含む被写体を撮像部２０が撮影した場合に、撮像部２０から入力された画像から対向車両を検出し、検出した対向車両までの距離に関する車両情報を報知部３０に出力する。報知部３０は、画像処理装置１０の出力に基づき計測車両１のドライバーに報知を行う。

【0010】

画像処理装置１０の構成は、後に図２を参照して説明する。
撮像部２０は、レンズ２１と撮像素子２２とを備える。被写体から発せられた光がレンズ２１を通過して撮像素子２２に結像する。レンズ２１の焦点距離ｆは、後述するように既知である。撮像素子２２の大きさ、たとえば２０ｍｍ×１５ｍｍ、および画素数、たとえば２０００画素×１５００画素、は既知である。

【0011】

撮像素子２２の大きさおよび画素数が既知なので、画像処理装置１０は、撮影して得られた画像を用いて、撮像素子２２に結像した被写体の位置を算出できる。たとえば、画像上のある点が画像の中心から１００画素ずれていた場合に、その点に対応する像は撮像素子２２の中心から１ｍｍずれた位置に結像した、と算出できる。そのため以下では、撮像部２０が出力する画像と撮像素子２２に結像する像とは相互に変換可能であり、画像上の長さと結像における長さも相互に変換可能であるとする。
報知部３０は、ディスプレイおよびスピーカから構成される。報知部３０は、画像処理装置１０が出力する車両情報に基づいて、対向車両までの距離を、ディスプレイを用いた映像の表示、およびスピーカを用いた音声により、計測車両１のドライバーに報知する。

【0012】

（画像処理装置の概要）
画像処理装置１０は、ＣＰＵ、ＲＡＭ、およびＲＯＭから構成される。ＣＰＵが、ＲＯＭに格納されるプログラムをＲＡＭに展開して実行する。実行される機能を細分化して説明する。図２を参照して画像処理装置１０の機能を説明する。
図２は、画像処理装置１０が備える機能を細分化し、機能ブロックとして表したブロック図である。画像処理装置１０は、画像入力部１０１と、高輝度領域検出部１０２と、形状分類部１０３と、光源中心算出部１０４と、実距離算出部１０５と、光源間距離算出部１０６と、車両検出部１０７とを備える。

【0013】

各ブロックの機能の概要を説明する。
画像入力部１０１は、撮像部２０から画像を取り込み、高輝度領域検出部１０２に出力する。すなわち、画像入力部１０１は、画像処理装置１０の入力インタフェースである。
高輝度領域検出部１０２は、画像入力部１０１から出力された画像から輝度が所定値よりも高い、１または複数の画像上の領域（以後、高輝度領域、と呼ぶ）を抽出する。この高輝度領域は、ヘッドライトから発せられた光、およびそれ以外の光、たとえば街灯から発せられた光を含む領域である。すなわち、高輝度領域検出部１０２は、計測車両１の周囲に存在する様々な光源に対応する光源領域として、画像から高輝度領域を抽出する。高輝度領域検出部１０２は、ノイズを除去する棄却処理を行い、残った高輝度領域を形状分類部１０３に出力する。ただし、形状分類部１０３に出力する高輝度領域が、ヘッドライト以外から発せられた光により形成された可能性がある。

【0014】

形状分類部１０３は、高輝度領域検出部１０２から出力された高輝度領域を、その形状から３つに分類し、光源中心算出部１０４に出力する。
光源中心算出部１０４は、高輝度領域検出部１０２が検出したそれぞれの高輝度領域を対象として、形状分類部１０３の分類した形状に応じて、光源の中心位置に対応する光源中心を算出し、実距離算出部１０５に出力する。すなわち、高輝度領域検出部１０２が高輝度領域として抽出した各光源領域は、様々な光源から発せられた光によって形成されたものであるため、当該光源近傍の高い輝度を有する領域であると仮定できる。そのため、光源中心算出部１０４は、各高輝度領域（光源領域）の中で、当該光源の中心位置に対応する画像上の位置を光源中心として算出する。

【0015】

実距離算出部１０５は、光源中心算出部１０４が算出したそれぞれの高輝度領域における光源中心の画像上の位置に基づいて、当該画像を撮影した撮像部２０と光源との実空間上での距離を算出し、光源間距離算出部１０６に出力する。
光源間距離算出部１０６は、高輝度領域検出部１０２が検出した各高輝度領域について、当該高輝度領域とペアとなるべき高輝度領域の探索範囲を算出する。具体的には、光源間距離算出部１０６は、当該高輝度領域が対向車両に搭載された一対のヘッドライトの一方に対応する光源領域であると仮定した場合に、他方のヘッドライトに対応する光源領域が画像上で存在すべき範囲を、探索範囲として算出する。より具体的には、光源間距離算出部１０６は、光源中心算出部１０４が算出した各高輝度領域の光源中心を基準として、そこから一対のヘッドライトの間隔に対応する画像上の距離（以後、ヘッドライト画像間隔、と呼ぶ）を探索範囲として算出し、車両検出部１０７に出力する。すなわち、探索範囲は、対向車両に搭載された一対のヘッドライトの実空間上の設置間隔（以後、ヘッドライト実間隔、と呼ぶ）に基づいて算出される。

【0016】

車両検出部１０７は、光源間距離算出部１０６が算出した探索範囲を制約条件として、高輝度領域検出部１０２が抽出した複数の高輝度領域の中から、１台の対向車両のヘッドライトに対応する一対の光源領域を探索する。ペアとなる光源領域が探索された場合には、それらを対向車両として検出し、実距離算出部１０５が算出した距離に基づいて、対向車両までの距離に関する車両情報を出力する。そのため、高輝度領域検出部１０２が抽出した高輝度領域が、ヘッドライト以外から発せられた光により形成されていた場合は、ペアとなる光源が存在せず、対向車両を過検出することがない。

【0017】

以下に各ブロックの機能の詳細を説明する。
（高輝度領域検出部）
高輝度領域検出部１０２は、画像入力部１０１から出力された画像に対して、所定の輝度値を閾値として２値化処理を行う。この２値化処理により、複数の高輝度の領域と複数の低輝度の領域が生成される。しかし、２値化処理で生成された高輝度領域は、対向車両のヘッドライトにより生成された高輝度領域以外も含むため、以下の２つの棄却処理を行う。

【0018】

１つめの棄却処理として、高輝度領域検出部１０２は、撮像部２０の取付位置およびレンズ２１の光学的特性に基づき、対向車両が撮影されることのない領域、たとえば水平線よりも所定の角度以上高い位置にある領域を削除する。対向車両が撮影されることのない領域は、既知である撮像部２０が計測車両１に取り付けられている姿勢に基づき決定される。２つ目の棄却処理として、高輝度領域検出部１０２は、２値化処理により高輝度に分類された領域のうち、所定の面積、たとえば１０画素未満の領域を削除する。面積が極端に小さい領域はノイズの可能性が高いからである。
高輝度領域検出部１０２は、棄却処理後の高輝度の領域を形状分類部１０３に出力する。

【0019】

（形状分類部）
形状分類部１０３は、それぞれの高輝度領域の特徴量を算出し、その特徴量に基づいて領域形状を判断することで、各高輝度領域を光点・光線・混合の３つのいずれかの形状パターンに分類する。光点パターンとは円形の領域のことである。光線パターンとは、直線状や細い楕円状の領域のことである。混合パターンとは、光点と光線のパターンが組み合わさり、円形の領域と当該領域からはみ出す楕円形の領域をあわせた領域のことである。

【0020】

図３は、光源形状の分類の説明図である。
図３（ａ）は、公道を走行する車両２００と、そのヘッドライト２０１、およびヘッドライト２０２の位置の一例を示す図である。公道を走行する車両２００は、法定基準を満たすようにヘッドライトをはじめとする灯火類を備える。車両２００は、図３（ａ）のヘッドライト２０１、およびヘッドライト２０２のように、車両前面のある高さにおいて、左右の両端にヘッドライトを備える。画像処理装置１０は、ヘッドライト２０１、およびヘッドライト２０２から照射された光を主な処理対象とする。

【0021】

図３（ｂ）、図３（ｃ）、図３（ｄ）は、それぞれ本発明の画像処理装置１０が分類する、ヘッドライトから照射された光の形状パターンを示す図である。形状分類部１０３は、高輝度領域検出部１０２が検出した領域を、同図に示した３つの形状パターンに分類する。図３（ｂ）は、光源の光がほぼ円形のまま光源周辺に放射状に広がった形状パターンの例であり、前述の光点パターンに対応する。図３（ｃ）は、光源の光が特定の一方向に伸びている形状パターンの例であり、前述の光線パターンに対応する。図３（ｄ）は、光源の光が光点と光線を組合せた形状パターンの例であり、前述の混合パターンに対応する。

【0022】

形状分類部１０３が算出する光源特徴量は、各光源の重心座標、水平サイズ、垂直サイズ、アスペクト比、面積、固有ベクトル、固有値などである。固有ベクトルおよび固有値は主成分分析により算出する。形状分類部１０３は、算出した特徴量に基づき光源形状を、光点・光線・混合の３パターンに分類する。具体的には、まず各光源の形状を定量化するために第一成分の固有値と第二成分の固有値の比を算出する。固有値は各固有ベクトル方向の分散度合いに対応するため、前記比は円形度を定量化することに対応する。ここで、比が大きければ線状のパターンに相当するため、「光線」パターンへと分類する。

【0023】

次に、光線に分類されなかった光源に対して、上半分と下半分の光源特徴量をそれぞれ算出する。このようにして算出された上下の光源特徴量に関して、上部と下部の特徴量の差が閾値以上の場合は、「混合」パターンに分類する。逆に、特徴量の差が閾値未満の場合は、「光点」パターンに分類する。
撮像部２０による撮影時の周辺光条件や車両位置条件によっては、図３（ｂ）、図３（ｃ）、図３（ｄ）の形状パターンに必ずしも完全一致しない可能性もある。その場合は、図３（ｂ）、図３（ｃ）、図３（ｄ）のいずれかに最も近い形状パターンに分類する。

【0024】

（光源中心検出部）
光源中心算出部１０４は、高輝度領域検出部１０２が検出したそれぞれの高輝度領域に対して、形状分類部１０３が出力する分類を用いて、画像上の光源中心を算出する。光源中心とは、光源であるヘッドライトの画像上の中心位置であり、高輝度領域検出部１０２が検出した全ての高輝度領域はヘッドライトが照射した光により形成されていると仮定して算出される。

【0025】

図４は、光源中心算出部１０４における、光点パターン、および混合パターンの光源中心の検出の説明図である。
光源中心算出部１０４は、高輝度領域の形状パターンが光線パターンの場合は、光源中心の検出は行わない。この場合、高輝度領域は、車両ヘッドライトや他の光源から生じたフレア、または車両ヘッドライトが路面に反射した細長い光などのノイズ光によって形成された可能性が高く、ヘッドライトの光源中心を含まないためである。
図４（ａ）は、高輝度領域の形状パターンが光点パターンの場合に検出される光源中心の例である。光点パターンは、光源からの光が光源周辺に放射状に広がった形状パターンである。そのため、高輝度領域の重心を算出し、これを光源中心とする。

【0026】

図４（ｂ）は、高輝度領域の形状パターンが混合パターンの場合に検出される光源中心の例である。混合パターンは、光源から特定の一方向に光線が細長く伸びた形状を含むために、高輝度領域の重心と光源中心とが一致しない。そこで、算出した高輝度領域の重心を始点とし、円形のテンプレートマッチングにより光源中心を求める。たとえば、まず高輝度領域の重心をテンプレートの中心としてテンプレートの一致の度合いを評価する。次にテンプレートの中心位置を様々な方向に移動させてテンプレートの一致の度合いを評価し、より一致の度合いが高くなるように次々に中心位置を移動する。当該位置を中心とした所定範囲、たとえば３画素以内の範囲において、当該位置を中心とした一致度が最も高い場合に、その位置を光源中心とする。

【0027】

（実距離算出部）
実距離算出部１０５は、光源中心算出部１０４が検出したそれぞれの光源中心に対応する光源と、当該画像を撮影した撮像部２０との実空間上の距離を算出する。距離算出の方法はカメラ幾何に基づく。
図５を用いて距離の算出手法を説明する。
図５は、撮像部２０を構成する撮像素子２２およびレンズ２１と、光源との位置関係を示す側面図である。図５では、対向車両の光源の中心位置から発せられた光がレンズ２１を通過し、撮像素子２２の上に光源中心像を形成している。光源から発せられた光がレンズ２１へ入射する入射角と、その光がレンズ２１から撮像素子２２に向かう出射角とが等しいので、三角形の相似によりレンズ２１から光源までの距離Ｚは、以下の（式１）のように算出できる。

【0028】

【数1】

ただし、ＨＣは地面からレンズ２１の中心までの設置高さ、ｆはレンズ２１の焦点距離、ＨＬは地面から光源までの高さである。ｈは撮像素子２２における消失点から光源中心像まで、すなわち光源からの光による撮像素子２２上の結像点までの距離である。たとえば、撮像素子の高さ方向のサイズが１０ｍｍ、撮像素子の高さ方向の画素数が１０００画素であり、光源中心が撮像素子２２に結像する消失点から２００画素上方に結像していた場合、ｈは２ｍｍである。以下では、消失点は撮像素子２２の高さ方向の一定の位置に存在するとして説明を続ける。

【0029】

撮像部２０は、計測車両１に搭載した状態でキャリブレーションが行われているので、設置高さＨＣおよび姿勢（ロール角、ピッチ角、ヨー角）は既知であり、レンズ２１の焦点距離も既知である。また、光源の中心位置の高さＨＬは、安全上の基準により所定の範囲内に収められており、第１の実施の形態では既知としている。そのため、式１の右辺における未知数はｈのみであるが、上述したように、撮影して得られる画像からｈは算出可能である。したがって、撮影して得られる画像からｈを算出することで、レンズ２１から光源までの距離Ｚを算出できる。

【0030】

（光源間距離算出部）
光源間距離算出部１０６は、各高輝度領域についてペアとなるべき高輝度領域の探索範囲として、１台の車両が備える左右のヘッドライトからの光を撮影した場合に形成される２つの光源領域同士の画像上の距離、すなわちヘッドライト画像間隔を算出する。具体的には、画像上のある高輝度領域（以後、注目領域、と呼ぶ）に注目した際に、注目領域とペアになる領域（以後、ペア領域、と呼ぶ）と注目領域との画像上の距離を算出する。

【0031】

図６を用いてヘッドライト画像間隔の算出手法を説明する。
図６は、２つのヘッドライト間の実空間上の距離、すなわちヘッドライト実間隔と、２つのヘッドライトからの光により撮像素子上にそれぞれ結像される２つの結像点間の実空間上の距離（以下、ヘッドライト結像間隔、と呼ぶ）との関係を示す図である。図６に示すように、ヘッドライト結像間隔Ｌ、レンズ２１の焦点距離ｆ、レンズ２１と光源との距離Ｚ、ペアとなる２つの光源間の実空間上の距離であるヘッドライト実間隔Ｗ、の関係は式２により表される。なお、図６の右下にあるように、撮像素子２２に結像した２つの結像点によるヘッドライト光の撮影像の画像上の間隔が、ヘッドライト画像間隔Ｐである。

【数2】

さらに、ヘッドライト結像間隔Ｌは、式１と式２を連立させて得られる以下の式３により表される。

【0032】

【数3】

ヘッドライト実間隔Ｗは、所定の範囲、たとえば１．５ｍ〜２．５ｍの範囲にあり、本実施の形態では既知の値である。そのため、これらの値を用いてヘッドライト結像間隔Ｌを算出する。
さらに光源間距離算出部１０６は、既知である撮像素子２２の大きさに基づき、算出したヘッドライト結像間隔Ｌを、ペアとなるべき高輝度領域の探索範囲としてのヘッドライト画像間隔Ｐに変換して車両検出部１０７に出力する。

【0033】

（車両検出部）
車両検出部１０７は、光源間距離算出部１０６が算出したヘッドライト画像間隔Ｐを探索範囲として用いて、光源中心算出部１０４が光源中心を検出した全ての高輝度領域（光源領域）を対象としてペアとなる光源領域を探索し、ペアとして検出した光源領域に対して実距離算出部１０５が算出した距離を車両情報として出力する。
車両検出部１０７は、光源中心算出部１０４が検出した光源中心ごとに、光源間距離算出部１０６からヘッドライト画像間隔Ｐを受信する。車両検出部１０７は、基準とする光源中心を順番に変更し、以下の処理を行う。すなわち、それぞれの基準となる光源中心を起点として、その光源中心に対応するヘッドライト画像間隔Ｐから所定の誤差範囲内にある他の光源中心、すなわち所定の誤差を「σ」で表すと光源中心から距離「Ｐ±σ」に位置する他の光源中心を探索する。探索の結果、複数の光源中心が条件に合致した場合は、それらの光源中心ごとに以下の評価値を算出し、最大の評価値を有する光源中心をペアとなる光源中心とする。これにより、ペアとなる光源中心をそれぞれ含む一対の光源領域を特定する。

【0034】

評価値は、光源中心が属する高輝度領域の形状の類似度、および光源中心の幾何的関係に基づき算出される。基準となる光源中心が属する高輝度領域の形状と、ペアの候補となる光源中心が属する高輝度領域の形状が類似しているほど評価値が大きい。基準となる光源中心とペア候補である光源中心の垂直位置の差、すなわち高さ方向の差が小さいほど評価値が大きい。ペア候補である光源中心を探索した際の、所定の誤差σが小さいほど評価値が大きい。

【0035】

車両検出部１０７が高輝度領域の形状を考慮するのは、ヘッドライトの左右のライトの大きさが同一で、撮像部２０までの距離も同一なので、一対のヘッドライトから発せられた光は撮像部２０から同様の形状に観察されるからである。車両検出部１０７が光源中心の垂直位置の差を考慮するのは、一対のヘッドライトは設置高さＨＣが同一で、撮像部２０までの距離も同一であることから、垂直位置の差はゼロとして観察されるからである。
車両検出部１０７は、式１により算出されるペアとなる光源までの距離を報知部３０に出力する。

【0036】

（フローチャート）
画像処理装置１０により実行されるプログラムの動作を、フローチャートを用いて説明する。
図７は、画像処理装置１０により実行されるプログラムの動作を表すフローチャートである。フローチャートで表される動作の具体的な内容は、上述した各機能ブロックの動作内容である。図７により動作が表されるプログラムは、撮像部２０から画像が入力されると動作が開始される。以下で説明する各ステップの実行主体は、画像処理装置１０のＣＰＵである。

【0037】

ステップＳ７０１において、画像処理装置１０は、撮像部２０から出力された画像を読込み、ステップＳ７０２に進む。
ステップＳ７０２において、画像処理装置１０は、高輝度領域検出部１０２の処理を実行し、高輝度領域を検出する。検出された領域を、画像の下方から順番に１、２、３、・・・と番号を付与し、領域の数、すなわち最後の領域の番号を画像処理装置１０のＲＡＭに保存する。次に、ステップＳ７０３に進む。
ステップＳ７０３において、画像処理装置１０は、以後のステップＳ７０４〜Ｓ７１０において処理対象とする高輝度領域を、ステップＳ７０２において番号を付与した１番目の領域に設定しステップＳ７０４に進む。

【0038】

ステップＳ７０４において、画像処理装置１０は、処理対象の高輝度領域に対して形状分類部１０３の処理を実行し、その高輝度領域の形状を、３つのいずれかに分類する。次にステップＳ７０５に進む。
ステップＳ７０５において、画像処理装置１０は、ステップＳ７０４において形状分類部１０３の出力した分類が、光点パターン、混合パターン、光線パターン、のいずれであるかを判断する。光点パターンであると判断する場合はステップＳ７０６に進み、混合パターンであると判断する場合はステップＳ７０７に進み、光線パターンであると判断する場合はステップＳ７１０に進む。

【0039】

ステップＳ７０６において、画像処理装置１０は、処理対象の高輝度領域に対して、光源中心算出部１０４における光点パターンの光源中心を算出する方法を適用する。すなわち、その高輝度領域の重心を算出し、これを光源中心とする。次にステップＳ７０８に進む。
ステップＳ７０７において、画像処理装置１０は、処理対象の高輝度領域に対して、光源中心算出部１０４における混合パターンの光源中心を算出する方法を適用する。すなわち、その高輝度領域の重心を始点として円形のテンプレートマッチングを行い、一致度が最も高い位置を光源中心とする。次にステップＳ７０８に進む。

【0040】

ステップＳ７０８において、画像処理装置１０は、実距離算出部１０５の算出手法を用いて、撮像部２０から処理対象である光源中心に対応する光源までの実空間上の距離Ｚを算出し、ステップＳ７０９に進む。
ステップＳ７０９において、画像処理装置１０は、光源間距離算出部１０６の算出手法を用いて、撮像部２０が出力する画像における、処理対象である光源中心からペアとなる光源中心を探索するための探索範囲、すなわちヘッドライト画像間隔Ｐを算出する。次にステップＳ７１０に進む。

【0041】

ステップＳ７１０において、画像処理装置１０は、ステップＳ７０２において検出した全ての高輝度領域に対する処理が完了したか否かを判断する。すなわち、現在処理対象としている高輝度領域が、最後の番号が付された高輝度領域であるか否かを判断する。全ての高輝度領域に対する処理が完了したと判断する場合はステップＳ７１１に進む。未処理の高輝度領域が存在すると判断する場合は、処理対象の高輝度領域を次の番号が付された高輝度領域に変更し、ステップＳ７０４に戻る。

【0042】

ステップＳ７１１において、画像処理装置１０は、車両検出部１０７の処理により車両を検出する。このとき、基準となる光源中心は、ステップＳ７０２において付した番号の順番に変更する。すなわち、画像の下方にある高輝度領域ほど先にペアとなる高輝度領域を検出し、報知部３０に報知する。次に、図７のフローチャートにより動作が表されるプログラムを終了する。

【0043】

以上説明した第１の実施の形態によれば、次の作用効果が得られる。
（１）画像処理装置１０は、レンズ２１を備える撮像部２０により計測対象車両である対向車両に搭載されたヘッドライトを含む被写体を撮影して得られた画像が入力される画像入力部１０１と、画像から輝度が所定値よりも高い領域をヘッドライトに対応する光源領域として抽出する高輝度領域検出部１０２と、抽出された光源領域に基づき、画像において光源の中心位置に対応する光源中心を算出する光源中心算出部１０４と、光源中心の位置およびレンズ２１の焦点距離ｆに基づき、撮像部２０から計測対象車両までの距離を算出する実距離算出部１０５と、を備える。
画像処理装置１０をこのように構成したので、様々な車両について、その車両までの距離を算出できる。
（２）光源中心算出部１０４は、高輝度領域が光点パターンの場合は高輝度領域の重心点を光源中心とする。光源中心算出部１０４は、高輝度領域が混合パターンの場合は算出した重心位置を探索開始点として、高輝度領域近傍において、輝度が極大値を有する点を光源中心とする。
そのため、高輝度領域を形成する光を照射したヘッドライトの中心位置に対応する光源中心を正確に算出し、ヘッドライトを備える対向車両の位置を正確に算出できる。

【0044】

（３）高輝度領域検出部１０２は、対向車両に搭載された一対のヘッドライトを含む複数の光源にそれぞれ対応する複数の光源領域を抽出する。画像処理装置１０は、一対のヘッドライトの設置間隔に対応して予め設定されたヘッドライト実間隔Ｗ、および光源中心の位置、すなわち光源中心像の撮像素子２２の中心からの高さｈに基づき、式３に従って、高輝度領域検出部１０２が検出した各光源領域について、当該光源領域とペアとなるべき他の光源領域の探索範囲、すなわちヘッドライト画像間隔Ｐを算出する光源間距離算出部１０６を備える。画像処理装置１０は、光源間距離算出部１０６が算出した探索範囲としてのヘッドライト画像間隔Ｐに基づき、高輝度領域検出部１０２が検出した複数の光源領域の中から一対のヘッドライトに対応する一対の光源領域を探索し、その探索結果に基づいて対向車両を検出する車両検出部１０７を備える。

【0045】

そのため、撮像部２０が撮影して得られた画像にノイズ光源、たとえば街灯、信号、広告灯が含まれていても、それらはペアとなる他の光源が存在しないので、車両として過検出することがない。すなわち、画像処理装置１０による対向車両の検出は外乱に強い。また、車両検出部１０７は、画像の下方、すなわち計測車両１に近い側から順番に探索を行うので、衝突の危険性が高い順に優先的に光源を検出することができる。

【0046】

（４）光源中心検出部１０４は、光源領域の形状を光点・混合・光線の３パターンに分類し、光源領域の形状が光線パターンだった場合には当該光源領域の中心位置を算出しない。
そのため、撮像部２０が撮影して得られた画像にフレアや路面反射が含まれていても、形状分類部１０３がフレアや路面反射による光源領域を光線パターンに分類し、光源中心が算出されない。すなわち、中心車両検出部１０７におけるペアとなる光源の探索対象とならないので、フレアや路面反射の光を対向車両であると誤認識することがない。

【0047】

上述した第１の実施の形態は、以下のように変形してもよい。
（１）第１の実施の形態では、画像処理装置１０は、対向車両のヘッドライトからの光を主な処理対象としたが、車両の他の灯火を処理対象としてもよい。たとえば、対向車両の車幅灯やフォグライトを処理対象としてもよい。さらに、先行車両の灯火、すなわち計測車両１と同一方向に走行している車両のテールライトやブレーキライトを処理対象としてもよい。すなわち、画像処理装置１０は、画像処理装置１０を搭載した計測車両の周囲に存在する対向車両や先行車両などを計測対象車両として、その計測対象車両に搭載された様々な光源を処理対象として上記のような処理を行うことができる。

【0048】

テールライトやブレーキライトは赤色光源であり、夜間走行環境においては、白色光源より赤色光源の数は少ないため、輝度以外に色情報を用いて処理対象の領域を特定してもよい。検出対象とする灯火の形状が円形から大きく異ならない限り、灯火の間隔、および設置高さ、すなわち第１の実施の形態における、ヘッドライト実間隔Ｗおよび設置高さＨＣを変更するだけでよい。

【0049】

（２）車両検出部１０７は、ペアとなる光源領域を探索する際に、式１により算出されるレンズ２１から光源までの距離Ｚを考慮してもよい。ペアとなる光源領域は１台の対向車両が備える１対のヘッドライトからの光を撮影したものなので、レンズ２１からそれらの光源までの距離はほぼ同一である。そのため、複数の光源中心がペアの候補となった場合に、レンズ２１から光源までの距離Ｚを考慮して、すなわち評価値の算出にレンズ２１から光源までの距離Ｚを用いて、より適した光源中心を算出してもよい。また、ペアとなる光源領域が検出された際に、それらの光源領域に対応する光源からレンズ２１までの距離の差を評価し、その差が所定値以上であれば不適切な組み合わせとして棄却してもよい。

【0050】

（３）形状分類部１０３は、高輝度領域の特徴量を算出して高輝度領域の形状を分類する代わりに、パターンマッチング法を用いて高輝度領域の形状を分類してもよい。
（４）光源中心検出部１０４は、画像がハイダイナミックレンジ画像で輝度値が飽和していない場合は、ミーンシフトに代表される山登り法によって輝度値の極大値を求め光源中心としてもよい。
（５）第１の実施の形態において、画像処理部１０が備える各機能ブロックは全てソフトウェアにより実現されるとしたが、ハードウェアにより構成されてもよいし、ハードウェアとソフトウェアを組み合わせたモジュールであってもよい。

【0051】

（６）高輝度領域検出部１０２の閾値は動的に変化させてもよい。画像入力部１０１に入力された画像の輝度の分布に基づいて閾値を決定してもよいし、外部からの入力に従いその都度閾値を変更してもよい。
（７）撮像素子２２の設置高さＨＣおよび姿勢（ロール角、ピッチ角、ヨー角）は、白線検知を応用した既知のオンラインキャリブレーション手法によって動的に求めてもよい。

【0052】

（変形例１）
第１の実施の形態では、画像処理装置１０は、２つのヘッドライトを備える車両を検出するために、ペアとなる光源領域のみを検出し、計測車両１からそれらの光源領域に対応する光源までの距離を算出して報知部３０に出力した。しかし、ペアを有さない光源領域であっても計測車両１からの距離を算出し、報知部３０に出力してもよい。
たとえば、光源領域の大きさが規定値以上の場合は、１つの光源領域のみでも車両と判定してもよい。これは遠方でヘッドライトが結合して撮像されるケースや、二輪車で光源が１つしかないケースに相当する。
この変形例１によれば、ヘッドライト等の一対の光源を備えた車両に加えて、さらにバイクや自転車などの単光源を搭載した車両についても、撮像部２０で撮影した画像からその車両を検出し、その車両までの距離を算出できる。

【0053】

（変形例２）
第１の実施の形態では、対向車両のヘッドライト実間隔Ｗおよび、ヘッドライト設置高さＨＬは既知でありいずれの対向車両も同一であると仮定した。しかし、様々なヘッドライト実間隔、およびヘッドライト設置高さに対応するために、以下のように変形してもよい。
前述のとおり、ヘッドライト結像間隔Ｌは、第１の実施の形態において示した式３により算出される。そして、撮像素子２２の大きさとヘッドライト結像間隔Ｌに基づき、ヘッドライト画像間隔Ｐを算出する。

【0054】

上述した実施の形態とは異なり、ヘッドライト実間隔Ｗおよびヘッドライト設置高さＨＬは既知ではない。しかし、公道を走行する車両には、ヘッドライト実間隔Ｗおよびヘッドライト設置高さＨＬに関する法規制、たとえば日本国の「道路運送車両の保安基準」が適用される。そのため、画像処理装置１０が処理対象とする車両を含む、公道を走行している全ての車両が、その法規制を順守していると仮定して処理を行う。たとえば、ヘッドライト実間隔Ｗは１．３ｍ〜２．５ｍの範囲、ヘッドライト設置高さＨＬは、０．５ｍ〜１．２ｍの範囲にあるとする。

【0055】

ヘッドライト結像間隔Ｌとヘッドライト画像間隔Ｐは比例関係にあるので以下が成り立つ。式３を参照するとわかるように、ヘッドライト実間隔Ｗが大きいほどヘッドライト画像像間隔Ｐが大きく、ヘッドライト設置高さＨＬが大きいほどヘッドライト画像間隔Ｐが大きい。すなわち、ヘッドライト間隔Ｗおよびヘッドライト設置高さＨＬがともに最小の場合にヘッドライト画像間隔Ｐが最小（以下、Ｐ１と呼ぶ）となる。ヘッドライト間隔Ｗおよびヘッドライト設置高さＨＬがともに最大の場合にヘッドライト画像間隔Ｐが最大（以下、Ｐ２と呼ぶ）となる。

【0056】

車両検出部１０７は、第１の実施の形態では、基準となる光源中心を起点としてヘッドライト画像間隔Ｐから所定の誤差「σ」の範囲、すなわち距離「Ｐ±σ」にある光源中心を探索した。本変形例では、車両検出部１０７は、基準となる光源中心を起点として「Ｐ１≦ｄ≦Ｐ２」を満たす距離ｄに存在する光源中心を探索する。
すなわち、第１の実施の形態における「Ｐ−σ」および「Ｐ＋σ」が、本変形例の「Ｐ１」および「Ｐ２」に相当する。

【0057】

複数の光源中心が検出された場合の処理は、第１の実施の形態と同様である。
この変形例２によれば、ヘッドライト実間隔Ｗおよびヘッドライト設置高さＨＣが一定ではなくとも、車両を検出できる。また、ペアとなるヘッドライトの対を検出したことにより、その車両のヘッドライト実間隔Ｗおよびヘッドライト設置高さＨＣの相関関係が明らかとなる。一般に、ヘッドライト実間隔Ｗが大きいほどヘッドライト設置高さＨＣも高いので、車両の種別を、二輪車、小型車、普通車、大型車のいずれであるかを特定できる。
ヘッドライト設置高さＨＣ、およびヘッドライト実間隔Ｗは、計測車両１が走行する国または地域の法律などにしたがい、適宜変更してもよい。

【0058】

（変形例３）
第１の実施の形態では、検出対象であるヘッドライトを円形と仮定したが、異なる形状であってもよい。
図８は、撮像部２０が撮影して得られた画像における、第１の実施の形態とは異なる高輝度領域の形状である。図８（ａ）は、ヘッドライトがＬ字の場合の例である。図８（ｂ）は、レンズ２１に水滴が付着してヘッドライトの光が拡散する場合の例である。図８（ｃ）は路面が雨や融雪によって濡れ、ヘッドライトの光が路面反射をしている場合の例である。
いずれの例においても、ミーンシフトに代表される山登り法によって輝度値の極大値を求めるか、円形テンプレートマッチングによって同心円状の部位を検出するかにより、光源中心を検出することができる。

【0059】

（変形例４）
第１の実施の形態では、計測車両１および対向車両２００が走行する車道は、走行方向および道幅方向に勾配がないものとしたが、走行方向に勾配があってもよい。
図９は、車道の走行方向に勾配がある場合の例を示している。
図９（ａ）に示す例は、対向車両２００と計測車両１が走行方向にほぼ同一の勾配の路面に位置する例である。この場合は、特に補正する必要は無い。
図９（ｂ）は、対向車両２００と計測車両１が、勾配の異なる車道に位置する例である。この場合は、車道の平面仮定が崩れるため、車道の勾配を推定することで距離を補正する。具体的には、エッジ検出やカルマンフィルタを組み合わせた既知の手法で白線検知を行い、多項式回帰によって道路勾配を推定する。最後に、推定した勾配に応じて距離を補正する。

【0060】

図９（ｃ）は、計測車両１が登り坂に位置しており、対向車両２００が登り坂凸部の奥側に位置する例である。この場合は、路面の勾配推定が困難となり、かつヘッドライトやテールライトが見えなくなることが多いため、処理の対象外とする。
さらに、車道の道幅方向に勾配がある場合も、上記と同様に対処できる。
この変形例４によれば、勾配のある車道を走行している場合でも対向車両を検出し、その距離を算出することができる。

【0061】

（第２の実施の形態）
図１０〜１２を参照して、本発明にかかる車両システムの第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、画像処理装置１０の出力に基づき計測車両１を制御する点で、第１の実施の形態と異なる。

【0062】

図１０は、第２の実施形態における計測車両１の構成を示すブロック図である。本実施の形態にかかる車両システムは、第１の実施の形態における計測車両１の構成に加えて、計測車両１の車速度・操舵角を計測する車載センサ４１と、車両の操舵を行うステアリング４２と、車両の加速を行うアクセル４３と、車両の減速を行うブレーキ４４とを備える。

【0063】

本実施の形態における撮像部２０は、４台のカメラ、すなわちカメラ２０Ａと、カメラ２０Ｂと、カメラ２０Ｃと、カメラ２０Ｄとから構成される。本実施の形態における画像処理装置１０は、第１の実施の形態における構成に加えて、図１２に示すように、歪み補正部１１１と、車両追跡部１１２と、危険度算出部１１３と、センサ入力部１１４とを備える。
画像処理装置１０の車両追跡部１１２は、センサ入力部１１４を経由して、車載センサ４１から計測車両１の車速度・操舵角が入力される。画像処理装置１０の危険度算出部１１３は、ステアリング４２と、アクセル４３と、ブレーキ４４とに、車両制御情報を出力し、計測車両１を制御する。すなわち計測車両１は、危険度算出部１１３の出力に基づき、速度および進行方向を変更して対向車両との衝突を回避する。

【0064】

（撮像部の構成）
図１１は、撮像部２０を構成するカメラ２０Ａと、カメラ２０Ｂと、カメラ２０Ｃと、カメラ２０Ｄと、の撮影範囲を示す図である。これらのカメラは広角レンズを備え、それぞれが約１８０度の視野を有する。カメラ２０Ａは、計測車両１の前方に取り付けられ、前方領域１２００Ａを撮影する。カメラ２０Ｂは、計測車両１の左側面に取り付けられ、左側方領域１２００Ｂを撮影する。カメラ２０Ｃは、計測車両１の右側面に取り付けられ、右側方領域１２００Ｃを撮影する。カメラ２０Ｄは、計測車両１の後方に取り付けられ、後方領域１２００Ｄを撮影する。前方領域１２００Ａと、左側方領域１２００Ｂと、右側方領域１２００Ｃと、後方領域１２００Ｄとは、それぞれ重複がある。それぞれのカメラで撮影して得られた画像を合成すると、計測車両１の全周囲の画像が得られる。

【0065】

（画像処理装置１０の構成）
図１２は、画像処理装置１０が備える機能を細分化し、機能ブロックとして表したブロック図である。
画像入力部１０１は、撮像部２０の４つのカメラから取り込んだそれぞれの画像を、歪み補正部１１１に出力する。
歪み補正部１１１は、画像入力部１０１から入力された画像の歪みを補正し、高輝度領域検出部１０２に出力する。具体的には、カメラの外部パラメータ（回転・並進量）と内部パラメータ（焦点距離、光軸中心、水平垂直セルサイズなど）およびレンズ歪み係数を用いて、既知の方法により歪みの無い画像を生成する。

【0066】

車両追跡部１１２は、車両検出部１０７が検出した対向車両を時系列で追跡し、追跡結果から対向車両の距離・速度・加速度を算出する。追跡手法はオプティカルフローやパターンマッチングを使ったスケール変化に頑健な既知の手法を用いる。また、カルマンフィルタ、アンセンテッドカルマンフィルタ、パーティクルフィルタといった時系列フィルタを併用することで、観測誤差の低減や、瞬間的な観測値欠損を補間することが可能である。

【0067】

車両追跡部１１２が算出する距離・速度・加速度は、計測車両１と走行車両との相対的な距離・相対的な速度・相対的な加速度である。走行している計測車両１の撮像部２０から撮影して得られた画像を用いて算出したからである。そこで車両追跡部１１２は、車載センサ４１が出力する車速度・操舵角情報を用いてデッドレコニングなどの既知の方法で計測車両１の挙動を算出する。車両追跡部１１２は、計測車両１の挙動を考慮することで、好適に車両追跡を行う。すなわち、計測車両１の車速度・操舵角情報により車両追跡に必要な未知の変数を削減することができる。

【0068】

危険度算出部１１３は、車両追跡部１１２が算出した対向車両の距離・速度・加速度を用いて、危険度を表す指標である衝突残時間（ＴＴＣ：Ｔｉｍｅ−Ｔｏ−Ｃｏｌｌｉｓｉｏｎ）を算出する。具体的には、対向車両までの距離Ｚと、相対速度Ｖ_Ｚを用いて式４のように算出する。

【数4】

【0069】

危険度算出部１１３は、ＴＴＣが規定値以下となる場合は警報制御やブレーキ制御などを行うための制御情報を出力する。あるいは、距離が既定値以下かつ、速度の符号の正負（すなわち接近か離間か）の情報に応じて制御情報を出力しても良い。危険度算出部１１３は、危険度の大きさに応じて出力する制御情報を変化させる。例えば衝突の危険度が低い場合、すなわちＴＴＣが所定値よりも大きい場合は、危険度算出部１１３は、報知部３０を用いて計測車両１のドライバーに危険を報知するための制御情報を出力する。危険度算出部１１３は、危険度が高い場合は、ブレーキ１１０８、ステアリング１１０６、アクセル１１０７によって車両の動きを直接制御するための制御情報を出力する。これにより、計測車両１のドライバーにとって違和感の少ない安全運転支援システムを実現する。
センサ入力部１１４は、車載センサ４１から車速度および操舵角を取得し、車両追跡部１１２に出力する。
以上説明した第２の実施形態によれば、以下の作用効果を奏する。

【0070】

（１）画像処理装置１０は、車両検出部１０７が検出した車両を時系列で対応付けて追跡する車両追跡部１１２を備える。
そのため、時系列情報を使った誤差低減や欠損補間が可能となり、より好適な車両検出を実現することができる。撮像部２０は計測車両１の全周囲を撮影できるので、他の車両と計測車両１の位置関係に関わらず、他の車両を継続的に追跡できる。
（２）画像処理装置１０は、撮像部２０が出力する画像の歪みを補正する歪み補正部１１１を備える。
そのため、レンズの歪みを考慮して対向車両の追跡や距離の算出をする場合に比べて、事前に歪みを補正することで処理負荷を軽減することができる。

【0071】

（３）撮像部２０は速度および操舵角を計測する車載センサ４１を備える計測車両１に搭載される。画像処理装置１０は、車載センサ４１の出力を受けるセンサ入力部１１４をさらに備え、車両追跡部１１２は、車載センサ４１の出力に基づき計測車両１の移動量および旋回量を算出し、算出した移動量と旋回量を用いて車両追跡を行う。
そのため、車速度・操舵角情報を用いて計測車両１の挙動を求めることで、計測車両１が移動・旋回する場合でも、警報や制御が可能となる。

【0072】

（４）画像処理装置１０および計測車両１を含む車両システムは、画像処理装置１０を搭載する計測車両１と、当該計測車両１の周囲を撮像する撮像部２０と、撮像部２０が撮影して得られた画像に基づき、当該計測車両１に接近する接近車両と衝突する危険度を算出する危険度算出部１１３と、危険度が所定の値以上である場合に、衝突を回避するように当該計測車両を制御する衝突回避部、すなわちステアリング４２、アクセル４３、およびブレーキ４４と、を備える。
そのため、画像処理装置によって衝突の危険度を判定し、危険と判断されたタイミングで危険を回避する制御を行うことができ、計測車両１のドライバーの運転を支援できる。

【0073】

（変形例５）
第２の実施の形態では、撮像部２０は４台のカメラから構成されたが、撮像部２０の構成はこれに限定されない。前方や後方など、側方よりも優先度の高い方向を撮影するカメラのみを備えてもよい。撮像部２０は、視野の狭いカメラを多数備えてもよい。その視野の狭いカメラは、バックミラー前方やサイドミラーなどに設置してもよい。

【0074】

本発明は、上述の各実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることが可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0075】

上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、各構成、機能等の機能を実現するソフトウェアで実現する場合を主に説明したが、各機能を実現するプログラム、データ、ファイル等の情報は、メモリのみならず、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体におくことができるし、必要に応じて無線ネットワーク等を介してダウンロード、インストロールすることも可能である。

【符号の説明】

【0076】

ｆ … 焦点距離
Ｗ … ヘッドライト実間隔
Ｌ … ヘッドライト結像間隔
Ｐ … ヘッドライト画像間隔
１ … 計測車両
１０ … 画像処理装置
２０ … 撮像部
２１ … レンズ
２２ … 撮像素子
３０ … 報知部
１０１ … 画像入力部
１０２ … 高輝度領域検出部
１０３ … 形状分類部
１０４ … 光源中心算出部
１０５ … 実距離算出部
１０６ … 光源間距離算出部
１０７ … 車両検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】