特許 6151569 周囲環境判定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6151569

(24)【登録日】2017年6月2日

(45)【発行日】2017年6月21日

(54)【発明の名称】周囲環境判定装置

(51)【国際特許分類】

   G08G 1/00 20060101AFI20170612BHJP

   B60Q 1/14 20060101ALI20170612BHJP

   G06T 1/00 20060101ALI20170612BHJP

【ＦＩ】

   G08G1/00 J

   B60Q1/14 A

   G06T1/00 330A

【請求項の数】8

【全頁数】27

(21)【出願番号】特願2013-112596(P2013-112596)

(22)【出願日】2013年5月29日

(65)【公開番号】特開2014-232409(P2014-232409A)

(43)【公開日】2014年12月11日

【審査請求日】2016年2月17日

(73)【特許権者】

【識別番号】000005348

【氏名又は名称】株式会社ＳＵＢＡＲＵ

(74)【代理人】

【識別番号】100116942

【弁理士】

【氏名又は名称】岩田 雅信

(74)【代理人】

【識別番号】100167704

【弁理士】

【氏名又は名称】中川 裕人

(74)【代理人】

【識別番号】100114122

【弁理士】

【氏名又は名称】鈴木 伸夫

(74)【代理人】

【識別番号】100086841

【弁理士】

【氏名又は名称】脇 篤夫

(72)【発明者】

【氏名】小川 原也

【審査官】 東 勝之

(56)【参考文献】

【文献】 特開２０１１−２５５７６５（ＪＰ，Ａ）

【文献】 特開２００５−２２５３１７（ＪＰ，Ａ）

【文献】 特開２０１２−２４２２１８（ＪＰ，Ａ）

【文献】 特開２００７−１１２２４９（ＪＰ，Ａ）

【文献】 特開２０１２−００６４８２（ＪＰ，Ａ）

【文献】 特開２０１０−２２４６７０（ＪＰ，Ａ）

【文献】 特開２００５−３１１６９１（ＪＰ，Ａ）

【文献】 国際公開第２００８／０５９５８６（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２００７／０２２１８２２（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００ − １／１６

Ｂ６０Ｑ １／１４

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

自車両の前方を撮像した撮像画像を得る撮像部と、
前記撮像画像の検出対象フレーム単位毎に少なくとも街灯検出を行う検出処理部と、
前記撮像画像の現在の検出対象フレーム単位における街灯検出結果の値が第１判定閾値以上となったら市街地であると判定する第１市街地判定処理、及び現在の検出対象フレーム単位における街灯検出結果の値と過去の検出対象フレーム単位における街灯検出結果の値の双方を用いた値が、前記第１判定閾値より小さい第２判定閾値以上となったら市街地であると判定する第２市街地判定処理とを行い、前記第１市街地判定処理と前記第２市街地判定処理のいずれかで市街地と判定された場合に、現在の車両周囲環境が市街地であると判定する環境判定処理部と、を備えた
周囲環境判定装置。

【請求項2】

前記環境判定処理部により現在の車両周囲環境が市街地であると判定された場合に、ヘッドライトのハイビーム照射が実行されないように制御する配光制御部を、更に備えた
請求項１に記載の周囲環境判定装置。

【請求項3】

前記第２市街地判定処理では、現在の検出対象フレーム単位における街灯検出結果の値と過去の検出対象フレーム単位における街灯検出結果の値にそれぞれ所定の重み付けを行って平均した値が、前記第１判定閾値より小さい第２判定閾値以上となったら市街地であると判定する
請求項１又は請求項２に記載の周囲環境判定装置。

【請求項4】

前記第２市街地判定処理では、市街地と判定した後において、各検出対象フレーム単位における街灯検出結果の値が所定回数連続して非市街地判定閾値以下となった場合に、非市街地であると判定する
請求項１乃至請求項３のいずれかに記載の周囲環境判定装置。

【請求項5】

前記第２市街地判定処理では、自車両の右左折後期間においては、市街地であることの判定、及び非市街地であることの判定についての判定応答性を、右左折後期間以外よりも高くする
請求項１乃至請求項４のいずれかに記載の周囲環境判定装置。

【請求項6】

前記第１市街地判定処理、又は前記第２市街地判定処理では、前記街灯検出結果として、撮像画像のフレーム内で設定された街灯検出範囲内において検出された街灯の数、又は前記街灯検出範囲内における街灯領域の割合を用いる
請求項１乃至請求項５のいずれかに記載の周囲環境判定装置。

【請求項7】

前記第１市街地判定処理、又は前記第２市街地判定処理では、前記街灯検出結果に加えて、撮像画像のフレーム内で設定された先行車検出範囲内において先行車と識別されなかった検出物体の数、又は前記先行車検出範囲内の検出物体領域の割合を、さらに用いて市街地であるか否かの判定を行う
請求項６に記載の周囲環境判定装置。

【請求項8】

前記第１市街地判定処理、又は前記第２市街地判定処理では、前記街灯検出結果に加えて、撮像画像のフレーム内で設定された対向車検出範囲内において対向車と識別されなかった検出物体の数、又は前記対向車検出範囲内の検出物体領域の割合を、さらに用いて市街地であるか否かの判定を行う
請求項６又は請求項７に記載の周囲環境判定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自車両の周囲環境、特に市街地か非市街地かを判定する周囲環境判定装置についての技術分野に関する。

【先行技術文献】

【特許文献】

【0002】

【特許文献1】特開２００９−６１８１２号公報

【背景技術】

【0003】

自車両のヘッドライトのハイビームが先行車、対向車に照射されてしまうと、それら先行車等の運転者が眩惑されて運転に支障を来すことあり、これを防止するために、ヘッドライト配光制御として、いわゆるＡＨＢ（Auto High Beam）やＡＤＢ（Adaptive Driving Beam）が知られている。このヘッドライト配光制御を行うにあたっては、自車両の前方に存在する先行車、対向車を認識することや、周囲環境としてヘッドライトをハイビームにして良い走行シーンか否かを認識することが要求される。
ハイビームにしてよい走行シーンであるか否かという判断の１つの周囲環境が市街地であるか非市街地であるかということがある。例えばハイビームを自動的にオン／オフするＡＨＢにおいて、市街地（周囲が充分明るいシーン）ではハイビーム不要とし、周囲の車の運転者にグレアを発生させてしまうことを防止する。

【0004】

なお上記特許文献１ではカメラにより街灯の検出を行い、一定時間内で街灯検出される数が一定数を超えた場合や、一定期間内に街灯を検出している時間が一定時間を超えた場合に市街地と判定し、ハイビーム不要シーンとすることが開示されている。

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１のように、一定期間内での街灯検出数や街灯検出時間で判定するようにした場合、一定期間としての設定の長短により問題が生ずる。例えば一定期間として設定する時間が短い場合は、短期的・瞬間的な状況で判定が変動し、市街地−非市街地の判定がハンチングする場合がある。一方で、一定期間を長く取った場合は市街地、非市街地の判定までの時間遅れが大きくなる。
短期間で判定が変動すると、ハイビームのオン／オフ制御が不必要に実行されてしまうことが生じ、また、例えば市街地判定が遅れると、非市街地から市街地に入ってもある程度の時間ハイビームが継続されて、周囲の車の運転者にグレアを発生させる機会が生じてしまう。

【0006】

そこで本発明は、市街地判定を安定的に、かつ時間遅れがないように実行できるようにすることを目的とする。

【課題を解決するための手段】

【0007】

第１に、本発明に係る周囲環境判定装置は、自車両の前方を撮像した撮像画像を得る撮像部と、前記撮像画像の検出対象フレーム単位毎に少なくとも街灯検出を行う検出処理部と、前記撮像画像の現在の検出対象フレーム単位における街灯検出結果の値が第１判定閾値以上となったら市街地であると判定する第１市街地判定処理、及び現在の検出対象フレーム単位における街灯検出結果の値と過去の検出対象フレーム単位における街灯検出結果の値の双方を用いた値が、前記第１判定閾値より小さい第２判定閾値以上となったら市街地であると判定する第２市街地判定処理とを行い、前記第１市街地判定処理と前記第２市街地判定処理のいずれかで市街地と判定された場合に、現在の車両周囲環境が市街地であると判定する環境判定処理部と、を備えたものである。
この構成により、環境判定処理部は第１市街地判定として、撮像画像の現在の検出対象フレーム単位の検出結果を用いて市街地であるか否かを判定（短期判定）する。これに加えて第２市街地判定として、現在の検出対象フレーム単位のみではなく過去の検出対象フレーム単位の検出結果も反映させて時系列の変動を考慮した市街地判定（長期判定）を行う。

【0008】

第２に、本発明に係る周囲環境判定装置は、前記環境判定処理部により現在の車両周囲環境が市街地であると判定された場合に、ヘッドライトのハイビーム照射が実行されないように制御する配光制御部を、更に備えることが望ましい。
これにより走行シーンが市街地であると判定された場合のハイビームオフを実現する。

【0009】

第３に、本発明に係る周囲環境判定装置は、前記第２市街地判定処理では、現在の検出対象フレーム単位における街灯検出結果の値と過去の検出対象フレーム単位における街灯検出結果の値にそれぞれ所定の重み付けを行って平均した値が、前記第１判定閾値より小さい第２判定閾値以上となったら市街地であると判定することが望ましい。
即ち短期判定である第１市街地判定処理では、街灯検出結果を比較する第１判定閾値を高めにし、長期判定である第２市街地判定処理では、街灯検出結果を比較する第２判定閾値を低めにする。

【0010】

第４に、本発明に係る周囲環境判定装置は、前記第２市街地判定処理では、市街地と判定した後において、各検出対象フレーム単位における街灯検出結果の値が所定回数連続して非市街地判定閾値以下となった場合に、非市街地であると判定することが望ましい。
これにより第１市街地判定処理による瞬間的な街灯検出状況のみで非市街地と判定されてしまうことがないようにする。

【0011】

第５に、本発明に係る周囲環境判定装置は、前記第２市街地判定処理では、自車両の右左折後期間においては、市街地であることの判定、及び非市街地であることの判定についての判定応答性を、右左折後期間以外よりも高くすることが望ましい。
右左折後は、周囲環境（市街地と非市街地）が急激に変化する場合があるため、右左折後期間において、第２市街地判定による判定応答性を高める。

【0012】

第６に、本発明に係る周囲環境判定装置は、前記第１市街地判定処理、又は前記第２市街地判定処理では、前記街灯検出結果として、撮像画像のフレーム内で設定された街灯検出範囲内において検出された街灯の数、又は前記街灯検出範囲内における街灯領域の割合を用いることが望ましい。
街灯数や画像内の街灯領域の割合は、市街地と非市街地を区別する重要な要素となる。
第７に、本発明に係る周囲環境判定装置は、前記第１市街地判定処理、又は前記第２市街地判定処理では、前記街灯検出結果に加えて、撮像画像のフレーム内で設定された先行車検出範囲内において先行車と識別されなかった検出物体の数、又は前記先行車検出範囲内の検出物体領域の割合を、さらに用いて市街地であるか否かの判定を行うことが望ましい。
画像内の先行車検出範囲においても、先行車以外の検出物体（例えば高輝度物体）は、市街地の明かりなどと考えられ、市街地と非市街地を区別する要素となりえる。
第８に、本発明に係る周囲環境判定装置は、前記第１市街地判定処理、又は前記第２市街地判定処理では、前記街灯検出結果に加えて、撮像画像のフレーム内で設定された対向車検出範囲内において対向車と識別されなかった検出物体の数、又は前記対向車検出範囲内の検出物体領域の割合を、さらに用いて市街地であるか否かの判定を行うことが望ましい。
画像内の対向車検出範囲においても、対向車以外の検出物体（例えば高輝度物体）は、市街地の明かりなどと考えられ、市街地と非市街地を区別する要素となりえる。

【発明の効果】

【0013】

本発明によれば、自車両の周囲環境として市街地と非市街地を適切に判定できる。特には、第１市街地判定処理と第２市街地判定処理のいずれかで市街地と判定された場合には、市街地と最終的に判定することで、判定遅れの解消と判定安定性の向上を実現できる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施の形態の車両制御システムのブロック図である。

【図2】実施の形態の車両制御システムの画像処理部及び運転支援制御部の機能構成の説明図である。

【図3】実施の形態で用いる明画像、暗画像の説明図である。

【図4】実施の形態の検出範囲の説明図である。

【図5】実施の形態の環境判定及びヘッドライト制御のフローチャートである。

【図6】実施の形態の要素グループ及び対象グループの説明図である。

【図7】実施の形態のシーン判定処理のフローチャートである。

【図8】実施の形態の右左折中判定処理のフローチャートである。

【図9】実施の形態の第１市街地判定処理のフローチャートである。

【図10】実施の形態の第２市街地判定処理のフローチャートである。

【図11】実施の形態の制御情報算出処理のフローチャートである。

【図12】実施の形態のハイビーム制御の説明図である。

【図13】実施の形態の対向車すれ違い時の説明図である。

【図14】実施の形態の第１，第２市街地判定処理による統合判定の説明図である。

【図15】実施の形態の第２市街地判定処理における応答性変更の説明図である。

【発明を実施するための形態】

【0015】

＜１．システム全体構成＞
図１は、本発明に係る実施の形態としての周囲環境判定装置を備えた車両制御システム１の構成を示している。なお、図１では、車両制御システム１の構成のうち主に本発明に係る要部の構成のみを抽出して示している。また実施の形態の周囲環境判定装置は主に図中の撮像部２と画像処理部３によって実現される。
車両制御システム１は、自車両に対して設けられた撮像部２、画像処理部３、メモリ４、運転支援制御部５、表示制御部６、エンジン制御部７、トランスミッション制御部８、ブレーキ制御部９、ライト制御部１０、表示部１１、エンジン関連アクチュエータ１２、トランスミッション関連アクチュエータ１３、ブレーキ関連アクチュエータ１４、ヘッドライト１５、ＡＤＢ（Adaptive Driving Beam）アクチュエータ１６、センサ・操作子類１７、及びバス１８を備えている。

【0016】

撮像部２は、車両において進行方向（前方）を撮像可能に設置された第１カメラ部２Ａ、第２カメラ部２Ｂを備えている。
第１カメラ部２Ａ、第２カメラ部２Ｂは、いわゆるステレオ法による測距が可能となるように、例えば自車両のフロントガラスの上部付近において車幅方向に所定間隔を空けて配置されている。第１カメラ部２Ａ、第２カメラ部２Ｂの光軸は平行とされ、焦点距離はそれぞれ同値とされる。また、フレーム周期は同期し、フレームレートも一致している。撮像素子の画素数は例えば６４０×４８０程度である。

【0017】

第１カメラ部２Ａ，第２カメラ部２Ｂの各撮像素子で得られた電気信号（撮像画像信号）はそれぞれＡ／Ｄ変換され、画素単位で所定階調による輝度値を表すデジタル画像信号（撮像画像データ）とされる。本実施の形態の場合、これらの撮像画像データはカラー画像データとされ、従って１画素につきＲ（赤）、Ｇ（緑）、Ｂ（青）の３つのデータ（輝度値）が得られる。輝度値の階調は、例えば２５６階調とされる。
以下、第１カメラ部２Ａで得られた撮像画像データを「第１撮像画像データ」、第２カメラ部２Ｂで得られた撮像画像データを「第２撮像画像データ」と表記する。

【0018】

本例における撮像部２は、第１カメラ部２Ａ、第２カメラ部２Ｂのシャッタースピードやゲイン（ＩＳＯ感度）についての自動調整機能を有している。また、撮像部２は、画像処理部３からの指示に基づき第１カメラ部２Ａ、第２カメラ部２Ｂのシャッタースピードやゲインを調整することも可能とされている。

【0019】

画像処理部３は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びワークエリアとしてのＲＡＭ（Random Access Memory）を備えたマイクロコンピュータで構成され、ＲＯＭに格納されたプログラムに従った各種の処理を実行する。
画像処理部３は、撮像部２が自車両の前方を撮像して得た第１撮像画像データ、第２撮像画像データとしての各フレーム画像データをメモリ部４に格納していく。そして各フレームの第１撮像画像データ、第２撮像画像データに基づき、外部環境として車両前方に存在する物体を認識するための各種処理を実行する。
なお、画像処理部３が実行する具体的な処理の詳細については後述する。

【0020】

運転支援制御部５は、例えばマイクロコンピュータで構成され、画像処理部３による画像処理の結果やセンサ・操作子類１７で得られる検出情報や操作入力情報等に基づき、運転支援のための各種の制御処理を実行する。
運転支援制御部５は、同じくマイクロコンピュータで構成された表示制御部６、エンジン制御部７、トランスミッション制御部８、ブレーキ制御部９、及びライト制御部１０の各制御部とバス１８を介して接続されており、これら各制御部との間で相互にデータ通信を行うことが可能とされる。運転支援制御部５は、上記の各制御部のうち必要な制御部に対して指示を行って運転支援に係る動作を実行させる。
本実施の形態の場合、運転支援制御部５は、ヘッドライト１５についての配光制御を行う。図中では、運転支援制御部５が有する配光制御のための処理機能を、「配光制御処理部５Ａ」としての機能ブロックにより表している。配光制御処理部５Ａは、画像処理部３が対向車や先行車、街灯等の認識結果から生成した制御情報に基づき、ライト制御部１０にＡＤＢ制御やＡＨＢ制御のための指示を行う。

【0021】

センサ・操作子類１７は、自車両に設けられた各種のセンサや操作子を包括的に表している。センサ・操作子類１７が有するセンサとしては、例えばエンジン回転数センサ、吸入空気量を検出する吸入空気量センサ、アクセルペダルの踏込み量からアクセル開度を検出するアクセル開度センサ、吸気通路に介装されてエンジンの各気筒に供給する吸入空気量を調整するスロットル弁の開度を検出するスロットル開度センサ、エンジン温度を示す冷却水温を検出する水温センサ、車外の気温を検出する外気温センサ等がある。
また、操作子としては、エンジンの始動／停止を指示するためのイグニッションスイッチや、ＡＴ（オートマティックトランスミッション）車における自動変速モード／手動変速モードの選択や手動変速モード時におけるシフトアップ／ダウンの指示を行うためのセレクトレバーや、後述する表示部１１に設けられたＭＦＤ（Multi Function Display）における表示情報の切り換えを行うための表示切換スイッチなどがある。
特に本実施の形態の場合、センサ・操作子類１７においては、車速センサ１７Ａ、舵角センサ１７Ｂ、アクセル開度センサ１７Ｃ、ヘッドライトスイッチ１７Ｄ、ウィンカースイッチ１７Ｅが設けられている。
ヘッドライトスイッチ１７Ｄは、ヘッドライト１５のロービームのＯＮ／ＯＦＦやハイビームのＯＮ／ＯＦＦの指示を行うための操作子を表す。ここで、本例の場合、ハイビームのＯＮ／ＯＦＦ操作に応じてＡＤＢ機能もＯＮ／ＯＦＦされる。

【0022】

表示部１１は、運転者の前方に設置されたメータパネル内に設けられるスピードメータやタコメータ等の各種メータやＭＦＤ、及びその他運転者に情報提示を行うための表示デバイスを包括的に表す。ＭＦＤには、自車両の総走行距離や外気温、瞬間燃費等といった各種の情報を同時又は切り換えて表示可能とされる。

【0023】

表示制御部６は、センサ・操作子類１７における所定のセンサからの検出信号や操作子による操作入力情報等に基づき、表示部１１による表示動作を制御する。

【0024】

エンジン制御部７は、センサ・操作子類１７における所定のセンサからの検出信号や操作子による操作入力情報等に基づき、エンジン関連アクチュエータ１２として設けられた各種アクチュエータを制御する。エンジン関連アクチュエータ１２としては、例えばスロットル弁を駆動するスロットルアクチュエータや燃料噴射を行うインジェクタ等のエンジン駆動に係る各種のアクチュエータが設けられる。
例えばエンジン制御部７は、前述したイグニッションスイッチの操作に応じてエンジンの始動／停止制御を行う。また、エンジン制御部７は、エンジン回転数センサやアクセル開度センサ等の所定のセンサからの検出信号に基づき、燃料噴射タイミング、燃料噴射パルス幅、スロットル開度等の制御も行う。

【0025】

トランスミッション制御部８は、センサ・操作子類１７における所定のセンサからの検出信号や操作子による操作入力情報等に基づき、トランスミッション関連アクチュエータ１３として設けられた各種のアクチュエータを制御する。トランスミッション関連アクチュエータ１３としては、例えば自動変速機の変速制御を行うコントロールバルブや、ロックアップクラッチをロックアップ動作させるロックアップアクチュエータ等のトランスミッション関連の各種アクチュエータが設けられる。
例えばトランスミッション制御部８は、前述したセレクトレバーによって自動変速モードが選択されている際には、所定の変速パターンに従い変速信号をコントロールバルブに出力して変速制御を行う。また、トランスミッション制御部８は、手動変速モードの設定時には、セレクトレバーによるシフトアップ／ダウン指示に従った変速信号をコントロールバルブに出力して変速制御を行う。

【0026】

ブレーキ制御部９は、センサ・操作子類１７における所定のセンサからの検出信号や操作子による操作入力情報等に基づき、ブレーキ関連アクチュエータ１４として設けられた各種のアクチュエータを制御する。ブレーキ関連アクチュエータ１４としては、例えばブレーキブースターからマスターシリンダへの出力液圧やブレーキ液配管内の液圧をコントロールするための液圧制御アクチュエータ等、ブレーキ関連の各種のアクチュエータが設けられる。
例えばブレーキ制御部９は、運転支援制御部５よりブレーキをＯＮする指示が為された場合に上記の液圧制御アクチュエータを制御して自車両を制動させる。またブレーキ制御部９は、所定のセンサ（例えば車軸の回転速度センサや車速センサ）の検出情報から車輪のスリップ率を計算し、スリップ率に応じて上記の液圧制御アクチュエータにより液圧を加減圧させることで、所謂ＡＢＳ（Antilock Brake System）制御を実現する。

【0027】

ライト制御部１０は、センサ・操作子類１７における所定のセンサからの検出信号や操作子による操作入力情報等に基づき、ヘッドライト１５の点消灯制御やＡＤＢアクチュエータ１６の制御を行う。
具体的に、ライト制御部１０は、照度センサ等の所定のセンサによる検出信号に基づきヘッドライト１５の点消灯を行うオートヘッドライト制御等を行う。また、ライト制御部１０は、前述したヘッドライトスイッチ１７Ｄによる操作入力情報に基づきヘッドライト１５のロービーム、ハイビームのＯＮ／ＯＦＦ制御も行う。また、特に本実施の形態のライト制御部１０は、運転支援制御部５における配光制御処理部５Ａからの指示に基づきＡＤＢアクチュエータ１６を制御することで、ＡＤＢ機能を実現する。本例におけるＡＤＢアクチュエータ１６は、例えば遮光板を駆動するアクチュエータとされ、ライト制御部１０からの制御に基づき遮光板を駆動することで、ハイビームの配光領域の一部に遮光領域を形成するか、或いは遮光領域を非形成（つまりハイビームを全照状態）とする。

【0028】

＜２．本実施の形態で実行される処理の概要＞
図２により、本実施の形態で実行される各種処理の概要について説明する。
なお、図２においては、画像処理部３が第１撮像画像データ、第２撮像画像データに基づき実行する各種の画像処理を機能ごとに分けてブロック化して示している。また、図２では、運転支援制御部５が有する配光制御処理部５Ａも併せて示している。

【0029】

図のように画像処理部３は、機能ごとに大別すると、距離画像生成処理部３Ａ、車線検出処理部３Ｂ、車線モデル形成処理部３Ｃ、テールランプ検出処理部３Ｄ、ヘッドライト検出処理部３Ｅ、街灯検出処理部３Ｆ、対象認識・識別処理部３Ｇ、シーン判定処理部３Ｈ、及び制御情報算出処理部３Ｉを有していると表すことができる。

【0030】

画像処理部３において、距離画像生成処理部３Ａが実行する距離画像生成処理は、メモリ４に保持された第１撮像画像データ、第２撮像画像データに基づき距離画像を生成する処理となる。具体的に、距離画像生成処理は、第１撮像画像データと第２撮像画像データ（つまりステレオ撮像された一対の画像データ）の間の対応点をパターンマッチングにより検出し、検出された対応点間の座標のずれを視差Ｍとして算出し、該視差Ｍを用いて三角測量の原理により実空間上における対応点までの距離を画像上に表した距離画像データを生成する処理である。

【0031】

車線検出処理部３Ｂが実行する車線検出処理は、基準画像（つまり第１撮像画像データ又は第２撮像画像データのうち予め設定された方の画像データ）と、上記の距離画像生成処理で生成された距離画像データ（対応点としての画素ごとの距離情報）とに基づき、自車両が走行する路面上に形成された車線を検出する処理となる。具体的に、車線検出処理では、先ず基準画像の各画素の輝度値と各画素の実空間における距離とに基づいて基準画像上に車線候補点を検出し、検出した車線候補点に基づいて自車両の左右の車線位置を検出する。例えば、基準画像上の１画素幅の水平ライン上を左右方向に１画素ずつオフセットしながら探索し、基準画像の各画素の輝度値に基づいて各画素の輝度微分値（＝エッジ強度）が閾値以上に大きく変化する条件を満たす画素を車線候補点として検出する。この処理を、上記探索の対象とする水平ラインを基準画像の例えば下側から上向きに１画素幅ずつオフセットさせながら順次行う。これにより、自車両の右側領域及び左側領域のそれぞれに車線候補点を検出する。

【0032】

車線モデル形成処理部３Ｃが実行する車線モデル形成処理は、上記の車線検出で検出された左右の車線候補点の情報に基づき、Ｘ，Ｙ，Ｚの各軸（Ｘ軸は左右方向、Ｙ軸は高さ方向、Ｚ軸は車両進行方向）で定義される三次元空間上における車線モデルを形成する処理である。具体的には、車線検出部で検出された車線候補点の実空間上の位置（Ｘ，Ｙ，Ｚ）を例えば最小二乗法等で直線近似して、三次元空間上における車線モデルを形成する。
このように形成された車線モデルにより、自車両が走行する路面の高さ情報も得られたことになる。
なお、上記の距離画像生成処理、車線検出処理、及び車線モデル形成処理の手法は、特開２００８−３３７５０号公報に開示された手法と同様であり、詳しくは該文献を参照されたい。

【0033】

テールランプ検出処理部３Ｄ、ヘッドライト検出処理部３Ｅ、街灯検出処理部３Ｆ、対象認識・識別処理部３Ｇ、シーン判定処理部３Ｈ、及び制御情報算出処理部３Ｉがそれぞれ実行するテールランプ検出処理、ヘッドライト検出処理、街灯検出処理、対象認識・識別処理、シーン判定処理、及び制御情報算出処理は、本実施の形態としての周囲環境判定及びヘッドライト制御のための処理となる。これらの各処理については後に改めて説明する。

【0034】

＜３．明画像・暗画像及び検出範囲について＞
先ず、実施の形態の周囲環境判定及びヘッドライト制御のための処理の説明に先立ち、画像認識で扱う２種の撮像画像（フレーム画像）、及び各対象の検出範囲について説明しておく。

【0035】

後述するように、本実施の形態では、ハイビームを照射すべきではない対象として先行車と対向車とを認識する。先行車の認識は、テールランプの検出結果に基づき行い、対向車の認識はヘッドライトの検出結果に基づき行う。
ここで、ヘッドライトとテールランプはそれぞれ光量が大きく異なるため、場合によっては同一のシャッタースピードで撮像された画像を用いてしまうと両者とも鮮明な像を検出できない可能性がある。例えば、テールランプに合わせたシャッタースピードで撮像された画像では、ヘッドライトの輝度が飽和することがある。

【0036】

そこで、本実施の形態では、シャッタースピードをフレームごとに変更し、テールランプに合わせたシャッタースピード、ヘッドライトに合わせたシャッタースピードでそれぞれ撮像した画像によって各対象の検出処理を行う。以下、テールランプ用のシャッタースピード（ヘッドライト用よりも遅いシャッタースピード）で撮像して得られた撮像画像データを「明画像Ｇ１」、ヘッドライト用のシャッタースピード（テールランプ用よりも速いシャッタースピード）で撮像して得られた撮像画像データを「暗画像Ｇ２」と表記する。
同一シーンについて撮像された明画像Ｇ１、暗画像Ｇ２の例を図３Ａ、図３Ｂにそれぞれに示す。

【0037】

画像処理部３は、第１カメラ部２Ａ、第２カメラ部２Ｂがそれぞれ明画像Ｇ１、暗画像Ｇ２を交互に出力するように撮像部２に指示を行う。これにより、第１カメラ部２Ａにより得られる第１撮像画像データ、及び第２カメラ部２Ｂにより得られる第２撮像画像データとしては、それぞれ明画像Ｇ１、暗画像Ｇ２が１フレーム期間ごとに交互に切り替わることになる。このとき、明画像Ｇ１については、前述した自動調整機能で設定されたシャッタースピードで撮像させる。また、暗画像Ｇ２については、明画像Ｇ１のシャッタースピードに所定のオフセットを与えたシャッタースピードで撮像させる。
なお、前述した距離画像は、明画像Ｇ１に基づき生成される。

【0038】

ここで、暗画像Ｇ２は、ヘッドライト検出に用いられると共に、街灯検出処理部３Ｆによる街灯検出処理にも用いられる。この点を考慮し、本例における暗画像Ｇ２は明画像Ｇ１よりも上方向にオフセットされた画像とされている。
但し、撮像画像上での街灯の輝度は、ヘッドライトとテールランプの中間程度のことが多いことから、必ずしも暗画像Ｇ２ではなく、明画像Ｇ１を用いて街灯検出を行うようにしてもよい。

【0039】

また、本実施の形態では、テールランプ（先行車）、ヘッドライト（対向車）、街灯の各対象について検出範囲が定められている。すなわち、これらの各対象についての検出処理は明画像Ｇ１や暗画像Ｇ２の全画素を対象として行われるのではなく、テールランプ検出処理の対象範囲としてのテールランプ検出範囲Ａｓ、ヘッドライト検出処理の対象範囲としてのヘッドライト検出範囲Ａｔ、及び街灯検出処理の対象範囲としての街灯検出範囲Ａｇに対してそれぞれ行われる。
図４Ａは、明画像Ｇ１に対して定められたテールランプ検出範囲Ａｓの例を、図４Ｂは暗画像Ｇ２に対して定められたヘッドライト検出範囲Ａｔ及び街灯検出範囲Ａｇの例を示している。これら各検出範囲は、それぞれ矩形範囲として設定されている。各検出範囲の位置は、画像内で対象が存在する領域がカバーされるようにそれぞれ設定されている。

【0040】

上記のようなテールランプ検出範囲Ａｓ、ヘッドライト検出範囲Ａｔ、及び街灯検出範囲Ａｇの各検出範囲を設定しておくことで、対象を検出する範囲が限定されて、処理時間の短縮化や処理負担の低減が図られると共に、本来検出対象が存在しない場所での誤検出を防止することができる。

【0041】

＜４．処理の全体的な流れ＞
図５は、実施の形態の画像認識に係る処理の全体的な流れを示したフローチャートである。なお、図５に示す一連の処理は、画像処理部３が１フレーム期間ごとに繰り返し実行するものである。

【0042】

先ず、画像処理部３は、ステップＳ１０１で夜間であるか否かを判別する。夜間でない場合はそもそも各対象を検出・認識する必要性はないことから、当該ステップＳ１０１の判別処理により各対象を検出・認識する必要性があるか否かを判別している。
なお、夜間であるか否かの判別は、撮像画像データのシャッタースピード及びゲイン値に基づき行う。或いは、夜間であるか否かの判別は、ハイビームがＯＮであるか否かを判別した結果に基づき行うこともできる。
ステップＳ１０１において、夜間ではないとの否定結果が得られた場合は現フレーム期間での処理を終了し、夜間であるとの肯定結果が得られた場合はステップＳ１０２に進む。

【0043】

ステップＳ１０２では画像タイプを判別する。すなわち、現フレーム期間において撮像部２から取り込んだ撮像画像データが明画像Ｇ１か暗画像Ｇ２かを判別する。
画像タイプが明画像Ｇ１であれば、ステップＳ１０３でテールランプ検出処理を実行した後、現フレーム期間での処理を終了する。
一方、画像タイプが暗画像Ｇ２であるとされた場合は、ステップＳ１０４でヘッドライト検出処理を行った後、ステップＳ１０５で街灯検出処理を行う。

【0044】

続くステップＳ１０６では、対象認識・識別処理を実行する。詳細は後述するが、対象認識・識別処理は、ステップＳ１０３で実行したテールランプ検出処理の結果と、ステップＳ１０４、Ｓ１０５でそれぞれ実行したヘッドライト検出処理、街灯検出処理の各結果とに基づき、先行車、対向車、街灯の各対象を認識・識別する処理となる。
対象認識・識別処理を実行した後は、ステップＳ１０７でシーン判定処理、ステップＳ１０８で制御情報算出処理をそれぞれ実行し、処理を終了する。

【0045】

以下に、ステップＳ１０３〜Ｓ１０８として実行されるテールランプ検出処理、ヘッドライト検出処理、街灯検出処理、対象認識・識別処理、シーン判定処理、制御情報算出処理の各処理の内容を説明する。

【0046】

＜５．テールランプ検出処理＞
テールランプ検出処理は、先行車のテールランプ部分と推測される領域（テールランプ領域）を検出する処理である。このテールランプ検出処理では、先ず、明画像Ｇ１に対してテールランプ検出範囲Ａｓを設定した上で、当該テールランプ検出範囲Ａｓ内の画素を対象として赤色の画素を検出する。そして、検出した画素をグループ化し、要素グループを作成する。具体的には、検出された画素間の距離がＡ１ピクセル以下となる画素同士をグループ化する。例えばＡ１＝１．５ピクセルとする。

【0047】

その上で、要素グループの基本特徴量を求める。基本特徴量としては、
・要素グループの上下左右座標（要素グループを矩形で囲った場合の各辺の位置）
・要素グループ内画素数
・要素グループ内最大輝度値、最小輝度値
・要素グループの平均視差（要素グループ内の各画素の視差Ｍの平均値）
なお、視差Ｍは、前述した距離画像生成処理で得られる値を用いる。

【0048】

そして、要素グループの基本特徴量の情報に基づき、要素グループの選別を行う。つまり、基本特徴量が以下の設定条件外の要素グループは削除する。
条件１）：要素グループの縦・横サイズがＢ１ピクセル以下。Ｂ１は例えば２ピクセル。
条件２）：要素グループ内画素数がＣ１ピクセル以下。Ｃ１は例えば２ピクセル。
その他、要素グループのサイズが大きすぎる場合に削除を行ってもよい。但し、その場合の閾値は距離（視差Ｍ）により変化させる。

【0049】

このようなテールランプ検出処理で検出された（最終的に選別された）要素グループの模式図を図６Ａに示す。
図中の灰色で示した領域が、テールランプ検出範囲Ａｓ内における先行車に相当する領域（先行車領域）を表し、黒色で示した領域が赤色画素として検出された領域を表す。上記のテールランプ検出処理によれば、図中の破線で示す矩形状の領域が要素グループとしてグループ化される。

【0050】

このようにテールランプ検出処理によれば、先行車のテールランプ部分に相当する領域が要素グループとして検出される。
なお、上記の説明から理解されるように、要素グループとは、認識すべき対象に含まれる特徴部分をグループ化したものと定義できる。後述する対象認識・識別処理では、これらの要素グループの検出結果を基に、認識すべき対象の範囲が対象グループとしてグループ化される（図６Ｂを参照）。

【0051】

＜６．ヘッドライト検出処理＞
ヘッドライト検出処理は、対向車のヘッドライト部分と推測される領域（ヘッドライト領域）を検出する処理である。
ヘッドライト検出処理の基本的な流れは以下の通りである。
i）輝度値が閾値Ｄ２以上である画素を検出する。
ii）検出した画素をグループ化し、要素グループを作成する
iii）要素グループの基本特徴量を求める
iv）要素グループ選別

【0052】

上記i）の処理としては、暗画像Ｇ２に対しヘッドライト検出範囲Ａｔを設定し、このヘッドライト検出範囲Ａｔ内で輝度値がＤ２以上となった画素をヘッドライト領域候補として判定する。ここで、Ｄ２は例えば２５６段階の輝度で５〜１０程度と小さな値に設定する。これは輝度が充分小さくなる遠方（例えば数１００ｍ）のヘッドライトも検出する必要があるからである。
このようにヘッドライト領域候補としての画素を検出したら、上記ii）〜iv）の処理はテールランプ検出処理の場合と同様に行う。これにより対向車のヘッドライト部分に相当する領域が要素グループとして検出される。

【0053】

＜７．街灯検出処理＞
街灯検出処理は、街灯と推測される領域（街灯領域）を検出する処理である。
街灯検出処理は、ヘッドライト検出処理と同様に上記i）〜iv）の手順で行う。但し上記i）の処理としては、暗画像Ｇ２に対し街灯検出範囲Ａｇを設定し、この街灯検出範囲Ａｇ内で輝度値が所定以上となった画素を街灯領域候補として判定する点が異なる。
街灯領域候補としての画素を検出したら、上記ii）〜iv）の処理が同様に行われ、これにより街灯に相当する領域が要素グループとして検出される。

【0054】

＜８．対象認識・識別処理＞
対象認識・識別処理は、上記のテールランプ検出処理、ヘッドライト検出処理、及び街灯検出処理の各処理結果に基づいて、対象（先行車、対向車、街灯）の認識・識別を行う処理である。
ここで言う「認識」とは、対象の範囲を認識することを意味する。「識別」とは、「認識」された範囲内に存在する物体が対象であるかどうかの確からしさ（例えば後述する信頼度）を算出し、その確からしさに基づいて対象であるか否かの切り分けを行うことを意味する。

【0055】

対象の「認識」処理は、テールランプ検出処理、ヘッドライト検出処理、街灯検出処理で求まった各要素グループを、基本特徴量の情報に基づいて対象グループとしてグループ化することで行う。
ここで、要素グループの平均視差の値がほぼ同値であれば、それらの要素グループは同一の対象を構成している可能性が高い。また、同一の対象を構成しているのであれば、それらの要素グループの上下左右方向の離間距離は所定の範囲内にあると言える。
対象の「認識」処理では、平均視差の値が同じであるとみなさせる要素グループであって、それら要素グループの上下左右方向の離間距離が所定範囲内であるものを、対象グループとしてグループ化することで行う。なお、上記離間距離についての「所定範囲」は、撮像画像内での対象のサイズが自車両から当該対象までの距離に応じて変わる点を考慮し、平均視差の値に応じて可変とする。

【0056】

このような「認識」処理によって、図６Ｂに示すような対象グループのグループ化が実現される。例えば先行車や対向車としての左右の発光部分（各要素グループ）を含む範囲が１つの対象グループとしてグループ化される。
なお街灯については、１つの発光部としての要素グループそのものが認識されるべき対象であることから、上記の「認識」処理は実行せず、要素グループをそのまま対象グループとして扱えばよい。

【0057】

対象の「識別」処理では、上記の「認識」処理でグループ化された各対象グループについて信頼度を算出し、信頼度が所定閾値以上の対象グループを抽出する。
本例の信頼度は、フレームごとに算出される。「識別」処理では、フレームごとに信頼度と上記所定閾値との比較が行われて対象グループの抽出が行われる。
信頼度は、例えば対象グループを構成する要素グループの数や対象グループのサイズ及び路面からの高さの情報等に基づき算出する。なお、路面からの高さの値は、前述した車線モデル形成処理で得られた値を用いる。

【0058】

このような「識別」処理により、先行車や対向車としての対象以外の物体（自車のライトによって照らされた標識や看板、リフレクタ等）を切り分けることができる。
即ち先行車検出範囲Ａｓ内で認識された対象グループについては、先行車のテールランプもしくは他の物体と識別される。
また対向車検出範囲Ａｔ内で認識された対象グループについては、対向車のヘッドライトもしくは他の物体と識別される。
なお、街灯については、上記のような「識別」処理は不要であり、対象グループを「街灯」と扱えばよい。但し、街灯と信号機を識別したり、街灯以外と考えられる特徴を有する対象グループを区別するようにしてもよい。

【0059】

＜９．シーン判定処理＞
上述の図５のステップＳ１０７として実行されるシーン判定処理の詳細を図７〜図１０で説明する。このシーン判定処理は、現在の自車両の周囲環境や走行状況がハイビーム不要シーンであるか否かを最終的に判定する処理となるが、周囲環境判定として市街地か非市街地かの判定を行う。市街地は充分明るくハイビーム不要と考えられるためである。また走行状況として、低速時は遠方までライトを当てる必要がないためハイビーム不要シーンとし、さらに右左折中は遠方までライトを当てる必要がないためハイビーム不要シーンとする。

【0060】

図７に画像処理部３がシーン判定処理部３Ｈとしての機能により実行するシーン判定処理を示している。ステップＳ２０１として画像処理部３は、現在、自車両の走行速度が一定速度以上であるか否かを検出する。例えば車速センサ１７Ａの検出情報を確認し、一定速度として例えば２０ｋｍ／ｈ以上であるか否かを確認する。
そして走行速度が一定速度未満であれば、画像処理部３はステップＳ２０６に進み、ハイビーム不要シーンと判定してハイビーム不要フラグ＝１とする。
なお、判定のハンチングを防止するためヒステリシスを設けることが望ましい。例えばハイビーム不要フラグ＝１とされている状況下では、ステップＳ２０１の判断の一定速度を２０ｋｍ／ｈから１８ｋｍ／ｈに変更することで、判定結果（ハイビーム不要フラグの「１」「０」）が頻繁に変動することがないようにする。

【0061】

走行速度が一定以上であると検知した場合、画像処理部３はステップＳ２０２で現在右左折中であるか否かを判定する。例えばウインカーの点灯期間をカウントして，一定期間ウインカー点灯（点滅）が継続した場合に右左折中と判断する。またこの判定にはヒステリシスを設けることが望ましい。
図８に、ステップＳ２０２で行う右左折中判定処理の一例を示す。なお、この図８の処理と並行して画像処理部３は、ウインカー点滅時は内部カウンタ（説明上「ウインカーカウンタ」と呼ぶ）をカウントアップし、ウインカー消灯時はカウントダウン（但し、最小値は０）する処理を行っているものとする。
画像処理部３はステップＳ２１０で、現在右左折中と判定されているか（後述のステップＳ２１３の判定後の期間であるか）否かを確認する。
現在が右左折中と判定されている期間でなければステップＳ２１１でウインカーカウンタの値が右左折判定閾値Ｒ１を越えたか否かを確認する。右左折判定閾値Ｒ１は、例えば５秒に相当するカウント値などとする。

【0062】

画像処理部３は、ウインカーカウンタの値が右左折判定閾値Ｒ１を越えていなければステップＳ２１５で現在は右左折中ではないと判定する。
一方、ウインカーカウンタの値が右左折判定閾値Ｒ１を越えていればステップＳ２１３で右左折後フラグをオンとし、ステップＳ２１４で現在右左折中と判定する。なお、右左折後フラグとは、後述する市街地判定で確認する右左折後期間（右左折後の一定期間）を示すためのフラグであり、この右左折後フラグは一定時間（例えば２０秒）間、オン状態が継続される。

【0063】

ステップＳ２１４で右左折中と判定された後において、図７のステップＳ２０２が行われる場合、図８の処理はステップＳ２１０からＳ２１２に進む。ステップＳ２１２で画像処理部３は、ウインカーカウンタの値が右左折判定閾値Ｒ２を下回ったか否かを確認する。右左折判定閾値Ｒ２は、例えば２秒に相当するカウント値などとする。
ウインカーカウンタの値が右左折判定閾値Ｒ２を下回っていなければステップＳ２１４で右左折中の判定を継続する。ウインカーカウンタの値が右左折判定閾値Ｒ２を下回ったらステップＳ２１５で右左折中ではない、つまり右左折は終了したと判定する。

【0064】

例えばこの図８のように右左中か否かを判定する。なお、右左折判定閾値Ｒ１＞Ｒ２としていることにより、判定処理にヒステリシスが与えられ、右左折中か否かの判定が頻繁に変動することが抑止される。なお、ここではウインカー点灯（点滅）期間で右左折を判定したが、例えば舵角センサ１７Ｂの情報で右左折中を判定したり、ウインカー点灯期間と舵角センサ１７Ｂの情報を合わせて右左折中を判定してもよい。さらにはヨーレート検出結果を右左折中判定に用いることも考えられる。
図７のステップＳ２０２で以上の図８のような右左折中判定が行われ、右左折中と判定した場合は、画像処理部３はステップＳ２０６に進み、ハイビーム不要シーンと判定してハイビーム不要フラグ＝１とする。

【0065】

右左折中ではないと判定した場合は、画像処理部３はステップＳ２０３で第１市街地判定処理を行って、現在の周囲環境が市街地であるか否かを判定する。第１市街地判定処理で市街地であると判定した場合は、画像処理部３はステップＳ２０６に進み、ハイビーム不要シーンと判定してハイビーム不要フラグ＝１とする。
さらに第１市街地判定処理において市街地と判定されなかったら、ステップＳ２０４で第２市街地判定処理を行う。そして第２市街地判定処理で市街地であると判定した場合は、画像処理部３はステップＳ２０６に進み、ハイビーム不要シーンと判定してハイビーム不要フラグ＝１とする。

【0066】

つまり図７のシーン判定処理では、走行速度が一定未満の場合、右左折中の場合、第１市街地判定処理で市街地と判定した場合、第２市街地判定処理で市街地と判定した場合のいずれかにより、ハイビーム不要フラグ＝１、つまりハイビーム不要シーンであるとする。一方、いずれの条件も満たされなければ、ハイビーム不要フラグ＝０、つまりハイビーム不要シーンではないとする。

【0067】

ここで市街地か否かの判定としてはステップＳ２０３の第１市街地判定処理とステップＳ２０４の第２市街地判定処理を行い、そのいずれか一方で市街地と判定されたら、最終的に市街地であると判定してハイビーム不要フラグ＝１とすることとしている。
第１市街地判定処理は、現在の検出対象フレーム単位からの街灯検出結果等を用いて市街地か非市街地かを短期的に判定する処理（短期処理）である。
なお「検出対象フレーム単位」とは、シーン判定処理に用いる検出結果を得る単位としての１又は複数のフレームである。従って「現在の検出対象フレーム単位」とは、撮像画像の直近の１フレームに限られるものではない。上述のように明画像Ｇ１、暗画像Ｇ２で検出処理を行っている場合、検出対象フレーム単位とは、明画像Ｇ１と暗画像Ｇ２の２フレーム期間の単位となる。また例えば２フレームや３フレームなどの検出結果を平均化して１回のシーン判定処理を行うような場合、その複数フレームが「検出対象フレーム単位」に相当する。

【0068】

一方、第２市街地判定処理は、現在の検出対象フレーム単位における街灯検出結果と過去の検出対象フレーム単位における街灯検出結果の双方を用いて、時系列変動を考慮して市街地であるか否かを判定する処理（長期処理）である。
以下、このような市街地判定について詳しく述べる。

【0069】

まず第１市街地判定処理を説明する。第１市街地判定処理は、上述した現在の検出対象フレーム単位からの街灯、先行車、対向車などの検出結果から、以下の街灯検出範囲Ａｇ内の検出結果による［条件Ｊ１］、先行車検出範囲Ａｓ内の検出結果による［条件Ｊ２］、対向車検出範囲Ａｔ内の検出結果による［条件Ｊ３］のいずれかに当てはまる場合に、市街地（ハイビーム不要シーン）と判定する。
［条件Ｊ１］
街灯検出範囲Ａｇで街灯の対象グループとして検出されたグループの数が閾値ｔｈ１ａ（例えばｔｈ１ａ＝５）以上となるか（条件Ｊ１ａ）、もしくは、街灯として識別されたか否かにかかわらず対象グループとして検出されたグループの要素グループ画素数の総和が閾値ｔｈ１ｂ（例えば閾値ｔｈ１ｂは街灯検出範囲Ａｇの画素数の１／１０）以上となったとき（条件Ｊ１ｂ）。
［条件Ｊ２］
先行車検出範囲Ａｓで先行車の対象グループではないとして検出されたグループの数が閾値ｔｈ２ａ（例えばｔｈ２ａ＝５）以上となるか（条件Ｊ２ａ）、もしくは、先行車として識別されたか否かにかかわらず対象グループとして検出されたグループの要素グループ画素数の総和が閾値ｔｈ２ｂ（例えば閾値ｔｈ２ｂは先行車検出範囲Ａｓの画素数の１／１０）以上となったとき（条件Ｊ２ｂ）。
［条件Ｊ３］
対向車検出範囲Ａｔで対向車として識別されたか否かにかかわらず対象グループとして検出されたグループの要素グループ画素数の総和が閾値ｔｈ３（例えば閾値ｔｈ３は対向車検出範囲Ａｔの画素数の１／１０）以上となったとき。

【0070】

このような条件Ｊ１，Ｊ２，Ｊ３の条件判定による第１市街地判定処理の一例を図９に示す。なお図９は判定のハンチング防止のためヒステリシスを与えている例である。
図９のステップＳ２２０で画像処理部３は、前回判定フラグＦ１ａを確認する。図９の処理では前回判定フラグＦ１ａ、Ｆ１ｂ、Ｆ２ａ、Ｆ２ｂ、Ｆ３を用いるが、これは直前の第１市街地判定処理により上記の条件Ｊ１ａ、Ｊ１ｂ、Ｊ２ａ、Ｊ２ｂ、Ｊ３のいずれの条件により市街地と判定されたかを示すフラグである。例えばステップＳ２２０で前回判定フラグＦ１ａがオンとされている場合とは、前回の図９の処理で条件Ｊ１ａが満たされて市街地と判定されていた場合となる。

【0071】

ステップＳ２２０で前回判定フラグＦ１ａがオフであれば、画像処理部３はステップＳ２２１で、街灯検出範囲Ａｇにおいて街灯の対象グループとして検出されたグループの数が閾値ｔｈ１ａ以上であるか否かを判断する（条件Ｊ１ａ）。閾値ｔｈ１ａ以上であれば、ステップＳ２２２で前回判定フラグＦ１ａをオンとし、ステップＳ２４５で市街地と判定する。閾値ｔｈ１ａ以上でなければ条件Ｊ１ａは満たしていないため、次の条件Ｊ１ｂの判断のためステップＳ２２５に進む。
またステップＳ２２０で前回判定フラグＦ１ａがオンであれば、画像処理部３はステップＳ２２３で、街灯検出範囲Ａｇで街灯の対象グループとして検出されたグループの数が閾値ｔｈ１ａＨ以下であるか否かを判断する。閾値ｔｈ１ａＨとは、条件Ｊ１ａ判定についてのヒステリシス付与のため、閾値ｔｈ１ａ（例えば５）より低い値に設定される。例えば閾値ｔｈ１ａＨ＝３などとする。閾値ｔｈ１ａＨ以下でなければ、依然、条件Ｊ１ａは満たされているとしてステップＳ２４５で市街地と判定する。閾値ｔｈ１ａＨ以下であれば、ステップＳ２２４で前回判定フラグＦ１ａをオフとし、ステップＳ２２５に進む。

【0072】

ステップＳ２２５で画像処理部３は、前回判定フラグＦ１ｂを確認する。前回判定フラグＦ１ｂがオフであれば、ステップＳ２２６で街灯検出範囲Ａｇで対象グループとして検出されたグループの要素グループ画素数の総和が閾値ｔｈ１ｂ以上であるか否かを判断する（条件Ｊ１ｂ）。閾値ｔｈ１ｂ以上であれば、ステップＳ２２７で前回判定フラグＦ１ｂをオンとし、ステップＳ２４５で市街地と判定する。閾値ｔｈ１ｂ以上でなければ条件Ｊ１ｂは満たしていないため、次の条件Ｊ２ａの判断のためステップＳ２３０に進む。
またステップＳ２２５で前回判定フラグＦ１ｂがオンであれば、画像処理部３はステップＳ２２８で、街灯検出範囲Ａｇで街灯の対象グループとして検出されたグループの数が閾値ｔｈ１ｂＨ以下であるか否かを判断する。閾値ｔｈ１ｂＨは、条件Ｊ１ｂ判定についてのヒステリシス付与のため、閾値ｔｈ１ｂ（例えば街灯検出範囲Ａｇの画素数の１／１０）より低い値（例えば街灯検出範囲Ａｇの画素数の１／１１）に設定される。閾値ｔｈ１ｂＨ以下でなければ、依然、条件Ｊ１ｂは満たされているとしてステップＳ２４５で市街地と判定する。閾値ｔｈ１ｂＨ以下であれば、ステップＳ２２９で前回判定フラグＦ１ｂをオフとし、ステップＳ２３０に進む。

【0073】

ステップＳ２３０以降も、概略同様の処理で条件Ｊ２ａ、Ｊ２ｂ、Ｊ３の各判断を行う。
画像処理部３は、ステップＳ２３０で前回判定フラグＦ２ａがオフであれば、ステップＳ２３１で先行車検出範囲Ａｓで先行車の対象グループではないとして検出されたグループの数が閾値ｔｈ２ａ以上であるか否かを判断する（条件Ｊ２ａ）。閾値ｔｈ２ａ以上であれば、ステップＳ２３２で前回判定フラグＦ２ａをオンとし、ステップＳ２４５で市街地と判定する。閾値ｔｈ２ａ以上でなければステップＳ２３５に進む。
またステップＳ２３０で前回判定フラグＦ２ａがオンであれば、ステップＳ２３３で、先行車検出範囲Ａｓで先行車の対象グループではないとして検出されたグループの数が閾値ｔｈ２ａＨ（但しｔｈ２ａ＞ｔｈ２ａＨ）以下であるか否かを判断する。閾値ｔｈ２ａＨ以下でなければステップＳ２４５で市街地と判定する。閾値ｔｈ２ａＨ以下であれば、ステップＳ２３４で前回判定フラグＦ２ａをオフとしてステップＳ２３５に進む。

【0074】

画像処理部３は、ステップＳ２３５で前回判定フラグＦ２ｂがオフであれば、ステップＳ２３６で先行車検出範囲Ａｓで対象グループとして検出されたグループの要素グループ画素数の総和が閾値ｔｈ２ｂ以上であるか否かを判断する（条件Ｊ２ｂ）。閾値ｔｈ２ｂ以上であれば、ステップＳ２３７で前回判定フラグＦ２ｂをオンとし、ステップＳ２４５で市街地と判定する。閾値ｔｈ２ｂ以上でなければステップＳ２４０に進む。
またステップＳ２３５で前回判定フラグＦ２ｂがオンであれば、ステップＳ２３８で、先行車検出範囲Ａｓで対象グループとして検出されたグループの要素グループ画素数の総和が閾値ｔｈ２ｂＨ（但しｔｈ２ｂ＞ｔｈ２ｂＨ）以下であるか否かを判断する。閾値ｔｈ２ｂＨ以下でなければステップＳ２４５で市街地と判定する。閾値ｔｈ２ｂＨ以下であれば、ステップＳ２３９で前回判定フラグＦ２ａをオフとしてステップＳ２４０に進む。

【0075】

画像処理部３は、ステップＳ２４０で前回判定フラグＦ３がオフであれば、ステップＳ２４１で対向車検出範囲Ａｔで対象グループとして検出されたグループの要素グループ画素数の総和が閾値ｔｈ３以上であるか否かを判断する（条件Ｊ３）。閾値ｔｈ３以上であれば、ステップＳ２４２で前回判定フラグＦ３をオンとし、ステップＳ２４５で市街地と判定する。閾値ｔｈ３以上でなければステップＳ２４６に進む。
またステップＳ２４０で前回判定フラグＦ３がオンであれば、ステップＳ２４３で、対向車検出範囲Ａｔで対象グループとして検出されたグループの要素グループ画素数の総和が閾値ｔｈ３Ｈ（但しｔｈ３＞ｔｈ３Ｈ）以下であるか否かを判断する。閾値ｔｈ３Ｈ以下でなければステップＳ２４５で市街地と判定する。閾値ｔｈ３Ｈ以下であれば、ステップＳ２４４で前回判定フラグＦ３をオフとしてステップＳ２４６に進む。

【0076】

ステップＳ２４６に進んだ場合とは、上記の条件Ｊ１ａ、Ｊ１ｂ、Ｊ２ａ、Ｊ２ｂ、Ｊ３のいずれも満たされない場合となる。従ってこの場合、非市街地と判定する。なおこの場合は、前回判定フラグＦ１ａ、Ｆ１ｂ、Ｆ２ａ、Ｆ２ｂ、Ｆ３をすべてオフとする。
以上のように第１市街地判定処理は、現在の検出対象フレーム単位での街灯検出、先行車検出、対向車検出の各検出結果を用いて、市街地判定を行う。

【0077】

次に第２市街地判定処理を説明する。第２市街地判定処理は、現在及び過去の検出対象フレーム単位の検出結果を反映した市街地判定を行う。
まず非市街地から市街地に入ったと判定するために、判定値Ｓを用意し、次のように判定値Ｓを更新していく。

【0078】

Ｓ＝Ｔ・（前回のＳ）＋（１−Ｔ）・Ｘ
Ｘ＝（街灯検出範囲Ａｇで街灯として識別された対象グループ数＋Ｕ・先行車検出範囲Ａｓで先行車として識別されなかった対象グループ数＋Ｕ・対向車検出範囲Ａｔで対向車として識別されなかった対象グループ数）

【0079】

上記の“Ｘ”は現在の検出対象フレーム単位での検出結果としての対象グループ数である。つまり街灯の対象グループと、先行車検出範囲Ａｓ及び対向車検出範囲Ａｔで先行車や対向車として識別されなかった（＝街灯の可能性のある）対象グループ数の和である。但し、“Ｕ”は検出結果に与える重みパラメータであり、街灯と識別された対象グループ数を中心に判定するため“Ｕ”は１以下（例えば０．５）とする。従って“Ｘ”は、街灯と認識された数に、街灯の可能性のある物体の数を若干反映させた値となる。説明上“Ｘ”を「街灯数反映値」と呼ぶこととする。
“Ｔ”は０より大きく１未満で設定されるパラメータで（以下「係数Ｔ」ともいう）、時系列上の各検出対象フレーム単位の検出結果の反映の重みを設定するものとなる。“Ｔ”が前回の判定値Ｓの係数、“１−Ｔ”が現在の検出対象フレーム単位の街灯数Ｘの係数であることで、判定値Ｓは、係数Ｔが０に近いほど現在の検出対象フレーム単位での検出結果の重みが大きく、係数Ｔが１に近いほど過去の検出対象フレーム単位での検出結果の重みが大きくなる。上記式から「前回の判定値Ｓ」は、前々回以前の判定値Ｓの要素も含むことになるため、判定値Ｓは、係数Ｔが０に近いほど短期の検出結果を反映し、係数Ｔが１に近いほど長期の検出結果を反映したものとなる。
なお、係数Ｔは、例えば数１０秒レベルの期間を想定して設定することが考えられる。
ただし右左折後一定期間（右左折後フラグがオンのとき）は係数Ｔを通常の直進時より小さくする（判定値Ｓが比較的短期の検出結果を反映したものとなるようにする）。例えば数秒程度の期間を想定した値とする。

【0080】

以上の判定値Ｓは、現在の検出対象フレーム単位における検出結果と過去の検出対象フレーム単位における検出結果の双方を反映した値となる。
この判定値Ｓが所定の閾値ｔｈＡ（例えばｔｈＡ＝３）以上となったら、非市街地から市街地に入った、つまりハイビーム不要シーンと判定する。判定値Ｓが閾値ｔｈＡ未満であれば、非市街地、つまりハイビーム不要シーンではないと判定する。
なお、車両停止時は判定値Ｓの値は更新しない。これは、非市街地で偶然局所的に光源の存在する場所に停止した場合に誤って判定結果が非市街地から市街地へ遷移することがないようにするためである。

【0081】

次に、市街地から非市街地に入ったと判定するためには、上記の街灯数反映値Ｘを用いる。街灯数反映値Ｘが閾値ｔｈＢ（例えばｔｈＢ＝３）以下の状態が所定回数以上続いた場合に、判定結果を非市街地に遷移させる。
具体的には、街灯数反映値Ｘが閾値ｔｈＢ以下の連続回数を“Ｙ”とし、連続回数Ｙが閾値Ｖ以上となった場合に非市街地と判定する。
閾値Ｖは通常１０秒程度の相当値に設定するが、右左折後一定期間（右左折後フラグがオンのとき）は閾値Ｖは通常より短くする（例えば３秒程度の相当値）。

【0082】

このような第２市街地判定処理の具体例を図１０に示す。
第２市街地判定処理において、図１０のステップＳ２５０で画像処理部３は、現在自車両が停車中であるか否かを確認する。車両停車中であれば、ステップＳ２６６で前回判定を維持する。判定値Ｓの更新も行わない。
車両停車中でなければ、ステップＳ２５１で、右左折後フラグがオンであるか否かを確認する。即ち図８で述べた右左折後期間（例えば右左折中と検出されてから２０秒の期間）であるか否かを確認することになる。
右左折後フラグがオフであれば、ステップＳ２５２で係数Ｔ＝Ｔ１、閾値Ｖ＝Ｖ１とする。右左折後フラグがオンであれば、ステップＳ２５３で係数Ｔ＝Ｔ２、閾値Ｖ＝Ｖ２とする。Ｔ１＞Ｔ２、Ｖ１＞Ｖ２である。これは右左折後期間は、係数Ｔ１，閾値Ｖを小さくし、市街地であることの判定、及び非市街地であることの判定についての判定応答性が、通常時（右左折後期間以外）よりも高くなるようにするためである。

【0083】

ステップＳ２５４では画像処理部３は、現在の検出対象フレーム単位の検出結果を用いて街灯数反映値Ｘを算出する。
そしてステップＳ２５５で街灯数Ｘ、係数Ｔ、前回の判定値Ｓを用いて、判定値Ｓを算出（更新）する。

【0084】

画像処理部３はステップＳ２５６では、前回の判定が市街地であったか否かを確認する。前回が非市街地判定であれば、今回の判定は非市街地のままか、或いは市街地に入ったかという判定となる。この場合画像処理部３はステップＳ２５７に進み、判定値Ｓを閾値ｔｈＡと比較する。そして判定値Ｓが閾値ｔｈＡ以上であれば、市街地に入ったとして、ステップＳ２５８で市街地判定を行う。判定値Ｓが閾値ｔｈＡ未満であれば、今回も非市街地のままであるとして、ステップＳ２５９で非市街地判定を行う。

【0085】

一方、前回の判定が市街地であった場合、今回の判定は市街地のままか、或いは非市街地に入ったかという判定となる。このためにまず画像処理部３はステップＳ２５６からＳ２６０に進み、街灯数反映値Ｘを閾値ｔｈＢと比較する。そして街灯数反映値Ｘが閾値ｔｈＢ以下であれば、ステップＳ２６１で連続回数Ｙの値をインクリメントする。街灯数反映値Ｘが閾値ｔｈＢを越えていればステップＳ２６２で連続回数Ｙの値をゼロにリセットする。
従って連続回数Ｙの値は、ステップＳ２６０で街灯数反映値Ｘが閾値ｔｈＢ以下と判定された連続回数を示すものとなる。この連続回数ＹをステップＳ２６３で閾値Ｖと比較し、連続回数Ｙが閾値Ｖを越えていたら、非市街地に入ったとして、ステップＳ２６５で非市街地判定を行う。連続回数Ｙが閾値Ｖを越えていなければ、今回も市街地のままであるとして、ステップＳ２６４で市街地判定を行う。

【0086】

ここで右折後期間の場合、ステップＳ２５３で係数Ｔ＝Ｔ２、閾値Ｖ＝Ｖ２とされる。
まず係数Ｔ＝Ｔ２とされることによれば、ステップＳ２５５で求められる判定値Ｓが、現在よりの検出対象フレーム単位ほど重み付けされ、比較的短期的な時系列遷移を反映した値となる。つまり過去の検出対象フレーム単位における街灯検出結果の反映度が低くされ、現在の街灯検出結果に重みをおくようにすることで、非市街地から市街地に入った際にステップＳ２５７で判定値Ｓが閾値ｔｈＡ以上と判定されやすくしている。このことで周囲が非市街地から市街地になった場合の判定応答性を高くしている。
また閾値Ｖ＝Ｖ２とされることによれば、ステップＳ２６３で連続回数Ｙが通常時より少なくても非市街地と判定されることになる。このため、周囲が市街地から非市街地になった場合に、比較的早く非市街地判定がなされる。つまり周囲が市街地から非市街地になった場合の判定応答性を高くしている。
このように自車両の右左折後期間においては、市街地であることの判定、及び非市街地であることの判定についての判定応答性が、通常時（＝右左折後期間以外）よりも高くなるようにしている。

【0087】

＜１０．制御情報算出処理＞
図５のステップＳ１０８として実行される制御情報算出処理は、認識・識別処理による先行車・対向車の認識・識別結果とシーン判定処理の結果とに基づき、ＡＤＢの制御情報を算出する処理である。具体的な処理内容を図１１のフローチャートを参照して説明する。
図１１において、画像処理部３は、ステップＳ３０１で不要シーンか否かを上記のシーン判定処理の結果（ハイビーム不要フラグが“１”であるか“０”であるか）に基づき判別する。不要シーンであるとの肯定結果が得られた場合は、ステップＳ３０５でハイビームＯＦＦを表す制御情報を生成し、ステップＳ３０６で当該制御情報を運転支援制御部５（配光制御処理部５Ａ）に対して出力した後、処理を終了する。

【0088】

一方、不要シーンではないとの否定結果が得られた場合は、ステップＳ３０２で先行車又は対向車が存在するか否かを判別する。すなわち、上記した認識・識別処理の結果に基づき、先行車又は対向車の何れかが存在するか否かを判別する。
先行車又は対向車が存在しないとの否定結果が得られた場合は、ステップ３０３で全面ハイビームＯＮを表す制御情報を生成し、ステップＳ３０６で当該制御情報を運転支援制御部５に出力した後、処理を終了する。

【0089】

また、先行車又は対向車が存在するとの肯定結果が得られた場合は、ステップＳ３０４で対象以外ハイビームＯＮを表す制御情報を生成する。このとき、画像処理部３は、認識・識別処理の結果に基づき、ハイビームを照射可能な範囲を計算する（当該範囲の情報を以下「照射範囲情報」と表記する）。ハイビームの照射可能な範囲は、先行車、対向車の左右の座標情報を基準に算出する。
画像処理部３は、ステップＳ３０４で生成した制御情報（照射範囲情報を含む）をステップＳ３０６で運転支援制御部５に出力し、処理を終了する。

【0090】

＜１１．制御情報に基づく配光制御＞
運転支援制御部５（配光制御処理部５Ａ）では、配光制御処理として、上記の制御情報に基づく配光制御を実行する。具体的に、配光制御処理では、ハイビームＯＦＦを表す制御情報に応じてはライト制御部１０に対しハイビームをＯＦＦとする指示を行う。また、全面ハイビームＯＮを表す制御情報に応じてはライト制御部１０に対しハイビームを全面ＯＮとする指示を行う。さらに、対象以外ハイビームＯＮを表す制御情報に応じては、当該制御情報に含まれる照射範囲情報に従った範囲のみハイビームが照射されるようにライト制御部１０に対する指示を行う。

【0091】

図１２は、対象以外ハイビームＯＮを表す制御情報に応じて実現されるハイビームの照射態様についての説明図である。なお、図中では紙面上方向が自車両の前方方向を表す。
図１２Ａに示すように、この場合のハイビームの照射は、先行車、対向車が存在する範囲（図中斜線部）以外の範囲に対して行う。

【0092】

なお、ＡＤＢとしては、ハイビームの遮光を１カ所しかできない仕様のものも考えられる。その場合において、図１２Ａと同様にハイビームを照射すべきでない対象が複数存在し且つそれらの間に対象が存在しない範囲が形成されているときは、図１２Ｂに示すように、ハイビームを照射すべきでない対象（先行車、対向車）の間の範囲もハイビームの非照射範囲とされるように配光制御を行う。このためには、例えば前述した制御情報算出処理において、ハイビームを照射すべきでない対象が複数存在する場合はそれらをグループ化し、当該グループの左右方向の最大座標を基準に照射範囲情報を計算すればよい。

【0093】

ここで、ハイビームを照射すべきでない対象として、対向車は、自車に対して或る程度近接するとヘッドライト検出範囲Ａｔから外れることになる（図１３を参照）。そのため、対向車がある程度の距離まで近接（例えば５０ｍ：但しヘッドライト検出範囲Ａｔで検出できる距離内であることが条件）したことが確認された場合は、すれ違いが予想される方向へのハイビームの照射を一定期間（例えば１秒）ＯＦＦとする。

【0094】

＜１２．まとめ及び変形例＞
以上のように実施の形態では、主に撮像部２と画像処理部３の機能により周囲環境判定装置としての構成が実現される。撮像部２は自車両の前方を撮像した撮像画像を得る。画像処理部３には、撮像画像の検出対象フレーム単位毎に少なくとも街灯検出を行う街灯検出処理部３Ｆと、第１市街地判定処理（短期判定）及び第２市街地判定処理（長期判定）を行い、第１、第２市街地判定処理のいずれかで市街地と判定された場合に、現在の車両周囲環境が市街地であると判定するシーン判定処理部３Ｈを備える。これにより、短期的な判定で発生しやすい判定のハンチングを解消し、また長期的な判定で発生しやすい判定遅れや未反応を解消できる。
図１４で説明する。図１４Ａは時間軸上で検出される街灯を模式的に示している。図１４Ｂは第１市街地判定処理の判定結果、図１４Ｃは第２市街地判定処理の判定結果、図１４Ｄは第１，第２市街地判定処理を統合した判定結果である。いずれも「１」が市街地判定、「０」が非市街地判定を示している。
第１市街地判定処理では街灯検出に応じて市街地判定の応答性がよいが、その反面、一時的に街灯数が減少したり街灯が検出されなくなると非市街地と判定してしまい、矢印Ｐ１部分として示すように、判定のハンチングが生じ易く、判定結果の安定性が比較的低い。
第２市街地判定処理では、瞬間的な街灯数変動に追従しないことで、ハンチングは生じにくい。しかし逆に短い期間、市街地に入っていたとしても、その市街地判定がなされない場合がある（未反応：矢印Ｐ２部分）。また即座に反応しないことで市街地に入っても、市街地と判定するまでに反応遅れが生ずる（矢印Ｐ３部分）
ところが、この第１，第２市街地判定処理を統合して、ＯＲ条件で最終的に市街地判定（ハイビーム不要シーン判定）を行うことで、両者の利点が得られる。つまり図１４Ｄの統合判定に見られるように、ハンチング発生が解消され、さらに未反応や反応遅れが解消される。つまり、応答性がよく、かつ安定性・信頼性の高い市街地判定が実現されることになる。

【0095】

また実施の形態では現在の車両周囲環境が市街地であると判定された場合に、ヘッドライトのハイビーム照射が実行されないように制御する配光制御部（制御情報算出部３Ｉ及び配光制御処理部５Ａ）を更に備えている。これにより走行シーンが市街地であると判定された場合のハイビームオフを実現することができ、ＡＨＢやＡＤＢ動作において適切なハイビーム配光動作が実現される。

【0096】

また実施の形態の周囲環境判定装置は、第１市街地判定処理では、現在の検出対象フレーム単位における街灯検出結果の値が第１判定閾値（ｔｈ１ａ又はｔｈ１ｂ）以上となったら市街地であると判定し、第２市街地判定処理では、現在の検出対象フレーム単位における街灯検出結果の値と過去の検出対象フレーム単位における街灯検出結果の値にそれぞれ所定の重み付けを行って平均した値が、第１判定閾値より小さい第２判定閾値（ｔｈＡ）以上となったら市街地であると判定する。つまり短期判定である第１市街地判定処理では、街灯検出結果を比較する第１判定閾値を高めにし、長期判定である第２市街地判定処理では、街灯検出結果を比較する第２判定閾値を低めにしている。
第１市街地判定処理では短期判定であることから、閾値を高めにすることで判定の安定性が得られやすいようになる。また第２市街地判定処理では、時系列変動を反映した平均的な街灯検出結果を用いるため、もともとの判定の安定性が高いが、その上で、閾値を第１市街地判定処理の場合より低くして市街地と判定されることの遅延があまり生じないようにする。
つまり第１市街地判定処理の安定性に欠けるという欠点は、第２市街地判定処理によってカバーされると共に、第１判定閾値の設定によっても低減される。同時に第２市街地判定処理の応答性の難点は、第１市街地判定処理によってカバーされると共に、第２判定閾値の設定によっても低減される。従って応答性、安定性・信頼性の効果をより促進できる。

【0097】

また第２市街地判定処理では、市街地と判定した後において、各検出対象フレーム単位における街灯検出結果の値が所定回数連続して（Ｙ＞Ｖ）、非市街地判定閾値（ｔｈＢ）以下となった場合に、非市街地であると判定している。これにより第１市街地判定処理による瞬間的な街灯検出状況のみで非市街地と判定されてしまうことがないようにできる。
また第２市街地判定処理では、停車中は判定値Ｓを更新せず、従って判定結果も前回の結果を維持するようにしている。これにより非市街地において偶然明かりのあるところで停車した場合などの誤判定を避け、判定の信頼性を向上できる。

【0098】

また第２市街地判定処理では、自車両の右左折後期間においては、市街地であることの判定、及び非市街地であることの判定についての判定応答性が、通常時（係数Ｔ＝Ｔ１、閾値Ｖ＝Ｖ１）よりも高くなるようにしている（係数Ｔ＝Ｔ２、閾値Ｖ＝Ｖ２）。右左折後は、周囲環境（市街地と非市街地）が急激に変化する場合があるため、右左折後期間において、第２市街地判定による判定応答性を高める。これにより右左折後の周囲状況変化に対応して早めに判定できるようになる。
図１５で説明する。図１５Ａは時間軸上で検出される街灯を模式的に示し、図１５Ｂは右左折後期間に判定応答性を変更しない場合、図１５Ｃは本実施の形態のように右左折後期間に判定応答性を変更する場合を示している。
時点ｔ１，ｔ２は、それぞれ右左折が行われて道の状況が変わった時点を示している。判定応答性を変更しない図１５Ｂの場合、矢印Ｐ４，Ｐ５の部分のように反応遅れが生ずる。判定応答性を変更すると図１５Ｃの矢印Ｐ４’，Ｐ５’の部分のように反応遅れが改善されることになる。
例えば、ハイビーム不要の街道から右左折でハイビームが必要な道に入るというような走行シーンの切り替わり時は、ドライバーはより早くハイビームになってほしいと感じるため、通常走行時より早く市街地−非市街地の判定の切り替えが行われると良い。右左折後期間に判定応答性を高めることで、このような事情にも対応できる。

【0099】

なお右左折後に判定応答性を高くする手法は他にも考えられる。
例えば図１０のステップＳ２５２、Ｓ２５３で、係数Ｔ、閾値Ｖの設定ではなく、ステップＳ２５７で用いる閾値ｔｈＡや、ステップＳ２６０で用いる閾値ｔｈＢを可変設定するようにしてもよい。もちろん、係数Ｔと閾値ｔｈＡの両方、及び閾値Ｖと閾値ｔｈＢの両方を右左折後期間は変化させるようにしてもよい。

【0100】

実施の形態では、街灯検出結果として、撮像画像のフレーム内で設定された街灯検出範囲Ａｇ内において検出された街灯の数、又は街灯検出範囲Ａｇ内における街灯領域の割合を用いている。街灯数や画像内の街灯領域の割合は、市街地と非市街地を区別する重要な要素となるため、このような街灯検出結果を用いることで的確な市街地判定が可能となる。
また撮像画像フレーム内で街灯検出範囲Ａｇを設定しておくことで、処理負担を少なく街灯数や街灯領域の判定ができる。
また先行車検出範囲Ａｓ内において先行車と識別されなかった検出物体の数、又は先行車検出範囲Ａｓ内の検出物体領域の割合を判定要素に加えることも好ましい。さらに対向車検出範囲Ａｔ内において対向車と識別されなかった検出物体の数、又は対向車検出範囲Ａｔ内の検出物体領域の割合を判定要素に加えることも好ましい。先行車検出範囲Ａｓの先行車以外の検出物体（例えば高輝度物体）や、対向車検出範囲Ａｔの対向車以外の検出物体（例えば高輝度物体）は、市街地の明かりなどと考えられ、市街地と非市街地を区別する要素となりえる。これらの要素を加味して判定することで、市街地判定精度を上げることができる。

【0101】

なお第１市街地判定処理、第２市街地判定処理の一方又は両方では、先行車検出範囲Ａｓや対向車検出範囲Ａｔ内の検出結果情報（検出された対象グループ）の情報は使用しない例も考えられる。即ち街灯検出範囲Ａｇ内の対象グループのみを使用するものとしてもよい。
例えば図９の第１市街地判定処理ではステップＳ２３１〜Ｓ２４４を行わず、ステップＳ２２０〜Ｓ２２９までの処理の結果でステップＳ２４５，Ｓ２４６の判定が行われるようにする。
また第２市街地判定処理では、上述の判定値Ｓ＝Ｔ・（前回のＳ）＋（１−Ｔ）・Ｘについて、街灯数反映値Ｘを、Ｘ＝（街灯検出範囲Ａｇで街灯として識別された対象グループ数）とする。

【0102】

また本発明の具体的な構成や動作はさらに多様な変形例が想定される。
自車両の前方を撮像した撮像画像を得る撮像部として、図１の第１カメラ部２Ａ、第２カメラ部２Ｂとしてのステレオカメラシステムを用いる例を述べたが、これに限らず、１つのカメラを有する撮像部を用いた構成において市街地判定が行われるようにしてもよい。

【0103】

また短期判定としての第１市街地判定処理は、明画像Ｇ１と暗画像Ｇ２としての２フレーム期間の単位毎に行っているが、暗画像Ｇ２の２つのフレームを平均化するなどして街灯検出を行うことも考えられる。その場合、第１市街地判定処理は４フレーム期間毎に行うようにしてもよい。
また実施の形態では街灯、テールランプ、ヘッドライトの検出のために明画像Ｇ１と暗画像Ｇ２を順次得るようにしたが、特にこのようなシャッタースピードの異なる画像を取得しないようにしてもよい。その場合、短期判定としての第１市街地判定処理は１フレーム期間毎に行うことも考えられる。
さらには撮像部からは、それぞれシャッタースピードの異なる街灯検出用画像、テールランプ検出用画像、ヘッドライト検出用画像を得るようにしてもよい。

【0104】

図９の第１市街地判定処理における閾値ｔｈ１ａと閾値ｔｈ２ａは異なる値でもよい。また閾値ｔｈ１ｂ、ｔｈ２ｂ、ｔｈ３がそれぞれ異なる値でもよい。これらの閾値を調整することで、街灯検出範囲Ａｇ、先行車検出範囲Ａｓ、対向車検出範囲Ａｔの各検出結果の市街地判定への影響度をコントロールできる。

【0105】

またシーン判定処理として、図７に示したように速度判定処理、右左折中判定処理、第１，第２市街地判定処理が行われるようにしたが、本発明の周囲環境判定装置としては、少なくとも第１市街地判定処理及び第２市街地判定処理が行われればよい。
また図１１ではシーン判定結果をＡＤＢに適用する場合を例示したが、ＡＨＢ（Auto High Beam）にも適用可能である。即ち先行車、対向車が存在した場合やハイビーム不要シーンではハイビームをオフとする制御である。具体的にはＡＨＢの場合、図１１のステップＳ３０２で先行車・対向車が検出されたらステップＳ３０５でハイビームをＯＦＦに制御するようにすればよい（ステップＳ３０４を行わない）。

【符号の説明】

【0106】

１…車両制御システム、２…撮像部、３…画像処理部、３Ｄ…テールランプ検出処理部、３Ｅ…ヘッドライト検出処理部、３Ｆ…街灯検出処理部、３Ｇ…対象認識・識別処理部、３Ｈ…シーン判定処理部、３Ｉ…制御情報算出処理部、５…運転支援制御部、５Ａ…配光制御処理部、６…表示制御部、７…エンジン制御部、８…トランスミッション制御部、９…ブレーキ制御部、１０…ライト制御部、１５…ヘッドライト、１６…ＡＤＢアクチュエータ、１７…センサ・操作子類

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】