ホーム > 特許ランキング > 株式会社ＳＵＢＡＲＵ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024173258
(43)【公開日】2024-12-12
(54)【発明の名称】信号機認識装置
(51)【国際特許分類】
G08G 1/09 20060101AFI20241205BHJP
【ＦＩ】
G08G1/09 D
【審査請求】未請求
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2023091569
(22)【出願日】2023-06-02
(71)【出願人】
【識別番号】000005348
【氏名又は名称】株式会社ＳＵＢＡＲＵ
(74)【代理人】
【識別番号】110004185
【氏名又は名称】インフォート弁理士法人
(74)【代理人】
【識別番号】110002907
【氏名又は名称】弁理士法人イトーシン国際特許事務所
(72)【発明者】
【氏名】池田 怜央
(72)【発明者】
【氏名】古谷 剛洋
【テーマコード（参考）】
5H181
【Ｆターム（参考）】
5H181AA01
5H181CC04
5H181CC05
5H181LL01
5H181LL04
5H181LL09
(57)【要約】
【課題】矢印灯火器の点灯を効率良く探索することができる信号機認識装置を提供する。
【解決手段】画像認識＿ＥＣＵ１３は、自車両Ｍの前方をカラー撮像した画像上において信号機本体による灯火領域を検出することにより、信号機本体の点灯中の灯火器を検出し、点灯中の灯火器に対して水平方向及び垂直方向に連なる画像上の複数の位置であって、且つ、灯火領域の灯火色に応じた特定の位置に、点灯中の灯火器と同寸法の灯火器探索領域をそれぞれ設定し、灯火器探索領域の縁辺部及び中心部における輝度を灯火器探索領域毎に評価し、信号機本体に配列された消灯中の灯火器を検出し、点灯中の灯火器及び消灯中の灯火器の配置に基づいて信号機本体の縦横配置を判定する。
【選択図】図２
【解決手段】画像認識＿ＥＣＵ１３は、自車両Ｍの前方をカラー撮像した画像上において信号機本体による灯火領域を検出することにより、信号機本体の点灯中の灯火器を検出し、点灯中の灯火器に対して水平方向及び垂直方向に連なる画像上の複数の位置であって、且つ、灯火領域の灯火色に応じた特定の位置に、点灯中の灯火器と同寸法の灯火器探索領域をそれぞれ設定し、灯火器探索領域の縁辺部及び中心部における輝度を灯火器探索領域毎に評価し、信号機本体に配列された消灯中の灯火器を検出し、点灯中の灯火器及び消灯中の灯火器の配置に基づいて信号機本体の縦横配置を判定する。
【選択図】図２
【特許請求の範囲】
【請求項1】
自車両の前方の走行環境をカラー撮像する撮像手段と、
前記撮像手段によって撮像した画像上において、信号機本体による灯火領域を検出する灯火領域検出手段と、
前記信号機本体に配列された複数の灯火器のうちの点灯中の前記灯火器を、前記灯火領域に基づいて検出する第１の灯火器検出手段と、
前記点灯中の灯火器の水平方向及び垂直方向において前記点灯中の灯火器に連なる前記画像上の複数の位置であって、且つ、前記灯火領域の灯火色に応じた特定の位置に、前記灯火器と同寸法をなす探索領域をそれぞれ設定する第１の探索領域設定手段と、
前記探索領域の縁辺部における輝度及び前記探索領域の中心部における輝度を前記探索領域毎に評価し、前記信号機本体に配列された消灯中の前記灯火器を検出する第２の灯火器検出手段と、
前記点灯中の灯火器及び前記消灯中の灯火器の配置に基づいて、前記信号機本体が横型配置されているか或いは縦型配置されているかを判定する縦横判定手段と、を備えたことを特徴とする信号機認識装置。
前記撮像手段によって撮像した画像上において、信号機本体による灯火領域を検出する灯火領域検出手段と、
前記信号機本体に配列された複数の灯火器のうちの点灯中の前記灯火器を、前記灯火領域に基づいて検出する第１の灯火器検出手段と、
前記点灯中の灯火器の水平方向及び垂直方向において前記点灯中の灯火器に連なる前記画像上の複数の位置であって、且つ、前記灯火領域の灯火色に応じた特定の位置に、前記灯火器と同寸法をなす探索領域をそれぞれ設定する第１の探索領域設定手段と、
前記探索領域の縁辺部における輝度及び前記探索領域の中心部における輝度を前記探索領域毎に評価し、前記信号機本体に配列された消灯中の前記灯火器を検出する第２の灯火器検出手段と、
前記点灯中の灯火器及び前記消灯中の灯火器の配置に基づいて、前記信号機本体が横型配置されているか或いは縦型配置されているかを判定する縦横判定手段と、を備えたことを特徴とする信号機認識装置。
【請求項2】
さらに、前記信号機本体の配置に応じて、前記信号機本体に付属する矢印灯火器の探索領域を設定する第２の探索領域設定手段を備えたことを特徴とする請求項１に記載の信号機認識装置。
【請求項3】
前記縦横判定手段は、複数フレームの前記画像上において検出された前記消灯中の灯火器の配置に基づいて、前記信号機本体が横型配置されているか或いは縦型配置されているかを判定することを特徴とする請求項１に記載の信号機認識装置。
【請求項4】
自車両の前方の走行環境をカラー撮像するカメラと、
プロセッサと、を備え、
前記プロセッサは、
前記撮像手段によって撮像した画像上において、信号機本体による灯火領域を検出し、
前記信号機本体に配列された複数の灯火器のうちの点灯中の前記灯火器を、前記灯火領域に基づいて検出し、
前記点灯中の灯火器の水平方向及び垂直方向において前記点灯中の灯火器に連なる前記画像上の複数の位置であって、且つ、前記灯火領域の灯火色に応じた特定の位置に、前記灯火器と同寸法をなす探索領域をそれぞれ設定し、
前記探索領域の縁辺部における輝度及び前記探索領域の中心部における輝度を前記探索領域毎に評価し、前記信号機本体に配列された消灯中の前記灯火器を検出し、
前記点灯中の灯火器及び前記消灯中の灯火器の配置に基づいて、前記信号機本体が横型配置されているか或いは縦型配置されているかを判定することを特徴とする信号機認識装置。
プロセッサと、を備え、
前記プロセッサは、
前記撮像手段によって撮像した画像上において、信号機本体による灯火領域を検出し、
前記信号機本体に配列された複数の灯火器のうちの点灯中の前記灯火器を、前記灯火領域に基づいて検出し、
前記点灯中の灯火器の水平方向及び垂直方向において前記点灯中の灯火器に連なる前記画像上の複数の位置であって、且つ、前記灯火領域の灯火色に応じた特定の位置に、前記灯火器と同寸法をなす探索領域をそれぞれ設定し、
前記探索領域の縁辺部における輝度及び前記探索領域の中心部における輝度を前記探索領域毎に評価し、前記信号機本体に配列された消灯中の前記灯火器を検出し、
前記点灯中の灯火器及び前記消灯中の灯火器の配置に基づいて、前記信号機本体が横型配置されているか或いは縦型配置されているかを判定することを特徴とする信号機認識装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、走行環境を撮像した画像情報に基づいて信号機の認識を行う信号機認識装置に関する。
【背景技術】
【0002】
近年、自動車等の多くの車両は、運転支援装置を搭載している。運転支援装置は、基本的には、追従車間距離制御（ＡＣＣ：Adaptive Cruise Control）機能と、車線中央維持（ＡＬＫＣ：Active Lane Keep Centering）制御機能等と、を備えることによって運転支援制御を実現する。このような運転支援制御により、運転支援装置は、ドライバの運転操作に対する負担の軽減、及び、走行時における安全性の向上等を実現する。
【0003】
また、運転支援装置においては、更なる利便性の向上等を目的とした様々な技術が提案されている。例えば、自車両の前方領域を撮像した画像データに基づいて信号機を認識し、認識した信号機の点灯状態に応じて、交差点等の通過時における自車両の自動停止及び自動発進等を行う技術が提案されている。
【0004】
例えば、特許文献１には、画像データに基づいて信号機を認識するための信号機認識装置が開示されている。この信号機認識装置は、標準の信号機外形を示すテンプレートを用いてテンプレートマッチングを行う。これにより、信号機認識装置は、信号機領域を設定する。また、信号機認識装置は、信号機領域において、輝度値が判定輝度値以上となる領域を灯火領域として抽出する。そして、複数の灯火領域が存在する場合、信号機認識装置は、灯火領域毎に、飽和領域の有無、及び、灯火領域の外縁形状または飽和領域の外縁形状を判定する。これらの判定により、信号機認識装置は、三灯式の信号機本体及び矢印灯火器の灯火（点灯）を判定する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０２２－１０８５１８号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上述の特許文献１に開示された技術のように、テンプレートマッチングによって信号機領域を設定するためには、信号機の外形を示すエッジが、画像上に写し出されている必要がある。従って、特許文献１に開示された技術では、自車両から遠方に存在する信号機等のように、画像上におけるエッジが不鮮明な信号機については、信号機領域を設定することが困難となる。このため、特許文献１の技術では、信号機本体の点灯が認識されている場合にも、矢印灯火器等の探索領域を絞り込むことが困難となる虞がある。
【0007】
本発明は、矢印灯火器の点灯を効率良く探索することができる信号機認識装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一態様による信号機認識装置は、自車両の前方の走行環境をカラー撮像する撮像手段と、前記撮像手段によって撮像した画像上において、信号機本体による灯火領域を検出する灯火領域検出手段と、前記信号機本体に配列された複数の灯火器のうちの点灯中の前記灯火器を、前記灯火領域に基づいて検出する第１の灯火器検出手段と、前記点灯中の灯火器の水平方向及び垂直方向において前記点灯中の灯火器に連なる前記画像上の複数の位置であって、且つ、前記灯火領域の灯火色に応じた特定の位置に、前記灯火器と同寸法をなす探索領域をそれぞれ設定する第１の探索領域設定手段と、前記探索領域の縁辺部における輝度及び前記探索領域の中心部における輝度を前記探索領域毎に評価し、前記信号機本体に配列された消灯中の前記灯火器を検出する第２の灯火器検出手段と、前記点灯中の灯火器及び前記消灯中の灯火器の配置に基づいて、前記信号機本体が横型配置されているか或いは縦型配置されているかを判定する縦横判定手段と、を備えたものである。
【0009】
また、本発明の他態様による信号機認識装置は、自車両の前方の走行環境をカラー撮像するカメラと、プロセッサと、を備え、前記プロセッサは、前記撮像手段によって撮像した画像上において、信号機本体による灯火領域を検出し、前記信号機本体に配列された複数の灯火器のうちの点灯中の前記灯火器を、前記灯火領域に基づいて検出し、前記点灯中の灯火器の水平方向及び垂直方向において前記点灯中の灯火器に連なる前記画像上の複数の位置であって、且つ、前記灯火領域の灯火色に応じた特定の位置に、前記灯火器と同寸法をなす探索領域をそれぞれ設定し、前記探索領域の縁辺部における輝度及び前記探索領域の中心部における輝度を前記探索領域毎に評価し、前記信号機本体に配列された消灯中の前記灯火器を検出し、前記点灯中の灯火器及び前記消灯中の灯火器の配置に基づいて、前記信号機本体が横型配置されているか或いは縦型配置されているかを判定するものである。
【発明の効果】
【0010】
本発明の信号機認識装置によれば、矢印灯火器の点灯を効率良く探索することができる。
【図面の簡単な説明】
【0011】
【図1】運転支援装置の概略構成図
【図2】信号機認識ルーチンを示すフローチャート
【図3】黒領域判定サブルーチンを示すフローチャート
【図4】第１の縦横判定サブルーチンを示すフローチャート
【図5】第２の縦横判定サブルーチンを示すフローチャート
【図6】自車前方の走行環境画像を例示する模式図
【図7】青色灯火器が点灯された横型の信号機を例示する平面図
【図8】青色灯火器が点灯された縦型の信号機を例示する平面図
【図9】青色灯火器が点灯されたときの黄色灯火器及び赤色灯火器の探索領域を示す説明図
【図10】黄色灯火器が点灯された横型の信号機を例示する平面図
【図11】黄色灯火器が点灯された縦型の信号機を例示する平面図
【図12】黄色灯火器が点灯されたときの青色灯火器及び赤色灯火器の探索領域を示す説明図
【図13】赤色灯火器が点灯された横型の信号機を例示する平面図
【図14】赤色灯火器が点灯された縦型の信号機を例示する平面図
【図15】赤色灯火器が点灯されたときの青色灯火器及び黄色灯火器の探索領域を示す説明図
【図16】各探索領域に設定される黒領域判定用の座標を示す説明図
【図17】横型と判定された信号機に対する矢印灯火器探索領域を示す説明図
【図18】縦型と判定された信号機に対する矢印灯火器探索領域を示す説明図
【図19】縦横判定が不能な信号機に対する矢印灯火器探索領域を示す説明図
【図20】矢印灯火器が点灯された横型の信号機を例示する平面図
【図21】矢印灯火器が点灯された縦型の信号機を例示する平面図
【発明を実施するための形態】
【0012】
以下、図面を参照して本発明の形態を説明する。図面は本発明の一実施形態に係り、図１は運転支援装置の全体構成図である。
【0013】
図１に示すように、運転支援装置１は、例えば、車両（自車両）Ｍの車室内の前部の上部中央に固定されたカメラユニット１０を有して構成されている。
【0014】
このカメラユニット１０は、撮像手段としてのステレオカメラ１１と、画像処理ユニット（ＩＰＵ）１２と、画像認識ユニット（画像認識＿ＥＣＵ）１３と、走行制御ユニット（走行＿ＥＣＵ）１４と、を有する。
【0015】
ステレオカメラ１１は、メインカメラ１１ａと、サブカメラ１１ｂと、を有する。メインカメラ１１ａ及びサブカメラ１１ｂは、例えば、車幅方向の中央を挟んで左右対称な位置に配置されている。また、メインカメラ１１ａ及びサブカメラ１１ｂは、例えば、ＣＭＯＳ等の撮像素子及びカラーフィルタをそれぞれ有する。これにより、メインカメラ１１ａ及びサブカメラ１１ｂは、互いに同期された所定の撮像周期にて、車外前方の走行環境を異なる視点からカラー撮像する。
【0016】
ＩＰＵ１２は、ステレオカメラ１１によって撮像した走行環境画像を所定に画像処理し、画像上に表された立体物や路面上の区画線等の各種対象のエッジを検出する。また、ＩＰＵ１２は、左右の画像上において対応するエッジの位置ズレ量から距離情報を求める。これらにより、ＩＰＵ１２は、距離情報を含む画像情報（距離画像情報）を生成する。
【0017】
画像認識＿ＥＣＵ１３は、ＩＰＵ１２から受信した距離画像情報などに基づき、自車両Ｍが走行する進行路（自車進行路）の情報を求める。例えば、画像認識＿ＥＣＵ１３は、自車進行路の左右を区画する区画線の道路曲率〔１／ｍ〕、及び左右区画線間の幅（車線幅）を求める。さらに、画像認識＿ＥＣＵ１３は、左右両区画線の曲率の差分から車線幅を算出する。
【0018】
また、画像認識＿ＥＣＵ１３は、距離画像情報に対して所定のパターンマッチングなどを行い、道路に沿って延在するガードレール、縁石、及び、周辺車両等の立体物の認識を行う。ここで、画像認識＿ＥＣＵ１３における立体物の認識では、例えば、立体物の種別、立体物までの距離、立体物の速度、立体物と自車両Ｍとの相対速度などの認識が行われる。
【0019】
さらに、画像認識＿ＥＣＵ１３は、自車両Ｍの前方における信号機認識を行う。この信号機認識において、画像認識＿ＥＣＵ１３は、信号機本体に配列された各灯火器（青色灯火器、黄色灯火器、及び、赤色灯火器）の点灯状態を認識する。さらに、画像認識＿ＥＣＵ１３は、信号機本体に矢印灯火器が付加されている場合には、矢印灯火器の点灯状態についても認識する。
【0020】
このように、本実施形態において、ステレオカメラ１１、ＩＰＵ１２、及び、画像認識＿ＥＣＵ１３は、信号機認識装置としての一具体例に相当する。
【0021】
ここで、例えば、図７，８に示すように、道路上に設置される信号機には、信号機本体５１が横型配置された信号機５０Ｈと、信号機本体５１が縦型配置された信号機５０Ｖと、が存在する。横型配置の信号機本体５１では、当該信号機本体５１を構成する青色灯火器５２Ｂ、黄色灯火器５２Ｙ、及び、赤色灯火器５２Ｒが水平方向（横方向）に配列されている。また、縦型配置の信号機本体５１では、当該信号機本体５１を構成する青色灯火器５２Ｂ、黄色灯火器５２Ｙ、及び、赤色灯火器５２Ｒが垂直方向（縦方向）に配列されている。
【0022】
さらに、信号機５０においては、信号機本体５１に矢印灯火器５３が付加された信号機が存在する。例えば、赤色灯火器５２Ｒが点灯している場合において、矢印灯火器５３は、矢印によって示した特定の方向に対してのみ、車両等の通行を許可する。このような矢印灯火器５３が付加されている信号機５０において、赤色灯火器５２Ｒを基準位置とする矢印灯火器５３の配置は、横型配置の信号機本体５１と縦型配置の信号機本体５１とで異なる。
【0023】
なお、矢印灯火器５３を含めた信号機５０の認識については、後に詳述する。
【0024】
これら画像認識＿ＥＣＵ１３において認識された各種情報は、走行環境情報として走行＿ＥＣＵ（走行＿ＥＣＵ）１４に出力される。
【0025】
走行＿ＥＣＵ１４は、運転支援装置１を統括制御するための制御ユニットである。
【0026】
この走行＿ＥＣＵ１４には、各種の制御ユニットとして、例えば、エンジン制御ユニット（Ｅ／Ｇ＿ＥＣＵ）２２と、トランスミッション制御ユニット（Ｔ／Ｍ＿ＥＣＵ）２３と、ブレーキ制御ユニット（ＢＫ＿ＥＣＵ）２４と、パワーステアリング制御ユニット（ＰＳ＿ＥＣＵ）２５と、がＣＡＮ（Controller Area Network）等の車内通信回線を介して接続されている。
【0027】
Ｅ／Ｇ＿ＥＣＵ２２の出力側には、電子制御スロットルのスロットルアクチュエータ３２等が接続されている。また、Ｅ／Ｇ＿ＥＣＵ２２の入力側には、図示しないアクセルセンサ等の各種センサ類が接続されている。
【0028】
Ｅ／Ｇ＿ＥＣＵ２２は、走行＿ＥＣＵ１４からの制御信号或いは各種センサ類からの検出信号等に基づき、スロットルアクチュエータ３２に対する駆動制御を行う。これにより、Ｅ／Ｇ＿ＥＣＵ２２は、エンジンの吸入空気量を調整し、所望のエンジン出力を発生させる。また、Ｅ／Ｇ＿ＥＣＵ２２は、各種センサ類において検出されたアクセル開度等の信号を、走行＿ＥＣＵ１４に出力する。
【0029】
Ｔ／Ｍ＿ＥＣＵ２３の出力側には、油圧制御回路３３が接続されている。また、Ｔ／Ｍ＿ＥＣＵ２３の入力側には、図示しないシフトポジションセンサ等の各種センサ類が接続されている。Ｔ／Ｍ＿ＥＣＵ２３は、Ｅ／Ｇ＿ＥＣＵ２２において推定されたエンジントルク信号や各種センサ類からの検出信号等に基づき、油圧制御回路３３に対する油圧制御を行う。これにより、Ｔ／Ｍ＿ＥＣＵ２３は、自動変速機に設けられている摩擦係合要素やプーリ等を動作させ、エンジン出力を所望の変速比にて変速する。また、Ｔ／Ｍ＿ＥＣＵ２３は、各種センサ類において検出されたシフトポジション等の信号を、走行＿ＥＣＵ１４に出力する。
【0030】
ＢＫ＿ＥＣＵ２４の出力側には、各車輪に設けられているブレーキホイールシリンダに出力するブレーキ液圧を各々調整するためのブレーキアクチュエータ３４が接続されている。また、ＢＫ＿ＥＣＵ２４の入力側には、図示しないブレーキペダルセンサ、ヨーレートセンサ、前後加速度センサ、及び、車速センサ等の各種センサ類が接続されている。
【0031】
ＢＫ＿ＥＣＵ２４は、走行＿ＥＣＵ１４からの制御信号或いは各種センサ類からの検出信号に基づき、ブレーキアクチュエータ３４に対する駆動制御を行う。これにより、ＢＫ＿ＥＣＵ２４は、自車両Ｍに対する強制的な制動制御やヨーレート制御等を行うためのブレーキ力を各車輪に適宜発生させる。また、ＢＫ＿ＥＣＵ２４は、各種センサにおいて検出されたブレーキ操作状態、ヨーレート、前後加速度、及び、車速（自車速）等の信号を、走行＿ＥＣＵ１４に出力する。
【0032】
ＰＳ＿ＥＣＵ２５の出力側には、ステアリング機構にモータの回転力による操舵トルクを付与する電動パワステモータ３５が接続されている。また、ＰＳ＿ＥＣＵ２５の入力側には、操舵トルクセンサや舵角センサ等の各種センサ類が接続されている。
【0033】
ＰＳ＿ＥＣＵ２５は、走行＿ＥＣＵ１４からの制御信号或いは各種センサ類からの検出信号に基づき、電動パワステモータ３５に対する駆動制御を行う。これにより、ＰＳ＿ＥＣＵ２５は、ステアリング機構に対する操舵トルクを発生させる。また、ＰＳ＿ＥＣＵ２５は、各種センサにおいて検出された操舵トルク、及び、舵角等の信号を、走行＿ＥＣＵ１４に出力する。
【0034】
走行＿ＥＣＵ１４には、運転モードとして、手動運転モードと、走行制御のためのモードである第１の走行制御モード及び第２の走行制御モードと、退避モードと、が設定されている。これらの各運転モードは、走行＿ＥＣＵ１４において選択的に切換可能となっている。
【0035】
ここで、手動運転モードとは、ドライバによる保舵を必要とする運転モードである。手動運転モードは、例えば、ドライバによるステアリング操作、アクセル操作およびブレーキ操作などの運転操作に従って、自車両Ｍを走行させる運転モードである。
【0036】
また、第１の走行制御モードも同様に、ドライバによる保舵を必要とする運転モードである。すなわち、第１の走行制御モードは、ドライバによる運転操作を反映しつつ、例えば、先行車追従制御（ＡＣＣ：Adaptive Cruise Control）と、車線中央維持（ＡＬＫＣ：Active Lane Keep Centering）制御および車線逸脱抑制（Active Lane Keep Bouncing）制御と、を適宜組み合わせて行う、いわば半自動運転モードである。
【0037】
ここで、先行車追従制御は、基本的には、画像認識＿ＥＣＵ１３から入力される走行環境情報に基づいて行われる。すなわち、先行車追従制御は、例えば、走行環境情報に含まれる先行車情報等に基づいて行われる。
【0038】
また、車線中央維持制御および車線逸脱抑制制御は、例えば、画像認識＿ＥＣＵ１３から入力される走行環境情報に基づいて行われる。すなわち、車線中央維持制御および車線逸脱抑制制御は、走行環境情報に含まれる車線区画線情報等に基づいて行われる。
【0039】
また、第２の走行制御モードとは、ドライバによる保舵、アクセル操作およびブレーキ操作を必要とすることなく、例えば、先行車追従制御と、車線中央維持制御および車線逸脱抑制制御とを適宜組み合わせて行うことによって、自車両Ｍを走行させる自動運転モードである。
【0040】
退避モードは、例えば、第２の走行制御モードによる走行中に、当該モードによる走行が継続不能となり、且つ、ドライバに運転操作を引き継ぐことができなかった場合（すなわち、手動運転モード、または、第１の走行制御モードに遷移できなかった場合）に、自車両Ｍを路側帯などに自動的に停止させるためのモードである。
【0041】
また、走行＿ＥＣＵ１４は、上述の各運転モードにおいて、自車両Ｍと衝突する可能性の高い車両等の障害物に対し、適宜、緊急ブレーキ（ＡＥＢ（Autonomous Emergency Braking）：衝突被害軽減ブレーキ）制御を行う。
【0042】
さらに、走行＿ＥＣＵ１４は、緊急ブレーキ制御によって障害物との衝突を回避することが困難であると判定した場合には、緊急ブレーキ制御に代えて或いは緊急ブレーキ制御と併用して、障害物との衝突を回避するための緊急操舵制御を行うことも可能である。
【0043】
ここで、緊急ブレーキ制御及び緊急操舵制御は、基本的には、画像認識＿ＥＣＵ１３から入力される走行環境情報に基づいて行われる。すなわち、緊急ブレーキ制御及び緊急操舵制御は、例えば、走行環境情報に含まれる先行車や停止車両等の障害物情報に基づいて行われる。
【0044】
さらに、例えば、第２の走行制御モードの選択時において、走行＿ＥＣＵ１４は、信号機の点灯状態に応じた自車両Ｍの自動停止制御及び自動発進制御を行うことも可能である。
【0045】
ここで、信号機に対する自動停止制御及び自動発進制御は、基本的には、画像認識＿ＥＣＵ１３から入力される走行環境情報に基づいて行われる。すなわち、走行＿ＥＣＵ１４は、例えば、走行環境情報に含まれる信号機の認識情報に基づいて、信号機に対する自動停止制御及び自動発信制御を行う。
【0046】
なお、第２の走行制御モード以外のモードの選択時において、走行＿ＥＣＵ１４は、信号機の点灯状態等の情報を、ドライバに対して報知することも可能である。
【0047】
次に、画像認識＿ＥＣＵ１３において行われる信号機認識の具体的な内容について、説明する。
【0048】
信号機認識処理において、画像認識＿ＥＣＵ１３は、例えば、メインカメラ１１ａによって撮像されたカラー画像（例えば、図６参照）上において、信号機本体における灯火領域を検出する。例えば、画像認識＿ＥＣＵ１３は、カラー画像上において、青色、黄色、または、赤色の高輝度をなす領域を、灯火領域として検出する。
【0049】
この灯火領域の検出に際し、画像認識＿ＥＣＵ１３は、例えば、ＩＰＵ１２において生成した距離画像情報を参照することが可能である。距離画像情報を参照することにより、画像認識＿ＥＣＵ１３は、路面から所定以上の高さ位置において高輝度をなす領域を、信号機本体の灯火領域として検出することができる。
【0050】
また、画像認識＿ＥＣＵ１３は、信号機本体に配列された複数（例えば、３個）の灯火器のうち、点灯中の灯火器を検出する。
【0051】
このような灯火器の検出は、例えば、灯火領域に基づいて行われる。例えば、画像認識＿ＥＣＵ１３は、画像上において検出した灯火領域が灯火器の灯火部に一致すると仮定して、信号機本体において点灯中の灯火部を検出する。さらに、画像認識＿ＥＣＵ１３は、検出した灯火部に基づいて、灯火器全体の寸法を推定する。例えば、画像認識＿ＥＣＵ１３は、一般的な灯火器における灯火部とフレーム部（筐体）との寸法比に基づき、灯火部の周囲を囲む矩形のフレーム部の寸法を算出する。これにより、画像認識＿ＥＣＵ１３は、灯火部及びフレーム部を含む灯火器全体の寸法を推定する。
【0052】
また、画像認識＿ＥＣＵ１３は、検出した灯火器の水平方向（横方向）及び垂直方向（縦方向）において当該灯火器に連なる画像上の複数の位置に、複数の灯火器探索領域を設定する。これらの灯火器探索領域は、信号機本体において消灯中の他の灯火器を探索するための領域である。このため、画像認識＿ＥＣＵ１３は、画像上における各灯火器探索領域の寸法を、点灯中の灯火器と同寸法に設定する。また、画像認識＿ＥＣＵ１３は、点灯中の灯火器に対する各灯火器探索領域の相対位置を、灯火領域の灯火色に応じて特定する。
【0053】
例えば、図７に示すように、横型配置の信号機本体５１において、青色灯火器５２Ｂが点灯している場合、消灯中の他の灯火器（黄色灯火器５２Ｙ及び赤色灯火器５２Ｒ）は、共に青色灯火器５２Ｂの右側に配列される。一方、例えば、図８に示すように、縦型配置の信号機本体５１において、青色灯火器５２Ｂが点灯している場合、消灯中の他の灯火器（黄色灯火器５２Ｙ及び赤色灯火器５２Ｒ）は、共に青色灯火器５２Ｂの上側に配列される。これら各信号機本体５１における各灯火器５２の法規上のレイアウトに基づき、画像認識＿ＥＣＵ１３は、画像上において、青色灯火器５２Ｂの右側及び上側に、それぞれ２つの灯火器探索領域５５を設定する（図９参照）。
【0054】
また、例えば、図１０に示すように、横型配置の信号機本体５１において、黄色灯火器５２Ｙが点灯している場合、消灯中の他の灯火器（青色灯火器５２Ｂ及び赤色灯火器５２Ｒ）は、黄色灯火器５２Ｙの左右に配列される。一方、例えば、図１１に示すように、縦型配置の信号機本体５１において、黄色灯火器５２Ｙが点灯している場合、消灯中の他の灯火器（青色灯火器５２Ｂ及び赤色灯火器５２Ｒ）は、黄色灯火器５２Ｙの上下に配列される。これら各信号機本体５１における各灯火器５２の法規上のレイアウトに基づき、画像認識＿ＥＣＵ１３は、画像上において、黄色灯火器５２Ｙの左側、右側、上側、及び、下側に、それぞれ１つの灯火器探索領域５５を設定する（図１２参照）。
【0055】
また、例えば、図１３に示すように、横型配置の信号機本体５１において、赤色灯火器５２Ｒが点灯している場合、消灯中の他の灯火器（青色灯火器５２Ｂ及び黄色灯火器５２Ｙ）は、共に赤色灯火器５２Ｒの左側に配列される。一方、例えば、図１４に示すように、縦型配置の信号機本体５１において、赤色灯火器５２Ｒが点灯している場合、消灯中の他の灯火器（青色灯火器５２Ｂ及び黄色灯火器５２Ｙ）は、共に赤色灯火器５２Ｒの下側に配列される。これら各信号機本体５１における各灯火器５２の法規上のレイアウトに基づき、画像認識＿ＥＣＵ１３は、画像上において、赤色灯火器５２Ｒの左側及び下側に、それぞれ２つの灯火器探索領域５５を設定する（図１５参照）。
【0056】
さらに、画像認識＿ＥＣＵ１３は、設定した各灯火器探索領域５５に対し、それぞれ、複数の黒領域判定用座標を設定する。
【0057】
ここで、一般に、各灯火器５２のフレーム部は、薄いグレーや白色等の比較的明るい色にて塗装されている。一方、各灯火器５２の灯火部は、消灯時においてフレーム部よりも暗く、黒色に近い色となる。従って、画像上におけるフレーム部の輝度は、消灯時の灯火部の輝度よりも相対的に高くなる。換言すれば、消灯時の灯火部は、画像上において、フレーム部よりも暗い黒領域を形成する。そこで、このような黒領域を判定するため、画像認識＿ＥＣＵ１３は、灯火器探索領域５５の縁辺部、及び、灯火器探索領域５５の中心部に、黒領域判定用座標を設定する。
【0058】
より具体的には、本実施形態における画像認識＿ＥＣＵ１３は、例えば、灯火器探索領域５５の四隅の近傍に、黒領域判定用座標ｃ０，ｃ１，ｃ２，ｃ３をそれぞれ設定する。また、画像認識＿ＥＣＵ１３は、例えば、灯火器探索領域５５の中心部の５箇所に、黒領域判定用座標ｃ４，ｃ５，ｃ６，ｃ７をそれぞれ設定する。
【0059】
例えば、図１６に示すように、灯火器探索領域５５の横方向の座標をｉと定義し、灯火器探索領域の縦方向の座標をｊと定義した場合、各灯火器探索領域５５の座標は、以下のように表すことが可能である。
【0060】
ｃ０：（ｉｓ＋α，ｊｅ－α）
ｃ１：（ｉｓ＋α，ｊｓ＋α）
ｃ２：（ｉｅ－α，ｊｓ＋α）
ｃ３：（ｉｅ－α，ｊｅ－α）
ｃ４：（ｉｃ，ｊｃ）
ｃ５：（ｉｃ－α，ｊｃ＋α）
ｃ６：（ｉｃ－α，ｊｃ－α）
ｃ７：（ｉｃ＋α，ｊｃ－α）
ｃ８：（ｉｃ＋α，ｊｃ＋α）
ここで、ｉｓは、灯火器探索領域５５のｉ軸方向における始点を示す。また、ｉｅは、灯火器探索領域５５のｉ軸方向における終点を示す。また、ｉｃは、灯火器探索領域５５のｉ軸方向における中心点を示す。また、ｊｓは、灯火器探索領域５５のｊ軸方向における始点を示す。また、ｊｅは、灯火器探索領域５５のｊ軸方向における終点を示す。また、ｊｃは、灯火器探索領域５５のｉ軸方向における中心点を示す。また、αは、画像上における所定画素数（例えば、１画素以上の微小画素）を示す。
ｃ１：（ｉｓ＋α，ｊｓ＋α）
ｃ２：（ｉｅ－α，ｊｓ＋α）
ｃ３：（ｉｅ－α，ｊｅ－α）
ｃ４：（ｉｃ，ｊｃ）
ｃ５：（ｉｃ－α，ｊｃ＋α）
ｃ６：（ｉｃ－α，ｊｃ－α）
ｃ７：（ｉｃ＋α，ｊｃ－α）
ｃ８：（ｉｃ＋α，ｊｃ＋α）
ここで、ｉｓは、灯火器探索領域５５のｉ軸方向における始点を示す。また、ｉｅは、灯火器探索領域５５のｉ軸方向における終点を示す。また、ｉｃは、灯火器探索領域５５のｉ軸方向における中心点を示す。また、ｊｓは、灯火器探索領域５５のｊ軸方向における始点を示す。また、ｊｅは、灯火器探索領域５５のｊ軸方向における終点を示す。また、ｊｃは、灯火器探索領域５５のｉ軸方向における中心点を示す。また、αは、画像上における所定画素数（例えば、１画素以上の微小画素）を示す。
【0061】
黒領域判定座標を設定すると、画像認識＿ＥＣＵ１３は、例えば、以下の（第１の条件）～（第４の条件）に基づいて、灯火器探索領域５５の中心部に黒領域が存在するか否かを判定する。
【0062】
（第１の条件）周辺輝度Ｌｎが第１の閾値Ｌｔｈ１を超えていること。すなわち、画像認識＿ＥＣＵ１３は、例えば、黒領域判定用座標ｃ０～ｃ３における輝度の平均値を周辺輝度Ｌｎとして算出する。そして、画像認識＿ＥＣＵ１３は、周辺輝度Ｌｎが第１の閾値Ｌｔｈ１未満の場合には、現在処理中の灯火器探索領域５５を、灯火器探索対象から排除する。これにより、画像認識＿ＥＣＵ１３は、高架下や夜間等のような暗すぎる条件での灯火器探索を回避する。周辺輝度が低すぎる場合には、フレーム部によって構成される周辺部と、灯火部によって形成される中心部と、の輝度を用いた区別が困難なためである。
【0063】
（第２の条件）中心輝度Ｌｃが第２の閾値Ｌｔｈ２（但し、Ｌｔｈ２≦Ｌｔｈ１）を超えていないこと。すなわち、画像認識＿ＥＣＵ１３は、例えば黒領域判定用座標ｃ４～ｃ８における輝度の平均値を中心輝度Ｌｃとして算出する。そして、画像認識＿ＥＣＵ１３は、中心輝度Ｌｃが第２の閾値Ｌｈｔ２よりも大きい場合には、灯火器探索領域５５の中心部に黒領域が存在しないと判断する。
【0064】
（第３の条件）中心輝度Ｌｃよりも周辺輝度Ｌｎが高いこと。すなわち、上述した通り、大半の信号機本体において、灯火器のフレーム部は白色等の明るい色を有し、灯火器の灯火部は消灯時に黒色等の暗い色を有する。そこで、画像認識＿ＥＣＵ１３は、中心輝度Ｌｃよりも周辺輝度Ｌｎが低い場合には、灯火器探索領域５５の中心部に黒領域が存在しないと判断する。
【0065】
（第４の条件）中心部におけるＲＧＢ輝度比が、カメラの仕様等に応じて設定したＲＧＢ輝度比の範囲内であること。すなわち、画像認識＿ＥＣＵ１３には、例えば、消灯時の灯火部を撮像した際のＲＧＢ輝度比の範囲が、カメラの仕様等に基づいて予め設定されている。そこで、画像認識＿ＥＣＵ１３は、中心部におけるＲＧＢ輝度比が、カメラの仕様等に応じて設定したＲＧＢ輝度比の範囲外である場合には、灯火器探索領域５５の中心部に黒領域が存在しないと判断する。
【0066】
このような画像上の各灯火器探索領域５５に対する黒領域判定は、設定フレーム以上（例えば、３フレーム以上）に対して行われることが望ましい。
【0067】
そして、画像認識＿ＥＣＵ１３は、例えば、複数フレーム以上の判定において、第１～第４の条件の全てを満たしている割合が所定以上となる灯火器探索領域５５を、黒領域が存在する領域として検出する。換言すれば、画像認識＿ＥＣＵ１３は、黒領域が存在すると判定した灯火器探索領域５５を、消灯中の灯火器が存在する領域として検出する。
【0068】
さらに、画像認識＿ＥＣＵ１３は、検出した消灯中の灯火器の配置に基づいて、点灯中の灯火器を含む信号機本体の配置方向を判定する。この判定において、画像認識＿ＥＣＵ１３は、例えば、消灯中の灯火器が点灯中の灯火器の横方向に検出される頻度と、消灯中の灯火器が点灯中の縦方向に検出される頻度と、を比較する。そして、横方向に検出される頻度が縦方向に検出される頻度よりも高い場合、画像認識＿ＥＣＵ１３は、点灯中の灯火器を含む信号機本体が横型配置であると判定する。一方、横方向に検出される頻度が縦方向に検出される頻度よりも低い場合、画像認識＿ＥＣＵ１３は、点灯中の灯火器を含む信号機本体が縦型配置であると判定する。
【0069】
なお、このような信号機本体の縦横判定は、灯火器の点灯が切り替わったときの点灯領域の移動によっても行うことが可能である。例えば、点灯中の灯火器の切り替わりに伴って灯火領域が横方向に移動した場合、画像認識＿ＥＣＵ１３は、点灯中の灯火器を含む信号機本体が横型配置であると判定する。一方、例えば、点灯中の灯火器の切り替わりに伴って灯火領域が縦方向に移動した場合、画像認識＿ＥＣＵ１３は、点灯中の灯火器を含む信号機本体が縦型配置であると判定する。
【0070】
信号機本体の縦横判定を行うと、画像認識＿ＥＣＵ１３は、信号機本体に付加される矢印灯火器の探索領域（矢印探索領域）を設定する。この矢印探索領域は、例えば、赤色灯火器５２Ｒを基準として設定される。例えば、点灯中の灯火器として赤色灯火器５２Ｒが検出されている場合、画像認識＿ＥＣＵ１３は、点灯中の赤色灯火器５２Ｒを基準として矢印探索領域５６を設定する。また、例えば、点灯中の灯火器として青色灯火器５２Ｂまたは黄色灯火器５２Ｙが検出されている場合、画像認識＿ＥＣＵ１３は、赤色灯火器５２Ｒが点灯したタイミングにて矢印探索領域５６を設定する。
【0071】
ここで、信号機本体５１が横型配置であるか、或いは、信号機本体５１が横型配置であるかの判定がなされていない場合、例えば、図１９に示すように、画像認識＿ＥＣＵ１３は、赤色灯火器５２Ｒの周囲９箇所に矢印探索領域５６を設定する。
【0072】
これに対し、信号機本体５１が横型配置であると判定されている場合、例えば、図１７に示すように、画像認識＿ＥＣＵ１３は、横方向に配列した３個の矢印探索領域５６を、赤色灯火器５２Ｒの下側に設定する。すなわち、画像認識＿ＥＣＵ１３は、赤色灯火器５２Ｒの周囲９箇所の矢印探索領域５６の中から、矢印探索領域５６を設定する箇所を絞り込む。信号機本体５１が横型配置である場合、赤色灯火器５２Ｒの左右側方及び上側に矢印灯火器５３が配置されることは想定し難いためである。
【0073】
また、信号機本体５１が縦型配置であると判定されている場合、例えば、図１８に示すように、画像認識＿ＥＣＵ１３は、縦方向に配列した４個の矢印探索領域を赤色灯火器５２Ｒの左側に設定する。さらに、画像認識＿ＥＣＵ１３は、縦方向に配列した３個の矢印探索領域を赤色灯火器５２Ｒの右側に設定する。すなわち、画像認識＿ＥＣＵ１３は、赤色灯火器５２Ｒの周囲９箇所の矢印探索領域５６の中から、矢印探索領域５６を設定する箇所を絞り込む。矢印灯火器５３が縦型配置である場合、赤色灯火器５２Ｒの上下に矢印灯火器５３が配置されることは想定し難いためである。
【0074】
さらに、画像認識＿ＥＣＵ１３は、信号機本体５１に付随する矢印灯火器５３の探索を行う。すなわち、画像認識＿ＥＣＵ１３は、赤色灯火器５２Ｒの点灯に付随して点灯している矢印灯火器５３（例えば、図２０，２１参照）の探索を行う。この矢印灯火器５３の探索は、設定した矢印探索領域５６毎に行われる。
【0075】
このように、本実施形態において、画像認識＿ＥＣＵ１３は、灯火領域検出手段、第１の灯火器検出手段、第１の探索領域設定手段、第２の灯火器検出手段、縦横判定手段、及び、第２の探索領域設定手段としての一具体例に相当する。
【0076】
次に、画像認識＿ＥＣＵ１３において行われる信号機認識処理について、図２に示す信号機認識ルーチンのフローチャートに従って説明する。このルーチンは、画像認識＿ＥＣＵ１３において、設定時間毎に繰り返し実行されるものである。
【0077】
ルーチンがスタートすると、画像認識＿ＥＣＵ１３は、自車走行路の前方に、点灯中の点灯部を検出したか否かを調べる。すなわち、画像認識＿ＥＣＵ１３は、例えば、メインカメラ１１ａによって撮像されたカラー画像上において、灯火領域（すなわち、灯火部）を検出したか否かを調べる。
【0078】
そして、ステップＳ１０１において、灯火部を検出していないと判定した場合（ステップＳ１０１：ＮＯ）、画像認識＿ＥＣＵ１３は、そのままルーチンを抜ける。
【0079】
一方、ステップＳ１０１において、灯火部を検出したと判定した場合（ステップＳ１０１：ＹＥＳ）、画像認識＿ＥＣＵ１３は、ステップＳ１０２に進む。
【0080】
ステップＳ１０２において、画像認識＿ＥＣＵ１３は、今回検出した点灯中の灯火部と前回検出した灯火部とが同じ信号機に設けられたものであるか否かを調べる。
【0081】
ここで、今回の灯火部と前回の灯火部とが同じ信号機に設けられたものであるか否かの判定は、例えば、ＩＰＵ１２において生成した距離画像に基づいて判断することができる。すなわち、画像認識＿ＥＣＵ１３は、今回の灯火部と前回の灯火部との実空間上における相対距離を、各フレームの距離画像に基づいて推定する。これにより、画像認識＿ＥＣＵ１３は、各灯火部の実空間上における相対距離が設定距離（例えば、１ｍ）未満であるとき、各灯火部が同じ信号機に設けられていると判定することが可能となる。
【0082】
そして、ステップＳ１０２において、今回の灯火部と前回の灯火部とが同じ信号機に設けられたものでないと判定した場合（ステップＳ１０２：ＮＯ）、画像認識＿ＥＣＵ１３は、ステップＳ１０４に進む。
【0083】
一方、ステップＳ１０２において、今回の灯火部と前回の灯火部とが同じ信号機に設けられたものであると判定した場合（ステップＳ１０２：ＹＥＳ）、画像認識＿ＥＣＵ１３は、ステップＳ１０３に進む。
【0084】
ステップＳ１０３において、画像認識＿ＥＣＵ１３は、今回検出した灯火部の灯火色が前回検出した灯火部の灯火色に対して変化しているか否かを調べる。
【0085】
そして、ステップＳ１０３において、今回検出した灯火部の灯火色が前回から変化していると判定した場合（ステップＳ１０３：ＹＥＳ）、画像認識＿ＥＣＵ１３は、ステップＳ１０６に進む。
【0086】
一方、ステップＳ１０３において、今回検出した灯火部の灯火色が前回から変化していないと判定した場合（ステップＳ１０３：ＮＯ）、画像認識＿ＥＣＵ１３は、ステップＳ１０４に進む。
【0087】
ステップＳ１０２或いはステップＳ１０３からステップＳ１０４に進むと、画像認識＿ＥＣＵ１３は、現在検出している灯火部の周辺領域に対する黒領域判定を行う。この黒領域判定は、例えば、図３に示す黒領域判定サブルーチンのフローチャートに従って実行される。
【0088】
サブルーチンがスタートすると、画像認識＿ＥＣＵ１３は、ステップＳ２０１において、現在検出されている灯火部に基づいて、画像上における灯火器の寸法を推定する。すなわち、画像認識＿ＥＣＵ１３は、一般的な灯火器における灯火部とフレーム部との寸法比に基づき、画像上におけるフレーム部の寸法を算出する。これにより、画像認識＿ＥＣＵ１３は、画像上における灯火器の寸法を推定する。
【0089】
続くステップＳ２０２において、画像認識＿ＥＣＵ１３は、現在検出されている灯火部の灯火色に応じた探索領域（黒領域探索領域）を、画像上に設定する。例えば、現在検出されている灯火器が青色灯火器５２Ｂである場合、画像認識＿ＥＣＵ１３は、当該青色灯火器５２Ｂの右側及び上側に、それぞれ２つの灯火器探索領域５５を設定する（図９参照）また、例えば、現在検出されている灯火器が黄色灯火器５２Ｙである場合、画像認識＿ＥＣＵ１３は、当該黄色灯火器５２Ｙの左側、右側、上側、及び、下側に、それぞれ１つの灯火器探索領域５５を設定する（図１２参照）。また、例えば、現在検出されている灯火器が赤色灯火器５２Ｒである場合、画像認識＿ＥＣＵ１３は、当該赤色灯火器５２Ｒの左側及び下側に、それぞれ２つの灯火器探索領域５５を設定する（図１５参照）。
【0090】
続くステップＳ２０３において、画像認識＿ＥＣＵ１３は、ステップＳ２０２において設定した灯火器探索領域５５の中から、未だ抽出されていない１つの灯火器探索領域５５を抽出する。
【0091】
続くステップＳ２０４において、画像認識＿ＥＣＵ１３は、抽出した灯火器探索領域５５に対し、黒領域判定用の座標ｃ０～ｃ８を設定する（図１６参照）。
【0092】
続くステップＳ２０５において、画像認識＿ＥＣＵ１３は、各黒領域判定用の座標ｃ０～ｃ８の画像上における各輝度値に基づいて、黒領域判定を行う。すなわち、画像認識＿ＥＣＵ１３は、上述した第１の条件～第４の条件を用いて黒領域判定を行う。ここで、本実施形態において、黒領域判定とは、現在抽出されている灯火器探索領域５５の中心部に黒領域が存在するか否かの判定である。
【0093】
続くステップＳ２０６において、画像認識＿ＥＣＵ１３は、現在抽出している灯火器探索領域５５中の各座標ｃ０～ｃ８における輝度値が、第１～第４の条件を充足しているか否かを調べる。
【0094】
そして、ステップＳ２０６において、各座標ｃ０～ｃ８における輝度値が第１～第４の条件の全てを充足していると判定した場合（ステップＳ２０６：ＹＥＳ）、画像認識＿ＥＣＵ１３は、ステップＳ２０７に進む。
【0095】
ステップＳ２０６からステップＳ２０７に進むと、画像認識＿ＥＣＵ１３は、現在抽出している灯火器探索領域に黒領域が存在する可能製が高いとことを示す黒領域候補フラグＦを「１」にセットする。
【0096】
一方、ステップＳ２０６において、各座標ｃ０～ｃ８における輝度値が第１～第４の条件のうち少なくとも何れか１つを充足していないと判定した場合（ステップＳ２０７：ＮＯ）、画像認識＿ＥＣＵ１３は、ステップＳ２０８に進む。
【0097】
ステップＳ２０６からステップＳ２０８進むと、画像認識＿ＥＣＵ１３は、黒領域候補フラグＦを「０」にクリアする。
【0098】
ステップＳ２０７或いはステップＳ２０８からステップ２０９に進むと、画像認識＿ＥＣＵ１３は、全ての灯火器探索領域が抽出されたか否かを調べる。
【0099】
そして、ステップＳ２０９において、未だ全ての灯火器探索領域が抽出されていないと判定した場合（ステップＳ２０９：ＮＯ）、画像認識＿ＥＣＵ１３は、ステップＳ２０３に戻る。
【0100】
一方、ステップＳ２０９において、全ての灯火器探索領域が抽出されたと判定した場合（ステップＳ２０９：ＹＥＳ）、画像認識＿ＥＣＵ１３は、サブルーチンを抜ける。
【0101】
図２のメインルーチンにおいて、ステップＳ１０４からステップＳ１０５に進むと、画像認識＿ＥＣＵ１３は、現在検出している灯火器を含む信号機本体の縦横判定を行う。この縦横判定は、例えば、図４に示す第１の縦横判定サブルーチンのフローチャートに従って実行される。
【0102】
サブルーチンがスタートすると、ステップＳ３０１において、画像認識＿ＥＣＵ１３は、現在の信号機が、前フレームまでの信号機とは別の信号機に変更されたか否かを調べる。
【0103】
ここで、現在の信号機とは、自車走行路前方において現在検出している直近の灯火器に対応付けて認識すべき信号機である。また、前フレームまでの信号機とは、自車走行路前方において前フレームまでに検出した直近の灯火器に対応付けて認識すべき信号器である。自車走行路前方における直近の灯火器は、自車両Ｍが信号機を通過する毎に切り替わる。従って、これらの信号器の変更があったか否かの判断は、例えば、自車走行路前方における直近の灯火器が切り替わったか否かに基づいて行うことができる。
【0104】
そして、ステップＳ３０１において、信号機の変更がなかった判定した場合（ステップＳ３０１：ＮＯ）、画像認識＿ＥＣＵ１３は、ステップＳ３０３に進む。
【0105】
一方、ステップＳ３０１において、信号機の変更があったと判定した場合（ステップＳ３０１：ＹＥＳ）、画像認識＿ＥＣＵ１３は、ステップＳ３０２に進む。
【0106】
ステップＳ３０２において、画像認識＿ＥＣＵ１３は、現在の信号機に対する横判定ポイントＰ１及び縦判定ポイントＰ２を、共に「０」にクリアする。ここで、横判定ポイントＰ１とは、現在の信号機が各灯火器を横方向に配列した信号機である可能性が高いことを示すポイントである。また、縦判定ポイントＰ２とは、現在の信号機が各灯火器を縦方向に配列した信号機である可能性が高いことを示すポイントである。
【0107】
ステップＳ３０１或いはステップＳ３０２からステップＳ３０３に進むと、画像認識＿ＥＣＵ１３は、現在検出している灯火器の横方向に設定している各灯火器探索領域の黒領域候補フラグＦが共に「１」であるか否かを調べる。
【0108】
そして、ステップＳ３０３において、横方向の黒領域候補フラグＦの少なくとも何れか１つが「１」でないと判定した場合（ステップＳ３０３：ＮＯ）、画像認識＿ＥＣＵ１３は、ステップＳ３０５に進む。
【0109】
一方、ステップＳ３０３において、横方向の黒領域候補フラグＦが共に「１」であると判定した場合（ステップＳ３０３：ＹＥＳ）、画像認識＿ＥＣＵ１３は、ステップＳ３０４に進む。
【0110】
ステップＳ３０３からステップＳ３０４に進むと、画像認識＿ＥＣＵ１３は、横判定ポイントＰ１をインクリメントした後（Ｐ１←Ｐ１＋１）、ステップＳ３０５に進む。なお、横判定ポイントＰ１をインクリメントさせるポイント数は、「１」に限定されるものではなく、例えば、情報の信頼度の高低に応じて変動させることも可能である。
【0111】
ステップＳ３０３或いはステップＳ３０４からステップＳ３０５に進むと、画像認識＿ＥＣＵ１３は、現在検出している灯火器の縦方向に設定している各灯火器探索領域の黒領域候補フラグＦが共に「１」であるか否かを調べる。
【0112】
そして、ステップＳ３０５において、横方向の黒領域候補フラグＦの少なくとも何れか１つが「１」でないと判定した場合（ステップＳ３０５：ＮＯ）、画像認識＿ＥＣＵ１３は、ステップＳ３０７に進む。
【0113】
一方、ステップＳ３０５において、縦方向の黒領域候補フラグＦが共に「１」であると判定した場合（ステップＳ３０５：ＹＥＳ）、画像認識＿ＥＣＵ１３は、ステップＳ３０６に進む。
【0114】
ステップＳ３０５からステップＳ３０６に進むと、画像認識＿ＥＣＵ１３は、縦判定ポイントＰ２をインクリメントした後（Ｐ２←Ｐ２＋１）、ステップＳ３０７に進む。なお、縦判定ポイントＰ２をインクリメントさせるポイント数は、「１」に限定されるものではなく、例えば、情報の信頼度の高低に応じて変動させることも可能である。
【0115】
ステップＳ３０５或いはステップＳ３０６からステップＳ３０７に進むと、画像認識＿ＥＣＵ１３は、横判定ポイントＰ１と縦判定ポイントＰ２とのポイント差の絶対値｜Ｐ１－Ｐ２｜が、予め設定された閾値（例えば、３ポイント差）以上であるか否かを調べる。
【0116】
そして、ステップＳ３０７において、ポイント差の絶対値｜Ｐ１－Ｐ２｜が閾値未満であると判定した場合（ステップＳ３０７：ＮＯ）、画像認識＿ＥＣＵ１３は、ステップＳ３０８に進む。
【0117】
ステップＳ３０７からステップＳ３０８に進むと、画像認識＿ＥＣＵ１３は、現在認識すべき信号機の縦横判定は不能であると判断した後、サブルーチンを抜ける。
【0118】
一方、ステップＳ３０７において、ポイント差の絶対値｜Ｐ１－Ｐ２｜が閾値以上であると判定した場合（ステップＳ３０７：ＹＥＳ）、画像認識＿ＥＣＵ１３は、ステップＳ３０９に進む。
【0119】
ステップＳ３０９において、画像認識＿ＥＣＵ１３は、横判定ポイントＰ１が縦判定ポイントＰ２よりも大きいか否かを調べる。
【0120】
そして、ステップＳ３０９において、横判定ポイントＰ１が縦判定ポイントＰ２よりも大きいと判定した場合（ステップＳ３０９：ＹＥＳ）、画像認識＿ＥＣＵ１３は、ステップＳ３１０に進む。
【0121】
ステップＳ３０９からステップＳ３１０に進むと、画像認識＿ＥＣＵ１３は、現在認識すべき信号機は横型の信号機であると判定した後、サブルーチンを抜ける。
【0122】
一方、ステップＳ３０９において、横判定ポイントＰ１が縦判定ポイントＰ２以下であると判定した場合（ステップＳ３０９：ＮＯ）、画像認識＿ＥＣＵ１３は、ステップＳ３１１に進む。
【0123】
ステップＳ３０９からステップＳ３１１に進むと、画像認識＿ＥＣＵ１３は、現在認識すべき信号機は縦型の信号機であると判定した後、サブルーチンを抜ける。
【0124】
図２のメインルーチンにおいて、ステップＳ１０３からステップＳ１０６に進むと、画像認識＿ＥＣＵ１３は、現在検出している灯火器を含む信号機本体の縦横判定を行う。この縦横判定は、例えば、図５に示す第２の縦横判定サブルーチンのフローチャートに従って実行される。
【0125】
サブルーチンがスタートすると、ステップＳ４０１において、画像認識＿ＥＣＵ１３は、現在の信号機に対する縦横判定結果が既に存在するか否かを調べる。ここで、現在の信号機に対する縦横判定結果が存在する場合とは、例えば、点灯中の灯火色が変化する前に、上述のステップＳ１０４及びステップＳ１０５による縦横判定結果が存在する場合をいう。
【0126】
そして、ステップＳ４０１において、現在の信号機に対する縦横判定結果が存在すると判定した場合（ステップＳ４０１：ＹＥＳ）、画像認識＿ＥＣＵ１３は、ステップＳ４０２に進む。
【0127】
ステップＳ４０２において、画像認識＿ＥＣＵ１３は、現在の縦横判定結果を維持したまま、サブルーチンを抜ける。
【0128】
一方、ステップＳ４０１において、現在の信号機に対する縦横判定結果が存在しないと判定した場合（ステップＳ４０１：ＮＯ）、画像認識＿ＥＣＵ１３は、ステップＳ４０３に進む。
【0129】
ステップＳ４０３において、画像認識＿ＥＣＵ１３は、点灯色の変化によって、実空間上における灯火器の点灯位置が横方向に変化したか否かを調べる。すなわち、画像認識＿ＥＣＵ１３は、点灯中の灯火器が切り替わることによって、灯火器の点灯位置が横方向に変化したか否かを調べる。
【0130】
そして、ステップＳ４０３において、点灯位置が横方向に変化したと判定した場合（ステップＳ４０３：ＹＥＳ）、画像認識＿ＥＣＵ１３は、ステップＳ４０４に進む。
【0131】
ステップＳ４０４において、画像認識＿ＥＣＵ１３は、現在認識すべき信号器は横型の信号機であると判定した後、サブルーチンを抜ける。
【0132】
一方、ステップＳ４０３において、点灯位置が横方向に変化していないと判定した場合（ステップＳ４０３：ＮＯ）、画像認識＿ＥＣＵ１３は、ステップＳ４０５に進む。
【0133】
ステップＳ４０５において、画像認識＿ＥＣＵ１３は、点灯色の変化によって、実空間上における灯火器の点灯位置が縦方向に変化したか否かを調べる。すなわち、画像認識＿ＥＣＵ１３は、点灯中の灯火器が切り替わることによって、灯火器の点灯位置が縦方向に変化したか否かを調べる。
【0134】
そして、ステップＳ４０５において、点灯位置が縦方向に変化したと判定した場合（ステップＳ４０５：ＹＥＳ）、画像認識＿ＥＣＵ１３は、ステップＳ４０６に進む。
【0135】
ステップＳ４０６において、画像認識＿ＥＣＵ１３は、現在認識すべき信号機は縦型の信号機であると判定した後、サブルーチンを抜ける。
【0136】
一方、ステップＳ４０５において、点灯位置が縦方向に変化していないと判定した場合（ステップＳ４０５：ＮＯ）、画像認識＿ＥＣＵ１３は、そのままサブルーチンを抜ける。
【0137】
図２のメインルーチンにおいて、ステップＳ１０５或いはステップＳ１０６からステップＳ１０７に進むと、画像認識＿ＥＣＵ１３は、現在点灯中の灯火部が赤色であるか否かを調べる。すなわち、画像認識＿ＥＣＵ１３は、現在点灯中の灯火器が赤色灯火器であるか否かを調べる。
【0138】
そして、ステップＳ１０７において、現在点灯中の灯火部が赤色でないと判定した場合（ステップＳ１０７：ＮＯ）、画像認識＿ＥＣＵ１３は、ルーチンを抜ける。
【0139】
一方、ステップＳ１０７において、現在点灯中の灯火部が赤色であると判定した場合（ステップＳ１０７：ＹＥＳ）、画像認識＿ＥＣＵ１３は、ステップＳ１０８に進む。
【0140】
ステップＳ１０８において、画像認識＿ＥＣＵ１３は、現在の信号機に対する縦横判定結果が存在するか否かを調べる。すなわち、画像認識＿ＥＣＵ１３は、ステップＳ１０５或いはステップＳ１０６のうちの少なくとも何れか一方の処理において、現在の信号機に対する縦横判定結果が得られているか否かを調べる。
【0141】
そして、ステップＳ１０８において、現在の信号機に対する縦横判定結果が得られていないと判定した場合（ステップＳ１０８：ＮＯ）、画像認識＿ＥＣＵ１３は、ステップＳ１０９に進む。
【0142】
ステップＳ１０９において、画像認識＿ＥＣＵ１３は、現在点灯中の赤色灯火器の周囲に全ての矢印探索領域を設定する（図１９参照）。
【0143】
一方、ステップＳ１０８において、現在の信号機に対する縦横判定結果が得られていると判定した場合（ステップＳ１０８：ＹＥＳ）、画像認識＿ＥＣＵ１３は、ステップＳ１１０に進む。
【0144】
ステップＳ１１０において、画像認識＿ＥＣＵ１３は、赤色灯火器の周囲に設定する矢印探索領域の絞り込みを行う。すなわち、画像認識＿ＥＣＵ１３は、信号機の縦横判定結果に応じた矢印探索領域を、赤色灯火器の周囲に設定する（図１７，１８参照）。
【0145】
ステップＳ１０９或いはステップＳ１１０からステップＳ１１１に進むと、画像認識＿ＥＣＵ１３は、設定した各矢印探索領域に対し、点灯中の矢印灯火器の探索を実行した後、ルーチンを抜ける。
【0146】
このような実施形態において、画像認識＿ＥＣＵ１３は、自車両Ｍの前方をカラー撮像した画像上において信号機本体による灯火領域を検出することにより、信号機本体に配列された複数の灯火器のうちの点灯中の灯火器を検出する。また、画像認識＿ＥＣＵ１３は、点灯中の灯火器の水平方向及び垂直方向において当該灯火器に連なる画像上の複数の位置であって、且つ、灯火領域の灯火色に応じた特定の位置に、点灯中の灯火器と同寸法をなす灯火器探索領域をそれぞれ設定する。また、画像認識＿ＥＣＵ１３は、灯火器探索領域の縁辺部における輝度及び灯火器探索領域の中心部における輝度を灯火器探索領域毎に評価し、信号機本体に配列された消灯中の灯火器を検出する。さらに、画像認識＿ＥＣＵ１３は、点灯中の灯火器及び消灯中の灯火器の配置に基づいて信号機本体が横型配置されているか或いは縦型配置されているかを判定する。そして、画像認識＿ＥＣＵ１３は、判定した信号機本体の配置に応じて、信号機本体に付属する矢印灯火器の探索領域を設定する。これにより、矢印灯火器の点灯を効率良く探索することができる。
【0147】
すなわち、画像認識＿ＥＣＵ１３は、カラー画像上の灯火領域が灯火器の灯火部と一致すると仮定することにより、点灯中の灯火器を検出する。これにより、信号機本体に配列された各灯火器の境界が画像上において不明瞭である場合にも、点灯中の灯火器を的確に検出することができる。
【0148】
また、画像認識＿ＥＣＵ１３は、点灯中の灯火器の水平方向及び垂直方向において点灯中の灯火器に連なる位置であって、且つ、点灯中の灯火器の点灯色に応じた特定の位置に灯火器探索領域をそれぞれ設定する。このような処理は、横型配置の信号機本体及び縦型配置の信号機本体における各色の灯火器の配列順序が既知であることに着目してなされるものである。これにより、信号機本体に含まれる消灯中の灯火器を効率良く探索することができる。
【0149】
また、画像認識＿ＥＣＵ１３は、灯火器探索領域の縁辺部における輝度及び灯火器探索領域の中心部における輝度を灯火器探索領域毎に評価し、各評価結果に基づいて、信号機本体に設けられた消灯中の灯火器を検出する。このような処理は、消灯中の灯火器における灯火部がフレーム部よりも輝度の低い黒領域であることに着目してなされるものである。これにより、信号機本体に配列された各灯火器の境界が画像上において不明瞭である場合にも、消灯中の灯火器を的確に検出することができる。
【0150】
さらに、画像認識＿ＥＣＵ１３は、点灯中の灯火器及び消灯中の灯火器の配置に基づいて、信号機本体が横型配置されているか或いは縦型配置されているかを判定する。そして、信号機本体に配置に応じて、矢印探索領域を設定すれば、不要な矢印探索領域を排除することができる。従って、矢印灯火器の点灯を効率良く探索することができる。
【0151】
ここで、上述の実施形態において、画像認識＿ＥＣＵ１３、走行＿ＥＣＵ１４、Ｅ／Ｇ＿ＥＣＵ２２、Ｔ／Ｍ＿ＥＣＵ２３、ＢＫ＿ＥＣＵ２４、及び、ＰＳ＿ＥＣＵ２５は、ＣＰＵ，ＲＡＭ，ＲＯＭ、不揮発性記憶部等を備える周知のマイクロコンピュータ、及びその周辺機器で構成されており、ＲＯＭにはＣＰＵで実行するプログラムやデータテーブル等の固定データ等が予め記憶されている。なお、プロセッサの全部若しくは一部の機能は、論理回路あるいはアナログ回路で構成してもよく、また各種プログラムの処理を、ＦＰＧＡなどの電子回路により実現するようにしてもよい。
【0152】
以上の実施の形態に記載した発明は、それらの形態に限ることなく、その他、実施段階ではその要旨を逸脱しない範囲で種々の変形を実施し得ることが可能である。さらに、上記形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組合せにより種々の発明が抽出され得るものである。
【0153】
例えば、上記形態に示される全構成要件から幾つかの構成要件が削除されても、述べられている課題が解決でき、述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得るものである。
【符号の説明】
【0154】
１ … 運転支援装置
１０ … カメラユニット
１１ … ステレオカメラ
１１ａ … メインカメラ
１１ｂ … サブカメラ
１２ … ＩＰＵ
１３ … 画像認識＿ＥＣＵ
１４ … 走行＿ＥＣＵ
２２ … Ｅ／Ｇ＿ＥＣＵ
２３ … Ｔ／Ｍ＿ＥＣＵ
２４ … ＢＫ＿ＥＣＵ
２５ … ＰＳ＿ＥＣＵ
３２ … スロットルアクチュエータ
３３ … 油圧制御回路
３４ … ブレーキアクチュエータ
３５ … 電動パワステモータ
５０ … 信号機
５０Ｈ … 横型配置の信号機
５０Ｖ … 縦型配置の信号機
５１ … 信号機本体
５２ … 灯火器
５２Ｂ … 灯火器（青色灯火器）
５２Ｒ … 灯火器（赤色灯火器）
５２Ｙ … 灯火器（黄色灯火器）
５３ … 矢印灯火器
５５ … 灯火器探索領域
５６ … 矢印探索領域
Ｍ … 車両（自車両）
１０ … カメラユニット
１１ … ステレオカメラ
１１ａ … メインカメラ
１１ｂ … サブカメラ
１２ … ＩＰＵ
１３ … 画像認識＿ＥＣＵ
１４ … 走行＿ＥＣＵ
２２ … Ｅ／Ｇ＿ＥＣＵ
２３ … Ｔ／Ｍ＿ＥＣＵ
２４ … ＢＫ＿ＥＣＵ
２５ … ＰＳ＿ＥＣＵ
３２ … スロットルアクチュエータ
３３ … 油圧制御回路
３４ … ブレーキアクチュエータ
３５ … 電動パワステモータ
５０ … 信号機
５０Ｈ … 横型配置の信号機
５０Ｖ … 縦型配置の信号機
５１ … 信号機本体
５２ … 灯火器
５２Ｂ … 灯火器（青色灯火器）
５２Ｒ … 灯火器（赤色灯火器）
５２Ｙ … 灯火器（黄色灯火器）
５３ … 矢印灯火器
５５ … 灯火器探索領域
５６ … 矢印探索領域
Ｍ … 車両（自車両）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】