特許 6948243 信号機認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6948243

(24)【登録日】2021年9月22日

(45)【発行日】2021年10月13日

(54)【発明の名称】信号機認識装置

(51)【国際特許分類】

   G08G 1/09 20060101AFI20210930BHJP

   G06T 7/00 20170101ALI20210930BHJP

【ＦＩ】

   G08G1/09 D

   G06T7/00 650A

   G06T7/00 300E

【請求項の数】4

【全頁数】14

(21)【出願番号】特願2017-240777(P2017-240777)

(22)【出願日】2017年12月15日

(65)【公開番号】特開2019-109602(P2019-109602A)

(43)【公開日】2019年7月4日

【審査請求日】2020年8月21日

(73)【特許権者】

【識別番号】000001487

【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】加藤 賢治

(72)【発明者】

【氏名】岩瀬 祐也

(72)【発明者】

【氏名】李 栄篤

(72)【発明者】

【氏名】村山 純哉

【審査官】 吉村 俊厚

(56)【参考文献】

【文献】 国際公開第２０１０／１１６９２２（ＷＯ，Ａ１）

【文献】 特開２００７−２５７３０３（ＪＰ，Ａ）

【文献】 特開２００９−０４３０６８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／０９

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

車両前方を撮像した撮像画像から高輝度領域を抽出する高輝度領域抽出部と、
前記高輝度領域から円領域を抽出する円領域抽出部と、
前記円領域から所定の範囲内で低輝度領域を抽出する低輝度領域抽出部と、
前記円領域と前記低輝度領域の相対位置及び相対サイズに基づいて、信号機領域を抽出する信号機領域抽出部と、
前記信号機領域に基づいて、信号機の点灯状態を判断する信号機点灯状態判断部と、を備え、
前記低輝度領域のサイズは、該低輝度領域に外接する矩形領域の面積に対する、該低輝度領域の面積の割合とする、ことを特徴とする信号機認識装置。

【請求項2】

前記信号機領域の中の前記円領域に基づいて、前記信号機までの距離を算出する距離算出部を備える
ことを特徴とする、請求項１に記載の信号機認識装置。

【請求項3】

前記信号機点灯状態判断部は、複数の前記撮像画像に基づいて、前記信号機の点灯状態を判断する
ことを特徴とする、請求項１又は２に記載の信号機認識装置。

【請求項4】

前記信号機点灯状態判断部は、色情報に基づいて、前記信号機の点灯状態を判断する
ことを特徴とする、請求項１〜３の何れか一項に記載の信号機認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、信号機認識装置に関するものである。

【背景技術】

【0002】

従来、信号機認識装置は、撮像装置によって撮像された撮像画像から、色情報を用いて、信号機の点灯状態を認識することが知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第５４０７９２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載の信号機認識装置は、予め定められた信号機の各点灯色の色情報を、撮像画像から抽出して、信号機の点灯状態を認識するため、例えば白とび等により、撮像画像に適正な色が反映されていない場合、信号機の点灯状態を判断することができない、という問題がある。

【0005】

そこで、本発明は、色情報以外の情報も参照し、信号機の点灯状態を判断することができる信号機認識装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

前記目的を達成するために、本発明の信号機認識装置は、車両前方を撮像した撮像画像から高輝度領域を抽出する高輝度領域抽出部と、前記高輝度領域から円領域を抽出する円領域抽出部と、前記円領域から所定の範囲内で低輝度領域を抽出する低輝度領域抽出部と、前記円領域と前記低輝度領域に基づいて、信号機の点灯状態を判断する信号機点灯状態判断部と、を備えることを特徴とする。

【発明の効果】

【0007】

このように構成された本発明の信号機認識装置は、色情報以外の情報も参照し、信号機の点灯状態を判断することができる。

【図面の簡単な説明】

【0008】

【図1】実施例１の信号機認識装置の構成を示すブロック図である。

【図2】実施例１の信号機認識処理を示すフローチャートである。

【図3】実施例１の信号機認識処理のステップＳ１の輝度画像の取得を説明する説明図である。

【図4】実施例１の信号機認識処理のステップＳ３の高輝度領域の抽出を説明する説明図である。

【図5】実施例１の信号機認識処理のステップＳ４の円領域の抽出を説明する説明図である。

【図6】実施例１の信号機認識処理のステップＳ５の理論値との比較を説明する説明図である。

【図7】実施例１の信号機認識処理のステップＳ６の低輝度領域の抽出を説明する説明図である。

【図8】実施例１の信号機認識処理のステップＳ７の信号機領域の抽出処理の結果を説明する説明図である。

【図9】実施例１の信号機認識処理のステップＳ７の信号機領域の抽出処理を説明する説明図である。

【図10】実施例１の信号機認識処理のステップＳ７の信号機領域の抽出処理の処理手順を示すフローチャートである。

【図11】実施例１の信号機認識処理のステップＳ８の信号機の点灯状態の判断処理の処理手順を示すフローチャートである。

【図12】実施例２の信号機認識装置を説明する説明図である。

【図13】実施例３の信号機認識装置を説明する説明図である。

【図14】実施例４の信号機認識装置を説明する説明図である。

【発明を実施するための形態】

【0009】

以下、本開示による信号機認識装置を実現する実施形態を、図面に示す実施例１〜実施例４に基づいて説明する。

【実施例1】

【0010】

まず、構成を説明する。
実施例１における信号機認識装置は、車両に搭載され、撮像された車両の前方画像から信号機の点灯状態等を認識する装置に適用した例を説明する。

【0011】

［信号機認識装置の構成］
図１は、実施例１の信号機認識装置の構成を示すブロック図である。以下、図１に基づいて、実施例１の信号機認識装置の構成を説明する。

【0012】

信号機認識装置１は、図１に示すように、撮像装置２と、カメラＥＣＵ（Electronic Control Unit）１０と、表示装置３と、車両制御ＥＣＵ４と、を備える。

【0013】

撮像装置２は、車両のフロントガラス付近の車室内に取り付けられ、車両の前方を撮像し、撮像画像から画像データを生成する。撮像装置２は、例えば、モノクロ画像を撮像するＣＣＤカメラとする。撮像装置２は、カメラＥＣＵ１０の画像入力部１１に接続される。

【0014】

カメラＥＣＵ１０は、画像入力部１１と、信号機認識部２０と、認識結果出力部１２と、を備える。

【0015】

画像入力部１１は、信号機認識部２０に接続される。

【0016】

信号機認識部２０は、認識結果出力部１２に接続される。信号機認識部２０は、記憶部２１と、高輝度領域抽出部２２と、円領域抽出部２３と、理論値比較部２４と、低輝度領域抽出部２５と、信号機領域抽出部２６と、信号機点灯状態判断部２７と、距離算出部２８と、を備える。

【0017】

記憶部２１には、車両に取り付けられた撮像装置２の取付位置の情報と、撮像装置２のレンズ歪み情報及びセンササイズに関する情報と、信号機の一般的な高さの情報と、信号機の信号灯の一般的な大きさの情報と、画像における信号灯の位置する領域の閾値Ｌ等が予め記憶される。

【0018】

画像における信号灯の位置する領域の閾値Ｌとは、信号機の一般的な高さ情報と、信号灯の一般的な大きさの情報と、から割り出され、信号灯が位置すると推定される領域を示す。すなわち、閾値Ｌは、信号灯が位置する妥当な範囲を示す。

【0019】

高輝度領域抽出部２２は、輝度画像から周囲の画素より明るい高輝度領域を抽出する。円領域抽出部２３は、輝度画像の高輝度領域から、ハフ変換等により円領域を抽出する。理論値比較部２４は、輝度画像の円領域から、信号灯が位置する妥当な範囲に存在しない領域にある円領域を除外し、残った円領域を理論比較領域とする。低輝度領域抽出部２５は、輝度画像５０の理論比較領域から所定の範囲内で、周囲の画素より暗い低輝度領域を抽出する。

【0020】

信号機領域抽出部２６は、理論比較領域と低輝度領域との相対位置及び相対サイズに基づいて、信号機領域を抽出する。信号機点灯状態判断部２７は、信号機領域の中の理論比較領域と、低輝度領域と、に基づいて、信号機領域の点灯状態を判断する。距離算出部２８は、信号機領域の中の理論比較領域に基づいて、信号機までの距離を算出する。

【0021】

認識結果出力部１２は、表示装置３と車両制御ＥＣＵ４に接続される。表示装置３は、メータ表示画面やナビ画面等で構成される。車両制御ＥＣＵ４は、車両のステアリングやブレーキ等を制御する。

【0022】

撮像装置２が撮像した撮像画像の画像データは、画像入力部１１を介して、信号機認識部２０に入力される。信号機認識部２０は、画像データに基づいて後述する信号機認識処理を実行する。信号機認識部２０による処理情報は、認識結果出力部１２を介して、表示装置３と車両制御ＥＣＵ４に出力され、運転の支援のために用いられる。例えば、信号機の点灯状態を認識し、点灯状態が赤信号の場合に、車両を信号機の手前で停止させる。

【0023】

次に、作用を説明する。
［信号機認識処理］
図２は、実施例１の信号機認識処理を示すフローチャートである。図３は、実施例１の信号機認識処理のステップＳ１の輝度画像の取得を説明する説明図である。図４は、実施例１の信号機認識処理のステップＳ３の高輝度領域の抽出を説明する説明図である。図５は、実施例１の信号機認識処理のステップＳ４の円領域の抽出を説明する説明図である。図６は、実施例１の信号機認識処理のステップＳ５の理論値との比較を説明する説明図である。図７は、実施例１の信号機認識処理のステップＳ６の低輝度領域の抽出を説明する説明図である。図８は、実施例１の信号機認識処理のステップＳ７の信号機領域の抽出処理の結果を説明する説明図である。以下、図２〜図８に基づいて、実施例１の信号機認識処理を説明する。

【0024】

ステップＳ１では、信号機認識部２０が、撮像装置２から画像入力部１１を介して入力された画像データから、図３に示すような撮像画像としての輝度画像５０を取得する。

【0025】

ステップＳ２では、信号機認識部２０が、記憶部２１に記憶された撮像装置２の取付位置の情報や、撮像装置２のレンズ歪み情報等から、輝度画像５０に対してレンズ歪みを補正し、歪みのない画像を作成する。

【0026】

ステップＳ３では、図４に示すように、信号機認識部２０の高輝度領域抽出部２２が、レンズ歪みの補正がされた輝度画像５０から、周囲の画素より明るい高輝度領域Ａ１，Ａ２，Ａ３，Ａ４，Ａ５を抽出する。

【0027】

ステップＳ４では、図５に示すように、信号機認識部２０の円領域抽出部２３が、輝度画像５０の高輝度領域Ａ１，Ａ２，Ａ３，Ａ４，Ａ５から、ハフ変換等により、外縁領域が円形である円領域Ｂ２，Ｂ３，Ｂ４，Ｂ５を抽出する。

【0028】

ステップＳ５では、図６に示すように、信号機認識部２０の理論値比較部２４が、輝度画像５０の円領域Ｂ２，Ｂ３，Ｂ４，Ｂ５から、閾値Ｌの領域に属している理論比較領域（円領域の一例）Ｃ２，Ｃ５を抽出する。すなわち、ステップＳ５では、信号灯が位置する妥当な範囲に、明らかに存在しない領域にある円領域Ｂ３，Ｂ４を除外する（図５参照）。

【0029】

ステップＳ６では、図７に示すように、信号機認識部２０の低輝度領域抽出部２５が、輝度画像５０の理論比較領域（円領域の一例）Ｃ２，Ｃ５から所定の範囲内で、周囲の画素より暗い低輝度領域Ｄ２，Ｄ５を抽出する。

【0030】

ステップＳ７では、信号機認識部２０の信号機領域抽出部２６が、後述する信号機領域の抽出処理を実行する。この信号機領域の抽出処理では、理論比較領域（円領域の一例）Ｃ２，Ｃ５と低輝度領域Ｄ２，Ｄ５との相対位置及び相対サイズに基づいて、図８に示すように、信号機領域Ｅ２を抽出する。

【0031】

ステップＳ８では、信号機認識部２０の信号機点灯状態判断部２７が、後述する点灯状態の判断処理を実行する。この点灯状態の判断処理では、信号機領域Ｅ２の中の理論比較領域（円領域の一例）Ｃ２と、低輝度領域Ｄ２と、に基づいて、信号機領域Ｅ２の点灯状態を判断する。すなわち、信号機領域Ｅ２が、赤信号、黄信号、青信号の何れかであるかを決定する。信号機領域Ｅ２の点灯状態の情報は、認識結果出力部１２に送信される。

【0032】

ステップＳ９では、信号機認識部２０の距離算出部２８が、信号機領域Ｅ２の中の理論比較領域（円領域の一例）Ｃ２に基づいて、信号機までの距離を算出する。すなわち、距離算出部２８が、輝度画像５０における信号機の高さと信号灯の大きさから、実空間における車両と信号機との相対距離を算出する。車両と信号機との相対距離の情報は、認識結果出力部１２に送信される。以上のステップにより、信号認識処理を終了する。

【0033】

［信号機領域の抽出処理］
図９は、実施例１の信号機認識処理のステップＳ７の信号機領域の抽出処理を説明する説明図である。図１０は、実施例１の信号機認識処理のステップＳ７の信号機領域の抽出処理の処理手順を示すフローチャートである。以下、図９及び図１０に基づいて、実施例１の信号機領域の抽出処理について説明する。

【0034】

信号機領域の抽出処理（図２のステップＳ７）では、高輝度領域Ｍと低輝度領域Ｎの相対位置と相対サイズとから決定された３つのパターンＴ１，Ｔ２，Ｔ３に該当するか否かを判断する。まず、各パターンＴ１，Ｔ２，Ｔ３について説明する。

【0035】

パターンＴ１では、図９（ａ）に示すように、高輝度領域Ｍの右側に低輝度領域Ｎが存在し、高輝度領域Ｍと低輝度領域Ｎの高さ方向の位置が揃っている。パターンＴ１では、高輝度領域Ｍの幅方向の大きさをｄとし、信号機の点灯部分のぼやけにより高輝度領域Ｍと低輝度領域Ｎの抽出位置に発生する誤差を許容する為のパラメータをαとすると、低輝度領域Ｎの幅方向の大きさは、２ｄ＋αとなる。すなわち、パターンＴ１では、低輝度領域Ｎの幅方向の大きさが、高輝度領域Ｍの幅方向の大きさの２倍強となる。パターンＴ１では、低輝度領域Ｎの高さ方向の大きさが、高輝度領域Ｍの高さ方向の大きさと略同じ大きさなる。

【0036】

パターンＴ２では、図９（ｂ）に示すように、高輝度領域Ｍの両側に低輝度領域Ｎが存在し、高輝度領域Ｍと低輝度領域Ｎの高さ方向の位置が揃っている。パターンＴ２では、高輝度領域Ｍの幅方向の大きさをｄとし、信号機の点灯部分のぼやけにより高輝度領域Ｍと低輝度領域Ｎの抽出位置に発生する誤差を許容する為のパラメータをβとすると、右側の低輝度領域Ｎの幅方向の大きさは、ｄ＋βとなり、左側の低輝度領域Ｎの幅方向の大きさは、ｄ＋βとなる。すなわち、パターンＴ２では、低輝度領域Ｎの幅方向の大きさが、高輝度領域Ｍの幅方向の大きさの２倍強となる。パターンＴ２では、低輝度領域Ｎの高さ方向の大きさが、高輝度領域Ｍの高さ方向の大きさと略同じ大きさなる。

【0037】

パターンＴ３では、図９（ｃ）に示すように、高輝度領域Ｍの左側に低輝度領域Ｎが存在し、高輝度領域Ｍと低輝度領域Ｎの高さ方向の位置が揃っている。パターンＴ３では、高輝度領域Ｍの幅方向の大きさをｄとし、信号機の点灯部分のぼやけにより高輝度領域Ｍと低輝度領域Ｎの抽出位置に発生する誤差を許容する為のパラメータをαとすると、低輝度領域Ｎの幅方向の大きさは、２ｄ＋αとなる。すなわち、パターンＴ３では、低輝度領域Ｎの幅方向の大きさが、高輝度領域Ｍの幅方向の大きさの２倍強となる。パターンＴ３では、低輝度領域Ｎの高さ方向の大きさが、高輝度領域Ｍの高さ方向の大きさと略同じ大きさなる。

【0038】

次に、信号機領域の抽出処理を図１０に示すフローチャートに基づいて説明する。ステップＳ１１では、信号機認識部２０の信号機領域抽出部２６が、理論比較領域（円領域の一例）Ｃ２，Ｃ５とその近傍にある低輝度領域Ｄ２，Ｄ５との組み合わせが、３つのパターンＴ１，Ｔ２，Ｔ３の何れかに該当するか否かを判断する。

【0039】

理論比較領域（円領域の一例）Ｃ２，Ｃ５とその近傍にある低輝度領域Ｄ２，Ｄ５との組み合わせが、３つのパターンＴ１，Ｔ２，Ｔ３の何れかに該当すると判断した場合（ステップＳ１１でＹＥＳ）、信号機認識部２０は、理論比較領域（円領域の一例）Ｃ２とその近傍にある低輝度領域Ｄ２との組み合わせを信号機領域Ｅ２と判断し（ステップＳ１２、図９参照）、信号機領域の抽出処理を終了する。

【0040】

一方、理論比較領域（円領域の一例）Ｃ５とその近傍にある低輝度領域Ｄ５との組み合わせが、３つのパターンＴ１，Ｔ２，Ｔ３の何れかに該当しないと判断した場合（ステップＳ１１でＮＯ）、信号機認識部２０は、理論比較領域（円領域の一例）Ｃ５とその近傍にある低輝度領域Ｄ５との組み合わせを信号機領域でないと判断し（ステップＳ１３）、信号機領域の抽出処理を終了する。

【0041】

［点灯状態の判断処理］
図１１は、実施例１の信号機認識処理のステップＳ８の信号機の点灯状態の判断処理の処理手順を示すフローチャートである。以下、図１１に基づいて、実施例１の点灯状態の判断処理について説明する。

【0042】

点灯状態の判断処理（図２のステップＳ８）では、信号機認識部２０の信号機点灯状態判断部２７が、信号機領域Ｅ２に対して、理論比較領域（円領域の一例）が、その近傍にある低輝度領域の左側に有るか否かを判断する（ステップＳ２１）。信号機領域Ｅ２に対して、理論比較領域（円領域の一例）が、その近傍にある低輝度領域の左側に有ると判断した場合（ステップＳ２１でＹＥＳ）、信号機認識部２０は、信号機領域Ｅ２を青信号が点灯している状態であると判断し（ステップＳ２２）、点灯状態の判断処理を終了する。

【0043】

一方、理論比較領域（円領域の一例）が、その近傍にある低輝度領域の左側にないと判断した場合（ステップＳ２１でＮＯ）、信号機認識部２０は、信号機領域Ｅ２に対して、理論比較領域（円領域の一例）が、その近傍にある低輝度領域の右側に有るか否かを判断する（ステップＳ２３）。信号機領域Ｅ２に対して、理論比較領域（円領域の一例）が、その近傍にある低輝度領域の右側に有ると判断した場合（ステップＳ２３でＹＥＳ）、信号機認識部２０は、信号機領域Ｅ２を赤信号が点灯している状態であると判断し（ステップＳ２４）、点灯状態の判断処理を終了する。

【0044】

一方、信号機領域Ｅ２に対して、理論比較領域（円領域の一例）が、その近傍にある低輝度領域の右側にないと判断した場合（ステップＳ２３でＮＯ）、信号機認識部２０は、信号機領域Ｅ２を黄信号が点灯している状態であると判断し（ステップＳ２５）、点灯状態の判断処理を終了する。

【0045】

次に、実施例１の信号機認識装置における効果を説明する。

【0046】

実施例１の信号機認識装置１は、車両前方を撮像した撮像画像（輝度画像５０）から高輝度領域Ａ１〜Ａ５を抽出する高輝度領域抽出部２２と、高輝度領域Ａ１〜Ａ５から円領域Ｂ２〜Ｂ５を抽出する円領域抽出部２３と、円領域Ｂ２〜Ｂ５から所定の範囲内で低輝度領域Ｄ２，Ｄ５を抽出する低輝度領域抽出部２５と、円領域Ｂ２〜Ｂ５と低輝度領域Ｄ２，Ｄ５に基づいて、信号機の点灯状態を判断する信号機点灯状態判断部２７と、を備える（図１）。

【0047】

これにより、輝度情報から、信号機の点灯状態を判断することができる。そのため、例えば白とび等により、撮像画像に適正な色が反映されない場合であっても、信号機の点灯状態を判断することができる。また、モノクロ画像を撮像する撮像装置を使用できるので、コスト削減を図れる。

【0048】

例えば、予め定められた信号機の各点灯色の色情報を、撮像画像から抽出して、信号機の点灯状態を認識する信号機認識装置の場合、白とび等により、撮像画像に適正な色が反映されない場合、信号機の点灯状態を判断することができないという問題が生じるが、実施例１の信号機認識装置１は、このような問題を解決する。

【0049】

実施例１の信号機認識装置１では、円領域Ｂ２〜Ｂ５と低輝度領域Ｄ２，Ｄ５の相対位置及び相対サイズに基づいて、信号機領域Ｅ２を抽出する信号機領域抽出部２６を有し、信号機点灯状態判断部２７は、信号機領域Ｅ２に基づいて、信号機の点灯状態を判断する（図１）。

【0050】

これにより、信号機点灯状態判断部２７は、信号機を認識してから、信号機の点灯状態を判断することができる。そのため、信号機の点灯状態の判断の信頼性が向上する。

【0051】

実施例１の信号機認識装置１は、信号機領域Ｅ２の中の円領域Ｂ２に基づいて、信号機までの距離を算出する距離算出部２８を備える（図１）。

【0052】

これにより、実空間における車両から信号機までの距離を算出することができる。その結果、カーナビやスマートフォン等の外部装置に依存しないで、信号機の位置を算出することができる。

【0053】

例えば、事前に、交通インフラやマップ情報から、信号機の位置・状態を取得する信号機認識装置の場合、カーナビやスマートフォンといった外部装置を必要とし、外部装置の結果に依存した認識性能となってしまうという問題が生じるが、実施例１の信号機認識装置１では、このような問題を解決する。

【実施例2】

【0054】

まず、構成と作用を説明する。
図１２は、実施例２の信号機認識装置を説明する説明図である。なお、実施例１で説明した内容と同一乃至均等な部分の説明については、同一用語又は同一の符号を用いて説明する。

【0055】

実施例２の信号機認識装置は、信号機領域抽出部２６による信号機領域の抽出処理が異なる点で、実施例１の信号機認識装置と異なる。

【0056】

実施例２の信号機領域の抽出処理では、高輝度領域Ｍと低輝度領域Ｎの相対位置と相対サイズから決定された３つのパターンＵ１，Ｕ２，Ｕ３に該当するか否かを判断する。

【0057】

パターンＵ１では、図１２（ａ）に示すように、高輝度領域Ｍの右側に低輝度領域Ｎが存在する。低輝度領域Ｎのサイズは、低輝度領域Ｎに外接する矩形の面積（外接矩形面積）Ｎａとする。外接矩形面積Ｎａに対する、低輝度領域Ｎの面積の割合が、所定の割合以上の場合、パターンＵ１に該当する。

【0058】

パターンＵ２では、図１２（ｂ）に示すように、高輝度領域Ｍの両側に低輝度領域Ｎが存在する。低輝度領域Ｎのサイズは、低輝度領域Ｎに外接する矩形の面積（外接矩形面積）Ｎａとする。外接矩形面積Ｎａに対する、低輝度領域Ｎの面積の割合が、所定の割合以上の場合、パターンＵ２に該当する。

【0059】

パターンＵ３では、図１２（ｃ）に示すように、高輝度領域Ｍの左側に低輝度領域Ｎが存在する。低輝度領域Ｎのサイズは、低輝度領域Ｎに外接する矩形の面積（外接矩形面積）Ｎａとする。外接矩形面積Ｎａに対する、低輝度領域Ｎの面積の割合が、所定の割合以上の場合、パターンＵ３に該当する。

【0060】

次に、実施例２の信号機認識装置における効果を説明する。

【0061】

これに対して、実施例２の信号機認識装置では、低輝度領域Ｄ２，Ｄ５のサイズを、低輝度領域Ｄ２，Ｄ５に外接する矩形領域の面積に対する、低輝度領域Ｄ２，Ｄ５の面積の割合とする（図１２）。

【0062】

これにより、撮像した画像にノイズが含まれた場合でも、信頼性の低い低輝度領域を、信号機領域から除外することができる。そのため、信号機認識装置１は、信頼性の高い低輝度領域を使用して、信号機領域を抽出することができる。

【0063】

ところで、低輝度の画素は、画像のぼけや、遠方における信号機画像の解像度低下により、画素がかけることが想定される。このようなかけた画像を低輝度領域と認識してしまうと、信号機の存在しない領域を信号機領域と判定してしまう、という問題が生じるが、実施例２の信号機認識装置では、このような問題を解決する。なお、実施例２のこの他の構成及び作用効果については、実施例１と略同様であるため、説明を省略する。

【実施例3】

【0064】

まず、構成と作用を説明する。
図１３は、実施例３の信号機認識装置を説明する説明図である。なお、実施例１で説明した内容と同一乃至均等な部分の説明については、同一用語又は同一の符号を用いて説明する。

【0065】

実施例３の信号機認識装置は、信号機点灯状態判断部２７が複数の撮像画像を使用する点で、実施例１の信号機認識装置と異なる。

【0066】

図１３に示すように、例えば、時刻ｔに撮像した撮像画像１５０ａと、時刻ｔ＋１に撮像した撮像画像１５０ｂと、時刻ｔ＋２に撮像した撮像画像１５０ｃと、を使用する。

【0067】

各撮像画像１５０ａ，１５０ｂ，１５０ｃは、信号機認識処理が実行され、信号機領域の点灯状態の情報と、車両から信号機までの距離の情報と、が記憶部２１に記憶される。

【0068】

信号機点灯状態判断部２７は、記憶部２１に記憶されたこれらの情報に基づいて、信号機領域の点灯状態を判断する。例えば、時刻ｔに撮像した撮像画像１５０ａの信号機領域の点灯状態の情報が、赤信号であり、時刻ｔ＋１に撮像した撮像画像１５０ｂの信号機領域の点灯状態の情報が、得られなくて、時刻ｔ＋２に撮像した撮像画像１５０ｃの信号機領域の点灯状態の情報が、赤信号であった場合、信号機点灯状態判断部２７は、信号機領域の点灯状態の情報を赤信号と判断する。

【0069】

信号機点灯状態判断部２７は、記憶部２１に記憶されたこれらの情報に基づいて、警報や制御を異ならせても良い。例えば、時刻ｔ〜ｔ＋２において、ブレーキを何段階かに分けてかけても良い。また、時刻ｔ〜ｔ＋２において、徐々に警告を大きく表示するようにしても良い。

【0070】

次に、実施例３の信号機認識装置における効果を説明する。

【0071】

実施例３の信号機認識装置では、信号機点灯状態判断部２７は、複数の撮像画像（輝度画像５０）に基づいて、信号機の点灯状態を判断する（図１３）。

【0072】

これにより、信号機点灯状態判断部２７による信号機の点灯状態の判断を、信頼性のあるものとすることができる。そのため、誤った判断をした場合に、誤って警報や制御をしてしまうことを防止することができる。なお、実施例３のこの他の構成及び作用効果については、実施例１と略同様であるため、説明を省略する。

【実施例4】

【0073】

まず、構成と作用を説明する。
図１４は、実施例４の信号機認識装置を説明する説明図である。なお、実施例１で説明した内容と同一乃至均等な部分の説明については、同一用語又は同一の符号を用いて説明する。

【0074】

実施例４の信号機認識装置は、信号機点灯状態判断部２７が色情報に基づいて判断する点で、実施例１の信号機認識装置と異なる。

【0075】

撮像装置２は、例えば、カラー画像を撮像するＣＣＤカメラとする。実施例１のステップＳ１，ステップＳ２の替わりに、実施例４では、ステップＳ１０１〜ステップＳ１０３の処理を実行する。また、実施例１のステップＳ８とステップＳ９との間に、実施例４ではステップＳ１１０の処理が実行される。

【0076】

ステップＳ１０１では、信号機認識部２０が、撮像装置２から画像入力部１１を介して入力された画像データから、カラー画像を取得する。

【0077】

ステップＳ１０２では、信号機認識部２０が、記憶部２１に記憶された撮像装置２の取付位置の情報や、撮像装置２のレンズの種類の情報等から、カラー画像に対してレンズ歪みの補正を実行する。

【0078】

ステップＳ１０３では、信号機認識部２０が、カラー画像から輝度情報のみの画像を生成する。

【0079】

ステップＳ１１０では、信号機認識部２０の信号機点灯状態判断部２７が、ステップＳ１０９で決定した信号機領域Ｅ２の点灯状態の情報に対して、決定した点灯状態に対応する色情報を有する画素の集合が存在するか否かを検証する。ここで、決定した点灯状態に対応する色情報を有する画素の集合が存在している場合、信号機点灯状態判断部２７が、ステップＳ１０９で決定した信号機領域Ｅ２の点灯状態を決定する。

【0080】

次に、実施例４の信号機認識装置における効果を説明する。

【0081】

実施例４の信号機認識装置では、信号機点灯状態判断部２７は、色情報に基づいて、信号機の点灯状態を判断する（図１４）。

【0082】

これにより、信号機の点灯状態の検出精度の信頼性を向上させることができる。

【0083】

以上、本開示の信号機認識装置を実施例１〜実施例４に基づき説明してきた。しかし、具体的な構成とフローチャートについては、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、各実施例の組み合わせ、設計の変更や追加等は許容される。

【0084】

実施例１〜実施例３では、撮像装置として、モノクロ画像を撮像するＣＣＤカメラとする例を説明した。しかし、撮像装置としては、撮像した画像から輝度画像を取得できるものであれば良く、カラー画像を撮像するものであっても良い。

【0085】

実施例１〜実施例４では、信号機の信号灯を、左側に高輝度領域がある場合を青信号とし、右側に高輝度領域がある場合を赤信号とし、その他の場合を黄信号とする例を示した。しかし、信号機の信号灯としては、異なる並びであっても良いし、異なる色であっても良い。

【0086】

実施例１〜実施例４では、本発明の信号機認識装置を横型の信号機を検出する信号機認識装置とする例を示した。しかし、本発明の信号機認識装置としては、縦型の信号機を検出する信号機認識装置とすることができる。

【符号の説明】

【0087】

１ 信号機認識装置
２２ 高輝度領域抽出部
２３ 円領域抽出部
２５ 低輝度領域抽出部
２６ 信号機領域抽出部
２７ 信号機点灯状態判断部
２８ 距離算出部
５０ 輝度画像（撮像画像の一例）
Ａ１，Ａ２，Ａ３，Ａ４，Ａ５ 高輝度領域
Ｂ２，Ｂ３，Ｂ４，Ｂ５ 円領域
Ｄ２，Ｄ５ 低輝度領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】