特許 7558069 信号機認識方法及び信号機認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-19

(45)【発行日】2024-09-30

(54)【発明の名称】信号機認識方法及び信号機認識装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240920BHJP

   G06T 1/00 20060101ALI20240920BHJP

【ＦＩ】

G06T7/00 650Z

G06T7/00 300F

G06T1/00 330Z

【請求項の数】 5

(21)【出願番号】P 2021003560

(22)【出願日】2021-01-13

(65)【公開番号】P2022108518

(43)【公開日】2022-07-26

【審査請求日】2023-11-07

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(73)【特許権者】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】西村 俊彦

(72)【発明者】

【氏名】松尾 治夫

【審査官】長谷川 素直

(56)【参考文献】

【文献】特開２０１５－０９７０１８（ＪＰ，Ａ）

【文献】特開２０１８－１２０６００（ＪＰ，Ａ）

【文献】特開２０１５－１２５７０９（ＪＰ，Ａ）

【文献】特開２０１４－３２４３５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ７／１８

Ｇ０８Ｇ １／００

(57)【特許請求の範囲】

【請求項1】

車両に搭載された撮像部を用いて、前記車両前方の画像を撮像し、
前記撮像部から入力される前記画像を処理するコントローラが、
前記画像において、前記車両前方に存在する信号機に対応する領域を信号機領域として設定し、
前記信号機領域において、輝度値が判定輝度値以上となる領域を灯火領域として抽出し、
前記灯火領域に、輝度値が飽和している飽和領域があるか否かを判定し、
前記灯火領域に前記飽和領域がないと判定した場合には、前記灯火領域の外縁形状に基づいて前記信号機の矢印信号を表す矢印の灯火を判定し、前記灯火領域に前記飽和領域があると判定した場合には、前記飽和領域の外縁形状に基づいて前記矢印の灯火を判定する
信号機認識方法。

【請求項2】

前記コントローラが、
前記灯火領域における前記灯火の色を判定し、
前記灯火領域の外縁形状又は前記飽和領域の外縁形状と、前記灯火の色とに基づいて、前記矢印の灯火を判定する
請求項１記載の信号機認識方法。

【請求項3】

前記コントローラが、
前記灯火領域に前記飽和領域がないと判定した場合には、前記灯火領域内の少なくとも１つの画素に基づいて前記灯火の色を判定し、前記灯火領域に前記飽和領域があると判定した場合には、前記灯火領域から前記飽和領域を除いた領域内にある少なくとも１つの画素に基づいて前記灯火の色を判定する
請求項２記載の信号機認識方法。

【請求項4】

前記コントローラが、
前記灯火領域の外縁形状又は前記飽和領域の外縁形状と、前記灯火の色とに基づいて、前記信号機の色信号を表す所定の色の灯火を判定する
請求項２又は３記載の信号機認識方法。

【請求項5】

車両に搭載されて、前記車両前方の画像を撮像する撮像部と、
前記撮像部から入力される画像を処理するコントローラと、を有し、
前記コントローラは、
前記画像において、前記車両前方に存在する信号機に対応する領域を信号機領域として設定し、
前記信号機領域において、輝度値が判定輝度値以上となる領域を灯火領域として抽出し、
前記灯火領域に、輝度値が飽和している飽和領域があるか否かを判定し、
前記灯火領域に前記飽和領域がないと判定した場合には、前記灯火領域の外縁形状に基づいて前記信号機の矢印信号を表す矢印の灯火を判定し、前記灯火領域に前記飽和領域があると判定した場合には、前記飽和領域の外縁形状に基づいて前記矢印の灯火を判定する
信号機認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、信号機認識方法及び信号機認識装置に関する。

【背景技術】

【0002】

特許文献１には、撮影画像から、信号機の色信号を表す所定の色の灯火を含む灯火領域を抽出し、灯火領域に対して色処理を行うことで灯火の色を識別する手法が開示されている。環境照度によっては、灯火領域内に輝度値が飽和する画素が存在する。そこで、特許文献１に開示された手法では、灯火領域から飽和画素を除いた領域に対して色処理を行うこととしている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－０５３６１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、特許文献１に開示された手法は、信号機の矢印信号を表す矢印の灯火と、矢印の灯火と同一色となる、信号機の色信号を表す所定の色の灯火とを区別することができない可能性がある。そのため、環境照度によっては、矢印の灯火を正確に判定することができないという問題がある。

【0005】

本発明は、かかる課題に鑑みてなされたものであり、その目的は、環境照度に関わらず、信号機の矢印の灯火を正確に判定することができる信号機認識方法及び信号機認識装置を提供することである。

【課題を解決するための手段】

【0006】

本発明の一態様に係る信号機認識方法は、車両前方を撮像した画像を処理するコントローラが、画像において信号機領域を設定し、信号機領域において灯火領域を抽出し、灯火領域に飽和領域があるか否かを判定する。コントローラは、灯火領域に飽和領域がないと判定した場合には、灯火領域の外縁形状に基づいて矢印の灯火を判定し、灯火領域に飽和領域があると判定した場合には、飽和領域の外縁形状に基づいて矢印の灯火を判定する。

【発明の効果】

【0007】

本発明によれば、環境照度の状態に関わらず、信号機の矢印の灯火を正確に判定することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、第１の実施形態に係る信号機認識装置の構成を示すブロック図である。

【図2】図２は、信号機の灯火を示す説明図である。

【図3】図３は、第１の実施形態に係る信号機認識方法の処理の流れを示すフローチャートである。

【図4】図４は、画像に設定される信号機領域の説明図である。

【図5】図５は、灯火領域の説明図である。

【図6A】図６Ａは、輝度値が飽和した領域がないときの矢印の灯火に対応する灯火領域を示す説明図である。

【図6B】図６Ｂは、輝度値が飽和した領域があるときの矢印の灯火に対応する灯火領域を示す説明図である。

【図7】図７は、第２の実施形態に係る信号機認識装置の構成を示すブロック図である。

【図8】図８は、第２の実施形態に係る信号機認識方法の処理の流れを示すフローチャートである。

【図9】図９は、ステップＳ３３における灯火色の判定処理を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

【0010】

（第１の実施形態）
図１を参照して、本実施形態に係る信号機認識装置の構成を説明する。信号機認識装置は、撮像部１０と、コントローラ３０とを備えている。コントローラ３０は、有線通信又は無線通信により、撮像部１０と接続されている。また、コントローラ３０は、有線通信又は無線通信により、運転支援装置５０に接続されている。

【0011】

撮像部１０、コントローラ３０及び運転支援装置５０は、図示しない車両に搭載されている。しかしながら、コントローラ３０は、車両の外部に設置されるものであってもよい。

【0012】

撮像部１０は、車両の進行方向、例えば車両前方の画像を撮像する。撮像部１０はＣＣＤ、ＣＭＯＳ等の固体撮像素子を備えたデジタルカメラであり、車両の周囲を撮像して周辺領域の画像データを取得する。撮像部１０は、焦点距離、レンズの画角、カメラの垂直方向及び水平方向の角度などが設定されることにより、車両前方の所定の範囲を撮像する。

【0013】

撮像部１０によって撮像された画像は、コントローラ３０に入力され、図示しない記憶部に記憶される。撮像部１０は所定の周期で画像を撮像しており、コントローラ３０に画像が順次入力される。

【0014】

コントローラ３０は、撮像部１０から入力される画像を処理する。コントローラ３０は、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備える汎用のマイクロコンピュータであり、制御装置または処理装置の一例である。コントローラ３０には、コントローラ３０を信号機認識装置の一部として機能させるためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、コントローラ３０は、信号機認識装置が備える複数の情報処理回路として機能する。

【0015】

このコントローラ３０は、複数の情報処理回路として、信号機領域設定部３１、灯火領域抽出部３２、飽和領域判定部３３、灯火形状判定部３４、及び出力部３５を備えている。

【0016】

信号機領域設定部３１は、画像に、信号機領域、すなわち車両前方に存在する信号機に対応する領域を設定する。灯火領域抽出部３２は、信号機領域において、輝度値が判定輝度値以上となる領域を灯火領域として抽出する。飽和領域判定部３３は、灯火領域に、輝度値が飽和している飽和領域があるか否かを判定する。

【0017】

飽和領域判定部３３が灯火領域に飽和領域がないと判定した場合、灯火形状判定部３４は、灯火領域の外縁形状に基づいて、少なくとも信号機の矢印灯器の灯火を判定する。一方、飽和領域判定部３３が灯火領域に飽和領域があると判定した場合、灯火形状判定部３４は、飽和領域の外縁形状に基づいて、少なくとも信号機の矢印灯器の灯火を判定する。出力部３５は、灯火形状判定部３４の判定結果を出力する。出力部３５は、例えば運転支援装置５０に、判定結果を出力する。

【0018】

運転支援装置５０は、コントローラ３０によって得られた信号機の認識結果に基づいて、図示しない車両の走行を支援する運転支援を行う。運転支援は、例えば、所定の走行経路に従って自動運転によって車両を走行させるものであってもよいし、車両の乗員の運転操作を支援するものであってもよい。また、運転支援は、ヒューマンインターフェース（表示装置及びスピーカ）を制御して、信号機の認識結果を車両の乗員に通知するものであってもよい。

【0019】

なお、運転支援装置５０は、コントローラ３０から独立したハードウェアで構成する必要はない。コントローラ３０が備える複数の情報処理回路の一つとして、運転支援装置５０が実行する機能を実現してもよい。

【0020】

図２を参照し、信号機について説明する。図２に示す信号機１００は、三灯式の信号機本体１１０と、矢印式の信号機本体１２０とを備えている。

【0021】

三灯式の信号機本体１１０は、３色の色信号、例えば、青信号、黄信号及び赤信号を表す色の灯火を行う装置である。三灯式の信号機本体１１０は、青色灯器１１１、黄色灯器１１２、及び赤色灯器１１３を備えている。３つの色灯器１１１、１１２、１１３は横方向に沿って並んでいる。青色灯器１１１は左端に位置し、黄色灯器１１２は中央に位置し、赤色灯器１１３は右端に位置している。

【0022】

青色灯器１１１は、内部に光源が収められて、青色の灯火を行う灯器である。青色灯器１１１によって行われる灯火形状は、丸形状である。青色灯器１１１の灯火により、青信号が表される。

【0023】

青色灯器１１１と同様、黄色灯器１１２及び赤色灯器１１３は、内部に光源が収められて、黄色及び赤色の灯火を行う灯器である。黄色灯器１１２及び赤色灯器１１３によって行われる灯火形状は、丸形状である。黄色灯器１１２及び赤色灯器１１３による灯火により、黄信号及び赤信号が表される。

【0024】

三灯式の信号機本体１１０の灯火（点灯している灯火）が表す意味は、車両が従うべき交通法規等によって定まる。例えば、青色の灯火（青信号）は「進んでも良い」の意味を表し、赤色の灯火（赤信号）は、「停止位置で止まれ」の意味を表す。黄色の灯火（黄信号）は、「停止位置に近接しているため安全に停止することができない場合を除き、停止位置で止まれ」の意味を表す。

【0025】

三灯式の信号機本体１１０は、青色灯器１１１、黄色灯器１１２、及び赤色灯器１１３が横方向に沿って左から右に並ぶ構成に限らず、青色灯器１１１、黄色灯器１１２、及び赤色灯器１１３が縦方向に沿って下から上に並ぶ構成であってもよい。また、青色灯器１１１、黄色灯器１１２、及び赤色灯器１１３の灯火形状は、丸形状であるが、これに限らない。青色灯器１１１、黄色灯器１１２、及び赤色灯器１１３の灯火形状は、四角形状などの多角形状であってもよい。

【0026】

また、「青色」の灯火とは、三灯式の信号機本体１１０が行う３色の灯火のうち、黄色及び赤色を除いた色をいう。すなわち、「青色」の灯火は、現実の色度として青色である必要はなく、緑色に相当する色度であってもよい。

【0027】

矢印式の信号機本体１２０は、所定向きの矢印信号、例えば、左向きの矢印信号、上向きの矢印信号、及び右向きの矢印信号を表す灯火を行う装置である。矢印式の信号機本体１２０は、左矢印灯器１２１、上矢印灯器１２２、右矢印灯器１２３を備えている。３つの矢印灯器１２１、１２２、１２３は横方向に沿って並んでいる。左矢印灯器１２１は左端に位置し、上矢印灯器１２２は中央に位置し、右矢印灯器１２３は右端に位置している。

【0028】

左矢印灯器１２１は、内部に光源が収められて、左向きの矢印の灯火を行う灯器である。左矢印灯器１２１の灯火により、左向きの矢印信号が表される。

【0029】

左矢印灯器１２１と同様、上矢印灯器１２２及び右矢印灯器１２３は、内部に光源が収められて、上向きの矢印及び右向きの矢印の灯火を行う灯器である。上矢印灯器１２２及び右矢印灯器１２３の灯火により、上向きの矢印信号及び右向きの矢印信号が表される。

【0030】

矢印式の信号機本体１２０の灯火が表す意味は、車両が従うべき交通法規等によって定まる。例えば、左向きの矢印の灯火（左向きの矢印信号）は、「赤信号に係わらず、左方向に進行できる」の意味を表し、上向きの矢印の灯火（上向きの矢印信号）は、「赤信号に係わらず、直進方向に進行できる」の意味を表す。右向きの矢印の灯火（右向きの矢印信号）は、「赤信号に係わらず、右方向に進行できる」の意味を表す。

【0031】

なお、矢印式の信号機本体１２０は、３つの矢印灯器１２１、１２２、１２３を全て備える必要はない。矢印式の信号機本体１２０は、信号機１００が交通に与える通行権に応じて、少なくとも１つの矢印灯器１２１、１２２、１２３を備えていればよい。

【0032】

図３乃至６Ｂを参照し、信号機認識装置によって実行される一連の処理、すなわち、信号機認識方法の処理の流れを説明する。図３に示すフローチャートは、撮像部１０によって画像が撮像されるタイミングに対応して呼び出され、コントローラ３０によって実行される。

【0033】

まず、信号機領域設定部３１は、撮像部１０から入力された画像を取得すると（ステップＳ１０）、この画像上に信号機領域を設定する（ステップＳ１１）。

【0034】

図４を参照し、信号機領域の設定方法を説明する。信号機領域設定部３１は、例えばテンプレートマッチングにより、画像２００上の信号機１００を検出する。テンプレートマッチングでは、信号機領域設定部３１は、標準の信号機外形の画像をテンプレートとして保持している。信号機領域設定部３１は、テンプレートを１画素ずつずらしながら画像２００全体を走査し、例えば輝度の分布の相関を計算する。信号機領域設定部３１は、画像の中で、相関が最も高い値となったテンプレートの位置に信号機１００があると判断する。そして、信号機領域設定部３１は、画像２００内で検出した信号機１００の位置を基準に、信号機１００を含む領域を信号機領域２１０として設定する。

【0035】

信号機領域設定部３１は、車両の位置及び車両の周囲の地図を含む地図情報を参照し、或いは、車両周囲の物体を検出する物体検出センサの検出結果を参照してもよい。この場合、信号機領域設定部３１は、車両と信号機までの距離に応じて、参照するテンプレートの大きさを使い分けることで、画像内の信号機を早期に検出することができる。

【0036】

信号機の検出方法は、テンプレートマッチングに限定されない。信号機の検出は、ＡｄａＢｏｏｓｔ、ＳＶＭ（Support Vector Machine）のような機械学習に基づく処理を行う画像処理手段が、画像特徴量に基づいて行ってもよい。画像特徴量としては、画像中の複数領域間の輝度変化の総和を示すＨａａｒ－ｌｉｋｅ特徴量、強度テクスチャを抽出できるＬＢＰ（Local Binary Pattern）特徴量、画像勾配の強度を方向別ヒストグラムとして表現したＨＯＧ（Histogram of Gradient)などを用いることができる。あるいは、信号機の位置情報を含んだ予め記憶している地図上における車両の位置、車両に対する撮像部１０の撮像方向、車両姿勢から画像上における信号機の位置を特定する事も可能であり、テンプレートマッチングを用いなくとも信号機領域２１０を設定することが可能である。

【0037】

図３において、灯火領域抽出部３２は、信号機領域において、輝度値が判定輝度値以上となる領域を灯火領域（灯火が点灯している領域）として抽出する（ステップＳ１２）。判定輝度値は、画像２００において信号機１００の灯火と、それよりも低い輝度値となる物体とを区別することができる輝度値の境界値であり、実験又はシミュレーションを通じて予め設定されている。

【0038】

例えば図４に示すように、信号機１００の灯火状態が、赤色灯器１１３の赤色の灯火、左矢印灯器１２１の左向きの矢印の灯火、及び上矢印灯器１２２の上向きの矢印の灯火であるとする。灯火領域抽出部３２は、図５に示すように、それぞれの灯火に対応する領域を灯火領域１１３ａ、１２１ａ、１２２ａとして抽出する。

【0039】

矢印の灯火の場合、直線形状の第１灯火領域と、屈曲形状の第２灯火領域といったように、１つの矢印の灯火であっても個別の灯火領域として抽出されることがある。そこで、灯火領域抽出部３２は、第１灯火領域及び第２灯火領域の位置関係及び相互の向きを評価し、矢印の灯火となる条件を満たした場合に、第１及び第２灯火領域を一つの灯火領域として統合すること好ましい。これにより、矢印の灯火に対応する灯火領域を適切に判定することができる。

【0040】

つぎに、図６Ａ及び図６Ｂを参照し、上矢印灯器１２２の上向きの矢印の灯火を例に、照度環境による灯火領域の違いを説明する。日中のように環境照度が高い場合、灯火領域抽出部３２によって抽出される灯火領域１２２ａは、図６Ａに示すように、上矢印灯器１２２の灯火形状と対応する。

【0041】

一方、薄暮のように環境照度が日中に比べて低下した場合には、画像２００の中で、上矢印灯器１２２の矢印の灯火に対応する輝度値が画像全体の輝度値と比べて相対的に高くなる。そのため、図６Ｂに示すように、矢印の灯火及びその近傍では輝度値が飽和している飽和領域１２２ｂとなり、その周囲に矢印の灯火に対応する色（青色）がぼんやりと現れる。このため、灯火領域抽出部３２は、矢印の灯火及びその周囲を含む領域を灯火領域１２２ａとして抽出する。この灯火領域１２２ａの形状は、略丸形状と類似し、色灯器１１１、１１２、１１３の灯火と区別が困難となる。特に、環境照度が低い状態で画像中の周囲物体を判別するために露光を高くした場合には輝度値が飽和し易くなり、矢印の灯火と色灯器１１１、１１２、１１３の灯火との区別が困難となり易い。

【0042】

図３において、飽和領域判定部３３は、灯火領域に、輝度値が飽和している飽和領域があるか否かを判定する（ステップＳ１３）。この判定を行う場合、飽和領域判定部３３は、灯火領域における飽和領域の面積比を算出し、この面積比が判定値以上である場合、すなわち、灯火領域の中に一定の割合以上の飽和領域が存在する場合に限り、飽和領域があると判定してもよい。

【0043】

灯火領域に飽和領域がないと判定されると（ステップＳ１３でＮＯ）、灯火形状判定部３４は、灯火領域の外縁を抽出し（ステップＳ１４）、灯火領域の外縁形状を判定する（ステップＳ１５）。

【0044】

例えば図６Ａに示すように、灯火領域１２２ａに飽和領域がない場合、灯火領域１２２ａの形状は、上矢印灯器１２２の灯火形状と対応する。よって、灯火形状判定部３４は、灯火領域１２２ａの外縁形状から、上向きの矢印という形状を判定することができる。すなわち、灯火形状判定部３４は、灯火領域１２２ａの外縁形状に基づいて、上矢印灯器１２２の灯火を判定することできる。

【0045】

図３において、灯火領域に飽和領域があると判定されると（ステップＳ１３でＹＥＳ）、灯火形状判定部３４は、飽和領域及びその外縁を抽出し（ステップＳ１６、Ｓ１７）、飽和領域の外縁形状を判定する（ステップＳ１８）。

【0046】

例えば図６Ｂに示すように、灯火領域１２２ａに飽和領域がある場合、灯火領域１２２ａは矢印の灯火とその周囲を含む。そのため、灯火領域１２２ａの形状は、上矢印灯器１２２の灯火形状と対応しない。一方、飽和領域１２２ｂの形状は、上矢印灯器１２２の灯火の影響が強く反映されるので、上矢印灯器１２２の灯火形状とする。よって、灯火形状判定部３４は、飽和領域１２２ｂの外縁形状から、上向きの矢印という形状を判定することができる。すなわち、灯火形状判定部３４は、飽和領域１２２ｂの外縁形状に基づいて、上矢印灯器１２２の灯火を判定することできる。

【0047】

図５に示すように、複数の灯火領域１１３ａ、１２１ａ、１２２ａが存在する場合、飽和領域判定部３３及び灯火形状判定部３４は、灯火領域毎に、飽和領域の有無、及び、灯火領域の外縁形状又は飽和領域の外縁形状に基づく形状判定を行う。これにより、上述した上向きの矢印の他、左向きの矢印、及び丸という形状を判定することができる。その結果、灯火形状判定部３４は、灯火領域の外縁形状又は飽和領域の外縁形状の外縁形状に基づいて、左矢印灯器１２１の灯火、及び三灯式の信号機本体１１０のいずれかの色灯器１１１、１１２、１１３の灯火を判定することできる。

【0048】

図３において、出力部３５は、灯火形状判定部３４の判定結果、すなわち、灯火の形状を、例えば運転支援装置５０に出力する（ステップＳ１９）。

【0049】

このように本実施形態の信号機認識方法では、コントローラ３０が、灯火領域に飽和領域がないと判定した場合には、灯火領域の外縁形状に基づいて信号機の矢印信号を表す矢印の灯火を判定し、灯火領域に飽和領域があると判定した場合には、飽和領域の外縁形状に基づいて矢印の灯火を判定している。

【0050】

この方法によれば、飽和領域の有無に応じて、矢印の灯火を判定する基準を切り替ることができる。これにより、三灯式の信号機本体１１０の灯火と、矢印式の信号機本体１２０の灯火とを適切に区別することができるので、環境照度に関わらず、矢印の灯火を正確に判定することができる。

【0051】

（第２の実施形態）
第２の実施形態に係る信号機認識装置及び信号機認識方法について説明する。以下、第１の実施形態と重複する内容についての説明は省略し、相違点を中心に第２の実施形態を説明する。

【0052】

図７に示すように、コントローラ３０は、信号機領域設定部３１、灯火領域抽出部３２、飽和領域判定部３３、灯火形状判定部３４、及び出力部３５に加え、灯火色判定部３６を備えている。灯火色判定部３６は、灯火領域毎に、灯火色（点灯している灯火の色）、すなわち何色の灯火であるのかを判定する。

【0053】

図８及び９を参照し、信号機認識装置によって実行される一連の処理、すなわち、信号機認識方法の処理の流れを説明する。図８に示すフローチャートは、撮像部１０によって画像が撮像されるタイミングに対応して呼び出され、コントローラ３０によって実行される。

【0054】

まず、信号機領域設定部３１は、撮像部１０によって撮像された画像を取得し（ステップＳ３０）、この画像上に信号機領域を設定する（ステップＳ３１）。そして、灯火領域抽出部３２は、信号機領域の中から灯火領域を抽出する（ステップＳ３２）。

【0055】

つぎに、飽和領域判定部３３及び灯火色判定部３６は、灯火色、すなわち灯火領域の灯火の色を判定する（ステップＳ３３）。図９を参照し、灯火色を判定する処理の詳細を説明する。

【0056】

まず、飽和領域判定部３３は、灯火領域に飽和領域があるか否か、すなわち、輝度値が飽和しているか否かを判定する（ステップＳ５１）。

【0057】

輝度値が飽和していないと判定されると（ステップＳ５１でＮＯ）、灯火色判定部３６は、灯火領域内の画素に基づいて灯火色を判定する（ステップＳ５２）。

【0058】

灯火色判定部３６は、灯火領域内に存在する複数の画素のうち、少なくとも一つの画素を用いて灯火色を判定すればよい。ただし、灯火色判定部３６は、灯火領域内に存在する複数の画素を統計的に処理し、灯火色を判定することが好ましい。例えば、灯火色判定部３６は、灯火領域内に存在する複数の画素の各色度に基づいて、青色、黄色及び赤色のうち、最も高い頻度で現れる色度を灯火色と判定するといった如くである。

【0059】

画像の各画素がＲＧＢ値で表現される場合、灯火色判定部３６は、画素毎に、ＲＧＢ値をＲＧＢ空間からＨＳＶ空間に変換して、色相を得る。これにより、各画素の色度は、例えば０度（赤色）から１８０度（青色）を経由して３６０度（赤色）に至る色相で表される。灯火色判定部３６は、青色灯器１１１の灯火を表す色相を中心とした所定の色相範囲、すなわち青色に相当する色相範囲、黄色灯器１１２の灯火を表す色相を中心とした所定の色相範囲、すなわち黄色に相当する色相範囲、及び赤色灯器１１３の灯火を表す色相を中心とした所定の色相範囲、すなわち、赤色に相当する色相範囲を保有している。灯火色判定部３６は、画素毎に色相を評価し、対象の画素の色相がいずれかの色相範囲に含まれれば、対象の画素を該当する色相範囲に相当する色であると判定する。

【0060】

この判定により、抽出された灯火領域には、青色、黄色、赤色のいずれかの色が判定される。判定された色情報は、灯火領域に対して関連付けられる。

【0061】

一方、輝度値が飽和していると判定されると（ステップＳ５１でＮＯ）、飽和領域判定部３３は、灯火領域から飽和領域を抽出し（ステップＳ５３）、灯火領域から飽和領域を除いた領域を差分領域として抽出する（ステップＳ５４）。

【0062】

そして、灯火色判定部３６は、差分領域内の画素に基づいて灯火色を判定する（ステップＳ５５）。差分領域内の画素に基づく灯火色の判定は、ステップＳ５２における灯火領域内の画素に基づく灯火色の判定と同じである。

【0063】

図８において、灯火色判定部３６が灯火色を黄色又は赤色と判定した場合（ステップＳ３４においてＹＥＳ）、灯火形状判定部３４は、黄色灯器１１２又は赤色灯器１１３の灯火形状、すなわち、丸という形状を判定する（ステップＳ３５）。すなわち、灯火形状判定部３４は、灯火色が黄色又は赤色という情報から、黄色灯器１１２の灯火又は赤色灯器１１３の灯火を判定することできる（ステップＳ３５）。

【0064】

一方、灯火色判定部３６が灯火色を緑色と判定した場合（ステップＳ３４でＮＯ）、飽和領域判定部３３は、灯火領域に飽和領域があるか否かを判定する（ステップＳ３６）。

【0065】

飽和領域判定部３３が灯火領域に飽和領域がないと判定すると（ステップＳ３６でＮＯ）、灯火形状判定部３４は、灯火領域の外縁を抽出して、灯火領域の外縁形状を判定する（ステップＳ３７）。一方、飽和領域判定部３３が灯火領域に飽和領域があると判定すると（ステップＳ３６でＹＥＳ）、灯火形状判定部３４は、飽和領域の外縁を抽出して、飽和領域の外縁形状を判定する（ステップＳ３８）。ステップＳ３７及びステップＳ３８の処理は、第１の実施形態におけるステップＳ１４、Ｓ１５及びステップＳ１７、Ｓ１８と同じである。

【0066】

出力部３５は、灯火形状判定部３４の判定結果、すなわち、灯火の形状を、例えば運転支援装置５０に出力する（ステップＳ３９）。

【0067】

このように本実施形態の信号機認識方法では、コントローラ３０が、灯火領域における灯火の色を判定し、灯火領域の外縁形状又は飽和領域の外縁形状と、灯火色とに基づいて、矢印の灯火を判定している。

【0068】

この方法によれば、形状のみならず、灯火色を考慮することで、三灯式の信号機本体１１０の灯火と、矢印式の信号機本体１２０の灯火とを適切に区別することができる。これにより、環境照度に関わらず、矢印の灯火を正確に判定することができる。また、灯火色を考慮することで、赤色の灯火又は黄色の灯火と判定された場合には、形状判定を行うことなく、三灯式の信号機本体１１０の灯火を判定することできる。

【0069】

本実施形態の信号機認識方法では、コントローラ３０が、灯火領域に飽和領域がないと判定した場合には、灯火領域内の少なくとも１つの画素に基づいて灯火色を判定している。また、コントローラが、灯火領域に飽和領域があると判定した場合には、灯火領域から飽和領域を除いた領域内にある画素に基づいて灯火色を判定している。

【0070】

この方法によれば、飽和領域の有無に応じて、灯火色を判定する領域を切り替えることができる。これにより、灯火色を正確に判定することができる。

【0071】

また、本実施形態の信号機認識方法では、コントローラ３０が、灯火領域の外縁形状又は前記飽和領域の外縁形状と、灯火色とに基づいて、信号機の色信号を表す所定の色の灯火を判定してもよい。

【0072】

この構成によれば、矢印の灯火のみならず、信号機の色信号を表す所定の色の灯火を正確に判定することができる。

【0073】

（変形例）
上述した第２の実施形態では、出力部３５は、灯火形状判定部３４によって判定された灯火の形状を出力している。しかしながら、第２の実施形態では、灯火色判定部３６によって灯火色を判定している。したがって、出力部３５は、灯火形状判定部３４によって判定された灯火の形状のみならず、灯火色判定部３６によって判定された灯火色を一緒に出力してもよい。これにより、出力部３５から出力された情報から、三灯式の信号機本体１１０のいずれの色灯器１１１、１１２、１１３の灯火であるのか、矢印式の信号機本体１２０のいずれの矢印灯器１２１、１２２、１２３の灯火であるのかを適切に区別することができる。したがって、信号機１００の現示を正確に認識することができる。

【0074】

以上、第１又は第２の実施形態を用いて信号機認識方法及び信号機認識装置を説明した。各実施形態に係る信号機認識装置は、それぞれの実施形態で説明した信号機認識方法を実行するものであり、信号機認識方法と同様の作用、効果を奏する。

【0075】

上述した第１又は第２の実施形態では、信号機認識装置が、運転支援装置５０を備えている。しかしながら、信号機認識装置は、撮像部１０及びコントローラ３０だけで構成されてもよい。

【0076】

また、第１又は第２の第実施形態では、ソフトウェアによってコントローラ３０が備える複数の情報処理回路を実現する例を示したが、もちろん、各情報処理回路の機能を実現するための専用のハードウェアを用意して、情報処理回路を構成することも可能である。また、複数の情報処理回路を個別のハードウェアにより構成してもよい。

【0077】

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

【符号の説明】

【0078】

１０ 撮像部
３０ コントローラ
３１ 信号機領域設定部
３２ 灯火領域抽出部
３３ 飽和領域判定部
３４ 灯火形状判定部
３５ 出力部
３６ 灯火色判定部
５０ 運転支援装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】