特許 7535459 信号機認識方法及び信号機認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-07

(45)【発行日】2024-08-16

(54)【発明の名称】信号機認識方法及び信号機認識装置

(51)【国際特許分類】

   G08G 1/09 20060101AFI20240808BHJP

   G06T 7/00 20170101ALI20240808BHJP

   G06T 7/90 20170101ALI20240808BHJP

   G08G 1/095 20060101ALI20240808BHJP

【ＦＩ】

G08G1/09 D

G06T7/00 650A

G06T7/90 C

G08G1/095

【請求項の数】 6

(21)【出願番号】P 2021003866

(22)【出願日】2021-01-14

(65)【公開番号】P2022108760

(43)【公開日】2022-07-27

【審査請求日】2023-11-07

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(73)【特許権者】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】西村 俊彦

【審査官】白石 剛史

(56)【参考文献】

【文献】特開２０１５－９７０１８（ＪＰ，Ａ）

【文献】特開２０２１－２２７５（ＪＰ，Ａ）

【文献】特開２００９－４３０６８（ＪＰ，Ａ）

【文献】特開２０１２－９８９６７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０２９９８９３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／０９

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／９０

Ｇ０８Ｇ １／０９５

(57)【特許請求の範囲】

【請求項1】

車両に搭載された撮像部を用いて、前記車両前方の画像を撮像し、
前記撮像部から入力される前記画像を処理するコントローラが、
前記画像に基づいて、前記画像内に存在する信号機の矢印の灯火の向き、及び前記画像内における前記矢印の灯火の位置を検出し、
前記矢印の灯火の向き及び位置に基づいて、前記信号機の赤色の灯火が存在すべき参照領域を、前記画像に設定し、
前記参照領域に前記赤色の灯火が存在するか否かを判定し、
前記参照領域に前記赤色の灯火が存在すると判定した場合に、検出された前記矢印の灯火の向きを、前記車両前方の信号機の現示として認識する
信号機認識方法。

【請求項2】

前記コントローラが、
前記画像における前記矢印の灯火の大きさに基づいて、前記画像に設定する前記参照領域の大きさを設定する
請求項１記載の信号機認識方法。

【請求項3】

前記コントローラが、
検出された前記矢印の灯火の向きが上向きである場合、前記参照領域を設定することなく、検出された前記矢印の灯火の向きを、前記車両前方の信号機の現示として認識し、
検出された前記矢印の灯火の向きが右向き又は左向きである場合には、前記参照領域に前記赤色の灯火が存在するか否かを判定した上で、前記車両前方の信号機の現示として認識する
請求項１又は２記載の信号機認識方法。

【請求項4】

前記コントローラが、
前記参照領域に、前記赤色の灯火に対応する色度を有する複数の画素が存在すると判定した場合に、前記参照領域に前記赤色の灯火が存在すると判定する
請求項１から３いずれか一項記載の信号機認識方法。

【請求項5】

前記コントローラが、
前記複数の画素の集合である集合画素の形状を判定し、
前記集合画素の形状と、前記信号機における前記赤色の灯火の形状との類似度が所定の判定値以上である場合に、検出された前記矢印の灯火の向きを、前記車両前方の信号機の現示として認識する
請求項４記載の信号機認識方法。

【請求項6】

車両に搭載されて、前記車両前方の画像を撮像する撮像部と、
前記撮像部から入力される前記画像を処理するコントローラと、を有し、
前記コントローラは、
前記画像に基づいて、前記画像内に存在する信号機の矢印の灯火の向き、及び前記画像内における前記矢印の灯火の位置を検出し、
前記矢印の灯火の向き及び位置に基づいて、前記信号機の赤色の灯火が存在すべき参照領域を、前記画像に設定し、
前記参照領域に前記赤色の灯火が存在するか否かを判定し、
前記参照領域に前記赤色の灯火が存在すると判定した場合に、検出された前記矢印の灯火の向きを、前記車両前方の信号機の現示として認識する
信号機認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、信号機認識方法及び信号機認識装置に関する。

【背景技術】

【0002】

特許文献１には、信号機の矢印の灯火の方向を認識する運転支援装置が開示されている。この運転支援装置は、車両の前方を撮影した画像に基づいて、矢印の灯火の向きである第１の方向と自車両が進もうとしている第２の方向とを対比する。運転支援装置は、第１の方向と第２の方向とが一致していないと判定した場合に、自車両の運転者に対して所定の運転支援を実施する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１６０００号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、実際の交通環境において車両の前方を撮像した画像には、車両の前方に存在している信号機の実像の他、建物の窓ガラス又は大型トラックの車体側面などの反射面に反射した信号機の鏡像が含まれることがある。このため、信号機の矢印の灯火が反射面に反射した鏡像であるのか実像であるのかを判別して、信号機の矢印の灯火を精度よく認識する必要があった。

【0005】

本発明は、かかる課題に鑑みてなされたものであり、その目的は、信号機の矢印の灯火を精度よく認識することができる信号機認識方法及び信号機認識装置を提供することである。

【課題を解決するための手段】

【0006】

本発明の一態様に係る信号機認識方法は、車両前方の画像を処理するコントローラが、画像内に存在する信号機の矢印の灯火の向き及び画像内における矢印の灯火の位置を検出し、矢印の灯火の向き及び位置に基づいて信号機の赤色の灯火が存在すべき参照領域を画像に設定し、参照領域に赤色の灯火が存在するか否かを判定し、参照領域に赤色の灯火が存在すると判定した場合に、検出された矢印の灯火の向きを車両前方の信号機の現示として認識する。

【発明の効果】

【0007】

本発明によれば、信号機の矢印の灯火を精度よく認識することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る信号機認識装置の構成を示すブロック図である。

【図2A】図２Ａは、横型の信号機を示す説明図である。

【図2B】図２Ｂは、縦型の信号機を示す説明図である。

【図3】図３は、実施形態に係る信号機認識方法の処理の流れを示すフローチャートである。

【図4】図４は、実施形態に係る信号機認識方法の処理の流れを示すフローチャートである。

【図5A】図５Ａは、左向きの矢印の灯火を基準に参照領域を設定する処理を説明する説明図である。

【図5B】図５Ｂは、右向きの矢印の灯火を基準に参照領域を設定する処理を説明する説明図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

【0010】

図１を参照して、本実施形態に係る信号機認識装置の構成を説明する。信号機認識装置は、撮像部１０と、コントローラ３０とを備えている。コントローラ３０は、有線通信又は無線通信により、撮像部１０と接続されている。また、コントローラ３０は、有線通信又は無線通信により、運転支援装置５０に接続されている。

【0011】

撮像部１０、コントローラ３０及び運転支援装置５０は、図示しない車両に搭載されている。コントローラ３０は、車両の外部に設置されるものであってもよい。

【0012】

撮像部１０は、車両の進行方向、例えば車両前方の画像を撮像する。撮像部１０はＣＣＤ、ＣＭＯＳ等の固体撮像素子を備えたデジタルカメラであり、車両の周囲を撮像して周辺領域の画像データを取得する。撮像部１０は、焦点距離、レンズの画角、カメラの垂直方向及び水平方向の角度などが設定されることにより、車両前方の所定の範囲を撮像する。

【0013】

撮像部１０によって撮像された画像は、コントローラ３０に入力され、図示しない記憶部に記憶される。撮像部１０は所定の周期で画像を撮像しており、コントローラ３０に画像が順次入力される。

【0014】

コントローラ３０は、撮像部１０から入力される画像を処理する。コントローラ３０は、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備える汎用のマイクロコンピュータであり、制御装置または処理装置の一例である。コントローラ３０には、コントローラ３０を信号機認識装置の一部として機能させるためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、コントローラ３０は、信号機認識装置が備える複数の情報処理回路として機能する。

【0015】

コントローラ３０は、複数の情報処理回路として、矢印灯火検出部３１、走行経路取得部３２、参照領域設定部３３、形状判定部３４、及び矢印灯火認識部３５を備えている。

【0016】

矢印灯火検出部３１は、画像内に存在する信号機の矢印の灯火を検出し、その矢印の灯火の向き及び画像内における矢印の灯火の位置を検出する。走行経路取得部３２は、車両の走行経路を取得する。

【0017】

信号機の矢印の灯火は、赤色の灯火とともに発せられる。参照領域設定部３３は、矢印の灯火の向き及び位置に基づいて、信号機の赤色の灯火が存在すべき参照領域を画像に設定する。そして、参照領域設定部３３は、参照領域に赤色の灯火が存在するか否か、すなわち、参照領域に赤色に対応する画素が存在するか否かを判定する。

【0018】

形状判定部３４は、参照領域に赤色の灯火が存在すると判定した場合、参照領域における赤色の灯火の形状が、信号機における赤色の灯火の形状と類似するか否を判定する。

【0019】

矢印灯火認識部３５は、参照領域に赤色の灯火が存在し、かつ、参照領域における赤色の灯火の形状が信号機の灯火形状と類似する場合に、矢印灯火検出部３１が検出した矢印の灯火の向きを、車両前方の信号機の現示として認識する。そして、矢印灯火認識部３５は、矢印灯火認識部３５によって認識された矢印の灯火の向きを、運転支援装置５０に出力する。

【0020】

運転支援装置５０は、コントローラ３０によって得られた信号機の認識結果に基づいて、図示しない車両の走行を支援する運転支援を行う。運転支援は、例えば、所定の走行経路に従って自動運転によって車両を走行させるものであってもよいし、車両の乗員の運転操作を支援するものであってもよい。また、運転支援は、ヒューマンインターフェース（表示装置及びスピーカ）を制御して、信号機の認識結果を車両の乗員に通知するものであってもよい。

【0021】

運転支援装置５０は、コントローラ３０から独立したハードウェアで構成する必要はない。コントローラ３０が備える複数の情報処理回路の一つとして、運転支援装置５０が実行する機能を実現してもよい。

【0022】

図２Ａを参照し、信号機について説明する。図２Ａに示す信号機１００は、いわゆる横型の信号機であり、三灯式の信号機本体１１０と、矢印式の信号機本体１２０とを備えている。

【0023】

三灯式の信号機本体１１０は、３色の色信号、例えば、青信号、黄信号及び赤信号を表す色の灯火を行う装置である。三灯式の信号機本体１１０は、青色灯器１１１、黄色灯器１１２、及び赤色灯器１１３を備えている。３つの色灯器１１１、１１２、１１３は横方向に沿って並んでいる。青色灯器１１１は左端に位置し、黄色灯器１１２は中央に位置し、赤色灯器１１３は右端に位置している。各色灯器１１１、１１２、１１３の並びは、交通法規等によって予め定められている。

【0024】

青色灯器１１１は、内部に光源が収められて、青色の灯火を行う灯器である。青色灯器１１１によって行われる灯火形状は、丸形状である。青色灯器１１１の灯火により、青信号が表される。

【0025】

青色灯器１１１と同様、黄色灯器１１２及び赤色灯器１１３は、内部に光源が収められて、黄色及び赤色の灯火を行う灯器である。黄色灯器１１２及び赤色灯器１１３によって行われる灯火形状は、丸形状である。黄色灯器１１２及び赤色灯器１１３による灯火により、黄信号及び赤信号が表される。

【0026】

三灯式の信号機本体１１０の灯火が表す意味は、車両が従うべき交通法規等によって定まる。例えば、青色の灯火（青信号）は「進んでも良い」の意味を表し、赤色の灯火（赤信号）は、「停止位置で止まれ」の意味を表す。黄色の灯火（黄信号）は、「停止位置に近接しているため安全に停止することができない場合を除き、停止位置で止まれ」の意味を表す。

【0027】

「青色」の灯火とは、三灯式の信号機本体１１０が行う３色の灯火のうち、黄色及び赤色を除いた色を示すものである。すなわち、「青色」の灯火は、現実の色度として青色である必要はなく、緑色に相当する色度であってもよい。

【0028】

矢印式の信号機本体１２０は、所定向きの矢印信号、例えば左向きの矢印信号、上向きの矢印信号及び右向きの矢印信号を表す灯火を行う装置である。矢印式の信号機本体１２０は、三灯式の信号機本体１１０の下側に配置されている。

【0029】

矢印式の信号機本体１２０は、左矢印灯器１２１、上矢印灯器１２２、右矢印灯器１２３を備えている。３つの矢印灯器１２１、１２２、１２３は横方向に沿って並んでいる。左矢印灯器１２１は左端に位置し、上矢印灯器１２２は中央に位置し、右矢印灯器１２３は右端に位置している。

【0030】

すなわち、左矢印灯器１２１は、青色灯器１１１の下側に位置する。信号機１００と正体した場合、左矢印灯器１２１は、赤色灯器１１３を基点に、左側に灯器２個分、かつ下側に灯器１個分だけずれた位置にある。上矢印灯器１２２は、黄色灯器１１２の下側に位置する。信号機１００と正体した場合、上矢印灯器１２２は、赤色灯器１１３を基点に、左側に灯器１個分、かつ下側に灯器１個分だけずれた位置にある。右矢印灯器１２３は、赤色灯器１１３の下側に位置する。信号機１００と正体した場合、右矢印灯器１２３は、赤色灯器１１３を基点に、下側に灯器１個分だけずれた位置にある。３つの色灯器１１１、１１２、１１３に対する各矢印灯器１２１、１２２、１２３の相対的な位置関係は、交通法規等によって予め定められている。

【0031】

左矢印灯器１２１は、内部に光源が収められて、左向きの矢印の灯火を行う灯器である。左矢印灯器１２１の灯火により、左向きの矢印信号が表される。左矢印灯器１２１と同様、上矢印灯器１２２及び右矢印灯器１２３は、内部に光源が収められて、上向きの矢印及び右向きの矢印の灯火を行う灯器である。上矢印灯器１２２及び右矢印灯器１２３の灯火により、上向きの矢印信号及び右向きの矢印信号が表される。

【0032】

矢印式の信号機本体１２０の灯火が表す意味は、車両が従うべき交通法規等によって定まる。例えば、左向きの矢印の灯火（左向きの矢印信号）は、「赤信号に係わらず、左方向に進行できる」の意味を表し、上向きの矢印の灯火（上向きの矢印信号）は、「赤信号に係わらず、直進方向に進行できる」の意味を表す。右向きの矢印の灯火（右向きの矢印信号）は、「赤信号に係わらず、右方向に進行できる」の意味を表す。

【0033】

信号機１００は、いわゆる横型の信号機に限らず、図２Ｂに示すように、縦型の信号機であってもよい。縦型の信号機１００は、三灯式の信号機本体１１０と、三灯式の信号機本体１１０の右側に位置する矢印式の信号機本体１２０とを備えている。

【0034】

三灯式の信号機本体１１０において、３つの色灯器１１１、１１２、１１３は縦方向に沿って並んでいる。青色灯器１１１は下端に位置し、黄色灯器１１２は中央に位置し、赤色灯器１１３は上端に位置している。

【0035】

矢印式の信号機本体１２０において、３つの矢印灯器１２１、１２２、１２３は縦方向に沿って並んでいる。左矢印灯器１２１は下端に位置し、上矢印灯器１２２は中央に位置し、右矢印灯器１２３は上端に位置している。すなわち、左矢印灯器１２１は、青色灯器１１１の右側に位置する。信号機１００と正体した場合、左矢印灯器１２１は、赤色灯器１１３を基点に、右側に灯器１個分、かつ下側に灯器２個分だけずれた位置にある。上矢印灯器１２２は、黄色灯器１１２の右側に位置する。信号機１００と正体した場合、上矢印灯器１２２は、赤色灯器１１３を基点に、右側に灯器１個分、かつ下側に灯器１個分だけずれた位置にある。右矢印灯器１２３は、赤色灯器１１３の右側に位置する。信号機１００と正体した場合、右矢印灯器１２３は、赤色灯器１１３を基点に、右側に灯器１個分だけずれた位置にある。３つの色灯器１１１，１１２、１１３に対する各矢印灯器１２１、１２２、１２３の相対的な位置関係は、交通法規等によって予め定められている。

【0036】

なお、矢印式の信号機本体１２０は、３つの矢印灯器１２１、１２２、１２３を全て備える必要はない。矢印式の信号機本体１２０は、信号機１００が交通に与える通行権に応じた、少なくとも１つの矢印灯器１２１、１２２、１２３を備えていればよい。

【0037】

図３及び図４を参照し、信号機認識装置によって実行される一連の処理、すなわち、信号機認識方法の処理の流れを説明する。図３及び図４に示すフローチャートは、撮像部１０の撮像タイミングに対応して呼び出され、コントローラ３０によって実行される。

【0038】

まず、矢印灯火検出部３１は、撮像部１０から入力された画像を取得する（ステップＳ１０）。走行経路取得部３２は、車両の走行経路を取得する。走行経路の取得は、車両の走行経路を案内するカーナビゲーションシステムの情報、方向指示器の示す方向などの情報から取得することが可能である。そして、走行経路取得部は、車両の走行経路に基づいて、車両の進行方向を特定する（ステップＳ１１）。車両前方に信号機が存在する場合、車両の進行方向は、信号機が設けられた交差点における車両の進行方向に相当する。車両の進行方向は、左折、直進及び右折のいずれかになる。

【0039】

矢印灯火検出部３１は、例えばテンプレートマッチングにより、画像２００に存在する信号機の矢印の灯火を検出する（ステップＳ１２）。矢印灯火検出部３１は、標準の矢印の灯火の画像をテンプレートとして保持している。矢印灯火検出部３１は、テンプレートを１画素ずつずらしながら画像２００全体を走査し、例えば輝度の分布の相関を計算する。矢印灯火検出部３１は、相関が最も高い値となったテンプレートの位置に、矢印の灯火（点灯している灯火）を検出する。

【0040】

矢印灯火検出部３１は、車両の位置及び車両の周囲の地図を含む地図情報を参照し、或いは、車両周囲の物体を検出する物体検出センサの検出結果を参照してもよい。矢印灯火検出部３１は、車両と信号機までの距離に応じて、参照するテンプレートを使い分けることで、画像内の信号機を早期に検出することができる。

【0041】

信号機の検出方法は、テンプレートマッチングに限定されない。信号機の検出は、ＡｄａＢｏｏｓｔ、ＳＶＭ（Support Vector Machine）のような機械学習に基づく処理を行う画像処理手段が、画像特徴量に基づいて行ってもよい。画像特徴量としては、画像中の複数領域間の輝度変化の総和を示すＨａａｒ－ｌｉｋｅ特徴量、強度テクスチャを抽出できるＬＢＰ（Local Binary Pattern）特徴量、画像勾配の強度を方向別ヒストグラムとして表現したＨＯＧ（Histogram of Gradient)などを用いることができる。

【0042】

矢印の灯火を検出しない場合（ステップＳ１３でＮＯ）、矢印灯火検出部３１は、本処理を終了する。一方、矢印の灯火を検出した場合（ステップＳ１３でＹＥＳ）、矢印灯火検出部３１は、矢印の灯火の特徴を特定する（ステップＳ１４）。具体的には、矢印灯火検出部３１は、矢印の灯火の向きを特定する。また、図５Ａ及び図５Ｂに示すように、矢印灯火検出部３１は、矢印の灯火の周囲を囲むように、矢印の灯火と大体同じ大きさの矩形枠ＲＦを設定する。そして、矢印灯火検出部３１は、矩形枠ＲＦの左上の位置（ｘ、ｙ）、並びに、矩形枠ＲＦの縦方向の大きさｈ及び横方向の大きさｗを特定する。矢印灯火検出部３１は、矩形枠ＲＦの位置並びに縦方向及び横方向の大きさを通じて、矢印の灯火の位置並びに縦方向及び横方向の大きさを特定する。

【0043】

図３に示すように、矢印の灯火の向きが車両の進行方向と異なる場合には（ステップＳ１５でＮＯ）、矢印灯火検出部３１は、本処理を終了する。一方、矢印の灯火の向きが車両の進行方向と同じ場合には（ステップＳ１５でＹＥＳ）、矢印灯火検出部３１は、検出した矢印の灯火が、上向き矢印の灯火であるか否か判定する（ステップＳ１６）。

【0044】

矢印灯火検出部３１が上向き矢印の灯火であると判定した場合（ステップＳ１６でＹＥＳ）、矢印灯火認識部３５は、矢印灯火検出部３１が検出した矢印の灯火の向き、すなわち、上向きの矢印を、車両前方にある信号機の現示として認識する（ステップＳ１７）。そして、矢印灯火認識部３５は、上向きの矢印を、運転支援装置５０に出力する。

【0045】

一方、上向き矢印の灯火ではないと判定した場合（ステップＳ１６でＮＯ）、矢印灯火検出部３１は、検出した矢印の灯火が、左向きの矢印の灯火であるか否かを判定する（ステップＳ１８）。

【0046】

左向きの矢印の灯火である場合（ステップＳ１８でＹＥＳ）、参照領域設定部３３は、参照領域ＲＡ１、ＲＡ２を設定する（ステップＳ１９）。図５Ａに示すように、参照領域設定部３３は、矢印の灯火の位置（ｘ、ｙ）から定まる第１位置（ｘ＋２ｗ，ｙ－ｈ）を基点に、縦方向の大きさｈ及び横方向の大きさｗとなる参照領域ＲＡ１を設定する。同様に、参照領域設定部３３は、矢印の灯火の位置（ｘ、ｙ）から定まる第２位置（ｘ－ｗ、ｙ－２ｈ）を基点に、縦方向の大きさｈ及び横方向の大きさｗとなる参照領域ＲＡ２を設定する。

【0047】

右向きの矢印の灯火である場合（ステップＳ１８でＮＯ）、参照領域設定部３３は、参照領域ＲＡ１、ＲＡ２を設定する（ステップＳ２０）。図５Ｂに示すように、参照領域設定部３３は、矢印の灯火の位置（ｘ、ｙ）から定まる第１位置（ｘ、ｙ－ｈ）を基点に、縦方向の大きさｈ及び横方向の大きさｗとなる参照領域ＲＡ１を設定する。同様に、参照領域設定部３３は、矢印の灯火の位置（ｘ、ｙ）から定まる第２位置（ｘ－ｗ，ｙ）を基点に、縦方向の大きさｈ及び横方向の大きさｗとなる参照領域ＲＡ２を設定する。

【0048】

ステップＳ１９又はステップＳ２０で設定される参照領域ＲＡ１は、画像において検出された矢印の灯火が真の信号機（実像の信号機）のものであり、且つ、この信号機が横型の信号機であるならば、赤色の灯火が存在すべき領域に相当する。同様に、ステップＳ１９又はステップＳ２０で設定される参照領域ＲＡ２は、画像において検出された矢印の灯火が真の信号機のものであり、且つ、この信号機が縦型の信号機であるならば、赤色の灯火が存在すべき領域に相当する。上述した通り、左向きの矢印灯火又は右向きの矢印の灯火は、赤色の灯火に対して所定の位置関係にある。参照領域設定部３３は、このような位置関係を前提に、参照領域ＲＡ１、ＲＡ２を設定する。

【0049】

図４において、参照領域設定部３３は、参照領域ＲＡ１、ＲＡ２のそれぞれを対象として、点灯している赤色の灯火を抽出する（ステップＳ２１）。参照領域ＲＡ１を例に説明するが、参照領域ＲＡ２に対する処理も同じである。

【0050】

参照領域設定部３３は、参照領域ＲＡ１内に存在する複数の画素の各色度に基づいて、赤色の灯火に対応する色度を有する画素を抽出する。画像の各画素がＲＧＢ値で表現される場合、灯火色判定部３６は、画素毎に、ＲＧＢ値をＲＧＢ空間からＨＳＶ空間に変換して、色相を得る。これにより、各画素の色度は、例えば０度（赤色）から１８０度（青色）を経由して３６０度（赤色）に至る色相で表される。参照領域設定部３３は、赤色灯器１１３の灯火を表す色相を中央値とする所定の色相範囲、すなわち、赤色に相当する色相範囲を保有している。参照領域設定部３３は、画素毎に色相を評価し、評価した画素の色相が赤色に相当する色相範囲に含まれれば、その画素を赤色の灯火として抽出する。

【0051】

参照領域ＲＡ１、ＲＡ２のいずれかに赤色の灯火が存在する場合（ステップＳ２２でＹＥＳ）、形状判定部３４は、赤色の灯火の円形度を算出する（ステップＳ２３）。具体的には、形状判定部３４は、赤色の灯火として抽出した複数の画素の集合を集合画素として認識し、その集合画素の形状を特定する。形状の特定は、以下の数式１に示すように、例えば円形度を算出することにより行われる。
（数式１）
円形度＝４π×（画素集合の面積）÷（画素集合の周囲長）^２

【0052】

数式１に示す円形度は、画素集合の形状が円形に近ければ近いほど、１に近くなる。すなわち、この円形度は、集合画素の形状と赤色灯器１１３の灯火形状との類似度を示すことなる。

【0053】

集合画素、すなわち赤色の灯火の円形度が所定値以上である場合には（ステップＳ２４でＹＥＳ）、形状判定部３４は、赤色の灯火を円形と類似すると判定し、形状判定の結果を、矢印灯火認識部３５に出力する。参照領域に赤色の灯火が存在し、かつ、赤色の灯火の形状が円形状と類似するとの判定結果を受け、矢印灯火認識部３５は、検出した矢印の灯火の向き、すなわち、左向きの矢印又は右向きの矢印を、車両前方の信号機の現示として認識する（ステップＳ１７）。そして、矢印灯火認識部３５は、左向きの矢印又は右向きの矢印を、運転支援装置５０に出力する。

【0054】

なお、矢印の灯火が点灯している場合は通常、同時に赤色の灯火も点灯しているため、ステップＳ２２の処理において参照領域ＲＡ１、ＲＡ２のいずれかに赤色の灯火が抽出されるはずであるが、ステップＳ２２の処理において赤色の灯火が抽出されない場合（ステップＳ２４でＮＯ）には、検出された矢印の灯火はノイズであると判定して無視する（ステップＳ２５）。

【0055】

このように本実施形態の信号機認識方法では、コントローラ３０が、画像内に存在する信号機の矢印の灯火の向き及び画像内における矢印の灯火の位置を検出し、矢印の灯火の向き及び位置に基づいて信号機の赤色の灯火が存在すべき参照領域ＲＡ１、ＲＡ２を画像に設定する。そして、コントローラ３０は、参照領域ＲＡ１、ＲＡ２に赤色の灯火が存在するか否かを判定し、参照領域ＲＡ１、ＲＡ２に赤色の灯火が存在すると判定した場合に、検出された矢印の灯火の向きを、車両前方の信号機の現示として認識する。

【0056】

矢印の灯火を発する矢印灯器は、矢印の灯火の向き毎に、所定の規則に従って三灯式の信号機本体１１０の近傍に配置される。このため、矢印の灯火は、矢印の灯火の向き毎に、赤色の灯火に対する相対的な位置を定義することができる。したがって、矢印の灯火の向き及び位置に応じて参照領域ＲＡ１、ＲＡ２を設定し、その参照領域ＲＡ１、ＲＡ２に赤色の灯火が存在するかどうかを判定することで、検出された矢印の灯火が真の信号機に対応するものかどうかを認識することができる。その結果、建物の窓ガラスや大型トラックの側面などに反射して、左右反転して映り込んだ信号機の鏡像（虚像）を、真の信号機の像（実像）として認識することを抑制することができる。これにより、画像認識によって信号機を認識する場合にあっても、信号機の虚像として存在する矢印の灯火を、車両前方の信号機の現示として認識することがない。その結果、信号機の矢印の灯火を精度よく認識することができる。

【0057】

本実施形態の信号機認識方法では、コントローラ３０が、矢印の灯火の大きさに基づいて、参照領域ＲＡ１、ＲＡ２の大きさを設定してもよい。

【0058】

画像における矢印の灯火の縦方向及び横方向の大きさは、車両と信号機との相対的な距離に比例する。そのため、矢印の灯火の大きさに基づいて、参照領域ＲＡ１、ＲＡ２の大きさを決定することで、必要な範囲に適切な大きさの参照領域を設定することができる。

【0059】

本実施形態の信号機認識方法では、コントローラ３０が、検出された矢印の灯火の向きが上向きである場合、参照領域ＲＡ１、ＲＡ２を設定することなく、検出された矢印の灯火の向きを、信号機の現示として認識する。一方、コントローラ３０は、検出された矢印の灯火の向きが右向き又は左向きである場合には、参照領域ＲＡ１、ＲＡ２に赤色の灯火が存在するか否かを判定した上で、車両前方の信号機の現示を認識してもよい。

【0060】

矢印の灯火の向きが上向きである場合、左右反転しても矢印の灯火の向きは同じとなる。そのため、矢印の灯火の向きが直進の現示である場合には、赤色の灯火の存在を判定することなく、その向きを信頼することができる。これにより、演算負荷を軽減することができる。

【0061】

本実施形態の信号機認識方法では、コントローラ３０が、参照領域に赤色の灯火に対応する色度を有する複数の画素が存在すると判定した場合に、参照領域に赤色の灯火が存在すると判定してもよい。

【0062】

赤色の灯火に対応する所定範囲の色度を有する複数の画素を判定することで、参照領域に赤色の灯火が存在するか否かを正確に判定することができる。

【0063】

本実施形態の信号機認識方法では、コントローラ３０が、複数の画素の集合である集合画素の形状を判定し、集合画素の形状と信号機における赤色の灯火の形状との類似度が所定の判定値以上である場合に、検出された矢印の灯火の向きを、車両前方の信号機の現示として認識してもよい。

【0064】

この構成によれば、色に加え、赤色の灯火の形状も加味することができるので、赤色の物体を信号機の赤灯と見誤ることを抑制することができる。これにより、信号機の矢印の灯火を精度よく認識することができる。

【0065】

以上、本実施形態に係る信号機認識方法及び信号機認識装置を説明した。実施形態に係る信号機認識装置は、実施形態で説明した信号機認識方法を実行するものであり、信号機認識方法と同様の作用、効果を奏する。

【0066】

上述した第１又は第２の実施形態では、信号機認識装置が、運転支援装置５０を備えている。しかしながら、信号機認識装置は、撮像部１０及びコントローラ３０だけで構成されてもよい。

【0067】

また、上述した第１又は第２の実施形態では、三灯式の信号機本体を構成する各色灯器の灯火形状を円形状とした。しかしながら、各色灯器の灯火形状は、四角形状などの多角形状であってもよい。

【0068】

また、第１又は第２の第実施形態では、ソフトウェアによってコントローラ３０が備える複数の情報処理回路を実現する例を示したが、もちろん、各情報処理回路の機能を実現するための専用のハードウェアを用意して、情報処理回路を構成することも可能である。また、複数の情報処理回路を個別のハードウェアにより構成してもよい。

【0069】

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

【符号の説明】

【0070】

１０ 撮像部
３０ コントローラ
３１ 矢印灯火検出部
３２ 走行経路取得部
３３ 参照領域設定部
３４ 形状判定部
３５ 矢印灯火認識部
５０ 運転支援装置

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5A】

【図5B】