特許 6233501 信号機検出装置及び信号機検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6233501

(24)【登録日】2017年11月2日

(45)【発行日】2017年11月22日

(54)【発明の名称】信号機検出装置及び信号機検出方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20171113BHJP

   G06T 1/00 20060101ALI20171113BHJP

【ＦＩ】

   G08G1/16 C

   G06T1/00 330A

【請求項の数】7

【全頁数】13

(21)【出願番号】特願2016-507147(P2016-507147)

(86)(22)【出願日】2014年3月10日

(86)【国際出願番号】JP2014056196

(87)【国際公開番号】WO2015136602

(87)【国際公開日】20150917

【審査請求日】2016年9月27日

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】沖 孝彦

(72)【発明者】

【氏名】西内 秀和

【審査官】 久保田 創

(56)【参考文献】

【文献】 特開２００８−１３４９１６（ＪＰ，Ａ）

【文献】 特開２００８−２９３２７７（ＪＰ，Ａ）

【文献】 特開２００７−２８６９４３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００−９９／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

車両に搭載され、前記車両の周囲を撮像して画像を取得する撮像部と、
前記画像の中から信号機を検出する信号機検出部と、を備え、
前記信号機検出部は、
前記信号機に供給される交流電力の周期を３の倍数で割った時間だけ位相がずれた、３の倍数の基準信号を設定する基準信号生成部と、
前記３の倍数の基準信号のうち前記交流電力の位相に最も近い基準信号の位相を前記交流電力の位相に合わせる位相調整部と、
前記画像の中から、前記交流電力の位相に合わされた基準信号に同期して輝度が変化する同期画素を抽出する同期画素抽出部と、
前記同期画素より前記信号機が存在するか否か判断する信号機判断部と、
を有することを特徴とする信号機検出装置。

【請求項2】

請求項１に記載の信号機検出装置において、
同期画素抽出部は、前記交流電力の位相に最も近い基準信号から正及び負の方向に等しい位相だけずれた他の基準信号の各々を用いた同期画素からなる同期画像を生成し、
前記位相調整部は、前記他の基準信号の各々を用いた同期画素からなる同期画像の検波出力値が等しくなるように、前記３の倍数の基準信号の位相を合わせることを特徴とする信号機検出装置。

【請求項3】

請求項２に記載の信号機検出装置において、
前記位相調整部は、前記画像のうち輝度変化の幅が最も大きな領域を検波して前記検波出力値を得ることを特徴とする信号機検出装置。

【請求項4】

請求項２又は３に記載の信号機検出装置において、
前記位相調整部は、前記画像のうち道路の路肩が撮像される領域を検波して前記検波出力値を得ることを特徴とする信号機検出装置。

【請求項5】

請求項２又は３に記載の信号機検出装置において、
前記車両がトンネル内を走行している場合、前記位相調整部は、前記画像のうち、トンネル内壁に設けられた照明ランプが撮像される領域を検波して前記検波出力値を得ることを特徴とする信号機検出装置。

【請求項6】

請求項１〜５のいずれか一項に記載の信号機検出装置において、
前記信号機判断部は、当該同期画素の色相が信号色の色相に類似するか否かを判断する色相判断部を備え、
前記信号機判断部は、前記同期画素の色相が信号色の色相に類似する場合、前記同期画素の位置に前記信号機が存在すると判断することを特徴とする信号機検出装置。

【請求項7】

車両の進行方向を撮像して画像を取得し、
信号機に供給される交流電力の周期を３の倍数で割った時間だけ位相がずれた、３の倍数の基準信号を設定し、
前記３の倍数の基準信号のうち前記交流電力の位相に最も近い基準信号の位相を前記交流電力の位相に合わせ、
前記画像の中から、前記交流電力の位相に合わされた基準信号に同期して輝度が変化する同期画素を抽出し、
前記同期画素より前記信号機が存在するか否か判断する
ことを特徴とする信号機検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、信号機検出装置及び信号機検出方法に関するものである。

【背景技術】

【0002】

従来から、カメラで撮像された画像の中から信号機を検出する信号機検出装置が知られている（特許文献１参照）。特許文献１では、画像の中から、信号灯の色となる部分を抽出し、抽出した部分がどれだけ円形に近いかを示す円形度を算出し、円形度が高い部分を信号灯候補として検出している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５−３０１５１８号公報

【発明の概要】

【0004】

信号灯候補として検出されるには、抽出した部分の画像サイズが、円形度を判定可能な程度に大きくなければならない。よって、特許文献１では、円形度を判定できないほど画像サイズが小さくなる遠方の信号機を精度良く検出することは難しい。

【0005】

本発明は、上記課題に鑑みて成されたものであり、その目的は、遠方の信号機であっても精度良く検出することができる信号機検出装置及び信号機検出方法を提供することである。

【0006】

本発明の一態様に係わる信号機検出装置は、車両の進行方向を撮像して画像を取得する撮像部と、画像の中から信号機を検出する信号機検出部と、を備える。信号機検出部は、信号機に供給される交流電力の周期を３の倍数で割った時間だけ位相がずれた、３の倍数の基準信号を設定する基準信号生成部と、３の倍数の基準信号のうち交流電力の位相に最も近い基準信号の位相を交流電力の位相に合わせる位相調整部とを有する。信号機検出部は、画像の中から、交流電力の位相に合わされた基準信号に同期して輝度が変化する同期画素を抽出し、同期画素の位置に信号機が存在すると判断する。

【図面の簡単な説明】

【0007】

【図1】図１は、本発明の実施形態に係わる信号機検出装置の全体構成を示すブロック図である。

【図2】図２は、基準信号生成部１７、同期画像生成部１５及び位相調整部１６の詳細な構成を示すブロック図である。

【図3】図３は、基準信号生成部１７により設定される３つの基準信号（Ｌ０１、Ｌ０２、Ｌ０３）の例を示すグラフである。

【図4】図４は、同期画像（Ｇ０１、Ｇ０２、Ｇ０３）の輝度変化を示すグラフであり、図４（ａ）は、選択された基準信号の位相が、信号機に供給される交流電力の位相からずれている場合を示し、図４（ｂ）は、選択された基準信号の位相が、信号機に供給される交流電力の位相に合っている場合を示す。

【図5】図５は、図１に示した信号機検出装置を用いた信号機検出方法の一例を示すフローチャートである。

【図6】図６（ａ）は、円形度から信号灯の候補を検出する場合に必要となる画素群５３ａの大きさを示す図であり、図６（ｂ）は、実施形態で検出可能な同期画素５３ｂの数を示す図である。

【図7】図７は、６つの基準信号の各々から得られる６つの同期画像（Ｇ０１〜Ｇ０６）の検波出力値の一例を示すグラフである。

【図8】図８（ａ）は、車両からの距離に応じた輝度変化の幅の違いを示すグラフであり、図８（ｂ）は車両近傍にある電灯の例として、街灯３１ａ、自動販売機３１ｂ、看板３１ｃを示し、車両から遠方にある信号機３２、３３を示す図である。

【図9】図９は、車両がトンネルを走行している時に撮像されるカメラ画像の一例を示す図である。

【発明を実施するための形態】

【0008】

図面を参照して、実施形態を説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

【0009】

図１を参照して、実施形態に係わる信号機検出装置の全体構成を説明する。信号機検出装置は、車両に搭載され、車両の進行方向を撮像して画像を取得する撮像部１１と、撮像部１１により取得された画像の中から信号機を検出する信号機検出部１２とを備える。

【0010】

撮像部１１は、固体撮像素子、例えばＣＣＤ又はＣＭＯＳを用いたデジタルカメラであって、画像処理が可能なデジタル画像を取得する。デジタルカメラは、画角の広い広角レンズを備える。撮像部１１の撮像範囲（画角）には、車両の進行方向から左右方向に車両近傍の路肩までが含まれる。撮像部１１は、所定の時間間隔で繰り返し撮像して、連続する複数の画像（フレーム）を取得する。

【0011】

信号機検出部１２は、撮像部１１により取得された画像（以後、「カメラ画像」という）を受信し、カメラ画像における信号機の位置を検出する。検出された信号機の位置情報は、例えば車両の自動運転を実現するためのコントローラを含む、車両に搭載された他の処理演算装置（車両ＣＰＵ１３）に転送される。信号機検出部１２は、例えば、ＣＰＵ、メモリ、及び入出力部を備えるマイクロコントローラからなり、予めインストールされたコンピュータプログラムを実行することにより、信号機検出装置が備える複数の情報処理部を構成する。信号機検出部１２は、カメラ画像から信号機の位置を検出する一連の情報処理を、連続する複数のカメラ画像（フレーム）毎に繰り返し実行する。信号機検出部１２は、車両にかかわる他の制御に用いるＥＣＵと兼用してもよい。

【0012】

信号機検出部１２により構成される複数の情報処理部には、同期画像生成部１５と、位相調整部１６と、基準信号生成部１７と、信号機判断部１８とが含まれる。基準信号生成部１７は、信号機に供給される交流電力の周期を３の倍数で割った時間だけ位相がずれた、３の倍数の基準信号を設定する。位相調整部１６は、３の倍数の基準信号のうち交流電力の位相に最も近い基準信号の位相を交流電力の位相に合わせる。基準信号生成部１７及び位相調整部１６の詳細は、図２〜図４を参照して後述する。

【0013】

同期画像生成部１５は、カメラ画像の中から、交流電力の位相に合わされた基準信号と同期して輝度が変化する同期画素を抽出して、抽出された同期画素からなる同期画像を生成する。例えば、同期画像生成部１５は、交流電力の位相に合わされた基準信号とカメラ画像の各画素の輝度信号とを乗算する同期検波処理を行う。これにより、信号機に供給される交流電力の周期に同期して輝度が変化する同期画素が抽出される。

【0014】

信号機に供給される交流電力は、商用電源の電力を全波整流した交流電力である。商用電源から電力の供給を受けて点灯する信号灯の輝度は、全波整流した交流電力の周期（例えば、１００Hz）と同じ周期で変化する。そこで、信号機に供給される交流電力の周期に同期して輝度が変化する同期画素をカメラ画像の中から抽出することにより、商用電源から電力の供給を受けて点灯する信号灯を検出することができる。同期画像生成部１５の詳細は図２を参照して後述する。

【0015】

信号機判断部１８は、同期画素の色相に基づいて、同期画像生成部１５により抽出された同期画素の位置に信号機が存在するか否かを判断する。具体的には、信号機判断部１８は、同期画素の色相が信号色の色相に類似するか否かを判断する。信号機判断部１８は、同期画素の色相が信号色の色相に類似する場合、同期画素の位置に信号機が存在すると判断する。

【0016】

商用電源から電力の供給を受けて点灯する電灯には、信号機が有する信号灯の他に、街灯３１ａ、自動販売機３１ｂ、看板３１ｃなど、路上で点灯している他の電灯が含まれる。同期画像生成部１５により抽出された同期画素には、これらの他の電灯も含まれる可能性がある。信号機判断部１８が同期画素と信号色との間で色相の類似性を判断することにより、同期画像生成部１５の抽出結果から、これらの他の電灯を排除することができる。

【0017】

なお、信号機判断部１８は、同期画素の色相が信号色の色相に類似するか否かを判断する色相判断部を用いずに、同期画素の画像上の位置と輝度を用いて、信号機が存在するか否か判断する構成としても良い。車両の周囲の地図情報より画像上の信号機の位置を求め、同期画素の位置と照合することで、上記他の電灯を排除することができる。さらに、車両から信号機までの距離から画像上の輝度を想定し、想定輝度内の同期画素に信号機が存在すると判断することができる。

【0018】

信号機検出部１２は、信号機が存在すると信号機判断部１８が判断した同期画素の位置情報を、車両ＣＰＵ１３に出力する。

【0019】

図２を参照して、基準信号生成部１７、同期画像生成部１５及び位相調整部１６の詳細な構成を説明する。基準信号生成部１７は、例えば、信号機に供給される交流電力の周期を３で割った時間だけずれた３つの基準信号（Ｌ０１、Ｌ０２、Ｌ０３）を設定する。基準信号（Ｌ０１、Ｌ０２、Ｌ０３）の周期は、信号機に供給される交流電力の周期に等しく、位相が異なる。基準信号Ｌ０１に対して、基準信号Ｌ０２の位相は１２０°ずれており、基準信号Ｌ０３の位相は２４０°ずれている。基準信号（Ｌ０１、Ｌ０２、Ｌ０３）の一例を図３に示す。

【0020】

同期画像生成部１５は、メモリ２５と、乗算部（２６ａ、２６ｂ、２６ｃ）とを備える。メモリ２５は、連続する複数のカメラ画像（フレーム）２８を同時に記憶する。例えば、信号機に供給される電力の１交流周期の間に撮像される複数のカメラ画像２８を同時に記憶する。乗算部（２６ａ、２６ｂ、２６ｃ）は、メモリ２５から読み出したカメラ画像の各画素の輝度信号と、基準信号（Ｌ０１、Ｌ０２、Ｌ０３）の各々とを乗算して、３つの同期画像（Ｇ０１、Ｇ０２，Ｇ０３）を生成する。乗算部２６は、メモリ２５に同時に記憶されている複数のカメラ画像の各々について、上記した乗算処理を実施する。

【0021】

位相調整部１６は、基準信号（Ｌ０１、Ｌ０２、Ｌ０３）の各々との乗算により生成された３つの同期画像（Ｇ０１、Ｇ０２，Ｇ０３）のうち、その検波出力値が最も大きい同期画像を判定する同期画像判定部２７を備える。検波出力値は、例えば、同期画素の輝度の平均値である。

【0022】

基準信号の位相が、信号機に供給される交流電力の位相に整合している場合、同期画素の輝度値、及び同期画素の輝度の平均値（検波出力値）は、最も大きな値となる。これに対して、基準信号の位相が、信号機に供給される電力の位相からずれるほど、同期画素の輝度値、及び同期画素の輝度の平均値（検波出力値）は、小さくなる。よって、３つの同期画像（Ｇ０１、Ｇ０２，Ｇ０３）のうち検波出力値が最も大きい同期画像は、信号機に供給される電力の位相に最も近い位相を有する基準信号を用いて生成されている、と判断できる。

【0023】

したがって、同期画像判定部２７が３つの同期画像（Ｇ０１、Ｇ０２，Ｇ０３）のうち、検波出力値が最も大きい同期画像を判定することにより、位相調整部１６は、３つの基準信号（Ｌ０１、Ｌ０２、Ｌ０３）の中から、交流電力の位相に最も近い基準信号Ｌ０１を選択することができる。例えば、図４（ａ）は、同期画像（Ｇ０１、Ｇ０２、Ｇ０３）の輝度変化の一例を示す。３つの同期画像（Ｇ０１、Ｇ０２、Ｇ０３）のうち、同期画像Ｇ０１の検波出力値が、他の同期画像（Ｇ０２、Ｇ０３）よりも大きい。この場合、同期画像判定部２７は、検波出力値が最も大きい同期画像として、同期画像Ｇ０１を選択する。信号機に供給される交流電力の位相は、図３の領域Ｒ１に位置すると判断できる。

【0024】

位相調整部１６は、選択した基準信号から正及び負の方向に等しい位相だけずれた他の基準信号の各々を用いた同期画像の検波出力値が等しくなるように、３つの基準信号の位相を合わせる。これにより、選択した基準信号の位相を交流電力の位相に合わせることができる。

【0025】

実施形態では、３の倍数の基準信号の一例として、３つの基準信号（Ｌ０１、Ｌ０２、Ｌ０３）を設定し、基準信号Ｌ０１を選択している。基準信号Ｌ０１から正及び負の方向に等しい位相だけずれた他の基準信号は、基準信号（Ｌ０２、Ｌ０３）となる。基準信号（Ｌ０２、Ｌ０３）を用いてカメラ画像を検波して得られる同期画像は、２つの同期画像（Ｇ０２、Ｇ０３）である。

【0026】

よって、位相調整部１６は、選択されていない２つの同期画像（Ｇ０２、Ｇ０３）の検波出力値が等しくなるように、３つの基準信号（Ｌ０１、Ｌ０２、Ｌ０３）の各位相を同じ時間だけずらす。これにより、位相調整部１６は、選択した基準信号Ｌ０１の位相を信号機に供給される交流電力の位相に合わせることができる。これにより、基準信号Ｌ０１を用いて検波された同期画像Ｇ０１の検波出力値は最も大きな値となり、同期画像Ｇ０１の輝度の変化幅も最大値となる。

【0027】

例えば、図４（ａ）に示した例では、選択されていない２つの同期画像（Ｇ０２、Ｇ０３）の検波出力値は異なる。位相調整部１６は、基準信号（Ｌ０１、Ｌ０２、Ｌ０３）の位相を４０°進める。その後、再び、乗算部（２６ａ、２６ｂ、２６ｃ）は、位相調整後の基準信号（Ｌ０１、Ｌ０２、Ｌ０３）を用いて同期検波処理を実施する。その結果を図４（ｂ）に示す。図４（ｂ）に示した例では、選択されていない２つの同期画像（Ｇ０２、Ｇ０３）の検波出力値が等しい。この時、選択した基準信号Ｌ０１の位相は信号機に供給される交流電力の位相に一致し、基準信号Ｌ０１を用いて検波された同期画像Ｇ０１の検波出力値、及び同期画像Ｇ０１の輝度の変化幅が最大値となる。

【0028】

車両から信号機までの距離が遠くなるほど、撮像部１１により検出される信号灯の輝度は小さくなり、輝度の変化幅も小さくなる。よって、基準信号の位相を、信号灯の輝度変化の位相、すなわち信号機に供給される電力の位相に近づけることにより、高い検波出力値を得ることができ、ひいては遠方の信号機を精度良く検出することができる。

【0029】

次に、図８及び図９を参照して、位相調整部１６の変形例を説明する。位相調整の際に用いる同期画像（Ｇ０２、Ｇ０３）の検波出力値として、カメラ画像のうち輝度変化の幅が最も大きな領域を検波して得られた検波出力値を用いてもよい。

【0030】

図８（ａ）は、車両からの距離に応じた輝度変化の幅の違いを示すグラフであり、図８（ｂ）は車両近傍にある電灯の例として、街灯３１ａ、自動販売機３１ｂ、看板３１ｃを示し、車両から遠方にある信号機３２、３３を示す図である。図８（ａ）は、図８（ｂ）の街灯３１ａ、及び信号機３２、３３の輝度変化を示す。車両近傍にある電灯（街灯３１ａ、自動販売機３１ｂ、看板３１ｃ）の輝度変化の幅は、遠方の信号機（３２、３３）のそれに比べて大きい。また、輝度変化の幅が大きいほど、位相シフトによる検波出力値の変化幅が大きくなるため、位相調整の精度は向上する。そこで、位相調整部１６は、カメラ画像のうち輝度変化の幅が最も大きな領域を検波して得られた検波出力値を用いてもよい。

【0031】

例えば、位相調整部１６は、ＧＰＳや地図データベースから得られる車両の現在位置及び車両周辺の地図情報から、走行路の状況を判断する。例えば、位相調整部１６は、車両の進行方向の道路形状が図８（ｂ）に示すような直線であるか、或いは右又は左へのカーブであるかを判断する。或いは、図９に示すように車両がトンネルを走行しているか否かを判断する。

【0032】

位相調整部１６は、判断された走行路の状況に基づいて、カメラ画像内に画像領域を設定する。例えば、道路形状が直線である場合、図８（ｂ）に示すように、カメラ画像のうち、道路の路肩が撮像される領域（Ｒ２、Ｒ３）を、画像領域として設定する。これにより、画像領域には、道路の路肩に配置された電灯（３１ａ、３１ｂ、３１ｃ）が含まれる。また、トンネルを走行している場合、図９に示すように、カメラ画像のうち、トンネル内壁に設けられた照明ランプ３４が撮像される領域Ｒ４を、画像領域として設定する。

【0033】

そして、位相調整部１６は、カメラ画像のうち画像領域（Ｒ２〜Ｒ４）を検波して得られた検波出力値を用いて、上記した位相調整を行ってもよい。基準信号の位相を高精度に調整することができる。このように、予め同期検波処理を行う画像領域（Ｒ２〜Ｒ４）を特定することにより、同期検波処理の演算負荷が軽減され、処理速度が向上する。

【0034】

或いは、位相調整部１６は、カメラ画像の各画素の中から、輝度変化の幅が最も大きい画素を選択し、選択した画素を検波して得られた検波出力値を用いてもよい。画像領域を特定することなく、基準信号の位相を高精度に調整することができる。

【0035】

このように、位相調整部１６は、画像のうち輝度変化の幅が最も大きな領域を検波して得られた検波出力値を用いてもよい。ここで、「画像のうち輝度変化の幅が最も大きな領域」には、上記した画像領域（Ｒ２〜Ｒ４）及び位相調整部１６により選択した画素が含まれる。

【0036】

次に、図５を参照して、図１に示した信号機検出装置を用いた信号機検出方法の一例を説明する。図５のフローチャートに示す信号機検出装置の動作は、車両のイグニションスイッチがオン状態となり、信号機検出装置が起動すると同時に開始され、信号機検出装置が停止するまで、繰り返し実行される。

【0037】

ステップＳ０１において、撮像部１１は、繰り返し車両の周囲を撮像して、連続する複数のカメラ画像を取得する。信号機に供給される交流電力の１周期の間に、複数回の撮像を行う。取得された画像データは、同期画像生成部１５に転送され、メモリ２５に一時的に記憶される。

【0038】

ステップＳ０３において、基準信号生成部１７は、図３に示すように、信号機に供給される交流電力の周期を３で割った時間だけ位相がずれた、３つの基準信号（Ｌ０１、Ｌ０２、Ｌ０３）を設定する。

【0039】

ステップＳ０５において、同期画像生成部１５は、ステップＳ０３で設定された３つの基準信号（Ｌ０１、Ｌ０２、Ｌ０３）の各々とカメラ画像の各画素の輝度信号とを乗算する同期検波処理を行う。これにより、基準信号（Ｌ０１、Ｌ０２、Ｌ０３）の各々に同期する同期画像（Ｇ０１、Ｇ０２、Ｇ０３）が生成される。

【0040】

ステップＳ０７において、同期画像判定部２７は、３つの同期画像（Ｇ０１、Ｇ０２，Ｇ０３）のうち、検波出力値が最も大きい同期画像（Ｇ０１）を選択する。そして、残りの２つの同期画像（Ｇ０２，Ｇ０３）の検波出力値の差（ΔＤ）が所定のしきい値（Ｔｈ）よりも小さいか否かを判断する。検波出力値の差（ΔＤ）が所定のしきい値（Ｔｈ）よりも小さい場合（Ｓ０７でＹＥＳ）、基準信号Ｌ０１の位相が交流電力の位相に一致しているため位相の調整は不要であると判断して、ステップＳ１５へ進む。

【0041】

一方、検波出力値の差（ΔＤ）が所定のしきい値（Ｔｈ）以上である場合（Ｓ０７でＮＯ）、基準信号Ｌ０１の位相が交流電力の位相からずれているため位相の調整が必要であると判断して、ステップＳ０９へ進む。位相調整部１６は、選択されていない２つの同期画像（Ｇ０２、Ｇ０３）の検波出力値を比較して、位相調整方向を決定する。ステップＳ１１へ進み、位相調整部１６は、基準信号（Ｌ０１、Ｌ０２、Ｌ０３）の各々の位相を、予め定めたシフト量（Δθ）だけ位相調整方向へシフトする。ステップＳ１３に進み、ステップＳ０７と同様にして、検波出力値の差（ΔＤ）が所定のしきい値（Ｔｈ）よりも小さいか否かを判断する。検波出力値の差（ΔＤ）が所定のしきい値（Ｔｈ）よりも小さくなるまで、位相をずらす処理を繰り返し行う（Ｓ１１、Ｓ１３）。

【0042】

具体的には、選択された基準信号Ｌ０１から、選択されていない２つの基準信号（Ｌ０２、Ｌ０３）のうち検波出力値が大きくなる基準信号に向かって位相をシフトすることで、選択されていない同期画像の検波出力値を等しくすることができる。図４（ａ）の例では、同期画像Ｇ０３の検波出力値が、同期画像Ｇ０２の検波出力値よりも大きい。よって、基準信号Ｌ０１から基準信号Ｌ０３に向かって位相をシフトすることで、図４（ｂ）に示すように、検波出力値の差（ΔＤ）を、所定のしきい値（Ｔｈ）よりも小さくすることができる。

【0043】

このように、実施形態では、選択されていない２つの同期画像（Ｇ０２、Ｇ０３）の検波出力値を用いて、選択されている基準信号Ｌ０１の位相を、信号灯の輝度変化の位相に一致させる。

【0044】

位相調整が終了した後、ステップＳ１５に進み、同期画像生成部１５は、位相調整後の基準信号Ｌ０１とカメラ画像とを乗算する同期検波処理を実施する。これにより、カメラ画像の中から、交流電力の位相に合わされた基準信号と同期して輝度が変化する同期画素を高感度に抽出することができる。

【0045】

ステップＳ１７に進み、信号機判断部１８は、同期画像生成部１５により抽出された同期画素の色相が信号色の色相に類似するか否かを判断する。信号色の色相に類似する場合、同期画素の位置に信号機が存在すると判断できる。よって、ステップＳ２１に進み、信号機判断部１８は、同期画素を信号機としてラベリングする。一方、信号色の色相に類似しない場合（Ｓ１７でＮＯ）、同期画素の位置に、信号灯でなく、その他の電灯が存在すると判断できる。よって、ステップＳ１９に進み、信号機判断部１８は、同期画素を他の電灯としてラベリングする。

【0046】

ステップＳ２３に進み、信号機判断部１８は、ステップＳ１５で抽出された総ての同期画素について、信号機であるか否かを判断したか否かを判断する。判断が終わっていない場合（Ｓ２３でＮＯ）、ステップＳ１７に戻り、残りの同期画素について色相の判断処理（Ｓ１７〜Ｓ２１）を実施する。判断が終わっている場合（Ｓ２３でＹＥＳ）、図５のフローチャートは終了する。

【0047】

以上説明したように、実施形態によれば以下の作用効果が得られる。

【0048】

特許文献１では、カメラ画像の中から信号灯の色相と類似する領域を抽出し、抽出した領域の円形度から信号灯の候補を検出する。円形度から信号灯を判断する場合、領域（画素群５３ａ）に含まれる画素の数は、図６（ａ）に示す程度の数が必要となる。これに対して、実施形態に係わる信号機検出装置では、上述したように、信号機の輝度変化の幅が小さく、輝度変化の位相及び周期を検出し難いような遠方に位置する信号機に対して、３の倍数の基準信号を設定し、交流電力の位相に最も近い基準信号の位相を選択して、電力の交流周期に合わせられるので、素早く、信号機に供給される電力の交流周期と同期して輝度が変化する同期画素を信号灯の候補として抽出できる。これにより、図６（ｂ）に示すように、同期画素５３ｂの数が、円形度を判断できない程度の数であっても、信号灯であるか否かを判断することができる。すなわち、実施形態に係わる信号機検出装置は、遠方の信号機を精度良く検出することができる。

【0049】

カメラ画像の中から、信号機に供給される交流電力の周期と同期して輝度が変化する同期画素を抽出することにより、信号灯の大きさ及びその形状を考慮することなく、信号機を検出することができる。よって、円形度を判定できないほど画像サイズが小さくなる遠方の信号機であっても精度良く検出することができる。

【0050】

また、信号機に供給される交流電力は３相の交流電力であるため、変電設備に応じて交流電力の位相が変化する。そこで、交流電力の周期を３の倍数で割った時間だけ位相がずれた、３の倍数の基準信号を設定し、交流電力の位相に最も近い基準信号の位相を選択して、交流電力の位相に合わせる。これにより、信号機に供給される交流電力の位相に整合した基準信号を用いて、輝度変化が小さい同期画素を高感度に抽出することできる。よって、輝度変化が小さい遠方の信号機であっても精度良く検出することができる。

【0051】

３相の交流電力の位相は、変電設備等の環境に応じて、交流電力の周期を３で割った時間だけシフトする可能性がある。実施形態では、基準信号生成部１７が、交流電力の周期を３の倍数で割った時間だけずれた、３の倍数の基準信号を設定する。車両の走行により車両周辺の信号機に供給される交流電力の位相が変化した場合、基準信号生成部１７が設定した３の倍数の基準信号の中で基準信号を切り替える。これにより、変化後の交流電力の位相に一致した基準信号を、位相調整部１６による位相調整無しに、選択することができる。

【0052】

位相調整部１６は、選択した基準信号Ｌ０１から正及び負の方向に等しい位相だけずれた他の基準信号（Ｌ０２、Ｌ０３）の各々を用いてカメラ画像を検波して得られる検波出力値が等しくなるように、３つの基準信号（Ｌ０１、Ｌ０２、Ｌ０３）の各位相を同じ時間だけずらす。これにより、選択した基準信号Ｌ０１の位相を交流電力の位相に合わせることができる。これにより、基準信号Ｌ０１を用いて検波された同期画像Ｇ０１の検波出力値は最も大きな値となり、同期画像Ｇ０１の輝度の変化幅も最大値となる。

【0053】

位相調整部１６は、カメラ画像のうち輝度変化の幅が最も大きな領域を検波して得られた検波出力値を用いて、位相調整を行ってもよい。輝度変化の幅が大きいほど、位相シフトによる検波出力値の変化幅が大きくなるため、位相調整の精度が向上する。

【0054】

位相調整部１６は、カメラ画像のうち道路の路肩が撮像される領域を検波して得られた検波出力値を用いてもよい。道路の路肩にある、看板、自動販売機、街灯を含む電灯は、遠方の信号機に比べて輝度変化の幅が大きい。そこで、位相調整部１６は、カメラ画像のうち、道路の路肩が撮像される領域（Ｒ２、Ｒ３）を検波して得られる検波出力値を用いる。これにより、選択した基準信号の位相を精度良く交流電力の位相に合わせることができる。

【0055】

車両がトンネル内を走行している場合、一般的に、道路の路肩に、看板、自動販売機、街灯を含む電灯は存在しないわかりに、トンネル内壁に設けられた照明ランプが存在する。そこで、位相調整部１６は、カメラ画像のうち、トンネル内壁に設けられた照明ランプ３４が撮像される領域Ｒ４を検波して得られる検波出力値を用いてもよい。これにより、選択した基準信号の位相を精度良く交流電力の位相に合わせることができる。

【0056】

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

【0057】

「信号機に供給される交流電力の周期を３の倍数で割った時間だけ位相がずれた、３の倍数の基準信号」として、交流電力の周期を３で割った時間だけ位相がずれた３つの基準信号（Ｌ０１、Ｌ０２、Ｌ０３）を例示した。もちろん、基準信号の数は、３に限らず、６、９、１２、・・・であってもよい。

【0058】

図７は、６つの基準信号の各々から得られる６つの同期画像（Ｇ０１〜Ｇ０６）の検波出力値の一例を示す。６つの同期画像のうち同期画像Ｇ０３の検波出力値が最も大きい。そして、同期画像Ｇ０３に対応する基準信号から正及び負の方向に等しい位相だけずれた他の基準信号の各々に対応する検波出力値がほぼ一致している。具体的には、Ｇ０２とＧ０４の検波出力値がほぼ一致し、Ｇ０１とＧ０５の検波出力値がほぼ一致している。よって、図７の例では、同期画像Ｇ０３に対応する基準信号が、交流電力の位相に整合していると判断できる。

【符号の説明】

【0059】

１１ 撮像部
１２ 信号機検出部
１５ 同期画像生成部（同期画素抽出部）
１６ 位相調整部
１７ 基準信号生成部
１８ 信号機判断部
２８ カメラ画像（画像）
３３、３２ 信号機
５３ｂ 同期画素
Ｒ２〜Ｒ４ 画像領域
Ｌ０１、Ｌ０２、Ｌ０３ 基準信号

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】