▶ 日産自動車株式会社の特許一覧 ▶ ルノー エス．ア．エス．の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-06
(45)【発行日】2023-09-14
(54)【発明の名称】信号機認識方法及び信号機認識装置
(51)【国際特許分類】
G08G 1/09 20060101AFI20230907BHJP
【ＦＩ】
G08G1/09 D
【請求項の数】
5
(21)【出願番号】P 2019213698
(22)【出願日】2019-11-26
(65)【公開番号】P2021086317
(43)【公開日】2021-06-03
【審査請求日】2022-08-02
(73)【特許権者】
【識別番号】000003997
【氏名又は名称】日産自動車株式会社
(73)【特許権者】
【識別番号】507308902
【氏名又は名称】ルノー エス．ア．エス．
【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．
【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ
(74)【代理人】
【識別番号】110002468
【氏名又は名称】弁理士法人後藤特許事務所
(72)【発明者】
【氏名】チョ ヒョンソン
(72)【発明者】
【氏名】松尾 治夫
【審査官】秋山 誠
(56)【参考文献】
【文献】特表２０１８－５１０３７３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／０９
(57)【特許請求の範囲】
【請求項1】
信号機の点灯状態を検出する信号機認識方法であって、車両に搭載された第１撮像部を用いて前記車両の前方を撮像し、
前記車両に搭載され、前記第１撮像部よりも画角が狭い第２撮像部を用いて前記車両の前方を撮像し、
前記第１撮像部により撮像された第１画像中の信号機を特定し、
前記第２撮像部により撮像された第２画像中の信号機を特定し、
前記第１画像中の信号機と、前記第２画像中の信号機とが同一の信号機であるかを判定し、
同一と判定された信号機が複数ある場合、前記複数の信号機のうちの１の信号機が前記第２画像から消失した際に、前記第２画像から消失した信号機のみの点灯状態を検出する、
ことを特徴とする信号機認識方法。
【請求項2】
前記第１撮像部と前記第２撮像部とは、前記車両内の異なる位置に搭載され、同一と判定された信号機が複数ある場合、前記第１撮像部と前記第２撮像部との視差に基づき各信号機の前記車両からの距離を算出し、
同一と判定された前記複数の信号機のうちの１の信号機が前記第２画像から消失していない間は、算出された距離が最も短い信号機の点灯状態を検出する、
ことを特徴とする請求項１に記載の信号機認識方法。
【請求項3】
同一と判定された信号機が複数ある場合、同一と判定された前記複数の信号機のうちの１の信号機が前記第２画像から消失していない間は、前記第１画像中の最も高い位置にある信号機の点灯状態を検出する、ことを特徴とする請求項１に記載の信号機認識方法。
【請求項4】
前記第１画像中に特定される信号機がない場合、前記第１画像中に信号機が現れるまでの間は、前記第２画像中の最も高い位置にある信号機の点灯状態を検出する、ことを特徴とする請求項１～３のいずれか一項に記載の信号機認識方法。
【請求項5】
車両に搭載され、前記車両の前方を撮像する第１撮像部と、前記車両に搭載され、前記第１撮像部よりも画角が狭く且つ前記車両の前方であって前記第１撮像部の撮像可能距離よりも遠方を撮像可能な第２撮像部と、
前記第１撮像部により撮像された第１画像中の信号機を特定する第１信号機特定部と、
前記第２撮像部により撮像された第２画像中の信号機を特定する第２信号機特定部と、
前記第１信号機特定部により特定された信号機と、前記第２信号機特定部により特定された信号機とが同一の信号機であるかを判定する同一信号機判定部と、
前記車両の直近の信号機の点灯状態を検出する現示検出部と、
を備える信号機認識装置であって、
前記現示検出部は、前記同一信号機判定部により同一と判定された信号機が複数ある場合、前記複数の信号機のうちの１の信号機が前記第２画像から消失した際に、前記第２画像から消失した信号機を前記直近の信号機として、その点灯状態を検出する、
信号機認識装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、信号機認識方法及び信号機認識装置に関する。
【背景技術】
【0002】
従来、車両の進行方向を撮像した画像から信号機を認識する信号機認識装置が知られている。特許文献１には、地図情報と車両位置検出装置により検出された自車両の位置・姿勢とに基づき、カメラで撮像した画像中に信号機の検出領域を設定する信号機認識装置が開示されている。この信号機認識装置では、検出領域内に存在する信号機を画像処理して該信号機の点灯状態を検出している。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００７－２４１４６９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に記載された信号機認識装置では、市街地のように信号機間距離が短いところでは、直近の信号機よりも遠方の信号機が同時に検出領域に入ってしまう場合がある。そのため、遠方の信号機の情報を、直近の信号機の情報と誤認識してしまう可能性がある。このような誤認識が発生すると、車両の誤発進、誤停止の原因となる。
【0005】
本発明は、上記課題に鑑みたものであり、信号機の誤認識の発生を防止し、車両の誤発進、誤停止を防止する信号機認識方法及び信号機認識装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様によれば、信号機の点灯状態を検出する信号機認識方法が提供される。この信号機認識方法では、車両に搭載された第１撮像部を用いて車両の前方を撮像し、車両に搭載され、第１撮像部よりも画角が狭い第２撮像部を用いて車両の前方を撮像する。そして第１撮像部により撮像された第１画像中の信号機を特定し、第２撮像部により撮像された第２画像中の信号機を特定し、第１画像中の信号機と、第２画像中の信号機とが同一の信号機であるかを判定する。同一と判定された信号機が複数ある場合、複数の信号機のうちの１の信号機が第２画像から消失した際に、第２画像から消失した信号機の点灯状態を検出する。
【発明の効果】
【0007】
本発明の信号機認識方法によれば、第１撮像部を用いて撮像された第１画像中の信号機と、第１撮像部よりも画角が狭い第２撮像部を用いて撮像された第２画像中の信号機とが同一の信号機であるかを判定する。そして、同一と判定された信号機が複数ある場合、複数の信号機のうちの１の信号機が第２画像から消失した際に、第２画像から消失した信号機の点灯状態を検出する。車両が直近の信号機に近づくと、第１撮像部よりも画角が狭い第２撮像部を用いて撮像された第２画像中からは直近の信号機が消失する。一方、直近の信号機よりも遠方にある信号機は、直近の信号機よりも先には第２画像中から消失しない。従って、第２画像から消失した信号機の点灯状態を検出することにより、複数の信号機の中から直近の信号機の点灯状態を検出することができる。これにより、信号機の誤認識の発生を防止することができ、車両の誤発進、誤停止を防止することができる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下、図面等を参照しながら、本発明の実施形態について説明する。
【0010】
（第１実施形態）
図１は、第１実施形態による信号機認識装置１００の構成を示すブロック図である。
図１は、第１実施形態による信号機認識装置１００の構成を示すブロック図である。
【0011】
図１に示すように、第１実施形態に係る信号機認識装置１００は、第１撮像部１０、第１信号機特定部１１、第２撮像部２０、第２信号機特定部２１、地図情報取得部３０、自己位置取得部４０、同一信号機判定部５０、現示検出部６０、コントローラ７０を備える。信号機認識装置１００は、例えば自動運転機能を有する車両（図示しない）に搭載され、車両前方の信号機の点灯色等の点灯状態（現示）を検出する。信号機認識装置１００により検出された現示は、自動運転制御等に用いられる。
【0012】
第１撮像部１０は、例えば、ＣＣＤ、ＣＭＯＳ等の固体撮像素子を備えたデジタルカメラであり、自車両（車両）に搭載される。第１撮像部１０は、自車両の走行路の前方を撮像して、前方周辺領域のデジタル画像（第１画像）を取得する。第１撮像部１０により取得されたデジタル画像（第１画像）は、第１信号機特定部１１に出力される。第１撮像部１０の設置位置に関する情報（とくに後述する第２撮像部２０の設置位置との車両の前後、車幅、高さ方向における距離）は、第１信号機特定部１１、同一信号機判定部５０、現示検出部６０及びコントローラ７０に記憶されている。第１撮像部１０の設置位置に関する情報は、後述する同一信号機判定部５０による同一信号の判定等に用いられる。
【0013】
第１撮像部１０は、画角Ａ１を有し、後述する第２撮像部２０に比して、自車両からの前方距離が相対的に近い範囲であって、広角な範囲のデジタル画像（第１画像）を取得する。なお、第１撮像部１０の撮像範囲についての詳細は後述する。
【0014】
第２撮像部２０は、例えば、ＣＣＤ、ＣＭＯＳ等の固体撮像素子を備えたデジタルカメラであり、第１撮像部１０と同様に車両（自車両）に搭載される。第２撮像部２０は、自車両の走行路の前方を撮像して、前方周辺領域のデジタル画像（第２画像）を取得する。第２撮像部２０により取得されたデジタル画像（第２画像）は、第２信号機特定部２１に出力される。第２撮像部２０の設置位置に関する情報（とくに第１撮像部１０の設置位置との車両の前後、車幅、高さ方向における距離）は、第２信号機特定部２１、同一信号機判定部５０、現示検出部６０及びコントローラ７０に記憶されている。第２撮像部２０の設置位置に関する情報は、後述する同一信号機判定部５０による同一信号の判定等に用いられる。
【0015】
第２撮像部２０は、第１撮像部１０の画角Ａ１よりも狭い画角Ａ２を有し、第１撮像部１０撮像可能距離よりも遠方を撮像可能である。なお、第２撮像部２０の撮像範囲についての詳細は後述する。
【0016】
地図情報取得部３０は、地図データベース（図示しない）より、自車両が走行する走行路周辺の地図情報を取得する。この地図情報には、走行路付近に存在する信号機の位置情報等が含まれる。地図情報取得部３０は、取得した地図情報をそれぞれ自己位置取得部４０、第１信号機特定部１１、第２信号機特定部２１に出力する。
【0017】
自己位置取得部４０は、センサ４１及び位置検出部４２を含む。センサ４１は、自車両の周辺情報を検出する検出機器であり、例えば車載されたカメラやレーダー等である。センサ４１により検出される周辺情報には、例えば自車両周辺の路面の白線や停止線、文字、道路周辺の標識等が含まれる。位置検出部４２は、センサ４１で取得された自車両の周辺情報と、地図情報取得部３０から入力された地図情報とに基づき、自車両の地図上の現在位置及び自車両の姿勢（ヨー、ピッチ、ロール）を自車両の位置情報として検出する。即ち、位置検出部４２は、センサ４１による周辺情報と、地図情報取得部３０から入力された地図情報とを照合することで、自車両の位置情報を検出する。自車両の位置情報は、第１信号機特定部１１及び第２信号機特定部２１に出力される。
【0018】
第１信号機特定部１１及び第２信号機特定部２１は、それぞれ第１撮像部１０及び第２撮像部２０から入力された第１画像及び第２画像に信号機検出領域（ＲＯＩ）を設定し、信号機検出領域の範囲内にある信号機を特定する。信号機検出領域は、地図情報取得部３０から入力された信号機の位置情報を含む地図情報と、自己位置取得部４０から入力された自車両の位置情報（自車両の地図上の現在位置及び姿勢）とに基づき設定される。即ち、第１信号機特定部１１及び第２信号機特定部２１は、地図情報と、自車両の位置情報とから、それぞれ第１画像及び第２画像の中で信号機が存在し得る領域を算出し、算出された領域を信号機検出領域として設定する。また、第１信号機特定部１１及び第２信号機特定部２１は、設定した信号機検出領域の中から信号機を特定する。信号機特定方法としては、例えば、信号機の信号灯が商用電源の交流周波数に同期して点滅することを検出する方法や、機械学習によって色情報や丸形形状等の形の特徴から画像での物体認識をすることで信号機を特定する方法を用いることができる。
【0019】
第１信号機特定部１１は、第１撮像部１０から取得した第１画像、第１画像から特定した信号機の画像上の座標を同一信号機判定部５０に出力する。同様に、第２信号機特定部２１は、第２撮像部２０から取得した第２画像、第２画像から特定した信号機の画像上の座標を同一信号機判定部５０に出力する。
【0020】
同一信号機判定部５０は、第１画像及び第２画像中に特定された信号機のうち、同一の信号機を特定する。上記の通り、同一信号機判定部５０には、第１信号機特定部１１により特定された第１画像中の信号機の座標及び第２信号機特定部２１により特定された第２画像中の信号機の座標が入力される。同一信号機判定部５０は、第１画像及び第２画像中の信号機の座標と、予め記憶した第１撮像部１０及び第２撮像部２０の設置位置に関する情報とから、第１画像及び第２画像中に特定された信号機のうち、同一の信号機を特定する。同一信号機判定部５０により特定された同一の信号機の情報（同一信号機情報）は、現示検出部６０に出力される。なお、同一信号機の特定方法の詳細は後述する。
【0021】
現示検出部６０は、自車両前方直近の信号機（以下、直近の信号機と略称する）を検出し、直近の信号機の点灯色等の点灯状態（現示）を検出する。なお、直近の信号機の特定方法の詳細は後述する。
【0022】
コントローラ７０は、マイクロコンピュータ、マイクロプロセッサ、ＣＰＵを含む汎用の電子回路と周辺機器から構成され、特定のプログラムを実行することにより信号機認識装置１００を制御するための処理を実行する。コントローラ７０は、例えば信号機特定部１１，２１、自己位置取得部４０、同一信号機判定部５０、現示検出部６０における処理を実現するとともに、後述する信号機認識制御等、信号機認識装置１００全体の制御を行う。なお、コントローラ７０は、車両に関する他の制御（例えば、自動運転制御等）に用いるＥＣＵと兼用してもよい。
【0023】
図２は、撮像部１０，２０の撮像範囲及び直近の信号機の検出方法を説明する図である。
【0024】
図２は、直近の信号機及び直近の信号機の次に自車両から近い距離にある信号機（次交差点信号機）の信号機間距離ｌが短い場合における自車両と第１信号機までの距離と、自車両と信号機との傾斜角（信号機へのピッチ角）の関係を示している。図２の縦軸は信号機へのピッチ角、横軸は自車両から前方直近の信号機までの距離を表している。なお、直近の信号機と次交差点信号機とは、信号機間距離がｌだけ離れているため、図２において自車両と直近の信号機との距離がＬである場合、自車両と次交差点信号機との距離はＬ＋ｌとなる。
【0025】
前述のとおり、第１撮像部１０は、第２撮像部２０に比して広角な画角Ａ１を有し、第２撮像部２０に比して、自車両からの前方距離が相対的に近い範囲（Ｌ１～Ｌ３）を撮像した第１画像を取得する。第１画像は、第１信号機特定部１１により、自車両からの前方距離（所定距離）Ｌ１からＬ３の範囲における、自車両と信号機との傾斜角（信号機へのピッチ角）ｄ１までの信号機を特定できる画像である。即ち、第１信号機特定部１１は、図２の点Ａ，Ｂ，Ｃ，Ｄで囲まれた四角形Ｒ１に示す範囲の信号機を特定することができる。なお、画角Ａ１は、好ましくは、一般的な高さＨを有する直近の信号機に対し、自車両が停止線を過ぎて交差点に進入しても、直近の信号機が所定距離Ｌ１～Ｌ３、信号機へのピッチ角ｄ１の範囲（Ｒ１）内に入るような画角である。また、所定距離Ｌ３は、第１撮像部１０が、第１信号機特定部１１によって直近の信号機を特定できる解像度あるいは画像上の信号機の大きさ等を有する画像を得られる位置のうち、直近の信号機から最も遠い距離に相当する。
【0026】
また、次交差点信号機は、直近の信号機よりも自車両から距離ｌだけ離れている。従って、第１撮像部１０は、自車両から直近の信号機までの距離がＬ１よりも距離ｌだけ近いＬ１’から、自車両から直近の信号機までの距離がＬ３よりも距離ｌだけ近いＬ３’までの範囲において次交差点信号機を撮像することが可能である。即ち、第１信号機特定部１１は、図２の点Ａ’，Ｂ’，Ｃ’，Ｄ’で囲まれた四角形Ｒ１’に示す範囲の次交差点信号機を特定することができる。
【0027】
第２撮像部２０は、第１撮像部１０の画角Ａ１よりも狭い画角Ａ２を有し、第１撮像部１０撮像可能距離よりも遠方までの範囲（Ｌ１～Ｌ４）を撮像した第２画像を取得する。第２画像は、第２信号機特定部２１により、自車両からの前方距離（所定距離）Ｌ１からＬ４の範囲における、自車両と信号機との傾斜角（信号機へのピッチ角）ｄ２までの信号機を特定できる画像である。即ち、第２信号機特定部２１は、図２の点Ａ，Ｆ，Ｇ，Ｅで囲まれた四角形Ｒ２に示す範囲の信号機を特定することができる。図２に示す通り、第２信号機特定部２１は、第１信号機特定部１１に比べて遠方の信号機まで特定可能であるが、信号機を特定可能なピッチ角の範囲は第１信号機特定部１１に比べて狭い。なお、所定距離Ｌ４は、第２撮像部２０が、第２信号機特定部２１によって直近の信号機を特定できる解像度あるいは画像上の信号機の大きさ等を有する画像を得られる位置のうち、直近の信号機から最も遠い距離に相当する。
【0028】
また、次交差点信号機は、直近の信号機よりも自車両から距離ｌだけ離れている。従って、第２撮像部２０は、自車両から直近の信号機までの距離がＬ１よりも距離ｌだけ近いＬ１’から、自車両から直近の信号機までの距離がＬ４よりも距離ｌだけ近いＬ４’までの範囲において次交差点信号機を撮像することが可能である。即ち、第２信号機特定部２１は、図２の点Ａ’，Ｆ’，Ｇ’，Ｅ’で囲まれた四角形Ｒ２’に示す範囲の次交差点信号機を特定することができる。
【0029】
自車両から直近の信号機までの距離が、図２のＬ２以上Ｌ３’以下の範囲に自車両がある場合、直近の信号機と次交差点信号機とは、第１撮像部１０及び第２撮像部２０の両方によって撮像される。即ち、第１画像中及び第２画像中のいずれにおいても直近の信号機と、次交差点信号機とが存在する。このとき、直近の信号機と、次交差点信号機との信号機間距離ｌが短いと、直近の信号機及び次交差点信号機のどちらも信号機検出領域に入ってしまい、第１信号機特定部１１及び第２信号機特定部２１によって２つの信号機（直近の信号機及び次交差点信号機）が特定される。
【0030】
次に、直近の信号機までの距離がＬ２になる位置まで自車両が直近の信号機に近づくと、直近の信号機へのピッチ角はｄ２よりも大きくなり、直近の信号機は第２撮像部２０によって撮像されない。一方、Ｌ２において、次交差点信号機へのピッチ角はｄ２よりも小さいため、次交差点信号機は第２撮像部２０により撮像される。また、Ｌ２において、直近の信号機及び次交差点信号機へのピッチ角はいずれもｄ１よりも小さいため、直近の信号機及び次交差点信号機は、いずれも第１撮像部１０によって撮像される。即ち、自車両が直近の信号機からの距離Ｌ２まで直近の信号機に近づくと、第１画像中には２つの信号機（直近の信号機及び次交差点信号機）が存在するが、第２画像中からは直近の信号機が消失し、第２画像中には次交差点信号機のみが存在する。従って、自車両が、直近の信号機までの距離Ｌ２に位置する場合、直近の信号機と次交差点信号機との信号機間距離ｌが短いと、第１信号機特定部１１によって、２つの信号機（直近の信号機及び次交差点信号機）が特定され、第２信号機特定部２１によって、次交差点信号機のみが特定される。
【0031】
図３は、第１実施形態における信号機認識装置１００による信号機認識方法（制御）を説明するフローチャートである。信号機認識装置において、撮像された自車両前方の画像内の複数の信号機が存在し、それが市街地のように信号機間距離が短いと、直近の信号機よりも遠方の信号機が同時に信号機検出領域（ＲＯＩ）に入ってしまう場合がある。このような場合、遠方の信号機の情報を、直近の信号機の情報と誤認識してしまう可能性があり、車両の誤発進、誤停止の原因となる。これに対し、本実施形態では、以下で説明する信号機認識方法（制御）によって、直近の信号機とその以外の信号機との信号機間距離が短く、複数の信号機が信号機検出領域に入ってしまうような場合でも、自車両の前方直近の信号機の現示を検出することができる。従って、信号機の誤認識を防止することができる。なお、以下の制御は一定時間ごとに、いずれもコントローラ７０（信号機特定部１１，２１、自己位置取得部４０、同一信号機判定部５０、現示検出部６０を含む）により実行される。
【0032】
ステップＳ１０１において、第１信号機特定部１１及び第２信号機特定部２１は、第１撮像部１０で取得した第１画像及び第２撮像部２０で取得した第２画像の中にそれぞれ信号機検出領域（ＲＯＩ）を設定し、設定した信号機検出領域の中から、信号機を特定する。前述のとおり、信号機検出領域は、地図情報と、自車両の位置情報とから、それぞれ第１画像及び第２画像の中で信号機が存在し得る領域を算出することにより設定される。
【0033】
ステップＳ１０２において、コントローラ７０は、第２信号機特定部２１により特定された信号機が複数あるか否かを判定する。第２信号機特定部２１により特定された信号機がない場合または第２信号機特定部２１により特定された信号機が１つのみである場合、直近の信号機よりも遠方の信号機が同時に信号機検出領域に入ってしまう状況には該当しない。従ってこの場合、コントローラ７０は、信号機認識制御を終了する。一方、ステップＳ１０２において、第２信号機特定部２１により特定された信号機が複数ある場合、コントローラ７０は、ステップＳ１０３の処理を実行する。
【0034】
ステップＳ１０３において、コントローラ７０は、第１信号機特定部１１により特定された信号機が複数あるか否かを判定する。第１信号機特定部１１により特定された信号機がない場合または第１信号機特定部１１により特定された信号機が１つのみである場合、直近の信号機よりも遠方の信号機が同時に第１画像の信号機検出領域に入ってしまう状況には該当しない。従ってこの場合、コントローラ７０は、信号機認識制御を終了する。一方、ステップＳ１０３において、第１信号機特定部１１により特定された信号機が複数ある場合、直近の信号機よりも遠方の信号機が同時に第１画像の信号機検出領域に入ってしまう状況、即ち自車両が図２おけるＬ２～Ｌ３’の範囲に位置する場合に該当する。この場合、コントローラ７０は、ステップＳ１０４の処理を実行する。
【0035】
ステップＳ１０４において、同一信号機判定部５０（コントローラ７０）は、第１信号機特定部１１により特定された複数の信号機及び第２信号機特定部２１により特定された複数の信号機のうち、同一の信号機を特定する。同一信号機の特定は、例えば以下の式（１）～（３）を用いて行うことができる。式（１）において、ｘ１image、ｙ１imageは第１画像中での信号機の座標、ｋ１x、ｋ１yは第１撮像部１０の横方向と縦方向の有効画素サイズ、ｃ１x、ｃ１yは第１画像の画像中心、ｆ１は第１撮像部１０の焦点距離、Ｘ１、Ｙ１、Ｚ１は第１撮像部１０から信号機までの実空間での左右、上下、前後方向の距離である。また、式（２）において、ｘ２image、ｙ２imageは第２画像中での信号機の座標、ｋ２x、ｋ２yは第２撮像部２０の横方向と縦方向の有効画素サイズ、ｃ２x、ｃ２yは第２画像の画像中心、ｆ２は第２撮像部２０の焦点距離、Ｘ２、Ｙ２、Ｚ２は第２撮像部２０から信号機までの実空間での左右、上下、前後方向の距離である。式（３）におけるＬは、第１撮像部１０と第２撮像部２０との実空間での距離である。なお、本実施形態においては第１撮像部１０と第２撮像部２０の設置位置はＸ方向（車幅方向）においてのみ異なり、Ｙ（前後），Ｚ（高さ）方向は同一であるが、第１撮像部１０と第２撮像部２０の設置位置はこれに限られない。例えばＺ方向において異なる位置に設定してもよい。
【数1】
【数2】
【数3】
【0036】
第１撮像部１０と第２撮像部２０とが信号機に対して正面を向いているとき、第１信号機特定部１１により特定された信号機と、第２信号機特定部２１により特定された信号機が同一である場合、式（３）が成立する。即ち、同一信号機判定部５０は、式（１）～（３）に基づき、同一信号機を特定することができる。
【0037】
ステップＳ１０４において、第１信号機特定部１１により特定された信号機と第２信号機特定部２１により特定された信号機の対応関係（同一信号機）を特定すると、コントローラ７０は、ステップＳ１０５の処理を実行する。
【0038】
ステップＳ１０５において現示検出部６０（コントローラ７０）は、ステップＳ１０４において対応付け（特定）された同一信号機のうち、第２画像中から消失した信号機があるか否かを判定する。第２画像中から消失した信号機がない場合、自車両は、直近の信号機との距離がＬ２よりも離れたところに位置している。この場合、コントローラ７０は、第２画像中から１つの信号機が消失するまで、即ち自車両が、直近の信号機との距離がＬ２になる位置に到達するまでステップＳ１０５の処理を繰り返す。一方、第２画像中から消失した信号機がある場合、即ち、直近の信号機との距離がＬ２になる位置に自車両が到達した場合、コントローラ７０は、ステップＳ１０６の処理を実行する。
【0039】
ステップＳ１０６において、現示検出部６０（コントローラ７０）は、第２画像中から消失した信号機の現示を検出する。前述のとおり、自車両から直近の信号機までの距離がＬ２になると、直近の信号機へのピッチ角はｄ２よりも大きく、ｄ１よりも小さくなる（図２を参照）。従って、直近の信号機までの距離がＬ２になる位置に自車両が到達すると、直近の信号機は第１画像中には存在するが、第２画像中からは消失する。一方、図２のＬ２において、直近の信号機よりも遠方にある信号機（次交差点信号機）はピッチ角がｄ２よりも小さいため、第２画像中から消失しない。従って、現示検出部６０は、第１画像中に特定された信号機のうち、第２画像中から消失した信号機と同一の信号機の現示を検出することで、直近の信号機の現示を検出することができる。つまり、直近の信号機と次交差点信号機との信号機間距離ｌが短く、複数の信号機が同時に第１画像の信号機検出領域に入ってしまう場合でも、信号機認識装置１００は直近の信号機の現示を検出することができる。第２画像中から消失した信号機の現示を検出すると、コントローラ７０は、信号機認識制御を終了する。
【0040】
以上の信号機認識制御により、本実施形態の信号機認識装置１００は、直近の信号機とそれよりも遠方の信号機との信号機間距離ｌが短く、複数の信号機が同時に信号機検出領域に入ってしまう場合でも、直近の信号機を特定でき、直近の信号機の現示を検出することができる。
【0041】
上記した第１実施形態の信号機認識装置１００によれば、以下の効果を得ることができる。
【0042】
信号機認識装置１００においては、第１撮像部１０を用いて撮像された第１画像中の信号機と、第１撮像部１０よりも画角が狭い第２撮像部２０を用いて撮像された第２画像中の信号機とが同一の信号機であるかを判定する。そして、同一と判定された信号機が複数ある場合、複数の信号機のうちの１の信号機が第２画像から消失した際に、第２画像から消失した信号機の点灯状態（現示）を検出する。自車両が直近の信号機に近づくと、直近の信号機へのピッチ角が大きくなり、第２撮像部２０を用いて撮像された第２画像中からは直近の信号機が消失する。一方、直近の信号機よりも遠方にある信号機へのピッチ角は、直近の信号機へのピッチ角よりも小さいため、遠方にある信号機は直近の信号機よりも先には第２画像中から消失しない。従って、第２画像から消失した信号機の点灯状態（現示）を検出することにより、複数の信号機の中から直近の信号機の点灯状態（現示）を検出することができる。これにより、信号機の誤認識の発生を防止することができ、車両の誤発進、誤停止を防止することができる。
【0043】
なお、本実施形態において、第１撮像部１０及び第２撮像部２０の設置位置に関する情報は、第１信号機特定部１１、第２信号機特定部２１、同一信号機判定部５０、現示検出部６０及びコントローラ７０に記憶されている構成としたが必ずしもこれに限られない。例えば、キャリブレーション用のマークなどを自車両に対して既知の位置に設置して、第１及び第２撮像部１０，２０で撮像された画像上の位置から設置位置を算出してもよい。この場合、算出された設置位置に関する情報は、第１及び第２画像とともに、第１及び第２信号機特定部１１，２１、同一信号機判定部５０、現示検出部６０及びコントローラ７０に出力される。
【0044】
（第２実施形態）
図４を参照して、第２実施形態の信号機認識装置１００を説明する。なお、第１実施形態と同様の要素には同一の符号を付し、その説明を省略する。
図４を参照して、第２実施形態の信号機認識装置１００を説明する。なお、第１実施形態と同様の要素には同一の符号を付し、その説明を省略する。
【0045】
図４は、第２実施形態における信号機認識装置１００による信号機認識方法（制御）を説明するフローチャートである。第２実施形態においては、複数の信号機のうちの１の信号機が第２画像から消失していない間は、第１撮像部１０と第２撮像部２０との視差に基づき直近の信号機を特定する点が第１実施形態と異なる。なお、第２実施形態においては、第１撮像部１０と第２撮像部２０とは、自車両の異なる位置に搭載されている。
【0046】
ステップＳ１０１からＳ１０５までは第１実施形態と同様であるため、説明を省略する。
【0047】
ステップＳ１０５において、第２画像中から消失した信号機がある場合、現示検出部６０（コントローラ７０）は、ステップＳ１０６において、第２画像中から消失した信号機の現示を検出する。これにより、現示検出部６０（コントローラ７０）は直近の信号機の現示を検出することができる。第２画像中から消失した信号機の現示を検出すると、コントローラ７０は、信号機認識制御を終了する。
【0048】
一方、ステップ１０５において、第２画像中から消失した信号機がない場合、即ち直近の信号機との距離がＬ２になる位置に自車両が到達していない場合、コントローラ７０は、ステップＳ２０７の処理を実行する。ステップＳ２０７において、現示検出部６０（コントローラ７０）は、第１撮像部１０（第１画像）と第２撮像部２０（第２画像）との視差に基づき自車両から各信号機までの距離を算出する。現示検出部６０には、第１撮像部１０及び第２撮像部２０の設置位置に関する情報が記憶されているため、第１撮像部１０及び第２撮像部２０の設置位置と、第１画像及び第２画像とに基づき視差を求めることができる。なお、視差は既知のどの方法によって求めてもよい。現示検出部６０は、この視差に基づき、自車両からステップＳ１０４において対応付け（特定）された各信号機までの距離を算出する。自車両から各信号機までの距離を算出すると、コントローラ７０は、ステップＳ２０８の処理を実行する。
【0049】
ステップＳ２０８において、現示検出部６０（コントローラ７０）は、第１画像で特定された信号機のうち、ステップＳ２０７で算出した自車両からの距離が最も短い信号機の現示を検出する。これにより、直近の信号機とそれ以外の信号機との信号機間距離が短く、複数の信号機が同時に信号機検出領域に入ってしまう場合に、直近の信号機との距離がＬ２になる位置に自車両が到達していない間にも、直近の信号機の現示を検出することができる。
【0050】
上記した第２実施形態の信号機認識装置１００によれば、以下の効果を得ることができる。
【0051】
信号機認識装置１００においては、第１撮像部１０と、第１撮像部１０よりも画角が狭い第２撮像部２０とは、自車両（車両）８０内の異なる位置に搭載される。また、第１撮像部１０によって撮像された第１画像と第２撮像部２０によって撮像された第２画像の中に同一と判定された信号機が複数ある場合、第１撮像部１０と第２撮像部２０との視差に基づき各信号機の自車両（車両）８０からの距離を算出する。そして、同一と判定された複数の信号機のうちの１の信号機が第２画像から消失していない間は、算出された距離が最も短い信号機の点灯状態（現示）を検出する。これにより、直近の信号機とそれ以外の信号機との信号機間距離が短く、複数の信号機が同時に信号機検出領域に入ってしまう場合に、第２画像から直近の信号機が消失する位置（Ｌ２）に自車両が到達していない間にも、直近の信号機の現示を検出することができる。従って、信号機の誤認識の発生をより確実に防止することができ、車両の誤発進、誤停止を防止することができる。
【0052】
（第３実施形態）
図５を参照して、第３実施形態の信号機認識装置１００を説明する。なお、他の実施形態と同様の要素には同一の符号を付し、その説明を省略する。
図５を参照して、第３実施形態の信号機認識装置１００を説明する。なお、他の実施形態と同様の要素には同一の符号を付し、その説明を省略する。
【0053】
図５は、第３実施形態における信号機認識装置１００による信号機認識方法（制御）を説明するフローチャートである。第３実施形態においては、複数の信号機のうちの１の信号機が第２画像から消失していない間は、第１画像中の最も高い位置に特定された信号機の現示を検出する点が第１及び第２実施形態と異なる。
【0054】
ステップＳ１０１からＳ１０５までは第１及び第２実施形態と同様であるため、説明を省略する。
【0055】
ステップＳ１０５において、第２画像中から消失した信号機がある場合、現示検出部６０（コントローラ７０）は、ステップＳ１０６において、第２画像中から消失した信号機の現示を検出する。これにより、現示検出部６０（コントローラ７０）は直近の信号機の現示を検出することができる。第２画像中から消失した信号機の現示を検出すると、コントローラ７０は、信号機認識制御を終了する。
【0056】
一方、ステップ１０５において、第２画像中から消失した信号機がない場合、即ち直近の信号機との距離がＬ２になる位置に自車両が到達していない場合、コントローラ７０は、ステップＳ３０７の処理を実行する。ステップＳ３０７において、現示検出部６０（コントローラ７０）は、第１画像中に特定された信号機の中で、画像中の位置が最も高い信号機の現示を検出する。自車両が信号機に近づくほど、信号機へのピッチ角は大きくなり、信号機は画像中の高い位置に特定される。従って、自車両との距離が近い信号機ほど画像中の高い位置に特定されるため、第１画像中の最も高い位置に特定された信号機の現示を検出することで、直近の信号機の現示を検出することができる。即ち、直近の信号機とそれ以外の信号機との信号機間距離が短く、複数の信号機が同時に信号機検出領域に入ってしまう場合に、直近の信号機との距離がＬ２になる位置に自車両が到達していない間にも、直近の信号機の現示を検出することができる。
【0057】
なお、本実施形態においては、ステップＳ３０７において、第１画像中に特定された信号機の中で、画像中の位置が最も高い信号機の現示を検出しているが、第２画像中に特定された信号機の中で、画像中の位置が最も高い信号機の現示を検出してもよい。
【0058】
上記した第３実施形態の信号機認識装置１００によれば、以下の効果を得ることができる。
【0059】
信号機認識装置１００においては、第１撮像部１０によって第１画像を、第１撮像部１０よりも画角が狭い第２撮像部２０によって第２画像を撮像する。そして第１画像と第２画像の中に同一と判定された信号機が複数ある場合、同一と判定された複数の信号機のうちの１の信号機が第２画像から消失していない間は、第１画像中の最も高い位置にある信号機の点灯状態（現示）を検出する。これにより、直近の信号機とそれ以外の信号機との信号機間距離が短く、複数の信号機が同時に信号機検出領域に入ってしまう場合に、第２画像から直近の信号機が消失する位置（Ｌ２）に自車両が到達していない間にも、直近の信号機の現示を検出することができる。従って、信号機の誤認識の発生をより確実に防止することができ、車両の誤発進、誤停止を防止することができる。
【0060】
また、視差を用いずに簡易な方法で直近の信号機の現示を検出するため、複雑な演算が不要であり、装置を簡素化することができる。
【0061】
（第４実施形態）
図６を参照して、第４実施形態の信号機認識装置１００を説明する。なお、他の実施形態と同様の要素には同一の符号を付し、その説明を省略する。
図６を参照して、第４実施形態の信号機認識装置１００を説明する。なお、他の実施形態と同様の要素には同一の符号を付し、その説明を省略する。
【0062】
図６は、第４実施形態における信号機認識装置１００による信号機認識方法（制御）を説明するフローチャートである。第４実施形態においては、第１画像中に信号機が存在しない間は、第２画像中の最も高い位置に特定された信号機の現示を検出する点が他の実施形態と異なる。
【0063】
ステップＳ１０１からＳ１０３までは他の実施形態と同様であるため、説明を省略する。
【0064】
ステップＳ１０３において、第１信号機特定部１１により複数の信号機が特定されていない（特定された信号機がない、または特定された信号機が１つのみである）場合、コントローラ７０は、ステップＳ４０７の処理を実行する。一方、第１信号機特定部１１により特定された信号機が複数ある場合、コントローラ７０は、ステップＳ１０４の処理を実行する。
【0065】
ステップＳ４０７において、コントローラ７０は、第１信号機特定部１１により特定された信号機があるか否かを判定する。第１信号機特定部１１により特定された信号機がある場合、即ち、第１信号機特定部１１により１つの信号機が特定されている場合、コントローラ７０は、ステップＳ４０８の処理を実行する。
【0066】
ステップＳ４０７において、第１信号機特定部１１により１つの信号機が特定されていると判定された場合、自車両は、直近の信号機からの距離がＬ３～Ｌ３’の範囲に位置する（図２参照）。Ｌ３～Ｌ３’の範囲においては、第１画像中には直近の信号機のみが存在するため、第１信号機特定部１１により特定された信号機は直近の信号機である。従って、現示検出部６０（コントローラ７０）は、ステップＳ４０８において、第１画像中に特定された信号機の現示を検出する。これにより直近の信号機の現示を検出することができる。ステップＳ４０８において、第１画像中に特定された信号機の現示を検出すると、コントローラ７０は、信号機認識制御を終了する。
【0067】
ステップＳ４０７において、第１信号機特定部１１により特定された信号機がないと判定された場合、コントローラ７０は、ステップＳ４０９の処理を実行する。
【0068】
ステップＳ４０９において、第１信号機特定部１１により特定された信号機がないと判定された場合、自車両は、直近の信号機からの距離がＬ３～Ｌ４’の範囲に位置する（図２参照）。Ｌ３～Ｌ４’の範囲においては、第１撮像部１０によって直近の信号機を撮像できず、第１画像中に信号機が存在しない。従って、ステップＳ４０９において、現示検出部６０（コントローラ７０）は、第２画像中に特定された信号機の中で、画像中の位置が最も高い信号機の現示を検出する。前述のとおり、自車両が信号機に近づくほど、信号機へのピッチ角は大きくなり、信号機は画像中の高い位置に特定される。従って、自車両との距離が近い信号機ほど画像中の高い位置に特定されるため、第２画像中の最も高い位置に特定された信号機の現示を検出することで、直近の信号機の現示を検出することができる。即ち、直近の信号機とそれ以外の信号機との信号機間距離が短い場合に、遠方（第１撮像部１０によって直近の信号機を撮像できない距離）に信号機がある際にも、直近の信号機の現示を検出することができる。
【0069】
ステップＳ４０９において、第２画像中に特定された信号機の中で、画像中の位置が最も高い信号機の現示を検出すると、コントローラ７０は、信号機認識制御を終了する。
【0070】
ステップＳ１０３において、第１信号機特定部１１により特定された信号機が複数あると判定すると、コントローラ７０は、ステップＳ１０４～Ｓ１０６の処理を実行し、信号機認識制御を終了する。なお、ステップＳ１０４～Ｓ１０６の処理は、第１実施形態と同様であるため、説明を省略する。
【0071】
上記した第４実施形態の信号機認識装置１００によれば、以下の効果を得ることができる。
【0072】
信号機認識装置１００においては、第１撮像部１０によって第１画像を、第１撮像部１０よりも画角が狭く且つ第１撮像部１０の撮像可能距離よりも遠方を撮像可能な第２撮像部２０によって第２画像を撮像する。そして第１画像中に特定される信号機がない場合、第１画像中に信号機が現れるまでの間は、第２画像中の最も高い位置にある信号機の点灯状態を検出する。これにより、直近の信号機とその他の信号機との信号機間距離が短く、複数の信号機が同時に（第２画像の）信号機検出領域に入ってしまう場合に、第１画像中に特定される信号機がない間にも、直近の信号機の現示を検出することができる。従って、信号機の誤認識の発生をより確実に防止することができ、車両の誤発進、誤停止を防止することができる。
【0073】
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
【0074】
また、上述した各実施形態は、それぞれ単独の実施形態として説明したが、適宜組み合わせてもよい。
【符号の説明】
【0075】
１０ 第１撮像部
１１ 第１信号機特定部
２０ 第２撮像部
２１ 第２信号機特定部
３０ 地図情報取得部
４０ 自己位置取得部
５０ 同一信号機判定部
６０ 現示検出部
７０ コントローラ
１００ 信号機認識装置
１１ 第１信号機特定部
２０ 第２撮像部
２１ 第２信号機特定部
３０ 地図情報取得部
４０ 自己位置取得部
５０ 同一信号機判定部
６０ 現示検出部
７０ コントローラ
１００ 信号機認識装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】