特許 7261588 信号機認識方法及び信号機認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-12

(45)【発行日】2023-04-20

(54)【発明の名称】信号機認識方法及び信号機認識装置

(51)【国際特許分類】

   G08G 1/09 20060101AFI20230413BHJP

   G06T 7/00 20170101ALI20230413BHJP

【ＦＩ】

G08G1/09 D

G06T7/00 650

【請求項の数】 9

(21)【出願番号】P 2019000132

(22)【出願日】2019-01-04

(65)【公開番号】P2020109560

(43)【公開日】2020-07-16

【審査請求日】2021-11-09

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(73)【特許権者】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】辻 正文

【審査官】貞光 大樹

(56)【参考文献】

【文献】国際公開第２０１６／１９４２２８（ＷＯ，Ａ１）

【文献】国際公開第２０１６／０６３３８５（ＷＯ，Ａ１）

【文献】特開２０１１－１２１３９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － １／１６

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ３／００ － ７／９０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

車載され自車両の前方を撮像する第１撮像部と、
車載され前記自車両の前方を撮像する第２撮像部であって、前記第１撮像部よりも画角が狭く且つ前記第１撮像部による撮像可能範囲よりも前記自車両からみて遠方を撮像する前記第２撮像部と、
コントローラと、
を備える信号機認識装置に係る信号機認識方法であって、
前記コントローラは、
前記自車両の位置及び前記自車両の前方の信号機の位置を取得し、
前記信号機に対応する停止線の位置を取得し、
前記自車両の位置及び前記信号機の位置に基づいて、前記信号機が設置された道路の幅方向に沿った前記信号機の位置と前記自車両の位置の間の距離を、位置ズレ量として算出し、
前記位置ズレ量が小さいほど第１距離を短く設定し、
前記自車両の位置及び前記停止線の位置に基づいて、前記自車両の位置から前記停止線の位置までの距離を算出し、
前記距離が前記第１距離以下となる場合には、前記第１撮像部によって撮像した第１画像を処理画像として選択し、
前記距離が前記第１距離よりも大きい場合には、前記第２撮像部によって撮像した第２画像を前記処理画像として選択し、
前記処理画像に基づいて前記信号機の検出を行うこと
を特徴とする信号機認識方法。

【請求項2】

請求項１に記載の信号機認識方法であって、
前記コントローラは、
前記自車両の周囲の地図情報を取得し、
前記地図情報に基づいて、前記信号機の位置を取得すること
を特徴とする信号機認識方法。

【請求項3】

請求項１又は２に記載の信号機認識方法であって、
前記コントローラは、
前記自車両の位置に基づいて、前記自車両が走行している車線を判定し、
前記車線の上方に前記信号機が存在しない場合と比較して、前記車線の上方に前記信号機が存在する場合には、前記第１距離を短く設定すること
を特徴とする信号機認識方法。

【請求項4】

請求項１～３のいずれか一項に記載の信号機認識方法であって、
前記コントローラは、
前記自車両が走行を予定しているルートが決まっている場合において、前記ルートに基づいて前記道路を特定し、
前記自車両が前記道路に進入して走行を開始する前に、前記第１距離を設定すること
を特徴とする信号機認識方法。

【請求項5】

請求項１～４のいずれか一項に記載の信号機認識方法であって、
前記コントローラは、前記自車両の車線変更時には、前記第１画像に基づいて前記信号機の検出を行うこと
を特徴とする信号機認識方法。

【請求項6】

請求項１～５のいずれか一項に記載の信号機認識方法であって、
前記コントローラは、前記停止線に対応する前記信号機の数が多いほど、前記第１距離を長く設定すること
を特徴とする信号機認識方法。

【請求項7】

請求項１～６のいずれか一項に記載の信号機認識方法であって、
前記コントローラは、前記停止線を前記自車両が通過した後に、前記処理画像を前記第１画像から前記第２画像に切り替えること
を特徴とする信号機認識方法。

【請求項8】

請求項１～６のいずれか一項に記載の信号機認識方法であって、
前記コントローラは、前記停止線を前記自車両が通過した後に、前記自車両が次に通過する他の停止線までの距離が第１撮像部によって撮像可能な距離以下の所定の距離である第２距離以下となる場合には、前記処理画像を前記第１画像のまま維持すること
を特徴とする信号機認識方法。

【請求項9】

車載され自車両の前方を撮像する第１撮像部と、
車載され前記自車両の前方を撮像する第２撮像部であって、前記第１撮像部よりも画角が狭く且つ前記第１撮像部による撮像可能範囲よりも前記自車両からみて遠方を撮像する前記第２撮像部と、
コントローラと、
を備える信号機認識装置であって、
前記コントローラは、
前記自車両の位置及び前記自車両の前方の信号機の位置を取得し、
前記信号機に対応する停止線の位置を取得し、
前記自車両の位置及び前記信号機の位置に基づいて、前記信号機が設置された道路の幅方向に沿った前記信号機の位置と前記自車両の位置の間の距離を、位置ズレ量として算出し、
前記位置ズレ量が小さいほど第１距離を短く設定し、
前記自車両の位置及び前記停止線の位置に基づいて、前記自車両の位置から前記停止線の位置までの距離を算出し、
前記距離が前記第１距離以下となる場合には、前記第１撮像部によって撮像した第１画像を処理画像として選択し、
前記距離が前記第１距離よりも大きい場合には、前記第２撮像部によって撮像した第２画像を前記処理画像として選択し、
前記処理画像に基づいて前記信号機の検出を行うこと
を特徴とする信号機認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、信号機認識方法及び信号機認識装置に関する。

【背景技術】

【0002】

自車両の前方の物体を連続的に監視するため、自車両から前方の物体までの距離が広角画像により所定の精度で物体を検出できる距離を超える場合に狭角画像を選択し、自車両の速度や操舵角などから算出した自車両の進行方向が狭角画像の画角に入らないために物体が狭角画像の撮像範囲外となる場合には、広角画像を選択する車両前方監視装置が提案されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－１２１３９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載の技術によれば、対象物からの距離に応じて画角の異なるカメラを切り替えているため、対象物が信号機である場合、自車両が走行する車線と信号機の間の位置関係は考慮されず、どの車線においても切り替えのタイミングが同じになる。そのため、適切なタイミングで画角の異なるカメラを切り替えることができず、信号機を継続して認識することができないおそれがある。

【0005】

本発明は、上記問題に鑑みてなされたものであり、その目的とするところは、信号機が設置されている位置を考慮して画角の異なるカメラを切り替え、信号機を継続して認識することができる信号機認識方法及び信号機認識装置を提供することにある。

【課題を解決するための手段】

【0006】

上述した問題を解決するために、本発明の一態様に係る信号機認識方法及び信号機認識装置は、自車両の前方を第１撮像部によって撮像した第１画像と、第１画像の撮像可能範囲よりも遠方を第１画像よりも画角が狭い第２撮像部によって撮像した第２画像のうち、一方を処理画像として選択して処理画像に基づいて信号機の検出を行う際、自車両の位置から停止線の位置までの距離が所定の第１距離以下となる場合には、第１画像を処理画像として選択し、自車両の位置から停止線の位置までの距離が第１距離よりも大きい場合には、第２画像を処理画像として選択し、信号機が設置された道路の幅方向に沿った信号機の位置と自車両の位置の間の距離を位置ズレ量として算出し、位置ズレ量が小さいほど第１距離を短く設定する。

【発明の効果】

【0007】

本発明によれば、信号機が設置されている位置を考慮して画角の異なるカメラを切り替えることができ、信号機を継続して認識することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、本発明の一実施形態に係る信号機認識装置の構成を示すブロック図である。

【図2】図２は、本発明の一実施形態に係る信号機認識装置の処理手順を示すフローチャートである。

【図3A】図３Ａは、第１車線を走行する自車両の望遠カメラで撮像できる範囲の変化を示す模式図である。

【図3B】図３Ｂは、第２車線を走行する自車両の望遠カメラで撮像できる範囲の変化を示す模式図である。

【図4A】図４Ａは、第１車線を走行する自車両における、信号機の望遠画像上の位置を示す模式図である。

【図4B】図４Ｂは、第２車線を走行する自車両における、信号機の望遠画像上の位置を示す模式図である。

【発明を実施するための形態】

【0009】

次に、図面を参照して、本発明の実施の形態を詳細に説明する。説明において、同一のものには同一符号を付して重複説明を省略する。

【0010】

［信号機認識装置の構成］
図１は、本実施形態に係る信号機認識装置の構成を示すブロック図である。図１に示すように、本実施形態に係る信号機認識装置１は、広角カメラ２２（第１撮像部）と、望遠カメラ２４（第２撮像部）と、コントローラ１００とを備え、コントローラ１００は、コントローラ１００は、車両制御装置２００と接続される。また、コントローラ１００は、自車両位置取得部５６と、交差点位置取得部５８と、位置ズレ量算出部６５と、処理画像選択部７０と、信号機検出部８０と、出力部９０とを備える。なお、信号機認識装置１は、図示しない自車両に搭載される。

【0011】

広角カメラ２２及び望遠カメラ２４は、例えばＣＣＤ、ＣＭＯＳ等の固体撮像素子を備えたデジタルカメラであり、自車両の前方を撮像して自車両の進行方向前方のデジタル画像を取得する。広角カメラ２２及び望遠カメラ２４は、焦点距離、レンズの画角、カメラの垂直方向及び水平方向の角度などが設定されることにより、自車両の周囲の所定の範囲を撮像する。広角カメラ２２及び望遠カメラ２４は、取得した撮像画像を後述する処理画像選択部７０に出力する。

【0012】

広角カメラ２２と比較して、望遠カメラ２４は、広角カメラ２２よりも狭い画角の範囲を撮像するが、広角カメラ２２が撮像可能な領域よりも遠方の領域を撮像可能である。より具体的には、広角カメラ２２は、自車両の近傍を撮像可能なように、焦点距離が短く設定され、広角で撮像可能である。望遠カメラ２４は、広角カメラ２２による撮像可能な距離よりも遠方を撮像可能なように、焦点距離が長く設定され、狭角で撮像可能である。

【0013】

なお、広角カメラ２２及び望遠カメラ２４の車載位置は、自車両の前方を撮像可能なように、自車両のフロント部分に取り付けられることが望ましい。

【0014】

また、自車両の前方を走行する先行車両や、自車両が走行する車線に隣接する車線を走行する隣接車両によって、広角カメラ２２及び望遠カメラ２４から同時に特定方向の信号機が見えなくなってしまうこと（オクルージョン）を防ぐため、広角カメラ２２と望遠カメラ２４は、なるべく離して配置するものであってもよい。例えば、広角カメラ２２は、自車両の運転者の目の位置に近い位置に設置し、望遠カメラ２４は、広角カメラ２２の設置位置から自車両の幅方向に離れた、助手席側の位置に配置するものであってもよい。

【0015】

なお、広角カメラ２２によって複数台の信号機が認識できる場合（例えば、自車両が走行する車線の上方に取り付けられた信号機の他にも、対向車線の上方に取り付けられた信号機を認識できる場合）であれば、オクルージョンの問題は生じにくい。この場合、広角カメラ２２及び望遠カメラ２４を同じ場所に配置もしくは近接して配置するものであってもよい。

【0016】

広角カメラ２２及び望遠カメラ２４によって撮像された撮像画像は、所定の期間の間、図示しない記憶部に記憶されるものであってもよい。例えば、広角カメラ２２及び望遠カメラ２４は、所定の時間間隔で撮像画像を取得しており、所定の時間間隔で取得した撮像画像が、過去画像として記憶部に記憶される。過去画像は、当該過去画像の撮像時点から所定の期間を経過した後に削除されるものであってもよい。

【0017】

自車両位置取得部５６は、自車両に搭載された、ＧＰＳ（グローバル・ポジショニング・システム）、オドメトリなど自車両の絶対位置を計測する位置検出センサを備える。自車両位置取得部５６は、位置検出センサを用いて、自車両の絶対位置、すなわち、所定の基準点に対する自車両の位置、車速、加速度、操舵角、姿勢を計測する。自車両位置取得部５６には、慣性航法装置（Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ、ＩＮＳ）や、ブレーキペダルやアクセルペダルに設けられたセンサや、車輪側センサやヨーレートセンサなど車両の挙動を取得するセンサや、レーザレーダ、カメラなどが含まれていてもよい。

【0018】

交差点位置取得部５８は、自車両周囲の道路構造内の交差点の位置や、交差点に対する車線の位置、交差点内に配置された信号機の位置、その他、信号機に対応する停止線（自車両が信号機に従って停止する必要がある停止線）の位置などを取得する。交差点位置取得部５８は、自車両の位置や姿勢、地図情報に基づいて、道路構造内の交差点の位置や、交差点に対する車線の位置、交差点内に配置された信号機の位置などを取得するものであってもよいし、若しくは、過去に取得した撮像画像を画像解析することで、道路構造内の信号機の位置を取得するものであってもよい。さらに、交差点位置取得部５８は、信号機と車線の位置関係を取得し、信号機が上方に設置されている車線の位置を認識する。

【0019】

地図情報は、図示しない地図取得部によって取得されるものであってもよい。地図取得部は、地図情報を格納した地図データベースを所有してもよいし、クラウドコンピューティングにより地図情報を外部の地図データサーバから取得しても構わない。地図取得部が取得する地図情報には、車線の絶対位置や車線の接続関係、相対位置関係、停止線の位置、停止線に対応する信号機の位置、信号機の種別などの道路構造の情報が含まれる。

【0020】

位置ズレ量算出部６５は、信号機が設置された道路の幅方向に沿った信号機の位置と自車両の位置の間の距離を、「位置ズレ量」として算出し、「位置ズレ量」に基づいて「切替距離」（第１距離）を設定する。特に、位置ズレ量算出部６５は、位置ズレ量が小さいほど「切替距離」を短く設定する。「位置ズレ量」の算出方法、及び、「切替距離」の設定方法については、後述する。

【0021】

処理画像選択部７０は、停止線と自車両の間の距離や、位置ズレ量算出部６５で算出した切替距離に基づいて、広角カメラ２２によって撮像した広角画像（第１画像）と、望遠カメラ２４によって撮像した望遠画像（第２画像）のいずれか一方を、信号機の検出処理の対象となる「処理画像」として選択する。

【0022】

特に、処理画像選択部７０は、自車両の位置から撮像した信号機に対応する停止線の位置までの自車両の走行距離を算出する。そして、算出した走行距離が、位置ズレ量算出部６５で設定した「切替距離」以下となる場合には、広角画像を「処理画像」として選択する。一方、算出した走行距離が、位置ズレ量算出部６５で設定した「切替距離」よりも大きい場合には、望遠画像を「処理画像」として選択する。なお、自車両の位置から撮像した信号機に対応する停止線の位置までの自車両の走行距離は、自車両の位置から撮像した信号機に対応する停止線の位置までの直線距離であっても良い。

【0023】

なお、処理画像選択部７０は、信号機に対応する停止線を自車両が通過した後に、処理画像を広角画像から望遠画像に切り替えるものであってもよい。さらには、処理画像選択部７０は、信号機に対応する停止線を自車両が通過した後に、自車両が次に通過する信号機に対応した停止線までの距離が、広角カメラ２２によって撮像可能な距離以下の距離としての所定の距離（第２距離）以下となる場合には、処理画像を広角画像のまま維持するものであってもよい。なおここで、上記所定の距離（第２距離）は上述の切替距離と同一距離であっても良いが、切替距離未満の距離である事が望ましい。

【0024】

その他、望遠画像が「処理画像」として選択されている場合において、自車両が停止線から所定距離以内で車線変更をした際には、処理画像選択部７０は、「処理画像」を望遠画像から広角画像に切り替えるものであってもよい。

【0025】

信号機検出部８０は、処理画像選択部７０において選択された処理画像に基づいて、信号機の検出を行う。なお、信号機検出部８０は、処理画像に写ると予想される信号機ごとに検出領域を処理画像上に設定し、設定された検出領域内の画素を解析することにより、処理画像に写ると予想される信号機を検出するものであってもよい。

【0026】

出力部９０は、信号機検出部８０による信号機の検出結果を、車両制御装置２００に対して出力する。

【0027】

［位置ズレ量の算出方法］
次に、図３Ａ、図３Ｂ、図４Ａ、図４Ｂを用いて、位置ズレ量算出部６５で行う「位置ズレ量」の算出方法について説明する。

【0028】

図３Ａは、第１車線Ｌ１を走行する自車両の望遠カメラで撮像できる範囲の変化を示す模式図である。図３Ｂは、第２車線Ｌ２を走行する自車両の望遠カメラで撮像できる範囲の変化を示す模式図である。

【0029】

図４Ａは、第１車線Ｌ１を走行する自車両における、信号機ＴＳ１の望遠画像上の位置を示す模式図である。図４Ｂは、第２車線Ｌ２を走行する自車両における、信号機ＴＳ１の望遠画像上の位置を示す模式図である。

【0030】

第１車線Ｌ１、第２車線Ｌ２、第３車線Ｌ３は、自車両が走行する道路において自車両の進行方向に向かって左から順番に隣接して並んでおり、それぞれ、第一通行帯、第二通行帯、第三通行帯とも呼ばれる。図３Ａにおいて、自車両は第１車線Ｌ１を走行して、位置Ｐ１１から位置Ｐ１２へ移動する状況が示されている。ここで、第１車線Ｌ１の上方には、信号機ＴＳ１が設置されており、信号機ＴＳ１に停止線ＳＬが対応する。また、図３Ｂにおいて、自車両は第２車線Ｌ２を走行して、位置Ｐ２１から位置Ｐ２２へ移動する状況が示されている。

【0031】

地図情報や画像解析により、道路構造内での信号機の物理的な位置が判明している場合において、位置ズレ量算出部６５は、自車両が走行する道路（第１車線Ｌ１、第２車線Ｌ２、第３車線Ｌ３からなる道路）の幅方向に沿った信号機の位置と自車両の位置の間の距離を、位置ズレ量として算出する。

【0032】

例えば、信号機ＴＳ１を上方に有する第１車線Ｌ１を自車両が走行する場合には（図３Ａ）、位置ズレ量算出部６５は、自車両の位置ズレ量を「０」と算出する。また、第１車線Ｌ１に隣接する第２車線Ｌ２を自車両が走行する場合には（図３Ｂ）、位置ズレ量算出部６５は、自車両の位置ズレ量を「車線幅」と算出する。第３車線Ｌ３を自車両が走行する場合には、位置ズレ量算出部６５は、自車両の位置ズレ量を「車線幅の２倍」と算出する。

【0033】

一方、道路構造内での信号機の物理的な位置が判明していない場合であっても、広角カメラ２２もしくは望遠カメラ２４によって撮像した画像に基づいて、位置ズレ量算出部６５は自車両の位置ズレ量を算出できる。

【0034】

例えば、撮像した画像において、信号機ＴＳ１は画像内位置ＧＴ（座標（ｘ１，ｙ１））に写っているものとする。図４Ａに示すように、自車両が走行する第１車線Ｌ１の消失点が画像内位置ＧＣ（座標（ｘ０，ｙ０））である場合、位置ズレ量算出部６５は、撮像した画像の水平方向の座標値の差（ｘ１－ｘ０）の絶対値を自車両の位置ズレ量として算出する。

【0035】

一方、図４Ｂに示すように、自車両が走行する第２車線Ｌ２の消失点が画像内位置ＧＣ（座標（ｘ０，ｙ０））である場合、位置ズレ量算出部６５は、撮像した画像の水平方向の座標値の差（ｘ１－ｘ０）の絶対値を自車両の位置ズレ量として算出する。

【0036】

図４Ａと図４Ｂを比較すると、自車両が第１車線Ｌ１を走行する場合に比べて自車両が第２車線Ｌ２を走行する場合には、信号機ＴＳ１の画像内位置ＧＣと自車両が走行する車線の消失点の画像内位置の水平方向の座標値の差の絶対値は大きくなる。

【0037】

すなわち、第１車線Ｌ１、第２車線Ｌ２、第３車線Ｌ３の順に、道路構造内での実際の信号機の位置と自車両の位置に基づく位置ズレ量が大きくなっていくことと対応して、第１車線Ｌ１、第２車線Ｌ２、第３車線Ｌ３の順に、当該絶対値は大きくなっていく。そのため、撮像した画像から算出した当該絶対値は、道路構造内での信号機の物理的な位置が判明していない場合における、自車両の位置ズレ量として使用可能である。

【0038】

なお、上述した、撮像した画像の水平方向の座標値の差の絶対値は、撮像した画像内での座標の取り方に依存するため、当該絶対値に対して所定量（画像上の距離と物理空間上の実際の距離を対応付けるスケール変換量）を乗算して、自車両が走行する道路の幅方向に沿った信号機の位置と自車両の位置の間の距離を算出するものであってもよい。このように、当該絶対値に対して所定量を乗算して得られた距離を、位置ズレ量として算出するものであってもよい。

【0039】

なお、上述では、信号機の画像内位置と、自車両が走行する車線の消失点の画像内位置を基準として、位置ズレ量を算出する例を挙げた。本実施形態はこれに限定されず、例えば、信号機の画像内位置は、信号機の写った像の中心の代わりに、信号機の写った像のうち、撮像画像の外部境界に最も近い点の位置であってもよい。さらには、自車両が走行する車線の消失点の画像内位置の代わりに、撮像した画像の中心位置（画像中心）を用いてもよい。

【0040】

［切替距離の設定方法］
次に、位置ズレ量算出部６５で行う「切替距離」（第１距離）の設定方法について説明する。

【0041】

位置ズレ量算出部６５は、信号機と自車両が走行する車線の位置関係に応じて、広角カメラ２２によって撮像可能な距離以下の「切替距離」を設定する。より具体的には、算出した「位置ズレ量」が小さいほど「切替距離」を短く設定する。

【0042】

例えば、自車両が第１車線Ｌ１を走行している場合（図３Ａ）に設定される「切替距離」は、自車両が第２車線Ｌ２を走行している場合（図３Ｂ）に設定される「切替距離」よりも短く設定するものであってもよい。これは、自車両が第１車線Ｌ１を走行している場合の「位置ズレ量」が、自車両が第２車線Ｌ２を走行している場合の「位置ズレ量」よりも小さく算出されるからである。

【0043】

すなわち、自車両の位置に基づいて自車両が走行している車線を判定して、自車両が走行している車線の上方に信号機が存在しない場合（図３Ｂ）と比較して、自車両が走行している車線の上方に信号機が存在する場合（図３Ａ）には、位置ズレ量算出部６５は「切替距離」を短く設定するものであってもよい。

【0044】

上記のように「切替距離」が設定されるため、自車両が走行する車線が、信号機が上方に設置された車線から離れれば離れるほど、「切替距離」は長く設定される。この設定は、特に望遠カメラ２４による撮像できる画角を考慮して行われる。

【0045】

例えば、図３Ａに示すように、自車両が第１車線Ｌ１を走行して、位置Ｐ１１から位置Ｐ１２へ移動した状況を考える。位置Ｐ１１において望遠カメラ２４の画角に含まれていた信号機ＴＳ１は、位置Ｐ１２においても望遠カメラ２４の画角に含まれている。これは、自車両が走行する車線が、信号機が上方に設置された車線と一致していることに起因する。図３Ａの場合、位置Ｐ１２と停止線の位置の間の距離が、「切替距離」として設定される。

【0046】

一方、図３Ｂに示すように、自車両が第２車線Ｌ２を走行して、位置Ｐ２１から位置Ｐ２２へ移動した状況を考える。位置Ｐ２１において望遠カメラ２４の画角に含まれていた信号機ＴＳ１は、位置Ｐ２２においても望遠カメラ２４の画角に含まれていない。これは、自車両が走行する車線が、信号機が上方に設置された車線とは異なることに起因する。図３Ｂの場合、位置Ｐ２１と位置Ｐ２２の間の区間に含まれる信号機ＴＳ１を撮像が可能な所定の位置と、停止線の位置の間の距離が、「切替距離」として設定される。

【0047】

このように、信号機を継続して検出できるようにするためには、より早期に望遠画像から広角画像に切り替える必要があることから、信号機が上方に設置された車線から離れれば離れるほど、望遠画像から広角画像への処理画像の切り替えを行う位置を定める基準となる「切替距離」を長く設定する。

【0048】

その他、停止線に対応する信号機が１つ以上である場合において、位置ズレ量算出部６５は、停止線に対応する信号機の数が多いほど、「切替距離」を長く設定するものであってもよい。

【0049】

自車両が走行する道路の車線数が多い場合には、複数の車線を走行するどの車両に対しても、停止線の位置での車両の発進可否を提示する必要があるため、同一の停止線に対応する信号機が複数設けられている場合が多い。しかも、同一の停止線に対応する信号機は、交差点での車両の発進可否に関して同一の情報を提示している場合が多い。

【0050】

例えば、図３Ａ、図３Ｂに示されるように、交差点を挟んで自車両の位置する側とは反対側に設置されている信号機ＴＳ１の他に、対向道路の上方に設置され、交差点に対して自車両の位置する側に設置されている信号機ＴＳ２が存在し得る。ここで、信号機ＴＳ１及び信号機ＴＳ２は、停止線ＳＬに対応する複数の信号機であり、信号機ＴＳ１は交差点を向く向きに点灯面を向けて配置され、信号機ＴＳ２は交差点とは反対方向を向く向きに点灯面を向けて配置されている。

【0051】

このように、停止線に対応する信号機の数が多い場合には、「切替距離」を長く設定することにより、望遠画像から広角画像に切り替えられるタイミングが早くなり、信号機ＴＳ１の他にも信号機ＴＳ２をとらえることが可能となる。

【0052】

［信号機認識装置の処理手順］
次に、本実施形態に係る信号機認識装置１による信号機認識の処理手順を、図２のフローチャートを参照して説明する。図２に示す信号機認識の処理は、車両のイグニッションがオンされると開始し、イグニッションがオンとなっている間、繰り返し実行される。

【0053】

ステップＳ１０１において、望遠カメラ２４は、車両の周囲の所定の範囲を撮像する。望遠カメラ２４は、取得した望遠画像を処理画像選択部７０に出力する。

【0054】

ステップＳ１０３において、広角カメラ２２は、車両の周囲の所定の範囲を撮像する。広角カメラ２２は、取得した広角画像を処理画像選択部７０に出力する。

【0055】

なお、広角カメラ２２及び望遠カメラ２４における設定情報（焦点距離、レンズの画角、カメラの垂直方向及び水平方向の角度など）は、事前に設定されていてもよいし、コントローラ１００からの指令により、都度、設定されるものであってもよい。広角カメラ２２及び望遠カメラ２４によって撮像された撮像画像は、所定の期間の間、図示しない記憶部に記憶されるものであってもよい。

【0056】

ステップＳ１０５において、交差点位置取得部５８は、自車両周囲の道路構造内の交差点の位置や、交差点に対する車線の位置、交差点内に配置された信号機の位置などを取得する。

【0057】

ステップＳ１０９において、自車両位置取得部５６は、自車両の位置を取得する。

【0058】

ステップＳ１１１において、位置ズレ量算出部６５は「位置ズレ量」を算出し、さらに「位置ズレ量」に基づいて「切替距離」を設定する。

【0059】

ステップＳ１１３において、処理画像選択部７０は、停止線と自車両の間の距離や、位置ズレ量算出部６５で算出した切替距離に基づいて、広角画像と、望遠画像のいずれか一方を、信号機の検出処理の対象となる「処理画像」として選択する。

【0060】

ステップＳ１１５において、信号機検出部８０は、処理画像選択部７０において選択された処理画像に基づいて、信号機の検出を行う。

【0061】

ステップＳ１１７において、出力部９０は、信号機検出部８０による信号機の検出結果を、車両制御装置２００に対して出力する。

【0062】

［実施形態の効果］
以上詳細に説明したように、本実施形態に係る信号機認識方法及び信号機認識装置は、 車載され自車両の前方を撮像する第１撮像部、によって撮像した第１画像と、車載され自車両の前方を撮像する第２撮像部であって、第１撮像部よりも画角が狭く且つ自車両からみて第１撮像部によって撮像可能な距離よりも遠方を撮像する第２撮像部、によって撮像した第２画像と、の少なくとも一方を処理画像として選択し、処理画像に基づいて自車両の前方の信号機を認識する際に、自車両の位置及び信号機の位置を取得し、信号機に対応する停止線の位置を取得し、自車両の位置から停止線の位置までの距離を算出し、距離が第１撮像部によって撮像可能な距離以下の所定距離である第１距離以下となる場合には、第１画像を処理画像として選択し、距離が第１距離よりも大きい場合には、第２画像を処理画像として選択し、処理画像に基づいて信号機の検出を行い、信号機が設置された道路の幅方向に沿った信号機の位置と自車両の位置の間の距離を、位置ズレ量として算出し、位置ズレ量が小さいほど第１距離を短く設定する。

【0063】

これにより、信号機と自車両の位置関係に基づいて、画角の異なる２つの撮像部を切り替えるタイミングを設定することができ、信号機を継続して検出することができる。さらには、自車両が停止線に向かって走行する間、信号機が継続して第２画像に写ることが想定される車線ほど第１距離が短く設定され、第２画像を用いて信号機の認識を継続できる区間を長くすることができる。その結果、信号機の検出を精度よく継続して行うことができる。

【0064】

また、本実施形態に係る信号機認識方法及び信号機認識装置は、第２画像上で第２画像の画像中心に近い位置に信号機が写っているほど、位置ズレ量を小さな値として算出するものであってもよい。これにより、道路構造内での信号機の物理的な位置が不明である場合であっても、直前に撮像した画像を用いて信号機に対する自車両の位置ズレ量を推定することができ、地図情報や画像解析による信号機の物理的な位置を取得できない場合であっても、画角の異なる２つの撮像部を切り替えるタイミングを設定することができ、信号機を継続して検出することができる。また、信号機の検出を精度よく継続して行うことができる。

【0065】

さらに、本実施形態に係る信号機認識方法及び信号機認識装置は、自車両の周囲の地図情報を取得し、地図情報に基づいて、信号機の位置を取得するものであってもよい。これにより、地図情報から得られる信号機の位置に基づいて、信号機が設置された道路の幅方向に沿った信号機の位置と自車両の位置の間の距離を、より正確に算出することができ、画角の異なる２つの撮像部を切り替えるタイミングをより正確に設定することができる。

【0066】

また、本実施形態に係る信号機認識方法及び信号機認識装置は、自車両の位置に基づいて、自車両が走行している車線を判定し、車線の上方に信号機が存在しない場合と比較して、車線の上方に信号機が存在する場合には、第１距離を短く設定するものであってもよい。自車両が走行している車線の上方に信号機が設置されているか否かに基づいて、第１距離を設定するでき、地図情報や画像解析による信号機の物理的な位置を取得できない場合であっても、画角の異なる２つの撮像部を切り替えるタイミングを設定することができる。

【0067】

さらに、本実施形態に係る信号機認識方法及び信号機認識装置は、自車両が走行を予定しているルートが決まっている場合において、ルートに基づいて道路を特定し、自車両が道路に進入して走行を開始する前に、第１距離を設定するものであってもよい。予め自車両が走行するルートが定まっている場合には、ルートが定まった後に、そのルート上に存在する停止線、及び、信号機に対して、第１距離を事前に設定することができ、信号機の検出を早期に開始することができる。さらには、信号機の検出を継続して行うことができる。

【0068】

また、本実施形態に係る信号機認識方法及び信号機認識装置は、自車両の車線変更時には、第１画像に基づいて信号機の検出を行うものであってもよい。自車両の車線変更時には、自車両の姿勢が変化することで、第１撮像部よりも画角が小さい第２撮像部の画角から信号機が外れてしまいやすいため、予め第１画像に切り替えて、信号機の検出を行うことで、自車両の車線変更時が生じた場合であっても、信号機の検出を継続して行うことができる。

【0069】

さらに、本実施形態に係る信号機認識方法及び信号機認識装置は、停止線に対応する信号機の数が多いほど、第１距離を長く設定するものであってもよい。第１距離を長く設定することにより、第２画像から第１画像に切り替えられるタイミングが早くなる。同一の停止線に対応する信号機は、第２画像よりも広角な範囲を撮像した第１画像に写りやすく、複数の信号機を同一の第１画像でとらえることで、信号機の検出を継続して行うことができる。

【0070】

また、本実施形態に係る信号機認識方法及び信号機認識装置は、停止線を自車両が通過した後に、処理画像を第１画像から第２画像に切り替えるものであってもよい。停止線を自車両が通過した後には、当該停止線とは異なる、自車両の進行方向の前方に位置する停止線を、第１画像よりも遠方を撮像した第２画像によってとらえることができる。その結果、遠方からの信号機の検出を開始することができる。

【0071】

さらに、本実施形態に係る信号機認識方法及び信号機認識装置は、停止線を自車両が通過した後に、自車両が次に通過する他の停止線までの距離が第２距離以下となる場合には、処理画像を第１画像のまま維持するものであってもよい。停止線を自車両が通過した後に、自車両が次に通過する他の停止線までの距離が第２距離以下となる場合は、交差点通過後の次の交差点までの距離が近い場合に相当し、処理画像を第１画像のまま維持することで、処理画像の切り替えの回数を減らすことができる。その結果、信号機認識の検出の遅れ、若しくは、処理負荷の増大を抑えることができる。

【0072】

上述の実施形態で示した各機能は、１又は複数の処理回路によって実装されうる。処理回路には、プログラムされたプロセッサや、電気回路などが含まれ、さらには、特定用途向けの集積回路（ＡＳＩＣ）のような装置や、記載された機能を実行するよう配置された回路構成要素なども含まれる。

【0073】

以上、実施形態に沿って本発明の内容を説明したが、本発明はこれらの記載に限定されるものではなく、種々の変形及び改良が可能であることは、当業者には自明である。この開示の一部をなす論述および図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例および運用技術が明らかとなろう。

【0074】

本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

【符号の説明】

【0075】

１ 信号機認識装置１
２２ 広角カメラ（第１撮像部）
２４ 望遠カメラ（第２撮像部）
５６ 自車両位置取得部
５８ 交差点位置取得部
６５ 位置ズレ量算出部
７０ 処理画像選択部
８０ 信号機検出部
９０ 出力部
１００ コントローラ１００

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】