(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0008】
図面を参照して、実施形態を説明する。図面の記載において同一部分には同一符号を付して説明を省略する。
【0009】
図1を参照して、実施形態に係わる信号機検出装置の全体構成を説明する。信号機検出装置は、車両に搭載され、車両の周囲を所定の時間間隔で繰り返し撮像して、連続する複数の画像(フレーム)を取得する撮像部11と、撮像部11により撮像された画像の中から信号機を検出する信号機検出部12とを備える。
【0010】
撮像部11は、固体撮像素子、例えばCCD又はCMOSを用いたデジタルカメラであって、画像処理が可能なデジタル画像を取得する。デジタルカメラは、画角の広い広角レンズを備える。撮像部11の撮像範囲(画角)には、車両の進行方向から左右方向に車両近傍の路肩までが含まれる。
【0011】
信号機検出部12は、撮像部11により取得された画像(以後、「カメラ画像」という)を受信し、カメラ画像における信号機の位置を検出する。検出された信号機の位置情報は、例えば車両の自動運転を実現するためのコントローラを含む、車両に搭載された他の処理演算装置(車両CPU13)に転送される。信号機検出部12は、例えば、CPU、メモリ25、及び入出力部を備えるマイクロコントローラからなり、予めインストールされたコンピュータプログラムを実行することにより、信号機検出装置が備える複数の情報処理部を構成する。信号機検出部12は、カメラ画像から信号機の位置を検出する一連の情報処理を、連続する複数のカメラ画像(フレーム)毎に繰り返し実行する。信号機検出部12は、車両にかかわる他の制御に用いるECUと兼用してもよい。
【0012】
信号機検出部12により構成される複数の情報処理部には、位相検出部19と、同期画像生成部15と、信号機判断部18とが含まれる。
【0013】
メモリ25は、連続する複数のカメラ画像(フレーム)28を同時に記憶する。例えば、信号機に供給される電力の1交流周期の間に撮像される複数のカメラ画像28を同時に記憶する。
【0014】
位相検出部19は、連続する複数のカメラ画像28における輝度変化の周期から、信号機を含む車両周辺における電力系統の位相情報を検出する。信号機の周辺における電力系統の位相情報は、信号灯とその周囲にある他の電灯の間で概ね共通している。すなわち、信号機周辺にある他の電灯に供給される電力の位相は、信号機に供給される電力の位相と概ね一致している。よって、位相検出部19は、カメラ画像28の中の輝度変化の周期から、信号機に供給される電力の位相情報を検出することができる。なお、「電力系統の位相情報」とは、商用電源の位相情報を示す。
【0015】
例えば、
図3(a)は、車両からの距離に応じた輝度変化の幅の違いを示すグラフであり、
図3(b)は車両近傍にある他の電灯の例として、街灯31a、自動販売機31b、看板31cを示し、車両から遠方にある信号機32、33を示す図である。
図3(a)は、
図3(b)の街灯31a、及び信号機32、33の輝度変化を示す。車両近傍にある他の電灯(街灯31a、自動販売機31b、看板31c)の輝度変化の幅は、遠方の信号機(32、33)のそれに比べて大きい。また、輝度変化の幅が大きいほど、位相情報の検出精度は向上する。よって、車両近傍にある他の電灯(31a〜31c)の輝度変化の周期から、遠方の信号機(32、33)に供給される電力の位相情報を高精度に検出することができる。
【0016】
また、位相検出部19は、カメラ画像の各画素の中から、輝度変化の幅が最も大きい画素を選択し、選択した画素を用いて電力系統の位相情報を検出しても構わない。これにより、位相情報の検出精度を最も高めることができる。さらに、輝度変化の幅が比較的大きい画素を積算して、電力系統の位相情報を検出しても構わない。
【0017】
なお、車両の現在位置及び車両周辺の地図情報から、車両近傍にある他の電灯(31a〜31c)の輝度変化を効率よく検出する位相検出部19の変形例を、
図4を参照して後述する。
【0018】
同期画像生成部15は、位相検出部19により検出された電力系統の位相情報を用いて、カメラ画像の中から、信号機に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出して、抽出された同期画素からなる同期画像を生成する。例えば、同期画像生成部15は、電力系統の位相情報を用いて、信号機に供給される電力の位相に同期した基準信号を生成し、基準信号とカメラ画像の各画素の輝度信号とを乗算する同期検波処理を行う。これにより、信号機に供給される電力の交流周期に同期して輝度が変化する同期画素が抽出される。
【0019】
信号機に供給される電力は、商用電源の電力を全波整流した交流電力である。商用電源から電力の供給を受けて点灯する信号灯の輝度は、全波整流した交流電力の周期(例えば、100Hz)と同じ周期で変化する。そこで、信号機に供給される電力の交流周期に同期して輝度が変化する同期画素をカメラ画像の中から抽出することにより、商用電源から電力の供給を受けて点灯する信号灯を検出することができる。具体的な処理内容は、
図2及び
図8を参照して後述する。
【0020】
信号機判断部18は、同期画像生成部15により抽出された同期画素の色相が信号色の色相に類似する場合、同期画素の位置に信号機が存在すると判断する。商用電源から電力の供給を受けて点灯する電灯には、信号機が有する信号灯の他に、
図3(b)に示したように街灯31a、自動販売機31b、看板31cなど、路上で点灯している他の電灯が含まれる。同期画像生成部15により抽出された同期画素には、これらの他の電灯も含まれる可能性がある。信号機判断部18が同期画素と信号色との間で色相の類似性を判断することにより、同期画像生成部15の抽出結果から、これらの他の電灯を排除することができる。
【0021】
なお、信号機判断部18は、同期画素の色相が信号色の色相に類似するか否かを判断する色相判断部を用いずに、同期画素の画像上の位置と輝度を用いて、信号機が存在するか否か判断する構成としても良い。車両の周囲の地図情報より画像上の信号機の位置を求め、同期画素の位置と照合することで、上記他の電灯を排除することができる。さらに、車両から信号機までの距離から画像上の輝度を想定し、想定輝度内の同期画素に信号機が存在すると判断することができる。
【0022】
信号機検出部12は、信号機が存在すると信号機判断部18が判断した画素群の位置情報を、車両CPU13に出力する。
【0023】
次に、
図2及び
図8を参照して、同期画像生成部15の詳細を説明する。先ず、
図2を参照して、同期画像生成部15の詳細な構成を説明する。同期画像生成部15は、乗算部26と、ローパスフィルタ(LPF)20と、基準信号生成部17とを備える。
【0024】
基準信号生成部17は、電力系統(商用電源)の位相情報を用いて、信号機に供給される電力の位相に同期した基準信号を生成する。乗算部26は、メモリ25から読み出したカメラ画像(フレーム)28の各画素の輝度信号と基準信号とを乗算する。乗算部26は、メモリ25に同時に記憶されている複数のカメラ画像の各々について、上記した乗算処理を実施する。LPF20は、乗算部26による乗算結果のうち、所定の遮断周波数よりも高い周波数成分を低減させて低周波数成分のみを取り出して、同期画素からなる同期画像を出力する。
【0025】
図8(a)及び
図8(b)を参照して、基準信号の位相の整合性について説明する。
図8(a)は、基準信号の位相が、信号機に供給される電力の位相に整合している状態を示す。この状態において、各画素の1)輝度信号と2)基準信号とを乗算することにより、3)乗算後の信号、すなわち同期画素の輝度、及び同期画素の輝度の平均値(相関値G1)は、最も大きな値となる。
【0026】
一方、
図8(b)は、基準信号の位相が、信号機に供給される電力の位相と反転している状態を示す。この状態において、各画素の1)輝度信号と2)基準信号とを乗算することにより、3)乗算後の信号、すなわち同期画素の輝度、及び同期画素の輝度の平均値(相関値G2)は、最も小さな値となる。
【0027】
図3に示したように、車両から信号機(32、33)までの距離が遠くなるほど、撮像部11により検出される信号灯の輝度は小さくなり、輝度の変化幅も小さくなる。よって、基準信号の位相を、信号灯の輝度変化の位相、すなわち信号機に供給される電力の位相に近づけることにより、高い相関値(G1)を得ることができ、ひいては遠方の信号機を精度良く検出することができる。
【0028】
実施形態では、位相検出部19が、信号機を含む車両周辺における電力系統の位相情報を用いて、信号機に供給される電力の位相を精度良く検出する。これにより、基準信号の位相を、信号灯の輝度変化の位相、すなわち信号機に供給される電力の位相に近づけることができる。
【0029】
図4を参照して、位相検出部19の変形例を説明する。位相検出部19は、走行路判断部35と、画像領域設定部36と、位相抽出部37とを備える。
【0030】
走行路判断部35は、GPS機能及び地図データベースを用いて車外或いは車内から取得した自車位置情報及び周辺地図情報に基づいて走行路の状況を判断する。例えば、走行路判断部35は、車両の進行方向の道路形状が
図3(b)に示すような直線であるか、或いは右又は左へのカーブであるかを判断する。或いは、
図5に示すように車両がトンネルを走行しているか否かを判断する。
【0031】
画像領域設定部36は、走行路判断部35により判断された走行路の状況に基づいて、カメラ画像内に画像領域を設定する。例えば、道路形状が直線である場合、
図3(b)に示すように、カメラ画像のうち、道路の路肩が撮像される領域(R2、R3)を、画像領域として設定する。これにより、画像領域には、道路の路肩に配置された他の電灯(31a、31b、31c)が含まれる。また、トンネルを走行している場合、
図5に示すように、カメラ画像のうち、トンネル内壁に設けられた照明ランプ34が撮像される領域R4を、画像領域として設定する。
【0032】
位相抽出部37は、画像領域設定部36により設定された画像領域(R2〜R4)の中から、電力系統の位相情報を抽出する。走行路の状況に応じて、輝度変化が大きい電灯があることが推測される画像領域を特定することができるので、車両近傍にある他の電灯(31a〜31c、34)の輝度変化を効率よく検出することができる。
【0033】
次に、
図6を参照して、
図1に示した信号機検出装置を用いた信号機検出方法を説明する。
図6のフローチャートに示す信号機検出装置の動作は、車両のイグニションスイッチがオン状態となり、信号機検出装置が起動すると同時に開始され、信号機検出装置が停止するまで、繰り返し実行される。
【0034】
ステップS01において、撮像部11は、繰り返し車両の周囲を撮像して、連続する複数のカメラ画像を取得する。信号機に供給される電力の1交流周期の間に、複数回の撮像を行う。取得された画像データは、同期画像生成部
15に転送され、メモリ25に一時的に記憶される。
【0035】
ステップS03〜S07において、位相検出部19は、連続する複数のカメラ画像28の中の輝度変化の周期から、信号機を含む車両周辺における電力系統の位相情報を検出する。その一例として、位相検出部19は、カメラ画像28に含まれる画素の輝度変化の幅(ΔD)が所定の閾値(Th)よりも広くなるか否かに応じて、電力系統の位相情報を検出する。もちろん、
図4に示した変形例に係わる位相検出部19が、画像領域設定部36により設定された画像領域(R2〜R4)について、輝度変化の幅(ΔD)が所定の閾値(Th)よりも広くなるか否かを判断してもよい。
【0036】
先ず、ステップS03において、位相検出部19は、カメラ画像28から任意に画素を選択し、当該画素の輝度変化の幅(ΔD)が所定の閾値(Th)より広いか否かを判断する。所定の閾値(Th)より広い場合(S03でYES)、カメラ画像28から精度良く位相情報を検出することができる。そこで、ステップS05に進み、位相検出部19は、選択した画素の輝度変化の位相を計測する。測定した位相を設定する(ステップS07)。
【0037】
一方、所定の閾値(Th)より広くない場合(S03でNO)、カメラ画像28から精度良く位相情報を検出することができない。そこで、ステップS09に進み、予め定めた基準位相を設定する。予め定めた基準位相としては、前回或いは2回以上前の制御ループにおけるステップS05で計測された位相を用いることができる。
【0038】
ステップS11に進み、基準信号生成部17は、設定された位相(S07)或いは基準信号(S09)に基づき基準信号を生成する。ステップS13に進み、乗算部26は、基準信号とカメラ画像の各画素の輝度信号とを乗算する同期検波処理を行う。そして、LPF20が低周期の信号をフィルタすることにより、同期画素を抽出する。
【0039】
ステップS15に進み、信号機判断部18は、同期画像生成部15により抽出された同期画素の色相が信号色の色相に類似するか否かを判断する。信号色の色相に類似する場合、同期画素の位置に信号機が存在すると判断できる。よって、ステップS17に進み、信号機判断部18は、同期画素を信号機としてラベリングする。一方、信号色の色相に類似しない場合(S15でNO)、同期画素の位置に、信号灯でなく、その他の電灯が存在すると判断できる。よって、ステップS19に進み、信号機判断部18は、同期画素を他の電灯としてラベリングする。
【0040】
ステップS21に進み、信号機判断部18は、ステップS13で抽出された総ての同期画素について、信号機であるか否かを判断したか否かを判断する。判断が終わっていない場合(S21でNO)、ステップS15に戻り、残りの同期画素について色相の判断処理(S15〜S19)を実施する。判断が終わっている場合(S21でYES)、
図6のフローチャートは終了する。
【0041】
以上説明したように、実施形態によれば以下の作用効果が得られる。
【0042】
特許文献1では、カメラ画像の中から信号灯の色相と類似する領域を抽出し、抽出した領域の円形度から信号灯の候補を検出する。円形度から信号灯を判断する場合、領域(画素群53a)に含まれる画素の数は、
図7(a)に示す程度の数が必要となる。これに対して、実施形態に係わる信号機検出装置では、上述したように、信号機の輝度変化の幅が小さく、位相周期を検出し難いような遠方に位置する信号機に対して、信号機に供給される電力の交流周期と同期して輝度が変化する同期画素を信号灯の候補として抽出できる。これにより、
図7(b)に示すように、同期画素53bの数が、円形度を判断できない程度の数であっても、信号灯であるか否かを判断することができる。すなわち、実施形態に係わる信号機検出装置は、遠方の信号機を精度良く検出することができる。
【0043】
カメラ画像の中から、信号機に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出することにより、信号灯の大きさ及びその形状を考慮することなく、信号機を検出することができる。よって、円形度を判定できないほど画像サイズが小さくなる遠方の信号機であっても精度良く検出することができる。
【0044】
車両周辺における電力系統の位相情報は、信号灯とその周囲にある他の電灯の間で概ね共通している。よって、位相検出部19が信号機に供給される交流電力の位相情報を高精度に検出することにより、同期画像生成部15は、輝度変化が小さい同期画素を高感度に抽出することできる。よって、信号機検出装置は、輝度変化が小さい遠方の信号機であっても精度良く検出することができる。
【0045】
輝度変化の幅が大きいほど、より正確な位相情報を検出できる。そこで、位相検出部19は、カメラ画像を構成する画素のうち、輝度変化の幅が最も大きい画素を用いて電力系統の位相情報を検出してもよい。これにより、カメラ画像の中から、信号灯に供給される交流電力の位相情報を高精度に検出することができる。
【0046】
図3(b)に示したように、道路の路肩にある、看板31c、自動販売機31b、街灯31aを含む他の電灯は、遠方の信号機(32、33)に比べて輝度変化の幅が大きい。そこで、位相検出部19は、連続する複数のカメラ画像のうち、道路の路肩が撮像される領域(R2、R3)から、電力系統の位相情報を検出してもよい。これにより、輝度変化の幅が大きい画素を用いて電力系統の位相情報を検出することができる。
【0047】
図5に示したように、車両がトンネル内を走行している場合、一般的に、道路の路肩に、看板、自動販売機、街灯を含む電灯は存在しないわかりに、トンネル内壁に設けられた照明ランプ34が存在する。そこで、位相検出部19は、連続する複数のカメラ画像のうち、トンネル内壁に設けられた照明ランプ34が撮像される領域R4から、電力系統の位相情報を検出してもよい。これにより、輝度変化の幅が大きい画素を用いて電力系統の位相情報を検出することができる。
【0048】
上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
【0049】
図3(b)には、車両前方の道路形状が直線である場合の画像領域(R2、R3)を示したが、車両前方の道路形状が右または左へのカーブである場合、路肩が撮像される領域は、カーブ側よりもカーブ方向とは逆側の方が広くなる。カーブの方向に応じて、左右の画像領域(R2、R3)の大きさ及び形状を変化させてもよい。或いは、
図5の画像領域R4を、トンネル以外においても適用しても構わない。例えば、車両近傍にある信号機は、
図5の画像領域R4において撮像される可能性がある。よって、トンネル以外の走行状況においても、画像領域R4を適用しても構わない。更には、
図5の画像領域R4と
図3(b)の画像領域(R2、R3)とを同時に設定しても構わない。