特開2016-196233(P2016-196233A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ クラリオン株式会社の特許一覧
<>
  • 特開2016196233-車両用道路標識認識装置 図000003
  • 特開2016196233-車両用道路標識認識装置 図000004
  • 特開2016196233-車両用道路標識認識装置 図000005
  • 特開2016196233-車両用道路標識認識装置 図000006
  • 特開2016196233-車両用道路標識認識装置 図000007
  • 特開2016196233-車両用道路標識認識装置 図000008
  • 特開2016196233-車両用道路標識認識装置 図000009
  • 特開2016196233-車両用道路標識認識装置 図000010
  • 特開2016196233-車両用道路標識認識装置 図000011
  • 特開2016196233-車両用道路標識認識装置 図000012
  • 特開2016196233-車両用道路標識認識装置 図000013
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2016-196233(P2016-196233A)
(43)【公開日】2016年11月24日
(54)【発明の名称】車両用道路標識認識装置
(51)【国際特許分類】
   B60R 1/00 20060101AFI20161028BHJP
   H04N 7/18 20060101ALI20161028BHJP
   G06T 1/00 20060101ALI20161028BHJP
   G08G 1/09 20060101ALI20161028BHJP
【FI】
   B60R1/00 A
   H04N7/18 J
   G06T1/00 330A
   G08G1/09 D
【審査請求】未請求
【請求項の数】6
【出願形態】OL
【全頁数】18
(21)【出願番号】特願2015-76674(P2015-76674)
(22)【出願日】2015年4月3日
(71)【出願人】
【識別番号】000001487
【氏名又は名称】クラリオン株式会社
(74)【代理人】
【識別番号】100082670
【弁理士】
【氏名又は名称】西脇 民雄
(74)【代理人】
【識別番号】100180068
【弁理士】
【氏名又は名称】西脇 怜史
(72)【発明者】
【氏名】新舎 大昌
(72)【発明者】
【氏名】薄井 勉
【テーマコード(参考)】
5B057
5C054
5H181
【Fターム(参考)】
5B057AA16
5B057BA02
5B057BA08
5B057CH18
5B057CH20
5B057DA06
5C054CA04
5C054CA05
5C054CB03
5C054EA05
5C054ED02
5C054ED03
5C054FC03
5C054FC12
5C054FC14
5C054HA30
5H181AA01
5H181CC02
5H181CC04
5H181CC07
5H181FF04
5H181FF22
5H181FF27
5H181FF32
(57)【要約】
【課題】夜間やトンネル内等の暗い環境において、経年劣化が進んだ道路標識の種別,内容を確実に認識する。
【解決手段】可視光領域および近赤外領域に感度を有する撮像部10で撮像された車両5の進行方向前方の画像の内部の輝度分布に基づいて、道路標識存在判定部20が、道路標識92が写っているか否かを判定する。判定の結果、道路標識92が写っていないと判定されたときは、撮像条件変更部13が、近赤外光照射部80から撮像部10の撮像範囲内に照射する近赤外光の光量、または撮像部10の撮像パラメータを変更して再度画像を撮像し、道路標識存在判定部20における判定を繰り返し行う。一方、道路標識92が写っていると判定されたときは道路標識内容認識部60において、撮像された道路標識92の種別,内容を認識する。
【選択図】図2
【特許請求の範囲】
【請求項1】
可視光領域および近赤外領域に感度を有して、車両の進行方向前方の画像を撮像する撮像部と、
前記撮像部の撮像範囲内に照射する近赤外光の光量を制御する近赤外光照射光量制御部と、
前記画像の内部の輝度分布に基づいて、前記画像の中に道路標識が写っているか否かを判定する道路標識存在判定部と、
前記輝度分布に応じて、前記光量、および前記撮像部の撮像パラメータのうち少なくとも一方を変更する撮像条件変更部と、
前記道路標識の種別,内容を認識する道路標識内容認識部と、を有して、前記道路標識存在判定部で道路標識が写っていると判定されたときには、前記道路標識内容認識部で道路標識の内容を認識して、前記道路標識存在判定部で道路標識が写っていると判定されないときは、前記撮像条件変更部において変更された撮像条件にて再度画像を撮像して、前記判定を繰り返して行うことを特徴とする車両用道路標識認識装置。
【請求項2】
前記撮像パラメータは、シャッタ速度,絞り値,ゲインのうち少なくとも一つであることを特徴とする請求項1に記載の車両用道路標識認識装置。
【請求項3】
前記撮像条件変更部は、前記道路標識存在判定部が判定した道路標識を示す領域の平均画素値が所定値となるように、前記光量、および前記撮像パラメータのうち少なくとも一方を変更することを特徴とする請求項1または請求項2に記載の車両用道路標識認識装置。
【請求項4】
前記撮像条件変更部は、前記撮像部の撮像範囲内に最大光量の近赤外光を照射した状態で撮像された画像の中の、道路標識を示す領域の平均画素値が所定値よりも大きいときは、近赤外光の光量の抑制または前記撮像パラメータを撮像される画像が暗くなる方向に調整して、
前記平均画素値が所定値よりも小さいときは、前記撮像パラメータを撮像される画像が明るくなる方向に調整することを特徴とする請求項3に記載の車両用道路標識認識装置。
【請求項5】
前記車両の前方に道路標識が存在する可能性があるか否かを判定する道路標識存在可能性判定部を有することを特徴とする請求項1から請求項4のいずれか1項に記載の車両用道路標識認識装置。
【請求項6】
前記道路標識存在可能性判定部は、前記車両に記憶された道路標識の設置位置を示す情報に基づいて、前記車両の前方に道路標識が存在する可能性があるか否かを判定することを特徴とする請求項5に記載の車両用道路標識認識装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、走行中の車両から、道路標識の種別,内容を認識する車両用道路標識認識装置に関する。
【背景技術】
【0002】
従来、このような車両用道路標識認識装置として、車載カメラで道路標識を撮像して、その種別,内容を認識するものが知られている(例えば、特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−163714号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載された車両用道路標識認識装置は、道路標識の設置後の経過年数にかかわらず、同じ認識アルゴリズムを適用して道路標識の認識を行っていた。しかしながら、同じ内容を表す道路標識であっても、経年劣化によって退色が進んだ道路標識では、道路標識の反射率が低下することによって、撮像した画像が暗くなってしまう虞があった。
【0005】
例えば、「(社)全国道路標識・標示業協会 愛知県協会、あんしん道あいち 第14号、2010年7月1日発行、P.14−15」には、経年劣化した道路標識と新品の道路標識の輝度を同じ条件で比較すると、新品の道路標識が31cd/m2であるのに対して、経年劣化した道路標識では2.6cd/m2と、約1/12に減少してしまうことが記載されている。
【0006】
したがって、特に夜間やトンネル等の暗い道路環境において、道路標識を、設置後の経過年数にかかわらず、全く同じ画像認識方法で安定して認識するのは困難であった。特に、前述したように、経年劣化による反射率の低下量が大きいため、昼間の明るい環境であれば、しきい値の調整によって認識することが可能であるが、夜間等の暗い環境にあっては、単にしきい値を調整しただけでは道路標識を安定して検出するのが困難であった。そのため、設置後の経過年数によらずに、安定して動作する認識アルゴリズムの実現が望まれていた。
【0007】
本発明は、上記課題に鑑みてなされたもので、経年劣化によって退色が進んだ道路標識であっても、特に夜間やトンネル等の周囲が暗い環境において、安定して認識することができる車両用道路標識認識装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明に係る車両用道路標識認識装置は、可視光領域および近赤外領域に感度を有して、車両の進行方向前方の画像を撮像する撮像部と、前記撮像部の撮像範囲内に照射する近赤外光の光量を制御する近赤外光照射光量制御部と、前記画像の内部の輝度分布に基づいて、前記画像の中に道路標識が写っているか否かを判定する道路標識存在判定部と、前記輝度分布に応じて、前記光量、および前記撮像部の撮像パラメータのうち少なくとも一方を変更する撮像条件変更部と、前記道路標識の種別,内容を認識する道路標識内容認識部と、を有して、前記道路標識存在判定部で道路標識が写っていると判定されたときには、前記道路標識内容認識部で道路標識の内容を認識して、前記道路標識存在判定部で道路標識が写っていると判定されないときは、前記撮像条件変更部において変更された撮像条件にて再度画像を撮像して、前記判定を繰り返して行うことを特徴とする。
【発明の効果】
【0009】
本発明に係る車両用道路標識認識装置は、車両の進行方向前方に向けて、近赤外光照射光量制御部によって制御された光量の近赤外光を照射して、可視光領域および近赤外領域に感度を有する撮像部で車両の進行方向前方の画像を撮像する。そして、道路標識存在判定部が、画像の内部の輝度分布に基づいて道路標識が写っているか否かを判定する。判定の結果、道路標識が写っていないと判定されたときは、撮像条件変更部が、照射する近赤外光の光量、および撮像部の撮像パラメータのうち少なくとも一方を変更して再度画像を撮像し、道路標識存在判定部における判定を繰り返して行う。一方、道路標識が写っていると判定されたときは、道路標識内容認識部において、道路標識の種別,内容を認識する。したがって、設置後の年数経過に伴う劣化によって、道路標識の輝度が低下した場合であっても、撮像条件変更部が、道路標識に照射する近赤外光の光量および撮像パラメータの少なくとも一方を変更することにより、認識可能なコントラストを有する画像を撮像することができるため、特に夜間やトンネル等の暗い環境において、経年劣化による退色が進んだ道路標識の種別,内容を安定して認識することができる。
【図面の簡単な説明】
【0010】
図1】本発明の一実施形態である車両用道路標識認識装置のハードウェア構成を示すブロック図である。
図2】本発明の一実施形態である車両用道路標識認識装置の機能構成を示す機能ブロック図である。
図3】撮像条件の調整方法の例を示す図である。
図4】道路標識存在判定部の詳細な機能構成を示す機能ブロック図である。
図5A】撮像された近赤外画像の一例を示す図である。
図5B図5Aの画像の中から道路標識の候補領域を検出した結果について説明する図である。
図6】道路標識内容認識部の詳細な機能構成を示す機能ブロック図である。
図7】調整済近赤外映像信号と調整済カラー映像信号の1例を示す図である。
図8】実施例1で行われる処理の全体の流れを示すフローチャートである。
図9図8に示した標識設置年数確認処理の詳細な流れを示すフローチャートである。
図10図8に示した標識内容認識処理の詳細な流れを示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、本発明に係る車両用道路標識認識装置の具体的な実施形態について、図面を参照して説明する。
【実施例1】
【0012】
本実施例は、本発明を、車両に搭載されて、進行方向前方にある道路標識(交通標識や行先案内板など)の種別,内容を認識する車両用道路標識認識装置に適用したものである。
【0013】
まず、図1を用いて、本発明の一実施形態である車両用道路標識認識装置のハードウェア構成について説明する。
(車両用道路標識認識装置のハードウェア構成の説明)
【0014】
図1は、本実施例に係る車両用道路標識認識装置100を車両5に実装した様子を示すブロック図である。
【0015】
車両用道路標識認識装置100は、図1に示すように、近赤外カメラ10aと、カラーカメラ10bと、ECU20aと、カーナビゲーションシステム70aと、近赤外ライト80aと、液晶ディスプレイ90aと、からなる。
【0016】
近赤外カメラ10aは、近赤外領域(例えば、800〜950nm付近)に感度を有し、近赤外画像nIR(x,y)を撮像する。近赤外カメラ10aは、レンズ11aと、撮像素子12aと、信号処理調整用IC13aと、からなる。
【0017】
レンズ11aは、近赤外光を所定の屈折力で屈折させて、撮像素子12a上に結像させる。
【0018】
撮像素子12aは、結像された近赤外光を近赤外画像に変換する、CCDやCMOS等で構成された光電変換素子である。撮像素子12aからは、電気信号に変換された近赤外映像信号14aが出力される。なお、図1には図示していないが、撮像素子12aの前面には、可視光および近赤外光のみを透過して、可視光と近赤外光の間の領域(波長650〜800nm)、および波長950nm以上の赤外光をカットするIRカットフィルタが装着されている。
【0019】
信号処理調整用IC13aは、近赤外映像信号14aのゲインを調整して所定の映像信号に変換する。変換された信号は、調整済近赤外映像信号16aとして出力される。なお、信号処理調整用IC13aから撮像素子12aとレンズ11aに対して、絞りとシャッター速度を調整して露光量を設定する撮像パラメータ調整信号15aが出力される。
【0020】
カラーカメラ10bは、可視光領域(380〜800nm付近)に感度を有し、カラー画像C(x,y)を撮像する。カラーカメラ10bは、レンズ11bと、撮像素子12bと、信号処理調整用IC13bと、からなる。
【0021】
レンズ11bは、可視光を所定の屈折力で屈折させて、撮像素子12bに結像させる。
【0022】
撮像素子12bは、結像された可視光をカラー画像に変換する、CCDやCMOS等で構成された光電変換素子である。撮像素子12bからは、電気信号に変換されたカラー映像信号14bが出力される。なお、図1には図示しないが、撮像素子12bの前面には、可視光および近赤外光のみを透過して、可視光と近赤外光の間の領域(波長650〜800nm)、および波長950nm以上の赤外光をカットするIRカットフィルタが装着されている。
【0023】
信号処理調整用IC13bは、カラー映像信号14bのゲインを調整して所定の映像信号に変換する。変換された信号は、調整済カラー映像信号16bとして出力される。なお、信号処理調整用IC13bから撮像素子12bとレンズ11bに対して、絞りとシャッター速度を調整して露光量を設定する撮像パラメータ調整信号15bが出力される。
【0024】
なお、近赤外カメラ10aとカラーカメラ10bは、車両5のフロントガラス(ウインドシールド)の裏面側、例えばルームミラーの裏側付近に、車両5の前方を向けて、互いに近接した状態で、2台のカメラの光軸が平行になるように設置される。すなわち、2台のカメラは、ほぼ等しい観測範囲を画像化するように設置される。
【0025】
ECU(Electronic Control Unit)20aは、例えばマイクロコンピュータで構成されて、近赤外カメラ10a,カラーカメラ10bの撮像パラメータを設定するとともに、設定された撮像パラメータで撮像された調整済近赤外映像信号16aと、設定された撮像パラメータで撮像された調整済カラー映像信号16bを、それぞれ画像処理して道路標識の検出を行う。さらに、検出された道路標識の種別,内容を認識する。なお、画像処理を高速に実行するために、ECU20aとして画像処理専用のプロセッサを用いてもよい。
【0026】
また、ECU20aは、近赤外ライト80aに対して、近赤外光の照射光量を設定する近赤外光光量設定信号24aを出力する。
【0027】
さらに、ECU20aは、近赤外カメラ10aに対して、撮像パラメータの調整を指示する撮像パラメータ調整指示信号22aを出力する。また、カラーカメラ10bに対して、撮像パラメータの調整を指示する撮像パラメータ調整指示信号22bを出力する。
【0028】
カーナビゲーションシステム70aは、車両5に車載されて、走行中の現在位置を特定するとともに、進行方向前方の道路標識の存在を示す標識存在指示信号71aを出力する。なお、道路標識の設置位置は、予め、カーナビゲーションシステム70aが有する地図データベースに記憶されているものとする。
【0029】
近赤外ライト80aは、例えば、車両5のヘッドライトの近傍に設置された近赤外投光器からなる。なお、近赤外ライト80aは、車両5のヘッドライトと兼用にしてもよい。
【0030】
近赤外ライト80aは、昼夜を問わず、車両5の進行方向を照明するとともに、ECU20aから出力される近赤外光光量設定信号24aによって指示された量の近赤外光を、近赤外カメラ10aの撮像範囲の内部に向けて照射する。なお、近赤外ライト80aは、通電する電流値を調整することによって、または、近赤外ライト80aの光源の前面に装着した赤外カットフィルタを回転またはスライドさせて移動することにより、照射する近赤外光の光量を調整する。また、近赤外ライト80aは、ECU20aに対して、近赤外ライト80aが点灯状態にあるか否かを示す照明点消灯信号81aを出力する。この照明点消灯信号81aは、近赤外ライト80aの点灯状態を確認するために利用される。
【0031】
液晶ディスプレイ90aは、ECU20aから出力される、認識された道路標識の種別,内容を示す標識認識信号25aを受けて、認識された道路標識の種別,内容を画面に表示して運転者に伝達する。
【0032】
なお、図1ではECU20aを近赤外カメラ10a,カラーカメラ10bから独立させた構成としたが、ECU20aは、近赤外カメラ10aおよびカラーカメラ10bに内蔵させた構成、すなわち、カメラとECUを一体化させた構成としてもよい。
【0033】
次に、図2を用いて、車両用道路標識認識装置100の機能構成について説明する。
(車両用道路標識認識装置の機能構成の説明)
【0034】
図2は、本発明の一実施形態である車両用道路標識認識装置100の機能構成を示す機能ブロック図である。
【0035】
車両用道路標識認識装置100は、図2に示すように、撮像部10と、道路標識存在判定部20と、近赤外光照射光量制御部40と、道路標識内容認識部60と、道路標識存在可能性判定部70と、近赤外光照射部80と、表示部90と、を有する。
【0036】
撮像部10は、光学系11と、受光部12と、撮像条件変更部13と、からなり、図1に示した、近赤外カメラ10aとカラーカメラ10bと、から構成される。
【0037】
光学系11は、図1に示したレンズ11a,11bで構成されて、受光部12は、図1に示した撮像素子12a,12bで構成されている。
【0038】
また、撮像条件変更部13は、図1に示した信号処理調整用IC13a,13bで構成されて、撮像時の露出,ゲインを変更する。
【0039】
道路標識存在判定部20は、後述する道路標識存在可能性判定部70の出力(標識存在指示信号71a)に基づいて、撮像部10で撮像された画像の中に道路標識が写っているか否かを判定する。
【0040】
近赤外光照射光量制御部40は、近赤外光照射部80に対して、撮像部10の撮像範囲内に照射する近赤外光の光量の制御を指示する。
【0041】
道路標識内容認識部60は、撮像された画像に写っている道路標識の種別,内容を認識する。
【0042】
道路標識存在判定部20と、近赤外光照射光量制御部40と、道路標識内容認識部60は、図1に示したECU20aで構成される。
【0043】
道路標識存在可能性判定部70は、図1に示したカーナビゲーションシステム70aで構成されて、車両5が走行している現在位置を地図データベースと照合し、進行方向前方に道路標識があるか否かを予測する。そして、進行方向前方に道路標識があると判定されたときは、標識存在指示信号71aを出力する。なお、カーナビゲーションシステム70aの代わりに無線通信を用いて、道路の路側帯に設けた通信スポットから車両5に対して道路標識の存在場所を提供するようにしてもよい。
【0044】
近赤外光照射部80は、図1に示した近赤外ライト80aからなり、車両5の進行方向前方を近赤外照明するとともに、照射される近赤外光の光量を可変にすることができる。
【0045】
表示部90は、図1に示した液晶ディスプレイ90aからなり、認識された道路標識を表示して運転者の注意を喚起する。
【0046】
次に、車両用道路標識認識装置100の具体的な作用について説明する。
(車両用道路標識認識装置の作用の説明)
【0047】
車両用道路標識認識装置100は、昼夜を問わず、車両5の前方に向かって近赤外光を照射し、その反射光を図1に示した近赤外カメラ10aで撮像して、撮像された近赤外画像nIR(x,y)の中に道路標識が写っているか否かを判定する。そして、近赤外画像nIR(x,y)の中に道路標識が写っていると判定されたときに、近赤外画像nIR(x,y)と同時にカラーカメラ10bで撮像されたカラー画像C(x,y)の中から道路標識を検出してその種別,内容を認識する。
【0048】
前述したように、道路標識は経年劣化によって反射光の強度が減少する。したがって、撮像された近赤外画像nIR(x,y)の中に道路標識の候補となる領域が観測されないときは、近赤外ライト80a(図1)を制御して照射する近赤外光の光量を増加させる。このとき、近赤外光は不可視であるため、近赤外光の光量を増加させても対向車の乗員を幻惑することはない。
【0049】
なお、近赤外画像nIR(x,y)の中に道路標識が写っているか否かは、撮像された近赤外画像nIR(x,y)の中から、エッジで囲まれた閉領域を探索して、見つかった閉領域の平均画素値Aに基づいて、道路標識であるか否かを判定する。詳細は後述する。
【0050】
一方、近赤外光の光量を変化させても道路標識が写っていると判定されないときは、図1の信号処理調整用IC13a,13b(撮像条件変更部13(図2))を調整して、撮像素子12a,12b(受光部12(図2))の露出,ゲインを変更し、近赤外カメラ10aとカラーカメラ10bで再び撮像を行う。そして、近赤外画像nIR(x,y)の中に道路標識が写っているか否かの判定を繰り返す。
【0051】
このとき、できるだけ少ない手数で適正な撮像条件を発見するために、照射する近赤外光の光量と撮像素子12a,12bの露出,ゲインの変更順序を考慮する必要がある。
【0052】
例えば、まず最初に、近赤外光が最も多く照射されて、なおかつ撮像素子12aに最大の露光量が与えられる状態とする。この状態において、近赤外画像nIR(x,y)の中に道路標識が写っていないと判定されたときは、道路標識は存在しないと判定する。
【0053】
一方、この状態で近赤外画像nIR(x,y)の中に道路標識が写っていると判定されたときは、道路標識に対応する領域の中の画素値を平均化して平均画素値Aを算出する。この平均画素値Aが、予め設定した範囲(例えば601(近赤外画像nIR(x,y)を10ビットで量子化した場合の画素値))を下回るときは、撮像された近赤外画像nIR(x,y)のコントラストが不足していると判断して、撮像素子12aの露出,ゲインを、画像が明るくなる方向に調整して再び近赤外画像nIR(x,y)とカラー画像C(x,y)を撮像し、Ath-δ<A≦Ath+δとなるようにする。ここで、しきい値Athと余裕代δは、平均画素値Aの適正範囲を表す値であって、予め所定の値が設定されるものとする。前記した例の場合、Ath=650,δ=50である。
【0054】
これに対して、平均画素値Aが、所定値(例えば700)を上回るときは、撮像素子12aの露出,ゲインを、画像が暗くなる方向に調整して再び近赤外画像nIR(x,y)とカラー画像C(x,y)を撮像し、Ath-δ<A≦Ath+δとなるようにする。
【0055】
なお、撮像素子12aの露出,ゲインの調整は、具体的には図3に示す方法によって行う。すなわち、近赤外光の照射光量は3段階(1,2,3。3が最も光量が多い。)、撮像部のゲインは10段階(±5。+5がゲイン最大,−5がゲイン最小。)にそれぞれ変更可能とされて、平均画素値Aに基づいて、近赤外光の照射光量と撮像部のゲインを任意の組み合わせで設定することができる。
【0056】
図3は、近赤外光の照射光量と撮像部のゲインの変更方法の1例として、近赤外光を最大光量で照射した際に、標識を表す領域の平均画素値Aが左欄に示す値であったとき、その値に応じた近赤外線照射量と撮像部のゲインの調整量を示している。なお、図3は、近赤外光の照射光量および撮像部のゲインの調整量をそれぞれ示すものであって、両方を同時に調整することを示しているわけではない。例えば、平均画素値Aが1023であったとき(状態1)は、撮像部のゲインをそのときの設定値に固定したまま、近赤外光の照射光量を「1」にするか、もしくは、近赤外光の照射光量をそのときの設定値に固定したまま、撮像部のゲインを「−5」に設定することを示している。
【0057】
図3に示す設定を行って再度近赤外画像nIR(x,y)とカラー画像C(x,y)の撮像を行い、状態6、すなわち平均画素値Aが501〜600の範囲内になったとき、調整が完了して、適正なコントラストで道路標識が撮像されたものと判断する。
【0058】
ここで、近赤外光の照射光量の調整は、前述したように、近赤外ライト80a(図1)に通電する電流値の調整によって行う。
【0059】
また、撮像部のゲインの調整は、撮像部10の露光量の変更、または、撮像された映像信号のゲインの変更によって行う。
【0060】
このうち、露光量の変更は、光学系11の絞りの変更、または、シャッタ速度の変更によって達成される。具体的には、光学系11(レンズ11a,11b(図2))の絞りを絞り込む(F値を大きくする)と露光量が減少して、絞りを開ける(F値を小さくする)と露光量が増加する。さらに、シャッタ速度を速くすると露光量が減少して、シャッタ速度を遅くすると露光量が増加する。実際には、絞りとシャッタ速度の組み合わせを変更することによって露光量の調整を行う。
【0061】
映像信号(近赤外映像信号14a,カラー映像信号14b(図2))のゲインの変更は、撮像条件変更部13(信号処理調整用IC13a,13b(図2))において行われる。具体的には、近赤外映像信号14a,カラー映像信号14bに対して乗算される倍率を変更することによって、映像信号の明暗が調整される。
【0062】
なお、ここで乗算される倍率は固定倍率であってもよいし、ガンマ特性のように、入力される映像信号に対して非線形に変化する倍率であってもよい。特に、ガンマ特性を調整することによって、人間の見た目に近い、より自然な輝度階調特性を得ることができる。
【0063】
照射する近赤外光の光量と、撮像素子12bの露出・ゲインと、の組み合わせを変更すことによって、近赤外画像nIR(x,y)において道路標識が適正な明るさで撮像されたときは、同じ撮像条件で、カラーカメラ10bで同時に撮像されたカラー画像C(x,y)と近赤外画像nIR(x,y)の道路標識に該当する領域を合成した合成映像信号を生成して、道路標識内容認識部60が、合成映像信号に対して道路標識の種別,内容の認識を行う。道路標識の種別,内容の認識方法としては多くの手法が提案されており、そのいずれの方法を用いて行っても構わない。例えば、認識対象となる道路標識の図柄を予めテンプレートとして用意しておき、合成映像信号に対してテンプレートマッチングを行うことによって、道路標識の種別,内容を認識することができる。詳しくは後述する。
【0064】
認識された道路標識の種別,内容は、液晶ディスプレイ90a(表示部90(図2))に表示されて、車両5の運転者に注意を促す。または、認識された道路標識の内容、例えば制限速度情報に基づいて、車両5の車速が極端に高いときは車両5を減速させて、道路標識に規定された運転状態を遵守させるような車両制御を行ってもよい。
【0065】
以下、近赤外画像nIR(x,y)の中に道路標識が写っているか否かを判定して、道路標識が写っていないときには撮像条件を調整して適正な明るさの画像を撮像する標識設置年数確認処理の内容について、図4図5A図5Bを用いて説明する。
(標識設置年数確認処理の説明)
【0066】
図4は、道路標識存在判定部20の詳細な機能構成を示す機能ブロック図である。図5Aは、実際に撮像された近赤外画像nIR(x,y)の一例を示す図である。図5Bは、図5Aの近赤外画像nIR(x,y)の中から、道路標識の候補領域を検出した結果を示す図である。
【0067】
図4に示すように、道路標識存在判定部20は、エッジ検出部30と、閉領域抽出部31と、画素数計測部32と、画素値積算部33と、平均画素値算出部34と、道路標識判定部35と、撮像条件設定部36と、からなる。
【0068】
エッジ検出部30は、近赤外画像nIR(x,y)に対してエッジ検出を行い、隣接画素間で画素値の差が大きい画素をエッジ構成点として検出する。なお、エッジ検出の方法は問わない。
【0069】
閉領域抽出部31は、検出されたエッジ構成点で囲まれた閉領域を抽出する。具体的には、検出されたエッジ構成点で構成された領域にラベル付けを行い、周囲を同じラベル値の画素によって囲まれた領域を探すことによって、閉領域を抽出する。
【0070】
画素数計測部32は、閉領域抽出部31で検出された閉領域を構成する画素数の合計値を計測する。
【0071】
画素値積算部33は、画素数計測部32で画素数を計測する際に、当該画素の画素値を積算する。
【0072】
平均画素値算出部34は、画素値積算部33で積算された画素値の積算値を、画素数計測部32で計測された画素数で除して、平均画素値Aを算出する。
【0073】
道路標識判定部35は、平均画素値算出部34で算出された平均画素値Aが、所定範囲の値であるか否かを判定する。例えば、前述した例では、平均画素値Aが600よりも大きく700以下であるとき、道路標識が適正な明るさで撮像されたものと判定する。
【0074】
撮像条件設定部36は、道路標識判定部35において、道路標識が適正な明るさで撮像されていないと判定されたときに、近赤外光の照射光量の設定、または撮像部10(近赤外カメラ10a,カラーカメラ10b)の撮像パラメータの設定を変更する。
【0075】
図5Aに、近赤外画像nIR(x,y)の一例を示す。図5Aからわかるように、車両5から進行方向前方を撮像した近赤外画像nIR(x,y)の中には、道路境界線96を含む道路と、路肩に設置された道路標識92が写っている。
【0076】
このようにして撮像された近赤外画像nIR(x,y)に対して、エッジ検出と閉領域の抽出を行うと、図5Bに示すように、道路標識92の領域が抽出される。画素数計測部32と画素値積算部33では、このようにして抽出された閉領域に外接する外接領域94の中で閉領域を構成している画素を探し、その総数と画素値の総和をそれぞれ算出する。そして、算出された画素の総数と画素値の総和から、平均画素値Aが算出される。
【0077】
なお、図5Aには道路標識が1つしか写っていないが、近赤外画像nIR(x,y)の中に複数の道路標識が写っている場合もある。そして、それら複数の道路標識は、それぞれ、設置されてからの経過年数が異なっている場合がある。したがって、道路標識の存在判定と撮像パラメータの設定は、それぞれの道路標識候補領域に対して行う必要がある。
【0078】
すなわち、複数の道路標識がすべて同じ明るさで撮像される保証はないため、撮像パラメータの設定の変更は、個々の道路標識に対して繰り返し行われる。すなわち、ある道路標識92が適正な明るさで撮像されたときは、その道路標識92に外接する外接領域94を除外した近赤外画像nIR(x,y)に対して、別の道路標識に対する明るさの判定を行う。
【0079】
ここで、近赤外画像nIR(x,y)に対してエッジ検出処理と閉領域抽出処理を行うと、道路領域からも閉領域が検出される可能性がある。このように道路領域から検出された閉領域は、その後の処理においてノイズとなるため、近赤外画像nIR(x,y)に対して、まず最初に道路領域を検出する処理を行い、検出された道路領域以外の領域に対して、エッジ検出処理と閉領域抽出処理を行ってもよい。このような処理方法を採ることによって、ノイズの影響をできるだけ減らすことができる。
【0080】
なお、前述した、道路標識の撮像状態を判定する処理は、エッジ検出部30でエッジ検出を行い、エッジに囲まれた閉領域を抽出する代わりに、近赤外画像nIR(x,y)を所定のしきい値で2値化処理して道路標識92の候補領域を検出しても同様の結果を得ることができる。
【0081】
次に、道路標識内容認識部60で行う標識内容認識処理の内容について、図6を用いて説明する。
(標識内容認識処理の説明)
【0082】
図6は、道路標識内容認識部60の詳細な機能構成を示す機能ブロック図である。図6に示すように、道路標識内容認識部60は、映像合成部62と、道路標識データベース64と、テンプレートマッチング部66と、からなる。
【0083】
映像合成部62は、道路標識存在判定部20が、道路標識が適正な明るさで撮像されていると判定したときに、図1に示した近赤外カメラ10a(撮像部10)から得られた調整済近赤外映像信号16aと、カラーカメラ10b(撮像部10)から得られた調整済カラー映像信号16bと、を合成して1つの合成映像信号とする。具体的には、図7に示す調整済近赤外映像信号16aと、調整済カラー映像信号16bを、以下のようにして合成する。
【0084】
図7に示す調整済近赤外映像信号16aの画素P1と、調整済カラー映像信号16bの画素P2を合成する際、合成の対象となる画素P2には、ベイヤー配列された緑フィルタの出力が格納されているため、まず、画素P2における赤色成分と青色成分の大きさを補間処理によって算出する必要がある。
【0085】
この補間処理はカラー画像を撮像する際に一般的に行われている処理であり、例えば、画素P2に隣接する画素値を用いて線形補間が行われる。すなわち、画素P2における赤色成分Rは(式1)で推定され、画素P2における青色成分Bは(式2)で推定される。
R=(R1+R2)/2 (式1)
B=(B1+B2)/2 (式2)
【0086】
ここに、調整済近赤外映像信号16aの画素P1に格納された近赤外成分C5が合成されるため、画素P2における合成映像信号の赤色成分R0,緑色成分G0,青色成分B0は、それぞれ、(式3)〜(式5)で表される。
R0=C5+(R1+R2)/2 (式3)
G0=C5+G3 (式4)
B0=C5+(B1+B2)/2 (式5)
【0087】
この合成処理によって、調整済カラー映像信号16bのみでは輝度が低下していた道路標識の領域に調整済近赤外映像信号16aの成分が加算されるため、より明るく明瞭な道路標識の画像を得ることができる。なお、(式1),(式2)に示した信号の補間方法、および(式3)〜(式5)に示した映像信号の合成方法は、あくまで1例であって、これらに限定されるものではなく、その他の方法で補間、合成してもよい。
【0088】
なお、調整済近赤外映像信号16aと調整済カラー映像信号16bを合成する際、それぞれの映像信号に写る道路標識92の位置には、車両5から道路標識92までの距離に応じた量の視差が発生する(車両5から道路標識92までの距離が近いほど、大きい視差が発生する)。したがって、合成処理を行う際には、同じ座標値の画素同士を合成するのではなく、調整済近赤外映像信号16aの中から検出した道路標識92と対応する領域を調整済カラー映像信号16bの中から探索して、対応がとれた領域同士で合成処理を行う。
【0089】
道路標識データベース64には、認識対象となる道路標識の寸法,形状,色彩、および標識の意味が、それぞれ記憶されている。なお記憶しているデータ形式は問わない。
【0090】
テンプレートマッチング部66は、映像合成部62で合成された映像信号と、道路標識データベース64に記憶された内容と、のマッチング処理を行う。具体的には、道路標識データベース64に記憶されたテンプレートを、映像合成部62において合成された合成映像信号の上に重ね合わせた状態で走査し、各位置においてマッチング度(類似度)を求めて、合成映像信号の中から、テンプレートに類似した領域を探す。
【0091】
なお、用意されたテンプレートの大きさや向きと、合成映像信号の中に写る道路標識の大きさや向きと、は異なるのが一般的であるため、マッチング処理を効率的に行うために、テンプレートを、スケールや観測方向の変化に対応可能な特徴量を用いて表現する方法が用いられる。
【0092】
例えば、向きや大きさが異なる複数のテンプレートを用意して、それぞれのテンプレートを用いてテンプレートマッチングを行うのも1つの方法である。また、回転やスケール変更に対して強いSIFT(Scale-Invariant Feature Transform)特徴量を用いて表現されたテンプレートを利用してテンプレートマッチングを行う例もあり、これらの方法を用いることによって、効率的に道路標識の認識を行うことができる。
【0093】
次に、以上説明した実施例1の処理全体の流れについて、図8のフローチャートを用いて説明する。
(実施例1の処理全体の流れの説明)
【0094】
(ステップS10)ライトスイッチがONになってヘッドライトが点灯しているか否かを判定する。ライトスイッチがONであるときはステップS12に進み、ライトスイッチがOFFであるときはステップS14に進む。
【0095】
(ステップS12)車両5の前方に道路標識が存在するか否かを判定する。道路標識が存在すると判定されたときはステップS16に進み、道路標識が存在しないと判定されたときはステップS10に戻る。
【0096】
(ステップS14)車両5は昼間の状態にあると判断して、昼間の状態に対応した道路標識認識処理を行う。なお、昼間の明るい状態における道路標識認識処理は、本発明の対象外であるため説明は省略するが、近赤外カメラ10aは利用せずに、カラーカメラ10bで撮像したカラー画像C(x,y)のみを用い、標識の領域を切り出すしきい値の調整等を行うことによって標識の認識を行う。
【0097】
(ステップS16)標識設置年数確認処理を行う。この処理の詳細な流れは後述する。
【0098】
(ステップS18)標識内容認識処理を行う。この処理の詳細な流れは後述する。
【0099】
(ステップS20)道路標識の認識結果を出力して車両5の運転者に報知する。なお、ここで、道路標識の認識結果を利用して車両の制御を行うことも可能である。
【0100】
(ステップS22)車両5のイグニッションがOFFか否かを判定する。イグニッションがOFFであるときは図8の処理を終了し、イグニッションがOFFであるときは、ステップS10に戻る。なお、ここで、車両5の車速を検出して、車速が0であるときに図8の処理を終了し、車速が0でないときにステップS10に戻るようにしてもよい。
【0101】
次に、図8に示した標識設置年数確認処理(S16)の詳細な流れについて、図9のフローチャートを用いて説明する。
(標識設置年数確認処理の流れの説明)
【0102】
(ステップS30)近赤外ライト80a(図1)から近赤外光を最大光量で照射する。
【0103】
(ステップS32)近赤外ライト80aの照射にあわせて、近赤外画像nIR(x,y)とカラー画像C(x,y)を同時に撮像する。
【0104】
(ステップS34)近赤外画像nIR(x,y)からエッジを検出する。
【0105】
(ステップS36)検出されたエッジに囲まれた閉領域を抽出する。
【0106】
(ステップS38)抽出された閉領域を構成する画素数を測定する。
【0107】
(ステップS40)抽出された閉領域を構成する画素の画素値を積算する。
【0108】
(ステップS42)閉領域を構成する画素の平均画素値Aを算出する。
【0109】
(ステップS44)平均画素値Aが、所定の範囲内の値であるか否かを判定する。所定の範囲内の値であるときはステップS46に進み、それ以外のときは、ステップS48に進む。
【0110】
(ステップS46)抽出された全ての閉領域を処理したか否かを判定する。全ての閉領域を処理したときはメインルーチン(図8)に戻り、それ以外のときは、ステップS38に戻る。
【0111】
(ステップS48)近赤外ライト80aから照射する近赤外光の光量、または近赤外カメラ10a、およびカラーカメラ10bの撮像パラメータの設定を調整する。
【0112】
(ステップS50)ステップS48で調整した設定は、調整可能範囲内か否かを判定する。調整可能範囲内であるときはステップS32に戻り、それ以外のときはステップS52に進む。
【0113】
(ステップS52)対象としている閉領域は道路標識ではないと判断して、ステップS46に進む。
【0114】
次に、図8に示した標識内容認識処理(S18)の詳細な流れについて、図10のフローチャートを用いて説明する。
(標識内容認識処理の流れの説明)
【0115】
(ステップS60)近赤外画像nIR(x,y)とカラー画像C(x,y)の間で、道路標識の視差を算出する。
【0116】
(ステップS62)ステップS60で算出した視差に基づいて、近赤外画像nIR(x,y)に写った道路標識の領域とカラー画像C(x,y)に写った道路標識の領域を合成する。
【0117】
(ステップS64)ステップS62で合成した合成映像と道路標識データベース64(図6)に記憶されたテンプレートとの間でテンプレートマッチングを行い、道路標識の内容を認識する。
【0118】
(ステップS66)画像内の全ての道路標識を認識したか否かを判定する。全ての道路標識を認識したときはメインルーチン(図8)に戻り、それ以外のときは、ステップS60に戻って、別の道路標識の認識を行う。
【0119】
以上説明したように、このように構成された本発明に係る車両用道路標識認識装置100によれば、可視光領域および近赤外領域に感度を有する撮像部10で撮像された車両5の進行方向前方の画像の内部の輝度分布に基づいて、道路標識存在判定部20が、道路標識92が写っているか否かを判定する。判定の結果、道路標識92が写っていないと判定されたときは、撮像条件変更部13が、近赤外光照射部80から撮像部10の撮像範囲内に照射する近赤外光の光量、または撮像部10の撮像パラメータを変更して再度画像を撮像し、道路標識存在判定部20における判定を繰り返し行う。一方、道路標識92が写っていると判定されたときは道路標識内容認識部60において、撮像された道路標識92の種別,内容を認識するため、道路標識92に、設置後の年数経過による劣化が発生して反射率が低下した場合であっても、撮像条件変更部13が、道路標識92に照射する近赤外光の光量の変更、または撮像部10の撮像パラメータの変更を行うことによって、認識可能なコントラストを有する道路標識92の画像を撮像することができるため、経年劣化による退色が進んだ道路標識92の種別,内容を安定して認識することができる。
【0120】
また、このように構成された本発明に係る車両用道路標識認識装置100によれば、撮像パラメータは、シャッタ速度,絞り値,ゲインのうち少なくとも一つであるため、道路標識92を含む画像の撮像条件を容易に変更して、異なる明るさの画像を容易に撮像することができる。
【0121】
そして、このように構成された本発明に係る車両用道路標識認識装置100によれば、撮像条件変更部13は、道路標識存在判定部20が判定した道路標識を示す領域の平均画素値Aが所定値(Ath±δ)の範囲内となるように、近赤外光照射部80から照射する近赤外光の光量、および撮像パラメータのうち少なくとも一方を変更するため、道路標識92が認識しやすい明るさで写っている画像を効率的に撮像することができる。
【0122】
さらに、このように構成された本発明に係る車両用道路標識認識装置100によれば、撮像条件変更部13は、撮像部10の撮像範囲内に、照射可能な最大光量の近赤外光を照射した状態で撮像された近赤外画像nIR(x,y)の中の、道路標識92を示す領域の平均画素値Aが所定値(Ath+δ)よりも大きいときは、近赤外光の光量の抑制、または撮像パラメータを撮像される画像が暗くなる方向に調整する。また、平均画素値Aが所定値(Ath−δ)よりも小さいときは、撮像パラメータを撮像される画像が明るくなる方向に調整する。したがって、道路標識92が適正な明るさで写った近赤外画像nIR(x,y)を、容易かつ確実に撮像することができる。
【0123】
また、このように構成された本発明に係る車両用道路標識認識装置100によれば、車両5の前方に道路標識92が存在する可能性があるか否かを判定する道路標識存在可能性判定部70を有するため、道路標識存在可能性判定部70の出力に基づいて、必要なときのみ道路標識の認識を行うことができる。したがって、道路標識認識の効率化を図ることができる。
【0124】
そして、このように構成された本発明に係る車両用道路標識認識装置100によれば、道路標識存在可能性判定部70は、車両5に搭載されたカーナビゲーションシステム70aに記憶された情報に基づいて、近赤外画像nIR(x,y)の中に、道路標識92が存在すると考えられる領域を設定するため、走行中の車両5から道路標識92を効率よく検出することができる。
【0125】
以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。
【0126】
例えば、実施例1は、近赤外カメラ10aとカラーカメラ10bの2台のカメラを用いた構成で説明したが、これは、赤色成分R,緑色成分G,青色成分B,近赤外成分Cをそれぞれ検出可能な撮像素子を有する1台のカメラを用いて実現することも可能である。
【符号の説明】
【0127】
5・・・・・車両
10・・・・撮像部
11・・・・光学系
12・・・・受光部
13・・・・撮像条件変更部
20・・・・道路標識存在判定部
40・・・・近赤外光照射光量制御部
60・・・・道路標識内容認識部
70・・・・道路標識存在可能性判定部
80・・・・近赤外光照射部
90・・・・表示部
100・・・車両用道路標識認識装置
図1
図2
図3
図4
図5A
図5B
図6
図7
図8
図9
図10