(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6140658
(24)【登録日】2017年5月12日
(45)【発行日】2017年5月31日
(54)【発明の名称】走行区画線認識装置、走行区画線認識プログラム
(51)【国際特許分類】
H04N 7/18 20060101AFI20170522BHJP
B60R 21/00 20060101ALI20170522BHJP
G06T 7/00 20170101ALI20170522BHJP
G06T 7/60 20170101ALI20170522BHJP
G08G 1/16 20060101ALI20170522BHJP
【FI】
H04N7/18 J
B60R21/00 624F
G06T7/00 350B
G06T7/60 200J
G08G1/16 C
【請求項の数】11
【全頁数】9
(21)【出願番号】特願2014-167166(P2014-167166)
(22)【出願日】2014年8月20日
(65)【公開番号】特開2016-46556(P2016-46556A)
(43)【公開日】2016年4月4日
【審査請求日】2016年3月28日
(73)【特許権者】
【識別番号】000004695
【氏名又は名称】株式会社SOKEN
(73)【特許権者】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【識別番号】100121821
【弁理士】
【氏名又は名称】山田 強
(74)【代理人】
【識別番号】100139480
【弁理士】
【氏名又は名称】日野 京子
(74)【代理人】
【識別番号】100125575
【弁理士】
【氏名又は名称】松田 洋
(74)【代理人】
【識別番号】100175134
【弁理士】
【氏名又は名称】北 裕介
(72)【発明者】
【氏名】赤峰 悠介
(72)【発明者】
【氏名】川嵜 直輝
(72)【発明者】
【氏名】鶴田 知彦
(72)【発明者】
【氏名】鈴木 俊輔
【審査官】
鈴木 隆夫
(56)【参考文献】
【文献】
特開2014−096135(JP,A)
【文献】
特開2012−173266(JP,A)
【文献】
特開2002−259995(JP,A)
【文献】
特開2013−250874(JP,A)
【文献】
特開平07−017299(JP,A)
【文献】
特開2014−026608(JP,A)
【文献】
特開平11−139225(JP,A)
【文献】
特開2007−003286(JP,A)
【文献】
特開2011−013039(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
B60R 21/00
G06T 7/00
G06T 7/60
G08G 1/16
(57)【特許請求の範囲】
【請求項1】
車両に搭載されたカメラ(10)により撮影された道路の画像に基づいて、道路の走行区画線を認識する走行区画線認識装置(20)であって、
前記走行区画線の認識に影響する前記画像の乱雑度合を算出する算出手段(21)と、
前記算出手段により今回算出された前記乱雑度合と、過去の前記乱雑度合の学習値である乱雑学習値とに基づいて、前記乱雑学習値を更新する学習手段(22)と、
前記学習手段により更新された前記乱雑学習値が閾値を超えた場合に、前記走行区画線の認識を抑制する抑制手段(25)と、
前記道路の環境が変化する前後か否かを判定する判定手段(23)と、
前記判定手段により前記環境が変化する前後と判定された場合に、前記乱雑学習値を、今よりも前の前記乱雑学習値に戻す学習リセット手段(24)と、を備えることを特徴とする走行区画線認識装置。
【請求項2】
前記学習リセット手段は、前記判定手段により前記環境が変化する前後と判定された場合に、前記乱雑学習値を初期値に戻す請求項1に記載の走行区画線認識装置。
【請求項3】
前記学習リセット手段は、前記環境の変化の状態に応じて、前記乱雑学習値の戻し度合を決める請求項1に記載の走行区画線認識装置。
【請求項4】
前記判定手段は、トンネル又は高架下への侵入前後に前記環境が変化する前後と判定する請求項1〜3のいずれかに記載の走行区画線認識装置。
【請求項5】
前記判定手段は、土手の上への侵入前後に前記環境が変化する前後と判定する請求項1〜4のいずれかに記載の走行区画線認識装置。
【請求項6】
前記判定手段は、インターチェンジへの侵入前後に前記環境が変化する前後と判定する請求項1〜5のいずれかに記載の走行区画線認識装置。
【請求項7】
前記判定手段は、前記道路の交差点又は他の車線への侵入前後に前記環境が変化する前後と判定する請求項1〜6のいずれかに記載の走行区画線認識装置。
【請求項8】
前記判定手段は、地図情報(11)と現在位置とに基づいて、前記環境が変化する前後を判定する請求項1〜7のいずれかに記載の走行区画線認識装置。
【請求項9】
前記判定手段は、前記車両に搭載されたミリ波レーダ(12)の検出値に基づいて、前記環境が変化する前後を判定する請求項1〜8のいずれかに記載の走行区画線認識装置。
【請求項10】
前記判定手段は、前記車両に搭載されたステレオカメラ(13)により撮影された画像に基づいて、前記環境が変化する前後を判定する請求項1〜9のいずれかに記載の走行区画線認識装置。
【請求項11】
コンピュータにインストールされるプログラムであって、
前記コンピュータに、請求項1〜10のいずれかに記載の走行区画線認識装置が備える各手段を実現させることを特徴とする走行区画線認識プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、走行支援等を行うために、車載カメラの画像に基づいて道路の走行区画線を認識する装置、及びそのプログラムに関する。
【背景技術】
【0002】
道路画像から道路の走行区画線を認識し、認識した走行区画線に基づいて車両の運転支援等を行う装置において、走行区画線の認識に不適な道路環境では、走行区画線の認識を抑制する技術が提案されている。
【0003】
例えば、特許文献1に記載の車外監視装置は、道路の路肩部分に雪が存在するような路面状況では、走行区画線を認識するのに十分な画像情報を得ることができないため、通常の監視制御を一時的に中断する等のフェールセーフを行っている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2001−88636号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載の装置では、瞬時の画像に基づいて道路状況を判定している。そのため、走行区画線の認識の抑制を安定して行うことができないという問題がある。一方、認識の抑制を安定して行うためにフィルタを用いると、例えば路面状況が急変して認識に適した道路環境になった場合でも、しばらく走行区画線の認識が再開されないという問題がある。
【0006】
本発明は、上記実情に鑑み、走行区画線の認識に不適な乱雑な道路環境における走行区画線の認識抑制の安定性と、道路環境への急変に伴う応答性とを両立可能な走行区画線認識装置を提供することを主たる目的とする。
【課題を解決するための手段】
【0007】
本発明は、上記課題を解決するため、車両に搭載されたカメラにより撮影された道路の画像に基づいて、道路の走行区画線を認識する走行区画線認識装置であって、前記走行区画線の認識に影響する前記画像の乱雑度合を算出する算出手段と、前記算出手段により今回算出された前記乱雑度合と、過去の前記乱雑度合の学習値である乱雑学習値とに基づいて、前記乱雑学習値を更新する学習手段と、前記学習手段により更新された前記乱雑学習値が閾値を超えた場合に、前記走行区画線の認識を抑制する抑制手段と、前記道路の環境が変化する前後か否かを判定する判定手段と、前記判定手段により前記環境が変化する前後と判定された場合に、前記乱雑学習値を、今よりも前の前記乱雑学習値に戻す学習リセット手段と、を備える。
【0008】
本発明によれば、走行区画線の認識に影響する道路の画像の乱雑度合が算出され、今回算出された乱雑度合と過去の乱雑学習値とに基づいて、乱雑学習値が更新される。そして、更新された乱雑学習値が閾値を超えた場合に、走行区画線の認識が抑制される。よって、走行区画線の認識を抑制するか否かの判定に、瞬時の画像から算出した乱雑度合ではなく乱雑学習値を用いるため、走行区画線の認識を安定して抑制することができる。
【0009】
また、道路環境が変化する前後か否かが判定され、道路環境が変化する前後と判定された場合には、乱雑学習値が今よりも前の乱雑学習値、すなわち今よりも学習が進んでいない乱雑学習値に戻される。よって、道路環境が乱雑な環境から走行区画線の認識に適した環境へ急変した場合には、走行区画線を速やかに認識することができる。
【0010】
したがって、走行区画線の認識に不適な乱雑な道路環境における走行区画線の認識抑制の安定性と、道路環境の急変に伴う応答性とを両立できる。
【発明を実施するための形態】
【0012】
以下、走行区画線認識装置を具現化した実施形態について、図面を参照しつつ説明する。本実施形態に係る走行区画線認識装置20により認識された走行区画線は、車両制御装置30により、レーンキーピングアシスト制御(LKA制御)やレーン逸脱警報等の走行支援に用いられる。
【0013】
まず、本実施形態に係る走行区画線認識装置20の構成について、
図1を参照して説明する。本実施形態に係る走行区画線認識装置20は、車載カメラ10により撮影された道路画像を用いて、道路の車線を区画する白線(走行区画線)を認識する車載装置である。
【0014】
車載カメラ10は、CCDカメラやCMOSイメージセンサ等であり、車両前方の道路を含む車両の周辺を撮影するように、例えば車両のフロントガラスの中央上端付近に設置されている。車載カメラ10は、撮影した道路画像を走行区画線認識装置20へ出力する。
【0015】
走行区画線認識装置20は、CPU、RAM、ROM及びI/O等を備えたコンピュータである。CPUが、ROMにインストールされている走行区画線認識プログラムを実行することにより、乱雑度合算出部21、乱雑度合学習部22、環境変化判定部23、学習リセット部24、認識抑制部25、及び認識処理部26の各種機能を実現する。なお、記憶媒体に記憶されている走行区画線認識プログラムをコンピュータに読み込んでもよい。
【0016】
乱雑度合算出部21(算出手段)は、白線の認識に影響する画像の乱雑度合を算出する。路面が雪で覆われていると、路面上の白線が雪で隠れて白線を適切に検出できなくなるおそれがある。また、雪道に轍が形成されると、轍と雪との境界部分が直線的になり、雪を白線として誤検出するおそれがある。さらに、砂利道や路面に水たまり等の反射部分が存在する道路でも、白線を誤検出するおそれがある。すなわち、道路画像に雪や砂利、水たまり等の乱雑要因が存在すると、白線の検出精度が低下する。
【0017】
そこで、乱雑度合算出部21は、白線検出時にノイズとなる乱雑要因が瞬時の道路画像に存在する度合を示す乱雑度合を算出する。路面に雪轍が形成されていると、車両のタイヤ下方の露出した路面は黒く見え、車両中央の下方の雪が存在する部分は白く見る。そこで、乱雑度合算出部21は、瞬時の道路画像において、左右タイヤ下の輝度のうち輝度が大きい方の値と、車両中央真下の輝度値との比に基づいて、積雪乱雑度合を算出する。
【0018】
また、道路が砂利道の場合、道路画像から多数のエッジ点が抽出され、白線候補の自車両に対する傾きや横位置量が大きく変化する。よって、乱雑度合算出部21は、瞬時の道路画像から抽出されたエッジ点の数や、検出された白線候補の自車両に対する傾きや横位置量の変化量に基づいて、砂利道である度合を示す砂利乱雑度合を算出する。さらに、路面に水たまりなどの反射部分が存在すると、断続的に非常に輝度の高い部分が発生する。よって、乱雑度合算出部21は、瞬時の道路画像において、高い輝度が検出される頻度やその位置のばらつきなどに基づいて、反射部分が存在する度合を示す反射乱雑度合を算出する。さらに、乱雑度合算出部21は、積雪乱雑度合、砂利乱雑度合及び反射乱雑度合を統合して、画像の乱雑度合を算出する。
【0019】
乱雑度合学習部22(学習手段)は、乱雑度合算出部21により瞬時の道路画像から算出された乱雑度合の学習を行う。乱雑度合算出部21により今回算出された乱雑度合と、過去に算出された乱雑度合の学習値である乱雑学習値とに基づいて、乱雑学習値を更新する。例えば、今回算出された乱雑度合とメモリに記憶されている乱雑学習値とを加重平均して算出した値を、新しい乱雑学習値としてメモリに記憶する。この場合、過去の乱雑学習値の重みを大きくするほど、乱雑学習値の安定性は高くなる。
【0020】
環境変化判定部23(判定手段)は、道路の環境が変化する前後を判定する。乱雑度合は道路環境に応じて定まる。そのため、乱雑度合は、道路の環境が変化したときに大きく変化することが多い。
【0021】
一般的に、トンネルや高架下の道路は、積雪や水たまり等がなく、トンネルや高架下以外の道路よりも乱雑度合が低い。また、一般的に、土手の上の道路は、砂利や水たまり等があり、土手の上以外の道路よりも乱雑度合が高い。また、一般的に、高速道路は一般道路よりも乱雑度合が低い。また、道路の交差点や他の車線は、現在の車両が走行している車線と乱雑度合が異なることがある。よって、本実施形態では、環境変化判定部23は、トンネル、高架下、土手の上、インターチェンジ、交差点及び道路の他の車線への侵入前後に、道路の環境が変化する前後、すなわち乱雑度合が大きく変化しうる前後と判定する。
【0022】
具体的には、環境変化判定部23は、メモリに記憶されている地図情報11及び現在位置に基づいて、環境が変化する前後を判定する。地図情報11及び現在位置から、トンネル、高架下、土手の上、インターチェンジ、交差点及び道路の他の車線への侵入前後を高精度に検出できる。また、環境変化判定部23は、車両に搭載されたミリ波レーダ12の検出値に基づいて、環境が変化する前後を判定する。ミリ波レーダ12は、水平方向及び垂直方向の両方向をスキャン可能なセンサである。このミリ波レーダ12により車両側方の壁や上方の天井を検出できるので、トンネルや高架下が地図情報11にない場合でも、ミリ波レーダ12の検出値に基づいてトンネルや高架下への侵入前後を高精度に検出できる。
【0023】
さらに、環境変化判定部23は、車両に搭載されたステレオカメラ13により撮影された画像に基づいて、環境が変化する前後を判定する。ステレオ画像から路面と路面の外側との高低差、及び路面から外側へ離れるほど高度が低くなることを検出できるので、地図情報11に土手がない場合でも、ステレオカメラ画像に基づいて土手の上への侵入前後を高精度に検出できる。さらに、ステレオカメラ13の画像や車載カメラ10の道路画像を用いた画像認識により、トンネル、高架下、インターチェンジ、交差点及び道路の他の車線への侵入前後も検出できる。なお、車載カメラ10は、ステレオカメラ13を兼用してもよい。
【0024】
学習リセット部24(学習リセット手段)は、環境変化判定部23により道路環境が変化する前後と判定された場合に、乱雑学習値を今よりも前の乱雑学習値に戻す。
図2に、雪道及びトンネル内を走行した際における乱雑学習値の時間変化を実線で示す。本実施形態における乱雑学習値の初期値は、乱雑度合が高くも低くもない中立的な値である。雪道の走行中では、乱雑学習値は初期値から徐々に大きくなり、乱雑学習値が閾値thよりも大きくなった時点で、後述する認識抑制部25により白線の認識抑制が開始される。乱雑学習値は、その後さらに大きくなってほぼ一定の値になっている。一方、トンネル内の走行中では、乱雑学習値は初期値付近の値となっている。
【0025】
ここで、雪道からトンネルへの侵入時に、雪道で学習した乱雑学習値を用いてそのまま学習を続けると、
図2に破線で示すように、トンネル内に入っても、乱雑学習値はすぐに初期値付近まで戻らず、初期値付近まで戻るのに時間がかかる。よって、トンネル内に入っても、乱雑学習値が閾値thよりも小さくなるまでに時間がかかり、しばらくの間白線の認識が再開されない。また、例えば、乱雑学習値が初期値よりも小さい道路から砂利道の侵入の際に、そのまま学習を続けると、乱雑学習値が閾値thよりも大きくなるまでに時間がかかり、しばらくの間白線の認識が抑制されない。
【0026】
これに対して、
図2に実線で示すように、トンネル侵入時に、乱雑学習値を今よりも学習が進んでいない乱雑学習値に戻すと、速やかに白線の認識を再開できる。また、乱雑学習値が初期値よりも小さい道路から砂利道の侵入の際に、乱雑学習値を今よりも学習が進んでいない乱雑学習値に戻すと、速やかに白線の認識を抑制できる。すなわち、環境が変化する前後と判定された場合に、乱雑学習値を今よりも前の乱雑学習値に戻して学習を再開すると、白線の認識又は白線の認識抑制の応答性を向上させることができる。
【0027】
学習リセット部24は、乱雑学習値を、今よりも前の乱雑学習値として所定時間前の乱雑学習値に戻してもよいし、初期値に戻してもよい。乱雑学習値が閾値thを超える状況が長く続いた場合などには、乱雑学習値を初期値に戻すと有効である。
【0028】
認識抑制部25(抑制手段)は、乱雑度合学習部22により更新された乱雑学習値が閾値thを超えた場合に、白線の認識を抑制する。すなわち、認識抑制部25は、道路画像から白線を誤検出するおそれが高い場合に、白線の認識を抑制する。ここでの白線認識の抑制は、白線を検出しないようにすること、検出した白線の情報(道路パラメータ)を車両制御装置30へ出力しないようにすること、白線の検出精度が低い旨の信号を車両制御装置30へ出力して、検出した白線の情報に基づいた走行支援が行われないようにすることを含む。
【0029】
認識処理部26は、車載カメラ10により撮影された道路画像に基づいて、白線を検出する。例えば、道路画像からエッジ点を抽出し、抽出したエッジ点を通る白線候補のうち尤も白線らしい特徴を備えた白線候補を白線として検出する。ただし、白線認識の抑制として、白線を検出しないようにする場合は、乱雑学習値が閾値thを超えたときに白線の検出を行わない。
【0030】
そして、認識処理部26は、検出した白線の情報を、車両制御装置30へ出力する。車両制御装置30は、認識処理部26から入力された白線の情報に基づいて、LKA制御や逸脱警報等の走行支援を行う。
【0031】
次に、白線認識を抑制する処理手順について、
図3のフローチャートを参照して説明する。本処理手順は、走行区画線認識装置20が繰り返し実行する。
【0032】
まず、車載カメラ10により撮影された道路画像を取得する(S10)。続いて、取得した道路画像の乱雑度合、すなわち、路面上に雪、砂利、水たまり等の乱雑要因が存在する度合を算出する(S11)。
【0033】
続いて、地図情報11、ミリ波レーダ12の検出値、ステレオカメラ13の画像に基づいて、道路環境の変化前後か否か判定する(S12)。道路環境の変化前後の場合は(S12:YES)、乱雑学習値を今よりも学習が進んでいない乱雑学習値に戻す(S13)。そして、S13で戻した乱雑学習値とS11で算出した乱雑度合とから今回の乱雑学習値を算出して、乱雑学習値を更新する(S14)。
【0034】
一方、道路環境の変化前後でない場合は(S12:NO)、記憶されている乱雑学習値とS11で算出した乱雑度合とから今回の乱雑学習値を算出して、乱雑学習値を更新する(S14)。
【0035】
続いて、S14で更新した乱雑学習値が閾値thよりも大きいか否か判定する(S15)。乱雑学習値が閾値thよりも大きい場合は(S15:YES)、白線の認識を抑制する(S16)。すなわち、白線の検出を行わない、または検出した白線の情報を車両制御装置30へ出力しない。あるいは、白線の検出精度が低い旨の信号を車両制御装置30へ出力して、車両制御装置30が検出精度の低い白線の情報に基づいた走行支援を行わないようにする。
【0036】
一方、S14で更新した乱雑学習値が閾値th以下の場合は(S15:NO)、通常の白線認識処理を行う。すなわち、S10で取得した道路画像に基づいて白線を検出し、検出した白線の情報を車両制御装置30へ出力する。以上で本処理を終了する。
【0037】
以上説明した本実施形態によれば、以下の効果を奏する。
【0038】
・白線認識を抑制するか否かの判定に、瞬時の道路画像から算出した乱雑度合ではなく、乱雑度合の学習値である乱雑学習値を用いるため、白線の認識を安定して抑制することができる。また、道路環境が変化する前後か否かが判定され、道路の環境が変化する前後と判定された場合には、乱雑学習値が今よりも前の乱雑学習値、すなわち今よりも学習が進んでいない乱雑学習値に戻される。よって、例えば、道路環境が乱雑な環境から白線の認識に適した状況へ急変した場合には、白線を速やかに認識することができる。したがって、白線の認識に不適な乱雑な道路環境における白線の認識抑制の安定性と、道路環境への急変に伴う応答性とを両立できる。
【0039】
・道路環境の変化前後と判定された場合に、乱雑学習値を初期値に戻すことにより、乱雑学習値が閾値thを超える状況が長く続いた場合でも、適切な乱雑学習値から学習を再開できる。
【0040】
・トンネル、高架下、土手の上、インターチェンジ、道路の交差点及び他の車線への侵入前後に、道路環境が変化する前後と判定することにより、適切なタイミングで乱雑学習値を戻すことができる。
【0041】
・地図情報11と現在位置とに基づいて、道路環境が変化する前後を高精度に判定できる。
【0042】
・ミリ波レーダ12により車両側方の壁や上方の天井を検出できるので、ミリ波レーダ12の検出値に基づいてトンネルや高架下への侵入前後を高精度に検出できる。
【0043】
・ステレオカメラ13により撮影された画像から、路面と路面の外側との高低差及び路面から外側へ離れるほど高度が低下することを検出できるので、ステレオカメラ画像に基づいて土手の上への侵入前後を高精度に検出できる。
【0044】
(他の実施形態)
・白線の認識に影響する道路画像の乱雑要因は、雪、砂利、水たまりに限らない。他の乱雑要因についても乱雑度合を算出してその他の乱雑度合に統合し、画像の乱雑度合を算出してもよい。また、雪の多い季節や場所では、道路画像の乱雑要因として雪だけを考慮してもよい。道路画像の乱雑要因は、場所や気候等に応じて適宜選択すればよい。
【0045】
・道路環境の変化には、白線の認識に適した道路環境への変化や、現在の道路環境と近い道路環境への変化等、様々な変化がある。そこで、学習リセット部24は、道路環境の変化の状態に応じて、乱雑学習値の戻し度合を決めてもよい。例えば、乱雑学習値の大きい道路からトンネル内や高架下への侵入時には、学習値を初期値まで戻す。また、乱雑学習値の大きい道路から土手の上への侵入時には、学習値の戻し度合を小さくする。また、交差点の侵入時や他の車線への侵入時は、現在走行中の道路環境に近い道路環境への変化なので、乱雑学習値の戻し度合を小さくする。このように、道路環境の変化の状態に応じて乱雑学習値の戻し度合を決めることにより、適切な乱雑学習値から学習を再開できる。ひいては、速やかに白線の認識や白線の認識抑制を行うことができる。
【0046】
・地図情報11及び現在位置のみに基づいて、道路環境が変化する前後を判定してもよい。また、ミリ波レーダ12の検出値のみに基づいて道路環境が変化する前後を判定してもよいし、ステレオカメラ13の画像のみに基づいて、道路環境が変化する前後を判定してもよい。あるいは、ミリ波レーダ12の検出値及びステレオカメラ13の画像のみに基づいて、道路環境が変化する前後を判定してもよい。また、その他のセンサを用いて道路環境が変化する前後を判定してもよい。
【0047】
・道路環境が変化する前後と判定する状況は、適宜設定すればよい。例えば、道路の交差点及び他の車線への侵入前後は、道路環境が変化する前後と判定しなくてもよいし、トンネル、高架下、土手の上、インターチェンジ、道路の交差点及び他の車線への侵入前後以外でも、道路環境が変化する前後と判定してもよい。道路の乱雑度合の変化が発生しやすい状況を、道路環境が変化する前後と判定すればよい。
【符号の説明】
【0048】
10…車載カメラ、20…走行区画線認識装置、21…乱雑度合算出部、22…乱雑度合学習部、23…環境変化判定部、24…学習リセット部、25…認識抑制部。