(58)【調査した分野】(Int.Cl.,DB名)
車両前方の走路を撮影する車載カメラにより撮影される画像から、隣接する画素間で輝度の変化が予め設定された閾値以上となるエッジ点の座標を算出するように構成されたエッジ抽出部(44)と、
前記エッジ抽出部により抽出されたエッジ点の座標に基づき、前記走路の区画線の候補となる一つ以上の線候補を抽出するように構成された候補抽出部(45)と、
前記候補抽出部にて抽出された前記一つ以上の線候補のうちいずれか一つを選択候補として選択する選択部(48)と、
前記選択部により選択された選択候補に含まれる前記エッジ点の座標に基づき、予め用意されたフィルタを用いて、前記車両に対する走路の状態および前記走路の形状に関する走路パラメータを推定するように構成された推定部(49)と、
前記エッジ抽出部による前記エッジ点の抽出精度を低下させる状況である不安定状況にあるか否かを判定するように構成された判定部(47:S100〜S240)と、
前記判定部にて前記不安定状況であると判定された場合、前記フィルタの応答性を低下させるように構成された応答性設定部(47:S250)と、
前記選択候補が白線らしいほど高い値となる信頼度を求めるように構成された信頼度算出部(461)と、
を備え、
前記判定部は、前記信頼度算出部にて算出された信頼度が予め設定された信頼度閾値未満である場合に、前記不安定状況であると判定するように構成されている(47:S110)、走路推定装置。
請求項7に記載の走路推定装置であって、前記特徴生成部は、前記選択候補から特定される区画線が破線である場合、破線を形成する個々のブロックの長さ、または前記ブロック間の間隔の少なくとも一方を、前記特徴情報として生成するように構成されている、走路推定装置。
【発明を実施するための形態】
【0013】
以下、図面を参照しながら、本開示の実施形態を説明する。
[1.構成]
図1に示す本実施形態の運転支援システム1は、車両に搭載される。以下では、運転支援システム1を搭載する車両を自車両という。運転支援システム1は、自車両前方を撮影した画像から走路パラメータを推定し、その推定された走路パラメータに基づいて各種運転支援を実行する。走路パラメータは、自車両に対する走路の状態および走路の形状を表すものであり、その詳細については後述する。
【0014】
運転支援システム1は、撮像部2と、センサ群3と、走路推定装置4と、支援実行部5とを備える。
撮像部2は、自車両の前方の走路を撮影するように車両に搭載されている。具体的には、撮像部2は、自車両の中央前方側に取り付けられており、
図2に示すように、自車両の前方に向けて所定角度範囲で広がる領域を撮影する。撮像部2は、CCDカメラ、CMOSイメージセンサ、近赤外線カメラ等を用いて構成され、輝度だけでなく色を識別できるカラー画像を取得するように構成されている。
【0015】
センサ群3は、自車両の状態や挙動を検出するために自車両に搭載された各種センサである。具体的には、センサ群3は、車輪の回転速度に基づき自車両の車速を検出する車速センサを少なくとも備えている。センサ群3は、車速センサ以外に、自車両の旋回角速度を検出するヨーレートセンサ、自車両の位置を検出するGPSセンサ、自車両の周辺に存在する物標との距離や相対速度を検出するレーダセンサ等を備えていてもよい。
【0016】
走路推定装置4は、CPU4aと、RAM、ROM、フラッシュメモリ等の半導体メモ
リ(以下、メモリ4b)と、を有する周知のマイクロコンピュータを中心に構成される。走路推定装置4の各種機能は、CPU4aが非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ4bが、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、走路推定装置4を構成するマイクロコンピュータの数は1つでも複数でもよい。
【0017】
支援実行部5は、走路推定装置4による推定結果に基づいて、各種制御対象を作動させてレーンキープアシスト等の運転支援制御を実行する。制御対象としては、例えば、ブレーキ、ステアリング、シートベルト等を駆動するアクチュエータ、警報を発する警報装置等が挙げられる。
【0018】
[2.処理]
走路推定装置4は、CPU4aがプログラムを実行することで実現される機能の構成として、走路認識機能を有する。
【0019】
走路推定装置4は、走路認識機能を実現するための構成として、
図3に示すように、画像取得部41と、センサ取得部42と、環境抽出部43と、エッジ抽出部44と、候補抽出部45と、情報抽出部46と、応答性設定部47と、選択部48と、推定部49とを備える。なお、これら各部の機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素について、一つあるいは複数のハードウェアを用いて実現してもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。
【0020】
画像取得部41は、予め設定された周期毎に撮像部2から画像を取得する。以下では、この周期を処理サイクルともいう。
センサ取得部42は、センサ群3から検出情報を適宜取得する。ここでは自車両の車速やヨーレートを少なくとも取得する。
【0021】
環境抽出部43は、処理サイクル毎に自車両の走路周辺の明るさと、前回の処理サイクルで求めた明るさとの差分とを求める。ここでは、環境抽出部43は、画像取得部41にて取得された画像に基づき、画像に含まれる全画素の輝度の平均値を走路周辺の明るさとして求める。なお、走路周辺の明るさを求める方法は、これに限らず、照度センサ等を用いて直接検出してもよい。
【0022】
エッジ抽出部44は、画像取得部41が取得した画像にsobelフィルタ等を適用してエッジ点を抽出する。エッジ点とは、例えば、隣接する画素の間で輝度が予め設定された閾値以上変化する点のことをいう。
【0023】
候補抽出部45は、エッジ抽出部44にて検出されたエッジ点をハフ変換する等して、一つ以上の線候補を抽出する。線候補は、走路の範囲等を表すために路面にペイントされた区画線と路面との境界を表す線の候補である。
【0024】
選択部48は、候補抽出部45にて抽出された線候補の中から、自車両の走路の左右の境界を現していると推定される一対の線候補を選択する。以下、選択された一対の線候補を選択候補という。選択候補の選択は、情報抽出部46にて抽出される各種情報や、線候補の位置情報等を利用することができる。
【0025】
推定部49は、選択部48により選択された左右の境界線を構成するエッジ点である境
界エッジ点の座標を観測値として、カルマンフィルタを用いて、自車両に対する走路の状態及び走路の形状を表す走路パラメータを算出する。推定部49は、算出された走路パラメータを支援実行部5に出力する。
【0026】
なお、走路パラメータのうち、車両に対する走路の状態に関するパラメータは、オフセットyc、車線傾きφ、ピッチング量βであり、走路の形状に関するパラメータは、曲率ρ、車線幅Wlである。オフセットycは、撮像部2を中心として進行方向に伸びる中心線から、走路の幅方向の中心までの距離であり、自車両の走路幅方向への変位を表す。自車両が走路の中央を走行している場合に、オフセットycは0となる。車線傾きφは、左右の境界線の中央を通過する仮想的な線を中央線として、自車両の進行方向に対する中央線の接線の傾きであり、車両のヨー角を表す。ピッチング量βは、走路に対する自車両のピッチ角を表す。曲率ρは、前記中央線の中央線の曲率である。車線幅Wlは、自車両の中心線と直交する方向における左右の境界線の間隔であり、走路の幅を表す。
【0027】
なお、カルマンフィルタを用いた走路パラメータの推定は、例えば、特開2015−199423号公報等に開示された公知の技術であるため、ここではその詳細についての説明を省略する。
【0028】
情報抽出部46は、信頼度算出部461と、特徴生成部462と、ばらつき生成部463と、差分生成部464と、線種識別部465とを備える。情報抽出部46は、候補抽出部45にて抽出された線候補のそれぞれについて、その線候補から特定される区画線の特徴を表す複数種類の情報を生成する。
【0029】
線種識別部465は、線候補に含まれるエッジ点の分布等に基づき、線候補が表す区画線の種類を識別する。具体的には、区画線が実線であるか破線であるかを識別する他、単独線であるか多重線の一部であるかも識別する。
【0030】
特徴生成部462は、線候補から特定される区画線の特徴を表す特徴情報を生成する。
特徴情報には、ブロック長L、ブロック間隔W、線全長AL、路面色度合い、黒境界の色度合い等が含まれる。
【0031】
ここで、
図4に示すように、線候補から特定される区画線が、断続的なm個の矩形状の領域(以下、ブロック)を含む破線であるとする。mは、2以上の整数である。
ブロック長L
1〜L
mは、個々のブロック毎の長さである。
【0032】
ブロック間隔W
1〜W
m−1は、隣接する各ブロックの間隔の長さである。区画線が破線ではなく、単一のブロックである場合は、ブロック間隔Wは存在しない。
全長ALは、線候補に含まれるエッジ点のうち、自車両の最近点から最遠点までの距離である。区画線が単一のブロックである場合は、AL=A
1となる。
【0033】
路面色度合いP
1〜P
mは、個々のブロック毎に求められ、基準輝度とブロックの輝度とのコントラスト比である。但し、その値は、0〜1の値をとるように正規化されている。ここでは、基準輝度に対してブロックの輝度が高いほど、即ち、コントラスト比が大きいほど、路面度合いP
iは1に近づく。iは1〜mの整数である。基準輝度は、例えば、画像から抽出された路面部分の平均的な輝度である。
【0034】
黒境界の色度合いQ
1〜Q
mは、基準輝度を基準とした黒境界の輝度のコントラスト比である。黒境界とは、ブロックの境界に位置する路面、即ち、低輝度側の画素のことをいう。但し、その値は、0〜1の値をとるように正規化されている。ここでは、黒境界の輝度が基準輝度に近いほど、つまり、コントラスト比が小さいほどQ
i=1に近づく。また
、黒境界の輝度がより基準輝度から離れるほど、つまり、コントラスト比が大きいほどQ
i=0に近づく。
【0035】
ばらつき生成部463は、今回の処理サイクルで特徴生成部462が生成した特徴情報のばらつきを表すばらつき情報を求める。ばらつき情報として、例えば、ブロック長L
1〜L
mの平均PLおよび分散VL、ブロック間隔W
1〜W
m−1の平均PWおよび分散VWを用いる。但し、ばらつき生成部463は、線候補から特定される区画線が複数のブロックを含む場合にのみ、ばらつき情報を生成する。
【0036】
差分生成部464は、特徴生成部462が生成した特徴情報、およびばらつき生成部463が生成したばらつき情報について、今回の処理サイクルにて生成された情報と前記の処理サイクルにて生成された情報との差分を求める。具体的には、全長ALの差分ΔAL、ブロック長の平均PLやブロック間隔の平均PWの差分ΔPL,ΔPW等を求める。また、線種識別部465での識別結果に変化がある場合には、その旨を表す種別変化フラグをセットする。
【0037】
信頼度算出部461は、線候補に対応づけられる路面上のブロックが白線らしいほど高い値となる第1信頼度DR、第2信頼度DBを生成する。
第1信頼度DRは、ブロック長Liおよび路面色度合いP
iを用いて、(1)式で求められる。区画線が単一のブロックである場合は、路面色度合いP
1がそのまま第1信頼度DRとなる。
【0038】
【数1】
第2信頼度DBは、ブロック長Liおよび黒境界の色度合いQ
iを用いて、(2)式で求められる。区画線が単一のブロックである場合は、黒境界の色度合いQ
1がそのまま第2信頼度DBとなる。
【0039】
【数2】
応答性設定部47は、道路の状況に応じてカルマンフィルタの応答性を適宜変更する処理を実行する。カルマンフィルタの応答性は、カルマンゲインにより決まる。カルマンゲインは、前回の推定結果に基づく予測値と、今回の観測値とのうち、どちらをどの程度信頼するかを表す値である。つまり、予測値を信頼して重視した場合は、フィルタの応答性が低下し安定性が向上する。逆に、観測値を信頼して重視した場合は、フィルタの応答性が向上し安定性が低下する。カルマンゲインは、例えば、観測雑音を表す分散行列の値を調整することで変更することができる。
【0040】
[2−1.応答性設定処理]
応答性設定部47が実行する応答性設定処理について、
図5のフローチャートを用いて説明する。本処理は、処理サイクル毎に繰り返し実行される。また、本処理は、選択部48にて選択された一対の選択候補のそれぞれについて実行される。従って、以下の処理にて選択候補といった場合、いずれか一方の選択候補のことを指す。
【0041】
応答性設定部47は、S100では、判定フラグF1〜F7を0にリセットする。
S110では、選択候補について、情報抽出部46にて算出された第1信頼度DRおよび第2信頼度DBが、予め設定された信頼度閾値未満であるか否かを判断する。信頼度DR,DBのうち少なくとも一方が信頼度閾値未満である場合、選択候補が白線である信頼度が低い不安定状況であるとしてS120に進む。信頼度DR,DBのいずれもが信頼度閾値以上である場合、選択候補が白線である信頼度が高いものとして、S130に進む。
【0042】
S120では、判定フラグF1を1にセットしてS130に進む。
S130では、選択候補から予め設定された許容範囲内に、高信頼度線が存在するか否かを判断する。高信頼度線とは、第1信頼度DRおよび第2信頼度DBのいずれもが信頼度閾値以上である線候補のことをいう。また、許容範囲は、例えば、二つのエッジ点が同一の線候補であると判断される可能性のある最大距離で規定される範囲のことをいう。許容範囲内に高信頼度線が存在する場合、選択候補と高信頼度線とが混同される可能性がある不安定状況であるとしてS140に進む。許容範囲内に高信頼度線が存在しない場合、S150に進む。
【0043】
S140では、判定フラグF2を1にセットしてS150に進む。
S150では、選択候補について、情報抽出部46にて生成された特徴情報が、予め設定された許容範囲から外れた値になっているか否かを判断する。例えば、ブロック長の平均PLやブロック間隔の平均PWが、法律等で規定されたサイズから外れているか否かを判断する。特徴情報が許容範囲外の値である場合、選択候補の信頼性が低い不安定状況であるとしてS160に進む。特徴情報が許容範囲内の値である場合、S170に進む。
【0044】
S160では、判定フラグF3を1にセットしてS170に進む。
S170では、選択候補について、情報抽出部46にて生成された特徴情報のばらつきを表すブロック長の分散VLおよびブロック間隔の分散VWが、予め設定されたばらつき閾値以上であるか否かを判断する。分散VL,VWのうち少なくとも一方がばらつき閾値以上である場合、選択候補に含まれるブロックのパターンが不均一であり、区画線である信頼度が低い不安定状況であるものとしてS180に進む。分散VL,VWのいずれもがばらつき閾値未満である場合、S190に進む。
【0045】
S180では、判定フラグF4を1にセットしてS190に進む。
S190では、選択候補について、情報抽出部46にて算出された特徴情報の処理サイクル間での差分であるブロック長平均の差分ΔLおよびブロック間隔平均の差分ΔWが、予め設定された急変閾値以上であるか否かを判断する。急変閾値とは、測定誤差を超えるような変動の有無を判定するための閾値である。急変閾値は、差分ΔLと差分ΔWとで異なっていてもよい。差分ΔL,ΔWのうち少なくとも一方が急変閾値以上である場合、何らかの外乱が影響によって特徴情報の値が急変する不安定状況であるものとしてS200に進む。差分ΔL,ΔWのいずれもが急変閾値未満である場合、選択候補が外乱の影響を受けている可能性は低いものとしてS210に進む。
【0046】
S200では、判定フラグF5を1にセットしてS210に進む。
S210では、選択候補について、情報抽出部46にて識別された線種が、前回の処理サイクルから変化しているか否か、即ち、種別変化フラグがセットされているか否かを判
断する。種別変化フラグがセットされている場合、何らかの外乱の影響によって線種の判定がばらつく不安定状況であるものとしてS220に進む。種別変化フラグがセットされていない場合、S230に進む。
【0047】
S220では、判定フラグF6を1にセットしてS230に進む。
S230では、環境抽出部43にて生成された明るさ差分ΔCが、予め設定された環境閾値以上であるか否かを判断する。環境閾値は、例えば、車両が高架下などの日陰になった領域を通過する再に生じる画面全体の平均輝度の変化を検出できる程度の大きさに設定される。明るさ差分ΔCが環境閾値以上である場合、トンネルや高架下に侵入する等、区画線の認識環境が急変した不安定状況であるものとして、S240に進む。明るさ差分ΔCが環境閾値未満である場合、S250に進む。
【0048】
S240では、判定フラグF7を1にセットしてS250に進む。
S250では、判定フラグF1〜F7の設定状態、および自車両の車速やヨーレート等に基づいて、カルマンフィルタの応答性を設定して、本処理を終了する。具体的には、判定フラグF1〜F7が1に設定されている件数が多いほど、また、車速が早いほど、ヨーレートが小さいほど、応答性が低くなるように設定する。なお、判定フラグF1〜F7を重み付け加算した結果を用い、その加算結果が大きいほど応答性が低くなるようにしてもよい。また、応答性を低下させる度合いを、選択候補の信頼度DR,DB、各種特徴情報の値、特徴情報のばらつき、特徴情報の差分、特徴情報や明るさの急変の度合い、高信頼度線との近さ等に応じて変化させるようにしてもよい。
【0049】
[3.動作]
図6に示すように、路面にタイヤ痕や補修によるコールタール線が存在する走行シーンを想定する。路面に影となる部分がない場合、路面各部の輝度は、
図7に示すようなものとなる。この場合、タイヤ痕やコールタール線は、白線と比較して輝度が低く、信頼度DR,DBも低くなる。従って、タイヤ痕やコールタール線に基づいて抽出される線候補が、選択候補として選択されることがない。
【0050】
車両が高架下を通過するシーンでは、カメラの露出制御が間に合わないため、画面が一時的に暗くなる。このとき、高架下出口から差し込む光の反射により、
図8に示すように、コールタール線は、路面の輝度より高くなり、白線と誤認識され易くなる。コールタール線が白線と誤認識されると、選択候補の対象が、正しい白線に基づく線候補から、コールタール線等の外乱に基づく線候補に切り替わる、いわゆる乗り移りが発生する。乗り移りが発生すると、線種、全長AL等の特徴情報、明るさの急変が生じる。従って、このような乗り移りによって生じる様々な変化を検出することで、認識環境が落下した不安定状況であるか否かを判断することができる。
【0051】
また、
図9に示すように、タイヤ痕やコールタール線等のように、路面より輝度の低い部位が存在すると、この輝度の低い部分を路面、本来の路面を白線として誤認識し、線候補として抽出される場合がある。しかし、この場合、白線と誤認識されたブロックの輝度は、基準輝度と変わらないため路面信頼度DRが低くなる。また、黒境界の輝度も基準輝度より大幅に低いものとなるため黒境界の信頼度DBも低くなる。従って、走路推定装置4では、タイヤ痕やコールタール線のエッジに基づく線候補は、選択部48で選択されにくく、仮に、選択候補として選択されたとしても、信頼度DR,DBが低いため、推定部49での推定に使用されるカルマンフィルタの応答性が抑えられる。従って、タイヤ痕やコールタール線等の外乱が走路推定に与える影響を抑制することができる。
【0052】
[4.効果]
以上詳述した実施形態によれば、以下の効果を奏する。
(1)走路推定装置4は、不安定状況であると判定されない限り、フィルタの応答性が高めに設定された状態が維持される。このため、直進路やカーブ路に関わらず必要な応答性を確保することができる。例えば、直進路からカーブ路に進入する際に、ヨーレートが検出される以前から応答性の高い制御を実現することができる。
【0053】
(2)走路推定装置4は、不安定状況であると判定すると、走路推定に用いるカルマンフィルタの応答性を低下させるため、不安定状況の原因となった外乱の影響による制御のふらつきを抑制することができる。
【0054】
図10は、直進路では応答性が一定となる従来装置では、路面亀裂を誤認識して曲率の推定結果が急変する道路において、本実施形態の運転支援システム1を搭載した車両を走行させたときに得られた曲率の推定結果である。本実施形態の運転支援システム1では、曲率の急変がなく、安定した推定結果が得られている。
【0055】
[5.他の実施形態]
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
【0056】
(a)上記実施形態では、選択候補から許容範囲内に高信頼度線(即ち、他の線候補)が存在する場合に、不安定状況であると判断しているが、これに限定されるものではない。例えば、
図11に示すように、選択候補から許容範囲内に、線候補として抽出されないまでも、コールタール線等の外乱に基づくエッジ点が多数検出されるような状況にある場合に、不安定状況であると判断するようにしてもよい。
【0057】
(b)上記実施形態では、走路パラメータを推定するフィルタとしてカルマンフィルタを用いているが、これに限定されるものではない。例えば、H∞フィルタ等、状態空間モデルの推定に使用されるその他のフィルタを用いてもよい。
【0058】
(c)上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
【0059】
(d)上述した走路推定装置の他、当該走路推定装置を構成要素とするシステム、当該走路推定装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、走路推定方法など、種々の形態で本開示を実現することもできる。