(58)【調査した分野】(Int.Cl.,DB名)
前記境界線特徴算出部は、前記画像の不鮮明度に対する前記見かけの幅の比率が前記所定値よりも小さい場合に、前記確率を所定の最低確率に算出する請求項1又は2に記載の境界線認識装置。
前記境界線特徴算出部は、前記画像の不鮮明度に対する前記見かけの幅の比率が、前記所定値よりも大きく設定された所定の最大値よりも大きい場合に、前記確率を所定の最高確率に算出する請求項1〜3のいずれかに記載の境界線認識装置。
前記画像の不鮮明度は、前記画像の水平方向において前記エッジ候補点を含む周辺の輝度を微分して算出した一次微分分布の所定幅である請求項1〜4のいずれかに記載の境界線認識装置。
前記画像の不鮮明度は、前記画像の水平方向に分布した前記エッジ候補点を含む周辺の輝度分布において、第1所定値から前記第1所定値よりも大きい第2所定値までの輝度が分布する幅である請求項1〜4のいずれかに記載の境界線認識装置。
【発明を実施するための形態】
【0011】
図1を参照して、一実施形態に係る境界線認識装置の構成について説明する。本実施形態に係る境界線認識装置は、カメラ10、及び画像処理装置70を備える。
【0012】
カメラ10は、例えばCCDカメラであり、車両前方の走路を撮影できるように、例えばルームミラーの裏側に、車両前方を向いて固定されている。カメラ10は、車両前方の走路を撮影し、撮影した画像情報を画像処理装置70に出力する。
【0013】
画像処理装置70は、CPU、ROM、RAM、I/O、及びこれらを接続するバスライン等からなるマイクロコンピュータとして構成されている。本実施形態では、CPUがROMに記憶されたプログラムを実行することで、境界線候補抽出部20、境界線特徴算出部30、境界線認識部60の機能を実現している。
【0014】
境界線候補抽出部20は、カメラ10により撮影された画像の輝度に基づいて、走路を区切る白線等の境界線のエッジ候補点を抽出し、抽出したエッジ候補点の連なりから境界線の候補線を抽出する。画像上で車両走行方向に交差する水平方向において、画像の輝度は、1本の境界線の左右の輪郭(エッジ)部分で大きく変化する。境界線候補抽出部20は、カメラ10から取得した画像情報を所定のサンプリング周期で連続的に処理しており、画像の水平方向において、急激に輝度が変化する複数の点をエッジ候補点として抽出する。そして、抽出した複数のエッジ候補点にハフ変換を施してエッジ候補点の連なりを取得し、取得したエッジ候補点の連なりを左右の輪郭とする候補線を複数抽出する。
【0015】
境界線特徴算出部30は、幅算出部31、投票数算出部32、エッジ強度算出部33、分岐路判定部34を備える。境界線特徴算出部30は、境界線候補抽出部20により抽出された複数の候補線のそれぞれについて、各エッジ候補点において、本線走路の境界線としての特徴を備えている度合いを算出し、特徴を備えている度合いが大きいほど、候補線が本線走路の境界線である確率を高く算出する。
【0016】
本願発明者は、車両の遠方において、画像の不鮮明度に対して境界線の見かけの幅が狭くなると、境界線に沿って設置された路側物等のエッジをエッジ候補点として抽出し、路側物等を境界線と誤認識するおそれが高くなることに注目した。すなわち、画像の不鮮明度に対して境界線の幅が所定よりも広くない場合には、境界線でないものを境界線と誤認識したり、境界線を境界線でないと誤認識したりする可能性が高くなる。そこで、画像の不鮮明度に対する候補線の見かけの幅の比率が所定値よりも大きいことを、本線走路の境界線としての特徴とした。
【0017】
また、その他に、ハフ変換による投票数が所定数よりも多いこと、水平方向の輝度微分値で表されるエッジ強度が所定値よりも大きいこと、境界線により区切られた走路が分岐路でないことを、本線走路の境界線としての特徴とした。
【0018】
幅算出部31は、各エッジ候補点において、候補線の見かけの幅を算出する。そして、画像の不鮮明度に対する算出した見かけの幅の比率が所定値よりも小さい場合に、候補線が本線走路の境界線である確率を最低にして、候補線が本線走路の境界線として認識されることを抑制する。
【0019】
投票数算出部32は、ハフ変換による投票数が所定数よりも小さい場合に、候補線が本線走路の境界線である確率を最低にして、候補線が本線走路の境界線として認識されることを抑制する。エッジ強度算出部33は、候補線のエッジ強度が所定値よりも小さい場合に、候補線が本線走路の境界線である確率を最低にして、候補線が本線走路の境界線として認識されることを抑制する。分岐路判定部34は、候補線により区切られた走路が分岐路か否か判定し、分岐路と判定された場合は、候補線が本線走路の境界線である確率を最低にして、候補線が本線走路の境界線として認識されることを抑制する。
【0020】
境界線認識部60は、境界線特徴統合部40及び境界線選択部50を備え、複数の境界線としての特徴について、境界線特徴算出部30によりそれぞれ算出された確率を統合して、境界線を認識する。
【0021】
境界線特徴統合部40は、
図2に示す演算式を用いて、幅算出部31、投票数算出部32、エッジ強度算出部33、分岐路判定部34によりそれぞれ算出された確率を統合して、統合確率を算出する。まず、幅算出部31により算出された確率をA、投票数算出部32により算出された確率をBとして、幅算出部31及び投票数算出部32により算出された確率を統合した確率Xを算出する。さらに、幅算出部31及び投票数算出部32により算出された確率を統合した確率XをA、エッジ強度算出部33により算出された確率をBとして、幅算出部31、投票数算出部32、及びエッジ強度算出部33により算出された確率を統合した確率Xを算出する。このように順次確率を統合して、複数の境界線としての特徴について、境界線特徴算出部30によりそれぞれ算出された確率を統合する。なお、境界線の特徴は上記4つの特徴に限らない。その他の境界線としての特徴についても候補線が本線走路の境界線である確率を算出し、算出した確率を統合してもよい。
【0022】
境界線選択部50は、境界線特徴統合部40により統合された確率に基づいて、候補線が境界線であるか否か判定し、本線走路の境界線として認識する候補線及びその候補線に含まれるエッジ候補点を選択する。詳しくは、統合された確率が境界線として判定できる判定値よりも高い候補線のうち、車両の左側と右側で対になっている候補線であり、且つ最も車両に近い候補線の車両側の輪郭を表すエッジ候補点を選択する。
【0023】
なお、車両を自動制御する場合は、境界線選択部50により選択された候補線の形状に基づいて、車両の操舵量の設定や路面上の物体の検出が行われる。また、車両が選択された候補線の外にはみ出した場合には、警報音が出力される。すなわち、本線走路の境界線として選択された候補線を制御目標の境界線に設定し、車両についての種々の自動制御を実行する。
【0024】
次に、
図3を参照して、境界線である確率を算出する処理手順について詳細に説明する。本処理手順は、幅算出部31が実行する。
【0025】
まず、S11では、画像の水平方向における候補線の幅wを算出する。続いてS12では、垂直方向(車両走行方向)に対する候補線の角度θを算出する。続いてS13では、画像上での候補線の見かけの幅を算出する。画像上での候補線の見かけの幅は、
図4に示すように、候補線の延伸方向に垂直な方向における候補線の幅である。候補線の見かけの幅は、S11で算出した水平方向における候補線の幅w、及びS12で算出した垂直方向に対する候補線の角度θから、wcosθと算出される。画像上での候補線の見かけの幅の単位はピクセルになる。
【0026】
続いてS14では、画像の不鮮明度を算出する。詳しくは、
図5に示すように、画像の水平方向にエッジ候補点を含む周辺の輝度を微分して一次微分分布を算出し、算出した一次微分分布の所定幅を画像の不鮮明度とする。
【0027】
画像がぼけていない理想的な状況では、画像の水平方向における輝度の一次微分分布は、境界線の左右のエッジ部分で鋭いピークとなり、広がりを持たない。これに対して、レンズの仕様や降雨等のために画像がぼけている状況では、一次微分分布は、左右のエッジ部分で広がりを持つ分布になる。それゆえ、一次微分分布の広がりの程度を表す所定幅を、画像の不鮮明度とする。
【0028】
あるいは、
図6に示すように、画像の水平方向に分布したエッジ候補点を含む周辺の輝度分布において、第1所定値から第1所定値よりも大きい第2所定値までの輝度が分布する幅を画像の不鮮明度とする。
【0029】
画像がぼけていない理想的な状況では、画像の水平方向における境界線の輝度分布は、境界線の左右のエッジ部分において、最小輝度から最高輝度に急に立ち上がる鋭いピークをもつ分布になる。これに対して、レンズの仕様や降雨等のために画像がぼけている状況では、輝度分布は、境界線の左右のエッジ部分で鈍って広がり、最小輝度から最高輝度まで理想的な状況よりも緩やかに立ち上がる分布になる。この輝度分布において、第1所定値から第2所定値までの輝度が分布する幅は、境界線のエッジ部分の広がりの程度をよく表している。それゆえ、最高輝度に対して第1所定値から第2所定値までの輝度が分布する幅を、画像の不鮮明度とする。
【0030】
なお、画像上での候補線の見かけの幅方向と、一次微分分布の微分方向及び輝度分布の分布方向とは異なるが、上記2つの不鮮明度算出方法のいずれでも、おおよその不鮮明度を算出できる。また、上記2つの不鮮明度算出方法のいずれで算出しても、画像の不鮮明度は同程度の値となり、単位はピクセルになる。
【0031】
続いてS15では、S14で算出した画像の不鮮明度とS13で算出した候補線の見かけの幅とから、画像の不鮮明度に対する候補線の見かけの幅の比率を算出する。詳しくは、候補線の見かけの幅を画像の不鮮明度で割って、この比率を算出する。
【0032】
続いてS16では、
図7に示す確率マップを用いて、S15で算出した画像の不鮮明度に対する候補線の見かけの幅の比率から、候補線が境界線である確率を算出する。
【0033】
境界線が車両の遠方にある場合、画像上での境界線の見かけの幅は、車両近辺にある場合よりも狭くなる。特に、
図7に示すように、境界線が画像上で水平方向にカーブしていると、車両の遠方において、画像上での境界線の見かけの幅は非常に狭くなるとともに、境界線のエッジ部分がぼやけ易くなる。このため、車両の遠方では車両近辺よりも、画像の不鮮明度に対して、画像上で境界線の見かけの幅が狭くなるとともに、エッジ部分とそれ以外の部分との見分けが付きにくくなり、エッジ候補点及び候補線の抽出精度が低くなる。
【0034】
画像の不鮮明度に対する画像上での候補線の見かけの幅の比率が所定値よりも小さい場合は、画像の不鮮明度と比較して、画像上での候補線の見かけの幅が狭くなり、境界線のエッジ部分とそれ以外の部分とを区別することが困難となる。それゆえ、上記比率が所定値よりも小さい場合は、境界線である確率を所定の最低確率にし、境界線が誤認識されることを抑制する。一方、上記比率が所定の最大値よりも大きい場合、すなわち画像の不鮮明度と比較して、画像上での候補線の見かけの幅が広い場合には、候補線が境界線であるか否かの判定の信頼性が十分に高くなる。それゆえ、上記比率が所定の最大値よりも大きい場合は、境界線である確率を所定の最高確率にする。また、上記比率が所定値から所定の最大値の間の場合は、画像の不鮮明度に対する候補線の見かけの幅の比率が小さいほど、候補線が境界線である確率を小さくする。
【0035】
ここで、所定の最低確率は、境界線特徴統合部40により、複数の境界線としての特徴について算出した確率を統合したときに、統合した確率を非常に低くする値であり、候補線が境界線として認識されることを抑制する値である。
【0036】
以上で本処理を終了し、幅算出部31は、S16で算出した境界線である確率を、境界線特徴統合部40に出力する。
【0037】
図8(a),(b)に、画像処理装置70により境界線を認識した結果の一例を示す。白四角は境界線選択部50により選択されたエッジ候補点を示し、黒四角は除外されたエッジ候補点を示す。
図8(a)は、複数の境界線としての特徴について算出された境界線である確率を統合した確率に、幅算出部31により算出された確率を反映していない場合の図である。これに対して、
図8(b)は、複数の境界線としての特徴について算出された境界線である確率を統合した確率に、幅算出部31により算出された確率を反映した場合の図である。
【0038】
図8(a),(b)では、走路が車両の遠方でカーブしており、カーブ付近において、走路の左側に沿って定間隔でポールが設置されている。カーブ付近では、ポールのエッジがエッジ候補点として抽出されている。
【0039】
ポールを表すエッジ候補点は、境界線として選択するエッジ候補点から除外すべきであるが、
図8(a)では、ポールを表すエッジ候補点のうち境界線との連続性が高い一部が、本線走路の境界線として選択されている。すなわち、カーブ付近で、ポールを表すエッジ候補点の連なりを境界線と誤認識している。これに対して
図8(b)では、
図8(a)で境界線と誤認識されたエッジ候補点の連なりが、本線走路の境界線として選択されていない。画像の不鮮明度に対して、ポールを表すエッジ候補点の連なりからなる候補線の見かけの幅は狭い。そのため、S11〜S16の処理を実行して算出した確率が小さくなり、境界線特徴統合部40により統合された確率を低くする。その結果、
図8(b)では、ポールを表すエッジ候補点が、本線走路の境界線として選択されていない。
【0040】
以上説明した本実施形態によれば、以下の効果を奏する。
【0041】
・候補線が境界線である確率の統合において、画像の不鮮明度に対する候補線の見かけの幅の比率が所定値よりも大きいことを特徴として算出した確率を反映させることにより、車両の遠方における境界線の誤認識を抑制することができる。
【0042】
・画像の不鮮明度に対する候補線の見かけの幅の比率が小さいほど、抽出された候補線が境界線である確率を小さくすることにより、境界線を誤認識することを抑制できる。
【0043】
・画像の不鮮明度を、輝度の微分値分布における所定幅、又は最高輝度に対する所定輝度の分布幅に基づき算出するため、レンズの仕様及び状況を反映した不鮮明度とすることができる。
【0044】
(他の実施形態)
本発明は上記実施形態の記載内容に限定されず、以下のように変更して実施してもよい。
【0045】
・画像の水平方向に対して角度θの方向、すなわち画像上の候補線の見かけの幅方向に、エッジ候補点を含む周辺の輝度を微分して一次微分分布を算出し、算出した一次微分分布の所定幅を画像の不鮮明度としてもよい。このようにすれば、画像の不鮮明度の精度を向上させることができる。
【0046】
・画像の水平方向に対して角度θの方向に分布したエッジ候補点を含む周辺の輝度分布において、第1所定値から第2所定値までの輝度が分布する幅を画像の不鮮明度としてもよい。このようにすれば、画像の不鮮明度の精度を向上させることができる。
【0047】
・カメラ10が備えるレンズのぼけ量の仕様値を画像上での長さに換算し、その換算値を画像の不鮮明度としてもよい。このようにすれば、容易に画像の不鮮明度に対する画像上での候補線の見かけの幅の比率を算出することができる。また、降雨時や降霧時以外では、精度の高い不鮮明度を取得できる。
【0048】
・降雨時や降霧時は、雨や霧によりレンズのぼけ量よりも画像の不鮮明度が高くなるので、降雨時や降霧時には、レンズのぼけ量を増加させるように補正してもよい。具体的には、
図1に破線で示すように、降雨を検出するレインセンサ11(降雨検出手段)、及び降霧を検出する霧センサ12(降霧検出手段)を車両に搭載する。そして、レインセンサ11及び霧センサ12により降雨又は降霧が検出された場合に、降雨及び降霧が検出されていない場合よりも、レンズのぼけ量の仕様値の換算値を増加させるように補正し、補正した値を画像の不鮮明度とする。
【0049】
このようにすれば、降雨時や降霧時に、画像の不鮮明度の精度を向上させることができ、ひいては境界線の誤検出をより抑制することができる。なお、レインセンサ11の代わりに、ワイパスイッチのオンにより降雨を検出し、霧センサ12の代わりにフォグランプスイッチのオンにより降霧を検出してもよい。
【0050】
・さらに、レインセンサ11及び霧センサ12により、降雨量又は降霧量を検出し、降雨量又は降霧量が多いほど、レンズのボケ量の仕様値の換算値を大きくするように補正してもよい。このようにすれば、降雨時や降霧時に、画像の不鮮明度の精度をさらに向上させることができる。
【0051】
・画像の不鮮明度に対する画像上での候補線の見かけの幅の比率について、上記実施形態で設定した所定値から所定の最大値の間に基準値を設定する。上記比率が基準値よりも大きい場合は、境界線である確率を例えば所定の高確率と算出し、小さい場合は境界線である確率を例えば所定の低確率と算出するようにしてもよい。すなわち、境界線である確率を不連続な二値に設定してもよい。