特許第6251099号(P6251099)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 国立大学法人東京工業大学の特許一覧
<>
  • 特許6251099-距離算出装置 図000002
  • 特許6251099-距離算出装置 図000003
  • 特許6251099-距離算出装置 図000004
  • 特許6251099-距離算出装置 図000005
  • 特許6251099-距離算出装置 図000006
  • 特許6251099-距離算出装置 図000007
  • 特許6251099-距離算出装置 図000008
  • 特許6251099-距離算出装置 図000009
  • 特許6251099-距離算出装置 図000010
  • 特許6251099-距離算出装置 図000011
  • 特許6251099-距離算出装置 図000012
  • 特許6251099-距離算出装置 図000013
  • 特許6251099-距離算出装置 図000014
  • 特許6251099-距離算出装置 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6251099
(24)【登録日】2017年12月1日
(45)【発行日】2017年12月20日
(54)【発明の名称】距離算出装置
(51)【国際特許分類】
   G01C 3/06 20060101AFI20171211BHJP
   G06T 1/00 20060101ALI20171211BHJP
【FI】
   G01C3/06 110V
   G01C3/06 140
   G06T1/00 315
【請求項の数】7
【全頁数】14
(21)【出願番号】特願2014-60285(P2014-60285)
(22)【出願日】2014年3月24日
(65)【公開番号】特開2015-184121(P2015-184121A)
(43)【公開日】2015年10月22日
【審査請求日】2016年12月19日
(73)【特許権者】
【識別番号】304021417
【氏名又は名称】国立大学法人東京工業大学
(73)【特許権者】
【識別番号】000004695
【氏名又は名称】株式会社SOKEN
(73)【特許権者】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【識別番号】100121821
【弁理士】
【氏名又は名称】山田 強
(74)【代理人】
【識別番号】100139480
【弁理士】
【氏名又は名称】日野 京子
(74)【代理人】
【識別番号】100125575
【弁理士】
【氏名又は名称】松田 洋
(72)【発明者】
【氏名】山田 祥太
(72)【発明者】
【氏名】實吉 敬二
(72)【発明者】
【氏名】石丸 和寿
(72)【発明者】
【氏名】熊野 俊也
【審査官】 池田 剛志
(56)【参考文献】
【文献】 特開2003−083742(JP,A)
【文献】 特開2003−294422(JP,A)
【文献】 特開2000−242899(JP,A)
【文献】 特開2008−182652(JP,A)
【文献】 米国特許出願公開第2012/0057776(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01B11/00−11/30
G01C3/00−3/32
G06T1/00−1/40
3/00−9/40
H04N7/18
(57)【特許請求の範囲】
【請求項1】
道路を含む周辺環境を撮影する複数の画像撮影装置(20)と、
前記複数の画像撮影装置により撮影された一対の画像に基づいて、視差を算出する視差算出手段(60)と、
前記画像において、前記道路の左右の境界線を構成するエッジ点を抽出する境界線抽出手段(50)と、
前記境界線抽出手段により抽出された前記エッジ点に基づき、前記左右の境界線を近似する所定長の線分である近似直線を算出する近似直線算出手段(71)と、
前記一対の画像における消失点視差の値を変えながら、各消失点視差について、前記近似直線算出手段により算出された前記左右の近似直線のうちの一方の前記近似直線の第1端から他方の前記近似直線を含む直線へ下ろした垂線の足と、前記第1端と対応する前記他方の近似直線の第2端との一致度を算出する一致度算出手段(72)と、
前記一致度算出手段により算出された前記一致度のうちの最も高い前記一致度に対応する前記消失点視差を、前記一対の画像における消失点視差として決定する消失点視差決定手段(73)と、
前記視差算出手段により算出された視差、及び前記消失点視差決定手段により決定された消失点視差に基づいて、対象物までの距離を算出する距離算出手段(80)と、を備えることを特徴とする距離算出装置。
【請求項2】
前記近似直線算出手段は、各消失点視差について、前記左右の境界線の一方を構成するエッジ点から前記所定長の線分の近似直線である第1直線を算出するとともに、前記左右の境界線の他方を構成するエッジ点から前記所定長の線分の近似直線である第2直線を複数算出し、
前記一致度算出手段は、各消失点視差について、前記第1直線と各第2直線との線分ペアの中から、最も平行性の高い前記線分ペアを決定し、決定した最も平行性の高い前記線分ペアの前記一致度を算出する請求項1に記載の距離算出装置。
【請求項3】
前記近似直線算出手段は、奥方向に所定のピクセル数ずつずらしながら、前記左右の境界線の他方を構成するエッジ点から前記第2直線を複数算出する請求項2に記載の距離算出装置。
【請求項4】
前記画像撮影装置の近傍を撮影したピクセルの画像データほど信頼度を高く算出する信頼度算出手段(74)を備え、
前記近似直線算出手段は、前記信頼度算出手段により算出された信頼度で重み付けされた前記エッジ点に基づいて、前記近似直線を算出する請求項1〜3のいずれかに記載の距離算出装置。
【請求項5】
前記複数の画像撮影装置は、複数の異なる時点で前記一対の画像を撮影し、
前記消失点視差決定手段は、複数の前記画像のそれぞれに対して決定した前記消失点視差に基づいて、前記距離算出手段により用いられる前記消失点視差を統計的に決定する請求項1〜4のいずれかに記載の距離算出装置。
【請求項6】
前記消失点視差決定手段は、複数の前記画像のそれぞれに対して決定した前記消失点視差を前記道路の幅を用いてグループ化し、前記グループごとに統計した結果に基づいて、前記距離算出手段により用いられる前記消失点視差を決定する請求項5に記載の距離算出装置。
【請求項7】
前記画像撮影装置の近傍を撮影したピクセルの画像データほど信頼度を高く算出する信頼度算出手段を備え、
前記消失点視差決定手段は、複数の前記画像のそれぞれに対して決定した前記消失点視差に対応する前記左右の近似直線の間隔と前記道路の幅との偏差であって、前記信頼度算出手段により算出された信頼度の逆数で重み付けされた前記偏差が、最も小さくなる前記道路の幅を用いる請求項6に記載の距離算出装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数のカメラにより撮影された画像を用いて対象物までの距離を算出する距離算出装置に関する。
【背景技術】
【0002】
車載ステレオカメラにより撮影された一方の画像における画素ブロックと、その画素ブロックと相関を有する他方の画像における画素ブロックとの視差に基づき、三角測量の原理を用いて対象物までの距離を算出することが行われている。距離を正確に算出するためには、視差以外の位置的なずれがステレオカメラ画像に存在しないことが望ましいが、ステレオカメラの取り付け精度に起因する位置的なずれや、振動等で生じた位置的なずれが存在する。特に、水平方向の並進ずれは、視差の誤差となって表れるため、距離の算出誤差の要因となる。そこで、ステレオカメラの水平方向の並進ずれに起因した誤差を補正して、対象物までの距離を算出する装置が提案されている。
【0003】
例えば、特許文献1は、ステレオカメラにより得られた一方の画像平面において、距離方向に延在する互いに平行な近似直線の交点から第1消失点を算出するとともに、同様にして他方の画像平面から第2消失点を算出している。そして、第1消失点と第2消失点とのずれ量から消失点視差を算出し、算出した消失点視差を用いて算出距離を補正している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003−83742号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1では、距離方向に延在する白線が道路の左右に存在し、左右の白線対は互いに平行であることが多いことから、距離方向に延在する白線から算出した近似直線が互いに平行であることを仮定して、消失点視差を算出している。しかしながら、道路面がうねっていた場合などには、近似直線対に互いに平行ではないものも含まれるおそれがある。近似直線対に互いに平行でないものが含まれている場合、消失点視差の算出精度が低下するとともに、距離の算出精度が低下するおそれがある。
【0006】
本発明は、上記実情に鑑み、距離の算出精度を向上させることが可能な距離算出装置を提供することを主たる目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するため、本発明は、距離算出装置であって、道路を含む周辺環境を撮影する複数の画像撮影装置と、前記複数の画像撮影装置により撮影された一対の画像に基づいて、視差を算出する視差算出手段と、前記画像において、前記道路の左右の境界線を構成するエッジ点を抽出する境界線抽出手段と、前記境界線抽出手段により抽出された前記エッジ点に基づき、前記左右の境界線を近似する所定長の線分である近似直線を算出する近似直線算出手段と、前記一対の画像における消失点視差の値を変えながら、各消失点視差について、前記近似直線算出手段により算出された前記左右の近似直線のうちの一方の前記近似直線の第1端から他方の前記近似直線を含む直線へ下ろした垂線の足と、前記第1端と対応する前記他方の近似直線の第2端との一致度を算出する一致度算出手段と、前記一致度算出手段により算出された前記一致度のうちの最も高い前記一致度に対応する前記消失点視差を、前記一対の画像における消失点視差として決定する消失点視差決定手段と、前記視差算出手段により算出された視差、及び前記消失点視差決定手段により決定された消失点視差に基づいて、対象物までの距離を算出する距離算出手段と、を備える。
【0008】
本発明によれば、複数の画像撮影装置により撮影された一対の画像に基づいて、視差が算出される。また、画像から、道路の左右の境界線を構成するエッジ点が抽出される。そして、抽出されたエッジ点に基づき、左右の境界線を近似する所定長の線分である近似直線が算出される。
【0009】
ここで、消失点視差が間違っていると、本来平行ではない左右の近似直線が平行になったり、本来平行の左右の近似直線が平行でなくなったりする。そこで、消失点視差の値が変えられながら、各消失点視差について、算出された左右の近似直線のうちの一方の近似直線の第1端から他方の近似直線を含む直線へ下ろした垂線の足と、第1端と対応する他方の近似直線の第2端との一致度が算出される。そして、算出された一致度のうちの最も高い一致度に対応する消失点視差が、一対の画像における消失点視差として決定される。
【0010】
左右の近似直線が実空間において真に平行で、消失点視差が真の値である場合、左右の近似直線のうちの一方の近似直線の第1端から他方へ下ろした垂線の足と、他方の近似直線の第2端とは一致し、一致度は最も高くなる。よって、算出された一致度のうちの最も高い一致度に対応する消失点視差が、正しい消失点視差として選択され、一対の画像における消失点視差として決定される。これにより、消失点視差の算出精度を向上させることができる。さらに、算出された視差、及び決定された消失点視差に基づいて、対象物までの距離が算出される。したがって、消失点視差の算出精度を向上させることができ、ひいては、距離の算出精度を向上させることができる。
【図面の簡単な説明】
【0011】
図1】本実施形態に係る距離算出装置の構成を示すブロック図。
図2】一対の画像の視差を示す図。
図3】(a)画像座標を示す図。(b)画像座標を実空間の座標に変換する式。
図4】境界線を抽出する所定領域を示す図。
図5】(a)境界線を構成するエッジ点を示す図。(b)近似式の算出に用いるエッジ点を示す図。
図6】(a)複数の線分ペアを示す図。(b)右線分の近似式。(c)左線分の近似式。
図7】消失点視差の変化に伴う線分ペアの平行性の変化を示す図。
図8】左側の各線分を近似する近似直線の係数を示す図。
図9】一方の線分から他方の線分に下ろした垂線及び一致度を示す図。
図10】算出した一致度と消失点視差との対応を示す図。
図11】(a)垂線の長さを示す図。(b)線分ペアの間隔と道路の幅との偏差を算出する式。
図12】複数の時点で撮影した画像から算出した消失点視差を示す図。
図13】算出した消失点視差の時間変化を示すタイムチャート。
図14】消失点視差を算出する処理手順を示すフローチャート。
【発明を実施するための形態】
【0012】
以下、距離算出装置を具現化した実施形態について、図面を参照しつつ説明する。まず、図1を参照して、本実施形態に係る距離算出装置10の構成について説明する。距離算出装置10は、一対の画像撮影装置20、及び画像処理装置30を備える。
【0013】
一対の画像撮影装置20は、CCDやCMOSセンサ、あるいは赤外線カメラ等のイメージセンサを内蔵したステレオカメラであり、一方はメインカメラ21、他方はサブカメラ22となる。メインカメラ21及びサブカメラ22は、それぞれ、ルームミラーの右端と左端に、車幅方向において所定のカメラ基線長で取り付けられ、通常の走行状態において車両前方の道路や先行車両等を含む周辺環境を撮影する。
【0014】
メインカメラ21は、基準画像信号を出力し、サブカメラ22は、比較画像信号を出力する。メインカメラ21及びサブカメラ22は、互いに同期が取れており、同一タイミングで周辺環境を撮影し、一対のアナログ画像データを画像処理装置30へ出力する。
【0015】
画像処理装置30は、CPU、RAM、ROM及びI/O等から構成されたマイクロコンピュータ、A/D変換回路から構成され、画像平行化部40、境界線抽出部50、視差算出部60、補正量算出部70、及び距離算出部80の機能を実現する。
【0016】
画像平行化部40は、画像撮影装置20から入力された一対のアナログ画像データを、A/D変換回路により、それぞれ所定の輝度階調のデジタル画像データに変換する。さらに、画像平行化部40は、一対のデジタル画像データを、メインカメラ21及びサブカメラ22の姿勢とレンズのひずみ係数とで補正して、一対のデジタル画像を平行化する。これにより、一対のデジタル画像、すなわちステレオ画像におけるエピポーライン(水平線)が一致するとともに、エピポーラインがu軸(図3(a)参照)に平行になる。ステレオ画像におけるエピポーラインの一致は、ステレオマッチングの精度を確保するために必要となる。画像平行化部40により補正されたステレオ画像は、視差算出部60及び境界線抽出部50へ出力される。
【0017】
視差算出部60は、ステレオ画像に基づいて視差dを算出する。視差dは、同じ対象物をメインカメラ21及びサブカメラ22により撮影した際に、メインカメラ21の画像(基準画像)における対象物の位置と、サブカメラ22の画像(参照画像)における対象物の位置との差である。視差算出部60は、基準画像において、例えば4×4ピクセルのピクセルブロック毎に、1つの視差dを算出する。
【0018】
視差dは、図2に示すように、画像撮影装置20の近傍ほど大きく、遠方ほど小さくなる。そして、理論的には、ステレオ画像の消失点における視差である消失点視差d0は0になる。すなわち、理論的には、ステレオ画像において消失点の位置は一致する。
【0019】
画像撮影装置20は、車両への初期搭載時に、平行化後のステレオ画像において、消失点視差d0が0になるように構成されている。しかしながら、車両の振動等により画像撮影装置20の位置にずれが生じ、消失点視差d0が0でなくなることがある。消失点視差d0が小さい場合は、ステレオ画像のマッチング率には影響を与えないが、三角測量の原理を用いて算出する対象物までの距離に影響を与える。そのため、三角測量の原理を用いて対象物までの距離を算出する際には、視差dを、消失点視差d0の分だけ補正する必要がある(図3(b)参照)。消失点視差d0の詳しい算出方法は後述する。
【0020】
距離算出部80は、視差算出部60により算出された視差d、及び後述する消失点視差決定部73により決定された消失点視差d0に基づいて、車両から対象物までの距離を算出する。詳しくは、図3(a)に示すように、基準画像において座標軸u,vを設定した場合、距離算出部80は、基準画像における対象物の座標(u,v,d)を、図3(b)に示すように、消失点視差d0を用いて、実空間の座標(X,Y,Z)に変換する。そして、距離算出部80は、対象物の実空間上の座標(X,Y,Z)から、実空間における距離を算出する。
【0021】
次に、消失点視差d0の算出方法について説明する。高精度に消失点視差d0を求めるためには、実空間において互いに平行な直線を一組見つける必要がある。そこで、境界線抽出部50及び補正量算出部70では、左右の境界線を構成するエッジ点を抽出し、抽出したエッジ点に基づいて近似直線のペアを複数算出する。さらに、消失点視差d0を変えながら、各消失点視差d0において、算出した複数の線分ペアの中から最も平行性の高い線分ペアを選択する。選択した線分ペアの一方の端Aから他方の線分を含む直線へ下ろした垂線の足と、端Aと対応する他方の線分の端Bとの一致度Mを算出する。そして、最も一致度Mが高い線分ペアに対応する消失点視差d0を、ステレオ画像における消失点視差d0とする。以下、詳しく説明する。
【0022】
境界線抽出部50は、基準画像の所定領域内(図4参照)において、例えば、縦16×横64ピクセルのピクセルブロックごとに1点を取得し、取得した点に基づいて、3次元Hough変換で道路面の式を算出する。また、境界線抽出部50は、基準画像において、道路の左右の境界線を構成するエッジ点を抽出する。詳しくは、境界線抽出部50は、基準画像において、左端から水平方向にアップエッジ点を探索する。そして、境界線抽出部50は、探索したエッジ点に基づいて、道路上にある白線対を表す直線を2次元Hough変換で検出する。白線対を表す直線は、基準画像内にある傾きが正の直線及び負の直線のそれぞれから、含まれるエッジ点が最も多い直線である。
【0023】
さらに、図4に示すように、画像撮影装置20の近傍の所定領域をエッジ抽出領域とする。この所定領域には、2次元Hough変換で検出された右側の破線の白線を表す線分と、同様に検出された左側の直線の白線を表す直線とが含まれる。そして、境界線抽出部50は、高精度にエッジ点を抽出するため、2次元Hough変換で検出した左右の白線のおおよその傾きに対して、それぞれ垂直な方向にエッジを持つピクセルほどエッジ強度が強くなるフィルタを、基準画像の輝度データにかけ、左右のエッジ点をそれぞれ抽出する(図5(a)のハッチング部分)。さらに、境界線抽出部50は、フィルタをかけて算出した左右のエッジ点のうち、エッジ強度が閾値以上のエッジ点を、道路の左右の境界線を構成するエッジ点としてそれぞれ抽出する(図5(b)の白抜き部分)。このように、白線に対して垂直な方向にエッジ点を探索することにより、画像の水平方向にエッジ点を検索する場合よりも、高精度に白線の輪郭が検出される。
【0024】
補正量算出部70は、近似直線算出部71、一致度算出部72、消失点視差決定部73、及び信頼度算出部74を備え、視差dの補正量すなわち消失点視差d0を算出する。
【0025】
信頼度算出部74は、画像撮影装置20の近傍を撮影したピクセルの画像データほど信頼度を高く算出する。信頼度は、あるピクセルの画像データが、真の値である確率に相当する。一般に、画像撮影装置20の近傍を撮影したピクセルの画像データほど、真の値である確率は高く、遠方を撮影したピクセルの画像データほど、真の値である確率は低い。
【0026】
近似直線算出部71は、境界線抽出部50により抽出されたエッジ強度が閾値以上の左右のエッジ点に基づき、左右の白線の近似直線を算出する。近似直線算出部71は、まず、右側の破線の白線を表す線分を近似する近似直線(第1直線)を算出する。詳しくは、近似直線算出部71は、境界線抽出部50により抽出された右側のエッジ点を、信頼度算出部74により算出された信頼度で重み付けする。そして、近似直線算出部71は、重み付けした右側のエッジ点について、最小二乗法により、右側の線分を近似する近似直線の式(図6(b)参照)を算出する。αrx、αry、βrx、及びβryは係数である。
【0027】
次に、近似直線算出部71は、境界線抽出部50により抽出された左側のエッジ点から、図6(a)に示すように、右側の線分と同じ長さの線分を複数切り出す。実際の道路では、長い直線道路は少なく、カーブしていたりうねっていたりする道路が多い。カーブしていたりうねっていたりする道路の白線を、長い直線で近似すると、実空間において互いに平行な直線をみつけられないおそれがある。そのため、近似直線算出部71は、左側の長い直線を構成するエッジ点から、右側の線分と同じ長さの短い線分を複数切り出す。
【0028】
そして、近似直線算出部71は、境界線抽出部50により抽出された左側のエッジ点を、信頼度で重み付けし、信頼度で重み付けした左側のエッジ点について、最小二乗法により、複数の線分のそれぞれを近似する近似直線(第2直線)の式(図6(c)参照)を算出する。詳しくは、近似直線算出部71は、境界線抽出部50により抽出された左側のエッジ点において、手前側から奥方向に1ピクセルずつずらしながら、右側の線分と同じ長さの線分を切り出し、それぞれの線分を近似する近似直線の式を算出する。本実施形態では、左側で80本の線分を切り出したとする。この場合、左側のそれぞれの線分と右側の線分とで、80個の線分ペアができる。また、この場合、左側の近似直線の係数、αlx、αly、βlx、及びβlyは、それぞれ80個算出される。
【0029】
なお、左右の白線がどちらも長い直線の場合は、一方の白線を構成するエッジ点から所定長の線分を切り出し、所定長の線分の近似直線を算出する。そして、他方の白線を構成するエッジ点から所定長の線分を複数切り出し、各線分の近似直線をそれぞれ算出する。
【0030】
ここで、実空間で平行な線分ペア(図7(a)参照)を近似した近似直線において、消失点視差d0を誤った値に変化させると、線分ペアが平行ではなくなる(図7(b)参照)。逆に、実空間で平行でない線分ペアを近似する近似直線において、消失点視差d0を誤った値に変化させることにより、線分ペアが平行になることもある。誤った消失点視差d0の値で線分ペアが平行になっている場合、線分ペアの進行方向の位置はずれるため、一方の線分の近傍側の端から他方の線分を含む直線へ下ろした垂線の足は、他方の線分の近傍側の端とずれる。これに対して、真の消失点視差d0で線分ペアが平行になっている場合、一方の線分の近傍側の端から他方の線分を含む直線へ下ろした垂線の足と、他方の線分の近傍側の端とが一致する線分ペアが存在する。このような線分ペアを、実空間において真に平行な線分ペアとする。そして、消失点視差d0の値を変化させて、実空間において真に平行な線分ペアに最も近い線分ペアの一組を探し、探した線分ペアに対応する消失点視差d0を、ステレオ画像の消失点視差d0と決定する。
【0031】
そこで、近似直線算出部71は、右側の線分の近似直線を算出するとともに、左側の複数の線分の近似直線をそれぞれ算出する。さらに、近似直線算出部71は、算出した左側の複数の近似直線の係数を平滑化し、特異点を減らして近似直線の係数を真の値に近づける。詳しくは、手前側の線分から順に係数を並べて平滑化する。図8(a)は、左側の複数の近似直線の係数αlxを、手前側から順に並べた図である。近似直線算出部71は、線分ペア番号が小さい方から順に係数αlxを平滑化する。
【0032】
平滑化方法は、どのような方法でもよいが、例えば、図8(a)に示す係数αlxについて線形補間をし、線形補間した係数αlxについて移動平均を行うことにより平滑化する。図8(b)は、平滑化した係数αlxを示す。このように平滑化することにより、実際の道路の滑らかな勾配に対応して、滑らかに変化する係数αlxが得られる。また、近似直線算出部71は、同様にして、係数αly,βlx,βlyについても平滑化を行う。以上により、80個の線分ペアの近似直線が算出される。
【0033】
一致度算出部72は、消失点視差d0の値を、−3〜3まで0.05[pix]刻みで変化させ、各消失点視差d0について、近似直線算出部71により算出された線分ペアの中から、最も平行性の高い線分ペアを決定する。具体的には、一致度算出部72は、各消失点視差d0について、αlxd0+βlx=αrxd0+βrx、及びαlyd0+βly=αryd0+βry(平行条件)を満たす線分ペアを、最も平行性の高い線分ペアに決定する。直線道路では複数の線分ペアが平行条件を満たす。複数の線分ペアが平行条件を満たす場合は、複数の線分ペアを最も平行性の高い線分ペアに決定する。
【0034】
そして、一致度算出部72は、各消失点視差d0について、決定した線分ペアの一致度Mを算出する。図9(a)に示すように、左右の線分ペアが平行で、消失点視差d0が真の値のときは、右側の線分の端A(第1端)から左側の線分を含む直線に向けて下ろした垂線の足が、左側の線分の端B(第2端)に一致する線分ペアが存在する。端Aと端Bは、それぞれ右側の線分の近傍側の端と左側の線分の近傍側の端で対応している。この場合、左側の線分の近似直線に向けて右側の線分のどこから垂線を下ろしても、垂線の長さLiと道路の幅Wとは一致する。
【0035】
一方、図9(b),(c)に示すように、消失点視差d0の値が誤っているときは、右側の線分の端Aから左側の線分を含む直線に向けて下ろした垂線の足は、左側の線分の端Bからずれる。そこで、一致度算出部72は、端Aから下ろした垂線の足と、端Bとのずれ量を数値化し、これを一致度Mとする。ずれ量が小さいほど、一致度Mは高くなる。なお、線分の遠方側の端のデータよりも、近傍側の端のデータの方が信頼度が高いので、一致度Mの算出には、線分の近傍側の端を用いるとよい。
【0036】
消失点視差決定部73は、一致度算出部72により算出された一致度Mのうち、最も高い一致度Mに対応する消失点視差d0を、すなわち真に平行な線分ペアに最も近い線分ペアに対応する消失点視差d0を、ステレオ画像における消失点視差d0として決定する。図10(a)に、消失点視差d0ごとに選択した線分ペアの一致度Mをプロットした図を示す。また、図10(b)に、図10(a)において、一致度Mが高い領域を拡大した図を示す。図10(b)に示すように、一致度Mが最も高くなるのは、消失点視差d0が0.25のときである。よって、この場合、消失点視差決定部73は、ステレオ画像における消失点視差d0を0.25と決定する。
【0037】
さらに、消失点視差決定部73は、時間的に連続した複数の異なる時点において、撮影されたステレオ画像のそれぞれに対して消失点視差d0を決定し、決定した複数の消失点視差d0に基づいて、距離算出部80が用いる消失点視差d0を統計的に決定する。消失点視差d0を決定する時間間隔は、画像処理装置30の処理能力に応じて設定する。
【0038】
具体的には、消失点視差決定部73は、複数のステレオ画像のそれぞれに対して決定した消失点視差d0について、消失点視差d0に対応する左右の線分ペアの間隔と道路の幅Wとの偏差が、最も小さくなる道路の幅W0を用いて、例えば、K-means法によりグループ化する(図12参照)。そして、消失点視差決定部は、グループごとに統計した結果に基づいて、距離算出部80が用いる消失点視差d0に決定する。詳しくは、消失点視差決定部73は、各グループの分散を求め、分散の大きいグループを外れ値として除外し、分散の小さいグループの平均値を、距離算出部80が用いる消失点視差d0に決定する。
【0039】
以下に、各ステレオ画像について決定した消失点視差d0について、消失点視差d0に対応する左右の線分ペアの間隔との偏差が、最も小さくなる道路の幅W0の算出方法について説明する。消失点視差決定部73は、各線分ペアについて、右側の近似直線から、左側の近似直線を含む直線へ向けて下ろした垂線の長さLiと、道路の幅Wとの偏差に基づいて、平行度Eを算出する。まず、消失点視差決定部73は、垂線の長さLiを算出する。詳しくは、図11(a)に示すように、右側の近似直線上の点Pri(ur,vr,dr)を通る垂直面と、左側の近似直線との交点Pli(ul,vl,dl)を算出し、点Priと点Pliとの距離を算出する。この距離が、垂線の長さLiとなる。
【0040】
消失点視差決定部73は、右側の線分の近傍側の端Aから遠方側の端までの間で、点Priの位置を1ピクセルずつ奥方向へずらしながら左側の近似直線へ垂線を下ろし、各垂線の長さLiを算出する。よって、垂線の長さLiは、右側の線分に含まれるピクセル数分算出される。なお、点Priの位置を、所定数のピクセルずつ奥方向へずらしながら、左側の近似直線へ垂線を下ろしてもよい。
【0041】
次に、消失点視差決定部73は、図11(b)に示す式を用いて平行度Eを算出する。具体的には、消失点視差決定部73は、各垂線の長さLiと道路の幅Wとの偏差の2乗値を算出し、各偏差の2乗値を、信頼度算出部74により算出された信頼度Viの逆数で重み付けする。消失点視差決定部73は、信頼度Viの逆数で重み付けした各偏差の2乗値を、すべて加算して平行度Eを算出する。
【0042】
画像撮影装置20の近傍を撮影したピクセルの画像データほど情報の信頼度が高い。そのため、画像撮影装置20の近傍では、実空間で線分ペアが平行のときに偏差の二乗値は0に近い値になるが、遠方では、実空間で線分ペアが平行のときでも偏差の二乗値が0よりも大きな値になることがある。そこで、同じ偏差でも、遠方よりも近傍の方の平行度Eが低くなるように、信頼度Viの逆数で各偏差の二乗値を重み付けする。
【0043】
平行度Eは、線分ペアが実空間において平行のときに0となり、線分ペアが実空間において平行から離れるほど大きな値となる。すなわち、平行度Eは、線分ペアの平行性を表す指標となり、値が小さいほど高い平行性を示す。
【0044】
さらに、消失点視差決定部73は、図11(b)に示す平行度Eの式を道路の幅Wで偏微分する。偏微分が0となるときの道路の幅Wが、偏差が最も小さくなる道路の幅W0である。道路の幅W0は、各ステレオ画像を取得した際に、車両が走行していた実際の道路の幅に近い値となる。このように算出した道路の幅W0を用いて、統計することにより、距離算出に用いる消失点視差d0を高精度に算出できる。
【0045】
このようにして決定した消失点視差d0の時間変化を図13に示す。時間の経過とともに、消失点視差d0の値が収束している様子がわかる。収束後の消失点視差d0は、精度の高い値になる。
【0046】
なお、境界線抽出部50、視差算出部60、近似直線算出部71、一致度算出部72、消失点視差決定部73、信頼度算出部74及び距離算出部80が、それぞれ、境界線抽出手段、視差算出手段、近似直線算出手段、一致度算出手段、消失点視差決定手段、信頼度算出手段、及び距離算出手段に相当する。
【0047】
次に、消失点視差d0を算出する処理手順について、図14のフローチャートを参照して説明する。本処理は、画像処理装置30が所定時間間隔で実行する。
【0048】
まず、画像撮影装置20により撮影された一対のアナログ画像を、デジタル化するとともに平行化したステレオ画像を取得する(S10)。続いて、S10で取得したステレオ画像に基づいて、画像座標上の各点における視差dを算出する(S11)。
【0049】
続いて、画像撮影装置20の近傍の所定領域において、道路の左右の境界線である左右の白線の輪郭を表すエッジ点を抽出する(S12)。続いて、S12で抽出した右側の所定長の線分を構成するエッジ点を、信頼度で重み付けする。そして、重み付けしたエッジ点を最小二乗法で近似し、右側の線分を近似する近似直線を算出する(S13)。同様に、右側の線分の近傍側及び遠方側で、所定のピクセル数ずつずらしながら、所定長の線分を近似する直線を複数算出する。
【0050】
続いて、S12で抽出した左側のエッジ点について、手前側から奥方向に1ピクセルずつずらしながら、右側の線分と同じ長さの線分を複数切り出す。そして、切り出した各線分に属するエッジ点を信頼度で重み付けし、重み付けしたエッジ点を最小二乗法で近似して、各線分を近似する近似直線を算出する(S14)。なお、S13で左側の所定長の線分の近似直線を算出し、S14で右側の複数の線分の近似直線を算出してもよい。
【0051】
続いて、S14で算出した左側の近似直線の係数αlx,αly,βlx,βlyを平滑化する。また、S13で算出した右側の近似直線の係数αrx,αry,βrx,βryと、右側の線分の近傍側及び遠方側で複数の線分を近似した直線の係数とを平滑化する(S15)。そして、各消失点視差d0において、平滑化した係数を左側及び右側の各近似直線の係数とする。
【0052】
続いて、各消失点視差d0において、複数の線分ペアの中から実空間で最も平行になる線分ペアを決定する(S16)。続いて、各消失点視差d0において、S16で決定した各線分ペアの一致度Mを算出する(S17)。そして、各消失点視差d0について算出した一致度Mの中で、最も高い一致度Mに対応する消失点視差d0を、S10で取得したステレオ画像の消失点視差d0に決定する(S18)。
【0053】
続いて、S10でステレオ画像を取得するよりも前に、所定の時間間隔で取得された複数のステレオ画像について、それぞれ決定した複数の消失点視差d0、及びS18で決定した消失点視差d0に基づき、距離の算出に用いる消失点視差d0を決定する(S19)。詳しくは、異なる時点で決定した複数の消失点視差d0について、平行度Eが最小となる道路の幅W0を用いてK-means法等の統計処理を行い、距離の算出に用いる消失点視差d0を決定する。
【0054】
以上で本処理を終了する。次に本処理を行って消失点視差d0を更新するまでは、今回の処理で算出した消失点視差d0を用いて、図3(b)の式から対象物までの距離を算出する。
【0055】
以上説明した本実施形態によれば、以下の効果を奏する。
【0056】
・道路の左右の境界線を構成するエッジ点が抽出され、抽出されたエッジ点に基づき、左右の境界線を近似する所定長の線分である近似直線が算出される。そして、消失点視差d0の値が変えられながら、各消失点視差d0について、算出された左右の近似直線のうちの一方の近似直線の端Aから他方の近似直線を含む直線へ下ろした垂線の足と、他方の近似直線の端Bとの一致度Mが算出される。そして、算出された一致度Mのうちの最も高い一致度Mに対応する消失点視差d0が、ステレオ画像における消失点視差d0として決定される。これにより、消失点視差d0の算出精度を向上させることができる。さらに、算出された視差d、及び決定された消失点視差d0に基づいて、対象物までの距離が算出される。したがって、消失点視差d0の算出精度を向上させることができ、ひいては、距離の算出精度を向上させることができる。
【0057】
・複数の異なる時点でステレオ画像が取得され、各ステレオ画像に対して消失点視差d0が決定される。そして、各ステレオ画像に対して決定された消失点視差d0に基づいて、距離算出に用いられる消失点視差d0が統計的に決定される。これにより、外れ値が除外され、消失点視差d0の算出精度を向上させることができる。
【0058】
・画像撮影装置20の近傍を撮影したピクセルの画像データほど信頼度が高くなるように、重み付けされたエッジ点に基づいて、近似直線が算出される。これにより、近似直線を高精度に算出することができ、ひいては、消失点視差d0の算出精度を向上させることができる。
【0059】
・カーブやうねりのある道路でも道路の形状に沿った線を近似できるように、左側の近似直線と右側の近似直線との複数の線分ペアが算出される。そして、各消失点視差d0において、算出された複数の線分ペアの中から、最も平行性の線分ペアが決定され、決定された線分ペアについて、一致度Mが算出される。よって、道路の形状に関わらず、複数の線分ペアの中から平行性の高い線分ペアを見つけ、消失点視差d0を高精度に算出することができる。
【0060】
・1ピクセルずつずらしながら、左側の直線の白線を構成するエッジ点から線分を多数切り出し、それぞれの線分を近似する近似直線を算出することにより、道路のカーブやうねりが大きい場合でも、平行性の高い線分ペアを見つけられる。ひいては、消失点視差d0を高精度に算出することができる。
【0061】
・一方の線分から他方の線分を含む直線へ下ろした垂線の長さLiと道路の幅Wとの偏差の二乗値が、最小となる道路の幅W0を用いて、複数の画像のそれぞれに対して決定された消失点視差d0がグループ化される。そして、グループごとに消失点視差d0が統計された結果に基づいて、距離の算出に用いる消失点視差d0が決定される。これにより、距離の算出に用いる消失点視差d0を、統計的に高精度で算出することができる。
【0062】
・垂線の長さLiと道路の幅Wとの偏差の二乗値が同じ値でも、画像撮影装置20の遠方よりも近傍の方の平行度Eが低くなるように、信頼度の逆数で重み付けられた偏差の二乗値から、平行度Eが算出される。これにより、平行度Eを高精度に算出することができ、ひいては、統計による消失点視差d0の算出精度を向上させることができる。
【0063】
(他の実施形態)
・長い直線道路を走行している場合には、左右の白線をそれぞれ1つの直線で近似し、一致度Eを算出してもよい。
【0064】
・長い直線から所定長の線分を複数切り出す際に、奥方向へ所定数のピクセルずつずらしながら切り出してよい。
【0065】
・一つの時点で取得されたステレオ画像について決定された消失点視差d0を、次の時点で取得されたステレオ画像について消失点視差d0が決定されるまでの間、距離の算出に用いてもよい。すなわち、統計処理を行って消失点視差d0を決定しなくてもよい。
【0066】
・消失点視差d0の算出精度が低下するおそれはあるが、信頼度で重み付けしていないエッジ点から近似直線を算出してもよい。
【0067】
・消失点視差d0の算出精度が低下するおそれはあるが、信頼度の逆数で重み付けしていない偏差の二乗値を加算して、平行度Eを算出してもよい。
【0068】
・道路の幅W0として、対象としている道路の規格幅が既知の場合は、規格幅を用いてもよい。また、道路の幅W0は、一般的にある白線認識から導出される結果を利用してもよい。
【符号の説明】
【0069】
20…画像撮影装置、30…画像処理装置、50…境界線抽出部、60…視差算出部、71…近似直線算出部、72…一致度算出部、73…消失点視差決定部、74…信頼度算出部、80…距離算出部。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14