(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に開示された車両用画像処理装置では、車速センサやヨーレートセンサを用いて車速等を検出しているが、これらのセンサは低速走行時の感度が悪いため、車両移動量の誤差が大きくなるという問題があった。
【0006】
また、特許文献2に開示された障害物検知システムでは、撮像画像の変化が大きい高速走行時に、画像に含まれる特徴点のトラッキング精度が低下するため、車両移動量の誤差が大きくなるという問題があった。
【0007】
これらの問題は、特許文献3に開示された移動量の計測手法を用いることにより解決することができる。すなわち、低速走行時には撮像画像に基づいて算出された車両移動量を用い、高速走行時には車速センサ等を用いて検出された車両移動量を用いることにより、それぞれの速度域における誤差を少なくすることができる。
【0008】
ところで、特許文献1や特許文献2に開示された手法で障害物を検出する際には、撮像された過去の画像に対して、得られた車両移動量だけ移動させて得られた推定画像と、現在の撮像画像とを比較して障害物を抽出している。このため、過去の画像が撮像されたタイミングと、車速センサ等によって車両移動量が検出されたタイミングとが異なると、その差に対応する誤差が推定画像に含まれることになり、障害物検出にも誤差が生じることになる。
【0009】
実際に車両に設けられたカメラで撮像した画像(この画像は推定画像を算出する際にも用いられる)に基づいて車両移動量を算出するとともに、車速センサ等を用いて車両移動量を検出する場合を考えると、これらの算出タイミングと検出タイミングが必ずしも一致するとは限らない。例えば、撮像画像が毎秒7.5フレーム(7.5fps)得られるものとすると、撮像画像に基づく車両移動量の算出間隔は133msとなる。これに対し、車速センサ等の検出タイミングが100msとすると、これらのタイミングはほとんどの場合ずれており、しかもそのずれ量も時々刻々変動することになる。また、車速センサ等の検出値がCAN(controller area network)を介して入力されるものとすると、CANを介して取得した検出値がどの時点のものであるか正確には知り得ないことになる。
【0010】
すなわち、特許文献3に開示されたように、撮像画像を用いた車両移動量の算出と車速センサ等を用いた車両移動量の検出とを速度域に応じて切り替えただけでは、撮像画像に対応する車両移動量に含まれる誤差が多くなるという問題は解決できない。このため、障害物検出精度が低下するという問題があった。
【0011】
本発明は、このような点に鑑みて創作されたものであり、その目的は、撮像画像に対応する正確な車両移動量を得ることができる車両移動量推定装置を提供することにある。また、本発明の他の目的は、障害物検出精度を向上させることができる障害物検出装置を提供することにある。
【課題を解決するための手段】
【0012】
上述した課題を解決するために、本発明の車両移動量推定装置は、車両の周囲を所定の時間間隔で撮像する撮像手段と、撮像手段による撮像によって得られた複数枚の撮像画像を格納する画像格納手段と、画像格納手段によって格納された2枚の撮像画像に基づいて車両の移動量を算出する移動量算出手段と、車両の移動量を検出する移動量検出手段と、移動量算出手段によって算出された第1の移動量と移動量検出手段によって検出された第2の移動量とを比較し、これらの差が所定値よりも小さい場合に、第1の移動量を車両の移動量として決定し、これらの差が所定値よりも大きい場合には、第2の移動量を車両の移動量として決定する移動量決定手段とを備えている。上述した移動量は、車両の速度および
角速度の少なくとも一方であることが望ましい。
【0013】
撮像画像と車両の移動量を用いて障害物検出等の処理を行う場合、撮像画像に対応している第1の移動量を用いることが望ましい。一方、移動量算出手段によって算出された第1の移動量と移動量検出手段によって検出された第2の移動量との差が所定値よりも小さい場合とは、それらの撮像タイミングと移動量の検出タイミングとの間にずれが少ない場合や、車両が低速走行中あるいは高速走行中であって第1および第2の移動量の両方の精度が高い場合であり、このような場合に第1の移動量を用いており、撮像画像に対応する正確な車両移動量を得ることができる。
【0014】
また、上述した撮像手段による撮像タイミングと、移動量検出手段によって移動量を検出するタイミングは、同期していないことが望ましい。これにより、撮像タイミングと第2の移動量の検出タイミングを特に気にすることなくこれらを用いることができ、移動量の精度を向上させることができるとともに、これらのタイミングを考慮する場合に比べて処理の簡略化が可能となる。
【0015】
また、画像格納手段によって格納された2枚の撮影画像に着目し、一方の撮像画像に対応して移動量決定手段によって決定された移動量およびこの移動量を所定範囲で増減した移動量のそれぞれを用いて、この撮像画像に含まれる一部の画像を移動させて変換後画像を得る画像変換処理を行う部分画像変換手段をさらに備え、移動量算出手段は、部分画像変換手段によって複数の移動量のそれぞれに対応して得られた複数の変換後画像と、他方の撮像画像との間で一部の画像同士の相間演算を行い、最も高い相間値を有する変換後画像に対応する移動量を、撮像順番が新しい他方の撮像画像に対応する車両の移動量として推定することが望ましい。このようにして、複数の移動量について一方の撮像画像を変換(平行移動や回転)した変換後の画像と他方の撮像画像との一致、不一致を調べることにより、車両の移動量を正確に算出することが可能となる。
【0016】
また、本発明の障害物検出装置は、上述した車両移動量推定装置と、画像格納手段によって格納された2枚の撮影画像に着目し、一方の撮像画像に対応して移動量決定手段によって決定された移動量を用いて、この撮像画像の全体を移動させる画像変換処理を行う全体画像変換手段と、全体画像変換手段によって得られた画像と、他方の撮像画像とを比較し、一致しない領域を障害物として検出する障害物検出手段とを備えている。これにより、正確な移動量を用いて古い撮像画像と新しい撮像画像を比較することが可能となり、障害物検出精度を向上させることができる。
【発明を実施するための形態】
【0018】
以下、本発明を適用した一実施形態の障害物検出装置について、図面を参照しながら説明する。
図1は、一実施形態の障害物検出装置の全体構成を示す図である。
図1に示すように、本実施形態の障害物検出装置100は、カメラ20、撮像画像格納部22、前処理部24、補正画像格納部26、車速センサ30、ジャイロセンサ32、移動量決定部40、移動量算出部42、全体画像変換部50、障害物検出部52、表示部54を含んで構成されている。
【0019】
カメラ20は、自車両の周辺を撮像する。より広範囲を撮影するために、広角レンズや魚眼レンズが取り付けられている。なお、広角レンズ等の使用は必ずしも必要ではない。カメラ20の設置位置は、検出対象となる障害物が存在する方向を撮像可能な位置であればよく、一般には車両後方あるいは車両側面にカメラ20が取り付けられる。撮像された画像は撮像画像格納部22に格納される。毎秒7.5枚の撮像画像が得られるものとすると、133msの時間間隔で撮像画像が格納される。
【0020】
前処理部24は、撮像画像格納部22に格納された撮像画像を読み出して前処理を行う。この前処理には、(1)歪み補正画像生成処理、(2)エッジの向きに基づく部分領域(パッチ)の抽出、(3)各部分領域毎の輝度分散の算出、(4)各部分領域毎のテクスチャ種別の判定、などが含まれる。部分領域を設定して輝度分散を調べるとともに、テクスチャ種別(部分領域の模様等)を参照することにより、路面に対応する可能性が高い部分領域を抽出することが可能になる。過去N枚分の歪み補正後の画像が、先入れ先出し(FIFO)形式で読み書きが行われる補正画像格納部26に格納される。
【0021】
車速センサ30は、車両の走行速度を検出する。例えば車両が一定距離走行する毎に車速センサ30からパルスが出力される。なお、本実施形態では、車速センサ30を用いて車両の走行速度を検出しているが、他の方法、例えばGPS受信機を用いた測位データに基づいて車両の走行速度を検出するようにしてもよい。
【0022】
ジャイロセンサ32は、車両の角速度を検出する。なお、本実施形態では、ジャイロセンサ32を用いて車両の角速度を検出しているが、ハンドルを切ったときの前輪の操舵角を検出する操舵角センサーを用いて車両の角速度を用いるようにしてもよい。
【0023】
移動量決定部40は、前回画像(最新画像の1つ前の過去画像)に対応する車両の移動量を決定する。車両の移動量には、車両の速度Vと角速度ωが含まれる。移動量算出部42は、移動量決定部40によって決定した1つ前の過去画像に対応する車両の移動量を用いて最新画像に対応する車両の移動量の複数の候補値を設定し、最新画像に含まれる特定領域(路面に対応する部分領域)に対する画像変換処理(移動および回転)を行って得られた画像と、1つ前の過去画像の対応箇所とを用いて相関演算を行うことにより、最新画像に対応する車両の移動量を算出する。移動量決定部40および移動量算出部42の詳細動作については後述する。
【0024】
上述したカメラ20、撮像画像格納部22、前処理部24、補正画像格納部26、車速センサ30、ジャイロセンサ32、移動量決定部40、移動量算出部42によって車両移動量推定装置10が構成されている。
【0025】
全体画像変換部50は、撮影順番が連続した最新画像および1つ前の過去画像(ともに歪み補正後の画像)が補正画像格納部26から読み出され、最新画像に対して移動量算出部42によって算出した車両の移動量(速度V(t)、角速度ω(t))を用いて画像変換処理を行う。
【0026】
障害物検出部52は、全体画像変換部50による画像変換によって得られた画像と、1つ前の過去画像(ともに歪み補正後の画像)とを比較し、一致しない領域を障害物として検出する。この検出結果は表示部54を用いて利用者に通知される。例えば、最新画像内の障害物に対応する領域に特定の色等を付すことにより、その位置に障害物が存在することを知らせる通知が行われる。
【0027】
上述したカメラ20が撮像手段に、撮像画像格納部22、補正画像格納部26が画像格納手段に、移動量算出部42が移動量算出手段、部分画像変換手段に、車速センサ30、ジャイロセンサ32が移動量検出手段に、移動量決定部40が移動量決定手段に、全体画像変換部50が全体画像変換手段に、障害物検出部52が障害物検出手段にそれぞれ対応する。
【0028】
本実施形態の障害物検出装置100はこのような構成を有しており、次に、移動量決定部40および移動量算出部42の動作につていて説明する。
図2は、移動量決定部40の動作手順を示す流れ図である。まず、移動量決定部40は、1つ前の過去画像(補正画像格納部26に格納された歪み補正後の画像)に基づいて移動量算出部42が決定した車両の速度(第1の速度)V
ME(t−1)を取得する(ステップ100)。また、移動量決定部40は、車速センサ30の出力に基づいて前回検出した車両の速度(第2の速度)V
S(t−1)を取得する(ステップ102)。ここで、「前回検出した」とは、「1つ前の過去画像の撮像タイミングに最も近いタイミングで車速センサ30を用いて検出した」の意味である。例えば、カメラ20による撮像間隔が133ms、車速センサ30による検出間隔が100msであり、これらの撮像動作および検出動作が互いに非同期であるものとし、前回の撮像タイミングの次に到来した検出タイミングで車速センサ30によって検出された車両の速度が、上述した前回検出した車両の速度V
S(t−1)となる。
【0029】
次に、移動量決定部42は、第1の速度V
ME(t−1)と第2の速度V
S(t−1)との差分の絶対値が誤差の閾値Verrよりも小さいか否か(以下の式を満たすか否か)を判定する(ステップ104)。
【0030】
|V
ME(t−1)−V
S(t−1)|<Verr ・・・(1)
差分の絶対値が誤差の閾値Verrよりも小さい場合には肯定判断が行われ、移動量決定部40は、撮像画像に基づいて求めた第1の速度V
ME(t−1)を過去画像に対応する車両の速度V(t−1)として決定する(ステップ106)。
【0031】
また、差分の絶対値が誤差の閾値Verrよりも小さくない場合(誤差の閾値Verr以上の場合)にはステップ104の判定において否定判断が行われ、移動量決定部40は、車速センサ30を用いて求めた第2の速度V
S(t−1)を過去画像に対応する車両の速度V(t−1)として決定する(ステップ108)。
【0032】
次に、移動量決定部40は、1つ前の過去画像(補正画像格納部26に格納された歪み補正後の画像)に基づいて移動量算出部42が決定した車両の角速度(第1の角速度)ω
ME(t−1)を取得する(ステップ110)。また、移動量決定部40は、ジャイロセンサ32の出力に基づいて前回検出した車両の角速度(第2の角速度)ω
S(t−1)を取得する(ステップ112)。ここで、「前回検出した」とは、「1つ前の過去画像の撮像タイミングに最も近いタイミングでジャイロセンサ32を用いて検出した」の意味である。例えば、カメラ20による撮像間隔が133ms、ジャイロセンサ32による検出間隔が100msであり、これらの撮像動作および検出動作が互いに非同期であるものとし、前回の撮像タイミングの次に到来した検出タイミングでジャイロセンサ32によって検出された車両の角速度が、上述した前回検出した車両の角速度ω
S(t−1)となる。
【0033】
次に、移動量決定部42は、第1の角速度ω
ME(t−1)と第2の角速度ω
S(t−1)との差分の絶対値が誤差の閾値ωerrよりも小さいか否か(以下の式を満たすか否か)を判定する(ステップ114)。
【0034】
|ω
ME(t−1)−ω
S(t−1)|<ωerr ・・・(2)
差分の絶対値が誤差の閾値ωerrよりも小さい場合には肯定判断が行われ、移動量決定部40は、撮像画像に基づいて求めた第1の角速度ω
ME(t−1)を過去画像に対応する車両の角速度ω(t−1)として決定する(ステップ116)。
【0035】
また、差分の絶対値が誤差の閾値ωerrよりも小さくない場合(誤差の閾値ωerr以上の場合)にはステップ114の判定において否定判断が行われ、移動量決定部40は、ジャイロセンサ32を用いて求めた第2の角速度ω
S(t−1)を過去画像に対応する車両の角速度ω(t−1)として決定する(ステップ118)。
【0036】
図3は、移動量算出部42の動作手順を示す流れ図である。まず、移動量算出部42は、最新画像の中から処理対象の部分領域を選定する(ステップ120)。この選定は、障害物を除く路面に対応する部分画像を抽出するためのものであり、前処理部24による前処理の結果(各部分領域毎の輝度分散の算出結果と、各部分領域毎のテクスチャ種別の判定結果)に基づいて行われる。
【0037】
次に、移動量算出部42は、最新画像に対応する速度と角速度の複数の候補値を決定する(ステップ122)。上述したように、移動量決定部40によって、過去画像に対応する車両の速度V(t−1)と角速度ω(t−1)とが決定される。最新画像に対応する車両の速度V(t)と角速度ω(t)は、過去画像に対応する車両の速度V(t−1)と角速度ω(t−1)に対して所定範囲内にあると考えらるため、これらを中心とした複数個の値が速度および角速度の候補値として決定される。例えば、速度については、V(t−1)を中心に±ΔV、±2ΔVを加えた合計5つの候補値(V(t−1)−2ΔV、V(t−1)−ΔV、V(t−1)、V(t−1)+ΔV、V(t−1)+2ΔV)が決定される。また、角速度については、ω(t−1)を中心に±Δω、±2Δωを加えた合計5つの候補値(ω(t−1)−2Δω、ω(t−1)−Δω、ω(t−1)、ω(t−1)+Δω、ω(t−1)+2Δω)が決定される。
【0038】
次に、移動量算出部42は、ステップ120において選定した最新画像の部分領域に対して、ステップ122において決定した複数の候補値を用いて画像の変換処理を行う(ステップ124)。上述した例では、速度の候補値として5つの値が決定され、角速度の候補値として5つの値が決定される。したがって、速度と角速度の組み合わせとしては、5×5=25通りが考えられ、組み合わされた速度に対応する部分画像の平行移動と角速度に対応する部分画像の回転が行われる。このようにして、25通りの変換後画像が生成される。
【0039】
次に、移動量算出部42は、25通りの変換後画像のそれぞれと、過去画像の対応領域との相関を計算し(ステップ126)、相関値が最大となる速度の候補値と角速度の候補値を抽出する(ステップ128)。このようにして抽出された各候補値が、最新画像に対応する車両の速度V(t)と角速度ω(t)として算出される。
【0040】
一般に、本実施形態の車両移動量推定装置10では、撮像画像と車速センサ30やジャイロセンサ32によって検出した車両の移動量を用いて障害物検出等の処理を行う場合、撮像画像に対応している第1の速度V
ME(t−1)や第1の角速度ω
ME(t−1)を用いることが望ましい。一方、移動量算出部42によって算出された第1の速度V
ME(t−1)や第1の角速度ω
ME(t−1)と、車速センサ30やジャイロセンサ32によって検出された第2の速度V(t−1)や第2の角速度ω(t−1)との差が所定値(誤差の閾値Verr、ωerr)よりも小さい場合とは、カメラ20の撮像タイミングと車速センサ30やジャイロセンサ32の検出タイミングとの間にずれが少ない場合や、車両が低速走行中あるいは高速走行中であって両方の精度が高い場合であり、このような場合に第1の速度V
ME(t−1)や第1の角速度ω
ME(t−1)を用いており、撮像画像に対応する正確な車両移動量を得ることができる。
【0041】
また、カメラ20の撮像タイミングと車速センサ30やジャイロセンサ32の検出タイミングを同期させる必要がないため、これらのタイミングを特に気にすることなくこれらを用いることができ、移動量の精度を向上させることができるとともに、これらのタイミングを考慮する場合に比べて処理の簡略化が可能となる。
【0042】
また、速度および角速度の複数の候補値を用いて、一方の撮像画像(最新画像)を変換(平行移動や回転)した変換後の画像と他方の撮像画像(過去画像)との相関計算を行ってこれらの一致、不一致を調べることにより、最新画像に対応する車両の速度および角速度を正確に算出することが可能となる。
【0043】
また、本実施形態の障害物検出装置100では、正確な移動量を用いて最新画像と過去画像を比較することが可能となり、障害物検出精度を向上させることができる。
【0044】
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、車両の移動量(速度、角速度)の算出や障害物検出において、最新画像に対して変換を行い、得られた変換後画像と過去画像の対応領域との相関を計算したが、過去画像に対して変換を行い、得られた変換後画像と最新画像の対応領域との相関を計算するようにしてもよい。
【0045】
また、上述した実施形態では、
図3のステップ122において車両の移動量の候補値を決定する際に、速度と角速度のそれぞれについて複数の候補値を用いたが、車両が直進している場合に限定して障害物検出を行う場合には、速度のみの候補値を用意し、角速度については固定値を用いるようにしてもよい。
【0046】
また、上述した実施形態では、撮像の順番が連続する2枚の撮像画像を用いて移動量の推定や障害物の検出を行うようにしたが、必ずしも撮像の順番が連続する必要はなく、それ以外であっても、撮像タイミングが異なる2枚の撮像画像を用いる場合に本発明を適用することができる。