(58)【調査した分野】(Int.Cl.,DB名)
車両に搭載された撮影手段によって撮影された撮影画像内に、該撮影画像よりも幅が狭い複数の検査領域として、最初に検査する初期検査領域を設定し、該初期検査領域から画像の幅方向に沿って位置がずれた副検査領域を画像の幅方向に沿って順次設定し、
設定された複数の検査領域において、該検査領域内に前方車両の左端部または右端部が存在しているか否かを検出し、
前方車両の左端部または右端部が検出された検査領域に基づいて、車両を特定する
ことを特徴とする車両検出方法。
【背景技術】
【0002】
従来、車両同士の衝突や車両と歩行者との接触などを防ぐ技術として、車両に搭載したカメラによって撮影された画像を利用する技術が開発されている。例えば、画像から車両や歩行者、その他の障害物等の物体をパターン認識やオプティカルフロー等を利用して検出し、検出された物体が何であるか、また、その物体が静止しているものか移動しているものかを把握して、物体と車両との衝突を防ぐ技術が開発されており、多数の特許出願がなされている。
【0003】
かかる画像を利用した物体の検出では、車両が高速で走行しているため、画像の処理速度も速くしなければならない。しかし、撮影された画像全体についてパターン認識やオプティカルフロー等を利用して物体を検出する場合には、検出対象とする物体が含まれない部分(つまり背景画像)までも画像処理することになるので、処理速度が遅くなる。
【0004】
そこで、撮影された画像の一部を処理対象とすることによって、画像の処理速度も速くする技術が開発されている(特許文献1〜5)。
【0005】
例えば、特許文献1には、車両に搭載され、前方を走行する車両までの車間距離を追尾しながら計測する追尾式車間距離センサが開示されている。特許文献1の技術では、一対の撮影手段によって撮影された画像内に対象物を含むウインドウを設定し、このウインドウ内の画像を比較することによって物体までの距離を算出している。そして、画像よりも小さいウインドウを設定することによって、誤差を小さくでき、画像の処理、演算時間を短縮できる旨の記載がある。
【0006】
また、特許文献2〜5には、撮影画像を水平方向に長い短冊状のウインドウに分割して、そのウインドウ内に位置する白線から、各ウインドウ内における走行レーンを認識する技術が開示されている。そして、走行レーン内で車両を検出する際に、車両における左右の下方端部を特徴点として利用する技術が開示されている。特許文献2〜5の技術でも、撮影画像から車両を検出するときに、全画像を処理する必要がないので、画像の処理、演算時間を短縮できる可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかるに、特許文献1の技術では、一対の撮像手段を使用するので、装置の構成が複雑になる。しかも、物体全体が入るようにウインドウを設定しなければならない。このため、ウインドウ設定のための演算処理に時間を要するので、画像の処理時間をそれほど短縮できない。
【0009】
しかも、ウインドウ内に配置された車両は、車両全体の特徴がサンプル画像(車両全体)の特徴点と一致しているか否かで車両を判定するので、多くの特徴点が一致しないと車両と認識しない。したがって、特許文献1の技術の場合、一部の特徴点がサンプル画像と一致しないことによって、車両と判定されない割合が大きくなり、検出精度が低下する。
【0010】
また、特許文献2〜4の技術では、車両全体が入るようなウインドウを設定しなくてもよいので、特許文献1の技術と比べてウインドウを設定するための演算時間は短縮できる可能性はある。しかし、特許文献2〜5の技術では、画像を水平方向に長い短冊状に分割しただけであるので、短冊状の画像内における車両の占める割合は少ない。しかも、短冊状の画像は、車両の下端部を認識できる程度の高さを有するものとする必要がある。すると、車両を検出する画像をそれほど小さくできず、また、車両以外の背景部分が多く含まれた画像を処理することになる。したがって、特許文献2〜4の技術でも、画像の処理時間はそれほど短縮できない。
【0011】
そして、特許文献2〜5の技術では、車両の下端部だけを検出するので、特許文献1に比べてサンプル画像と比較する特徴点を少なくできる。したがって、特許文献1に比べて誤検出を少なくできる可能性はある。しかし、下端部全体を比較するので、特徴点の不一致により車両と判定されない割合はそれほど低減することはできない。
【0012】
本発明は上記事情に鑑み、車両の検出精度を向上させつつ画像処理時間を短縮することができる車両検出装置および車両検出方法を提供することを目的とする。
【課題を解決するための手段】
【0013】
(車両検査装置)
第1発明の車両検査装置は、車両に搭載された、該車両前方を撮影する撮影手段と、該撮影手段によって撮影された撮影画像に基づいて前方に位置する前方車両を検出する車両検出手段と、を備えており、前記車両検出手段は、前記撮影手段によって撮影された撮影画像内に、該撮影画像よりも幅が狭い複数の検査領域を設定する領域設定部と、該複数の検査領域において、該検査領域内に前方車両の左端部または右端部が存在しているか否かを検出する車両特徴部分検出部と、該車両特徴部分検出部によって前方車両の左端部または右端部が検出された検査領域に基づいて、車両を特定する車両特定部と、を備えて
おり、前記領域設定部は、前記撮影画像内に、最初に検査する初期検査領域を設定する初期検査領域設定機能と、該初期検査領域から画像の幅方向に沿って位置がずれた副検査領域を設定する副検査領域設定機能と、を有して
おり、該副検査領域設定機能は、前記副検査領域を、前記撮影画像の幅方向に沿って順次設定するものであることを特徴とする。
第2発明の車両検出装置は、
第1発明において、前記領域設定部の初期検査領域設定機能は、前回前方車両が検出された撮影画像において該前方車両の一方の端部が検出された検査領域の近傍に前記初期検査領域を設定するものであることを特徴とする。
第3発明の車両検出装置は、
第1または第2発明において、前記領域設定部は、前記検査領域を、隣接する検査領域同士において重複する領域が存在するように設定するものであることを特徴とする。
(車両検査方法)
第4発明の車両検出方法は、車両に搭載された撮影手段によって撮影された撮影画像内に、該撮影画像よりも幅が狭い複数の検査領域
として、最初に検査する初期検査領域を設定し、該初期検査領域から画像の幅方向に沿って位置がずれた副検査領域を画像の幅方向に沿って順次設定し、設定された複数の検査領域において、該検査領域内に前方車両の左端部または右端部が存在しているか否かを検出し、前方車両の左端部または右端部が検出された検査領域に基づいて、車両を特定することを特徴とする
。
第5発明の車両検出方法は、
第4発明において、前回前方車両が検出された撮影画像において該前方車両の一方の端部が検出された検査領域の近傍に前記初期検査領域を設定することを特徴とする。
第6発明の車両検出方法は、
第4または第5発明において、前記検査領域を、隣接する検査領域同士において重複する領域が存在するように設定することを特徴とする。
【発明の効果】
【0014】
(車両検出装置)
第1発明によれば、撮影画像よりも幅が狭い複数の検査領域を設定し、その検査領域内で前方車両の左端部または右端部を検出する。このため、画像を処理する速度を向上することができるし、車両の検出漏れを防ぐことができる。しかも、前方車両の左端部または右端部の両方が適切な検査領域で検出された場合に前方車両と判断するので、車両を適切に検出することができる。
しかも、初期検査領域を設定してから副検査領域を撮影画像の幅方向に位置をずらして設定するので、前方車両の左端部または右端部の両方を検出する精度を高めることができる。
第2発明によれば、初期検査領域内に車両の一方の端部が存在する確率を高くすることができるので、画像処理速度を速くすることができる。
第3発明によれば、隣接する検査領域において重複する部分ができるように検査領域を設定するので、複数の検査領域に、車両の両端部が存在する可能性を高くすることができる。
(車両検出方法)
第4発明によれば、撮影画像よりも幅が狭い複数の検査領域を設定し、その検査領域内で前方車両の左端部または右端部を検出する。このため、画像を処理する速度を向上することができるし、車両の検出漏れを防ぐことができる。しかも、前方車両の左端部または右端部の両方が適切な検査領域で検出された場合に前方車両と判断するので、車両を適切に検出することができる。
しかも、初期検査領域を設定してから副検査領域を撮影画像の幅方向に位置をずらして設定するので、前方車両の左端部または右端部の両方を検出する精度を高めることができる。
第5発明によれば、初期検査領域内に車両の一方の端部が存在する確率を高くすることができるので、画像処理速度を速くすることができる。
第6発明によれば、隣接する検査領域において重複する部分ができるように検査領域を設定するので、複数の検査領域に、車両の両端部が存在する可能性を高くすることができる。
【発明を実施するための形態】
【0016】
つぎに、本発明の実施形態を図面に基づき説明する。
本発明の車両検出装置は、車両に搭載された撮影手段によって撮影された画像に基づいて、車両の前方に存在する他の車両を検出する装置であり、車両検出の速度や精度を向上させることができるようにしたことに特徴を有している。
【0017】
(本実施形態の車両検出装置1の説明)
図1に示すように、本実施形態の車両検出装置1は、撮影手段10と、車両検出手段20とを備えたものであり、車両Vに搭載されている。
【0018】
(撮影手段10)
図1に示すように、撮影手段10は、例えば、CCDカメラ等の画像を撮影し、外部に撮影した画像のデータ(画像データおよび撮影タイミング等)を送信することができるものである。この撮影手段10は、車両V前方に存在する車両(前方車両FV、
図2参照)を撮影できる位置に配設されている。例えば、車両のフロントウインドウを通して車両V前方の前方車両FVを測定することができるように、バックミラーの近傍に配設することができるが、前方車両FVを測定できる位置であれば、車両Vにおいて撮影手段10を配設する位置はとくに限定されない。
【0019】
(車両検出手段20)
車両検出手段20は、撮影手段10によって撮影された画像FIに基づいて、前方車両FVを検出する機能を有するものである。この車両検出手段20は、領域設定部21と、車両特徴部分検出部22と、車両特定部23と、記憶部25とを備えている。
【0020】
なお、車両検出手段20は、例えば、コンピュータなどの制御装置であり、以下に説明する領域設定部21、車両特徴部分検出部22、車両特定部23の機能を実行することができるものである。
また、車両検出手段20は、撮影手段10の作動(例えば、画像FIを撮影するタイミング等)を制御する制御機能を有していてもよい。
【0021】
(記憶部25)
まず、記憶部25は、例えば、ハードディスクやメモリなどのように、種々のデータなどを記憶しておく機能を有するものであり、後述するパターンマッチングなどの際に使用される車両の特徴点データなどが記憶されている。
この記憶部25は、撮影手段10や領域設定部21、車両特徴部分検出部22、車両特定部23などから送信されるデータを記憶し、また、領域設定部21等の要求に応じて記憶しているデータを送信する機能も有している。例えば、撮影手段10などから送信される画像FIや画像FIに基づいて検出された前方車両FVの情報(例えば、前方車両FVの幅や前方車両FVまでの距離)などの情報を記憶しておき、これらの情報を領域設定部21等に送信する機能も有している。
【0022】
(領域設定部21)
領域設定部21は、撮影手段10から送信される画像FIのデータ(または記憶部25から送信されるデータ)に基づいて、画像FI内に検査領域を設定するものである。具体的には、
図2に示すように、領域設定部21は、画像FI内に複数の検査領域(
図2であれば検査領域FW、SW)を設定する機能を有している。
【0023】
しかも、領域設定部21は、複数の検査領域の幅が、画像FIの幅よりもよりも狭くなるように各検査領域を設定する機能を有している。より詳しくは、領域設定部21は、複数の検査領域の幅が、画像FI内に存在すると推定される前方車両FVの幅(画像FI内での幅)よりも狭くなるように各検査領域を設定する機能を有している。具体的には、検査領域内に、車両の一方の端部は入るが、両方の端部は入らない程度の大きさに各検査領域を設定する機能を有している。例えば、
図2(A)に示すように、2つの検査領域FW,SWを設定する場合には、領域設定部21は、検査領域FWを、前方車両FVの左側の約半分程度が入るように設定し、検査領域SWを、前方車両FVの右側の約半分程度が入るように設定する機能を有している。
【0024】
なお、
図2(A)では、2つの検査領域FW,SWとして、その高さが前方車両FVの上端から下端までの全体が入るものを例示している。しかし、検査領域の高さは必ずしも前方車両FVの上端から下端までの全体が入るものでなくてもよい。検査領域は、前方車両FVの側方端部の特徴部分が入る程度の高さに設けられていればよい。例えば、
図2(B)に示すように、前方車両FVの下端部は入らないが上端部は入る程度の高さに、各検査領域FW,SWを設定してもよい。また、前方車両FVの上端部も下端部も入らない程度の高さに設定してもよい。つまり、画像FI内の車両の高さよりも短い高さに、検査領域FW,SWの高さを設定してもよい。前方車両FVの側方端部の特徴部分が入る程度の高さは、車両によって異なるが、例えば、車両の高さの約60〜70%程度の部分が入るのであれば、通常の車両であれば、側方端部の特徴部分を入れることができる。
【0025】
(車両特徴部分検出部22)
車両特徴部分検出部22は、領域設定部21で設定された検査領域(
図2では検査領域FW,SW)内に、前方車両FVの左端部LSEまたは右端部RSEが存在しているか否かを検出する機能を有している。この車両特徴部分検出部22が、前方車両FVの左端部LSEまたは右端部RSEが存在しているか否かを検出する方法はとくに限定されず、公知の様々な手法を採用することができる。
【0026】
例えば、記憶部25に記憶されている車両の特徴点データ、具体的には、車両の左端部LSEまたは右端部RSEの形状などの特徴を記録したデータを使用して、パターンマッチング法や、HOG特徴量を用いた車両判定手法などにより前方車両FVの左端部LSEまたは右端部RSEが検査領域に存在しているか否かを判断することができる。
【0027】
(車両特定部23)
車両特定部23は、車両特徴部分検出部22によって前方車両FVの左端部LSEまたは右端部RSEが存在していると判断された検査領域に基づいて、車両を特定する機能を有するものである。
【0028】
例えば、
図2であれば、検査領域FW内に前方車両FVの左端部LSEと判断できる部分が検出され、検査領域SW内で前方車両FVの右端部RSEと判断できる部分が検出された場合を考える。この場合、左端部LSEや右端部RSEと判断された部分が、同一車両の左端部LSEと右端部RSEであるかを、車両特定部23は判断する。そして、同一車両の左端部LSEと右端部RSEであると判断された場合に、前方車両FVを決定し、この前方車両FVの左端部LSEおよび右端部RSEの情報を記憶部25に記憶させる。
なお、同一車両の左端部LSEと右端部RSEであるかを判断する方法はとくに限定されない。例えば、一般的な車両は左右対称に近い形状であるので、この特徴を利用して左端部LSEと右端部RSEの形状を比較するなどの方法を採用することができる。
【0029】
以上のように、本実施形態の車両検出装置1は、撮影画像FIよりも幅が狭い複数の検査領域を設定し、その検査領域内で前方車両FVの左端部LSEまたは右端部RSEを検出している。このため、撮影画像FI全体を処理して、前方車両FVを検出する場合に比べて、画像を処理する速度を向上することができる。
【0030】
また、前方車両FVの側端部の特徴に基づいて車両を判断しているので、車両全体の特徴を使用して車両を検出する場合に比べて車両の特徴点を少なくできる。すると、基準となるデータと検査領域内のデータとの間で比較する特徴点が少なくなるので、車両の検出速度を向上させることができる。また、比較する特徴点が少ないので、特徴点の検出漏れなどによる車両の検出漏れを防ぐことができる。
【0031】
さらに、前方車両FVの左端部LSEまたは右端部RSEの両方が適切な検査領域で検出された場合に前方車両FVであると判断するようにしておけば、車両を適切に検出することができる。例えば、検査領域間の距離や位置、つまり、前方車両FVの幅が、検出された左端部LSEおよび右端部RSEの情報から把握できる車両と比べて、妥当であるか否かを判断するようにしておけば、車両の検出ミスを防ぐことができる。
【0032】
(領域設定部21の検査領域設定方法)
領域設定部21が、前方車両FVの左端部LSEや右端部RSEを検出する検査領域を設定する際には、種々の方法を採用することができ、とくに限定されない。例えば、以下のような方法を採用することができる。
【0033】
(方法1)
画像FI内において、想定される前方車両FVの両端がそれぞれ入る程度の仮の検査領域TFW,TSWを設定する。この仮の検査領域TFW,TSWについて、両者の相対的な位置を固定した状態で、仮の検査領域TFW,TSWを移動させる。例えば、仮の検査領域TFW,TSWをランダムに(上下左右に)移動させる。そして、最終的に仮の検査領域TFW,TSWにそれぞれ前方車両FVの両端が入った状態において、その状態の仮の検査領域TFW,TSWを、前方車両FVを検出する検査領域FW,SWと設定する。この方法の場合、一度に前方車両FVの両端を検出できるので、画像処理の速度を速くすることができる。
【0034】
(方法2)
画像FI内において、一つの仮の検査領域TWを設定し、この仮の検査領域TWをランダムに(上下左右に)移動させる。そして、前方車両FVにおける一方の側方端部が入った状態における仮の検査領域TWを初期検査領域として設定する。例えば、
図2において、仮の検査領域TWが検査領域FWの位置に配置されたときに、前方車両FVの左端LSEが最初に検出された場合には、検査領域FWが初期検査領域となる。一方、仮の検査領域TWが検査領域SW位置に配置されたときに、前方車両FVの右端RSEが最初に検出された場合には、検査領域SWが初期検査領域となる。この初期検査領域を設定する機能が、特許請求の範囲にいう初期検査領域設定機能に相当する。
なお、仮の検査領域TWに前方車両FVの端部が検出されたか否かは、車両特徴部分検出部22で実施してもよいし、領域設定部21自体がこの機能(つまり、車両特徴部分検出部22が車両側端部を検出する機能と同等の機能)を有していてもよい。
【0035】
初期検査領域が設定されると、初期検査領域の側方(水平方向、
図2では左右方向)に、別の検査領域を設定する。つまり、初期検査領域が設定されると、初期検査領域から撮影画像FIの幅方向(水平方向、
図2では左右方向)に沿って位置がずれた別の検査領域(副検査領域)を設定する。そして、副検査領域を移動させて、副検査領域内に前方車両FVにおける他方の側方端部が入るように設定する。例えば、初期検査領域から所定の距離だけ離れた位置に副検査領域を設定し、この副検査領域をランダムに(上下左右に)移動させて副検査領域内に前方車両FVにおける他方の側方端部が入るように設定する。
図2であれば、初期検査領域が検査領域FWとなった場合には、初期検査領域の右側に位置がずれた検査領域SWが副検査領域となり、初期検査領域が検査領域SWとなった場合には、初期検査領域の左側に位置がずれた検査領域FWが副検査領域となる。上記のように、副検査領域を設定する機能が、特許請求の範囲にいう副検査領域設定機能に相当する。
【0036】
この方法の場合、上記方法1のように仮の検査領域TW、SW間の距離を固定しないので、前方車両FVの幅が不明な場合でも、前方車両FVの両端部を検出することができる。しかも、前方車両FVの一方の端部を検出してから他方の端部を収容する領域を設定するので、前方車両FVの左端部または右端部の両方を検出する精度を高めることができる。
【0037】
(方法3)
また、方法2の場合において、
図4に示すように副検査領域を、撮影画像FIの幅方向(水平方向、
図2では左右方向)に沿って順次移動させてもよい。具体的には、
図4であれば、初期検査領域として、前方車両FVの左端LSEを含む検査領域FWが設定された場合には、検査領域FWから右方向に向かって順次副検査領域(
図4では副検査領域SSW)を移動させる。つまり、副検査領域SSWを、撮影画像FIの幅方向(言い換えれば前方車両FVの幅方向)に沿って移動させる。すると、前方車両FVの幅程度の距離だけ副検査領域SSWが移動すると、その副検査領域SSW(
図4の検査領域LSW)は前方車両FVの右端RSEを含むようになる。この方法の場合には、前方車両FVを常に副検査領域SSW内に捉えた状態で副検査領域SSWを移動させるので、他方の端部(前方車両FVの右端RSE)を確実に副検査領域SSWに配置させることができる。したがって、前方車両FVの左端部または右端部の両方を検出する精度をさらに高めることができる。
【0038】
(検査領域の重複)
なお、方法1における検査領域TFW,TSW、および、方法2における初期検査領域と副期検査領域、方法3における画像FIの幅方向において隣接する検査領域同士(初期検査領域と副検査領域SSWまたは副検査領域SSW同士)は、画像FIの幅方向において、一部重複する領域が存在するように設定することが望ましい(
図2および
図4参照)。かかる構成とした場合、異なる前方車両FVの端部が、検査領域TFW,TSW等に入ってしまう可能性を抑えることができるので、前方車両FVの検出精度を高めることができる。
【0039】
例えば、方法2の場合であれば、前方に2台の車両が並んで走行している場合に、左側の車両の左端が左側の検査領域FWに入り、右側の車両の右端が右側の検査領域SWに入る可能性もある。しかし、検査領域FW,SWが重複していれば、左側の車両の右端も右側の検査領域SWに存在する可能性が高くなるので、左側の車両を検出できる可能性が高くなる。同様に、検査領域FW,SWが重複していれば、右側の車両の左端も左側の検査領域FWに存在する可能性が高くなるので、右側の車両を検出できる可能性が高くなる。つまり、複数台の車両が走行している場合でも、車両を検出する精度を高く維持することができる。
【0040】
また、通常の車道を走行する場合、ある程度の時間は、同一車両が前方に存在する可能性が高い。そこで、本実施形態の車両検出装置1は、一の撮影画像FIにおいて前方車両FVを一旦検出した場合、その情報を他の撮影画像FIにおいて前方車両FVを検出する際に利用する機能を有していてもよい。
【0041】
例えば、
図3に示すように、前回前方車両FVが検出された撮影画像PFIでは、検査領域W1において前方車両FVの左端部LSEが検出されたとする。この場合、今回撮影された撮影画像FIでは、撮影画像PFIの検査領域W1が設定された位置近傍に検査領域FWを設定する。つまり、撮影画像PFIと撮影画像FIを重ねたときに、検査領域W1と重なるように検査領域FWを設定する。撮影画像PFIを撮影した時間から撮影画像FIを撮影する時間まで、それほど時間が経過していなければ、前方車両FVの左端部LSEは、検査領域W1内に位置している可能性が高い。したがって、検査領域W1と重なるように検査領域FWを設定すれば、検査領域FWに前方車両FVの左端部LSEが存在している可能性(確率)が高くなる。つまり、前方車両FVの一方の端部を検出するまでの時間を大幅に短縮できるので、前方車両FVを検出する時間、つまり、撮影画像FIを画像処理する速度を速くすることができる。
【0042】
なお、検査領域FWは、
図3(B)に示すように、検査領域W1内に設定する必要はなく、検査領域W1の近傍に設定すればよい。しかし、検査領域W1と一部または全体が重なるように検査領域FWを設定すれば、検査領域FW内に前方車両FVの端部が存在する確率を高くすることができる。
【0043】
(距離算出機能)
なお、本実施形態の車両検出装置1では、車両の左端部LSEおよび右端部RSEを検するが、同一車両の左端部LSEおよび右端部RSEと判断した場合、左端部LSEおよび右端部RSEの情報に基づいて、前方車両FVの幅を把握することができる。すると、検出された前方車両FVの幅と、前方車両FVの実際の幅(記憶部25に記憶されている情報)に基づいて、前方車両FVまでの距離を把握することが可能となる。したがって、車両特定部23に、同一車両の左端部LSEと右端部RSEであると判断した場合、前方車両FVまでの距離を算出する機能を設けてもよい。例えば、前方車両FVが普通車両の場合であり、この普通車両の実車両の幅が170mmであるとする。そして、この普通車両までの距離が50mであれば、この普通車両の幅が、画像上で50mmとなるように撮像装置の設置条件が設定されているとする。この場合には、この普通車両が前方車両FVとして画像上で25mm幅に撮影されている場合は、前方車両FVまでの距離が100mと推定することができる。
【0044】
もちろん、車両特定部23とは別に、前方車両FVまでの距離を算出する距離算出部を設けて、この距離算出部が記憶部25や車両特定部23からの情報に基づいて前方車両FVまでの距離を算出するようにしてもよい。