特許 7602345 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-10

(45)【発行日】2024-12-18

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241211BHJP

【ＦＩ】

G06T7/00 650B

【請求項の数】 5

(21)【出願番号】P 2020171263

(22)【出願日】2020-10-09

(65)【公開番号】P2022063001

(43)【公開日】2022-04-21

【審査請求日】2023-09-15

(73)【特許権者】

【識別番号】000005348

【氏名又は名称】株式会社ＳＵＢＡＲＵ

(74)【代理人】

【識別番号】110001357

【氏名又は名称】弁理士法人つばさ国際特許事務所

(72)【発明者】

【氏名】後藤 雄介

(72)【発明者】

【氏名】鈴木 宏彰

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０１９－２０４３３８（ＪＰ，Ａ）

【文献】特開２０１０－０２０４１４（ＪＰ，Ａ）

【文献】特開２０１３－１６１１８８（ＪＰ，Ａ）

【文献】特開２００５－１４１５１７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ ー ７／９０

(57)【特許請求の範囲】

【請求項1】

ステレオ画像に基づいて生成された距離画像に基づいて立体物を検出することにより第１の画像領域を設定する第１の領域設定部と、
前記ステレオ画像に含まれる左画像および右画像の一方に基づいて、前記立体物が車両である度合いを示す車両度を推定することにより第２の画像領域を設定する第２の領域設定部と、
前記第１の画像領域の大きさ、前記第２の画像領域の大きさ、および前記第１の画像領域および前記第２の画像領域の相対的な位置関係に基づいて、前記第１の画像領域と前記第２の画像領域とを比較する比較部と、
前記車両度、および前記比較部の処理結果に基づいて、前記立体物が車両であるかどうかを判定する判定部と
を備えた画像処理装置。

【請求項2】

前記比較部は、前記第１の画像領域および前記第２の画像領域が所定の判定条件を満たすかどうかを確認することにより、前記第１の画像領域と前記第２の画像領域とを比較し、
前記第１の画像領域および前記第２の画像領域は、第１の方向および第２の方向における領域であり、
前記所定の判定条件は、
前記第１の方向において、前記第２の画像領域が前記第１の画像領域に含まれることと、
前記第２の画像領域の前記第１の方向における幅を、前記第１の画像領域の前記第１の方向における幅で除算した値が、所定のしきい値より小さいことと
を含む
請求項１に記載の画像処理装置。

【請求項3】

前記判定部は、前記所定の判定条件を満たす場合に、前記立体物が車両であると判定されにくくする車両判定抑制処理を行う
請求項２に記載の画像処理装置。

【請求項4】

前記立体物が連続構造物である度合いを示す連続構造物度を推定する推定部をさらに備え、
前記判定部は、前記所定の判定条件を満たす場合に、前記車両度および前記連続構造物度に基づいて、前記立体物が車両であるかどうかを判定する
請求項２または請求項３に記載の画像処理装置。

【請求項5】

画像処理装置において実行される画像処理方法であって、
ステレオ画像に基づいて生成された距離画像に基づいて立体物を検出することにより第１の画像領域を設定することと、
前記ステレオ画像に含まれる左画像および右画像の一方に基づいて、前記立体物が車両である度合いを示す車両度を推定することにより第２の画像領域を設定することと、
前記第１の画像領域の大きさ、前記第２の画像領域の大きさ、および前記第１の画像領域および前記第２の画像領域の相対的な位置関係に基づいて、前記第１の画像領域と前記第２の画像領域とを比較する比較処理を行うことと、
前記車両度、および前記比較処理の処理結果に基づいて、前記立体物が車両であるかどうかを判定することと
を含む画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮像された立体物を解析する画像処理装置、およびそのような画像処理装置において使用される画像処理方法に関する。

【背景技術】

【0002】

自動車等の車両に搭載される画像処理装置には、イメージセンサにより得られた撮像画像を解析するものがある。例えば、特許文献１には、探査レーダおよびイメージセンサを備え、探査レーダの検出結果に基づいて、撮像画像に含まれる車両の画像を囲む矩形領域を予測する車両検出方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００５－１４１５１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

車両に搭載される画像処理装置では、検出した立体物が車両であるかどうかを精度よく判定できることが望ましく、さらなる判定精度の向上が期待されている。

【0005】

立体物が車両であるかどうかの判定精度を高めることができる画像処理装置および画像処理方法を提供することが望ましい。

【課題を解決するための手段】

【0006】

本開示の一実施の形態に係る画像処理装置は、第１の領域設定部と、第２の領域設定部と、比較部と、判定部とを備えている。第１の領域設定部は、ステレオ画像に基づいて生成された距離画像に基づいて立体物を検出することにより第１の画像領域を設定するように構成される。第２の領域設定部は、ステレオ画像に含まれる左画像および右画像の一方に基づいて、立体物が車両である度合いを示す車両度を推定することにより第２の画像領域を設定するように構成される。比較部は、第１の画像領域の大きさ、第２の画像領域の大きさ、および第１の画像領域および第２の画像領域の相対的な位置関係に基づいて、第１の画像領域と第２の画像領域とを比較するように構成される。判定部は、車両度、および比較部の処理結果に基づいて、立体物が車両であるかどうかを判定するように構成される。

【0007】

本開示の一実施の形態に係る画像処理方法は、画像処理装置において実行される画像処理方法であって、ステレオ画像に基づいて生成された距離画像に基づいて立体物を検出することにより第１の画像領域を設定することと、ステレオ画像に含まれる左画像および右画像の一方に基づいて、立体物が車両である度合いを示す車両度を推定することにより第２の画像領域を設定することと、第１の画像領域の大きさ、第２の画像領域の大きさ、および第１の画像領域および第２の画像領域の相対的な位置関係に基づいて、第１の画像領域と第２の画像領域とを比較する比較処理を行うことと、車両度、および比較処理の処理結果に基づいて、立体物が車両であるかどうかを判定することとを含む。

【発明の効果】

【0008】

本開示の一実施の形態に係る画像処理装置および画像処理方法によれば、立体物が車両であるかどうかの判定精度を高めることができる。

【図面の簡単な説明】

【0009】

【図1】本開示の一実施の形態に係る画像処理装置の一構成例を表すブロック図である。

【図2】図１に示したステレオ画像の一例を表す説明図である。

【図3】図１に示した立体物検出部の一動作例を表す説明図である。

【図4】図１に示した車両探索部の一動作例を表す説明図である。

【図5】立体物領域および車両領域の一例を表す説明図である。

【図6】立体物領域および車両領域の他の一例を表す説明図である。

【図7】立体物領域および車両領域の位置関係の一例を表す説明図である。

【図8】立体物領域および車両領域の位置関係の他の一例を表す説明図である。

【図9】立体物領域および車両領域の位置関係の他の一例を表す説明図である。

【図10】図１に示した車両判定部の一動作例を表すフローチャートである。

【図11】変形例に係る画像処理装置の一構成例を表すブロック図である。

【図12】図１１に示した車両判定部の一動作例を表すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本開示の実施の形態について、図面を参照して詳細に説明する。

【0011】

＜実施の形態＞
［構成例］
図１は、一実施の形態に係る画像処理装置（画像処理装置１）の一構成例を表すものである。なお、本開示の実施の形態に係る画像処理方法は、本実施の形態により具現化されるので、併せて説明する。画像処理装置１は、ステレオカメラ１１と、処理部２０とを備えている。画像処理装置１は、自動車等の車両１０に搭載される。

【0012】

ステレオカメラ１１は、車両１０の前方を撮像することにより、互いに視差を有する一組の画像（左画像ＰＬおよび右画像ＰＲ）を生成するように構成される。ステレオカメラ１１は、左カメラ１１Ｌと、右カメラ１１Ｒとを有する。左カメラ１１Ｌおよび右カメラ１１Ｒのそれぞれは、レンズとイメージセンサとを含んでいる。左カメラ１１Ｌおよび右カメラ１１Ｒは、この例では、車両１０の車両内において、車両１０のフロントガラスの上部近傍に、車両１０の幅方向に所定距離だけ離間して配置される。左カメラ１１Ｌおよび右カメラ１１Ｒは、互いに同期して撮像動作を行う。左カメラ１１Ｌは左画像ＰＬを生成し、右カメラ１１Ｒは右画像ＰＲを生成する。左画像ＰＬおよび右画像ＰＲは、ステレオ画像ＰＩＣを構成する。ステレオカメラ１１は、所定のフレームレート（例えば６０［ｆｐｓ］）で撮像動作を行うことにより、一連のステレオ画像ＰＩＣを生成するようになっている。

【0013】

図２は、ステレオ画像ＰＩＣの一例を表すものであり、（Ａ）は左画像ＰＬの一例を示し、（Ｂ）は右画像ＰＲの一例を示す。この例では、車両１０が走行している走行路における車両１０の前方に、先行車両９０が走行している。左カメラ１１Ｌがこの先行車両９０を撮像することにより左画像ＰＬを生成し、右カメラ１１Ｒがこの先行車両９０を撮像することにより右画像ＰＲを生成する。ステレオカメラ１１は、このような左画像ＰＬおよび右画像ＰＲを含むステレオ画像ＰＩＣを生成するようになっている。

【0014】

処理部２０（図１）は、ステレオカメラ１１から供給されたステレオ画像ＰＩＣに基づいて、車両１０の前方の車両を認識するように構成される。車両１０では、例えば、処理部２０が認識した立体物についての情報に基づいて、例えば、ＡＥＢ（Automatic Emergency Braking）やＡＣＣ（Adaptive Cruise Control）などの車両１０の走行制御を行い、あるいは、認識した車両についての情報をコンソールモニタに表示することができるようになっている。処理部２０は、例えば、プログラムを実行するＣＰＵ（Central Processing Unit）、処理データを一時的に記憶するＲＡＭ（Random Access Memory）、プログラムを記憶するＲＯＭ（Read Only Memory）などにより構成される。処理部２０は、距離画像生成部２１と、立体物検出部２２と、連続構造物推定部２３と、車両探索部２４と、画像領域比較部２５と、車両判定部２６とを有している。

【0015】

距離画像生成部２１は、ステレオ画像ＰＩＣに含まれる左画像ＰＬおよび右画像ＰＲに基づいて、ステレオマッチング処理やフィルタリング処理などを含む所定の画像処理を行うことにより、距離画像ＰＺを生成するように構成される。距離画像生成部２１は、左画像ＰＬおよび右画像ＰＲに基づいて、互いに対応する２つの画像点を含む対応点を特定することにより、ステレオマッチング処理を行う。距離画像ＰＺの各画素における画素値は、視差値であり、例えば左画像ＰＬにおける画像点の横座標の座標値と、右画像ＰＲにおける画像点の横座標の座標値との差である。この視差値は、３次元の実空間における、各画素に対応する点までの距離値に対応している。なお、これに限定されるものではなく、例えば、複数の画素値のそれぞれは、３次元の実空間における、各画素に対応する点までの距離を示す距離値であってもよい。距離画像生成部２１は、生成した距離画像ＰＺを、立体物検出部２２および連続構造物推定部２３に供給するようになっている。

【0016】

立体物検出部２２は、距離画像ＰＺに基づいて立体物を検出するように構成される。そして、立体物検出部２２は、距離画像ＰＺにおける、検出した立体物に対応する画像領域に、立体物領域Ｒobjを設定するようになっている。

【0017】

図３は、立体物検出部２２により検出された、距離画像ＰＺにおける立体物領域Ｒobjの一例を表すものである。なお、距離画像ＰＺは視差値の画像であるが、この図３では、説明の便宜上、立体物そのものを描いている。距離画像ＰＺでは、先行車両９０、ガードレール、壁、建物、人物などの立体物に対応する画像領域において、連続した視差値を有する。立体物検出部２２は、距離画像ＰＺに含まれるこのような連続した視差値を利用して、立体物を検出する。そして、立体物検出部２２は、距離画像ＰＺにおける、検出した立体物に対応する画像領域に立体物領域Ｒobjを設定する。立体物検出部２２は、例えばガードレールや壁のように、視差値が連続する画像領域が広い場合には、その視差値に対応する距離に車両がある場合において想定される車両の大きさに応じた所定の大きさを超えない範囲で、立体物領域Ｒobjを設定する。そして、立体物検出部２２は、設定した立体物領域Ｒobjについての情報と、その立体物領域Ｒobjにおける視差値についての情報を、連続構造物推定部２３、画像領域比較部２５、および車両判定部２６に供給するようになっている。

【0018】

連続構造物推定部２３は、距離画像ＰＺに基づいて、立体物検出部２２が検出した立体物が連続構造物である度合いを推定するように構成される。連続構造物は、例えば、ガードレールや壁など、走行路に沿って比較的長い距離にわたって連なる構造物である。連続構造物推定部２３は、立体物がこのような連続構造物である度合い（連続構造物度Ｄ）を推定し、その連続構造物度Ｄについての情報を車両判定部２６に供給するようになっている。

【0019】

連続構造物推定部２３は、例えば、立体物検出部２２が設定した立体物領域Ｒobjおよびその立体物領域Ｒobjの左右の画像領域において、視差値が連続しているかどうかを確認することにより、連続構造物度Ｄを推定する。連続構造物度Ｄは、立体物が連続構造物である可能性が高いほど、高い値を示すものである。

【0020】

具体的には、例えば、図３に示したように、立体物が先行車両９０である場合には、立体物領域Ｒobjおよびその立体物領域Ｒobjの左右の画像領域では、視差値は連続しない。すなわち、立体物領域Ｒobjにおける視差値は、先行車両９０までの距離に対応し、立体物領域Ｒobjの左右の画像領域における視差値は、例えば、車両１０が走行している走行路までの距離に対応するので、立体物領域Ｒobjにおける視差値よりも小さい。この場合には、連続構造物推定部２３は、その立体物が連続構造物である度合い（連続構造物度Ｄ）は低いと推定する。

【0021】

また、例えば、立体物がガードレールや壁である場合には、立体物領域Ｒobjおよびその立体物領域Ｒobjの左右の画像領域では、視差値は連続する。すなわち、立体物領域Ｒobjは、上述したように、視差値に対応する位置に車両があった場合において想定される車両の大きさに応じた所定の大きさを超えない範囲で設定されるので、立体物領域Ｒobjは、例えば、ガードレールや壁に対応する領域の一部に設定される。よって、この場合には、立体物領域Ｒobjおよびその立体物領域Ｒobjの左右の画像領域では、視差値は連続するので、連続構造物推定部２３は、その立体物が連続構造物である度合い（連続構造物度Ｄ）は高いと推定するようになっている。

【0022】

車両探索部２４は、左画像ＰＬおよび右画像ＰＲの一方である画像Ｐに基づいて、機械学習の技術を用いて、車両を探索するように構成される。

【0023】

図４は、車両探索部２４の一動作例を模式的に表すものである。画像Ｐは、車両１０の前方を走行する先行車両９０の画像を含んでいる。車両探索部２４は、画像Ｐにおいて、矩形状の複数の処理対象領域Ｒｐを、例えば位置および大きさを少しずつ変化させながら順次設定する。そして、車両探索部２４は、機械学習の技術を用いて、各処理対象領域Ｒｐにおける車両スコアＳＣを算出する。この車両スコアＳＣは、処理対象領域Ｒｐの画像が車両の特徴を含むほど高い値を示す。車両探索部２４は、例えば、複数の処理対象領域Ｒｐのうちの、車両スコアＳＣが最も高い処理対象領域Ｒｐにおいて、その車両スコアＳＣが所定のスコア以上である場合に、その処理対象領域Ｒｐを車両領域Ｒｖとして設定する。そして、車両探索部２４は、車両領域Ｒｖについての情報、および車両スコアＳＣを、画像領域比較部２５および車両判定部２６に供給するようになっている。

【0024】

画像領域比較部２５は、立体物検出部２２が設定した立体物領域Ｒobjと、車両探索部２４が設定した車両領域Ｒｖとを比較するように構成される。

【0025】

図５，６は、立体物領域Ｒobjおよび車両領域Ｒｖの一例を表すものであり、図５は立体物が先行車両９０である場合を示し、図６は立体物がガードレールである場合を示す。

【0026】

図５の例では、立体物検出部２２は、先行車両９０に対応する領域に立体物領域Ｒobjを設定し、車両探索部２４は、先行車両９０に対応する領域に車両領域Ｒｖを設定している。立体物が車両である場合には、例えば、図５に示したように、立体物領域Ｒobjの位置および大きさと、車両領域Ｒｖの位置および大きさとはほぼ同じである。

【0027】

また、図６の例では、立体物検出部２２は、ガードレール９１、ポール９２、標識９３に対応する領域に立体物領域Ｒobjを設定し、車両探索部２４は、ガードレール９１の一部およびポール９２の一部に対応する領域に車両領域Ｒｖを設定している。すなわち、この例では、立体物が遠方にあるので、画像が粗いため、車両探索部２４は、この例では、ガードレール９１の一部およびポール９２の一部が示す画像パターンが車両のような特徴を有すると判断し、車両スコアＳＣを高くし、ガードレール９１の一部およびポール９２の一部に車両領域Ｒｖを設定している。立体物が連続構造物を含む場合には、図６に示したように、立体物領域Ｒobjが大きくなり得る。特に、この例では、立体物が遠方にあるので視差値の精度が低い。また、連続構造物であるガードレール９１の近くにポール９２や標識９３があるので、同じような視差値を有する画像領域が広い。その結果、立体物検出部２２は、車両領域Ｒｖよりも大きい立体物領域Ｒobjを設定している。

【0028】

図７～９は、立体物が連続構造物を含む場合における、立体物領域Ｒobjおよび車両領域Ｒｖの関係の一例を表すものである。

【0029】

図７の例では、車両領域Ｒｖは、図６の例と同様に、立体物領域Ｒobjの下辺をまたぐように設定されている。言い換えれば、この例では、横方向（ｘ方向）において、車両領域Ｒｖは立体物領域Ｒobjに含まれる。なお、これに限定されるものではなく、例えば、車両領域Ｒｖは、立体物領域Ｒobjの上辺をまたぐように設定されることもあり得る。

【0030】

図８の例では、車両領域Ｒｖは、立体物領域Ｒobjの右辺をまたぐように設定されている。言い換えれば、この例では、縦方向（ｙ方向）において、車両領域Ｒｖは立体物領域Ｒobjに含まれる。なお、これに限定されるものではなく、例えば、車両領域Ｒｖは、立体物領域Ｒobjの左辺をまたぐように設定されることもあり得る。

【0031】

図９の例では、車両領域Ｒｖは、立体物領域Ｒobjに内包されている。すなわち、この例では、横方向（ｘ方向）において、車両領域Ｒｖは立体物領域Ｒobjに含まれ、同様に、縦方向（ｙ方向）において、車両領域Ｒｖは立体物領域Ｒobjに含まれる。

【0032】

画像領域比較部２５は、立体物領域Ｒobjおよび車両領域Ｒｖが所定の判定条件Ｃを満たすかどうかを確認することにより、立体物領域Ｒobjと車両領域Ｒｖとを比較する。この判定条件Ｃは、例えば、少なくとも横方向（ｘ方向）および縦方向（ｙ方向）の一方において、車両領域Ｒｖが立体物領域Ｒobjに含まれ、かつ、その方向において、車両領域Ｒｖの幅Ｗｖを立体物領域Ｒobjの幅Ｗobjで除算することにより得られた重複率Ａが所定のしきい値ＴＨより小さい（Ａ＝Ｗｖ／Ｗobj＜ＴＨ）ことを含む。この判定条件Ｃを満たすことは、立体物が連続構造物を含む可能性が高いことを示す。

【0033】

例えば、図７，９に示したように、横方向（ｘ方向）において、車両領域Ｒｖが立体物領域Ｒobjに含まれ、かつ、重複率Ａ（重複率Ａｘ）が所定のしきい値ＴＨｘより小さくてもよい（Ａｘ＝Ｗvx／Ｗobjx＜ＴＨｘ）。また、例えば、図８，９に示したように、縦方向（ｙ方向）において、車両領域Ｒｖが立体物領域Ｒobjに含まれ、かつ、重複率Ａ（重複率Ａｘ）が所定のしきい値ＴＨｙより小さくてもよい（Ａｙ＝Ｗvy／Ｗobjy＜ＴＨｙ）。

【0034】

画像領域比較部２５は、立体物領域Ｒobjおよび車両領域Ｒｖがこのような判定条件Ｃを満たすかどうかを確認することにより、立体物領域Ｒobjと車両領域Ｒｖとを比較する。そして、画像領域比較部２５は、この比較結果を車両判定部２６に供給するようになっている。

【0035】

車両判定部２６は、立体物検出部２２の検出結果、連続構造物推定部２３により得られた連続構造物度Ｄ、車両探索部２４の探索結果、画像領域比較部２５の比較結果、および車両１０の車両制御装置（図示せず）から取得した車両１０の走行情報に基づいて、立体物が車両であるかどうかを判定するように構成される。

【0036】

ここで、立体物検出部２２は、本開示における「第１の領域設定部」の一具体例に対応する。立体物領域Ｒobjは、本開示における「第１の画像領域」の一具体例に対応する。車両探索部２４は、本開示における「第２の領域設定部」の一具体例に対応する。車両領域Ｒｖは、本開示における「第２の画像領域」の一具体例に対応する。車両スコアＳＣは、本開示における「車両度」の一具体例に対応する。画像領域比較部２５は、本開示における「比較部」の一具体例に対応する。車両判定部２６は、本開示における「判定部」の一具体例に対応する。判定条件Ｃは、本開示における「判定条件」の一具体例に対応する。しきい値ＴＨは、本開示における「しきい値」の一具体例に対応する。連続構造物推定部２３は、本開示における「推定部」の一具体例に対応する。連続構造物度Ｄは、本開示における「連続構造物度」の一具体例に対応する。

【0037】

［動作および作用］
続いて、本実施の形態の画像処理装置１の動作および作用について説明する。

【0038】

（全体動作概要）
まず、図１を参照して、画像処理装置１の全体動作概要を説明する。ステレオカメラ１１は、車両１０の前方を撮像することにより、互いに視差を有する左画像ＰＬおよび右画像ＰＲを含むステレオ画像ＰＩＣを生成する。距離画像生成部２１は、ステレオ画像ＰＩＣに含まれる左画像ＰＬおよび右画像ＰＲに基づいて、距離画像ＰＺを生成する。立体物検出部２２は、距離画像ＰＺに基づいて立体物を検出することにより、立体物領域Ｒobjを設定する。連続構造物推定部２３は、距離画像ＰＺに基づいて、立体物検出部２２が検出した立体物が連続構造物である度合い（連続構造物度Ｄ）を推定する。車両探索部２４は、左画像ＰＬおよび右画像ＰＲの一方である画像Ｐに基づいて、機械学習の技術を用いて、車両を探索することにより、車両領域Ｒｖを設定する。画像領域比較部２５は、立体物領域Ｒobjと車両領域Ｒｖとを比較する。車両判定部２６は、立体物検出部２２の検出結果、連続構造物推定部２３により得られた連続構造物度Ｄ、車両探索部２４の探索結果、画像領域比較部２５の比較結果、および車両１０の車両制御装置（図示せず）から取得した車両１０の走行情報に基づいて、立体物が車両であるかどうかを判定する。

【0039】

（詳細動作）
車両探索部２４は、車両を探索する際、画像Ｐにおいて複数の処理対象領域Ｒｐを順次設定し、機械学習の技術を用いて、各処理対象領域Ｒｐにおける画像が車両の特徴を含むかどうかを確認することにより、車両スコアＳＣを算出する。その際、処理対象領域Ｒｐにおける画像が車両の画像でないにもかかわらず、画像パターンが車両のような特徴を有する場合には、車両スコアＳＣが高くなってしまう。例えば、処理対象領域Ｒｐの画像がガードレールや壁などの連続構造物の画像である場合に、画像パターンが車両のような特徴を有することがあり、このような場合には車両スコアＳＣが高くなってしまう。

【0040】

このように、連続構造物が車両であると誤判定された場合には、例えば、ＡＥＢやＡＣＣなどの車両１０の走行制御に不具合が生じてしまう。そこで、画像処理装置１では、画像領域比較部２５は、立体物領域Ｒobjおよび車両領域Ｒｖが判定条件Ｃを満たすかどうかを確認することにより、立体物領域Ｒobjと車両領域Ｒｖとを比較する。そして、車両判定部２６は、立体物検出部２２の検出結果、連続構造物推定部２３により得られた連続構造物度Ｄ、車両探索部２４の探索結果、および画像領域比較部２５の比較結果に基づいて、立体物が車両であるかどうかを判定する。特に、車両判定部２６は、立体物領域Ｒobjおよび車両領域Ｒｖが判定条件Ｃを満たす場合には、立体物が連続構造物を含む可能性が高いと判定し、その立体物が車両であると判定されにくくする車両判定抑制処理Ｂを行うことができる。この車両判定抑制処理Ｂでは、車両判定部２６は、例えば、車両探索部２４により得られた車両スコアＳＣをより低いスコアに補正したり、車両スコアＳＣに基づいて車両判定を行う際のしきい値をより高い値に変更したりすることにより、その立体物が車両であると判定されにくくすることができる。このようにして、画像処理装置１では、立体物が車両であるかどうかの判定精度を高めることができる。

【0041】

図１０は、車両判定部２６における、車両判定抑制処理Ｂを行うかどうかを判断する処理の一例を表すものである。

【0042】

まず、車両判定部２６は、立体物検出部２２が設定した立体物領域Ｒobjにおける立体物が遠方の立体物であるかどうかを確認する（ステップＳ１０１）。具体的には、車両判定部２６は、立体物領域Ｒobjにおける視差値が示すその立体物までの距離が、以下の条件を満たすかどうかを確認することにより、立体物が遠方の立体物であるかどうかを確認する。
しきい値ＴＨmin ＜ 距離 ＜ しきい値ＴＨmax
立体物が遠方の立体物である場合には、車両探索部２４は、連続構造物が車両であると誤判定しやすい。しきい値ＴＨmin，ＴＨmaxは、車両探索部２４が誤判定しやすいような距離の上限および下限である。車両判定部２６は、この条件を満たすかどうかを確認することにより、車両探索部２４が誤判定しやすいかどうかを確認する。遠方の立体物ではない場合（ステップＳ１０１において“Ｎ”）には、このフローは終了する。すなわち、この場合には、車両探索部２４が誤判定する可能性は低いので、車両判定部２６は、車両判定抑制処理Ｂを行わずに、この処理を終了する。

【0043】

ステップＳ１０１において、遠方の立体物である場合（ステップＳ１０１において“Ｙ”）には、車両判定部２６は、画像領域比較部２５の比較結果が、横方向（ｘ方向）において、車両領域Ｒｖは立体物領域Ｒobjに含まれ、かつ、重複率Ａｘは所定のしきい値ＴＨｘ以下であるとの判定条件Ｃを満たすことを示すかどうかを確認する（ステップＳ１０２）。

【0044】

ステップＳ１０２において、この判定条件Ｃを満たさない場合（ステップＳ１０２において“Ｎ”）には、車両判定部２６は、画像領域比較部２５の比較結果が、縦方向（ｙ方向）において、車両領域Ｒｖは立体物領域Ｒobjに含まれ、かつ、重複率Ａｙは所定のしきい値ＴＨｙ以下であるとの判定条件Ｃを満たすことを示すかどうかを確認する（ステップＳ１０３）。この判定条件Ｃを満たさない場合（ステップＳ１０３において“Ｙ”）、処理は終了する。すなわち、この場合には、ステップＳ１０２の判定条件ＣおよびステップＳ１０３の判定条件Ｃを満たさないので、立体物が連続構造物を含む可能性が低いため、車両判定部２６は、車両判定抑制処理Ｂを行わずに、この処理を終了する。

【0045】

ステップＳ１０２の判定条件Ｃを満たす場合（ステップＳ１０２において“Ｙ”）、またはステップＳ１０３の判定条件Ｃを満たす場合（ステップＳ１０３において“Ｙ”）には、車両判定部２６は、連続構造物推定部２３が推定した連続構造物度Ｄを確認する（ステップＳ１０４）。この例では、連続構造物推定部２３は、連続構造物度Ｄを３レベル（“高”、“中”、“低”）で推定している。

【0046】

ステップＳ１０４において、連続構造物度Ｄが高レベルである場合（ステップＳ１０４において“高”）には、車両判定部２６は、車両１０が立体物に衝突するまでの時間（ＴＴＣ：Time to Collision）が５秒以上であるかどうかを確認する（ステップＳ１０５）。具体的には、車両判定部２６は、例えば、立体物領域Ｒobjにおける視差値が示す立体物までの距離と、車両１０の車両制御装置（図示せず）から取得した車両１０の車速についての情報に基づいて、車両１０がその立体物に衝突するまでの時間を算出し、この時間が５秒以上であるかどうかを確認する。この時間が５秒以上ではない場合（ステップＳ１０５において“Ｎ”）には、この処理は終了する。すなわち、この場合には、衝突までの時間が短いので、立体物が車両であるかどうかはさほど問題にならない。また、立体物は車両であるにもかかわらず、連続構造物推定部２３が、連続構造物度Ｄが高レベルであると誤判定している場合もあり得る。よって、車両判定部２６は、車両判定抑制処理Ｂを行わずに、この処理を終了する。

【0047】

ステップＳ１０４において、連続構造物度Ｄが中レベルである場合（ステップＳ１０４において“中”）には、車両判定部２６は、車両１０が立体物に衝突するまでの時間（ＴＴＣ）が７秒以上であるかどうかを確認する（ステップＳ１０６）。この時間が７秒以上ではない場合（ステップＳ１０６において“Ｎ”）には、この処理は終了する。

【0048】

ステップＳ１０５において、車両１０が立体物に衝突するまでの時間が５秒以上である場合（ステップＳ１０５において“Ｙ”）、またはステップＳ１０６において、車両１０が立体物に衝突するまでの時間が７秒以上である場合（ステップＳ１０６において“Ｙ”）には、車両判定部２６は、その立体物が車両であると判定されにくくする車両判定抑制処理Ｂを行う（ステップＳ１０７）。

【0049】

以上でこのフローは終了する。このようにして、車両判定部２６は、このフローを繰り返すことにより、立体物が連続構造物を含む可能性が高いかどうかをモニタし、立体物が連続構造物を含む可能性が高い場合には、その立体物が車両であると判定されにくくする車両判定抑制処理Ｂを行う。これにより、画像処理装置１では、立体物が車両であるかどうかの判定精度を高めることができる。

【0050】

このように、画像処理装置１では、立体物領域Ｒobjと車両領域Ｒｖとを比較する画像領域比較部２５を設け、車両判定部２６は、車両探索部２４から供給された車両スコアＳＣと、画像領域比較部２５における比較結果に基づいて、立体物が車両であるかどうかを判定するようにした。これにより、例えば、車両判定部２６は、画像領域比較部２５における比較結果に基づいて、立体物が、ガードレールや壁などの連続構造物である可能性が高いかどうかを把握することができる。その結果、画像処理装置１では、立体物が車両であるかどうかの判定精度を高めることができる。

【0051】

また、画像処理装置１では、画像領域比較部２５は、立体物領域Ｒobjおよび車両領域Ｒｖが判定条件Ｃを満たすかどうかを確認することにより、立体物領域Ｒobjと車両領域Ｒｖとを比較するようにした。判定条件Ｃは、少なくとも横方向（ｘ方向）および縦方向（ｙ方向）の一方において、車両領域Ｒｖが立体物領域Ｒobjに含まれることと、車両領域Ｒｖのその方向における幅を、立体物領域Ｒobjのその方向における幅で除算した重複率Ａが、所定のしきい値ＴＨより小さいこととを含むようにした。これにより、例えば、車両判定部２６は、画像領域比較部２５における比較結果に基づいて、立体物が、ガードレールや壁などの連続構造物である可能性が高いかどうかを把握することができる。その結果、画像処理装置１では、立体物が車両であるかどうかの判定精度を高めることができる。

【0052】

また、画像処理装置１では、車両判定部２６は、判定条件Ｃを満たす場合に、立体物が車両であると判定されにくくする車両判定抑制処理を行うようにしたので、立体物が、ガードレールや壁などの連続構造物である可能性が高い場合に、車両判定抑制処理を行うことができる。よって、画像処理装置１では、立体物が車両であるかどうかの判定精度を高めることができる。

【0053】

また、画像処理装置１では、立体物が連続構造物である度合いを示す連続構造物度Ｄを推定する連続構造物推定部２３を設け、車両判定部２６は、判定条件Ｃを満たす場合に、車両スコアＳＣおよび連続構造物度Ｄに基づいて、立体物が車両であるかどうかを判定するようにした。これにより、画像処理装置１では、立体物が連続構造物である度合いをより詳細に確認することができるので、立体物が車両であるかどうかの判定精度を高めることができる。

【0054】

また、画像処理装置１では、図１０に示したステップＳ１０５，Ｓ１０６において、車両１０が立体物に衝突するまでの時間（ＴＴＣ）に応じて、車両判定抑制処理Ｂを行うかどうかを判定した。これにより、例えば、車両１０が立体物に衝突するまでの時間が短い場合には、立体物が車両であるかどうかに関係なく、車両判定抑制処理Ｂを行わないようにすることができる。また、連続構造物度Ｄが高レベルである場合における、車両１０が立体物に衝突するまでの時間の基準時間（図１０のステップＳ１０５における“５秒”）を、連続構造物度Ｄが中レベルである場合における、車両１０が立体物に衝突するまでの時間の基準時間（図１０のステップＳ１０５における“５秒”）よりも短くした。これにより、画像処理装置１では、立体物が連続構造物である可能性が高い場合には、車両判定抑制処理Ｂを行いやすくすることができるので、立体物が車両であるかどうかの判定精度を高めることができる。

【0055】

［効果］
以上のように本実施の形態では、立体物領域と車両領域とを比較する画像領域比較部を設け、車両判定部は、車両探索部から供給された車両スコアと、画像領域比較部における比較結果に基づいて、立体物が車両であるかどうかを判定するようにしたので、立体物が車両であるかどうかの判定精度を高めることができる。

【0056】

本実施の形態では、画像領域比較部は、立体物領域および車両領域が判定条件を満たすかどうかを確認することにより、立体物領域と車両領域とを比較するようにした。判定条件は、少なくとも横方向（ｘ方向）および縦方向（ｙ方向）の一方において、車両領域が立体物領域に含まれることと、車両領域のその方向における幅を、立体物領域のその方向における幅で除算した重複率が、所定のしきい値より小さいこととを含むようにした。これにより、立体物が車両であるかどうかの判定精度を高めることができる。

【0057】

本実施の形態では、車両判定部は、判定条件を満たす場合に、立体物が車両であると判定されにくくする車両判定抑制処理を行うようにしたので、立体物が車両であるかどうかの判定精度を高めることができる。

【0058】

本実施の形態では、立体物が連続構造物である度合いを示す連続構造物度Ｄを推定する連続構造物推定部を設け、車両判定部は、判定条件を満たす場合に、車両スコアおよび連続構造物度に基づいて、立体物が車両であるかどうかを判定するようにしたので、立体物が車両であるかどうかの判定精度を高めることができる。

【0059】

［変形例１］
上記実施の形態では、図１０に示したように、ステップＳ１０２の判定条件Ｃ、およびステップＳ１０３の判定条件Ｃのうちの少なくとも一方を満たした場合に、車両判定部２６が車両判定抑制処理Ｂを行うことができるようにしたが、これに限定されるものではない。これに代えて、例えば、ステップＳ１０２の判定条件Ｃ、およびステップＳ１０３の判定条件Ｃの両方を満たした場合に、車両判定部２６が車両判定抑制処理Ｂを行うことができるようにしてもよい。また、例えば、ステップＳ１０３を省き、ステップＳ１０２の判定条件Ｃを満たした場合に、車両判定部２６が車両判定抑制処理Ｂを行うことができるようにしてもよい。また、例えば、ステップＳ１０２を省き、ステップＳ１０３の判定条件Ｃを満たした場合に、車両判定部２６が車両判定抑制処理Ｂを行うことができるようにしてもよい。

【0060】

［変形例２］
上記実施の形態では、画像領域比較部２５は、横方向（ｘ方向）において、重複率Ａｘが所定のしきい値ＴＨｘより小さいかどうかを確認したが、例えば、このしきい値ＴＨｘは、変更可能であってもよい。具体的には、例えば、しきい値ＴＨｘは、立体物までの距離に応じて変化してもよいし、車両スコアＳＣに応じて変化してもよい。

【0061】

同様に、画像領域比較部２５は、縦方向（ｙ方向）において、重複率Ａｙが所定のしきい値ＴＨｙより小さいかどうかを確認したが、例えば、このしきい値ＴＨｙは、変更可能であってもよい。具体的には、例えば、しきい値ＴＨｙは、立体物までの距離に応じて変化してもよいし、車両スコアＳＣに応じて変化してもよい。

【0062】

［変形例３］
上記実施の形態では、連続構造物推定部２３を設けたが、これに限定されるものではなく、これに代えて、例えば、連続構造物推定部２３を省いてもよい。以下に、本変形例に係る画像処理装置１Ａについて詳細に説明する。

【0063】

図１１は、画像処理装置１Ａの一構成例を表すものである。画像処理装置１Ａは、処理部２０Ａを備えている。処理部２０Ａは、距離画像生成部２１と、立体物検出部２２と、車両探索部２４と、画像領域比較部２５と、車両判定部２６Ａとを有している。すなわち、本変形例に係る処理部２０Ａは、上記実施の形態に係る処理部２０（図１）から連続構造物推定部２３を省くとともに、車両判定部２６を車両判定部２６Ａに変更したものである。

【0064】

車両判定部２６Ａは、立体物検出部２２の検出結果、車両探索部２４の探索結果、画像領域比較部２５の比較結果、および車両１０の車両制御装置（図示せず）から取得した車両１０の走行情報に基づいて、立体物が車両であるかどうかを判定するように構成される。

【0065】

図１２は、車両判定部２６Ａにおける、車両判定抑制処理Ｂを行うかどうかを判断する処理の一例を表すものである。

【0066】

まず、車両判定部２６は、立体物検出部２２が設定した立体物領域Ｒobjにおける立体物が遠方の立体物であるかどうかを確認する（ステップＳ１０１）。遠方の立体物ではない場合（ステップＳ１０１において“Ｎ”）には、このフローは終了する。

【0067】

ステップＳ１０１において、遠方の立体物である場合（ステップＳ１０１において“Ｙ”）には、車両判定部２６は、画像領域比較部２５の比較結果が、横方向（ｘ方向）において、車両領域Ｒｖは立体物領域Ｒobjに含まれ、かつ、重複率Ａｘは所定のしきい値ＴＨｘ以下であるとの判定条件Ｃを満たすことを示すかどうかを確認する（ステップＳ１０２）。

【0068】

ステップＳ１０２において、この判定条件Ｃを満たさない場合（ステップＳ１０２において“Ｎ”）には、車両判定部２６は、画像領域比較部２５の比較結果が、縦方向（ｙ方向）において、車両領域Ｒｖは立体物領域Ｒobjに含まれ、かつ、重複率Ａｙは所定のしきい値ＴＨｙ以下であるとの判定条件Ｃを満たすことを示すかどうかを確認する（ステップＳ１０３）。この判定条件Ｃを満たさない場合（ステップＳ１０３において“Ｙ”）、処理は終了する。

【0069】

ステップＳ１０２の判定条件Ｃを満たす場合（ステップＳ１０２において“Ｙ”）、またはステップＳ１０３の判定条件Ｃを満たす場合（ステップＳ１０３において“Ｙ”）には、車両判定部２６Ａは、その立体物が車両であると判定されにくくする車両判定抑制処理Ｂを行う（ステップＳ１０７）。すなわち、ステップＳ１０２の判定条件ＣおよびステップＳ１０３の判定条件Ｃのうちの少なくとも一方を満たすことは、その立体物が連続構造物である可能性が高いことを示すので、車両判定部２６Ａは、その立体物が車両であると判定されにくくする車両判定抑制処理Ｂを行う。以上でこのフローは終了する。

【0070】

［その他の変形例］
また、これらの変形例のうちの２以上を組み合わせてもよい。

【0071】

以上、実施の形態および変形例を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。

【0072】

例えば、上記実施の形態では、ステレオカメラ１１は車両１０の前方を撮像するようにしたが、これに限定されるものではなく、例えば、車両１０の側方や後方を撮像してもよい。

【0073】

なお、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、また、他の効果があってもよい。

【符号の説明】

【0074】

１，１Ａ…画像処理装置、１１…ステレオカメラ、１１Ｌ…左カメラ、１１Ｒ…右カメラ、２０，２０Ａ…処理部、２１…距離画像生成部、２２…立体物検出部、２４…車両探索部、２５…画像領域比較部、２６，２６Ａ…車両判定部、Ａ，Ａｘ，Ａｙ…重複率、Ｂ…車両判定抑制処理、Ｃ…判定条件、Ｄ…連続構造物度、ＰＩＣ…ステレオ画像、ＰＬ…左画像、ＰＲ…右画像、ＰＺ…距離画像、Ｒobj…立体物領域、Ｒｐ…処理対象領域、Ｒｖ…車両領域、ＴＨｘ，ＴＨｙ…しきい値。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】