特許 6722084 物体検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6722084

(24)【登録日】2020年6月23日

(45)【発行日】2020年7月15日

(54)【発明の名称】物体検出装置

(51)【国際特許分類】

   G06T 7/285 20170101AFI20200706BHJP

   G06T 1/00 20060101ALI20200706BHJP

   H04N 7/18 20060101ALI20200706BHJP

   G08G 1/16 20060101ALI20200706BHJP

【ＦＩ】

   G06T7/285

   G06T1/00 330Z

   G06T1/00 315

   H04N7/18 J

   G08G1/16 C

【請求項の数】6

【全頁数】16

(21)【出願番号】特願2016-198437(P2016-198437)

(22)【出願日】2016年10月6日

(65)【公開番号】特開2018-60422(P2018-60422A)

(43)【公開日】2018年4月12日

【審査請求日】2019年1月22日

(73)【特許権者】

【識別番号】000004695

【氏名又は名称】株式会社ＳＯＫＥＮ

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100121821

【弁理士】

【氏名又は名称】山田 強

(74)【代理人】

【識別番号】100139480

【弁理士】

【氏名又は名称】日野 京子

(74)【代理人】

【識別番号】100125575

【弁理士】

【氏名又は名称】松田 洋

(74)【代理人】

【識別番号】100175134

【弁理士】

【氏名又は名称】北 裕介

(72)【発明者】

【氏名】龍 潜

(72)【発明者】

【氏名】石丸 和寿

(72)【発明者】

【氏名】田中 健一

【審査官】 青木 重徳

(56)【参考文献】

【文献】 特開２０１３−１９１０７２（ＪＰ，Ａ）

【文献】 特開２００７−１７２５０４（ＪＰ，Ａ）

【文献】 特開２００２−３５２２２５（ＪＰ，Ａ）

【文献】 特開２００７−２０８８６５（ＪＰ，Ａ）

【文献】 特開平０８−２９４１４３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／２８５

Ｇ０６Ｔ １／００

Ｇ０８Ｇ １／１６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

左右方向の視差を含む第１画像及び第２画像を撮影する第１カメラ（１１）及び第２カメラ（１２）が搭載された車両（５０）に適用され、前記第１画像及び前記第２画像に基づいて、前記車両の周囲に存在する物体を検出する物体検出装置（２０）であって、
現時点の前記第１画像及び前記第２画像と、現時点よりも過去の前記第１画像及び前記第２画像とを取得する取得部と、
取得した各画像を所定の区画に分割し、その区画ごとに、現時点における前記第１画像及び前記第２画像の類似度である第１類似度と、過去における前記第１画像及び前記第２画像の類似度である第２類似度と、現時点及び過去における前記第１画像の類似度である第３類似度と、を算出する算出部と、
前記第１類似度及び前記第２類似度により、前記区画ごとに、現時点及び過去の各々において前記第１画像と前記第２画像とが一致しているか否かを判定するとともに、前記第３類似度により、前記区画ごとに、現時点の前記第１画像と過去の前記第１画像とが一致しているか否かを判定する一致判定部と、
前記区画ごとに、現時点及び過去の各々において前記第１画像と前記第２画像とが一致していない旨が判定され、かつ現時点の前記第１画像と過去の前記第１画像とが一致している旨が判定された場合に、前記第１カメラ及び前記第２カメラのいずれかの前方に、当該カメラの視界を妨げる遮蔽物が存在していると判定する遮蔽判定部と、
を備える物体検出装置。

【請求項2】

前記遮蔽判定部は、前記取得した各画像の前記区画ごとに、前記遮蔽物が存在しているか否かを判定するものであって、
前記遮蔽物が存在していると判定された場合に、前記遮蔽物が存在していると判定された区画以外の区画に基づいて前記物体を検出する請求項１に記載の物体検出装置。

【請求項3】

前記算出部は、少なくとも異なる２つの方法を用いて前記第１類似度、前記第２類似度及び前記第３類似度をそれぞれ算出するものであって、
前記遮蔽判定部は、前記各方法において前記遮蔽物が存在しているか否かの判定結果が異なった場合に、前記遮蔽物が存在していると判定する請求項１又は２に記載の物体検出装置。

【請求項4】

前記算出部は、前記取得した各画像において、該画像の下領域を、それよりも上の上領域に比べて小さい区画に分割する請求項１乃至３のいずれか１項に記載の物体検出装置。

【請求項5】

前記取得した各画像に基づいて前記車両の前方の道路領域を認識する道路領域認識部を備え、
前記算出部は、前記取得した各画像において、前記道路領域を、前記道路領域以外の領域に比べて小さい区画に分割する請求項１乃至４のいずれか１項に記載の物体検出装置。

【請求項6】

前記算出部は、前記車両の走行状況に応じて、前記取得した各画像の分割の態様を変更する請求項１乃至５のいずれか１項に記載の物体検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば車両に搭載される物体検出装置に関するものである。

【背景技術】

【0002】

従来、ステレオカメラを車両に搭載し、一対の撮像画像（基準画像と比較画像）に基づいて車両周囲に存在する物体を検出し、その検出された物体に対して車両の走行安全性を向上させるための車両制御を行うことが提案されている。

【0003】

ここで、ステレオカメラについて、カメラの前方のフロントガラスやカメラのレンズ面に遮蔽物（ほこり、ごみ、水滴等）が付着することがある。かかる場合には、その遮蔽物が撮像画像中に写り込むことで物体の検出に影響が及ぶおそれがある。

【0004】

例えば、特許文献１に記載の装置では、基準画像と比較画像の輝度値の差に基づいて、車載カメラの前方のフロントガラスに遮蔽物が付着したことを判定している。具体的には、一対の撮像画像に基づいて検出された物体が今回のフレームにおいて撮像される予測領域を設定する。そして、基準画像上の予測領域とそれに対応する比較画像上の予測領域との輝度値の平均値の差が閾値以上である状態が、所定のフレーム数以上継続する場合に、遮蔽物が付着したと判定する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００９−１１０１７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、自車両や物体等が移動することによって、カメラにおける撮像画像は大きく変化する。この場合、画像上における物体の位置が変わると、一対の画像間における比較の結果も変わりうる。そうすると、画像上における物体や遮蔽物の位置等によっては一対の画像間の比較のみでは、遮蔽状態が適正に検出できないことが生じうると考えられる。

【0007】

本発明は、上記課題に鑑みてなされたものであり、遮蔽物の有無を精度よく判定し、物体検出を適正に実施することができる物体検出装置を提供することである。

【課題を解決するための手段】

【0008】

本発明の物体検出装置は、左右方向の視差を含む第１画像及び第２画像を撮影する第１カメラ（１１）及び第２カメラ（１２）が搭載された車両（５０）に適用され、前記第１画像及び前記第２画像に基づいて、前記車両の周囲に存在する物体を検出する物体検出装置（２０）であって、現時点の前記第１画像及び前記第２画像と、現時点よりも過去の前記第１画像及び前記第２画像とを取得する取得部と、取得した各画像を所定の区画に分割し、その区画ごとに、現時点における前記第１画像及び前記第２画像の類似度である第１類似度と、過去における前記第１画像及び前記第２画像の類似度である第２類似度と、現時点及び過去における前記第１画像の類似度である第３類似度と、を算出する算出部と、前記第１類似度及び前記第２類似度により、現時点及び過去の各々において前記第１画像と前記第２画像とが一致するか否かを判定するとともに、前記第３類似度により、現時点の前記第１画像と過去の前記第１画像とが一致するか否かを判定する一致判定部と、現時点及び過去の各々において前記第１画像と前記第２画像とが一致しない旨が判定され、かつ現時点の前記第１画像と過去の前記第１画像とが一致する旨が判定された場合に、前記第１カメラ及び前記第２カメラのいずれかの前方に、当該カメラの視界を妨げる遮蔽物が存在していると判定する遮蔽判定部と、を備えることを特徴とする。

【0009】

第１カメラ又は第２カメラがごみ等の付着により遮蔽状態になっている場合、現時点及び過去の各々において第１画像と第２画像とが一致しない状態となる。また、ごみ等の付着状態がしばらくは維持されることで、画像上におけるごみ等の位置は時系列的に変わらない、つまり現時点の第１画像と過去の第１画像とが一致する状態となる。

【0010】

こうした状況を踏まえた上で、上記構成を採用することにより、第１カメラ及び第２カメラのいずれかの前方に遮蔽物が存在していることを適正に判定することができる。またいずれかのカメラに遮蔽物が付着等している場合、その遮蔽物によって遮蔽された領域が撮像画像の一部であることを踏まえ、上記構成では、撮像画像を分割してその区画ごとに類似度を比較しているため、分割しない場合に比べて類似度の比較の精度を向上させることができる。

【図面の簡単な説明】

【0011】

【図1】車両の物体検知システムの概略構成を示す図。

【図2】本実施形態の概略を説明するための図。

【図3】画像の分割の態様を説明するための図。

【図4】各画像間におけるＳＳＩＭのパラメータを示した図。

【図5】各画像間におけるエントロピーのパラメータを示した図。

【図6】画像の遮蔽判定処理の手順を示すフローチャート。

【図7】各パラメータにおいて区画ごとの遮蔽状態を示した図。

【図8】画像の分割の態様の変形例を説明するための図。

【図9】閾値の可変設定の態様を説明するための図。

【発明を実施するための形態】

【0012】

以下、本発明を具体化した実施形態を図面に基づいて説明する。本実施形態は、車両に搭載された物体検知システムを具体化している。当該システムは、例えば、車両に搭載される車両システムの一例であり、車両の周囲に存在する物体（例えば、他の車両や道路構造物等）を検知する。

【0013】

まず、本実施形態に係る車両の物体検知システムの概略構成について図１を用いて説明する。車両５０は、ステレオカメラ１０と、ＥＣＵ２０と、被制御対象３０とを備えている。なお、図１に示す実施形態において、ＥＣＵ２０が物体検出装置として機能する。

【0014】

ステレオカメラ１０は、車両５０の前方を撮像できるよう撮像軸を車両５０の前方に向けた状態で車室内に設置されている。また、ステレオカメラ１０は、左右（横）方向での位置の異なる右カメラ１１及び左カメラ１２を備えている。右カメラ１１及び左カメラ１２は、所定周期で同時に撮像を行い、右カメラ１１で撮像された右画像及び左カメラ１２で撮像された左画像は、それぞれＥＣＵ２０に出力される。右カメラ１１及び左カメラ１２は、例えば、それぞれがＣＣＤイメージセンサやＣＭＯＳイメージセンサで構成されている。本実施形態では、右カメラ１１及び左カメラ１２がそれぞれ第１カメラ及び第２カメラに相当し、右画像及び左画像がそれぞれ第１画像及び第２画像に相当する。

【0015】

ＥＣＵ２０は、ＣＰＵや各種メモリ等を備えたコンピュータを主体として構成されている。ＥＣＵ２０は、ステレオカメラ１０の右カメラ１１及び左カメラ１２によってそれぞれ出力された右画像及び左画像に基づいて、車両前方に位置する物体を検出し、その物体までの距離を算出する。

【0016】

物体までの距離の算出には、周知のステレオマッチング処理を用いた手法が適用される。簡単に説明すると、ＥＣＵ２０は、同じタイミングで撮像された右画像及び左画像を取得し、これらの画像から算出されるずれ量（視差情報）に基づき、三角測量の原理を用いて物体までの距離を算出する。

【0017】

また、ＥＣＵ２０は、算出された物体までの距離に基づいて、その物体に対する接触回避処理等を実施する。具体的には、被制御対象３０である警報装置３１及びブレーキ装置３２を、それぞれ所定の作動タイミングで作動させる。警報装置３１は、ＥＣＵ２０からの制御指令により、ドライバに対して車両前方に物体が存在することを警報する。警報装置３１は、例えば、車室内に設けられたスピーカや、画像を表示する表示部により構成されている。また、ブレーキ装置３２は、車両５０の制動力を変化させるブレーキ機構と、このブレーキ機構の動作を制御するブレーキＥＣＵとを備えている。ブレーキＥＣＵは、ＥＣＵ２０と通信可能に接続されており、ＥＣＵ２０からの制御指令により、ブレーキ機構を制御する。

【0018】

ところで、ステレオカメラ１０による物体検出では、右画像及び左画像からなる一対の画像に対してステレオマッチング処理が実施され、これにより物体を適正に検出することができる。言い換えると、一対の画像に対してステレオマッチング処理が適切に実施できない場合は、物体検出に悪影響を及ぼすおそれがある。

【0019】

例えば、車両５０の走行中に右カメラ１１及び左カメラ１２のいずれか一方のカメラの前方のフロントガラスにほこりや、ごみ、水滴等の遮蔽物が付着することがある。また、同様にいずれか一方のカメラのレンズ面に直接、ほこり等が付着することがある。これらの場合には、その遮蔽物が画像中に写り込むことで物体検出に悪影響が及ぶおそれがある。すなわち、一方の画像中にはその遮蔽物が写り込むのに対して、他方の画像中にはその遮蔽物が写りこまない状態となることで、ステレオマッチング処理が適切に実施できなくなると考えられる。その結果、物体検出に基づく車両制御が適正に実施できなくなるおそれがある。

【0020】

そこで、本実施形態では、現時点及び現時点よりも過去における、右画像及び左画像の区画ごとの類似度に基づいて、一方のカメラの前方に遮蔽物が存在しているかの判定を行うようにした。すなわち、現時点の右画像及び左画像と、現時点よりも過去の右画像及び左画像と、をそれぞれ所定の区画に分割し、その区画ごとに、現時点における右画像及び左画像の類似度である類似度ＳＡと、過去における右画像及び左画像の類似度である類似度ＳＢと、現時点及び過去における右画像の類似度である類似度ＳＣと、を算出する。そして、類似度ＳＡ及び類似度ＳＢに基づいて、現時点及び過去の各々において右画像と左画像とが一致しない旨が判定され、かつ類似度ＳＣに基づいて、現時点の右画像（又は左画像）と過去の右画像（又は左画像）とが一致する旨が判定された場合に、右カメラ１１及び左カメラ１２のいずれかの前方に遮蔽物が存在していると判定するようにした。

【0021】

本実施形態の概略について、図２を用いて説明する。図２は、右カメラ１１の前方のフロントガラスにごみが付着した場合を想定している。ここでは、現時点の右画像及び左画像と、現時点よりも過去の右画像及び左画像との４つの画像を示している。この場合、右画像にはごみが写り込んでいるため、左画像と比較して画像に大きな差異が生じる。例えば、各画像間で対応する区画Ａ，Ｂ，Ｃ，Ｄに関して言えば、区画Ａと区画Ｂは不一致となり、さらに区画Ｃと区画Ｄは不一致となる。一方、ごみが付着した状態はしばらく継続することから、区画Ｂと区画Ｄは一致する状態となる。本実施形態では、こうした状況の下で遮蔽物の判定を実施することから、遮蔽物の存在を適正に判定することができる。

【0022】

本実施形態におけるＥＣＵ２０の具体的な構成について、図１を用いて説明する。図１に戻り、ＥＣＵ２０は、取得部２１、算出部２２、一致判定部２３、遮蔽判定部２４、制御停止部２５、遮蔽通知部２６、遮蔽解消部２７として機能する。

【0023】

取得部２１は、右カメラ１１及び左カメラ１２により撮像された右画像及び左画像をそれぞれ取得する。なお右画像及び左画像は同じタイミングで撮像された画像であり、取得部２１は、これらを所定周期で受信する。本実施形態では、取得部２１は、現時点の右画像及び左画像と、現時点よりも過去の右画像及び左画像とを取得する。つまり、画像として４つの画像を取得する。ここで、現時点よりも過去の画像とは、例えば撮像周期において前回、又は前々回に撮像され、メモリに記憶された画像である。つまりここでの過去とは、現時点の画像と相関を有する程度の過去ということになる。

【0024】

算出部２２は、取得部２１により取得された各画像、すなわち現時点の右画像及び左画像と、現時点よりも過去の右画像及び左画像とをそれぞれ所定の区画に分割する。図３（ａ），（ｂ）は、取得された画像の分割の一例を示している。図３（ａ）は、画像の縦の長さを１／４、横の長さを１／８に分割して、格子状に均等に３２分割した場合を示す。また、図３（ｂ）は、画像の横の長さを１／８に分割して、短冊状に均等に８分割した場合を示す。このように、算出部２２は、予め設定された分割の態様に従って各画像を分割する。

【0025】

なお、画像間の分割については、後述する区画間の対応付けが適切に実施できるように区画されるとよい。例えば、右画像を基準に分割した場合は、左右のずれ量を考慮した上で左画像を分割するとよい。

【0026】

算出部２２は、分割された各区画について、（１）現時点の右画像及び左画像間、（２）現時点よりも過去の右画像及び左画像間、（３）現時点及び過去の右画像間、（４）現時点及び過去の左画像間、といった各画像間で、各々対応する区画を特定する。なお、対応する区画の特定には周知の方法を適用することができる。例えば、ビタビアルゴリズムを適用することができる。

【0027】

さらに、算出部２２は、対応付けられた区画ごとに、各画像間の類似度を算出する。具体的には、区画ごとに、現時点における右画像及び左画像の類似度ＳＡと、過去における右画像及び左画像の類似度ＳＢと、現時点及び過去における右画像の類似度ＳＣとを算出する。なお、類似度ＳＣは、現時点及び過去における左画像の類似度であってもよい。

【0028】

類似度は、比較される２つの区画がどれだけ似ているかを示す指標であり、類似度が大きければ２つの区画が似ていることを意味し、類似度が小さければ２つの区画が似ていないことを意味する。類似度としては、周知の指標を用いることができる。本実施形態では、類似度として、ＳＳＩＭ（structural similarity）、及びエントロピー（情報エントロピー、相互情報量）を算出する。

【0029】

ＳＳＩＭは、対応する２つの区画の明るさの類似度、コントラストの類似度及び構造の類似度の要素を含めた類似度として算出される。つまり、明るさに影響されない要素も含んでいる。ＳＳＩＭについて、各画像間におけるパラメータを図４に示す。図４では、現時点の右画像及び左画像間で対応する区画についてＭ（Ｌ，Ｒ）とし、現時点よりも過去の右画像及び左画像間で対応する区画についてＭ（Ｌｐ，Ｒｐ）とし、現時点及び過去の右画像間で対応する区画についてＭ（Ｒ，Ｒｐ）とし、現時点及び過去の左画像間で対応する区画についてＭ（Ｌ，Ｌｐ）とする。ここで、例えばＭ（Ｌ，Ｒ）は、下記式（１）に基づいて算出される。

【0030】

【数1】

なお、上記式（１）におけるＳＳＩＭ（Ｌ，Ｒ）については、ＳＳＩＭの周知の数式を用いて求めることができる。詳しくは、下記式（２）及び式（３）に基づいて算出される。

【0031】

【数2】

なお、上記式（２），（３）における各記号の定義について簡単に説明する。ここでは、現時点の右画像及び左画像間で対応する区画について示している。ｌ（Ｌ，Ｒ）は、輝度の類似度を表し、ｃ（Ｌ，Ｒ）は、コントラストの類似度を表し、ｓ（Ｌ，Ｒ）は、画像構造の類似度を表す。さらに、μ_Ｌ，μ_Ｒは、輝度平均値であり、δ_Ｌ，δ_Ｒは、輝度の標準偏差であり、δ_ＬＲは、左画像及び右画像間の区画の輝度の共分散である。また、上記式（２）中のα、β、γは、任意の定数である。

【0032】

なお、Ｍ（Ｌ，Ｒ）と同様にして、Ｍ（Ｌｐ，Ｒｐ）、Ｍ（Ｌ，Ｒｐ）、Ｍ（Ｌｐ，Ｒ）も式（１）〜（３）に基づいて算出される。

【0033】

ここで、ＳＳＩＭ値は、０より大きく１以下の値であり、例えばＳＳＩＭ値が１の場合、２つの区画は同一であることを意味する。また、ＳＳＩＭ値が大きくなるほど、２つの区画の類似度は高くなる。ここで、例えばＭ（Ｌ，Ｒ）に置き換えて言えば、現時点の右画像及び左画像間の対応する区画が同一の場合、Ｍ（Ｌ，Ｒ）はゼロとなる。また、その対応する区画の類似度が高くなるほど、Ｍ（Ｌ，Ｒ）はゼロに近づくことになる。

【0034】

さらに、算出部２２は、類似度としてエントロピー（情報エントロピー，相互情報量）を算出する。

【0035】

情報エントロピーは、全ての事象に対するその情報量の期待値をいい、数値が大きいほど情報が曖昧であることを表す。画像に置き換えて言えば、どの画素値がどの程度の確率で現れるかということになる。つまり、画素値が実際にどんな値をとるかの曖昧さを意味しており、エントロピーが大きい画像は、画素値のばらつきが大きいことになる。

【0036】

一方、相互情報量は、２つの画像の相関を表しており、数値が小さいほど２つの画像は似ていることを示す。

【0037】

エントロピーについて、各画像間におけるパラメータを図５に示す。図５では、現時点の右画像の情報エントロピーをＥ（Ｒ）とし、現時点の左画像の情報エントロピーをＥ（Ｌ）とし、現時点よりも過去の右画像の情報エントロピーをＥ（Ｒｐ）とし、現時点よりも過去の左画像の情報エントロピーをＥ（Ｌｐ）とする。また、現時点の右画像及び左画像間で対応する区画の相互情報量をＪ（Ｌ，Ｒ）とし、現時点よりも過去の右画像及び左画像間で対応する区画の相互情報量をＪ（Ｌｐ，Ｒｐ）とし、現時点及び過去の右画像間で対応する区画の相互情報量をＪ（Ｒ，Ｒｐ）とし、現時点及び過去の左画像間で対応する区画の相互情報量をＪ（Ｌ，Ｌｐ）とする。ここで、例えばＥ（Ｒ）及びＪ（Ｌ，Ｒ）は、下記式（４），（５）に基づいて算出される。

【0038】

【数3】

なお、Ｅ（Ｒ）及びＪ（Ｌ，Ｒ）と同様にして、その他のパラメータについても式（４），（５）に基づいて算出される。

【0039】

一致判定部２３は、算出部２２により算出された類似度に基づいて、画像間の各区画が一致するか否かを判定する。具体的には、類似度ＳＡ及び類似度ＳＢにより、現時点及び過去の各々において右画像と左画像とが一致するか否かを判定する。また、類似度ＳＣにより、現時点の右画像（又は左画像）と過去の右画像（又は左画像）とが一致するか否かを判定する。

【0040】

ここで類似度として、ＳＳＩＭを用いた場合について説明する。例えば、類似度ＳＡとしてのＭ（Ｌ，Ｒ）が閾値Ｍｔｈ１以下であれば、現時点の右画像及び左画像間で対応する区画は一致すると判定する。閾値Ｍｔｈ１は、２つの区画が一致しているか否かが判定される判定値として設定されている。同様に、類似度ＳＢとしてのＭ（Ｌｐ，Ｒｐ）、類似度ＳＣとしてのＭ（Ｌ，Ｒｐ）又はＭ（Ｌｐ，Ｒ）についても閾値Ｍｔｈ１との比較を行う。一方、エントロピーを用いた場合は、算出されたエントロピーと所定の閾値とを比較することで、２つの区画が一致しているかを判定することができる。なお、算出された類似度と区画の一致の対応関係を表すマップを用いて、一致するか否かを導いてもよい。

【0041】

なお、対応する区画間が一致しているか否かの判定は、ＳＳＩＭ及びエントロピーのいずれか一方を用いてもよく、又、両方用いてもよい。ここで、両方用いた場合において、例えばＳＳＩＭでは一致していると判定されるが、エントロピーでは一致していないと判定されるというように両者の判定が異なる場合には、遮蔽判定が実施されやすくなる方の判定を選択するとよい。

【0042】

遮蔽判定部２４は、一致判定部２３により、現時点及び過去の各々において右画像と左画像とが一致しない旨が判定され、かつ現時点の右画像（又は左画像）と過去の右画像（又は左画像）とが一致する旨が判定された場合に、右カメラ１１及び左カメラ１２のいずれかの前方に、当該カメラの視界を妨げる遮蔽物が存在していると判定する。つまり、かかる場合には、右画像及び左画像が不一致の状態が時系列的に継続していることになり、遮蔽物が付着していると考えられる。なお、この判定に際して、遮蔽判定部２４は、各区画において遮蔽状態かどうかの確率Ｐを算出する。

【0043】

確率Ｐの算出について、以下に説明する。まず全ての区画について、算出された類似度を用いてＳＣＯＲＥssim、及びＳＣＯＲＥentropyを算出し、区画毎にスコアの最大値を選択する。これらのスコアは、それぞれ下記式（６），（７）に基づいて、算出される。

【0044】

【数4】

そして、遮蔽判定部２４は、算出されたスコアを用いて、下記式（８）により各区画が遮蔽状態かどうかを判定するための確率Ｐを算出する。

【0045】

【数5】

なお、上記式のＰ（Ａ）は、ＳＳＩＭで算出したＳＣＯＲＥssimを表し、Ｐ（Ｂ）は、エントロピーで算出したＳＣＯＲＥentropyを表す。そして、遮蔽判定部２４は、算出された確率Ｐと閾値Ｐｔｈ１とを比較し、確率Ｐが閾値Ｐｔｈ１よりも大きい場合は、その区画が遮蔽状態であると判定する。

【0046】

制御停止部２５は、遮蔽状態であると判断された場合に、ステレオマッチング処理の一部又は全てを停止させる。すなわち、遮蔽状態が生じている領域では、ステレオマッチング処理が適切に実施できないため、少なくとも遮蔽状態が生じている領域ではその処理を停止させる。ここで、ステレオマッチング処理の一部のみを停止させる場合は、遮蔽状態が生じていない領域ではステレオマッチング処理を実施する。すなわち物体検出を継続する。

【0047】

遮蔽通知部２６は、遮蔽判定部２４により遮蔽状態であると判定された場合に、ドライバに遮蔽状態である旨を通知するために警報装置３１に対して制御指令を送信する。これにより、警報装置３１を作動させることで、ドライバは遮蔽状態である旨を把握することができる。その結果、ごみや汚れのふき取り等、遮蔽状態を解消するためのドライバによる操作を促すことができる。

【0048】

遮蔽解消部２７は、遮蔽判定部２４により遮蔽状態であると判定された場合に、遮蔽状態を解消させるための制御指令を送信する。例えばワイパやヒータが設けられている構成において、遮蔽状態であると判定された場合に、ワイパやヒータを作動させることで、遮蔽状態を解消させる。

【0049】

次に、本実施形態における物体検出装置の遮蔽判定処理の手順について、図６のフローチャートを参照して説明する。本処理は、ＥＣＵ２０が所定間隔で繰り返し実行する。

【0050】

まず、ステップＳ１１において、現時点の右画像及び左画像と、現時点よりも過去の右画像及び左画像とを取得する。過去の画像は、例えばＥＣＵ２０内のメモリに記憶されている。ステップＳ１２では、取得された各画像を所定の区画に分割する。ここでは例えば、画像の縦の長さを１／４に、横の長さを１／８に分割して、均等に３２分割する。

【0051】

ステップＳ１３では、各画像間において対応する区画を特定する。例えば、右画像及び左画像間で対応する区画は、同じ横軸上から特定することができる。ステップＳ１４では、各画像間において対応する区画ごとに類似度を算出する。ここでは、上述した方法により、類似度としてＳＳＩＭ及びエントロピーを算出する。具体的には、類似度ＳＡと類似度ＳＢと類似度ＳＣを算出する。

【0052】

ステップＳ１５では、類似度ＳＡを用いて、現時点の右画像と左画像が一致していないかを判定し、類似度ＳＢを用いて、過去の右画像と左画像が一致していないかを判定し、さらに、類似度ＳＣを用いて、現時点の右画像（又は左画像）と過去の右画像（又は左画像）とが一致するか否かを判定する。なお、これらの判定が全て肯定された場合にステップＳ１５がＹＥＳとなり、少なくともいずれか一つが否定された場合にステップＳ１５がＮＯとなる。

【0053】

ステップＳ１５がＹＥＳであれば、ステップＳ１６に進み、ステップＳ１５がＮＯであれば、右画像及び左画像は遮蔽状態となっていないとして、そのまま本処理を終了する。ステップＳ１６では、各区画が遮蔽状態か否かを判定するための確率Ｐを算出する。ここでは、上述の方法により、ＳＣＯＲＥssim及びＳＣＯＲＥentropyを用いて、区画ごとに確率Ｐを算出する。

【0054】

ステップＳ１７では、確率Ｐが閾値Ｐｔｈ１よりも大きいか否かを判定する。ステップＳ１７がＹＥＳであれば、その区画は遮蔽状態であるとして、ステップＳ１８に進む。一方、ステップＳ１７がＮＯであれば、その区画は遮蔽状態でないとしてそのまま本処理を終了する。ステップＳ１８では、遮蔽状態であると判定された区画についてステレオマッチング処理を停止する。言い換えると、遮蔽状態でないと判定された区画についてはステレオマッチング処理が実施される、つまり物体検出が実施される。ステップＳ１９では、遮蔽状態である旨をドライバに報知するための制御指令を警報装置３１に送信する。

【0055】

本実施形態における遮蔽判定処理によれば、区画ごとに遮蔽状態の有無を判定することができる。例えば、図７（ａ）には、一対の画像のうちの一方に、図に示すような位置に遮蔽物Ｓが付着した場合を示している。ここで、図７（ｂ），（ｃ）には、ＳＳＩＭで算出したＳＣＯＲＥssimを用いた場合、及びエントロピーで算出したＳＣＯＲＥentropyを用いた場合において区画ごとの確率Ｐを指標化したものをそれぞれ示している。ここでは、確率Ｐを数値１〜数値４の４段階に分けて指標化しており、数値が大きいほど遮蔽状態である確率が高いことを示している。なお、これらの図では便宜上、各画像を均等に１８分割している。

【0056】

ここで、指標化された確率Ｐのうち、例えば数値３及び数値４を遮蔽状態であるとすると、図７（ｂ）では領域Ｘの区画が遮蔽状態であると判定され、図７（ｃ）では領域Ｙの区画が遮蔽状態であると判定される。このように、区画毎に類似度を比較することで、遮蔽された領域の特定が精度良く行われる。

【0057】

さらに、本実施形態では、異なる類似度において遮蔽状態である旨の判定結果が異なった場合、言い換えると少なくとも１つの類似度において遮蔽状態であると判定された場合に、遮蔽状態であると判定する。したがって、図７のケースにおいては、結果的に領域Ｙの区画が遮蔽状態であると判定する。このように、異なる類似度を用いることでそれぞれの判定結果を考慮することができ、遮蔽状態の有無を適正に判定することができる。

【0058】

なお、異なる類似度において遮蔽状態である旨の判定結果が異なった場合について、上記の構成を変更してもよい。例えば、遮蔽状態でない旨の判定結果を優先してもよく、又、用いる類似度によって優先する判定結果を設定してもよい。

【0059】

以上詳述した本実施形態によれば、以下の優れた効果が得られる。

【0060】

右カメラ１１又は左カメラ１２がごみ等の付着により遮蔽状態になっている場合、現時点及び過去の各々において第１画像と第２画像とが一致しない状態となる。また、ごみ等が付着した状態が維持されることで、現時点の第１画像と過去の第１画像とが一致する状態となる。こうした状況を踏まえた上で、上記構成を採用することにより、右カメラ１１及び左カメラ１２のいずれかの前方に遮蔽物が存在していることを適正に判定することができる。またいずれかのカメラに遮蔽物が付着等している場合、その遮蔽物によって遮蔽された領域が撮像画像の一部であることを踏まえ、上記構成では、撮像画像を分割してその区画ごとに類似度を比較しているため、分割しない場合に比べて類似度の比較の精度を向上させることができる。

【0061】

遮蔽物が付着等している場合、その遮蔽物によって遮蔽された領域は、撮像画像の一部分である。かかる場合、遮蔽されていない部分では、物体検出が可能であると考えられる。この点、上記構成では、遮蔽物が存在していると判定された区画以外の区画に基づいて物体を検出するようにしたため、遮蔽された領域にかかわらず一様に物体検出を停止する構成とは異なり、物体検出の機会を増やすことができる。

【0062】

複数の画像における類似度を算出する方法には様々な方法があり、用いる類似度によっては、遮蔽物が存在しているか否かの判断が異なる場合があると考えられる。この点、上記構成では、遮蔽物が存在しているか否かの判定結果が異なった場合、すなわち少なくとも一つの方法で遮蔽物が存在すると判定された場合に、遮蔽物が存在していると判定するようにした。この場合、遮蔽物が存在するとの判定を優先することで、遮蔽物が存在しないことの確実性が乏しい状況下での物体検出が制限される。これにより、誤った物体検出に基づく不要作動の発生を抑制することができると考えられる。

【0063】

上記実施形態を例えば次のように変更してもよい。

【0064】

・上記実施形態では、図６のステップＳ１２において、取得された各画像を均等に分割して各区画とする構成としたが、これを変更してもよい。例えば、ＥＣＵ２０は画像上の位置に応じて区画の大きさを可変に設定してもよく、又、ＥＣＵ２０は走行シーンに応じて分割の態様を変更する構成としてもよい。

【0065】

画像上の道路領域は、物体検出において重要性が高いと考えられる。この点を考慮し、例えば、図８（ａ）に示すように、画像を、道路領域とそれ以外（例えば、路側帯領域、上空領域）とに分割した上で、さらに道路領域についてより小さい区画に分割する構成としてもよい。なお、道路領域は、区画線認識などの周知の画像認識技術を利用することにより特定される。例えば、区画線認識により認識された両端の区画線に挟まれた領域を道路領域とする。なお、路側帯領域は、例えば、道路領域の端部の区画線の消失点を含む水平線を軸として、区画線を反転させて得た直線と、区画線とで囲まれる領域として特定される。そして、上空領域は、道路領域および路側帯領域以外の領域となる。この構成によれば、物体検出において重要性の高い道路領域について、道路領域以外の領域に比べて、区画間の類似度の比較の精度を向上させることができる。

【0066】

また、画像において、下側の領域が車両５０に対して手前側を表し、上側の領域が車両５０に対して奥側を表す。そのため、物体検出において、画像の下側の領域の方が、画像の上側の領域に比べてより重要性が高いと考えられる。この点を考慮し、例えば、図８（ｂ）に示すように、画像の下領域を、それよりも上の上領域に比べて小さい区画に分割する構成としてもよい。この構成によれば、物体検出において重要性の高い画像の下領域について、それよりも上の上領域に比べて、区画間の類似度の比較の精度を向上させることができる。

【0067】

このように、物体検出における重要性を考慮した画像上の位置に応じて、区画の大きさを可変に設定することで、類似度の比較の精度、ひいては遮蔽判定の精度を向上させることができる。一方、分割された区画ごとに類似度を算出することから、区画数が多くなるほど、ＥＣＵ２０の演算負荷は大きくなる。この点を考慮し、画像の位置によって区画の大きさを変えることで、一律に区画を小さくする場合に比べて、演算負荷を軽減することができる。これにより、遮蔽判定の精度と演算負荷との両立を図ることができる。

【0068】

一方、走行シーンに応じて分割の態様を変更する例として、車両前方に他車や歩行者が存在するか否かに応じて、分割する区画の大きさを変更する構成が挙げられる。かかる構成において、例えば、車両前方に他車や歩行者が存在する場合に、他車や歩行者が存在しない場合に比べて、より小さい区画に分割するように変更してもよい。この一例として、車両５０の前方に他車等が存在しない場合には図３（ｂ）のように分割し、車両５０の前方に他車等が存在する場合には図３（ａ）のように分割することが考えられる。車両前方に他車や歩行者が存在する場合には、物体検出が適切に実施されることが望ましい。そのため、上記構成とすることで、遮蔽物の判定を精度よく行うことができ、ひいては物体検出を適正に実施することができると考えられる。なお、他車や歩行者は、周知のパターンマッチング等により認識される。

【0069】

また、走行シーンのその他の例として、遮蔽物が付着しそうな走行環境（例えば、降雪時）の場合には、そうでない場合と比較して分割する区画の大きさを変更する（例えば、小さい区画に分割する）構成が考えられる。

【0070】

・上記実施形態では、図６のステップＳ１７の遮蔽判定において、予め設定された閾値Ｐｔｈ１を用いて遮蔽状態であるか否かを判定する構成としたが、これを変更してもよい。例えば、ＥＣＵ２０は区画の画像上の位置に応じて閾値Ｐｔｈ１を可変に設定してもよく、又、ＥＣＵ２０は走行シーンに応じて閾値Ｐｔｈ１を変更する構成にしてもよい。

【0071】

区画の画像上の位置に関して言えば、物体検出における画像上の位置の重要性を加味して、閾値Ｐｔｈ１を可変に設定することが考えられる。例えば、閾値Ｐｔｈ１と画像上の位置との関係を図９（ａ），（ｂ）に示す。図９（ａ）には、閾値Ｐｔｈ１と画像の横軸（ｘ軸）との関係を示している。この場合、画像の横中央に近づくにつれて、閾値Ｐｔｈ１が小さくなるように設定される。つまり、画像の横軸の中央部の方が、周辺部に比べて遮蔽状態である旨が判定されやすくなる。また、図９（ｂ）には、閾値Ｐｔｈ１と画像の縦軸（ｙ軸）との関係を示している。この場合、画像の上端に近づくにつれて、閾値Ｐｔｈ１が大きくなるように設定される。つまり、画像の上領域は、それよりも下の下領域に比べて物体検出において重要性が低いと考えられるため、画像の上側の領域では、遮蔽状態である旨を判定されにくくしている。このように、区画の画像上の位置に応じて閾値Ｐｔｈ１を可変に設定することで、物体検出における画像上の位置の重要性を加味しつつ、遮蔽状態を適切に判断することができる。

【0072】

また、走行シーンに関して言えば、車両前方に他車や歩行者が存在するか否かに応じて、閾値Ｐｔｈ１の大きさを変更する構成としてもよい。かかる構成において、例えば、車両前方に他車や歩行者が存在する場合に、他車や歩行者が存在しない場合に比べて、閾値Ｐｔｈ１をより小さくするように変更することが考えられる。車両前方に他車や歩行者が存在する場合には、物体検出が適切に実施されることが望ましく、かかる構成によって、走行シーンを加味しつつ、遮蔽状態を適切に判断することができると考えられる。なお、閾値Ｐｔｈ１の変更については、走行シーンに応じて閾値Ｐｔｈ１をより大きくするように変更する構成としてもよい。

【0073】

・上記構成では、現時点の右画像及び左画像と、現時点よりも過去の右画像及び左画像の４つの画像を用いて各画像間の類似度を算出する構成としたが、これを変更してもよい。例えば、現時点よりも過去の画像として過去の異なる２つの時点における画像を取得し、現時点と併せて、６つの画像を用いて各画像間の類似度を算出する構成としてもよい。なお、かかる構成においても、算出された類似度に基づいて、現時点及び過去の各々において右画像と左画像とが一致しない旨が判定され、かつ現時点の右画像（又は左画像）と過去の右画像（又は左画像）とが一致する旨が判定された場合に遮蔽状態であると判定する。

【0074】

・上記構成では、図６のステップＳ１７の遮蔽判定において、確率Ｐが閾値Ｐｔｈ１よりも大きい場合に遮蔽状態であると判定する構成としたが、これを変更してもよい。例えば、確率Ｐが閾値Ｐｔｈ１よりも大きくなった回数をカウントし、カウントされた回数が所定回数以上になった場合に遮蔽状態であると判定する構成としてもよい。この構成によれば、遮蔽状態の判定の精度をより高めることができる。

【0075】

・図６の遮蔽判定処理において、区画数を加味する構成としてもよい。例えば、図６のステップＳ１７とステップＳ１８との間に、確率Ｐが閾値Ｐｔｈ１よりも大きいと判定された区画数が所定数Ｎ以上であるか否かを判定するステップを設けてもよい。この場合、その区画数が所定数Ｎよりも小さければ、そのまま本処理を終了する。一方、その区画数が所定数Ｎ以上であれば、遮蔽状態であるとして、ステップＳ１８へ進み、後続の処理を実行する。

【0076】

また、上記の区画数に代えて又は加えて、区画面積を加味する構成としてもよい。例えば、図６のステップＳ１７とステップＳ１８との間に、確率Ｐが閾値Ｐｔｈ１よりも大きいと判定された区画の区画面積が所定面積以上であるか否かを判定するステップを設けてもよい。この場合、その区画の面積が、所定面積よりも小さければ、そのまま本処理を終了し、所定面積以上であれば、遮蔽状態であるとして、ステップＳ１８へ進み、後続の処理を実行する。

【0077】

さらに、区画の画像上の位置を加味する構成としてもよい。例えば、図６のステップＳ１７とステップＳ１８との間に、確率Ｐが閾値Ｐｔｈ１よりも大きいと判定された区画の画像上の位置が上空領域か否かを判定するステップを設けてもよい。この場合、上空領域であると判定されれば、そのまま本処理を終了する。一方、上空領域でないと判定されれば、ステップＳ１８へ進み、後続の処理を実行する。なお上空領域の判定は、その他の領域の判定に適宜変更してもよい。

【0078】

・上記実施形態では、類似度として、ＳＳＩＭ及びエントロピーを用いたが、これを変更し、ＳＳＩＭ及びエントロピーのいずれか一方の類似度を用いる構成であってもよい。例えば、ＳＳＩＭのみを用いる構成であれば、確率ＰはＳＣＯＲＥssimのみに基づいて、算出される。

【0079】

・類似度として、ＳＳＩＭ及びエントロピー以外にも周知の類似度を用いることができる。例えば、類似度として、ＳＳＤ（sum of squared difference）、ＳＡＤ（sum of absolute difference）、ＮＣＣ（Normalized Cross-Correlation）、画像均一度比等を用いることができる。

【符号の説明】

【0080】

１１…右カメラ、１２…左カメラ、２０…ＥＣＵ、５０…車両。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】