特許 6722051 物体検出装置、及び物体検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6722051

(24)【登録日】2020年6月23日

(45)【発行日】2020年7月15日

(54)【発明の名称】物体検出装置、及び物体検出方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20200706BHJP

   B60R 21/00 20060101ALI20200706BHJP

   G06T 1/00 20060101ALI20200706BHJP

【ＦＩ】

   G08G1/16 C

   B60R21/00 992

   G06T1/00 330B

【請求項の数】5

【全頁数】14

(21)【出願番号】特願2016-116575(P2016-116575)

(22)【出願日】2016年6月10日

(65)【公開番号】特開2017-220178(P2017-220178A)

(43)【公開日】2017年12月14日

【審査請求日】2018年10月22日

(73)【特許権者】

【識別番号】000004695

【氏名又は名称】株式会社ＳＯＫＥＮ

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100121821

【弁理士】

【氏名又は名称】山田 強

(74)【代理人】

【識別番号】100139480

【弁理士】

【氏名又は名称】日野 京子

(74)【代理人】

【識別番号】100125575

【弁理士】

【氏名又は名称】松田 洋

(74)【代理人】

【識別番号】100175134

【弁理士】

【氏名又は名称】北 裕介

(72)【発明者】

【氏名】鶴田 知彦

(72)【発明者】

【氏名】川嵜 直輝

(72)【発明者】

【氏名】石丸 和寿

(72)【発明者】

【氏名】白井 孝昌

(72)【発明者】

【氏名】石神 裕丈

【審査官】 上野 博史

(56)【参考文献】

【文献】 特開２００８−２４２５７１（ＪＰ，Ａ）

【文献】 特開平０６−１１０５５２（ＪＰ，Ａ）

【文献】 特開２０１５−０１４８１９（ＪＰ，Ａ）

【文献】 特開２０１２−０４８４６０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００−９９／００

Ｂ６０Ｒ ２１／００−２１／１３

２１／３４−２１／３８

Ｇ０６Ｔ ７／００−７／９０

Ｇ０６Ｔ １／００−１／４０

３／００−５／５０

９／００−９／４０

(57)【特許請求の範囲】

【請求項1】

車両に設けられた第１撮像部（１１）及び第２撮像部（１２）から前記車両の進行方向前方の撮像画像を取得する画像取得部と、
前記第１撮像部及び前記第２撮像部のうちのいずれか一方の撮像部で撮像された画像に物体が検出され、かつ他方の撮像部で撮像された画像に前記物体が検出されないことを条件に、前記進行方向前方に前記他方の撮像部から見た死角が存在し、かつ前記死角に前記物体が存在していると判定する死角判定部と、
前記死角に前記物体が存在していると判定された場合に、前記各撮像部により撮像された各画像を時系列で保持する画像保持部と、
前記保持された時系列の各画像における特徴量の違いを画像差分として取得する差分取得部と、
前記画像差分に基づいて、前記物体が前記車両の進行方向前方に接近するか否かを判定する接近判定部と、を備える物体検出装置。

【請求項2】

前記接近判定部は、前記一方の撮像部で撮像された画像について前記画像差分から前記物体が見えている状態が維持されていると認識され、かつ前記他方の撮像部で撮像された画像について前記画像差分から前記物体が見えていない状態から見える状態になったと認識された場合に、前記物体が前記進行方向前方に接近していると判定する、請求項１に記載の物体検出装置。

【請求項3】

前記一方の撮像部で撮像された画像における前記物体が移動を伴う移動体であるか否かを判定する移動体判定部を有し、
前記接近判定部は、前記一方の撮像部で撮像された画像における前記物体が前記移動体であることを条件に、当該物体が前記進行方向前方に近接するか否かを判定する、請求項２に記載の物体検出装置。

【請求項4】

前記死角に存在する物体の種別を少なくとも歩行者又は自転車として判定する種別判定部を有し、
前記死角判定部は、前記物体が前記歩行者又は前記自転車であることを条件に、前記物体が前記死角に存在しているか否かを判定する、請求項１から請求項３のいずれか一項に記載の物体検出装置。

【請求項5】

車両に設けられた第１撮像部（１１）及び第２撮像部（１２）から前記車両の進行方向前方の撮像画像を取得する画像取得工程と、
前記第１撮像部及び前記第２撮像部のうちのいずれか一方の撮像部で撮像された画像に物体が検出され、かつ他方の撮像部で撮像された画像に前記物体が検出されないことを条件に、前記進行方向前方に前記他方の撮像部から見た死角が存在し、かつ前記死角に前記物体が存在していると判定する死角判定工程と、
前記死角に前記物体が存在していると判定された場合に、前記各撮像部により撮像された各画像を時系列で保持する画像保持工程と、
前記保持された時系列の各画像における特徴量の違いを画像差分として取得する差分取得工程と、
前記画像差分に基づいて、前記物体が前記車両の進行方向前方に接近するか否かを判定する接近判定工程と、を備える物体検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の進行方向前方に存在する物体を検出する物体検出装置、及び物体検出方法に関する。

【背景技術】

【0002】

カメラ等の撮像装置で車両の進行方向前方を撮像し、車両から物体が見えない死角となる位置から車両の進行方向前方へ飛び出す物体を検出する物体検出装置が知られている。物体検出装置が死角から飛び出す物体を検出することで、この検出結果に基づいて物体との衝突を回避するための各種制御を作動させることができる。

【0003】

また、特許文献１には、撮像装置により撮像された画像の死角周囲での移動速度及び移動方向を移動速度情報として算出し、算出した移動速度情報に基づいて、死角からの物体の飛び出しの有無を判定する物体検出装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３−２１０９８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

撮像画像内での物体の移動速度及び移動方向により物体の飛び出しの有無を判定する場合、実際の物体の移動方向が相違していても、画像内での物体の移動が同一の移動方向であると認識される場合がある。具体的には、自車の横方向において自車に接近する側に物体が移動する場合と、自車の進行方向前方に物体が移動する場合とでは、実際の物体の移動方向が相違するが、二次元の画像上においてはいずれも自車の左右方向において自車に接近する側に物体が移動することとなる。このような場合には物体が進行方向前方へ飛び出しているか否かの判定精度が低下することが懸念される。また、飛び出しの判定に要する所要時間が長引くことが懸念される。

【0006】

本発明は上記課題に鑑みてなされたものであり、物体に対する飛び出し判定のタイミングの早期化と高い判定精度とを両立することができる物体検出装置、及び物体検出方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために本発明では、車両に設けられた第１撮像部及び第２撮像部から前記車両の進行方向前方の撮像画像を取得する画像取得部と、前記第１撮像部及び前記第２撮像部で撮像された各画像に基づいて、前記進行方向前方に死角が存在し、かつ前記死角に前記物体が存在しているか否かを判定する死角判定部と、前記死角に前記物体が存在していると判定された場合に、前記各撮像部により撮像された各画像を時系列で保持する画像保持部と、前記保持された時系列の各画像における特徴量の違いを画像差分として取得する差分取得部と、前記画像差分に基づいて、前記物体が前記車両の進行方向前方に接近するか否かを判定する接近判定部と、を備える。

【0008】

撮像装置により撮像された画像に死角があり、その死角に物体が存在している場合、第１撮像部での画像には物体が見え、第２撮像部での画像には物体が見えないといったことが生じる。また、物体が移動することに伴い各撮像部の画像において物体の見え方が時系列で変わるが、移動方向に応じて見え方の変化具合が変わると考えられる。この点、上記構成によれば、各撮像部により撮像された死角を含む周辺領域の画像が時系列で保持され、その時系列の画像における特徴量の違いが画像差分として算出される。そして、その画像差分に基づいて、物体が自車両の進行方向前方に接近するか否かが判定される。この場合、物体の移動方向に応じて、各撮像部の画像における物体の見え方の変化具合が変わることを加味して、物体の接近を判定でき、物体に対する飛び出し判定のタイミングの早期化と高い判定精度とを両立することができる。

【図面の簡単な説明】

【0009】

【図1】プリクラッシュセーフティシステムの構成図。

【図2】ステレオカメラの撮像領域を説明する図。

【図3】撮像画像内での物標Ｏｂの位置の変化を説明する図。

【図4】撮像画像を用いて死角領域ＤＡに物標Ｏｂが存在するか否かを判定する手法を説明する図。

【図5】物標Ｏｂの飛び出し判定を説明するフローチャート。

【図6】死角領域ＤＡに物標Ｏｂが存在するか否かを判定する手法を説明する図。

【図7】物標Ｏｂの飛び出しの判定を説明する図。

【図8】物体検出ＥＣＵ２０が実施する飛び出し判定の動作を説明する図。

【図9】第２実施形態における死角に存在する物体の有無を判定する手法を説明する図。

【図10】第１撮像部と第２撮像部との変形例を示す図。

【発明を実施するための形態】

【0010】

本発明にかかる物体検出装置、及び物体検出方法の実施形態を図面と共に説明する。なお、以下の実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付しており、同一符号の部分についてはその説明を援用する。

【0011】

（第１実施形態）
図１は、物体検出装置、及び物体検出方法を適用したプリクラッシュセーフティシステム（以下、ＰＣＳＳ：Pre-crash safety systemと記載する。）１００を示している。ＰＣＳＳ１００は、例えば、車両に搭載される車両システムの一例であり、車両の進行方向前方の物体を検出し、検出した物体と車両とが衝突する恐れがある場合、物体に対する自車両の衝突の回避動作又は衝突の緩和動作を実施する。以下では、このＰＣＳＳ１００が搭載された車両を自車両ＣＳと記載し、検出対象となる物体を物標Ｏｂと記載する。

【0012】

図１に示すように、ＰＣＳＳ１００は、ステレオカメラ１０と、物体検出ＥＣＵ２０と、運転支援ＥＣＵ３０と、被制御対象４０と、を備えている。図１に示す実施形態において、物体検出ＥＣＵ２０が物体検出装置として機能する。また、ステレオカメラ１０が撮像装置として機能する。

【0013】

ステレオカメラ１０は、自車両ＣＳの進行方向前方を撮像できるよう撮像軸を自車両ＣＳの前方に向けた状態で車室内に設置されている。また、ステレオカメラ１０は、横方向での位置の異なる右カメラ１１及び左カメラ１２を備えている。右カメラ１１で撮像された右画像と、左カメラ１２で撮像された左画像は、それぞれ所定周期で運転支援ＥＣＵ３０に出力される。右カメラ１１及び左カメラ１２は、例えば、それぞれがＣＣＤイメージセンサやＣＭＯＳイメージセンサで構成されている。この第１実施形態では右カメラ１１及び左カメラ１２がそれぞれ第１撮像部及び第２撮像部として機能する。

【0014】

図２（ａ）に示すように、右カメラ１１と左カメラ１２とは、車両中心から横方向（Ｘ軸方向）にそれぞれ左右にずれて配置されている。そのため、図２（ｂ），（ｃ）で示すように、右カメラ１１で撮像された右画像Ｒｉと左カメラ１２で撮像された左画像Ｌｉとは、物標Ｏｂの見える角度が異なり、両眼視差を生じさせている。この両眼視差により、図２（ａ）に示す例では、図中右側に遮蔽物ＳＨが存在する場合、右カメラ１１は遮蔽物ＳＨの前方（車両の進行方向前方）に位置する物体を撮像することができないが、左カメラ１２はこの遮蔽物ＳＨの前方に位置する物体を撮像することが可能となる。

【0015】

運転支援ＥＣＵ３０は、物体検出ＥＣＵ２０による物標Ｏｂの飛び出し判定に基づいて、被制御対象４０を作動させて、当該物体とのＰＣＳ（衝突回避制御）を実施する。運転支援ＥＣＵ３０は、ＣＰＵ、ＲＯＭ、ＲＡＭを備える周知のマイクロコンピュータとして構成されている。

【0016】

図１では、被制御対象４０として警報装置４１及びブレーキ装置４２を備えており、被制御対象４０ごとに所定の作動タイミングが設定されている。例えば、各被制御対象４０の作動タイミングは、ＴＴＣに基づいて設定されている。ここで、ＴＴＣとはこのままの自車速度で走行した場合に、何秒後に自車両ＣＳが物標Ｏｂに衝突するかを示す評価値であり、ＴＴＣが小さいほど衝突の危険性は高くなり、ＴＴＣが大きいほど衝突の危険性は低くなる。運転支援ＥＣＵ３０は、例えば、物体検出ＥＣＵ２０から出力される自車両ＣＳから物体までのＹ軸方向での距離を、自車両ＣＳを基準とした物標Ｏｂの相対速度で割ることでＴＴＣを算出する。

【0017】

上述したＰＣＳにおいて、自車両ＣＳの死角から進行方向前方に飛び出す物標Ｏｂを早期かつ精度良く検出できることが望まれている。一方で、実際の物体の移動方向が相違する場合でも、撮像画像内での物体の移動が同一の移動方向であると認識されるおそれがある。図３では、自車両ＣＳに対して横方向にずれた位置に存在する物標Ｏｂが自車両ＣＳの進行方向に平行に移動する場合において、実際の移動方向と撮像画像内での移動方向との違いを示している。図３では、移動前の物標Ｏｂを破線で示すとともに移動方向を矢印で示している。例えば、図３（ｂ）に示すように、物標Ｏｂが自車両ＣＳの進行方向と同じ方向に移動している場合、撮像画像内では、図３（ａ）に示すようにこの物標Ｏｂの位置が自車両ＣＳの進行方向前方に近づくよう変化し、あたかも横方向に移動しているかのように観測される。

【0018】

そのため、撮像画像内での物標Ｏｂの移動速度や移動方向を用いて物標Ｏｂの飛び出しの判定を適正に行おうとすると、実際の物標Ｏｂの移動と撮像画像内での物標Ｏｂの移動との違いを考慮する必要があり、判定に要する時間が長引くことが懸念される。そこで、物体検出ＥＣＵ２０は、物標Ｏｂが接近する場合の判定精度の維持と、この判定に要する時間の短縮とを両立できるよう図１に示す各構成を備えている。

【0019】

図１に戻り、物体検出ＥＣＵ２０は、ＣＰＵ、ＲＯＭ、ＲＡＭを備える周知のマイクロコンピュータとして構成されており、ステレオカメラ１０により撮像された撮像画像に基づいて物体を検出する。また、物体検出ＥＣＵ２０は、ＲＯＭに記憶されたプログラムを実施することで、画像取得部２１、物体検出部２２、死角領域検出部２３、死角判定部２４、画像保持部２５、差分取得部２６、接近判定部２７として機能する。

【0020】

画像取得部２１は、右カメラ１１及び左カメラ１２により撮像された右画像Ｒｉと左画像Ｌｉとをそれぞれ取得する。画像取得部２１は、ステレオカメラ１０から出力される撮像時間が同じ右画像Ｒｉと左画像Ｌｉとを一対とする撮像画像を所定周期で受信する。

【0021】

物体検出部２２は、各カメラ１１，１２から取得した画像に基づいて物標Ｏｂを検出する。物体検出部２２は、例えば、右画像Ｒｉ及び左画像Ｌｉに対して周知のテンプレートマッチングを行い、各画像Ｒｉ，Ｌｉ内の物体を検出する。例えば、物体検出部２２が歩行者を検出する場合、歩行者用の辞書を用いて各画像Ｒｉ，Ｌｉから物標Ｏｂを検出する。なお、物体検出部２２がテンプレートマッチングにより歩行者を検出する場合、歩行者の上半身の特徴を検出する辞書を用いるものであってもよい。

【0022】

また、物体検出部２２は右画像Ｒｉと左画像Ｌｉとの視差に基づいて物標Ｏｂの三次元位置を算出する。例えば、右画像Ｒｉと左画像Ｌｉとの視差を所定の画素ブロックごとに算出し、各画素ブロックの視差に基づいて、物標ＯｂのＸ軸，Ｙ軸，Ｚ軸での各距離が設定された距離情報を生成する。この距離情報において、Ｚ軸は、実空間の上下方向を鉛直方向とする位置である。

【0023】

死角領域検出部２３は、右画像Ｒｉと左画像Ｌｉとに基づいて、進行方向前方の死角を検出する。死角は、進行方向前方において自車両ＣＳの運転者等から物体が見えなくなる位置である。この第１実施形態では、死角領域検出部２３は、右画像Ｒｉ又は左画像Ｌｉにおいて走路横の建物や看板、又は走路横に停止している自動車等を、死角を構成する死角領域ＤＡとして検出する。死角領域検出部２３は、例えば、各画像Ｒｉ，Ｌｉから死角領域ＤＡの候補となる物標Ｏｂを周知のテンプレートマッチングを用いて検出した場合、この物標Ｏｂの位置に基づいて死角領域ＤＡとして検出する。例えば、死角領域検出部２３は、死角領域ＤＡの候補となる物標Ｏｂを検出した場合に、画像内においてこの物標Ｏｂが占める位置を横方向に所定長さだけ伸ばした領域を死角領域ＤＡとする。

【0024】

死角判定部２４は、死角が存在しており、かつ、この死角に物体が存在しているか否かを判定する。例えば、図４（ａ），（ｂ）に示すように右画像Ｒｉと左画像Ｌｉとに死角領域ＤＡが検出されている場合、死角判定部２４は、いずれかの画像Ｒｉ，Ｌｉにおける死角領域ＤＡで対象となる物標Ｏｂが検出されていれば、死角領域ＤＡに物標Ｏｂが存在していると判定する。図４の例では、右画像Ｒｉの死角領域ＤＡで物標Ｏｂを検出していないが（図４（ａ））、左画像Ｌｉの死角領域ＤＡで物標Ｏｂを検出しており（図４（ｂ））、死角判定部２４は死角領域ＤＡに物標Ｏｂが存在していると判定する。

【0025】

以下では、死角に物標Ｏｂが検出されない画像を非視認画像と記載し、死角周囲に物標Ｏｂが検出されている画像を視認画像と記載する。例えば、図４では、死角領域ＤＡで物標Ｏｂが検出されていない右画像Ｒｉが非視認画像であり、死角領域ＤＡに物標Ｏｂが検出されている左画像Ｌｉが視認画像となる。

【0026】

画像保持部２５は、死角判定部２４により死角に物体が存在していると判定された場合に、ステレオカメラ１０により撮像された死角周囲の画像を時系列で保持する。

【0027】

差分取得部２６は、画像保持部２５により保持された時系列の画像における特徴量の違いを画像差分として取得する。例えば、差分取得部２６は、各画像Ｒｉ，Ｌｉにおける物標Ｏｂの存否に関わる情報として、各画像Ｒｉ，Ｌｉにおいて前回画像と今回画像との画像差分を取得する。

【0028】

接近判定部２７は、差分取得部２６により取得された画像差分に基づいて、物標Ｏｂが自車両ＣＳの進行方向前方に接近しているか否かを判定する。物標Ｏｂが死角から横方向に飛び出すことで、物標Ｏｂの位置が右カメラ１１又は左カメラ１２のいずれかでその存否を検知できる位置から右カメラ１１及び左カメラ１２の両方でその存否を検知できる位置に変化する。そのため、接近判定部２７は、各画像Ｒｉ，Ｌｉの死角の周囲での物標Ｏｂの存否の検出結果に基づいて、この物標Ｏｂが自車両ＣＳの進行方向前方に近接するか否かを判定することができる。

【0029】

次に、物標Ｏｂに対する接近判定（飛び出し判定）を図５のフローチャートを用いて説明する。図５に示す処理は、物体検出ＥＣＵ２０が所定周期で実施する処理である。以下では、図５に示す一連の処理が実施された後、次の周期において実施される図５の処理を次の処理と記載し、今回の処理と区別する。

【0030】

ステップＳ１１では、ステレオカメラ１０から撮像時刻を同じとする一対の画像Ｒｉ，Ｌｉを取得する。そのため、ステップＳ１１が画像取得工程として機能する。

【0031】

ステップＳ１２では、死角領域ＤＡに物標Ｏｂが存在していることを示す状態フラグを判定する。まずは、死角領域ＤＡに物標Ｏｂが存在しているか否かの判定が実施されていないとして、ステップＳ１３に進む。

【0032】

ステップＳ１３では、各画像Ｒｉ，Ｌｉ内で死角が存在しているか否かを判定する。例えば、図６（ａ），（ｂ）では、物体検出ＥＣＵ２０は、各画像Ｒｉ，Ｌｉにおいて死角領域ＤＡを形成する物標Ｏｂを検出しており、死角が存在していると判定する。

【0033】

各画像Ｒｉ，Ｌｉから死角領域ＤＡが検出できない場合（ステップＳ１３：ＮＯ）、図５の処理を一旦終了する。一方、右画像Ｒｉと左画像Ｌｉとに死角領域ＤＡが存在している場合（ステップＳ１３：ＹＥＳ）、ステップＳ１４に進む。なお、この実施形態では説明を容易にするために、右画像Ｒｉに対して１つの死角領域ＤＡが存在している場合を例に説明を行う。

【0034】

ステップＳ１４では、死角に物体が存在しているか否かを判定する。物体検出ＥＣＵ２０は、死角領域ＤＡを対象として接近判定の対象となる歩行者を含む全ての物標Ｏｂを検出する。例えば、図６（ａ），（ｂ）では、右画像Ｒｉと左画像Ｌｉにおいてそれぞれ死角領域ＤＡが存在しており、かつ、左画像Ｌｉの死角領域ＤＡにおいて近接判定の対象となる歩行者が検出されている。そのため、図６の例では、物体検出ＥＣＵ２０は死角に物体が存在していると判定する。

【0035】

死角領域ＤＡで物標Ｏｂを検出しない場合（ステップＳ１４：ＮＯ）、図５の処理を一旦終了する。一方、死角領域ＤＡで物標Ｏｂを検出した場合（ステップＳ１４：ＹＥＳ）、ステップＳ１５に進む。ステップＳ１３，Ｓ１４が死角判定工程として機能する。

【0036】

ステップＳ１５では、ステップＳ１４で検出された物標Ｏｂが移動体であるか否かを判定する。ステップＳ１４において物標Ｏｂを検出できた場合でも、この物標Ｏｂが移動を伴わない静止物である場合、進行方向前方に飛び出す可能性が低くなるためである。例えば、静止物は、電柱、ロードコーン等のである。物体検出ＥＣＵ２０は、検出した物標Ｏｂが移動体でない場合（ステップＳ１５：ＮＯ）、図５の処理を一旦終了する。

【0037】

一方、ステップＳ１４で検出された物標Ｏｂが移動体である場合（ステップＳ１５：ＹＥＳ）、ステップＳ１６に進む。例えば、移動体として歩行者を検出した場合に、ステップＳ１４で検出された物体を移動体として判定する。そのため、ステップＳ１５が移動体判定部、及び種別判定部として機能する。

【0038】

ステップＳ１６では、物標Ｏｂが死角に存在することを示す状態フラグを記憶する。

【0039】

ステップＳ１７では、右カメラ１１と左カメラ１２のそれぞれで撮像された画像Ｒｉ，Ｌｉを、死角を含む周囲領域の画像として保持する。そのため、右画像Ｒｉと左画像Ｌｉとのそれぞれの死角領域ＤＡを含む周囲画像が時系列で保持されていく。なお、ステップＳ１７での画像の保持は、状態フラグが記録されている間継続される。ステップＳ１７が画像保持工程として機能する。そして、物体検出ＥＣＵ２０は図５に示す処理を一旦終了する。

【0040】

その後、次回の処理におけるステップＳ１２において、死角領域ＤＡに物標Ｏｂが存在していることを示す状態フラグが記録されていれば（ステップＳ１２：ＹＥＳ）、ステップＳ１８に進む。

【0041】

ステップＳ１８では、ステップＳ１７で保持を開始した右画像Ｒｉと左画像Ｌｉとのそれぞれの画像差分を取得する。画像差分は、右画像Ｒｉと左画像Ｌｉとのそれぞれの前回画像と今回画像との違いを示す情報であり、ここでは死角領域ＤＡの周囲における物標Ｏｂの存否である。ステップＳ１８が差分取得工程として機能する。

【0042】

ステップＳ１９では、ステップＳ１８での取得結果に基づいて、ステップＳ１４で死角に物標Ｏｂが存在していると判定された画像（視認画像）において物標Ｏｂが維持して存在しているか否かを判定する。物標Ｏｂが継続して存在していない場合（ステップＳ１９：ＮＯ）、物標Ｏｂが両カメラ１１，１２で撮像できない位置に移動したとして、ステップＳ２２では、状態フラグを消去する。そして、図５に示す処理を、一旦終了する。

【0043】

物標Ｏｂが視認画像で継続して存在している場合（ステップＳ１９：ＹＥＳ）、ステップＳ２０では、ステップＳ１４において死角で物標Ｏｂが検出されていない画像（非視認画像）の死角領域ＤＡの周囲で物標Ｏｂを検出しているか否かを判定する。図７（ａ），（ｂ）は、死角領域ＤＡに存在する物標Ｏｂが自車両ＣＳの進行方向前方に近接しない場合の時系列での画像の変化を示している。また、図７（ｃ），（ｄ）は、死角領域ＤＡに存在する物標Ｏｂが自車両ＣＳの進行方向前方に近接する場合の時系列での画像の変化を示している。

【0044】

視認画像（図７では、左画像Ｌｉ）において物標Ｏｂが検出された後、物標Ｏｂが死角領域ＤＡから移動していないか又は車両進行方向（Ｙ軸方向）に移動している場合、図７（ａ），（ｂ）に示すように、視認画像では物標Ｏｂが検出されるが、非視認画像（右画像Ｒｉ）の死角領域ＤＡの周囲では物標Ｏｂが検出されない。一方で、この物標Ｏｂが自車両ＣＳの進行方向前方に近づく向きに移動している場合、図７（ｃ），（ｄ）に示すように、両画像Ｒｉ，Ｌｉにおいて物標Ｏｂが検出される。

【0045】

そのため、ステップＳ１４において物標Ｏｂが検出されなかった非視認画像の死角領域ＤＡの周囲で物標Ｏｂを検出しない場合（ステップＳ２０：ＮＯ）、この物標Ｏｂは自車両ＣＳの進行方向前方に近接していないと判定し、図５に示す処理を一旦終了する。一方、非視認画像であった画像の死角領域ＤＡの周囲で物標Ｏｂを検出している場合（ステップＳ２０：ＹＥＳ）、ステップＳ２１では、この物標Ｏｂを自車両ＣＳの進行方向前方に近接する物体として判定する。ステップＳ１９からＳ２１が接近判定工程として機能する。そして、ステップＳ２１の処理が終了すると、図５に示す処理を一旦終了する。

【0046】

次に、図８を用いて、物体検出ＥＣＵ２０が実施する接近判定の動作を説明する。図８は、自車両ＣＳが走行する走路の路肩において静止物ＳＨが存在しており、この静止物ＳＨの前方に自車両ＣＳから物標Ｏｂを認識できない死角が生じているものとする。また、図８（ａ），（ｂ）は物標Ｏｂとしての歩行者が死角から飛び出す場合の図である。一方、図８（ｃ），（ｄ）は歩行者が死角内で自車両ＣＳの進行方向前方に移動している場合の図である。

【0047】

図８（ａ）に示すように、進行方向前方に静止物ＳＨが存在する場合、物体検出ＥＣＵ２０は撮像画像内でこの静止物ＳＨの位置に応じて死角の存在を判定する。そして、時刻ｔ１１において死角に存在する歩行者Ｏｂ（ｔ１１）が、左カメラ１２の撮像領域内となることで、この歩行者が死角に存在することが判定される。

【0048】

その後、歩行者が横方向（Ｘ軸方向）において自車両ＣＳの進行方向前方に近づく向きに移動することで、図８（ｂ）に示す時刻ｔ１２での歩行者（ｔ１２）が、右カメラ１１と左カメラ１２との両方で撮像できる位置まで移動したとする。そのため、歩行者は死角から自車両ＣＳの進行方向前方に近接する移動体として判定される。例えば、運転支援ＥＣＵ３０は、歩行者を移動体として判定することで、警報装置４１を作動し、運転者に対して歩行者の飛び出しを警報する。

【0049】

一方、図８（ｃ）では、時刻ｔ２１において死角に存在する歩行者Ｏｂ（ｔ２１）の位置が、左カメラ１２の撮像領域内となり、歩行者が死角に存在していることが判定される。その後、歩行者が進行方向（Ｙ軸方向）において自車両ＣＳから遠ざかる方向に移動することで、図８（ｄ）に示す時刻ｔ２２での歩行者Ｏｂ（ｔ２２）は、左カメラ１２のみで撮像できる位置に存在している。そのため、物体検出ＥＣＵ２０は、歩行者を自車両ＣＳの進行方向前方に近接する移動体として判定せず、被制御対象４０を作動させない。

【0050】

以上説明したように、第１実施形態に係る物体検出ＥＣＵ２０では、右カメラ１１と左カメラ１２との物体の見え方の違いにより、死角に物標Ｏｂが存在していること判定した場合、右カメラ１１及び左カメラ１２により撮像された死角を含む周辺領域の画像が時系列で保持され、その時系列の画像における特徴量の違いを画像差分として取得する。そして、その画像差分に基づいて、物標Ｏｂが進行方向前方に接近するか否かが判定される。そのため、物標Ｏｂの移動方向に応じて、各カメラ１１，１２の撮像画像における物標Ｏｂの見え方の変化具合が変わることを加味して、物標Ｏｂの接近を精度良く判定することができる。また、死角の周辺に存在する物標の特徴量の差分に基づいて物標Ｏｂが自車両ＣＳに近接しているか否かを判定することで、接近判定に要する時間を短くして判定タイミングを早期化することができる。

【0051】

物体検出ＥＣＵ２０は、右カメラ１１又は左カメラ１２の各撮像画像のうち物標Ｏｂが見えている方の視認画像について、画像差分から物標Ｏｂが見えている状態が維持されていると認識され、かつ物標Ｏｂが見えていない方の非視認画像について、画像差分から物標Ｏｂが見えていない状態から見える状態になったと認識された場合に、物標Ｏｂが進行方向前方に接近していると判定する。上記構成により各画像Ｒｉ，Ｌｉでの物標Ｏｂの見え方の違いにより物標Ｏｂの移動を判定することができるため、物標Ｏｂの接近判定における判定精度を高いものとすることができる。

【0052】

物体検出ＥＣＵ２０は、右カメラ１１又は左カメラ１２のいずれかで撮像された画像が視認画像であり、他の画像が非視認画像である場合に、視認画像における死角に存在する物体が移動を伴う移動体であるか否かを判定する。そして、物体検出ＥＣＵ２０は、視認画像における死角に存在する物体が移動体である場合、当該物体が進行方向前方に近接するか否かを判定する。物体が移動を伴わない静止物であっても、自車両ＣＳが走行することで物体の画角内での位置が変化し、画像内での物体の横方向の位置が変化する。そこで、当該物体が移動を伴う移動体であることを条件に、この物体が自車両ＣＳに近接するか否かを判定することとした。上記構成により、静止している物体を接近判定の対象から除外することができるため、接近判定における判定精度を高めることができる。

【0053】

物体検出ＥＣＵ２０は、死角に存在する物標Ｏｂの種別を少なくとも歩行者として判定し、物標Ｏｂが歩行者であることを条件に、物標Ｏｂが死角に存在しているか否かを判定する。歩行者は自動車等と比べて移動速度が遅いため、移動速度に基づいて歩行者の飛び出しを適正に判定できない恐れがある。そのため、物標Ｏｂが歩行者であることを条件に当該物体を候補物体として判定することとした。上記構成により、移動速度が遅い歩行者に対しても接近判定を適正に実施することができる。

【0054】

（第２実施形態）
この第２実施形態では、物体検出ＥＣＵ２０は、画像内の死角領域ＤＡを検出しこの死角領域ＤＡに物体が存在するか否かを判定することに代えて、画像内の所定領域での物体の見え方に応じて死角が存在しこの死角に物体が存在するか否かを判定する。

【0055】

右カメラ１１と左カメラ１２との撮像方向の違いにより、右画像Ｒｉ又は左画像Ｌｉいずれかの所定箇所でのみ物体が検出されている場合、進行方向前方の左右のいずれかに死角が存在していると判定できる。例えば、図９（ａ），（ｂ）では、左画像Ｌｉの右端で物標Ｏｂが検出され、右画像Ｒｉの右端で物標Ｏｂが検出されていない。そのため、この第２実施形態では、死角判定部２４は、自車両ＣＳの進行方向において右側に死角が存在し、この死角に物標Ｏｂが存在していると判定する。同様に、図９（ｃ），（ｄ）に示すように、右画像Ｒｉの左端において物体が検出され、かつ左画像Ｌｉの左端において同じ物体が検出されない場合に、自車両ＣＳの進行方向において左側に死角が存在し、この死角に物体が存在していると判定する。

【0056】

そのため、図５のステップＳ１３において、物体検出ＥＣＵ２０は、死角領域ＤＡの検出に代えて、各画像Ｒｉ，Ｌｉの右端又は左端を、死角を検出するための検出用領域として設定する。例えば、図９では、検出用領域をそれぞれ点線で示している。そして、図５のステップＳ１４において、左画像Ｌｉの右端で物標Ｏｂが検出され、かつ右画像Ｒｉの右端で物標Ｏｂが検出されない場合、又は、右画像Ｒｉの左端で物体が検出され、かつ左画像Ｌｉの左端で物体が検出されない場合、死角に物標Ｏｂが存在していると判定する。そして、右画像Ｒｉ及び左画像Ｌｉのそれぞれの画像差分に基づいて、物標Ｏｂが自車両ＣＳの進行方向前方に接近しているか否かを判定する。

【0057】

以上説明したようにこの第２実施形態では、各画像Ｒｉ，Ｌｉにおいて死角を構成する物体が存在しない場合でも、自車両ＣＳの前方に存在する死角の有無を検出することが可能となる。

【0058】

（その他の実施形態）
第１撮像部と第２撮像部とは、画角の異なるカメラ装置により構成されていてもよい。図１０（ａ）では、画角が異なるカメラ１３，１４をそれぞれ車両横方向に配置している。このうち、広域カメラ１３は、狭域カメラ１４と比べて画角が広く、狭域カメラ１４が撮像できない自車両ＣＳの左右の領域を撮像することができる。

【0059】

図１０（ａ）に示す構成のカメラ装置において、自車両ＣＳの右又は左に死角が存在し、かつこの死角に物標Ｏｂが存在している場合、物標Ｏｂが広域カメラ１３の画角内に存在し、狭域カメラ１４の画角外となる場合がある。そのため、物体検出ＥＣＵ２０は、図５のステップＳ１４において、広域カメラ１３からの画像で物標Ｏｂを検出し、狭域カメラ１４からの画像で物標Ｏｂを検出しない場合、自車両ＣＳの前方に死角が存在しこの死角に物体が存在していると判定する。

【0060】

死角領域検出部２３は、右画像Ｒｉと左画像Ｌｉとに基づいて視差画像を作成する際の、視差のマッチング情報を用いてもよい、視差画像が得られない場合は右画像Ｒｉと左画像Ｌｉに差異があり、死角領域が存在すると判定する。

【0061】

なお、図１０（ａ）では、広域カメラ１３と狭域カメラ１４とは、車両横方向での撮像軸を異ならせているが、自車両ＣＳの上下方向で撮像軸を異ならせるよう配置していてもよい。また、図１０（ｂ）に示すように、画角が同じカメラ１５とカメラ１６とを車両の上下方向に配置し、各カメラ１５，１６の撮像軸の向きを異ならせるよう配置するものであってもよい。この場合においても、図５のステップＳ１４において、例えば、カメラ１５で撮像された画像の右端で物標Ｏｂを検出し、カメラ１６で撮像された画像の右端で物標Ｏｂを検出しない場合に、物体検出ＥＣＵ２０は、自車両ＣＳの前方に死角が存在しこの死角に物標Ｏｂが存在していると判定する。

【0062】

各画像Ｒｉ，Ｌｉの差分として、物標Ｏｂの面積を用いるものであってもよい。物標Ｏｂが死角領域ＤＡから両カメラ１１，１２で撮像できる位置へ移動することで、死角領域ＤＡの周囲において、物標Ｏｂとして検出される面積（画素数）が増加する。そのため、図５のステップＳ１９，Ｓ２０において、視認画像と非視認画像との死角領域ＤＡの周囲での面積の変化に応じて、物標Ｏｂが自車両ＣＳの進行方向前方に接近しているか否かを判定する。

【0063】

図５のステップＳ１３において自車両ＣＳが走行する路肩に停車している自動車の位置に基づいて死角領域ＤＡの存在を判定する場合に、この自動車の移動ベクトルに基づいて自動車が停止しているか否かを判定するものであってもよい。例えば、動きベクトルは、時系列の異なる複数の右画像Ｒｉ又は左画像Ｌｉから周知のブロックマッチングや勾配法を用いて算出される。

【0064】

接近判定の対象となる対象を歩行者に代えて自転車としてもよい。この場合、図５のステップＳ１５において、物標Ｏｂとして自転車が検出されたことを条件に、物体検出ＥＣＵ２０は、近接判定を実施する。また、歩行者と自転車との両者を接近判定の対象としてもよい。

【0065】

図５のステップＳ１５において、死角領域ＤＡに存在する物体の速度及び位置の時系列での変化を示す動きベクトルを算出し、この動きベクトルを用いて死角領域ＤＡに存在する物体が移動体であるか否かを判定してもよい。また、動きベクトルの算出により死角領域ＤＡに存在する物体が自車両ＣＳの進行方向前方から遠ざかる方向に移動している場合に、この物体が自車両ＣＳの進行方向前方に接近する可能性が低いとして、図５の処理を一旦終了するものであってもよい。例えば、動きベクトルの算出方法は、周知のブロックマッチングや勾配法を用いて算出することができる。物体の速度及び位置に基づいて、当該物体が移動を伴う移動体であること又は自車両ＣＳに近づく物体であることを条件に、この物体が自車両ＣＳに近接するか否かを判定することで、接近判定における判定精度を高めることができる。

【符号の説明】

【0066】

１１…右カメラ、１２…左カメラ、２０…物体検出ＥＣＵ、２１…画像取得部、２４…死角判定部、２５…画像保持部、２６…差分取得部、２７…接近判定部、ＤＡ…死角領域、Ｏｂ…物標。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】