特許 7397744 物体検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-05

(45)【発行日】2023-12-13

(54)【発明の名称】物体検出装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231206BHJP

【ＦＩ】

G06T7/00 650B

【請求項の数】 8

(21)【出願番号】P 2020070987

(22)【出願日】2020-04-10

(65)【公開番号】P2021168032

(43)【公開日】2021-10-21

【審査請求日】2022-09-09

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(73)【特許権者】

【識別番号】000004695

【氏名又は名称】株式会社ＳＯＫＥＮ

(74)【代理人】

【識別番号】100121821

【弁理士】

【氏名又は名称】山田 強

(74)【代理人】

【識別番号】100139480

【弁理士】

【氏名又は名称】日野 京子

(74)【代理人】

【識別番号】100125575

【弁理士】

【氏名又は名称】松田 洋

(74)【代理人】

【識別番号】100175134

【弁理士】

【氏名又は名称】北 裕介

(72)【発明者】

【氏名】平山 雄斗

(72)【発明者】

【氏名】石神 裕丈

【審査官】淀川 滉也

(56)【参考文献】

【文献】特開２０１５－１５８３９４（ＪＰ，Ａ）

【文献】特開２０１７－２０００００（ＪＰ，Ａ）

【文献】特開２０１３－１７４４９４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

視差を含む第１画像及び第２画像を撮影する第１カメラ（１１）及び第２カメラ（１２）が搭載された移動体（５０）に適用され、前記第１画像及び前記第２画像に基づいて、前記移動体の周囲に存在する物体を検出する物体検出装置（２０）であって、
前記移動体と前記物体との間の距離情報を取得する取得部と、
前記第１画像において前記物体が存在する物体存在範囲を設定する第１設定部と、
前記第１画像での前記物体存在範囲に対応させて、前記第２画像において前記物体を検索する物体検索範囲を設定する第２設定部と、
前記取得部により取得された距離情報に基づいて、前記物体検索範囲の大きさを調整する調整部と、
前記第１設定部により設定された前記第１画像の物体存在範囲と、前記調整部による調整後の前記第２画像の物体検索範囲とにおいて、これら各画像に含まれる同一物体を検出する物体検出部と、
前記取得部により取得された前記距離情報の信頼度を判定する信頼度判定部と、
を備え、
前記物体検出部は、前記距離情報の信頼度が所定以下であると判定された場合に、前記第１設定部により設定された前記第１画像の物体存在範囲と、前記調整部による調整が行われていない前記第２画像の物体検索範囲とにおいて、これら各画像に含まれる同一物体を検出する物体検出装置。

【請求項2】

前記物体検出部を第１物体検出部として備えるとともに、前記第１画像及び前記第２画像において画像全体を検出範囲として前記物体の存在を検出する第２物体検出部を備え、
前記第１物体検出部は、前記第２物体検出部による物体検出が正常に行われていないことを条件に、物体検出を実施する請求項１に記載の物体検出装置。

【請求項3】

視差を含む第１画像及び第２画像を撮影する第１カメラ（１１）及び第２カメラ（１２）が搭載された移動体（５０）に適用され、前記第１画像及び前記第２画像に基づいて、前記移動体の周囲に存在する物体を検出する物体検出装置（２０）であって、
前記移動体と前記物体との間の距離情報を取得する取得部と、
前記第１画像において前記物体が存在する物体存在範囲を設定する第１設定部と、
前記第１画像での前記物体存在範囲に対応させて、前記第２画像において前記物体を検索する物体検索範囲を設定する第２設定部と、
前記取得部により取得された距離情報に基づいて、前記物体検索範囲の大きさを調整する調整部と、
前記第１設定部により設定された前記第１画像の物体存在範囲と、前記調整部による調整後の前記第２画像の物体検索範囲とにおいて、これら各画像に含まれる同一物体を検出する第１物体検出部と、
前記第１画像及び前記第２画像において画像全体を検出範囲として前記物体の存在を検出する第２物体検出部と、
を備え、
前記第１物体検出部は、前記第２物体検出部による物体検出が正常に行われていないことを条件に、物体検出を実施する物体検出装置。

【請求項4】

前記第２物体検出部は、前記第１画像及び前記第２画像における画像全体での物体検出により複数の物体の検出を可能とするものであり、
前記第１物体検出部は、前記第２物体検出部での物体検出において正常な検出が行われなかった検出未完物体が含まれる場合に、前記第２物体検出部による物体検出が正常に行われていないとし、前記検出未完物体を対象として物体検出を実施する請求項２又は３に記載の物体検出装置。

【請求項5】

前記第１設定部は、前記物体存在範囲において、前記第１カメラ及び前記第２カメラの並び方向における端部位置を基準位置として設定し、
前記第２設定部は、前記第２画像において前記第１画像での前記基準位置に対応する対応位置を設定するとともに、その対応位置に基づいて前記物体検索範囲を設定し、
前記調整部は、前記距離情報に基づいて、前記対応位置を前記並び方向にシフトさせることで、前記物体検索範囲の大きさを調整する請求項１から請求項４までのいずれか一項に記載の物体検出装置。

【請求項6】

前記調整部は、前記距離情報において前記移動体と前記物体との距離が短いほど、前記並び方向において第２カメラ側に前記対応位置をシフトさせることで、前記物体検索範囲の大きさを調整する請求項５に記載の物体検出装置。

【請求項7】

前記取得部は、前記第１画像上の前記物体の寸法に基づいて算出された前記移動体と前記物体との間の距離を前記距離情報として取得する請求項１から請求項６までのいずれか一項に記載の物体検出装置。

【請求項8】

前記取得部は、所定期間毎に取得される前記第１画像及び前記第２画像のうち、前回取得された前記第１画像及び前記第２画像の少なくとも一方に基づいて算出された前記移動体と前記物体との間の距離を前記距離情報として取得する請求項１から請求項７までのいずれか一項に記載の物体検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両などの移動体における物体検出装置に関する。

【背景技術】

【0002】

従来、ステレオカメラを車両に搭載し、一対の撮影画像に基づいて車両周囲に存在する物体を検出する装置が知られている（例えば、特許文献１）。この装置では、ステレオカメラを構成する一対のカメラにより撮影された第１画像及び第２画像のそれぞれに基づいて物体の存在を検出し、第１画像及び第２画像の互いの撮像視野が重なる領域で、第１画像及び第２画像における視差に基づいて車両と物体との間の距離を算出する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００５－２４４６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記の距離の算出において、第１画像及び第２画像のマッチング処理により、第１画像及び第２画像における視差を算出することができる。この算出では、第１画像及び第２画像においてそれぞれ物体が検索されるが、その検索範囲が広いほど、処理負担が増大する。この場合、物体検出結果に基づき実施される車両走行の制御に影響が及ぶことが懸念される。

【0005】

本発明は、上記事情に鑑みてなされたものであり、その目的は、移動体の周囲に存在する物体を適正に検出できる物体検出装置を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するための手段は、視差を含む第１画像及び第２画像を撮影する第１カメラ及び第２カメラが搭載された移動体に適用され、前記第１画像及び前記第２画像に基づいて、前記移動体の周囲に存在する物体を検出する物体検出装置であって、前記移動体と前記物体との間の距離情報を取得する取得部と、前記第１画像において前記物体が存在する物体存在範囲を設定する第１設定部と、前記第１画像での前記物体存在範囲に対応させて、前記第２画像において前記物体を検索する物体検索範囲を設定する第２設定部と、前記取得部により取得された距離情報に基づいて、前記物体検索範囲の大きさを調整する調整部と、前記第１設定部により設定された前記第１画像の物体存在範囲と、前記調整部による調整後の前記第２画像の物体検索範囲とにおいて、これら各画像に含まれる同一物体を検出する物体検出部と、を備える。

【0007】

一対のカメラにより撮影された画像（第１画像及び第２画像）のマッチング処理により、物体を検出する技術では、第１画像での物体存在範囲に対応させて、第２画像において物体を検索する物体検索範囲が設定される。そして、上記構成では、移動体から物体までの距離情報に基づいて、第２画像での物体検索範囲の大きさを調整するとともに、第１画像の物体存在範囲と、調整部による調整後の第２画像の物体検索範囲とにおいて、これら各画像に含まれる同一物体を検出するようにした。

【0008】

ここで、第１画像及び第２画像において同一物体を認識する際には、それら各画像において視差が生じ、かつ視差の大きさが移動体から物体までの距離に応じて異なるものとなる。この場合、移動体から物体までの距離情報に基づいて第２画像での物体検索範囲の大きさを調整することで、物体までの距離に応じた視差の大きさの違いを考慮しつつ物体検索範囲を定めることができる。そのため、第２画像での物体検索範囲において物体を検索する際の処理負荷の軽減を図ることができる。その結果、第１画像及び第２画像における視差に基づいて移動体の周囲に存在する物体を検出する処理を適正に実施することができる。

【図面の簡単な説明】

【0009】

【図1】物体検知システムの全体構成図。

【図2】三角測量の原理を説明する図。

【図3】第１実施形態に係る調整処理の手順を示すフローチャート。

【図4】各距離の算出方法を説明する図。

【図5】検索処理における画像差異スコアの推移を示すグラフ。

【図6】単眼距離とシフト量との関係を示すグラフ。

【図7】第２実施形態に係る調整処理の手順を示すフローチャート。

【発明を実施するための形態】

【0010】

（第１実施形態）
以下、本発明を具体化した実施形態を図面に基づいて説明する。本実施形態は、車両に搭載された物体検知システムを具体化している。当該システムは、例えば、車両に搭載される車両システムの一例であり、車両の周囲に存在する物体（例えば、他の車両や道路構造物等、本実施形態では自転車）を検知する。

【0011】

まず、本実施形態に係る車両の物体検知システムの概略構成について図１を用いて説明する。移動体としての車両５０は、ステレオカメラ１０と、物体検出装置としてのＥＣＵ２０と、ＥＣＵ２０の制御対象としての被制御装置３０とを備えている。

【0012】

ステレオカメラ１０は、車両５０の前方を撮影できるよう光軸を車両５０の前方に向けた状態で車両５０の前部に設置されている。ステレオカメラ１０は、右カメラ１１及び左カメラ１２を備えている。右カメラ１１及び左カメラ１２は、上下（重力）方向において同じ高さに配置されるとともに左右（水平）方向に離れた位置に配置されている。なお、本実施形態において、左右方向が「並び方向」に相当し、右カメラ１１及び左カメラ１２がそれぞれ「第１カメラ及び第２カメラ」に相当する。

【0013】

右カメラ１１及び左カメラ１２は、車両５０の前方に位置する同一の物体を異なる方向から撮影する。右カメラ１１及び左カメラ１２は、所定周期で同時に撮影を行い、右カメラ１１で撮影された右画像及び左カメラ１２で撮影された左画像は、それぞれＥＣＵ２０に出力される。右カメラ１１及び左カメラ１２は、例えば、それぞれがＣＣＤイメージセンサやＣＭＯＳイメージセンサで構成されている。なお、本実施形態において、右画像及び左画像がそれぞれ「第１画像及び第２画像」に相当する。

【0014】

ＥＣＵ２０は、ＣＰＵや各種メモリ等を備えたコンピュータを主体として構成されている。ＥＣＵ２０は、ステレオカメラ１０の右カメラ１１及び左カメラ１２によってそれぞれ出力された右画像及び左画像に基づいて、車両前方に位置する物体を検出し、その物体までの距離を算出する。

【0015】

物体までの距離の算出には、周知のマッチング処理を用いた手法が適用される。簡単に説明すると、ＥＣＵ２０は、同時に撮影された右画像及び左画像を取得し、これらの画像に共通に存在する物体の位置の視差ＤＰ（画像上のずれ量）に基づき、三角測量の原理を用いて物体までの距離を算出する。以下、視差ＤＰに基づいて算出された物体までの距離を、複眼距離ＬＰという。

【0016】

また、ＥＣＵ２０は、算出された複眼距離ＬＰに基づいて、その物体に対する接触回避処理等を実施する。具体的には、被制御装置３０である警報装置３１及びブレーキ装置３２を、それぞれ所定の作動タイミングで作動させる。警報装置３１は、ＥＣＵ２０からの制御指令により、ドライバに対して車両前方に物体が存在することを警報する。警報装置３１は、例えば、車室内に設けられたスピーカや、画像を表示する表示部により構成されている。また、ブレーキ装置３２は、車両５０の制動力を変化させるブレーキ機構と、このブレーキ機構の動作を制御するブレーキＥＣＵとを備えている。ブレーキＥＣＵは、ＥＣＵ２０と通信可能に接続されており、ＥＣＵ２０からの制御指令により、ブレーキ機構を制御する。

【0017】

ところで、複眼距離ＬＰの算出では、右画像及び左画像における視差ＤＰから、三角測量の原理によって複眼距離ＬＰを算出する。図２を用いて、三角測量の原理について説明する。図２の上側には、右カメラ１１、左カメラ１２及び物体を重力方向上側から見た様子が示されており、図２の下側には、右カメラ１１及び左カメラ１２で撮影された右画像及び左画像がそれぞれ示されている。図２に示すように、複眼距離ＬＰは、右カメラ１１及び左カメラ１２の間の左右方向における距離である基準長ＬＣと、右カメラ１１及び左カメラ１２の焦点距離ＬＦと、右画像及び左画像における視差ＤＰとを用いて、以下の（式１）のように表される。

【0018】

ＬＰ＝ＬＣ×ＬＦ／ＤＰ・・・（式１）
例えば、複眼距離ＬＰの算出に用いられる視差ＤＰは、右画像及び左画像のマッチング処理により算出される。具体的には、右画像において物体が存在する矩形の物体存在範囲ＨＡが設定され、右画像での物体存在範囲ＨＡに対応させて、左画像において物体を検索する矩形の物体検索範囲ＨＥが設定される。この場合、左画像に設定された物体検索範囲ＨＥが広いと、左画像において物体を検索する検索処理における処理負担が増大し、車両５０の周囲に存在する物体を適正に検出できない。

【0019】

そこで、本実施形態では、車両５０と物体との間の距離情報を取得し、取得した距離情報に基づいて、左画像での物体検索範囲ＨＥの大きさを調整する調整処理を実施するようにした。具体的には、調整処理において、距離情報に基づいて、物体検索範囲ＨＥの大きさが小さくなるように調整するようにした。これにより、検索処理における処理負担が軽減され、車両５０の周囲に存在する物体の適正な検出が可能となる。

【0020】

本実施形態では、車両５０と物体との間の距離情報として単眼距離ＬＳを取得する。単眼距離ＬＳは、物体存在範囲ＨＡの左右方向における寸法である画像寸法ＷＧに基づいて算出される車両５０と物体との間の距離である。単眼距離ＬＳの算出方法については、後述する。なお、本実施形態において、画像寸法ＷＧが「第１画像上の物体の寸法」に相当する。

【0021】

本実施形態におけるＥＣＵ２０の具体的な構成について、図１を用いて説明する。図１に示すように、ＥＣＵ２０は、画像取得部２１、距離算出部２２、範囲設定部２３、検索部２５、距離設定部２６、警報制御部２７及び停止制御部２８として機能する。

【0022】

画像取得部２１は、右カメラ１１及び左カメラ１２により撮影された右画像及び左画像をそれぞれ取得する。右画像及び左画像は同時に撮影された画像であり、画像取得部２１は、これらの対の画像を所定周期で取得する。

【0023】

距離算出部２２は、画像取得部２１により取得された右画像及び左画像において画像全体を検出対象の範囲として物体の存在を検出する。具体的には、距離算出部２２は、図４（Ａ）に示すように、ベース画像である右画像の画像全体から物体を検出し、物体存在範囲ＨＡを設定する。距離算出部２２は、設定した物体存在範囲ＨＡにおける画像寸法ＷＧから単眼距離ＬＳを算出する。単眼距離ＬＳは、物体の実寸法ＷＲと画像寸法ＷＧとの比に基づいて算出される。具体的には、単眼距離ＬＳは、焦点距離ＬＦと、実寸法ＷＲと、画像寸法ＷＧとを用いて、以下の（式２）のように表される。

【0024】

ＬＳ＝ＷＲ×ＬＦ／ＷＧ・・・（式２）
ここで、物体の実寸法ＷＲは、周知のパターンマッチングにより右画像上の物体の種別を判定することで取得される。

【0025】

また、距離算出部２２は、図４（Ｂ）に示すように、右画像の画像全体から所定の矩形範囲ＨＢを設定し、比較画像である左画像の画像全体から矩形範囲ＨＢに最も類似する類似範囲ＨＣを検出する。なお、矩形範囲ＨＢは、物体存在範囲ＨＡよりも狭い範囲に設定されている。距離算出部２２は、右画像における矩形範囲ＨＢの位置と左画像における類似範囲ＨＣの位置とから求められる視差ＤＰに基づいて、複眼距離ＬＰを算出する。以下、距離算出部２２により算出される複眼距離ＬＰを第１複眼距離ＬＰ１という。

【0026】

範囲設定部２３は、図４（Ｃ）に示すように、距離算出部２２により設定された物体存在範囲ＨＡに対応させて左画像に物体検索範囲ＨＥを設定する。範囲設定部２３は、物体検索範囲ＨＥを設定する場合に、左右方向における物体検索範囲ＨＥの大きさを調整する。

【0027】

検索部２５は、物体存在範囲ＨＡにおける画像に基づいて、物体検索範囲ＨＥから物体を検索する。具体的には、検索部２５は、物体検索範囲ＨＥから物体存在範囲ＨＡに最も類似する対象範囲ＨＦを検索する。検索部２５は、右画像における物体存在範囲ＨＡの位置と左画像における対象範囲ＨＦの位置とから求められる視差ＤＰに基づいて、複眼距離ＬＰを算出する。以下、検索部２５により算出される複眼距離ＬＰを第２複眼距離ＬＰ２という。

【0028】

距離設定部２６は、車両５０と物体との間の距離を設定する。本実施形態では、距離設定部２６は、第１複眼距離ＬＰ１と第２複眼距離ＬＰ２とのいずれかを車両５０と物体との間の距離として設定する。

【0029】

警報制御部２７は、距離設定部２６により設定された算出された第２複眼距離ＬＰ２が所定の警告距離になったと判定された場合に、ドライバに物体が接近している旨を通知するために警報装置３１に対して制御指令を送信する。停止制御部２８は、第２複眼距離ＬＰ２が所定の停止距離になったと判定された場合に、車両５０と物体との接触を回避するために、ブレーキ装置３２に対して制御指令を送信する。

【0030】

次に、本実施形態における調整処理の手順について、図３のフローチャートを参照して説明する。本処理は、ＥＣＵ２０が所定期間毎に繰り返し実施する。

【0031】

まず、ステップＳ１０では、右カメラ１１により撮影された右画像を取得する。ステップＳ１２では、左カメラ１２により撮影された左画像を取得する。ステップＳ１０及びステップＳ１２で取得される右画像及び左画像は、右カメラ１１及び左カメラ１２により同時に撮影された画像である。

【0032】

ステップＳ１４では、ステップＳ１０及びステップＳ１２で取得された右画像及び左画像に、同一の物体が存在するか否かを判定する。ステップＳ１４で否定判定すると、調整処理を終了する。一方、ステップＳ１４で肯定判定すると、ステップＳ１６において、ベース画像である右画像から物体存在範囲ＨＡを設定する。なお、本実施形態において、ステップＳ１６の処理が「第１設定部」に相当する。

【0033】

ここで、右画像及び左画像では、その画像全体において画像内に存在する物体が抽出され、各々に物体存在範囲ＨＡが設定されるとよい。このとき、画像内に１又は複数の物体存在範囲ＨＡが設定される。なお、画像内に複数の物体が存在する場合には、物体ごとに、後続の検出処理が行われるとよい。

【0034】

ステップＳ１８では、ステップＳ１６で設定された物体存在範囲ＨＡにおける画像寸法ＷＧに基づいて、距離情報としての単眼距離ＬＳを算出する。続くステップＳ２０では、第１複眼距離ＬＰ１を算出する。ステップＳ２０では、右画像の画像全体から矩形範囲ＨＢを設定するとともに、比較画像である左画像の画像全体から類似範囲ＨＣを検出し、左右の画像から求められる視差ＤＰに基づいて第１複眼距離ＬＰ１を算出する。なお、本実施形態において、ステップＳ１８の処理が「取得部」に相当し、ステップＳ２０の処理が「第２物体検出部」に相当する。

【0035】

ステップＳ２２では、物体の検出が正常に行われたか否かを判定する。具体的には、以下の２点についての一致度を判定する。１点目では、ステップＳ１８で算出された単眼距離ＬＳと、ステップＳ２０で算出された第１複眼距離ＬＰ１との一致度を判定する。詳細には、単眼距離ＬＳと第１複眼距離ＬＰ１との差分値を所定の第１距離閾値と比較し、この差分値が第１距離閾値よりも小さい場合に、単眼距離ＬＳと第１複眼距離ＬＰ１とが一致していると判定する。

【0036】

２点目では、第１複眼距離ＬＰ１の算出に用いる矩形範囲ＨＢと類似範囲ＨＣとの一致度を判定する。矩形範囲ＨＢと類似範囲ＨＣとの一致度は、矩形範囲ＨＢ及び類似範囲ＨＣでの対応する各画素の輝度差を合計した値である画像差異スコアＳＧに基づいて判定される。詳細には、矩形範囲ＨＢ及び類似範囲ＨＣにおける画像差異スコアＳＧを所定の輝度閾値と比較し、この画像差異スコアＳＧが輝度閾値よりも小さい場合に、矩形範囲ＨＢと類似範囲ＨＣとが一致していると判定する。

【0037】

単眼距離ＬＳと第１複眼距離ＬＰ１とが一致しており、かつ矩形範囲ＨＢと類似範囲ＨＣとが一致していると判定した場合、物体の検出が正常に行われたと判定し、ステップＳ２２で肯定判定する。この場合、ステップＳ２４において、第１複眼距離ＬＰ１を物体距離ＬＢに設定し、調整処理を終了する。ここで物体距離ＬＢは、物体に対する車両５０の相対速度など、車両５０の移動様態を制御する移動制御量を算出するために設定される車両５０と物体との間の距離である。ステップＳ２４で設定された物体距離ＬＢは、ＥＣＵ２０内のメモリに記憶される。ステップＳ４０においても同様である。

【0038】

一方、単眼距離ＬＳと第１複眼距離ＬＰ１とが一致していないと判定した場合、又は矩形範囲ＨＢと類似範囲ＨＣとが一致していないと判定した場合、物体の検出が正常に行われていないと判定し、ステップＳ２２で否定判定する。この場合、ステップＳ３０～Ｓ４０の検出処理を実施する。

【0039】

ステップＳ２２では、左右の各画像の画像全体に含まれる各物体について、それぞれ物体の検出が正常に行われたか否かを判定するとよい。そして、正常検出が行われた物体については、ステップＳ２２で肯定判定し、正常検出が行われなかった物体については、ステップＳ２２で否定判定するとよい。なお、本実施形態において、正常検出が行われなかった物体が「検出未完物体」に相当する。

【0040】

ステップＳ３０では、左画像において物体検索範囲ＨＥを設定する。続くステップＳ３２では、ステップＳ３０で設定された物体検索範囲ＨＥの大きさを調整する。なお、本実施形態において、ステップＳ３０の処理が「第２設定部」に相当し、ステップＳ３２の処理が「調整部」に相当する。

【0041】

ステップＳ３０、Ｓ３２の処理について、図４（Ｃ）を用いて説明する。図４（Ｃ）に示すように、物体存在範囲ＨＡでは、左右方向における左端部位置の下端位置である左下端部位置が基準位置ＰＡとして設定されている。つまり、物体存在範囲ＨＡにおける右カメラ１１側の端部位置の下端位置が基準位置ＰＡとして設定されている。基準位置ＰＡと右画像の下端部位置までの右画像上の寸法はＹＢであり、基準位置ＰＡと右画像の左端部位置までの右画像上の寸法はＹＣである。

【0042】

物体検索範囲ＨＥの設定では、右画像での物体存在範囲ＨＡに対応させて、左画像において物体検索範囲ＨＥを設定する。具体的は、左画像において、右画像での基準位置ＰＡと同じ位置に基準位置ＰＡを設定する。そして、この基準位置ＰＡに基づいて物体検索範囲ＨＥを設定するための矩形の仮物体検索範囲ＨＤ（二点鎖線）を設定する。仮物体検索範囲ＨＤの左下端部位置は基準位置ＰＡに設定され、仮物体検索範囲ＨＤの上下方向における寸法が、右画像での物体存在範囲ＨＡの上下方向における寸法と等しくなるように設定される。また、仮物体検索範囲ＨＤの左端部位置は、左画像の左端部位置に設定される。なお、本実施形態において、左画像での基準位置ＰＡが「対応位置」に相当する。

【0043】

続く物体検索範囲ＨＥの大きさの調整では、単眼距離ＬＳに基づいて仮物体検索範囲ＨＤの左右方向における大きさを調整する。具体的は、単眼距離ＬＳに基づいて、基準位置ＰＡを左側にシフトさせることによって、仮物体検索範囲ＨＤの左右方向における大きさが小さくなるように調整する。基準位置ＰＡを左側にシフトさせるシフト量ＹＬは、基準長ＬＣ、焦点距離ＬＦ及び単眼距離ＬＳを用いて、以下の（式３）のように表される。

【0044】

ＹＬ＝ＬＣ×ＬＦ／ＬＳ・・・（式３）
以下、基準位置ＰＡをシフト量ＹＬだけ左側にシフトさせた位置を調整位置ＰＢという。なお、本実施形態において、調整位置ＰＢが、シフト後の「対応位置」に相当する。

【0045】

上記の調整により、仮物体検索範囲ＨＤが物体検索範囲ＨＥ（一点鎖線）となる。物体検索範囲ＨＥの左下端部位置は調整位置ＰＢに設定され、物体検索範囲ＨＥの上下方向における寸法が、右画像での物体存在範囲ＨＡの上下方向における寸法と等しくなるように設定される。また、物体検索範囲ＨＥの左端部位置は、左画像の左端部位置に設定される。

【0046】

続くステップＳ３４では、物体存在範囲ＨＡにおける画像に基づいて、物体検索範囲ＨＥから物体を検索する検索処理を実施する。つまり、ステップＳ１６で設定された物体存在範囲ＨＡと、ステップＳ３２による調整後の物体検索範囲ＨＥとにおいて、これら各画像に含まれる同一物体を検出するための検索処理を実施する。この検索処理では、物体検索範囲ＨＥから物体存在範囲ＨＡと同一形状の範囲を抽出し、この抽出範囲と物体存在範囲ＨＡとの画像差異スコアＳＧを算出する。検索処理では、まず抽出範囲の左端部位置が物体検索範囲ＨＥの左端部位置と等しくなるように抽出範囲を設定しておき、その後、抽出範囲を１画素分ずつ右側に移動させる。そして、各位置の抽出範囲において画像差異スコアＳＧを算出し、算出された画像差異スコアＳＧが最も小さくなる抽出範囲を、物体検索範囲ＨＥにおいて物体が存在する対象範囲ＨＦとして検索する。なお、本実施形態において、ステップＳ３４の処理が「物体検出部、第１物体検出部」に相当する。

【0047】

ステップＳ３６では、第２複眼距離ＬＰ２を算出する。続くステップＳ３８では、物体の検索が正常に行われたか否かを判定する。具体的には、以下の２点についての一致度を判定する。１点目では、ステップＳ１８で算出された単眼距離ＬＳと、ステップＳ３６で算出された第２複眼距離ＬＰ２との一致度を判定する。詳細には、単眼距離ＬＳと第２複眼距離ＬＰ２との差分値を所定の第２距離閾値と比較し、この差分値が第２距離閾値よりも小さい場合に、単眼距離ＬＳと第２複眼距離ＬＰ２とが一致していると判定する。なお、第２距離閾値は、第１距離閾値以上の値に設定されている。

【0048】

２点目では、第２複眼距離ＬＰ２の算出に用いる物体存在範囲ＨＡと対象範囲ＨＦとの一致度を判定する。詳細には、対象範囲ＨＦにおける画像差異スコアＳＧと対象範囲ＨＦに対して１画素分右側又は左側に移動させた抽出範囲における画像差異スコアＳＧとの差ΔＳＧ（図５参照）を、対象範囲ＨＦにおける画像差異スコアＳＧと比較する。そして、対象範囲ＨＦにおける画像差異スコアＳＧに対する差分値の比率が、所定の比率閾値よりも大きい場合に、物体存在範囲ＨＡと対象範囲ＨＦとが一致していると判定する。

【0049】

単眼距離ＬＳと第２複眼距離ＬＰ２とが一致しており、かつ物体存在範囲ＨＡと対象範囲ＨＦとが一致していると判定した場合、物体の検索が正常に行われたと判定し、ステップＳ３８で肯定判定する。この場合、ステップＳ４０において、第２複眼距離ＬＰ２を物体距離ＬＢに設定し、調整処理を終了する。つまり、ステップＳ４０では、左画像上の物体の位置に基づいて物体距離ＬＢを設定する。なお、本実施形態において、ステップＳ４０の処理が「距離設定部」に相当する。

【0050】

一方、単眼距離ＬＳと第２複眼距離ＬＰ２とが一致していないと判定した場合、又は物体存在範囲ＨＡと対象範囲ＨＦとが一致していないと判定した場合、物体の検索が正常に行われていないと判定し、ステップＳ２２で否定判定して調整処理を終了する。この場合、単眼距離ＬＳ、第１複眼距離ＬＰ１及び第２複眼距離ＬＰ２に基づいて物体距離ＬＢを設定することができないため、例えば以前に実施された調整処理で設定された物体距離ＬＢに基づいて物体距離ＬＢが推定される。

【0051】

続いて、図５に、検索処理の一例を示す。図５には、１画素分ずつ移動させた６つの抽出範囲Ｈ１～Ｈ６における画像差異スコアＳＧが記載されている。６つの抽出範囲Ｈ１～Ｈ６のうち、最も左側の第１抽出範囲Ｈ１は、その左下端部位置が左画像の基準位置ＰＡとなる抽出位置である。また、第１抽出範囲Ｈ１よりもシフト量ＹＬ（図５では２画素）だけ右側に位置する第３抽出範囲Ｈ３は、その左下端部位置が調整位置ＰＢとなる抽出位置である。

【0052】

本実施形態では、第３抽出範囲Ｈ３から検索処理が開始され、第３抽出範囲Ｈ３よりも１画素分右側に移動させた第４抽出範囲Ｈ４で画像差異スコアＳＧが最小となる。つまり、第４抽出範囲Ｈ４が対象範囲ＨＦとなる。その後、抽出範囲を移動させるに従って、画像差異スコアＳＧが増加する。本実施形態の検索処理では、第４抽出範囲Ｈ４よりも２画素分右側に移動させた第６抽出範囲Ｈ６において、抽出範囲の移動により画像差異スコアＳＧが増加する状態が複数回（図５では２回）に亘って確認されたことにより、検索処理が終了される。

【0053】

本実施形態の検索処理では、物体検索範囲ＨＥの大きさの調整により物体検索範囲ＨＥを定める基準位置ＰＡがシフト量ＹＬだけ左側にシフトされた結果、このシフト量ＹＬに対応する抽出範囲である第１抽出範囲Ｈ１及び第２抽出範囲Ｈ２において、画像差異スコアＳＧが算出されない。そのため、ＥＣＵ２０において、検索処理における処理負担が軽減される。

【0054】

ここで（式３）に示すように、シフト量ＹＬと単眼距離ＬＳとは互いに反比例の関係にあり、単眼距離ＬＳが短いなるほどシフト量ＹＬが大きくなる。そこで、本実施形態では、図６に示すように、物体検索範囲ＨＥの大きさの調整において、単眼距離ＬＳが短いほどシフト量ＹＬが大きくなるようにシフト量ＹＬを設定するようにした。これにより、単眼距離ＬＳを用いて、物体検索範囲ＨＥの大きさが適正に調整され、ＥＣＵ２０において、検索処理における処理負担が軽減される。

【0055】

以上説明した本実施形態によれば、以下の効果を奏する。

【0056】

・一対のカメラ１１，１２により撮影された画像（右画像及び左画像）のマッチング処理により物体を検出するＥＣＵ２０において、右画像での物体存在範囲ＨＡに対応させて、左画像において物体を検索する物体検索範囲ＨＥを設定するようにした。また、物体までの単眼距離ＬＳに基づいて左画像での物体検索範囲ＨＥの大きさを調整するとともに、右画像の物体存在範囲ＨＡと、単眼距離ＬＳによる調整後の左画像の物体検索範囲ＨＥとにおいて、これら各画像に含まれる同一物体を検出するようにした。

【0057】

ここで、右画像及び左画像において同一物体を認識する際には、それら各画像において視差ＤＰが生じ、かつ視差ＤＰの大きさが車両５０から物体までの距離に応じて異なるものとなる。この場合、単眼距離ＬＳに基づいて左画像での物体検索範囲ＨＥの大きさを調整することで、物体までの距離に応じた視差ＤＰの大きさの違いを考慮しつつ物体検索範囲ＨＥを定めることができる。そのため、左画像での物体検索範囲ＨＥにおいて物体を検索する際の処理負荷の軽減を図ることができる。その結果、右画像及び左画像における視差ＤＰに基づいて車両５０の周囲に存在する物体を検出する処理を適正に実施することができる。

【0058】

・物体検索範囲ＨＥの設定では、右画像での基準位置ＰＡと等しい位置に設定された左画像での基準位置ＰＡに基づいて物体検索範囲ＨＥが設定される。そして、本実施形態では、単眼距離ＬＳに基づいて、基準位置ＰＡを右側にシフトさせた調整位置ＰＢに基づいて、物体検索範囲ＨＥの大きさが調整されるようにした。これにより、物体までの距離に応じて設定された調整位置ＰＢに基づいて物体検索範囲ＨＥの大きさを適正に調整することができる。

【0059】

・基準位置ＰＡを右側にシフトさせるシフト量ＹＬと単眼距離ＬＳとは互いに反比例の関係にある。この点、本実施形態では、単眼距離ＬＳが短いほど、シフト量ＹＬが大きくなるようにして物体検索範囲ＨＥの大きさを調整するようにした。この場合、物体までの距離に応じて物体検索範囲ＨＥの左右方向における幅を狭くすることができる。そのため、検索処理において物体を検索する際の処理負荷の軽減を図ることができる。

【0060】

・左右の各画像において画像全体を検出範囲として物体の存在を検出するとともに、その物体検出が正常に行われていないことを条件に、右画像の物体存在範囲ＨＡと単眼距離ＬＳによる調整後の左画像の物体検索範囲ＨＥとでの物体検出を行うようにした。この場合、左右の各画像における画像全体を検出範囲とする物体検出では、画像内での物体位置が任意であることや、物体の形態が任意であること等に起因して、物体検出が正常に行われないことが考えられるが、物体検出が正常に行われない場合に別の手法で物体の再検出が行われることで、物体検出を適正に実施できる。また、別の手法での再検出時に、物体の検出範囲を、画像全体から画像全体のうち物体が存在する可能性が高い一部範囲に狭めるようにしたため、再検出時の処理負荷軽減を図ることができるとともに、物体の検出確率を向上させることができる。

【0061】

・左右の各画像における画像全体を検出範囲とする物体検出では、画像内に複数の物体が存在している場合に、その複数の物体を効率良く検出することが可能となる。ただしその反面、上記のとおり物体検出が正常に行われないことが懸念され、画像内に存在する複数の物体のうち、一部の物体が正常に検出され、残り一部の物体が正常に検出されないことが考えられる。この点、画像全体を検出範囲とする物体検出において正常な検出が行われなかった検出未完物体が含まれる場合に、その検出未完物体を対象として、右画像の物体存在範囲ＨＡと単眼距離ＬＳによる調整後の左画像の物体検索範囲ＨＥとでの物体検出を行うようにしたため、必要に応じて適正な物体検出を行うことができる。

【0062】

・本実施形態では、距離情報として単眼距離ＬＳを用いるようにした。単眼距離ＬＳは、右画像での物体存在範囲ＨＡに基づいて算出される。また、単眼距離ＬＳに基づいて大きさが調整される物体検索範囲ＨＥは、右画像での物体存在範囲ＨＡの基準位置ＰＡに基づいて設定される。物体存在範囲ＨＡから算出される物体までの距離に基づいて、同一の物体存在範囲ＨＡから設定される物体検索範囲ＨＥの大きさを調整することで、物体検出範囲を適正に調整することができる。

【0063】

（第２実施形態）
以下、第２実施形態について、第１実施形態との相違点を中心に図７を参照しつつ説明する。本実施形態では、調整処理において単眼距離ＬＳが算出されない点で第１実施形態と異なる。そのため、本実施形態では、距離情報として、前回の調整処理によりＥＣＵ２０内のメモリに記憶された前回の物体距離ＬＢを読み出す。なお、本実施形態において、前回の物体距離ＬＢが「所定期間毎に取得される第１右画像及び第２画像のうち、前回取得された第１画像及び第２画像の少なくとも一方に基づいて算出された車両５０と物体との間の距離」に相当する。

【0064】

図７に、本実施形態の調整処理のフローチャートを示す。なお、図７において、先の図３に示した処理と同一の処理については、便宜上、同一のステップ番号を付して説明を省略する。

【0065】

本実施形態の調整処理では、ステップＳ１６で物体存在範囲ＨＡを設定すると、ステップＳ５０において、ＥＣＵ２０内のメモリから前回の調整処理で算出された物体距離ＬＢを読み出し、ステップＳ２０に進む。そのため、本実施形態では、ステップＳ２２において、前回の物体距離ＬＢと第１複眼距離ＬＰ１との一致度が判定される。また、ステップＳ３０において、前回の物体距離ＬＢに基づいてシフト量ＹＬが算出される。さらに、ステップＳ３８において、前回の物体距離ＬＢと第１複眼距離ＬＰ１との一致度が判定される。

【0066】

調整処理が所定期間毎に実施される場合、前回の物体距離ＬＢと、今回の調整処理によりＥＣＵ２０内のメモリに記憶される今回の物体距離ＬＢとは略同一である。そのため、前回の物体距離ＬＢに基づいて物体検索範囲ＨＥの大きさを適正に調整することができる。本実施形態では、距離情報として前回の物体距離ＬＢを用いることで、調整処理において単眼距離ＬＳを算出する必要がなく、検索処理において物体を検索する際の処理負荷の軽減を図ることができる。

【0067】

（その他の実施形態）
本発明は上記実施形態の記載内容に限定されず、次のように実施されてもよい。

【0068】

・上述したように、距離情報としての単眼距離ＬＳに基づいて、比較画像における物体検索範囲ＨＥの大きさを調整する構成では、仮に単眼距離ＬＳの信頼度が低いと、物体検索範囲ＨＥの調整が適正に実施できないことが懸念される。そこで、単眼距離ＬＳの信頼度が所定以下であると判定された場合に、右画像の物体存在範囲ＨＡと、単眼距離ＬＳによる調整が行われていない左画像の物体検索範囲ＨＥである仮物体検索範囲ＨＤとにおいて、これら各画像に含まれる同一物体を検出するようにするとよい。かかる処理は、例えば図３のステップＳ３２にて実施されるとよい。この場合、ステップＳ３２の処理が「信頼度判定部」に相当する。

【0069】

なお、単眼距離ＬＳの信頼度は以下の手法にて判定されるとよい。物体までの実距離と単眼距離ＬＳとの差である単眼誤差と、物体までの実距離と複眼距離ＬＰとの差である複眼誤差とを比較すると、単眼距離ＬＳが短いほど、単眼誤差が複眼誤差よりも大きくなり、その信頼度が低くなる。そのため、単眼距離ＬＳが所定の誤差閾値よりも小さい場合に、単眼距離ＬＳの信頼度が低いと判定することができる。

【0070】

・移動体は、車両５０に限られず、例えばドローンであってもよい。

【0071】

・距離情報として、単眼距離ＬＳや前回の物体距離ＬＢを例示したが、これに限られない。物体が他車両である場合には、その他車両との間の車両間通信により距離情報を取得してもよい。

【0072】

・設定される物体存在範囲ＨＡは矩形に限られない。物体検索範囲ＨＥについても同様である。

【0073】

物体存在範囲ＨＡの基準位置ＰＡは、物体存在範囲ＨＡの左下端部位置に限られず、左上端部位置や左端部位置でもよい。また、ベース画像が左画像であり、比較画像が右画像である場合には、物体存在範囲ＨＡの基準位置ＰＡは、物体存在範囲ＨＡの右下端部位置、右上端部位置及び右端部位置でもよい。

【0074】

・第２画像における対応位置は、第１画像における基準位置ＰＡと必ずしも同一位置に限られず、同一位置から所定距離範囲内の位置であればよい。また、第２画像における対応位置をシフトさせる場合に、距離情報に基づいて算出されたシフト量ＹＬから算出誤差を減算した減算量に基づいて対応位置をシフトさせてもよい。

【0075】

・物体の検出が正常に行われていないことの判断条件は、第１実施形態に記載の条件に限られず、例えば単眼距離ＬＳと第１複眼距離ＬＰ１との一致度のみを判断条件としてもよい。同様に、物体の検索が正常に行われていないことの判断条件は、第１実施形態に記載の条件に限られず、例えば単眼距離ＬＳと第２複眼距離ＬＰ２との一致度のみを判断条件としてもよい。

【0076】

・本開示に記載の制御装置及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御装置及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御装置及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

【符号の説明】

【0077】

１１…右カメラ、１２…左カメラ、２０…ＥＣＵ、５０…車両。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】