特許 7548183 移動体判定装置、及び移動体判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-02

(45)【発行日】2024-09-10

(54)【発明の名称】移動体判定装置、及び移動体判定プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240903BHJP

   G06T 7/20 20170101ALI20240903BHJP

   G06V 20/56 20220101ALI20240903BHJP

【ＦＩ】

G06T7/00 650B

G06T7/20 100

G06V20/56

【請求項の数】 10

(21)【出願番号】P 2021165597

(22)【出願日】2021-10-07

(65)【公開番号】P2023056311

(43)【公開日】2023-04-19

【審査請求日】2023-11-08

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100121821

【弁理士】

【氏名又は名称】山田 強

(74)【代理人】

【識別番号】100139480

【弁理士】

【氏名又は名称】日野 京子

(74)【代理人】

【識別番号】100125575

【弁理士】

【氏名又は名称】松田 洋

(74)【代理人】

【識別番号】100175134

【弁理士】

【氏名又は名称】北 裕介

(72)【発明者】

【氏名】本多 亮介

(72)【発明者】

【氏名】重村 宗作

【審査官】岡本 俊威

(56)【参考文献】

【文献】国際公開第２０１２／１４４３０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－ ７／３８

Ｇ０６Ｖ ２０／５２－２０／５８

(57)【特許請求の範囲】

【請求項1】

車両の周囲を撮影するカメラ（３０）が搭載された車両に適用され、前記カメラにより撮影された画像に基づいてそれらの画像に含まれる物標が移動しているか否かの移動静止判定を行う移動体判定装置（１０）であって、
所定周期で前記画像を取得する取得部と、
前記取得部により取得した前記画像を用い、互いに異なる複数の物標認識手法により同一の前記物標を認識する認識部と、
前記複数の物標認識手法の各々における前記物標の認識結果と前記物標認識手法ごとに定められた所定の重み係数とに基づいて、前記物標認識手法ごとに、前記物標が移動体候補として存在していることの確からしさを示す存在信頼度を算出する存在信頼度算出部と、
前記物標認識手法ごとに算出された前記存在信頼度を統合し、前記物標の統合信頼度を算出する統合信頼度算出部と、
前記統合信頼度に基づいて移動静止判定を行う判定部と、
を備える、移動体判定装置。

【請求項2】

前記存在信頼度算出部は、前記物標認識手法ごとに、前記物標の種別と自車両の移動静止状態との少なくともいずれかに基づいて定められた前記重み係数を用い、前記存在信頼度を算出する、請求項１に記載の移動体判定装置。

【請求項3】

前記存在信頼度算出部は、
時系列で取得される前記画像ごとに、前記複数の物標認識手法の各々における前記物標の認識結果について当該物標の瞬時の前記存在信頼度である瞬時信頼度を算出するとともに、その瞬時信頼度に対して前記物標認識手法ごとに定められた前記重み係数を乗算して瞬時値データを算出する瞬時値算出部と、
前記物標認識手法ごとに、前記物標の認識期間内において前記瞬時値データの積算値を算出するとともに、前記積算値に基づいて、前記物標の継続的な前記存在信頼度である継続信頼度を算出する継続信頼度算出部と、を有し、
前記統合信頼度算出部は、前記継続信頼度算出部により算出された前記物標認識手法ごとの前記継続信頼度を統合することにより、前記統合信頼度を算出する、請求項１に記載の移動体判定装置。

【請求項4】

前記物標認識手法ごとに、前記物標の種別と自車両の移動静止状態との少なくともいずれかに基づいて前記重み係数を設定する重み設定部を備えており、
前記瞬時値算出部は、前記各物標認識手法による前記物標の認識結果から算出された前記瞬時信頼度と、前記重み設定部により設定された前記重み係数とに基づいて、前記瞬時値データを算出し、
前記継続信頼度算出部は、時系列で蓄積された同一物標の前記瞬時値データの積算値に基づいて、前記継続信頼度を算出する、請求項３に記載の移動体判定装置。

【請求項5】

前記重み設定部は、前記物標の種別と自車両の移動静止状態との少なくともいずれかに基づいて前記重み係数としてゼロを含む範囲で数値を設定するものであり、
前記統合信頼度算出部は、前記物標認識手法ごとの前記継続信頼度の統合により前記統合信頼度を算出する場合において、前記物標認識手法ごとの前記継続信頼度のうち前記重み係数が常にゼロとなる物標認識手法による前記継続信頼度を、前記統合から除外し、その統合が除外されていない残りの前記継続信頼度を均等に重み付けてして前記統合信頼度を算出する、請求項４に記載の移動体判定装置。

【請求項6】

前記カメラとして、撮影方向が互いに異なりかつ撮影範囲が互いに一部重複する第１カメラ及び第２カメラが搭載された車両に適用され、
前記第１カメラの画像により前記物標が認識され、かつその物標について前記物標認識手法ごとの前記継続信頼度の算出が行われている状況下において、前記第２カメラの画像により同一の前記物標が認識された場合に、前記第１カメラ側の処理に重複させて前記第２カメラの画像による認識物標について前記物標認識手法ごとの前記継続信頼度の算出を行わせ、
前記判定部は、前記第１カメラの画像を用いて算出した前記継続信頼度と、前記第２カメラの画像を用いて算出した前記継続信頼度とのうち、画像フレーム数の多い方のカメラ画像を用いて算出した前記継続信頼度に基づいて、移動静止判定を行う、請求項３～５のいずれか１項に記載の移動体判定装置。

【請求項7】

前記複数の物標認識手法には、前記画像に含まれる前記物標の種別判定を行うことにより前記物標を認識する種別認識手法と、前記画像に含まれる前記物標の動きをオプティカルフローにより認識するオプティカルフロー認識手法とが含まれており、
前記存在信頼度算出部は、前記種別認識手法により行われた種別判定の結果について前記存在信頼度を算出するとともに、前記オプティカルフロー認識手法により行われた前記物標の追跡結果について前記存在信頼度を算出し、
前記統合信頼度算出部は、前記種別認識手法の種別判定結果から算出された前記存在信頼度と、前記オプティカルフロー認識手法の物標追跡結果から算出された前記存在信頼度とを統合し、前記物標の統合信頼度を算出する、請求項１～６のいずれか１項に記載の移動体判定装置。

【請求項8】

前記複数の物標認識手法には、前記画像に含まれる前記物標の動きをオプティカルフローにより認識するオプティカルフロー認識手法が含まれており、
前記存在信頼度算出部は、自車両が移動している場合に、前記オプティカルフロー認識手法の前記重み係数を、自車両が静止している場合に比べて小さくして前記存在信頼度を算出する、請求項１～７のいずれか１項に記載の移動体判定装置。

【請求項9】

前記複数の物標認識手法には、前記画像上の特徴点の三次元位置を表す三次元推定画像を作成し、その三次元推定画像に基づいて前記物標を認識する三次元認識手法が含まれており、
前記存在信頼度算出部は、自車両が静止している場合に、前記複数の物標認識手法のうち前記三次元認識手法の前記重み係数をゼロにして、前記存在信頼度を算出する、請求項１～８のいずれか１項に記載の移動体判定装置。

【請求項10】

車両の周囲を撮影するカメラ（３０）が搭載された車両に適用され、前記カメラにより撮影された画像に基づいてそれらの画像に含まれる物標が移動しているか否かの移動静止判定を行うべく、制御装置（１０）により実行される移動体判定プログラムであって、
所定周期で前記画像を取得する取得ステップと、
前記取得ステップにて取得した前記画像を用い、互いに異なる複数の物標認識手法により同一の前記物標を認識する認識ステップと、
前記複数の物標認識手法の各々における前記物標の認識結果と前記物標認識手法ごとに定められた所定の重み係数とに基づいて、前記物標認識手法ごとに、前記物標が移動体候補として存在していることの確からしさを示す存在信頼度を算出する存在信頼度算出ステップと、
前記物標認識手法ごとに算出された前記存在信頼度を統合し、前記物標の統合信頼度を算出する統合信頼度算出ステップと、
前記統合信頼度に基づいて移動静止判定を行う判定ステップと、
を含む、移動体判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書の開示は、移動体判定装置、及び移動体判定プログラムに関する。

【背景技術】

【0002】

従来、車両周辺をカメラで撮影し、撮影した画像に含まれる物標が移動しているのか否かを判定する技術が知られている。例えば、特許文献１では、特徴点の位置の時系列として示されるオプティカルフローと、当該特徴点に対応する空間特徴点の位置の時系列として示される空間特徴点のオプティカルフローとを比較して、特徴点が表す物標が移動しているのか否かを判定する移動物体判定装置が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１８５６９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、物体検知システムにおいて、画像中の物標の移動静止判定は重要な役割を担うものとなっている。既存技術では、特許文献１の記載の技術を含め、オプティカルフローなど単一のパラメータに基づいて物標が移動しているのか否かを判定する構成となっている。そのため、判定が正確に行われないといった懸念があり、改善の余地があると考えられる。

【0005】

本発明は、上記課題に鑑みてなされてものであり、その目的は、物標の移動静止判定を精度良く実施することのできる移動体判定装置、及び移動体判定プログラムを提供することにある。

【課題を解決するための手段】

【0006】

本発明は、
車両の周囲を撮影するカメラが搭載された車両に適用され、前記カメラにより撮影された画像に基づいてそれらの画像に含まれる物標が移動しているか否かの移動静止判定を行う移動体判定装置であって、
所定周期で前記画像を取得する取得部と、
前記取得部により取得した前記画像を用い、互いに異なる複数の物標認識手法により同一の前記物標を認識する認識部と、
前記複数の物標認識手法の各々における前記物標の認識結果と前記物標認識手法ごとに定められた所定の重み係数とに基づいて、前記物標認識手法ごとに、前記物標が移動体候補として存在していることの確からしさを示す存在信頼度を算出する存在信頼度算出部と、
前記物標認識手法ごとに算出された前記存在信頼度を統合し、前記物標の統合信頼度を算出する統合信頼度算出部と、
前記統合信頼度に基づいて移動静止判定を行う判定部と、
を備えることを特徴とする。

【0007】

上記移動体判定装置によれば、所定周期で取得された画像から、複数の物標認識手法により同一の物標が認識され、互いに異なる複数の物標認識手法の各々における物標の認識結果と、物標認識手法ごとに定められた所定の重み係数とに基づいて、物標認識手法ごとに、物標が移動体候補として存在していることの確からしさを示す存在信頼度が算出される。そして、物標認識手法ごとに算出された存在信頼度の統合により物標の統合信頼度が算出され、その統合信頼度に基づいて移動静止判定が行われる。この場合、互いに異なる複数の物標認識手法による認識結果を用い、それらを統合しつつ移動静止判定を行うことにより、その移動静止判定の精度を高めることができる。また、物標認識手法ごとに重み係数が定められていることにより、各物標認識手法で一律に重み係数が定められている場合とは異なり、複数の物標認識手法のいずれにより物標認識が行われたかを反映しつつ物標の統合信頼度を適正に算出することができる。以上により、物標の移動静止判定を精度良く実施することができる。

【0008】

また、本発明は、
車両の周囲を撮影するカメラが搭載された車両に適用され、前記カメラにより撮影された画像に基づいてそれらの画像に含まれる物標が移動しているか否かの移動静止判定を行うべく、制御装置により実行される移動体判定プログラムであって、
所定周期で前記画像を取得する取得ステップと、
前記取得ステップにて取得した前記画像を用い、互いに異なる複数の物標認識手法により同一の前記物標を認識する認識ステップと、
前記複数の物標認識手法の各々における前記物標の認識結果と前記物標認識手法ごとに定められた所定の重み係数とに基づいて、前記物標認識手法ごとに、前記物標が移動体候補として存在していることの確からしさを示す存在信頼度を算出する存在信頼度算出ステップと、
前記物標認識手法ごとに算出された前記存在信頼度を統合し、前記物標の統合信頼度を算出する統合信頼度算出ステップと、
前記統合信頼度に基づいて移動静止判定を行う判定ステップと、
を含むことを特徴とする。

【0009】

上記移動体判定プログラムによれば、移動体判定装置と同様に、物標の移動静止判定を精度良く実施することができる。

【図面の簡単な説明】

【0010】

【図1】移動体判定装置を含む車両用の物体検知システムを示す図。

【図2】画像処理部の構成を示す図。

【図3】物標認識パラメータと瞬時信頼度との関係を示す図。

【図4】物標認識手法ごとの重み係数を示す図。

【図5】瞬時値データと継続信頼度と統合信頼度とを示す図。

【図6】物体検知処理を示すフローチャート。

【図7】物標認識の引き継ぎ処理の概要を説明するためのタイムチャート。

【図8】物標認識の引き継ぎ処理を示すフローチャート。

【発明を実施するための形態】

【0011】

（第１実施形態）
図１は、車両に搭載され、車両の周辺の物体を検知する物体検知システムを示す。物体検知システムは、カメラ３０と、移動体判定装置１０とを備えている。カメラ３０は、フロントカメラ３１、リアカメラ３２、左側カメラ３３、右側カメラ３４を含む。フロントカメラ３１、リアカメラ３２、左側カメラ３３、及び右側カメラ３４は、それぞれ単眼のデジタルカメラである。なお、以下、フロントカメラ３１、リアカメラ３２、左側カメラ３３、及び右側カメラ３４を簡略化してカメラ３１、３２、３３、３４と称することがある。カメラ３１、３２、３３、３４には、それぞれの視野角がそれぞれ１８０度に設定されている広角レンズが採用されている。

【0012】

フロントカメラ３１は、例えば、車両の進行方向前端（例えばフロントグリル）に取り付けられており、車両の進行方向前方を撮像する。リアカメラ３２は、車両の進行方向後端に取り付けられており、車両の後方を撮像する。左側カメラ３３は、例えば、車両の左ドアミラーに取り付けられており、車両の車両幅方向左側を撮像する。右側カメラ３４は、例えば、車両の右ドアミラーに取り付けられており、車両幅方向右側を撮像する。

【0013】

カメラ３１～３４は、それぞれ、時系列に車両の周囲を撮影して、撮影した画像を示す画像データを移動体判定装置１０の映像信号入力部１１に出力する。映像信号入力部１１は、カメラ３１、３２、３３、３４のそれぞれから出力される画像データを取得して、取得した画像データを画像処理部１３に出力する。

【0014】

移動体判定装置１０は、マイクロコンピュータ等を主体として構成されており、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ及びこれらの構成を接続する車載通信バス４０と等を備えている。具体的には、移動体判定装置１０は、映像信号入力部１１、通信インタフェイス（通信Ｉ／Ｆ）１２、画像処理部１３、メモリ１５、電源部１６を備えている。

【0015】

通信Ｉ／Ｆ１２は、車載通信バス４０を介して車速センサ、舵角センサ、ソナー、シフトレンジ等に接続されており、車両の車速、舵角、シフトレンジ、ソナー情報等の車両情報を取得する。より具体的には、車速センサから、車両の速度である自車速度に応じた信号が入力される。舵角センサから、車両の運転者によるステアリング操作に基づく車両の操舵角に応じた信号が入力される。ソナーから、超音波を探査波として車両周辺の障害物の探査した探査結果を示す信号が入力される。シフトレンジから、オートマチックトランスミッションのレンジ情報が入力される。

【0016】

メモリ１５は、記憶部に相当し、ＲＡＭ、ＲＯＭ、書き込み可能な不揮発性記憶媒体等を含んでいる。メモリ１５は、画像処理部１３によって実行されるコンピュータプログラムを記憶している。

【0017】

電源部１６は、車両の電源スイッチがオンされたときに、画像処理部１３がプログラムを実行するための電力を画像処理部１３に供給する。

【0018】

画像処理部１３は、メモリ１５に予め記憶されているコンピュータプログラムを実行することにより、物体検知処理を実行する。

【0019】

図２は、画像処理部１３の構成を示す図である。画像処理部１３は、取得部２１と、物標認識部２２と、瞬時値算出部２３と、継続信頼度算出部２４と、統合信頼度算出部２５と、判定部２６とを備えている。

【0020】

取得部２１は、映像信号入力部１１に入力された車両の周囲の撮像画像（フレーム）を所定周期で取得する。これにより、各カメラ３１～３４で撮像された画像がそれぞれ取得される。また、取得部２１は、通信Ｉ／Ｆ１２に入力された車両情報を取得する。

【0021】

物標認識部２２は、取得部２１で取得した画像を用い、複数の物標認識手法によりそれぞれ物標を認識する。本実施形態では、４つの物標認識手法により物標認識を行う構成としており、物標認識部２２は、各々個別の物標認識を実施する認識部として、種別認識部２２Ａと、オプティカルフロー認識部２２Ｂと、ＳＳ（Semantic Segmentation）認識部２２Ｃと、ＳｆＭ（Structure from Motion）認識部２２Ｄとを有している。

【0022】

種別認識部２２Ａは、画像に含まれる物標の種別判定を行うことにより物標認識を行う認識部であり、物標認識パラメータとして、物標種別の確からしさを示す種別スコアを算出する。種別認識部２２Ａは、例えば、複数の種別判定対象を予め定めておき、その認識対象を定義した学習データを用いて、画像上に存在する物標候補について個々に種別スコアを推定する。学習データの様態は任意であるが、例えばディープラーニングによって生成された学習データを用いるとよい。種別スコアは、物標ごとに、いずれの種別に該当するかの確率で表されるものであるとよい。

【0023】

具体的には、例えば四輪車と、二輪車と、歩行者と、それら以外の物体との４種類の種別を種別判定対象として予め定めておく。そして、種別認識部２２Ａは、画像上に存在する各物標候補について、四輪車である確率、二輪車である確率、歩行者である確率、それら以外の物体である確率をそれぞれ算出するとともに、画像上の物標候補ごとに、いずれの種別であるかの確率を種別スコアとして算出する。画像内に歩行者が写り込んでいる場合には、例えば「四輪車：１０％」、「二輪車：３％」、「歩行者：８５％」、「それ以外の物体：２％」のように確率が算出される。この場合、歩行者の確率が最も高いため、画像上の物標候補が歩行者であるとの種別判定がなされるとともに、種別判定対象ごとの割合比率に応じて、種別スコアが算出される。

【0024】

オプティカルフロー認識部２２Ｂは、画像に含まれる物標の動きをオプティカルフロー密度認識手法により認識する認識部であり、物標認識パラメータとして、オプティカルフロー密度を算出する。オプティカルフローは、物標の特徴点の動きをベクトルで表したものであり、オプティカルフロー認識部２２Ｂは、過去の物標の特徴点と現在の物標の特徴点からオプティカルフローを算出するとともに、特徴点の動きベクトルの密度をオプティカルフロー密度として算出する。オプティカルフロー密度は、画像を撮影したカメラから物標までの距離と相関があり、カメラから物標までの距離が近くなると、特徴点の数が多くなるため、オプティカルフロー密度は高い値となる。

【0025】

ＳＳ認識部２２Ｃは、画像内の全画素にラベルやカテゴリの関連付けを行うことにより物標認識を行う認識部であり、物標認識パラメータとして、画像内にて分類された物標の占める面積に応じて物標面積比率を算出する。ＳＳは、ディープラーニングを用いたアルゴリズムであり、特徴的なカテゴリを形成する画素の集まりを認識するために利用される。ＳＳ認識部２２Ｃは、画像に含まれる物標を可動物、非可動物のいずれかのクラスに分類した属性画像を作成し、クラス分類された物標について画像全体に対する物標面積比率を算出する。

【0026】

ＳｆＭ認識部２２Ｄは、画像内の特徴点の三次元位置を表す三次元推定画像を作成し、その三次元推定画像に基づいて物標認識を行う三次元認識手法（ＳｆＭ）により物標認識を行う認識部であり、物標認識パラメータとして、三次元推定画像における物標ごとの点群数を算出する。ＳｆＭは、異なる角度から撮影した複数の画像、すなわち角度差のある複数の画像に基づいて物標の奥行として表される点群を生成することにより物標の三次元形状を復元する技術である。

【0027】

次に、瞬時値算出部２３について説明する。瞬時値算出部２３は、時系列で取得される画像ごとに、物標認識部２２での各物標認識手法の物標の認識結果について物標の瞬時の存在信頼度である瞬時信頼度Ｔｃｏｎｆを算出するとともに、その瞬時信頼度Ｔｃｏｎｆに対して物標認識手法ごとに定められた重み係数Ｗを乗算して瞬時値データを算出する。すなわち、瞬時値算出部２３は、認識部２２Ａ～２２Ｄごとに設けられた算出部２３Ａ～２３Ｄを有しており、これら各算出部２３Ａ～２３Ｄは、物標認識手法ごとに瞬時信頼度Ｔｃｏｎｆ＿Ａ～Ｔｃｏｎｆ＿Ｄと重み係数ＷＡ～ＷＤとを算出するとともに、それら各値の乗算により瞬時値データを算出する。

【0028】

本実施形態では、物標が移動体候補として存在していることの確からしさを示す指標として存在信頼度を算出することとしており、その時々の存在信頼度（瞬時の存在信頼度）を瞬時信頼度Ｔｃｏｎｆとしている。また、物標の継続的な存在信頼度を継続信頼度Ｃｃｏｎｆとし、物標認識手法ごとの継続信頼度Ｃｃｏｎｆを統合した存在信頼度を統合信頼度Ｉｃｏｎｆとしている。

【0029】

各算出部２３Ａ～２３Ｄは、例えば図３（ａ）～（ｄ）に示す関係に基づいて、物標認識手法ごとの各物標認識パラメータから瞬時信頼度Ｔｃｏｎｆ＿Ａ～Ｔｃｏｎｆ＿Ｄを算出する。各物標認識手法の瞬時信頼度Ｔｃｏｎｆ＿Ａ～Ｔｃｏｎｆ＿Ｄは、いずれも同じ数値範囲で算出されるとよく、例えば最小値を０、最大値を３とする数値で算出される。

【0030】

また、各算出部２３Ａ～２３Ｄは、例えば図４（ａ）～（ｄ）に示す関係に基づいて、各物標認識手法の重み係数ＷＡ～ＷＤを算出する。図４（ａ）～（ｄ）では、物標認識手法ごとに、自車両が静止及び移動のいずれの状態であるかに応じて、また、認識対象である物標が四輪車、二輪車、歩行者のいずれであるかに応じて、それぞれ重み係数ＷＡ～ＷＤの値が定められている。自車両の静止及び移動の状態や物標までの離間距離に関する情報は画像と共に逐次取得されるとよい。認識対象の物標が四輪車、二輪車、歩行者のいずれであるかは、種別認識部２２Ａによる種別判定結果を用いて判別されるとよい。図４（ａ）～（ｄ）において、重み係数ＷＡ～ＷＤの数値は任意に設定可能であり、図示の数値に限定はされない。以下、算出部２３Ａ～２３Ｄごとに、瞬時信頼度Ｔｃｏｎｆ＿Ａ～Ｔｃｏｎｆ＿Ｄの算出手法と重み係数ＷＡ～ＷＤの算出手法とを説明する。

【0031】

なお、以下の説明において、各瞬時信頼度Ｔｃｏｎｆ＿Ａ～Ｔｃｏｎｆ＿Ｄの末尾に付された「ｎ」は、今回の認識対象となっている物標の認識が開始されてから現時点までの画像フレーム数を意味しており、例えば「Ｔｃｏｎｆ＿Ａｎ」は、瞬時信頼度Ｔｃｏｎｆ＿Ａの今回値であることを示す。例えば物標の認識開始から現時点までのフレーム数が５０であればｎ＝５０であり、１００であればｎ＝１００である。重み係数ＷＡｎ～ＷＤｎについても同様である。

【0032】

算出部２３Ａは、図３（ａ）の関係を用い、種別認識部２２Ａにて算出された種別スコアに基づいて瞬時信頼度Ｔｃｏｎｆ＿Ａｎを算出する。図３（ａ）によれば、種別スコアが高いほど、瞬時信頼度Ｔｃｏｎｆ＿Ａｎとして高い値が算出される。

【0033】

また、算出部２３Ａは、図４（ａ）の関係を用い、種別スコアの瞬時信頼度Ｔｃｏｎｆ＿Ａｎに対する重み係数ＷＡｎを設定する。この場合、重み係数ＷＡｎは、自車両が静止及び移動のいずれの状態であるか、物標が四輪車、二輪車、歩行者のいずれであるかにかかわらず、全ての条件で「１」が設定される。

【0034】

そして、算出部２３Ａは、物標認識パラメータである種別スコアの瞬時信頼度Ｔｃｏｎｆ＿Ａｎと重み係数ＷＡｎとの乗算により、物標の種別判定に関する瞬時値データ（Ｔｃｏｎｆ＿Ａｎ×ＷＡｎ）を算出する。

【0035】

算出部２３Ｂは、図３（ｂ）の関係を用い、オプティカルフロー認識部２２Ｂにて算出されたオプティカルフロー密度に基づいて瞬時信頼度Ｔｃｏｎｆ＿Ｂｎを算出する。図３（ｂ）によれば、オプティカルフロー密度が高いほど、瞬時信頼度Ｔｃｏｎｆ＿Ｂｎとして高い値が算出される。

【0036】

また、算出部２３Ｂは、図４（ｂ）の関係を用い、オプティカルフロー密度の瞬時信頼度Ｔｃｏｎｆ＿Ｂｎに対する重み係数ＷＢｎを設定する。この場合、重み係数ＷＢｎは、自車両が静止及び移動のいずれの状態であるかに応じて異なる値に設定されるとともに、自車両（車載カメラ）から物標までの離間距離に応じて異なる値に設定される。具体的には、重み係数ＷＢｎは、自車両の静止時と移動時とを比べて、静止時の方が大きい値に設定される。また、重み係数ＷＢｎは、自車両から物標までの離間距離が長いほど小さい値に設定される。自車両の静止時及び移動時のそれぞれにおいて、四輪車、二輪車、歩行者のいずれもの場合も重み係数ＷＢｎは同じ値である。

【0037】

種別スコアの重み係数ＷＡｎとの比較で言えば、重み係数ＷＢｎは、自車両が静止しており、かつ物標までの距離が最も近い自車近傍範囲（０～５ｍ）である場合以外において、重み係数ＷＡｎよりも小さい値に設定される。

【0038】

そして、算出部２３Ｂは、物標認識パラメータであるオプティカルフロー密度の瞬時信頼度Ｔｃｏｎｆ＿Ｂｎと重み係数ＷＢｎとの乗算により、オプティカルフローによる物標認識に関する瞬時値データ（Ｔｃｏｎｆ＿Ｂｎ×ＷＢｎ）を算出する。

【0039】

算出部２３Ｃは、図３（ｃ）の関係を用い、ＳＳ認識部２２Ｃにて算出された物標面積比率に基づいて瞬時信頼度Ｔｃｏｎｆ＿Ｃｎを算出する。図３（ｃ）によれば、物標面積比率が大きいほど、瞬時信頼度Ｔｃｏｎｆ＿Ｃｎとして高い値が算出される。

【0040】

また、算出部２３Ｃは、図４（ｃ）の関係を用い、物標面積比率の瞬時信頼度Ｔｃｏｎｆ＿Ｃｎに対する重み係数ＷＣｎを設定する。この場合、重み係数ＷＣｎは、自車両の静止時及び移動時において同じ値である。また、本実施形態では、四輪車についてＳＳによる物標認識結果を用いないこととしており、物標が四輪車であれば重み係数ＷＣｎが０に設定される。

【0041】

種別スコアの重み係数ＷＡｎとの比較で言えば、重み係数ＷＣｎは、四輪車の場合に重み係数ＷＡｎよりも小さい値に設定され、二輪車及び歩行者の場合に重み係数ＷＡｎと同じ値に設定される。

【0042】

そして、算出部２３Ｃは、物標認識パラメータである物標面積比率の瞬時信頼度Ｔｃｏｎｆ＿Ｃｎと重み係数ＷＣｎとの乗算により、ＳＳによる物標認識に関する瞬時値データ（Ｔｃｏｎｆ＿Ｃｎ×ＷＣｎ）を算出する。

【0043】

算出部２３Ｄは、図３（ｄ）の関係を用い、ＳｆＭ認識部２２Ｄにて算出された点群数に基づいて瞬時信頼度Ｔｃｏｎｆ＿Ｄｎを算出する。図３（ｄ）によれば、点群数が大きいほど、瞬時信頼度Ｔｃｏｎｆ＿Ｄｎとして高い値が算出される。

【0044】

また、算出部２３Ｄは、図４（ｄ）の関係を用い、点群数の瞬時信頼度Ｔｃｏｎｆ＿Ｄｎに対する重み係数ＷＤｎを設定する。この場合、重み係数ＷＤｎは、自車両の静止時及び移動時で異なる値となっており、自車両の静止時にはＷＤｎ＝０、自車両の移動時にはＷＤｎ＝１に設定される。

【0045】

種別スコアの重み係数ＷＡｎとの比較で言えば、重み係数ＷＤｎは、自車両の静止時において重み係数ＷＡｎよりも小さい値に設定され、自車両の移動時において重み係数ＷＡｎと同じ値に設定される。

【0046】

そして、算出部２３Ｄは、物標認識パラメータである点群数の瞬時信頼度Ｔｃｏｎｆ＿Ｄｎと重み係数ＷＤｎとの乗算により、ＳｆＭによる物標認識に関する瞬時値データ（Ｔｃｏｎｆ＿Ｄｎ×ＷＤｎ）を算出する。

【0047】

各算出部２３Ａ～２３Ｄでは、時系列で取得される画像ごとに瞬時信頼度Ｔｃｏｎｆ＿Ａ～Ｔｃｏｎｆ＿Ｄと重み係数ＷＡ～ＷＤとが算出されるとともに、それら瞬時信頼度Ｔｃｏｎｆ＿Ａ～Ｔｃｏｎｆ＿Ｄ及び重み係数ＷＡ～ＷＤが、時系列のフレーム番号が付された状態でメモリ１５に順次記憶される。本実施形態では、現時点のフレーム番号をｎとし、現時点より過去の画像番号を１～ｎ－１としている。

【0048】

図５には、瞬時値算出部２３の各算出部２３Ａ～２３Ｄで算出される瞬時値データ（瞬時信頼度Ｔｃｏｎｆ＿Ａ～Ｔｃｏｎｆ＿Ｄ及び重み係数ＷＡ～ＷＤ）が示されるとともに、後述する継続信頼度Ｃｃｏｎｆ＿Ａ～Ｃｃｏｎｆ＿Ｄと統合信頼度Ｉｃｏｎｆとが示されている。

【0049】

図５において、（ａ）には、種別スコアに関する時系列データとして、瞬時信頼度Ｔｃｏｎｆ＿Ａ１～Ｔｃｏｎｆ＿Ａｎと、重み係数ＷＡ１～ＷＡｎとが示されている。（ｂ）には、オプティカルフロー密度に関する時系列データとして、瞬時信頼度Ｔｃｏｎｆ＿Ｂ１～Ｔｃｏｎｆ＿Ｂｎと、重み係数ＷＢ１～ＷＢｎとが示されている。（ｃ）には、物標面積比率に関する時系列データとして、瞬時信頼度Ｔｃｏｎｆ＿Ｃ１～Ｔｃｏｎｆ＿Ｃｎと、重み係数ＷＣ１～ＷＣｎとが示されている。（ｄ）には、ＳｆＭ点群数に関する時系列データとして、瞬時信頼度Ｔｃｏｎｆ＿Ｄ１～Ｔｃｏｎｆ＿Ｄｎと、重み係数ＷＤ１～ＷＤｎとが示されている。

【0050】

次に、継続信頼度算出部２４について説明する。継続信頼度算出部２４は、物標の認識開始からの期間である認識期間内において物標認識手法ごとに瞬時値データの積算値を算出するとともに、その積算値に基づいて、物標の継続的な存在信頼度である継続信頼度Ｃｃｏｎｆを算出する。つまり、継続信頼度算出部２４は、時系列で蓄積された同一物標の瞬時値データの積算値に基づいて継続信頼度Ｃｃｏｎｆを算出する。

【0051】

継続信頼度算出部２４は、瞬時値算出部２３の算出部２３Ａ～２３Ｄごとに設けられた算出部２４Ａ～２４Ｄを有しており、これら各算出部２４Ａ～２４Ｄは、物標認識手法ごとに瞬時値データの積算値に基づいて継続信頼度Ｃｃｏｎｆ＿Ａ～Ｃｃｏｎｆ＿Ｄを算出する。なお、瞬時値算出部２３及び継続信頼度算出部２４が「存在信頼度算出部」に相当する。

【0052】

算出部２４Ａは、物標の種別判定について、重み付け平均により継続信頼度Ｃｃｏｎｆ＿Ａを算出する。具体的には、瞬時値データ（Ｔｃｏｎｆ＿Ａ×ＷＡ）の時系列の積算値を算出するとともに、その積算値を瞬時値データの数で除算して継続信頼度Ｃｃｏｎｆ＿Ａを算出する。例えば、下記の式（１）を用いて、継続信頼度Ｃｃｏｎｆ＿Ａを算出する。なお、式（１）において、ｎvalidは有効フレーム数、すなわち時系列の各画像のうち有効な画像数である。

【0053】

【数1】

算出部２４Ａは、上記式（１）の「Ｔｃｏｎｆｉ」に「Ｔｃｏｎｆ＿Ａｉ」を代入し、「Ｗｉ」に「ＷＡｉ」を代入することで、継続信頼度Ｃｃｏｎｆ＿Ａを算出する。

【0054】

他の算出部２４Ｂ～２４Ｄについても同様に、重み付け平均により継続信頼度Ｃｃｏｎｆ＿Ｂ～Ｃｃｏｎｆ＿Ｄを算出する。算出部２４Ｂは、オプティカルフローによる物標認識について、上記式（１）を用い、瞬時値データ（Ｔｃｏｎｆ＿Ｂ×ＷＢ）の時系列の積算値に基づいて継続信頼度Ｃｃｏｎｆ＿Ｂを算出する。算出部２４Ｃは、ＳＳによる物標認識について、上記式（１）を用い、瞬時値データ（Ｔｃｏｎｆ＿Ｃ×ＷＣ）の時系列の積算値に基づいて継続信頼度Ｃｃｏｎｆ＿Ｃを算出する。算出部２４Ｄは、ＳｆＭによる物標認識について、上記式（１）を用い、瞬時値データ（Ｔｃｏｎｆ＿Ｄ×ＷＤ）の時系列の積算値に基づいて継続信頼度Ｃｃｏｎｆ＿Ｄを算出する。

【0055】

なお、例えばＳｆＭによる物標認識では、原理的に自車両の静止時における瞬時値データの算出が不可となる。そのため、物標認識期間内に自車両の静止期間が含まれる場合には、物標認識期間内における全フレーム数から、自車両が静止状態にある時のフレーム数を差し引いたフレーム数が有効フレーム数ｎvalidとなっている。

【0056】

各物標認識手法の継続信頼度Ｃｃｏｎｆは、瞬時信頼度Ｔｃｏｎｆと同様に、いずれも同じ数値範囲で算出されるとよく、例えば最小値を０、最大値を３とする数値で算出される。継続信頼度Ｃｃｏｎｆについて整数化処理を行う構成であってもよく、例えば、０～３の範囲の整数値で継続信頼度Ｃｃｏｎｆが算出されるとよい。

【0057】

具体的には、
・０≦Ｃｃｏｎｆ＜３／４であれば、Ｃｃｏｎｆ＝０とし、
・３／４≦Ｃｃｏｎｆ＜６／４であれば、Ｃｃｏｎｆ＝１とし、
・６／４≦Ｃｃｏｎｆ＜９／４であれば、Ｃｃｏｎｆ＝２とし、
・９／４≦Ｃｃｏｎｆ≦３であれば、Ｃｃｏｎｆ＝３とする。

【0058】

次に、統合信頼度算出部２５について説明する。統合信頼度算出部２５は、物標認識手法ごとに算出された継続信頼度Ｃｃｏｎｆ＿Ａ～Ｃｃｏｎｆ＿Ｄを統合し、物標の統合信頼度Ｉｃｏｎｆを算出する。この場合、統合信頼度算出部２５は、継続信頼度算出部２４の各算出部２４Ａ～２４Ｄで算出された継続信頼度Ｃｃｏｎｆ＿Ａ～Ｃｃｏｎｆ＿Ｄに対して所定の重み付けを行って統合信頼度Ｉｃｏｎｆを算出する。具体的には、下記の式（２）を用いて統合信頼度Ｉｃｏｎｆを算出する。

【0059】

下記の式（２）において、ｍは、本システムで用いた物標認識手法の数に相当する数値であり、４つの物標認識手法を用いる場合はｍ＝４である。ＷＸは、複数の物標認識手法の継続信頼度Ｃｃｏｎｆ＿Ａ～Ｃｃｏｎｆ＿Ｄごとに重み付けの配分を行うための重み係数である。重み係数ＷＸは、統合信頼度Ｉｃｏｎｆの算出に適用される物標認識手法の数に応じて定められるものとなっている。

【0060】

【数2】

本実施形態では、各物標認識手法における継続信頼度Ｃｃｏｎｆ＿Ａ～Ｃｃｏｎｆ＿Ｄの重み付けを均等にしており、４つの物標認識手法が用いられる場合には、各継続信頼度Ｃｃｏｎｆ＿Ａ～Ｃｃｏｎｆ＿Ｄに乗算される重み係数ＷＸは一律で「１／４」とされる。ただし、例えば図４（ａ）～（ｄ）において、重み係数Ｗ（瞬時値データ）が常に０になるパターン（すなわち、継続信頼度Ｃｃｏｎｆが０になるパターン）に当てはまる場合には、４つの物標認識手法のうち常にＷ＝０になる物標認識手法を除外した残りの物標認識手法の数に応じて重み係数ＷＸが定められるとよい。

【0061】

具体例を以下に説明する。例えば、自車両が常に移動しており、かつ対象物標が二輪車又は歩行者である場合、４つの物標認識手法における重み係数ＷＡ～ＷＤは全て０以外の値となる（図４（ａ）～（ｄ）参照）。そのため、各継続信頼度Ｃｃｏｎｆ＿Ａ～Ｃｃｏｎｆ＿Ｄに乗算される重み係数ＷＸは一律で「１／４」となり、各継続信頼度Ｃｃｏｎｆ＿Ａ～Ｃｃｏｎｆ＿Ｄと「１／４」との積が全て加算された結果が統合信頼度Ｉｃｏｎｆとされる。

【0062】

これに対して、自車両が常に移動しており、かつ対象物標が四輪車である場合、重み係数ＷＣが０になる（図４（ｃ）参照）。そのため、ＳＳによる物標認識結果に関する継続信頼度Ｃｃｏｎｆ＿Ｃに乗算される重み係数ＷＸは０とされ、残り３つの継続信頼度Ｃｃｏｎｆ＿Ａ，Ｃｃｏｎｆ＿Ｂ，Ｃｃｏｎｆ＿Ｄに乗算される重み係数ＷＸはそれぞれ「１／３」とされる。また、自車両が常に静止しており、かつ対象物標が四輪車である場合、重み係数ＷＣ，ＷＤが０になる（図４（ｃ），（ｄ）参照）。そのため、ＳＳ，ＳｆＭによる物標認識結果に関する継続信頼度Ｃｃｏｎｆ＿Ｃ，Ｃｃｏｎｆ＿Ｄに乗算される重み係数ＷＸはそれぞれ０とされ、残り２つの継続信頼度Ｃｃｏｎｆ＿Ａ，Ｃｃｏｎｆ＿Ｂに乗算される重み係数ＷＸはそれぞれ「１／２」とされる。

【0063】

統合信頼度Ｉｃｏｎｆは、瞬時信頼度Ｔｃｏｎｆと同様に、いずれも同じ数値範囲で算出されるとよく、例えば最小値を０、最大値を３とする数値で算出される。統合信頼度Ｉｃｏｎｆについて整数化処理を行う構成であってもよく、例えば、０～３の範囲の整数値で統合信頼度Ｉｃｏｎｆが算出されるとよい。その整数化処理は既述のとおりであるため、ここでは説明を省略する。

【0064】

判定部２６は、統合信頼度Ｉｃｏｎｆに基づいて物標の移動静止判定を行う。統合信頼度Ｉｃｏｎｆが０～３の範囲の整数値で算出される場合、統合信頼度Ｉｃｏｎｆが３であれば物標を移動体と判定し、統合信頼度Ｉｃｏｎｆが０～２であれば物標を静止物と判定する。なお、統合信頼度Ｉｃｏｎｆがどの値であれば移動体と判定し、どの値であれば静止物であると判定するかは、任意に設定可能であり、前述に示した関係に限定はされない。

【0065】

図１に示す移動体検出システムでは、移動体判定装置１０の画像処理部１３がメモリ１５に記憶されたコンピュータプログラムである移動体検出プログラムを実行することにより、車両の周辺の移動体を検出して車両を制御する。図６に、画像処理部１３が実行する物体検知処理のフローチャートを示す。本処理は、所定の間隔で継続して実行される。本処理は、各カメラ３０（カメラ３１～３４）で撮影された画像ごとに実行される。

【0066】

ステップＳ１１では、画像情報と車両情報とを取得する。このとき、画像情報として、カメラ３０で撮影された画像が取得され、車両情報として、自車両の速度や自車両から物標までの距離等が取得される。その後、ステップＳ１２に進む。

【0067】

ステップＳ１２では、ステップＳ１１で取得した画像に含まれる物標の種別判定を行い、種別判定の物標認識パラメータとして種別スコアを算出する。この処理は、図２に示す種別認識部２２Ａによる種別スコアの算出処理に相当する。

【0068】

ステップＳ１３では、ステップＳ１２で種別判定された物標について自車両に対する相対位置と移動速度とを算出する。物標の位置及び速度の算出は、オプティカルフローによる追跡結果を用いるとよい。

【0069】

ステップＳ１４では、ステップＳ１２で種別判定された物標についてオプティカルフローの物標認識パラメータとしてオプティカルフロー密度を算出する。この処理は、図２に示すオプティカルフロー認識部２２Ｂによるオプティカルフロー密度の算出処理に相当する。

【0070】

ステップＳ１５では、ステップＳ１２で種別判定された物標についてＳＳによる物標認識を行い、ＳＳの物標認識パラメータとして物標面積比率を算出する。この処理は、図２に示すＳＳ認識部２２Ｃによる物標面積比率の算出処理に相当する。

【0071】

ステップＳ１６では、自車両が移動中であるか否かを判定する。そして、自車両が移動中であれば、ステップＳ１７に進む。自車両が移動中でなければ、ステップＳ１７を読み飛ばす。

【0072】

ステップＳ１７では、ステップＳ１２で種別判定された物標についてＳｆＭによる物標認識を行い、ＳｆＭの物標認識パラメータとして点群数を算出する。この処理は、図２に示すＳｆＭ認識部２２Ｄによる点群数の算出処理に相当する。

【0073】

その後、ステップＳ１８では、上述した各物標認識手法による物標認識パラメータについてそれぞれ瞬時信頼度Ｔｃｏｎｆ＿Ａ～Ｔｃｏｎｆ＿Ｄと重み係数ＷＡ～ＷＤとを算出するとともに、それら瞬時信頼度Ｔｃｏｎｆ＿Ａ～Ｔｃｏｎｆ＿Ｄと重み係数ＷＡ～ＷＤとから瞬時値データを算出する。この処理は、図２に示す瞬時値算出部２３（算出部２３Ａ～２３Ｄ）による瞬時値データ（瞬時信頼度Ｔｃｏｎｆ×重み係数Ｗ）の算出処理に相当する。

【0074】

具体的には、ステップＳ１８では以下の各処理が行われる。
・種別判定の物標認識パラメータである種別スコアについて瞬時信頼度Ｔｃｏｎｆ＿Ａｎと重み係数ＷＡｎとを算出するとともに、それら瞬時信頼度Ｔｃｏｎｆ＿Ａｎと重み係数ＷＡｎとの乗算により、種別判定に関する瞬時値データを算出する。
・オプティカルフローの物標認識パラメータであるオプティカルフロー密度について瞬時信頼度Ｔｃｏｎｆ＿Ｂｎと重み係数ＷＢｎとを算出するとともに、それら瞬時信頼度Ｔｃｏｎｆ＿Ｂｎと重み係数ＷＢｎとの乗算により、オプティカルフローに関する瞬時値データを算出する。
・ＳＳの物標認識パラメータである物標面積比率について瞬時信頼度Ｔｃｏｎｆ＿Ｃｎと重み係数ＷＣｎとを算出するとともに、それら瞬時信頼度Ｔｃｏｎｆ＿Ｃｎと重み係数ＷＣｎとの乗算により、ＳＳに関する瞬時値データを算出する。
・ＳｆＭの物標認識パラメータである点群数について瞬時信頼度Ｔｃｏｎｆ＿Ｄｎと重み係数ＷＤｎとを算出するとともに、それら瞬時信頼度Ｔｃｏｎｆ＿Ｄｎと重み係数ＷＤｎとの乗算により、ＳｆＭに関する瞬時値データを算出する。

【0075】

その後、ステップＳ１９では、物標の認識期間内における物標認識手法ごとの瞬時値データの平均値（重み付け平均）により継続信頼度Ｃｃｏｎｆ＿Ａ～Ｃｃｏｎｆ＿Ｄを算出する。この処理は、図２に示す継続信頼度算出部２４（算出部２４Ａ～２４Ｄ）による継続信頼度Ｃｃｏｎｆの算出処理に相当する。具体的には、上記式（１）を用いて、継続信頼度Ｃｃｏｎｆ＿Ａ，Ｃｃｏｎｆ＿Ｂ，Ｃｃｏｎｆ＿Ｃ，Ｃｃｏｎｆ＿Ｄを算出する。

【0076】

その後、ステップＳ２０では、物標認識手法ごとの継続信頼度Ｃｃｏｎｆを統合して統合信頼度Ｉｃｏｎｆを算出する。この処理は、図２に示す統合信頼度算出部２５による統合信頼度Ｉｃｏｎｆの算出処理に相当する。具体的には、上記式（２）を用いて、統合信頼度Ｉｃｏｎｆを算出する。

【0077】

なお、各物標認識手法による継続信頼度Ｃｃｏｎｆとして、重み係数が常に０となる物標認識手法による継続信頼度Ｃｃｏｎｆが含まれている場合には、その重み係数が常に０となる継続信頼度Ｃｃｏｎｆが統合から除外される。この場合、統合が除外されていない残りの各継続信頼度Ｃｃｏｎｆを均等に重み付けてして統合信頼度Ｉｃｏｎｆが算出される。

【0078】

その後、ステップＳ２１では、統合信頼度Ｉｃｏｎｆに基づいて物標の移動静止判定を行う。この場合、前述したように統合信頼度Ｉｃｏｎｆが３であれば物標を移動体と判定し、統合信頼度Ｉｃｏｎｆが０～２であれば物標を静止物と判定する。

【0079】

ところで、カメラ３０として、撮影方向が互いに異なりかつ撮影範囲が互いに一部重複する第１カメラ及び第２カメラが搭載されている場合には、第１カメラ及び第２カメラにより同一の物標（例えば歩行者）が撮影されることが考えられる。例えば、フロントカメラ３１及び右側カメラ３４について撮影範囲が互いに一部重複する構成が考えられる。この場合、フロントカメラ３１及び右側カメラ３４の一方が第１カメラ、他方が第２カメラに相当する。その他、フロントカメラ３１及び左側カメラ３３の組み合わせ等においても一方が第１カメラ、他方が第２カメラに相当する。

【0080】

このように２つのカメラの撮影範囲が重複する場合、例えば、第１カメラ及び第２カメラのうち先に第１カメラのみで物標が撮影され、その後、第１カメラ及び第２カメラの両方で物標が撮影される状態に移行することが考えられる。更にその後、第１カメラのみ又は第２カメラのみで物標が撮影される状態に移行することも考えられる。以下には、物標が撮影されるカメラが切り替わる際の物標認識の引き継ぎ処理について説明する。

【0081】

図７は、物標認識の引き継ぎ処理の概要を説明するためのタイムチャートである。図７において、タイミングｔ１では、第１カメラ画像により物標の認識が開始される。タイミングｔ１以降が、第１カメラ画像により物標が認識される第１認識期間である。タイミングｔ１以降において第１カメラ画像のフレーム番号ｎ１が０から徐々に増加する。第１認識期間では、第１カメラ画像による物標認識手法ごとの物標認識や、瞬時値データの算出、継続信頼度Ｃｃｏｎｆの算出が逐次行われる。また、各物標認識手法の継続信頼度Ｃｃｏｎｆに基づいて統合信頼度Ｉｃｏｎｆが算出されるとともに、その統合信頼度Ｉｃｏｎｆに基づいて物標の移動静止判定が行われる。

【0082】

一方、タイミングｔ２では、第２カメラ画像により物標の認識が開始される。タイミングｔ２以降が、第２カメラ画像により物標が認識される第２認識期間である。タイミングｔ２以降において第２カメラ画像のフレーム番号ｎ２が０から徐々に増加する。第２認識期間では、第２カメラ画像による物標認識手法ごとの物標認識や、瞬時値データの算出、継続信頼度Ｃｃｏｎｆの算出が逐次行われる。この場合、タイミングｔ２（第２認識期間の開始時点）では第１カメラ画像による物標認識が継続されており、タイミングｔ２以降において第１認識期間での継続信頼度Ｃｃｏｎｆの算出と、第２認識期間での継続信頼度Ｃｃｏｎｆの算出とが重複して行われる。

【0083】

ただし、各認識期間が重複する場合には、第１カメラ及び第２カメラの画像ごとに算出される継続信頼度Ｃｃｏｎｆのうち画像フレームの数の大きい方の継続信頼度Ｃｃｏｎｆを用いて、統合信頼度Ｉｃｏｎｆが算出される。図示の状況下では、タイミングｔ２以降、第１カメラ画像から算出された継続信頼度Ｃｃｏｎｆを用いて、統合信頼度Ｉｃｏｎｆが算出される。

【0084】

その後、タイミングｔ３では、第１カメラの撮影範囲から物標が外れることにより、第１認識期間が終了される。つまり、第１カメラ画像による物標認識手法ごとの物標認識や、瞬時値データの算出、継続信頼度Ｃｃｏｎｆの算出が終了される。このとき、認識対象の物標について、第２カメラ画像による継続信頼度Ｃｃｏｎｆの算出が行われている状況であるため、第１カメラ画像による継続信頼度Ｃｃｏｎｆに代えて、現時点の第２カメラ画像による継続信頼度Ｃｃｏｎｆを用いることで、統合信頼度Ｉｃｏｎｆの算出とその統合信頼度Ｉｃｏｎｆに基づく物標の移動静止判定とが引き続き行われる。

【0085】

その後、タイミングｔ４では、再び第１カメラ画像により物標の認識が開始され、タイミングｔ４以降において、第１カメラ画像のフレーム番号ｎ１が再び０から徐々に増加する。また、タイミングｔ１～ｔ３の期間と同様に、第１カメラ画像による各物標認識手法ごとの物標認識や、瞬時値データの算出、継続信頼度Ｃｃｏｎｆの算出が逐次行われる。そして、タイミングｔ５で第２カメラの撮影範囲から物標が外れると、第２カメラ画像により算出された継続信頼度Ｃｃｏｎｆに代えて、第１カメラ画像により算出された継続信頼度Ｃｃｏｎｆが用いられる。これにより、統合信頼度Ｉｃｏｎｆの算出とその統合信頼度Ｉｃｏｎｆに基づく物標の移動静止判定とが再び引き続き行われる。

【0086】

図８は、移動体判定装置１０の画像処理部１３により実行される物標認識の引き継ぎ処理を示すフローチャートである。ここでは、フロントカメラ３１と右側カメラ３４との組み合わせを第１カメラ及び第２カメラとする場合について説明する。

【0087】

図８には、フロントカメラ３１の画像を用いて４つの物標認識手法により継続信頼度Ｃｃｏｎｆを算出する処理（ステップＳ３４，Ｓ３６）と、右側カメラ３４の画像を用いて４つの物標認識手法により継続信頼度Ｃｃｏｎｆを算出する処理（ステップＳ３５，Ｓ３７）とが含まれており、これら各処理は、図６のステップＳ１１～Ｓ１９の処理に相当する。また、図８において、継続信頼度Ｃｃｏｎｆに基づいて統合信頼度Ｉｃｏｎｆを算出する処理（ステップＳ３９，Ｓ４０）は、図６のステップＳ２０の処理に相当する。なお、説明の便宜上、フロントカメラ画像から算出された物標認識手法ごとの継続信頼度Ｃｃｏｎｆを「第１継続信頼度Ｃｃｏｎｆ１」とし、右側カメラ画像から算出された物標認識手法ごとの継続信頼度Ｃｃｏｎｆを「第２継続信頼度Ｃｃｏｎｆ２」としている。また、第１継続信頼度Ｃｃｏｎｆ１により算出された統合信頼度Ｉｃｏｎｆを「第１統合信頼度Ｉｃｏｎｆ１」とし、第２継続信頼度Ｃｃｏｎｆ２により算出された統合信頼度Ｉｃｏｎｆを「第２統合信頼度Ｉｃｏｎｆ２」としている。

【0088】

ステップＳ３１では、フロントカメラ３１の画像により物標が認識されている状態であるか否かを判定する。また、ステップＳ３２，Ｓ３３では、右側カメラ３４の画像により物標が認識されている状態か否かを判定する。

【0089】

この場合、フロントカメラ３１の画像のみで物標が認識されている状態であれば、ステップＳ３４に進み、物標認識手法ごとの第１継続信頼度Ｃｃｏｎｆ１を算出する。そして、ステップＳ３４の処理後、ステップＳ３９に進む。ステップＳ３９では、物標認識手法ごとの第１継続信頼度Ｃｃｏｎｆ１に基づいて第１統合信頼度Ｉｃｏｎｆ１を算出する。

【0090】

また、右側カメラ３４の画像のみで物標が認識されている状態であれば、ステップＳ３５に進み、第２継続信頼度Ｃｃｏｎｆ２を算出する。そして、ステップＳ３５の処理後、ステップＳ４０に進む。ステップＳ４０では、物標認識手法ごとの第２継続信頼度Ｃｃｏｎｆ２に基づいて第２統合信頼度Ｉｃｏｎｆ２を算出する。

【0091】

各カメラ３１，３４の両方で物標が認識されている状態であれば、ステップＳ３６に進む。そして、ステップＳ３６において、第１継続信頼度Ｃｃｏｎｆ１を算出するとともに、ステップＳ３７において、第２継続信頼度Ｃｃｏｎｆ２を算出する。

【0092】

その後、ステップＳ３８では、フロントカメラ画像のフレーム番号ｎｆが、右側カメラ画像のフレーム番号ｎｒよりも大きいか否かを判定する。そして、ｎｆ＞ｎｒであれば、ステップＳ３９に進み、物標認識手法ごとの第１継続信頼度Ｃｃｏｎｆ１に基づいて第１統合信頼度Ｉｃｏｎｆ１を算出する。また、ｎｆ≦ｎｒであれば、ステップＳ４０に進み、物標認識手法ごとの第２継続信頼度Ｃｃｏｎｆ２に基づいて第２統合信頼度Ｉｃｏｎｆ２を算出する。

【0093】

その後、ステップＳ４１では、第１統合信頼度Ｉｃｏｎｆ１又は第２統合信頼度Ｉｃｏｎｆ２に基づいて物標の移動静止判定を行う（図６のステップＳ２１参照）。

【0094】

上記の各実施形態によれば、下記の効果を得ることができる。

【0095】

所定周期で取得された画像から、複数の物標認識手法により同一の物標を認識し、互いに異なる複数の物標認識手法の各々における物標の認識結果と、物標認識手法ごとに定められた所定の重み係数Ｗとに基づいて、物標認識手法ごとに、物標が移動体候補として存在していることの確からしさを示す継続信頼度Ｃｃｏｎｆ（存在信頼度）を算出するようにした。そして、物標認識手法ごとに算出された継続信頼度Ｃｃｏｎｆの統合により物標の統合信頼度Ｉｃｏｎｆを算出し、その統合信頼度Ｉｃｏｎｆに基づいて移動静止判定を行うようにした。この場合、互いに異なる複数の物標認識手法による認識結果を用い、それらを統合しつつ移動静止判定を行うことにより、その移動静止判定の精度を高めることができる。また、物標認識手法ごとに重み係数Ｗが定められていることにより、各物標認識手法で一律に重み係数Ｗが定められている場合とは異なり、複数の物標認識手法のいずれにより物標認識が行われたかを反映しつつ物標の統合信頼度Ｉｃｏｎｆを適正に算出することができる。以上により、物標の移動静止判定を精度良く実施することができる。

【0096】

物標認識手法ごとに、瞬時信頼度Ｔｃｏｎｆ及び重み係数Ｗの積である瞬時値データを算出するとともに、その瞬時値データの積算により継続信頼度Ｃｃｏｎｆを算出する構成とした。これにより、物標の認識が継続されている期間において、仮に複数の物標認識手法のうちいずれかの物標認識手法での物標認識の状態が変化したり、物標認識が途切れたりしても、該当する物標認識手法の認識結果について一時的に重み係数Ｗをゼロにするなどしつつ、統合的な意味合いでの統合信頼度Ｉｃｏｎｆを継続的かつ適正に算出することができる。

【0097】

物標を継続的に認識する場合、自車両及び物標の少なくともいずれかが移動することにより、各物標認識手法による物標認識に影響が及ぶことが考えられる。例えば、物標認識手法によっては、自車両の移動時と停止時とで認識精度が相違することを加味して重み係数Ｗを変えたり、自車両から物標までの距離に応じて認識精度が相違することを加味して重み係数Ｗを変えたりすることが考えられる。

【0098】

その点、物標の種別や自車両の移動静止状態に基づいて重み係数Ｗを設定し、かつその重み係数Ｗを用いて瞬時値データを算出するとともに、時系列の瞬時値データの積算により継続信頼度Ｃｃｏｎｆを算出するようにした。これにより、物標の認識が継続されている期間において時々刻々と変わる状況を加味しつつ、適正に継続信頼度Ｃｃｏｎｆ（存在信頼度）を算出することができる。したがって、物標の統合信頼度Ｉｃｏｎｆの精度を高めることができる。

【0099】

複数の物標認識手法を用いる場合、物標の種別や自車両の移動静止状態によっては、重み係数Ｗがゼロに設定されるものがある。その点を考慮し、複数の物標認識手法による継続信頼度Ｃｃｏｎｆを統合して統合信頼度Ｉｃｏｎｆを算出する場合において、各物標認識手法による継続信頼度Ｃｃｏｎｆのうち重み係数Ｗが常にゼロとなる物標認識手法による継続信頼度Ｃｃｏｎｆを統合から除外し、その統合が除外されていない残りの各継続信頼度Ｃｃｏｎｆを均等に重み付けてして統合信頼度Ｉｃｏｎｆを算出するようにした。これにより、複数の物標認識手法のうち物標認識が可であるものと不可であるものとを使い分けつつ、統合信頼度Ｉｃｏｎｆを適正に算出することができる。

【0100】

カメラとして、撮影方向が互いに異なりかつ撮影範囲が互いに一部重複する第１カメラ及び第２カメラが搭載されている場合には、第１カメラ及び第２カメラにより同一の物標が撮影されることが考えられる。かかる場合において、第１カメラの画像から物標認識が行われた時点からその認識物標について物標認識手法ごとの継続信頼度Ｃｃｏｎｆの算出が開始される。またその後、第２カメラの画像でも同一の物標が認識されると、その時点から、第１カメラ側の処理に重複させて第２カメラの画像による認識物標について物標認識手法ごとの継続信頼度Ｃｃｏｎｆの算出が開始される。そして、第１カメラの画像を用いて算出した継続信頼度Ｃｃｏｎｆと、第２カメラの画像を用いて算出した継続信頼度Ｃｃｏｎｆとのうち、画像フレーム数の多い方のカメラ画像を用いて算出した継続信頼度Ｃｃｏｎｆに基づいて、移動静止判定が行われる。この場合、自車両及び物標のいずれかの移動により物標が写り込むカメラが切り替わったとしても、物標認識データである継続信頼度Ｃｃｏｎｆを好適に引き継ぐことができ、移動静止判定を適正に実施することができる。

【0101】

複数の物標認識手法として、種別認識手法とオプティカルフロー認識手法とが含まれている構成とし、種別認識手法の種別判定結果から算出された継続信頼度Ｃｃｏｎｆ＿Ａと、オプティカルフロー認識手法の物標追跡結果から算出された継続信頼度Ｃｃｏｎｆ＿Ｂとを統合し、物標の統合信頼度Ｉｃｏｎｆを算出するようにした。この場合、単にオプティカルフローによる物標の移動静止判定を行う構成とは異なり、種別判定の信頼度を考慮することにより移動静止判定の精度を高めることができる。

【0102】

自車両の移動時には、自車両の静止時に比べて、オプティカルフローによる物標の認識精度が低下することが考えられる。この点を考慮し、自車両が移動している場合において、オプティカルフロー認識手法の重み係数ＷＢを、自車両が静止している場合に比べて小さくするようにした。これにより、複数の物標認識手法での継続信頼度Ｃｃｏｎｆを統合して算出される物標の統合信頼度Ｉｃｏｎｆについてその精度を高めることができる。

【0103】

自車両の静止時には、画像上の特徴点の三次元位置を把握することが困難になり、三次元推定画像（ＳｆＭ画像）による物標の認識精度が低下することが考えられる。この点を考慮し、自車両が静止している場合において、三次元認識手法の重み係数ＷＤをゼロにするようにした。これにより、複数の物標認識手法での継続信頼度Ｃｃｏｎｆを統合して算出される物標の統合信頼度Ｉｃｏｎｆについてその精度を高めることができる。

【0104】

（他の実施形態）
上記実施形態を例えば次のように変更してもよい。

【0105】

・上記実施形態では、４つの物標認識手法を用いて各々に瞬時信頼度Ｔｃｏｎｆの算出、重み係数Ｗの設定、継続信頼度Ｃｃｏｎｆの算出を行う構成としたが、これを変更してもよい。例えば、３つ又は２つの物標認識手法を用いる構成としてもよい。若しくは、５つ以上の物標認識手法を用いることも可能である。複数の物標認識手法の組み合わせを変更する場合、種別判定による物標認識手法と、それ以外の物標認識手法とを組み合わせることが望ましい。

【0106】

複数の物標認識手法の組み合わせを変更する場合において、その組み合わせに応じて、図４（ａ）～（ｄ）に示す重み係数の設定値が適宜変更されるとよい。なお、重み係数の設定のパラメータとして、物標の種別と自車両の移動静止状態とのいずれか一方のみを用いることも可能である。

【0107】

・上記実施形態では、統合信頼度Ｉｃｏｎｆを算出する場合に、物標認識手法ごとの時系列の瞬時値データ（瞬時信頼度Ｔｃｏｎｆ×重み係数Ｗ）を用いて継続信頼度Ｃｃｏｎｆを算出し、その継続信頼度Ｃｃｏｎｆに基づいて統合信頼度Ｉｃｏｎｆを算出する構成としたが、これを変更してもよい。例えば、物標認識手法ごとの瞬時値データの今回値に基づいて統合信頼度Ｉｃｏｎｆを算出する構成としてもよい。この場合、上記の式（２）の変数として、継続信頼度Ｃｃｏｎｆに代えて瞬時値データ（瞬時信頼度Ｔｃｏｎｆ×重み係数Ｗ）が用いられるとよい。瞬時信頼度Ｔｃｏｎｆが「存在信頼度」に相当する。本構成においても、物標認識手法ごとに物標の認識精度を正しく評価した上で、物標の統合信頼度Ｉｃｏｎｆを適正に算出することができる。

【0108】

・本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

【符号の説明】

【0109】

１０…移動体判定装置、３０…カメラ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】