特許 5964108 物体検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5964108

(24)【登録日】2016年7月8日

(45)【発行日】2016年8月3日

(54)【発明の名称】物体検出装置

(51)【国際特許分類】

   G06T 7/60 20060101AFI20160721BHJP

   G06T 7/20 20060101ALI20160721BHJP

   G06T 1/00 20060101ALI20160721BHJP

   H04N 7/18 20060101ALI20160721BHJP

【ＦＩ】

   G06T7/60 180B

   G06T7/20 B

   G06T1/00 330B

   H04N7/18 J

【請求項の数】10

【全頁数】21

(21)【出願番号】特願2012-78759(P2012-78759)

(22)【出願日】2012年3月30日

(65)【公開番号】特開2013-210705(P2013-210705A)

(43)【公開日】2013年10月10日

【審査請求日】2015年2月13日

(73)【特許権者】

【識別番号】591128453

【氏名又は名称】株式会社メガチップス

(74)【代理人】

【識別番号】100104444

【弁理士】

【氏名又は名称】上羽 秀敏

(74)【代理人】

【識別番号】100112715

【弁理士】

【氏名又は名称】松山 隆夫

(74)【代理人】

【識別番号】100125704

【弁理士】

【氏名又は名称】坂根 剛

(74)【代理人】

【識別番号】100120662

【弁理士】

【氏名又は名称】川上 桂子

(72)【発明者】

【氏名】梅崎 太造

(72)【発明者】

【氏名】原口 雄基

(72)【発明者】

【氏名】長谷川 弘

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 特開２０１０−２５７４４１（ＪＰ，Ａ）

【文献】 特開２０１０−０７２７２３（ＪＰ，Ａ）

【文献】 特開２００７−０４２０７２（ＪＰ，Ａ）

【文献】 特開２００６−３２３４３７（ＪＰ，Ａ）

【文献】 特開２０００−１０５８３５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００−７／６０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

入力フレーム画像から認識対象を検出し、前記入力フレーム画像から前記認識対象として検出された検出物体の位置を特定する画像認識部と、
前記入力フレーム画像よりも前に入力された第１の過去フレーム画像から認識対象として検出された第１の過去検出物体が前記第１の過去フレームよりも前に入力された第２の過去フレーム画像から検出された第２の過去検出物体と同じであるか否かを示す追跡情報と、前記第１の過去検出物体の位置が前記画像認識部により特定されたか否かを示す情報と前記第１の過去フレーム画像における前記第１の過去検出物体の位置を示す情報とを含む特定情報と、を記憶する記憶部と、
前記認識対象が前記入力フレーム画像から検出された場合、前記第１の過去検出物体の位置から、前記入力フレーム画像から検出された検出物体の位置までの第１の距離を算出する距離算出部と、
前記第１の距離が予め設定された第１の基準距離よりも小さい場合、前記入力フレーム画像から検出された検出物体は、前記第１の過去検出物体と同じであると判定する第１の判定部と、
前記認識対象が前記入力フレーム画像から検出されなかった場合、前記追跡情報及び前記特定情報を参照し、前記第１の過去検出物体が前記第２の過去検出物体と同じであることが前記追跡情報で示され、かつ、前記第１の過去検出物体の位置が前記画像認識部により特定されたことが前記特定情報で示されている場合、前記認識対象が前記入力フレーム画像に存在すると判定し、前記第１の過去検出物体の位置が前記画像認識部により特定されていないことが前記特定情報で示されている場合、前記認識対象が前記入力フレーム画像に存在しないと判定する第２の判定部と、
を備える物体検出装置。

【請求項2】

請求項１に記載の物体検出装置であって、さらに、
前記認識対象が前記入力フレーム画像に存在すると前記第２の判定部により判定された場合、前記第２の過去検出物体の位置を基準にしたときの前記第１の過去検出物体の相対位置を用いて、前記入力フレーム画像における前記認識対象の位置を予測する位置予測部、
を備える物体検出装置。

【請求項3】

請求項１に記載の物体検出装置であって、
前記距離算出部は、前記認識対象が前記入力フレーム画像に存在すると前記第２の判定部により判定された場合、前記第１の過去検出物体の位置から、前記画像認識部により前記入力フレーム画像から前記認識対象の候補として抽出された物体の位置までの暫定距離を算出し、
前記物体検出装置は、
前記暫定距離が前記第１の基準距離よりも小さい場合、前記抽出された物体の位置を前記認識対象の位置と予測する位置予測部、
を備える物体検出装置。

【請求項4】

請求項２または請求項３に記載の物体検出装置であって、
前記画像認識部は、前記入力フレーム画像の後に入力される後続フレーム画像から前記認識対象を検出し、前記後続フレーム画像から前記認識対象として検出された後続検出物体の位置を特定し、
前記距離算出部は、前記位置予測部により予測された位置から前記後続検出物体の位置までの第２の距離を算出し、
前記第１の判定部は、前記第２の距離が前記第１の基準距離よりも小さい場合、前記後続検出物体が前記第１の過去検出物体と同じであると判定する物体検出装置。

【請求項5】

入力フレーム画像から認識対象を検出し、前記入力フレーム画像から前記認識対象として検出された検出物体の位置を特定する画像認識部と、
前記入力フレーム画像よりも前に入力された第１の過去フレーム画像から前記認識対象として検出された第１の過去検出物体の位置を示す位置情報を記憶する記憶部と、
前記入力フレーム画像から前記認識対象が検出された場合、前記第１の過去検出物体の位置から、前記入力フレーム画像から検出された検出物体の位置までの第１の距離を算出する距離算出部と、
前記第１の距離が予め設定された第１の基準距離よりも小さい場合、前記入力フレーム画像から検出された検出物体は、前記第１の過去検出物体と同じであると判定する第１の判定部と、
前記入力フレーム画像から前記認識対象が検出されなかった場合、前記入力フレーム画像よりも前に入力された第１の所定数の過去フレーム画像のうち、前記認識対象が検出されたフレーム画像の数が基準フレーム数以上であるか否かを確認するフレーム数確認部と、
前記認識対象が検出されたフレーム画像の数が基準フレーム数以上である場合、前記認識対象が前記入力フレーム画像に存在すると判定する第２の判定部と、
を備える物体検出装置。

【請求項6】

請求項５に記載の物体検出装置であって、さらに、
前記第１の過去フレーム画像から前記第１の過去検出物体が検出されなかった場合、前記入力フレーム画像よりも前に入力された第２の所定数の過去フレーム画像のうち、前記認識対象が検出されたフレーム画像を特定するフレーム特定部と、
前記距離算出部は、前記入力フレーム画像から検出された検出物体の位置から前記フレーム特定部により特定されたフレーム画像から検出された検出物体の位置までの第２の距離を算出し、
前記第１の判定部は、前記第２の距離が第２の基準距離よりも小さい場合、前記入力フレーム画像から検出された検出物体が前記特定されたフレーム画像から検出された検出物体と同じであると判定する物体検出装置。

【請求項7】

請求項６に記載の物体検出装置であって、
前記第２の基準距離は、前記入力フレーム画像から前記特定されたフレーム画像までのフレーム数に応じて前記第１の基準距離を変更することにより算出される物体検出装置。

【請求項8】

請求項６または請求項７に記載の物体検出装置であって、さらに、
前記フレーム数確認部は、前記第１の過去フレーム画像から前記第１の過去検出物体が検出されなかった場合、前記第１の所定数の過去フレーム画像のうち、前記認識対象が検出されたフレーム画像の数が基準フレーム数以上であるか否かを確認し、
前記第１の判定部は、前記認識対象が検出されたフレーム画像の数が前記基準フレーム数よりも少ない場合、前記入力フレーム画像から検出された検出物体が前記認識対象として誤って検出されたと判定する物体検出装置。

【請求項9】

請求項５に記載の物体検出装置であって、さらに、
前記第２の判定部により前記認識対象が前記入力フレーム画像に存在すると判定された場合、前記第１の所定数の過去フレーム画像に含まれるとともに、前記認識対象が検出された第１及び第２の参照フレーム画像を特定する参照フレーム特定部、
を備え、
前記第１の参照フレーム画像は、前記第２の参照フレーム画像よりも前に入力され、
前記物体検出装置は、さらに、
前記第１の参照フレーム画像から検出された第１の参照検出物体の位置と前記第２の参照フレーム画像から検出された第２の参照検出物体の位置とから、前記第１の参照検出物体の位置を基準にしたときの前記第２の参照検出物体の相対位置を特定し、前記相対位置と前記第２の参照検出物体の位置とを用いて、前記入力フレーム画像における前記認識対象の位置を予測する位置予測部、
を備える物体検出装置。

【請求項10】

請求項９に記載の物体検出装置であって、
前記位置予測部は、前記第１の参照フレーム画像から前記第２の参照フレーム画像までのフレーム数と、前記第２の参照フレーム画像から前記入力フレーム画像までのフレーム数とに応じて前記相対位置を調整し、調整された前記相対位置を用いて前記認識対象の位置を予測する物体検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、入力されたフレーム画像から認識対象を検出する物体検出装置に関する。

【背景技術】

【0002】

カメラにより撮影された画像から、人物などの認識対象を検出する物体検出装置が存在する。物体検出装置は、たとえば、カメラとともに車両に搭載される。物体検出装置は、カメラにより撮影された画像から歩行者を検出した場合、運転手に歩行者の存在を知らせることができる。

【0003】

特許文献１に係る画像認識装置は、入力画像から切り出された探索窓に対してパターンマッチングを行い、パターンマッチングの度合いを検出する。探索窓が、他の探索窓の一部の領域と重なるように設定されるため、複数回のパターンマッチングが実行される領域が発生する。複数回のパターンマッチングが実行された領域では、１回ごとのパターンマッチングで計算される度合いが積分されるため、認識対象の位置を高精度で検出できる。

【0004】

特許文献２に係る対象物体検出・追跡装置は、画像データから対象物体の候補領域を抽出して、候補領域を追跡する。特許文献２に係る対象物体検出・追跡装置は、追跡を開始してから所定数の画像データに対して、候補領域から対象物体を検出する処理を行う。所定数の画像データの検出結果の総和が、所定数の画像データよりも後に入力される後続の画像データの検出結果として使用される。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００９−７０３４４号公報

【特許文献2】特開２００５−３５４５７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に係る画像認識装置は、入力画像の画素データのみを使用して認識対象を検出する。しかし、ノイズの混入、対象物の変化（向き、姿勢）などによって撮影条件が変化した場合、認識対象の特徴を入力画像から十分に抽出できないことがある。この場合、入力画像に認識対象が含まれているにも関わらず、認識対象が入力画像から検出されないことがある。あるいは、認識対象とは別の物が認識対象として誤って検出されることがある。

【0007】

特許文献２に係る対象物体検出・追跡装置は、所定数の画像データにおける検出結果を、後続の画像データにおける検出結果に反映させる。所定数の画像データにおける検出結果は、修正されない。したがって、所定数の画像データにおいて誤検出が発生した場合、誤った検出結果が後続の画像データとともに表示され続けるという問題が生じる。

【0008】

そこで、本発明は、上記問題点に鑑み、認識対象の検出率を向上することができる物体検出装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

上記課題を解決するため、請求項１記載の発明は、物体検出装置であって、入力フレーム画像から認識対象を検出し、前記入力フレーム画像から前記認識対象として検出された検出物体の位置を特定する画像認識部と、前記入力フレーム画像よりも前に入力された第１の過去フレーム画像から認識対象として検出された第１の過去検出物体が前記第１の過去フレームよりも前に入力された第２の過去フレーム画像から検出された第２の過去検出物体と同じであるか否かを示す追跡情報と、前記第１の過去検出物体の位置が前記画像認識部により特定されたか否かを示す情報と前記第１の過去フレーム画像における前記第１の過去検出物体の位置を示す情報とを含む特定情報と、を記憶する記憶部と、前記認識対象が前記入力フレーム画像から検出された場合、前記第１の過去検出物体の位置から、前記入力フレーム画像から検出された検出物体の位置までの第１の距離を算出する距離算出部と、前記第１の距離が予め設定された第１の基準距離よりも小さい場合、前記入力フレーム画像から検出された検出物体は、前記第１の過去検出物体と同じであると判定する第１の判定部と、前記認識対象が前記入力フレーム画像から検出されなかった場合、前記追跡情報及び前記特定情報を参照し、前記第１の過去検出物体が前記第２の過去検出物体と同じであることが前記追跡情報で示され、かつ、前記第１の過去検出物体の位置が前記画像認識部により特定されたことが前記特定情報で示されている場合、前記認識対象が前記入力フレーム画像に存在すると判定し、前記第１の過去検出物体の位置が前記画像認識部により特定されていないことが前記特定情報で示されている場合、前記認識対象が前記入力フレーム画像に存在しないと判定する第２の判定部と、を備える。

【0011】

請求項２記載の発明は、請求項１に記載の物体検出装置であって、さらに、前記認識対象が前記入力フレーム画像に存在すると前記第２の判定部により判定された場合、前記第２の過去検出物体の位置を基準にしたときの前記第１の過去検出物体の相対位置を用いて、前記入力フレーム画像における前記認識対象の位置を予測する位置予測部、を備える。

【0012】

請求項３記載の発明は、請求項１に記載の物体検出装置であって、前記距離算出部は、前記認識対象が前記入力フレーム画像に存在すると前記第２の判定部により判定された場合、前記第１の過去検出物体の位置から、前記画像認識部により前記入力フレーム画像から前記認識対象の候補として抽出された物体の位置までの暫定距離を算出し、前記物体検出装置は、前記暫定距離が前記第１の基準距離よりも小さい場合、前記抽出された物体の位置を前記認識対象の位置と予測する位置予測部、を備える。

【0013】

請求項４記載の発明は、請求項２または請求項３に記載の物体検出装置であって、前記画像認識部は、前記入力フレーム画像の後に入力される後続フレーム画像から前記認識対象を検出し、前記後続フレーム画像から前記認識対象として検出された後続検出物体の位置を特定し、前記距離算出部は、前記位置予測部により予測された位置から前記後続検出物体の位置までの第２の距離を算出し、前記第１の判定部は、前記第２の距離が前記第１の基準距離よりも小さい場合、前記後続検出物体が前記第１の過去検出物体と同じであると判定する。

【0014】

請求項５記載の発明は、物体検出装置であって、入力フレーム画像から認識対象を検出し、前記入力フレーム画像から前記認識対象として検出された検出物体の位置を特定する画像認識部と、前記入力フレーム画像よりも前に入力された第１の過去フレーム画像から前記認識対象として検出された第１の過去検出物体の位置を示す位置情報を記憶する記憶部と、前記入力フレーム画像から前記認識対象が検出された場合、前記第１の過去検出物体の位置から、前記入力フレーム画像から検出された検出物体の位置までの第１の距離を算出する距離算出部と、前記第１の距離が予め設定された第１の基準距離よりも小さい場合、前記入力フレーム画像から検出された検出物体は、前記第１の過去検出物体と同じであると判定する第１の判定部と、前記入力フレーム画像から前記認識対象が検出されなかった場合、前記入力フレーム画像よりも前に入力された第１の所定数の過去フレーム画像のうち、前記認識対象が検出されたフレーム画像の数が基準フレーム数以上であるか否かを確認するフレーム数確認部と、前記認識対象が検出されたフレーム画像の数が基準フレーム数以上である場合、前記認識対象が前記入力フレーム画像に存在すると判定する第２の判定部と、を備える。
請求項６記載の発明は、請求項５に記載の物体検出装置であって、さらに、前記第１の過去フレーム画像から前記第１の過去検出物体が検出されなかった場合、前記入力フレーム画像よりも前に入力された第２の所定数の過去フレーム画像のうち、前記認識対象が検出されたフレーム画像を特定するフレーム特定部と、前記距離算出部は、前記入力フレーム画像から検出された検出物体の位置から前記フレーム特定部により特定されたフレーム画像から検出された検出物体の位置までの第２の距離を算出し、前記第１の判定部は、前記第２の距離が第２の基準距離よりも小さい場合、前記入力フレーム画像から検出された検出物体が前記特定されたフレーム画像から検出された検出物体と同じであると判定する。

【0015】

請求項７記載の発明は、請求項６に記載の物体検出装置であって、前記第２の基準距離は、前記入力フレーム画像から前記特定されたフレーム画像までのフレーム数に応じて前記第１の基準距離を変更することにより算出される。

【0016】

請求項８記載の発明は、請求項６または請求項７に記載の物体検出装置であって、さらに、前記フレーム数確認部は、前記第１の過去フレーム画像から前記第１の過去検出物体が検出されなかった場合、前記第１の所定数の過去フレーム画像のうち、前記認識対象が検出されたフレーム画像の数が基準フレーム数以上であるか否かを確認し、前記第１の判定部は、前記認識対象が検出されたフレーム画像の数が前記基準フレーム数よりも少ない場合、前記入力フレーム画像から検出された検出物体が前記認識対象として誤って検出されたと判定する。

【0018】

請求項９記載の発明は、請求項５に記載の物体検出装置であって、さらに、前記第２の判定部により前記認識対象が前記入力フレーム画像に存在すると判定された場合、前記第１の所定数の過去フレーム画像に含まれるとともに、前記認識対象が検出された第１及び第２の参照フレーム画像を特定する参照フレーム特定部、を備え、前記第１の参照フレーム画像は、前記第２の参照フレーム画像よりも前に入力され、前記物体検出装置は、さらに、前記第１の参照フレーム画像から検出された第１の参照検出物体の位置と前記第２の参照フレーム画像から検出された第２の参照検出物体の位置とから、前記第１の参照検出物体の位置を基準にしたときの前記第２の参照検出物体の相対位置を特定し、前記相対位置と前記第２の参照検出物体の位置とを用いて、前記入力フレーム画像における前記認識対象の位置を予測する位置予測部、を備える。

【0019】

請求項１０記載の発明は、請求項９に記載の物体検出装置であって、前記位置予測部は、前記第１の参照フレーム画像から前記第２の参照フレーム画像までのフレーム数と、前記第２の参照フレーム画像から前記入力フレーム画像までのフレーム数とに応じて前記相対位置を調整し、調整された前記相対位置を用いて前記認識対象の位置を予測する。

【発明の効果】

【0020】

本発明に係る物体検出装置は、入力フレーム画像の直前に入力された第１の過去フレーム画像から検出された第１の過去検出物体の位置から、入力フレーム画像から検出された検出物体の位置までの距離を算出する。算出した距離が第１の距離以下である場合、入力フレーム画像から検出された検出物体は、第１の過去検出物体と同じであると判定される。これにより、入力フレーム画像における認識対象の検出結果を、第１の過去フレーム画像の検出結果に応じて変更できるため、認識対象の検出率を向上することができる。

【0021】

本発明に係る物体検出装置は、入力フレーム画像から認識対象を検出できない場合、第１の過去検出物体が、第１の過去フレーム画像の直前に入力された第２過去フレーム画像から検出された第２の過去検出物体と同じであるか否かを判定する。第１の過去検出物体が第２の過去検出物体と同じである場合、第１の過去検出物体と同じ物体が入力フレーム画像に存在すると判定される。これにより、入力フレーム画像が認識対象を含むにもかかわらず、認識対象が入力フレーム画像から検出されない場合であっても、認識対象が入力フレーム画像に存在すると判定できるため、検出率をさらに向上させることができる。

【0022】

本発明に係る画像検出装置は、第１の過去検出物体が第１の過去フレーム画像から検出されなかった場合、第１の所定数の過去フレーム画像の中から、認識対象が検出されたフレーム画像を特定する。本発明に係る画像検出装置は、特定されたフレーム画像から検出された検出物体の位置から、入力フレーム画像から検出された検出物体の位置までの距離に基づいて、入力フレーム画像から検出された検出物体が、特定されたフレーム画像から検出された検出物体と同じであるか否かを判定する。これにより、入力フレーム画像から検出された検出物体を、過去フレーム画像から継続して検出しているか否かを確認できるため、検出率をさらに向上させることができる。

【図面の簡単な説明】

【0023】

【図1】本発明の第１の実施の形態に係る物体検出装置の構成を示す機能ブロック図である。

【図2】図１に示す物体検出装置に入力されるフレーム画像を示す図である。

【図3】図１に示す物体検出装置の動作を示すフローチャートである。

【図4】図１に示す物体検出装置に入力されるフレーム画像を示す図である。

【図5】図１に示す検出履歴情報を示すテーブルである。

【図6】図１に示す位置予測部の動作を説明する図である。

【図7】図１に示す物体検出装置に入力されるフレーム画像を示す図である。

【図8】本発明の第２の実施の形態に係る物体検出装置の動作を示すフローチャートである。

【図9】本発明の第２の実施の形態に係る検出履歴情報を示すテーブルである。

【図10】本発明の第２の実施の形態に係る位置予測部の動作を説明する図である。

【発明を実施するための形態】

【0024】

以下、図面を参照しつつ、本発明の実施の形態について説明する。

【0025】

［第１の実施の形態］
｛１．物体検出装置１の構成｝
図１は、物体検出装置１の構成を示す機能ブロック図である。図１に示すように、物体検出装置１は、自動車などの車両に搭載され、車両前方の景色を撮影するカメラ（図示省略）からフレーム画像４を入力し、入力したフレーム画像４から歩行者を検出する。

【0026】

物体検出装置１は、検出結果をフレーム画像４に反映させた表示データ５を作成する。具体的には、物体検出装置１は、フレーム画像４内の歩行者を検出した領域に四角い枠を配置することにより、歩行者の位置が強調された表示データ５を作成する。表示データ５は、図示しないモニタに表示される。

【0027】

物体検出装置１は、画像認識部１１と、記憶部１２と、距離算出部１３と、位置予測部１４と、判定部１５と、出力部１６とを備える。

【0028】

画像認識部１１は、予め設定された認識対象（歩行者）のパターンデータを用いて、フレーム画像４から認識対象を検出する。検出に用いられるアルゴリズムは、ニューラルネットワーク、サポートベクターマシンなどである。画像認識部１１は、各フレーム画像４から認識対象を検出した場合、各フレーム画像４から検出された検出物体の位置を検出結果として記憶部１２に出力する。

【0029】

記憶部１２は、ＲＡＭ（Random Access Memory）などであり、検出履歴情報２を格納する。フレーム画像４の検出結果が、検出履歴情報２に登録される。

【0030】

距離算出部１３は、過去に入力されたフレーム画像４（過去フレーム画像）における検出物体の位置から、最後に入力されたフレーム画像４（入力フレーム画像）における検出物体の位置までの距離を計算する。

【0031】

位置予測部１４は、入力フレーム画像から認識対象が検出されなかった場合、過去フレーム画像において検出された検出物体の位置に基づいて、入力フレーム画像における検出物体の位置を予測する。

【0032】

判定部１５は、距離算出部１３により計算された距離を用いて、入力フレーム画像の検出物体が過去フレーム画像の検出物体と同一であるか否かを判定する。判定部１５は、入力フレーム画像の検出物体が過去フレーム画像の検出物体と同一である場合、過去フレーム画像の検出物体が入力フレーム画像で追跡されていると判定する。

【0033】

出力部１６は、過去フレーム画像の検出物体を入力フレーム画像で追跡できていると判定した場合、検出物体の位置を示す四角い枠を入力フレーム画像に合成して表示データ５を作成する。表示データ５は、出力部１６からモニタへ出力される。

【0034】

｛２，物体検出装置１の動作の概略｝
物体検出装置１は、過去フレーム画像の検出物体を入力フレーム画像で追跡しているか否かを判定する追跡処理を実行する。以下、図２を参照しながら、追跡処理の概略を説明する。

【0035】

図２は、物体検出装置１に入力されるフレーム画像３１，３２を示す図である。まず、物体検出装置１は、フレーム画像３１を入力する。物体検出装置１は、パターンマッチングにより、歩行者の存在する領域３１ａを特定する。物体検出装置１は、領域３１ａが特定された時点で、領域３１ａが強調された表示データ５を作成しない。つまり、物体検出装置１は、フレーム画像３１をそのまま表示データ５として出力する。

【0036】

次に、物体検出装置１は、フレーム画像３２を入力する。物体検出装置１は、歩行者の存在する領域３２ａを特定する。物体検出装置１は、領域３１ａの中心座標３１ｂから領域３２ａの中心座標３２ｂまでの距離があらかじめ設定された基準距離よりも小さい場合、領域３１ａ内の歩行者と領域３２ａ内の歩行者とが同一であると判定する。つまり、物体検出装置１は、フレーム画像３１で検出された歩行者を、フレーム画像３２で追跡できていると判定する。物体検出装置１は、フレーム画像３２の領域３２ａを太い実線で囲むことにより表示データ５を作成する。

【0037】

このように、物体検出装置１は、直前の過去フレーム画像から検出された検出物体を入力フレーム画像で追跡できた場合、入力フレーム画像の検出物体が正当な認識対象であると判定する。物体検出装置１は、過去フレーム画像の検出結果を考慮することにより、入力フレーム画像から認識対象を検出する精度を向上させることができる。

【0038】

｛３．追跡処理の詳細｝
以下、図３〜図５を参照しながら、追跡処理について詳しく説明する。図３は、物体検出装置１が実行する追跡処理のフローチャートである。図４は、物体検出装置１に入力されるフレーム画像を示す図である。図５は、検出履歴情報２の内容を示すテーブルである。

【0039】

（歩行者を追跡できる場合）
画像認識部１１は、フレーム画像４２，４３，４５から歩行者を検出するが、フレーム画像４１，４４から歩行者を検出しない。以下、各フレーム画像が入力されたときにおける物体検出装置１の動作を説明する。

【0040】

まず、物体検出装置１は、カメラからフレーム画像４１を入力する（ステップＳ１０１においてＹｅｓ）。フレーム画像４１は、歩行者の一部を含む。画像認識部１１は、パターンデータを用いて、フレーム画像４１から歩行者を検出する画像認識処理を行う（ステップＳ１０２）。パターンデータは、歩行者の特徴を示すデータであり、画像認識部１１に予め設定されている。

【0041】

ステップＳ１０２の結果、画像認識部１１は、フレーム画像４１から領域４１ａを抽出し、領域４１ａ内の画像が歩行者に一致する度合い（識別値）として「１５７」を算出する。識別値の最小値は１であり、最大値は５１２である。識別値は、その値が大きいほど、抽出された領域内の画像が歩行者である可能性が高いことを示す。図４において、領域４１ａの中心座標４１ｂをピクセル単位で示す。

【0042】

画像認識部１１は、領域４１ａの識別値をあらかじめ設定された検出しきい値と比較することにより、フレーム画像４１から歩行者を検出したか否かを判定する（ステップＳ１０３）。検出しきい値は、３００である。画像認識部１１は、領域４１ａの識別値が３００よりも小さいため、歩行者がフレーム画像４１から検出されないと判定し（ステップＳ１０３においてＮｏ）、ステップＳ１１１に進む。

【0043】

物体検出装置１は、歩行者の追跡が直前に過去フレーム画像で成立しているか否かを確認する（ステップＳ１１１）。フレーム画像４１の前に入力されたフレーム画像が存在しないため、物体検出装置１は、過去フレーム画像で追跡が成立していないと判定し（ステップＳ１１１においてＮｏ）、ステップＳ１０１に戻る。この場合、フレーム画像４１が、そのまま表示データ５としてモニタに表示される。

【0044】

次に、物体検出装置１は、フレーム画像４２を入力する（ステップＳ１０１においてＹｅｓ）。フレーム画像４２は、歩行者を含む。画像認識処理（ステップＳ１０２）の結果、領域４２ａが抽出され、領域４２ａの識別値「３５７」が算出される。

【0045】

領域４２ａの識別値が検出しきい値よりも大きいため、画像認識部１１は、フレーム画像４２から歩行者を検出したと判定する（ステップＳ１０３においてＹｅｓ）。領域４２ａの中心座標４２ｂ及び識別値が、検出履歴情報２に登録される（ステップＳ１０４）。図５では、各フレームの参照符号を、フレームを一意に識別する番号として便宜的に使用している。図５に示す距離及び追跡フラグについては、後述する。

【0046】

物体検出装置１は、歩行者が直前の過去フレーム画像（フレーム画像４１）から検出されているか否かを確認する（ステップＳ１０５）。歩行者がフレーム画像４１から検出されていないため（ステップＳ１０５においてＮｏ）、物体検出装置１は、追跡がフレーム画像４２で成立しないと判断し、ステップＳ１０１に戻る。フレーム画像４２は、領域４２ａが太い実線で囲まれることなく、そのまま表示データ５としてモニタに表示される。

【0047】

次に、物体検出装置１は、フレーム画像４３を入力する（ステップＳ１０１においてＹｅｓ）。フレーム画像４３は、歩行者を含む。画像認識処理（ステップＳ１０２）の結果、領域４３ａが抽出され、領域４３ａの識別値「３６４」が算出される。

【0048】

領域４３ａの識別値が検出しきい値よりも大きいため、画像認識部１１は、フレーム画像４３から歩行者を検出したと判定する（ステップＳ１０３においてＹｅｓ）。領域４３ａの中心座標４３ｂ及び識別値が、検出履歴情報２に登録される（ステップＳ１０４）。

【0049】

直前の過去フレーム画像（フレーム画像４２）で歩行者が検出されているため（ステップＳ１０５においてＹｅｓ）、距離算出部１３は、フレーム画像４２の歩行者の検出位置からフレーム画像４３の歩行者の検出位置までの距離を計算する（ステップＳ１０６）。具体的には、中心座標４２ｂから中心座標４３ｂまでの距離（以下、移動距離と呼ぶ）が、ユークリッド距離として計算される。検出履歴情報２には、フレーム画像４３の移動距離として「５．１」が登録される。

【0050】

判定部１５は、計算された移動距離が予め設定された基準距離（１０ピクセル）以下であるかを確認する（ステップＳ１０７）。基準距離は、歩行者の標準的な速度を考慮して決定される。なお、物体検出装置１は、カメラ及び物体検出装置１を搭載している車両の移動速度を取得し、取得した移動速度に基づいて、決定された基準距離を修正してもよい。この理由は、カメラから見た歩行者の見かけ上の速度が、車両の移動速度によって変化するためである。

【0051】

図５に示すように、移動距離は５．１であり、基準距離よりも小さい（ステップＳ１０７においてＹｅｓ）。判定部１５は、領域４２ａの歩行者と領域４３ａの歩行者とが同じであり、フレーム画像４２で検出された歩行者をフレーム画像４３で追跡できていると判定する（ステップＳ１０８）。検出履歴情報２には、フレーム画像４３の追跡フラグとして「１」が登録される。追跡フラグ「１」は、フレーム画像４３で追跡が成立していることを示す。フレーム画像４２は、追跡フラグが空欄である。これは、歩行者がフレーム画像４２で検出されているが、追跡がフレーム画像４２で成立していないことを示す。

【0052】

出力部１６は、フレーム画像４３で歩行者を追跡できたため、フレーム画像４３の領域４３ａを太い実線で囲むことにより、表示データ５を作成する（ステップＳ１０９）。歩行者の位置が強調された表示データ５が、モニタに表示される。物体検出装置１は、追跡処理を継続する場合（ステップＳ１１０においてＮｏ）、ステップＳ１０１に戻る。

【0053】

一方、ステップＳ１０７において、移動距離が基準距離よりも大きい場合（ステップＳ１０７においてＮｏ）、判定部１５は、領域４２ａの歩行者と領域４３ａの歩行者とは同一でないため、フレーム画像４２で検出された歩行者をフレーム画像４３で追跡していないと判定する。この場合、フレーム画像４３が、領域４３ａが太い実線で囲まれることなく、そのまま表示データ５としてモニタに表示される。

【0054】

次に、物体検出装置１は、フレーム画像４４を入力する（ステップＳ１０１においてＹｅｓ）。フレーム画像４４は、歩行者を含む。画像認識処理（ステップＳ１０２）の結果、領域４４ａが抽出され、領域４４ａの識別値「２５３」が算出される。

【0055】

フレーム画像４４が歩行者を含むにもかかわらず、領域４４ａの識別値は、検出しきい値以下である。このため、物体検出装置１は、フレーム画像４４から歩行者を検出していないと判定する（ステップＳ１０３においてＮｏ）。物体検出装置１は、ステップＳ１０５〜Ｓ１０８を実行することができない。

【0056】

しかし、フレーム画像４４の撮影時の条件が変化したために、物体検出装置１が、偶発的に、領域４４ａの画像を歩行者と判定しなかった可能性がある。物体検出装置１は、直前のフレーム画像４３の追跡フラグを参照して、フレーム画像４３で追跡が成立していたか否かを確認する（ステップＳ１１１）。フレーム画像４３で追跡が成立しているため（ステップＳ１１１においてＹｅｓ）、物体検出装置１は、フレーム画像４３に続いて、フレーム画像４４でも歩行者の追跡が成立すると予測する。

【0057】

物体検出装置１は、直前のフレーム画像４３における歩行者の位置（中心座標４３ｂ）がステップＳ１０２により検出されているか否かを確認する（ステップＳ１１２）。中心座標４３ｂが画像認識部１１により検出されているため（ステップＳ１１２においてＹｅｓ）、位置予測部１４は、中心座標４２ｂ，４３ｂに基づいて、フレーム画像４４における歩行者の位置を予測する。（ステップＳ１１３）。

【0058】

図６は、歩行者の位置を予測する方法を説明する図である。図６において、領域４２ａ〜４４ａ及び中心座標４２ｂ〜４４ｂを同一平面上に配置している。位置予測部１４は、中心座標４２ｂを基準とした中心座標４３ｂの相対位置Ｒを算出する。中心座標４３ｂの相対位置Ｒは、（−５，−１）である。位置予測部１４は、中心座標４３ｂを基準にしたときの相対位置Ｒを、フレーム画像４４内の予測領域４４ｅの中心座標４４ｆとして決定する。予測領域４４ｅは、フレーム画像４４で歩行者が存在すると予想される領域である。予測領域４４ｅは、領域４４ａと一致しない場合がある。

【0059】

物体検出装置１は、フレーム画像４４において歩行者が検出された領域を示すパラメータとして、中心座標４４ｆを検出履歴情報２に登録する（ステップＳ１１４）。物体検出装置１は、フレーム画像４４でも追跡が継続されていると判定したため、フレーム画像４４の追跡フラグの欄に「１」を登録する。出力部１６は、予測領域４４ｅを強調したフレーム画像４４を表示データ５としてモニタに出力する（ステップＳ１０９）。出力部１６は、予測領域４４ｅのサイズとして、直前のフレーム画像４３の領域４３ａのサイズを使用すればよい。

【0060】

一方、ステップＳ１１２において、直前のフレーム画像（フレーム画像４３）における歩行者の位置が、位置予測部１４に予測されていた場合（ステップＳ１１２においてＮｏ）、物体検出装置１は、フレーム画像４４における歩行者の位置を予測することなく、ステップＳ１０１に戻る。これは、歩行者の予測位置に基づいて、さらに歩行者の位置を予測した場合、検出率が却って低下するおそれがあるためである。具体的には、歩行者を含まないフレーム画像が、フレーム画像４４の後に継続的に入力された場合、位置予測部１４が、過去フレーム画像における歩行者の予測位置を用いて、後続フレーム画像における歩行者の位置を予測する処理（ステップＳ１１３）を繰り返す。この結果、歩行者を含まないフレーム画像が入力されているにもかかわらず、物体検出装置１は、歩行者を追跡していると判定し続けることになる。しかし、直前の過去フレーム画像における歩行者の位置が予測されていた場合、入力フレーム画像における歩行者の位置の予測を禁止することにより、検出率を向上させることができる。

【0061】

次に、物体検出装置１は、フレーム画像４５を入力する（ステップＳ１０１においてＹｅｓ）。フレーム画像４５は、歩行者を含む。画像認識処理（ステップＳ１０２）の結果、領域４５ａが抽出され、領域４５ａの識別値「３４１」が算出される。

【0062】

領域４５ａの識別値が検出しきい値よりも大きいため、画像認識部１１は、フレーム画像４５から歩行者を検出したと判定する（ステップＳ１０３においてＹｅｓ）。領域４５ａの中心座標４５ｂ及び識別値が、検出履歴情報２に登録される（ステップＳ１０４）。

【0063】

上述のように、物体検出装置１は、領域４４ａの識別値に基づいて、フレーム画像４４から歩行者を検出したと判定していない。しかし、上述のように、物体検出装置１は、フレーム画像４３の検出結果に基づいて、フレーム画像４４で追跡が成立すると判定している。この場合、画像認識部１１が、認識対象が直前のフレーム画像４４で検出されていると判断し（ステップＳ１０５においてＹｅｓ）。距離算出部１３は、中心座標４４ｆから中心座標４５ｂまでの移動距離を計算する（ステップＳ１０６）。検出履歴情報２には、移動距離として「３．２」が登録される。

【0064】

移動距離「３．２」が基準距離よりも小さいため（ステップＳ１０７においてＹｅｓ）、判定部１５は、フレーム画像４５でも追跡が継続していると判定する（ステップＳ１０８）。出力部１６は、領域４５ａが強調された表示データ５を作成する（ステップＳ１０９）。追跡フラグ「１」が、フレーム画像４５の欄に登録される。以下、追跡処理を終了するまで、上述した処理が繰り返される。

【0065】

このように、物体検出装置１は、画像認識部１１が入力フレーム画像から歩行者を検出しない場合、直前の過去フレーム画像で追跡が成立したか否かを確認する。直前の過去フレーム画像で追跡が成立していた場合、物体検出装置１は、画像認識部１１の検出結果に関わらず、入力フレーム画像で歩行者が検出されたと判定する。これにより、歩行者を継続的に検出している期間中に、歩行者を検出しないフレーム画像が偶発的に発生した場合でも、物体検出装置１は、フレーム画像に歩行者が存在すると判定することができる。

【0066】

（認識対象でない物体を誤って検出した場合）
図７は、物体検出装置２に入力されるフレーム画像５１〜５４を示す図である。フレーム画像５１〜５４は、歩行者を含まない。画像認識部１１は、フレーム画像５１，５２，５４から歩行者を検出しないが、フレーム画像５３において、ポスト５３ｆを誤って歩行者として検出すると仮定する。

【0067】

以下、図３及び図７を参照しながら、ポスト５３ｆが歩行者として検出されたときにおける追跡処理を詳しく説明する。

【0068】

まず、物体検出装置１は、フレーム画像５１を入力する（ステップＳ１０１においてＹｅｓ）。画像認識処理（ステップＳ１０２）の結果、領域５１ａが抽出され、領域５１ａの識別値「１０２」が算出される。領域５１ａの識別値が検出しきい値よりも小さいため、画像認識部１１は、歩行者がフレーム画像５１から検出されないと判定する（ステップＳ１０３においてＮｏ）。物体検出装置１は、過去フレーム画像が存在しないため（ステップＳ１１１においてＮｏ）、ステップＳ１０１に戻る。

【0069】

物体検出装置１は、フレーム画像５２を入力する（ステップＳ１０１においてＹｅｓ）。画像認識処理（ステップＳ１０２）の結果、領域５２ａが抽出され、領域５２ａの識別値「８０」が算出される。領域５２ａの識別値が検出しきい値よりも小さいため、画像認識部１１は、歩行者がフレーム画像５２から検出されないと判定する（ステップＳ１０３においてＮｏ）。物体検出装置１は、直前のフレーム画像５１で追跡が成立していないため（ステップＳ１１１においてＮｏ）、ステップＳ１０１に戻る。

【0070】

物体検出装置１は、フレーム画像５３を入力する（ステップＳ１０１においてＹｅｓ）。画像認識処理（ステップＳ１０２）の結果、領域５３ａが抽出され、領域５３ａの識別値「３０９」が算出される。領域５３ａの識別値が検出しきい値以上であるため、画像認識部１１は、歩行者がフレーム画像５３から検出されたと判定する（ステップＳ１０３においてＹｅｓ）。しかし、歩行者が直前のフレーム画像５２から検出されていないため（ステップＳ１０５においてＮｏ）、物体検出装置１は、フレーム画像５３で追跡が成立しないと判断して、ステップＳ１０１に戻る。

【0071】

物体検出装置１は、フレーム画像５４を入力する（ステップＳ１０１においてＹｅｓ）。画像認識処理（ステップＳ１０２）の結果、領域５４ａが抽出され、領域５４ａの識別値「２７２」が算出される。領域５４ａの識別値が検出しきい値よりも小さいため、画像認識部１１は、歩行者がフレーム画像５４から検出されないと判定する（ステップＳ１０３においてＮｏ）。物体検出装置１は、直前のフレーム画像５３で追跡が成立していないため（ステップＳ１１１においてＮｏ）、ステップＳ１０１に戻る。

【0072】

このように、物体検出装置１は、過去フレーム画像の検出結果を参照して、検出された物体が歩行者であるか否かを最終的に判定する。歩行者でない物体が歩行者として誤って検出されたとしても、歩行者が存在すると判定された領域が強調して表示されることはない。したがって、歩行者の検出率を向上させることができる。

【0073】

なお、ステップＳ１１３では、位置予測部１４が、中心座標４２ｂ，４３ｂを用いて、フレーム画像４４における歩行者の位置を予測したが、これに限られない。位置予測部１４は、領域４４ａの中心座標４４ｂが所定の条件を満たす場合、領域４４ａを歩行者の位置と判定してもよい。具体的には、位置予測部１４は、中心座標４３ｂから中心座標４４ｂまでの距離が基準距離よりも小さい場合、領域４４ａを歩行者の位置と判定する。

【0074】

ステップＳ１１１において、直前の過去フレーム画像で追跡が成立しているか否かを判定する例を説明したが、これに限られない。物体検出装置１は、直前の２つ以上の過去フレーム画像で追跡が成立しているか否かを判定してもよい。たとえば、歩行者がフレーム画像４４で検出されなかった場合、物体検出装置１は、ステップＳ１１１において、フレーム画像４３及び４４の両者で追跡が成立しているか否かを判定してもよい。

【0075】

［第２の実施の形態］
以下、本発明の第２の実施の形態について説明する。本実施の形態に係る物体検出装置１の構成は、上記第１の実施の形態と同様である。以下、上記第１の実施の形態と異なる点を中心に説明する。

【0076】

第１の実施の形態の追跡処理と異なる点は、主に下記の２点である。第１に、物体検出装置１は、直前の過去フレーム画像から認識対象が検出されていない場合、さらに前の過去フレーム画像を使用して移動距離を計算する。第２に、物体検出装置１は、入力フレーム画像から数えて参照フレーム数の過去フレーム画像を特定する。物体検出装置１は、入力フレーム画像と特定した過去フレーム画像とのうち、同一物体を検出したフレーム画像が基準フレーム数以上であるとき、入力フレーム画像で追跡が成立していると判定する。参照フレーム数及び基準フレーム数は、物体検出装置１に予め設定されているパラメータである。参照フレーム数及び基準フレーム数は、両者とも２に設定されていると仮定する。なお、参照フレーム数と基準フレーム数とは、異なる値であってもよい。

【0077】

（歩行者を追跡できる場合）
図４に示すフレーム画像４１〜４５が物体検出装置１に入力される場合を例にして、第２の実施の形態における追跡処理を詳しく説明する。

【0078】

図８は、第２の実施の形態に係る物体検出装置１が実行する追跡処理のフローチャートである。図９は、第２の実施の形態に係る検出履歴情報２の内容を示すテーブルである。図８において、ステップＳ２０１〜Ｓ２０４は、ステップＳ１０１〜Ｓ１０４（図３参照）とそれぞれ同じ処理である。

【0079】

物体検出装置１は、フレーム画像４１を入力する（ステップＳ２０１においてＹｅｓ）。画像認識処理（ステップＳ２０２）の結果、領域４１ａが抽出され、領域４１ａの識別値が「１５７」と算出される。画像認識部１１は、フレーム画像４１から歩行者を検出しなかったと判定し（ステップＳ２０３おいてＮｏ）、ステップＳ２１３に進む。

【0080】

歩行者が検出された過去フレーム画像がフレーム画像４１の前に存在しないため（ステップＳ２１３においてＮｏ）、物体検出装置１は、ステップＳ２０１に戻る。ステップＳ２１３の詳細は、後述する。フレーム画像４１は、領域４１ａが太い実線で囲まれることなく、そのまま表示データ５として出力される。

【0081】

次に、物体検出装置１は、フレーム画像４２を入力する（ステップＳ２０１においてＹｅｓ）。画像認識処理（ステップＳ２０２）の結果、領域４２ａが抽出され、領域４２ａの識別値「３５７」が算出される。

【0082】

物体検出装置１は、フレーム画像４２から歩行者を検出したと判定し（ステップＳ２０３においてＹｅｓ）、領域４２ａの中心座標４２ｂ及び識別値を検出履歴情報２に登録する（ステップＳ２０４）。距離算出部１３は、移動距離の計算の基準となる基準フレーム画像を指定する（ステップＳ２０５）。直前のフレーム画像から歩行者が検出されている場合、直前のフレーム画像が、基準フレーム画像に指定される。一方、直前のフレーム画像から歩行者が検出されていない場合、距離算出部１３は、参照フレーム数が２であることから、直前の２つの過去フレーム画像の中から基準フレーム画像を指定する。具体的には、距離算出部１３は、直前の２つの過去フレーム画像のうち、歩行者が検出された過去フレーム画像を特定する。特定された過去フレーム画像のうち、物体検出装置１に最後に入力された過去フレーム画像が、基準フレーム画像として指定される。

【0083】

歩行者が検出された過去フレーム画像がフレーム画像４２の前に存在しないため、物体検出装置１は、基準フレーム画像を指定できない（ステップＳ２０６においてＮｏ）。物体検出装置１は、領域４２ａを太い実線で囲むことなくフレーム画像４２をそのまま表示データ５として出力し、ステップＳ２０１に戻る。

【0084】

次に、物体検出装置１は、フレーム画像４３を入力する（ステップＳ２０１においてＹｅｓ）。画像認識処理（ステップＳ２０２）の結果、領域４３ａが抽出され、領域４３ａの識別値「３６４」が算出される。

【0085】

物体検出装置１は、フレーム画像４３から歩行者を検出したと判定する（ステップＳ２０３においてＹｅｓ）。領域４３ａの中心座標４３ｂ及び識別値が、検出履歴情報２に登録される（ステップＳ２０４）。直前のフレーム画像４２から歩行者が検出されているため、フレーム画像４２が、基準フレーム画像として指定される（ステップＳ２０５）。距離算出部１３は、基準フレーム画像が指定されたため（ステップＳ２０６においてＹｅｓ）、中心座標４２ｂから中心座標４３ｂまでの移動距離を計算する（ステップＳ２０７）。図９に示すように、フレーム画像４３における移動距離は、５．１である。ステップＳ２０７は、ステップＳ１０６（図３参照）と同じ処理である。

【0086】

判定部１５は、計算された移動距離が基準距離（１０ピクセル）以下であるか否かを確認する（ステップＳ２０８）。なお、基準距離は、基準フレーム画像の時間方向の位置に応じて変化する。基準距離が変化する場合については、後述する。

【0087】

移動距離が基準距離以下であるため（ステップＳ２０８においてＹｅｓ）、判定部１５は、ステップＳ２０９に示す条件を満たせば、フレーム画像４２の歩行者をフレーム画像４３で追跡していると判定する（ステップＳ２１０）。

【0088】

具体的には、判定部１５は、参照フレーム数が２であるため、直前の２つの過去フレーム画像（フレーム画像４１，４２）を特定し、フレーム画像４１〜４３のうち、歩行者が検出されたフレーム画像の数を確認する。歩行者が検出されたフレーム画像（フレーム画像４２，４３）の数が２つ（基準フレーム数）以上である（ステップＳ２０９においてＹｅｓ）。このため、物体検出装置１は、フレーム画像４２で検出された歩行者をフレーム画像４３で追跡できていると最終的に判定する（ステップＳ２１０）。

【0089】

出力部１６は、フレーム画像４３で追跡が成立しているため、フレーム画像４３の領域４３ａを太い実線で囲むことにより、領域４３ａが強調された表示データ５を作成する（ステップＳ２１１）。物体検出装置１は、追跡処理を継続する場合（ステップＳ２１２においてＮｏ）、ステップＳ２０１に戻る。

【0090】

次に、物体検出装置１は、フレーム画像４４を入力する（ステップＳ２０１においてＹｅｓ）。画像認識処理（ステップＳ２０２）の結果、領域４４ａが抽出され、領域４４ａの識別値「２５３」が算出される。

【0091】

物体検出装置１は、フレーム画像４４から歩行者を検出していないと判定する（ステップＳ２０３においてＮｏ）。物体検出装置１は、フレーム画像４４に関して、ステップＳ２０５〜Ｓ２１０を実行できない。この場合、物体検出装置１は、ステップＳ２１３に示す条件を満たせば、フレーム画像４４で追跡が成立していると判定する。

【0092】

ステップＳ２１３は、上述のステップＳ２０９と同様である。すなわち、物体検出装置１は、参照フレーム数が２であるため、直前の２つの過去フレーム画像（フレーム画像４２，４３）を特定する。物体検出装置１は、フレーム画像４２〜４４のうち、歩行者が検出されたフレーム画像の数を確認する。歩行者が検出されたフレーム画像（フレーム画像４２，４３）の数が、基準フレーム数以上であるため（ステップＳ２１３においてＹｅｓ）、物体検出装置１は、フレーム画像４４で追跡が成立していると判定する。

【0093】

位置予測部１４は、中心座標４２ｂ，４３ｂを用いて、フレーム画像４４における歩行者の位置（予測領域４４ｅ及び中心座標４４ｆ）を予測する（ステップＳ２１４）。ステップＳ２１４は、図１に示すステップＳ１１３と同じ処理である。上記第１の実施の形態と異なり、ステップＳ２１４の後に、フレーム画像４４における歩行者の予測位置を、検出履歴情報２に保存しなくてもよい。これは、直前の過去フレーム画像から歩行者が検出されなくても、物体検出装置１は、さらに前の過去フレーム画像を用いて移動距離を計算するためである。

【0094】

出力部１６は、予測領域４４ｅが強調された表示データ５を作成し（ステップＳ２１１）、モニタに出力する。

【0095】

次に、物体検出装置１は、フレーム画像４５を入力する（ステップＳ２０１においてＹｅｓ）。画像認識処理（ステップＳ２０２）の結果、領域４５ａが抽出され、領域４５ａの識別値「３４１」が算出される。

【0096】

物体検出装置１は、フレーム画像４５から歩行者を検出した判定する（ステップＳ２０３においてＹｅｓ）。距離算出部１３は、検出履歴情報２を参照して、基準フレーム画像としてフレーム画像４３を指定する（ステップＳ２０５）。これは、フレーム画像４３が、過去２フレームのうち、歩行者が検出された最も近いフレーム画像であるためである。

【0097】

基準フレーム画像が指定されたため（ステップＳ２０６においてＹｅｓ）、距離算出部１３は、中心座標４３ｂから中心座標４５ｂまでの移動距離を計算する（ステップＳ２０７）。判定部１５は、移動距離が基準距離の２倍（２０ピクセル）以下であるか否かを判定する（ステップＳ２０８）。基準距離は、直前のフレーム画像が基準フレームであると仮定して決定される。このため、基準フレーム画像が直前のフレーム画像でない場合、基準距離は、フレーム画像４５から見た基準フレーム画像の時間方向の位置に応じて調整される。

【0098】

移動距離は、８．２ピクセルであり（図９参照）、２倍の基準距離（２０ピクセル）よりも小さい（ステップＳ２０８においてＹｅｓ）。歩行者が、フレーム画像４３〜４５のうち２つのフレーム画像４３，４５から検出されているため（ステップＳ２０９においてＹｅｓ）、判定部１５は、フレーム画像４３で検出された歩行者をフレーム画像４５で追跡していると判定する（ステップＳ２１０）。出力部１６は、領域４５ａを強調した表示データ５を作成して出力する（ステップＳ２１１）。

【0099】

（認識対象でない物体を誤って検出した場合）
以下、図７を参照しながら、画像認識部１１が歩行者でない物体を誤って歩行者として検出した場合を説明する。画像認識部１１は、フレーム画像５１，５２，５４から歩行者を検出しないが、フレーム画像５３のポスト５３ｆを誤って歩行者として検出する。

【0100】

物体検出装置１は、フレーム画像５１を入力するが（ステップＳ２０１においてＹｅｓ）、フレーム画像５１から歩行者を検出しない（ステップＳ２０３においてＮｏ）。物体検出装置１は、歩行者が検出された過去フレーム画像が存在しないため（ステップＳ２１３においてＮｏ）、ステップＳ２０１に戻る。物体検出装置１は、フレーム画像５２を入力し（ステップＳ２０１においてＹｅｓ）、フレーム画像５１と同様の処理を、フレーム画像５２に対して行う。この結果、出力部１６は、領域５１ａ，領域５２ａを太い実線で囲むことなく、フレーム画像５１，５２をそのまま表示データ５としてモニタに出力する。

【0101】

物体検出装置１は、フレーム画像５３を入力する（ステップＳ２０１においてＹｅｓ）。画像認識処理（ステップＳ２０２）の結果、領域５３ａが抽出され、領域５３ａの識別値「３０９」が算出される。画像認識部１１は、歩行者がフレーム画像５３から検出されたと判定する（ステップＳ２０３においてＹｅｓ）。つまり、ポスト５３ｆが、誤って歩行者として検出される。しかし、歩行者が過去フレーム画像（フレーム画像５１，５２）から検出されていないため、距離算出部１３は、移動距離の計算に用いる基準フレーム画像を指定することができない（ステップＳ２０６においてＮｏ）。このため、物体検出装置１は、フレーム画像５３で追跡が成立しないと判断して、ステップＳ２０１に戻る。

【0102】

物体検出装置１は、フレーム画像５４を入力するが（ステップＳ２０１においてＹｅｓ）、フレーム画像５４から歩行者を検出しない（ステップＳ２０３においてＮｏ）。物体検出装置１は、参照フレーム数が２であるため、直前の２つの過去フレーム画像（フレーム画像５２，５３）を特定する。物体検出装置１は、フレーム画像５２〜５４のうち、歩行者が検出されたフレーム画像が１つ（フレーム画像５３）のみであることを確認する（ステップＳ２１３においてＮｏ）。物体検出装置１は、フレーム画像５４で追跡が成立しないと判断して、ステップＳ２０１に戻る。

【0103】

以上説明したように、第２の実施の形態において、物体検出装置１は、参照フレーム数が２である場合、入力フレーム画像を基準にして２つの過去フレーム画像を特定する。入力フレーム画像と２つの過去フレーム画像のうち、同一物体を検出したフレーム画像が基準フレーム数以上であるとき、物体検出装置１は、入力フレーム画像で追跡が成立していると判定する。このように、過去フレーム画像の検出結果を参照して、入力フレーム画像で追跡が成立するか否かを判定することにより、認識対象の検出率を向上することができる。

【0104】

（参照フレーム数が３以上であるときのステップＳ２０９の処理）
これまで、参照フレーム数が２つに設定されている場合を例にして、第２の実施の形態を説明した。ここで、参照フレーム数及び基準フレーム数が３であるときのステップＳ２０９の処理について説明する。図４に示すフレーム画像４１〜４５において、歩行者がフレーム画像４３，４５で検出され、歩行者がフレーム画像４１，４２，４４で検出されなかったと仮定する。

【0105】

物体検出装置１がフレーム画像４５を入力する（ステップＳ２０１においてＹｅｓ）。物体検出装置１が、歩行者をフレーム画像４５から検出する（ステップＳ２０３においてＹｅｓ）。距離算出部１３が、中心座標４３ｂから中心座標４５までの移動距離を算出する（ステップＳ２０６）。移動距離が基準距離以下である場合（ステップＳ２０８においてＹｅｓ）、判定部１５は、ステップＳ２０９を実行する。

【0106】

判定部１５は、参照フレーム数が３であるため、フレーム画像４２〜４４を特定し、フレーム画像４２〜４５のうち、フレーム画像４３，４５から歩行者が検出されていることを確認する。歩行者が検出されたフレーム画像の数が基準フレーム数よりも少ないため（ステップＳ２０９においてＮｏ）、判定部１５は、画像認識部１１が歩行者と別の物体を、誤って歩行者として入力フレーム画像（フレーム画像４５）から検出したと判定し、ステップＳ２０１に戻る。この場合、出力部１６は、フレーム画像４５をそのまま表示データ５として出力する。なお、フレーム画像４５の後に入力されたフレーム画像を対象として、ステップＳ２０９の処理を実行する場合、判定部１５は、フレーム画像４５を、歩行者が検出されたフレーム画像としてカウントする。

【0107】

（参照フレーム数が３以上であるときの位置予測（ステップＳ２１４））
また、参照フレーム数が３つ以上に設定される場合、位置予測部１４は、相対位置をそのまま用いて、フレーム画像における歩行者の位置を予測できないことがある（ステップＳ２１４）。この場合、位置予測部１４は、相対位置を調整した上で、歩行者の位置を予測する。

【0108】

図１０は、参照フレーム数が３つに設定されているときに、歩行者の位置を予測する方法を説明する図である。図１０において、領域４３ａ，４５ａ及び予測領域４６ｅを同一平面上に配置している。予測領域４６ｅは、フレーム画像４５の後に続けて入力される後続フレーム画像において、歩行者が存在すると予測される範囲である。

【0109】

以下、後続フレーム画像で歩行者が検出されない場合において、位置予測部１４が、中心座標４３ｂ，４５ｂを用いて、予測領域４６ｅの中心座標４６ｆを決定する処理（ステップＳ２１４）を説明する。

【0110】

参照フレーム数が３であるため、位置予測部１４は、後続フレーム画像から過去３つ分のフレーム画像４３〜４５を特定する。位置予測部１４は、フレーム画像４３〜４５のうち、歩行者が検出されたフレーム画像４３，４５を選択し、中心座標４３ｂを基準にしたときの中心座標４５ｂの相対位置Ｒａを求める。相対位置Ｒａは、２つのフレーム画像分にわたる中心座標の移動を示す。

【0111】

位置予測部１４は、相対位置Ｒａと中心座標４５ｂとを用いて、中心座標４６ｆを決定する。中心座標４５ａから中心座標４６ｆまでの移動は、１フレーム分に相当する。このため、位置予測部１４は、相対位置Ｒ２のＸ座標、Ｙ座標をそれぞれ２分の１とした相対位置Ｒｂを算出する。位置予測部１４は、中心座標４５ｂを基準としたときに相対位置Ｒｂにより示される座標を、中心座標４６ｆと決定する。

【0112】

なお、図４に示す場合と異なり、歩行者がフレーム画像４４から検出され、フレーム画像４５から検出されないと仮定した場合、位置予測部１４は、フレーム画像４３，４４を選択して相対位置Ｒａを決定する。この場合、相対位置Ｒａは、１フレーム分の中心座標の移動を示す。一方、相対位置Ｒｂは、２フレーム分の中心座標の移動を示す。この場合、相対位置Ｒｂは、相対位置Ｒ１のＸ座標及びＹ座標をそれぞれ２倍にすることで算出される。

【0113】

上記第２の実施の形態のステップＳ２０９，Ｓ２１３において、歩行者が検出されたフレーム画像が、基準フレーム数以上であるか否かを判定する例を説明したが、これに限られない。例えば、ステップＳ２０９では、参照フレーム数が２である場合、判定部１５は、入力フレーム画像及び直前の２つの過去フレーム画像の各識別値から求められる代表値が、所定のしきい値を超えるか否かを判定してもよい。代表値が所定のしきい値を超えた場合、判定部１５は、入力フレーム画像において追跡が成立すると判定する（ステップＳ２１０）。代表値として、各識別値の総和、各識別値の平均値などを用いることができる。同様に、ステップＳ２１３において、物体検出装置１は、代表値が所定のしきい値を超えた場合、入力フレーム画像における歩行者の位置を予測してもよい（ステップＳ２１４）。

【0114】

［他の実施の形態］
物体検出装置１は、図３に示す追跡処理と、図８に示す追跡処理とを並行して実行してもよい。この場合、物体検出装置１は、図３に示す追跡処理の結果と、図４に示す追跡処理の結果とに基づいて、入力フレーム画像で追跡が成立しているか否かを判断する。たとえば、物体検出装置１は、図３に示す追跡処理及び図８に示す追跡処理の両者において、追跡が入力フレーム画像で成立すると判定した場合、入力フレーム画像内の検出物体の領域を強調してもよい。あるいは、物体検出装置１は、図３に示す追跡処理及び図８に示す追跡処理のいずれか一方において、追跡が入力フレーム画像で成立すると判定した場合、入力フレーム画像内の検出物体の領域を強調してもよい。

【符号の説明】

【0115】

１ 物体検出装置
２ 検出履歴情報
１１ 画像認識部
１２ 記憶部
１３ 距離算出部
１４ 位置予測部
１５ 判定部
１６ 出力部
４１〜４５，５１〜５４ フレーム画像
４１ａ〜４６ａ，５３ａ 領域
４１ｂ〜４６ｂ，５３ｂ 中心座標

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】