特許 6286474 画像処理装置および領域追跡プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6286474

(24)【登録日】2018年2月9日

(45)【発行日】2018年2月28日

(54)【発明の名称】画像処理装置および領域追跡プログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20180215BHJP

   G06T 7/00 20170101ALI20180215BHJP

   H04N 7/18 20060101ALI20180215BHJP

【ＦＩ】

   G06T7/20

   G06T7/00 300D

   H04N7/18 D

   H04N7/18 G

【請求項の数】11

【全頁数】23

(21)【出願番号】特願2016-83716(P2016-83716)

(22)【出願日】2016年4月19日

(65)【公開番号】特開2017-194787(P2017-194787A)

(43)【公開日】2017年10月26日

【審査請求日】2016年4月19日

(73)【特許権者】

【識別番号】000220620

【氏名又は名称】東芝テリー株式会社

(74)【代理人】

【識別番号】110001737

【氏名又は名称】特許業務法人スズエ国際特許事務所

(72)【発明者】

【氏名】和田 亮

【審査官】 佐藤 卓馬

(56)【参考文献】

【文献】 特開平０５−２９８５９１（ＪＰ，Ａ）

【文献】 特許第４４２７０５２（ＪＰ，Ｂ２）

【文献】 特開２０１４−１５７３８８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／２０

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

所定の周期で入力された撮影画像を入力順に順次差分処理して、変化した画素を含む矩形の領域を抽出し、抽出した矩形の領域を過去の複数の矩形の領域から生成した予測領域をもとに追跡する画像処理装置において、
前記矩形の領域内に複数の局所領域を設定するとともに、前記矩形の領域を構成する画素位置に画素単位でパターンマッチング判定用の閾値を設定する外部パラメータの設定手段と、
追跡している矩形の領域から前記局所領域それぞれの画像パターンを切り出す局所領域のパターン抽出手段と、
前記画像パターンをマッチング評価のためのテンプレートとして保持する局所領域のパターン保持手段と、
前記局所領域のパターン抽出手段が前記画像パターンを切り出す都度、切り出した画像パターンと前記局所領域のパターン保持手段に保持されている画像パターンとを照合し、前記閾値をもとにマッチング評価を実施して、前記追跡している矩形の領域の相関有無を判定する類似判定手段と、
前記類似判定手段が前記追跡している矩形の領域の相関有りを判定したとき、前記局所領域のパターン保持手段に保持されている画像パターンを前記局所領域のパターン抽出手段が切り出した最新の画像パターンに更新するテンプレート更新手段と、
を具備したことを特徴とする画像処理装置。

【請求項2】

所定の周期で入力した画面上の現在画像と過去画像を差分処理して、変化した画素を含む矩形の領域を抽出する領域抽出処理手段と、前記領域抽出処理手段が抽出した領域のうち、新たに抽出した領域を、追跡処理の対象となる新規オブジェクトとして登録する新規オブジェクトの登録処理手段と、前記新規オブジェクトの登録処理手段により登録されたオブジェクトを未確定オブジェクトとして、前記領域抽出処理手段が領域を抽出する都度、今回抽出した領域の位置および大きさを示す情報と前回抽出した領域の位置および大きさを示す情報とをもとに前記未確定オブジェクトを追跡する未確定オブジェクトの追跡処理手段と、前記未確定オブジェクトの追跡処理手段が所定時間継続して追跡した未確定オブジェクトについて、当該オブジェクトを確定オブジェクトとして、前記領域抽出処理手段が領域を抽出する都度、当該抽出した領域の位置および大きさを示す情報と、前記未確定オブジェクトの追跡時における時系列の位置情報に基づく最小自乗近似により求める予測方向に従い追跡の都度更新される予測領域の位置および大きさを示す情報と移動速度情報をもとに、前記確定オブジェクトを追跡する確定オブジェクトの追跡処理手段とを具備した画像処理装置において、
前記矩形の領域内に複数の局所領域を設定するとともに、前記矩形の領域を構成する画素位置に画素単位でパターンマッチング判定用の閾値を設定する外部パラメータの設定手段と、
前記未確定オブジェクトから確定オブジェクトになった新規確定オブジェクトを初回の処理対象として、前記確定オブジェクトが判定される都度、当該オブジェクトの矩形の領域から前記局所領域それぞれの画像パターンを切り出す局所領域のパターン抽出手段と、
前記画像パターンをマッチング評価のためのテンプレートとして保持する局所領域のパターン保持手段と、
前記局所領域のパターン抽出手段が前記画像パターンを切り出す都度、切り出した画像パターンと前記局所領域のパターン保持手段に保持されている画像パターンとを照合し、前記閾値をもとにマッチング評価を実施して、追跡している確定オブジェクトの相関有無を判定する追跡オブジェクトの類似判定手段と、
前記追跡オブジェクトの類似判定手段が前記追跡している確定オブジェクトの相関有りを判定したとき、現在追跡中の確定オブジェクトを同定して前記局所領域のパターン保持手段に保持されている画像パターンを前記局所領域のパターン抽出手段が切り出した最新の画像パターンに更新するテンプレート更新手段と、
を具備したことを特徴とする画像処理装置。

【請求項3】

前記局所領域は、前記矩形の領域内における底辺の予め定めた位置を前記矩形で囲われた追跡オブジェクトの存在位置として、この存在位置に対して前記矩形の領域内における位置が設定され、
前記追跡オブジェクトの類似判定手段は、前記入力した画面の画素を単位に前記閾値となるパターンマッチング評価のための相関係数が設定された相関判定テーブルを有し、前記存在位置における前記相関判定テーブル上の相関係数を用いて前記追跡オブジェクトの類似判定を行うことを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記局所領域は、追跡対象となる動物体を想定したオブジェクトモデルを撮影した画像から抽出された矩形の領域内における変化画素の分布をもとに変化率の低い部分領域を対象に前記矩形の領域内の複数箇所に追跡オブジェクトの小画像切り出し窓として設定されていることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。

【請求項5】

前記局所領域は、前記矩形の領域内に、前記存在位置からの高さＨをもとに複数定義され、同領域内の各画像がオブジェクトモデルパターンとして前記マッチング評価の対象になることを特徴とする請求項３に記載の画像処理装置。

【請求項6】

前記追跡オブジェクトの類似判定手段には、算出方法を異にする複数組のパターンマッチングの評価式が用意され、前記外部パラメータには、前記複数組のパターンマッチングの評価式のいずれか一組を前記追跡オブジェクトの類似判定手段が実施するパターンマッチングの評価式として指定するパラメータが含まれる請求項２又は３に記載の画像処理装置。

【請求項7】

複数組のパターンマッチングの評価式の中から選択された評価式をもとに前記相関判定テーブルに前記相関係数が設定されることを特徴とする請求項３に記載の画像処理装置。

【請求項8】

所定の周期で入力された撮影画像を入力順に順次差分処理して、変化した画素を含む矩形の領域を抽出し、抽出した矩形の領域を過去の複数の矩形の領域から生成した予測領域をもとに追跡する画像処理装置としてコンピュータを機能させるための領域追跡プログラムであって、
前記矩形の領域内に複数の局所領域を設定するとともに、前記矩形の領域を構成する画素位置に画素単位でパターンマッチング判定用の閾値を設定する外部パラメータの設定機能と、
追跡している矩形の領域から前記局所領域それぞれの画像パターンを切り出す局所領域のパターン抽出機能と、
前記画像パターンをマッチング評価のためのテンプレートとして保持する局所領域のパターン保持機能と、
前記局所領域のパターン抽出手段が前記画像パターンを切り出す都度、切り出した画像パターンと前記局所領域のパターン保持手段に保持されている画像パターンとを照合し、前記閾値をもとにマッチング評価を実施して、前記追跡している矩形の領域の相関有無を判定する類似判定機能と、
前記マッチング評価で相関有りと判定されたとき、前記保持されている画像パターンを前記切り出された最新の画像パターンに更新するテンプレート更新機能とをコンピュータに実現させるための領域追跡プログラム。

【請求項9】

カメラで撮影した撮像画面を所定の周期で入力し、今回入力した画面上の画像と前回入力した画面上の画像とを差分処理して画面上の変化した画素を含む矩形の領域を抽出する領域抽出機能と、前記領域抽出機能により抽出された領域が、前記画面上で新たに抽出された領域であるか否かを判定し、新たに抽出された領域であるとき、当該抽出した領域を、追跡処理の対象となる新規オブジェクトとして登録する新規オブジェクトの登録処理機能と、前記新規オブジェクトの登録処理機能により登録されたオブジェクトについて、当該オブジェクトを未確定オブジェクトとして、前記領域抽出機能が前記領域を抽出する都度、今回抽出した領域の位置および大きさを示す情報と前回抽出した領域の位置および大きさを示す情報とをもとに前記未確定オブジェクトを追跡する未確定オブジェクトの追跡処理機能と、前記未確定オブジェクトの追跡処理機能が所定時間継続して追跡した未確定オブジェクトについて、当該オブジェクトを確定オブジェクトとして、前記領域抽出機能が領域を抽出する都度、当該抽出した領域の位置および大きさを示す情報と、前記未確定オブジェクトの追跡時における時系列の位置情報に基づく最小自乗近似により求める予測方向に従い追跡の都度更新される予測領域の位置および大きさを示す情報と移動速度情報とをもとに、前記確定オブジェクトを追跡する確定オブジェクトの追跡処理機能とを有した画像処理装置としてコンピュータを機能させるための領域追跡プログラムであって、
前記矩形の領域内に複数の局所領域を設定するとともに、前記矩形の領域を構成する画素位置に画素単位でパターンマッチング判定用の閾値を設定する外部パラメータの設定機能と、
前記未確定オブジェクトから確定オブジェクトになった新規確定オブジェクトを初回の処理対象として、前記確定オブジェクトが判定される都度、当該オブジェクトの矩形の領域から前記局所領域それぞれの画像パターンを切り出す局所領域のパターン抽出機能と、
前記画像パターンをマッチング評価のためのテンプレートとして保持する局所領域のパターン保持機能と、
前記画像パターンが切り出される都度、切り出された画像パターンと前記保持された画像パターンとを照合し、前記閾値をもとにマッチング評価を実施して、追跡している確定オブジェクトの相関有無を判定する追跡オブジェクトの類似判定機能と、
前記マッチング評価で相関有りと判定されたとき、現在追跡中の確定オブジェクトを同定して前記保持されている画像パターンを前記切り出された最新の画像パターンに更新し次回のマッチング評価の実施に備えるテンプレート更新機能とをコンピュータに実現させるための領域追跡プログラム。

【請求項10】

前記局所領域は、前記矩形の領域内における底辺の予め定めた位置を前記矩形で囲われた追跡オブジェクトの存在位置として、この存在位置に対して前記矩形の領域内における位置が設定され、
前記追跡オブジェクトの類似判定機能は、前記入力した画面の画素を単位にパターンマッチング評価のための相関係数が設定された相関判定テーブルを有して、前記存在位置における前記相関判定テーブル上の相関係数を用い、前記追跡オブジェクトの類似判定を行うことを特徴とする請求項９に記載の領域追跡プログラム。

【請求項11】

前記追跡オブジェクトの類似判定機能には、算出方法を異にする複数組のパターンマッチングの評価式が用意され、これら評価式の中から選択された評価式をもとに前記相関判定テーブルに前記相関係数が設定されることを特徴とする請求項１０に記載の領域追跡プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、単眼カメラで撮影した特定画像の追跡処理に適用して好適な画像処理装置および領域追跡プログラムに関する。

【背景技術】

【0002】

単眼カメラで撮影した監視画像を処理対象とする画像処理装置として、所定の周期で入力した画面上の現在画像と過去画像から変化画素を含む矩形の領域を抽出し、抽出した矩形の領域を処理対象オブジェクトとして追跡する画像処理装置が知られている（特許第４４２７０５２号）。この画像処理装置は、上記抽出された領域が、画面上で新たに抽出された領域であるか否かを判定し、新たに抽出された領域であるとき、当該抽出した領域を追跡処理の対象となる新規オブジェクトとして登録し、登録されたオブジェクトを未確定オブジェクトとして、今回抽出した領域の位置および大きさを示す情報と前回抽出した領域の位置および大きさを示す情報とをもとに追跡し、さらに所定時間継続して追跡した未確定オブジェクトを確定オブジェクトとして未確定オブジェクトの追跡時における時系列の位置情報に基づく最小自乗近似により求める予測方向に従い追跡の都度更新される予測領域の位置および大きさを示す情報と移動速度情報とをもとに追跡する追跡処理機能を実現している。

【0003】

この画像処理装置は既に監視カメラシステムとして実用化されているが、追跡対象が一旦停止した場合の時間経過を伴う特定の監視パターンにおいて追跡対象を誤認識する追跡性能上の不具合な事象が認識され、追跡性能をより向上させた画像処理技術が要望された。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平９−９１４３９号公報

【特許文献2】特開平１０−１１１９４６号公報

【特許文献3】特開平１１−１３６６６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述した不具合な事象を、処理負荷の大幅増を招くことなく経済的に有利な構成で解消し、追跡性能をより向上させた画像処理装置および領域追跡プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の実施形態は、所定の周期で入力された撮影画像を入力順に順次差分処理して、変化した画素を含む矩形の領域を抽出し、抽出した矩形の領域を過去の複数の矩形の領域から生成した予測領域をもとに追跡する画像処理装置において、前記矩形の領域内に複数の局所領域を設定するとともに、前記矩形の領域を構成する画素位置に画素単位でパターンマッチング判定用の閾値を設定する外部パラメータの設定手段と、追跡している矩形の領域から前記局所領域それぞれの画像パターンを切り出す局所領域のパターン抽出手段と、前記画像パターンをマッチング評価のためのテンプレートとして保持する局所領域のパターン保持手段と、前記局所領域のパターン抽出手段が前記画像パターンを切り出す都度、切り出した画像パターンと前記局所領域のパターン保持手段に保持されている画像パターンとを照合し、前記閾値をもとにマッチング評価を実施して、前記追跡している矩形の領域の相関有無を判定する類似判定手段と、前記類似判定手段が前記追跡している矩形の領域の相関有りを判定したとき、前記局所領域のパターン保持手段に保持されている画像パターンを前記局所領域のパターン抽出手段が切り出した最新の画像パターンに更新するテンプレート更新手段とを具備した画像処理装置を提供する。

【0007】

また本発明の実施形態は、所定の周期で入力した画面上の現在画像と過去画像を差分処理して、変化した画素を含む矩形の領域を抽出する領域抽出処理手段と、前記領域抽出処理手段が抽出した領域のうち、新たに抽出した領域を、追跡処理の対象となる新規オブジェクトとして登録する新規オブジェクトの登録処理手段と、前記新規オブジェクトの登録処理手段により登録されたオブジェクトを未確定オブジェクトとして、前記領域抽出処理手段が領域を抽出する都度、今回抽出した領域の位置および大きさを示す情報と前回抽出した領域の位置および大きさを示す情報とをもとに前記未確定オブジェクトを追跡する未確定オブジェクトの追跡処理手段と、前記未確定オブジェクトの追跡処理手段が所定時間継続して追跡した未確定オブジェクトについて、当該オブジェクトを確定オブジェクトとして、前記領域抽出処理手段が領域を抽出する都度、当該抽出した領域の位置および大きさを示す情報と、前記未確定オブジェクトの追跡時における時系列の位置情報に基づく最小自乗近似により求める予測方向に従い追跡の都度更新される予測領域の位置および大きさを示す情報と移動速度情報をもとに、前記確定オブジェクトを追跡する確定オブジェクトの追跡処理手段とを具備した画像処理装置において、前記矩形の領域内に複数の局所領域を設定するとともに、前記矩形の領域を構成する画素位置に画素単位でパターンマッチング判定用の閾値を設定する外部パラメータの設定手段と、前記未確定オブジェクトから確定オブジェクトになった新規確定オブジェクトを初回の処理対象として、前記確定オブジェクトが判定される都度、当該オブジェクトの矩形の領域から前記局所領域それぞれの画像パターンを切り出す局所領域のパターン抽出手段と、前記画像パターンをマッチング評価のためのテンプレートとして保持する局所領域のパターン保持手段と、前記局所領域のパターン抽出手段が前記画像パターンを切り出す都度、切り出した画像パターンと前記局所領域のパターン保持手段に保持されている画像パターンとを照合し、前記閾値をもとにマッチング評価を実施して、追跡している確定オブジェクトの相関有無を判定する追跡オブジェクトの類似判定手段と、前記追跡オブジェクトの類似判定手段が前記追跡している確定オブジェクトの相関有りを判定したとき、現在追跡中の確定オブジェクトを同定して前記局所領域のパターン保持手段に保持されている画像パターンを前記局所領域のパターン抽出手段が切り出した最新の画像パターンに更新するテンプレート更新手段とを具備した画像処理装置を提供する。

【0008】

また本発明の実施形態は、所定の周期で入力された撮影画像を入力順に順次差分処理して、変化した画素を含む矩形の領域を抽出し、抽出した矩形の領域を過去の複数の矩形の領域から生成した予測領域をもとに追跡する画像処理装置としてコンピュータを機能させるための領域追跡プログラムであって、前記矩形の領域内に複数の局所領域を設定するとともに、前記矩形の領域を構成する画素位置に画素単位でパターンマッチング判定用の閾値を設定する外部パラメータの設定機能と、追跡している矩形の領域から前記局所領域それぞれの画像パターンを切り出す局所領域のパターン抽出機能と、前記画像パターンをマッチング評価のためのテンプレートとして保持する局所領域のパターン保持機能と、前記局所領域のパターン抽出手段が前記画像パターンを切り出す都度、切り出した画像パターンと前記局所領域のパターン保持手段に保持されている画像パターンとを照合し、前記閾値をもとにマッチング評価を実施して、前記追跡している矩形の領域の相関有無を判定する類似判定機能と、前記マッチング評価で相関有りと判定されたとき、前記保持されている画像パターンを前記切り出された最新の画像パターンに更新するテンプレート更新機能とをコンピュータに実現させるための領域追跡プログラムを提供する。

【0009】

また本発明の実施形態は、カメラで撮影した撮像画面を所定の周期で入力し、今回入力した画面上の画像と前回入力した画面上の画像とを差分処理して画面上の変化した画素を含む矩形の領域を抽出する領域抽出機能と、前記領域抽出機能により抽出された領域が、前記画面上で新たに抽出された領域であるか否かを判定し、新たに抽出された領域であるとき、当該抽出した領域を、追跡処理の対象となる新規オブジェクトとして登録する新規オブジェクトの登録処理機能と、前記新規オブジェクトの登録処理機能により登録されたオブジェクトについて、当該オブジェクトを未確定オブジェクトとして、前記領域抽出機能が前記領域を抽出する都度、今回抽出した領域の位置および大きさを示す情報と前回抽出した領域の位置および大きさを示す情報とをもとに前記未確定オブジェクトを追跡する未確定オブジェクトの追跡処理機能と、前記未確定オブジェクトの追跡処理機能が所定時間継続して追跡した未確定オブジェクトについて、当該オブジェクトを確定オブジェクトとして、前記領域抽出処理機能が領域を抽出する都度、当該抽出した領域の位置および大きさを示す情報と、前記未確定オブジェクトの追跡時における時系列の位置情報に基づく最小自乗近似により求める予測方向に従い追跡の都度更新される予測領域の位置および大きさを示す情報と移動速度情報とをもとに、前記確定オブジェクトを追跡する確定オブジェクトの追跡処理機能とを有した画像処理装置としてコンピュータを機能させるための領域追跡プログラムであって、前記矩形の領域内に複数の局所領域を設定するとともに、前記矩形の領域を構成する画素位置に画素単位でパターンマッチング判定用の閾値を設定する外部パラメータの設定機能と、前記未確定オブジェクトから確定オブジェクトになった新規確定オブジェクトを初回の処理対象として、前記確定オブジェクトが判定される都度、当該オブジェクトの矩形の領域から前記局所領域それぞれの画像パターンを切り出す局所領域のパターン抽出機能と、前記画像パターンをマッチング評価のためのテンプレートとして保持する局所領域のパターン保持機能と、前記画像パターンが切り出される都度、切り出された画像パターンと前記保持された画像パターンとを照合し、前記閾値をもとにマッチング評価を実施して、追跡している確定オブジェクトの相関有無を判定する追跡オブジェクトの類似判定機能と、前記マッチング評価で相関有りと判定されたとき、現在追跡中の確定オブジェクトを同定して前記保持されている画像パターンを前記切り出された最新の画像パターンに更新し次回のマッチング評価の実施に備えるテンプレート更新機能とをコンピュータに実現させるための領域追跡プログラムを提供する。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係る画像処理装置の構成を示すブロック図。

【図2】上記実施形態に係る画像処理装置の処理手順を示すフローチャート。

【図3】上記実施形態に係る未確定オブジェクト追跡部の処理動作を説明するための動作説明図。

【図4】上記実施形態に係る未確定オブジェクト追跡部の処理動作を説明するための動作説明図。

【図5】上記実施形態に係る確定オブジェクト追跡部の処理動作を説明するための動作説明図。

【図6】上記実施形態に係る確定オブジェクト追跡部の処理動作を説明するための動作説明図。

【図7】上記実施形態に係る確定オブジェクト追跡部の処理動作を説明するための動作説明図。

【図8】上記実施形態に係る確定オブジェクトの同定処理機能を実現する要部の構成要素を示す機能ブロック図。

【図9】上記実施形態に係る確定オブジェクトの追跡処理手順を示すフローチャート。

【図10】上記確定オブジェクトの追跡処理において実施されるパターンマッチングによる類似判定処理手順を示すフローチャート。

【図11】上記パターンマッチングによる類似判定処理動作を説明するための相関判定用パラメータテーブルと追跡オブジェクトの存在位置（例えば、矩形下端中央位置とする場合は、オブジェクトの足元位置）との関係を示す図。

【図12】上記パターンマッチングが実施される局所領域の設定例を示す図。

【図13】上記パターンマッチングが実施される局所領域の設定例を示す図。

【図14】上記パターンマッチングが実施される局所領域の設定例を示す図。

【発明を実施するための形態】

【0011】

以下図面を参照して本発明の実施形態を説明する。

【0012】

この実施形態は、単眼カメラ（１台のカメラ）の画像処理において、画像を取り込む毎に、過去画像と現在画像との差から画像中の変化画素領域を矩形の領域として抽出し、時系列に得られた抽出領域の情報から現在の領域の対応付けを行い、領域の移動を追跡する。この領域追跡処理を実現するため、画面上の変化画素領域を矩形の領域として抽出し、この領域を追跡する二種の領域追跡処理手段を有して、これら各領域追跡処理手段により段階的に継続して領域追跡を行うことで、処理負荷の軽減と処理速度の高速化を図った効率の良い領域追跡を可能にしている。この二種の領域追跡処理手段として、未確定オブジェクトの追跡処理手段と、確定オブジェクトの追跡処理手段とを備える。未確定オブジェクトの追跡手段は、時系列に抽出した領域の領域情報をもとに前回抽出した矩形の領域を拡大した予測領域を一時的に生成し、当該予測領域に、今回抽出した矩形の領域が交差するとき、今回抽出した矩形の領域を未確定オブジェクトとしてオブジェクトの追跡を行う。確定オブジェクトの追跡手段は、抽出した領域の領域情報と、未確定オブジェクトの追跡に伴う時系列の位置情報に基づく最小自乗（二乗）近似により求め、追跡の都度更新される予測方向に従い生成した予測領域情報と移動速度情報をもとに、確定オブジェクトの追跡を行う。

【0013】

この未確定オブジェクトから確定オブジェクトに移行した追跡中のオブジェクトについて、予測領域に存在する確定オブジェクトが現在追跡中の確定オブジェクトであることを確認する追跡オブジェクト確認処理を実施する。すなわち追跡中の確定オブジェクトを同定する確定オブジェクトの同定処理を実施する。この現在追跡中の確定オブジェクトの同定処理はパターンマッチングによる相関チェックにより実施される。

【0014】

この実施形態に係る確定オブジェクトの同定処理機構は、図８に示すように、上記矩形の領域内に複数の局所領域を設定するとともに、上記矩形の領域を構成する画素位置に画素単位でパターンマッチング判定用の閾値を設定する外部パラメータの設定手段Ｐａと、上記未確定オブジェクトから確定オブジェクトになった新規確定オブジェクトの矩形の領域から上記局所領域それぞれの画像パターンを切り出す局所領域のパターン抽出手段Ｐｂと、上記画像パターンをマッチング評価のためのテンプレートとして保持する局所領域のパターン保持手段Ｐｃと、上記局所領域のパターン保持手段Ｐｃにテンプレートが保持された状態で上記確定オブジェクトが判定される都度、当該オブジェクトの矩形の領域から上記局所領域それぞれの画像パターンを切り出す局所領域のパターン抽出手段Ｐｄと、上記局所領域のパターン抽出手段Ｐｄが上記画像パターンを切り出す都度、切り出した画像パターンと上記局所領域のパターン保持手段Ｐｃに保持されている画像パターンとを照合し、上記閾値をもとにマッチング評価を実施して、追跡している確定オブジェクトの相関有無を判定する追跡オブジェクトの類似判定手段Ｐｅと、上記追跡オブジェクトの類似判定手段Ｐｅが上記追跡している確定オブジェクトの相関有りを判定したとき、現在追跡中の確定オブジェクトを同定して上記局所領域のパターン保持手段Ｐｃに保持されている画像パターンを上記局所領域のパターン抽出手段Ｐｄが切り出した最新の画像パターンに更新するテンプレート更新手段Ｐｆとを具備している。上記局所領域のパターン抽出手段Ｐｂは後述する未確定オブジェクト追跡部１５７ｂに付加機能部として設けられ、上記局所領域のパターン抽出手段Ｐｄと類似判定手段Ｐｅとテンプレート更新手段Ｐｆは後述する確定オブジェクト追跡部１５７ａに付加機能部として設けられる。

【0015】

このようにパターンマッチングによる相関チェックは、変化画素領域を矩形で囲った画像領域を対象に行うのではなく、上記矩形で囲った画像領域内に設定された複数箇所の局所領域から切り出した画像パターンの相関チェックによるマッチング評価により実施される。

【0016】

この局所領域の画像パターンの相関チェックによるマッチング評価により、変化画素領域を矩形で囲った画像領域全体を相関チェックの対象とする場合に比し、マッチング評価のための処理負荷を大幅に低減できる。これにより既存の画像処理システムにおいて実時間処理機能に影響を及ぼすことなく確定オブジェクトの同定処理が実施可能となり、追跡性能をより向上させた画像処理システムを構築することができる。

【0017】

この図８に示す確定オブジェクトの同定処理機構の詳細については図９乃至図１４を参照して後述する。

【0018】

上記実施形態にかかる画像処理装置の構成を図１に示す。なお、この実施形態では、カメラから取り込んだ１フレーム分の画像データを、単に画像若しくは画面上の画像若しくは一画面分の画像と称している。

【0019】

本発明の実施形態に係る画像処理装置は、図１に示すように、カメラ１１と、キャプチャ部１２と、画像処理記憶部１３と、画像処理部１５と、表示部１６とを具備して構成される。

【0020】

カメラ１１は、レンズユニットとレンズユニットの結像位置に設けられた撮像素子（例えばＣＣＤ固体撮像素子、若しくはＣＭＯＳイメージセンサ）とを具備して、屋外若しくは屋内の動きを伴う被写体（動物体）を対象に、撮像した一画面分の画像を所定の画素単位（例えば１フレーム３２０×２４０画素＝ＱＶＧＡ）で出力する。

【0021】

キャプチャ部１２は、カメラ１１が撮像したフレーム単位の画像を画像処理部１５の処理対象画像（入力画像）として取り込み、画像処理記憶部１３内の画像バッファ１４に保持する処理機能をもつ。この画像バッファ１４に取り込む画面上の入力画像は、ここでは原画像とするが、エッジ画像であってもよい。

【0022】

画像処理記憶部１３は、画像処理部１５の処理に供される、キャプチャ部１２が取り込んだ入力画像および処理中の各画像を含む各種データを記憶する。この画像処理記憶部１３には、画像処理部１５の制御の下に、キャプチャ部１２が取り込んだフレーム単位の画像のうち、今回取り込んだ一画面分の画像（現在画像）と、前回取り込んだ一画面分の画像（過去画像）をそれぞれ処理対象画像として保持する画像バッファ１４を構成する領域が確保されるとともに、画像処理部１５の処理に用いられる画像領域が確保される。さらに画像処理記憶部１３には、画像処理部１５の処理に供される各種のパラメータおよび制御データを記憶する記憶領域、確定および未確定オブジェクトの登録並びに追跡処理に於いて生成若しくは取得される各種情報の記憶領域等も確保される。

【0023】

この記憶領域には、上記した画像バッファ１４を含むワーク領域に加え、後述する確定オブジェクトの同定処理を実施するための各種領域が確保される。この確定オブジェクトの同定処理には、図１１に示すように、入力画像の１フレームに相当する画素構成（３２０×２４０画素）のパターンマッチング判定用の閾値（相関係数）を設定する相関判定用パラメータテーブル（ＣＣ−ＴＢＬ）、およびこの相関判定用パラメータテーブル（ＣＣ−ＴＢＬ）に設定された閾値（相関係数）を参照してマッチング評価を行う、算出方法を異にする複数組のパターンマッチングの評価式（後述する）が予め用意される。さらに上記記憶領域には、後述する画像処理部１５の領域抽出処理機能により抽出された矩形の領域（ＡＳ）内の複数箇所に、追跡オブジェクトの存在位置（例えば、矩形下端中央位置とする場合は、オブジェクトの足元位置）（ＰＦ）の位置座標、およびこの存在位置（ＰＦ）をもとに設定された追跡オブジェクトの小画像切り出し窓となる局所領域（Ａ１〜Ａ３）を設定する位置座標を保持するパラメータ領域や、この局所領域（Ａ１〜Ａ３）をもとに上記矩形の領域の画像から切り出された小画面の画像パターン（Ｐ１〜Ｐ３）をテンプレートとして保持するバッファ領域や、マッチング評価の結果（相関あり／なし）を保持するフラグ領域など、確定オブジェクトの同定処理に供される種々のワーク領域が確保される。ここでは局所領域から切り出された画像パターン（テンプレート）を保持するバッファをパターンモデル保持部と呼称する。またマッチング評価の結果を保持するフラグ領域を類似判定フラグと呼称する。

【0024】

画像処理部１５は、画像バッファ１４に保持された過去画像と現在画像を差分処理して二値化した差分二値化画像を生成し、この差分二値化画像に含まれるノイズを除去して、この差分二値化画像から、変化画素を含む矩形の領域を抽出し、当該矩形の領域を処理対象に、領域を追跡する一連の画像処理を行うもので、前処理部１５１、差分処理部１５２、二値化処理部１５３、ノイズ除去フィルタ１５４、領域化処理部１５６、領域追跡処理部１５７等を具備して構成される。

【0025】

これら画像処理部１５の構成要素のうち、前処理部１５１、差分処理部１５２、二値化処理部１５３、ノイズ除去フィルタ１５４、および領域化処理部１５６は、カメラ１１から所定の周期で取り込んだ画面上の現在画像（今回取り込んだ画面上の画像）と過去画像（前回取り込んだ画面上の画像）とを差分処理して、変化した画素を含む矩形の領域を抽出する領域抽出処理機能を実現する。さらに上記した画像処理部１５の構成要素のうち、前処理部１５１、差分処理部１５２、および二値化処理部１５３は、今回取り込んだ現在画像と前回取り込んだ過去画像とを差分処理して二値化した差分二値化画像を生成する差分二値化画像生成手段を実現する。

【0026】

上記した画像処理部１５の各構成要素のうち、前処理部１５１は、画像バッファ１３に貯えた過去画像と現在画像との比較（変化画素領域を抽出するための差分処理）に際し、キャプチャ部１２が取り込んだ一画面分の入力画像に対して予め定められた前処理（平滑化処理、エッジ処理等）を実行する。差分処理部１５２は前処理部１５１を介した過去画像と現在画像とを画素単位で比較して差分領域を抽出する。

【0027】

二値化処理部１５３は、差分処理部１５２で差分処理した画像を画像記憶部１３に保持されている予め設定された閾値に従い二値化して、差分二値化画像を生成する。この差分二値化画像は、画像処理記憶部１３に予め確保した領域（差分二値化画像領域）に記憶される。

【0028】

ノイズ除去フィルタ１５４は、拡散フィルタ１５４ａと収縮フィルタ１５４ｂとを有して構成され、上記差分二値化画像から動物体領域の抽出に不要なノイズ（ごま塩状の変化画素）を除去する。このノイズ除去フィルタ１５４の構成要素をなす拡散フィルタ１５４ａは、上記差分二値化画像の最外周を除く各画素に対して注目画素を順次設定し、設定した注目画素に隣接する斜め方向の画素中（４画素中）に変化画素が存在するとき、上記注目画素を変化画素とする拡散フィルタリング処理を行う。収縮フィルタ１５４ｂは、上記拡散フィルタ１５４ａで処理した画像に対して注目画素に隣接する周囲８画素若しくは４画素をもとに収縮フィルタリング処理を行う。このノイズ除去フィルタ１５４でノイズ除去した各フレーム（画面）毎の差分二値化画像は画像処理記憶部１３の画像領域に記憶される。

【0029】

領域化処理部１５６は、上記ノイズ除去フィルタ１５４でノイズ除去した差分二値化画像を画面上の矩形の領域に領域化する処理を行う。この領域化処理では、差分二値化画像として抽出された画面上の変化画素領域を矩形で囲い、画面上からこの矩形の領域を抽出することによって、差分二値化画像を画面上の矩形の領域に領域化する。領域化処理部１５６は、この矩形の領域を示す、画面上に於ける位置及び大きさを示す左上（ｘ０，ｙ０）および右下（ｘ１，ｙ１）の座標データを矩形の領域情報として領域追跡処理部１５７に送出する。

【0030】

領域追跡処理部１５７は、領域化処理部１５６から受けた矩形の領域情報をもとに、領域化処理部１５６が抽出した矩形の領域を追跡する処理を行う。領域追跡処理部１５７は、領域化処理部１５６が矩形の領域を抽出する都度、画面上の動きを伴う画像（動物体画像）の比較により抽出された差分二値化画像に代わって、領域化処理部１５６が抽出した矩形の領域を追跡処理対象オブジェクトとして追跡処理する。この領域追跡処理部１５７は、確定オブジェクト追跡部１５７ａと、未確定オブジェクト追跡部１５７ｂと、新規オブジェクト登録部１５７ｃと、不要オブジェクト除去部１５７ｄとを具備して構成される。

【0031】

未確定オブジェクト追跡部１５７ｂは、確定オブジェクト追跡部１５７ａが追跡しているオブジェクト（確定オブジェクト）を除く画面上の領域を対象に、オブジェクト（未確定オブジェクト）の追跡を行う。

【0032】

新規オブジェクト登録部１５７ｃは、確定オブジェクト追跡部１５７ａが追跡しているオブジェクト、および未確定オブジェクト追跡部１５７ｂが追跡しているオブジェクトを除く画面上の領域を対象に、新規オブジェクトの登録処理を行う。

【0033】

未確定オブジェクト追跡部１５７ｂは、領域追跡の都度、追跡している領域について、確定オブジェクト追跡部１５７ａが領域予測に用いる所定の情報を生成し蓄積する処理機能をもつ。また、確定オブジェクト追跡部１５７ａは、領域追跡の都度、未確定オブジェクト追跡部１５７ｂが生成した領域情報を用いて追跡オブジェクトを確定（確定オブジェクトとする）し、追跡を継続するとともに、追跡に用いた領域情報を用いて、領域予測に用いる所定の情報を更新する処理機能をもつ。

【0034】

確定オブジェクト追跡部１５７ａは、未確定オブジェクト追跡部１５７ｂが複数回に亘り連続して追跡した（追跡に成功した）未確定オブジェクトを、確定オブジェクトとし、継続してオブジェクトを追跡処理するもので、領域化処理部１５６が矩形の領域を抽出する都度、領域化処理部１５６が抽出した矩形の領域の情報と、未確定オブジェクト追跡部１５７ｂが未確定オブジェクトの追跡時において生成した時系列の位置情報に基づく最小自乗近似により求めた予測方向に従う予測位置および予測領域の情報とをもとに、オブジェクト（確定オブジェクト）の追跡を行う。確定オブジェクト追跡部１５７ａは、未確定オブジェクト追跡部１５７ｂが一定の期間に亘るオブジェクトの追跡処理で取得した情報（後述する、領域の幅、高さの平均値と標準偏差、および連続する画面相互の対応付けによって得られた画面上を移動する矩形の領域の速度の平均値と標準偏差等）を用いて、追跡に利用する領域（近傍領域）の妥当性をチェックする（図９ステップＳ２５〜Ｓ２７参照）。領域が不適当な場合は、予測情報を利用して追跡を継続する。さらに上記未確定オブジェクトの追跡処理で取得した領域の位置および速度の情報をもとに最小自乗（二乗）近似式により求めた予測移動方向情報を用いて現在領域の位置を予測し、その位置付近に出現した領域との対応付けを実施する。この確定オブジェクトの追跡処理は、設定されたパラメータの値に従う予測情報による連続追跡回数（例えば５回）又は総追跡回数（例えば３００回）をもって終了する。さらに確定オブジェクト追跡部１５７ａは、オブジェクトの追跡処理に於いて、未確定オブジェクト追跡部１５７ｂが生成した、オブジェクト情報を含む領域情報および移動速度情報、予測方向を更新する。これら各情報の具体例については後述する。

【0035】

未確定オブジェクト追跡部１５７ｂは、新規オブジェクト登録部１５７ｃが登録した新規オブジェクトを未確定オブジェクトとして追跡処理するもので、領域化処理部１５６が矩形の領域を抽出する都度、前回抽出した矩形の領域（領域の幅及び高さ）を拡大した予測領域を一時的に生成し、当該予測領域に、今回抽出した矩形の領域が交差するとき、今回抽出した矩形の領域を未確定オブジェクトとして、オブジェクトの追跡を行う。

【0036】

未確定オブジェクト追跡部１５７ｂは、領域化処理部１５６が矩形の領域を抽出する都度、前回抽出した矩形の領域について、領域の幅（ｘ方向）及び高さ（ｙ方向）を拡大し、この拡大した領域を予測領域として、この予測領域に、今回抽出した矩形の領域が交差するとき、今回抽出した矩形の領域を未確定オブジェクトとして、オブジェクトの追跡を行う。この実施形態では、予め設定したパラメータの値（ｅｗ／ｅｈ）に従い領域の幅と高さを拡げた予測領域を生成することによって、追跡処理のより簡素化並びに高速化を図っているが、追跡の都度、時系列に変化する領域の情報をもとに予測領域の幅と高さを設定し、予測領域の拡げる幅および高さを可変にすることも可能である。

【0037】

さらに、未確定オブジェクト追跡部１５７ｂは、オブジェクトの追跡処理に於いて、時系列に変化する領域の情報をもとに、確定オブジェクト追跡部１５７ａが継続してオブジェクトを追跡する際に必要とする情報を生成する。ここでは、オブジェクトの追跡処理に於いて、時系列に変化する領域の情報をもとに、オブジェクト情報を含む領域情報と、移動速度情報とを含む所定の情報を生成する。オブジェクト情報には、領域を特定する矩形および面積の情報、および領域切出画像（領域追跡には必要としない）が含まれ、領域情報には、領域幅情報（領域幅、領域幅二乗値）、領域高さ情報（領域高さ、領域高さ二乗値）、領域幅統計情報（平均値、標準偏差、変動率、総和、二乗総和（平均値と変動率は予測情報生成時に利用））、領域高さ統計情報（平均値、標準偏差、変動率、総和、二乗総和等（平均値と変動率は予測情報生成時に利用））等が含まれる。移動速度情報には、移動速度情報（移動速度、移動速度二乗値）、移動速度統計情報（平均値、標準偏差、変動率、総和、二乗総和（平均値と変動率は予測情報生成時に利用））等が含まれる。

【0038】

確定オブジェクト追跡部１５７ａは、未確定オブジェクト追跡部１５７ｂの追跡処理で生成した、これらの情報を使用し、更新しながら確定オブジェクトの追跡処理を行う。

【0039】

上記した確定オブジェクト追跡部１５７ａおよび未確定オブジェクト追跡部１５７ｂにおいて、追跡中の確定オブジェクトを同定する、確定オブジェクトの同定処理が付加機能として設けられる。

【0040】

この付加機能の概要を図８に機能ブロックで示している。

【0041】

また、上記未確定オブジェクト追跡部１５７ｂは、複数回に亘り連続して追跡した（追跡に成功した）未確定オブジェクトを、確定オブジェクトとして引き続き確定オブジェクト追跡部１５７ａに追跡させる際に、確定オブジェクトの同定処理を実施するため、上記確定オブジェクトとなる未確定オブジェクトについて、当該オブジェクトの矩形の領域から上記局所領域（Ａ１〜Ａ３）の画像パターン（Ｐ１〜Ｐ３）を切り出し、この切り出した画像パターン（Ｐ１〜Ｐ３）をマッチング評価の対象となる初回のパターンモデル（テンプレート）として画像処理記憶部１３に設けられたパターンモデル保持部に保持する局所領域のパターン抽出処理機能を備えている。

【0042】

また、確定オブジェクト追跡部１５７ａは、確定オブジェクトの同定処理を実施するため、確定オブジェクトを判定する都度、当該新規確定オブジェクトの矩形の領域から上記局所領域（Ａ１〜Ａ３）の画像パターン（Ｐ１〜Ｐ３）を切り出し、この切り出した新規確定オブジェクトの画像パターン（Ｐ１〜Ｐ３）と、パターンモデル保持部にテンプレートとして保持された既確定オブジェクトの画像パターン（Ｐ１〜Ｐ３）とを照合し、上記相関判定用パラメータテーブル（ＣＣ−ＴＢＬ）に設定された追跡オブジェクトの存在位置（例えば、矩形下端中央位置とする場合は、オブジェクトの足元位置）（ＰＦ）の相関係数をもとにマッチング評価を実施して、追跡している確定オブジェクトの相関有無を判定する追跡オブジェクトの類似判定処理機能、および当該類似判定処理で、追跡している確定オブジェクトの相関有りを判定したとき、現在追跡中の確定オブジェクトを同定して（最新の確定オブジェクトが現在追跡中の確定オブジェクトであることを確認して）パターンモデル保持部に保持されている画像パターン（Ｐ１〜Ｐ３）を新規確定オブジェクトから切り出した最新の画像パターン（Ｐ１〜Ｐ３）に更新し（テンプレートとなる画像を更新し）、次回のマッチング評価の実施に備える画像パターンの更新処理機能を備えている。

【0043】

この追跡中の確定オブジェクトを同定する確定オブジェクトの同定処理については図９乃至図１４を参照して後述する。

【0044】

新規オブジェクト登録部１５７ｃは、上記確定オブジェクト追跡部１５７ａ、および未確定オブジェクト追跡部１５７ｂが追跡処理しているオブジェクトの追跡領域を除く画面上の領域に新たに出現した矩形の領域を新規オブジェクトとして認識し登録する処理を行う。この新規オブジェクトの登録処理では、領域化処理部１５６から受けた領域情報をもとに、矩形の領域の位置（座標）および面積を示すオブジェクト情報を生成し、このオブジェクト情報を画像処理記憶部１３の予め定められた記憶領域に格納する。

【0045】

不要オブジェクト除去部１５７ｄは、不要なオブジェクト（確定オブジェクトおよび不確定オブジェクト）を削除する処理を行う。不要オブジェクト除去部１５７ｄは、例えば未確定オブジェクト若しくは確定オブジェクトとして追跡しているオブジェクトが終了となった場合に、当該未確定オブジェクト若しくは確定オブジェクトを削除する（不要オブジェクトを画像処理記憶部１３から消去する）。

【0046】

表示部１６は上記画像処理部１５で画像処理された動物体領域を表示出力する。

【0047】

ここで、図２乃至図７を参照して上記画像処理部１５に於けるオブジェクトの追跡処理動作を説明する。

【0048】

上記した画像処理部１５に於けるオブジェクトの追跡処理手順を図２に示す。

【0049】

画像処理部１５において、差分処理部１５２は、画像バッファ１４に保持された過去画像と現在画像とを画素単位で比較し、変化した画素単位の領域を差分領域として抽出する（ステップＳ１１）。この差分処理部１５２で差分処理した画像は、二値化処理部１５３により二値化され、領域化処理部１５６により画面上の矩形の領域に領域化される（ステップＳ１２）。

【0050】

領域追跡処理部１５７は、領域化処理部１５６が領域化した矩形の領域情報を入力すると、当該入力した矩形の領域情報を追跡対象オブジェクトとして追跡処理する。

【0051】

初期動作時においては、追跡処理の対象となるオブジェクト（未確定オブジェクトおよび確定オブジェクト）が存在しないので、領域化処理部１５６から入力された矩形の領域が新規オブジェクト登録部１５７ｃにおいて、新規オブジェクトとして登録される（ステップＳ１５）。

【0052】

新規オブジェクト登録部１５７ｃにおいて、新規オブジェクトが登録されると、領域化処理部１５６が再び矩形の領域を抽出する、次の処理サイクル以降において、未確定オブジェクト追跡部１５７ｂは、新規オブジェクト登録部１５７ｃが登録した新規オブジェクトを未確定オブジェクトとして追跡処理を開始する（ステップＳ１４）。

【0053】

この未確定オブジェクト追跡部１５７ｂにおける未確定オブジェクトの追跡は、新規オブジェクト登録部１５７ｃの登録処理にてエントリーされているオブジェクトに対して、前回抽出されたオブジェクトの位置と領域情報を利用して、現在の出現領域位置（以下予測領域と呼ぶ）を以下のように予測する。

【0054】

未確定オブジェクト追跡部１５７ｂは、領域化処理部１５６が矩形の領域を抽出する都度、図３に示すように、前回抽出した矩形の領域３０１を拡大した予測領域３０２を生成し、この予測領域３０２に、今回抽出した矩形の領域３０３が交差するとき、今回抽出した矩形の領域３０３を未確定オブジェクトとして、オブジェクトの追跡を行う。

【0055】

未確定オブジェクト追跡部１５７ｂは、領域化処理部１５６が矩形の領域を抽出する都度、前回抽出した矩形の領域３０１に対して、当該領域の位置座標（ｘ０，ｙ０），（ｘ１，ｙ１）、およびこの座標値をもとに生成された領域の幅および高さの情報から求まる中心座標（重心位置）ｃｐ（ｍｉｄ Ｘ，ｍｉｄ Ｙ）と、設定されたパラメータの値（ｅｘ／ｅｈ）をもとに、領域幅をｅｘピクセル分、領域高さをｅｈピクセル分、それぞれ両方向に拡大した、予測領域３０２を生成し、この予測領域３０２に、今回抽出した矩形の領域３０３が交差するとき、今回抽出した矩形の領域３０３を未確定オブジェクトとして、オブジェクトの追跡を続行する。なお、予測領域３０２は、今回の追跡処理の終了に伴い消滅する一時的な領域である。

【0056】

この際、今回抽出した矩形の領域が１つも予測領域に交差しないときは、不要オブジェクト除去部１５７ｄにより、当該未確定オブジェクトを不要オブジェクトであるとして、削除する（ステップＳ１６）。

【0057】

さらに未確定オブジェクト追跡部１５７ｂは、領域化処理部１５６が抽出した矩形の領域が追跡対象領域であるとき、当該領域の位置座標（ｘ０，ｙ０）、（ｘ１，ｙ１）と、この位置座標をもとに生成した、領域の幅（ｘ１−ｘ０）および高さ（ｙ１−ｙ０）、面積、中心座標ｃｐ（ｍｉｄ Ｘ，ｍｉｄ Ｙ）等の各情報を画像処理記憶部１３の予め定められた記憶領域に格納する。

【0058】

上記した未確定オブジェクト追跡部１５７ｂの追跡処理により、ある未確定オブジェクトが連続して複数回追跡され、その追跡処理の回数が、予め設定されたパラメータの値に従う追跡回数（例えば５回）になったとき、この未確定オブジェクトを確定オブジェクトにするか否かの判定を行う。この判定処理は、確定オブジェクト追跡部１５７ａ、未確定オブジェクト追跡部１５７ｂのいずれで行ってもよいが、ここでは未確定オブジェクト追跡部１５７ｂが行うものとする。

【0059】

未確定オブジェクト追跡部１５７ｂは、未確定オブジェクトを所定回数（ここでは５回）連続して追跡したとき、未確定オブジェクトを連続して追跡した際に生成し採取した各領域の情報をもとに、領域幅、領域高さ、移動速度の各標準偏差を求め、この各標準偏差をパラメータにより予め設定した図４に示す許容標準偏差（ｓ）（領域幅、領域高さ、移動速度にそれぞれで許容標準偏差は異なるパラメータで設定する）と比較することにより行う。ここで、未確定オブジェクトの情報をもとに生成した、領域幅、領域高さ、移動速度の各標準偏差が、それぞれパラメータにより設定された許容標準偏差（ｓ）以内であるとき、その未確定オブジェクトを確定オブジェクトとする。未確定オブジェクトの情報をもとに生成した、領域幅、領域高さ、移動速度の各標準偏差のうち、少なくとも一つの標準偏差が、パラメータにより設定された許容標準偏差（ｓ）より大きいとき、出現領域のばらつきが大きいとして、この未確定オブジェクトの追跡を終了する。不要オブジェクト除去部１５７ｄによりこの未確定オブジェクトを削除する。

【0060】

この未確定オブジェクトの追跡処理において、確定オブジェクトとなる未確定オブジェクトについて、当該オブジェクトの矩形の領域から局所領域（Ａ１〜Ａ３）の画像（Ｐ１〜Ｐ３）を切り出し、この切り出した画像パターン（Ｐ１〜Ｐ３）をマッチング評価の対象となる初回のパターンモデル（テンプレート）として画像処理記憶部１３に設けられたパターンモデル保持部に保持する局所領域のパターン抽出処理が実施される。

【0061】

この判定で、確定オブジェクトと判定されたオブジェクトに対して、確定オブジェクト追跡部１５７ａは、予測方向と領域幅、領域高さ、移動速度の変動率を算出し、これらの情報を用いて領域予測を行い、上記確定オブジェクトと判定されたオブジェクトについて継続して追跡処理を行う（ステップＳ１３）。

【0062】

確定オブジェクト追跡部１５７ａは、領域化処理部１５６が矩形の領域を抽出する都度、この領域化処理部１５６が抽出した矩形の領域に対し、未確定オブジェクト追跡部１５７ｂが未確定オブジェクトの追跡時において生成した時系列の位置情報に基づく最小自乗近似により求めた予測方向に従う予測位置に予測領域を生成し、この予測領域を用いて確定オブジェクトの追跡を開始する。

【0063】

この確定オブジェクトの追跡処理は、図５に示すように、前回抽出した矩形の領域（過去の領域）５０１の位置及び領域と、当該領域の重心位置ｃｐ（ｍｉｄ Ｘ，ｍｉｄ Ｙ）と、予測方向（ｄ）から求まる予測移動方向Ｐｄ（角度θｂ）と、移動速度とをもとに予測領域５０２を生成し、この予測領域５０２に、今回抽出した矩形の領域（現在の領域）５０３が交差するとき、今回抽出した矩形の領域５０３を確定オブジェクトとして、オブジェクトの追跡を続行する。この際の予測移動方向Ｐｄ（角度θｂ）の算出は、図６に示すように、位置統計情報から、最小二乗法による係数Ａと係数Ｂを求め、相関係数を算出する。そして、現在位置情報（ｘ）と最も古い位置情報（ｘ）を利用して、近似直線の相関係数が高い場合は、最新、最古の位置情報ｘに対する近似直線上のＹを求め、それぞれの位置情報から予測移動方向Ｐｄ（角度θａ）を求める。相関が低い場合には最新、最古の座標情報ｙから予測移動方向（角度θｂ）を求め利用する。

【0064】

この確定オブジェクトの追跡処理において、予測領域５０２に、複数の領域（近傍領域）が交差するときは、この複数の近傍領域をそれぞれ候補領域として、交差面積が最も大きい候補領域から、順に、領域の妥当性判断を行い、妥当性の高い候補の領域を追跡対象領域（追跡する確定オブジェクト）とする。この際の妥当性の判定は、図７の領域幅、領域高さ、移動速度、それぞれの統計情報における各標準偏差×３（３σ）を用いて、領域幅、領域高さ、移動速度の各妥当性を判断し、（３σ）よりも差が大きいとき、妥当でないと判断する。領域幅、領域高さ、移動速度の少なくともいずれか２つの妥当性が確認されたとき、その候補領域を追跡対象領域（追跡する確定オブジェクト）とする。上記の妥当性が確認されないときは次の候補領域に対して上記同様の判定処理を行う。追跡対象領域が確定した時、その領域情報を追加して、領域幅統計情報、領域高さ統計情報、移動速度統計情報、予測方向の更新を行う。追跡対象領域が確定できなかった場合は、予測領域を現在領域としてこれら統計情報、予測方向の更新を行う。この確定オブジェクトの追跡処理は、予測領域上に１つも交差する領域が存在しない状態が連続して発生し、設定されたパラメータ値に従う予測情報による連続追跡回数（例えば５回）に達した場合、又は総追跡回数（例えば３００回）に達した場合をもって終了する。

【0065】

この確定オブジェクトの追跡処理において、追跡する確定オブジェクトであると判定され、妥当性が確認された追跡対象領域（近傍領域）に対して、すなわち妥当性ありと判定された確定オブジェクト（候補）に対して、追跡中の確定オブジェクトを同定する確定オブジェクトの同定処理が実施される。この同定処理を含めた確定オブジェクトの追跡処理手順を図９に示している。同図において、上記した確定オブジェクトの追跡処理手順をステップＳ２１〜Ｓ２７に示し、確定オブジェクトを同定する確定オブジェクトの同定処理手順をステップＳ３０（Ｓ３１〜Ｓ３４）に示している。また図９に示すステップＳ３１の詳細を図１０に示している。

【0066】

上記した、新規オブジェクトの登録処理（ステップＳ１５）と、未確定オブジェクトの追跡処理（ステップＳ１４）と、確定オブジェクトの追跡処理（ステップＳ１３）とを繰り返し実行することによって、カメラ１１で撮影した画面上の変化領域の追跡処理を効率よく実行することができる。また、上記した領域追跡処理部１５７の各処理機能をプログラムパッケージ化して提供することにより、既存の画像処理システムにおいて、未確定オブジェクト追跡処理機能と、確定オブジェクト追跡処理機能とを組み合わせた、簡素で高速な処理を可能にした画像追跡処理システムを容易に構築することができる。

【0067】

次に図９乃至図１４を参照して、追跡中の確定オブジェクトを同定する確定オブジェクトの同定処理動作を説明する。確定オブジェクトの追跡処理手順を図９に示し、この図９に示す確定オブジェクトの追跡処理において実施されるパターンマッチングによる類似判定処理手順を図１０に示し、このパターンマッチングによる類似判定処理動作を説明するための相関判定用パラメータテーブル（ＣＣ−ＴＢＬ）と追跡オブジェクトの存在位置（ＰＦ）との関係を図１１に示し、このパターンマッチングが実施される局所領域（Ａ１〜Ａ３）の設定例を図１２乃至図１４に示している。なお、ここでは一例として追跡オブジェクトの存在位置（ＰＦ）を、足元位置（矩形下端中央位置）としている。

【0068】

また、追跡中の確定オブジェクトを同定する確定オブジェクトの同定処理に用いられるマッチング評価式として、ここでは、（１）式に示されるＳＳＤ（輝度値の差の二乗和）と、（２）式に示されるＳＡＤ（輝度値の差の絶対値和）と、（３）式に示されるＮＣＣ（Normalized Cross-Correlation：正規化相互相関）と、（４）式に示されるＺＮＣＣ（Zero-means Normalized Cross-Correlationゼロ平均正規化相互相関）の４種の評価式が用意され、その１種の評価式が外部パラメータにより選択される（式中のＩｍ及びＴｍは、入力画像、テンプレート画像のそれぞれ平均値を表す）。（１）式に示されるＳＳＤと（２）式に示されるＳＡＤは、それぞれ値が小さいほど類似性が高く、（３）式に示されるＮＣＣと（４）式および（５）式に示されるＺＮＣＣは、それぞれ１（上限）に近いほど類似性が高くなることから、確定オブジェクトを同定する確定オブジェクトの同定処理に参照される相関判定用パラメータテーブル（ＣＣ−ＴＢＬ）には、選択された評価式に固有の値をもつ閾値（相関係数）が設定される。

【数1】

【0069】

【数2】

【0070】

【数3】

【0071】

【数4】

【0072】

【数5】

【0073】

追跡中の確定オブジェクトを同定する確定オブジェクトの同定処理を実施するに際し、初期設定の段階で、追跡中の確定オブジェクトを同定するためのマッチング評価式が選択されるとともに、この評価式に適合したパターンマッチング判定用の閾値となる相関係数が相関判定用パラメータテーブル（ＣＣ−ＴＢＬ）に設定される。またオブジェクトの追跡時に抽出される矩形の領域（ＡＳ）に対して、追跡オブジェクトの足元位置（ＰＦ）、およびこの足元位置（ＰＦ）を基準位置とした局所領域（Ａ１〜Ａ３）がそれぞれ外部パラメータとして設定される。

【0074】

追跡中の確定オブジェクトを同定する確定オブジェクトの同定処理では、上述した未確定オブジェクトの追跡処理（図２に示すステップＳ１４の追跡処理）において、未確定オブジェクトから確定オブジェクトとなる追跡中のオブジェクトが存在すると、当該オブジェクトの矩形の領域（ＡＳ）から局所領域（Ａ１〜Ａ３）の画像（Ｐ１〜Ｐ３）を切り出し、この切り出した画像パターン（Ｐ１〜Ｐ３）をマッチング評価の対象となる初回のパターンモデル（テンプレート）として画像処理記憶部１３に設けられたパターンモデル保持部に保持する局所領域のパターン抽出処理が実施される。

【0075】

確定オブジェクト追跡部１５７ａは、すでに図２に示すステップＳ１３の処理で説明したように、未確定オブジェクト追跡部１５７ｂが複数回に亘り連続して追跡に成功した未確定オブジェクトを、確定オブジェクトとし、継続してオブジェクトを追跡処理する。ここでは、領域化処理部１５６が矩形の領域を抽出する都度、領域化処理部１５６が抽出した矩形の領域の情報と、未確定オブジェクト追跡部１５７ｂが未確定オブジェクトの追跡時において生成した時系列の位置情報に基づく最小自乗近似により求めた予測方向に従う予測位置および予測領域の情報とをもとに、確定オブジェクトの追跡を行う。この追跡過程において未確定オブジェクト追跡部１５７ｂが一定の期間に亘るオブジェクトの追跡処理で取得した、領域の幅、高さの平均値と標準偏差、および連続する画面相互の対応付けによって得られた画面上を移動する矩形の領域の速度の平均値と標準偏差などの情報を用いて、追跡に利用する領域（近傍領域）の妥当性をチェックする（図９ステップＳ２１〜Ｓ２７）。領域が不適当な場合は、上記予測情報を利用して追跡を継続する。領域が妥当であると判定されると（図９ステップＳ２７ Ｙｅｓ）、この妥当性ありと判定された確定オブジェクトについて、現在追跡中の確定オブジェクトの同定処理が実施される（図９ステップＳ３０）。この同定処理は矩形の領域（ＡＳ）内に設定された３領域（Ａ１〜Ａ３）の画像集合（Ｐ１〜Ｐ３）を判定対象に実施される。

【0076】

この同定処理は、確定オブジェクトの妥当性ありを判定する都度、当該オブジェクトの矩形の領域（ＡＳ）から局所領域（Ａ１〜Ａ３）の画像（Ｐ１〜Ｐ３）を切り出して、この切り出した確定オブジェクトの画像パターン（Ｐ１〜Ｐ３）と、パターンモデル保持部にテンプレートとして保持された既確定オブジェクトの画像パターン（Ｐ１〜Ｐ３）とを照合し、相関判定用パラメータテーブル（ＣＣ−ＴＢＬ）に設定された追跡オブジェクトの足元位置（ＰＦ）の相関係数をもとにマッチング評価を実施して、追跡している確定オブジェクトの相関有無を判定し、妥当性ありを判定された確定オブジェクトが現在追跡中の確定オブジェクトであるか否かの類似判定を行う（図９ステップＳ３１）。

【0077】

この類似判定処理で、追跡している確定オブジェクトの相関有りを判定すると（図９ステップＳ３２ Ｙｅｓ）、画像処理記憶部１３に設けられた類似判定フラグに相関ありのフラグを立て、現在追跡中の確定オブジェクトを同定して（最新の確定オブジェクトが現在追跡中の確定オブジェクトであることを確認して）、パターンモデル保持部にテンプレートとして保持されている画像パターン（Ｐ１〜Ｐ３）を新規確定オブジェクトから切り出した最新の画像パターン（Ｐ１〜Ｐ３）に更新し（テンプレートを更新し）、次回のマッチング評価の実施に備える（図９ステップＳ３３）。

【0078】

また、上記妥当性の判定で、妥当性なしと判定された場合（図９ステップＳ２７ Ｎｏ）、若しくは相関有無の判定で相関なしと判定された場合（図９ステップＳ３２ Ｎｏ）は、近傍領域が存在しない、すなわち予測位置の近傍に領域が存在しないと判定された場合（図９ステップＳ２５ Ｎｏ）と同様に、今回判定の対象となった確定オブジェクトを追跡中のオブジェクトから除外した予測扱いとし、上記したテンプレートの更新を行わずに次回のマッチング評価の実施に備える（図９ステップＳ３４）。

【0079】

上記した、妥当性ありを判定された確定オブジェクトが現在追跡中の確定オブジェクトであるか否かの類似判定（図９ステップＳ３１）における処理手順を図１０に示している。

【0080】

この類似判定処理では、画像処理記憶部１３に設けられた類似判定フラグに相関ありが初期設定された後（図１０ステップＳ３１１）、相関判定用パラメータテーブル（ＣＣ−ＴＢＬ）を参照して、妥当性ありと判定された確定オブジェクトの矩形の領域（ＡＳ）の足元位置（ＰＦ）の相関係数を取得する（図１０ステップＳ３１２）。

【0081】

ここで足元位置（ＰＦ）の相関関数が未使用を示すｏｆｆであるときは、相関有無の判定処理を行わず、一意に相関ありと判定して次回の類似判定（マッチング評価の判定）に移行する（図１０ステップＳ３１３ Ｙｅｓ）。

【0082】

また、相関判定用パラメータテーブル（ＣＣ−ＴＢＬ）から取得した足元位置（ＰＦ）の相関関数が１以下の小数であるときは、
妥当性ありと判定された確定オブジェクトの矩形の領域（ＡＳ）から局所領域（Ａ１〜Ａ３）の画像（Ｐ１〜Ｐ３）を現在確定領域のオブジェクトパターンモデルとして取得し（図１０ステップＳ３１４）、取得した新規確定オブジェクトの画像パターン（Ｐ１〜Ｐ３）と、パターンモデル保持部にテンプレート（既存オブジェクトパターンモデル）として保持された既確定オブジェクトの画像パターン（Ｐ１〜Ｐ３）とを照合して、相関判定用パラメータテーブル（ＣＣ−ＴＢＬ）に設定された足元位置（ＰＦ）の相関係数をもとにマッチング評価を実施する（図１０ステップＳ３１５〜Ｓ３１６）。

【0083】

ここで相関ありと判定されたときは、類似判定フラグに相関ありのフラグを立てた状態のまま今回の類似判定（マッチング評価の判定）を終える（図１０ステップＳ３１６ Ｙｅｓ）。

【0084】

また相関なしと判定されたときは（図１０ステップＳ３１６ Ｎｏ）、類似判定フラグに相関なしのフラグを立て次回の類似判定（マッチング評価の判定）に移行する（図１０ステップＳ３１７）。

【0085】

このように、確定オブジェクトの追跡処理の都度、追跡中の確定オブジェクトを同定する確定オブジェクトの同定処理が実施されることから、追跡性能をより向上させた信頼性の高い動物体領域の移動監視が可能となる。

【0086】

この追跡対象となる、動物体を矩形で囲った確定オブジェクトの矩形の領域（ＡＳ）に、局所領域（Ａ１〜Ａ３）を設定する場合の具体例を図１２乃至図１４に示している。追跡対象となる動物体が人物である場合の局所領域（Ａ１〜Ａ３）の設定例を図１２に示し、追跡対象となる動物体が車両である場合の局所領域（Ａ１〜Ａ３）の設定例を図１３および図１４に示している。道路上の斜め上方から車両を撮影した例を図１３に示し、道路上の斜め上側方から車両を撮影した例を図１４に示している。ここではいずれの場合も矩形の領域（ＡＳ）内において、局所領域を符号Ａ１，Ａ２，Ａ３で示す３箇所に設定した例を示している。この局所領域（Ａ１〜Ａ３）は、各領域がそれぞれ８画素×８画素のドットマトリクスにより構成され、領域（ＡＳ）の高さサイズをＨとし、幅をＷとしたとき、領域（ＡＳ）の底辺の１／２位置を追跡オブジェクトの足元位置（ＰＦ）とし、この足元位置（ＰＦ）を鉛直方向下端として、領域（ＡＳ）の鉛直方向上端から下端に向けて３部位にそれぞれ係数（Ｐ１，Ｐ２，Ｐ３＝外部パラメータ）を乗じた８画素×８画素の矩形画素集合（ブロック画像）を設定する。ここでは、いずれの場合も、１／２Ｈ以上の高さ位置を下限に、Ｐ１＝１１／１２、Ｐ２＝３／４、Ｐ３＝１／２の３領域がデフォルト値として与えられ、それぞれテンプレートとして用いられる。

【0087】

因みにこの３領域は、図１２に示す人物である場合、人物の生体計測から人体の身長を用いて人体寸法の概算値が求められ、急激な変化が激しい下半身を除き、急激な変化が少ない、頭部、胸部、腰部をテンプレートとして利用している。また図１３および図１４に示す車両の場合も、車両間隔や影部分やカメラの設置位置などを考慮して１／２Ｈ以上の高さ位置を下限に、Ｐ１＝１１／１２、Ｐ２＝３／４、Ｐ３＝１／２の３領域がデフォルト値として与えられている。この領域（ＡＳ）内の３部位をテンプレートの抽出領域となる局所領域（Ａ１〜Ａ３）としたことで、最も効果の高い追跡性能が得られた。この局所領域（Ａ１〜Ａ３）によるピンポイントのパターンマッチング評価による確定オブジェクトの同定処理により、実時間処理機能に影響を及ぼすことのない軽度の処理負荷の増加で、追跡性能をより向上させた画像処理システムが構築可能である。

【0088】

なお、上記した実施形態では、確定オブジェクトの矩形の領域（ＡＳ）内に、３部位の局所領域（Ａ１〜Ａ３）を設定しているが、これに限らず、システムの処理性能や処理能力を考慮して２部位以上の任意の部位の局所領域の設定が可能である。また、上記実施形態では、追跡中の確定オブジェクトを同定する確定オブジェクトの同定処理に用いられるマッチング評価式として、ここでは、（１）式に示されるＳＳＤ（輝度値の差の二乗和）と、（２）式に示されるＳＡＤ（輝度値の差の絶対値和）と、（３）式に示されるＮＣＣ（Normalized Cross-Correlation：正規化相互相関）と、（４）式に示されるＺＮＣＣ（Zero-means Normalized Cross-Correlationゼロ平均正規化相互相関）の４種の評価式を用意した例を示したが、これに限らず、例えば１種の評価式のみを用いた機能設計であってもよい。要はこの発明の要旨を逸脱しない範囲で種々の設計変更や処理手順の変更が可能である。

【符号の説明】

【0089】

１１…カメラ、１２…キャプチャ部、１３…画像処理記憶部、１５…画像処理部、１６…表示部、１５１…前処理部、１５２…差分処理部、１５３…二値化処理部、１５４…ノイズ除去フィルタ、１５６…領域化処理部、１５７…領域追跡処理部、１５７ａ…確定オブジェクト追跡部、１５７ｂ…未確定オブジェクト追跡部、１５７ｃ…新規オブジェクト登録部、１５７ｄ…不要オブジェクト除去部、ＣＣ−ＴＢＬ…相関判定用パラメータテーブル、ＡＳ…矩形領域、ＰＦ…追跡オブジェクトの存在位置（例えば、矩形下端中央位置とする場合は、オブジェクトの足元位置）、Ａ１〜Ａ３…局所領域、Ｐ１〜Ｐ３…画像パターン。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】