特許 7554245 人物追跡方法及び人物追跡装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-10

(45)【発行日】2024-09-19

(54)【発明の名称】人物追跡方法及び人物追跡装置

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240911BHJP

   H04N 7/18 20060101ALI20240911BHJP

【ＦＩ】

G06T7/20 300Z

H04N7/18 D

【請求項の数】 7

(21)【出願番号】P 2022164515

(22)【出願日】2022-10-13

(65)【公開番号】P2024057695

(43)【公開日】2024-04-25

【審査請求日】2023-06-13

(73)【特許権者】

【識別番号】390028288

【氏名又は名称】技研トラステム株式会社

(74)【代理人】

【識別番号】100111257

【弁理士】

【氏名又は名称】宮崎 栄二

(74)【代理人】

【識別番号】100110504

【弁理士】

【氏名又は名称】原田 智裕

(72)【発明者】

【氏名】渋谷 覚

(72)【発明者】

【氏名】森田 聡二郎

(72)【発明者】

【氏名】古川 裕三

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１１－０８６０４５（ＪＰ，Ａ）

【文献】特許第７０５３０５７（ＪＰ，Ｂ２）

【文献】特開２００４－１７８２２９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

監視領域を上方から撮像した撮像画像中に映った人物を認識し経時的に追跡する人物追跡方法において、
前記撮像画像中から追跡対象となる人物を認識して検出する人物検出ステップと、
前記人物検出ステップで検出した人物を次のフレーム以後の撮像画像中から認識して追跡する人物追跡ステップとを有し、
前記撮像画像中の人物の認識方法として、人型の標準モデルの外形輪郭線に対する法線ベクトルについて、前記標準モデルの特徴点との間で、前記法線ベクトルの角度情報及び前記法線ベクトルの位置座標情報を算出したベクトル集合体を投票処理用データとして登録し、前記撮像画像に対して前記ベクトル集合体に従って投票処理を行い、この投票処理した結果の集中度を評価して人物を認識するベクトル焦点法による画像処理を行い、
前記人物検出ステップは、前記ベクトル焦点法による画像処理により人物の全身認識を行って人物を検出し、
前記人物追跡ステップは、前記ベクトル焦点法による画像処理により人物の頭部同定を行って人物を追跡する、人物追跡方法。

【請求項2】

請求項１に記載の人物追跡方法において、
前記人物追跡ステップは、現フレームの撮像画像中における追跡対象の人物が移動して次のフレームの撮像画像に映る移動可能範囲を算出する処理を行い、前記移動可能範囲において前記頭部同定を行って人物の追跡を行う、人物追跡方法。

【請求項3】

請求項１又は２に記載の人物追跡方法において、
前記人物追跡ステップは、前記頭部同定による人物の追跡に失敗したときだけ、前記ベクトル焦点法による画像処理により人物の全身認識を行って前記追跡対象の人物の追跡を行う、人物追跡方法。

【請求項4】

請求項１又は２に記載の人物追跡方法において、
前記人物追跡ステップは、前記頭部同定で複数の人物を認識した場合は、過去フレームの撮像画像中での前記追跡対象の人物の移動方向と移動速度から推定される一候補を前記追跡対象の人物として選択する、人物追跡方法。

【請求項5】

請求項１又は２に記載の人物追跡方法において、
前記人物追跡ステップは、１コマ前の前フレームの撮像画像中における追跡対象の人物の実画像における頭部のベクトル集合体を投票処理用データとして登録し、次のフレームの撮像画像において前記頭部のベクトル集合体に従って投票処理を行い頭部同定して人物を追跡する、人物追跡方法。

【請求項6】

撮像部で監視領域を上方から撮像した撮像画像中に映った人物を認識し経時的に追跡する人物追跡装置において、
前記撮像部で撮像された撮像画像が入力される画像入力部と、
前記画像入力部に入力された前記撮像画像を画像処理して、前記撮像画像中から追跡対象となる人物を認識して検出する人物検出部と、
前記画像入力部に入力された前記撮像画像を画像処理して、前記人物検出部で検出した人物を次のフレーム以後の撮像画像中から認識して追跡する人物追跡部とを備え、
前記画像処理は、人型の標準モデルの外形輪郭線に対する法線ベクトルについて、前記標準モデルの特徴点との間で、前記法線ベクトルの角度情報及び前記法線ベクトルの位置座標情報を算出したベクトル集合体を投票処理用データとして登録し、前記撮像画像に対して前記ベクトル集合体に従って投票処理を行い、この投票処理した結果の集中度を評価して人物を認識するベクトル焦点法による画像処理手段により実行され、
前記人物検出部は、前記ベクトル焦点法による画像処理手段により前記撮像画像中から人物の全身認識を行って人物を検出する人物認識部を有し、
前記人物追跡部は、現フレームの前記撮像画像中における追跡対象の人物が移動して次のフレームの撮像画像に映る移動可能範囲を算出する移動可能範囲算出部と、前記移動可能範囲において前記ベクトル焦点法による画像処理手段により人物の頭部同定を行って人物の追跡を行う頭部追跡部とを有する、人物追跡装置。

【請求項7】

請求項６に記載の人物追跡装置において、
前記人物追跡部は、前記頭部追跡部での前記頭部同定による人物の追跡に失敗した場合には、前記ベクトル焦点法による画像処理手段により人物の全身認識により前記追跡対象の人物の追跡を行う全身追跡部を更に有する、人物追跡装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視領域を上方から撮像した撮像画像中に映った人物を認識し経時的に追跡する人物追跡方法及び人物追跡装置に関する。

【背景技術】

【0002】

監視領域をカメラで撮像した撮像画像中から人物を認識して追跡する場合、人物画像や人物形状等のデータに基づいて画像処理を行って撮像画像中から人物（人物像）を認識して追跡する手法が開発されている。例えば、撮像画像中から人物の頭部を検出し、検出した頭部を経時的に追跡する技術が知られている。しかし、頭部だけを検出し追跡する場合は、手持ちのバッグや服装のプリント柄などを人物の頭部であると誤検出しやすいため、撮像画像中から安定して人物を検出し追跡することが困難であった。また、特許文献１には、人工知能により人物の全身画像に基づいて撮像画像中から追跡対象となる人物を検出し、検出した人物を全身の標準モデルに基づいてベクトル焦点法による画像処理により撮像画像上で追跡する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第７０５３０５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、撮像画像中の人物の追跡方法において、撮像画像中から人物の全身を認識して追跡する場合、追跡中に撮像画像に映った人物が屈み込んだり着席したり等して頭と胴体との位置関係が変化すると、人物の全身の標準モデルとの適合性が低下して人物を認識できなくなる。また、人物の胴体や下半身がテーブルや棚等の物に隠れると、この場合も全身の標準モデルとの適合性が低下して人物を認識できなくなる。このように従来の技術では、人物の姿勢変化や体の一部が物に隠れて消失する等、撮像画像中に映る人物の形の変化に対して人物の認識には弱く、同一人物の追跡を安定して行えないという問題があった。一方、人物の姿勢変化や体の一部の消失等にも良好に人物の認識が行えるように多様な人物形態の標準モデルを作成することが考えらえるが、実際、多様な人物形態を予め想定することは難しく、また、装置の計算負荷も膨大となり、実用的ではない。

【0005】

本発明は、以上の事情に鑑みてなされたものであり、撮像画像中に映る人物の形態の変化にかかわらず同一人物の追跡を安定して行うことができ、且つ、装置に計算負荷を掛けることがない、人物追跡方法及び人物追跡装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係る人物追跡方法は、
監視領域を上方から撮像した撮像画像中に映った人物を認識し経時的に追跡する人物追跡方法において、
前記撮像画像中から追跡対象となる人物を認識して検出する人物検出ステップと、
前記人物検出ステップで検出した人物を次のフレーム以後の撮像画像中から認識して追跡する人物追跡ステップとを有し、
前記撮像画像中の人物の認識方法として、人型の標準モデルの外形輪郭線に対する法線ベクトルについて、前記標準モデルの特徴点との間で、前記法線ベクトルの角度情報及び前記法線ベクトルの位置座標情報を算出したベクトル集合体を投票処理用データとして登録し、前記撮像画像に対して前記ベクトル集合体に従って投票処理を行い、この投票処理した結果の集中度を評価して人物を認識するベクトル焦点法による画像処理を行い、
前記人物検出ステップは、前記ベクトル焦点法による画像処理により人物の全身認識を行って人物を検出し、
前記人物追跡ステップは、前記ベクトル焦点法による画像処理により人物の頭部同定を行って人物を追跡する構成とする。

【0007】

本発明に係る人物追跡装置は、
撮像部で監視領域を上方から撮像した撮像画像中に映った人物を認識し経時的に追跡する人物追跡装置において、
前記撮像部で撮像された撮像画像が入力される画像入力部と、
前記画像入力部に入力された前記撮像画像を画像処理して、前記撮像画像中から追跡対象となる人物を認識して検出する人物検出部と、
前記画像入力部に入力された前記撮像画像を画像処理して、前記人物検出部で検出した人物を次のフレーム以後の撮像画像中から認識して追跡する人物追跡部とを備え、
前記画像処理は、人型の標準モデルの外形輪郭線に対する法線ベクトルについて、前記標準モデルの特徴点との間で、前記法線ベクトルの角度情報及び前記法線ベクトルの位置座標情報を算出したベクトル集合体を投票処理用データとして登録し、前記撮像画像に対して前記ベクトル集合体に従って投票処理を行い、この投票処理した結果の集中度を評価して人物を認識するベクトル焦点法による画像処理手段により実行され、
前記人物検出部は、前記ベクトル焦点法による画像処理手段により前記撮像画像中から人物の全身認識を行って人物を検出する人物認識部を有し、
前記人物追跡部は、現フレームの前記撮像画像中における追跡対象の人物が移動して次のフレームの撮像画像に映る移動可能範囲を算出する移動可能範囲算出部と、前記移動可能範囲において前記ベクトル焦点法による画像処理手段により人物の頭部同定を行って人物の追跡を行う頭部追跡部とを有する構成とする。

【発明の効果】

【0008】

以上のように、本発明によれば、撮像画像中において、人物の検出を全身で行い、追跡時は検出された人物の頭部のみを同定して追跡することにより、撮像画像中に映る人物の形態の変化にかかわらず同一人物の追跡を安定して行うことができる。また、追跡時は全身よりも約１／４程度小さい頭部の同定により同一人物を認識して追跡するので、装置の計算負荷を少なくすることができる。

【図面の簡単な説明】

【0009】

【図1】実施形態による人物追跡装置のブロック構成を示すブロック図である。

【図2】ベクトル焦点法による画像処理の概要を説明するための模式図である。

【図3】実際の撮像画像において全身認識で人物を検出しているイメージを表した撮像画像（図３（ａ））及び検出した人物の頭部を特定しているイメージを表した撮像画像（図３（ｂ））である。

【図4】実際の撮像画像において人物の頭部の移動可能範囲を特定しているイメージを表した撮像画像（図４（ｃ））及び頭部同定により人物の追跡を行っているイメージを表した撮像画像（図４（ｄ））である。

【図5】実施形態の人物追跡方法の処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0010】

以下に、本発明の実施形態について添付図面を参照しながら説明する。
図１に示すように、実施形態の人物追跡装置１は、カメラ（撮像部）２で監視領域を上方から撮像した撮像画像中に映った人物を認識し経時的に追跡する装置である。監視領域としては、人物が存在する様々な場所、施設、領域等を対象とすることができ、例えば、商品販売の店舗、飲食店、フードコート、オフィス等が挙げられる。カメラ２は、監視領域を撮像する撮像部を構成し、例えば、ＣＣＤカメラやＣＭＯＳカメラ等が使用される。カメラ２は、広角レンズを有して１台のカメラで監視領域を上方から周囲３６０度の範囲で撮像できるように監視領域の天井や壁面に設置されている。カメラ２と人物追跡装置１は、有線、無線又はＬＡＮ等のネットワークにより通信可能に接続されてカメラ２で撮像した監視領域の撮像画像が人物追跡装置１に入力される。なお、人物追跡装置１は、カメラ２とは接続されず、カメラ２で撮像した監視領域の撮像画像のデータを記憶させた記憶装置から撮像画像のデータを読み込む構成であってもよい。

【0011】

実施形態の人物追跡装置１は、カメラ２で撮像した撮像画像に対して、人物の存在を検出するときは人物の全身を認識する全身認識により検出し、検出した人物を追跡するときはその人物の頭部のみを同定する頭部同定により追跡を行う人物追跡方法を実行する装置である。なお、図１に示した人物追跡装置１のブロック構成は、後述する。

【0012】

本実施形態では、撮像画像中の人物の認識方法として、ベクトル焦点法による画像処理（特許第３３９０４２６号、特許第３４０６５８７号）により行う。ベクトル焦点法の画像処理について説明すると、図２（ａ）を参照して、予め作成した人型の標準モデルを撮像画像上に配置し、この撮像画像の各画素点について処理点を中心とする円形状にフーリエ変換（円形フーリエ）を行い各画素の例えば輝度の輝度勾配と勾配方向を算出する。輝度勾配が一定以上の画素を有効画素とする。この有効画素が前記標準モデルを反映した領域となる。輝度の勾配方向は、前記標準モデルの外形輪郭線に対する法線方向のベクトル（法線ベクトル）となる。この勾配方向は、例えば３６０度を１６方向に分割した各方向を選ぶようにしてもよい。続いて、有効画素の輝度勾配の位置（標準モデルの輪郭に相当する位置）について、標準モデルの特徴点（例えば中心点）との間で、勾配方向の角度（法線ベクトルの角度情報）と長さ（法線ベクトルの位置座標情報）とを算出し、これを前記標準モデルに対するベクトル集合体（投票処理用データ）として登録する。ベクトル集合体は、事前にカメラ２の設置環境（撮像画像上の位置に応じた人物の映り方など）に応じて撮像画像の全範囲に配置される標準モデルごとに登録される。そして、カメラ２で実際に撮像した撮像画像の人物を認識する際は、撮像画像上の画素点に対し円形フーリエを行って輝度勾配と勾配方向を算出し、この輝度勾配及び輝度方向で表す法線ベクトルに対して、前記ベクトル集合体の投票処理用データに従って特徴点への投票処理を行う。この投票処理の結果、所定範囲内に集まった評価点の集中度が一定以上有ると評価されると撮像画像中に標準モデルと適合した人物の存在を認識でき、人物を検出する（図２（ｂ）参照）。人物の追跡は、検出された人物に所定の追跡点を付して時間経過順の撮像画像に対して前記同様の画像処理により人物を認識して追跡点を紐づけて人物の追跡を行う。

【0013】

本実施形態では、カメラ２で実際に撮像した撮像画像に対して、人物の全身のベクトル集合体に従って投票処理を行う全身認識（図２（ｂ）参照）と、人物の頭部のみのベクトル集合体に従って投票処理を行う頭部同定（図２（ｃ）参照）とを実行する。撮像画像中からの人物の検出は、人物の全身認識（図２（ｂ）参照）により人物を検出する。この人物検出時の全身認識は、ベクトル焦点法による画像処理の際、予め作成した人型の標準モデルに基づくベクトル集合体に従って投票処理を行う。一方、撮像画像中の人物の追跡は、人物の頭部同定（図２（ｃ）参照）により人物を追跡する。人物追跡は、常時、１コマ前の前フレームの撮像画像中における人物（追跡対象）の実画像をいわば前記標準モデルとして得たベクトル集合体を投票処理用データとして登録し、次のフレームの撮像画像においてこの実画像のベクトル集合体に従って投票処理を行う。頭部同定は、実画像の人物の頭部における法線ベクトルを抽出して、この頭部のみのベクトル集合体を登録する。この頭部のベクトル集合体に従って投票処理を行うことで頭部を同定して同一人物の追跡を行う。これにより、人物の全身形状の経時的な変化にかかわらず、形状的な変化がほとんど無い頭部を同定することで人物の同一判定を行うことができ、追跡精度を向上することができる。また、本実施形態では、人物追跡時の前記頭部同定に失敗したときだけ全身認識を行って人物の追跡を行う。これにより、頭部位置の画像が背景画像と同化等したときでも、人物の同一判定を行うことができ、追跡精度を向上することができる。なお、追跡時の全身認識は、１コマ前の前フレームの撮像画像中における人物（追跡対象）の実画像の全身におけるベクトル集合体を投票処理用データとする。

【0014】

次に、本実施形態の人物追跡方法の概要について、図３、図４を参照して説明する。
人物追跡方法は、カメラ２で撮像した撮像画像中から人物を認識して検出する人物検出ステップと、人物検出ステップで検出した人物を次のフレーム以後の撮像画像上で追跡する人物追跡ステップとを有する。

【0015】

人物検出ステップでは、カメラ２から入力された撮像画像に対して人物の全身認識を行って人物を検出する（図３（ａ）参照）。ここで検出された人物は、追跡対象の人物となる。

【0016】

人物追跡ステップでは、まず、人物検出ステップで検出した人物の実画像から頭部の位置を特定する（図３（ｂ）参照）。そして、この頭部のベクトル集合体を投票処理用データとして登録し、また、次のフレームの撮像画像上での当該人物の頭部の移動可能範囲を特定する（図４（ｃ）参照）。

【0017】

そして、人物追跡ステップは、次のフレームの撮像画像において前記頭部の移動可能範囲内で人物の頭部同定を行う（図４（ｄ）参照）。前記移動可能範囲内での頭部の存在が確認されることで、前フレームの撮像画像の人物との同一性が照合され、追跡を行う。

【0018】

このように、本実施形態の人物追跡方法によれば、人物の検出を全身で行い、追跡時は頭部のみを同定して追跡（ヘッドトレース）する。すなわち、撮像画像中からの人物の検出は全身認識により確実に行う。この検出により撮像画像中の人物の存在位置が把握される。人物の存在位置付近で画像処理により頭部と認められる画像を認識した場合、それはほぼ間違いなく人物の頭部であると言える。また、撮像画像上での頭部の形自体は、人物の移動によってほとんど変化しない。従って、追跡時は、検出された人物の頭部のみの同一判定（頭部同定）でも間違いなく同一人物を追跡することができる。よって、追跡中の人物が屈み込んだり着席したり等して頭と胴体の位置関係が変わっても安定して人物の追跡を行うことができる。

【0019】

また、カメラ２を天井等に設置して監視領域を上方から撮像することで撮像画像に人物の頭部が良好に映されやすい。従って、撮像画像において、人物の胴体や下半身がテーブルや棚等で隠れたり、人が多く集まった混雑時に下半身が隠れたりしても、検出した人物の頭部が撮像画像に映されていれば、追跡時には検出した人物と同一人物の追跡を支障なく行うことができる。

【0020】

さらに、追跡時は全身よりも約１／４程度小さい頭部のみのベクトル集合体に従って投票処理を行うため、装置の計算負荷が少なくなり、低消費電力、低性能な装置動作環境でも人物の追跡を確実かつ高速に行うことができる。従って、人物追跡装置１として、メモリ量や計算処理能力の高い装置が必要となることもない。

【0021】

ところで、人物の頭部同定を行う際の頭部範囲は小さいため、人物の頭部の画像が撮像画像の背景画像と同化すると、十分な投票処理結果が得られず、追跡時の頭部同定を失敗する可能性がある。本実施形態では、人物追跡ステップにおいて、頭部同定に失敗したときだけ全身認識により追跡対象の人物の同一判定を実行して追跡を行う。すなわち、人物追跡ステップは、頭部同定に失敗した撮像画像において人物全体の移動可能範囲に対して人物の全身のベクトル集合体による投票処理用データに従って投票処理を行って追跡対象の人物の同一判定を実行して追跡を行う。これにより、追跡時に頭部の位置が背景と同化した場合でも、全身のベクトル集合体で投票処理することにより多くの投票処理結果を取得して追跡対象の人物の同一判定を確実に行うことでき、その結果、人物の追跡を続行することができる。

【0022】

また、人物の頭部同定の際に複数の人物の存在が判定される可能性がある。すなわち、頭部のベクトル集合体による投票処理結果で評価点の集中度の高い極大値が複数存在する場合も想定される。本実施形態では、人物追跡ステップにおいて、頭部同定で複数の人物の存在が判定された場合は、過去フレーム（例えば数コマ前から連続するフレーム）からの撮像画像より追跡対象の人物の移動方向と移動速度から推定される一候補を選択して追跡対象の人物を決定する。これにより、追跡時の頭部同定で複数の人物の存在が判定された場合でも、追跡対象の一人物を特定して追跡を続行することができる。

【0023】

次に、本実施形態の人物追跡装置１のブロック構成を説明する。
再び図１を参照して、人物追跡装置１は、画像入力部３、人物検出部４、人物追跡部５を主なブロック構成として備える。画像入力部３は、カメラ２から撮像画像が入力され、この撮像画像を人物検出部４と人物追跡部５とに出力する。

【0024】

人物検出部４は、撮像画像中に映った人物を認識して検出する処理を行う構成部分である。人物検出部４は、ベクトル焦点法による画像処理により撮像画像中から人物を検出する人物認識部４１を有する。人物認識部４１は、撮像画像の全範囲に対して、ベクトル焦点法による画像処理の際、人物の全身認識により人物を検出する処理を行う。この人物検出部４によって撮像画像中から初めて検出された人物は追跡対象の人物となる。

【0025】

人物追跡部５は、人物検出部４で検出した人物を追跡する処理を行う構成部分であり、人物検出部４で人物を検出した撮像画像の次のフレーム以後の撮像画像中においてベクトル焦点法による画像処理により追跡対象の人物を同定して追跡を行う。また、人物追跡部５は、ベクトル焦点法による画像処理に際して、常時、現フレームの撮像画像中から追跡対象の人物の実画像を基に投票処理用データとなるベクトル集合体を作成し、次のフレームの撮像画像において前記人物の実画像から抽出したベクトル集合体に従って投票処理を行い、人物の同一判定を行って人物を追跡する。人物追跡部５は、移動可能範囲算出部５１と、頭部追跡部５２と、全身追跡部５３とを有する。

【0026】

移動可能範囲算出部５１は、現フレームの撮像画像での追跡対象の人物が移動して次のフレームの撮像画像上に映る当該人物の移動可能範囲を特定する構成部分である。人物の移動可能範囲は、撮像画像上での人物の移動速度と移動方向とに基づいて算出される。頭部同定のための前記移動可能範囲は、追跡対象となる人物の頭部位置の移動可能範囲が算出される。全身認識のための前記移動可能範囲は、追跡対象となる人物の全身の移動可能範囲が算出される。なお、移動可能範囲算出部５１は、人物検出部４で撮像画像中から初めて検出された人物については、予測される移動方向が多いため、前記移動可能範囲は、想定される複数の移動方向へ移動速度分移動した範囲を含む広い範囲が算出され、追跡中の人物については、移動方向が確定しているため、前記移動可能範囲は、所定の移動方向へ移動速度分移動した範囲に絞り込むように算出することが可能となる。

【0027】

頭部追跡部５２は、撮像画像中において移動可能範囲算出部５１で特定した人物の頭部の移動可能範囲においてベクトル焦点法による画像処理により、人物の頭部のみのベクトル集合体に従って投票処理を行い、人物の同一判定（頭部同定）を行って人物を追跡する処理を行う。全身追跡部５３は、撮像画像中において移動可能範囲算出部５１で特定した人物の全身の移動可能範囲においてベクトル焦点法による画像処理により、人物の全身のベクトル集合体に従って投票処理を行い、人物の同一判定（全身認識）を行って人物を追跡する処理を行う。

【0028】

人物追跡部５での人物の追跡は、原則として頭部追跡部５２により行う。全身追跡部５３は、頭部追跡部５２で人物の頭部同定に失敗したときだけ実行して追跡対象の人物の追跡を行う。すなわち、頭部追跡部５２で人物の頭部のみのでは十分な投票処理結果が得られず頭部同定が不可となった場合、その撮像画像については全身追跡部５３で人物の全身に対する投票処理により得られる十分な投票処理結果で人物の同一性を判定し人物を追跡する。この全身追跡部５３で画像処理した撮像画像の次のフレームの撮像画像からは、再び頭部追跡部５２で人物の追跡を行う。

【0029】

次に、人物追跡装置１による人物追跡方法の処理の流れを説明する。
図５に示すように、人物追跡装置１の動作をスタートさせると、Ｓ１にて、画像入力部３にカメラ２で撮像した撮像画像が入力される。Ｓ２で、人物検出部４の人物認識部４１は、カメラ２から画像入力部３に入力された撮像画像に対して、ベクトル焦点法による画像処理により人物の全身認識を行い、Ｓ３で、撮像画像中における人物の認識座標を算出する。これにより、撮像画像に現れた人物が検出され、この人物が追跡対象の人物となる。

【0030】

人物検出部４で撮像画像中から追跡対象の人物が検出されると、人物追跡部５の移動可能範囲算出部５１は、追跡対象の人物に対して、Ｓ４で、頭部の位置を特定し、この頭部のみのベクトル集合体を投票処理用データとして登録し、Ｓ５で、次のフレームの撮像画像での頭部の移動可能範囲を算出する。

【0031】

Ｓ６で、人物追跡部５の頭部追跡部５２は、人物検出部４で人物を検出した撮像画像の次のフレームの撮像画像において、前記頭部の移動可能範囲でベクトル焦点法による画像処理により頭部のベクトル集合体に従って投票処理を実行し、追跡対象の人物の頭部同定を行う。Ｓ７で、頭部追跡部５２は、頭部同定に成功すると、Ｓ８へ進み、人物の追跡座標を出力することで人物を追跡する。ここで追跡中の人物に対して、Ｓ８での人物の追跡座標に基づいて、次のフレーム以後の撮像画像に対して、Ｓ４～Ｓ８のステップを繰り返すことで、画像入力部３に時間経過順に入力される撮像画像中から人物の頭部同定を行って人物の追跡を行う。

【0032】

一方、Ｓ７で、頭部追跡部５２における頭部同定に失敗した場合は、Ｓ９へ進む。Ｓ９では、人物追跡部５の全身追跡部５３は、頭部同定に失敗した撮像画像において、人物の全身の移動可能範囲でベクトル焦点法による画像処理により全身のベクトル集合体に従って投票処理を実行し、人物の全身認識により追跡対象の人物の同一性を判定する。Ｓ１０で、全身追跡部５３は、全身認識に成功し追跡対象の人物が同定されると、Ｓ８へ進み、人物の追跡座標を出力することで人物を追跡する。一方、Ｓ１０で、全身追跡部５３は、全身認識に失敗し追跡対象の人物を同定できなかった場合は、追跡対象の人物は撮像画像外へ移動したと判断し、Ｓ１１へ進み、人物の追跡を終了する。

【0033】

また、Ｓ７において、頭部同定の際、複数の人物の存在が確認された場合は、数コマ前から連続したフレーム（過去フレーム）の撮像画像より追跡対象の人物の移動方向と移動速度から推定される一候補を選択して追跡対象の人物を決定して、Ｓ８へ進み、人物の追跡を続行する。

【0034】

以上の説明からも明らかように、本実施形態によれば、撮像画像中において、人物の検出を全身で行って確実に人物を検出し、ここで検出した人物の座標位置が特定されるため、追跡時は検出された人物の頭部のみの頭部同定でも的確に同一人物を紐づけて追跡することができる。また、追跡時は、人物の頭部のみで人物の同一性を判定して追跡することにより、追跡中に撮像画像中に映る人物が屈み込む等して人物の全体形状に変化があっても頭部自体の形状変化はほとんど無いため、同一人物の追跡を安定して行うことができる。また、追跡時は全身よりも約１／４程度小さい頭部での画像処理により人物を追跡するので、装置の計算負荷を少なくすることができる。
なお、本発明は、前記実施形態に限定されるものではなく、特許請求の範囲内で様々な変更を行うことが可能である。

【符号の説明】

【0035】

１ 人物追跡装置
２ カメラ（撮像部）
３ 画像入力部
４ 人物検出部
５ 人物追跡部
４１ 人物認識部
５１ 移動可能範囲算出部
５２ 頭部追跡部
５３ 全身追跡部

【図1】

【図2】

【図3】

【図4】

【図5】