特許 7439784 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-19

(45)【発行日】2024-02-28

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   G06T 7/246 20170101AFI20240220BHJP

   G06T 7/90 20170101ALI20240220BHJP

   H04N 7/18 20060101ALI20240220BHJP

【ＦＩ】

G06T7/246

G06T7/90

H04N7/18 G

【請求項の数】 13

(21)【出願番号】P 2021040714

(22)【出願日】2021-03-12

(65)【公開番号】P2022140069

(43)【公開日】2022-09-26

【審査請求日】2023-03-08

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】澤田 龍樹

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０２０－１４９６４１（ＪＰ，Ａ）

【文献】特開２０２０－１４９６４２（ＪＰ，Ａ）

【文献】特開２０２０－１４９１１１（ＪＰ，Ａ）

【文献】特開２０２０－１６０９０１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

動画像の第１フレームにおいて追跡対象を設定する追跡対象設定部と、
前記第１フレームで設定した前記追跡対象の第１特徴に基づいて、第２フレームで前記追跡対象を追跡する第１特徴追跡部と、
前記第１フレームで設定した前記追跡対象の第２特徴に基づいて、第２フレームで前記追跡対象を追跡する第２特徴追跡部と、
所定の混合率で、前記第１特徴追跡部による追跡結果と、前記第２特徴追跡部による追跡結果とを混合する追跡管理部と、
前記追跡管理部が混合した混合結果に基づいて、前記第２フレームでの前記追跡対象の検出位置を出力する出力部と、
を備えており、
前記所定の混合率は、前記第１フレームの撮像範囲での前記追跡対象の位置に基づいて設定される
画像処理装置。

【請求項2】

動画像の第１フレームにおいて追跡対象を設定する追跡対象設定部と、
前記第１フレームで設定した前記追跡対象の第１特徴に基づいて、第２フレームで前記追跡対象を追跡する第１特徴追跡部と、
前記第１フレームで設定した前記追跡対象の第２特徴に基づいて、第２フレームで前記追跡対象を追跡する第２特徴追跡部と、
所定の混合率で、前記第１特徴追跡部による追跡結果と、前記第２特徴追跡部による追跡結果とを混合する追跡管理部と、
前記追跡管理部が混合した混合結果に基づいて、前記第２フレームでの前記追跡対象の検出位置を出力する出力部と、
を備えており、
前記所定の混合率は、前記第１フレームの撮像面に対する前記追跡対象の向きに基づいて設定される
画像処理装置。

【請求項3】

動画像の第１フレームにおいて追跡対象を設定する追跡対象設定部と、
前記第１フレームで設定した前記追跡対象の第１特徴に基づいて、第２フレームで前記追跡対象を追跡する第１特徴追跡部と、
前記第１フレームで設定した前記追跡対象の第２特徴に基づいて、第２フレームで前記追跡対象を追跡する第２特徴追跡部と、
所定の混合率で、前記第１特徴追跡部による追跡結果と、前記第２特徴追跡部による追跡結果とを混合する追跡管理部と、
前記追跡管理部が混合した混合結果に基づいて、前記第２フレームでの前記追跡対象の検出位置を出力する出力部と、
を備えており、
前記追跡対象設定部は、前記第１フレームの撮像範囲の中心位置から、前記追跡対象までの距離を取得し、
前記追跡管理部は、前記距離に基づいて前記所定の混合率を設定する、
画像処理装置。

【請求項4】

動画像の第１フレームにおいて追跡対象を設定する追跡対象設定部と、
前記第１フレームで設定した前記追跡対象の第１特徴に基づいて、第２フレームで前記追跡対象を追跡する第１特徴追跡部と、
前記第１フレームで設定した前記追跡対象の第２特徴に基づいて、第２フレームで前記追跡対象を追跡する第２特徴追跡部と、
所定の混合率で、前記第１特徴追跡部による追跡結果と、前記第２特徴追跡部による追跡結果とを混合する追跡管理部と、
前記追跡管理部が混合した混合結果に基づいて、前記第２フレームでの前記追跡対象の検出位置を出力する出力部と、
を備えており、
前記第１特徴は色特徴であり、前記第２特徴は形状特徴であって、
前記追跡管理部は、前記第１フレームの撮像範囲の中心位置から、前記追跡対象までの距離が大きいほど、前記色特徴の混合率が大きくなるように前記所定の混合率を設定する、
画像処理装置。

【請求項5】

前記第１特徴追跡部は、前記第２フレームにおいて、前記第１フレームでの前記追跡対象の色との色距離を求め、前記色距離に基づいて、前記第２フレームで前記追跡対象が存在する位置の尤度を示す尤度マップを生成し、
前記第２特徴追跡部は、前記第２フレームにおいて、前記第１フレームで前記追跡対象の位置をずらした画像との形状についての差分を求め、前記差分に基づいて、前記第２フレームで前記追跡対象が存在する位置の尤度を示す尤度マップを生成する、
請求項４に記載の画像処理装置。

【請求項6】

前記第２特徴追跡部は、ＫＣＦ（Ｋｅｒｎｅｌｉｚｅｄ Ｃｏｒｒｅｌａｔｉｏｎ Ｆｉｌｔｅｒ）を用いて、前記第２フレームで前記追跡対象が存在する位置の尤度を示す尤度マップを生成する、
請求項５に記載の画像処理装置。

【請求項7】

前記第１特徴追跡部による追跡結果は、前記第１特徴に基づいて求められる、前記第２フレームで前記追跡対象が存在する位置の尤度を示す尤度マップであり、
前記第２特徴追跡部による追跡結果は、前記第２特徴に基づいて求められる、前記第２フレームで前記追跡対象が存在する位置の尤度を示す尤度マップであり、
前記出力部は、前記混合結果の尤度マップで最も尤度が高い位置を、前記第２フレームでの前記追跡対象の検出位置として出力する、
請求項１から６のいずれか１項に記載の画像処理装置。

【請求項8】

前記第１フレームから前記追跡対象を検出する検出部をさらに備える、
請求項１から７のいずれか１項に記載の画像処理装置。

【請求項9】

前記出力部は、前記第２フレームでの前記追跡対象の位置を中心として、前記第１フレームで前記追跡対象を囲む枠と同じ大きさの検出枠を出力する、
請求項１から８のいずれか１項に記載の画像処理装置。

【請求項10】

コンピュータが、
動画像の第１フレームにおいて追跡対象を設定する追跡対象設定ステップと、
前記第１フレームで設定した前記追跡対象の第１特徴に基づいて、第２フレームで前記追跡対象を追跡する第１特徴追跡ステップと、
前記第１フレームで設定した前記追跡対象の第２特徴に基づいて、第２フレームで前記追跡対象を追跡する第２特徴追跡ステップと、
所定の混合率で、前記第１特徴追跡ステップでの追跡結果と、前記第２特徴追跡ステップでの追跡結果とを混合する追跡管理ステップと、
前記追跡管理ステップで混合した混合結果に基づいて、前記第２フレームでの前記追跡対象の検出位置を出力する出力ステップと、
を含み
前記所定の混合率は、前記第１フレームの撮像範囲での前記追跡対象の位置に基づいて設定される
画像処理方法。

【請求項11】

コンピュータが、
動画像の第１フレームにおいて追跡対象を設定する追跡対象設定ステップと、
前記第１フレームで設定した前記追跡対象の第１特徴に基づいて、第２フレームで前記追跡対象を追跡する第１特徴追跡ステップと、
前記第１フレームで設定した前記追跡対象の第２特徴に基づいて、第２フレームで前記追跡対象を追跡する第２特徴追跡ステップと、
所定の混合率で、前記第１特徴追跡ステップでの追跡結果と、前記第２特徴追跡ステップでの追跡結果とを混合する追跡管理ステップと、
前記追跡管理ステップで混合した混合結果に基づいて、前記第２フレームでの前記追跡対象の検出位置を出力する出力ステップと、
を含み、
前記所定の混合率は、前記第１フレームの撮像面に対する前記追跡対象の向きに基づいて設定される
画像処理方法。

【請求項12】

コンピュータが、
動画像の第１フレームにおいて追跡対象を設定する追跡対象設定ステップと、
前記第１フレームで設定した前記追跡対象の第１特徴に基づいて、第２フレームで前記追跡対象を追跡する第１特徴追跡ステップと、
前記第１フレームで設定した前記追跡対象の第２特徴に基づいて、第２フレームで前記追跡対象を追跡する第２特徴追跡ステップと、
所定の混合率で、前記第１特徴追跡ステップでの追跡結果と、前記第２特徴追跡ステップでの追跡結果とを混合する追跡管理ステップと、
前記追跡管理ステップで混合した混合結果に基づいて、前記第２フレームでの前記追跡対象の検出位置を出力する出力ステップと、
を含み、
前記追跡対象設定ステップでは、前記第１フレームの撮像範囲の中心位置から、前記追跡対象までの距離を取得し、
前記追跡管理ステップでは、前記距離に基づいて前記所定の混合率を設定する、
画像処理方法。

【請求項13】

請求項１０から１２のいずれか１項に記載の方法の各ステップをコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

カメラの撮像画像による動線分析では、撮像対象を精度良く追跡（トラッキング）することが求められる。特許文献１は、第１のフレームでのトラッキング対象の２つの特徴量から得られる信頼度に基づいて、第２のフレームのトラッキング対象を検出する技術を開示する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１２－２０３６１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

魚眼カメラで撮影される人体等の対象物は、カメラに対する相対位置によって見え方が異なる。このため、特徴量の変化は、同一の撮影対象であっても、カメラに対する相対位置によって異なる場合がある。

【0005】

本発明は、一側面では、魚眼カメラによる撮像画像で追跡対象への追従性を向上させる技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、上記目的を達成するために、以下の構成を採用する。

【0007】

本開示の第一側面は、動画像の第１フレームにおいて追跡対象を設定する追跡対象設定部と、第１フレームで設定した追跡対象の第１特徴に基づいて、第２フレームで追跡対象を追跡する第１特徴追跡部と、第１フレームで設定した追跡対象の第２特徴に基づいて、第２フレームで追跡対象を追跡する第２特徴追跡部と、所定の混合率で、第１特徴追跡部による追跡結果と、第２特徴追跡部による追跡結果とを混合する追跡管理部と、追跡管理部が混合した混合結果に基づいて、第２フレームでの追跡対象の検出位置を出力する出力部と、を備える画像処理装置である。

【0008】

画像処理装置は、追跡対象の第１特徴および第２特徴による追跡結果を、追跡対象の撮像範囲での位置に基づく所定の混合率で混合することにより、追跡対象をトラッキングする。複数の特徴に基づいて追跡することにより、画像処理装置は、追跡対象への追従性を向上させることができる。

【0009】

第１特徴追跡部による追跡結果は、第１特徴に基づいて求められる、第２フレームで追跡対象が存在する位置の尤度を示す尤度マップであり、第２特徴追跡部による追跡結果は、第２特徴に基づいて求められる、第２フレームで追跡対象が存在する位置の尤度を示す尤度マップであり、出力部は、混合結果の尤度マップで最も尤度が高い位置を、第２フレームでの追跡対象の検出位置として出力してもよい。画像処理装置は、混合結果のヒートマップから、容易に追跡対象の検出位置を取得することができる。

【0010】

所定の混合率は、第１フレームの撮像範囲での追跡対象の位置に基づいて設定されてもよい。追跡対象の第１特徴および第２特徴は、撮像範囲内の位置によっては安定して取得
されない場合があるため、安定して取得できる特徴についての混合率を上げることで、画像処理装置は、追跡対象への追従性を向上させることができる。

【0011】

所定の混合率は、第１フレームの撮像面に対する追跡対象の向きに基づいて設定されてもよい。追跡対象の第１特徴および第２特徴が安定して取得できる特徴についての混合率を上げることで、画像処理装置は、追跡対象への追従性を向上させることができる。

【0012】

画像処理装置は、第１フレームから追跡対象を検出する検出部をさらに備えてもよい。画像処理装置は、検出部が検出した対象物を追跡対象として設定することができる。また、画像処理装置は、追跡対象の追跡に失敗した場合に、新たに対象物を検出し、追跡対象を設定することができる。

【0013】

追跡対象設定部は、第１フレームの撮像範囲の中心位置から、追跡対象までの距離を取得し、追跡管理部は、距離に基づいて所定の混合率を設定してもよい。画像処理装置は、撮像範囲の中心から追跡対象までの距離に基づく適切な混合率を設定することができる。

【0014】

第１特徴は色特徴であり、第２特徴は形状特徴であってもよい。画像処理装置は、撮像範囲の外周付近で安定して取得可能な色特徴および撮像範囲の中心付近で安定して取得可能な形状特徴による追跡結果を混合することにより、追跡対象への追従性を向上させることができる。

【0015】

追跡管理部は、第１フレームの撮像範囲の中心位置から、追跡対象までの距離が大きいほど、色特徴の混合率が大きくなるように所定の混合率を設定してもよい。撮像範囲の中心位置からの距離が大きくなるほど、色特徴は安定して取得されるため、色特徴の混合率を上げることで、画像処理装置は、追跡対象への追従性を向上させることができる。

【0016】

第１特徴追跡部は、第２フレームにおいて、第１フレームでの追跡対象の色との色距離を求め、色距離に基づいて、第２フレームで追跡対象が存在する位置の尤度を示す尤度マップを生成し、第２特徴追跡部は、第２フレームにおいて、第１フレームで追跡対象の位置をずらした画像との形状についての差分を求め、差分に基づいて、第２フレームで追跡対象が存在する位置の尤度を示す尤度マップを生成してもよい。画像処理装置は、第１特徴および第２特徴の尤度マップを生成することで、追跡結果を容易に混合することができる。

【0017】

第２特徴追跡部は、ＫＣＦ（Ｋｅｒｎｅｌｉｚｅｄ Ｃｏｒｒｅｌａｔｉｏｎ Ｆｉｌｔｅｒ）を用いて、第２フレームで追跡対象が存在する位置の尤度を示すヒートマップを生成してもよい。画像処理装置は、ＫＣＦを用いることにより、形状特徴のヒートマップを精度良く作成することができる。

【0018】

出力部は、第２フレームでの追跡対象の位置を中心として、第１フレームで追跡対象を囲む枠と同じ大きさの検出枠を出力してもよい。画像処理装置は、第２フレームで検出された追跡対象の大きさを取得することなく、簡易に検出枠を出力することができる。

【0019】

本発明の第二側面は、コンピュータが、動画像の第１フレームにおいて追跡対象を設定する追跡対象設定ステップと、第１フレームで設定した追跡対象の第１特徴に基づいて、第２フレームで追跡対象を追跡する第１特徴追跡ステップと、第１フレームで設定した追跡対象の第２特徴に基づいて、第２フレームで追跡対象を追跡する第２特徴追跡ステップと、所定の混合率で、第１特徴追跡ステップでの追跡結果と、第２特徴追跡ステップでの追跡結果とを混合する追跡管理ステップと、追跡管理ステップで混合した混合結果に基づいて、第２フレームでの追跡対象の検出位置を出力する出力ステップと、を含む画像処理
方法である。

【0020】

本発明は、かかる方法をコンピュータによって実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

【発明の効果】

【0021】

本発明によれば、魚眼カメラによる撮像画像で追跡対象への追従性を向上させることができる。

【図面の簡単な説明】

【0022】

【図1】図１は、実施形態に係る画像処理装置の適用例を説明する図である。

【図2】図２は、画像処理装置のハードウェア構成を例示する図である。

【図3】図３は、画像処理装置の機能構成を例示する図である。

【図4】図４は、トラッキング処理を例示するフローチャートである。

【図5】図５は、追跡対象の設定について説明する図である。

【図6】図６は、色特徴によるトラッキングについて説明する図である。

【図7】図７は、色特徴によるトラッキングの具体例を示す図である。

【図8】図８は、色特徴のヒートマップの生成について説明する図である。

【図9】図９は、形状特徴によるトラッキングについて説明する図である。

【図10】図１０は、形状特徴によるトラッキングの具体例を示す図である。

【図11】図１１は、形状特徴のヒートマップの生成について説明する図である。

【図12】図１２は、混合率の算出について説明する図である。

【図13】図１３は、特徴の混合について説明する図である。

【発明を実施するための形態】

【0023】

以下、本発明の一側面に係る実施の形態を、図面に基づいて説明する。

【0024】

＜適用例＞
図１は、実施形態に係る画像処理装置の適用例を説明する図である。画像処理装置は、撮像画像から人体等をトラッキングする場合、例えば、色特徴または形状特徴に基づいて追跡対象を追跡することができる。

【0025】

しかしながら、魚眼カメラで撮像した追跡対象は、カメラに対する相対位置によって見え方が異なる。例えば、天井に設置された魚眼カメラで撮影した場合、撮像範囲の中心位置を含む内周部分に存在する追跡対象は、天井側から見下ろした状態で撮像される。また、撮像範囲の外周部分に存在する追跡対象は、横側（側面方向）から見た状態で撮像される。

【0026】

例えば、追跡対象である人体が撮像範囲の外周部分に存在する場合、内周部分に存在する場合よりも、服の色が見える面積が広いため、色特徴は安定する。一方、人体が撮像範囲の内周部分に存在する場合、外周部分に存在する場合よりも服の色が見える面積が狭いため、色特徴は不安定となる。

【0027】

また、追跡対象である人体が撮像範囲の外周部分に存在する場合、内周部分に存在する場合よりも、手足が見える面積が広いため、形状特徴は不安定となる。一方、人体が撮像範囲の内周部分に存在する場合、外周部分に存在する場合よりも、手足が見える面積が狭いため、形状特徴は安定する。

【0028】

画像処理装置は、安定した特徴を用いてトラッキングをすることで、追跡精度を向上さ
せることができる。即ち、撮像範囲の外周部分では色特徴に関するアルゴリズムを用いて追跡し、撮像範囲の内周部分では形状特徴に関するアルゴリズムを用いて追跡することで、追跡対象への追従性は向上する。

【0029】

そこで、画像処理装置は、カメラに対する追跡対象の相対位置に基づいて、追跡アルゴリズムを変更する。具体的には、複数の特徴に基づく追跡結果を、カメラに対する追跡対象の相対位置に応じて、所定の割合で組み合わせる（混合する）ことにより追跡対象を追跡する。

【0030】

画像処理装置は、カメラに対する追跡対象の相対位置に応じた割合で、複数の特徴による追跡アルゴリズムを組み合わせることにより、追跡対象を精度良くトラッキングすることができる。本発明に係る画像処理装置は、例えば、動線分析用の画像センサに適用することが可能である。

【0031】

＜実施形態＞
（ハードウェア構成）
図２を参照して、画像処理装置１のハードウェア構成の一例について説明する。図２は、画像処理装置１のハードウェア構成を例示する図である。画像処理装置１は、プロセッサ１０１、主記憶装置１０２、補助記憶装置１０３、通信インタフェース（Ｉ／Ｆ）１０４、出力装置１０５を備える。プロセッサ１０１は、補助記憶装置１０３に記憶されたプログラムを主記憶装置１０２に読み出して実行することにより、図３で説明する各機能構成としての機能を実現する。通信インタフェース１０４は、有線または無線通信を行うためのインタフェースである。出力装置１０５は、例えば、ディスプレイ等の出力を行うための装置である。

【0032】

画像処理装置１は、パーソナルコンピュータ、サーバコンピュータ、タブレット端末、スマートフォンのような汎用的なコンピュータでもよく、オンボードコンピュータのように組み込み型のコンピュータでもよい。画像処理装置１は、例えば、複数台のコンピュータ装置による分散コンピューティングにより実現されてもよく、各機能部の一部をクラウドサーバにより実現されてもよい。また、画像処理装置１の各機能部の一部は、ＦＰＧＡまたはＡＳＩＣなどの専用のハードウェア装置によって実現されてもよい。

【0033】

画像処理装置１は、有線（ＵＳＢケーブル、ＬＡＮケーブルなど）または無線（ＷｉＦｉなど）でカメラ２に接続され、カメラ２で撮影された画像データを受信する。カメラ２は、レンズを含む光学系および撮像素子（ＣＣＤやＣＭＯＳなどのイメージセンサ）を有する撮像装置である。

【0034】

なお、画像処理装置１は、カメラ２と一体に構成されてもよい。また、撮像画像に対する対象物の検出および追跡処理など画像処理装置１の処理の一部は、カメラ２で実行されてもよい。さらに、画像処理装置１による対象物の追跡結果は、外部の装置に送信されユーザに提示されるようにしてもよい。

【0035】

（機能構成）
図３は、画像処理装置１の機能構成を例示する図である。画像処理装置１は、画像取得部１１、処理部１２、出力部１３を含む。処理部１２は、検出部１２１、追跡対象設定部１２２、第１特徴追跡部１２３、第２特徴追跡部１２４、追跡管理部１２５を含む。

【0036】

画像取得部１１は、カメラ２から取得した動画像データを処理部１２に送信する。処理部１２の検出部１２１は、画像取得部１１から受信したフレーム画像から、追跡対象である人体等を検出する。検出部１２１は、例えば、背景差分法またはフレーム間差分法によ
り、対象物を検出することができる。

【0037】

追跡対象設定部１２２は、検出部１２１が検出した対象物を、追跡対象として設定する。追跡対象設定部１２２は、追跡対象の特徴を学習し、学習した内容に基づいて次のフレーム以降で追跡対象をトラッキングする。追跡対象設定部１２２は、例えば、追跡対象の色特徴および形状特徴などの特徴を学習する。

【0038】

追跡対象設定部１２２は、追跡対象とフレーム画像の中心位置との距離を取得する。追跡対象とフレーム画像の中心位置との距離は、追跡対象の中心座標とフレーム画像の中心座標との距離として算出することができる。取得した距離は、色特徴と形状特徴とを混合する際の所定の混合率の設定に用いられる。

【0039】

第１特徴追跡部１２３は、追跡対象を設定したフレーム（第１フレームとも称する）より後のフレーム（第２フレームとも称する）から、追跡対象設定部１２２が学習した第１特徴、例えば色特徴に基づいて、追跡対象を追跡する。第１特徴追跡部１２３は、第２フレームで、第１フレームの追跡対象との色距離を求めることにより、追跡結果として色特徴のヒートマップ（尤度マップ）を作成する。色距離は、２色間の類似度を示す指標であり、例えば、ＲＧＢ等の色空間における距離である。

【0040】

第２特徴追跡部１２４は、追跡対象を設定した第１フレームより後の第２フレームから、追跡対象設定部１２２が学習した第２特徴、例えば形状特徴に基づいて、追跡対象を追跡する。第２特徴追跡部１２４は、例えば、第２フレームに対して、第１フレームで設定した追跡対象をずらしながら重ね合わせ、形状についての差分を求めることにより、追跡結果として形状特徴のヒートマップ（尤度マップ）を作成する。

【0041】

追跡管理部１２５は、追跡対象設定部１２２が取得した追跡対象とフレーム画像の中心位置との距離に基づいて、第１特徴についての追跡結果と第２特徴についての追跡結果とを混合する所定の混合率を設定する。所定の混合率は、例えば、フレーム画像の中心位置からの追跡対象までの距離に基づいて設定される。

【0042】

例えば、フレーム画像の中心位置から追跡対象までの距離が離れているほど、色特徴（第１特徴）の混合率は大きく、形状特徴（第２特徴）の混合率は小さく設定される。また、フレーム画像の中心位置から追跡対象までの距離が近いほど、色特徴の混合率は小さく、形状特徴の混合率は大きく設定される。

【0043】

追跡管理部１２５は、設定した混合率で、第１特徴についての追跡結果と第２特徴についての追跡結果とを混合する。第１特徴および第２特徴についての追跡結果は、それぞれの特徴についての追跡対象との差分を示す。追跡管理部１２５は、追跡対象の位置に応じて設定された混合率で、第１特徴および第２特徴の追跡結果を混合する。これにより、追跡管理部１２５は、追跡対象の位置に応じて、それぞれの特徴に基づく追跡結果が適切に反映された追跡結果を取得することができる。

【0044】

出力部１３は、追跡管理部１２５によって混合された追跡結果で、最も差分が少ない位置の座標を、第２フレームでの追跡対象の検出結果として出力する。出力部１３は、最も差分が少ない座標が複数存在する場合、これらの座標を含む領域の中心座標を、追跡対象の検出結果として出力してもよい。

【0045】

（トラッキング処理）
図４を参照して、トラッキング処理の全体的な流れを説明する。図４は、トラッキング処理を例示するフローチャートである。トラッキング処理は、例えば、ユーザが画像処理
装置１に対し、トラッキングを指示することにより開始される。図４に示す例では、動画像のフレームごとにループ処理Ｌ１が実行される。

【0046】

Ｓ１０１では、処理部１２は、画像取得部１１からフレーム画像を取得する。Ｓ１０２では、処理部１２は、トラッキングフラグがＯＮか否かを判定する。トラッキングフラグは、追跡対象が設定済みの場合にＯＮに設定され、追跡対象が設定されていない場合にＯＦＦに設定される。トラッキングフラグの設定値は、主記憶装置１０２または補助記憶装置１０３に記録することができる。トラッキングフラグがＯＮである場合（Ｓ１０２：ＹＥＳ）、処理はＳ１０７に進む。トラッキングフラグがＯＦＦである場合（Ｓ１０２：ＮＯ）、処理はＳ１０３に進む。

【0047】

Ｓ１０３では、検出部１２１は、フレーム画像から人体を検出する。検出部１２１は、例えば、フレーム画像と予め用意した背景画像との間で変化した領域を抽出する背景差分法、フレーム間で変化した領域を抽出するフレーム間差分法により、人体を検出することができる。

【0048】

なお、図４に示す処理では、追跡対象は、人体であるものとして説明するが、これに限られず、追跡対象となる動物体であればよい。追跡対象の動物体は、色特徴および形状特徴のように、抽出される特徴の安定性がカメラに対する相対位置に応じて異なる動物体であることが好ましい。

【0049】

Ｓ１０４では、検出部１２１は、Ｓ１０３で人体が検出されたか否かを判定する。人体が検出された場合（Ｓ１０４：ＹＥＳ）、処理はＳ１０５に進む。人体が検出されなかった場合（Ｓ１０４：ＮＯ）、処理はＳ１０１に戻り、次の動画像フレームに対するトラッキング処理が開始される。

【0050】

Ｓ１０５では、追跡対象設定部１２２は、Ｓ１０４で検出された人体を追跡対象として設定する。Ｓ１０４で複数の人体が検出された場合、追跡対象設定部１２２は、複数の人体を追跡対象として設定し、それぞれが追跡されるようにしてもよい。追跡対象設定部１２２は、追跡対象の色特徴および形状特徴を取得（学習）する。

【0051】

ここで、図５を参照して、追跡対象の設定について説明する。第１フレームは、人体を検出し、追跡対象５０１を設定する開始フレームである。第２フレームは、開始フレームの次のフレーム以降のフレームである。トラッキングは、第１フレームで設定された追跡対象５０１の特徴に基づいて、追跡対象５０１が第２フレームのどの位置にあるかを取得する処理である。

【0052】

図４のＳ１０６では、追跡対象設定部１２２は、トラッキングフラグをＯＮにする。トラッキングフラグの値は、主記憶装置１０２等に記録され、処理が次のフレームに進んでも、初期化されずに保持される。処理はＳ１０１に戻り、次の動画像フレームに対するトラッキング処理が開始される。Ｓ１０２では、トラッキングフラグがＯＮに設定されているため、処理はＳ１０７に進む。

【0053】

Ｓ１０７では、第１特徴追跡部１２３は、フレーム画像の色特徴による追跡結果を取得する。ここで、図６から図８を参照して、追跡対象の色特徴による追跡について説明する。図６は、色特徴によるトラッキングについて説明する図である。第１フレームは、Ｓ１０５で設定された追跡対象６０１を含む。トラッキング例Ａでは、対象物６０２は、追跡対象６０１と色が類似する。トラッキング例Ｂでは、対象物６０３は、追跡対象６０１と色が相違する。

【0054】

色特徴によるトラッキングでは、追跡対象に色がより近い対象物がトラッキング結果と判定される。図６の例では、フレーム画像内に対象物６０２および対象物６０３が存在する場合、トラッキング結果は、色がより近い対象物６０２と判定される。

【0055】

図７は、色特徴によるトラッキングの具体例を示す図である。追跡対象設定部１２２は、第１フレームで追跡対象７０１を設定する。第１特徴追跡部１２３は、追跡対象７０１を含む領域を学習領域として学習し、第２フレームで、追跡対象７０１と類似する色の領域を追跡する。対象物７０２は、対象物７０３よりも追跡対象７０１と色が類似しているため、トラッキング結果と判定される。

【0056】

図８は、色特徴のヒートマップの生成について説明する図である。追跡対象設定部１２２は、第１フレームで追跡対象８０１を設定する。第１特徴追跡部１２３は、追跡対象８０１を学習する。第１特徴追跡部１２３は、第２フレームを追跡して、学習した追跡対象８０１の色と第２フレームとの色距離を求める。色距離は、例えば、追跡対象８０１に含まれる画素の色の平均値を、第２フレームの各画素の色と比較して求めることができる。

【0057】

第１特徴追跡部１２３は、第２フレームの各画素で求めた色距離に基づいて、色特徴のヒートマップを生成する。図８に示すヒートマップ８０２は、第１特徴追跡部１２３が生成したヒートマップを画像化して模式的に示した図である。色特徴のヒートマップ８０２では、色距離が小さいほど高い尤度が設定される。色特徴による追跡では、第２フレームでの追跡対象８０１のトラッキング位置は、ヒートマップ８０２で、尤度が最も高い領域の中心座標８０３と判定することができる。中心座標８０３は、ヒートマップ８０２のピーク位置８０３とも称する。

【0058】

人体検出では、服の色は、形状特徴よりも個体差が大きい。このため、色特徴は、形状特徴よりも簡素なアルゴリズムを用いて追跡することができる。なお、図８は、色距離に基づいてヒートマップ８０２を作成する例を示すが、これに限られない。第１特徴追跡部１２３は、例えば、追跡対象８０１の色のヒストグラムとの類似性に基づいて、ヒートマップ８０２を作成してもよい。

【0059】

図４のＳ１０８では、第２特徴追跡部１２４は、フレーム画像の形状特徴による追跡結果を取得する。ここで、図９から図１１を参照して、追跡対象の形状特徴による追跡について説明する。図９は、形状特徴によるトラッキングについて説明する図である。第１フレームは、Ｓ１０５で設定された追跡対象９０１を含む。トラッキング例Ａでは、対象物９０２は、追跡対象９０１と形状が類似する。トラッキング例Ｂでは、対象物９０３は、追跡対象９０１と形状が相違する。

【0060】

形状特徴によるトラッキングでは、追跡対象に形状がより近い対象物がトラッキング結果と判定される。図９の例では、フレーム画像内に対象物９０２および対象物９０３が存在する場合、トラッキング結果は、形状がより近い対象物９０２と判定される。

【0061】

図１０は、形状特徴によるトラッキングの具体例を示す図である。追跡対象設定部１２２は、第１フレームで追跡対象１００１を設定する。第２特徴追跡部１２４は、追跡対象１００１を含む領域を学習領域とし、第２フレームで、追跡対象と類似する形状の領域を追跡する。対象物１００２は、対象物１００３よりも追跡対象１００１と形状が類似しているため、トラッキング結果と判定される。

【0062】

図１１は、形状特徴のヒートマップの生成について説明する図である。追跡対象設定部１２２は、第１フレーム１１１０で追跡対象１１０１を設定する。フレーム１１１１およびフレーム１１１２は、第１フレーム１１１０で、追跡対象１１０１をＸ軸正方向に１画
素および２画素移動させたフレームである。

【0063】

第２特徴追跡部１２４は、第１フレーム１１１０、フレーム１１１１、フレーム１１１２を第２フレーム１１２０と重ねる。フレーム１１３０、フレーム１１３１、フレーム１１３２は、第１フレーム１１１０、フレーム１１１１、フレーム１１１２を、それぞれ第２フレーム１１２０と重ねたフレームである。

【0064】

フレーム１１３０では、第２特徴追跡部１２４は、移動していない追跡対象１１０１と第２フレーム１１２０との差分に基づいて、同じ形状らしさの尤度を、移動なしの追跡対象１１０１の位置（例えば、中心座標）に割り当てる。第２特徴追跡部１２４は、例えば、追跡対象１１０１を機械学習によって学習させた識別器に、追跡対象１１０１と同じ位置の第２フレームの領域を入力することで同じ形状らしさの尤度を取得することができる。

【0065】

同様に、フレーム１１３１では、第２特徴追跡部１２４は、Ｘ軸正方向に１画素移動した追跡対象１１０１と第２フレーム１１２０との差分から、同じ形状らしさの尤度を、１画素移動後の追跡対象１１０１の位置に割り当てる。また、フレーム１１３２では、第２特徴追跡部１２４は、Ｘ軸正方向に２画素移動した追跡対象１１０１と第２フレーム１１２０との差分から、同じ形状らしさの尤度を、２画素移動後の追跡対象１１０１の位置に割り当てる。

【0066】

このように、第２フレーム内で追跡対象１１０１を移動させて差分を取ることで、第２特徴追跡部１２４は、形状特徴のヒートマップを生成することができる。図１１に示すヒートマップ１１４０は、第２特徴追跡部１２４が生成したヒートマップを画像化して模式的に示した図である。形状特徴のヒートマップ１１４０では、差分が小さいほど（同じ形状らしさの尤度が大きいほど）高い尤度が設定される。

【0067】

なお、図１１では、追跡対象１１０１をＸ軸正方向に１画素および２画素移動させて差分を取る例を示すが、第２特徴追跡部１２４は、追跡対象１１０１を第２フレーム内の各画素に移動させて差分を取ればよい。第２特徴追跡部１２４は、第２フレーム全体の各画素で差分を取ることでヒートマップ１１４０を生成することができる。

【0068】

また、追跡対象１１０１の移動範囲が限られている場合、第２特徴追跡部１２４は、例えば、Ｘ軸方向に－１０～＋１０の範囲、Ｙ軸方向に－１０～＋１０の範囲で追跡対象１１０１を移動させて、差分を取るようにしてもよい。第２特徴追跡部１２４は、追跡対象１１０１を移動させなかった領域（画素）では、差分の最大値を設定してヒートマップ１１４０を生成することができる。

【0069】

形状特徴による追跡では、第２フレームでの追跡対象１１０１のトラッキング位置は、ヒートマップ１１４０で、尤度が最も高い領域の中心座標１１４１と判定することができる。中心座標１１４１は、ヒートマップ１１４０のピーク位置１１４１とも称する。

【0070】

図１１の例では、形状特徴による追跡について単純化したアルゴリズムを用いて説明したが、第２特徴追跡部１２４は、ＫＣＦ（Ｋｅｒｎｅｌｉｚｅｄ Ｃｏｒｒｅｌａｔｉｏｎ Ｆｉｌｔｅｒ）と呼ばれるフィルタを用いて形状特徴による追跡が可能である。ＫＣＦは、画像をフーリエ変換し、スペクトル空間で計算するため、計算量を削減することができる。また、ＫＣＦは、差分ではなく回帰式を使用して計算するため、ロバスト性を高めることが可能な手法である。

【0071】

さらに、形状特徴の追跡は、スペクトル空間ではなく畳み込み演算を用いて特徴を抽出
し、特徴量空間で比較する手法を用いてもよい。この手法は、ＫＣＦを用いた場合よりも計算量が増える可能性があるが、ＫＣＦよりも高い追従性を実現することができる。

【0072】

図４のＳ１０９では、追跡管理部１２５は、Ｓ１０７で取得した色特徴の追跡結果およびＳ１０８で取得した形状特徴の追跡結果の混合率を算出する。ここで、図１２を参照して、混合率の算出について説明する。

【0073】

混合率は、フレーム画像の中心座標１２０１から追跡対象に設定された人体までの距離に基づいて算出される。例えば、形状特徴を混合する混合率は、以下の式１によって算出することができる。形状特徴の混合率は、０．０から１．０までの範囲内の値である。
形状特徴の混合率＝１．０－（追跡対象までの距離／ｄ１）×α … （式１）

【0074】

式１で、ｄ１は、フレーム画像の中心座標１２０１からフレーム境界までの最大距離である。図１２の例では、追跡対象までの距離は、フレーム画像の外周付近に存在する追跡対象１２０２の場合はｄ２、フレーム画像の中心付近に存在する追跡対象１２０３の場合はｄ３となる。

【0075】

αは、追跡対象の特徴に応じた重み付けの係数であって、例えば０．７とすることができる。係数αは、工場での作業など手足の動きが形状特徴の追跡精度に影響を与える場合には、０．７よりも低く設定してもよい。また、色特徴の混合率に対する係数αは、制服の色が赤など特徴的な色であるような場合に、０．７よりも高く設定することができる。このように、係数αは、追跡対象の具体的な特徴に応じて変更されてもよい。

【0076】

色特徴の混合率は、以下の式２によって算出することができる。形状特徴の混合率は、式１で算出された値が用いられる。
色特徴の混合率＝１．０－形状特徴の混合率 … （式２）

【0077】

なお、形状特徴および色特徴の混合率の算出方法は、式１および式２を用いる場合に限られない。式１は、フレーム画像の中心座標１２０１から追跡対象までの距離が大きくなるほど、形状特徴の混合率が低くなる関係であればよく、一次式に限られず、二次式以上であっても、非線形であってもよい。また、色特徴の混合率を先に算出し、形状特徴の混合率は、式２と同様に１．０と色特徴の混合率との差分として算出してもよい。この場合、色特徴の混合率を求める式は、追跡対象までの距離が大きくなるほど色特徴の混合率が高くなるような関係式となる。

【0078】

Ｓ１１０では、追跡管理部１２５は、Ｓ１０９で算出した混合率に基づいて、第１特徴についての追跡結果と第２特徴についての追跡結果とを混合する。ここで図１３を参照して、特徴の混合について説明する。

【0079】

図１３は、色特徴のヒートマップ８０２と、形状特徴のヒートマップ１１４０とを混合し、混合結果として混合特徴のヒートマップ１３０１を生成する例を示す。追跡管理部１２５は、色特徴のヒートマップ８０２および形状特徴のヒートマップ１１４０の対応する各ピクセルを、以下の式３によって混合し、混合特徴のヒートマップ１３０１を生成する。
混合特徴＝色特徴×色特徴の混合率＋形状特徴×形状特徴の混合率 … （式３）

【0080】

図１３は、色特徴の混合率が０．２、形状特徴の混合率が０．８である例を示す。混合特徴のヒートマップ１３０１では、形状特徴のヒートマップ１１４０のピーク位置１１４０は、色特徴のヒートマップ８０２のピーク位置８０３よりも値が大きいため、ピーク位置１１４０は、追跡結果１３０２と判定される。追跡結果１３０２は、混合特徴のヒート
マップ１３０１のピーク位置１３０２とされる。

【0081】

なお、図１３は、第１特徴のヒートマップと第２特徴のヒートマップとを混合する例を示すが、これに限られない。追跡管理部１２５は、それぞれのヒートマップのピーク位置の間を混合率で按分した位置を追跡対象の検出位置とするなど、他の方法によって第１特徴および第２特徴の追跡結果を混合してもよい。

【0082】

図４のＳ１１１では、追跡管理部１２５は、混合結果である混合特徴のヒートマップ１３０１で追跡対象が検出されたか否かを判定する。追跡管理部１２５は、図１３の例では、ピーク位置１３０２が追跡対象の位置として検出されたと判定することができる。また、追跡管理部１２５は、混合特徴のヒートマップ１３０１でピーク位置が検出されない場合、例えば、ヒートマップ１３０１で所定の閾値以上となる位置がない場合、追跡対象が検出されなかったと判定することができる。

【0083】

混合結果から追跡対象が検出された場合（Ｓ１１１：ＹＥＳ）、処理はＳ１１２に進む。混合結果から追跡対象が検出されなかった場合（Ｓ１１１：ＮＯ）、処理はＳ１１３に進む。

【0084】

Ｓ１１２では、出力部１３は、追跡結果を出力する。出力部１３は、Ｓ１１１で検出した追跡対象の位置に検出枠を重畳表示させる。検出枠の大きさは、例えば、Ｓ１０５で設定した追跡対象の大きさとすることができる。追跡結果が出力されると、処理はＳ１０１に戻り、次の動画像フレームに対するトラッキング処理が開始される。

【0085】

Ｓ１１２では、追跡管理部１２５は、トラッキングフラグをＯＦＦにする。処理は、Ｓ１０３に戻り、Ｓ１０３からＳ１０６までの処理で新たな追跡対象が設定される。なお、図４の処理は、追跡対象の追跡に失敗した場合に、新たに追跡対象を設定する例を示すが、追跡対象を設定するタイミングは、これに限られない。例えば、追跡対象設定部１２２は、所定数のフレームごと、または所定時間ごとに、人体検出をして追跡対象を設定し直すようにしてもよい。

【0086】

（作用効果）
上記の実施形態において、画像処理装置１は、カメラに対する追跡対象の相対位置に基づいて、色特徴による追跡結果と形状特徴による追跡結果の混合率を設定する。具体的には、画像の中心位置から離れた外周付近では、服の色などの色特徴が安定するため、色特徴の混合率は、形状特徴の混合率より高く設定される。一方、画像の中心位置の付近では、手足が見えにくく形状特徴が安定するため、形状特徴の混合率は、色特徴の混合率より高く設定される。

【0087】

このように、追跡対象の複数の特徴の混合率を、撮像範囲内の位置に応じて変更することで、画像処理装置１は、追跡対象を精度良くトラッキングすることができる。具体的には、魚眼カメラによる撮像画像で動線分析をする場合、撮像範囲の中心位置から離れた外周部分では、色特徴の混合率はより高く設定されるため、追跡対象への追従性は向上する。

【0088】

＜その他＞
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。

【0089】

例えば、上記の実施形態では、カメラ２は、魚眼カメラである場合について説明したが
、魚眼カメラに限られない。カメラ２は、追跡対象の位置に応じて、追跡対象を上から見た状態または横から見た状態で撮像できる撮像装置であればよい。また、カメラ２は、天井に設置される場合に限られず、追跡対象を見下ろして撮影できる場所に設置されればよい。

【0090】

また、上記の実施形態では、画像処理装置１は、撮像範囲の中心位置から追跡対象までの距離に応じて混合率を設定するが、これに限られない。画像処理装置１は、カメラ２によって計測された追跡対象までの距離、または人体の頭頂部と足先との距離等に応じて、追跡対象の位置を推定し、混合率を設定するようにしてもよい。

【0091】

また、画像処理装置１は、追跡対象の位置に限られず、人体が横たわっている場合のように追跡対象の姿勢の変化等によって見え方が異なる場合、撮像画像の撮像面に対する追跡対象の向きに基づいて、混合率を設定してもよい。撮像面に対する追跡対象の向きは、例えば、追跡対象の形状および大きさ等から推定可能である。

【0092】

また、画像処理装置１は、予め用意した背景画像との差異から混合率を設定してもよい。追跡対象の色特徴が背景画像に対して顕著な場合、色特徴を優先するように混合率を設定してもよい。例えば、黒い床で黒いスーツを着用した人体を追跡する場合には色の特徴は顕著に現れないが、黒い床で赤い服、青い服を追跡する場合は色の特徴が顕著に現れるため、予め用意した背景領域と比較を行い、背景に対して際立つ色特徴を持つ（赤い服、青い服）であった場合は、色特徴を優先するように混合率を設定する。

【0093】

＜付記１＞
（１）動画像の第１フレームにおいて追跡対象を設定する追跡対象設定部（１２２）と、
前記第１フレームで設定した前記追跡対象の第１特徴に基づいて、第２フレームで前記追跡対象を追跡する第１特徴追跡部（１２３）と、
前記第１フレームで設定した前記追跡対象の第２特徴に基づいて、第２フレームで前記追跡対象を追跡する第２特徴追跡部（１２４）と、
所定の混合率で、前記第１特徴追跡部による追跡結果と、前記第２特徴追跡部による追跡結果とを混合する追跡管理部（１２５）と、
前記追跡管理部が混合した混合結果に基づいて、前記第２フレームでの前記追跡対象の検出位置を出力する出力部（１３）と、
を備える画像処理装置（１）。

【0094】

（２）コンピュータが、
動画像の第１フレームにおいて追跡対象を設定する追跡対象設定ステップ（Ｓ１０５）と、
前記第１フレームで設定した前記追跡対象の第１特徴に基づいて、第２フレームで前記追跡対象を追跡する第１特徴追跡ステップ（Ｓ１０７）と、
前記第１フレームで設定した前記追跡対象の第２特徴に基づいて、第２フレームで前記追跡対象を追跡する第２特徴追跡ステップ（Ｓ１０８）と、
所定の混合率で、前記第１特徴追跡ステップでの追跡結果と、前記第２特徴追跡ステップでの追跡結果とを混合する追跡管理ステップ（Ｓ１０９、Ｓ１１０）と、
前記追跡管理ステップで混合した混合結果に基づいて、前記第２フレームでの前記追跡対象の検出位置を出力する出力ステップ（Ｓ１１２）と、
を含む画像処理方法。

【符号の説明】

【0095】

１：画像処理装置、２：カメラ、１１：画像取得部、１２：処理部、１２１：検出部、１
２２：追跡対象設定部、１２３：第１特徴追跡部、１２４：第２特徴追跡部、１２５：追跡管理部、１３：出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】