特許 7752458 マルチカメラオブジェクトトラッキングシステム、及びマルチカメラオブジェクトトラッキングプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-10-02

(45)【発行日】2025-10-10

(54)【発明の名称】マルチカメラオブジェクトトラッキングシステム、及びマルチカメラオブジェクトトラッキングプログラム

(51)【国際特許分類】

   G06T 7/33 20170101AFI20251003BHJP

   H04N 7/18 20060101ALI20251003BHJP

【ＦＩ】

G06T7/33

H04N7/18 G

【請求項の数】 7

(21)【出願番号】P 2025101669

(22)【出願日】2025-06-17

【審査請求日】2025-08-07

【早期審査対象出願】

(73)【特許権者】

【識別番号】516249414

【氏名又は名称】ＡＷＬ株式会社

(74)【代理人】

【識別番号】100125221

【弁理士】

【氏名又は名称】水田 愼一

(72)【発明者】

【氏名】藤村 浩司

(72)【発明者】

【氏名】土田 安紘

(72)【発明者】

【氏名】タン ヴァン グエン

(72)【発明者】

【氏名】マイン コン ファム

(72)【発明者】

【氏名】クオン フン ズオン

(72)【発明者】

【氏名】クアン ニャット グエン

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２００９－２２３４３４（ＪＰ，Ａ）

【文献】国際公開第２０２２／０９１１６６（ＷＯ，Ａ１）

【文献】特開２０２５－０７６６００（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

追跡対象者を複数のカメラの撮影範囲にまたがって追跡するマルチカメラオブジェクトトラッキングを行うマルチカメラオブジェクトトラッキングシステムにおいて、
前記複数のカメラのうち２つ以上のカメラは、前記マルチカメラオブジェクトトラッキングの開始地点に設置されて、前記追跡対象者の少なくとも略前面側の画像と略背面側の画像とを撮影できるように配置されており、
前記２つ以上のカメラで同期を取って撮影された前記追跡対象者の少なくとも略前面側の画像と略背面側の画像に基づいて、前記追跡対象者の３次元空間におけるポーズである３次元ポーズを生成する３次元ポーズ生成手段と、
前記生成された３次元ポーズに対応する追跡対象者に識別用ＩＤを割り当てて、この識別用ＩＤを割り当てられた追跡対象者の各々を、前記生成された３次元ポーズを用いて、前記開始地点に設置された２つ以上のカメラによる撮影画像から構成されるビデオフレームにおいて追跡する３次元ポーズトラッキング手段と、
前記２つ以上のカメラで同期を取って撮影された前記追跡対象者の前記少なくとも略前面側の画像と略背面側の画像、又はこれらの画像の画像特徴量と、前記追跡対象者の識別用ＩＤとを、追跡対象者登録用データベースに登録する追跡対象者登録手段とを備え、
前記追跡対象者登録用データベースに登録された前記追跡対象者の少なくとも略前面側の画像と略背面側の画像、又はこれらの画像の画像特徴量に基づき、前記追跡対象者を、前記複数のカメラの撮影範囲にまたがって追跡するマルチカメラオブジェクトトラッキングシステム。

【請求項2】

前記３次元ポーズ生成手段は、
前記２つ以上のカメラで同期を取って撮影された前記追跡対象者の少なくとも略前面側の画像と略背面側の画像における、前記追跡対象者のキーポイントを推定する２次元ポーズ推定手段を備え、
前記２次元ポーズ推定手段により推定された前記追跡対象者のキーポイントと、前記２つ以上のカメラのキャリブレーションパラメータから、前記追跡対象者の３次元ポーズを生成することを特徴とする請求項１に記載のマルチカメラオブジェクトトラッキングシステム。

【請求項3】

前記マルチカメラオブジェクトトラッキングの開始地点は、建物又は部屋の入口であり、前記複数のカメラのうち２つ以上のカメラは、前記入口を通過する追跡対象者の少なくとも略前面側の画像と略背面側の画像とを撮影できるように配置されていることを特徴とする請求項１に記載のマルチカメラオブジェクトトラッキングシステム。

【請求項4】

追跡対象者を複数のカメラの撮影範囲にまたがって追跡するマルチカメラオブジェクトトラッキングを行うマルチカメラオブジェクトトラッキングシステムにおいて、
前記複数のカメラのうち２つ以上のカメラは、前記マルチカメラオブジェクトトラッキングの開始地点に設置されて、前記追跡対象者の少なくとも略前面側の画像と略背面側の画像とを撮影できるように配置されており、
前記２つ以上のカメラで同期を取って撮影された前記追跡対象者の前記少なくとも略前面側の画像と略背面側の画像と、前記追跡対象者の識別用ＩＤとを、追跡対象者登録用データベースに登録する追跡対象者登録手段を備え、
前記追跡対象者登録手段は、前記追跡対象者の頭の画像又は人物画像を前記追跡対象者登録用データベースに登録し、
２つの方向から撮影した前記追跡対象者の頭の画像又は人物画像に基づいて、前記２つの方向の中間の方向から撮影した前記追跡対象者の頭の画像又は人物画像を、生成ＡＩモデルにより生成して、生成した前記追跡対象者の頭の画像又は人物画像を補間画像として、前記追跡対象者登録手段により前記追跡対象者登録用データベースに登録する補間画像生成登録手段をさらに備え、
前記追跡対象者登録用データベースに登録された前記追跡対象者の少なくとも略前面側と略背面側の頭の画像又は人物画像、及び前記生成した前記２つの方向の中間の方向から撮影した前記追跡対象者の頭の画像又は人物画像に基づき、前記追跡対象者を、前記複数のカメラの撮影範囲にまたがって追跡するマルチカメラオブジェクトトラッキングシステム。

【請求項5】

前記２つの方向から撮影した前記追跡対象者の頭の画像又は人物画像における、前記追跡対象者のキーポイントを推定する２次元ポーズ推定手段をさらに備え、
前記補間画像生成登録手段は、前記２つの方向から撮影した前記追跡対象者の頭の画像又は人物画像と、前記２次元ポーズ推定手段により推定された前記追跡対象者のキーポイントとを用いて、前記２つの方向の中間の方向から撮影した前記追跡対象者の頭の画像又は人物画像を、生成ＡＩモデルにより生成することを特徴とする請求項４に記載のマルチカメラオブジェクトトラッキングシステム。

【請求項6】

追跡対象者を複数のカメラの撮影範囲にまたがって追跡するマルチカメラオブジェクトトラッキングを行うためのマルチカメラオブジェクトトラッキングプログラムであって、
前記複数のカメラのうち２つ以上のカメラが、前記マルチカメラオブジェクトトラッキングの開始地点に設置されて、前記追跡対象者の少なくとも略前面側の画像と略背面側の画像とを撮影できるように配置されているときに、
コンピュータを、
前記２つ以上のカメラで同期を取って撮影された前記追跡対象者の少なくとも略前面側の画像と略背面側の画像に基づいて、前記追跡対象者の３次元空間におけるポーズである３次元ポーズを生成する３次元ポーズ生成手段と、
前記生成された３次元ポーズに対応する追跡対象者に識別用ＩＤを割り当てて、この識別用ＩＤを割り当てられた追跡対象者の各々を、前記開始地点に設置された２つ以上のカメラによる撮影画像から構成されるビデオフレームにおいて追跡する３次元ポーズトラッキング手段と、
前記２つ以上のカメラで同期を取って撮影された前記追跡対象者の前記少なくとも略前面側の画像と略背面側の画像、又はこれらの画像の画像特徴量と、前記追跡対象者の識別用ＩＤとを、追跡対象者登録用データベースに登録する追跡対象者登録手段として機能させ、
前記追跡対象者登録用データベースに登録された前記追跡対象者の少なくとも略前面側の画像と略背面側の画像、又はこれらの画像の画像特徴量に基づき、前記追跡対象者を、前記複数のカメラの撮影範囲にまたがって追跡するためのマルチカメラオブジェクトトラッキングプログラム。

【請求項7】

追跡対象者を複数のカメラの撮影範囲にまたがって追跡するマルチカメラオブジェクトトラッキングを行うためのマルチカメラオブジェクトトラッキングプログラムであって、
前記複数のカメラのうち２つ以上のカメラが、前記マルチカメラオブジェクトトラッキングの開始地点に設置されて、前記追跡対象者の少なくとも略前面側の画像と略背面側の画像とを撮影できるように配置されているときに、
コンピュータを、
前記２つ以上のカメラで同期を取って撮影された前記追跡対象者の前記少なくとも略前面側の画像と略背面側の画像と、前記追跡対象者の識別用ＩＤとを、追跡対象者登録用データベースに登録する追跡対象者登録手段として機能させ、
前記追跡対象者登録手段は、前記追跡対象者の頭の画像又は人物画像を前記追跡対象者登録用データベースに登録し、
前記コンピュータを、２つの方向から撮影した前記追跡対象者の頭の画像又は人物画像に基づいて、前記２つの方向の中間の方向から撮影した前記追跡対象者の頭の画像又は人物画像を、生成ＡＩモデルにより生成して、生成した前記追跡対象者の頭の画像又は人物画像を補間画像として、前記追跡対象者登録手段により前記追跡対象者登録用データベースに登録する補間画像生成登録手段としてさらに機能させ、
前記追跡対象者登録用データベースに登録された前記追跡対象者の少なくとも略前面側と略背面側の頭の画像又は人物画像、及び前記生成した前記２つの方向の中間の方向から撮影した前記追跡対象者の頭の画像又は人物画像に基づき、前記追跡対象者を、前記複数のカメラの撮影範囲にまたがって追跡するためのマルチカメラオブジェクトトラッキングプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マルチカメラオブジェクトトラッキングシステム、及びマルチカメラオブジェクトトラッキングプログラムに関する。

【背景技術】

【0002】

従来から、あるエリアに複数のカメラを設置して、これら複数のカメラの撮影範囲内のオブジェクト（人等の物体）を、これらのカメラの撮影画像を用いて追跡するマルチカメラオブジェクトトラッキングの技術が知られている。このマルチカメラオブジェクトトラッキングにおいて、各カメラの撮影範囲内でのオブジェクトのトラッキング（シングルカメラオブジェクトトラッキング）には、SORT(Simple Online and Realtime Tracking)や、DeepSORT(Simple Online and Realtime Tracking with a deep association metric)（非特許文献１参照）の技術が用いられる。SORTは、カルマンフィルターで物体の動きを予測し、ハンガリアンアルゴリズムで、予測した物体と検出した物体のＩｏＵを計算し、これらの物体（実際には、バウンディングボックス）を対応付けることで、トラッキングを行うものである。DeepSORTは、上記のSORTの改良版である。マルチカメラオブジェクトトラッキングは、上記のSORTやDeepSORTといった（シングルカメラ）オブジェクトトラッキングの技術と、Person Re-Identificationの技術を用いたものである。

【0003】

上記のマルチカメラオブジェクトトラッキング（におけるPerson Re-Identification）では、例えば、入口等のマルチカメラオブジェクトトラッキングの開始地点（トラッキング開始地点）にカメラを設置して、このカメラで撮影した人物の画像（人物画像）、又は人物画像から切り出した顔の画像（顔画像）、又は人物画像或いは顔画像から抽出した画像特徴量を、追跡対象者登録用のデータベースに登録しておいて、この登録した画像（人物画像又は顔画像）又は画像特徴量と、上記のトラッキング開始地点以外に設置したカメラで撮影した画像又は画像特徴量とをマッチングすることにより、人物（追跡対象者）を、複数のカメラの撮影範囲にまたがって追跡する。

【先行技術文献】

【非特許文献】

【0004】

【文献】Nicolai Wojke, Alex Bewley, Dietrich Paulus, “SIMPLE ONLINE AND REALTIME TRACKING WITH A DEEP ASSOCIATION METRIC”, [online], 2017年3月21日, University of Koblenz-Landau, Queensland University of Technology, [2023年1月6日検索], インターネット＜URL:https://userpages.uni-koblenz.de/~agas/Documents/Wojke2017SOA.pdf＞

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところが、従来のマルチカメラオブジェクトトラッキングでは、入口等のトラッキング開始地点に設置されたカメラで撮影される人物画像が、一つの（カメラの）画角で撮影された人物画像のみであるため、追跡対象者登録用のデータベースに登録される画像（人物画像又は顔画像）又は画像特徴量が、人物を特定の方向から見た画像又は画像特徴量だけになってしまう。このような人物を特定の方向から見た画像又は画像特徴量のみを用いて、トラッキングの開始地点以外に設置したカメラで撮影した画像又は画像特徴量とのマッチングを行ったのでは、安定したPerson Re-Identification（人物再同定）を行うことができないので、人物（追跡対象者）を、複数のカメラの撮影範囲にまたがって正確に追跡することができない。

【0006】

本発明は、上記課題を解決するものであり、安定したPerson Re-Identification（人物再同定）を行うことができるようにして、追跡対象者を、複数のカメラの撮影範囲にまたがって正確に追跡することが可能なマルチカメラオブジェクトトラッキングシステム、及びマルチカメラオブジェクトトラッキングプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明の第１の態様によるマルチカメラオブジェクトトラッキングシステムは、追跡対象者を複数のカメラの撮影範囲にまたがって追跡するマルチカメラオブジェクトトラッキングを行うマルチカメラオブジェクトトラッキングシステムにおいて、前記複数のカメラのうち２つ以上のカメラは、前記マルチカメラオブジェクトトラッキングの開始地点に設置されて、前記追跡対象者の少なくとも略前面側の画像と略背面側の画像とを撮影できるように配置されており、前記２つ以上のカメラで同期を取って撮影された前記追跡対象者の少なくとも略前面側の画像と略背面側の画像に基づいて、前記追跡対象者の３次元空間におけるポーズである３次元ポーズを生成する３次元ポーズ生成手段と、前記生成された３次元ポーズに対応する追跡対象者に識別用ＩＤを割り当てて、この識別用ＩＤを割り当てられた追跡対象者の各々を、前記生成された３次元ポーズを用いて、前記開始地点に設置された２つ以上のカメラによる撮影画像から構成されるビデオフレームにおいて追跡する３次元ポーズトラッキング手段と、前記２つ以上のカメラで同期を取って撮影された前記追跡対象者の前記少なくとも略前面側の画像と略背面側の画像、又はこれらの画像の画像特徴量と、前記追跡対象者の識別用ＩＤとを、追跡対象者登録用データベースに登録する追跡対象者登録手段とを備え、前記追跡対象者登録用データベースに登録された前記追跡対象者の少なくとも略前面側の画像と略背面側の画像、又はこれらの画像の画像特徴量に基づき、前記追跡対象者を、前記複数のカメラの撮影範囲にまたがって追跡する。ここで、追跡対象者の「略前面側の画像」とは、追跡対象者の顔の半分以上が映った撮影画像である。また、追跡対象者の「略背面側の画像」とは、追跡対象者の「頭の画像」の場合は、追跡対象者の後頭部が映った撮影画像であり、追跡対象者の「人物画像」（体全体の画像）の場合は、追跡対象者の後頭部、背中、及び臀部が映った撮影画像である。なお、ここで、「頭の画像」と記載した理由は、追跡対象者の前面側の頭部の画像は、「顔画像」になるが、追跡対象者の背面側の頭部の画像は、後頭部の画像であり、顔画像にはならないからである。

【0009】

このマルチカメラオブジェクトトラッキングシステムにおいて、前記３次元ポーズ生成手段は、前記２つ以上のカメラで同期を取って撮影された前記追跡対象者の少なくとも略前面側の画像と略背面側の画像における、前記追跡対象者のキーポイントを推定する２次元ポーズ推定手段を備え、前記２次元ポーズ推定手段により推定された前記追跡対象者のキーポイントと、前記２つ以上のカメラのキャリブレーションパラメータから、前記追跡対象者の３次元ポーズを生成することが望ましい。

【0010】

このマルチカメラオブジェクトトラッキングシステムにおいて、前記マルチカメラオブジェクトトラッキングの開始地点は、建物又は部屋の入口であり、前記複数のカメラのうち２つ以上のカメラは、前記入口を通過する追跡対象者の少なくとも略前面側の画像と略背面側の画像とを撮影できるように配置されているようにしてもよい。

【0011】

本発明の第２の態様によるマルチカメラオブジェクトトラッキングシステムは、追跡対象者を複数のカメラの撮影範囲にまたがって追跡するマルチカメラオブジェクトトラッキングを行うマルチカメラオブジェクトトラッキングシステムにおいて、前記複数のカメラのうち２つ以上のカメラは、前記マルチカメラオブジェクトトラッキングの開始地点に設置されて、前記追跡対象者の少なくとも略前面側の画像と略背面側の画像とを撮影できるように配置されており、前記２つ以上のカメラで同期を取って撮影された前記追跡対象者の前記少なくとも略前面側の画像と略背面側の画像と、前記追跡対象者の識別用ＩＤとを、追跡対象者登録用データベースに登録する追跡対象者登録手段を備え、前記追跡対象者登録手段は、前記追跡対象者の頭の画像又は人物画像を前記追跡対象者登録用データベースに登録し、２つの方向から撮影した前記追跡対象者の頭の画像又は人物画像に基づいて、前記２つの方向の中間の方向から撮影した前記追跡対象者の頭の画像又は人物画像を、生成ＡＩモデルにより生成して、生成した前記追跡対象者の頭の画像又は人物画像を補間画像として、前記追跡対象者登録手段により前記追跡対象者登録用データベースに登録する補間画像生成登録手段をさらに備え、前記追跡対象者登録用データベースに登録された前記追跡対象者の少なくとも略前面側と略背面側の頭の画像又は人物画像、及び前記生成した前記２つの方向の中間の方向から撮影した前記追跡対象者の頭の画像又は人物画像に基づき、前記追跡対象者を、前記複数のカメラの撮影範囲にまたがって追跡する。

【0012】

このマルチカメラオブジェクトトラッキングシステムにおいて、前記２つの方向から撮影した前記追跡対象者の頭の画像又は人物画像における、前記追跡対象者のキーポイントを推定する２次元ポーズ推定手段をさらに備え、前記補間画像生成登録手段は、前記２つの方向から撮影した前記追跡対象者の頭の画像又は人物画像と、前記２次元ポーズ推定手段により推定された前記追跡対象者のキーポイントとを用いて、前記２つの方向の中間の方向から撮影した前記追跡対象者の頭の画像又は人物画像を、生成ＡＩモデルにより生成することが望ましい。

【0014】

本発明の第３の態様によるマルチカメラオブジェクトトラッキングプログラムは、追跡対象者を複数のカメラの撮影範囲にまたがって追跡するマルチカメラオブジェクトトラッキングを行うためのマルチカメラオブジェクトトラッキングプログラムであって、前記複数のカメラのうち２つ以上のカメラが、前記マルチカメラオブジェクトトラッキングの開始地点に設置されて、前記追跡対象者の少なくとも略前面側の画像と略背面側の画像とを撮影できるように配置されているときに、コンピュータを、前記２つ以上のカメラで同期を取って撮影された前記追跡対象者の少なくとも略前面側の画像と略背面側の画像に基づいて、前記追跡対象者の３次元空間におけるポーズである３次元ポーズを生成する３次元ポーズ生成手段と、前記生成された３次元ポーズに対応する追跡対象者に識別用ＩＤを割り当てて、この識別用ＩＤを割り当てられた追跡対象者の各々を、前記開始地点に設置された２つ以上のカメラによる撮影画像から構成されるビデオフレームにおいて追跡する３次元ポーズトラッキング手段と、前記２つ以上のカメラで同期を取って撮影された前記追跡対象者の前記少なくとも略前面側の画像と略背面側の画像、又はこれらの画像の画像特徴量と、前記追跡対象者の識別用ＩＤとを、追跡対象者登録用データベースに登録する追跡対象者登録手段として機能させ、前記追跡対象者登録用データベースに登録された前記追跡対象者の少なくとも略前面側の画像と略背面側の画像、又はこれらの画像の画像特徴量に基づき、前記追跡対象者を、前記複数のカメラの撮影範囲にまたがって追跡するようにさせる。

【0015】

本発明の第４の態様によるマルチカメラオブジェクトトラッキングプログラムは、追跡対象者を複数のカメラの撮影範囲にまたがって追跡するマルチカメラオブジェクトトラッキングを行うためのマルチカメラオブジェクトトラッキングプログラムであって、前記複数のカメラのうち２つ以上のカメラが、前記マルチカメラオブジェクトトラッキングの開始地点に設置されて、前記追跡対象者の少なくとも略前面側の画像と略背面側の画像とを撮影できるように配置されているときに、コンピュータを、前記２つ以上のカメラで同期を取って撮影された前記追跡対象者の少なくとも略前面側の画像と略背面側の画像と、前記追跡対象者の識別用ＩＤとを、追跡対象者登録用データベースに登録する追跡対象者登録手段として機能させ、前記追跡対象者登録手段は、前記追跡対象者の頭の画像又は人物画像を前記追跡対象者登録用データベースに登録し、前記コンピュータを、２つの方向から撮影した前記追跡対象者の頭の画像又は人物画像に基づいて、前記２つの方向の中間の方向から撮影した前記追跡対象者の頭の画像又は人物画像を、生成ＡＩモデルにより生成して、生成した前記追跡対象者の頭の画像又は人物画像を補間画像として、前記追跡対象者登録手段により前記追跡対象者登録用データベースに登録する補間画像生成登録手段としてさらに機能させ、前記追跡対象者登録用データベースに登録された前記追跡対象者の少なくとも略前面側と略背面側の頭の画像又は人物画像、及び前記生成した前記２つの方向の中間の方向から撮影した前記追跡対象者の頭の画像又は人物画像に基づき、前記追跡対象者を、前記複数のカメラの撮影範囲にまたがって追跡するようにさせる。

【発明の効果】

【0016】

本発明の第１の態様によるマルチカメラオブジェクトトラッキングシステム、及び第３の態様によるマルチカメラオブジェクトトラッキングプログラムによれば、マルチカメラオブジェクトトラッキングの開始地点に設置された２つ以上のカメラで撮影される画像が、追跡対象者の少なくとも略前面側の画像と略背面側の画像であるため、追跡対象者登録用データベースに登録される画像又は画像特徴量が、追跡対象者の少なくとも略前面側の画像と略背面側の画像、又はこれらの画像の画像特徴量になる。これにより、従来のマルチカメラオブジェクトトラッキングシステムと異なり、追跡対象者の少なくとも略前面側の画像と略背面側の画像、又はこれらの画像の画像特徴量を用いて、トラッキングの開始地点以外に設置したカメラで撮影した画像又は画像特徴量とのマッチングを行うことができるので、安定したPerson Re-Identification（人物再同定）を行うことができる。従って、追跡対象者を、複数のカメラの撮影範囲にまたがって正確に追跡することができる。

【図面の簡単な説明】

【0018】

【図1】本発明の第１の実施形態のマルチカメラオブジェクトトラッキングシステムの概略の構成を示すブロック構成図。

【図2】同マルチカメラオブジェクトトラッキングシステムのエッジデバイスの概略のハードウェア構成を示すブロック図。

【図3】同マルチカメラオブジェクトトラッキングシステムの分析サーバの概略のハードウェア構成を示すブロック図。

【図4】上記図３の分析サーバのＣＰＵと図２のエッジデバイスのＳｏＣの機能ブロックのうち、マルチカメラオブジェクトトラッキング処理に関するブロックの入出力関係を示す図。

【図5】図４における２つの入口カメラの配置の説明図。

【図6】図４における人検出部３１ｂが入口カメラ３ｂによる撮影画像から検出した略前面側の人物検出画像と、人検出部３１ａが入口カメラ３ａによる撮影画像から検出した略背面側の人物検出画像とを示す図。

【図7】COCOデータセットにおいて教師ラベルとして付与される１７のキーポイントの説明図。

【図8】ピンホールカメラモデルにおけるカメラキャリブレーションアルゴリズムの説明図。

【図9】図４におけるエッジデバイス２ａが行う２次元ポーズの関連付け処理の説明図。

【図10】エピポーラ距離の説明図。

【図11】３次元ポーズの生成に必要な三角測量の説明図。

【図12】（ａ）は、図４の２次元ポーズ推定部が時刻ｔ０の撮影画像から推定した２次元ポーズと、その次の（時刻ｔ１の）撮影画像から生成した２次元ポーズの例を示し、（ｂ）は、図４の３次元ポーズ生成部が生成した時刻ｔ０の３次元ポーズと、その次の（時刻ｔ１の）３次元ポーズの例を示す図。

【図13】（ａ）（ｂ）は、それぞれ、図４の２次元ポーズ推定部が撮影画像から推定した２次元ポーズと、図４の３次元ポーズ生成部が生成した３次元ポーズの例を示す図。

【図14】上記第１の実施形態のマルチカメラオブジェクトトラッキングシステムが行うマルチカメラオブジェクトトラッキング処理のフローチャート。

【図15】本発明の第２の実施形態のマルチカメラオブジェクトトラッキングシステムの分析サーバのＣＰＵとエッジデバイスのＳｏＣの機能ブロックのうち、マルチカメラオブジェクトトラッキング処理に関するブロックの入出力関係を示す図。

【図16】本発明の第３の実施形態のマルチカメラオブジェクトトラッキングシステムの分析サーバのＣＰＵとエッジデバイスのＳｏＣの機能ブロックのうち、マルチカメラオブジェクトトラッキング処理に関するブロックの入出力関係を示す図。

【発明を実施するための形態】

【0019】

以下、本発明を具体化した実施形態によるマルチカメラオブジェクトトラッキングシステム、及びマルチカメラオブジェクトトラッキングプログラムについて、図面を参照して説明する。図１は、本発明の第1の実施形態によるマルチカメラオブジェクトトラッキングシステム１０の概略の構成を示すブロック構成図である。図１に示すように、本実施形態では、所定の撮影エリアを撮影する監視用のネットワークカメラである複数の固定カメラ３（図に示す入口カメラ３ａ、入口カメラ３ｂ、複数の店舗内カメラ３ｃ、及び出口カメラ３ｄの総称）と、各固定カメラ３からの映像の分析を行うエッジデバイス２（エッジデバイス２ａ、２ｃ、及び２ｄの総称）とが、建物又は部屋（図１における店舗Ｓに相当）の内部に配置される場合の例について説明する。本実施形態では、上記の複数の固定カメラ３のうち、２つのカメラ（入口カメラ３ａと入口カメラ３ｂ）が、マルチカメラオブジェクトトラッキングの開始地点、すなわち、店舗Ｓ（請求項における「建物又は部屋」）の入口に配置される。

【0020】

上記のマルチカメラオブジェクトトラッキングシステム１０は、主に、店舗Ｓに設置された、上記の複数の固定カメラ３及びエッジデバイス２と、クラウドＣ上に配された分析サーバ１とから構成される。上記のエッジデバイス２と分析サーバ１とが、請求項における「コンピュータ」に相当する。エッジデバイス２と分析サーバ１とは、インターネットを介して接続されている。

【0021】

上記のマルチカメラオブジェクトトラッキングシステム１０は、図１に示すように、上記の複数の固定カメラ３、及びエッジデバイス２ａ、２ｃ、２ｄが配される店舗Ｓに、ハブ７と、ルータ８とを備えている。なお、以下の説明では、各固定カメラ３とエッジデバイス２とが別体である場合の例について説明するが、本発明のマルチカメラオブジェクトトラッキングシステムにおけるカメラは、上記の各固定カメラ３とエッジデバイス２とが一体になった、いわゆるＡｌカメラであってもよい。

【0022】

上記の固定カメラ３は、ＩＰアドレスを持ち、ネットワークに直接接続することが可能である。図１に示すように、エッジデバイス２ａは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して、入口の２台の固定カメラ３（入口カメラ３ａ、３ｂ）と接続され、これらの固定カメラ３の各々から入力された撮影画像に基づいて、撮影画像中の人物（追跡対象者）の各々の３次元ポーズトラッキングを行う。３次元ポーズトラッキングの詳細については、後述する。エッジデバイス２ｃは、店舗内カメラ３ｃと接続されて、この店舗内カメラ３ｃから入力された撮影画像に基づいて、撮影画像中の人物（追跡対象者）の各々のシングルカメラトラッキングを行う。また、エッジデバイス２ｄは、出口カメラ３ｄと接続されて、この出口カメラ３ｄから入力された撮影画像に基づいて、撮影画像中の人物（追跡対象者）の各々のシングルカメラトラッキングを行う。

【0023】

上記の分析サーバ１は、各店舗Ｓを統括して管理する管理部門（本社等）に設置されたサーバである。詳細については後述するが、分析サーバ１は、エッジデバイス２ａにより行われた追跡対象者の３次元ポーズトラッキングの結果、及びエッジデバイス２ｃ、２ｄにより行われた追跡対象者のシングルカメラオブジェクトトラッキングの結果を用いて、追跡対象者を、複数のカメラの撮影範囲にまたがって追跡する処理であるマルチカメラオブジェクトトラッキング処理を行う。

【0024】

次に、図２を参照して、エッジデバイス２のハードウェア構成について説明する。エッジデバイス２は、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）１１と、各種のデータやプログラムを格納するハードディスク１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、通信制御ＩＣ１５とを備えている。ＳｏＣ１１は、装置全体の制御及び各種演算を行うＣＰＵ１１ａと、上記の物体検出処理や特徴ベクトル抽出処理を含む、各種の推論処理用学習済ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）モデルの推論処理等に用いられるＧＰＵ１１ｂとを備えている。また、ハードディスク１２に格納されるデータには、固定カメラ３の各々から入力された映像ストリーム（のデータ）をデコードした後の映像データが含まれている。また、ハードディスク１２に格納されるプログラムには、物体（追跡対象者）検出処理や特徴ベクトル抽出処理を含む、各種の推論処理用の学習済ＤＮＮモデル（各種推論処理用学習済ＤＮＮモデル）と、（エッジデバイス２の）デバイス制御プログラムが含まれている。エッジデバイス２のうち、エッジデバイス２ａには、請求項におけるマルチカメラオブジェクトトラッキングプログラムの一部が含まれている。

【0025】

次に、図３を参照して、分析サーバ１のハードウェア構成について説明する。分析サーバ１は、装置全体の制御及び各種演算を行うＣＰＵ２１と、各種のデータやプログラムを格納するハードディスク２２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２３と、ディスプレイ２４と、操作部２５と、通信部２６とを備えている。上記のハードディスク２２には、追跡対象者登録用ＤＢ２７（請求項における「追跡対象者登録用データベース」）と、マルチカメラオブジェクトトラッキングプログラム２８が格納されている。このマルチカメラオブジェクトトラッキングプログラム２８は、請求項におけるマルチカメラオブジェクトトラッキングプログラムの一部であり、主に、図４におけるマルチカメラトラッキング部３９に対応するプログラムである。

【0026】

次に、図４を参照して、本発明の第１の実施形態によるマルチカメラオブジェクトトラッキングシステム１０におけるマルチカメラオブジェクトトラッキング処理の概要について説明する。図４は、エッジデバイス２（エッジデバイス２ａ～２ｃの総称）のＳｏＣ１１と分析サーバ１のＣＰＵ２１の機能ブロックのうち、マルチカメラオブジェクトトラッキング処理に関するブロックの入出力関係を示す。エッジデバイス２ａは、機能ブロックとして、人検出部３１ａ，３１ｂと、２次元ポーズ推定部３２ａ，３２ｂと、３次元ポーズ生成部３３と、３次元ポーズトラッキング部３４と、画像特徴量抽出部３５ａと、追跡対象者登録部３６とを備えている。図５における２次元ポーズ推定部３２ａ，３２ｂと、３次元ポーズ生成部３３と、３次元ポーズトラッキング部３４と、追跡対象者登録部３６とは、それぞれ、請求項における２次元ポーズ推定手段と、３次元ポーズ生成手段と、３次元ポーズトラッキング手段と、追跡対象者登録手段とに相当する。

【0027】

図４に示す人検出部３１ａ，３１ｂは、それぞれ、店舗Ｓの入口に配置された入口カメラ３ａ、入口カメラ３ｂから入力されるビデオフレームよりフレーム画像を抽出して、各フレーム画像に含まれる人物を検出し、検出した各人物のバウンディングボックス情報を付加したフレーム画像（人物検出画像）を、２次元ポーズ推定部３２ａ，３２ｂに送る。

【0028】

ここで、上記入口カメラ３ａ、入口カメラ３ｂの配置について、図５を参照して、詳細に説明する。図５に示すように、２つの入口カメラのうち、一方の入口カメラ３ａは、ドア（自動ドアを含む）等の入口ＥＮＴ（マルチカメラオブジェクトトラッキングの開始地点）の上に設置されて、入口を通過する追跡対象者の略背面側の画像（図４中の撮影画像４１）を撮影する。これに対して、もう一方の入口カメラ３ｂは、例えば、入口の斜め前の通路の上（天井等）に設置されて、入口を通過する追跡対象者の略前面側の画像（図４中の撮影画像４２）を撮影する。ここで、本実施形態においては、上記の追跡対象者の「略前面側の画像」とは、追跡対象者の顔の主要なパーツのうち、少なくとも鼻、左目、右目が映った撮影画像を意味する。しかし、本発明においては、追跡対象者の「略前面側の画像」は、追跡対象者の顔の半分以上が映った撮影画像であればよい。また、追跡対象者の「略背面側の画像」とは、追跡対象者登録用ＤＢ２７に登録される画像が追跡対象者の頭の画像（顔画像）の場合は、追跡対象者の後頭部が映った撮影画像であり、追跡対象者登録用ＤＢ２７に登録される画像が追跡対象者の人物画像（体全体の画像）の場合は、追跡対象者の後頭部、背中、及び臀部が映った撮影画像を意味する。

【0029】

図５に示すように、入口カメラ３ａと入口カメラ３ｂとは、これらの光軸４３ａと光軸４３ｂとの成す角度が、１１０°～１４０°となるように配置されることが望ましい。２つの入口カメラ（入口カメラ３ａと入口カメラ３ｂ）を、これらの光軸４３ａと光軸４３ｂとの成す角度が、１８０°近辺の角度となるように配置しない方が良い理由は、以下のとおりである。すなわち、入口カメラ３ａを、図５に示すように、入口ＥＮＴの上に設置した場合に、入口カメラ３ｂを、この光軸４３ｂが、入口カメラ３ａの光軸４３ａと１８０°の角度となる（光軸４３ａと光軸４３ｂが重なる）ように配置すると、入口を通過する追跡対象者を完全に前側と後側から撮影することになってしまう。入口では、人が密集し易いので、オクルージョンが発生し易い。オクルージョンが発生し易い入口を通過する複数の人物（追跡対象者）を、完全に前側と後側から撮影した場合には、後側から見て人物が重なっている場合には、前側から見ても人物が重なってしまう。このため、入口を通過する人物を完全に前側と後側から撮影したのでは、入口を通過する複数の人物を正確に追跡することが難しい。また、入口を通過する人物を、完全に前側と後側から撮影すると、３次元ポーズの生成（推定）がしにくくなるので、生成した３次元ポーズに基づく３次元ポーズトラッキングを行うことが難しくなる。このため、本実施形態では、図５に示すように、２つの入口カメラ（入口カメラ３ａと入口カメラ３ｂ）を、これらの光軸４３ａと光軸４３ｂとの成す角度が、１１０°～１４０°となるように配置している。

【0030】

当社で行ったテスト結果によると、２つの入口カメラを上記のように配置することにより、入口カメラ３ａで撮影した略背面側の画像において、入口を通過する複数の人物が前後に重なっている場合でも、入口カメラ３ｂで撮影した略前面側の画像では、複数の人物が前後に重ならないようにすることができる可能性を高めることができる。また、２つの入口カメラを、これらの光軸４３ａと光軸４３ｂとの成す角度が、１１０°～１４０°となるように配置することにより、これらの入口カメラの撮影画像を、完全に前側と後側からの撮影画像ではないようにすることができるので、３次元ポーズの生成（推定）がし易くなり、生成した３次元ポーズに基づく３次元ポーズトラッキングを行うことが容易になる。

【0031】

図５に示す重複撮影エリア４４は、２つの入口カメラ（入口カメラ３ａと入口カメラ３ｂ）の撮影範囲のうち、これらの撮影範囲が重なっている部分を示す。この重複撮影エリア４４は、大きい（広い）ことが望ましく、少なくとも９平方メートル以上であることが望ましい。

【0032】

また、上記の入口カメラ３ａによる撮影画像４１と、入口カメラ３ｂによる撮影画像４２とは、同期を取って取得（撮影）される必要がある。具体的には、入口カメラ３ａによる撮影画像４１と、入口カメラ３ｂによる撮影画像４２とを同時に取得するか、所定の時間的なオフセットを持って、これらの入口カメラ３ａ、３ｂからの撮影画像の取得を行う。図４に示すエッジデバイス２ａ（のＳｏＣ１１）は、入口カメラ３ａによる撮影画像４１と、入口カメラ３ｂによる撮影画像４２とを、上記のように同期を取って取得して、取得した入口カメラ３ａの撮影画像４１と、入口カメラ３ｂの撮影画像４２とを、それぞれ、人検出部３１ａと、人検出部３１ｂとに送る。

【0033】

図６は、上記の人検出部３１ｂが、入口カメラ３ｂによる撮影画像４２から検出した略前面側の人物検出画像（検出した人物のバウンディングボックス情報を付加したフレーム画像）４８と、人検出部３１ａが、入口カメラ３ａによる撮影画像４１から検出した略背面側の人物検出画像４９とを示す。これらの人物検出画像は、元になるフレーム画像に、検出した各人物のバウンディングボックス情報を付加したものであっても良いし、図６に示すように、元になるフレーム画像における検出した人物周辺の切抜き画像に、バウンディングボックス情報を付加したものであっても良い。

【0034】

図４に示すように、人検出部３１ａにより検出された略背面側の人物検出画像４９と、人検出部３１ｂにより検出された略前面側の人物検出画像４８とは、それぞれ、２次元ポーズ推定部３２ａ，３２ｂに送られる。２次元ポーズ推定部３２ａは、人検出部３１ａにより検出された略背面側の人物検出画像４９における、検出された人物（追跡対象者）のキーポイントを推定し、２次元ポーズ推定部３２ｂは、人検出部３１ｂにより検出された略前面側の人物検出画像４８における、検出された人物のキーポイントを推定する。２次元ポーズ推定部３２ａ，３２ｂによる推定処理では、検出された人物（追跡対象者）についての１７のキーポイント（図７参照）が推定される。図７は、COCOデータセット(Common Objects in Context)において教師ラベルとして付与される１７のキーポイントを示す。

【0035】

上記の２次元ポーズ推定部３２ａ、３２ｂにより推定された追跡対象者のキーポイントは、予め取得された入口カメラ３ａ、３ｂのキャリブレーションパラメータ（内部パラメータ及び外部パラメータ）と共に、図４に示す３次元ポーズ生成部３３に送られる。３次元ポーズ生成部３３は、２次元ポーズ推定部３２ａ，３２ｂにより推定された（略背面側と略前面側の人物検出画像４９、４８における）追跡対象者のキーポイントと、入口カメラ３ａ、３ｂのキャリブレーションパラメータから、追跡対象者の３次元ポーズを生成する。上記の入口カメラ３ａ、３ｂのキャリブレーションパラメータは、入口カメラ３ａ、３ｂのキャリブレーションにより推定される。

【0036】

上記のキャリブレーションパラメータには、内部パラメータ、外部パラメータ、及び（レンズの）歪み係数が含まれている。一般に、カメラのキャリブレーションにおいて、カメラのキャリブレーションパラメー タを推定するには、3 次元ワールドポイントとそれに対応する 2 次元のイメージポイントが必要である。この対応関係は、チェッカーボードのようなキャリブレーションパターンの複数のイメージを使用して取得することができる。

【0037】

図８は、ピンホールカメラモデルにおけるカメラキャリブレーションアルゴリズムの説明図である。ピンホールカメラは、レンズが無く、小さな開口部が一つあるシンプルなカメラである。図８に示すように、外部パラメータは、３次元のワールド座標系から、３次元のカメラ座標系への変換をするためのパラメータであり、内部パラメータは、３次元のカメラ座標から２次元のイメージ座標（イメージ平面上の座標）への射影変換をするためのパラメータである。外部パラメータは、回転行列Ｒと変換行列ｔで構成され、一般に、［Ｒｔ］と表記される。また、内部パラメータは、焦点距離、光学的中心、及びせん断係数を含み、内部パラメータの行列Ｋは、以下のように定義される。

【0038】

【数1】

【0039】

上記の行列Ｋにおいて、［ｃ_ｘ ｃ_ｙ］は、ピクセル単位の光学的中心（主点）であり、（ｆ_ｘ, ｆ_y）は、ピクセル単位の焦点距離であり、ｓは、せん断係数である。

【0040】

次に、３次元ポーズ生成部３３により行われる追跡対象者の３次元ポーズ生成処理について、より詳細に説明する。図９は、３次元ポーズ生成部３３による３次元ポーズ生成処理の前に、エッジデバイス２ａ（のＳｏＣ１１）が行う２次元ポーズの関連付け処理の説明図である。この図では、人物５３～５６を模式的に表している。図９に示す入口カメラ３ａの撮影画像５１において人検出部３１ａにより検出された略背面側の人物（追跡対象者）が、人物５３と人物５４であり、入口カメラ３ｂの撮影画像５２において人検出部３１ｂにより検出された略前面側の人物（追跡対象者）が、人物５５と人物５６であったとする。この時、エッジデバイス２ａ（のＳｏＣ１１）は、入口カメラ３ａの撮影画像５１における人物５３、５４の各キーポイント（１７個のキーポイントの各々）と、入口カメラ３ｂの撮影画像５２における人物５５、５６の各キーポイントとの平均エピポーラ距離に基づいて、撮影画像５１における人物５３、５４（のポーズ）と、撮影画像５２における人物５５、５６（のポーズ）との対応付けを行う。

【0041】

上記の「平均エピポーラ距離」とは、異なる入口カメラにより撮影された各人物における対応するキーポイント間の「エピポーラ距離」の平均値である。そして、「エピポーラ距離」とは、下記の距離である。例えば、図９に示すように、２次元ポーズ推定部３２ａが推定した人物５４のキーポイントの一つである左耳の位置が、キーポイントＫ１であり、２次元ポーズ推定部３２ｂが推定した人物５５、５６についての左耳の位置が、それぞれ、キーポイントＫ１´、Ｋ１“であったとする。このとき、図１０に示すように、エピポーラ幾何の概念図に、上記のキーポイントＫ１、Ｋ１´、Ｋ１“をプロットすると、人物５４のキーポイントＫ１のエピポーラ線である、撮影画像５２上のエピポーラ線ｌ´と、上記の人物５５、５６のキーポイントＫ１´、Ｋ１“との距離が、「エピポーラ距離」である。例えば、図１０におけるエピポーラ線ｌ´と人物５５のキーポイントＫ１´との距離ｄ´が、「エピポーラ距離」である。図１０では、エピポーラ線ｌ´と人物５６のキーポイントＫ１“との間の距離ｄ”は、ゼロであるため、記載していない。図９及び図１０では、撮影画像５１における人物５４と、撮影画像５２における人物５６とが同じ人物であると想定しているので、人物５４のキーポイントＫ１のエピポーラ線であるエピポーラ線ｌ´と人物５６のキーポイントＫ１“との間の距離ｄ”をゼロにしている。一方、撮影画像５１における人物５４と、撮影画像５２における人物５５とは別人であると想定しているので、人物５４のキーポイントＫ１のエピポーラ線であるエピポーラ線ｌ´と人物５５のキーポイントＫ１´との距離ｄ´は、ゼロではない。なお、図１０における撮影画像５１上の点ｘと点Ｋ１は、同一の点である。

【0042】

また、上記の「平均エピポーラ距離」は、例えば、入口カメラ３ａの撮影画像５１における人物５４の１７のキーポイント（のうちの、撮影画像５１と撮影画像５２の両方に映っているキーポイント）の各々と、入口カメラ３ｂの撮影画像５２における人物５６の１７のキーポイント（のうちの、撮影画像５１と撮影画像５２の両方に映っているキーポイント）の各々との「エピポーラ距離」の平均値を意味する。この「平均エピポーラ距離」は、比較対象となる人物が同じ人物の場合には、ゼロに近づき、異なる人物である場合には、大きくなる。このため、「平均エピポーラ距離」に基づいて、撮影画像５１における人物５３、５４（のポーズ）と、撮影画像５２における人物５５、５６（のポーズ）との対応付けを行うことにより、入口カメラ３ａの撮影画像５１において検出された人物（追跡対象者）と、入口カメラ３ｂの撮影画像５２において検出された人物との関連付けを正確に行うことができる。

【0043】

上記の２次元ポーズの関連付け処理が完了すると、３次元ポーズ生成部３３は、２次元ポーズ推定部３２ａが推定した略背面側の人物（追跡対象者）のキーポイント（２次元画像上の位置）と、２次元ポーズ推定部３２ｂが推定した略前面側の人物のキーポイント（２次元画像上の位置）とを用いて、三角測量により、人検出部３１ａ、３１ｂにより検出された各人物（追跡対象者）の各キーポイントの３次元空間（ワールド座標）における位置を求めて、検出された各人物の３次元ポーズを生成する。

【0044】

上記の三角測量とは、ステレオ視では、異なる視点（カメラのレンズ中心）の画像における対応点（図１１における点ｘと点ｘ´）が定まると、視点（図１１における点Ｏと点Ｏ´）と画像面上のその点（点ｘと点ｘ´）を通る視線（図１１におけるＷとＷ´）の交点として、その点の三次元位置Ｘが定まるというものである。

【0045】

次に、上記の図１０を用いて、入口カメラ３ａによる撮影画像５１と、入口カメラ３ｂによる撮影画像５２のような、異なる視点のカメラで撮影した画像を用いて、三角測量ができる原理について、説明する。この図は、あるシーンを視点の異なる２台のカメラで撮影した場合の状況を表している。点Oと点O´は、これらのカメラの視点（投影中心）であり、３次元空間上の点Ｘが、２つのカメラの投影面（撮影画像５１と撮影画像５２に対応）に投影されているとする。仮に、左側のカメラのみを使用するのであれば、左のカメラの撮影画像上の点ｘについて、それが３次元空間上のどの点に対応するか分からない。左のカメラの視点（投影中心）Ｏと点ｘを結ぶ直線ＯＸ上の点であれば、いずれの点も、左側の画像における点ｘに写像されるからである。しかし、右のカメラで撮影した画像では、直線ＯＸ上の各点は異なる点に写像される。このことから、同じシーンについて、視点の異なる２枚の撮影画像があれば、３次元空間上の点Ｘを、三角測量できることが分かる。なお、直線ＯＸ上の点は、右側のカメラの撮影画像上では、直線ｌ´を形成する。この直線ｌ´が、上述した点ｘの「エピポーラ線」である。

【0046】

次に、上記の図１１を参照して、３次元ポーズ生成部３３が、２次元ポーズ推定部３２ａが推定した略背面側の人物のキーポイント（２次元画像上の位置）と、２次元ポーズ推定部３２ｂが推定した略前面側の人物のキーポイント（２次元画像上の位置）と、入口カメラ３ａ、３ｂのキャリブレーションパラメータ（内部パラメータ及び外部パラメータ）とを用いて、三角測量により、この人物のキーポイントの３次元空間（ワールド座標）上の位置を求める際の計算方法について説明する。

【0047】

まず、上記の予め取得された入口カメラ３ａ、３ｂのキャリブレーションパラメータ（内部パラメータ及び外部パラメータ）を用いて、３行４列のカメラ行列Ｐを下記の式で計算する。このカメラ行列Ｐは、３次元空間におけるシーンを、イメージ平面上にマッピングするための行列である。

Ｐ＝Ｋ［Ｒｔ］・・・（２）

【0048】

上記のカメラ行列Ｐを用いて、イメージ平面上の点ｘの座標位置（ｘ，ｙ）（例えば、図１１における入口カメラ３ａによる撮影画像５１上の点ｘ（キーポイントＫ１）や、入口カメラ３ｂによる撮影画像５２上の点ｘ´（キーポイントＫ１“）の座標位置）と、３次元空間（ワールド座標）上の点Ｘの座標位置（Ｘ，Ｙ，Ｚ）との関係を表すと、下記のカメラ変換式のようになる。

【0049】

【数2】

【0050】

ここで、λは、スケールファクター（対象となるものの大きさ（スケール）を表す係数）であり、（ｘ，ｙ）は、イメージ平面上の点ｘの座標位置であり、（Ｘ，Ｙ，Ｚ）は、３次元空間（ワールド座標）上の点Ｘの座標位置である。

【0051】

図１１の点ｘ、ｘ´のように、２つのカメラ（例えば、入口カメラ３ａ，３ｂ）の撮影画像上の点ｘ_１，ｘ_２について、上記式（３）のカメラ変換式を適用すると、下記のようになる。
λ_１ｘ_１＝Ｐ_１Ｘ・・・（４）
λ_２ｘ_２＝Ｐ_２Ｘ・・・（５）

【0052】

ここで、上記式（４）と式（５）のｘ_１，ｘ_２は、式（３）の左辺第２項の行列に対応し、式（４）と式（５）のＸは、式（３）の右辺２項の行列に対応する。

【0053】

上記の２つの式（４）（５）を行列で表現すると、下記のようになる。

【0054】

【数3】

【0055】

上記の行列式は、Ａｘ＝０の形になるので、ｘ（式（６）の左辺第２項）をＳＶＤ（Singular Value Decomposition：特異値分解）で解くことで、３次元空間（ワールド座標）上の点Ｘの座標位置を復元できる。

【0056】

３次元ポーズ生成部３３は、上記の方法で、入口カメラ３ａによる撮影画像５１と、入口カメラ３ｂによる撮影画像５２の両方に映った各人物について、全て（１７個）のキーポイントの３次元空間（ワールド座標）上の位置を求める。そして、３次元ポーズ生成部３３は、撮影画像５１、５２に映った各人物について、当該人物の全てのキーポイントをつなげることにより、図１２（b）に示すように、上記の各人物の３次元空間（ワールド座標）におけるポーズである３次元ポーズ６６、６７を生成する。

【0057】

図４に示す３次元ポーズトラッキング部３４は、３次元ポーズ生成部３３が生成した各３次元ポーズに対応する追跡対象者に識別用ＩＤを割り当てて、この識別用ＩＤを割り当てられた人物（追跡対象者の各々）を、この人物の３次元ポーズを用いて、入口カメラ３ａ、３ｂによる撮影画像から構成されるビデオフレームの全体に亘って追跡する。具体的には、３次元ポーズトラッキング部３４は、同じ人物について、３次元ポーズ生成部３３が生成した１つ前の３次元ポーズ（入口カメラ３ａ、３ｂによる１つ前の（時刻ｔ０の）撮影画像から生成した３次元ポーズ）（図１２（ｂ）参照）と、その次の３次元ポーズ（入口カメラ３ａ、３ｂによるその次の（時刻ｔ１の）撮影画像から生成した３次元ポーズ）（図１２（ｂ）参照）とを結びつけるのに、これらの連続する２つの３次元ポーズの両方に現れる全てのキーポイントの各々について、２つの３次元ポーズにおける対応するキーポイント間のユークリッド距離を求める。そして、３次元ポーズトラッキング部３４は、これらのユークリッド距離の平均値が、所定の閾値未満の場合には、これらの３次元ポーズを、同じトラックに統合する。これに対して、上記のユークリッド距離の平均値が、所定の閾値以上の場合には、３次元ポーズトラッキング部３４は、最新の（時刻ｔ１の）撮影画像から生成した３次元ポーズに基づいて、新しいトラックを生成する（当該３次元ポーズに対応する人物（追跡対象者）に新しい識別用ＩＤを付与する）。

【0058】

図１２（ａ）は、２次元ポーズ推定部３２ａ、３２ｂが上記の１つ前の（時刻ｔ０の）撮影画像５１，５２から推定した２次元ポーズ６１～６４と、上記のその次の（時刻ｔ１の）撮影画像５１´，５２´から生成した２次元ポーズ６１´～６４´の例を示し、図１２（ｂ）は、３次元ポーズ生成部３３が生成した１つ前の（時刻ｔ０の）３次元ポーズ６７，６８と、その次の（時刻ｔ１の）３次元ポーズ６７´，６８´の例を示す。これらの図１２（ａ）（ｂ）から、２次元の撮影画像５１，５２に基づく２次元ポーズ６１～６４では重なっていた人物（ポーズ）が、３次元ポーズ６７，６８では、上手く分離されるので、３次元ポーズトラッキング部３４が、各人物に正確に識別用ＩＤを付与して、各人物の追跡を正確に行うことができる。

【0059】

図１３（ａ）（ｂ）は、図１２（ａ）（ｂ）と同様に、２次元ポーズ推定部３２ａ、３２ｂが撮影画像７１，７２から推定した２次元ポーズ７３～７６、７３´～７６´と、３次元ポーズ生成部３３が生成した３次元ポーズ７３“～７６”とを対比して示す。２次元ポーズ７３、７３´と３次元ポーズ７３“とは、同一人物のポーズである。同様に、２次元ポーズ７４、７４´と３次元ポーズ７４“、２次元ポーズ７５、７５´と３次元ポーズ７５“、及び２次元ポーズ７６、７６´と３次元ポーズ７６“とは、同一人物のポーズである。

【0060】

図１３（ａ）（ｂ）から、３次元ポーズ生成部３３が生成した３次元ポーズ７３“～７６”では、２つの入口カメラ（入口カメラ３ａと入口カメラ３ｂ）から得られた異なる方向の撮影画像（略背面側と略前面側の撮影画像）を用いることにより、非常に接近して重なった４人の人物についても、正確に３次元ポーズをマッピングすることができていることが分かる。このため、この３次元ポーズを用いた３次元ポーズトラッキングでは、図１３（ａ）（ｂ）中の各人物についての追跡（トラッキング）を正確に行うことができるが、従来の２次元の撮影画像を用いたシングルカメラオブジェクトトラッキング（SORT 、DeepSORT 、Deep OC-SORT等によるトラッキング）により、上記のように非常に接近して重なった複数の人物についての追跡を行った場合には、人物（追跡対象者）に付与される識別用ＩＤが入れ替わってしまうスワッピングの問題が発生してしまう。

【0061】

上記のような差が出るのは、２次元のカメラ画像（撮影画像）では、非常に接近して重なった複数の人物についても、３次元空間上では識別可能だからである。３次元ポーズトラッキングによれば、従来の２次元の撮影画像を用いたシングルカメラオブジェクトトラッキングと比べて、上記のスワッピングの発生を有意に減らすことができる。なお、上記のDeep OC-SORT は、「motion modeling」型のトラッキングモデル（それまでの物体の動きから物体の動きを予測するモデル）であるOC-SORTに、物体の外観マッチングの手法を取り入れたものである。

【0062】

図４に示す画像特徴量抽出部３５ａは、人検出部３１ａ，３１ｂが検出した人物についての略背面側及び略前面側の人物画像又は顔画像（請求項における「頭の画像」）の特徴量を抽出して、抽出した画像特徴量を追跡対象者登録部３６に送る。なお、請求項では、厳密な定義をするために、（追跡対象者の）「頭の画像」という用語を用いたが、「顔画像」という言い方の方が分かり易いので、実施形態では、「顔画像」という用語を用いる。

【0063】

追跡対象者登録部３６は、３次元ポーズトラッキング部３４による追跡対象者（人物）の各々の追跡結果を用いて、入口カメラ３ａ、３ｂで同期を取って撮影された追跡対象者（検出した人物）の各々の略背面側及び略前面側の人物画像又は顔画像の特徴量（画像特徴量）と、追跡対象者の各々の識別用ＩＤとを、分析サーバ１の追跡対象者登録用ＤＢ２７（請求項における追跡対象者登録用データベース）に（追加）登録する処理を行う。

【0064】

なお、追跡対象者登録部３６は、３次元ポーズトラッキング部３４による追跡対象者（人物）の各々の追跡結果を用いて、入口カメラ３ａ、３ｂで同期を取って撮影された追跡対象者（検出した人物）の各々の略背面側及び略前面側の人物画像又は顔画像と、追跡対象者の各々の識別用ＩＤとを、分析サーバ１の追跡対象者登録用ＤＢ２７に登録するようにしてもよい。

【0065】

本実施形態では、上記の３次元ポーズトラッキング部３４によるトラッキング結果のデータである「トラック」として、追跡対象者（人物）の移動軌跡と、その人の略背面側及び略前面側の人物画像又は顔画像の特徴量（画像特徴量）とが含まれる。本実施形態では、ある追跡対象者（人物）の情報として、上記の略背面側及び略前面側の人物画像又は顔画像の特徴量（画像特徴量）と、識別用ＩＤに加えて、上記のトラックに含まれる移動軌跡を、追跡オブジェクトＤＢ３９に登録（格納）する。

【0066】

なお、本実施形態では、エッジデバイス２ａ（の追跡対象者登録部３６）のみが、マルチカメラオブジェクトトラッキング用の識別用ＩＤを付与する（割り当てる）ので、３次元ポーズトラッキング部３４によるトラッキング用の識別用ＩＤと、マルチカメラトラッキング部３９によるマルチカメラオブジェクトトラッキング用の識別用ＩＤとを分ける必要は無い。ただし、エッジデバイス２ｃ、２ｄも、マルチカメラオブジェクトトラッキング用の識別用ＩＤを付与する（割り当てる）場合には、３次元ポーズトラッキング部３４によるトラッキング用の識別用ＩＤ（いわゆるローカルＩＤに類似）と、マルチカメラトラッキング部３９によるマルチカメラオブジェクトトラッキング用の識別用ＩＤ（いわゆるグローバルＩＤ）とを分ける必要がある。

【0067】

本実施形態では、上記の入口カメラ３ａと入口カメラ３ｂによる撮影画像以外で検出された人物については、通常の（２次元の撮影画像を用いた）シングルカメラオブジェクトトラッキングを行う。すなわち、店舗内カメラ３ｃによる撮影画像は、エッジデバイス２ｃに送られて、エッジデバイス２ｃの人検出部３１ｃで、上記の撮影画像に映った人の検出が行われる。エッジデバイス２ｃの２次元シングルカメラトラッキング部３８ａは、人検出部３１ｃで検出された人物を、店舗内カメラ３ｃの撮影範囲内で追跡する処理であるシングルカメラオブジェクトトラッキングを行う。具体的には、２次元シングルカメラトラッキング部３８ａは、SORT(Simple Online and Realtime Tracking)や、DeepSORT(Simple Online and Realtime Tracking with a deep association metric)の技術を用いて、人検出部３１ｃで検出された人物のバウンディングボックスとトラックとの紐づけを行う。また、エッジデバイス２ｃの画像特徴量抽出部３５ｂは、人検出部３１ｃが検出した人物についての人物画像又は顔画像の特徴量を抽出する。

【0068】

エッジデバイス２ｃのＳｏＣ１１（図２参照）は、クエリとして、２次元シングルカメラトラッキング部３８ａによるトラッキング結果のデータである「トラック」を、分析サーバ１のマルチカメラトラッキング部３９に送る。この「トラック」には、画像特徴量抽出部３５ｂが抽出した画像特徴量が含まれている。分析サーバ１のマルチカメラトラッキング部３９は、エッジデバイス２ｃから送られたクエリについてのマルチカメラオブジェクトトラッキング処理を行う。すなわち、マルチカメラトラッキング部３９は、エッジデバイス２ｃから送られたクエリに含まれる画像特徴量と、追跡対象者登録用ＤＢ２７に登録済の追跡対象者の各々の画像特徴量とのマッチングを行うことにより、エッジデバイス２ｃのシングルカメラオブジェクトトラッキングで得られたトラックが、追跡対象者登録用ＤＢ２７に登録済のどの識別用ＩＤに紐づくかを推定し、推定結果の識別用ＩＤを、該当のトラックに割り当てる。なお、上記のクエリとは、追跡対象者登録用ＤＢ２７のデータベース管理システム（ＤＢＭＳ）に対して、データの検索などの処理を行うように求める命令文のことを意味する。

【0069】

分析サーバ１のＣＰＵ２１が、エッジデバイス２ｃからクエリとして送られたトラックの特徴ベクトルと、ある追跡対象者（パーソン１）の情報として登録されているトラック１の特徴ベクトルとが合致すると判定した場合、分析サーバ１のＣＰＵ３１は、エッジデバイス２ｃから送られたトラックがパーソン１のトラックであるとみなし、上記のデータベース管理システムを用いて、追跡対象者登録用ＤＢ２７に登録されているパーソン１の情報を、クエリに含まれるトラックの情報を用いてアップデートする。すなわち、例えば、追跡対象者登録用ＤＢ２７に登録されているパーソン１の情報に対して、店舗内カメラ３ｃの撮影範囲内におけるパーソン１の移動軌跡を考慮した、パーソン１の移動軌跡の更新処理と、クエリに含まれるトラックの特徴ベクトルを用いたパーソン１の特徴ベクトルの更新処理（例えば、追跡対象者登録用ＤＢ２７に登録されているパーソン１の特徴ベクトルを、クエリに含まれる特徴ベクトルに置き換える処理や、追跡対象者登録用ＤＢ２７に登録されているパーソン１の特徴ベクトルに、クエリに含まれる特徴ベクトルを追加する処理）を行う。

【0070】

出口カメラ３ｄによる撮影画像についてエッジデバイス２ｄが行うシングルカメラオブジェクトトラッキング処理、及び分析サーバ１のマルチカメラトラッキング部３９が、エッジデバイス２ｄから送られたクエリについて行うマルチカメラオブジェクトトラッキング処理も、上記の店舗内カメラ３ｃによる撮影画像についてエッジデバイス２ｃが行うシングルカメラオブジェクトトラッキング処理、及び分析サーバ１のマルチカメラトラッキング部３９が、エッジデバイス２ｃから送られたクエリについて行うマルチカメラオブジェクトトラッキング処理と同様である。

【0071】

なお、上述したように、入口カメラ３ａ、３ｂの撮影画像を処理するエッジデバイス２ａ（の追跡対象者登録部３６）のみが、追跡対象者にマルチカメラオブジェクトトラッキング用の識別用ＩＤを付与して（割り当てて）、店舗内カメラ３ｃ、出口カメラ３ｄの撮影画像を処理するエッジデバイス２ｃ、２ｄが、追跡対象者にマルチカメラオブジェクトトラッキング用の識別用ＩＤを付与しない（割り当てない）ようにしたことにより、店舗Ｓ（請求項における「建物又は部屋」）の内側に配置されたカメラによる撮影画像から新しい追跡対象者が生じるのを避けることができるので、マルチカメラオブジェクトトラッキング処理におけるPerson Re-Identification（人物再同定）を正確に行うことができる。

【0072】

上記の追跡対象者登録用ＤＢ２７は、いわゆるギャラリーと呼ばれる画像関連のデータベースである。第１の実施形態では、追跡対象者登録用ＤＢ２７に登録される追跡対象者の画像関連データは、追跡対象者の略前面側の画像と略背面側の画像（人物画像又は顔画像）の特徴量（画像特徴量）になる。

【0073】

ここで、図１４のフローチャートを参照して、第１の実施形態によるマルチカメラオブジェクトトラッキングシステム１０が行うマルチカメラオブジェクトトラッキング処理について、まとめておく。まず、図４に示すエッジデバイス２ａの人検出部３１ａ，３１ｂが、入口カメラ３ａ、３ｂから入力される撮影画像から人物を検出して、略背面側と略前面側の人物検出画像を、それぞれ、２次元ポーズ推定部３２ａ，３２ｂに送る（Ｓ１）。２次元ポーズ推定部３２ａ，３２ｂは、それぞれ、人検出部３１ａ，３１ｂから送られた略背面側の人物検出画像と略前面側の人物検出画像における、追跡対象者のキーポイントを推定する（Ｓ２）。３次元ポーズ生成部３３は、２次元ポーズ推定部３２ａ，３２ｂにより推定された（略背面側と略前面側の人物検出画像における）追跡対象者のキーポイントと、予め求めた入口カメラ３ａ、３ｂのキャリブレーションパラメータから、追跡対象者の３次元ポーズを生成する（Ｓ３）。そして、図４に示す３次元ポーズトラッキング部３４が、３次元ポーズ生成部３３が生成した各３次元ポーズに対応する追跡対象者に識別用ＩＤを割り当てて、この識別用ＩＤを割り当てられた人物（追跡対象者の各々）を、この人物の３次元ポーズを用いて、入口カメラ３ａ、３ｂによる撮影画像から構成されるビデオフレームの全体に亘って追跡する（Ｓ４）。

【0074】

次に、追跡対象者登録部３６が、３次元ポーズトラッキング部３４による追跡対象者の各々の追跡結果を用いて、入口カメラ３ａ、３ｂで同期を取って撮影された追跡対象者の各々の略背面側及び略前面側の人物画像又は顔画像の特徴量（画像特徴量）と、追跡対象者の各々の識別用ＩＤとを、分析サーバ１の追跡対象者登録用ＤＢ２７に登録する（Ｓ５）。そして、分析サーバ１のマルチカメラトラッキング部３９が、エッジデバイス２ｃから送られたクエリに含まれる画像特徴量と、追跡対象者登録用ＤＢ２７に登録済の追跡対象者の各々の画像特徴量とのマッチングを行うことにより、追跡対象者の各々を複数のカメラ（入口カメラ３ａ、３ｂ、店舗内カメラ３ｃ、及び出口カメラ３ｄ）の撮影範囲にまたがって追跡する（追跡対象者の各々についてのマルチカメラオブジェクトトラッキングを行う）（Ｓ６）。

【0075】

上記のように、第１の実施形態によるマルチカメラオブジェクトトラッキングシステム１０によれば、マルチカメラオブジェクトトラッキングの開始地点（入口）に設置された２つのカメラ（入口カメラ３ａと入口カメラ３ｂ）で撮影される画像が、追跡対象者の略前面側の画像と略背面側の画像であるため、追跡対象者登録用ＤＢ２７に登録される画像特徴量が、追跡対象者の略前面側の画像と略背面側の画像の画像特徴量になる。これにより、従来のマルチカメラオブジェクトトラッキングシステムと異なり、追跡対象者の少なくとも略前面側の画像と略背面側の画像の画像特徴量を用いて、トラッキングの開始地点以外に設置したカメラで撮影した追跡対象者の画像の特徴量とのマッチングを行うことができるので、安定したPerson Re-Identification（人物再同定）を行うことができる。従って、追跡対象者を、複数のカメラの撮影範囲にまたがって正確に追跡することができる。

【0076】

従来のマルチカメラオブジェクトトラッキングシステムでは、入口等のマルチカメラオブジェクトトラッキングの開始地点に設置されるカメラが１台だけであるため、上記のトラッキング開始地点に設置されたカメラで撮影される人物画像が、一つの（カメラの）画角で撮影された人物画像のみになる。このため、追跡対象者登録用のデータベースに登録される画像（人物画像又は顔画像）又は画像特徴量が、人物を特定の方向から見た画像又は画像特徴量だけになってしまう。このような人物を特定の方向から見た画像（例えば、人物を背面側から見た画像）又は画像特徴量のみを用いて、トラッキングの開始地点以外に設置したカメラで撮影した画像又は画像特徴量とのマッチングを行ったのでは、安定したPerson Re-Identification（人物再同定）を行うことができない。

【0077】

これに対して、第１の実施形態によるマルチカメラオブジェクトトラッキングシステム１０によれば、従来のマルチカメラオブジェクトトラッキングシステムと異なり、追跡対象者の少なくとも略前面側の画像と略背面側の画像の画像特徴量を用いて、トラッキングの開始地点以外に設置したカメラで撮影した画像の特徴量とのマッチングを行うことができる。そして、例えば、追跡対象者登録用ＤＢ２７に登録された、追跡対象者の略前面側の画像の画像特徴量と追跡対象者の略背面側の画像の画像特徴量とのうち、いずれかが、トラッキングの開始地点以外に設置したカメラで撮影した追跡対象者の画像の特徴量と一致すれば、この特徴量のマッチングが成功したと判定する。これにより、トラッキングの開始地点以外に設置したカメラで撮影した画像で検出された人物（追跡対象者）の顔向きに関わらず、上記のマッチングを成功させることが可能になるので、安定したPerson Re-Identification（人物再同定）を行うことができるのである。従って、追跡対象者を、複数のカメラの撮影範囲にまたがって正確に追跡することができる。

【0078】

また、第１の実施形態のマルチカメラオブジェクトトラッキングシステム１０によれば、追跡対象者の３次元ポーズを生成し、生成した３次元ポーズに対応する追跡対象者に識別用ＩＤを割り当てて、この識別用ＩＤを割り当てられた追跡対象者の各々を、生成された３次元ポーズを用いて、入口（マルチカメラオブジェクトトラッキングの開始地点）に設置された２つ以上のカメラによる撮影画像から構成されるビデオフレームの全体に亘って追跡するようにした。上述したように、２次元の撮影画像では、非常に接近して重なった複数の人物についても、３次元空間上では識別可能であるため、３次元ポーズを用いた３次元ポーズトラッキングによれば、従来の２次元の撮影画像を用いたシングルカメラオブジェクトトラッキングと比べて、上記のスワッピング（人物の追跡（トラッキング）中に、追跡対象者に付与される識別用ＩＤが入れ替わってしまうという問題）の発生を減らすことができる。これにより、マルチカメラオブジェクトトラッキングの開始地点（入口）において、撮影画像に映った人物（追跡対象者）についての正確な識別用ＩＤと画像特徴量を、追跡対象者登録用ＤＢ２７に登録することができる。

【0079】

また、第１の実施形態のマルチカメラオブジェクトトラッキングシステム１０によれば、入口カメラ３ａ、３ｂで同期を取って撮影された追跡対象者の略前面側の画像と略背面側の画像における、追跡対象者の（２次元の）キーポイントを推定して、推定した追跡対象者の（２次元の）キーポイントと、入口カメラ３ａ、３ｂのキャリブレーションパラメータから、追跡対象者の３次元ポーズを生成するようにした。これにより、追跡対象者の正確な３次元ポーズを生成することが可能になる。

【0080】

次に、図１５を参照して、本発明の第２の実施形態のマルチカメラオブジェクトトラッキングシステム８０について説明する。第２の実施形態のマルチカメラオブジェクトトラッキングシステム８０は、主に、以下の２つの点について、第１の実施形態のマルチカメラオブジェクトトラッキングシステム１０と異なる。１つ目の相違点は、追跡対象者登録用ＤＢ２７に登録されるのが、追跡対象者の略前面側と略背面側の画像（顔画像又は人物画像）の画像特徴量ではなく、追跡対象者の略前面側と略背面側の画像（顔画像又は人物画像）であり、これらの画像に基づいて、追跡対象者のマルチカメラオブジェクトトラッキングを行う点である。

【0081】

２つ目の相違点は、エッジデバイス２ａが、２つの方向から撮影した追跡対象者の顔画像又は人物画像に基づいて、２つの方向の中間の方向から撮影した前記追跡対象者の顔画像又は人物画像を、生成ＡＩモデルにより生成して、生成した追跡対象者の顔画像又は人物画像を補間画像として、追跡対象者登録部３６により追跡対象者登録用ＤＢ２７に登録する補間画像生成登録部８１を備える点である。補間画像生成登録部８１は、請求項における「補間画像生成登録手段」に相当する。補間画像生成登録部８１は、例えば、上記の追跡対象者の略前面側と略背面側の顔画像又は人物画像に基づいて、２つの方向の中間の方向から撮影した追跡対象者の顔画像又は人物画像を、生成ＡＩモデルにより生成して、生成した追跡対象者の顔画像又は人物画像を補間画像として、追跡対象者登録部３６を用いて追跡対象者登録用ＤＢ２７に登録する。

【0082】

図１５に示す例では、補間画像生成登録部８１は、２つの方向（追跡対象者の略前面側と略背面側）から撮影した追跡対象者の画像（顔画像又は人物画像）と、２次元ポーズ推定部３２ａ、３２ｂにより推定された追跡対象者の略前面側と略背面側の画像におけるキーポイントとを用いて、上記の２つの方向の中間の方向から撮影した追跡対象者の画像（顔画像又は人物画像）を、生成ＡＩモデルにより生成する。補間画像生成登録部８１は、上記の２つの方向の中間の方向から撮影した追跡対象者の画像（補間画像）の生成処理を繰り返すことにより、追跡対象者の色んな顔向きの画像（顔画像又は人物画像）を補間画像として生成して、追跡対象者登録部３６により追跡対象者登録用ＤＢ２７に登録することが可能である。

【0083】

第２の実施形態では、追跡対象者登録部３６は、少なくとも、入口カメラ３ａ、３ｂで２つの方向（追跡対象者の略前面側と略背面側）から撮影した追跡対象者の顔画像又は人物画像と、補間画像生成登録部８１により生成された上記２つの方向の中間の方向から撮影した追跡対象者の顔画像又は人物画像と、追跡対象者の識別用ＩＤとを、分析サーバ１の追跡対象者登録用ＤＢ２７に登録する。そして、図１５に示す例では、エッジデバイス２ｃ、２ｄは、図４に示す第１の実施形態と異なり、画像特徴量抽出部３５ｂ、３５ｃを有していないので、エッジデバイス２ｃ、２ｄから送られるクエリには、追跡対象者の画像の画像特徴量ではなく、店舗内カメラ３ｃや出口カメラ３ｄで撮影した画像から人検出部３１ｃ、３１ｄが検出した追跡対象者の画像（顔画像又は人物画像）が含まれる。分析サーバ１のマルチカメラトラッキング部３９は、エッジデバイス２ｃ、２ｄから送られたクエリに含まれる追跡対象者の画像と、追跡対象者登録用ＤＢ２７に登録済の追跡対象者の色んな顔向きの画像とのマッチングを行うことにより、エッジデバイス２ｃ、２ｄのシングルカメラオブジェクトトラッキングで得られたトラックが、追跡対象者登録用ＤＢ２７に登録済のどの識別用ＩＤに紐づくかを推定し、推定結果の識別用ＩＤを、該当のトラックに割り当てる。

【0084】

ただし、エッジデバイス２ｃ、２ｄに、図４に示す第１の実施形態と同様な画像特徴量抽出部３５ｂ、３５ｃを設けて、第１の実施形態と同様に、エッジデバイス２ｃ、２ｄから送られるクエリが、追跡対象者の画像の画像特徴量を含むようにしてもよい。この場合に、マルチカメラトラッキング部３９が、追跡対象者登録用ＤＢ２７に登録済の追跡対象者の色んな顔向きの画像から画像特徴量を抽出する機能を備えて、この機能により抽出した登録済の追跡対象者の色んな顔向きの画像の画像特徴量と、エッジデバイス２ｃ、２ｄから送られたクエリに含まれる画像特徴量とのマッチングを行うことにより、エッジデバイス２ｃ、２ｄのシングルカメラオブジェクトトラッキングで得られたトラックが、追跡対象者登録用ＤＢ２７に登録済のどの識別用ＩＤに紐づくかを推定することができる。

【0085】

上記のように、第２の実施形態のマルチカメラオブジェクトトラッキングシステム８０によれば、２つの方向から撮影した追跡対象者の顔画像又は人物画像に基づいて、２つの方向の中間の方向から撮影した追跡対象者の顔画像又は人物画像を、生成ＡＩモデルにより生成して、生成した追跡対象者の顔画像又は人物画像を補間画像として、追跡対象者登録用ＤＢ２７に登録するようにした。これにより、追跡対象者の色んな顔向きの画像（顔画像又は人物画像）を補間画像として生成して、追跡対象者登録用ＤＢ２７に登録することができるので、マルチカメラトラッキング部３９が、追跡対象者の色んな顔向きの画像を用いて、エッジデバイス２ｃ、２ｄから送られたクエリに含まれる画像（マルチカメラオブジェクトトラッキングの開始地点に設置されたカメラ以外のカメラからの撮影画像に基づく画像）とのマッチングを行うことができる。従って、クエリに対応する追跡対象者への識別用ＩＤの紐づけ（Person Re-Identification（人物再同定））を正確に行うことができるので、正確なマルチカメラオブジェクトトラッキング処理を行うことができる。

【0086】

また、第２の実施形態のマルチカメラオブジェクトトラッキングシステム８０によれば、２つの方向から撮影した追跡対象者の画像（顔画像又は人物画像）と、２次元ポーズ推定部３２ａ、３２ｂにより推定した上記の２つの画像における追跡対象者のキーポイントとを用いて、上記の２つの方向の中間の方向から撮影した追跡対象者の画像（顔画像又は人物画像）を、生成ＡＩモデルにより生成するようにした。このように、２つの方向の中間の方向から撮影した追跡対象者の画像を生成するのに、２つの方向から撮影した追跡対象者の画像だけではなく、これらの２つの画像における追跡対象者のキーポイントも用いるようにしたことにより、上記の２つの方向の中間の方向から撮影した追跡対象者の画像を正確に生成することができる。

【0087】

次に、図１６を参照して、本発明の第３の実施形態のマルチカメラオブジェクトトラッキングシステム９０について説明する。第３の実施形態のマルチカメラオブジェクトトラッキングシステム９０は、出願時の請求項７のマルチカメラオブジェクトトラッキングシステムの一例である。第３の実施形態のマルチカメラオブジェクトトラッキングシステム９０は、システム内の全てのカメラの撮影画像における追跡対象者のキーポイントを推定して、これらのキーポイントに基づき、追跡対象者のマルチカメラオブジェクトトラッキングを行う点が、上記の第１及び第２の実施形態のマルチカメラオブジェクトトラッキングシステムと異なっている。

【0088】

具体的には、図１６に示す例では、エッジデバイス２ａの追跡対象者登録部３６が、３次元ポーズトラッキング部３４による追跡対象者の各々の追跡結果を用いて、２次元ポーズ推定部３２ａ、３２ｂが推定した追跡対象者の略前面側と略背面側の画像（顔画像又は人物画像）のキーポイントと、追跡対象者の各々の識別用ＩＤとを、分析サーバ１の追跡対象者登録用ＤＢ２７に登録する処理を行う。一方、図１６に示す例では、エッジデバイス２ｃ、２ｄは、エッジデバイス２ａと同様に、２次元ポーズ推定部９１ａ、９１ｂを備えており、エッジデバイス２ｃ、２ｄから分析サーバ１のマルチカメラトラッキング部３９に送られるクエリには、２次元ポーズ推定部９１ａ、９１ｂにより推定した追跡対象者のキーポイントが含まれている。そして、分析サーバ１のマルチカメラトラッキング部３９は、エッジデバイス２ｃ、２ｄから送られたクエリに含まれる追跡対象者のキーポイントと、追跡対象者登録用ＤＢ２７に登録済の追跡対象者の各々のキーポイントとのマッチングを行うことにより、エッジデバイス２ｃ、２ｄのシングルカメラオブジェクトトラッキングで得られたトラックが、追跡対象者登録用ＤＢ２７に登録済のどの識別用ＩＤに紐づくかを推定する。

【0089】

なお、図１６に示す例では、分析サーバ１の追跡対象者登録用ＤＢ２７に、２次元ポーズ推定部３２ａ、３２ｂが推定した追跡対象者の画像のキーポイント自体を登録して、これらのキーポイント自体に基づき、追跡対象者のマルチカメラオブジェクトトラッキングを行う場合の例を示したが、分析サーバ１の追跡対象者登録用ＤＢ２７に、２次元ポーズ推定部３２ａ、３２ｂが推定した追跡対象者の画像のキーポイントを結んだ２次元ポーズを登録して、これらの２次元ポーズに基づき、追跡対象者のマルチカメラオブジェクトトラッキングを行ってもよい。この場合には、分析サーバ１のマルチカメラトラッキング部３９は、エッジデバイス２ｃ、２ｄから送られたクエリに含まれる追跡対象者の２次元ポーズと、追跡対象者登録用ＤＢ２７に登録済の追跡対象者の各々の２次元ポーズとのマッチングを行う。

【0090】

上記のように、第３の実施形態のマルチカメラオブジェクトトラッキングシステム９０によれば、マルチカメラオブジェクトトラッキングの開始地点（入口）に設置された入口カメラ３ａ、３ｂで撮影した追跡対象者の略前面側の画像と略背面側の画像を含む、全てのカメラ（入口カメラ３ａ、３ｂ、店舗内カメラ３ｃ、及び出口カメラ３ｄ）の撮影画像における追跡対象者のキーポイントを推定して、これらのキーポイントに基づき、追跡対象者を、全てのカメラの撮影範囲にまたがって追跡することができる。これにより、マルチカメラオブジェクトトラッキングの開始地点の入口カメラ３ａ、３ｂの撮影画像から推定した、追跡対象者の少なくとも略前面側の画像と略背面側の画像のキーポイントを用いて、トラッキングの開始地点以外に設置したカメラ（店舗内カメラ３ｃ及び出口カメラ３ｄ）で撮影した画像のキーポイントとのマッチングを行うことができるので、安定したPerson Re-Identification（人物再同定）を行うことができる。従って、追跡対象者を、全てのカメラの撮影範囲にまたがって正確に追跡することができる。

【0091】

変形例：
なお、本発明は、上記の各実施形態の構成に限られず、発明の趣旨を変更しない範囲で種々の変形が可能である。次に、本発明の変形例について説明する。

【0092】

変形例１：
上記実施形態では、図５に示すように、入口カメラ３ａと入口カメラ３ｂとを、これらの光軸の成す角度が、１１０°～１４０°となるように配置した場合の例を示したが、入口カメラ３ａと入口カメラ３ｂの配置は、これに限られず、これらの入口カメラの光軸の成す角度が、１１０°未満であっても良いし、１４０°より大きくても良い。

【0093】

変形例２：
上記の実施形態では、３次元ポーズ生成部３３が、２次元ポーズ推定部３２ａ、３２ｂにより推定した追跡対象者のキーポイントと、入口カメラ３ａ、３ｂのキャリブレーションパラメータから、追跡対象者の３次元ポーズを生成するようにしたが、３次元ポーズ生成部が、２つ以上のカメラで同期を取って撮影された追跡対象者の略前面側の画像と略背面側の画像（正確に言うと、人検出部３１ａ，３１ｂから出力された、追跡対象者の略前面側と略背面側の人物検出画像）に基づいて、追跡対象者の３次元ポーズを直接生成するようにしてもよい。

【0094】

変形例３：
上記の実施形態では、２つの入口カメラの撮影範囲内の人物の追跡を、３次元ポーズを用いた３次元ポーズトラッキングにより行ったが、２つの入口カメラの撮影範囲内の人物の追跡を、他のカメラ（店舗内カメラ３ｃ及び出口カメラ３ｄ）の撮影範囲内の人物の追跡と同様に、従来の（２次元）シングルカメラトラッキングにより行ってもよい。

【0095】

変形例４：
上記第１の実施形態では、エッジデバイス２ａに追跡対象者登録部３６を設けて、追跡対象者登録部３６が、入口カメラ３ａ、３ｂで同期を取って撮影された追跡対象者の各々の略背面側及び略前面側の画像の特徴量（画像特徴量）と、追跡対象者の各々の識別用ＩＤとを、分析サーバ１の追跡対象者登録用ＤＢ２７に登録するようにした。しかし、本発明は、これに限られず、分析サーバ側に追跡対象者登録部を設けて、分析サーバ側の追跡対象者登録部が、エッジデバイス２ａから送られた、追跡対象者の各々の略背面側及び略前面側の画像特徴量と、追跡対象者の各々の識別用ＩＤとを、追跡対象者登録用ＤＢに登録するようにしてもよい。

【0096】

変形例５：
上記第３の実施形態では、システム内の全てのカメラの撮影画像における追跡対象者のキーポイントを推定して、これらのキーポイントに基づき、追跡対象者のマルチカメラオブジェクトトラッキングを行うようにした。けれども、これに限られず、例えば、上記のシステム内の全てのカメラの撮影画像における追跡対象者のキーポイントと画像特徴量に基づいて、追跡対象者のマルチカメラオブジェクトトラッキングを行うようにしてもよい。この場合には、エッジデバイス２ａの追跡対象者登録部３６が、図１６に示す２次元ポーズ推定部３２ａ、３２ｂが推定した追跡対象者の略前面側と略背面側の画像のキーポイントと、追跡対象者の各々の識別用ＩＤと、図４に示す画像特徴量抽出部３５ａと同様な機能ブロックが抽出した追跡対象者の略前面側と略背面側の画像の画像特徴量とを、分析サーバ１の追跡対象者登録用ＤＢ２７に登録する。そして、図１６に示すエッジデバイス２ｃ、２ｄから分析サーバ１のマルチカメラトラッキング部３９に送られるクエリには、図１６に示す２次元ポーズ推定部９１ａ、９１ｂにより推定した追跡対象者のキーポイントと、図４に示す画像特徴量抽出部３５ｂ、３５ｃと同様な機能ブロックが抽出した追跡対象者の画像特徴量が含まれる。

【符号の説明】

【0097】

１ 分析サーバ（請求項における「コンピュータ」の一部）
２ａ エッジデバイス（請求項における「コンピュータ」の一部）
３ 固定カメラ（カメラ）
３ａ 入口カメラ（請求項における「２つ以上のカメラ」の一つ）
３ｂ 入口カメラ（請求項における「２つ以上のカメラ」の一つ）
３ｃ 店舗内カメラ
３ｄ 出口カメラ
１０ マルチカメラオブジェクトトラッキングシステム
２７ 追跡対象者登録用ＤＢ（追跡対象者登録用データベース）
２８ マルチカメラオブジェクトトラッキングプログラム（請求項における「マルチカメラオブジェクトトラッキングプログラム」の一部）
３２ａ，３２ｂ ２次元ポーズ推定部（２次元ポーズ推定手段）
３３ ３次元ポーズ生成部（３次元ポーズ生成手段）
３４ ３次元ポーズトラッキング部（３次元ポーズトラッキング手段）
３６ 追跡対象者登録部（追跡対象者登録手段）
８０ マルチカメラオブジェクトトラッキングシステム
８１ 補間画像生成登録部（補間画像生成登録手段）
９０ マルチカメラオブジェクトトラッキングシステム
ＥＮＴ 入口

【要約】

【課題】マルチカメラオブジェクトトラッキングシステム等において、安定した人物再同定を行うことを可能にして、追跡対象者を複数のカメラの撮影範囲にまたがって正確に追跡する。
【解決手段】マルチカメラオブジェクトトラッキングの開始地点に設置された２つ以上のカメラで同期を取って撮影された追跡対象者の少なくとも略前面側の画像と略背面側の画像、又はこれらの画像の画像特徴量と、追跡対象者の識別用ＩＤとを追跡対象者登録用ＤＢに登録して（Ｓ５）、登録した追跡対象者の少なくとも略前面側の画像と略背面側の画像、又はこれらの画像の画像特徴量に基づき、追跡対象者を複数のカメラの撮影範囲にまたがって追跡するようにした。これにより、追跡対象者の少なくとも略前面側の画像と略背面側の画像又は画像特徴量を用いて、他のカメラで撮影した画像又は画像特徴量とのマッチングを行えるので、安定した人物再同定を行うことができる。
【選択図】図１４

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】