特許 7181728 エッジ演算を用いる多カメラシステムでのリアルタイムの対象再識別

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-22

(45)【発行日】2022-12-01

(54)【発明の名称】エッジ演算を用いる多カメラシステムでのリアルタイムの対象再識別

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221124BHJP

   H04N 7/18 20060101ALI20221124BHJP

   G06T 7/262 20170101ALI20221124BHJP

【ＦＩ】

H04N5/232 290

H04N7/18 D

H04N5/232 300

G06T7/262

【請求項の数】 8

【外国語出願】

(21)【出願番号】P 2018153376

(22)【出願日】2018-08-17

(65)【公開番号】P2019062527

(43)【公開日】2019-04-18

【審査請求日】2021-03-22

(31)【優先権主張番号】15/693,339

(32)【優先日】2017-08-31

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】507031918

【氏名又は名称】コニカ ミノルタ ラボラトリー ユー．エス．エー．，インコーポレイテッド

(74)【代理人】

【識別番号】110001254

【氏名又は名称】弁理士法人光陽国際特許事務所

(72)【発明者】

【氏名】コーサンディ， ラフマーン

(72)【発明者】

【氏名】アマノ， ジュン

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２００５－３４８１５７（ＪＰ，Ａ）

【文献】国際公開第２０１３／１０８５５４（ＷＯ，Ａ１）

【文献】特開２００７－１５８４２１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ７／２６２

(57)【特許請求の範囲】

【請求項1】

異なる物理的位置に配置された複数のビデオカメラ、及び
通信ネットワーク経由で前記複数のビデオカメラに接続された監視装置を含み、
各ビデオカメラは
画像取込装置、
専用画像データ処理回路、
メモリー、及び
通信インターフェース装置を含み、
各ビデオカメラの前記専用画像データ処理回路は、対象再識別処理を行うようになっており、
前記対象再識別処理は
前記通信インターフェース装置を介して前記監視装置から標的対象を含む画像を表す標的画像データｘを受信すること、
前記ビデオカメラの前記画像取込装置により取り込まれた画像のフレームから試験画像データｙを取得すること、
前記標的画像データｘの一次元離散フーリエ変換値ｘ_hatを計算すること、
前記試験画像データｙの一次元離散フーリエ変換値ｙ_hatを計算すること、
前記標的画像データｘの前記離散フーリエ変換値ｘ_hatと前記試験画像データｙの前記離散フーリエ変換値ｙ_hatの点乗積を計算し、前記点乗積に比例する、前記標的画像データｘと前記試験画像データｙの間の空間周波数領域類似度Ｓを計算すること、
前記空間周波数領域類似度Ｓが所定の閾値よりも大きい場合、前記標的対象が再識別されたと判断すること、及び
前記標的対象が再識別された場合、前記通信インターフェース装置を介して対象再識別の結果を前記監視装置に送信すること
を含む、ビデオ監視システム。

【請求項2】

各ビデオカメラはさらに、前記対象再識別の結果を前記複数のビデオカメラのうちの少なくともいくつかの他のビデオカメラに送信するようになっている、請求項１に記載のシステム。

【請求項3】

前記専用画像データ処理回路は、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）又は特定用途向け集積回路（ＡＳＩＣ）を含む、請求項１又は２に記載のシステム。

【請求項4】

ビデオ監視システムに実装される方法であって、
異なる物理的位置に配置された複数のビデオカメラのそれぞれによりビデオ画像データを取り込む工程、
前記ビデオ画像データを各ビデオカメラから監視装置に送信する工程、
前記監視装置で前記ビデオ画像データを監視して前記ビデオカメラのうちの１つから送信された前記ビデオ画像データ内で標的対象を識別する工程、
前記監視装置を用いて前記標的対象を含む画像を表す標的画像データｘを生成する工程、
前記標的画像データｘを前記監視装置から前記複数のビデオカメラのそれぞれに送信する工程、
各ビデオカメラにより専用画像データ処理回路を用いて対象再識別処理を行う工程、を含み、
前記対象再識別処理は、
継続的にビデオ画像を取り込むこと、
取り込んだビデオ画像のフレームから試験画像データｙを取得すること、
前記標的画像データｘの一次元離散フーリエ変換値ｘ_hatを計算すること、
前記試験画像データｙの一次元離散フーリエ変換値ｙ_hatを計算すること、
前記標的画像データｘの前記離散フーリエ変換値ｘ_hatと前記試験画像データｙの前記離散フーリエ変換値ｙ_hatの点乗積を計算し、当該点乗積に比例する、前記標的画像データｘと前記試験画像データｙの間の空間周波数領域類似度Ｓを計算すること、
前記空間周波数領域類似度Ｓが所定の閾値よりも大きい場合、前記標的対象が再識別されたと判断すること、及び
前記標的対象が再識別された場合、対象再識別の結果を前記監視装置に送信すること
を含む、方法。

【請求項5】

取り込んだビデオ画像のフレームから試験画像データｙを取得する前記工程は、前記ビデオ画像のフレームに対してスライディングウィンドウ法を用いて複数の試験画像データｙを取得する工程を含み、
前記対象再識別処理は、さらに
前記複数の試験画像データｙのそれぞれの一次元離散フーリエ変換値ｙ_hatを計算すること、
それぞれが前記標的画像データｘの前記離散フーリエ変換値ｘ_hat及び対応する前記試験画像データｙの前記離散フーリエ変換値ｙ_hatの点乗積に比例する、前記標的画像データｘ及び対応する前記複数の試験画像データｙの間の複数の空間周波数領域類似度Ｓを計算すること、
前記空間周波数領域類似度Ｓのそれぞれが所定の閾値よりも大きいかを判断することを含む、請求項４に記載の方法。

【請求項6】

前記対象再識別処理は、前記ビデオ画像の取り込みとリアルタイムで実行される、請求項５に記載の方法。

【請求項7】

前記ビデオカメラのそれぞれにより、
前記標的対象が再識別された場合、前記対象再識別の結果を前記複数のビデオカメラのうちの少なくともいくつかの他のビデオカメラに送信する工程をさらに含む、請求項４から６のいずれか一項に記載の方法。

【請求項8】

前記対象再識別の結果を別のビデオカメラから受信した前記ビデオカメラのそれぞれは、受信した前記対象再識別の結果に基づいて前記対象再識別処理を実行する、請求項７に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、多カメラシステムでの対象再識別に関し、特にエッジ演算アーキテクチャーを用いる多カメラシステムでのリアルタイムの対象再識別に関する。

【背景技術】

【0002】

ビデオ監視システムは、多くの場合に開放的又は閉鎖的空間、例えば店舗、建物、運動場、通り等、複数の異なる位置に取り付けられた複数のビデオカメラを含む。そのようなシステムは数十又は数百のカメラを含む場合がある。ビデオ監視システムでは、対象の自動的再識別が安全及び監視にとって最も重要な要素の１つである。あるカメラで取り込んだフレーム内で例えば操作員により標的対象（人を含む）が識別される場合、その目的は他のカメラで取り込んだ同じ対象を自動的に見つけることである。リアルタイムの対象再識別は、そのような自動的再識別をリアルタイムで行おうとするものである。すなわち、後続のフレームを他のカメラで取り込んだときに、これらのフレーム内で（存在する場合に）対象をリアルタイムで識別する。「リアルタイム」では、画像フレームを取り込むのと同じ速さで対象を再識別するデータ処理が要求される。例えば、映像が３０フレーム／秒で取り込まれる場合、すなわち１つの新しいフレームが３３ミリ秒毎に取り込まれ、フレーム毎に対象再識別の処理を行う場合、「リアルタイム」では現在のフレームを３３ミリ秒未満で処理することが要求されるのであり、それは次のフレームが取り込まれる前に処理するということである。リアルタイムの再識別は重要であり、多くの場合に犯罪や損害の防止に欠かせない。

【発明の概要】

【発明が解決しようとする課題】

【0003】

対象再識別は困難な課題であり、多くの要因、例えば照明の変化、背後の雑音、遠近及び縮尺の変化、姿勢の変化がアルゴリズムの実行に影響を及ぼす。現在利用可能な技術は多く場合、時間がかかり過ぎ、数百のカメラの各所で対象をリアルタイムで再識別するには演算の費用がかかり過ぎる。いくつかの既知の方法、例えば輝度勾配ヒストグラム（Histograms of Oriented Gradients、HOG）、ウェーブレット変換、又はガボールフィルターは対象の特徴抽出を用いる。特徴を抽出した後、例えばサポートベクトルマシン（SVM）、ｋ近傍法（KNN）、又は回帰法による分類子又は識別子を用いて対象を認識する。この手順は時間がかかり過ぎる傾向があり、大きな記憶装置と多くの計算を要する。

【0004】

複数のカメラ画像の各所での対象再識別のためにビデオ画像に基づいた効率的な方法が必要である。対象再識別のためにリアルタイムの自動的ビデオ画像解析を行うことができる高品質かつ安価なビデオカメラを用いるビデオ監視システムも必要である。

【課題を解決するための手段】

【0005】

本発明の実施形態は、多カメラ監視システムでの正確でリアルタイムの自動的対象再識別のためのシステムを提供する。複数のカメラのうちの１つで取り込んだ画像又は何らかの他の標本画像から切り取った画像片であってもよい対象の画像がシステムに表示される。次に、多カメラシステムは、空間周波数領域で相関類似度を計算する画像データ処理アルゴリズムを用いて、自動的にかつリアルタイムで複数のカメラで対象を見つける。システムは、エッジに基づく処理アーキテクチャーを用いる。専用処理ハードウェアを含むそれぞれのカメラで画像データ処理を行い、当該カメラで取り込んだ画像から対象を再識別し、各カメラは再識別の結果を他のカメラと、操作員に画像を表示する監視装置に送信する。

【0006】

本発明の実施形態では、計算量及び記憶量を低減する相関類似度を用いるフーリエ領域で各カメラによる対象再識別を行いつつ、高い精度とリアルタイムの性能を保持する。

【0007】

本発明のさらなる特徴及び利点を以下の明細書に記載する。特徴及び利点は部分的には本明細書から明らかとなり、あるいは本発明を実施することにより理解することができる。本発明の目的及び他の利点は、記載する明細書、特許請求の範囲、及び添付の図面で具体的に指摘する構造により理解され、実現される。

【0008】

上記の目的を達成するため、本発明は、異なる物理的位置に配置された複数のビデオカメラ、及び通信ネットワーク経由で複数のビデオカメラに接続された監視装置を含む画像監視システムを提供する。各ビデオカメラは、画像取込装置、専用画像データ処理回路、メモリー、及び通信インターフェース装置を含む。各ビデオカメラの専用画像データ処理回路は、対象再識別処理を行うようになっている。対象再識別処理は、通信インターフェース装置を介して監視装置から標的対象を含む画像を表す標的画像データｘを受信すること、ビデオカメラの画像取込装置により取り込まれた画像のフレームから試験画像データｙを取得すること、標的画像データｘの一次元離散フーリエ変換値ｘ_hatを計算すること、試験画像データｙの一次元離散フーリエ変換値ｙ_hatを計算すること、標的画像データｘの離散フーリエ変換値ｘ_hatと試験画像データｙの離散フーリエ変換値ｙ_hatの点乗積を計算し、点乗積に比例する、標的画像データｘと試験画像データｙの間の空間周波数領域類似度Ｓを計算すること、空間周波数領域類似度Ｓが所定の閾値よりも大きい場合、標的対象が再識別されたと判断すること、及び標的対象が再識別された場合、通信インターフェース装置を介して対象再識別の結果を監視装置に送信することを含む。

【0009】

別の側面では、本発明は、ビデオ監視システムに実装される方法を提供する。方法は、異なる物理的位置に配置された複数のビデオカメラのそれぞれによりビデオ画像データを取り込む工程、ビデオ画像データを各ビデオカメラから監視装置に送信する工程、監視装置でビデオ画像データを監視してビデオカメラのうちの１つから送信されたビデオ画像データ内で標的対象を識別する工程、監視装置を用いて標的対象を含む画像を表す標的画像データｘを生成する工程、標的画像データｘを監視装置から複数のビデオカメラのそれぞれに送信する工程、及びビデオカメラにより専用画像データ処理回路を用いて対象再識別処理を行う工程を含む。対象再識別処理は、継続的にビデオ画像を取り込むこと、取り込んだビデオ画像のフレームから試験画像データｙを取得すること、標的画像データｘの一次元離散フーリエ変換値ｘ_hatを計算すること、試験画像データｙの一次元離散フーリエ変換値ｙ_hatを計算すること、標的画像データｘの離散フーリエ変換値ｘ_hatと試験画像データｙの離散フーリエ変換値ｙ_hatの点乗積を計算し、点乗積に比例する、標的画像データｘと試験画像データｙの間の空間周波数領域類似度Ｓを計算すること、空間周波数領域類似度Ｓが所定の閾値よりも大きい場合、標的対象が再識別されたと判断すること、及び標的対象が再識別された場合、対象再識別の結果を監視装置に送信することを含む。

【0010】

いくつかの実施形態では、１台のビデオカメラにより標的対象が再識別された場合、ビデオカメラは対象再識別の結果を複数のビデオカメラのうちの少なくともいくつかに送信する。さらに、ビデオカメラが対象再識別の結果を別のビデオカメラから受信すると、ビデオカメラは受信した対象再識別の結果に基づいて対象再識別処理を実行する。

【0011】

当然のことであるが、上記の一般的記載及び以下の詳細な説明は例示的なものであり、特許請求される本発明のさらなる説明を提供することを意図している。

【図面の簡単な説明】

【0012】

【図1】本発明の実施形態による対象再識別のためのエッジ演算に基づくシステムに複数のカメラを含むビデオ監視システムを概略的に示す。

【図1A】本発明の実施形態による対象再識別のためのエッジ演算に基づくシステムに複数のカメラを含むビデオ監視システムを概略的に示す。

【図2】図１及び図１Ａのビデオ監視システムに実装される対象再識別方法を概略的に示す。

【図2A】図１及び図１Ａのビデオ監視システムに実装される対象再識別方法を概略的に示す。

【図3】本発明の実施形態による対象再識別のためのクラウドに基づくシステムに複数のカメラを含む別のビデオ監視システムを概略的に示す。

【図4】本発明の実施形態による対象再識別のための分散型演算に基づくシステムに複数のカメラを含む別のビデオ監視システムを概略的に示す。

【発明を実施するための形態】

【0013】

先に考察したように、映像解析で最も重要な工程の１つは対象再識別である。対象再識別は、ある場所を監視して対象を見つけ出すか、自動注釈の映像を索引付けし、多カメラシステムから画像を取得する自動監視に使用できる。単純な定義では、対象再識別は、多くの場合にカメラ間で画像表示が全くあるいはほとんど重複しない多カメラシステムで位置を推定して特定の対象（標的対象。使用者が手動で決定してもよい）を見つけ出す任務と定義することができる。対象再識別は、ノイズ、複雑な対象の動き、部分遮蔽、二次元画像の情報喪失、及びリアルタイムでの処理要求により複雑で時間がかかるものになる可能性がある。

【0014】

本発明の実施形態は、リアルタイムでの対象再識別機能を持つビデオ監視システムを提供するものであり、システムの各ビデオカメラに関連付けた対象再識別アルゴリズム及び専用処理ハードウェアを使用する。対象再識別アルゴリズムは、周波数領域での相関類似度に基づくものであり、これにより演算の複雑さと記憶装置の要求を低減することができる。図１及び図１Ａに示すシステムアーキテクチャーは、複数のエッジ演算カメラ１０を用いて対象再識別の速度を上げ、対象再識別の精度を向上させる。複数のカメラ１０は、広帯域幅のローカルエリアネットワーク（ＬＡＮ）３０、例えば１００ギガビットのイーサネット（登録商標）により相互間及び監視装置２０と通信する。例えば、カメラ１０は、取り込んだビデオ画像データを監視装置２０に送信し、監視装置から命令及びデータを受信し、データ処理結果を監視装置と他のカメラに送信することができる。

【0015】

特定の物理的位置に配置された各ビデオカメラ１０は、画像取込装置１１（例えばＣＣＤ装置を用いる）、専用データ処理回路１２、メモリー１３、並びに相互間及び監視装置２０との有線通信のための通信インターフェース装置１４を含む。専用データ処理回路１２は、プロセッサーチップ、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、又は他の技術で実装した画像アクセラレータチップであってもよい。以下により詳細に記載する画像類似度解析アルゴリズムを実装することで、リアルタイムの対象再識別の機能をプロセッサーチップに実装する。ビデオカメラは、監視装置の外部メモリー及び他のカメラのプロセッサーチップとの間で同じ速度で効果的に画像データを送受信することができる。

【0016】

監視装置２０は、表示画面、使用者インターフェース用のキーボード及びマウス、並びに大量の画像データを格納するデータ記憶メモリーを含む。

【0017】

動作（図２）の際に複数のビデオカメラは、取り込んだビデオ画像データをネットワーク３０経由で監視装置２０に送信して表示させる（工程Ｓ２１）。操作員は、監視装置２０を操作して複数のカメラ１０が取り込んだ画像を監視する（工程Ｓ２２）。例えば、複数のカメラから送信されたビデオ画像データは、監視のために監視装置２０の１つ以上の表示画面にグリッド表示で映し出される。操作員がカメラのうちの１つからのビデオ画像に標的対象を見つけると（工程Ｓ２３）、操作員は監視装置２０を操作して、例えば画像片を切り取って標的対象の静止画像を生成することができる（工程Ｓ２４）。監視装置２０は、画像（「標的画像」）を標的画像の再識別要求とともに複数のカメラ１０のすべてに送信する（工程Ｓ２５）。次に、カメラ１０のそれぞれは、カメラが継続的に取り込むビデオ画像に対象再識別を実行し（工程Ｓ２６）、任意の肯定的な再識別の結果を監視装置２０に送信し、標的対象が当該カメラで識別されたことを示す（工程Ｓ２７）。再識別の結果は、識別された標的対象の画像を含むのが好ましい。当然のことであるが、標的対象が当該カメラで識別されない場合、カメラ１０は否定的な再識別の結果を監視装置２０に送信する必要はない。

【0018】

工程Ｓ２７で、標的対象を再識別したカメラは、他のビデオカメラ１０にも再識別の結果を送信することができる。肯定的な対象再識別の結果を他のカメラから受信した各カメラは、画像解析、例えば標的の動きの速度及び方向の計算にその情報を用いることができ、深層学習で得た情報を用いて標的の異常な動きを認識することもできる。より具体的には、ビデオカメラは、いくつかの方法で互いに受信した対象再識別情報を用いることができる。

【0019】

第１に、２台のカメラの視界に重複があり、第１のカメラが対象を再識別した場合、第１のカメラは対象の正確な位置を第２のカメラに送信することができ、第２のカメラは第１のカメラから受信した対象の位置に基づいて特定の画像領域を具体的に解析することができ、対象を見つけ出すために取り込んだ全ビデオ画像を処理する必要はない。また、他のカメラに第１のカメラと重複する視界がなくとも、対象を再識別した第１のカメラは対象の経路及び速度を解析し、その情報を近くのカメラに送信することができ、そのため他のカメラはこの情報を用いて対象をより高度な自動制御で再識別することができる。対象を再識別するために他のカメラから受信した情報を用いるのがより効率的で正確である。

【0020】

第２に、対象再識別の開始時には、対象標本は１つだけである（工程Ｓ２３及びＳ２４で操作員が識別したもの）。対象がカメラのいくつかで再識別された後、これらのカメラから送信される画像は、しばしば対象の異なる姿勢（又は他の属性）を示す場合があり、これらの異なる姿勢は他のカメラがそれぞれの視界で対象を効率的に再識別する上で役立つ場合がある。

【0021】

対象再識別の結果は、再識別された標的対象の画像及び他の関連情報を含み、操作員が適切な行動を取ることができるように監視装置２０で操作員に対して表示される（工程Ｓ２８）。工程Ｓ２６で、各カメラの専用処理回路は、空間周波数領域の類似度を計算及び評価することで再識別処理を実行する。

【0022】

各カメラ１０のデータ処理回路１２により実行される対象再識別アルゴリズムは、空間周波数領域での相関類似度を計算する。

【0023】

相関関係は多くの場合、２つの信号又は画像の類似度を測定するために用いられる。空間領域では、２つの画像信号ｘとｙの間の相関関係は２つ画像ＸとＹの画素値をそれぞれ表し、次式で定義することができる。なお、ｘ＝（ｘ₁，ｘ₂，…，ｘ _n）、ｙ＝（ｙ₁，ｙ₂，…，ｙ_n）であり、ｎは各画像の画素の総数である（すなわち、画像がＭ×Ｎの画素を有する場合には、ｎ＝Ｍ＊Ｎである）。

【数1】

式中、

【数2】

及び

【数3】

は、それぞれｘとｙの平均であり、

【数4】

及び

【数5】

は、それぞれｘとｙの未補正標本標準偏差である。補正値ｒは０～１の数であり、０は２つの画像ｘ及びｙが全く類似しないことを意味し、１はｘ及びｙが同一画像であることを意味する。言い換えれば、相関値が高いほど２つの画像が類似していることを示す。

【0024】

空間領域での上記の相関関係の演算は計算集約型である。したがって、本発明の実施形態による画像類似度解析アルゴリズムは、空間領域での相関関係を計算することを避ける。画像類似度解析アルゴリズムは、むしろ空間周波数領域での類似度を計算する。

【0025】

より具体的には、アルゴリズムは、対象再識別の用途では多くの場合に標的画像（すなわち、監視装置２０から受信した、標的対象を含むことが分かっている画像）と試験画像（すなわち、カメラ１０が取り込んだ、標的対象の存在を識別するために解析される画像）という２つの画像で、対象は大抵の場合にずれているという性質を利用する。そのような場合、ずらし行列の性質を用いてより高速のアルゴリズムを設計することができる。

【0026】

２次元のずらし行列は正方行列であり、その行は、ある行から次の行に進むと要素が１つずれる同じ一次元ベクトルで形成される。例えば、ずらし行列Ａ（ｘ）は、一次元ベクトルｘ＝（ｘ₁，ｘ₂，…，ｘ_n）から以下のように構成することができる。

【数6】

【0027】

ずらし行列Ａの離散フーリエ変換値（ＤＦＴ）Ａ_hatは、一次元ベクトルｘの離散フーリエ変換（ＤＦＴ）により形成される対角行列を含む形式で表現できることを数学的に示すことができる。すなわち、上記のずらし行列ＡのＤＦＴ値Ａ_hatを次式で表すことができる。
Ａ_hat（ｘ）＝Ｂdiag（ｘ_hat）Ｂ^H
式中、diag（ｘ_hat）は対角行列であり、対角要素はｘ_hatであり、ｘ_hatは一次元ベクトルｘのＤＦＴであり、Ｂは計算することができる不変のユニタリ行列であり（Ｂはｘから独立している）、Ｂ^HはＢのエルミート転置（すなわち、転置の複素共役）である。

【0028】

本発明の実施形態によれば、２つの画像信号ｘ及びｙの周波数領域類似度Ｓは、対応するずらし行列Ａ（ｘ）及びＡ（ｙ）の２つのそれぞれの離散フーリエ変換値の積に比例し、すなわちＳ∝Ａ_hat（ｘ）Ａ_hat（ｙ）である。Ｂはユニタリ行列なのでＢ^HＢ＝１である。したがって、周波数領域類似度Ｓは、２つの画像信号のＤＦＴの点乗積に比例する。すなわちＳ∝ｘ_hatｙ_hatであることが分かる。

【0029】

上記の考察により、周波数領域類似度Ｓの数学的重要性が説明される。実際の実装では、２つの画像データｘ（標的画像）とｙ（試験画像）の周波数領域類似度Ｓを計算するためにずらし行列Ａ（ｘ）及びＡ（ｙ）と行列Ｂ及びＢ^Hを計算する必要はない。むしろ、周波数領域類似度Ｓは下記のように単純に計算することができる（図２Ａ）。

【0030】

先ず（工程Ｓ２６Ａ）、標的画像データｘの離散フーリエ変換値ｘ_hat、すなわちｘ_hat＝（ｘ_hat1，ｘ_hat2，…，ｘ_hatn）＝ＤＦＴ（ｘ）を計算し、試験画像信号ｙの離散フーリエ変換値ｙ_hat、すなわちｙ_hat＝（ｙ_hat1，ｙ_hat2，…，ｙ_hatn）＝ＤＦＴ（ｙ）を計算する。なお、標的画像データｘと試験画像データｙは、両方とも二次元画像の画素値を表すが、一次元ＤＦＴを演算するために画像データは一次元ベクトルｘ＝（ｘ_１，ｘ₂，…，ｘ_n）とｙ＝（ｙ_１，ｙ₂，…，ｙ_n）に直列変換される。次いで（工程Ｓ２６Ｂ）、離散フーリエ変換値ｘ_hatと離散フーリエ変換値ｙ_hatの点乗積を計算することで周波数領域類似度Ｓ（ｘ，ｙ）を計算する。すなわち次式の通りである。

【数7】

式中、

【数8】

はｘのノルムであり、

【数9】

はｙのノルムである。

【0031】

２つの画像ｘとｙの間の周波数領域類似度Ｓは０～１の数であり、０は２つの画像の間に類似度がないことを意味し、１は２つの画像が同じであることを意味する。本発明の実施形態では、周波数領域類似度Ｓが所定の閾値よりも大きい場合に画像ｙで対象が再識別されたとみなされ、そうでなければ対象は再識別されない（工程Ｓ２６Ｃ）。

【0032】

標的画像ｘの大きさは、カメラ１０が取り込んだ画像フレーム全体の大きさよりも小さいのが通常であるので、工程Ｓ２６でスライディングウィンドウ法を画像フレームに対して用いて標的画像ｘを画像フレームの各片ｙと比較する。

【0033】

上記の周波数領域類似度Ｓの計算は単純であり、かつ先に記載した空間領域相関関係ｒ（ｘ，ｙ）の計算よりも高速である。必要な乗算がより少ないからである。

【0034】

上述のように、各カメラの専用データ処理回路１２は、工程Ｓ２６の空間周波数領域類似度解析アルゴリズムを実装する。このアルゴリズムは比較的単純かつ高速なので、画像データをカメラ１０が取り込むときに処理回路１２はビデオ画像データのストリームを処理し、リアルタイムで標的対象を再識別することができる。

【0035】

図１に示した、対象再識別を行うことができるエッジ演算を用いた高性能カメラを中央演算及びクラウド演算を使わずにネットワーク化したエッジ演算に基づくシステムアーキテクチャーの利点は、中央演算及びクラウド演算を完全に排除することができ、またシステムが非常に安全であることである。中央コンピューターシステムがなくてもシステム機能を高めることができる。

【0036】

別の実施形態では、ビデオ監視システムは、図３に示すクラウドに基づく中央システム又は図４に示すノード演算を使う分散型システムを用いることができる。クラウドに基づくシステム構成（図３）では、従来の高性能でないカメラ４０を用い、すべてのデータ収集及び対象再認識を含む解析はネットワーク３０経由でカメラに接続された演算システム５０により実行される。演算システムに接続された使用者インターフェース装置５２を用いて、操作員はビデオ画像を監視するとともに演算システム５０を制御して対象再識別アルゴリズムを実行することができる。カメラ４０は一定の画像事前処理機能を持っていてもよいが、対象再識別の演算を行わない。この構成の利点は、従来の低コストのカメラを用い、それにクラウド演算を単に加えることである。この構成の難点としては、大量のビデオ画像データストリームをクラウドの演算装置に送信する必要があることと、クラウドの演算装置に高い演算能力が要求されることが挙げられる。

【0037】

分散型の演算システム構成（図４）では、ノード演算により特定の数のカメラ（又は他の専用演算ノード）６０からデータ解析を行い、各演算ノードはネットワーク３０により従来の高性能でない複数のカメラ４０に接続されている。中央コンピューター５０は、ネットワークにより複数の演算ノード６０に接続され、操作員は中央コンピューター５０の使用者インターフェース５２を用いて演算ノード６０を介して複数のカメラから受信した画像を監視し、標的対象を識別する。各演算ノード６０は、当該ノードに接続されたカメラ４０が取り込んだ画像に対する対象再識別を含むデータ解析を行う。この構成の利点としては、中央コンピューター５０においてデータ負荷と演算負荷が少なくなることと、従来のカメラを利用するノード演算を用いて局所で標的対象を再識別することが挙げられる。

【0038】

当業者には本発明の趣旨又は範囲を逸脱することなく、本発明のビデオ監視システム及び関連する方法において様々な変更及び改変を行うことができることが明らかである。したがって、本発明は添付の特許請求の範囲及びその均等物を含む変更形態及び改変形態を包含することを意図する。

【図1】

【図1A】

【図2】

【図2A】

【図3】

【図4】