特許 6806459 対象を追跡するための方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6806459

(24)【登録日】2020年12月8日

(45)【発行日】2021年1月6日

(54)【発明の名称】対象を追跡するための方法および装置

(51)【国際特許分類】

   G06T 7/246 20170101AFI20201221BHJP

【ＦＩ】

   G06T7/246

【請求項の数】14

【外国語出願】

【全頁数】28

(21)【出願番号】特願2016-80172(P2016-80172)

(22)【出願日】2016年4月13日

(65)【公開番号】特開2017-10527(P2017-10527A)

(43)【公開日】2017年1月12日

【審査請求日】2019年3月22日

(31)【優先権主張番号】14/743,349

(32)【優先日】2015年6月18日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】500520743

【氏名又は名称】ザ・ボーイング・カンパニー

【氏名又は名称原語表記】Ｔｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(74)【代理人】

【識別番号】100163522

【弁理士】

【氏名又は名称】黒田 晋平

(74)【代理人】

【識別番号】100154922

【弁理士】

【氏名又は名称】崔 允辰

(72)【発明者】

【氏名】ヒュクソン・クォン

(72)【発明者】

【氏名】キョンナム・キム

(72)【発明者】

【氏名】ユリ・オウェチュコ

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 特開２００２−１５７５９９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／００８３９５９（ＵＳ，Ａ１）

【文献】 特開２００５−１６５４２１（ＪＰ，Ａ）

【文献】 特開２０１５−０２６１１０（ＪＰ，Ａ）

【文献】 和田 俊和，画像を用いた対象検出・追跡，画像ラボ 第１７巻 第３号，日本，日本工業出版株式会社，２００６年，第17巻，pp.70-74

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

画像を処理するための方法であって、
第１の画像および前記第１の画像に対応する第２の画像において１組の候補対象を特定するステップであって、
電気光学画像内の１組の第１の候補チップを特定するステップであって、前記１組の第１の候補チップの各々は前記１組の候補対象の対応する候補対象をキャプチャする、ステップを含む、
ステップと、
前記第１の画像を用いて前記１組の候補対象に対する１組の第１のスコアを生成するステップであって、
前記１組の第１の候補チップの第１の候補チップ内の複数の部分領域を特定するステップであって、前記第１の候補チップは前記１組の候補対象の候補対象をキャプチャする、ステップと、
前記複数の部分領域の各々に対する署名を計算して複数の署名を生成するステップと、
前記複数の部分領域の各部分領域を第１の基準チップ内の複数の基準部分領域の各基準部分領域とペアにして複数のペアを生成するステップと、
前記複数のペアの各々にスコア付けして複数の初期スコアを生成するステップと、
を含む、ステップと、
前記第２の画像を用いて前記１組の候補対象に対する１組の第２のスコアを生成するステップと、
前記１組の第１のスコアおよび前記１組の第２のスコアを用いて前記１組の候補対象に対する１組の最終スコアを計算するステップと、
前記１組の最終スコアに基づいて前記１組の候補対象のうちどれが関心対象であるかを判定するステップと、
を含む、方法。

【請求項2】

前記１組の候補対象を特定するステップはさらに、赤外線画像内の１組の第２の候補チップを特定するステップであって、前記１組の第２の候補チップの各々は前記１組の第１の候補チップのうち１つに対応する、ステップを含む、請求項１に記載の方法。

【請求項3】

前記１組の第１のスコアを生成するステップはさらに、
前記複数の初期スコアの最良初期スコアを有する前記複数のペアからのペアをベスト・マッチのペアとして選択するステップであって、前記ベスト・マッチのペアはベスト・マッチの部分領域およびベスト・マッチの基準部分領域を含み、前記最良初期スコアは、前記第１の候補チップ内でキャプチャされた前記候補対象に対する第１のスコアとなる、ステップ
を含む、請求項１に記載の方法。

【請求項4】

前記１組の第２のスコアを生成するステップは、
前記第１の候補チップに対応する前記第２の画像内の第２の候補チップを特定するステップと、
前記第１の候補チップ内の前記ベスト・マッチの部分領域に対応する前記第２の候補チップ内の部分領域を特定するステップと、
を含む、請求項３に記載の方法。

【請求項5】

前記１組の第２のスコアを生成するステップはさらに、前記第２の候補チップ内の前記部分領域にスコア付けして、前記候補対象に対する第２のスコアを生成するステップを含む、請求項４に記載の方法。

【請求項6】

前記部分領域にスコア付けするステップは、
前記部分領域に対する基底ヒストグラム・ベクトルを生成するステップと、
前記基底ヒストグラム・ベクトルを用いて幾つかの回転シフトを実施して、前記基底ヒストグラム・ベクトルを含む複数のヒストグラム・ベクトルを生成するステップと、
を含む、請求項５に記載の方法。

【請求項7】

前記部分領域にスコア付けするステップはさらに、
前記ベスト・マッチの基準部分領域に対する基準ヒストグラム・ベクトルを特定するステップと、
前記基準ヒストグラム・ベクトルの前記複数のヒストグラム・ベクトルの１つとのペアごとにマッチング・スコアを計算して、前記部分領域に対する複数のマッチング・スコアを生成するステップと、
を含む、請求項６に記載の方法。

【請求項8】

前記部分領域にスコア付けするステップはさらに、前記部分領域に対する複数のマッチング・スコアからのベスト・マッチ・スコアを前記候補対象に対する前記第２のスコアとして選択するステップを含む、請求項７に記載の方法。

【請求項9】

前記１組の最終スコアを計算するステップは、前記１組の候補対象の候補対象に対する前記１組の第１のスコアの第１のスコアに、前記候補対象に対する前記１組の第２のスコアの第２のスコアを乗じて、前記候補対象に対する最終スコアを生成するステップを含む、請求項１に記載の方法。

【請求項10】

前記第１の画像を含む第１の画像のシーケンスを前記第２の画像を含む第２の画像のシーケンスと同期するステップをさらに含む、請求項１に記載の方法。

【請求項11】

前記第１の画像および前記第２の画像の両方に対する基準座標システムを特定するステップをさらに含む、請求項１に記載の方法。

【請求項12】

１組の候補対象を第１の画像および前記第１の画像に対応する第２の画像において特定する画像プロセッサであって、前記画像プロセッサが電気光学画像内の１組の第１の候補チップを特定し、前記１組の第１の候補チップの各々は前記１組の候補対象の対応する候補対象をキャプチャする、画像プロセッサと、
前記第１の画像を用いて前記１組の候補対象に対する１組の第１のスコアを生成し、前記１組の第１の候補チップの第１の候補チップ内の複数の部分領域を特定し、前記複数の部分領域の各々に対する署名を計算して複数の署名を生成し、前記複数の部分領域の各部分領域を第１の基準チップ内の複数の基準部分領域の各基準部分領域とペアにして複数のペアを生成し、前記複数のペアの各々にスコア付けして複数の初期スコアを生成し、前記第２の画像を用いて前記１組の候補対象に対する１組の第２のスコアを生成し、前記１組の第１のスコアおよび前記１組の第２のスコアを用いて前記１組の候補対象に対する１組の最終スコアを計算するスコアラであって、前記第１の候補チップは前記１組の候補対象の候補対象をキャプチャする、スコアラと、
前記１組の最終スコアに基づいて前記１組の候補対象のうちどれが関心対象であるかを判定する対象マネージャと、
を備える、装置。

【請求項13】

前記第１の画像は電気光学画像であり、前記第２の画像は赤外線画像である、請求項１２に記載の装置。

【請求項14】

前記電気光学画像は、前記赤外線画像を含む赤外線画像のシーケンスと同期された電気光学画像のシーケンスの１つである、請求項１３に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は一般に画像処理に関し、特に、関心対象を追跡するための画像処理に関する。さらに具体的には本発明は、時間に関して同期されている電気光学画像のシーケンスおよび赤外線画像のシーケンスを用いて関心対象を追跡するための方法および装置に関する。

【背景技術】

【0002】

センサ装置はしばしば、関心対象を追跡する目的でセンサデータを生成するために使用される。対象追跡は幾つかの異なる方法で実施されうる。１例として、無人空中車両（ＵＡＶ）を使用して、領域を監視し、地上にある関心対象を追跡することができる。当該関心対象が例えば地上車両であってもよいがこれに限られない。

【0003】

電気光学（ＥＯ）センサ、赤外線センサ（ＩＲ）、および場合によってはその両方の組合せは対象の追跡を実施するために使用される。電気光学センサは日中の監視を実施するために最も頻繁に使用されている。赤外線センサは、日中と夜間の監視の両方を実施するために使用されている。電気光学センサから受信したデータのみまたは赤外線センサから受信したデータのみを処理することで、対象追跡機能が制限されうる。例えば、この種のデータ処理は、対象追跡に関して所望のレベルの正確性および効率性を提供しないかもしれない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

対象追跡に関して現在利用可能な幾つかの方法は、電気光学センサと赤外線センサの両方からのデータを一緒に処理することを含む。これらの方法は一種類のセンサから受信したデータを処理するよりも効果的でありうるが、これらの方法は、画像内で少なくとも部分的に隠されている対象を所望のレベルの正確性と効率で追跡できない可能性がある。したがって、上述の課題、ならびに他の有り得る課題のうち少なくとも幾つかを考慮する方法および装置を有するのが望ましいであろう。

【課題を解決するための手段】

【0005】

１つの例示的な実施形態では、画像を処理するための方法が提供される。１組の候補対象は第１の画像においておよび第１の画像に対応する第２の画像において特定される。１組の第１のスコアが第１の画像を用いて当該１組の候補対象に対して生成される。１組の第２のスコアが第２の画像を用いて当該１組の候補対象に対して生成される。１組の最終スコアが当該１組の第１のスコアと当該１組の第２のスコアを用いて当該１組の候補対象に対して計算される。当該１組の候補対象のうちどれが関心対象であるかを当該１組の最終スコアに基づいて判定する。

【0006】

別の例示的な実施形態では画像を処理するための方法が提供される。１組の第１の候補チップは第１の画像において特定される。当該１組の第１の候補チップは１組の候補対象をキャプチャする。１組の第１のスコアが第１の画像を用いて当該１組の第１の候補チップに対して生成される。１組の第２の候補チップは、当該１組の第１の候補チップと対応する第２の画像において特定される。１組の第２のスコアが第２の画像を用いて当該１組の第２の候補チップに対して生成される。１組の最終スコアが当該１組の第１のスコアと当該１組の第２のスコアを用いて当該１組の候補対象に対して計算される。当該１組の候補対象のうちどれが関心対象であるかを当該１組の最終スコアに基づいて判定する。

【0007】

さらに別の例示的な実施形態では、装置は、画像プロセッサ、スコアラ、および対象マネージャを含む。当該画像プロセッサは１組の候補対象を第１の画像および第１の画像に対応する第２の画像において特定する。当該スコアラは、第１の画像を用いて当該１組の候補対象に対する１組の第１のスコアを生成し、第２の画像を用いて当該１組の候補対象に対する１組の第２のスコアを生成する。当該スコアラは当該１組の第１のスコアおよび当該１組の第２のスコアを用いて当該１組の候補対象に対する１組の最終スコアを計算する。当該対象マネージャは当該１組の最終スコアに基づいて当該１組の候補対象のうちどれが関心対象であるかを判定する。

【0008】

これらの特徴と機能を、本発明の様々な実施形態と独立に実現でき、または、さらに他の実施形態と組み合わせてもよい。さらなる詳細は以下の説明と図面を参照して理解することができる。

【0009】

例示的な実施形態の特徴的と考えらえる新規な特徴は添付の特許請求の範囲で説明されている。しかし、当該例示的な実施形態、ならびに好適な利用モード、さらにそれらの目的と特徴は、添付図面と関連して読んだとき、下記の本発明の例示的な実施形態の詳細な説明を参照して最も良く理解される。

【図面の簡単な説明】

【0010】

【図1】例示的な実施形態に従うブロック図の形での画像処理システムの図である。

【図2】例示的な実施形態に従うブロック図の形での画像プロセッサおよびスコアラのさらに詳細な図である。

【図3】例示的な実施形態に従うブロック図の形での画像プロセッサ、スコアラ、および対象マネージャのさらに詳細な図である。

【図4】例示的な実施形態に従うブロック図の形での署名のさらに詳細な図である。

【図5】例示的な実施形態に従う同期された画像ペアの図である。

【図6】例示的な実施形態に従う第１の候補チップをセルのグリッドに分割する１方式の図である。

【図7】例示的な実施形態に従う第１の候補チップ内の異なる部分領域の図である。

【図8】例示的な実施形態に従う第１の候補チップ内の異なる部分領域の図である。

【図9】例示的な実施形態に従う赤外線画像の部分において特定された部分領域の図である。

【図10】例示的な実施形態に従う部分領域の図である。

【図11】例示的な実施形態に従う流れ図の形での関心対象を追跡するためのプロセスの図である。

【図12】例示的な実施形態に従う流れ図の形での画像内の候補チップを特定するためのプロセスの図である。

【図13】例示的な実施形態に従う流れ図の形での第１の候補チップに対する第１のスコアを生成するためのプロセスの図である。

【図14】例示的な実施形態に従う流れ図の形での第２の候補チップに対する第２のスコアを生成するためのプロセスの図である。

【図15】例示的な実施形態に従う流れ図の形での関心対象を追跡するためのプロセスの図である。

【図16】例示的な実施形態に従うブロック図の形でのデータ処理システムの図である。

【発明を実施するための形態】

【0011】

例示的な実施形態では様々な検討事項を認識し、考慮する。例えば、当該例示的な実施形態では、電気光学画像と赤外線画像の両方を用いた関心対象を追跡するための方法を提供するのが望ましいことを認識し、考慮する。特に、当該例示的な実施形態では、第１の種類の画像を用いて、色度に基づいて候補対象を関心対象にマッチさせ、第２の種類の画像を用いて、当該候補対象が実際に当該関心対象であるかどうかを形状情報に基づいて所望のレベルの正確性で判定する、関心対象を追跡するための方法を提供するのが望ましいことを認識し、考慮する。

【0012】

したがって、当該例示的な実施形態では、画像を処理して対象追跡を実施するための方法を提供する。１つの例示的な例として、１組の候補対象が第１の画像においておよび第１の画像に対応する第２の画像において特定される。１組の第１のスコアが第１の画像を用いて当該１組の候補対象に対して生成される。１組の第２のスコアが第２の画像を用いて当該１組の候補対象に対して生成される。１組の最終スコアが当該１組の第１のスコアおよび当該１組の第２のスコアを用いて当該１組の候補対象に対して計算される。当該１組の候補対象のうちどれが関心対象であるかを当該１組の最終スコアに基づいて判定する。

【0013】

１つの例示的な例では、第１の画像および第２の画像が、例えば、限定ではなく、電気光学画像と赤外線画像の形態をとってもよい。色度および形状情報を、これらの２つの画像内の候補対象ごとに特定してもよい。色度情報を電気光学画像を用いて特定してもよく、形状情報を赤外線画像を用いて特定してもよい。当該色度情報は候補対象ごとの第１のスコアを生成するために使用され、形状情報は候補対象ごとの第２のスコアを生成するために使用される。当該第１のスコアと当該第２のスコアの両方に基づく最終スコアが候補対象ごとに特定される。当該最終スコアを使用して、候補対象が関心対象であるかどうかを判定してもよい。

【0014】

電気光学画像と赤外線画像の両方をこのように用いることで、関心対象を追跡するための効果的かつ正確な方法を提供してもよい。さらに、この種の処理が、部分的に画像内で塞がれているときでも対象を追跡できるという点で、「遮蔽堅牢」であってもよい。

【0015】

次に図面を参照する。特に、図１を参照すると、例示的な実施形態に従うブロック図の形での画像処理システムの図が示されている。この例示的な例では、画像処理システム１００を、ソフトウェア、ハードウェア、ファームウェア、またはそれらの組合せを用いて実装してもよい。

【0016】

ソフトウェアを使用するとき、画像処理システム１００により実施される動作を、例えば、限定ではなく、プロセッサ・ユニットで実行されるように構成されたプログラム・コードを用いて実装してもよい。ファームウェアを使用するとき、画像処理システム１００により実施される動作を、例えば、限定ではなく、プログラム・コードおよびデータを用いて実装し、プロセッサ・ユニットで実行するために永続メモリに格納してもよい。

【0017】

ハードウェアを使用するときは、当該ハードェアが、画像処理システム１００により実施される動作を実施するように動作する１つまたは複数の回路を含んでもよい。実装に応じて、当該ハードェアが、回路システム、集積回路、特殊用途向け集積回路（ＡＳＩＣ）、プログラム可能論理デバイス、または任意の幾つかの動作を実施するように構成された他の何らかの適切な種類のハードウェア装置の形態を取ってもよい。

【0018】

プログラム可能論理デバイスを、特定の動作を実施するように構成してもよい。当該装置が、これらの動作を実施するように永続的に構成されてもよく、または、再構成可能であってもよい。プログラム可能論理デバイスが、例えば、限定ではなく、プログラム可能論理アレイ、プログラム可能アレイ論理、フィールド・プログラム可能論理アレイ、フィールド・プログラム可能ゲートアレイ、または他の何らかの種類のプログラム可能ハードウェア装置の形態を取ってもよい。

【0019】

１つの例示的な例では、画像処理システム１００をコンピュータ・システム１０２で実装してもよい。画像処理システム１００を使用して、第１の画像１０４のシーケンスおよび第２の画像１０６のシーケンスを処理してもよい。画像のこれらの２つのシーケンスの各々が時間に関して整列された複数の画像であってもよい。画像の各シーケンス内の各画像が静的画像であってもよい。幾つかのケースでは、第１の画像１０４のシーケンスを第１のビデオと称してもよく、第２の第２の画像１０６のシーケンスを第２のビデオと称してもよい。これらの場合、当該第１のビデオおよび当該第２のビデオ内の各画像をフレームと称してもよい。

【0020】

画像処理システム１００は第１の画像１０４のシーケンスを第１の撮像システム１０８から受信してもよい。画像処理システム１００は第２の画像１０６のシーケンスを第２の撮像システム１１０から受信してもよい。１つの例示的な例では、第１の撮像システム１０８および第２の撮像システム１１０が、それぞれ電気光学（ＥＯ）撮像システム１１２および赤外線（ＩＲ）撮像システム１１４の形態を取ってもよい。

【0021】

第１の撮像システム１０８が電気光学撮像システム１１２の形態をとるとき、第１の画像１０４のシーケンスを電気光学画像１１６のシーケンスと称してもよい。同様に、第２の撮像システム１１０が赤外線撮像システム１１４の形態をとるとき、第２の画像１０６のシーケンスを赤外線画像１１８のシーケンスと称してもよい。

【0022】

画像処理システム１００は、第１の画像のシーケンス１０４および第２の画像１０６のシーケンスを処理して関心対象１２０を追跡してもよい。関心対象１２０が、例えば、限定ではなく、移動する関心対象であってもよい。幾つかのケースでは、関心対象１２０を、第１の画像１０４のシーケンスおよび第２の画像１０６のシーケンスの処理を開始する前に識別してもよい。他の場合、関心対象１２０を、第１の画像１０４のシーケンスおよび第２の画像１０６のシーケンスの処理の間に取得してもよい。

【0023】

関心対象１２０が幾つかの異なる形をとってもよい。例えば、限定ではなく、関心対象１２０が人、或る種の地上車両、或る種の空中車両、水上車両、または他の何らかの種類のオブジェクトであってもよい。当該地上車両が例えば、限定ではなく、車、トラック、タンク、または他の何らかの種類の地上車両であってもよい。当該空中車両がミサイル、航空機、無人空中車両、または他の何らかの種類の空中車両であってもよい。

【0024】

示したように、画像処理システム１００が画像プロセッサ１２２、スコアラ１２４、および対象マネージャ１２６を含んでもよい。画像プロセッサ１２２、スコアラ１２４、および対象マネージャ１２６の各々を、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組合せを用いて実装してもよい。

【0025】

１つの例示的な例では、画像プロセッサ１２２が第１の画像１０４のシーケンスおよび第２の画像１０６のシーケンスを同期してもよい。これらの２つのシーケンスを同期することが、時間に基づいて当該画像をこれらのシーケンスにおいて関連付けすることをを含んでもよい。

【0026】

例えば、限定ではなく、画像プロセッサ１２２が、同期された画像ペア１２５を識別してもよい。同期された画像ペア１２５が、これらの２つの画像が生成された時点に基づいて、互いに対応する、第１の画像１０４のシーケンスからの第１の画像１２８と第２の画像１０６のシーケンスからの第２の画像１３０とを含んでもよい。換言すれば、第１の画像１２８と第２の画像１３０が実質的に同一の時点に対応してもよい。幾つかのケースでは、第１の画像１２８と第２の画像１３０が、それぞれ電気光学画像１３２および赤外線画像１３４の形態を取ってもよい。

【0027】

１つの例示的な例では、同期された画像ペア１２５が基準座標システム１２７に関して整列してもよい。特に、第１の画像１２８と第２の画像１３０を、第１の画像１２８でキャプチャされたシーンが第２の画像１３０でキャプチャされたシーンと基準座標システム１２７に関して実質的に整列するように、整列してもよい。

【0028】

幾つかの例示的な例では、画像プロセッサ１２２が第１の画像１２８と第２の画像１３０の両方を処理して１組の候補対象１３６を特定してもよい。１組の候補対象１３６内の各候補対象が潜在的に関心対象１２０であってもよい。例えば、限定ではなく、第１の画像１２８と第２の画像１３０を融合して、１組の候補対象１３６をそこから特定できる結合画像を形成してもよい。

【0029】

他の例示的な例では、画像プロセッサ１２２が、第１の画像１２８と第２の画像１３０を別々に処理して１組の候補対象１３６を特定してもよい。例えば、限定ではなく、画像プロセッサ１２２が、第１の画像１２８内の１組の第１の候補チップ１３８および第２の画像１３０内の１組の第２の候補チップ１４０を特定してもよい。

【0030】

本明細書で使用する際、チップが画像の領域であってもよい。このように、１組の第１の候補チップ１３８の１つまたは１組の第２の候補チップ１４０の１つのような候補チップが候補対象をキャプチャする画像の領域であってもよい。換言すれば、候補チップが、潜在的に関心対象１２０をキャプチャするとして識別された画像の領域であってもよい。

【0031】

１組の第１の候補チップ１３８が１組の候補対象１３６をキャプチャしてもよく、１組の第２の候補チップ１４０が１組の候補対象１３６をキャプチャしてもよい。このように、１組の第１の候補チップ１３８の各々が同一の候補対象を１組の第２の候補チップ１４０の対応する第２の候補チップとしてキャプチャしてもよい。

【0032】

これらの例示的な例では、１組の第１の候補チップ１３８および１組の第２の候補チップ１４０が同一数の候補チップを含んでもよい。特に、第１の画像１２８と第２の画像１３０が時間に関して同期され、基準座標システム１２７に関して整列されているので、１組の第１の候補チップ１３８の各第１の候補チップが、１組の第２の候補チップ１４０の対応する第２の候補チップと１対１の対応関係を共有してもよい。

【0033】

スコアラ１２４が、１組の第１の候補チップ１３８を処理し、１組の第１の候補チップ１３８に対する１組の第１のスコア１４２を生成してもよい。特に、１組の第１のスコア１４２の各々が１組の第１の候補チップ１３８の対応する第１の候補チップに対するものであってもよい。同様に、スコアラ１２４が、１組の第２の候補チップ１４０を処理し、１組の第２の候補チップ１４０に対する１組の第２のスコア１４４を生成してもよい。特に、１組の第２のスコア１４４の各々が１組の第２の候補チップ１４０の対応する第２の候補チップに対するものであってもよい。次いで、スコアラ１２４が１組の第１のスコア１４２および１組の第２のスコア１４４を使用して、１組の候補対象１３６に対する１組の最終スコア１４６を生成してもよい。

【0034】

１組の第１のスコア１４２の生成を、関心対象１２０に対する第１の基準チップ１４８を用いて実施してもよい。１つの例示的な例では、第１の基準チップ１４８が、電気光学画像のような第１の画像、または関心対象１２０をキャプチャするために既知である第１の画像の部分の形態を取ってもよい。例えば、限定ではなく、第１の基準チップ１４８が電気光学基準チップであってもよい。幾つかのケースでは、第１の基準チップ１４８が、関心対象１２０をキャプチャするとして以前に識別された第１の画像１０４のシーケンス内の以前に処理された第１の画像からの第１の候補チップであってもよい。

【0035】

同様に、１組の第２のスコア１４４の生成を、関心対象１２０に対する第２の基準チップ１５０を用いて実施してもよい。１つの例示的な例では、第２の基準チップ１５０が、赤外線画像のような第２の画像、または関心対象１２０をキャプチャするために既知である第２の画像の部分の形態を取ってもよい。例えば、限定ではなく、第２の基準チップ１５０が赤外線基準チップであってもよい。幾つかのケースでは、第２の基準チップ１５０が、関心対象１２０をキャプチャするとして以前に識別された第２の画像１０６のシーケンス内の以前に処理された第２の画像からの第２の候補チップであってもよい。

【0036】

第１の基準チップ１４８と第２の基準チップ１５０をデータベース１５１に格納してもよい。例えば、第１の基準チップ１４８と第２の基準チップ１５０が、データベース１５１に格納された複数の基準チップ１５２に属してもよい。

【0037】

これらの例示的な例では、対象マネージャ１２６が、１組の最終スコア１４６を使用して、もしあれば１組の候補対象１３６のうちどれが関心対象１２０であるかを判定してもよい。例えば、対象マネージャ１２６が、選択された候補対象１４７を関心対象１２０であるとして１組の候補対象１３６から特定してもよい。幾つかの例示的な例では、対象マネージャ１２６が、後に関心対象１２０を追跡する際に使用するために、選択された候補対象１４７に対する対象追跡情報１５４をデータベース１５１に格納してもよい。

【0038】

対象追跡情報１５４が、例えば、限定ではなく、第１の画像１２８のためのインデックスおよび第２の画像１３０のためのインデックスの識別、第１の画像１２８と第２の画像１３０の各々における選択された候補対象１４７の位置、および他の種類の情報を含んでもよい。幾つかのケースでは、対象マネージャ１２６が、選択された候補対象１４７を新たな第１の基準チップとしてキャプチャする１組の第１の候補チップ１３８からの第１の候補チップを、次の同期された画像ペア内の関心対象１２０を追跡する際に使用するためにデータベース１５１に格納してもよい。さらに、対象マネージャ１２６が、選択された候補対象１４７を新たな第２の基準チップとしてキャプチャする１組の第２の候補チップ１４０からの第２の候補チップを、次の同期された画像ペア内の関心対象１２０を追跡する際に使用するためにデータベース１５１に格納してもよい。

【0039】

次に図２を参照すると、図１からの画像プロセッサ１２２およびスコアラ１２４の図が、例示的な実施形態に従うブロック図の形でより詳細に示されている。本例で示したように、画像プロセッサ１２２が移動対象検出器２００を含んでもよい。移動対象検出器２００を、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組合せを用いて実装してもよい。

【0040】

実装に応じて、移動対象検出器２００が、第１の画像１２８または第１の画像１２８と第２の画像１３０の両方を処理して、候補対象２０２を特定してもよい。候補対象２０２が図１の１組の候補対象１３６のうち１つの１例であってもよい。この例示的な例では、移動対象検出器２００は、第１の画像１２８内の候補対象２０２を特定するために使用される。特に、移動対象検出器２００を使用して、候補対象２０２をキャプチャする第１の画像１２８内の第１の候補チップ２０４を特定または抽出してもよい。

【0041】

候補対象２０２が、例えば、限定ではなく、移動する物体であってもよい。移動対象検出器２００が、任意の幾つかのアルゴリズム、技術、または計算プロセッサを使用して候補対象２０２を検出してもよい。

【0042】

スコアラ１２４が次いで、第１の候補チップ２０４を処理して第１の候補チップ２０４に対する第１のスコア２０６を生成してもよく、それにより候補対象２０２は第１の候補チップ２０４内でキャプチャされる。第１のスコア２０６が図１の１組の第１のスコア１４２のうち１つの１例であってもよい。

【0043】

示したように、スコアラ１２４が、第１のスコア２０６を含む、図１の１組の第１のスコア１４２を生成するための第１のスコア生成器２０８を含んでもよい。第１のスコア生成器２０８を、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組合せを用いて実装してもよい。

【0044】

１つの例示的な例では、第１のスコア生成器２０８が、第１の候補チップ２０４をセルのグリッド２１０に分割することで開始してもよい。セルのグリッド２１０が複数の行および複数の列から成るグリッドであってもよい。第１のスコア生成器２０８が次いで、幾つかの部分領域マスク２１２を使用して複数の部分領域２１４を特定してもよい。本明細書で使用する際、「幾つかの」項目が１つまたは複数の項目を含んでもよい。このように、幾つかの部分領域マスク２１２が１つまたは複数のマスクを含んでもよい。

【0045】

幾つかの部分領域マスク２１２の各々が異なる次元を有してもよい。１つの例示的な例として、幾つかの部分領域マスク２１２が、選択された次元２１６を有する部分領域マスク２１５を含んでもよい。選択された次元２１６が、例えば、限定ではなく、行の次元および列の次元を含んでもよい。選択された次元２１６を、部分領域マスク２１５が第１の候補チップ２０４より小さいように選択してもよい。例えば、限定ではなく、第１の候補チップ２０４に対するセルのグリッド２１０が５行５列のグリッドである場合、部分領域マスク２１５が、３行３列または４行４列の選択された次元２１６を有してもよい。

【0046】

１つの例示的な例では、複数の部分領域２１４は、幾つかの部分領域マスク２１２の各々を第１の候補チップ２０４上の異なる位置に移すことによって特定される。このように、複数の部分領域２１４が、異なるサイズを有し重複する部分領域を含んでもよい。異なるサイズを有し重複する部分領域を使用することで、関心対象１２０が部分的に第１の画像１２８内で塞がれているときでも、関心対象１２０を追跡することができる。

【0047】

第１のスコア生成器２０８は複数の部分領域２１４に対する複数の署名２１８を生成する。特に、複数の署名２１８の各署名が複数の部分領域２１４の対応する部分領域に対して生成される。

【0048】

部分領域２２０が、複数の部分領域２１４のうち１つの１例であってもよい。部分領域２２０が複数のセル２２２を含んでもよい。複数のセル２２２が、セルのグリッド２１０内のセルの全部ではなく一部のみを含んでもよい。１つの例示的な例として、第１のスコア生成器２０８が部分領域２２０に対する署名２２４を識別してもよい。署名２２４が色度情報２２５を含んでもよい。色度情報２２５を、部分領域２２０内に入る当該画素の画素値に基づいて生成してもよい。

【0049】

第１のスコア生成器２０８が次いで、第１の基準チップ１４８内の複数の基準部分領域２２６を特定してもよい。例えば、限定ではなく、幾つかの部分領域マスク２１２を使用して複数の基準部分領域２２６を特定してもよい。第１のスコア生成器２０８が、複数の基準部分領域２２６の各々と複数の部分領域２１４の各部分領域を対にして複数のペア２２８を形成してもよい。このように、複数のペア２２８の各々は、複数の部分領域２１４からの部分領域と複数の基準部分領域２２６からの基準部分領域の一意な組合せを含む。

【0050】

次いで、複数の初期スコア２３０を複数のペア２２８に対して生成する。特に、第１のスコア生成器２０８は、複数のペア２２８の各々に対して初期スコアを生成して複数の初期スコア２３０を形成する。この例示的な例では、複数のペア２２８内の対応するペアに対する複数の初期スコア２３０内の初期スコアは、当該ペア内の部分領域と基準部分領域の間の類似度の測定値を示す。換言すれば、当該初期スコアが、少なくとも色度に関して、当該ペア内の部分領域と基準部分領域の間のマッチング度合いの測定値であってもよい。１つの例示的な例では、複数の初期スコア２３０を、カルバック・ライブラ・ダイバージェンス２４０に基づいて生成してもよい。

【0051】

複数の初期スコア２３０の最良初期スコア２３２を有する複数のペア２２８内のペアを、ベスト・マッチのペア２３４として選択する。結果として、ベスト・マッチのペア２３４はベスト・マッチの部分領域２３６とベスト・マッチの基準部分領域２３８を含む。最良初期スコア２３２を、第１の候補チップ２０４に対する第１のスコア２０６として割り当ててもよく、それにより、候補対象２０２に対する第１のスコア２０６として割り当ててもよい。

【0052】

次に図３を参照すると、図１および２からの画像プロセッサ１２２、スコアラ１２４、および対象マネージャ１２６の図が、例示的な実施形態に従うブロック図の形でより詳細に示されている。示したように、画像プロセッサ１２２が第２の画像１３０を処理して、１組の第２の候補チップ１４０を生成してもよい。

【0053】

１つの例示的な例では、画像プロセッサ１２２が、図２の第１の画像１２８内の第１の候補チップ２０４に対応する第２の画像１３０内の第２の候補チップ３００を特定してもよい。例えば、限定ではなく、画像プロセッサ１２２が、図１の基準座標システム１２７に関する第２の画像１３０の第１の画像１２８との整列に基づいて第２の画像１３０内の第２の候補チップ３００を特定してもよい。第２の候補チップ３００が、図１の基準座標システム１２７に関して、同一のサイズを有してもよく、第１の候補チップ２０４と同じ位置にあってもよい。

【0054】

スコアラ１２４が第２のスコア生成器３０２を含んでもよい。第２のスコア生成器３０２が第２の候補チップ３００を処理してもよい。特に、第２のスコア生成器３０２が第２の候補チップ３００をセル３０４のグリッドに分割してもよい。１つの例示的な例では、セル３０４のグリッドが、図２の第１の候補チップ２０４に対するセルのグリッド２１０と同一の次元を有してもよい。

【0055】

第２のスコア生成器３０２が、第２の候補チップ３００内の複数のセル３０８を含む部分領域３０６を特定してもよい。部分領域３０６を、図２の第１の候補チップ２０４に対して特定されたベスト・マッチの部分領域２３６に基づいて特定してもよい。

【0056】

他の例示的な例では、部分領域３０６が第２の候補チップ３００全体であってもよい。換言すれば、第２の候補チップ３００を、基準座標システム１２７に関して第２の画像１３０において図２のベスト・マッチの部分領域２３６と同一のサイズおよび位置を有するとして特定してもよい。次いで、第２の候補チップ３００をセル３０４のグリッドに分割してもよい。セル３０４のグリッドが、その全体において、複数のセル３０８から成る部分領域３０６を形成してもよい。

【0057】

次いで、第２のスコア生成器３０２が部分領域３０６に対する第２のスコア３１０を生成してもよく、それにより、候補対象２０２を生成してもよい。第２のスコア３１０が第２の候補チップ３００に対する第２のスコア３１０になってもよい。１つの例示的な例では、第２のスコア生成器３０２が、部分領域３０６に対する基底ヒストグラム・ベクトル３１２を特定してもよい。基底ヒストグラム・ベクトル３１２を、指向性勾配（ＨｏＧ）のヒストグラムを計算する方法を用いて計算してもよい。

【0058】

基底ヒストグラム・ベクトル３１２は特徴記述子である。当該特徴記述子は、部分領域３０６の複数のセル３０８内のセルごとの指向性勾配のヒストグラムを計算し、セルごとの当該ヒストグラムをビンに離散化して、各セルがビンのベクトルを含むセルのベクトルを最終的に形成することによって、生成される。基底ヒストグラム・ベクトル３１２は、当該勾配に関する情報をキャプチャすることによって、部分領域３０６内の候補対象２０２に対する形状情報３１３をキャプチャする。特定のセルに対するビンのベクトル内の各ビンは、当該セル内の各要素の、当該要素での勾配度に対する比例的寄与をキャプチャする。

【0059】

例えば、限定ではなく、基底ヒストグラム・ベクトル３１２が複数のセル・ベクトル３１４を含んでもよい。１つの例示的な例として、基底ヒストグラム・ベクトル３１２がＭ個のセルを含んでもよい。当該Ｍ個のセルの各々は、部分領域３０６の複数のセル３０８の１つに対応する。当該Ｍ個のセルの各々がＮ回の回転ステップを有してもよい。このように、当該Ｍ個のセルの各々をセル・ベクトルと考えてもよい。

【0060】

幾つかの回転シフト３１６を、部分領域３０６内の複数のセル３０８に適用して、回転シフトされたバージョンの基底ヒストグラム・ベクトル３１２を生成してもよい。一緒に、これらの回転シフトされたヒストグラム・ベクトルと基底ヒストグラム・ベクトル３１２が複数のヒストグラム・ベクトル３１８を形成してもよい。１つの例示的な例として、部分領域３０６が３行３列グリッドを形成する９個のセルを含むとき、部分領域３０６を８回回転してもよい。別の例示的な例として、部分領域３０６が４行４列のグリッドを形成する１６個のセルを含むとき、部分領域３０６を１２回回転してもよい。このように、複数のヒストグラム・ベクトル３１８の各々が、指向性勾配の回転シフトされたヒストグラム３１９を含んでもよい。幾つかのケースでは、指向性勾配の回転シフトされたヒストグラム３１９が、指向性勾配の輪状にシフトされたヒストグラムの形態を取ってもよい。

【0061】

次いで、第２のスコア生成器３０２が、複数のヒストグラム・ベクトル３１８の各々を第２の基準チップ１５０に対する基準ヒストグラム・ベクトル３２０と比較して複数のマッチング・スコア３２２を生成してもよい。例えば、複数のマッチング・スコア３２２内のマッチング・スコア３２４が、複数のヒストグラム・ベクトル３１８の基準ヒストグラム・ベクトル３２０と対応するヒストグラム・ベクトルとの間の類似度の測定値またはマッチング度合いであってもよい。

【0062】

この例示的な例では、第２のスコア生成器３０２が、ベスト・マッチ・スコア３２６を複数のマッチング・スコア３２２から選択してもよい。ベスト・マッチ・スコア３２６を、部分領域３０６に対する第２のスコア３１０として割り当て、それにより第２の候補チップ３００および候補対象２０２に対する第２のスコア３１０として割り当ててもよい。

【0063】

スコアラ１２４が最終スコア生成器３３０を含んでもよい。最終スコア生成器３３０は、第１のスコア生成器２０８により生成された１組の第１のスコア１４２と第２のスコア生成器３０２により生成された１組の第２のスコア１４４とに基づいて１組の最終スコア１４６を生成する。例えば、候補対象２０２に対する第１のスコア２０６および第２のスコア３１０を使用して、候補対象２０２に対する最終スコア３３２を生成してもよい。１つの例示的な例では、第１のスコア２０６に第２のスコア３１０を乗じて最終スコア３３２を生成してもよい。

【0064】

対象マネージャ１２６が１組の最終スコア１４６を処理して、最良の最終スコア３３４を１組の最終スコア１４６から特定してもよい。最良の最終スコア３３４が選択された許容範囲内にある場合には、最良の最終スコア３３４を有する図１の１組の候補対象１３６の候補対象を関心対象１２０であるとして特定してもよい。この候補対象が、選択された候補対象１３７であってもよい。最良の最終スコア３３４に対する選択された許容値が、実装に応じて、最小閾値、最大閾値、またはその両方を含んでもよい。

【0065】

次に図４を参照すると、図２の署名２２４の図が例示的な実施形態に従うブロック図の形でより詳細に示されている。この例示的な例では、図２の部分領域２２０に対する署名２２４が、図２の部分領域２２０に対する指紋ベクトル４０２および共分散行列４０４を含んでもよい。

【0066】

指紋ベクトル４０２を、例えばこれに限られないが、彩度ベースの色空間４０６のような色空間に関して生成してもよい。このように、指紋ベクトル４０２が色度情報２２５を提供してもよい。色度情報２２５が、例えば、限定ではなく、輝度平均値４０８、赤色度平均値４１０、青色度平均値４１２、輝度エントロピ４１４、赤色度エントロピ４１６、および青色度エントロピ４１８を含んでもよい。

【0067】

このように、画像処理システム１００は、対象検出および追跡の目的で遮蔽堅牢な画像処理を提供する。画像処理システム１００を用いると、対象検出および追跡が実施される正確性と効率性が向上しうる。さらに、この種の対象検出および追跡が、例えばこれらに限られないが監視アクション、偵察アクション、武器誘導、および他の種類のアクションのような改善されたアクションを可能としてもよい。

【0068】

図１の画像処理システム１００、図１乃至３の画像プロセッサ１２２、図１乃至３のスコアラ１２４、図１および３の対象マネージャ１２６、ならびに図１および４の署名２２４の図示は、例示的な実施形態を実装できる方式に対する物理的なまたはアーキテクチャ的な限定を示唆することは意味しない。示したものに加えてまたは示したものの代わりに他のコンポーネントを使用してもよい。幾つかのコンポーネントが任意であってもよい。また、当該ブロックは、何らかの機能的なコンポーネントを示すために提供されている。例示的な実施形態で実装するとき、これらのブロックのうち１つまたは複数を異なるブロックに結合し、分割し、または結合して分割してもよい。

【0069】

次に図５を参照すると、例示的な実施形態に従う同期された画像ペアの図が示されている。この例示的な例では、同期された画像ペア５００が、図１の同期された画像ペア１２５に対する１実装の１例であってもよい。示したように、同期された画像ペア５００は電気光学画像５０１および赤外線画像５０３を含む。これらが、それぞれ図１の電気光学画像１３２および赤外線画像１３４に対する実装の例であってもよい。

【0070】

電気光学画像５０１および赤外線画像５０３がそれぞれ背景５０２および背景５０４をキャプチャしてもよい。さらに、電気光学画像５０１および赤外線画像５０３が両方とも、候補対象５０６、候補対象５０８、および候補対象５１０をキャプチャしてもよい。

【0071】

この例示的な例では、第１の候補チップ５１２が電気光学画像５０１で識別されている。示したように、第１の候補チップ５１２は候補対象５０８をキャプチャする。

【0072】

次に図６を参照すると、例示的な実施形態に従う、図５の第１の候補チップ５１２をセルのグリッドに分割する１方式の図が示されている。示したように、第１の候補チップ５１２を、セル６０２を含むグリッド６００に分割してもよい。この例示的な例ではグリッド６００が５行５列のグリッドであってもよい。さらに、本例ではセル６０２は２５個のセルを含む。

【0073】

次に図７を参照すると、例示的な実施形態に従う、図５および６の第１の候補チップ５１２内の異なる部分領域の図が示されている。示したように、部分領域マスク７００が、部分領域７０２を特定するために第１の候補チップ５１２の部分の上に配置されている。

【0074】

部分領域マスク７００が、図２の部分領域マスク２１５に対する１実装の１例であってもよい。示したように、部分領域マスク７００が、９個のセルを含む３行３列グリッドであってもよい。部分領域マスク７００を、部分領域７０４のような別の部分領域を特定するために、第１の候補チップ５１２の上の異なる位置に移動してもよい。

【0075】

部分領域マスク７００を、第１の候補チップ５１２内の他の部分領域を特定するために他の位置に移動してもよい。部分領域マスク７００のサイズに基づいて、第１の候補チップ５１２に対して特定された部分領域の各々の一部が少なくとも１つの他の部分領域の一部と重複してもよい。

【0076】

次に図８を参照すると、例示的な実施形態に従う、図５および６の第１の候補チップ５１２内の異なる部分領域の図が示されている。示したように、部領域マスク８００が、部分領域８０２を特定するために、第１の候補チップ５１２の部分の上に配置されている。

【0077】

部分領域マスク８００が、図２の部分領域マスク２１５に対する１実装の１例であってもよい。示したように、部分領域マスク８００が１６個のセルを含む４行４列グリッドであってもよい。部分領域マスク８００を、部分領域８０４のような別の部分領域を特定するために第１の候補チップ５１２の上の異なる位置に移動してもよい。

【0078】

部分領域マスク８００を、第１の候補チップ５１２内の他の部分領域を特定するために他の位置に移動してもよい。部分領域マスク８００のサイズに基づいて、第１の候補チップ５１２に対して特定された部分領域の各々の一部を少なくとも１つの他の部分領域の一部と重複させてもよい。

【0079】

次に図９を参照すると、例示的な実施形態に従う図５の赤外線画像５０３の部分において特定された部分領域の図が示されている。この例示的な例では、第２の候補チップ９００を、候補対象５０８をキャプチャする赤外線画像５０３の部分として特定してもよい。

【0080】

第２の候補チップ９００内の部分領域９０２を、図７の第１の候補チップ５１２に対して特定された部分領域からベスト・マッチの部分領域に対応するとして特定してもよい。部分領域９０２が、図３の部分領域３０６に対する１実装の１例であってもよい。この例示的な例では、部分領域９０２を、セル９０６を含むグリッド９０４に分割してもよい。この例示的な例では、グリッド９０４が３行３列グリッドであってもよく、セル９０６が９個のセルを含んでもよい。

【0081】

次に図１０を参照すると、例示的な実施形態に従う、図９の部分領域９０２の図が示されている。この例示的な例では、セル９０６には対応するインデックス番号１０００が割り当てられている。

【0082】

基底ヒストグラム・ベクトル１００２を部分領域９０２に対して生成してもよい。基底ヒストグラム・ベクトル１００２が、図３の基底ヒストグラム・ベクトル３１２に対する１実装の１例であってもよい。示したように、基底ヒストグラム・ベクトル１００２が複数のセル・ベクトル１００４を含んでもよい。

【0083】

セル・ベクトル１００６が複数のセル・ベクトル１００４のうち１つの１例であってもよい。セル・ベクトル１００６が複数のビン１００８を含んでもよい。複数のビン１００８が、離散化されている指向性勾配のヒストグラムを表してもよい。

【0084】

図５乃至１０の図示は、例示的な実施形態を実装できる方式に対する物理的またはアーキテクチャ的な限定を示唆することを意味しない。特に、図５乃至１０に示した様々な項目が、図１乃至４のブロック形式で示された項目をどのように実装できるかの例示的な例であってもよい。

【0085】

次に図１１を参照すると、例示的な実施形態に従う、関心対象を追跡するためのプロセスの図が流れ図の形で示されている。図１１に示したプロセスを、図１の画像処理システム１００を用いて実装してもよい。

【0086】

当該プロセスが、第１の画像においておよび第１の画像に対応する第２の画像において１組の候補対象を特定することで開始してもよい（動作１１００）。次に、１組の第１のスコアを、第１の画像を用いて当該１組の候補対象に対して生成してもよい（動作１１０２）。次いで、１組の第２のスコアを、第２の画像を用いて当該１組の候補対象に対して生成してもよい（動作１１０４）。

【0087】

その後、当該１組の第１のスコアおよび当該１組の第２のスコアを用いて、１組の最終スコアを当該１組の候補対象に対して生成してもよい（動作１１０６）。次いで、当該１組の候補対象のうちどれが関心対象であるかを当該１組の最終スコアに基づいて判定する（動作１１０８）。その後、プロセスは終了する。

【0088】

次に図１２を参照すると、例示的な実施形態に従う、画像内の候補チップを特定するためのプロセスの図が流れ図の形で示されている。図１２に示したプロセスを、図１乃至３で説明したように画像プロセッサ１２２を用いて実装してもよい。

【0089】

当該プロセスが、第１の画像のシーケンスおよび第２の画像のシーケンスを受信することで開始してもよい（動作１２００）。第１の画像のシーケンスおよび第２の画像のシーケンスは同期される（動作１２０２）。動作１２０２を、第１の画像のシーケンスおよび第２の画像のシーケンスが時間に関して同期されるように、実施してもよい。幾つかのケースでは、この同期が、第１の画像のシーケンスおよび第２の画像のシーケンスを基準座標システムに関して整列するステップを含んでもよい。

【0090】

次に、処理のために、第１の画像が第１の画像のシーケンスから選択され、第２の画像が、第１の画像に対応する第２の画像のシーケンスから選択される（動作１２０４）。１組の第１の候補チップは、移動する対象検出プロセスを用いて第１の画像において特定される（動作１２０６）。当該１組の第１の候補チップに対応する１組の第２の候補チップが第２の画像において特定される（動作１２０８）。

【0091】

次いで、未処理の画像が残っているかどうかを判定してもよい（動作１２１０）。未処理の画像が残っている場合、当該プロセスは上述のように動作１２０４に戻る。そうでない場合、プロセスは終了する。

【0092】

次に図１３を参照すると、例示的な実施形態に従う、第１の候補チップに対する第１のスコアを生成するためのプロセスの図が流れ図の形で示されている。図１３に示したプロセスを、図１乃至３で説明したスコアラ１２４を用いて実装してもよい。さらに、当該プロセスが図１１の動作１１０２を実装できる１方式の例であってもよい。

【0093】

当該プロセスが、第１の候補チップをセルのグリッドに分割することで開始してもよい（動作１３００）。動作１３００において、当該第１の候補チップが、例えば、図１２の動作１２０６で特定された１組の第１の候補チップのうち１つであってもよい。

【0094】

複数の部分領域が、幾つかの部分領域マスクを用いて第１の候補チップ内で特定される（動作１３０２）。動作１３０２における幾つかの部分領域マスクの各々が異なる次元を有してもよい。署名を当該複数の部分領域ごとに計算して、複数の署名を生成する（動作１３０４）。

【0095】

１つの例示的な例では、動作１３０４において、特定の部分領域に対する署名を、署名ベクトルが指紋ベクトルと共分散行列を含むように計算してもよい。

【0096】

【数1】

【0097】

である。Ｓは部分領域に対する署名であり、ｆは指紋ベクトルであり、Ｃは部分領域に対する共分散行列であり、Ｌ_ｍｅａｎは部分領域に対する輝度平均値であり、Ｃｒ_ｍｅａｎは部分領域に対する赤色度平均値であり、Ｃｂ_ｍｅａｎは部分領域に対する青色度平均値であり、Ｌ_ｅｎｔは部分領域に対する輝度エントロピであり、Ｃｒ_ｅｎｔは部分領域に対する赤色度エントロピであり、Ｃｂ_ｅｎｔは部分領域に対する青色度エントロピである。

【0098】

その後、複数の基準部分領域を、幾つかの部分領域マスクに基づいて関心対象をキャプチャする第１の基準チップにおいて特定してもよい（動作１３０６）。当該複数の部分領域の各部分領域を、当該複数の基準部分領域の各基準部分領域とペアにして複数のペアを形成してもよい（動作１３０８）。当該複数のペアの各々にスコア付けして複数の初期スコアを形成してもよい（動作１３１０）。

【0099】

動作１３１０において、１つの例示的な例では、当該複数の初期スコアの各々を、カルバック・ライブラ・ダイバージェンス（ＫＬＤ）に基づいて生成してもよい。例えば、

【0100】

【数2】

【0101】

である。Ｔは関心対象であり第１の基準チップに対応し、Ｋは候補対象であり当該第１の候補チップに対応し、ｉは当該第１の基準チップ内の部分領域であり、ｊは当該第１の候補チップ内の部分領域であり,

【0102】

【数3】

【0103】

は初期スコアであり、

【0104】

【数4】

【0105】

は当該第１の基準チップ内のｉ番目の部分領域に対する共分散行列であり、

【0106】

【数5】

【0107】

は当該第１の候補チップ内のｉ番目の部分領域に対する共分散行列であり、

【0108】

【数6】

【0109】

は当該第１の基準チップ内のｉ番目の部分領域に対する指紋ベクトルであり、

【0110】

【数7】

【0111】

は当該第１の候補チップ内のｉ番目の部分領域に対する指紋ベクトルである。

【0112】

次いで、最良初期スコアを有する複数のペアからのペアが、ベスト・マッチのペアが当該第１の候補チップに対するベスト・マッチの部分領域とベスト・マッチの基準部分領域を含むように、当該ベスト・マッチのペアとして選択される（動作１３１２）。動作１３１２において、当該最良初期スコアを以下のように特定してもよい。

【0113】

【数8】

【0114】

ここで、

【0115】

【数9】

【0116】

は最良初期スコアであり、それにより、当該第１の候補チップに対する第１のスコアである。

【0117】

ベスト・マッチのペアに対する最良初期スコアは当該第１の候補チップに対する第１のスコアとして割り当てられ、それにより、候補対象が当該第１の候補チップ内でキャプチャされる（動作１３１４）。その後、プロセスは終了する。図１３に示すプロセスを、特定された１組の第１の候補チップ内の第１の候補チップごとに繰り返してもよい。

【0118】

次に図１４を参照すると、例示的な実施形態に従う、第２の候補チップに対する第２のスコアを生成するためのプロセスの図が流れ図の形で示されている。図１４に示したプロセスを、図１乃至３で説明したスコアラ１２４および画像プロセッサ１２２を用いて実装してもよい。さらに、当該プロセスが、図１１の動作１１０４を実装できる１方式の１例であってもよい。

【0119】

当該プロセスが、第１のスコアが生成されている第１の画像内の第１の候補チップに対応する第２の画像内の第２の候補チップを特定することで開始してもよい（動作１４００）。次いで、当該第１の候補チップ内のベスト・マッチの部分領域に対応する当該第２の候補チップ内の部分領域を特定する（動作１４０２）。幾つかのケースでは、動作１４０２において、第２の候補チップ全体が当該部分領域を形成してもよい。

【0120】

その後、基底ヒストグラム・ベクトルを、当該第２の候補チップ内の当該部分領域に対して生成する（動作１４０４）。当該基底ヒストグラム・ベクトルは当該部分領域内の複数のセルに対応する複数のセル・ベクトルを含む。幾つかの回転シフトを、当該基底ヒストグラム・ベクトルを用いて実施して、当該基底ヒストグラム・ベクトルを含む複数のヒストグラム・ベクトルを形成する（動作１４０６）。

【0121】

次に、基準ヒストグラム・ベクトルが、第２の基準チップのベスト・マッチの基準部分領域に対して特定される（動作１４０８）。当該基準ヒストグラム・ベクトルを、当該複数のヒストグラム・ベクトルの各々とペアにして、複数のペアを形成してもよい（動作１４１０）。マッチング・スコアを、当該複数のペアのペアごとに計算して、当該部分領域に対する複数のマッチング・スコアを形成してもよい（動作１４１２）。動作１４１２において、１つの例示的な例では、マッチング・スコアを以下のように計算してもよい。

【0122】

【数10】

【0123】

ここで、Ｔは関心対象であり当該第２の基準チップに対応し、Ｋは候補対象であり当該第２の候補チップに対応し、ｄ_{ＣＳＨＯＧ}（Ｔ、Ｋ）はマッチング・スコアであり、

【0124】

【数11】

【0125】

は、回転のない当該第２の基準チップに対する基準ヒストグラム・ベクトルのｉ番目の要素であり、

【0126】

【数12】

【0127】

は、ｒ番目の回転を有する部分領域に対するヒストグラム・ベクトルのｉ番目の要素である。

【0128】

ベスト・マッチ・スコアを、部分領域に対する複数のマッチング・スコアから第２の候補チップに対する第２のスコアとして選択し、それにより、候補対象を選択してもよい（動作１４１４）。その後、プロセスは終了する。１つの例示的な例では、当該ベスト・マッチ・スコアがｒ番目の回転ごとの最小値であってもよい。当該プロセスを、特定された１組の第２の候補チップの各々に対して繰り返してもよい。

【0129】

次に図１５を参照すると、例示的な実施形態に従う、関心対象を追跡するためのプロセスの図が流れ図の形で示されている。当該プロセスを、図１乃至３で説明したスコアラ１２４および対象マネージャ１２６を用いて実装してもよい。

【0130】

当該プロセスが、１組の候補対象の候補対象に対応する１組の第１のスコアから第１のスコアを選択し、当該候補対象に対応する１組の第２のスコアから第２のスコアを選択することで開始してもよい（動作１５００）。当該第１のスコアに当該第２のスコアを乗じて、当該候補対象に対する最終スコアを得てもよい（動作１５０２）。１つの例示的な例では、動作１５０２において、当該最終スコアを以下のように計算してもよい。

【0131】

【数13】

【0132】

ここで、Ｔは関心対象であり、Ｋは候補対象であり、

【0133】

【数14】

【0134】

は当該関心対象および当該候補対象の間のマッチング度を示す最終スコアである。

【0135】

残りの未処理の候補対象が当該１組の候補対象にあるかどうかを判定してもよい（動作１５０４）。残りの未処理の候補対象が存在する場合、当該プロセスは上述のように動作１５００に戻る。そうでない場合、当該１組の候補対象に対する１組の最終スコアに優先順位を付けてもよい（動作１５０６）。当該１組の最終スコアの何れかが選択された許容範囲内にあるかどうかを判定してもよい（動作１５０８）。動作１５０８において、選択された許容範囲内にあることが、最小閾値より高いこと、最大閾値より低いこと、またはその両方を含んでもよい。

【0136】

当該１組の最終スコアのうちどれも選択された許容範囲にない場合、関心対象が検出されていないとの指示を生成する（動作１５１０）。その後、プロセスは終了する。そうでない場合、選択された許容範囲内にある１組の最終スコアの部分において最良の最終スコアを有する候補対象を関心対象として特定する（動作１５１２）。その後、プロセスは終了する。

【0137】

説明した様々な実施形態における流れ図およびブロック図は、例示的な実施形態における装置および方法の幾つかの可能な実装のアーキテクチャ、機能、および動作を示す。この点、当該流れ図またはブロック図内の各ブロックが、少なくとも１つのモジュール、セグメント、関数、または動作もしくはステップの一部を表してもよい。

【0138】

例示的な実施形態の幾つかの代替的な実装では、ブロックに記載した１つまたは複数の機能を、図に示した順序以外で実施してもよい。例えば、幾つかのケースでは、必要な機能に依存して、連続して示した２つのブロックを実質的に並列に実施してもよく、または、当該ブロックを場合によっては逆順で実施してもよい。また、他のブロックを流れ図またはブロック図に示したブロックに追加してもよい

【0139】

次に図１６を参照すると、例示的な実施形態に従う、データ処理システムの図がブロック図の形で示されている。データ処理システム１６００を使用して図１のコンピュータ・システム１０２を実装してもよい。示したように、データ処理システム１６００は通信フレームワーク１６０２を含む。通信フレームワーク１６０２は、プロセッサ・ユニット１６０４、記憶装置１６０６、通信ユニット１６０８、入出力ユニット１６１０、およびディスプレイ１６１２の間の通信を提供する。幾つかのケースでは、通信フレームワーク１６０２をバス・システムとして実装してもよい。

【0140】

プロセッサ・ユニット１６０４は、幾つかの動作を実施するためのソフトウェアに対する命令を実行するように構成される。プロセッサ・ユニット１６０４が、実装に応じて、幾つかのプロセッサ、マルチプロセッサ・コア、または他の何らかの種類のプロセッサであってもよい。幾つかのケースでは、プロセッサ・ユニット１６０４が、回路システム、特殊用途向け集積回路（ＡＳＩＣ）、プログラム可能論理デバイス、または他の何らかの適切な種類のハードウェア・ユニットのような、ハードウェア・ユニットの形態を取ってもよい。

【0141】

プロセッサ・ユニット１６０４により実行されるオペレーティング・システム、アプリケーション、および／またはプログラム向けの命令を記憶装置１６０６に格納してもよい。記憶装置１６０６が、通信フレームワーク１６０２を通じてプロセッサ・ユニット１６０４と通信してもよい。本明細書で使用する際、記憶装置は、コンピュータ可読記憶装置とも呼ばれ、一時的ベースおよび／または永続的ベースで情報を格納できる任意のハードウェアである。当該情報が、データ、プログラム・コード、および／または他の情報を含んでもよいがこれらに限られない。

【0142】

メモリ１６１４および永続記憶１６１６は記憶装置１６０６の例である。メモリ１６１４が、例えば、ランダム・アクセス・メモリまたは何らかの種類の揮発性もしくは不揮発性の記憶装置の形態を取ってもよい。永続記憶１６１６が、任意数のコンポーネントまたは装置を含んでもよい。例えば、永続記憶１６１６が、ハード・ドライブ、フラッシュ・メモリ、再書込み可能光ディスク、再書込み可能磁気テープ、または以上の何らかの組合せを含んでもよい。永続記憶１６１６が使用する媒体が取外し可能であってもなくてもよい。

【0143】

通信ユニット１６０８によりデータ処理システム１６００は他のデータ処理システムおよび／または装置と通信することができる。通信ユニット１６０８が物理リンクおよび／または無線通信リンクを用いて通信を提供してもよい。

【0144】

入出力ユニット１６１０により、データ処理システム１６００に接続された他の装置から入力を受信し、当該他の装置に出力を送信することができる。例えば、入出力ユニット１６１０により、キーボード、マウス、および／または他の何らかの種類の入力装置を通じてユーザ入力を受信できるようにしてもよい。別の例として、入出力ユニット１６１０により、データ処理システム１６００に接続されたプリンタに出力を送信できるようにしてもよい。

【0145】

ディスプレイ１６１２は情報をユーザに表示するように構成される。ディスプレイ１６１２が、例えば、限定ではなく、モニタ、タッチ・スクリーン、レーザ・ディスプレイ、ホログラフィック・ディスプレイ、仮想ディスプレイ装置、および／または他の何らかの種類のディスプレイ装置を含んでもよい。

【0146】

この例示的な例では、様々な例示的な実施形態のプロセスを、コンピュータ実行型の命令を用いてプロセッサ・ユニット１６０４により実施してもよい。これらの命令を、プログラム・コード、コンピュータ利用可能プログラム・コード、またはコンピュータ可読プログラム・コードと称してもよく、プロセッサ・ユニット１６０４内の１つまたは複数のプロセッサにより読み取って実行してもよい。

【0147】

これらの例では、プログラム・コード１６１８はコンピュータ可読媒体１６２０上に機能的な形態で配置され、プロセッサ・ユニット１６０４により実行するためにデータ処理システム１６００にロードし転送してもよい。コンピュータ可読媒体１６２０は選択的に取外し可能である。プログラム・コード１６１８およびコンピュータ可読媒体１６２０は一体的にコンピュータ・プログラム製品１６２２を形成する。この例示的な例では、コンピュータ可読媒体１６２０がコンピュータ可読記憶媒体１６２４またはコンピュータ可読信号媒体１６２６であってもよい。

【0148】

コンピュータ可読記憶媒体１６２４は、プログラム・コード１６１８を伝播または送信する媒体ではなく、プログラム・コード１６１８を格納するために使用される物理または有形の記憶装置である。コンピュータ可読記憶媒体１６２４が、例えば、限定ではなく、データ処理システム１６００に接続された光ディスクまたは磁気ディスクまたは永続記憶装置であってもよい。

【0149】

あるいは、プログラム・コード１６１８を、コンピュータ可読信号媒体１６２６を用いてデータ処理システム１６００に転送してもよい。コンピュータ可読信号媒体１６２６が、例えば、プログラム・コード１６１８を含む伝播データ信号であってもよい。当該データ信号が、電磁気信号、光信号、および／または物理的リンクおよび／または無線の通信リンクで送信できる他の何らかの種類の信号であってもよい。

【0150】

図１６のデータ処理システム１６００の図示は、例示的な実施形態を実装できる方式に対するアーキテクチャ的な限定を提供することは意味しない。様々な例示的な実施形態を、データ処理システム１６００に対して図示したものに加えてまたはその代わりとしてのコンポーネントを含むデータ処理システムで実装してもよい。さらに、図１６に示すコンポーネントを図示した例示的な例から変形してもよい。

【0151】

様々な例示的な実施形態の説明は図示および説明の目的で提供され、それが包括的であるとも開示した形態での実施形態に限定されるとも意図されていない。多数の修正と変形は当業者には明らかであろう。さらに、様々な例示的な実施形態が、他の望ましい実施形態と比べて異なる特徴を提供してもよい。選択された１つまたは複数の実施形態は、諸実施形態の原理と実際の適用を最良に説明し、考えられる特定の利用に適するように様々な修正を有する様々な実施形態に対して本発明を当業者が理解できるようにするために選択され説明されたものである。

【符号の説明】

【0152】

１００ 画像処理システム
１０２ コンピュータ・システム
１０４ 第１の画像のシーケンス
１０６ 第２の画像のシーケンス
１０８ 第１の撮像システム
１１０ 第２の撮像システム
１１２ 電気光学（ＥＯ）撮像システム
１１４ 赤外線（ＩＲ）撮像システム
１１６ 電気光学画像のシーケンス
１１８ 赤外線画像のシーケンス
１２０ 関心対象
１２２ 画像プロセッサ
１２４ スコアラ
１２５ 同期された画像ペア
１２６ 対象マネージャ
１２７ 基準座標システム
１２８ 第１の画像
１３０ 第２の画像
１３２ 電気光学画像
１３４ 赤外線画像
１３６ １組の候補対象
１３８ １組の第１の候補チップ
１４０ １組の第２の候補チップ
１４２ １組の第１のスコア
１４４ １組の第２のスコア
１４６ １組の最終スコア
１４７ 選択された候補対象
１４８ 第１の基準チップ
１５０ 第２の基準チップ
１５１ データベース
１５２ 複数の基準チップ
１５４ 対象追跡情報
２００ 移動対象検出器
２０２ 候補対象
２０３ 第１の候補チップ
２０４ 第１の候補チップ
２０６ 第１のスコア
２０８ 第１のスコア生成器
２１０ セルのグリッド
２１２ 幾つかの部分領域マスク
２１４ 複数の部分領域
２１５ 部分領域マスク
２１６ 選択された次元
２１８ 複数の署名
２２０ 部分領域
２２２ 複数のセル
２２４ 署名
２２５ 色度情報
２２６ 複数の基準部分領域
２２８ 複数のペア
２３０ 複数の初期スコア
２３２ 最良初期スコア
２３４ 最もマッチするペア
２３６ 最もマッチする部分領域
２３８ 最もマッチする基準部分領域
２４０ カルバック・ライブラー・ダイバージェンス
３００ 第２の候補チップ
３０２ 第２のスコア生成器
３０４ セルのグリッド
３０６ 部分領域
３０８ 複数のセル
３１０ 第２のスコア
３１２ 基底ヒストグラム・ベクトル
３１３ 形状情報
３１４ 複数のセル・ベクトル
３１６ 幾つかの回転シフト
３１８ 複数のヒストグラム・ベクトル
３１９ 指向性勾配の回転シフトされたヒストグラム
３２０ 基準ヒストグラム・ベクトル
３２２ 複数のマッチング・スコア
３２４ マッチング・スコア
３２６ 最良のマッチング・スコア
３３０ 最終スコア生成器
３３２ 最終スコア
３３４ 最良の最終スコア
４０２ 指紋ベクトル
４０４ 共分散行列
４０６ 彩度ベースの色空間
４０８ 輝度平均値
４１０ 赤色度平均値
４１２ 青色度平均値
４１４ 輝度エントロピ
４１６ 赤色度エントロピ
４１８ 青色度エントロピ
１６００ データ処理システム
１６０４ 処理ユニット
１６０６ 記憶装置
１６０８ 通信ユニット
１６１０ 入出力ユニット
１６１２ ディスプレイ
１６１４ メモリ
１６１６ 永続記憶
１６１８ プログラム・コード
１６２０ コンピュータ可読媒体
１６２２ コンピュータ・プログラム製品
１６２４ コンピュータ可読記憶媒体
１６２６ コンピュータ可読信号媒体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】