特許第6806459号(P6806459)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ザ・ボーイング・カンパニーの特許一覧
<>
  • 特許6806459-対象を追跡するための方法および装置 図000016
  • 特許6806459-対象を追跡するための方法および装置 図000017
  • 特許6806459-対象を追跡するための方法および装置 図000018
  • 特許6806459-対象を追跡するための方法および装置 図000019
  • 特許6806459-対象を追跡するための方法および装置 図000020
  • 特許6806459-対象を追跡するための方法および装置 図000021
  • 特許6806459-対象を追跡するための方法および装置 図000022
  • 特許6806459-対象を追跡するための方法および装置 図000023
  • 特許6806459-対象を追跡するための方法および装置 図000024
  • 特許6806459-対象を追跡するための方法および装置 図000025
  • 特許6806459-対象を追跡するための方法および装置 図000026
  • 特許6806459-対象を追跡するための方法および装置 図000027
  • 特許6806459-対象を追跡するための方法および装置 図000028
  • 特許6806459-対象を追跡するための方法および装置 図000029
  • 特許6806459-対象を追跡するための方法および装置 図000030
  • 特許6806459-対象を追跡するための方法および装置 図000031
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6806459
(24)【登録日】2020年12月8日
(45)【発行日】2021年1月6日
(54)【発明の名称】対象を追跡するための方法および装置
(51)【国際特許分類】
   G06T 7/246 20170101AFI20201221BHJP
【FI】
   G06T7/246
【請求項の数】14
【外国語出願】
【全頁数】28
(21)【出願番号】特願2016-80172(P2016-80172)
(22)【出願日】2016年4月13日
(65)【公開番号】特開2017-10527(P2017-10527A)
(43)【公開日】2017年1月12日
【審査請求日】2019年3月22日
(31)【優先権主張番号】14/743,349
(32)【優先日】2015年6月18日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】500520743
【氏名又は名称】ザ・ボーイング・カンパニー
【氏名又は名称原語表記】The Boeing Company
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(74)【代理人】
【識別番号】100163522
【弁理士】
【氏名又は名称】黒田 晋平
(74)【代理人】
【識別番号】100154922
【弁理士】
【氏名又は名称】崔 允辰
(72)【発明者】
【氏名】ヒュクソン・クォン
(72)【発明者】
【氏名】キョンナム・キム
(72)【発明者】
【氏名】ユリ・オウェチュコ
【審査官】 ▲広▼島 明芳
(56)【参考文献】
【文献】 特開2002−157599(JP,A)
【文献】 米国特許出願公開第2013/0083959(US,A1)
【文献】 特開2005−165421(JP,A)
【文献】 特開2015−026110(JP,A)
【文献】 和田 俊和,画像を用いた対象検出・追跡,画像ラボ 第17巻 第3号,日本,日本工業出版株式会社,2006年,第17巻,pp.70-74
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00 − 7/90
H04N 5/232
(57)【特許請求の範囲】
【請求項1】
画像を処理するための方法であって、
第1の画像および前記第1の画像に対応する第2の画像において1組の候補対象を特定するステップであって、
電気光学画像内の1組の第1の候補チップを特定するステップであって、前記1組の第1の候補チップの各々は前記1組の候補対象の対応する候補対象をキャプチャする、ステップを含む、
ステップと、
前記第1の画像を用いて前記1組の候補対象に対する1組の第1のスコアを生成するステップであって、
前記1組の第1の候補チップの第1の候補チップ内の複数の部分領域を特定するステップであって、前記第1の候補チップは前記1組の候補対象の候補対象をキャプチャする、ステップと、
前記複数の部分領域の各々に対する署名を計算して複数の署名を生成するステップと、
前記複数の部分領域の各部分領域を第1の基準チップ内の複数の基準部分領域の各基準部分領域とペアにして複数のペアを生成するステップと、
前記複数のペアの各々にスコア付けして複数の初期スコアを生成するステップと、
を含む、ステップと、
前記第2の画像を用いて前記1組の候補対象に対する1組の第2のスコアを生成するステップと、
前記1組の第1のスコアおよび前記1組の第2のスコアを用いて前記1組の候補対象に対する1組の最終スコアを計算するステップと、
前記1組の最終スコアに基づいて前記1組の候補対象のうちどれが関心対象であるかを判定するステップと、
を含む、方法。
【請求項2】
前記1組の候補対象を特定するステップはさらに、赤外線画像内の1組の第2の候補チップを特定するステップであって、前記1組の第2の候補チップの各々は前記1組の第1の候補チップのうち1つに対応する、ステップを含む、請求項1に記載の方法。
【請求項3】
前記1組の第1のスコアを生成するステップはさらに、
前記複数の初期スコアの最良初期スコアを有する前記複数のペアからのペアをベスト・マッチのペアとして選択するステップであって、前記ベスト・マッチのペアはベスト・マッチの部分領域およびベスト・マッチの基準部分領域を含み、前記最良初期スコアは、前記第1の候補チップ内でキャプチャされた前記候補対象に対する第1のスコアとなる、ステップ
を含む、請求項1に記載の方法。
【請求項4】
前記1組の第2のスコアを生成するステップは、
前記第1の候補チップに対応する前記第2の画像内の第2の候補チップを特定するステップと、
前記第1の候補チップ内の前記ベスト・マッチの部分領域に対応する前記第2の候補チップ内の部分領域を特定するステップと、
を含む、請求項3に記載の方法。
【請求項5】
前記1組の第2のスコアを生成するステップはさらに、前記第2の候補チップ内の前記部分領域にスコア付けして、前記候補対象に対する第2のスコアを生成するステップを含む、請求項4に記載の方法。
【請求項6】
前記部分領域にスコア付けするステップは、
前記部分領域に対する基底ヒストグラム・ベクトルを生成するステップと、
前記基底ヒストグラム・ベクトルを用いて幾つかの回転シフトを実施して、前記基底ヒストグラム・ベクトルを含む複数のヒストグラム・ベクトルを生成するステップと、
を含む、請求項5に記載の方法。
【請求項7】
前記部分領域にスコア付けするステップはさらに、
前記ベスト・マッチの基準部分領域に対する基準ヒストグラム・ベクトルを特定するステップと、
前記基準ヒストグラム・ベクトルの前記複数のヒストグラム・ベクトルの1つとのペアごとにマッチング・スコアを計算して、前記部分領域に対する複数のマッチング・スコアを生成するステップと、
を含む、請求項6に記載の方法。
【請求項8】
前記部分領域にスコア付けするステップはさらに、前記部分領域に対する複数のマッチング・スコアからのベスト・マッチ・スコアを前記候補対象に対する前記第2のスコアとして選択するステップを含む、請求項7に記載の方法。
【請求項9】
前記1組の最終スコアを計算するステップは、前記1組の候補対象の候補対象に対する前記1組の第1のスコアの第1のスコアに、前記候補対象に対する前記1組の第2のスコアの第2のスコアを乗じて、前記候補対象に対する最終スコアを生成するステップを含む、請求項1に記載の方法。
【請求項10】
前記第1の画像を含む第1の画像のシーケンスを前記第2の画像を含む第2の画像のシーケンスと同期するステップをさらに含む、請求項1に記載の方法。
【請求項11】
前記第1の画像および前記第2の画像の両方に対する基準座標システムを特定するステップをさらに含む、請求項1に記載の方法。
【請求項12】
1組の候補対象を第1の画像および前記第1の画像に対応する第2の画像において特定する画像プロセッサであって、前記画像プロセッサが電気光学画像内の1組の第1の候補チップを特定し、前記1組の第1の候補チップの各々は前記1組の候補対象の対応する候補対象をキャプチャする、画像プロセッサと、
前記第1の画像を用いて前記1組の候補対象に対する1組の第1のスコアを生成し、前記1組の第1の候補チップの第1の候補チップ内の複数の部分領域を特定し、前記複数の部分領域の各々に対する署名を計算して複数の署名を生成し、前記複数の部分領域の各部分領域を第1の基準チップ内の複数の基準部分領域の各基準部分領域とペアにして複数のペアを生成し、前記複数のペアの各々にスコア付けして複数の初期スコアを生成し、前記第2の画像を用いて前記1組の候補対象に対する1組の第2のスコアを生成し、前記1組の第1のスコアおよび前記1組の第2のスコアを用いて前記1組の候補対象に対する1組の最終スコアを計算するスコアラであって、前記第1の候補チップは前記1組の候補対象の候補対象をキャプチャする、スコアラと、
前記1組の最終スコアに基づいて前記1組の候補対象のうちどれが関心対象であるかを判定する対象マネージャと、
を備える、装置。
【請求項13】
前記第1の画像は電気光学画像であり、前記第2の画像は赤外線画像である、請求項12に記載の装置。
【請求項14】
前記電気光学画像は、前記赤外線画像を含む赤外線画像のシーケンスと同期された電気光学画像のシーケンスの1つである、請求項13に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は一般に画像処理に関し、特に、関心対象を追跡するための画像処理に関する。さらに具体的には本発明は、時間に関して同期されている電気光学画像のシーケンスおよび赤外線画像のシーケンスを用いて関心対象を追跡するための方法および装置に関する。
【背景技術】
【0002】
センサ装置はしばしば、関心対象を追跡する目的でセンサデータを生成するために使用される。対象追跡は幾つかの異なる方法で実施されうる。1例として、無人空中車両(UAV)を使用して、領域を監視し、地上にある関心対象を追跡することができる。当該関心対象が例えば地上車両であってもよいがこれに限られない。
【0003】
電気光学(EO)センサ、赤外線センサ(IR)、および場合によってはその両方の組合せは対象の追跡を実施するために使用される。電気光学センサは日中の監視を実施するために最も頻繁に使用されている。赤外線センサは、日中と夜間の監視の両方を実施するために使用されている。電気光学センサから受信したデータのみまたは赤外線センサから受信したデータのみを処理することで、対象追跡機能が制限されうる。例えば、この種のデータ処理は、対象追跡に関して所望のレベルの正確性および効率性を提供しないかもしれない。
【発明の概要】
【発明が解決しようとする課題】
【0004】
対象追跡に関して現在利用可能な幾つかの方法は、電気光学センサと赤外線センサの両方からのデータを一緒に処理することを含む。これらの方法は一種類のセンサから受信したデータを処理するよりも効果的でありうるが、これらの方法は、画像内で少なくとも部分的に隠されている対象を所望のレベルの正確性と効率で追跡できない可能性がある。したがって、上述の課題、ならびに他の有り得る課題のうち少なくとも幾つかを考慮する方法および装置を有するのが望ましいであろう。
【課題を解決するための手段】
【0005】
1つの例示的な実施形態では、画像を処理するための方法が提供される。1組の候補対象は第1の画像においておよび第1の画像に対応する第2の画像において特定される。1組の第1のスコアが第1の画像を用いて当該1組の候補対象に対して生成される。1組の第2のスコアが第2の画像を用いて当該1組の候補対象に対して生成される。1組の最終スコアが当該1組の第1のスコアと当該1組の第2のスコアを用いて当該1組の候補対象に対して計算される。当該1組の候補対象のうちどれが関心対象であるかを当該1組の最終スコアに基づいて判定する。
【0006】
別の例示的な実施形態では画像を処理するための方法が提供される。1組の第1の候補チップは第1の画像において特定される。当該1組の第1の候補チップは1組の候補対象をキャプチャする。1組の第1のスコアが第1の画像を用いて当該1組の第1の候補チップに対して生成される。1組の第2の候補チップは、当該1組の第1の候補チップと対応する第2の画像において特定される。1組の第2のスコアが第2の画像を用いて当該1組の第2の候補チップに対して生成される。1組の最終スコアが当該1組の第1のスコアと当該1組の第2のスコアを用いて当該1組の候補対象に対して計算される。当該1組の候補対象のうちどれが関心対象であるかを当該1組の最終スコアに基づいて判定する。
【0007】
さらに別の例示的な実施形態では、装置は、画像プロセッサ、スコアラ、および対象マネージャを含む。当該画像プロセッサは1組の候補対象を第1の画像および第1の画像に対応する第2の画像において特定する。当該スコアラは、第1の画像を用いて当該1組の候補対象に対する1組の第1のスコアを生成し、第2の画像を用いて当該1組の候補対象に対する1組の第2のスコアを生成する。当該スコアラは当該1組の第1のスコアおよび当該1組の第2のスコアを用いて当該1組の候補対象に対する1組の最終スコアを計算する。当該対象マネージャは当該1組の最終スコアに基づいて当該1組の候補対象のうちどれが関心対象であるかを判定する。
【0008】
これらの特徴と機能を、本発明の様々な実施形態と独立に実現でき、または、さらに他の実施形態と組み合わせてもよい。さらなる詳細は以下の説明と図面を参照して理解することができる。
【0009】
例示的な実施形態の特徴的と考えらえる新規な特徴は添付の特許請求の範囲で説明されている。しかし、当該例示的な実施形態、ならびに好適な利用モード、さらにそれらの目的と特徴は、添付図面と関連して読んだとき、下記の本発明の例示的な実施形態の詳細な説明を参照して最も良く理解される。
【図面の簡単な説明】
【0010】
図1】例示的な実施形態に従うブロック図の形での画像処理システムの図である。
図2】例示的な実施形態に従うブロック図の形での画像プロセッサおよびスコアラのさらに詳細な図である。
図3】例示的な実施形態に従うブロック図の形での画像プロセッサ、スコアラ、および対象マネージャのさらに詳細な図である。
図4】例示的な実施形態に従うブロック図の形での署名のさらに詳細な図である。
図5】例示的な実施形態に従う同期された画像ペアの図である。
図6】例示的な実施形態に従う第1の候補チップをセルのグリッドに分割する1方式の図である。
図7】例示的な実施形態に従う第1の候補チップ内の異なる部分領域の図である。
図8】例示的な実施形態に従う第1の候補チップ内の異なる部分領域の図である。
図9】例示的な実施形態に従う赤外線画像の部分において特定された部分領域の図である。
図10】例示的な実施形態に従う部分領域の図である。
図11】例示的な実施形態に従う流れ図の形での関心対象を追跡するためのプロセスの図である。
図12】例示的な実施形態に従う流れ図の形での画像内の候補チップを特定するためのプロセスの図である。
図13】例示的な実施形態に従う流れ図の形での第1の候補チップに対する第1のスコアを生成するためのプロセスの図である。
図14】例示的な実施形態に従う流れ図の形での第2の候補チップに対する第2のスコアを生成するためのプロセスの図である。
図15】例示的な実施形態に従う流れ図の形での関心対象を追跡するためのプロセスの図である。
図16】例示的な実施形態に従うブロック図の形でのデータ処理システムの図である。
【発明を実施するための形態】
【0011】
例示的な実施形態では様々な検討事項を認識し、考慮する。例えば、当該例示的な実施形態では、電気光学画像と赤外線画像の両方を用いた関心対象を追跡するための方法を提供するのが望ましいことを認識し、考慮する。特に、当該例示的な実施形態では、第1の種類の画像を用いて、色度に基づいて候補対象を関心対象にマッチさせ、第2の種類の画像を用いて、当該候補対象が実際に当該関心対象であるかどうかを形状情報に基づいて所望のレベルの正確性で判定する、関心対象を追跡するための方法を提供するのが望ましいことを認識し、考慮する。
【0012】
したがって、当該例示的な実施形態では、画像を処理して対象追跡を実施するための方法を提供する。1つの例示的な例として、1組の候補対象が第1の画像においておよび第1の画像に対応する第2の画像において特定される。1組の第1のスコアが第1の画像を用いて当該1組の候補対象に対して生成される。1組の第2のスコアが第2の画像を用いて当該1組の候補対象に対して生成される。1組の最終スコアが当該1組の第1のスコアおよび当該1組の第2のスコアを用いて当該1組の候補対象に対して計算される。当該1組の候補対象のうちどれが関心対象であるかを当該1組の最終スコアに基づいて判定する。
【0013】
1つの例示的な例では、第1の画像および第2の画像が、例えば、限定ではなく、電気光学画像と赤外線画像の形態をとってもよい。色度および形状情報を、これらの2つの画像内の候補対象ごとに特定してもよい。色度情報を電気光学画像を用いて特定してもよく、形状情報を赤外線画像を用いて特定してもよい。当該色度情報は候補対象ごとの第1のスコアを生成するために使用され、形状情報は候補対象ごとの第2のスコアを生成するために使用される。当該第1のスコアと当該第2のスコアの両方に基づく最終スコアが候補対象ごとに特定される。当該最終スコアを使用して、候補対象が関心対象であるかどうかを判定してもよい。
【0014】
電気光学画像と赤外線画像の両方をこのように用いることで、関心対象を追跡するための効果的かつ正確な方法を提供してもよい。さらに、この種の処理が、部分的に画像内で塞がれているときでも対象を追跡できるという点で、「遮蔽堅牢」であってもよい。
【0015】
次に図面を参照する。特に、図1を参照すると、例示的な実施形態に従うブロック図の形での画像処理システムの図が示されている。この例示的な例では、画像処理システム100を、ソフトウェア、ハードウェア、ファームウェア、またはそれらの組合せを用いて実装してもよい。
【0016】
ソフトウェアを使用するとき、画像処理システム100により実施される動作を、例えば、限定ではなく、プロセッサ・ユニットで実行されるように構成されたプログラム・コードを用いて実装してもよい。ファームウェアを使用するとき、画像処理システム100により実施される動作を、例えば、限定ではなく、プログラム・コードおよびデータを用いて実装し、プロセッサ・ユニットで実行するために永続メモリに格納してもよい。
【0017】
ハードウェアを使用するときは、当該ハードェアが、画像処理システム100により実施される動作を実施するように動作する1つまたは複数の回路を含んでもよい。実装に応じて、当該ハードェアが、回路システム、集積回路、特殊用途向け集積回路(ASIC)、プログラム可能論理デバイス、または任意の幾つかの動作を実施するように構成された他の何らかの適切な種類のハードウェア装置の形態を取ってもよい。
【0018】
プログラム可能論理デバイスを、特定の動作を実施するように構成してもよい。当該装置が、これらの動作を実施するように永続的に構成されてもよく、または、再構成可能であってもよい。プログラム可能論理デバイスが、例えば、限定ではなく、プログラム可能論理アレイ、プログラム可能アレイ論理、フィールド・プログラム可能論理アレイ、フィールド・プログラム可能ゲートアレイ、または他の何らかの種類のプログラム可能ハードウェア装置の形態を取ってもよい。
【0019】
1つの例示的な例では、画像処理システム100をコンピュータ・システム102で実装してもよい。画像処理システム100を使用して、第1の画像104のシーケンスおよび第2の画像106のシーケンスを処理してもよい。画像のこれらの2つのシーケンスの各々が時間に関して整列された複数の画像であってもよい。画像の各シーケンス内の各画像が静的画像であってもよい。幾つかのケースでは、第1の画像104のシーケンスを第1のビデオと称してもよく、第2の第2の画像106のシーケンスを第2のビデオと称してもよい。これらの場合、当該第1のビデオおよび当該第2のビデオ内の各画像をフレームと称してもよい。
【0020】
画像処理システム100は第1の画像104のシーケンスを第1の撮像システム108から受信してもよい。画像処理システム100は第2の画像106のシーケンスを第2の撮像システム110から受信してもよい。1つの例示的な例では、第1の撮像システム108および第2の撮像システム110が、それぞれ電気光学(EO)撮像システム112および赤外線(IR)撮像システム114の形態を取ってもよい。
【0021】
第1の撮像システム108が電気光学撮像システム112の形態をとるとき、第1の画像104のシーケンスを電気光学画像116のシーケンスと称してもよい。同様に、第2の撮像システム110が赤外線撮像システム114の形態をとるとき、第2の画像106のシーケンスを赤外線画像118のシーケンスと称してもよい。
【0022】
画像処理システム100は、第1の画像のシーケンス104および第2の画像106のシーケンスを処理して関心対象120を追跡してもよい。関心対象120が、例えば、限定ではなく、移動する関心対象であってもよい。幾つかのケースでは、関心対象120を、第1の画像104のシーケンスおよび第2の画像106のシーケンスの処理を開始する前に識別してもよい。他の場合、関心対象120を、第1の画像104のシーケンスおよび第2の画像106のシーケンスの処理の間に取得してもよい。
【0023】
関心対象120が幾つかの異なる形をとってもよい。例えば、限定ではなく、関心対象120が人、或る種の地上車両、或る種の空中車両、水上車両、または他の何らかの種類のオブジェクトであってもよい。当該地上車両が例えば、限定ではなく、車、トラック、タンク、または他の何らかの種類の地上車両であってもよい。当該空中車両がミサイル、航空機、無人空中車両、または他の何らかの種類の空中車両であってもよい。
【0024】
示したように、画像処理システム100が画像プロセッサ122、スコアラ124、および対象マネージャ126を含んでもよい。画像プロセッサ122、スコアラ124、および対象マネージャ126の各々を、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組合せを用いて実装してもよい。
【0025】
1つの例示的な例では、画像プロセッサ122が第1の画像104のシーケンスおよび第2の画像106のシーケンスを同期してもよい。これらの2つのシーケンスを同期することが、時間に基づいて当該画像をこれらのシーケンスにおいて関連付けすることをを含んでもよい。
【0026】
例えば、限定ではなく、画像プロセッサ122が、同期された画像ペア125を識別してもよい。同期された画像ペア125が、これらの2つの画像が生成された時点に基づいて、互いに対応する、第1の画像104のシーケンスからの第1の画像128と第2の画像106のシーケンスからの第2の画像130とを含んでもよい。換言すれば、第1の画像128と第2の画像130が実質的に同一の時点に対応してもよい。幾つかのケースでは、第1の画像128と第2の画像130が、それぞれ電気光学画像132および赤外線画像134の形態を取ってもよい。
【0027】
1つの例示的な例では、同期された画像ペア125が基準座標システム127に関して整列してもよい。特に、第1の画像128と第2の画像130を、第1の画像128でキャプチャされたシーンが第2の画像130でキャプチャされたシーンと基準座標システム127に関して実質的に整列するように、整列してもよい。
【0028】
幾つかの例示的な例では、画像プロセッサ122が第1の画像128と第2の画像130の両方を処理して1組の候補対象136を特定してもよい。1組の候補対象136内の各候補対象が潜在的に関心対象120であってもよい。例えば、限定ではなく、第1の画像128と第2の画像130を融合して、1組の候補対象136をそこから特定できる結合画像を形成してもよい。
【0029】
他の例示的な例では、画像プロセッサ122が、第1の画像128と第2の画像130を別々に処理して1組の候補対象136を特定してもよい。例えば、限定ではなく、画像プロセッサ122が、第1の画像128内の1組の第1の候補チップ138および第2の画像130内の1組の第2の候補チップ140を特定してもよい。
【0030】
本明細書で使用する際、チップが画像の領域であってもよい。このように、1組の第1の候補チップ138の1つまたは1組の第2の候補チップ140の1つのような候補チップが候補対象をキャプチャする画像の領域であってもよい。換言すれば、候補チップが、潜在的に関心対象120をキャプチャするとして識別された画像の領域であってもよい。
【0031】
1組の第1の候補チップ138が1組の候補対象136をキャプチャしてもよく、1組の第2の候補チップ140が1組の候補対象136をキャプチャしてもよい。このように、1組の第1の候補チップ138の各々が同一の候補対象を1組の第2の候補チップ140の対応する第2の候補チップとしてキャプチャしてもよい。
【0032】
これらの例示的な例では、1組の第1の候補チップ138および1組の第2の候補チップ140が同一数の候補チップを含んでもよい。特に、第1の画像128と第2の画像130が時間に関して同期され、基準座標システム127に関して整列されているので、1組の第1の候補チップ138の各第1の候補チップが、1組の第2の候補チップ140の対応する第2の候補チップと1対1の対応関係を共有してもよい。
【0033】
スコアラ124が、1組の第1の候補チップ138を処理し、1組の第1の候補チップ138に対する1組の第1のスコア142を生成してもよい。特に、1組の第1のスコア142の各々が1組の第1の候補チップ138の対応する第1の候補チップに対するものであってもよい。同様に、スコアラ124が、1組の第2の候補チップ140を処理し、1組の第2の候補チップ140に対する1組の第2のスコア144を生成してもよい。特に、1組の第2のスコア144の各々が1組の第2の候補チップ140の対応する第2の候補チップに対するものであってもよい。次いで、スコアラ124が1組の第1のスコア142および1組の第2のスコア144を使用して、1組の候補対象136に対する1組の最終スコア146を生成してもよい。
【0034】
1組の第1のスコア142の生成を、関心対象120に対する第1の基準チップ148を用いて実施してもよい。1つの例示的な例では、第1の基準チップ148が、電気光学画像のような第1の画像、または関心対象120をキャプチャするために既知である第1の画像の部分の形態を取ってもよい。例えば、限定ではなく、第1の基準チップ148が電気光学基準チップであってもよい。幾つかのケースでは、第1の基準チップ148が、関心対象120をキャプチャするとして以前に識別された第1の画像104のシーケンス内の以前に処理された第1の画像からの第1の候補チップであってもよい。
【0035】
同様に、1組の第2のスコア144の生成を、関心対象120に対する第2の基準チップ150を用いて実施してもよい。1つの例示的な例では、第2の基準チップ150が、赤外線画像のような第2の画像、または関心対象120をキャプチャするために既知である第2の画像の部分の形態を取ってもよい。例えば、限定ではなく、第2の基準チップ150が赤外線基準チップであってもよい。幾つかのケースでは、第2の基準チップ150が、関心対象120をキャプチャするとして以前に識別された第2の画像106のシーケンス内の以前に処理された第2の画像からの第2の候補チップであってもよい。
【0036】
第1の基準チップ148と第2の基準チップ150をデータベース151に格納してもよい。例えば、第1の基準チップ148と第2の基準チップ150が、データベース151に格納された複数の基準チップ152に属してもよい。
【0037】
これらの例示的な例では、対象マネージャ126が、1組の最終スコア146を使用して、もしあれば1組の候補対象136のうちどれが関心対象120であるかを判定してもよい。例えば、対象マネージャ126が、選択された候補対象147を関心対象120であるとして1組の候補対象136から特定してもよい。幾つかの例示的な例では、対象マネージャ126が、後に関心対象120を追跡する際に使用するために、選択された候補対象147に対する対象追跡情報154をデータベース151に格納してもよい。
【0038】
対象追跡情報154が、例えば、限定ではなく、第1の画像128のためのインデックスおよび第2の画像130のためのインデックスの識別、第1の画像128と第2の画像130の各々における選択された候補対象147の位置、および他の種類の情報を含んでもよい。幾つかのケースでは、対象マネージャ126が、選択された候補対象147を新たな第1の基準チップとしてキャプチャする1組の第1の候補チップ138からの第1の候補チップを、次の同期された画像ペア内の関心対象120を追跡する際に使用するためにデータベース151に格納してもよい。さらに、対象マネージャ126が、選択された候補対象147を新たな第2の基準チップとしてキャプチャする1組の第2の候補チップ140からの第2の候補チップを、次の同期された画像ペア内の関心対象120を追跡する際に使用するためにデータベース151に格納してもよい。
【0039】
次に図2を参照すると、図1からの画像プロセッサ122およびスコアラ124の図が、例示的な実施形態に従うブロック図の形でより詳細に示されている。本例で示したように、画像プロセッサ122が移動対象検出器200を含んでもよい。移動対象検出器200を、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組合せを用いて実装してもよい。
【0040】
実装に応じて、移動対象検出器200が、第1の画像128または第1の画像128と第2の画像130の両方を処理して、候補対象202を特定してもよい。候補対象202が図1の1組の候補対象136のうち1つの1例であってもよい。この例示的な例では、移動対象検出器200は、第1の画像128内の候補対象202を特定するために使用される。特に、移動対象検出器200を使用して、候補対象202をキャプチャする第1の画像128内の第1の候補チップ204を特定または抽出してもよい。
【0041】
候補対象202が、例えば、限定ではなく、移動する物体であってもよい。移動対象検出器200が、任意の幾つかのアルゴリズム、技術、または計算プロセッサを使用して候補対象202を検出してもよい。
【0042】
スコアラ124が次いで、第1の候補チップ204を処理して第1の候補チップ204に対する第1のスコア206を生成してもよく、それにより候補対象202は第1の候補チップ204内でキャプチャされる。第1のスコア206が図1の1組の第1のスコア142のうち1つの1例であってもよい。
【0043】
示したように、スコアラ124が、第1のスコア206を含む、図1の1組の第1のスコア142を生成するための第1のスコア生成器208を含んでもよい。第1のスコア生成器208を、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組合せを用いて実装してもよい。
【0044】
1つの例示的な例では、第1のスコア生成器208が、第1の候補チップ204をセルのグリッド210に分割することで開始してもよい。セルのグリッド210が複数の行および複数の列から成るグリッドであってもよい。第1のスコア生成器208が次いで、幾つかの部分領域マスク212を使用して複数の部分領域214を特定してもよい。本明細書で使用する際、「幾つかの」項目が1つまたは複数の項目を含んでもよい。このように、幾つかの部分領域マスク212が1つまたは複数のマスクを含んでもよい。
【0045】
幾つかの部分領域マスク212の各々が異なる次元を有してもよい。1つの例示的な例として、幾つかの部分領域マスク212が、選択された次元216を有する部分領域マスク215を含んでもよい。選択された次元216が、例えば、限定ではなく、行の次元および列の次元を含んでもよい。選択された次元216を、部分領域マスク215が第1の候補チップ204より小さいように選択してもよい。例えば、限定ではなく、第1の候補チップ204に対するセルのグリッド210が5行5列のグリッドである場合、部分領域マスク215が、3行3列または4行4列の選択された次元216を有してもよい。
【0046】
1つの例示的な例では、複数の部分領域214は、幾つかの部分領域マスク212の各々を第1の候補チップ204上の異なる位置に移すことによって特定される。このように、複数の部分領域214が、異なるサイズを有し重複する部分領域を含んでもよい。異なるサイズを有し重複する部分領域を使用することで、関心対象120が部分的に第1の画像128内で塞がれているときでも、関心対象120を追跡することができる。
【0047】
第1のスコア生成器208は複数の部分領域214に対する複数の署名218を生成する。特に、複数の署名218の各署名が複数の部分領域214の対応する部分領域に対して生成される。
【0048】
部分領域220が、複数の部分領域214のうち1つの1例であってもよい。部分領域220が複数のセル222を含んでもよい。複数のセル222が、セルのグリッド210内のセルの全部ではなく一部のみを含んでもよい。1つの例示的な例として、第1のスコア生成器208が部分領域220に対する署名224を識別してもよい。署名224が色度情報225を含んでもよい。色度情報225を、部分領域220内に入る当該画素の画素値に基づいて生成してもよい。
【0049】
第1のスコア生成器208が次いで、第1の基準チップ148内の複数の基準部分領域226を特定してもよい。例えば、限定ではなく、幾つかの部分領域マスク212を使用して複数の基準部分領域226を特定してもよい。第1のスコア生成器208が、複数の基準部分領域226の各々と複数の部分領域214の各部分領域を対にして複数のペア228を形成してもよい。このように、複数のペア228の各々は、複数の部分領域214からの部分領域と複数の基準部分領域226からの基準部分領域の一意な組合せを含む。
【0050】
次いで、複数の初期スコア230を複数のペア228に対して生成する。特に、第1のスコア生成器208は、複数のペア228の各々に対して初期スコアを生成して複数の初期スコア230を形成する。この例示的な例では、複数のペア228内の対応するペアに対する複数の初期スコア230内の初期スコアは、当該ペア内の部分領域と基準部分領域の間の類似度の測定値を示す。換言すれば、当該初期スコアが、少なくとも色度に関して、当該ペア内の部分領域と基準部分領域の間のマッチング度合いの測定値であってもよい。1つの例示的な例では、複数の初期スコア230を、カルバック・ライブラ・ダイバージェンス240に基づいて生成してもよい。
【0051】
複数の初期スコア230の最良初期スコア232を有する複数のペア228内のペアを、ベスト・マッチのペア234として選択する。結果として、ベスト・マッチのペア234はベスト・マッチの部分領域236とベスト・マッチの基準部分領域238を含む。最良初期スコア232を、第1の候補チップ204に対する第1のスコア206として割り当ててもよく、それにより、候補対象202に対する第1のスコア206として割り当ててもよい。
【0052】
次に図3を参照すると、図1および2からの画像プロセッサ122、スコアラ124、および対象マネージャ126の図が、例示的な実施形態に従うブロック図の形でより詳細に示されている。示したように、画像プロセッサ122が第2の画像130を処理して、1組の第2の候補チップ140を生成してもよい。
【0053】
1つの例示的な例では、画像プロセッサ122が、図2の第1の画像128内の第1の候補チップ204に対応する第2の画像130内の第2の候補チップ300を特定してもよい。例えば、限定ではなく、画像プロセッサ122が、図1の基準座標システム127に関する第2の画像130の第1の画像128との整列に基づいて第2の画像130内の第2の候補チップ300を特定してもよい。第2の候補チップ300が、図1の基準座標システム127に関して、同一のサイズを有してもよく、第1の候補チップ204と同じ位置にあってもよい。
【0054】
スコアラ124が第2のスコア生成器302を含んでもよい。第2のスコア生成器302が第2の候補チップ300を処理してもよい。特に、第2のスコア生成器302が第2の候補チップ300をセル304のグリッドに分割してもよい。1つの例示的な例では、セル304のグリッドが、図2の第1の候補チップ204に対するセルのグリッド210と同一の次元を有してもよい。
【0055】
第2のスコア生成器302が、第2の候補チップ300内の複数のセル308を含む部分領域306を特定してもよい。部分領域306を、図2の第1の候補チップ204に対して特定されたベスト・マッチの部分領域236に基づいて特定してもよい。
【0056】
他の例示的な例では、部分領域306が第2の候補チップ300全体であってもよい。換言すれば、第2の候補チップ300を、基準座標システム127に関して第2の画像130において図2のベスト・マッチの部分領域236と同一のサイズおよび位置を有するとして特定してもよい。次いで、第2の候補チップ300をセル304のグリッドに分割してもよい。セル304のグリッドが、その全体において、複数のセル308から成る部分領域306を形成してもよい。
【0057】
次いで、第2のスコア生成器302が部分領域306に対する第2のスコア310を生成してもよく、それにより、候補対象202を生成してもよい。第2のスコア310が第2の候補チップ300に対する第2のスコア310になってもよい。1つの例示的な例では、第2のスコア生成器302が、部分領域306に対する基底ヒストグラム・ベクトル312を特定してもよい。基底ヒストグラム・ベクトル312を、指向性勾配(HoG)のヒストグラムを計算する方法を用いて計算してもよい。
【0058】
基底ヒストグラム・ベクトル312は特徴記述子である。当該特徴記述子は、部分領域306の複数のセル308内のセルごとの指向性勾配のヒストグラムを計算し、セルごとの当該ヒストグラムをビンに離散化して、各セルがビンのベクトルを含むセルのベクトルを最終的に形成することによって、生成される。基底ヒストグラム・ベクトル312は、当該勾配に関する情報をキャプチャすることによって、部分領域306内の候補対象202に対する形状情報313をキャプチャする。特定のセルに対するビンのベクトル内の各ビンは、当該セル内の各要素の、当該要素での勾配度に対する比例的寄与をキャプチャする。
【0059】
例えば、限定ではなく、基底ヒストグラム・ベクトル312が複数のセル・ベクトル314を含んでもよい。1つの例示的な例として、基底ヒストグラム・ベクトル312がM個のセルを含んでもよい。当該M個のセルの各々は、部分領域306の複数のセル308の1つに対応する。当該M個のセルの各々がN回の回転ステップを有してもよい。このように、当該M個のセルの各々をセル・ベクトルと考えてもよい。
【0060】
幾つかの回転シフト316を、部分領域306内の複数のセル308に適用して、回転シフトされたバージョンの基底ヒストグラム・ベクトル312を生成してもよい。一緒に、これらの回転シフトされたヒストグラム・ベクトルと基底ヒストグラム・ベクトル312が複数のヒストグラム・ベクトル318を形成してもよい。1つの例示的な例として、部分領域306が3行3列グリッドを形成する9個のセルを含むとき、部分領域306を8回回転してもよい。別の例示的な例として、部分領域306が4行4列のグリッドを形成する16個のセルを含むとき、部分領域306を12回回転してもよい。このように、複数のヒストグラム・ベクトル318の各々が、指向性勾配の回転シフトされたヒストグラム319を含んでもよい。幾つかのケースでは、指向性勾配の回転シフトされたヒストグラム319が、指向性勾配の輪状にシフトされたヒストグラムの形態を取ってもよい。
【0061】
次いで、第2のスコア生成器302が、複数のヒストグラム・ベクトル318の各々を第2の基準チップ150に対する基準ヒストグラム・ベクトル320と比較して複数のマッチング・スコア322を生成してもよい。例えば、複数のマッチング・スコア322内のマッチング・スコア324が、複数のヒストグラム・ベクトル318の基準ヒストグラム・ベクトル320と対応するヒストグラム・ベクトルとの間の類似度の測定値またはマッチング度合いであってもよい。
【0062】
この例示的な例では、第2のスコア生成器302が、ベスト・マッチ・スコア326を複数のマッチング・スコア322から選択してもよい。ベスト・マッチ・スコア326を、部分領域306に対する第2のスコア310として割り当て、それにより第2の候補チップ300および候補対象202に対する第2のスコア310として割り当ててもよい。
【0063】
スコアラ124が最終スコア生成器330を含んでもよい。最終スコア生成器330は、第1のスコア生成器208により生成された1組の第1のスコア142と第2のスコア生成器302により生成された1組の第2のスコア144とに基づいて1組の最終スコア146を生成する。例えば、候補対象202に対する第1のスコア206および第2のスコア310を使用して、候補対象202に対する最終スコア332を生成してもよい。1つの例示的な例では、第1のスコア206に第2のスコア310を乗じて最終スコア332を生成してもよい。
【0064】
対象マネージャ126が1組の最終スコア146を処理して、最良の最終スコア334を1組の最終スコア146から特定してもよい。最良の最終スコア334が選択された許容範囲内にある場合には、最良の最終スコア334を有する図1の1組の候補対象136の候補対象を関心対象120であるとして特定してもよい。この候補対象が、選択された候補対象137であってもよい。最良の最終スコア334に対する選択された許容値が、実装に応じて、最小閾値、最大閾値、またはその両方を含んでもよい。
【0065】
次に図4を参照すると、図2の署名224の図が例示的な実施形態に従うブロック図の形でより詳細に示されている。この例示的な例では、図2の部分領域220に対する署名224が、図2の部分領域220に対する指紋ベクトル402および共分散行列404を含んでもよい。
【0066】
指紋ベクトル402を、例えばこれに限られないが、彩度ベースの色空間406のような色空間に関して生成してもよい。このように、指紋ベクトル402が色度情報225を提供してもよい。色度情報225が、例えば、限定ではなく、輝度平均値408、赤色度平均値410、青色度平均値412、輝度エントロピ414、赤色度エントロピ416、および青色度エントロピ418を含んでもよい。
【0067】
このように、画像処理システム100は、対象検出および追跡の目的で遮蔽堅牢な画像処理を提供する。画像処理システム100を用いると、対象検出および追跡が実施される正確性と効率性が向上しうる。さらに、この種の対象検出および追跡が、例えばこれらに限られないが監視アクション、偵察アクション、武器誘導、および他の種類のアクションのような改善されたアクションを可能としてもよい。
【0068】
図1の画像処理システム100、図1乃至3の画像プロセッサ122、図1乃至3のスコアラ124、図1および3の対象マネージャ126、ならびに図1および4の署名224の図示は、例示的な実施形態を実装できる方式に対する物理的なまたはアーキテクチャ的な限定を示唆することは意味しない。示したものに加えてまたは示したものの代わりに他のコンポーネントを使用してもよい。幾つかのコンポーネントが任意であってもよい。また、当該ブロックは、何らかの機能的なコンポーネントを示すために提供されている。例示的な実施形態で実装するとき、これらのブロックのうち1つまたは複数を異なるブロックに結合し、分割し、または結合して分割してもよい。
【0069】
次に図5を参照すると、例示的な実施形態に従う同期された画像ペアの図が示されている。この例示的な例では、同期された画像ペア500が、図1の同期された画像ペア125に対する1実装の1例であってもよい。示したように、同期された画像ペア500は電気光学画像501および赤外線画像503を含む。これらが、それぞれ図1の電気光学画像132および赤外線画像134に対する実装の例であってもよい。
【0070】
電気光学画像501および赤外線画像503がそれぞれ背景502および背景504をキャプチャしてもよい。さらに、電気光学画像501および赤外線画像503が両方とも、候補対象506、候補対象508、および候補対象510をキャプチャしてもよい。
【0071】
この例示的な例では、第1の候補チップ512が電気光学画像501で識別されている。示したように、第1の候補チップ512は候補対象508をキャプチャする。
【0072】
次に図6を参照すると、例示的な実施形態に従う、図5の第1の候補チップ512をセルのグリッドに分割する1方式の図が示されている。示したように、第1の候補チップ512を、セル602を含むグリッド600に分割してもよい。この例示的な例ではグリッド600が5行5列のグリッドであってもよい。さらに、本例ではセル602は25個のセルを含む。
【0073】
次に図7を参照すると、例示的な実施形態に従う、図5および6の第1の候補チップ512内の異なる部分領域の図が示されている。示したように、部分領域マスク700が、部分領域702を特定するために第1の候補チップ512の部分の上に配置されている。
【0074】
部分領域マスク700が、図2の部分領域マスク215に対する1実装の1例であってもよい。示したように、部分領域マスク700が、9個のセルを含む3行3列グリッドであってもよい。部分領域マスク700を、部分領域704のような別の部分領域を特定するために、第1の候補チップ512の上の異なる位置に移動してもよい。
【0075】
部分領域マスク700を、第1の候補チップ512内の他の部分領域を特定するために他の位置に移動してもよい。部分領域マスク700のサイズに基づいて、第1の候補チップ512に対して特定された部分領域の各々の一部が少なくとも1つの他の部分領域の一部と重複してもよい。
【0076】
次に図8を参照すると、例示的な実施形態に従う、図5および6の第1の候補チップ512内の異なる部分領域の図が示されている。示したように、部領域マスク800が、部分領域802を特定するために、第1の候補チップ512の部分の上に配置されている。
【0077】
部分領域マスク800が、図2の部分領域マスク215に対する1実装の1例であってもよい。示したように、部分領域マスク800が16個のセルを含む4行4列グリッドであってもよい。部分領域マスク800を、部分領域804のような別の部分領域を特定するために第1の候補チップ512の上の異なる位置に移動してもよい。
【0078】
部分領域マスク800を、第1の候補チップ512内の他の部分領域を特定するために他の位置に移動してもよい。部分領域マスク800のサイズに基づいて、第1の候補チップ512に対して特定された部分領域の各々の一部を少なくとも1つの他の部分領域の一部と重複させてもよい。
【0079】
次に図9を参照すると、例示的な実施形態に従う図5の赤外線画像503の部分において特定された部分領域の図が示されている。この例示的な例では、第2の候補チップ900を、候補対象508をキャプチャする赤外線画像503の部分として特定してもよい。
【0080】
第2の候補チップ900内の部分領域902を、図7の第1の候補チップ512に対して特定された部分領域からベスト・マッチの部分領域に対応するとして特定してもよい。部分領域902が、図3の部分領域306に対する1実装の1例であってもよい。この例示的な例では、部分領域902を、セル906を含むグリッド904に分割してもよい。この例示的な例では、グリッド904が3行3列グリッドであってもよく、セル906が9個のセルを含んでもよい。
【0081】
次に図10を参照すると、例示的な実施形態に従う、図9の部分領域902の図が示されている。この例示的な例では、セル906には対応するインデックス番号1000が割り当てられている。
【0082】
基底ヒストグラム・ベクトル1002を部分領域902に対して生成してもよい。基底ヒストグラム・ベクトル1002が、図3の基底ヒストグラム・ベクトル312に対する1実装の1例であってもよい。示したように、基底ヒストグラム・ベクトル1002が複数のセル・ベクトル1004を含んでもよい。
【0083】
セル・ベクトル1006が複数のセル・ベクトル1004のうち1つの1例であってもよい。セル・ベクトル1006が複数のビン1008を含んでもよい。複数のビン1008が、離散化されている指向性勾配のヒストグラムを表してもよい。
【0084】
図5乃至10の図示は、例示的な実施形態を実装できる方式に対する物理的またはアーキテクチャ的な限定を示唆することを意味しない。特に、図5乃至10に示した様々な項目が、図1乃至4のブロック形式で示された項目をどのように実装できるかの例示的な例であってもよい。
【0085】
次に図11を参照すると、例示的な実施形態に従う、関心対象を追跡するためのプロセスの図が流れ図の形で示されている。図11に示したプロセスを、図1の画像処理システム100を用いて実装してもよい。
【0086】
当該プロセスが、第1の画像においておよび第1の画像に対応する第2の画像において1組の候補対象を特定することで開始してもよい(動作1100)。次に、1組の第1のスコアを、第1の画像を用いて当該1組の候補対象に対して生成してもよい(動作1102)。次いで、1組の第2のスコアを、第2の画像を用いて当該1組の候補対象に対して生成してもよい(動作1104)。
【0087】
その後、当該1組の第1のスコアおよび当該1組の第2のスコアを用いて、1組の最終スコアを当該1組の候補対象に対して生成してもよい(動作1106)。次いで、当該1組の候補対象のうちどれが関心対象であるかを当該1組の最終スコアに基づいて判定する(動作1108)。その後、プロセスは終了する。
【0088】
次に図12を参照すると、例示的な実施形態に従う、画像内の候補チップを特定するためのプロセスの図が流れ図の形で示されている。図12に示したプロセスを、図1乃至3で説明したように画像プロセッサ122を用いて実装してもよい。
【0089】
当該プロセスが、第1の画像のシーケンスおよび第2の画像のシーケンスを受信することで開始してもよい(動作1200)。第1の画像のシーケンスおよび第2の画像のシーケンスは同期される(動作1202)。動作1202を、第1の画像のシーケンスおよび第2の画像のシーケンスが時間に関して同期されるように、実施してもよい。幾つかのケースでは、この同期が、第1の画像のシーケンスおよび第2の画像のシーケンスを基準座標システムに関して整列するステップを含んでもよい。
【0090】
次に、処理のために、第1の画像が第1の画像のシーケンスから選択され、第2の画像が、第1の画像に対応する第2の画像のシーケンスから選択される(動作1204)。1組の第1の候補チップは、移動する対象検出プロセスを用いて第1の画像において特定される(動作1206)。当該1組の第1の候補チップに対応する1組の第2の候補チップが第2の画像において特定される(動作1208)。
【0091】
次いで、未処理の画像が残っているかどうかを判定してもよい(動作1210)。未処理の画像が残っている場合、当該プロセスは上述のように動作1204に戻る。そうでない場合、プロセスは終了する。
【0092】
次に図13を参照すると、例示的な実施形態に従う、第1の候補チップに対する第1のスコアを生成するためのプロセスの図が流れ図の形で示されている。図13に示したプロセスを、図1乃至3で説明したスコアラ124を用いて実装してもよい。さらに、当該プロセスが図11の動作1102を実装できる1方式の例であってもよい。
【0093】
当該プロセスが、第1の候補チップをセルのグリッドに分割することで開始してもよい(動作1300)。動作1300において、当該第1の候補チップが、例えば、図12の動作1206で特定された1組の第1の候補チップのうち1つであってもよい。
【0094】
複数の部分領域が、幾つかの部分領域マスクを用いて第1の候補チップ内で特定される(動作1302)。動作1302における幾つかの部分領域マスクの各々が異なる次元を有してもよい。署名を当該複数の部分領域ごとに計算して、複数の署名を生成する(動作1304)。
【0095】
1つの例示的な例では、動作1304において、特定の部分領域に対する署名を、署名ベクトルが指紋ベクトルと共分散行列を含むように計算してもよい。
【0096】
【数1】
【0097】
である。Sは部分領域に対する署名であり、fは指紋ベクトルであり、Cは部分領域に対する共分散行列であり、Lmeanは部分領域に対する輝度平均値であり、Crmeanは部分領域に対する赤色度平均値であり、Cbmeanは部分領域に対する青色度平均値であり、Lentは部分領域に対する輝度エントロピであり、Crentは部分領域に対する赤色度エントロピであり、Cbentは部分領域に対する青色度エントロピである。
【0098】
その後、複数の基準部分領域を、幾つかの部分領域マスクに基づいて関心対象をキャプチャする第1の基準チップにおいて特定してもよい(動作1306)。当該複数の部分領域の各部分領域を、当該複数の基準部分領域の各基準部分領域とペアにして複数のペアを形成してもよい(動作1308)。当該複数のペアの各々にスコア付けして複数の初期スコアを形成してもよい(動作1310)。
【0099】
動作1310において、1つの例示的な例では、当該複数の初期スコアの各々を、カルバック・ライブラ・ダイバージェンス(KLD)に基づいて生成してもよい。例えば、
【0100】
【数2】
【0101】
である。Tは関心対象であり第1の基準チップに対応し、Kは候補対象であり当該第1の候補チップに対応し、iは当該第1の基準チップ内の部分領域であり、jは当該第1の候補チップ内の部分領域であり,
【0102】
【数3】
【0103】
は初期スコアであり、
【0104】
【数4】
【0105】
は当該第1の基準チップ内のi番目の部分領域に対する共分散行列であり、
【0106】
【数5】
【0107】
は当該第1の候補チップ内のi番目の部分領域に対する共分散行列であり、
【0108】
【数6】
【0109】
は当該第1の基準チップ内のi番目の部分領域に対する指紋ベクトルであり、
【0110】
【数7】
【0111】
は当該第1の候補チップ内のi番目の部分領域に対する指紋ベクトルである。
【0112】
次いで、最良初期スコアを有する複数のペアからのペアが、ベスト・マッチのペアが当該第1の候補チップに対するベスト・マッチの部分領域とベスト・マッチの基準部分領域を含むように、当該ベスト・マッチのペアとして選択される(動作1312)。動作1312において、当該最良初期スコアを以下のように特定してもよい。
【0113】
【数8】
【0114】
ここで、
【0115】
【数9】
【0116】
は最良初期スコアであり、それにより、当該第1の候補チップに対する第1のスコアである。
【0117】
ベスト・マッチのペアに対する最良初期スコアは当該第1の候補チップに対する第1のスコアとして割り当てられ、それにより、候補対象が当該第1の候補チップ内でキャプチャされる(動作1314)。その後、プロセスは終了する。図13に示すプロセスを、特定された1組の第1の候補チップ内の第1の候補チップごとに繰り返してもよい。
【0118】
次に図14を参照すると、例示的な実施形態に従う、第2の候補チップに対する第2のスコアを生成するためのプロセスの図が流れ図の形で示されている。図14に示したプロセスを、図1乃至3で説明したスコアラ124および画像プロセッサ122を用いて実装してもよい。さらに、当該プロセスが、図11の動作1104を実装できる1方式の1例であってもよい。
【0119】
当該プロセスが、第1のスコアが生成されている第1の画像内の第1の候補チップに対応する第2の画像内の第2の候補チップを特定することで開始してもよい(動作1400)。次いで、当該第1の候補チップ内のベスト・マッチの部分領域に対応する当該第2の候補チップ内の部分領域を特定する(動作1402)。幾つかのケースでは、動作1402において、第2の候補チップ全体が当該部分領域を形成してもよい。
【0120】
その後、基底ヒストグラム・ベクトルを、当該第2の候補チップ内の当該部分領域に対して生成する(動作1404)。当該基底ヒストグラム・ベクトルは当該部分領域内の複数のセルに対応する複数のセル・ベクトルを含む。幾つかの回転シフトを、当該基底ヒストグラム・ベクトルを用いて実施して、当該基底ヒストグラム・ベクトルを含む複数のヒストグラム・ベクトルを形成する(動作1406)。
【0121】
次に、基準ヒストグラム・ベクトルが、第2の基準チップのベスト・マッチの基準部分領域に対して特定される(動作1408)。当該基準ヒストグラム・ベクトルを、当該複数のヒストグラム・ベクトルの各々とペアにして、複数のペアを形成してもよい(動作1410)。マッチング・スコアを、当該複数のペアのペアごとに計算して、当該部分領域に対する複数のマッチング・スコアを形成してもよい(動作1412)。動作1412において、1つの例示的な例では、マッチング・スコアを以下のように計算してもよい。
【0122】
【数10】
【0123】
ここで、Tは関心対象であり当該第2の基準チップに対応し、Kは候補対象であり当該第2の候補チップに対応し、dCSHOG(T、K)はマッチング・スコアであり、
【0124】
【数11】
【0125】
は、回転のない当該第2の基準チップに対する基準ヒストグラム・ベクトルのi番目の要素であり、
【0126】
【数12】
【0127】
は、r番目の回転を有する部分領域に対するヒストグラム・ベクトルのi番目の要素である。
【0128】
ベスト・マッチ・スコアを、部分領域に対する複数のマッチング・スコアから第2の候補チップに対する第2のスコアとして選択し、それにより、候補対象を選択してもよい(動作1414)。その後、プロセスは終了する。1つの例示的な例では、当該ベスト・マッチ・スコアがr番目の回転ごとの最小値であってもよい。当該プロセスを、特定された1組の第2の候補チップの各々に対して繰り返してもよい。
【0129】
次に図15を参照すると、例示的な実施形態に従う、関心対象を追跡するためのプロセスの図が流れ図の形で示されている。当該プロセスを、図1乃至3で説明したスコアラ124および対象マネージャ126を用いて実装してもよい。
【0130】
当該プロセスが、1組の候補対象の候補対象に対応する1組の第1のスコアから第1のスコアを選択し、当該候補対象に対応する1組の第2のスコアから第2のスコアを選択することで開始してもよい(動作1500)。当該第1のスコアに当該第2のスコアを乗じて、当該候補対象に対する最終スコアを得てもよい(動作1502)。1つの例示的な例では、動作1502において、当該最終スコアを以下のように計算してもよい。
【0131】
【数13】
【0132】
ここで、Tは関心対象であり、Kは候補対象であり、
【0133】
【数14】
【0134】
は当該関心対象および当該候補対象の間のマッチング度を示す最終スコアである。
【0135】
残りの未処理の候補対象が当該1組の候補対象にあるかどうかを判定してもよい(動作1504)。残りの未処理の候補対象が存在する場合、当該プロセスは上述のように動作1500に戻る。そうでない場合、当該1組の候補対象に対する1組の最終スコアに優先順位を付けてもよい(動作1506)。当該1組の最終スコアの何れかが選択された許容範囲内にあるかどうかを判定してもよい(動作1508)。動作1508において、選択された許容範囲内にあることが、最小閾値より高いこと、最大閾値より低いこと、またはその両方を含んでもよい。
【0136】
当該1組の最終スコアのうちどれも選択された許容範囲にない場合、関心対象が検出されていないとの指示を生成する(動作1510)。その後、プロセスは終了する。そうでない場合、選択された許容範囲内にある1組の最終スコアの部分において最良の最終スコアを有する候補対象を関心対象として特定する(動作1512)。その後、プロセスは終了する。
【0137】
説明した様々な実施形態における流れ図およびブロック図は、例示的な実施形態における装置および方法の幾つかの可能な実装のアーキテクチャ、機能、および動作を示す。この点、当該流れ図またはブロック図内の各ブロックが、少なくとも1つのモジュール、セグメント、関数、または動作もしくはステップの一部を表してもよい。
【0138】
例示的な実施形態の幾つかの代替的な実装では、ブロックに記載した1つまたは複数の機能を、図に示した順序以外で実施してもよい。例えば、幾つかのケースでは、必要な機能に依存して、連続して示した2つのブロックを実質的に並列に実施してもよく、または、当該ブロックを場合によっては逆順で実施してもよい。また、他のブロックを流れ図またはブロック図に示したブロックに追加してもよい
【0139】
次に図16を参照すると、例示的な実施形態に従う、データ処理システムの図がブロック図の形で示されている。データ処理システム1600を使用して図1のコンピュータ・システム102を実装してもよい。示したように、データ処理システム1600は通信フレームワーク1602を含む。通信フレームワーク1602は、プロセッサ・ユニット1604、記憶装置1606、通信ユニット1608、入出力ユニット1610、およびディスプレイ1612の間の通信を提供する。幾つかのケースでは、通信フレームワーク1602をバス・システムとして実装してもよい。
【0140】
プロセッサ・ユニット1604は、幾つかの動作を実施するためのソフトウェアに対する命令を実行するように構成される。プロセッサ・ユニット1604が、実装に応じて、幾つかのプロセッサ、マルチプロセッサ・コア、または他の何らかの種類のプロセッサであってもよい。幾つかのケースでは、プロセッサ・ユニット1604が、回路システム、特殊用途向け集積回路(ASIC)、プログラム可能論理デバイス、または他の何らかの適切な種類のハードウェア・ユニットのような、ハードウェア・ユニットの形態を取ってもよい。
【0141】
プロセッサ・ユニット1604により実行されるオペレーティング・システム、アプリケーション、および/またはプログラム向けの命令を記憶装置1606に格納してもよい。記憶装置1606が、通信フレームワーク1602を通じてプロセッサ・ユニット1604と通信してもよい。本明細書で使用する際、記憶装置は、コンピュータ可読記憶装置とも呼ばれ、一時的ベースおよび/または永続的ベースで情報を格納できる任意のハードウェアである。当該情報が、データ、プログラム・コード、および/または他の情報を含んでもよいがこれらに限られない。
【0142】
メモリ1614および永続記憶1616は記憶装置1606の例である。メモリ1614が、例えば、ランダム・アクセス・メモリまたは何らかの種類の揮発性もしくは不揮発性の記憶装置の形態を取ってもよい。永続記憶1616が、任意数のコンポーネントまたは装置を含んでもよい。例えば、永続記憶1616が、ハード・ドライブ、フラッシュ・メモリ、再書込み可能光ディスク、再書込み可能磁気テープ、または以上の何らかの組合せを含んでもよい。永続記憶1616が使用する媒体が取外し可能であってもなくてもよい。
【0143】
通信ユニット1608によりデータ処理システム1600は他のデータ処理システムおよび/または装置と通信することができる。通信ユニット1608が物理リンクおよび/または無線通信リンクを用いて通信を提供してもよい。
【0144】
入出力ユニット1610により、データ処理システム1600に接続された他の装置から入力を受信し、当該他の装置に出力を送信することができる。例えば、入出力ユニット1610により、キーボード、マウス、および/または他の何らかの種類の入力装置を通じてユーザ入力を受信できるようにしてもよい。別の例として、入出力ユニット1610により、データ処理システム1600に接続されたプリンタに出力を送信できるようにしてもよい。
【0145】
ディスプレイ1612は情報をユーザに表示するように構成される。ディスプレイ1612が、例えば、限定ではなく、モニタ、タッチ・スクリーン、レーザ・ディスプレイ、ホログラフィック・ディスプレイ、仮想ディスプレイ装置、および/または他の何らかの種類のディスプレイ装置を含んでもよい。
【0146】
この例示的な例では、様々な例示的な実施形態のプロセスを、コンピュータ実行型の命令を用いてプロセッサ・ユニット1604により実施してもよい。これらの命令を、プログラム・コード、コンピュータ利用可能プログラム・コード、またはコンピュータ可読プログラム・コードと称してもよく、プロセッサ・ユニット1604内の1つまたは複数のプロセッサにより読み取って実行してもよい。
【0147】
これらの例では、プログラム・コード1618はコンピュータ可読媒体1620上に機能的な形態で配置され、プロセッサ・ユニット1604により実行するためにデータ処理システム1600にロードし転送してもよい。コンピュータ可読媒体1620は選択的に取外し可能である。プログラム・コード1618およびコンピュータ可読媒体1620は一体的にコンピュータ・プログラム製品1622を形成する。この例示的な例では、コンピュータ可読媒体1620がコンピュータ可読記憶媒体1624またはコンピュータ可読信号媒体1626であってもよい。
【0148】
コンピュータ可読記憶媒体1624は、プログラム・コード1618を伝播または送信する媒体ではなく、プログラム・コード1618を格納するために使用される物理または有形の記憶装置である。コンピュータ可読記憶媒体1624が、例えば、限定ではなく、データ処理システム1600に接続された光ディスクまたは磁気ディスクまたは永続記憶装置であってもよい。
【0149】
あるいは、プログラム・コード1618を、コンピュータ可読信号媒体1626を用いてデータ処理システム1600に転送してもよい。コンピュータ可読信号媒体1626が、例えば、プログラム・コード1618を含む伝播データ信号であってもよい。当該データ信号が、電磁気信号、光信号、および/または物理的リンクおよび/または無線の通信リンクで送信できる他の何らかの種類の信号であってもよい。
【0150】
図16のデータ処理システム1600の図示は、例示的な実施形態を実装できる方式に対するアーキテクチャ的な限定を提供することは意味しない。様々な例示的な実施形態を、データ処理システム1600に対して図示したものに加えてまたはその代わりとしてのコンポーネントを含むデータ処理システムで実装してもよい。さらに、図16に示すコンポーネントを図示した例示的な例から変形してもよい。
【0151】
様々な例示的な実施形態の説明は図示および説明の目的で提供され、それが包括的であるとも開示した形態での実施形態に限定されるとも意図されていない。多数の修正と変形は当業者には明らかであろう。さらに、様々な例示的な実施形態が、他の望ましい実施形態と比べて異なる特徴を提供してもよい。選択された1つまたは複数の実施形態は、諸実施形態の原理と実際の適用を最良に説明し、考えられる特定の利用に適するように様々な修正を有する様々な実施形態に対して本発明を当業者が理解できるようにするために選択され説明されたものである。
【符号の説明】
【0152】
100 画像処理システム
102 コンピュータ・システム
104 第1の画像のシーケンス
106 第2の画像のシーケンス
108 第1の撮像システム
110 第2の撮像システム
112 電気光学(EO)撮像システム
114 赤外線(IR)撮像システム
116 電気光学画像のシーケンス
118 赤外線画像のシーケンス
120 関心対象
122 画像プロセッサ
124 スコアラ
125 同期された画像ペア
126 対象マネージャ
127 基準座標システム
128 第1の画像
130 第2の画像
132 電気光学画像
134 赤外線画像
136 1組の候補対象
138 1組の第1の候補チップ
140 1組の第2の候補チップ
142 1組の第1のスコア
144 1組の第2のスコア
146 1組の最終スコア
147 選択された候補対象
148 第1の基準チップ
150 第2の基準チップ
151 データベース
152 複数の基準チップ
154 対象追跡情報
200 移動対象検出器
202 候補対象
203 第1の候補チップ
204 第1の候補チップ
206 第1のスコア
208 第1のスコア生成器
210 セルのグリッド
212 幾つかの部分領域マスク
214 複数の部分領域
215 部分領域マスク
216 選択された次元
218 複数の署名
220 部分領域
222 複数のセル
224 署名
225 色度情報
226 複数の基準部分領域
228 複数のペア
230 複数の初期スコア
232 最良初期スコア
234 最もマッチするペア
236 最もマッチする部分領域
238 最もマッチする基準部分領域
240 カルバック・ライブラー・ダイバージェンス
300 第2の候補チップ
302 第2のスコア生成器
304 セルのグリッド
306 部分領域
308 複数のセル
310 第2のスコア
312 基底ヒストグラム・ベクトル
313 形状情報
314 複数のセル・ベクトル
316 幾つかの回転シフト
318 複数のヒストグラム・ベクトル
319 指向性勾配の回転シフトされたヒストグラム
320 基準ヒストグラム・ベクトル
322 複数のマッチング・スコア
324 マッチング・スコア
326 最良のマッチング・スコア
330 最終スコア生成器
332 最終スコア
334 最良の最終スコア
402 指紋ベクトル
404 共分散行列
406 彩度ベースの色空間
408 輝度平均値
410 赤色度平均値
412 青色度平均値
414 輝度エントロピ
416 赤色度エントロピ
418 青色度エントロピ
1600 データ処理システム
1604 処理ユニット
1606 記憶装置
1608 通信ユニット
1610 入出力ユニット
1612 ディスプレイ
1614 メモリ
1616 永続記憶
1618 プログラム・コード
1620 コンピュータ可読媒体
1622 コンピュータ・プログラム製品
1624 コンピュータ可読記憶媒体
1626 コンピュータ可読信号媒体
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16