特許 7227145 マッチムーブ用のハイブリッド追跡器のシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-13

(45)【発行日】2023-02-21

(54)【発明の名称】マッチムーブ用のハイブリッド追跡器のシステム及び方法

(51)【国際特許分類】

   G06T 7/246 20170101AFI20230214BHJP

【ＦＩ】

G06T7/246

【請求項の数】 17

(21)【出願番号】P 2019547186

(86)(22)【出願日】2017-11-15

(65)【公表番号】

(43)【公表日】2019-12-12

(86)【国際出願番号】 EP2017079351

(87)【国際公開番号】W WO2018091545

(87)【国際公開日】2018-05-24

【審査請求日】2020-11-10

(31)【優先権主張番号】62/422,429

(32)【優先日】2016-11-15

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】15/811,995

(32)【優先日】2017-11-14

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】511006720

【氏名又は名称】ジーブイビービー ホールディングス エス．エイ．アール．エル．

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100120891

【弁理士】

【氏名又は名称】林 一好

(72)【発明者】

【氏名】▲高▼田 庸介

【審査官】小池 正彦

(56)【参考文献】

【文献】米国特許出願公開第２０１５／０１７８３２０（ＵＳ，Ａ１）

【文献】特開２００４－２２７５１９（ＪＰ，Ａ）

【文献】特開２００５－３０９７４６（ＪＰ，Ａ）

【文献】特開２０１１－０６０１６７（ＪＰ，Ａ）

【文献】特開２００８－２４３１８７（ＪＰ，Ａ）

【文献】Alexander Ladikos, Selim Benhimane, Nassir Navab，A REAL-TIME TRACKING SYSTEM COMBINING TEMPLATE-BASED AND FEATURE-BASED APPROACHES，VISAPP 2007，ポルトガル，INSTICC，2007年03月08日，http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.88.4914&rep=rep1&type=pdf

【文献】Daniel Wagner, et al.，REAL-TIME DETECTION AND TRACKING FOR AUGMENTED REALITY ON MOBILE PHONES ，IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS，米国，IEEE，2009年08月28日，VOL. 16, NO. 3，pp.355-368，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5226627

【文献】ねらった被写体を逃がさない 物体追跡技術，映像情報メディア学会誌 第62巻 第6号，2008年06月01日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２４６

(57)【特許請求の範囲】

【請求項1】

画像のシーケンス内のオブジェクトの追跡速度を極大化するビデオシステムであって、
ビデオの画像のシーケンスとして複数の画像を生成するように構成されたカメラと、
基準フレーム内の複数のオブジェクト特徴を検出するように構成されたオブジェクト特徴検出器と、
前記基準フレーム内の前記検出されたオブジェクト特徴にマッチングする前記ビデオの画像の前記シーケンス内の少なくとも１つの画像内の対応するオブジェクト特徴の数を判定するように構成された特徴対応性判定器と、
前記判定された対応するオブジェクト特徴の数を既定のオブジェクトパターン閾値レベルと比較することにより、複数のタイプのオブジェクト追跡のうちの１つを選択するように構成された追跡パターン選択器と、
を有し、
前記追跡パターン選択器は、前記オブジェクトの第１追跡オブジェクト速度を実現するべく、前記判定された対応するオブジェクト特徴の数が前記既定のオブジェクトパターン閾値レベルを超過していない際に、前記画像のシーケンスの前記少なくとも１つの画像内の前記オブジェクトを追跡するために第１タイプのオブジェクト追跡を選択し、
前記追跡パターン選択器は、前記オブジェクトの第２の追跡オブジェクト速度を実現するべく、前記対応するオブジェクト特徴の判定された数が前記既定のオブジェクトパターン閾値レベルを超過している際に、前記画像のシーケンスの前記少なくとも１つの画像内の前記オブジェクトを追跡するために第２タイプのオブジェクト追跡を選択し、
前記基準フレーム内の前記検出されたオブジェクト特徴は、前記オブジェクトのコーナーパターンを有し、
前記オブジェクト追跡の第２タイプは、前記オブジェクトのコーナーに基づいた追跡を有し、
前記オブジェクト追跡の第１タイプは、前記オブジェクトのテンプレートに基づいた追跡を有する、ビデオシステム。

【請求項2】

追跡パターン選択器は、前記ビデオ内の前記画像のシーケンス内の前記複数の画像のそれぞれの画像ごとに別個に前記複数のタイプのオブジェクト追跡のうちの１つを選択するように更に構成されている請求項１に記載のビデオシステム。

【請求項3】

前記追跡パターン選択器は、前記ビデオ内の前記画像のシーケンス内の以前の画像用の前記オブジェクト追跡の選択されたタイプとは独立的にそれぞれの画像ごとに前記１つのタイプのオブジェクト追跡を選択している請求項２に記載のビデオシステム。

【請求項4】

前記追跡パターン選択器は、前記基準フレーム内の前記検出された複数のオブジェクト特徴の数を最小検出特徴閾値と比較し、且つ、前記検出されたオブジェクト特徴の数が前記最小検出特徴閾値未満である際に、前記画像のシーケンス内の前記オブジェクトを追跡するべく、前記第１タイプのオブジェクト追跡を自動的に選択するように更に構成されている請求項１に記載のビデオシステム。

【請求項5】

前記選択された１つのタイプのオブジェクト追跡に基づいて前記追跡対象のオブジェクトの位置データを生成するように構成されたオブジェクト位置判定器を更に有する請求項１に記載のビデオシステム。

【請求項6】

前記生成された位置データを使用することにより、前記ビデオ内の前記追跡対象のオブジェクトを変更するべく、前記ビデオの画像の前記シーケンス及び前記追跡対象のオブジェクトの前記生成された位置データをデジタルビデオエディタに出力するように構成された現時点の追跡出力を更に有する請求項５に記載のビデオシステム。

【請求項7】

オブジェクトの追跡速度を極大化させるビデオシステムであって、
画像フレームを生成するように構成されたカメラと、
前記ビデオの画像フレーム内のオブジェクトのパターン特徴を検出するように構成されたパターン検出器を有するオブジェクトパターン追跡器と、
を有し、
前記オブジェクトパターン追跡器は、前記検出されたパターン特徴に基づいた前記オブジェクトのサイズ値が既定のオブジェクトサイズ閾値レベルを超過しているかどうかを判定するように構成されたパターン特徴プロセッサを有し、
前記オブジェクトパターン追跡器は、前記オブジェクトの第１追跡オブジェクト速度を実現するべく、前記オブジェクトのサイズ値が、前記既定のオブジェクトサイズ閾値レベルを超過していない際に、前記画像フレーム内の前記オブジェクトを追跡するために第１タイプのビデオ追跡を適用するように構成されており、
前記オブジェクトパターン追跡器は、前記オブジェクトの第２追跡オブジェクト速度を実現するべく、前記オブジェクトのサイズ値が、前記既定のオブジェクトサイズ閾値レベルを超過している際に、前記画像フレーム内の前記オブジェクトを追跡するために第２タイプのビデオ追跡を適用するように構成されており、且つ、
前記オブジェクトパターン追跡器は、前記画像フレーム内の前記オブジェクトを追跡するべく、前記ビデオ内の以前の画像用のビデオ追跡の選択されたタイプとは独立的に、ビデオ追跡の前記第１及び第２タイプのうちの１つを適用しており、
前記ビデオシステムは、前記画像フレーム及び前記追跡対象のオブジェクトの生成された位置データをデジタルビデオエディタに出力するように構成された現時点の追跡出力を更に有し、前記生成された位置データを使用して前記画像フレーム内の前記追跡対象のオブジェクトを変更する、システム。

【請求項8】

前記オブジェクトの前記検出されたパターン特徴は、前記オブジェクトのコーナーパターンを有する請求項７に記載のシステム。

【請求項9】

前記ビデオ追跡の第１タイプは、前記オブジェクトのテンプレートに基づいた追跡を有し、且つ、前記ビデオ追跡の第２タイプは、前記オブジェクトのコーナーに基づいた追跡を有する請求項８に記載のシステム。

【請求項10】

前記オブジェクトの前記コーナーに基づいた追跡は、前記オブジェクトの位置データを生成するための現時点の画像フレーム内の前記オブジェクトのコーナー追跡を有する請求項９に記載のシステム。

【請求項11】

前記オブジェクトの前記テンプレートに基づいた追跡は、前記オブジェクトの位置データを生成するための前記現時点の画像フレーム内の前記オブジェクトのテンプレート追跡を有する請求項１０に記載のシステム。

【請求項12】

ビデオ内のそれぞれの画像フレームについて独立的に追跡タイプを選択することにより、画像のシーケンス内のオブジェクトの追跡速度を極大化させるビデオシステムであって、
前記ビデオの基準フレーム内の複数のオブジェクト特徴を検出するように構成されたオブジェクト特徴検出器と、
前記基準フレーム内の前記検出されたオブジェクト特徴にマッチングする前記ビデオの画像のシーケンス内の現時点の画像フレーム内のオブジェクト特徴の数を判定するように構成された特徴比較器と、
前記基準フレームと前記ビデオの前記現時点の画像フレームの間の前記判定されたマッチングするオブジェクト特徴に基づいて、前記現時点の画像フレーム内のオブジェクトを追跡するべく、複数のタイプのオブジェクト追跡のうちの１つを選択するように構成された追跡パターン選択器と、
を有し、
前記追跡パターン選択器は、前記ビデオの画像の前記シーケンス内の以前の画像フレーム用の前記選択されたタイプのオブジェクト追跡とは独立的に、それぞれの画像フレームごとに、前記１つのタイプのオブジェクト追跡を選択する、ビデオシステム。

【請求項13】

前記追跡パターン選択器は、前記判定されたマッチングするオブジェクト特徴の数を既定のオブジェクトパターン閾値レベルと比較することにより、前記オブジェクトを追跡するべく、前記複数のタイプのオブジェクト追跡のうちの前記１つを選択するように更に構成されている請求項１２に記載のビデオシステム。

【請求項14】

前記追跡パターン選択器は、前記オブジェクトの第１追跡オブジェクト速度を実現するべく、前記判定されたマッチングするオブジェクトの数が、前記既定のオブジェクトパターン閾値レベルを超過していない際に、前記複数のタイプのオブジェクト追跡のうちの第１タイプのオブジェクト追跡を選択し、且つ、
前記追跡パターン選択器は、前記オブジェクトの第２追跡オブジェクト速度を実現するべく、前記判定されたマッチングするオブジェクトの前記数が、前記既定のオブジェクトパターン閾値レベルを超過している際に、前記複数のタイプのオブジェクト追跡のうちの第２タイプのオブジェクト追跡を選択する請求項１３に記載のビデオシステム。

【請求項15】

前記基準フレーム内の前記検出されたオブジェクト特徴は、前記オブジェクトのコーナーパターンを有する請求項１４に記載のビデオシステム。

【請求項16】

前記オブジェクト追跡の第１タイプは、前記オブジェクトのテンプレートに基づいた追跡を有し、且つ、前記オブジェクト追跡の第２タイプは、前記オブジェクトのコーナーに基づいた追跡を有する請求項１５に記載のビデオシステム。

【請求項17】

前記追跡パターン選択器は、前記基準フレーム内の前記検出された複数のオブジェクト特徴の数を最小検出特徴閾値と比較し、且つ、前記検出されたオブジェクト特徴の数が、前記最小検出特徴閾値未満である際に、前記画像のシーケンス内の前記オブジェクトを追跡するべく、前記オブジェクト追跡の第１タイプを自動的に選択するように更に構成されている請求項１６に記載のビデオシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１６年１１月１５日付けで出願された米国仮特許出願第６２／４２２，４２９号に対する優先権を主張する２０１７年１１月１４日付けで出願された米国特許出願第１５／８１１，９９５号に対する優先権を主張するものであり、これらの特許文献のそれぞれは、引用により、その内容のすべてが本明細書に包含される。

【0002】

本明細書において開示されているシステム及び方法は、一般に、ビデオ編集に関し、且つ、更に詳しくは、マッチムーブ用のハイブリッド追跡のシステム及び方法に関する。

【背景技術】

【0003】

既存のコンピュータシステムは、ビデオ画像内においてオブジェクト検出を実行する能力を有する、即ち、画像（例えば、ビデオシーケンスのフレーム）内のオブジェクトを識別する能力を有する。また、これらのシステムは、コンピュータシステムのカメラが記録している、又は記録した、ビデオのフレームのシーケンス内において、このような画像を追跡する能力をも有しており、これには、例えば、人間の顔面（即ち、オブジェクト又は特徴）の運動の追跡が含まれる。

【0004】

ビデオ編集において、オブジェクト追跡とは、ユーザーによって規定された特徴（即ち、画像パッチ）が、時間に伴って追跡され、且つ、次いで、推定されたモーション（例えば、アフィン又は射影）が、追跡されている特徴に対して「マッチムーブ」するように、なんらかのターゲット画像又は視覚的効果に対して適用される、対話型のモーション分析を意味している。マッチムーブとは、ビデオシーケンスのフレーム内のオブジェクトとの関係における正しい位置、スケール、向き、及びモーションを伴う、実写の場面へのコンピュータグラフィックスの挿入を許容する、動画技法であると見なされている。

【0005】

従来、（以下において識別されている）Ｌｕｃｕｓ－Ｋａｎａｄｅ法によるテンプレートマッチングなどの、多数のモーション分析技法が提案されている。このようなモーション分析技法のうち、ビデオシーケンスのフレーム内のオブジェクトを追跡するべく、テンプレートに基づいた（或いは、ピクセルに基づいた）追跡アルゴリズムが最も広く使用されている。但し、テンプレート追跡器の演算的な複雑さは、特徴の面積に、ほぼ比例していることから、テンプレート追跡器は、大きな特徴を追跡するのに伴って、即ち、相対的に多くのピクセルを有する相対的に大きなオブジェクトを追跡するのに伴って、格段に低速となる。

【0006】

その一方において、コーナー追跡法は、スパースポイント対応性からモーションを推定しており、その結果、これらのアルゴリズムの複雑さを追跡対象のコーナーの最大数Ｎ＿ｍａｘ（例えば、２５６）によって上限設定することができる。但し、コーナー追跡方法は、十分な数のコーナーを検出することができない、小さな又はテクスチャレスの特徴を確実に追跡することができない。

【0007】

ビデオシーケンス内の追跡対象のオブジェクトの正確性及び安定性を改善するべく、コーナーに基づいた追跡アルゴリズムとテンプレートに基づいた追跡アルゴリズムの両方を使用するハイブリッド型の追跡システムが開発されている。例えば、１つの既存のハイブリッド追跡設計が、「“Ｈｙｂｒｉｄ Ｆｅａｔｕｒｅ ａｎｄ Ｔｅｍｐｌａｔｅ Ｂａｓｅｄ Ｔｒａｃｋｉｎｇ ｆｏｒ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ａｐｐｌｉｃａｔｉｏｎ”ｔｏ Ｋｕｓｕｍａ ｅｔ ａｌ．；Ａｓｉａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＡＣＣＶ）（２０１４）（以下、“Ｋｕｓｕｍａ”）」において開示されている。Ｋｕｓｕｍａには、追跡精度及び安定性を極大化させるべく、コーナー追跡を実行した後に、テンプレート追跡が後続する、ハイブリッド型の追跡アルゴリズムが開示されている。但し、Ｋｕｓｕｍａのシステムは、２つの別個の追跡プロセスを順番に実行することにより、大きな演算リソースを消費している。更には、「“Ａ Ｒｅａｌ－Ｔｉｍｅ Ｔｒａｃｋｉｎｇ Ｓｙｓｔｅｍ Ｃｏｍｂｉｎｉｎｇ Ｔｅｍｐｌａｔｅｄ－Ｂａｓｅｄ ａｎｄ Ｆｅａｔｕｒｅ－ｂａｓｅｄ Ａｐｐｒｏａｃｈｅｓ”ｔｏ Ｌａｄｉｋｏｓ ｅｔ ａｌ．，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｔｈｅｏｒｙ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ（２００７）（以下、“Ｌａｄｉｋｏｓ”）」においては、追跡アルゴリズムの間において切り替わるが、なんらかの手段によって識別された追跡アルゴリズムのうちの一方を実行した後にのみ、切替の意思決定が実行される、ハイブリッド型の追跡設計が提案されている。Ｋｕｓｕｍａ及びＬａｄｉｋｏｓにおける設計のそれぞれは、過度に複雑であると共に大きな演算リソースを消費し、これにより、低速の追跡速度に結び付いている。

【0008】

具体的には、追跡プロセスを実装するべく、これらのハイブリッド追跡システムは、現時点の追跡状態のみならず、追跡アルゴリズムの間において切り替えるべきなんらかの適切な切替アルゴリズムを識別するべく、有限状態機械を必要としている。例えば、Ｌａｄｉｋｏｓにおける追跡システムは、そのベース追跡器（即ち、テンプレートに基づいた追跡）が、複雑な基準に基づいてオブジェクトを正確に追跡しているかどうかをチェックするべく、有限状態機械の現時点の状態を使用している。継続中のテンプレート追跡がオブジェクトを正確に追跡していない場合には、Ｌａｄｉｋｏｓのアルゴリズムは、コーナーに基づいた追跡に切り替わる。Ｌａｄｉｋｏｓのアルゴリズムは、有限状態機械が非常に正確である場合には、高速の追跡を実行しうることが可能であるが、このような有限状態機械の提供は、ハイブリッド追跡システムの設計を複雑化させることになるのみならず、演算リソースを消費することにもなる。更には、正確な有限状態機械である場合にも、大きなモーションを含む複雑なビデオシーケンスを追跡している際には、Ｌａｄｉｋｏｓのアルゴリズムの追跡速度は、やはり、大幅に低速化することになり、例えば、この場合には、追跡器の切替が、テンプレート追跡からコーナー追跡への方向、テンプレート追跡へ戻る方向、並びに、これらに類似したものの間において頻繁に発生せざるをえない。珍しいものではない、これらのタイプの追跡シナリオは、切替のオーバーヘッドを増大させ、且つ、全体的な追跡を低速化させる。

【発明の概要】

【発明が解決しようとする課題】

【0009】

従って、演算リソースの消費を極小化しつつ、追跡速度を増大させるマッチムーブ用の追跡システム及び方法が求められている。

【課題を解決するための手段】

【0010】

従って、例示用の一実施形態によれば、ビデオ内のオブジェクトを追跡するハイブリッド追跡システムが開示されている。例示用の一態様においては、オブジェクトの追跡速度を極大化させるビデオシステムが提供されており、この場合に、システムは、画像ファイルを生成するように構成されたカメラと、画像フレーム内のオブジェクトのパターン特徴を検出するように構成されたパターン検出器を有するオブジェクトパターン追跡器と、を含む。この実施形態においては、オブジェクトパターン追跡器は、オブジェクトの検出されたパターン特徴が、既定のオブジェクトパターン閾値レベルを超過しているかどうかを判定するように構成された検出済みパターン特徴プロセッサを有する。更には、オブジェクトパターン追跡器は、オブジェクトの第１追跡オブジェクト速度を実現するべく、オブジェクトの検出済みパターン特徴が既定のオブジェクトパターン閾値レベルを超過していない際に、ビデオ追跡の第１タイプをオブジェクトに適用するように構成されている。更には、オブジェクトパターン追跡器は、オブジェクトの第２追跡オブジェクト速度を実現するべく、オブジェクトの検出済みパターン特徴が既定のオブジェクトパターン閾値レベルを超過している際に、第２タイプのビデオ追跡をオブジェクトに適用するように構成されている。更には、この態様においては、オブジェクトの検出済みパターン特徴は、オブジェクトのコーナーパターンを有し、第２タイプのビデオ追跡は、オブジェクトのコーナーに基づいた追跡を有し、且つ、第１タイプのビデオ追跡は、オブジェクトのテンプレートに基づいた追跡を有する。

【0011】

この態様の一変形においては、オブジェクトのコーナーに基づいた追跡は、オブジェクトの位置データを生成するための現時点のフレーム内のオブジェクトのコーナー追跡を有する。別の態様においては、オブジェクトのテンプレートに基づいた追跡は、オブジェクトの位置データを生成するための現時点のフレーム内のオブジェクトのテンプレート追跡を有する。

【0012】

別の態様においては、追跡速度を極大化させるために、且つ、オブジェクトの表示のために、ビデオシステムが提供されている。この態様においては、システムは、画像フレームを生成するように構成されたカメラと、画像フレーム内のオブジェクトのパターン特徴を検出するように構成されたオブジェクトパターン検出器を有するオブジェクトパターン追跡器と、を含む。更には、オブジェクトパターン追跡は、オブジェクトの検出済みパターン特徴が既定のオブジェクトパターン閾値レベルを超過しているかどうかを検出するように構成された検出済みパターン特徴プロセッサを有する。この態様においては、オブジェクトパターン追跡器は、オブジェクトの第１追跡オブジェクト速度を実現するべく、オブジェクトの検出済みパターン特徴が既定のオブジェクトパターン閾値レベルを超過していない際に、第１タイプのビデオ追跡をオブジェクトに適用するように構成されており、且つ、オブジェクトパターン追跡器は、オブジェクトの第２追跡オブジェクト速度を実現するべく、オブジェクトの検出済みパターン特徴が既定のオブジェクトパターン閾値レベルを超過している際に、第２タイプのビデオ追跡をオブジェクトに適用するように構成されている。

【0013】

この態様の一変形においては、オブジェクトの検出済みパターン特徴は、オブジェクトのコーナーパターンを有する。更には、第２タイプのビデオ追跡は、オブジェクトのコーナーに基づいた追跡を有し、且つ、第１タイプのビデオ追跡は、オブジェクトのテンプレートに基づいた追跡を有する。更には、一態様においては、オブジェクトのコーナーに基づいた追跡は、オブジェクトの位置データを生成するための現時点のフレーム内のオブジェクトのコーナー追跡を有し、且つ、オブジェクトのテンプレートに基づいた追跡は、オブジェクトの位置データを生成するための現時点のフレーム内のオブジェクトのテンプレート追跡を有する。

【0014】

更に別の態様においては、オブジェクトパターン追跡器は、第２追跡速度よりも高速の第１追跡速度においてオブジェクトを追跡するべく、オブジェクトの検出済みパターン特徴が既定のオブジェクトのパターン閾値レベルを超過していない際に、第１タイプのビデオ追跡をオブジェクトに適用するように構成されている。同様に、この態様においては、オブジェクトパターン追跡器は、第１追跡速度よりも高速の第２追跡速度においてオブジェクトを追跡するべく、オブジェクトの検出済みパターン特徴が既定のオブジェクトパターン閾値レベルを超過している際に、第２タイプのビデオ追跡をオブジェクトに適用するように構成されている。

【0015】

別の例示用の態様においては、システムは、ビデオのフレームのシーケンスを生成するように構成されたカメラと、ビデオのフレームのシーケンスを保存するように構成された電子メモリと、を含む。更には、システムは、ビデオの基準フレーム内のオブジェクトのいくつかのコーナー特徴を検出し、且つ、基準フレーム内のコーナー特徴の検出された数が、予め定義されている閾値以上である場合に、基準フレーム内の検出されたコーナー特徴とビデオの現時点のフレーム内の対応するコーナー特徴との間のコーナー対応性の数を判定するように構成されたソフトウェアプロセッサを含む。ソフトウェアプロセッサは、コーナー対応性の数が、予め定義されている閾値以上である場合に、オブジェクトの位置データを生成するべく、現時点のフレーム内のオブジェクトのコーナーに基づいた追跡を実行し、基準フレーム内のコーナー特徴の検出された数又はコーナー対応性の数が、予め定義されている閾値未満である場合には、オブジェクトの位置データを生成するべく、現時点のフレーム内のオブジェクトのテンプレートに基づいた追跡を実行し、且つ、オブジェクトの生成された位置データに基づいて現時点のフレーム内のオブジェクトの視覚特性を変更するように、更に構成されている。最後に、システムは、変更済みの視覚特性を有するオブジェクトを含む現時点のフレームを表示するように構成された表示装置を含む。

【0016】

別の例示用の実施形態によれば、ビデオ内のオブジェクトを追跡する方法が提供される。一態様において、方法は、カメラにより、ビデオのフレームのシーケンスを生成するステップと、ビデオのフレームのシーケンスを電子メモリ内において保存するステップと、を含む。更には、方法は、ソフトウェアプロセッサにより、ビデオの基準フレーム内のオブジェクトのいくつかのコーナー特徴を検出するステップと、基準フレーム内のコーナー特徴の検出された数が、予め定義されている閾値以上である場合に、ソフトウェアプロセッサにより、基準フレーム内の検出されたコーナー特徴とビデオの現時点のフレーム内の対応するコーナー特徴との間のコーナー対応性の数を判定するステップと、を含む。更には、コーナー対応性の数が、予め定義されている閾値以上である場合には、方法は、ソフトウェアプロセッサにより、オブジェクトの位置データを生成するべく、現時点のフレーム内のオブジェクトのコーナーに基づいた追跡を実行するステップを含む。対照的に、基準フレーム内のコーナー特徴の検出された数又はコーナー対応性の数が、予め定義されている閾値未満である場合には、方法は、ソフトウェアプロセッサにより、オブジェクトの位置データを生成するべく、現時点のフレーム内のオブジェクトのテンプレートに基づいた追跡を実行するステップを含む。最後に、例示用の方法は、オブジェクトの生成された位置データに基づいて現時点のフレーム内のオブジェクトの視覚特性を変更するステップと、表示装置により、変更済みの視覚特性を有するオブジェクトを含む現時点のフレームを表示するステップと、を含む。

【0017】

別の例示用の実施形態によれば、ビデオ内のそれぞれの画像フレームについて追跡タイプを独立的に選択することにより、画像のシーケンス内のオブジェクトの追跡速度を極大化させるべく、ビデオシステムが提供されている。この態様においては、システムは、ビデオの基準フレーム内の複数のオブジェクト特徴を検出するように構成されたオブジェクト特徴検出器と、基準フレーム内の検出済みオブジェクト特徴にマッチングするビデオの画像のシーケンス内の現時点の画像フレーム内のオブジェクト特徴の数を判定するように構成された特徴比較器と、基準フレームとビデオの現時点の画像フレームとの間の判定済みのマッチングしたオブジェクト特徴に基づいて現時点の画像フレーム内のオブジェクトを追跡するべく複数のタイプのオブジェクト追跡のうちの１つを選択するように構成された追跡パターン選択器と、を含む。

【0018】

更には、例示用の態様の一変形においては、追跡パターン選択器は、判定済みのマッチングしたオブジェクト特徴の数を既定のオブジェクトパターン閾値レベルと比較することにより、オブジェクトを追跡するべく、複数のタイプのオブジェクト追跡のうちの１つを選択するように更に構成されている。この態様においては、追跡パターン選択器は、オブジェクトの第１追跡オブジェクト速度を実現するべく、判定済みのマッチングしたオブジェクトの数が既定のオブジェクトパターン閾値レベルを超過していない際には、複数のタイプのオブジェクト追跡の第１タイプのオブジェクト追跡を選択し、且つ、追跡パターン選択器は、オブジェクトの第２追跡オブジェクト速度を実現するべく、判定済みのマッチングしたオブジェクトの数が既定のオブジェクトパターン閾値レベルを超過している際には、複数のタイプのオブジェクト追跡のうちの第２タイプのオブジェクト追跡を選択している。

【0019】

別の例示用の態様においては、追跡パターン選択器は、基準フレーム内の検出された複数のオブジェクト特徴の数を最小検出特徴閾値と比較し、且つ、検出されたオブジェクト特徴の数が最小検出特徴閾値未満である際に、画像のシーケンス内のオブジェクトを追跡するべく、第１タイプのオブジェクト追跡を自動的に選択するように、更に構成されている。更には、一態様においては、追跡パターン選択器は、ビデオの画像のシーケンス内の以前の画像フレーム用のオブジェクト追跡の選択されたタイプとは独立的に、それぞれの画像フレームごとに１つのタイプのオブジェクト追跡を選択している。

【0020】

更には、例示用の一態様においては、ビデオシステムは、オブジェクト追跡の選択されたタイプに基づいて追跡対象のオブジェクトの位置データを生成するように構成されたオブジェクト位置判定器と、生成された位置データを使用することにより、ビデオ内の追跡対象のオブジェクトを変更するべく、ビデオの画像のシーケンス及び追跡対象のオブジェクトの生成された位置データをデジタルビデオエディタに出力するように構成された現時点の追跡出力と、を更に含む。

【0021】

上述の簡潔な概要は、本開示の基本的な理解を提供するべく機能するものである。この概要は、想定されるすべての態様の集約的な概要ではなく、従って、すべての態様の主要な又は重要な要素を識別することを意図したものではなく、或いは、本開示の任意の又はすべての態様の範囲の線引きを意図したものでもない。その唯一の目的は、後続する本開示の更に詳細な説明に対する前置きとして簡潔な形態で１つ又は複数の態様を提示する、というものである。上述の内容の実現を目的として、本開示の１つ又は複数の態様は、請求項に記述されていると共に例示を目的として指摘されている特徴を含む。

【0022】

本明細書に包含されると共にその一部分を構成している添付の図面は、本開示の１つ又は複数の例示用の態様を示しており、且つ、詳細な説明と共に、その原理及び実装形態を説明するべく機能する。

【図面の簡単な説明】

【0023】

【図1】例示用の一実施形態によるマッチムーブ用のハイブリッド追跡のシステムのブロック図を示す。

【図2A】例示用の一態様による特徴対応性検出モジュールによって分析された例示用の基準フレームを示す。

【図2B】図２Ａに示されている例示用の基準フレームの拡大図を示す。

【図3A】例示用の追跡モジュールを使用した特徴サイズ対追跡時間の模擬比較を示すグラフを示す。

【図3B】それぞれの特徴サイズごとに確実に追跡された、特徴サイズとコーナーの数の間の対応性の一例を示すグラフを示す。

【図4】例示用の一実施形態によるマッチムーブ用のハイブリッド追跡の方法のフローチャートを示す。

【図5】開示されているシステム及び方法が例示用の一態様に従って実装されうる（パーソナルコンピュータ又はサーバーでありうる）汎用コンピュータシステムの一例を示す。

【発明を実施するための形態】

【0024】

以下、全体を通じて同一の参照符号が同一の要素を意味するべく使用されている添付図面を参照し、開示されているシステム及び方法の様々な態様について説明する。以下の説明においては、説明を目的として、開示の１つ又は複数の態様の十分な理解を促進するべく、多数の特定の詳細事項が記述されている。但し、いくつかの又はすべての例において、後述するすべての態様は、後述する特定の設計詳細事項を採用することなしに、実施されうることが明らかでありうる。その他の例においては、１つ又は複数の態様の説明を促進するべく、周知の構造及び装置は、ブロック図の形態において示されている。以下は、その基本的な理解を提供するべく、本発明の１つ又は複数の態様の簡潔な概要を提示するものである。

【0025】

図１は、例示用の一実施形態によるマッチムーブ用のハイブリッド追跡のシステムのブロック図を示している。一般に、システム１００は、カメラ１１０と、ハイブリッド追跡システム１２０と、１つ又は複数のアプリケーションプログラム１３０と、ビデオディスプレイ１４０と、を含む。これらのコンポーネントのそれぞれは、システム１００の別個のコンポーネントとして示されているが、コンポーネントの１つ又は複数は、例示用の態様においては、スタンドアロンコンピュータシステムの一部分として一緒に内蔵されうることを理解されたい。

【0026】

例示用の実施形態によれば、カメラ１１０は、画像フレームのシーケンスとして画像データをキャプチャし、且つ、キャプチャされたデジタル画像を画像（即ち、画像フレーム）及び／又はビデオデータ（即ち、ビデオフレーム）としてハイブリッド追跡システム１２０に提供するように構成された任意のタイプの従来型のデジタルカメラであってよい。一般に、「ビデオファイル」という用語は、画像フレームのシーケンスを広く意味するべく使用されている。更には、例示用のシステムは、カメラ１１０から画像データを受け取るものとして記述されているが、一代替態様においては、この画像／ビデオデータは、予めキャプチャすることが可能であり、且つ、例えば、ハイブリッド追跡システム１２０の一部分でありうるコンピュータメモリ（図示されてはいない）内において電子データファイルとして保存することもできることを理解されたい。この結果、ビデオ編集プロセスにおいて、キャプチャ画像／ビデオデータ（即ち、ビデオファイル）は、ハイブリッド追跡システム１２０に提供される。

【0027】

以下、図５との関係において、ハイブリッド追跡システム１２０を実装するように構成された例示用のコンピュータシステムの詳細について更に詳しく説明することとする。但し、図１に示されているように、ハイブリッド追跡システム１２０は、本明細書において記述されているハイブリッド追跡アルゴリズムを実行するように構成された、いくつかの「モジュール」を含む。本明細書において使用されている「モジュール」という用語は、例えば、用途固有の集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）又はフィールドプログラム可能なゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）によるなどのように、ハードウェアを使用して実装された、或いは、（実行されている最中に）マイクロプロセッサを特殊目的装置に変換する、モジュールの機能を実装するためのマイクロプロセッサシステム及び命令の組によるなどのように、ハードウェアとソフトウェアの組合せとしての、コンポーネントの現実世界の装置、コンポーネント、又は構成を含む、１つ又は複数のコンピュータ上において実行されるソフトウェアサービス又はアプリケーションを意味しうる。更には、それぞれのモジュールは、特定の機能がハードウェアのみによって促進され、且つ、その他の機能がハードウェア及びソフトウェアの組合せによって促進される状態において、２つ以上のモジュールの組合せとして実装することもできる。特定の実装形態においては、モジュールの、少なくとも一部分、並びに、いくつかのケースにおいては、すべては、汎用コンピュータのプロセッサ上において実行することができる。従って、それぞれのモジュールは、様々な適切な構成において実現することが可能であり、且つ、本明細書において記述されている任意の例示用の実装形態に限定されるものではない。

【0028】

従って、例示用の態様によれば、ハイブリッド追跡システム１２０は、特徴対応性検出モジュール１２１、オブジェクトパターン追跡モジュール１２２、及びテンプレート追跡モジュール１２３を含む複数のモジュールを実行するべく提供された中央処理ユニット（「ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ」）を含む。それぞれのモジュールは、本明細書において記述されている対応するアルゴリズムを実行／促進するように構成されうるソフトウェアコード（例えば、プロセッサ実行可能命令）をメモリ内において含むことが可能であり、或いは、これから構成されうる。更には、オブジェクトパターン追跡モジュール１２２及びテンプレート追跡モジュール１２３は、別個のコンポーネント／モジュールとして、或いは、本明細書において開示されているオブジェクト追跡の複数のタイプを実行するように構成された単一のオブジェクト追跡器（例えば、オブジェクトパターン追跡器）として、実装することができる。

【0029】

図示のように、ハイブリッド追跡システム１２０は、ビデオデータの基準フレームを受け取り、且つ、基準フレーム内の規定された領域においてオブジェクト特徴（即ち、基準点又は特徴又はコーナー）を検出するように構成された特徴対応性検出モジュール１２１（オブジェクト特徴検出器及び／又は特徴比較器とも見なされる）を含む。一態様においては、基準フレームは、ビデオファイルのフレームのシーケンス内の第１フレームであるに過ぎない。特徴（例えば、コーナー）は、既知の技法を使用することにより、検出され、且つ、基準フレーム内の強力な又は安定した特徴として識別される。例えば、一態様においては、特徴は、「“Ｇｏｏｄ Ｆｅａｔｕｒｅｓ ｔｏ Ｔｒａｃｋ”ｔｏ Ｓｈｉ ｅｔ ａｌ．，ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ．５９３－６００（１９９４）（以下、“Ｓｈｉ”）」において記述されている方法を使用して検出されており、この文献の内容は、引用により、本明細書に包含される。更には、一態様においては、規定された領域は、フレーム全体であることが可能であるが、規定された領域は、別の態様によれば、基準フレーム内のピクセルのサブセットであってよい。例えば、基準フレームは、複数の領域（例えば、Ｎ×Ｍピクセルに基づいたもの）に分割することが可能であり、且つ、特徴対応性検出モジュール１２１は、規定された領域の１つ又は複数内の基準フレーム内のオブジェクト（例えば、人物の顔面の検出された「コーナー」）の特徴を検出するように構成することができる。更には、フレーム又は規定された領域内の検出対象のオブジェクト又は特徴は、（例えば、編集ソフトウェアのユーザーにより）ユーザーによって規定することも可能であり、或いは、編集ソフトウェア又はこれに類似したものに基づいて自動的に識別することもできる。

【0030】

特徴の合計数が、基準フレーム内の所与のオブジェクトについて抽出されたら、この合計数は、既定の／予め定義された閾値Ｎ＿ｍｉｎ（即ち、最小検出特徴閾値）と比較されるが、この閾値は、例えば、３２又は６４個の特徴であってもよく、且つ、ビデオエディタによって設定することができる。特徴対応性検出モジュール１２１が、特徴の数が既定の閾値Ｎ＿ｍｉｎ超であると判定した場合には、特徴対応性検出モジュール１２１は、次いで、基準フレームとビデオのフレームのシーケンスのそれぞれの現在のフレームとの間の特徴対応性（例えば、フォールトトレランス閾値を有しうる、例えば、マッチングする特徴の特徴対応性）を検出するべく、ビデオファイルの現時点のフレームの特徴検出を実行することになる。基準フレームと現時点のフレームの間の検出された特徴対応性（即ち、マッチング）の数により、ハイブリッド追跡システム１２０がオブジェクトのオブジェクトパターンに基づいた追跡を開始するのか又はテンプレートに基づいた追跡を開始するのかが判定されることになる。例示用の一態様においては、特徴対応性検出モジュール１２１は、以下において更に詳細に説明するように、判定された対応するオブジェクト特徴の数を既定のオブジェクトパターン閾値レベルと比較することにより、オブジェクト追跡のタイプのうちの１つを選択する追跡パターン選択器を含むことができる。更には、Ｌｕｃａｓ－Ｋａｎａｄｅ法などの技法を使用した特徴対応性検出は、現時点のフレームと基準フレームの間における特定の特徴対応性を見出すことに失敗しうることから、検出された特徴対応性の数Ｎは、常に、基準フレーム内の検出済み特徴の数以下となることを理解されたい。

【0031】

いずれにしても、基準フレームと現時点のフレームの間の特徴対応性の数が判定されたら、この数は、既定の閾値Ｎ＿ｍｉｎ（即ち、既定のオブジェクトパターン閾値レベル）に照らして比較される。既定の閾値は、システム設計者によって設定することが可能であり、且つ、例えば、追跡システムのメモリ内において事前に保存することができる。特徴対応性の数が、この閾値超である場合には、ハイブリッド追跡システム１２０は、ビデオデータ内のオブジェクトの追跡を開始するべく、オブジェクトパターン追跡モジュール１２２を開始するように構成されている。例示用の実施形態によれば、ハイブリッド追跡システム１２０は、上述の条件が充足されることを仮定することにより、ビデオ画像内のオブジェクトを追跡するべく、オブジェクトパターン追跡モジュール１２２を第１の又は「既定」の追跡モジュールとして使用している。オブジェクトパターン追跡モジュール１２２は、以下に詳述するように、特徴又はコーナーに基づいた追跡を使用しているが、この第１追跡モジュールは、当業者には理解されるように、その他のタイプの追跡アルゴリズムを実行しうることを理解されたい。以下において詳述するように、追跡アルゴリズムの選択は、オブジェクト内の特徴の数が既定の閾値レベルを超過しているかどうかに基づいている。

【0032】

更には、特徴追跡の際に、特徴対応性検出モジュール１２１は、基準フレームとビデオフレームのシーケンス内のそれぞれの後続のフレームとの間の特徴対応性検出を連続的に実行するように構成されている。任意の時点において、特徴対応性検出モジュール１２１が、基準フレームと現時点のフレームの間の検出された対応する特徴の数が既定の閾値Ｎ＿ｍｉｎ未満に降下すると判定した場合には、ハイブリッド追跡システム１２０は、カメラ１１０から受け取られたビデオデータ内のオブジェクトの追跡を開始／継続するべく、テンプレート追跡モジュール１２２を開始することになる。従って、この例示用の態様によれば、特徴対応性検出モジュール１２１及び／又はオブジェクトパターン追跡モジュール１２２は、オブジェクトの特徴対応性の数を検出するべく、それぞれのフレームを基準フレームに照らして継続的に分析し、且つ、この数を既定の閾値Ｎ＿ｍｉｎと比較している。更には、例示用の態様によれば、同一の基準フレームが、ビデオフレームのシーケンスの分析の全体を通じて、使用されている。但し、一代替実施形態においては、特徴対応性検出モジュール１２１は、基準フレームをビデオフレームのシーケンス内の１つ又は複数のフレームによって定期的に置換することにより、基準フレームを更新するように構成することができる。例えば、現時点のフレームが、基準フレームとの間において特徴対応性の十分な数を有するものと判断された後に、特徴対応性検出モジュール１２１は、新しい基準フレームとして、オリジナルの基準フレームを現時点のフレームによって置換することができる。

【0033】

ハイブリッド追跡システム１２０は、システムが、ビデオフレームのシーケンス内のそれぞれのフレームごとにオブジェクトの追跡を実際に開始する前に、開始するべき追跡モジュール（オブジェクトパターン追跡モジュール１２２又はテンプレート追跡モジュール１２３）を判定していることが重要である。これは、基準フレーム内の検出された特徴（例えば、コーナー）の数を既定の閾値Ｎ＿ｍｉｎと比較し、且つ、次いで、更には、基準フレームと現時点のフレームの間の特徴対応性を既定の閾値Ｎ＿ｍｉｎと比較することにより、実行されている。例示用の態様においては、既定の閾値Ｎ＿ｍｉｎとの間における特徴対応性の比較は、以前のフレームとは独立的に実行することができる。換言すれば、パターン追跡技法のタイプは、ビデオ内の以前のフレーム用の追跡のタイプに基づいたものではなく、フレームのシーケンス内のそれぞれの画像フレームごとに独立的に選択されている。これとは対照的に、上述のように、従来のハイブリッド追跡システムは、有限状態機械の現時点の状態に応じて、特徴に基づいた追跡又はテンプレートに基づいた追跡を使用することにより、完全な追跡手順を実行している。このような従来のハイブリッド追跡システムは、特定の追跡アルゴリズムが開始された後にのみ、他方の追跡アルゴリズムに切り替わることになる。例示用の実施形態によれば、上述のように、特徴（例えば、検出されたコーナー）の数を判定し、且つ、それを閾値と比較することにより、使用するべき追跡アルゴリズムのタイプをまず判定することにより、例示用のハイブリッド追跡システム１２０は、追跡を継続するべく有限状態機械を必要としてはいない。その結果、ＣＰＵ使用量及びメモリ使用量などの演算リソースの消費量が例示用の実施形態のハイブリッド追跡システム１２０によって低減され、その結果、特に、ハイブリッド追跡システム１２０が、大きなモーションを含む複雑なビデオシーケンスを追跡しており、且つ、システム１２０が、ビデオフレームのシーケンス内のオブジェクトの運動及びサイズに基づいて頻繁に追跡アルゴリズムの間において切り替わることが必要とされている、例において、追跡速度の大きな増大が得られる。

【0034】

特徴対応性検出モジュール１２１が、特徴の数が既定の閾値Ｎ＿ｍｉｎ超であると判定した際に、ハイブリッド追跡システム１２０は、ビデオデータ内のオブジェクト追跡を開始するべく、オブジェクトパターン追跡モジュール１２２を開始する。ハイブリッド追跡システム１２０は、コーナーに基づいた追跡などの、任意の既存の特徴／パターンに基づいた追跡システムを使用することにより、オブジェクトを追跡するように構成されていることを理解されたい。例えば、例示用の一態様によれば、オブジェクトパターン追跡モジュール１２２は、例えば、「“Ａｎ Ｉｔｅｒａｔｉｖｅ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｗｉｔｈ ａｎ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｓｔｅｒｅｏ Ｖｉｓｉｏｎ”ｔｏ Ｌｕｃａｓ ｅｔ ａｌ．，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｉｍａｇｉｎｇ Ｕｎｄｅｒｓｔａｎｄｉｎｇ Ｗｏｒｋｓｈｏｐ，ｐｐ．１２１－１３０（１９８１）（以下、“Ｌｕｃａｓ－Ｋａｎａｄｅ”）」に記述されているように、Ｌｕｃａｓ－Ｋａｎａｄｅ特徴追跡器として構成されており、この文献の内容は、引用により、本明細書に包含される。この態様においては、オブジェクトパターン追跡モジュール１２２は、基準フレーム（並びに、検出されたコーナー／特徴）とビデオデータの一部分として受け取られたそれぞれの現時点のフレーム（例えば、カメラ１１０又はメモリからのビデオシーケンス）との間のスパースポイント対応性を見出すべく、オプティカルフローを使用している。オブジェクトパターン追跡モジュール１２２は、２つのフレーム（即ち、基準フレーム及びそれぞれの現時点のフレーム）の間の検出済み特徴のモーションを推定するように、構成されている。例えば、オブジェクトパターン追跡モジュール１２２は、サンプリングされたコーナー／特徴からモーションの初期推定を見出すべく、ＲＡＮＳＡＣ－タイプのサンプリングステップを実行し、且つ、次いで、スパースコーナーの安定した確率論的モーションモデルを最適化することにより、推定されたモーションを改善している。一態様においては、オブジェクトパターン追跡モジュール１２２は、「“Ｉｍａｇｅ Ａｌｉｇｎｍｅｎｔ ａｎｄ Ｓｔｉｔｃｈｉｎｇ：Ａ ｔｕｔｏｒｉａｌ”ｔｏ Ｓｚｅｌｉｓｋｉ，Ｆｏｕｎｄａｔｉｏｎｓ ａｎｄ Ｔｒｅｎｄｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ｖｉｓｉｏｎ，２（１），ｐｐ．１－１０４（２００６）（以下、“Ｓｚｅｌｉｓｋｉ”）」に従ってＲＡＮＳＡＣ－タイプのサンプリングステップを実行することが可能であり、この文献の内容は、引用により、本明細書に包含される。

【0035】

更には、ビデオデータの処理の際に、サンプリングステップは、オブジェクトパターン追跡モジュール１２２が、少なくとも１つの、異常値を含まないサンプルを判定する確率が十分に１に近くなるほどの回数にわたって、反復されている。最後に、モデルエビデンスの観点において検出された対応性に最良にフィットするモデルが、サンプルの中から選択される。例えば、一態様においては、オブジェクトパターン追跡モジュール１２２は、「“Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ”ｔｏ Ｂｉｓｈｏｐ，Ｓｐｒｉｎｇｅｒ（２００６）（以下、“Ｂｉｓｈｏｐ”）」に記述されているように、モデルを選択することが可能であり、この文献の内容は、引用により、本明細書に包含される。また、例示用の一態様においては、オブジェクトパターン追跡モジュール１２２は、例えば、Ｓｚｅｌｉｓｋｉにおいて記述されているように、増大する複雑さを有する、平行運動、類似性、アフィン、及び射影モデルなどの、モーションパラメータの数（又は、次元）において異なるいくつかのモーションモデルの中からモデル選択を実行することができる。

【0036】

オブジェクトパターン追跡モジュール１２２が、ビデオデータのそれぞれのフレーム内の特徴の識別及び追跡を継続するのに伴って、オブジェクトパターン追跡モジュール１２２は、オブジェクトの識別された場所（即ち、追跡対象のオブジェクトの生成された位置データ）、向き、及びその他の追跡対象の情報（即ち、追跡に基づいた情報）を現時点の追跡出力１２４に転送しており、この場合に、情報は、電子メモリ（例えば、ＲＡＭ）内において保存することが可能であり、次いで、情報は、１つ又は複数のアプリケーションプログラム１３０に転送することができる。

【0037】

例示用の態様によれば、例示用の一態様においてビデオ内の変更済みの追跡対象のオブジェクトを示す視覚に基づいたアプリケーションとして表示装置１４０上において提示される前にビデオデータを操作するべく、ハイブリッド追跡システム１２０から受け取られた追跡に基づいた情報を使用し、この情報を使用して１つ又は複数のプロセス（例えば、デジタルビデオエフェクト、画像編集、又はこれらに類似したもの）を実行するべく、１つ又は複数のアプリケーションプログラム１３０（例えば、デジタルビデオエディタ）が提供されている。例えば、追跡対象のオブジェクト又は特徴が人物であり、且つ、アプリケーションプログラム１３０が、人物のアイデンティティを隠蔽するように設計されている場合には、アプリケーションプログラム１３０は、人物の顔面をぼかすと共に彼又は彼女のアイデンティティを隠蔽するべく、画像／ビデオを変更することになる。別の例においては、ビデオ編集ソフトウェアのユーザーが、美的な目的のために特定の領域に対する色補正を提供するなどの、創造的なエフェクトを所望する場合がある。任意のこのような例において、アプリケーションプログラム１３０が、現時点の追跡出力１２４からの追跡対象の情報を使用したら、変更済みのビデオデータが、その上部における表示のために表示装置１４０に提供される。表示装置１４０は、当業者には、理解されるように、コンピュータシステム、テレビ、モニタ、又は任意のその他のタイプの電子表示装置であってよいことを理解されたい。

【0038】

いずれにしても、特徴対応性検出モジュール１２１を再度参照すれば、画像データ（例えば、フレーム）が、ビデオフレームシーケンスの一部として継続的に受け取られると共に処理されるのに伴って、例えば、特徴対応性検出モジュール１２１は、それぞれの現時点のフレームと基準フレームの間の特徴対応性の数を算出し、且つ、この数を既定の閾値Ｎ＿ｍｉｎに照らして比較することを継続する。検出された特徴対応性の数が既定の閾値Ｎ＿ｍｉｎ未満に降下した場合には、ハイブリッド追跡システム１２０は、第２の又は「フォールバック（ｆａｌｌ ｂａｃｋ）」の追跡アルゴリズムに「フォールバック」することになり、これは、例えば、カメラ１１０から受け取られたビデオデータ内のオブジェクトの追跡を開始するテンプレート追跡モジュール１２３によって実装することができる。

【0039】

従って、例示用の実施形態によれば、第２追跡モジュールは、テンプレート追跡モジュール１２３であり、これは、例えば、概略的な（平行運動の）モーションを推定するべく、正規化相互相関又は「ＮＣＣ：ｎｏｒｍａｌｉｚｅｄ ｃｒｏｓｓ－ｃｏｒｒｅｌａｔｉｏｎ」を使用することにより、基準フレームと現時点のフレームの間においてモーションを直接的に見出すように構成されている。例えば、一態様においては、テンプレート追跡モジュール１２３は、「“Ｆａｓｔ Ｔｅｍｐｌａｔｅ Ｍａｔｃｈｉｎｇ”ｔｏ Ｌｅｗｉｓ，Ｖｉｓｉｏｎ Ｉｎｔｅｒｆａｃｅ ９５，Ｃａｎａｄｉａｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｓｏｃｉｅｔｙ，ｐｐ．１２０－１２３（２００６）（以下、“Ｌｅｗｉｓ”）」において記述されているように、概略的な（平行運動の）モーションを推定するべく、ＮＣＣを使用しており、この文献の内容は、引用により、本明細書に包含される。更には、この推定されたモーションには、ビデオデータ内のオブジェクトの完全なアフィン又は射影モーションを取得するべく、例えば、Ｓｚｅｌｉｓｋｉにおいて記述されているように、パラメトリックオプティカルフローリファインメントが後続している。例示用の一態様においては、テンプレート追跡モジュール１２３は、その複雑性が追跡対象の特徴の面積にほぼ比例している高速フーリエ変換（「ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ」）に基づいた相関アルゴリズムによってＮＣＣを算出するように構成されている。スパースオプティカルフローモーション推定アルゴリズム（例えば、Ｌｕｃａｓ－Ｋａｎａｄｅアルゴリズム）とは異なり、パラメトリックオプティカルフローは、アフィン又は射影モーションモデルを仮定しており、且つ、安定した確率論的オプティカルフローモデルを利用することにより、モーションモデルのパラメータを最適化している。例示用の態様においては、確率論的モデルは、画像の間において追跡されているスパースコーナーではなく、画像ピクセル（即ち、グレー値）を直接的にモデル化している点を除いて、オブジェクトパターン追跡モジュール１２２によって実行されるアルゴリズムのものに類似している。テンプレート追跡モジュール１２３は、小さな特徴の場合にも良好に機能する。その理由は、これが、モーション推定の複雑さは、特徴の面積に比例しているものの、利用可能な画像情報を十分に利用することができるからである。

【0040】

例示用の態様に従い、追跡器又は追跡アルゴリズムは、基準フレーム内の検出された特徴と、基準フレームと現時点のフレームの間の特徴対応性と、に基づいていることを理解されたい。従って、この態様においては、システム及び方法は、オブジェクトパターンを検出し、且つ、このパターンを既定の閾値レベルと比較している。その結果、次いで、ハイブリッド追跡システム１２０は、比較結果に基づいて、所与の画像フレームについてオブジェクトを追跡するべく、相対的に高速である、又は最高速である、追跡器を選択する。換言すれば、比較結果の後に、ハイブリッド追跡システム１２０は、第２追跡器（例えば、テンプレートに基づいた追跡器）ではなく、第１追跡器（例えば、コーナー又は特徴に基づいた追跡器）を選択するように構成されており、その理由は、第１追跡器は、第２追跡器よりも高速に現時点のフレーム内のオブジェクトを追跡することになるからである。次いで、このプロセスは、ビデオファイルのシーケンス内のそれぞれのフレームごとに、反復することができる。

【0041】

図２Ａは、例示用の一態様による特徴対応性検出モジュール１２１によって分析される例示用の基準フレームを示している。この例においては、基準フレームは、規定された領域２１０と、例によれば、女性の顔面であり、且つ、ユーザーによって指定されうる、追跡対象のオブジェクト２２０と、を含む。上述のように、特徴対応性検出モジュール１２１は、検出及び追跡対象のオブジェクト２２０内において識別可能である特徴の数を識別及びカウントするように構成されている。

【0042】

図２Ｂは、図２Ａに示されている例示用の基準フレームの拡大図を示している。この例において示されているように、特徴対応性検出モジュール１２１は、黒色ベクトルによって示されている複数の正常値（例えば、正常値２３０）と、白色ベクトルを有する複数の異常値（例えば、異常値２４０）と、を検出している。この例においては、特徴対応性検出モジュール１２１は、合計で４７個のコーナー（即ち、特徴）を検出している。更には、上述のように、検出されたコーナーのこの数が、上述のように、オブジェクト追跡が、オブジェクトパターン追跡モジュール１２２によって実行されるのか、或いは、テンプレート追跡モジュール１２３によって実行されるのか、を判定するべく、既定の閾値Ｎ＿ｍｉｎに照らして比較されている。

【0043】

本明細書において開示されている例示用のハイブリッド追跡システムの技術的利点を強調するべく、図３Ａは、例示用の追跡モジュールを使用した特徴サイズ対追跡時間の模擬比較を示すグラフを示している。図示のように、グラフは、本明細書において開示されているオブジェクトパターン追跡モジュール１２２及びテンプレート追跡モジュール１２３を使用したアフィン及び射影追跡を示している。

【0044】

この例においては、グラフは、ピクセル（即ち、「ｐｅｌ」）を単位とする特徴サイズをミリ秒（ｍｓ）／フレームを単位とする追跡時間と比較している。更には、この模擬結果は、１９２０×１０８０ｐのシーケンスを使用しており、且つ、マスク形状の更新を伴うことなしに、様々なサイズの正方形特徴を追跡している。図示のように、例示用の特徴サイズは、ピクセルを単位として、５０×５０、７０×７０、１００×１００、１５０×１５０、２００×２００、３００×３００、及び５００×５００である。追跡モジュールの性能は、主には、画像コンテンツに依存しているが、このグラフは、代表的な結果を示していることを理解されたい。理解されうるように、オブジェクトパターン追跡モジュール１２２を使用した追跡時間は、小さな追跡対象のオブジェクトの場合には（即ち、ピクセルを単位とした特徴サイズが、例えば、１００未満である際には）、格段に長い。特徴サイズが、この閾値を超えて増大するのに伴って、テンプレート追跡モジュール１２３の追跡時間も、増大し、且つ、同一のオブジェクトにおけるオブジェクトパターン追跡モジュール１２２の追跡時間よりも大きくなる。

【0045】

このタイプのシミュレーションは、上述のように、オブジェクトパターン追跡モジュール１２２又はテンプレート追跡モジュール１２３のいずれが、オブジェクトを追跡するべく使用されるのかを制御するための検出済みの特徴の閾値Ｎ＿ｍｉｎの事前定義を支援するべく、使用されうることを理解されたい。図３Ｂは、特徴サイズとそれぞれの特徴サイズごとに確実に追跡されたコーナーの数との間の対応性の一例を示すグラフを示している。図示のように、ピクセルを単位とする特徴サイズが増大するのに伴って、確実に追跡されうるコーナーの数も、増大している。従って、図３Ａ及び図３Ｂのグラフを一緒に観察した際に、テンプレート追跡モジュール１２３の複雑さが、特徴の面積にほぼ比例している一方で、オブジェクトパターン追跡モジュール１２２のものは、特徴サイズが大きくなる、或いは、コーナーの数がＮ＿ｍａｘ＝２５６に飽和する、のに伴って、ほぼ一定であることが明らかである。従って、オブジェクトパターン追跡モジュール１２２は、大きな特徴の場合には、テンプレート追跡モジュール１２３よりも格段に高速であるが、小さな特徴の場合には、低速であることが容易に理解される。従って、例示用の実施形態においては、検出済みの特徴の閾値Ｎ＿ｍｉｎは、上述のように、ほぼ、３２又は６４に等しくなりうる。

【0046】

例示用の実施形態は、それぞれのフレームごとに使用するべき追跡器を判定するべく、基準内の検出された特徴のみならず、特徴対応性を既定の閾値Ｎ＿ｍｉｎと比較しているが、代替実施形態においては、ハイブリッド追跡システム１２０は、（例えば、ピクセルの観点におけるサイズに基づいた）追跡対象のオブジェクトのサイズを既定のサイズ閾値（例えば、１５０×１５０ピクセル）と比較するように構成されている。基準フレーム内の追跡対象のオブジェクトのサイズが既定のサイズ閾値超である場合には、ハイブリッド追跡システム１２０は、現時点のフレーム内のオブジェクトを追跡するべく、第１追跡器（例えば、特徴又はコーナーに基づいた追跡器）を開始することになる。更には、追跡対象のオブジェクトのサイズが、既定のサイズ閾値未満に降下した場合には、ハイブリッド追跡システム１２０は、現時点のフレーム内のオブジェクトを追跡するべく、第２追跡器（例えば、テンプレートに基づいた追跡器）に「フォールバック」することになる。

【0047】

図４は、例示用の一実施形態によるマッチムーブ用のハイブリッド追跡の方法のフローチャートを示している。以下において詳述するように、図示の方法は、検出された特徴対応性の数の観点における単純な基準により、フレームのシーケンスの規定された領域内のオブジェクトの追跡を実行する前に、使用するべきベース追跡器を判定している。一般に、ハイブリッド追跡システム１２０は、基準フレームと現時点のフレームの間の検出された特徴対応性の数に基づいて、第１追跡アルゴリズム（例えば、特徴に基づいた追跡）を実行すると共に第２追跡アルゴリズム（例えば、テンプレートに基づいた追跡）にフォールバックするように構成されるものと想定される。例えば、基準フレーム内の検出された特徴の数は、Ｎによって表記することができる。この検出された特徴の数Ｎが、既定の閾値レベル以上である場合に、ハイブリッド追跡システム１２０は、第１追跡アルゴリズムを開始することになり、第１追跡アルゴリズムは、例えば、検出された対応性からモーションを推定するコーナー追跡器であってよい。或いは、この代わりに、検出された特徴の数Ｎが、既定の閾値レベル未満である場合には、ハイブリッド追跡システム１２０は、第２追跡アルゴリズムに切り替わり（即ち、「フォールバック」し）、この第２追跡アルゴリズムは、テンプレート追跡器であってよい。この例において、ハイブリッド追跡システム１２０は、（存在する場合に）基準フレームと現時点のフレームの間の検出された対応性を破棄している。但し、この対応性の検出に起因したオーバーヘッド（その演算的な複雑さは、Ｎにほぼ比例している）は、無視可能であり、その理由は、第２追跡アルゴリズムが、Ｎが閾値未満である際にのみ、使用されており、その結果、Ｎが、必ず小さいからである。対照的に、従来のハイブリッド追跡システムは、上述のように、まず、完全な追跡ステップが実行された後にのみ、切替基準を実行することができる。開示されている追跡アルゴリズムは、ビデオシーケンス内のそれぞれのフレームごとに使用するべき追跡器を独立的に判定することにより、追跡速度を大幅に改善すると共にコンピュータシステムリソースの消費量を低減している。

【0048】

図４は、２つの追跡アルゴリズムとして、オブジェクトパターンに基づいた追跡及びテンプレート追跡を使用する方法を示しているが、その他の実施形態においては、代替追跡方法を使用しうることを理解されたい。以下に詳述するように、方法は、それぞれのフレームごとにオブジェクト追跡を実行する前に、フレームごとに使用するべき追跡アルゴリズムを識別している点が重要である。換言すれば、追跡パターン選択器は、追跡タイプの選択が、システムの以前の状態（即ち、以前の画像フレームについて選択されたオブジェクト追跡タイプ）とは独立的に実行されるように、ビデオ内の画像のシーケンス内の複数の画像のそれぞれの画像フレームごとに別個にオブジェクト追跡のタイプを選択している。この結果、ビデオシーケンス内のオブジェクトにおける全体的な追跡速度を大幅に改善することができる。

【0049】

具体的には、まず、ステップ４０５において示されているように、基準フレーム及びフレームのシーケンスの現時点のフレームが、例示用のハイブリッド追跡システム１２０によって受け取られている。次いで、ステップ４１０において、特徴対応性検出モジュール１２１が、基準フレームを分析し、且つ、基準フレームの規定された領域内の特徴（例えば、コーナー）の数を検出している。例えば、図２Ｂを参照すれば、規定された領域２１０は、追跡対象のオブジェクト２２０を含み、且つ、特徴対応性検出モジュール１２１は、特徴（例えば、正常値２３０及び異常値２４０）の数を検出するように構成されている。この例においては、特徴は、コーナーであり、且つ、検出されたコーナーの数は、４７である。一態様においては、特徴対応性検出モジュール１２１は、規定された領域内のオブジェクトのＮ＿ｍａｘ以下の数の特徴（例えば、２５６個の特徴／コーナー）を検出している。

【0050】

更に図示されているように、ステップ４１５において、特徴対応性検出モジュール１２１は、検出された特徴の数を既定の閾値Ｎ＿ｍｉｎ（例えば、３２）と比較しており、Ｎ＿ｍｉｎは、最小検出特徴閾値と見なすことができる。例示用の一態様においては、基準フレーム内の検出されたオブジェクト特徴の数が、既定の閾値Ｎ＿ｍｉｎ未満である場合に、特徴対応性検出モジュール１２１の追跡パターン選択器は、画像のシーケンス内のオブジェクトを追跡するべく、第１タイプのオブジェクト追跡（例えば、テンプレートに基づいた追跡）を自動的に選択するように構成されている。

【0051】

現時点の例においては、検出された特徴の数（即ち、４７）は、既定の閾値Ｎ＿ｍｉｎ（即ち、３２）よりも大きいことから、方法は、基準フレームと現時点のフレームの間の特徴対応性の数を判定するべく、ステップ４２０に進むことになる。ステップ４２５において、特徴対応性検出モジュール１２１は、基準フレームと現時点のフレームの間の特徴対応性の数を既定の閾値Ｎ＿ｍｉｎと比較している。特徴対応性の数が、この閾値を充足している場合には、上述のように、ステップ４３０において、ハイブリッド追跡システム１２０は、オブジェクトパターン追跡モジュール１２２により、特徴追跡（即ち、コーナー追跡）を開始する。或いは、この代わりに、ステップ４２５において、検出された特徴対応性の数が、既定の閾値Ｎ＿ｍｉｎ未満であると判定された場合には、方法は、例示用の一実施形態によれば、テンプレート追跡モジュール１２３により、テンプレート追跡を実行するべく、ステップ４３５に進むことになる。

【0052】

従って、図示のように、検出された特徴及び特徴対応性がオブジェクト特徴の既定の閾値レベルを充足していると仮定することにより、特徴に基づいた追跡をハイブリッド追跡システム１２０用の既定の追跡メカニズムとして実装することができる。この態様の一変形においては、オブジェクトの追跡は、ステップ４１５において、検出された特徴の数が既定の閾値Ｎ＿ｍｉｎ超である際にのみ、開始されることになる。従って、基準フレーム内の検出された特徴用のこの既定の閾値Ｎ＿ｍｉｎが充足されない場合には、ハイブリッド追跡システム１２０は、検出可能なコーナーについて、分析対象の次の基準フレームを単純に待つことになる。但し、図４に示されているように、基準フレーム内の検出された特徴の既定の閾値Ｎ＿ｍｉｎが充足されない場合には、方法は、テンプレート追跡を開始するべく、ステップ４３５に進むことになる。

【0053】

いずれの場合にも、本明細書において開示されているハイブリッド追跡システム及び方法は、図４に示されているアルゴリズムが、ビデオフレームのシーケンスのすべての新しいフレームを受け取った際に実行される、という点において、状態なし（ｓｔａｔｅｌｅｓｓ）であることを理解されたい。それぞれの新しいフレームを受け取った際に、特徴対応性検出モジュール１２１は、基準フレームと現時点のフレームの間において、ステップ４２０において、特徴対応性の数を判定している。従って、ビデオファイルのシーケンスのそれぞれのフレームは、システムが、そのフレームのオブジェクトの特徴追跡を実行するのか又はテンプレート追跡を実行するのかを判定するべく、別個に分析されている。それぞれの後続のフレーム内の検出された特徴対応性の数が、既定の閾値Ｎ＿ｍｉｎレベル超である限り、オブジェクトは、ステップ４３０において、オブジェクトパターン追跡モジュール１２２を使用することにより、追跡される。フレームのシーケンスの特定のフレーム内のこの検出された特徴の数が、ステップ４２５において、既定の閾値Ｎ＿ｍｉｎ未満に降下したら、ハイブリッド追跡システム１２０は、ステップ４３５において、テンプレート追跡にフォールバックしている。

【0054】

図４には示されていないが、オブジェクトパターン追跡モジュール１２２又はテンプレート追跡モジュール１２３からの追跡出力は、１つ又は複数のアプリケーションプログラム１３０に出力されていることに改めて留意されたい。この情報は、ビデオフレームの領域内の追跡対象の特徴の場所、サイズ、向き、及びその他の関連する追跡対象データを含む。一例として、アプリケーションプログラム１３０は、次いで、表示装置１４０に出力される前に、追跡対象のオブジェクトに対して視覚効果を提供することができる。

【0055】

図５は、開示されているシステム及び方法が例示用の一態様に従って実装されうる汎用コンピュータシステム（パーソナルコンピュータ又はサーバーであってよい）の一例を示している。図１との関係において上述したハイブリッド追跡システム１００を実装するべく、詳述される汎用コンピュータシステムを提供しうることを理解されたい。

【0056】

図示のように、コンピュータシステム２０は、中央処理ユニット２１と、システムメモリ２２と、中央処理ユニット２１と関連するメモリを含む様々なシステムコンポーネントを接続するシステムバス２３と、を含む。例えば、コンピュータシステム２０は、例示用の一態様によれば、ハイブリッド追跡システム１２０に対応しうる。そして、更には、システムバス２３は、任意のその他のバスアーキテクチャとやり取りしうるバスメモリ又はバスメモリコントローラ、周辺バス及びローカルバスを含む従来技術において既知である任意のバス構造と同様に、実現される。システムメモリは、読み出し専用メモリ（ＲＯＭ：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）２４と、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）２５と、を含む。基本入出力システム（ＢＩＯＳ：ｂａｓｉｃ ｉｎｐｕｔ／ｏｕｔｐｕｔ ｓｙｓｔｅｍ）２６は、ＲＯＭ２４の使用を伴うオペレーティングシステムの読み込み時点におけるものなどの、パーソナルコンピュータ２０の要素の間の情報の転送を保証する基本手順を含む。

【0057】

パーソナルコンピュータ２０は、順番に、データの読取り及び書込みのためのハードディスク２７、着脱自在の磁気ディスク２９上における読取り及び書込み用の磁気ディスクドライブ２８、並びに、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、及びその他の光情報媒体などの着脱自在の光ディスク３１上における読取り及び書込み用の光ディスク３０を含む。ハードディスク２７、磁気ディスクドライブ２８、及び光ドライブ３０は、それぞれ、ハードディスクインターフェイス３２、磁気ディスクインターフェイス３３、及び光ドライブインターフェイス３４を介してシステムバス２３に接続されている。ドライブ及び対応するコンピュータ情報媒体は、パーソナルコンピュータ２０のコンピュータ命令、データ構造、プログラムモジュール、及びその他のデータの保存用の独立電源型のモジュールである。

【0058】

本開示は、ハードディスク２７、着脱自在の磁気ディスク２９、及び着脱自在の光ディスク３１を使用するシステムの例示用の一実装形態を提供しているが、コントローラ５５を介してシステムバス２３に接続された、コンピュータによって読取り可能である形態（半導体ドライブ、フラッシュメモリカード、デジタルディスク、ランダムアクセスメモリ（ＲＡＭ）など）においてデータを保存することができるその他のタイプのコンピュータ情報媒体５６を利用することができることを理解されたい。

【0059】

コンピュータ２０は、ファイルシステム３６を有しており、この内部には、記録されたオペレーティングシステム３５のみならず、更なるプログラムアプリケーション３７、その他のプログラムモジュール３８、及びプログラムデータ３９も、維持されている。一態様においては、プログラムアプリケーション３７及び／又はプログラムモジュール３８は、上述の追跡モジュール（即ち、特徴対応性検出モジュール１２１、オブジェクトパターン追跡モジュール１２２、及びテンプレート追跡モジュール１２）のみならず、アプリケーションプログラム１３０に対応しうる。

【0060】

一態様においては、ユーザー（即ち、システム管理者）は、入力装置（キーボード４０、マウス４２）を使用することにより、コマンド及び情報をパーソナルコンピュータ２０に入力することができる。マイクロフォン、ジョイスティック、ゲームコントローラ、スキャナなどのような、その他の入力装置（図示されてはいない）を使用することもできる。このような入力装置は、通常、シリアルポート４６を通じてコンピュータシステム２０にプラグ接続され、これが、今度は、システムバスに接続されているが、これらは、例えば、パラレルポート、ゲームポート、又はユニバーサルシリアルバス（ＵＳＢ：ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ）の支援により、その他の方法で接続することができる。また、モニタ４７又は（表示装置１４０に対応する）その他のタイプの表示装置も、ビデオアダプタ４８などの、インターフェイスに跨ってシステムバス２３に接続されている。モニタ４７に加えて、パーソナルコンピュータは、ラウドスピーカやプリンタなどのようなその他の周辺出力装置（図示されてはいない）を装備することができる。

【0061】

パーソナルコンピュータ２０は、１つ又は複数のリモートコンピュータ４９に対するネットワーク接続を使用することにより、ネットワーク環境内において動作することができる。また、１つ又は複数のリモートコンピュータ４９も、パーソナルコンピュータ２０の特性について記述した際の上述の要素の大多数又はすべてを有するパーソナルコンピュータ又はサーバーである。また、ルーター、ネットワークステーション、ピア装置、又はその他のネットワークノードなどの、その他の装置も、コンピュータネットワーク内に存在しうる。一態様によれば、１つ又は複数のリモートコンピュータ４９は、例えば、表示装置１４０に対応しうる。

【0062】

ネットワーク接続は、有線及び／又は無線ネットワークなどの、ローカルエリアコンピュータネットワーク（ＬＡＮ：ｌｏｃａｌ－ａｒｅａ ｃｏｍｐｕｔｅｒ ｎｅｔｗｏｒｋ）５０及びワイドエリアコンピュータネットワーク（ＷＡＮ：ｗｉｄｅ－ａｒｅａ ｃｏｍｐｕｔｅｒ ｎｅｔｗｏｒｋ）を形成しうる。このようなネットワークは、企業コンピュータネットワーク及び内部企業ネットワーク内において使用されており、且つ、これらは、インターネットに対するアクセスを一般に有する。ＬＡＮ又はＷＡＮネットワーク内において、パーソナルコンピュータ２０は、ネットワークアダプタ又はネットワークインターフェイス５１に跨ってローカルエリアネットワーク５０に接続されている。ネットワークが使用される際には、パーソナルコンピュータ２０は、インターネットなどのワイドエリアコンピュータネットワークとの間の通信を提供するモデム５４又はその他のモジュールを利用することができる。内部又は外部装置であるモデム５４は、シリアルポート４６によってシステムバス２３に接続されている。これらのネットワーク接続は、例であるに過ぎず、且つ、ネットワークの正確な構成を描くものではなく、即ち、現実には、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの、技術的通信モジュールによって１つのコンピュータから別のものへの接続を確立するその他の方法が存在していることに留意されたい。

【0063】

様々な態様においては、本明細書において記述されているシステム及び方法は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組合せにおいて実装することができる。ソフトウェアにおいて実装された場合に、方法は、一時的ではないコンピュータ可読媒体上において１つ又は複数の命令又はコードとして保存することができる。コンピュータ可読媒体は、データストレージを含む。例として、且つ、限定を伴うことなしに、このようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ、Ｆｌａｓｈメモリ、又はその他のタイプの電気、磁気、又は光ストレージ媒体、或いは、命令又はデータ構造の形態において望ましいプログラムコードを担持又は保存するべく使用されうると共に汎用コンピュータのプロセッサによってアクセスされうる任意のその他の媒体を有することができる。

【0064】

わかりやすさを目的として、態様の一般的な特徴のすべてが、本明細書において開示されているわけではない。本開示の任意の実際の実装形態の開発においては、開発者の特定の目標を実現するべく、多数の実装固有の決定を下す必要があり、且つ、これらの特定の目標は、異なる実装形態及び異なる開発者ごとに変化することになることを理解されたい。このような開発の努力は、複雑なものになりうると共に時間を所要しうるが、それにも拘らず、本開示の利益を有する当業者にとっては、工学技術の日常的な実施となるであろうことを理解されたい。

【0065】

更には、態様は、以上において概説した例示用の実装形態との関連において記述されているが、当業者には、既知であるのか、或いは、現在は予期されないのか又は現在は予期されえないのか、を問わず、様々な代替肢、変更、変形、改善、及び／又は実質的な均等物が明らかとなりうる。従って、上述のように、本発明の例示用の実装形態は、限定ではなく、例示を意図したものである。態様の精神及び範囲を逸脱することなしに、様々な変更を実施することができる。従って、態様は、すべての既知の又は将来開発される代替肢、変更、変形、改善、及び／又は実質的な均等物を包含するものと解釈されたい。

【0066】

従って、請求項は、本明細書において示されている態様に限定されることを意図したものではなく、言語請求項と一貫性を有する十分な範囲の付与を要するものであり、この場合に、単数形の要素に対する参照は、その旨が具体的に記述されていない限り、「１つの且つ１つだけの（ｏｎｅ ａｎｄ ｏｎｌｙ ｏｎｅ）」を意味するべく意図したものではなく、むしろ、「１つ又は複数の（ｏｎｅ ｏｒ ｍｏｒｅ）」を意味することを意図したものである。具体的にそうではない旨が記述されていない限り、「いくつかの（ｓｏｍｅ）」という用語は、１つ又は複数を意味している。当業者には既知の、又は将来既知となる本開示の全体を通じて記述されている様々な態様の要素のすべての構造的且つ機能的均等物は、引用により、本明細書において明示的に内蔵され、且つ、請求項によって包含されることが意図されている。更には、本明細書において開示されているものは、そのような開示が請求項において明示的に記述されているかどうかとは無関係に、そのいずれもが、公有となることを意図したものではない。請求項要素は、要素が「ｍｅａｎｓ ｆｏｒ」というフレーズを使用して明示的に記述されていない限り、ミーンズプラスファンクションとして解釈してはならない。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4】

【図5】