知財求人 - 知財ポータルサイト「IP Force」
▶ ビーエイイー・システムズ・インフォメーション・アンド・エレクトロニック・システムズ・インテグレイション・インコーポレーテッドの特許一覧
特表2024-505548ビデオ活用のためのフルモーションビデオ像からの焼き付け除去
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-06
(54)【発明の名称】ビデオ活用のためのフルモーションビデオ像からの焼き付け除去
(51)【国際特許分類】
G06T 7/215 20170101AFI20240130BHJP
【ＦＩ】
G06T7/215
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023546359
(86)(22)【出願日】2022-01-28
(85)【翻訳文提出日】2023-09-21
(86)【国際出願番号】 US2022014266
(87)【国際公開番号】W WO2022177722
(87)【国際公開日】2022-08-25
(31)【優先権主張番号】17/162,988
(32)【優先日】2021-01-29
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】519100985
【氏名又は名称】ビーエイイー・システムズ・インフォメーション・アンド・エレクトロニック・システムズ・インテグレイション・インコーポレーテッド
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】ラマクリシュナン、ソウミャ
(72)【発明者】
【氏名】フォンホルテン、エイミー
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096BA08
5L096CA04
5L096DA01
5L096EA03
5L096EA06
5L096HA03
5L096HA08
(57)【要約】
フルモーションビデオ（ＦＭＶ）像から焼き付けを除去するシステムおよび方法。いくつかの場合には、本技法は、科学捜査または軍事適用例における前処理ステップである。本システムおよび方法は、フルモーションビデオ画像中の１つまたは複数の焼き付けオーバーレイエリアを識別し、１つまたは複数の焼き付けオーバーレイエリアのマスクを作成する。適合された強度が、マスク中の複数のピクセルについて作成される。いくつかの場合には、適合された強度を作成するために、インペインティングが、フルモーションビデオ画像の中心部分において使用され、順序フィルタ処理が、フルモーションビデオ画像の周辺上で使用される。
【特許請求の範囲】
【請求項1】
フルモーションビデオ像からの焼き付けデータの除去のための方法であって、フルモーションビデオ画像中の１つまたは複数の焼き付けオーバーレイエリアを識別することと、
前記１つまたは複数の焼き付けオーバーレイエリアのマスクを作成することと、前記マスクが複数のピクセルを備える、
前記マスクを拡張することと、
前記拡張されたマスクの少なくとも一部分を、ピクセル置き換えセクションに供給することと、ここにおいて、前記一部分が、前記１つまたは複数の焼き付けオーバーレイエリアと、前記１つまたは複数の焼き付けオーバーレイエリアに近接した複数の近隣ピクセルとを備える、
複数の近隣ピクセルに基づいて、前記拡張されたマスクの前記一部分中の前記複数のピクセルについて、適合された強度を作成することと、
得られた画像を形成するために、適合された強度で、前記１つまたは複数の焼き付けオーバーレイエリア中の前記複数のピクセルを充填することによって、前記１つまたは複数の焼き付けオーバーレイエリアを置き換えることと
を備える、方法。
【請求項2】
１つまたは複数の検出を取得するために、前記得られた画像をビデオ処理にかけることをさらに備える、請求項１に記載の方法。
【請求項3】
前記得られた画像が、リアルタイムでのビデオ処理ステップのために準備される、請求項１に記載の方法。
【請求項4】
前記マスクが、色空間分解方法を使用して作成される、請求項１に記載の方法。
【請求項5】
色空間分解を介して生成されるマスクが、ＲＧＢ画像をＹＣｂＣｒ色空間に変換することによって始まる、請求項４に記載の方法。
【請求項6】
適合されたピクセルで、１つまたは複数の焼き付けエリアを自動的に置換することが、インペインティングと順序フィルタ処理とを介したものである、請求項１に記載の方法。
【請求項7】
インペインティングが、前記フルモーションビデオ画像の中心部分において使用され、順序フィルタ処理が、前記フルモーションビデオ画像の周辺上で使用される、請求項６に記載の方法。
【請求項8】
バイナリマスクが作成される、請求項１に記載の方法。
【請求項9】
前記バイナリマスクが、前記インペインティングアルゴリズムに供給される、請求項８に記載の方法。
【請求項10】
命令が符号化されている１つまたは複数の非一時的機械可読媒体を含むコンピュータプログラム製品であって、前記命令は、１つまたは複数のプロセッサによって実行されたとき、フルモーションビデオ像からの焼き付けの除去のためのプロセスが行われることを引き起こし、前記プロセスは、フルモーションビデオ画像中の１つまたは複数の焼き付けオーバーレイエリアを識別することと、
前記１つまたは複数の焼き付けオーバーレイエリアのマスクを作成することと、前記マスクが複数のピクセルを備える、
前記マスクを拡張することと、
前記マスクの少なくとも一部分を、インペインティングアルゴリズムに供給することと、
近隣アンマスクピクセルに基づいて、前記マスク中の前記複数のピクセルについて、適合された強度を作成することと、
得られた画像を形成するために、適合された強度で、前記マスク中の前記複数のピクセルを充填することによって、前記１つまたは複数の焼き付けオーバーレイエリアを除去することと、
１つまたは複数の検出を取得するために、前記得られた画像をビデオ処理にかけることと
を備える、コンピュータプログラム製品。
【請求項11】
前記得られた画像が、リアルタイムでのビデオ処理ステップのために準備される、請求項９に記載のコンピュータプログラム製品。
【請求項12】
前記マスクが、色空間分解方法を使用して作成される、請求項９に記載のコンピュータプログラム製品。
【請求項13】
色空間分解を介して生成されるマスクが、ＲＧＢ画像をＹＣｂＣｒ色空間に変換することによって始まる、請求項１１に記載のコンピュータプログラム製品。
【請求項14】
適合されたピクセルで、１つまたは複数の焼き付けエリアを自動的に置換することが、インペインティングと順序フィルタ処理とを介したものである、請求項９に記載のコンピュータプログラム製品。
【請求項15】
インペインティングが、前記フルモーションビデオ画像の中心部分において使用され、順序フィルタ処理が、前記フルモーションビデオ画像の周辺上で使用される、請求項１３に記載のコンピュータプログラム製品。
【請求項16】
バイナリマスクが作成される、請求項９に記載のコンピュータプログラム製品。
【請求項17】
前記バイナリマスクが、前記インペインティングアルゴリズムに供給される、請求項１５に記載のコンピュータプログラム製品。
【請求項18】
フルモーションビデオ像からの焼き付けの除去のための方法であって、フルモーションビデオ画像中の１つまたは複数の焼き付けオーバーレイエリアを識別することと、
前記１つまたは複数の焼き付けオーバーレイエリアのマスクを作成することと、前記マスクが複数のピクセルを備える、
前記マスクを拡張することと、
前記マスクの少なくとも一部分を、インペインティングアルゴリズムに供給することと、
近隣アンマスクピクセルに基づいて、前記マスク中の前記複数のピクセルについて、適合された強度を作成することと、ここにおいて、前記適合された強度を作成するために、インペインティングが、前記フルモーションビデオ画像の中心部分において使用され、順序フィルタ処理が、前記フルモーションビデオ画像の周辺上で使用される、
得られた画像を形成するために、適合された強度で、前記マスク中の前記複数のピクセルを充填することによって、前記１つまたは複数の焼き付けオーバーレイエリアを除去することと、
１つまたは複数の検出を取得するために、前記得られた画像をビデオ処理ステップにかけることと
を備える、方法。
【発明の詳細な説明】
【技術分野】
【0001】
政府の利益に関する声明
[0001]本開示は、米陸軍通信用電子機器研究開発センター（ＣＥＲＤＥＣ：Communications-Electronics Research Development and Engineering Center）によって与えられた技術情報エンジニアリングサービス（ＴＩＥＳ：Technical Information Engineering Services）下請契約番号Ｓ１８－１００８０下での契約番号Ｗ５６ＫＧＵ－１５－Ｄ－０００７下で、米国政府の支援を受けて行われた。米国政府は、本発明におけるいくつかの権利を有する。
[0001]本開示は、米陸軍通信用電子機器研究開発センター（ＣＥＲＤＥＣ：Communications-Electronics Research Development and Engineering Center）によって与えられた技術情報エンジニアリングサービス（ＴＩＥＳ：Technical Information Engineering Services）下請契約番号Ｓ１８－１００８０下での契約番号Ｗ５６ＫＧＵ－１５－Ｄ－０００７下で、米国政府の支援を受けて行われた。米国政府は、本発明におけるいくつかの権利を有する。
【0002】
[0002]本開示は、フルモーションビデオ（ＦＭＶ）像処理に関し、より詳細には、脅威検出（threat detection）、自動ターゲット認識などのために有用なさらなるビデオ活用パイプラインにおいて使用するためのフルモーションビデオ像についての焼き付け（burn-in）除去技法に関する。
【背景技術】
【0003】
[0003]ほぼすべての動作フルモーションビデオ（ＦＭＶ）には、メタデータを像に組み込む焼き付けが存在する。いくつかの例では、ロケーション座標（緯度／経度／高度）などのセンサーメタデータ、プラットフォームヨー／ピッチ／ロール、および他のユーザインターフェース／ジオ空間データが、ビデオ収集プロセスの一部として、ＦＭＶ像上にオーバーレイとして焼き付けられる。いくつかの実施形態では、焼き付けは、収集された画像上に以下のオーバーレイ、すなわち（ｉ）日付、タイムスタンプ、フレーム番号、ロケーションなどのコレクションメタデータ、（ｉｉ）モダリティ、視野（ＦＯＶ）、見通し線（ＬＯＳ）などのセンサーメタデータ、（ｉｉｉ）十字線、焦点領域、動作モード（たとえば、自動／手動）などのユーザインターフェース（ＵＩ）データ、（ｉｖ）スケール、北方向マーカーおよび／または矢印などのジオ空間データ、（ｖ）慣性ナビゲーションシステム（ＩＮＳ）、テレメトリ／レーダーシステム、ジャイロメータ、加速度計、システムエラーインジケータなどからの読取値、のいずれかまたはサブセットを含み得る。
【0004】
[0004]自動ターゲット検出、追跡および認識アルゴリズムは、これらのオーバーレイによってもたらされるクラッターにより、焼き付けられたセンサーメタデータおよび他のＵＩ／ジオ空間データを有するこれらのビデオを処理するように要求される。焼き付けの存在は、ＦＭＶ像の自動化されたビデオ活用中のフレーム間位置決め（frame-to-frame registration）に悪影響を及ぼす。フレーム間位置決めは、移動ターゲット検出、多くの追跡アルゴリズムについての主要な基礎を助ける。明らかなカメラモーション（ジッタ）を補正するためのフレーム間位置決めは、現在フレームからの特徴点と、前のフレーム中の近隣画像エリアにおける対応する特徴点とを抽出する。連続フレーム中のこれらの特徴点を適合させることが、フレームを互いに整合させる。焼き付けは、大量のテキストおよび番号が画像上にオーバーレイされる傾向があり、その画像エッジ／隅が、多数の偽の特徴点を誘発する。これは、フレームが、実際の画像特徴からではなく焼き付けからの特徴点に主に基づいて、整合することを引き起こす。したがって、焼き付けは、連続フレームの整合、すなわちフレーム間ホモグラフィを損なう。したがって、焼き付けは、フレーム間位置決めにとっての障害であり、自動化された活用パイプラインにおけるターゲット検出、追跡などのためのさらなるダウンストリームでの使用のために、正確にフレームを整合させるために除去される必要がある。
【0005】
[0005]焼き付けの存在は、ビデオ活用システムにおける背景モデリングにも、悪影響を及ぼす。自動化されたビデオ活用パイプラインにおいて検出および追跡を実行するために画像の前景エリアを識別するために、正確な背景モデリングが必要である。背景は一般に、画像から学習またはモデル化され、画像の移動するエリアをモーションブロブ（motion-blob）として識別するために背景減算を実施するために、フレームの差分がとられる。ブロブ検出は、周囲の領域と比較して、輝度または色などの性質が異なる、デジタル画像中の領域を検出することを指す。焼き付けのうちのいくつかは、しばしば動的である。たとえば、北方向マーカーおよび矢印は、収集中にカメラが動くにつれて、画像の周りを動く。焼き付け、ロケーション座標などとして表示される計器読取値は、フルモーションビデオにおいて常に変化している。これは背景モデリングに干渉し、さらに、背景を減算するためにフレーム差分が行われるとき、これらの変化は、多数のフォールスアラームおよびエラーを生じる偽のモーションブロブを引き起こすことがある。したがって、焼き付けは、背景モデリング／背景減算にとっての障害であり、したがって、焼き付けは、自動化されたビデオ活用パイプラインにおいてターゲット検出、追跡などを正確に実施するために除去される必要がある。
【0006】
[0006]さらなる例では、メタデータ記号がしばしば、分析者によって検討されるべきである航空像中に焼き付けられる。機密データからの焼き付けは、概して、編集される必要がある。現在のシステムは、焼き付け上にブラックボックスを重畳することによって、これらのエリアを単にブラックアウトする。しかしながら、自動ターゲット検出、追跡および認識アルゴリズムは、ブラックボックスによってもたらされた人工のエッジおよび隅により、得られた編集済み画像が厄介なものであり、誤検出および同様のエラーを起こしやすいと見なす。この障害は、現在、オーバーレイを物理的に除去する代わりに、オーバーレイエリアを処理されないようにすることによって対処されている。したがって、この既存のソリューションを、画像コンテンツ全体を適切に処理するためのビデオ活用システムとともに利用することは、一般に実現可能でない。
【0007】
[0007]それゆえに、従来のフルモーションビデオ像処理に関連する上述の短所および欠点を克服することが、本開示の目的である。
【発明の概要】
【0008】
[0008]本開示の一態様は、フルモーションビデオ像からの焼き付けデータの除去のための方法であって、フルモーションビデオ画像中の１つまたは複数の焼き付けオーバーレイエリアを識別することと、１つまたは複数の焼き付けオーバーレイエリアのマスクを作成することと、マスクが複数のピクセルを備える、マスクを拡張することと、拡張されたマスクの少なくとも一部分を、ピクセル置き換えセクションに供給することと、ここにおいて、一部分が、１つまたは複数の焼き付けオーバーレイエリアと、１つまたは複数の焼き付けオーバーレイエリアに近接した複数の近隣ピクセルとを備える、複数の近隣ピクセルに基づいて、拡張されたマスクの一部分中の複数のピクセルについて、適合された強度を作成することと、得られた画像を形成するために、適合された強度で、１つまたは複数の焼き付けオーバーレイエリア中の複数のピクセルを充填することによって、１つまたは複数の焼き付けオーバーレイエリアを置き換えることとを備える、方法である。
【0009】
[0009]本方法の一実施形態は、１つまたは複数の検出を取得するために、得られた画像をビデオ処理にかけることをさらに備える。
【0010】
[0010]本方法の別の実施形態は、得られた画像が、リアルタイムでのビデオ処理ステップのために準備される、ものである。
【0011】
[0011]本方法のまた別の実施形態は、マスクが、色空間分解方法を使用して作成される、ものである。いくつかの場合には、色空間分解を介して生成されるマスクが、ＲＧＢ画像をＹＣｂＣｒ色空間に変換することによって始まる。いくつかの実施形態では、バイナリマスクが作成される。いくつかの実施形態では、バイナリマスクは、インペインティングアルゴリズムに供給される。
【0012】
[0012]本方法のさらにまた別の実施形態は、適合されたピクセルで、１つまたは複数の焼き付けエリアを自動的に置換することが、インペインティングと順序フィルタ処理（order-filtering）とを介したものである、ものである。いくつかの場合には、インペインティングが、フルモーションビデオ画像の中心部分において使用され、順序フィルタ処理が、フルモーションビデオ画像の周辺上で使用される。
【0013】
[0013]本開示の別の態様は、命令が符号化されている１つまたは複数の非一時的機械可読媒体を含むコンピュータプログラム製品であって、命令は、１つまたは複数のプロセッサによって実行されたとき、フルモーションビデオ像からの焼き付けの除去のためのプロセスが行われることを引き起こし、プロセスは、フルモーションビデオ画像中の１つまたは複数の焼き付けオーバーレイエリアを識別することと、１つまたは複数の焼き付けオーバーレイエリアのマスクを作成することと、マスクが複数のピクセルを備える、マスクを拡張することと、マスクの少なくとも一部分を、インペインティングアルゴリズムに供給することと、近隣アンマスクピクセルに基づいて、マスク中の複数のピクセルについて、適合された強度を作成することと、得られた画像を形成するために、適合された強度で、マスク中の複数のピクセルを充填することによって、１つまたは複数の焼き付けオーバーレイエリアを除去することと、１つまたは複数の検出を取得するために、得られた画像をビデオ処理にかけることとを備える、コンピュータプログラム製品である。
【0014】
[0014]本コンピュータプログラム製品の一実施形態は、得られた画像が、リアルタイムでのビデオ処理ステップのために準備される、ものである。
【0015】
[0015]本コンピュータプログラム製品の別の実施形態は、マスクが、色空間分解方法を使用して作成される、ものである。いくつかの場合には、色空間分解を介して生成されるマスクが、ＲＧＢ画像をＹＣｂＣｒ色空間に変換することによって始まる。いくつかの場合には、バイナリマスクが作成される。いくつかの実施形態では、バイナリマスクは、インペインティングアルゴリズムに供給される。
【0016】
[0016]本コンピュータプログラム製品のまた別の実施形態は、適合されたピクセルで、１つまたは複数の焼き付けエリアを自動的に置換することが、インペインティングと順序フィルタ処理とを介したものである、ものである。いくつかの実施形態では、インペインティングが、フルモーションビデオ画像の中心部分において使用され、順序フィルタ処理が、フルモーションビデオ画像の周辺上で使用される。
【0017】
[0017]本開示のまた別の態様は、フルモーションビデオ像からの焼き付けの除去のための方法であって、フルモーションビデオ画像中の１つまたは複数の焼き付けオーバーレイエリアを識別することと、１つまたは複数の焼き付けオーバーレイエリアのマスクを作成することと、マスクが複数のピクセルを備える、マスクを拡張することと、マスクの少なくとも一部分を、インペインティングアルゴリズムに供給することと、近隣アンマスクピクセルに基づいて、マスク中の複数のピクセルについて、適合された強度を作成することと、ここにおいて、適合された強度を作成するために、インペインティングが、フルモーションビデオ画像の中心部分において使用され、順序フィルタ処理が、フルモーションビデオ画像の周辺上で使用される、得られた画像を形成するために、適合された強度で、マスク中の複数のピクセルを充填することによって、１つまたは複数の焼き付けオーバーレイエリアを除去することと、１つまたは複数の検出を取得するために、得られた画像をビデオ処理ステップにかけることとを備える、方法である。
【0018】
[0018]本開示のこれらの態様は、排他的であることが意図されておらず、本開示の他の特徴、態様および利点は、以下の説明、添付の特許請求の範囲、および添付の図面とともに読まれるとき、当業者に容易に明らかであろう。
【0019】
[0019]本開示の上記および他の目的、特徴、および利点は、同様の参照符号が異なる図全体にわたって同じ部分を指す、添付の図面に示されているように、本開示の特定の実施形態の以下の説明から明らかであろう。図面は、必ずしも一定の縮尺であるとは限らず、代わりに、本開示の原理を示すことに重きが置かれる。本特許または出願ファイルは、カラーで仕上げられた少なくとも１つの図面を含んでいる。（１つまたは複数の）カラー図面をもつ本特許または本特許出願公開の複製は、要求および必要な料金の支払いのときに当局によって提供されることになる。
【図面の簡単な説明】
【0020】
【図1】[0020]本開示の一実施形態による、焼き付け除去より前のフルモーションビデオの画像を示す図。
【図6】[0025]本開示の一実施形態による、焼き付け除去の後のフルモーションビデオの画像を示す図。
【図7】[0026]本開示の一実施形態による、前処理ステップとしてフルモーションビデオ像から焼き付けを除去する方法のフローチャート。
【発明を実施するための形態】
【0021】
[0027]既存のソリューションとは対照的に、本開示の一実施形態は、フルモーションビデオ（ＦＭＶ）像中の焼き付けを、近隣ピクセルからの適合された画像情報と置き換え、したがって、周囲の画像エリアに矛盾しない適合情報で、画像の焼き付けオーバーレイ部分を消去する。周囲の画像エリアに矛盾しない焼き付けピクセルの置き換えは、これが、偽のエッジまたは隅が形成されるのを妨げ、したがって、ビデオ活用アルゴリズムによる自動化された特徴抽出中に誤検出が発生し得る可能性を防ぐので、重要である。（焼き付けが除去された）得られた画像は、次いで、さらなる自動化された処理（得られた画像が前処理ステップである）のために、または手動活用／処理のための分析者による閲覧のために、適用できる。前の方法とは対照的に、本明細書で説明される得られた画像は、それがシームレスに充填されているように見えるので、その全体が有用である。
【0022】
[0028]前のシステムは、焼き付け情報を「編集する」ためにブラックボックスを使用した。本明細書で使用される、より良い代替形態は、近傍ピクセルからの画像情報で焼き付けエリアをインペインティングすることである。これは、自動化された検出および追跡アルゴリズムなどを介して、得られた画像を視覚的により魅力的にし、得られた画像のダウンストリーム処理に追加の利益を提供する。
【0023】
[0029]ビデオ活用のためのＦＭＶ像からの焼き付け除去のためのシステムおよび方法の一実施形態は、ＦＭＶ像中の焼き付けエリアを自動的に識別し、置き換える。さらに、システムは、自動化されたビデオ処理パイプラインにおける前処理ステップとして使用され得る。ビデオ処理のためのＦＭＶ像からの焼き付け除去の方法の一実施形態は、以下のステップ、（ｉ）色空間分解方法を介してマスクを作成するために、焼き付けエリアを自動的に識別することと、（ｉｉ）画像インペインティングおよび順序フィルタ処理を介して、マスキングされたピクセルをそれらの近隣アンマスクエリアに適合された強度で充填することによって、焼き付けエリアを自動的に置換することと、（ｉｉｉ）このプロセスを前処理ステップとして既存のビデオ活用／処理パイプラインに組み込むこととを伴う。
【0024】
[0030]本開示の技法が、科学捜査状況において、および／または自動検出、追跡およびターゲット認識などのアドオン能力が、手動閲覧に加えて必要とされるシナリオにおいて有用であることを理解されたい。本技法はまた、焼き付けをもつデータからデータテストセットを作成するために使用され得る。本開示のいくつかの実施形態は、分析者が、位置決め、追跡、シーン分析、機械学習、知識収集の目的などのための自動化されたシステムを介して、インテリジェンスプロダクトを抽出し、および／または像中の情報を活用し得るように、ビデオ画像データに焼き付けられたメタデータ情報の除去が必要とされる防衛産業および／または法執行使用のために有用である。本開示の他の実施形態は、一般的な商業使用のために有用であり得、ここで、本開示の全体または部分が、サブタイトル、ロゴ、およびウォーターマークなど、ビデオクリップからのテキストオーバーレイの除去のために有用であり得る。
【0025】
[0031]本開示のフルモーションビデオ像からの焼き付けの除去の一実施形態は、（ｉ）マスクを作成するために焼き付けオーバーレイエリアを識別し、（ｉｉ）マスキングされたピクセルを、それらの近隣アンマスクエリアに適合された強度で充填することによって、オーバーレイを除去し、（ｉｉｉ）その後、正常な検出を取得するために画像をビデオ処理にかける。いくつかの場合には、検出は、車両、生き物、または関心の他のエリア／アイテムである。
【0026】
[0032]一実施形態では、フルモーションビデオ像からの焼き付けの除去のための１つのステップは、焼き付けオーバーレイをもつ画像のエリアを識別し、これらのエリアのバイナリマスクを作成し、したがって、バイナリマスクが、インペインティングアルゴリズムなどによって、どのエリアが充填される必要があるかを決定するために使用され得ることである。一実施形態では、マスクが、色空間分解方法を介して生成され、ここで、第１のステップが、ＲＧＢ画像をＹＣｂＣｒ色空間に変換することである。ＹＣｂＣｒフォーマットでは、ルミナンス情報が単一の成分（Ｙ）として記憶され、クロミナンス情報が２つの色差成分（ＣｂおよびＣｒ）として記憶される。Ｃｂチャネルは、青色成分と基準値との間の差を表す。Ｃｒチャネルは、赤色成分と基準値との間の差を表す。０および２５５がそれぞれ黒色および白色を表す、サンプルごとに８ビットでの、ＲＧＢフォーマットで表されるデジタルピクセルを仮定すれば、ＹＣｂＣｒ成分は、式（１）～（３）に従って取得され得る。
【0027】
【数1】
【0028】
[0033]図１を参照すると、本開示の一実施形態による、焼き付け除去より前のフルモーションビデオの画像１０が示されている。より詳細には、この画像は、緑色として示されている選択された焼き付けデータ２をもつ所与の画像である。一例におけるこの焼き付けデータは、基礎をなす画像を損なうことなしに、ただし除去される必要がある、機密データを表す。焼き付けデータは、オペレータに提供されるデータなど、画像に関する情報でもあり得るが、これは、自動化された識別および追跡のためのコンピュータビジョン処理に悪影響を及ぼす。白色点線ボックスは、焼き付けオーバーレイのエリア、たとえば、４、６、８、１２、１４、１６、１８を示す。上述のように、ボックスは、焼き付けデータの広がりに応じてサイズが変動することができ、所与の領域中の焼き付けコンテンツを含むものとする。
【0029】
[0034]まだ図１を参照すると、一例におけるボックスのサイズは簡略化されており、より大きいボックスが、領域ボックス１６中に示されているものなどのボックス内にある、分離された焼き付けデータを取り込むために使用される。別の例では、ボックスは、焼き付けデータのより小さい部分を取り込む、より小さいボックス（６、８）で画定され得る。正方形および長方形として示されているが、ボックスは、焼き付けコンテンツが領域内に取り込まれる限り、他の形状であり得る。一実施形態では、焼き付けオーバーレイエリアの識別は、２値化のための所定の値でＣｒ成分をしきい値処理することを含む、マスク形成を伴う。
【0030】
[0035]図２Ａを参照すると、本開示の一実施形態による、オーバーレイエリアのマスクをもつ、および焼き付け除去より前の、フルモーションビデオの画像２０が示されている。より詳細には、（図１からの）元の画像のＣｒクロミナンスチャネルは、ＲＧＢからＹＣｂＣｒ色空間に変換され、示されており、ボックス４’、６’、８’、１２’、１４’、１６’、１８’中の焼き付けオーバーレイエリアは、黄色背景に対してシアンで目立つ。ＹＣｂＣｒ色空間のＣｒ成分は、残りの実際の画像エリアとは対照的に、焼き付けエリアを強調する。したがって、ＹＣｂＣｒ画像のＣｒチャネルを適切にしきい値処理することは、焼き付けエリアのバイナリマスクが、基礎をなす画像エリアから焼き付けエリアを区別するために形成されること（たとえば、図３参照）を可能にする。
【0031】
[0036]しきい値は、Ｃｒ成分画像中で強調された焼き付けエリアのクロミナンス範囲によって決定される。図２Ａでは、右側に、カラーバーが、ＹＣｂＣｒ色空間画像のＣｒチャネルの画像に隣接してプロットされた。この実施形態では、カラーバーは、約１２０およびそれより下のクロミナンス値は焼き付けエリアに属し、より高い値は実際の画像エリアに属することを示す。（図２Ｂに示されている）ＬＡＢ色空間など、マスクを見つけるための他の色空間を使用することが可能である。
【0032】
[0037]図２Ｂを参照すると、本開示の一実施形態による、マスクをもつ、および焼き付け除去より前の、フルモーションビデオの画像２０’が示されている。より詳細には、（図１からの）元の画像のＡチャネルは、ＲＧＢからＬＡＢ色空間に変換され、示されており、焼き付けオーバーレイエリアは、黄色背景に対してシアンで目立ち、ボックス４”、６”、８”、１２”、１４”、１６”、１８”内にある。ここで、ＬＡＢ画像のＡチャネルは、図２Ｂ中のカラーバーによって示されていように、マスクを得るために－５においてしきい値処理された。上記の技法は、色分解プロセスの実施形態である。しきい値は、像中に存在する焼き付けのＲＧＢ色強度に応じて、様々な事例において変動し得る。しきい選択を自動化することも可能である。
【0033】
[0038]図３を参照すると、本開示の一実施形態による、焼き付け除去より前のフルモーションの画像についてのバイナリ化されたマスク３０が示されている。より詳細には、ここで、しきい値処理によって前に識別された焼き付けエリア（たとえば、図２Ａまたは図２Ｂ参照）が、次いでボックス２１～２７中の画像上で強調されるように選択される。焼き付けマスクエリアは、白色で強調され、後の処理ステップのためのバイナリ画像としての焼き付けエリアの最終マスクを示す。
【0034】
[0039]図４Ａおよび図４Ｂを参照すると、本開示の一実施形態による、フルモーションビデオ像からの焼き付け除去のためのマスクを拡張するために適用される形態学的プロセスが示されている。より詳細には、図４Ｂの４０’中に示されている拡大／ぼけ／平滑化ステップより前の図４Ａ中にバイナリマスク４０が示されている。バイナリマスク画像は、図３のバイナリマスク画像に類似している。いくつかの場合には、画像に適用される拡大／ぼけ／平滑化は、拡張の形態のものである。拡張は、構造要素を使用して、マスクエリア境界にピクセルを追加する。構造要素のサイズおよび形状は変動し得る。いくつかの実施形態では、寸法５の正方形構造要素が使用された。色分解マスキングのために推奨される構造要素サイズは、３、５または７であり、正方形形状が、テキストおよび数字の存在による焼き付けエリアの性質により良く適する。いくつかの実施形態では、累加平均（cumulative mean）マスク、およびＧＩＭＰ（ＧＮＵ画像操作プログラム）における２つの拡張ステップが、図４Ｂに示されているマスクを生じた。図４Ａ中の点線ボックス領域４２、次いで図４Ｂ中の同じボックス領域４２”を見ると、マスキングされたエリア内の焼き付けデータにいくらかの拡散／拡張があったことは、明らかである。この拡張ステップは、マスキングされるべきエリア、すなわち、テキストまたは他の焼き付けが終了し、画像が始まるところが、考慮され、完全であることを保証するのを助ける。
【0035】
[0040]図５を参照すると、本開示の一実施形態による、マスキングされたエリアへの画像情報を近傍ピクセルが与える、焼き付け除去より前のマスキングされたフルモーションビデオ画像の測地距離マップ５０が、示されている。本明細書で説明される処理は、焼き付けデータによって不明瞭にされた基礎をなすビデオ画像を、自動化された検出および追跡処理において基礎をなす画像が使用され得るように、生成するために使用される。白色焼き付けマスクエリアのすぐ周りのより濃いエリアとして示されているピクセルは、充填強度に寄与する重みを算出しながら、より遠く離れたより明るい赤色および黄色エリアよりも、比例して重く重み付けされる。ここで、白色焼き付けマスクエリアは、ラベリングおよび説明の明快のために、点線ボックス（たとえば、５１～５７）内に示される。
【0036】
[0041]いくつかの実施形態では、ピクセルｐのインペインティング強度は、ｐに近い知られているのピクセルの値によって決定される。その寄与は、正規化された重み付け関数によって重み付けされる、近傍中のすべてのピクセルｑの推定値を加算することによって決定される、近傍ピクセルの距離に比例する。重み付け関数は、画像勾配ならびにｐからの距離を考慮に入れる。いくつかの場合には、これは、反復アルゴリズム、たとえばＦＭＭ（高速マーチング法）に基づいて、ピクセルの近傍にわたって移動するインペインティング技法（たとえば、Ｔｅｌｅａインペインティング）である。インペインティング技法は概して、カラー画像をハンドリングすることが可能であるが、ここでの目的のために、画像は、ビデオ活用システムが概してグレースケール像を利用するので、インペインティングより先にＲＧＢからグレースケールに変換された。
【0037】
[0042]いくつかの実施形態では、マスクを作成するための色空間分解プロセスのための処理時間は、ＦＦＴ（高速フーリエ変換）を使用する画像分解など、他の方法のためにかかる時間の１／３である。一実施形態では、平均時間は、前者についての約０．０４秒対後者についての約０．１３秒であった。既存のビデオ活用システムが、正常にこの前処理ステップを使用することが可能であるために、前処理は、システムのいくつかのフレームレート制約内に完了されなければならないことに留意されたい。したがって、本明細書で詳述される色空間分解を採用するより速い方法は、より遅い方法よりも好ましい。
【0038】
[0043]焼き付けオーバーレイエリアを除去するために、本開示の一実施形態によれば、マスキングされたピクセル（すなわち、図５中の白色点線ボックス内の白色エリア）は、近隣画像パッチに適合された強度で充填され、したがって、焼き付けオーバーレイピクセル強度を置き換える。いくつかの場合には、このために２つの異なる技法が使用される。一実施形態では、（関心のターゲットまたはエリアを一般に含んでいる）画像の中心部分５５に対応するマスクエリアは、インペインティング技法を使用して精密充填（precision-fill）され、マスクの周辺部分（たとえば、５３）は、順序フィルタ処理技法を使用して高速充填（fast-fill）される。２つの異なる技法を使用することについての理由は、さらなるビデオ処理のためにフルモーションビデオ画像のリアルタイム処理を容易にするために、充填動作が十分に迅速に行われるようにするためである。
【0039】
[0044]インペインティングは、より良い画像品質結果をもたらすが、これは時間がかかる動作である。それが理由で、いくつかの実施形態では、インペインティングは、フレームの中心部分に制限される。一方、順序フィルタ処理は、より粗く充填されたエリアを生じるが、これははるかにより速い動作である。移動するターゲットがない背景エリアにおいてより粗い充填を有し、関心のターゲットがあるであろうエリアにおいてより細かい充填を有することは、リアルタイム処理のためにうまく動作する。一実施形態では、インペインティングにかかる平均時間は、フレーム全体ごとに約２秒～約２．５秒であった。インペインティングが、画像の中心（たとえば、１２８０×７２０画像について中心１／４～３／４）に制限されるとき、これは、０．６秒未満かかる。
【0040】
[0045]一実施形態では、Ｔｅｌｅａインペインティングアルゴリズムが使用された。Ｔｅｌｅａアルゴリズムは、インペインティングされるべきピクセルの値を、その周りの知られているピクセルの近傍に基づいて推定する。いくつかの実施形態では、ＦＭＭアルゴリズムが、次いで、アルゴリズムが進むにつれてインペインティングエリアのサイズを低減するように、ボーダーピクセルがインペインティングされる順序、すなわち、知られているピクセルまでの最小距離から最大距離までを決定するために、使用された。一実施形態では、アルゴリズムは、まず境界から充填するために、知られている近傍領域の境界から開始し、徐々にマスク領域の内側に移動する。これは、インペインティングされるべきピクセルの周りの小さい近傍を要する。このピクセルは、近傍中のすべての知られているピクセルの正規化された重み付けされた合計によって置き換えられる。いくつかの場合には、アルゴリズムは、境界の法線に近い、インペインティングされるべき点に近い近隣ピクセル、および境界輪郭上にあるものに、より多くの重みを与える。まだ図５を参照すると、マスキングされた元の画像の測地距離マップは、白色焼き付けマスクエリアのすぐ周りのより濃いエリアとしてピクセルを示しており、それらは、インペインティング充填強度に寄与する際に、より遠く離れたより明るいエリア（赤色など）よりも、比例して重く重み付けされる。
【0041】
[0046]図６を参照すると、本開示の一実施形態による、焼き付け除去の後のフルモーションビデオの画像６０が示されている。より詳細には、図６は、図１に示されている所与の元の画像上にインペインティングアルゴリズムを含むプロセスを適用することの結果を示しており、ここで、インペインティングプロセスは、適合された強度ですべてのオーバーレイピクセルを置き換えた。これは、完全であるように見えるが、ダウンストリーム処理にとって障害になるであろう焼き付けオーバーレイエリアをもはや含んでいない、画像を生じる。たとえば、ボックス６４、６６、６８、７０、７２、７４、および７６を参照されたい、ここで、画像は、近似されており、焼き付けデータがない。
【0042】
[0047]ビデオ活用のためのフルモーションビデオ像からの焼き付け除去のいくつかの実施形態は、マスクの周辺エリアがそれで充填された、高速充填プロセスのための順序フィルタ処理アルゴリズムを使用した。アルゴリズムは、「順序」パラメータと、充填されるべき近傍を示す「ドメイン」パラメータとを提供された。順序フィルタ処理は、ドメイン中の非０要素によって指定されたネイバーの分類されたセット中の「順序」番目の要素によって、所与の近傍中の各要素を置き換える。演算ｏｒｄｆｉｌｔ２（Ａ， ５，ｏｎｅｓ （３，３））は、３×３ドメインを使用し、近傍中の９つのピクセル強度値を昇順で順序付ける。それは、次いで、順序において５番目の要素によって、ドメイン中のあらゆるピクセルを置き換える。この例は、５番目の要素が中央値であるので、メジアンフィルタ処理と同じである。順序フィルタの一実施形態は、必ずしもメジアンでない、順序における異なる要素の選定を可能にする。
【0043】
[0048]まだ図６を参照すると、図１に示されている画像に適用された順序フィルタ処理アルゴリズムとインペインティングアルゴリズムとの組合せの結果が、示されている。そこでは、インペインティングプロセスが、すべての中心のオーバーレイピクセル（たとえば、７２内のマスク内のもの）を置き換え、周辺エリア（たとえば、６４、６８．．．内のマスク内のもの）は、順序フィルタ処理された。ここで、１００の順序と１５ｘ１５のドメインとが、使用された。順序フィルタ処理動作は、平均約０．２４秒かかり、各フレームについての総処理時間を１秒未満にする。この技法は、前処理ステップとしてしばしば使用されるので、ビデオ処理が、インペインティングおよび順序フィルタ処理された得られた画像上でターゲットを検出することが、事実上可能であることが検証された。
【0044】
[0049]マスクを形成するためにフレームごとにかかる平均時間は、約０．０４秒であった。インペインティング動作、順序フィルタ処理動作、および組合せ動作のためにかかる総平均時間は、約０．８３秒であった。したがって、フレームごとの総処理時間は、一実施形態では、１フレームごとに１秒未満であった。一般に、このタイプのプロセスがＣ＋＋に移植されると、１０のオーダーのスピードアップがあり、それは、フレームごとの処理時間を１秒の１／１０未満にする。ビデオ処理システムが、ビデオを約６Ｈｚで処理する場合、タイミングのこのオーダーは、リアルタイム動作のために可能であるべきである。
【0045】
[0050]Ｃ＋＋実装形態は、１０２４×７６８解像度像上で毎秒３０～３８フレームで動作した。実装形態は、オープンソース画像処理ライブラリＯｐｅｎＣＶを利用した。ＭＡＴＬＡＢ（登録商標）からＣ＋＋に移植することは簡単であるが、アルゴリズムは、Ｃ＋＋のためにおよびビデオ処理チェーンにおいて使用するために、小さい変更を必要とした。好適な順序フィルタ関数が利用可能でなく、したがって、代わりに、メジアンフィルタが、画像周辺を高速充填した。しかしながら、メジアンフィルタは、マスキングされたエリアがカーネルサイズよりも大きい、マスクのべた塗り部分では、黒色エリアを生じた。この問題を解決するために、メジアンフィルタは、マスクと画像の両方にフィルタ処理を適用し、次いでフィルタ処理された画像をフィルタ処理されたマスクで除算することによって、近傍平均を計算するときにマスク内のピクセルを無視した。さらに、画像の大部分を誤ってインペインティングすることを回避するために、Ｃ＋＋実装形態は、マスクとして検出されたピクセルの割合がパラメータ化しきい値を超える場合、インペインティングをスキップした。
【0046】
[0051]本開示は、（ａ）色空間分解方法が、焼き付けオーバーレイを正常に識別することができることと、（ｂ）マスキングされたオーバーレイエリアが、インペインティング方法と順序フィルタ処理方法との組合せを使用してフレームごとに１秒未満で、正常に充填され得ることと、（ｃ）ビデオ処理は、検出がその後トラックスティッチング（track stitching）のために使用されるために十分な品質で、インペインティングされた像上で、正常に検出することが可能であることとを示す。
【0047】
[0052]図７を参照すると、本開示の一実施形態による、フルモーションビデオから焼き付けを除去する方法のフローチャートが示されている。より詳細には、システムは、フルモーションビデオ画像中の１つまたは複数の焼き付けオーバーレイエリアを識別する１００。焼き付けオーバーレイエリアは、画像上に配置された焼き付けデータを有する領域を表す。領域は、１つまたは複数の焼き付けデータ要素を取り込み、ボックスあるいは楕円または円などの他の形状を構成する複数のピクセルであり得る。エリアのサイズは、特定のパラメータおよびそれぞれの焼き付けデータアイテム間の空間に応じて、変動し得る。処理は、画像中の１つまたは複数の焼き付けオーバーレイエリアのマスクを作成する１０２。マスクは、１つまたは複数の焼き付けエリアについて複数のピクセルを備える。焼き付けオーバーレイエリア内のピクセルは、元は画像データを有し得たが、焼き付けデータによって後で上書きされたオーバーレイエリアピクセルを占有する、焼き付けデータを含んでいる。いくつかの実施形態では、マスクは、色空間分解方法を介して生成される。いくつかの場合には、ＲＧＢ画像をＹＣｂＣｒ色空間に変換することによって。いくつかの場合には、次いで、マスクはバイナリマスクに変換される。いくつかの実施形態では、バイナリマスクは、拡張され１０４、あるいは場合によっては、ぼかされるまたは拡大される。拡張は、構造要素を使用して、マスクエリア境界にピクセルを追加することを指す。構造要素のサイズおよび形状は変動し得る。
【0048】
[0053]まだ図７を参照すると、次いで、拡張されたマスクの少なくとも一部分がピクセル置き換えセクションに供給される１０６。ピクセル置き換えセクションは、順序フィルタ処理処理、インペインティング処理、または、いくつかのピクセルのための順序フィルタ処理と他のピクセルのためのインペインティングとの組合せを利用する。静的背景を表すピクセルについて、順序フィルタ処理はより速い傾向があるが、移動する物体を表すピクセルについて、インペインティング処理はより良い品質を生成する傾向がある。拡張されたマスク、または焼き付けデータを置き換えるオーバーレイエリア中の複数のピクセルのための適合された強度が、近隣ピクセルを使用して作成される１０８。拡張されたマスクは、焼き付けオーバーレイ領域、ならびに、焼き付けデータを有しないことがあるが焼き付けデータに極めて近接しているピクセルを表すいくつかの近隣ピクセルを指し、したがって、それらは焼き付けデータが未処理のままにされないように、マスク中で選択される。適合された強度は、図５に示されているように選択される。得られた画像を形成するために、適合された強度ピクセルで、拡張されたマスク内の複数のピクセルを充填することなどによって、１つまたは複数の焼き付けオーバーレイエリアが置き換えられる１１０。得られた画像は、焼き付けデータが、ピクセル置き換え処理に基づいて元の画像の推定によって置き換えられて、開始ビデオ画像を表す。いくつかの実施形態では、次いで、１つまたは複数の検出を取得するために、得られた画像がビデオ処理ステップにかけられ得る。一例における検出は、画像中の建築物または車両などのターゲット検出を指す。たとえば、一団の車両がある場合、追跡検出は、ムービングビデオを通して特定の車両を切り離すことができる。
【0049】
[0054]様々な本発明の概念は、それらの一例が提供された、１つまたは複数の方法として具備され得る。方法の一部として実施される行為は、任意の好適な仕方で順序付けられ得る。したがって、例示的な実施形態では連続的な行為として示されていても、同時にいくつかの行為を実施することを含み得る、図示されたものとは異なる順序で行為が実施される実施形態が構築され得る。
【0050】
[0055]様々な発明実施形態について本明細書で説明および図示されたが、当業者は、本明細書で説明される機能を実施するための、ならびに／あるいは結果および／または利点のうちの１つまたは複数を取得するための様々な他の手段および／または構造を容易に想定することができ、そのような変形形態および／または変更形態の各々は、本明細書で説明される発明実施形態の範囲内にあると見なされる。より一般的には、当業者は、本明細書で説明されるすべてのパラメータ、寸法、材料、および構成が、例示的であるように意図されていることと、実際のパラメータ、寸法、材料、および／または構成が、本発明の教示が使用される特定の１つまたは複数の適用例に依存することとを、容易に諒解されよう。当業者は、せいぜいルーチン的な実験を使用して、本明細書で説明される特定の発明実施形態との多くの等価物を認識するか、または確認することが可能であろう。したがって、上記の実施形態は例として提示されたものにすぎないことと、添付の特許請求の範囲およびそれとの等価物の範囲内で、発明実施形態は、特に説明および特許請求されたものとは別様に実践され得ることとを理解されたい。本開示の発明実施形態は、本明細書で説明される各個々の特徴、システム、物品、材料、キット、および／または方法を対象とする。加えて、２つ以上のそのような特徴、システム、物品、材料、キット、および／または方法の任意の組合せは、そのような特徴、システム、物品、材料、キット、および／または方法が相互に矛盾しない場合、本開示の発明範囲内に含まれる。
【0051】
[0056]上記で説明された実施形態は、多数の方法のうちのいずれかで実装され得る。たとえば、本明細書で開示される技術の実施形態は、ハードウェア、ソフトウェア、またはそれらの組合せを使用して実装され得る。ソフトウェアにおいて実装されたとき、ソフトウェアコードまたは命令は、単一のコンピュータにおいて提供されるのか複数のコンピュータ間で分散されるのかにかかわらず、任意の好適なプロセッサまたはプロセッサの集合上で実行され得る。さらに、命令またはソフトウェアコードは、少なくとも１つの非一時的コンピュータ可読記憶媒体に記憶され得る。
【0052】
[0057]また、それのプロセッサを介してソフトウェアコードまたは命令を実行するために利用されるコンピュータまたはスマートフォンは、１つまたは複数の入出力デバイスを有し得る。これらのデバイスは、特に、ユーザインターフェースを提示するために使用され得る。ユーザインターフェースを提供するために使用され得る出力デバイスの例は、出力の視覚的提示のためのプリンタまたはディスプレイスクリーン、および出力の可聴的提示のためのスピーカーまたは他のサウンド生成デバイスを含む。ユーザインターフェースのために使用され得る入力デバイスの例は、キーボード、ならびにマウス、タッチパッド、および離散化タブレットなどのポインティングデバイスを含む。別の例として、コンピュータは、音声認識を通してまたは他の可聴フォーマットで入力情報を受信し得る。
【0053】
[0058]そのようなコンピュータまたはスマートフォンは、エンタープライズネットワーク、およびインテリジェントネットワーク（ＩＮ）またはインターネットなどのローカルエリアネットワークまたはワイドエリアネットワークを含む、任意の好適な形態の１つまたは複数のネットワークによって相互接続され得る。そのようなネットワークは、任意の好適な技術に基づき得、任意の好適なプロトコルに従って動作し得、ワイヤレスネットワーク、ワイヤードネットワークまたは光ファイバーネットワークを含み得る。
【0054】
[0059]本明細書で概説される様々な方法またはプロセスは、様々なオペレーティングシステムまたはプラットフォームのいずれか１つを採用する１つまたは複数のプロセッサ上で実行可能であるソフトウェア／命令としてコーディングされ得る。さらに、そのようなソフトウェアは、いくつかの好適なプログラミング言語および／またはプログラミングもしくはスクリプト記述ツールのいずれかを使用して書かれ得、また、フレームワークまたは仮想マシン上で実行される実行可能機械語コードまたは中間コードとしてコンパイルされ得る。
【0055】
[0060]この点において、様々な発明概念は、１つまたは複数のコンピュータまたは他のプロセッサ上で実行されたとき、上記で論じられた本開示の様々な実施形態を実装する方法を実施する１つまたは複数のプログラムで符号化されたコンピュータ可読記憶媒体（または複数のコンピュータ可読記憶媒体）（たとえば、コンピュータメモリ、１つまたは複数のフロッピー（登録商標）ディスク、コンパクトディスク、光ディスク、磁気テープ、フラッシュメモリ、ＵＳＢフラッシュドライブ、ＳＤカード、フィールドプログラマブルゲートアレイまたは他の半導体デバイス中の回路構成、あるいは他の非一時的媒体または有形コンピュータ記憶媒体）として具備され得る。１つまたは複数のコンピュータ可読媒体は、その上に記憶された１つまたは複数のプログラムが、上記で論じられた本開示の様々な態様を実装するために１つまたは複数の異なるコンピュータまたは他のプロセッサ上にロードされ得るように、トランスポート可能であり得る。
【0056】
[0061]「プログラム」または「ソフトウェア」または「命令」という用語は、本明細書では、上記で論じられた実施形態の様々な態様を実装するようにコンピュータまたは他のプロセッサをプログラムするために採用され得る任意のタイプのコンピュータコードまたはコンピュータ実行可能命令のセットを指すために一般的な意味で使用される。さらに、一態様によれば、実行されたときに本開示の方法を実施する１つまたは複数のコンピュータプログラムは、単一のコンピュータまたはプロセッサ上に常駐する必要はないが、本開示の様々な態様を実装するためにいくつかの異なるコンピュータまたはプロセッサ間でモジュラー様式で分散され得ることを諒解されたい。
【0057】
[0062]コンピュータ実行可能命令は、１つまたは複数のコンピュータまたは他のデバイスによって実行される、プログラムモジュールなどの多くの形態のものであり得る。概して、プログラムモジュールは、特定のタスクを実施するかまたは特定の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。一般に、プログラムモジュールの機能は、様々な実施形態で必要に応じて組み合わせられるかまたは分散され得る。
【0058】
[0063]また、データ構造は、任意の好適な形態でコンピュータ可読媒体に記憶され得る。説明の簡単のために、データ構造は、データ構造中のロケーションを通して関係するフィールドを有することを示され得る。そのような関係は、フィールド間の関係を伝達するコンピュータ可読媒体内のロケーションとともにフィールドのストレージを割り当てることによって同様に達成され得る。しかしながら、データ構造のフィールドにおける情報間の関係を確立するために、データ要素間の関係を確立するポインタ、タグまたは他の機構の使用を介することを含む、任意の好適な機構が使用され得る。
【0059】
[0064]本明細書で定義および使用される、すべての定義は、辞書の定義、参照により組み込まれる文献中の定義、および／または定義された用語の通常の意味よりも支配的であることを理解されたい。
【0060】
[0065]本明細書で使用される「論理」は、限定はされないが、機能または行為を実施するための、ならびに／あるいは別の論理、方法、および／またはシステムからの機能または行為を引き起こすためのハードウェア、ファームウェア、ソフトウェアおよび／または各々の組合せを含む。たとえば、所望の適用例またはニーズに基づいて、論理は、ソフトウェア制御されるマイクロプロセッサ、プロセッサ（たとえば、マイクロプロセッサ）のようなディスクリート論理、特定用途向け集積回路（ＡＳＩＣ）、プログラムされた論理デバイス、命令を含んでいるメモリデバイス、メモリを有する電気デバイスなどを含み得る。論理は、１つまたは複数のゲート、ゲートの組合せ、または他の回路構成要素を含み得る。論理はまた、ソフトウェアとして完全に具備され得る。複数の論理が記述された場合、複数の論理を１つの物理的論理へと一体化することが可能であり得る。同様に、単一の論理が記述された場合、その単一の論理を複数の物理的論理の間で分散させることが可能であり得る。
【0061】
[0066]さらに、このシステムの様々な方法を達成するために本明細書で提示される論理は、以前の類似するバージョンを有しないことがある、既存のコンピュータ中心またはインターネット中心技術の改善を対象とし得る。論理は、本明細書で識別されるいくつかの問題に対処しそれらを解決する構造に直接関係する特定の機能を提供し得る。論理はまた、例示的な発明概念を方法およびシステムの特定の論理構造および調和的機能として提供することによってこれらの問題を解決するために、より著しく多くの利点を提供し得る。さらに、論理はまた、既存の技術的プロセスを改善する特定のコンピュータ実装ルールを提供し得る。本明細書で提供される論理は、単にデータを収集すること、情報を分析すること、および結果を表示することを越えて展開する。さらに、本開示の部分または全部は、本明細書で具陳される機器または構成要素の特定の構成から導出された基礎をなす均等化に依拠し得る。したがって、本開示の部分は、それが構成要素の特定の構成に関係するとき、抽象的な概念を対象としない。さらに、本開示および添付の特許請求の範囲は、業界に以前から知られているよく理解されたルーチン的な従来の活動の性能を超えるものを伴う教示を提示する。自然現象のいくつかの態様を組み込み得る、本開示の方法またはプロセスのいくつかでは、プロセスまたは方法ステップは、新しく有用である追加の特徴である。
【0062】
[0067]本明細書および特許請求の範囲においてここで使用される冠詞「ａ」および「ａｎ」は、それとは反対であることを明確に示されない限り、「少なくとも１つ」を意味することを理解されたい。本明細書および特許請求の範囲においてここで使用される「および／または」という句は（仮にあったとしても）、そのように結合された要素の「一方または両方」、すなわち、いくつかの場合には共同で存在し、他の場合には分離的に存在する要素を意味することを理解されたい。「および／または」とともに列挙された複数の要素は、同じ様式で、すなわち、そのように結合された要素のうちの「１つまたは複数」で解釈されたい。「および／または」という節によって特に識別される要素以外の他の要素は、特に識別されるそれらの要素に関係するか関係しないかにかかわらず、場合によっては存在することがある。したがって、非限定的な例として、「Ａおよび／またはＢ」への言及は、「備える」などのオープンエンドの文言とともに使用されるとき、一実施形態では、（場合によってはＢ以外の要素を含めて）Ａのみを指すことができ、別の実施形態では、（場合によってはＡ以外の要素を含めて）Ｂのみを指すことができ、また別の実施形態では、（場合によっては他の要素を含めて）ＡとＢの両方を指すことができる、などである。本明細書および特許請求の範囲においてここで使用される「または」は、上記で定義された「および／または」と同じ意味を有することを理解されたい。たとえば、リスト中の項目を分離したとき、「または」または「および／または」は、包含的であるものとして解釈されたく、すなわち、いくつかのまたはリストの要素のうちの少なくとも１つを含むが、それらのうちの２つ以上と、場合によっては、追加の列挙されていない項目とをも含むものとして解釈されたい。「のうちの１つのみ」もしくは「のうちの厳密に１つ」、または、特許請求の範囲において使用されるときの「からなる」など、それとは反対であることを明確に示された用語のみが、いくつかのまたはリストの要素のうちの厳密に１つの要素を含むことを指すことになる。概して、本明細書で使用される「または」という用語は、「いずれか」、「のうちの１つ」、「のうちの１つのみ」、または「のうちの厳密に１つ」などの排他性の用語によって後続されたとき、排他的な選択肢（すなわち、「一方または他方、ただし両方ではない」）を示すものとしてのみ解釈されたい。特許請求の範囲において使用されるときの「から本質的になる」は、特許法の領域において使用されるそれの通常の意味を有するものである。
【0063】
[0068]本明細書および特許請求の範囲においてここで使用される、１つまたは複数の要素のリストに関する「少なくとも１つ」という句は、要素のリスト中の要素のうちのいずれか１つまたは複数から選択された少なくとも１つの要素を意味するが、要素のリスト内に特に列挙されたあらゆる要素のうちの少なくとも１つを必ずしも含むとは限らず、また、要素のリスト中の要素の任意の組合せを必ずしも除外するとは限らないことを理解されたい。この定義はまた、「少なくとも１つ」という句が指している要素のリスト内で特に識別される要素以外の要素が、特に識別されるそれらの要素に関係するか関係しないかにかかわらず、場合によっては存在し得ることを可能にする。したがって、非限定的な例として、「ＡおよびＢのうちの少なくとも１つ」（または、等価的に、「ＡまたはＢのうちの少なくとも１つ」、あるいは、等価的に「Ａおよび／またはＢのうちの少なくとも１つ」）は、一実施形態では、場合によっては２つ以上を含む、少なくとも１つのＡ、ただしＢは存在しない（および場合によってはＢ以外の要素を含む）を指すことができ、別の実施形態では、場合によっては２つ以上を含む、少なくとも１つのＢ、ただしＡは存在しない（および場合によってはＡ以外の要素を含む）を指すことができ、また別の実施形態では、場合によっては２つ以上を含む、少なくとも１つのＡ、および場合によっては２つ以上を含む、少なくとも１つのＢ（および場合によっては他の要素を含む）を指すことができる、などである。
【0064】
[0069]本明細書で特徴または要素が別の特徴または要素「上に」あると言及されるとき、それはこの別の特徴または要素上に直接的にあり得るか、あるいは介在する特徴および／または要素も存在し得る。対照的に、特徴または要素が別の特徴または要素「上に直接的に」あると言及されるとき、介在する特徴または要素は存在しない。また、特徴または要素が別の特徴または要素に「接続される」、「取り付けられる」または「結合される」と言及されるとき、それは、この別の特徴または要素に直接的に接続される、取り付けられるまたは結合され得るか、あるいは介在する特徴または要素が存在し得ることが理解されよう。対照的に、特徴または要素が別の特徴または要素に「直接的に接続される」、「直接的に取り付けられる」または「直接的に結合される」と言及されるとき、介在する特徴または要素は存在しない。一実施形態に関して説明または図示されるが、そのように説明または図示された特徴および要素は他の実施形態に適用され得る。また、別の特徴「に隣接して」配設された構造または特徴への言及は、隣接する特徴に重なるかまたはそれの下にある部分を有し得ることが、当業者によって諒解されよう。
【0065】
[0070]「の下の」、「の下方の」、「より低い」、「の上方の」「上側の」、「の上の」、「の後ろの」、「の前の」など、空間的に相対的な用語は、本明細書では、図に示されているある要素または特徴の別の要素または特徴に対する関係を記述するのを記述しやすくするために使用され得る。空間的に相対的な用語は、図に示されている配向に加えて、使用中または動作中のデバイスの異なる配向を包含することが意図されていることが理解されよう。たとえば、図中のデバイスが反転された場合、別の要素または特徴「の下の」または「の下方の」として記述された要素は、その場合、別の要素または特徴「の上方の」に配向されるはずである。したがって、例示的な「の下の」という用語は、上と下の両方の配向を包含することができる。デバイスは他の方法で（９０度回転または他の配向で）配向され得、本明細書で使用される空間的に相対的な記述語は相応に解釈される。同様に、「上向きに」、「下向きに」、「垂直」、「水平」、「横方向」、「横断」、「長手方向」などの用語は、本明細書では、特に別段に示されない限り、説明の目的のみで使用される。
【0066】
[0071]「第１の」および「第２の」という用語は、本明細書では様々な特徴／要素を記述するために使用され得るが、これらの特徴／要素は、文脈が別段に示さない限り、これらの用語によって限定されるべきではない。これらの用語は、ある特徴／要素を別の特徴／要素と区別するために使用され得る。したがって、本発明の教示から逸脱することなく、本明細書で論じられる第１の特徴／要素は第２の特徴／要素と呼ばれ得、同様に、本明細書で論じられる第２の特徴／要素は第１の特徴／要素と呼ばれ得る。
【0067】
[0072]実施形態は、本開示の実装形態または例である。「実施形態」、「一実施形態」、「いくつかの実施形態」、「１つの特定の実施形態」、「例示的な実施形態」、または「他の実施形態」などへの本明細書における言及は、実施形態に関して説明される特定の特徴、構造、または特性が、本発明の少なくともいくつかの実施形態に含まれるが、必ずしも本発明のすべての実施形態に含まれるとは限らないことを意味する。「実施形態」、「一実施形態」、「いくつかの実施形態」、「１つの特定の実施形態」、「例示的な実施形態」、または「他の実施形態」などの様々な出現は、必ずしも同じ実施形態にすべて言及しているとは限らない。
【0068】
[0073]本明細書が、構成要素、特徴、構造、または特性が含まれ「得る（may）」、含まれ「得る（might）」、または含まれ「得る（could）」と述べる場合、その特定の構成要素、特徴、構造、または特性は、含まれることを必要とされない。本明細書または請求項が「ある（ａ）」または「ある（ａｎ）」要素に言及する場合、それはただ１つの要素があることを意味しない。本明細書または請求項が「追加の」要素に言及する場合、それは２つ以上の追加の要素があることを排除しない。
【0069】
[0074]例において使用されるときを含めて、本明細書および特許請求の範囲において使用されるとき、別段に明確に指定されない限り、すべての数は、「約」または「およそ」という単語が明確に出現しなくても、あたかもこの語が前に置かれているかのように読まれ得る。「約」または「およそ」という句は、大きさおよび／または位置を記述して、記述された値および／または位置が、値および／または位置の妥当な予想される範囲内にあることを示すときに使用され得る。たとえば、数値は、述べられた値（または値の範囲）の＋／－０．１％、述べられた値（または値の範囲）の＋／－１％、述べられた値（または値の範囲）の＋／－２％、述べられた値（または値の範囲）の＋／－５％、述べられた値（または値の範囲）の＋／－１０％などである値を有し得る。本明細書で具陳されるいかなる数値範囲も、その中に包含されるすべてのサブレンジを含むものとする。
【0070】
[0075]さらに、本開示を実施する方法は、本明細書で説明されるものとは異なるシーケンスで行われ得る。したがって、方法のシーケンスは、明示的に述べられない限り、限定として読まれるべきではない。方法のステップのうちのいくつかを異なる順序で実施することは、同様の結果を達成し得ることが認識可能である。
【0071】
[0076]特許請求の範囲において、ならびに上記の本明細書において、「備える」、「含む」、「担持する」、「有する」、「含んでいる」、「伴う」、「保持する」、「から構成される」などのすべての移行句は、オープンエンドであること、すなわち、含むが限定はされないことを意味することを理解されたい。「からなる」および「から本質的になる」という移行句のみが、米国特許庁の特許審査手続便覧に記載されている、それぞれクローズドまたはセミクローズドな移行句であるものである。
【0072】
[0077]上記の説明において、いくつかの用語は、簡潔さ、明瞭さ、および理解のために使用されている。そのような用語は説明の目的で使用され、広く解釈されるべきことを意図されているので、そこから従来技術の要件を越えて不必要な限定が暗示されるべきではない。
【0073】
[0078]その上、本開示の様々な実施形態の説明および図示は例であり、本開示は、図示または説明された厳密な詳細に限定されない。
【0074】
[0079]本明細書で説明されたコンピュータ可読媒体は、データストレージデバイス、あるいは磁気ディスク、光磁気ディスク、光ディスク、またはフラッシュドライブなどのユニットであり得る。さらに、本明細書の「メモリ」という用語が、一時的電子メモリ、非一時的コンピュータ可読媒体および／またはコンピュータ書込み可能媒体など、永続的なのか一時的なのかどうかにかかわらず、様々なタイプの好適なデータ記憶媒体を含むものとすることが諒解されよう。
【0075】
[0080]本発明の様々な実施形態が詳細に説明されたが、それらの実施形態の様々な修正および改変が、発生することになり、当業者に容易に明らかであることは、明らかである。しかしながら、そのような修正および改変が、添付の特許請求の範囲に記載したように、本発明の範囲および趣旨内にあることを、明確に理解されたい。さらに、本明細書で説明された発明は、他の実施形態が可能であり、様々な他の関係する方法で実践されるまたは行われることが可能である。さらに、本明細書で使用される語法および用語は、説明の目的のためのものであり、限定するものと見なされるべきでないことを理解されたい。本明細書の「含む」、「備える」、または「有する」およびそれらの変形形態の使用は、その後にリストされた項目およびそれらの等価物ならびに追加の項目を包含するように意図されているが、「からなる」および「からのみなる」という用語のみが、限定的な意味において解釈されるべきである。
【0076】
[0081]本開示の実施形態の上記の説明は、例示および説明のために提示された。それは、網羅的なものでも、開示される正確な形態に本開示を限定するものでもない。本開示に照らして、多くの修正および変形が可能である。本開示の範囲は、この詳細な説明によってではなく、本明細書に添付された特許請求の範囲によって限定されるものとする。
【0077】
[0082]いくつかの実装形態が説明された。とはいえ、本開示の範囲から逸脱することなく、様々な修正が行われ得ることを理解されよう。動作は特定の順序で図面に図示されているが、これは、望ましい結果を達成するために、そのような動作が、示される特定の順序でまたは順番に実施されることを、あるいはすべての図示の動作が実施されることを必要とするものとして理解されるべきではない。
【0078】
[0083]本開示の原理が本明細書で説明されたが、本明細書は、本開示の範囲に関する限定としてではなく、例として作られたものにすぎないことを当業者なら理解されたい。本明細書で図示および説明された例示的な実施形態に加えて、本開示の範囲内で他の実施形態が企図される。当業者による修正および置換は、本開示の範囲内に入ると見なされる。
【図1】
【図2A】
【図2B】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【国際調査報告】