(58)【調査した分野】(Int.Cl.,DB名)
前記シーケンス内の画像ごとの前記所与の要素の前記複数の設定のそれぞれの前記推定精度の和に少なくとも部分的に基づいて、前記設定値に対応する精度値を割り当てることを更に備える、請求項1または2に記載の方法。
それぞれの画像に対する少なくとも1つの以前の画像における複数の設定と比較した、前記それぞれの画像における複数要素の複数の設定の全体解析に基づいて、前記シーケンス内の前記所与の要素及び前記それぞれの画像の前記精度メタデータを生成することを更に備える、請求項1から11のいずれか一項に記載の方法。
前記シーケンス内の前記複数の設定の異なる複数の重み付けに基づいて、前記所与の要素の前記設定値を生成することを更に備える、請求項1から13のいずれか一項に記載の方法。
各平面要素mに関連付けられた前記安定値vは、前記k個の平面要素のそれぞれに関連付けられた前記統計的パラメーターに基づいて前記k個の平面要素のそれぞれの前記複数の設定を重み付けすることによって生成される、請求項19から21のいずれか一項に記載の方法。
前記平面要素mの前記複数の設定と閾値を超えて異なる複数の設定を有する平面要素に関連付けられた前記重みがゼロに設定され、前記閾値は、前記次元Tに沿って前記平面要素mと同じ座標を有する平面要素の前記多次元信号の測定値の推定される統計的特性に少なくとも部分的に依存する、請求項22に記載の方法。
【発明の概要】
【0004】
安定/関連情報(「コア信号」)を過渡/不要情報(「過渡層」)と分離する機能が有用であり得る。例えば、本発明の実施形態による、安定情報と過渡情報との分離によって、デジタル化信号と現実との固有の結びつきを改善することが可能になる(更なる処理も容易にする)。加えて、安定情報と過渡情報との分離によって、信号のより良好な圧縮が可能になる。なぜなら、過渡情報(通常、近隣のサンプルからは予測不可能である)の情報エントロピーの量は、安定情報(非常に詳細ではあるが、通常、近隣のサンプルから少なくとも部分的に予測することができる)の情報エントロピーの量よりも高くなる傾向にあるためである。
【0005】
本発明の実施形態は、従来のシステム及び方法に対して逸脱している。例えば、本発明の実施形態は、信号内の過渡情報(「過渡情報」又は「過渡層」)を安定情報(「コア信号」)と分離する新規で独自の方法を提供することを含む。
【0006】
より詳細には、本明細書において論考されるような安定/過渡分離器は、本明細書においてSTSと呼ばれることもあり、次元T等の少なくとも1つの次元について安定性仮説が適用可能な(すなわち、信号の設定が上記次元Tに沿って比較的安定していると仮定することができる)任意の多次元信号に適用することができる普遍的な方法である。1つの実施形態において、STS、すなわち本明細書において論考されるような信号プロセッサは、過渡情報をコア情報から分離することを可能にする一方で、同時に、真の/関連情報を構成する詳細の全てをコア信号内に保持する。1つの実施形態によるSTSは、過渡レイヤーの特性(例えば雑音のスペクトル分布等)の抽出も可能にし、それによって、必要な場合、元の過渡層と類似した(必ずしも同一ではない)特性を有する過渡層を再構成することが可能である。
【0007】
信号から不要な過渡情報(例えば雑音、フィルム粒子、大きなばらつきがある詳細等)を特定及び/又は除去することに関連付けられた1つ又は複数の利点が存在する。例えば、設定から過渡成分を特定し除去することは、画像間の、更には同じ画像内の要素設定の情報エントロピーを低減するのに役立つことができる。情報エントロピーを低減することによって、信号の表現(rendition)を符号化するために必要なデータ量が低減される。さらに、設定から過渡/雑音成分を特定及び除去することによって、信号のより正確で高品質な表現を符号化することを可能にすることができる。
【0008】
簡略化のために、また本発明を説明するために、本明細書において示される実施形態は、3D時間ベース信号に言及し、他の特定の例では設定の2D平面のシーケンス(例えば適切な色空間における2D画像のシーケンス)に言及する。しかしながら、本明細書において論考されるような概念は、必ずしも時間ベースでない任意の他のタイプの多次元信号に適用することができ、その多次元信号において、少なくとも1つの次元T(例えば時間)が安定性仮説に適しており、すなわち、信号の設定は上記次元(複数の場合もある)に沿って比較的安定していると仮定することができる。
【0009】
例えば、本発明の実施形態は動きの補償を含むことができ、閾値を超える変動を例外として、信号は次元Tに沿って幾つかの後続のサンプルにわたって類似した値を維持する。本質的に、信号は、次元Tに沿って一定の度合いの予測可能性を有すると仮定することができる。信号が比較的安定しているという仮説が有効でない次元について、詳細な情報が非常に局所的であり及び/又はこれらの次元に沿った信号の他の部分と相関していない場合であっても、この詳細な情報を失うことを望まないと仮定する。
【0010】
特に、シーケンス内の各2D平面を、「位置tにおける信号のサンプル」と呼ぶ。ここで、tは次元Tにおける適切な位置である。
【0011】
本明細書における1つの実施形態は、位置tにおける信号のサンプルの要素ごとの移動平均を生成するように構成された信号プロセッサを含む。ここで、移動平均は信号の近隣のサンプルにおける対応する要素の測定値の重み付き平均として計算される。
【0012】
1つの実施形態において、移動平均は、信号の各平面サンプルの統計的特性を考慮に入れて、精度ベースの重みを用いて重み付けされる。例えば、過渡情報の統計的特性は、信号のサンプルごとに一定であると仮定されないので、異なるサンプルから到来する測定値は、移動平均において異なる重み付けをされる。
【0013】
更により詳細な実施形態では、より高い精度を有するとみなされるサンプルに、より高い重み値が割り当てられる。位置Tにおける要素の設定(すなわちその対応する設定)の測定値が、閾値を超えてその対応する移動平均と異なる場合、要素の移動平均設定はリセットされ、それによってその移動平均設定は位置Tから開始する。このため、バッファー又は移動平均マップは、シーケンス内の要素ごとの1つ又は複数の要素設定が安定しているか否かの度合いを示す情報を含むことができる。
【0014】
更なる実施形態によれば、信号プロセッサは、元の信号に以前に含まれていた過渡情報を符号化することなく、信号(「コア信号」)のサンプルの新たな表現を生成するために、1つ又は複数の要素に関連付けられた移動平均のマップを利用する。過渡情報(例えば、元のサンプルからサンプルの「コア信号」表現を減算することによって得られる)は、別個に解析し記憶することができる。或る特定の事例では、過渡情報は、必要な場合、更なる使用に供することができる。
【0015】
更に別の実施形態では、信号プロセッサは信号内で特定された過渡情報の属性を解析する。信号プロセッサは、特定のタイプの数学的分布であるものとして過渡情報の本質を捕捉することができる。所望の場合、信号は、過渡情報なしで符号化することができる。信号の表現を再生する復号化器は、データを復号化し、特定された過渡情報なしで信号の表現を生成することができる。上述したように、1つの実施形態において、信号プロセッサは、特定された過渡情報に関連付けられた特定のタイプの数学的分布に従って過渡情報(信号プロセッサによって特定された属性に従う)を信号内に戻して加算することができる。
【0016】
元の信号(過渡情報を含む)及び信号の対応する再生されたバージョン(特定のタイプの数学的分布に基づいて生成された過渡情報を含む)は、過渡情報が、元の信号に存在していた過渡情報と全く同じロケーションに及び/又は同じ設定を用いて信号に戻して加算されるわけではないので、同一でない場合がある。しかしながら、元の信号及び再生された信号の本質は非常に類似しているようにみえる。
【0017】
別の実施形態では、信号の各サンプルに関連付けられた精度情報を更新するために、移動平均のマップをフィードバックループにおいて用いることができる。
【0018】
また更なる実施形態では、次元Tについて仮定された安定性仮説を緩和するために、正確な補助マップ(例えば、サンプル間での変換を示す、信号の各サンプルの要素ごとの動きベクトル/予測ベクトルを提供する動きマップ/予測マップ)を利用することができる。そのような実施形態において、移動平均のマップは、過渡情報なしで信号のサンプルの新たな表現を生成するように利用される前に、動き補償される。
【0019】
更により詳細な実施形態によれば、動きベクトルに関連付けられる値(例えば、非限定的な例として、各動きベクトルの半径、各動きベクトルに関連付けられる信頼レベル/精度)が、移動平均のマップに影響を与えるために利用される。例えば、画像(例えばビデオフレーム)のシーケンスは、移動物体を表す1つ又は複数の要素を含むことができる。動きマップは、画像のシーケンス内の1つ又は複数の物体の移動を示す情報を含む。所与の物体についての画像内の要素の設定は、物体を表す要素のx−y位置が画像間で移動する場合であっても同じとすることができる。いわゆる動きマップ(例えば動きベクトル情報)を用いて、画像間の物体の移動を特定及び追跡することができる。
【0020】
本発明の実施形態は、シーケンス内の平面(例えばビデオフレーム等)間で移動する物体を表す要素を監視及び解析することを含む。1つの実施形態において、動きマップ情報は要素の移動を特定する。画像に関連付けられた設定情報(例えば、YUV、RGB、HSV等の適切な色空間における表示設定情報)は、移動要素に割り当てられる設定を示す。要素ごとに、信号プロセッサは、所与の移動要素に関する設定の変化が過渡情報(例えば取得雑音、フィルム粒子、大きなばらつきがある詳細等)を意味するか否か、又はそれらがシーン内の変化に起因して生じているか否かを判断するように構成することができる。
【0021】
また更なる実施形態によれば、信号プロセッサは設定情報を受信する。設定情報は、所与の要素が存在する複数の画像のシーケンス内の画像(例えば、平面、フレーム等)ごとの所与の要素の設定を特定する。信号プロセッサは、シーケンス内の画像ごとの所与の要素の各設定の推定精度を特定する精度メタデータも受信する。設定情報及び精度メタデータに基づいて、信号プロセッサは所与の要素の設定値を生成する。1つの実施形態において、設定値は、経時的に低速に変化する移動平均である。設定値は、所与の要素の設定が画像のうちの1つ又は複数にわたって安定している度合いを示すことができる。
【0022】
1つの例示的な実施形態において、所与の要素について生成された設定値又は移動平均が比較的安定しており、このため、所与の要素の設定を所与の要素の現在の設定よりも良好に表す可能性が高い場合、信号プロセッサは、画像のシーケンスの1つ又は複数の画像の所与の要素の設定を符号化する基礎として、所与の要素の現在の設定の代わりに、複数の画像のシーケンスにわたって、生成された設定値(例えば、過渡情報のより少ない要素の設定、すなわち「生成された安定値」)を画像ごとに利用する。
【0023】
所与の要素のそれぞれの設定に関連付けられた推定精度情報は、複数の設定のそれぞれの設定が過渡情報の大きな成分(例えば雑音、フィルム粒子等)を含む場合がある確率又は度合いを示す統計的測定値とすることができる。1つの実施形態では、所与の画像の要素のそのような推定精度情報は、以前の画像の生成された安定値に少なくとも部分的に基づいて計算される。
【0024】
更なる実施形態によれば、信号プロセッサは、シーケンス内の画像ごとの所与の要素の各設定の推定精度の和に少なくとも部分的に基づいて、画像のシーケンスの所与の要素に、安定設定値(例えば移動平均)に対応する精度値を割り当てる。
【0025】
より詳細な実施形態において、所与の要素に対する安定設定値を生成するとき、信号プロセッサは、重み係数を各設定に適用する。重み係数は、所与の要素の設定の推定精度に少なくとも部分的に基づいて変動する。信号プロセッサは、重み付けされた設定を合算して所与の要素の設定値を生成する。このため、本発明の実施形態は、シーケンス内の設定の様々な重み付けに基づいて所与の要素の設定値を生成することを含むことができる。
【0026】
更なる実施形態によれば、信号プロセッサは、解析されている所与の要素に関連付けられた設定又はサンプルのウィンドウの重み係数を正規化することができる。例えば、別の実施形態によれば、信号プロセッサは重み係数を設定に適用する前に重み係数を正規化する。
【0027】
また別の実施形態では、上述したように、画像のシーケンスにわたる所与の要素の安定設定値は、シーケンス内の画像ごとの所与の要素の設定の重み付けに基づいて計算される移動平均値である。上述したように、設定に適用される重み付けの大きさは、各設定の推定精度に少なくとも部分的に依存して変動する。
【0028】
所与の要素の安定設定値は、所与の要素が存在する追加のサンプル画像ごとに更新することができる。例えば、1つの実施形態では、信号プロセッサは、以前に解析された画像のシーケンスに続く次元Tに沿った次の連続画像の所与の要素に割り当てられる次の設定値及び対応する精度値を受信することができる。信号プロセッサは、所与の要素に割り当てられる設定値を、この割り当てられる設定値と、次の連続画像の所与の要素の次の設定の重み付けとの組み合わせに基づいて更新する。
【0029】
所与の要素の設定値は、画像間で劇的に変化する場合がある。これは、(ビデオ画像の場合)照明条件の変化、要素が属するエンティティの特性の変化、又は画像によって捕捉されるシーンの変化等の幾つかの理由に起因して生じる可能性がある。そのような実施形態では、所与の要素の安定設定値が基づく画像の初期シーケンスに続く別の画像の属性に基づいて、移動平均又は設定値をリセットするか又は代替的には更新することができる。
【0030】
例えば、第1のサンプル事例によれば、信号プロセッサが、シーケンスに続く後続の画像の所与の要素に割り当てられる次の設定値及び対応する精度値を受信すると仮定する。信号プロセッサは、(1つ又は複数の画像のウィンドウの)以前に生成された設定値と、(画像のウィンドウに続く次の画像における)所与の要素の次の設定値との差異を示す差異値を生成する。信号プロセッサは、差異値を閾値と比較する。差異値が閾値未満であることを検出するのに応じて、信号プロセッサは、所与の要素に割り当てられる設定値を、生成された設定値と、所与の要素の次の設定の重み付けとの組み合わせに少なくとも部分的に基づいて更新する。
【0031】
代替的に、第2の例示的な事例によれば、信号プロセッサが、画像のシーケンスに続く次の連続画像の所与の要素に割り当てられる次の設定値及び対応する精度値を受信すると仮定する。上述したように、信号プロセッサは、(ウィンドウ画像について)生成された設定値と、(画像のウィンドウに続く次の画像内の)所与の要素の次の設定値との差異を示す差異値を生成することができる。信号プロセッサは差異値を閾値値と比較する。この例において、差異値が閾値よりも大きいことを検出するのに応じて、信号プロセッサはバッファリングされた設定値をリセットし、所与の要素の設定値を、次の設定値に等しくなるように更新する。このため、差異が閾値を上回る場合、信号プロセッサは以前の設定を無視する。
【0032】
所与の要素は、シーケンス内の各画像の異なる位置座標に存在するエンティティ(例えば物体)を表すことができることに留意されたい。信号プロセッサは、画像のシーケンスに関連付けられた動きベクトル情報を利用して、シーケンスの各画像内の所与の要素の異なる位置座標を特定するように構成することができる。動きベクトル情報は、画像のシーケンス内のエンティティの移動を示す。
【0033】
要素設定の精度の大きさに依存する重み係数を生成することに加えて、又はその代替として、本発明の実施形態は、動きベクトル情報に関連付けられた精度メタデータに少なくとも部分的に基づいて、設定に適用される重み付けの大きさを生成することを含むことができる。動きベクトルに関連付けられた精度メタデータは、動きベクトルが正確である度合いを示すことができる。
【0034】
上述したように、各画像内の所与の要素の元の設定を用いることと対照的に、1つ又は複数の画像のシーケンス内の画像ごとに生成される安定設定値又は移動平均値を用いて信号を符号化することができる。これによって、信号を符号化するのに必要なデータ量が潜在的に低減し、多くの場合、同時に信号の知覚品質が改善する。換言すれば、本発明の実施形態は、過渡情報(例えば雑音、フィルム粒子、大きなばらつきがある詳細等)を特徴付けることと、過渡情報の量が低減された信号を符号化することとを含むことができる。
【0035】
本発明の実施形態は、画像の設定の変動を解析して、設定における過渡成分の属性を特定し、過渡成分が低減した信号を符号化することを更に含むことができる。再生中の複数の画像のシーケンスの後続のレンダリング時に、復号化器及び/又は再生デバイスは、特定された過渡成分(例えば雑音)を、再生中の複数の画像のシーケンスの表現に戻して挿入し、元の信号と類似して見えるようにするように構成することができる。
【0036】
更なる実施形態によれば、精度メタデータは、単一の要素の設定を画像間で単に解析することと対照的に、要素群又は画像全体の解析に基づいて生成することができる。例えば、1つの実施形態では、処理リソースが、それぞれの画像に対する少なくとも1つの以前の画像における対応する設定と比較した、それぞれの画像における複数の要素設定のグループ化の全体解析に基づいて、シーケンス内の所与の要素及びそれぞれの画像の精度メタデータを生成することができる。
【0037】
これらの実施形態及び他の実施形態の変形形態を以下でより詳細に論考する。
【0038】
上述したように、本発明の実施形態は、ソフトウェア若しくはハードウェアにおいて実施することができるか、又はソフトウェア及びハードウェアの組み合わせを用いて実施することができ、本明細書において開示された方法動作のうちの任意のもの又は全てを実行及び/又はサポートする、1つ又は複数のコンピューター化されたデバイス、ルーター、ネットワーク、ワークステーション、ハンドヘルド又はラップトップコンピューター、セットトップボックス等の構成を含むことができることに留意されたい。換言すれば、1つ又は複数のコンピューター化されたデバイス又はプロセッサは、本明細書において説明されるように動作して様々な実施形態を実行するようにプログラム及び/又は構成することができる。
【0039】
上記で論考したような技法に加えて、本発明のまた他の実施形態は、上記で要約され以下で詳細に開示されるステップ及び動作を実行するソフトウェアプログラムを含む。1つのそのような実施形態は、プロセッサ及び対応するメモリを有するコンピューター化されたデバイスにおいて実行されると、本明細書において開示される動作のうちの任意のものを実行するようにプロセッサをプログラムし及び/又はそれらをプロセッサに実行させる、符号化されたコンピュータープログラムロジック、命令等を含む、コンピューター可読ハードウェア記憶リソース(すなわち非一時的コンピューター可読媒体)を含む。そのような配置構成は、光媒体(例えばCD−ROM又はDVD−ROM)、フロッピー(登録商標)若しくはハードディスク等のコンピューター可読媒体、又はファームウェア若しくはマイクロコード等のコンピューター可読命令を1つ若しくは複数のROMチップ若しくはRAMチップ若しくはPROMチップ内に記憶することができる任意の他の媒体上に配置構成又は符号化されたソフトウェア、コード及び/又は他のデータ(例えばデータ構造)として提供することもできるし、特定用途向け集積回路(ASIC)として提供することもできる。ソフトウェア若しくはファームウェア又は他のそのような構成をコンピューター化されたデバイス上にインストールし、そのコンピューター化されたデバイスに本明細書において説明される技法を実行させることができる。
【0040】
したがって、本開示の1つの特定の実施形態は、本明細書において論考されるような信号処理動作のうちの任意のものをサポートするための命令を記憶したコンピューター可読ハードウェア記憶媒体を含むコンピュータープログラム製品を対象とする。
【0041】
明確にするためにステップの順序付けを付加した。これらのステップは任意の適切な順序で実行することができる。
【0042】
本開示の他の実施形態は、上記で要約され、以下で詳細に開示される方法実施形態のステップ及び動作のうちの任意のものを実行するためのソフトウェアプログラム、ファームウェア、及び/又はそれぞれのハードウェアを含む。
【0043】
また、本明細書において論考されるようなシステム、方法、装置、コンピューター可読記憶媒体上の命令等は、厳密にソフトウェアプログラムとして、ソフトウェア、ファームウェア、及び/又はハードウェアが混成したものとして、又はプロセッサ内、若しくはオペレーティングシステム内、若しくはソフトウェアアプリケーション内等においてハードウェア単体として具現化することができることを理解すべきである。
【0044】
上記で論考したように、本明細書における技法は、信号を処理し動きベクトルを生成するソフトウェア、ファームウェア及び/又はハードウェアの用途における使用に十分適している。しかしながら、本発明の実施形態がそのような用途における使用に限定されず、本明細書において論考される技法が他の用途にも十分適していることに留意すべきである。
【0045】
加えて、本明細書における様々な特徴、技法、構成等のそれぞれは、この開示の様々な場所において論考される場合があるが、概念のそれぞれを、互いに独立して、又は互いに組み合わせて実行することができることが意図されることに留意されたい。したがって、本明細書において説明されるような1つ又は複数の本発明、実施形態等は、多くの異なる方法で具現化し、検討することができる。
【0046】
また、本発明の実施形態のこの前置きの論考は、本開示又は特許請求される発明(複数の場合もある)の全ての実施形態及び/又は新規性が増大した態様を特定しているわけではないことに留意されたい。そうではなく、この短い記述は、大まかな実施形態と、新規性が従来の技法を上回る対応するポイントとを提示するのみである。本発明(複数の場合もある)の更なる詳細及び/又は可能な観点(置き換え)について、読み手は、以下でより詳細に論考される本開示の詳細な説明のセクション及び対応する図面を参照されたい。
【0047】
また更なる実施形態によれば、本発明の実施形態は、多次元信号の要素mごとに、該多次元信号の次元Tのうちの1つに沿った安定性仮説に基づいて、安定値vを生成する方法であって、該方法は、前記多次元信号の平面要素mを選択することと、要素mの前記座標に少なくとも部分的に基づいて、前記多次元信号のk−1個の追加の平面要素(ただし、k≧2)を選択することであって、前記k個の要素のそれぞれが、安定性仮説を有する次元Tに沿った異なる座標によって特徴付けられることと、前記k個の要素のそれぞれの前記設定に少なくとも部分的に基づいて、平面要素mの安定値vを生成することと、を含む、多次元信号の要素mごとに、前記多次元信号の次元Tのうちの1つに沿った安定性仮説に基づいて、安定値vを生成する方法を含む。
【0048】
また更なる実施形態において、前記k個の要素は前記安定性仮説を有する次元Tに沿って互いに順に配置される。
【0049】
また更なる実施形態において、前記k個の要素のそれぞれの安定値vへの寄与は、安定値vに関連付けられた統計的パラメーターに少なくとも部分的に依存する。該方法は、前記多次元信号の平面要素mを選択することと、要素mの前記座標に少なくとも部分的に基づいて、前記多次元信号からのk−1個の追加の平面要素を選択することであって、前記k個の要素のそれぞれが、前記安定性仮説を有する次元Tに沿った異なる座標によって特徴付けられることと、前記k個の要素のそれぞれの前記設定と、各要素に関連付けられた統計的パラメーターとに少なくとも部分的に基づいて、平面要素mの安定値vを生成することとを更に含む。
【0050】
また更なる実施形態において、各要素に関連付けられた前記統計的パラメーターは、各要素の前記精度に関する情報を含む(例えば、非例示的な例として、前記精度は前記推定される設定の分散の逆数として計算することができる)。
【0051】
また更なる実施形態において、前記k個の要素のそれぞれの前記選択及び安定値vへの前記寄与は、要素mの前記設定に少なくとも部分的に依存する。該方法は、前記多次元信号の平面要素mを選択することと、要素mの前記座標とmの前記設定とに少なくとも部分的に基づいて、前記多次元信号からのk−1個の追加の平面要素を選択することであって、前記k個の要素のそれぞれが、前記安定性仮説を有する次元Tに沿った異なる座標によって特徴付けられることと、前記k個の要素のそれぞれの前記設定と、各要素に関連付けられた統計的パラメーターにと少なくとも部分的に基づいて、平面要素mの安定値vを生成することとを更に含む。
【0052】
また別の実施形態では、各要素mに関連付けられた安定値vは、前記k個の要素のそれぞれに関連付けられた前記統計的パラメーターに基づいて前記k個の要素のそれぞれの前記設定を重み付けすることによって生成することができる。
【0053】
別の実施形態によれば、要素mの前記設定と閾値を超えて異なる設定を有する要素に関連付けられた前記重みがゼロに設定される。前記閾値は、次元Tに沿って要素mと同じ座標を有する要素の前記多次元信号の測定値の推定される統計的特性に少なくとも部分的に依存することができる。
【0054】
また別の実施形態では、要素mの安定値vを生成するように選択される前記k−1個の各要素は、適切な動きベクトルを利用することによって特定され、該方法は、前記多次元信号の平面要素mを選択することと、要素mの座標と、mの前記設定と、要素mに関連付けられた動きベクトルとに少なくとも部分的に基づいて、前記安定性仮説を有する次元Tに沿って先行する座標又は後続の座標によって特徴付けられる、前記多次元信号の少なくとも1つの追加の平面要素iを受信することと、k個の要素が選択されるまで(ただし、k≧2)、最後に選択された要素の前記座標と、前記最後に選択された要素の前記設定と、前記最後に選択された要素に関連付けられた動きベクトルとに少なくとも部分的に基づいて、前記安定性仮説を有する次元Tに沿って先行する座標又は後続の座標によって特徴付けられる、前記多次元信号の少なくとも1つの追加の平面要素jを選択することと、前記各特定された要素の前記設定と、各要素に関連付けられた統計的パラメーターとに少なくとも部分的に基づいて、平面要素mの安定値vを生成することとを更に含む。
【0055】
また別の実施形態では、安定値への各選択された要素の前記寄与は、動きベクトルに関連付けられるメタデータ(例えば非限定的な例として、動きベクトルに関連付けられた精度情報)に依存し、該方法は、前記多次元信号の平面要素mを選択することと、要素mの座標と、要素mに関連付けられた動きベクトルとに少なくとも部分的に基づいて、前記安定性仮説を有する次元Tに沿って先行する座標又は後続の座標によって特徴付けられる、前記多次元信号の少なくとも1つの追加の平面要素iを選択することと、k個の要素が選択されるまで(ただし、k≧2)、最後に選択された要素の前記座標と、該座標に関連付けられた動きベクトルとに少なくとも部分的に基づいて、前記安定性仮説を有する次元Tに沿って先行する座標又は後続の座標によって特徴付けられる、前記多次元の少なくとも1つの追加の平面要素jを選択することと、前記各特定された要素の前記設定と、各要素に関連付けられた統計的パラメーターと、前記要素を特定するのに用いられる動きベクトルに関連付けられた統計的パラメーターとに少なくとも部分的に基づいて、平面要素mの安定値vを生成することとを含む。
【0056】
また別の実施形態では、各要素mに関連付けられた安定値vは、次元Tに沿って要素mの座標に関連付けられたバッファーv
old内に含まれる設定に少なくとも部分的に基づいて生成され、該方法は、次元Tに沿った所与の座標tの前記多次元信号の平面Mを選択することと、M内で前記多次元信号の平面要素mを選択することと、前記多次元信号の平面Mに対応するバッファーV
oldを特定することと、要素mの座標に少なくとも部分的に基づいて、バッファーV
old内の要素v
oldを選択することと、mの前記設定と、v
oldの前記設定と、m及びv
oldの設定に関連付けられた適切な重みパラメーターとに少なくとも部分的に基づいて、平面要素mの安定値vを生成することとを更に含む。
【0057】
また更なる実施形態において、m及びv
oldに関連付けられる前記重みパラメーターは、重みの和が1に等しくなるように正規化される。
【0058】
また別の実施形態では、前記重みパラメーターは、m及びv
oldの前記推定精度等の統計的パラメーターに依存する。非限定的な実施形態において、前記推定精度は分散の逆数として計算される。
【0059】
更なる実施形態によれば、v
oldに関連付けられた前記重みパラメーターは、m及びv
oldの設定が閾値を超えて異なる場合はいつでもゼロに設定され、前記閾値は、m及びv
oldの推定される統計的特性に少なくとも部分的に依存する。
【0060】
別の実施形態では、バッファー値P
oldは、要素p
oldの平面を含み、バッファーP
oldの各要素p
oldはバッファーV
old内の要素v
oldに対応し、該方法は、次元Tに沿った所与の座標tの前記多次元信号の平面Mを選択することと、M内で前記多次元信号の平面要素mを選択することと、前記多次元信号の平面Mに対応するバッファーV
oldを特定することと、要素mの座標に少なくとも部分的に基づいて、バッファーV
old内の要素v
oldを選択することと、平面V
oldに対応するバッファーP
oldを特定することと、要素v
oldの前記座標に少なくとも部分的に基づいて、要素v
oldに関連付けられたバッファーP
old内の要素p
oldを選択することと、mの前記設定と、v
oldの前記設定と、m及びv
oldの設定に関連付けられた適切な重みパラメーターとに少なくとも部分的に基づいて平面要素mの安定値vを生成することであって、前記v
oldの設定に関連付けられた適切な重みパラメーターは要素p
oldの設定に少なくとも部分的に依存することとを含む。
【0061】
別の実施形態では、mの前記設定に関連付けられた適切な重みパラメーターは、信号測定値間の差異の前記平面の統計的特性p
new(すなわち、信号要素の設定)と、要素mの次元Tに沿った座標の近隣の次元Tに沿った前記座標の対応する生成された安定値とに少なくとも部分的に依存する。
【0062】
更なる実施形態によれば、次元Tに沿った所与の座標tのバッファーV
oldの設定は、前記多次元信号に関連付けられた補助マップの前記コンテンツに少なくとも部分的に基づいて、座標T=tを有する前記多次元信号の要素の前記平面Mについて生成された安定設定Vの前記平面を調整することによって生成される。
【0063】
別の実施形態では、次元Tに沿った所与の座標tのバッファーP
oldの設定は、前記多次元信号に関連付けられた補助マップの前記コンテンツに少なくとも部分的に基づいて、次元Tに沿った座標tの近隣の座標(例えばt−1又はt+1)のバッファーP
oldの前記設定に少なくとも部分的に基づいて生成された設定の平面を調整することによって生成される。
【0064】
また更なる実施形態によれば、信号に関連付けられる補助マップの座標T=tに関連付けられた平面MM(motion map)は動きマップであり、本方法は、座標T=tにおける信号の平面に関連付けられた動きマップMMに含まれる動きベクトルに少なくとも部分的に基づいて、座標T=tを有する信号の要素の平面Mについて生成された安定設定Vの平面を動き補償することによって、次元Tに沿って所与の座標tのバッファーV
oldの設定を生成することを更に含む。
【0065】
また更なる実施形態によれば、信号に関連付けられた補助マップの座標T=tを有する平面MMは動きマップであり、本方法は、座標T=tにおける信号の平面に関連付けられた動きマップMMに含まれる動きベクトルに少なくとも部分的に基づいて、次元Tに沿った座標tの近隣の座標(例えばt−1又はt+1)のバッファーP
oldの設定に少なくとも部分的に基づいて生成された設定の平面を動き補償することによって、次元Tに沿って所与の座標tのバッファーP
oldの設定を生成することと、動きベクトルの統計的特性に関するメタ情報(例えば非限定的な例として、各動きベクトルの精度に関する情報)が利用可能である場合、対応する動きベクトルの統計的特性に基づいてバッファーP
oldの設定を調整することとを更に含む。
【0066】
別の実施形態では、安定値は、前記多次元信号の前記分解能と異なった分解能(すなわち、様々な座標に沿った要素数)を用いて生成され、該方法は、次元Tに沿って所与の座標tの前記多次元信号の平面Mを選択することと、前記多次元信号の平面Mに対応するバッファーV
newを特定することであって、バッファーV
newは、平面Mの前記分解能と異なる分解能(すなわち、前記様々な座標に沿った要素数)を特徴とすることと、平面Mの設定に少なくとも部分的に基づいてバッファーV
newの設定を生成することと、V
new内で平面要素v
newを選択することと、前記多次元信号の平面Mに対応するバッファーV
oldを特定することであって、バッファーV
oldはバッファーV
newと同じ分解能を特徴とすることと、要素v
newの前記座標に少なくとも部分的に基づいて、バッファーV
old内の要素v
oldを選択することと、平面V
oldに対応するバッファーP
oldを特定することであって、バッファーP
oldはバッファーV
new及びV
oldと同じ分解能を特徴とすることと、要素v
oldの前記座標に少なくとも部分的に基づいて、要素v
oldに関連付けられたバッファーP
old内の要素p
oldを選択することと、v
newの前記設定と、v
oldの前記設定と、v
new及びv
oldの設定に関連付けられた適切な重みパラメーターとに少なくとも部分的に基づいて、平面要素v
newに対応する安定値vを生成することであって、前記v
oldの設定に関連付けられた適切な重みパラメーターは要素p
oldの設定に少なくとも部分的に依存することとを更に含む。
【0067】
また更なる実施形態において、安定設定vと、前記多次元信号の要素の対応する設定との差異に少なくとも部分的に基づいて、前記多次元信号の過渡成分に関する情報が生成され、該方法は、次元Tに沿った所与の座標tについて前記多次元信号の平面Mを選択することと、平面Mの要素mごとに安定値vを生成することと、平面Mの設定と、該設定の対応する安定値との差異に少なくとも部分的に基づいて、平面Mの過渡成分に関する情報TCを生成することとを更に含む。
【0068】
別の実施形態では、情報TC(過渡成分)は、平面Mの設定と、該設定の対応する安定値との前記差異の前記スペクトル分布を示すパラメーターを含む。
【0069】
また別の実施形態では、情報TCは、引用することにより本明細書の一部をなす段階的信号復号化及び信号再構成の方法に従って、平面Mの設定と、該設定の対応する安定値との差異の表現の段階的階層(すなわち漸進的に高くなる品質レベル)を再構成する再構成データを含む。
【0070】
別の実施形態において、全てが処理に迅速に利用可能であるのとは対照的に、次元Tに沿った信号の平面が経時的に漸進的に利用可能である。
【0071】
本発明の上記の及び他の目的、特徴及び利点は、添付の図面に示されるように、好ましい本発明の実施形態の以下のより詳細な説明から明らかとなろう。添付の図面において、同様の参照符号は様々な図面全体を通じて同じ部分を指す。図は必ずしも一定の縮尺でなく、代わりに、実施形態、原理、概念等を示すことに重点が置かれる。
【発明を実施するための形態】
【0073】
1つの例示的な実施形態によれば、信号プロセッサは設定情報を受信する。設定情報は、画像(例えば平面、フレーム等)ごとの所与の要素の設定を、その所与の要素が存在する複数の画像のシーケンスにおいて特定する。信号プロセッサは、シーケンス内の画像ごとの所与の要素の各設定の推定精度を特定する、精度メタデータ等の統計的情報も受信する。設定情報及び精度メタデータに基づいて、信号プロセッサは所与の要素の設定値を生成する。
【0074】
被試験要素(例えば所与の要素)について生成される設定値は、経時的に変化する移動平均とすることができる。設定値は、所与の要素の設定が画像のうちの1つ又は複数にわたって安定している度合いを示すことができる。1つの例示的な実施形態では、所与の要素について生成された設定値又は移動平均が比較的安定しており、このため、所与の要素の現在の設定よりも所与の要素の設定を良好に表す可能性が高い場合、信号を符号化する信号プロセッサは、所与の要素の現在の設定の代わりに、複数の画像のシーケンスにわたって生成された安定設定値を、画像のシーケンスの1つ又は複数の画像についての所与の要素の設定を符号化する基礎として利用する。
【0075】
本明細書において用いられる命名規則(3次元信号の非限定的な例におけるものであり、次元のうちの1つの次元、すなわち時間であるとする次元Tについて安定性仮説が適用される)
【表1】
【0076】
図1は、本発明の実施形態による、複数の次元のうちの1つの次元Zについて安定性仮説を仮定した3D信号を示す例示的な図である。この例示的な実施形態において、この次元Zは、その次元について、過渡情報を安定情報から分離したいことを明らかにするように、次元Tとリネームされる。
【0077】
座標(x,y,t)によって特定される信号の平面要素ごとに、「測定値」M(x,y,t)を入手可能である。所与のT=tについての全ての測定値M(x,y,t)の平面は、本明細書において、「位置T=tにおける信号のサンプル」とも呼ばれる(例えば、ビデオ信号において、この平面は時間次元に沿った複数の画像のシーケンスにおける所与の画像に対応する)。
【0078】
安定性仮説を所与として、M(x,y,t)が安定成分S(x,y,t)と過渡成分Tr(x,y,t)との和から作成されると仮定することができる。過渡成分は、期待値E(Tr)がゼロに等しく確率論的であると仮定されるので、測定の期待値E(M)は実際には安定成分である。
【数1】
【0079】
1つの実施形態において、本質的に、Sは過渡成分(例えば取得雑音及び/又は他の大きなばらつきがある成分)を有しない平面要素の「真の」値である。次元Tに沿って複数のサンプル/測定値を有する場合、そのような真の値を推定することができる。ラベル「v」を要素の真の値の推定値としてラベル付けする場合、以下のように、最後のk個のサンプルの適切な重み付き平均を用いてvを計算することができる。
【数2】
【0080】
重みパラメーターp
iは、移動平均の予め設定された値とすることができるか、又はより高度な実施形態では、T=iにおけるサンプルデータの統計的特性の推定値に依存することができる(例えば、非限定的な例は、精度p
iをT=iにおけるサンプルの分散の逆数として計算し、それによって高分散/低精度を有するサンプルから到来する測定値は、低分散/高精度を有するサンプルから到来する測定値に対して、重み付き平均において、より低い重みを有する)。
【0081】
非限定的な例として、上述したような基本仮説は、Mが安定している、すなわち、(x,y)の所与の組について、M
x,y,iの全て(例えば、
図1の110−1〜110−kの全ての測定値110)が同じ期待値を有することである(ただし、過渡成分の特性は次元Tに添って異なる可能性があるので、必ずしも同じ確率分布ではない)。この仮説を説明するため、実施形態は、T=iにおける測定値MがT<iにおける測定値と閾値(T=iにおけるMの特定の確率分布を計上するようにp
iに依存するか、又は別の非限定的な実施形態では絶対閾値である)を超えて異なっている場合はいつでも、真の値の推定値vがT<iにおける測定値(それらの全て、又は別の非限定的な実施形態では、閾値を超えて異なる測定値のみ)を考慮に入れないことを確実にする。
【0082】
示すように、所与の要素110−1は複数の平面のシーケンスにわたって平面の同じ(x,y)ロケーションに存在し、したがって動かない。要素110−1〜110−NのMの設定は、13,14,12,15,...,13である。要素110−1〜110−Nの設定は、経時的に比較的不変である。すなわち、雑音又は他の過渡成分に起因して、設定間で小さなばらつきが存在する場合がある。
【0083】
また、示すように、所与の要素120−1は、複数の平面のシーケンスにわたって平面の同じ(x,y)ロケーションに存在する。要素120−1〜120−NのMの設定は、240,238,241,242,...,239である。要素120−1〜120−Nの設定は、経時的に比較的不変である。雑音又は他の過渡成分に起因して設定間で小さなばらつきが生じる可能性がある。
【0084】
図2Aは、本発明の実施形態による、複数の次元のうちの1つの次元Z(Tとリネームされる)について安定性仮説を仮定した3D信号を示す別の例示的な図である。
【0085】
この実施形態において、精度に基づく測定値の移動平均(それぞれの座標(x,y)は、次元Tに沿って、異なる測定値および予め定められていない測定値の量を含むことができる)は、1つ又は複数のバッファーを導入することによって、より容易かつより効率的にもたらされる。T=tにおいて、バッファーv
oldは、座標(x,y)ごとに、T=t−1における信号のサンプルについて推定値v
x,yを含む。
【0086】
一実施形態において、バッファーp
oldも利用可能であり、このバッファーp
oldは、座標(x,y)ごとに、バッファーv
old内に含まれるT=t−1における設定v
x,yのそれぞれの推定値の精度情報(例えば統計的情報)を含む。
【0087】
1つの実施形態において、所与のT=tにおけるそれぞれの要素(x,y)ごとの測定値Mは、要素の大まかな設定を提供する。対応する精度情報p
newは、所与の要素の設定情報がその期待値(すなわちその安定値)に対して変動する場合の度合いを示す精度データを含む。
【0088】
非限定的な例として、精度情報は、それぞれの要素の対応する設定が1つ又は複数のサンプルにわたって安定している度合いを示す。例えば、精度情報はゼロと無限大との間の値とすることができる。値がゼロに近いほど、設定が精密でないか又は安定していない(すなわち、位置x,yにおける測定値Mは、位置x,yにおいて得るはずの「真の値」又は「安定値」と潜在的に非常に異なる可能性がある)ことを示し、ゼロよりも大幅に大きな値は、設定が精密で安定していることを示す。
【0089】
任意のT=tにおいて、バッファー内の安定値の推定値v
x,y及び新たな値が以下のように計算される。
【数3】
【0090】
β、a及びbは適切なパラメーターである。1つの例示的な実施形態において、a=b=1である。a及びbの設定は、要素の以前に処理された古い設定よりも、要素の新たな設定に対し多くの又は少ない重みを課すように調整することができる。例示的な実施形態では、p
oldは無限に増大することができず、閾値に達した後、飽和する(すなわち固定される)。
【0091】
安定性仮説を考慮するために、本明細書における1つの実施形態は、M
x,y,tと、バッファーv
old内に含まれる値との差異が安定性仮説と矛盾
する場合、座標(x,y)内のp
oldの値をゼロに「リセットする」以下の動作を加えることを含む
。
【数4】
もし、(Mx,y,t−vold)≧閾値の場合、
【数5】
【0092】
他の実施形態は、p
old及びv
oldの値を様々な方法でリセットすることによって安定性仮説を考慮する。閾値は、固定の定数とすることもできるし、信号の局所的な統計的特性(例えば、非限定的な例として、精度p
new及び/又はp
old)に依存することもできる。
【0093】
図2Bは、本発明の実施形態による次元Tに沿った後続のサンプルにおける
図2Aの同じ例示的な実施形態を示している。この場合、測定値220−1(例えばM=77)は、バッファーv
old290に含まれる値290−1(例えばv
old=14)と閾値を超えて異なり、安定性仮説に矛盾する。換言すれば、77と14との差異は閾値値(例えば閾値値=25)よりも大きい。結果として、p
oldは値vを推定する前に0に設定され、それにより値290−1は推定値vに影響しない。
【0094】
対照的に、測定値220−2は(例えばM=238)は、バッファーv
old290に含まれる値290−2(例えばv
old=239)と十分類似しており、安定性仮説に違反しない。例えば、289と238との差異は閾値未満である。結果として、T=N+1における安定値の推定値vは、値290−2及び値220−2のそれぞれの正規化された精度を重みとして利用した、値290−2及び値220−2の重み付き平均となる。次に、T=N+1における推定値vは、T=N+2において用いられる値v
oldになるようにバッファー290内に記憶される。
【0095】
図3A及び
図3Bは3D信号を示す例示的な図であり、本発明の実施形態によれば、複数の次元のうちの1つの次元Z(Tとリネームされる)について安定性仮説を仮定し、異なるサンプルTにおいて、安定値が次元X及びYに沿ってそれらの正確な位置を維持するという仮説を緩和した。これは、次元Tに沿って先行するサンプルにおける各値のロケーションが、測定値M
x,y,tのロケーション(x,y)と異なる場合があることを意味する。
【0096】
しかしながら、図面に示すように、それぞれの座標(x
t,y
t)、T=t−1における信号のサンプル内の対応する要素のそれぞれのロケーション(x
t−1,y
t−1)に示される利用可能な適切な動きベクトルが、サンプルtごとに有することを条件として、
図1、
図2A及び
図2Bに示される同じ手法を採用することができる。平面内の要素ごとのそれぞれの動きベクトル設定は、要素が関連する対応する物体が平面間でそのロケーションを変更したか否かを示す。
【0097】
このため、動きベクトルを用いて、平面間での物体の移動を追跡し続けることが可能である。
【0098】
動きを補償した後、信号プロセッサは以下のように安定値を計算する。
【数6】
【0099】
本質的に、重み付き平均を検討するための測定値Mは、動きベクトルに基づいて得られ、それによって、T=Nにおける所与の位置(x
N,y
N)での測定値Mは、T=N−k+1における位置(x
N−k+1,y
N−k+1)での対応するk−1個の値とともに平均化することができる。
【0100】
一実施形態において、i<Nについて、精度情報p
iが、T=iにおける信号の推定される統計的特性と、ロケーション(x
N,y
N)をロケーション(x
i,y
i)に接続する動きベクトルの統計的特性(例えば、非限定的な実施形態では動きベクトルの精度)との双方を考慮に入れることを明らかにすることが有用である。したがって、T=iにおける所与のサンプルにおけるロケーション(x
i,y
i)での測定値Mは、T=iにおけるサンプルの統計的特性(すなわち、より精密でないサンプルがより低い重みを用いて重み付けされる)と、動きベクトルが、重み付き平均に含める正しいロケーションを正確に特定した確度(すなわち、より精密でないロケーションがより低い重みを用いて重み付けされる)との双方を反映するように重み付けされる。
【0101】
したがって、本明細書における非限定的な例示的実施形態によれば、設定に適用される重み付けの大きさは、動きベクトル情報に関連付けられた精度メタデータに少なくとも部分的に依存することができる。1つの実施形態では、動きベクトル
情報と関連付けられた精度メタデータは、平面内の異なるロケーションに存在する要素が互いに関連する確度の度合いを示す。
【0102】
別の非限定的な実施形態では、毎回k個全てのサンプルを直接平均化する代わりに、信号プロセッサは、vの古い推定値(v
old)及びvのそのような古い推定値の精度p
oldについてバッファーを利用する。バッファーv
oldは、vの古い推定値の平面の動き補償によって得られる一方、バッファーp
oldは、精度p
old(それぞれの動きベクトルの精度に基づいて補正される)の古い平面とp
newとの和による動き補償によって得られる。式は以下のようになる。
【数7】
【0103】
本質的に、バッファーの新たな値は、動き補償も利用することによって得られ、それによって、T=Nにおける所与の位置(x
N,y
N)での測定値Mは、T=N−1における位置(x
N−1,y
N−1)での対応する推定値とともに平均化することができる。精度は、信号の統計的特性と、動き補償に用いられる動きベクトルの精度との双方を反映する。
【0104】
安定性仮説を考慮するために、本明細書における1つの実施形態は、M
x,y,tと、バッファーv
old内に含まれる値との差異が安定性仮説に矛盾
するとき、それぞれの要素のp
oldの値をゼロに「リセット」することを含む。換言すれば、試験中の要素の値が平面間の閾値よりも高い場合、バッファー内の要素の値は、新たな精度情報及び設定情報を用いてリセットされる。
【0105】
図3Bは、物体のサンプル移動と、画像のシーケンス内の一の平面から次への座標の関係とを示している。例えば、画像のシーケンスは画像300−1、画像300−2、画像300−3等を含む。動きベクトル350−2は、画像300−2内の要素310−2が画像300−1内の要素310−1に対応することを示し、動きベクトル350−3は、画像300−3内の要素310−3が画像300−2内の要素310−2に対応することを示し、以下同様である。上述したように、各平面/画像における異なる座標における要素310−1、310−2、310−3等のシーケンスは、画像内の共通の物体を表すことができる。平面300内の各要素は1つ又は複数の対応する設定を有する。
【0106】
本発明の実施形態は、要素ごとの精度メタデータも含む。精度メタデータは、好ましくは要素の設定を追跡するためにミラーリングして記憶することができる。例えば、平面360−3における精度メタデータ365−3は、要素310−3に関連付けられた精度設定を示し、平面360−2における精度メタデータ365−2は、要素310−2に関連付けられた精度設定を示し、平面360−1における精度メタデータ365−1は、要素310−1に関連付けられた精度設定を示し、以下同様である。
【0107】
図3Cは、本発明の実施形態による、平面v
old及びp
oldの分解能(すなわち要素の数)が、測定値Mの平面の分解能よりも高い一実施形態を示す例示的な図である。この非限定的な例において、分解能は次元X及びYの双方に沿って2倍高いが、任意の他の倍率を用いることができる。より高い分解能を有するバッファーを有することは、解析が、信号のサンプルごとに入手可能な得られる実際の測定値よりも高い分解能において「真の」値vを推定しようと試みることを含むことを意味する。これを行うための論理的根拠は、次元Tに沿って安定性を仮定したこと、及び次元Tに沿った信号の複数のサンプルが入手可能であることであり、複数のサンプルは、潜在的に異なる位置(利用可能な動きマップ/動きベクトルによって指定されているように)において取得されているので、複数のより低分解能のサンプルを組み合わせることにより、安定値のより高分解能の推定値を得ることができる。この非限定的な実施形態において、動きベクトルは、部分要素分解能(sub-element resolution)を用いて移動を特定し、すなわち、動きベクトルは、単に1つの平面内の要素が別の平面における要素に対応することを示すのとは対照的に、それぞれの平面における分数の要素の移動(例えば「上に1と1/2要素、右に2と3/4要素))を特定することができる。
【0108】
本実施形態は、
図3A及び
図3Bについて説明したのと同様にして機能するが、所与のT=tにおける値v
newの平面がもはやT=tにおける測定値Mの平面と一致しないことが異なる。なぜなら、平面v
new(測定値Mの平面に基づいて適切な演算を用いて得られる)は平面v
oldと同じ分解能を有するためである。位置(h,k)における値vの推定値は以下のように計算される。
【数8】
【0109】
T=t+1における以下の反復について、バッファーv
old及びp
oldは、適切な複数の動きマップを利用して動き補償される。例示的な実施形態において、そのような複数の動きマップは、要素精度を有する平面vの分解能において直接受信される。別の実施形態では、複数の動きマップは、準要素精度(sub-element precision)を有する平面Mの分解能において受信され、平面vの分解能に適切にアップサンプリングされる。
【0110】
図4は、本発明の実施形態による安定/過渡分類器の一実施形態の例示的な図である。画像リサンプラー406はシーケンス内の現在の画像の測定値405を受信する。上記の図について説明した手法と同様に、ここで論考される安定/過渡分類器400は、画像リサンプラー406からの入力として、サンプリングされるそれぞれの平面における要素ごとの設定v
new410と、平面の要素ごとの精度p
new420−1(この実施形態では、平面全体について単一の値)と、動き補償された安定設定v
old480の平面を含む第1の実行バッファーと、動き補償された精度情報p
old490−1の第2の実行バッファーの平面とを受信する。分離器400は安定設定v470の平面を生成し、修正済みの精度情報p
old490−2の平面を生成することによってp
oldの値を更新する。
【0111】
上述したように、新たな画像平面又は次の画像平面内の要素ごとに、分離器400は、バッファー内の要素の実行値設定を、次の画像内の対応する新たな値と比較する。差異が閾値未満の場合、信号プロセッサは、所与の要素のp及びvの以前の値と、所与の要素のp及びvの新たな設定との組み合わせに基づいてバッファー内の値を更新する。差異が閾値の値よりも大きい場合、信号プロセッサは、次の画像内の所与の要素の設定p及びvに基づいてバッファー内の値を更新する。
【0112】
図5は、本発明の実施形態による、精度(p
new及びp
old)のバッファー及び値(v
old)のバッファーを更新する実施形態の例示的な図である。
【0113】
1つの実施形態において、平面p
old590−1は、動きマップ510−1内の動きベクトルの座標を用いて平面550を動き補償することと、同様に動きマップ510−1内に含まれる動きベクトルのメタデータ(例えば動きベクトルの精度)に基づいて各要素の精度を調整することとの双方によって計算される。
【0114】
例えば、示すように、本発明の実施形態は、精度推定器500−1と、精度追跡器500−2と、動き補償器500−3と、動き補償器500−4とを備えることができる。
【0115】
精度推定器500−1は現在の画像の設定シーケンス410と、画像の安定設定470とを受信し、過渡成分に関する情報595及び現在の画像の精度520を生成する。
【0116】
精度追跡器500−2は、現在の画像の精度420と、画像の修正済みの動き補償された精度平面490−2とを受信し、画像の精度平面550を生成する。
【0117】
動き補償器500−3は画像の精度平面550及び動きマップ510−1を受信し、画像の動き補償された精度平面590−1を生成する。
【0118】
動き補償器500−4は画像の安定設定470と動きマップ510−2とを受信し、画像の動き補償された安定設定580を生成する。
【0119】
図6は、本発明の実施形態による精度推定器500−1の一実施形態の例示的な図である。
【0120】
1つの実施形態において、安定/過渡分離の次の反復(すなわち、T=t+1)に用いられる精度p
newを計算することに加えて、精度推定器500−1はT=tにおける信号の過渡成分に関する情報595も計算する。そのような情報(通常、元の過渡成分自体よりも低い情報エントロピーによって特徴付けられる)は、信号プロセッサ(例えば復号化器)がT=tにおける元の過渡成分の表現を再構成することを可能にする。この元の過渡成分の表現は、T=tにおける信号の安定成分の表現に合算される場合、元の信号に非常に類似した(ただし必ずしも同一でない)信号全体の表現を再構成する。高度の類似性は、安定成分が、より重要な情報を保持する成分であり、このため、正確に再構成されなくてはならないことに起因する。他方で、過渡成分(本質的に予測可能性がより低く、より「ランダム」であり、サンプルごとに非常に異なる)は、(まさにその予測不可能性に起因して)より高い情報エントロピーによって特徴付けられるが、「より重要でない」情報を保持する。
【0121】
多くの用途において、過渡成分を精密に表したものを符号化するのではなく、単に過渡成分の類似表現(例えば非限定的な例として、同じスペクトル分布を特徴とする過渡成分)を再構成することで十分である場合がある。
【0122】
示すように、精度推定器500−1は、モジュール600−1と、モジュール600−2と、モジュール600−3と、モジュール600−4と、モジュール600−5と、モジュール600−6とを備える。
【0123】
モジュール600−1は、設定410及び安定設定470に基づいて差異値を生成する。モジュール600−1は差異値をモジュール600−6及びモジュール600−2に出力する。
【0124】
モジュール600−2は受信した差異値を二乗し、差異値の二乗をモジュール600−3に出力する。モジュール600−3は複数の層(tier)において二乗された差異値をダウンサンプリングする。モジュール600−4は、ダウンサンプリングされた値の層をモジュール600−6に出力する乗算器又は選択器回路である。モジュール600−6は情報595を出力する。
【0125】
モジュール600−5は移動平均を記憶し、現在の画像の精度を示す値を出力する。
【0126】
更なる実施形態によれば、精度推定器500−1は、画像間で単一の要素の設定を単に解析するのとは対照的に、要素群又は画像全体の解析に基づいて精度メタデータ520を生成する。例えば、1つの実施形態において、精度推定器500−1は、それぞれの画像に対する少なくとも1つの以前の画像における対応する設定と比較したそれぞれの画像における複数要素の設定のグループ化の全体解析に基づいて、要素の精度メタデータを生成する。
【0127】
図7A及び
図7Bは、本発明の実施形態による、重み付けされたサンプリングを実行する例示的な動作シーケンスを示している。
【0128】
本発明の実施形態によれば、この例において、安定/過渡分類器400がT=1において位置(x,y)の特定の値の推定値を漸進的に精緻化すると仮定する。上述したように、平面における値の位置は、適切な動きマップに含まれる動きベクトルによって規定されるように画像間で変化する場合がある。
【0129】
以下のこの非限定的な例において、T=1とT=4との間の画像について、a=b=1であり、試験中の要素の設定v
newは、p
oldを値0にリセットすることになる閾値を超えてv
oldと異なることは決してない。
【0130】
上記で論考したように、1つの実施形態によれば、安定/過渡分類器400等の信号プロセッサは、シーケンス内の要素(例えばフレーム、平面等)の複数のグループ化のそれぞれの設定情報を受信する。設定情報は、所与の要素が存在する複数の画像のシーケンスにおける画像ごとの所与の要素(例えばフレーム、平面等)の設定を特定する。例えば、T=1における第1の画像内の要素(例えば試験中の所与の要素)の設定は150であり、T=2における第2の画像内の要素の設定は152であり、T=3における第3の画像内の要素の設定は149であり、T=4における第4の画像内の要素の設定は143であり、以下同様である。上述したように、信号プロセッサは動きベクトル情報を用いて、平面間の所与の要素の移動を求めることができる。
【0131】
設定vは、再生中にそれぞれの要素を表示するための表示設定等の任意のタイプのデータを表すことができる。経時的な再生中のフィールド内の複数の要素の設定を制御することによって、閲覧用の動画が生成される。
【0132】
非限定的な例として、信号プロセッサ(例えば安定/過渡分類器400)は、シーケンス内の画像ごとの所与の要素の設定のそれぞれの推定精度を特定する精度メタデータも受信する。この例において、T=1における第1の画像内の要素に関連付けられる精度メタデータ情報が0.2であり、T=2における第2の画像内の要素の精度メタデータ設定が0.05であり、T=3における第3の画像内の要素の精度メタデータ設定が149であり、T=4における第4の画像内の要素の設定が143であり、以下同様であると仮定する。
【0133】
設定情報及び対応する精度メタデータ情報に基づいて、信号プロセッサは、試験中の所与の要素のバッファリングされた設定値(例えばv
old)及び対応するバッファリングされた精度設定値(例えばp
old)を生成する。1つの実施形態において、バッファリングされた設定値v
oldは経時的に変化する重み付き移動平均値である。バッファリングされた精度設定値p
oldは、所与の要素の設定が画像のうちの1つ又は複数にわたって安定している度合いを示す。
【0134】
T=1における画像について、バッファリングされた設定値V
old及びバッファリングされた精度設定値p
oldの設定が最初にゼロに設定される。T=1における試験中の要素の現在の精度設定値は0.1であり、T=1における画像内の試験中の要素の現在の設定は150である。T=1における画像についての
図7Aにおける式に従って、信号プロセッサはバッファリングされた設定値v
oldの設定を150に設定し、バッファリングされた精度設定値p
oldの設定を0.1に設定する。
【0135】
シーケンス内の次の画像であるT=2における画像について、以前の画像の処理からのバッファリングされた設定値V
old及びバッファリングされた精度設定値p
oldの設定は、上記で論考したようにそれぞれ150及び0.1である。T=2における画像内の試験中の要素の現在の精度設定値は0.1であり、T=2における画像内の試験中の要素の現在の設定は152である。信号プロセッサは、差分方程式により、バッファリングされた値150を新たな値152と比較する。差異の絶対値2(例えば152−150)は、閾値(例えば閾値=20)よりも大きくないので、要素のバッファリングされた値はリセットされない。代わりに、T=2における画像内の試験中の要素の
図7Aにおける計算によれば、信号プロセッサはバッファリングされた設定値v
oldの設定を151に設定し、バッファリングされた精度設定値p
oldの設定を0.2に設定する。
【0136】
この例において、示すように、T=2における試験中の要素のバッファリングされた設定値v
oldを生成するために、信号プロセッサは、対応する精度メタデータ設定に基づいて異なる重み(例えば正規化された重み)を設定152及び150に適用する。T=2における画像のバッファリングされた精度設定値p
oldを生成するために、信号プロセッサはシーケンス内の要素設定ごとに精度設定値を加算する。この例では、信号プロセッサは、p
1new=0.1及びp
2new=0.1を加算して値0.2を得ることによって、バッファリングされた精度設定値を生成する。
【0137】
T=3における画像について、以前の画像の処理からのバッファリングされた設定値V
old及びバッファリングされた精度設定値p
oldの設定は、それぞれ151及び0.2である。T=3における画像内の試験中の要素の現在の精度設定値は0.2であり、T=3における画像内の試験中の要素の現在の設定は149である。
【0138】
概して、試験中の要素の設定は、画像のこのシーケンスにわたってあまり変化しない。信号プロセッサはバッファリングされた値151を新たな値149と比較する。差異の絶対値2(例えば151−149)は、閾値(例えば閾値=20)よりも大きくないので、バッファリングされた値はリセットされない。代わりに、T=3における画像内の試験中の要素の
図7Bにおける計算によれば、信号プロセッサはバッファリングされた設定値v
oldの設定を150に設定し、バッファリングされた精度設定値p
oldを0.4に設定する。
【0139】
この例において、示すように、T=3における試験中の要素のバッファリングされた設定値v
oldを生成するために、信号プロセッサは、対応する精度メタデータ設定0.2、0.1、及び0.1に基づいて異なる重み(例えば正規化された重み)を設定149、152及び150に適用する。T=3における画像のバッファリングされた精度設定値p
oldを生成するために、信号プロセッサはシーケンス内の要素設定ごとに精度設定値を加算する。この例では、信号プロセッサは、p
1new=0.1、p
2new=0.1及びp
3new=0.2を加算することによって、要素のバッファリングされた精度設定値を生成する。
【0140】
T=4における画像について、以前の画像の処理からのバッファリングされた設定値V
old及びバッファリングされた精度設定値p
oldの設定は、上記で論考したようにそれぞれ150及び0.4である。T=4における画像内の試験中の要素の現在の精度設定値は0.05であり、T=4における画像内の試験中の要素の現在の設定は143である。概して、試験中の要素の設定は、画像のこのシーケンスにわたってあまり変化しない。信号プロセッサは、バッファリングされた値150を新たな値143と比較する。差異7(例えば150−143)は、閾値(例えば閾値=20)よりも大きくないので、バッファリングされた値はリセットされない。代わりに、T=4における画像内の試験中の要素の
図7Bにおける計算によれば、信号プロセッサはバッファリングされた設定値v
oldの設定を149に設定し、バッファリングされた精度設定値p
oldの設定を0.45に設定する。
【0141】
この例において、示すように、T=4における試験中の要素のバッファリングされた設定値v
oldを生成するために、信号プロセッサは、対応する精度メタデータ設定0.05、0.2、0.1、及び0.1に基づいて異なる重み(例えば正規化された重み)を設定143、149、152及び150に適用する。T=4における画像のバッファリングされた精度設定値p
oldを生成するために、信号プロセッサはシーケンス内の要素設定ごとに精度設定値を加算する。この例では、信号プロセッサは、p
1new=0.1、p
2new=0.1、p
3new=0.2及びp
4new=0.05を加算することによって、バッファリングされた精度設定値を生成する。
【0142】
このため、1つの実施形態によれば、信号プロセッサは、シーケンス内の画像ごとの所与の要素の各設定の推定精度の和に少なくとも部分的に基づいて、画像のシーケンスの所与の要素のバッファリングされた設定値(例えば移動平均)に、対応する精度値を割り当てる。例えば、T=1における画像、T=2における画像、T=3における画像及びT=4における画像を含む画像のシーケンスの精度メタデータは、p
1new+p
2new+p
3new+p
4newに等しい。
【0143】
このため、試験中の要素の設定は、平面間で経時的に閾値範囲内に留まるので、バッファリングされた設定値v
oldは比較的不変のままである。バッファリングされた精度設定値p
oldが(例えば、それぞれの要素の設定が閾値量よりも大きく変化しないとき、累積的であるので)経時的に増大するとき、これは、バッファリングされた設定値v
oldが安定している(すなわち、幾つかのサンプル及び/又は精密なサンプルを平均化することによって計算されたので、「真の値」を良好に表している)ことを示す。すなわち、p
oldの値が大きくなるほど、v
oldによって特定される設定の安定性が高くなる。
【0144】
1つの例示的な実施形態において、所与の要素について生成されたバッファリングされた設定値又は移動平均(例えばv、又は同等に、次元Tに沿った後続の座標のv
old)は、バッファリングされた精度設定値p
oldによって示されるように比較的安定しており、このため、画像内の所与の要素の現在の設定v
newよりも所与の要素の設定を良好に表している可能性が高く、信号プロセッサは所与の要素の現在の設定の代わりに、生成された設定値vを基礎として用いて、画像の所与の要素の設定値を符号化する。例として、信号プロセッサは、要素のそれぞれの設定について、値150、152、149、143...の代わりに、バッファリングされた設定値150、151、150、149...を用いる。
【0145】
また、シーケンスにわたってバッファリングされた設定値150、151、150、149を用いることの代替として、本発明の実施形態は値150等の代表的な設定値を選択することを含むことができる。代表的な値150は要素に割り当てられ、信号のその部分を符号化する(正:encode)のに必要なビット数が低減される。換言すれば、所与の要素値150、151、150、149...に関連付けられた設定に潜在的に用いられるバッファリングされた値のそれぞれを、値150と置き換えることができる。これによって、信号内の所与の要素を符号化するのに必要なデータ量が更に低減する。
【0146】
このため、本発明の実施形態は、過渡成分(例えば、雑音、フィルム粒子、大きなばらつきがある詳細情報等)を特徴付けることと、信号、及び/又はシーケンス内の特定の要素等の成分を、過渡成分を低減して符号化することを含むことができる。
【0147】
多次元信号内の要素のそれぞれに対して同じタイプの処理を実行することができる。
【0148】
上記で論考したように、信号内の各要素のそれぞれの設定に関連付けられる推定精度(例えば精度メタデータ)は、複数の設定のうちのそれぞれの設定が雑音の大きな成分を含む場合がある確率又は度合いを示す統計的測定値とすることができる。非限定的な実施形態において、統計的測定値は、分散の逆数に少なくとも部分的に基づいて生成することができる。
【0149】
より詳細な実施形態において、所与の要素の設定値を生成するとき、信号プロセッサは設定のそれぞれに重み係数を適用する。重み係数は所与の要素の設定の推定精度に少なくとも部分的に基づいて変動する。
【0150】
例として、T=2における画像の処理(例えば2つの画像のシーケンスの処理)は、以下の正規化された重み係数を生成することを含む。[p
2new/(p
1new+p
2new)]、及び[p
1new/(p
1new+p
2new)]
【0151】
別の例として、T=3における画像の処理(例えば3つの画像のシーケンスの処理)は、以下の正規化された重み係数を生成することを含む。[p
3new/(p
1new+p
2new+p
3new)]、[p
2new/(p
1new+p
2new+p
3new)]、及び[p
1new/(p
1new+p
2new+p
3new)]
【0152】
別の例として、T=4における画像の処理(例えば4つの画像のシーケンスの処理)は、以下の正規化された重み係数を生成することを含む。[p
4new/(p
1new+p
2new+p
3new+p
4new)]、[p
3new/(p
1new+p
2new+p
3new+p
4new)]、[p
2new/(p
1new+p
2new+p
3new+p
4new)]、及び[p
4new/(p
1new+p
2new+p
3new+p
4new)]
【0153】
図7に関して上記で論考したように、信号プロセッサは要素の重み調整された設定を合算(例えば、重み係数にシーケンスの対応する画像内の要素のそれぞれの設定を乗算)して、所与の要素の安定値(例えばv)及びバッファリングされた設定値(例えばv
old)の双方を生成する。このため、本発明の実施形態は、シーケンス内の要素の設定の様々な重み付けに基づいて、所与の要素の安定値及びバッファリングされた設定値を生成することを含むことができる。
【0154】
示すように、画像のシーケンスにわたる所与の要素の安定値v及びバッファリングされた設定値v
oldは、必要な場合、シーケンスの画像に沿って生じる動きを計上して、シーケンス内の画像ごとの所与の要素の設定の重み付けに基づいて計算される重み付き移動平均値である。設定に適用される重み付けのそれぞれの大きさは、各設定の推定性精度に少なくとも部分的に依存して変動する。シーケンス内のそれぞれの設定の精度値が高くなるほど、安定値vを生成するのに用いられるその値の重みが大きくなり、このため、バッファリングされた設定値v
oldも大きくなる。
【0155】
所与の要素のバッファリングされた設定値v
oldは、所与の要素が存在する追加のサンプル画像ごとに更新される。例えば、1つの実施形態では、信号プロセッサは、以前に解析された画像のシーケンスに続く次の連続画像の所与の要素に割り当てられる次の設定値及び対応する精度値を受信する。示すように、バッファリングされた設定値v
oldの重み付けと、次の連続画像の所与の要素の次の設定v
newの重み付けとの組み合わせに基づいて安定設定値vを生成するとき、信号プロセッサはバッファリングされた要素に割り当てられる設定値v
oldも更新する。
【0156】
上述したように、解析される所与の要素の設定値は、画像間で大きく変化する可能性がある。これは、画像によって捕捉されるエンティティにおける関連する変化等の幾つかの要因に起因して生じる可能性がある。そのような実施形態では、移動平均又は設定値をリセットすることができる。代替形態として、バッファリングされた値は、所与の要素の設定値が基づく画像の初期シーケンスに続く別の画像の属性に基づいて更新することができる。
【0157】
例えば、第1のサンプル事例によれば、信号プロセッサが、最初のサンプルシーケンスに続く後続の平面(例えば次の画像)の所与の要素に割り当てられる次の設定値及び対応する精度値を受信すると仮定する。信号プロセッサは、(時点T1、T2及びT3における画像等の画像のウィンドウの)以前に生成された設定値と、(T1、T2及びT3における画像のウィンドウに続く時点T4における次の画像内の)所与の要素の次の設定値との差異を示す差異値を生成する。信号プロセッサは、差異値(例えば、時点T=4の設定と、T1、T2及びT3における画像の組み合わせについてのバッファリングされた設定値との差異)を閾値と比較する。差異値が閾値未満であることの検出に応じて、上記で論考したように、信号プロセッサは、以前に生成された設定値(例えば、T1、T2及びT3における画像の結合についてのバッファリングされた設定値)と、所与の要素の次の設定(例えば、時点T=4における要素の設定)の重み付けとの組み合わせに少なくとも部分的に基づいて、所与の要素に割り当てられる設定値を更新する。
【0158】
代替的に、第2の例示的な事例によれば、信号プロセッサが、T4以前の(before and include T=4)画像のシーケンスに続く次の連続画像(例えばT=5における画像)の所与の要素に割り当てられる次の設定値及び対応する精度値を受信すると仮定する。T=5における所与の要素の設定が250であると仮定する。この例において、信号プロセッサは、生成された設定値(T=4までのT=4を含む(up to and including T=4)ウィンドウ画像について149)と(画像のウィンドウに続くT=5における次の画像内の)所与の要素の次の設定値250との差異を示す差異値を生成する。信号プロセッサは、差異(例えば250−149)値を閾値と比較する。閾値は25に設定されると仮定する。差異値が閾値(例えばこの例では25を仮定)よりも大きいことの検出に応じて、信号プロセッサはバッファリングされた設定値をリセットし、T=5における所与の要素の設定値を、所与の要素の次の設定値(例えば値250)に等くなるように更新する。このように、差異が次のサンプリングについて閾値を超えると、信号プロセッサは以前の設定を廃棄し、新たなシーケンスを開始する。換言すれば、信号プロセッサは、画像間又はフレーム間で設定の実質的な変化を検出するのに応じて、画像の次のシーケンス内に位置する要素の新たなストリングにおいてプロセス設定を開始するように構成することができる。
【0159】
ここでもまた、画像内の所与の要素は、シーケンス内の各画像の異なる位置座標に位置するエンティティ(例えば物体等)を表すことができることに留意されたい。例えば、1つの実施形態によれば、信号プロセッサは、画像のシーケンスに関連付けられた動きベクトル情報を利用して、シーケンスの各画像内の所与の要素の異なる位置座標を特定するように構成することができる。そのような実施形態において、動きベクトル情報は信号プロセッサに、試験中の要素(例えば所与の要素)が画像間で移動する場合に通知する。
【0160】
画像に関連付けられた、画像、動きマップ等の符号化/復号化の更なる詳細は、引用することにより本明細書の一部をなす関連出願において得ることができる。
【0161】
本発明の実施形態は、画像の設定の変動を解析して、設定における過渡成分の属性を特定し、過渡成分を低減して信号を符号化することを更に含むことができる。上述したように、信号プロセッサは複数の画像にわたって設定を処理して、より安定した値設定を生成することができる。
【0162】
そのような実施形態において、信号プロセッサは、符号化された信号を生成するために除去される過渡成分(例えば、雑音、フィルム粒子、大きなばらつきがある詳細情報等)を特徴付けるように構成することができる。過渡成分を特徴付けることの例として、信号プロセッサは、要素のそれぞれの設定のバッファリングされた設定値150、151、150、149...と、元の設定値150、152、149、143...との間の差異に基づいて信号内に存在する過渡成分の分布を求めるように構成することができる。過渡成分分布は、符号化に必要とする情報のデータビット数が比較的少ない式(又は他の適切な手段)のパラメーターとして捕捉することができる。
【0163】
再生中の複数の画像のシーケンスの後続のレンダリング時に、復号化器及び/又は再生デバイスは、(例えば、過渡成分を除去して)信号を再生し、次に式によって特定されるように、過渡成分分布に基づいて過渡成分を復号化信号に戻して加算するように構成することができる。そのような実施形態によれば、復号化信号に挿入された過渡成分は、再生中に複数の画像のシーケンスの表現の再生を可能にし、それによって、再生される信号は、過渡成分を含んでいた元の信号と類似しているか又は同一であるように見える。このため、ビデオ信号の非限定的な例において、取得雑音及びフィルム粒子を含むビデオの元の「ルックアンドフィール」は、符号化及び復号化中に更に少ない情報ビットを用いて維持することができる。
【0164】
信号から過渡成分を除去することの別の利点は、画像品質の増大を提供することである。したがって、或る特定の事例において、コンテンツ(例えば、医用撮像、科学撮像等)を符号化及び/又は再生するときに、検出された過渡成分を信号内に戻して加算することが望ましくない場合がある。
【0165】
図8Aは、本発明の実施形態による信号の符号化の例を示す図である。
【0166】
例えば、画像
リサンプラー406は、異なる時間フレームにおいて画像の設定を受信する。画像リサンプラー406からの入力に基づいて、過渡分離器800は上記で論考したように画像内の要素の安定値設定470を生成する。過渡分離器800は、画像内の要素に関連付けられた過渡成分を表す情報595も生成する。符号化器810は安定設定470及び情報595を受信し、符号化された信号820を生成する。
【0167】
任意の適切な方法を用いて、本発明の実施形態に従って符号化及び復号化を実行することができることに留意されたい。非限定的な例として、画像に関連付けられた、画像、動きマップ等の符号化/復号化の更なる詳細は、引用することにより本明細書の一部をなす関連出願において得ることができる。
【0168】
図8Bは、本発明の実施形態による、符号化された信号を復号化する例を示す図である。
【0169】
示すように、復号化器850は符号化された信号820を受信する。復号化器850は符号化された信号820を復号化して、安定設定(すなわち、過渡成分が除去された元の画像設定)の表現860と、元の画像設定に関連付けられた過渡成分情報の表現865とにする。安定設定860と過渡成分情報865との双方に基づいて、過渡成分再構成器870は、再生デバイス上に再生の設定の表現880を生成する。
【0170】
図9は、本発明の実施形態による、コンピューター処理を提供するコンピューターシステム800の例示的なブロック図である。
【0171】
コンピューターシステム800は、パーソナルコンピューター、処理回路、テレビ、再生デバイス、符号化デバイス、ワークステーション、ポータブルコンピューティングデバイス、コンソール、ネットワーク端末、処理デバイス、スイッチ、ルーター、サーバー、クライアント等として動作するネットワークデバイス等のコンピューター化されたデバイスとすることができるか、又はそれらを含むことができる。
【0172】
以下の論考は、上記で論考したような信号プロセッサ813と関連付けられた機能をどのように実行するかを示す基本的な実施形態を提供することに留意されたい。しかしながら、本明細書において説明されるような動作を実行するための実際の構成は、それぞれの用途に応じて変動することができることに留意すべきである。
【0173】
示すように、本例のコンピューターシステム800は、デジタル情報を記憶及び検索することができる、非一時的タイプの媒体、コンピューター可読ハードウェア記憶媒体等のコンピューター可読記憶媒体812と結合する相互接続811を備える。コンピューターシステム800は、プロセッサ813、I/Oインターフェース814、及び通信インターフェース817を更に備えることができる。
【0174】
I/Oインターフェース814は、リポジトリ(repository)180への接続性を提供し、存在する場合、表示スクリーンと、キーボード、コンピューターマウス等の周辺デバイス816とを提供する。
【0175】
コンピューター可読記憶媒体812(例えばハードウェア記憶媒体)は、メモリ、光学記憶装置、ハードドライブ、フロッピー(登録商標)ディスク等の任意の適切なデバイス及び/又はハードウェアとすることができる。コンピューター可読記憶媒体は、本明細書において論考されるように、信号プロセッサに関連付けられた命令を記憶する非一時的記憶媒体とすることができる。命令は、本明細書において論考される動作のうちの任意のものを実行するように、信号プロセッサ813等のそれぞれのリソースによって実行される。
【0176】
通信インターフェース817は、コンピューターシステム800がネットワーク190を通じて遠隔ソースから情報を検索し、他のコンピューター、スイッチ、クライアント、サーバー等と通信することを可能にする。I/Oインターフェース814は、プロセッサ813がリポジトリ180から記憶された情報を検索するか又は検索を試みることも可能にする。
【0177】
示されるように、コンピューター可読記憶媒体812は、プロセッサ813によって信号プロセッサプロセス840−2として実行される信号プロセッサアプリケーション840−1を用いて符号化することができる。
【0178】
コンピューターシステム800又は安定/過渡分類器400は、データ及び/又は論理命令を記憶するコンピューター可読記憶媒体812(例えばハードウェア記憶媒体、非一時的記憶媒体等)を含むように実施することもできることに留意されたい。
【0179】
コンピューターシステム800は、そのような命令を実行し、本明細書において論考されるような動作を実行するプロセッサ813を備えることができる。したがって、信号プロセッサアプリケーション840−1に関連付けられたコードは、実行されると、本明細書において論考されるような機能の処理をサポートすることができる。上述したように、信号プロセッサ813は符号化及び/又は復号化をサポートするように構成することができる。
【0180】
1つの実施形態の動作中、プロセッサ813は、コンピューター可読記憶媒体812に記憶された信号プロセッサアプリケーション840−1の命令を起動、ラン、実行、解釈実行又は他の形で遂行するために、相互接続811を使用してコンピューター可読記憶媒体812にアクセスする。信号プロセッサアプリケーション840−1の実行によって、プロセッサ813に処理機能が生成される。換言すれば、プロセッサ813に関連付けられた符号化器プロセス840−2は、コンピューターシステム800内のプロセッサ813内又はプロセッサ813上で信号プロセッサアプリケーション840−1を実行する1つ又は複数の態様を表す。
【0181】
当業者であれば、コンピューターシステム800が、ハードウェア処理リソースの配分及び使用を制御して信号プロセッサアプリケーション840−1を実行するオペレーティングシステム等の、他のプロセス及び/又はソフトウェア及びハードウェア構成要素を備えることができることを理解するであろう。
【0182】
ここで、ネットワーク管理アプリケーション
190によってサポートされる機能を、
図10及び
図11のフローチャートにより論考する。以下のフローチャート内のステップは任意の適切な順序で実行することができることに留意されたい。
【0183】
図10は、本発明の実施形態による、信号内のそれぞれの要素の安定性を追跡する方法を示す例示的な図である。上記で論考したような概念に関して何らかの重複が存在することに留意されたい。
【0184】
ステップ1010において、信号プロセッサ(例えば分離器400)はv等の設定を受信する。設定は、所与の要素が存在する複数の画像のシーケンス内の画像ごとの所与の要素の設定を特定する。
【0185】
ステップ1020において、信号プロセッサは、シーケンス内の画像ごとの所与の要素の各設定の推定精度を特定する精度メタデータを受信する。
【0186】
ステップ1030において、信号プロセッサは所与の要素の設定値を生成する。設定値は、設定情報及び精度メタデータに基づいて生成される。
【0187】
図11は、本発明の実施形態による信号内のそれぞれの要素の安定性を追跡する方法を示す例示的な図である。上記で論考したような概念に関して何らかの重複が存在することに留意されたい。
【0188】
1つの実施形態において、信号プロセッサは、多次元信号の要素mごとに、信号の次元Tのうちの1つに沿って安定性仮説に基づいて安定値vを生成する。
【0189】
ステップ1110において、信号プロセッサ(例えば分離器400)は信号の平面要素mを選択する。
【0190】
ステップ1120において、要素mの座標に少なくとも部分的に基づいて、信号プロセッサは信号のk−1個の追加の平面要素(ただし、k≧2)を選択し、k個の要素のそれぞれは、安定性仮説を有する次元tに沿って異なる座標によって特徴付けられる。
【0191】
ステップ1130において、k個の要素のそれぞれの設定に少なくとも部分的に基づいて、信号プロセッサは平面要素mの安定値vを生成する。
【0192】
様々な実施形態によれば、コンピューターシステムは、限定ではないが、パーソナルコンピューターシステム、デスクトップコンピューター、ラップトップ、ノートブック、ネットブックコンピューター、メインフレームコンピューターシステム、ハンドヘルドコンピューター、タブレット、スマートフォン、ワークステーション、ネットワークコンピューター、アプリケーションサーバー、記憶デバイス、カメラ、ビデオカメラ、セットトップボックス、移動デバイス、ビデオゲームコンソール、ハンドヘルドビデオゲームデバイス等の消費者電化製品デバイス、スイッチ、モデム、ルーター等の周辺デバイス、又は概して、任意のタイプのコンピューティングデバイス若しくは電子デバイスを含む、様々なタイプのデバイスのうちの任意のものとすることができることに留意されたい。
【0193】
ここでまた、本発明の技法は、信号の安定成分を過渡成分から分離する際に用いるのに十分適していることに留意されたい。しかしながら、本発明の実施形態は、そのような用途において用いられることに限定されず、本明細書において論考される技法は、他の用途にも十分適していることに留意すべきである。
【0194】
本明細書に記載される説明に基づいて、特許請求される主題の完全な理解を提供するために数多くの具体的な詳細が示された。しかしながら、当業者は、特許請求される主題がこれらの具体的な詳細なしで実施することができることを理解するであろう。他の例において、当業者に既知の方法、装置、システム等は、特許請求される主題を不明瞭にしないように、詳細に説明されていない。詳細な説明の幾つかの部分は、コンピューターメモリ等のコンピューティングシステムメモリ内に記憶されるデータビット又はバイナリデジタル信号に対する動作のアルゴリズム又は象徴表現の観点で提示されている。これらのアルゴリズムの説明又は表現は、データ処理の分野の当業者が、他の当業者に自身の研究の実態を伝えるのに用いる技法の例である。本明細書において説明されるアルゴリズムは、そしてアルゴリズムは一般的に、所望の結果をもたらす首尾一貫した動作シーケンス又は同様の処理であるとみなされる。この文脈において、動作又は処理は、物理量の物理的操作を伴う。必須ではないが通常、そのような量は、記憶、転送、結合、比較、又は他の形で操作することが可能な電気信号又は磁気信号の形態をとることができる。そのような信号を、ビット、データ、値、要素、シンボル、文字、語、符号、数字等と呼ぶことが、主に共通使用の理由から時に好都合であることがわかっている。しかしながら、これらの用語及び類似の用語の全ては、適切な物理量と関連付けられ、単に好都合なラベルであることを理解すべきである。特に別段の特定がない限り、以下の論考から明らかであるように、本明細書全体を通して、「処理」、「コンピューティング」、「計算」、「求める」、「解析」等の用語を利用することは、コンピューター又は類似の電子コンピューティングデバイス等のコンピューティングプラットフォームのメモリ、レジスタ若しくは他の情報記憶デバイス、伝送デバイス又は表示デバイス内の物理的な電子的量又は磁気的量として表されるデータを操作又は変換する、コンピューティングプラットフォームの動作又はプロセスを指すことが理解される。
【0195】
本発明は、本発明の好ましい実施形態を参照して特に示され説明されてきたが、当業者であれば、添付の特許請求の範囲によって定義されるような本出願の趣旨及び範囲から逸脱することなく、形態及び詳細の様々な変更を行うことができることを理解するであろう。そのような変更は、本出願の範囲に包含されることが意図される。したがって、本出願の実施形態の上記の説明は、限定的であることを意図されない。そうではなく、本発明に対する任意の限定は添付の特許請求の範囲において提示される。