特許 5838258 データをロッシー圧縮符号化する方法および装置、および、データを再構築する対応する方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5838258

(24)【登録日】2015年11月13日

(45)【発行日】2016年1月6日

(54)【発明の名称】データをロッシー圧縮符号化する方法および装置、および、データを再構築する対応する方法および装置

(51)【国際特許分類】

   H03M 7/30 20060101AFI20151210BHJP

   H04N 19/147 20140101ALI20151210BHJP

   H04N 19/124 20140101ALI20151210BHJP

   H04N 19/132 20140101ALI20151210BHJP

   H04N 19/176 20140101ALI20151210BHJP

【ＦＩ】

   H03M7/30 Z

   H04N19/147

   H04N19/124

   H04N19/132

   H04N19/176

【請求項の数】7

【全頁数】13

(21)【出願番号】特願2014-505474(P2014-505474)

(86)(22)【出願日】2011年4月22日

(65)【公表番号】特表2014-519215(P2014-519215A)

(43)【公表日】2014年8月7日

(86)【国際出願番号】CN2011000705

(87)【国際公開番号】WO2012142731

(87)【国際公開日】20121026

【審査請求日】2014年4月14日

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】110001243

【氏名又は名称】特許業務法人 谷・阿部特許事務所

(72)【発明者】

【氏名】ジアン，ウエンフエイ

(72)【発明者】

【氏名】チエン，ジボ

(72)【発明者】

【氏名】ジヤン，フアン

【審査官】 北村 智彦

(56)【参考文献】

【文献】 特表２００３−５０９９１３（ＪＰ，Ａ）

【文献】 特表２００３−５２６２７４（ＪＰ，Ａ）

【文献】 欧州特許出願公開第０２０４６０４５（ＥＰ，Ａ１）

【文献】 Thong T.Do, Xiaoan Lu, Joel Sole，COMPRESSIVE SENSING WITH ADAPTIVE PIXEL DOMAIN RECONSTRUCTION FOR BLOCK-BASED VIDEO CODING，Proceedings of 2010 IEEE 17th International Conference on Image Processing，２０１０年 ９月，pp.3377-3380

【文献】 M.R.Dadkhah, Shahram Shirani, M.Jamal Deen ，COMPRESSIVE SENSING WITH MODIFIED TOTAL VARIATION MINIMIZATION ALGORITHM，Acoustics Speech and Signal Processing(ICASSP),2010 IEEE International Conference on，２０１０年 ３月，pp.1310-1313

【文献】 Yifu Zhang, Shunliang Mei, Quqing Chen, Zhibo Chen，A NOVEL IMAGE/VIDEO CODING METHOD BASED ON COMPRESSED SENSING THEORY，Acoustics, Speech and Signal Preocessing, 2008. ICASSP 2008. IEEE International Conference on，２００８年 ４月，pp.1361-1364

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０３Ｍ ３／００−１１／００

Ｈ０４Ｎ １９／１２４

Ｈ０４Ｎ １９／１３２

Ｈ０４Ｎ １９／１４７

Ｈ０４Ｎ １９／１７６

ＩＥＥＥ Ｘｐｌｏｒｅ

ＣｉＮｉｉ

(57)【特許請求の範囲】

【請求項1】

画像データ及び音声データの少なくとも一方を含むデータをロッシー圧縮符号化する方法であって、
レート歪みコストを最小化するために前記データの予測値の変換された残差の量子化された係数を修正するステップと、
前記修正された、量子化された係数を圧縮符号化するステップと、を含み、
後処理法は、ｎ個（ｎ＞１）の異なる所定の後処理法の候補のうち、後処理法の候補の配列の所定の順序における位置を示す順位が、前記修正された係数の合計をｎで除算した余りと等しい後処理法であり、
前記データおよび前記量子化された係数が２次元ブロックとして配列され、前記係数を修正するステップは、
走査順に従って、量子化された係数を走査し、各々が、所定の周波数閾値を超える周波数を表現し、所定の正の閾値を超えず、かつ量子化された係数の少なくとも所定の正の数の連続サブシーケンスに含まれる唯一の非零の係数である、量子化された係数を求めるシーケンスを使用して、係数のシーケンスを求めるステップと、
前記求められた係数のうち、零に設定されると、レート歪みコストを最小化する係数を特定し、当該特定された係数を零に設定するステップと、
を含み、
前記係数を修正するステップは、前記修正された係数が示す後処理法が前記データの歪みを最小にする後処理法と一致しない場合に、当該修正された係数を±１だけ修正することをさらに含む、
前記方法。

【請求項2】

前記データの前記歪みは、前記データの再構築に前記候補の後処理法を適用して、それぞれ求められ、
前記再構築は前記修正された係数および前記予測値を使用して求められ、前記予測値は既に圧縮符号化されたデータおよび前記予測値を決定する情報を使用して求められる、請求項１に記載の方法。

【請求項3】

量子化のための量子化パラメータを求めるステップをさらに含み、前記正の閾値および前記正の数のうちの少なくとも一方は、求められた量子化パラメータに依存する、請求項１に記載の方法。

【請求項4】

前記後処理法の候補のうちの１つは、総変動正則化である、請求項１〜３のいずれか１項に記載の方法。

【請求項5】

前記後処理法の候補のうちの１つは、Ｌ₁最小化である、請求項１〜４のいずれか１項に記載の方法。

【請求項6】

前記後処理法の候補のうちの１つは、処理を全く行わないダミーの後処理法である、請求項１〜５のいずれか１項に記載の方法。

【請求項7】

画像データおよび音声データの少なくとも一方を含むデータをロッシー圧縮符号化する装置であって、
レート歪みコストを最小化するために、前記データの予測値の変換された残差の量子化された係数を修正するように構成されるプロセッサであって、前記修正された量子化された係数を圧縮符号化するようにさらに構成された前記プロセッサを含み、
歪みを求めるために使用される後処理法は、ｎ個（ｎ＞１）の異なる所定の後処理法の候補のうち、後処理法の候補の配列の所定の順序における位置を示す順位が、前記修正された係数の合計をｎで除算した余りと等しい後処理法であり、
前記データおよび前記量子化された係数が２次元ブロックとして配列され、前記係数を修正することは、
走査順に従って、量子化された係数を走査し、各々が、所定の周波数閾値を超える周波数を表現し、所定の正の閾値を超えず、かつ量子化された係数の少なくとも所定の正の数の連続サブシーケンスに含まれる唯一の非零の係数である、量子化された係数を求めるシーケンスを使用して、係数のシーケンスを求めることと、
前記求められた係数のうち、零に設定されると、レート歪みコストを最小化する係数を特定し、当該特定された係数を零に設定することと、
を含み、
前記係数の修正は、前記修正された係数が示す後処理法が前記データの歪みを最小にする後処理法と一致しない場合に、当該修正された係数を±１だけ修正することをさらに含む、
前記装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像データおよび音声データのうちの少なくとも一方を含むデータをロッシー圧縮符号化する分野においてなされる。

【背景技術】

【0002】

ロッシー圧縮符号化は、例えば、音声データや映像データのようなデータを可能な限り少ないビットで表現しようと試行する一方で、これと同時に、ロッシー圧縮符号化された表現からデータを可能な限り良好に再構築できるように試行するものである。

【0003】

この目的を達成するために、一般的に、レート歪みコスト関数が規定される。この関数を最小化することにより、ビットレートの観点での符号化コストと、元のデータに対する再構築されたデータの歪みの観点での情報損失との間の最良のトレードオフを提供するロッシー圧縮スキームを実現することができる。

【0004】

データを再構築する処理には、後処理が含まれることがある。すなわち、まず、圧縮符号化されたデータに含まれる情報を使用してデータの仮再構築が生成される。次に、ロッシー圧縮によって元のデータから除去された情報の部分を回復するために、後処理法が適用される。

【0005】

この一例は、ロッシー圧縮の過程で生ずる画像データからのフィルム粒子ノイズの除去、さらに、その後の、ロッシー圧縮符号化された画像データから得られたデータの仮再構築に対する、シミュレートされたフィルム粒子の追加である。

【0006】

他の例示的な歪みの発生源は、量子化である。映像データまたは音声データを圧縮するために、データは、通常、既に符号化されたデータを使用して予測される。予測からの残差は、例えば、離散コサイン変換またはウェーブレット変換を使用して、空間および／または時間領域から周波数領域に変換される。次に、結果として得られる係数が量子化される。最後に、量子化された係数は、例えば、ハフマン符号化または算術符号化を使用して圧縮符号化される。

【0007】

量子化は、非線形なことがあり、係数が間引き、または、まばらにされる。すなわち、周波数情報のサブセット（一部）のみが維持される。これは、線形量子化に修正を組み合わせたものと同様または同一である。Ｅ．Ｃａｎｄｅｓ、Ｊ．Ｒｏｍｅｂｅｒｇ、およびＴ．Ｔａｏ著の「ロバストな不確定原理：非常に不完全な周波数情報からの正確な信号再構築（Ｒｏｂｕｓｔ ｕｎｃｅｒｔａｉｎｉｔｙ ｐｉｎｃｉｐｌｅｓ： Ｅｘａｃｔ ｓｉｇｎａｌ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ ｈｉｇｈｌｙ ｉｎｃｏｍｐｌｅｔ ｆｒｅｑｕｅｎｃｙ ｉｎｆｏｒｍａｔｉｏｎ）」、情報理論についてのＩＥＥＥ論文誌（ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｈｅｏｒｙ）、第５２巻、第４８９〜５０９頁、２００６年２月は、いずれにしても、適切な後処理を使用したこのようなサブセットから画像が正確に再構築できることを理論的に証明している。

【0008】

Ｙ．Ｚｈａｎｇ、Ｓ．Ｍｅｉ、Ｑ．Ｃｈｅｎ、およびＺ．Ｃｈｅｎ著の「圧縮センシング理論に基づく新規な画像／映像符号化方法（Ａ ｎｏｖｅｌ ｉｍａｇｅ／ｖｉｄｅｏ ｃｏｄｉｎｇ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｃｏｍｐｒｅｓｓｅｄ ｓｅｎｓｉｎｇ ｔｈｅｏｒｙ）」、ＩＥＥＥ ＩＣＡＳＳＰ会議録（Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ ＩＣＡＳＳＰ）、第１３６１〜１３６４頁、２００８年４月は、変換係数のサブサンプリングと、残差領域における仮ブロック再構築の総変動（ＴＶ：ｔｏｔａｌ ｖａｒｉａｔｉｏｎ）最小化ベースの後処理とを用いることによる画像／映像符号化方法を提案している。

【0009】

Ｍ．Ｒ．Ｄａｄｋｈａｈ、Ｓ．Ｓｈｉｒａｎｉ、Ｍ．Ｊ．Ｄｅｅｎ著の「修正総変動最小化アルゴリズムを用いた圧縮センシング（Ｃｏｍｐｒｅｓｓｉｖｅ ｓｅｎｓｉｎｇ ｗｉｔｈ ｍｏｄｉｆｉｅｄ ｔｏｔａｌ ｖａｒｉａｔｉｏｎ ｍｉｎｉｍｉｚａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）」、ＩＥＥＥ ＩＣＡＳＳＰ会議録（Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ ＩＣＡＳＳＰ）、第１０３０〜１０３３頁、２０１０年３月１４〜１９日は、画像再構築のためにノルム１（Ｎｏｒｍ−１）後処理を利用することを記載している。

【0010】

総変動最小化ベースの後処理の使用の他の例は、Ｔ．Ｔ．Ｄｏ、Ｘ．Ｌｕ、Ｊ．Ｓｏｌｅ著の「ブロック・ベースの映像符号化のための適応的画素領域再構築を用いた圧縮センシング（Ｃｏｍｐｒｅｓｓｉｖｅ ｓｅｎｓｉｎｇ ｗｉｔｈ ａｄａｐｔｉｖｅ ｐｉｘｅｌ ｄｏｍａｉｎ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｏｒ ｂｌｏｃｋ−ｂａｓｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ）」、ＩＥＥＥ ＩＣＩＰ会議録（Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ ＩＣＩＰ）、第３３７７〜３３８０頁、２０１０年９月２６〜２９日に存在する。ここでは、適応的総変動最小化ブロック・リカバリを使用した新たな符号化モードと既存のＨ．２６４モードとの間で選択を行う映像符号化器が提案されている。ＣＳ−ｆｌａｇとして示された追加的なフラグを使用して選択された符号化モードにマークを付ける。復号器は、ＣＳ-ｆｌａｇを読み出し、次に、ＣＳモードまたは通常のモードに対応する適切な再構築アルゴリズムを実行する。

【発明の概要】

【0011】

本発明の発明者は、総変動（ＴＶ）正則化のような後処理を実行するかどうかのフラグの送信が、結果として、特に低ビットレート圧縮では、ビットストリームにおける大きな負荷を生じさせるという問題を特定した。この問題は、幾つかの後処理法が使用可能であり、従ってそれらが信号伝達される必要がある場合には、一層深刻になる。

【0012】

発明者は、後処理法を信号伝達するために、量子化された係数の修正を使用できることを知得した。

【0013】

従って、画像データ及び音声データの少なくとも一方を含むデータをロッシー圧縮符号化する、請求項１に係る方法が提案される。この方法は、上記データの予測値の離散コサイン変換された残差の量子化を使用して、量子化された係数を求めるステップを含む。この方法は、レート歪みコストを最小化するために上記量子化された係数を修正するステップであって、データの後処理された再構築を使用して歪みが求められ、後処理された再構築は、後処理法に従って後処理されている該ステップと、上記修正された係数を圧縮符号化するステップと、をさらに含む。この提案された方法において、後処理法は、ｎ個（ｎ＞１）の異なる所定の後処理法の候補のうち、後処理法の候補の配列の所定の順序における位置が、修正された係数の合計をｎで除算した余りと等しい後処理法である。

【0014】

このようにすることによって、ビットストリーム内のフラグのオーバーヘッドが除去される。

【0015】

一態様においては、これらのステップは、相応に構成された処理手段を使用して実行される。

【0016】

発明者は、さらに、画像データおよび音声データのうちの少なくとも一方を含む圧縮符号化されたデータの記憶および送信のうちの少なくとも一方のために少なくとも部分的に使用される非一時的な手段を提案する。このデータは、ロッシー圧縮符号化のための上記提案された方法に従って圧縮符号化されている。

【0017】

画像データおよび音声データの少なくとも一方を含むデータを再構築する、請求項７に係る方法が提案される。この方法は、係数を圧縮復号するステップと、処理手段を使用して、圧縮復号された係数を使用してデータの仮再構築を求めるステップと、ｎ個（ｎ＞１）の異なる所定の後処理法の候補のうち、後処理法の候補の配列の順序における位置が圧縮復号された係数の合計をｎで除算した余りと等しい後処理法を使用して仮再構築を後処理することによって、データの再構築を求めるステップと、を含む。

【0018】

さらに、請求項１２および１３に係る対応する装置が提案される。

【0019】

さらに有益な態様の特徴は、従属請求項に特定されている。

【0020】

本発明の例示的な実施形態は、図面に例示されており、以下の記載により詳細に説明されている。この例示的な実施形態の説明は、本発明を明確にするためのみのものであり、請求の範囲のみによって規定される本発明の開示内容または範囲を限定するものではない。

【図面の簡単な説明】

【0021】

【図1】図１は、本発明に係る符号化処理の例示的なフローチャートを描いた図である。

【図2】図２は、ビットストリーム内の後処理に情報を秘密裏に埋め込む例示的なフローチャートを描いた図である。

【図3】図３は、本発明に係る復号手順の例示的なフローチャートを描いた図である。

【発明を実施するための形態】

【0022】

本発明は、相応に構成された処理装置を含むどのような電子装置上でも実施することができる。例えば、本発明は、テレビジョン、携帯電話、パーソナル・コンピュータ、ディジタル・スチルカメラ、ディジタル・ビデオカメラ、ＭＰ３プレイヤ、ナビゲーション・システムまたはカー・オーディオ・システムにおいて実施することができる。

【0023】

例示的な実施形態においては、本発明は、複数の画素からなる画像の符号化に使用される。この実施形態においては、まだ符号化されていない画素のブロックと、このブロックの予測値との間の残差が求められる。予測値は、既に符号化された画素を使用して求められる。次に、離散コサイン変換など、空間領域から周波数領域への変換が残差に適用される。変換結果から、量子化および走査順に従った走査により、量子化された係数のシーケンスが生成される。ここで、量子化および走査のうちのいずれが最初に行われるかは重要ではない。

【0024】

量子化された係数のうち、さらなる修正のため、人間の視覚系に関連性の少ないもの、例えば、人間の知覚感度に関連付けられた閾値を超える周波数に関連付けられた係数が選択される。これにより、後続する修正によってユーザにとって極端に目立った歪みが発生しないようにする。

【0025】

次に、選択された係数のうち、正の値を有し、正の閾値を超えないもの、さらに、零値の係数の少なくとも正の数の連続サブシーケンスに含まれるものが求められる。すなわち、各々の求められた係数は、対応するサブシーケンス内の非零値の係数のみである。

【0026】

求められた係数の全てを零に設定することができ、これにより、画像品質に重大な影響を与えることなく圧縮が行われる。または、レート歪みコスト最適化を使用して、求められた係数のうち、零に設定するとレート歪みコストを改善させるものを特定し、それを零に設定するようにしてもよい。

【0027】

このようにすることによって、映像フレームを最も効率的に表す係数を適応的に選択する適応的圧縮センシングをベースとする映像符号化スキームが提供される。

【0028】

レート歪みコスト最適化には、総変動正則化もしくは総変動最小化と呼ばれるもの、または、Ｌ_１最小化もしくはノルム１（Ｎｏｒｍ−１）最小化と呼ばれるもののような、１つ以上の後処理法を考慮することができる。この１つ以上の後処理法は、順番に、後処理が無いことを表すダミーの後処理法と共に配列される。すなわち、各後処理には序数が関連付けられている。

【0029】

従って、一実施形態においては、後処理が復元された画像の品質を向上させるかどうか、さらに、最も品質を向上させる後処理が判定される。

【0030】

そこで、求められた係数の修正は、修正したものを含み、全ての係数の合計をｎで除算した余りが歪みの最小化に最も適した後処理法の序数と等しくなるように行われる。このように等しくなること（等価性）を容易に達成するために、知覚閾値以下の周波数に関連付けられた係数でさえも修正することができる。追加的には、または、代替的には、この等価性の達成は、反復的な方法で行うことができる。すなわち、仮の適切な後処理が決定され、次に、係数がこの等価性を達成するために修正される。これに応答して、仮に決定された後処理が依然として適切であることが確認されるか、新たな仮の適切な後処理が決定され、これによって、さらなる修正が行われる。

【0031】

実際には、最初の仮に決定された後処理の確認が失敗したようなまれなケースでは、単一の反復処理で十分であることが判明している。

【0032】

最後に、結果として得られる係数が情報とともに符号化され、復号器が予測値を求めることができるようにする。

【0033】

このようにすることによって、画像の画素のブロックの予測値の離散コサイン変換された残差の量子化を使用して求められた、圧縮符号化され、量子化された係数を含むビットストリームにおいて、信号伝達が可能になる。後処理法は、ｎ個（ｎ＞１）の異なる、分類された、所定の後処理法の候補のうち、上記の符号化された係数および上記の予測値を使用したブロックの再構築に使われたとき、歪みを最小にする後処理法である。

【0034】

すなわち、後処理が画像の回復を最良に行うものであるかどうか、さらに／または、どの後処理が画像の回復を最良に行うかについての情報が秘密通信チャネルで送信される。

【0035】

可変の量子化パラメータを量子化のために使用することができる。その場合、正の閾値およびサブシーケンス毎の零値の係数の最小の正の数のうちの少なくとも一方もまた、量子化パラメータに依存して変化することがある。

【0036】

このように符号化された画像の画素のブロックを再構築するために、復号器が予測値を求めることができるようにする係数および情報が復号される。次に、復号された係数の合計を所定の正の数ｎで除算した余りが求められる。残差を再構築するために、復号された係数が逆量子化、逆変換され、予測値を再構築するために、復号された情報が使用される。そこで、予測値および残差が組み合わされる。除算の余りが候補の後処理を選択するために使用され、次に、この後処理は、再構築された残差と再構築された予測値の組み合わせに適用されてブロックの最終的な再構築が求められる。

【0037】

符号化装置の例示的な実施形態は、各ブロックのＤＣＴおよび量子化後の係数を走査し、再構築品質に重大な影響を与えない孤立した小さな係数（例えば、幾つかの連続した零の間に孤立して存在する１）を見つける。次に、このような係数が破棄される。その理由は、これによって、品質の若干の低下が生ずる可能性が高いものの、ビットレートが大幅に低下するからである。従って、重要な係数のみが選択され、ビットストリーム中に書き込まれる。

【0038】

追加的には、または、代替的には、この符号化装置の例示的な実施形態は、Ｌ_１最小化、総変動最小化、およびスキッピング後処理のうちから適応的に選択し、その選択を秘密通信によって示す機能を有する。

【0039】

多くの場合においては、複数の後処理モード、例えば、総変動（ＴＶ）最小化は、量子化および／または係数破棄によって生じた歪みを補償するのに良好に機能するが、その一方で、しばしば失敗することもある。この符号化装置の例示的な実施形態は、例えばＰＳＮＲを計算することによって、各ブロックを処理し、歪みを計算することができる。品質が改善する場合には、秘密通信チャネルでビットストリーム内に「ＴＶ正則化を行う」というメッセージを埋め込む。

【0040】

秘密メッセージの一例では、復号器側でＴＶ正則化が必要であり、後処理無しを除けば、ＴＶ正則化が唯一の利用可能な候補の後処理法である場合には、係数の合計は奇数であり、そうでない場合には、合計は偶数である。３つの後処理モードが利用可能である場合には、パリティ・チェックの代わりにモジュラス３（ｍｏｄｕｌｕｓ−３）が使用される。

【0041】

係数の合計は、ＴＶ正則化が有用である場合には必ずしも奇数であるものではなく、また、後処理無しが好ましい場合には必ずしも偶数であるものではないため、係数は、しばしば、修正される必要がある。これは、ビットレートを低下させ、そのような修正から生じた歪みを最小化するように、すなわち、修正された係数の合計が正しいパリティを有するようにするだけでなく、レート歪みコストをさらに最小化させるように行われるのが最もよい。

【0042】

肉眼は、より低周波数の成分における変化であるほどより一層敏感となるため、修正は、好ましくは、閾値を越えたより高い周波数成分に対してなされる。

【0043】

さらに、小さな、孤立した係数の符号化には、比較的に多数のビットが必要となるため、好ましくは、修正は、小さな、孤立した高周波成分に対してなされる。

【0044】

従って、小さな、孤立した高周波数成分を破棄することをさらに含む実施形態においては、いずれにしても、係数の合計を、小さな、孤立した係数の全てを破棄するだけでなく、さらに／または、これらの係数の幾つかまたは全てを破棄するのではなく、減少させるのみによって制御することができる。

【0045】

請求の範囲に記載された本発明の原理が、Ｈ．２６４コーデック上で構築された例示的な符号化器においてテストされた。簡略化のために、８×８の変換のみが使用された。しかしながら、提案する方法は、さらに、４×４などの他のブロック・サイズにも適している。さらにまた、ＴＶ正則化のみが後処理のために考慮された。

【0046】

テストされた例示的な符号化器は、以下のステップを行う。

【0047】

Ｈ．２６４圧縮の量子化パラメータ（ＱＰ）が与えられると、テストされた例示的な符号化器は、少なくとも、Ｔｈｒｅｓｈｏｌｄ＿Ｒｕｎ、Ｔｈｒｅｓｈｏｌｄ＿Ｌｅｖｅｌ、およびＴＶ＿ｌａｍｂｄａのパラメータを計算する。これらの計算されたパラメータは、適応的なセンシング演算子、または、ＴＶ正則化モジュールが各ＱＰで最適な圧縮を実現できるという条件を満たすものである。Ｔｈｒｅｓｈｏｌｄ＿ＬｅｖｅｌおよびＴｈｒｅｓｈｏｌｄ＿Ｒｕｎのパラメータは、様々な映像シーケンスのトレーニング・セットを使用して各ＱＰのために最適化されている。

【0048】

テストされた例示的な符号化器は、元のブロックＦｏｒｇからインター／イントラ予測値を減算することによって、残差データを取得し、次に、残差データは、変換され、量子化され、所定の走査順に従って走査することによってシーケンスに配列される。例えば、様々な周波数成分がジグザグに並べ替えられる。

【0049】

テストされた例示的な符号化器において実施された適応センシング演算子（ＡＳＯ：Ａｄａｐｔｉｖｅ Ｓｅｎｓｉｎｇ Ｏｐｅｒａｔｏｒ）は、次に、比較的に低いビットのコストで可能な限り正確にフレームを表現するように試行する。これを行うため、多数のビットを消費する小さな係数は、これらが破棄可能であるかどうかに関して調べられる。これは、係数のシーケンスを調査することによって成し遂げられる。ａ個の連続する零の前に存在し、ｂ個の連続する零の後に存在する各係数Ｃに対し、Ｃ≦Ｔｈｒｅｓｈｏｌｄ＿Ｌｅｖｅｌであり、ａ＋ｂ≧Ｔｈｒｅｓｈｏｌｄ＿Ｒｕｎである場合には、Ｃは、零に設定されるべき候補である。

【0050】

検出された候補係数を零に設定するかどうかを判定するために、適応センシング演算子ＡＳＯによってレート歪み最適化が用いられる。

【0051】

主観的な品質を考慮して、適応センシング演算子ＡＳＯは、肉眼によって検知されやすい最初の２５個の係数が零に設定されることを除外するように構成されている。

【0052】

零に実際に設定される各候補係数について、レベル値およびランレングス値のビットが品質を大幅に低下させることなく、保存される。

【0053】

量子化および係数の破棄によって生じた品質の損失を軽減するために、原理上は、ＴＶ最小化が有益である。しかしながら、種々の映像に基づいて、所与の量子化パラメータに対してパラメータＴＶ＿ｌａｍｂｄａが最適化されているものの、依然として、実際には、ＴＶ正則化が品質を一層低下させる可能性がある。

【0054】

後処理モジュールＰＰにおいて、テストされた例示的な符号化器は、従って、再構築されたブロックＦｒｅｃに対してＴＶ正則化を暫定的に適用し、ブロックＦＴＶを得る。次に、例示的な符号化器は、元々のデータＦｏｒｇとの比較により、ＦｒｅｃおよびＦＴＶの品質を評価する。ＦＴＶの歪みがより小さい場合には、テストされた例示的な符号化器は、出力のため、さらに、予測のために、ＴＶ正則化が復号器側で使用されるように信号を送信する。

【0055】

従って、テストされた例示的な符号化器は、ＴＶ正則化を使用するかどうかのメッセージをビットストリーム内に埋め込む。ＴＶ正則化が品質を向上させるものあり、かつそれが必要である場合には、係数の合計は奇数であり、そうでない場合には、合計は偶数である。テストされた例示的な符号化器は、次に、係数の合計を計算し、パリティが上記のルールに従うかどうか、すなわち、パリティが符号化器および復号器に存在するルールに従った後処理の適用性に適合するかどうかをチェックする。パリティが上記のルールに従わない場合には、テストされる例示的な符号化器は、モジュールＭＯＤにおいて、残りの非零係数のうちの１つ、または、破棄される、小さな、孤立した高周波数係数のうちの１つを１または−１だけ修正し、この条件を満たすようにする。

【0056】

視認性に対する影響を考慮して、修正される係数の周波数は、可能な限り高くすべきである。ビットレートを考慮して、修正された係数の周波数は、可能な限り高くすべきである。従って、レート歪みコスト最小化を使用して、複数の異なる周波数成分のうちのいずれを修正するか、さらに、どのように修正するかを決定することができる。

【0057】

この決定のためのサーチ空間が広いため、テストされた例示的な符号化器には、以下の優先順位付けが適用されている。

【0058】

破棄される係数に奇数のものが存在する場合：最も低い周波数に関連付けられたものを復元するか、または、破棄により最も大きな追加歪みが生じたものを復元する。

【0059】

破棄された係数が全て偶数である場合のみ：破棄された係数のうちの１つを±１だけ修正する。

【0060】

破棄される係数が存在しなかった場合：非零の係数のうちの１つを±１だけ修正する。

【0061】

修正された係数の絶対値が減少されると有益であることが判明した。

【0062】

修正は、ＴＶ正則化の有用性に影響を与えることがあるため、歪みに対するＴＶ正則化の影響の評価、および、係数の修正は、係数のパリティが再構築の好ましい方法と等しくなるまで繰り返される。

【0063】

最後に、最終的に得られた係数から再構築されたブロックが、符号化されるべきブロックの予測のための候補として、バッファ内に保存され、最終的に得られた係数がエントロピー符号化され、非一時的な記録媒体上で、ビットストリームに書き込まれるか、または、信号として送信される。

【0064】

従って、例示的な実施形態では、符号化されたデータを再構築する装置は、符号化された係数を受信し、これらを復号する。次に、装置は、係数のパリティを判定する。パリティが奇数であることは、例示的な復号器に対し、ＴＶ正則化が有益に適用可能であることを知らせるものである。パリティが偶数であることは、例示的な復号器に対し、画像品質を損なうことなく、ＴＶ正則化の演算処理を省略可能であることを知らせるものである。次に、例示的な復号器は、係数に対して逆量子化および逆変換を適用する。その結果として得られる係数は、符号化器側で使用される所定の走査順に対応するブロック内で配列される。これは、結果として、再構築された残差を生じさせ、この再構築された残差は、予測値と組み合わされ、結果として、復号されたブロックＦＤＥＣを生じさせる。最後に、復号された係数のパリティに依存して後処理が適用されるか、省略される。
（付記１）
画像データ及び音声データの少なくとも一方を含むデータをロッシー圧縮符号化する方
法であって、
前記データの予測値の離散コサイン変換された残差の量子化を使用して、量子化された
係数を求めるステップと、
レート歪みコストを最小化するために前記量子化された係数を修正するステップであっ
て、前記データの後処理された再構築を使用して歪みが求められ、前記後処理された再構
築は、後処理法に従って後処理されている、前記ステップと、
前記修正された係数を圧縮符号化するステップと、を含み、
前記後処理法は、ｎ個（ｎ＞１）の異なる所定の後処理法の候補のうち、後処理法の候
補の配列の所定の順序における位置が、前記修正された係数の合計をｎで除算した余りと
等しい後処理法である、前記方法。
（付記２）
前記再構築は前記修正された係数および前記予測値を使用して求められ、前記予測値は
既に圧縮符号化されたデータを使用して求められ、前記既に圧縮符号化されたデータに対
する参照値がさらに圧縮符号化される、付記１に記載の方法。
（付記３）
前記量子化された係数を修正するステップは、
（ａ）前記量子化された係数の合計をｎで除算した余りと、ｎ個の異なる、順序が付け
られた所定の後処理法の候補のうち、前記量子化された係数および前記予測値を使用した
前記ブロックの再構築に使用されると歪みを最小にする後処理法の位置との間に零ではな
い差が存在することを判定するステップと、
（ｂ）全体の修正が非零の差と等しくなるように前記量子化された係数を修正するステ
ップと、
を含む、付記１または２に記載の方法。
（付記４）
ステップ（ａ）および（ｂ）を繰り返すステップをさらに含み、零ではない差の存在が
判定されなくなるまで、ステップ（ａ）の各繰り返しにおいて、ステップ（ｂ）の直前の
実行の結果として得られた修正された係数を使用する、付記３に記載の方法。
（付記５）
前記データおよび前記量子化された係数が２次元ブロックとして配列され、前記係数を
修正するステップは、
走査順に従って、量子化された係数を走査し、各々が、所定の周波数閾値を超える周波
数を表現し、所定の正の閾値を超えず、かつ量子化された係数の少なくとも所定の正の数
の連続シーケンスに含まれる唯一の非零の係数である、量子化された係数を求めるシーケ
ンスを使用して、係数のシーケンスを求めるステップと、
求められた係数のうち、零に設定されると、レート歪みコストを最小化する係数を特定
し、当該特定された係数を零に設定するステップと、
を含む、付記１〜４のいずれか１項に記載の方法。
（付記６）
量子化のための量子化パラメータを求めるステップをさらに含み、前記正の閾値および
前記正の数のうちの少なくとも一方は、求められた量子化パラメータに依存する、付記
５に記載の方法。
（付記７）
画像データおよび音声データの少なくとも一方を含むデータを再構築する方法であって
、
係数を圧縮復号するステップと、
前記圧縮復号された係数を使用して前記データの仮再構築を求めるステップと、
ｎ個（ｎ＞１）の異なる所定の後処理法の候補のうち、後処理法の候補の配列の順序に
おける位置が前記圧縮復号された係数の合計をｎで除算した余りと等しい後処理法を使用
して前記仮再構築を後処理することによって、前記データの再構築を求めるステップと、
を含む、前記方法。
（付記８）
前記後処理法の候補のうちの１つは、総変動正則化である、付記１〜７のいずれか１
項に記載の方法。
（付記９）
前記後処理法の候補のうちの１つは、Ｌ₁最小化である、付記１〜９のいずれか１項
に記載の方法。
（付記１０）
前記後処理法の候補のうちの１つは、処理を全く行わないダミーの後処理法である、請
求項１〜１０のいずれか１項に記載の方法。
（付記１１）
画像データおよび音声データの少なくとも一方を含むデータをロッシー圧縮符号化する
装置であって、
前記データの予測値の離散コサイン変換された残差の量子化を使用して、量子化された
係数を求めるようにされた処理手段であって、さらに、レート歪みコストを最小化するた
めに前記量子化された係数を修正するようにされており、後処理法に従ってブロック後処
理された再構築を使用して歪みが求められる、前記処理手段と、
前記修正された係数を圧縮符号化するようにされた符号化手段と、を含み、
歪みを求めるために使用される前記後処理法は、ｎ個（ｎ＞１）の異なる所定の後処理
法の候補のうち、後処理法の候補の配列の所定の順序における位置が、前記修正された係
数の合計をｎで除算した余りと等しい後処理法である、前記装置。
（付記１２）
画像データおよび音声データの少なくとも一方を含むデータを再構築する装置であって
、
係数を圧縮復号するようにされた復号手段と、
前記圧縮復号された係数を使用して前記データの仮再構築を求めるようにされた処理手
段と、を含み、
前記処理手段は、さらに、ｎ個（ｎ＞１）の異なる所定の後処理法の候補のうち、後処
理法の候補の配列の順序における位置が前記圧縮復号された係数の合計をｎで除算した余
りと等しい後処理法を使用して前記仮再構築を後処理することによって、ブロックの再構
築を求めるようにされている、前記装置。
（付記１３）
画像データおよび音声データのうちの少なくとも一方を含む圧縮符号化されたデータの
記憶および送信のうちの少なくとも一方のために少なくとも部分的に使用される手段であ
って、前記データは、付記１〜６のいずか１項に記載の方法に従って圧縮符号化されて
いる、前記手段。

【図1】

【図2】

【図3】