知財求人 - 知財ポータルサイト「IP Force」
▶ インターデジタル シーイー パテント ホールディングスの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-27
(45)【発行日】2025-01-14
(54)【発明の名称】多用途ビデオコーディングのためのロスレスモード
(51)【国際特許分類】
H04N 19/70 20140101AFI20250106BHJP
H04N 19/61 20140101ALI20250106BHJP
【ＦＩ】
H04N19/70
H04N19/61
【請求項の数】
8
(21)【出願番号】P 2021573743
(86)(22)【出願日】2020-06-16
(65)【公表番号】
(43)【公表日】2022-08-25
(86)【国際出願番号】 EP2020066647
(87)【国際公開番号】W WO2020254335
(87)【国際公開日】2020-12-24
【審査請求日】2023-06-12
(31)【優先権主張番号】19305799.9
(32)【優先日】2019-06-20
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】518341334
【氏名又は名称】インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100108213
【弁理士】
【氏名又は名称】阿部 豊隆
(72)【発明者】
【氏名】ポワリエ，タンギ
(72)【発明者】
【氏名】ルリアネック，ファブリス
(72)【発明者】
【氏名】ナセル，カラム
(72)【発明者】
【氏名】フランソワ，エドワール
【審査官】松元 伸次
(56)【参考文献】
【文献】米国特許出願公開第２０１３／０２９４５２４（ＵＳ，Ａ１）
【文献】Geert Van der Auwera, et al.，Lossless Coding and Loop Filter Control for Transform Skip，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: Stockholm, SE, 11-20 July 2012，JCTVC-J0435，庁内DB（送付可），2013年01月12日，P.6
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００－１９／９８
(57)【特許請求の範囲】
【請求項1】
画像またはビデオのブロックについて残差コーディングのタイプを判定するための方法であって、前記ブロックが変換スキップブロックであるか否かを判定するために第１の情報を取得することと、
変換スキップブロックに通常の残差コーディングが使用されているか否かを判定するために第２の情報を取得することと、
前記第１の情報が、前記ブロックが変換スキップブロックであることを示し、かつ、前記第２の情報が、前記変換スキップブロックに前記通常の残差コーディングが使用されていることを示す場合に、前記ブロックに使用するべき変換スキップ残差コーディングの代わりに、通常の残差コーディングを使用しなければならないと判定することと、
を含む、方法。
【請求項2】
前記コーディングが多用途ビデオコーディング仕様に基づく、請求項１に記載の方法。
【請求項3】
残差コーディングのタイプが、請求項１または２のいずれかに記載の方法によって判定される、画像またはビデオのピクセルのブロックについて係数を符号化するための方法。
【請求項4】
残差コーディングのタイプが、請求項１または２のいずれかに記載の方法によって判定される、画像またはビデオのピクセルのブロックについて係数を復号化するための方法。
【請求項5】
残差コーディングのタイプが、請求項１または２のいずれかに記載の方法によって判定される、画像またはビデオのピクセルのブロックについて係数を符号化するための装置。
【請求項6】
残差コーディングのタイプが、請求項１または２のいずれかに記載の方法によって判定される、画像またはビデオのピクセルのブロックについて係数を復号化するための装置。
【請求項7】
プロセッサによって実行されると請求項１～４の少なくとも一項に記載の方法のステップを実装するプログラムコード命令を含む、非一時的コンピュータ可読媒体。
【請求項8】
プロセッサによって実行されると請求項１～４の少なくとも一項に記載の方法のステップを実装するプログラムコード命令を含む、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ビデオ圧縮の分野にあり、少なくとも１つの実施形態は、より具体的には、多用途ビデオコーディング（ＶＶＣ）のロスレスモードに関する。
【背景技術】
【0002】
高い圧縮効率を達成するために、画像およびビデオのコーディングスキームは、通常、予測および変換を用いて、ビデオコンテンツの空間的および時間的冗長性を活用する。一般に、イントラまたはインター予測は、フレーム内またはフレーム間の相関を活用するために使用され、次に、予測誤差または予測残差と表されることが多い、元の画像ブロックと予測された画像ブロックとの間の差は、変換され、量子化され、エントロピーコード化される。符号化中、元の画像ブロックは、通常、可能であれば例えば四分木区分化を使用してサブブロックに区分化／分割される。ビデオを再構築するために、圧縮されたデータは、予測、変換、量子化、およびエントロピーコーディングに対応する逆プロセスによって復号化される。
【発明の概要】
【0003】
複数のコーディングツールを含むビデオコーディングシステムにおけるロスレスコーディングモードが提案され、複数のコーディングツールのうちの一部は設計上ロッシーであり、一部はロスレスまたはニアロスレスになるように適応され得る。このようなビデオコーディングシステムでロスレスモードを有効化するには、設計上ロッシーであるツールを無効化してロスレスツールのみを使用することと、一部のツールをロスレスコーディングを有効化するように適応させることと、一部のツールをニアロスレスコーディングを有効化するように適応させ、したがって、残差コーディングの後に二次ロスレスコーディングが適用され得るようにし、それによってロスレスコーディングを提供することとが提案される。
【0004】
特定の実施形態において、残差コーディングのタイプを判定する方法は、変換スキップ残差コーディングが使用されていることが情報により示される場合に、特別なモードを表すフラグを取得することと、特別なモードを表すこのフラグが真である場合に、使用するべき変換スキップ残差コーディングの代わりに通常の残差コーディングを使用しなければならないと判定することとを含む。
【0005】
第１の態様によれば、残差コーディングのタイプを判定する方法は、変換スキップ残差コーディングが使用されていることが情報により示される場合に、特別なモードを表すフラグを取得することと、特別なモードを表すこのフラグが真である場合に、使用するべき変換スキップ残差コーディングの代わりに通常の残差コーディングを使用しなければならないと判定することとを含む。
【0006】
第２の態様によれば、ビデオ符号化方法は、ビデオのブロックについて、第１の態様の方法に従って残差コーディングのタイプを判定することを含む。
【0007】
第３の態様によれば、ビデオ復号化方法は、ビデオのブロックについて、第１の態様の方法に従って残差コーディングのタイプを判定することを含む。
【0008】
第４の態様によれば、ビデオ符号化装置は、第１の態様の方法に従って残差コーディングのタイプを判定するように構成されたエンコーダを備える。
【0009】
第５の態様によれば、ビデオ復号化装置は、第１の態様の方法に従って残差コーディングのタイプを判定するように構成されたデコーダを備える。
【0010】
本実施形態のうちの１つ以上は、上記の方法のいずれかの少なくとも一部に従ってビデオデータを符号化または復号化するための命令が記憶された非一時的コンピュータ可読記憶媒体も提供する。１つ以上の実施形態は、上記の方法のいずれかの少なくとも一部を実施するための命令を含むコンピュータプログラム製品も提供する。
【図面の簡単な説明】
【0011】
【図1A】一実施形態による、ビデオエンコーダのブロック図を示す。
【図1B】一実施形態による、ビデオデコーダのブロック図を示す。
【図2】様々な態様および実施形態が実装されるシステムの例のブロック図を示す。
【図3A-3B】角度イントラ予測に関連する表記を示す。
【図4】各ＳＢＴ位置の水平変換および垂直変換を示す。
【図5】デコーダの観点からのＬＭＣＳアーキテクチャを示す。
【図6】二次変換の適用を示す。
【図7】縮小二次変換（ＲＳＴ）を示す。
【図8】順方向縮小変換および逆方向縮小変換を示す。
【図9】１６ｘ４８行列を使用した順方向ＲＳＴ８ｘ８プロセスの例を示す。
【図10A-10B】少なくとも一実施形態による例示的なフローチャートを示す。
【図11】ルマ再形成のための順関数および逆関数の順次適用を示す。
【図12】ロスレスコード化ブロックに対して変換スキップが真と推定される場合の、ｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇ、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇの解析、および残差コーディングを含む一実施形態の例示的なフローチャートを示す。
【図13】ロスレスコード化ブロックに対して変換スキップが偽であると推定される場合の、ｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇ、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇの解析、および残差コーディングを含む一実施形態の例示的なフローチャートを示す。
【図14】ロスレスコード化ブロックに対して変換スキップが常に解析される場合の、ｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇ、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇの解析、および残差コーディングを含む一実施形態の例示的なフローチャートを示す。
【図15】二次ロスレスコーディングの簡略化されたブロック図の例を示す。
【図16】リージョンレベルの信号伝達が使用される場合のｒｅｇｉｏｎ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇおよびｓｐｌｉｔ＿ｃｕ＿ｆｌａｇの解析プロセスの例示的なフローチャートを示す。
【図17】二分木の場合のルマおよびクロマの相異なる区分を示す。
【発明を実施するための形態】
【0012】
様々な実施形態が、画像のブロックのサンプルの予測値に関する後処理方法に関連し、この値は、イントラ予測角度に従って予測され、ここでサンプルの値は予測の後に変更され、その結果、左の参照サンプルの値とサンプルについて得られた予測値との差の重み付けに基づいて判定され、左の参照サンプルは、イントラ予測角度に基づいて判定される。この後処理方法に基づく符号化法、復号化法、符号化装置、復号化装置が提案される。
【0013】
さらに、本態様は、ＶＶＣ（多用途ビデオコーディング）の特定のドラフトまたはＨＥＶＣ（高効率ビデオコーディング）仕様に関連する原理を説明しているが、ＶＶＣまたはＨＥＶＣに限定されず、例えば、既存かまたは将来開発されるかどうかにかかわらず、他の標準規格および推奨事項、ならびに任意のそのような標準規格および推奨事項（ＶＶＣおよびＨＥＶＣを含む）の拡張版に適用することができる。特に指示されていない限り、または技術的に除外されていない限り、本出願で説明される態様は、個別にまたは組み合わせて使用することができる。
【0014】
図１Ａは、ビデオエンコーダ１００を示している。このエンコーダ１００の変形が企図されるが、エンコーダ１００は、明確にするためにすべての予想される変形を説明することなく、以下に説明される。符号化される前に、ビデオシーケンスは事前符号化処理（１０１）、例えば、入力色ピクチャに色変換（例えば、ＲＧＢ ４：４：４からＹＣｂＣｒ ４：２：０への変換）を適用すること、または、（例えば、色成分のうちの１つのヒストグラム等化を使用して）圧縮に対してより復元力のある信号分布を得るために、入力ピクチャ成分の再マッピングを実施することを経る場合がある。メタデータは、事前処理に関連付けることができ、ビットストリームに添付することができる。
【0015】
エンコーダ１００では、以下に説明されているように、ピクチャが、エンコーダ要素によって符号化される。符号化されるピクチャは、区分化され（１０２）、例えば、ＣＵの単位で処理される。各単位は、例えば、イントラモードまたはインターモードのいずれかを使用して符号化される。単位がイントラモードで符号化されるとき、イントラ予測を実施する（１６０）。インターモードにおいて、動き推定（１７５）および動き補償（１７０）が実施される。エンコーダは、イントラモードまたはインターモードのうちの１つをその単位の符号化に使用するかを決定し（１０５）、例えば、予測モードフラグによって、イントラ／インター決定を示す。予測残差は、例えば、元の画像ブロックから予測されたブロックを減算すること（１１０）によって、計算される。
【0016】
次に、予測残差が変換され（１２５）、量子化される（１３０）。量子化された変換係数に加えて、動きベクトルおよび他の構文要素は、ビットストリームを出力するためにエントロピーコード化される（１４５）。エンコーダは、変換をスキップし、非変換残差信号に直接量子化を適用し得る。エンコーダは、変換および量子化の両方をバイパスすることができ、すなわち、残差は、変換または量子化プロセスを適用せずに直接コード化される。
【0017】
エンコーダは、符号化されたブロックを復号化して、さらに予測するための参照を提供する。量子化された変換係数は非量子化され（１４０）、逆変換され（１５０）、予測残差を復号化する。復号化された予測残差と予測されたブロックとを組み合わせて（１５５）、画像ブロックが再構築される。ループ内フィルタ（１６５）は、再構築されたピクチャに適用され、例えば、デブロッキング／ＳＡＯ（サンプル適応オフセット）、適応ループフィルタ（ＡＬＦ）フィルタリングを実行し、符号化アーチファクトを低減する。フィルタリングされた画像は、参照ピクチャバッファ（１８０）に記憶される。
【0018】
図１Ｂは、ビデオデコーダ２００のブロック図を示している。デコーダ２００において、ビットストリームは、以下に説明するように、デコーダの要素によって復号化される。ビデオデコーダ２００は、概して、図１８で説明するような符号化パスの逆の復号化パスを実施する。エンコーダ１００はまた、概して、ビデオデータの符号化の一部としてビデオ復号化を実施する。特に、デコーダの入力は、ビデオエンコーダ１００によって生成され得るビデオビットストリームを含む。まず、ビットストリームがエントロピー復号化され（２３０）、変換係数、動きベクトル、および他のコード化された情報を取得する。ピクチャ区分情報は、ピクチャがどのように区分化されているかを示す。したがって、デコーダは、復号化されたピクチャ区分化情報に従ってピクチャを分けることができる（２３５）。変換係数は非量子化され（２４０）、逆変換され（２５０）、予測残差を復号化する。復号化された予測残差と予測されたブロックとを組み合わせて（２５５）、画像ブロックが再構築される。予測されたブロックは、イントラ予測（２６０）または動き補償予測（すなわち、インター予測）（２７５）から取得され得る（２７０）。ループ内フィルタ（２６５）は、再構築された画像に適用される。フィルタリングされた画像は、参照ピクチャバッファ（２８０）に記憶される。
【0019】
復号化されたピクチャは、復号化後処理（２８５）、例えば、逆色変換（例えば、ＹＣｂＣｒ ４：２：０からＲＧＢ ４：４：４への変換）または事前符号化処理（１０１）で実施される再マッピングプロセスの逆を実施する逆再マッピングをさらに経ることができる。復号化後処理では、事前符号化処理で導出され、かつビットストリームで信号伝達されるメタデータを使用することができる。
【0020】
図２は、様々な態様および実施形態が実装されるシステムの例のブロック図を示している。システム１０００は、以下で説明される様々な構成要素を含むデバイスとして具現化することができ、本文献で説明される態様のうちの１つ以上を実施するように構成されている。このようなデバイスの例には、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、接続された家電製品、およびサーバなどの様々な電子デバイスが含まれるが、これらに限定されない。システム１０００の要素は、単独でも組み合わせでも、単一の集積回路（ＩＣ）、複数のＩＣ、および／または個別の構成要素で具現化され得る。例えば、少なくとも１つの実施形態において、システム１０００の処理およびエンコーダ／デコーダ要素は、複数のＩＣおよび／または個別の構成要素にわたって分散している。様々な実施形態において、システム１０００は、１つ以上の他のシステムに、または他の電子デバイスに、例えば、通信バスを介して、または専用の入力および／もしくは出力ポートを通して、通信可能に結合される。様々な実施形態において、システム１０００は、本文献に記載の態様のうちの１つ以上を実装するように構成される。
【0021】
システム１０００は、例えば、本文献に記載の様々な態様を実装するために、読み込まれた命令を実行するように構成された少なくとも１つのプロセッサ１０１０を含む。プロセッサ１０１０は、当技術分野で既知であるように、埋め込みメモリ、入出力インターフェース、および他の様々な回路を含み得る。システム１０００は、少なくとも１つのメモリ１０２０（例えば、揮発性メモリデバイス、および／または不揮発性メモリデバイス）を含む。システム１０００は、不揮発性メモリおよび／または揮発性メモリを含むことができる記憶デバイス１０４０を含み、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、フラッシュ、磁気ディスクドライブ、および／または光ディスクドライブを含むが、これらに限定されない。記憶デバイス１０４０は、非限定的な例として、内部記憶デバイス、付属の記憶デバイス（取り外し可能および取り外し不可能な記憶デバイスを含む）、ならびに／またはネットワークアクセス可能な記憶デバイスを含み得る。
【0022】
システム１０００は、例えば、符号化されたビデオまたは復号化されたビデオを提供するためにデータを処理するように構成されたエンコーダ／デコーダモジュール１０３０を含み、エンコーダ／デコーダモジュール１０３０は、独自のプロセッサおよびメモリを含み得る。エンコーダ／デコーダモジュール１０３０は、符号化機能および／または復号化機能を実施するデバイスに含まれ得るモジュールを表す。既知であるように、デバイスは、符号化および復号化モジュールの一方または両方を含み得る。さらに、エンコーダ／デコーダモジュール１０３０は、システム１０００の別個の要素として実装することができるか、または、当業者には既知であるように、ハードウェアとソフトウェアとの組み合わせとして、プロセッサ１０１０内に組み込むことができる。
【0023】
本文献に記載の様々な態様を実施するためにプロセッサ１０１０またはエンコーダ／デコーダ１０３０に読み込まれるプログラムコードは、記憶デバイス１０４０に記憶され、続いて、プロセッサ１０１０による実行のためにメモリ１０２０に読み込まれ得る。様々な実施形態によれば、プロセッサ１０１０、メモリ１０２０、記憶デバイス１０４０、およびエンコーダ／デコーダモジュール１０３０のうちの１つ以上は、本文献に記載のプロセスの実行中、様々な項目のうちの１つ以上を記憶することができる。このような記憶される項目には、入力ビデオ、復号化されたビデオまたは復号化されたビデオの一部、ビットストリーム、行列、変数、ならびに方程式、式、演算、および演算ロジックの処理からの中間結果または最終結果が含まれ得るが、これらに限定されない。
【0024】
いくつかの実施形態において、プロセッサ１０１０および／またはエンコーダ／デコーダモジュール１０３０の内部のメモリを使用して、命令を記憶し、符号化または復号化中に必要とされる処理のために、ワーキングメモリを提供する。しかしながら、他の実施形態において、処理デバイス（例えば、処理デバイスは、プロセッサ１０１０またはエンコーダ／デコーダモジュール１０３０のいずれかであり得る）の外部のメモリは、これらの機能のうちの１つ以上に使用される。外部メモリは、メモリ１０２０および／または記憶デバイス１０４０、例えば、ダイナミック揮発性メモリおよび／または不揮発性フラッシュメモリであり得る。いくつかの実施形態において、例えば、テレビの動作システムを記憶するために外部不揮発性フラッシュメモリが使用される。少なくとも１つの実施形態において、ＲＡＭなどの高速外部ダイナミック揮発性メモリが、ＭＰＥＧ－２（ＭＰＥＧはＭｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐを指し、ＭＰＥＧ－２は、ＩＳＯ／ＩＥＣ １３８１８とも称され、１３８１８－１はＨ．２２２としても既知であり、１３８１８－２はＨ．２６２としても既知である）、ＨＥＶＣ（ＨＥＶＣはＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇを指し、Ｈ．２６５およびＭＰＥＧ－Ｈ Ｐａｒｔ２としても既知である）、またはＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇであり、ＪＶＥＴ、すなわちＪｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍによって開発された新標準規格）などのビデオコーディングおよび復号化動作のためのワーキングメモリとして使用される。
【0025】
システム１０００の要素への入力は、ブロック１１３０に示されるような様々な入力デバイスを通して提供され得る。このような入力デバイスは、（ｉ）例えば、放送局によって無線で送信されたＲＦ信号を受信する無線周波数（ＲＦ）部分、（ｉｉ）コンポーネント（ＣＯＭＰ）入力端子（またはＣＯＭＰ入力端子のセット）、（ｉｉｉ）ユニバーサルシリアルバス（ＵＳＢ）入力端子、および／または（ｉｖ）高品位マルチメディアインターフェース（ＨＤＭＩ）入力端子を含むが、これらに限定されない。図１８に示されていない他の実施例には、コンポジットビデオが含まれる。
【0026】
様々な実施形態において、ブロック１１３０の入力デバイスは、当技術分野で既知であるような関連するそれぞれの入力処理要素を有する。例えば、ＲＦ部は、（ｉ）所望の周波数を選択する（信号を選択する、またはある周波数帯域に信号を帯域制限する、とも称される）、（ｉｉ）選択された信号をダウンコンバートする、（ｉｉｉ）（例えば）ある特定の実施形態においてチャネルと称され得る信号周波数帯域を選択するために、より狭い周波数帯域に再び帯域制限する、（ｉｖ）ダウンコンバートされ、帯域制限された信号を復調する、（ｖ）誤差補正を実施する、および（ｖｉ）逆多重化して、所望のデータパケットストリームを選択するのに好適な要素に関連付けられ得る。様々な実施形態のＲＦ部は、これらの機能、例えば、周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤差補正器、および逆多重化器を実施する１つ以上の要素を含む。ＲＦ部は、例えば、受信された信号をより低い周波数に（例えば、中間周波数またはベースバンドに近い周波数）、またはベースバンドにダウンコンバートすることを含む、様々なこれらの機能を実施するチューナを含むことができる。１つのセットトップボックスの実施形態において、ＲＦ部およびその関連付けられた入力処理要素は、有線（例えば、ケーブル）媒体経由で送信されたＲＦ信号を受信し、フィルタリングし、ダウンコンバートし、所望の周波数帯域に再びフィルタリングすることによって、周波数選択を実施する。様々な実施形態において、上記（および他の）要素の順番が並べ替えられ、これらの要素のうちのいくつかが取り除かれ、かつ／または同様もしくは異なる機能を実施する他の要素が追加される。要素を追加することは、既存の要素間に要素を挿入すること、例えば、増幅器およびアナログ－デジタル変換器を挿入することなどを含むことができる。様々な実施形態において、ＲＦ部は、アンテナを含む。
【0027】
さらに、ＵＳＢおよび／またはＨＤＭＩ端子は、ＵＳＢおよび／またはＨＤＭＩ接続を介して、他の電子デバイスにシステム１０００を接続するためのそれぞれのインターフェースプロセッサを含み得る。入力処理の様々な態様、例えば、リードソロモン誤差補正が、例えば、必要に応じて、別個の入力処理ＩＣ内、またはプロセッサ１０１０内に実装され得ることを理解されたい。同様に、ＵＳＢまたはＨＤＭＩインターフェース処理の態様は、必要に応じて、別個のインターフェースＩＣ内またはプロセッサ１０１０内に実装され得る。復調され、誤差補正され、かつ逆多重化されたストリームは、例えば、プロセッサ１０１０と、出力デバイス上での表示用に、必要に応じてデータストリームを処理するためにメモリおよび記憶要素と組み合わせて動作するエンコーダ／デコーダ１０３０と、を含む様々な処理要素に提供される。
【0028】
システム１０００の様々な要素は、一体型ハウジング内に提供され得、一体型ハウジング内で、様々な要素は、相互接続され、好適な接続構成１１４０、例えば、Ｉｎｔｅｒ－ＩＣ（Ｉ２Ｃ）バス、配線、およびプリント回路基板を含む、当技術分野で既知であるような内部バスを使用して、それらの間でデータを送信することができる。
【0029】
システム１０００は、通信チャネル１０６０を介して他のデバイスとの通信を可能にする通信インターフェース１０５０を含む。通信インターフェース１０５０は、通信チャネル１０６０経由でデータを送受信するように構成されたトランシーバを含むことができるが、これに限定されない。通信インターフェース１０５０は、モデムまたはネットワークカードを含むことができるが、これらに限定されず、通信チャネル１０６０は、例えば、有線および／または無線媒体内に実装され得る。
【0030】
データは、様々な実施形態において、Ｗｉ－Ｆｉネットワーク、例えば、ＩＥＥＥ８０２．１１（ＩＥＥＥは、電気電子技術者協会を指す）などの無線ネットワークを使用して、システム１０００にストリーミングされるか、または別様に提供される。これらの実施形態のＷｉ－Ｆｉ信号は、Ｗｉ－Ｆｉ通信に適応された通信チャネル１０６０および通信インターフェース１０５０を介して受信される。これらの実施形態の通信チャネル１０６０は、典型的には、ストリーミングアプリケーションおよび他のオーバーザトップ通信を可能にするインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイントまたはルータに接続される。他の実施形態は、入力ブロック１１３０のＨＤＭＩ接続経由でデータを配信するセットトップボックスを使用して、ストリーミングされたデータをシステム１０００に提供する。さらに他の実施形態は、入力ブロック１１３０のＲＦ接続を使用して、ストリーミングされたデータをシステム１０００に提供する。上記のように、様々な実施形態は、非ストリーミング方式でデータを提供する。さらに、様々な実施形態は、Ｗｉ－Ｆｉ以外の無線ネットワーク、例えば、セルラーネットワークまたはブルートゥースネットワークを使用する。
【0031】
システム１０００は、ディスプレイ１１００、スピーカ１１１０、および他の周辺デバイス１１２０を含む、様々な出力デバイスに出力信号を提供することができる。様々な実施形態のディスプレイ１１００は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、湾曲ディスプレイ、および／または折り畳み式ディスプレイのうちの１つ以上を含む。ディスプレイ１１００は、テレビ、タブレット、ラップトップ、携帯電話（モバイルフォン）、または他のデバイス用であり得る。ディスプレイ１１００はまた、他の構成要素（例えば、スマートフォンのように）と統合され得るか、または別個（例えば、ラップトップ用の外部モニタ）であり得る。他の周辺デバイス１１２０は、実施形態の様々な例において、スタンドアロンデジタルビデオディスク（もしくはデジタル多用途ディスク）（両用語ともＤＶＲ）、ディスクプレーヤ、ステレオシステム、および／または照明システムのうちの１つ以上を含む。様々な実施形態は、システム１０００の出力に基づく機能を提供する１つ以上の周辺デバイス１１２０を使用する。例えば、ディスクプレーヤは、システム１０００の出力を再生する機能を実施する。
【0032】
様々な実施形態において、システム１０００と、ディスプレイ１１００、スピーカ１１１０、または他の周辺デバイス１１２０との間で、ＡＶ．Ｌｉｎｋ、コンシューマエレクトロニクス制御（ＣＥＣ）、またはユーザの介入の有無に関わらず、デバイス間制御を可能にする他の通信プロトコルなどの信号伝達を使用して、制御信号が通信される。出力デバイスは、それぞれのインターフェース１０７０、１０８０、および１０９０を通して専用接続を介してシステム１０００に通信可能に結合され得る。代替的に、出力デバイスは、通信インターフェース１０５０を介して、通信チャネル１０６０を使用してシステム１０００に接続され得る。ディスプレイ１１００およびスピーカ１１１０は、例えば、テレビなどの電子デバイス内のシステム１０００の他の構成要素と、単一のユニット内に統合され得る。様々な実施形態において、ディスプレイインタフェース１０７０は、例えば、タイミングコントローラ（Ｔ Ｃｏｎ）チップなどのディスプレイドライバを含む。
【0033】
ディスプレイ１１００およびスピーカ１１１０は、代替的に、例えば、入力１１３０のＲＦ部が別個のセットトップボックスの一部である場合、他の構成要素のうちの１つ以上とは別個であり得る。ディスプレイ１１００およびスピーカ１１１０が外部構成要素である様々な実施形態において、例えば、ＨＤＭＩポート、ＵＳＢポート、またはＣＯＭＰ出力部を含む専用出力接続を介して、出力信号が提供され得る。
【0034】
実施形態は、プロセッサ１０１０によって、またはハードウェアによって、またはハードウェアとソフトウェアとの組み合わせによって実装されるコンピュータソフトウェアによって、実行されてもよい。非限定的な例として、実施形態は、１つ以上の集積回路によって実装され得る。メモリ１０２０は、技術的環境に適切な任意のタイプのものであり得、非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、および取り外し可能なメモリなどの任意の適切なデータ記憶技術を使用して実装され得る。プロセッサ１０１０は、技術的環境に適切な任意のタイプのものであり得、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、およびマルチコアアーキテクチャに基づくプロセッサのうちの１つ以上を包含し得る。
【0035】
ＨＥＶＣではロスレスモードを利用できる。このモードでは、変換および量子化のバイパスは、ＣＵ構文構造の先頭にあるフラグによってＣＵレベルで示される。バイパスがオンの場合、変換および量子化器のスケーリング操作はスキップされ、残差信号は劣化することなく直接コード化される。これにより、このモードにより、コード化ブロックのロスレス表現の完全な再構築が可能になる。サンプルの差異は、量子化された変換係数レベルであるかのように、すなわち、変換サブブロック、係数スキャン、および最後の有意な係数信号伝達を用いて変換ブロックコーディングを再利用して符号化される。このモードは、例えば、量子化アーチファクトが非常に目立つ、またはまったく許容できないグラフィックコンテンツのローカルコーディングに有用であり得る。通常の変換コーディングのレート歪みコストが、通常は低い量子化パラメータを使用している場合に、バイパスコーディングのレートコストを超えた場合にも、エンコーダはこのモードに切り替わる可能性がある。ロスレスモードでコード化されたＣＵの場合、ポストフィルタは無効化される。
【0036】
ＰＣＭコーディングは、シーケンスパラメータセット（ＳＰＳ）でアクティブ化されると、ＣＵレベルで示され得る。考慮されるＣＵに対してアクティブな場合、予測、量子化、および変換は適用されない。代わりに、対応するコーディングブロック内のサンプルのサンプル値は、ＳＰＳで構成されたＰＣＭサンプルビット深度でビットストリームに直接コード化される。ＰＣＭコーディングの適用の粒度は、ハイエンドでのルマコーディングツリーブロックのサイズの最小値および３２×３２と、ローエンドでの最小ルマコーディングブロックサイズとの間で構成され得る。コーディングユニットがＰＣＭモードでコード化されている場合、同じコーディングツリーユニット内の他のコーディングユニットのサイズは、ＰＣＭユニットのサイズより小さくしてはならない。定義上、ＰＣＭコーディングは対応するブロックのロスレス表現を可能にするため、コーディングユニットのＰＣＭコーディングに費やされるビットは、ＣＵの符号化に必要なビット量の上限とみなすことができる。したがって、変換ベースの残差コーディングの適用がその制限を超える場合、例えば非常にノイズの多いコンテンツの場合、エンコーダはＰＣＭコーディングに切り替えることができる。
【0037】
ＨＥＶＣのロスレスモードは、ピクチャパラメータセット（ＰＰＳ）にコード化されたｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇフラグを使用してアクティブ化される（以下の表１を参照）。このフラグにより、ＣＵレベルでのｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇのコーディングが可能になる（表２）。ｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇは、量子化、変換プロセス、およびループフィルタがバイパスされることを指定する。
【表1】
【表2】
【0038】
すべてのＣＵでｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇが真の場合、ロスレスコーディングがフレーム全体に使用され得るが、リージョンのみがロスレスコード化される可能性もある。これは通常、テキストおよびグラフィックがオーバーレイされた自然なビデオとの混合コンテンツの場合である。テキストおよびグラフィックリージョンは、読みやすさを最大化するためにロスレスでコード化され得るが、自然なコンテンツはロッシー方式でコード化され得る。
【0039】
さらに、量子化は定義上ロッシーであるため、ロスレスコーディングでは無効化される。（ＤＣＴ－２およびＤＳＴ－４がＨＥＶＣで使用される）変換プロセスは、丸め動作のためにＨＥＶＣではロッシーである。再構築された信号がロスレスである場合、デブロッキングフィルタおよびサンプル適応オフセットとしてのポストフィルタは有用ではない。
【0040】
図３は、ＰＣＭモード、ロスレスモード、および変換スキップモードの復号化プロセスに関する簡略化されたブロック図の例を示している。復号化プロセス３００の入力はビットストリームである。データは、ステップ３１０においてビットストリームから復号化される。具体的には、これは量子化され変換された係数、および変換タイプをもたらす。逆量子化は、ステップ３２０において、量子化され変換された係数に適用される。逆方向変換は、ステップ３３０において、結果として生じる変換された係数に適用される。結果として生じる残差は、ステップ３５０において、ステップ３４０のイントラ予測またはインター予測から来る予測信号に加算される。結果は再構築されたブロックである。ステップ３０５においてＩ＿ＰＣＭモードが選択された場合、サンプル値はエントロピー復号化なしで直接復号化される。ロスレスコーディングモードが選択された場合、ステップ３２０および３３０はスキップされる。変換スキップモードが選択された場合、ステップ３３０はスキップされる。
【0041】
最近の多用途ビデオコーディング（ＶＶＣ）テストモデル４（ＶＴＭ４）では、最大６４×６４の大きな変換サイズが可能になっており、これは主に１０８０ｐおよび４Ｋシーケンスなどのより高解像度のビデオに有用である。高周波変換係数は、サイズ（幅もしくは高さ、または幅および高さの両方）が６４に等しい変換ブロックではゼロになるため、低周波係数のみが保持され、この情報は失われる。より正確には、この情報は、結果として生じるビットストリームにおいて符号化されないことにより失われ、デコーダで使用できなくなる。例えば、Ｍがブロック幅でＮがブロック高さであるＭ×Ｎ変換ブロックの場合、Ｍが６４に等しい場合、変換係数の左側の３２列のみが保持される。同様に、Ｎが６４に等しい場合、変換係数の上位３２行のみが保持される。どちらの例でも、変換係数の残りの３２列または３２行は失われる。大きなブロックに変換スキップモードを使用すると、値をゼロにすることなくブロック全体が使用される。実際には、これは、以下の表３に示す現在のＶＶＣ仕様（関連する行は太字に設定）からの構文の抜粋に示されるように、変換の最大サイズを５に設定することで構成される。したがって、実際の最大変換サイズが使用され、例えば現在のＶＶＣ仕様では３２（２＾５）に設定される。以下では、このパラメータの名前は「ｍａｘ＿ａｃｔｕａｌ＿ｔｒａｎｓｆ＿ｓｉｚｅ」とする。
【表3】
【0042】
ＨＥＶＣで使用されるＤＣＴ－２に加えて、ＶＶＣは、インターコード化ブロックおよびイントラコード化ブロックの両方の残差コーディングに使用される複数変換選択（ＭＴＳ）スキームを追加する。新しく導入された変換行列は、ＤＳＴ－７およびＤＣＴ－８である。ＭＴＳスキームを制御するために、ＳＰＳレベルでイントラおよびインターにそれぞれ別個の有効化フラグが指定される。ＭＴＳがＳＰＳレベルで有効化されている場合、ＣＵレベルのＭＴＳインデックスは、ＤＣＴ－２、ＤＳＴ－７、ＤＣＴ－８のうち、ＣＵに使用される分離可能な変換のペアを示すために信号伝達される。ＭＴＳはルマにのみ適用される。ＣＵレベルのＭＴＳインデックスは、幅および高さの両方が３２以下で、ＣＢＦフラグが１に等しいという条件を満たした場合に信号伝達される。
【0043】
大きなサイズのＤＳＴ－７およびＤＣＴ－８の複雑さを軽減するために、サイズ（幅もしくは高さ、または幅および高さの両方）が３２に等しいＤＳＴ－７ブロックおよびＤＣＴ－８ブロックの高周波変換係数はゼロになる。１６ｘ１６の低周波数リージョン内の係数のみが保持される。
【0044】
変換スキップのブロックサイズの制限は、ブロックの幅および高さの両方が３２以下の場合に変換スキップがＣＵに適用可能であるとするＭＴＳの制限と同じである。
【0045】
ｃｕ＿ｃｂｆが１に等しいインター予測されたＣＵの場合、残差ブロック全体または残差ブロックのサブ部分が復号化されているかどうかを示すために、ｃｕ＿ｓｂｔ＿ｆｌａｇが信号伝達される場合がある。前者の場合、インターＭＴＳ情報がさらに解析され、ＣＵの変換タイプが判定される。後者の場合、残差ブロックの一部が推定適応変換でコード化され、残差ブロックの他の部分はゼロになる。
【0046】
図４は、各ＳＢＴ位置の水平変換および垂直変換を示している。サブブロック変換は、ルマ変換ブロックに適用される位置依存変換である。ＳＢＴ－Ｈ（水平）およびＳＢＴ－Ｖ（垂直）の２つの位置は、相異なるコア変換に関連付けられる。より具体的には、各ＳＢＴ位置の水平変換および垂直変換が図４に示される。例えば、ＳＢＴ－Ｖ位置０の水平変換および垂直変換は、それぞれＤＣＴ－８およびＤＳＴ－７である。残差ＴＵの片側が３２より大きい場合、対応する変換はＤＣＴ－２として設定される。したがって、サブブロック変換は、残差ブロックのＴＵタイリング、ｃｂｆ、ならびに水平変換および垂直変換を共同で指定し、これは、ブロックの主要な残差がブロックの片側にある場合の構文ショートカットとみなすことができる。
【0047】
ＶＴＭ４では、クロマスケーリングによるルママッピング（ＬＭＣＳ）と呼ばれるコーディングツールが、ループフィルタの前に新しい処理ブロックとして追加された。ＬＭＣＳは２つの主成分がある。１）適応区分的線形モデルに基づくルマ成分のループ内マッピング、２）クロマ成分については、ルマに依存するクロマ残差スケーリングが適用される。
【0048】
図５は、デコーダの観点からのＬＭＣＳアーキテクチャを示している。図５の薄い灰色のブロックは、マップされたドメインのどこに処理が適用されているかを示している。これらには、逆量子化、逆方向変換、ルマイントラ予測、およびルマ残差とルマ予測の加算が含まれる。図５の影のないブロックは、元の（すなわち、マップされていない）ドメインのどこに処理が適用されているかを示している。これらには、デブロッキング、ＡＬＦ、およびＳＡＯなどのループフィルタ、動き補償予測、クロマイントラ予測、クロマ残差とクロマ予測の加算、ならびに復号化されたピクチャの参照ピクチャとしての記憶が含まれる。図５の濃い灰色のブロックは、新しいＬＭＣＳ機能ブロックであり、ルマ信号の順方向マッピングおよび逆方向マッピング、ならびにルマに依存するクロマスケーリングプロセスを含む。ＶＶＣの他のほとんどのツールと同様に、ＬＭＣＳは、ＳＰＳフラグを使用してシーケンスレベルで有効化／無効化できる。
【0049】
非分離可能二次変換（ＮＳＳＴ）または縮小二次変換（ＲＳＴ）とも呼ばれる二次変換は、（エンコーダでの）順方向一次変換と量子化の間、および（デコーダ側の）非量子化と逆方向一次変換の間に適用される。
【0050】
図６は、二次変換の適用を示している。ＪＥＭでは、８ｘ８ブロックごとに、４ｘ４の二次変換が小さなブロック（すなわち、ｍｉｎ（ｗｉｄｔｈ，ｈｅｉｇｈｔ）＜８）に適用され、８ｘ８の二次変換が大きなブロック（すなわち、ｍｉｎ（ｗｉｄｔｈ，ｈｅｉｇｈｔ）＞４）に適用される。
【0051】
非分離可能変換の適用は、例として入力を使用して次のように説明される。４ｘ４入力ブロックは、次の行列として表される。
非分離可能変換を適用するために、この４ｘ４入力ブロックＸは最初にベクトルＸとして次のように表される。
【数1】
【数2】
【0052】
非分離可能変換はＦ＝Ｔ・Ｘとして計算され、ここでＦは変換係数ベクトルを示し、Ｔは１６ｘ１６変換行列である。１６ｘ１係数ベクトルＦはその後、そのブロックのスキャン順序（水平、垂直、または斜め）で４ｘ４ブロックとして再編成される。インデックスが小さい係数は、４ｘ４係数ブロックにおいて小さなスキャンインデックスで配置される。合計３５の変換セットがあり、変換セットごとに３つの非分離可能変換行列（カーネル）が使用される。イントラ予測モードから変換セットへのマッピングは事前定義される。各変換セットにつき、選択された非分離可能二次変換候補は、明示的に信号伝達された二次変換インデックスによってさらに指定される。インデックスは、変換係数の後でイントラＣＵごとに１回ビットストリームにおいて信号伝達される。
【0053】
図７は、縮小二次変換（ＲＳＴ）を示している。この手法では、８ｘ８ブロックおよび４ｘ４ブロックにそれぞれ１６ｘ４８および１６ｘ１６の行列が使用される。表記上の便宜のために、１６ｘ４８変換はＲＳＴ８ｘ８として示され、１６ｘ１６変換はＲＳＴ４ｘ４として示されている。縮小変換（ＲＴ）の主なアイデアは、Ｎ次元ベクトルを別の空間のＲ次元ベクトルにマッピングすることであり、ここで、Ｒ／Ｎ（Ｒ＜Ｎ）は縮小係数である。
【0054】
図８は、順方向縮小変換および逆方向縮小変換を示している。ＲＴ行列は、次のようなＲ×Ｎ行列である。
ここで、変換のＲ行はＮ次元空間のＲ個の基底である。ＲＴの逆方向変換行列は、その順方向変換の転置である。
【数3】
【0055】
図９は、１６ｘ４８行列を用いた順方向ＲＳＴ８ｘ８プロセスの例を示している。採用された構成では、同じ変換セット構成の１６ｘ６４の代わりに１６ｘ４８行列が適用され、それぞれが左上の８ｘ８ブロックにおいて右下の４ｘ４ブロックを除く３つの４ｘ４ブロックから４８の入力データを取得している（図４）。次元を低減することで、すべてのＲＳＴ行列を記憶するためのメモリ使用量が１０ＫＢから８ＫＢに低減され、適度なパフォーマンス低下がもたらされた。
【0056】
さらに、ＶＴＭ５では、クロミナンス残差の結合コーディングと呼ばれるコーディングツールが採用されている。このツールをアクティブ化すると、式１に示すように、単一の結合残差ブロックを使用して、同じ変換ユニット内のＣｂブロックおよびＣｒブロックの両方の残差が記述される。
ｒｅｓｊｏｉｎｔ＝（ｒｅｓＣｂ－ｒｅｓＣｒ）／２
式１：Ｃｂ残差およびＣｒ残差から計算された結合残差
ｒｅｓｊｏｉｎｔ＝（ｒｅｓＣｂ－ｒｅｓＣｒ）／２
式１：Ｃｂ残差およびＣｒ残差から計算された結合残差
【0057】
次に、式２に示すように、Ｃｂ信号およびＣｒ信号は、Ｃｂについては結合残差を減算し、Ｃｒについては結合残差を加算することにより、再構築される。
【数4】
【0058】
フラグはＴＵレベルでコード化され、クロマ残差の結合コーディングを有効化し、フラグが無効化されている場合は、Ｃｂ残差およびＣｒ残差の別個のコーディングが使用される。
【0059】
以下に説明する実施形態は、前述のことを念頭に置いて設計されている。図１Ａのエンコーダ１００、図１Ｂのデコーダ２００、および図２のシステム１０００は、以下に説明する実施形態のうちの少なくとも１つを実装するように適応されている。
【0060】
少なくとも１つの実施形態において、本出願は、複数のコーディングツールを含むビデオコーディングシステムにおけるロスレスコーディングモードを対象とし、複数のコーディングツールのうちの一部は設計上ロッシーであり、一部はロスレスまたはニアロスレスになるように適応され得る。例えばＶＶＣなどのビデオコーディングシステムにおいてロスレスモードを有効化するために、次の戦略が提案される。
－設計上ロッシーであるツールを無効化してロスレスツールのみを使用する。
－一部のツールをロスレスコーディングを有効化するように適応させる。
－一部のツールを（元の信号との差が制限され、小さい）ニアロスレスコーディングを有効化するように適応させ、したがって、残差コーディングの後に二次ロスレスコーディングが適用され得るようにし、それによってロスレスコーディングを提供する。
－設計上ロッシーであるツールを無効化してロスレスツールのみを使用する。
－一部のツールをロスレスコーディングを有効化するように適応させる。
－一部のツールを（元の信号との差が制限され、小さい）ニアロスレスコーディングを有効化するように適応させ、したがって、残差コーディングの後に二次ロスレスコーディングが適用され得るようにし、それによってロスレスコーディングを提供する。
【0061】
ロスレスコーディングは、フレームレベルまたはリージョンレベルの両方で処理できる。
【0062】
図１０Ａおよび図１０Ｂは、少なくとも一実施形態による例示的なフローチャートを示している。これらの図は、特定のツールをフレームレベル、ブロックレベルで無効化するべきか、ロスレスに適応するべきか、または二次ロスレスコーディングを実行して、ほぼロスレスに適応されたこのツールを使用するべきかを決定する一般的なプロセスの例を示している。このようなプロセスは、例えば、図１Ａのエンコーダデバイス１００に実装することができる。
【0063】
最初のステップ（図１０Ａの４００）では、ツールが設計上ロッシーであるかどうかが評価される。
・ツールがロッシーである場合、２番目のチェック（図１０Ｂの４０２）によって、ツールをブロックレベルで無効化できるかどうかがテストされる（この場合、フレームレベルでのみ制御され得る）。
ｏツールをブロックレベルで無効化できない場合、（通常はＰＰＳレベルで信号伝達される）フラグｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が図１０Ｂのステップ４０４においてチェックされる。ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが真の場合、ツールは図１０Ｂのステップ４１０において無効化される（これは、例えばＬＭＣＳに適用される）。ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが偽の場合、ツールは図１０Ｂのステップ４１１において有効化される。ステップ４１０または４１１のいずれかが適用されると、プロセスは終了する。
ｏツールをブロックレベルで無効化することができる場合は、図１０Ｂのステップ４０５においてＣＵレベルのフラグｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇの値がチェックされる。ｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇが真の場合、ツールは図１０Ｂのステップ４０８においてＣＵレベルで無効化される（これは、例えばＳＢＴ、ＭＴＳ、ＬＦＮＴＳに適用される）。ｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇが偽の場合、ツールは図１０Ｂのステップ４０９においてＣＵレベルで有効化され得る。ステップ４０８または４０９のいずれかが適用されると、プロセスは終了する。
・ツールが設計上ロッシーでない場合、図１０Ａのステップ４０１においてテストが実施され、ロスレスであるかどうかがチェックされる。
ｏツールがロスレスである場合、特別なことは何も適用されず、フローはプロセスの最後に進む。
ｏツールがロスレスでない場合、ツールがニアロスレスであるかどうかが図１０Ａのステップ４０３においてチェックされる。
■ツールがニアロスレスでない場合、設計上ロッシーでもないので、これは、ツールがロスレスになるように適応され得ることを意味する（図１０Ａのステップ４０６）。これは、例えば、ＭＴＳ変換セットにおいてロスレス変換のみを使用するＭＴＳに適用され得る。
■ツールがニアロスレスである場合、追加の（二次）ロスレスコーディングステップが適用される（図１０Ａのステップ４０７）。例えば、量子化なしのロスレス変換が適用され得る。
ｏステップ３０６または３０７のいずれかが適用されると、プロセスは終了する。
・ツールがロッシーである場合、２番目のチェック（図１０Ｂの４０２）によって、ツールをブロックレベルで無効化できるかどうかがテストされる（この場合、フレームレベルでのみ制御され得る）。
ｏツールをブロックレベルで無効化できない場合、（通常はＰＰＳレベルで信号伝達される）フラグｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が図１０Ｂのステップ４０４においてチェックされる。ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが真の場合、ツールは図１０Ｂのステップ４１０において無効化される（これは、例えばＬＭＣＳに適用される）。ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが偽の場合、ツールは図１０Ｂのステップ４１１において有効化される。ステップ４１０または４１１のいずれかが適用されると、プロセスは終了する。
ｏツールをブロックレベルで無効化することができる場合は、図１０Ｂのステップ４０５においてＣＵレベルのフラグｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇの値がチェックされる。ｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇが真の場合、ツールは図１０Ｂのステップ４０８においてＣＵレベルで無効化される（これは、例えばＳＢＴ、ＭＴＳ、ＬＦＮＴＳに適用される）。ｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇが偽の場合、ツールは図１０Ｂのステップ４０９においてＣＵレベルで有効化され得る。ステップ４０８または４０９のいずれかが適用されると、プロセスは終了する。
・ツールが設計上ロッシーでない場合、図１０Ａのステップ４０１においてテストが実施され、ロスレスであるかどうかがチェックされる。
ｏツールがロスレスである場合、特別なことは何も適用されず、フローはプロセスの最後に進む。
ｏツールがロスレスでない場合、ツールがニアロスレスであるかどうかが図１０Ａのステップ４０３においてチェックされる。
■ツールがニアロスレスでない場合、設計上ロッシーでもないので、これは、ツールがロスレスになるように適応され得ることを意味する（図１０Ａのステップ４０６）。これは、例えば、ＭＴＳ変換セットにおいてロスレス変換のみを使用するＭＴＳに適用され得る。
■ツールがニアロスレスである場合、追加の（二次）ロスレスコーディングステップが適用される（図１０Ａのステップ４０７）。例えば、量子化なしのロスレス変換が適用され得る。
ｏステップ３０６または３０７のいずれかが適用されると、プロセスは終了する。
【0064】
本開示の以下では、ＶＶＣ仕様の特定のツールへのこのプロセスの適用について説明する。
【0065】
ロスレスコーディングと互換性のないツールの無効化
この第１の場合は、図１０Ａのステップ４１０（ピクチャレベル）および４０８（ＣＵレベル）に対応する。第１の要素は、大きなＣＵに伴うゼロアウト変換に関連する。一実施形態において、ロスレスコード化ＣＵの場合、または変換スキップが使用される場合、ゼロアウト変換は使用できない。これは、表４の構文仕様に示されている。この仕様では、現在のＶＶＣ構文と比較して提案された変更が斜体で強調表示されている。ブロックがｍａｘ＿ａｃｔｕａｌ＿ｔｒａｎｓｆ＿ｓｉｚｅ ｘ ｍａｘ＿ａｃｔｕａｌ＿ｔｒａｎｓｆ＿ｓｉｚｅ（現在のＶＶＣバージョンでは実際には３２ｘ３２）より大きく、ロスレスコード化されている場合、係数の一部のみがコード化されるロッシーコード化ブロックの場合とは逆に、すべての係数がコード化される。
この第１の場合は、図１０Ａのステップ４１０（ピクチャレベル）および４０８（ＣＵレベル）に対応する。第１の要素は、大きなＣＵに伴うゼロアウト変換に関連する。一実施形態において、ロスレスコード化ＣＵの場合、または変換スキップが使用される場合、ゼロアウト変換は使用できない。これは、表４の構文仕様に示されている。この仕様では、現在のＶＶＣ構文と比較して提案された変更が斜体で強調表示されている。ブロックがｍａｘ＿ａｃｔｕａｌ＿ｔｒａｎｓｆ＿ｓｉｚｅ ｘ ｍａｘ＿ａｃｔｕａｌ＿ｔｒａｎｓｆ＿ｓｉｚｅ（現在のＶＶＣバージョンでは実際には３２ｘ３２）より大きく、ロスレスコード化されている場合、係数の一部のみがコード化されるロッシーコード化ブロックの場合とは逆に、すべての係数がコード化される。
【0066】
実際には、現在のＶＶＣ仕様と比較して、変換サイズの制限が適用されるのは、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇが偽で、ｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇが偽のみである。
【表4】
【0067】
変形例では、ピクチャレベルのｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが有効化されていて、ブロックがｍａｘ＿ａｃｔｕａｌ＿ｔｒａｎｓｆ＿ｓｉｚｅ ｘ ｍａｘ＿ａｃｔｕａｌ＿ｔｒａｎｓｆ＿ｓｉｚｅ（例えば、現在のＶＶＣでは３２ｘ３２）より大きい場合、四分木分割が推定または強制される。言い換えると、ロスレスコーディングが所望される場合、６４ｘ６４を超えるブロックは体系的に分割され、その結果ブロックサイズは３２ｘ３２になり、ゼロ化の対象にならない。表５に、変更された構文を示す。
【表5】
【0068】
別の変形例では、ｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇは、現在のＣＵがｍａｘ＿ａｃｔｕａｌ＿ｔｒａｎｓｆ＿ｓｉｚｅ ｘ ｍａｘ＿ａｃｔｕａｌ＿ｔｒａｎｓｆ＿ｓｉｚｅ（例えば、現在のＶＶＣでは３２ｘ３２）以下の場合にのみコード化される。これは、大きなブロックをロスレスコード化できないことを意味する。表６に、関連する構文を示す。
【表6】
【0069】
第２の要素は、サブブロック変換（ＳＢＴ）に関連する。ＳＢＴは、変換ユニットの１つに残差がないと推定される変換木細分を使用するため、このツールは、ロスなしでＣＵを再構築することを保証できない。一実施形態において、ロスレスモードがアクティブ化されると（すなわち、ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが真の場合）、ＳＢＴはＣＵレベルで無効化される。対応する構文の変更を表７に示す。ＳＢＴ関連の構文の復号化およびＳＢＴのアクティブ化は、ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが偽の場合にのみ可能である。
【表7】
【0070】
別の実装では、ＳＢＴはＴＵタイリングとしてのみ使用できる。この実施形態において、残差は各サブブロックに対してコード化され得るが、初期設計では、いくつかのブロックは値０の係数を有するように強制される。水平変換および垂直変換は、変換スキップとして推定される。対応する構文の変更を表８に示す。
【表8】
【0071】
図１１は、ルマ再形成のための順関数および逆関数の順次適用を示している。実際に、第３の要素は、ルマ再形成（ＬＭＣＳ）に関連する。丸め動作に起因して、順関数および逆関数を順次適用しても元の信号が得られるとは限らないため、再形成はロッシー変換である。ＬＭＣＳでは、参照ピクチャは元のドメインに記憶される。イントラケースでは、予測プロセスは「再形成された」ドメインで達成され、サンプルが再構築されると、ループフィルタリングステップの直前に逆再形成が適用される。インターケースでは、動き補償の後、予測された信号は前方に再形成される。次に、サンプルが再構築されると、ループフィルタリングステップの直前に逆再形成が適用される。
【0072】
一実施形態において、ＰＰＳでロスレスコーディングが許可されている場合、ＬＭＣＳはスライスレベルで無効化される。対応する構文の変更を表９に示す。
【表9】
【0073】
第４の要素は、複数変換選択（ＭＴＳ）および変換スキップに関連し、一実施形態は、変換スキップを真に推定することに関連する。ＤＣＴ変換およびＤＳＴ変換は、量子化ステップが１に等しい場合でも、丸め誤差がわずかなロスにつながるため、ロッシーである。第１の実施形態において、ＣＵがロスレスコード化されている場合（ＣＵレベルフラグのｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇの値によってチェックされる）、変換スキップのみを使用することができる。ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇは１と推定され、ｔｕ＿ｍｔｓ＿ｉｄｘはコード化されない。対応する構文の変更を表１０に示す。ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇが１と推定される場合、ロスレスブロックには変換スキップの残差コーディングが使用される。
【表10】
【0074】
ＶＴＭ－５．０では、２つの異なる残差コーディングプロセスを使用でき、１つ目のものは非変換スキップ残差コーディングに使用され、自然コンテンツブロックの残差のコード化に効率的であり、２つ目のものは変換スキップ残差コーディングに使用され、画面コンテンツブロックのコード化に効率的である。残差コーディング構文の選択を表１１に示す。
【表11】
【0075】
図１２は、ロスレスコード化ブロックに対して変換スキップが真と推定される場合の、ｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇ、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇの解析、および残差コーディングを含む一実施形態の例示的なフローチャートを示している。第１のステップ８００において、ｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇが解析され、フラグが真である場合、ステップ８０１でｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇが真であると推定され、そうでない場合、ステップ８０２でｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇが解析される。ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇが偽に等しい場合、通常の残差はステップ８０３において解析される。そうでない場合、フラグが真の場合、変換スキップ残差はステップ８０４で解析される。
【0076】
図１３は、ロスレスコード化ブロックに対して変換スキップが偽であると推定される場合の、ｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇ、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇの解析、および残差コーディングを含む一実施形態の例示的なフローチャートを示している。第１のステップ９００において、ｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇが解析され、フラグが真である場合、ステップ９０１でｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇが偽であると推定されてステップ９０４で通常の残差コーディングが使用され、そうでない場合、ステップ９０２でｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇが解析される。ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇが偽に等しい場合、通常の残差はステップ９０４において解析される。そうでない場合、フラグが真の場合、変換スキップ残差はステップ９０３で解析される。
【0077】
変換スキップの残差コーディングは、画面コンテンツコード化ブロックから残差をコード化するための設計であるため、ロスレスブロックの自然コンテンツをコード化する場合は効率が低下する可能性がある。したがって、別の実施形態において、ＣＵがロスレスコード化されている場合、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇは０と推定され、ｔｕ＿ｍｔｓ＿ｉｄｘはコード化されない。通常の変換の残差コーディングは、ロスレスコード化ブロックに使用される。したがって、この特別なモード（すなわち、ｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇが真の場合）では、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇが真の場合でも通常のコーディングが使用されるが、通常、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇが真の場合は変換スキップ残差コーディングを使用する必要がある。
【0078】
言い換えれば、図１３に記載されたこの実施形態は、変換スキップ残差コーディングが使用されることが情報によって示される場合に、特別なモードを表すフラグを取得することによって、また、このフラグが真である場合に、使用するべき変換スキップ残差コーディングの代わりに残差コーディングに通常の残差コーディングを選択することによって、残差コーディングのタイプを判定するように提案する。特別なモードを表すフラグは、他の情報、例えば、コーディングがロスレスであることを示すもの（例えば、ｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇ）、量子化、変換プロセス、およびループフィルタがバイパスされる（使用されない）ことを示すもの、または残差コーディングが通常の残差コーディングに強制されることを示すものなどから導出され得る。
【0079】
図１４は、ロスレスコード化ブロックに対して変換スキップが常に解析される場合の、ｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇ、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇの解析、および残差コーディングを含む一実施形態の例示的なフローチャートを示している。
【0080】
このような実施形態において、ロスレスコード化ブロックの設計をロッシーコード化ブロックに近づけるために、通常の残差コーディングおよび変換スキップコーディングの両方を使用することができる。この場合、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇはロスレスコード化ブロック用にコード化される。これにより、残差係数をコード化する２つの異なる方法の間での競合が可能になり、残差コーディングをコンテンツにより適切に適応させることができる。
【0081】
第１のステップ１４００においてｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇが解析され、次に、ステップ１４０１においてｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇが解析される。ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇが偽に等しい場合、通常の残差はステップ１４０３において解析される。そうでない場合、フラグが真の場合、変換スキップ残差はステップ１４０２において解析される。
【0082】
実際に、変換スキップ残差コーディング方法は、空間的に隣接する係数の値間の相関が強いコンピュータ生成コンテンツをコード化するために最適化される。一般に、ロッシーコーディングでは、変換スキップ係数コーディングは、コンテンツがコンピュータで生成される場合に主に使用され、この種のコンテンツで有効である。
【0083】
しかし、この実施形態において、フラグを使用して、通常の係数コーディング方法を選択するか、変換スキップ係数コーディング方法を選択するかを選択することが提案される。実際、変換スキップ係数コーディングは、コンピュータで生成されたコンテンツに使用でき、通常の係数コーディング方法は、通常のコンテンツに使用できる。これにより、残差係数をコード化する２つの異なる方法の間での競合が可能になり、残差コーディング方法をコンテンツにより適切に適応させることができる。このフラグは、ブロックの残差をコード化するために使用される係数コーディング方法のみを変更する。
【0084】
ＶＶＣでは、残差をコード化するために２つの方法が使用される。
－変換および量子化が使用される場合は、通常の係数コーディング方法が使用される。この方法はＨＥＶＣから継承され、さらにいくつかの改良が加えられたもので、信号の低周波数部分においてエネルギーが圧縮される変換の後に残差をコード化するように設計されている。
－量子化のみが使用される場合は、変換スキップ係数コーディング方法が使用される。この方法は、係数間に多くの空間相関があるため変換がスキップされることの多いコンピュータ生成コンテンツ用に設計されている。変換スキップ残差コーディング方法の主な特徴は、最後の非ゼロ係数を信号伝達しないこと、ブロックの左上から始まること、現在の係数のコード化に以前の係数の縮小テンプレートを使用すること、係数の符号がＣａｂａｃコンテキストコード化であることである。
－変換および量子化が使用される場合は、通常の係数コーディング方法が使用される。この方法はＨＥＶＣから継承され、さらにいくつかの改良が加えられたもので、信号の低周波数部分においてエネルギーが圧縮される変換の後に残差をコード化するように設計されている。
－量子化のみが使用される場合は、変換スキップ係数コーディング方法が使用される。この方法は、係数間に多くの空間相関があるため変換がスキップされることの多いコンピュータ生成コンテンツ用に設計されている。変換スキップ残差コーディング方法の主な特徴は、最後の非ゼロ係数を信号伝達しないこと、ブロックの左上から始まること、現在の係数のコード化に以前の係数の縮小テンプレートを使用すること、係数の符号がＣａｂａｃコンテキストコード化であることである。
【0085】
図１２、１３および１４は、現在のＶＶＣ仕様とは異なり、残差コーディング方法が、変換がスキップされたかどうかの事実から切り離され得ることを示している。実際に、現在のＶＶＣ仕様では、真に等しいｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ構文要素は、ブロックの残差に変換が適用されず、変換スキップ係数コーディング方法が使用されることを意味する。提案された方法では、現在のブロックがロスレスコード化されている（変換および量子化がスキップされる）場合、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇを偽と推定することにより、通常の係数コーディング方法が使用され、自然コンテンツをコード化する場合により良い係数コーディング方法が使用される。変形例では、ｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇが真（この場合、変換および量子化はスキップされる）であっても、フラグ（ここではｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇがこの目的で再利用される）がコード化され、どの残差コーディング方法が使用されるかのみが示される。
【0086】
一実施形態は、低周波非分離可能変換（ＬＦＮＴＳ）に関連している。この実施形態において、現在のＣＵがロスレスコード化されている場合、ＬＦＮＴＳは無効化される。対応する構文の変更を表１２に示す。
【表12】
【0087】
一実施形態は、結合Ｃｂ－Ｃｒコーディングに関連している。Ｃｂ残差およびＣｒ残差の結合コーディングのプロセスは可逆的ではない。ｒｅｓＣｂ＝ｒｅｓＣｒを伴う式１および式２を使用すると、ｒｅｓｊｏｉｎｔ＝０、ｒｅｃＣｂ＝ｐｒｅｄＣｂ、ｒｅｃＣｒ＝ｐｒｅｄＣｒになる。一実施形態において、ｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇが真である場合、結合Ｃｂ－ＣｒコーディングはＣＵレベルで無効化される。対応する構文の変更を表１３に示す。
【表13】
【0088】
式１でｒｅｓｊｏｉｎｔ＿Ｃｂとｒｅｓ Ｊｏｉｎｔ＿Ｃｒとを分離すると式３のようになる。
【数5】
【0089】
この提案された変更により、式４に示すように、プロセスは可逆的だが、丸め誤差のためにロッシーである。
【数6】
【0090】
この変形例は、本明細書に後述される二次ロスレスコーディングプロセスを実施する際のロスレスコーディングに利用することができる。
【0091】
ロスレスコーディングのためのＶＶＣツールの適応
図１０Ａを参照すると、この場合はステップ４０６に対応する。
図１０Ａを参照すると、この場合はステップ４０６に対応する。
【0092】
一実施形態において、ロスレス変換がＭＴＳ変換セットに追加される。ロスレスコーディングの場合、これらの変換を選択する必要がある。ロスレス変換の例は、正規化されていないウォルシュ－アダマール変換、正規化されていないハール変換である。ニアロスレス変換の例は、正規化されたウォルシュ－アダマール変換、正規化されたハール変換である。
【0093】
ロスレス変換は、ウォルシュ－アダマール変換またはハール変換のいずれかによって取得され得る。ウォルシュ－アダマールおよびハールの非正規化変換は、式５および式６に示すように、±１およびゼロから構成される。例えば、非正規化４ｘ４ウォルシュ－アダマール行列は次のとおりである。
非正規化４ｘ４ハール行列は次のとおりである。
ロスレス再構築は、ウォルシュ－アダマール変換またはハール変換のいずれかを使用して実現され得る。これを説明するために、残差サンプル（ｒ０およびｒ１）を取得する２ｘ２変換の例を考える。ハールおよびウォルシュ－アダマールの両方の変換行列は次のとおりである。
変換係数（ｃ０およびｃ１）は、以下により取得される。
逆方向変換は次のように実施される。
４ｘ４ウォルシュ－アダマール変換の別の例では、４つの残差サンプル（ｒ０、ｒ１、ｒ２、ｒ３）を変換するために、行列に係数ベクトルを乗じて、変換係数ｃ０、ｃ１、ｃ２、およびｃ３を取得する。
逆方向変換は次のように実施される
最後に、ハール変換を使用して４つの残差サンプルを変換するために、以下が使用される。
逆方向変換は次のように実施される
【数7】
【数8】
【数9】
【数10】
【数11】
【数12】
【数13】
【数14】
【数15】
【0094】
非正規化ハール変換または非正規化ウォルシュ－アダマール変換では、係数のダイナミクスが増加するため、ビットレートが増加する場合がある。例えば、４ｘ４の非正規化ウォルシュ－アダマール行列を使用する場合、係数エネルギーは残差サンプルのエネルギーの最大２倍になる可能性がある。したがって、正規化行列は、非正規化行列を２で除算することによって実現される。しかしながら、そうすると整数表現の損失につながる。「正規化された」ウォルシュ－アダマール変換を使用して４つの残差サンプルを変換する場合の同じ例を考える。
変換係数には整数表現が使用されるため、丸めにより＋－１／２の誤差が発生する。したがって、２で除算した後にリマインダをコード化するには、追加のコーディングステップが必要である。これは、次の方法で行うことができる。
まず、各係数の除算のリマインダを次のように計算する。
リマインダ（ｒｅｍ＿ｃ０、ｒｅｍ＿ｃ１、ｒｅｍ＿ｃ２、およびｒｅｍ＿ｃ３）は、（－１、０、または１）の値を取ることができる。
【数16】
まず、各係数の除算のリマインダを次のように計算する。
【数17】
【0095】
その後、リマインダはビットストリームにコード化される。最初に、リマインダがゼロでないかどうかを示す有意なリマインダビットを符号化し、次に、有意である場合は、リマインダの符号を符号化する（０は負、１は正）。構文を表１５に示す。差分パルス符号変調（ＤＰＣＭ）を使用して、リマインダ間の相関関係を利用することもできる。リマインダが復号化されると、デコーダは次のように逆方向変換を計算できる。
【数18】
【0096】
この手法は他の変換サイズに使用できるが、正規化が常に達成できるとは限らない。例えば、サイズ２ｘ２のウォルシュ－アダマール変換行列では、正規化のために２の平方根で除算する必要があるが、リマインダ部分が単純に＋－０．５ではないので、常に損失が生じる。しかしながら、４ｘ４の場合のように２で除算すると、変換係数のダイナミクスの増加が低減するので有益である。
【0097】
この手法はハール変換にも適用できるが、ハール変換行列のノルムが不均一であるため、この手法では正規化変換はもたらされない。例示のために、４ｘ４ハール変換について説明する。
リマインダは次のように計算される。
リマインダが（０、－１、および１）の値を取る場合。デコーダ側では、復号化されたリマインダは次のように逆方向変換プロセスで使用される。
ハール、ウォルシュ－アダマール、および無変換のツールを用いて、複数の方法により残差データをロスレスで変換することができる。二次元残差信号の水平変換および垂直変換に対して、合計で９つの選択肢がある。次の表に、それらの詳細を示す。
【数19】
【数20】
【数21】
【表14】
【0098】
これらの変換を利用する簡単な方法は、レートを低減する最適な変換ペアをエンコーダに選択させ、デコーダが使用されたペアを推測して逆方向変換を実施することができるように、使用されたペアのインデックスを符号化することである。
【0099】
ＶＴＭでは、現在の変換ペアは、水平変換および垂直変換のためのコアＤＣＴ２変換、または複数変換選択（ＭＴＳ）として知られるＤＳＴ７変換およびＤＣＴ８変換の追加セットのいずれかである。ＭＴＳは、高レベルフラグによってオン／オフを切り替えることができる。この設計に合わせるために、デフォルトのロスレス変換は水平方向および垂直方向の両方で無変換であり、「複数変換」はウォルシュ－アダマール変換およびハール変換である。これらは、高レベルのフラグ「Ｌｏｓｓｌｅｓｓ＿ＭＴＳ＿Ｆｌａｇ」によって制御することもできる。したがって、変換選択の表は次のように変更できる。
【表15】
【0100】
通常、２つの非正規化変換は、小さい次元の残差によく適応する。例えば、最大８ｘ８または４ｘ４のサイズまで使用され得る。
【0101】
二次ロスレスコーディングによるブロックレベル
図１０Ａを参照すると、この場合はステップ４０７に対応する。
図１０Ａを参照すると、この場合はステップ４０７に対応する。
【0102】
ＣＵがロッシーコード化されているが、誤差が所定のしきい値を下回っている場合、通常、式２０に示すように、誤差の絶対値が１以下の場合、ロスレスコーディングを可能にする追加のコーディング段階が導入され得る。誤差は、元のピクセルと再構築されたサンプルとの差として測定される。
式２０：二次ロスレスコーディングが適用され得るロッシーコーディングユニットの境界誤差
－１≦誤差≦１
式２０：二次ロスレスコーディングが適用され得るロッシーコーディングユニットの境界誤差
－１≦誤差≦１
【0103】
例えば、ＤＣＴ変換またはＤＳＴ変換が１に等しい量子化ステップで使用される場合、ロッシーコーディングの後に二次ロスレスコーディングが適用され得る。
【0104】
図１５は、二次ロスレスコーディングの簡略化されたブロック図の例を示している。プロセスの入力はビットストリームである。データは、ステップ７００においてビットストリームから復号化される。具体的には、これは量子化され変換された係数、変換タイプ、および新しく導入された二次係数をもたらす。逆量子化は、ステップ７０１において、量子化された変換された係数に適用される。逆方向変換は、ステップ７０２において、結果として生じる変換された係数に適用される。結果として生じる残差は、ステップ７０３において、ステップ７０４のイントラ予測またはインター予測から来る予測信号に加算される。結果は再構築されたブロックである。ステップ７１０においてＩ＿ＰＣＭモードが選択された場合、サンプル値はエントロピー復号化なしで直接復号化される。ロスレスコーディングモードが選択されている場合、ステップ７０１および７０２はスキップされる。変換スキップモードが選択されている場合、ステップ７０２はスキップされる。二次変換モードを伴うブロックレベルが選択されると、ステップ７０１はスキップされ、ステップ７２０において逆方向変換が適用されて第１の残差が得られ、二次ロスレス残差が第１の残差に加算される。次に、結果として生じる残差の合計が、ステップ７０３において、予測された信号に加算される。
【0105】
誤差は所定のしきい値を下回っているため、この小さな残差をコード化する構文は非常に単純であり、基本的に、しきい値が１の場合、二次残差をコード化するために有意なフラグおよび符号フラグのみが必要になり得、構文は表１６に示される。
【表16】
【0106】
この二次ロスレスコーディングは、ブロックごとではなくリージョンごとに適用することもできる。
【0107】
リージョンレベルの信号伝達
ロスレスコーディングの使用事例では、リージョン全体がロスレスでコード化される可能性が非常に高く、一部のロスレスコード化ブロックがロッシーコード化ブロックと混同される可能性は低い。このような場合に対処するには、実際の構文でＣＵごとにｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇをコード化する必要があるが、これにはコストがかかる可能性がある。
ロスレスコーディングの使用事例では、リージョン全体がロスレスでコード化される可能性が非常に高く、一部のロスレスコード化ブロックがロッシーコード化ブロックと混同される可能性は低い。このような場合に対処するには、実際の構文でＣＵごとにｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇをコード化する必要があるが、これにはコストがかかる可能性がある。
【0108】
第１の実施形態において、フラグを移動し、ｓｐｌｉｔ＿ｃｕ＿ｆｌａｇの前にコード化して、親ＣＵのすべての子ＣＵがｒｅｇｉｏｎ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇを共有できるようにすることを提案する。関連する構文を表１７に示す。
【表17】
【0109】
図１６は、リージョンレベルの信号伝達が使用される場合のｒｅｇｉｏｎ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇおよびｓｐｌｉｔ＿ｃｕ＿ｆｌａｇの解析プロセスの例示的なフローチャートを示している。コーディングツリーユニットの構文を解析する場合、第１のステップ（５００）は、２つの変数、すなわち、ロスレスコーディングを示すフラグが現在のリージョンに対してすでにコード化されているかどうかを示すｉｓＲｅｇｉｏｎＴｒａｎｓｑｕａｎｔＣｏｄｅｄと、現在のリージョンがロスレスコード化されているかどうかを示すｉｓＲｅｇｉｏｎＴｒａｎｓｑｕａｎｔを偽に初期化することになる。次に、ステップ５０１は、ロスレスコーディングがピクチャレベルで有効化されており（Ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが真である）、ｒｅｇｉｏｎ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇが現在のリージョンに対してまだコード化されていない（ｉｓＲｅｇｉｏｎＴｒａｎｓｑｕａｎｔＣｏｄｅｄが偽である）かどうかをチェックする。これらの条件が真である場合、フラグｒｅｇｉｏｎ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇがステップ５０２において解析される。それ以外の場合、ステップ５０４でｓｐｌｉｔ＿ｃｕ＿ｆｌａｇが解析される。ステップ５０２の後、ステップ５０３で、ｒｅｇｉｏｎ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇが真であるかどうかがチェックされる。ｒｅｇｉｏｎ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇが真の場合、ステップ５０４において変数ｉｓＲｅｇｉｏｎＴｒａｎｓｑｕａｎｔが真に設定される。次に、ｓｐｌｉｔ＿ｃｕ＿ｆｌａｇがステップ５０４において解析される。ｓｐｌｉｔ＿ｃｕ＿ｆｌａｇが真の場合、プロセスはステップ５００に戻る。そうでない場合、ツリーは分割されなくなり、プロセスは終了する（ステップ５０５）。現在のコーディングユニットの構文が解析される場合がある。
【0110】
二分木の場合のロスレスコーディング
図１７は、二分木の場合のルマおよびクロマの相異なる区分を示している。ＶＶＣでは、二分木と呼ばれるコーディング構造により、イントラスライスに対するルマのツリーおよびクロマのツリーを別々にコード化できる。
図１７は、二分木の場合のルマおよびクロマの相異なる区分を示している。ＶＶＣでは、二分木と呼ばれるコーディング構造により、イントラスライスに対するルマのツリーおよびクロマのツリーを別々にコード化できる。
【0111】
一実施形態において、ｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇは、ツリーごとに別々に解析され、ロスレスコーディングを信号伝達するためのより高い柔軟性を可能にする。
【0112】
一変形実施形態において、ｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇはクロマツリーについてコード化されず、ルマツリーから推定される。あるクロマＣＵについて、併置されたルマＣＵの１つがロスレスコード化される場合、現在のクロマＣＵもロスレスコード化される。この図は、ルマツリーおよびクロマツリーの相異なる区分を示している。例えば、ルマＣＵ Ｌ４がロスレスコード化される場合、クロマＣＵ Ｃ３およびＣ４はロスレスコード化される。別の例では、ルマＣＵ Ｌ３がロスレスコード化される場合、併置されたルマＣＵ Ｌ２がロスレスコード化されていなくても、クロマＣＵ Ｃ２もロスレスコード化される。
【0113】
本出願では、ツール、特徴、実施形態、モデル、アプローチなどを含む様々な態様について説明する。これらの態様の多くは、特異性、また、少なくとも個々の特性を示すために説明されており、しばしば限定的に聞こえ得るように説明される。しかしながら、これは、説明を明確にするためのものであり、これらの態様の用途または範囲を限定するものではない。実際に、異なる態様のすべてを組み合わせ、かつ置き換えて、さらなる態様を提供することができる。さらに、これらの態様は、以前の出願で説明された態様と組み合わせ、かつ交換することもできる。
【0114】
本出願で説明および企図される態様は、多くの異なる形態で実装することができる。図１Ａ、図１Ｂおよび図２は、いくつかの実施形態を提供するが、他の実施形態が企図され、これらの図の説明は、実装の幅を制限するものではない。これらの態様のうちの少なくとも１つは、概して、ビデオ符号化および復号化に関し、少なくとも１つの他の態様は、概して、生成または符号化されたビットストリームを送信することに関する。これらおよび他の態様は、方法、装置、説明された方法のいずれかに従ってビデオデータを符号化または復号化するための命令を記憶したコンピュータ可読記憶媒体、および／または説明された方法のいずれかに従って生成されるビットストリームを記憶したコンピュータ可読記憶媒体として実装することができる。
【0115】
様々な方法が、本明細書に記載されており、それらの方法の各々は、説明された方法を達成するための１つ以上のステップまたは行為を含む。本方法の正しい動作のために特定の順序のステップまたは行為が必要でない限り、特定のステップおよび／または行為の順序および／または使用は、変更され得、または組み合わされ得る。
【0116】
本出願に記載されている様々な方法および他の態様を使用して、図１Ａおよび図１Ｂに示すようなモジュール、例えば、ビデオエンコーダ１００およびビデオデコーダ２００の動き補償モジュールおよび動き推定モジュール（１７０、１７５、２７５）を修正することができる。さらに、本態様は、ＶＶＣまたはＨＥＶＣに限定されず、例えば、既存かまたは将来開発されるかどうかに関わらず、他の標準規格および推奨事項、ならびに任意のそのような標準規格および推奨事項（ＶＶＣおよびＨＥＶＣを含む）の拡張版に適用することができる。特に指示されていない限り、または技術的に除外されていない限り、本出願で説明される態様は、個別にまたは組み合わせて使用することができる。
【0117】
本出願では様々な数値が使用される。特定の値は、例示的な目的のためであり、記載された態様は、これらの特定の値に限定されるものではない。
【0118】
様々な実装形態は、復号化を伴う。本出願で使用される「復号」は、例えば、受信した符号化されたシーケンスに対して実施されるプロセスのすべてまたは一部を包含して、表示に適した最終出力を生成することができる。様々な実施形態において、そのようなプロセスは、デコーダによって通常実施されるプロセスのうちの１つ以上を含む。様々な実施形態において、このようなプロセスはまた、または代替的に、本出願で説明される様々な実装形態のデコーダによって実施されるプロセスを含む。
【0119】
さらなる例として、一実施形態において、「復号化」は、エントロピー復号化のみを指し、別の実施形態において、「復号化」は、差分復号化のみを指し、別の実施形態において、「復号化」は、エントロピー復号化および差分復号化の組み合わせを指す。「復号化処理」という句が、具体的に動作のサブセットを指すことを意図しているか、または概してより広い復号化処理を指すことを意図しているかは、特定の説明の文脈に基づいて明確になり、当業者によって十分に理解されると考えられる。
【0120】
様々な実装形態は、符号化を伴う。「復号化」に関する上記の考察と同様に、本出願で使用される「符号化」は、例えば、符号化されたビットストリームを生成するために入力ビデオシーケンスで実施されるプロセスのすべてまたは一部を包含することができる。様々な実施形態において、そのようなプロセスは、エンコーダによって通常実施されるプロセスのうちの１つ以上を含む。様々な実施形態において、このようなプロセスはまた、または代替的に、本出願で説明される様々な実装形態のエンコーダによって実施されるプロセスを含む。
【0121】
さらなる例として、一実施形態において、「符号化」は、エントロピー符号化のみを指し、別の実施形態において、「符号化」は、差分符号化のみを指し、別の実施形態において、「符号化」は、差分符号化およびエントロピー符号化の組み合わせを指す。「符号化プロセス」という句が、具体的に動作のサブセットを指すことを意図しているか、または概してより広い符号化プロセスを指すことを意図しているかは、特定の説明の文脈に基づいて明確になり、当業者によって十分に理解されると考えられる。
【0122】
本明細書で使用される構文要素は、説明的な用語であることに留意されたい。したがって、それらは、他の構文要素名の使用を排除するものではない。
【0123】
図がフロー図として提示されている場合、それは、対応する装置のブロック図も提供することを理解されたい。同様に、図がブロック図として提示されている場合、それは、対応する方法／プロセスのフロー図も提供することを理解されたい。
【0124】
様々な実施形態は、レート歪み最適化について言及する。特に、符号化プロセスの間、多くの場合に計算の複雑さの制約を考えて、レートと歪みとの間のバランスまたはトレードオフが、通常、考慮される。レート歪みの最適化は、通常、レートおよび歪みの加重和であるレート歪み関数を最小化するように定式化される。レート歪みの最適化問題を解決するには、様々なアプローチがある。例えば、アプローチは、考慮されるすべてのモードまたはコーディングパラメータ値を含む、すべての符号化オプションの広範なテストに基づき得、コード化および復号化後の再構築された信号のコード化コストおよび関連する歪みの完全な評価を伴う。特に、再構築された信号ではなく、予測または予測残差信号に基づいて近似歪みを計算することによって、符号化の複雑さを軽減するために、より高速なアプローチを使用することもできる。可能な符号化オプションの一部にのみ近似歪みを使用し、他の符号化オプションに完全な歪みを使用することなどによって、これら２つのアプローチを組み合わせて使用することもできる。他のアプローチでは、可能な符号化オプションのサブセットのみを評価する。より一般的には、多くのアプローチが、最適化を実施するための様々な技術のうちのいずれかを採用するが、最適化は、必ずしもコード化コストおよび関連する歪みの両方の完全な評価ではない。
【0125】
本出願では、ツール、特徴、実施形態、モデル、アプローチなどを含む様々な態様について説明する。これらの態様の多くは、特異性、また、少なくとも個々の特性を示すために説明されており、しばしば限定的に聞こえ得るように説明される。しかしながら、これは、説明を明確にするためのものであり、これらの態様の用途または範囲を限定するものではない。実際に、異なる態様のすべてを組み合わせ、かつ置き換えて、さらなる態様を提供することができる。さらに、これらの態様は、以前の出願で説明された態様と組み合わせ、かつ交換することもできる。
【0126】
本明細書で説明された実装形態および態様は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号に実装され得る。単一の実装形態の文脈でのみ考察された（例えば、方法としてのみ考察された）としても、考察された特徴の実装形態はまた、他の形態（例えば、装置またはプログラム）で実装することもできる。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアで実装することができる。それらの方法は、例えば、プロセッサ内に実装することができ、このプロセッサは、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブルロジックデバイスを含む処理デバイス全般を指す。プロセッサは、通信デバイス、例えば、コンピュータ、タブレット、スマートフォン、携帯電話、ポータブル／パーソナルデジタルアシスタント、およびエンドユーザ間の情報の通信を容易にする他のデバイスなども含む。
【0127】
「１つの実施形態」もしくは「一実施形態」、または「１つの実装形態」もしくは「一実装形態」、ならびにそれらの他の変形への言及は、実施形態に関連して説明された特定の特徴、構造、特性などが、少なくとも１つの実施形態に含まれることを意味する。したがって、本出願全体にわたって様々な箇所においてみられる、「１つの実施形態において」もしくは「一実施形態において」または「１つの実装形態において」もしくは「一実装形態において」という句、ならびに任意の他の変形の出現は、必ずしもすべてが同じ実施形態を指しているわけではない。
【0128】
さらに、本出願は、情報の様々な部分を「判定すること」に言及する場合がある。情報の判定には、例えば、情報の評価、情報の計算、情報の予測、またはメモリからの情報の検索のうちの１つ以上が含まれ得る。
【0129】
さらに、本出願は、情報の様々な部分に「アクセスすること」に言及する場合がある。情報のアクセスには、例えば、情報の受信、（例えば、メモリからの）情報の検索、情報の記憶、情報の移動、情報のコピー、情報の計算、情報の判定、情報の予測、または情報の評価のうちの１つ以上が含まれ得る。
【0130】
さらに、本出願は、情報の様々な部分を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に、広義の用語であることが意図されている。情報の受信には、例えば、情報へのアクセス、または（例えば、メモリからの）情報の検索のうちの１つ以上が含まれ得る。さらに、「受信すること」は、典型的には、何らかの方法で、例えば、情報の記憶、情報の処理、情報の送信、情報の移動、情報のコピー、情報の消去、情報の計算、情報の判定、情報の予測、または情報の評価などの動作中に伴う。
【0131】
本出願では、「再構築された」および「復号化された」という用語は互換的に使用され得、「ピクセル」および「サンプル」という用語は互換的に使用され得、「画像」、「ピクチャ」、「フレーム」、「スライス」、および「タイル」という用語は互換的に使用され得る。必須ではないが、通常は、「再構築された」という用語は、エンコーダ側において使用される一方で「復号化された」は、デコーダ側において使用される。
【0132】
例えば、「Ａ／Ｂ」、「Ａおよび／またはＢ」、ならびに「ＡおよびＢのうちの少なくとも１つ」の場合、次の「／」、「および／または」、ならびに「のうちの少なくとも１つ」のいずれかの使用は、１番目に列記された選択肢（Ａ）のみの選択、または２番目に列記された選択肢（Ｂ）のみの選択、または両方の選択肢（ＡおよびＢ）の選択を網羅することを意図していることが分かるはずである。さらなる例として、「Ａ、Ｂ、および／またはＣ」ならびに「Ａ、Ｂ、およびＣのうちの少なくとも１つ」の場合、そのような言い回しは、１番目に列記された選択肢（Ａ）のみの選択、または２番目に列記された選択肢（Ｂ）のみの選択、または３番目に列記された選択肢（Ｃ）のみの選択、または１番目および２番目に列記された選択肢（ＡおよびＢ）のみの選択、または１番目および３番目に列記された選択肢（ＡおよびＣ）のみの選択、または２番目および３番目に列記された選択肢（ＢおよびＣ）のみの選択、または３つすべての選択肢（ＡおよびＢおよびＣ）の選択、を網羅することを意図している。これは、当業者にとって明らかであるように、列記される項目の数だけ拡張され得る。
【0133】
また、本明細書で使用される場合、「信号伝達する」という単語は、とりわけ、対応するデコーダに何かを指示することを指す。例えば、特定の実施形態において、エンコーダは、照明補償パラメータのうちの特定の１つに信号伝達する。このようにして、一実施形態において、同じパラメータが、エンコーダ側およびデコーダ側の両方で使用される。したがって、例えば、エンコーダは、特定のパラメータをデコーダに送信することができ（明示的なシグナリング）、その結果、デコーダは、同じ特定のパラメータを使用することができる。逆に、デコーダがすでに特定のパラメータならびに他のパラメータを有する場合、信号伝達は、送信（暗黙的なシグナリング）を行わずに使用されて、デコーダが簡単に特定のパラメータを認識および選択することを可能にすることができる。いかなる実際の機能の送信も回避することによって、ビットの節約が、様々な実施形態で実現される。シグナリングは、様々な方法で達成できることが分かるはずである。例えば、１つ以上の構文要素、フラグなどが、様々な実施形態で、対応するデコーダに情報を信号伝達するために使用される。上記は、「信号伝達する」という単語の動詞形に関するものであるが、「信号伝達」という単語はまた、本明細書では、名詞として使用することもできる。
【0134】
当業者には明らかであるように、実装形態は、例えば、記憶または送信され得る情報を搬送するようにフォーマットされる様々な信号を生成することができる。情報は、例えば、方法を実施するための命令、または説明される実装形態のうちの１つにより生成されたデータを含むことができる。例えば、信号は、説明された実施形態のビットストリームを搬送するようにフォーマットされ得る。このような信号は、例えば、（例えば、スペクトルの無線周波数部分を使用する）、電磁波として、またはベースバンド信号としてフォーマットすることができる。フォーマットすることは、例えば、データストリームを符号化することと、搬送波を符号化データストリームで変調することと、を含むことができる。信号が搬送する情報は、例えば、アナログまたはデジタル情報であり得る。信号は、既知であるように、様々な異なる有線または無線リンクを介して送信することができる。信号は、プロセッサ可読媒体上に記憶することができる。
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
