特許7538929 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ フラウンホッファー−ゲゼルシャフト　ツァ　フェルダールング　デァ　アンゲヴァンテン　フォアシュンク　エー．ファオの特許一覧

特許7538929改良された可逆圧縮のためのエンコーダ、デコーダ、方法およびコンピュータプログラム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1a
1b
2
3
4
5
6
7
8
9
10
11a
11b
12a
12b
13a
13b

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-14

(45)【発行日】2024-08-22

(54)【発明の名称】改良された可逆圧縮のためのエンコーダ、デコーダ、方法およびコンピュータプログラム

(51)【国際特許分類】

H04N 19/126 20140101AFI20240815BHJP

H04N 19/157 20140101ALI20240815BHJP

H04N 19/17 20140101ALI20240815BHJP

H04N 19/70 20140101ALI20240815BHJP

【ＦＩ】

H04N19/126

H04N19/157

H04N19/17

H04N19/70

【請求項の数】 15

(21)【出願番号】P 2023152138

(22)【出願日】2023-09-20

(62)【分割の表示】P 2022500499の分割

【原出願日】2020-07-02

(65)【公開番号】P2023169321

(43)【公開日】2023-11-29

【審査請求日】2023-10-17

(31)【優先権主張番号】19184790.4

(32)【優先日】2019-07-05

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】591037214

【氏名又は名称】フラウンホッファー－ゲゼルシャフトツァフェルダールングデァアンゲヴァンテンフォアシュンクエー．ファオ

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】ヘルムリッヒクリスティアン

(72)【発明者】

【氏名】ブロスベンヤミン

(72)【発明者】

【氏名】グエントゥンホアン

(72)【発明者】

【氏名】シュヴァルツハイコ

(72)【発明者】

【氏名】マルペデトレフ

(72)【発明者】

【氏名】ウィーガントトーマス

【審査官】岩井健二

(56)【参考文献】

【文献】特開２００８－１０４０７２（ＪＰ，Ａ）

【文献】Geert Van der Auwera et al.，Lossless Coding and Loop Filter Control for Transform Skip，JCTVC-J0435，2012年07月，pp.1-2

【文献】Xiaoyu Xiu et al.，Rext HLS: on lossless coding，JCTVC-Q0106_v2，2014年03月，pp.1-2

【文献】Seung-Hwan Kim and Andrew Segall，Simplified CABAC for lossless compression[online]， JCTVC-H0499，2012年02月，pp.1-5

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ１９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

データストリームにピクチャを符号化するためのエンコーダであって、
前記データストリームに複数の符号化パラメータを符号化することであって、前記複数の符号化パラメータは、前記ピクチャの既定の部分に関連し、且つ予測残差変換モードおよび前記既定の部分に関する量子化精度を制御する、符号化し、
前記複数の符号化パラメータが、可逆予測残差符号化に相当する符号化パラメータ設定を示すか否かを決定し、
前記複数の符号化パラメータが前記可逆予測残差符号化に相当する前記符号化パラメータ設定を示すという決定に応答して、前記既定の部分に関して予測残差補正予測再構成を処理するための前記エンコーダの１つ以上のツールに関する１つ以上の既定の符号化オプションを、前記１つ以上のツールが前記既定の部分に関して無効になるように、設定し、
前記複数の符号化パラメータによって示される前記予測残差変換モードが、変換スキップモードおよび無量子化に相当する既定の量子化ステップサイズよりも細かい量子化ステップサイズに対応するか否かを決定し、
前記複数の符号化パラメータによって示される前記予測残差変換モードが、変換スキップモードおよび無量子化に相当する既定の量子化ステップサイズよりも細かい量子化ステップサイズに対応するという決定に応答して、前記量子化ステップサイズを前記既定の量子化ステップサイズに変更するように構成される、エンコーダ。

【請求項2】

前記既定の部分をカバーするまたは前記既定の部分を含む前記ピクチャの既定の領域が、可逆符号化を使用して前記データストリームに符号化されているか非可逆符号化を使用して前記データストリームに符号化されているかを示す可逆符号化シンタックス要素を前記データストリームに符号化し、
前記ピクチャの前記既定の領域が可逆符号化を使用して前記データストリームに符号化されていると前記可逆符号化シンタックス要素が示す場合、かつ、前記可逆予測残差符号化に相当する前記符号化パラメータ設定を前記複数の符号化パラメータが示す場合、前記１つ以上のツールが前記既定の部分に関して無効になるように、そして、
前記複数の符号化パラメータが前記可逆予測残差符号化に相当する前記符号化パラメータ設定を示さない場合、または前記ピクチャの前記既定の領域が非可逆符号化を使用して前記データストリームに符号化されていると前記可逆符号化シンタックス要素が示す場合、既定のツール状態になるように、前記１つ以上の既定の符号化オプションを設定するように構成される、請求項１に記載のエンコーダ。

【請求項3】

前記既定のツール状態に関連する前記データストリームに１つ以上のシンタックス要素を符号化するように構成される、請求項２に記載のエンコーダ。

【請求項4】

前記複数の符号化パラメータが前記可逆予測残差符号化に相当する前記符号化パラメータ設定を示すことに応答して、前記既定の部分に関する１つ以上の別の符号化オプションをデフォルト状態に設定するように構成される、請求項１に記載のエンコーダ。

【請求項5】

前記デフォルト状態は、
前記既定の部分の予測信号の導出のためのローパスフィルタリングに関して、フィルタリングの低減またはフィルタリングの無効化、および／または、
予測残差信号に対して完全可逆変換を行うこと、を表す、請求項４に記載のエンコーダ。

【請求項6】

前記１つ以上の別の符号化オプションは、
予測残差データのビン文字列への二値化および前記ビン文字列のコンテキスト適応バイナリエントロピー符号化、
前記既定の部分の予測残差もしくは予測残差補正再構成に対する完全可逆変換の使用、
前記既定の部分の予測信号の導出のためのフィルタリングの無効化または低減化、および／または、
前記既定の部分に関する予測残差補正予測再構成処理もしくは予測残差再量子化処理の無効化、に関連する、請求項４に記載のエンコーダ。

【請求項7】

予測残差データのビン文字列への二値化および前記ビン文字列のコンテキスト適応バイナリエントロピー符号化を使用して、前記データストリームに前記既定の部分のための予測残差を、前記複数の符号化パラメータが前記可逆予測残差符号化に相当する前記符号化パラメータ設定を示す場合には第１の方法で、前記複数の符号化パラメータが前記可逆予測残差符号化に相当する前記符号化パラメータ設定を示さない場合には第２の方法で符号化するように構成され、ここで、前記第１の方法および前記第２の方法は異なっており、前記第１の方法の方が前記第２の方法に比べて計算複雑さが低減されている、請求項１に記載のエンコーダ。

【請求項8】

前記既定の部分の予測残差または予測残差補正再構成に対して、前記複数の符号化パラメータが前記可逆予測残差符号化に相当する前記符号化パラメータ設定を示す場合には完全可逆変換を、前記複数の符号化パラメータが前記可逆予測残差符号化に相当する前記符号化パラメータ設定を示さない場合には不完全可逆変換を行うように構成される、請求項１に記載のエンコーダ。

【請求項9】

前記複数の符号化パラメータが前記可逆予測残差符号化に相当する前記符号化パラメータ設定を示す場合には第１の方法で、前記複数の符号化パラメータが前記可逆予測残差符号化に相当する前記符号化パラメータ設定を示さない場合には第２の方法で、前記既定の部分のための予測信号を導出するように構成され、ここで、前記第１の方法および前記第２の方法は異なっており、前記第２の方法と比べると前記第１の方法において前記予測信号はフィルタリングされないようになっている、または前記第２の方法ではフィルタリングされても前記第１の方法ではフィルタリングされないようになっている、請求項１に記載のエンコーダ。

【請求項10】

前記既定の部分に関して予測残差補正予測再構成を処理するため、または予測残差再量子化のための前記エンコーダの１つ以上のツールに関連する１つ以上の既定の符号化オプションが、前記複数の符号化パラメータが前記可逆予測残差符号化に相当する前記符号化パラメータ設定を示す場合には、前記１つ以上のツールが前記既定の部分に関して無効になるように、そして前記複数の符号化パラメータが前記可逆予測残差符号化に相当する前記符号化パラメータ設定を示さない場合には前記複数の符号化パラメータから前記１つ以上の既定の符号化オプションを導出することによって、設定されると推論するように構成される、請求項１に記載のエンコーダ。

【請求項11】

前記複数の符号化パラメータが前記可逆予測残差符号化に相当する前記符号化パラメータ設定を示す場合には、前記１つ以上のツールが前記既定の部分に関して無効になり、
前記複数の符号化パラメータが前記可逆予測残差符号化に相当する前記符号化パラメータ設定を示さない場合には、既定のツール状態になるように、前記１つ以上の既定の符号化オプションを前記既定の部分に関して設定するように構成される、請求項１に記載のエンコーダ。

【請求項12】

前記既定のツール状態に応じて、前記データストリームに１つ以上のシンタックス要素を符号化するように構成される、請求項１１に記載のエンコーダ。

【請求項13】

前記既定の部分に関する前記１つ以上の既定の符号化オプションが、前記１つ以上のツールが前記既定の部分に関して無効になるように設定されている場合、前記１つ以上のシンタックス要素のうちの少なくとも１つが前記データストリームに符号化されない、請求項１２に記載のエンコーダ。

【請求項14】

データストリームにピクチャを符号化するための方法であって、
前記データストリームに複数の符号化パラメータを符号化するステップであって、前記複数の符号化パラメータは、前記ピクチャの既定の部分に関連し、且つ予測残差変換モードおよび前記既定の部分に関する量子化精度を制御する、符号化するステップと、
前記複数の符号化パラメータが、可逆予測残差符号化に相当する符号化パラメータ設定を示すか否か決定するステップと、
前記複数の符号化パラメータが前記可逆予測残差符号化に相当する前記符号化パラメータ設定を示すという決定に応答して、前記既定の部分に関して予測残差補正予測再構成を処理するための１つ以上のツールに関連する１つ以上の既定の符号化オプションを、前記１つ以上のツールが前記既定の部分に関して無効になるように設定するステップと、
前記複数の符号化パラメータによって示される前記予測残差変換モードが、変換スキップモードおよび無量子化に相当する既定の量子化ステップサイズよりも細かい量子化ステップサイズに対応するか否かを決定するステップと、
前記複数の符号化パラメータによって示される前記予測残差変換モードが、変換スキップモードおよび無量子化に相当する既定の量子化ステップサイズよりも細かい量子化ステップサイズに対応するという決定に応答して、前記量子化ステップサイズを前記既定の量子化ステップサイズに変更するステップと、を含む、方法。

【請求項15】

プロセッサによって実行されると、
データストリームに複数の符号化パラメータを符号化するステップであって、前記複数の符号化パラメータは、ピクチャの既定の部分に関連し、且つ予測残差変換モードおよび前記既定の部分に関する量子化精度を制御する、符号化するステップと、
前記複数の符号化パラメータが、可逆予測残差符号化に相当する符号化パラメータ設定を示すか否か決定するステップと、
前記複数の符号化パラメータが前記可逆予測残差符号化に相当する前記符号化パラメータ設定を示すという決定に応答して、前記既定の部分に関して予測残差補正予測再構成を処理するための１つ以上のツールに関連する１つ以上の既定の符号化オプションを、前記１つ以上のツールが前記既定の部分に関して無効になるように設定するステップと、
前記複数の符号化パラメータによって示される前記予測残差変換モードが、変換スキップモードおよび無量子化に相当する既定の量子化ステップサイズよりも細かい量子化ステップサイズに対応するか否かを決定するステップと、
前記複数の符号化パラメータによって示される前記予測残差変換モードが、変換スキップモードおよび無量子化に相当する既定の量子化ステップサイズよりも細かい量子化ステップサイズに対応するという決定に応答して、前記量子化ステップサイズを前記既定の量子化ステップサイズに変更するステップと、
を前記プロセッサに実行させる命令を格納する非一時的なコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

技術分野
本発明にかかる実施形態は、改良された可逆圧縮のためのエンコーダ、デコーダ、方法およびコンピュータプログラムに関する。本発明は、最新のハイブリッド画像およびビデオ符号化ソリューションにおける可逆圧縮のための拡張に関する。

【0002】

はじめに：
以下では、様々な本発明の実施形態および態様を説明する。また、更なる実施形態は、同封の特許請求の範囲によって定義される。

【0003】

特許請求の範囲によって定義される任意の実施形態は、以下の様々な本発明の実施形態および態様において説明される任意の詳細（特徴および機能）によって補足することができることに留意されたい。

【0004】

また、本明細書に記載された個々の態様は、個別にまたは組み合わせて使用することができることに留意されたい。したがって、前記態様の別の１つに詳細を追加することなく、前記個々の態様のそれぞれに詳細を追加することができる。

【0005】

また、本開示は、エンコーダ（入力信号のエンコードされた表現を提供するための装置）およびデコーダ（エンコードされた表現に基づいて信号の復号化された表現を提供するための装置）において使用可能な特徴を明示的または暗示的に説明することに留意されたい。したがって、本明細書に記載された特徴のいずれもエンコーダの文脈およびデコーダの文脈で使用することができる。

【0006】

さらに、方法に関連する本明細書に開示された特徴および機能は、（そのような機能を実行するように構成された）装置においても使用することもできる。さらに、装置に関して本明細書に開示された任意の特徴および機能は、対応する方法においても使用することもできる。言い換えると、本明細書に開示された方法は、装置に関して説明された任意の特徴および機能によって補足されてもよい。

【0007】

また、本明細書に記載された特徴や機能は、“代替の実装”のセクションで説明するように、ハードウェアもしくはソフトウェアで、または、ハードウェアとソフトウェアとの組み合わせを使用して実装することができる。

【背景技術】

【0008】

背景技術
最新の非可逆ビデオ圧縮では、エンコーダは特定の量子化ステップサイズΔを使用して予測残差または変換された予測残差を量子化する。ステップサイズが小さいほど、量子化が細かくなり、オリジナルの信号と再構成信号との誤差が小さくなる。最近のビデオ符号化規格（Ｈ．２６４やＨ．２６５など）では、いわゆる量子化パラメータ（ＱＰ）の指数関数を使用して、その量子化ステップサイズΔを導出しており、例えば、以下である。

【数1】

量子化ステップサイズと量子化パラメータとの間の指数関数的な関係によって、結果として得られるビットレートをより細かく調整することができる。デコーダは、量子化された信号の正しいスケーリングを行うために、量子化ステップサイズを知っておく必要がある。この段階は時々“逆量子化”と呼ばれることもあるが、量子化は不可逆である。そのため、デコーダはビットストリームからスケーリングファクタまたはＱＰを解析する。ＱＰ信号は通常、階層的に実行される。すなわち、ベースＱＰはビットストリーム内のより高いレベル、例えばピクチャレベルでシグナリングされる。サブピクチャレベルでは、ピクチャが複数のスライス、タイル、またはブリックで構成されることがあるため、ベースＱＰへのデルタのみがシグナリングされる。さらに細かい粒度でビットレートを調整するために、デルタＱＰはブロックまたはブロックの領域ごとにシグナリングすることもでき、例えば、ＨＥＶＣでは、符号化ブロックのＮ×Ｎ領域内の１つの変換ユニットでシグナリングされる。エンコーダは通常、主観的な最適化またはレート制御アルゴリズムにデルタＱＰ技術を使用する。一般性を失うことなく、以下では、本発明における基本単位はピクチャであり、したがって、ベースＱＰは、１つのスライスからなる各ピクチャに対してエンコーダによってシグナリングされると仮定する。このベースＱＰ、スライスＱＰとも呼ばれる、に加えて、各変換ブロック（または変換ブロックの任意の結合、量子化グループとも呼ばれる）ごとにデルタＱＰをシグナリングすることができる。

【0009】

高効率ビデオコーディング（ＨＥＶＣ）や多用途ビデオコーディング（ＶＶＣ）規格などの最新のビデオ符号化方式は、広く用いられているタイプＩＩ離散コサイン変換（ＤＣＴ－ＩＩ）の整数近似を超える追加の変換を許可することにより、様々な種類の残差信号のエネルギー圧縮を最適化している。ＨＥＶＣ規格はさらに、特定のイントラ方向モードを使用する４×４変換ブロックのためのタイプＶＩＩ離散サイン変換（ＤＳＴ－ＶＩＩ）の整数近似を規定している。この固定マッピングにより、ＤＣＴ－ＩＩまたはＤＳＴ－ＶＩＩのどちらを使用するかをシグナリングする必要はない。さらに、４×４変換ブロックでは、恒等変換(identity transform)を選択することができる。ここで、エンコーダはＤＣＴ－ＩＩ／ＤＳＴ－ＶＩＩまたは恒等変換のいずれを適用するかをシグナリングする必要がある。恒等変換は１との乗算に相当する行列であるため、変換スキップとも呼ばれる。さらに、現在のＶＶＣ開発では、エンコーダが残差にＤＣＴ／ＤＳＴファミリーの変換をより多く選択できるようにするとともに、分離できない変換を追加し、エンコーダでＤＣＴ／ＤＳＴ変換のあと、デコーダで逆ＤＣＴ／ＤＳＴの前に適用している。拡張されたＤＣＴ／ＤＳＴ変換のセットと追加の分離できない変換の両方は、変換ブロックごとに追加のシグナリングを必要とする。
プとも呼ばれる）ごとにデルタＱＰをシグナリングすることができる。

【0010】

図１ｂは、エンコーダ１０における残差信号２４の順変換およびそれに続く量子化、ならびに、量子化変換係数のスケーリングとそれに続くデコーダ３６のための逆変換によるハイブリットビデオ符号化アプローチを示す。変換および量子化に関連するブロック２８／３２および５２／５４が強調されている。

【0011】

高効率ビデオコーディング（ＨＥＶＣ，Ｈ．２６５，ＩＳＯ／ＩＥＣ２３００８－３）や現在開発中の多用途ビデオコーディング（ＶＶＣ，Ｈ．２６６）などの最新の画像およびビデオ符号化ソリューションは、非常に低いビットレートでも静止画や動画を効率的に圧縮することができる。これらのコーデック（コーダ－デコーダ）ソリューションの典型的な使用例は、放送（例えば、テレビ）やストリーミング（例えば、ｖｉｄｅｏ－ｏｖｅｒ－ＩＰ）アプリケーションのための高解像度のビデオ素材の非可逆圧縮である。しかしながら、コーデックは可逆圧縮もサポートしており、したがって、復号のときに、符号化された入力信号の数学的に完全な再構成が可能になる。より具体的には、ＨＥＶＣは、いくつかのパルス符号変調（ＰＣＭ）に関連する符号化ツール、および、いわゆる変換量子化バイパス符号化モードを提供し、エントロピー符号化処理を単純化し、量子化、変換（ＤＣＴまたはＤＳＴ）およびデブロッキングステップを無効にして、可逆符号化を容易にしている。詳細は、［１］で公に利用可能なＨＥＶＣシンタックスと復号の仕様に記載されている。

【0012】

ＨＥＶＣの後継である開発中のＶＶＣの最新のバージョンでは、少なくとも参照する符号化および復号化ソフトウェア［２］においてＨＥＶＣの可逆符号化機能をほとんど引き継いでいる。つまり、ＰＣＭ関連の符号化ツールと変換量子化バイパス符号化モードとの両方が、ＨＥＶＣエンコーダと現在のＶＶＣ参照エンコーダとの両方でアクティブ化できるようになっている。さらに、変換量子化バイパス符号化フラグ（１ビットのシンタックス要素）が、ビットストリーム全体またはビットストリームのピクチャ（フレーム）の対してだけでなく、前記ビットストリームまたはフレームの個々のサブブロック（符号化ユニット、ＣＵまたは変換ユニット、ＴＵ）に対して規定される。言い換えると、ＨＥＶＣおよびＶＶＣの両方において、変換量子化バイパス符号化をサブブロック単位で有効にすることができ、したがって、量子化、変換およびデブロックキング符号化ツールをサブブロックごとに個別に無効にすることができる。

【0013】

最近は、上記で説明したように、ＪＶＥＴ内のＶＶＣ標準化活動への貢献が紹介され、これは現在のＶＶＣドラフトにおける変換スキップ符号化機能の特定の可逆符号化に関連する欠点を修正するものであり、ＨＥＶＣにも存在し、所定の符号化サブブロック（ＣＵまたはＴＵ）に対して、逆残差係数変換操作（逆ＤＣＴまたは逆ＤＳＴ）がバイパスされることを特定するものである。より具体的には、この貢献は、サブブロックにおけるアクティベートされた変換スキップの場合に、量子化パラメータ（ＱＰ）によって支配される量子化ステップサイズを１以上の値（ＱＰが４によって表される）に制限することを提案するものである。その結果、ＱＰが４であって、前記サブブロックによってカバーされる空間領域においてループ内フィルタリングを無効にすると、変換スキップがアクティベートされた場合に、可逆符号化を実現することができる。しかし、この動作は、ＱＰ＝４（すなわち、ユニティステップサイズ）での量子化が量子化アルゴリズムのバイパスを事実上表すため、変換量子化バイパス符号化モードの使用と同じである。

【0014】

さらに、ＶＶＣまたは同様の可逆符号化機能およびツールセットを有する他のビデオコーデックを使用して、許容可能な低ビットレートでの可逆符号化を実現するためには、ＨＥＶＣや以前のビデオ符号化規格に利用可能ではない、いくつかの他の新しく導入された符号化ツールの動作を変更する必要がある場合がある。特に、
●新たに導入された適応ループフィルタ（ＡＬＦ）とリシェーパツール(reshaper tool)を無効にすることが望ましい場合がある。
●可逆符号化を可能にするためにジョイントクロマ内変換［３］の行列を変更する必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0015】

本発明の目的は、冗長な可逆符号化能力の上述の２つの欠点（変換量子化バイパスおよび変換スキップ機能に関する）および可逆符号化が望まれる場合にいくつかの符号化ツールの動作の詳細を修正する必要性に対する解決策を提供することである。

【0016】

それ故に、許容可能な低ビットレートでピクチャまたはビデオを可逆符号化するための概念および／または改良された可逆圧縮を提供することが望まれている。

【0017】

これは、本願の独立請求項の主題によって達成される。

【0018】

本発明にかかる別の実施形態は、本願の従属請求項の主題によって定義される。

【課題を解決するための手段】

【0019】

発明の概要
本発明の第１の態様によれば、本願の発明者らは、ピクチャまたはビデオの可逆符号化を改善しようとするときに直面する１つの問題は、適応ループフィルタ（ＡＬＦ）やリシェーパツールのようなデコーダまたはエンコーダのいくつかのツールが、結果として非可逆符号化をもたらすという事実に起因することに気付いた。本願の第１の態様によれば、この難点は、ピクチャの既定の部分の可逆再構成後の情報の損失を避けるために、予測残差補正予測再構成を処理するための１つ以上のツールを無効にすることによって克服される。言い換えれば、ピクチャの既定の部分のサンプルの再構成後の修正が無効にされる。さらに、第１の態様は、ピクチャの既定の部分の可逆予測残差符号化を示すシンタックス要素を必要とせずに、１つ以上のツールを可逆符号化のために無効にすることができるという考えに基づくものである。デコーダおよびエンコーダは、データストリームに含まれる複数の符号化パラメータに基づいて、ピクチャの既定の部分に対して可逆予測残差符号化が使用されていることを推論するように構成されてもよく、それによって、可逆符号化の明示的なシグナリングは必要ない。デコーダは、ピクチャの個々の部分について、可逆符号化と非可逆符号化とを有利に切り替えるように構成される。ピクチャの個々の部分のための可逆符号化を示す追加のシグナリングは必要ない。この結果、符号化されるデータ量が減少し、ピクチャの既定の部分を復号するために使用されるデータ量も減少する。改良された可逆符号化圧縮を実現することができる。ピクチャの既定の領域またはピクチャ全体のいずれを、可逆符号化を使用して符号化するかを示す可逆符号化シンタックス要素を、データストリームが含むことは可能であるが、ピクチャの各部分について可逆符号化シンタックス要素をデータストリームが含んでいる必要はもはやない。これは、符号化パラメータが可逆予測残差符号化を示すか否かをデコーダおよび／またはエンコーダが確認することができるためである。さらに、デコーダまたはエンコーダの１つ以上のツールの無効化と、複数の符号化パラメータが可逆予測残差符号化に相当する符号化パラメータ設定を示すか否かを確認することを組み合わせることによって、より高い符号化効率とより低減されたビットレートとを実現できることが判明した。

【0020】

したがって、本願の第１の態様によれば、データストリームからピクチャを復号するためのデコーダは、データストリームに含まれ、ピクチャの既定の部分に関連し、且つ予測残差変換モードおよび既定の部分に関する量子化精度を制御する複数の符号化パラメータ、例えば、量子化パラメータ（ＱＰ）および／または変換モード（ＴＭ）が可逆予測残差符号化に相当する符号化パラメータ設定を示すか否かを確認するように構成される。このような可逆予測残差符号化に相当する符号化パラメータ設定は、例えば、（ＱＰ，ＴＭ）＝（４，変換スキップ）または（ＱＰ，ＴＭ）＝（１．．．４，変換スキップ）によって表される。符号化パラメータ設定が可逆予測残差符号化に相当するのは、このような符号化が符号化パラメータ設定によって直ちにシグナリングされる、または、デコーダがこのような符号化パラメータ設定を可逆残差符号化につながる符号化パラメータ設定に解釈または変更するように構成されることにより、例えば、変換モードが変換スキップの場合には４より小さい量子化パラメータ（ＱＰ＜４）を４に等しい量子化パラメータ（ＱＰ＝４）へマッピングするなどにより、このような符号化を導くことによって直ちにシグナリングされるためである。この符号化パラメータ設定の解釈または変更は、複数の符号化パラメータに基づいていてもよい。デコーダは、ピクチャの既定の部分に対して、非可逆予測残差符号化または可逆予測残差符号化のいずれを使用するかを複数の符号化パラメータから導出するように構成されてもよい。複数の符号化パラメータが可逆予測残差符号化に相当する符号化パラメータ設定を示すことに応答して、デコーダは、既定の部分に関して予測残差補正予測再構成を処理するためのデコーダの１つ以上のツール、例えば、デブロッキング、サンプル適応オフセットフィルタ処理（ＳＡＯ）および／または適応ループフィルタ処理（ＡＬＦ）に関する１つ以上の既定の符号化オプションを、１つ以上のツールが既定の部分に関して無効になるように設定するように構成される。

【0021】

デコーダと並行して、ピクチャをデータストリームにエンコードするエンコーダは、データストリーム中の複数の符号化パラメータをシグナリングし、ピクチャの既定の部分に関連し、且つ予測残差変換モードおよび既定の部分に関する量子化精度を制御する複数の符号化パラメータが、可逆予測残差符号化に相当する符号化パラメータ設定を示すか否かを確認するように構成される。複数の符号化パラメータが可逆予測残差符号化に相当する符号化パラメータ設定を示すことに応答して、エンコーダは、既定の部分に関して予測残差補正予測再構成を処理するためのエンコーダの１つ以上のツールに関連する１つ以上の既定の符号化オプションを、エンコーダの予測ループにおいて１つ以上のツールが既定の部分に関して無効になるように設定するように構成される。

【0022】

本発明の第２の態様によれば、本願の発明者らは、ピクチャまたはビデオの可逆符号化を改善しようとするときに直面する１つの問題は、可逆符号化が、通常、非可逆符号化と比較して著しく高いビットレートを引き起こすという事実に起因することに気付いた。本願の第２の態様によれば、この難点は、可逆符号化および非可逆符号化のための二値化において異なる符号を使用することによって克服される。可逆符号化および非可逆符号化のために異なる二値化を切り替えることが可能である。非可逆の場合の二値化に関して低減された計算複雑さを有する二値化が、可逆符号化に対するビットレートを顕著に低減させることが判明した。非可逆符号化と比べて可逆符号化の場合、例えば、コンテキストモデリングとバイナリ算術符号化とを使用するＣＡＢＡＣにおいて、通常の符号化モードの代わりに等確率バイパスモードを使用してより多くのビンを符号化することによって、計算複雑さが低減される。したがって、処理のボトルネックを防止することができる。

【0023】

したがって、本願の第２の態様は、データストリームからピクチャを復号するためのデコーダ、およびピクチャをデータストリームにエンコードするためのエンコーダに関する。デコーダ（エンコーダ）は、ピクチャの既定の部分に対して、それが可逆符号化を使用してデータストリームに符号化されている（される）か非可逆符号化を使用してデータストリームに符号化されている（される）かを決定するように構成される。デコーダ（エンコーダ）は、予測残差データのビン文字列への二値化およびビン文字列のコンテキスト適応バイナリエントロピー復号（エンコード）を使用して、データストリームから（データストリームに）既定の部分のための予測残差を、ピクチャの既定の部分が可逆符号化を使用してデータストリームに符号化されている（される）場合には第１の方法で、ピクチャの既定の部分が非可逆符号化を使用してデータストリームに符号化されている（される）場合には第２の方法で、復号（エンコード）するように構成される。第１の方法および第２の方法は異なっており、第１の方法の方が第２の方法に比べて計算複雑さが低減されている。

【0024】

本発明の第３の態様によれば、本願の発明者らは、ピクチャまたはビデオの可逆符号化を改善しようとするときに直面する１つの問題は、エンコーダによる変換またはデコーダによる逆変換が、ピクチャまたはピクチャの一部の数学的に完全な再構成を禁じる整数丸め込みステップを必要とするかもしれないという事実に起因することに気付いた。したがって、現在、変換処理は、可逆符号化のためにバイパスされるか、または無効にされる。本願の第３の態様によれば、この難点は、可逆符号化に対して完全可逆変換を使用することによって克服される。デコーダ／エンコーダは、可逆符号化および非可逆符号化に対して異なる変換モードを切り替えられるように構成される。完全可逆変換を用いると、丸め誤差が発生しないため、可逆符号化を実現することができる。完全可逆変換は、例えば、成分間変換またはスペクトル分解色成分内変換である。完全可逆変換を示すおよび／または制御するためにデータストリームに必要な追加のシンタックス要素があるかもしれないが、ビットレートが著しく減少し、それによって符号化の効率が増加することが判明した。

【0025】

したがって、本願の第３の態様は、データストリームからピクチャを復号するためのデコーダおよびピクチャをデータストリームにエンコードするためのエンコーダに関する。デコーダ（エンコーダ）は、ピクチャの既定の部分に対して、それが可逆符号化を使用してデータストリームに符号化されている（される）か非可逆符号化を使用してデータストリームに符号化されている（される）かを決定するように構成される。デコーダ（エンコーダ）は、（例えば、エンコーダの予測ループにおいて）既定の部分の予測残差または予測残差補正再構成に対して、ピクチャの既定の部分が可逆符号化を使用してデータストリームに符号化されている（される）場合には完全可逆変換を、ピクチャの既定の部分が非可逆符号化を使用してデータストリームに符号化されている（される）場合には不完全可逆変換を行うように構成される。

【0026】

本発明の第４の態様によれば、本願の発明者らは、ピクチャまたはビデオの可逆符号化を改善しようとするときに直面する１つの問題は、平滑化フィルタが情報の損失をもたらすという事実に起因することに気付いた。本願の第４の態様によれば、この難点は、可逆的に復号またはエンコードされるピクチャの部分について、非可逆符号化と比べて予測信号を得るために使用されるフィルタリングを無効にすることによって、またはフィルタリングを低減することによって、克服される。その部分に対するフィルタリングを無効にした結果、データストリーム中にフィルタリングに関連するシンタックス要素が存在せず、それによって、改善されたビットストリーム圧縮を実現することができる。代替的に、ピクチャの部分のための予測信号は、非可逆符号化の場合に比べて可逆符号化の場合の方がフィルタリングされない。可逆符号化の場合、例えば、補間フィルタを適用することが可能であり、ここで、予測信号の全体的な空間周波数スペクトルのうちのより高い周波数の半分が、非可逆符号化の場合よりも可逆符号化の場合の方がより高いエネルギーを有する。これは、可逆符号化の場合、予測信号の導出時にできるだけ予測信号を変化させない方が有利であるという考えに基づくものである。可逆符号化のための特別なフィルタリングオプションは、予測信号の情報量を多くすることで、結果としてビットレートが低減し、効率が高くなることが判明した。

【0027】

したがって、本願の第４の態様は、データストリームからピクチャを復号するためのデコーダおよびピクチャをデータストリームにエンコードするためのエンコーダに関する。デコーダ（エンコーダ）は、ピクチャの既定の部分に対して、それが可逆符号化を使用してデータストリームに符号化されている（される）か非可逆符号化を使用してデータストリームに符号化されている（される）かを決定するように構成される。デコーダ（エンコーダ）は、ピクチャの既定の部分が可逆符号化を使用してデータストリームに符号化されている（される）場合には第１の方法で、ピクチャの既定の部分が非可逆符号化を使用してデータストリームに符号化されている（される）場合には第２の方法で、既定の部分のための予測信号を導出するように構成される。第１の方法および第２の方法は異なっており、第２の方法よりも第１の方法において予測信号は、例えば補間フィルタを使用することによって、フィルタリングされないようになっている、または第２の方法ではフィルタリングされても第１の方法ではフィルタリングされないようになっている。

【0028】

本発明の第５の態様によれば、本願の発明者らは、ピクチャまたはビデオの可逆符号化を改善しようとするときに直面する１つの問題は、ループ内フィルタおよび／または量子化が情報の損失をもたらすという事実に起因することに気付いた。本願の第５の態様によれば、この難点は、既定の部分に関して予測残差補正予測再構成を処理するためのデコーダ／エンコーダの１つ以上のツールを無効にすることによって、および／または予測残差再量子化／量子化のためのデコーダ／エンコーダの１つ以上のツールを無効にすることによって、克服される。その部分についてのツールを無効にした結果、データストリーム中の後処理関連のシンタックス要素および／または（再）量子化関連のシンタックス要素が存在しないかまたは減少をもたらし、それによって、改善されたビットストリーム圧縮を実現することができる。

【0029】

したがって、本願の第５の態様は、データストリームからピクチャを復号するためのデコーダおよびピクチャをデータストリームにエンコードするためのエンコーダに関する。デコーダ（エンコーダ）は、ピクチャの既定の部分に対して、それが可逆符号化を使用してデータストリームに符号化されている（される）か非可逆符号化を使用してデータストリームに符号化されている（される）かを決定するように構成される。デコーダ（エンコーダ）は、（例えば、エンコーダの予測ループにおいて）既定の部分に関して予測残差補正予測再構成を処理するため、および／または予測残差再量子化（量子化）のための、デコーダ（エンコーダ）の１つ以上のツールに関連する１つ以上の既定の符号化オプションが、ピクチャの既定の部分が可逆符号化を使用してデータストリームに符号化されている（される）場合には、１つ以上のツールが既定の部分に関して無効になるように、ピクチャの既定の部分が非可逆符号化を使用してデータストリームに符号化されている（される）場合には、複数の符号化パラメータから１つ以上の既定の符号化オプションを導出することによって、設定されると推論するように構成される。

【0030】

本発明の第６の態様によれば、本願の発明者らは、ピクチャまたはビデオの可逆符号化を改善しようとするときに直面する１つの問題は、エンコードされるビデオに関連付けられたまたはデコーダによって出力されるビデオに関連付けられたビット深度、すなわち入力ビット深度と、内部ビット深度との差が情報の損失をもたらすという事実に起因することに気付いた。本願の第６の態様によれば、この難点は、ビット深度の遷移を行うことによって克服される。したがって、入力ビット深度または入力ビット深度と内部ビット深度との差のいずれかが、エンコーダによってデータストリームにエンコードされ、デコーダによってデータストリームから読み取られる。代替的に、入力ビット深度または前述の差を、量子化パラメータ（ＱＰ）のような１つ以上の符号化パラメータによって示すことができる。入力ビット深度または差に関する情報により、デコーダは入力ビット深度でビデオを出力するように構成され、これにより、ビデオ出力のビット深度はエンコーダによってエンコードされたビデオ入力のビット深度に等しくなる。このようにして、可逆符号化を実現することができる。ビット深度が１つ以上のパラメータによって示される場合、追加のシンタックス要素は必要なく、それによって、改善されたビットストリーム圧縮を実現することができる。デコーダがビデオを出力するビット深度である入力ビット深度－入力ビット深度はエンコーダがエンコードのためにビデオを受信するものであるという事実からその名前を有する－は、内部ビット深度と等しくない必要はないが、エンコーダおよびデコーダは、両方のビット深度が同じであるものと、そうでないものとを含むデータストリームの異なる設定が可能であることに留意されたい。

【0031】

したがって、本願の第６の態様は、ビデオデコーダおよびビデオエンコーダに関する。デコーダは、内部ビット深度でデータストリームからビデオ復号を行い、入力ビット深度または内部ビット深度でビデオ出力するように構成される。デコーダと並行して、エンコーダは、内部ビット深度でデータストリームにビデオエンコードを行い、入力ビット深度または内部ビット深度でビデオ入力を受信するように構成される。例えば、入力ビデオおよび／または出力ビデオのビット深度、すなわち入力ビット深度が内部ビット深度と等しい場合、出力ビデオおよび／または入力ビデオは、内部ビット深度に関連付けられる。さらに、デコーダ（エンコーダ）は、入力ビット深度および／または内部ビット深度と入力ビット深度との差を示すシンタックス要素をデータストリームから（データストリームに）読み取る（エンコードする）ように構成される。

【0032】

したがって、本願の第６の態様は、内部ビット深度でデータストリームからビデオ復号を行い、入力ビット深度または内部ビット深度でビデオ出力するように構成されるビデオデコーダに関する。ビデオデコーダと並行して、ビデオエンコーダは、内部ビット深度でデータストリームにビデオエンコーディングを行い、入力ビット深度または内部ビット深度でビデオ入力を受信するように構成される。例えば、入力ビデオおよび／または出力ビデオのビット深度、すなわち入力ビット深度が内部ビット深度と等しい場合、出力ビデオおよび／または入力ビデオは、内部ビット深度と関連付けられる。さらに、デコーダ（エンコーダ）は、量子化ステップサイズスケールパラメータの最小値（ＱＰ最小値）、すなわち絶対的なまたは相対的な量子化ステップサイズ、再量子化ステップサイズまたはスケーリングパラメータを示すシンタックス要素をデータストリームから（データストリームに）読み取る（エンコードする）ように構成される。最小量子化ステップサイズスケールパラメータは、ユニティステップサイズ、すなわち４に等しい量子化パラメータを表してもよい。シンタックス要素は、例えば、内部ビット深度と入力ビット深度との間のゼロ以外の差に起因する量子化ステップサイズスケールパラメータの最小値を示す。デコーダは、例えば、ＱＰ最小値に加えて、内部ビット深度と入力ビット深度との間のこの差も、上記のように差を送信する方法、または両方の値すなわち内部ビット深度および入力ビット深度を送信することのいずれかによって、通知されてもよい。４とは別のＱＰは、可逆符号化をもたらすか、またはほとんど可逆符号化もたらしてもよい。４より小さいＱＰは、デコーダによって４に等しいＱＰに適合され、ＱＰ最小値が４に設定される場合、その結果として、可逆符号化が行われてもよい。

【0033】

したがって、本願の第６の態様は、内部ビット深度および入力ビット深度またはそれらの差を示すデータストリームから（データストリームに）復号（エンコード）し、内部ビット深度でデータストリームから（データストリームに）ビデオ復号（エンコード）を行うように構成されるビデオデコーダ（エンコーダ）に関する。さらに、デコーダは、入力ビット深度でビデオ出力するように構成され、エンコーダは、入力ビット深度でビデオを受信する、すなわちビデオ入力するように構成される。デコーダ（エンコーダ）は、内部ビット深度が入力ビット深度を下回るか否かを確認し、入力ビット深度に対応するように内部ビット深度を変更するように構成される。このようにして、入力ビット深度と内部ビット深度との差が補正され、可逆符号化が実現される。

【0034】

実施形態は、上述したエンコーダおよび／またはデコーダと同様の検討に基づく方法に関する。なお、方法は、エンコーダおよび／またはデコーダに関して記載されている、すべての特徴および機能によって完成させることができる。

【0035】

一実施形態は、コンピュータ上で実行するときに、本明細書に記載された方法を実行するためのプログラムコードを有するコンピュータプログラムに関する。

【0036】

一実施形態は、ピクチャ信号のブロックベースの符号化のための方法によって得られるデータストリームに関する。

【0037】

図面の簡単な説明
図面は必ずしも縮尺通りではなく、一般に本発明の原理を説明することに重点を置いている。以下の説明では、本発明の様々な実施形態が、以下の図面を参照して説明される：

【図面の簡単な説明】

【0038】

【図1a】図１ａは、エンコーダの概略図を示す。

【図1b】図１ｂは、別のエンコーダの概略図を示す。

【図2】図２は、デコーダの概略図を示す。

【図3】図３は、ブロックベースの符号化の概略図を示す。

【図4】図４は、最新のビデオ符号化規格におけるデコーダ側のスケーリングおよび逆変換の概略図を示す。

【図5】図５は、一実施例にかかるデコーダ側のスケーリングおよび逆変換の概略図を示す。

【図6】図６は、一実施形態にかかるデコーダおよび／またはエンコーダによって実行される可逆符号化検査の概略図を示す。

【図7】図７は、可逆符号化または非可逆符号化に依存して異なる二値化を使用する方法のブロック図を示す。

【図8】図８は、可逆符号化のために完全可逆変換を使用する方法のブロック図を示す。

【図9】図９は、可逆符号化または非可逆符号化に応じて予測信号の導出するための方法のブロック図を示す。

【図10】図１０は、可逆符号化または非可逆符号化に応じて１つ以上の既定の符号化オプションを設定するための方法のブロック図を示す。

【図11a】図１１ａは、第１の実施形態にかかる入力ビット深度および内部ビット深度を考慮する方法のブロック図を示す。

【図11b】図１１ｂは、第１の実施形態にかかる入力ビット深度および内部ビット深度を考慮する方法のブロック図を示す。

【図12a】図１２ａは、第２の実施形態にかかる入力ビット深度および内部ビット深度を考慮する方法のブロック図を示す。

【図12b】図１２ｂは、第２の実施形態にかかる入力ビット深度および内部ビット深度を考慮する方法のブロック図を示す。

【図13a】図１３ａは、第３の実施形態にかかる入力ビット深度および内部ビット深度を考慮する方法のブロック図を示す。

【図13b】図１３ｂは、第３の実施形態にかかる入力ビット深度および内部ビット深度を考慮する方法のブロック図を示す。

【発明を実施するための形態】

【0039】

実施形態の詳細な説明
以下の説明では、異なる図に記載されている場合でも、等しいもしくは同等の要素または等しいもしくは同等の機能を有する要素は、等しいもしくは同等の参照番号によって示される。

【0040】

以下の説明では、本発明の実施形態をより全体的に説明するため、複数の詳細を説明する。しかしながら、本発明の実施形態がこれらの特定の詳細なしに実施され得ることは、当業者には明らかであろう。他の例では、本発明の実施形態を不明瞭にしないために、周知の構造およびデバイスは、詳細ではなくブロック図の形態で示される。加えて、本明細書で後述する様々な実施形態の特徴は、特に断らない限り、互いに組み合わせることができる。

【0041】

以下の図の説明は、本発明の実施形態が組み込まれ得る符号化フレームワークのための例を形成するために、ビデオのピクチャを符号化するためのブロックベースの予測コーデックのエンコーダおよびデコーダの説明の提示から開始する。それぞれのエンコーダおよびデコーダは、図１ａないし３に関して説明される。本明細書で説明される本発明の概念の実施形態は、それぞれ図１ａ、１ｂおよび２のエンコーダおよびデコーダに組み込まれ得るが、図４から６で説明される実施形態は、図１ａ、１ｂおよび２のエンコーダおよびデコーダを基礎付ける符号化フレームワークにしたがって動作しないエンコーダおよびデコーダを形成するためにも使用することができる。

【0042】

図１ａは、変換ベースの残差符号化を例示的に使用して、ピクチャ１２をデータストリーム１４に予測的に符号化するための装置（例えば、ビデオエンコーダ／ピクチャエンコーダ）を示す。装置、またはエンコーダは、参照符号１０で示される。また、図１ｂは、ピクチャ１２をデータストリーム１４に予測的に符号化するための装置を示し、可能な予測モジュール４４をより詳細に示している。図２は、対応するデコーダ２０、すなわち、変換ベースの残差符号化も使用するピクチャ１２’をデータストリーム１４から予測的に復号するように構成される装置２０を示し、ここで、アポストロフィは、デコーダ２０によって再構成されたピクチャ１２’が、予測残差信号の量子化によってもたらされる損失を符号化する点で、装置１０によって最初にエンコードされるピクチャ１２から逸脱することを示すために使用される。図１ａ、１ｂおよび図２は変換ベースの予測残差符号化を例示的に使用するが、本願の実施形態はこの予測残差符号化の種類に限定されない。以下で概略を述べるように、これは、図１ａ、１ｂおよび図２に関して説明されるほかの詳細についても当てはまる。

【0043】

エンコーダ１０は予測残差信号に空間‐スペクトル変換を施し、得られた予測残差信号をデータストリーム１４にエンコードするように構成される。同様に、デコーダ２０は、データストリーム１４から予測残差信号を復号するように構成され、得られた予測残差信号に空間‐スペクトル変換を施す。

【0044】

内部的に、エンコーダ１０はオリジナル信号、すなわちピクチャ１２から予測信号２６のずれを測定するために予測残差２４を生成する予測残差信号形成器２２を含むことができ、ここで、予測信号２６は、本発明の一実施形態にかかる１つ以上の予測ブロックのセットの線形結合として解釈することもできる。予測残差信号形成器２２は、例えば、オリジナル信号、すなわちピクチャ１２から予測信号を抽出する減算器であってもよい。エンコーダ１０は、残差信号２４に空間‐スペクトル変換を施してスペクトル領域予測残差信号２４’を得る変換器２８をさらに含み、そのあとエンコーダ１０に備える量子化器３２によって量子化が施される。こうして量子化された予測残差信号２４’’は、ビットストリーム１４に符号化される。このため、エンコーダ１０は、データストリーム１４に変換および量子化される予測残差信号をエントロピー符号化するエントロピーコーダ３４を任意に備えることができる。

【0045】

予測信号２６は、データストリーム１４にエンコードされ、データストリーム１４から復号可能な予測残差信号２４’’に基づいて、エンコーダ１０の予測ステージ３６によって生成される。この目的のために、予測ステージ３６は、図１ａに示すように、量子化損失を除いて信号２４’に対応するスペクトル領域予測残差信号２４’’’を得るように予測残差信号２４’’を逆量子化する逆量子化器３８と、続いて後者の予測残差信号２４’’を逆変換、すなわち、スペクトル－空間変換を行い、量子化損失を除いたオリジナル予測残差信号２４に対応する予測残差信号２４’’’’を得る逆変換器４０とを備えることができる。次に、予測ステージ３６の結合器４２は、予測信号２６と予測残差信号２４’’’’とを加算などによって再結合して、再構成信号４６、すなわちオリジナル信号１２の再構成されたものを得る。再構成信号４６は信号１２’に対応していてもよい。次に、予測ステージ３６の予測モジュール４４は、より詳細には図１ｂに示すように、例えば空間予測、すなわちピクチャ内予測、および／または時間予測、すなわちピクチャ間予測を使用して、信号４６に基づいて予測信号２６を生成する。

【0046】

同様に、図２に示すように、デコーダ２０は、予測ステージ３６に対応する構成要素で内部的に構成され、予測ステージ３６に対応する方法で相互に接続することができる。特に、デコーダ２０のエントロピーデコーダ５０は、データストリームから量子化スペクトル領域予測残差信号２４’’をエントロピー復号することができ、その際、予測ステージ３６のモジュールに関して上述した方法で相互接続および協働する逆量子化器５２、逆変換器５４、結合器５６および予測モジュール５８は、予測残差信号２４’’に基づいて再構成信号を復元し、図２に示すように、結合器５６の出力により再構成信号、すなわちピクチャ１２’が結果として得られる。

【0047】

上記では特に説明しなかったが、エンコーダ１０は、例えば、いくつかのレートおよび歪みに関する基準、すなわち符号化コストを最適化する方法などのいくつかの最適化方式に従って、例えば予測モード、動きパラメータなどを含むいくつかの符号化パラメータを設定してもよいことは容易に明らかである。例えば、エンコーダ１０およびデコーダ２０ならびにそれぞれに対応するモジュール４４、５８は、イントラ符号化モードおよびインター符号化モードなどの様々な予測モードをサポートしてもよい。エンコーダおよびデコーダがこれらの予測モードタイプの間で切り替える粒度は、ピクチャ１２および１２’のそれぞれを符号化セグメントまたは符号化ブロックに細分化することに対応することができる。これらの符号化セグメントの単位では、例えば、ピクチャは、イントラ符号化されるブロックとインター符号化されるブロックとに細分化されてもよい。

【0048】

イントラ符号化ブロックは、以下でより詳細に説明するように、それぞれのブロック（例えば、現在のブロック）の空間的に、既に符号化／復号された近傍（例えば、現在のテンプレート）に基づいて予測される。いくつかのイントラ符号化モードが存在し、それぞれの方向性イントラ符号化モードに指定される特定の方向に沿った近傍のサンプル値を、それぞれのイントラ符号化セグメントに外挿することによって、それぞれのセグメントを満たすことに応じて、方向性イントラ符号化モードまたは角度イントラ符号化モードを含むそれぞれのイントラ符号化セグメントに対して選択されてもよい。イントラ符号化モードは、例えば、それぞれのイントラ符号化ブロックの予測がそれぞれのイントラ符号化セグメント内の全てのサンプルにＤＣ値を割り当てるＤＣ符号化モード、および／またはそれぞれのブロックの予測が、隣接するサンプルに基づいて二次元線形関数によって定義される平面のチルトおよびオフセットを駆動するそれぞれのイントラ符号化ブロックのサンプル位置上の二次元線形関数によって記述されるサンプル値の空間分布に近づくまたは決定する平面イントラ符号化モードなどの１つ以上の別のモードを含んでもよい。

【0049】

これと比較して、インター符号化ブロックは、例えば、時間的に予測されてもよい。インター符号化ブロックについては、データストリーム１４内で動きベクトルがシグナリングされてもよく、動きベクトルは、ピクチャ１２が属するビデオの前に符号化されたピクチャ（例えば、参照ピクチャ）の部分の空間変位を示し、それぞれのインター符号化ブロックについての予測信号を得るために、前に符号化／復号されたピクチャがサンプリングされる。これは、量子化されたスペクトル領域予測残差信号２４’’を表すエントロピー符号化変換係数レベルなどのデータストリーム１４によって構成される残差信号符号化に加えて、データストリーム１４は、様々なブロックに符号化モードを割り当てるための符号化モードパラメータ、インター符号化セグメントに対する動きパラメータなどのブロックの一部に対する予測パラメータならびにピクチャ１２および１２’のそれぞれをセグメントに細分化する制御およびシグナリングするパラメータなどの任意の別のパラメータをそこに符号化することができることを意味している。デコーダ２０は、これらのパラメータを使用して、エンコーダが行ったのと同じ方法でピクチャを細分化し、セグメントに同じ予測モードを割り当てて、同じ予測を実行して、同じ予測信号を結果として得る。

【0050】

図３は、一方では再構成された信号、すなわち再構成ピクチャ１２’と、他方ではデータストリーム１４内でシグナリングされた予測残差信号２４’’’’および予測信号２６の結合との間の関係を示す。既に上記で述べたように、結合は加算であってもよい。予測信号２６は、図３において、ハッチングを使用して例示的に示されるイントラ符号化ブロックとハッチングを使用しないで例示的に示されるインター符号化ブロックとにピクチャ領域が細分化されているものとして示されている。細分化は、正方形のブロックもしくは非正方形のブロックの行および列にピクチャ領域を規則的に細分化すること、または、４分木の細分化のようなツリールートブロックから複数の様々なサイズのリーフブロックへピクチャ１２のマルチツリー細分化など、任意に細分化されてもよく、ここで、それらのミックスが図３に示されており、ピクチャ領域がツリールートブロックの行および列にまず細分化され、その後、１つ以上のリーフブロックを再帰的にマルチツリー細分化することによって、さらに細分化される。

【0051】

さらにまた、データストリーム１４は、イントラ符号化ブロック８０について、その中にイントラ符号化モードで符号化されてもよく、いくつかのサポートされるイントラ符号化モードのうちの１つをそれぞれのイントラ符号化ブロック８０に割り当てる。インター符号化ブロック８２について、データストリーム１４はその中に１つ以上の符号化された動きパラメータを有していてもよい。一般的に言えば、インター符号化ブロック８２は時間的な符号化に制限されない。代わりに、インター符号化ブロック８２は、ピクチャ１２に属する前の符号化されたビデオのピクチャのような現在のピクチャ１２自身を超えて前の符号化された部分から予測される任意のブロック、または他の視野（VIEW）のピクチャ、またはスケーラブルエンコーダおよびデコーダのそれぞれのエンコーダおよびデコーダの場合には、階層的に下位の層のものであってもよい。

【0052】

図３において、予測残差信号２４’’’’は、ピクチャ領域をブロック８４に細分化したものとして図示されている。これらのブロックは、符号化ブロック８０および８２と区別するために、変換ブロックと呼ばれてもよい。事実上、図３は、エンコーダ１０およびデコーダ２０が、ピクチャ１２およびピクチャ１２’のそれぞれのブロックへの２つの異なる細分化、すなわち、一方は符号化ブロック８０および８２のそれぞれへの細分化および他方は変換ブロック８４への細分化を使用してもよいことを示している。両方の細分化は、同じもの、すなわち各符号化ブロック８０および８２が変換ブロック８４を同時に形成することができるが、例えば、ブロック８０と８２との２つのブロック間の任意の境界が２つのブロック８４の間の境界を重ね合わせるように、または、代替的に言えば、各ブロック８０、８２が変換ブロック８４のうちの１つと一致するかまたは変換ブロック８４の群と一致するように、変換ブロック８４への細分化が符号化ブロック８０、８２への細分化の拡張を形成する場合を図３は示す。しかしながら、細分化は互いに独立して決定または選択されてもよく、変換ブロック８４がブロック８０、８２間のブロック境界を交互に横切ることができる。したがって、変換ブロック８４への細分化に関する限り、ブロック８０、８２への細分化に関して持ち出されたものと同様の主張が当てはまる、すなわち、ブロック８４は、（行および列への配置を伴うまたは伴わない）ブロックへのピクチャ領域の規則的な細分化の結果、ピクチャ領域の再帰的マルチツリー細分化の結果、またはそれらの組み合わせ若しくは他の任意の種類のブロック化であってもよい。余談だが、ブロック８０、８２、８４は、二次式、矩形またはその他の形状に制限されないことに留意されたい。

【0053】

図３は、予測信号２６と予測残差信号２４’’’’との結合が直接的に再構成信号１２’をもたらすことをさらに示す。しかしながら、代替の実施形態に従って、複数の予測信号２６が予測残差信号２４’’’’と組み合わされ、ピクチャ１２’に帰着してもよいことに留意されたい。

【0054】

図３において、変換ブロック８４は以下の意義を当然に有する。変換器２８と逆変換器５４とは、それらの変換をこれらの変換ブロック８４単位で実行する。例えば、多くのコーデックはすべての変換ブロック８４に対して、何らかのＤＳＴ（離散サイン変換）またはＤＣＴ（離散コサイン変換）を使用する。いくつかの変換ブロック８４に対して、予測残差信号が直接的に空間領域で符号化されるように、いくつかのコーデックは変換をスキップすることができる。しかしながら、以下で説明する実施形態に従って、エンコーダ１０およびデコーダ２０は種々の変換をサポートするように構成される。例えば、エンコーダ１０およびデコーダ２０によってサポートされる変換は以下を含むことができる。
● ＤＣＴ－ＩＩ（または、ＤＣＴ－ＩＩＩ），ここではＤＣＴは離散コサイン変換を表す。
● ＤＳＴ－ＩＶ，ここではＤＳＴは離散サイン変換を表す。
● ＤＣＴ－ＩＶ
● ＤＳＴ－ＶＩＩ
● 恒等変換（ＩＴ）

【0055】

当然、変換器２８はこれらの変換の順変換バージョンのすべてをサポートし、デコーダ２０または逆変換器５４はそれらの以下の対応する後方または逆バージョンをサポートするだろう。
● 逆ＤＣＴ－ＩＩ（または逆ＤＣＴ－ＩＩＩ）
● 逆ＤＳＴ－ＩＶ
● 逆ＤＣＴ－ＩＶ
● 逆ＤＳＴ－ＶＩＩ
● 恒等変換（ＩＴ）

【0056】

以下の説明は、変換がエンコーダ１０およびデコーダ２０によってサポートされてもよいことをより詳細に説明する。いずれにしても、サポートされる変換のセットはスペクトル－空間または空間－スペクトル変換のような１つの変換を含むことができるが、すべてまたは単一のブロック８０，８２，８４に対して、変換がエンコーダまたはデコーダによって使用されないとすることも可能であることに留意されたい。

【0057】

すでに上記で概説したように、図１ａないし３は、本願にかかるエンコーダまたはデコーダについての具体例を形成するために、本明細書で記載される発明の概念を実施し得る例として表されている。その限りにおいて、図１ａ，１ｂおよび２のエンコーダおよびデコーダのそれぞれは、本明細書の上記で記載されるエンコーダおよびデコーダの可能な実装を表すことができる。しかしながら、図１ａ，１ｂおよび２は一例である。しかしながら、本願の実施形態にかかるエンコーダは、本明細書の前後でより詳細に概説する概念を使用してピクチャ１２のブロックベースの符号化を実行し、例えば、ブロック８０への細分化が図３に例示されるものとは異なる方法で実行されるという点、および／または、変換（例えば、変換スキップ／恒等変換）がすべてもしくは単一のブロックで使用されるという点で、図１ａ，１ｂのエンコーダとは異なっていてもよい。同様に、本願の実施形態にかかるデコーダは、以下でさらに概説される符号化概念を使用してデータストリーム１４からピクチャ１２’のブロックベースの復号を実行するが、例えば、同じものが図３に関連して記載されるものとは異なる方法でピクチャ１２’をブロックへ細分化する点、および／または、例えば、変換領域ではなく空間領域で、データストリーム１４から予測残差を導出しない点、および／または、同じものがすべてまたは単一のブロックに対して変換を全く使用しない点で図２のデコーダ２０とは異なっていてもよい。

【0058】

一実施形態によれば、以下で説明される本発明の概念は、エンコーダの変換器２８／逆変換器４０および量子化器３２／逆量子化器３８、または、デコーダの逆変換器５４および逆量子化器５２に関係していてもよい。一実施形態によれば、変換器２８、逆変換器４０，５４、量子化器３２および／または逆量子化器３８，５２は、ピクチャのブロックの可逆符号化を無効にすることができ、ここで可逆符号化は量子化パラメータおよび変換モードのような符号化パラメータによって示される。本発明の概念は、予測残差２４’’および／または予測信号２６および／または予測残差補正予測再構成４６の更なる処理に関係していてもよく、ここで可逆符号化におけるデコーダ／エンコーダの機能に焦点を当てる。

【0059】

量子化ステップサイズ、すなわち量子化精度は、以下で説明されるような選択された変換および変換ブロックサイズに応じて変化させることができる。説明はデコーダの視点から記載されており、量子化ステップサイズを有するデコーダ側のスケーリング５２（乗算）は、ステップサイズによるエンコーダ側の除算の逆（非可逆）と見ることができる。

【0060】

デコーダ側では、Ｈ．２６５／ＨＥＶＣのような最近のビデオ符号化規格において、（量子化）変換係数レベルのスケーリング５２、すなわち逆量子化は、図４に示すように、より高い精度を有するＤＣＴ／ＤＳＴ整数変換から得られる変換係数について示される。そこでは、変数bitDepthは、例えば８または１０ビットのイメージサンプルのビット深度を規定している。変数log2TbWおよびlog2TbHは、変換ブロックの幅および高さのそれぞれを２を底とする対数で規定している。図４は、Ｈ．２６５／ＨＥＶＣのような最近のビデオ符号化規格において、デコーダ側のスケーリング５２および逆変換５４を示す。

【0061】

デコーダにおいて、２つの１次元ＤＣＴ／ＤＳＴベースの整数変換１２８_１は、

【数2】

の追加のファクタを導入し、これは逆数によるスケーリングによって補償する必要があることに注意する必要がある。奇数のｌｏｇ_２ＴｂＨ＋ｌｏｇ_２ＴｂＷを有する非正方形ブロックの場合、スケーリングには√２というファクタが含まれる。これは、１８１／２５６のスケールファクタを加算するか、そのファクタを組み込んだ別のlevelScale値のセット、この場合、例えば、levelScale[ ]={29, 32, 36, 40, 45, 51}を使用するか否かによって考慮できる。恒等変換または変換スキップケース１２８_２の場合、これは適用されない。

【0062】

４以下のＱＰの場合、これらのＱＰのlevelScaleは６４＝２^６よりも小さいので、ステップサイズまたはスケーリングファクタ

【数3】

が１よりも小さくなることがわかる。変換係数の場合では、整数順変換１２８_１は残差信号の精度を上昇させ、結果としてダイナミックレンジが増大するので、これは問題ではない。しかし、恒等変換または変換スキップ１２８_２の場合の残差信号については、ダイナミックレンジの増大はない。この場合、１未満のスケーリングファクタがＱＰ＜４では、スケーリングファクタが１であるＱＰ４にはない歪みが発生する可能性がある。ＱＰを小さくすれば歪みが減少するという量子化器の設計意図と矛盾している。

【0063】

選択された変換、例えば変換をスキップするか否かに応じて量子化ステップサイズを変化させることは、変換スキップ１２８₂についての異なる量子化ステップサイズを導出するために使用されてもよい。特に、最も低いＱＰ０，１，２および３の場合、これは、最も低いＱＰについて１より小さい量子化ステップサイズ／スケーリングファクタを有するという問題を解決することになる。図５に示す一例では、解決策は、量子化パラメータを許容最小値である４（ＱＰ’）にクリップ５３することで、結果として量子化ステップサイズが１より小さくならないようにすることができる。それに加えて、変換で必要となるbdShift1によるサイズ依存の正規化５４₁およびbdShift2によるビット深度への最終丸め処理５４₂は、変換パス５４を移動させることができる。これにより、変換スキップスケーリングは、丸め処理を伴う１０ビットによるダウンシフトに縮小される。別の例では、ＱＰ値を４にクリップする代わりに、エンコーダが変換スキップに対して１未満のスケーリングファクタをもたらすＱＰ値を使用しないようにするビットストリーム制限を定義することができる。図５は、本発明による改良されたデコーダ側のスケーリング５２および逆変換５４を示す。

【0064】

ビットレート範囲の他端、すなわち、より低いビットレートでは、恒等変換１２８₂の量子化ステップサイズはオフセットによって減少されてもよく、その結果、変換を適用しないブロックまたは恒等変換１２８₂を適用するブロックについて忠実性(fidelity)はより高くなる。これにより、エンコーダは、より高い圧縮効率を達成するために、変換スキップブロックに対して適切なＱＰ値を選択することが可能となる。この態様は、恒等変換／変換スキップ１２８₂に限定されず、他の変換タイプ１２８₁のＱＰをオフセットすることによって変更するために使用することもできる。エンコーダは、例えば、与えられたビットレートに対して知覚された視覚的品質を最大化するか、もしくは二乗誤差のような客観的な歪みを最小化するか、または与えられた品質／歪みに対してビットレートを低減することによって、符号化効率を向上させる方法でこのオフセットを決定することになる。スライスＱＰからのこの（適用された基準に関して）最適な導出は、例えば、コンテンツ、ビットレートまたは複雑さの操作点、および選択された変換および変換ブロックサイズなどのさらなるファクタに依存する。本発明は、複数の変換の場合のＱＰオフセットをシグナリングするための方法を説明する。一般性を失うことなく、２つの代替変換が与えられると、固定ＱＰオフセットは、２つの代替変換のそれぞれについて、高レベルのシンタックス構造（シーケンスパラメータセット、ピクチャパラメータセット、タイルグループヘッダー、スライスヘッダー、または同様のものなど）でエンコーダによって伝送されてもよい。代わりに、ＱＰオフセットは、例えば、エンコーダが代替変換を選択したときに、各変換ブロックについてエンコーダによって伝送される。２つのアプローチの組み合わせは、高レベルのシンタックス構造における基本ＱＰオフセット(basis QP offset)、および代替変換を使用する各変換ブロックに対する追加のオフセットのシグナリングである。オフセットは、基本ＱＰに加算または減算される値、またはオフセット値のセットへのインデックスとすることができる。そのセットは、事前に定義されるか、または高レベルのシンタックス構造でシグナリングされてもよい。

【0065】

● 恒等変換の基本ＱＰに対するＱＰオフセットは、高レベルのシンタックス構造、例えば、シーケンス、ピクチャ、タイルグループ、タイルまたはスライスレベルでシグナリングされてもよい。
● 代わりに、恒等変換の基本ＱＰに対するＱＰオフセットは、各符号化ユニットまたは符号化ユニットの予め定義されたセットに対してシグナリングされてもよい。
● 代わりに、恒等変換の基本ＱＰに対するＱＰオフセットは、恒等変換を適用する各変換ユニットに対してシグナリングされてもよい。

【0066】

図６は、デコーダ、例えば図１ａないし図２に示すデコーダ２０または３６の特徴および機能を示す。また、以下の説明は主にデコーダの観点から記載されているが、エンコーダが並行する特徴を備えてもよいことは明らかである。

【0067】

ピクチャ１２はエンコーダによってデータストリーム１４に符号化され、デコーダはデータストリーム１４に基づいて再構成されたピクチャを提供するように構成され、再構成されたピクチャはピクチャ１２と等しい、または可逆符号化の場合にはピクチャ１２に認識可能な最小限の差異を有しない。ピクチャ１２を、部分１００、すなわちブロック、および領域１０４に分割することができる。領域１０４は、複数の部分１００を含む。既定の部分１００は、既定の領域１０４の中にある。データストリーム１４は、複数の符号化パラメータ９８のような部分個別情報および任意的に可逆符号化シンタックス要素１０２のような領域個別情報を含んでいてもよい。複数の符号化パラメータ９８は、ピクチャ１２の既定の部分１００に関連し、既定の部分１００に関して、例えば図１ａないし図２に示す変換器２８および逆変換器４０，５４内の予測残差変換モードと、例えば図１ａないし図２に示す量子化器２８および逆量子化器４０，５４内の量子化精度と、を制御する。予測残差変換モードは、変換モード指示シンタックス要素９８₁によって制御されてもよい。量子化精度は、量子化パラメータ（ＱＰ）９８₂によって制御されてもよい。

【0068】

データストリーム１４からピクチャ１２を復号するためのデコーダは、複数の符号化パラメータ９８が、直ちにそのような符号化をシグナリングするので、または、デコーダが、ＴＭ＝変換スキップの場合に、ＱＰ＜４をＱＰ＝４にマッピングするなど、可逆残差符号化につながる設定にそのような設定を解釈または変更するように構成されていることによって、可逆予測残差符号化１０６₁に対応する符号化パラメータ設定を示しているか否かを確認する１０６ように構成される。また、ピクチャ１２をデータストリーム１４にエンコードするエンコーダは、複数の符号化パラメータ９８が、可逆予測残差符号化１０６₁に対応する符号化パラメータ設定を示しているか否かを確認するように構成されていてもよい。（ＱＰ，ＴＭ）＝（４，変換スキップ）または（ＱＰ，ＴＭ）＝（１…４，変換スキップ）は、可逆予測残差符号化１０６₁に対応する符号化パラメータ設定を示していてもよい。量子化パラメータ９８₂を既定の量子化精度と同じかそれより細かい量子化精度に、および／または、変換モード指示シンタックス要素９８₁を変換モードとして変換スキップに設定した符号化パラメータ設定が、可逆予測残差符号化１０６₁に対応していてもよい。

【0069】

一実施形態によれば、デコーダ／エンコーダは、データストリーム１４から／データストリーム１４に複数の符号化パラメータ９８を読み取り／シグナリングし、複数の符号化パラメータ９８によって示される予測残差変換モード、例えば変換モード指示シンタックス要素９８₁によって示される予測残差変換モードが、変換スキップモードに対応するか否か、および複数の符号化パラメータ９８によって示される量子化精度、例えば量子化パラメータ９８₂によって示される量子化精度が、無量子化に相当する既定の量子化ステップサイズよりもより細かい量子化精度に対応するか否か、例えばＱＰ＜４に対応するか否か、を確認し、対応する場合は、量子化ステップサイズを既定の量子化ステップサイズ、例えば、ＱＰ＝４に変更するように構成される。変換モードが変換スキップに設定されている場合、デコーダ／エンコーダは、既定の量子化精度（ＱＰ＜４）よりも細かい量子化パラメータ９８₂を既定の量子化精度に等しい量子化パラメータ９８₂にマッピングして、可逆符号化を可能にするように構成される。既定の量子化精度は、無量子化器３２、５２、または量子化器３２、５２のバイパスまたは無効化を表してもよい。

【0070】

複数の符号化パラメータ９８が可逆予測残差符号化１０６₁に相当する符号化パラメータ設定を示すことに応答して、デコーダ／エンコーダは、既定の部分１００に関して（例えば、エンコーダの予測ループ内で）予測残差補正予測再構成を処理するためのデコーダ／エンコーダの１つ以上のツールに関する１つ以上の既定の符号化オプションを、１つ以上のツールが既定の部分１００に関して無効になるように設定する１１０ように構成される。予測残差補正予測再構成は、図１ａないし図２に示すように、結合器５６または４２のそれぞれの出力、すなわち再構成信号４６を表すことができる。１つ以上のツールは、例えば、デブロッキング、ＳＡＯ、ＡＬＦに関連し、結合器５６または４２のそれぞれの出力４６の下流に配置されてもよい。

【0071】

一実施形態によれば、デコーダ／エンコーダは、可逆予測残差符号化１０６₁に相当する符号化パラメータ設定を複数の符号化パラメータが示す場合には、１つ以上のツールが既定の部分１００に関して無効になるように１１０、可逆予測残差符号化に相当する符号化パラメータ設定を複数の符号化パラメータが示さない場合、すなわち非可逆符号化の場合１０６₂には、既定のツール状態になるように、１つ以上の既定の符号化オプションを既定の部分１００に関して設定するように構成される。

【0072】

デコーダは、任意的に、既定の部分１００をカバーするまたは既定の部分１００を含むピクチャの既定の領域１０４が、排他的ではなく、確認１０６を満たす部分について、可逆符号化を使用してデータストリーム１４に符号化されているか非可逆符号化を使用してデータストリーム１４に符号化されているかを示す可逆符号化シンタックス要素１０２（例えば、エンコーダによって決定され、エンコードされる）をデータストリーム１４から読み取るように構成される。デコーダは、ピクチャ１２の既定の領域１０４が可逆符号化１０６₁を使用してデータストリーム１４に符号化されていると可逆符号化シンタックス要素１０２が示し、かつ、可逆予測残差符号化１０６₁に相当する符号化パラメータ設定を複数の符号化パラメータ９８が示す場合、１つ以上のツールが既定の部分１００に関して無効になるように、１つ以上の既定の符号化オプションを設定する１１０ように構成される。さらに、デコーダは、複数の符号化パラメータ９８が可逆予測残差符号化１０６₁に相当する符号化パラメータ設定を示していない、すなわち等しくない場合、または、ピクチャ１２の既定の領域１０４が非可逆符号化１０６₂を使用してデータストリーム１４に符号化されていると可逆符号化シンタックス要素１０２が示す場合、既定のツール状態になるように、１つ以上の既定の符号化オプションを設定する１２０ように構成される。可逆符号化シンタックス要素１０２はピクチャ１２の領域１０４についてシグナリングされ、領域１０４内の各部分１００に対して、デコーダ／エンコーダは、複数の符号化パラメータ９８が個々の部分１００について可逆符号化１０６₁または非可逆符号化１０６₂を示しているか否かを確認する１０６。したがって、いくつかの部分が、領域１０４の全体に対する可逆符号化シンタックス要素１０２によって示されるのとは異なって復号／エンコードされることが可能である。

【0073】

一実施形態によれば、デコーダは、データストリーム１４中の１つ以上のシンタックス要素１０８、例えばＳＡＯ、ＡＬＦなどに関連するシンタックス要素に応じて、既定のツール状態を決定するように構成される。可逆符号化１０６₁の場合、１つ以上のツールが無効になっている１１０ので、デコーダは、１つ以上のツールシンタックス要素１０８の読み取りをスキップする１２２ように構成される。任意的に、既定の部分１００に関する１つ以上の既定の符号化オプションが、１つ以上のツールが既定の部分１００に関して無効になるように１１０設定されている場合、１つ以上のシンタックス要素１０８のうちの少なくとも１つがデータストリーム１４にはない、態様３．４と比較されたい。

【0074】

一実施形態によれば、デコーダは、複数の符号化パラメータ９８が可逆予測残差符号化１０６₁に相当する符号化パラメータ設定を示すことに応答して、例えば以下の説明において、以下の態様１ないし３．４に関して説明される、既定の部分１００に関する１つ以上の別の符号化オプションをデフォルト状態に設定する１３０ように構成される。デフォルト状態は、既定の部分１００の予測信号、例えば図１ａから図２に示される予測信号２６の導出のためのローパスフィルタリングに関して、フィルタリングの低減またはフィルタリングの無効化が行われたこと、態様３．３を参照、および／または予測残差信号、例えば図１ａから図２に示される予測残差信号２４に対して完全逆変換を行うこと、態様３．２を参照、を表していてもよい。別の符号化オプションは、予測残差データのビン文字列への二値化およびビン文字列のコンテキスト適応バイナリエントロピー復号、態様３．１を参照、および／または予測残差２４’’，２４’’’もしくは既定の部分１００の予測残差補正再構成４６に対する完全逆変換の使用、態様３．２を参照、および／または既定の部分の予測信号２６の導出のためのフィルタリングの無効化または低減化、態様３．３を参照、および／または既定の部分１００に関する予測残差補正予測再構成４６または予測残差再量子化の処理の無効化、態様３．４、に関連してもよい。同様に、エンコーダに対する別の符号化オプションは、予測残差データのビン文字列への二値化およびビン文字列のコンテキスト適応バイナリエントロピーエンコーディング、および／またはエンコーダの予測ループ内の予測残差２４’’ ’，２４’’’ ’もしくは既定の部分の予測残差補正再構成４６に対する完全逆変換の使用、および／または既定の部分の予測信号２６の導出のためのフィルタリングの無効化または低減化、および／または既定の部分１００に関する予測残差補正予測再構成４６の処理もしくは予測残差量子化の処理の無効化に関連してもよい。

【0075】

エンコーダは、データストリーム１４中の複数の符号化パラメータ９８、可逆符号化シンタックス要素１０２および／またはツールシンタックス要素１０８を決定し、エンコードするように構成することができる。エンコーダは、デコーダに関して説明したような並行する特徴および／または機能を備えることができる。これは、少なくとも、デコーダと同じ特徴および／または機能を有するエンコーダの予測ループ３６に適用される。しかし、デコーダの逆変換器５４または逆量子化器５２に関連する特徴も同様に、エンコーダの変換器２８および／または量子化器３２に適用することもできることは明らかである。

【0076】

以下の態様の１つ以上は、図６に関して説明されたデコーダ／エンコーダに統合されてもよい。代わりに、以下の態様は、デコーダまたはエンコーダにおいて個別に実装されてもよい。

【0077】

態様１：可逆画像またはビデオ符号化のためのシンタックス要素の数の削減
この態様の基本的なアプローチは、上記の修正によって、符号化量子化パラメータ（ＱＰ）が４（ユニティステップサイズ）を採用し、ループ内フィルタなどの符号化ツールによるブロックサンプルの再構成後の修正が無効にされた場合、その機能はサブブロックに関する変換スキップ機能によって完全に提供されるので、サブブロックに関する変換量子化バイパス符号化フラグは廃止される。このようなフィルタ後の無効化を、変換スキップモードと４以下のＱＰとの条件付けによって実現することができる。

【0078】

以下の段落では、様々な可能性のある実装が特定される。

【0079】

態様１の実施形態は、transform＿skip＿flagと呼ばれる、符号化ブロックに関する（ここでは、変換ブロックに関する、色成分に関する）１ビットの変換スキップインジケータによるものである。このインジケータは、例えば表１に示すように、変換ユニットの符号化シンタックスの一部として伝送される。複数の符号化パラメータ９８は、ピクチャ１２の既定の部分１００に関する予測残差変換モードを制御するtransform＿skip＿flag、すなわち、変換モード指示シンタックス要素９８₁を含むことができる。transform＿skip＿flagは、既定の部分１００に対する変換モード、すなわち予測残差変換モードとして、変換スキップを定義する。

【0080】

【表1】

【表2】

【0081】

このtransform＿skip＿flag（変換スキップを使用する場合は値１、それ以外の場合は値０）に応じて、実際の量子化パラメータｑＰ９８₂は、例えば、項１．１に記載のパレット符号化のための式（４３６）－（４３８）、および、それ以外は項１．２に記載の変換係数スケーリングのための式（１１５３）で規定されるように決定されてもよい。複数の符号化パラメータ９８は、ピクチャ１２の既定の部分１００に関する量子化精度を制御するこの量子化パラメータｑＰ９８₂を含んでいてもよい。

【0082】

１．１パレットモードのための復号処理
この処理への入力は以下の通りである。
－現在のピクチャの左上のサンプルに関する現在の符号化ブロックの左上のサンプルを特定する位置(xCbComp,yCbComp)－シングルツリーとデュアルツリーのどちらを使用するかを特定する変数treeType、およびデュアルツリーを使用する場合は、現在のツリーがルマ成分またはクロマ成分のどちらに対応するかを特定する。
－現在のブロックの色成分を特定する変数cIdx－現在の符号化ブロックの幅および高さのそれぞれを特定する２つの変数nCbWおよびnCbH
この処理の出力は、配列recSamples[x][y]、ここでx=0..nCbW-1，y=0..nCbH-1であり、ブロックの再構成サンプル値を特定する。

【0083】

treeTypeの値に応じて、変数startComp、numCompsおよびmaxNumPalettePredictorSizeが以下のように導出される。
－treeTypeがSINGLE＿TREEに等しい場合：
startComp=0 (422)
numComps=sps＿chroma＿format＿idc==0? 1 : 3 (423)
maxNumPalettePredictorSize=63 (424)－それ以外の場合で、treeTypeがDUAL＿TREE＿LUMAに等しい場合：
startComp=0 (425)
numComps=1 (426)
maxNumPalettePredictorSize=31 (427)－それ以外の場合で、treeTypeがDUAL＿TREE＿CHROMAに等しい場合：
startComp=1 (428)
numComps=2 (429)
maxNumPalettePredictorSize=31 (430)

【0084】

cIdxの値に応じて、変数nSubWidthおよびnSubHeightは以下のように導出される；－cIdxが０より大きく、startCompが０に等しい場合、nSubWidthはSubWidthCに等しく、nSubHeightはSubHeightCに等しく設定される。
－それ以外の場合、nSubWidthは１に等しく設定され、nSubHeightは１に等しく設定される。

【0085】

位置(xCbComp,yCbComp)における再構成サンプル配列recSamplesの(nCbW x nCbH)ブロックは、recSamples[x][y]、ここで、x=0..nCbW-1、y=0..nCbH-1で表され、0からnCbW-1までの範囲のそれぞれのx、および、0からnCbH-1までの範囲のそれぞれのyについての、recSamples[x][y]の値は、下記のように導出される：－変数xL，yL，xCbL，yCbLは以下のように導出される：
xL=x*nSubWidth (431)
yL=y*nSubHeight (432)
xCbL=xCbComp*nSubWidth (433)
yCbL=yCbComp*nSubHeight (434)－変数bIsEscapeSampleは以下のように導出される：
－PaletteIndexMap[xCbL+xL][yCbL+yL]がMaxPaletteIndexと等しく、かつpalette＿escape＿val＿present＿flagが１である場合、bIsEscapeSampleに１が設定される。
－それ以外の場合、bIsEscapeSampleは０に設定される。
－bIsEscapeSampleが０に等しい場合、以下が適用される：
recSamples[x][y]=CurrentPaletteEntries[cIdx][PaletteIndexMap[xCbL+xL][yCbL+yL]] (435)－それ以外の場合（bIsEscapeSampleが１に等しい場合）、以下の順序のステップが適用される：
１．量子化パラメータqPは以下のように導出される：
－cIdxが０に等しい場合，
qP=Max(QpPrimeTsMin,Qp’Y) (436)
－それ以外の場合で、cIdxが１に等しい場合，
qP=Max(QpPrimeTsMin,Qp’Cb) (437)
－それ以外の場合（cIdxが２に等しい場合），
qP=Max(QpPrimeTsMin,Qp’Cr) (438)

【0086】

１．２変換係数のスケーリング処理
この処理への入力は以下の通りである。
－現在のピクチャの左上のルマに関する現在のルマ変換ブロックの左上のサンプルを特定するルマの位置(xTbY,yTbY)－変換ブロックの幅を特定する変数nTbW－変換ブロックの高さを特定する変数nTbH－符号化ユニットの色要素を特定する変数predMode－現在のブロックの色要素を特定する変数cIdx
この処理の出力は、要素d[x][y]を有するスケーリングされた変換係数の(nTbW) x (nTbH)配列dである。
量子化パラメータqPと変数QpActOffsetとは以下のように導出される。
－cIdxが０に等しい場合、以下が適用される：
qP=Qp’Y (1142)
QpActOffset=cu＿act＿enabled＿flag[xTbY][yTbY]? -5 :0 (1143)－それ以外の場合で、TuCResMode[xTbY][yTbY]が２に等しい場合、以下が適用される：
qP=Qp’CbCr (1144)
QpActOffset=cu＿act＿enabled＿flag[xTbY][yTbY]? 1 : 0 (1145)－それ以外の場合で、cIdxが１に等しい場合、以下が適用される：
qP=Qp’Cb (1146)
QpActOffset=cu＿act＿enabled＿flag[xTbY][yTbY]? 1 : 0 (1147)－それ以外の場合(cIdxが２に等しい場合)、以下が適用される：
qP=Qp’Cr (1148)
QpActOffset=cu＿act＿enabled＿flag[xTbY][yTbY]? 3 : 0 (1149)
量子化パラメータqPが変更され、変数rectNonTsFlagおよびbdShiftが以下のように導出される：－transform＿skip＿flag[xTbY][yTbY][cIdx]が０に等しい場合、以下が適用される：
qP=Clip3(0,63+QpBdOffset,qP+QpActOffset) (1150)
rectNonTsFlag=(((Log2(nTbW)+Log2(nTbH))&1)==1)? 1 : 0 (1151)
bdShift=BitDepth+rectNonTsFlag+
((Log2(nTbW)+Log2(nTbH))/2)-5+sh＿dep＿quant＿used＿flag (1152)－その他の場合（transform＿skip＿flag[xTbY][yTbY][cIdx]が１に等しい場合）、以下が適用される：
qP=Clip3(QpPrimeTsMin,63+QpBdOffset,qP+QpActOffset) (1153)
rectNonTsFlag=0 (1154)
bdShift=10 (1155)

【0087】

一実施形態によれば、ｑＰの値は、式（６９）によって特定される定数（与えられたビデオシーケンスのすべてにわたる）であるQpPrimeTsMinの最小値以上となるように制限される。

【0088】

sps＿internal＿bitdepth＿minus＿input＿bitdepthは、以下のように変換スキップモードについて最小許容量子化パラメータを特定する：
QpPrimeTsMin=4+6*sps＿internal＿bitdepth＿minus＿input＿bitdepth (69)
sps＿internal＿bitdepth＿minus＿input＿bitdepthの値は、０ないし８の範囲を含めるべきである。

【0089】

言い換えると、デコーダ／エンコーダは、データストリーム１４から／データストリーム１４に複数の符号化パラメータ９８を読み取り／シグナリングし、複数の符号化パラメータが示す予測残差変換モードが変換スキップモードおよび無量子化に相当する既定の量子化ステップサイズ、すなわちQpPrimeTsMinよりもより細かい量子化ステップサイズに対応するか否かを確認し、対応する場合は、量子化ステップサイズを既定の量子化ステップサイズに変更するように構成される。最後に、QpPrimeTsMinは、シーケンス単位で伝送される（シーケンスのヘッダ内の）パラメータsps＿internal＿bitdepth＿minus＿input＿bitdepthによって規定される。既定の量子化ステップサイズは内部ビット深度および入力ビット深度に依存してもよく、例えば、内部ビット深度と入力ビット深度との差に依存してもよい。デコーダ／エンコーダは、その差に基づいて、量子化ステップサイズスケールパラメータの最小値、すなわち既定の量子化ステップサイズおよび／またはQpPrimeTsMinを推測するように構成されてもよく、予測残差変換スキップモードで部分１００についての最小量子化ステップサイズスケールパラメータに従うように構成されてもよい。デコーダ／エンコーダは、予測残差変換スキップモードで符号化された部分１００について最小量子化ステップサイズスケールパラメータに従う際に、部分１００についてデータストリーム１４にシグナリングされたシグナリングされた量子化ステップサイズスケールパラメータ９８₂を、シグナリングされた量子化ステップサイズスケールパラメータが最小量子化ステップサイズスケールパラメータを下回る場合に、最小量子化ステップサイズスケールパラメータに等くなるように変更するように構成されてもよい。このパラメータがゼロに等しい場合（一般に見たことがないケース）、結果としてQpPrimeTsMinの値は４になることに留意されたい。

【0090】

したがって、要素sps＿internal＿bitdepth＿minus＿input＿bitdepth，要素transform＿skip＿flag，変数QpPrimeTsMinを使用して、符号化または変換ユニットなどの特定のピクチャ領域および特定の色成分内の予測残差補正予測再構成ピクチャサンプルの可逆符号化を実現することができる。

【0091】

ループ内“再構成後”デブロッキングフィルタリングが存在するときでさえ、可逆符号化を達成するために、qPの値がQpPrimeTsMin以下の場合にフィルタリングが効果的にバイパスされるように、デブロッキングフィルタリングパラメータは実際の量子化パラメータqPにも左右される。これは、表２、項１．３の式（１２８０）および（１２８２）に示すように、デブロッキングパラメータβ’およびｔｃ’の両方がゼロになるように対応する仕様によって達成される。これは、式（６９）のQpPrimeTsMinが４よりも大きい場合（結果として、sps＿internal＿bitdepth＿minus＿input＿bitdepth＞０である場合）に、式（１２８０）についてのsh＿luma＿beta＿offset＿div2および式（１２８２）についてのsh＿luma＿tc＿offset＿div2に対して特定の適切な値を伝送することが必要とされてもよいことに留意されたい。デコーダ／エンコーダは、既定の部分１００に関して予測残差補正予測再構成を処理するため、または予測残差再量子化／量子化のためのデコーダ／エンコーダの１つ以上のツールに関連する１つ以上の既定の符号化オプションが、ピクチャ１２の既定の部分１００が可逆符号化１０６₁を使用してデータストリーム１４に符号化されている場合には、１つ以上のツールが既定の部分１００に関して無効になるように、ピクチャの既定の部分１００が非可逆符号化１０６₂を使用してデータストリーム１４に符号化されている場合には、複数の符号化パラメータ９８から１つ以上の既定の符号化オプションを導出すること１２０によって、設定される１１０と推論するように構成される。

【0092】

１．３ルーマブロックエッジの判定処理
この処理への入力は以下の通りである：－ピクチャサンプル配列recPicture，－現在のピクチャの左上のサンプルに関する現在の符号化ブロックの左上のサンプルを特定する位置(xCb,yCb)，－現在の符号化ブロックの左上のサンプルに関する現在のブロックの左上のサンプルを特定する位置(xBl、yBl)，－垂直エッジ(EDGE＿VER)または水平エッジ(EDGE＿HOR)をフィルタリングするか否かを特定する変数edgeType，－境界のフィルタリング強度を特定する変数bS，－最大フィルタ長を特定する変数maxFilterLengthP，－最大フィルタ長を特定する変数maxFilterLengthQ
この処理の出力は以下のとおりである：－決定を含む変数dE，dEpおよびdEq，－修正されたフィルタ長の変数maxFilterLengthPおよびmaxFilterLengthQ，－変数t_C
サンプル値pi,kおよびqj,k、ここでi=0.Max(2,maxFilterLengthP),j=0.Max(2,maxFilterLengthQ),k=0,3は、以下のように導出される。
－ edgeTypeがEDGE＿VERと等しい場合、以下が適用される。
q_j,k=recPicture[xCb+xBl+j][yCb+yBl+k] (1273)
p_i,k=recPicture[xCb+xBl-i-1][yCb+yBl+k] (1274)－それ以外の場合（edgeTypeがEDGE＿HORと等しい場合）、以下が適用される。
q_j,k=recPicture[xCb+xBl+k][yCb+yBl+j] (1275)
p_i,k=recPicture[xCb+xBl+k][yCb+yBl-i-1] (1276)
変数qpOffsetは以下のように導出される。
－ sps＿ladf＿enabled＿flagが１に等しい場合、以下が適用される。
－再構成されたルマレベルの変数lumaLevelは、以下のように導出される。
lumaLevel=((p_0,0+p_0,3+q_0,0+q_0,3)>>2), (1277)－変数qpOffsetはsps＿ladf＿lowest＿interval＿qp＿offsetに等しく設定され、以下のように修正される。
for(i=0;i<sps＿num＿ladf＿intervals＿minus2+1 ; i++){
if(lumaLevel>SpsLadfIntervalLowerBound[i+1])
qpOffset=sps＿ladf＿qp＿offset[i] (1278)
else
break
}－それ以外の場合は、qpOffsetは０に等しく設定される。
変数Qp_QおよびQp_Pは、サンプルq_0,0およびp_0,0のそれぞれを含む符号化ブロックを含む符号化ユニットのQp_Yの値に等しく設定される。
変数qPは次のように導出される。
qP=((Qp_Q+Qp_P+1)>>1)+qpOffset (1279)
変数β’の値は、以下のように導出される量子化パラメータＱに基づいて、表２で特定されるように決定される。
Q=Clip3(0,63,qP+(sh＿luma＿beta＿offset＿div2<<1)) (1280)
ここで、sh＿luma＿beta＿offset＿div2は、サンプルq_0,0を含むスライスに対するシンタックス要素sh＿luma＿beta＿offset＿div2の値である。
変数βは、以下のように導出される。
β=β′*(1<<(BitDepth-8)) (1281)
変数t_C'の値は、以下のように導出される量子化パラメータＱに基づいて、表２で特定されるように決定される。
Q=Clip3(0,65,qP+2*(bS-1)+(sh＿luma＿tc＿offset＿div2<<1)) (1282)
ここで、sh＿luma＿tc＿offset＿div2は、サンプルq_0,0を含むスライスに対するシンタックス要素sh＿luma＿tc＿offset＿div2の値である。
変数t_Cは、以下のように導出される。
roundOffset=1<<(9-BitDepth) (1283)
tC=BitDepth<10?(tC′+roundOffset)>>(10-BitDepth):tC′*(1<<(BitDepth-10))
(1284)

【0093】

【表3】

【0094】

態様２：新しい“グローバルな”lossless＿codingフラグの導入
可逆符号化性能のためのＶＶＣ構成を効率化するために、画像またはビデオ符号化ビットストリームのシーケンス、フレーム、ピクチャ、サブピクチャ、タイルグループ、またはスライスヘッダシンタックスに、本明細書においてlossless＿codingと呼ばれる新しい１ビットのフラグを導入することが提案される。言い換えれば、０（可逆符号化操作なし、すなわち、通常モード）または１（可逆モード）の値を有することができ、影響を受ける画像またはビデオコーデックが提供する（すなわち、指定する）少なくとも２つの符号化ツールの操作（活性化または不活性化またはアルゴリズムの詳細）を制御する新しい（サブブロックレベルに対して）“グローバルな”フラグを導入することが提案されている。具体的には、以下のリストのツールのうちの少なくとも２つの操作は、lossless＿codingフラグに依存する。
● 任意の残差（空間または変換）信号係数に対するエントロピー符号化器
● 変換行列操作に関する成分間結合変換（ＩＣＴ）
● いくつかの予測符号化ツールのスムーズなフィルタリング操作（無効化する）
● ループ内フィルタ：デブロッキング、形状適応オフセット、適応ループフィルタ（ＡＬＦ）、リシェーパ（無効化）
● 残差空間係数または残差変換係数の量子化（無効化）

【0095】

態様３：個々の符号化ツールにおける“グローバル”なlossless＿codingフラグの望ましい影響
この第３の態様は、上記の態様１で述べたlossless＿codingフラグの値または変換モード（変換スキップ機能を示す）およびＱＰ（特定のステップサイズを示す）の推測される意味が、前記lossless＿codingフラグまたは前記推測される意味と関連付けられた与えられたピクチャ領域または部分に対するエントロピー符号化、成分間変換、予測およびループ内フィルタリングツールの動作をいかに変更するかを詳細に特定している。

【0096】

３．０量子化
量子化パラメータ（ＱＰ）は４と等しく、変換スキップモードを使用することで、結果として残差信号の可逆量子化モードとなる。入力ビット深度と内部ビット深度とが異なる場合、ビット深度の補正が必要である。入力ビット深度と内部ビット深度との差は、入力ビット深度を上位のシンタックスでシグナリングすることにより実現できる。代わりに、入力ビット深度と内部ビット深度との差は、上位のシンタックスで伝送することができる。もう一つの代わりの方法は、ベースＱＰに絶対的または相対的に、上位のシンタックスで変換スキップの最小許容ＱＰをシグナリングすることである。

【0097】

実施形態は、内部ビット深度でデータストリーム１４からビデオ復号を行い、入力ビット深度または内部ビット深度でビデオ出力を行うように構成されたビデオデコーダに関するものである。ビデオデコーダは、内部ビット深度と入力ビット深度との差を示すシンタックス要素をデータストリームから読み取るように構成される。並行して、ビデオエンコーダは、内部ビット深度でデータストリーム１４にビデオエンコーディングを行い、入力ビット深度または内部ビット深度でビデオ入力を受信するように構成される。ビデオエンコーダは、内部ビット深度と入力ビット深度との差を示すシンタックス要素をデータストリーム１４にエンコードするように構成される。

【0098】

ビット深度の遷移は、内部再構成ビデオバージョン４６から入力ビット深度へ実行されてもよい。デコーダは、ビデオ出力の前にこの遷移を実行するように構成されてもよく、エンコーダは、予測ループ３６においてこの遷移を実行するように構成されてもよい。

【0099】

一実施形態によれば、デコーダ／エンコーダは、差に基づいて、例えば非ゼロの差に起因して、量子化ステップサイズスケールパラメータの最小値、例えば量子化パラメータ９８₂を推測するように構成され、４とは別のＱＰが可逆符号化またはほぼ可逆符号化をもたらし、予測残差変換スキップモードで符号化されたビデオの部分についての最小量子化ステップサイズスケールパラメータに従うように構成される。デコーダ／エンコーダは、最小値よりも細かい量子化ステップサイズスケールパラメータ９８₂、例えばＱＰ＜４を、最小値に等しい量子化ステップサイズスケールパラメータ９８₂にマッピングして、可逆符号化を可能にするように構成される。可逆符号化のために、最小値は、無量子化器３２，５２または量子化器３２，５２のバイパスもしくは無効化に関連付けられてもよい。デコーダ／エンコーダは、予測残差変換スキップモードで符号化されたビデオ部分１００について最小量子化ステップサイズスケールパラメータに従う際に、ビデオ部分１００についてデータストリーム１４でシグナリングされた、シグナリングされた量子化ステップサイズスケールパラメータを、シグナリングされた量子化ステップサイズスケールパラメータが最小量子化ステップサイズスケールパラメータを下回る場合に、最小量子化ステップサイズスケールパラメータに等しくなるように変更するように構成されてもよい。デコーダ／エンコーダは、データストリーム１４が可逆符号化モード１０６₁をシグナリングするビデオ領域１０４内においてのみ、最小量子化ステップサイズスケールパラメータに従ってもよい。

【0100】

別の実施形態はビデオデコーダに関連し、内部ビット深度でデータストリーム１４からビデオ復号を行い、入力ビット深度または内部ビット深度でビデオ出力を行い、量子化ステップサイズスケールパラメータの最小値（ＱＰ最小値）を示すシンタックス要素を、例えば入力ビット深度または内部ビット深度との間の非ゼロの差に起因して、データストリーム１４から読み取るように構成され、この差は、例えば、ＱＰ最小値に加えて、差を伝送する方法または両方の値、すなわち、入力ビット深度と内部ビット深度とを伝送する方法のいずれかによって、デコーダにも通知されてもよい。４とは別のＱＰは、可逆符号化をもたらすか、またはほぼ可逆符号化をもたらすかもしれない。並行して、ビデオエンコーダは、内部ビット深度でデータストリーム１４にビデオエンコードを行い、入力ビット深度または内部ビット深度でビデオ入力を受信し、量子化ステップサイズスケールパラメータの最小値を示すシンタックス要素をデータストリーム１４にエンコードするように構成されてもよい。デコーダ／エンコーダは、予測残差変換スキップモードで符号化されたビデオ部分１００について最小量子化ステップサイズスケールパラメータに従う際に、任意に、ビデオ部分１００についてデータストリーム１４にシグナリングされた、シグナリングされた量子化ステップサイズスケールパラメータを、シグナリングされた量子化ステップサイズスケールパラメータが最小量子化ステップサイズスケールパラメータを下回る場合に、最小量子化ステップサイズスケールパラメータに等しくなるように変更するように構成されてもよい。デコーダ／エンコーダは、データストリーム１４が可逆符号化モード１０６₁をシグナリングするビデオ領域１０４内においてのみ、最小量子化ステップサイズスケールパラメータに従ってもよい。

【0101】

別の実施形態は、内部ビット深度および入力ビット深度またはそれらの差の表示をデータストリーム１４から／データストリーム１４に導出／エンコードし、内部ビット深度でデータストリーム１４から／データストリーム１４にビデオ復号／エンコードを行うように構成されるビデオデコーダ／エンコーダに関するものであり、デコーダは入力ビット深度でビデオ出力するように構成され、エンコーダは入力ビット深度でビデオ入力を受信するように構成される。さらに、デコーダ／エンコーダは、内部ビット深度が入力ビット深度を下回るか否かを確認し、入力ビット深度に対応するように内部ビット深度を変更するように構成される。任意的に、デコーダ／エンコーダは、データストリーム１４から／データストリーム１４に、可逆符号化ビデオ部分の表示を導出／エンコードし、可逆符号化ビデオ部分内で確認および変更を行い、非可逆符号化ビデオ部分について、例えばデータストリーム１４から導出されるように、内部ビット深度を使用するように構成される。内部ビット深度は、データストリームにおいてエンコーダでシグナリングされてもよい。

【0102】

３．１．エントロピー符号化
例えば、ＱＰが４の可逆符号化は、一般的に非可逆符号化と比べて著しく高いビットレートを引き起こすため、エントロピー符号化エンジンは処理のボトルネックを防ぐために高スループットモードに切り替えることができる。これは、例えば、二値化において異なる符号を使用するか、コンテキストモデリングとバイナリ算術符号化とを使用するＣＡＢＡＣにおいて、通常の符号化モードの代わりに、バイパス符号化モードで二値化後に多くのビンを処理することによって行うことができる。

【0103】

一実施形態は、デコーダ（エンコーダ）に関するものであり、ピクチャ１２の既定の部分１００に対して、それが可逆符号化１０６₁を使用してデータストリーム１４に符号化されている（される）か非可逆符号化１０６₂を使用してデータストリーム１４に符号化されている（される）かを決定するように構成され、予測残差データのビン文字列への二値化およびビン文字列のコンテキスト適応バイナリエントロピー復号（エンコーディング）を使用して、データストリーム１４から（データストリーム１４に）既定の部分のための予測残差を、ピクチャ１２の既定の部分１００が可逆符号化１０６₁を使用してデータストリーム１４に符号化されている（される）場合には第１の方法で（表１においてresidual＿ts＿coding( )という）、ピクチャ１２の既定の部分１００が非可逆符号化１０６₂を使用してデータストリーム１４に符号化されている（される）場合には第２の方法（表１においてresidual＿coding( )という）で復号（エンコード）するように構成され、第１の方法および第２の方法は異なっており、第１の方法の方が第２の方法に比べて計算複雑さが低減されている。

【0104】

ピクチャ１２の既定の部分１００が可逆符号化１０６₁または非可逆符号化１０６₂を使用してデータストリーム１４に符号化されているか否かの決定は、例えば、図６のデコーダ／エンコーダに関して説明したように、データストリーム１４に基づいて、または部分に関する変換量子化バイパス符号化フラグの読み取りによって、または異なる方法で、行うことができる。一実施形態によれば、デコーダは、ピクチャ１２の既定の部分１００または既定の部分１００を含む既定の領域１０４が、可逆符号化１０６₁を使用してデータストリーム１４に符号化されているか非可逆符号化１０６₂を使用してデータストリーム１４に符号化されているかを示す可逆符号化シンタックス要素、例えば１０２をデータストリーム１４から読み取り、可逆符号化シンタックス要素に応じて決定を行うことによって、決定を行うように構成される。エンコーダは、この可逆符号化シンタックス要素をエンコードすることができる。

【0105】

計算複雑さは、以下のうちの少なくとも１つによって、第１の方法の方が第２の方法に比べて低減されていてもよい。
－等確率バイパスモードを使用して符号化されたビン文字列のビンの数が、第２の方法よりも第１の方法の方が多いこと、および、
－異なる二値化コード、例えば指数ゴロム符号、短縮単項符号(truncated unary code)などが、第１の方法および第２の方法で使用されること。

【0106】

一実施形態によれば、ビン文字列の単項符号(unary code)または短縮単項符号(truncated unary code)に属するビン文字列の量は、第１の方法の方が第２の方法に比べて少ない。

【0107】

３．２成分間変換（ＩＣＴ）
ＩＣＴ逆変換行列の係数は、残差信号の量子化がない場合、完全に可逆再構成をもたらす対応する順変換行列が存在しないため、可逆符号化を可能にしない。したがって、lossless＿codingが１に等しい場合、lossless＿codingが０に等しい場合（通常の動作）とは異なるＩＣＴ逆変換行列（係数のリストまたはシフトや乗算などの数学演算として指定される）をコーデックで採用することが提案される。具体的には、lossless＿codingが０に等しい場合、従来のＩＣＴアップミックス動作、例えば、以下を採用してもよい。
cb = c1 + c2,
cr = sign*(c1 - c2),ここで、ｃ１、ｃ２は２つの送信残差ブロック信号であり、ｃｂおよびｃｒは逆ＩＣＴの結果得られる関連する出力残差信号である。しかしながら、lossless＿codingが１に等しい場合、上記の操作の代わりに、リフティング変換［４，５］またはモジュロ変換［６］操作がｃ１およびｃ２に適用されてもよく、これにより、量子化およびループ内フィルタリングがない場合にｃｂおよびｃｒの予測残差の完全な再構成を行うことができる。この完全再構成の特性を説明する別の方法であるが等価な方法は、例えば、通常、変換操作が数学的に完全再構成を禁ずる丸めから整数へのステップを必要とするコンピュータ上で実行される実用的なアプリケーションにおいてさえ、変換が、数学的に完全に反転可能であると述べる。例えば、順方向の可逆ＩＣＴ
c1 = cb + sign*cr,
c2 = cb - sign*INT(c1/2)とともに、対応する逆方向の可逆ＩＣＴ
cb' = c2 + sign*INT(c1/2),
cr' = sign*(c1 - cb'),ここで、ＩＮＴ（）はｆｌｏｏｒ（マイナス無限大に丸める）、ｃｅｉｌｉｎｇ（プラス無限大に丸める）、またはｒｏｕｎｄｉｎｇ（最も近い整数に丸める）演算子を示し、符号は１または－１に等しく、ｃｂおよびｃｒの両方の完全な再構成（すなわち、ｃｂ’＝ｃｂ、ｃｒ’＝ｃｒ）が達成される。したがって、ｃｂ’とｃｒ’をもたらす上記の逆可逆ＩＣＴ演算は、可逆符号化が望まれる場合、好ましくはデコーダにおいて適用される。
完全な再構成は、順方向可逆ＩＣＴが以下の式によって与えられるように、上記の順方向および逆方向可逆演算を切り替えることによって達成されてもよいことに留意されたい。
c1 = cr + sign*INT(cb/2),
c2 = sign*(cb - c1)および、対応する逆方向の可逆ＩＣＴは以下によって与えられる。
cb' = c1 + sign*c2,
cr' = c1 - sign*INT(cb'/2).

【0108】

また、上記の式における＋と－の符号は、特定の実装において、同等の結果（すなわち、ｃｂ’＝ｃｂ、ｃｒ’＝ｃｒ）を導くが、異なる場合があることに注意されたい。最後に、若干異なる定式化、例えば［５］に記載されているＨＤ－ＡＡＣにおける整数ミッドサイド（Ｍ／Ｓ）処理と同等の定式化が、復号処理における可逆逆変換として採用されてもよいことに注目すべきである。

【0109】

一実施形態によるデコーダ（エンコーダ）は、ピクチャ１２の既定の部分１００に対して、それが可逆符号化１０６₁を使用してデータストリーム１４に符号化されている（される）かまたは非可逆符号化１０６₂を使用してデータストリーム１４に符号化されている（される）かを決定し、（例えば、エンコーダの予測ループにおいて）既定の部分１００の予測残差２４’’’、２４’’’’または予測残差訂正再構成４６に対して、ピクチャ１２の既定の部分１００が可逆符号化１０６₁を使用してデータストリーム１４に符号化されている場合には完全可逆変換を、ピクチャ１２の既定の部分１００が非可逆符号化１０６₂を使用してデータストリーム１４に符号化されている場合には、不完全可逆変換を行うように構成される。

【0110】

【0111】

完全可逆変換および不完全可逆変換は、色成分間変換またはスペクトル分解色成分内変換であってもよい。

【0112】

３．３いくつかの予測器における平滑化フィルタ
高ビットレートでの可逆符号化の場合、圧縮アーチファクトを減衰させるために予測信号に適用されるフィルタ、例えば量子化アーチファクトを低減させるための平滑化フィルタは、有益でない可能性がある。そこで、量子化スキップを伴う変換スキップの場合、可逆符号化ではこれらのフィルタを無効にすることができる。

【0113】

一実施形態によるデコーダ（エンコーダ）は、ピクチャ１２の既定の部分１００に対して、それが可逆符号化１０６₁を使用してデータストリーム１４に符号化されている（される）か非可逆符号化１０６₂を使用してデータストリーム１４に符号化されている（される）かを決定し、ピクチャ１２の既定の部分１００が可逆符号化１０６₁を使用してデータストリーム１４に符号化されている（される）場合には第１の方法で、ピクチャ１２の既定の部分１００が非可逆符号化１０６₂を使用してデータストリーム１４に符号化されている（される）場合には第２の方法で、既定の部分１００のための予測信号２６を導出するように構成され、ここで、第１の方法および第２の方法は異なっており、第２の方法よりも第１の方法において予測信号２６は、例えば補間フィルタによって、フィルタリングされないようになっている、または第２の方法ではフィルタリングされても第１の方法ではフィルタリングされないようになっている。

【0114】

【0115】

一実施形態によれば、予測信号２６は、第２の方法よりも第１の方法においてフィルタリングされないようになっている、または、ローパスフィルタリングに関して第２の方法ではフィルタリングされても第１の方法ではフィルタリングされないようになっている。例えば、予測信号２６は、予測信号２６の全体の空間周波数スペクトルのうちのより高い周波数の半分の周波数において、第２の方法よりも第１の方法に基づいて導出した場合により高いエネルギーを有する。

【0116】

３．４ループ内フィルタと量子化
lossless＿codingが１に等しい場合、すべてのループ内フィルタ（例えば、デブロッキング，形状適応オフセット（ＳＡＯ），リシェーパ）および量子化は無効になり、個々のシーケンスまたはフレームに関するアクチベーションフラグおよび任意のＱＰまたはデルタＱＰを含む、それらに関連するシンタックス要素は符号化ビットストリームに存在してはならない。

【0117】

一実施形態によるデコーダ（エンコーダ）は、ピクチャ１２の既定の部分１００に対して、それが可逆符号化１０６₁を使用してデータストリーム１４に符号化されている（される）か非可逆符号化１０６₂を使用してデータストリーム１４に符号化されている（される）かを決定し、既定の部分１００に関して予測残差補正予測再構成４６を処理するため、または予測残差再量子化５２，３８（量子化５２）のためのデコーダ（エンコーダ）の１つ以上のツールに関連する１つ以上の既定の符号化オプションが、ピクチャ１２の既定の部分１００が可逆符号化１０６₁を使用してデータストリーム１４に符号化されている場合には、１つ以上のツールが既定の部分１００に関して無効になるように、ピクチャ１２の既定の部分１００が非可逆符号化１０６₂を使用してデータストリーム１４に符号化される場合には、複数の符号化パラメータ９８から１つ以上の既定の符号化オプションを導出することによって、設定されると推論するように構成される。

【0118】

【0119】

以下では、様々な実施形態の方法が説明される。

【0120】

図７は、ピクチャをデータストリームに復号（エンコード）するための方法２００であって、ピクチャの既定の部分に対して、それが可逆符号化を使用してデータストリームに符号化されている（される）か非可逆符号化を使用してデータストリームに符号化されている（される）かを決定するステップ１０６と、予測残差データのビン文字列への二値化およびビン文字列のコンテキスト適応バイナリエントロピーエンコーディングを使用して、データストリームから（データストリームに）既定の部分のための予測残差を、ピクチャの既定の部分が可逆符号化を使用してデータストリームに符号化されている（される）場合には第１の方法２１０で、ピクチャの既定の部分が非可逆符号化を使用してデータストリームに符号化されている（される）場合には第２の方法２２０で復号（エンコード）するステップであって、ここで、第１の方法２１０および第２の方法２２０は異なっており、第１の方法２１０の方が第２の方法２２０に比べて計算複雑さが低減されている、復号（エンコード）するステップと、を含む方法を示す。

【0121】

図８は、データストリームから（データストリームに）ピクチャを復号（エンコード）するための方法３００であって、ピクチャの既定の部分に対して、それが可逆符号化を使用してデータストリームに符号化されている（される）か非可逆符号化を使用してデータストリームに符号化されている（される）かを決定するステップと、および既定の部分の予測残差または予測残差補正再構成に対して、ピクチャの既定の部分が可逆符号化を使用してデータストリームに符号化されている（される）場合には完全可逆変換３１０を、ピクチャの既定の部分が非可逆符号化を使用してデータストリームに符号化されている（される）場合には不完全可逆変換３２０を実行するステップと、を含む方法を示す。

【0122】

図９は、データストリームから（データストリームに）ピクチャを復号（エンコード）するための方法４００であって、ピクチャの既定の部分に対して、それが可逆符号化を使用してデータストリームに符号化されている（される）か非可逆符号化を使用してデータストリームに符号化されている（される）かを決定するステップと、ピクチャの既定の部分が可逆符号化を使用してデータストリームに符号化されている（される）場合には第１の方法４１０で、ピクチャの既定の部分が非可逆符号化を使用してデータストリームに符号化されている（される）場合には第２の方法４２０で、既定の部分のための予測信号を導出するステップであって、ここで、第１の方法と第２の方法とは異なっており、第２の方法４２０よりも第１の方法４１０において、予測信号は、例えば補間フィルタを使用して、フィルタリングされないようになっている、または第２の方法４２０ではフィルタリングされても第１の方法４１０ではフィルタリングされていないようになっている、予測信号を導出するステップと、を含む方法を示す。

【0123】

図１０は、データストリームから（データストリームに）ピクチャを復号（エンコード）するための方法５００であって、ピクチャの既定の部分に対して、それが可逆符号化を使用してデータストリームに符号化されている（される）か非可逆符号化を使用してデータストリームに符号化されている（される）かを決定するステップ１０６と、既定の部分に関して予測残差補正予測再構成を処理するため、または予測残差量子化を行うデコーダ／エンコーダの１つ以上のツールに関連する１つ以上の既定の符号化オプションが、ピクチャの既定の部分が可逆符号化を使用してデータストリームに符号化されている（される）場合には、１つ以上のツールが既定の部分に関して無効になるように５１０、そして、ピクチャの既定の部分が非可逆符号化を使用してデータストリームに符号化されている（される）場合、複数の符号化オプションから１つ以上の既定の符号化オプションを導出することによって５２０、設定されると推論するステップと、を含む方法を示す。

【0124】

図１１ａは、内部ビット深度でデータストリームからビデオ復号を行うステップ６１０と、入力ビット深度または内部ビット深度でビデオ出力を行うステップ６２０と、内部ビット深度と入力ビット深度との差を示すシンタックス要素をデータストリームから読み取るステップ６３０と、を含む方法６００を示す。図１１ｂは、内部ビット深度でデータストリームにビデオエンコーディングを行うステップ６１２と、入力ビット深度または内部ビット深度でビデオ入力を受信するステップ６２２と、内部ビット深度と入力ビット深度との差を示すシンタックス要素をデータストリームにエンコードするステップ６３２と、を含む並列の方法６００を示す。

【0125】

図１２ａは、内部ビット深度でデータストリームからビデオ復号を行うステップ６１０と、入力ビット深度または内部ビット深度でビデオ出力を行うステップ６２０と、量子化ステップサイズスケールパラメータの最小値を示すシンタックス要素をデータストリームから読み取るステップ７３０と、を含む方法７００を示す。図１２ｂは、内部ビット深度でデータストリームにビデオエンコーディングを行うステップ６１２と、入力ビット深度または内部ビット深度でビデオ入力を受信するステップ６２２と、量子化ステップサイズスケールパラメータの最小値を示すシンタックス要素をデータストリームにエンコードするステップ７３２と、を含む並列の方法７００を示す。

【0126】

図１３ａは、内部ビット深度および入力ビット深度またはそれらの差の表示をデータストリームから導出するステップ８１０と、内部ビット深度でデータストリームからビデオ復号を行うステップ６１０と、入力ビット深度でビデオ出力を行うステップ６２０と、内部ビット深度が入力ビット深度を下回るか否かを確認するステップ８２０と、入力ビット深度に対応するように内部ビット深度を変更するステップ８３０と、を含む方法８００を示す。図１３ｂは、内部ビット深度および入力ビット深度またはそれらの差の表示をデータストリームビデオにエンコードするステップ８１２と、内部ビット深度でデータストリームにビデオエンコードを行うステップ６１２と、入力ビット深度でビデオ入力を受信するステップ６２２と、内部ビット深度が入力ビット深度を下回るか否かを確認するステップ８２０と、入力ビット深度に対応するように内部ビット深度を変更するステップ８３０と、を含む並列の方法８００を示す。

【0127】

参考文献[1] ITU-T, Recommendation H.265 and ISO/IEC, Int. Standard 23008-2, "High efficiency video coding," Geneva, Switzerland, Feb. 2018. Online: http://www.itu.int/rec/T-REC-H.265.[2] JVET/Fraunhofer HHI, "VVCSoftware＿VTM: VVC VTM reference software," Jul. 2019. Online: https://vcgit.hhi.fraunhofer.de/jvet/VVCSoftware＿VTM.[3] C. Helmrich, H. Schwarz, T. Nguyen, C. Rudat, D. Marpe, and T. Wiegand, "CE7: Joint Chroma Residual Coding with Multiple Modes (Tests CE7-2.1, CE7-2.2)," Joint Video Experts Group, document JVET-O0105, Gothenburg, June 2019.[4] I. Daubechies and W. Sweldens, "Factoring Wavelet Transforms into Lifting Steps," J. Four. Anal. Appl., Sep. 1996.[5] R. Geiger, R. Yu, J. Herre, S. Rahardja, S.-W. Kim, X. Lin, and M. Schmidt,
"ISO/IEC MPEG-4 High-Definition Scalable Advanced Audio Coding," J. Aud. Eng. Soc., vol. 55, no. 1/2, pp. 27-43, Jan. 2007.[6] S. Srinivasan, "Modulo transforms - An alternative to lifting," IEEE Trans.
on Signal Processing, vol. 54, no. 5, pp. 1864-1874, June 2006.

【0128】

代替の実装：
いくつかの態様が装置の文脈において記載されてきたが、これらの態様は対応する方法の記述も表すことは明らかであり、ブロックまたはデバイスは方法ステップまたは方法ステップの機能に対応する。同様に、方法ステップの文脈において記載された態様は、対応する装置の対応するブロックまたはアイテムまたは機能の記述も表す。いくつかのまたはすべての方法ステップは、例えば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路のようなハードウェア装置によって（または用いて）実行することができる。いくつかの実施形態において、１つ以上の最も重要な方法ステップは、このような装置によって実行することができる。

【0129】

特定の実施要求に依存して、本発明の実施形態は、ハードウェアにおいてまたはソフトウェアにおいて実施することができる。実施は、その上に記憶された電子的に読取可能な制御信号を有し、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（または協働することができる）、デジタル記憶媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ＣＤ、ブルーレイディスク、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを用いて実行することができる。それ故に、デジタル記憶媒体は、コンピュータ読取可能とすることができる。

【0130】

本発明に係るいくつかの実施形態は、本願明細書に記載された方法の１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータキャリアを備える。

【0131】

一般に、本発明の実施形態は、コンピュータプログラム製品がコンピュータ上で動作するとき、方法の１つを実行するように動作可能であるプログラムコードを有するコンピュータプログラム製品として実施することができる。プログラムコードは、例えば機械読取可能なキャリアに記憶することができる。

【0132】

他の実施形態は、機械読取可能なキャリアに記憶された、本願明細書に記載された方法の１つを実行するコンピュータプログラムを備える。

【0133】

言い換えれば、本発明の方法の一実施形態は、それ故に、コンピュータプログラムがコンピュータ上で動作するとき、本願明細書に記載された方法の１つを実行するプログラムコードを有するコンピュータプログラムである。

【0134】

本発明の方法の更なる実施形態は、それ故に、その上に記録され、本願明細書に記載された方法の１つを実行するコンピュータプログラムを備えるデータキャリア（またはデジタル記憶媒体またはコンピュータ読取可能媒体）である。データキャリア、デジタル記憶媒体または記録媒体は、通常は有形および／または非過渡的である。

【0135】

本発明の方法の更なる実施形態は、それ故に、本願明細書に記載された方法の１つを実行するコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、データ通信接続、例えばインターネットによって伝送されるように構成することができる。

【0136】

更なる実施形態は、本願明細書に記載された方法の１つを実行するように構成されたまたは適合された処理手段、例えばコンピュータまたはプログラマブルロジックデバイスを備える。

【0137】

更なる実施形態は、本願明細書に記載された方法の１つを実行するコンピュータプログラムがインストールされたコンピュータを備える。

【0138】

本発明に係る更なる実施形態は、本願明細書に記載された方法の１つを実行するコンピュータプログラムを、受信機に伝送（例えば、電子的または光学的に）するように構成された装置またはシステムを備える。受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどとすることができる。装置またはシステムは、例えば、コンピュータプログラムを受信機へ伝送するファイルサーバを備えることができる。

【0139】

いくつかの実施形態において、本願明細書に記載された方法のいくつかまたは全ての機能を実行するために、プログラマブルロジックデバイス（例えばフィールドプログラマブルゲートアレイ）を用いることができる。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本願明細書に記載された方法の１つを実行するために、マイクロプロセッサと協働することができる。一般に、方法は、好ましくはいかなるハードウェア装置によっても実行される。

【0140】

本明細書に記載の装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置およびコンピュータの組み合わせを使用して、実施することができる。

【0141】

本明細書に記載の装置または本明細書に記載の装置のいずれかの要素は、少なくとも部分的にハードウェアにおいておよび／またはソフトウェアにおいて実施することができる。

【0142】

本明細書に記載の方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置およびコンピュータの組み合わせを使用して、実行することができる。

【0143】

本明細書に記載の方法または本明細書に記載の装置のいずれかの要素は、少なくとも部分的にハードウェアにおいておよび／またはソフトウェアにおいて実行することができる。

【0144】

上記記載された実施形態は、単に本発明の原理に対して説明したものである。本願明細書に記載された構成および詳細の修正および変更は、当業者にとって明らかであると理解される。それ故に、本発明は、間近に迫った特許請求の範囲のスコープのみによって制限され、本願明細書の実施形態の記載および説明の方法によって表された特定の詳細によって制限されないことが意図される。

【図1a】