▶ シャープ株式会社の特許一覧 ▶ 鴻穎創新有限公司の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-23
(45)【発行日】2022-07-01
(54)【発明の名称】変換係数レベル値をスケーリングするシステム及び方法
(51)【国際特許分類】
H04N 19/126 20140101AFI20220624BHJP
H04N 19/157 20140101ALI20220624BHJP
H04N 19/176 20140101ALI20220624BHJP
【ＦＩ】
H04N19/126
H04N19/157
H04N19/176
【請求項の数】
9
(21)【出願番号】P 2019538710
(86)(22)【出願日】2017-12-27
(65)【公表番号】
(43)【公表日】2020-02-27
(86)【国際出願番号】 JP2017046995
(87)【国際公開番号】W WO2018142823
(87)【国際公開日】2018-08-09
【審査請求日】2020-12-10
(31)【優先権主張番号】62/452,890
(32)【優先日】2017-01-31
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(73)【特許権者】
【識別番号】518446879
【氏名又は名称】鴻穎創新有限公司
【氏名又は名称原語表記】ＦＧ ＩＮＮＯＶＡＴＩＯＮ ＣＯＭＰＡＮＹ ＬＩＭＩＴＥＤ
【住所又は居所原語表記】Ｆｌａｔ ２６２３，２６／Ｆ Ｔｕｅｎ Ｍｕｎ Ｃｅｎｔｒａｌ Ｓｑｕａｒｅ，２２ Ｈｏｉ Ｗｉｎｇ Ｒｏａｄ，Ｔｕｅｎ Ｍｕｎ，Ｎｅｗ Ｔｅｒｒｉｔｏｒｉｅｓ，Ｔｈｅ Ｈｏｎｇ Ｋｏｎｇ Ｓｐｅｃｉａｌ Ａｄｍｉｎｉｓｔｒａｔｉｖｅ Ｒｅｇｉｏｎ ｏｆ ｔｈｅ Ｐｅｏｐｌｅ’ｓ Ｒｅｐｕｂｌｉｃ ｏｆ Ｃｈｉｎａ
(74)【代理人】
【識別番号】110000338
【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】ミスラ キラン ムケシュ
(72)【発明者】
【氏名】チャオ ジー
(72)【発明者】
【氏名】セガール クリストファー アンドリュー
【審査官】岩井 健二
(56)【参考文献】
【文献】国際公開第２０１３／１５４０２８（ＷＯ，Ａ１）
【文献】国際公開第２０１３／００６２９７（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１５／０２６４３５４（ＵＳ，Ａ１）
【文献】Jie Zhao et al.，De-quantization and scaling for next generation containers，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-B0054，2nd Meeting: San Diego, USA，2016年02月，pp.1-5
【文献】D. B. Sansli et al.，On Coefficient Scaling，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-C0066，3rd Meeting: Geneva, CH，2016年05月，pp.1-4
【文献】Jie Zhao, Andrew Segall and Seung-Hwan Kim，EE2.4: De-quantization and scaling for next generation containers，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-C0095，3rd Meeting: Geneva, CH，2016年05月，pp.1-8
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
動画像データを符号化する方法であって、幅及び高さを有する係数レベル値の矩形のアレイを受信し、
前記矩形のアレイに含まれる各係数レベル値について、対応する変換係数値を生成すること、を含み、
対応する変換係数値を生成することは、
色成分のビット深さを特定する第１値と、（Ｌｏｇ ２ （幅）＋Ｌｏｇ ２ （高さ））／２である第２値とに基づいてシフト値を導出することと、
ビット深さオフセット値をスケーリングファクタによってスケーリングされたレベル値に加えることによって中間値を導出することと、
前記中間値を前記シフト値だけ右シフトすることにより前記対応する変換係数値を導出することと、を含む、方法。
【請求項2】
前記シフト値を導出することにおいて、前記（Ｌｏｇ２（幅）＋Ｌｏｇ２（高さ））／２を整数として近似させることを含む、請求項１に記載の方法。
【請求項3】
前記幅と前記高さとが等しくない、請求項１又は２に記載の方法。
【請求項4】
請求項１から３のいずれか一項に記載の方法を実行するように構成された１つ以上のプロセッサを備える、動画像データを符号化するデバイス。
【請求項5】
前記デバイスが動画像符号化装置を含む、請求項４に記載のデバイス。
【請求項6】
前記デバイスが動画像復号装置を含む、請求項４に記載のデバイス。
【請求項7】
請求項５に記載のデバイスと、請求項６に記載のデバイスと、
を備える、システム。
【請求項8】
請求項１から３のいずれか一項に記載の方法を実行する手段を備える、動画像データを符号化するための装置。
【請求項9】
記憶された命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令は、実行されると、動画像データを符号化するデバイスの１つ以上のプロセッサに、請求項１から３のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、動画像符号化、より具体的には、動画像データのピクチャを分割する技術に関する。
【背景技術】
【0002】
デジタル動画像能力は、デジタルテレビ、ラップトップ又はデスクトップコンピュータ、タブレット型コンピュータ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、いわゆるスマートフォンを含むセルラー電話、医療用イメージングデバイスなどを含む、広範囲のデバイスに組み込むことができる。デジタル動画像は、動画像符号化規格に従って符号化することができる。動画像符号化規格は、動画像圧縮技術を組み込むことができる。動画像符号化規格の例としては、ＩＳＯ／ＩＥＣ ＭＰＥＧ－４ Ｖｉｓｕａｌ及びＩＴＵ－Ｔ Ｈ．２６４（ＩＳＯ／ＩＥＣ ＭＰＥＧ－４ ＡＶＣとしても公知である）並びにＨｉｇｈ－Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）が挙げられる。ＨＥＶＣは、参照により組み込まれる、Ｈｉｇｈ－Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）、Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２６５（２０１５／４）に記載されており、また本明細書ではＩＴＵ－Ｔ Ｈ．２６５と記す。ＩＴＵ－Ｔ Ｈ．２６５に関する拡張及び改良は、次世代動画像符号化規格の開発のために現在考えられている。例えば、ＩＴＵ－Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）及びＩＳＯ／ＩＥＣ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ（ＪＶＥＴ）と集合的に呼ばれる）は、現在のＨＥＶＣ規格の圧縮能力を著しく上回る圧縮能力を有する将来の動画像符号化技術の標準化の潜在的必要性を検討している。参照により本明細書に組み込まれる、Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ ３（ＪＥＭ ３），Ａｌｇｏｒｉｔｈｍ Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅｓｔ Ｍｏｄｅｌ ３（ＪＥＭ ３），ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ Ｄｏｃｕｍｅｎｔ：ＪＶＥＴ－Ｃ１００１ｖ３（２０１６／５）は、動画像符号化技術を潜在的に向上させるＪＶＥＴによる協調テストモデル学習の下でＩＴＵ－Ｔ Ｈ．２６５の能力を上回る、符号化特徴を記載している。ＪＥＭ ３の符号化特徴は、Ｆｒａｕｎｈｏｆｅｒ研究機構によって管理されているＪＥＭ参照ソフトウェアで実施されることに留意されたい。現在、最新のＪＥＭ参照ソフトウェアバージョン３（ＪＥＭ ３．０）が入手可能である。本明細書で使用されるとき、ＪＥＭという用語は、ＪＥＭ ３に含まれるアルゴリズム及びＪＥＭ参照ソフトウェアの実施を集合的に表すために使用される。
【0003】
動画像圧縮技術は、動画像データを記憶し送信するためのデータ要件を低減することを可能にする。動画像圧縮技術は、動画像系列における固有の冗長性を利用することにより、データ要件を低減することができる。動画像圧縮技術は、動画像系列を連続的により小さな部分（すなわち、動画像系列内のフレームの群、フレームの群内のフレーム、フレーム内のスライス、スライス内の符号化木ユニット（例えば、マクロブロック）、符号化木ユニット内の符号化ブロックなど）に再分割することができる。イントラ予測符号化技術（例えば、ピクチャ内（空間的））及びインター予測技術（すなわち、ピクチャ間（時間的））を使用して、符号化される動画像データのユニットと動画像データの参照ユニットとの間の差分値を生成することができる。差分値は、残差データと呼ばれることがある。残差データは、量子化された変換係数として符号化することができる。シンタックス要素は、残差データと参照符号化ユニットを関連付けることができる（例えば、イントラ予測モードインデックス、動きベクトル、及びブロックベクトル）。残差データ及びシンタックス要素は、エントロピ符号化することができる。エントロピ符号化された残差データ及びシンタックス要素は、適合したビットストリームに含めることができる。
【発明の概要】
【0004】
本発明の一態様は、動画像データを符号化する方法であって、この方法は、幅及び高さを有する係数レベル値の矩形のアレイを受信し、矩形のアレイに含まれる各係数レベル値について、対応する変換係数値を生成すること、を含み、対応する変換係数値を生成することは、量子化パラメータ並びに矩形のアレイの幅及び高さに基づいて係数レベル値をスケーリングすることを含む。
【図面の簡単な説明】
【0005】
【図1】本開示の１つ以上の技術による、四分木二分木分割に従って符号化されたピクチャの群の例を示す概念図である。
【図2】本開示の１つ以上の技術による、四分木二分木の例を示す概念図である。
【図3】本開示の１つ以上の技術による、動画像成分の四分木二分木分割を示す概念図である。
【図4】本開示の１つ以上の技術による、動画像成分のサンプリングフォーマットの例を示す概念図である。
【図5】本開示の１つ以上の技術による、動画像データのブロックについての可能な符号化の構造を示す概念図である。
【図6A】本開示の１つ以上の技術による、動画像データのブロックの符号化の例を示す概念図である。
【図6B】本開示の１つ以上の技術による、動画像データのブロックの符号化の例を示す概念図である。
【図7】本開示の１つ以上の技術による、動画像データを符号化及び復号するように構成することができる、システムの例を示すブロック図である。
【図8】本開示の１つ以上の技術による、動画像データを符号化するように構成することができる、動画像符号化装置の例を示すブロック図である。
【図9】本開示の１つ以上の技術による、動画像成分の四分木二分木分割を示す概念図である。
【図10】本開示の１つ以上の技術による、動画像成分の四分木二分木分割を示す概念図である。
【図11】本開示の１つ以上の技術による、四分木二分木の例を示す概念図である。
【図12】本開示の１つ以上の技術による、四分木二分木分割を示す概念図である。
【図13】本開示の１つ以上の技術による、四分木二分木分割を示す概念図である。
【図14】本開示の１つ以上の技術による、動画像データを復号するように構成することができる、動画像復号装置の例を示すブロック図である。
【図15A】本開示の１つ以上の技術による、イントラ予測の実行の例を示す概念図である。
【図15B】本開示の１つ以上の技術による、イントラ予測の実行の例を示す概念図である。
【図16A】本開示の１つ以上の技術による、イントラ予測の実行の例を示す概念図である。
【図16B】本開示の１つ以上の技術による、イントラ予測の実行の例を示す概念図である。
【発明を実施するための形態】
【0006】
概して、本開示は、動画像データを符号化する様々な技術を説明する。特に、本開示は、動画像データのピクチャを分割する技術を説明する。本開示の技術は、ＩＴＵ－Ｔ Ｈ．２６４、ＩＴＵ－Ｔ Ｈ．２６５、及びＪＥＭに関して記載されているが、本開示の技術は、動画像符号化に一般的に適用可能であることに留意されたい。例えば、本明細書で説明する符号化技術は、ＩＴＵ－Ｔ Ｈ．２６５及びＪＥＭに含まれるもの以外のブロック構造、イントラ予測技術、インター予測技術、変換技術、フィルタリング技術、及び／又はエントロピ符号化技術を含む動画像符号化システム（将来の動画像符号化規格に基づく動画像符号化システムを含む）に組み込むことができる。従って、ＩＴＵ－Ｔ Ｈ．２６４、ＩＴＵ－Ｔ Ｈ．２６５、及び／又はＪＥＭの参照は、説明のためのものであり、本明細書で説明する技術の範囲を限定するように解釈すべきではない。更に、本明細書での文書の参照による組み込みは、説明のためのものであり、本明細書で使用される用語に関して限定する又は曖昧さを生むように解釈されるべきではないことに留意されたい。例えば、組み込まれた参照が、別の組み込まれた参照とは、及び／又はその用語が本明細書で使用されるのとは異なる用語の定義を提供する場合では、その用語は、それぞれの対応する定義を幅広く含むように、及び／又は代わりに特定の定義のそれぞれを含むように解釈されるべきである。
【0007】
１つ以上の実施例の詳細は、添付の図面及び以下の明細書に記述されている。他の特徴、目的、及び利点は、明細書及び図面から、並びに特許請求の範囲から明白であろう。
【0008】
動画像コンテンツは、典型的には、一連のフレーム（又はピクチャ）からなる動画像系列を含む。一連のフレームはまた、ピクチャ群（group of pictures）（ＧＯＰ）と呼ばれることがある。それぞれの動画像フレーム又はピクチャは、複数のスライス又はタイルを含むことができ、スライス又はタイルは、複数の動画像ブロックを含む。本明細書で使用されるとき、動画像ブロックという用語は、一般的に、ピクチャの部分を指すことがある、又は、より具体的には、予測的に符号化することができるサンプル値の最大アレイ、その再分割、及び／又は対応する構造を指すことがある。更に、現在の動画像ブロックという用語は、符号化又は復号されているピクチャの部分を指すことがある。動画像ブロックは、予測的に符号化することができるサンプル値のアレイとして定義することができる。いくつかの場合では、画素値が、色成分（例えば、ルマ成分（Ｙ）及びクロマ成分（Ｃｂ及びＣｒ）、あるいは赤色、緑色、及び青色の成分）とも呼ばれることがある動画像データのそれぞれの成分についてのサンプル値を含むものとして説明できることに留意されたい。いくつかの場合では、画素値及びサンプル値という用語は互換的に使用されることに留意されたい。動画像ブロックは、走査パターン（例えば、ラスター走査）に従って、ピクチャ内で順序付けすることができる。動画像符号化装置は、動画像ブロック及びその再分割に対して予測符号化を実行することができる。動画像ブロック及びその再分割は、ノードと呼ばれることがある。
【0009】
ＩＴＵ－Ｔ Ｈ．２６４は、１６×１６のルマサンプルを含むマクロブロックを規定している。すなわち、ＩＴＵ－Ｔ Ｈ．２６４では、ピクチャはマクロブロックに分割される。ＩＴＵ－Ｔ Ｈ．２６５は、類似の符号化木ユニット（ＣＴＵ）（Coding Tree Unit）を規定している。ＩＴＵ－Ｔ Ｈ．２６５では、ピクチャはＣＴＵに分割される。ＩＴＵ－Ｔ Ｈ．２６５では、１つのピクチャに関して、ＣＴＵサイズは、１６×１６、３２×３２、又は６４×６４のルマサンプルを含むように設定することができる。ＩＴＵ－Ｔ Ｈ．２６５では、ＣＴＵは、動画像データのそれぞれの成分（例えば、ルマ（Ｙ）及びクロマ（Ｃｂ及びＣｒ）についてのそれぞれの符号化木ブロック（ＣＴＢ）（Coding Tree Block）から構成される。更に、ＩＴＵ－Ｔ Ｈ．２６５では、ＣＴＵを四分木（ＱＴ）分割構造に従って分割することができ、その結果、ＣＴＵのＣＴＢが、符号化ブロック（ＣＢ：Coding Block）に分割される。すなわち、ＩＴＵ－Ｔ Ｈ．２６５では、ＣＴＵを四分木リーフノードに分割することができる。ＩＴＵ－Ｔ Ｈ．２６５によれば、１つのルマＣＢは、２つの対応するクロマＣＢ及び関連するシンタックス要素と共に、符号化ユニット（ＣＵ）と呼ばれる。ＩＴＵ－Ｔ Ｈ．２６５では、ＣＢの最小許容サイズをシグナリングすることができる。ＩＴＵ－Ｔ Ｈ．２６５では、ルマＣＢの最も小さい最小許容サイズは、８×８のルマサンプルである。ＩＴＵ－Ｔ Ｈ．２６５では、イントラ予測又はインター予測を用いてピクチャ部分を符号化する決定は、ＣＵレベルで行われる。
【0010】
ＩＴＵ－Ｔ Ｈ．２６５では、ＣＵは、ＣＵにおけるルートを有する予測ユニット（ＰＵ）構造に関連付けられている。ＩＴＵ－Ｔ Ｈ．２６５では、ＰＵ構造は、対応する参照サンプルを生成する目的で、ルマＣＢ及びクロマＣＢを分割することを可能にする。すなわち、ＩＴＵ－Ｔ Ｈ．２６５では、ルマＣＢ及びクロマＣＢを、それぞれのルマ及びクロマ予測ブロック（ＰＢ）に分割することができ、ここでＰＢは、同じ予測が適用されるサンプル値のブロックを含む。ＩＴＵ－Ｔ Ｈ．２６５では、ＣＢを１、２、又は４個のＰＢに分割することができる。ＩＴＵ－Ｔ Ｈ．２６５は、６４×６４のサンプルから４×４のサンプルまでのＰＢサイズをサポートする。ＩＴＵ－Ｔ Ｈ．２６５では、正方形のＰＢがイントラ予測のためにサポートされ、ここでＣＢはＰＢを形成することができるか、又はＣＢを４つの正方形のＰＢに分割することができる（すなわち、イントラ予測ＰＢサイズタイプは、Ｍ×Ｍ又はＭ／２×Ｍ／２を含む。但し、Ｍは正方形のＣＢの高さ及び幅である）。ＩＴＵ－Ｔ Ｈ．２６５では、正方形のＰＢの他に、矩形のＰＢがインター予測のためにサポートされ、ここでＣＢを垂直又は水平に二等分してＰＢを形成することができる（すなわち、インター予測ＰＢタイプはＭ×Ｍ、Ｍ／２×Ｍ／２、Ｍ／２×Ｍ、又はＭ×Ｍ／２を含む）。更に、ＩＴＵ－Ｔ Ｈ．２６５では、インター予測のために、４つの非対称ＰＢ分割がサポートされ、ここでＣＢは、ＣＢの高さ（上部又は下部で）又は幅（左又は右）の４分の１で２つのＰＢに分割される（すなわち、非対称区分としては、Ｍ／４×Ｍ左、Ｍ／４×Ｍ右、Ｍ×Ｍ／４上部、及びＭ×Ｍ／４下部を含む）ことに留意されたい。ＰＢに対応するイントラ予測データ（例えば、イントラ予測モードシンタックス要素）又はインター予測データ（例えば、動きデータシンタックス要素）を使用して、ＰＢに関する参照サンプル値及び／又は予測サンプル値が生成される。
【0011】
ＪＥＭは、２５６×２５６のルマサンプルの最大サイズを有するＣＴＵを規定している。ＪＥＭは、四分木＋二分木（ＱＴＢＴ）ブロック構造を規定している。ＪＥＭでは、ＱＴＢＴ構造は、四分木リーフノードを二分木構造（ＢＴ）によって更に分割することを可能にする。すなわち、ＪＥＭでは、二分木構造は、四分木リーフノードを垂直又は水平に再帰的に分割することを可能にする。図１は、四分木リーフノードに分割され、また四分木リーフノードが二分木に従って更に分割された、ＣＴＵ（例えば、２５６×２５６のルマサンプルのサイズを有するＣＴＵ）の例を示す。すなわち、図１では、破線が、四分木における付加的な二分木区分を示唆している。したがって、ＪＥＭでの二分木構造は、正方形のリーフノード及び矩形のリーフノードを可能にし、それぞれのリーフノードは、１つのＣＢを含む。図１に示すように、ＧＯＰに含まれるピクチャは複数のスライスを含むことができ、各スライスは一連のＣＴＵを含み、各ＣＴＵはＱＴＢＴ構造に従って分割することができる。図１は、１つのスライスに含まれる１つのＣＴＵのＱＴＢＴ分割の例を示す。図２は、図１に示すＱＴＢＴ区分の例に対応するＱＴＢＴの例を示す概念図である。
【0012】
ＪＥＭでは、ＱＴ分割フラグ及びＢＴ分割モードシンタックス要素をシグナリングすることによって、ＱＴＢＴがシグナリングされる。ＱＴ分割フラグが１の値を有する場合、ＱＴ分割が示される。ＱＴ分割フラグが０の値を有する場合、ＢＴ分割モードシンタックス要素がシグナリングされる。ＢＴ分割モードシンタックス要素が０の値を有する場合、二分割は示されない。ＢＴ分割モードシンタックス要素が１の値を有する場合、垂直分割モードが示される。ＢＴ分割モードシンタックス要素が２の値を有する場合、水平分割モードが示される。更に、ＢＴ分割は、最大ＢＴ深さに達するまで行うことができる。したがって、ＪＥＭに従って、図２に示すＱＴＢＴを、表１に示す擬似シンタックスに基づいてシグナリングすることができる：
一例では、最大ＱＴ深さに達すると、ＱＴフラグのシグナリングをスキップすることができ、その値を、例えば０と推測することができる。一例では、現在の深さが最大ＱＴよりも小さい場合、ＱＴフラグのシグナリングをスキップすることができ、その値を、例えば１と推測することができる。一例では、区分タイプのシグナリングに関する最大深さに達した場合、関連付けられたシンタックス要素をビットストリームでシグナリングしなくてもよく、その値を推測することができる。一例では、区分タイプのシグナリングに関する最小深さにまだ達していない場合、関連付けられたシンタックス要素をビットストリームでシグナリングしなくてもよく、その値を推測することができる。一例では、ＱＴ分割が許容されない場合、かつ現在の深さが最小ＢＴ深さよりも小さい場合、ＢＴ分割のシグナリングを修正し、ＢＴ分割が０になることを許容しないように修正することができる。
【表1】
一例では、最大ＱＴ深さに達すると、ＱＴフラグのシグナリングをスキップすることができ、その値を、例えば０と推測することができる。一例では、現在の深さが最大ＱＴよりも小さい場合、ＱＴフラグのシグナリングをスキップすることができ、その値を、例えば１と推測することができる。一例では、区分タイプのシグナリングに関する最大深さに達した場合、関連付けられたシンタックス要素をビットストリームでシグナリングしなくてもよく、その値を推測することができる。一例では、区分タイプのシグナリングに関する最小深さにまだ達していない場合、関連付けられたシンタックス要素をビットストリームでシグナリングしなくてもよく、その値を推測することができる。一例では、ＱＴ分割が許容されない場合、かつ現在の深さが最小ＢＴ深さよりも小さい場合、ＢＴ分割のシグナリングを修正し、ＢＴ分割が０になることを許容しないように修正することができる。
【0013】
一例では、以下の木走査を使用して、分割決定をシグナリングすることができる。例：
１．現在のノードについての分割決定のシグナリング
２．ｉ＝１～（１のステップにおける）現在のノードの子の数に対して、以下を行う：
ａ．ｉに対応する子ノードｎを判定する（これは、現在のノードの分割モードに基づくルックアップに基づくことができる）
ｂ．子ノードｎをルートとする部分木を、走査関数を再帰的に呼び出して走査する。
１．現在のノードについての分割決定のシグナリング
２．ｉ＝１～（１のステップにおける）現在のノードの子の数に対して、以下を行う：
ａ．ｉに対応する子ノードｎを判定する（これは、現在のノードの分割モードに基づくルックアップに基づくことができる）
ｂ．子ノードｎをルートとする部分木を、走査関数を再帰的に呼び出して走査する。
【0014】
一例では、以下の木走査を使用して、分割決定をシグナリングすることができる。例：
１．ｉ＝１～（１のステップにおける）現在のノードの子の数に対して、以下を行う：
ａ．ｉに対応する子ノードｎを判定する（これは、現在のノードの分割モードに基づくルックアップに基づくことができる）
ｂ．子ノードｎをルートとする部分木を、走査関数を再帰的に呼び出して走査する
ｃ．現在のノードについての分割決定をシグナリングする。
１．ｉ＝１～（１のステップにおける）現在のノードの子の数に対して、以下を行う：
ａ．ｉに対応する子ノードｎを判定する（これは、現在のノードの分割モードに基づくルックアップに基づくことができる）
ｂ．子ノードｎをルートとする部分木を、走査関数を再帰的に呼び出して走査する
ｃ．現在のノードについての分割決定をシグナリングする。
【0015】
一例では、以下の木走査を使用して、分割決定をシグナリングすることができる。例：
１．ｉ＝１～（１のステップにおける）現在のノードの子の数に対して、以下を行う：
ａ．ｉに対応する子ノードｎを判定する（これは、現在のノードの分割モードに基づくルックアップに基づくことができる）
ｂ．子ノードｎをルートとする部分木を、走査関数を再帰的に呼び出して走査する
２．現在のノードについての分割決定をシグナリングする。
１．ｉ＝１～（１のステップにおける）現在のノードの子の数に対して、以下を行う：
ａ．ｉに対応する子ノードｎを判定する（これは、現在のノードの分割モードに基づくルックアップに基づくことができる）
ｂ．子ノードｎをルートとする部分木を、走査関数を再帰的に呼び出して走査する
２．現在のノードについての分割決定をシグナリングする。
【0016】
一例では、木は、深さを増しながら走査されてもよい。そのような場合、特定の深さにおけるノードについての全ての分割決定を、次の深さに進む前にシグナリングすることができる。
【0017】
図２及び表１に示すように、ＱＴ分割フラグシンタックス要素及びＢＴ分割モードシンタックス要素は、深さに関連付けられており、ゼロの深さはＱＴＢＴのルートに対応し、より大きい値の深さは、ルートを超えた後続の深さに対応する。更に、ＪＥＭでは、ルマ成分及びクロマ成分は、別個のＱＴＢＴ区分を有することができる。すなわち、ＪＥＭでは、ルマ成分及びクロマ成分は、各ＱＴＢＴをシグナリングすることによって独立して分割することができる。図３は、ルマ成分に対するＱＴＢＴ及びクロマ成分に対する独立したＱＴＢＴに従って分割されたＣＴＵの例を示す。図３に示すように、ＣＴＵを分割するために独立したＱＴＢＴが使用されるとき、ルマ成分のＣＢは、クロマ成分のＣＢと整列することは要求されず、また必ずしも整列しない。現在、ＪＥＭでは、独立したＱＴＢＴ構造は、イントラ予測技術を使用してスライスにすることができる。いくつかの場合では、クロマ変数の値は、関連するルマ変数値から導出しなければならない可能性があることに留意されたい。これらの場合、クロマ及びクロマフォーマットにおけるサンプル位置を使用して、関連するルマ変数値を決定するためにルマにおける対応するサンプル位置を決定することができる。
【0018】
更に、ＪＥＭは、ＱＴＢＴ木のシグナリングについて以下のパラメータを含むことに留意されたい。
ＣＴＵサイズ：四分木のルートノードサイズ（例えば、２５６×２５６、１２８×１２８、６４×６４、３２×３２、１６×１６のルマサンプル）；
ＭｉｎＱＴＳｉｚｅ：最小許容四分木リーフノードサイズ（例えば、１６×１６、８×８のルマサンプル）；
ＭａｘＢＴＳｉｚｅ：最大許容二分木ルートノードサイズ、すなわち、二分割によって分割することができる四分木リーフノードの最大サイズ（例えば、６４×６４のルマサンプル）；
ＭａｘＢＴＤｅｐｔｈ：最大許容二分木深さ、すなわち、四分木リーフノードがルートである場合に、二分割を行うことができる最低レベル（例えば、３）；
ＭｉｎＢＴＳｉｚｅ：最小許容二分木リーフノードサイズ；すなわち、バイナリーリーフノードの最小幅又は最小高さ（例えば、４つのルマサンプル）。
ＣＴＵサイズ：四分木のルートノードサイズ（例えば、２５６×２５６、１２８×１２８、６４×６４、３２×３２、１６×１６のルマサンプル）；
ＭｉｎＱＴＳｉｚｅ：最小許容四分木リーフノードサイズ（例えば、１６×１６、８×８のルマサンプル）；
ＭａｘＢＴＳｉｚｅ：最大許容二分木ルートノードサイズ、すなわち、二分割によって分割することができる四分木リーフノードの最大サイズ（例えば、６４×６４のルマサンプル）；
ＭａｘＢＴＤｅｐｔｈ：最大許容二分木深さ、すなわち、四分木リーフノードがルートである場合に、二分割を行うことができる最低レベル（例えば、３）；
ＭｉｎＢＴＳｉｚｅ：最小許容二分木リーフノードサイズ；すなわち、バイナリーリーフノードの最小幅又は最小高さ（例えば、４つのルマサンプル）。
【0019】
いくつかの例では、ＭｉｎＱＴＳｉｚｅ、ＭａｘＢＴＳｉｚｅ、ＭａｘＢＴＤｅｐｔｈ、及び／又はＭｉｎＢＴＳｉｚｅは、動画像の異なる成分毎に異なっていてもよいことに留意されたい。
【0020】
ＪＥＭでは、ＣＢは、分割を一切行わない予測のために使用される。すなわち、ＪＥＭでは、ＣＢは、同じ予測が適用されるサンプル値のブロックであってよい。したがって、ＪＥＭ ＱＴＢＴリーフノードは、ＩＴＵ－Ｔ Ｈ．２６５におけるＰＢに類似するものであってよい。
【0021】
クロマフォーマットと呼ばれることもある動画像サンプリングフォーマットは、ＣＵに含まれるルマサンプルの数に対してＣＵに含まれるクロマサンプルの数を定義することができる。例えば、４：２：０フォーマットに対して、ルマ成分に対するサンプリングレートは、水平方向及び垂直方向の両方に対してクロマ成分のサンプリングレートの２倍である。結果として、４：２：０フォーマットに従ってフォーマットされたＣＵに対して、ルマ成分に対するサンプルのアレイの幅及び高さは、クロマ成分に対するサンプルのそれぞれのアレイの幅及び高さの２倍である。図４は、４：２：０サンプルフォーマットに従ってフォーマットされた符号化ユニットの例を示す概念図である。図４は、ＣＵ内のルマサンプルに対するクロマサンプルの相対位置を示す。上述したように、ＣＵは、典型的には、水平及び垂直のルマサンプルの数に従って定義される。したがって、図４に示すように、４：２：０サンプルフォーマットに従ってフォーマットされた１６×１６のＣＵは、ルマ成分の１６×１６のサンプル及びそれぞれのクロマ成分に対する８×８のサンプルを含む。更に、図４に示す例では、１６×１６のＣＵに隣接する動画像ブロックについてのルマサンプルに対するクロマサンプルの相対位置が示されている。４：２：２フォーマットに従ってフォーマットされたＣＵに対して、ルマ成分に対するサンプルのアレイの幅は、それぞれのクロマ成分に対するサンプルのアレイの幅の２倍であるが、ルマ成分に対するサンプルのアレイの高さは、それぞれのクロマ成分に対するサンプルのアレイの高さに等しい。更に、４：４：４フォーマットに従ってフォーマットされたＣＵに対して、ルマ成分に対するサンプルのアレイは、それぞれのクロマ成分に対するサンプルのアレイと同じ幅及び高さを有する。
【0022】
上述したように、イントラ予測データ又はインター予測データは、サンプル値のブロックに対する参照サンプル値を生成するために使用される。現在のＰＢ又は別の種類のピクチャ部分構造に含まれるサンプル値と、関連する参照サンプル（例えば、予測を用いて生成された参照サンプル）との差は、残差データと呼ばれることがある。残差データは、動画像データのそれぞれの成分に対応する差分値のそれぞれのアレイを含むことができる。残差データは、画素領域内とすることができる。離散コサイン変換（discrete cosine transform）、離散サイン変換（discrete sine transform）（ＤＳＴ）、整数変換、ウェーブレット変換、又は概念的に類似の変換などの変換を、差分値のアレイに適用して、変換係数を生成することができる。ＩＴＵ－Ｔ Ｈ．２６５では、ＣＵは、ルートをＣＵレベルにおいて有する変換ユニット（ＴＵ）構造に関連することに留意されたい。すなわち、ＩＴＵ－Ｔ Ｈ．２６５では、変換係数を生成する目的で、差分値のアレイを再分割することができる（例えば、４つの８×８変換を残差値の１６×１６のアレイに適用することができる）。動画像データの各成分について、差分値のこのような再分割は、変換ブロック（Transform Block）（ＴＢ）と呼ばれることがある。ＩＴＵ－Ｔ Ｈ．２６５では、ＴＢをＰＢに整列する必要はないことに留意されたい。図５は、特定のＣＢを符号化するために使用することができる代替のＰＢとＴＢとの組み合わせの例を示す。更に、ＩＴＵ－Ｔ Ｈ．２６５では、ＴＢは、以下のサイズ４×４、８×８、１６×１６、及び３２×３２を有することができることに留意されたい。
【0023】
ＪＥＭでは、ＣＢに対応する残差値を使用して、更なる分割を行うことなく変換係数が生成されることに留意されたい。すなわち、ＪＥＭでは、ＱＴＢＴリーフノードは、ＩＴＵ－Ｔ Ｈ．２６５におけるＰＢ及びＴＢの両方に類似のものとすることができる。ＪＥＭでは、コア変換及び後続の二次変換を（動画像符号化装置で）適用して変換係数を生成することができる。動画像復号装置に対しては、変換の順序は逆転される。更に、ＪＥＭでは、二次変換を適用して変換係数を生成するか否かは、予測モードに依存し得る。
【0024】
量子化プロセスを、変換係数に対して実行することができる。量子化は、変換係数の群を表すために必要なデータの量を変更するために、変換係数をスケーリングする。量子化は、量子化倍率による変換係数の除算及び任意の関連する丸め機能（例えば、最も近い整数への丸め）を含むことができる。量子化された変換係数は、係数レベル値と呼ばれることがある。逆量子化（Inverse quantization）（又は「脱量子化（dequantization）」）は、量子化倍率による係数レベル値の乗算を含むことができる。本明細書で使用されるとき、量子化プロセスという用語は、いくつかの場合では、レベル値を生成する量子化倍率による除算、及び、いくつかの場合では、変換係数を取り戻す量子化倍率による乗算を指すことがあることに留意されたい。すなわち、量子化プロセスは、いくつかの場合では、量子化、及び、いくつかの場合では、逆量子化を指すことがある。更に、以下の例では、量子化プロセスは、１０進数表記に関連する算術演算に対して説明されるが、そのような説明は例示を目的としたものであり、限定として解釈されるべきではないことに留意されたい。例えば、本明細書で説明する技術は、２進数演算などを使用するデバイスにおいて実施されてもよい。例えば、本明細書で説明する乗算演算及び除算演算は、ビットシフト演算などを使用して実施されてもよい。
【0025】
図６Ａから図６Ｂは、動画像データのブロックを符号化する例を示す概念図である。図６Ａに示すように、動画像データの現在のブロック（例えば、動画像成分に対応するＣＢ）は、動画像データの現在のブロックから予測値のセットを減算して残差を生成し、残差に対して変換を実行し、変換係数を量子化してレベル値を生成することによって符号化される。図６Ｂに示すように、動画像データの現在のブロックは、レベル値に対して逆量子化を実行し、逆変換を実行し、予測値のセットを、結果として生じた残差に加算することによって復号される。図６Ａから図６Ｂにおける例では、復元されたブロックのサンプル値は、符号化された現在の動画像ブロックのサンプル値とは異なる。このように、符号化は非可逆であると言うことができる。しかしながら、サンプル値の差は、復元された動画像の観察者に対して許容されるか、又は知覚されないと見なすことができる。更に、図６Ａから図６Ｂに示すように、倍率のアレイを使用してスケーリングが実行される。
【0026】
ＩＴＵ－Ｔ Ｈ．２６５では、スケーリング行列を選択し、スケーリング行列における各エントリに量子化倍率を乗算することによって、倍率のアレイが生成される。ＩＴＵ－Ｔ Ｈ．２６５では、スケーリング行列が予測モード及び色成分に基づいて選択され、以下のサイズのスケーリング行列が定義される：４×４、８×８、１６×１６、及び３２×３２。したがって、ＩＴＵ－Ｔ Ｈ．２６５は、４×４、８×８、１６×１６、及び３２×３２以外のサイズのスケーリング行列を定義しないことに留意されたい。ＩＴＵ－Ｔ Ｈ．２６５では、量子化倍率の値は、量子化パラメータＱＰによって決定することができる。ＩＴＵ－Ｔ Ｈ．２６５では、ＱＰは、０から５１の５２個の値を取ることができ、ＱＰに対する１の変化は、一般的に、約１２％の量子化倍率の値の変化に対応する。更に、ＩＴＵ－Ｔ Ｈ．２６５では、変換係数のセットに対するＱＰ値は、予測量子化パラメータ値（予測ＱＰ値又はＱＰ予測値と呼ばれることがある）と、任意選択的にシグナリングされる量子化パラメータデルタ値（ＱＰデルタ値又はデルタＱＰ値と呼ばれることがある）を使用して導出することができる。ＩＴＵ－Ｔ Ｈ．２６５では、量子化パラメータは、ＣＵ毎に更新することができ、また量子化パラメータは、ルマ（Ｙ）成分及びクロマ（Ｃｂ及びＣｒ）成分毎に導出することができる。ｘ×ｙアレイにおける各エントリについての、ＩＴＵ－Ｔ Ｈ．２６５で定義された脱量子化プロセスは、以下のように要約することができる：
ｄ［ｘ］［ｙ］＝
（（ＴｒａｎｓＣｏｅｆｆＬｅｖｅｌ［ｘ］［ｙ］＊ｍ［ｘ］［ｙ］＊ｌｅｖｅｌＳｃａｌｅ［ｑＰ％６］＜＜（ｑＰ／６））＋（１＜＜（ｂｄＳｈｉｆｔ－１）））＞ｂｄＳｈｉｆｔ
但し、
ｄ［ｘ］［ｙ］は、結果として得られる変換係数であり；
ＴｒａｎｓＣｏｅｆｆＬｅｖｅｌ［ｘ］［ｙ］は、係数レベル値であり；
ｍ［ｘ］［ｙ］は、スケーリング行列であり；
ｌｅｖｅｌＳｃａｌｅ［ｋ］＝｛４０，４５，５１，５７，６４，７２｝、但し、ｋ＝０．．５
ｑＰは、量子化パラメータであり；
ｂｄＳｈｉｆｔ＝ＢｉｔＤｅｐｔｈ＋Ｌｏｇ２（ｎＴｂＳ）＋１０であり、但し、ＢｉｔＤｅｐｔｈは、対応する成分のビット深さであり；
Ｌｏｇ２（ｘ）、底を２とするｘの対数；
ｎＴｂＳは、対応する変換ブロックのサイズを指定し；
ｘ＞＞ｙは、ｘの２の補数の整数表現の２進数の桁ｙだけの算術右シフトであり；
ｘ＜＜ｙは、ｘの２の補数の整数表現の２進数の桁ｙだけの算術左シフトであり；及び
ｘ％ｙは、ｘをｙで割った余りを返す（ｘ ｍｏｄ ｙ）。
ｄ［ｘ］［ｙ］＝
（（ＴｒａｎｓＣｏｅｆｆＬｅｖｅｌ［ｘ］［ｙ］＊ｍ［ｘ］［ｙ］＊ｌｅｖｅｌＳｃａｌｅ［ｑＰ％６］＜＜（ｑＰ／６））＋（１＜＜（ｂｄＳｈｉｆｔ－１）））＞ｂｄＳｈｉｆｔ
但し、
ｄ［ｘ］［ｙ］は、結果として得られる変換係数であり；
ＴｒａｎｓＣｏｅｆｆＬｅｖｅｌ［ｘ］［ｙ］は、係数レベル値であり；
ｍ［ｘ］［ｙ］は、スケーリング行列であり；
ｌｅｖｅｌＳｃａｌｅ［ｋ］＝｛４０，４５，５１，５７，６４，７２｝、但し、ｋ＝０．．５
ｑＰは、量子化パラメータであり；
ｂｄＳｈｉｆｔ＝ＢｉｔＤｅｐｔｈ＋Ｌｏｇ２（ｎＴｂＳ）＋１０であり、但し、ＢｉｔＤｅｐｔｈは、対応する成分のビット深さであり；
Ｌｏｇ２（ｘ）、底を２とするｘの対数；
ｎＴｂＳは、対応する変換ブロックのサイズを指定し；
ｘ＞＞ｙは、ｘの２の補数の整数表現の２進数の桁ｙだけの算術右シフトであり；
ｘ＜＜ｙは、ｘの２の補数の整数表現の２進数の桁ｙだけの算術左シフトであり；及び
ｘ％ｙは、ｘをｙで割った余りを返す（ｘ ｍｏｄ ｙ）。
【0027】
ＩＴＵ－Ｔ Ｈ．２６５は、逆変換スキップ（又はバイパス）モードを含むことに留意されたい。いくつかの場合では、変換は残差データに対して実行しなくてもよい。ＩＴＵ－Ｔ Ｈ．２６５では、逆変換スキップ条件が適用された場合には、残差値のアレイを以下のように導出することができる：
ｒ［ｘ］［ｙ］＝（ｒｏｔａｔｅＣｏｅｆｆｓ？ｄ［ｎＴｂＳ－ｘ－１］［ｎＴｂＳ－ｙ－１］：ｄ［ｘ］［ｙ］＜＜ｔｓＳｈｉｆｔ）
但し、
ｘ？ｙ：ｚは、ｘが真であるか又は０に等しくない場合には、ｙの値を評価し、そうでなければ、ｚの値を評価すると定義される、
ｔｓＳｈｉｆｔ＝（ｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇ？Ｍｉｎ（５，ｂｄＳｈｉｆｔ－２）：５）＋Ｌｏｇ２（ｎＴｂＳ）、
Ｍｉｎ（ｘ，ｙ）は、ｘがｙ以下であるというｘを返すか、又はｘはｙよりも大きいというｙを返す、
１に等しいｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇは、拡張された動的範囲が係数構文解析及び逆変換処理に使用されることを規定する。０に等しいｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇは、拡張された動的範囲が使用されないことを規定する。
ｒ［ｘ］［ｙ］＝（ｒｏｔａｔｅＣｏｅｆｆｓ？ｄ［ｎＴｂＳ－ｘ－１］［ｎＴｂＳ－ｙ－１］：ｄ［ｘ］［ｙ］＜＜ｔｓＳｈｉｆｔ）
但し、
ｘ？ｙ：ｚは、ｘが真であるか又は０に等しくない場合には、ｙの値を評価し、そうでなければ、ｚの値を評価すると定義される、
ｔｓＳｈｉｆｔ＝（ｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇ？Ｍｉｎ（５，ｂｄＳｈｉｆｔ－２）：５）＋Ｌｏｇ２（ｎＴｂＳ）、
Ｍｉｎ（ｘ，ｙ）は、ｘがｙ以下であるというｘを返すか、又はｘはｙよりも大きいというｙを返す、
１に等しいｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇは、拡張された動的範囲が係数構文解析及び逆変換処理に使用されることを規定する。０に等しいｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇは、拡張された動的範囲が使用されないことを規定する。
【0028】
ｒｏｔａｔｅＣｏｅｆｆｓが１に等しい場合には、入力係数のセットは、スケーリングされる前に回転されることに留意されたい。ＩＴＵ－Ｔ Ｈ．２６５では、以下の条件、すなわち、変換スキップが可能である、ｎＴｂｓが４に等しい、及び予測モードがイントラ予測モードである、の全てが真である場合には、ｒｏｔａｔｅＣｏｅｆｆｓは１に等しく、そうでなければ、ｒｏｔａｔｅＣｏｅｆｆｓは０に等しい。
【0029】
図６Ａに示すように、量子化された変換係数はビットストリームに符号化される。量子化された変換係数及びシンタックス要素（例えば、動画像ブロックの符号化構造を示すシンタックス要素）は、エントロピ符号化技術に従ってエントロピ符号化することができる。エントロピ符号化技術の例としては、コンテンツ適応型可変長符号化（content adaptive variable length coding）（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術符号化（context adaptive binary arithmetic coding）（ＣＡＢＡＣ）、確率間隔分割エントロピ符号化（probability interval partitioning entropy coding）（ＰＩＰＥ）などが挙げられる。エントロピ符号化され量子化された変換係数及び対応するエントロピ符号化されたシンタックス要素は、動画像復号装置で動画像データを再生するために使用することができる適合したビットストリームを形成することができる。エントロピ符号化プロセスは、シンタックス要素に対する二値化の実行を含むことができる。二値化は、シンタックス値の値を一連の１つ以上のビットに変換するプロセスを指す。これらのビットは、「ビン」と呼ばれることがある。二値化は無損失のプロセスであり、以下の符号化技術：固定長符号化、単項符号化、短縮単項符号化、短縮Ｒｉｃｅ符号化、Ｇｏｌｏｍｂ符号化、ｋ次指数Ｇｏｌｏｍｂ符号化、及びＧｏｌｏｍｂ－Ｒｉｃｅ符号化のうちの１つ又は組み合わせを含むことができる。例えば、二値化は、８ビットの固定長二値化技術を使用して、０００００１０１としてシンタックス要素の５の整数値を表すこと、又は単項符号化二値化技術を使用して、１１１１０として５の整数値を表すことを含んでもよい。本明細書で使用されるとき、固定長符号化、単項符号化、短縮単項符号化、短縮Ｒｉｃｅ符号化、Ｇｏｌｏｍｂ符号化、ｋ次指数Ｇｏｌｏｍｂ符号化、及びＧｏｌｏｍｂ－Ｒｉｃｅ符号化という用語のそれぞれは、これらの技術の一般的な実装形態及び／又はこれらの符号化技術のより具体的な実装形態を指すことがある。例えば、Ｇｏｌｏｍｂ－Ｒｉｃｅ符号化の実装形態は、動画像符号化規格、例えば、ＩＴＵ－Ｔ Ｈ．２６５に従って具体的に定義することができる。エントロピ符号化プロセスは、可逆データ圧縮アルゴリズムを使用してビン値を符号化することを更に含む。ＣＡＢＡＣの例では、特定のビンに対して、コンテキストモデルは、ビンに関連する使用可能なコンテキストモデルのセットから選択することができる。いくつかの例では、コンテキストモデルは、前のビン及び／又は前のシンタックス要素の値に基づいて選択することができる。コンテキストモデルは、ビンが特定の値を有している確率を識別することができる。例えば、コンテキストモデルは、０の値のビンを符号化する０．７の確率、及び１の値のビンを符号化する０．３の確率を示すことができる。いくつかの場合では、０値のビンを符号化する確率及び１値ビンを符号化する確率は、合計で１にならない場合があることに留意されたい。使用可能なコンテキストモデルを選択した後で、ＣＡＢＡＣエントロピ符号化装置は、識別したコンテキストモデルに基づいて、ビンを算術的に符号化することができる。コンテキストモデルは、符号化されたビンの値に基づいて更新することができる。コンテキストモデルは、コンテキストと一緒に記憶された関連する変数、例えば、適応ウィンドウサイズ、コンテキストを使用して符号化されたビンの数に基づいて更新することができる。ＩＴＵ－Ｔ Ｈ．２６５に従って、一部のシンタックス要素が、明示的に割り当てられたコンテキストモデルの使用なしに、算術符号化を用いてエントロピ符号化することができるように、ＣＡＢＡＣエントロピ符号化装置を実装することができ、そのような符号化はバイパス符号化と呼ばれることがあることに留意されたい。
【0030】
上述したように、イントラ予測データ又はインター予測データは、ピクチャ（例えば、ＰＢ又はＣＢ）の部分を、対応する参照サンプルと関連付けることができる。イントラ予測符号化のために、イントラ予測モードは、ピクチャ内の参照サンプルの位置を指定することができる。ＩＴＵ－Ｔ Ｈ．２６５では、定義された可能なイントラ予測モードは、平面（すなわち、曲面当てはめ）予測モード（ｐｒｅｄＭｏｄｅ：０）、ＤＣ（すなわち、単調全体平均化）予測モード（ｐｒｅｄＭｏｄｅ：１）、及び３３角度予測モード（ｐｒｅｄＭｏｄｅ：２～３４）を含む。ＪＥＭでは、定義された可能なイントラ予測モードは、平面予測モード（ｐｒｅｄＭｏｄｅ：０）、ＤＣ予測モード（ｐｒｅｄＭｏｄｅ：１）、及び６５角度予測モード（ｐｒｅｄＭｏｄｅ：２～６６）を含む。平面及びＤＣ予測モードは、非方向性予測モードと呼ばれることがあり、角度予測モードは、方向性予測モードと呼ばれることがあることに留意されたい。本明細書で説明する技術は、定義された可能な予測モードの数にかかわらず、一般的に適用可能であり得ることに留意されたい。
【0031】
上述したように、ＩＴＵ－Ｔ Ｈ．２６５に従って定義された平面予測モードは、曲面当てはめとして説明することができる。ＩＴＵ－Ｔ Ｈ．２６５に従って定義された平面予測モードは、２つの線形予測の平均化を含む。すなわち、ＩＴＵ－Ｔ Ｈ．２６５では、ＣＢに含まれるサンプルそれぞれについて、対応する予測は、２つの線形予測の平均として決定される。第１の水平線形予測は、最も右の位置で、ＣＢに隣接する上の行に位置する復元されたサンプル値の値（図１５ＡではＴとして示されている）を、ＣＢに隣接する左の列に位置し、かつ現在のサンプルと同じ垂直位置を有している、復元されたサンプルを有する現在のサンプル値（すなわち、ｐ［－１］［ｙ］として定義される）の位置に補間することによって生成される。第２の垂直線形予測は、最も下の位置で、ＣＢに隣接する左の列に位置する復元されたサンプル値の値（図１５ＡではＬとして示されている）を、ＣＢに隣接する上の行に位置し、かつ現在のサンプルと同じ水平位置を有している、復元されたサンプルを有する現在のサンプル値（すなわち、ｐ［ｘ］［－１］として定義される）の位置に補間することによって生成される。したがって、図１５Ａを参照すると、ＩＴＵ－Ｔ Ｈ．２６５に従って定義された平面予測モードは、一般的に、（１）ｐ［－１］［ｙ］によるＴの補間、及び（２）ｐ［ｘ］［－１］によるＬの補間の平均として説明することができる。次式は、ＩＴＵ－Ｔ Ｈ．２６５で提供されるような平面予測モードの形式的定義を提供する。
【0032】
ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝（（ｎＴｂＳ－１－ｘ）＊ｐ［－１］［ｙ］＋（ｘ＋１）＊ｐ［ｎＴｂＳ］［－１］＋（ｎＴｂＳ－１－ｙ）＊ｐ［ｘ］［－１］＋（ｙ＋１）＊ｐ［－１］［ｎＴｂＳ］＋ｎＴｂＳ）＞＞（Ｌｏｇ２（ｎＴｂＳ）＋１）
但し、
ｐ［－１］［ｙ］は、ＣＢに隣接する左の列に位置し、現在のサンプルと同じ垂直位置を有する復元されたサンプルのサンプル値であり；
ｐ［ｎＴｂＳ］［－１］は、Ｔのサンプル値であり；
ｐ［ｘ］［－１］は、ＣＢに隣接する上の行に位置し、現在のサンプルと同じ水平位置を有する復元されたサンプルのサンプル値であり；
ｐ［－１］［ｎＴｂＳ］は、Ｌのサンプル値であり；
ｘ＞＞ｙは、ｘ２の補数の整数表現の２進数の桁ｙだけの算術右シフトであり；及び
Ｌｏｇ２（ｘ）、底を２とするｘの対数。
但し、
ｐ［－１］［ｙ］は、ＣＢに隣接する左の列に位置し、現在のサンプルと同じ垂直位置を有する復元されたサンプルのサンプル値であり；
ｐ［ｎＴｂＳ］［－１］は、Ｔのサンプル値であり；
ｐ［ｘ］［－１］は、ＣＢに隣接する上の行に位置し、現在のサンプルと同じ水平位置を有する復元されたサンプルのサンプル値であり；
ｐ［－１］［ｎＴｂＳ］は、Ｌのサンプル値であり；
ｘ＞＞ｙは、ｘ２の補数の整数表現の２進数の桁ｙだけの算術右シフトであり；及び
Ｌｏｇ２（ｘ）、底を２とするｘの対数。
【0033】
図１５Ｂは、現在のサンプルＣについて、ｐ［－１］［ｙ］はｂと表記され、ｐ［ｘ］［－１］はａと表記された例を示す。
【0034】
インター予測符号化のために、動きベクトル（ＭＶ）は、符号化されるべき動画像ブロックのピクチャ以外のピクチャ内の参照サンプルを識別し、それによって動画像の時間的冗長性を利用する。例えば、現在の動画像ブロックは、以前に符号化されたフレーム（単数又は複数）内に位置する参照ブロック（単数又は複数）から予測することができ、動きベクトルは、参照ブロックの位置を示すために使用することができる。動きベクトル及び関連するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルに対する解像度（例えば、四分の一画素の精度、二分の一画素の精度、一画素の精度、二画素の精度、四画素の精度）、予測方向、及び／又は参照ピクチャのインデックス値を記述することができる。更に、例えば、ＩＴＵ－Ｔ Ｈ．２６５などの符号化規格は、動きベクトル予測をサポートすることができる。動きベクトル予測は、隣接するブロックの動きベクトルを用いて動きベクトルを指定することを可能にする。動きベクトル予測の例としては、高度動きベクトル予測（advanced motion vector prediction）（ＡＭＶＰ）、時間動きベクトル予測（temporal motion vector prediction）（ＴＭＶＰ）、いわゆる「結合」モード、並びに「スキップ」及び「直接」動き推測が挙げられる。更に、ＪＥＭは、高度時間動きベクトル予測（advanced temporal motion vector prediction）（ＡＴＭＶＰ）及び空間時間動きベクトル予測（Spatial-temporal motion vector prediction）（ＳＴＭＶＰ）をサポートする。
【0035】
上述したように、ＪＥＭでは、任意の矩形のＣＢを許容するＱＴＢＴリーフノードは、ＩＴＵ－Ｔ Ｈ．２６５でのＰＢ及びＴＢの両方に類似してよい。したがって、いくつかの場合では、ＪＥＭは、ＩＴＵ－Ｔ Ｈ．２６５で提供されるものよりも、可能なＰＢ構造及びＴＢ構造に対してより低い柔軟性を提供することがある。更に上述したように、ＩＴＵ－Ｔ Ｈ．２６５では、正方形のＴＢしか許容されず、正方形のＰＢしかイントラ予測に許容されない。したがって、ＩＴＵ－Ｔ Ｈ．２６５でのいくつかのプロセスは、プロセスに入力されるサンプル値のアレイが正方形でなければならないという仮定に基づいて定義されるので、ＩＴＵ－Ｔ Ｈ．２６５におけるいくつかのプロセスは、任意の矩形の動画像ブロックを符号化するための適切なサポートを提供しない場合がある。更に、ＪＥＭで定義されるようなＱＴＢＴ分割及び関連するシグナリングは、理想的ではない場合がある。本開示は、任意の矩形の動画像ブロックを使用して動画像符号化を実行する技術を説明する。
【0036】
図７は、本開示の１つ以上の技術による、動画像データを符号化する（符号化及び／又は復号する）ように構成することができる、システムの例を示すブロック図である。システム１００は、本開示の１つ以上の技術による、任意の矩形の動画像ブロックを使用して動画像符号化を実行することができるシステムの例を表す。図１に示すように、システム１００は、ソースデバイス１０２と、通信媒体１１０と、目的デバイス１２０と、を含む。図１に示す例では、ソースデバイス１０２は、動画像データを符号化し、符号化した動画像データを通信媒体１１０に送信するように構成された、任意のデバイスを含むことができる。目的デバイス１２０は、通信媒体１１０を介して符号化した動画像データを受信し、符号化した動画像データを復号するように構成された、任意のデバイスを含むことができる。ソースデバイス１０２及び／又は目的デバイス１２０は、有線及び／又は無線通信のために搭載されたコンピューティングデバイスを含むことができ、セットトップボックス、デジタルビデオレコーダ、テレビ、デスクトップ、ラップトップ、又はタブレット型コンピュータ、ゲーム機、例えば、「スマート」フォン、セルラー電話、パーソナルゲーミングデバイスを含むモバイルデバイス、及び医療用イメージングデバイスを含むことができる。
【0037】
通信媒体１１０は、無線及び有線の通信媒体並びに／又は記憶デバイスの任意の組み合わせを含むことができる。通信媒体１１０としては、同軸ケーブル、光ファイバケーブル、ツイストペアケーブル、無線送信機及び受信機、ルータ、スイッチ、リピータ、基地局、又は様々なデバイスとサイトとの間の通信を容易にするために有用であり得る任意の他の機器を挙げることができる。通信媒体１１０は、１つ以上のネットワークを含むことができる。例えば、通信媒体１１０は、ワールドワイドウェブ、例えば、インターネットへのアクセスを可能にするように構成されたネットワークを含むことができる。ネットワークは、１つ以上の電気通信プロトコルの組み合わせに従って動作することができる。電気通信プロトコルは、専用の態様を含むことができ、及び／又は規格化された電気通信プロトコルを含むことができる。標準化された電気通信プロトコルの例としては、Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｂｒｏａｄｃａｓｔｉｎｇ（ＤＶＢ）規格、Ａｄｖａｎｃｅｄ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍｓ Ｃｏｍｍｉｔｔｅｅ（ＡＴＳＣ）規格、Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｂｒｏａｄｃａｓｔｉｎｇ（ＩＳＤＢ）規格、Ｄａｔａ Ｏｖｅｒ Ｃａｂｌｅ Ｓｅｒｖｉｃｅ Ｉｎｔｅｒｆａｃｅ Ｓｐｅｃｉｆｉｃａｔｉｏｎ（ＤＯＣＳＩＳ）規格、Ｇｌｏｂａｌ Ｓｙｓｔｅｍ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＧＳＭ）規格、符号分割多重アクセス（code division multiple access）（ＣＤＭＡ）規格、第三世代パートナーシッププロジェクト（3rd Generation Partnership Project）（３ＧＰＰ）規格、欧州電気通信標準化機構（European Telecommunications Standards Institute）（ＥＴＳＩ）規格、インターネットプロトコル（Internet Protocol）（ＩＰ）規格、ワイヤレスアプリケーションプロトコル（Wireless Application Protocol）（ＷＡＰ）規格、及びＩｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ（ＩＥＥＥ）規格が挙げられる。
【0038】
記憶デバイスは、データを記憶することができる任意の種類のデバイス又は記憶媒体を含むことができる。記憶媒体は、有形又は非一時的コンピュータ可読媒体を含むことができる。コンピュータ可読媒体としては、光学ディスク、フラッシュメモリ、磁気メモリ、又は任意の他の好適なデジタル記憶媒体を挙げることができる。いくつかの例では、メモリデバイス又はその一部分は不揮発性メモリとして説明されることがあり、他の例では、メモリデバイスの一部分は揮発性メモリとして説明されることがある。揮発性メモリの例としては、ランダムアクセスメモリ（random access memories）（ＲＡＭ）、ダイナミックランダムアクセスメモリ（dynamic random access memories）（ＤＲＡＭ）、及びスタティックランダムアクセスメモリ（static random access memories）（ＳＲＡＭ）を挙げることができる。不揮発性メモリの例としては、磁気ハードディスク、光学ディスク、フロッピーディスク、フラッシュメモリ、又は電気的プログラム可能メモリ（electrically programmable memories）（ＥＰＲＯＭ）若しくは電気的消去可能及びプログラム可能メモリ（electrically erasable and programmable）（ＥＥＰＲＯＭ）の形態を挙げることができる。記憶デバイス（単数又は複数）としては、メモリカード（例えば、セキュアデジタル（Secure Digital）（ＳＤ）メモリカード）、内蔵／外付けハードディスクドライブ、及び／又は内蔵／外付けソリッドステートドライブを挙げることができる。データは、定義されたファイルフォーマットに従って記憶デバイス上に記憶することができる。
【0039】
図１を再び参照すると、ソースデバイス１０２は、ビデオソース１０４と、動画像符号化装置１０６と、インターフェース１０８と、を含む。ビデオソース１０４は、動画像データをキャプチャ及び／又は記憶するように構成された任意のデバイスを含むことができる。例えば、ビデオソース１０４は、ビデオカメラ及びそれに動作可能に結合された記憶デバイスを含むことができる。動画像符号化装置１０６は、動画像データを受信し、動画像データを表す適合したビットストリームを生成するように構成された、任意のデバイスを含むことができる。適合したビットストリームは、動画像復号装置が受信し、それから動画像データを再生することができるビットストリームを指すことがある。適合したビットストリームの態様は、動画像符号化標準に従って定義することができる。適合したビットストリームを生成するとき、動画像符号化装置１０６は、動画像データを圧縮することができる。圧縮は、非可逆性（認識可能又は認識不能）又は可逆性とすることができる。インターフェース１０８は、適合した動画像ビットストリームを受信し、適合した動画像ビットストリームを通信媒体に送信及び／又は記憶するように構成された、任意のデバイスを含むことができる。インターフェース１０８は、イーサネットカードなどのネットワークインターフェースカードを含むことができ、光送受信機、無線周波数送受信機、又は情報を送信及び／若しくは受信することができる任意の他の種類のデバイスを含むことができる。更に、インターフェース１０８は、適合した動画像ビットストリームを記憶デバイス上に記憶することを可能にすることができるコンピュータシステム用インターフェースを含むことができる。例えば、インターフェース１０８は、Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ（ＰＣＩ）及びＰｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ（ＰＣＩｅ）バスプロトコル、独自のバスプロトコル、ユニバーサルシリアルバス（Universal Serial Bus）（ＵＳＢ）プロトコル、Ｉ２Ｃ、又はピアデバイスを相互接続するために使用することができる任意の他の論理及び物理構造をサポートする、チップセットを含むことができる。
【0040】
図１を再び参照すると、目的デバイス１２０は、インターフェース１２２と、動画像復号装置１２４と、ディスプレイ１２６と、を含む。インターフェース１２２は、適合した動画像ビットストリームを通信媒体から受信するように構成された任意のデバイスを含むことができる。インターフェース１０８は、イーサネットカードなどのネットワークインターフェースカードを含むことができ、光送受信機、無線周波数送受信機、又は情報を受信及び／若しくは送信することができる任意の他の種類のデバイスを含むことができる。更に、インターフェース１２２は、適合した動画像ビットストリームを記憶デバイスから取得することを可能にするコンピュータシステム用インターフェースを含むことができる。例えば、インターフェース１２２は、ＰＣＩ及びＰＣＩｅバスプロトコル、独自のバスプロトコル、ＵＳＢプロトコル、Ｉ２Ｃ、又はピアデバイスを相互接続するために使用することができる任意の他の論理及び物理構造をサポートする、チップセットを含むことができる。動画像復号装置１２４は、適合したビットストリーム及び／又はその許容可能な変形を受信し、それから動画像データを再生するように構成された、任意のデバイスを含むことができる。ディスプレイ１２６は、動画像データを表示するように構成された任意のデバイスを含むことができる。ディスプレイ１２６は、液晶ディスプレイ（liquid crystal display）（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（organic light emitting diode）（ＯＬＥＤ）ディスプレイ、又は別の種類のディスプレイなどの、様々なディスプレイデバイスのうちの１つを含むことができる。ディスプレイ１２６は、高解像度ディスプレイ又は超高解像度ディスプレイを含むことができる。図７に示す例では、動画像復号装置１２４は、データをディスプレイ１２６に出力するように説明されているが、動画像復号装置１２４は、動画像データを様々な種類のデバイス及び／又はそのサブコンポーネントに出力するように構成することができることに留意されたい。例えば、動画像復号装置１２４は、本明細書で説明するような任意の通信媒体に動画像データを出力するように構成することができる。
【0041】
図８は、本明細書で説明する動画像データを符号化する技術を実施することができる、動画像符号化装置２００の例を示すブロック図である。例の動画像符号化装置２００は、別個の機能ブロックを有するように示されているが、そのような例示は、説明のためのものであり、動画像符号化装置２００及び／又はそのサブコンポーネントを特定のハードウェア又はソフトウェアアーキテクチャに限定するものではないことに留意されたい。動画像符号化装置２００の機能は、ハードウェア、ファームウェア、及び／又はソフトウェアの実装形態の任意の組み合わせを用いて実現することができる。一例では、動画像符号化装置２００は、本明細書で説明する技術に従って動画像データを符号化するように構成することができる。動画像符号化装置２００は、ピクチャ部分のイントラ予測符号化及びインター予測符号化を実行することができ、そのように、複合動画像符号化装置と呼ばれることがある。図８に示す例では、動画像符号化装置２００は、ソース動画像ブロックを受信する。いくつかの例では、ソース動画像ブロックは、符号化構造に従って分割されているピクチャの部分を含むことができる。例えば、ソース動画像データは、マクロブロック、ＣＴＵ、ＣＢ、その再分割、及び／又は別の同等の符号化ユニットを含むことができる。いくつかの例では、動画像符号化装置２００は、ソース動画像ブロックの追加の再分割を実行するように構成することができる。本明細書で説明するいくつかの技術は、符号化の前及び／又は符号化中にソース動画像データがどのように分割されるかにかかわらず、動画像符号化に一般的に適用可能であることに留意されたい。図８に示す例では、動画像符号化装置２００は、加算器２０２と、変換係数発生装置２０４と、係数量子化部２０６と、逆量子化／変換処理部２０８と、加算器２１０と、イントラ予測処理部２１２と、インター予測処理部２１４と、ポストフィルタ部２１６と、エントロピ符号化部２１８と、を含む。
【0042】
図８に示すように、動画像符号化装置２００は、ソース動画像ブロックを受信し、ビットストリームを出力する。上述したように、ＪＥＭは、ＱＴＢＴ木のシグナリングに対して以下のパラメータを含む：ＣＴＵサイズ、ＭｉｎＱＴＳｉｚｅ、ＭａｘＢＴＳｉｚｅ、ＭａｘＢＴＤｅｐｔｈ、及びＭｉｎＢＴＳｉｚｅ。表２は、異なるＣＴＵサイズ（例では、ＭｉｎＱＴＳｉｚｅが８である）についての様々なＱＴ深さでのＱＴリーフノードのブロックサイズを示す。更に、表３は、二分木ルートノードサイズ（すなわち、リーフ四分木ノードサイズ）の様々なＢＴ深さでのＢＴリーフノードの許容ブロックサイズを示す。
したがって、表２を参照すると、二分木のルートを形成する四分木ノードサイズは、ＣＴＵサイズ及びＱＴ深さに基づいて決定することができる。四分木が更に二分木に分割される場合、表３に示すように、ＱＴノードサイズ及びＢＴ深さに基づいて、二分木リーフノードサイズを決定することができる。ＭａｘＢＴＳｉｚｅ、ＭａｘＢＴＤｅｐｔｈ、及びＭｉｎＢＴＳｉｚｅのそれぞれを使用して、最小許容二分木リーフノードサイズを決定することができる。例えば、ＣＴＵサイズが１２８×１２８、ＱＴ深さが３である場合、ＭａｘＢＴＳｉｚｅは１６×１６であり、ＭａｘＢＴＤｅｐｔｈは２であり、最小許容二分木リーフノードサイズは、６４個のサンプル（すなわち、８×８、１６×４、又は４×１６）を含む。この場合、ＭａｘＢＴＤｅｐｔｈが１である場合、最小許容二分木リーフノードサイズは、１２８個のサンプル（すなわち、１６×８又は８×１６）を含む。表４は、１２８×１２８のＣＴＵサイズについてのＱＴ深さ及びＢＴ深さの様々な組み合わせでのＢＴリーフノードのブロックサイズを示す。
上述したように、ＪＥＭで定義されるようなＱＴＢＴの分割及び関連するシグナリングは、理想的ではない場合がある。例えば、図３に関して上述したように、ＪＥＭでは、独立したＱＴＢＴがＣＴＵを分割するために使用されるとき、ルマ成分のＣＢは、クロマ成分のＣＢと整列することが要求されず、また必ずしも整列する必要はない。すなわち、ＪＥＭでは、独立したＱＴＢＴがＣＴＵを分割するために使用されるとき、ルマ成分及びクロマ成分の分割のそれぞれは、ＱＴ分割フラグ及びＢＴ分割モードシンタックス要素の別個のセットを使用してシグナリングされ、そのようなシグナリングは理想的ではない場合がある。
【表2】
【表3】
したがって、表２を参照すると、二分木のルートを形成する四分木ノードサイズは、ＣＴＵサイズ及びＱＴ深さに基づいて決定することができる。四分木が更に二分木に分割される場合、表３に示すように、ＱＴノードサイズ及びＢＴ深さに基づいて、二分木リーフノードサイズを決定することができる。ＭａｘＢＴＳｉｚｅ、ＭａｘＢＴＤｅｐｔｈ、及びＭｉｎＢＴＳｉｚｅのそれぞれを使用して、最小許容二分木リーフノードサイズを決定することができる。例えば、ＣＴＵサイズが１２８×１２８、ＱＴ深さが３である場合、ＭａｘＢＴＳｉｚｅは１６×１６であり、ＭａｘＢＴＤｅｐｔｈは２であり、最小許容二分木リーフノードサイズは、６４個のサンプル（すなわち、８×８、１６×４、又は４×１６）を含む。この場合、ＭａｘＢＴＤｅｐｔｈが１である場合、最小許容二分木リーフノードサイズは、１２８個のサンプル（すなわち、１６×８又は８×１６）を含む。表４は、１２８×１２８のＣＴＵサイズについてのＱＴ深さ及びＢＴ深さの様々な組み合わせでのＢＴリーフノードのブロックサイズを示す。
【表4】
上述したように、ＪＥＭで定義されるようなＱＴＢＴの分割及び関連するシグナリングは、理想的ではない場合がある。例えば、図３に関して上述したように、ＪＥＭでは、独立したＱＴＢＴがＣＴＵを分割するために使用されるとき、ルマ成分のＣＢは、クロマ成分のＣＢと整列することが要求されず、また必ずしも整列する必要はない。すなわち、ＪＥＭでは、独立したＱＴＢＴがＣＴＵを分割するために使用されるとき、ルマ成分及びクロマ成分の分割のそれぞれは、ＱＴ分割フラグ及びＢＴ分割モードシンタックス要素の別個のセットを使用してシグナリングされ、そのようなシグナリングは理想的ではない場合がある。
【0043】
いくつかの例では、本明細書に記載される技術に従い、動画像符号化装置２００は、ＣＴＵを分割し、それによってルマ成分及びクロマ成分が、特定の深さまで共通の分割構造を有し、したがって、ＱＴ分割フラグ及びＢＴ分割モードシンタックス要素の共通のセットを特定の深さまで共有するように構成することができる。この場合、深さはＱＴＢＴの絶対深さ（すなわち、ＱＴ深さ及びＢＴ深さの合計によって形成される深さ）に対応してもよいことに留意されたい。いくつかの場合では、深さは、ブロック内の成分（例えば、ルマ及び／又はクロマ）のサンプルの数に対応してもよく、また任意選択的に最小幅及び／又は最＋小高さに従って示されてもよいことに留意されたい。例えば、ＱＴＢＴは、クロマサンプルのアレイが特定のサイズに分割されるまで共有されてもよい。例えば、ＱＴＢＴは、ノードの高さ又は幅のうちの１つが、成分についてのサンプルの特定の数、例えば８個のサンプルよりも小さくなるまで共有されてもよい。例えば、ＱＴＢＴは、ノードについての成分（例えば、ルマ及び／又はクロマ）のサンプルの数が特定の数、例えば、６４よりも小さくなるまで共有されてもよい。一例では、深さは、ＣＴＵのセットについて事前に決定されてもよい。例えば、深さは、動画像データのスライスについて２に設定されてもよく、又は例えば、動画像データのピクチャについて２に設定されてもよい。一例では、深さは、シンタックス要素（例えば、ｓｈａｒｅｄ＿ｄｅｐｔｈなど）を使用してシグナリングされてもよい。一例では、共有深さシンタックス要素は、ＣＴＵレベルでシグナリングされてもよい。一例では、共有深さシンタックス要素は、スライスレベルでシグナリングされてもよい。一例では、共有深度シンタックス要素は、パラメータセットレベル（例えば、ピクチャパラメータセット（Picture Parameter Set）（ＰＰＳ）又はシーケンスパラメータセット（Sequence Parameter Set）（ＳＰＳ）でシグナリングされてもよい。一例では、より高いレベルのフラグを使用して、より低いレベルにある共有深さシンタックス要素の存在が示されてもよい。例えば、スライスレベルに含まれるシンタックス要素は、スライスに含まれる各ＣＴＵに共有深さシンタックス要素が含まれているか否かを示すことができる。同様に、ＣＴＵレベルフラグは、共有ＱＴＢＴ、部分共有ＱＴＢＴ、又はルマ及びクロマ成分についての独立したＱＴＢＴのうちの１つ以上を示すために使用されてもよいことに留意されたい。
【0044】
一例では、共有深さシンタックス要素は、分割レベルでのフラグであってもよい。例えば、ＱＴ分割フラグ及び／又はＢＴ分割モードそれぞれについて、各フラグは、示された分割が共有されているか否かを示すことができる。一例では、共有深さは、高レベルでの共有深さシンタックス要素を使用して設定されてもよく、またより低いレベルのフラグは、シンタックス要素によって指定されたレベルを超える共有を示すために使用されてもよい。例えば、共有深さは、スライスレベルで１の深さとして設定されてもよく、またスライス内のそれぞれのＣＴＵは、特定のＣＴＵについて共有は１の深さを超えて２の深さまで延びているか否かを示すフラグを含んでもよい。
【0045】
図９及び図１０は、ルマ成分及びクロマ成分が共有深さまで共有分割を有する例を示す概念図である。図９に示す例では、ルマ成分は、１の共有深さを超えて更に分割され、クロマ成分は、深さ１を超えて分割されない。図１０に示す例では、ルマ成分及びクロマ成分の両方は、１の共有深さを超えて独立して分割される。上述したように、動画像サンプリングフォーマットは、ＣＵに含まれるルマサンプルの数に対してＣＵに含まれるクロマサンプルの数を定義することができる。一例では、動画像符号化装置２００は、サンプリングフォーマットに基づいて、共有深さを超えて、クロマ成分を選択的に分割するように構成されてもよい。例えば、ＣＴＵが４：２：０サンプルフォーマットに従ってフォーマットされている場合、一例では、動画像符号化装置２００は、クロマ成分が共有深さを超えて更に分割することができないように構成されてもよい。更に、ＣＴＵが４：４：４サンプルフォーマットに従ってフォーマットされている場合、一例では、動画像符号化装置２００は、クロマ成分が共有深さを超えて更に分割することができるように構成されてもよい。更に、サンプリングフォーマットの他に、又は代替として、ＣＴＵサイズ、ＭｉｎＱＴＳｉｚｅ、ＭａｘＢＴＳｉｚｅ、ＭａｘＢＴＤｅｐｔｈ、及び／又はＭｉｎＢＴＳｉｚｅのうちの１つ以上を使用して、クロマ成分は共有深さを超えて分割されることが許可されているか否かを判定することができる。
【0046】
図１１は、図１０に示す例示的なＱＴＢＴ区分に対応するＱＴＢＴの例を示す概念図である。図１１に示すように、ルマについてのＱＴＢＴ及びクロマについてのＱＴＢＴは、深さ１まで同じである。すなわち、共有深さは１である。更に、図１１に示すルマ木は、説明を目的として、図２に示すＱＴＢＴと同じであることに留意されたい。したがって、図１１に示す例について、動画像符号化装置２００は、表１において規定された擬似シンタックスに基づいて、ルマＱＴＢＴをシグナリングするように構成されてもよい。一例では、動画像符号化装置２００は、表５において規定された擬似シンタックスに基づいて、共有ＱＴＢＴを超えるクロマＱＴＢＴをシグナリングするように構成されてもよい。
表５に示す例では、付加分割条件は、上述したようなサンプリングフォーマット、ＣＴＵサイズ、ＭｉｎＱＴＳｉｚｅ、ＭａｘＢＴＳｉｚｅ、ＭａｘＢＴＤｅｐｔｈ、及び／又はＭｉｎＢＴＳｉｚｅのうちの１つ以上に基づく条件を含んでもよい。一例では、動画像符号化装置２００は、表１及び表５に示したシンタックス要素を多重化することによって、共有ＱＴＢＴを超えるクロマＱＴＢＴをシグナリングするように構成されてもよい。例えば、共有ノード及び共有ノードの子孫ノードを越えるクロマ成分ノードについてのシンタックス要素は、共有ノード及び共有ノードの子孫ノードを越えるルマ成分ノードについてのシンタックス要素の後にシグナリングすることができる。表６は、共有ノードがルマ成分についてのリーフノードで終端するシンタックス要素の後に、クロマ成分についてのシンタックス要素がシグナリングされる、擬似シンタックスの例を示す。一例では、クロマシンタックス要素は、ルマシンタックス要素の前にシグナリングされてもよい。
このようにして、動画像符号化装置２００は、動画像データの第１の成分及び動画像データの第２の成分についてのサンプル値を含む動画像ブロックを受信し、第１の四分木二分木分割構造に従って動画像データの第１の成分についてのサンプル値を分割し、共有深さまで、第１の四分木二分木分割構造に従い動画像データの第２の成分についてのサンプル値を分割するように構成されたデバイスの一例を表す。
【表5】
表５に示す例では、付加分割条件は、上述したようなサンプリングフォーマット、ＣＴＵサイズ、ＭｉｎＱＴＳｉｚｅ、ＭａｘＢＴＳｉｚｅ、ＭａｘＢＴＤｅｐｔｈ、及び／又はＭｉｎＢＴＳｉｚｅのうちの１つ以上に基づく条件を含んでもよい。一例では、動画像符号化装置２００は、表１及び表５に示したシンタックス要素を多重化することによって、共有ＱＴＢＴを超えるクロマＱＴＢＴをシグナリングするように構成されてもよい。例えば、共有ノード及び共有ノードの子孫ノードを越えるクロマ成分ノードについてのシンタックス要素は、共有ノード及び共有ノードの子孫ノードを越えるルマ成分ノードについてのシンタックス要素の後にシグナリングすることができる。表６は、共有ノードがルマ成分についてのリーフノードで終端するシンタックス要素の後に、クロマ成分についてのシンタックス要素がシグナリングされる、擬似シンタックスの例を示す。一例では、クロマシンタックス要素は、ルマシンタックス要素の前にシグナリングされてもよい。
【表6】
このようにして、動画像符号化装置２００は、動画像データの第１の成分及び動画像データの第２の成分についてのサンプル値を含む動画像ブロックを受信し、第１の四分木二分木分割構造に従って動画像データの第１の成分についてのサンプル値を分割し、共有深さまで、第１の四分木二分木分割構造に従い動画像データの第２の成分についてのサンプル値を分割するように構成されたデバイスの一例を表す。
【0047】
上述したように、ＩＴＵ－Ｔ Ｈ．２６５は、インター予測のための４つの非対称のＰＢ区分をサポートする。ＩＴＵ－Ｔ Ｈ．２６５において規定された非対称のＰＢ区分は理想的ではないことがあることに留意されたい。すなわち、ＩＴＵ－Ｔ Ｈ．２６５において規定された非対称のＰＢ区分は、正方形のＣＢの幅又は高さの１／４を有するＰＢを可能にするように限定されている。例えば、ＩＴＵ－Ｔ Ｈ．２６５での３２×３２のＣＢについては、Ｍ／４×Ｍの左区分がＣＢを８×３２のＰＢ及び２４×３２のＰＢに分割する。ＩＴＵ－Ｔ Ｈ．２６５は、任意のオフセットに基づいて、ＣＢをＰＢに分割するメカニズムを提供しない。すなわち、ＰＢは、任意の幅又は高さを有することが許容されない。いくつかの場合では、任意のオフセットに従ってＣＴＢを分割することが有用であり得る。例えば、上述の例では、いくつかの場合の３２×３２のＣＢについては、画像の特性に基づいて、ＣＢを１０×３２のＰＢ及び２２×３２のＰＢに分割することが有用であり得る。更に、上記の表３を参照すると、いくつかの場合では、任意のオフセットに従って、バイナリーリーフノードを更に分割することが有用であり得る。すなわち、ＪＥＭでは、潜在的なリーフノードサイズは、表３に示したものに限定される。例えば、バイナリーリーフノードが３２×１２８である場合、バイナリーリーフノードを３２×２８のＣＢ及び３２×１００のＣＢに更に分割することが有用であり得る。本明細書に記載される技術に従って任意のオフセットに従い動画像データのブロックを分割することは、少なくとも、以下の事例のうちの１つ以上に適用されてもよいことに留意されたい：（１）Ｃｕ（又はＣＢ）がＰＵ（又はＰＢ）のルートを形成する場合、任意のオフセット分割をＣＴＵ（又はＣＴＢ）のＣＵ（又はＣＢ）への分割に適用することができる；（２）Ｃｕ（又はＣＢ）がＰＵ（又はＰＢ）のルートを形成しない場合、すなわち予測がＣＢレベルで決定される場合、任意のオフセット分割をＣＴＵ（又はＣＴＢ）のＣＵ（又はＣＢ）への分割に適用することができる；（３）任意のオフセット分割をＰＵ（又はＰＢ）の分割に適用することができる；及び（４）任意のオフセット分割を符号化木のノードに対応するサンプルの分割ブロックに適用することができる。いくつかの場合では、任意のオフセット分割が、ＣＴＵ分割及び／又はＰＵ分割のために選択的に可能になることに留意されたい。
【0048】
図１２は、バイナリーリーフノードがオフセットに従って水平に更に分割される例を示す。図１２に示す例は、任意のオフセット分割に従ってバイナリーリーフノードを分割することを含むが、そのような例は、限定として解釈されるべきではなく、本明細書に記載されるように、任意のオフセット分割は、動画像データが分割される様々なシナリオに適用可能であってよいことに留意されたい。図１２に示す例では、ＣＴＢは、２５６×２５６のサイズを有するルマＣＴＢに対応してよい。そのような場合、右上隅のバイナリーリーフノードは、３２×１２８のサイズを有する。上述したように、３２×１２８のバイナリーリーフノードを３２×２８のＣＢ及び３２×１００のＣＢに更に分配することが有用であってよい。図１２に示す分割の例では、オフセットは２８の値を有する。一例では、動画像符号化装置２００は、オフセットに従ってＱＴＢＴのリーフノードを分割するように構成されてもよい。一例では、動画像符号化装置２００は、あらゆる数の非対称オフセット区分構造を許容できるように構成されてもよい。すなわち、いくつかの例では、オフセットは、垂直オフセットについては２～ブロック高さ－２の範囲内であり、水平オフセットについては２～ブロック幅－２の範囲内であってもよい。いくつかの例では、オフセットは、垂直オフセットについては１～ブロック高さ－１の範囲内であり、水平オフセットについては１～ブロック幅－１の範囲内であってもよい。いくつかの例では、許容非対称オフセット区分は、ＣＴＵ及び／又は予測モードに関連する特性に基づいて制限されてもよい。例えば、非対称オフセット区分は、ＣＵがイントラ予測又はインター予測に従って符号化されているか否かに基づいて制限されてもよい。更に、いくつかの例では、非対称オフセット区分は、ＣＵ又はＣＢのサイズに基づいて制限されてもよい。一例では、オフセットの値は、設定された整数倍に制限されてもよい。一例では、オフセットの値は、設定された整数倍及びいくつかの追加の整数値（例えば、２）に制限されてもよい。いくつかの例では、整数倍のセットは、オフセットが適用されているリーフノードのサイズに基づいてもよい。例えば、上述したように３２×１２８のリーフノードを水平に分割する場合に関して、一例では、オフセットの値は、４の整数倍（すなわち、オフセットの許容値は４、８、１２、１６、．．．、１２０、１２４を含む）に制限されてもよい。一例では、オフセット値は、オフセット値のインデックス付きセットを使用して指定されてもよい。例えば、上述したように３２×１２８のリーフノードを水平に分割する場合に対して、一例では、オフセットの値は、オフセット値の以下のセット２８、４２、８４、及び１００に制限されてもよい。いくつかの例では、ＱＴＢＴシグナリング又はそれに近い変形を使用してシグナリングすることができる区分を回避するために、オフセット値のインデックス付きセットを選択することができる。例えば、３２×１２８のリーフノードを水平に分割する場合、いくつかの場合には（例えば、ＭａｘＢＴＤｅｐｔｈの値に応じて）、ＢＴ構造は、３２×１２８のリーフノードを２つの３２×６４の区分に分割することを許容してもよい。この場合、オフセット値のインデックス付きセットは、オフセットが６４の指定範囲内にないように選択されてもよい。更に、いくつかの例では、オフセット値のインデックス付きセットは、ＭａｘＢＴＤｅｐｔｈの値に基づいてもよい。
【0049】
許容非対称オフセット区分は、いくつかの例では、水平又は垂直の分割を含んでもよいことに留意されたい。例えば、一例では、３２×１２８のバイナリーリーフに対して、動画像符号化装置２００は、３２×１２８のバイナリーリーフノードを８×１２８のＣＢ及び２４×１２８のＣＢに更に分割するように構成されてもよい。このようにして、オフセットは、アンカー点に相対的なオフセット値を示すことができる。例えば、アンカー点は、垂直分割についての左縁部及び水平分割についての上部縁部を含んでもよい。いくつかの例では、アンカーは、縁部からの一定数のサンプルであってもよいことに留意されたい。例えば、アンカーは、縁部から４つのサンプルに設定されてもよい。このようにして、ゼロのオフセット値は、縁部から４つのサンプルの区分を示す。一例では、オフセットは、固定長二値化を含んでもよい。一例では、オフセットは、短縮単項二値化を含んでもよい。
【0050】
上述したように、一例では、オフセットの値は、オフセット値のインデックス付きセットを使用して指定することができる。一例では、オフセット値のインデックス付きセットは、分数区分に対応してもよい。表７及び表８は、分数区分に対応するオフセット値のインデックス付きセットの例を提供する。表７及び表８に対して、分数区分は、いくつかの例では、最も近いサンプル値に丸められてもよいことに留意されたい。例えば、上述したように３２×１２８のリーフノードを水平に分割する場合に対して、一例では、縁部から１／３のオフセットの値は、４３に丸められてもよい。表７及び表８に対して、一例では、分数区分は、サンプル値の最も近い整数倍に丸められてもよいことに留意されたい。例えば、上述したように３２×１２８のリーフノードを水平に分割する場合に対して、一例では、縁部から１／３のオフセットの値は、サンプルの４倍に最も近い４４に丸められてもよい。表７及び表８に対して、一例では、分数区分は、サンプル値の最も近い整数倍までに丸められて縮小されてもよいことに留意されたい。例えば、上述したように３２×１２８のリーフノードを水平に分割する場合に対して、一例では、縁部から１／３のオフセットの値は、サンプルの４倍に最も近い４０に丸められてもよい。
上述したように、動画像符号化装置２００は、ＱＴＢＴをシグナリングするように構成されてもよい。一例では、動画像符号化装置２００は、オフセットシグナリングをＱＴＢＴのシグナリングに組み込むことによってオフセット値を示すように構成されてもよい。例えば、図１２に示す例は、図１に示す例と同じＱＴＢＴ構造を含む。したがって、オフセットシグナリングは、表１に示す例示的な擬似シンタックスに基づくことができ、一例では、オフセットシグナリングは、リーフノードを示すシンタックス後に含まれる。表９は、２５６×２５６のＣＴＢについて、３２×１２８のサイズを有する右上隅におけるバイナリーリーフノードが３２×２８のＣＢ及び３２×１００のＣＢに更に分割される場合に対応する例示的な擬似シンタックスを示す。
したがって、表９に示す例に従って、動画像符号化装置２００は、オフセット分割がＱＴＢＴリーフノードに適用されることをシグナリングし、オフセット分割が垂直又は水平の分割であるか否かを示すフラグをシグナリングし、及びオフセット値を示す値をシグナリングするように構成されてもよい。他の例では、動画像符号化装置２００は、他のシグナリング技術を使用してオフセット値を示すように構成されてもよいことに留意されたい。例えば、動画像符号化装置２００は、ＣＢレベルでオフセット値をシグナリングするように構成されてもよい。いくつかの例では、オフセットは、現在のＢＴ分割モードシグナリングの拡張としてシグナリングされてもよいことに留意されたい。すなわち、例えば、ＪＥＭでは、ＢＴ分割モードシンタックス要素が、ノードの二分割をもたらす。一例では、本明細書で説明する技術に従って、ＢＴ分割モードシグナリングは、分割タイプ及びオフセットペアをシグナリングすることを含んでもよい。例えば、図１２に示す例を参照すると、一例では、オフセットは以下のようにシグナリングされてもよい：（ＢＴ分割＝２、オフセット値＝２８）。
【表7】
【表8】
上述したように、動画像符号化装置２００は、ＱＴＢＴをシグナリングするように構成されてもよい。一例では、動画像符号化装置２００は、オフセットシグナリングをＱＴＢＴのシグナリングに組み込むことによってオフセット値を示すように構成されてもよい。例えば、図１２に示す例は、図１に示す例と同じＱＴＢＴ構造を含む。したがって、オフセットシグナリングは、表１に示す例示的な擬似シンタックスに基づくことができ、一例では、オフセットシグナリングは、リーフノードを示すシンタックス後に含まれる。表９は、２５６×２５６のＣＴＢについて、３２×１２８のサイズを有する右上隅におけるバイナリーリーフノードが３２×２８のＣＢ及び３２×１００のＣＢに更に分割される場合に対応する例示的な擬似シンタックスを示す。
【表9】
したがって、表９に示す例に従って、動画像符号化装置２００は、オフセット分割がＱＴＢＴリーフノードに適用されることをシグナリングし、オフセット分割が垂直又は水平の分割であるか否かを示すフラグをシグナリングし、及びオフセット値を示す値をシグナリングするように構成されてもよい。他の例では、動画像符号化装置２００は、他のシグナリング技術を使用してオフセット値を示すように構成されてもよいことに留意されたい。例えば、動画像符号化装置２００は、ＣＢレベルでオフセット値をシグナリングするように構成されてもよい。いくつかの例では、オフセットは、現在のＢＴ分割モードシグナリングの拡張としてシグナリングされてもよいことに留意されたい。すなわち、例えば、ＪＥＭでは、ＢＴ分割モードシンタックス要素が、ノードの二分割をもたらす。一例では、本明細書で説明する技術に従って、ＢＴ分割モードシグナリングは、分割タイプ及びオフセットペアをシグナリングすることを含んでもよい。例えば、図１２に示す例を参照すると、一例では、オフセットは以下のようにシグナリングされてもよい：（ＢＴ分割＝２、オフセット値＝２８）。
【0051】
更に、一例では、ＣＴＢのそれぞれのＣＢは、定義された走査順序に従ってインデックス化されてもよく、動画像符号化装置２００は、ＣＢについてのインデックス値をシグナリングすることによってオフセット値をシグナリングするように構成されてもよい。例えば、図１３を参照すると、右上隅のバイナリーリーフノードは、ＣＢ８とインデックス付けされているものとして示されている。したがって、一例では、動画像符号化装置２００は、このインデックス値を使用して、オフセット分割がこのリーフノードについて実行されることを示すように構成されてもよい。このようにして、動画像符号化装置２００は、オフセット値を決定し、オフセット値に従ってリーフノードを分割するように構成されたデバイスの一例を表す。
【0052】
一例では、前もって決定された順序の分割決定のセット（任意のオフセット分割（単数又は複数）及び／又はＱＴ分割（単数又は複数））は、サンプルのブロックに適用されてもよく、単一のインジケータを使用してビットストリームにおいて示されてもよい。
【0053】
図８を再び参照すると、動画像符号化装置２００は、ソース動画像ブロックから予測動画像ブロックを減算することにより、残差データを生成することができる。加算器２０２は、この減算演算を実行するように構成された構成要素を表す。一例では、動画像ブロックの減算は、画素領域で行われる。変換係数発生装置２０４は、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、又は概念的に類似の変換などの変換を残差ブロック又はその再分割に適用し（例えば、４つの８×８の変換を残差値の１６×１６のアレイに適用することができる）、残差変換係数のセットを生成する。変換係数発生装置２０４は、離散三角変換のファミリーに含まれる変換の任意の及び全ての組み合わせを実行するように構成することができる。上述したように、ＩＴＵ－Ｔ Ｈ．２６５では、ＴＢは、以下のサイズ、４×４、８×８、１６×１６、及び３２×３２に制限される。一例では、変換係数発生装置２０４は、４×４、８×８、１６×１６、及び３２×３２のサイズを有するアレイに従って変換を実行するように構成されてもよい。一例では、変換係数発生装置２０４は、別の次元を有するアレイに従って変換を実行するようにさらに構成されてもよい。特に、いくつかの場合では、差分値の矩形アレイに対して変換を実行することが有用であってよい。一例では、変換係数発生装置２０４は、アレイの以下のサイズ：２×２、２×４Ｎ、４Ｍ×２、及び／又は４Ｍ×４Ｎに従って変換を実行するように構成されてもよい。一例では、２次元（２Ｄ）のＭ×Ｎ逆変換は、１次元（１Ｄ）のＭ点逆変換と、それに続く１ＤのＮ点逆変換として実施されてもよい。一例では、２Ｄの逆変換は、１ＤのＮ点垂直変換と、それに続く１ＤのＮ点水平変換として実施されてもよい。一例では、２Ｄの逆変換は、１ＤのＮ点水平変換と、それに続く１ＤのＮ点垂直変換として実施されてもよい。変換係数発生装置２０４は、変換係数を係数量子化部２０６に出力することができる。
【0054】
係数量子化部２０６は、変換係数の量子化を実行するように構成することができる。上述したように、量子化の程度は、量子化パラメータを調節することにより、変更することができる。係数量子化部２０６は、量子化パラメータを決定し、動画像復号中に量子化パラメータを復元し、逆量子化を実行する動画像復号装置によって使用することができるＱＰデータ（例えば、量子化グループサイズ及び／又はデルタＱＰ値を決定するために使用されるデータ）を出力するように更に構成することができる。他の例では、１つ以上の追加的又は代替的パラメータを使用して、量子化のレベル（例えば、倍率）を決定することができることに留意されたい。本明細書で説明する技術は、一般的に、動画像データの構成要素に対応する変換係数についての量子化のレベルを、動画像データの別の構成要素に対応する変換係数についての量子化のレベルに基づいて決定するために適用することができる。
【0055】
図８に示すように、量子化された変換係数は、逆量子化／変換処理部２０８に出力される。逆量子化／変換処理部２０８は、逆量子化及び逆変換を適用し、復元された残差データを生成するように構成することができる。上述したように、ＩＴＵ－Ｔ Ｈ．２６５は、対応する変換ブロックのサイズを指定する可変ｎＴｂＳに基づく、脱量子化プロセスの定義を提供する。更に上述したように、ＩＴＵ－Ｔ Ｈ．２６５では、ＴＢは、以下のサイズ、４×４、８×８、１６×１６、及び３２×３２に制限される。したがって、ｎＴｂＳは、正方形のサイズを示すために４、８、１６、又は３２の値を有することができ、したがって、任意のサイズの矩形が示されることを可能にしない。したがって、ＩＴＵ－Ｔ Ｈ．２６５に従って定義される脱量子化プロセスは、任意のサイズの矩形のＴＢに対する脱量子化の実行については理想的ではない場合がある。本明細書で説明される技術は、動画像符号化装置又は動画像復号装置で行うことができる脱量子化に対して説明されているが、この技術は一般的に、動画像符号化装置で行われる量子化に適用可能であることに留意されたい。すなわち、動画像符号化装置は、定義された脱量子化プロセスの逆のプロセスを実行することによって、量子化を実行することができる。
【0056】
一例では、逆量子化／変換処理部２０８は、以下の式に基づいて逆量子化を適用するように構成されてもよい：
ｄ［ｘ］［ｙ］＝
（（ＴｒａｎｓＣｏｅｆｆＬｅｖｅｌ［ｘ］［ｙ］＊ｍ［ｘ］［ｙ］＊ｌｅｖｅｌＳｃａｌｅ［ｑＰ％６］［ｎＴＢＨ］［ｎＴＢＷ］＜＜（ｑＰ／６））＋（１＜＜（ｂｄＳｈｉｆｔ［ｎＴＢＨ］［ｎＴＢＷ］－１）））＞＞ｂｄＳｈｉｆｔ［ｎＴＢＨ］［ｎＴＢＷ］
式中、ｎＴｂＨ及びｎＴｂＷは、レベル値のアレイの高さ及び幅を指定する。
ｄ［ｘ］［ｙ］＝
（（ＴｒａｎｓＣｏｅｆｆＬｅｖｅｌ［ｘ］［ｙ］＊ｍ［ｘ］［ｙ］＊ｌｅｖｅｌＳｃａｌｅ［ｑＰ％６］［ｎＴＢＨ］［ｎＴＢＷ］＜＜（ｑＰ／６））＋（１＜＜（ｂｄＳｈｉｆｔ［ｎＴＢＨ］［ｎＴＢＷ］－１）））＞＞ｂｄＳｈｉｆｔ［ｎＴＢＨ］［ｎＴＢＷ］
式中、ｎＴｂＨ及びｎＴｂＷは、レベル値のアレイの高さ及び幅を指定する。
【0057】
したがって、上述の式に従って、逆量子化／変換処理部２０８は、レベル値の任意のサイズの矩形のアレイに基づいて、脱量子化プロセスを適用するように構成することができる。
【0058】
一例では、ｌｅｖｅｌＳｃａｌｅ［ｑＰ％６］［ｎＴＢＨ］［ｎＴＢＷ］は、次式に基づいてよい：
ｌｅｖｅｌＳｃａｌｅ［ｑＰ％６］［ｎＴＢＨ］［ｎＴＢＷ］＝ｌｅｖｅｌＳｃａｌｅ０［ｑｐ％６］＊ｌｅｖｅｌＳｃａｌｅ１［ｎＴＢＨ］［ｎＴＢＷ］、
但し、
ｌｅｖｅｌＳｃａｌｅ０［ｋ］＝｛４０，４５，５１，５７，６４，７２｝但しｋ＝０．．５、
一例では、ｂｄＳｈｉｆｔ［ｎＴＢＨ］［ｎＴＢＷ］は、次式に基づいてよい：
ｂｄＳｈｉｆｔ［ｎＴＢＨ］［ｎＴＢＷ］＝ｂｄＳｈｉｆｔ０［ｎＴＢＨ］［ｎＴＢＷ］＋ｂｄＳｈｉｆｔ１［ｎＴＢＨ］［ｎＴＢＷ］、
但し、
ｂｄＳｈｉｆｔ０［ｎＴＢＨ］［ｎＴＢＷ］＝ＢｉｔＤｅｐｔｈ＋ｆｌｏｏｒ（（Ｌｏｇ２（ｎＴｂＨ）＋Ｌｏｇ２（ｎＴＢＷ））／２．０）＋１０－ｌｏｇ２ＴｒａｎｓｆｏｒｍＲａｎｇｅ、
ｆｌｏｏｒ（ｘ）は、ｘ以下の最大の整数を返し、
ｌｏｇ２ＴｒａｎｓｆｏｒｍＲａｎｇｅ＝ｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇ？Ｍａｘ（１５，ＢｉｔＤｅｐｔｈ＋６）：１５、
一例では、ｌｅｖｅｌＳｃａｌｅ１［ｎＴＢＨ］［ｎＴＢＷ］及びｂｄＳｈｉｆｔ１［ｎＴＢＨ］［ｎＴＢＷ］は、ｌｅｖｅｌＳｃａｌｅ１［ｎＴＢＨ］［ｎＴＢＷ］／（２＾ｂｄＳｈｉｆｔ１［ｎＴＢＨ］［ｎＴＢＷ］）が、１．０／（２＾（ｘ－ｆｌｏｏｒ（ｘ）））に近似するように定義することができる。但し、ｘは、（Ｌｏｇ２（ｎＴＢＨ）＋Ｌｏｇ２（ｎＴＢＷ））／２．０に等しい。
ｌｅｖｅｌＳｃａｌｅ［ｑＰ％６］［ｎＴＢＨ］［ｎＴＢＷ］＝ｌｅｖｅｌＳｃａｌｅ０［ｑｐ％６］＊ｌｅｖｅｌＳｃａｌｅ１［ｎＴＢＨ］［ｎＴＢＷ］、
但し、
ｌｅｖｅｌＳｃａｌｅ０［ｋ］＝｛４０，４５，５１，５７，６４，７２｝但しｋ＝０．．５、
一例では、ｂｄＳｈｉｆｔ［ｎＴＢＨ］［ｎＴＢＷ］は、次式に基づいてよい：
ｂｄＳｈｉｆｔ［ｎＴＢＨ］［ｎＴＢＷ］＝ｂｄＳｈｉｆｔ０［ｎＴＢＨ］［ｎＴＢＷ］＋ｂｄＳｈｉｆｔ１［ｎＴＢＨ］［ｎＴＢＷ］、
但し、
ｂｄＳｈｉｆｔ０［ｎＴＢＨ］［ｎＴＢＷ］＝ＢｉｔＤｅｐｔｈ＋ｆｌｏｏｒ（（Ｌｏｇ２（ｎＴｂＨ）＋Ｌｏｇ２（ｎＴＢＷ））／２．０）＋１０－ｌｏｇ２ＴｒａｎｓｆｏｒｍＲａｎｇｅ、
ｆｌｏｏｒ（ｘ）は、ｘ以下の最大の整数を返し、
ｌｏｇ２ＴｒａｎｓｆｏｒｍＲａｎｇｅ＝ｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇ？Ｍａｘ（１５，ＢｉｔＤｅｐｔｈ＋６）：１５、
一例では、ｌｅｖｅｌＳｃａｌｅ１［ｎＴＢＨ］［ｎＴＢＷ］及びｂｄＳｈｉｆｔ１［ｎＴＢＨ］［ｎＴＢＷ］は、ｌｅｖｅｌＳｃａｌｅ１［ｎＴＢＨ］［ｎＴＢＷ］／（２＾ｂｄＳｈｉｆｔ１［ｎＴＢＨ］［ｎＴＢＷ］）が、１．０／（２＾（ｘ－ｆｌｏｏｒ（ｘ）））に近似するように定義することができる。但し、ｘは、（Ｌｏｇ２（ｎＴＢＨ）＋Ｌｏｇ２（ｎＴＢＷ））／２．０に等しい。
【0059】
一例では、ｌｅｖｅｌＳｃａｌｅ１［ｎＴＢＨ］［ｎＴＢＷ］は、（２＾ｂｄＳｈｉｆｔ１［ｎＴＢＨ］［ｎＴＢＷ］）以下である。
【0060】
上述のｄ［ｘ］［ｙ］の例示的な導出に対して、乗数ｌｅｖｅｌＳｃａｌｅ［ｑＰ％６］［ｎＴＢＨ］［ｎＴＢＷ］は、ｑＰだけでなく、ｎＴＢＨ及びｎＴＢＷにも依存することに留意されたい。更に、ｘが（Ｌｏｇ２（ｎＴＢＨ）＋Ｌｏｇ２（ｎＴＢＷ））／２．０に等しい場合、ｎＴＢＨ及びｎＴＢＷのいくつかの値は、整数ではないｘをもたらし（例えば、ｎＴＢＨ＝３２及びｎＴＢＷ＝６４の場合、ｘ＝５．５；又はｎＴＢＨ＝１２及びｎＴＢＷ＝６４の場合、ｘ＝４．２９２．．．）、このような場合、２＾ｘによる除算は、ビットシフト演算を使用するだけでは実行することができない。上記で提供されたｌｅｖｅｌＳｃａｌｅ１［ｎＴＢＨ］［ｎＴＢＷ］及びｂｄＳｈｉｆｔ１［ｎＴＢＨ］［ｎＴＢＷ］の例示的な定義は、乗算及びビットシフトを用いて近似されるべき２＾ｘによる除算を許容する。
【0061】
このようにして、逆量子化／変換処理部２０８は、幅及び高さを有する係数レベル値の矩形のアレイを受信し、矩形のアレイに含まれる係数レベル値それぞれについての対応する変換係数値を生成するように構成されたデバイスの一例を表し、対応する変換係数値を生成することは、量子化パラメータ並びに矩形のアレイの幅及び高さに基づいた係数レベル値のスケーリングを含む。
【0062】
ＩＴＵ－Ｔ Ｈ．２６５では、スケーリング、ｍ［ｘ］［ｙ］は、４、８、１６、又は３２の値を有するｎＴｂＳについてのみ定義されていることに留意されたい。一例では、逆量子化／変換処理部２０８は、ｎＴＢＨ及びｎＴＢＷに基づいてスケーリング行列を導出するように構成されてもよい。
【0063】
上述したように、ＩＴＵ－Ｔ Ｈ．２６５は、ｎＴｂＳに基づく逆変換スキップ条件が適用される場合、残差値のアレイを導出するプロセスを提供する。したがって、ＩＴＵ－Ｔ Ｈ．２６５に従って定義された逆変換スキップ条件が適用される場合の残差値のアレイを導出するプロセスは、任意のサイズの矩形のＴＢに対して理想的ではない場合がある。
【0064】
一例では、逆量子化／変換処理部２０８は、逆変換スキップ条件が次式に従って適用される場合、残差値のアレイを導出するように構成されてもよい：
ｒ［ｘ］［ｙ］＝（ｒｏｔａｔｅＣｏｅｆｆｓ？ｄ［ｎＴｂＷ－ｘ－１］［ｎＴｂＨ－ｙ－１］：ｄ［ｘ］［ｙ］＜＜ｔ ｓＳｈｉｆｔ［ｎＴＢＨ］［ｎＴＢＷ］）
但し、
ｔｓＳｈｉｆｔ［ｎＴＢＨ］［ｎＴＢＷ］＝（ｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇ？Ｍｉｎ（５，ｂｄＳｈｉｆｔ－２）：５）＋ｆｌｏｏｒ（（Ｌｏｇ２（ｎＴｂＨ）＋Ｌｏｇ２（ｎＴｂＷ））／２．０）、
ｂｄＳｈｉｆｔ＝Ｍａｘ（２０－ｂｉｔＤｅｐｔｈ，ｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇ？１１：０）
一例では、逆量子化／変換処理部２０８は、逆変換スキップ条件が次式に従って適用される場合、残差値のアレイを導出するように構成されてもよい：
ｒ［ｘ］［ｙ］＝（ｒｏｔａｔｅＣｏｅｆｆｓ？ｄ［ｎＴｂＷ－ｘ－１］［ｎＴｂＨ－ｙ－１］：ｄ［ｘ］［ｙ］）＊（ｔｓＳｃａｌｅ［ｎＴＢＨ］［ｎＴＢＷ］）＜＜（ｔｓＳｈｉｆｔ［ｎＴＢＨ］［ｎＴＢＷ］－ｔｓＳｈｉｆｔ１［ｎＴＢＨ］［ｎＴＢＷ］））
一例では、ｔｓＳｃａｌｅ［ｎＴＢＨ］［ｎＴＢＷ］／（２＾ｔｓＳｈｉｆｔ１［ｎＴＢＨ］［ｎＴＢＷ］）は、（２＾（ｘ－ｆｌｏｏｒ（ｘ）））に近似する。但し、ｘは、（Ｌｏｇ２（ｎＴＢＨ）＋Ｌｏｇ２（ｎＴＢＷ））／２．０に等しい。
ｒ［ｘ］［ｙ］＝（ｒｏｔａｔｅＣｏｅｆｆｓ？ｄ［ｎＴｂＷ－ｘ－１］［ｎＴｂＨ－ｙ－１］：ｄ［ｘ］［ｙ］＜＜ｔ ｓＳｈｉｆｔ［ｎＴＢＨ］［ｎＴＢＷ］）
但し、
ｔｓＳｈｉｆｔ［ｎＴＢＨ］［ｎＴＢＷ］＝（ｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇ？Ｍｉｎ（５，ｂｄＳｈｉｆｔ－２）：５）＋ｆｌｏｏｒ（（Ｌｏｇ２（ｎＴｂＨ）＋Ｌｏｇ２（ｎＴｂＷ））／２．０）、
ｂｄＳｈｉｆｔ＝Ｍａｘ（２０－ｂｉｔＤｅｐｔｈ，ｅｘｔｅｎｄｅｄ＿ｐｒｅｃｉｓｉｏｎ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇ？１１：０）
一例では、逆量子化／変換処理部２０８は、逆変換スキップ条件が次式に従って適用される場合、残差値のアレイを導出するように構成されてもよい：
ｒ［ｘ］［ｙ］＝（ｒｏｔａｔｅＣｏｅｆｆｓ？ｄ［ｎＴｂＷ－ｘ－１］［ｎＴｂＨ－ｙ－１］：ｄ［ｘ］［ｙ］）＊（ｔｓＳｃａｌｅ［ｎＴＢＨ］［ｎＴＢＷ］）＜＜（ｔｓＳｈｉｆｔ［ｎＴＢＨ］［ｎＴＢＷ］－ｔｓＳｈｉｆｔ１［ｎＴＢＨ］［ｎＴＢＷ］））
一例では、ｔｓＳｃａｌｅ［ｎＴＢＨ］［ｎＴＢＷ］／（２＾ｔｓＳｈｉｆｔ１［ｎＴＢＨ］［ｎＴＢＷ］）は、（２＾（ｘ－ｆｌｏｏｒ（ｘ）））に近似する。但し、ｘは、（Ｌｏｇ２（ｎＴＢＨ）＋Ｌｏｇ２（ｎＴＢＷ））／２．０に等しい。
【0065】
一例では、ｔｓＳｃａｌｅ［ｎＴＢＨ］［ｎＴＢＷ］は、（２＾ｔｓＳｈｉｆｔ１［ｎＴＢＨ］［ｎＴＢＷ］以上である。
【0066】
一例では、ｒｏｔａｔｅＣｏｅｆｆｓは、ｎＴｂＨ及び／又はｎＴｂＷに依存してもよい。
【0067】
上述のｒ［ｘ］［ｙ］の例示的な導出に対して、乗数（ｔｓＳｃａｌｅ［ｎＴＢＨ］［ｎＴＢＷ］）は、ｎＴＢＨ及びｎＴＢＷに依存することに留意されたい。
【0068】
図８に示すように、加算器２１０において、復元された残差データを、予測動画像ブロックに加算することができる。このようにして、符号化された動画像ブロックを復元することができ、結果として得られる復元された動画像ブロックを使用して、所与の予測、変換、及び／又は量子化についての符号化品質を評価することができる。動画像符号化装置２００は、複数の符号化パスを実行する（例えば、予測、変換パラメータ、及び量子化パラメータの１つ以上の変更しながら符号化を実行する）ように構成することができる。ビットストリームのレート歪み又は他のシステムパラメータは、復元された動画像ブロックの評価に基づいて最適化することができる。更に、復元された動画像ブロックは、その後のブロックを予測するための参照として記憶して使用することができる。
【0069】
上述したように、動画像ブロックは、イントラ予測を用いて符号化することができる。イントラ予測処理部２１２は、符号化することになる動画像ブロックに対してイントラ予測モードを選択するように構成することができる。イントラ予測処理部２１２は、フレーム及び／又はその部分を評価し、現在のブロックを符号化するために使用するイントラ予測モードを判定するように構成することができる。図８に示すように、イントラ予測処理部２１２は、イントラ予測データ（例えば、シンタックス要素）をエントロピ符号化部２１８及び変換係数発生装置２０４に出力する。上述したように、残差データに対して実行される変換はモード依存であってもよい。上述したように、可能なイントラ予測モードは、平面予測モード、ＤＣ予測モード、及び角度予測モードを含んでもよい。更に、いくつかの例では、クロマ成分に対する予測は、ルマ予測モードに対するイントラ予測から推測することができる。
【0070】
上述したように、ＩＴＵ－Ｔ Ｈ．２６５は、変数ｎＴｂＳに基づく平面予測モードの形式的定義を提供する。更に上述したように、ＩＴＵ－Ｔ Ｈ．２６５では、ＴＢは、以下のサイズ、４×４、８×８、１６×１６、及び３２×３２に制限される。したがって、ｎＴｂＳは、正方形のサイズを示すために４、８、１６、又は３２の値を有することができ、したがって、任意のサイズの矩形が示されることを可能にしない。したがって、ＩＴＵ－Ｔ Ｈ．２６５に従って定義された平面予測モードは、任意のサイズの矩形に対する平面予測の実行については理想的ではない場合がある。本明細書で説明する技術に従って、動画像符号化装置２００は、任意のサイズの矩形ＣＢに対して平面予測を実行するように構成されてもよい。
【0071】
一例では、動画像符号化装置２００は、水平補間と垂直予測との平均を取ることによって、任意のサイズの矩形のＣＢに対して平面予測を実行するように構成されてもよい。このような平面予測は、一般的に以下のように表すことができる：
ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝（Ｈｏｒ＿Ｉｎｔｅｒｐｏｌａｔｉｏｎ［ｘ］［ｙ］＋Ｖｅｒ＿Ｉｎｔｅｒｐｏｌａｔｉｏｎ［ｘ］［ｙ］＋１）／２
一例では、Ｈｏｒ＿Ｉｎｔｅｒｐｏｌａｔｉｏｎ［ｘ］［ｙ］及びＶｅｒ＿Ｉｎｔｅｒｐｏｌａｔｉｏｎ［ｘ］［ｙ］は、次式に従ってＣＢの幅及び高さにそれぞれ基づくことができる：
Ｈｏｒ＿Ｉｎｔｅｒｐｏｌａｔｉｏｎ［ｘ］［ｙ］＝（（ｎＣｂＳＷ－１－ｘ）＊ｐ［－１］［ｙ］＋（ｘ＋１）＊ｐ［ｎＣｂＳＷ］［－１］）／ｎＣｂＳＷ
及び、
Ｖｅｒ＿Ｉｎｔｅｒｐｏｌａｔｉｏｎ［ｘ］［ｙ］＝（（ｎＣｂＳＨ－１－ｙ）＊ｐ［ｘ］［－１］＋（ｙ＋１）＊ｐ［－１］［ｎＣｂＳＨ］）／ｎＣｂＳＨ
これは以下のように表すことができる:
ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝（（（ｎＣｂＳＷ－１－ｘ）＊ｐ［－１］［ｙ］＋（ｘ＋１）＊ｐ［ｎＣｂＳＷ］［－１］）＊ｎＣｂＳＨ＋（（ｎＣｂＳＨ－１－ｙ）＊ｐ［ｘ］［－１］＋（ｙ＋１）＊ｐ［－１］［ｎＣｂＳＨ］）＊ｎＣｂＳＷ＋ｎＣｂＳＷ＊ｎＣｂＳＨ）／（２＊ｎＣｂＳＷ＊ｎＣｂＳＨ）
但し、
ｎＣｂＳＷは、対応する符号化ブロックの幅を指定し；
ｎＣｂＳＨは、対応する符号化ブロックの高さを指定し；
ｐ［－１］［ｙ］は、ＣＢに隣接する左の列に位置し、現在のサンプルと同じ垂直位置を有する復元されたサンプルのサンプル値であり；
ｐ［ｎＣｂＳＷ］［－１］は、Ｔのサンプル値であり；
ｐ［ｘ］［－１］は、ＣＢに隣接する上の行に位置し、現在のサンプルと同じ水平位置を有する復元されたサンプルのサンプル値であり；
ｐ［－１］［ｎＣｂＳＨ］は、Ｌのサンプル値であり；及び
／は、０への切り捨てが行われた結果を有する整数除算演算である。
ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝（Ｈｏｒ＿Ｉｎｔｅｒｐｏｌａｔｉｏｎ［ｘ］［ｙ］＋Ｖｅｒ＿Ｉｎｔｅｒｐｏｌａｔｉｏｎ［ｘ］［ｙ］＋１）／２
一例では、Ｈｏｒ＿Ｉｎｔｅｒｐｏｌａｔｉｏｎ［ｘ］［ｙ］及びＶｅｒ＿Ｉｎｔｅｒｐｏｌａｔｉｏｎ［ｘ］［ｙ］は、次式に従ってＣＢの幅及び高さにそれぞれ基づくことができる：
Ｈｏｒ＿Ｉｎｔｅｒｐｏｌａｔｉｏｎ［ｘ］［ｙ］＝（（ｎＣｂＳＷ－１－ｘ）＊ｐ［－１］［ｙ］＋（ｘ＋１）＊ｐ［ｎＣｂＳＷ］［－１］）／ｎＣｂＳＷ
及び、
Ｖｅｒ＿Ｉｎｔｅｒｐｏｌａｔｉｏｎ［ｘ］［ｙ］＝（（ｎＣｂＳＨ－１－ｙ）＊ｐ［ｘ］［－１］＋（ｙ＋１）＊ｐ［－１］［ｎＣｂＳＨ］）／ｎＣｂＳＨ
これは以下のように表すことができる:
ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝（（（ｎＣｂＳＷ－１－ｘ）＊ｐ［－１］［ｙ］＋（ｘ＋１）＊ｐ［ｎＣｂＳＷ］［－１］）＊ｎＣｂＳＨ＋（（ｎＣｂＳＨ－１－ｙ）＊ｐ［ｘ］［－１］＋（ｙ＋１）＊ｐ［－１］［ｎＣｂＳＨ］）＊ｎＣｂＳＷ＋ｎＣｂＳＷ＊ｎＣｂＳＨ）／（２＊ｎＣｂＳＷ＊ｎＣｂＳＨ）
但し、
ｎＣｂＳＷは、対応する符号化ブロックの幅を指定し；
ｎＣｂＳＨは、対応する符号化ブロックの高さを指定し；
ｐ［－１］［ｙ］は、ＣＢに隣接する左の列に位置し、現在のサンプルと同じ垂直位置を有する復元されたサンプルのサンプル値であり；
ｐ［ｎＣｂＳＷ］［－１］は、Ｔのサンプル値であり；
ｐ［ｘ］［－１］は、ＣＢに隣接する上の行に位置し、現在のサンプルと同じ水平位置を有する復元されたサンプルのサンプル値であり；
ｐ［－１］［ｎＣｂＳＨ］は、Ｌのサンプル値であり；及び
／は、０への切り捨てが行われた結果を有する整数除算演算である。
【0072】
上記の例示的な式に対して、式はＣＢに対して説明されているが、他の例では、式はＰＢ、ＴＢ、及び／又は他の符号化構造又はピクチャ部分に基づいて説明されてもよいことに留意されたい。
【0073】
上記の例示的な式に対して、いくつかの場合では、符号化ブロックは、変換ブロックに対応してもよく、他の場合では、符号化ブロック及び変換ブロック構造は独立していてもよいことに留意されたい。図１６Ａは、上記の式に従う、例示的な矩形のＣＢに対するＴ及びＬの位置を示す。図１６Ｂは、現在のサンプルＣについて、ｐ［－１］［ｙ］はｂと表記され、ｐ［ｘ］［－１］はａと表記された例を示す。上記の式に従って、ｎＣｂＳＷがｎＣｂＳＨより大きい場合、ｂに比べて高い重みがａに適用され、ｎＣｂＳＨがｎＣｂＳＷより大きい場合、ｂに比べて高い重みがａに適用される。したがって、動画像符号化装置２００は、サンプル値の矩形のアレイの向きを考慮するように平面予測を実行するように構成することができる。いくつかの例では、加重平均は水平補間及び垂直補間に適用されてもよいことに留意されたい。例えば、このような平面予測は、一般的に、次式のように説明することができる：
ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝（α＊Ｈｏｒ＿Ｉｎｔｅｒｐｏｌａｔｉｏｎ［ｘ］［ｙ］＋β＊Ｖｅｒ＿Ｉｎｔｅｒｐｏｌａｔｉｏｎ［ｘ］［ｙ］＋１）／２
但し、α及びβはｎＣｂＳＨ及び／又はｎＣｂＳＷに依存する。更に、α及びβは、他の例では、ＰＢ、ＴＢ、及び／又は他の符号化構造又はピクチャ部分に依存してもよい。
ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝（α＊Ｈｏｒ＿Ｉｎｔｅｒｐｏｌａｔｉｏｎ［ｘ］［ｙ］＋β＊Ｖｅｒ＿Ｉｎｔｅｒｐｏｌａｔｉｏｎ［ｘ］［ｙ］＋１）／２
但し、α及びβはｎＣｂＳＨ及び／又はｎＣｂＳＷに依存する。更に、α及びβは、他の例では、ＰＢ、ＴＢ、及び／又は他の符号化構造又はピクチャ部分に依存してもよい。
【0074】
インター予測処理部２１４は、現在の動画像ブロックに対するインター予測符号化を実行するように構成することができる。インター予測処理部２１４は、ソース動画像ブロックを受信し、動画像ブロックのＰＵに対する動きベクトルを計算するように構成することができる。動きベクトルは、参照フレーム内の予測ブロックに対する現在の動画像フレーム内の動画像ブロックのＰＵ（又は類似の符号化構造）の変位を示すことができる。インター予測符号化は、１つ以上の参照ピクチャを使用することができる。更に、動き予測は、単一予測（１つの動きベクトルを用いる）又は双予測（２つの動きベクトルを用いる）とすることができる。インター予測処理部２１４は、例えば、絶対差の合計（ＳＡＤ：sum of absolute difference）、平方差の合計（ＳＳＤ：sum of square difference）、又は他の差の測定法によって判定された画素差を計算することにより、予測ブロックを選択するように構成することができる。上述したように、動きベクトルは、動きベクトル予測に従って判定及び規定することができる。インター予測処理部２１４は、上述したように、動きベクトル予測を実行するように構成することができる。インター予測処理部２１４は、動き予測データを用いて予測ブロックを生成するように構成することができる。例えば、インター予測処理部２１４は、フレームバッファ（図８に示さない）内に予測動画像ブロックを配置することができる。インター予測処理部２１４は、復元された残差ブロックに１つ以上の補間フィルタを適用して、動き予測に使用する整数未満の画素値を計算するように更に構成することができることに留意されたい。インター予測処理部２１４は、計算された動きベクトルに対する動き予測データをエントロピ符号化部２１８に出力することができる。図８に示すように、インター予測処理部２１４は、ポストフィルタ部２１６を介して復元された動画像ブロックを受信することができる。ポストフィルタ部２１６は、デブロッキング及び／又はサンプル適応オフセット（Sample Adaptive Offset）（ＳＡＯ）フィルタリングを実行するように構成することができる。デブロッキングとは、復元された動画像ブロックの境界を平滑化する（例えば、観察者にとって境界を知覚しにくくする）プロセスを表す。ＳＡＯフィルタリングは、復元された動画像データにオフセットを加えることにより復元を向上するために使用することができる、非線形振幅マッピングである。
【0075】
図８を再び参照すると、エントロピ符号化部２１８は、量子化された変換係数及び予測シンタックスデータ（すなわち、イントラ予測データ、動き予測データ、ＱＰデータなど）を受信する。いくつかの例では、係数量子化部２０６は、係数がエントロピ符号化部２１８に出力される前に、量子化された変換係数を含む行列の走査を実行することができることに留意されたい。他の例では、エントロピ符号化部２１８は、走査を実行することができる。エントロピ符号化部２１８は、本明細書で説明する技術の１つ以上に従ってエントロピ符号化を実行するように構成することができる。エントロピ符号化部２１８は、適合したビットストリーム、すなわち、動画像復号装置が受信しそれから動画像データを再生することができるビットストリームを出力するように構成することができる。
【0076】
図１４は、本開示の１つ以上の技術による、動画像データを復号するように構成することができる、動画像復号装置の例を示すブロック図である。一例では、動画像復号装置３００は、上述した技術の１つ以上に基づいて、動画像データを復元するように構成することができる。すなわち、動画像復号装置３００は、上述した動画像符号化装置２００と相反する方法で動作することができる。動画像復号装置３００は、イントラ予測復号及びインター予測復号を実行するように構成することができ、そのために、複合復号装置と呼ばれることがある。図１４に示す例では、動画像復号装置３００は、エントロピ復号部３０２と、逆量子化部３０４と、逆変換処理部３０６と、イントラ予測処理部３０８と、インター予測処理部３１０と、加算器３１２と、ポストフィルタ部３１４と、参照バッファ３１６と、を含む。動画像復号装置３００は、動画像符号化規格の１つ以上の態様を実施することができる動画像符号化システムと一致する方法で、動画像データを復号するように構成することができる。例の動画像復号装置３００が別個の機能ブロックを有するように示されているが、そのような例示は説明のためのものであり、動画像復号装置３００及び／又はそのサブコンポーネントを特定のハードウェア又はソフトウェアアーキテクチャに限定するものではないことに留意されたい。動画像復号装置３００の機能は、ハードウェア、ファームウェア、及び／又はソフトウェアの実装形態の任意の組み合わせを用いて実現することができる。
【0077】
図１４に示すように、エントロピ復号部３０２は、エントロピ符号化されたビットストリームを受信する。エントロピ復号部３０２は、エントロピ符号化プロセスに相反のプロセスに従って、ビットストリームから量子化されたシンタックス要素及び量子化された係数を復号するように構成することができる。エントロピ復号部３０２は、上述したエントロピ符号化技術のいずれかに従ってエントロピ復号を実行するように構成することができる。エントロピ復号部３０２は、動画像符号化規格と一致する方法で、符号化されたビットストリームを構文解析することができる。動画像復号装置３００は、符号化されたビットストリームを構文解析するように構成することができ、符号化されたビットストリームは、上述の技術に基づいて生成される。すなわち、例えば、動画像復号装置３００は、動画像データを復元する目的で、上述した技術の１つ以上に基づいて生成及び／又はシグナリングされたＱＴＢＴ分割構造を決定するように構成することができる。例えば、動画像復号装置３００は、ＱＴＢＴの共有深さを決定するために、シンタックス要素を構文解析し、及び／又は動画像データの特性を評価するように構成することができる。更に、動画像復号装置３００は、オフセット値を決定し、オフセット値に従って動画像データのブロックを分割するように構成することができる。
【0078】
図１４を再び参照して、逆量子化部３０４は、エントロピ復号部３０２から量子化された変換係数（すなわち、レベル値）及び量子化パラメータデータを受信する。量子化パラメータデータは、上述したデルタＱＰ値及び／又は量子化群サイズ値などの任意の並びに全ての組み合わせを含むことができる。動画像復号装置３００及び／又は逆量子化部３０４は、動画像符号化装置によって、並びに／又は動画像特性及び／若しくは符号化パラメータを介して、シグナリングされた値に基づいて、逆量子化のために使用されるＱＰ値を決定するように構成することができる。すなわち、逆量子化部３０４は、上述した係数量子化部２０６と相反する方法で動作することができる。例えば、逆量子化部３０４は、上述の技術に従って、所定の値、許容量子化郡サイズなどを推測する（例えば、ＱＴ深さ及びＢＴ深さの合計を符号化パラメータに基づき決定する）ように構成することができる。逆量子化部３０４は、逆量子化を適用するように構成することができる。逆変換処理部３０６は、逆変換を実行して、復元された残差データを生成するように構成することができる。逆量子化部３０４及び逆変換処理部３０６によってそれぞれ実行される技術は、上述した逆量子化／変換処理部２０８によって実行される技術と同様なものとすることができる。逆変換処理部３０６は、画素領域で残差ブロックを生成するために、逆ＤＣＴ、逆ＤＳＴ、逆整数変換、非分離二次変換（Non-Separable Secondary Transform）（ＮＳＳＴ）、又は概念的に類似の逆変換プロセスを変換係数に適用するように構成することができる。更に、上述したように、特定の変換（又は特定の変換の種類）が実行されるか否かは、イントラ予測モードに依存し得る。図１４に示すように、復元された残差データを加算器３１２に提供することができる。加算器３１２は、復元された残差データを予測動画像ブロックに加えて、復元された動画像データを生成することができる。予測動画像ブロックは、予測動画像技術（すなわち、イントラ予測及びフレーム間予測）に従って判定することができる。一例では、動画像復号装置３００及びポストフィルタ部３１４は、ＱＰ値を決定し、ポストフィルタリング（例えば、デブロッキング）のためにそれらを使用するように構成することができる。一例では、ＱＰを使用する動画像復号装置３００の他の機能ブロックは、受信したシグナリングに基づいてＱＰを決定し、復号のためにそれを使用することができる。
【0079】
イントラ予測処理部３０８は、イントラ予測シンタックス要素を受信し、参照バッファ３１６から予測動画像ブロックを取得するように構成することができる。参照バッファ３１６は、動画像データの１つ以上のフレームを記憶するように構成されたメモリデバイスを含むことができる。イントラ予測シンタックス要素は、上述したイントラ予測モードなどのイントラ予測モードを識別することができる。一例では、イントラ予測処理部３０８は、本明細書で説明するイントラ予測符号化技術の１つ以上に従って用いて、動画像ブロックを復元することができる。インター予測処理部３１０は、インター予測シンタックス要素を受信し、動きベクトルを生成して、参照バッファ３１６に記憶された１つ以上の参照フレーム内の予測ブロックを識別することができる。インター予測処理部３１０は、場合によっては補間フィルタに基づく補間を実行して、動き補償されたブロックを生成することができる。シンタックス要素には、画素未満の精度を有する動き予測に使用されることになる補間フィルタの識別子を含めることができる。インター予測処理部３１０は、補間フィルタを使用して、参照ブロックの整数未満の画素に対する補間された値を計算することができる。ポストフィルタ部３１４は、復元された動画像データに対してフィルタリングを実行するように構成することができる。例えば、ポストフィルタ部３１４は、ポストフィルタ部２１６に関して上述したように、デブロッキング及び／又はＳＡＯフィルタリングを実行するように構成することができる。更に、いくつかの例では、ポストフィルタ部３１４は、独自の任意のフィルタ（例えば、視覚強調）を実行するように構成することができることに留意されたい。図１４に示すように、復元された動画像ブロックは、動画像復号装置３００によって出力することができる。このようにして、動画像復号装置３００は、本明細書で説明する技術の１つ以上に従って復元された動画像データを生成するように構成することができる。このようにして、動画像復号装置３００は、第１の四分木二分木分割構造を構文解析し、第１の四分木二分木分割構造を動画像データの第１の成分に適用し、共有深さを決定し、第１の四分木二分木分割構造を、共有深さまで動画像データの第２の成分に適用するように構成することができる。このようにして、動画像復号装置３００は、オフセット値を決定し、オフセット値に従ってリーフノードを分割するように構成されたデバイスの例を表す。
【0080】
１つ以上の例では、記載された機能は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせで実装することができる。ソフトウェアで実装される場合に、この機能は、コンピュータ可読媒体上の１つ以上の命令又はコードとして記憶するか又は伝送され、ハードウェアベースの処理部によって実行することができる。コンピュータ可読媒体は、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む、データ記憶媒体又は通信媒体などの有形の媒体に対応する、コンピュータ可読記憶媒体を含むことができる。このようにして、コンピュータ可読媒体は、一般に、（１）非一時的な有形のコンピュータ可読記憶媒体、又は（２）信号又は搬送波などの通信媒体に対応することができる。データ記憶媒体は、本開示中に記載された技術の実現のための命令、コード、及び／又はデータ構造を取り出すために、１つ以上のコンピュータ又は１つ以上のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含むことができる。
【0081】
一例として、非限定的に、このようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ、又は他の光学ディスク記憶装置、磁気ディスク記憶装置、他の磁気記憶装置、フラッシュメモリ、又は任意の他の媒体、すなわち命令又はデータ構造の形式で所望のプログラムコードを記憶するために使用可能であり、かつコンピュータによりアクセス可能な任意の他の媒体を含むことができる。また、任意の接続は、コンピュータ可読媒体と適切に呼ばれる。例えば、命令がウェブサイト、サーバ、又は他のリモートソースから、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線（digital subscriber line、ＤＳＬ）、あるいは赤外線、無線及びマイクロ波などの無線技術を使用して伝送される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、あるいは赤外線、無線及びマイクロ波などの無線技術は、媒体の定義に含まれる。しかし、コンピュータ可読媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一過性媒体を含まないが、代わりに非一時的な有形記憶媒体を対象としていることを理解すべきである。本発明で使用する場合、ディスク（disk）及びディスク（disc）は、コンパクトディスク（Compact Disc、ＣＤ）、レーザーディスク（laser disc）、光学ディスク（optical disc）、デジタル多用途ディスク（Digital Versatile Disc、ＤＶＤ）、フロッピーディスク（floppy disk）及びブルーレイ（登録商標）ディスク（Blu-ray（登録商標）disc）を含み、ディスク（disk）は通常データを磁気的に再生し、ディスク（disc）はレーザを用いてデータを光学的に再生する。上記の組み合わせもまた、コンピュータ可読媒体の範囲内に含まれなければならない。
【0082】
命令は、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は他の同等の集積又はディスクリートロジック回路などの１つ以上のプロセッサによって実行することができる。したがって、本明細書で使用されるとき、用語「プロセッサ」は、前記の構造、又は本明細書で説明する技術の実施に好適な任意の他の構造のいずれかを指すことができる。加えて、いくつかの態様において、本明細書に記載の機能は、符号化及び復号化するように構成された、又は複合コーデックに組み込まれた専用のハードウェアモジュール及び／又はソフトウェアモジュール内に設けられ得る。また、この技術は、１つ以上の回路又は論理素子中に完全に実装することができる。
【0083】
本開示の技術は、無線ハンドセット、集積回路（integrated circuit、ＩＣ）、又はＩＣのセット（例えば、チップセット）を含む多種多様なデバイス又は装置に実装することができる。様々なコンポーネント、モジュール、又はユニットは、開示された技術を実行するように構成されたデバイスの機能的な態様を強調するために本開示中に記載されているが、異なるハードウェアユニットによる実現は必ずしも必要ではない。むしろ、前述したように、様々なユニットは、コーデックハードウェアユニットと組み合わせてもよく、又は好適なソフトウェア及び／又はファームウェアと共に、前述の１つ以上のプロセッサを含む、相互動作ハードウェアユニットの集合によって提供することができる。
【0084】
更に、上述の各実装形態で用いた基地局装置や端末装置の各機能ブロックや各種の機能は、一般的には集積回路又は複数の集積回路である電気回路によって実現又は実行することができる。本明細書に記載の機能を実行するように設計された回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け又は汎用アプリケーション集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）若しくは他のプログラマブルロジックデバイス、ディスクリートゲート若しくはトランジスタロジック、若しくは個々のハードウェアコンポーネント、又はそれらの組み合わせを備えていてもよい。汎用プロセッサは、マイクロプロセッサでもよく、あるいは、プロセッサは、従来のプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンでもよい。上述した汎用プロセッサ又は各回路は、デジタル回路で構成されても、又はアナログ回路で構成されてもよい。更に、半導体技術の進歩により現時点での集積回路に置き換わる集積回路化技術が現れれば、この技術による集積回路もまた使用可能となる。
【0085】
様々な実施例について説明した。これら及び他の実施例は、以下の特許請求の範囲内である。
【0086】
＜概要＞
一例では、動画像データを符号化する方法は、幅及び高さを有する係数レベル値の矩形のアレイを受信し、矩形のアレイに含まれる各係数レベル値について、対応する変換係数値を生成することを含み、対応する変換係数値を生成することは、量子化パラメータ並びに矩形のアレイの幅及び高さに基づいて係数レベル値をスケーリングすることを含む。
一例では、動画像データを符号化する方法は、幅及び高さを有する係数レベル値の矩形のアレイを受信し、矩形のアレイに含まれる各係数レベル値について、対応する変換係数値を生成することを含み、対応する変換係数値を生成することは、量子化パラメータ並びに矩形のアレイの幅及び高さに基づいて係数レベル値をスケーリングすることを含む。
【0087】
一例では、動画像データを符号化するデバイスは、幅及び高さを有する係数レベル値の矩形のアレイを受信し、矩形のアレイに含まれる各係数レベル値について、対応する変換係数値を生成するように構成された１つ以上のプロセッサを含み、対応する変換係数値を生成することは、量子化パラメータ並びに矩形のアレイの幅及び高さに基づいて係数レベル値をスケーリングすることを含む。
【0088】
一例では、非一時的コンピュータ可読記憶媒体は、記憶された命令を含み、命令が実行されると、デバイスの１つ以上のプロセッサに、幅及び高さを有する係数レベル値の矩形のアレイを受信させ、矩形のアレイに含まれ各係数レベル値について、対応する変換係数値を生成させ、対応する変換係数値を生成することは、量子化パラメータ並びに矩形のアレイの幅及び高さに基づいて係数レベル値をスケーリングすることを含む。
【0089】
一例では、装置は、幅及び高さを有する係数レベル値の矩形のアレイを受信する手段と、矩形のアレイに含まれる各係数レベル値について、対応する変換係数値を生成する手段と、を備え、対応する変換係数値を生成することは、量子化パラメータ並びに矩形のアレイの幅及び高さに基づいて係数レベル値をスケーリングすることを含む。
【0090】
＜相互参照＞
本非仮出願は、米国特許法第１１９条の下で、２０１７年１月３１日の仮出願第６２／４５２，８９０号の優先権を主張するものであり、その内容全体は、参照により本明細書に組み込まれる。
本非仮出願は、米国特許法第１１９条の下で、２０１７年１月３１日の仮出願第６２／４５２，８９０号の優先権を主張するものであり、その内容全体は、参照により本明細書に組み込まれる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15A】
【図15B】
【図16A】
【図16B】