知財求人 - 知財ポータルサイト「IP Force」
特開2024-12476ビデオデコーディングのための方法、装置、媒体、およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024012476
(43)【公開日】2024-01-30
(54)【発明の名称】ビデオデコーディングのための方法、装置、媒体、およびプログラム
(51)【国際特許分類】
H04N 19/70 20140101AFI20240123BHJP
H04N 19/12 20140101ALI20240123BHJP
【ＦＩ】
H04N19/70
H04N19/12
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023188004
(22)【出願日】2023-11-01
(62)【分割の表示】P 2022191807の分割
【原出願日】2020-05-22
(31)【優先権主張番号】62/860,149
(32)【優先日】2019-06-11
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/878,390
(32)【優先日】2020-05-19
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】シャン・リュウ
(72)【発明者】
【氏名】シン・ジャオ
(72)【発明者】
【氏名】シアン・リ
(57)【要約】 （修正有）
【課題】イントラコーディング済ブロックに対して暗黙的なＭＴＳをイネーブルにする方法、装置、媒体及びプログラムを提供する。
【解決手段】ビデオデコーディング方法は、イントラコーディング済ブロックに対して、明示的な多重変換選択（ＭＴＳ）がイネーブルであるかを示す第１の高レベルシンタックス（ＨＬＳ）要素及びインターコーディング済ブロックに対して、明示的なＭＴＳがイネーブルであるかを示す第２のＨＬＳ要素を受信する。各ＨＬＳ要素は、イントラコーディング済ブロック及びインターコーディング済ブロックを含む同じコーディングブロックのセットを制御する。第１のＨＬＳ要素がイントラコーディング済ブロックに対して明示的なＭＴＳがディスエーブルであり、第２のＨＬＳ要素がインターコーディング済ブロックに対して明示的なＭＴＳがイネーブルである場合、イントラコーディング済ブロックに対して暗黙的なＭＴＳをイネーブルにする。
【選択図】図３４
【解決手段】ビデオデコーディング方法は、イントラコーディング済ブロックに対して、明示的な多重変換選択（ＭＴＳ）がイネーブルであるかを示す第１の高レベルシンタックス（ＨＬＳ）要素及びインターコーディング済ブロックに対して、明示的なＭＴＳがイネーブルであるかを示す第２のＨＬＳ要素を受信する。各ＨＬＳ要素は、イントラコーディング済ブロック及びインターコーディング済ブロックを含む同じコーディングブロックのセットを制御する。第１のＨＬＳ要素がイントラコーディング済ブロックに対して明示的なＭＴＳがディスエーブルであり、第２のＨＬＳ要素がインターコーディング済ブロックに対して明示的なＭＴＳがイネーブルである場合、イントラコーディング済ブロックに対して暗黙的なＭＴＳをイネーブルにする。
【選択図】図３４
【特許請求の範囲】
【請求項1】
ビデオデコーダにおけるビデオデコーディングの方法であって、
明示的な多重変換選択（ＭＴＳ）がイントラコーディング済ブロックに対してイネーブルであるかディスエーブルであるかを示す第１の高レベルシンタックス（ＨＬＳ）要素を受信するステップと、
インターコーディング済ブロックに対して前記明示的なＭＴＳがイネーブルであるかディスエーブルであるかを示す第２のＨＬＳ要素を受信するステップであって、前記第１および第２のＨＬＳ要素は、前記イントラコーディング済ブロックおよび前記インターコーディング済ブロックを含むコーディングブロックの同じセットを制御する、ステップと、
前記第１のＨＬＳ要素が前記イントラコーディング済ブロックに対して前記明示的なＭＴＳがディスエーブルであることを示し、前記第２のＨＬＳ要素が前記インターコーディング済ブロックに対して前記明示的なＭＴＳがイネーブルであることを示す場合に、前記イントラコーディング済ブロックに対して暗黙的なＭＴＳをイネーブルにするステップと
を含む方法。
明示的な多重変換選択（ＭＴＳ）がイントラコーディング済ブロックに対してイネーブルであるかディスエーブルであるかを示す第１の高レベルシンタックス（ＨＬＳ）要素を受信するステップと、
インターコーディング済ブロックに対して前記明示的なＭＴＳがイネーブルであるかディスエーブルであるかを示す第２のＨＬＳ要素を受信するステップであって、前記第１および第２のＨＬＳ要素は、前記イントラコーディング済ブロックおよび前記インターコーディング済ブロックを含むコーディングブロックの同じセットを制御する、ステップと、
前記第１のＨＬＳ要素が前記イントラコーディング済ブロックに対して前記明示的なＭＴＳがディスエーブルであることを示し、前記第２のＨＬＳ要素が前記インターコーディング済ブロックに対して前記明示的なＭＴＳがイネーブルであることを示す場合に、前記イントラコーディング済ブロックに対して暗黙的なＭＴＳをイネーブルにするステップと
を含む方法。
【発明の詳細な説明】
【技術分野】
【0001】
参照による組み込み
本出願は、２０２０年５月１９日に出願された米国特許出願第１６／８７８，３９０号「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」の利益を主張し、上記出願は、２０１９年６月１１日に出願された米国仮出願第６２／８６０，１４９号「Ｈｉｇｈ－ｌｅｖｅｌ Ｓｙｎｔａｘ Ｃｏｎｔｒｏｌ ｏｎ Ｅｎａｂｌｉｎｇ Ｉｍｐｌｉｃｉｔ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ」の利益を主張する。先行出願の開示は、その全体が参照により本明細書に組み込まれる。
本出願は、２０２０年５月１９日に出願された米国特許出願第１６／８７８，３９０号「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」の利益を主張し、上記出願は、２０１９年６月１１日に出願された米国仮出願第６２／８６０，１４９号「Ｈｉｇｈ－ｌｅｖｅｌ Ｓｙｎｔａｘ Ｃｏｎｔｒｏｌ ｏｎ Ｅｎａｂｌｉｎｇ Ｉｍｐｌｉｃｉｔ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ」の利益を主張する。先行出願の開示は、その全体が参照により本明細書に組み込まれる。
【0002】
本開示は、ビデオコーディングに一般的に関連する実施形態を説明する。
【背景技術】
【0003】
本明細書で提供される背景技術の説明は、本開示の文脈を一般的に提示することを目的としている。本発明者らの研究は、この背景技術の項に記載されている限りにおいて、ならびに出願時に従来技術として認められない可能性がある説明の態様は、本開示に対する従来技術として明示的にも暗示的にも認められない。
【0004】
ビデオのコーディングおよびデコーディングは、動き補償を伴う画像間予測を使用して実行することができる。非圧縮デジタルビデオは、一連の画像を含むことができ、各画像は、例えば１９２０×１０８０の輝度サンプルおよび関連するクロミナンスサンプルの空間次元を有する。一連の画像は、例えば毎秒６０画像または６０Ｈｚの固定または可変の画像レート（非公式にはフレームレートとも呼ばれる）を有することができる。非圧縮ビデオは重要なビットレート要件を有する。例えば、サンプルあたり８ビットの１０８０ｐ６０ ４：２：０ビデオ（６０ Ｈｚフレームレートでの１９２０×１０８０輝度サンプル解像度）は、１．５ Ｇｂｉｔ／ｓに近い帯域幅を必要とする。このようなビデオを１時間使用するには、６００ ＧＢｙｔｅを超える記憶スペースが必要である。
【0005】
ビデオのコーディングとデコーディングの１つの目的は、圧縮によって入力ビデオ信号の冗長性を減らすことであり得る。圧縮は、前述の帯域幅または記憶スペースの要件を、場合によっては２桁以上削減するのに役立ち得る。可逆圧縮と非可逆圧縮の両方、およびそれらの組み合わせが使用されてもよい。可逆圧縮とは、圧縮された元の信号から元の信号の正確なコピーを再構築できる手法を指す。非可逆圧縮を使用すると、再構築された信号は元の信号と同一ではない可能性があるが、元の信号と再構築された信号との間の歪みが十分に小さいので、再構築された信号は目的の用途に有用である。ビデオの場合、非可逆圧縮が広く採用されている。許容される歪みの量は用途によって異なり、例えば、特定のコンシューマストリーミング用途のユーザは、テレビ配給用途のユーザよりも高い歪みを許容することができる。達成可能な圧縮率は、許容可能な／耐えられる歪みが高いほど、より高い圧縮率が得られるということを反映できる。
【0006】
ビデオのエンコーダおよびデコーダは、例えば動き補償、変換、量子化、エントロピーコーディングなど、いくつかの幅広いカテゴリからの技術を利用することができる。
【0007】
ビデオコーデック技術は、イントラコーディングとして知られる技術を含むことができる。イントラコーディングでは、サンプルまたは以前に再構築された参照画像からの他のデータを参照せずにサンプル値が表される。いくつかのビデオコーデックでは、画像はサンプルのブロックに空間的に細分される。サンプルのすべてのブロックがイントラモードでコーディングされる場合、その画像はイントラ画像であり得る。イントラ画像および独立したデコーダリフレッシュ画像などのそれらの派生は、デコーダ状態をリセットするために使用することができ、したがって、コーディングビデオビットストリームおよびビデオセッション内の第１の画像として、または静止画像として使用することができる。イントラブロックのサンプルは、変換される可能性があり、変換係数はエントロピーコーディングの前に量子化され得る。イントラ予測は、変換前領域におけるサンプル値を最小化する技術であり得る。場合によっては、変換後のＤＣ値が小さいほど、およびＡＣ係数が小さいほど、エントロピーコーディング後のブロックを表すために所与の量子化ステップサイズで必要とされるビットが少なくなる。
【0008】
例えばＭＰＥＧ－２生成コーディング技術から知られているような従来のイントラコーディングは、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、例えば、周囲のサンプルデータおよび／または空間的に隣接し、デコーディング順序で先行するデータのブロックのエンコーディング／デコーディング中に取得されたメタデータから試行する技術を含む。そのような技法は、以後「イントラ予測」技法と呼ばれる。少なくともいくつかの場合において、イントラ予測は、再構築中の現在の画像からの参照データのみを使用し、参照画像からの参照データは使用しないことに留意されたい。
【0009】
イントラ予測には多くの異なる形態があり得る。そのような技法のうちの２つ以上が所与のビデオコーディング技術において使用され得るとき、使用中の技法はイントラ予測モードでコーディングされ得る。ある場合には、モードはサブモードおよび／またはパラメータを有することができ、それらは個別にコーディングされるかまたはモードコードワードに含まれ得る。所与のモード／サブモード／パラメータの組み合わせにどのコードワードを使用するかは、イントラ予測を介してコーディング効率の利得に影響を与える可能性があり、そのため、コードワードをビットストリームに変換するために使用されるエントロピーコーディング技術も影響を与える可能性がある。
【0010】
イントラ予測の特定のモードは、Ｈ．２６４で導入され、Ｈ．２６５で改良され、共同探索モデル（ＪＥＭ）、多用途ビデオコーディング（ＶＶＣ）、およびベンチマークセット（ＢＭＳ）などの新しいコーディング技術でさらに改良された。予測器ブロックは、既に利用可能なサンプルに属する隣接サンプル値を使用して形成することができる。隣接するサンプルのサンプル値は、方向に従って予測器ブロックにコピーされる。使用中の方向への参照は、ビットストリーム内でコーディングされ得るか、またはそれ自体が予測され得る。
【0011】
動き補償は非可逆圧縮技術とすることができ、以前に再構築された画像またはその一部（参照画像）からのサンプルデータのブロックが、動きベクトル（ＭＶ以降）によって示される方向に空間的にシフトされた後に、新たに再構築された画像または画像部分の予測に使用される技術に関することができる。場合によっては、参照画像は、現在再構築中の画像と同じであり得る。ＭＶは、２つの次元ＸおよびＹ、または３つの次元を有することができ、第３の次元は、使用中の参照画像（後者は、間接的に、時間次元とすることができる）の表示である。
【0012】
いくつかのビデオ圧縮技術では、サンプルデータの特定の領域に適用可能なＭＶは、他のＭＶから、例えば再構築中の領域に空間的に隣接し、デコーディング順でそのＭＶに先行するサンプルデータの別の領域に関連するＭＶから予測することができる。そうすることにより、ＭＶのコーディングに必要なデータ量を実質的に削減することができ、それによって冗長性が排除され、圧縮が増加する。ＭＶ予測は、例えば、カメラ（自然ビデオとして知られている）から導出された入力ビデオ信号をコーディングするとき、単一のＭＶが適用可能な領域よりも大きい領域が同様の方向に移動する統計的尤度があり、したがって、場合によっては、隣接領域のＭＶから導出された同様の動きベクトルを使用して予測することができるため、効果的に機能することができる。これにより、所与の領域について見つかったＭＶは、周囲のＭＶから予測されたＭＶと類似または同じになり、エントロピーコーディング後に、ＭＶを直接コーディングする場合に使用されるよりも少ないビット数で表すことができる。場合によっては、ＭＶ予測は、元の信号（すなわち、サンプルストリーム）から導出された信号（すなわち、ＭＶ）の可逆圧縮の一例であり得る。他の場合では、例えば、いくつかの周囲のＭＶから予測器を計算するときの丸め誤差のために、ＭＶ予測自体が非可逆であり得る。
【0013】
様々なＭＶ予測メカニズムは、Ｈ．２６５／ＨＥＶＣ（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５、「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」、２０１６年１２月）に記載されている。ここでは、Ｈ．２６５が提供する多くのＭＶ予測機構のうち、「空間マージ」と呼ばれる技術について説明する。
【0014】
図１を参照すると、現在のブロック（１０１）は、空間的にシフトされた同じサイズの前のブロックから予測可能であるように動き探索プロセス中にエンコーダによって見つけられたサンプルを含む。そのＭＶを直接コーディングする代わりに、ＭＶは、Ａ０、Ａ１、およびＢ０、Ｂ１、Ｂ２（それぞれ１０２から１０６）で示される５つの周囲サンプルのいずれか１つに関連するＭＶを使用して、１つまたは複数の参照画像に関連するメタデータから、例えば最新の（デコーディング順で）参照画像から導出することができる。Ｈ．２６５では、ＭＶ予測は、隣接ブロックが使用しているのと同じ参照画像からの予測器を使用することができる。
【発明の概要】
【課題を解決するための手段】
【0015】
本開示の態様は、ビデオデコーダにおけるビデオデコーディングの第１の方法を提供する。本方法は、明示的な多重変換選択（ＭＴＳ）がイントラコーディング済ブロックに対してイネーブルであるかディスエーブルであるかを示す第１の高レベルシンタックス（ＨＬＳ）要素を受信するステップと、インターコーディング済ブロックに対して明示的なＭＴＳがイネーブルであるかディスエーブルであるかを示す第２のＨＬＳ要素を受信するステップと、を含むことができる。第１および第２のＨＬＳ要素は、イントラコーディング済ブロックおよびインターコーディング済ブロックを含むコーディングブロックの同じセットを制御する。第１のＨＬＳ要素がイントラコーディング済ブロックに対して明示的なＭＴＳがディスエーブルであることを示し、第２のＨＬＳ要素がインターコーディング済ブロックに対して明示的なＭＴＳがイネーブルであることを示す場合に、イントラコーディング済ブロックに対して暗黙的なＭＴＳがイネーブルにされ得る。
【0016】
本方法の一実施形態は、イントラコーディング済ブロックに暗黙的なＭＴＳを適用するステップをさらに含むことができる。イントラコーディング済ブロックを処理する変換タイプは、イントラコーディング済ブロックのサイズに従って決定することができる。様々な例において、第１または第２のＨＬＳ要素は、ビデオパラメータセット（ＶＰＳ）シンタックス要素か、シーケンスパラメータセット（ＳＰＳ）シンタックス要素か、画像パラメータセット（ＰＰＳ）シンタックス要素か、スライスヘッダシンタックス要素か、タイルヘッダシンタックス要素か、またはタイルグループヘッダシンタックス要素、のうちの１つであり得る。一実施形態では、イントラコーディング済ブロックは、イントラサブパーティショニング（ＩＳＰ）モードでコーディングされない。一実施形態では、本方法は、インターコーディング済ブロックおよびイントラコーディング済ブロックの各々についてＭＴＳがイネーブルであることを示す第３のＨＬＳ要素を受信するステップをさらに含むことができる。
【0017】
本開示の態様は、ビデオデコーダにおけるビデオデコーディングの第２の方法を提供する。第２の方法は、イントラコーディング済ブロックに対してＭＴＳがイネーブルであるかディスエーブルであるかを示す第１のＨＬＳ要素を受信するステップと、イントラコーディング済ブロックに対して非分離二次変換（ＮＳＳＴ）または行列ベースのイントラ予測（ＭＩＰ）がディスエーブルであるかイネーブルであるかを示す第２のＨＬＳ要素を受信するステップと、を含むことができる。第１のＨＬＳ要素がイントラコーディング済ブロックに対して明示的なＭＴＳがディスエーブルであることを示し、第２のＨＬＳ要素がイントラコーディング済ブロックに対してＮＳＳＴまたはＭＩＰがディスエーブルであることを示す場合に、イントラコーディング済ブロックに対して暗黙的なＭＴＳがイネーブルにされ得る。
【0018】
本開示はまた、ビデオデコーダにおけるビデオデコーディングの第３の方法を提供することができる。第３の方法は、ＭＴＳが適用されるかどうかを示す第１のブロックレベルシンタックス要素と、ＮＳＳＴが適用されるかどうかを示す第２のブロックレベルシンタックス要素と、に関連するイントラコーディング済ブロックを受信するステップを含むことができる。第１のブロックレベルシンタックス要素がＭＴＳが適用されないことを示し、第２のブロックレベルシンタックス要素がＮＳＳＴが適用されないことを示す場合に、イントラコーディング済ブロックに対して暗黙的なＭＴＳがイネーブルにされ得る。
【0019】
本出願はＮＳＳＴに言及しているが、開示された方法およびシステムは、縮小サイズ変換（ＲＳＴ）および低周波非分離二次変換（ＬＦＮＳＴ）などのＮＳＳＴの変形に適用することができることに留意されたい。したがって、ＮＳＳＴ、ＲＳＴ、および／またはＬＦＮＳＴは、本出願を通して互換的に使用することができる。
【0020】
開示される主題のさらなる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになるであろう。
【図面の簡単な説明】
【0021】
【図1】一例における現在のブロックおよびその周囲の空間マージ候補の概略図である。
【図2】一実施形態による通信システム（２００）の簡略化されたブロック図の概略図である。
【図3】一実施形態による通信システム（３００）の簡略化されたブロック図の概略図である。
【図4】一実施形態によるデコーダの簡略化されたブロック図の概略図である。
【図5】一実施形態によるエンコーダの簡略化されたブロック図の概略図である。
【図6】別の実施形態によるエンコーダのブロック図である。
【図7】別の実施形態によるデコーダのブロック図である。
【図8A】一実施形態による、４ポイントのＤＣＴ－２の例示的な変換コア行列を示す図である。
【図8B】一実施形態による、８ポイントのＤＣＴ－２の例示的な変換コア行列を示す図である。
【図8C】一実施形態による、１６ポイントのＤＣＴ－２の例示的な変換コア行列を示す図である。
【図8D】一実施形態による、３２ポイントのＤＣＴ－２の例示的な変換コア行列を示す図である。
【図9A】一実施形態によるサブブロック変換（ＳＢＴ）でサポートされるサブブロックタイプ、サイズ、および位置を示す図である。
【図9B】一実施形態によるサブブロック変換（ＳＢＴ）でサポートされるサブブロックタイプ、サイズ、および位置を示す図である。
【図9C】一実施形態によるサブブロック変換（ＳＢＴ）でサポートされるサブブロックタイプ、サイズ、および位置を示す図である。
【図9D】一実施形態によるサブブロック変換（ＳＢＴ）でサポートされるサブブロックタイプ、サイズ、および位置を示す図である。
【図10】一実施形態による、イントラサブパーティション（ＩＳＰ）コーディングモードにおけるブロックサイズに応じたサブパーティションの数を示す図である。
【図11】ＩＳＰコーディングモードでブロックが２つのサブパーティションに分割される例を示す図である。
【図12】ＩＳＰコーディングモードでブロックが４つのサブパーティションに分割される例を示す図である。
【図13A】一実施形態による６４ポイントのＤＣＴ－２変換の６４×６４変換コア行列を示す図である。
【図13B】一実施形態による６４ポイントのＤＣＴ－２変換の６４×６４変換コア行列を示す図である。
【図13C】一実施形態による６４ポイントのＤＣＴ－２変換の６４×６４変換コア行列を示す図である。
【図13D】一実施形態による６４ポイントのＤＣＴ－２変換の６４×６４変換コア行列を示す図である。
【図13E】一実施形態による６４ポイントのＤＣＴ－２変換の６４×６４変換コア行列を示す図である。
【図14】一実施形態によるＤＳＴ／ＤＣＴ変換の変換基底関数を示す図である。
【図15】一実施形態による、ｍｔｓ＿ｉｄｘ値とそれぞれの水平または垂直変換との間のマッピング関係を示す表を示す図である。
【図16A】一実施形態によるＤＳＴ－７変換タイプの変換コア行列を示す図である。
【図16B】一実施形態によるＤＳＴ－７変換タイプの変換コア行列を示す図である。
【図16C】一実施形態によるＤＳＴ－７変換タイプの変換コア行列を示す図である。
【図16D】一実施形態によるＤＳＴ－７変換タイプの変換コア行列を示す図である。
【図17A】一実施形態によるＤＣＴ－８変換タイプの変換コア行列を示す図である。
【図17B】一実施形態によるＤＣＴ－８変換タイプの変換コア行列を示す図である。
【図17C】一実施形態によるＤＣＴ－８変換タイプの変換コア行列を示す図である。
【図17D】一実施形態によるＤＣＴ－８変換タイプの変換コア行列を示す図である。
【図18】シーケンスパラメータセット（ＳＰＳ）シンタックス要素を使用して多重変換選択（ＭＴＳ）の使用を制御する例を示す図である。
【図19】一実施形態によるイントラ予測モードと変換セットとの間のマッピングの表を示す図である。
【図20】一実施形態による、１６×６４変換コアを使用するＲＳＴ ８×８のための代替変換コーディングプロセス（２０００）を示す図である。
【図21】一実施形態による、１６×４８変換コアを使用するＲＳＴ ８×８のための代替変換コーディングプロセス（２１００）を示す図である。
【図22】例示的なＣＵレベルシンタックス表（２２００）を示す図であり、低周波数非分離二次変換（ＬＦＮＳＴ）カーネルの選択を示すシンタックス要素ｌｆｎｓｔ＿ｉｄｘがＣＵレベルシンタックスの最後にシグナリングされる。
【図23】一実施形態による、縮小変換のプロセス（２３０１）および縮小逆変換のプロセス（２３０２）を示す図である。
【図24A】ＲＳＴ ８×８における二次変換を計算するための入力として使用される残差ブロック（２４１０）の左上の８×８係数（網掛けしたサブブロック）全体を示す図である。
【図24B】ＲＳＴ ８×８における二次変換を計算するための入力として使用される残差ブロック（２４１０）の左上の３つの４×４サブブロック係数（網掛けしたサブブロック）を示す図である。
【図25】一実施形態によるイントラ予測モードに基づく変換セット選択のための表を示す図である。
【図26】行列ベースのイントラ予測（ＭＩＰ）モードの例示的なプロセス（２６００）を示す図である。
【図27】一実施形態によるＣＵレベルのシンタックス表を示す図であり、行列ベースのイントラ予測（ＭＩＰ）モードをシグナリングするフラグがフレーム（２７０１）に示されている。
【図28A】ビットストリームから受信した関連するシンタックス要素に基づいて現在のブロックの明示的または暗黙的な変換選択を実行する変換コーディングプロセスを指定するテキスト（２８００）を組み合わせて示す図である。
【図28B】ビットストリームから受信した関連するシンタックス要素に基づいて現在のブロックの明示的または暗黙的な変換選択を実行する変換コーディングプロセスを指定するテキスト（２８００）を組み合わせて示す図である。
【図29】イントラ残差ブロックの暗黙的変換とインター残差ブロックの明示的変換とが共存することができる暗黙的な変換イネーブル方式に対応するテキスト（２８００）に対する修正（２９００）を示す図である。
【図30】非分離二次変換（ＮＳＳＴ）がディスエーブルである場合に暗黙的な変換がイネーブルにされるシナリオに対応するテキスト（２８００）に対する修正（３０００）を示す図である。
【図31】ＭＩＰがディスエーブルである場合に暗黙的な変換がイネーブルにされるシナリオに対応するテキスト（２８００）に対する修正（３１００）を示す図である。
【図32】ＭＴＳとＮＳＳＴの両方が現在のブロックに適用されないシナリオに対応するテキスト（２８００）に対する修正（３２００）を示す図である。
【図33】ＭＴＳ、ＮＳＳＴ、またはＭＩＰのいずれも現在のブロックに適用されないシナリオに対応するテキスト（２８００）に対する修正（３３００）を示す図である。
【図34】本開示の実施形態による変換コーディングプロセス（３４００）のフローチャートを示す図である。
【図35】本開示の実施形態による変換コーディングプロセス（３５００）のフローチャートを示す図である。
【図36】本開示の実施形態による変換コーディングプロセス（３６００）のフローチャートを示す図である。
【図37】一実施形態によるコンピュータシステムの概略図である。
【発明を実施するための形態】
【0022】
Ｉ．ビデオコーディングのエンコーダおよびデコーダ
図２は、本開示の一実施形態による通信システム（２００）の簡略化されたブロック図を示す。通信システム（２００）は、例えばネットワーク（２５０）を介して互いに通信可能な複数の端末装置を含む。例えば、通信システム（２００）は、ネットワーク（２５０）を介して相互接続された端末装置（２１０）および（２２０）の第１のペアを含む。図２の例では、端末装置（２１０）および（２２０）の第１のペアは、データの一方向の送信を実行する。例えば、端末装置（２１０）は、ネットワーク（２５０）を介して他の端末装置（２２０）に送信するためにビデオデータ（例えば、端末装置（２１０）によって取り込まれたビデオ画像のストリーム）をコーディングすることができる。エンコード済ビデオデータは、１つまたは複数のコーディング済ビデオビットストリームの形態で送信することができる。端末装置（２２０）は、ネットワーク（２５０）からコーディング済ビデオデータを受信し、コーディング済ビデオデータをデコーディングしてビデオ画像を復元し、復元されたビデオデータに従ってビデオ画像を表示することができる。一方向のデータ送信は、メディアサービングアプリケーションなどでは一般的であり得る。
図２は、本開示の一実施形態による通信システム（２００）の簡略化されたブロック図を示す。通信システム（２００）は、例えばネットワーク（２５０）を介して互いに通信可能な複数の端末装置を含む。例えば、通信システム（２００）は、ネットワーク（２５０）を介して相互接続された端末装置（２１０）および（２２０）の第１のペアを含む。図２の例では、端末装置（２１０）および（２２０）の第１のペアは、データの一方向の送信を実行する。例えば、端末装置（２１０）は、ネットワーク（２５０）を介して他の端末装置（２２０）に送信するためにビデオデータ（例えば、端末装置（２１０）によって取り込まれたビデオ画像のストリーム）をコーディングすることができる。エンコード済ビデオデータは、１つまたは複数のコーディング済ビデオビットストリームの形態で送信することができる。端末装置（２２０）は、ネットワーク（２５０）からコーディング済ビデオデータを受信し、コーディング済ビデオデータをデコーディングしてビデオ画像を復元し、復元されたビデオデータに従ってビデオ画像を表示することができる。一方向のデータ送信は、メディアサービングアプリケーションなどでは一般的であり得る。
【0023】
別の例では、通信システム（２００）は、例えばビデオ会議中に発生する可能性があるコーディング済ビデオデータの双方向送信を実行する端末装置（２３０）および（２４０）の第２のペアを含む。データの双方向送信のために、一例では、端末装置（２３０）および（２４０）の各端末装置は、ネットワーク（２５０）を介して端末装置（２３０）および（２４０）の他方の端末装置に送信するためのビデオデータ（例えば、端末装置によって取り込まれたビデオ画像のストリーム）をコーディングすることができる。端末装置（２３０）および（２４０）の各端末装置はまた、端末装置（２３０）および（２４０）の他方の端末装置によって送信されたコーディング済ビデオデータを受信することができ、コーディング済ビデオデータをデコーディングしてビデオ画像を復元することができ、復元されたビデオデータに従ってアクセス可能な表示装置にビデオ画像を表示することができる。
【0024】
図２の例では、端末装置（２１０）、（２２０）、（２３０）、および（２４０）は、サーバー、パーソナルコンピュータ、およびスマートフォンとして示され得るが、本開示の原理はそのように限定されなくてもよい。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、および／または専用のビデオ会議機器での用途を見出す。ネットワーク（２５０）は、例えば有線（有線）および／または無線通信ネットワークを含む、端末装置（２１０）、（２２０）、（２３０）および（２４０）の間でコーディング済ビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク（２５０）は、回路切り替えおよび／またはパケット切り替えチャネルでデータを交換することができる。代表的なネットワークは、通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはインターネットを含む。本議論の目的のために、ネットワーク（２５０）のアーキテクチャおよびトポロジーは、以下で本明細書において説明されない限り、本開示の動作にとって重要ではない場合がある。
【0025】
図３は、開示された主題に対する用途の例として、ストリーミング環境におけるビデオエンコーダおよびビデオデコーダの配置を示す。開示された主題は、例えば、ビデオ会議、デジタルＴＶ、ＣＤ、ＤＶＤ、メモリスティックなどを含むデジタルメディアへの圧縮ビデオの格納などを含む他のビデオ対応アプリケーションに等しく適用可能であり得る。
【0026】
ストリーミングシステムは、例えば非圧縮のビデオ画像（３０２）のストリームを生成する、例えばデジタルカメラなどのビデオソース（３０１）を含むことができるキャプチャサブシステム（３１３）を含むことができる。一例では、ビデオ画像のストリーム（３０２）は、デジタルカメラによって撮影されたサンプルを含む。エンコード済ビデオデータ（３０４）（またはコーディング済ビデオビットストリーム）と比較して高いデータ量を強調するために太線として示されているビデオ画像のストリーム（３０２）は、ビデオソース（３０１）に結合されたビデオエンコーダ（３０３）を含む電子デバイス（３２０）によって処理することができる。ビデオエンコーダ（３０３）は、以下でより詳細に説明するように、開示された主題の態様を可能にするまたは実施するために、ハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。ビデオ画像（３０２）のストリームと比較してより低いデータ量を強調するために細線として示されているエンコード済ビデオデータ（３０４）（またはエンコード済ビデオビットストリーム（３０４））は、将来の使用のためにストリーミングサーバー（３０５）に格納することができる。図３のクライアントサブシステム（３０６）および（３０８）などの１つまたは複数のストリーミングクライアントサブシステムは、ストリーミングサーバー（３０５）にアクセスして、エンコード済ビデオデータ（３０４）のコピー（３０７）および（３０９）を取得することができる。クライアントサブシステム（３０６）は、例えば電子デバイス（３３０）内のビデオデコーダ（３１０）を含むことができる。ビデオデコーダ（３１０）は、エンコード済ビデオデータの入力コピー（３０７）をデコードし、ディスプレイ（３１２）（例えば、表示画面）または他のレンダリング装置（図示せず）上にレンダリングすることができるビデオ画像（３１１）の出力ストリームを作成する。いくつかのストリーミングシステムでは、エンコード済ビデオデータ（３０４）、（３０７）、および（３０９）（例えば、ビデオビットストリーム）は、特定のビデオコーディング／圧縮標準規格に従ってエンコードすることができる。これらの標準規格の例は、ＩＴＵ－Ｔ勧告Ｈ．２６５を含む。一例では、開発中のビデオコーディング標準規格は、多用途ビデオコーディング（ＶＶＣ）として非公式に知られている。開示された主題は、ＶＶＣの文脈で使用され得る。
【0027】
電子デバイス（３２０）および（３３０）は、他の構成要素（図示せず）を含むことができることに留意されたい。例えば、電子デバイス（３２０）はビデオデコーダ（図示せず）を含むことができ、電子デバイス（３３０）はビデオエンコーダ（図示せず）も含むことができる。
【0028】
図４は、本開示の一実施形態によるビデオデコーダ（４１０）のブロック図を示す。ビデオデコーダ（４１０）は、電子デバイス（４３０）に含まれ得る。電子デバイス（４３０）は、受信機（４３１）（例えば、受信回路）を含むことができる。ビデオデコーダ（４１０）は、図３の例のビデオデコーダ（３１０）の代わりに使用することができる。
【0029】
受信機（４３１）は、デコーダ（４１０）によってデコードされる１つまたは複数のコーデックビデオシーケンスを受信することができ、同じまたは別の実施形態では、一度に１つのコーディング済ビデオシーケンスであり、各コーディング済ビデオシーケンスのデコーディングは、他のコーディング済ビデオシーケンスから独立している。コーディング済ビデオシーケンスは、チャネル（４０１）から受信することができ、チャネルは、エンコード済ビデオデータを格納する記憶装置へのハードウェア／ソフトウェアリンクであり得る。受信機（４３１）は、それぞれの使用エンティティ（図示せず）に転送され得る他のデータ、例えば、コーディング済オーディオデータおよび／または補助データストリームと共に、エンコード済ビデオデータを受信することができる。受信機（４３１）は、コーディング済ビデオシーケンスを他のデータから分離することができる。ネットワークジッタに対抗するために、バッファメモリ（４１５）は、受信機（４３１）とエントロピーデコーダ／パーサー（４２０）（以後「パーサー（４２０）」）との間に結合され得る。特定の用途では、バッファメモリ（４１５）は、ビデオデコーダ（４１０）の一部である。他の場合には、ビデオデコーダ（４１０）の外部にあってもよい（図示せず）。さらに他のものでは、例えばネットワークジッタに対抗するためにビデオデコーダ（４１０）の外部にバッファメモリ（図示せず）があり、さらに例えば再生タイミングを処理するためにビデオデコーダ（４１０）の内部に別のバッファメモリ（４１５）があり得る。受信機（４３１）が十分な帯域幅と制御性の格納／転送デバイスから、または等時性ネットワークからデータを受信している場合に、バッファメモリ（４１５）は必要とされないか、または小さくなり得る。インターネットなどのベストエフォートパケットネットワークで使用するために、バッファメモリ（４１５）が必要とされてもよく、比較的大きくてもよく、有利には適応サイズであってもよく、ビデオデコーダ（４１０）の外部のオペレーティングシステムまたは同様の要素（図示せず）に少なくとも部分的に実装されてもよい。
【0030】
ビデオデコーダ（４１０）は、コーディング済ビデオシーケンスからシンボル（４２１）を再構築するためのパーサー（４２０）を含むことができる。これらのシンボルのカテゴリは、ビデオデコーダ（４１０）の動作を管理するために使用される情報、および潜在的に、図４に示されたように、電子デバイス（４３０）の不可欠な部分ではないが電子デバイス（４３０）に結合することができるレンダリングデバイス（４１２）（例えば、表示画面）などのレンダリングデバイスを制御するための情報を含む。レンダリングデバイスの制御情報は、補足拡張情報（ＳＥＩメッセージ）またはビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（図示せず）の形であってもよい。パーサー（４２０）は、受信したコーディング済ビデオシーケンスを解析／エントロピーデコードすることができる。コーディング済ビデオシーケンスのコーディングは、ビデオコーディング技術または標準規格に準拠することができ、可変長コーディング、ハフマンコーディング、文脈依存の有無にかかわらず算術コーディングなどを含む様々な原理に従うことができる。パーサー（４２０）は、グループに対応する少なくとも１つのパラメータに基づいて、ビデオデコーダ内のピクセルのサブグループのうちの少なくとも１つについて一組のサブグループパラメータを、コーディング済ビデオシーケンスから抽出することができる。サブグループは、画像のグループ（ＧＯＰ）、画像、タイル、スライス、マクロブロック、コーディングユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含むことができる。パーサー（４２０）は、変換係数、量子化器パラメータ値、動きベクトルなどのコーディング済ビデオシーケンス情報からも抽出することができる。
【0031】
パーサー（４２０）は、バッファメモリ（４１５）から受信されたビデオシーケンスに対してエントロピーデコーディング／シンタックス解析動作を実行して、シンボル（４２１）を作成することができる。
【0032】
シンボル（４２１）の再構築は、コーディング済ビデオ画像またはその一部（インター画像およびイントラ画像、インターブロックおよびイントラブロックなど）のタイプ、およびその他の要因に応じて、多数の異なるユニットを含むことができる。どのユニットが含まれているか、およびどのように含まれているかは、パーサー（４２０）によってコーディング済ビデオシーケンスから解析されたサブグループ制御情報によって制御され得る。パーサー（４２０）と以下の多数のユニットとの間のそのようなサブグループ制御情報の流れは、明確にするために示されていない。
【0033】
既に述べた機能ブロックの他に、ビデオデコーダ（４１０）は、以下に説明するように、概念的にいくつかの機能ユニットに細分することができる。商業的な制約の下で動作する実際の実施態様では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的には、互いに統合され得る。しかしながら、開示された主題を説明するために、以下の機能ユニットへの概念的な細分が適切である。
【0034】
第１のユニットは、スケーラ／逆変換ユニット（４５１）である。スケーラ／逆変換ユニット（４５１）は、量子化された変換係数、ならびに使用する変換、ブロックサイズ、量子化係数、量子化スケーリング行列などを含む制御情報を、パーサー（４２０）からシンボル（４２１）として受け取る。スケーラ／逆変換ユニット（４５１）は、アグリゲータ（４５５）に入力されうるサンプル値を含むブロックを出力することができる。
【0035】
場合によっては、スケーラ／逆変換（４５１）の出力サンプルは、イントラコーディング済ブロック、すなわち、以前に再構築された画像からの予測情報を使用していないが、現在の画像の以前に再構築された部分からの予測情報を使用できるブロックに関係することができる。そのような予測情報は、イントラ画像予測ユニット（４５２）によって提供され得る。場合によっては、イントラ画像予測ユニット（４５２）は、現在の画像バッファ（４５８）からフェッチされた周囲の既に再構築された情報を使用して、再構築中のブロックと同じサイズおよび形状のブロックを生成する。現在の画像バッファ（４５８）は、例えば、部分的に再構築された現在の画像および／または完全に再構築された現在の画像をバッファリングする。アグリゲータ（４５５）は、場合によっては、サンプルごとに、イントラ予測ユニット（４５２）が生成した予測情報を、スケーラ／逆変換ユニット（４５１）によって提供された出力サンプル情報に追加する。
【0036】
他の場合では、スケーラ／逆変換ユニット（４５１）の出力サンプルは、インターコーディング済の、場合によっては動き補償されたブロックに関係することができる。このような場合、動き補償予測ユニット（４５３）は、参照画像メモリ（４５７）にアクセスして、予測に使用されるサンプルをフェッチすることができる。フェッチされたサンプルをブロックに関係するシンボル（４２１）に従って動き補償した後に、これらのサンプルは、アグリゲータ（４５５）によってスケーラ／逆変換ユニット（４５１）（この場合、残差サンプルまたは残差信号と呼ばれる）の出力に追加されて、出力サンプル情報を生成することができる。動き補償予測ユニット（４５３）が予測サンプルをフェッチする参照画像メモリ（４５７）内のアドレスは、動きベクトルによって制御でき、例えばＸ、Ｙ、および参照画像の成分を有することができるシンボル（４２１）の形式で動き補償予測ユニット（４５３）が利用することができる。動き補償は、サブサンプルの正確な動きベクトルが使用されているときに参照画像メモリ（４５７）からフェッチされたサンプル値の補間、動きベクトル予測機構なども含むことができる。
【0037】
アグリゲータ（４５５）の出力サンプルは、ループフィルタユニット（４５６）における様々なループフィルタリング技術の対象となり得る。ビデオ圧縮技術は、コーディング済ビデオシーケンス（コーディング済ビデオビットストリームとも呼ばれる）に含まれるパラメータによって制御され、パーサー（４２０）からのシンボル（４２１）としてループフィルタユニット（４５６）に提供されるループ内フィルタ技術を含むことができるが、コーディング済画像またはコーディング済ビデオシーケンスの以前の（デコーディング順で）部分のデコーディング中に取得されたメタ情報に応答し、および以前に再構築されループフィルタ処理されたサンプル値に応答することもできる。
【0038】
ループフィルタユニット（４５６）の出力は、レンダリングデバイス（４１２）に出力することができて、将来のインター画像予測で使用するために参照画像メモリ（４５７）に格納することができるサンプルストリームとすることができる。
【0039】
特定のコーディング済画像は、完全に再構築されると、将来の予測のための参照画像として使用することができる。例えば、現在の画像に対応するコーディング済画像が完全に再構築され、コーディング済画像が参照画像として（例えば、パーサー（４２０）によって）識別されると、現在の画像バッファ（４５８）は、参照画像メモリ（４５７）の一部となることができ、そして、次のコーディング済画像の再構築を開始する前に、新しい現在の画像メモリを再割り当てすることができる。
【0040】
ビデオデコーダ（４１０）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５などの標準規格における所定のビデオ圧縮技術に従ってデコーディング動作を実行することができる。コーディング済ビデオシーケンスは、コーディング済ビデオシーケンスがビデオ圧縮技術または標準規格のシンタックスおよびビデオ圧縮技術または標準規格に文書化されたプロファイルの両方に準拠するという意味で、使用されているビデオ圧縮技術または標準規格によって指定されたシンタックスに準拠することができる。具体的には、プロファイルは、ビデオ圧縮技術または標準規格で利用可能なすべてのツールから、そのプロファイルの下で使用可能な唯一のツールとして特定のツールを選択することができる。また、コーディング済ビデオシーケンスの複雑さが、ビデオ圧縮技術または標準規格のレベルで定義されている範囲内にあることも、コンプライアンスに必要である。場合によっては、レベルによって、最大画像サイズ、最大フレームレート、最大再構築サンプルレート（例えば、メガサンプル／秒で測定される）、最大参照画像サイズなどが制限される。レベルによって設定された制限は、場合によっては、仮想参照デコーダ（ＨＲＤ）の仕様と、コーディング済ビデオシーケンスで通知されるＨＲＤバッファ管理のためのメタデータによってさらに制限され得る。
【0041】
一実施形態では、受信機（４３１）は、エンコード済ビデオと共に追加の（冗長な）データを受信することができる。追加のデータは、コーディング済ビデオシーケンスの一部として含まれてもよい。追加のデータは、データを適切にデコードし、かつ／または元のビデオデータをより正確に再構築するためにビデオデコーダ（４１０）によって使用され得る。追加のデータは、例えば、時間的、空間的、または信号雑音比（ＳＮＲ）エンハンスメントレイヤ、冗長スライス、冗長画像、前方誤り訂正符号などの形式にすることができる。
【0042】
図５は、本開示の一実施形態によるビデオエンコーダ（５０３）のブロック図を示す。ビデオエンコーダ（５０３）は、電子デバイス（５２０）に含まれる。電子デバイス（５２０）は、送信機（５４０）（例えば、送信回路）を含む。ビデオエンコーダ（５０３）は、図３の例のビデオエンコーダ（３０３）の代わりに使用することができる。
【0043】
ビデオエンコーダ（５０３）は、ビデオエンコーダ（５０３）によってコーディングされるビデオ画像を取り込むことができるビデオソース（５０１）（図５の例では電子デバイス（５２０）の一部ではない）からビデオサンプルを受信することができる。別の例では、ビデオソース（５０１）は電子デバイス（５２０）の一部である。
【0044】
ビデオソース（５０１）は、任意の適切なビット深度（例えば、８ビット、１０ビット、１２ビット、…）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、ＲＧＢ、…）、および任意の適切なサンプリング構造（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）であり得るデジタルビデオサンプルストリームの形式でビデオエンコーダ（５０３）によってコーディングされるソースビデオシーケンスを提供することができる。メディアサービングシステムでは、ビデオソース（５０１）は、以前に準備されたビデオを格納する記憶装置であってもよい。ビデオ会議システムでは、ビデオソース（５０１）は、ローカル画像情報をビデオシーケンスとしてキャプチャするカメラであってもよい。ビデオデータは、順番に見たときに動きを与える複数の個別の画像として提供されてもよい。画像自体は、ピクセルの空間アレイとして編成することができ、各ピクセルは、使用中のサンプリング構造、色空間などに応じて、１つまたは複数のサンプルを含むことができる。当業者は、ピクセルとサンプルとの間の関係を容易に理解することができる。以下の説明では、サンプルを中心に説明する。
【0045】
一実施形態によれば、ビデオエンコーダ（５０３）は、用途により必要に応じて、リアルタイムで、または任意の他の時間制約の下で、ソースビデオシーケンスの画像をコーディングし、コーディング済ビデオシーケンス（５４３）に圧縮することができる。適切なコーディング速度を強制することは、コントローラ（５５０）の機能の１つである。いくつかの実施形態では、コントローラ（５５０）は、以下に説明するように他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。明確にするために、結合は描かれていない。コントローラ（５５０）によって設定されるパラメータは、レート制御に関連するパラメータ（画像スキップ、量子化器、レート歪み最適化手法のラムダ値など）、画像サイズ、画像のグループ（ＧＯＰ）レイアウト、最大動きベクトル検索範囲などを含むことができる。コントローラ（５５０）は、特定のシステム設計に最適化されたビデオエンコーダ（５０３）に関する他の適切な機能を有するように構成することができる。
【0046】
いくつかの実施形態では、ビデオエンコーダ（５０３）は、コーディングループで動作するように構成される。過度に簡略化された説明として、一例では、コーディングループは、ソースコーダ（５３０）（例えば、コーディングされる入力画像と、参照画像とに基づいて、シンボルストリームのようなシンボルを生成することを担当する）と、ビデオエンコーダ（５０３）に組み込まれた（ローカル）デコーダ（５３３）と、を含むことができる。デコーダ（５３３）は、（リモート）デコーダも作成するのと同様の方法でサンプルデータを作成するためにシンボルを再構築する（開示された主題で考慮されるビデオ圧縮技術では、シンボルとコーディング済ビデオビットストリームとの間の任意の圧縮が可逆的であるため）。再構築されたサンプルストリーム（サンプルデータ）は、参照画像メモリ（５３４）に入力される。シンボルストリームのデコーディングにより、デコーダの場所（ローカルまたはリモート）に関係なくビットが正確な結果が得られるので、参照画像メモリ（５３４）の内容もローカルエンコーダとリモートエンコーダとの間でビットが正確である。言い換えると、エンコーダの予測部分は、デコーディング中に予測を使用する場合にデコーダが「見る」であろうものとまったく同じサンプル値を参照画像サンプルとして「見る」。参照画像同期性のこの基本原理（および、例えばチャネルエラーのために同期性が維持できない場合に生じるドリフト）は、いくつかの関連技術においても使用される。
【0047】
「ローカル」デコーダ（５３３）の動作は、図４に関連して既に詳細に説明したビデオデコーダ（４１０）などの「リモート」デコーダの動作と同じであり得る。しかしながら、図４も簡単に参照すると、シンボルが利用可能であり、エントロピーコーダ（５４５）およびパーサー（４２０）によるコーディング済ビデオシーケンスへのシンボルのエンコーディング／デコーディングは可逆であり得るため、バッファメモリ（４１５）を含むビデオデコーダ（４１０）のエントロピーデコーディング部分、およびパーサー（４２０）は、ローカルデコーダ（５３３）に完全に実装されない場合がある。
【0048】
この時点で行うことができる観察は、デコーダに存在するシンタックス解析／エントロピーデコーディング以外の任意のデコーダ技術も、対応するエンコーダに実質的に同一の機能形式で必ず存在している必要があるということである。このため、開示された主題はデコーダ動作に焦点を合わせている。エンコーダ技術の説明は、包括的に説明されたデコーダ技術の逆であるから、省略することができる。特定の領域でのみ、より詳細な説明が必要であり、以下に提供される。
【0049】
動作中、いくつかの例では、ソースコーダ（５３０）は、「参照画像」として指定されたビデオシーケンスからの１つまたは複数の以前にコーディング済の画像を参照して入力ピクチャを予測的にコーディングする動き補償予測コーディングを実行することができる。このようにして、コーディングエンジン（５３２）は、入力画像のピクセルブロックと、入力画像に対する予測参照として選択され得る参照画像のピクセルブロックとの間の差をコーディングする。
【0050】
ローカルビデオデコーダ（５３３）は、ソースコーダ（５３０）によって作成されたシンボルに基づいて、参照画像として指定され得る画像のコーディング済ビデオデータをデコーディングすることができる。コーディングエンジン（５３２）の動作は、有利には、損失のあるプロセスであってもよい。コーディング済ビデオデータがビデオデコーダ（図５には示されていない）でデコーディングされ得る場合、再構築されたビデオシーケンスは、通常、いくつかの誤差を伴うソースビデオシーケンスのレプリカであり得る。ローカルビデオデコーダ（５３３）は、参照画像に対してビデオデコーダによって実行され得るデコーディングプロセスを複製し、再構築された参照画像を参照画像キャッシュ（５３４）に格納させることができる。このようにして、ビデオエンコーダ（５０３）は、遠端ビデオデコーダによって得られる（送信エラーがない）再構築参照画像として共通のコンテンツを有する再構築参照画像のコピーをローカルに格納することができる。
【0051】
予測器（５３５）は、コーディングエンジン（５３２）の予測検索を実行することができる。すなわち、コーディングされる新しい画像について、予測器（５３５）は、（候補参照ピクセルブロックとしての）サンプルデータまたは参照画像の動きベクトル、ブロック形状などの特定のメタデータについて参照画像メモリ（５３４）を検索することができ、それは新しい画像の適切な予測参照として機能することができる。予測器（５３５）は、適切な予測参照を見つけるために、サンプルブロックバイピクセルブロックに基づいて動作することができる。場合によっては、予測器（５３５）によって得られた検索結果によって決定されるように、入力画像は、参照画像メモリ（５３４）に格納された多数の参照画像から引き出された予測参照を有してもよい。
【0052】
コントローラ（５５０）は、例えば、ビデオデータをコード化するために使用されるパラメータおよびサブグループパラメータの設定を含む、ソースコーダ（５３０）のコーディング動作を管理することができる。
【0053】
前述のすべての機能ユニットの出力は、エントロピーコーダ（５４５）でエントロピーコーディングを受けることができる。エントロピーコーダ（５４５）は、ハフマンコーディング、可変長コーディング、算術コーディングなどの技術に従ってシンボルを無損失圧縮することにより、様々な機能ユニットによって生成されたシンボルをコーディング済ビデオシーケンスに変換する。
【0054】
送信機（５４０）は、エントロピーコーダ（５４５）によって作成されたコーディング済ビデオシーケンスをバッファリングして、通信チャネル（５６０）を介して送信の準備をすることができ、通信チャネル（５６０）は、エンコード済ビデオデータを格納するであろう記憶装置へのハードウェア／ソフトウェアリンクであり得る。送信機（５４０）は、ビデオコーダ（５０３）からのコーディング済ビデオデータを、送信される他のデータ、例えばコーディング済オーディオデータおよび／または補助データストリーム（ソースは図示せず）とマージすることができる。
【0055】
コントローラ（５５０）は、ビデオエンコーダ（５０３）の動作を管理することができる。コーディング中に、コントローラ（５５０）は、各コーディング済画像に特定のコーディング済画像タイプを割り当てることができ、これは、それぞれの画像に適用され得るコーディング技法に影響を及ぼすことができる。例えば、多くの場合、画像は次の画像タイプの１つとして割り当てられ得る。
【0056】
イントラ画像（Ｉ画像）は、シーケンス内のいかなる他の画像も予測のソースとして使用せずにコーディングおよびデコーディングされ得るものであり得る。いくつかのビデオコーデックは、例えば、独立デコーダリフレッシュ（「ＩＤＲ」）画像を含む異なるタイプのイントラ画像を可能にする。当業者は、Ｉ画像のそれらの変形およびそれらのそれぞれの用途および特徴を知っている。
【0057】
予測画像（Ｐ画像）は、各ブロックのサンプル値を予測するために最大で１つの動きベクトルおよび参照インデックスを使用するイントラ予測またはインター予測を使用してコーディングおよびデコーディングされ得るものであり得る。
【0058】
双方向予測画像（Ｂ画像）は、各ブロックのサンプル値を予測するために最大で２つの動きベクトルおよび参照インデックスを使用するイントラ予測またはインター予測を使用してコーディングおよびデコーディングされ得るものであり得る。同様に、多数の予測画像は、単一のブロックの再構築に３つ以上の参照画像と関連メタデータを使用することができる。
【0059】
ソース画像は、通常、空間的に複数のサンプルブロック（例えば、それぞれ４×４、８×８、４×８、または１６×１６サンプルのブロック）に分割され、ブロックごとにコーディングされる。ブロックは、ブロックのそれぞれの画像に適用されたコーディング割り当てによって決定されるように、他の（既にコーディング済）ブロックを参照して予測的にコーディングされ得る。例えば、Ｉ画像のブロックは非予測的にコーディングされてもよく、またはそれらは同じ画像の既にコーディング済のブロック（空間予測またはイントラ予測）を参照して予測的にコーディングされてもよい。Ｐ画像のピクセルブロックは、空間的予測を介して、または以前にコーディング済の１つの参照画像を参照する時間的予測を介して、予測的にコーディングされ得る。Ｂ画像のブロックは、空間的予測を介して、または以前にコーディング済の１つまたは２つの参照画像を参照する時間的予測を介して、予測的にコーディングされ得る。
【0060】
ビデオエンコーダ（５０３）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５などの所定のビデオコーディング技術または標準規格に従ってコーディング動作を実行することができる。その動作では、ビデオエンコーダ（５０３）は、様々な圧縮動作を実行することができ、それは入力ビデオシーケンスにおける時間的および空間的冗長性を活用する予測コーディング動作を含む。したがって、コーディング済ビデオデータは、使用されているビデオコーディング技術または標準規格で指定されたシンタックスに準拠することができる。
【0061】
一実施形態では、送信機（５４０）は、エンコード済ビデオと共に追加のデータを送信することができる。ソースコーダ（５３０）は、コーディング済ビデオシーケンスの一部としてそのようなデータを含むことができる。追加のデータは、時間／空間／ＳＮＲ拡張レイヤ、冗長画像およびスライスなどの他の形態の冗長データ、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメントなどを含むことができる。
【0062】
ビデオは、複数のソース画像（ビデオ画像）として時系列に撮像されてもよい。画像内予測（しばしばイントラ予測と略される）は、所与の画像における空間相関を利用し、画像間予測は、画像間の（時間的または他の）相関を利用する。一例では、現在の画像と呼ばれる、コーディング／デコーディング中の特定の画像がブロックに分割される。現在の画像内のブロックがビデオ内の以前にコーディングされてまだバッファされている参照画像内の参照ブロックに類似しているとき、現在の画像内のブロックは、動きベクトルと呼ばれるベクトルによってコーディングすることができる。動きベクトルは、参照画像内の参照ブロックを指し、複数の参照画像が使用されている場合、参照画像を識別する第３の次元を有することができる。
【0063】
いくつかの実施形態では、画像間予測に双予測技術を使用することができる。双予測技術によれば、第１の参照画像および第２の参照画像などの２つの参照画像が使用され、これらは両方ともビデオ内の現在の画像のデコーディング順より前にある（しかし、表示順序は、それぞれ過去および未来のものであってもよい）。現在の画像内のブロックは、第１の参照画像内の第１の参照ブロックを指す第１の動きベクトル、および第２の参照画像内の第２の参照ブロックを指す第２の動きベクトルによってコーディングすることができる。ブロックは、第１の参照ブロックと第２の参照ブロックとの組み合わせによって予測することができる。
【0064】
さらに、コーディング効率を改善するために、画像間予測にマージモード技術を使用することができる。
【0065】
本開示のいくつかの実施形態によれば、画像間予測および画像内予測などの予測は、ブロック単位で実行される。例えば、ＨＥＶＣ標準規格によれば、ビデオ画像のシーケンス内の画像は、圧縮のためにコーディングツリーユニット（ＣＴＵ）に分割され、画像内のＣＴＵは、６４×６４ピクセル、３２×３２ピクセル、または１６×１６ピクセルなどの同じサイズを有する。一般に、ＣＴＵは、１つの輝度ＣＴＢおよび２つの彩度ＣＴＢである３つのコーディングツリーブロック（ＣＴＢ）を含む。各ＣＴＵは、１つまたは複数のコーディングユニット（ＣＵ）に再帰的に四分木分割することができる。例えば、６４×６４ピクセルのＣＴＵは、６４×６４ピクセルの１つのＣＵ、または３２×３２ピクセルの４つのＣＵ、または１６×１６ピクセルの１６個のＣＵに分割することができる。一例では、各ＣＵは、インター予測タイプまたはイントラ予測タイプなどのＣＵの予測タイプを決定するために解析される。ＣＵは、時間的および／または空間的な予測可能性に応じて、１つまたは複数の予測ユニット（ＰＵ）に分割される。一般に、各ＰＵは、輝度予測ブロック（ＰＢ）と、２つの彩度ＰＢと、を含む。一実施形態では、コーディング（エンコーディング／デコーディング）における予測演算は、予測ブロックの単位で実行される。予測ブロックの例として輝度予測ブロックを使用すると、予測ブロックは、８×８画素、１６×１６画素、８×１６画素、１６×８画素などの画素の値の行列（例えば、輝度値）を含む。
【0066】
図６は、本開示の別の実施形態によるビデオエンコーダ（６０３）の図を示す。ビデオエンコーダ（６０３）は、ビデオ画像のシーケンス内の現在のビデオ画像内のサンプル値の処理ブロック（例えば、予測ブロック）を受信し、処理ブロックを、コーディング済ビデオシーケンスの一部であるコーディング済画像にエンコードするように構成される。一例では、ビデオエンコーダ（６０３）は、図３の例のビデオエンコーダ（３０３）の代わりに使用される。
【0067】
ＨＥＶＣの例では、ビデオエンコーダ（６０３）は、例えば８×８サンプルの予測ブロックのような処理ブロックのためのサンプル値の行列を受信する。ビデオエンコーダ（６０３）は、処理ブロックが、例えばレート歪み最適化を使用して、イントラモード、インターモード、または双予測モードを使用して最良にコーディングされるかどうかを判定する。処理ブロックがイントラモードでコーディングされる場合、ビデオエンコーダ（６０３）は、処理ブロックをコーディング済画像へエンコードするために、イントラ予測技術を使用することができ、処理ブロックがインターモードまたは双予測モードでコーディングされるべきである場合、ビデオエンコーダ（６０３）は、処理ブロックをコーディング済画像にエンコードするために、それぞれインター予測技術または双予測技術を使用することができる。特定のビデオコーディング技術では、マージモードは、予測器の外側のコーディング済の動きベクトル成分の恩恵を受けずに動きベクトルが１つまたは複数の動きベクトル予測器から導出される画像間予測サブモードであり得る。特定の他のビデオコーディング技術では、対象ブロックに適用可能な動きベクトル成分が存在することができる。一例では、ビデオエンコーダ（６０３）は、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）などの他の構成要素を含む。
【0068】
図６の例では、ビデオエンコーダ（６０３）は、図６に示すように互いに結合されたインターエンコーダ（６３０）、イントラエンコーダ（６２２）、残差計算器（６２３）、スイッチ（６２６）、残差エンコーダ（６２４）、汎用コントローラ（６２１）、およびエントロピーエンコーダ（６２５）を含む。
【0069】
インターエンコーダ（６３０）は、現在のブロック（例えば、処理ブロック）のサンプルを受信し、そのブロックを参照画像（例えば、前の画像および後の画像内のブロック）内の１つまたは複数の参照ブロックと比較し、インター予測情報（例えば、インターコーディング技術、動きベクトル、マージモード情報による冗長情報の記述）を生成し、任意の適切な技術を使用してインター予測情報に基づいてインター予測結果（例えば、予測ブロック）を計算するように構成される。いくつかの例では、参照画像は、エンコード済ビデオ情報に基づいてデコードされたデコーディング済参照画像である。
【0070】
イントラエンコーダ（６２２）は、現在のブロック（例えば、処理ブロック）のサンプルを受信し、場合によっては、ブロックを同じ画像内で既にコーディング済のブロックと比較し、変換後に量子化係数を生成し、場合によってはイントラ予測情報（例えば、１つまたは複数のイントラコーディング技術によるイントラ予測方向情報）も生成するように構成される。一例では、イントラエンコーダ（６２２）は、イントラ予測情報と、同一画像内の参照ブロックとに基づいて、イントラ予測結果（例えば、予測ブロック）を算出する。
【0071】
汎用コントローラ（６２１）は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ（６０３）の他の構成要素を制御するように構成される。一例では、汎用コントローラ（６２１）は、ブロックのモードを決定し、モードに基づいてスイッチ（６２６）に制御信号を提供する。例えば、汎用コントローラ（６２１）は、モードがイントラモードである場合、残差計算器（６２３）が用いるイントラモード結果を選択するようにスイッチ（６２６）を制御し、イントラ予測情報を選択してビットストリームに含めるようにエントロピーエンコーダ（６２５）を制御し、汎用コントローラ（６２１）は、モードがインターモードである場合、残差計算器（６２３）で用いるインター予測結果を選択するようにスイッチ（６２６）を制御すると共に、インター予測情報を選択してビットストリームに含めるようにエントロピーエンコーダ（６２５）を制御する。
【0072】
残差計算器（６２３）は、受信されたブロックと、イントラエンコーダ（６２２）またはインターエンコーダ（６３０）から選択された予測結果と、の差分（残差データ）を算出するように構成される。残差エンコーダ（６２４）は、変換係数を生成するために残差データをエンコードするために残差データに基づいて動作するように構成される。一例では、残差エンコーダ（６２４）は、残差データを空間領域から周波数領域に変換し、変換係数を生成するように構成される。変換係数はその後に、量子化された変換係数を得るために量子化処理を受ける。様々な実施形態において、ビデオエンコーダ（６０３）はまた、残差デコーダ（６２８）を含む。残差デコーダ（６２８）は、逆変換を実行し、デコード済残差データを生成するように構成される。デコード済残差データは、イントラエンコーダ（６２２）およびインターエンコーダ（６３０）において好適に用いることができる。例えば、インターエンコーダ（６３０）は、デコード済残差データとインター予測情報とに基づいてデコード済ブロックを生成し、イントラエンコーダ（６２２）は、デコード済残差データとイントラ予測情報とに基づいてデコード済ブロックを生成することができる。いくつかの例では、デコード済ブロックは、デコード済画像を生成するために適切に処理され、デコード済画像は、メモリ回路（図示せず）にバッファされ、参照画像として使用され得る。
【0073】
エントロピーエンコーダ（６２５）は、エンコード済ブロックを含むようにビットストリームをフォーマットするように構成される。エントロピーエンコーダ（６２５）は、ＨＥＶＣ標準規格などの適切な標準規格に従って様々な情報を含むように構成される。一例では、エントロピーエンコーダ（６２５）は、一般制御データ、選択された予測情報（例えば、イントラ予測情報またはインター予測情報）、残差情報、および他の適切な情報をビットストリームに含めるように構成される。開示された主題によれば、インターモードまたは双予測モードのいずれかのマージサブモードでブロックをコーディングする場合、残差情報は存在しないことに留意されたい。
【0074】
図７は、本開示の別の実施形態によるビデオデコーダ（７１０）の図を示す。ビデオデコーダ（７１０）は、コーディング済ビデオシーケンスの一部であるコーディング済画像を受信し、コーディング済画像をデコードして再構築された画像を生成するように構成される。一例では、ビデオデコーダ（７１０）は、図３の例のビデオデコーダ（３１０）の代わりに使用される。
【0075】
図７の例では、ビデオデコーダ（７１０）は、図７に示すように互いに結合されたエントロピーデコーダ（７７１）、インターデコーダ（７８０）、残差デコーダ（７７３）、再構築モジュール（７７４）、およびイントラデコーダ（７７２）を含む。
【0076】
エントロピーデコーダ（７７１）は、コーディング済画像から、コーディング済画像が構成されるシンタックス要素を表す特定のシンボルを再構築するように構成され得る。そのようなシンボルは、例えば、ブロックがコーディングされるモード（例えば、イントラモード、インターモード、双予測モードなどであり、後者の２つはマージサブモードまたは別のサブモードである）、イントラデコーダ（７７２）またはインターデコーダ（７８０）によってそれぞれ予測に使用される特定のサンプルまたはメタデータを識別することができる予測情報（例えば、イントラ予測情報またはインター予測情報など）、ならびに、例えば量子化変換係数の形式の残差情報などを含むことができる。一例では、予測モードがインター予測モードまたは双予測モードである場合、インター予測情報はインターデコーダ（７８０）に提供され、予測タイプがイントラ予測タイプである場合、イントラ予測情報がイントラデコーダ（７７２）に提供される。残差情報は逆量子化を受けることができ、残差デコーダ（７７３）に提供される。
【0077】
インターデコーダ（７８０）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。
【0078】
イントラデコーダ（７７２）は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。
【0079】
残差デコーダ（７７３）は、逆量子化を実行して逆量子化された変換係数を抽出し、逆量子化された変換係数を処理して残差を周波数領域から空間領域に変換するように構成される。残差デコーダ（７７３）はまた、（量子化器パラメータ（ＱＰ）を含むために）特定の制御情報を必要とする場合があり、その情報はエントロピーデコーダ（７７１）によって提供される場合がある（これとして示されていないデータ経路は、低ボリューム制御情報のみであり得る）。
【0080】
再構築モジュール（７７４）は、空間領域において、残差デコーダ（７７３）による出力としての残差と（場合によってはインターまたはイントラ予測モジュールによる出力としての）予測結果とを組み合わせて、再構築画像の一部であり得る再構築されたブロックを形成するように構成され、再構築されたブロックは再構築されたビデオの一部であり得る。視覚的品質を改善するために、デブロッキング操作などの他の適切な操作を実行することができることに留意されたい。
【0081】
ビデオエンコーダ（３０３）、（５０３）、および（６０３）、ならびにビデオデコーダ（３１０）、（４１０）、および（７１０）は、任意の適切な技術を使用して実装することができることに留意されたい。一実施形態では、ビデオエンコーダ（３０３）、（５０３）、および（６０３）、ならびにビデオデコーダ（３１０）、（４１０）、および（７１０）は、１つまたは複数の集積回路を使用して実装することができる。別の実施形態では、ビデオエンコーダ（３０３）、（５０３）、および（５０３）、ならびにビデオデコーダ（３１０）、（４１０）、および（７１０）は、ソフトウェア命令を実行する１つまたは複数のプロセッサを使用して実装することができる。
【0082】
ＩＩ．変換コーディング技術および関連技術
１．ＤＣＴ－２一次変換の例
いくつかの実施形態では、４ポイント、８ポイント、１６ポイントおよび３２ポイントのＤＣＴ－２変換が一次変換として使用される。図８Ａ～図８Ｄは、それぞれ４ポイント、８ポイント、１６ポイント、および３２ポイントのＤＣＴ－２の変換コア行列を示す。これらの変換コア行列の要素は８ビット整数を使用して表すことができ、したがって、これらの変換コア行列は８ビット変換コアと呼ばれる。図示するように、より小さいＤＣＴ－２の変換コア行列は、より大きいＤＣＴ－２の変換コア行列の一部である。
１．ＤＣＴ－２一次変換の例
いくつかの実施形態では、４ポイント、８ポイント、１６ポイントおよび３２ポイントのＤＣＴ－２変換が一次変換として使用される。図８Ａ～図８Ｄは、それぞれ４ポイント、８ポイント、１６ポイント、および３２ポイントのＤＣＴ－２の変換コア行列を示す。これらの変換コア行列の要素は８ビット整数を使用して表すことができ、したがって、これらの変換コア行列は８ビット変換コアと呼ばれる。図示するように、より小さいＤＣＴ－２の変換コア行列は、より大きいＤＣＴ－２の変換コア行列の一部である。
【0083】
ＤＣＴ－２コア行列は対称性／逆対称性特性を示す。したがって、演算カウント数（乗算、加算／減算、シフト）を減らすために、いわゆる「部分的なバタフライ」実装をサポートすることができる。部分的なバタフライ実装を使用すると、部分的なバタフライ実装を使用しない場合と比較して、行列乗算の同一の結果を得ることができる。
【0084】
２．サブブロック変換コーディングの例
２．１サブブロック変換（ＳＢＴ）
いくつかの実施形態では、空間変動変換（ＳＶＴ）とも呼ばれるサブブロック変換（ＳＢＴ）が使用される。いくつかの実施形態では、ＳＢＴはインター予測残差に適用される。例えば、コーディングブロックはサブブロックに分割することができ、サブブロックの一部のみが残差ブロックで処理される。サブブロックの残りの部分についてはゼロ残差が想定される。したがって、残差ブロックはコーディングブロックよりも小さく、ＳＢＴにおける変換サイズはコーディングブロックサイズよりも小さい。残差ブロックでカバーされていない領域については、変換処理は行われない。
２．１サブブロック変換（ＳＢＴ）
いくつかの実施形態では、空間変動変換（ＳＶＴ）とも呼ばれるサブブロック変換（ＳＢＴ）が使用される。いくつかの実施形態では、ＳＢＴはインター予測残差に適用される。例えば、コーディングブロックはサブブロックに分割することができ、サブブロックの一部のみが残差ブロックで処理される。サブブロックの残りの部分についてはゼロ残差が想定される。したがって、残差ブロックはコーディングブロックよりも小さく、ＳＢＴにおける変換サイズはコーディングブロックサイズよりも小さい。残差ブロックでカバーされていない領域については、変換処理は行われない。
【0085】
図９Ａ～図９Ｄは、ＳＢＴでサポートされるサブブロックタイプ（ＳＶＴ－Ｈ、ＳＶＴ－Ｖ）（例えば、垂直または水平に分割されている）、サイズ、および位置（例えば、左半分、左１／４、右半分、右１／４、上半分、上１／４、下半分、下１／４）を示す。文字「Ａ」でラベル付けされた網掛け領域は、変換コーディングされる残差ブロックであり、他の領域は、変換なしのゼロ残差であると仮定される。
【0086】
２．２．イントラサブパーティション（ＩＳＰ）コーディングモード
いくつかの実施形態では、イントラサブパーティション（ＩＳＰ）コーディングモードが使用される。ＩＳＰコーディングモードでは、輝度イントラ予測ブロックは、２つまたは４つのサブパーティションに垂直または水平に分割することができる。サブパーティションの数は、ブロックのサイズに依存することができる。図１０は、ブロックサイズに応じたサブパーティションの数を示す。図１１は、ブロックが２つのサブパーティションに分割されるシナリオを示す。図１２は、ブロックが４つのサブパーティションに分割されるシナリオを示す。一例では、すべてのサブパーティションは、少なくとも１６個のサンプルを有するという条件を満たす。一例では、ＩＳＰは彩度成分に適用されない。
いくつかの実施形態では、イントラサブパーティション（ＩＳＰ）コーディングモードが使用される。ＩＳＰコーディングモードでは、輝度イントラ予測ブロックは、２つまたは４つのサブパーティションに垂直または水平に分割することができる。サブパーティションの数は、ブロックのサイズに依存することができる。図１０は、ブロックサイズに応じたサブパーティションの数を示す。図１１は、ブロックが２つのサブパーティションに分割されるシナリオを示す。図１２は、ブロックが４つのサブパーティションに分割されるシナリオを示す。一例では、すべてのサブパーティションは、少なくとも１６個のサンプルを有するという条件を満たす。一例では、ＩＳＰは彩度成分に適用されない。
【0087】
一例では、コーディングブロックから分割されたサブパーティションの各々について、エンコーダから送信されたそれぞれの係数をエントロピーデコーディングし、次いでそれらを逆量子化および逆変換することによって残差信号が生成される。次に、サブパーティションのうちの第１のサブパーティションがイントラ予測されて予測信号を生成する。予測信号は、対応する再構築されたサンプルを取得するために、第１のサブパーティションのそれぞれの残差信号に加算される。その後に、第１のサブパーティションの再構築されたサンプル値は、サブパーティションのうちの第２のものの予測を生成するために利用可能であり得る。このプロセスは、コーディングブロックからのすべてのサブパーティションが再構築されるまで、サブパーティションごとに繰り返すことができる。一例では、すべてのサブパーティションが同じイントラモードを共有する。
【0088】
一実施形態では、ＩＳＰコーディングモードは、最も可能性の高いモード（ＭＰＭ）リストの一部であるイントラモードでのみテストされる。したがって、ブロックがＩＳＰを使用する場合、ＭＰＭフラグは１であると推測することができる。加えて、ＩＳＰが特定のブロックに使用されるとき、ＤＣモードを除外し、ＩＳＰの水平分割のための水平イントラモードおよび垂直のための垂直イントラモードを優先するために、それぞれのＭＰＭリストが修正される。
【0089】
ＩＳＰコーディングモードでは、変換および再構築はサブパーティションごとに個別に実行されるため、各サブパーティションはサブＴＵと見なすことができる。
【0090】
３．拡張されたＤＣＴ－２変換および多重変換選択（ＭＴＳ）を用いた変換コーディング
いくつかの実施形態では、コーディングブロックの高さおよび幅の両方が６４サンプル以下である場合、変換サイズは常にコーディングブロックサイズと同じである。コーディングブロックの高さまたは幅のいずれかが６４サンプルより大きい場合、変換またはイントラ予測を実行するとき、コーディングブロックは複数のサブブロックにさらに分割され、各サブブロックの幅および高さは６４以下であり、各サブブロックに対して変換処理が実行される。
いくつかの実施形態では、コーディングブロックの高さおよび幅の両方が６４サンプル以下である場合、変換サイズは常にコーディングブロックサイズと同じである。コーディングブロックの高さまたは幅のいずれかが６４サンプルより大きい場合、変換またはイントラ予測を実行するとき、コーディングブロックは複数のサブブロックにさらに分割され、各サブブロックの幅および高さは６４以下であり、各サブブロックに対して変換処理が実行される。
【0091】
３．１拡張されたＤＣＴ－２変換を用いた変換コーディング
いくつかの実施形態では、上述の４ポイント、８ポイント、１６ポイントおよび３２ポイントのＤＣＴ－２変換に加えて、２ポイントおよび６４ポイントのＤＣＴ－２変換を使用することができる。図１３Ａ～図１３Ｅは、６４ポイントのＤＣＴ－２変換の６４×６４変換コア行列を示す。
いくつかの実施形態では、上述の４ポイント、８ポイント、１６ポイントおよび３２ポイントのＤＣＴ－２変換に加えて、２ポイントおよび６４ポイントのＤＣＴ－２変換を使用することができる。図１３Ａ～図１３Ｅは、６４ポイントのＤＣＴ－２変換の６４×６４変換コア行列を示す。
【0092】
３．２明示的にシグナリングされた変換
いくつかの実施形態では、ＤＣＴ－２および４×４ ＤＳＴ－７変換コーディングに加えて、多重変換選択（ＭＴＳ）（拡張多重変換（ＥＭＴ）、または適応多重変換（ＡＭＴ）としても知られている）を、インターコーディング済ブロックおよびイントラコーディング済ブロックの両方の残差コーディングに使用することができる。ＭＴＳは、ＤＣＴ－２および４×４ ＤＳＴ－７変換以外の離散コサイン変換（ＤＣＴ）／離散サイン変換（ＤＳＴ）ファミリからの複数の選択された変換を使用する。選択は、エンコーダで実行され、エンコーダからデコーダに明示的にシグナリングされ得る。例えば、選択された変換は、ＤＳＴ－７またはＤＣＴ－８変換を含むことができる。図１４は、ＤＳＴ／ＤＣＴ変換の変換基底関数を示す。いくつかの実施形態では、ＭＴＳで使用されるＤＳＴ／ＤＣＴ変換コア行列は、８ビット表現で表される。
いくつかの実施形態では、ＤＣＴ－２および４×４ ＤＳＴ－７変換コーディングに加えて、多重変換選択（ＭＴＳ）（拡張多重変換（ＥＭＴ）、または適応多重変換（ＡＭＴ）としても知られている）を、インターコーディング済ブロックおよびイントラコーディング済ブロックの両方の残差コーディングに使用することができる。ＭＴＳは、ＤＣＴ－２および４×４ ＤＳＴ－７変換以外の離散コサイン変換（ＤＣＴ）／離散サイン変換（ＤＳＴ）ファミリからの複数の選択された変換を使用する。選択は、エンコーダで実行され、エンコーダからデコーダに明示的にシグナリングされ得る。例えば、選択された変換は、ＤＳＴ－７またはＤＣＴ－８変換を含むことができる。図１４は、ＤＳＴ／ＤＣＴ変換の変換基底関数を示す。いくつかの実施形態では、ＭＴＳで使用されるＤＳＴ／ＤＣＴ変換コア行列は、８ビット表現で表される。
【0093】
いくつかの実施形態では、ＭＴＳは、３２サンプル以下の幅および高さの両方を有するＣＵに適用することができる。ＭＴＳを適用するか否かは、ｍｔｓ＿ｆｌａｇで表されるフラグによって制御することができる。例えば、ｍｔｓ＿ｆｌａｇが０に等しい場合、ＤＣＴ－２のみが残差ブロックのコーディングに適用される。ＭＴＳが適用されることを示すｍｔｓ＿ｆｌａｇが１に等しい場合、選択された変換を使用することができる。例えば、使用される水平および垂直変換を指定するために２つのビンを使用して、ｍｔｓ＿ｉｄｘによって示されるインデックスをさらにシグナリングすることができる。
【0094】
図１５は、ｍｔｓ＿ｉｄｘ値とそれぞれの水平または垂直変換との間のマッピング関係を示す表（１５００）を示す。ｍｔｓ＿ｉｄｘの値が－１である行（１３０１）は、ｍｔｓ＿ｆｌａｇが０である（ＭＴＳが適用されていないことを示す）シナリオに対応し、ＤＣＴ－２変換が使用される。０、１、２、または３の値を有するｍｔｓ＿ｉｄｘを有する行（１３０２）～（１３０５）は、ｍｔｓ＿ｆｌａｇが１に等しい（ＭＴＳが適用されることを示す）シナリオに対応する。表（１５００）の右側の２列において、０はＤＣＴ－２の変換タイプを表し、１はＤＳＴ－７の変換タイプを表し、２はＤＣＴ－８の変換タイプを表す。
【0095】
【0096】
いくつかの実施形態では、ＭＴＳは、高レベルシンタックス（ＨＬＳ）要素を使用してイネーブルまたはディスエーブルにすることができる。各ＨＬＳ要素は、ビデオパラメータセット（ＶＰＳ）シンタックス要素、シーケンスパラメータセット（ＳＰＳ）シンタックス要素、画像パラメータセット（ＰＰＳ）シンタックス要素、スライスヘッダシンタックス要素、タイルヘッダシンタックス要素、またはタイルグループヘッダシンタックス要素などであり得る。図１８は、ＳＰＳシンタックス要素を使用してＭＴＳの使用を制御する例を示す。図示するように、ＳＰＳシンタックス要素ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ビデオシーケンスに対してＭＴＳがイネーブルであるかどうかを示すためにシグナリングすることができる。ＭＴＳがイネーブルになると、２つのシンタックス要素、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇおよびｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇがシグナリングされて、それぞれ、ＭＴＳがインター予測ブロックまたはイントラ予測ブロックをコーディングするためにイネーブルであるかどうかを示すことができる。
【0097】
一実施形態では、上記のシグナリングベースのＭＴＳ（明示的ＭＴＳと呼ばれる）が使用されない場合には、暗黙的なＭＴＳが適用される。暗黙的なＭＴＳでは、シグナリングに基づく代わりに、ブロック幅および高さに従って変換選択を行うことができる。例えば、暗黙的なＭＴＳを用いて、変換ブロックの短い側に対してＤＳＴ－７変換を選択することができ、変換ブロックの長い側に対してＤＣＴ－２変換を選択することができる。
【0098】
３．３暗黙的な変換選択が適用されるシナリオ
様々な実施形態において、特定のシナリオでは、ＤＳＴ－７および／またはＤＣＴ－８は、明示的にシグナリングされることなく使用することができる。例えば、ＤＳＴ－７および／またはＤＣＴ－８は、エンコーダおよび対応するデコーダの両方に利用可能な情報に基づいて暗黙的に使用することができる。これらのシナリオは以下を含む。
様々な実施形態において、特定のシナリオでは、ＤＳＴ－７および／またはＤＣＴ－８は、明示的にシグナリングされることなく使用することができる。例えば、ＤＳＴ－７および／またはＤＣＴ－８は、エンコーダおよび対応するデコーダの両方に利用可能な情報に基づいて暗黙的に使用することができる。これらのシナリオは以下を含む。
【0099】
３．３．１イントラサブパーティショニング（ＩＳＰ）
ＩＳＰモードでコーディングされた残差ブロックの場合、残差ブロックのブロック幅が４以上１６以下である限り、水平変換がＤＳＴ－７として選択され、残差ブロックのブロック高さが４以上１６以下である限り、垂直変換がＤＳＴ－７として選択される。
ＩＳＰモードでコーディングされた残差ブロックの場合、残差ブロックのブロック幅が４以上１６以下である限り、水平変換がＤＳＴ－７として選択され、残差ブロックのブロック高さが４以上１６以下である限り、垂直変換がＤＳＴ－７として選択される。
【0100】
３．３．２サブブロック変換（ＳＢＴ）
ＳＢＴモードの場合、現在のＣＵの左半分（または４分の１）または右半分（または４分の１）に位置するサブＴＵについて、水平変換は、それぞれＤＣＴ－８またはＤＳＴ－７とすることができる。そうでなければ（サブＴＵは現在のＣＵと同じ幅を有する）、ＤＣＴ－２を使用することができる。現在のＣＵの上半分（または４分の１）または下半分（または４分の１）に位置するサブＴＵについて、垂直変換は、それぞれＤＣＴ－８またはＤＳＴ－７とすることができる。そうでなければ（サブＴＵは現在のＣＵと同じ高さを有する）、ＤＣＴ－２を使用することができる。
ＳＢＴモードの場合、現在のＣＵの左半分（または４分の１）または右半分（または４分の１）に位置するサブＴＵについて、水平変換は、それぞれＤＣＴ－８またはＤＳＴ－７とすることができる。そうでなければ（サブＴＵは現在のＣＵと同じ幅を有する）、ＤＣＴ－２を使用することができる。現在のＣＵの上半分（または４分の１）または下半分（または４分の１）に位置するサブＴＵについて、垂直変換は、それぞれＤＣＴ－８またはＤＳＴ－７とすることができる。そうでなければ（サブＴＵは現在のＣＵと同じ高さを有する）、ＤＣＴ－２を使用することができる。
【0101】
３．３．３ ＨＬＳ要素によってディスエーブルされるＭＴＳ
例えば、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇがｔｒｕｅとしてシグナリングされるが、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇとｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇの両方が偽としてシグナリングされる場合、イントラ予測残差については、それぞれのブロック幅が４以上１６以下であれば水平変換をＤＳＴ－７として選択することができ、それぞれのブロック高さが４以上１６以下であれば垂直変換をＤＳＴ－７として選択することができる。
例えば、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇがｔｒｕｅとしてシグナリングされるが、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇとｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇの両方が偽としてシグナリングされる場合、イントラ予測残差については、それぞれのブロック幅が４以上１６以下であれば水平変換をＤＳＴ－７として選択することができ、それぞれのブロック高さが４以上１６以下であれば垂直変換をＤＳＴ－７として選択することができる。
【0102】
４．非分離二次変換（ＮＳＳＴ）
４．１ ＮＳＳＴの初期設計
いくつかの実施形態では、（エンコーダにおける）順方向コア変換と量子化との間、および（対応するデコーダにおける）逆量子化と逆コア変換との間に、モード依存の非分離二次変換（ＮＳＳＴ）を適用することができる。低複雑度を維持するために、いくつかの実施形態では、ＮＳＳＴは、一次変換後の低周波数係数にのみ適用することができる。変換係数ブロックの幅（Ｗ）および高さ（Ｈ）の両方が８以上である場合には、８×８の非分離二次変換を変換係数ブロックの左上の８×８の領域に適用することができる。そうではなく、変換係数ブロックのＷまたはＨのいずれかが４に等しい場合には、４×４の非分離二次変換を適用することができ、４×４の非分離二次変換は、変換係数ブロックの左上のｍｉｎ（８，Ｗ）×ｍｉｎ（８，Ｈ）領域に対して実行される。上記の変換選択規則は、輝度成分と彩度成分の両方に適用される。
４．１ ＮＳＳＴの初期設計
いくつかの実施形態では、（エンコーダにおける）順方向コア変換と量子化との間、および（対応するデコーダにおける）逆量子化と逆コア変換との間に、モード依存の非分離二次変換（ＮＳＳＴ）を適用することができる。低複雑度を維持するために、いくつかの実施形態では、ＮＳＳＴは、一次変換後の低周波数係数にのみ適用することができる。変換係数ブロックの幅（Ｗ）および高さ（Ｈ）の両方が８以上である場合には、８×８の非分離二次変換を変換係数ブロックの左上の８×８の領域に適用することができる。そうではなく、変換係数ブロックのＷまたはＨのいずれかが４に等しい場合には、４×４の非分離二次変換を適用することができ、４×４の非分離二次変換は、変換係数ブロックの左上のｍｉｎ（８，Ｗ）×ｍｉｎ（８，Ｈ）領域に対して実行される。上記の変換選択規則は、輝度成分と彩度成分の両方に適用される。
【0103】
非分離変換の行列乗算の実装は、例として４×４入力ブロックを使用して以下のように説明される。非分離変換を適用するために、４×４入力ブロックＸ
はベクトル
として表され、
【数1】
【数2】
【数3】
【0104】
非分離変換は次のように計算される。
、ここで、
は変換係数ベクトルを示し、Ｔは１６×１６の変換行列である。１６×１の係数ベクトル
は、その後に、そのブロックのスキャン順序（水平、垂直、または斜め）を使用して４×４のブロックとして再編成される。インデックスが小さい係数は、４×４係数ブロック内のスキャンインデックスが小さい係数に配置される。一例では、非分離変換の複雑さを低減するために、行列乗算の代わりにバタフライ実装を用いたハイパーキューブ変換（ＨｙＧＴ）が使用される。
【数4】
【数5】
【数6】
【0105】
ＮＳＳＴの一例では、４×４および８×８ブロックサイズの両方に対して合計３５×３の非分離二次変換が存在することができ、３５はイントラ予測モードにそれぞれ対応する変換セットの数であり、３は各イントラ予測モードに対するＮＳＳＴ候補の数である。イントラ予測モードから変換セットへのマッピングは、図１９に示す表（１９００）に定義される。例えば、輝度／彩度変換係数に適用される変換セットは、表（１９００）に従って対応する輝度／彩度イントラ予測モードによって指定することができる。３４より大きいイントラ予測モード（例えば、対角予測方向）の場合、変換係数ブロックは、エンコーダ／デコーダにおいて二次変換の前／後に転置される。
【0106】
各変換セットについて、選択された非分離二次変換候補は、明示的にシグナリングされたＣＵレベルのＮＳＳＴインデックスによってさらに指定される。インデックスは、変換係数および切り捨てられた単項２値化が使用された後に、イントラＣＵごとに１回ビットストリームでシグナリングされる。切り捨て値は、平面モードまたはＤＣモードの場合は２であり、角度イントラ予測モードの場合は３である。このＮＳＳＴインデックスは、ＣＵに複数の非ゼロ係数がある場合にのみシグナリングされる。シグナリングされない場合、デフォルト値は０である。このシンタックス要素のゼロ値は、現在のＣＵに二次変換が適用されないことを示し、値１～３は、セットからのどの二次変換が適用されるべきかを示す。
【0107】
ＮＳＳＴは、変換スキップモードでコーディングされたブロックに適用されなくてもよい。ＮＳＳＴインデックスがＣＵに対してシグナリングされ、ゼロに等しくないとき、ＮＳＳＴは、ＣＵ内の変換スキップモードでコーディングされた成分のブロックには使用されない。すべての成分のブロックを有するＣＵが変換スキップモードでコーディングされるか、または非変換スキップモードＣＢの非ゼロ係数の数が２未満である場合、ＮＳＳＴインデックスはＣＵに対してシグナリングされない。
【0108】
４．２縮小サイズ変換（ＲＳＴ）
いくつかの実施形態では、縮小サイズ変換（ＲＳＴ）または低周波非分離二次変換（ＬＦＮＳＴ）と呼ばれるＮＳＳＴの変形が使用される。ＲＳＴは、変換ゼロアウト方式を使用する。イントラ予測モードが平面であるかＤＣであるかは、ＮＳＳＴの変換インデックスをエントロピーコーディングするためにチェックされる。
いくつかの実施形態では、縮小サイズ変換（ＲＳＴ）または低周波非分離二次変換（ＬＦＮＳＴ）と呼ばれるＮＳＳＴの変形が使用される。ＲＳＴは、変換ゼロアウト方式を使用する。イントラ予測モードが平面であるかＤＣであるかは、ＮＳＳＴの変換インデックスをエントロピーコーディングするためにチェックされる。
【0109】
一例では、４つの変換セットが適用され、各変換セットは３つのＲＳＴ変換コアを含む。ＲＳＴ変換コアは、１６×４８（または１６×６４）（高さおよび幅の両方が８以上である変換係数ブロックに適用される）または１６×１６（高さまたは幅のいずれかが４である変換係数ブロックに適用される）のサイズを有することができる。表記の便宜上、１６×４８（または１６×６４）変換はＲＳＴ ８×８として示され、１６×１６変換はＲＳＴ ４×４として示される。
【0110】
ＲＳＴ ８×８の場合、１６×６４変換コアおよび１６×４８変換コアを使用する２つの代替変換コーディングプロセス（２０００）および（２１００）が、それぞれ図２０および図２１に示されている。ＶＶＣ Ｄｒａｆｔ ５では、１６×４８個の変換コアを用いるものが採用されている。
【0111】
図２０の例のプロセス（２０００）では、エンコーダ側で、まず残差ブロックに対して順方向一次変換（２０１０）を実行し、続いて順方向一次変換（２０１０）から生成された係数に対して順方向二次変換（２０１２）を実行することができる。順方向二次変換（２０１２）では、係数ブロック（２０１３）の左上隅の４×４サブブロックＡ／Ｂ／Ｃ／Ｄの６４個の係数が６４個の長さベクトルに表され、式（３）に従って１６×６４の変換行列と掛け合わせることで、１６長さのベクトルを得ることができる。１６の長さベクトル内の要素は、係数ブロック（２０１３）の左上の４×４サブブロックＡに埋め戻される。サブブロックＢ／Ｃ／Ｄ内の係数は、ゼロの値をとることができる。順方向二次変換２０１２の後に得られた係数は、次に（２０１４）のステップで量子化され、ビットストリーム（２０１６）内のコーディング済ビットを生成するためにエントロピーコーディングされる。
【0112】
コーディング済ビットは、デコーダ側で受信され、エントロピーデコーディングされた後に、逆量子化（２０２４）されて係数ブロック（２０２３）を生成することができる。左上の４×４サブブロックＥにおける１６個の係数にわたって逆二次変換（２０２２）を実行して、４×４サブブロックＥ／Ｆ／Ｇ／Ｈに埋め戻される６４個の係数を取得することができる。その後に、逆二次変換（２０２２）後のブロック（２０２３）内の係数は、逆一次変換（２０２０）で処理されて復元された残差ブロックを取得することができる。
【0113】
図２１の例のプロセス（２１００）は、順方向二次変換（２０１２）の間に処理される係数がより少ない（４８）ことを除いて、プロセス（２０００）と同様である。具体的には、サブブロックＡ／Ｂ／Ｃ内の４８個の係数は、１６×４８のサイズのより小さい変換行列で処理される。より小さい変換行列を使用することにより、変換行列を格納するためのメモリサイズ、およびそれぞれの計算の複雑さを低減することができる。
【0114】
図２２は、例示的なＣＵレベルシンタックス表（２２００）を示し、ＣＵレベルシンタックスの最後に、ＬＦＮＳＴカーネルの選択を示すシンタックス要素ｌｆｎｓｔ＿ｉｄｘがシグナリングされる。
【0115】
４．３ ＲＳＴ計算の例
縮小変換（ＲＴ）の主な概念は、Ｎ次元ベクトルを異なる空間内のＲ次元ベクトルにマッピングすることであり、Ｒ／Ｎ（Ｒ＜Ｎ）は縮小係数である。
縮小変換（ＲＴ）の主な概念は、Ｎ次元ベクトルを異なる空間内のＲ次元ベクトルにマッピングすることであり、Ｒ／Ｎ（Ｒ＜Ｎ）は縮小係数である。
【0116】
ＲＳＴ行列は、以下のようなＲ×Ｎ行列である。
ここで、変換のＲ個の行は、Ｎ次元空間のＲ個の基底である。ＲＴの逆変換行列は、その順変換の転置である。
【数7】
【0117】
図２３は、縮小変換のプロセス（２３０１）および縮小逆変換のプロセス（２３０２）を示す。Ｔは、ＲｘＮの次元を有するＲＳＴ変換行列を表し、ＴＴは、ＮｘＲの次元を有するＴの転置行列を表す。
【0118】
ＲＳＴ ８×８では、縮小率４（１／４サイズ）が実現されている。例えば、従来の８×８の非分離変換行列サイズである６４×６４の代わりに、１６×６４の直接行列が使用される。６４×１６の逆ＲＳＴ行列は、８×８の左上領域においてコア（一次）変換係数を生成するためにデコーダ側で使用される。順方向ＲＳＴ ８×８は、所与の８×８領域内の左上の４×４領域においてのみ非ゼロ係数を生成するように、１６×６４（または８×８ブロックの場合は８×６４）個の行列を使用する。言い換えれば、ＲＳＴが適用される場合、左上の４×４領域を除く８×８領域は、ゼロ係数のみを有することになる。ＲＳＴ ４×４の場合、１６×１６（または４×４ブロックの場合は８×１６）の直接行列乗算を適用することができる。
【0119】
加えて、ＲＳＴ ８×８の場合、変換行列サイズをさらに削減するために、二次変換を計算するための入力として残差ブロック（２４１０）の左上の８×８係数（図２４Ａの影付きサブブロック）全体を使用する代わりに、残差ブロック（２４１０）の左上の３つの４×４サブブロック係数（図２４Ｂの影付きサブブロック）が二次変換を計算するための入力として使用される。
【0120】
一例では、以下の２つの条件が満たされる場合、逆ＲＳＴが条件付きで適用される：（ｉ）それぞれのブロックサイズが所与のしきい値以上である（Ｗ＞＝４＆＆Ｈ＞＝４）、および（ｉｉ）変換スキップモードフラグが０に等しい。例えば、変換係数ブロックの幅（Ｗ）および高さ（Ｈ）の両方が４より大きい場合、変換係数ブロックの左上８×８領域にＲＳＴ ８×８が適用される。そうでない場合、ＲＳＴ ４×４は、変換係数ブロックの左上のｍｉｎ（８，Ｗ）×ｍｉｎ（８，Ｈ）領域に適用される。
【0121】
一例では、ＲＳＴインデックスが０に等しいとき、ＲＳＴは適用されない。そうでなければ、ＲＳＴが適用され、ＲＳＴインデックスを用いてカーネルが選択される。一例では、ＲＳＴは、イントラおよびインタースライスの両方におけるイントラＣＵ、ならびに輝度および彩度の両方に適用される。デュアルツリーがイネーブルである場合には、輝度および彩度のＲＳＴインデックスは別々にシグナリングされる。インタースライス（デュアルツリーがディスエーブルである）の場合、単一のＲＳＴインデックスがシグナリングされ、輝度と彩度の両方に使用される。ＩＳＰモードが選択されると、ＲＳＴはディスエーブルにされ、ＲＳＴインデックスはシグナリングされない。
【0122】
４．４ ＲＳＴ変換行列の選択例
一例では、各々が２つの変換からなる４つの変換セットからＲＳＴ行列を選択することができる。どの変換セットを適用するかは、以下のように適用イントラ予測モードに基づいて決定することができる。３つの交差成分線形モデル（ＣＣＬＭ）モードのうちの１つが示されるとき、変換セット０を選択することができる。そうでなければ、変換セット選択は、図２５に示す表（２５００）に従って実行することができる。ＩｎｔｒａＰｒｅｄＭｏｄｅと表記される、表（２５００）にアクセスするためのインデックスは、例えば、広角イントラ予測に用いられる変換後のモードインデックスである［－１４，８３］の範囲とすることができる。
一例では、各々が２つの変換からなる４つの変換セットからＲＳＴ行列を選択することができる。どの変換セットを適用するかは、以下のように適用イントラ予測モードに基づいて決定することができる。３つの交差成分線形モデル（ＣＣＬＭ）モードのうちの１つが示されるとき、変換セット０を選択することができる。そうでなければ、変換セット選択は、図２５に示す表（２５００）に従って実行することができる。ＩｎｔｒａＰｒｅｄＭｏｄｅと表記される、表（２５００）にアクセスするためのインデックスは、例えば、広角イントラ予測に用いられる変換後のモードインデックスである［－１４，８３］の範囲とすることができる。
【0123】
５．行列ベースのイントラ予測（ＭＩＰ）モード
いくつかの実施形態では、行列ベースのイントラ予測（ＭＩＰ）モードが使用される。図２６は、ＭＩＰモードの例示的なプロセス（２６００）を示す。幅Ｗおよび高さＨの矩形ブロック（２６１０）のサンプルを予測するために、ＭＩＰは、ブロック（２６１０）の左にあるＨ個の再構築された隣接する境界サンプルの１つのラインおよびブロック（２６１０）の上にあるＷ個の再構築された隣接する境界サンプルの１つのラインを入力として取得する。再構築されたサンプルが利用できない場合には、再構築されたサンプルは、従来のイントラ予測と同様の方法で生成することができる。
いくつかの実施形態では、行列ベースのイントラ予測（ＭＩＰ）モードが使用される。図２６は、ＭＩＰモードの例示的なプロセス（２６００）を示す。幅Ｗおよび高さＨの矩形ブロック（２６１０）のサンプルを予測するために、ＭＩＰは、ブロック（２６１０）の左にあるＨ個の再構築された隣接する境界サンプルの１つのラインおよびブロック（２６１０）の上にあるＷ個の再構築された隣接する境界サンプルの１つのラインを入力として取得する。再構築されたサンプルが利用できない場合には、再構築されたサンプルは、従来のイントラ予測と同様の方法で生成することができる。
【0124】
予測信号の生成は、以下の（２６０１）～（２６０３）の３つのステップに基づくことができる。ステップ（２６０１）では、境界サンプルのうち、Ｗ＝Ｈ＝４の場合は４つのサンプル、それ以外の場合は８つのサンプルを平均して抽出する。
【0125】
ステップ（２６０２）において、行列ベクトル乗算Ａｋ・ｂｄｒｙｒｅｄ、続いてオフセットｂｋの加算が、平均化されたサンプルｂｄｒｙｒｅｄを入力として実行される。結果は、元のブロック内のサブサンプルされたサンプルのセット（２６２１）上の低減された予測信号である。行列Ａｋおよびオフセットｂｋは、ＭＩＰモードインデックスｋに基づいて選択することができる。
【0126】
ステップ（２６０３）において、残りの位置（２６２２）の予測信号は、各方向の単一ステップ線形補間である線形補間によってサブサンプルされたセット（２６２１）上の予測信号から生成される。
【0127】
予測信号を生成するために必要な行列Ａｋおよびオフセットベクトルｂｋは、行列の３つのセットＳ０，Ｓ１，Ｓ２から取得することができる。集合Ｓ０は、各々が１６行および４列を有する１８個の行列
と、各々がサイズ１６の１８個のオフセットベクトル
と、からなる。そのセットの行列およびオフセットベクトルは、サイズ４×４のブロックに使用される。集合Ｓ１は、各々が１６行および８列を有する１０個の行列
と、各々がサイズ１６の１０個のオフセットベクトル
とからなる。そのセットの行列およびオフセットベクトルは、サイズ４×８、８×４および８×８のブロックに使用される。最後に、集合Ｓ２は、各々が６４行８列を有する６つの行列
と、サイズ６４の６つのオフセットベクトル
とからなる。これらの行列およびオフセットベクトルのセットまたは一部の行列およびオフセットベクトルは、他のすべてのブロック形状に使用される。
【数8】
【数9】
【数10】
【数11】
【数12】
【数13】
【0128】
図示するように、８×８のブロック（２６１０）が与えられると、ＭＩＰは、境界の各軸に沿って４つの平均をとる。結果として得られる８つの入力サンプルは、行列ベクトル乗算に入る。行列は、集合Ｓ１から取得される。これにより、予測ブロックの奇数位置に１６個のサンプル（２６２１）が得られる。したがって、１サンプルあたり合計（８１６）／（８８）＝２回の乗算が行われる。オフセットを追加した後に、これらのサンプルは、縮小された上部境界サンプルを使用して垂直に補間される。水平補間は、元の左境界サンプルを使用することによって続く。この場合、補間プロセスは乗算を必要としない。
【0129】
５．１ ＭＩＰモードのシグナリング
いくつかの実施形態では、イントラモードの各コーディングユニット（ＣＵ）について、ＭＩＰモードが対応する予測ユニット（ＰＵ）に適用されるか否かを示すフラグをビットストリームで送信することができる。ＭＩＰモードが適用される場合、ＭＩＰモードのインデックスｐｒｅｄｍｏｄｅは、３つのＭＰＭを含むＭＰＭリストを使用してシグナリングされる。
いくつかの実施形態では、イントラモードの各コーディングユニット（ＣＵ）について、ＭＩＰモードが対応する予測ユニット（ＰＵ）に適用されるか否かを示すフラグをビットストリームで送信することができる。ＭＩＰモードが適用される場合、ＭＩＰモードのインデックスｐｒｅｄｍｏｄｅは、３つのＭＰＭを含むＭＰＭリストを使用してシグナリングされる。
【0130】
ＭＰＭの導出は、上記および左のＰＵのイントラモードを用いて以下のように行うことができる。３つの固定マッピング表ｍａｐ＿ａｎｇｕｌａｒ＿ｔｏ＿ｍｉｐｉｄｘ，ｉｄｘ∈｛０，１，２｝があり、各表は、以下の式に記載されるように、各従来のイントラ予測モードｐｒｅｄｍｏｄｅＡｎｇｕｌａｒを特定のＭＩＰモードと関連付ける。
ｐｒｅｄｍｏｄｅＭＩＰ＝ｍａｐ＿ａｎｇｕｌａｒ＿ｔｏ＿ｍｉｐ［ｐｒｅｄｍｏｄｅＡｎｇｕｌａｒ］ （式５）
ここで、ｍａｐ＿ａｎｇｕｌａｒ＿ｔｏ＿ｍｉｐは固定のルックアップテーブルである。マッピング表のインデックスは、ＰＵの幅Ｗおよび高さＨに基づいて決定され、以下に説明するように、合計３つのインデックスが利用可能である。
ｉｄｘ（ＰＵ）＝ｉｄｘ（Ｗ，Ｈ）∈｛０，１，２｝ （式６）
これは、３つのセットのうちのどれからＭＩＰパラメータが上記で取得されるべきかを示す。
ｐｒｅｄｍｏｄｅＭＩＰ＝ｍａｐ＿ａｎｇｕｌａｒ＿ｔｏ＿ｍｉｐ［ｐｒｅｄｍｏｄｅＡｎｇｕｌａｒ］ （式５）
ここで、ｍａｐ＿ａｎｇｕｌａｒ＿ｔｏ＿ｍｉｐは固定のルックアップテーブルである。マッピング表のインデックスは、ＰＵの幅Ｗおよび高さＨに基づいて決定され、以下に説明するように、合計３つのインデックスが利用可能である。
ｉｄｘ（ＰＵ）＝ｉｄｘ（Ｗ，Ｈ）∈｛０，１，２｝ （式６）
これは、３つのセットのうちのどれからＭＩＰパラメータが上記で取得されるべきかを示す。
【0131】
いくつかの例では、ＭＩＰモードによってコーディングされた現在のブロックのＭＰＭリストを生成するために、上記のＭＩＰモード、すなわち
および左ＭＩＰモード、すなわち
が最初に導出される。
【数14】
【数15】
【0132】
【数16】
－ 上記のＰＵ ＰＵａｂｏｖｅが利用可能であり、現在のＰＵが存在する同じＣＴＵに属しており、ＰＵａｂｏｖｅがＭＩＰモード
【数17】
【数18】
【数19】
【数20】
【数21】
【0133】
【数22】
【数23】
【0134】
最後に、導出された
および
と、それぞれが３つの異なるＭＩＰモードを含む３つの予め定義された固定デフォルトＭＰＭリストｌｉｓｔｉｄｘ，ｉｄｘ∈｛０，１，２｝とが与えられると、ＭＰＭリストが構築される。ＭＰＭリストは、デフォルト値で－１を置換すると共に重複するＭＩＰモードを除去することによって、所与のデフォルトリストｌｉｓｔｉｄｘ（ＰＵ）ならびに
および
に基づいて構築される。
【数24】
【数25】
【数26】
【数27】
【0135】
一例として、図２７は、ＭＩＰモードをシグナリングするフラグがフレーム（２７０１）に示されているＣＵレベルシンタックス表を示す。
【0136】
５．２従来のイントラ予測モードのためのＭＰＭリスト導出
いくつかの実施形態では、ＭＩＰモードは、以下のように従来のイントラ予測モードのＭＰＭベースのコーディングと調和される。従来のイントラ予測モードの輝度および彩度ＭＰＭリスト導出プロセスは、ＭＩＰモードｐｒｅｄｍｏｄｅＭＩＰを従来のイントラ予測モードのうちの１つにマップする別個の固定テーブルｍａｐ＿ｍｉｐ＿ｔｏ＿ａｎｇｕｌａｒｉｄｘ，ｉｄｘ∈｛０，１，２｝を使用し、
ｐｒｅｄｍｏｄｅＡｎｇｕｌａｒ＝ｍａｐ＿ｍｉｐ＿ｔｏ＿ａｎｇｕｌａｒ［ｐｒｅｄｍｏｄｅＭＩＰ］ （式１１）
ここで、ｍａｐ＿ｍｉｐ＿ｔｏ＿ａｎｇｕｌａｒは固定ルックアップテーブルである。輝度ＭＰＭリスト導出の場合、隣接する輝度ブロックがＭＩＰモードｐｒｅｄｍｏｄｅＭＩＰによってコーディングされるときはいつでも、このブロックは従来のイントラ予測モードｐｒｅｄｍｏｄｅＡｎｇｕｌａｒを使用しているかのように扱われる。彩度ＭＰＭリスト導出の場合、現在の輝度ブロックがＭＩＰモードを使用するときはいつでも、同じマッピングを使用してＭＩＰモードを従来のイントラ予測モードに変換する。
いくつかの実施形態では、ＭＩＰモードは、以下のように従来のイントラ予測モードのＭＰＭベースのコーディングと調和される。従来のイントラ予測モードの輝度および彩度ＭＰＭリスト導出プロセスは、ＭＩＰモードｐｒｅｄｍｏｄｅＭＩＰを従来のイントラ予測モードのうちの１つにマップする別個の固定テーブルｍａｐ＿ｍｉｐ＿ｔｏ＿ａｎｇｕｌａｒｉｄｘ，ｉｄｘ∈｛０，１，２｝を使用し、
ｐｒｅｄｍｏｄｅＡｎｇｕｌａｒ＝ｍａｐ＿ｍｉｐ＿ｔｏ＿ａｎｇｕｌａｒ［ｐｒｅｄｍｏｄｅＭＩＰ］ （式１１）
ここで、ｍａｐ＿ｍｉｐ＿ｔｏ＿ａｎｇｕｌａｒは固定ルックアップテーブルである。輝度ＭＰＭリスト導出の場合、隣接する輝度ブロックがＭＩＰモードｐｒｅｄｍｏｄｅＭＩＰによってコーディングされるときはいつでも、このブロックは従来のイントラ予測モードｐｒｅｄｍｏｄｅＡｎｇｕｌａｒを使用しているかのように扱われる。彩度ＭＰＭリスト導出の場合、現在の輝度ブロックがＭＩＰモードを使用するときはいつでも、同じマッピングを使用してＭＩＰモードを従来のイントラ予測モードに変換する。
【0137】
ＩＩＩ．高レベルシンタックス要素またはブロックレベルシンタックス要素に基づく暗黙的な変換選択のイネーブル
いくつかの実施形態では、暗黙的変換（または暗黙的変換選択と呼ばれる）および明示的変換（または明示的変換選択と呼ばれる）の２つの変換コーディング方式を使用することができる。
いくつかの実施形態では、暗黙的変換（または暗黙的変換選択と呼ばれる）および明示的変換（または明示的変換選択と呼ばれる）の２つの変換コーディング方式を使用することができる。
【0138】
暗黙的変換では、変換インデックスシグナリングなしで、非ＤＣＴ ２変換のグループ（例えば、ＤＳＴ－１、ＤＣＴ－５、ＤＳＴ－７、ＤＣＴ－８、ＤＳＴ－４、ＤＣＴ－４）を選択することができる。例えば、非ＤＣＴ ２変換のグループは、エンコーダおよび対応するデコーダの両方に利用可能な既にコーディング済の情報を使用して選択することができる。既にコーディング済の情報は、イントラ予測モード（例えば、平面モード、ＤＣモード、角度モード）、ブロックサイズ、ブロック幅、ブロック高さ、ブロックアスペクト比、ブロックエリアサイズ、イントラコーディングモード（例えば、複数の基準線（ＭＲＬ）、ＩＳＰ、ＭＩＰが使用されているかどうか）、選択された空間マージ候補の位置（例えば、上マージ候補、左マージ候補）、インター予測モード（例えば、位置依存予測合成（ＰＤＰＣ間）モード、結合されたインターイントラ予測（ＣＩＩＰ）モード）を含むことができるが、これらに限定されない。
【0139】
対照的に、明示的な変換では、どの変換タイプが選択されるかを示すためにシグナリングされたインデックスを用いて、変換タイプ候補（ＤＣＴ－２、ＤＳＴ－１、ＤＣＴ－５、ＤＳＴ－７、ＤＣＴ－８、ＤＳＴ－４、ＤＣＴ－４など）のグループから１つの変換を選択することができる。
【0140】
１．明示的なＭＴＳがディスエーブルである場合の暗黙的な変換のイネーブル
いくつかの実施形態では、セクションＩＩ．３．２に記載されているように、ＩＳＰによってコーディングされていないイントラ予測残差ブロックに対して、高レベルシンタックス（ＨＬＳ）要素によって示されるように、イントラ予測残差ブロックとインター予測残差ブロックの両方に対して明示的なＭＴＳがディスエーブルである場合、暗黙的な変換選択がイネーブルにされ得る。例えば、ＳＰＳシンタックス要素、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇおよびｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが両方とも０である場合、デコーダは、ＳＰＳシンタックス要素に関連付けられた画像またはブロックの暗黙的変換選択をイネーブルにすることを決定することができる。
いくつかの実施形態では、セクションＩＩ．３．２に記載されているように、ＩＳＰによってコーディングされていないイントラ予測残差ブロックに対して、高レベルシンタックス（ＨＬＳ）要素によって示されるように、イントラ予測残差ブロックとインター予測残差ブロックの両方に対して明示的なＭＴＳがディスエーブルである場合、暗黙的な変換選択がイネーブルにされ得る。例えば、ＳＰＳシンタックス要素、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇおよびｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが両方とも０である場合、デコーダは、ＳＰＳシンタックス要素に関連付けられた画像またはブロックの暗黙的変換選択をイネーブルにすることを決定することができる。
【0141】
一例として、図２８Ａ～図２８Ｂは、ビットストリームから受信した関連するシンタックス要素に基づいて現在のブロックの明示的または暗黙的な変換選択を実行する変換コーディングプロセスを指定するテキスト（２８００）を組み合わせて示す。テキスト（２８００）は、ビデオコーディング標準規格の一部として使用することができる。図２８Ａには２つのセクション（２８０１）および（２８０２）が示されており、図２８Ｂには１つのセクション（２８０３）ならびに２つの表（２８０４）および（２８０５）が示されている。
【0142】
セクション（２８０１）では、変換コーディングプロセスの入出力について説明する。具体的には、現在のブロックの位置、サイズ、色成分、逆量子化された変換係数が入力であり、選択された変換を使用する逆変換処理後の残差サンプルが出力である。
【0143】
セクション（２８０２）では、ｉｍｐｌｉｃｉｔＭｔｓＥｎａｂｌｅｄで表される変数の導出について説明する。変数は、暗黙的な選択がイネーブルであるか否かを示す。説明したように、ＳＰＳシンタックス要素ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しい場合（このＳＰＳシンタックス要素に関連する画像またはブロックに対してＭＴＳがイネーブルであることを示す）、ｉｍｐｌｉｃｉｔＭｔｓＥｎａｂｌｅｄは、以下の３つの条件のうちの１つが真である場合に１に等しい。（ｉ）ＩＳＰが現在のブロックをコーディングするために使用される、（ｉｉ）ＳＢＴがイネーブルであり、現在のブロックの両側が３２以下であり、これはＳＢＴが使用されることを示す、または（ｉｉｉ）ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇおよびｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが両方とも０に等しく（これは、イントラコーディング済ブロックとインターコーディング済ブロックの両方に対して明示的なＭＴＳがディスエーブルであることを示す）、現在のブロックがイントラコーディングされている。そうでない場合、ｉｍｐｌｉｃｉｔＭｔｓＥｎａｂｌｅｄは０に等しく設定され、これは、暗黙の変換選択が現在のブロックに対してディスエーブルであることを示す。
【0144】
セクション（２８０２）で説明したように、条件（ｉ）によれば、ＩＳＰモードでコーディングされたイントラ予測ブロックに対して、このイントラ予測ブロックをコーディングするための暗黙的変換をイネーブルにすることができる。条件（ｉｉｉ）によれば、ＩＳＰモードでコーディングされていないイントラ予測ブロックについて、イントラ予測ブロックとインター予測ブロックの両方で明示的なＭＴＳがディスエーブルである場合、ＩＳＰモードでコーディングされていないイントラ予測ブロックをコーディングするために、暗黙的変換をイネーブルにすることができる。
【0145】
セクション（２８０３）において、垂直変換および水平変換は、変数ｉｍｐｌｉｃｉｔＭｔｓＥｎａｂｌｅｄ、プロセスへの入力、および関連するシンタックス要素に従って決定される。例えば、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇとｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇの両方が０に等しい場合、（輝度成分およびイントラ予測の）現在のブロックには、それぞれ式（３－１）および式（３－２）に従って水平変換カーネル（ｔｒＴｙｐｅＨｏｒで示される）および垂直変換カーネル（ｔｒＴｙｐｅＢｅｒで示される）を与えることができる。
【0146】
表（２８０４）および（２８０５）において、水平または垂直変換カーネルタイプを示すための番号１および２は、それぞれＤＳＴ－７変換およびＤＣＴ－８変換を示し、番号０はＤＣＴ－２変換を示す。いくつかの例では、ＤＳＴ－７変換の代わりにＤＳＴ－４変換を使用することができる。
【0147】
図２８Ａ～図２８Ｂの例では、ＨＬＳ要素ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇおよびｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇによって制御されるブロックについて、インターコーディング済ブロックの明示的なＭＴＳと、イントラコーディング済ブロック（非ＩＳＰコーディング）の暗黙的な変換とを共存させることはできない。しかしながら、イントラ予測残差ブロックに対する暗黙的な変換選択は、インター予測残差を可能にするＭＴＳを制御するＨＬＳ要素（例えば、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に必ずしも依存する必要はない。したがって、いくつかの実施形態では、ＩＳＰモードによって予測されないイントラコーディング済ブロックについて、暗黙的変換が適用され得るかどうかは、ＭＴＳがイントラ予測残差（例えば、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値）に適用され得るかどうかに依存するが、ＭＴＳがインター予測残差（ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値）に適用され得るかどうかには依存しない。このような制御機構により、インターＭＴＳ（インター予測残差ブロックに適用される明示的なＭＴＳ）と（イントラ予測残差に対する）暗黙的な変換との両方を同時にイネーブルにすることができる。
【0148】
例えば、第１および第２のＨＬＳ要素をデコーダで受信することができる。第１および第２のＨＬＳ要素は、イントラコーディング済残差ブロックおよびインターコーディング済残差ブロックを含むことができる画像または領域の同じセット（例えば、ビデオシーケンス、画像、スライス、タイルなど）を制御する。第１のＨＬＳ要素は、それぞれのイントラコーディング済残差ブロックに対して明示的なＭＴＳがイネーブルかディスエーブルかを示し、第２のＨＬＳ要素は、それぞれのインターコーディング済残差ブロックに対して明示的なＭＴＳがイネーブルかディスエーブルかを示す。インターＭＴＳの項に関して、イントラコーディング済残差ブロックに適用される明示的なＭＴＳは、イントラＭＴＳと呼ぶことができる。
【0149】
第１のＨＬＳ要素が、イントラコーディング済残差ブロックに対して明示的なＭＴＳがディスエーブルであることを示す場合、デコーダは、それに応じて、第２のＨＬＳ要素の値を考慮することなく、イントラコーディング済ブロックに対して暗黙的な変換（または暗黙的なＭＴＳ）をイネーブルすることを決定することができる。例えば、第２のＨＬＳ要素は、０または１のいずれかとすることができ、これは、イントラコーディング済残差ブロックのための暗黙的変換のイネーブルに影響を与えない。
【0150】
一例として、図２９は、イントラ残差ブロックの暗黙的変換とインター残差ブロックの明示的変換とが共存することができる暗黙的変換イネーブル方式に対応するテキスト（２８００）に対する修正（２９００）を示す。修正（２９００）では、除去されたテキストは取り消し線でマークされ、追加されたテキストは下線でマークされる。図示するように、０であるｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇの条件は除去されている。
【0151】
２．他のコーディングツールがイネーブルである場合の暗黙的変換のディスエーブル
いくつかの実施形態では、（ＩＳＰモードによって予測されない）イントラコーディング済ブロックに暗黙的変換を適用できるかどうかは、特定のコーディングツールがＨＬＳ要素によって示されるようにイネーブルであるかどうかに依存する。
いくつかの実施形態では、（ＩＳＰモードによって予測されない）イントラコーディング済ブロックに暗黙的変換を適用できるかどうかは、特定のコーディングツールがＨＬＳ要素によって示されるようにイネーブルであるかどうかに依存する。
【0152】
２．１ ＮＳＳＴがイネーブルである場合
一実施形態では、ＨＬＳ要素がＮＳＳＴがイネーブルであることを示す場合、（ＩＳＰモードによって予測されない）イントラコーディング済ブロックに対して暗黙的変換をディスエーブルにすることができる。例えば、セクションＩＩ．４．１で説明したように、変換行列Ｔは、二次変換処理のための（式３）で使用される。変換行列Ｔは、定数要素を含むことができ、明示的な変換選択から生じる係数ブロックなどのターゲット係数ブロックの特定の統計値を仮定して設計することができる。したがって、暗黙的な変換選択から生じる係数ブロックは、それぞれの係数の統計に関してＮＳＳＴと一致しない場合がある。例えば、暗黙的変換の結果にＮＳＳＴを適用してもコーディング性能は向上しない。上記の理由から、ＮＳＳＴがイネーブルであるときに暗黙的な変換をディスエーブルにすることが望ましい場合がある。
一実施形態では、ＨＬＳ要素がＮＳＳＴがイネーブルであることを示す場合、（ＩＳＰモードによって予測されない）イントラコーディング済ブロックに対して暗黙的変換をディスエーブルにすることができる。例えば、セクションＩＩ．４．１で説明したように、変換行列Ｔは、二次変換処理のための（式３）で使用される。変換行列Ｔは、定数要素を含むことができ、明示的な変換選択から生じる係数ブロックなどのターゲット係数ブロックの特定の統計値を仮定して設計することができる。したがって、暗黙的な変換選択から生じる係数ブロックは、それぞれの係数の統計に関してＮＳＳＴと一致しない場合がある。例えば、暗黙的変換の結果にＮＳＳＴを適用してもコーディング性能は向上しない。上記の理由から、ＮＳＳＴがイネーブルであるときに暗黙的な変換をディスエーブルにすることが望ましい場合がある。
【0153】
本開示では、ＮＳＳＴという用語は、ＮＳＳＴ、ＲＳＴ、ＬＦＮＳＴなどの初期設計などの非分離二次変換コーディング方式のファミリを指すために使用することができる。
【0154】
例えば、デコーダは、２つのＨＬＳ要素を受信することができ、一方のＨＬＳ要素（例えば、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）は、明示的なＭＴＳがディスエーブルであることを示し、他方のＨＬＳ要素（例えば、ｓｐｓ＿ｌｆｎｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）は、ＮＳＳＴがイネーブルであることを示す。したがって、デコーダは、これら２つのＨＬＳ要素によって制御されるイントラコーディング済ブロックのための暗黙的な変換をイネーブルにしないことを決定することができる。対照的に、一方のＨＬＳ要素が明示的なＭＴＳがディスエーブルであることを示し、他方のＨＬＳ要素もまたＮＳＳＴがディスエーブルであることを示す場合には、デコーダは、それぞれのイントラコーディング済ブロックのための暗黙的な変換をイネーブルにすることを決定することができる。
【0155】
一例として、図３０は、ＮＳＳＴがディスエーブルであるときに暗黙的変換がイネーブルにされるシナリオに対応するテキスト（２８００）に対する修正（３０００）を示す。図示するように、変数ｉｍｐｌｉｃｉｔＮｔｓＥｎａｂｌｅｄを導出するための条件（ｉｉｉ）に、「ｓｐｓ＿ｌｆｎｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しい」という追加の制限が加えられる。
【0156】
２．２ ＭＩＰがイネーブルである場合
ＮＳＳＴがイネーブルされるシナリオと同様に、いくつかの実施形態では、ＨＬＳ要素がＭＩＰがイネーブルであることを示す場合、イントラコーディング済ブロック（ＩＳＰモードによって予測されない）に対して暗黙的変換がディスエーブルにされる。例えば、ＭＩＰイントラコーディングモードをブロックに適用すると、通常のイントラコーディングモードでコーディングされた残差ブロックとは異なる統計値を有する残差ブロックが得られる。したがって、ＭＩＰでコーディングされた残差ブロックは、通常のイントラモードから生じる残差統計を仮定することができる暗黙的変換と一致しない場合がある。したがって、ＭＩＰがイネーブルである場合、暗黙的変換をディスエーブルにすることが望ましい場合がある。
ＮＳＳＴがイネーブルされるシナリオと同様に、いくつかの実施形態では、ＨＬＳ要素がＭＩＰがイネーブルであることを示す場合、イントラコーディング済ブロック（ＩＳＰモードによって予測されない）に対して暗黙的変換がディスエーブルにされる。例えば、ＭＩＰイントラコーディングモードをブロックに適用すると、通常のイントラコーディングモードでコーディングされた残差ブロックとは異なる統計値を有する残差ブロックが得られる。したがって、ＭＩＰでコーディングされた残差ブロックは、通常のイントラモードから生じる残差統計を仮定することができる暗黙的変換と一致しない場合がある。したがって、ＭＩＰがイネーブルである場合、暗黙的変換をディスエーブルにすることが望ましい場合がある。
【0157】
例えば、デコーダは、２つのＨＬＳ要素を受信することができる。一方のＨＬＳ要素（例えば、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）は、明示的なＭＴＳがディスエーブルであることを示し、他方のＨＬＳ要素（例えば、ｓｐｓ＿ｍｉｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）は、ＭＩＰがイネーブルであることを示す。したがって、デコーダは、これら２つのＨＬＳ要素によって制御されるイントラコーディング済ブロックのための暗黙的な変換をイネーブルにしないことを決定することができる。対照的に、２つのＨＬＳ要素によって示されるように、明示的なＭＴＳとＭＩＰの両方がディスエーブルである場合、デコーダは、それぞれのイントラコーディング済ブロックの暗黙的な変換をイネーブルにすることを決定することができる。
【0158】
一例として、図３１は、ＭＩＰがディスエーブルである場合に暗黙的変換がイネーブルにされるシナリオに対応するテキスト（２８００）に対する修正（３１００）を示す。図示するように、変数ｉｍｐｌｉｃｉｔＮｔｓＥｎａｂｌｅｄを導出するための条件（ｉｉｉ）に、「ｓｐｓ＿ｍｉｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しい」という追加の制限が加えられる。
【0159】
３．ブロックレベルシンタックス要素指示に基づく暗黙的変換のイネーブル
いくつかの実施形態では、（ＩＳＰモードによって予測されない）暗黙的変換をイントラコーディング済ブロックに適用できるかどうかは、ブロックレベルシンタックス要素によって示されるように、ＭＴＳ、ＮＳＳＴ、またはＭＩＰがイントラコーディング済ブロックに適用されるかどうかに依存する。
いくつかの実施形態では、（ＩＳＰモードによって予測されない）暗黙的変換をイントラコーディング済ブロックに適用できるかどうかは、ブロックレベルシンタックス要素によって示されるように、ＭＴＳ、ＮＳＳＴ、またはＭＩＰがイントラコーディング済ブロックに適用されるかどうかに依存する。
【0160】
３．１ ＭＴＳおよびＮＳＳＴを適用しない場合
一実施形態では、イントラコーディング済ブロックに暗黙的変換を適用できるかどうかは、ブロックレベルシンタックス要素によって示されるように、イントラコーディング済ブロックにＭＴＳとＮＳＳＴの両方が適用されないかどうかに依存する。
一実施形態では、イントラコーディング済ブロックに暗黙的変換を適用できるかどうかは、ブロックレベルシンタックス要素によって示されるように、イントラコーディング済ブロックにＭＴＳとＮＳＳＴの両方が適用されないかどうかに依存する。
【0161】
例えば、デコーダは、イントラコーディングされ、ＩＳＰモードによって予測されない現在のブロックに関連付けられた第１および第２のＣＵレベル（またはブロックレベル）シンタックス要素を受信することができる。現在のブロックは、画像内の座標［ｘ０］［ｙ０］の位置に位置することができる。
【0162】
第１のＣＵレベルのシンタックス要素（例えば、ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］）は、ＭＴＳ（例えば、ＤＳＴ－７、ＤＣＴ－８、ＤＣＴ－４など）で使用される変換の代わりに、ＤＣＴ－２変換が現在のブロックに使用され得ることを示すことができる。一例として、表（２８０４）において、ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］が０の値を有するとき、ｔｒＴｙｐｅＨｏｒおよびｔｒＴｙｐｅＶｅｒの変数は両方とも０の値を有し、これは、水平および垂直変換がＤＣＴ－２変換であり、ＤＳＴ－７またはＤＣＴ－８変換が適用されないことを示す。第２のＣＵレベルシンタックス要素（例えば、ｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］）は、ＮＳＳＴが現在のブロックに適用されないことを示すことができる。上記の第１および第２のＣＵレベルのシンタックス要素に基づいて、デコーダは、現在のブロックの暗黙的なＭＴＳをイネーブルにすることを決定することができる。
【0163】
対照的に、第１のＣＵレベルのシンタックス要素および第２のＣＵレベルのシンタックス要素が、ＭＴＳが適用されること（ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］は、１、２、３、または４の値を有する）、またはＮＳＳＴが適用されること（ｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］が非ゼロ値を有すること）を示す場合、デコーダは、暗黙的なＭＴＳをディスエーブルにすることを決定することができる。
【0164】
一例として、図３２は、ＭＴＳとＮＳＳＴの両方が現在のブロックに適用されないシナリオに対応するテキスト（２８００）に対する修正（３２００）を示す。図示するように、テキスト（２８００）の元の条件（ｉｉｉ）は、２つのＣＵレベルシンタックス要素「ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］およびｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］が両方とも０に等しい」という条件に置き換えられる。
【0165】
３．２ ＭＴＳ、ＮＳＳＴ、およびＭＩＰを適用しない場合
一実施形態では、イントラコーディング済ブロックに暗黙的変換を適用できるかどうかは、ブロックレベルシンタックス要素によって示されるように、イントラコーディング済ブロックにＭＴＳ、ＮＳＳＴ、およびＭＩＰが適用されないかどうかに依存する。セクションＩＩＩ．３．１と比較して、もう１つのコーディングツールＭＩＰがさらに考慮される。
一実施形態では、イントラコーディング済ブロックに暗黙的変換を適用できるかどうかは、ブロックレベルシンタックス要素によって示されるように、イントラコーディング済ブロックにＭＴＳ、ＮＳＳＴ、およびＭＩＰが適用されないかどうかに依存する。セクションＩＩＩ．３．１と比較して、もう１つのコーディングツールＭＩＰがさらに考慮される。
【0166】
例えば、デコーダは、イントラコーディングされ、ＩＳＰモードによって予測されない現在のブロックに関連付けられた第１、第２、および第３のＣＵレベル（またはブロックレベル）シンタックス要素を受信することができる。現在のブロックは、画像内の座標［ｘ０］［ｙ０］の位置に位置することができる。
【0167】
第１のＣＵレベルシンタックス要素（例えば、ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］）は、ＭＴＳで使用される変換の代わりにＤＣＴ－２変換を現在のブロックに使用できることを示すことができる。第２のＣＵレベルシンタックス要素（例えば、ｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］）は、ＮＳＳＴが現在のブロックに適用されないことを示すことができる。第３のＣＵレベルシンタックス要素（例えば、ｔｕ＿ｍｉｐ＿ｆｌａｇ）は、ＭＩＰが現在のブロックに適用されないことを示すことができる。上記の３つのＣＵレベルのシンタックス要素に基づいて、デコーダは、現在のブロックの暗黙的なＭＴＳをイネーブルにすることを決定することができる。
【0168】
対照的に、上記の３つのＣＵレベルのシンタックス要素が、ＭＴＳが適用される（ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］は、１、２、３、または４の値を有する）、ＮＳＳＴが適用される（ｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］が非ゼロ値を有する）、またはＭＩＰが適用される（ｔｕ＿ｍｉｐ＿ｆｌａｇが１の値を有する）ことを示す場合、デコーダは、暗黙的なＭＴＳをディスエーブルにすることを決定することができる。
【0169】
一例として、図３３は、ＭＴＳ、ＮＳＳＴ、またはＭＩＰのいずれも現在のブロックに適用されないシナリオに対応するテキスト（２８００）に対する修正（３３００）を示す。図示するように、テキスト（２８００）内の元の条件（ｉｉｉ）は、３つのＣＵレベルシンタックス要素「ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］およびｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］はすべて０に等しい」という条件に置き換えられる。
【0170】
４．変換コーディングプロセスの例
図３４～図３６は、本開示のいくつかの実施形態による変換コーディングプロセス（３４００）、（３５００）、および（３６００）のフローチャートを示す。プロセス（３４００）、（３５００）、および（３６００）は、再構築中のブロックの残差ブロックを生成するために、デコーダにおける逆変換処理で使用することができる。様々な実施形態では、プロセス（３４００）、（３５００）、および（３６００）は、端末装置（２１０）、（２２０）、（２３０）、および（２４０）の処理回路、ビデオデコーダ（３１０）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路などの処理回路によって実行することができる。いくつかの実施形態では、プロセス（３４００）、（３５００）、および（３６００）はソフトウェア命令で実施することができ、したがって、処理回路がソフトウェア命令を実行すると、処理回路はプロセス（３４００）、（３５００）、および（３６００）を実行する。
図３４～図３６は、本開示のいくつかの実施形態による変換コーディングプロセス（３４００）、（３５００）、および（３６００）のフローチャートを示す。プロセス（３４００）、（３５００）、および（３６００）は、再構築中のブロックの残差ブロックを生成するために、デコーダにおける逆変換処理で使用することができる。様々な実施形態では、プロセス（３４００）、（３５００）、および（３６００）は、端末装置（２１０）、（２２０）、（２３０）、および（２４０）の処理回路、ビデオデコーダ（３１０）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路などの処理回路によって実行することができる。いくつかの実施形態では、プロセス（３４００）、（３５００）、および（３６００）はソフトウェア命令で実施することができ、したがって、処理回路がソフトウェア命令を実行すると、処理回路はプロセス（３４００）、（３５００）、および（３６００）を実行する。
【0171】
４．１プロセス（３４００）：明示的なＭＴＳがディスエーブルである場合の暗黙的な変換のイネーブル
プロセス（３４００）は、（Ｓ３４０１）から開始し、（Ｓ３４１０）に進む。
プロセス（３４００）は、（Ｓ３４０１）から開始し、（Ｓ３４１０）に進む。
【0172】
（Ｓ３４１０）において、第１のＨＬＳ要素がデコーダにおいて受信される。第１のＨＬＳ要素は、イントラコーディング済ブロックに対して明示的なＭＴＳがディスエーブルであるか否かを示すことができる。例えば、イントラコーディング済ブロックは再構築中であるため、現在のブロックと呼ぶことができる。第１のＨＬＳ要素は、現在のブロックを含むコーディングブロックのセットに関連付けられ得る。
【0173】
（Ｓ３４２０）において、第２のＨＬＳ要素がデコーダで受信される。第２のＨＬＳ要素は、インターコーディング済ブロックに対して明示的なＭＴＳがイネーブルであるか否かを示すことができる。例えば、第２のＨＬＳ要素は、第１のＨＬＳ要素と同じコーディングブロックのセットに関連付けることができる。現在のブロックとインターコーディング済ブロックの両方がコーディングブロックのセットに含まれる。
【0174】
（Ｓ３４３０）において、デコーダは、第１のＨＬＳ要素が、イントラコーディング済ブロックに対して、明示的なＭＴＳがディスエーブルであることを示し、第２のＨＬＳ要素が、インターコーディング済ブロックに対して、明示的なＭＴＳがイネーブルであることを示す場合、現在のブロックに対して、暗黙的なＭＴＳをイネーブルにすることを決定することができる。プロセス（３４００）は、（Ｓ３４９９）に進むことができ、（Ｓ３４９９）において終了する。
【0175】
４．２プロセス（３５００）：他のコーディングツールがイネーブルである場合の暗黙的変換のディスエーブル
プロセス（３５００）は、（Ｓ３５０１）から開始し、（Ｓ３５１０）に進む。
プロセス（３５００）は、（Ｓ３５０１）から開始し、（Ｓ３５１０）に進む。
【0176】
（Ｓ３５１０）において、第１のＨＬＳ要素がデコーダで受信される。第１のＨＬＳ要素は、イントラコーディング済ブロックに対して明示的なＭＴＳがイネーブルであるか否かを示すことができる。イントラコーディング済ブロックは、再構築中のブロックとすることができる。第１のＨＬＳ要素は、イントラコーディング済ブロックを含むコーディングブロックのセットを制御する。
【0177】
（Ｓ３５２０）において、第２のＨＬＳ要素がデコーダで受信される。第２のＨＬＳ要素は、イントラコーディング済ブロックに対してＮＳＳＴまたはＭＩＰがディスエーブルであるか否かを示すことができる。例えば、第２のＨＬＳ要素は、第１のＨＬＳ要素と同じコーディングブロックのセットを制御することができる。
【0178】
（Ｓ３５３０）において、デコーダは、第１のＨＬＳ要素および第２のＨＬＳ要素に基づいて、イントラコーディング済ブロックを処理するために、暗黙的なＭＴＳをイネーブルにするか否かを決定することができる。例えば、デコーダは、第１のＨＬＳ要素がイントラコーディング済ブロックに対して明示的なＭＴＳがディスエーブルであることを示し、第２のＨＬＳ要素がイントラコーディング済ブロックに対してＮＳＳＴまたはＭＩＰがディスエーブルであることを示す場合、イントラコーディング済ブロックに対して暗黙的なＭＴＳをイネーブルにすることを決定することができる。あるいは、デコーダは、第１のＨＬＳ要素が、イントラコーディング済ブロックに対して明示的なＭＴＳがディスエーブルであることを示すが、第２のＨＬＳ要素が、イントラコーディング済ブロックに対してＮＳＳＴまたはＭＩＰがイネーブルであることを示す場合、イントラコーディング済ブロックに対して暗黙的なＭＴＳをディスエーブルにすることを決定することができる。プロセス（３５００）は、（Ｓ３５９９）に進むことができ、（Ｓ３５９９）において終了する。
【0179】
４．３プロセス（３６００）：ブロックレベルシンタックス要素指示に基づく暗黙的変換のイネーブル
プロセス（３６００）は、（Ｓ３６０１）から開始し、（Ｓ３６１０）に進む。
プロセス（３６００）は、（Ｓ３６０１）から開始し、（Ｓ３６１０）に進む。
【0180】
Ｓ（３６１０）において、イントラコーディング済ブロックがデコーダで受信される。イントラコーディング済ブロックは、ＭＴＳが適用されるか否かを示す第１のブロックレベルシンタックス要素と、ＮＳＳＴが適用されるか否かを示す第２のブロックレベルシンタックス要素とに関連付けることができる。例えば、イントラコーディング済ブロックは、第１および第２のブロックレベルシンタックス要素を含むＣＵレベルのシンタックス要素を含むＣＵに属する。
【0181】
（Ｓ３６２０）において、デコーダは、第１のブロックレベルシンタックス要素および第２のブロックレベルシンタックス要素に基づいて、イントラコーディング済ブロックのための暗黙的なＭＴＳをイネーブルにするか否かを決定することができる。例えば、デコーダは、第１のブロックレベルシンタックス要素が、ＭＴＳが適用されないことを示し、第２のブロックレベルシンタックス要素が、ＮＳＳＴが適用されないことを示す場合、イントラコーディング済ブロックのための暗黙的なＭＴＳをイネーブルにすることを決定することができる。あるいは、デコーダは、第１のブロックレベルシンタックス要素が、ＭＴＳが適用されないことを示すが、第２のブロックレベルシンタックス要素が、ＮＳＳＴが適用されることを示す場合、イントラコーディング済ブロックのための暗黙的なＭＴＳをディスエーブルにすることを決定することができる。プロセス（３６００）は、（Ｓ３６９９）に進むことができ、（Ｓ３６９９）において終了する。
【0182】
ＩＶ．コンピュータシステム
上述した技術は、コンピュータ可読命令を使用し、１つまたは複数のコンピュータ可読媒体に物理的に格納されたコンピュータソフトウェアとして実装することができる。例えば、図３７は、開示された主題の特定の実施形態を実施するのに適したコンピュータシステム（３７００）を示す。
上述した技術は、コンピュータ可読命令を使用し、１つまたは複数のコンピュータ可読媒体に物理的に格納されたコンピュータソフトウェアとして実装することができる。例えば、図３７は、開示された主題の特定の実施形態を実施するのに適したコンピュータシステム（３７００）を示す。
【0183】
コンピュータソフトウェアは、１つまたは複数のコンピュータ中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）などにより、アセンブリ、コンパイル、リンク、または同様の機構の対象となり得、直接に、または翻訳、マイクロコードの実行などを通じて実行され得る命令を含むコードを作成することができる、任意の適切なマシンコードまたはコンピュータ言語を使用してコーディングすることができる。
【0184】
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバー、スマートフォン、ゲームデバイス、モノのインターネットデバイスなどを含む、様々なタイプのコンピュータまたはその構成要素上で実行することができる。
【0185】
コンピュータシステム（３７００）について図３７に示す構成要素は、本質的に例示的なものであり、本開示の実施形態を実装するコンピュータソフトウェアの使用または機能の範囲に関する制限を示唆することを意図するものではない。また、構成要素の構成は、コンピュータシステム（３７００）の例示的な実施形態に示されている構成要素のいずれか１つまたは組み合わせに関する依存性または要件を有するものとして解釈されるべきではない。
【0186】
コンピュータシステム（３７００）は、特定のヒューマンインターフェース入力デバイスを含むことができる。そのようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（キーストローク、スワイプ、データグローブの動きなど）、オーディオ入力（音声、拍手など）、視覚入力（ジェスチャーなど）、嗅覚入力（図示せず）による、１人または複数の人間ユーザによる入力に応答することができる。ヒューマンインターフェースデバイスを使用して、音声（スピーチ、音楽、環境音など）、画像（スキャンされた画像、静止画像カメラから得られる写真画像など）、ビデオ（２次元ビデオ、立体ビデオを含む３次元ビデオなど）などの人間による意識的な入力に必ずしも直接関係しない特定のメディアをキャプチャすることもできる。
【0187】
入力ヒューマンインターフェースデバイスは、キーボード（３７０１）、マウス（３７０２）、トラックパッド（３７０３）、タッチスクリーン（３７１０）、データグローブ（図示せず）、ジョイスティック（３７０５）、マイクロフォン（３７０６）、スキャナ（３７０７）、カメラ（３７０８）のうちの１つまたは複数（各々示されているうちのただ１つ）を含むことができる。
【0188】
コンピュータシステム（３７００）はまた、特定のヒューマンインターフェース出力デバイスを含むことができる。そのようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、および嗅覚／味覚を通じて、１人または複数の人間のユーザの感覚を刺激することができる。このようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（３７１０）、データグローブ（図示せず）、またはジョイスティック（３７０５）による触覚フィードバックであるが、入力デバイスとして機能しない触覚フィードバックデバイスもあり得る）、オーディオ出力デバイス（スピーカ（３７０９）、ヘッドフォン（図示せず）など）、視覚出力デバイス（ＣＲＴ画面、ＬＣＤ画面、プラズマ画面、ＯＬＥＤ画面を含む画面（３７１０）などであって、それぞれタッチスクリーン入力機能の有無にかかわらず、また触覚フィードバック機能の有無にかかわらず、－これらの一部は、ステレオグラフィック出力、仮想現実眼鏡（図示せず）、ホログラフィックディスプレイ、およびスモークタンク（図示せず）などの手段を介して、２次元の視覚的出力または３次元を超える出力を出力することができる）、ならびにプリンタ（図示せず）を含むことができる。
【0189】
コンピュータシステム（３７００）はまた、ＣＤ／ＤＶＤまたは同様の媒体（３７２１）を備えたＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（３７２０）を含む光学メディア、サムドライブ（３７２２）、取り外し可能なハードドライブまたはソリッドステートドライブ（３７２３）、テープおよびフロッピーディスク（図示せず）などの従来の磁気媒体、セキュリティドングル（図示せず）などの専用のＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイスなどの、人間がアクセス可能な記憶装置および関連メディアを含むことができる。
【0190】
当業者はまた、ここで開示される主題に関連して使用される「コンピュータ可読媒体」という用語は、伝送媒体、搬送波、または他の一時的な信号を包含しないことを理解するべきである。
【0191】
コンピュータシステム（３７００）はまた、１つまたは複数の通信ネットワークへのインターフェースを含むことができる。ネットワークは、例えば、無線、有線、光であり得る。さらに、ネットワークは、ローカル、広域、大都市圏、車両および産業、リアルタイム、遅延耐性などであり得る。ネットワークの例には、イーサネット、無線ＬＡＮなどのローカルエリアネットワーク、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、および地上波放送ＴＶを含むテレビ有線または無線広域デジタルネットワーク、ＣＡＮＢｕｓを含む車両および産業用などが含まれる。特定のネットワークでは、一般に、特定の汎用データポートまたは周辺バス（３７４９）（例えばコンピュータシステム（３７００）のＵＳＢポートなど）に接続された外部ネットワークインターフェースアダプタが必要であり、その他のネットワークは、一般に、後述するようにシステムバスへの取り付けによりコンピュータシステム（３７００）のコアに統合されている（例えば、ＰＣコンピュータシステムへのイーサネットインターフェースまたはスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（３７００）は、他のエンティティと通信することができる。このような通信は、単方向、受信のみ（例えば、放送ＴＶ）、単方向送信のみ（例えば、ＣＡＮｂｕｓから特定のＣＡＮｂｕｓデバイス）、または双方向、例えば、ローカルエリアまたはワイドエリアデジタルネットワークを使用する他のコンピュータシステムへの通信であり得る。上記のように、特定のプロトコルとプロトコルスタックは、これらのネットワークとネットワークインターフェースのそれぞれで使用することができる。
【0192】
前述のヒューマンインターフェースデバイス、ヒューマンアクセス可能な記憶装置、およびネットワークインターフェースは、コンピュータシステム（３７００）のコア（３７４０）に取り付けることができる。
【0193】
コア（３７４０）は、１つまたは複数の中央処理装置（ＣＰＵ）（３７４１）、グラフィック処理装置（ＧＰＵ）（３７４２）、フィールドプログラマブルゲートエリア（ＦＰＧＡ）（３７４３）の形態の専用プログラマブル処理装置、特定のタスク用のハードウェアアクセラレータ（３７４４）などを含むことができる。これらのデバイスは、読取り専用メモリ（ＲＯＭ）（３７４５）、ランダムアクセスメモリ（３７４６）、ユーザがアクセスできない内部ハードドライブ、ＳＳＤ（３７４７）などの内部大容量記憶装置と共に、システムバス（３７４８）を介して接続されてもよい。一部のコンピュータシステムでは、システムバス（３７４８）は１つまたは複数の物理プラグの形でアクセスでき、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にする。周辺機器は、コアのシステムバス（３７４８）に直接、または周辺バス（３７４９）を介して接続することができる。周辺バスのアーキテクチャには、ＰＣＩ、ＵＳＢなどが含まれる。
【0194】
ＣＰＵ（３７４１）、ＧＰＵ（３７４２）、ＦＰＧＡ（３７４３）、およびアクセラレータ（３７４４）は、組み合わせて上述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードは、ＲＯＭ（３７４５）またはＲＡＭ（３７４６）に格納することができる。移行データはまた、ＲＡＭ（３７４６）に格納することができ、一方、永続データは、例えば内部大容量記憶装置（３７４７）に格納することができる。メモリデバイスのいずれかへの高速記憶および検索は、１つまたは複数のＣＰＵ（３７４１）、ＧＰＵ（３７４２）、大容量記憶装置（３７４７）、ＲＯＭ（３７４５）、ＲＡＭ（３７４６）などと密接に関連付けることができるキャッシュメモリの使用によって可能にすることができる。
【0195】
コンピュータ可読媒体は、様々なコンピュータ実施動作を実行するためのコンピュータコードをその上に有することができる。メディアおよびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであり得るか、またはそれらは、コンピュータソフトウェア技術の当業者に周知であり利用可能な種類のものであり得る。
【0196】
限定ではなく例として、アーキテクチャ（３７００）、具体的にはコア（３７４０）を有するコンピュータシステムは、１つまたは複数の有形のコンピュータ可読媒体に組み込まれたソフトウェアを実行するプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）の結果として機能を提供することができる。そのようなコンピュータ可読媒体は、上で紹介されたようなユーザがアクセス可能な大容量記憶装置、ならびにコア内部大容量記憶装置（３７４７）またはＲＯＭ（３７４５）などの非一時的な性質のコア（３７４０）の特定の記憶装置に関連する媒体であり得る。本開示の様々な実施形態を実装するソフトウェアは、そのようなデバイスに格納され、コア（３７４０）によって実行され得る。コンピュータ可読媒体は、特定のニーズに従って、１つまたは複数のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア（３７４０）とその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、ソフトウェアで定義されたプロセスに従ってＲＡＭ（３７４６）に格納されているデータ構造の定義やそのようなデータ構造の変更など、ここで説明する特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えて、または代替例として、コンピュータシステムは、ハードウェアに組み込まれた、または回路（例えばアクセラレータ（３７４４））に組み込まれたロジックの結果として、ここで説明する特定のプロセスまたは特定のプロセスの特定の部分を実行するソフトウェアの代わりにまたは一緒に動作できる機能を提供することができる。ソフトウェアへの言及はロジックを含むことができ、妥当な場合には、その逆も可能である。コンピュータ可読媒体への言及は、実行のためのソフトウェア、実行のためのロジックを具体化する回路、または妥当な場合には、その両方を格納する回路（集積回路（ＩＣ）など）を包含することができる。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを包含する。
付記Ａ：略語
ＡＭＴ：適応多重変換
ＡＳＩＣ：特定用途向け集積回路
ＢＭＳ：ベンチマークセット
ＣＡＮＢｕｓ：コントローラエリアネットワークバス
ＣＣＬＭ：交差成分線形モデル
ＣＤ：コンパクトディスク
ＣＯＴ：複合正規直交変換
ＣＰＵ：中央処理装置
ＣＲＴ：陰極線管
ＣＴＢ：コーディングツリーブロック
ＣＴＵ：コーディングツリーユニット
ＣＵ：コーディングユニット
ＤＶＤ：デジタルビデオディスク
ＥＭＴ：拡張された多重変換
ＦＰＧＡ：フィールドプログラマブルゲートエリア
ＧＯＰ：画像のグループ
ＧＰＵ：グラフィックス処理装置
ＧＳＭ：グローバル移動体通信システム
ＨＤＲ：高ダイナミックレンジ
ＨＥＶＣ：高効率ビデオコーディング
ＨＬＳ：高レベルシンタックス
ＨＲＤ：仮想参照デコーダ
ＩＢＣ：イントラブロックコピー
ＩＣ：集積回路
ＩＤＴ：識別情報変換
ＩＳＰ：イントラサブパーティショニング
ＪＥＭ：共同探索モデル
ＪＶＥＴ：共同ビデオ探索チーム
ＫＬＴ：Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ変換
ＬＡＮ：ローカルエリアネットワーク
ＬＣＤ：液晶ディスプレイ
ＬＦＮＳＴ：低周波非分離二次変換
ＬＴＥ：ロングタームエボリューション
ＭＩＰ：行列ベースのイントラ予測モード
ＭＲＬ（またはＭＲＬＰ）：多重参照線予測
ＭＴＳ：多重変換選択
ＭＶ：動きベクトル
ＮＳＳＴ：非分離二次変換
ＯＬＥＤ：有機発光ダイオード
ＰＢ：予測ブロック
ＰＣＩ：周辺機器相互接続
ＰＬＤ：プログラマブルロジックデバイス
ＰＰＳ：画像パラメータセット
ＰＵ：予測ユニット
ＲＡＭ：ランダムアクセスメモリ
ＲＯＭ：読出し専用メモリ
ＲＳＴ：縮小サイズ変換
ＳＢＴ：サブブロック変換
ＳＤＲ：標準ダイナミックレンジ
ＳＥＩ：補足拡張情報
ＳＮＲ：信号雑音比
ＳＰＳ：シーケンスパラメータセット
ＳＳＤ：ソリッドステートドライブ
ＳＶＴ：空間変動変換
ＴＳＭ：変換スキップモード
ＴＵ：変換ユニット、
ＵＳＢ：ユニバーサルシリアルバス
ＶＰＳ：ビデオパラメータセット
ＶＵＩ：ビデオユーザビリティ情報
ＶＶＣ：多用途ビデオコーディング
付記Ａ：略語
ＡＭＴ：適応多重変換
ＡＳＩＣ：特定用途向け集積回路
ＢＭＳ：ベンチマークセット
ＣＡＮＢｕｓ：コントローラエリアネットワークバス
ＣＣＬＭ：交差成分線形モデル
ＣＤ：コンパクトディスク
ＣＯＴ：複合正規直交変換
ＣＰＵ：中央処理装置
ＣＲＴ：陰極線管
ＣＴＢ：コーディングツリーブロック
ＣＴＵ：コーディングツリーユニット
ＣＵ：コーディングユニット
ＤＶＤ：デジタルビデオディスク
ＥＭＴ：拡張された多重変換
ＦＰＧＡ：フィールドプログラマブルゲートエリア
ＧＯＰ：画像のグループ
ＧＰＵ：グラフィックス処理装置
ＧＳＭ：グローバル移動体通信システム
ＨＤＲ：高ダイナミックレンジ
ＨＥＶＣ：高効率ビデオコーディング
ＨＬＳ：高レベルシンタックス
ＨＲＤ：仮想参照デコーダ
ＩＢＣ：イントラブロックコピー
ＩＣ：集積回路
ＩＤＴ：識別情報変換
ＩＳＰ：イントラサブパーティショニング
ＪＥＭ：共同探索モデル
ＪＶＥＴ：共同ビデオ探索チーム
ＫＬＴ：Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ変換
ＬＡＮ：ローカルエリアネットワーク
ＬＣＤ：液晶ディスプレイ
ＬＦＮＳＴ：低周波非分離二次変換
ＬＴＥ：ロングタームエボリューション
ＭＩＰ：行列ベースのイントラ予測モード
ＭＲＬ（またはＭＲＬＰ）：多重参照線予測
ＭＴＳ：多重変換選択
ＭＶ：動きベクトル
ＮＳＳＴ：非分離二次変換
ＯＬＥＤ：有機発光ダイオード
ＰＢ：予測ブロック
ＰＣＩ：周辺機器相互接続
ＰＬＤ：プログラマブルロジックデバイス
ＰＰＳ：画像パラメータセット
ＰＵ：予測ユニット
ＲＡＭ：ランダムアクセスメモリ
ＲＯＭ：読出し専用メモリ
ＲＳＴ：縮小サイズ変換
ＳＢＴ：サブブロック変換
ＳＤＲ：標準ダイナミックレンジ
ＳＥＩ：補足拡張情報
ＳＮＲ：信号雑音比
ＳＰＳ：シーケンスパラメータセット
ＳＳＤ：ソリッドステートドライブ
ＳＶＴ：空間変動変換
ＴＳＭ：変換スキップモード
ＴＵ：変換ユニット、
ＵＳＢ：ユニバーサルシリアルバス
ＶＰＳ：ビデオパラメータセット
ＶＵＩ：ビデオユーザビリティ情報
ＶＶＣ：多用途ビデオコーディング
【0197】
本開示はいくつかの例示的な実施形態を説明してきたが、本開示の範囲内にある変更、置換、および様々な代替均等物が存在する。したがって、当業者は、本明細書では明示的に示されていないか、または記載されていないが、本開示の原理を具現化し、したがってその趣旨および範囲内にある多数のシステムおよび方法を考案できることが理解されよう。
【符号の説明】
【0198】
１０１ 現在のブロック
２００ 通信システム
２１０ 端末装置
２２０ 端末装置
２３０ 端末装置
２４０ 端末装置
２５０ ネットワーク
３００ 通信システム
３０１ ビデオソース
３０２ ビデオ画像
３０３ ビデオエンコーダ
３０４ エンコード済ビデオデータ
３０５ ストリーミングサーバー
３０６ クライアントサブシステム
３０７ コピー
３０８ クライアントサブシステム
３０９ コピー
３１０ ビデオデコーダ
３１１ ビデオ画像
３１２ ディスプレイ
３１３ キャプチャサブシステム
３２０ 電子デバイス
３３０ 電子デバイス
４０１ チャネル
４１０ ビデオデコーダ
４１２ レンダリングデバイス
４１５ バッファメモリ
４２０ パーサー
４２１ シンボル
４３０ 電子デバイス
４３１ 受信機
４５１ スケーラ／逆変換ユニット
４５２ イントラ画像予測ユニット
４５３ 動き補償予測ユニット
４５５ アグリゲータ
４５６ ループフィルタユニット
４５７ 参照画像メモリ
４５８ 現在の画像バッファ
５０１ ビデオソース
５０３ ビデオエンコーダ
５２０ 電子デバイス
５３０ ソースコーダ
５３２ コーディングエンジン
５３３ ローカルビデオデコーダ
５３４ 参照画像メモリ
５３５ 予測器
５４０ 送信機
５４３ コーディング済ビデオシーケンス
５４５ エントロピーコーダ
５５０ コントローラ
５６０ 通信チャネル
６０３ ビデオエンコーダ
６２１ 汎用コントローラ
６２２ イントラエンコーダ
６２３ 残差計算器
６２４ 残差エンコーダ
６２５ エントロピーエンコーダ
６２６ スイッチ
６２８ 残差デコーダ
６３０ インターエンコーダ
７１０ ビデオデコーダ
７７１ エントロピーデコーダ
７７２ イントラデコーダ
７７３ 残差デコーダ
７７４ 再構築モジュール
７８０ インターデコーダ
１３０１ 行
１３０２ 行
１３０３ 行
１３０４ 行
１３０５ 行
１５００ 表
１９００ 表
２０００ 代替変換コーディングプロセス
２０１０ 順方向一次変換
２０１２ 順方向二次変換
２０１３ 係数ブロック
２０１６ ビットストリーム
２０２０ 逆一次変換
２０２２ 逆二次変換
２０２３ 係数ブロック
２０２４ 逆量子化
２１００ 代替変換コーディングプロセス
２２００ ＣＵレベルシンタックス表
２３０１ 縮小変換のプロセス
２３０２ 縮小逆変換のプロセス
２４１０ 残差ブロック
２５００ 表
２６００ ＭＩＰモードの例示的なプロセス
２６１０ 矩形ブロック
２６２１ サブサンプルされたセット
２６２２ 残りの位置
２７０１ フレーム
２８００ テキスト
２８０１ セクション
２８０２ セクション
２８０３ セクション
２８０４ 表
２８０５ 表
２９００ 修正
３０００ 修正
３１００ 修正
３２００ 修正
３３００ 修正
３４００ 変換コーディングプロセス
３５００ 変換コーディングプロセス
３６００ 変換コーディングプロセス
３７００ コンピュータシステム
３７０１ キーボード
３７０２ マウス
３７０３ トラックパッド
３７０５ ジョイスティック
３７０６ マイクロフォン
３７０７ スキャナ
３７０８ カメラ
３７０９ スピーカ
３７１０ タッチスクリーン
３７２０ ＣＤ／ＤＶＤ ＲＯＭ／ＲＷ
３７２１ 媒体
３７２２ サムドライブ
３７２３ ソリッドステートドライブ
３７４０ コア
３７４１ 中央処理装置（ＣＰＵ）
３７４２ グラフィック処理装置（ＧＰＵ）
３７４３ フィールドプログラマブルゲートエリア（ＦＰＧＡ）
３７４４ ハードウェアアクセラレータ
３７４５ 読取り専用メモリ（ＲＯＭ）
３７４６ ランダムアクセスメモリ
３７４７ 内部大容量記憶装置
３７４８ システムバス
３７４９ 周辺バス
２００ 通信システム
２１０ 端末装置
２２０ 端末装置
２３０ 端末装置
２４０ 端末装置
２５０ ネットワーク
３００ 通信システム
３０１ ビデオソース
３０２ ビデオ画像
３０３ ビデオエンコーダ
３０４ エンコード済ビデオデータ
３０５ ストリーミングサーバー
３０６ クライアントサブシステム
３０７ コピー
３０８ クライアントサブシステム
３０９ コピー
３１０ ビデオデコーダ
３１１ ビデオ画像
３１２ ディスプレイ
３１３ キャプチャサブシステム
３２０ 電子デバイス
３３０ 電子デバイス
４０１ チャネル
４１０ ビデオデコーダ
４１２ レンダリングデバイス
４１５ バッファメモリ
４２０ パーサー
４２１ シンボル
４３０ 電子デバイス
４３１ 受信機
４５１ スケーラ／逆変換ユニット
４５２ イントラ画像予測ユニット
４５３ 動き補償予測ユニット
４５５ アグリゲータ
４５６ ループフィルタユニット
４５７ 参照画像メモリ
４５８ 現在の画像バッファ
５０１ ビデオソース
５０３ ビデオエンコーダ
５２０ 電子デバイス
５３０ ソースコーダ
５３２ コーディングエンジン
５３３ ローカルビデオデコーダ
５３４ 参照画像メモリ
５３５ 予測器
５４０ 送信機
５４３ コーディング済ビデオシーケンス
５４５ エントロピーコーダ
５５０ コントローラ
５６０ 通信チャネル
６０３ ビデオエンコーダ
６２１ 汎用コントローラ
６２２ イントラエンコーダ
６２３ 残差計算器
６２４ 残差エンコーダ
６２５ エントロピーエンコーダ
６２６ スイッチ
６２８ 残差デコーダ
６３０ インターエンコーダ
７１０ ビデオデコーダ
７７１ エントロピーデコーダ
７７２ イントラデコーダ
７７３ 残差デコーダ
７７４ 再構築モジュール
７８０ インターデコーダ
１３０１ 行
１３０２ 行
１３０３ 行
１３０４ 行
１３０５ 行
１５００ 表
１９００ 表
２０００ 代替変換コーディングプロセス
２０１０ 順方向一次変換
２０１２ 順方向二次変換
２０１３ 係数ブロック
２０１６ ビットストリーム
２０２０ 逆一次変換
２０２２ 逆二次変換
２０２３ 係数ブロック
２０２４ 逆量子化
２１００ 代替変換コーディングプロセス
２２００ ＣＵレベルシンタックス表
２３０１ 縮小変換のプロセス
２３０２ 縮小逆変換のプロセス
２４１０ 残差ブロック
２５００ 表
２６００ ＭＩＰモードの例示的なプロセス
２６１０ 矩形ブロック
２６２１ サブサンプルされたセット
２６２２ 残りの位置
２７０１ フレーム
２８００ テキスト
２８０１ セクション
２８０２ セクション
２８０３ セクション
２８０４ 表
２８０５ 表
２９００ 修正
３０００ 修正
３１００ 修正
３２００ 修正
３３００ 修正
３４００ 変換コーディングプロセス
３５００ 変換コーディングプロセス
３６００ 変換コーディングプロセス
３７００ コンピュータシステム
３７０１ キーボード
３７０２ マウス
３７０３ トラックパッド
３７０５ ジョイスティック
３７０６ マイクロフォン
３７０７ スキャナ
３７０８ カメラ
３７０９ スピーカ
３７１０ タッチスクリーン
３７２０ ＣＤ／ＤＶＤ ＲＯＭ／ＲＷ
３７２１ 媒体
３７２２ サムドライブ
３７２３ ソリッドステートドライブ
３７４０ コア
３７４１ 中央処理装置（ＣＰＵ）
３７４２ グラフィック処理装置（ＧＰＵ）
３７４３ フィールドプログラマブルゲートエリア（ＦＰＧＡ）
３７４４ ハードウェアアクセラレータ
３７４５ 読取り専用メモリ（ＲＯＭ）
３７４６ ランダムアクセスメモリ
３７４７ 内部大容量記憶装置
３７４８ システムバス
３７４９ 周辺バス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図8C】
【図8D】
【図9A】
【図9B】
【図9C】
【図9D】
【図10】
【図11】
【図12】
【図13A】
【図13B】
【図13C】
【図13D】
【図13E】
【図14】
【図15】
【図16A】
【図16B】
【図16C】
【図16D】
【図17A】
【図17B】
【図17C】
【図17D】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24A】
【図24B】
【図25】
【図26】
【図27】
【図28A】
【図28B】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【外国語明細書】