特表2023-553921探索範囲切り替えを用いたイントラブロックコピーモードコーディングのための方法および装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-26
(54)【発明の名称】探索範囲切り替えを用いたイントラブロックコピーモードコーディングのための方法および装置
(51)【国際特許分類】
H04N 19/593 20140101AFI20231219BHJP
H04N 19/11 20140101ALI20231219BHJP
H04N 19/176 20140101ALI20231219BHJP
H04N 19/157 20140101ALI20231219BHJP
H04N 19/46 20140101ALI20231219BHJP
【ＦＩ】
H04N19/593
H04N19/11
H04N19/176
H04N19/157
H04N19/46
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023535039
(86)(22)【出願日】2022-04-13
(85)【翻訳文提出日】2023-06-08
(86)【国際出願番号】 US2022024630
(87)【国際公開番号】W WO2023043494
(87)【国際公開日】2023-03-23
(31)【優先権主張番号】63/245,665
(32)【優先日】2021-09-17
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/704,948
(32)【優先日】2022-03-25
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】シャオジョン・シュ
(72)【発明者】
【氏名】シン・ジャオ
(72)【発明者】
【氏名】シャン・リュウ
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159MA04
5C159MA05
5C159MC11
5C159ME01
5C159PP04
5C159RC11
5C159TA31
5C159TB08
5C159TC24
5C159TC42
5C159UA02
5C159UA05
(57)【要約】
本開示は、一般に、ビデオコーディング、より詳細にはイントラブロックコピーコーディングモードに関する。例えば、ビデオストリーム内のビデオブロックを再構成するための方法が開示される。本方法は、ビデオストリームから少なくとも1つの構文要素を抽出するステップであって、少なくとも1つの構文要素は、ビデオブロックのイントラブロックコピー（IBC）予測に関連付けられている、ステップと、ビデオブロックのIBC予測のためのIBC参照モードを決定するステップであって、IBC参照モードは、IBCなしモード、ローカル参照IBCモード、非ローカル参照IBCモード、ならびにローカルおよび非ローカル参照IBCモードのうちの1つを備える、ステップと、IBC参照モードに基づいてビデオストリームからビデオブロックの再構成サンプルを生成するステップと、を含む。
【特許請求の範囲】
【請求項1】
ビデオストリーム内のビデオブロックを再構成するための方法であって、前記ビデオストリームを受信するステップと、
前記ビデオストリームから少なくとも1つの構文要素を抽出するステップであって、前記少なくとも1つの構文要素は、前記ビデオブロックのイントラブロックコピー（IBC）予測に関連付けられている、ステップと、
前記ビデオブロックの前記IBC予測のためのIBC参照モードを決定するステップであって、前記IBC参照モードは、IBCなしモード、ローカル参照IBCモード、非ローカル参照IBCモード、ならびにローカルおよび非ローカル参照IBCモードのうちの1つを備える、ステップと、
前記IBC参照モードに基づいて前記ビデオストリームから前記ビデオブロックの再構成サンプルを生成するステップと、を含む、方法。
【請求項2】
前記ビデオブロックは、複数のビデオブロックを備える現在のIBC予測ユニットに属する、請求項1に記載の方法。
【請求項3】
前記非ローカル参照IBCモードの場合、前記ビデオブロックの前記IBC予測の参照ブロックは、前記現在のIBC予測ユニットのコーディング方向において前記現在のIBC予測ユニットに隣接していない再構成フレーム内領域内の参照サンプルを備える、請求項2に記載の方法。
【請求項4】
前記ローカル参照IBCモードの場合、前記ビデオブロックの前記IBC予測の参照ブロックは、前記現在のIBC予測ユニットの隣接ユニットの所定のセット内の参照サンプルまたは前記現在のIBC予測ユニットで既に再構成されたビデオブロックを備える、請求項1から3のいずれか一項に記載の方法。
【請求項5】
前記隣接ユニットの所定のセットは、前記現在のIBC予測ユニットの単一の左隣のユニットを備える、請求項4に記載の方法。
【請求項6】
前記ローカル参照IBCモードの場合、前記IBC予測のための参照サンプルは、固定サイズのオンチップ参照サンプルメモリ（RSM）に維持される、請求項4に記載の方法。
【請求項7】
前記RSMの前記固定サイズは、1つのIBC予測ユニットのサイズに対応する、請求項6に記載の方法。
【請求項8】
前記RSMの第1の部分は、前記現在のIBC予測ユニットで既に再構成された前記ビデオブロックの対応するサンプルを備え、前記RSMの第2の部分は、前記隣接ユニットの所定のセットからの対応する再構成サンプルを備える、
請求項7に記載の方法。
【請求項9】
前記現在のIBC予測ユニット内の前記ビデオブロックに対応する前記RSM内の前記隣接ユニットの再構成サンプルを前記ビデオブロックの前記再構成サンプルに置き換えるステップをさらに含む、請求項8に記載の方法。
【請求項10】
前記現在のIBC予測ユニットは、所定の分割セットに分割され、前記ビデオブロックは、前記所定の分割セットのうちの現在の区分の再構成されるべき第1のコーディングブロックであり、
前記方法は、前記現在の区分に対応する前記RSMの区分を、前記ビデオブロックの再構成の前にIBC参照に利用できないものとしてリセットするステップをさらに含む、
請求項6に記載の方法。
【請求項11】
前記少なくとも1つの構文要素は、設定されているときにローカルIBC参照が有効であることを示すための第1のフラグと、設定されているときに非ローカル参照IBCが有効であることを示すための第2のフラグと、を備える、請求項1または2のいずれか一項に記載の方法。
【請求項12】
前記第1のフラグが設定され、前記第2のフラグが設定されていないことに応答して、前記IBC参照モードが前記ローカル参照IBCモードであると決定するステップと、前記第2のフラグが設定され、前記第1のフラグが設定されていないことに応答して、前記IBC参照モードが前記非ローカル参照IBCモードであると決定するステップと、
前記第1のフラグおよび前記第2のフラグの両方が設定されていないことに応答して、前記IBC参照モードが前記ローカルおよび非ローカル参照IBCモードであると決定するステップと、
前記第1のフラグおよび前記第2のフラグの両方が設定されていないことに応答して、前記IBC参照モードが前記IBCなしモードであると決定するステップと、をさらに含む、
請求項11に記載の方法。
【請求項13】
前記第1のフラグおよび前記第2のフラグは、コーディングブロックレベル、コーディングユニットレベル、コーディングツリーユニットレベル、スライスレベル、ピクチャレベル、またはシーケンスレベルで前記ビデオストリームでシグナリングされる、請求項11に記載の方法。
【請求項14】
前記少なくとも1つの構文要素は、前記ビデオブロックにIBCが使用されるかどうかを示すための第1のフラグを備える、請求項1または2のいずれか一項に記載の方法。
【請求項15】
前記ビデオブロックにIBCが使用されないことを示す前記第1のフラグに応答して、前記IBC参照モードが前記IBCなしモードであると決定するステップと、をさらに含む、請求項14に記載の方法。
【請求項16】
前記ビデオブロックにIBCが使用されることを示す前記第1のフラグに応答して、非ローカルIBC参照が使用されるかどうかを示すための第2のフラグを前記少なくとも1つの構文要素の一部としてさらに抽出するステップと、非ローカルIBC参照が使用されないことを示す前記第2のフラグに応答して、前記ビデオブロックの前記IBC参照モードが前記ローカル参照IBCモードであると推測するステップと、をさらに含む、
請求項15に記載の方法。
【請求項17】
非ローカルIBC参照が使用されることを示す前記第2のフラグに応答して、ローカルIBC参照が使用されるかどうかを示すための第3のフラグを前記少なくとも1つの構文要素の一部としてさらに抽出するステップと、ローカルIBC参照が使用されることを示す前記第3のフラグに応答して、前記IBC参照モードが前記ローカルおよび非ローカル参照IBCモードであると決定するステップと、
ローカルIBC参照が使用されないことを示す前記第3のフラグに応答して、前記IBC参照モードが前記非ローカル参照IBCモードであると決定するステップと、をさらに含む、
請求項16に記載の方法。
【請求項18】
ループフィルタリング処理は、前記IBC参照モードが前記ローカル参照IBCモードであるときに有効にされ、前記ループフィルタリング処理は、前記IBC参照モードが前記非ローカル参照IBCモードまたは前記ローカルおよび非ローカル参照IBCモードであるときに無効にされる、
請求項1から3のいずれか一項に記載の方法。
【請求項19】
前記ループフィルタ処理が有効であるかどうかは、前記IBC参照モードをシグナリングするための前記少なくとも1つの構文要素から導出される、請求項18に記載の方法。
【請求項20】
ビデオストリーム内のビデオブロックを再構成するためのビデオ処理デバイスであって、コンピュータ命令を記憶するためのメモリと、前記コンピュータ命令を実行して、前記ビデオストリームから少なくとも1つの構文要素を抽出することであって、前記少なくとも1つの構文要素は、前記ビデオブロックのイントラブロックコピー（IBC）予測に関連付けられている、抽出することと、
前記ビデオブロックの前記IBC予測のためのIBC参照モードを決定することであって、前記IBC参照モードは、IBCなしモード、ローカル参照IBCモード、非ローカル参照IBCモード、ならびにローカルおよび非ローカル参照IBCモードのうちの1つを備える、決定することと、
前記IBC参照モードに基づいて前記ビデオストリームから前記ビデオブロックの再構成サンプルを生成することと、を行うためのプロセッサと、を備える、ビデオ処理デバイス。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2021年9月17日に出願された「Method and Apparatus for Intra Block Copy（IntraBC）Mode Coding with Search Range Switching」と題する米国仮特許出願第63／245，665号に基づいて優先権の利益を主張する、2022年3月25日に出願された米国非仮特許出願第17／704，948号に基づいて優先権を主張する。両方の先行特許出願とも、その全体が参照により本明細書に組み込まれる。
本出願は、2021年9月17日に出願された「Method and Apparatus for Intra Block Copy（IntraBC）Mode Coding with Search Range Switching」と題する米国仮特許出願第63／245，665号に基づいて優先権の利益を主張する、2022年3月25日に出願された米国非仮特許出願第17／704，948号に基づいて優先権を主張する。両方の先行特許出願とも、その全体が参照により本明細書に組み込まれる。
【0002】
本開示は、一般に、ビデオコーディング、より詳細にはイントラブロックコピーコーディングモードに関する。
【背景技術】
【0003】
本明細書で提供される背景技術の説明は、本開示の文脈を一般的に提示することを目的としている。本発明者らの研究は、その研究がこの背景技術の項に記載されている限りにおいて、またそれ以外の本出願の出願時に先行技術として認められない可能性のある説明の態様と共に、本開示に対する先行技術としては明示的にも暗示的にも認められない。
【0004】
ビデオコーディングおよびビデオ復号は、動き補償を伴うインターピクチャ予測を使用して実行され得る。非圧縮デジタルビデオは、一連のピクチャを含むことができ、各ピクチャは、例えば1920×1080の輝度サンプルおよび関連するフルサンプリングまたはサブサンプリングされた色差サンプルの空間次元を有する。一連のピクチャは、例えば毎秒60ピクチャまたは毎秒60フレームの固定または可変のピクチャレート（あるいはフレームレートとも呼ばれる）を有することができる。非圧縮ビデオは、ストリーミングまたはデータ処理のための特定のビットレート要件を有する。例えば、1920×1080の画素解像度、60フレーム／秒のフレームレート、および色チャネルあたり画素あたり8ビットで4：2：0のクロマサブサンプリングを有するビデオは、1．5Gbit／sに近い帯域幅を必要とする。1時間分のそのようなビデオは、600GByteを超える記憶空間を必要とする。
【0005】
ビデオコーディングおよびビデオ復号の1つの目的は、圧縮による非圧縮入力ビデオ信号の冗長性の低減であり得る。圧縮は、前述の帯域幅および／または記憶空間要件を、場合によっては2桁以上低減させるのに役立ち得る。可逆圧縮と非可逆圧縮の両方、およびそれらの組み合わせを使用することができる。可逆圧縮とは、原信号の正確なコピーを復号プロセスによって圧縮された原信号から再構成することができる技術を指す。非可逆圧縮とは、元のビデオ情報がコーディング時に完全に保持されず、復号時に完全に回復できないコーディング／復号プロセスを指す。非可逆圧縮を使用する場合、再構成された信号は原信号と同一ではない可能性があるが、原信号と再構成された信号との間の歪みは、多少の情報損失はあっても、再構成された信号を意図された用途に役立てるのに十分なほど小さくなる。ビデオの場合、非可逆圧縮が多くの用途で広く採用されている。耐容できる歪みの量は用途に依存する。例えば、特定の消費者ビデオストリーミング用途のユーザは、映画やテレビ放送用途のユーザよりも高い歪みを容認し得る。特定のコーディングアルゴリズムによって達成可能な圧縮比を、様々な歪み耐性を反映するように選択または調整することができる。すなわち、一般に、歪み耐性が高いほど、高い損失および高い圧縮比をもたらすコーディングアルゴリズムが可能になる。
【0006】
ビデオエンコーダおよびビデオデコーダは、例えば、動き補償、フーリエ変換、量子化、およびエントロピーコーディングを含む、いくつかの広範なカテゴリおよびステップからの技術を利用することができる。
【0007】
ビデオコーデック技術は、イントラコーディングとして知られる技術を含み得る。イントラコーディングでは、サンプル値は、以前に再構成された参照ピクチャからのサンプルまたは他のデータを参照せずに表される。一部のビデオコーデックでは、ピクチャがサンプルのブロックに、空間的に細分される。サンプルのすべてのブロックがイントラモードでコーディングされる場合、そのピクチャをイントラピクチャと呼ぶことができる。イントラピクチャおよび独立したデコーダリフレッシュピクチャなどのそれらの派生ピクチャは、デコーダ状態をリセットするために使用することができ、したがって、コーディングされたビデオビットストリームおよびビデオセッション内の最初のピクチャとして、または静止画像として使用することができる。次いで、イントラ予測後のブロックのサンプルに周波数領域への変換を施すことができ、そのように生成された変換係数をエントロピーコーディングの前に量子化することができる。イントラ予測は、変換前領域におけるサンプル値を最小化する技術を表す。場合によっては、変換後のDC値が小さいほど、およびAC係数が小さいほど、エントロピーコーディング後のブロックを表すために所与の量子化ステップサイズで必要とされるビット数が少なくなる。
【0008】
例えば、MPEG－2生成コーディング技術から知られているような従来のイントラコーディングは、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、例えば、空間的隣接のコーディングおよび／または復号時に取得される、イントラコーディングまたはイントラ復号されているデータのブロックに復号順序で先行する、周囲のサンプルデータおよび／またはメタデータに基づいて、ブロックのコーディング／復号を試みる技術を含む。そのような技術を、これ以降、「イントラ予測」技術と呼ぶ。少なくともいくつかの場合において、イントラ予測は、再構成中の現在のピクチャのみからの参照データを使用し、他の参照ピクチャからの参照データは使用しないことに留意されたい。
【0009】
イントラ予測には、多くの異なる形態があり得る。そのような技術のうちの2つ以上が所与のビデオコーディング技術において利用可能である場合、使用される技術を、イントラ予測モードと呼ぶことができる。1つまたは複数のイントラ予測モードが特定のコーデックで提供され得る。特定の場合には、モードは、サブモードを有することができ、かつ／または様々なパラメータと関連付けられていてもよく、モード／サブモード情報およびビデオのブロックのイントラコーディングパラメータは、個別にコーディングされるか、またはまとめてモードのコードワードに含めることができる。所与のモード、サブモード、および／またはパラメータの組み合わせにどのコードワードを使用するかは、イントラ予測を介したコーディング効率向上に影響を与える可能性があり、そのため、コードワードをビットストリームに変換するために使用されるエントロピーコーディング技術も影響を与える可能性がある。
【0010】
イントラ予測の特定のモードは、H．264で導入され、H．265で改良され、共同探索モデル（JEM）、多用途ビデオコーディング（VVC）、およびベンチマークセット（BMS）などのより新しいコーディング技術でさらに改良された。一般に、イントラ予測では、利用可能になった隣接サンプル値を使用して予測子ブロックを形成することができる。例えば、特定の方向および／または線に沿った特定の隣接サンプルセットの利用可能な値が、予測子ブロックにコピーされ得る。使用される方向への参照は、ビットストリーム内でコーディングされることができるか、またはそれ自体が予測され得る。
【0011】
図1Aを参照すると、右下に示されているのは、（H．265で指定される35のイントラモードのうちの33の角度モードに対応する）H．265の33の可能なイントラ予測子方向で指定される9つの予測子方向のサブセットである。矢印が集中する点（101）は、予測されているサンプルを表す。矢印は、隣接サンプルがそこから101のサンプルを予測するために使用される方向を表す。例えば、矢印（102）は、サンプル（101）が、1つまたは複数の隣接サンプルから右上へ、水平方向から45度の角度で予測されることを示している。同様に、矢印（103）は、サンプル（101）が、1つまたは複数の隣接サンプルからサンプル（101）の左下へ、水平方向から22．5度の角度で予測されることを示している。
【0012】
さらに図1Aを参照すると、左上には、（太い破線によって示された）4×4サンプルの正方形ブロック（104）が描写されている。正方形ブロック（104）は16個のサンプルを含み、各々、「S」、Y次元のその位置（例えば、行インデックス）、およびX次元のその位置（例えば、列インデックス）でラベル付けされている。例えば、サンプルS21は、Y次元の（上から）2番目のサンプルであり、X次元の（左から）1番目のサンプルである。同様に、サンプルS44は、ブロック（104）内のY次元およびX次元の両方の4番目のサンプルである。ブロックのサイズは4×4サンプルであるため、S44は右下にある。同様の番号付け方式に従う参照サンプルの例がさらに示されている。参照サンプルは、R、ブロック（104）に対するそのY位置（例えば、行インデックス）およびX位置（列インデックス）でラベル付けされている。H．264とH．265の両方で、再構成中のブロックに隣接する予測サンプルが使用される。
【0013】
ブロック104のイントラピクチャ予測は、シグナリングされた予測方向に従って隣接サンプルから参照サンプル値をコピーすることから開始し得る。例えば、コーディングされたビデオビットストリームは、このブロック104について、矢印（102）の予測方向を示すシグナリングを含む、すなわち、サンプルは1つまたは複数の予測サンプルから右上へ、水平方向から45度の角度で予測されると仮定する。そのような場合、サンプルS41、S32、S23、S14が、同じ参照サンプルR05から予測される。次いで、サンプルS44が、参照サンプルR08から予測される。
【0014】
特定の場合には、参照サンプルを計算するために、特に方向が45度によって均等に割り切れないときは、複数の参照サンプルの値は、例えば補間によって組み合わされてもよい。
【0015】
可能な方向の数は、ビデオコーディング技術が発展し続けるにつれて増加してきた。H．264（2003年）では、例えば、9つの異なる方向がイントラ予測に利用可能である。これは、H．265（2013年）では33まで増加し、JEM／VVC／BMSは、本開示の時点で、最大65の方向をサポートすることができる。最も適切なイントラ予測方向を特定するのに役立つ実験研究が行われており、エントロピーコーディングの特定の技術を使用して、方向についての特定のビットペナルティを受け入れて、それらの最も適切な方向が少数のビットでコーディングされ得る。さらに、方向自体を、復号された隣接ブロックのイントラ予測で使用された隣接する方向から予測できる場合もある。
【0016】
図1Bに、時間の経過と共に発展した様々なエンコーディング技術における増加する予測方向の数を例示するために、JEMによる65のイントラ予測方向を示す概略図（180）を示す。
【0017】
コーディングされたビデオビットストリームにおけるイントラ予測方向を表すビットの予測方向へのマッピングのための方法は、ビデオコーディング技術によって異なる可能性があり、例えば、予測方向対イントラ予測モードの単純な直接マッピングから、コードワード、最確モードを含む複雑な適応方式、および同様の技術にまでおよび得る。ただし、すべての場合において、他の特定の方向よりもビデオコンテンツで発生する可能性が統計的に低いイントラ予測の特定の方向が存在し得る。ビデオ圧縮の目的は冗長性の低減であるため、うまく設計されたビデオコーディング技術においては、それらのより可能性の低い方向はより可能性の高い方向よりも多くのビット数で表され得る。
【0018】
インターピクチャ予測、またはインター予測は、動き補償に基づくものあり得る。動き補償では、以前に再構成されたピクチャまたはその一部（参照ピクチャ）からのサンプルデータが、動きベクトル（これ以降はMV）によって示される方向に空間的にシフトされた後、新たに再構成されたピクチャまたはピクチャ部分（例えば、ブロック）の予測に使用され得る。場合によっては、参照ピクチャは、現在再構成中のピクチャと同じであり得る。MVは、2つの次元XおよびY、または3つの次元を有していてもよく、第3の次元は、（時間次元と類似した）使用される参照ピクチャの指示である。
【0019】
いくつかのビデオ圧縮技術では、サンプルデータの特定のエリアに適用可能な現在のMVを、他のMVから、例えば再構成中のエリアに空間的に隣接し、復号順序で現在のMVに先行する、サンプルデータの他のエリアに関連する他のMVから予測することができる。そうすることにより、相関するMVの冗長性の除去に依拠することによってMVをコーディングするのに必要とされる全体のデータ量を大幅に削減することができ、それによって圧縮効率が高まる。MV予測が効果的に機能することができるのは、例えば、（自然なビデオとして知られている）カメラから導出された入力ビデオ信号をコーディングするときに、単一のMVが適用可能なエリアよりも大きいエリアは、ビデオシーケンスにおいて同様の方向に移動する統計的尤度があり、したがって、場合によっては、隣接するエリアのMVから導出された同様の動きベクトルを使用して予測することができるからである。その結果として、所与のエリアの実際のMVが周囲のMVから予測されたMVと同様または同一になる。そのようなMVはさらに、エントロピーコーディング後に、MVが（1つまたは複数の）隣接するMVから予測されるのではなく直接コーディングされた場合に使用されることになるビット数よりも少ないビット数で表され得る。場合によっては、MV予測を、原信号（すなわち、サンプルストリーム）から導出された信号（すなわち、MV）の可逆圧縮の一例とすることができる。他の場合には、例えば、いくつかの周囲のMVから予測器を計算するときの丸め誤差のために、MV予測自体は非可逆であり得る。
【0020】
様々なMV予測メカニズムが、H．265／HEVC（ITU－T Rec．H．265、「High Efficiency Video Coding」、2016年12月）に記載されている。H．265が指定する多くのMV予測機構のうち、以下で説明するのは、これ以降「空間マージ」と呼ぶ技術である。
【0021】
具体的には、図2を参照すると、現在のブロック（201）は、動き探索プロセス中にエンコーダによって、空間的にシフトされた同じサイズの前のブロックから予測可能であると検出されたサンプルを含む。そのMVを直接コーディングする代わりに、MVを、A0、A1、およびB0、B1、B2（それぞれ202から206）で表された5つの周囲のサンプルのいずれか1つと関連付けられたMVを使用して、1つまたは複数の参照ピクチャと関連付けられたメタデータから、例えば、（復号順序で）最後の参照ピクチャから導出することができる。H．265では、MV予測は、隣接ブロックが使用しているのと同じ参照ピクチャからの予測子を使用することができる。
【発明の概要】
【課題を解決するための手段】
【0022】
本開示の態様は、一般に、ビデオコーディング、より詳細にはイントラブロックコピーコーディングモードに関する。いくつかの例示的実装形態では、TBD。
【0023】
本開示の態様はまた、上記の方法実装形態のいずれかを実行するように構成された回路を含むビデオコーディングまたは復号デバイスまたは装置を提供する。
【0024】
本開示の態様はまた、ビデオデコーディングおよび／またはビデオエンコーディングのためにコンピュータによって実行されると、コンピュータにビデオデコーディングおよび／またはビデオエンコーディングのための方法を実行させる命令を格納する非一時的コンピュータ可読媒体も提供する。
【0025】
開示された主題のさらなる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになるであろう。
【図面の簡単な説明】
【0026】
【図1A】イントラ予測方向モードの典型的な部分集合の概略図を示す。
【図1B】典型的なイントラ予測方向の図を示す。
【図2】一例における対象のブロックと、動きベクトル予測に用いられる、対象のブロックの周囲の空間的マージ候補との概略図を示す。
【図3】一例示的実施形態による通信システム（300）の簡略化されたブロック図を示す概略図である。
【図4】一例示的実施形態による通信システム（400）の簡略化されたブロック図を示す概略図である。
【図5】一例示的実施形態によるビデオデコーダの簡略化されたブロック図を示す概略図である。
【図6】一例示的実施形態によるビデオエンコーダの簡略化されたブロック図を示す概略図である。
【図7】別の例示的実施形態によるビデオエンコーダを示すブロック図である。
【図8】別の例示的実施形態によるビデオデコーダを示すブロック図である。
【図9】本開示の例示的実施形態によるコーディングブロック分割の方式を示す図である。
【図10】本開示の例示的実施形態によるコーディングブロック分割の別の方式を示す図である。
【図11】本開示の例示的実施形態によるコーディングブロック分割の別の方式を示す図である。
【図12】例示的な分割方式によるベースブロックのコーディングブロックへの分割の一例を示す図である。
【図13】例示的な三分割方式を示す図である。
【図14】例示的な四分木二分木コーディングブロック分割方式を示す図である。
【図15】本開示の例示的実施形態による、コーディングブロックを複数の変換ブロックに分割する方式および変換ブロックのコーディング順序を示す図である。
【図16】本開示の例示的実施形態による、コーディングブロックを複数の変換ブロックに分割する別の方式および変換ブロックのコーディング順序を示す図である。
【図17】本開示の例示的実施形態による、コーディングブロックを複数の変換ブロックに分割する別の方式を示す図である。
【図18】現在のコーディングブロックを予測するために同じフレーム内の再構成されたコーディングブロックを使用するイントラブロックコピー（IBC）の概念を例示する図である。
【図19】IBCの参照サンプルとして利用可能な例示的な再構成サンプルを示す図である。
【図20】いくつかの例示的な制限を有するIBCの参照サンプルとして利用可能な例示的な再構成サンプルを示す図である。
【図21】IBCの例示的なオンチップ参照サンプルメモリ（RSM）更新機構を例示する図である。
【図23】IBCの別の例示的なオンチップ参照サンプルメモリ（RSM）更新機構を例示する図である。
【図24】水平方向に分割されたスーパーブロックおよび垂直方向に分割されたスーパーブロックのためのIBCの例示的なRSM更新機構の空間図の比較を例示する図である。
【図25】IBC参照ブロックの例示的な非ローカルおよびローカル探索領域を例示する図である。
【図26】ローカルおよび非ローカル参照ブロック探索領域の両方を用いるIBCの参照ブロックの位置の制限の例を例示する図である。
【図27】本開示の一例示的実施形態による方法を示すフローチャートである。
【図28】本開示の例示的実施形態によるコンピュータシステムを示す概略図である。
【発明を実施するための形態】
【0027】
次に、本発明の一部を形成し、実施形態の具体例を例示として示す添付の図面を参照して本発明を以下で詳細に説明する。しかしながら、本発明は、様々な異なる形態で具体化されてもよく、したがって、対象として含まれるまたは特許請求される主題は、以下に記載される実施形態のいずれにも限定されないと解釈されることが意図されていることに留意されたい。また本発明は、方法、装置、構成要素、またはシステムとして具体化され得ることにも留意されたい。したがって、本発明の実施形態は、例えば、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせの形態をとり得る。
【0028】
本明細書および特許請求の範囲を通して、用語は、明示的に記載される意味を超えて文脈において示唆または暗示される微妙な意味を有し得る。本明細書で使用される「一実施形態では」または「いくつかの実施形態では」という語句は、必ずしも同じ実施形態を指すものではなく、本明細書で使用される「別の実施形態では」または「他の実施形態では」という語句は、必ずしも異なる実施形態を指すものではない。同様に、本明細書で使用される「一実装形態では」または「いくつかの実装形態では」という語句は、必ずしも同じ実装形態を指すものではなく、本明細書で使用される「別の実装形態では」または「他の実装形態では」という語句は、必ずしも異なる実装形態を指すものではない。例えば、特許請求される主題は、例示的な実施形態／実装形態の全部または一部の組み合わせを含むことが意図されている。
【0029】
一般に、用語は、文脈における用法から少なくとも部分的に理解され得る。例えば、本明細書で使用される「および」、「または」、または「および／または」などの用語は、そのような用語が使用される文脈に少なくとも部分的に依存し得る様々な意味を含み得る。典型的には、A、BまたはCなどのリストを関連付けるために使用される場合の「または」は、ここでは包括的な意味で使用されるA、BおよびC、ならびにここでは排他的な意味で使用されるA、BまたはCを意味することを意図されている。さらに、本明細書で使用される「1つまたは複数」または「少なくとも1つ」という用語は、文脈に少なくとも部分的に依存して、単数の意味で任意の特徴、構造、もしくは特性を記述するために使用され得るか、または複数の意味で特徴、構造、もしくは特性の組み合わせを記述するために使用され得る。同様に、「a」、「an」、または「the」などの用語もやはり、文脈に少なくとも部分的に依存して、単数形の用法を伝えるか、または複数形の用法を伝えると理解され得る。さらに、「に基づいて」または「によって決定される」という用語は、必ずしも排他的な要因のセットを伝えることを意図されていないと理解され、代わりに、やはり文脈に少なくとも部分的に依存して、必ずしも明示的に説明されていない追加の要因の存在を許容する場合もある。
【0030】
図3は、本開示の一実施形態による、通信システム（300）の簡略化されたブロック図を示す。通信システム（300）は、例えば、ネットワーク（350）を介して互いに通信することができる複数の端末デバイスを含む。例えば、通信システム（300）は、ネットワーク（350）を介して相互接続された第1の対の端末デバイス（310）および（320）を含む。図3の例では、第1の対の端末デバイス（310）および（320）は、データの単方向伝送を実行し得る。例えば、端末デバイス（310）は、ネットワーク（350）を介して他方の端末デバイス（320）に送信するための（例えば、端末デバイス（310）によって取り込まれたビデオピクチャのストリームの）ビデオデータをコーディングし得る。エンコーディングされたビデオデータは、1つまたは複数のコーディングされたビデオビットストリームの形で送信され得る。端末デバイス（320）は、ネットワーク（350）からコーディングされたビデオデータを受信し、コーディングされたビデオデータを復号してビデオピクチャを復元し、復元されたビデオデータに従ってビデオピクチャを表示し得る。単方向データ伝送は、メディアサービング用途などで実施され得る。
【0031】
別の例では、通信システム（300）は、例えばビデオ会議用途の間に実施され得るコーディングされたビデオデータの双方向伝送を実行する第2の対の端末デバイス（330）および（340）を含む。データの双方向伝送のために、一例では、端末デバイス（330）および（340）の各端末デバイスは、ネットワーク（350）を介して端末デバイス（330）および（340）の他方の端末デバイスに送信するための（例えば、その端末デバイスによって取り込まれたビデオピクチャのストリームの）ビデオデータをコーディングし得る。端末デバイス（330）および（340）の各端末デバイスはまた、端末デバイス（330）および（340）の他方の端末デバイスによって送信されたコーディングされたビデオデータを受信し、コーディングされたビデオデータを復号してビデオピクチャを復元し、復元されたビデオデータに従ってアクセス可能な表示デバイスでビデオピクチャを表示し得る。
【0032】
図3の例では、端末デバイス（310）、（320）、（330）、および（340）は、サーバ、パーソナルコンピュータ、およびスマートフォンとして実施され得るが、本開示の基礎となる原理の適用性はそのように限定されない。本開示の実施形態は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、ウェアラブルコンピュータ、専用のビデオ会議機器などにおいて実装され得る。ネットワーク（350）は、例えば配線（有線）および／または無線通信ネットワークを含む、端末装置（310）、（320）、（330）および（340）間で、コーディングされた動画データを伝達する任意の個数のネットワークや任意のタイプのネットワークを表す。通信ネットワーク（350）9は回線交換チャネル、パケット交換チャネルおよび／または他のタイプのチャネルでデータを交換してもよい。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、広域ネットワークおよび／またはインターネットを含む。本考察の目的にとって、ネットワーク（350）のアーキテクチャおよびトポロジーは、本明細書で明示的に説明されない限り、本開示の動作にとって重要ではない場合がある。
【0033】
図4に、開示の主題の用途の一例として、ビデオストリーミング環境におけるビデオエンコーダおよびビデオデコーダの配置を示す。開示の主題は、例えば、ビデオ会議、デジタルテレビ放送、ゲーム、仮想現実、CD、DVD、メモリスティックなどを含むデジタルメディア上の圧縮ビデオの格納などを含む、他のビデオ対応用途に等しく適用され得る。
【0034】
ビデオストリーミングシステムは、圧縮されていないビデオピクチャまたは画像のストリーム（402）を作成するためのビデオソース（401）、例えばデジタルカメラを含むことができるビデオ取り込みサブシステム（413）を含み得る。一例では、ビデオピクチャのストリーム（402）は、ビデオソース401のデジタルカメラによって記録されたサンプルを含む。ビデオピクチャのストリーム（402）は、エンコーディングされたビデオデータ（404）（またはコーディングされたビデオビットストリーム）と比較した場合の高データ量を強調するために太線で示されており、ビデオソース（401）に結合されたビデオエンコーダ（403）を含む電子デバイス（420）によって処理され得る。ビデオエンコーダ（403）は、以下でより詳細に説明されるように開示の主題の態様を可能にし、または実装するために、ハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。エンコーディングされたビデオデータ（404）（またはエンコーディングされたビデオビットストリーム（404））は、非圧縮ビデオピクチャのストリーム（402）と比較した場合の低データ量を強調するために細線で示されており、将来の使用のためにストリーミングサーバ（405）に、または下流のビデオデバイス（図示せず）に直接格納され得る。図4のクライアントサブシステム（406）および（408）などの1つまたは複数のストリーミングクライアントサブシステムは、ストリーミングサーバ（405）にアクセスして、エンコーディングされたビデオデータ（404）のコピー（407）および（409）を取得することができる。クライアントサブシステム（406）は、例えば電子デバイス（430）内のビデオデコーダ（410）を含むことができる。ビデオデコーダ（410）は、エンコーディングされたビデオデータの入力コピー（407）を復号し、圧縮されていない、ディスプレイ（412）（例えば、表示画面）または他のレンダリングデバイス（図示せず）上にレンダリングすることができるビデオピクチャの出力ストリーム（411）を作成する。ビデオデコーダ410は、本開示に記載される様々な機能の一部または全部を実行するように構成され得る。一部のストリーミングシステムでは、エンコーディングされたビデオデータ（404）、（407）、および（409）（例えば、ビデオビットストリーム）を、特定のビデオコーディング／圧縮規格に従ってエンコーディングすることができる。それらの規格の例には、ITU－T勧告H．265が含まれる。一例では、開発中のビデオコーディング規格は、多用途ビデオコーディング（VVC）として非公式に知られている。開示の主題は、VVC、および他のビデオコーディング規格の文脈で使用され得る。
【0035】
電子機器（420）および（430）は、他の構成要素（図示せず）を含み得ることに留意されたい。例えば、電子機器（420）はビデオデコーダ（図示せず）を含むことができ、電子機器（430）はビデオエンコーダ（図示せず）も含むことができる。
【0036】
図5は、以下の本開示の任意の実施形態によるビデオデコーダ（510）のブロック図を示す。ビデオデコーダ（510）は、電子デバイス（530）に含めることができる。電子デバイス（530）は、受信機（531）（例えば、受信回路）を含むことができる。ビデオデコーダ（510）を、図4の例のビデオデコーダ（410）の代わりに使用することができる。
【0037】
受信機（531）は、ビデオデコーダ（510）によって復号されるべき1つまたは複数のコーディングされたビデオシーケンスを受信し得る。同じまたは別の実施形態では、一度に1つのコーディングされたビデオシーケンスが復号され得、各コーディングされたビデオシーケンスの復号は、他のコーディングされたビデオシーケンスから独立している。各ビデオシーケンスは、複数のビデオフレームまたはビデオ画像と関連付けられ得る。コーディングされたビデオシーケンスはチャネル（501）から受信され得、チャネル（501）は、エンコーディングされたビデオデータを格納する記憶デバイスへのハードウェア／ソフトウェアリンク、またはエンコーディングされたビデオデータを送信するストリーミングソースであり得る。受信機（531）は、コーディングされたビデオデータを、それぞれの処理回路（図示せず）に転送され得る、コーディングされたオーディオデータおよび／または補助データストリームなどの他のデータと共に受信し得る。受信機（531）は、コーディングされたビデオシーケンスを他のデータから分離し得る。ネットワークジッタに対抗するために、バッファメモリ（515）が、受信機（531）とエントロピーデコーダ／パーサ（520）（これ以降は「パーサ（520）」）との間に配置されてもよい。特定の用途では、バッファメモリ（515）は、ビデオデコーダ（510）の一部として実装され得る。他の用途では、バッファメモリ（515）は、ビデオデコーダ（510）から分離されて外部にあり得る（図示せず）。さらに他の用途では、例えばネットワークジッタに対抗するためにビデオデコーダ（510）の外部にバッファメモリ（図示せず）があってもよく、例えば再生タイミングを処理するためにビデオデコーダ（510）の内部に別のバッファメモリ（515）があり得る。受信機（531）が十分な帯域幅および可制御性の記憶／転送デバイスから、またはアイソシンクロナス（isosynchronous）ネットワークからデータを受信しているときには、バッファメモリ（515）は不要であり得るか、または小さくすることができる。インターネットなどのベストエフォートパケットネットワークで使用するために、十分なサイズのバッファメモリ（515）が必要とされる場合があり、そのサイズは比較的大きくなり得る。そのようなバッファメモリは、適応サイズで実装されてもよく、ビデオデコーダ（510）の外部のオペレーティングシステムまたは同様の要素（図示せず）に少なくとも部分的に実装されてもよい。
【0038】
ビデオデコーダ（510）は、コード化ビデオシーケンスからシンボル（521）を復元するためにパーサ（520）を含んでもよい。それらのシンボルのカテゴリは、ビデオデコーダ（510）の動作を管理するために使用される情報と、潜在的に、図5に示すように、電子デバイス（530）の不可欠な部分である場合もそうでない場合もあるが、電子デバイス（530）に結合することができるディスプレイ（512）（例えば、表示画面）などのレンダリングデバイスを制御するための情報とを含む。（1つまたは複数の）レンダリングデバイスのための制御情報は、補足拡張情報（SEIメッセージ）またはビデオユーザビリティ情報（VUI）パラメータセットフラグメント（図示せず）の形であり得る。パーサ（520）は、パーサ（520）によって受け取られるコーディングされたビデオシーケンスを構文解析／エントロピー復号し得る。コーディングされたビデオシーケンスのエントロピーコーディングは、ビデオコーディング技術または規格に従ったものとすることができ、可変長コーディング、ハフマンコーディング、文脈依存性ありまたはなしの算術コーディングなどを含む様々な原理に従ったものとすることができる。パーサ（520）は、コーディングされたビデオシーケンスから、サブグループに対応する少なくとも1つのパラメータに基づいて、ビデオデコーダ内の画素のサブグループのうちの少なくとも1つのサブグループパラメータのセットを抽出し得る。サブグループには、Groups of Pictures（GOP）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（CU）、ブロック、変換ユニット（TU）、予測ユニット（PU）などを含めることができる。パーサ（520）はまた、コーディングされたビデオシーケンスから、変換係数（例えば、フーリエ変換係数）、量子化パラメータ値、動きベクトルなどの情報も抽出し得る。
【0039】
解析器（520）は、シンボル（521）を作成するために、バッファメモリ（515）から受信したビデオシーケンスに対してエントロピー復号／解析動作を実行することができる。
【0040】
シンボル（521）の再構成は、コーディングされたビデオピクチャまたはその部分のタイプ（インターピクチャおよびイントラピクチャ、インターブロックおよびイントラブロックなど）、ならびに他の要因に応じて、複数の異なる処理ユニットまたは機能ユニットを含むことができる。含まれるユニットおよびユニットがどのように含まれるかは、パーサ（520）によってコーディングされたビデオシーケンスから構文解析されたサブグループ制御情報によって制御され得る。パーサ（520）と以下の複数の処理ユニットまたは機能ユニットとの間のそのようなサブグループ制御情報の流れは、簡潔にするために図示されていない。
【0041】
すでに述べられた機能ブロック以外に、ビデオデコーダ（510）は、以下に記載されるように、概念的にいくつかの機能ユニットに細分化することができる。商業的制約の下で動作する実際の実装形態では、これらの機能ユニットの多くは互いに密接に相互作用し、少なくとも部分的に、互いに統合され得る。しかしながら、開示の主題の様々な機能を明確に説明するために、以下の開示においては機能ユニットへの概念的細分を採用する。
【0042】
第1のユニットはスケーラ／逆変換ユニット（551）を含み得る。スケーラ／逆変換ユニット（551）は、量子化変換係数、ならびにどのタイプの逆変換を使用するかを示す情報、ブロックサイズ、量子化係数／パラメータ、量子化スケーリング行列などを含む制御情報を、パーサ（520）から（1つまたは複数の）シンボル（521）として受信し得る。スケーラ／逆変換ユニット（551）は、アグリゲータ（555）に入力することができるサンプル値を含むブロックを出力することができる。
【0043】
場合によっては、スケーラ／逆変換（551）の出力サンプルは、イントラコーディングされたブロック、すなわち、以前に再構成されたピクチャからの予測情報を使用しないが、現在のピクチャの以前に再構成された部分からの予測情報を使用することができるブロックに関係する場合がある。そのような予測情報を、イントラピクチャ予測ユニット（552）によって提供することができる。場合によっては、イントラピクチャ予測ユニット（552）は、既に再構成され、現在のピクチャバッファ（558）に格納されている周囲のブロックの情報を使用して、再構成中のブロックと同じサイズおよび形状のブロックを生成してもよい。現在のピクチャバッファ（558）は、例えば、部分的に再構成された現在のピクチャおよび／または完全に再構成された現在のピクチャをバッファする。アグリゲータ（555）は、いくつかの実装形態では、サンプルごとに、イントラ予測ユニット（552）が生成した予測情報を、スケーラ／逆変換ユニット（551）によって提供される出力サンプル情報に追加してもよい。
【0044】
他の場合には、スケーラ／逆変換ユニット（551）の出力サンプルは、インターコード化され、潜在的に動き補償されたブロックに関連する可能性がある。そのような場合、動き補償予測ユニット（553）は、参照ピクチャメモリ（557）にアクセスして、インターピクチャ予測に使用されるサンプルをフェッチすることができる。ブロックに関連するシンボル（521）に従ってフェッチされたサンプルを動き補償した後、これらのサンプルを、出力サンプル情報を生成するために、アグリゲータ（555）によってスケーラ／逆変換ユニット（551）の出力に追加することができる（ユニット551の出力は、残差サンプルまたは残差信号と呼ばれ得る）。動き補償予測ユニット（553）がそこから予測サンプルをフェッチする参照ピクチャメモリ（557）内のアドレスは、例えば、X成分、Y成分（シフト）、および参照ピクチャ成分（時間）を有することができるシンボル（521）の形で動き補償予測ユニット（553）が利用可能な、動きベクトルによって制御され得る。動き補償はまた、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリ（557）からフェッチされたサンプル値の補間も含んでいてもよく、動きベクトル予測機構などと関連付けられてもよい。
【0045】
アグリゲータ（555）の出力サンプルは、ループフィルタユニット（556）における様々なループフィルタ処理技術を適用することができる。ビデオ圧縮技術は、コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも言う）に含まれるパラメータによって制御され、パーサ（520）からのシンボル（521）としてループフィルタユニット（556）が利用可能なインループフィルタ技術を含むことができるが、コーディングされたピクチャまたはコーディングされたビデオシーケンスの（復号順序で）前の部分の復号中に取得されたメタ情報に応答することもでき、以前に再構成され、ループフィルタリングされたサンプル値に応答することもできる。以下でさらに詳細に説明するように、いくつかのタイプのループフィルタが、様々な順序でループフィルタユニット556の一部として含まれ得る。
【0046】
ループフィルタユニット（556）の出力は、レンダリングデバイス（512）に出力することができると共に、将来のインターピクチャ予測で使用するために参照ピクチャメモリ（557）に格納することもできるサンプルストリームであり得る。
【0047】
特定のコーディングされたピクチャは、完全に再構成されると、将来のインターピクチャ予測のための参照ピクチャとして使用され得る。例えば、現在ピクチャに対応するコード化ピクチャが完全に復元され、コード化ピクチャが参照ピクチャとして（例えば、パーサ（520）によって）識別されると、現在ピクチャバッファ（558）は、参照ピクチャメモリ（557）の一部になることができ、未使用の現在ピクチャバッファは、次のコード化ピクチャの復元を開始する前に再割当てすることができる。
【0048】
ビデオデコーダ（510）は、例えばITU－T Rec．H．265などの規格で採用された所定のビデオ圧縮技術に従って復号動作を実行し得る。コーディングされたビデオシーケンスは、コーディングされたビデオシーケンスがビデオ圧縮技術または規格の構文と、ビデオ圧縮技術または規格に文書化されたプロファイルの両方に忠実であるという意味において、使用されているビデオ圧縮技術または規格によって指定された構文に準拠し得る。具体的には、プロファイルは、そのプロファイルの下でのみ使用に供されるツールとして、ビデオ圧縮技術または規格で利用可能なすべてのツールの中から特定のツールを選択することができる。規格に準拠するために、コーディングされたビデオシーケンスの複雑さが、ビデオ圧縮技術または規格のレベルによって定義される範囲内にあり得る。場合によっては、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば、毎秒のメガサンプル数で測定される）、最大参照ピクチャサイズなどを制限する。レベルによって設定される制限は、場合によっては、仮想基準復号器（HRD）仕様およびコーディングされたビデオシーケンスにおいて信号で通知されたHRDバッファ管理のためのメタデータによってさらに制限され得る。
【0049】
いくつかの例示的実施形態では、受信機（531）は、エンコーディングされたビデオと共に追加の（冗長な）データを受信し得る。追加のデータは、（1つまたは複数の）コーディングされたビデオシーケンスの一部として含まれ得る。追加のデータは、データを適切に復号するために、かつ／または元のビデオデータをより正確に復元するために、ビデオデコーダ（510）によって使用されてもよい。追加のデータは、例えば、時間、空間、または信号雑音比（SNR）強化層、冗長スライス、冗長画像、前方誤り訂正符号などの形態であり得る。
【0050】
図6は、本開示の一例示的実施形態によるビデオエンコーダ（603）のブロック図を示す。ビデオエンコーダ（603）は、電子デバイス（620）に含まれ得る。電子デバイス（620）は、送信機（640）（例えば、送信回路）をさらに含み得る。ビデオエンコーダ（603）を、図4の例のビデオエンコーダ（403）の代わりに使用することができる。
【0051】
ビデオエンコーダ（603）は、ビデオエンコーダ（603）によってコーディングされるべき（1つまたは複数の）ビデオ画像を取り込み得るビデオソース（601）（図6の例では電子デバイス（620）の一部ではない）からビデオサンプルを受信し得る。別の例では、ビデオソース（601）は電子デバイス（620）の一部分として実装され得る。
【0052】
ビデオソース（601）は、ビデオエンコーダ（603）によってコーディングされるべきソースビデオシーケンスを、任意の適切なビット深度（例えば、8ビット、10ビット、12ビット、．．．）、任意の色空間（例えば、BT．601 Y CrCb、RGB、XYZ．．．）、および任意の適切なサンプリング構造（例えば、Y CrCb 4：2：0、Y CrCb 4：4：4）のものとすることができるデジタルビデオサンプルストリームの形で提供し得る。メディアサービングシステムでは、ビデオソース（601）は、以前に準備されたビデオを格納することができる記憶デバイスであり得る。ビデオ会議システムでは、ビデオソース（601）は、ローカル画像情報をビデオシーケンスとして取り込むカメラであり得る。ビデオデータは、順を追って見たときに動きを与える複数の個別のピクチャまたは画像として提供され得る。ピクチャ自体は、画素の空間配列として編成されてもよく、各画素は、使用されているサンプリング構造、色空間などに応じて、1つまたは複数のサンプルを含むことができる。当業者であれば、画素とサンプルとの関係を容易に理解することができる。以下の説明はサンプルに焦点を当てる。
【0053】
いくつかの例示的実施形態によれば、ビデオエンコーダ（603）は、リアルタイムで、または用途によって必要とされる他の任意の時間制約の下で、ソースビデオシーケンスのピクチャをコーディングされたビデオシーケンス（643）にコーディングおよび圧縮し得る。適切なコーディング速度を強制することが、コントローラ（650）の1つの機能を構成する。いくつかの実施形態では、コントローラ（650）は、以下で説明されるように、他の機能ユニットに機能的に結合され、他の機能ユニットを制御し得る。簡潔にするために、結合は図示されていない。コントローラ（650）によって設定されるパラメータには、レート制御関連のパラメータ（ピクチャスキップ、量子化器、レート歪み最適化手法のラムダ値など）、ピクチャサイズ、Group of Pictures（GOP）レイアウト、最大動きベクトル探索範囲などが含まれ得る。コントローラ（650）は、特定のシステム設計のために最適化されたビデオエンコーダ（603）に関連する他の適切な機能を有するように構成することができる。
【0054】
いくつかの例示的実施形態では、ビデオエンコーダ（603）は、コーディングループで動作するように構成され得る。過度に簡略化された説明として、一例では、コーディングループは、ソースコーダ（630）（例えば、コーディングされるべき入力ピクチャと、（1つまたは複数の）参照ピクチャとに基づいて、シンボルストリームなどのシンボルを作成する役割を担う）と、ビデオエンコーダ（603）に組み込まれた（ローカル）デコーダ（633）とを含むことができる。デコーダ（633）は、組み込まれたデコーダ633がエントロピーコーディングなしでソースコーダ630によってコーディングされたビデオストリームを処理するとしても、シンボルを再構成して、（リモート）デコーダが作成することになるのと同様の方法でサンプルデータを作成する（開示の主題で考慮されるビデオ圧縮技術では、シンボルとコーディングされたビデオビットストリームとの間の任意の圧縮が可逆であり得るため）。再構成されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（634）に入力される。シンボルストリームの復号は、デコーダの場所（ローカルまたはリモート）に関係なくビット正確な結果につながるので、参照ピクチャメモリ（634）内のコンテンツも、ローカルエンコーダとリモートエンコーダとの間でビット正確である。言い換えると、エンコーダの予測部分は、復号中に予測を使用するときにデコーダが「見る」ことになるのとまったく同じサンプル値を参照ピクチャサンプルとして「見る」。参照ピクチャの同期性（および、例えばチャネル誤差が原因で同期性を維持することができない場合には、結果として生じるドリフト）のこの基本原理はコーディング品質を向上させるために使用される。
【0055】
「ローカル」デコーダ（633）の動作は、図5と共に上記で詳細にすでに記載されている、ビデオデコーダ（510）などの「リモート」デコーダの動作と同じであり得る。図5も簡単に参照すると、しかしながら、シンボルが利用可能であり、エントロピーコーダ（645）およびパーサ（520）によるコーディングされたビデオシーケンスへのシンボルのエンコーディング／復号が可逆であり得るため、バッファメモリ（515）およびパーサ（520）を含むビデオデコーダ（510）のエントロピー復号部分は、エンコーダ内のローカルデコーダ（633）においては完全に実装されない場合がある。
【0056】
この時点で言えることは、デコーダ内にのみ存在し得る構文解析／エントロピー復号を除く任意のデコーダ技術もまた必然的に、対応するエンコーダにおいて、実質的に同一の機能形態で存在する必要があり得るということである。このため、開示の主題はデコーダ動作に焦点を当てる場合があり、この動作はエンコーダの復号部分と同様である。よって、エンコーダ技術の説明は、包括的に説明されるデコーダ技術の逆であるので、省略することができる。特定の領域または態様においてのみ、エンコーダのより詳細な説明を以下に示す。
【0057】
動作中、いくつかの例示的実装形態では、ソースコーダ（630）は、「参照ピクチャ」として指定されたビデオシーケンスからの1つまたは複数の以前にコーディングされたピクチャを参照して入力ピクチャを予測的にコーディングする、動き補償予測コーディングを実行する場合がある。このようにして、コーディングエンジン（632）は、入力ピクチャの画素ブロックと、入力ピクチャへの（1つまたは複数の）予測参照として選択され得る（1つまたは複数の）参照ピクチャの画素ブロックとの間の色チャネルの差分（または残差）をコーディングする。用語「残差（residue）」およびその形容詞形「残差の（residual）」は、互換的に使用され得る。
【0058】
ローカルビデオデコーダ（633）は、ソースコーダ（630）によって作成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャのコード化ビデオデータを復号することができる。コーディングエンジン（632）の動作は、有利なことに、非可逆プロセスであってもよい。コーディングされたビデオデータが（図6には示されていない）ビデオデコーダで復号され得るとき、再構成されたビデオシーケンスは、通常、いくつかの誤差を伴うソースビデオシーケンスのレプリカであり得る。ローカルビデオデコーダ（633）は、参照ピクチャに対してビデオデコーダによって実行され得る復号プロセスを複製し、再構成された参照ピクチャを参照ピクチャキャッシュ（634）に格納させ得る。このようにして、ビデオエンコーダ（603）は、遠端（リモート）ビデオデコーダによって取得される再構成された参照ピクチャと共通の内容を有する再構成された参照ピクチャのコピーをローカルに格納し得る（伝送誤差なしで）。
【0059】
予測器（635）は、コーディングエンジン（632）の予測検索を実行することができる。すなわち、コード化される新しいピクチャの場合、予測器（635）は、新しいピクチャのための適切な予測参照として役立つことができる、（候補参照ピクセルブロックとしての）サンプルデータまたは参照ピクチャ動きベクトル、ブロック形状などの特定のメタデータを求めて、参照ピクチャメモリ（634）を検索することができる。予測器（635）は、適切な予測参照を見つけるために、ピクセルブロックごとにサンプルブロックに対して動作することができる。場合によっては、予測器（635）によって取得された検索結果によって判定されるように、入力画像は、参照ピクチャメモリ（634）に格納された複数の参照ピクチャから描画された予測参照を有することができる。
【0060】
コントローラ（650）は、例えば、ビデオデータをエンコーディングするために使用されるパラメータおよびサブグループパラメータの設定を含む、ソースコーダ（630）のコーディング動作を管理することができる。
【0061】
すべての前述の機能ユニットの出力は、エントロピーコーダ（645）内でエントロピーコーディングを受けることができる。エントロピーコーダ（645）は、ハフマンコーディング、可変長コーディング、算術コーディングなどといった技術に従ったシンボルの可逆圧縮により、様々な機能ユニットによって生成されたシンボルをコーディングされたビデオシーケンスに変換する。
【0062】
送信機（640）は、エントロピーコーダ（645）によって生成されたコーディングされたビデオシーケンスをバッファリングして、コーディングビデオデータを格納する記憶装置へのハードウェア／ソフトウェアリンクであり得る通信チャネル（660）を介した送信の準備をすることができる。送信機（640）は、ビデオコーダ（603）からのコーディングビデオデータを、送信される他のデータ、例えば、コーディングされた音声データおよび／または補助データストリーム（ソースは図示せず）とマージすることができる。
【0063】
コントローラ（650）は、ビデオコーダ（603）の動作を管理することができる。コーディング中に、コントローラ（650）は、各コード化ピクチャに特定のコード化ピクチャタイプを割り当てることができ、それは、それぞれのピクチャに適用され得るコーディング技法に影響を及ぼす場合がある。例えば、画像は、以下の画像形式のうちの1つとして割り当てられることが多い。
【0064】
なお、イントラ画像（I画像）は、シーケンス内の他の画像を予測元とせずにコーディングおよび復号可能なものであってもよい。一部のビデオコーデックは、例えば、独立したデコーダリフレッシュ（「IDR」）ピクチャを含む異なるタイプのイントラピクチャを可能にする。当業者であれば、Iピクチャのそれらの変形ならびにそれらそれぞれの用途および特徴を認識している。
【0065】
予測画像（P画像）は、各ブロックのサンプル値を予測するために、最大で1つの動きベクトルおよび参照インデックスを使用するイントラ予測またはインター予測を使用してコーディングおよび復号され得るものであり得る。
【0066】
双方向予測画像（B画像）は、各ブロックのサンプル値を予測するために、最大で2つの動きベクトルおよび参照インデックスを使用するイントラ予測またはインター予測を使用してコーディングおよび復号され得るものであり得る。同様に、複数の予測画像は、単一のブロックの再構成のために3つ以上の参照ピクチャおよび関連するメタデータを使用することができる。
【0067】
ソースピクチャは、一般に、複数のサンプルコーディングブロック（例えば、各々4×4、8×8、4×8、または16×16サンプルのブロック）に空間的に細分され、ブロックごとにコーディングされ得る。ブロックは、ブロックそれぞれのピクチャに適用されたコーディング割り当てによって決定されるように他の（すでにコーディングされた）ブロックを参照して予測的にコーディングされ得る。例えば、Iピクチャのブロックは、非予測的にコーディングされ得るか、または、同じピクチャのすでにコーディングされたブロックを参照して、予測的にコーディングされ得る（空間予測またはイントラ予測）。Pピクチャのピクセルブロックは、1つの以前にコーディングされた参照ピクチャを参照して、空間予測を介して、または時間予測を介して、予測的にコーディングされてもよい。Bピクチャのブロックは、1つまたは2つの以前にコーディングされた参照ピクチャを参照して、空間予測によって、または時間予測によって予測的にコーディングされ得る。ソースピクチャまたは中間処理されたピクチャは、他の目的で他のタイプのブロックに細分されてもよい。コーディングブロックおよびその他のタイプのブロックの分割は、以下でさらに詳細に説明するように、同じ方法に従う場合もそうでない場合もある。
【0068】
ビデオエンコーダ（603）は、ITU－T Rec．H．265などの所定のビデオコーディング技術または規格に従ってコーディング動作を実行することができる。その動作において、ビデオエンコーダ（603）は、入力ビデオシーケンスにおける時間および空間の冗長性を利用する予測コーディング動作を含む、様々な圧縮動作を実行することができる。したがって、コーディングされたビデオデータは、使用されているビデオコーディング技術または規格によって指定された構文に準拠し得る。
【0069】
いくつかの例示的実施形態では、送信機（640）は、エンコーディングされたビデオと共に追加のデータを送信し得る。ソースコーダ（630）は、そのようなデータをコーディングされたビデオシーケンスの一部として含み得る。追加のデータは、時間／空間／SNR増強層、冗長なピクチャやスライスなどの他の形の冗長データ、SEIメッセージ、VUIパラメータセットフラグメントなどを含み得る。
【0070】
ビデオは、複数のソースピクチャ（ビデオピクチャ）として時系列でキャプチャされ得る。イントラピクチャ予測（しばしばイントラ予測と略される）は、所与のピクチャにおける空間相関を利用し、インターピクチャ予測は、ピクチャ間の時間またはその他の相関を利用する。例えば、現在のピクチャと呼ばれる、エンコーディング／復号中の特定のピクチャがブロックに分割され得る。現在のピクチャ内のブロックは、ビデオ内の以前にコーディングされたまだバッファされている参照ピクチャ内の参照ブロックに類似している場合、動きベクトルと呼ばれるベクトルによってコーディングされ得る。動きベクトルは、参照ピクチャ内の参照ブロックを指し、複数の参照ピクチャが使用されている場合、参照ピクチャを識別する第3の次元を有することができる。
【0071】
いくつかの例示的実施形態では、インターピクチャ予測に双予測技術を使用することができる。そのような双予測技術によれば、第1の参照ピクチャおよび第2の参照ピクチャなどの2つの参照ピクチャが使用され、これらは両方ともビデオ内の現在のピクチャを復号順序で進める（ただし、表示順序では、それぞれ過去または未来にあり得る）。現在のピクチャ内のブロックは、第1の参照ピクチャ内の第1の参照ブロックを指し示す第1の動きベクトルと、第2の参照ピクチャ内の第2の参照ブロックを指し示す第2の動きベクトルとによってコーディングされ得る。ブロックを、第1の参照ブロックと第2の参照ブロックの組み合わせによって協調して予測することができる。
【0072】
さらに、マージモード技術が、インターピクチャ予測においてコーディング効率を改善するために使用されてもよい。
【0073】
本開示のいくつかの例示的実施形態によれば、インターピクチャ予測およびイントラピクチャ予測などの予測は、ブロック単位で実行される。例えば、ビデオピクチャのシーケンス内のピクチャは、圧縮のためにコーディングツリーユニット（CTU）に分割され、ピクチャ内のCTUは、64×64画素、32×32画素、または16×16画素などの同じサイズを有し得る。一般に、CTUは、3つの並列のコーディングツリーブロック（CTB）、すなわち、1つの輝度CTBおよび2つの彩度CTBを含み得る。各CTUを、1つまたは複数のコーディングユニット（CU）に再帰的に四分木分割することができる。例えば、64×64画素のCTUを、64×64画素の1つのCU、または32×32画素の4つのCUに分割することができる。32×32ブロックのうちの1つまたは複数の各々は、16×16画素の4つのCUにさらに分割され得る。いくつかの例示的実施形態では、各CUは、インター予測タイプやイントラ予測タイプなどの様々な予測タイプの中からそのCUの予測タイプを決定するためにエンコーディング中に分析され得る。CUは、時間的および／または空間的予測可能性に応じて、1つまたは複数の予測ユニット（PU）に分割され得る。一般に、各PUは、1つの輝度予測ブロック（PB）と、2つの彩度PBとを含む。一実施形態では、コーディング（エンコーディング／復号）における予測動作は、予測ブロック単位で実行される。CUのPU（または異なる色チャネルのPB）への分割は、様々な空間パターンで実行され得る。輝度PBまたは彩度PBは、例えば、8×8画素、16×16画素、8×16画素、16×8画素などといった、サンプルの値（例えば、輝度値）の行列を含み得る。
【0074】
図7は、本開示の別の例示的実施形態によるビデオエンコーダ（703）の図を示す。ビデオエンコーダ（703）は、ビデオピクチャのシーケンスにおける現在のビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受け取り、処理ブロックを、コーディングされたビデオシーケンスの一部であるコーディングされたピクチャにエンコーディングするように構成される。例示的なビデオエンコーダ（703）は、図4の例のビデオエンコーダ（403）の代わりに使用され得る。
【0075】
例えば、ビデオエンコーダ（703）は、8×8サンプルの予測ブロックなどの処理ブロックのサンプル値の行列を受け取る。次いでビデオエンコーダ（703）は、例えばレート歪み最適化（RDO）を使用して、処理ブロックがそれを使用して最良にコーディングされるのは、イントラモードか、インターモードか、それとも双予測モードかを決定する。処理ブロックがイントラモードでコーディングされると決定された場合、ビデオエンコーダ（703）は、イントラ予測技術を使用して処理ブロックをコーディングされたピクチャにエンコーディングし、処理ブロックがインターモードまたは双予測モードでコーディングされると決定された場合、ビデオエンコーダ（703）は、それぞれインター予測技術または双予測技術を使用して、処理ブロックをコーディングされたピクチャにエンコーディングし得る。いくつかの例示的実施形態では、インターピクチャ予測のサブモードとして、動きベクトルが予測器の外側のコーディングされた動きベクトル成分の恩恵を受けずに1つまたは複数の動きベクトル予測器から導出されるマージモードが使用され得る。いくつかの他の例示的実施形態では、対象ブロックに適用可能な動きベクトル成分が存在し得る。したがって、ビデオエンコーダ（703）は、処理ブロックの予測モードを決定するために、モード決定モジュールなどの、図7に明示的に示されていない構成要素を含み得る。
【0076】
図7の例では、ビデオエンコーダ（703）は、図7の例示的な構成に示されるように互いに結合されたインターエンコーダ（730）、イントラエンコーダ（722）、残差計算器（723）、スイッチ（726）、残差エンコーダ（724）、汎用コントローラ（721）、およびエントロピーエンコーダ（725）を含む。
【0077】
インターエンコーダ（730）は、現在のブロック（例えば、処理ブロック）のサンプルを受け取り、そのブロックを参照ピクチャ内の1つまたは複数の参照ブロック（例えば、表示順序で前のピクチャ内および後のピクチャ内のブロック）と比較し、インター予測情報（例えば、インターエンコーディング技術による冗長情報、動きベクトル、マージモード情報の記述）を生成し、任意の適切な技術を使用してインター予測情報に基づいてインター予測結果（例えば、予測されたブロック）を計算するように構成される。いくつかの例では、参照ピクチャは、（以下でさらに詳細に説明するように、図7の残差デコーダ728として示されている）図6の例示的なエンコーダ620に組み込まれた復号ユニット633を使用してエンコーディングされたビデオ情報に基づいて復号された復号参照ピクチャである。
【0078】
イントラエンコーダ（722）は、現在のブロック（例えば、処理ブロック）のサンプルを受け取り、ブロックを同じピクチャ内のすでにコーディングされたブロックと比較し、変換後の量子化係数を生成し、場合によってはイントラ予測情報（例えば、1つまたは複数のイントラエンコーディング技術によるイントラ予測方向情報）も生成するように構成される。イントラエンコーダ（722）は、イントラ予測情報と、同じピクチャ内の参照ブロックとに基づいて、イントラ予測結果（例えば、予測されたブロック）を計算し得る。
【0079】
汎用コントローラ（721）は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ（703）の他の構成要素を制御するように構成され得る。一例では、汎用コントローラ（721）は、ブロックの予測モードを決定し、予測モードに基づいてスイッチ（726）に制御信号を提供する。例えば、予測モードがイントラモードである場合、汎用コントローラ（721）は、スイッチ（726）を制御して、残差計算器（723）が使用するためのイントラモード結果を選択させ、エントロピーエンコーダ（725）を制御して、イントラ予測情報を選択させてそのイントラ予測情報をビットストリームに含めさせ、ブロックの叙述モードがインターモードである場合、汎用コントローラ（721）は、スイッチ（726）を制御して、残差計算器（723）が使用するためのインター予測結果を選択させ、エントロピーエンコーダ（725）を制御して、インター予測情報を選択させてそのインター予測情報をビットストリームに含めさせる。
【0080】
残差計算器（723）は、受け取ったブロックと、イントラエンコーダ（722）またはインターエンコーダ（730）から選択されたブロックについての予測結果との差分（残差データ）を計算するように構成され得る。残差エンコーダ（724）は、残差データをエンコーディングして変換係数を生成するように構成され得る。例えば、残差エンコーダ（724）は、残差データを空間領域から周波数領域に変換して変換係数を生成するように構成され得る。次いで、変換係数は、量子化変換係数を取得するために量子化処理を受ける。様々な例示的実施形態において、ビデオエンコーダ（703）は残差デコーダ（728）も含む。残差デコーダ（728）は逆変換を実行し、復号された残差データを生成するように構成される。復号された残差データを、イントラエンコーダ（722）およびインターエンコーダ（730）によって適切に使用することができる。例えば、インターエンコーダ（730）は、復号された残差データとインター予測情報とに基づいて復号されたブロックを生成することができ、イントラエンコーダ（722）は、復号された残差データとイントラ予測情報とに基づいて復号されたブロックを生成することができる。復号されたブロックは、復号されたピクチャを生成するために適切に処理され、復号されたピクチャは、メモリ回路（図示せず）にバッファされ、参照ピクチャとして使用されることができる。
【0081】
エントロピーエンコーダ（725）は、ビットストリームをエンコーディングされたブロックを含むようにフォーマットし、エントロピーコーディングを実行するように構成され得る。エントロピーエンコーダ（725）は、ビットストリームに様々な情報を含めるように構成される。例えば、エントロピーエンコーダ（725）は、汎用制御データ、選択された予測情報（例えば、イントラ予測情報やインター予測情報）、残差情報、および他の適切な情報をビットストリームに含めるように構成され得る。インターモードまたは双予測モードのどちらかのマージサブモードでブロックをコーディングするときには、残差情報が存在しない場合がある。
【0082】
図8は、本開示の別の実施形態による例示的なビデオデコーダ（810）の図を示す。ビデオデコーダ（810）は、コーディングされたビデオシーケンスの一部であるコーディングされたピクチャを受け取り、コーディングされたピクチャを復号して再構成されたピクチャを生成するように構成される。一例では、ビデオデコーダ（810）は、図4の例のビデオデコーダ（410）の代わりに使用され得る。
【0083】
図8の例では、ビデオデコーダ（810）は、図8の例示的な構成に示されるように、互いに結合されたエントロピーデコーダ（871）、インターデコーダ（880）、残差デコーダ（873）、再構成モジュール（874）、およびイントラデコーダ（872）を含む。
【0084】
エントロピーデコーダ（871）は、コード化ピクチャから、コード化ピクチャが構成される構文要素を表す特定のシンボルを復元するように構成することができる。そのようなシンボルは、例えば、ブロックがコーディングされているモード（例えば、イントラモード、インターモード、双予測モード、マージサブモードまたは別のサブモード）、イントラデコーダ（872）またはインターデコーダ（880）によって予測に使用される特定のサンプルまたはメタデータを識別することができる予測情報（例えば、イントラ予測情報やインター予測情報）、例えば量子化変換係数の形の残差情報などを含むことができる。一例では、予測モードがインターモードまたは双予測モードである場合、インター予測情報がインターデコーダ（880）に提供され、予測タイプがイントラ予測タイプである場合、イントラ予測情報がイントラデコーダ（872）に提供される。残差情報は、逆量子化を受けることができ、残差デコーダ（873）に提供される。
【0085】
インターデコーダ（880）は、インター予測情報を受け取り、インター予測情報に基づいてインター予測結果を生成するように構成され得る。
【0086】
イントラデコーダ（872）は、イントラ予測情報を受け取り、イントラ予測情報に基づいて予測結果を生成するように構成され得る。
【0087】
残差デコーダ（873）は逆量子化を実行して逆量子化変換係数を抽出し、逆量子化変換係数を処理して残差を周波数領域から空間領域に変換するように構成され得る。残差デコーダ（873）はまた（量子化パラメータ（QP）を含めるために）特定の制御情報を利用する場合もあり、その情報はエントロピーデコーダ（871）によって提供され得る（これは少量の制御情報のみであり得るためデータパスは図示しない）。
【0088】
再構成モジュール（874）は、空間領域において、残差デコーダ（873）による出力としての残差と、（場合によって、インター予測モジュールまたはイントラ予測モジュールによる出力としての）予測結果とを組み合わせて、再構成されたビデオの一部としての再構成されたピクチャの一部を形成する再構成されたブロックを形成するように構成され得る。視覚品質を改善するために、非ブロック化動作などの他の適切な動作が実行されてもよいことに留意されたい。
【0089】
ビデオエンコーダ（403）、（603）、および（703）、ならびにビデオデコーダ（410）、（510）、および（810）は、任意の適切な技法を使用して実装することができることに留意されたい。いくつかの例示的実施形態では、ビデオエンコーダ（403）、（603）、および（703）、ならびにビデオデコーダ（410）、（510）、および（810）を、1つまたは複数の集積回路を使用して実装することができる。別の実施形態では、ビデオエンコーダ（403）、（603）、および（603）、ならびにビデオデコーダ（410）、（510）、および（810）は、ソフトウェア命令を実行する1つまたは複数のプロセッサを使用して実装することができる。
【0090】
コーディングおよび復号のためのブロック分割に目を向けると、一般的な分割は、ベースブロックから開始することができ、所定のルールセット、特定のパターン、分割ツリー、または任意の分割構造もしくは方式に従うことができる。分割は、階層的かつ再帰的であってもよい。例示的な分割手順または後述する他の手順のいずれか、またはそれらの組み合わせに従ってベースブロックを区分または分割した後に、パーティションまたはコーディングブロックの最終セットが取得され得る。これらのパーティションの各々は、パーティション階層内の様々なパーティション化レベルのうちの1つにあってもよく、様々な形状であってもよい。各パーティションは、コーディングブロック（CB）と呼ばれ得る。以下でさらに説明する様々な例示的な分割実装形態では、結果として得られる各CBは、許容されるサイズおよび分割レベルのいずれかのものであり得る。このようなパーティションは、そのためのいくつかの基本的なコーディング／復号決定が行われ得、コーディング／復号パラメータが、最適化され、決定され、エンコーディングされたビデオビットストリームにおいてシグナリングされ得るユニットを形成し得るので、コーディングブロックと呼ばれる。最終パーティションにおける最高または最深レベルは、ツリーのコーディングブロック分割構造の深度を表す。コーディングブロックは、輝度コーディングブロックまたは彩度コーディングブロックであり得る。各カラーのCBツリー構造は、コーディングブロックツリー（CBT）と呼ばれる場合がある。
【0091】
すべてのカラーチャネルのコーディングブロックは、まとめてコーディングユニット（CU）と呼ばれる場合がある。すべてのカラーチャネルの階層構造は、まとめてコーディングツリーユニット（CTU）と呼ばれる場合がある。CTU内の様々な色チャネルの分割パターンまたは構造は、同じである場合もそうでない場合もある。
【0092】
いくつかの実装形態では、輝度チャネルと彩度チャネルとに使用されるコーディング分割ツリー方式または構造は、同じでなくてもよい場合がある。言い換えると、輝度チャネルと彩度チャネルとは、別個のコーディングツリー構造またはパターンを有し得る。さらに、輝度チャネルと彩度チャネルとが同じコーディング分割ツリー構造を使用するか、それとも異なるコーディング分割ツリー構造か、および使用されるべき実際のコーディング分割ツリー構造は、コーディングされているスライスがPスライスか、Bスライスか、それともIスライスかに依存し得る。例えば、Iスライスの場合、彩度チャネルと輝度チャネルとは、別個のコーディング分割ツリー構造またはコーディング分割ツリー構造モードを有し得るが、PスライスまたはBスライスの場合、輝度チャネルと彩度チャネルとは、同じコーディング分割ツリー方式を共有し得る。別個のコーディング分割ツリー構造またはモードが適用される場合、輝度チャネルは、あるコーディング分割ツリー構造によってCBに分割され得、彩度チャネルは、別のコーディング分割ツリー構造によって彩度CBに分割され得る。
【0093】
いくつかの例示的実装形態では、所定の分割パターンをベースブロックに適用することができる。図9に示すように、例示的な4方向パーティションツリーは、第1の所定のレベル（例えば、ベースブロックサイズとして、64×64ブロックレベルまたは他のサイズ）から開始してもよく、ベースブロックは、所定の最下位レベル（例えば、4×4レベル）まで階層的に分割されてもよい。例えば、ベースブロックは、902、904、906および908で示される4つの所定の分割オプションまたはパターンに従うことができ、Rで表されたパーティションは、図9に示される同じ分割オプションが最下位レベル（例えば、4×4レベル）まで下位スケールで繰り返され得るという点で、再帰分割が可能である。いくつかの実装形態では、図9の分割方式に追加の制限が適用され得る。図9の実装形態では、長方形パーティション（例えば、1：2／2：1の長方形パーティション）は、可能であるが繰り返して用いることはできず、一方、正方形分割は繰り返して用いることができる。必要に応じて、再帰による図9の後に続く分割により、コーディングブロックの最終セットが生成される。ルートノードまたはルートブロックからの分割深度を示すために、コーディングツリー深度がさらに定義され得る。例えば、64×64ブロックのルートノードまたはルートブロックのコーディングツリー深度は0に設定されてもよく、ルートブロックが図9の後に続いてさらに1回分割された後、コーディングツリー深度は1増加する。64×64のベースブロックから4×4の最小パーティションまでの最大または最深レベルは、上記方式では4（レベル0から開始）である。そのような分割方式が、色チャネルのうちの1つまたは複数に適用され得る。各カラーチャネルは、図9の方式に従って独立して分割され得る（例えば、各階層レベルにおけるカラーチャネルの各々に対して、所定のパターンのうちの分割パターンまたはオプションが独立して決定され得る）。あるいは、2つ以上のカラーチャネルが図9の同じ階層パターンツリーを共有してもよい（例えば、各階層レベルにおける2つ以上のカラーチャネルに対して、所定のパターンのうちの同じ分割パターンまたはオプションが選択され得る）。
【0094】
図10は、再帰分割により分割ツリーを形成することを可能にする別の例示的な所定の分割パターンを示す。図10に示すように、例示的な10ウェイ分割構造またはパターンが事前定義され得る。ルートブロックは、所定のレベルから（例えば、128×128レベルまたは64×64レベルのベースブロックから）開始し得る。図10の例示的な分割構造は、様々な2：1／1：2および4：1／1：4の長方形パーティションを含む。図10の2列目の1002、1004、1006、および1008で示される3つのサブパーティションを有するパーティションタイプは、「T型」パーティションと呼ばれ得る。「T型」パーティション1002、1004、1006、および1008は、左T型、上T型、右T型、および下T型と呼ばれてもよい。いくつかの例示的な実装形態では、図10の長方形パーティションのいずれもさらに細分されることができない。ルートノードまたはルートブロックからの分割深度を示すために、コーディングツリー深度がさらに定義され得る。例えば、128×128ブロックのルートノードまたはルートブラックのコーディングツリー深度は0に設定されてもよく、ルートブロックが図10の後に続いてさらに1回分割された後、コーディングツリー深度は1増加する。いくつかの実装形態では、1010のすべて正方形のパーティションのみが、図10のパターンの後に続く分割ツリーの次のレベルへの再帰分割を可能とし得る。言い換えると、再帰分割は、T型パターン1002、パターン1004、パターン1006、およびパターン1008内の正方形パーティションでは不可能である。必要に応じて、再帰による図10の後に続く分割手順により、コーディングブロックの最終セットが生成される。そのような方式が、色チャネルのうちの1つまたは複数に適用され得る。いくつかの実装形態では、8×8レベル未満のパーティションの使用に、より多くの柔軟性を加えることができる。例えば、場合によっては、2×2のクロマインター予測を使用することができる。
【0095】
コーディングブロック分割のいくつかの他の例示的な実装形態では、ベースブロックまたは中間ブロックを四分木パーティションに分割するために四分木構造を使用することができる。このような四分木分割は、任意の正方形パーティションに階層的かつ再帰的に適用され得る。ベースブロックまたは中間ブロックまたはパーティションがさらに四分木分割されるかどうかは、ベースブロックまたは中間ブロック／パーティションの様々なローカル特性に適合させることができる。ピクチャ境界における四分木分割がさらに適用され得る。例えば、サイズがピクチャ境界に収まるまでブロックが四分木分割を続けるように、ピクチャ境界で暗黙的な四分木分割が実行され得る。
【0096】
いくつかの他の例示的な実装形態では、ベースブロックからの階層バイナリ分割が使用されてもよい。そのような方式の場合、ベースブロックまたは中間レベルブロックは2つのパーティションに分割され得る。二分割は、水平または垂直のいずれかであり得る。例えば、水平二分割は、ベースブロックまたは中間ブロックを等しい左右のパーティションに分割することができる。同様に、垂直二分割は、ベースブロックまたは中間ブロックを等しい上側と下側のパーティションに分割することができる。そのような二分割は、階層的かつ再帰的であってもよい。二分割方式を継続すべきかどうか、および方式がさらに継続する場合に、水平または垂直二分割を使用すべきかどうかは、ベースブロックまたは中間ブロックの各々で決定され得る。いくつかの実装形態では、さらなる分割は、（一方または両方の次元の）所定の最低パーティションサイズで停止することができる。あるいは、ベースブロックから所定の分割レベルまたは深度に達すると、さらなる分割を停止することができる。いくつかの実装形態では、パーティションのアスペクト比は制限されてもよい。例えば、パーティションのアスペクト比は、1：4より小さく（または4：1より大きく）なくてもよい。したがって、4：1の垂直対水平アスペクト比を有する垂直ストリップパーティションは、各々が2：1の垂直対水平アスペクト比を有する上側パーティションと下側パーティションとに垂直にさらに二分割され得るのみである。
【0097】
さらにいくつかの他の例では、図13に示すように、ベースブロックまたは任意の中間ブロックを分割するために、三分割方式を使用することができる。三値パターンは、図13の1302に示すように垂直に、または図13の1304に示すように水平に実装されてもよい。図13の例示的な分割比は、垂直または水平のいずれかが1：2：1として示されているが、他の比が事前定義されてもよい。いくつかの実装形態では、2つ以上の異なる比が事前定義されてもよい。そのような三分割方式は、四分木または二分割構造を補完するために使用され得、そのような三分木分割は、1つの連続したパーティション内のブロック中心に位置するオブジェクトを捕捉することができるが、四分木および二分木は常にブロック中心に沿って分割しており、したがって、オブジェクトを別々のパーティションに分割する。いくつかの実装形態では、例示的な三分木分割の幅および高さは、追加の変換を回避するために常に2の累乗である。
【0098】
上記の分割方式は、異なる分割レベルで任意の方式で組み合わせることができる。一例として、上述した四分木および二分割方式は、ベースブロックを四分木－二分木（QTBT）構造に分割するために組み合わされてもよい。そのような方式では、ベースブロックまたは中間ブロック／パーティションは、指定されている場合、所定の条件のセットを条件として、四分木分割または二分割のいずれかであってもよい。特定の例を図14に示す。図14の例では、ベースブロックは、1402、1404、1406、および1408によって示されるように、最初に4つのパーティションに四分木分割される。その後、結果として得られるパーティションの各々は、4つのさらなるパーティションに四分木分割される（1408など）か、または次のレベルで 2つのさらなるパーティションに二分割される（例えば、水平方向または垂直方向のいずれか、例えば両方とも対称である1402または1406）か、または分割されない（1404などの）かのいずれかである。二分割または四分木分割は、1410の全体的な例示的なパーティションパターンおよび1420の対応するツリー構造／表現によって示されるように、正方形のパーティションに対して再帰的に許可され得、実線は四分木分割を表し、破線は二分割を表す。二分割が水平であるか垂直であるかを示すために、フラグが各二分割ノード（非リーフ二分割）に使用され得る。例えば、1420に示すように、1410の分割構造と一致して、フラグ「0」は水平二分割を表すことができ、フラグ「1」は垂直二分割を表すことができる。四分木分割の場合、四分木分割は常にブロックまたはパーティションを水平方向と垂直方向の両方に分割して、同じサイズの4つのサブブロック／パーティションを生成するため、分割タイプを指定する必要はない。いくつかの実装形態では、フラグ「1」は水平二分割を表すことができ、フラグ「0」は垂直二分割を表すことができる。
【0099】
QTBTのいくつかの例示的な実装形態では、四分木および二分割ルールセットは、以下の所定のパラメータおよびそれに関連する対応する関数によって表されてもよい。
－CTU size：四分木のルートノードサイズ（ベースブロックのサイズ）
－MinQTSize：最小許容四分木リーフノードサイズ
－MaxBTSize：最大許容二分木ルートノードサイズ
－MaxBTDepth：最大許容二分木深度
－MinBTSize：最小許容二分木リーフノードサイズ
QTBT分割構造のいくつかの例示的な実装形態では、CTUサイズは、彩度サンプルの2つの対応する64×128ブロックを有する128×64個の輝度サンプルとして設定されてもよく（例示的なクロマサブサンプリングが考慮され使用される場合）、MinQTSizeは16×16として設定されてもよく、MaxBTSizeは64×64として設定されてもよく、MinBTSize（幅および高さの両方について）は4×4として設定されてもよく、MaxBTDepthは4として設定されてもよい。四分木分割は最初にCTUに適用され、四分木リーフノードが生成され得る。四分木リーフノードは、16×16のその最小許容サイズ（すなわち、MinQTSize）から128×128（すなわち、CTUサイズ）までのサイズを持つことができる。リノードが128×128の場合、サイズがMaxBTSize（すなわち、64×64）を超えるため、二分木によって最初に分割されることはない。そうでなければ、MaxBTSizeを超えないノードは、二分木によって分割され得る。図14の例では、ベースブロックは128×128である。ベースブロックは、所定のルールセットに従って、四分木分割のみが可能である。ベースブロックは0の分割深度を有する。結果として得られる4つのパーティションの各々は、MaxBTSizeを超えない64×64であり、レベル1でさらに四分木または二分割され得る。プロセスは継続する。二分木深度がMaxBTDepth（すなわち、4）に達すると、それ以上の分割は考慮され得ない。二分木ノードの幅がMinBTSizeに等しい場合（すなわち、4）、それ以上の水平分割は考慮され得ない。同様に、二分木ノードの高さがMinBTSizeに等しい場合、それ以上の垂直分割は考慮されない。
－CTU size：四分木のルートノードサイズ（ベースブロックのサイズ）
－MinQTSize：最小許容四分木リーフノードサイズ
－MaxBTSize：最大許容二分木ルートノードサイズ
－MaxBTDepth：最大許容二分木深度
－MinBTSize：最小許容二分木リーフノードサイズ
QTBT分割構造のいくつかの例示的な実装形態では、CTUサイズは、彩度サンプルの2つの対応する64×128ブロックを有する128×64個の輝度サンプルとして設定されてもよく（例示的なクロマサブサンプリングが考慮され使用される場合）、MinQTSizeは16×16として設定されてもよく、MaxBTSizeは64×64として設定されてもよく、MinBTSize（幅および高さの両方について）は4×4として設定されてもよく、MaxBTDepthは4として設定されてもよい。四分木分割は最初にCTUに適用され、四分木リーフノードが生成され得る。四分木リーフノードは、16×16のその最小許容サイズ（すなわち、MinQTSize）から128×128（すなわち、CTUサイズ）までのサイズを持つことができる。リノードが128×128の場合、サイズがMaxBTSize（すなわち、64×64）を超えるため、二分木によって最初に分割されることはない。そうでなければ、MaxBTSizeを超えないノードは、二分木によって分割され得る。図14の例では、ベースブロックは128×128である。ベースブロックは、所定のルールセットに従って、四分木分割のみが可能である。ベースブロックは0の分割深度を有する。結果として得られる4つのパーティションの各々は、MaxBTSizeを超えない64×64であり、レベル1でさらに四分木または二分割され得る。プロセスは継続する。二分木深度がMaxBTDepth（すなわち、4）に達すると、それ以上の分割は考慮され得ない。二分木ノードの幅がMinBTSizeに等しい場合（すなわち、4）、それ以上の水平分割は考慮され得ない。同様に、二分木ノードの高さがMinBTSizeに等しい場合、それ以上の垂直分割は考慮されない。
【0100】
いくつかの例示的な実装形態では、上記のQTBT方式は、輝度および彩度が同じQTBT構造または別個のQTBT構造を有するための柔軟性をサポートするように構成されてもよい。例えば、PスライスおよびBスライスの場合、1つのCTU内の輝度CTBと彩度CTBは同じQTBT構造を共有し得る。しかし、Iスライスの場合、輝度CTBはQTBT構造によってCUに分割されてもよく、彩度CTBは別のQTBT構造によって彩度CUに分割されてもよい。これは、CUがIスライス内の異なるカラーチャネルを参照するために使用され得ることを意味し、例えば、Iスライス内のCUは輝度成分のコーディングブロックまたは2つの彩度成分のコーディングブロックからなり得、PスライスまたはBスライス内のCUは、3つの色成分すべてのコーディングブロックからなり得ることを意味する。
【0101】
いくつかの他の実装形態では、QTBT方式は、上述した三値方式で補完されてもよい。そのような実装形態は、マルチタイプツリー（MTT）構造と呼ばれる場合がある。例えば、ノードの二分割に加えて、図13の三分割パターンのうちの1つが選択されてもよい。いくつかの実装形態では、正方形ノードのみが三分割の対象となり得る。三分割が水平であるか垂直であるかを示すために、追加のフラグが使用され得る。
【0102】
QTBT実装および三分割によって補完されたQTBT実装などの2レベルまたはマルチレベルツリーの設計は、主に複雑さの低減によって動機付けられ得る。理論的には、ツリーをトラバースする複雑さはTDであり、ここで、Tは分割タイプの数を表し、Dはツリーの深度である。深度（D）を低減しながらマルチタイプ（T）を使用することによって、トレードオフを行うことができる。
【0103】
いくつかの実装形態では、CBがさらに分割され得る。例えば、CBは、コーディングプロセスおよび復号プロセス中のイントラフレーム予測またはインターフレーム予測を目的として、複数の予測ブロック（PB）にさらに分割され得る。言い換えると、CBは異なるサブパーティションにさらに分割されてもよく、そこで個々の予測決定／構成が行われ得る。並行して、CBは、ビデオデータの変換または逆変換が実行されるレベルを記述する目的で、複数の変換ブロック（TB）にさらに分割され得る。CBのPBおよびTBへの分割方式は、同じである場合もそうでない場合もある。例えば、各分割方式は、例えば、ビデオデータの様々な特性に基づいて独自の手順を使用して実行され得る。PBおよびTBの分割方式は、いくつかの例示的実装形態では独立していてもよい。PBおよびTBの分割方式および境界は、いくつかの他の例示的実装形態では相関していてもよい。いくつかの実装形態では、例えば、TBは、PB分割後に分割されてもよく、特に、各PBは、コーディングブロックの分割の後に続いて決定された後、次いで1つまたは複数のTBにさらに分割されてもよい。例えば、いくつかの実装形態では、PBは、1つ、2つ、4つ、または他の数のTBに分割され得る。
【0104】
いくつかの実装形態では、ベースブロックをコーディングブロックに分割し、さらに予測ブロックおよび／または変換ブロックに分割するために、輝度チャネルおよび彩度チャネルは異なって処理され得る。例えば、いくつかの実装形態では、輝度チャネルに対してはコーディングブロックの予測ブロックおよび／または変換ブロックへの分割が許容され得るが、（1つまたは複数の）彩度チャネルに対してはコーディングブロックの予測ブロックおよび／または変換ブロックへのそのような分割が許容されない場合がある。そのような実装形態では、よって、輝度ブロックの変換および／または予測は、コーディングブロックレベルでのみ実行され得る。別の例では、輝度チャネルおよび（1つまたは複数の）彩度チャネルの最小変換ブロックサイズが異なっていてもよく、例えば、輝度チャネルのコーディングブロックは、彩度チャネルよりも小さい変換ブロックおよび／または予測ブロックに分割されることが許容され得る。さらに別の例では、コーディングブロックの変換ブロックおよび／または予測ブロックへの分割の最大深度が輝度チャネルと彩度チャネルとの間で異なっていてもよく、例えば、輝度チャネルのコーディングブロックは、（1つまたは複数の）彩度チャネルよりも深い変換ブロックおよび／または予測ブロックに分割されることが許容され得る。具体例として、輝度コーディングブロックは、最大2レベルだけ下がる再帰分割によって表すことができる複数のサイズの変換ブロックに分割されてもよく、正方形、2：1／1：2、4：1／1：4などの変換ブロック形状、および4×4から64×64の変換ブロックサイズが許容され得る。しかしながら、彩度ブロックについては、輝度ブロックに指定された可能な最大の変換ブロックのみが許容され得る。
【0105】
コーディングブロックをPBに分割するためのいくつかの例示的実装形態では、PB分割の深度、形状、および／または他の特性は、PBがイントラコーディングされるかそれともインターコーディングされるかに依存し得る。
【0106】
コーディングブロック（または予測ブロック）の変換ブロックへの分割は、四分木分割および所定のパターン分割を含むがこれらに限定されない様々な例示的な方式で、再帰的または非再帰的に、コーディングブロックまたは予測ブロックの境界の変換ブロックをさらに考慮して実施され得る。一般に、結果として得られる変換ブロックは、異なる分割レベルにあってもよく、同じサイズでない場合もあり、形状が正方形でなくてもよい（例えば、それらのブロックは、いくつかの許容されるサイズおよびアスペクト比を有する長方形とすることができる）。さらなる例は、図15、図16および図17に関連して以下でさらに詳細に説明される。
【0107】
しかしながら、いくつかの他の実装形態では、上記の分割方式のいずれかを介して得られたCBは、予測および／または変換のための基本または最小のコーディングブロックとして使用され得る。言い換えると、インター予測／イントラ予測を実行するために、および／または変換のために、さらなる分割は実行されない。例えば、上記のQTBT方式から得られたCBを、予測を行う単位としてそのまま使用してもよい。具体的には、そのようなQTBT構造は、複数の分割タイプの概念を取り去る、すなわち、CU、PU、およびTUの分離の概念を取り去り、上述したように、CU／CB分割形状の柔軟性を高める。このようなQTBTブロック構造では、CU／CBは正方形または長方形のいずれかの形状にすることができる。そのようなQTBTのリーフノードは、さらなる分割なしに予測および変換処理のための単位として使用される。これは、CU、PU、およびTUがこのような例示的なQTBTコーディングブロック構造で同じブロックサイズを持っていることを意味する。
【0108】
上記の様々なCB分割方式、ならびにPBおよび／またはTBへのCBのさらなる分割（PB／TB分割なしを含む）は、任意の方式で組み合わせることができる。以下の特定の実装態様は、非限定的な例として提供される。
【0109】
コーディングブロックおよび変換ブロックの分割の具体的な例示的実装形態を以下で説明する。そのような一例示的実装形態では、ベースブロックが、再帰的四分木分割、または上記の所定の分割パターン（図9、図10のもの等）を使用して、コーディングブロックに分割され得る。各レベルで、特定のパーティションのさらなる四分木分割を続行すべきかどうかが、ローカルビデオデータ特性によって決定され得る。結果として得られるCBは、様々な四分木分割レベルおよび様々なサイズにあり得る。ピクチャエリアをインターピクチャ（時間的）予測を使用してコーディングするか、それともイントラピクチャ（空間的）予測を使用してコーディングするかの判断は、CBレベル（または、3色チャネルの場合にはCUレベル）で行われ得る。各CBは、事前定義されたPB分割タイプに従って、1つ、2つ、4つ、または他の数のPBにさらに分割され得る。1つのPB内で、同じ予測プロセスが適用されてもよく、関連情報はPBベースでデコーダに送られてもよい。PB分割タイプに基づく予測プロセスを適用することによって残差ブロックを取得した後、CBを、CBのコーディングツリーと同様の別の四分木構造に従ってTBに分割することができる。この特定の実装形態では、CBまたはTBは、正方形状に限定されなくてもよい。さらにこの特定の例では、PBは、インター予測では正方形または長方形の形状であってもよく、イントラ予測では正方形のみであってもよい。コーディングブロックは、例えば4つの正方形形状のTBに分割され得る。各TBは、（四分木分割を使用して）再帰的に、残差四分木（Residual Quadtree（RQT））と呼ばれるよりも小さいTBにさらに分割され得る。
【0110】
ベースブロックをCB、PB、および／またはTBに分割するための別の例示的な実装形態を以下でさらに説明する。例えば、図9または図10に示されるような複数のパーティションユニットタイプ使用するのではなく、二分割および三分割のセグメント化構造（例えば、上記のような三元分割を伴うQTBTまたはQTBT）を使用するネストされたマルチタイプツリーを有する四分木が使用されてもよい。CB、PB、およびTBの分離（すなわち、CBのPBおよび／またはTBへの分割、ならびにPBのTBへの分割）は、CBがさらなる分割を必要とし得る、最大変換長には大きすぎるサイズを有するCBに必要な場合を除いて、断念されてもよい。この例示的な分割方式は、予測と変換の両方をさらなる分割なしにCBレベルで実行できるように、CB分割形状のより高い柔軟性をサポートするように設計され得る。このようなコーディングツリー構造では、CBは正方形または長方形のどちらかの形状を有し得る。具体的には、コーディングツリーブロック（CTB）が、まず四分木構造によって分割され得る。次いで、四分木のリーフノードは、ネストされたマルチタイプツリー構造によってさらに分割され得る。二分割または三分割を使用するネストされたマルチタイプツリー構造の例を図11に示す。具体的には、図11の例示的なマルチタイプツリー構造は、垂直二分割（SPLIT＿BT＿VER）（1102）、水平二分割（SPLIT＿BT＿HOR）（1104）、垂直三分割（SPLIT＿TT＿VER）（1106）、および水平三分割（SPLIT＿TT＿HOR）（1108）の4つの分割タイプを含む。CBはその場合、マルチタイプツリーのリーフに対応する。この例示的実装形態では、CBが最大変換長に対して大きすぎない限り、このセグメント化は、さらなる分割なしで予測と変換両方の処理に使用される。これは、ほとんどの場合、CB、PB、およびTBが、ネストされたマルチタイプツリーコーディングブロック構造を有する四分木において同じブロックサイズを有することを意味する。例外が発生するのは、サポートされる最大変換長がCBの色成分の幅または高さよりも小さい場合である。いくつかの実装形態では、二分割または三分割に加えて、図11のネストされたパターンは、四分木分割をさらに含むことができる。
【0111】
1つのベースブロックに対するブロック分割のネストされたマルチタイプツリーコーディングブロック構造（四分木、二分割、および三分割オプションを含む）を有する四分木の一具体例を図12に示す。より詳細には、図12は、ベースブロック1200が4つの正方形パーティション1202、1204、1206、および1208に四分木分割されることを示している。さらなる分割のために図11のマルチタイプツリー構造および四分木をさらに使用する決定は、四分木分割されたパーティションの各々について行われる。図12の例では、パーティション1204はこれ以上分割されない。パーティション1202およびパーティション1208は、別の四分木分割を各々採用する。パーティション1202では、第2レベルの四分木分割された左上パーティション、右上パーティション、左下パーティション、および右下パーティションは、四分木、図11の水平二分割1104、非分割、および図11の水平三分割1108の第3レベルの分割をそれぞれ採用する。パーティション1208は別の四分木分割を採用し、第2レベルの四分木分割された左上パーティション、右上パーティション、左下パーティション、および右下パーティションは、図11の垂直三分割1106、非分割、非分割、および図11の水平二分割1104の第3レベルの分割をそれぞれ採用する。1208の第3レベルの左上パーティションのサブパーティションのうちの2つは、それぞれ図11の水平二分割1104および水平三分割1108に従ってさらに分割される。パーティション1206は、2つのパーティションへの図11の垂直に分割1102による第2レベルの分割パターンを採用し、2つのパーティションは図11の水平三分割1108および垂直二分割1102に従って第3レベルでさらに分割される。第4レベルの分割が、図11の水平二分割1104に従ってそれらのうちの1つにさらに適用される。
【0112】
上記の具体例では、最大輝度変換サイズは64×64であってもよく、サポートされる最大彩度変換サイズを、輝度とは異なる、例えば32×32とすることもできる。図12の上記の例示的なCBは一般に、より小さいPBおよび／またはTBにさらに分割されないが、輝度コーディングブロックまたは彩度コーディングブロックの幅または高さが最大変換幅または最大変換高さよりも大きい場合、輝度コーディングブロックまたは彩度コーディングブロックは、水平方向および／または垂直方向の変換サイズ制限を満たすように水平方向および／または垂直方向に自動的に分割され得る。
【0113】
上記のベースブロックをCBに分割するための具体例では、上述したように、コーディングツリー方式は、輝度と彩度とが別個のブロックツリー構造を有する能力をサポートし得る。例えば、PスライスおよびBスライスの場合、1つのCTU内の輝度CTBと彩度CTBは同じコーディングツリー構造を共有し得る。Iスライスの場合、例えば、輝度と彩度とは別個のコーディングブロックツリー構造を有し得る。別個のブロックツリー構造が適用される場合、輝度CTBは1つのコーディングツリー構造によって輝度CBに分割されてもよく、彩度CTBは別のコーディングツリー構造によって彩度CBに分割される。これは、Iスライス内のCUは輝度成分のコーディングブロックまたは2つの彩度成分のコーディングブロックからなり得、PスライスまたはBスライス内のCUは常に、ビデオがモノクロでない限り3つの色成分すべてのコーディングブロックからなることを意味する。
【0114】
コーディングブロックが複数の変換ブロックにさらに分割される場合、その中の変換ブロックは、様々な順序または走査方式に従ってビットストリーム内で順序付けされ得る。コーディングブロックまたは予測ブロックを変換ブロックに分割するための例示的実装形態、および変換ブロックのコーディング順序を、以下でさらに詳細に説明する。いくつかの例示的実装形態では、上述したように、変換分割は、例えば4×4から64×64までの範囲の変換ブロックサイズを有する、複数の形状、例えば1：1（正方形）、1：2／2：1、および1：4／4：1の変換ブロックをサポートし得る。いくつかの実装形態では、コーディングブロックが64×64以下の場合、変換ブロック分割は、彩度ブロックについては、変換ブロックサイズがコーディングブロックサイズと同一であるように、輝度成分にのみ適用され得る。そうではなく、コーディングブロックの幅または高さが64よりも大きい場合には、輝度コーディングブロックと彩度コーディングブロックの両方が、それぞれ、min（W，64）×min（H，64）およびmin（W，32）×min（H，32）の変換ブロックの倍数に暗黙的に分割され得る。
【0115】
変換ブロック分割のいくつかの例示的実装形態では、イントラコーディングされたブロックとインターコーディングされたブロックの両方について、コーディングブロックが、所定の数のレベル（例えば、2レベル）までの分割深度を有する複数の変換ブロックにさらに分割され得る。変換ブロックの分割深度およびサイズは、関連し得る。いくつかの例示的な実装形態について、現在の深度の変換サイズから次の深度の変換サイズへの例示的なマッピングを以下で表1に示す。
【0116】
【表1】
【0117】
表1の例示的なマッピングによれば、1：1正方形ブロックの場合、次のレベルの変換分割は、4つの1：1正方形サブ変換ブロックを作成し得る。変換分割は、例えば、4×4で停止し得る。したがって、4×4の現在の深度の変換サイズは、次の深度の4×4の同じサイズに対応する。表1の例では、1：2／2：1の非正方形ブロックの場合、次のレベルの変換分割は2つの1：1の正方形サブ変換ブロックを作成し得るが、1：4／4：1の非正方形ブロックの場合、次のレベルの変換分割は2つの1：2／2：1サブ変換ブロックを作成し得る。
【0118】
いくつかの例示的実装形態では、イントラコーディングされたブロックの輝度成分に対して、変換ブロック分割に関してさらなる制限が適用され得る。例えば、変換分割のレベルごとに、すべてのサブ変換ブロックは、等しいサイズを有するように制限され得る。例えば、32×16のコーディングブロックの場合、レベル1の変換分割は、2つの16×16のサブ変換ブロックを作成し、レベル2の変換分割は、8つの8×8のサブ変換ブロックを作成する。言い換えると、変換ユニットを等しいサイズに保つために、第2レベルの分割がすべての第1レベルのサブブロックに適用されなければならない。表1に従ったイントラコーディングされた正方形ブロックのための変換ブロック分割の一例を、矢印で示されたコーディング順序と共に図15に示す。具体的には、1502は正方形コーディングブロックを示している。表1による4つの等しいサイズの変換ブロックへの第1レベルの分割が、矢印で示されたコーディング順序と共に1504に示されている。表1によるすべての第1レベルの等しいサイズのブロックの16個の等しいサイズの変換ブロックへの第2レベルの分割が、矢印で示されたコーディング順序と共に1506に示されている。
【0119】
いくつかの例示的実装形態では、インターコーディングされたブロックの輝度成分に対して、イントラコーディングに対する上記の制限が適用されない場合がある。例えば、第1レベルの変換分割の後に、サブ変換ブロックのいずれか1つが、もう1つのレベルでさらに独立して分割され得る。よって、結果として得られる変換ブロックは、同じサイズのものである場合もそうでない場合もある。インターコーディングされたブロックのコーディング順序を有する変換ブロックへの例示的分割を図16に示す。図16の例では、インターコーディングされたブロック1602は、表1に従って2つのレベルで変換ブロックに分割される。第1レベルで、インターコーディングされたブロックは、等しいサイズの4つの変換ブロックに分割される。次いで、4つの変換ブロックのうちの（それらのすべてではなく）1つのみが4つのサブ変換ブロックにさらに分割され、1604で示されるように、2つの異なるサイズを有する合計7つの変換ブロックが得られる。これらの7つの変換ブロックの例示的なコーディング順序が、図16の1604に矢印で示されている。
【0120】
いくつかの例示的実装形態では、（1つまたは複数の）彩度成分に対して、変換ブロックについての何らかの追加の制限が適用され得る。例えば、（1つまたは複数の）彩度成分について、変換ブロックサイズは、コーディングブロックサイズと同じ大きさとすることができるが、所定のサイズ、例えば8×8より小さくすることはできない。
【0121】
いくつかの他の例示的実装形態では、幅（W）または高さ（H）が64よりも大きいコーディングブロックについて、輝度コーディングブロックと彩度コーディングブロックの両方が、それぞれ、min（W，64）×min（H，64）およびmin（W，32）×min（H，32）の変換ユニットの倍数に暗黙的に分割され得る。ここで、本開示では、「min（a、b）」は、aとbとの間のより小さい値を返すことができる。
【0122】
図17は、コーディングブロックまたは予測ブロックを変換ブロックに分割するための別の代替的な例示的方式をさらに示す。図17に示すように、再帰変換分割を使用する代わりに、コーディングブロックの変換タイプに従って所定の分割タイプのセットがコーディングブロックに適用され得る。図17に示す特定の例では、6つの例示的な分割タイプのうちの1つが、コーディングブロックを様々な数の変換ブロックに分割するために適用され得る。このような変換ブロック分割を生成する方式は、コーディングブロックまたは予測ブロックのいずれに適用されてもよい。
【0123】
より詳細には、図17の分割方式は、任意の所与の変換タイプに対して最大6つの例示的なパーティションタイプを提供する（変換タイプは、例えば、ADST等のようなプライマリ変換のタイプを称する）。この方式では、すべてのコーディングブロックまたは予測ブロックに、例えばレート歪みコストに基づいて変換分割タイプが割り当てられ得る。一例では、コーディングブロックまたは予測ブロックに割り当てられる変換分割タイプは、コーディングブロックまたは予測ブロックの変換タイプに基づいて決定され得る。図17に例示される6つの変換分割タイプによって示されるように、特定の変換分割タイプが、変換ブロックの分割サイズおよびパターンに対応し得る。様々な変換タイプと様々な変換分割タイプとの間の対応関係が、事前定義され得る。レート歪みコストに基づいてコーディングブロックまたは予測ブロックに割り当てられ得る変換分割タイプを示す大文字のラベルを有する例を以下に示す。
【0124】
・PARTITION＿NONE：ブロックサイズに等しい変換サイズを割り当てる。
【0125】
・PARTITION＿SPLIT：ブロックサイズの1／2の幅、ブロックサイズの1／2の高さの変換サイズを割り当てる。
【0126】
・PARTITION＿HORZ：ブロックサイズと同じ幅、ブロックサイズの1／2の高さの変換サイズを割り当てる。
【0127】
・PARTITION＿VERT：ブロックサイズの1／2の幅、ブロックサイズと同じ高さの変換サイズを割り当てる。
【0128】
・PARTITION＿HORZ4：ブロックサイズと同じ幅、ブロックサイズの1／4の高さの変換サイズを割り当てる。
【0129】
・PARTITION＿VERT4：ブロックサイズの1／4の幅、ブロックサイズと同じ高さの変換サイズを割り当てる。
【0130】
上記の例では、図17に示される変換分割タイプはすべて、分割された変換ブロックについての均一な変換サイズを含む。これは限定ではなく単なる例である。いくつかの他の実装形態では、混合変換ブロックサイズが、特定の分割タイプ（またはパターン）における分割された変換ブロックについて使用され得る。
【0131】
ビデオブロック（複数の予測ブロックにさらに分割されない場合にPBとも呼ばれるPBまたはCB）は、直接エンコーディングされるのではなく様々な方法で予測することができ、それによってビデオデータ内の様々な相関および冗長性を利用して圧縮効率を改善する。これに対応して、そのような予測は様々なモードで実行され得る。例えば、ビデオブロックは、イントラ予測またはインター予測によって予測され得る。特に、インター予測モードでは、ビデオブロックは、単一参照または複合参照インター予測のいずれかを介して、1つまたは複数の他のフレームから1つまたは複数の他の参照ブロックまたはインター予測ブロックによって予測され得る。インター予測を実施するために、参照ブロックは、そのフレーム識別子（参照ブロックの時間位置）と、エンコーディングまたは復号されている現在のブロックと参照ブロックとの間の空間オフセットを示す動きベクトル（参照ブロックの空間位置）とによって指定され得る。参照フレーム識別および動きベクトルは、ビットストリーム内でシグナリングされ得る。空間ブロックオフセットとしての動きベクトルは、直接シグナリングされてもよいし、別の参照動きベクトルまたは予測子動きベクトルによってそれ自体が予測されてもよい。例えば、現在の動きベクトルは、参照動きベクトル（例えば、候補隣接ブロックの）によって直接、または参照動きベクトルと、現在の動きベクトルと参照動きベクトルとの間の動きベクトル差（MVD）との組み合わせによって予測されてもよい。後者は、動きベクトル差ありマージモード（MMVD）と呼ばれることがある。参照動きベクトルは、例えば、現在のブロックの空間的に隣接するブロックまたは時間的に隣接するが空間的にコロケートされたブロックへのポインタとしてビットストリーム内で識別され得る。
【0132】
いくつかの他の例示的な実装形態では、イントラブロックコピー（IBC）予測が使用されてもよい。IBCでは、現在のフレーム内の現在のブロックは、予測されているブロックの位置に対するイントラ予測器または参照ブロックの位置のオフセットを示すためのブロックベクトル（BV）と組み合わせて、現在のフレーム内の別のブロック（時間的に異なるフレームではなく、したがって「イントラ」という用語）を使用して予測され得る。コーディングブロックの位置は、例えば、現在のフレーム（またはスライス）の左上隅に対する左隅の画素座標によって表すことができる。したがって、IBCモードは、現在のフレーム内で同様のインター予測概念を使用する。例えば、BVは、他の参照BVによって直接または現在のBVと参照BVとの間のBV差の組み合わせで予測されてもよく、これは、インター予測において参照MVおよびMV差を使用してMVを予測することに類似している。IBCは、例えば、同一のテキストセグメント（文字、記号、単語、位相など）が同じフレームの異なる部分に現れ、互いを予測するために使用することができるテキスト情報などのかなりの数の繰り返しパターンを有するスクリーンコンテンツを有するビデオフレームをエンコーディングおよび復号するための、特に改善されたコーディング効率を提供するのに有用である。
【0133】
いくつかの実装形態では、IBCは、通常のイントラ予測モードおよび通常のインター予測モード以外の別個の予測モードとして扱われてもよい。したがって、特定のブロックの予測モードの選択は、イントラ予測、インター予測、およびIBCモードの3つの異なる予測モードの間で行われ、シグナリングされ得る。これらの実装形態では、これらのモードの各々においてコーディング効率を最適化するために、これらのモードの各々に柔軟性を組み込むことができる。いくつかの他の実装形態では、IBCは、同様の動きベクトル決定、参照、およびコーディングメカニズムを使用して、インター予測モード内のサブモードまたは分岐として扱われ得る。そのような実装形態（統合インター予測モードおよびIBCモード）では、一般的なインター予測モードとIBCモードとを調和させるために、IBCの柔軟性がいくらか制限される場合がある。しかしながら、そのような実装はそれほど複雑ではないが、例えばスクリーンコンテンツによって特徴付けられるビデオフレームのコーディング効率を改善するためにIBCを依然として利用することができる。いくつかの例示的な実装形態では、別々のインター予測モードおよびイントラ予測モードのための既存の予め指定された機構を用いて、インター予測モードはIBCをサポートするように拡張され得る。
【0134】
これらの予測モードの選択は、シーケンスレベル、フレームレベル、ピクチャレベル、スライスレベル、CTUレベル、CTレベル、CUレベル、CBレベル、またはPBレベルを含むがこれらに限定されない様々なレベルで行うことができる。例えば、IBC目的のために、IBCモードが採用されるかどうかの決定が行われ、CTUレベルでシグナリングされ得る。IBCモードを採用しているとしてCTUがシグナリングされている場合、CTU全体のすべてのコーディングブロックがIBCによって予測され得る。いくつかの他の実装形態では、IBC予測は、スーパーブロック（SB）レベルで決定されてもよい。各SBは、様々な方式（例えば、四分木分割）で複数のCTUまたは区分にスリットすることができる。例を以下にさらに提供する。
【0135】
図18は、デコーダの観点からの複数のCTUを含む現在のフレームのセクションの例示的なスナップショットを示す。1802などの各正方形ブロックはCTUを表す。CTUは、上記で詳細に説明したように、様々な所定のサイズのうちの1つであってもよい。各CTUは、1つまたは複数のコーディングブロック（または特定のカラーチャネル用の予測ブロック）を含むことができる。横線で陰影が付けられたCTUは、既に再構成されたCTUを表す。CTU1804は、再構成されている現在のCTUを表す。現在のCTU1804内では、横線で陰影が付けられたコーディングブロックは、現在のCTU内で既に再構成されているブロックを表し、斜線で陰影が付けられたコーディングブロック1806は現在再構成されているが、現在のCTU1804内の陰影が付けられていないコーディングブロックは再構成を待っている。他の陰影のないCTUはまだ処理されていない。
【0136】
IBCにおける現在のコーディングブロックを予測するために使用される（現在ブロックに対する）参照ブロックの位置またはオフセットは、図18の例示的な矢印によって示されるように、BVによって示され得る。例えば、BVは、参照ブロック（図18では「Ref」とラベル付けされている）の左上隅と現在のブロックとの間の位置差をベクトル形式で示すことができる。図18は、基本IBCユニットとしてCTUを使用して示されている。基礎となる原理は、SBが基本IBCユニットとして使用される実装に適用される。そのような実装形態では、以下でより詳細に説明するように、各スーパーブロックは複数のCTUに分割されてもよく、各CTUは複数のコーディングブロックにさらに分割されてもよい。
【0137】
以下により詳細にさらに開示されるように、IBCの現在のCTU／SBに対する参照CTU／SBの位置に応じて、参照CTU／SBは、ローカルCTU／SBまたは非ローカルCTU／SBと呼ばれ得る。ローカルCTU／SBは、現在のCTU／SBと一致するCTU／SB、または現在のCTU／SBの近くにあり、再構成されているCTU／SB（例えば、現在のCTU／SBの左隣のCTU／SB）を指すことができる。非ローカルCTU／SBは、現在のCTU／SBからさらに離れたCTU／SBを指すことができる。ローカルCTU／SBおよび非ローカルCTU／SBのいずれかまたは両方は、現在のコーディングブロックのIBC予測を実行するときに参照ブロックを求めて探索され得る。ローカルまたは非ローカルCTU／SB参照のための再構成されたサンプルのオンチップおよびオフチップ記憶管理（オフチップピクチャバッファ（DPB）および／またはオンチップメモリなど）は異なり得るので、IBCが実装される具体的な方式は、参照CTU／SBがローカルであるか非ローカルであるかに依存し得る。再構成されたローカルCTU／SBサンプルは、例えば、IBC用のエンコーダまたはデコーダのオンチップメモリ内に記憶するのに適し得る。再構成された非ローカルCTU／SBサンプルは、例えば、オフチップDPBメモリに記憶することができる。
【0138】
いくつかの実装形態では、現在のコーディングブロック1804の参照ブロックとして使用され得る再構成ブロックの位置が制限され得る。そのような制限は、様々な要因の結果であり得、IBCが一般的なインター予測モードの統合部分として実装されるか、インター予測モードの特別な拡張として実装されるか、または別個の独立したIBCモードとして実装されるかに依存し得る。いくつかの例では、現在の再構成CTU／SBサンプルのみを探索して、IBC参照ブロックを識別することができる。いくつかの他の例では、図18の太点線枠1808で示すように、現在の再構成CTU／SBサンプルおよび別の隣接再構成CTU／SBサンプル（例えば、左隣のCTU／SB）を、参照ブロックの探索および選択に利用できる。そのような実装形態では、ローカル再構成CTU／SBサンプルのみが、IBC参照ブロックの探索および選択に使用され得る。いくつかの他の例では、特定のCTU／SBは、他の様々な理由で、IBC参照ブロックの探索および選択に利用できない場合がある。例えば、図18で十字でマークされたCTU／SB 1810は、以下でさらに説明するように、特別な目的（例えば、波面並列処理）に使用される可能性があるため、現在のブロック1804の参照ブロックの探索および選択に利用できない場合がある。
【0139】
いくつかの実装形態では、IBC参照ブロックまたは参照サンプルを提供するために使用することが許可されている、既に再構成されたCTU／SBに関する制限は、2つ以上のコーディングブロックが同時に復号される並列復号の採用から生じ得る。一例が図19に示されており、各正方形はCTU／SBを表す。図19の斜線で陰影が付けられたCTU／SBによって示されるように、いくつかの連続する行および1列おき（2列ごと）の複数のCTU／SBが並列処理で再構成され得る並列復号が実装され得る。横線で陰影が付けられた他のCTU／SBは既に再構成されており、陰影が付けられていないCTU／SBはまだ構築されていないものである。このような並列処理では、左上座標が（x0、y0）である現在並列処理されたCTU／SBの場合、垂直座標yがy0未満であり、水平座標xがx0＋2（y0－y）未満である場合にのみ、IBC内の現在のCTU／SBを予測するために（x、y）の再構成されたサンプルにアクセスすることができ、したがって、横線で陰影が付けられた既に構築されたCTU／SBは、並列処理された現在のブロックの参照として利用可能であり得る。
【0140】
いくつかの実装形態では、直ちに再構成されたサンプルのオフチップDPBへの書き戻し遅延は、特にオフチップDPBがIBC参照サンプルを保持するために使用される場合、現在のブロックのIBC参照サンプルを提供するために使用され得るCTU／SBにさらなる制限を課すことができる。一例が図20に示されており、図19に示されたものに加えて追加の制限が適用され得る。具体的には、ハードウェアの書き戻し遅延を可能にするために、参照ブロックの探索および選択のためのIBC予測によって直接再構成領域にアクセスすることはできない。制限または禁止された直接再構成領域の数は、1～n個のCTU／SB（nは正の整数）とすることができる。したがって、図19の特定の並列処理の制限に加えて、1つの現在のCTU／SBの左上位置の座標が（x0、y0）である場合、垂直座標yがy0未満であり、水平座標がx0＋2（y0－y）－D未満である場合、位置（x、y）での予測にIBCによってアクセスすることができ、このときDは、IBC参照として制限／禁止される直接再構成領域（例えば、現在のCTU／SBの左側）の数を示す。図20は、D＝2のIBC参照サンプルとして制限されたそのような追加のCTU／SBを示す。IBC参照として利用できないこれらの追加のCTU／SBは、逆斜線陰影付けで示されている。
【0141】
以下でさらに詳細に説明されるいくつかの実装形態では、ローカルCTU／SB探索領域と非ローカルCTU／SB探索領域の両方をIBC参照ブロック探索および選択に使用することができる。さらに、オンチップメモリが使用される場合、書き戻し遅延に関するIBC参照としての既に構築されたCTU／SBの利用可能性に関する制限のいくつかを緩和または除去することができる。いくつかのさらなる実装形態では、ローカルCTU／SBおよび非ローカルCTU／SBが共存する場合に使用される方式は、例えば、オンチップメモリまたはオフチップメモリのいずれかを使用した参照ブロックのバッファリングの管理の違いにより異なり得る。これらの実装形態は、以下の開示においてさらに詳細に説明される。
【0142】
いくつかの実装形態では、IBCは、現在のフレーム内のブロックが予測参照として使用され得るように、現在のフレームをインター予測モードにおける参照フレームとして扱う、インター予測モードの拡張として実装され得る。したがって、そのようなIBC実装は、IBCプロセスが現在のフレームのみを含む場合であっても、インター予測のためのコーディングパスを辿ることができる。そのような実装形態では、インター予測モードの参照構造をIBCに適合させることができ、BVを使用した参照サンプルに対するアドレス指定機構の表現は、インター予測における動きベクトル（MV）に類似することができる。したがって、IBCは、参照フレームとしての現在のフレームに基づくインター予測モードとして、類似または同一の構文構造および復号プロセスに依存する、特別なインター予測モードとして実装され得る。
【0143】
そのような実装形態では、IBCはインター予測モードとして扱われ得るので、イントラのみの予測スライスは、IBCの使用を可能にするための予測スライスにならなければならない。言い換えると、イントラのみの予測スライスは、（イントラ予測モードは、いかなるインター予測処理パスも呼び出さないので）インター予測されず、したがって、IBCは、そのようなイントラのみのスライスにおける予測のために許可されない。IBCが適用可能である場合、コーダは、参照ピクチャリストを、現在のピクチャへのポインタについての1つのエントリだけ拡張する。したがって、現在のピクチャは、共有された復号ピクチャバッファ（DPB）のピクチャサイズのバッファを最大1つ占有することができる。IBCを使用するためのシグナリングは、インター予測モードにおける参照フレームの選択において暗黙的であり得る。例えば、選択された参照ピクチャが現在のピクチャを指す場合、コーディングユニットは、必要かつ利用可能であれば、特別なIBC拡張を有するインター予測様コーディングパスを有するIBCを使用する。いくつかの特定の実装形態では、IBCプロセス内の参照サンプルは、通常のインター予測とは対照的に、予測に使用される前にループフィルタリングされない場合がある。さらに、対応する参照現在ピクチャは、エンコーディングまたは復号されるべき次のフレームの近くにあることになるので、長期参照フレームであり得る。いくつかの実装形態では、メモリ要件を最小化するために、コーダは、現在のピクチャを再構成した後にバッファを直ちに解放することができる。コーダは、再構成されたピクチャのフィルタリングされたバージョンを、IBCに使用されるときにフィルタリングされていない場合であっても、真のインター予測における後のフレームの参照ピクチャになるときに短期参照としてDPBに戻すことができる。
【0144】
上記の例示的な実装形態では、IBCはインター予測モードの単なる拡張であり得るが、IBCは、通常のインター予測から逸脱し得るいくつかの特別な手順で扱われ得る。例えば、IBC参照サンプルもフィルタリングされない場合がある。言い換えると、デブロッキングフィルタリング、サンプル適応オフセット（SAO）フィルタリング、クロスコンポーネントサンプルオフセット（CCSO）フィルタリングなどを含む、インループフィルタリングプロセスの前の再構成サンプルは、IBC予測のために使用され得る一方、通常のインター予測モードは、予測のためにフィルタ処理されたサンプルを用いる。別の例では、IBCの輝度サンプル補間は実行されなくてもよく、彩度サンプル補間は、彩度BVから導出されるときに彩度BVが非整数である場合にのみ必要であり得る。さらに別の例では、彩度BVが非整数であり、IBCの参照ブロックがIBC参照に利用可能な領域の境界付近にある場合、周囲の再構成サンプルは、彩度補間を実行するために境界の外側にあり得る。単一の次の境界線を指すBVは、そのような場合を回避することができない。
【0145】
そのような実装形態では、IBCによる現在のブロックの予測は、現在のBV、および例えば追加のBV差を予測するために参照BVを使用することを含む、インター予測プロセスの予測およびコーディングメカニズムを再利用することができる。しかしながら、いくつかの特定の実装形態では、輝度BVは、通常のインター予測のMVのように小数精度ではなく整数分解能で実装されてもよい。
【0146】
いくつかの実装形態では、図18に1810として示されているように、波面並列処理（WPP）を可能にするために、現在のCTUの右上の2つのCTU（図18の十字で示す）を除いて、図18の水平陰影線で示されているすべてのCTUおよびSBをIBC参照ブロックの探索および選択に使用することができる。したがって、並列処理目的のためのいくつかの例外を除いて、現在のピクチャの既に再構成された領域のほぼ全体である。
【0147】
いくつかの他の実装形態では、IBC参照ブロックが探索および選択され得る領域は、ローカルCTU／SBに制限され得る。一例を、図18の太点線枠1808で示す。そのような例では、現在のCTUの左側のCTU／SBは、現在のCTUの再構成プロセスの開始時にIBCの参照サンプル領域として機能することができる。このようなローカル参照領域を使用する場合、DPBに追加の外部メモリ空間を割り当てる代わりに、IBC参照用にローカルCTU／SBを保持するためにオンチップメモリ空間を割り当ててもよい。いくつかの実装形態では、固定オンチップメモリをIBCに使用することができ、それによってハードウェアアーキテクチャにIBCを実装する複雑さが低減される。このように、通常のインター予測からは独立した専用IBCモードは、インター予測モードの単なる拡張として実装されるのではなく、オンチップメモリの利用のために実装されてもよい。
【0148】
例えば、ローカルIBC参照サンプル、例えば左CTUまたはSBを記憶するための固定オンチップメモリサイズは、各カラー成分について128×128であり得る。いくつかの実装形態では、最大CTUサイズも128×128であり得る。そのような場合、参照サンプルメモリ（RSM）は、単一のCTUのサイズを有するサンプルを保持することができる。いくつかの他の代替実装形態では、CTUサイズはより小さくてもよい。例えば、CTUサイズは64×64であり得る。したがって、RSMは、複数（この例の場合は4つ）のCTUを同時に保持することができる。さらにいくつかの他の実装形態では、RSMは複数のSBを保持することができ、各SBは1つまたは複数のCTUを含むことができ、各CTUは複数のコーディングブロックを含むことができる。
【0149】
ローカルオンチップIBC参照のいくつかの実装形態では、オンチップRSMは1つのCTUを保持し、左隣のCTUの再構成サンプルを現在のCTUの再構成サンプルに置き換えるための連続的な更新機構を実装することができる。図21は、再構成プロセス中の4つの中間時間におけるそのような連続的なRSM更新機構の簡略化された例を示す。図21の例では、RSMは、1つのCTUを保持する固定サイズを有する。CTUは、暗黙的な分割を含み得る。例えば、CTUは暗黙的に4つの分離領域（例えば、四分木区分）に分割されてもよい。各エリアは、複数のコーディングブロックを含み得る。CTUは、サイズが128×128であってもよいが、例示的な領域または分割の各々は、例示的な四分木分割のサイズが64×64であってもよい。各中間時間における横線で陰影が付けられたRSMの領域／区分は、左隣のCTUの対応する再構成参照サンプルを保持し、縦線グレーで陰影が付けられた領域／区分は、現在のCTUの対応する再構成参照サンプルを保持する。斜線で陰影が付けられたRSMのコーディングブロックは、コーディング／復号／再構成されている現在の領域内の現在のコーディングブロックを表す。
【0150】
現在のCTU再構成の開始を表す最初の中間時間に、RSMは、2102によって示されるように、4つの例示的な領域の各々についてのみ左隣のCTUの再構成参照サンプルを含むことができる。他の3つの中間時間では、再構成プロセスは、左隣のCTUの再構成参照サンプルを現在のCTUの再構成サンプルに徐々に置き換えている。RSMにおける64×64の領域／分割のリセットは、コーダがその領域／分割の最初のコーディングブロックを処理するときに発生する。RSMの領域をリセットするとき、その領域はブランクとみなされ、IBCの再構成参照サンプルを保持していないとみなされる（言い換えると、RSMのその領域は、IBC参照サンプルとして使用する準備ができていない）。その領域内の対応する現在のコーディングブロックが処理されると、RSM内の対応するブロックは、中間時間2104、2106、および2108について図21に示すように、次の現在のブロックのIBCの参照サンプルとして使用されるべき現在のCTUの対応するブロックの再構成サンプルと共に記録される。RSMの領域／分割に対応してすべてのコーディングブロックが処理されると、その領域全体は、様々な中間時間において図21の縦線で完全に陰影が付けられた領域によって示されるように、IBC参照サンプルとしてこれらの現在のコーディングブロックの再構成サンプルで満たされる。したがって、中間時間2104および2106では、RSM内のいくつかの領域／区分は、隣接CTUからのIBC参照サンプルを保持し、いくつかの他の領域／区分は、完全に現在のCTUからの参照サンプルを保持するが、いくつかの領域／区分は、部分的に現在のCTUからの参照サンプルを保持し、部分的に空白である（上記のリセットプロセスの結果としてIBC参照には使用されない）。最後の領域（例えば、右下領域）が処理されると、他の3つの領域はすべて、現在のCTUの再構成サンプルをIBCの参照サンプルとして保持するが、最後の領域／区分は、CTUの最後のコーディングブロックが再構成されるまで、現在のCTU内の対応するコーディングブロックの再構成サンプルを部分的に保持し、かつ部分的に空白であり、その時点で、RSM全体は現在のCTUの再構成サンプルを保持し、RSMは、IBCモードでもコーディングされている場合、次のCTUに使用する準備ができている。
【0151】
図22は、特に中間時間における空間的なRSMの上記の連続的な更新の実装を示しており、すなわち、左隣のCTUと現在のコーディングブロック（斜めの陰影線で陰影が付けられたブロック）を有する現在のCTUとの両方が示されている。RSM内にあり、現在のコーディングブロックのIBC参照サンプルとして有効なこれらの2つのCTUの対応する再構成サンプルは、水平および垂直の陰影線によって示されている。この例における特定の再構成時に、プロセスは、RSMにおいて、左隣のCTU内の陰影を付けられていない領域によってカバーされるサンプルを、垂直の陰影線によって陰影を付けられた現在のCTUの領域に置き換えている。隣接CTUからの残りの効果サンプルは、横線陰影として示されている。
【0152】
上記の例示的な実装形態では、固定RSMサイズがCTUサイズと同じである場合、RSMは1つのCTUを含むように実装される。いくつかの他の実装形態では、CTUサイズがより小さい場合、RSMは複数のCTUを含むことができる。例えば、CTUのサイズは32×32であり得るが、固定RSMサイズは128×128であり得る。したがって、RSMは16個のCTUのサンプルを保持することができる。上述した同じ基礎となるRSM更新原理に従って、RSMは、再構成される前に現在の128×128パッチの16個の隣接CTUを保持することができる。現在の128×128パッチの最初のコーディングブロックの処理が開始されるとすぐに、単一のCTUを保持するRSMについて上述したように、1つの隣接CTUの再構成サンプルで最初に満たされたRSMの最初の32×32領域を更新することができる。残りの15個の32×32の領域は、IBCの参照サンプルとして15個の隣接CTUを含む。復号されている現在の128×128パッチの最初の32×32領域に対応するCTUが再構成されると、RSMの最初の32×32領域は、このCTUの再構成サンプルで更新される。次いで、現在の128×128パッチの第2の32×32領域に対応するCTUを処理し、最終的に再構成サンプルで更新することができる。このプロセスは、RSMの16個の32×32領域が現在の128×128パッチ（15個のCTUすべて）の再構成サンプルを含むまで継続する。その後、復号プロセスは次の128×128パッチに進む。
【0153】
いくつかの他の実装形態では、図21および図22の拡張として、RSMは、隣接CTUのセットを保持することができる。一度に1つの現在のCTUが処理され、最も遠い隣接CTUを保持するRSM部分は、再構成された現在のCTUで上記の方法で更新される。次の現在のCTUについても、RSM内の最も遠い隣接CTUが更新され、置き換えられる。したがって、固定サイズRSMに保持されている複数のCTUは、IBSの隣接CTUの移動ウィンドウとして更新される。
【0154】
オンチップRSMを使用するローカルIBCのさらなる具体的な実施例を図23に示す。この例では、IBCモードの最大ブロックサイズが制限され得る。例えば、最大のIBCブロックは、64×64であり得る。オンチップRSMは、スーパーブロック（SB）に対応する固定サイズ、例えば128×128で構成することができる。図23のRSM実装は、図21および図22の実装の同様の基本原理を使用する。図23では、RSMは、IBC参照サンプルとして複数の隣接および／または現在のCTUを保持することができる。図23の例では、SBは四分木分割であってもよい。これに対応して、RSMは、各々が64×64である4つの領域またはユニットに四分木分割され得る。これらの領域の各々は、1つまたは複数のコーディングブロックを保持することができる。あるいは、これらの領域の各々は1つまたは複数のCTUを保持してもよく、各CTUは1つまたは複数のコーディングブロックを保持してもよい。四分木領域のコーディング順序は事前定義されてもよい。例えば、コーディング順序は、左上、右上、左下、右下であってもよい。図23のSBの四分木分割は一例に過ぎない。いくつかの他の代替実装形態では、SBは、任意の他の方式に従って分割されてもよい。本明細書に記載されたローカルIBCのRSM更新実装形態は、これらの代替分割方式に適用される。
【0155】
そのようなローカルSBC実装では、SBC予測に使用することができるローカル参照ブロックを制限することができる。例えば、参照ブロックと現在ブロックとが同じSB行にあるべきであることが要求され得る。具体的には、ローカル参照ブロックは、現在のSBまたは現在のSBの左側の1つのSBにのみ配置されてもよい。別の許可されたコーディングブロックによってSBCで予測される例示的な現在のブロックを、図23の破線矢印で示す。現在のSBまたは左SBがSBC参照に使用される場合、RSMにおける参照サンプル更新手順は、上述したリセット手順に従うことができる。例えば、64×64ユニットの参照サンプルメモリのいずれかが現在のSBからの再構成サンプルで更新を開始すると、64×64ユニット全体の（左SBからの）以前に記憶された参照サンプルは、IBC予測サンプルを生成するために利用できないとしてマークされ、現在のブロックの再構成サンプルで徐々に更新される。
【0156】
図23は、パネル2302における現在のSBのローカルIBC復号中のRSMの5つの例示的な状態を示す。ここでも、例示的な状態の各々における横線で陰影が付けられたRSMの領域は、左隣のSBの対応する四分木領域の対応する参照サンプルを保持し、縦線グレーで陰影が付けられた領域／区分は、現在のSBの対応する参照サンプルを保持する。斜線で陰影が付けられたRSMのコーディングブロックは、コーディング／復号されている現在の四分木領域内の現在のコーディングブロックを表す。各現在のSBのコーディングの開始時に、RSMは以前にコーディングされたSBのサンプルを記憶する（図23のRSM状態（0））。現在のブロックが現在のSBの4つの64×64の四分木領域のうちの1つに位置するとき、RSM内の対応する領域がリセットされ、現在の64×64のコーディング領域のサンプルを記憶するために使用される。このようにして、RSMの各64×64の四分木領域内のサンプルは、現在のSB（状態（1）～状態（3））内のサンプルによって徐々に更新される。現在のSBが完全にコーディングされると、RSM全体が現在のSBのすべてのサンプルで満たされる（状態（4））。
【0157】
図23のパネル2302の64×64の領域の各々は、空間コーディングシーケンス番号でラベル付けされている。シーケンス0～3は、左隣のSBの4つの64×64の四分木領域を表し、シーケンス4～7は、現在のSBパネルの4つの64×64の四分木領域を表す。図23において、パネル2304は、図23のパネル2302のRSM状態（1）、状態（2）、および状態（3）について、128×28 RSM内の参照サンプルの左隣および現在のSBにおける対応する空間分布をさらに示す。十字のない陰影を付けられた領域は、RSM内の再構成サンプルを有する領域を表す。十字のある陰影を付けられた領域は、RSM内の左SBの再構成サンプルがリセットされている（したがって、ローカルSBCの参照サンプルとして利用できない）領域を表す。
【0158】
64×64の領域のコーディング順序および対応するRSM更新順序は、水平走査（先に図23に示したように）または垂直走査のいずれかに従い得る。水平走査は、左上、右上、左下、および右下から開始する。垂直走査は、左上、左下、右上、および左下から開始する。水平走査および垂直走査のための左隣のSBおよび現在のSB参照サンプル更新プロセスは、現在のSBの4つの64×64領域の各々が再構成されているときの比較のために、それぞれ図24のパネル2402および2404に示されている。図24では、十字のない横線で陰影を付けられた64×64の領域は、SBCに利用可能なサンプルを有する領域を表す。十字のある横線で陰影が付けられた領域は、現在のSBの対応する再構成サンプルに更新された左隣のSBの領域を表す。陰影が付けられてない領域は、現在のSBの未処理領域を表す。斜線で陰影を付けられたブロックは、処理されている現在のコーディングブロックを表す。
【0159】
図24に示すように、現在のSBに対する現在のコーディングブロックの位置に応じて、IBCの参照ブロックに関して以下の制限が適用され得る。
【0160】
現在のブロックが現在のSBの左上64×64領域に入る場合、現在のSBの既に再構成されたサンプルに加えて、図24の2412（水平走査の場合）および2422（垂直走査の場合）に示すように、左SBの右下、左下、および右上64×64ブロックの参照サンプルも参照することができる。
【0161】
現在のブロックが現在のSBの右上64×64ブロックに入る場合、現在のSBの既に再構成されたサンプルに加えて、現在のSBに対して（0，64）に位置する輝度サンプルがまだ再構成されていない場合、現在のブロックは、左SBの左下64×64ブロックおよび右下64×64ブロック内の参照サンプルも参照することができる（図24の2414）。そうでなければ、現在のブロックは、SBCの左SBの右下64×64ブロック内の参照サンプルも参照することができる（図24の2426）。
【0162】
現在のブロックが現在のSBの左下64×64ブロックに入る場合、現在のSBの既に再構成されたサンプルに加えて、現在のSBに対して輝度位置（64，0）がまだ再構成されていない場合、現在のブロックは、左SBの右上64×64ブロックおよび右下64×64ブロック内の参照サンプルも参照することができる（図24の2424）。そうでなければ、現在のブロックは、SBCの左SBの右下64×64ブロック内の参照サンプルも参照することができる。（図24の2416）。
【0163】
現在のブロックが、現在のSBの右下64×64ブロックに入る場合、SBCの現在のSB内の既に再構成されたサンプルのみを参照することができる（図24の2418および2428）。
【0164】
上述したように、いくつかの例示的な実装形態では、ローカルおよび非ローカルベースのCTU／SBのいずれか一方または両方が、IBC参照ブロックの探索および選択に使用され得る。さらに、オンチップRSMがローカル参照に使用される場合、書き戻し遅延に関するIBC参照としての既に構築されたCTU／SBの利用可能性に関する制限のいくつかを緩和または除去することができる。そのような実装形態は、並列復号が使用されるかどうかにかかわらず適用され得る。
【0165】
IBCに使用され得るローカルおよび非ローカル参照CTU／SBの例示的な実装形態が図25に示されており、ここでも各正方形はCTU／SBを表す。斜線で陰影が付けられたCTU／SBは、現在のCTU／SB（「0」としてラベル付けされている）を表すのに対して、横線（「1」としてラベル付けされている）、縦線（「2」としてラベル付けされている）、および逆斜線（「3」としてラベル付けされている）で陰影が付けられたCTU／SBは、既に構成された領域を表す。陰影の付けられていないCTU／SBは、まだ再構成されていない領域を表す。図19および図20と同様の並列復号を用いるものとする。縦線（「2」）および逆傾斜線（「3」）で陰影が付けられたCTU／SBは、SBC参照のためにオフチップメモリのみが使用されるときのDPBへの書き戻し遅延に起因して、現在のCTU／SBのSBC参照として通常制限される例示的な領域を表す（図20参照）。オンチップRSMが使用されるとき、図20の制限領域のうちの1つまたは複数は、RSMから直接参照され得るので、制限される必要はない。ここでIBC参照のためにRSMを介してアクセスされ得る制限領域の数は、RSMのサイズに依存し得る。図25の例では、RSMは、1つのCTU／SBを保持し、上述したRSM更新機構を採用することができるものとする。したがって、「3」とラベル付けされた、図20の逆斜線で陰影が付けられた2セットの隣接CTU／SBのうちの一方が、ローカル参照に利用可能であり得る。次いで、RSMは、左CTU／SBおよび現在のCTU／SBからのサンプルを保持する。したがって、図25の例では、非ローカルSBC参照ブロックに利用可能な探索領域は、「1」（探索領域1、またはSA1）とラベル付けされたCTU／SBを含み、ローカルSBC参照ブロックに利用可能な走査領域は、「2」および「0」（SA2）とラベル付けされたCTU／SBを含み、SBC参照ブロックの制限領域は、書き戻し遅延により「3」とラベル付けされたCTU／SBを含む。いくつかの他の実装形態では、制限されたCTU／SB全体を保持することができる十分なオンチップRSMサイズでは、これらのすべての潜在的に制限された領域は、ローカル参照のためにRSMに含めることができる。
【0166】
図26は、ローカルおよび非ローカル参照探索の両方が許可され有効化されているときに現在のコーディングブロックを予測するためにIBCで使用され得る参照コーディングブロックに対するさらなる制限をさらに示す。図26においても、各正方形はCTU／SBを表す。横線で陰影が付けられたCTU／SBは、既に構成されたCTU／SBを表す。陰影の付けられていないCTU／SBは、まだ再構成されていない領域を表す。逆斜線の陰影線を有するCTU／SBは、IBC基準として許容されないものである（ここでは現在のCTU／SBのみがIBC参照に許可されているものとして示されているが、基本原理は、図25のように、逆斜線の陰影線を有する2つのCTU／SBのうちの最初のCTU／SBのみが許可されていない状況に適用される）。斜線を有するコーディングブロックが現在のコーディングブロックである。コーディングブロックA、B、およびCは、現在のコーディングブロックに対するIBCの潜在的な参照ブロックである。現在のCUT／SB内の他の陰影の付けられたコーディングブロックは既に構成されている。この実装形態では、参照コーディングブロックBは、完全に制限領域の外側にあり、SA2（ローカル探索領域）内にあり、既に再構成されているため、許容される。コーディングブロックCは、完全に制限領域の外側にあり、SA1（非ローカル探索領域）内にあり、既に再構成されているため、やはり許容される。コーディングブロックAは、SA1およびSA2に優先するため、予測ブロックとして使用することができない。言い換えると、SA1およびSA2に対するIBCの処理が異なり、容易には調和されない可能性があるため、SA1およびSA2の両方をオーバーライドする参照コーディングブロックは許容されない可能性がある。
【0167】
IBCにおけるブロックベクトル（BV）のコーディングに目を向けると、いくつかの例示的な実装形態では、インター予測のために指定されたものと同様のプロセスを使用することができるが、BV予測候補リスト構築のためのより単純な規則を使用することができる。例えば、いくつかのインター予測実装の候補リスト構築は、5つの空間、1つの時間、および6つの履歴ベースの候補から構成され得る。そのようなインター予測では、最終候補リスト内の重複エントリを回避するために、履歴ベースの候補に対して複数の候補比較を実行することができる。さらに、リスト構築は、ペアワイズ平均化候補を含むことができる。BV予測のいくつかの例示的な実装形態では、IBCリスト構築プロセスは、いくつかの（例えば、2つの）空間的隣接BVおよびいくつかの（例えば、5つの）履歴ベースのBV（HBVP）を考慮することができ、候補リストに追加されるときに第1のHBVPのみが空間候補と比較することができる。通常インター予測は、マージモード用と通常モード用の2つの異なる候補リストを使用することができるが、IBCの候補リストは、BVに関して両方の場合に使用することができる。しかしながら、マージモードはリストの最大6つの候補を使用することができるが、通常モードは最初の2つの候補のみを使用する。いくつかの例示的な実装形態では、ブロックベクトル差（BVD）コーディングは、動きベクトル差（MVD）プロセスを使用し、任意の大きさの最終BVをもたらすことができる。再構成されたBVは、参照サンプル領域の外側の領域を指すことができ、RSMの幅および高さによるモジュロ演算を使用して各方向の絶対オフセットを除去することによる補正を必要とする。
【0168】
ローカルおよび非ローカルIBC参照のいずれか一方または両方が使用される上記の実装形態では、特定の状況下でループフィルタを利用することができる。例えば、非ローカルベースのIBC探索範囲が使用される場合（ローカルベースのIBC探索範囲の有無にかかわらず）、例えば1つのピクチャに対して、IBC内の同じピクチャに対してループフィルタを無効にすることができる。一方、ローカルベースのIBC探索範囲のみが使用される場合（非ローカルベースのIBC探索範囲なし）、同じピクチャに対してループフィルタが使用され得る。ループフィルタは、デブロッキングフィルタ、コンストレインドディレクショナル・エンハンスメントフィルタ（CDEF）、サンプル適応オフセット（SAO）フィルタリング、クロスコンポーネントサンプルオフセット（CCSO）フィルタ、およびループ復元フィルタ（LR）を含むことができるが、これらに限定されない。このようにして、IBCを有効にするための専用の第2のピクチャバッファを回避することができる。
【0169】
ここでIBC関連シグナリングに目を向けると、いくつかの実装形態では、現在のブロックについて、現在のブロックについてIBCが有効にされているかどうかを示すために使用されるフラグがビットストリームで最初に送信される。そのようなフラグは、CTU、CU、シーケンス、スライス、またはピクチャレベルなどのより高いレベルでシグナリングされ得る。次に、現在のブロックがIBCモードにある場合（インター予測モードとは別のモードとして、またはインター予測モードの不可欠な部分としてのいずれか）、参照ブロックを探索することができ、対応するBVをエンコーダによって決定することができる。BV予測の場合、現在のBVから予測BVを減算することによってBV差をデコーダで導出し、次いでBV差値の水平成分および垂直成分に従ってBV差を複数のタイプ（例えば、4タイプ）に分類することができる。BV差タイプ情報は、ビットストリームでさらにシグナリングされてもよく、2つの（水平および垂直）成分のBV差値は、その後シグナリングされてもよい。いくつかの例示的な実装形態では、高レベル構文フラグのセットがビットストリームにさらに含まれ、IBC予測の許容可能なローカルおよび／または非ローカル参照範囲を示すために使用される。そのようなフラグのセットは、様々なレベル、例えば、CTU、CU、シーケンス、スライス、またはピクチャレベルでシグナリングすることができる。
【0170】
例えば、global＿ibc＿flagと呼ばれる構文フラグを使用して非ローカルベース領域をオン／オフすることができ、local＿ibc＿flagと呼ばれる別の構文フラグを使用してIBC予測のためにローカルベース領域をオン／オフすることができる。これら2つの構文フラグは、互いに独立して制御されてもよい。言い換えると、これらのフラグは、フラグ値の任意の組み合わせを有することができる。これらのフラグの各々は、同じ異なるレベルでシグナリングされ得る。一例では、両方のフラグがオフにされると、実質的にIBCが無効にされる。この場合、非ローカルIBCフラグおよびローカルIBCフラグが特定のレベルについて独立してシグナリングされる場合、上述したそのレベル（ピクチャレベルまたはシーケンスレベルなど）におけるIBCの有効化フラグは、ビットストリームにおいてシグナリングされる必要はない。
【0171】
いくつかの例示的な実装形態では、非ローカルIBC構文フラグのglobal＿ibc＿flag、およびローカルIBC構文フラグのlocal＿ibc＿flagは、特定の依存関係で構成され得る。例えば、非ローカルのglobal＿ibc＿flagが最初にシグナリングされてもよい。その値に応じて、local＿ibc＿flagがシグナリングまたは推測され得る。global＿ibc＿flagが0に等しい（使用されていないことを意味する）場合、local＿ibc＿flagは、IBCがシグナリングされるのではなく、（例えば、上記の構文を有効にする高レベルIBC）によって使用されているとしてシグナリングされることに関連して、1である（使用されていることを意味する）と推測され得る。この例では、IBC有効化フラグがオンになっている場合にのみ、ローカルフラグおよび非ローカルフラグの一方または両方がシグナリングされる。そうでなければ、これら2つのフラグのいずれもシグナリングされる必要はない。
【0172】
いくつかの例示的な実装形態では、例えば1つのピクチャに対して非ローカルベースのIBC探索範囲が使用される場合、ループフィルタは同じピクチャに対して無効にされる。一方、（非ローカルベースのIBC探索範囲ではなく）ローカルベースのIBC探索範囲のみが使用される場合、同じピクチャに対してループフィルタが使用され得る。したがって、IBCのループフィルタの有効化フラグは、IBCが使用され、非ローカルベースのIBC探索範囲が使用されないという条件でシグナリングされる。言い換えると、上記の他のフラグが非ローカルベースのIBCが使用されていないことを示す場合、ループフィルタ有効化フラグがシグナリングされ得る。ループフィルタ有効化フラグは、ローカルベースのIBCがループフィルタを呼び出すべきかどうかを示す。そうでなければ、IBCが使用されない場合、または非ローカルIBCのみが使用される場合、ループフィルタリングは無効にされると推測され、ループフィルタ有効化フラグがシグナリングされる必要はない。具体的には、ループフィルタの使用のシグナリングは、global＿ibc＿flagの値を条件とすることができる。global＿ibc＿flagがオン（非ローカルIBC参照探索が使用されることを意味する）である場合、ピクチャのループフィルタの有効化フラグは0であると推測され（またはオフにされ）、シグナリングされる必要はない。
【0173】
上記のようにして、上記の様々なフラグまたは構文要素は、単独で、または様々な組み合わせで、現在のブロックのIBC参照モードを指示またはシグナリングすることができる。IBC参照モードは、ローカル探索領域および非ローカル探索領域がIBC予測ブロックに対してどのようにアクセス可能であるかを表す。例えば、これらのフラグまたは構文要素の組み合わせは、ローカル探索領域内のCTUまたはSBのみがIBC参照、したがってローカル参照IBCモードに利用可能であることを示すことができる。別の例では、これらのフラグまたは構文要素の組み合わせは、非ローカル探索領域内のCTUまたはSBのみがIBC参照、したがって非ローカルIBC参照モードに利用可能であることを示すことができる。さらに別の例では、これらのフラグまたは構文要素の組み合わせは、ローカル探索領域と非ローカル探索領域内の両方のCTUまたはSBがIBC参照、したがってローカルおよび非ローカル参照IBCモードに利用可能であることを示すことができる。デコーダは、IBC参照モードを決定するために、これらの構文要素を独立して、または上述したようにそれらの依存関係に基づいて抽出することができ、それによって、IBC参照ブロックの探索領域を決定するための情報を取得する。
【0174】
図27は、IBCの上記の実装形態の基礎となる原理に従う一例の方法のフローチャート2700を示す。一例の方法フローは2701で開始する。S2710において、ビデオストリームから、ビデオブロックのイントラブロックコピー（IBC）予測に関連付けられた少なくとも1つの構文要素が抽出される。S2720において、ビデオブロックのIBC予測のためのIBC参照モードが決定され、IBC参照モードは、IBCなしモード、ローカル参照IBCモード、非ローカル参照IBCモード、ならびにローカルおよび非ローカル参照IBCモードのうちの1つを含むことができる。S2730において、IBC参照モードに基づいてビデオストリームからビデオブロックの再構成サンプルが生成される。一例の方法フローはS2799で終了する。
【0175】
本開示の実施形態および実装形態では、必要に応じて任意のステップおよび／または動作を任意の諸量または順序で組み合わせたり配置したりしてもよい。ステップおよび／または動作の2つ以上を並列に実行してもよい。本開示の実施形態および実装形態は、別々に使用されてもよいし、任意の順序で組み合わされてもよい。さらに、方法（または実施形態）の各々、エンコーダ、およびデコーダは、処理回路（例えば、1つもしくは複数のプロセッサまたは1つもしくは複数の集積回路）によって実装されてもよい。一例では、1つまたは複数のプロセッサは、非一時的コンピュータ可読媒体に格納されたプログラムを実行する。本開示の実施形態は、輝度ブロックまたは彩度ブロックに適用されてもよい。用語ブロックは、予測ブロック、コーディングブロック、またはコーディングユニット、すなわちCUとして解釈され得る。ここでのブロックという用語は、変換ブロックを指すためにも使用され得る。以下の項目では、「ブロックサイズ」と言う場合、ブロック幅もしくは高さ、または幅および高さの最大値、または幅および高さの最小値、または領域のサイズ（幅＊高さ）、またはブロックのアスペクト比（幅：高さ、または高さ：幅）を指すことができる。
【0176】
上記で説明した技術は、コンピュータ可読命令を使用するコンピュータソフトウェアとして実装され、1つまたは複数のコンピュータ可読媒体に物理的に記憶され得る。例えば、図28は、開示された主題の特定の実施形態を実施するために適したコンピュータシステム（2800）を示している。
【0177】
コンピュータソフトウェアは、1つまたは複数のコンピュータ中央処理装置（CPU：central processing unit）およびグラフィック処理装置（GPU：Graphics Processing Unit）などによって直接的に、または解釈およびマイクロコードの実行などを通して実行され得る命令を含むコードを生成するために、アセンブリ、コンパイル、リンキング、または同様のメカニズムを受け得る任意の適切なマシンコードまたはコンピュータ言語を使用してコーディングされ得る。
【0178】
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、インターネット・オブ・シングス・デバイスなどを含む、様々なタイプのコンピュータまたはその構成要素で実行されてもよい。
【0179】
コンピュータシステム（2800）に関して図28に示している構成要素は、本質的に例示であり、本開示の実施形態を実施するコンピュータソフトウェアの使用または機能の範囲に関する限定を示唆することを意図していない。コンポーネントの構成は、コンピュータシステム（2800）の例示的な実施形態に示されるコンポーネントのいずれか1つまたは組み合わせに関連する依存性または要件を有すると解釈されるべきではない。
【0180】
コンピュータシステム（2800）は、特定のヒューマンインターフェース入力装置を含んでもよい。そのようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（例えば、キーストローク、スワイプ、データグローブの動き）、音声入力（例えば、声、拍手）、視覚入力（例えば、ジェスチャ）、嗅覚入力（図示せず）を介した、1人または複数の人間のユーザによる入力に応答することができる。ヒューマンインターフェースデバイスを用いて、音声（発話、音楽、周囲音など）、画像（スキャン画像、静止画像カメラから取得される写真画像など）、ビデオ（2次元ビデオ、立体ビデオを含む3次元ビデオなど）など、人間による意識的な入力に必ずしも直接関係ない特定の媒体をキャプチャし得る。
【0181】
入力ヒューマンインターフェースデバイスは、キーボード（2801）、マウス（2802）、トラックパッド（2803）、タッチ画面（2810）、データグローブ（図示せず）、ジョイスティック（2805）、マイクロフォン（2806）、スキャナ（2807）、カメラ（2808）のうちの1つまたは複数（それぞれ1つのみ図示）を含み得る。
【0182】
コンピュータシステム（2800）はまた、特定のヒューマンインターフェース出力デバイスを含んでもよい。そのようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、および匂い／味によって1人または複数の人間ユーザの感覚を刺激するものであってもよい。そのようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチ画面（2810）、データグローブ（図示せず）、またはジョイスティック（2805）による触覚フィードバックを含むことができるが、入力デバイスとして機能しない触覚フィードバックデバイスもあり得る）、音声出力デバイス（例えば、スピーカ（2809）、ヘッドホン（図示せず））、視覚出力デバイス（例えば、CRT画面、LCD画面、プラズマ画面、OLED画面を含む画面（2810）など、それぞれタッチ画面入力機能を有するかまたは有さず、それぞれ触覚フィードバック機能を有するかまたは有さず、それらのうちのいくつかは、ステレオグラフィック出力、仮想現実眼鏡（図示せず）、ホログラフィックディスプレイおよびスモークタンク（図示せず）、ならびにプリンタ（図示せず）などの手段を通して、2次元視覚出力または3次元以上の出力を出力することが可能であり得る）を含み得る。
【0183】
コンピュータシステム（2800）はまた、人間がアクセス可能な記憶装置、およびCD／DVDまたは同様の媒体（2821）を備えたCD／DVD ROM／RW（2820）を含む光媒体、サムドライブ（2822）、取り外し可能なハードドライブまたはソリッドステートドライブ（2823）、テープおよびフロッピーディスク（図示せず）などのレガシー磁気媒体、セキュリティドングル（図示せず）などの専用ROM／ASIC／PLDベースの装置などのそれらの関連媒体を含み得る。
【0184】
当業者はまた、現在開示された主題に関連して使用される「コンピュータ可読媒体」という用語が、送信媒体、搬送波、または他の一時的な信号を包含しないことを理解するはずである。
【0185】
コンピュータシステム（2800）は、1つまたは複数の通信ネットワーク（2855）へのインターフェース（2854）を含むこともできる。ネットワークは、例えば、ワイヤレス、有線、光であり得る。ネットワークはさらに、ローカル、広域、メトロポリタン、車両および産業、リアルタイム、遅延耐性などとすることができる。ネットワークの例には、Ethernetなどのローカルエリアネットワーク、無線LAN、GSM、3G、4G、5G、LTEなどを含むセルラネットワーク、ケーブルテレビ、衛星テレビおよび地上波テレビを含むテレビの有線または無線広域デジタルネットワーク、CAN busを含む車両用および産業用などが含まれる。特定のネットワークは通常、特定の汎用データポートまたは周辺バス（2849）（例えば、コンピュータシステム（2800）のUSBポート）に接続された外部ネットワークインターフェースアダプタを必要とし、他のものは一般に、以下に説明するように、システムバスに接続することによってコンピュータシステム（2800）のコアに統合される（例えば、PCコンピュータシステムに対するイーサネットインターフェース、またはスマートフォンコンピュータシステムに対するセルラーネットワークインターフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（2800）は、他のエンティティと通信することができる。このような通信は、単方向受信のみ（例えば、放送TV）、単方向送信のみ（例えば、特定のCANbusデバイスへのCANbus）、または双方向、例えば、ローカルもしくはワイドエリアデジタルネットワークを使用する他のコンピュータシステムに対してのものであってもよい。特定のプロトコルおよびプロトコルスタックは、上記で説明したように、それらのネットワークおよびネットワークインターフェースのそれぞれで使用され得る。
【0186】
前述のヒューマンインターフェースデバイス、ヒューマンアクセス可能記憶デバイス、およびネットワークインターフェースは、コンピュータシステム（2800）のコア（2840）に取り付けることができる。
【0187】
コア（2840）は、1つ以上の中央処理装置（CPU）（2841）、グラフィック処理装置（GPU）（2842）、フィールド・プログラマブル・ゲートアレイ（FPGA）（2843）の形式の専用のプログラマブル処理装置、特定のタスク用のハードウェアアクセラレータ（2844）、およびグラフィックアダプタ（2850）などを含み得る。これらのデバイスは、読み出し専用メモリ（ROM）（2845）、ランダムアクセスメモリ（2846）、内部非ユーザアクセスハードドライブ、SSDなどの内部大容量記憶装置（2847）と共に、システムバス（2848）を介して接続されてもよい。いくつかのコンピュータシステムでは、システムバス（2848）は、1つまたは複数の物理プラグの形態でアクセス可能であり、追加のCPU、GPUなどによる拡張を可能にする。周辺デバイスは、コアのシステムバス（2848）に直接取り付けることも、周辺バス（2849）を介して取り付けることもできる。一例では、ディスプレイ（2810）は、グラフィックスアダプタ（2850）に接続することができる。周辺バスのアーキテクチャは、PCI、USBなどを含む。
【0188】
CPU（2841）、GPU（2842）、FPGA（2843）、およびアクセラレータ（2844）は、組み合わされて、上述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードは、ROM（2845）またはRAM（2846）に記憶することができる。RAM（2846）には過渡的データも記憶することができる一方で、不変データを例えば内部大容量記憶装置（2847）に記憶することができる。1つまたは複数のCPU（2841）、GPU（2842）、大容量記憶装置（2847）、ROM（2845）、RAM（2846）などと密接に関連付けることができるキャッシュメモリの使用によって、メモリデバイスのいずれかへの高速記憶および取得を可能にすることができる。
【0189】
コンピュータ可読媒体は、様々なコンピュータ実施動作を実行するためのコンピュータコードを有し得る。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであり得るか、またはそれらは、コンピュータソフトウェア技術のスキルを有する人々に周知かつ利用可能な種類であり得る。
【0190】
非限定的な例として、アーキテクチャを有するコンピュータシステム（2800）、特にコア（2840）は、（CPU、GPU、FPGA、アクセラレータなどを含む）（1つまたは複数の）プロセッサが、1つまたは複数の有形のコンピュータ可読媒体において具体化されたソフトウェアを実行した結果として機能を提供することができる。このようなコンピュータ可読媒体は、上記で紹介されたようなユーザアクセス可能な大容量記憶装置、ならびにコア内部の大容量記憶装置（2847）またはROM（2845）などの非一過性の性質のものであるコア（2840）の特定の記憶装置と関連付けられた媒体であってもよい。本開示の様々な実施形態を実施するソフトウェアは、そのようなデバイスに記憶され、コア（2840）によって実行することができる。コンピュータ可読媒体は、特定の必要性に応じて、1つまたは複数のメモリデバイスまたはチップを含み得る。ソフトウェアは、コア（2840）、具体的にはその中のプロセッサ（CPU、GPU、FPGAなどを含む）に、RAM（2846）に記憶されたデータ構造を定義すること、およびソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を修正することを含む、本明細書で説明される特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えて、または代替として、コンピュータシステムは、本明細書に説明される特定のプロセスまたは特定のプロセスの特定の部分を実行するようにソフトウェアの代わりに、またはそれと共に動作することができる回路（例えば、アクセラレータ（2844））にハードワイヤードのまたはその他の方法で具現化されたロジックの結果として、機能性を提供することができる。適切な場合は、ソフトウェアへの言及は、ロジックを包含することができ、その逆もまた同様である。必要に応じて、コンピュータ可読媒体への言及は、実行のためのソフトウェアを記憶する回路（集積回路（IC：integrated circuit）など）、実行のためのロジックを具体化する回路、またはこれらの両方を包含し得る。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを包含する。
【0191】
本開示はいくつかの例示的な実施形態を説明してきたが、本開示の範囲内にある修正例、置換例、および様々な代替均等例がある。したがって、当業者は、本明細書では明示的に示されていないか、または説明されていないが、本開示の原理を具現化し、したがってその精神および範囲内にある多数のシステムおよび方法を考案できることが理解されよう。
【0192】
付記A：頭字語
JEM：共同探索モデル
VVC：多用途ビデオコーディング
BMS：ベンチマークセット
MV：動きベクトル
HEVC：高効率ビデオコーディング
SEI：補足拡張情報
VUI：ビデオユーザビリティ情報
GOP：ピクチャグループ
TU：変換ユニット
PU：予測ユニット
CTU：コーディングツリーユニット
CTB：コーディングツリーブロック
PB：予測ブロック
HRD：仮想参照デコーダ
SNR：信号対雑音比
CPU：中央処理装置
GPU：グラフィックス処理装置
CRT：陰極線管
LCD：液晶ディスプレイ
OLED：有機発光ダイオード
CD：コンパクトディスク
DVD：デジタルビデオディスク
ROM：読取り専用メモリ
RAM：ランダムアクセスメモリ
ASIC：特定用途向け集積回路
PLD：プログラマブル論理デバイス
LAN：ローカルエリアネットワーク
GSM：モバイル通信用グローバルシステム
LTE：ロングタームエボリューション
CANBus：コントローラエリアネットワークバス
USB：ユニバーサルシリアルバス
PCI：周辺構成要素相互接続
FPGA：フィールドプログラマブルゲートエリア
SSD：ソリッドステートドライブ
IC：集積回路
HDR：ハイダイナミックレンジ
SDR：標準ダイナミックレンジ
JVET：共同ビデオ探索チーム
MPM：最確モード
WAIP：広角イントラ予測
CU：コーディングユニット
PU：予測ユニット
TU：変換ユニット
CTU：コーディングツリーユニット
PDPC：位置依存予測組み合わせ
ISP：イントラサブパーティション
SPS：シーケンスパラメータ設定
PPS：ピクチャパラメータセット
APS：適応パラメータセット
VPS：ビデオパラメータセット
DPS：デコーディングパラメータセット
ALF：適応ループフィルタ
SAO：サンプル適応オフセット
CC－ALF：交差成分適応ループフィルタ
CDEF：制約付き指向性強化フィルタ
CCSO：交差成分サンプルオフセット
LSO：ローカルサンプルオフセット
LR：ループ復元フィルタ
AV1：AOMedia Video 1
AV2：AOMedia Video 2
RPS：参照ピクチャセット
DPB：復号ピクチャバッファ
MMVD：動きベクトル差を伴うマージモード
IntraBCまたはIBC：イントラブロックコピー
BV：ブロックベクトル
BVD：ブロックベクトル差
RSM：参照サンプルメモリ
JEM：共同探索モデル
VVC：多用途ビデオコーディング
BMS：ベンチマークセット
MV：動きベクトル
HEVC：高効率ビデオコーディング
SEI：補足拡張情報
VUI：ビデオユーザビリティ情報
GOP：ピクチャグループ
TU：変換ユニット
PU：予測ユニット
CTU：コーディングツリーユニット
CTB：コーディングツリーブロック
PB：予測ブロック
HRD：仮想参照デコーダ
SNR：信号対雑音比
CPU：中央処理装置
GPU：グラフィックス処理装置
CRT：陰極線管
LCD：液晶ディスプレイ
OLED：有機発光ダイオード
CD：コンパクトディスク
DVD：デジタルビデオディスク
ROM：読取り専用メモリ
RAM：ランダムアクセスメモリ
ASIC：特定用途向け集積回路
PLD：プログラマブル論理デバイス
LAN：ローカルエリアネットワーク
GSM：モバイル通信用グローバルシステム
LTE：ロングタームエボリューション
CANBus：コントローラエリアネットワークバス
USB：ユニバーサルシリアルバス
PCI：周辺構成要素相互接続
FPGA：フィールドプログラマブルゲートエリア
SSD：ソリッドステートドライブ
IC：集積回路
HDR：ハイダイナミックレンジ
SDR：標準ダイナミックレンジ
JVET：共同ビデオ探索チーム
MPM：最確モード
WAIP：広角イントラ予測
CU：コーディングユニット
PU：予測ユニット
TU：変換ユニット
CTU：コーディングツリーユニット
PDPC：位置依存予測組み合わせ
ISP：イントラサブパーティション
SPS：シーケンスパラメータ設定
PPS：ピクチャパラメータセット
APS：適応パラメータセット
VPS：ビデオパラメータセット
DPS：デコーディングパラメータセット
ALF：適応ループフィルタ
SAO：サンプル適応オフセット
CC－ALF：交差成分適応ループフィルタ
CDEF：制約付き指向性強化フィルタ
CCSO：交差成分サンプルオフセット
LSO：ローカルサンプルオフセット
LR：ループ復元フィルタ
AV1：AOMedia Video 1
AV2：AOMedia Video 2
RPS：参照ピクチャセット
DPB：復号ピクチャバッファ
MMVD：動きベクトル差を伴うマージモード
IntraBCまたはIBC：イントラブロックコピー
BV：ブロックベクトル
BVD：ブロックベクトル差
RSM：参照サンプルメモリ
【符号の説明】
【0193】
101 サンプル
102 矢印
103 矢印
201 ブロック
202 周囲のサンプル
203 周囲のサンプル
204 周囲のサンプル
205 周囲のサンプル
206 周囲のサンプル
104 ブロック
300 通信システム
310 端末デバイス
320 端末デバイス
330 端末デバイス
340 端末デバイス
350 ネットワーク
400 通信システム
401 ビデオソース
402 ビデオピクチャまたは画像のストリーム
403 ビデオエンコーダ
404 エンコーディングされたビデオデータ（またはエンコーディングされたビデオビットストリーム）
405 ストリーミングサーバ
406 クライアントサブシステム
407 エンコーディングされたビデオデータのコピー
408 クライアントサブシステム
409 エンコーディングされたビデオデータのコピー
410 ビデオデコーダ
411 ビデオピクチャの出力ストリーム
412 ディスプレイ
413 ビデオ取り込みサブシステム
420 電子機器
430 電子機器
501 チャネル
510 ビデオデコーダ
512 ディスプレイ
515 バッファメモリ
520 パーサ
521 シンボル
530 電子デバイス
531 受信機
551 スケーラ／逆変換ユニット
552 イントラ予測ユニット
553 動き補償予測ユニット
555アグリゲータ
556 ループフィルタユニット
557 参照ピクチャメモリ
558 現在のピクチャバッファ
601 ビデオソース
603 ビデオエンコーダ
620 電子デバイス、エンコーダ
630 ソースコーダ
632 コーディングエンジン
633 デコーダ、復号ユニット
634 参照ピクチャメモリ
635 予測器
640 送信機
643 コーディングされたビデオシーケンス
645 エントロピーコーダ
650 コントローラ
660 チャネル
703 ビデオエンコーダ
721 汎用コントローラ
722 イントラエンコーダ
723 残差計算器
724 残差エンコーダ
725 エントロピーエンコーダ
726 スイッチ
728 残差デコーダ
730 インターエンコーダ
810 ビデオデコーダ
871 エントロピーデコーダ
872 イントラデコーダ
873 残差デコーダ
874 再構成モジュール
880 インターデコーダ
902 分割オプションまたはパターン
904 分割オプションまたはパターン
906 分割オプションまたはパターン
908 分割オプションまたはパターン
1002 パーティション、パターン
1004 パーティション、パターン
1006 パーティション、パターン
1008 パーティション、パターン
1102 垂直二分割
1104 水平二分割
1106 垂直三分割
1108 水平三分割
1200 ベースブロック
1202 正方形パーティション
1204 正方形パーティション
1206 正方形パーティション
1208 正方形パーティション
1402 パーティション
1404 パーティション
1406 パーティション
1408 パーティション
1410 全体的な例示的なパーティションパターン
1420 対応するツリー構造／表現
1502 正方形コーディングブロック
1602 ブロック
1802 ブロック
1804 現在のCTU
1806 コーディングブロック
1808 太点線枠
1810 CTU／SB
2104 中間時間
2106 中間時間
2108 中間時間
2302 パネル
2304 パネル
2402 パネル
2404 パネル
2700 フローチャート
2800 コンピュータシステム
2801 キーボード
2802 マウス
2803 トラックパッド
2805 ジョイスティック
2806 マイクロフォン
2807 スキャナ
2808 カメラ
2809 スピーカ
2810 画面
2820 CD／DVD ROM／RW
2821 媒体
2822 サムドライブ
2823 取り外し可能なハードドライブまたはソリッドステートドライブ
2840 コア
2841 中央処理装置（CPU）
2842 グラフィック処理装置（GPU）
2843 フィールド・プログラマブル・ゲートアレイ（FPGA）
2844 ハードウェアアクセラレータ
2845 読み出し専用メモリ（ROM)
2846 ランダムアクセスメモリ
2847 内部大容量記憶装置
2848 システムバス
2849 周辺バス
2850 グラフィックスアダプタ
2854 ネットワークインターフェース
2855 通信ネットワーク
102 矢印
103 矢印
201 ブロック
202 周囲のサンプル
203 周囲のサンプル
204 周囲のサンプル
205 周囲のサンプル
206 周囲のサンプル
104 ブロック
300 通信システム
310 端末デバイス
320 端末デバイス
330 端末デバイス
340 端末デバイス
350 ネットワーク
400 通信システム
401 ビデオソース
402 ビデオピクチャまたは画像のストリーム
403 ビデオエンコーダ
404 エンコーディングされたビデオデータ（またはエンコーディングされたビデオビットストリーム）
405 ストリーミングサーバ
406 クライアントサブシステム
407 エンコーディングされたビデオデータのコピー
408 クライアントサブシステム
409 エンコーディングされたビデオデータのコピー
410 ビデオデコーダ
411 ビデオピクチャの出力ストリーム
412 ディスプレイ
413 ビデオ取り込みサブシステム
420 電子機器
430 電子機器
501 チャネル
510 ビデオデコーダ
512 ディスプレイ
515 バッファメモリ
520 パーサ
521 シンボル
530 電子デバイス
531 受信機
551 スケーラ／逆変換ユニット
552 イントラ予測ユニット
553 動き補償予測ユニット
555アグリゲータ
556 ループフィルタユニット
557 参照ピクチャメモリ
558 現在のピクチャバッファ
601 ビデオソース
603 ビデオエンコーダ
620 電子デバイス、エンコーダ
630 ソースコーダ
632 コーディングエンジン
633 デコーダ、復号ユニット
634 参照ピクチャメモリ
635 予測器
640 送信機
643 コーディングされたビデオシーケンス
645 エントロピーコーダ
650 コントローラ
660 チャネル
703 ビデオエンコーダ
721 汎用コントローラ
722 イントラエンコーダ
723 残差計算器
724 残差エンコーダ
725 エントロピーエンコーダ
726 スイッチ
728 残差デコーダ
730 インターエンコーダ
810 ビデオデコーダ
871 エントロピーデコーダ
872 イントラデコーダ
873 残差デコーダ
874 再構成モジュール
880 インターデコーダ
902 分割オプションまたはパターン
904 分割オプションまたはパターン
906 分割オプションまたはパターン
908 分割オプションまたはパターン
1002 パーティション、パターン
1004 パーティション、パターン
1006 パーティション、パターン
1008 パーティション、パターン
1102 垂直二分割
1104 水平二分割
1106 垂直三分割
1108 水平三分割
1200 ベースブロック
1202 正方形パーティション
1204 正方形パーティション
1206 正方形パーティション
1208 正方形パーティション
1402 パーティション
1404 パーティション
1406 パーティション
1408 パーティション
1410 全体的な例示的なパーティションパターン
1420 対応するツリー構造／表現
1502 正方形コーディングブロック
1602 ブロック
1802 ブロック
1804 現在のCTU
1806 コーディングブロック
1808 太点線枠
1810 CTU／SB
2104 中間時間
2106 中間時間
2108 中間時間
2302 パネル
2304 パネル
2402 パネル
2404 パネル
2700 フローチャート
2800 コンピュータシステム
2801 キーボード
2802 マウス
2803 トラックパッド
2805 ジョイスティック
2806 マイクロフォン
2807 スキャナ
2808 カメラ
2809 スピーカ
2810 画面
2820 CD／DVD ROM／RW
2821 媒体
2822 サムドライブ
2823 取り外し可能なハードドライブまたはソリッドステートドライブ
2840 コア
2841 中央処理装置（CPU）
2842 グラフィック処理装置（GPU）
2843 フィールド・プログラマブル・ゲートアレイ（FPGA）
2844 ハードウェアアクセラレータ
2845 読み出し専用メモリ（ROM)
2846 ランダムアクセスメモリ
2847 内部大容量記憶装置
2848 システムバス
2849 周辺バス
2850 グラフィックスアダプタ
2854 ネットワークインターフェース
2855 通信ネットワーク
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【手続補正書】
【提出日】2023-06-08
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】００７７
【補正方法】変更
【補正の内容】
【0077】
インターエンコーダ（730）は、現在のブロック（例えば、処理ブロック）のサンプルを受け取り、そのブロックを参照ピクチャ内の1つまたは複数の参照ブロック（例えば、表示順序で前のピクチャ内および後のピクチャ内のブロック）と比較し、インター予測情報（例えば、インターエンコーディング技術による冗長情報、動きベクトル、マージモード情報の記述）を生成し、任意の適切な技術を使用してインター予測情報に基づいてインター予測結果（例えば、予測されたブロック）を計算するように構成される。いくつかの例では、参照ピクチャは、（以下でさらに詳細に説明するように、図7の残差デコーダ728として示されている）図6の例示的なエンコーダ620に組み込まれたデコーダユニット633を使用してエンコーディングされたビデオ情報に基づいて復号された復号参照ピクチャである。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０１３２
【補正方法】変更
【補正の内容】
【0132】
いくつかの他の例示的な実装形態では、イントラブロックコピー（IBC）予測が使用されてもよい。IBCでは、現在のフレーム内の現在のブロックは、予測されているブロックの位置に対するイントラ予測器または参照ブロックの位置のオフセットを示すためのブロックベクトル（BV）と組み合わせて、現在のフレーム内の別のブロック（時間的に異なるフレームではなく、したがって「イントラ」という用語）を使用して予測され得る。コーディングブロックの位置は、例えば、現在のフレーム（またはスライス）の左上隅に対する左隅の画素座標によって表すことができる。したがって、IBCモードは、現在のフレーム内で同様のインター予測概念を使用する。例えば、BVは、他の参照BVによって直接または現在のBVと参照BVとの間のBV差の組み合わせで予測されてもよく、これは、インター予測において参照MVおよびMV差を使用してMVを予測することに類似している。IBCは、例えば、同一のテキストセグメント（文字、記号、単語、語句など）が同じフレームの異なる部分に現れ、互いを予測するために使用することができるテキスト情報などのかなりの数の繰り返しパターンを有するスクリーンコンテンツを有するビデオフレームをエンコーディングおよび復号するための、特に改善されたコーディング効率を提供するのに有用である。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０１５０
【補正方法】変更
【補正の内容】
【0150】
現在のCTU再構成の開始を表す最初の中間時間に、RSMは、2102によって示されるように、4つの例示的な領域の各々についてのみ左隣のCTUの再構成参照サンプルを含むことができる。他の3つの中間時間では、再構成プロセスは、左隣のCTUの再構成参照サンプルを現在のCTUの再構成サンプルに徐々に置き換えている。RSMにおける64×64の領域／分割のリセットは、コーダがその領域／分割の最初のコーディングブロックを処理するときに発生する。RSMの領域をリセットするとき、その領域はブランクとみなされ、IBCの再構成参照サンプルを保持していないとみなされる（言い換えると、RSMのその領域は、IBC参照サンプルとして使用する準備ができていない）。その領域内の対応する現在のコーディングブロックが処理されると、RSM内の対応するブロックは、中間時間2104、2106、および2108について図21に示すように、次の現在のブロックのIBCの参照サンプルとして使用されるべき現在のCTUの対応するブロックの再構成サンプルで満たされる。RSMの領域／分割に対応してすべてのコーディングブロックが処理されると、その領域全体は、様々な中間時間において図21の縦線で完全に陰影が付けられた領域によって示されるように、IBC参照サンプルとしてこれらの現在のコーディングブロックの再構成サンプルで満たされる。したがって、中間時間2104および2106では、RSM内のいくつかの領域／区分は、隣接CTUからのIBC参照サンプルを保持し、いくつかの他の領域／区分は、完全に現在のCTUからの参照サンプルを保持するが、いくつかの領域／区分は、部分的に現在のCTUからの参照サンプルを保持し、部分的に空白である（上記のリセットプロセスの結果としてIBC参照には使用されない）。最後の領域（例えば、右下領域）が処理されると、他の3つの領域はすべて、現在のCTUの再構成サンプルをIBCの参照サンプルとして保持するが、最後の領域／区分は、CTUの最後のコーディングブロックが再構成されるまで、現在のCTU内の対応するコーディングブロックの再構成サンプルを部分的に保持し、かつ部分的に空白であり、その時点で、RSM全体は現在のCTUの再構成サンプルを保持し、RSMは、IBCモードでもコーディングされている場合、次のCTUに使用する準備ができている。
【手続補正4】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ビデオストリーム内のビデオブロックを再構成するための方法であって、前記ビデオストリームを受信するステップと、
前記ビデオストリームから少なくとも1つの構文要素を抽出するステップであって、前記少なくとも1つの構文要素は、前記ビデオブロックのイントラブロックコピー（IBC）予測に関連付けられている、ステップと、
前記ビデオブロックの前記IBC予測のためのIBC参照モードを決定するステップであって、前記IBC参照モードは、IBCなしモード、ローカル参照IBCモード、非ローカル参照IBCモード、ならびにローカルおよび非ローカル参照IBCモードのうちの1つを備える、ステップと、
前記IBC参照モードに基づいて前記ビデオストリームから前記ビデオブロックの再構成サンプルを生成するステップと、を含む、方法。
【請求項2】
前記ビデオブロックは、複数のビデオブロックを備える現在のIBC予測ユニットに属する、請求項1に記載の方法。
【請求項3】
前記非ローカル参照IBCモードの場合、前記ビデオブロックの前記IBC予測の参照ブロックは、前記現在のIBC予測ユニットのコーディング方向において前記現在のIBC予測ユニットに隣接していない再構成フレーム内領域内の参照サンプルを備える、請求項2に記載の方法。
【請求項4】
前記ローカル参照IBCモードの場合、前記ビデオブロックの前記IBC予測の参照ブロックは、現在のIBC予測ユニットの隣接ユニットの所定のセット内の参照サンプルまたは前記現在のIBC予測ユニットで既に再構成されたビデオブロックを備える、請求項1から3のいずれか一項に記載の方法。
【請求項5】
前記隣接ユニットの所定のセットは、前記現在のIBC予測ユニットの単一の左隣のユニットを備える、請求項4に記載の方法。
【請求項6】
前記ローカル参照IBCモードの場合、前記IBC予測のための参照サンプルは、固定サイズのオンチップ参照サンプルメモリ（RSM）に維持される、請求項4に記載の方法。
【請求項7】
前記RSMの前記固定サイズは、1つのIBC予測ユニットのサイズに対応する、請求項6に記載の方法。
【請求項8】
前記RSMの第1の部分は、前記現在のIBC予測ユニットで既に再構成された前記ビデオブロックの対応するサンプルを備え、前記RSMの第2の部分は、前記隣接ユニットの所定のセットからの対応する再構成サンプルを備える、
請求項7に記載の方法。
【請求項9】
前記現在のIBC予測ユニット内の前記ビデオブロックに対応する前記RSM内の前記隣接ユニットの再構成サンプルを前記ビデオブロックの前記再構成サンプルに置き換えるステップをさらに含む、請求項8に記載の方法。
【請求項10】
前記現在のIBC予測ユニットは、所定の分割セットに分割され、前記ビデオブロックは、前記所定の分割セットのうちの現在の区分の再構成されるべき第1のコーディングブロックであり、
前記方法は、前記現在の区分に対応する前記RSMの区分を、前記ビデオブロックの再構成の前にIBC参照に利用できないものとしてリセットするステップをさらに含む、
請求項6に記載の方法。
【請求項11】
前記少なくとも1つの構文要素は、設定されているときにローカルIBC参照が有効であることを示すための第1のフラグと、設定されているときに非ローカル参照IBCが有効であることを示すための第2のフラグと、を備える、請求項1または2のいずれか一項に記載の方法。
【請求項12】
前記第1のフラグが設定され、前記第2のフラグが設定されていないことに応答して、前記IBC参照モードが前記ローカル参照IBCモードであると決定するステップと、前記第2のフラグが設定され、前記第1のフラグが設定されていないことに応答して、前記IBC参照モードが前記非ローカル参照IBCモードであると決定するステップと、
前記第1のフラグおよび前記第2のフラグの両方が設定されていないことに応答して、前記IBC参照モードが前記ローカルおよび非ローカル参照IBCモードであると決定するステップと、
前記第1のフラグおよび前記第2のフラグの両方が設定されていないことに応答して、前記IBC参照モードが前記IBCなしモードであると決定するステップと、をさらに含む、
請求項11に記載の方法。
【請求項13】
前記第1のフラグおよび前記第2のフラグは、コーディングブロックレベル、コーディングユニットレベル、コーディングツリーユニットレベル、スライスレベル、ピクチャレベル、またはシーケンスレベルで前記ビデオストリームでシグナリングされる、請求項11に記載の方法。
【請求項14】
前記少なくとも1つの構文要素は、前記ビデオブロックにIBCが使用されるかどうかを示すための第1のフラグを備える、請求項1または2のいずれか一項に記載の方法。
【請求項15】
前記ビデオブロックにIBCが使用されないことを示す前記第1のフラグに応答して、前記IBC参照モードが前記IBCなしモードであると決定するステップと、をさらに含む、請求項14に記載の方法。
【請求項16】
前記ビデオブロックにIBCが使用されることを示す前記第1のフラグに応答して、非ローカルIBC参照が使用されるかどうかを示すための第2のフラグを前記少なくとも1つの構文要素の一部としてさらに抽出するステップと、非ローカルIBC参照が使用されないことを示す前記第2のフラグに応答して、前記ビデオブロックの前記IBC参照モードが前記ローカル参照IBCモードであると推測するステップと、をさらに含む、
請求項15に記載の方法。
【請求項17】
非ローカルIBC参照が使用されることを示す前記第2のフラグに応答して、ローカルIBC参照が使用されるかどうかを示すための第3のフラグを前記少なくとも1つの構文要素の一部としてさらに抽出するステップと、ローカルIBC参照が使用されることを示す前記第3のフラグに応答して、前記IBC参照モードが前記ローカルおよび非ローカル参照IBCモードであると決定するステップと、
ローカルIBC参照が使用されないことを示す前記第3のフラグに応答して、前記IBC参照モードが前記非ローカル参照IBCモードであると決定するステップと、をさらに含む、
請求項16に記載の方法。
【請求項18】
ループフィルタリング処理は、前記IBC参照モードが前記ローカル参照IBCモードであるときに有効にされ、前記ループフィルタリング処理は、前記IBC参照モードが前記非ローカル参照IBCモードまたは前記ローカルおよび非ローカル参照IBCモードであるときに無効にされる、
請求項1から3のいずれか一項に記載の方法。
【請求項19】
前記ループフィルタリング処理が有効であるかどうかは、前記IBC参照モードをシグナリングするための前記少なくとも1つの構文要素から導出される、請求項18に記載の方法。
【請求項20】
ビデオストリーム内のビデオブロックを再構成するためのビデオ処理デバイスであって、コンピュータ命令を記憶するためのメモリと、前記コンピュータ命令を実行して、前記ビデオストリームから少なくとも1つの構文要素を抽出することであって、前記少なくとも1つの構文要素は、前記ビデオブロックのイントラブロックコピー（IBC）予測に関連付けられている、抽出することと、
前記ビデオブロックの前記IBC予測のためのIBC参照モードを決定することであって、前記IBC参照モードは、IBCなしモード、ローカル参照IBCモード、非ローカル参照IBCモード、ならびにローカルおよび非ローカル参照IBCモードのうちの1つを備える、決定することと、
前記IBC参照モードに基づいて前記ビデオストリームから前記ビデオブロックの再構成サンプルを生成することと、を行うためのプロセッサと、を備える、ビデオ処理デバイス。
【請求項21】
ビデオストリーム内のビデオブロックを再構成するためのコンピュータプログラムであって、1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに、
前記ビデオストリームから少なくとも1つの構文要素を抽出するステップであって、前記少なくとも1つの構文要素は、前記ビデオブロックのイントラブロックコピー（IBC）予測に関連付けられている、ステップと、
前記ビデオブロックの前記IBC予測のためのIBC参照モードを決定するステップであって、前記IBC参照モードは、IBCなしモード、ローカル参照IBCモード、非ローカル参照IBCモード、ならびにローカルおよび非ローカル参照IBCモードのうちの1つを備える、ステップと、
前記IBC参照モードに基づいて前記ビデオストリームから前記ビデオブロックの再構成サンプルを生成するステップと、を行わせるための、コンピュータプログラム。
【国際調査報告】