(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-24
(45)【発行日】2023-12-04
(54)【発明の名称】Ｌ字型パーティション分割ツリーを用いたイントラコーディング
(51)【国際特許分類】
H04N 19/593 20140101AFI20231127BHJP
H04N 19/119 20140101ALI20231127BHJP
H04N 19/176 20140101ALI20231127BHJP
H04N 19/182 20140101ALI20231127BHJP
【ＦＩ】
H04N19/593
H04N19/119
H04N19/176
H04N19/182
【請求項の数】
13
(21)【出願番号】P 2022519448
(86)(22)【出願日】2020-11-09
(65)【公表番号】
(43)【公表日】2022-11-29
(86)【国際出願番号】 US2020059705
(87)【国際公開番号】W WO2021206754
(87)【国際公開日】2021-10-14
【審査請求日】2022-03-28
(31)【優先権主張番号】63/007,852
(32)【優先日】2020-04-09
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/993,491
(32)【優先日】2020-08-14
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ジャオ，シン
(72)【発明者】
【氏名】ジャオ，リアン
(72)【発明者】
【氏名】リィウ，シャン
【審査官】岩井 健二
(56)【参考文献】
【文献】特開２０１０－１７１７２９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２０／００９９９２５（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１９／００２０８８８（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１７／０３５３７３０（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１７／０２４４９６４（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１４／０１９２８７６（ＵＳ，Ａ１）
【文献】国際公開第２０１７／１９０２８８（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
少なくとも１つのプロセッサによって実行される方法であって、当該方法は、ビデオデータのブロックを取得するステップと、
前記ブロックをＬ字型パーティション及び第２のパーティションに分割するステップであって、前記第２のパーティションは長方形パーティション及び別のＬ字型パーティションのうちの１つである、分割するステップと、
再構成した隣接サンプルのチェーンを含む参照サンプルチェーンを参照サンプルとして使用して、前記Ｌ字型パーティションのイントラ予測を行うステップと、を含み、
前記チェーンには、前記Ｌ字型パーティションに隣接する再構成したサンプルからの複数の水平参照線と複数の垂直参照線との両方が含まれ、
前記複数の水平参照線のうちの１つの水平参照線及び前記複数の垂直参照線のうちの１つの垂直参照線が、前記ブロック内にある、
方法。
【請求項2】
前記複数の垂直参照線のうちの第１の垂直参照線は、前記複数の水平参照線のうちの第１の水平参照線に直接接続されており、前記複数の水平参照線のうちの前記第１の水平参照線は、前記複数の垂直参照線のうちの第２の垂直参照線に直接接続されており、
前記複数の垂直参照線のうちの前記第２の垂直参照線は、前記複数の水平参照線のうちの第２の水平参照線に直接接続されており、
前記複数の水平参照線のうちの前記第１の水平参照線及び前記複数の垂直参照線のうちの前記第２の垂直参照線は、前記ブロック内にあり、
前記複数の垂直参照線のうちの前記第１の垂直参照線及び前記複数の水平参照線のうちの前記第２の水平参照線は、前記ブロックの外側にある、請求項１に記載の方法。
【請求項3】
少なくとも１つの前記水平参照線の少なくとも１つのサンプルを、前記ブロックに沿った左側の列にマッピングするステップと、少なくとも１つの前記垂直参照線の少なくとも１つのサンプルを、前記ブロックに沿った上部の行にマッピングするステップと、をさらに含む、請求項１に記載の方法。
【請求項4】
少なくとも１つの前記水平参照線の少なくとも１つのサンプルを、前記ブロックに沿った上部の行にマッピングするステップと、少なくとも１つの前記垂直参照線の少なくとも１つのサンプルを、前記ブロックに沿った前記上部の行にマッピングするステップと、をさらに含む、請求項１に記載の方法。
【請求項5】
前記イントラ予測を行うステップは、前記Ｌ字型パーティションのサンプルを、前記参照サンプルチェーンの垂直側及び水平側の少なくとも一方に投影するステップを含む、請求項１乃至４のいずれか一項に記載の方法。
【請求項6】
双方向予測モードを有効にするステップと、前記双方向予測モードにおいて、前記参照サンプルチェーンの第１の部分及び第２の部分の加重和を利用して、前記第２のパーティションの現在のブロックの予測子を生成するステップと、をさらに含み、
前記参照サンプルチェーンの前記第１の部分及び前記第２の部分は、前記現在のブロックに隣接しておらず、
前記参照サンプルチェーンの前記第１の部分及び前記第２の部分は、それぞれ、前記現在のブロックの右側及び左側にある、請求項１乃至５のいずれか一項に記載の方法。
【請求項7】
前記参照サンプルチェーンの前記第１の部分は、前記現在のブロックの右側と上部との両方にあり、前記参照サンプルチェーンの前記第２の部分は、前記現在のブロックの左側と下部との両方にある、請求項６に記載の方法。
【請求項8】
前記参照サンプルチェーンの前記第１の部分及び前記第２の部分のうちの第１のものは、前記ブロック内にあり、前記参照サンプルチェーンの前記第１の部分及び前記第２の部分のうちの第２のものは、前記ブロックの外側にある、請求項７に記載の方法。
【請求項9】
前記Ｌ字型パーティションは、第１の側と、該第１の側とは反対側の第２の側とを含み、前記第１の側には、前記第２の側よりも高い高さが含まれ、
前記Ｌ字型パーティションは、第３の側と、該第３の側とは反対の第４の側とをさらに含み、
前記第３の側には、前記第４の側よりも大きい幅が含まれる、請求項１乃至８のいずれか一項に記載の方法。
【請求項10】
機器であって、当該機器は、コンピュータプログラムコードを格納するように構成された少なくとも１つのメモリと、
前記コンピュータプログラムコードにアクセスし、該コンピュータプログラムコードによって指示されるように動作するように構成された少なくとも１つのハードウェアプロセッサと、を含み、
該プロセッサが、前記コンピュータプログラムコードの指示に従って、請求項１乃至９のいずれか一項に記載の方法を実行する、
機器。
【請求項11】
コンピュータにプロセスを実行させるプログラムを格納する非一時的なコンピュータ可読媒体であって、前記プログラムが前記コンピュータのプロセッサによって実行されると、前記プロセッサに、請求項１乃至９のいずれか一項に記載の方法を実行させる、非一時的なコンピュータ可読媒体。
【請求項12】
コンピュータ可読命令を使用したコンピュータソフトウェアであって、前記コンピュータ可読命令がコンピュータのプロセッサによって実行されると、前記プロセッサに、請求項１乃至９のいずれか一項に記載の方法を実行させる、コンピュータソフトウェア。
【請求項13】
コンピュータプログラムであって、前記コンピュータプログラムがコンピュータのプロセッサによって実行されると、前記プロセッサに、請求項１乃至９のいずれか一項に記載の方法を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照
本願は、２０２０年４月９日に出願された米国仮特許出願第６３／００７，８５２号、及び２０２０年８月１４日に出願された米国特許出願第１６／９９３，４９１号からの優先権を主張するものであり、これらの文献の全体が本明細書に組み込まれる。
本願は、２０２０年４月９日に出願された米国仮特許出願第６３／００７，８５２号、及び２０２０年８月１４日に出願された米国特許出願第１６／９９３，４９１号からの優先権を主張するものであり、これらの文献の全体が本明細書に組み込まれる。
【0002】
分野
本開示は、先進の画像及びビデオコーディング技術のセットを対象としており、例示的な実施形態によれば、より具体的には、１つ又は複数のＬ字型パーティション分割ツリーを用いたイントラコーディングスキームを対象としている。
本開示は、先進の画像及びビデオコーディング技術のセットを対象としており、例示的な実施形態によれば、より具体的には、１つ又は複数のＬ字型パーティション分割ツリーを用いたイントラコーディングスキームを対象としている。
【背景技術】
【0003】
関連技術の説明
ＡＯＭｅｄｉａ Ｖｉｄｅｏ１（ＡＶ１）は、インターネットを介したビデオ送信のために設計されたオープンビデオコーディングフォーマットであり、半導体企業、ビデオオンデマンドプロバイダ、ビデオコンテンツプロデューサ、ソフトウェア開発会社、及びＷｅｂブラウザベンダを含む２０１５年に設立されたコンソーシアムであるＡＯＭｅｄｉａ（Alliance for Open Media）によってＶＰ９の後継として開発された。ＡＶ１プロジェクトのコンポーネントの多くは、アライアンスメンバーによる以前の研究努力から提供された。個々のコントリビュータ（contributor）は数年前に実験的な技術プラットフォームを開始した。Ｘｉｐｈ／ＭｏｚｉｌｌａのＤａａｌａは２０１０年に既にコードを公開し、Ｇｏｏｇｌｅの実験的なＶＰ９進化プロジェクトＶＰ１０は２０１４年９月１２日に発表され、ＣｉｓｃｏのＴｈｏｒは２０１５年８月１１日に公開された。ＶＰ９のコードベースに基づいて、ＡＶ１には追加の技術が組み込まれ、そのいくつかはこれらの実験フォーマットで開発された。ＡＶ１リファレンスコーデックの最初のバージョン０．１．０は、２０１６年４月７日に公開された。アライアンスは、参照、ソフトウェアベースのエンコーダ及びデコーダとともに、２０１８年３月２８日にＡＶ１ビットストリーム仕様のリリースを発表した。２０１８年６月２５日に、仕様の検証済みバージョン１．０．０がリリースされ、２０１９年１月８日に、仕様のエラッタ１を含む検証済みバージョン１．０．０がリリースされた。ＡＶ１ビットストリーム仕様には、参照ビデオコーデックが含まれている。
ＡＯＭｅｄｉａ Ｖｉｄｅｏ１（ＡＶ１）は、インターネットを介したビデオ送信のために設計されたオープンビデオコーディングフォーマットであり、半導体企業、ビデオオンデマンドプロバイダ、ビデオコンテンツプロデューサ、ソフトウェア開発会社、及びＷｅｂブラウザベンダを含む２０１５年に設立されたコンソーシアムであるＡＯＭｅｄｉａ（Alliance for Open Media）によってＶＰ９の後継として開発された。ＡＶ１プロジェクトのコンポーネントの多くは、アライアンスメンバーによる以前の研究努力から提供された。個々のコントリビュータ（contributor）は数年前に実験的な技術プラットフォームを開始した。Ｘｉｐｈ／ＭｏｚｉｌｌａのＤａａｌａは２０１０年に既にコードを公開し、Ｇｏｏｇｌｅの実験的なＶＰ９進化プロジェクトＶＰ１０は２０１４年９月１２日に発表され、ＣｉｓｃｏのＴｈｏｒは２０１５年８月１１日に公開された。ＶＰ９のコードベースに基づいて、ＡＶ１には追加の技術が組み込まれ、そのいくつかはこれらの実験フォーマットで開発された。ＡＶ１リファレンスコーデックの最初のバージョン０．１．０は、２０１６年４月７日に公開された。アライアンスは、参照、ソフトウェアベースのエンコーダ及びデコーダとともに、２０１８年３月２８日にＡＶ１ビットストリーム仕様のリリースを発表した。２０１８年６月２５日に、仕様の検証済みバージョン１．０．０がリリースされ、２０１９年１月８日に、仕様のエラッタ１を含む検証済みバージョン１．０．０がリリースされた。ＡＶ１ビットストリーム仕様には、参照ビデオコーデックが含まれている。
【0004】
図１０Ａは、ＶＰ９を用いたブロックパーティション分割の態様の簡略化したブロック図１０００を表しており、これは、ブロック１００１のブロック１００２における６４×６４レベルから開始して４×４レベルまで（ブロック８×８にいくつかの追加の制限を加え、レベル１００３より下での）４ウェイパーティションツリーを使用する。例示的な実施形態によれば、Ｒとして指定されたパーティションは、同じパーティションツリーが最低の４×４レベルに達するまでより低いスケールで繰り返され得るという点で、再帰的と呼ばれ得ることに留意されたい。
【0005】
図１０Ｂは、ＡＶ１を用いたブロックパーティション分割の態様の簡略化したブロック図１０１０を表しており、これは、図１０Ｂに示されるようにレベル１００４においてそのようなパーティションツリーを１０ウェイ構造に拡張するだけでなく、ブロック１０２０のブロック１０２１において１２８×１２８から開始する最大サイズも大きくする（ＶＰ９／ＡＶ１用語ではスーパーブロックと呼ばれる）。レベル１００４には、上記のようにＶＰ９には存在しなかった４：１／１：４の長方形パーティションが含まれ、例示的な実施形態によれば、長方形パーティションのいずれもさらに再分割できないことに留意されたい。さらに、ＡＶ１は、例えば、特定の場合に２×２クロマインター予測が可能になるという意味で、８×８レベル未満のパーティションの使用にさらに柔軟性を追加する。
【0006】
ＨＥＶＣを用いた実施形態によれば、コーディングツリーユニット（ＣＴＵ）は、様々なローカル特性に適応するためにコーディングツリーとして示される四分木構造を使用して、コーディングユニット（ＣＵ）に分割される。画像間（inter-picture：インターピクチャ）（時間的）又は画像内（intra
picture：イントラピクチャ）（空間的）予測を使用してピクチャ領域をコーディングするかどうかの決定は、ＣＵレベルで行われる。各ＣＵは、ＰＵ分割タイプに応じて、さらに１つ、２つ、又は４つの予測ユニット（ＰＵ）に分割することができる。１つのＰＵ内で、同じ予測プロセスが適用され、関連情報がＰＵベースでデコーダに送信される。ＰＵ分割タイプに基づく予測プロセスを適用して残余ブロックを取得した後に、ＣＵのコーディングツリーのような別の四分木構造に従って、ＣＵを変換ユニット（ＴＵ）にパーティション分割することができる。ＨＥＶＣ構造の重要な特徴の１つは、ＣＵ、ＰＵ、及びＴＵを含む複数のパーティションの概念があることである。ＨＥＶＣでは、ＣＵ又はＴＵは正方形のみであるが、インター予測ブロックの場合に、ＰＵは正方形又は長方形にすることができる。ＨＥＶＣでは、１つのコーディングブロックをさらに４つの正方形のサブブロックに分割することができ、変換は各サブブロック、すなわちＴＵに対して実行される。各ＴＵは、（四分木分割を使用して）再帰的にさらに小さなＴＵに分割することができ、これは、残余四分木（ＲＱＴ）と呼ばれる。
picture：イントラピクチャ）（空間的）予測を使用してピクチャ領域をコーディングするかどうかの決定は、ＣＵレベルで行われる。各ＣＵは、ＰＵ分割タイプに応じて、さらに１つ、２つ、又は４つの予測ユニット（ＰＵ）に分割することができる。１つのＰＵ内で、同じ予測プロセスが適用され、関連情報がＰＵベースでデコーダに送信される。ＰＵ分割タイプに基づく予測プロセスを適用して残余ブロックを取得した後に、ＣＵのコーディングツリーのような別の四分木構造に従って、ＣＵを変換ユニット（ＴＵ）にパーティション分割することができる。ＨＥＶＣ構造の重要な特徴の１つは、ＣＵ、ＰＵ、及びＴＵを含む複数のパーティションの概念があることである。ＨＥＶＣでは、ＣＵ又はＴＵは正方形のみであるが、インター予測ブロックの場合に、ＰＵは正方形又は長方形にすることができる。ＨＥＶＣでは、１つのコーディングブロックをさらに４つの正方形のサブブロックに分割することができ、変換は各サブブロック、すなわちＴＵに対して実行される。各ＴＵは、（四分木分割を使用して）再帰的にさらに小さなＴＵに分割することができ、これは、残余四分木（ＲＱＴ）と呼ばれる。
【0007】
ピクチャ境界では、ＨＥＶＣは暗黙的な四分木分割を採用しているため、サイズがピクチャ境界に適合するまでブロックは四分木分割を続ける。
【0008】
図１１Ａは、含まれるマルチタイプツリー（ＭＴＴ）構造１１０１に関する簡略化したブロック図１１００ＶＶＣを表しており、このＭＴＴは、例示した四分木（ＱＴ）と、ネスト化した二分木（ＢＴ）及び三分木（トリプル／ターナリーツリー）（ＴＴ）との組合せである。ＣＴＵ又はＣＵは、最初にＱＴによって再帰的に正方形ブロックにパーティション分割される。次に、各ＱＴリーフをＢＴ又はＴＴによってさらにパーティション分割することができ、この場合に、ＢＴ及びＴＴの分割を再帰的に適用してインターリーブさせることができるが、それ以上のＱＴパーティション分割を適用することができない。関連する全ての提案において、ＴＴは、長方形ブロックを垂直方向又は水平方向に１：２：１の比で３つのブロックに分割する（こうして、２の累乗以外の幅及び高さを回避する）。パーティションエミュレーション防止のために、追加の分割制約が、典型的に、図１１Ｂの簡略化した図１１０２に示されるように、ＭＴＴに対して、ブロック１１０３（クワッド）、１１０４（バイナリ、ＪＥＭ）、及び１１０５（ターナリ）に関するＶＶＣのＱＴ－ＢＴ－ＴＴブロックパーティション分割に課され、パーティションの重複を回避する（例えば、垂直方向／水平方向の３分木分割の結果として、中央のパーティションに対して垂直方向／水平方向の２分木分割を禁止する）。ＢＴ及びＴＴの最大深度に更なる制限が設定され得る。
【0009】
ＶＰ９は、４５～２０７°の角度に対応する８つの指向性（directional：方向性）モードをサポートする。指向性テクスチャでより多様な空間冗長性を活用するために、ＡＶ１では、指向性イントラモードが、より細かい粒度で設定された角度に拡張される。元の８つの角度は僅かに変更され、公称角度として作成される。これらの８つの公称角度は、Ｖ＿ＰＲＥＤ１４０１、Ｈ＿ＰＲＥＤ１４０２、Ｄ４５＿ＰＲＥＤ１４０３、Ｄ１３５＿ＰＲＥＤ１４０４、Ｄ１１３＿ＰＲＥＤ１４０５、Ｄ１５７＿ＰＲＥＤ１４０６、Ｄ２０３＿ＰＲＥＤ１４０７、及びＤ６７＿ＰＲＥＤ１４０８と呼ばれ、これは、ＡＶＩのイントラ予測モード、より具体的にはＡＶＩの方向性イントラ予測に関する図１４の簡略化した図１４００に示されている。各公称角度について、実施形態に応じて７つのより細かい角度が存在し得るので、ＡＶ１には、合計で５６個の指向性角度がある。予測角度は、公称イントラ角に角度デルタを加えたもので表され、これは、－３～３で、３°のステップサイズを乗算する。ＡＶ１では、５つの非角度スムーズモードとともに８つの公称モードが最初に通知され、次に現在のモードが角度モードである場合に、対応する公称角度に対する角度デルタを示すインデックスがさらに通知される。一般的な方法でＡＶ１の指向性予測モードを実装するために、ＡＶ１の５６個の指向性イントラ予測モードは全て、各ピクセルを参照サブピクセル位置に投影し、参照ピクセルを２タップのバイナリフィルタで補間する統合指向性予測器を使用して実装される。
【0010】
ＡＶ１には、ＤＣ、ＰＡＥＴＨ、ＳＭＯＯＴＨ、ＳＭＯＯＴＨ＿Ｖ、及びＳＭＯＯＴＨ＿Ｈの５つの無指向性の滑らかなイントラ予測モードがある。ＤＣ予測の場合に、左側及び上部（above）の隣接サンプルの平均が、予測されるブロックの予測子として使用される。ＰＡＥＴＨ予測子の場合に、最初に上部（top）、左側、及び左上の参照サンプルがフェッチされ、次に（上部＋左側－左上）に最も近い値が、予測されるピクセルの予測子として設定される。ＡＶＩの無指向性の滑らかなイントラ予測子に関する図１５の簡略化したブロック図１５００を使用すると、現在のブロックの１つのピクセルに対して上部、左側、及び左上のサンプルの位置が示されている。ＳＭＯＯＴＨ、ＳＭＯＯＴＨ＿Ｖ、及びＳＭＯＯＴＨ＿Ｈモードの場合に、垂直方向又は水平方向、或いは両方向の平均による２次補間を使用したブロックの予測がある。
【0011】
エッジ上のリファレンスとの減衰する空間的相関を取り込むために、フィルタイントラモードがルマブロックのために設計されている。ＡＶ１には５つのフィルタイントラモードが規定されており、それぞれが、４×２パッチのピクセルとそのパッチに隣接する７つの隣接ピクセルとの間の相関を反映する８つの７タップフィルタのセットによって表される。換言すると、７タップフィルタの重み係数は位置に依存する。８×８ブロックを例にとると、それは８つの４×２パッチに分割され、これは、再帰的フィルタリングベースのイントラ予測子の特徴に関する図１６の簡略化したブロック図１６００に関して示されている。これらのパッチは、図１６にＢ０、Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６、及びＢ７によって示される。各パッチについて、Ｒ０～Ｒ７で示される７つの隣接ピクセルを使用して、現在のパッチのピクセルを予測する。パッチＢ０の場合に、全ての隣接（ピクセル）は既に再構成されている。ただし、他のパッチの場合に、全ての隣接（ピクセル）が再構成されているわけではなく、直ぐ隣（のピクセル）の予測値が参照として使用される。例えば、パッチＢ７の全ての隣接ピクセルが再構成されていないので、実施形態によれば、隣接パッチ（すなわち、Ｂ５及びＢ６）の予測サンプルが代わりに使用される。
【0012】
ＣｆＬ（Chroma from Luma）は、クロマピクセルを、一致する再構成したルマピクセルの線形関数としてモデル化するクロマのみのイントラ予測子である。ＣｆＬ予測は次のように表される。
ＣｆＬ（α）＝α×ＬＡＣ＋ＤＣ （式１）
ここで、ＬＡＣはルマ成分のＡＣ寄与を示し、αは線形モデルのパラメータを示し、ＤＣはクロマ成分のＤＣ寄与を示している。具体的には、再構成したルマピクセルがクロマ解像度にサブサンプリングされ、次に平均値が差し引かれ、ＡＣ寄与が形成される。ＡＣ寄与からクロマＡＣ成分を概算するために、いくつかの従来技術のようにデコーダにスケーリングパラメータを計算させる代わりに、ＡＶ１ ＣｆＬは、元のクロマピクセルに基づいてパラメータαを決定し、ビットストリームでそれらに通知する。これにより、デコーダの複雑さが軽減され、より正確な予測が可能になる。クロマコンポーネントのＤＣ寄与に関しては、殆どのクロマコンテンツに十分であり、成熟した高速実装を備えたイントラＤＣモードを使用して計算される。
ＣｆＬ（α）＝α×ＬＡＣ＋ＤＣ （式１）
ここで、ＬＡＣはルマ成分のＡＣ寄与を示し、αは線形モデルのパラメータを示し、ＤＣはクロマ成分のＤＣ寄与を示している。具体的には、再構成したルマピクセルがクロマ解像度にサブサンプリングされ、次に平均値が差し引かれ、ＡＣ寄与が形成される。ＡＣ寄与からクロマＡＣ成分を概算するために、いくつかの従来技術のようにデコーダにスケーリングパラメータを計算させる代わりに、ＡＶ１ ＣｆＬは、元のクロマピクセルに基づいてパラメータαを決定し、ビットストリームでそれらに通知する。これにより、デコーダの複雑さが軽減され、より正確な予測が可能になる。クロマコンポーネントのＤＣ寄与に関しては、殆どのクロマコンテンツに十分であり、成熟した高速実装を備えたイントラＤＣモードを使用して計算される。
【0013】
マルチラインのイントラ予測は、イントラ予測により多くの参照線を使用するために提案され、エンコーダは、どの参照線を使用してイントラ予測子を生成するかを決定し、信号通知する。参照線インデックスは、イントラ予測モードの前に通知され、ゼロ以外の参照線インデックスが通知された場合に、最も可能性の高いモードのみが許可される。図１７に示されるマルチライン・イントラ予測モードに関して簡略化した図１７００に示されるように、４つの参照線（参照線０（１７１１）、参照線１（１７１２）、参照線２（１７１３）、及び参照線３（１７１４））の例が示され、各参照線は、４つのセグメント、すなわち、セグメントＡ（１７０１）、セグメントＢ（１７０２）、セグメントＣ（１７０３）、セグメントＤ（１７０４）から構成される。さらに、理解を容易にするために、異なる参照線で再構成したサンプルは、図１７の異なるパターンで塗りつぶされており、マルチラインのイントラ予測モードは、マルチ参照線予測（ＭＲＬＰ）モードとも呼ばれ得る。
【0014】
本明細書でより完全に説明する（例えば、本明細書の他の図の中で図１２を用いて）Ｌ字型パーティションでは、１つ又は複数の再構成した隣接サンプルも、右側及び／又は下（bottom）部のいずれかから利用可能であり得、これは、予測を行うために上部及び左側の参照サンプルを使用するイントラ予測スキームと完全に互換性がない場合がある。さらに、Ｌ字型パーティションでは、隣接する参照サンプルがもはや直線を形成しなくなり得るため、マルチ参照線予測（ＭＲＬＰ）とＬ字型パーティションとの両方の機能を同時に作成するには、ＭＲＬＰとＬ字型パーティションとの間の調和に対処する必要があり得る。
【0015】
従って、そのような問題に対する技術的解決策が望まれている。
【発明の概要】
【0016】
コンピュータプログラムコードを格納するように構成されたメモリと、コンピュータプログラムコードにアクセスし、コンピュータプログラムコードによって指示されるように動作するように構成された１つ又は複数のハードウェアプロセッサとを含む方法及び機器が提供される。コンピュータプログラム選択コードは、プロセッサに、コンピュータプログラムコードを実装させるように構成され、コンピュータプログラムコードは、プロセッサに、ビデオデータのブロックを取得させるように構成された取得コードと；プロセッサに、ブロックをＬ字型パーティション及び第２のパーティションに分割させるように構成された分割コードであって、第２のパーティションは長方形パーティション及び別のＬ字型パーティションのうちの１つである、分割コードと；プロセッサに、再構成した隣接サンプルのチェーンを含む参照サンプルチェーンを参照サンプルとして使用して、Ｌ字型パーティションのイントラ予測を行うように構成された実行コードと；をプロセッサに実装させるように構成される。
【0017】
例示的な実施形態によれば、チェーンには、Ｌ字型パーティションに隣接する再構成したサンプルからの複数の水平参照線と複数の垂直参照線との両方が含まれる。
【0018】
例示的な実施形態によれば、複数の垂直参照線のうちの第１の垂直参照線は、複数の水平参照線のうちの第１の水平参照線に直接接続されており、複数の水平参照線のうちの第１の水平参照線は、複数の垂直参照線のうちの第２の垂直参照線に直接接続されており、複数の垂直参照線のうちの第２の垂直参照線は、複数の水平参照線のうちの第２の水平参照線に直接接続されており、複数の水平参照線のうちの第１の水平参照線及び複数の垂直参照線のうちの第２の垂直参照線は、ブロック内にあり、複数の垂直参照線のうちの第１の垂直参照線及び複数の水平参照線のうちの第２の水平参照線は、ブロックの外側にある。
【0019】
例示的な実施形態によれば、コンピュータプログラム選択コードは、プロセッサに、コンピュータプログラムコードを実装させるようにさらに構成され、コンピュータプログラムコードは、プロセッサに、少なくとも１つの水平参照線の少なくとも１つのサンプルをブロックに沿った左側の列にマッピングさせる、及び少なくとも１つの垂直参照線の少なくとも１つのサンプルをブロックに沿った上部の行にマッピングさせるように構成されたマッピングコードをプロセッサに実装させるように構成される。
【0020】
例示的な実施形態によれば、コンピュータプログラム選択コードは、プロセッサに、コンピュータプログラムコードを実装させるようにさらに構成され、コンピュータプログラムコードは、プロセッサに、少なくとも１つの水平参照線の少なくとも１つのサンプルをブロックに沿った上部の行にマッピングさせる、及び少なくとも１つの垂直参照線の少なくとも１つのサンプルをブロックに沿った上部の行にマッピングさせるように構成されたマッピングコードをプロセッサに実装させるように構成される。
【0021】
例示的な実施形態によれば、イントラ予測を行うことは、Ｌ字型パーティションのサンプルを、参照サンプルチェーンの垂直側及び水平側の少なくとも一方に投影することを含む。
【0022】
例示的な実施形態によれば、コンピュータプログラム選択コードは、プロセッサに、コンピュータプログラムコードを実装させるようにさらに構成され、コンピュータプログラムコードは、プロセッサに、双方向予測モードを有効にさせるように構成された有効化コード；双方向予測モードにおいて、参照サンプルチェーンの第１の部分及び第２の部分の加重和を利用して、第２のパーティションの現在のブロックの予測子を生成するように構成された生成コードと、をプロセッサに実装させるように構成され、参照サンプルチェーンの第１の部分及び第２の部分は、現在のブロックに隣接しておらず、参照サンプルチェーンの第１の部分及び第２の部分は、それぞれ、現在のブロックの右側及び左側にある。
【0023】
例示的な実施形態によれば、参照サンプルチェーンの第１の部分は、現在のブロックの右側と上部との両方にあり、参照サンプルチェーンの第２の部分は、現在のブロックの左側と下部との両方にある。
【0024】
例示的な実施形態によれば、参照サンプルチェーンの第１の部分及び第２の部分のうちの第１のものは、ブロック内にあり、参照サンプルチェーンの第１の部分及び第２の部分のうちの第２のものは、ブロックの外側にある。
【0025】
例示的な実施形態によれば、Ｌ字型パーティションは、第１の側と、第１の側とは反対側の第２の側を含み、第１の側には、第２の側よりも高い高さが含まれ、Ｌ字型パーティションは、第３の側と、第３の側とは反対側の第４の側とをさらに含み、第３の側には、第４の側よりも大きい幅が含まれる。
【図面の簡単な説明】
【0026】
開示する主題の更なる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付の図面からより明らかになろう。
【図1】実施形態による図の概略図である。
【図2】実施形態による図の概略図である。
【図3】実施形態による図の概略図である。
【図4】実施形態による図の概略図である。
【図5】実施形態による図の概略図である。
【図6】実施形態による図の概略図である。
【図7】実施形態による図の概略図である。
【図8】実施形態による図の概略図である。
【図9A】実施形態による図の概略図である。
【図9B】実施形態による図の概略図である。
【図10A】関連技術による図の概略図である。
【図10B】関連技術による図の概略図である。
【図11A】関連技術による図の概略図である。
【図11B】関連技術による図の概略図である。
【図12】実施形態による概略図である。
【図13A】実施形態による概略図である。
【図13B】実施形態による概略図である。
【図14】関連技術による図の概略図である。
【図15】関連技術による図の概略図である。
【図16】関連技術による図の概略図である。
【図17】関連技術による図の概略図である。
【図18】実施形態による図の概略図である。
【図19】実施形態による概略図である。
【図20】実施形態による概略図である。
【図21】実施形態による概略図である。
【図22】実施形態による概略図である。
【図23】実施形態による概略図である。
【図24】実施形態による概略図である。
【図25】実施形態による概略図である。
【図26】実施形態による概略図である。
【発明を実施するための形態】
【0027】
以下で説明する提案する特徴は、個別に使用することも、任意の順序で組み合わせることもできる。さらに、実施形態は、処理回路（例えば、１つ又は複数のプロセッサ、或いは１つ又は複数の集積回路）によって実装され得る。一例では、１つ又は複数のプロセッサは、非一時的なコンピュータ可読媒体に格納されているプログラムを実行する。
【0028】
図１は、本開示の一実施形態による通信システム１００の簡略化したブロック図を示している。通信システム１００は、ネットワーク１０５を介して相互接続された少なくとも２つの端末１０２及び１０３を含み得る。データの一方向送信の場合に、第１の端末１０３は、ローカル位置でビデオデータをコード化して、ネットワーク１０５を介して他の端末１０２に送信することができる。第２の端末１０２は、ネットワーク１０５から他の端末のコード化したビデオデータを受信し、コード化したデータを復号化し、復元したビデオデータを表示することができる。一方向データ送信は、メディアサービス提供アプリケーション等で一般的であり得る。
【0029】
図１は、例えば、ビデオ会議中に発生し得るコード化したビデオの双方向送信をサポートするために提供される端末１０１及び１０４の第２のペアを示している。データの双方向送信の場合に、各端末１０１及び１０４は、ローカル位置で取り込んだビデオデータをコード化して、ネットワーク１０５を介して他の端末に送信することができる。各端末１０１及び１０４は、他の端末によって送信されるコード化したビデオデータを受信することもでき、コード化したデータを復号化し、復元したビデオデータをローカル表示装置で表示することができる。
【0030】
図１では、端末１０１、１０２、１０３、及び１０４は、サーバ、パーソナルコンピュータ、及びスマートフォンとして示され得るが、本開示の原理は、そのように限定されるものではない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、及び／又は専用のビデオ会議機器を用いた用途を見出す。ネットワーク１０５は、端末１０１、１０２、１０３、及び１０４の間でコード化したビデオデータを伝達する、例えば有線及び／又は無線通信ネットワークを含む任意の数のネットワークを表す。通信ネットワーク１０５は、回線交換及び／又はパケット交換チャネルでデータを交換することができる。代表的なネットワークには、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、及び／又はインターネットが含まれる。本議論の目的のために、ネットワーク１０５のアーキテクチャ及びトポロジーは、本明細書で以下に説明しない限り、本開示の動作にとって重要ではない可能性がある。
【0031】
図２は、開示する主題のアプリケーションの例として、ストリーミング環境でのビデオエンコーダ及びデコーダの配置を示している。開示する主題は、例えば、ビデオ会議、デジタルＴＶ、ＣＤ、ＤＶＤ、メモリスティック等を含むデジタル媒体への圧縮ビデオの格納を含む、他のビデオ対応アプリケーションに等しく適用することができる。
【0032】
ストリーミングシステムは、例えば、非圧縮ビデオサンプルストリーム２１３を作成するビデオソース２０１、例えばデジタルカメラを含むことができる取込みサブシステム２０３を含み得る。そのサンプルストリーム２１３は、符号化したビデオビットストリームと比較した場合に、高データボリュームとして強調され得、カメラ２０１に結合したエンコーダ２０２によって処理することができる。エンコーダ２０２は、以下でより詳細に説明するように、開示する主題の態様を可能にする又は実装するためのハードウェア／ソフトウェア、又はそれらの組合せを含むことができる。符号化したビデオビットストリーム２０４は、サンプルストリームと比較して低データボリュームとして強調され得るが、将来の使用のためにストリーミングサーバ２０５に格納され得る。１つ又は複数のストリーミングクライアント２１２及び２０７は、ストリーミングサーバ２０５にアクセスして、符号化したビデオビットストリーム２０４のコピー２０８及び２０６を取得（retrieve：検索）することができる。クライアント２１２は、符号化したビデオビットストリーム２０８の着信コピーを復号化し、ディスプレイ２０９又は他のレンダリング装置（図示せず）上でレンダリングされ得る発信ビデオサンプルストリーム２１０を作成するビデオデコーダ２１１を含む。一部のストリーミングシステムでは、ビデオビットストリーム２０４、２０６、及び２０８は、特定のビデオコーディング／圧縮規格に従って符号化することができる。これらの規格の例は上記に記載しており、本明細書でさらに説明する。
【0033】
図３は、本発明の実施形態によるビデオデコーダ３００の機能ブロック図であり得る。
【0034】
受信機３０２は、デコーダ３００によって復号化される１つ又は複数のコーデックビデオシーケンス、同じ又は別の実施形態では、一度に１つのコード化したビデオシーケンスを受信することができ、各コード化したビデオシーケンスの復号化は、他のコード化したビデオシーケンスから独立している。コード化したビデオシーケンスは、チャネル３０１から受信することができ、チャネル３０１は、符号化したビデオデータを格納するストレージ装置へのハードウェア／ソフトウェアリンクであり得る。受信機３０２は、他のデータ、例えば、コード化した音声データ及び／又は補助データストリームと共に符号化したビデオデータを受信することができ、これらは、それぞれの使用エンティティ（図示せず）に転送され得る。受信機３０２は、コード化したビデオシーケンスを他のデータから分離することができる。ネットワークジッターに対抗するために、バッファメモリ３０３が、受信機３０２とエントロピーデコーダ／パーサ３０４（以降「パーサ」）との間に結合され得る。受信機３０２が、十分な帯域幅及び可制御性のストア装置／転送装置から、又は等同期ネットワークからデータを受信しているときに、バッファ３０３は必要でないか、又は小さい可能性がある。インターネット等のベストエフォートパケットネットワークで使用するには、バッファ３０３が必要になる場合があり、比較的大きくなる可能性があり、適応サイズを有利にすることができる。
【0035】
ビデオデコーダ３００は、エントロピーコード化ビデオシーケンスからシンボル３１３を再構成するためのパーサ３０４を含み得る。これらのシンボルのカテゴリには、デコーダ３００の動作を管理するために使用される情報、及びデコーダの一体的な部分ではないがそのデコーダに結合することができるディスプレイ３１２等のレンダリング装置を制御するための潜在的な情報が含まれる。レンダリング装置の制御情報は、補足拡張情報（ＳＥＩメッセージ）又はビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（図示せず）の形式であり得る。パーサ３０４は、受信したコード化ビデオシーケンスを解析／エントロピー復号化することができる。コード化したビデオシーケンスのコーディングは、ビデオコーディング技術又は規格に従うことができ、可変長コーディング、ハフマンコーディング、コンテキスト感度の有無にかかわらない算術コーディング等を含む、当業者によく知られた原理に従うことができる。パーサ３０４は、グループに対応する少なくとも１つのパラメータに基づいて、コード化したビデオシーケンスから、ビデオデコーダ内のピクセルのサブグループの少なくとも１つについてサブグループパラメータのセットを抽出することができる。サブグループには、ＧＯＰ（Group of Picture）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）等を含めることができる。エントロピーデコーダ／パーサは、コード化したビデオシーケンス情報から、変換係数、量子化器パラメータ値、動きベクトル等を抽出することもできる。
【0036】
パーサ３０４は、バッファ３０３から受信したビデオシーケンスに対してエントロピー復号化／解析操作を実行して、シンボル３１３を作成することができる。パーサ３０４は、符号化データを受信し、特定のシンボル３１３を選択的に復号化することができる。さらに、パーサ３０４は、特定のシンボル３１３が、動き補償予測ユニット３０６、スケーラ／逆変換ユニット３０５、イントラ予測ユニット３０７、又はループフィルタ３１１に提供すべきかどうかを決定することができる。
【0037】
シンボル３１３の再構成は、コード化したビデオピクチャ又はその一部のタイプ（例えば、インターピクチャ（画像間）及びイントラピクチャ（画像内）、インターブロック（ブロック間）及びイントラブロック（ブロック内））、及び他の要因に応じて、複数の異なるユニットを含むことができる。どのユニットが関与し、どのように関与するかは、パーサ３０４によってコード化したビデオシーケンスから解析されたサブグループ制御情報によって制御することができる。パーサ３０４と以下の複数のユニットとの間のそのようなサブグループ制御情報の流れは、明確にするために示していない。
【0038】
既に述べた機能ブロックを超えて、デコーダ３００は、以下に説明するように、概念的にいくつかの機能ユニットに細分化（sub-divide：再分割）することができる。商業的制約の下で動作する実際の実施態様では、これらのユニットの多くは、互いに密接に相互作用しており、少なくとも部分的には互いに統合することができる。しかしながら、開示する主題を説明するために、以下の機能単位への概念的な細分化が適切である。
【0039】
第１のユニットは、スケーラ／逆変換ユニット３０５である。スケーラ／逆変換ユニット３０５は、量子化した変換係数だけでなく、使用する変換、ブロックサイズ、量子化係数、量子化スケーリング行列等を含む制御情報を、パーサ３０４からのシンボル３１３として受信する。それ（スケーラ／逆変換ユニット３０５）は、アグリゲータ３１０に入力することができるサンプル値を含むブロックを出力することができる。
【0040】
場合によっては、スケーラ／逆変換３０５の出力サンプルは、イントラコード化ブロック、つまり、以前に再構成したピクチャからの予測情報を使用していないが、現在のピクチャの以前に再構成した部分からの予測情報を使用することができるブロックに関係する可能性がある。そのような予測情報は、イントラピクチャ予測ユニット３０７によって提供することができる。場合によっては、イントラピクチャ予測ユニット３０７は、現在（部分的に再構成した）ピクチャ３０９からフェッチした既に再構成した周囲の情報を使用して、再構成の中のブロックと同じサイズ及び形状のブロックを生成する。場合によっては、アグリゲータ３１０は、サンプル毎に、イントラ予測ユニット３０７が生成した予測情報を、スケーラ／逆変換ユニット３０５によって提供される出力サンプル情報に追加する。
【0041】
他の場合には、スケーラ／逆変換ユニット３０５の出力サンプルは、インターコード化され、潜在的に動き補償されたブロックに関係する可能性がある。そのような場合に、動き補償予測ユニット３０６は、参照ピクチャメモリ３０８にアクセスして、予測に使用されるサンプルをフェッチすることができる。ブロックに関連するシンボル３１３に従ってフェッチされたサンプルを動き補償した後に、これらのサンプルは、アグリゲータ３１０によって、スケーラ／逆変換ユニットの出力（この場合、残余サンプル又は残余信号と呼ばれる）に追加され、出力サンプル情報を生成することができる。動き補償ユニットが予測サンプルをフェッチする参照ピクチャメモリ内のアドレスは、動きベクトルによって制御することができ、例えば、Ｘ、Ｙ、及び参照ピクチャ成分を有することができるシンボル３１３の形式で動き補償ユニットに利用可能になる。動き補償には、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリからフェッチされたサンプル値の補間、動きベクトル予測メカニズム等も含まれる。
【0042】
アグリゲータ３１０の出力サンプルは、ループフィルタユニット３１１において様々なループフィルタリング技術の対象となり得る。ビデオ圧縮技術は、インループ（in-loop）フィルタ技術を含むことができ、インループフィルタ技術は、コード化したビデオビットストリームに含まれ、パーサ３０４からのシンボル３１３としてループフィルタユニット３１１に利用可能されるパラメータによって制御されるが、コード化したピクチャ又はコード化したビデオシーケンスの以前の（復号化順序で）部分の復号化中に得られたメタ情報に応答すること、及び以前に再構成したループフィルタリングしたサンプル値にも応答することもできる。
【0043】
ループフィルタユニット３１１の出力は、レンダリング装置３１２に出力され得るだけでなく、将来のインターピクチャ予測で使用するために、参照ピクチャメモリ５５７に格納され得るサンプルストリームであり得る。
【0044】
特定のコード化したピクチャは、完全に再構成されると、将来の予測のための参照ピクチャとして使用することができる。コード化したピクチャが完全に再構成され、コード化したピクチャが（例えば、パーサ３０４によって）参照ピクチャとして識別されると、現在の参照ピクチャ３０９は、参照ピクチャバッファ３０８の一部になることができ、次のコード化したピクチャの再構成を開始する前に、新しい現在のピクチャメモリを、再割り当てすることができる。
【0045】
ビデオデコーダ３００は、ＩＴＵ－Ｔ ＲｅｃＨ．２６５等の規格に文書化され得る所定のビデオ圧縮技術に従って復号化動作を実行することができる。コード化したビデオシーケンスは、ビデオ圧縮技術又は規格の構文に準拠しているという意味で、ビデオ圧縮技術又は規格で指定され且つその中で特にプロファイル文書で指定されるように、使用されるビデオ圧縮技術又は規格で指定された構文に準拠することができる。また、コンプライアンスのために必要なのは、コード化したビデオシーケンスの複雑さが、ビデオ圧縮技術又は規格のレベルによって規定した範囲内にあることである。場合によっては、レベルによって、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば、１秒あたりメガサンプルで測定される）、最大参照ピクチャサイズ等が制限される。場合によっては、レベルによって設定された制限は、仮想参照デコーダ（ＨＲＤ）の仕様と、コード化したビデオシーケンスで通知されるＨＲＤバッファ管理のメタデータとによってさらに制限されることがある。
【0046】
一実施形態では、受信機３０２は、符号化したビデオとともに追加の（冗長な）データを受信することができる。追加のデータは、コード化したビデオシーケンスの一部として含まれる場合がある。ビデオデコーダ３００が追加のデータを使用して、データを適切に復号化する及び／又は元のビデオデータをより正確に再構成することができる。追加のデータは、例えば、時間的、空間的、又は信号対雑音比（ＳＮＲ）の拡張（enhancement）層、冗長スライス、冗長ピクチャ、前方誤り訂正コード等の形式にすることができる。
【0047】
図４は、本開示の一実施形態によるビデオエンコーダ４００の機能ブロック図であり得る。
【0048】
エンコーダ４００は、エンコーダ４００によってコード化されるビデオ画像を取り込むことができるビデオソース４０１（エンコーダの一部ではない）からビデオサンプルを受信することができる。
【0049】
ビデオソース４０１は、エンコーダ（３０３）によってコード化されるソースビデオシーケンスを、任意の適切なビット深度（例えば、８ビット、１０ビット、１２ビット、・・・）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、ＲＧＢ、・・・）、及び任意の適切なサンプリング構造（例えば、Ｙ ＣｒＣＢ４：２：０、Ｙ ＣｒＣＢ４：４：４）であり得るデジタルビデオサンプルストリームの形式で提供することができる。メディアサービス提供システムでは、ビデオソース４０１は、以前に準備したビデオを格納するストレージ装置であり得る。ビデオ会議システムでは、ビデオソース４０１は、ローカル画像情報をビデオシーケンスとして取り込むカメラであり得る。ビデオデータは、順番に見たときに動きを与える複数の個別のピクチャとして提供することができる。ピクチャ自体は、ピクセルの空間アレイとして編成することができ、各ピクセルは、使用中のサンプリング構造、色空間等に応じて、１つ又は複数のサンプルを含むことができる。当業者は、ピクセルとサンプルとの間の関係を容易に理解することができる。以下の説明はサンプルに焦点を当てている。
【0050】
一実施形態によれば、エンコーダ４００は、ソースビデオシーケンスのピクチャを、リアルタイムで、又はアプリケーションによって必要とされる他の任意の時間的制約の下で、コード化したビデオシーケンス５１０にコード化及び圧縮することができる。適切なコーディング速度を強制することは、コントローラ４０２の１つの機能である。コントローラは、以下で説明するように他の機能ユニットを制御し、これらのユニットに機能的に結合される。結合は、明確にするために描かれていない。コントローラによって設定されるパラメータには、レート制御関連のパラメータ（ピクチャスキップ、量子化器、レート歪み最適化手法のラムダ値等）、ピクチャサイズ、ＧＯＰ（Group of Picture）レイアウト、最大動きベクトル検索範囲等が含まれ得る。当業者は、特定のシステム設計のために最適化したビデオエンコーダ４００に関係し得るので、コントローラ４０２の他の機能を容易に特定することができる。
【0051】
一部のビデオエンコーダは、当業者が「コーディング・ループ」として容易に認識できるもので動作する。過度に単純化した説明として、コーディング・ループは、エンコーダ４０２（以下、「ソースコーダ」）の符号化部分（コード化される入力ピクチャ及び参照ピクチャに基づいてシンボルを作成する責任がある）、及びエンコーダ４００に埋め込まれた（ローカル）デコーダ４０６であって、シンボルを再構成して、（リモート）デコーダも作成するサンプルデータを作成する（シンボルとコード化したビデオビットストリームとの間の任意の圧縮は、開示する主題で考慮されるビデオ圧縮技術において無損失（lossless）であるため）デコーダ４０６を構成することができる。その再構成したサンプルストリームは、参照ピクチャメモリ４０５に入力される。シンボルストリームの復号化は、デコーダの位置（ローカル又はリモート）に関係なくビット正確（bit-exact）な結果をもたらすので、参照ピクチャバッファの内容も、ローカルエンコーダとリモートエンコーダとの間でビット正確である。換言すると、エンコーダの予測部分は、復号化中に予測を使用するときにデコーダが「見る」のとまったく同じサンプル値を参照ピクチャサンプルとして「見る」。参照ピクチャの同期性（及び、例えばチャネルエラーのために同期性を維持できない場合は結果として生じるドリフト）のこの基本原理は、当業者によく知られている。
【0052】
「ローカル」デコーダ４０６の動作は、図３に関して上記で既に詳細に説明している「リモート」デコーダ３００の動作と同じであり得る。しかしながら、図４でも簡単に説明すると、シンボルが利用可能であり、エントロピーコーダ４０８及びパーサ３０４によるコード化したビデオシーケンスへのシンボルの符号化／復号化は損失のない（lossless：可逆）であり得るので、チャネル３１０、受信機３０２、バッファ３０３、及びパーサ３０４を含むデコーダ３００のエントロピー復号化部分は、ローカルデコーダ４０６に完全に実装されていない場合がある。
【0053】
この時点で行うことができる所見は、デコーダに存在する解析／エントロピー復号化以外のデコーダ技術も、対応するエンコーダに実質的に同一の機能形式で必ず存在する必要があるということである。エンコーダ技術の説明は、包括的に説明しているデコーダ技術の逆であるため、省略することができる。特定の領域でのみ、より詳細な説明が必要であり、以下に提供する。
【0054】
その動作の一部として、ソースコーダ４０３は、動き補償予測コーディングを実行することができ、これは、「参照フレーム」として指定されたビデオシーケンスからの１つ又は複数の以前にコード化したフレームを参照して入力フレームを予測的にコード化する。このようにして、コーディングエンジン４０７は、入力フレームのピクセルブロックと、入力フレームへの予測参照として選択され得る参照フレームのピクセルブロックとの間の差をコード化する。
【0055】
ローカルビデオデコーダ４０６は、ソースコーダ４０３によって作成されたシンボルに基づいて、参照フレームとして指定され得るフレームのコード化したビデオデータを復号化することができる。コーディングエンジン４０７の動作は、有利には損失のある（lossy：不可逆）プロセスであり得る。コード化したビデオデータがビデオデコーダ（図４には図示せず）で復号化され得る場合に、再構成したビデオシーケンスは、典型的に、いくつかのエラーを伴うソースビデオシーケンスの複製であり得る。ローカルビデオデコーダ４０６は、ビデオデコーダによって参照フレームに対して実行され得、再構成した参照フレームを参照ピクチャキャッシュ４０５に格納させ得る復号化プロセスを複製する。このようにして、エンコーダ４００は、共通のコンテンツを有する再構成した参照フレームのコピーを、遠端のビデオデコーダによって取得される再構成した参照フレーム（送信エラーがない）としてローカルに格納し得る。
【0056】
予測器４０４は、コーディングエンジン４０７の予測検索を実行することができる。すなわち、コード化される新しいフレームについて、予測器４０４は、新しいピクチャの適切な予測参照として機能し得る、サンプルデータ（候補参照ピクセルブロックとして）又は参照ピクチャの動きベクトル、ブロック形状等特定のメタデータについて参照ピクチャメモリ４０５を検索することができる。予測器４０４は、適切な予測参照を見つけるために、ピクセルブロック毎のサンプルブロック（sample block-by-pixel block）に基づいて動作することができる。場合によっては、予測器４０４によって得られた検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ４０５に格納された複数の参照ピクチャから引き出された予測参照を有し得る。
【0057】
コントローラ４０２は、例えば、ビデオデータを符号化するために使用されるパラメータ及びサブグループパラメータの設定を含む、ビデオコーダ４０３のコーディング動作を管理することができる。
【0058】
前述の全ての機能ユニットの出力は、エントロピーコーダ４０８においてエントロピーコーディングを受けることができる。エントロピーコーダは、例えば、ハフマンコーディング、可変長コーディング、算術コーディング等として当業者に知られている技術に従ってシンボルを無損失で圧縮することにより、様々な機能ユニットによって生成されたシンボルを符号化したビデオシーケンスに変換する。
【0059】
送信機４０９は、エントロピーコーダ４０８によって作成されたコード化ビデオシーケンスをバッファリングして、通信チャネル４１１を介した送信のためにそのシーケンスを準備することができ、通信チャネル４１１は、復号化したビデオデータを格納するストレージ装置へのハードウェア／ソフトウェアリンクであり得る。送信機４０９は、ビデオコーダ４０３からのコード化したビデオデータを、送信される他のデータ、例えば、コード化した音声データ及び／又は補助データストリーム（ソースは図示せず）とマージすることができる。
【0060】
コントローラ４０２は、エンコーダ４００の動作を管理することができる。コーディング中に、コントローラ４０５は、各コード化ピクチャに特定のコード化ピクチャタイプを割り当てることができ、このタイプは、それぞれのピクチャに適用され得るコーディング技術に影響を与え得る。例えば、ピクチャは、大抵の場合、次のフレームタイプのいずれかとして割り当てられ得る。
【0061】
イントラピクチャ（Ｉピクチャ）は、シーケンス内の他のフレームを予測のソースとして使用せずにコード化及び復号化され得るピクチャであり得る。一部のビデオコーデックでは、例えばIndependent Decoder Refresh Picturesを含む、様々なタイプのイントラピクチャを使用することができる。当業者は、Ｉピクチャのそれらの変形及びそれらのそれぞれの用途及び特徴を知っている。
【0062】
予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために、最大で１つの動きベクトル及び参照インデックスを使用するイントラ予測又はインター予測を使用して、コード化及び復号化され得るピクチャであり得る。
【0063】
双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために、最大２つの動きベクトル及び参照インデックスを使用したイントラ予測又はインター予測を使用してコード化及び復号化され得るピクチャであり得る。同様に、マルチ予測ピクチャは、単一のブロックの再構成のために３つ以上の参照ピクチャ及び関連するメタデータを使用することができる。
【0064】
ソースピクチャは、通常、空間的に複数のサンプルブロック（例えば、それぞれ４×４、８×８、４×８、又は１６×１６サンプルのブロック）に再分割され、ブロック毎にコード化され得る。ブロックは、ブロックのそれぞれのピクチャに適用されるコーディング割り当てによって決定されるように、他の（既にコード化した）ブロックを参照して予測的にコード化することができる。例えば、Ｉピクチャのブロックは、非予測的にコード化される場合もあれば、同じピクチャの既に符号化したブロックを参照して予測的にコード化される場合もある（空間的予測又はイントラ予測）。Ｐピクチャのピクセルブロックは、空間予測を介して、又は以前にコード化した１つの参照ピクチャを参照する時間予測を介して、非予測的にコード化され得る。Ｂピクチャのブロックは、空間予測を介して、又は以前にコード化した１つ又は２つの参照ピクチャを参照する時間予測を介して、非予測的にコード化され得る。
【0065】
ビデオコーダ４００は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５等の所定のビデオコーディング技術又は規格に従ってコーディング動作を実行することができる。その動作において、ビデオコーダ４００は、入力ビデオシーケンスにおける時間的及び空間的冗長性を利用する予測コーディング動作を含む、様々な圧縮動作を実行することができる。従って、符号化したビデオデータは、使用されるビデオコーディング技術又は規格によって指定された構文に準拠し得る。
【0066】
一実施形態では、送信機４０９は、符号化したビデオと共に追加のデータを送信することができる。ソースコーダ４０３は、そのようなデータをコード化したビデオシーケンスの一部として含み得る。追加データには、時間的／空間的／ＳＮＲ拡張層、冗長なピクチャ及びスライス等の他の形式の冗長データ、補足拡張情報（ＳＥＩ）メッセージ、ビジュアルユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント等が含まれ得る。
【0067】
図５は、高効率ビデオコーディング（ＨＥＶＣ）及びジョイント探索モデル（ＪＥＭ）で使用されるイントラ予測モードを示している。自然なビデオで提示される任意のエッジ方向をキャプチャするために、指向性イントラモードの数が、ＨＥＶＣで使用されるように３３から６５に拡張される。ＨＥＶＣの上のＪＥＭの追加の指向性モードは、図１（５）（ｂ）に点線の矢印で示されており、平面モード及びＤＣモードは同じままである。これらのより高密度の指向性イントラ予測モードは、全てのブロックサイズ、及びルマとクロマとの両方のイントラ予測に適用される。図５に示されるように、点線の矢印で特定される指向性イントラ予測モードは、奇数のイントラ予測モードインデックスに関連付けられており、奇数のイントラ予測モードと呼ばれる。実線の矢印で特定される指向性イントラ予測モードは、偶数イントラ予測モードインデックスに関連付けられており、偶数イントラ予測モードと呼ばれる。この文書では、図５の実線又は点線の矢印で示される指向性イントラ予測モードは、角度モードとも呼ばれる。
【0068】
ＪＥＭでは、合計６７個のイントラ予測モードがルマイントラ予測に使用される。イントラモードをコード化するために、サイズ６の最も可能性の高いモード（ＭＰＭ）リストが、隣接するブロックのイントラモードに基づいて作成される。イントラモードがＭＰＭリストにない場合に、イントラモードが選択されるモードに属しているかどうかを示すフラグが通知される。ＪＥＭ－３．０には、１６個の選択モードがあり、４つおきの角度モードとして均一に選択される。ＪＶＥＴ－Ｄ０１１４及びＪＶＥＴ－Ｇ００６０では、その均一に選択されたモードを置き換えるために、１６個のセカンダリＭＰＭが導出される。
【0069】
図６は、イントラ指向性モード（intra directional modes）に利用されるＮ個の参照層（reference
tiers）を示している。ブロックユニット６１１、セグメントＡ６０１、セグメントＢ６０２、セグメントＣ６０３、セグメントＤ６０４、セグメントＥ６０５、セグメントＦ６０６、第１の参照層６１０、第２の参照層６０９、第３の参照層６０８、及び第４の参照層６０７がある。
tiers）を示している。ブロックユニット６１１、セグメントＡ６０１、セグメントＢ６０２、セグメントＣ６０３、セグメントＤ６０４、セグメントＥ６０５、セグメントＦ６０６、第１の参照層６１０、第２の参照層６０９、第３の参照層６０８、及び第４の参照層６０７がある。
【0070】
ＨＥＶＣとＪＥＭとの両方、及びＨ．２６４／ＡＶＣ等の他の規格では、現在のブロックを予測するために使用される参照サンプルは、最も近い参照線（行又は列）に制限されている。マルチ参照線のイントラ予測の方法では、候補参照線（行又は列）の数が、イントラ指向性モードについて１つ（つまり最も近い）からＮに増加し、ここで、Ｎは１以上の整数である。図２は、マルチラインのイントラ指向性予測方法の概念を示すために、４×４予測ユニット（ＰＵ）を例として取り上げている。イントラ指向性モードでは、Ｎ個の参照層のうちの１つを任意に選択して、予測子を生成することができる。換言すると、予測子ｐ（ｘ，ｙ）は、参照サンプルＳ１、Ｓ２、・・・、及びＳＮのうちの１つから生成される。どの参照層がイントラ指向性モードに選択されたかを示すフラグが通知される。Ｎが１に設定されると、イントラ指向性予測方法はＪＥＭ２．０の従来の方法と同じになる。図６では、参照線６１０、６０９、６０８、及び６０７は、左上の参照サンプルとともに、６つのセグメント６０１、６０２、６０３、６０４、６０５、及び６０６から構成される。この文書では、参照層を参照線とも呼ぶ。現在のブロック単位内の左上のピクセルの座標は（０，０）であり、１番目の参照線の左上のピクセルは（－１，－１）である。
【0071】
ＪＥＭでは、ルマ成分について、イントラ予測サンプル生成に使用される隣接サンプルは、生成プロセスの前にフィルタリングされる。フィルタリングは、所与のイントラ予測モード及び変換ブロックサイズによって制御される。イントラ予測モードがＤＣであるか、又は変換ブロックサイズが４×４に等しい場合に、隣接するサンプルはフィルタリングされない。所与のイントラ予測モードと垂直モード（又は水平モード）との間の距離が予め規定したしきい値よりも大きい場合に、フィルタリングプロセスが有効になる。隣接するサンプルのフィルタリングには、[１，２，１]フィルタ及び双線形フィルタが使用される。
【0072】
位置依存のイントラ予測の組合せ（ＰＤＰＣ）方法は、フィルタリングしていない境界参照サンプルと、フィルタリングした境界参照サンプルを使用したＨＥＶＣスタイルのイントラ予測との組合せを呼び出すイントラ予測方法である。（ｘ，ｙ）にある各予測サンプルｐｒｅｄ［ｘ］［ｙ］は、次のように計算される。
ｐｒｅｄ［ｘ］［ｙ］＝（ｗＬ＊Ｒ－１，ｙ＋ｗＴ＊Ｒｘ，－１＋ｗＴＬ＊Ｒ－１，－１＋（６４－ｗＬ－ｗＴ－ｗＴＬ）＊ｐｒｅｄ［ｘ］［ｙ］＋３２）＞＞６ （式２）
ここで、Ｒｘ，－１、Ｒ－１，ｙは、それぞれ現在のサンプル（ｘ，ｙ）の上部及び左側にあるフィルタリングしていない参照サンプルを表し、Ｒ－１，－１は、現在のブロックの左上隅にあるフィルタリングしていない参照サンプルを表す。重み付けは次のように計算される。
ｗＴ＝３２＞＞（（ｙ＜＜１）＞＞ｓｈｉｆｔ） （式３）
ｗＬ＝３２＞＞（（ｘ＜＜１）＞＞ｓｈｉｆｔ） （式４）
ｗＴＬ＝－（ｗＬ＞＞４）－（ｗＴ＞＞４） （式５）
ｓｈｉｆｔ＝（ｌｏｇ２（ｗｉｄｔｈ）＋ｌｏｇ２（ｈｅｉｇｈｔ）＋２）＞＞２ （式６）。
ｓｈｉｆｔはシフトを示し、ｗｉｄｔｈは幅を示し、ｈｅｉｇｈｔは高さを示す。
ｐｒｅｄ［ｘ］［ｙ］＝（ｗＬ＊Ｒ－１，ｙ＋ｗＴ＊Ｒｘ，－１＋ｗＴＬ＊Ｒ－１，－１＋（６４－ｗＬ－ｗＴ－ｗＴＬ）＊ｐｒｅｄ［ｘ］［ｙ］＋３２）＞＞６ （式２）
ここで、Ｒｘ，－１、Ｒ－１，ｙは、それぞれ現在のサンプル（ｘ，ｙ）の上部及び左側にあるフィルタリングしていない参照サンプルを表し、Ｒ－１，－１は、現在のブロックの左上隅にあるフィルタリングしていない参照サンプルを表す。重み付けは次のように計算される。
ｗＴ＝３２＞＞（（ｙ＜＜１）＞＞ｓｈｉｆｔ） （式３）
ｗＬ＝３２＞＞（（ｘ＜＜１）＞＞ｓｈｉｆｔ） （式４）
ｗＴＬ＝－（ｗＬ＞＞４）－（ｗＴ＞＞４） （式５）
ｓｈｉｆｔ＝（ｌｏｇ２（ｗｉｄｔｈ）＋ｌｏｇ２（ｈｅｉｇｈｔ）＋２）＞＞２ （式６）。
ｓｈｉｆｔはシフトを示し、ｗｉｄｔｈは幅を示し、ｈｅｉｇｈｔは高さを示す。
【0073】
図７は、１つの４×４ブロック内の位置（０，０）及び（１，０）に対するＤＣモードＰＤＰＣ重み（ｗＬ，ｗＴ，ｗＴＬ）を示す図７００を示している。ＰＤＰＣがＤＣ、平面、水平、及び垂直のイントラモードに適用される場合に、ＨＥＶＣ ＤＣモード境界フィルタ又は水平／垂直モードエッジフィルタ等の追加の境界フィルタは必要ない。図７は、右上の対角モードに適用されるＰＤＰＣの参照サンプルＲｘ，－１、Ｒ－１，ｙ、及びＲ－１，－１の規定を示している。予測サンプルｐｒｅｄ（ｘ’，ｙ’）は、予測ブロック内の（ｘ’，ｙ’）にある。参照サンプルＲｘ，－１の座標ｘは次の式で与えられる：ｘ＝ｘ’＋ｙ’＋１。そして、参照サンプルＲ－１，ｙの座標ｙは同様に次の式で与えられる：ｙ＝ｘ’＋ｙ’＋１。
【0074】
図８は、ローカル照明補償（ＬＩＣ）図８００を示しており、スケーリング係数ａ及びオフセットｂを使用した、照明変化の線形モデルに基づいている。また、それは、インターモード（inter-mode：モード間）コード化コーディングユニット（ＣＵ）毎に適応的に有効又は無効になる。
【0075】
ＬＩＣがＣＵに適用される場合に、最小二乗誤差法を使用して、現在のＣＵの隣接サンプル及びそれらに対応する参照サンプルを用いてパラメータａ及びｂを導出する。より具体的には、図８に示されるように、ＣＵのサブサンプリングした（２：１サブサンプリング）隣接サンプルと、参照ピクチャ内の対応するサンプル（現在のＣＵ又はサブＣＵの動き情報によって識別される）とが使用される。ＩＣパラメータは、予測方向毎に個別に導出及び適用される。
【0076】
ＣＵがマージモードでコード化されている場合に、ＬＩＣフラグは、マージモードでの動き情報のコピーと同様の方法で、隣接するブロックからコピーされる。それ以外の場合には、ＬＩＣフラグがＣＵに通知され、ＬＩＣが適用されるか否かが示される。
【0077】
図９Ａは、ＨＥＶＣで使用されるイントラ予測モード９００を示している。ＨＥＶＣには、合計３５個のイントラ予測モードがあり、そのうちモード１０は水平モードであり、モード２６は垂直モードであり、モード２、モード１８、及びモード３４は対角モードである。イントラ予測モードは、３つの最も可能性の高いモード（ＭＰＭ）及び残りの３２個のモードによって通知される。
【0078】
図９Ｂは、多用途ビデオコーディング（ＶＶＣ）の実施形態において、合計８７個のイントラ予測モードがあり、モード１８が水平モードであり、モード５０が垂直モードであり、モード２、モード３４、及びモード６６が対角モードであることを示している。モード－１～－１０及びモード６７～７６は、広角イントラ予測（ＷＡＩＰ）モードと呼ばれる。
【0079】
位置（ｘ，ｙ）にある予測サンプルｐｒｅｄ（ｘ，ｙ）は、イントラ予測モード（ＤＣ、平面、角度）と、ＰＤＰＣ式に従って参照サンプルの線形結合とを使用して予測される。
ｐｒｅｄ（ｘ，ｙ）＝（ｗＬ×Ｒ－１，ｙ＋ｗＴ×Ｒｘ，－１－ｗＴＬ×Ｒ－１，－１＋（６４－ｗＬ－ｗＴ＋ｗＴＬ）×ｐｒｅｄ（ｘ，ｙ）＋３２）＞＞６ （式７）
ここで、Ｒｘ，－１、Ｒ－１，ｙは、それぞれ現在のサンプル（ｘ，ｙ）の上部及び左側にある参照サンプルを表し、Ｒ－１，－１は、現在のブロックの左上隅にある参照サンプルを表す。
ｐｒｅｄ（ｘ，ｙ）＝（ｗＬ×Ｒ－１，ｙ＋ｗＴ×Ｒｘ，－１－ｗＴＬ×Ｒ－１，－１＋（６４－ｗＬ－ｗＴ＋ｗＴＬ）×ｐｒｅｄ（ｘ，ｙ）＋３２）＞＞６ （式７）
ここで、Ｒｘ，－１、Ｒ－１，ｙは、それぞれ現在のサンプル（ｘ，ｙ）の上部及び左側にある参照サンプルを表し、Ｒ－１，－１は、現在のブロックの左上隅にある参照サンプルを表す。
【0080】
ＤＣモードの場合に、重みは、幅及び高さの寸法を有するブロックについて次のように計算される。
ｗＴ＝３２＞＞（（ｙ＜＜１）＞＞ｎＳｃａｌｅ）、ｗＬ＝３２＞＞（（ｘ＜＜１）＞＞ｎＳｃａｌｅ）、ｗＴＬ＝（ｗＬ＞＞４）＋（ｗＴ＞＞４） （式８）
（ｎＳｃａｌｅ＝（ｌｏｇ２（ｗｉｄｔｈ）－２＋ｌｏｇ２（ｈｅｉｇｈｔ）－２＋２）＞＞２の場合）
ここで、ｗＴは、同じ水平座標を有する上記の参照線にある参照サンプルの重み係数を示し、ｗＬは、同じ垂直座標を有する左側の参照線にある参照サンプルの重み係数を示し、ｗＴＬは、現在のブロックの左上の参照サンプルの重み係数を示す。ｎＳｃａｌｅは、軸に沿って重み係数がどれだけ速く減少するかを指定する（ｗＬは左から右に減少する、又はｗＴが上から下に減少する）、つまり、重み係数の減少率であり、それは、現在の設計ではｘ軸（左から右）とy軸（上から下）に沿って同じである。そして、３２は、隣接するサンプルの初期の重み係数を示し、初期の重み係数は、現在のＣＢの左上のサンプルに割り当てられた上部（左側又は左上）の重みでもあり、ＰＤＰＣプロセスの隣接するサンプルの重み係数は、この初期重み係数以下にする必要がある。
ｗＴ＝３２＞＞（（ｙ＜＜１）＞＞ｎＳｃａｌｅ）、ｗＬ＝３２＞＞（（ｘ＜＜１）＞＞ｎＳｃａｌｅ）、ｗＴＬ＝（ｗＬ＞＞４）＋（ｗＴ＞＞４） （式８）
（ｎＳｃａｌｅ＝（ｌｏｇ２（ｗｉｄｔｈ）－２＋ｌｏｇ２（ｈｅｉｇｈｔ）－２＋２）＞＞２の場合）
ここで、ｗＴは、同じ水平座標を有する上記の参照線にある参照サンプルの重み係数を示し、ｗＬは、同じ垂直座標を有する左側の参照線にある参照サンプルの重み係数を示し、ｗＴＬは、現在のブロックの左上の参照サンプルの重み係数を示す。ｎＳｃａｌｅは、軸に沿って重み係数がどれだけ速く減少するかを指定する（ｗＬは左から右に減少する、又はｗＴが上から下に減少する）、つまり、重み係数の減少率であり、それは、現在の設計ではｘ軸（左から右）とy軸（上から下）に沿って同じである。そして、３２は、隣接するサンプルの初期の重み係数を示し、初期の重み係数は、現在のＣＢの左上のサンプルに割り当てられた上部（左側又は左上）の重みでもあり、ＰＤＰＣプロセスの隣接するサンプルの重み係数は、この初期重み係数以下にする必要がある。
【0081】
平面モードの場合はｗＴＬ＝０であり、水平モードの場合はｗＴＬ＝ｗＴであり、垂直モードの場合はｗＴＬ＝ｗＬである。ＰＤＰＣの重みは、加算及びシフトのみで計算することができる。ｐｒｅｄ（ｘ，ｙ）の値は、式（１）を使用して１つのステップで計算することができる。
【0082】
図１２は、Ｌ字型パーティションの簡略化したブロック図１２００を示している。図１２の図から理解されるように、Ｌ字型パーティション分割は、ブロックを１つ又は複数のＬ字型パーティション及び１つ又は複数の長方形パーティションに及び／又は１つ又は複数のＬ字型パーティションに分割することができ、及びＬ字型（又はＬタイプ）パーティションは、図１２に示されるように、高さ１２０１、幅１２０２、短手幅１２０３、短手高さ１２０４の形状として規定され、回転したＬ字型パーティションもここではＬ字型パーティションとして見なされる。
【0083】
図１２に関する上の議論で示したように、幅、高さ、短手幅、短手高さ等、いくつかの用語がＬ字型パーティションに関連付けられる。
【0084】
Ｌ字型パーティション分割ツリーの例について、図１３Ａの簡略化したブロック図１３００に関して以下に説明し、ここで、１つのブロックは、１つのＬ字型パーティション（パーティション１）と１つの長方形パーティション（０）とを含む２つのパーティションにパーティション分割され、例示的な実施形態によれば、例えば、図１３Ａに示される構成１３０１、１３０２、１３０３、及び１３０４のいずれかにパーティション分割される。
【0085】
【0086】
１つ又は複数のＬ字型パーティションに関する本明細書の例示的な実施形態は、別々に使用することも、任意の順序で組み合わせて使用することもできる。本文書では、Ｌ字型（又はＬタイプ）のパーティションを図１３Ａ及び図１３Ｂに示される形状と規定し、回転したＬ字型パーティションもＬ字型パーティションとみなすように理解される。
【0087】
以下に議論し、図１４～図２６に示される例示的な実施形態によれば、例えば、ブロックが複数のＬ字型パーティション（ＬＰ）及び長方形パーティション（ＲＰ）にパーティション分割される場合に、Ｌ字型パーティションのイントラ予測を行うために使用される参照サンプルは、別のＬＰ又はＲＰの再構成した隣接サンプルから取得される一方、再構成した隣接サンプルは、１つの水平直線及び１つの垂直直線ではなく、任意の形状（arbitrary shape）のチェーンを形成する連続したサンプルのグループを形成する。そのような参照サンプルを合わせて、参照サンプルチェーン（ＲＳＣ）と呼ぶことが理解されよう。
【0088】
図１８の簡略化したブロック図１８００等の例示的な実施形態によれば、図１８に示されるように、ブロックＡは、１つはＬＰ（「１」と示される）及び１つはＲＰ（「０」と示される）である２つのパーティションとしてパーティション分割される。パーティション１のイントラ予測を行うために、再構成したサンプルチェーン内のサンプル（図１８の影付きのブロックで示される）が参照サンプルとして使用される。
【0089】
例えば、実施形態では、ＬＰ（パーティション１）のサンプル（図１８のｃ０及びｃ１）に対して指向性（又は角度）イントラ予測を行う場合に、サンプル座標はＲＳＣに投影される。サンプル座標がＲＳＣの垂直側に投影される場合に、垂直状（vertical like）方向に沿ったサンプル（ｒ０及びｒ１等）を使用して、予測サンプル値が生成される。サンプル座標がＲＳＣの水平側に投影される場合に、水平状（horizontal like）方向に沿ったサンプル（ｒ２及びｒ３等）を使用して、予測サンプル値が生成される。
【0090】
さらに、実施形態によれば、ＭＲＬＰを行う場合に、４つのＲＳＣを使用している図１８の簡略図１９００の例に示されるように、マルチ参照線の代わりに複数のＲＳＣが使用され、各ＲＳＣ内のサンプルが、ＬＰ１の側で理解しやすいように、それぞれ同じテクスチャを用いてマークされる。
【0091】
実施形態では、ＭＲＬＰを行う場合に、隣接しない再構成サンプルを使用することができ、直線を形成する上部及び左側の再構成サンプルのみをＭＲＬＰのイントラ予測に使用することができ、例えば、上部サンプル及び左側サンプルには、現在のブロックの直接の隣接ではない１つ又は複数のサンプルが含まれ得る図２０の簡略図２０００を参照されたい。図２０から、１つ又は複数のテクスチャサンプルが、ＬＰ（パーティション１）のＭＲＬＰを実行するために使用されることが理解されよう。
【0092】
さらに、図２１の簡略図２１００に関する例示的な実施形態では、別の実施形態では、現在のブロック内のサンプルの再構成の前に、異なるパーティション（ＬＰ又はＲＰのいずれか）からの右側又は下部の隣接するサンプルが再構成される場合に、右側及び下部の隣接するサンプルがＲＳＣを形成し、イントラ予測を行うために使用される。例が図２１に示され、ここでは、ＬＰ（パーティション１）はＲＰ（パーティション０）の前に再構成され、従って、サンプル（影付きのブロックで示される）は、ＲＳＣを形成し、ＲＰ（パーティション０）のイントラ予測に使用することができる。
【0093】
例示的な実施形態によれば、平面モード（ＨＥＶＣ及びＶＶＣで規定される）又はＳＭＯＯＴＨ、ＳＭＯＯＴＨ－Ｈ、ＳＭＯＯＴＨ－Ｖモード（ＡＶ１で規定される）を行うときに、右側又は下部のサンプルが再構成される場合に、これらの再構成したサンプルは、右側及び下部のサンプルを上部及び左側の再構成サンプルで外挿する代わりに、平面（又はＳＭＯＯＴＨ、ＳＭＯＯＴＨ－Ｈ、ＳＭＯＯＴＨ－Ｖ）モードの４タップ補間で直接使用することができ、ＤＣモードを実行する場合に、上部（above）及び左側の再構成した隣接サンプルのみだけでなく、ＲＳＣで利用可能な全てのサンプル（右側及び下部の再構成したサンプルを含み得る）を使用して、ＤＣ予測子を生成することができる。
【0094】
さらに、ＤＣモードでは、上部（above）及び左側の再構成した隣接サンプルだけでなく、ＲＳＣで使用可能な左下及び右上を除く全てのサンプル（右側及び下部の再構成サンプルを含み得る）を使用して、ＤＣ予測子を生成することができる。境界フィルタリング（ＨＥＶＣで規定される）又はＰＤＰＣ（ＶＶＣで規定される）を実行する場合に、上部（above）及び左側の再構成した隣接サンプルだけでなく、ＲＳＣで利用可能な全てのサンプル（右側及び下部の再構成サンプルを含み得る）を使用して、境界フィルタリング及びＰＤＰＣ予測を適用することができる。
【0095】
図２２の図２２００等の例に関して、図２２のパーティション０から影付きの領域に引かれた線によって示されるように、再構成したサンプルが両方の対向側で利用できる場合に、双方向のイントラ予測を適用することができる。
【0096】
例えば、現在のブロックの前に左側と右側との両方のサンプルが再構成される場合に、水平状予測方向に沿った左側及び右側のサンプルの加重和を利用して、例えば図２２の図２２００に関して示される予測子を生成する双方向予測モードを有効にすることができる。一実施形態では、現在のブロックの前に左側と右側との両方のサンプルが再構成される場合に、水平状予測方向に沿った左側及び右側のサンプルの加重和を利用して予測子を生成する双方向予測モードを使用して、水平状予測を置き換える。それにより、双方向予測モードにおいて、影付きの参照サンプルチェーンの第１の部分及び第２の部分の加重和を利用することによって、図２２の長方形パーティション０内の現在のブロックの予測子を生成することができ、ここで、図２２に示されるように、第１及び第２の部分はそれぞれ、現在のブロック及び参照サンプルチェーンの右側及び左側からのものであり、現在のブロック及び参照サンプルチェーンに隣接していない側であり、現在のブロックを少なくとも３つの側（図２２に示す向きからわかるように、左側、上部、右側）で取り囲んでいる。図２２及び図２３に示されるように、それらの図の参照サンプルチェーンへのそれぞれの矢印によって示されるように、参照サンプルチェーンの第１の部分は、現在のブロックの右側と上部との両方にあり、参照サンプルチェーンの第２の部分は、現在のブロックの左側と下部との両方にある。
【0097】
さらに、図２３の図２３００に示されるように、現在のブロックの前に上部と下部との両方のサンプルが再構成される場合に、垂直状予測方向に沿った左側及び右側のサンプルの加重和を利用して予測子を生成する双方向予測モードを有効にすることができ、現在のブロックの前に上部と下部との両方のサンプルが再構成される場合に、垂直状予測方向に沿って左側及び右側のサンプルの加重和を利用して予測子を生成する双方向予測モードを使用して、垂直状予測を置き換える。
【0098】
ブロックがいくつかのＬ字型パーティション（ＬＰ）及び長方形パーティション（ＲＰ）にパーティション分割されるときに、再構成した隣接サンプルが１つの水平直線及び１つの垂直直線ではなく、任意のチェーン（ＲＳＣ）を形成する場合に、ＲＳＣのサンプルは、最初に上部の行及び左側の列にマッピングされ、それによって、図２４の図２４００のそのようなマッピングによって示されるように、これらの上部の行及び左側の列の参照サンプルを現在のブロックのイントラ予測に使用することができる。例示的な実施形態よれば、ＲＳＣから上部及び左側の列へのサンプルのそのようなマッピングは、イントラ予測方向に沿って行われる。あるいはまた、ＲＳＣから上部及び左側の列へのサンプルのそのようなマッピングは、２タップの双線形フィルタ又は４タップの３次フィルタ又は最も近い整数サンプルを使用して行われる。さらに代わりに、ＲＳＣ内の全てのサンプルを上部の行にマッピングすることができ、例が図２５の図２５００に示される。
【0099】
例えば、図２５に関して、実施形態は、図２５のように、イントラ予測方向が垂直状であると決定されたとき、又はイントラ予測方向が水平状であると決定されたときに、ＲＳＣ内の全てのサンプルを上部の行にマッピングすることができる。
【0100】
代替案はまた、ＲＳＣ内の全てのサンプルを左側の列にマッピングすることができる、又は例えば、イントラ予測方向が水平状であると決定された場合にのみ、ＲＳＣ内の全てのサンプルを左上の列にマッピングすることができるような、例示的な実施形態によって構成される。同様に、代替の実施形態はまた、イントラ予測方向が垂直状であると決定された場合にのみ、ＲＳＣ内の全てのサンプルを左上の列にマッピングすることができるという特徴を含む。
【0101】
Ｌ字型パーティションを用いた、右側及び／又は下部のいずれかからも利用可能であり得る１つ又は複数の再構成した隣接サンプルのそのような実施形態を考慮して、隣接する参照サンプルがもはや直線を形成しない場合でも、このようなサンプルを依然として利用することができる。
【0102】
従って、本明細書に記載の例示的な実施形態により、上記の技術的問題は、これらの技術的解決策の１つ又は複数によって有利に改善され得る。
【0103】
上記の技術は、コンピュータ可読命令を使用してコンピュータソフトウェアとして実装され、１つ又は複数のコンピュータ可読媒体に、又は特別に構成された１つ又は複数のハードウェアプロセッサによって物理的に格納され得る。例えば、図２６は、開示する主題の特定の実施形態を実施するのに適したコンピュータシステム２６００を示している。
【0104】
コンピュータソフトウェアは、コンピュータ中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）等によって直接又は解釈を通じてマイクロコード等を実行できる命令を含むコードを作成するために、アセンブリ、コンパイル、リンク、又は同様のメカニズムの対象となり得る任意の適切な機械語又はコンピュータ言語を使用してコード化することができる。
【0105】
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム装置、モノのインターネット装置等を含む、様々なタイプのコンピュータ又はそのコンポーネントで実行することができる。
【0106】
図２６に示されるコンピュータシステム２６００の構成要素は、本質的に例示的なものであり、本開示の実施形態を実施するコンピュータソフトウェアの使用範囲又は機能に関する制限を示唆することを意図するものではない。また、コンポーネントの構成は、コンピュータシステム２６００の例示的な実施形態に示されるコンポーネントのいずれか１つ又は組合せに関連する依存性又は要件を有すると解釈すべきではない。
【0107】
コンピュータシステム２６００は、特定のヒューマンインターフェイス入力装置を含み得る。そのようなヒューマンインターフェイス入力装置は、例えば、触覚入力（キーストローク、スワイプ、データグローブの動き等）、音声入力（音声、拍手等）、視覚入力（ジェスチャー等）、嗅覚入力（図示せず）を介して、１人又は複数の人間のユーザによる入力に応答することができる。ヒューマンインターフェイス装置を使用して、音声（音声、音楽、周囲の音等）、画像（スキャン画像、静止画カメラから取得した写真画像等）、ビデオ（２次元ビデオ、立体ビデオを含む３次元ビデオ等）等、人間による意識的な入力に必ずしも直接関連しない特定のメディアをキャプチャすることもできる。
【0108】
入力ヒューマンインターフェイス装置は、キーボード２６０１、マウス２６０２、トラックパッド２６０３、タッチスクリーン２６１０、ジョイスティック２６０５、マイク２６０６、スキャナ２６０８、カメラ２６０７（それぞれ１つだけが示される）の１つ又は複数を含むことができる。
【0109】
コンピュータシステム２６００は、特定のヒューマンインターフェイス出力装置も含み得る。そのようなヒューマンインターフェイス出力装置は、例えば、触覚出力、音、光、及び匂い／味覚を通して、１人又は複数の人間のユーザの感覚を刺激し得る。このようなヒューマンインターフェイス出力装置には、触覚出力装置（例えば、タッチスクリーン２６１０又はジョイスティック２６０５による触覚フィードバックであるが、入力装置として機能しない触覚フィードバック装置でもあり得る）、オーディオ出力装置（スピーカ２６０９、ヘッドホン（図示せず））、視覚出力装置（ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン２６１０等、それぞれタッチスクリーン入力機能の有無にかかわらず、それぞれ触覚フィードバック機能の有無にかかわらず、そのうちのいくつかは、ステレオグラフィック出力（仮想現実眼鏡（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず））等の手段を介して、２次元視覚出力又は３次元以上の出力を出力でき得る）、及びプリンタ（図示せず）が含まれ得る。
【0110】
コンピュータシステム２６００は、人間がアクセス可能なストレージ装置とそれに関連するメディア（ＣＤ／ＤＶＤ２６１１を含むＣＤ／ＤＶＤ ＲＯＭ／ＲＷ２６２０を含む光メディア及び同様のメディア、サムドライブ２６２２、リムーバブルハードドライブ又はソリッドステートドライブ２６２３、テープ及びフロッピーディスク（図示せず）等のレガシー磁気メディア、セキュリティドングル（図示せず）等の特殊なＲＯＭ／ＡＳＩＣ／ＰＬＤベースの装置等）を含めることもできる。
【0111】
当業者は、現在開示している主題に関連して使用される「コンピュータ可読媒体」という用語は、送信媒体、搬送波、又は他の一時的な信号を含まないことも理解すべきである。
【0112】
コンピュータシステム２６００は、１つ又は複数の通信ネットワーク２６９８へのインターフェイス２６９９を含もことができる。ネットワーク２６９８は、例えば、無線、有線、光であり得る。ネットワーク２６９８はさらに、ローカル、広域、大都市圏、車両及び産業用、リアルタイム、遅延耐性等にすることができる。ネットワーク２６９８の例には、イーサネット等のローカルエリアネットワーク、無線ＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥ等を含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、地上波放送ＴＶを含む有線又は無線広域ＴＶデジタルネットワーク、ＣＡＮＢｕｓを含む車両及び産業用ネットワーク等が含まれる。特定のネットワーク２６９８は、通常、特定の汎用データポート又は周辺バス（２６５０及び２６５１）（例えば、コンピュータシステム２６００のＵＳＢポート等）に接続された外部ネットワークインターフェイスアダプタを必要とし、他は、通常、以下に説明するようにシステムバスに接続することによってコンピュータシステム２６００のコア（例えば、ＰＣコンピュータシステムへのイーサネットインターフェイス、又はスマートフォンコンピュータシステムへのセルラーネットワークインターフェイス）に統合される。これらのネットワーク２６９８のいずれかを使用して、コンピュータシステム２６００は他のエンティティと通信することができる。そのような通信は、単方向、受信専用（例えば、ブロードキャストＴＶ）、単方向送信専用（例えば、ＣＡＮｂｕｓから特定のＣＡＮｂｕｓ装置）、又は例えば、ローカル又は広域デジタルネットワークを使用する他のコンピュータシステムへの双方向であり得る。上記のように、特定のプロトコル及びプロトコルスタックをこれらのネットワーク及びネットワークインターフェイスのそれぞれで使用することができる。
【0113】
前述のヒューマンインターフェイス装置、ヒューマンアクセス可能なストレージ装置、及びネットワークインターフェイスは、コンピュータシステム２６００のコア２６４０に接続することができる。
【0114】
コア２６４０は、１つ又は複数の中央処理装置（ＣＰＵ）２６４１、グラフィックス処理装置（ＧＰＵ）２６４２、グラフィックスアダプタ２６１７、フィールドプログラマブルゲートエリア（ＦＰＧＡ）２６４３の形態の特殊なプログラム可能な処理装置、特定のタスクのためのハードウェアアクセラレータ２６４４等を含むことができる。これらの装置は、読み取り専用メモリ（ＲＯＭ）２６４５、ランダムアクセスメモリ２６４６、内部の非ユーザアクセス可能ハードドライブ、ＳＳＤ等の内部大容量記憶装置２６４７とともに、システムバス２６４８を介して接続することができる。一部のコンピュータシステムでは、システムバス２６４８は、１つ又は複数の物理プラグの形態でアクセス可能であり、追加のＣＰＵ、ＧＰＵ等による拡張を可能にする。周辺装置は、コアのシステムバス２６４８に直接接続することも、周辺バス２６４９を介して接続することもできる。周辺バスのアーキテクチャには、ＰＣＩ、ＵＳＢ等が含まれる。
【0115】
ＣＰＵ２６４１、ＧＰＵ２６４２、ＦＰＧＡ２６４３、及びアクセラレータ２６４４は、組み合わせて前述のコンピュータコードを構成できる特定の命令を実行することができる。そのコンピュータコードは、ＲＯＭ２６４５又はＲＡＭ２６４６に格納することができる。移行データはＲＡＭ２６４６にも格納できるが、永続データは、例えば内部大容量ストレージ２６４７に格納することができる。任意のメモリ装置への高速保存及び取得は、１つ又は複数のＣＰＵ２６４１、ＧＰＵ２６４２、大容量ストレージ２６４７、ＲＯＭ２６４５、ＲＡＭ２６４６等と密接に関連付けることができるキャッシュメモリを使用して有効にすることができる。
【0116】
コンピュータ可読媒体は、様々なコンピュータ実施動作を実行するためのコンピュータコードをその上に含むことができる。メディア及びコンピュータコードは、本開示の目的のために特別に設計及び構成されたものであり得るか、又はコンピュータソフトウェア技術の当業者によく知られ利用可能な類のものであり得る。
【0117】
限定ではなく例として、アーキテクチャを有するコンピュータシステム２６００、具体的にはコア２６４０は、１つ又は複数の有形のコンピュータ可読媒体に組み込まれたソフトウェアを実行するプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ等を含む）の結果として機能を提供することができる。そのようなコンピュータ可読媒体は、上記で紹介したユーザアクセス可能な大容量記憶ストレージ、及びコア内部大容量記憶ストレージ２６４７又はＲＯＭ２６４５等の非一時的性質のコア２６４０の特定のストレージに関連する媒体であり得る。本開示の様々な実施形態を実施するソフトウェアは、そのような装置に格納され、コア２６４０によって実行され得る。コンピュータ可読媒体は、特定の必要性に従って、１つ又は複数のメモリ装置又はチップを含み得る。ソフトウェアは、コア２６４０、特にその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ等を含む）に、ＲＡＭ２６４６に格納されたデータ構造の規定及びソフトウェアによって規定したプロセスに従ってそのようなデータ構造の変更を含む、本明細書に記載の特定のプロセス又は特定のプロセスの特定の部分を実行させることができる。加えて、又は代替として、コンピュータシステムは、本明細書に記載の特定のプロセス又は特定のプロセスの特定の部分を実行するためにソフトウェアの代わりに又はソフトウェアと一緒に動作することができる回路（例えば、アクセラレータ２６４４）に配線された又は他の方法で具体化されたロジックの結果として機能を提供することができる。ソフトウェアへの参照にはロジックを含めることができ、必要に応じてその逆も可能である。コンピュータ可読媒体への言及は、必要に応じて、実行のためのソフトウェアを格納する回路（集積回路（ＩＣ）等）、実行のためのロジックを具体化する回路、又はその両方を包含することができる。本開示は、ハードウェア及びソフトウェアの任意の適切な組合せを包含する。
【0118】
本開示はいくつかの例示的な実施形態を説明しているが、本開示の範囲内にある変更、順列、及び様々な代替同等物が存在する。こうして、当業者は、本明細書に明示的に示していないか又は説明していないが、開示の原理を具体化し、こうしてその精神及び範囲内にある多数のシステム及び方法を想起することができることが理解されよう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10A】
【図10B】
【図11A】
【図11B】
【図12】
【図13A】
【図13B】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
