特表 2022-531564 ビデオコーディング方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-07-07

(54)【発明の名称】ビデオコーディング方法及びシステム

(51)【国際特許分類】

   H04N 19/46 20140101AFI20220630BHJP

   H04N 19/593 20140101ALI20220630BHJP

【ＦＩ】

H04N19/46

H04N19/593

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021563217

(86)(22)【出願日】2021-01-13

(85)【翻訳文提出日】2021-10-28

(86)【国際出願番号】 US2021013330

(87)【国際公開番号】W WO2021150409

(87)【国際公開日】2021-07-29

(31)【優先権主張番号】62/964,992

(32)【優先日】2020-01-23

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/077,872

(32)【優先日】2020-10-22

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ジャオ，リアン

(72)【発明者】

【氏名】ジャオ，シン

(72)【発明者】

【氏名】リィウ，シャン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LC09

5C159MA04

5C159MA05

5C159MA21

5C159MC11

5C159ME01

5C159ME11

5C159RC12

5C159TA33

5C159TB08

5C159TC26

5C159TD12

5C159UA02

5C159UA05

5C159UA16

(57)【要約】

ビデオデコーディング方法であって、ビデオ信号の複数のコーディングフレームを含むビットストリームを取得し、複数のコーディングフレームのそれぞれを複数のスーパーブロックにデコーディングし、複数のスーパーブロックのそれぞれを複数の残差ブロックにデコーディングし、各コーディングフレームに含まれる参照サンプル及びマルチ参照ラインイントラ予測（ＭＲＬＰ）フラグに基づいて、複数の残差ブロックのそれぞれのコーディングブロック（ＣＢ）を復元し、複数の参照ラインは上側の参照ライン及び左側の参照ラインに区画され、１つの上側の参照ライン及び１つの左側の参照ラインを選択してイントラ予測に使用し、復元された複数の残差ブロックのそれぞれのＣＢをフレームバッファに記憶することでビデオ信号の各フレームを再構築し、再構築されたフレームを連続して出力し、ビデオ信号を復元することを含む。

【特許請求の範囲】

【請求項1】

ビデオデコーディング方法であって、
ビデオ信号の複数のコーディングフレームを含むビットストリームを取得するステップと、
前記複数のコーディングフレームのそれぞれを複数のスーパーブロックスーパーブロックにデコーディングし、前記複数のスーパーブロックのそれぞれを複数の残差ブロックにデコーディングするステップと、
各コーディングフレームに含まれる参照サンプル及びマルチ参照ラインイントラ予測（ＭＲＬＰ）フラグに基づいて、前記複数の残差ブロックのそれぞれのコーディングブロック（ＣＢ）を復元するステップであり、複数の参照ラインは上側の参照ライン及び左側の参照ラインに区画され、１つの上側の参照ライン及び１つの左側の参照ラインを選択してイントラ予測に使用する、ステップと、
復元された前記複数の残差ブロックのそれぞれのＣＢをフレームバッファに記憶することで前記ビデオ信号の各フレームを再構築するステップと、
再構築されたフレームを連続して出力して、前記ビデオ信号を復元するステップと、
を含む、方法。

【請求項2】

スーパーブロックの各行は、第１のインデックス番号で識別され、前記第１のインデックス番号は上から順番に増加し、
前記上側の参照ライン及び前記左側の参照ラインの各々は第２のインデックス番号で識別され、前記第２のインデックス番号は、現在のＣＢから離れる方向に向かって順番に増加し、
前記現在のＣＢに直隣接する上側の参照ラインは隣接上側参照ラインと呼ばれ、他の上側の参照ラインは非隣接上側参照ラインと呼ばれ、
前記現在のＣＢに直隣接する左側の参照ラインは隣接左側参照ラインと呼ばれ、他の左側の参照ラインは非隣接左側参照ラインと呼ばれる、
請求項１に記載の方法。

【請求項3】

１つの上側の参照ライン及び１つの左側の参照ラインを選択してイントラ予測に使用するステップは、
前記スーパーブロックの１行目が前記現在のＣＢの内部にある場合、前記隣接上側参照ライン及び前記左側の参照ラインうちの１つの左側の参照ラインを選択してイントラ予測に使用するステップ、
を含む、請求項２に記載の方法。

【請求項4】

前記上側の参照ライン又は前記左側の参照ラインのいずれかに参照サンプルが存在しない場合、前記上側の参照ライン及び前記左側の参照ラインに対して同じ参照サンプルパディング処理を使用する、
請求項１に記載の方法。

【請求項5】

イントラ予測のために選択された異なる参照ラインに対して前記参照サンプルに用いられる異なる平滑フィルタを使用する、
請求項２乃至４のいずれか一項に記載の方法。

【請求項6】

イントラ予測のために選択された左側の参照ラインが非隣接左側参照ラインである場合、イントラ予測のために選択された隣接上側参照ライン及び前記非隣接左側参照ラインの両方に対して前記平滑フィルタを無効にすることにより、前記平滑フィルタを確定する、
請求項５に記載の方法。

【請求項7】

イントラ予測のために選択された左側の参照ラインが隣接左側参照ラインである場合、イントラ予測のために選択された前記隣接左側参照ラインのみに対して前記平滑フィルタを無効にすることにより、前記平滑フィルタを確定する、
請求項５に記載の方法。

【請求項8】

１つの上側の参照ライン及び１つの左側参照ラインを選択してイントラ予測に使用するステップは、
前記スーパーブロックの１行目が前記現在のＣＢの内部にある場合、第２のインデックス番号ｒを持つ１つの非隣接上側参照ライン、及び、同じ第２のインデックス番号ｒを持つ１つの非隣接左側参照ラインを選択して、イントラ予測に使用するステップと、
前記第２のインデックス番号ｒを持つ前記非隣接上側参照ラインの参照サンプルを単一の値に設置するステップと、
を含む、請求項２に記載の方法。

【請求項9】

前記隣接上側参照ライン、又は、前記隣接左側参照ラインから参照サンプルの値を選択することにより、前記単一の値を確定する、
請求項８に記載の方法。

【請求項10】

【数1】

又は

【数2】

を選択することにより、前記単一の値を確定し、
前記ＢｉｔＤｅｐｔｈは、参照サンプルをコーディングするためのビット数である、
請求項８に記載の方法。

【請求項11】

１つの上側の参照ライン及び１つの左側参照ラインを選択してイントラ予測に使用するステップは、
前記スーパーブロックの１行目が前記現在のＣＢの内部にある場合、第２のインデックス番号ｒを持つ１つの非隣接上側参照ライン、及び、同じ第２のインデックス番号ｒを持つ１つの非隣接左側参照ラインを選択して、イントラ予測に使用するステップと、
角度イントラ予測の方向で前記隣接上側参照ラインの参照サンプルの位置を前記第２のインデックス番号ｒを持つ前記非隣接上側参照ラインに投影することで、前記第２のインデックス番号ｒを持つ前記非隣接上側参照ラインの参照サンプルの値を確定するステップと、
を含む、請求項２に記載の方法。

【請求項12】

角度イントラ予測の方向で前記隣接上側参照ラインの参照サンプルの位置を前記第２のインデックス番号ｒを持つ前記非隣接上側参照ラインに投影することで前記第２のインデックス番号ｒを持つ前記非隣接上側参照ラインの参照サンプルの値を確定するステップは、
前記角度イントラ予測の方向で前記第２のインデックス番号ｒを持つ上側の参照ラインの参照サンプルの整数位置から前記隣接上側参照ラインに向かって平行線を描画するステップと、
前記隣接上側参照ラインの参照サンプルの分数位置で前記隣接上側参照ラインと交差するステップと、
前記隣接上側参照ラインの参照サンプルの前記分数位置での値に補間フィルタリング処理を適用して、前記第２のインデックス番号ｒを持つ前記非隣接上側参照ラインの参照サンプルの値を導出するステップと、
により、実行されており、
前記補間フィルタリング処理において使用される補間フィルタは、２タップフィルタ、４タップフィルタ、又は、６タップフィルタであり、
前記補間フィルタは、負のフィルタ係数を含み、
前記補間フィルタは、４タップの３次フィルタ、４タップの離散コサイン変換補間フィルタ（ＤＣＴ-ＩＦ）、又は、２タップのバイリニアフィルタである、
請求項１１に記載の方法。

【請求項13】

角度イントラ予測の方向で前記隣接上側参照ラインの参照サンプルの位置を前記第２のインデックス番号ｒを持つ前記非隣接上側参照ラインに投影することで前記第２のインデックス番号ｒを持つ前記非隣接上側参照ラインの参照サンプルの値を確定するステップは、
前記角度イントラ予測の方向で前記第２のインデックス番号ｒを持つ上側の参照ラインの参照サンプルの整数位置から前記隣接上側参照ラインに向かって平行線を描画するステップと、
前記隣接上側参照ラインの参照サンプルの分数位置で前記隣接上側参照ラインと交差するステップと、
前記隣接上側参照ラインの参照サンプルの前記分数位置に最も近い整数位置での値に補間フィルタリング処理を適用して、前記第２のインデックス番号ｒを持つ前記非隣接上側参照ラインの参照サンプルの値を導出するステップと、
により、実行されており、
前記補間フィルタリング処理において使用される補間フィルタは、２タップフィルタ、４タップフィルタ、又は、６タップフィルタであり、
前記補間フィルタは、負のフィルタ係数を含み、
前記補間フィルタは、４タップの３次フィルタ、４タップの離散コサイン変換補間フィルタ（ＤＣＴ-ＩＦ）、又は、２タップのバイリニアフィルタである、
請求項１１に記載の方法。

【請求項14】

ビデオコーディング方法であって、
ビデオ入力の現在のフレームを取得するステップと、
ネストされたマルチタイプツリーコーディングブロック構造に応じて、取得された現在のフレームをスーパーブロックのシーケンスに分割し、各スーパーブロックを複数のコーディングブロック（ＣＢ）に分割するステップと、
マルチ参照ラインイントラ予測（ＭＲＬＰ）を使用して各ＣＢの残差ブロックを取得し、イントラ予測のために選択された参照ラインの参照サンプル及びＭＲＬＰフラグをラインバッファに記憶し、複数の参照ラインが上側の参照ライン及び左側の参照ラインに区画され、前記ラインバッファのサイズを最小化するように、１つの上側の参照ライン及び１つの左側参照ラインを選択してイントラ予測に使用する、ステップと、
前記現在のフレームの各ＣＢの残差ブロックを使用して前記現在のフレームをコーディングすることにより、各ＣＢのコーディングされた残差ブロックを含むビットストリームを生成するステップと、
を含む、方法。

【請求項15】

スーパーブロックの各行は第１のインデックス番号で識別され、前記第１のインデックス番号は、上から順番に増加し、
前記上側の参照ライン及び前記左側の参照ラインの各々は第２のインデックス番号で識別され、前記第２のインデックス番号は、現在のＣＢから離れる方向に向かって順番に増加し、
前記現在のＣＢに直隣接する上側の参照ラインは隣接上側参照ラインと呼ばれ、他の上側の参照ラインは非隣接上側参照ラインと呼ばれ、
前記現在のＣＢに直隣接する左側の参照ラインは隣接左側参照ラインと呼ばれ、他の左側の参照ラインは非隣接左側参照ラインと呼ばれる、
請求項１４に記載の方法。

【請求項16】

１つの上側の参照ライン及び１つの左側参照ラインを選択してイントラ予測に使用するステップは、
前記スーパーブロックの１行目が前記現在のＣＢの内部にある場合、前記隣接上側参照ライン及び前記左側の参照ラインうちの１つの左側の参照ラインを選択してイントラ予測に使用するステップ、
を含む、請求項１５に記載の方法。

【請求項17】

前記上側の参照ライン又は前記左側の参照ラインのいずれかに参照サンプルが存在しない場合、前記上側の参照ライン及び前記左側の参照ラインに対して同じ参照サンプルパディング処理を使用する、
請求項１５に記載の方法。

【請求項18】

イントラ予測のために選択された異なる参照ラインに対して前記参照サンプルに用いられる異なる平滑フィルタを使用する、
請求項１５乃至１７のいずれか一項に記載の方法。

【請求項19】

イントラ予測のために選択された左側の参照ラインが非隣接左側参照ラインである場合、イントラ予測のために選択された隣接上側参照ライン及び前記非隣接左側参照ラインの両方に対して前記平滑フィルタを無効にすることにより、前記平滑フィルタを確定する、
請求項１８に記載の方法。

【請求項20】

イントラ予測のために選択された左側の参照ラインが隣接左側参照ラインである場合、イントラ予測のために選択された前記隣接左側参照ラインのみに対して前記平滑フィルタを無効にすることにより、前記平滑フィルタを確定する、
請求項１８に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、ビデオコーディング技術の分野に関し、且つ、具体的には、マルチ参照ラインイントラ予測を利用するビデオコーディングの方法及びシステムに関する。

【0002】

本出願は、２０２０年１０月２２日に提出された米国仮特許出願第１７/０７７,８７２号について優先権を主張し、且つ、当該米国仮特許出願は、２０２０年１月２３日にて提出された米国仮出願第６２/９６４,９９２号について優先権を主張するものであり、上記の各出願の全内容は、援用により組み込まれている。

【背景技術】

【0003】

Ａｍｅｌｉａビデオ１（ＡＶ１）は、インターネットを介したビデオ伝送用に設計されたオープンビデオコーディングフォーマットである。これは、半導体企業、ビデオオンデマンドプロバイダー、ビデオコンテンツプロデューサー、ソフトウェア開発会社、及びＷｅｂブラウザーベンダーを含む、２０１５年に設立されたコンソーシアムである（Ａｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ、ＡＯＭｅｄｉａ）によってＶＰ９の後継として開発された。ＶＰ９のコードベースに基づいて構築されたＡＶ１には、追加の技術が組み込まれており、その追加の技術の幾つかはこれらの実験形式で開発された。ＡＶ１リファレンスコーデックの最初のバージョン０.１.０は、２０１６年４月７日にリリースされた。Ａｌｌｉａｎｃｅは、２０１８年３月２８日にＡＶ１ビットストリーム仕様とともに、リファレンスであるソフトウェアベースのエンコーダ及びデコーダをリリースした。２０１８年６月２５日に、当該仕様の検証バージョン１.０.０がリリースされた。２０１９年１月８日に、当該仕様のエラッタ１を含む検証バージョン１.０.０がリリースされた。ＡＶ１ビットストリーム仕様には、リファレンスビデオコーデックが含まれている。

【0004】

ＩＴＵ-Ｔ ＶＣＥＧ（Ｑ６/１６）及びＩＳＯ/ＩＥＣ ＭＰＥＧ（ＪＴＣ １/ＳＣ ２９/ＷＧ １１）は、２０１３年（バージョン１）、２０１４年（バージョン２）、２０１５（バージョン３）、及び２０１６（バージョン４）にＨ.２６５/ＨＥＶＣ（高効率ビデオコーディング）（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、（ＨＥＶＣ））標準をリリースした。２０１５年、これらの２つの標準化団体は共同でＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ）を結成し、ＨＥＶＣを超えた次のビデオコーディング標準の開発の可能性を探した。２０１７年１０月、ＨＥＶＣを超えた能力を持つビデオ圧縮に関する共同提案募集（Ｃａｐａｂｉｌｉｔｙ ｂｅｙｏｎｄ ＨＥＶＣ、ＣｆＰ）をリリースした。２０１８年２月１５日までに、スタンダードダイナミックレンジ（ｓｔａｎｄａｒｄ ｄｙｎａｍｉｃ ｒａｎｇｅ、ＳＤＲ）で合計２２のＣｆＰ応答、ハイダイナミックレンジ（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ、ＨＤＲ）で１２のＣｆＰ応答、及び、３６０のビデオカテゴリで１２のＣｆＰ応答がそれぞれ提出された。２０１８年４月１日、受信したすべてのＣｆＰ応答は、１２２ ＭＰＥＧ/１０ｔｈＪＶＥＴ会議で評価された。この会議の結果、ＪＶＥＴはＨＥＶＣを超えた次世代のビデオコーディングの標準化プロセスを正式に開始した。新しい標準は多用途ビデオコーディング（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）と名付けられ、ＪＶＥＴは共同ビデオ専門家チームと改名された。

【0005】

両方のビデオコーディング標準のビデオコーディングスキームでは、マルチ参照ラインイントラ予測（Ｍｕｌｔｉｐｌｅ Ｒｅｆｅｒｅｎｃｅ Ｌｉｎｅ Ｐｒｅｄｉｃｔｉｏｎ、ＭＲＬＰ）を使用する。ＭＲＬＰの結果はラインバッファに記憶される。ラインバッファは、画像/ビデオ処理回路用の典型的で主要なオンチップメモリ設計アーキテクチャである。ラインバッファは通常、非常に大きなオンチップ回路領域を占めるため、効率的なアーキテクチャ設計を通じてハードウェアコストを削減することは非常に重要である。ＭＲＬＰについて、一つよりも多い（たとえば、四つの）参照ラインを使用してイントラ予測を行う場合があり、ラインバッファサイズを増加させ、大量のオンチップ回路領域が必要になる。

【0006】

開示された方法及びシステムは、上記の１つ又は複数の問題及び他の問題を解決することを目的としている。

【発明の概要】

【0007】

本開示の一態様は、ビデオデコーディング方法を含む。当該方法は、ビデオ信号の複数のコーディングフレームを含むビットストリームを取得し、複数のコーディングフレームのそれぞれを複数のスーパーブロックにデコーディングし、複数のスーパーブロックのそれぞれを複数の残差ブロックにデコーディングし、各コーディングフレームに含まれる参照サンプル及びマルチ参照ラインイントラ予測（ＭＲＬＰ）フラグに基づいて、複数の残差ブロックのそれぞれのコーディングブロック（Ｃｏｄｅｄ Ｂｌｏｃｋ、ＣＢ）を復元し、複数の参照ラインは上側の参照ライン及び左側の参照ラインに区画され、１つの上側の参照ライン及び１つの左側の参照ラインを選択してイントラ予測に使用し、復元された複数の残差ブロックのそれぞれのＣＢをフレームバッファに記憶することでビデオ信号の各フレームを再構築し、再構築されたフレームを連続して出力して、ビデオ信号を復元する、ことを含む。

【0008】

本開示の他の態様は、ビデオコーディング方法を含む。当該方法は、ビデオ入力の現在のフレームを取得し、ネストされたマルチタイプツリーコーディングブロック構造に応じて、取得された現在のフレームをスーパーブロックのシーケンスに分割し、各スーパーブロック複数のコーディングブロック（ＣＢ）に分割し、マルチ参照ラインイントラ予測（ＭＲＬＰ）を使用して各ＣＢの残差ブロックを取得し、イントラ予測のために選択された参照ラインの参照サンプル及びＭＲＬＰフラグをラインバッファに記憶し、複数の参照ラインは上側の参照ライン及び左側の参照ラインに区画され、ラインバッファのサイズを最小化するように、１つの上側の参照ライン及び１つの左側参照ラインを選択してイントラ予測に使用し、現在のフレームの各ＣＢの残差ブロックを使用して現在のフレームをコーディングすることで、各ＣＢのコーディングされた残差ブロック含むビットストリームを生成することを含む。

【0009】

当業者は、本開示の明細書、特許請求の範囲、及び図面に従って、本開示の他の態様を理解することができる。

【図面の簡単な説明】

【0010】

【図1】本開示の幾つかの実施形態を組み込んだ動作環境を示す。

【図2】本開示の実施形態と一致する電子機器を示す。

【図3】本開示の実施形態と一致するコンピュータシステムを示す。

【図4】本開示の実施形態と一致するビデオエンコーダを示す。

【図5】本開示の実施形態と一致するビデオデコーダを示す。

【図6】本開示の実施形態と一致する例示的なビデオコーディング方法を示す。

【図7】本開示の実施形態と一致する例示的なビデオデコーディング方法を示す。

【図8】本開示の実施形態と一致する四つのマルチタイプツリーパーティションモードを示す。

【図9】本開示の実施形態と一致する例示的なコーディングツリー構造における分割パーティション情報の信号で送るメカニズムを示す。

【図10】本開示の実施形態と一致する例示的なコーディングツリー構造を示す。

【図11】本開示の実施形態と一致する他の例示的なコーディングツリー構造を示す。

【図12】本開示の実施形態と一致する他の例示的なコーディングツリー構造を示す。

【図13】本開示の実施形態と一致するイントラ予測モードの８つの公称角度を示す。

【図14】本開示の実施形態と一致するＰＡＥＴＨモードの上方、左側及び左上の位置を示す。

【図15】本開示の実施形態と一致する再帰的イントラフィルタリングモードの例を示す。

【図16】本開示の実施形態と一致する４つの参照ラインの例を示す。

【図17】本開示の実施形態と一致する上側の参照ライン及び左側の参照ラインの例を示す。

【図18】本開示の実施形態と一致するイントラ予測のために上側の参照ライン０及び左側の参照ライン０を選択する例を示す。

【図19】本開示の実施形態と一致するイントラ予測のために上側の参照ライン０及び左側の参照ライン１を選択する例を示す。

【図20】本開示の実施形態と一致するイントラ予測のために上側の参照ライン０及び左側の参照ライン２を選択する例を示す。

【図21】本開示の実施形態と一致するイントラ予測のために上側の参照ライン０及び左側の参照ライン３を選択する例を示す。

【図22】本開示の実施形態と一致する角度イントラ予測の方向で、非隣接上側参照ラインの参照サンプルの整数位置を隣接上側参照ラインに向かって投影する例を示す。

【発明を実施するための形態】

【0011】

以下、図面を参照しながら本発明の実施形態における技術的解決策について説明する。可能な限り、全ての図面において同じ符号を使用して同じ又は類似する部分を示す。明らかに、説明された実施形態は、本発明の実施形態の全てではなく、一部である。本発明における実施形態に基づいて、当業者が創造的な労力をしない前提で得られる他の実施形態は、本開示の保護する範囲に属する。本開示で使用される特定の用語は、以下において最初に説明される。

【0012】

多用途ビデオコーディング（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）：ＶＶＣは、ジョイントビデオエクスプロレーションチーム（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ、ＪＶＥＴ）によって開発されたＨＥＶＣ（ＩＴＵ-Ｔ Ｈ.２６５とも呼ばれる）を引き継ぐビデオデコーディング標準である。ＶＶＣは、そのような標準の従来の世代の圧縮能力を著しく超えた圧縮能力を有するビデオコーディング技術を規定し、拡大された応用範囲での効果的な使用は非常に多用途である。ＶＶＣ標準は参照により本明細書に組み込まれている。

【0013】

ＡＯＭｅｄｉａ Ｖｉｄｅｏ １（ＡＯＭｅｄｉａ Ｖｉｄｅｏ １、ＡＶ１）：ＡＶ１は、ＡＯＭｅｄｉａ（Ａｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ）によって開発された、インターネットを介したビデオ伝送のためのオープンソースビデオコーディング標準である。ＡＶ１標準は参照により本明細書に組み込まれている。

【0014】

許可されたイントラ予測モード（Ａｌｌｏｗｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ、ＡＩＰＭ）：隣接ブロックのイントラ予測モードから導出された現在のブロックのイントラ予測に使用されることができるモードを有する１つのモードセットとして定義される。

【0015】

許可されないイントラ予測モード（Ｄｉｓａｌｌｏｗｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ、ＤＩＰＭ）：信号で示されることができないか、又は現在のブロックのイントラ予測に使用されることができないか、又は隣接ブロックのイントラ予測モードから導出されるモードを有する１つのモードセットとして定義される。

【0016】

ＣｆＬ（Ｃｈｒｏｍａ Ｆｒｏｍ Ｌｕｍａ）は、輝度と色情報の相関性を利用して、同一のコーディングブロックの輝度コンポーネントの参照サンプルに基づいて彩度コンポーネントに対してイントラ予測を実行する。

【0017】

マルチ参照ラインイントラ予測（ＭＲＬＰ）は、イントラ予測において、最も近い参照ラインだけでなく、現在のコーディングブロックから離れた複数の参照ラインも使用する。

【0018】

コーディングツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、ＣＴＵ）は、ＨＥＶＣ及びＶＶＣ標準のさまざまなビデオコーディングスキームの基本的な処理ユニットである。ビデオフレームは複数のＣＴＵに分割され、各ＣＴＵは、さらに、効果的なビデオコーディングのために様々なより小さなユニット又はブロックに分割される。ＡＶＩ標準のビデオコーディングスキームでは、ＣＴＵに相当する構造をスーパーブロックと呼ぶ。

【0019】

コンテキストベース適応２値算術コーディング（Ｃｏｎｔｅｘｔ-ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ、ＣＡＢＡＣ）は、さまざまなビデオコーディング標準で使用されるエントロピーコーディングの形式の一つである。

【0020】

多用途ビデオコーディングテストモデル（Ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ Ｔｅｓｔ Ｍｏｄｅｌ、ＶＴＭ）：ＶＴＭは、ＶＶＣアルゴリズムとテストプロセスのエンコーダ側の説明を提供する。

【0021】

ＢＤ-Ｒａｔｅ（Ｂｊｏｎｔｅｇａａｒｄ ｄｅｌｔａ ｒａｔｅ、ＢＤＲ又はＢＤレート）：ＢＤＲは、ビデオ信号の同じピーク信号対雑音比（ｐｅａｋ ｓｉｇｎａｌ-ｔｏ-ｎｏｉｓｅ ｒａｔｉｏ、ＰＳＮＲ）のビットレートの変化を測定することにより、コーディング効率を評価する方法である。

【0022】

図１は、本開示の幾つかの実施形態を組み込んだ動作環境１００を示している。図１に示すように、動作環境１００はビデオ機能を持つ様々な装置を含み得る。例えば、動作環境１００は、端末デバイス１０２、カメラデバイス１０４、及び、モノのインターネット（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ、ＩｏＴ）デバイス１０６を含み得る。他のタイプのデバイスも含んでもよい。

【0023】

動作環境１００は、サーバ１２２、ヒューマンビジョンアプリケーション１２４、マシンビジョンアプリケーション１２６、及び、様々なデバイスをサーバ１２２に接続する通信リンク１４０をさらに含み得る。ユーザ１３０は、さまざまなデバイスの１つ又は複数を使用、アクセス、又は、制御することができる。

【0024】

端末デバイス１０２は、パーソナルデジタルアシスタント（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ、ＰＤＡ）、携帯電話、スマートフォン、統合メッセージングデバイス（ｉｎｔｅｇｒａｔｅｄ ｍｅｓｓａｇｉｎｇ ｄｅｖｉｃｅ、ＩＭＤ）、タブレットコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、及び、他のコンピューティングデバイスなどの任意のユーザ端末を含むことができる。カメラデバイス１０４は、デジタルカメラ、ビデオカメラ、セキュリティカメラ、車載カメラ、及びステレオカメラなどのような任意の画像、又はビデオキャプチャデバイスを含むことができる。ＩｏＴデバイス１０６は、デジタルドアベル、自律駆動センサー、デジタル音声アシスタント、スマートスピーカー、スマートアプライアンス、及び、産業用又は商用のＩｏＴシステムなどのカメラ機能を備える任意のタイプのＩｏＴデバイスを含むことができる。様々な装置１０２、１０４、及び１０６のいずれも、移動している個人によって携帯される際に、移動又は静止可能であり得る。また、自動車、トラック、タクシー、バス、電車、船、飛行機、自転車、オートバイを含む乗り物、又は同様の適切な乗り物の一部とするか、前記乗り物内に位置することができる。

【0025】

図２は、様々な装置１０２、１０４、及び/又は、１０６のいずれかを実現するための電子機器を示している。図２に示すように、電子機器２００は、ハードウェアプロセッサー２０２、メモリ２０４、カードリーダ２０６、ディスプレイ２０８、キーボード２１０、無線周波数（ｒａｄｉｏ-ｆｒｅｑｕｅｎｃｙ、ＲＦ）インターフェース２１２、ベースバンド２１４、アンテナ２１６、エンコーダ２２２、デコーダ２２４、カメラ２２６、スピーカ２３２、及びマイク２３４などを含み得る。図２に示す構成要素は例示であり、幾つかの構成要素は省略され得る。そして、他の構成要素が追加され得る。

【0026】

プロセッサー２０２は、電子機器２００を制御するために提供され得る。プロセッサー２０２は、他の構成要素との間でデータを送受信するために、１つ又は複数のバス又は他の電気接続を介して、他の構成要素に接続され得る。プロセッサー２０２は、１つ又は複数の処理コア、例えば、４コアプロセッサー又は８コアプロセッサーを含み得る。プロセッサー２０２は、デジタル信号処理（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ、ＤＳＰ）、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ-ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）、及び、プログラマブルロジックアレイ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ａｒｒａｙ、ＰＬＡ）のうち少なくとも１つのハードウェア形式を使用して実現され得る。プロセッサー２０２は、また、メインプロセッサー及びコプロセッサーを含み得る。メインプロセッサーは、中央処理ユニット（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）であり得る。コプロセッサーは、表示画面が表示する必要のあるコンテンツのレンダリング及び描画を担当するように配置されたグラフィックス処理ユニット（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＧＰＵ）であり得る。いくつかの実施形態では、プロセッサー２０２は、人工知能（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）プロセッサーをさらに含み得る。ＡＩプロセッサーは、機械学習に関連するコンピューティング操作を処理するように配置されている。

【0027】

メモリ２０４は、高速ランダムアクセスメモリ及び不揮発性メモリ、例えば、１つ又は複数のディスク記憶デバイス又はフラッシュ記憶デバイスなどの、１つ又は複数のコンピュータ可読記憶媒体を含むことができる。メモリ２０４は、画像データ及び音声データの形式でデータを格納することができ、プロセッサー２０２の命令も格納することができる。カードリーダ２０６は、スマートカードインターフェース、通信カードインターフェース（例えば、ニアフィールド通信（ＮＦＣ）カード）、又は、ユーザ情報を提供しユーザ１３０の認証及び許可のための認証情報を提供するのに適する加入者識別モジュール（ｓｕｂｓｃｒｉｂｅｒ ｉｄｅｎｔｉｆｉｅｒ ｍｏｄｕｌｅ、ＳＩＭ）カードインターフェース、又は、他のカードインターフェースなどの任意のタイプのポータブルカードインターフェースを含む。

【0028】

また、ディスプレイ２０８は、画像又はビデオを表示するのに適する任意の適切なディスプレイ技術であり得る。例えば、ディスプレイ２０８は、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＬＣＤ）スクリーン、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ-ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＯＬＥＤ）スクリーンなどを含み得る、タッチスクリーンであり得る。キーボード２１０は、ユーザ１３０による情報を入力するための物理又は仮想キーボードを含み得る。また、他のタイプの入力／出力デバイスを含み得る。スピーカ２３２及びマイクロフォン２３４は、電子機器２００の音声を入出力するために使用される。

【0029】

ＲＦインターフェース２１２（アンテナ２１６と共に）は、ＲＦ信号を送受信するためのＲＦ回路を含み得る。ＲＦインターフェース２１２は、電気信号を送信用の電磁信号に変換するか、又は受信した電磁信号を受信用の電気信号に変換することができる。ＲＦインターフェース２１２は、少なくとも１つの無線通信プロトコルにより他の電子機器と通信することができる。無線通信プロトコルは、メトロポリタンエリアネットワーク、様々な世代の移動通信ネットワーク（２Ｇ、３Ｇ、４Ｇ、及び５Ｇ）、無線ローカルエリアネットワーク（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ、ＬＡＮ）、及び／又は、ｗｉｆｉ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ）ネットワークを含み得る。いくつかの実施形態では、ＲＦインターフェース２１２は、また、近距離無線通信（ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ、ＮＦＣ）に関連する回路を含み得る。ベースバンド２１４は、ＲＦインターフェース２１２との間の信号を処理するための回路を含み得る。

【0030】

また、カメラ２２６は、画像又はビデオを収集するように配置された任意のタイプのイメージング又はビデオキャプチャデバイスを含むことができる。電子機器２００がユーザ１３０によって携帯される携帯デバイスである場合、カメラ２２６は、前面カメラ及び背面カメラを含み得る。当該前面カメラは、当該電子機器のフロントパネルに配置することができ、背面カメラは、電子機器の背面に配置することができる。いくつかの実施形態では、少なくとも２つの背面カメラが存在し、各背面カメラは、メインカメラ、被写界深度カメラ、広角カメラ、及び望遠カメラのいずれかであり、メインカメラと被写界深度カメラを融合させることで背景ぼけ機能を実現し、メインカメラと広角カメラを融合させることでパノラマ撮影及びバーチャルリアリティ（ＶＲ）撮影機能、又は、他の融合撮影機能を実現する。いくつかの実施形態では、カメラ２２６は、フラッシュをさらに含み得る。

【0031】

エンコーダ２２２及びデコーダ２２４は、電子機器のコーデック回路システムと呼ばれてよく、オーディオ及び／又はビデオデータのコーディング及びデコーディングを実行するのに適するか、又は、プロセッサー２０２によって実行されるコーディング及びデコーディングを支援するのに適する。

【0032】

図２に示す電子機器２００は、無線通信システムの移動端末又はユーザ機器の構造と同様な構造を含み得る。しかしながら、コーディング及びデコーディング、あるいはビデオ又は画像のコーディング又はデコーディングを必要とし得る任意の電子機器又はデバイスを含み得る。

【0033】

図１に戻って、電子機器２００（すなわち、様々なデバイス１０２、１０４、及び／又は、１０６のうちのいずれか１つ又は複数）は、様々なデータ（例えば、オーディオデータ、環境／動作データ、画像データ、及び／又は、ビデオデータ）をキャプチャ又は収集し、通信リンク１４０を介して、データをサーバ１２２に送信することができる。電子機器２００は、データをサーバ１２２に送信する前に、データを処理又は前処理するか、又は、未処理のデータをサーバ１２２に送信することができる。

【0034】

通信リンク１４０は、任意の適切なタイプの通信ネットワークを含んでよく、無線携帯電話ネットワーク、無線ローカルエリアネットワーク（ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ、ＷＬＡＮ）、ブルートゥース（登録商標）パーソナルエリアネットワーク、イーサネットローカルエリアネットワーク、トークンリングローカルエリアネットワーク、ワイドエリアネットワーク、及び、インターネットを含むが、これらに限定されない有線又は無線ネットワークの任意の組み合わせを含み得る。通信リンク１４０は、また、音声／データ通信のためのプライベート又はパブリッククラウドコンピューティングプラットフォームを含み得る。インターネット又は他のタイプのネットワークを含む場合に、インターネットへの接続には、長距離無線接続、短距離無線接続、及び、さまざまな電話回線、ケーブル回線、電力線、及び、同様の通信経路を含む有線接続が含まれる場合がある。

【0035】

サーバ１２２は、サーバクラスタ内に配置された、又は、異なる場所に分散された任意のタイプのサーバーコンピュータシステム又は複数のコンピュータシステムを含むことができる。サーバ１２２は、また、クラウドコンピューティングプラットフォーム上のクラウドサーバーを含み得る。図３は、サーバ１２２の幾つかの態様を実現する例示的なコンピュータシステムを示している。

【0036】

図３に示すように、コンピュータシステム３００は、プロセッサー３０２、記憶媒体３０４、モニタ３０６、通信モジュール３０８、データベース３１０、及び周辺機器３１２を含むことができる。特定のデバイスは省略されてよく、他のデバイスが含まれ得る。

【0037】

プロセッサー３０２は、任意の適切な１つ又は複数のプロセッサーを含み得る。さらに、プロセッサー３０２は、マルチスレッド又は並列処理のための複数のコアを含むことができる。記憶媒体３０４は、読み取り専用メモリ（Ｒｅａｄ-ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、フラッシュメモリモジュール、消去可能及び書き換え可能メモリ、ならびに、大容量記憶装置（例えば、ＣＤ－ＲＯＭ、Ｕディスク、及びハードディスク）などのメモリモジュールを含み得る。記憶媒体３０４は、プロセッサー３０２によって実行される際に、様々な処理を実現するためのコンピュータプログラムを記憶することができる。

【0038】

また、周辺機器３１２は、キーボードや、マウスのようなＩ／Ｏデバイスを含み得る。通信モジュール３０８は、通信ネットワークを介して接続を確立するためのネットワークデバイスを含み得る。データベース３１０は、特定のデータを格納するため、及び、格納されたデータに対して特定の操作（例えば、データベース検索）を実行するための１つ又は複数のデータベースを含むことができる。

【0039】

図２に戻って、エンコーダ２２２は、イントラモードコーディングの方法を実現するエンコーダであってもよい。この場合、電子機器２００は、また、イントラモードコーディングの方法を実現すると見なされ得る。すなわち、エンコーダ１２２は、電子機器２００内のハードウェア回路として実現され得るか、又は電子機器２００によってソフトウェアプログラムとして実現され得るか、又はハードウェア回路とソフトウェアプログラムの組み合わせとして実現され得る。図４は、本開示に開示された実施形態と一致する例示的なビデオエンコーダを示している。

【0040】

図４に示すように、ビデオエンコーダ４００は、ブロック分割ユニット４１０、減算ユニット４２０、予測ユニット４３０、変換/量子化ユニット４４０、逆量子化/逆変換ユニット４５０、加算ユニット４６０、インループフィルタ４７０、及びエントロピーエンコーダ４８０を含む。入力ビデオをエンコーダ４００に入力し、応答として、エンコーダ４００はビットストリームを出力する。

【0041】

入力ビデオは、複数のピクチャフレームを含む。各ピクチャフレームは、ブロック分割ユニット４１０によってスーパーブロック又はコーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）に分割される。３つのサンプルアレイを有するピクチャフレームについて、スーパーブロック又はＣＴＵは、輝度サンプルのＮ×Ｎブロックと、彩度サンプルの対応する２つのＮ×Ｎブロックを含む。ブロック分割ユニット４１０は、また、様々な局所特性に適応するために、コーディングツリーとして示されるバイナリ及びターナリ分割構造を使用するネストされたマルチタイプツリーを使用することによって、ＣＴＵをコーディングユニット（ＣＵ）に、さらに分割する。ピクチャ間（時間的）又はピクチャ内（空間的）予測を使用してピクチャ領域をコーディングする決定は、リーフＣＵレベルで行われる。予測プロセスがリーフＣＵに適用されて残差ブロックを取得し、変換が残差ブロックに適用され、ＣＵごとに関連情報を対応するデコーダに送信される。予測プロセスを適用して残差ブロックを取得した後、リーフＣＵは、変換の有無にかかわらず残差コーディングのために、別のツリー構造によって変換ユニット（ＴＵ）に分割される。

【0042】

予測ユニット４３０は、イントラ予測、インター予測、及び、インター予測とイントラ予測の組み合わせをサポートする。イントラ予測は、イントラモードコーディングとも呼ばれる。自然なビデオで提示される任意のエッジ方向をキャプチャするために、予測ユニット４３０は、平面（表面フィッティング）イントラ予測モード及びＤＣ（フラット）イントラ予測モードに加えて、６５個の方向（又は角度）イントラ予測モードをサポートする。予測ユニット４３０は、さらに、動きベクトル、参照ピクチャインデックス、及び参照ピクチャリスト使用インデックス、ならびにビデオコーディング特徴に必要な追加情報を含む動きパラメータに基づくインター予測サンプル生成をサポートする。予測ユニット４３０は、さらに、スキップモードをサポートし、当該スキップモードにおいて、スキップモードでコーディングされたＣＵが１つのＰＵに関連付けられ、有意な残差係数、コーディングされた動きベクトルデルタ、又は参照ピクチャインデックスを持たない。予測ユニット４３０は、さらに、マージモードをサポートし、当該マージモードにおいて、隣接するＣＵから、空間的及び時間的候補ならびに追加のスケジュールを含む現在のＣＵの動きパラメータを取得する。マージモードは、スキップモードだけでなく、任意のインター予測ＣＵに適用できる。予測ユニット４３０は、また、動きパラメータを明示的に送信することでマージモードの代替をサポートし、各ＣＵごとに、動きベクトル、各参照ピクチャリストに対応する参照ピクチャインデックスと参照ピクチャリスト使用フラグ、及び他の必要な情報が明示的に信号で送る。

【0043】

減算ユニット４２０は、ＣＵとＰＵとの間の差（又は残差）を変換／量子化ユニット４４０に出力する。

【0044】

変換/量子化ユニット４４０は、最大６４×６４サイズの大きなブロックサイズの変換をサポートする。サイズが６４に等しい変換ブロックについて、高周波数変換係数がゼロにされ、低周波数係数のみが保持される。スキップモードで大きなブロックを変換する場合、変換／量子化ユニット４４０は、値をゼロにすることなく、ブロック全体を使用する。変換／量子化ユニット４４０は、また、コア変換のための複数の変換選択（ｍｕｌｔｉｐｌｅ ｔｒａｎｓｆｏｒｍ ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）をサポートする。ＭＴＳを制御するために、変換／量子化ユニット４４０は、それぞれ、シーケンスパラメータセット（ＳＰＳ）レベルでの別個の有効化フラグを、イントラ予測及びインター予測に使用する。ＭＴＳがＳＰＳレベルで有効になっている場合、ＣＵレベルフラグを信号で送ってＭＴＳを適用するかどうかを指示する。変換／量子化ユニット４４０は、また、低周波分離不可能変換（ｌｏｗ-ｆｒｅｑｕｅｎｃｙ ｎｏｎ-ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ、ＬＦＮＳＴ）及びサブブロック変換（ｓｕｂ-ｂｌｏｃｋ ｔｒａｎｓｆｏｒｍ、ＳＢＴ）などの、ＶＶＣ及びＡＶＩドラフト標準に記載されている他の変換特徴をサポートする。

【0045】

また、変換/量子化ユニット４４０は、最大６３個の量子化パラメータ（ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ、ＱＰ）をサポートする。変換／量子化ユニット４４０は、また、ＳＰＳで輝度から彩度へのマッピング関係を信号で送ることによって、柔軟な輝度から彩度へのＱＰマッピングをサポートする。変換／量子化ユニット４４０は、また、輝度成分及び彩度成分のデルタＱＰ値をそれぞれ信号で送ることができる、ＣＵレベルＱＰ適応をサポートする。変換／量子化ユニット４４０は、また、依存量子化のようなＶＶＣ及びＡＶＩ標準で説明されている他の量子化特徴をサポートする。

【0046】

変換/量子化ユニット４４０は、また、ＴＵレベルフラグで指示される彩度残差の共同コーディングをサポートする。

【0047】

コンテキストベース適応２値算術コーディング（Ｃｏｎｔｅｘｔ-ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ、ＣＡＢＡＣ）は、エントロピーコーディングアルゴリズムとして説明できる。エントロピーエンコーダ４８０は、変換／量子化ユニット４４０によって出力された構文要素をコーディングするためのＣＡＢＡＣコーディングエンジンを含む。ＣＡＢＡＣコーディングエンジンは、Ｇｏｌｏｍｂ-Ｒｉｃｅコーディングアルゴリズムのような算術コーディングアルゴリズムをサポートする。エントロピーエンコーダ４８０は、変換ブロック及び変換スキップブロックのための別個の残差コーディング構造をサポートする。エントロピーエンコーダ４８０は、重複しない係数グループ（ＣＧ又はサブブロック）を使用することによってコーディングブロックの変換係数をコーディングし、各ＣＧは、可変サイズのコーディングブロックの変換係数を含む。係数グループのサイズは、チャネルタイプに関係なく、変換ブロックサイズのみに基づいて選択される。ＣＧのサイズには、１×１６、２×８、８×２、２×４、４×２、及び１６×１を含んでもよい。各コーディングブロック内のＣＧと各ＣＧ内の変換係数は、事前に定義されたスキャン順序に従ってコーディングされる。

【0048】

変換ユニット内の各コーディングブロックは複数のサブブロックに分割され、各サブブロックは複数のピクセルに分割される。複数のサブブロックは、４×４又は２×２サブブロックを含む。

【0049】

算術コーディングアルゴリズムでは、ローカル近傍で以前にコーディングブされた情報に応じて、構文要素ごとに、ローカル近傍の構文要素の部分的に再構築された絶対レベルに応じて、確率モデルを動的に選択する。

【0050】

逆量子化/逆変換ユニット４５０は、変換/量子化ユニット４４０によって実行される量子化処理及び変換処理を逆にし、出力を加算ユニット４６０に供給して、ピクチャフレームを再構築する。加算ユニット４６０は、また、予測ユニット４３０の出力を別の入力とする。再構築されたピクチャは、インループフィルタ４７０によってフィルタリングされる。インループフィルタ４７０は、デブロッキングフィルタ、サンプル適応オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ、ＳＡＯ）フィルタ、及び、適応ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ、ＡＬＦ）を含み、これらは、この順序でカスケードされる。インループフィルタ４７０の出力は、予測ユニット４３０に入力される。

【0051】

図５は、本開示の実施形態と一致するビデオデコーダを示す。図５に示すように、ビデオデコーダ５００は、エントロピーデコーダ５１０、逆変換／逆量子化ユニット５２０、加算ユニット５３０、予測ユニット５４０、インループフィルタ５５０、及びフレームバッファ５６０を含む。図４に示されるビデオエンコーダ４００から出力された入力ビットストリームはビデオデコーダ５００に入力され、それに応答して、ビデオデコーダ５００はビデオ信号を出力する。入力ビットストリームは、ビデオデコーダ５００に入力される前に、通信ネットワークを介して送信され得る。

【0052】

ビデオデコーダ５００は、ピクチャフレームを再構築するために、入力ビットストリームに対してビデオデコーディング処理を実行する。ビデオデコーディング処理は、ビデオエンコーダ４００によって実行されるビデオコーディング処理を逆にする処理である。具体的に、エントロピーデコーダ５１０は、エントロピーエンコーダ４８０によってコーディングされたビットストリームをデコーディングする。逆変換／逆量子化ユニット５２０は、変換／量子化ユニット４４０によって実行される変換／量子化の処理を逆にして、残差ブロックを復元する。加算ユニット５３０は、残差ブロックと予測ユニット５４０によって予測された予測ブロックとの合計を計算して、コーディングブロックを復元する。インループフィルタ５５０は、復元されたコーディングブロックを平滑化する。最後に、コーディングブロックは、画像フレームを再構築するためにフレームバッファ５６０に格納される。

【0053】

同時に、予測ユニット５４０は、デコーディングされたコーディングブロック及び入力ビットストリームにおける様々なフラグを入力として予測ブロックを生成する。

【0054】

本開示は、ビデオコーディング方法を提供する。図６は、本開示の実施形態と一致する例示的なビデオコーディング方法のフローチャートを示している。図６に示すように、ビデオコーディング方法は、ビデオ入力の現在のフレームを取得することを含む（Ｓ６１０）。現在のフレームは、ネストされたマルチタイプツリーコーディングブロック構造に従って、スーパーブロック又はコーディングツリーユニット（ＣＴＵ）のシーケンスに分割でき、各スーパーブロック又はＣＴＵは、コーディングブロック（ＣＢ）に、さらに分割できる（Ｓ６２０で）。

【0055】

ＨＥＶＣ標準とＶＶＣ標準の両方のビデオコーディングスキームでは、ビデオフレームは一連のＣＴＵに分割される。ＨＥＶＣ標準のビデオコーディングスキームでは、コーディングツリーとして示される四分木構造を使用してＣＴＵをＣＵに分割し、さまざまなローカル特性に適応する。ピクチャ間（時間的）又はピクチャ内（空間的）予測を使用してピクチャ領域をコーディングするかどうかの決定は、ＣＵレベルで行われる。ＰＵパーティションタイプに応じて、さらに、各ＣＵを、１つ、２つ、又は４つのＰＵに分割できる。１つのＰＵ内で、同じ予測プロセスが適用され、ＰＵごとに関連情報をデコーダに送信する。ＰＵパーティションタイプに基づいて予測プロセスを適用して残差ブロックを取得した後、ＣＵのコーディングツリーのような別の四分木構造に応じて、ＣＵをＴＵに分割できる。ＨＥＶＣ構造の重要な特徴の１つは、ＣＵ、ＰＵ、及びＴＵを含む複数のパーティションの概念があることである。

【0056】

ＶＶＣ標準のビデオエンコーディングスキームでは、２元及び３元パーティション分割構造を使用するネストされたマルチタイプツリーを備えた四分木が、複数の分割ユニットタイプの概念を置き換える。つまり、サイズが最大変換長に対して大きすぎるＣＵに必要であり、ＣＵ、ＰＵ、及びＴＵの概念の分離を削除し、ＣＵ分割形状の柔軟性をサポートする。コーディングツリー構造では、ＣＵは正方形又は長方形のいずれかの形状を有することができる。ＣＴＵは、最初に４分木（別名四分木）構造によって分割される。次に、４元ツリーリーフノードをマルチタイプツリー構造で、さらに分割できる。図８に示すように、マルチタイプツリー構造には、垂直２元パーティション（ＳＰＬＩＴ_ＢＴ_ＶＥＲ）、水平２元パーティション（ＳＰＬＩＴ_ＴＴ_ＶＥＲ）、垂直三元パーティション（ＳＰＬＩＴ ＴＴ ＶＥＲ）、及び、水平三元パーティション（ＳＰＬＩＴ_ＴＴ_ＨＯＲ）の４つの分割タイプがある。マルチタイプツリーリーフノードは、ＣＵと呼ばれ、ＣＵが最大変換長に対して大きすぎない限り、この分割は、それ以上分割せずに予測と変換処理に使用される。これは、ほとんどの場合、ＣＵ、ＰＵ、及びＴＵが、ネストされたマルチタイプツリーコーディングブロック構造を持つ、クアッドツリーで同じブロックサイズを持つことを意味する。例外は、サポートされている最大変換長がＣＵのカラーコンポーネントの幅又は高さよりも小さい場合に発生する。

【0057】

図９は、本開示の実施形態と一致する例示的なコーディングツリー構造における分割パーティション情報の信号送信メカニズムを示している。ＣＴＵは、４元ツリーのルートとして見なされ、最初に４元ツリー構造によって分割される。次に、マルチタイプツリー構造によって、各４元ツリーリーフノードを（それを許可するのに十分な大きさの場合）さらに分割する。マルチタイプツリー構造では、第１のフラグ（ｍｔｔ_ｓｐｌｉｔ_ｃｕ_ｆｌａｇ）を信号で送って、ノードがさらに分割するかどうかを示す。ノードがさらに分割されると、第２のフラグ（ｍｔｔ_ｓｐｌｉｔ_ｃｕ_ｖｅｒｔｉｃａｌ_ｆｌａｇ）を信号で送って、パーティション方向を示し、次に、第３のフラグ（ｍｔｔ_ｓｐｌｉｔ_ｃｕ_ｂｉｎａｒｙ_ｆｌａｇ）を信号で送って、パーティションが２元パーティションであるか３元パーティションであるかを示す。ｍｔｔ_ｓｐｌｉｔ_ｃｕ_ｖｅｒｔｉｃａｌ_ｆｌａｇ及びｍｔｔ_ｓｐｌｉｔ_ｃｕ_ｂｉｎａｒｙ_ｆｌａｇの値に基づいて、Ｅｒｒｏｒ!であると、参照ソースで示されるように導出されたＣＵのマルチタイプツリーパーティションモード（ＭｔｔＳｐｌｉｔＭｏｄｅ）が見つからない。

【表1】

【0058】

図１０は、本開示の実施形態と一致する例示的なコーディングツリー構造を示している。図１０に示すように、ＣＴＵは、四分木及びネストされたマルチタイプツリーコーディングブロック構造を有する複数のＣＵに分割され得る。太字のブロックエッジは四分木分割を表し、残りのエッジはマルチタイプツリー分割を表す。ネストされたマルチタイプツリー分割を持つ四分木は、ＣＵを含むコンテンツ適応型コーディングツリー構造を提供する。ＣＵのサイズは、ＣＴＵと同じであってもよいし、輝度サンプルの単位で４×４と小さくなってもよい。４：２：０彩度フォーマットの場合、最大彩度ＣＢサイズは６４×６４で、最小彩度ＣＢサイズは２×２である。

【0059】

ＶＶＣ標準のビデオコーディングスキームでは、サポートされる最大輝度変換サイズは６４×６４で、サポートされる最大彩度変換サイズは３２×３２である。ＣＢの幅又は高さが最大変換幅又は最大高さよりも大きい場合、ＣＢは、水平方向及び/又は垂直方向に自動的にパーティションされ、その方向の変換サイズ制限に適合される。

【0060】

ＶＶＣ標準（例えば、ＶＴＭ７）のビデオコーディングスキームでは、コーディングツリースキームは、輝度と彩度が個別のブロックツリー構造を持つ機能をサポートする。現在、ＰスライスとＢスライスの場合、一つのＣＴＵにおける輝度コーディングツリーブロック（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ、ＣＴＢ）と彩度のＣＴＢは、同じコーディングツリー構造を共有する必要がある。ただし、Ｉスライスの場合、輝度と彩度は個別のブロックツリー構造を持つことができる。個別のブロックツリーモードが適用される場合、１つのコーディングツリー構造によって輝度ＣＴＢをＣＵに分割し、別のコーディングツリー構造によって彩度ＣＴＢを彩度ＣＵに分割する。つまり、ＩスライスのＣＵは、輝度コンポーネントのコーディングブロック又は２つの彩度コンポーネントのコーディングブロックを含み得る。Ｐ又はＢスライスのＣＵは、ビデオがモノクロではない限り、常に３つのカラーコンポーネントすべてのコーディングブロックを含む。

【0061】

同様に、ＶＰ９標準のビデオコーディングスキームでは、ビデオフレームは一連のＣＴＵに区画される。図１１に示すように、４ウェイパーティションツリーを使用してＣＴＵを６４×６４レベルから４×４レベルに分割し、ブロック８×８に対するいくつかの追加の制限がある。Ｒとして指定されたパーティションは、再帰的として言及され、同じパーティションツリーが最低の４ｘ４レベルに到達するまで、より低いスケールで繰り返される。

【0062】

同様に、ＡＶＩ標準のビデオコーディングスキームでは、ビデオフレームは一連のスーパーブロックに区画される。図１２に示すように、図１２を参照すると、パーティションツリーは１０ウェイ構造に拡張されている。同時に、最大サイズ（ＶＰ９/ＡＶ １の用語ではスーパーブロックと呼ばれる）が１２８×１２８から始まるように拡大される。これには、ＶＰ９標準のビデオコーディングスキームに存在しなかった４：１/１：４の長方形の分割が含まれることに留意されたい。長方形の分割をさらに細かく分割することはできない。コーディングブロックサイズに加えて、コーディングツリーの深さは、ルートノードからのパーティション割の深さを示すために定義される。具体的には、ルートノードのコーディングツリーの深さ（１２８ｘ１２８など）が０に設定され、ツリーブロックがさらに１回分割された後、コーディングツリーの深さが１だけ増加する。

【0063】

固定の変換ユニットサイズを適用する代わりに、輝度コーディングブロックを複数のサイズの変換ユニットに分割でき、複数のサイズの変換ユニットは、最大２レベル下がる再帰分割で表すことができる。拡張コーディングブロック分割を合併するために、４×４から６４×６４までの正方形、２：１/１：２、及び４：１/１：４の変換サイズをサポートする。彩度ブロックの場合、可能な最大の変換ユニットのみが許可される。

【0064】

図６に戻って、Ｓ６３０において、現在のフレームをＣＢのシーケンスに分割した後に、マルチ参照ラインイントラ予測（ＭＲＬＰ）を使用して各ＣＢの残差ブロックを取得し、イントラ予測のために選択された参照ラインの参照サンプル及びＭＲＬＰフラグをラインバッファに記憶する。

【0065】

ブロックごとに、隣接ブロックの複数の参照ラインに基づいて、イントラ予測モードを導出する。複数の参照ラインのそれぞれに対して、ＡＶ１標準に基づくビデオコーディングスキームで定義されたすべての利用可能なイントラ予測モードのサブセットを決定する。すべての利用可能なイントラ予測モードのサブセットは、許可されたイントラ予測モード（ａｌｌｏｗｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ、ＡＩＰＭ）セットとも呼ばれる。複数の参照ラインのそれぞれは、インデックス番号で識別される。インデックス番号はゼロ以上の整数である。

【0066】

ＡＶ１標準に基づくビデオコーディングスキームでは、利用可能なイントラ予測モードの数は６２であり、５６個の角度イントラ予測モード、５つのスムーズモード、及び輝度モードからの１つの彩度モードを含む。複数の参照ラインがイントラ予測に適用され、複数の参照ラインにすべてのイントラ予測モードを含む場合に、ビデオコーディングの複雑さはかなり大きくなる。複数の参照ラインには、インデックス番号がゼロに等しい隣接参照ラインと、ゼロよりも大きいインデックス番号を持つ１つ又は複数の非隣接参照ラインが含まれる。ビデオコーディングの複雑さを軽減するために、参照ラインごとに許可されるイントラ予測モードの数を制限する必要がある。

【0067】

ＭＲＬＰには、特定の制限が適用され得る。狭いブロックについて、ＭＲＬＰを無効にすることができる。狭いブロックは、幅Ｗ、高さＨを有し、且つ、ａｂｓ（ｌｏｇ_２Ｗ-ｌｏｇ_２Ｈ）＞１である。小さなブロックについて、ＭＲＬＰを無効にすることができる。小さなブロックのサイズは８×８以下である。その他の制限も適用される場合がある。

【0068】

本開示の実施形態では、ビデオコーディング方法でＭＲＬＰを使用してコーディング効率及び圧縮性能を向上させる。コーディング効率と圧縮性能に基づいて、複数の参照ラインのそれぞれに対して決定された対応するイントラ予測モードは、様々なビデオコーディング標準のビデオコーディングスキームで定義されたすべての利用可能なイントラ予測モードのサブセットである。当該サブセットはＡＩＰＭセットとも呼ばれる。ＡＩＰＭセットに含まれるイントラ予測モードは、ビデオコーディングデバイス（例えば、図４に示されるビデオエンコーダ４００）によって信号で送られる。ＡＩＰＭセットに含まれるイントラ予測モードの数は、対応するビデオコーディングスキームで定義された利用可能なすべてのイントラ予測モードの数よりも少ないため、少ないビットにより、ＡＩＰＭセットに含まれるイントラ予測モードを信号で送る。また、イントラ予測モードに加えて、インター予測モードでブロックごとにシンボルレベル（ｓｙｍｂｏｌ ｌｅｖｅｌ）を予測し得る。

【0069】

残差ブロックを取得した後に、残差ブロックに対して変換及び量子化を行う。残差ブロックは現在のＣＢと予測ＣＢとの差である。

【0070】

ＡＶ１標準のビデオコーディングスキームでのイントラ予測モードは、５６個の角度（又は方向）イントラ予測モード、５つの非角度のスムーズイントラ予測モード、１つの彩度のみのイントラ予測モード、及び、その他のイントラ予測モードを含む。８つの方向（又は角度）モードは、４５～２０７度の角度に対応する。方向テクスチャの多くの種類の空間冗長性を活用するために、方向イントラ予測モードは、より細かい粒度を持つ角度セットに拡張される。図１３は、本開示の実施形態と一致するイントラ予測モードの８つの公称角度を示している。図１３に示すように、８つの方向モードの角度をわずかに変更して公称角度とし、これらの８つの公称角度は公称イントラ角度とも呼ばれ、９０°、１８０°、４５°、１３５°、１１３°、１５７°、２０３°、及び６７３に対応するＶ_ＰＲＥＤ、Ｈ_ＰＲＥＤ、Ｄ４５_ＰＲＥＤ、Ｄ１３５_ＰＲＥＤ、Ｄ１１３_ＰＲＥＤ、Ｄ１５７_ＰＲＥＤ、Ｄ２０３_ＰＲＥＤ、及びＤ６７_ＰＲＥＤと名付けられる。各公称角度は７つのより細かい角度に拡張される。従って、合計５６個の方向角（イントラ角度又は予測角度とも呼ばれる）が定義されている。各予測角度は、公称イントラ角度と角度デルタで表される。当該角度デルタは、-３～３で、３度のステップサイズを乗算する。一般的な方法で方向イントラ予測モードを実現するために、５６個の方向イントラ予測モードはすべて、各ピクセルを参照サブピクセル位置に投影し、２タップバイリニアフィルタによって参照ピクセルを補間する、統合された方向予測子を使用して実現される。

【0071】

イントラ予測モードは、ＤＣモード、ＰＡＥＴＨモード、ＳＭＯＯＴＨモード、ＳＭＯＯＴＨ_Ｖモード、及びＳＭＯＯＴＨ_Ｈモードの５つの非方向スムーズイントラ予測モードをさらに含む。ＤＣモードの場合、左側と上部の隣接サンプルの平均値が、予測されるブロックの予測子として使用される。ＰＡＥＴＨモードの場合、最初に頂部、左、左上の参照サンプルを取得し、次に（頂部+左-左上）に最も近い値が予測されるピクセルの予測子として設定される。図１４は、本開示の実施形態と一致するＰＡＥＴＨモードの頂部、左、及び左上の位置を示している。ＳＭＯＯＴＨモード、ＳＭＯＯＴＨ_Ｖモード、及びＳＭＯＯＴＨ_Ｈモードの場合、垂直方向又は水平方向における２次補間、又は、両方向における平均値を使用してブロックを予測する。

【0072】

エッジ上の参照との減衰する空間相関をキャプチャするために、フィルタイントラ（ＦＩＬＴＥＲ ＩＮＴＲＡ）モードが、輝度ブロック用に設計されている。５つのフィルタイントラモードが定義されている。５つのフィルタイントラモードのそれぞれは、４×２パッチのピクセルと７つの隣接するピクセル間の相関を反映する、８つの７タップフィルタのセットによって表される。つまり、７タップフィルタの重み係数は位置に依存する。図１５は、本開示の実施形態と一致する再帰的イントラフィルタリングモードの例を示している。図１５に示すように、８×８ブロックが８つの４×２パッチにパーティションされる。図１５において、これらのパッチは、Ｂ０、Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６、及びＢ７によって示されている。パッチごとに、Ｒ０～Ｒ７で示される７つの隣接するネイバーを使用して、現在のパッチのピクセルを予測する。パッチＢ０の場合、隣接するすべてのネイバーはすでに再構築されている。ただし、他のパッチの場合、隣接するすべてのネイバーが再構築されるわけではない。隣接するネイバーの予測値が参照として使用される。たとえば、パッチＢ７のすべての隣接するネイバーが再構築されるわけではないため、代わりに、隣接するネイバー（つまり、Ｂ５とＢ６）の予測サンプルを使用する。

【0073】

輝度からの彩度(Ｃｈｒｏｍａ ｆｒｏｍ Ｌｕｍａ、ＣｆＬ）は、彩度ピクセルを、一致する再構築された輝度ピクセルの線形関数としてモデリングできる彩度のみのイントラ予測子である。ＣｆＬ予測は次のように表される。

【数1】

Ｌ_ＡＣは輝度成分のＡＣ寄与を示し、αは線形モデルのパラメータを示し、ＤＣは彩度成分のＤＣ寄与を示す。具体的には、再構築された輝度ピクセルを彩度解像度にサブサンプリングし、次に、平均値を差し引いて、ＡＣ寄与を形成する。ＡＣ寄与から彩度ＡＣ成分を近似するために、デコーダがスケーリングパラメーターを計算する代わりに、ＣｆＬは、元の彩度ピクセルに基づいてパラメータαを決定し、ビットストリームにそれらを信号で送る。この方法は、デコーダの複雑さを軽減し、より正確な予測が可能になる。彩度成分のＤＣ寄与に関しては、イントラＤＣモードを使用して計算され、当該イントラＤＣモードは、ほとんどの彩度コンテンツに十分であり、成熟した高速実現を備える。

【0074】

ＭＲＬＰは、複数の参照ラインを使用してイントラ予測を行い、図４に示すビデオエンコーダ４００は、イントラ予測子を生成するために、どの参照ラインを使用するかを決定し、信号で送る。イントラ予測モードの前に、参照ラインのインデックス番号を信号で送り、非ゼロ参照ラインのインデックス番号を信号で送る場合には、最も可能性の高いモード（ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅ、ＭＰＭ）又は同等モードのみが許可される。図１６は、本開示の実施形態と一致する４つの参照ラインの例を示す。図１６に示すように、４つの参照ラインの例を示しており、各参照ラインは、６つのセグメント、すなわち、セグメントＡからＦ、及び、左上の参照サンプルを含む。また、それぞれセグメントＢとＥからの最も近いサンプルでセグメントＡとＦをパディングしている。

【0075】

図１６に示すように、参照ラインのインデックス番号は、参照ラインが現在のブロックから離れるにつれて順次増加する。現在のブロックに直接的に隣接する参照ラインは隣接参照ラインと呼ばれ、ゼロに等しいインデックス番号を有し、図１６の参照ライン０である。ゼロよりも大きいインデックス番号を有する参照ラインは非隣接参照ラインと呼ばれる。

【0076】

図６に戻って、Ｓ６４０において、現在のフレームの各ＣＢの残差ブロックを使用して現在のフレームをコーディングすることで、各ＣＢのコーディングされた残差ブロックを含むビットストリームを生成する。各ＣＢにＭＲＬＰを使用して得られた残差ブロックを変換し、及び量子化を行う。大きなブロックのサイズの変換は最大６４×６４のサイズを含む。サイズが６４に等しい変換ブロックについて、高周波数の変換係数がゼロにされるため、低周波数の係数のみが保持される。変換スキップモードで大きなブロックを変換する場合、値をゼロにすることなくブロック全体を使用する。また、コア変換は複数の変換選択（ＭＴＳ）をサポートする。ＭＴＳを制御するために、シーケンスパラメータセット（ＳＰＳ）レベルで個別の有効化フラグをイントラ予測及びインター予測に使用する。ＳＰＳレベルでＭＴＳを有効化する場合に、ＣＵレベルフラグを信号で送信してＭＴＳが適用されたかどうかを示す。他の変換特徴、例えば、低周波数非分離変換（ＬＦＮＳＴ）及びサブブロック変換（ＳＢＴ）をサポートしてもよい。

【0077】

また、変換及び量子化処理は最大６３個の量子化パラメータ（ＱＰ）をサポートする。ＳＰＳにおける輝度から彩度へのマッピング関係を信号で送信し、柔軟な輝度から彩度ＱＰへのマッピングもサポートする。ＣＵレベルのＱＰ適応をサポートし得、輝度成分及び彩度成分のデルタＱＰ値を別々に信号で送信することができる。依存性量子化のような他の量子化特徴をサポートしてもよい。

【0078】

変換及び量子化された残差ブロックはエントロピーコーディングされる。エントロピーコーディングアルゴリズムは、コンテキストベースの適応バイナリ算術コーディング（ＣＡＢＡＣ）であり得る。ＣＡＢＡＣコーディングエンジンは、変換及び量子化処理によって出力される構文要素をコーディングするために用いられる。ＣＡＢＡＣコーディングエンジンは、Ｇｏｌｏｍｂ-Ｒｉｃｅコーディングアルゴリズムのような算術コーディングアルゴリズムをサポートする。変換ブロックと変換スキップブロックに使用される個別の残差コーディング構造をサポートし得る。コーディングブロックの変換係数は、重複しない係数グループ（ＣＧ又はサブブロック）を使用してコーディングすることができ、各ＣＧは、可変サイズのコーディングブロックの変換係数を含む。係数グループのサイズは変換ブロックのサイズのみに基づいて選択され、変換ブロックのサイズはチャネルタイプに関係しない。ＣＧのサイズは、１×１６、２×８、８×２、２×４、４×２、及び１６×１を含み得る。定義されたスキャン順序に従って、各コーディングブロックの内部のＣＧ及び各ＣＧ内の変換係数をコーディングする。

【0079】

また、各ＣＢのエントロピーコーディングされた残差ブロックを含むビットストリームを生成する。エントロピーコーディングの結果として、各ＣＢのエントロピーコーディングされた残差ブロックを含むビットストリームを生成する。ビットストリームを送信及び/又は記憶することができる。ビデオデコーダは、本開示と一致するビデオコーディング方法に対応するビデオデコーディング方法を実行することでオリジナルビデオを復元することができる。

【0080】

従って、本開示はビデオコーディング方法を提供する。当該方法は、イントラ予測において複数の参照ラインを選択し、マルチ参照ラインイントラ予測のために選択された参照ラインの参照サンプルの値を確定する。選択された参照ラインの参照サンプルの値をラインバッファに記憶する。参照ラインの選択、及び参照サンプル値の確定は、ラインバッファのサイズを縮小するように最適化される。従って、ラインバッファ専用のオンチップ回路面積が削減され、ハードウェアコストが節約される。

【0081】

本開示の実施形態と一致するエンコーダ及びデコーダの実施形態は、非一時的なコンピュータ読み取り可能な記憶媒体に記憶されたプログラム命令を実行する処理回路システム（例えば、１つ又は複数のプロセッサー、或いは、１つ又は複数の集積回路）により実現されてもよい。

【0082】

図１７は、本開示の実施形態と一致する上側の参照ライン及び左側の参照ラインの例を示している。図１７に示すように、複数の参照ラインは、さらに、上側の参照ライン及び左側の参照ラインにパーティションされる。上側の参照ラインは白でマークされ、セグメントＢ、Ｃ、及びＤにおける参照サンプルは上側の参照ラインに含まれる。左側の参照ラインは灰色でマークされており、セグメントＡにおける参照サンプルは左側の参照ラインに含まれる。

【0083】

スーパーブロックの１行目が現在のＣＢの内部にある、即ち、現在のＣＢがスーパーブロックの頂部境界にある場合、隣接上側参照ライン（上側の参照ライン０とも呼ばれる）の参照サンプルは、現在のＣＢのイントラ予測に使用され、非隣接上側参照ラインの参照サンプルは、現在のＣＢのイントラ予測から除外される。一方、隣接左側参照ライン及び非隣接左側参照ラインの参照サンプルの両方は、現在のＣＢのイントラ予測に使用され得る。スーパーブロックの１行目が現在のＣＢ内部にあるかどうかに関係なく、同様な方法で参照ラインのインデックス番号を信号で送信する。また、参照ラインのインデックス番号を信号で送信するためのコンテキストは、スーパーブロックの１行目が現在のＣＢの内部にあるかどうかによって異なる。

【0084】

一実施形態では、スーパーブロックの１行目が現在のＣＢの内部にある場合に、隣接上側参照ラインと様々な左側の参照ラインとの組み合わせは、現在のＣＢのイントラ予測に用いられる様々な参照サンプルを形成し得る。当該組み合わせは、イントラ予測のために選択された参照ラインの第２のインデックス番号により信号で送信される。図１８ないし図２１は、本開示の実施形態と一致する上側の参照ライン０、及び、異なる左側の参照ラインを選択してイントラ予測に使用する例を示している。一例では、図１８において隣接上側参照ラインと隣接左側参照ラインの組み合わせを対角テクスチャパターンでマークする。別の例では、図１９において、隣接上側参照ラインと左側の参照ライン１の組み合わせを対角テクスチャパターンでマークする。別の例では、図２０において、隣接上側参照ラインと左側の参照ライン２の組み合わせを対角テクスチャパターンでマークする。別の例では、図２１において、隣接上側参照ラインと左側の参照ライン３の組み合わせを対角テクスチャパターンでマークする。

【0085】

上側の参照ライン又は左側の参照ラインのいずれかに参照サンプルが存在しない場合に、上側の参照ライン及び左側の参照ラインの両方に対して、同じ参照サンプルパディング処理を使用する。

【0086】

平滑フィルタは、イントラ予測のために選択された参照ラインの参照サンプルをフィルタリングするために用いられる。イントラ予測のために選択された異なる参照ラインに対して、参照サンプルの異なる平滑フィルタを使用する。一例において、イントラ予測のために選択された左側の参照ラインが非隣接左側参照ラインである場合、イントラ予測のために選択された隣接上側参照ライン及び非隣接左側参照の両方に対して、平滑フィルタを無効にする。別の例において、イントラ予測のために選択された左側の参照ラインが隣接左側参照ラインである場合、イントラ予測のために選択された隣接左側参照のみに対して平滑フィルタを無効にする。

【0087】

一実施形態では、スーパーブロックの１行目が現在のＣＢの内部にあり、且つ、第ｒの非隣接参照ラインがイントラ予測に使用されていることを示す参照ラインインデックスｒを信号で送信する場合に、通常のＭＲＬＰスキームと同様に、第ｒの列から左側からの参照サンプルを選択し、１つの単一の値で上側からの参照サンプルをパディングする。

【0088】

一実施形態では、スーパーブロックの１行目が現在のＣＢの内部にある場合に、第２のインデックス番号ｒを持つ１つの非隣接上側参照ライン、及び、同じ第２のインデックス番号ｒを持つ１つ非隣接左側参照ラインを選択して、イントラ予測に使用する。また、第２のインデックス番号ｒを持つ非隣接上側参照ラインの参照サンプルは、単一の値に設置される。一例において、隣接上側参照ライン又は隣接左側参照ラインから参照サンプルの値を選択することで単一の値を確定する。別の例において、１<<（ＢｉｔＤｅｐｔｈ-１）又は（１<<（ＢｉｔＤｅｐｔｈ-１））-１を選択することで単一の値を確定し、その中で、ＢｉｔＤｅｐｔｈは参照サンプルをコーディングするためのビット数である。

【0089】

一実施形態では、ＣＴＵの１行目が現在のＣＢの内部にある場合に、第２のインデックス番号ｒを持つ１つの非隣接上側参照ライン、及び、同じ第２のインデックス番号ｒを持つ１つ非隣接左側参照ラインを選択して、イントラ予測に使用する。また、角度イントラ予測の方向で隣接上側参照ラインの参照サンプルの位置を第２のインデックス番号ｒを持つ非隣接上側参照ラインに投影することで、第２のインデックス番号ｒを持つ非隣接上側参照ラインの参照サンプルの値を確定する。

【0090】

角度イントラ予測の方向で、隣接上側参照ラインの参照サンプルの位置を第２のインデックス番号ｒを持つ非隣接上側参照ラインに投影することで、第２のインデックス番号ｒを持つ非隣接上側参照ラインの参照サンプルの値を確定することは、以下の処理によって行われ得る。まず、角度イントラ予測の方向で、第２のインデックス番号ｒを持つ上側の参照ラインの参照サンプルの整数位置から隣接上側参照ラインに向かって平行線を描画する。図２２に示すように、平行線は隣接上側参照ラインの参照サンプルの分数位置で隣接上側参照ラインと交差する。次に、隣接上側参照ラインの参照サンプルの分数位置での値に補間フィルタリング処理を適用して、第２のインデックス番号ｒを持つ非隣接上側参照ラインの参照サンプルの値を導出する。補間フィルタリング処理で使用される補間フィルタは、２タップフィルタ、４タップフィルタ、又は６タップフィルタであり得る。補間フィルタは負のフィルタ係数を含み得る。代わりに、補間フィルタは、４タップの三次フィルタ、４タップの離散コサイン変換補間フィルタ（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｆｉｌｔｅｒ、ＤＣＴ-ＩＦ）、又は２タップのバイリニアフィルタであり得る。

【0091】

他の実施形態では、平行線が隣接上側参照ラインの参照サンプルの分数位置で隣接上側参照ラインと交差した後、分数位置に最も近い整数位置を使用して、隣接上側参照ラインの参照サンプルを選択して、イントラ予測に使用する。

【0092】

本開示の様々な実施形態では、ビデオコーディング方法は、イントラ予測において複数の参照ラインを選択し、マルチ参照ラインイントラ予測のために選択された参照ラインの参照サンプルの値を確定する。選択された参照ラインの参照サンプルの値をラインバッファに記憶する。参照ラインの選択、及び、参照サンプル値の確定は、ラインバッファのサイズを縮小するように最適化される。従って、ラインバッファ専用のオンチップ回路面積が削減され、ハードウェアコストが節約される。

【0093】

本開示は、さらに、ビデオデコーディング方法を提供する。図７は、本開示の実施形態と一致する例示的なビデオデコーディング方法を示している。図７に示すように、ビデオ入力の複数のコーディングフレームを含むビットストリームを取得する（Ｓ７１０）。ビットストリームは、図６に示されるビデオコーディング方法を実行するビデオコーディングシステムによって生成され得る。

【0094】

Ｓ７２０において、複数のコーディングフレームのそれぞれを複数のスーパーブロックにデコーディングし、複数のスーパーブロックのそれぞれを複数の残差ブロックにデコーディングする。ビットストリームは、複数のスーパーブロックの境界及び複数のスーパーブロックのそれぞれに含まれる複数のブロックの境界を示す、ヘッダ情報を含む。複数の残差ブロックのそれぞれは、エントロピーコーディングされ得る。エントロピーデコーディング処理と、それに続く逆変換及び逆量子化処理を実行して、複数の残差ブロックのそれぞれを取得することができる。エントロピーデコーディング処理と逆変換、及び逆量子化処理は、図６に示されるビデオコーディング方法のＳ６４０で実行されるエントロピーコーディング処理と変換、及び量子化処理を逆転させる。

【0095】

Ｓ７３０において、各コーディングフレームに含まれる参照サンプル及びＭＲＬＰフラグに基づいて、複数の残差ブロックのそれぞれのコーディングブロックを復元する。具体的には、図６に示されるビデオコーディング方法のＳ６３０で確定された各コーディングフレームに含まれる参照サンプル及びＭＲＬＰフラグに基づいて、ＭＲＬＰ処理を逆転させることにより、対応する残差ブロックに応じてＣＢをデコーディングする。

【0096】

そして、復元された複数のスーパーブロックのそれぞれにおける複数の残差ブロックのそれぞれのＣＢをフレームバッファに記憶して、ビデオ信号の各フレームを再構築する（Ｓ７４０）。当該処理は、図に示されるビデオコーディング方法のＳ６２０を逆転させることにより、複数のＣＢをスーパーブロックに組み立て、複数のスーパーブロックをビデオ信号のフレームに組み立てる。

【0097】

最後に、組み立てられたフレームを連続して出力してビデオ信号を復元する（Ｓ７５０）。当該処理は、図６に示されるビデオコーディング方法のＳ６１０を逆転させる。

【0098】

本開示の実施形態では、ビデオコーディング方法、及び、対応するビデオデコーディング方法は、イントラ予測において複数の参照ラインを選択し、マルチ参照ラインイントラ予測のために選択された参照ラインの参照サンプルの値を確定する。選択された参照ラインの参照サンプルの値をラインバッファに記憶する。参照ラインの選択、及び、参照サンプル値の確定は、ラインバッファのサイズを縮小するように最適化される。従って、ラインバッファ専用のオンチップ回路面積が削減され、ハードウェアコストが節約される。

【0099】

本開示の原理及び実施形態が、明細書における具体的な実施形態を使用して説明されたが、実施形態の説明は、ただ本開示の方法及び趣旨を理解することに寄与する。且つ、当業者であれば、本開示の思想に基づいて、具体な実施形態及びアプリケーションの範囲を修正することができる。要するに、明細書は、本開示の限定として解釈されるべきではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【国際調査報告】