知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-07-11
(54)【発明の名称】ビデオデコーディング方法及びビデオコーディング方法
(51)【国際特許分類】
H04N 19/11 20140101AFI20220704BHJP
H04N 19/46 20140101ALI20220704BHJP
H04N 19/105 20140101ALI20220704BHJP
H04N 19/176 20140101ALI20220704BHJP
【ＦＩ】
H04N19/11
H04N19/46
H04N19/105
H04N19/176
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021558676
(86)(22)【出願日】2020-11-26
(85)【翻訳文提出日】2021-10-01
(86)【国際出願番号】 US2020062446
(87)【国際公開番号】W WO2021108733
(87)【国際公開日】2021-06-03
(31)【優先権主張番号】17/079,417
(32)【優先日】2020-10-23
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/941,342
(32)【優先日】2019-11-27
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ブルートゥース
(71)【出願人】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ジャオ，リアン
(72)【発明者】
【氏名】ジャオ，シン
(72)【発明者】
【氏名】リィウ，シャン
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159MA04
5C159MA05
5C159MA21
5C159MC11
5C159ME01
5C159ME11
5C159PP16
5C159RC12
5C159TA31
5C159TA32
5C159TA33
5C159TB08
5C159TC08
5C159TC18
5C159TC26
5C159UA05
(57)【要約】
ビデオデコーディング方法であって、ビデオ信号の複数のコーディングフレームを含むビットストリームを取得し、複数のコーディングフレームのそれぞれを複数のＣＴＵにデコーディングし、複数のＣＴＵのそれぞれを複数の残差ブロックにデコーディングし、各コーディングフレームに含まれるマルチ参照ラインイントラ予測フラグ及び参照サンプルに基づいて、複数の残差ブロックのそれぞれに対してコーディングブロックを復元し、コーディング効率及び圧縮性能に基づいて、イントラ予測用に選択された複数の参照ラインのそれぞれに対して全て利用可能なイントラ予測モードのサブセットを決定し、複数の参照ラインのそれぞれは、インデックス番号で識別され、複数の残差ブロックのそれぞれに対して復元されたコーディングブロックをフレームバッファに記憶してビデオ信号の各フレームを再構成し、再構成されたフレームを連続的に出力してビデオ信号を復元することを含む。
【特許請求の範囲】
【請求項1】
ビデオデコーディング方法であって、ビデオ信号の複数のコーディングフレームを含むビットストリームを取得するステップと、
前記複数のコーディングフレームのそれぞれを複数のコーディングツリーユニット（ＣＴＵ）にデコーディングし、前記複数のＣＴＵのそれぞれを複数の残差ブロックにデコーディングするステップと、
各コーディングフレームに含まれるマルチ参照ラインイントラ予測（ＭＲＬＰ）フラグ及び参照サンプルに基づいて、前記複数の残差ブロックのそれぞれに対してコーディングブロックを復元するステップであり、コーディング効率及び圧縮性能に基づいて、イントラ予測用に選択された複数の参照ラインのそれぞれに対して、許可されたイントラ予測モードセット（ＡＩＰＭ）とも呼ばれる全ての利用可能なイントラ予測モードのサブセットを決定し、前記複数の参照ラインのそれぞれは、ゼロ以上の整数であるインデックス番号で識別される、前記復元するステップと、
前記複数の残差ブロックのそれぞれについての前記復元されたコーディングブロックを、フレームバッファに記憶することで、前記ビデオ信号の各フレームを再構成するステップと、
前記再構成されたフレームを連続的に出力して前記ビデオ信号を復元するステップと
を含む方法。
【請求項2】
前記参照ラインのインデックス番号は、前記参照ラインが現在のブロックから離れるにつれて順次増加し、前記現在のブロックに直接隣接する参照ラインはゼロ参照ラインと呼ばれ、ゼロに等しいインデックス番号を有し、対応するＡＩＰＭセットはＳ２と表され、
前記インデックス番号がゼロよりも大きい参照ラインは非ゼロ参照ラインと呼ばれ、対応するＡＩＰＭセットはＳ１と表され、
Ｓ１はＳ２のサブセットである、
請求項１に記載の方法。
【請求項3】
Ｓ１に含まれるイントラ予測モードは、前記現在のブロックのサイズ、及び隣接ブロックのイントラ予測モードにかかわらず、公称角度を持つ角度イントラ予測モードを含めることと、
前記現在のブロックのサイズ、及び前記隣接ブロックのイントラ予測モードにかかわらず、ＳＭＯＯＴＨ_Ｖモード又はＳＭＯＯＴＨ_Ｈモードのどちらか一方を含めることと、
前記ＳＭＯＯＴＨ_Ｖモード又は前記ＳＭＯＯＴＨ_Ｈモード以外の如何なる非角度イントラ予測モードも除外することと
によって決定され、
前記公称角度は、４５°、６７°、９０°、１１３°、１３５°、１５７°、１８０°及び２０３°であり、
前記ＳＭＯＯＴＨ_Ｖモード及び前記ＳＭＯＯＴＨ_Ｈモードは、それぞれ、垂直方向又は水平方向における二次補間を用いたイントラ予測モードである、
請求項２に記載の方法。
【請求項4】
前記現在のブロックの高さが前記現在のブロックの幅以上である場合に、前記ＳＭＯＯＴＨ_ＶモードがＳ１に含まれ、前記現在のブロックの幅が前記現在のブロックの高さよりも大きい場合に、前記ＳＭＯＯＴＨ_ＨモードがＳ１に含まれる、
請求項３に記載の方法。
【請求項5】
前記現在のブロックの幅が前記現在のブロックの高さ以上である場合に、前記ＳＭＯＯＴＨ_ＶモードがＳ１に含まれ、前記現在のブロックの高さが前記現在のブロックの幅よりも大きい場合に、前記ＳＭＯＯＴＨ_ＨモードＳ１に含まれる、
請求項３に記載の方法。
【請求項6】
Ｓ１及びＳ２に含まれるイントラ予測モードは、Ｓ２を第１のレベル及び第２のレベルに分割することと、
Ｌ及びＭが１よりも大きい整数であるとして、Ｓ２の前記第１のレベルで２Ｌ個のイントラ予測モードを含め、Ｓ２の前記第２のレベルで２Ｍ個のイントラ予測モードを含めることと
Ｓ１にはＳ２の前記第１のレベルでの角度イントラ予測モードを含めることと
によって決定される、
請求項２乃至５のうちいずれか一項に記載の方法。
【請求項7】
Ｓ１及びＳ２に含まれるイントラ予測モードは、Ｓ２を、第１のレベル、第２のレベル及び第３のレベルに分割することと、
Ｌ、Ｍ及びＮが１よりも大きい整数であるとして、Ｓ２の前記第１のレベルで２Ｌ個のイントラ予測モードを含め、Ｓ２の前記第２のレベルで２Ｍ個のイントラ予測モードを含め、Ｓ２の前記第３のレベルで２Ｎ個の予測モードを含めることと、
Ｓ１にはＳ２の前記第１のレベル及び前記第２のレベルでの角度イントラ予測モードを含めることと
によって決定される、
請求項２乃至５のうちいずれか一項に記載の方法。
【請求項8】
Ｓ１に含まれるイントラ予測モードは、隣接ブロックのイントラ予測モードの一つが角度イントラ予測モードである場合に、非公称角度の少なくとも１つの角度イントラ予測モードを含めること
によって決定される、
請求項２乃至５のうちいずれか一項に記載の方法。
【請求項9】
Ｓ１及びＳ２に含まれるイントラ予測モードは、Ｓ１にＳ２の全ての角度イントラ予測モードを含めること
によって決定される、
請求項２乃至５のうちいずれか一項に記載の方法。
【請求項10】
Ｓ１及びＳ２に含まれるイントラ予測モードは、Ｓ１にＳ２の全てのイントラ予測モードを含めること
によって決定される、
請求項２乃至５のうちいずれか一項に記載の方法。
【請求項11】
Ｓ１及びＳ２に含まれるイントラ予測モードは、Ｓ１にＳ２の全ての角度イントラ予測モードを含めることと、
Ｓ１においてＳ２の全ての非角度イントラ予測モードを除外することと
によって決定される、
請求項２乃至５のうちいずれか一項に記載の方法。
【請求項12】
Ｓ１及びＳ２に含まれるイントラ予測モードは、Ｓ１にＳ２よりも多くの角度イントラ予測モードを含めること
によって決定される、
請求項２乃至５のうちいずれか一項に記載の方法。
【請求項13】
ビデオコーディング方法であって、ビデオ入力の現在のフレームを取得するステップと、
前記取得された現在のフレームを複数のブロックに分割するステップと、
マルチ参照ラインイントラ予測を組み込むことにより、分割されたブロックごとにシンボルレベルを予測するステップであり、
隣接ブロックの複数の参照ラインに基づいてイントラ予測モードが導出され、
コーディング効率及び圧縮性能に基づいて、前記複数の参照ラインのそれぞれに対して、許可されたイントラ予測モードセット（ＡＩＰＭ）とも呼ばれる全ての利用可能なイントラ予測モードのサブセットが決定され、
前記複数の参照ラインのそれぞれが、ゼロ以上の整数であるインデックス番号で識別される、前記予測するステップと、
現在のシンボルレベルから前記予測されたシンボルレベルを差し引くことで導出された残差シンボルレベルを変換及び量子化するステップと、
前記変換及び量子化された残差シンボルレベルをエントロピーコーディングするステップと、
前記エントロピーコーディングされた残差シンボルレベルを含むビットストリームを生成するステップと
を含む方法。
【請求項14】
前記参照ラインのインデックス番号は、前記参照ラインが現在のブロックから離れるにつれて順次増加し、前記現在のブロックに直接隣接する参照ラインはゼロ参照ラインとも呼ばれ、ゼロに等しいインデックス番号を有し、対応するＡＩＰＭセットはＳ２と表され、
前記インデックス番号がゼロよりも大きい参照ラインは非ゼロ参照ラインと呼ばれ、対応するＡＩＰＭセットＳ１と表され、
Ｓ１はＳ２のサブセットである、
請求項１３に記載の方法。
【請求項15】
Ｓ１に含まれるイントラ予測モードは、前記現在のブロックのサイズ、及び隣接ブロックのイントラ予測モードにかかわらず、公称角度を持つ角度イントラ予測モードを含めることと、
前記現在のブロックのサイズ、及び前記隣接ブロックのイントラ予測モードにかかわらず、ＳＭＯＯＴＨ_Ｖモード又はＳＭＯＯＴＨ_Ｈモードのどちらか一方を含めること
によって決定され、
前記公称角度は、４５°、６７°、９０°、１１３°、１３５°、１５７°、１８０°及び２０３°であり、
前記ＳＭＯＯＴＨ_Ｖモード及び前記ＳＭＯＯＴＨ_Ｈモードは、それぞれ、垂直方向又は水平方向における二次補間を用いたイントラ予測モードである、
請求項１４に記載の方法。
【請求項16】
前記現在のブロックの高さが前記現在のブロックの幅以上である場合に、前記ＳＭＯＯＴＨ_ＶモードがＳ１に含まれ、前記現在のブロックの幅が前記現在のブロックの高さよりも大きい場合に、前記ＳＭＯＯＴＨ_ＨモードがＳ１に含まれる、
請求項１５に記載の方法。
【請求項17】
前記現在のブロックの幅が前記現在のブロックの高さ以上である場合に、前記ＳＭＯＯＴＨ_ＶモードがＳ１に含まれ、前記現在のブロックの高さが前記現在のブロックの幅よりも大きい場合に、前記ＳＭＯＯＴＨ_ＨモードがＳ１に含まれる、
請求項１５に記載の方法。
【請求項18】
Ｓ１及びＳ２に含まれるイントラ予測モードは、Ｓ２を第１のレベル及び第２のレベルに分割することと、
Ｌ及びＭが１よりも大きい整数であるとして、Ｓ２の前記第１のレベルで２Ｌ個のイントラ予測モードを含め、Ｓ２の前記第２のレベルで２Ｍ個のイントラ予測モードを含めること、
Ｓ１には、Ｓ２の前記第１のレベルでの角度イントラ予測モードを含めることと
によって決定される、
請求項１４乃至１７のうちいずれか一項に記載の方法。
【請求項19】
Ｓ１及びＳ２に含まれるイントラ予測モードは、Ｓ２を第１のレベル、第２のレベル及び第３のレベルに分割することと、
Ｌ、Ｍ及びＮが１よりも大きい整数であるとして、Ｓ２の前記第１のレベルで２Ｌ個のイントラ予測モードを含め、Ｓ２の前記第２のレベルで２Ｍ個のイントラ予測モードを含め、Ｓ２の前記第３のレベルで２Ｎ個の予測モードを含めることと、
Ｓ１には、Ｓ２の前記第１のレベル及び前記第２のレベルでの角度イントラ予測モードを含めることと
によって決定される、
請求項１４乃至１７のうちいずれか一項に記載の方法。
【請求項20】
Ｓ１に含まれるイントラ予測モードは、前記隣接ブロックのイントラ予測モードの一つが角度イントラ予測モードである場合に、非公称角度の少なくとも１つの角度イントラ予測モードを含めること
によって決定される、
請求項１４乃至１７のうちいずれか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願への相互参照］
本出願は、２０１９年１１月２７日に出願された米国仮特許出願第６２／９４１,３４２号の優先権を主張して２０２０年１０月２３日に出願された米国特許出願第１７／０７９,４１７号の優先権を主張するものであり、上記の各出願の全内容は、本明細書に援用により組み込まれる。
本出願は、２０１９年１１月２７日に出願された米国仮特許出願第６２／９４１,３４２号の優先権を主張して２０２０年１０月２３日に出願された米国特許出願第１７／０７９,４１７号の優先権を主張するものであり、上記の各出願の全内容は、本明細書に援用により組み込まれる。
【0002】
［技術分野］
本出願は、ビデオコーディング技術の分野に関し、さらに、具体的に、マルチ参照ラインイントラ予測を有するビデオコーディングの方法及びシステムに関する。
本出願は、ビデオコーディング技術の分野に関し、さらに、具体的に、マルチ参照ラインイントラ予測を有するビデオコーディングの方法及びシステムに関する。
【背景技術】
【0003】
ＡＯＭｅｄｉａ Ｖｉｄｅｏ １（ＡＶ１）は、インターネットを介したビデオ伝送用に設計されたオープンビデオコーディングフォーマットである。これは、半導体企業、ビデオオンデマンドプロバイダー、ビデオコンテンツプロデューサー、ソフトウェア開発会社、及びＷｅｂブラウザーベンダーを含む２０１５年に設立されたコンソーシアムであるオープンメディア連合（Ａｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ、ＡＯＭｅｄｉａ）によってＶＰ９の後継として開発された。ＶＰ９のコードベースに基づいて構築されたＡＶ１には、追加の技術が組み込まれており、その追加の技術の幾つかはこれらの実験的な形式で開発された。ＡＶ１リファレンスコーデックの最初のバージョン０.１.０は、２０１６年４月７日にリリースされた。連合は、２０１８年３月２８日にＡＶ１ビットストリーム仕様とともに、リファレンスであるソフトウェアベースのエンコーダ及びデコーダをリリースした。２０１８年６月２５日に、当該仕様の検証バージョン１.０.０がリリースされた。２０１９年１月８日に、当該仕様のエラッタ１を含む検証バージョン１.０.０がリリースされた。ＡＶ１ビットストリーム仕様には、リファレンスビデオコーデックが含まれている。
【0004】
ＩＴＵ-Ｔ ＶＣＥＧ（Ｑ６／１６）及びＩＳＯ／ＩＥＣ ＭＰＥＧ（ＪＴＣ １／ＳＣ ２９／ＷＧ １１）は、２０１３年（バージョン１）、２０１４年（バージョン２）、２０１５年（バージョン３）、及び２０１６年（バージョン４）にＨ.２６５／ＨＥＶＣ（高効率ビデオコーディング）（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＨＥＶＣ））標準をリリースした。２０１５年に、これらの２つの標準化団体は、ＨＥＶＣを超えた次のビデオコーディング標準の開発の可能性を探るために、共同でＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ）を結成した。２０１７年１０月に、それらは、ＨＥＶＣを超えた能力を持つビデオ圧縮に関する共同提案募集（Ｃａｐａｂｉｌｉｔｙ ｂｅｙｏｎｄ ＨＥＶＣ、ＣｆＰ）をリリースした。２０１８年２月１５日までに、全部で、標準ダイナミックレンジ（ｓｔａｎｄａｒｄ ｄｙｎａｍｉｃ ｒａｎｇｅ、ＳＤＲ）に関する２２件のＣｆＰ回答、ハイダイナミックレンジ（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ、ＨＤＲ）に関する１２件のＣｆＰ回答、及び３６０個のビデオカテゴリに関する１２件のＣｆＰ回答が、それぞれ提出された。２０１８年４月１日に、受け取られたすべてのＣｆＰ回答は、第１２２回ＭＰＥＧ／第１０回ＪＶＥＴ会議で評価された。この会議の結果、ＪＶＥＴはＨＥＶＣを超えた次世代のビデオコーディングの標準化プロセスを正式に開始した。新しい標準は多用途ビデオコーディング（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）と名付けられ、ＪＶＥＴは共同ビデオ専門家チームと改名された。
【0005】
ＡＶ１標準に基づくビデオコーディングスキームでは、利用可能なイントラ予測モードの数は６２であり、これは、５６個の角度（又は方向）イントラ予測モード、５つの平滑化モード、及び１つの、輝度予測に基づく彩度決定モード（ｃｈｒｏｍａ ｆｒｏｍ ｌｕｍａ ｍｏｄｅ）を含む。本開示の説明では、角度（又は指向）イントラ予測モードは、角度（又は指向）モードとも呼ばれる。イントラ予測で複数の参照ラインが適用され、複数の参照ラインのためにすべてのイントラ予測モードが含まれる場合に、ビデオコーディングの複雑さはかなり大きくなる。複数の参照ラインには、インデックス番号がゼロに等しいゼロ参照ラインと、インデックス番号がゼロよりも大きい１つ又は複数の非ゼロ参照ラインとが含まれる。非ゼロ参照ラインごとに許可されるイントラ予測モードの数を制限することが望ましい。ＶＶＣ標準に基づくビデオコーディングスキームでは、イントラ予測モードは、許可されたイントラ予測モード（ａｌｌｏｗｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ、ＡＩＰＭ）セットに最確モード（ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅｓ、ＭＰＭ）を含むように決定される。ただし、ＡＶ１は同様の最確モード（ＭＰＭ）を定義しておらず、ＶＶＣ標準に基づくビデオコーディングスキームのマルチ参照ラインイントラ予測をＡＶ１標準に基づくビデオコーディングスキームに直接適用することはできない。
【0006】
開示された方法及びシステムは、上記の１つ又は複数の問題及び他の問題を解決することを目的としている。
【発明の概要】
【0007】
本開示の一態様はビデオデコーディング方法を含む。この方法は、ビデオ信号の複数のコーディングフレームを含むビットストリームを取得するステップと、複数のコーディングフレームのそれぞれを複数のコーディングツリーユニット（ＣＴＵ）にデコーディングし、複数のＣＴＵのそれぞれを複数の残差ブロックにデコーディングするステップと、各コーディングフレームに含まれるマルチ参照ラインイントラ予測（ＭＲＬＰ）フラグ及び参照サンプルに基づいて、複数の残差ブロックのそれぞれに対してコーディングブロックを復元するステップであり、コーディング効率及び圧縮性能に基づいて、イントラ予測用に選択された複数の参照ラインのそれぞれに対して、許可されたイントラ予測モードセット（ＡＩＰＭ）とも呼ばれる全ての利用可能なイントラ予測モードのサブセットを決定し、複数の参照ラインのそれぞれは、ゼロ以上の整数であるインデックス番号で識別される、ステップと、複数の残差ブロックのそれぞれに対して復元されたコーディングブロックを、フレームバッファに記憶することで、ビデオ信号の各フレームを再構成するステップと、再構成されたフレームを連続的に出力してビデオ信号を復元するステップとを含む。
【0008】
本開示の他の態様はビデオエンコーディング方法を含む。この方法は、ビデオ入力の現在のフレームを取得するステップと、取得された現在のフレームを複数のブロックに分割するステップと、マルチ参照ラインイントラ予測を組み込むことにより、分割されたブロックごとにシンボルレベルを予測するステップであり、隣接ブロックの複数の参照ラインに基づいてイントラ予測モードを導出し、コーディング効率及び圧縮性能に基づいて、複数の参照ラインのそれぞれに対して、許可されたイントラ予測モードセット（ＡＩＰＭ）とも呼ばれる全ての利用可能なイントラ予測モードのサブセットを決定し、複数の参照ラインのそれぞれが、ゼロ以上の整数であるインデックス番号で識別される、ステップと、現在のシンボルレベルから予測されたシンボルレベルを差し引くことで導出された残差シンボルレベルを変換及び量子化するステップと、変換及び量子化された残差シンボルレベルをエントロピーコーディングするステップと、エントロピーコーディングされた残差シンボルレベルを含むビットストリームを生成するステップとを含む。
【0009】
当業者は、本開示の明細書、特許請求の範囲及び図面に従って本開示の他の態様を理解することができる。
【図面の簡単な説明】
【0010】
【図1】本開示の幾つかの実施形態を組み込んだ動作環境を示す。
【図2】本開示の実施形態と一致する電子機器を示す。
【図3】本開示の実施形態と一致するコンピュータシステムを示す。
【図4】本開示の実施形態と一致するビデオエンコーダを示す。
【図5】本開示の実施形態と一致する例示的なビデオコーディング方法を示す。
【図6】ＡＶ１標準に基づくビデオコーディングスキームにおけるイントラ予測モードの８つの公称角度を示す。
【図7】本開示の実施形態と一致するＰＡＥＴＨモードの上方、左側及び左上の位置を示す。
【図8】本開示の実施形態と一致する再帰的イントラフィルタリングモードの例を示す。
【図9】本開示の実施形態と一致する４つの参照ラインの例を示す。
【図10】本開示の実施形態と一致するＳ１に含まれるイントラ予測モードを決定するフローチャートを示す。
【図11】本開示の実施形態と一致する例示的なビデオデコーディング方法を示す。
【発明を実施するための形態】
【0011】
以下、図面を参照しながら本発明の実施形態における技術的解決策について説明する。可能な限り、全ての図面において同じ符号を使用して同じ又は類似する部分を示す。明らかに、説明された実施形態は、本発明の実施形態の全てではなく、一部である。本発明における実施形態に基づいて、当業者が創造的な労力をしない前提で得られる他の実施形態は、本開示の保護する範囲に属する。本開示で使用される特定の用語は、以下において最初に説明される。
【0012】
多用途ビデオコーディング（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）：ＶＶＣは、ジョイントビデオエクスプロレーションチーム（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ、ＪＶＥＴ）によって開発されてＨＥＶＣ（ＩＴＵ-Ｔ Ｈ.２６５とも呼ばれる）を引き継ぐビデオデコーディング標準である。ＶＶＣは、そのような標準の従来の世代の圧縮能力を著しく超えた圧縮能力を有するビデオコーディング技術を規定し、拡大された応用範囲での効果的な使用のために非常に多用途である。ＶＶＣ標準は参照により本明細書に組み込まれる。
【0013】
ＡＯＭｅｄｉａ Ｖｉｄｅｏ １（ＡＯＭｅｄｉａ Ｖｉｄｅｏ １、ＡＶ１）：ＡＶ１は、ＡＯＭｅｄｉａ（Ａｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ）によって開発された、インターネットを介したビデオ伝送のためのオープンソースビデオコーディング標準である。ＡＶ１標準は参照により本明細書に組み込まれる。
【0014】
許可されたイントラ予測モード（Ａｌｌｏｗｅｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ Ｍｏｄｅ、ＡＩＰＭ）：隣接ブロックのイントラ予測モードから導出された現在のブロックのイントラ予測に使用することができるモードを有する１つのモードセットとして定義される。
【0015】
許可されないイントラ予測モード（Ｄｉｓａｌｌｏｗｅｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ Ｍｏｄｅ、ＤＩＰＭ）：信号で示すこと、又は現在のブロックのイントラ予測に使用し、隣接ブロックのイントラ予測モードから導出することができないモードを有する１つのモードセットとして定義される。
【0016】
コンテキストベース適応２値算術コーディング（Ｃｏｎｔｅｘｔ-ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ、ＣＡＢＡＣ）：ＣＡＢＡＣは、さまざまなビデオコーディング標準で使用されるエントロピーコーディングの形式の一つである。
【0017】
多用途ビデオコーディングテストモデル（Ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ Ｔｅｓｔ Ｍｏｄｅｌ、ＶＴＭ）：ＶＴＭは、テストプロセス及びＶＶＣアルゴリズムのエンコーダ側の説明を提供する。
【0018】
ＢＤ-Ｒａｔｅ（Ｂｊｏｎｔｅｇａａｒｄ Ｄｅｌｔａ Ｒａｔｅ、ＢＤＲ又はＢＤレート）：ＢＤＲは、ビデオ信号の同じピーク信号対雑音比（ｐｅａｋ ｓｉｇｎａｌ-ｔｏ-ｎｏｉｓｅ ｒａｔｉｏ、ＰＳＮＲ）のビットレートの変化を測定することにより、コーディング効率を評価する方法である。
【0019】
図１は、本開示の幾つかの実施形態を組み込んだ動作環境１００を示している。図１に示すように、動作環境１００はビデオ機能を持つ様々な装置を含み得る。例えば、動作環境１００は、端末デバイス１０２、カメラデバイス１０４、及びモノのインターネット（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ、ＩｏＴ）デバイス１０６を含み得る。他のタイプのデバイスも含んでもよい。
【0020】
動作環境１００は、サーバ１２２、ヒューマンビジョンアプリケーション１２４、マシンビジョンアプリケーション１２６、及び様々なデバイスをサーバ１２２に接続する通信リンク１４０をさらに含み得る。ユーザ１３０は、さまざまなデバイスの１つ又は複数を使用、アクセス、又は制御することができる。
【0021】
端末デバイス１０２は、パーソナルデジタルアシスタント（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ、ＰＤＡ）、携帯電話、スマートフォン、統合メッセージングデバイス（ｉｎｔｅｇｒａｔｅｄ ｍｅｓｓａｇｉｎｇ ｄｅｖｉｃｅ、ＩＭＤ）、タブレットコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、及び他のコンピューティングデバイスなどの任意のユーザ端末を含むことができる。カメラデバイス１０４は、デジタルカメラ、ビデオカメラ、セキュリティカメラ、車載カメラ、及びステレオカメラなどのような任意の画像又はビデオキャプチャデバイスを含むことができる。ＩｏＴデバイス１０６は、デジタルドアベル、自律駆動センサー、デジタル音声アシスタント、スマートスピーカー、スマートアプライアンス、及び産業用又は商用のＩｏＴシステムなどのカメラ機能を備える任意のタイプのＩｏＴデバイスを含むことができる。様々な装置１０２、１０４、及び１０６のいずれも、移動している個人によって携帯される際に、移動又は静止可能であり得、また、自動車、トラック、タクシー、バス、電車、船、飛行機、自転車、オートバイを含む乗り物、又は同様の適切な乗り物の一部とするか、前記乗り物内に位置することができる。
【0022】
図２に、様々な装置１０２、１０４、及び／又は１０６のいずれかを実現するための電子機器を示している。図２に示すように、電子機器２００は、ハードウェアプロセッサー２０２、メモリ２０４、カードリーダ２０６、ディスプレイ２０８、キーボード２１０、無線周波数（ｒａｄｉｏ-ｆｒｅｑｕｅｎｃｙ、ＲＦ）インターフェース２１２、ベースバンド２１４、アンテナ２１６、エンコーダ２２２、デコーダ２２４、カメラ２２６、スピーカ２３２及びマイク２３４などを含み得、図２に示す構成要素は例示であり、幾つかの構成要素は省略されてもよく、そして他の構成要素が追加されてもよい。
【0023】
プロセッサ２０２は、電子機器２００を制御するために提供され得る。プロセッサ２０２は、他の構成要素との間でデータを送受信するために、１つ又は複数のバス又は他の電気接続を介して他の構成要素に接続され得る。プロセッサ２０２は、１つ又は複数の処理コア、例えば、４コアプロセッサ又は８コアプロセッサを含み得る。プロセッサ２０２は、デジタル信号処理（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ、ＤＳＰ）、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ-ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）、及びプログラマブルロジックアレイ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ａｒｒａｙ、ＰＬＡ）のうちの少なくとも１つのハードウェア形式を使用して実現され得る。プロセッサ２０２は、また、メインプロセッサ及びコプロセッサを含み得る。メインプロセッサは中央処理ユニット（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）であり得、コプロセッサは、表示画面が表示する必要のあるコンテンツのレンダリング及び描画を担当するように配置されたグラフィックス処理ユニット（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＧＰＵ）であり得る。いくつかの実施形態では、プロセッサ２０２は、人工知能（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）プロセッサをさらに含み得る。ＡＩプロセッサは、機械学習に関連するコンピューティング操作を処理するように配置されている。
【0024】
メモリ２０４は、高速ランダムアクセスメモリ及び不揮発性メモリ、例えば、１つ又は複数のディスク記憶デバイス又はフラッシュ記憶デバイスなどの、１つ又は複数のコンピュータ可読記憶媒体を含むことができる。メモリ２０４は、画像データ及び音声データの形式でデータを格納することができ、プロセッサ２０２の命令も格納することができる。カードリーダ２０６は、スマートカードインターフェース、通信カードインターフェース（例えば、近距離通信（ＮＦＣ）カード）、又はユーザ情報を提供しユーザ１３０の認証及び許可のための認証情報を提供するのに適する加入者識別子モジュール（ｓｕｂｓｃｒｉｂｅｒ ｉｄｅｎｔｉｆｉｅｒ ｍｏｄｕｌｅ、ＳＩＭ）カードインターフェース又は他のカードインターフェースなどの任意のタイプのポータブルカードインターフェースを含むことができる。
【0025】
また、ディスプレイ２０８は、画像又はビデオを表示するのに適する任意の適切なディスプレイ技術であり得る。例えば、ディスプレイ２０８は、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＬＣＤ）スクリーン、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ-ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＯＬＥＤ）スクリーンなどを含み得、タッチスクリーンであり得る。キーボード２１０は、ユーザ１３０による情報を入力するための物理又は仮想キーボードを含み得、また、他のタイプの入力／出力デバイスを含み得る。スピーカ２３２及びマイクロフォン２３４は、電子機器２００の音声を入出力するために使用され得る。
【0026】
ＲＦインターフェース２１２（アンテナ２１６と共に）は、ＲＦ信号を送受信するためのＲＦ回路を含み得る。ＲＦインターフェース２１２は、電気信号を送信用の電磁信号に変換するか、又は受信した電磁信号を受信用の電気信号に変換することができる。ＲＦインターフェース２１２は、少なくとも１つの無線通信プロトコルにより他の電子機器と通信することができる。無線通信プロトコルは、メトロポリタンエリアネットワーク、様々な世代の移動通信ネットワーク（２Ｇ、３Ｇ、４Ｇ、及び５Ｇ）、無線ローカルエリアネットワーク（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ、ＬＡＮ）、及び／又はｗｉｆｉ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ）ネットワークを含み得る。いくつかの実施形態では、ＲＦインターフェース２１２は、また、近距離無線通信（ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ、ＮＦＣ）に関連する回路を含み得る。ベースバンド２１４は、ＲＦインターフェース２１２との間の信号を処理するための回路を含み得る。
【0027】
また、カメラ２２６は、画像又はビデオを収集するように配置された任意のタイプのイメージング又はビデオキャプチャデバイスを含むことができる。電子機器２００がユーザ１３０によって携帯される携帯デバイスである場合、カメラ２２６は、前面カメラ及び背面カメラを含み得る。当該前面カメラは、当該電子機器のフロントパネルに配置することができ、背面カメラは、電子機器の背面に配置することができる。いくつかの実施形態では、少なくとも２つの背面カメラが存在し、各背面カメラは、メインカメラ、被写界深度カメラ、広角カメラ、及び望遠カメラのいずれかであり、メインカメラと被写界深度カメラとを融合させることで背景ぼけ機能を実現し、メインカメラと広角カメラとを融合させることでパノラマ撮影及びバーチャルリアリティ（ＶＲ）撮影機能、又は他の融合撮影機能を実現する。いくつかの実施形態では、カメラ２２６は、フラッシュをさらに含み得る。
【0028】
エンコーダ２２２及びデコーダ２２４は、電子機器のコーデック回路と呼ばれ得、オーディオ及び／又はビデオデータのコーディング及びデコーディングを実行するのに適するか、又はプロセッサ２０２によって実行されるコーディング及びデコーディングを支援するのに適する。
【0029】
図２に示す電子機器２００は、無線通信システムの移動端末又はユーザ機器の構造と同様な構造を含み得る。しかしながら、エンコーディング及びデコーディング、あるいはビデオ又は画像のエンコーディング又はデコーディングを必要とし得る任意の電子機器又は装置を含み得る。
【0030】
図１に戻って、電子機器２００（すなわち、様々なデバイス１０２、１０４、及び／又は１０６のうちのいずれか１つ又は複数）は、様々なデータ（例えば、オーディオデータ、環境／動作データ、画像データ、及び／又はビデオデータ）をキャプチャ又は収集し、通信リンク１４０を介してデータをサーバ１２２に送信することができる。電子機器２００は、データをサーバ１２２に送信する前にデータを処理又は前処理するか、又は未処理のデータをサーバ１２２に送信することができる。
【0031】
通信リンク１４０は、任意の適切なタイプの通信ネットワークを含み得、無線携帯電話ネットワーク、無線ローカルエリアネットワーク（ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ、ＷＬＡＮ）、ブルートゥースパーソナルエリアネットワーク、イーサネットローカルエリアネットワーク、トークンリングローカルエリアネットワーク、ワイドエリアネットワーク、及びインターネットを含むがこれらに限定されない有線又は無線ネットワークの任意の組み合わせを含み得る。通信リンク１４０は、また、音声／データ通信のためのプライベート又はパブリッククラウドコンピューティングプラットフォームを含み得る。インターネット又は他のタイプのネットワークを含む場合に、インターネットへの接続には、長距離無線接続、短距離無線接続、及びさまざまな有線接続（電話回線、ケーブル回線、電力線、及び同様の通信経路を含む）が含まれる場合がある。
【0032】
サーバ１２２は、サーバクラスタ内に配置された、又は異なる場所に分散された任意のタイプのサーバーコンピュータシステム又は複数のコンピュータシステムを含むことができる。サーバ１２２は、また、クラウドコンピューティングプラットフォーム上のクラウドサーバーを含み得る。図３は、サーバ１２２の幾つかの態様を実現する例示的なコンピュータシステムを示している。
【0033】
図３に示すように、コンピュータシステム３００は、プロセッサ３０２、記憶媒体３０４、モニタ３０６、通信モジュール３０８、データベース３１０及び周辺機器３１２を含むことができる。特定のデバイスは省略されてもよく、他のデバイスが含まれてもよい。
【0034】
プロセッサ３０２は、任意の適切な１つ又は複数のプロセッサを含み得る。さらに、プロセッサ３０２は、マルチスレッド又は並列処理のための複数のコアを含むことができる。記憶媒体３０４は、読み取り専用メモリ（Ｒｅａｄ-ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、フラッシュメモリモジュール、消去可能及び書き換え可能メモリ、ならびに大容量記憶装置（例えば、ＣＤ－ＲＯＭ、Ｕディスク、及びハードディスク）などのメモリモジュールを含み得、記憶媒体３０４は、プロセッサ３０２によって実行される際に、様々な処理を実現するためのコンピュータプログラムを記憶することができる。
【0035】
また、周辺機器３１２は、キーボードや、マウスのようなＩ／Ｏデバイスを含み得る。通信モジュール３０８は、通信ネットワークを介して接続を確立するためのネットワークデバイスを含み得る。データベース３１０は、特定のデータを格納するため、及び格納されたデータに対して特定の操作（例えば、データベース検索）を実行するための１つ又は複数のデータベースを含むことができる。
【0036】
図２に戻って、エンコーダ２２２は、イントラモードコーディングの方法を実現するエンコーダであってもよい。この場合、電子機器２００がまた、イントラモードコーディングの方法を実現すると見なされ得る。すなわち、エンコーダ１２２は、電子機器２００内のハードウェア回路として実現され得るか、又は電子機器２００によってソフトウェアプログラムとして実現され得るか、又はハードウェア回路とソフトウェアプログラムとの組み合わせとして実現され得る。図４は、本開示の開示された実施形態と一致する例示的なビデオエンコーダを示している。
【0037】
図４に示すように、ビデオエンコーダ４００は、ブロック分割ユニット４１０、減算ユニット４２０、予測ユニット４３０、変換／量子化ユニット４４０、逆量子化／逆変換ユニット４５０、加算ユニット４６０、インループフィルタ４７０及びエントロピーエンコーダ４８０を含む。入力ビデオをエンコーダ４００に入力し、応答として、エンコーダ４００はビットストリームを出力する。
【0038】
入力ビデオは、複数のピクチャフレームを含む。各ピクチャフレームは、ブロック分割ユニット４１０によって一連のコーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）に分割される。３つのサンプルアレイを有するピクチャフレームについて、ＣＴＵは、輝度サンプルのＮｘＮブロックと、彩度サンプルの対応する２つのＮｘＮブロックとを含む。ブロック分割ユニット４１０は、また、様々な局所特性に適応するために、コーディングツリーとして示される四分木構造を使用することによって、ＣＴＵをコーディングユニット（ＣＵ）にさらに分割する。ピクチャ間（時間的）又はピクチャ内（空間的）予測を使用してピクチャ領域をコーディングする決定は、リーフＣＵレベルで行われる。各リーフＣＵは、ＰＵ分割タイプに応じて、さらに、１つ、２つ、又は４つの予測ユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）に分割され得る。１つのＰＵ内で、同じ予測プロセスが適用され、関連情報をＰＵベースのビデオデコーダーに送信する。ＰＵ分割タイプに基づく予測プロセスを適用して残差ブロックを取得した後、リーフＣＵは、ＣＵのコーディングツリーと同様の別の四分木構造に従って変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ、ＴＵ）に分割できる。
【0039】
予測ユニット４３０は、イントラ予測、インター予測、及びインター予測とイントラ予測との組み合わせをサポートする。イントラ予測は、イントラモードコーディングとも呼ばれる。自然なビデオで提示される任意のエッジ方向をキャプチャするために、予測ユニット４３０は、平面（表面フィッティング）イントラ予測モード及びＤＣ（フラット）イントラ予測モードに加えて、６５個の方向（又は角度）イントラ予測モードをサポートする。予測ユニット４３０は、さらに、動きベクトル、参照ピクチャインデックス及び参照ピクチャリスト使用インデックス、ならびにビデオコーディング特徴に必要な追加情報を含む動きパラメータに基づくインター予測サンプル生成をサポートする。予測ユニット４３０は、さらに、変換スキップモードをサポートし、変換スキップモード又は変換スキップでコーディングされたＣＵは、１つのＰＵに関連付けられ、有意な残差係数、コーディングされた動きベクトルデルタ又は参照ピクチャインデックスを持たない。予測ユニット４３０は、さらに、マージモードをサポートし、現在のＣＵに使用される動きパラメータは、隣接するＣＵ（空間的及び時間的候補を含む）、ならびに追加のスケジュールに応じて取得される。マージモードは、変換スキップモードだけでなく、任意のインター予測ＣＵに適用可能である。予測ユニット４３０は、また、動きパラメータを明示的に送信することでマージモードの代替をサポートし、ＣＵごとに、動きベクトル、各参照ピクチャリストに使用される対応する参照ピクチャインデックス及び参照ピクチャリスト使用フラグ、並びに他の必要な情報が、明示的に信号により送られる。
【0040】
減算ユニット４２０は、ＣＵとＰＵとの間の差（又は残差）を変換／量子化ユニット４４０に出力する。
【0041】
変換／量子化ユニット４４０は、最大６４×６４サイズの大きなブロックサイズの変換をサポートする。サイズが６４に等しい変換ブロックについて、高周波数変換係数はゼロにされ、低周波数係数のみが保持される。変換スキップモードで大きなブロックを変換する場合、変換／量子化ユニット４４０は、値をゼロにすることなく、ブロック全体を使用する。変換／量子化ユニット４４０は、また、コア変換のための複数の変換選択（ｍｕｌｔｉｐｌｅ ｔｒａｎｓｆｏｒｍ ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）をサポートする。ＭＴＳを制御するために、変換／量子化ユニット４４０は、それぞれ、シーケンスパラメータセット（ＳＰＳ）レベルでの別個の有効化フラグを、イントラ及びインター予測に使用する。ＭＴＳがＳＰＳレベルで有効になっている場合、ＣＵレベルフラグを信号により送ってＭＴＳを適用するかどうかを指示する。変換／量子化ユニット４４０は、また、低周波分離不可能変換（Ｌｏｗ－Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｍｒ、ＬＦＮＳＴ）及びサブブロック変換（Ｓｕｂ－Ｂｌｏｃｋ Ｔｒａｎｓｆｏｒｍ、ＳＢＴ）などの、ＶＶＣ及びＡＶＩドラフト標準に記載されている他の変換特徴がサポートされてもよい。
【0042】
また、変換／量子化ユニット４４０は、最大６３個の量子化パラメータ（ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ、ＱＰ）をサポートする。変換／量子化ユニット４４０は、また、ＳＰＳで輝度から彩度へのマッピング関係を信号により送ることによって、柔軟な、輝度から彩度へのＱＰマッピングをサポートする。変換／量子化ユニット４４０は、また、輝度成分及び彩度成分のデルタＱＰ値をそれぞれ信号により送ることができるＣＵレベルＱＰ適応をサポートする。変換／量子化ユニット４４０は、また、依存量子化のようなＶＶＣ及びＡＶＩ標準で説明されている他の量子化特徴をサポートする。
【0043】
変換／量子化ユニット４４０は、また、ＴＵレベルフラグで指示される彩度残差の共同コーディングをサポートする。
【0044】
コンテキストベース適応２値算術コーディング（Ｃｏｎｔｅｘｔ-ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ，ＣＡＢＡＣ）は、エントロピーコーディングアルゴリズムとして説明できる。エントロピーエンコーダ４８０は、変換／量子化ユニット４４０によって出力された構文要素をコーディングするためのＣＡＢＡＣコーディングエンジンを含む。ＣＡＢＡＣコーディングエンジンは、Ｇｏｌｏｍｂ-Ｒｉｃｅコーディングアルゴリズムのような算術コーディングアルゴリズムをサポートする。エントロピーエンコーダ４８０は、変換ブロック及び変換スキップブロックのための別個の残差コーディング構造をサポートする。エントロピーエンコーダ４８０は、重複しない係数グループ（ＣＧ又はサブブロック）を使用することによってコーディングブロックの変換係数をコーディングし、各ＣＧは、可変サイズのコーディングブロックの変換係数を含む。係数グループのサイズは、チャネルタイプに関係なく、変換ブロックサイズのみに基づいて選択される。ＣＧのサイズには、１ｘ１６、２ｘ８、８ｘ２、２ｘ４、４ｘ２、及び１６ｘ１を含んでもよい。各コーディングブロック内のＣＧと各ＣＧ内の変換係数は、事前定義されたスキャン順序に従ってコーディングされる。
【0045】
変換ユニット内の各コーディングブロックは複数のサブブロックに分割され、各サブブロックは複数のピクセルに分割される。複数のサブブロックは、４ｘ４又は２ｘ２サブブロックを含む。
【0046】
算術コーディングアルゴリズムでは、構文要素ごとに、構文要素の絶対レベル又局所近傍の構文要素の部分的に再構成された絶対レベルに応じて、確率モデルを動的に選択する。
【0047】
逆量子化／逆変換ユニット４５０は、変換／量子化ユニット４４０によって実行される量子化処理及び変換処理を逆にし、出力を加算ユニット４６０に供給して、ピクチャフレームを再構成する。加算ユニット４６０は、また、予測ユニット４３０の出力をもう１つの入力としてとる。再構成された画像は、インループフィルタ４７０によってフィルタリングされる。インループフィルタ４７０は、デブロッキングフィルタ、サンプル適応オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ、ＳＡＯ）フィルタ、及び適応ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ、ＡＬＦ）を含み、これらはこの順序でカスケードされる。インループフィルタ４７０の出力は、予測ユニット４３０に入力される。
【0048】
本開示は、ビデオコーディング方法を提供する。図５は、本開示の実施形態と一致する例示的なビデオコーディング方法のフローチャートを示している。図５に示すように、ビデオコーディング方法は、ビデオ入力の現在のフレームを取得することを含む（Ｓ５１０）。現在のフレームを取得した後に、パーティションツリー構造に従って現在のビデオフレームを複数のブロックに分割することができる。
【0049】
Ｓ５２０において、取得された現在のフレームを複数のブロックに分割する。現在のビデオフレームは、さまざまな正方形及び長方形のパーティションに分割できる。正方形のパーティションは、さらに小さなパーティションに分割することができる。ただし、長方形のパーティションをさらに分割することはできない。
【0050】
Ｓ５３０において、現在のフレームを複数のブロックに分割した後に、マルチ参照ラインイントラ予測を組み込むことで、分割されたブロックごとにシンボルレベルを予測する。ブロックごとに、隣接ブロックの複数の参照ラインに基づいてイントラ予測モードを導出する。複数の参照ラインのそれぞれに対して、ＡＶ１標準に基づくビデオコーディングスキームで定義されたすべての利用可能なイントラ予測モードのサブセットを決定する。すべての利用可能なイントラ予測モードのサブセットは、許可されたイントラ予測モード（ａｌｌｏｗｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ、ＡＩＰＭ）セットとも呼ばれる。複数の参照ラインのそれぞれは、インデックス番号で識別される。インデックス番号はゼロ以上の整数である。
【0051】
ＡＶ１標準に基づくビデオコーディングスキームでは、利用可能なイントラ予測モードの数は６２であり、５６個の角度イントラ予測モード、５つの平滑化モード、及び１つの、輝度予測に基づく彩度決定モードを含む。複数の参照ラインがイントラ予測で適用され、複数の参照ラインのためにすべてのイントラ予測モードが含まれる場合に、ビデオコーディングの複雑さはかなり大きくなる。複数の参照ラインには、インデックス番号がゼロに等しいゼロ参照ラインと、インデックス番号がゼロよりも大きい１つ又は複数の非ゼロ参照ラインとが含まれる。ビデオコーディングの複雑さを軽減するために、参照ラインごとに許可されるイントラ予測モードの数を制限する必要がある。
【0052】
複数の参照ラインのイントラ予測には、特定の制限が適用され得る。狭いブロックについて、複数の参照ラインのイントラ予測を無効にすることができる。狭いブロックは、幅Ｗ、高さＨを有し、ａｂｓ（ｌｏｇ２Ｗ－ｌｏｇ２Ｈ）＞１である。小さなブロックについて、複数の参照ラインのイントラ予測を無効にすることができる。小さなブロックのサイズは８ｘ８以下である。複数の参照ラインのイントラ予測は、コーディングツリーユニット（ＣＴＵ）内のブロックの第１行のラインを無効にして、現在のＣＴＵラインの外側の拡張参照サンプルを使用することを防止する。その他の制限も適用される場合がある。
【0053】
本開示は、コーディング効率及び圧縮性能を改善するために、マルチ参照ラインイントラ予測を有するビデオコーディングの方法を提供する。コーディング効率と圧縮性能に基づいて複数の参照ラインのそれぞれに対して決定された対応するイントラ予測モードは、ＡＶ１標準に基づくビデオコーディングスキームで定義されたすべての利用可能なイントラ予測モードのサブセットである。当該サブセットはＡＩＰＭセットとも呼ばれる。ＡＩＰＭセットに含まれるイントラ予測モードは、図４に示されるビデオエンコーダ４００のようなビデオコーディングデバイスによって信号により伝えられる。ＡＩＰＭセットに含まれるイントラ予測モードの数は、対応するビデオコーディングスキームで定義された利用可能なすべてのイントラ予測モードの数よりも少ないため、ＡＩＰＭセットに含まれるイントラ予測モードを示すために必要なビットは少なくなる。また、イントラ予測モードに加えて、インター予測モードでブロックごとにシンボルレベル（ｓｙｍｂｏｌ ｌｅｖｅｌ）を予測し得る。
【0054】
シンボルレベルを予測した後に、残差シンボルレベルを変換及び量子化する。残差シンボルレベルは、現在のシンボルレベルと予測されたシンボルレベルとの差である。
【0055】
ＡＶ１標準に基づくビデオコーディングスキームでのイントラ予測モードには、５６個の角度（又は方向）イントラ予測モード、５つの非角度の平滑化イントラ予測モード、１つの彩度のみのイントラ予測モード、及びその他のいくつかのイントラ予測モードを含む。８つの方向（又は角度）モードは、４５～２０７度の角度に対応する。方向テクスチャにより多くの種類の空間冗長性を活用するために、方向イントラ予測モードは、より細かい粒度を持つ角度セットに拡張される。８つの方向モードの角度をわずかに変更して公称角度とし、これらの８つの公称角度は公称イントラ角度とも呼ばれ、Ｖ_ＰＲＥＤ、Ｈ_ＰＲＥＤ、Ｄ４５_ＰＲＥＤ、Ｄ１３５_ＰＲＥＤ、Ｄ１１３_ＰＲＥＤ、Ｄ１５７_ＰＲＥＤ、Ｄ２０３_ＰＲＥＤ及びＤ６７_ＰＲＥＤと名付けられ、９０°、１８０°、４５°、１３５°、１１３°、１５７°、２０３°、及び６７°に対応し、図６に示されるようである。各公称角度は７つのより細かい角度に拡張される。合計５６個の方向角（イントラ角度又は予測角度とも呼ばれる）が定義されている。各予測角度は、公称イントラ角度と角度デルタで表される。当該角度デルタは、-３～３で、３度のステップサイズを乗算する。一般的な方法で方向イントラ予測モードを実現するために、５６個の方向イントラ予測モードはすべて、各ピクセルを参照サブピクセル位置に投影し、２タップバイリニアフィルタによって参照ピクセルを補間する統合された方向予測子を使用して実現される。
【0056】
イントラ予測モードには、ＤＣモード、ＰＡＥＴＨモード、ＳＭＯＯＴＨモード、ＳＭＯＯＴＨ_Ｖモード、及びＳＭＯＯＴＨ_Ｈモードの５つの非方向の平滑化イントラ予測モードをさらに含む。ＤＣモードの場合、左側及び上方の隣接サンプルの平均が、予測されようとするブロックの予測子として使用される。ＰＡＥＴＨモードの場合、最初に上、左、左上の参照サンプルを取得し、次に（上＋左－左上）に最も近い値が、予測されようとするピクセルの予測子として設定される。図７は、現在のブロック内の１つのピクセルの上方、左、及び左上のサンプルの位置を示している。ＳＭＯＯＴＨモード、ＳＭＯＯＴＨ_Ｖモード、及びＳＭＯＯＴＨ_Ｈモードの場合、垂直方向又は水平方向における二次補間、又は両方向における平均を使用してブロックを予測する。
【0057】
エッジ上の参照との減衰する空間相関をキャプチャするために、フィルタイントラ（ＦＩＬＴＥＲ ＩＮＴＲＡ）モードは輝度ブロック用に設計される。５つのフィルターイントラモードが定義されている。５つのフィルターイントラモードのそれぞれは、４ｘ２パッチ内のピクセルと７つの隣接するネイバーと間の相関を反映する８つの７タップフィルタのセットによって表される。つまり、７タップフィルタの重み係数は位置に依存する。８ｘ８ブロックを例として、それは、図８に示されるように、８つの４ｘ２パッチに分割される。これらのパッチは、図８のＢ０、Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６、及びＢ７によって示されている。パッチごとに、Ｒ０～Ｒ７で示される７つの隣接するネイバーを使用して、現在のパッチ内のピクセルを予測する。パッチＢ０の場合、隣接するすべてのネイバーはすでに再構成されている。ただし、他のパッチの場合、隣接するすべてのネイバーが再構成されているわけではない。隣接するネイバーの予測値が参照として使用される。たとえば、パッチＢ７のすべての隣接するネイバーが再構成されているわけではないため、代わりに隣接するネイバー（つまり、Ｂ５とＢ６）の予測サンプルを使用する。
【0058】
輝度予測に基づく彩度決定（Ｃｈｒｏｍａ ｆｒｏｍ Ｌｕｍａ、ＣｆＬ）は、彩度ピクセルを、同時再構成された輝度ピクセルの線形関数としてモデリングする彩度のみのイントラ予測子である。ＣｆＬ予測は次のように表される。
ＬＡＣは、輝度成分のＡＣ寄与を示し、αは線形モデルのパラメータを示し、ＤＣは彩度成分のＤＣ寄与を示す。具体的に、再構成された輝度ピクセルを彩度解像度にサブサンプリングし、次に平均値を差し引いて、ＡＣ寄与を形成する。ＡＣ寄与から彩度ＡＣ成分を近似するために、デコーダがスケーリングパラメーターを計算する代わりに、ＣｆＬは元の彩度ピクセルに基づいてパラメータαを決定し、ビットストリームでそれらを信号により送る。この方法は、デコーダの複雑さを軽減し、より正確な予測が可能になる。彩度成分のＤＣ寄与に関しては、イントラＤＣモードを使用して計算され、当該イントラＤＣモードは、ほとんどの彩度コンテンツに十分であり、成熟した高速実現を備える。
【数1】
【0059】
マルチ参照ラインイントラ予測は、複数の参照ラインを使用してイントラ予測を行い、図４に示すビデオエンコーダ４００は、イントラ予測子を生成するためにどの参照ラインを使用するかを決定し信号により送る。イントラ予測モードの前に、参照ラインのインデックス番号を信号で送り、非ゼロ参照ラインのインデックス番号を信号により送る場合に、最確モード（ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅ、ＭＰＭ）又は同等のもののみが許可される。図９に示すように、４つの参照ラインの例を示し、各参照ラインは、６つのセグメント（すなわち、セグメントＡからＦ）、及び左上の参照サンプルを含む。また、それぞれセグメントＢ及びＥからの最も近いサンプルでセグメントＡとＦを埋め込む。
【0060】
図９に示すように、参照ラインのインデックス番号は、参照ラインが現在のブロックから離れるにつれて順次増加する。現在のブロックに隣接する参照ラインはゼロ参照ラインと呼ばれ、ゼロに等しいインデックス番号を有し、このゼロ参照ラインは、図９の参照ライン０である。ゼロ参照ラインに対応するＡＩＰＭセットはＳ２と表される。インデックス番号がゼロよりも大きい参照ラインは非ゼロ参照ラインと呼ばれる。非ゼロ参照ラインに対応するＡＩＰＭセットはＳ１と表される。Ｓ２は、Ｓ１の少なくとも全てのイントラ予測モードを含む。Ｓ１はＳ２のサブセットである。
【0061】
図５に戻って、Ｓ５４０において、現在のシンボルレベルから予測されたシンボルレベルを差し引くことで導出された残差シンボルレベルを変換及び量子化する。大きなブロックサイズの変換は、最大６４ｘ６４のサイズを含む。サイズが６４に等しい変換ブロックについて、高周波数変換係数はゼロにされ、低周波数係数のみが保持される。変換スキップモードで大きなブロックを変換する場合、値をゼロにすることなく、ブロック全体を使用する。さらに、コア変換のための複数の変換選択（ｍｕｌｔｉｐｌｅ ｔｒａｎｓｆｏｒｍ ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）をサポートする。ＭＴＳを制御するために、シーケンスパラメータセット（ＳＰＳ）レベルで、イントラ予測及びインター予測にそれぞれ個別の有効化フラグを使用する。ＭＴＳがＳＰＳレベルで有効になっている場合、ＣＵレベルフラグを信号で送ってＭＴＳが適用されているかどうかを示す。低周波分離不可能変換（ＬＦＮＳＴ）及びサブブロック変換（ＳＢＴ）などの、他の変換特徴がサポートされてもよい。
【0062】
また、変換及び量子化プロセスは、最大６３個の量子化パラメータ（ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ、ＱＰ）をサポートする。ＳＰＳで輝度から彩度へのマッピング関係を信号により送ることで、柔軟な、輝度から彩度へのＱＰマッピングもサポートされる。輝度成分及び彩度成分のデルタＱＰ値を別々に信号により送ることができるＣＵレベルのＱＰ適応もサポートされる。依存量子化のような他の量子化特徴もサポートされ得る。
【0063】
図５に戻って、Ｓ５５０において、変換及び量子化された残差シンボルレベルをエントロピーコーディングする。エントロピーコーディングアルゴリズムは、コンテキストベース適応２値算術コーディング（Ｃｏｎｔｅｘｔ-ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ、ＣＡＢＡＣ）であり得る。ＣＡＢＡＣコーディングエンジンは、変換及び量子化プロセスから出力される構文要素をコーディングするために使用され得る。ＣＡＢＡＣコーディングエンジンは算術コーディングアルゴリズム、例えばＧｏｌｏｍｂ-Ｒｉｃｅコーディングアルゴリズムをサポートする。変換ブロック及び変換スキップブロックについて、それぞれの残差コーディング構造をサポートすることができる。重複しない係数グループ（ＣＧ（ｃｏｅｆｆｉｃｉｅｎｔ ｇｒｏｕｐ）又はサブブロック）を使用してコーディングブロックの変換係数をコーディングすることができ、各ＣＧは、可変サイズのコーディングブロックの変換係数を含む。係数グループのサイズは、チャネルタイプに関係なく、変換ブロックサイズのみに基づいて選択される。ＣＧのサイズには、１ｘ１６、２ｘ８、８ｘ２、２ｘ４、４ｘ２、及び１６ｘ１を含んでもよい。各コーディングブロック内のＣＧ及び各ＣＧ内の変換係数は、事前定義されたスキャン順序に従ってコーディングされる。
【0064】
図５に示すように、Ｓ５６０において、エントロピーコーディングされた残差シンボルレベルを含むビットストリームを生成する。エントロピーコーディングの結果として、エントロピーコーディングされた残差シンボルレベルを含むビットストリームを生成する。ビットストリームは送信及び／又は記憶されてもよい。デコーダは、本開示と一致するビデオコーディング方法に対応するビデオデコーディング方法を実行して、元のビデオを復元することができる。
【0065】
従って、本開示はビデオコーディング方法を提供する。当該方法は、イントラ予測に複数の参照ラインを含め、且つ各参照ラインに対してＡＩＰＭセットを決定することにより、複数の参照ラインのイントラ予測モードの総数が制限されるようにする。複数の参照ラインのイントラ予測モードの総数を減らすことにより、イントラ予測モードのインデックス番号とシグナリングフラグとをコーディングするために必要なビットが少なくなり、それによってビデオコーディングスキームのコーディング効率と圧縮性能を向上させる。
【0066】
本開示と一致するエンコーダ及びデコーダの実施形態は、処理回路（例えば、１つ又は複数のプロセッサ、あるいは１つ又は複数の集積回路）で実現されてもよく、当該処理回路は、非一時的なコンピュータ可読記憶媒体に記憶されたプログラム命令を実行する。
【0067】
図１０は、本開示の実施形態と一致するＳ１に含まれるイントラ予測モードのフローチャートを示している。一実施形態において、図１０に示すように、Ｓ１０１０において、現在のブロックのサイズ及び隣接ブロックのイントラ予測モードにかかわらず、Ｓ１には、公称角度を持つ角度イントラ予測モードが含まれる。現在のブロックのサイズ又は隣接ブロックのイントラ予測モードにかかわらず、Ｓ１には、４５°、６７°、９０°、１１３°、１３５°、１５７°、１８０°及び２０３°の８つの公称角度の角度イントラ予測モードが含まれる。
【0068】
Ｓ１０２０において、現在のブロックのサイズ、及び隣接ブロックのイントラ予測モードにかかわらず、Ｓ１には、ＳＭＯＯＴＨ_Ｖモード又はＳＭＯＯＴＨ_Ｈモードのどちらか一方が含まれる。ＳＭＯＯＴＨ_Ｖモード及びＳＭＯＯＴＨ_Ｈモードは、それぞれ、垂直方向又は水平方向における二次補間を用いたイントラ予測モードである。
【0069】
現在のブロックの高さが現在のブロックの幅以上である場合に、ＳＭＯＯＴＨ_ＶモードがＳ１に含まれる。現在のブロックの幅が現在のブロックの高さよりも大きい場合に、ＳＭＯＯＴＨ_ＨモードがＳ１に含まれる。
【0070】
代わりに、現在のブロックの幅が現在のブロックの高さ以上である場合に、ＳＭＯＯＴＨ_ＶモードがＳ１に含まれる。現在のブロックの高さが現在のブロックの幅よりも大きい場合に、ＳＭＯＯＴＨ_ＨモードがＳ１に含まれる。
【0071】
Ｓ１０３０において、Ｓ１において、ＳＭＯＯＴＨ_Ｖモード又はＳＭＯＯＴＨ_Ｈモード以外の如何なる非角度イントラ予測モードも除外される。可能性の低いイントラ予測モードを除外することにより、Ｓ１に含まれるイントラ予測モードの数は、コーディング効率と圧縮性能を向上させるために制限されている。
【0072】
一実施形態において、Ｓ１及びＳ２に含まれるイントラ予測モードは以下によって決定され、Ｓ２を第１のレベル及び第２のレベルに分割し、Ｓ２の第１のレベルで２Ｌ個のイントラ予測モードを含み、Ｓ２の第２のレベルで２Ｍ個のイントラ予測モードを含み、Ｌ及びＭは１よりも大きい整数であり、Ｓ１には、Ｓ２の第１のレベルでの角度イントラ予測モードを含む。従って、Ｓ１及びＳ２に含まれるイントラ予測モードを効果的にコーディングすることができる。
【0073】
同様に、別の実施形態では、Ｓ１及びＳ２に含まれるイントラ予測モードは以下によって決定され、Ｓ２を第１のレベル、第２のレベル及び第３のレベルに分割し、Ｓ２の第１のレベルで２Ｌ個のイントラ予測モードを含み、Ｓ２の第２のレベルで２Ｍ個のイントラ予測モードを含み、Ｓ２の第３のレベルで２Ｎ個の予測モードを含み、Ｌ、Ｍ及びＮは１よりも大きい整数であり、Ｓ１には、Ｓ２の第１のレベル及び第２のレベルでの角度イントラ予測モードを含む。従って、Ｓ１及びＳ２に含まれるイントラ予測モードを効果的にコーディングすることができる。
【0074】
幾つかの実施形態では、隣接ブロックのイントラ予測モードの一つが角度イントラ予測モードである場合に、本開示と一致するビデオコーディング方法は、また、Ｓ１に非公称角度である少なくとも１つの角度イントラ予測モードを含めてもよい。
【0075】
ゼロ参照ラインは、非ゼロ参照ラインよりも現在のブロックに近いので、マルチ参照ラインイントラ予測において、Ｓ２はＳ１よりも大きな影響を与える。従って、Ｓ１はＳ２のサブセットである。しかしながら、Ｓ２に含まれる最確イントラ予測モードはＳ１にも含まれる。一例では、同様に、Ｓ２のすべての角度イントラ予測モードがＳ１に含まれていてもよい。他方で、本開示は、Ｓ１及びＳ２が全く同じであることを妨げない。
【0076】
別の例では、角度イントラ予測モードは、非角度イントラ予測モードよりも可能性があるイントラ予測モードと見なされる。Ｓ２のすべての角度イントラ予測モードはＳ１にも含まれるが、Ｓ２の全ての非角度イントラ予測モードはＳ１において除外される。代わりに、Ｓ１には、Ｓ２よりも多くの角度イントラ予測モードが含まれてもよい。
【0077】
また、Ｓ１に含まれるイントラ予測モードの数は、対応する参照ラインの隣接ブロックのイントラ予測モードに依存し得る。Ｎ個の隣接ブロックから、Ｓ１及びＳ２に含まれるイントラ予測モードを導出する。Ｎ個の隣接ブロックのうちのＭ個の隣接ブロックが特定のイントラ予測モードを含む場合に、Ｓ１に含まれるイントラ予測モードの数を減らすことができる。この場合、Ｍ及びＮは正の整数であり、且つＭはＮ以下である。特定のイントラ予測モードは、Ｃモード、再帰モード、ＰＡＥＴＨモード、ＳＭＯＯＴＨモード、ＳＭＯＯＴＨ_Ｈモード及びＳＭＯＯＴＨ_Ｖモードなどの非角度イントラ予測モードを含み、これらは上記の実施形態で説明された。一例において、Ｍ＝２且つＮ＝２である。Ｓ１に含まれるイントラ予測モードの数はゼロに減少する。この場合、現在のブロックのためのイントラ予測モードを導出することから、対応する参照ラインの隣接ブロックは除外され、ビデオコーディングプロセスにおいて、対応する参照ラインのインデックス番号は、信号により送られない。
【0078】
別の例では、Ｓ１に含まれるイントラ予測モードの数は、対応する参照ラインの隣接ブロックのイントラ予測モード及びインデックス番号の両方に依存し得る。参照ラインのインデックス番号は、隣接ブロックと現在のブロックとの近接性を反映している。Ｓ１に含まれるイントラ予測モードを決定する場合に、対応する参照ラインのインデックス番号を含めることは、近接性情報を考慮する。例えば、インデックス番号が小さいほど、Ｓ１に含まれるイントラ予測モードの数が大きくなる。
【0079】
別の例では、彩度成分について、非ゼロ参照ラインのありとあらゆる隣接ブロックが少なくとも１つの角度イントラ予測モードを含む場合にのみ、対応する非ゼロ参照ラインは、イントラ予測モードを導出するために、マルチ参照ラインイントラ予測プロセスに含まれ得る。
【0080】
別の例では、彩度成分について、非ゼロ参照ラインのありとあらゆる隣接ブロックが同じ角度イントラ予測モードを含む場合にのみ、対応するゼロ参照ラインは、イントラ予測モードを導出するために、マルチ参照ラインイントラ予測プロセスに含まれ得る。
【0081】
本開示の実施形態では、ビデオコーディング方法は、ＡＶ１標準に基づくビデオコーディングスキームでのマルチ参照ラインイントラ予測をサポートする。各参照ラインに含まれるイントラ予測モードの数は、コーディング効率と圧縮性能を向上させるために制限されている。
【0082】
本開示は、さらに、ビデオデコーディング方法を提供する。図１１は、本開示の実施形態と一致する例示的なビデオデコーディング方法を示している。図１１に示すように、ビデオ入力の複数のコーディングフレームを含むビットストリームを取得する（Ｓ１１１０）。ビットストリームは、ビデオコーディングシステムが図５に示すビデオコーディング方法を実行することで生成されてもよい。
【0083】
Ｓ１１２０において、複数のコーディングフレームのそれぞれを複数のＣＴＵにデコーディングし、複数のＣＴＵのそれぞれを複数の残差ブロックにデコーディングする。ビットストリームは、複数のＣＴＵの境界、及び複数のＣＴＵのそれぞれに含まれる複数の残差ブロックの境界を指示するために、ヘッダ情報を含む。複数の残差ブロックのそれぞれはエントロピーコーディングされてもよい。エントロピーデコーディング処理とそれに続く逆変換及び逆量子化処理を実行して、複数の残差ブロックのそれぞれを取得することができる。エントロピーデコーディング処理と、逆変換及び逆量子化処理とは、図５に示すビデオコーディング方法のＳ５４０及びＳ５５０で実行されたエントロピーコーディング処理及び変換と量子化処理を反転させる。
【0084】
Ｓ１１３０において、各コーディングフレームに含まれる参照サンプル及びＭＲＬＰフラグに基づいて、複数の残差ブロックのそれぞれについてのコーディングブロックを復元する。具体的に、図５に示すビデオコーディング方法のＳ５３０で決定された各コーディングフレームに含まれるＭＲＬＰフラグ及び参照サンプルに基づいて、ＭＲＬＰプロセスを反転させることによって、対応する残差ブロックからコーディングブロックをデコーディングする。
【0085】
次いで、複数のＣＴＵのそれぞれの複数の残差ブロックのそれぞれに対して復元されたコーディングブロックをフレームバッファに格納して、ビデオ信号の各フレームを再構成する（Ｓ１１４０）。このプロセスは、図５に示すビデオコーディング方法のＳ５２０を反転させることによって、複数のコーディングブロックをＣＴＵに組み立て、複数のＣＴＵをビデオ信号のフレームに組み立てる。
【0086】
最後に、再構成されたフレームを連続的に出力してビデオ信号を復元する（Ｓ１１５０）。このプロセスは、図５に示すビデオコーディング方法のＳ５１０を反転させる。
【0087】
本開示の実施形態では、ビデオコーディング方法は、ＡＶ１標準に基づくビデオコーディングスキームでのマルチ参照ラインイントラ予測をサポートする。各参照ラインに含まれるイントラ予測モードの数は、コーディング効率と圧縮性能を向上させるために制限されている。
【0088】
本開示の原理及び実施形態は、明細書において特定の実施形態を使用して説明されたが、実施形態の説明は、本開示の方法及び核となるアイデアを理解するのを助けることのみを目的とする。その一方で、当業者であれば、本開示のアイデアに基づいて、具体な実施形態及び適用範囲を変更することができる。要するに、明細書は、本開示の限定として解釈されるべきではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【国際調査報告】