特表 2025-521742 マルチ参照行インデックスリストソート方法、ビデオ符号化・復号化方法、装置及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-07-10

(54)【発明の名称】マルチ参照行インデックスリストソート方法、ビデオ符号化・復号化方法、装置及びシステム

(51)【国際特許分類】

   H04N 19/105 20140101AFI20250703BHJP

   H04N 19/136 20140101ALI20250703BHJP

【ＦＩ】

H04N19/105

H04N19/136

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024576937

(86)(22)【出願日】2022-07-05

(85)【翻訳文提出日】2024-12-26

(86)【国際出願番号】 CN2022103944

(87)【国際公開番号】W WO2024007157

(87)【国際公開日】2024-01-11

(81)【指定国・地域】

(71)【出願人】

【識別番号】516227559

【氏名又は名称】オッポ広東移動通信有限公司

【氏名又は名称原語表記】ＧＵＡＮＧＤＯＮＧ ＯＰＰＯ ＭＯＢＩＬＥ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＣＯＲＰ．， ＬＴＤ．

【住所又は居所原語表記】Ｎｏ． １８ Ｈａｉｂｉｎ Ｒｏａｄ，Ｗｕｓｈａ， Ｃｈａｎｇ’ａｎ，Ｄｏｎｇｇｕａｎ， Ｇｕａｎｇｄｏｎｇ ５２３８６０ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100152205

【弁理士】

【氏名又は名称】吉田 昌司

(74)【代理人】

【識別番号】100137523

【弁理士】

【氏名又は名称】出口 智也

(74)【代理人】

【識別番号】100220630

【弁理士】

【氏名又は名称】河崎 亮

(72)【発明者】

【氏名】シュイ、ルーハン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159TA33

5C159TB08

5C159TC02

5C159TC42

(57)【要約】

マルチ参照行インデックスリストソート方法、ビデオ符号化・復号化方法、装置及びシステムであって、現在ブロックのテンプレート領域外側に位置する少なくとも一部の参照行に応じて、前記テンプレート領域をそれぞれ予測し、前記テンプレート領域の再構成値と予測して得られた予測値との間の誤差を計算し、前記誤差の小さい方から大きい方への順に従って、前記誤差に対応する参照行のインデックスを現在ブロックのＭＲＬインデックスリストに埋め込み、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得て、符号化・復号化する際、現在ブロックのＭＲＬインデックスリストをソートすることができ、ソートされたＭＲＬインデックスリストに応じて、現在ブロックのマルチ参照行インデックスを復号化または符号化する。本開示の実施例は、符号化オーバーヘッドを節約し、符号化性能を向上させることができる。

【特許請求の範囲】

【請求項1】

現在ブロックのテンプレート領域外側に位置する少なくとも一部の参照行に応じて、前記テンプレート領域をそれぞれ予測し、前記テンプレート領域の再構成値と予測して得られた予測値との間の誤差を計算するステップと、
前記誤差の小さい方から大きい方への順に従って、前記誤差に対応する参照行のインデックスを現在ブロックのマルチ参照行ＭＲＬインデックスリストに埋め込み、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得るステップと、
を含む、
マルチ参照行インデックスリストソート方法。

【請求項2】

現在ブロックのテンプレート領域外側に位置する少なくとも一部の参照行に応じて、テンプレート領域をそれぞれ予測するステップは、前記少なくとも一部の参照行のうちの各参照行に対して、当該参照行の再構成値と現在ブロックによって選択されたイントラ予測モードを使用し、前記テンプレット領域を予測するステップを含む、
請求項１に記載の方法。

【請求項3】

前記誤差に対応する参照行のインデックスを現在ブロックのＭＲＬインデックスリストに埋め込むステップとは、前記誤差に対応する参照行のインデックスを、前記ＭＲＬインデックスリストのＫ_１番目の位置から位置ごとに埋め込み、最大でＫ_２番目の位置まで埋め込むことであり、２≦Ｋ_１≦Ｋ_２≦Ｍであり、Ｍは前記ＭＲＬインデックスリストの長さである、
請求項１に記載の方法。

【請求項4】

前記方法は、前記現在ブロックに基づいてソートされたＭＲＬインデックスリストにおいて、ソートに参加しない１番目の位置からＫ_１―１番目の位置まで、現在ブロックのテンプレート領域が位置する参照行のインデックスを埋め込むステップであって、１番目の位置に埋め込んだ参照行のインデックスは０であるステップをさらに含む、
請求項３に記載の方法。

【請求項5】

前記誤差に対応する参照行のインデックスを現在ブロックのＭＲＬインデックスリストに埋め込むステップとは、前記誤差に対応する参照行のインデックスを、前記ＭＲＬインデックスリストの１番目の位置から位置ごとに埋め込み、最大でＫ_２番目の位置まで埋め込むことであり、１≦Ｋ_２≦Ｍであり、Ｍは前記ＭＲＬインデックスリストの長さである、
請求項１に記載の方法。

【請求項6】

前記方法は、Ｋ_２＜Ｍの場合、前記ＭＲＬインデックスリストのＫ_２＋１番目の位置からＭ番目の位置まで、現在ブロックからの距離の近い方から遠い方への順に従って、位置ごとにＭ―Ｋ_２個の参照行のインデックスを埋め込むステップであって、前記Ｍ―Ｋ_２個の参照行は、前記テンプレート領域外側に位置し、システムによって指定され、且つインデックスが前記ＭＲＬインデックスリストに埋め込んだインデックスと異なるステップをさらに含む、
請求項３又は５に記載の方法。

【請求項7】

前記現在ブロックのテンプレート領域外側に位置する少なくとも一部の参照行は、
前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行、または
前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行のうちの奇数行、または
前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行のうちの偶数行、または
前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行のうち、隣接する行の間の誤差の比較によって選出されたＮ個の参照行、Ｎ≦Ｎ’、または
前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行のうち、指定されたＮ個の参照行、
を含み、
Ｎ’≦Ｎ_ｍａｘであり、Ｎ_ｍａｘはソートの参加を許可する参照行の最大数である、
請求項１に記載の方法。

【請求項8】

前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行は、現在ブロックが位置する符号化ツリーユニットＣＴＵの上方境界を超えない参照行であり、
現在ブロックがテンプレートに基づくイントラモードを使用してＴＩＭＤを導出する場合に設定されたＮ_ｍａｘと、現在ブロックがＴＩＭＤを使用しない場合に設定されたＮ_ｍａｘは、いずれも３以上である、
請求項７に記載の方法。

【請求項9】

隣接する行の間の誤差の比較によってＮ個の参照行を選出するステップは、
前記テンプレート領域外側の現在ブロックに最も近い１つの参照行を選出された１番目の参照行とし、新たに選出された当該参照行とその隣接する参照行とを１つずつ比較し、当該参照行に最も近く、且つ２つの参照行の間の誤差が設定閾値より大きい１つの隣接する参照行を新たに選出された１つの参照行とし、Ｎ’個の参照行を比較して選択したまで、このように循環し、前記誤差とは、２つの参照行の再構成値間の誤差を指し、または２つの参照行の再構成値を参照とし、前記テンプレート領域をそれぞれ予測して得られた予測値間の誤差を指す、方式を用いる、
請求項７に記載の方法。

【請求項10】

前記誤差は、絶対誤差とＳＡＤで表され、または誤差変換絶対値とＳＡＴＤで表される、
請求項１又は９のいずれかに記載の方法。

【請求項11】

前記現在ブロックのテンプレート領域は、現在ブロックに最も近い参照行に設置され、または
前記現在ブロックのテンプレート領域は、現在ブロックに最も近い複数の参照行に設置される、
請求項１に記載の方法。

【請求項12】

コードストリームにおける現在ブロックのイントラ予測関連構文要素を復号化し、現在ブロックがマルチ参照行ＭＲＬの使用を許可する場合、現在ブロックのマルチ参照行インデックスを復号化し続けるステップであって、前記マルチ参照行インデックスは、現在ブロックによって選択された参照行のインデックスのＭＲＬインデックスリストにおける位置を指示するために用いられるステップと、
復号化結果に応じて、現在ブロックのＭＲＬインデックスリストのソートを許可すると決定した場合、請求項１から１１のいずれかに記載の方法に従って、現在ブロックのＭＲＬインデックスリストをソートし、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得るステップと、
前記マルチ参照行インデックスと現在ブロックに基づいてソートされたＭＲＬインデックスリストに応じて、現在ブロックによって選択された参照行を決定し、現在ブロックによって選択された参照行に応じて、現在ブロックに対してイントラ予測を行うステップと、
を含む、
ビデオ復号化方法。

【請求項13】

前記方法は、復号化結果に応じて、現在ブロックのＭＲＬインデックスリストのソートを許可しないと決定した場合、前記マルチ参照行インデックスと設定されたＭＲＬインデックスリストに応じて、現在ブロックによって選択された参照行を決定し、現在ブロックによって選択された参照行に応じて、現在ブロックに対してイントラ予測を行うステップをさらに含む、
請求項１２に記載の方法。

【請求項14】

現在ブロックのＭＲＬインデックスリストのソートを許可する十分条件は、現在ブロックのＭＲＬインデックスリストのソートを許可することを表すフラグを真にすることを含む、
請求項１２に記載の方法。

【請求項15】

現在ブロックが、マルチ参照行ＭＲＬを使用しない条件と、
マルチ参照行インデックスが、ＭＲＬインデックスリストにおけるソートに参加しない位置を指示する条件と、
現在のフレームが、非輝度フレームである条件と、
現在ブロックが、符号化ツリーユニットＣＴＵの上方境界に位置する条件と、
現在ブロックによって選択されたイントラ予測モードが、指定モードである条件であって、前記指定モードは、平面モード、１つのモードが平面モードであるＴＩＭＤ融合モード、平均モード、水平角度モード、垂直角度モード、広角度モードのうちの任意の１つまたは複数を含む条件と、
現在ブロックのサイズが、設定条件を満たさない条件と、
現在ブロックの縦横比が、設定条件を満たさない条件と、
現在ブロックがＴＩＭＤを使用する場合と現在ブロックがＴＩＭＤを使用しない場合のうちの１つである条件と、
のうちの任意の１つまたは複数の条件を、現在ブロックのＭＲＬインデックスリストのソートを許可しない十分条件とする、
請求項１３に記載の方法。

【請求項16】

現在ブロックがＭＲＬを使用する場合、前記方法は、
現在ブロックのＭＲＬと同時に使用できる一部の変換モードの構文要素を復号化し、ＭＲＬと同時に使用できない一部の変換モードの構文要素をスキップするステップ、及び／または
現在ブロックによって選択されたイントラ予測モードを復号化する過程において、第２最も可能なモードＭＰＭに関連する構文要素の復号化を許可するステップ、
をさらに含む、
請求項１２に記載の方法。

【請求項17】

コードストリームにおける現在ブロックのイントラ予測関連構文要素を復号化するステップは、現在ブロックによって選択されたイントラ予測モードを復号化することにより、現在ブロックのＭＲＬインデックスリストをソートするために用いられるステップを含み、
現在ブロックによって選択された参照行に応じて、現在ブロックに対してイントラ予測を行うステップは、現在ブロックによって選択された参照行と現在ブロックによって選択されたイントラ予測モードに応じて、現在ブロックに対してイントラ予測を行うステップを含む、
請求項１２に記載の方法。

【請求項18】

現在ブロックのマルチ参照行インデックスを復号化するステップは、現在ブロックがＴＩＭＤを使用する場合と、現在ブロックがＴＩＭＤを使用しない場合に、異なるＭＲＬインデックスリストに応じて、現在ブロックのマルチ参照行インデックスを復号化するステップを含む、
請求項１７に記載の方法。

【請求項19】

現在ブロックがＴＩＭＤを使用しないと決定した場合、前記設定されたＭＲＬインデックスリストは｛０，１，３，５，７，１２｝であり、
現在ブロックがＴＩＭＤを使用すると決定した場合、前記設定されたＭＲＬインデックスリストは｛０，１，３｝または｛０，１，２｝である、
請求項１３に記載の方法。

【請求項20】

現在ブロックに対してイントラ予測を行い、現在ブロックによって選択された参照行を決定するステップと、
現在ブロックのＭＲＬインデックスリストのソートを許可すると決定した場合、請求項１から１１のいずれかに記載の方法に従って、現在ブロックのＭＲＬインデックスリストをソートし、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得るステップと、
現在ブロックによって選択された参照行のインデックスの、現在ブロックに基づいてソートされたＭＲＬインデックスリストにおける位置に応じて、現在ブロックのマルチ参照行インデックスを決定して符号化するステップと、
を含む、
ビデオ符号化方法。

【請求項21】

前記方法は、現在ブロックのＭＲＬインデックスリストのソートを許可しないと決定した場合、現在ブロックによって選択された参照行のインデックスの、設定されたＭＲＬインデックスにおける位置に応じて、現在ブロックのマルチ参照行インデックスを決定して符号化するステップをさらに含む、
請求項２０に記載の方法。

【請求項22】

前記方法は、現在ブロックのＭＲＬインデックスリストのソートを許可すると決定した場合、現在ブロックのＭＲＬインデックスリストのソートを許可することを表すフラグを真にするステップをさらに含む、
請求項２０に記載の方法。

【請求項23】

現在ブロックが、マルチ参照行ＭＲＬを使用しない条件と、
現在ブロックによって選択された参照行が、現在ブロックのテンプレート領域に位置する条件と、
現在のフレームが、非輝度フレームである条件と、
現在ブロックが、符号化ツリーユニットＣＴＵの上方境界に位置する条件と、
現在ブロックによって選択されたイントラ予測モードが、指定モードである条件であって、前記指定モードは、平面モード、１つのモードが平面モードであるＴＩＭＤ融合モード、平均モード、水平角度モード、垂直角度モード、広角度モードのうちの任意の１つまたは複数を含む条件と、
現在ブロックのサイズが、設定条件を満たさない条件と、
現在ブロックの縦横比が、設定条件を満たさない条件と、
現在ブロックがＴＩＭＤを使用する場合と現在ブロックがＴＩＭＤを使用しない場合のうちの１つである条件と、
現在ブロックのＭＲＬインデックスリストのソートを許可しない条件がいずれも成立しない場合、現在ブロックのＭＲＬインデックスリストのソートを許可すると決定する条件と、
のうちの任意の１つまたは複数の条件を、現在ブロックのＭＲＬインデックスリストのソートを許可しない十分条件とする、
請求項２１に記載の方法。

【請求項24】

前記方法は、
現在ブロックのマルチ参照行インデックスを決定して符号化するステップは、
現在ブロックがＴＩＭＤを使用する場合、現在ブロックによって選択された参照行のインデックスの、第１ＭＲＬインデックスリストにおける位置に応じて、現在ブロックのマルチ参照行インデックスを決定して符号化するステップと、
現在ブロックがＴＩＭＤを使用しない場合、現在ブロックによって選択された参照行のインデックスの、第２ＭＲＬインデックスリストにおける位置に応じて、現在ブロックのマルチ参照行インデックスを決定して符号化するステップであって、前記第２ＭＲＬインデックスリストの長さは、前記第１ＭＲＬインデックスリストの長さ以上であるステップと、を含むステップ、
をさらに含む、
請求項２０に記載の方法。

【請求項25】

現在ブロックがＭＲＬを使用する場合、前記方法は、現在ブロックのＭＲＬと同時に使用できる一部の変換モードの構文要素を符号化し、ＭＲＬと同時に使用できない一部の変換モードの符号化をスキップするステップをさらに含む、
請求項２０に記載の方法。

【請求項26】

現在ブロックがＭＲＬを使用し、且つ現在ブロックによって選択されたモードが非ＴＩＭＤモードである場合、前記方法は、前記マルチ参照行インデックスを符号化した後、現在ブロックによって選択されたイントラ予測モードを符号化し続け、且つ現在ブロックによって選択されたイントラ予測モードを符号化する過程において、第２ＭＰＭに関連する構文要素の符号化を許可するステップをさらに含む、
請求項２０に記載の方法。

【請求項27】

請求項１から１１のいずれかに記載の方法に従って、現在ブロックのＭＲＬインデックスリストをソートする前に、前記方法は、現在ブロックによって選択されたイントラ予測モードを決定するステップをさらに含む、
請求項２０に記載の方法。

【請求項28】

コードストリームであって、
前記コードストリームには、現在ブロックのマルチ参照行インデックスが含まれ、前記マルチ参照行インデックスは、現在ブロックによって選択された参照行のインデックスの、ＭＲＬインデックスリストにおける位置を指示するために用いられ、前記ＭＲＬインデックスリストは、現在ブロックに基づいてソートされたＭＲＬインデックスリスト、または設定されたＭＲＬインデックスリストである、
コードストリーム。

【請求項29】

前記コードストリームは、請求項２０から２７のいずれかに記載のビデオ符号化方法によって生成される、
請求項２８に記載のコードストリーム。

【請求項30】

マルチ参照行インデックスリストソート装置であって、プロセッサと、コンピュータプログラムが記憶されたメモリとを備え、前記プロセッサは、前記コンピュータプログラムを実行すると、請求項１から１１のいずれかに記載のマルチ参照行インデックスリストソート方法を実現する、
マルチ参照行インデックスリストソート装置。

【請求項31】

ビデオ復号化装置であって、プロセッサと、コンピュータプログラムが記憶されたメモリとを備え、前記プロセッサは、前記コンピュータプログラムを実行すると、請求項１２から１９のいずれかに記載のビデオ復号化方法を実現する、
ビデオ復号化装置。

【請求項32】

ビデオ符号化装置であって、プロセッサと、コンピュータプログラムが記憶されたメモリとを備え、前記プロセッサは、前記コンピュータプログラムを実行すると、請求項２０から２７のいずれかに記載のビデオ符号化方法を実現する、
ビデオ符号化装置。

【請求項33】

請求項３２に記載のビデオ符号化装置と、請求項３１に記載のビデオ復号化装置とを備える、
ビデオ符号化・復号化システム。

【請求項34】

コンピュータ可読記憶媒体であって、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されると、請求項１から１１のいずれかに記載のマルチ参照行インデックスリストソート方法を実現するか、または、請求項１２から１９のいずれかに記載のビデオ復号化方法を実現するか、または、請求項２０から２７のいずれかに記載のビデオ符号化方法を実現する、
非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の実施例は、ビデオ技術に関するが、これに限定されなく、より具体的には、マルチ参照行インデックスリストソート方法、ビデオ符号化・復号化方法、装置及びシステムに関する。

【背景技術】

【0002】

デジタルビデオ圧縮技術は、主に膨大なデジタル映像ビデオデータを圧縮することにより、伝送及び記憶などを容易にする。現在の一般的なビデオ符号化・復号化規格、例えば、Ｈ．２６６／Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（多機能ビデオ符号化、ＶＶＣ）は、いずれもブロックに基づくハイブリッド符号化フレームワークを使用している。ビデオにおける各フレームは、同じサイズ（例えば、１２８ｘ１２８、６４ｘ６４など）の正方形の最大符号化ユニット（ＬＣＵ：ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ）に分割される。各最大符号化ユニットは、規則に応じて矩形の符号化ユニット（ＣＵ：ｃｏｄｉｎｇ ｕｎｉｔ）に分割されてもよい。符号化ユニットは、さらに予測ユニット（ＰＵ：ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）、変換ユニット（ＴＵ：ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）などに分割されてもよい。ハイブリッド符号化フレームワークは、予測（ｐｒｅｄｉｃｔｉｏｎ）、変換（ｔｒａｎｓｆｏｒｍ）、量子化（ｑｕａｎｔｉｚａｔｉｏｎ）、エントロピー符号化（ｅｎｔｒｏｐｙ ｃｏｄｉｎｇ）、ループフィルタ（ｉｎ ｌｏｏｐ ｆｉｌｔｅｒ）などのモジュールを含む。予測モジュールは、ビデオ内の冗長性を低減または取り出すためのイントラ予測（ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）及びインター予測（ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）を含む。イントラブロックは、ブロック周囲の画素を参照として予測し、インターブロックは、空間上の隣接ブロックの情報及び他のフレーム内の参照情報を参照する。予測信号に対して、残差情報は、ブロックを単位とする変換、量子化、及びエントロピー符号化によって、コードストリームになる。これらの技術は規格に記載されており、ビデオ圧縮に関連するさまざまな分野で実施されている。

【0003】

インターネットビデオの急増と人々のビデオの鮮明度に対する要求の高まりに伴い、既存のデジタルビデオ圧縮規格は多くのビデオデータを節約できるが、デジタルビデオ伝送の帯域幅と流量圧力を低減するために、依然としてより優れたデジタルビデオ圧縮技術を追求する必要がある。

【発明の概要】

【課題を解決するための手段】

【0004】

以下は、本明細書で詳しく説明されている主題の概要である。当該概要は、特許請求の範囲を限定することを意図するものではない。

【0005】

本開示の一実施例では、マルチ参照行インデックスリストソート方法が提供され、前記方法は、

【0006】

現在ブロックのテンプレート領域外側に位置する少なくとも一部の参照行に応じて、前記テンプレート領域をそれぞれ予測し、前記テンプレート領域の再構成値と予測して得られた予測値との間の誤差を計算するステップと、

【0007】

前記誤差の小さい方から大きい方への順に従って、前記誤差に対応する参照行のインデックスを現在ブロックのＭＲＬインデックスリストに埋め込み、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得るステップと、を含む。

【0008】

本開示の一実施例では、ビデオ復号化方法がさらに提供され、前記方法は、

【0009】

コードストリームにおける現在ブロックのイントラ予測関連構文要素を復号化し、現在ブロックがマルチ参照行ＭＲＬの使用を許可する場合、現在ブロックのマルチ参照行インデックスを復号化し続けるステップであって、前記マルチ参照行インデックスは、現在ブロックによって選択された参照行のインデックスのＭＲＬインデックスリストにおける位置を指示するために用いられるステップと、

【0010】

復号化結果に応じて、現在ブロックのＭＲＬインデックスリストのソートを許可すると決定した場合、本開示のいずれかの実施例に記載の方法に従って、現在ブロックのＭＲＬインデックスリストをソートし、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得るステップと、

【0011】

前記マルチ参照行インデックスと現在ブロックに基づいてソートされたＭＲＬインデックスリストに応じて、現在ブロックによって選択された参照行を決定し、現在ブロックによって選択された参照行に応じて、現在ブロックに対してイントラ予測を行うステップと、を含む。

【0012】

本開示の一実施例では、ビデオ符号化方法がさらに提供され、前記方法は、

【0013】

現在ブロックに対してイントラ予測を行い、現在ブロックによって選択された参照行を決定するステップと、

【0014】

現在ブロックのＭＲＬインデックスリストのソートを許可すると決定した場合、本開示のいずれかの実施例に記載の方法に従って、現在ブロックのＭＲＬインデックスリストをソートし、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得るステップと、

【0015】

現在ブロックによって選択された参照行のインデックスの、現在ブロックに基づいてソートされたＭＲＬインデックスリストにおける位置に応じて、現在ブロックのマルチ参照行インデックスを決定して符号化するステップと、を含む。

【0016】

本開示の一実施例では、コードストリームが提供され、前記コードストリームには、現在ブロックのマルチ参照行インデックスが含まれ、前記マルチ参照行インデックスは、現在ブロックによって選択された参照行のインデックスの、ＭＲＬインデックスリストにおける位置を指示するために用いられ、前記ＭＲＬインデックスリストは、現在ブロックに基づいてソートされたＭＲＬインデックスリスト、または設定されたＭＲＬインデックスリストである。

【0017】

本開示の一実施例では、マルチ参照行インデックスリストソート装置がさらに提供され、前記装置は、プロセッサと、コンピュータプログラムが記憶されたメモリとを備え、前記プロセッサは、前記コンピュータプログラムを実行すると、本開示のいずれかの実施例に記載のマルチ参照行インデックスリストソート方法を実現することができる。

【0018】

本開示の一実施例では、ビデオ復号化装置がさらに提供され、前記装置は、プロセッサと、コンピュータプログラムが記憶されたメモリとを備え、前記プロセッサは、前記コンピュータプログラムを実行すると、本開示のいずれかの実施例に記載のビデオ復号化方法を実現することができる。

【0019】

本開示の一実施例では、ビデオ符号化装置がさらに提供され、前記装置は、プロセッサと、コンピュータプログラムが記憶されたメモリとを備え、前記プロセッサは、前記コンピュータプログラムを実行すると、本開示のいずれかの実施例に記載のビデオ符号化方法を実現することができる。

【0020】

本開示の一実施例では、ビデオ符号化・復号化システムがさらに提供され、前記ビデオ符号化・復号化システムは、本開示のいずれかの実施例に記載のビデオ符号化装置と、本開示のいずれかの実施例に記載のビデオ復号化装置とを備える。

【0021】

本開示の一実施例では、非一時的コンピュータ可読記憶媒体がさらに提供され、前記コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されると、本開示のいずれかの実施例に記載のマルチ参照行インデックスリストソート方法を実現し、または本開示のいずれかの実施例に記載のビデオ復号化方法を実現し、または本開示のいずれかの実施例に記載のビデオ符号化方法を実現する。

【0022】

図面及び詳細な説明を読んで理解した後、他の態様を理解することができる。

【図面の簡単な説明】

【0023】

図面は、本開示の実施例の理解を提供するために用いられ、明細書の一部を構成し、本開示の実施例とともに本開示の技術方案を説明するために用いられ、本開示の技術方案の限定を構成するものではない。

【図1A】本開示の一実施例に係る符号化・復号化システムの概略図である。

【図1B】本開示の一実施例に係る符号化側のブロック図である。

【図1C】本開示の一実施例に係る復号化側のブロック図である。

【図2】本開示の一実施例に係るイントラ予測モードの概略図である。

【図3】本開示の一実施例に係る現在ブロックの隣接するイントラ予測ブロックの概略図である。

【図4】本開示の一実施例に係る現在ブロックのテンプレート領域及びテンプレート参照領域の概略図である。

【図5】本開示の一実施例に係る現在ブロックの周囲の複数の参照行の概略図である。

【図6】本開示の一実施例に係るマルチ参照行インデックスリストソート方法のフローチャートである。

【図7】本開示の一実施例に係るビデオ復号化方法のフローチャートである。

【図8】本開示の一実施例に係るビデオ符号化方法のフローチャートである。

【図9】本開示の一実施例に係るマルチ参照行インデックスリストソート装置の概略図である。

【図10】本開示の一実施例に係る現在ブロックの周囲のテンプレート及び複数の参照行の概略図である。

【発明を実施するための形態】

【0024】

本開示は複数の実施例を説明するが、当該説明は例示的なものであり、限定的なものではなく、当業者にとって明らかなように、本開示に記載の実施例によって含まれる範囲内に、より多くの実施例及び実現方案が存在し得る。

【0025】

本開示の説明において、「例示的に」または「例えば」などの用語は、例、例証、または説明を表すために用いられる。本開示において「例示的」または「例えば」として説明されるいずれかの実施例は、他の実施例よりも好ましいまたは有利であると解釈されるべきではない。本明細書における「及び／または」は、関連対象の関連関係の説明であり、３つの関係を表すことができる。例えば、Ａ及び／またはＢは、Ａが単独で存在、ＡとＢが同時に存在、及びＢが単独で存在という３種類の状況を表すことができる。「複数」とは、２つまたは２つより大きいことを指す。また、本開示の実施例の技術方案の説明を明確且つ容易にするために、「第１」及び「第２」などの用語を用いて、機能及び役割が実質的に同一である同一項または同様項を区別する。当業者であれば、「第１」及び「第２」などの用語が、数及び実行順序を限定せず、且つ「第１」及び「第２」などの用語が必ずしも異なるものであるとは限定しないことは、理解される。

【0026】

代表的な例示的な実施例を説明する際、明細書は、方法及び／またはプロセスを特定のステップシーケンスとして提供した可能性がある。しかしながら、当該方法またはプロセスが本明細書に記載のステップの特定順序に依存しない程度では、当該方法またはプロセスは、記載の特定順序のステップに限定されるべきではない。当業者が理解可能な他のステップ順序も可能である。そのため、明細書に記載されたステップの特定順序は、特許請求の範囲を限定するものとして解釈されるべきではない。さらに、当該方法及び／またはプロセスのための請求項は、記載された順序でそれらを実行するステップに限定されるべきではなく、当業者であれば、これらの順序が変更可能であり、且つ依然として本開示の実施例の主旨及び範囲内に保持できることは、容易に理解される。

【0027】

本開示の実施例によって提供される局所照明補償方法及びビデオ符号化・復号化方法は、各種のビデオ符号化・復号化規格に応用してもよく、例えば、Ｈ．２６４／Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（高度なビデオコーディング、ＡＶＣ）、Ｈ．２６５／Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（高効率ビデオ符号化、ＨＥＶＣ）、Ｈ．２６６／Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（多機能ビデオ符号化、ＶＶＣ）、ＡＶＳ（Ａｕｄｉｏ Ｖｉｄｅｏ ｃｏｄｉｎｇ Ｓｔａｎｄａｒｄ、オーディオビデオ符号化規格）、及びＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ、ムービング・ピクチャー・エキスパート・グループ）、ＡＯＭ（オープンメディアアライアンス、Ａｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ）、ＪＶＥＴ（ジョイントビデオエキスパートチーム、Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ）によって作成した他の規格及びこれらの規格の拡張、またはいずれかのカスタマイズされた他の規格などである。

【0028】

図１Ａは、本開示の実施例に係るビデオ符号化・復号化システムのブロック図である。図に示すように、当該システムは、符号化側装置１と復号化側装置２とに分割される。符号化側装置１は、コードストリームを生成する。復号化側装置２は、コードストリームを復号化してもよい。復号化側装置２は、リンク３を介して符号化側装置１からコードストリームを受信してもよい。リンク３は、コードストリームを符号化側装置１から復号化側装置２に移動することを可能にする１つまたは複数のメディアまたは装置を含む。１つの例では、リンク３は、符号化側装置１がコードストリームを復号化側装置２に直接送信することを可能にする１つまたは複数の通信媒体を含む。符号化側装置１は、通信規格（例えば、無線通信プロトコル）に応じて、コードストリームを変調し、変調されたコードストリームを復号化側装置２に送信する。前記１つまたは複数の通信媒体は、無線及び／または有線通信媒体を含んでもよく、パケットネットワークの一部を形成してもよい。別の例では、コードストリームを出力インターフェース１５から１つの記憶装置に出力してもよく、復号化側装置２は、コードストリーム伝送またはダウンロードを介して、当該記憶装置から記憶されたデータを読み出してもよい。

【0029】

図に示すように、符号化側装置１は、データソース１１、ビデオ符号化装置１３、及び出力インターフェース１５を備える。データソース１１は、ビデオキャプチャ装置（例えば、ビデオカメラ）、以前にキャプチャされたデータを含むアーカイブ、コンテンツプロバイダからデータを受信するためのフィードインターフェース、データを生成するためのコンピュータグラフィックスシステム、またはこれらのソースの組み合わせを含む。ビデオ符号化装置１３は、データソース１１からのデータを符号化してから出力インターフェース１５に出力する。出力インターフェース１５は、レギュレータ、モデム、及びエミッタのうちの少なくとも１つを含んでもよい。復号化側装置２は、入力インターフェース２１、ビデオ復号化装置２３、及び表示装置２５を備える。入力インターフェース２１は、受信機及びモデムのうちの少なくとも１つを含む。入力インターフェース２１は、リンク３を介して、または記憶装置からコードストリームを受信してもよい。ビデオ復号化装置２３は、受信したコードストリームを復号化する。表示装置２５は、復号化されたデータを表示するために用いられる。表示装置２５は、復号化側装置２の他の装置と統合されてもよく、または単独に設置されてもよい。表示装置２５は、復号化側にとって選択的なものである。他の例では、復号化側は、復号化されたデータを応用する他の装置または設備を含んでもよい。

【0030】

図１Ａに示すビデオ符号化・復号化システムに基づいて、各種のビデオ符号化・復号化方法を用いてビデオ圧縮及び圧縮の解除を実現してもよい。

【0031】

図１Ｂは、本開示の実施例に係る例示的なビデオ符号化装置のブロック図である。図に示すように、当該ビデオ符号化装置１０００は、予測ユニット１１００、分割ユニット１１０１、残差生成ユニット１１０２（図中では、分割ユニット１１０１の後のプラス記号付きの丸で表す）、変換処理ユニット１１０４、量子化ユニット１１０６、逆量子化ユニット１１０８、逆変換処理ユニット１１１０、再構成ユニット１１１２（図中では、逆変換処理ユニット１１１０の後のプラス記号付きの丸で表す）、フィルタユニット１１１３、復号化画像バッファ１１１４、及びエントロピー符号化ユニット１１１５を備える。ここで、予測ユニット１１００は、インター予測ユニット１１２１及びイントラ予測ユニット１１２６を含み、復号化画像バッファ１１１４は、復号化済みの画像バッファ、復号化ピクチャバッファ、復号化済みのピクチャバッファなどと呼ばれてもよい。ビデオエンコーダ２０は、当該例よりもより多く、より少なく、または異なる機能アセンブリを含んでもよく、例えば、場合によっては、変換処理ユニット１１０４、逆変換処理ユニット１１１０などを含まなくてもよい。

【0032】

分割ユニット１１０１は、予測ユニット１１００と協働して、受信したビデオデータをスライス（Ｓｌｉｃｅ）、符号化ツリーユニット（ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）、または他の比較的に大きいユニットに分割する。分割ユニット１１０１によって受信されたビデオデータは、Ｉフレーム、Ｐフレーム、またはＢフレームなどのビデオフレームを含むビデオシーケンスであってもよい。

【0033】

予測ユニット１１００は、ＣＴＵを符号化ユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）に分割し、ＣＵに対してイントラ予測符号化またはインター予測符号化を実行してもよい。ＣＵに対してイントラ予測及びインター予測を行う場合、ＣＵを１つまたは複数の予測ユニット（ＰＵ：ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）に分割してもよい。

【0034】

インター予測ユニット１１２１は、ＰＵに対してインター予測を実行し、ＰＵの予測データを生成してもよい。前記予測データは、ＰＵの予測ブロック、ＰＵの運動情報、及び各種の構文要素を含む。インター予測ユニット１１２１は、運動推定（ＭＥ：ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）ユニット及び運動補償（ＭＣ：ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）ユニットを含んでもよい。運動推定ユニットは、運動推定に使用されることにより、運動ベクトルを生成してもよく、運動補償ユニットは、運動ベクトルに応じて予測ブロックを取得または生成するために用いられてもよい。

【0035】

イントラ予測ユニット１１２６は、ＰＵに対してイントラ予測を実行し、ＰＵの予測データを生成してもよい。ＰＵの予測データは、ＰＵの予測ブロック及び各種の構文要素を含んでもよい。

【0036】

残差生成ユニット１１０２は、ＣＵの元のブロックに基づいてＣＵが分割されたＰＵの予測ブロックを減算して、ＣＵの残差ブロックを生成してもよい。

【0037】

変換処理ユニット１１０４は、ＣＵを１つまたは複数の変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）に分割してもよく、予測ユニットと変換ユニットの分割は異なってもよい。ＴＵ関連の残差ブロックは、ＣＵの残差ブロックが分割されたサブブロックである。１つまたは複数の変換をＴＵ関連の残差ブロックに応用することによって、ＴＵ関連の係数ブロックを生成する。

【0038】

量子化ユニット１１０６は、選択された量子化パラメータに基づいて、係数ブロックにおける係数を量子化し、量子化パラメータ（ＱＰ：Ｑｕａｎｔｉｚｅｒ Ｐａｒａｍｅｔｅｒ）を調整することによって、係数ブロックの量子化の程度を調整してもよい。

【0039】

逆量子化ユニット１１０８及び逆変換ユニット１１１０は、それぞれ逆量子化及び逆変換を係数ブロックに応用し、ＴＵ関連の再構成残差ブロックを得てもよい。

【0040】

再構成ユニット１１１２は、前記再構成残差ブロックと予測ユニット１１００によって生成された予測ブロックとを加算し、再構成画像を生成してもよい。

【0041】

フィルタユニット１１１３は、再構成画像に対してループフィルタを実行し、フィルタされた再構成画像を参照画像として復号化画像バッファ１１１４に記憶する。イントラ予測ユニット１１２６は、復号化画像バッファ１１１４からＰＵ近傍のブロックの参照画像を抽出することにより、イントラ予測を実行してもよい。インター予測ユニット１１２１は、復号化画像バッファ１１１４にキャッシュされた前のフレームの参照画像を用いて、現在フレーム画像のＰＵに対してインター予測を実行してもよい。

【0042】

エントロピー符号化ユニット１１１５は、受信したデータ（例えば、構文要素、量子化された係数ブロック、運動情報など）に対して、エントロピー符号化操作を実行してもよい。

【0043】

図１Ｃは、本開示の実施例に係る例示的なビデオ復号化装置のブロック図である。図に示すように、ビデオ復号化装置１０１は、エントロピー復号化ユニット１５０、予測ユニット１５２、逆量子化ユニット１５４、逆変換処理ユニット１５６、再構成ユニット１５８（図中では、逆変換処理ユニット１５５の後のプラス記号付きの丸で表す）、フィルタユニット１５９、及び復号化画像バッファ１６０を備える。他の実施例では、ビデオデコーダ３０は、より多く、より少なく、または異なる機能アセンブリを含んでもよく、例えば、場合によっては、逆変換処理ユニット１５５などを含まなくてもよい。

【0044】

エントロピー復号化ユニット１５０は、受信したコードストリームに対してエントロピー復号化を実行し、構文要素、量子化された係数ブロック、及びＰＵの運動情報などを抽出してもよい。予測ユニット１５２、逆量子化ユニット１５４、逆変換処理ユニット１５６、再構成ユニット１５８、及びフィルタユニット１５９は、いずれもコードストリームから抽出された構文要素に基づいて、対応する操作を実行してもよい。

【0045】

逆量子化ユニット１５４は、量子化されたＴＵ関連の係数ブロックを逆量子化してもよい。

【0046】

逆変換処理ユニット１５６は、１つまたは複数の逆変換を逆量子化された係数ブロックに応用することにより、ＴＵの再構成残差ブロックの生成を容易してもよい。

【0047】

予測ユニット１５２は、インター予測ユニット１６２とイントラ予測ユニット１６４とを含む。ＰＵがイントラ予測符号化を使用する場合、イントラ予測ユニット１６４は、コードストリームから復号化された構文要素に基づいて、ＰＵのイントラ予測モードを決定し、決定されたイントラ予測モード及び復号化画像バッファ１６０から取得されたＰＵ近傍の再構成済みの参照情報に応じて、イントラ予測を実行し、ＰＵの予測ブロックを生成してもよい。ＰＵがインター予測符号化を使用する場合、インター予測ユニット１６２は、ＰＵの運動情報及び対応する構文要素に基づいて、ＰＵの１つまたは複数の参照ブロックを決定し、復号化画像バッファ１６０から取得された前記参照ブロックに基づいて、ＰＵの予測ブロックを生成してもよい。

【0048】

再構成ユニット１５８は、ＴＵ関連の再構成残差ブロック及び予測ユニット１５２によって生成されたＰＵの予測ブロックに基づいて、再構成画像を得てもよい。

【0049】

フィルタユニット１５９は、再構成画像に対してループフィルタを実行してもよく、ループフィルタされた再構成画像は、復号化画像バッファ１６０に記憶される。復号化画像バッファ１６０は、参照画像を提供することにより、後続の運動補償、イントラ予測、インター予測などのために使用してもよく、フィルタされた再構成画像を復号化済みのビデオデータとして出力し、表示装置に表示してもよい。

【0050】

上記ビデオ符号化装置及びビデオ復号化装置に基づいて、以下の基本的な符号化・復号化プロセスを実行してもよい。符号化側では、１フレームの画像をブロックに分割し、現在ブロックに対してイントラ予測またはインター予測または他のアルゴリズムを行い、現在ブロックの予測ブロックを生成し、現在ブロックの元のブロックを用いて、予測ブロックを減算して残差ブロックを得て、残差ブロックを変換及び量子化して量子化係数を得て、量子化係数をエントロピー符号化してコードストリームを生成する。復号化側では、現在ブロックに対してイントラ予測またはインター予測を行い、現在ブロックの予測ブロックを生成する一方、コードストリームを復号化して得られた量子化係数を逆量子化及び逆変換し、残差ブロックを得て、予測ブロックと残差ブロックとを加算して再構成ブロックを得て、再構成ブロックが再構成画像を構成し、画像またはブロックに基づいて、再構成画像に対してループフィルタを行い、復号化画像を得る。符号化側も同様に復号化側と同様の操作により、復号化画像を得る。符号化側が取得した復号化画像は、通常、再構成画像とも呼ばれる。復号化画像は、後続のフレームに対してインター予測を行うための参照フレームとしてもよい。符号化側によって決定されたブロック分割情報、予測、変換、量子化、エントロピー符号化、ループフィルタなどのモード情報、及びパラメータ情報は、必要に応じてコードストリームに書き込んでもよい。復号化側は、コードストリームを復号化するか、又は既存の情報に応じて分析することにより、符号化側と同じブロック分割情報、予測、変換、量子化、エントロピー符号化、ループフィルタなどのモード情報、及びパラメータ情報を決定し、それにより、符号化側が取得した復号化画像と復号化側が取得した復号化画像とが同じであることを保証する。

【0051】

以上は、ブロックに基づくハイブリッド符号化フレームワークを例にしたが、本開示の実施例はこれに限定されなく、技術の発展に伴い、当該フレームワークにおける１つまたは複数のモジュール、及び当該プロセスのうちの１つまたは複数のステップは、置換または最適化されてもよい。

【0052】

本明細書では、現在ブロック（ｃｕｒｒｅｎｔ ｂｌｏｃｋ）は、現在の画像における現在の符号化ユニット（ＣＵ）、現在の予測ユニット（ＰＵ）などのブロックレベルの符号化ユニットであってもよい。

【0053】

符号化側がイントラ予測を行う場合、通常、各種の角度モードと非角度モードの助けを借りて、現在ブロックを予測して予測ブロックを得て、予測ブロックと元のブロックから計算されたレート歪み情報に応じて、現在ブロックの最適な予測モードをフィルタリングし、当該予測モードを符号化した後、コードストリームを介して復号化側に伝送する。復号化側は、復号化することによって当該予測モードを得て、当該予測モードに従って、現在ブロックに対してイントラ予測を行う。歴代のデジタルビデオ符号化・復号化規格の発展を経て、非角度モードは相対的安定しており、平均値モード（すなわちＤＣモード）と平面モード（すなわちＰｌａｎａｒモード）があり、角度モードはデジタルビデオ符号化・復号化規格の進化に伴って増加し続け、国際デジタルビデオ符号化規格Ｈシリーズを例にして、Ｈ．２６４／ＡＶＣ規格は８種類の従来の角度予測モードと１種類の従来の非角度予測モードしかなく、Ｈ．２６５／ＨＥＶＣは３３種類の従来の角度予測モードと２種類の従来の非角度予測モードに拡張されている。Ｈ．２６６／ＶＶＣでは、図２に示すように、従来のイントラ予測モードＰｌａｎａｒモード、ＤＣモード、及び６５種類の角度モード。ここで、ＤＣモードは、大面積平坦領域に適用され、その予測値は、左側及び／または上方の参照画素の平均値を計算することによって取得される。Ｐｌａｎａｒ平面モードは、画素漸次変化の場合に適用され、すなわち、画素値がゆっくり変化する領域に適用される。

【0054】

予測ブロックのモードを直接符号化する場合、６７種類のモードで、符号化には７ｂｉｔが必要であり、データ量は多い。統計的特性に応じて、現在ブロックに近い画素領域ほど、現在ブロックと同じイントラ予測モードを選択しやすくなり、この特性に応じて、ＨＥＶＣ、ＶＶＣ、及び拡張圧縮モデル（ＥＣＭ：Ｅｎｈａｎｃｅｄ Ｃｏｍｐｒｅｓｓｉｏｎ Ｍｏｄｅｌ）では、いずれも最も可能なモード（ＭＰＭ：Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）技術が用いられている。ＥＣＭは、ＶＴＭ―１０．０参照ソフトウェアに基づいて、各種の新しいツールを統合し、それにより、符号化・復号化性能をさらに掘り出す参照ソフトウェアである。

【0055】

ＭＰＭ技術は、まずＭＰＭリストを構築し、ＭＰＭリストには、現在ブロックによって最も選択される可能性のあるイントラ予測モードが充填される。現在ブロックによって選択された予測モードがＭＰＭリストにある場合、そのインデックス番号（３ｂｉｔのみ必要）を符号化するだけでよく、現在ブロックによって選択された予測モードがＭＰＭになく、６１個の非ＭＰＭ（ｎｏｎ‐ＭＰＭ）モードにある場合、エントロピー符号化段階で切り捨てバイナリコード（Ｔｒｕｎｃａｔｅｄ Ｂｉｎａｒｙ Ｃｏｄｅ、ＴＢＣ）を用いて、当該予測モードを符号化する。

【0056】

ＶＶＣ内では、マルチ参照行（ＭＲＬ：Ｍｕｌｔｉｐｌｅ ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ）とイントラサブパーティション（ＩＳＰ：Ｉｎｔｒａ Ｓｕｂ―Ｐａｒｔｉｔｉｏｎｓ）が応用されているか否かに関わらず、ＭＰＭ ｌｉｓｔにはいずれも６種類の予測モードがある。一方、ＥＣＭにおけるＭＰＭは、ＭＰＭとＳｅｃｏｎｄａｒｙ ＭＰＭ（第２ＭＰＭ）に分けられ、ＭＰＭとＳｅｃｏｎｄａｒｙ ＭＰＭは、それぞれ長さが６であるリストと、長さが１６であるリストである。ＭＰＭリストの６つのモードのうち、Ｐｌａｎａｒモードは、常にＭＰＭの第１位にあり、残りの５つの位置は、５つのＭＰＭ位置が充填満了されるまで、次の３つのステップで順次行い、余分なモードは、自動的にＳｅｃｏｎｄａｒｙ ＭＰＭに入る。第１ステップ、図３に示すように、現在ブロックの周囲に隣接する５つの予測ブロックが使用する予測モードは、現在ブロックの左上（ＡＬ）、上（Ａ）、右上（ＡＲ）、左（Ｌ）及び左下（ＢＬ）の位置にある予測ブロックが使用する予測モードを含む。第２ステップ、現在ブロックの周囲の再構成画素は、勾配ヒストグラムに基づいて導出されたモードを使用する。第３ステップ、第１ステップが選択した角度モードの角度に近い角度モード。Ｓｅｃｏｎｄａｒｙ ＭＰリストは、ＭＰＭにおけるモード以外の幾つかの主要な角度モードから構成される。

【0057】

ＭＰＭ識別子ビットの符号化・復号化順序はＭＲＬモードの後にあるため、ＥＣＭにおけるＭＰＭの符号化・復号化はＭＲＬ識別子ビットに依存する必要がある。以下の表は１つの例である。

【0058】

テンプレートに基づくイントラモード導出（ＴＩＭＤ：Ｔｅｍｐｌａｔｅ ｂａｓｅｄ ｉｎｔｒａ ｍｏｄｅ ｄｅｒｉｖａｔｉｏｎ）は、輝度フレームに対するイントラ予測モードであり、ＴＩＭＤモードは、ＭＰＭリストにおける候補モードとテンプレートによって生成する。ＥＣＭでは、図４に示すように、現在ブロック（Ｃｕｒｒｅｎｔ ＣＵとして図示）１１の左側隣接領域及び上方隣接領域は、現在ブロックのテンプレート（Ｔｅｍｐｌａｔｅ）領域１２を構成し、テンプレート領域１２の外側（すなわち、左側及び上側）には、テンプレート参照（ｒｅｆｅｒｅｎｃｅ ｏｆ ｔｈｅ ｔｅｍｐｌａｔｅ）領域１３が設けられ、各領域の例示的な寸法及び位置は、図に示す通りである。テンプレート参照領域１３は、テンプレート領域の上方に隣接する１行であってもよく、または左側に隣接する１列であってもよい。

【0059】

ＴＩＭＤは、現在ブロックと現在ブロックのテンプレート領域の分布特性が一致していると仮定し、テンプレート参照領域の再構成値を参照行とし、ＭＰＭ及びＳｅｃｏｎｄａｒｙ ＭＰＭにおける全てのモードをトラバースし、テンプレート領域を予測し、予測結果を得る。次に、テンプレート領域上の再構成値と各モードの予測結果との間の誤差変換絶対値の和（ＳＡＴＤ：Ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｔｒａｎｓｆｏｒｍｅｄ ｄｉｆｆｅｒｅｎｃｅｓ）を計算し、ＳＡＴＤが最小、すなわち最適であるモードを選出し、当該モードを現在ブロックのＴＩＭＤモードとする。復号化側は、同じ導出方式によってＴＩＭＤモードを導出してもよい。シーケンスがＴＩＭＤの使用を許可する場合、各現在ブロックは、ＴＩＭＤを使用するか否かを表すには１つのフラグビットが必要である。現在ブロックに対して選択されたイントラ予測モードがＴＩＭＤモードである場合、現在ブロックはＴＩＭＤモードを使用して予測し、且つ残りの輝度フレーム、及びＩＳＰとＭＰＭのようなイントラ予測に関連する構文要素の復号化過程は、いずれもスキップすることにより、モードの符号化ビットを大幅に低減してもよい。

【0060】

テンプレート領域上の再構成値と各モード予測結果との間のＳＡＴＤを求めた後、以下の方式に応じて、最終的に使用するＴＩＭＤモードを決定してもよい。

【0061】

ｍｏｄｅ１とｍｏｄｅ２はＭＰＭにおけるイントラ予測のための２種類の角度モードであり、ｍｏｄｅ１はＳＡＴＤが最小の角度モードであり、そのＳＡＴＤはｃｏｓｔ１であり、ｍｏｄｅ２はＳＡＴＤが次に小さい角度モードであり、そのＳＡＴＤはｃｏｓｔ２であると仮定し、

【0062】

ｃｏｓｔ１×２≦ｃｏｓｔ２の場合、ｍｏｄｅ１を現在ブロックのＴＩＭＤモードとし、

【0063】

ｃｏｓｔ１×２＞ｃｏｓｔ２の場合、ｍｏｄｅ１とｍｏｄｅ２の予測結果に対して重み付けを行う予測モードを、現在ブロックのＴＭＩＤモードとし、ＴＩＭＤ融合（ｆｕｓｉｏｎ）モードとも呼ばれる。

【0064】

重み付け方法と重みは、以下の式（１）、式（２）に示す通りである。

【0065】

【0066】

【0067】

【0068】

ＨＥＶＣでは、イントラ予測は、現在ブロックに最も近い上側の行と左側の列を参照として予測し、この行と列の再構成値が元の画素値と大きな誤差を有する場合、現在ブロックの予測品質にも大きな影響を与える。この問題を解決するために、ＶＶＣではＭＲＬイントラ予測技術を採用しており、最も近い行の参照画素、すなわち参照行０（Ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ０）を使用する以外、ＶＶＣはさらに、拡張された参照行として参照行１（Ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ１）と参照行２（Ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ２）を使用し、イントラ予測を行ってもよい。符号化の複雑さを低減するために、ＭＲＬはＭＰＭにおける非ｐｌａｎａｒモード上にのみ使用する。符号化側が各角度モードを予測する際、この３つの参照行の全てを試した後、レート歪みコスト（ＲＤ Ｃｏｓｔ）が最小の１つの参照行を選択し、選択された参照行のインデックスは、選択されたイントラ予測モードのインデックスと同様に、符号化して復号化側に送信する。復号化側は、復号化して参照行のインデックスを得て、そして、参照行のインデックスに応じて、対応する参照行を選択して予測する。

【0069】

図５は、４つの参照行を有する例を示しており、当該例は、現在ブロックに隣接する参照行０（ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ０）２２１、すなわち、インデックスが０である参照行と、現在ブロックから１行離間した参照行１（ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ１）２２２、すなわち、インデックスが１である参照行と、現在ブロックから２行離間した参照行２（ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ２）２２３、すなわち、インデックスが２である参照行と、現在ブロックから３行離間した参照行３（ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ３）２２４、すなわち、インデックスが３である参照行と、を含む。予測する際、参照行の一部の再構成値のみを使用してもよい。１つの例では、参照行０における領域を現在ブロックのテンプレート領域とする場合、参照行０はテンプレート領域が位置する参照行と呼ばれてもよく、参照行１から参照行３はテンプレート領域外側に位置する参照行と呼ばれてもよい。

【0070】

本明細書では、参照行のインデックスは、いずれも図５に示す方式で番号付けされており、インデックスが０である参照行を除き、他の参照行は拡張参照行である。

【0071】

本明細書では、参照行は「行」と呼ばれているが、説明の便宜上のためであり、１つの参照行は実際には１行と１列を含み、予測に使用される参照行の再構成値も１行と１列の再構成値を含み、これは本分野で一般に説明されている方法と同じである。

【0072】

ＥＣＭでは、マルチ参照行インデックスの関連の復号化方式は、以下の表１及び表２に示す通りである。ここで、表１は現在ブロックがＴＩＭＤを使用しない場合に用いられ、表２は現在ブロックがＴＩＭＤを使用する場合に用いられる。

【0073】

【表1】

【0074】

ＥＣＭでは、ＭＲＬツールは、より多くの参照行を使用してもよい。現在ブロックによって選択された参照行（すなわち、現在ブロックによって選択された参照行）を符号化するために、複数の候補の参照行のインデックスを１つのリストに埋め込む。本明細書では、当該リストをマルチ参照行インデックスリストと呼ばれ、略してＭＲＬインデックスリストと記載するが、マルチ参照行リスト、候補参照行リスト、参照行インデックスリストなどとも呼ばれてもよい。現在ブロックがＴＩＭＤを使用しない場合、マルチ参照行インデックスリストの長さは６であり、すなわち、合計６つの位置に６つの参照行のインデックスを埋め込んでもよい。この６つの参照行のインデックスとその順序は一定であり、ＭＵＬＴＩ＿ＲＥＦ＿ＬＩＮＥ＿ＩＤＸ［６］＝｛０，１，３，５，７，１２｝と表される。当該マルチ参照行インデックスリストでは、１番目の位置に埋め込まれたインデックスは０であり、現在ブロックに最も近い参照行のインデックスであり、２番目の位置から６番目の位置に埋め込むれたインデックスはそれぞれ１、３、５、７、１２であり、現在ブロックからの距離の近い方から遠い方への５つの拡張された参照行のインデックスである。

【0075】

現在ブロックによって選択された参照行を符号化する際、マルチ参照行インデックスリストの存在のため、当該参照行のインデックスを直接符号化するのではなく、当該参照行のインデックスのマルチ参照行インデックスリストにおける位置のインデックスを符号化し、マルチ参照行インデックス（ｍｕｌｔｉＲｅｆＩｄｘ）と呼ばれ、マルチ参照行インデックスは、現在ブロックによって選択された参照行のインデックスのマルチ参照行インデックスリストにおける位置を指示するために用いられる。ＭＲＬインデックスリスト｛０，１，３，５，７，１２｝を例にして、そのうちの１番目の位置から６番目の位置までのインデックスは、それぞれ０から５であり、現在ブロックによって選択された参照行のインデックスが７であり、インデックス７がマルチ参照行インデックスリストにおける５番目の位置にある場合、マルチ参照行インデックスは４である。

【0076】

マルチ参照行インデックス（ｍｕｌｔｉＲｅｆＩｄｘ）は、コンテキストモデルに基づく単項切り捨てコードなどの方式を用いて符号化してもよいが、これに限定されない。マルチ参照行インデックスの値が小さいほど、コードの長さが少なくなり、復号化が速くなる。

【0077】

ＭＲＬモードは、ＴＩＭＤモードと同時に使用されてもよい。ＴＩＭＤを使用する場合、ＭＲＬインデックスリストの長さは３であり、３つの参照行のインデックスを埋め込み、且つインデックス間の順序は一定であり、ＭＵＬＴＩ＿ＲＥＦ＿ＬＩＮＥ＿ＩＤＸ［３］＝｛０，１，３｝と表される。ただし、０はテンプレート領域の参照行のインデックスであり、１、３は拡張された参照行のインデックスである。

【0078】

マルチ参照行インデックスの符号化・復号化方式は、表２に示す通りである。

【0079】

【表2】

【0080】

理解を容易にするために、上記では、ＭＲＬがＴＩＭＤを使用する場合とＭＲＬが使用しない場合は２つの表に分けて例示され、上記２つの表は１つの表に統合されてもよい。

【0081】

異なる規格では、現在ブロックの周囲のブロックを用いて、１つの最も可能な予測モードのリスト（ＭＰＭ）を導出する技術は、異なる名称を持つことがある。例えば、ＡＶ２（ＡＶＭ）では適応型イントラモード符号化（ＡＩＭＣ：Ａｄａｐｔｉｖｅ Ｉｎｔｒａ Ｍｏｄｅ Ｃｏｄｉｎｇ）と呼ばれ、ＡＶＳ３では、画面コンテンツ符号化の場合、周波数情報に基づくイントラ符号化（ＦＩＭＣ：Ｆｒｅｑｕｅｎｃｙ―ｂａｓｅｄ Ｉｎｔｒａ Ｍｏｄｅ Ｃｏｄｉｎｇ）と呼ばれる。非画面コンテンツ符号化の場合、ＭＰＭのようなこの技術は常に有効になる。一方、マルチ参照行を用いてイントラ予測を行うためのマルチ参照行技術（ＭＲＬ）は、ＡＶ２（ＡＶＭ）ではイントラ予測のためのマルチ参照前選択（ＭＲＬＳ：Ｍｕｌｔｉｐｌｅ ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ｓｅｌｅｃｔｉｏｎ ｆｏｒ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれる。これは単に名称の違いであり、本実施例がＭＰＭとＭＲＬを使用する場合、同様に他の規格におけるこれらの実質的に同じ技術をカバーする。

【0082】

ＶＶＣと比較して、ＥＣＭはＭＲＬの参照行候補の数を拡張するが、イントラのフレーム符号化では０．０９％の符号化性能の向上をもたらすにすぎない。研究により、これはＭＲＬ候補インデックス行の数の増加によるものであり、ＭＲＬモードを符号化するにはより多くの識別位置が必要となり、それによってもたらした追加の負担も増加する。また、上記表１及び表２に示すＭＲＬ復号化方式から分かるように、マルチ参照行インデックスリストは、指定された一定順序のインデックスから構成され、選択された参照行のインデックスの当該表における位置が先頭に近づくほど、マルチ参照行インデックスを符号化するコストが小さくなる。

【0083】

本開示の一実施例では、マルチ参照行インデックスリストソート方法が提供され、当該方法は、符号化側に用いてもよく、復号化側に用いてもよい。図６に示すように、前記方法は、以下のステップを含む。

【0084】

ステップ１１０、現在ブロックのテンプレート領域外側に位置する少なくとも一部の参照行に応じて、前記テンプレート領域をそれぞれ予測し、前記テンプレート領域の再構成値と予測して得られた予測値との間の誤差を計算する。

【0085】

上記誤差は、絶対誤差とＳＡＤで表されてもよく、または誤差変換絶対値とＳＡＴＤで表されてもよいが、これらに限定されず、差の二乗和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均二乗誤差（ＭＳＥ）などで表されてもよい。

【0086】

ステップ１２０、前記誤差の小さい方から大きい方への順に従って、前記誤差に対応する参照行のインデックスを現在ブロックのＭＲＬインデックスリストに埋め込み、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得る。

【0087】

以前の実施例では、ＭＲＬインデックスリストは符号化・復号化システムによって設定されるものであり、ＭＲＬインデックスリストに埋め込んだ参照行のインデックス及び順序は一定である。本開示の実施例は、テンプレートに基づく方式を用いて、現在ブロックのテンプレート領域外側に位置する少なくとも一部の参照行に応じて、テンプレート領域をそれぞれ予測し、テンプレート領域の再構成値と予測して得られた予測値との間の誤差を計算し、誤差の小さい方から大きい方への順に従って、前記誤差に対応する参照行のインデックスを現在ブロックのＭＲＬインデックスリストに埋め込み、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得る。そのため、本開示の実施例に従って構築されたのは、１つのブロックレベルのＭＲＬインデックスリストであり、ここで、参照行のインデックス及び順序が、現在ブロックのテンプレート領域の分布特徴に基づいて決定されたものであるため、現在ブロックによって選択された参照行は、ＭＲＬインデックスリストに現れる可能性が高く、現在のＭＲＬインデックスリストの先頭に近づく位置に現れる可能性が高く、すなわち、符号化する必要があるマルチ参照行インデックスの値は、比較的小さな値である可能性が高いため、コードの長さが少なく、帯域幅の占用が少なく、復号化速度が速くなり、それにより、符号化性能が向上する。

【0088】

本開示の例示的な実施例では、現在ブロックのテンプレート領域外側に位置する少なくとも一部の参照行に応じて、テンプレート領域をそれぞれ予測するステップは、前記少なくとも一部の参照行のうちの各参照行に対して、当該参照行の再構成値と現在ブロックによって選択されたイントラ予測モードを使用し、前記テンプレット領域を予測するステップを含む。本実施例の方法が符号化側で使用される場合、イントラ予測モードで選択が完了し、現在ブロックに対して１つのイントラ予測モード（ここでは、平均モード、平面モード、角度モードなどの従来のイントラ予測モードを指す）を選択した後、現在ブロックによって選択されたイントラ予測モードに基づいて、ソシートに参加する各参照行と結びつけて、テンプレート領域を予測してもよい。本実施例の方法が復号化側で使用される場合、現在ブロックのイントラ予測に関連する構文要素を複号化し、現在ブロックによって選択されたイントラ予測モードを決定した後、上記予測を行い、現在ブロックに基づいてソケットされたＭＲＬインデックスリストを得た後、複号化して得られたマルチ参照行インデックスに応じて、現在ブロックによって選択された参照行を決定してもよい。

【0089】

本開示の例示的な実施例では、前記誤差に対応する参照行のインデックスを現在ブロックのＭＲＬインデックスリストに埋め込むステップとは、前記誤差に対応する参照行のインデックスを、前記ＭＲＬインデックスリストのＫ_１番目の位置から位置ごとに埋め込み、最大でＫ_２番目の位置まで埋め込むことである。ここで、２≦Ｋ_１≦Ｋ_２≦Ｍであり、Ｍは前記ＭＲＬインデックスリストの長さである。実際にＭＲＬインデックスリストに埋め込むインデックスは、Ｍ以下であってもよい。

【0090】

現在ブロックのＭＲＬインデックスリストに、例えば、図５に示す参照行２１（そのインデックスが０である）など、テンプレート領域が位置する参照行を埋め込んでもよいし、例えば、図５に示す参照行２２、２３、及び２４（これら３つの参照行のインデックスがそれぞれ１、２、３である）など、テンプレート領域外側の参照行に埋め込んでもよい。現在ブロックのＭＲＬインデックスリストをソートする際、テンプレート領域が位置する参照行を使用して予測にすることはないため、テンプレート領域が位置する参照行のインデックスはソートに参加せず、これらの参照行が選択される可能性も大きく、本実施例では、それをＭＲＬインデックスリストの先頭に近い１つまたは複数の位置に直接埋め込み、ソートに参加する参照行のインデックスを、Ｋ_１番目の位置から位置ごとに埋め込み、例えばＫ_１は２、３であってもよいが、これに限定されない。

【0091】

本開示の例示的な実施例では、前記方法は、前記現在ブロックに基づいてソートされたＭＲＬインデックスリストにおいて、ソートに参加しない１番目の位置からＫ_１―１番目の位置まで、現在ブロックのテンプレート領域が位置する参照行のインデックスを埋め込むステップをさらに含み、ここで、１番目の位置に埋め込んだ参照行のインデックスは０である。本実施例では、テンプレート領域が、現在ブロックに最も近い行と列に限定される場合、現在ブロックに最も近い参照行のインデックス０を埋め込むだけでよい。しかし、他の実施例では、テンプレート領域は拡張されてもよく、例えば、現在ブロックの上方の２行目と左側の２列目に拡張され、またはより大きな領域に拡張され、すなわち、現在ブロックに最も近い複数の参照行に設置される。この場合、より多くの参照行のインデックスをＭＲＬインデックスリストに埋め込んでもよいが、テンプレート領域と重なる全ての参照行のインデックスをＭＲＬインデックスリストに埋め込むわけではなく、その一部を選択してＭＲＬインデックスリストに埋め込んでもよい。

【0092】

本開示の例示的な実施例では、前記誤差に対応する参照行のインデックスを現在ブロックのＭＲＬインデックスリストに埋め込むステップとは、前記誤差に対応する参照行のインデックスを、前記ＭＲＬインデックスリストの１番目の位置から位置ごとに埋め込み、最大でＫ_２番目の位置まで埋め込むことである。ここで、１≦Ｋ_２≦Ｍであり、Ｍは前記ＭＲＬインデックスリストの長さである。前述の実施例に対して、本実施例は、ＭＲＬインデックスリストに現在ブロックのテンプレート領域が位置する参照行のインデックスを埋め込む必要はない相違点がある。例えば、テンプレート領域が位置する参照行が１行しかないと仮定し、現在ブロックによって選択された参照行のインデックスが０である場合、すなわち拡張された参照行を使用しない場合、当該選択された参照行のインデックスは、マルチ参照行インデックスを使用して表される必要がなく、ＭＲＬ使用フラグ（ｆｌａｇ）を偽にすることにより表されればよい。そのため、ＭＲＬインデックスリストは、インデックス０を埋め込まなくてもよいが、ソートに参加する参照行のインデックスは、誤差の小さい方から大きい方への順に従って、ＭＲＬインデックスリストの１番目の位置から埋め込まれてもよい。

【0093】

本開示の例示的な実施例では、Ｋ_２＜Ｍの場合、前記ＭＲＬインデックスリストのＫ_２＋１番目の位置からＭ番目の位置まで、現在ブロックからの距離の近い方から遠い方への順に従って、位置ごとにＭ―Ｋ_２個の参照行のインデックスを埋め込み、前記Ｍ―Ｋ_２個の参照行は、前記テンプレート領域外側に位置し、システムによって指定され、且つインデックスは前記ＭＲＬインデックスリストに埋め込んだインデックスとは異なる。

【0094】

本実施例は、ＭＲＬインデックスリストの後方に近い１つまたは複数の位置に、誤差の小さい方から大きい方への順に従って、前記誤差に対応する参照行のインデックスを埋め込むのではなく、テンプレート領域外側の指定された参照行を埋め込む。例えば、ＭＲＬインデックスリストの長さＭは６であり、誤差に応じてソートされた参照行のインデックスは、そのうちの２番目の位置と３番目の位置だけに埋め込まれる。１つの例では、設定されたＭＲＬインデックスリストは｛０，１，３，５，７，１２｝であり、１、３、５、７、１２は指定された参照行のインデックスである。本実施例では、インデックスが１～１２である参照行に応じて予測を行い、誤差が最も小さい２行はインデックスが５と７の参照行であると仮定し、この２つの参照行が元々指定された参照行であるため、現在ブロックに基づいてソートされたＭＲＬインデックスリストは｛０，５，７，１，３，１２｝となり、すなわち、設定されたＭＲＬインデックスリストにおいて指定された参照行のインデックス１、３、１２を、ソートされたＭＲＬインデックスリストの後方に近い位置に埋め込む。誤差が最も小さい２行が、インデックスが４と６の参照行である場合、この２行が指定された参照行ではないので、ソートされたＭＲＬインデックスのリストは｛０，４，６，１，３，５｝であり、すなわち、指定された参照行のインデックスは、参照行の現在ブロックからの距離の近い方から遠い方への順に従って位置ごとに埋め込まれるものである。

【0095】

本開示の例示的な実施例では、前記現在ブロックのテンプレート領域は、現在ブロックに最も近い１つの参照行に設置され、すなわち、インデックスが０である参照行に設置される。または、前記現在ブロックのテンプレート領域は、現在ブロックに最も近い複数の参照行に設置され、例えば、インデックスが０、１である２つの参照行に設置され、またはインデックスが０、１、２である３つの参照行に設置され、またはインデックスが０、１、２、３である４つの参照行に設置されるなどである。

【0096】

本開示の例示的な実施例では、前記現在ブロックのテンプレート領域外側に位置する少なくとも一部の参照行は、

【0097】

１）前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行、または

【0098】

２）前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行のうちの奇数行、または

【0099】

３）前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行のうちの偶数行、または

【0100】

４）前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行のうち、隣接する行の間の誤差の比較によって選出されたＮ個の参照行、Ｎ≦Ｎ’、または

【0101】

５）前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行のうち、指定されたＮ個の参照行、を含み、

【0102】

ここで、Ｎ’≦Ｎ_ｍａｘであり、Ｎ_ｍａｘはソートの参加を許可する参照行の最大数である。

【0103】

ソートする際、まず、ソートを参加する参照行の数と、具体的にどちらの参照行を選択するかを決定する必要がある。本実施例は、複数の選択方式を提供する。

【0104】

本実施例では、現在ブロックがＴＩＭＤを使用する場合に設定されたＮ_ｍａｘと、現在ブロックがＴＩＭＤを使用しない場合に設定されたＮ_ｍａｘとがいずれも１２であると仮定し、テンプレート領域が現在ブロックに最も近い参照行、すなわち、インデックスが０である参照行にあり、且つ現在ブロックの参照行が、それが位置するＣＴＵの上方境界を超えることが許可されない場合、上記第１方式は、テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行をソートに参加することを選択し、テンプレート領域外側からＣＴＵの上方境界までの参照行の数が１２個の行以上である場合、Ｎ’＝１２であり、すなわち、テンプレート領域外側の現在ブロックに最も近い１２個の参照行を選出してソートに参加することである。１２個の参照行がない場合、Ｎ’はテンプレート領域外側からＣＴＵの上方境界までの参照行の数に等しい。第２方式と第３方式は、それぞれ第１方式によって決定された参照行から、奇数行と偶数行を選出することにより、演算を簡略化することである。

【0105】

本実施例の１つの例では、本実施例の第４方式、すなわち、テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行から、隣接する行の間の誤差の比較によってＮ個の参照行を選出する方式は、以下の方式を用いて実現してもよい。前記テンプレート領域外側の現在ブロックに最も近い１つの参照行を選出された１番目の参照行とし、新たに選出された当該参照行とその隣接する参照行とを１つずつ比較し、当該参照行に最も近く、且つ２つの参照行の間の誤差が設定閾値より大きい１つの隣接する参照行を新たに選出された１つの参照行とし、Ｎ’個の参照行を比較して選択したまで、このように循環する。ここで、前記誤差とは、２つの参照行（比較に参加する２つの参照行）の再構成値間の誤差を指し、または２つの参照行の再構成値を参照とし、テンプレート領域をそれぞれ予測して得られた予測値間の誤差を指す。

【0106】

以下では、１つの例を用いて比較の過程を説明する。説明の便宜上、テンプレート領域外側の参照行を、現在ブロックからの距離の近い方から遠い方への順に番号付けし、現在ブロックに最も近い参照行はテンプレート領域外側の１番目の参照行と呼ばれ、１番目の参照行と略称され、現在ブロックの次に近い参照行はテンプレート領域外側の２番目の参照行と呼ばれ、２番目の参照行と略称され、このように類推する。さらに、テンプレート領域からＣＴＵ上方境界までの参照行の数が、１２より大きいと仮定する。

【0107】

当該比較過程は、以下の通りである。テンプレート領域外側の１番目の参照行を選出した後、１番目の参照行とその隣接する行、すなわち、２番目の参照行との誤差を比較し、誤差が設定閾値より小さい場合、１番目の参照行と３番目の参照行との誤差を比較し続け、誤差が設定閾値より大きい場合、当該３番目の参照行を新たに選出された１行とし、その後そして、当該３番目の参照行とその隣接する行（すなわち、４番目の参照行）との誤差を比較し、誤差が設定閾値より大きい場合、当該４番目の参照行を新たに選択された１行とし、そして、当該４番目の参照行とその隣接する行（すなわち、５番目の参照行）との誤差を比較し、１２番目の参照行の比較が完了するまで類推し、当該１２番目の参照行と最近選出された参照行との間の誤差が設定閾値より大きい場合、１２番目の参照行を選出してソートに参加し、そうでない場合、１２番目の参照行を選択しない。

【0108】

以上の４つの方式を用いた場合、本開示の実施例のＭＲＬインデックスリストソート方法は、ソート自体に限定されず、ソートに参加する参照行を選択することにより、インデックスがＭＲＬインデックスリストに埋め込まれた参照行を選択してもよいことが分かる。これは、最適な参照行を見つけ、ビデオ符号化の効率を向上させるのに有利である。

【0109】

しかし、本開示は、指定された参照行を使用してソートしてもよい。上記第５方式では、ソートに参加する参照行は、テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行から指定されたＮ個の参照行であり、例えば、指定されたインデックスが１、３、５、７、１２である参照行である。この場合、設定されたＭＲＬインデックスリストにおける参照行をソートすることに相当し、新たな参照行は導入されない。

【0110】

本実施例の１つの例では、前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行は、現在ブロックが位置する符号化ツリーユニットＣＴＵの上方境界を超えない参照行である。

【0111】

本実施例の１つの例では、現在ブロックがテンプレートに基づくイントラモードを使用してＴＩＭＤを導出する場合に設定されたＮ_ｍａｘと、現在ブロックがＴＩＭＤを使用しない場合に設定されたＮ_ｍａｘは、いずれも３以上である。１つの例では、現在ブロックがＴＩＭＤを使用する場合に設定されたＮ_ｍａｘは１２であり、現在ブロックがＴＩＭＤを使用しない場合にはＮ_ｍａｘも１２に設定されてもよい。Ｎ_ｍａｘの具体的な値について、本開示は限定されないが、例えば、５、６、７、８、９、１０、１１、１２、１３、１４、１５、及び１８、２４、３６などの１５より大きい値であってもよい。

【0112】

本開示の実施例では、ビデオ復号化方法がさらに提供され、図７に示すように、前記方法、以下のステップを含む。

【0113】

ステップ２１０、コードストリームにおける現在ブロックのイントラ予測関連構文要素を復号化し、現在ブロックがマルチ参照行ＭＲＬの使用を許可する場合、現在ブロックのマルチ参照行インデックスを復号化し続ける。

【0114】

前述したように、マルチ参照行インデックスは、現在ブロックによって選択された参照行のインデックスのＭＲＬインデックスリストにおける位置を指示するために用いられる。

【0115】

ステップ２２０、復号化結果に応じて現在ブロックのＭＲＬインデックスリストのソートを許可すると決定した場合、本開示のいずれかの実施例に記載の方法に従って、現在ブロックのＭＲＬインデックスリストをソートし、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得る。

【0116】

ステップ２３０、前記マルチ参照行インデックスと現在ブロックに基づいてソートされたＭＲＬインデックスリストに応じて、現在ブロックによって選択された参照行を決定し、現在ブロックによって選択された参照行に応じて、現在ブロックに対してイントラ予測を行う。

【0117】

本実施例は、復号化過程において、現在ブロックのＭＲＬインデックスリストのソートを許可すると決定した場合、まず、本開示の上記実施例の方法に応じて、現在ブロックのＭＲＬインデックスリストをソートし、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得て、そして、復号化して得られたマルチ参照行インデックスと現在ブロックに基づいてソートされたＭＲＬインデックスリストに応じて、現在ブロックによって選択された参照行を決定し、さらに、現在ブロックによって選択された参照行に応じて、現在ブロックに対してイントラ予測を行う。本実施例は、現在ブロックに基づいてソートされたＭＲＬインデックスリストを使用して、マルチ参照行インデックスを復号化することにより、現在ブロックによって選択された参照行がＭＲＬインデックスリストの先頭に近づく位置に位置する可能性が高く、それにより、符号化オーバーヘッドを節約し、符号化性能を向上させることができる。

【0118】

本開示の例示的な実施例では、コードストリームにおける現在ブロックのイントラ予測に関連する構文要素を復号化する際、現在ブロックによって選択されたイントラ予測モードを復号化することにより、現在ブロックのＭＲＬインデックスリストをソートするために用いられる。現在ブロックによって選択された参照行に応じて、現在ブロックに対してイントラ予測を行う際、現在ブロックによって選択された参照行と現在ブロックによって選択されたイントラ予測モードに応じて、現在ブロックに対してイントラ予測を行う。

【0119】

本開示の例示的な実施例では、前記方法は、復号化結果に応じて、現在ブロックのＭＲＬインデックスリストのソートを許可しないと決定した場合、前記マルチ参照行インデックスと設定されたＭＲＬインデックスリストに応じて、現在ブロックによって選択された参照行を決定し、現在ブロックによって選択された参照行に応じて、現在ブロックに対してイントラ予測を行うステップをさらに含む。本実施例は、現在ブロックのＭＲＬインデックスリストのソートを許可しないと決定した場合、設定されたＭＲＬインデックスリストを使用して、マルチ参照行インデックスが指す参照行を決定する。

【0120】

本実施例の１つの例では、現在ブロックがＴＩＭＤを使用しないと決定した場合、前記設定されたＭＲＬインデックスリストは｛０，１，３，５，７，１２｝であり、現在ブロックがＴＩＭＤを使用すると決定した場合、前記設定されたＭＲＬインデックスリストは｛０，１，３｝または｛０，１，２｝である。

【0121】

現在ブロックのＭＲＬインデックスリストのソートを許可するか否かについて、マルチ参照行インデックスの復号化に応じて決定されてもよいし、１つのフラグを用いて直接表されてもよい。

【0122】

本開示の例示的な実施例では、前記方法は、現在ブロックのＭＲＬインデックスリストのソートを許可すると決定した場合、現在ブロックのＭＲＬインデックスリストのソートを許可することを表すフラグを真にするステップをさらに含む。

【0123】

本開示の別の例示的な実施例では、以下の条件のうちの任意の１つまたは複数の条件を、現在ブロックのＭＲＬインデックスリストのソートを許可しない十分条件とする。

【0124】

現在ブロックが、マルチ参照行ＭＲＬを使用しないこと、

【0125】

マルチ参照行インデックスが、ＭＲＬインデックスリストにおけるソートに参加しない位置、例えば、１番目の位置を指示すること、

【0126】

現在のフレームが、非輝度フレームであること、

【0127】

現在ブロックが、符号化ツリーユニットＣＴＵの上方境界に位置すること、

【0128】

現在ブロックによって選択されたイントラ予測モードが、指定モードであることであって、前記指定モードは、平面モード、１つのモードが平面モードであるＴＩＭＤ融合モード、平均モード、水平角度モード、垂直角度モード、広角度モードのうちの任意の１つまたは複数を含むこと、

【0129】

現在ブロックのサイズが、設定条件を満たさないこと、

【0130】

現在ブロックの縦横比が、設定条件を満たさないこと。

【0131】

現在ブロックのＭＲＬインデックスリストのソートを許可しない条件（上記例示した条件に限定されない）がいずれも成立しない場合、現在ブロックのＭＲＬインデックスリストのソートを許可すると決定する。

【0132】

１つの例では、現在ブロックがＴＩＭＤを使用する場合と現在ブロックがＴＩＭＤを使用しない場合のうちの１つを、現在ブロックのＭＲＬインデックスリストのソートを許可しない十分条件としてもよい。すなわち、ＭＲＬインデックスリストのソートは、現在ブロックがＴＩＭＤを使用する場合、または現在ブロックがＴＩＭＤを使用しない場合にのみ、許可される。

【0133】

本開示の例示的な実施例では、現在ブロックがＭＲＬを使用する場合、前記方法は、現在ブロックのＭＲＬと同時に使用できる一部の変換モードの構文要素を復号化し、ＭＲＬと同時に使用できない一部の変換モードの構文要素をスキップするステップをさらに含む。

【0134】

本実施例は、現在ブロックがＭＲＬを使用する場合に幾つかの変換モードをスキップしてもよい。ＭＲＬモードは、全てのイントラ予測モードにおいて比較的後方に近い位置にあり、例えば、現在のモードがＤＩＭＤ、ＢＤＰＣＭ、ＭＩＰ、ＴＩＭＤではないと決定してからＭＲＬであるか否かを判断する必要がある。ＶＶＣでは、残差信号は一次変換と二次変換を使用することにより、変換後の残差を符号化しやすくしてもよい。ここで、一次変換はＤＣＴ２変換及びＤＳＴ７を含む。一方、二次変換は、一次変換にＤＣＴ２を用いた上で、一次変換後の残差をさらに変換するものである。ＥＣＭでは、一次変換のモードもさらに拡張されている。異なるモードが選択された場合、表されるには追加のビットが必要であることで、符号語のオーバーヘッドが生じ、同時に、符号化端がこれらの変換モードをトラバースする際、符号化時間も増加することを考慮すると、イントラ予測がマルチ参照行モードを選択した場合、その一次変換がＤＣＴ２モードのみを使用し、且つ二次変換を使用することを制限してもよいし、または、一次変換のみを使用することを制限してもよいし、または、ＤＣＴ２変換のみを使用することを制限してもよい。このようにして、対応する変換モードのインデックスを符号化する際、ＭＲＬモードが選択されているか否かに応じて、変換モードの符号化をスキップすることができる。

【0135】

本開示の例示的な実施例では、現在ブロックがＭＲＬを使用する場合、前記方法は、現在ブロックによって選択されたイントラ予測モードを復号化する過程において、第２ＭＰＭに関連する構文要素の復号化を許可するステップをさらに含む。本実施例は、ＭＲＬと第２ＭＰＭモードを同時に使用することを許可する。

【0136】

本開示の例示的な実施例では、現在ブロックのマルチ参照行インデックスを復号化するステップは、現在ブロックがＴＩＭＤを使用する場合と、現在ブロックがＴＩＭＤを使用しない場合に、異なるＭＲＬインデックスリストに応じて、現在ブロックのマルチ参照行インデックスを復号化するステップを含む。

【0137】

本開示の一実施例では、ビデオ符号化方法がさらに提供され、図８に示すように、前記方法は、以下のステップを含む。

【0138】

ステップ３１０、現在ブロックに対してイントラ予測を行い、現在ブロックによって選択された参照行を決定する。

【0139】

ステップ３２０、現在ブロックのＭＲＬインデックスリストのソートを許可すると決定した場合、請求項１から請求項１１のいずれかに記載の方法に従って、現在ブロックのＭＲＬインデックスリストをソートし、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得る。

【0140】

ステップ３３０、現在ブロックによって選択された参照行のインデックスの、現在ブロックに基づいてソートされたＭＲＬインデックスリストにおける位置に応じて、現在ブロックのマルチ参照行インデックスを決定して符号化する。

【0141】

本実施例は、符号化過程において、現在ブロックのＭＲＬインデックスリストのソートを許可すると決定した場合、まず、本開示の上記実施例の方法に応じて、現在ブロックのＭＲＬインデックスリストをソートし、現在ブロックに基づいてソートされたＭＲＬインデックスを得て、そして、現在ブロックによって選択された参照行のインデックスの、現在ブロックに基づいてソートされたＭＲＬインデックスリストにおける位置に応じて、現在ブロックのマルチ参照行インデックスを決定して符号化する。本実施例は、現在ブロックに基づいてソートされたＭＲＬインデックスリストを使用して、マルチ参照行インデックスを符号化することにより、現在ブロックによって選択された参照行がＭＲＬインデックスリストの先頭に近づく位置に位置する可能性が高く、それにより、マルチ参照行インデックスの符号化オーバーヘッドを節約し、符号化性能を向上させることができる。

【0142】

本開示の例示的な実施例では、現在ブロックのＭＲＬインデックスリストをソートする前に、前記方法は、現在ブロックによって選択されたイントラ予測モードを決定するステップをさらに含む。

【0143】

本開示の例示的な実施例では、前記方法は、現在ブロックのＭＲＬインデックスリストのソートを許可しないと決定した場合、現在ブロックによって選択された参照行のインデックスの、設定されたＭＲＬインデックスにおける位置に応じて、現在ブロックのマルチ参照行インデックスを決定して符号化するステップをさらに含む。本実施例では、現在ブロックのＭＲＬインデックスリストのソートを許可しないと決定した場合、選択された参照行の設定されたＭＲＬインデックスリストにおける位置を用いて、現在ブロックのマルチ参照行インデックスを決定する。

【0144】

本開示の例示的な実施例では、前記方法は、現在ブロックのＭＲＬインデックスリストのソートを許可すると決定した場合、現在ブロックのＭＲＬインデックスリストのソートを許可することを表すフラグを真にするステップをさらに含む。本実施例は、現在ブロックのＭＲＬインデックスリストのソートを許可するか否かについて、直接１つのフラグを用いて表される。

【0145】

本開示の例示的な実施例では、以下の条件のうちの任意の１つまたは複数の条件を、現在ブロックのＭＲＬインデックスリストのソートを許可しない十分条件とする。

【0146】

現在ブロックが、ＭＲＬを使用しないこと、

【0147】

現在ブロックによって選択された参照行が、現在ブロックのテンプレート領域に位置すること、

【0148】

現在のフレームが、非輝度フレームであること、

【0149】

現在ブロックが、符号化ツリーユニットＣＴＵの上方境界に位置すること、

【0150】

現在ブロックによって選択されたイントラ予測モードは、指定モードであり、前記指定モードは、平面モード、１つのモードが平面モードであるＴＩＭＤ融合モード、平均モード、水平角度モード、垂直角度モード、広角度モードのうちの任意の１つまたは複数を含むこと、

【0151】

現在ブロックのサイズが、設定条件を満たさないこと、

【0152】

現在ブロックの縦横比が、設定条件を満たさないこと、

【0153】

現在ブロックがＴＩＭＤを使用する場合と現在ブロックがＴＩＭＤを使用しない場合のうちの１つであること、

【0154】

現在ブロックのＭＲＬインデックスリストのソートを許可しない条件（上記例示した条件に限定されない）がいずれも成立しない場合、現在ブロックのＭＲＬインデックスリストのソートを許可すると決定すること、

【0155】

本開示の例示的な実施例では、現在ブロックがＴＩＭＤを使用する場合及び現在ブロックがＴＩＭＤを使用しない場合、異なるＭＲＬインデックスリストが用いられる。

【0156】

現在ブロックのマルチ参照行インデックスを決定して符号化するステップは、以下のステップを含む。

【0157】

現在ブロックがＴＩＭＤを使用する場合、現在ブロックによって選択された参照行のインデックスの、第１ＭＲＬインデックスリストにおける位置に応じて、現在ブロックのマルチ参照行インデックスを決定して符号化する。

【0158】

現在ブロックがＴＩＭＤを使用しない場合、現在ブロックによって選択された参照行のインデックスの、第２ＭＲＬインデックスリストにおける位置に応じて、現在ブロックのマルチ参照行インデックスを決定して符号化する。

【0159】

ここで、前記第２ＭＲＬインデックスリストの長さは、前記第１ＭＲＬインデックスリストの長さ以上である。

【0160】

本開示の例示的な実施例では、現在ブロックがＭＲＬを使用する場合、前記方法は、現在ブロックのＭＲＬと同時に使用できる一部の変換モードの構文要素を符号化し、ＭＲＬと同時に使用できない一部の変換モードの符号化をスキップするステップをさらに含む。

【0161】

本開示の例示的な実施例では、現在ブロックがＭＲＬを使用し、且つ現在ブロックによって選択されたモードが非ＴＩＭＤモードである場合、前記方法は、前記マルチ参照行インデックスを符号化した後、現在ブロックによって選択されたイントラ予測モードを符号化し続け、且つ現在ブロックによって選択されたイントラ予測モードを符号化する過程において、第２ＭＰＭに関連する構文要素の符号化を許可するステップをさらに含む。

【0162】

本開示の一実施例では、コードストリームがさらに提供される。ここで、前記コードストリームには、現在ブロックのマルチ参照行インデックスが含まれ、前記マルチ参照行インデックスは、現在ブロックによって選択された参照行のインデックスの、ＭＲＬインデックスリストにおける位置を指示するために用いられ、前記ＭＲＬインデックスリストは、現在ブロックに基づいてソートされたＭＲＬインデックスリスト、または設定されたＭＲＬインデックスリストである。本実施例のコードストリームは、本開示のいずれかの実施例に記載のビデオ符号化方法によって生成されてもよい。

【0163】

本開示の一実施例では、マルチ参照行インデックスリストソート装置がさらに提供される。図９に示すように、前記装置は、プロセッサ７１と、コンピュータプログラムが記憶されたメモリ７３とを備え、前記プロセッサ７１は、前記コンピュータプログラムを実行すると、本開示のいずれかの実施例に記載のマルチ参照行インデックスリストソート方法を実現することができる。

【0164】

本開示の一実施例では、ビデオ復号化装置がさらに提供される。図９に示すように、前記装置は、プロセッサと、コンピュータプログラムが記憶されたメモリとを備え、前記プロセッサは、前記コンピュータプログラムを実行すると、本開示のいずれかの実施例に記載のビデオ復号化方法を実現することができる。

【0165】

本開示の一実施例では、ビデオ符号化装置がさらに提供される。図９に示すように、前記装置は、プロセッサと、コンピュータプログラムが記憶されたメモリとを備え、前記プロセッサは、前記コンピュータプログラムを実行すると、本開示のいずれかの実施例に記載のビデオ符号化方法を実現することができる。

【0166】

本開示の上記実施例のプロセッサは、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、略称ＣＰＵ）、ネットワークプロセッサ（Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｏｒ、略称ＮＰ）、マイクロプロセッサなどを含む汎用プロセッサであってもよく、他の通常のプロセッサなどであってもよい。前記プロセッサは、さらにデジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理または他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理デバイス、ディスクリートハードウェアアセンブリであってもよく、上記デバイスの組み合わせであってもよい。すなわち、上記実施例のプロセッサは、本発明の実施例に開示された各方法、ステップ、及び論理ブロック図を実現する任意の処理デバイスまたはデバイスの組み合わせであってもよい。部分的にソフトウェアで本開示の実施例を実装する場合、ソフトウェアに用いられるソフトウェアの命令を、適切な不揮発性コンピュータ可読記憶媒体に記憶されてもよく、且つ１つまたは複数のプロセッサを用いてハードウェアで前記命令を実行して本開示の実施例の方法を実装することができる。

【0167】

本開示の一実施例では、ビデオ符号化・復号化システムがさらに提供され、前記システムは、本開示のいずれかの実施例に記載のビデオ符号化装置と、本開示のいずれかの実施例に記載のビデオ復号化装置とを備える。

【0168】

本開示の一実施例では、非揮発性コンピュータ可読記憶媒体がさらに提供され、前記コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されると、本開示のいずれかの実施例に記載のマルチ参照行インデックスリストソート方法を実現し、または本開示のいずれかの実施例に記載のビデオ復号化方法を実現し、または本開示のいずれかの実施例に記載のビデオ符号化方法を実現する。

【0169】

本開示の一実施例では、ビデオ復号化方法がさらに提供され、復号化過程において、現在ブロックのマルチ参照行インデックスリストをソートする。本実施例では、テンプレート領域に基づくソートは、エンコーダとデコーダの両方が行う必要がある操作であり、ＭＲＬインデックスリストに用いられ、選択された参照行のＭＲＬインデックスリストにおける位置をマルチ参照行インデックスによって表し、現在ブロックに基づいてソートされたＭＲＬインデックスリストと組み合わせ、現在ブロックによって選択された参照行を共通に決定し、決定された当該参照行と選択されたイントラ予測モード（従来の予測モード）を用いて予測する。

【0170】

本実施例では、１つの具体例を用いて、如何にしてテンプレート領域における予測値（ｐｒｅｄ）と再構成値（ｒｅｃｏ）との絶対誤差和（ＳＡＤ：ｔｈｅ ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ）を用いて、ＭＲＬインデックスリストをソートするかについて、説明する。（ｘ，－１）、（－１，ｙ）はそれぞれ現在ブロックの左上隅（０，０）位置に対する座標であり、この実施例では、現在ブロックの１行１列のテンプレート領域について、図１０に示す断面線付き領域を参照する。当該図には、現在ブロックのテンプレート領域外側の６つ参照行が示されている。

【0171】

本実施例の方法は、以下のステップを含む。

【0172】

第１ステップ

【0173】

デコーダはイントラ予測モードを解析し、デコーダはＭＲＬ関連構文要素を解析し、現在ブロックがＭＲＬを使用され又は使用されないことを確認し、また、現在ブロックのマルチ参照行インデックスを復号化する。

【0174】

本実施例に関連する構文表は、以下の表に示す通りである。

【0175】

表では、ｉｎｔｒａ＿ｌｕｍａ＿ｍｒｌ＿ｔａｂ＿ｉｄｘは、現在ブロックがＴＩＭＤを使用しない場合（すなわち、！ｉｎｔｒａ＿ｔｉｍｄ＿ｆｌａｇ）のマルチ参照行インデックスを定義し、現在ブロックによって選択された参照行のインデックスの、ソートされたＭＲＬインデックスリストにおける位置を指示し、その値の範囲は０から５である。ｉｎｔｒａ＿ｔｉｍｄ＿ｌｕｍａ＿ ｒｅｆ＿ｉｄｘは、現在ブロックがＴＩＭＤを使用する場合のマルチ参照行インデックスを定義し、現在ブロックによって選択された参照行のインデックスの、設定されたＭＲＬインデックスリストにおける位置を指示し、その値の範囲は０から２である。この２つの場合のマルチ参照行インデックスは、いずれもコンテキストモデルに基づく切り捨て単項コード符号化・復号化を用いられてもよい。

【0176】

本例は、現在ブロックがＴＩＭＤを使用する場合に、設定されたＭＲＬインデックスリストをソートしないものである。しかし、他の例では、現在ブロックがＴＩＭＤを使用する場合、現在ブロックのＭＲＬインデックスリストをソートしてもよい。現在ブロックがＴＩＭＤを使用する場合に、ＭＲＬインデックスリストをソートする際、インデックスが設定されたＭＲＬインデックスリストに埋め込まれた参照行ソートのみをソートしてもよいし、より多くの参照行を導入し、例えば、現在ブロックがＴＩＭＤを使用しない場合と同じ参照行をソートに参加させてもよい。この場合、ｉｎｔｒａ＿ｔｉｍｄ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘの代わりに、１つのｉｎｔｒａ＿ｌｕｍａ＿ｍｒｌ＿ｔａｂ＿ｉｄｘに似た構文要素を使用してもよい。

【0177】

本明細書の表におけるｔｉｍｄは、文字におけるＴＩＭＤと同じ概念であり、他の概念は同様である。

【0178】

第２ステップ

【0179】

復号化段階が完了した後、現在ブロックを予測する前に、現在ブロックのマルチ参照行インデックスが０でない場合、すなわち、選択された参照行のインデックスが０でない場合、設定されたＭＲＬインデックスリストを使用するのではなく、現在ブロックのＭＲＬインデックスリストをソートする必要がある。ソートは、拡張された参照行（本実施例では、インデックスが０でない参照行）に対してのみ行われる。

【0180】

ソートの過程は、以下の通りである。

【0181】

まず、現在ブロックが画像における位置において許可する拡張参照行の最大数を決定し、原則として、現在ブロックが使用できる上方参照行は、上方ＣＴＵ境界を超えてはならない。ＥＣＭでは、ＣＴＵは最大２５６ｘ２５６であってもよい。現在ブロックの左上隅の画像における位置の縦座標ｙが２５６の余りを取る場合、得られた余りは、上方のＣＴＵ境界内における参照行の数となる。同時に、ＭＲＬが非ＴＩＭＤモードで最大１３個の参照行（ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ０～１２）を使用できるように設定すると、ソートに参加できる参照行はｒｅｆｅｒｅｎｃｅ ｌｉｎｅ １～Ｎとなり、すなわち、インデックスが１～Ｎである参照行である。ここで、Ｎ＝ｍｉｎ（１２，（ｘ％２５６）－１））である。他の実施例では、ハードウェアがサポートしていれば、使用される参照行もＣＴＵ境界を超えてもよい。

【0182】

ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ １～ＮのＮ個の参照行は、ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ０が位置する行のテンプレート領域外側にあり、そのうちの各参照行に対して、選択されたイントラ予測モードを用いてテンプレート領域を予測する。ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ０のテンプレート領域は再構成が完了しているため、この場合、再構成値と予測によって得られた予測値に応じて、ＳＡＤを求めてもよい。Ｎ個のＳＡＤ値を昇順に従ってソートし、対応して計算されたＳＡＤの最も小さいＭ個の参照行のインデックスを、ＭＲＬインデックスリストに埋め込む。

【0183】

具体的には、ＭＲＬインデックスリストは、現在ブロックがＴＩＭＤを使用しない場合に、長さが６であり、ＴＩＭＤを使用する場合に、長さが３であり、この２つのリストが設定された充填値は、それぞれ｛０，１，３，５，７，１２｝と｛０，１，３｝であり、それぞれインデックスが０，１，３，５，７，１２である参照行とインデックスが０，１，３である参照行を表す。本実施例のソートは、ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ １～Ｎをソートするため、ＭＲＬインデックスリストにおける１番目の位置に埋め込むインデックス０は常に変化せず、ソート後の拡張された参照行を後方の位置に埋め込むだけであり、現在ブロックがＴＩＭＤを使用しない場合は、最大５つのインデックスを埋め込むことができ、現在ブロックがＴＩＭＤを使用する場合は、最大２つのインデックスを埋め込むことができる。

【0184】

ソートする過程において、隣接する２行のソート対象参照行が類似した再構成値を有する可能性があり、この場合、これらの２行を使用して予測された結果は類似しており、この場合、そのうちの１行をスキップすることによって、冗長性を除去してもよい、という場合を考慮すべきである。ここでは、２つのスキップ方法を有してもよい。

【0185】

方法１．隣接する２つの参照行の対応する位置における再構成値間のＳＡＤ値を計算し、ＳＡＤ値が１つの予め設定された閾値より小さい場合、これらの２つの参照行の類似度が大きすぎてそのうちの１つの参照行をスキップすべきであると考えられる。隣接する当該参照行がスキップされた場合、選択された当該参照行は、次の最も近い参照行と閾値比較を継続する。

【0186】

方法２．それぞれ２つの参照行を用いてテンプレート領域を予測し、テンプレート領域における予測結果間のＳＡＤ値を計算し、ＳＡＤ値が１つの予め設定された閾値より小さい場合、これらの２行の類似度が大きすぎてそのうちの１行をスキップすべきであると考えられる。

【0187】

上記スキップ方法は、これらの２行のうちの任意の１行をスキップしてもよいが、通常、現在ブロックにより近い参照行の方を参照行とするのが好ましいと考慮し、本実施例は、より遠い参照行の方をスキップする。

【0188】

ＥＣＭでは、ＭＲＬ、ＴＩＭＤ、及びＭＰＭ技術は同時に使用してもよい。ＴＩＭＤの場合、決定されたイントラ予測モードがＴＩＭＤ融合モードとなることがあるが、ＭＲＬとＰｌａｎａｒモードの共通作用は通常、追加のパフォーマンス向上をもたらすことはないため、ＭＲＬが選択された際、イントラ予測モードが、Ｐｌａｎａｒでありまたは１つのモードがＰｌａｎａｒであるＴＩＭＤ融合（ｆｕｓｉｏｎ）モードである場合、ソートしなくてもよい。Ｐｌａｎａｒモードを除き、幾つかの特定の角度またはモードでもソートしなくてもよく、例えば、ＤＣモードでソートせず、広角度でソートせず、水平及び垂直角度モードでソートせず、などである。広角度モードは、長方形の予測ブロックをソートしないのと相当してもよい。

【0189】

ソートしない場合は、これらのリストにおける参照行に対してＳＡＤに基づく再ソートをせず、設定された初期参照行リスト、例えば、｛１，３，５，７，１２｝を直接使用する。

【0190】

本実施例は、幾つかの変換モードをスキップしてもよい。現在のＭＲＬは、全てのイントラモードにおける比較的後方の位置に符号化され、ＥＣＭでは、ＭＲＬであるか否かを判断する前に、現在のモードがＤＩＭＤ、ＢＤＰＣＭ、ＭＩＰ、ＴＩＭＤではないと決定する必要がある。後続の変換モード符号化にはさらに多くの識別子ビットを用いて一次変換と二次変換を識別する必要があることを考慮すると、この点での符号化オーバーヘッドを低減するために、ＭＲＬが一部の変換モードのみと組み合わせて使用するように制限してもよく、例えば、ＤＣＴ２の一次変換のみと共に使用してもよく、またはＤＣＴ２の一次変換及び二次変換のみと共に使用してもよい。例えば、一次変換制限の下で、ＭＲＬがＤＣＴ２のみと共同に使用できると制限された場合、変換モードの構文要素を復号化するために、ＭＲＬが選択されたか否かをチェックすべきであり、選択された場合は、一次変換モードを復号化しない。

【0191】

対応する構文は、以下の通りである。

【0192】

上の表に「ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｔａｂ＿ｉｄｘ ！＝ ０ ＆＆」と記載されている欄では、幾つかの条件を定義することにより、ｍｔｓ＿ｉｄｘ（一次変換によって選択された変換モードインデックス）を復号化するか否かを判断し、そのうち、マルチ参照行インデックスが０でないことを含む。

【0193】

別の例では、一次変換の下で、ＭＲＬが二次変換と共に使用しないと制限された場合、変換モードの構文要素を復号化するために、ＭＲＬが選択されたか否かをチェックすべきであり、選択された場合は、二次変換モードを復号化しない。対応する構文は、以下の通りである。

【0194】

上の表に「ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｔａｂ＿ｉｄｘ ！＝ ０ ＆＆」と記載されている欄では、幾つかの条件を定義することにより、ｌｆｎｓｔ＿ｉｄｘ（二次変換によって選択された変換モードインデックス）を復号化するか否かを判断し、そのうち、マルチ参照行インデックスが０でないことを含む。

【0195】

第３ステップ

【0196】

再ソートされたマルチ参照行インデックスリストと復号化して得られたリストインデックスに応じて、参照行を決定し、現在ブロックを予測する。

【0197】

本実施例は、イントラ予測がマルチ参照行インデックスリストを使用してソートする際、テンプレート領域の予測値と再構成値との間の誤差を使用して、昇順に従ってソートすることによって、現在ブロックに基づいてソートされたマルチ参照行インデックスリストを得て、それにより、予測ために選択された参照行がマルチ参照行インデックスリストのより先頭の位置に配置される可能性がより高くなり、符号化オーバーヘッドを節約することができる。本実施例は、ソートする過程において、閾値設置によって、重複する可能性のあるソート対象の参照行をスキップし、冗長性を低減し、ソート効率を向上させることができる。本実施例では、テンプレート領域が位置する参照行及び当該参照行より小さい参照行はソートに加入できず、候補リストにおける元の位置を維持することができる。

【0198】

本実施例に基づいて、ソート可能な参照行を追加してもよい。本実施例では、ソートに参加するために、最大１２個の拡張された参照行を使用している。実際には、複雑さを考慮していない場合、この制限を取り消すことによって、ソートするための参照行は１２行を超える参照行以外の参照行であってもよく、それによって、より良い符号化・復号化性能を得ることができる。

【0199】

さらに、テンプレート領域のサイズを大きくしてもよく、テンプレート領域は、現在ブロックに最も近い参照行に限定されるものではなく、拡張し続けてもよい。例えば、上方テンプレート領域の右側、左側テンプレート領域の下方、及び左上隅の交差する灰色部分の拡張に拡張する。上方テンプレート領域の上方、左側テンプレート領域の左側に拡張し続けてもよく、これにより、より多くの参照行の領域が使用され、例えば、さらに用いられたｒｅｆｅｒｅｎｃｅ ｌｉｎｅ １の領域がテンプレート領域とする場合、ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ １自体は、ソートに参加できない。

【0200】

ＥＣＭ－４．０参照ソフトウェアでは、本実施例に記載の方法を使用して、現在ブロックがＴＩＭＤを使用しない場合のＭＲＬインデックスリストを再ソートすることは、参照ソフトウェア上で、以下のような性能向上をさらにもたらすことができる。

【0201】

本実施例の上記方法を使用して、現在ブロックがＴＩＭＤを使用する場合及びＴＩＭＤを使用しない場合の両方のＭＲＬインデックスリストをソートすることは、参照ソフトウェア上で、以下のような性能向上をさらにもたらすことができる。

【0202】

以上のテストは、現在ブロックがＴＩＭＤを使用する場合に、ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ １～１２も使用されてソートに参加し、そのうちのＳＡＤが最も小さい２つの参照行ｌｉｎｅ＿ａ、ｌｉｎｅ＿ｂのみを保留し、ソートされたＭＲＬインデックスリスト：｛０，ｌｉｎｅ＿ａ，ｌｉｎｅ＿ｂ｝に埋め込む。

【0203】

表におけるパラメータは、以下の通りである。

【0204】

ＥｎｃＴ：Ｅｎｃｏｄｉｎｇ Ｔｉｍｅ、符号化時間であり、１０Ｘ％は、参照行ソート技術が統合された後、統合されていない前のものと比較して、符号化時間が１０Ｘ％であることを意味し、これはＸ％の符号化時間が増加することを意味する。

【0205】

ＤｅｃＴ：Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ、復号化時間であり、１０Ｘ％は、参照行ソート技術が統合された後、統合されていない前のものと比較して、復号化時間が１０Ｘ％であることを意味し、これはＸ％の復号化時間が増加することを意味する。

【0206】

ＣｌａｓｓＡ１とＣｌａｓｓＡ２は、解像度が３８４０ｘ２１６０のテストビデオシーケンスであり、ＣｌａｓｓＢは１９２０ｘ１０８０解像度のテストシーケンスであり、ＣｌａｓｓＣは８３２ｘ４８０であり、ＣｌａｓｓＤは４１６ｘ２４０であり、ＣｌａｓｓＥは１２８０ｘ７２０であり、ＣｌａｓｓＦは幾つかの異なる解像度のスクリーンコンテンツシーケンス（Ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ）である。

【0207】

Ａｌｌ ｉｎｔｒａは、全イントラフレーム構成のテスト構成を表す。

【0208】

上記の１つまたは複数の例示的な実施例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらのいずれかの組み合わせで実行してもよい。ソフトウェアで実現される場合、機能は１つまたは複数の命令またはコードとして、コンピュータ可読媒体に記憶されてもよく、または、コンピュータ可読媒体を介して伝送され、且つハードウェアに基づく処理ユニットによって実行されてもよい。コンピュータ可読媒体は、例えばデータ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含んでもよく、または、コンピュータプログラム、例えば通信プロトコルに応じて、ある場所から別の場所への伝送を容易にする任意の媒体などの通信媒体を含んでもよい。このように、コンピュータ可読媒体は、通常、非一時的な有形コンピュータ可読記憶媒体、または、信号またはキャリアなどの通信媒体に対応してもよい。データ記憶媒体が、１つまたは複数のコンピュータ、または１つまたは複数のプロセッサにより記憶及び呼び出しされることにより、本開示に記載の技術的命令、コード、及び／またはデータ構造を実現するための任意の使用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可読媒体を含んでもよい。

【0209】

例えば、このようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶装置、フラッシュメモリまたは所望のプログラムコードを命令またはデータ構造の形式で記憶でき、且つコンピュータによってアクセス可能な任意の他の媒体を含んでもよいが、それに限定されるものではない。また、任意の接続をコンピュータ可読媒体と呼んでもよく、例えば、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）、または赤外線、無線、及びマイクロ波などの無線技術を使用して、ウェブサイト、サーバ、または他の遠隔ソースから命令を伝送する場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、マイクロ波などの無線技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体及びデータ記憶媒体が、接続、キャリア、信号、または他の揮発性（ｖｏｌａｔｉｌｅ）的媒体を含まず、非揮発性有形記憶媒体に対するものであることは、理解すべきである。本明細書で使用されたように、磁気ディスク及び光ディスクは、コンパクトディスク（ＣＤ）、レーザディスク、光学ディスク、デジタル多機能ディスク（ＤＶＤ）、フロッピーディスクまたはブルーレイディスクなどを含み、ここで、磁気ディスクは通常磁気的にデータを再生し、光ディスクはレーザを用いて光学的にデータを再生する。上述の組み合わせも、コンピュータ可読媒体の範囲内に含まれるべきである。

【0210】

例えば、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはその他の同等の集積またはディスクリート論理回路などの１つまたは複数のプロセッサによって、命令を実行してもよい。そのため、本明細書で使用される「プロセッサ」という用語は、上記構造、または本明細書に記載の技術を実装するのに適したいずれかの他の構造のうちのいずれかを指してもよい。また、幾つかの態様では、本明細書に記載の機能は、符号化及び復号化のために構成された専用ハードウェア及び／またはソフトウェアモジュール内に提供されてもよく、またはパッケージ型コーデックに組み込まれてもよい。さらに、前記技術は、１つまたは複数の回路または論理素子に完全に実装されてもよい。

【0211】

本開示の実施例の技術方案は、無線携帯電話、集積回路（ＩＣ）、または１セットのＩＣ（例えば、チップセット）を含む多種の装置またはデバイスに実現されてもよい。本開示の実施例では、各種のアセンブリ、モジュール、またはユニットが記載されたが、構成によって記載の技術を実行する装置の機能方面を強調するが、必ずしも異なるハードウェアユニットによって実現される必要はない。むしろ、上記のように、各種のユニットは、コーデックハードウェアユニットに組み合わされてもよく、または相互操作ハードウェアユニット（上記の１つまたは複数のプロセッサを含む）の集合と適切なソフトウェア及び／またはファームウェアとの結びつけによって提供されてもよい。

【図1A】

【図1B】

【図1C】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【手続補正書】

【提出日】2025-06-20

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【発明の詳細な説明】

【技術分野】

【0001】

本開示の実施例は、ビデオ技術に関するが、これに限定されなく、より具体的には、マルチ参照行インデックスリストソート方法、ビデオ符号化・復号化方法、装置及びシステムに関する。

【背景技術】

【0002】

デジタルビデオ圧縮技術は、主に膨大なデジタル映像ビデオデータを圧縮することにより、伝送及び記憶などを容易にする。現在の一般的なビデオ符号化・復号化規格、例えば、Ｈ．２６６／Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（多機能ビデオ符号化、ＶＶＣ）は、いずれもブロックに基づくハイブリッド符号化フレームワークを使用している。ビデオにおける各フレームは、同じサイズ（例えば、１２８×１２８、６４×６４など）の正方形の最大符号化ユニット（ＬＣＵ：ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ）に分割される。各最大符号化ユニットは、規則に応じて矩形の符号化ユニット（ＣＵ：ｃｏｄｉｎｇ ｕｎｉｔ）に分割されてもよい。符号化ユニットは、さらに予測ユニット（ＰＵ：ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）、変換ユニット（ＴＵ：ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）などに分割されてもよい。ハイブリッド符号化フレームワークは、予測（ｐｒｅｄｉｃｔｉｏｎ）、変換（ｔｒａｎｓｆｏｒｍ）、量子化（ｑｕａｎｔｉｚａｔｉｏｎ）、エントロピー符号化（ｅｎｔｒｏｐｙ ｃｏｄｉｎｇ）、ループフィルタ（ｉｎ ｌｏｏｐ ｆｉｌｔｅｒ）などのモジュールを含む。予測モジュールは、ビデオ内の冗長性を低減または取り出すためのイントラ予測（ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）及びインター予測（ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）を含む。イントラブロックは、ブロック周囲の画素を参照として予測し、インターブロックは、空間上の隣接ブロックの情報及び他のフレーム内の参照情報を参照する。予測信号に対して、残差情報は、ブロックを単位とする変換、量子化、及びエントロピー符号化によって、コードストリームになる。これらの技術は規格に記載されており、ビデオ圧縮に関連するさまざまな分野で実施されている。

【0003】

インターネットビデオの急増と人々のビデオの鮮明度に対する要求の高まりに伴い、既存のデジタルビデオ圧縮規格は多くのビデオデータを節約できるが、デジタルビデオ伝送の帯域幅と流量圧力を低減するために、依然としてより優れたデジタルビデオ圧縮技術を追求する必要がある。

【発明の概要】

【課題を解決するための手段】

【0004】

以下は、本明細書で詳しく説明されている主題の概要である。当該概要は、特許請求の範囲を限定することを意図するものではない。

【0005】

本開示の一実施例では、マルチ参照行インデックスリストソート方法が提供され、前記方法は、

【0006】

現在ブロックのテンプレート領域外側に位置する少なくとも一部の参照行に応じて、前記テンプレート領域をそれぞれ予測し、前記テンプレート領域の再構成値と予測して得られた予測値との間の誤差を計算するステップと、

【0007】

前記誤差の小さい方から大きい方への順に従って、前記誤差に対応する参照行のインデックスを現在ブロックのＭＲＬインデックスリストに埋め込み、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得るステップと、を含む。

【0008】

本開示の一実施例では、ビデオ復号化方法がさらに提供され、前記方法は、

【0009】

コードストリームにおける現在ブロックのイントラ予測関連構文要素を復号化し、現在ブロックがマルチ参照行ＭＲＬの使用を許可する場合、現在ブロックのマルチ参照行インデックスを復号化し続けるステップであって、前記マルチ参照行インデックスは、現在ブロックによって選択された参照行のインデックスのＭＲＬインデックスリストにおける位置を指示するために用いられるステップと、

【0010】

復号化結果に応じて、現在ブロックのＭＲＬインデックスリストのソートを許可すると決定した場合、本開示のいずれかの実施例に記載の方法に従って、現在ブロックのＭＲＬインデックスリストをソートし、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得るステップと、

【0011】

前記マルチ参照行インデックスと現在ブロックに基づいてソートされたＭＲＬインデックスリストに応じて、現在ブロックによって選択された参照行を決定し、現在ブロックによって選択された参照行に応じて、現在ブロックに対してイントラ予測を行うステップと、を含む。

【0012】

本開示の一実施例では、ビデオ符号化方法がさらに提供され、前記方法は、

【0013】

現在ブロックに対してイントラ予測を行い、現在ブロックによって選択された参照行を決定するステップと、

【0014】

現在ブロックのＭＲＬインデックスリストのソートを許可すると決定した場合、本開示のいずれかの実施例に記載の方法に従って、現在ブロックのＭＲＬインデックスリストをソートし、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得るステップと、

【0015】

現在ブロックによって選択された参照行のインデックスの、現在ブロックに基づいてソートされたＭＲＬインデックスリストにおける位置に応じて、現在ブロックのマルチ参照行インデックスを決定して符号化するステップと、を含む。

【0016】

本開示の一実施例では、コードストリームが提供され、前記コードストリームには、現在ブロックのマルチ参照行インデックスが含まれ、前記マルチ参照行インデックスは、現在ブロックによって選択された参照行のインデックスの、ＭＲＬインデックスリストにおける位置を指示するために用いられ、前記ＭＲＬインデックスリストは、現在ブロックに基づいてソートされたＭＲＬインデックスリスト、または設定されたＭＲＬインデックスリストである。

【0017】

本開示の一実施例では、マルチ参照行インデックスリストソート装置がさらに提供され、前記装置は、プロセッサと、コンピュータプログラムが記憶されたメモリとを備え、前記プロセッサは、前記コンピュータプログラムを実行すると、本開示のいずれかの実施例に記載のマルチ参照行インデックスリストソート方法を実現することができる。

【0018】

本開示の一実施例では、ビデオ復号化装置がさらに提供され、前記装置は、プロセッサと、コンピュータプログラムが記憶されたメモリとを備え、前記プロセッサは、前記コンピュータプログラムを実行すると、本開示のいずれかの実施例に記載のビデオ復号化方法を実現することができる。

【0019】

本開示の一実施例では、ビデオ符号化装置がさらに提供され、前記装置は、プロセッサと、コンピュータプログラムが記憶されたメモリとを備え、前記プロセッサは、前記コンピュータプログラムを実行すると、本開示のいずれかの実施例に記載のビデオ符号化方法を実現することができる。

【0020】

本開示の一実施例では、ビデオ符号化・復号化システムがさらに提供され、前記ビデオ符号化・復号化システムは、本開示のいずれかの実施例に記載のビデオ符号化装置と、本開示のいずれかの実施例に記載のビデオ復号化装置とを備える。

【0021】

本開示の一実施例では、非一時的コンピュータ可読記憶媒体がさらに提供され、前記コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されると、本開示のいずれかの実施例に記載のマルチ参照行インデックスリストソート方法を実現し、または本開示のいずれかの実施例に記載のビデオ復号化方法を実現し、または本開示のいずれかの実施例に記載のビデオ符号化方法を実現する。

【0022】

図面及び詳細な説明を読んで理解した後、他の態様を理解することができる。

【図面の簡単な説明】

【0023】

図面は、本開示の実施例の理解を提供するために用いられ、明細書の一部を構成し、本開示の実施例とともに本開示の技術方案を説明するために用いられ、本開示の技術方案の限定を構成するものではない。

【図1A】本開示の一実施例に係る符号化・復号化システムの概略図である。

【図1B】本開示の一実施例に係る符号化側のブロック図である。

【図1C】本開示の一実施例に係る復号化側のブロック図である。

【図2】本開示の一実施例に係るイントラ予測モードの概略図である。

【図3】本開示の一実施例に係る現在ブロックの隣接するイントラ予測ブロックの概略図である。

【図4】本開示の一実施例に係る現在ブロックのテンプレート領域及びテンプレート参照領域の概略図である。

【図5】本開示の一実施例に係る現在ブロックの周囲の複数の参照行の概略図である。

【図6】本開示の一実施例に係るマルチ参照行インデックスリストソート方法のフローチャートである。

【図7】本開示の一実施例に係るビデオ復号化方法のフローチャートである。

【図8】本開示の一実施例に係るビデオ符号化方法のフローチャートである。

【図9】本開示の一実施例に係るマルチ参照行インデックスリストソート装置の概略図である。

【図10】本開示の一実施例に係る現在ブロックの周囲のテンプレート及び複数の参照行の概略図である。

【発明を実施するための形態】

【0024】

本開示は複数の実施例を説明するが、当該説明は例示的なものであり、限定的なものではなく、当業者にとって明らかなように、本開示に記載の実施例によって含まれる範囲内に、より多くの実施例及び実現方案が存在し得る。

【0025】

本開示の説明において、「例示的に」または「例えば」などの用語は、例、例証、または説明を表すために用いられる。本開示において「例示的」または「例えば」として説明されるいずれかの実施例は、他の実施例よりも好ましいまたは有利であると解釈されるべきではない。本明細書における「及び／または」は、関連対象の関連関係の説明であり、３つの関係を表すことができる。例えば、Ａ及び／またはＢは、Ａが単独で存在、ＡとＢが同時に存在、及びＢが単独で存在という３種類の状況を表すことができる。「複数」とは、２つまたは２つより大きいことを指す。また、本開示の実施例の技術方案の説明を明確且つ容易にするために、「第１」及び「第２」などの用語を用いて、機能及び役割が実質的に同一である同一項または同様項を区別する。当業者であれば、「第１」及び「第２」などの用語が、数及び実行順序を限定せず、且つ「第１」及び「第２」などの用語が必ずしも異なるものであるとは限定しないことは、理解される。

【0026】

代表的な例示的な実施例を説明する際、明細書は、方法及び／またはプロセスを特定のステップシーケンスとして提供した可能性がある。しかしながら、当該方法またはプロセスが本明細書に記載のステップの特定順序に依存しない程度では、当該方法またはプロセスは、記載の特定順序のステップに限定されるべきではない。当業者が理解可能な他のステップ順序も可能である。そのため、明細書に記載されたステップの特定順序は、特許請求の範囲を限定するものとして解釈されるべきではない。さらに、当該方法及び／またはプロセスのための請求項は、記載された順序でそれらを実行するステップに限定されるべきではなく、当業者であれば、これらの順序が変更可能であり、且つ依然として本開示の実施例の主旨及び範囲内に保持できることは、容易に理解される。

【0027】

本開示の実施例によって提供されるマルチ参照行インデックスリストソート方法及びビデオ符号化・復号化方法は、各種のビデオ符号化・復号化規格に応用してもよく、例えば、Ｈ．２６４／Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（高度なビデオコーディング、ＡＶＣ）、Ｈ．２６５／Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（高効率ビデオ符号化、ＨＥＶＣ）、Ｈ．２６６／Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（多機能ビデオ符号化、ＶＶＣ）、ＡＶＳ（Ａｕｄｉｏ Ｖｉｄｅｏ ｃｏｄｉｎｇ Ｓｔａｎｄａｒｄ、オーディオビデオ符号化規格）、及びＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ、ムービング・ピクチャー・エキスパート・グループ）、ＡＯＭ（オープンメディアアライアンス、Ａｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ）、ＪＶＥＴ（ジョイントビデオエキスパートチーム、Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ）によって作成した他の規格及びこれらの規格の拡張、またはいずれかのカスタマイズされた他の規格などである。

【0028】

図１Ａは、本開示の実施例に係るビデオ符号化・復号化システムのブロック図である。図に示すように、当該システムは、符号化側装置１と復号化側装置２とに分割される。符号化側装置１は、コードストリームを生成する。復号化側装置２は、コードストリームを復号化してもよい。復号化側装置２は、リンク３を介して符号化側装置１からコードストリームを受信してもよい。リンク３は、コードストリームを符号化側装置１から復号化側装置２に移動することを可能にする１つまたは複数のメディアまたは装置を含む。１つの例では、リンク３は、符号化側装置１がコードストリームを復号化側装置２に直接送信することを可能にする１つまたは複数の通信媒体を含む。符号化側装置１は、通信規格（例えば、無線通信プロトコル）に応じて、コードストリームを変調し、変調されたコードストリームを復号化側装置２に送信する。前記１つまたは複数の通信媒体は、無線及び／または有線通信媒体を含んでもよく、パケットネットワークの一部を形成してもよい。別の例では、コードストリームを出力インターフェース１５から１つの記憶装置に出力してもよく、復号化側装置２は、コードストリーム伝送またはダウンロードを介して、当該記憶装置から記憶されたデータを読み出してもよい。

【0029】

図に示すように、符号化側装置１は、データソース１１、ビデオ符号化装置１３、及び出力インターフェース１５を備える。データソース１１は、ビデオキャプチャ装置（例えば、ビデオカメラ）、以前にキャプチャされたデータを含むアーカイブ、コンテンツプロバイダからデータを受信するためのフィードインターフェース、データを生成するためのコンピュータグラフィックスシステム、またはこれらのソースの組み合わせを含む。ビデオ符号化装置１３は、データソース１１からのデータを符号化してから出力インターフェース１５に出力する。出力インターフェース１５は、レギュレータ、モデム、及びエミッタのうちの少なくとも１つを含んでもよい。復号化側装置２は、入力インターフェース２１、ビデオ復号化装置２３、及び表示装置２５を備える。入力インターフェース２１は、受信機及びモデムのうちの少なくとも１つを含む。入力インターフェース２１は、リンク３を介して、または記憶装置からコードストリームを受信してもよい。ビデオ復号化装置２３は、受信したコードストリームを復号化する。表示装置２５は、復号化されたデータを表示するために用いられる。表示装置２５は、復号化側装置２の他の装置と統合されてもよく、または単独に設置されてもよい。表示装置２５は、復号化側にとって選択的なものである。他の例では、復号化側は、復号化されたデータを応用する他の装置または設備を含んでもよい。

【0030】

図１Ａに示すビデオ符号化・復号化システムに基づいて、各種のビデオ符号化・復号化方法を用いてビデオ圧縮及び圧縮の解除を実現してもよい。

【0031】

図１Ｂは、本開示の実施例に係る例示的なビデオ符号化装置のブロック図である。図に示すように、当該ビデオ符号化装置１０００は、予測ユニット１１００、分割ユニット１１０１、残差生成ユニット１１０２（図中では、分割ユニット１１０１の後のプラス記号付きの丸で表す）、変換処理ユニット１１０４、量子化ユニット１１０６、逆量子化ユニット１１０８、逆変換処理ユニット１１１０、再構成ユニット１１１２（図中では、逆変換処理ユニット１１１０の後のプラス記号付きの丸で表す）、フィルタユニット１１１３、復号化画像バッファ１１１４、及びエントロピー符号化ユニット１１１５を備える。ここで、予測ユニット１１００は、インター予測ユニット１１２１及びイントラ予測ユニット１１２６を含み、復号化画像バッファ１１１４は、復号化済みの画像バッファ、復号化ピクチャバッファ、復号化済みのピクチャバッファなどと呼ばれてもよい。ビデオ符号化装置１０００は、当該例よりもより多く、より少なく、または異なる機能アセンブリを含んでもよく、例えば、場合によっては、変換処理ユニット１１０４、逆変換処理ユニット１１１０などを含まなくてもよい。

【0032】

分割ユニット１１０１は、予測ユニット１１００と協働して、受信したビデオデータをスライス（Ｓｌｉｃｅ）、符号化ツリーユニット（ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）、または他の比較的に大きいユニットに分割する。分割ユニット１１０１によって受信されたビデオデータは、Ｉフレーム、Ｐフレーム、またはＢフレームなどのビデオフレームを含むビデオシーケンスであってもよい。

【0033】

予測ユニット１１００は、ＣＴＵを符号化ユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）に分割し、ＣＵに対してイントラ予測符号化またはインター予測符号化を実行してもよい。ＣＵに対してイントラ予測及びインター予測を行う場合、ＣＵを１つまたは複数の予測ユニット（ＰＵ：ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）に分割してもよい。

【0034】

インター予測ユニット１１２１は、ＰＵに対してインター予測を実行し、ＰＵの予測データを生成してもよい。前記予測データは、ＰＵの予測ブロック、ＰＵの運動情報、及び各種の構文要素を含む。インター予測ユニット１１２１は、運動推定（ＭＥ：ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）ユニット及び運動補償（ＭＣ：ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）ユニットを含んでもよい。運動推定ユニットは、運動推定に使用されることにより、運動ベクトルを生成してもよく、運動補償ユニットは、運動ベクトルに応じて予測ブロックを取得または生成するために用いられてもよい。

【0035】

イントラ予測ユニット１１２６は、ＰＵに対してイントラ予測を実行し、ＰＵの予測データを生成してもよい。ＰＵの予測データは、ＰＵの予測ブロック及び各種の構文要素を含んでもよい。

【0036】

残差生成ユニット１１０２は、ＣＵの元のブロックに基づいてＣＵが分割されたＰＵの予測ブロックを減算して、ＣＵの残差ブロックを生成してもよい。

【0037】

変換処理ユニット１１０４は、ＣＵを１つまたは複数の変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）に分割してもよく、予測ユニットと変換ユニットの分割は異なってもよい。ＴＵ関連の残差ブロックは、ＣＵの残差ブロックが分割されたサブブロックである。１つまたは複数の変換をＴＵ関連の残差ブロックに応用することによって、ＴＵ関連の係数ブロックを生成する。

【0038】

量子化ユニット１１０６は、選択された量子化パラメータに基づいて、係数ブロックにおける係数を量子化し、量子化パラメータ（ＱＰ：Ｑｕａｎｔｉｚｅｒ Ｐａｒａｍｅｔｅｒ）を調整することによって、係数ブロックの量子化の程度を調整してもよい。

【0039】

逆量子化ユニット１１０８及び逆変換ユニット１１１０は、それぞれ逆量子化及び逆変換を係数ブロックに応用し、ＴＵ関連の再構成残差ブロックを得てもよい。

【0040】

再構成ユニット１１１２は、前記再構成残差ブロックと予測ユニット１１００によって生成された予測ブロックとを加算し、再構成画像を生成してもよい。

【0041】

フィルタユニット１１１３は、再構成画像に対してループフィルタを実行し、フィルタされた再構成画像を参照画像として復号化画像バッファ１１１４に記憶する。イントラ予測ユニット１１２６は、復号化画像バッファ１１１４からＰＵ近傍のブロックの参照画像を抽出することにより、イントラ予測を実行してもよい。インター予測ユニット１１２１は、復号化画像バッファ１１１４にキャッシュされた前のフレームの参照画像を用いて、現在フレーム画像のＰＵに対してインター予測を実行してもよい。

【0042】

エントロピー符号化ユニット１１１５は、受信したデータ（例えば、構文要素、量子化された係数ブロック、運動情報など）に対して、エントロピー符号化操作を実行してもよい。

【0043】

図１Ｃは、本開示の実施例に係る例示的なビデオ復号化装置のブロック図である。図に示すように、ビデオ復号化装置１０１は、エントロピー復号化ユニット１５０、予測ユニット１５２、逆量子化ユニット１５４、逆変換処理ユニット１５５、再構成ユニット１５８（図中では、逆変換処理ユニット１５５の後のプラス記号付きの丸で表す）、フィルタユニット１５９、及び復号化画像バッファ１６０を備える。他の実施例では、ビデオ復号化装置１０１は、より多く、より少なく、または異なる機能アセンブリを含んでもよく、例えば、場合によっては、逆変換処理ユニット１５５などを含まなくてもよい。

【0044】

エントロピー復号化ユニット１５０は、受信したコードストリームに対してエントロピー復号化を実行し、構文要素、量子化された係数ブロック、及びＰＵの運動情報などを抽出してもよい。予測ユニット１５２、逆量子化ユニット１５４、逆変換処理ユニット１５５、再構成ユニット１５８、及びフィルタユニット１５９は、いずれもコードストリームから抽出された構文要素に基づいて、対応する操作を実行してもよい。

【0045】

逆量子化ユニット１５４は、量子化されたＴＵ関連の係数ブロックを逆量子化してもよい。

【0046】

逆変換処理ユニット１５５は、１つまたは複数の逆変換を逆量子化された係数ブロックに応用することにより、ＴＵの再構成残差ブロックの生成を容易してもよい。

【0047】

予測ユニット１５２は、インター予測ユニット１６２とイントラ予測ユニット１６４とを含む。ＰＵがイントラ予測符号化を使用する場合、イントラ予測ユニット１６４は、コードストリームから復号化された構文要素に基づいて、ＰＵのイントラ予測モードを決定し、決定されたイントラ予測モード及び復号化画像バッファ１６０から取得されたＰＵ近傍の再構成済みの参照情報に応じて、イントラ予測を実行し、ＰＵの予測ブロックを生成してもよい。ＰＵがインター予測符号化を使用する場合、インター予測ユニット１６２は、ＰＵの運動情報及び対応する構文要素に基づいて、ＰＵの１つまたは複数の参照ブロックを決定し、復号化画像バッファ１６０から取得された前記参照ブロックに基づいて、ＰＵの予測ブロックを生成してもよい。

【0048】

再構成ユニット１５８は、ＴＵ関連の再構成残差ブロック及び予測ユニット１５２によって生成されたＰＵの予測ブロックに基づいて、再構成画像を得てもよい。

【0049】

フィルタユニット１５９は、再構成画像に対してループフィルタを実行してもよく、ループフィルタされた再構成画像は、復号化画像バッファ１６０に記憶される。復号化画像バッファ１６０は、参照画像を提供することにより、後続の運動補償、イントラ予測、インター予測などのために使用してもよく、フィルタされた再構成画像を復号化済みのビデオデータとして出力し、表示装置に表示してもよい。

【0050】

上記ビデオ符号化装置及びビデオ復号化装置に基づいて、以下の基本的な符号化・復号化プロセスを実行してもよい。符号化側では、１フレームの画像をブロックに分割し、現在ブロックに対してイントラ予測またはインター予測または他のアルゴリズムを行い、現在ブロックの予測ブロックを生成し、現在ブロックの元のブロックを用いて、予測ブロックを減算して残差ブロックを得て、残差ブロックを変換及び量子化して量子化係数を得て、量子化係数をエントロピー符号化してコードストリームを生成する。復号化側では、現在ブロックに対してイントラ予測またはインター予測を行い、現在ブロックの予測ブロックを生成する一方、コードストリームを復号化して得られた量子化係数を逆量子化及び逆変換し、残差ブロックを得て、予測ブロックと残差ブロックとを加算して再構成ブロックを得て、再構成ブロックが再構成画像を構成し、画像またはブロックに基づいて、再構成画像に対してループフィルタを行い、復号化画像を得る。符号化側も同様に復号化側と同様の操作により、復号化画像を得る。符号化側が取得した復号化画像は、通常、再構成画像とも呼ばれる。復号化画像は、後続のフレームに対してインター予測を行うための参照フレームとしてもよい。符号化側によって決定されたブロック分割情報、予測、変換、量子化、エントロピー符号化、ループフィルタなどのモード情報、及びパラメータ情報は、必要に応じてコードストリームに書き込んでもよい。復号化側は、コードストリームを復号化するか、又は既存の情報に応じて分析することにより、符号化側と同じブロック分割情報、予測、変換、量子化、エントロピー符号化、ループフィルタなどのモード情報、及びパラメータ情報を決定し、それにより、符号化側が取得した復号化画像と復号化側が取得した復号化画像とが同じであることを保証する。

【0051】

以上は、ブロックに基づくハイブリッド符号化フレームワークを例にしたが、本開示の実施例はこれに限定されなく、技術の発展に伴い、当該フレームワークにおける１つまたは複数のモジュール、及び当該プロセスのうちの１つまたは複数のステップは、置換または最適化されてもよい。

【0052】

本明細書では、現在ブロック（ｃｕｒｒｅｎｔ ｂｌｏｃｋ）は、現在の画像における現在の符号化ユニット（ＣＵ）、現在の予測ユニット（ＰＵ）などのブロックレベルの符号化ユニットであってもよい。

【0053】

符号化側がイントラ予測を行う場合、通常、各種の角度モードと非角度モードの助けを借りて、現在ブロックを予測して予測ブロックを得て、予測ブロックと元のブロックから計算されたレート歪み情報に応じて、現在ブロックの最適な予測モードをフィルタリングし、当該予測モードを符号化した後、コードストリームを介して復号化側に伝送する。復号化側は、復号化することによって当該予測モードを得て、当該予測モードに従って、現在ブロックに対してイントラ予測を行う。歴代のデジタルビデオ符号化・復号化規格の発展を経て、非角度モードは相対的安定しており、平均値モード（すなわちＤＣモード）と平面モード（すなわちＰｌａｎａｒモード）があり、角度モードはデジタルビデオ符号化・復号化規格の進化に伴って増加し続け、国際デジタルビデオ符号化規格Ｈシリーズを例にして、Ｈ．２６４／ＡＶＣ規格は８種類の従来の角度予測モードと１種類の従来の非角度予測モードしかなく、Ｈ．２６５／ＨＥＶＣは３３種類の従来の角度予測モードと２種類の従来の非角度予測モードに拡張されている。Ｈ．２６６／ＶＶＣでは、図２に示すように、従来のイントラ予測モードＰｌａｎａｒモード、ＤＣモード、及び６５種類の角度モード。ここで、ＤＣモードは、大面積平坦領域に適用され、その予測値は、左側及び／または上方の参照画素の平均値を計算することによって取得される。Ｐｌａｎａｒ平面モードは、画素漸次変化の場合に適用され、すなわち、画素値がゆっくり変化する領域に適用される。

【0054】

予測ブロックのモードを直接符号化する場合、６７種類のモードで、符号化には７ｂｉｔが必要であり、データ量は多い。統計的特性に応じて、現在ブロックに近い画素領域ほど、現在ブロックと同じイントラ予測モードを選択しやすくなり、この特性に応じて、ＨＥＶＣ、ＶＶＣ、及び拡張圧縮モデル（ＥＣＭ：Ｅｎｈａｎｃｅｄ Ｃｏｍｐｒｅｓｓｉｏｎ Ｍｏｄｅｌ）では、いずれも最も可能なモード（ＭＰＭ：Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）技術が用いられている。ＥＣＭは、ＶＴＭ―１０．０参照ソフトウェアに基づいて、各種の新しいツールを統合し、それにより、符号化・復号化性能をさらに掘り出す参照ソフトウェアである。

【0055】

ＭＰＭ技術は、まずＭＰＭリストを構築し、ＭＰＭリストには、現在ブロックによって最も選択される可能性のあるイントラ予測モードが充填される。現在ブロックによって選択された予測モードがＭＰＭリストにある場合、そのインデックス番号（３ｂｉｔのみ必要）を符号化するだけでよく、現在ブロックによって選択された予測モードがＭＰＭになく、６１個の非ＭＰＭ（ｎｏｎ‐ＭＰＭ）モードにある場合、エントロピー符号化段階で切り捨てバイナリコード（Ｔｒｕｎｃａｔｅｄ Ｂｉｎａｒｙ Ｃｏｄｅ、ＴＢＣ）を用いて、当該予測モードを符号化する。

【0056】

ＶＶＣ内では、マルチ参照行（ＭＲＬ：Ｍｕｌｔｉｐｌｅ ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ）とイントラサブパーティション（ＩＳＰ：Ｉｎｔｒａ Ｓｕｂ―Ｐａｒｔｉｔｉｏｎｓ）が応用されているか否かに関わらず、ＭＰＭ ｌｉｓｔにはいずれも６種類の予測モードがある。一方、ＥＣＭにおけるＭＰＭは、ＭＰＭとＳｅｃｏｎｄａｒｙ ＭＰＭ（第２ＭＰＭ）に分けられ、ＭＰＭとＳｅｃｏｎｄａｒｙ ＭＰＭは、それぞれ長さが６であるリストと、長さが１６であるリストである。ＭＰＭリストの６つのモードのうち、Ｐｌａｎａｒモードは、常にＭＰＭの第１位にあり、残りの５つの位置は、５つのＭＰＭ位置が充填満了されるまで、次の３つのステップで順次行い、余分なモードは、自動的にＳｅｃｏｎｄａｒｙ ＭＰＭに入る。第１ステップ、図３に示すように、現在ブロックの周囲に隣接する５つの予測ブロックが使用する予測モードは、現在ブロックの左上（ＡＬ）、上（Ａ）、右上（ＡＲ）、左（Ｌ）及び左下（ＢＬ）の位置にある予測ブロックが使用する予測モードを含む。第２ステップ、現在ブロックの周囲の再構成画素は、勾配ヒストグラムに基づいて導出されたモードを使用する。第３ステップ、第１ステップが選択した角度モードの角度に近い角度モード。Ｓｅｃｏｎｄａｒｙ ＭＰリストは、ＭＰＭにおけるモード以外の幾つかの主要な角度モードから構成される。

【0057】

ＭＰＭ識別子ビットの符号化・復号化順序はＭＲＬモードの後にあるため、ＥＣＭにおけるＭＰＭの符号化・復号化はＭＲＬ識別子ビットに依存する必要がある。以下の表は１つの例である。

【0058】

テンプレートに基づくイントラモード導出（ＴＩＭＤ：Ｔｅｍｐｌａｔｅ ｂａｓｅｄ ｉｎｔｒａ ｍｏｄｅ ｄｅｒｉｖａｔｉｏｎ）は、輝度フレームに対するイントラ予測モードであり、ＴＩＭＤモードは、ＭＰＭリストにおける候補モードとテンプレートによって生成する。ＥＣＭでは、図４に示すように、現在ブロック（Ｃｕｒｒｅｎｔ ＣＵとして図示）１１の左側隣接領域及び上方隣接領域は、現在ブロックのテンプレート（Ｔｅｍｐｌａｔｅ）領域１２を構成し、テンプレート領域１２の外側（すなわち、左側及び上側）には、テンプレート参照（ｒｅｆｅｒｅｎｃｅ ｏｆ ｔｈｅ ｔｅｍｐｌａｔｅ）領域１３が設けられ、各領域の例示的な寸法及び位置は、図に示す通りである。テンプレート参照領域１３は、テンプレート領域の上方に隣接する１行であってもよく、または左側に隣接する１列であってもよい。

【0059】

ＴＩＭＤは、現在ブロックと現在ブロックのテンプレート領域の分布特性が一致していると仮定し、テンプレート参照領域の再構成値を参照行とし、ＭＰＭ及びＳｅｃｏｎｄａｒｙ ＭＰＭにおける全てのモードをトラバースし、テンプレート領域を予測し、予測結果を得る。次に、テンプレート領域上の再構成値と各モードの予測結果との間の誤差変換絶対値の和（ＳＡＴＤ：Ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｔｒａｎｓｆｏｒｍｅｄ ｄｉｆｆｅｒｅｎｃｅｓ）を計算し、ＳＡＴＤが最小、すなわち最適であるモードを選出し、当該モードを現在ブロックのＴＩＭＤモードとする。復号化側は、同じ導出方式によってＴＩＭＤモードを導出してもよい。シーケンスがＴＩＭＤの使用を許可する場合、各現在ブロックは、ＴＩＭＤを使用するか否かを表すには１つのフラグビットが必要である。現在ブロックに対して選択されたイントラ予測モードがＴＩＭＤモードである場合、現在ブロックはＴＩＭＤモードを使用して予測し、且つ残りの輝度フレーム、及びＩＳＰとＭＰＭのようなイントラ予測に関連する構文要素の復号化過程は、いずれもスキップすることにより、モードの符号化ビットを大幅に低減してもよい。

【0060】

テンプレート領域上の再構成値と各モード予測結果との間のＳＡＴＤを求めた後、以下の方式に応じて、最終的に使用するＴＩＭＤモードを決定してもよい。

【0061】

【0062】

ｃｏｓｔ１×２≦ｃｏｓｔ２の場合、ｍｏｄｅ１を現在ブロックのＴＩＭＤモードとし、

【0063】

ｃｏｓｔ１×２＞ｃｏｓｔ２の場合、ｍｏｄｅ１とｍｏｄｅ２の予測結果に対して重み付けを行う予測モードを、現在ブロックのＴＭＩＤモードとし、ＴＩＭＤ融合（ｆｕｓｉｏｎ）モードとも呼ばれる。

【0064】

重み付け方法と重みは、以下の式（１）、式（２）に示す通りである。

【0065】

【0066】

【0067】

【0068】

ＨＥＶＣでは、イントラ予測は、現在ブロックに最も近い上側の行と左側の列を参照として予測し、この行と列の再構成値が元の画素値と大きな誤差を有する場合、現在ブロックの予測品質にも大きな影響を与える。この問題を解決するために、ＶＶＣではＭＲＬイントラ予測技術を採用しており、最も近い行の参照画素、すなわち参照行０（Ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ０）を使用する以外、ＶＶＣはさらに、拡張された参照行として参照行１（Ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ１）と参照行２（Ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ２）を使用し、イントラ予測を行ってもよい。符号化の複雑さを低減するために、ＭＲＬはＭＰＭにおける非ｐｌａｎａｒモード上にのみ使用する。符号化側が各角度モードを予測する際、この３つの参照行の全てを試した後、レート歪みコスト（ＲＤ Ｃｏｓｔ）が最小の１つの参照行を選択し、選択された参照行のインデックスは、選択されたイントラ予測モードのインデックスと同様に、符号化して復号化側に送信する。復号化側は、復号化して参照行のインデックスを得て、そして、参照行のインデックスに応じて、対応する参照行を選択して予測する。

【0069】

図５は、４つの参照行を有する例を示しており、当該例は、現在ブロックに隣接する参照行０（ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ０）２２１、すなわち、インデックスが０である参照行と、現在ブロックから１行離間した参照行１（ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ１）２２２、すなわち、インデックスが１である参照行と、現在ブロックから２行離間した参照行２（ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ２）２２３、すなわち、インデックスが２である参照行と、現在ブロックから３行離間した参照行３（ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ３）２２４、すなわち、インデックスが３である参照行と、を含む。予測する際、参照行の一部の再構成値のみを使用してもよい。１つの例では、参照行０における領域を現在ブロックのテンプレート領域とする場合、参照行０はテンプレート領域が位置する参照行と呼ばれてもよく、参照行１から参照行３はテンプレート領域外側に位置する参照行と呼ばれてもよい。

【0070】

本明細書では、参照行のインデックスは、いずれも図５に示す方式で番号付けされており、インデックスが０である参照行を除き、他の参照行は拡張参照行である。

【0071】

本明細書では、参照行は「行」と呼ばれているが、説明の便宜上のためであり、１つの参照行は実際には１行と１列を含み、予測に使用される参照行の再構成値も１行と１列の再構成値を含み、これは本分野で一般に説明されている方法と同じである。

【0072】

ＥＣＭでは、マルチ参照行インデックスの関連の復号化方式は、以下の表１及び表２に示す通りである。ここで、表１は現在ブロックがＴＩＭＤを使用しない場合に用いられ、表２は現在ブロックがＴＩＭＤを使用する場合に用いられる。

【0073】

【表1】

【0074】

ＥＣＭでは、ＭＲＬツールは、より多くの参照行を使用してもよい。現在ブロックによって選択された参照行（すなわち、現在ブロックによって選択された参照行）を符号化するために、複数の候補の参照行のインデックスを１つのリストに埋め込む。本明細書では、当該リストをマルチ参照行インデックスリストと呼ばれ、略してＭＲＬインデックスリストと記載するが、マルチ参照行リスト、候補参照行リスト、参照行インデックスリストなどとも呼ばれてもよい。現在ブロックがＴＩＭＤを使用しない場合、マルチ参照行インデックスリストの長さは６であり、すなわち、合計６つの位置に６つの参照行のインデックスを埋め込んでもよい。この６つの参照行のインデックスとその順序は一定であり、ＭＵＬＴＩ＿ＲＥＦ＿ＬＩＮＥ＿ＩＤＸ［６］＝｛０，１，３，５，７，１２｝と表される。当該マルチ参照行インデックスリストでは、１番目の位置に埋め込まれたインデックスは０であり、現在ブロックに最も近い参照行のインデックスであり、２番目の位置から６番目の位置に埋め込むれたインデックスはそれぞれ１、３、５、７、１２であり、現在ブロックからの距離の近い方から遠い方への５つの拡張された参照行のインデックスである。

【0075】

現在ブロックによって選択された参照行を符号化する際、マルチ参照行インデックスリストの存在のため、当該参照行のインデックスを直接符号化するのではなく、当該参照行のインデックスのマルチ参照行インデックスリストにおける位置のインデックスを符号化し、マルチ参照行インデックス（ｍｕｌｔｉＲｅｆＩｄｘ）と呼ばれ、マルチ参照行インデックスは、現在ブロックによって選択された参照行のインデックスのマルチ参照行インデックスリストにおける位置を指示するために用いられる。ＭＲＬインデックスリスト｛０，１，３，５，７，１２｝を例にして、そのうちの１番目の位置から６番目の位置までのインデックスは、それぞれ０から５であり、現在ブロックによって選択された参照行のインデックスが７であり、インデックス７がマルチ参照行インデックスリストにおける５番目の位置にある場合、マルチ参照行インデックスは４である。

【0076】

マルチ参照行インデックス（ｍｕｌｔｉＲｅｆＩｄｘ）は、コンテキストモデルに基づく単項切り捨てコードなどの方式を用いて符号化してもよいが、これに限定されない。マルチ参照行インデックスの値が小さいほど、コードの長さが少なくなり、復号化が速くなる。

【0077】

ＭＲＬモードは、ＴＩＭＤモードと同時に使用されてもよい。ＴＩＭＤを使用する場合、ＭＲＬインデックスリストの長さは３であり、３つの参照行のインデックスを埋め込み、且つインデックス間の順序は一定であり、ＭＵＬＴＩ＿ＲＥＦ＿ＬＩＮＥ＿ＩＤＸ［３］＝｛０，１，３｝と表される。ただし、０はテンプレート領域の参照行のインデックスであり、１、３は拡張された参照行のインデックスである。

【0078】

マルチ参照行インデックスの符号化・復号化方式は、表２に示す通りである。

【0079】

【表2】

【0080】

理解を容易にするために、上記では、ＭＲＬがＴＩＭＤを使用する場合とＭＲＬが使用しない場合は２つの表に分けて例示され、上記２つの表は１つの表に統合されてもよい。

【0081】

異なる規格では、現在ブロックの周囲のブロックを用いて、１つの最も可能な予測モードのリスト（ＭＰＭ）を導出する技術は、異なる名称を持つことがある。例えば、ＡＶ２（ＡＶＭ）では適応型イントラモード符号化（ＡＩＭＣ：Ａｄａｐｔｉｖｅ Ｉｎｔｒａ Ｍｏｄｅ Ｃｏｄｉｎｇ）と呼ばれ、ＡＶＳ３では、画面コンテンツ符号化の場合、周波数情報に基づくイントラ符号化（ＦＩＭＣ：Ｆｒｅｑｕｅｎｃｙ―ｂａｓｅｄ Ｉｎｔｒａ Ｍｏｄｅ Ｃｏｄｉｎｇ）と呼ばれる。非画面コンテンツ符号化の場合、ＭＰＭのようなこの技術は常に有効になる。一方、マルチ参照行を用いてイントラ予測を行うためのマルチ参照行技術（ＭＲＬ）は、ＡＶ２（ＡＶＭ）ではイントラ予測のためのマルチ参照前選択（ＭＲＬＳ：Ｍｕｌｔｉｐｌｅ ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ｓｅｌｅｃｔｉｏｎ ｆｏｒ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれる。これは単に名称の違いであり、本実施例がＭＰＭとＭＲＬを使用する場合、同様に他の規格におけるこれらの実質的に同じ技術をカバーする。

【0082】

ＶＶＣと比較して、ＥＣＭはＭＲＬの参照行候補の数を拡張するが、イントラのフレーム符号化では０．０９％の符号化性能の向上をもたらすにすぎない。研究により、これはＭＲＬ候補インデックス行の数の増加によるものであり、ＭＲＬモードを符号化するにはより多くの識別位置が必要となり、それによってもたらした追加の負担も増加する。また、上記表１及び表２に示すＭＲＬ復号化方式から分かるように、マルチ参照行インデックスリストは、指定された一定順序のインデックスから構成され、選択された参照行のインデックスの当該表における位置が先頭に近づくほど、マルチ参照行インデックスを符号化するコストが小さくなる。

【0083】

本開示の一実施例では、マルチ参照行インデックスリストソート方法が提供され、当該方法は、符号化側に用いてもよく、復号化側に用いてもよい。図６に示すように、前記方法は、以下のステップを含む。

【0084】

ステップ１１０、現在ブロックのテンプレート領域外側に位置する少なくとも一部の参照行に応じて、前記テンプレート領域をそれぞれ予測し、前記テンプレート領域の再構成値と予測して得られた予測値との間の誤差を計算する。

【0085】

上記誤差は、絶対誤差とＳＡＤで表されてもよく、または誤差変換絶対値とＳＡＴＤで表されてもよいが、これらに限定されず、差の二乗和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均二乗誤差（ＭＳＥ）などで表されてもよい。

【0086】

ステップ１２０、前記誤差の小さい方から大きい方への順に従って、前記誤差に対応する参照行のインデックスを現在ブロックのＭＲＬインデックスリストに埋め込み、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得る。

【0087】

以前の実施例では、ＭＲＬインデックスリストは符号化・復号化システムによって設定されるものであり、ＭＲＬインデックスリストに埋め込んだ参照行のインデックス及び順序は一定である。本開示の実施例は、テンプレートに基づく方式を用いて、現在ブロックのテンプレート領域外側に位置する少なくとも一部の参照行に応じて、テンプレート領域をそれぞれ予測し、テンプレート領域の再構成値と予測して得られた予測値との間の誤差を計算し、誤差の小さい方から大きい方への順に従って、前記誤差に対応する参照行のインデックスを現在ブロックのＭＲＬインデックスリストに埋め込み、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得る。そのため、本開示の実施例に従って構築されたのは、１つのブロックレベルのＭＲＬインデックスリストであり、ここで、参照行のインデックス及び順序が、現在ブロックのテンプレート領域の分布特徴に基づいて決定されたものであるため、現在ブロックによって選択された参照行は、ＭＲＬインデックスリストに現れる可能性が高く、現在のＭＲＬインデックスリストの先頭に近づく位置に現れる可能性が高く、すなわち、符号化する必要があるマルチ参照行インデックスの値は、比較的小さな値である可能性が高いため、コードの長さが少なく、帯域幅の占用が少なく、復号化速度が速くなり、それにより、符号化性能が向上する。

【0088】

本開示の例示的な実施例では、現在ブロックのテンプレート領域外側に位置する少なくとも一部の参照行に応じて、テンプレート領域をそれぞれ予測するステップは、前記少なくとも一部の参照行のうちの各参照行に対して、当該参照行の再構成値と現在ブロックによって選択されたイントラ予測モードを使用し、前記テンプレット領域を予測するステップを含む。本実施例の方法が符号化側で使用される場合、イントラ予測モードで選択が完了し、現在ブロックに対して１つのイントラ予測モード（ここでは、平均モード、平面モード、角度モードなどの従来のイントラ予測モードを指す）を選択した後、現在ブロックによって選択されたイントラ予測モードに基づいて、ソシートに参加する各参照行と結びつけて、テンプレート領域を予測してもよい。本実施例の方法が復号化側で使用される場合、現在ブロックのイントラ予測に関連する構文要素を複号化し、現在ブロックによって選択されたイントラ予測モードを決定した後、上記予測を行い、現在ブロックに基づいてソケットされたＭＲＬインデックスリストを得た後、複号化して得られたマルチ参照行インデックスに応じて、現在ブロックによって選択された参照行を決定してもよい。

【0089】

本開示の例示的な実施例では、前記誤差に対応する参照行のインデックスを現在ブロックのＭＲＬインデックスリストに埋め込むステップとは、前記誤差に対応する参照行のインデックスを、前記ＭＲＬインデックスリストのＫ_１番目の位置から位置ごとに埋め込み、最大でＫ_２番目の位置まで埋め込むことである。ここで、２≦Ｋ_１≦Ｋ_２≦Ｍであり、Ｍは前記ＭＲＬインデックスリストの長さである。実際にＭＲＬインデックスリストに埋め込むインデックスは、Ｍ以下であってもよい。

【0090】

現在ブロックのＭＲＬインデックスリストに、例えば、図５に示す参照行２２１（そのインデックスが０である）など、テンプレート領域が位置する参照行のインデックスを埋め込んでもよいし、例えば、図５に示す参照行２２２、２２３、及び２２４（これら３つの参照行のインデックスがそれぞれ１、２、３である）など、テンプレート領域外側の参照行のインデックスに埋め込んでもよい。現在ブロックのＭＲＬインデックスリストをソートする際、テンプレート領域が位置する参照行を使用して予測にすることはないため、テンプレート領域が位置する参照行のインデックスはソートに参加せず、これらの参照行が選択される可能性も大きく、本実施例では、それをＭＲＬインデックスリストの先頭に近い１つまたは複数の位置に直接埋め込み、ソートに参加する参照行のインデックスを、Ｋ_１番目の位置から位置ごとに埋め込み、例えばＫ_１は２、３であってもよいが、これに限定されない。

【0091】

本開示の例示的な実施例では、前記方法は、前記現在ブロックに基づいてソートされたＭＲＬインデックスリストにおいて、ソートに参加しない１番目の位置からＫ_１―１番目の位置まで、現在ブロックのテンプレート領域が位置する参照行のインデックスを埋め込むステップをさらに含み、ここで、１番目の位置に埋め込んだ参照行のインデックスは０である。本実施例では、テンプレート領域が、現在ブロックに最も近い行と列に限定される場合、現在ブロックに最も近い参照行のインデックス０を埋め込むだけでよい。しかし、他の実施例では、テンプレート領域は拡張されてもよく、例えば、現在ブロックの上方の２行目と左側の２列目に拡張され、またはより大きな領域に拡張され、すなわち、現在ブロックに最も近い複数の参照行に設置される。この場合、より多くの参照行のインデックスをＭＲＬインデックスリストに埋め込んでもよいが、テンプレート領域と重なる全ての参照行のインデックスをＭＲＬインデックスリストに埋め込むわけではなく、その一部を選択してＭＲＬインデックスリストに埋め込んでもよい。

【0092】

本開示の例示的な実施例では、前記誤差に対応する参照行のインデックスを現在ブロックのＭＲＬインデックスリストに埋め込むステップとは、前記誤差に対応する参照行のインデックスを、前記ＭＲＬインデックスリストの１番目の位置から位置ごとに埋め込み、最大でＫ_２番目の位置まで埋め込むことである。ここで、１≦Ｋ_２≦Ｍであり、Ｍは前記ＭＲＬインデックスリストの長さである。前述の実施例に対して、本実施例は、ＭＲＬインデックスリストに現在ブロックのテンプレート領域が位置する参照行のインデックスを埋め込む必要はない相違点がある。例えば、テンプレート領域が位置する参照行が１行しかないと仮定し、現在ブロックによって選択された参照行のインデックスが０である場合、すなわち拡張された参照行を使用しない場合、当該選択された参照行のインデックスは、マルチ参照行インデックスを使用して表される必要がなく、ＭＲＬ使用フラグ（ｆｌａｇ）を偽にすることにより表されればよい。そのため、ＭＲＬインデックスリストは、インデックス０を埋め込まなくてもよいが、ソートに参加する参照行のインデックスは、誤差の小さい方から大きい方への順に従って、ＭＲＬインデックスリストの１番目の位置から埋め込まれてもよい。

【0093】

本開示の例示的な実施例では、Ｋ_２＜Ｍの場合、前記ＭＲＬインデックスリストのＫ_２＋１番目の位置からＭ番目の位置まで、現在ブロックからの距離の近い方から遠い方への順に従って、位置ごとにＭ―Ｋ_２個の参照行のインデックスを埋め込み、前記Ｍ―Ｋ_２個の参照行は、前記テンプレート領域外側に位置し、システムによって指定され、且つインデックスは前記ＭＲＬインデックスリストに埋め込んだインデックスとは異なる。

【0094】

本実施例は、ＭＲＬインデックスリストの後方に近い１つまたは複数の位置に、誤差の小さい方から大きい方への順に従って、前記誤差に対応する参照行のインデックスを埋め込むのではなく、テンプレート領域外側の指定された参照行を埋め込む。例えば、ＭＲＬインデックスリストの長さＭは６であり、誤差に応じてソートされた参照行のインデックスは、そのうちの２番目の位置と３番目の位置だけに埋め込まれる。１つの例では、設定されたＭＲＬインデックスリストは｛０，１，３，５，７，１２｝であり、１、３、５、７、１２は指定された参照行のインデックスである。本実施例では、インデックスが１～１２である参照行に応じて予測を行い、誤差が最も小さい２行はインデックスが５と７の参照行であると仮定し、この２つの参照行が元々指定された参照行であるため、現在ブロックに基づいてソートされたＭＲＬインデックスリストは｛０，５，７，１，３，１２｝となり、すなわち、設定されたＭＲＬインデックスリストにおいて指定された参照行のインデックス１、３、１２を、ソートされたＭＲＬインデックスリストの後方に近い位置に埋め込む。誤差が最も小さい２行が、インデックスが４と６の参照行である場合、この２行が指定された参照行ではないので、ソートされたＭＲＬインデックスのリストは｛０，４，６，１，３，５｝であり、すなわち、指定された参照行のインデックスは、参照行の現在ブロックからの距離の近い方から遠い方への順に従って位置ごとに埋め込まれるものである。

【0095】

本開示の例示的な実施例では、前記現在ブロックのテンプレート領域は、現在ブロックに最も近い１つの参照行に設置され、すなわち、インデックスが０である参照行に設置される。または、前記現在ブロックのテンプレート領域は、現在ブロックに最も近い複数の参照行に設置され、例えば、インデックスが０、１である２つの参照行に設置され、またはインデックスが０、１、２である３つの参照行に設置され、またはインデックスが０、１、２、３である４つの参照行に設置されるなどである。

【0096】

本開示の例示的な実施例では、前記現在ブロックのテンプレート領域外側に位置する少なくとも一部の参照行は、

【0097】

１）前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行、または

【0098】

２）前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行のうちの奇数行、または

【0099】

３）前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行のうちの偶数行、または

【0100】

４）前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行のうち、隣接する行の間の誤差の比較によって選出されたＮ個の参照行、Ｎ≦Ｎ’、または

【0101】

５）前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行のうち、指定されたＮ個の参照行、を含み、

【0102】

ここで、Ｎ’≦Ｎ_ｍａｘであり、Ｎ_ｍａｘはソートの参加を許可する参照行の最大数である。

【0103】

ソートする際、まず、ソートを参加する参照行の数と、具体的にどちらの参照行を選択するかを決定する必要がある。本実施例は、複数の選択方式を提供する。

【0104】

本実施例では、現在ブロックがＴＩＭＤを使用する場合に設定されたＮ_ｍａｘと、現在ブロックがＴＩＭＤを使用しない場合に設定されたＮ_ｍａｘとがいずれも１２であると仮定し、テンプレート領域が現在ブロックに最も近い参照行、すなわち、インデックスが０である参照行にあり、且つ現在ブロックの参照行が、それが位置するＣＴＵの上方境界を超えることが許可されない場合、上記第１方式は、テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行をソートに参加することを選択し、テンプレート領域外側からＣＴＵの上方境界までの参照行の数が１２個の行以上である場合、Ｎ’＝１２であり、すなわち、テンプレート領域外側の現在ブロックに最も近い１２個の参照行を選出してソートに参加することである。１２個の参照行がない場合、Ｎ’はテンプレート領域外側からＣＴＵの上方境界までの参照行の数に等しい。第２方式と第３方式は、それぞれ第１方式によって決定された参照行から、奇数行と偶数行を選出することにより、演算を簡略化することである。

【0105】

本実施例の１つの例では、本実施例の第４方式、すなわち、テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行から、隣接する行の間の誤差の比較によってＮ個の参照行を選出する方式は、以下の方式を用いて実現してもよい。前記テンプレート領域外側の現在ブロックに最も近い１つの参照行を選出された１番目の参照行とし、新たに選出された当該参照行とその隣接する参照行とを１つずつ比較し、当該参照行に最も近く、且つ２つの参照行の間の誤差が設定閾値より大きい１つの隣接する参照行を新たに選出された１つの参照行とし、Ｎ’個の参照行を比較して選択したまで、このように循環する。ここで、前記誤差とは、２つの参照行（比較に参加する２つの参照行）の再構成値間の誤差を指し、または２つの参照行の再構成値を参照とし、テンプレート領域をそれぞれ予測して得られた予測値間の誤差を指す。

【0106】

以下では、１つの例を用いて比較の過程を説明する。説明の便宜上、テンプレート領域外側の参照行を、現在ブロックからの距離の近い方から遠い方への順に番号付けし、現在ブロックに最も近い参照行はテンプレート領域外側の１番目の参照行と呼ばれ、１番目の参照行と略称され、現在ブロックの次に近い参照行はテンプレート領域外側の２番目の参照行と呼ばれ、２番目の参照行と略称され、このように類推する。さらに、テンプレート領域からＣＴＵ上方境界までの参照行の数が、１２より大きいと仮定する。

【0107】

当該比較過程は、以下の通りである。テンプレート領域外側の１番目の参照行を選出した後、１番目の参照行とその隣接する行、すなわち、２番目の参照行との誤差を比較し、誤差が設定閾値より小さい場合、１番目の参照行と３番目の参照行との誤差を比較し続け、誤差が設定閾値より大きい場合、当該３番目の参照行を新たに選出された１行とし、その後そして、当該３番目の参照行とその隣接する行（すなわち、４番目の参照行）との誤差を比較し、誤差が設定閾値より大きい場合、当該４番目の参照行を新たに選択された１行とし、そして、当該４番目の参照行とその隣接する行（すなわち、５番目の参照行）との誤差を比較し、１２番目の参照行の比較が完了するまで類推し、当該１２番目の参照行と最近選出された参照行との間の誤差が設定閾値より大きい場合、１２番目の参照行を選出してソートに参加し、そうでない場合、１２番目の参照行を選択しない。

【0108】

以上の４つの方式を用いた場合、本開示の実施例のＭＲＬインデックスリストソート方法は、ソート自体に限定されず、ソートに参加する参照行を選択することにより、インデックスがＭＲＬインデックスリストに埋め込まれた参照行を選択してもよいことが分かる。これは、最適な参照行を見つけ、ビデオ符号化の効率を向上させるのに有利である。

【0109】

しかし、本開示は、指定された参照行を使用してソートしてもよい。上記第５方式では、ソートに参加する参照行は、テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行から指定されたＮ個の参照行であり、例えば、指定されたインデックスが１、３、５、７、１２である参照行である。この場合、設定されたＭＲＬインデックスリストにおける参照行をソートすることに相当し、新たな参照行は導入されない。

【0110】

本実施例の１つの例では、前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行は、現在ブロックが位置する符号化ツリーユニットＣＴＵの上方境界を超えない参照行である。

【0111】

本実施例の１つの例では、現在ブロックがテンプレートに基づくイントラモードを使用してＴＩＭＤを導出する場合に設定されたＮ_ｍａｘと、現在ブロックがＴＩＭＤを使用しない場合に設定されたＮ_ｍａｘは、いずれも３以上である。１つの例では、現在ブロックがＴＩＭＤを使用する場合に設定されたＮ_ｍａｘは１２であり、現在ブロックがＴＩＭＤを使用しない場合にはＮ_ｍａｘも１２に設定されてもよい。Ｎ_ｍａｘの具体的な値について、本開示は限定されないが、例えば、５、６、７、８、９、１０、１１、１２、１３、１４、１５、及び１８、２４、３６などの１５より大きい値であってもよい。

【0112】

本開示の実施例では、ビデオ復号化方法がさらに提供され、図７に示すように、前記方法、以下のステップを含む。

【0113】

ステップ２１０、コードストリームにおける現在ブロックのイントラ予測関連構文要素を復号化し、現在ブロックがマルチ参照行ＭＲＬの使用を許可する場合、現在ブロックのマルチ参照行インデックスを復号化し続ける。

【0114】

前述したように、マルチ参照行インデックスは、現在ブロックによって選択された参照行のインデックスのＭＲＬインデックスリストにおける位置を指示するために用いられる。

【0115】

ステップ２２０、復号化結果に応じて現在ブロックのＭＲＬインデックスリストのソートを許可すると決定した場合、本開示のいずれかの実施例に記載の方法に従って、現在ブロックのＭＲＬインデックスリストをソートし、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得る。

【0116】

ステップ２３０、前記マルチ参照行インデックスと現在ブロックに基づいてソートされたＭＲＬインデックスリストに応じて、現在ブロックによって選択された参照行を決定し、現在ブロックによって選択された参照行に応じて、現在ブロックに対してイントラ予測を行う。

【0117】

本実施例は、復号化過程において、現在ブロックのＭＲＬインデックスリストのソートを許可すると決定した場合、まず、本開示の上記実施例の方法に応じて、現在ブロックのＭＲＬインデックスリストをソートし、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得て、そして、復号化して得られたマルチ参照行インデックスと現在ブロックに基づいてソートされたＭＲＬインデックスリストに応じて、現在ブロックによって選択された参照行を決定し、さらに、現在ブロックによって選択された参照行に応じて、現在ブロックに対してイントラ予測を行う。本実施例は、現在ブロックに基づいてソートされたＭＲＬインデックスリストを使用して、マルチ参照行インデックスを復号化することにより、現在ブロックによって選択された参照行がＭＲＬインデックスリストの先頭に近づく位置に位置する可能性が高く、それにより、符号化オーバーヘッドを節約し、符号化性能を向上させることができる。

【0118】

本開示の例示的な実施例では、コードストリームにおける現在ブロックのイントラ予測に関連する構文要素を復号化する際、現在ブロックによって選択されたイントラ予測モードを復号化することにより、現在ブロックのＭＲＬインデックスリストをソートするために用いられる。現在ブロックによって選択された参照行に応じて、現在ブロックに対してイントラ予測を行う際、現在ブロックによって選択された参照行と現在ブロックによって選択されたイントラ予測モードに応じて、現在ブロックに対してイントラ予測を行う。

【0119】

本開示の例示的な実施例では、前記方法は、復号化結果に応じて、現在ブロックのＭＲＬインデックスリストのソートを許可しないと決定した場合、前記マルチ参照行インデックスと設定されたＭＲＬインデックスリストに応じて、現在ブロックによって選択された参照行を決定し、現在ブロックによって選択された参照行に応じて、現在ブロックに対してイントラ予測を行うステップをさらに含む。本実施例は、現在ブロックのＭＲＬインデックスリストのソートを許可しないと決定した場合、設定されたＭＲＬインデックスリストを使用して、マルチ参照行インデックスが指す参照行を決定する。

【0120】

本実施例の１つの例では、現在ブロックがＴＩＭＤを使用しないと決定した場合、前記設定されたＭＲＬインデックスリストは｛０，１，３，５，７，１２｝であり、現在ブロックがＴＩＭＤを使用すると決定した場合、前記設定されたＭＲＬインデックスリストは｛０，１，３｝または｛０，１，２｝である。

【0121】

現在ブロックのＭＲＬインデックスリストのソートを許可するか否かについて、マルチ参照行インデックスの復号化に応じて決定されてもよいし、１つのフラグを用いて直接表されてもよい。

【0122】

本開示の例示的な実施例では、前記方法は、現在ブロックのＭＲＬインデックスリストのソートを許可すると決定した場合、現在ブロックのＭＲＬインデックスリストのソートを許可することを表すフラグを真にするステップをさらに含む。

【0123】

本開示の別の例示的な実施例では、以下の条件のうちの任意の１つまたは複数の条件を、現在ブロックのＭＲＬインデックスリストのソートを許可しない十分条件とする。

【0124】

現在ブロックが、マルチ参照行ＭＲＬを使用しないこと、

【0125】

マルチ参照行インデックスが、ＭＲＬインデックスリストにおけるソートに参加しない位置、例えば、１番目の位置を指示すること、

【0126】

現在のフレームが、非輝度フレームであること、

【0127】

現在ブロックが、符号化ツリーユニットＣＴＵの上方境界に位置すること、

【0128】

現在ブロックによって選択されたイントラ予測モードが、指定モードであることであって、前記指定モードは、平面モード、１つのモードが平面モードであるＴＩＭＤ融合モード、平均モード、水平角度モード、垂直角度モード、広角度モードのうちの任意の１つまたは複数を含むこと、

【0129】

現在ブロックのサイズが、設定条件を満たさないこと、

【0130】

現在ブロックの縦横比が、設定条件を満たさないこと。

【0131】

現在ブロックのＭＲＬインデックスリストのソートを許可しない条件（上記例示した条件に限定されない）がいずれも成立しない場合、現在ブロックのＭＲＬインデックスリストのソートを許可すると決定する。

【0132】

１つの例では、現在ブロックがＴＩＭＤを使用する場合と現在ブロックがＴＩＭＤを使用しない場合のうちの１つを、現在ブロックのＭＲＬインデックスリストのソートを許可しない十分条件としてもよい。すなわち、ＭＲＬインデックスリストのソートは、現在ブロックがＴＩＭＤを使用する場合、または現在ブロックがＴＩＭＤを使用しない場合にのみ、許可される。

【0133】

本開示の例示的な実施例では、現在ブロックがＭＲＬを使用する場合、前記方法は、現在ブロックのＭＲＬと同時に使用できる一部の変換モードの構文要素を復号化し、ＭＲＬと同時に使用できない一部の変換モードの構文要素をスキップするステップをさらに含む。

【0134】

本実施例は、現在ブロックがＭＲＬを使用する場合に幾つかの変換モードをスキップしてもよい。ＭＲＬモードは、全てのイントラ予測モードにおいて比較的後方に近い位置にあり、例えば、現在のモードがＤＩＭＤ、ＢＤＰＣＭ、ＭＩＰ、ＴＩＭＤではないと決定してからＭＲＬであるか否かを判断する必要がある。ＶＶＣでは、残差信号は一次変換と二次変換を使用することにより、変換後の残差を符号化しやすくしてもよい。ここで、一次変換はＤＣＴ２変換及びＤＳＴ７を含む。一方、二次変換は、一次変換にＤＣＴ２を用いた上で、一次変換後の残差をさらに変換するものである。ＥＣＭでは、一次変換のモードもさらに拡張されている。異なるモードが選択された場合、表されるには追加のビットが必要であることで、符号語のオーバーヘッドが生じ、同時に、符号化端がこれらの変換モードをトラバースする際、符号化時間も増加することを考慮すると、イントラ予測がマルチ参照行モードを選択した場合、その一次変換がＤＣＴ２モードのみを使用し、且つ二次変換を使用することを制限してもよいし、または、一次変換のみを使用することを制限してもよいし、または、ＤＣＴ２変換のみを使用することを制限してもよい。このようにして、対応する変換モードのインデックスを符号化する際、ＭＲＬモードが選択されているか否かに応じて、変換モードの符号化をスキップすることができる。

【0135】

本開示の例示的な実施例では、現在ブロックがＭＲＬを使用する場合、前記方法は、現在ブロックによって選択されたイントラ予測モードを復号化する過程において、第２ＭＰＭに関連する構文要素の復号化を許可するステップをさらに含む。本実施例は、ＭＲＬと第２ＭＰＭモードを同時に使用することを許可する。

【0136】

本開示の例示的な実施例では、現在ブロックのマルチ参照行インデックスを復号化するステップは、現在ブロックがＴＩＭＤを使用する場合と、現在ブロックがＴＩＭＤを使用しない場合に、異なるＭＲＬインデックスリストに応じて、現在ブロックのマルチ参照行インデックスを復号化するステップを含む。

【0137】

本開示の一実施例では、ビデオ符号化方法がさらに提供され、図８に示すように、前記方法は、以下のステップを含む。

【0138】

ステップ３１０、現在ブロックに対してイントラ予測を行い、現在ブロックによって選択された参照行を決定する。

【0139】

ステップ３２０、現在ブロックのＭＲＬインデックスリストのソートを許可すると決定した場合、本願の実施例のいずれかに記載の方法に従って、現在ブロックのＭＲＬインデックスリストをソートし、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得る。

【0140】

ステップ３３０、現在ブロックによって選択された参照行のインデックスの、現在ブロックに基づいてソートされたＭＲＬインデックスリストにおける位置に応じて、現在ブロックのマルチ参照行インデックスを決定して符号化する。

【0141】

本実施例は、符号化過程において、現在ブロックのＭＲＬインデックスリストのソートを許可すると決定した場合、まず、本開示の上記実施例の方法に応じて、現在ブロックのＭＲＬインデックスリストをソートし、現在ブロックに基づいてソートされたＭＲＬインデックスを得て、そして、現在ブロックによって選択された参照行のインデックスの、現在ブロックに基づいてソートされたＭＲＬインデックスリストにおける位置に応じて、現在ブロックのマルチ参照行インデックスを決定して符号化する。本実施例は、現在ブロックに基づいてソートされたＭＲＬインデックスリストを使用して、マルチ参照行インデックスを符号化することにより、現在ブロックによって選択された参照行がＭＲＬインデックスリストの先頭に近づく位置に位置する可能性が高く、それにより、マルチ参照行インデックスの符号化オーバーヘッドを節約し、符号化性能を向上させることができる。

【0142】

本開示の例示的な実施例では、現在ブロックのＭＲＬインデックスリストをソートする前に、前記方法は、現在ブロックによって選択されたイントラ予測モードを決定するステップをさらに含む。

【0143】

本開示の例示的な実施例では、前記方法は、現在ブロックのＭＲＬインデックスリストのソートを許可しないと決定した場合、現在ブロックによって選択された参照行のインデックスの、設定されたＭＲＬインデックスにおける位置に応じて、現在ブロックのマルチ参照行インデックスを決定して符号化するステップをさらに含む。本実施例では、現在ブロックのＭＲＬインデックスリストのソートを許可しないと決定した場合、選択された参照行の設定されたＭＲＬインデックスリストにおける位置を用いて、現在ブロックのマルチ参照行インデックスを決定する。

【0144】

本開示の例示的な実施例では、前記方法は、現在ブロックのＭＲＬインデックスリストのソートを許可すると決定した場合、現在ブロックのＭＲＬインデックスリストのソートを許可することを表すフラグを真にするステップをさらに含む。本実施例は、現在ブロックのＭＲＬインデックスリストのソートを許可するか否かについて、直接１つのフラグを用いて表される。

【0145】

本開示の例示的な実施例では、以下の条件のうちの任意の１つまたは複数の条件を、現在ブロックのＭＲＬインデックスリストのソートを許可しない十分条件とする。

【0146】

現在ブロックが、ＭＲＬを使用しないこと、

【0147】

現在ブロックによって選択された参照行が、現在ブロックのテンプレート領域に位置すること、

【0148】

現在のフレームが、非輝度フレームであること、

【0149】

現在ブロックが、符号化ツリーユニットＣＴＵの上方境界に位置すること、

【0150】

現在ブロックによって選択されたイントラ予測モードは、指定モードであり、前記指定モードは、平面モード、１つのモードが平面モードであるＴＩＭＤ融合モード、平均モード、水平角度モード、垂直角度モード、広角度モードのうちの任意の１つまたは複数を含むこと、

【0151】

現在ブロックのサイズが、設定条件を満たさないこと、

【0152】

現在ブロックの縦横比が、設定条件を満たさないこと、

【0153】

現在ブロックがＴＩＭＤを使用する場合と現在ブロックがＴＩＭＤを使用しない場合のうちの１つであること、

【0154】

現在ブロックのＭＲＬインデックスリストのソートを許可しない条件（上記例示した条件に限定されない）がいずれも成立しない場合、現在ブロックのＭＲＬインデックスリストのソートを許可すると決定すること、

【0155】

本開示の例示的な実施例では、現在ブロックがＴＩＭＤを使用する場合及び現在ブロックがＴＩＭＤを使用しない場合、異なるＭＲＬインデックスリストが用いられる。

【0156】

現在ブロックのマルチ参照行インデックスを決定して符号化するステップは、以下のステップを含む。

【0157】

現在ブロックがＴＩＭＤを使用する場合、現在ブロックによって選択された参照行のインデックスの、第１ＭＲＬインデックスリストにおける位置に応じて、現在ブロックのマルチ参照行インデックスを決定して符号化する。

【0158】

現在ブロックがＴＩＭＤを使用しない場合、現在ブロックによって選択された参照行のインデックスの、第２ＭＲＬインデックスリストにおける位置に応じて、現在ブロックのマルチ参照行インデックスを決定して符号化する。

【0159】

ここで、前記第２ＭＲＬインデックスリストの長さは、前記第１ＭＲＬインデックスリストの長さ以上である。

【0160】

本開示の例示的な実施例では、現在ブロックがＭＲＬを使用する場合、前記方法は、現在ブロックのＭＲＬと同時に使用できる一部の変換モードの構文要素を符号化し、ＭＲＬと同時に使用できない一部の変換モードの符号化をスキップするステップをさらに含む。

【0161】

本開示の例示的な実施例では、現在ブロックがＭＲＬを使用し、且つ現在ブロックによって選択されたモードが非ＴＩＭＤモードである場合、前記方法は、前記マルチ参照行インデックスを符号化した後、現在ブロックによって選択されたイントラ予測モードを符号化し続け、且つ現在ブロックによって選択されたイントラ予測モードを符号化する過程において、第２ＭＰＭに関連する構文要素の符号化を許可するステップをさらに含む。

【0162】

本開示の一実施例では、コードストリームがさらに提供される。ここで、前記コードストリームには、現在ブロックのマルチ参照行インデックスが含まれ、前記マルチ参照行インデックスは、現在ブロックによって選択された参照行のインデックスの、ＭＲＬインデックスリストにおける位置を指示するために用いられ、前記ＭＲＬインデックスリストは、現在ブロックに基づいてソートされたＭＲＬインデックスリスト、または設定されたＭＲＬインデックスリストである。本実施例のコードストリームは、本開示のいずれかの実施例に記載のビデオ符号化方法によって生成されてもよい。

【0163】

本開示の一実施例では、マルチ参照行インデックスリストソート装置がさらに提供される。図９に示すように、前記装置は、プロセッサ７１と、コンピュータプログラムが記憶されたメモリ７３とを備え、前記プロセッサ７１は、前記コンピュータプログラムを実行すると、本開示のいずれかの実施例に記載のマルチ参照行インデックスリストソート方法を実現することができる。

【0164】

本開示の一実施例では、ビデオ復号化装置がさらに提供される。図９に示すように、前記装置は、プロセッサと、コンピュータプログラムが記憶されたメモリとを備え、前記プロセッサは、前記コンピュータプログラムを実行すると、本開示のいずれかの実施例に記載のビデオ復号化方法を実現することができる。

【0165】

本開示の一実施例では、ビデオ符号化装置がさらに提供される。図９に示すように、前記装置は、プロセッサと、コンピュータプログラムが記憶されたメモリとを備え、前記プロセッサは、前記コンピュータプログラムを実行すると、本開示のいずれかの実施例に記載のビデオ符号化方法を実現することができる。

【0166】

本開示の上記実施例のプロセッサは、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、略称ＣＰＵ）、ネットワークプロセッサ（Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｏｒ、略称ＮＰ）、マイクロプロセッサなどを含む汎用プロセッサであってもよく、他の通常のプロセッサなどであってもよい。前記プロセッサは、さらにデジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理または他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理デバイス、ディスクリートハードウェアアセンブリであってもよく、上記デバイスの組み合わせであってもよい。すなわち、上記実施例のプロセッサは、本発明の実施例に開示された各方法、ステップ、及び論理ブロック図を実現する任意の処理デバイスまたはデバイスの組み合わせであってもよい。部分的にソフトウェアで本開示の実施例を実装する場合、ソフトウェアに用いられるソフトウェアの命令を、適切な不揮発性コンピュータ可読記憶媒体に記憶されてもよく、且つ１つまたは複数のプロセッサを用いてハードウェアで前記命令を実行して本開示の実施例の方法を実装することができる。

【0167】

本開示の一実施例では、ビデオ符号化・復号化システムがさらに提供され、前記システムは、本開示のいずれかの実施例に記載のビデオ符号化装置と、本開示のいずれかの実施例に記載のビデオ復号化装置とを備える。

【0168】

本開示の一実施例では、非揮発性コンピュータ可読記憶媒体がさらに提供され、前記コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されると、本開示のいずれかの実施例に記載のマルチ参照行インデックスリストソート方法を実現し、または本開示のいずれかの実施例に記載のビデオ復号化方法を実現し、または本開示のいずれかの実施例に記載のビデオ符号化方法を実現する。

【0169】

本開示の一実施例では、ビデオ復号化方法がさらに提供され、復号化過程において、現在ブロックのマルチ参照行インデックスリストをソートする。本実施例では、テンプレート領域に基づくソートは、エンコーダとデコーダの両方が行う必要がある操作であり、ＭＲＬインデックスリストに用いられ、選択された参照行のＭＲＬインデックスリストにおける位置をマルチ参照行インデックスによって表し、現在ブロックに基づいてソートされたＭＲＬインデックスリストと組み合わせ、現在ブロックによって選択された参照行を共通に決定し、決定された当該参照行と選択されたイントラ予測モード（従来の予測モード）を用いて予測する。

【0170】

本実施例では、１つの具体例を用いて、如何にしてテンプレート領域における予測値（ｐｒｅｄ）と再構成値（ｒｅｃｏ）との絶対誤差和（ＳＡＤ：ｔｈｅ ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ）を用いて、ＭＲＬインデックスリストをソートするかについて、説明する。（ｘ，－１）、（－１，ｙ）はそれぞれ現在ブロックの左上隅（０，０）位置に対する座標であり、この実施例では、現在ブロックの１行１列のテンプレート領域について、図１０に示す断面線付き領域を参照する。当該図には、現在ブロックのテンプレート領域外側の６つ参照行が示されている。

【0171】

本実施例の方法は、以下のステップを含む。

【0172】

第１ステップ

【0173】

デコーダはイントラ予測モードを解析し、デコーダはＭＲＬ関連構文要素を解析し、現在ブロックがＭＲＬを使用され又は使用されないことを確認し、また、現在ブロックのマルチ参照行インデックスを復号化する。

【0174】

本実施例に関連する構文表は、以下の表に示す通りである。

【0175】

表では、ｉｎｔｒａ＿ｌｕｍａ＿ｍｒｌ＿ｔａｂ＿ｉｄｘは、現在ブロックがＴＩＭＤを使用しない場合（すなわち、！ｉｎｔｒａ＿ｔｉｍｄ＿ｆｌａｇ）のマルチ参照行インデックスを定義し、現在ブロックによって選択された参照行のインデックスの、ソートされたＭＲＬインデックスリストにおける位置を指示し、その値の範囲は０から５である。ｉｎｔｒａ＿ｔｉｍｄ＿ｌｕｍａ＿ ｒｅｆ＿ｉｄｘは、現在ブロックがＴＩＭＤを使用する場合のマルチ参照行インデックスを定義し、現在ブロックによって選択された参照行のインデックスの、設定されたＭＲＬインデックスリストにおける位置を指示し、その値の範囲は０から２である。この２つの場合のマルチ参照行インデックスは、いずれもコンテキストモデルに基づく切り捨て単項コード符号化・復号化を用いられてもよい。

【0176】

本例は、現在ブロックがＴＩＭＤを使用する場合に、設定されたＭＲＬインデックスリストをソートしないものである。しかし、他の例では、現在ブロックがＴＩＭＤを使用する場合、現在ブロックのＭＲＬインデックスリストをソートしてもよい。現在ブロックがＴＩＭＤを使用する場合に、ＭＲＬインデックスリストをソートする際、インデックスが設定されたＭＲＬインデックスリストに埋め込まれた参照行ソートのみをソートしてもよいし、より多くの参照行を導入し、例えば、現在ブロックがＴＩＭＤを使用しない場合と同じ参照行をソートに参加させてもよい。この場合、ｉｎｔｒａ＿ｔｉｍｄ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘの代わりに、１つのｉｎｔｒａ＿ｌｕｍａ＿ｍｒｌ＿ｔａｂ＿ｉｄｘに似た構文要素を使用してもよい。

【0177】

本明細書の表におけるｔｉｍｄは、文字におけるＴＩＭＤと同じ概念であり、他の概念は同様である。

【0178】

第２ステップ

【0179】

復号化段階が完了した後、現在ブロックを予測する前に、現在ブロックのマルチ参照行インデックスが０でない場合、すなわち、選択された参照行のインデックスが０でない場合、設定されたＭＲＬインデックスリストを使用するのではなく、現在ブロックのＭＲＬインデックスリストをソートする必要がある。ソートは、拡張された参照行（本実施例では、インデックスが０でない参照行）に対してのみ行われる。

【0180】

ソートの過程は、以下の通りである。

【0181】

まず、現在ブロックが画像における位置において許可する拡張参照行の最大数を決定し、原則として、現在ブロックが使用できる上方参照行は、上方ＣＴＵ境界を超えてはならない。ＥＣＭでは、ＣＴＵは最大２５６×２５６であってもよい。現在ブロックの左上隅の画像における位置の縦座標ｙが２５６の余りを取る場合、得られた余りは、上方のＣＴＵ境界内における参照行の数となる。同時に、ＭＲＬが非ＴＩＭＤモードで最大１３個の参照行（ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ０～１２）を使用できるように設定すると、ソートに参加できる参照行はｒｅｆｅｒｅｎｃｅ ｌｉｎｅ １～Ｎとなり、すなわち、インデックスが１～Ｎである参照行である。ここで、Ｎ＝ｍｉｎ（１２，（ｘ％２５６）－１））である。他の実施例では、ハードウェアがサポートしていれば、使用される参照行もＣＴＵ境界を超えてもよい。

【0182】

ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ １～ＮのＮ個の参照行は、ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ０が位置する行のテンプレート領域外側にあり、そのうちの各参照行に対して、選択されたイントラ予測モードを用いてテンプレート領域を予測する。ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ０のテンプレート領域は再構成が完了しているため、この場合、再構成値と予測によって得られた予測値に応じて、ＳＡＤを求めてもよい。Ｎ個のＳＡＤ値を昇順に従ってソートし、対応して計算されたＳＡＤの最も小さいＭ個の参照行のインデックスを、ＭＲＬインデックスリストに埋め込む。

【0183】

具体的には、ＭＲＬインデックスリストは、現在ブロックがＴＩＭＤを使用しない場合に、長さが６であり、ＴＩＭＤを使用する場合に、長さが３であり、この２つのリストが設定された充填値は、それぞれ｛０，１，３，５，７，１２｝と｛０，１，３｝であり、それぞれインデックスが０，１，３，５，７，１２である参照行とインデックスが０，１，３である参照行を表す。本実施例のソートは、ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ １～Ｎをソートするため、ＭＲＬインデックスリストにおける１番目の位置に埋め込むインデックス０は常に変化せず、ソート後の拡張された参照行を後方の位置に埋め込むだけであり、現在ブロックがＴＩＭＤを使用しない場合は、最大５つのインデックスを埋め込むことができ、現在ブロックがＴＩＭＤを使用する場合は、最大２つのインデックスを埋め込むことができる。

【0184】

ソートする過程において、隣接する２行のソート対象参照行が類似した再構成値を有する可能性があり、この場合、これらの２行を使用して予測された結果は類似しており、この場合、そのうちの１行をスキップすることによって、冗長性を除去してもよい、という場合を考慮すべきである。ここでは、２つのスキップ方法を有してもよい。

【0185】

方法１．隣接する２つの参照行の対応する位置における再構成値間のＳＡＤ値を計算し、ＳＡＤ値が１つの予め設定された閾値より小さい場合、これらの２つの参照行の類似度が大きすぎてそのうちの１つの参照行をスキップすべきであると考えられる。隣接する当該参照行がスキップされた場合、選択された当該参照行は、次の最も近い参照行と閾値比較を継続する。

【0186】

方法２．それぞれ２つの参照行を用いてテンプレート領域を予測し、テンプレート領域における予測結果間のＳＡＤ値を計算し、ＳＡＤ値が１つの予め設定された閾値より小さい場合、これらの２行の類似度が大きすぎてそのうちの１行をスキップすべきであると考えられる。

【0187】

上記スキップ方法は、これらの２行のうちの任意の１行をスキップしてもよいが、通常、現在ブロックにより近い参照行の方を参照行とするのが好ましいと考慮し、本実施例は、より遠い参照行の方をスキップする。

【0188】

ＥＣＭでは、ＭＲＬ、ＴＩＭＤ、及びＭＰＭ技術は同時に使用してもよい。ＴＩＭＤの場合、決定されたイントラ予測モードがＴＩＭＤ融合モードとなることがあるが、ＭＲＬとＰｌａｎａｒモードの共通作用は通常、追加のパフォーマンス向上をもたらすことはないため、ＭＲＬが選択された際、イントラ予測モードが、Ｐｌａｎａｒでありまたは１つのモードがＰｌａｎａｒであるＴＩＭＤ融合（ｆｕｓｉｏｎ）モードである場合、ソートしなくてもよい。Ｐｌａｎａｒモードを除き、幾つかの特定の角度またはモードでもソートしなくてもよく、例えば、ＤＣモードでソートせず、広角度でソートせず、水平及び垂直角度モードでソートせず、などである。広角度モードは、長方形の予測ブロックをソートしないのと相当してもよい。

【0189】

ソートしない場合は、これらのリストにおける参照行に対してＳＡＤに基づく再ソートをせず、設定された初期参照行リスト、例えば、｛１，３，５，７，１２｝を直接使用する。

【0190】

本実施例は、幾つかの変換モードをスキップしてもよい。現在のＭＲＬは、全てのイントラモードにおける比較的後方の位置に符号化され、ＥＣＭでは、ＭＲＬであるか否かを判断する前に、現在のモードがＤＩＭＤ、ＢＤＰＣＭ、ＭＩＰ、ＴＩＭＤではないと決定する必要がある。後続の変換モード符号化にはさらに多くの識別子ビットを用いて一次変換と二次変換を識別する必要があることを考慮すると、この点での符号化オーバーヘッドを低減するために、ＭＲＬが一部の変換モードのみと組み合わせて使用するように制限してもよく、例えば、ＤＣＴ２の一次変換のみと共に使用してもよく、またはＤＣＴ２の一次変換及び二次変換のみと共に使用してもよい。例えば、一次変換制限の下で、ＭＲＬがＤＣＴ２のみと共同に使用できると制限された場合、変換モードの構文要素を復号化するために、ＭＲＬが選択されたか否かをチェックすべきであり、選択された場合は、一次変換モードを復号化しない。

【0191】

対応する構文は、以下の通りである。

【0192】

上の表に「ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｔａｂ＿ｉｄｘ ！＝ ０ ＆＆」と記載されている欄では、幾つかの条件を定義することにより、ｍｔｓ＿ｉｄｘ（一次変換によって選択された変換モードインデックス）を復号化するか否かを判断し、そのうち、マルチ参照行インデックスが０でないことを含む。

【0193】

別の例では、一次変換の下で、ＭＲＬが二次変換と共に使用しないと制限された場合、変換モードの構文要素を復号化するために、ＭＲＬが選択されたか否かをチェックすべきであり、選択された場合は、二次変換モードを復号化しない。対応する構文は、以下の通りである。

【0194】

上の表に「ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｔａｂ＿ｉｄｘ ！＝ ０ ＆＆」と記載されている欄では、幾つかの条件を定義することにより、ｌｆｎｓｔ＿ｉｄｘ（二次変換によって選択された変換モードインデックス）を復号化するか否かを判断し、そのうち、マルチ参照行インデックスが０でないことを含む。

【0195】

第３ステップ

【0196】

再ソートされたマルチ参照行インデックスリストと復号化して得られたリストインデックスに応じて、参照行を決定し、現在ブロックを予測する。

【0197】

本実施例は、イントラ予測がマルチ参照行インデックスリストを使用してソートする際、テンプレート領域の予測値と再構成値との間の誤差を使用して、昇順に従ってソートすることによって、現在ブロックに基づいてソートされたマルチ参照行インデックスリストを得て、それにより、予測ために選択された参照行がマルチ参照行インデックスリストのより先頭の位置に配置される可能性がより高くなり、符号化オーバーヘッドを節約することができる。本実施例は、ソートする過程において、閾値設置によって、重複する可能性のあるソート対象の参照行をスキップし、冗長性を低減し、ソート効率を向上させることができる。本実施例では、テンプレート領域が位置する参照行及び当該参照行より小さい参照行はソートに加入できず、候補リストにおける元の位置を維持することができる。

【0198】

本実施例に基づいて、ソート可能な参照行を追加してもよい。本実施例では、ソートに参加するために、最大１２個の拡張された参照行を使用している。実際には、複雑さを考慮していない場合、この制限を取り消すことによって、ソートするための参照行は１２行を超える参照行以外の参照行であってもよく、それによって、より良い符号化・復号化性能を得ることができる。

【0199】

さらに、テンプレート領域のサイズを大きくしてもよく、テンプレート領域は、現在ブロックに最も近い参照行に限定されるものではなく、拡張し続けてもよい。例えば、上方テンプレート領域の右側、左側テンプレート領域の下方、及び左上隅の交差する灰色部分の拡張に拡張する。上方テンプレート領域の上方、左側テンプレート領域の左側に拡張し続けてもよく、これにより、より多くの参照行の領域が使用され、例えば、さらに用いられたｒｅｆｅｒｅｎｃｅ ｌｉｎｅ １の領域がテンプレート領域とする場合、ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ １自体は、ソートに参加できない。

【0200】

ＥＣＭ－４．０参照ソフトウェアでは、本実施例に記載の方法を使用して、現在ブロックがＴＩＭＤを使用しない場合のＭＲＬインデックスリストを再ソートすることは、参照ソフトウェア上で、以下のような性能向上をさらにもたらすことができる。

【0201】

本実施例の上記方法を使用して、現在ブロックがＴＩＭＤを使用する場合及びＴＩＭＤを使用しない場合の両方のＭＲＬインデックスリストをソートすることは、参照ソフトウェア上で、以下のような性能向上をさらにもたらすことができる。

【0202】

以上のテストは、現在ブロックがＴＩＭＤを使用する場合に、ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ １～１２も使用されてソートに参加し、そのうちのＳＡＤが最も小さい２つの参照行ｌｉｎｅ＿ａ、ｌｉｎｅ＿ｂのみを保留し、ソートされたＭＲＬインデックスリスト：｛０，ｌｉｎｅ＿ａ，ｌｉｎｅ＿ｂ｝に埋め込む。

【0203】

表におけるパラメータは、以下の通りである。

【0204】

ＥｎｃＴ：Ｅｎｃｏｄｉｎｇ Ｔｉｍｅ、符号化時間であり、１０Ｘ％は、参照行ソート技術が統合された後、統合されていない前のものと比較して、符号化時間が１０Ｘ％であることを意味し、これはＸ％の符号化時間が増加することを意味する。

【0205】

ＤｅｃＴ：Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ、復号化時間であり、１０Ｘ％は、参照行ソート技術が統合された後、統合されていない前のものと比較して、復号化時間が１０Ｘ％であることを意味し、これはＸ％の復号化時間が増加することを意味する。

【0206】

ＣｌａｓｓＡ１とＣｌａｓｓＡ２は、解像度が３８４０×２１６０のテストビデオシーケンスであり、ＣｌａｓｓＢは１９２０×１０８０解像度のテストシーケンスであり、ＣｌａｓｓＣは８３２×４８０であり、ＣｌａｓｓＤは４１６×２４０であり、ＣｌａｓｓＥは１２８０×７２０であり、ＣｌａｓｓＦは幾つかの異なる解像度のスクリーンコンテンツシーケンス（Ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ）である。

【0207】

Ａｌｌ ｉｎｔｒａは、全イントラフレーム構成のテスト構成を表す。
第１項では、マルチ参照行インデックスリストソート方法が提供され、当該方法は、
現在ブロックのテンプレート領域外側に位置する少なくとも一部の参照行に応じて、前記テンプレート領域をそれぞれ予測し、前記テンプレート領域の再構成値と予測して得られた予測値との間の誤差を計算するステップと、
前記誤差の小さい方から大きい方への順に従って、前記誤差に対応する参照行のインデックスを現在ブロックのマルチ参照行ＭＲＬインデックスリストに埋め込み、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得るステップと、
を含む。
第２項では、第１項の方法に応じて、現在ブロックのテンプレート領域外側に位置する少なくとも一部の参照行に応じて、テンプレート領域をそれぞれ予測するステップは、
前記少なくとも一部の参照行のうちの各参照行に対して、当該参照行の再構成値と現在ブロックによって選択されたイントラ予測モードを使用し、前記テンプレット領域を予測するステップを含む。
第３項では、第１項の方法に応じて、前記誤差に対応する参照行のインデックスを現在ブロックのＭＲＬインデックスリストに埋め込むステップとは、前記誤差に対応する参照行のインデックスを、前記ＭＲＬインデックスリストのＫ _１ 番目の位置から位置ごとに埋め込み、最大でＫ _２ 番目の位置まで埋め込むことであり、２≦Ｋ _１ ≦Ｋ _２ ≦Ｍであり、Ｍは前記ＭＲＬインデックスリストの長さである。
第４項では、第３項の方法に応じて、前記方法は、
前記現在ブロックに基づいてソートされたＭＲＬインデックスリストにおいて、ソートに参加しない１番目の位置からＫ _１ ―１番目の位置まで、現在ブロックのテンプレート領域が位置する参照行のインデックスを埋め込むステップであって、１番目の位置に埋め込んだ参照行のインデックスは０であるステップをさらに含む。
第５項では、第１項の方法に応じて、前記誤差に対応する参照行のインデックスを現在ブロックのＭＲＬインデックスリストに埋め込むステップとは、前記誤差に対応する参照行のインデックスを、前記ＭＲＬインデックスリストの１番目の位置から位置ごとに埋め込み、最大でＫ _２ 番目の位置まで埋め込むことであり、１≦Ｋ _２ ≦Ｍであり、Ｍは前記ＭＲＬインデックスリストの長さである。
第６項では、第３項または第５項の方法に応じて、前記方法は、
Ｋ _２ ＜Ｍの場合、前記ＭＲＬインデックスリストのＫ _２ ＋１番目の位置からＭ番目の位置まで、現在ブロックからの距離の近い方から遠い方への順に従って、位置ごとにＭ―Ｋ _２ 個の参照行のインデックスを埋め込むステップであって、前記Ｍ―Ｋ _２ 個の参照行は、前記テンプレート領域外側に位置し、システムによって指定され、且つインデックスが前記ＭＲＬインデックスリストに埋め込んだインデックスと異なるステップをさらに含む。
第７項では、第１項の方法に応じて、前記現在ブロックのテンプレート領域外側に位置する少なくとも一部の参照行は、
前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行、または
前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行のうちの奇数行、または
前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行のうちの偶数行、または
前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行のうち、隣接する行の間の誤差の比較によって選出されたＮ個の参照行、Ｎ≦Ｎ’、または
前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行のうち、指定されたＮ個の参照行、
を含み、
Ｎ’≦Ｎ _ｍａｘ であり、Ｎ _ｍａｘ はソートの参加を許可する参照行の最大数である。
第８項では、第７項の方法に応じて、
前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行は、現在ブロックが位置する符号化ツリーユニットＣＴＵの上方境界を超えない参照行であり、
現在ブロックがテンプレートに基づくイントラモードを使用してＴＩＭＤを導出する場合に設定されたＮ _ｍａｘ と、現在ブロックがＴＩＭＤを使用しない場合に設定されたＮ _ｍａｘ は、いずれも３以上である。
第９項では、第７項の方法に応じて、
隣接する行の間の誤差の比較によってＮ個の参照行を選出するステップは、
前記テンプレート領域外側の現在ブロックに最も近い１つの参照行を選出された１番目の参照行とし、新たに選出された当該参照行とその隣接する参照行とを１つずつ比較し、当該参照行に最も近く、且つ２つの参照行の間の誤差が設定閾値より大きい１つの隣接する参照行を新たに選出された１つの参照行とし、Ｎ’個の参照行を比較して選択したまで、このように循環し、前記誤差とは、２つの参照行の再構成値間の誤差を指し、または２つの参照行の再構成値を参照とし、前記テンプレート領域をそれぞれ予測して得られた予測値間の誤差を指す、方式を用いる。
第１０項では、第１項または第９項の方法に応じて、前記誤差は、絶対誤差とＳＡＤで表され、または誤差変換絶対値とＳＡＴＤで表される。
第１１項では、第１項の方法に応じて、
前記現在ブロックのテンプレート領域は、現在ブロックに最も近い参照行に設置され、または
前記現在ブロックのテンプレート領域は、現在ブロックに最も近い複数の参照行に設置される。
第１２項では、ビデオ復号化方法が提供され、当該方法は、
コードストリームにおける現在ブロックのイントラ予測関連構文要素を復号化し、現在ブロックがマルチ参照行ＭＲＬの使用を許可する場合、現在ブロックのマルチ参照行インデックスを復号化し続けるステップであって、前記マルチ参照行インデックスは、現在ブロックによって選択された参照行のインデックスのＭＲＬインデックスリストにおける位置を指示するために用いられるステップと、
復号化結果に応じて、現在ブロックのＭＲＬインデックスリストのソートを許可すると決定した場合、第１項から第１１項のいずれかに記載の方法に従って、現在ブロックのＭＲＬインデックスリストをソートし、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得るステップと、
前記マルチ参照行インデックスと現在ブロックに基づいてソートされたＭＲＬインデックスリストに応じて、現在ブロックによって選択された参照行を決定し、現在ブロックによって選択された参照行に応じて、現在ブロックに対してイントラ予測を行うステップと、
を含む。
第１３項では、第１２項の方法に応じて、前記方法は、
復号化結果に応じて、現在ブロックのＭＲＬインデックスリストのソートを許可しないと決定した場合、前記マルチ参照行インデックスと設定されたＭＲＬインデックスリストに応じて、現在ブロックによって選択された参照行を決定し、現在ブロックによって選択された参照行に応じて、現在ブロックに対してイントラ予測を行うステップをさらに含む。
第１４項では、第１２項の方法に応じて、現在ブロックのＭＲＬインデックスリストのソートを許可する十分条件は、現在ブロックのＭＲＬインデックスリストのソートを許可することを表すフラグを真にすることを含む。
第１５項では、第１３項の方法に応じて、
現在ブロックが、マルチ参照行ＭＲＬを使用しない条件と、
マルチ参照行インデックスが、ＭＲＬインデックスリストにおけるソートに参加しない位置を指示する条件と、
現在のフレームが、非輝度フレームである条件と、
現在ブロックが、符号化ツリーユニットＣＴＵの上方境界に位置する条件と、
現在ブロックによって選択されたイントラ予測モードが、指定モードである条件であって、前記指定モードは、平面モード、１つのモードが平面モードであるＴＩＭＤ融合モード、平均モード、水平角度モード、垂直角度モード、広角度モードのうちの任意の１つまたは複数を含む条件と、
現在ブロックのサイズが、設定条件を満たさない条件と、
現在ブロックの縦横比が、設定条件を満たさない条件と、
現在ブロックがＴＩＭＤを使用する場合と現在ブロックがＴＩＭＤを使用しない場合のうちの１つである条件と、
のうちの任意の１つまたは複数の条件を、現在ブロックのＭＲＬインデックスリストのソートを許可しない十分条件とする。
第１６項では、第１２項の方法に応じて、現在ブロックがＭＲＬを使用する場合、前記方法は、
現在ブロックのＭＲＬと同時に使用できる一部の変換モードの構文要素を復号化し、ＭＲＬと同時に使用できない一部の変換モードの構文要素をスキップするステップ、及び／または
現在ブロックによって選択されたイントラ予測モードを復号化する過程において、第２最も可能なモードＭＰＭに関連する構文要素の復号化を許可するステップ、
をさらに含む。
第１７項では、第１２項の方法に応じて、コードストリームにおける現在ブロックのイントラ予測関連構文要素を復号化するステップは、
現在ブロックによって選択されたイントラ予測モードを復号化することにより、現在ブロックのＭＲＬインデックスリストをソートするために用いられるステップを含み、
現在ブロックによって選択された参照行に応じて、現在ブロックに対してイントラ予測を行うステップは、
現在ブロックによって選択された参照行と現在ブロックによって選択されたイントラ予測モードに応じて、現在ブロックに対してイントラ予測を行うステップを含む。
第１８項では、第１７項の方法に応じて、現在ブロックのマルチ参照行インデックスを復号化するステップは、
現在ブロックがＴＩＭＤを使用する場合と、現在ブロックがＴＩＭＤを使用しない場合に、異なるＭＲＬインデックスリストに応じて、現在ブロックのマルチ参照行インデックスを復号化するステップを含む。
第１９項では、第１３項の方法に応じて、現在ブロックがＴＩＭＤを使用しないと決定した場合、前記設定されたＭＲＬインデックスリストは｛０，１，３，５，７，１２｝であり、現在ブロックがＴＩＭＤを使用すると決定した場合、前記設定されたＭＲＬインデックスリストは｛０，１，３｝または｛０，１，２｝である。
第２０項では、ビデオ符号化方法が提供され、当該方法は、
現在ブロックに対してイントラ予測を行い、現在ブロックによって選択された参照行を決定するステップと、
現在ブロックのＭＲＬインデックスリストのソートを許可すると決定した場合、第１項から第１１項のいずれかに記載の方法に従って、現在ブロックのＭＲＬインデックスリストをソートし、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得るステップと、
現在ブロックによって選択された参照行のインデックスの、現在ブロックに基づいてソートされたＭＲＬインデックスリストにおける位置に応じて、現在ブロックのマルチ参照行インデックスを決定して符号化するステップと、
を含む。
第２１項では、第２０項の方法に応じて、前記方法は、
現在ブロックのＭＲＬインデックスリストのソートを許可しないと決定した場合、現在ブロックによって選択された参照行のインデックスの、設定されたＭＲＬインデックスにおける位置に応じて、現在ブロックのマルチ参照行インデックスを決定して符号化するステップをさらに含む。
第２２項では、第２０項の方法に応じて、前記方法は、
現在ブロックのＭＲＬインデックスリストのソートを許可すると決定した場合、現在ブロックのＭＲＬインデックスリストのソートを許可することを表すフラグを真にするステップをさらに含む。
第２３項では、第２１項の方法に応じて、
現在ブロックが、マルチ参照行ＭＲＬを使用しない条件と、
現在ブロックによって選択された参照行が、現在ブロックのテンプレート領域に位置する条件と、
現在のフレームが、非輝度フレームである条件と、
現在ブロックが、符号化ツリーユニットＣＴＵの上方境界に位置する条件と、
現在ブロックによって選択されたイントラ予測モードが、指定モードである条件であって、前記指定モードは、平面モード、１つのモードが平面モードであるＴＩＭＤ融合モード、平均モード、水平角度モード、垂直角度モード、広角度モードのうちの任意の１つまたは複数を含む条件と、
現在ブロックのサイズが、設定条件を満たさない条件と、
現在ブロックの縦横比が、設定条件を満たさない条件と、
現在ブロックがＴＩＭＤを使用する場合と現在ブロックがＴＩＭＤを使用しない場合のうちの１つである条件と、
現在ブロックのＭＲＬインデックスリストのソートを許可しない条件がいずれも成立しない場合、現在ブロックのＭＲＬインデックスリストのソートを許可すると決定する条件と、
のうちの任意の１つまたは複数の条件を、現在ブロックのＭＲＬインデックスリストのソートを許可しない十分条件とする。
第２４項では、第２０項の方法に応じて、前記方法は、
現在ブロックのマルチ参照行インデックスを決定して符号化するステップは、
現在ブロックがＴＩＭＤを使用する場合、現在ブロックによって選択された参照行のインデックスの、第１ＭＲＬインデックスリストにおける位置に応じて、現在ブロックのマルチ参照行インデックスを決定して符号化するステップと、
現在ブロックがＴＩＭＤを使用しない場合、現在ブロックによって選択された参照行のインデックスの、第２ＭＲＬインデックスリストにおける位置に応じて、現在ブロックのマルチ参照行インデックスを決定して符号化するステップであって、前記第２ＭＲＬインデックスリストの長さは、前記第１ＭＲＬインデックスリストの長さ以上であるステップと、を含むステップ、
をさらに含む。
第２５項では、第２０項の方法に応じて、現在ブロックがＭＲＬを使用する場合、前記方法は、
現在ブロックのＭＲＬと同時に使用できる一部の変換モードの構文要素を符号化し、ＭＲＬと同時に使用できない一部の変換モードの符号化をスキップするステップをさらに含む。
第２６項では、第２０項の方法に応じて、現在ブロックがＭＲＬを使用し、且つ現在ブロックによって選択されたモードが非ＴＩＭＤモードである場合、前記方法は、
前記マルチ参照行インデックスを符号化した後、現在ブロックによって選択されたイントラ予測モードを符号化し続け、且つ現在ブロックによって選択されたイントラ予測モードを符号化する過程において、第２ＭＰＭに関連する構文要素の符号化を許可するステップをさらに含む。
第２７項では、第２０項の方法に応じて、第１項から第１１項のいずれかに記載の方法に従って、現在ブロックのＭＲＬインデックスリストをソートする前に、前記方法は、
現在ブロックによって選択されたイントラ予測モードを決定するステップをさらに含む。
第２８項では、コードストリームが提供され、前記コードストリームには、現在ブロックのマルチ参照行インデックスが含まれ、前記マルチ参照行インデックスは、現在ブロックによって選択された参照行のインデックスの、ＭＲＬインデックスリストにおける位置を指示するために用いられ、前記ＭＲＬインデックスリストは、現在ブロックに基づいてソートされたＭＲＬインデックスリスト、または設定されたＭＲＬインデックスリストである。
第２９項では、第２８項の方法に応じて、前記コードストリームは、第２０項から第２７項のいずれかに記載のビデオ符号化方法によって生成される。
第３０項では、マルチ参照行インデックスリストソート装置が提供され、プロセッサと、コンピュータプログラムが記憶されたメモリとを備え、前記プロセッサは、前記コンピュータプログラムを実行すると、第１項から第１１項のいずれかに記載のマルチ参照行インデックスリストソート方法を実現する。
第３１項では、ビデオ復号化装置が提供され、プロセッサと、コンピュータプログラムが記憶されたメモリとを備え、前記プロセッサは、前記コンピュータプログラムを実行すると、第１２項から第１９項のいずれかに記載のビデオ復号化方法を実現する。
第３２項では、ビデオ符号化装置が提供され、プロセッサと、コンピュータプログラムが記憶されたメモリとを備え、前記プロセッサは、前記コンピュータプログラムを実行すると、第２０項から第２７項のいずれかに記載のビデオ符号化方法を実現する。
第３３項では、ビデオ符号化・復号化システムが提供され、第３２項に記載のビデオ符号化装置と、第３１項に記載のビデオ復号化装置とを備える。
第３４項では、コンピュータ可読記憶媒体が提供され、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されると、第１項から第１１項のいずれかに記載のマルチ参照行インデックスリストソート方法を実現するか、または、第１２項から第１９項のいずれかに記載のビデオ復号化方法を実現するか、または、第２０項から第２７項のいずれかに記載のビデオ符号化方法を実現する。

【0208】

上記の１つまたは複数の例示的な実施例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらのいずれかの組み合わせで実行してもよい。ソフトウェアで実現される場合、機能は１つまたは複数の命令またはコードとして、コンピュータ可読媒体に記憶されてもよく、または、コンピュータ可読媒体を介して伝送され、且つハードウェアに基づく処理ユニットによって実行されてもよい。コンピュータ可読媒体は、例えばデータ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含んでもよく、または、コンピュータプログラム、例えば通信プロトコルに応じて、ある場所から別の場所への伝送を容易にする任意の媒体などの通信媒体を含んでもよい。このように、コンピュータ可読媒体は、通常、非一時的な有形コンピュータ可読記憶媒体、または、信号またはキャリアなどの通信媒体に対応してもよい。データ記憶媒体が、１つまたは複数のコンピュータ、または１つまたは複数のプロセッサにより記憶及び呼び出しされることにより、本開示に記載の技術的命令、コード、及び／またはデータ構造を実現するための任意の使用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可読媒体を含んでもよい。

【0209】

例えば、このようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶装置、フラッシュメモリまたは所望のプログラムコードを命令またはデータ構造の形式で記憶でき、且つコンピュータによってアクセス可能な任意の他の媒体を含んでもよいが、それに限定されるものではない。また、任意の接続をコンピュータ可読媒体と呼んでもよく、例えば、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）、または赤外線、無線、及びマイクロ波などの無線技術を使用して、ウェブサイト、サーバ、または他の遠隔ソースから命令を伝送する場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、マイクロ波などの無線技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体及びデータ記憶媒体が、接続、キャリア、信号、または他の揮発性（ｖｏｌａｔｉｌｅ）的媒体を含まず、非揮発性有形記憶媒体に対するものであることは、理解すべきである。本明細書で使用されたように、磁気ディスク及び光ディスクは、コンパクトディスク（ＣＤ）、レーザディスク、光学ディスク、デジタル多機能ディスク（ＤＶＤ）、フロッピーディスクまたはブルーレイディスクなどを含み、ここで、磁気ディスクは通常磁気的にデータを再生し、光ディスクはレーザを用いて光学的にデータを再生する。上述の組み合わせも、コンピュータ可読媒体の範囲内に含まれるべきである。

【0210】

例えば、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはその他の同等の集積またはディスクリート論理回路などの１つまたは複数のプロセッサによって、命令を実行してもよい。そのため、本明細書で使用される「プロセッサ」という用語は、上記構造、または本明細書に記載の技術を実装するのに適したいずれかの他の構造のうちのいずれかを指してもよい。また、幾つかの態様では、本明細書に記載の機能は、符号化及び復号化のために構成された専用ハードウェア及び／またはソフトウェアモジュール内に提供されてもよく、またはパッケージ型コーデックに組み込まれてもよい。さらに、前記技術は、１つまたは複数の回路または論理素子に完全に実装されてもよい。

【0211】

本開示の実施例の技術方案は、無線携帯電話、集積回路（ＩＣ）、または１セットのＩＣ（例えば、チップセット）を含む多種の装置またはデバイスに実現されてもよい。本開示の実施例では、各種のアセンブリ、モジュール、またはユニットが記載されたが、構成によって記載の技術を実行する装置の機能方面を強調するが、必ずしも異なるハードウェアユニットによって実現される必要はない。むしろ、上記のように、各種のユニットは、コーデックハードウェアユニットに組み合わされてもよく、または相互操作ハードウェアユニット（上記の１つまたは複数のプロセッサを含む）の集合と適切なソフトウェア及び／またはファームウェアとの結びつけによって提供されてもよい。

【手続補正2】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

コードストリームにおける現在ブロックのイントラ予測関連構文要素を復号化し、現在ブロックがマルチ参照行ＭＲＬの使用を許可する場合、現在ブロックのマルチ参照行インデックスを復号化し続けるステップであって、前記マルチ参照行インデックスは、現在ブロックによって選択された参照行のインデックスのＭＲＬインデックスリストにおける位置を指示するために用いられるステップと、
復号化結果に応じて、現在ブロックのＭＲＬインデックスリストのソートを許可すると決定した場合、現在ブロックのＭＲＬインデックスリストをソートし、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得るステップと、
前記マルチ参照行インデックスと現在ブロックに基づいてソートされたＭＲＬインデックスリストに応じて、現在ブロックによって選択された参照行を決定し、現在ブロックによって選択された参照行に応じて、現在ブロックに対してイントラ予測を行うステップと、
を含み、
現在ブロックのＭＲＬインデックスリストをソートし、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得るステップは、
前記現在ブロックのテンプレート領域外側に位置する少なくとも一部の参照行に応じて、前記テンプレート領域をそれぞれ予測し、前記テンプレート領域の再構成値と予測して得られた予測値との間の誤差を計算するステップと、
前記誤差の小さい方から大きい方への順に従って、前記誤差に対応する参照行のインデックスを現在ブロックのマルチ参照行ＭＲＬインデックスリストに埋め込み、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得るステップと、
を含む、
ビデオ復号化方法。

【請求項2】

現在ブロックのテンプレート領域外側に位置する少なくとも一部の参照行に応じて、テンプレート領域をそれぞれ予測するステップは、
前記少なくとも一部の参照行のうちの各参照行に対して、当該参照行の再構成値と現在ブロックによって選択されたイントラ予測モードを使用し、前記テンプレット領域を予測するステップを含む、
請求項１に記載の方法。

【請求項3】

前記現在ブロックのテンプレート領域外側に位置する少なくとも一部の参照行は、
前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行、または
前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行のうちの奇数行、または
前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行のうちの偶数行、または
前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行のうち、隣接する行の間の誤差の比較によって選出されたＮ個の参照行、Ｎ≦Ｎ’、または
前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行のうち、指定されたＮ個の参照行、
を含み、
Ｎ’≦Ｎ _ｍａｘ であり、Ｎ _ｍａｘ はソートの参加を許可する参照行の最大数である、
請求項１に記載の方法。

【請求項4】

前記テンプレート領域外側の現在ブロックに最も近いＮ’個の参照行は、現在ブロックが位置する符号化ツリーユニットＣＴＵの上方境界を超えない参照行である、
請求項３に記載の方法。

【請求項5】

前記誤差は、絶対誤差とＳＡＤで表され、または誤差変換絶対値とＳＡＴＤで表される、
請求項１に記載の方法。

【請求項6】

前記現在ブロックのテンプレート領域は、現在ブロックに最も近い１つの参照行に設置され、または
前記現在ブロックのテンプレート領域は、現在ブロックに最も近い複数の参照行に設置される、
請求項１に記載の方法。

【請求項7】

前記方法は、復号化結果に応じて、現在ブロックのＭＲＬインデックスリストのソートを許可しないと決定した場合、前記マルチ参照行インデックスと設定されたＭＲＬインデックスリストに応じて、現在ブロックによって選択された参照行を決定し、現在ブロックによって選択された参照行に応じて、現在ブロックに対してイントラ予測を行うステップをさらに含む、
請求項１に記載の方法。

【請求項8】

現在ブロックのＭＲＬインデックスリストのソートを許可する十分条件は、現在ブロックのＭＲＬインデックスリストのソートを許可することを表すフラグを真にすることを含む、
請求項１に記載の方法。

【請求項9】

現在ブロックが、マルチ参照行ＭＲＬを使用しない条件と、
マルチ参照行インデックスが、ＭＲＬインデックスリストにおけるソートに参加しない位置を指示する条件と、
現在のフレームが、非輝度フレームである条件と、
現在ブロックが、ＣＴＵの上方境界に位置する条件と、
現在ブロックによって選択されたイントラ予測モードが、指定モードである条件であって、前記指定モードは、平面モード、１つのモードが平面モードであるＴＩＭＤ融合モード、平均モード、水平角度モード、垂直角度モード、広角度モードのうちの任意の１つまたは複数を含む条件と、
現在ブロックのサイズが、設定条件を満たさない条件と、
現在ブロックの縦横比が、設定条件を満たさない条件と、
現在ブロックがＴＩＭＤを使用する場合と現在ブロックがＴＩＭＤを使用しない場合のうちの１つである条件と、
のうちの任意の１つまたは複数の条件を、現在ブロックのＭＲＬインデックスリストのソートを許可しない十分条件とする、
請求項７に記載の方法。

【請求項10】

現在ブロックに対してイントラ予測を行い、現在ブロックによって選択された参照行を決定するステップと、
現在ブロックのＭＲＬインデックスリストのソートを許可すると決定した場合、現在ブロクのＭＲＬインデックスリストをソートし、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得るステップと、
現在ブロックによって選択された参照行のインデックスの、現在ブロックに基づいてソートされたＭＲＬインデックスリストにおける位置に応じて、現在ブロックのマルチ参照行インデックスを決定して符号化するステップと、
を含み、
現在ブロックのＭＲＬインデックスリストをソートし、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得るステップは、
前記現在ブロックのテンプレート領域外側に位置する少なくとも一部の参照行に応じて、前記テンプレート領域をそれぞれ予測し、前記テンプレート領域の再構成値と予測して得られた予測値との間の誤差を計算するステップと、
前記誤差の小さい方から大きい方への順に従って、前記誤差に対応する参照行のインデックスを現在ブロックのマルチ参照行ＭＲＬインデックスリストに埋め込み、現在ブロックに基づいてソートされたＭＲＬインデックスリストを得るステップと、
を含む、
ビデオ符号化方法。

【請求項11】

前記方法は、現在ブロックのＭＲＬインデックスリストのソートを許可しないと決定した場合、現在ブロックによって選択された参照行のインデックスの、設定されたＭＲＬインデックスにおける位置に応じて、現在ブロックのマルチ参照行インデックスを決定して符号化するステップをさらに含む、
請求項１０に記載の方法。

【請求項12】

前記方法は、現在ブロックのＭＲＬインデックスリストのソートを許可すると決定した場合、現在ブロックのＭＲＬインデックスリストのソートを許可することを表すフラグを真にするステップをさらに含む、
請求項１０に記載の方法。

【請求項13】

コードストリームであって、
前記コードストリームには、現在ブロックのマルチ参照行インデックスが含まれ、前記マルチ参照行インデックスは、現在ブロックによって選択された参照行のインデックスの、ＭＲＬインデックスリストにおける位置を指示するために用いられ、前記ＭＲＬインデックスリストは、現在ブロックに基づいてソートされたＭＲＬインデックスリスト、または設定されたＭＲＬインデックスリストである、
コードストリーム。

【請求項14】

ビデオ復号化装置であって、プロセッサと、コンピュータプログラムが記憶されたメモリとを備え、前記プロセッサは、前記コンピュータプログラムを実行すると、請求項１から９のいずれかに記載のビデオ復号化方法を実現する、
ビデオ復号化装置。

【請求項15】

ビデオ符号化装置であって、プロセッサと、コンピュータプログラムが記憶されたメモリとを備え、前記プロセッサは、前記コンピュータプログラムを実行すると、請求項１０から１２のいずれかに記載のビデオ符号化方法を実現する、
ビデオ符号化装置。

【国際調査報告】