知財求人 - 知財ポータルサイト「IP Force」
▶ グァンドン オッポ モバイル テレコミュニケーションズ コーポレーション リミテッドの特許一覧
特表2025-521793候補リストの構築方法、ビデオエンコーディング方法及び装置、ビデオデコーディング方法及び装置、並びにビデオコーディングシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-07-10
(54)【発明の名称】候補リストの構築方法、ビデオエンコーディング方法及び装置、ビデオデコーディング方法及び装置、並びにビデオコーディングシステム
(51)【国際特許分類】
H04N 19/105 20140101AFI20250703BHJP
H04N 19/593 20140101ALI20250703BHJP
H04N 19/70 20140101ALI20250703BHJP
H04N 19/176 20140101ALI20250703BHJP
【ＦＩ】
H04N19/105
H04N19/593
H04N19/70
H04N19/176
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024577125
(86)(22)【出願日】2022-09-15
(85)【翻訳文提出日】2024-12-27
(86)【国際出願番号】 CN2022119139
(87)【国際公開番号】W WO2024007450
(87)【国際公開日】2024-01-11
(31)【優先権主張番号】PCT/CN2022/103946
(32)【優先日】2022-07-05
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】516227559
【氏名又は名称】オッポ広東移動通信有限公司
【氏名又は名称原語表記】ＧＵＡＮＧＤＯＮＧ ＯＰＰＯ ＭＯＢＩＬＥ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＣＯＲＰ．， ＬＴＤ．
【住所又は居所原語表記】Ｎｏ． １８ Ｈａｉｂｉｎ Ｒｏａｄ，Ｗｕｓｈａ， Ｃｈａｎｇ’ａｎ，Ｄｏｎｇｇｕａｎ， Ｇｕａｎｇｄｏｎｇ ５２３８６０ Ｃｈｉｎａ
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100152205
【弁理士】
【氏名又は名称】吉田 昌司
(74)【代理人】
【識別番号】100137523
【弁理士】
【氏名又は名称】出口 智也
(74)【代理人】
【識別番号】100120385
【弁理士】
【氏名又は名称】鈴木 健之
(72)【発明者】
【氏名】シュイ、ルーハン
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159MA04
5C159MA05
5C159MA21
5C159MC11
5C159ME01
5C159RC12
5C159TA33
5C159TB08
5C159TC08
5C159TC18
5C159UA02
5C159UA05
5C159UA16
(57)【要約】
マルチ参照ラインイントラ予測モードの候補リストの構築方法、ビデオエンコーディング方法及び装置、ビデオデコーディング方法及び装置、並びにビデオコーディングシステムが提供される。Ｎ個の拡張参照ラインとＭ個のイントラ予測モードのＮ×Ｍ個の組み合わせの各々に基づいてテンプレート領域を予測し、ＴＭＲＬ＿ＩＰモードの候補リストに、テンプレート領域の再構成値と予測値との間の誤差の昇順でＫ個の組み合わせを記入する。エンコーディング側は、現在のブロックのために候補リスト内の組み合わせを選択したとき、ＴＭＲＬ＿ＩＰモードフラグとＴＭＲＬ＿ＩＰモードインデックスをエンコードし、デコーディング側は、ＴＭＲＬ＿ＩＰモードフラグとＴＭＲＬ＿ＩＰモードインデックスをデコードすることで、現在のブロックのために選択された拡張参照ラインとイントラ予測モードを確定する。本願の実施形態では、拡張参照ラインとイントラ予測モードの組み合わせをエンコード及びデコードすることにより、コーディング効率とコーディング性能を向上させることができる。
【特許請求の範囲】
【請求項1】
マルチ参照ラインイントラ予測（ＭＲＬ＿ＩＰ）モードの候補リストの構築方法であって、現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個の組み合わせを取得することであって、Ｎ≧１、Ｍ≧１、Ｎ×Ｍ≧２が満たされる、取得することと、
前記Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、前記テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算することと、
現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ＿ＩＰ）モードの候補リストに、前記誤差の昇順で前記誤差に対応するＫ個の組み合わせを記入することであって、１≦Ｋ≦Ｎ×Ｍが満たされる、記入することと、
を含む、
ことを特徴とするマルチ参照ラインイントラ予測モードの候補リストの構築方法。
【請求項2】
前記現在のブロックのテンプレート領域は、現在のブロックに最も近い１つの参照ラインに設定され、又は、前記現在のブロックのテンプレート領域は、現在のブロックに最も近い複数の参照ラインに設定され、前記Ｎ個の拡張参照ラインは、前記テンプレート領域の外側に位置する拡張参照ラインである、
ことを特徴とする請求項１に記載の構築方法。
【請求項3】
前記誤差は、差分絶対値和（ＳＡＤ）又は差分変換絶対値和（ＳＡＴＤ）で表される、ことを特徴とする請求項１に記載の構築方法。
【請求項4】
前記現在のブロックのＮ個の拡張参照ラインは、事前定義のＮｍａｘ個の拡張参照ラインのうち、現在のブロックのテンプレート領域の外側に位置し、且つコーディングツリーユニット（ＣＴＵ）の境界を超えない拡張参照ラインであり、ＮｍａｘはＴＭＲＬ＿ＩＰモードで使用できる拡張参照ラインの最大個数である、
ことを特徴とする請求項１に記載の構築方法。
【請求項5】
前記事前定義のＮｍａｘ個の拡張参照ラインは、インデックスが｛１，３，５，７，１２｝である５個の拡張参照ラインであり、又は、
インデックスが｛２，３，５，７，１２｝である５個の拡張参照ラインであり、又は、
インデックスが１から始まり、現在のブロックに最も近いＮｍａｘ個の拡張参照ラインであり、又は、
インデックスが１から始まり且つインデックスが奇数であり、現在のブロックに最も近いＮｍａｘ個の拡張参照ラインであり、又は、
インデックスが２から始まり且つインデックスが偶数であり、現在のブロックに最も近いＮｍａｘ個の拡張参照ラインである、
ことを特徴とする請求項４に記載の構築方法。
【請求項6】
前記Ｍ個のイントラ予測モードは、以下のプロセスによって選択され、即ち、第１ステップにおいて、現在のブロックの周囲にある複数の近隣位置での予測ブロックのために使用されるイントラ予測モードを確定し、そのうちの選択できるイントラ予測モードを順番に選択し、重複するモードを削除し、
第１ステップで選択されたイントラ予測モードの数がＭになると、終了し、第１ステップで選択されたイントラ予測モードは数がＭ未満であり、且つ角度モードを含む場合、第２ステップを実行し、
第２ステップにおいて、選択されたイントラ予測モードの総数がＭになるまで、選択された１番目の角度モードから順番に角度モードの拡張操作を行って拡張後の角度モードを取得し、選択された全ての角度モードと異なる拡張後の角度モードを選択する、
ことを特徴とする請求項１に記載の構築方法。
【請求項7】
前記第１ステップにおいて、ＣＴＵの上部境界に位置する現在のブロックとＣＴＵの上部境界に位置しない現在のブロックの各々に対して、前記現在のブロックの周囲にある複数の近隣位置での予測ブロックは、現在のブロックの左側の予測ブロック、上方の予測ブロック、左上の予測ブロック、左下の予測ブロック、及び右上の予測ブロックという予測ブロックの一部又は全てを含み、Ｍ≧５が満たされる、ことを特徴とする請求項６に記載の構築方法。
【請求項8】
現在のブロックの周囲にある複数の近隣位置での予測ブロックのために使用されるイントラ予測モードに基づいて選択されたイントラ予測モードの数がＭ未満である場合、前記第１ステップは、さらに、以下の方式、即ち、現在のブロックの周囲の再構成値に基づいて、デコーダー側イントラモード導出（ＤＩＭＤ）の勾配ヒストグラムを用いて２個のイントラ予測モードを導出し、導出された前記２個のイントラ予測モードから、選択されたイントラ予測モードのいずれとも異なるイントラ予測モードを選択することと、
選択されたイントラ予測モードにＤＣモードが含まれていない場合、ＤＣモードを選択すること、
という方式の少なくとも１つにより、組み合わせに参加するイントラ予測モードを引き続いて選択することを含む、
ことを特徴とする請求項６又は７に記載の構築方法。
【請求項9】
前記第２ステップにおいて、前記第１ステップで選択された全ての角度モードに対して、選択された１番目の角度モードから、設定された順序で順番に以下の処理を行い、即ち、角度モードの拡張操作を行って拡張後の角度モードを取得し、前記拡張後の角度モードが選択された角度モードのいずれとも異なる場合、前記拡張後の角度モードを選択し、選択されたイントラ予測モードの総数がＭ個になると、終了することという処理を行い、
前記第１ステップで選択された全ての角度モードの数は１以上且つ５以下である、
ことを特徴とする請求項６に記載の構築方法。
【請求項10】
前記Ｍ個のイントラ予測モードを選択するプロセスは、さらに、前記第１ステップにおいて角度モードが選択されなかった場合、又は前記第２ステップにより選択されたイントラ予測モードの総数が依然としてＭ未満である場合、第３ステップを実行し、前記第３ステップにおいて、事前定義のイントラ予測モード集合のうちの選択できるイントラ予測モードを確定し、選択されたイントラ予測モードの総数がＭになるまで、確定された選択できるイントラ予測モードから、選択されたイントラ予測モードのいずれとも異なるイントラ予測モードを順番に選択することを含む、
ことを特徴とする請求項６に記載の構築方法。
【請求項11】
前記選択できるイントラ予測モードには、角度モードのみが含まれ、又は角度モードとＤＣモードのみが含まれ、又は角度モード、ＤＣモード及びＰｌａｎａｒモードが含まれる、ことを特徴とする請求項６又は１０に記載の構築方法。
【請求項12】
前記角度モードの拡張操作は、角度モードに対して１を加算する操作及び１を減算する操作と、
角度モードに対して２を加算する操作及び２を減算する操作と、
角度モードに対して３を加算する操作及び３を減算する操作と、
角度モードに対して４を加算する操作及び４を減算する操作、
という操作のうちのいずれか１つ以上を含む、
ことを特徴とする請求項６に記載の構築方法。
【請求項13】
前記Ｍ個のイントラ予測モードとして、最確モード（ＭＰＭ）のうち、Ｐｌａｎａｒモード以外のイントラ予測モードの一部又は全部を使用し、又は、前記Ｍ個のイントラ予測モードとして、ＭＰＭと第２ＭＰＭのうち、Ｐｌａｎａｒモード以外のイントラ予測モードの一部又は全部を使用し、又は、
前記Ｍ個のイントラ予測モードとして、ＭＰＭのうち、Ｐｌａｎａｒモード及びＤＣモード以外のイントラ予測モードの一部又は全部を使用し、又は、
前記Ｍ個のイントラ予測モードとして、ＭＰＭと第２ＭＰＭのうち、Ｐｌａｎａｒモード及びＤＣモード以外のイントラ予測モードの一部又は全部を使用し、又は、
前記Ｍ個のイントラ予測モードとして、ＭＰＭのうち、Ｐｌａｎａｒモード、ＤＣモード、及びＤＩＭＤモード以外のイントラ予測モードの一部又は全部を使用し、又は、
前記Ｍ個のイントラ予測モードとして、ＭＰＭと第２ＭＰＭのうち、Ｐｌａｎａｒモード、ＤＣモード、及びＤＩＭＤモード以外のイントラ予測モードの一部又は全部を使用する、
ことを特徴とする請求項１に記載の構築方法。
【請求項14】
前記Ｍ個のイントラ予測モードは、以下の方式によって選択され、即ち、Ｍ’個のイントラ予測モードを選択することと、
現在のブロックのテンプレートの外側に位置する参照ラインと、前記Ｍ’個のイントラ予測モードとに基づいて、それぞれ現在のブロックのテンプレートを予測し、また、前記テンプレートの再構成値と予測によって得られた予測値との間の誤差を算出してＭ’個の誤差を算出することと、
組み合わせに参加する前記Ｍ個のイントラ予測モードとして、Ｍ’個のイントラ予測モードから、最小誤差に対応するＭ個のイントラ予測モードを選択することであって、Ｍ＜Ｍ’が満たされる、選択することと、
という方式によって選択される、
ことを特徴とする請求項１に記載の構築方法。
【請求項15】
Ｎ≦Ｎｍａｘ、２≦Ｎｍａｘ≦１２、２≦Ｍ≦１８、Ｋ≦Ｋｍａｘ、６≦Ｋｍａｘ≦３６、ＮｍａｘはＴＭＲＬ＿ＩＰモードで使用できる拡張参照ラインの最大個数であり、ＫｍａｘはＴＭＲＬ＿ＩＰモードで使用できる候補組み合わせの最大個数である、ことを特徴とする請求項１に記載の構築方法。
【請求項16】
Ｎ＝５、Ｍ＝１０、Ｋ＝２０が満たされ、又は、Ｎ＝５、Ｍ＝６、Ｋ＝１２が満たされ、又は、
Ｎ＝５、Ｍ＝８、Ｋ＝１６が満たされ、又は、
Ｎ＝５、Ｍ＝１２、Ｋ＝２４が満たされる、
ことを特徴とする請求項１に記載の構築方法。
【請求項17】
前記Ｎ、Ｍ及びＫは少なくとも２組の値を有し、第１組の値はＮ１、Ｍ１、Ｋ１であり、第２組の値はＮ２、Ｍ２、Ｋ２であり、Ｎ１≦Ｎ２、Ｍ１≦Ｍ２、Ｋ１≦Ｋ２、及びＮ１×Ｍ１＜Ｎ２×Ｍ２が満たされ、前記第１組の値は、第１サイズを有する現在のブロックのために前記候補リストを構築するときに使用され、前記第２組の値は、第２サイズを有する現在のブロックのために前記候補リストを構築するときに使用され、前記第１サイズは前記第２サイズよりも小さい、
ことを特徴とする請求項１に記載の構築方法。
【請求項18】
前記した、前記Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測することは、現在のブロックが画像の左境界に位置する場合、前記Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックの上方テンプレート領域を予測し、現在のブロックの左側テンプレート領域を予測しないことを含む、ことを特徴とする請求項１に記載の構築方法。
【請求項19】
前記した、前記Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測することは、前記Ｎ×Ｍ個の組み合わせの各々に基づいて、以下の方式で予測することを含み、即ち、前記組み合わせにおける拡張参照ラインの再構成値と、前記組み合わせにおけるイントラ予測モードとに基づいて、前記テンプレート領域の初期予測値を算出することであって、前記拡張参照ラインの再構成値は、前記拡張参照ラインのオリジナル再構成値又はフィルタリングされた後の再構成値である、算出することと、
前記テンプレート領域の初期予測値に対して４タップフィルタリング又は６タップフィルタリングを行い、フィルタリング結果を、前記組み合わせに基づいて予測して得られた前記テンプレート領域の予測値とすること、
という方式で予測することを含む、
ことを特徴とする請求項１に記載の構築方法。
【請求項20】
前記した、前記Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、前記テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算することは、Ｋ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域全体を予測して、対応するＫ個の誤差からなる誤差集合を取得し、前記誤差集合における最大誤差をＤｍａｘとして記録することと、
残りの組み合わせの各々について、まず、前記組み合わせに基づいて現在のブロックの一方側のテンプレート領域を予測し、現在のブロックの前記一方側のテンプレート領域の再構成値と予測値との間の誤差Ｄ１を算出し、Ｄ１≧Ｄｍａｘであれば、前記組み合わせに基づく予測を完了し、Ｄ１＜Ｄｍａｘであれば、また、前記組み合わせに基づいて現在のブロックのもう一側のテンプレート領域を予測し、現在のブロックのテンプレート領域全体の再構成値と予測値との間の誤差Ｄ２を算出し、Ｄ２＜Ｄｍａｘであれば、前記誤差集合にＤ２を加え、前記誤差集合からＤｍａｘを削除し、前記誤差集合内の最大誤差Ｄｍａｘを更新し、Ｄ２≧Ｄｍａｘであれば、前記組み合わせに基づく予測を完了することと、
前記Ｎ×Ｍ個の組み合わせに基づく予測を完了した後、前記誤差集合におけるＫ個の誤差に対応するＫ個の組み合わせを、最小誤差に対応するＫ個の組み合わせとすることと、
を含む、
ことを特徴とする請求項１に記載の構築方法。
【請求項21】
前記した、現在のブロックのＴＭＲＬ＿ＩＰモードの候補リストに、前記誤差の昇順で前記誤差に対応するＫ個の組み合わせを記入することは、前記候補リストの１番目の位置から、前記誤差の昇順で前記誤差に対応するＫ個の組み合わせを前記候補リストに記入すること、又は
前記候補リストのｉ番目の位置から、前記誤差の昇順で前記誤差に対応するＫ個の組み合わせを前記候補リストに記入することであって、前記候補リストのｉ番目の位置の前に、インデックスが０である参照ラインと、１つ又は複数のイントラ予測モードとの組み合わせが記入されており、ｉ≧２が満たされる、記入することと、
を含む、
ことを特徴とする請求項１に記載の構築方法。
【請求項22】
現在のブロックのマルチ参照ラインイントラ予測（ＭＲＬ＿ＩＰ）モードフラグをデコードして、現在のブロックに対してＭＲＬ＿ＩＰモードを使用するかどうかを確定することと、現在のブロックに対してＭＲＬ＿ＩＰモードを使用すると確定した場合、引き続いて現在のブロックのＭＲＬ＿ＩＰモードインデックスをデコードし、現在のブロックのＭＲＬ＿ＩＰモードの候補リストを構築することであって、前記候補リストには、現在のブロックのための、拡張参照ラインとイントラ予測モードの候補組み合わせが記入されている、構築することと、
前記候補リストとＭＲＬ＿ＩＰモードインデックスに基づいて、現在のブロックのために選択される拡張参照ラインとイントラ予測モードの組み合わせを確定し、選択された組み合わせに基づいて現在の画像を予測することと、
を含むビデオデコーディング方法であって、
前記ＭＲＬ＿ＩＰモードインデックスは、前記選択された拡張参照ラインとイントラ予測モードの組み合わせの、前記候補リストにある位置を示すために使用される、
ことを特徴とするビデオデコーディング方法。
【請求項23】
前記ＭＲＬ＿ＩＰモードの候補リストは、請求項１から２１のいずれか一項に記載の方法に基づいて構築されたテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ＿ＩＰ）モードの候補リストであり、Ｋは設定値であり、又は、ＫはＴＭＲＬ＿ＩＰモードインデックスに基づいて確定され、ＴＭＲＬ＿ＩＰモードインデックスは、前記選択された拡張参照ラインとイントラ予測モードの組み合わせが、前記候補リストにおけるＬ番目の位置にあることを示す場合、Ｋ＝Ｌであり、Ｌは正の整数である、ことを特徴とする請求項１８に記載のビデオデコーディング方法。
【請求項24】
前記した、現在のブロックのＭＲＬ＿ＩＰモードフラグをデコードすることの前、前記ビデオデコーディング方法は、現在のブロックに対してＭＲＬ＿ＩＰモードを使用できる条件が全て成立した場合、現在のブロックのＭＲＬ＿ＩＰモードフラグをデコードすることをさらに含み、前記ＭＲＬ＿ＩＰモードを使用できる条件は、以下のいずれか１つ以上を含み、即ち、
現在のブロックが輝度フレームにおけるブロックであること、
現在のブロックに対してＭＲＬを使用できること、
現在のブロックがコーディングツリーユニット（ＣＴＵ）の上部境界に位置しないこと、
現在のブロックに対してテンプレートベースのイントラモード導出（ＴＩＭＤ）を使用しないこと、
という条件のいずれか１つ以上を含む、
ことを特徴とする請求項２２又は２３に記載のビデオデコーディング方法。
【請求項25】
前記方法は、現在のブロックに対してＭＲＬを使用でき、現在のブロックがＣＴＵの上部境界に位置しておらず、且つ現在のブロックに対してＴＩＭＤを使用すると確定した場合、現在のブロックのＭＲＬインデックスをデコードすることをさらに含み、前記ＭＲＬインデックスは、現在のブロックのために選択された参照ラインのＭＲＬインデックスリストにある位置を示すために使用される、
ことを特徴とする請求項２２に記載のビデオデコーディング方法。
【請求項26】
前記ＭＲＬ＿ＩＰモードフラグに基づいて、現在のブロックに対してＭＲＬ＿ＩＰモードを使用すると確定した場合、前記方法は、ＭＰＭモード、イントラサブパーティション分割（ＩＳＰ）モード、マルチ変換選択（ＭＴＳ）モード、低周波数非分離型変換（ＬＦＮＳＴ）モード、及びＴＩＭＤモードのうちのいずれか１つ以上のモードのシンタックスエレメントのデコーディングをスキップすることを、さらに含む、ことを特徴とする請求項２２に記載のビデオデコーディング方法。
【請求項27】
現在のブロックのマルチ参照ラインイントラ予測（ＭＲＬ＿ＩＰ）モードの候補リストを構築することであって、前記候補リストには、現在のブロックのための、拡張参照ラインとイントラ予測モードの候補組み合わせが記入されている、構築することと、レート歪み最適化を通じて、現在のブロックのために、イントラ予測に用いられる、参照ラインとイントラ予測モードの組み合わせを選択することと、
現在のブロックのＭＲＬ＿ＩＰモードのエンコーディング条件が満たされた場合、現在のブロックのＭＲＬ＿ＩＰモードフラグをエンコードすることで現在のブロックに対してＭＲＬ＿ＩＰモードを使用することを示し、現在のブロックのＭＲＬ＿ＩＰモードインデックスをエンコードすることで前記候補リストにおける選択された前記組み合わせの位置を示すことと、
を含むビデオエンコーディング方法であり、
前記エンコーディング条件は、少なくとも、選択された前記組み合わせが前記候補リストにあることを含む、
ことを特徴とするビデオエンコーディング方法。
【請求項28】
前記ＭＲＬ＿ＩＰモードの候補リストは、請求項１から２１のいずれか一項に記載の方法に基づいて構築されたテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ＿ＩＰ）モードの候補リストであり、Ｋは設定値である、ことを特徴とする請求項２７に記載のビデオエンコーディング方法。
【請求項29】
前記エンコーディング条件は、さらに、現在のブロックに対してテンプレートベースのイントラモード導出（ＴＩＭＤ）を使用しないことを含み、前記方法は、さらに、
現在のブロックに対してＴＩＭＤを使用する場合、現在のブロックのＭＲＬ＿ＩＰモードフラグとＭＲＬ＿ＩＰモードインデックスのエンコーディングをスキップすることと、
現在のブロックに対してＴＩＭＤを使用しないが、選択された前記組み合わせが前記候補リストにない場合、現在のブロックのＭＲＬ＿ＩＰモードフラグをエンコードすることで現在のブロックに対してＭＲＬ＿ＩＰモードを使用しないことを示し、現在のブロックのＭＲＬ＿ＩＰモードインデックスのエンコーディングをスキップすることと、
を含む、
ことを特徴とする請求項２７に記載のビデオエンコーディング方法。
【請求項30】
前記した、現在のブロックのＭＲＬ＿ＩＰモードの候補リストを構築することは、設定された、現在のブロックに対してＭＲＬ＿ＩＰモードを使用できる条件が全て成立した場合にのみ、前記候補リストを構築することを含み、前記ＭＲＬ＿ＩＰモードを使用できる条件は、以下のいずれか１つ以上を含み、即ち、
現在のブロックが輝度フレームにおけるブロックであること、
現在のブロックがコーディングツリーユニット（ＣＴＵ）の上部境界に位置しないこと、
現在のブロックに対してＭＲＬを使用できること、
現在のブロックのサイズが、ＭＲＬ＿ＩＰモードが使用できる現在のブロックの最大サイズより大きくないこと、
現在のブロックのアスペクト比が、現在のブロックのアスペクト比に対するＭＲＬ＿ＩＰモードを使用することの要求を満たすこと、
という条件のいずれか１つ以上を含む、
ことを特徴とする請求項２７に記載のビデオエンコーディング方法。
【請求項31】
前記ＭＲＬ＿ＩＰモードインデックスに対してゴロム・ライス（Ｇｏｌｏｍｂ－Ｒｉｃｅ）コーディング法を用いてエンコードする、ことを特徴とする請求項２７に記載のビデオエンコーディング方法。
【請求項32】
現在のブロックのＭＲＬ＿ＩＰモードのエンコーディング条件が満たされた場合、前記方法は、ＭＰＭモード、イントラサブパーティション分割（ＩＳＰ）モード、マルチ変換選択（ＭＴＳ）モード、低周波数非分離型変換（ＬＦＮＳＴ）モード、及びＴＩＭＤモードのうちのいずれか１つ以上のモードのシンタックスエレメントのエンコーディングをスキップすることを、さらに含む、ことを特徴とする請求項２７に記載のビデオエンコーディング方法。
【請求項33】
ビットストリームであって、前記ビットストリームは、イントラ予測に用いられるブロックレベルのシンタックスエレメントを含み、前記シンタックスエレメントは、現在のブロックのためのマルチ参照ラインイントラ予測（ＭＲＬ＿ＩＰ）モードフラグ及びＭＲＬ＿ＩＰモードインデックスを含み、前記ＭＲＬ＿ＩＰモードフラグは、現在のブロックに対してＭＲＬ＿ＩＰモードを使用するか否かを示すために使用され、前記ＭＲＬ＿ＩＰモードインデックスは、現在のブロックのために選択された拡張参照ラインとイントラ予測モードの組み合わせの、ＭＲＬ＿ＩＰモードの候補リストにおける位置を示すために使用される、
ことを特徴とするビットストリーム。
【請求項34】
ビットストリームであって、前記ビットストリームは、請求項２７から３２のいずれか１項に記載のビデオエンコーディング方法により生成される、
ことを特徴とする請求項３３に記載のビットストリーム。
【請求項35】
マルチ参照ラインイントラ予測（ＭＲＬ＿ＩＰ）モードの候補リストの構築装置であって、プロセッサと、コンピュータプログラムを記憶したメモリとを備え、
前記プロセッサが前記コンピュータプログラムを実行すると、請求項１から２１のいずれか１項に記載のＭＲＬ＿ＩＰモードの候補リストの構築方法を実現することができる、
ことを特徴とするマルチ参照ラインイントラ予測モードの候補リストの構築装置。
【請求項36】
ビデオデコーディング装置であって、プロセッサと、コンピュータプログラムを記憶したメモリとを備え、
前記プロセッサが前記コンピュータプログラムを実行すると、請求項２２～２６のいずれか一項に記載のビデオデコーディング方法を実現することができる、
ことを特徴とするビデオデコーディング装置。
【請求項37】
ビデオエンコーディング装置であって、プロセッサと、コンピュータプログラムを記憶したメモリとを備え、
前記プロセッサが前記コンピュータプログラムを実行すると、請求項２７～３２のいずれか一項に記載のビデオエンコーディング方法を実現することができる、
ことを特徴とするビデオエンコーディング装置。
【請求項38】
請求項３７に記載のビデオエンコーディング装置と請求項３６に記載のビデオデコーディング装置を含む、ことを特徴とするビデオコーディングシステム。
【請求項39】
非一時的なコンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体はコンピュータプログラムを記憶しており、前記コンピュータプログラムは、プロセッサによって実行されると、請求項１から２１のいずれか一項に記載のマルチ参照ラインイントラ予測（ＭＲＬ＿ＩＰ）モードの候補リストの構築方法を実現することができ、又は請求項２２から２６のいずれか一項に記載のビデオデコーディング方法を実現することができ、又は請求項２７から３２のいずれか一項に記載のビデオエンコーディング方法を実現することができる、
ことを特徴とする非一時的なコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の参照
本願は、発明の名称が「候補リストの構築方法、ビデオエンコーディング方法及び装置、ビデオデコーディング方法及び装置、並びにビデオコーディングシステム」とされ、２０２２年７月５日に出願されたＰＣＴ国際出願第ＰＣＴ／ＣＮ２０２２／１０３９４６号の優先権を主張し、そのＰＣＴ国際出願の全ての内容が引用として本願に組み込まれる。
本願は、発明の名称が「候補リストの構築方法、ビデオエンコーディング方法及び装置、ビデオデコーディング方法及び装置、並びにビデオコーディングシステム」とされ、２０２２年７月５日に出願されたＰＣＴ国際出願第ＰＣＴ／ＣＮ２０２２／１０３９４６号の優先権を主張し、そのＰＣＴ国際出願の全ての内容が引用として本願に組み込まれる。
【0002】
本願の実施形態は、ビデオ技術に関するが、これに限定されておらず、より具体的には、マルチ参照ラインイントラ予測モードの候補リストの構築方法、ビデオエンコーディング方法及び装置、ビデオデコーディング方法及び装置、並びにビデオコーディングシステムに関する。
【背景技術】
【0003】
デジタルビデオ圧縮技術は、主に、巨大なデジタル映像ビデオデータを圧縮してそれの伝送や記憶などを容易にするために使用される。現在、Ｈ．２６６／多用途ビデオコーディング（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）などの一般的なビデオコーディング規格では、ブロックベースの混合コーディングフレームワークが使用されている。ビデオにおける各画像（フレーム）は、同一サイズ（例えば、１２８×１２８、６４×６４など）の正方形の最大コーディングユニット（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ、ＬＣＵ）に分割される。各最大コーディングユニットは、ルールに基づいて、矩形のコーディングユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）に分割されることも可能である。コーディングユニットは、予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ、ＰＵ）、変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ、ＴＵ）などにさらに分割される可能性もある。混合コーディングフレームワークは、予測（ｐｒｅｄｉｃｔｉｏｎ）、変換（ｔｒａｎｓｆｏｒｍ）、量子化（ｑｕａｎｔｉｚａｔｉｏｎ）、エントロピーコーディング（Ｅｎｔｒｏｐｙ Ｃｏｄｉｎｇ）、ループフィルタ（Ｉｎ Ｌｏｏｐ Ｆｉｌｔｅｒ）などのモジュールを含む。予測モジュールは、ビデオの内部の冗長性を削減または除去するためのイントラ予測（Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）及びインター予測（Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ）を含む。イントラブロックに対して、ブロックの周囲のサンプルを参照として予測し、インターブロックに対して、空間上の隣接するブロックの情報や別の画像にある参照情報を参照する。予測信号と比較していうと、残差情報は、ブロックに基づく変換、量子化、エントロピーコーディングにより、ビットストリームに形成される。これらの技術は規格に記載されており、ビデオ圧縮に関連する様々な分野で実施されている。
【0004】
インターネットビデオの激増と、ビデオの解像度に対する要求の高まりに伴い、既存のデジタルビデオ圧縮規格によって多くのビデオデータを節約することができるにもかかわらず、デジタルビデオ伝送の帯域幅とトラフィックの負担を低減するために、より優れたデジタルビデオ圧縮技術を求める必要性が依然として存在する。
【発明の概要】
【0005】
以下の内容は、本明細書で詳細に説明しようとする主題の概要である。この概要は、特許請求の範囲の保護範囲を限定することを意図するものではない。
【0006】
本願の一実施形態は、マルチ参照ラインイントラ予測（ＭＲＬ＿ＩＰ）モードの候補リストの構築方法を提供する。ＭＲＬ＿ＩＰモードの候補リストの構築方法は、
現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個の組み合わせを取得することであって、Ｎ≧１、Ｍ≧１、Ｎ×Ｍ≧２が満たされる、取得することと、
Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算することと、
現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ＿ＩＰ）モードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入することであって、１≦Ｋ≦Ｎ×Ｍが満たされる、記入することと、を含む。
現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個の組み合わせを取得することであって、Ｎ≧１、Ｍ≧１、Ｎ×Ｍ≧２が満たされる、取得することと、
Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算することと、
現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ＿ＩＰ）モードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入することであって、１≦Ｋ≦Ｎ×Ｍが満たされる、記入することと、を含む。
【0007】
本願の一実施形態は、ビデオデコーディング方法をさらに提供する。
ビデオデコーディング方法は、
現在のブロックのマルチ参照ラインイントラ予測（ＭＲＬ＿ＩＰ）モードフラグをデコードして、現在のブロックに対してＭＲＬ＿ＩＰモードを使用するかどうかを確定することと、
現在のブロックに対してＭＲＬ＿ＩＰモードを使用すると確定した場合、引き続いて現在のブロックのＭＲＬ＿ＩＰモードインデックスをデコードし、現在のブロックのＭＲＬ＿ＩＰモードの候補リストを構築することであって、候補リストには、現在のブロックのための、拡張参照ラインとイントラ予測モードの候補組み合わせが記入されている、構築することと、
候補リストとＭＲＬ＿ＩＰモードインデックスに基づいて、現在のブロックのために選択される拡張参照ラインとイントラ予測モードの組み合わせを確定し、選択された組み合わせに基づいて現在の画像を予測することと、を含む。
ＴＭＲＬ＿ＩＰモードインデックスは、選択された拡張参照ラインとイントラ予測モードの組み合わせの、候補リストにある位置を示すために使用される。
ビデオデコーディング方法は、
現在のブロックのマルチ参照ラインイントラ予測（ＭＲＬ＿ＩＰ）モードフラグをデコードして、現在のブロックに対してＭＲＬ＿ＩＰモードを使用するかどうかを確定することと、
現在のブロックに対してＭＲＬ＿ＩＰモードを使用すると確定した場合、引き続いて現在のブロックのＭＲＬ＿ＩＰモードインデックスをデコードし、現在のブロックのＭＲＬ＿ＩＰモードの候補リストを構築することであって、候補リストには、現在のブロックのための、拡張参照ラインとイントラ予測モードの候補組み合わせが記入されている、構築することと、
候補リストとＭＲＬ＿ＩＰモードインデックスに基づいて、現在のブロックのために選択される拡張参照ラインとイントラ予測モードの組み合わせを確定し、選択された組み合わせに基づいて現在の画像を予測することと、を含む。
ＴＭＲＬ＿ＩＰモードインデックスは、選択された拡張参照ラインとイントラ予測モードの組み合わせの、候補リストにある位置を示すために使用される。
【0008】
本願の一実施形態は、ビデオエンコーディング方法をさらに提供する。
ビデオエンコーディング方法は、
現在のブロックのマルチ参照ラインイントラ予測（ＭＲＬ＿ＩＰ）モードの候補リストを構築することであって、候補リストには、現在のブロックのための、拡張参照ラインとイントラ予測モードの候補組み合わせが記入されている、構築することと、
レート歪み最適化を通じて、現在のブロックのために、イントラ予測に用いられる、参照ラインとイントラ予測モードの組み合わせを選択することと、
現在のブロックのＭＲＬ＿ＩＰモードのエンコーディング条件が満たされた場合、現在のブロックのＭＲＬ＿ＩＰモードフラグをエンコードすることで現在のブロックに対してＭＲＬ＿ＩＰモードを使用することを示し、現在のブロックのＭＲＬ＿ＩＰモードインデックスをエンコードすることで候補リストにおける選択された組み合わせの位置を示すことと、を含む。
エンコーディング条件は、少なくとも、選択された組み合わせが候補リストにあることを含む。
ビデオエンコーディング方法は、
現在のブロックのマルチ参照ラインイントラ予測（ＭＲＬ＿ＩＰ）モードの候補リストを構築することであって、候補リストには、現在のブロックのための、拡張参照ラインとイントラ予測モードの候補組み合わせが記入されている、構築することと、
レート歪み最適化を通じて、現在のブロックのために、イントラ予測に用いられる、参照ラインとイントラ予測モードの組み合わせを選択することと、
現在のブロックのＭＲＬ＿ＩＰモードのエンコーディング条件が満たされた場合、現在のブロックのＭＲＬ＿ＩＰモードフラグをエンコードすることで現在のブロックに対してＭＲＬ＿ＩＰモードを使用することを示し、現在のブロックのＭＲＬ＿ＩＰモードインデックスをエンコードすることで候補リストにおける選択された組み合わせの位置を示すことと、を含む。
エンコーディング条件は、少なくとも、選択された組み合わせが候補リストにあることを含む。
【0009】
本願の一実施形態は、ビットストリームをさらに提供する。ビットストリームは、イントラ予測に用いられるブロックレベルのシンタックスエレメントを含み、シンタックスエレメントは、現在のブロックのためのマルチ参照ラインイントラ予測（ＭＲＬ＿ＩＰ）モードフラグ及びＭＲＬ＿ＩＰモードインデックスを含み、ＭＲＬ＿ＩＰモードフラグは、現在のブロックに対してＭＲＬ＿ＩＰモードを使用するか否かを示すために使用され、ＭＲＬ＿ＩＰモードインデックスは、現在のブロックのために選択された拡張参照ラインとイントラ予測モードの組み合わせの、ＭＲＬ＿ＩＰモードの候補リストにおける位置を示すために使用される。
【0010】
本願の一実施形態は、マルチ参照ラインイントラ予測モードの候補リストの構築装置をさらに提供する。ＭＲＬ＿ＩＰモードの候補リストの構築装置は、プロセッサと、コンピュータプログラムを記憶したメモリとを備える。プロセッサがコンピュータプログラムを実行すると、本願のいずれか１つの実施形態に記載のＭＲＬ＿ＩＰモードの候補リストの構築方法を実現することができる。
【0011】
本願の一実施形態は、ビデオデコーディング装置をさらに提供する。ビデオデコーディング装置は、プロセッサと、コンピュータプログラムを記憶したメモリとを備える。プロセッサがコンピュータプログラムを実行すると、本願のいずれか１つの実施形態に記載のビデオデコーディング方法を実現することができる。
【0012】
本願の一実施形態は、ビデオエンコーディング装置をさらに提供する。ビデオエンコーディング装置は、プロセッサと、コンピュータプログラムを記憶したメモリとを備える。プロセッサがコンピュータプログラムを実行すると、本願のいずれか１つの実施形態に記載のビデオエンコーディング方法を実現することができる。
【0013】
本願の一実施形態は、ビデオコーディングシステムをさらに提供する。ビデオコーディングシステムは、本願のいずれか１つの実施形態に記載のビデオエンコーディング装置と、本願のいずれか１つの実施形態に記載のビデオデコーディング装置を含む。
【0014】
本願の一実施形態は、非一時的なコンピュータ可読記憶媒体をさらに提供する。コンピュータ可読記憶媒体はコンピュータプログラムを記憶しており、コンピュータプログラムは、プロセッサによって実行されると、本願のいずれか１つの実施形態に記載のマルチ参照ラインイントラ予測（ＭＲＬ＿ＩＰ）モードの候補リストの構築方法を実現することができ、又は本願のいずれか１つの実施形態に記載のビデオデコーディング方法を実現することができ、又は本願のいずれか１つの実施形態に記載のビデオエンコーディング方法を実現することができる。
【0015】
図面及び詳細な説明を読み通して理解した後、他の方面を理解することができる。
【図面の簡単な説明】
【0016】
図面は、本願の実施形態を理解するために提供され、明細書の一部を構成し、本願の実施形態とともに本願の技術案を説明するために用いられ、本願の技術案の限定を構成するものではない。
【図1A】本願の一実施形態に係るコーディングシステムを示す概略図である。
【図1B】本願の一実施形態に係るエンコーディング側のフレームワークを示す図である。
【図1C】本願の一実施形態に係るデコーディング側のフレームワークを示す図である。
【図2】本願の一実施形態に係るイントラ予測モードを示す概略図である。
【図3】本願の一実施形態に係る現在のブロックの隣接するイントラ予測ブロックを示す概略図である。
【図4】本願の一実施形態に係る現在のブロックのテンプレート及びテンプレート参照領域を示す概略図である。
【図5】本願の一実施形態に係る現在のブロックの周囲にある複数の参照ラインを示す概略図である。
【図6】本願の一実施形態に係るビデオエンコーディング方法を示すフローチャートである。
【図7】本願の一実施形態に係るＭＲＬ＿ＩＰモードの候補リストの構築方法を示すフローチャートである。
【図8A】本願の一実施形態に係る現在のブロックの周囲にあるテンプレート領域及び拡張参照ラインを示す概略図である。
【図8B】本願の別の実施形態に係る現在のブロックの周囲にあるテンプレート領域及び拡張参照ラインを示す概略図である。
【図9】本願の一実施形態に係るビデオデコーディング方法を示すフローチャートである。
【図10】本願の一実施形態に係るＭＲＬ＿ＩＰモードの候補リストの構築装置を示す概略図である。
【発明を実施するための形態】
【0017】
本願では、複数の実施形態を説明するが、その説明は例示的なものであり、限定的なものではない。また、本願に記載される実施形態に含まれる範囲内で、より多くの実施例及び実施形態が得られることは、本分野の当業者にとって明らかである。
【0018】
本願の説明において、「例示的な」又は「例えば」などの用語は、「例として、例証、説明」を意味する。本願において、「例示的に」又は「例えば」で説明されるいかなる実施形態は他の実施形態より優れていると解釈されるべきではない。本明細書における用語「及び／又は」は関連対象の関連関係を説明するものであり、３種類の関係が存在することを示す。例えば、Ａ及び／又はＢの場合、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在することという３つの状況を示す。「複数」は２つ以上のことをいう。また、本願の実施形態の技術案を明確に説明するために、「第１」、「第２」などの用語で、機能や役割がほぼ同じである同一又は類似のものを区別する。当業者は以下のことを理解できる。「第１」、「第２」などの用語は、数や実行順序を限定するものではなく、且つ「第１」、「第２」などの用語は、必ず異なること、を限定するものではない。
【0019】
代表的な例示的実施形態の説明において、本明細書では、方法及び／又はプロセスを、特定のステップのシーケンスとして提示している可能性がある。しかしながら、当該方法又はプロセスは本明細書に記載されるステップの特定のシーケンスに依存せず、当該方法又はプロセスは、記載される特定のシーケンスのステップに限定されるべきではない。当業者に理解されるように、他のステップの順序も可能である。従って、明細書に記載されるステップの特定の順序は、特許請求の範囲の限定として解釈されるべきではない。さらに、方法及び／又はプロセスに対応する請求項に対しては、記載される順序でステップを実行することに限定されるべきではない。当業者であれば、これらの順序が変化してもよく、変化しても依然として本願の実施形態の精神及び範囲内に属することを容易に理解できる。
【0020】
本願の実施形態に係る局所照明補償（Ｌｏｃａｌ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ、ＬＩＣ）方法、ビデオコーディング方法は、様々なビデオコーディング規格に適用されることができる。例として、Ｈ．２６４／アドバンスドビデオコーディング（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＡＶＣ）、Ｈ．２６５／高効率ビデオコーディング（ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ、ＨＥＶＣ）、Ｈ．２６６／多用途ビデオコーディング（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）、オーディオビデオコーディング規格（ａｕｄｉｏ ｖｉｄｅｏ Ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ、ＡＶＳ）、動画像専門家グループ（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ、ＭＰＥＧ）、ＡＯＭ（Ａｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ）、ＪＶＥＴ（ｊｏｉｎｔ ｖｉｄｅｏ Ｅｘｐｅｒｔｓ ｔｅａｍ）によって作成された規格、及びこれらの規格の拡張、又はカスタマイズされた他の任意の規格などが挙げられる。
【0021】
図１Ａは、本願の実施形態に使用され得るビデオコーディングシステムを示すブロック図である。図に示されるように、当該システムは、エンコーディング側装置１とデコーディング側装置２とに分けられる。エンコーディング側装置１は、ビットストリームを生成する。デコーディング側装置２は、ビットストリームをデコードすることができる。デコーディング側装置２は、リンク３を介してエンコーディング側装置１からビットストリームを受信することができる。リンク３は、ビットストリームをエンコーディング側装置１からデコーディング側装置２へ移動させることができる１つ又は複数の媒体又は装置を含む。一例では、リンク３は、エンコーディング側装置１がビットストリームをデコーディング側装置２に直接に送信することを可能にする１つ又は複数の通信媒体を含む。エンコーディング側装置１は、通信規格（例えば、無線通信プロトコル）に従ってビットストリームを変調し、変調されたビットストリームをデコーディング側装置２に送信することができる。上記１つ又は複数の通信媒体は、無線通信媒体及び／又は有線通信媒体を含むことができ、パケットベースのネットワークの一部を形成することができる。別の例では、ビットストリームは、出力インターフェース１５から記憶装置に出力されることもできる。デコーディング側装置２はストリーミング（ｓｔｒｅａｍｉｎｇ）又はダウンロードを介して、当該記憶装置から記憶されたデータを読み出すことができる。
【0022】
図１Ａに示されるように、エンコーディング側装置１は、データソース１１、ビデオエンコーディング装置１３、及び出力インターフェース１５を含む。データソース１１は、ビデオキャプチャ装置（例えば、カメラ）、以前にキャプチャされたデータを含むアーカイブ（ａｒｃｈｉｖｅ）、コンテンツプロバイダからデータを受信するためのフィードインターフェース、データを生成するためのコンピュータグラフィックスシステム、又はこれらのソースの組み合わせを含む。ビデオエンコーディング装置１３は、データソース１１からのデータをエンコードして出力インターフェース１５に出力することができる。出力インターフェース１５は、調整器、モデム、及び送信器のうちの少なくとも１つを含むことができる。デコーディング側装置２は、入力インターフェース２１、ビデオデコーディング装置２３、及び表示装置２５を含む。入力インターフェース２１は、受信機及びモデムのうちの少なくとも１つを含む。入力インターフェース２１は、リンク３を介して、又は記憶装置からビットストリームを受信することができる。ビデオデコーディング装置２３は受信したビットストリームをデコードする。表示装置２５は、デコードされたデータを表示するために用いられる。表示装置２５は、デコーディング側装置２の他のコンポーネントと一体化されてもよく、別個に設けられてもよい。デコーディング側は、表示装置２５を含まなくてもよい。他の例では、デコーディング側は、デコードされたデータが適用可能な他の装置又は機器を含んでもよい。
【0023】
図１Ａに示すビデオコーディングシステムに基づいて、様々なビデオコーディング方法を用いてビデオ圧縮と解凍を実現することができる。
【0024】
図１Ｂは、本願の実施形態に使用され得る例示的なビデオエンコーディング装置のブロック図である。図に示すように、当該ビデオエンコーディング装置１０００は、予測ユニット１１００と、分割ユニット１１０１と、残差生成ユニット１１０２（図において分割ユニット１１０１に次ぐ＋付きの円で示す）と、変換処理ユニット１１０４と、量子化ユニット１１０６と、逆量子化ユニット１１０８と、逆変換処理ユニット１１１０と、再構成ユニット１１１２（図において逆変換処理ユニット１１１０に次ぐ＋付きの円で示す）と、フィルタユニット１１１３と、デコードされた画像のバッファ１１１４と、エントロピーエンコーディングユニット１１１５とを含む。予測ユニット１１００は、インター予測ユニット１１２１と、イントラ予測ユニット１１２６とを含む。デコードされた画像のバッファ１１１４は、デコード済みの画像のバッファ、デコーディング画像のバッファ、デコードされた画像のためのバッファなどと呼ばれてもよい。ビデオエンコーダー２０はまた、この例と比べてより多い、より少ない、又は異なる機能コンポーネントを含んでもよい。例えば、いくつかの場合では、変換処理ユニット１１０４、逆変換処理ユニット１１１０などを含まなくてもよい。
【0025】
分割ユニット１１０１は、予測ユニット１１００と協働して、受信したビデオデータをスライス（Ｓｌｉｃｅ）、コーディングツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、ＣＴＵ）、又は他の比較的大きなユニットに分割する。分割ユニット１１０１によって受信されるビデオデータは、Ｉフレーム、ＰフレームやＢフレームなどのビデオフレームを含むビデオシーケンスであってもよい。
【0026】
予測ユニット１１００は、ＣＴＵをコーディングユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）に分割し、ＣＵに対してイントラ予測コーディング又はインター予測コーディングを行うことができる。ＣＵに対してイントラ予測とインター予測を行う場合、ＣＵを１つ又は複数の予測ユニット（ＰＵ）に分割することができる。
【0027】
インター予測ユニット１１２１は、ＰＵに対してインター予測を行って、ＰＵの予測データを生成することができる。当該予測データは、ＰＵの予測ブロック、ＰＵの動き情報、及び様々なシンタックスエレメントを含む。インター予測ユニット１１２１は、動き推定（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ、ＭＥ）ユニット及び動き補償（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ、ＭＣ）ユニットを含むことができる。動き推定ユニットは、動きベクトルを生成するために動き推定に用いられることができ、動き補償ユニットは、動きベクトルに基づいて予測ブロックを取得し又は生成するために用いられることができる。
【0028】
イントラ予測ユニット１１２６は、ＰＵに対してイントラ予測を行って、ＰＵの予測データを生成することができる。当該ＰＵの予測データは、ＰＵの予測ブロック及び様々なシンタックスエレメントを含むことができる。
【0029】
残差生成ユニット１１０２は、ＣＵのオリジナルブロックから、ＣＵを分割することで得られたＰＵの予測ブロックを減算して、ＣＵの残差ブロックを生成することができる。
【0030】
変換処理ユニット１１０４は、ＣＵを１つ又は複数の変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ、ＴＵ）に分割することができる。予測ユニットの分割と変換ユニットの分割は異なってもよい。ＴＵに関連する残差ブロックは、ＣＵの残差ブロックを分割することによって得られるサブブロックである。ＴＵに関連する残差ブロックに１つ又は複数の変換を適用することによって、ＴＵに関連する係数ブロックが生成される。
【0031】
量子化ユニット１１０６は、選択された量子化パラメータ（Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ、ＱＰ）に基づいて、係数ブロック内の係数を量子化することができる。係数ブロックへの量子化の度合いは、ＱＰを調整することによって調整されることができる。
【0032】
逆量子化ユニット１１０８及び逆変換処理ユニット１１１０は、係数ブロックに逆量子化及び逆変換をそれぞれ適用して、ＴＵに関連する再構成残差ブロックを得ることができる。
【0033】
再構成ユニット１１１２は、再構成残差ブロックと予測ユニット１１００によって生成された予測ブロックとを加算することによって、再構成画像を生成することができる。
【0034】
フィルタユニット１１１３は、再構成画像に対してインループフィルタリングを行って、フィルタリングされた再構成画像を参照画像としてデコードされた画像のバッファ１１１４に記憶する。イントラ予測ユニット１１２６は、デコードされた画像のバッファ１１１４からＰＵに隣接するブロックの参照画像を抽出して、イントラ予測を行うことができる。インター予測ユニット１１２１は、デコードされた画像のバッファ１１１４にキャッシュされた前の画像の参照画像を利用して、現在画像のＰＵに対してインター予測を行うことができる。
【0035】
エントロピーエンコーディングユニット１１１５は、受信したデータ（例えば、シンタックスエレメント、量子化された係数ブロック、動き情報など）に対してエントロピーエンコーディング操作を行う。
【0036】
図１Ｃは、本願の実施形態に使用され得る例示的なビデオデコーディング装置のブロック図である。図に示すように、ビデオデコーディング装置１０１は、エントロピーデコーディングユニット１５０と、予測ユニット１５２と、逆量子化ユニット１５４と、逆変換処理ユニット１５６と、再構成ユニット１５８（図において逆変換処理ユニット１５５に次ぐ＋付きの円で示す）と、フィルタユニット１５９と、デコードされた画像のバッファ１６０とを含む。他の実施形態では、ビデオデコーダー３０は、より多い、より少ない、又は異なる機能コンポーネントを含んでもよい。例えば、いくつかの場合では、逆変換処理ユニット１５５などを含まなくてもよい。
【0037】
エントロピーデコーディングユニット１５０は、受信したビットストリームに対してエントロピーデコーディングを行って、シンタックスエレメント、量子化された係数ブロック及びＰＵの動き情報などの情報を抽出することができる。予測ユニット１５２、逆量子化ユニット１５４、逆変換処理ユニット１５６、再構成ユニット１５８、及びフィルタユニット１５９はいずれも、ビットストリームから抽出されたシンタックスエレメントに基づいて、対応する操作を実行することができる。
【0038】
逆量子化ユニット１５４は、量子化されたＴＵに関連する係数ブロックを逆量子化することができる。
【0039】
逆変換処理ユニット１５６は、ＴＵの再構成残差ブロックを生成するために、逆量子化された係数ブロックに１つ又は複数の逆変換を適用することができる。
【0040】
予測ユニット１５２は、インター予測ユニット１６２と、イントラ予測ユニット１６４とを含む。イントラ予測コーディングがＰＵに用いられる場合、イントラ予測ユニット１６４は、ビットストリームからデコードされたシンタックスエレメントに基づいて、ＰＵのイントラ予測モードを確定し、確定されたイントラ予測モードと、デコードされた画像のバッファ１６０から取得されたＰＵに隣接する再構成された参照情報とに基づいて、イントラ予測を実行して、ＰＵの予測ブロックを生成することができる。インター予測コーディングがＰＵに用いられる場合、インター予測ユニット１６２は、ＰＵの動き情報及び対応するシンタックスエレメントに基づいてＰＵの１つ又は複数の参照ブロックを確定し、デコードされた画像のバッファ１６０から取得された参照ブロックに基づいてＰＵの予測ブロックを生成することができる。
【0041】
再構成ユニット１５８は、ＴＵに関連する再構成残差ブロックと、予測ユニット１５２によって生成されたＰＵの予測ブロックとに基づいて、再構成画像を得ることができる。
【0042】
フィルタユニット１５９は、再構成画像に対してインループフィルタリングを実行することができる。プフィルタリングされた再構成画像が、デコードされた画像のバッファ１６０に記憶される。デコードされた画像のバッファ１６０は、後続の動き補償、イントラ予測、インター予測などに用いられる参照画像を提供することができ、また、プフィルタリングされた再構成画像をデコードされたビデオデータとして出力し、表示装置で表示することもできる。
【0043】
上記ビデオエンコーディング装置及びビデオデコーディング装置に基づいて、以下の基本的なコーディングの流れが実行されることができる。エンコーディング側では、１つの画像をブロックに分割し、現在のブロックに対して、イントラ予測もしくはインター予測を行うことにより又は他のアルゴリズムで、現在のブロックの予測ブロックを生成し、現在のブロックのオリジナルブロックから予測ブロックを減算して残差ブロックを取得し、残差ブロックを変換・量子化して量子化係数を取得し、量子化係数をエントロピーコーディングしてビットストリームを生成する。デコーディング側では、現在のブロックに対してイントラ予測又はインター予測を行うことにより現在のブロックの予測ブロックを生成し、一方、ビットストリームを解析して得られた量子化係数を逆量子化・逆変換して残差ブロックを取得し、予測ブロックと残差ブロックとを加算して再構成ブロックを取得する。再構成ブロックは再構成画像を形成する。画像又はブロックに基づいて再構成画像をインループフィルタリングしてデコードされた画像を取得する。エンコーディング側でも、デコードされた画像を取得するために、デコーディング側と類似の処理を行う。エンコーディング側で取得した、デコードされた画像は通常、再構成画像とも呼ばれる。デコードされた画像は後続の画像に対するインター予測のための参照画像とされることができる。エンコーディング側で確定されたブロック分割情報、予測、変換、量子化、エントロピーコーディング、インループフィルタリングなどのモード情報とパラメータ情報などは、必要に応じてビットストリームに書き込まれる。デコーディング側は、ビットストリームをデコードし又は既存情報を分析して、エンコーディング側と同じブロック分割情報、予測、変換、量子化、エントロピーコーディング、インループフィルタリングなどのモード情報とパラメータ情報を確定する。それによって、エンコーディング側で取得されたデコードされた画像とデコーディング側で取得されたデコードされた画像とが同じであることが確保される。
【0044】
上記はプロックに基づいた混合コーディングフレームワークの例であるが、本願の実施形態はそれに限定されない。技術の発展に伴って、当該フレームワーク内の１つ又は複数のモジュール、及び当該プロセス内の１つ又は複数のステップを置き換えたり最適化したりすることができる。
【0045】
本明細書では、現在のブロック（ｃｕｒｒｅｎｔ ｂｌｏｃｋ）は、現在の画像における現在のコーディングユニット（ＣＵ）、現在の予測ユニット（ＰＵ）などのようなブロックレベルのコーディングユニットであることができる。
【0046】
エンコーディング側では、イントラ予測において、通常、様々な角度モードと非角度モードを通じて現在のブロックを予測して予測ブロックを得る。予測ブロックとオリジナルブロックから算出されたレート歪み情報に基づいて、現在のブロックのために最適なイントラ予測モードを選択し、このイントラ予測モードをエンコードしてビットストリームを通じてデコーディング側に伝送する。デコーディング側では、デコードすることで現在のブロックのために選択されたイントラ予測モードを取得し、このイントラ予測モードに従って現在のブロックのイントラ予測を行う。歴代のデジタルビデオコーディング規格の発展を経て、非角度モードは相対的に安定しており、平均値モード（即ちＤＣモード）と平面モード（即ちＰｌａｎａｒモード）がある。角度モードは、デジタルビデオコーディング規格の進化に伴い増加している。国際デジタルビデオコーディング規格のＨシリーズを例に、Ｈ．２６４／ＡＶＣ規格には８種類の伝統的な角度予測モードと１種類の伝統的な非角度予測モードしかない。Ｈ．２６５／ＨＥＶＣには３３種類の伝統的な角度予測モードと２種類の伝統的な非角度予測モードに拡張した。Ｈ．２６６／ＶＶＣでは、伝統的なイントラ予測モードは、図２に示すように、Ｐｌａｎａｒモード、ＤＣモード、及び６５種類の角度モードを含む。このうち、ＤＣモードは、大きな平坦な領域に適しており、その予測値は左側及び／又は上方の参照サンプルの平均値を計算することによって得られる。Ｐｌａｎａｒモードは、画素が徐々に変化する場合に適しており、すなわち、画素の値がゆっくりと変化する領域に適している。
【0047】
現在のブロックのイントラ予測モードを直接にエンコードすると、６７種類のモードをエンコードするために７ｂｉｔが必要となり、データ量が大きい。統計的特性から、現在のブロックに近いほど、このサンプル領域に対して選択されるイントラ予測モードと現在のブロックに対して選択されるイントラ予測モードが同じである傾向が高くなる。この特性に基づいて、ＨＥＶＣ、ＶＶＣ、及び強化された圧縮モデル（Ｅｎｈａｎｃｅｄ Ｃｏｍｐｒｅｓｓｉｏｎ Ｍｏｄｅｌ、ＥＣＭ）では、最確モード（Ｍｏｓｔ ｐｒｏｂａｂｌｅ Ｍｏｄｅ、ＭＰＭ）技術が採用されている。ＥＣＭは、ＶＴＭ－１０．０参照ソフトウェアに基づいて、さまざまな新しいツールを統合して、コーディング性能をさらに引き出すことができる参照ソフトウェアである。
【0048】
ＭＰＭに対して、まずＭＰＭリストを作成し、ＭＰＭリストには、現在のブロックのために選択される可能性が最も高い６種類のイントラ予測モードが記入される。現在のブロックのために選択されたイントラ予測モードがＭＰＭリストにある場合、そのインデックス（３ｂｉｔのみが必要）のみをエンコードする必要がある。現在のブロックのために選択されたイントラ予測モードがＭＰＭリストになく、６１個の非ＭＰＭ（ｎｏｎ－ＭＰＭ）モード内にある場合、エントロピーエンコーディング段階でトランケートされたバイナリコード（Ｔｒｕｎｃａｔｅｄ Ｂｉｎａｒｙ Ｃｏｄｅ、ＴＢＣ）を用いてこのイントラ予測モードをエンコードする。
【0049】
ＶＶＣでは、マルチ参照ライン（Ｍｕｌｔｉｐｌｅ Ｒｅｆｅｒｅｎｃｅ Ｌｉｎｅ、ＭＲＬ）及びイントラサブパーティション分割（Ｉｎｔｒａ Ｓｕｂ－Ｐａｒｔｉｔｉｏｎｓ、ＩＳＰ）の適用の有無にかかわらず、ＭＰＭリストは６種類の予測モードを有する。ＥＣＭにおけるＭＰＭは、ＭＰＭと第２ＭＰＭ（Ｓｅｃｏｎｄａｒｙ ＭＰＭ）に分けられ、ＭＰＭリストの長さは６であり、Ｓｅｃｏｎｄａｒｙ ＭＰＭリストの長さは１６である。ＭＰＭリストに含まれる６つのモードのうち、Ｐｌａｎａｒモードは常にＭＰＭリストにおける１番目の位置に記入され、残りの５個の位置は、５つの位置が全て充填されるまで次の３つのステップによって充填される。余分なモードは自動的にＳｅｃｏｎｄａｒｙ ＭＰＭに記入される。
【0050】
第１ステップにおいて、現在のブロックの周囲にある近隣の５つの位置での予測ブロックに対して使用されるイントラ予測モードを順番に充填する。図３に示すように、５つの位置は、現在のブロックの左上（ＡＬ）、上（Ａ）、右上（ＡＲ）、左（Ｌ）、及び左下（ＢＬ）の位置を順番に含む。
【0051】
第２ステップにおいて、現在のブロックの周囲にある再構成されたサンプルと勾配ヒストグラムに基づいて導出されたモードを充填する。
【0052】
第３ステップにおいて、第１ステップで選択された角度モードの角度に近い角度モードを充填する。
【0053】
Ｓｅｃｏｎｄａｒｙ ＭＰＭリストは、ＭＰＭにおけるイントラ予測モードのほかのいくつかの主な角度モードで構成することができる。
【0054】
ＭＰＭフラグ（ｍｐｍ＿ｆｌａｇ）は、ＭＲＬモードの後にエンコードとデコードされるため、ＥＣＭにおけるＭＰＭのエンコーディングとデコーディングは、ＭＲＬフラグに依存する。現在のブロックに対してＭＲＬモードを使用しない場合、ＭＰＭフラグをデコードして現在のブロックに対してＭＰＭを使用するか否かを判断する必要がある。現在のブロックに対してＭＲＬモードを使用する場合、ＭＰＭフラグをデコードする必要はなく、現在のブロックに対してＭＰＭを使用するのはデフォルトである。
【0055】
次の表にＭＰＭに関連するシンタックスエレメントの例を示す。
【0056】
【表a】
【0057】
テンプレートベースのイントラモード導出（Ｔｅｍｐｌａｔｅ－ｂａｓｅｄ ｉｎｔｒａ ｍｏｄｅ ｄｅｒｉｖａｔｉｏｎ、ＴＩＭＤ）は、輝度フレームに対するイントラ予測モードである。ＴＩＭＤモードは、ＭＰＭリスト内の候補のイントラ予測モードとテンプレート（Ｔｅｍｐｌａｔｅ）領域（略してテンプレートという）に基づいて生成される。ＥＣＭでは、図４に示すように、現在のブロック（例えば、現在のＣＵ）１１の左側隣接領域と上方隣接領域が現在のブロックのテンプレート領域１２を構成する。その中の左側隣接領域を左側テンプレート領域（略して左テンプレートという）と呼び、上方隣接領域を上方テンプレート領域又は上側テンプレート領域（略して上テンプレートという）と呼ぶ。
【0058】
図示のように、テンプレート領域１２の外側（左側と上側を意味する）にテンプレート参照（Ｒｅｆｅｒｅｎｃｅ ｏｆ ｔｈｅ Ｔｅｍｐｌａｔｅ）領域１３が設けられており、各領域の例示的なサイズと位置が示されている。一例として、左テンプレートの幅Ｌ１と上テンプレートの高さＬ２はいずれも４である。テンプレート参照領域１３は、テンプレート領域の上方の隣接する一行であってもよく、又は左側の隣接する一列であってもよい。
【0059】
ＴＩＭＤでは、現在のブロックと現在のブロックのテンプレート領域の分布特性が同じであると仮定し、テンプレート参照領域の再構成値を参照ラインの再構成値とし、ＭＰＭとＳｅｃｏｎｄａｒｙ ＭＰＭにおける全てのイントラ予測モードをトラバースしてテンプレート領域を予測し、予測結果を得る。そして、テンプレート領域の再構成値と各モードの予測結果との誤差を算出し、差分変換絶対値和（Ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｔｒａｎｓｆｏｒｍｅｄ ｄｉｆｆｅｒｅｎｃｅｓ、ＳＡＴＤ）で表し、ＳＡＴＤが最小となるイントラ予測モード、すなわち最適なイントラ予測モードを選択し、このイントラ予測モードを現在のブロックのＴＩＭＤモードとする。デコーディング側では、同様の導出方式によりＴＩＭＤモードを導出することができる。シーケンスに対してＴＩＭＤを使用できれば、各現在のブロックは、ＴＩＭＤを使用するか否かを示すフラグを必要とする。現在のブロックのために選択されたイントラ予測モードがＴＩＭＤモードである場合、現在のブロックに対してＴＩＭＤモードを使用して予測し、ＩＳＰ、ＭＰＭなどのイントラ予測に関連する残りのシンタックスエレメントのデコーディングはスキップすることができ、これによりモードのコーディングビットを大幅に削減することができる。
【0060】
【0061】
重み付けの方法と重みは以下の式で示される。
【数1】
【数2】
【0062】
【0063】
ＨＥＶＣでは、イントラ予測は、現在のブロックの最も近い上方の一行と左側の一列を参照として予測を行い、この一行と一列の再構成値とオリジナルサンプル値との誤差が大きい場合、現在のブロックの予測品質も大きな影響を受ける。この問題を解決するために、ＶＶＣはＭＲＬイントラ予測技術を採用し、最も近い１ラインの参照サンプル即ちインデックスが０の参照ライン（Ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ０）を使用するだけでなく、イントラ予測のために、インデックスが１の参照ライン（Ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ１）及びインデックスが２の参照ライン（Ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ２）を拡張された参照ラインとして使用することもできる。コーディングの複雑さを軽減するため、ＭＰＭにおける非ｐｌａｎａｒモードのみに対してＭＲＬが使用される。エンコーディング側では、各角度モードを用いて予測する際、この３つの参照ラインを全て試し、レート歪み最適化により、現在のブロックのためにレート歪みコスト（ＲＤ Ｃｏｓｔ）が最も小さい１つの参照ラインを選択し、選択された参照ラインのインデックスをエンコードしてデコーディング側に送る。デコーディング側はデコードして参照ラインのインデックスを取得し、参照ラインのインデックスに従って現在のブロックのために選択された参照ラインを確定し、それを現在のブロックの予測に使用する。
【0064】
図５に示す例では、現在のブロックの４つの参照ラインが図示されており、現在のブロックに隣接する参照ライン０（ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ０）２２１、すなわち、インデックスが０の参照ライン、現在のブロックから１ラインを隔てる参照ライン１（ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ１）２２２、すなわち、インデックスが１の参照ライン、現在のブロックから２ラインを隔てる参照ライン２（ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ２）２２３、すなわち、インデックスが２の参照ライン、及び、現在のブロックから３ラインを隔てる参照ライン３（ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ３）２２４、すなわち、インデックスが３の参照ラインを含む。現在のブロックはもっと多い参照ラインを有してもよく、すなわち、インデックスが４以上の参照ラインを有してもよい。予測するとき、一部の参照ラインの再構成値のみを使用することも可能である。本明細書では、参照ラインのインデックスは図５に示す方式に従って番号付けされる。
【0065】
本明細書では、参照ラインを「ライン」と呼び、実際的に、１つの参照ラインには一行と一列が含まれ、一般に、予測するときに使用される参照ラインの再構成値には一行と一列の再構成値も含まれ、これは業界の通常の記述方法と同じである。
【0066】
一例として、現在のブロックのテンプレート領域がインデックスが０の参照ラインに設定されている場合、インデックスが０の参照ラインはテンプレート領域が位置する参照ラインと呼ばれ、インデックスが１から３の参照ラインはテンプレート領域の外側に位置する参照ラインと呼ばれる。現在のブロックのテンプレート領域がインデックスが０と１の参照ラインに設定されている場合、インデックスが０と１の参照ラインはテンプレート領域が位置する参照ラインであり、インデックスが２と３の参照ラインはテンプレート領域の外側に位置する参照ラインである。本明細書では、現在のブロックの参照ラインは、インデックスが０の参照ラインと、インデックスが０より大きい参照ラインを含み、インデックスが０より大きい参照ラインはいずれも拡張参照ラインと呼ばれる。テンプレート領域が位置する参照ラインが、インデックスが０である参照ラインである場合、拡張参照ラインは全てテンプレート領域の外側の参照ラインである。テンプレート領域が位置する参照ラインが複数ある場合、テンプレート領域が位置する参照ラインは拡張参照ラインを含む。
【0067】
ＥＣＭでは、マルチ参照ラインに関連するデコーディング方法を以下の表１と表２に示す。表１は現在のブロックに対してＴＩＭＤを使用しない場合に使用され、表２は現在のブロックに対してＴＩＭＤを使用する場合に使用される。
【0068】
【表1】
【0069】
ＭＲＬインデックスに対して、コンテキストモデルベースのトランケートされた単項コード（ｔｒｕｎｃａｔｅｄ ｕｎａｒｙ）を使用してエンコードすることができ、エンコードした後、コンテキストモデルベースの複数のビン（ｂｉｎ）を取得する。ビンは、二進法フラグ、二進法シンボル、二進法ビットなどとも呼ばれる。
【0070】
ＥＣＭでは、ＭＲＬモードにおいてより多くの参照ラインを使用することができ、現在のブロックに対して選択された参照ラインをエンコードするために、複数の候補参照ラインのインデックスをリストに記入する。本明細書では、このリストをマルチ参照ラインインデックスリスト（ＭＲＬインデックスリストと略す）と呼ぶが、マルチ参照ラインリスト、候補参照ラインリスト、参照ラインインデックスリストなどと呼ぶこともできる。現在のブロックに対してＴＩＭＤを使用しない場合、ＭＲＬインデックスリストの長さは６であり、すなわち、合わせて６つの位置があり、６個の参照ラインのインデックスを記入することができる。これら６個の参照ラインのインデックスとその順番は固定されており、順に０、１、３、５、７、１２であり、MULTI_REF_LINE_IDX[6] = { 0, 1, 3, 5, 7, 12 }という式で表すことができる。このマルチ参照ラインインデックスリストにおいて、１番目の位置に記入されたインデックスは０であり、現在のブロックに最も近い参照ラインのインデックスであり、２番目から６番目の位置までに記入されたインデックスは、それぞれ１、３、５、７、１２であり、現在のブロックとの距離が近いものから遠いものの順に並べられた５つの拡張参照ラインのインデックスである。
【0071】
現在のブロックのために選択された参照ラインがＭＲＬインデックスリストにある場合、マルチ参照ラインインデックス（ｍｕｌｔｉＲｅｆＩｄｘ）により、現在のブロックのために選択された参照ラインのＭＲＬインデックスリストにおける位置を示し、マルチ参照ラインインデックスをエンコードすることで選択された参照ラインを表すことができる。ＭＲＬインデックスリストが{ 0, 1, 3, 5, 7, 12 }であることを例にすると、１番目の位置から６番目の位置までのインデックスはそれぞれ０から５である。現在のブロックのために選択された参照ラインがインデックス０を有する参照ラインであると仮定すると、インデックス０を有する参照ラインがＭＲＬインデックスリストの１番目の位置にあるので、マルチ参照ラインインデックスは０である。現在のブロックのために選択された参照ラインがインデックス７を有する参照ラインであると仮定すると、インデックス７を有する参照ラインがＭＲＬインデックスリストの５番目の位置にあるので、マルチ参照ラインインデックスは４であり、他の状況は同様である。
【0072】
マルチ参照ラインインデックスは、例えばコンテキストモデルベースのトランケートされた単項コードなどの方式を用いてエンコードすることができる。マルチ参照ラインインデックスの値が小さいほど、コード長が小さくなり、デコーディングが速くなる。
【0073】
ＭＲＬモードはＴＩＭＤモードと同時に使用することもできる。ＴＩＭＤモードを使用する場合、ＭＲＬインデックスリストの長さは３であり、３つの参照ラインのインデックスは記入されることができ、且つインデックスの順序は固定されたものであり、MULTI_REF_LINE_IDX[3] = { 0, 1, 3 }という式で表すことができる。これに応じて、マルチ参照ラインのコーディング方式を表２に示す。
【0074】
【表2】
【0075】
理解しやすいように、上記内容でＭＲＬと同時にＴＩＭＤを使用する場合と使用しない場合を２つの表に分けて例示したが、２つの表を１つにまとめることもできる。
【0076】
ＭＰＭのように、現在のブロックの周囲にあるブロックを用いて最確モードのリストを導出する技術は、規格によって異なる名称を持つ場合がある。例えば、ＡＶ２（ＡＶＭ）では、適応イントラモードコーディング（Ａｄａｐｔｉｖｅ Ｉｎｔｒａ Ｍｏｄｅ Ｃｏｄｉｎｇ、ＡＩＭＣ）と呼ばれる。ＡＶＳ３では、スクリーンコンテンツコーディングの場合、周波数情報ベースのイントラモードコーディング（Ｆｒｅｑｕｅｎｃｙ－ｂａｓｅｄ Ｉｎｔｒａ Ｍｏｄｅ Ｃｏｄｉｎｇ、ＦＩＭＣ）と呼ばれる。ノンスクリーンコンテンツコーディングの場合、ＭＰＭのような技術は常に使われている。ＭＲＬのようにマルチ参照ラインを用いてイントラ予測を行う技術は、ＡＶ２（ＡＶＭ）では、イントラ予測のためのマルチ参照ライン選択（Ｍｕｌｔｉｐｌｅ ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ｓｅｌｅｃｔｉｏｎ ｆｏｒ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＭＲＬＳ）と呼ばれる。ただし、これは名称の違いに過ぎず、本実施形態におけるＭＰＭ、ＭＲＬ等の用語の使用は、他の規格におけるこれら実質的に同一の技術を同様にカバーするものとする。
【0077】
ＥＣＭでは、選択されたモードがＴＩＭＤではない場合、ＭＲＬ技術の使用はＭＰＭにおける非ｐｌａｎａｒモードの使用とバインディングされる。最も多い場合は５つの拡張参照ラインとＭＰＭにおける５つのイントラ予測モードが組み合わせられ、合計２５種類の組み合わせがある。これらの２５の組み合わせに対して、最も多い場合は３個の等確率のビン（ＭＰＭのシンタックスエレメント）と、コンテキストモデルベースの６個のビン（１個はＭＰＭのシンタックスエレメントであり、５個はＭＲＬのシンタックスエレメントである）を使用する必要があり、合計９個のビンが必要し、コーディングのコストが高い。
【0078】
現在のブロックの上方からＣＴＵの上部境界までの距離が１３行未満である場合、インデックスが１２の参照ラインを使用できず、このとき、ＭＰＭ内の５つのイントラ予測モードとＭＲＬ内の４つの使用できる拡張参照ラインの組み合わせは合わせて２０種類ある。現在のブロックの上方からＣＴＵの上部境界までの距離が８行未満である場合、インデックスが７の参照ラインを使用できず、このとき、ＭＰＭ内の５つのイントラ予測モードとＭＲＬ内の３つの使用できる拡張参照ラインの組み合わせは合わせて１５種類ある。現在のコーディングブロックの上方からＣＴＵの上部境界までの距離が６行未満である場合、インデックスが５の参照ラインを使用できず、このとき、ＭＰＭ内の５つのイントラ予測モードとＭＲＬ内の４つの使用できる拡張参照ラインの組み合わせは合わせて１０種類ある。
【0079】
つまり、コーディングのためのビンは、ＭＲＬ内の拡張参照ラインとＭＰＭ内のイントラ予測モードの２５種類の組み合わせをサポートするが、現在のブロックの上方の参照ラインの数が不十分である場合には使用できない組み合わせがあり、これらの組み合わせをサポートするためには、余分なビンが必要であり、ＭＰＭとＭＲＬで使用される９つのビンは十分に活用されておらず、コーディング性能を改善する必要がある。
【0080】
現在のブロックに対してイントラ予測を行うとき、拡張参照ラインとイントラ予測モードを組み合わせることが必要であるが、コーディングする際に、上記の方法はいずれも、ＭＲＬインデックスリストとＭＰＭリストを別々に構築し、現在のブロックのために選択された参照ラインとイントラ予測モードに基づいて、現在のブロックのマルチ参照ラインインデックスとＭＰＭインデックスを別々に確定し、マルチ参照ラインインデックスとＭＰＭインデックスを別々にエンコードとデコードすることにより、デコーディング側で現在のブロックのために選択された参照ラインとイントラ予測モードを確定することができる。
【0081】
上記の方法とは異なり、本願の実施形態は、マルチ参照ラインイントラ予測モードを提供し、これはＭＲＬ＿ＩＰ（Ｍｕｌｔｉｐｌｅ ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ＆ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）モードと略記され、拡張参照ラインとイントラ予測モードとの組み合わせをエンコード及びデコードする方法である。
【0082】
本願の実施形態のビデオエンコーディング方法は、図６に示され、ステップ１１０～ステップ１３０を含む。
【0083】
ステップ１１０：現在のブロックのマルチ参照ラインイントラ予測（ＭＲＬ＿ＩＰ）モードの候補リストを構築することであって、候補リストには、現在のブロックのための、拡張参照ラインとイントラ予測モードの候補組み合わせが記入されている。
【0084】
ステップ１２０：レート歪み最適化を通じて、現在のブロックのために、イントラ予測に用いられる、参照ラインとイントラ予測モードの組み合わせを選択する。
【0085】
参照ラインには、インデックスが０の参照ラインと拡張参照ラインが含まれる。現在のブロックのために選択される参照ラインとイントラ予測モードの１つの組み合わせは、インデックスが０の参照ラインと１つのイントラ予測モードの組み合わせ、又は１つの拡張参照ラインと１つのイントラ予測モードの組み合わせである可能性がある。
【0086】
ステップ１３０：現在のブロックのＭＲＬ＿ＩＰモードのエンコーディング条件が満たされた場合、現在のブロックのＭＲＬ＿ＩＰモードフラグをエンコードすることで現在のブロックに対してＭＲＬ＿ＩＰモードを使用することを示し、現在のブロックのＭＲＬ＿ＩＰモードインデックスをエンコードすることで候補リストにおける選択された組み合わせの位置を示す。
【0087】
ここで、エンコーディング条件は、少なくとも、選択された組み合わせが候補リストにあることを含む。
【0088】
本明細書では、候補リストに記入されるのは、現在のブロックの拡張参照ラインとイントラ予測モードの候補組み合わせである。これは、候補リスト内の組み合わせが、現在のブロックのレート歪み最適化に参加する必要があり、すなわち、レート歪みコストを通じて現在のブロックの予測モードを選択するモード選択プロセスに参加する必要があることを意味する。これにより、候補リスト内の全ての組み合わせが選択される可能性がある。
【0089】
本明細書では、個数を示すパラメータＮ、Ｍ、Ｋはいずれも正の整数であり、別途記述する必要はない。
【0090】
本願の実施形態によって構築されるＭＲＬ＿ＩＰモードの候補リストに記入されるのは、現在のブロックの拡張参照ラインとイントラ予測モードの候補組み合わせであり、もはや単一の候補拡張参照ラインのリスト又は候補イントラ予測モードのリストでもない。現在のブロックのために選択された参照ライン及びイントラ予測モードの組み合わせがその候補リストにあり（このとき、現在のブロックのために拡張参照ラインが選択される）、即ち選択された組み合わせがこの候補リストにある１つの組み合わせであるなどのエンコーディング条件が満たされたとき、現在のブロックのＭＲＬ＿ＩＰモードフラグをエンコードすることで現在のブロックに対してＭＲＬ＿ＩＰモードを使用することを示し、現在のブロックのＭＲＬ＿ＩＰモードインデックスをエンコードすることで候補リストにおける選択された組み合わせの位置を示す。デコーディング側は、ＭＲＬ＿ＩＰモードフラグ及びＭＲＬ＿ＩＰモードインデックスに基づいて、現在のブロックのために選択された拡張参照ライン及びイントラ予測モードを確定することができる。本実施形態の組み合わせのエンコーディング及びデコーディング方法により、コーディングコストを低減し、コーディング性能を向上させることができる。
【0091】
本願の例示的な実施形態では、ＭＲＬ＿ＩＰモードの候補リストは、本願の実施形態の方法に従って構築されたテンプレートベースのマルチ参照ラインイントラ予測モードの候補リストであり、「テンプレートベースのマルチ参照ラインイントラ予測モード」は、本明細書では、ＴＭＲＬ＿ＩＰモードと呼ばれ、略してＴＭＲＬモードと呼ばれる。ＴＭＲＬ＿ＩＰモードは、組み合わせに対してテンプレートに基づいて予測と順序付けを行うＭＲＬ＿ＩＰモードである。ＭＲＬ＿ＩＰモードは、現在のブロックのコーディング及びデコーディングを行うために、現在のブロックの拡張参照ライン及びイントラ予測モードの候補組み合わせを候補リストに記入するモードであり、ＴＭＲＬ＿ＩＰモードに限定されない。
【0092】
ＴＭＲＬ＿ＩＰモードでは、現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて得られたＮ×Ｍ個の組み合わせの各々に従って、現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算する。誤差の昇順で、対応するＫ個の組み合わせを現在のブロックのＴＭＲＬ＿ＩＰモードの候補リストに記入し、１≦Ｋ≦Ｎ×Ｍが満たされ、Ｋは設定値である。一例では、ＥＣＭにおける拡張参照ラインとイントラ予測モードとの２５種類の組み合わせの各々に基づいてテンプレート領域を予測し、誤差の昇順で２５個の組み合わせをソートし、誤差が最小であり、すなわち、選択される可能性が最も高い１２個の組み合わせをＴＭＲＬ＿ＩＰモードの候補リストに記入し、これにより、ＴＭＲＬ＿ＩＰモードインデックスをエンコードするためのコーディングビット数を減少することができる。拡張参照ライン｛１，３，５，７，１２｝の一部（例えば、インデックスが７と１２である拡張参照ライン）がＣＴＵ境界の外側にある場合でも、１５種類の組み合わせの順序に基づいて、選択される可能性の最も高い１２個の組み合わせを候補リストに記入することができ、ＭＲＬ＿ＩＰモードインデックスのコーディングビットは依然として完全かつ有効に利用されることができる。誤差の昇順でソートすることにより、予測のために選択される可能性がより高い参照ラインと予測モードが候補リストに残され、選択される可能性がより高い組み合わせはリストにおける前の位置に配列されるため、コーディングのコストが低くなる。
【0093】
ＴＭＲＬ＿ＩＰモードの候補リストの作成については、以下に詳述する。
【0094】
本願の別の例示的な実施形態では、現在のブロックのマルチ参照ラインイントラ予測（ＭＲＬ＿ＩＰ）モードの候補リストは、テンプレートに基づいてソートされるのではなく、他の方法で作成され、例えば、大量のサンプルデータの統計結果に基づいて、選択される確率が最も高い参照ラインとイントラ予測モードの組み合わせを、ＭＲＬ＿ＩＰモードの候補リストに記入する。ＭＲＬ＿ＩＰモードの候補リストに、拡張参照ラインとイントラ予測モードの組み合わせのみを記入することができるが、必須ではない。また、候補リストには、インデックスが０の参照ラインと他のイントラ予測モードとの組み合わせを記入することもでき、選択された組み合わせが、候補リストにおける、インデックスが０の参照ラインとイントラ予測モードとの組み合わせである場合にも、ＭＲＬ＿ＩＰモードインデックスをエンコードすることによって、選択された組み合わせを示すことができる。
【0095】
本願の例示的な実施形態において、エンコーディング条件は、さらに、現在のブロックに対してテンプレートベースのイントラモード導出（ＴＩＭＤ）を使用しないことを含む。
ビデオエンコーディング方法は、さらに、現在のブロックに対してＴＩＭＤを使用する場合、現在のブロックのＭＲＬ＿ＩＰモードフラグとＭＲＬ＿ＩＰモードインデックスのエンコーディングをスキップすることと、現在のブロックに対してＴＩＭＤを使用しないが、選択された組み合わせが候補リストにない場合、現在のブロックのＭＲＬ＿ＩＰモードフラグをエンコードすることで現在のブロックに対してＭＲＬ＿ＩＰモードを使用しないことを示し、現在のブロックのＭＲＬ＿ＩＰモードインデックスのエンコーディングをスキップすることと、を含む。
ビデオエンコーディング方法は、さらに、現在のブロックに対してＴＩＭＤを使用する場合、現在のブロックのＭＲＬ＿ＩＰモードフラグとＭＲＬ＿ＩＰモードインデックスのエンコーディングをスキップすることと、現在のブロックに対してＴＩＭＤを使用しないが、選択された組み合わせが候補リストにない場合、現在のブロックのＭＲＬ＿ＩＰモードフラグをエンコードすることで現在のブロックに対してＭＲＬ＿ＩＰモードを使用しないことを示し、現在のブロックのＭＲＬ＿ＩＰモードインデックスのエンコーディングをスキップすることと、を含む。
【0096】
この実施形態は、ＭＲＬ＿ＩＰモードの前にＴＩＭＤモードをエンコード及びデコードすることに基づくものである。現在のブロックに対してＴＩＭＤモードを使用する場合、ＭＲＬ＿ＩＰモードを使用する必要はないので、ＭＲＬ＿ＩＰモードフラグとＭＲＬ＿ＩＰモードインデックスのエンコーディングはスキップされる。現在のブロックに対してＴＩＭＤモードを使用しない場合、現在のブロックのために選択された組み合わせがＭＲＬ＿ＩＰモードの候補リストにある状況と、選択された組み合わせがＭＲＬ＿ＩＰモードの候補リストにない状況という２つのケースがある。選択された組み合わせが候補リストにない場合、ＭＲＬ＿ＩＰモードフラグをエンコードすることで、現在のブロックに対してＭＲＬ＿ＩＰモードを使用しないことを示す必要があり、また、ＭＲＬ＿ＩＰモードインデックスのエンコーディングをスキップする。選択された組み合わせが候補リストにある場合、ＭＲＬ＿ＩＰモードフラグとＭＲＬ＿ＩＰモードインデックスの両方をエンコードする必要がある。
【0097】
現在のブロックに対してＴＩＭＤを使用しない場合、本実施形態によって提供されるＭＲＬ＿ＩＰモードフラグ及びＭＲＬ＿ＩＰモードインデックスは、元のマルチ参照ラインインデックスｍｕｌｔｉＲｅｆＩｄｘを代替することができる。現在のブロックに対してＴＩＭＤを使用する場合、依然として、選択された参照ラインを示すためにマルチ参照ラインインデックスを使用することができ、そのマルチ参照ラインインデックスをエンコードすることができる。
【0098】
本願の例示的な実施形態において、現在のブロックのＭＲＬ＿ＩＰモードの候補リストを構築することは、設定された、現在のブロックに対してＭＲＬ＿ＩＰモードを使用できる条件が全て成立した場合にのみ、候補リストを構築することを含む。ＭＲＬ＿ＩＰモードを使用できる条件は、以下のいずれか１つ以上を含む。
条件１：現在のブロックが輝度フレームにおけるブロックであり、すなわち、ＭＲＬ＿ＩＰモードは輝度フレーム（すなわち輝度画像）のみに使用されるが、本願はこれに限定されない。
条件２：現在のブロックがコーディングツリーユニット（ＣＴＵ）の上部境界に位置しない。ＣＴＵの上部境界に位置する場合、現在のブロックの上方には使用できる参照ラインがないため、本実施形態では、ＣＴＵの上部境界に位置しないことをＭＲＬ＿ＩＰモードを使用できる条件とする。
条件３：現在のブロックに対してＭＲＬを使用でき、すなわち、ＭＲＬ＿ＩＰモードを使用できるのは、ＭＲＬモードを使用できる場合のみである。
条件４：現在のブロックのサイズが、ＭＲＬ＿ＩＰモードが使用できる現在のブロックの最大サイズより大きくない。この最大サイズはプリセットされたものであってもよい。一般に、より大きなブロックはより平坦であり、角度ディテールが比較的に少ない。このような大きなブロックに対して、ＭＲＬ＿ＩＰモードの使用を制限することができる。
ステップ５：現在のブロックのアスペクト比が、現在のブロックのアスペクト比に対するＭＲＬ＿ＩＰモードを使用することの要求を満たす。例えば、現在のブロックのアスペクト比がプリセット値より大きくない場合にのみ、ＭＲＬ＿ＩＰモードの使用が許可される。
条件１：現在のブロックが輝度フレームにおけるブロックであり、すなわち、ＭＲＬ＿ＩＰモードは輝度フレーム（すなわち輝度画像）のみに使用されるが、本願はこれに限定されない。
条件２：現在のブロックがコーディングツリーユニット（ＣＴＵ）の上部境界に位置しない。ＣＴＵの上部境界に位置する場合、現在のブロックの上方には使用できる参照ラインがないため、本実施形態では、ＣＴＵの上部境界に位置しないことをＭＲＬ＿ＩＰモードを使用できる条件とする。
条件３：現在のブロックに対してＭＲＬを使用でき、すなわち、ＭＲＬ＿ＩＰモードを使用できるのは、ＭＲＬモードを使用できる場合のみである。
条件４：現在のブロックのサイズが、ＭＲＬ＿ＩＰモードが使用できる現在のブロックの最大サイズより大きくない。この最大サイズはプリセットされたものであってもよい。一般に、より大きなブロックはより平坦であり、角度ディテールが比較的に少ない。このような大きなブロックに対して、ＭＲＬ＿ＩＰモードの使用を制限することができる。
ステップ５：現在のブロックのアスペクト比が、現在のブロックのアスペクト比に対するＭＲＬ＿ＩＰモードを使用することの要求を満たす。例えば、現在のブロックのアスペクト比がプリセット値より大きくない場合にのみ、ＭＲＬ＿ＩＰモードの使用が許可される。
【0099】
本願の例示的な実施形態では、ＭＲＬ＿ＩＰモードインデックスに対してゴロム・ライス（Ｇｏｌｏｍｂ－Ｒｉｃｅ）コーディング法を用いてエンコードする。ゴロム・ライスコーディングを使用することにより、エンコーディング及びデコーディングのために、候補組み合わせを、異なる符号語長を有するカテゴリにより合理的にグループ化することができ、コーディング効率を向上させる。
【0100】
【数3】
【0101】
プレフィックスに対して、コンテキストモデルベースのトランケートされた単項コードを用いて各ビンをエンコード及びデコードし、プレフィックスの値と出力ビットを次の表に示す。
【0102】
【表b】
【0103】
サフィックスに対して、等確率のトランケートされたバイナリ（ｔｒｕｎｃａｔｅｄ ｂｉｎａｒｙ）コードを用いて各ビンをエンコード及びデコードし、サフィックスの値と出力ビットを次の表に示す。
【0104】
【表c】
【0105】
Ｋの値が異なる場合、Ｋの値の大きさの違いに応じて、prefixとsuffixの計算方式を、例えば、異なる除数を設定することで調整することができる。なお、上記の例では、prefixに対してコンテキストモデルベースのトランケートされた単項コードを使用し、suffixに対して等確率のトランケートされたバイナリコードを使用しているが、他の例として、prefixに対して等確率のトランケートされた単項コードを使用し、suffixに対してコンテキストモデルベースのトランケートされたバイナリコードを使用すること等も可能であり、本願は特に限定しない。
【0106】
本願の例示的な実施形態において、現在のブロックのＭＲＬ＿ＩＰモードのエンコーディング条件が満たされた場合、ビデオエンコーディング方法は、ＭＰＭモード、イントラサブパーティション分割（ＩＳＰ）モード、マルチ変換選択（ＭＴＳ）モード、低周波数非分離型変換（ＬＦＮＳＴ）モード、及びＴＩＭＤモードのうちのいずれか１つ以上のモードのシンタックスエレメントのエンコーディングをスキップすることを、さらに含む。
【0107】
例えば、ＴＩＭＤモードの前にＭＲＬ＿ＩＰモードをエンコード及びデコードする場合、ＭＲＬ＿ＩＰモードのエンコーディング条件には、現在のブロックに対してＴＩＭＤを使用しないことが含まれなくなる。現在のブロックに対してＭＲＬ＿ＩＰモードを使用する場合、現在のブロックに対してＴＩＭＤを使用できなくなり、ＴＩＭＤモードのシンタックスエレメントのエンコーディングをスキップすることができる。
【0108】
例えば、現在のブロックに対してＭＲＬ＿ＩＰモードを使用する場合、ＭＲＬ＿ＩＰモードフラグとＭＲＬ＿ＩＰモードインデックスは、現在のブロックのために選択された参照ラインとイントラ予測モードを同時に示すことができ、ＭＰＭ関連のシンタックスエレメントをエンコード及びデコードする必要はない。
【0109】
例えば、特定の変換モードにおいて、ＭＲＬ＿ＩＰモードと、マルチ変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）モード及び／又は低周波数非分離型変換（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ―ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ、ＬＦＮＳＴ）モードとが同時に使用されないように制限することができる。
【0110】
本願の一実施形態は、図７に示すように、ＴＭＲＬ＿ＩＰモードの候補リストの構築方法を提供する。この方法はステップ２１０～ステップ２３０を含む。
【0111】
ステップ２１０：現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個の組み合わせを取得し、Ｎ≧１、Ｍ≧１、Ｎ×Ｍ≧２が満たされる。
【0112】
ステップ２２０：Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算する。
【0113】
本ステップにおける誤差は、差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、ＳＡＤ）、又は差分変換絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｔｒａｎｓｆｏｒｍｅｄ Ｄｉｆｆｅｒｅｎｃｅ、ＳＡＴＤ）などで表すことができるが、これらに限らず、差分二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、ＳＳＤ）、平均絶対差（Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、ＭＡＤ）、平均二乗誤差（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ、ＭＳＥ）などで表すこともできる。
【0114】
ステップ２３０：現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ＿ＩＰ）モードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入し、１≦Ｋ≦Ｎ×Ｍが満たされる。
【0115】
本実施形態では、現在のブロックのためにＴＭＲＬ＿ＩＰモードの候補リストを構築する際に、Ｎ個の拡張参照ラインとＭ個のイントラ予測モードに基づいてＮ×Ｍ個の組み合わせを取得し、Ｎ×Ｍ個の組み合わせの各々に従って現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測値との誤差を計算し、誤差の昇順で、対応するＫ個の組み合わせを候補リストに記入する。本実施形態で作成された候補リストにより、拡張参照ラインとイントラ予測モードの組み合わせのエンコーディングを実現し、エンコーディング効率を向上させることができる。また、異なる組み合わせを用いるテンプレート領域への予測と誤差の順序付けにより、現在のブロックと現在のブロックのテンプレート領域との分布特性の類似性に基づいて、Ｎ×Ｍ個の組み合わせから選択される確率の高いＫ個の組み合わせを選択することができ、且つ選択される確率の高い組み合わせを候補リスト内の前の位置に配列することで、エンコードする際に選択された組み合わせのＴＭＲＬ＿ＩＰモードインデックスが小さくなり、実際のエンコーディングコストを低減することができる。
【0116】
本願の例示的な実施形態では、現在のブロックのテンプレート領域は、現在のブロックに最も近い１つの参照ラインに設定され、又は、現在のブロックのテンプレート領域は、現在のブロックに最も近い複数の参照ラインに設定され、Ｎ個の拡張参照ラインは、テンプレート領域の外側に位置する拡張参照ラインである。図８Ａでは、現在のブロックのテンプレート領域は、インデックスが０の参照ライン３０に設定されている。ＴＭＲＬ＿ＩＰモードの候補リストを構築する際、インデックスが｛１，３，５，７，１２｝の事前定義の拡張参照ラインから、使用できるＮ個の拡張参照ラインを選択する。現在のブロックの上方とＣＴＵ境界との間に１３個を超える参照ラインがある場合、組み合わせを作るために、インデックスが｛１，３，５，７，１２｝の５個の拡張参照ラインを選択する。現在のブロックの上方とＣＴＵ境界の間に６つ又は７つの参照ラインがある場合、組み合わせを作るために、インデックスが｛１，３，５｝の３つの拡張参照ラインを選択する。
【0117】
図８Ａには、組み合わせに参加する５つの拡張参照ラインが示されており、インデックスが１の参照ライン３１、インデックスが３の参照ライン３３、インデックスが５の参照ライン３５、インデックスが７の参照ライン３７、及びインデックスが１２の参照ライン３９を含む。図８Ａとは異なり、図８Ｂに示す例では、現在のブロックのテンプレート領域４０がインデックスが０及び１の２つの参照ラインに設定されており、組み合わせに参加する拡張参照ラインは５つの拡張参照ラインであり、それぞれ、インデックスが２の参照ライン４２、インデックスが３の参照ライン４３、インデックスが５の参照ライン４５、インデックスが７の参照ライン４７、及びインデックスが１２の参照ライン４９である。つまり、この例では、インデックスが｛２，３，５，７，１２｝の事前定義の拡張参照ラインから、使用できるＮ個の拡張参照ラインを選択している。テンプレート領域と拡張参照ラインの選択には他にも多くのオプションがあり、例えば、インデックスが０，１，２の３つの参照ラインに現在のブロックのテンプレート領域を設定し、又はインデックスが０～３の４つの参照ラインに現在のブロックのテンプレート領域を設定するなどの例がある。テンプレート領域が比較的広いとき、予測は比較的精確である。
【0118】
本願の例示的な実施形態では、現在のブロックのＮ個の拡張参照ラインは、事前定義のＮｍａｘ個の拡張参照ラインのうち、現在のブロックのテンプレート領域の外側に位置し、且つコーディングツリーユニット（ＣＴＵ）の境界を超えない拡張参照ラインである。ＮｍａｘはＴＭＲＬ＿ＩＰモードで使用できる拡張参照ラインの最大個数である。本実施形態では、組み合わせに使用されるＮ個の拡張参照ラインを、現在のブロックのテンプレート領域の外側且つＣＴＵ境界を超えない領域に制限する。しかし、ハードウェアがサポートできれば、ＣＴＵ境界を超える拡張参照ラインが組み合わせに使用される可能性がある。
【0119】
本願の例示的な実施形態では、Ｎｍａｘ＝５であり、事前定義の５つの拡張参照ラインは、｛１，３，５，７，１２｝又は｛２，３，５，７，１２｝のインデックスが付けられた参照ラインである。本願の別の例示的な実施形態では、事前定義のＮｍａｘ個の拡張参照ラインは、インデックスが１から始まり、現在のブロックに最も近いＮｍａｘ個の拡張参照ラインであり、又は、インデックスが１から始まり且つインデックスが奇数であり、現在のブロックに最も近いＮｍａｘ個の拡張参照ラインであり、又は、インデックスが２から始まり且つインデックスが偶数であり、現在のブロックに最も近いＮｍａｘ個の拡張参照ラインである。奇数又は偶数の参照ラインを選択すると、演算が簡単になる。
【0120】
本願の例示的な実施形態において、Ｍ個のイントラ予測モードは、角度モードのみから選択でき、又は角度モード及びＤＣモードのみから選択でき、又は角度モード、ＤＣモード及びｐｌａｎａｒモードから選択できる。
【0121】
本願の例示的な実施形態において、Ｍ個のイントラ予測モードは、以下のプロセスによって選択される。
第１ステップ：現在のブロックの周囲にある複数の近隣位置での予測ブロックのために使用されるイントラ予測モードを確定し、そのうちの選択できるイントラ予測モードを順番に選択し、重複するモードを削除する。
第１ステップで選択されたイントラ予測モードの数がＭになると、終了し、第１ステップで選択されたイントラ予測モードは数がＭ未満であり、且つ角度モードを含む場合、第２ステップを実行する。
第２ステップ：選択されたイントラ予測モードの総数がＭになるまで、選択された１番目の角度モードから順番に角度モードの拡張操作を行って拡張後の角度モードを取得し、選択された全ての角度モードと異なる拡張後の角度モードを選択する。
第１ステップ：現在のブロックの周囲にある複数の近隣位置での予測ブロックのために使用されるイントラ予測モードを確定し、そのうちの選択できるイントラ予測モードを順番に選択し、重複するモードを削除する。
第１ステップで選択されたイントラ予測モードの数がＭになると、終了し、第１ステップで選択されたイントラ予測モードは数がＭ未満であり、且つ角度モードを含む場合、第２ステップを実行する。
第２ステップ：選択されたイントラ予測モードの総数がＭになるまで、選択された１番目の角度モードから順番に角度モードの拡張操作を行って拡張後の角度モードを取得し、選択された全ての角度モードと異なる拡張後の角度モードを選択する。
【0122】
本実施形態の一例では、第１ステップにおいて、ＣＴＵの上部境界に位置する現在のブロックとＣＴＵの上部境界に位置しない現在のブロックの各々に対して、現在のブロックの周囲にある複数の近隣位置での予測ブロックは、現在のブロックの左側の予測ブロック、上方の予測ブロック、左上の予測ブロック、左下の予測ブロック、及び右上の予測ブロックという予測ブロックの一部又は全てを含む。図３に示すように、現在のブロックの左側の予測ブロック、上方の予測ブロック、左上の予測ブロック、左下の予測ブロック、及び右上の予測ブロックは、図においてそれぞれＬ、Ａ、ＡＬ、ＢＬ、ＡＲで示された予測ブロックである。Ｍ≧５が満たされる。
【0123】
本例によれば、ＣＴＵの上部境界に位置する現在のブロックに対しても、その上方、左上、右上などの近隣位置での予測ブロックに使用されるイントラ予測モードの中から、組み合わせに参加するＭ個のイントラ予測モードを選択することが可能となり、すなわち、これらの位置での予測ブロックに対するアクセス制限が解除される。その結果、ＣＴＵの上部境界に位置する現在のブロックに対して候補リストを構築する際に、組み合わせに参加するより多様なイントラ予測モードがある。これにより、構築される候補リストにおける組み合わせの多様性を増加させ、コーディング性能を向上させることができる。
【0124】
本実施形態の一例では、現在のブロックの周囲にある複数の近隣位置は、現在のブロックの周囲にある５つの近隣位置を含み、５つの近隣位置は、図３に示すように、それぞれ左上、上、右上、左、左下である。
【0125】
本実施形態の一例では、現在のブロックの周囲にある複数の近隣位置での予測ブロックのために使用されるイントラ予測モードに基づいて選択されたイントラ予測モードの数がＭ未満である場合、第１ステップは、さらに、以下の方式、即ち、
現在のブロックの周囲の再構成値に基づいて、デコーダー側イントラモード導出（ＤＩＭＤ）の勾配ヒストグラムを用いて２個のイントラ予測モードを導出し、導出された２個のイントラ予測モードから、選択されたイントラ予測モードのいずれとも異なるイントラ予測モードを選択することと、
選択されたイントラ予測モードにＤＣモードが含まれていない場合、ＤＣモードを選択すること、
という方式の少なくとも１つにより、組み合わせに参加するイントラ予測モードを引き続いて選択することを含む。
現在のブロックの周囲の再構成値に基づいて、デコーダー側イントラモード導出（ＤＩＭＤ）の勾配ヒストグラムを用いて２個のイントラ予測モードを導出し、導出された２個のイントラ予測モードから、選択されたイントラ予測モードのいずれとも異なるイントラ予測モードを選択することと、
選択されたイントラ予測モードにＤＣモードが含まれていない場合、ＤＣモードを選択すること、
という方式の少なくとも１つにより、組み合わせに参加するイントラ予測モードを引き続いて選択することを含む。
【0126】
本例では、ＤＩＭＤから導出されるイントラ予測モード及び／又はＤＣモードから、組み合わせに参加するイントラ予測モードを選択することができる。この方式により、組み合わせに参加するイントラ予測モードの多様性を高め、ひいては構築された候補リストにおける組み合わせの多様性を高めることができるので、コーディング性能を向上させることができる。
【0127】
本実施の形態の一例では、第２ステップにおいて、第１ステップで選択された全ての角度モードに対して、選択された１番目の角度モードから、設定された順序で順番に以下の処理を行い、即ち、角度モードの拡張操作を行って拡張後の角度モードを取得し、拡張後の角度モードが選択された角度モードのいずれとも異なる場合、拡張後の角度モードを選択し、選択されたイントラ予測モードの総数がＭ個になると、終了するという処理を行う。第１ステップで選択された全ての角度モードの数は１以上且つ５以下である。すなわち、第１ステップで選択されたイントラ予測モードが全て角度モードである場合、数を減らすことなく、全ての角度モードに対して１つずつ拡張操作を行うことも可能である。これにより、拡張後の角度モードの可能性を高めることができ、コーディング性能を向上させることができる。
【0128】
本実施形態の一例では、Ｍ個のイントラ予測モードを選択するプロセスは、第１ステップにおいて角度モードが選択されなかった場合、又は第２ステップにより選択されたイントラ予測モードの総数が依然としてＭ未満である場合、第３ステップを実行し、第３ステップにおいて、事前定義のイントラ予測モード集合のうちの選択できるイントラ予測モードを確定し、選択されたイントラ予測モードの総数がＭになるまで、確定された選択できるイントラ予測モードから、選択されたイントラ予測モードのいずれとも異なるイントラ予測モードを順番に選択すること、をさらに含む。
【0129】
本実施形態の一例では、Ｍ個のイントラ予測モードを選択する過程において、角度モードのみを選択できる。本実施形態の別の例では、Ｍ個のイントラ予測モードを選択する過程において、角度モードとＤＣモードのみを選択できる。本実施形態のさらに別の例では、Ｍ個のイントラ予測モードを選択する過程において、角度モード、ＤＣモード、及びＰｌａｎａｒモードを選択できる。Ｐｌａｎａｒモードは、拡張参照ラインとの結合効果が制限されるので、組み合わせから除外されてもよい。ＤＣモードの場合も類似する。ただし、演算複雑度の増加をサポートできれば、ＰｌａｎａｒモードとＤＣモードも候補リストに加えられて組み合わせに参加することができる。
【0130】
本実施形態の一例では、角度モードの拡張操作は、角度モードに対して１を加算する操作及び１を減算する操作と、角度モードに対して２を加算する操作及び２を減算する操作と、角度モードに対して３を加算する操作及び３を減算する操作と、角度モードに対して４を加算する操作及び４を減算する操作、という操作のうちのいずれか１つ以上を含む。
【0131】
本願の例示的な実施形態において、Ｍ個のイントラ予測モードとして、最確モード（ＭＰＭ）のうち、Ｐｌａｎａｒモード以外のイントラ予測モードの一部又は全部を使用し、又は、ＭＰＭと第２ＭＰＭのうち、Ｐｌａｎａｒモード以外のイントラ予測モードの一部又は全部を使用し、又は、ＭＰＭのうち、Ｐｌａｎａｒモード及びＤＣモード以外のイントラ予測モードの一部又は全部を使用し、又は、ＭＰＭと第２ＭＰＭのうち、Ｐｌａｎａｒモード及びＤＣモード以外のイントラ予測モードの一部又は全部を使用し、又は、ＭＰＭのうち、Ｐｌａｎａｒモード、ＤＣモード、及びＤＩＭＤモード以外のイントラ予測モードの一部又は全部を使用し、又は、ＭＰＭと第２ＭＰＭのうち、Ｐｌａｎａｒモード、ＤＣモード、及びＤＩＭＤモード以外のイントラ予測モードの一部又は全部を使用する。
【0132】
本実施形態では、ＭＰＭのうち、Ｐｌａｎａｒモード以外の全てのイントラ予測モードを事前定義のイントラ予測モードとして使用し、又は、ＭＰＭ及び第２ＭＰＭのうち、Ｐｌａｎａｒモード以外の全てのイントラ予測モードを事前定義のイントラ予測モードとして使用する。現在のブロックの参照ラインが事前定義の全ての拡張参照ラインを含む場合、事前定義の全てのイントラ予測モードを使用する。現在のブロックの参照ラインが事前定義の一部の拡張参照ラインを含む場合、事前定義の一部のイントラ予測モードを使用する。
【0133】
本願の例示的な実施形態では、Ｍ個のイントラ予測モードは、以下の方式によって選択される。Ｍ’個のイントラ予測モードを選択する。現在のブロックのテンプレートの外側に位置する参照ラインと、Ｍ’個のイントラ予測モードとに基づいて、それぞれ現在のブロックのテンプレートを予測し、また、テンプレートの再構成値と予測によって得られた予測値との間の誤差を算出してＭ’個の誤差を算出する。組み合わせに参加するＭ個のイントラ予測モードとして、Ｍ’個のイントラ予測モードから、最小誤差に対応するＭ個のイントラ予測モードを選択し、Ｍ＜Ｍ’が満たされる。
【0134】
本実施形態における現在のブロックのテンプレートは、Ｍ’個のイントラ予測モードからＭ個のイントラ予測モードを選択するために使用され、前述の現在のブロックのテンプレート領域は、Ｎ×Ｍ個の組み合わせからＫ個の組み合わせを選択するために使用され、両方は異なっていてもよいが、同じ領域を占めていてもよい。
【0135】
本実施形態においてＭ’個のイントラ予測モードを選択する際、本願の上記実施形態における、Ｍ個のイントラ予測モードを選択する様々な方法を用いることができ、例えば、ＭＰＭ及び第２ＭＰＭのリストから直接選択する方法、又は、前述の実施形態の方法における第１ステップを通じて選択する方法、又は、第１ステップ及び第２ステップを通じて選択する方法、又は、第１ステップ、第２ステップ及び第３ステップを通じて選択するなどの方法を用いることができる。
【0136】
本願の例示的な実施形態では、Ｎ≦Ｎｍａｘ、２≦Ｎｍａｘ≦１２、２≦Ｍ≦１８、Ｋ≦Ｋｍａｘ、６≦Ｋｍａｘ≦３６、ＮｍａｘはＴＭＲＬ＿ＩＰモードで使用できる拡張参照ラインの最大個数であり、ＫｍａｘはＴＭＲＬ＿ＩＰモードで使用できる候補組み合わせの最大個数である。ここで、Ｎ、Ｍ、及びＫという関連パラメータの値の範囲が示されているが、これは単に例示的なものであり、これらの値の範囲は本願の限定とみなされるべきではなく、本願の他の実施形態では、本実施形態のこれらの値の範囲外の値を取り得る。
【0137】
この実施形態の一例では、Ｎ＝５、Ｍ＝１０、Ｋ＝２０が満たされる。別の例では、Ｎ＝５、Ｍ＝６、Ｋ＝１２が満たされる。さらに別の例では、Ｎ＝５、Ｍ＝８、Ｋ＝１６が満たされる。さらに別の例では、Ｎ＝５、Ｍ＝１２、Ｋ＝２４が満たされる。
【0138】
本願の例示的な実施形態では、Ｎ、Ｍ及びＫは少なくとも２組の値を有し、第１組の値はＮ１、Ｍ１、Ｋ１であり、第２組の値はＮ２、Ｍ２、Ｋ２であり、Ｎ１≦Ｎ２、Ｍ１≦Ｍ２、Ｋ１≦Ｋ２、及びＮ１×Ｍ１＜Ｎ２×Ｍ２が満たされる。第１組の値は、第１サイズを有する現在のブロックのために候補リストを構築するときに使用され、第２組の値は、第２サイズを有する現在のブロックのために候補リストを構築するときに使用され、第１サイズは第２サイズよりも小さい。ここの第１サイズ及び第２サイズは、それぞれ様々なサイズを表すことができ、例えば、第１サイズは、４×４、４×８、８×８などを含むことができ、第２サイズは、１６×８、１６×１６、８×１６などを含むことができる。
【0139】
本実施形態では、異なるサイズの現在のブロックに対して、異なるＮ、Ｍ、Ｋを使用する。現在のブロックのサイズが比較的小さい場合、より小さい値を使用してＴＭＲＬ＿ＩＰモードの候補リストを構築する。現在のブロックのサイズが比較的大きい場合、より大きな値を使用してＴＭＲＬ＿ＩＰモードの候補リストを構築する。これにより、演算の複雑さと性能のより良いバランスを達成することができる。
【0140】
本願の例示的な実施形態において、Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測することは、現在のブロックが画像（ｐｉｃｔｕｒｅ）の左境界に位置する場合、Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックの上方テンプレート領域を予測し、現在のブロックの左側テンプレート領域を予測しないことを含む。本実施形態によれば、性能に影響を与えることなく、演算を簡略化し、演算に要する時間を短縮することができる。
【0141】
本願の例示的な実施形態において、Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測することは、Ｎ×Ｍ個の組み合わせの各々に基づいて、以下の方式で予測することを含む。組み合わせにおける拡張参照ラインの再構成値と、この組み合わせにおけるイントラ予測モードとに基づいて、テンプレート領域の初期予測値を算出し、拡張参照ラインの再構成値は、拡張参照ラインのオリジナル再構成値又はフィルタリングされた後の再構成値である。テンプレート領域の初期予測値に対して４タップフィルタリング又は６タップフィルタリングを行い、フィルタリング結果を、この組み合わせに基づいて予測して得られたテンプレート領域の予測値とする。
【0142】
本実施形態では、現在のブロックのテンプレート領域を予測する際に、拡張参照ラインの再構成値をフィルタリングせず、オリジナル再構成値を演算に用いることができ、また、演算の複雑さを軽減して演算を高速化するために、タップの比較的短いフィルタ（例えば、４タップフィルタ）を用いることができる。
【0143】
本願の例示的な実施形態において、Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算することは、以下の内容を含む。Ｋ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域全体を予測して、対応するＫ個の誤差からなる誤差集合を取得し、誤差集合における最大誤差をＤｍａｘとして記録する。残りの組み合わせの各々について、まず、この組み合わせに基づいて現在のブロックの一方側のテンプレート領域を予測し、現在のブロックのこの一方側のテンプレート領域の再構成値と予測値との間の誤差Ｄ１を算出し、Ｄ１≧Ｄｍａｘであれば、この組み合わせに基づく予測を完了し、Ｄ１＜Ｄｍａｘであれば、また、この組み合わせに基づいて現在のブロックのもう一側のテンプレート領域を予測し、現在のブロックのテンプレート領域全体の再構成値と予測値との間の誤差Ｄ２を算出し、Ｄ２＜Ｄｍａｘであれば、誤差集合にＤ２を加え、誤差集合からＤｍａｘを削除し、誤差集合内の最大誤差Ｄｍａｘを更新し、Ｄ２≧Ｄｍａｘであれば、この組み合わせに基づく予測を完了する。Ｎ×Ｍ個の組み合わせに基づく予測を完了した後、誤差集合におけるＫ個の誤差に対応するＫ個の組み合わせを、最小誤差に対応するＫ個の組み合わせとする。
【0144】
一例では、誤差集合内の誤差を昇順で配列することができ、誤差集合にＤ２を加える際に、誤差集合内の誤差が依然として昇順で配列されることができる位置にＤを挿入する。しかし、他の例では、Ｎ×Ｍ個の組み合わせに基づく予測を完了した後、誤差集合中のＫ個の誤差を順序付けることもできる。
【0145】
本実施形態では、全ての組み合わせに基づいてテンプレート領域全体の予測と誤差計算を行うことなく、組み合わせの順序付けを完成することができ、演算の複雑さの低減と高速化を図ることができる。
【0146】
本願の例示的な実施形態において、現在のブロックのＴＭＲＬ＿ＩＰモードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入することは、候補リストの１番目の位置から、誤差の昇順で誤差に対応するＫ個の組み合わせを候補リストに記入することを含む。本実施形態のＴＭＲＬ＿ＩＰモードの候補リストには、拡張参照ラインとイントラ予測モードの組み合わせのみが記入される。インデックスが０の参照ラインとイントラ予測モードの組み合わせは、ＭＰＭなどの他の従来のモードによって示される。
【0147】
本願の別の例示的な実施形態では、候補リストのｉ番目の位置から、誤差の昇順で誤差に対応するＫ個の組み合わせを候補リストに記入し、候補リストのｉ番目の位置の前に、インデックスが０である参照ラインと、１つ又は複数のイントラ予測モードとの組み合わせが記入されており、ｉ≧２が満たされる。本実施形態ではＴＭＲＬ＿ＩＰモードの候補リストには、拡張参照ラインとイントラ予測モードの組み合わせだけでなく、インデックスが０の参照ラインとイントラ予測モードの組み合わせも記入される。この場合、現在のブロックのために選択された組み合わせが、インデックスが０の参照ラインとイントラ予測モードとの組み合わせであるとき、ＴＭＲＬ＿ＩＰモードインデックスによってこのことを示すこともできる。このときのＴＭＲＬ＿ＩＰモードフラグは依然として使用されることができる。
【0148】
本願の一実施形態は、図９に示すようなビデオデコーディング方法を提供する。この方法はステップ３１０～ステップ３３０を含む。
【0149】
ステップ３１０：現在のブロックのマルチ参照ラインイントラ予測（ＭＲＬ＿ＩＰ）モードフラグをデコードして、現在のブロックに対してＭＲＬ＿ＩＰモードを使用するかどうかを確定する。
【0150】
ステップ３２０：現在のブロックに対してＭＲＬ＿ＩＰモードを使用すると確定した場合、引き続いて現在のブロックのＭＲＬ＿ＩＰモードインデックスをデコードし、現在のブロックのＭＲＬ＿ＩＰモードの候補リストを構築し、候補リストには、現在のブロックのための、拡張参照ラインとイントラ予測モードの候補組み合わせが記入されている。
【0151】
ステップ３３０：候補リストとＭＲＬ＿ＩＰモードインデックスに基づいて、現在のブロックのために選択される拡張参照ラインとイントラ予測モードの組み合わせを確定し、選択された組み合わせに基づいて現在の画像を予測する。
【0152】
ここで、ＴＭＲＬ＿ＩＰモードインデックスは、選択された拡張参照ラインとイントラ予測モードの組み合わせの、候補リストにある位置を示すために使用される。
【0153】
本実施形態では、ＭＲＬ＿ＩＰモードフラグをデコードして、現在のブロックに対してＭＲＬ＿ＩＰモードを使用すると確定した後、拡張参照ラインとイントラ予測モードの組み合わせをＭＲＬ＿ＩＰモードの候補リストに記入し、デコードして得られたＭＲＬ＿ＩＰモードインデックスと候補リストにより、現在のブロックのために選択された組み合わせを確定し、予測を行う。つまり、ＭＲＬ＿ＩＰモードインデックスにより、２つのインデックスを使用することなく、現在のブロックのために選択された拡張参照ラインとイントラ予測モードを同時に示すことができる。コーディングコストを削減することができる。
【0154】
本願の例示的な実施形態では、ＭＲＬ＿ＩＰモードの候補リストは、本願の実施形態の方法に従って構築されたＴＭＲＬ＿ＩＰモードの候補リストである。しかし、本願の他の実施形態において構築されるＭＲＬ＿ＩＰモードは、ＴＭＲＬ＿ＩＰモードに限定されず、例えば、大量のサンプルデータの統計結果に基づいて、選択される確率が最も高い参照ラインとイントラ予測モードの組み合わせを、ＭＲＬ＿ＩＰモードの候補リストに記入する。ＭＲＬ＿ＩＰモードの候補リストに、拡張参照ラインとイントラ予測モードの組み合わせのみを記入することができるが、インデックスが０の参照ラインと他のイントラ予測モードとの組み合わせを記入することもできる。
【0155】
本実施形態において、ＴＭＲＬ＿ＩＰモードの候補リストを構築する際、Ｋは設定値であってもよいが、本実施形態におけるＫは、ＴＭＲＬ＿ＩＰモードインデックスに基づいて確定され、ＴＭＲＬ＿ＩＰモードインデックスは、選択された拡張参照ラインとイントラ予測モードの組み合わせが、候補リストにおけるＬ番目の位置にあることを示す場合、Ｋ＝Ｌであり、Ｌは正の整数である。例えば、ＴＭＲＬ＿ＩＰモードインデックスが５であることは、インデックスが０から番号を付けられると仮定すると、選択された組み合わせが候補リストの６番目の位置にあることを示し、Ｋ＝６となる。エンコーディング側は、デコーディング側と異なり、選択された組み合わせの、候補リストにおける位置に基づいてＴＭＲＬ＿ＩＰモードインデックスを確定する必要があり、設定されたＫの値を用いる必要がある。これに対して、デコーディング側では、得られたＴＭＲＬ＿ＩＰモードインデックスをデコードした後、構築される候補リストには、ＴＭＲＬ＿ＩＰモードインデックスが示す位置での組み合わせのみが含まれればよい。現在のブロックのＴＭＲＬ＿ＩＰモードの候補リストに記入する組み合わせの数を減らすことで、候補リストを構築する演算を簡略化し、計算リソースを節約することができる。
【0156】
本願の例示的な実施形態では、現在のブロックのＭＲＬ＿ＩＰモードフラグをデコードすることの前、ビデオデコーディング方法は、現在のブロックに対してＭＲＬ＿ＩＰモードを使用できる条件が全て成立した場合、現在のブロックのＭＲＬ＿ＩＰモードフラグをデコードすることをさらに含む。ＭＲＬ＿ＩＰモードを使用できる条件は、以下のいずれか１つ以上を含み、即ち：
現在のブロックが輝度フレームにおけるブロックであること、
現在のブロックに対してＭＲＬを使用できること、
現在のブロックがコーディングツリーユニット（ＣＴＵ）の上部境界に位置しないこと、
現在のブロックに対してテンプレートベースのイントラモード導出（ＴＩＭＤ）を使用しないこと、
という条件のいずれか１つ以上を含む。
現在のブロックが輝度フレームにおけるブロックであること、
現在のブロックに対してＭＲＬを使用できること、
現在のブロックがコーディングツリーユニット（ＣＴＵ）の上部境界に位置しないこと、
現在のブロックに対してテンプレートベースのイントラモード導出（ＴＩＭＤ）を使用しないこと、
という条件のいずれか１つ以上を含む。
【0157】
本実施形態では、上記条件の１つが成立する場合には、ＭＲＬ＿ＩＰモードの使用を許可せず、ＭＲＬ＿ＩＰモードフラグ及びＭＲＬ＿ＩＰモードインデックスのデコーディングをスキップすることができる。しかし、他の実施形態ではそうになるとは限らない。例えば、ＴＩＭＤの前にＭＲＬ＿ＩＰモードをエンコード及びデコードする場合、現在のブロックに対するＴＩＭＤの使用は、ＭＲＬ＿ＩＰモードを使用できない条件とされない。別の例としては、将来、ハードウェアがＣＴＵ境界外の参照ラインの取得をサポートできるようになった場合、現在のブロックがＣＴＵの上部境界に位置することは、ＭＲＬ＿ＩＰモードを使用できない条件ではなくなることなどが挙げられる。
【0158】
本願の例示的な実施形態では、ビデオデコーディング方法は、現在のブロックに対してＭＲＬを使用でき、現在のブロックがＣＴＵの上部境界に位置しておらず、且つ現在のブロックに対してＴＩＭＤを使用すると確定した場合、現在のブロックのＭＲＬインデックスをデコードすることをさらに含む。ＭＲＬインデックスは、現在のブロックのために選択された参照ラインのＭＲＬインデックスリストにある位置を示すために使用される。本実施形態では、現在のブロックに対してＴＩＭＤを使用する場合にＭＲＬ＿ＩＰモードを使用することができないが、依然としてＭＲＬを使用することができ、したがって、依然として、現在のブロックのマルチ参照ラインインデックスをデコードすることで、現在のブロックのために選択された参照ラインを確定することができ、現在のブロックのために選択されたＴＩＭＤモードと組み合わせて、現在のブロックを予測することができる。
【0159】
本願の例示的な実施形態では、ＭＲＬ＿ＩＰモードフラグに基づいて、現在のブロックに対してＭＲＬ＿ＩＰモードを使用すると確定した場合、ビデオデコーディング方法は、ＭＰＭモード、ＩＳＰモード、ＭＴＳモード、ＬＦＮＳＴモード、及びＴＩＭＤモードのうちのいずれか１つ以上のモードのシンタックスエレメントのデコーディングをスキップすることを、さらに含む。エンコーディング側に対応して、エンコードする際、現在のブロックに対してＭＲＬ＿ＩＰモードフラグを使用する場合、上記のモードの１つ以上がスキップされたとき、デコーディング側は、デコードによって、現在のブロックに対してＭＲＬ＿ＩＰモードフラグを使用すると確定した場合、これらのモードのデコーディングもスキップする。
【0160】
本願の一実施形態は、ビデオデコーディング方法をさらに提供し、具体的には、イントラ予測のデコーディング処理に関する。エンコーディング側におけるイントラ予測のエンコーディング処理についても説明する。
【0161】
本実施形態では、エンコーディング側でＴＭＲＬ＿ＩＰモードの候補リストを構築し、モード選択により現在のブロックのために候補リスト内の組み合わせが選択された場合に、ＴＭＲＬ＿ＩＰモードのシンタックスエレメントをエンコード及びデコードし、拡張参照ラインとイントラ予測モード（ＤＣモード、Ｐｌａｎａｒモード、複数の角度モードを含む従来のイントラ予測モード）の組み合わせをエンコード及びデコードすることにより、コーディング効率を向上させることができる。
【0162】
本実施形態では、事前定義のＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づき、インデックスが０の参照ライン、すなわちｒｅｆｅｒｅｎｃｅ ｌｉｎｅ０の位置にテンプレートを構築する。（ｘ，－１），（－１，ｙ）は、それぞれ、現在のブロックの左上隅の（０，０）位置に対する座標であり、本実施形態における現在のブロックの１行１列のテンプレート領域は、図８Ａに示すテンプレート領域３０を参照することができる。この図では、インデックスが｛１，３，５，７，１２｝の事前定義の５個の拡張参照ラインも提供されている。
【0163】
ＴＭＲＬ＿ＩＰモードの候補リストを構築する際に、Ｎ×Ｍ個の組み合わせに基づくテンプレートの予測値と再構成値の間のＳＡＤを計算し、ＳＡＤの昇順に従って対応する組み合わせをソートし、Ｎ×Ｍ個の組み合わせのうちＳＡＤが比較的小さいＫ個の組み合わせを、ＳＡＤの昇順でＴＭＲＬ＿ＩＰモードの候補リストに記入し、Ｎ×Ｍ≧２が満たされる。
【0164】
ＴＭＲＬ＿ＩＰモードの候補リストの構築は、エンコーダーとデコーダーの両方が実行する必要がある操作である。エンコーディング側では、現在のブロックのために選択された組み合わせが候補リストにあるなどのエンコーディング条件が満たされている場合、ＴＭＲＬ＿ＩＰモードフラグをエンコードすることでＴＭＲＬ＿ＩＰモードを使用することを示す。また、ＴＭＲＬ＿ＩＰモードインデックスは、選択された組み合わせの、候補リストにある位置に基づいて確定される。例えば、１番目の位置にあれば、ＴＭＲＬ＿ＩＰモードインデックスが０であり、２番目の位置にあれば、ＴＭＲＬ＿ＩＰモードインデックスが１であるというように確定される。ＴＭＲＬ＿ＩＰモードインデックスは、ゴロム・ライス（Ｇｏｌｏｍｂ－Ｒｉｃｅ）コーディング法を用いてエンコードされてもよいが、これに限定されない。
【0165】
以下、Ｎ＝５、Ｍ＝６、Ｋ＝１２の例をもって説明する。事前定義の５つの拡張参照ラインのインデックスが｛１，３，５，７，１２｝であり、６つのイントラ予測モードが一歩一歩選択される。
【0166】
本実施形態のビデオデコーディング方法は、ステップ１～ステップ３の内容を含む。
【0167】
ステップ１：ＴＭＲＬ＿ＩＰモードに関連するシンタックスエレメントをデコードする。
【0168】
デコーダーによって解析されるイントラ予測モードの関連シンタックスエレメントは、ＴＩＭＤ、ＭＲＬなどのモードの関連シンタックスエレメントを含む。本実施形態で提供されるＴＭＲＬ＿ＩＰモードは、ＭＲＬモードの発展型と考えることができ、ＴＭＲＬ＿ＩＰモードのシンタックスエレメントは、ＭＲＬモードのシンタックスエレメントの一部と考えることもできる。もちろん、両方は異なる２種のモードと考えることもできる。
【0169】
現在のブロックに対してＴＩＭＤモードを使用する場合、ＭＲＬモードのシンタックスエレメントに対するデコーディング方式に変更はない。現在のブロックに対してＴＩＭＤモードを使用しない場合、ＴＭＲＬ＿ＩＰモードのシンタックスエレメントをデコードする必要がある。次の表に示すように、現在のブロックのために関連シンタックスをデコードする。
【0170】
【表d】
【0171】
表中の「cu_tmrl_flag」即ちＴＭＲＬ＿ＩＰモードフラグであり、「cu_tmrl_flag」が１に等しいのは、現在のブロックに対してＴＭＲＬ＿ＩＰモードを使用することを示し、すなわち、現在の輝度サンプルのイントラ予測モードのタイプがテンプレートベースのマルチ参照ラインイントラ予測モードであることを定義する。「cu_tmrl_flag」が０に等しいのは、現在のブロックに対してＴＭＲＬ＿ＩＰモードを使用しないことを示し、すなわち、現在の輝度サンプルのイントラ予測モードのタイプがテンプレートベースのマルチ参照ラインイントラ予測モードではないことを定義する。
【0172】
表中の「tmrl_idx」すなわちＴＭＲＬ＿ＩＰモードインデックスは、現在のブロックのために選択された拡張参照ラインとイントラ予測モードの組み合わせのＴＭＲＬ＿ＩＰモードの候補リストにおける位置であり、ＴＭＲＬ＿ＩＰモードの順序付けられた候補リストにおける、選択された組み合わせのインデックス（組み合わせの位置を示すインデックス）を定義するとも言える。「tmrl_idx」は、ゴロム・ライスコーディング法を用いてエンコード及びデコードすることができ、ここでは説明を繰り返さない。
【0173】
上の表から分かるように、cu_tmrl_flagをデコードする前に、現在のブロックに対してＭＲＬを使用できること（すなわち、sps_mrl_enabled_flagが１であることが成立するか否か）、現在のブロックがＣＴＵの上部境界に位置しないこと（すなわち、（ y0 % CtbSizeY ) > 0が成立するか否か）、現在のブロックに対してＴＩＭＤを使用しないこと、という条件が成立するか否かをまず判断する。これらの条件が成立している場合、cu_tmrl_flagをデコードする。他の２つの条件が成立するが、現在のブロックに対してＴＩＭＤを使用する場合、現在のブロックのマルチ参照ラインインデックスintra_luma_ref_idxをデコードする。
【0174】
表中のＩＳＰモードフラグ（intra_subpartitions_mode_flag）は、ＴＭＲＬ＿ＩＰモード関連のシンタックスエレメントの後にデコードされる。現在のブロックに対してＴＭＲＬ＿ＩＰモードを使用しない（!cu_tmrl_flagが成立する）場合、intra_subpartitions_mode_flagをデコードする。
【0175】
ステップ２：ＴＭＲＬ＿ＩＰモードの候補リストを構築し、ＴＭＲＬ＿ＩＰモードインデックス及び候補リストに基づいて、現在のブロックのために選択された拡張参照ライン及びイントラ予測モードを確定する。
【0176】
解析段階の終了後、現在のブロックを予測する前、現在のブロックに対してＴＭＲＬ＿ＩＰモードを使用する場合、ＴＭＲＬ＿ＩＰモードの候補リストを構築する必要があり、ＴＭＲＬ＿ＩＰモードインデックスと候補リストに基づいて、現在のブロックのために選択された拡張参照ラインとイントラ予測モードを確定する。
【0177】
ＴＭＲＬ＿ＩＰモードの候補リストを構築するには、まず、候補の拡張参照ラインを確定し、候補のイントラ予測モードを確定する必要がある。
【0178】
■候補の拡張参照ラインを確定する
【0179】
候補の拡張参照ラインは、事前定義の拡張参照ラインから選択される。画像内の現在のブロックの位置に基づいて、事前定義の拡張参照ラインのうちの使用できる拡張参照ラインを確定する。原則として、現在のブロックに対して使用可能な上方参照ラインは、ＣＴＵの上部境界を超えないようにする。一例では、インデックスが｛１，３，５，７，１２｝である拡張参照ラインのうち、ＣＴＵの境界を超えない全ての拡張参照ラインを候補の拡張参照ラインに加える。また、コーディング性能を向上させ、又は複雑さを低減させるために、より多い又はより少ない拡張参照ラインを使用することもできる。
【0180】
■候補のイントラ予測モードを確定する
【0181】
本実施形態では、ＴＭＲＬ＿ＩＰモードとＭＰＭをバインディングする代わりに（他の実施形態でバインディングしてもよく）、イントラ予測モードの候補リストを構築し、この候補リストから組み合わせに使用されるイントラ予測モードを選択する。候補リストは、以下の方法で導出される。
【0182】
まず、従来の６７種類の予測モードから、ＰｌａｎａｒモードとＤＣモードを除去し、又はＰｌａｎａｒモードのみを除去してＤＣモードを残す。除去されたモードは、候補リストに加えられなく、即ちＴＭＲＬ＿ＩＰモードのうち、組み合わせに参加するイントラ予測モードとされない。
【0183】
本実施形態では、構築しようとする候補予測モードリストの長さは６である。候補予測モードリストを構築する際に、まず、現在のブロックの周囲の５つの近隣位置にある予測ブロックに使用されるイントラ予測モードに基づいて、重複しないイントラ予測モードを順番に選択して、候補予測モードリストに加える。一例として、以下の順序で、現在のブロックの周囲にある近隣位置での予測ブロック（略してブロックと呼ぶ）にアクセスし、それらのイントラ予測モードを取得して選択を行う。
【0184】
左側のブロックにアクセスし、そのブロックがイントラコーディングブロックであるかどうかを判断し、もしそうであり且つそのブロックのイントラ予測モードがＰｌａｎａｒモードではない場合、そのブロックのイントラ予測モードを選択して候補リストに加える。
【0185】
上方のブロックにアクセスし、そのブロックがイントラコーディングブロックであるかどうかを判断し、もしそうであり、また、そのブロックのイントラ予測モードがＰｌａｎａｒモードではなく、且つ候補リスト内の既存のイントラ予測モードと重複しない（すなわち、既存の全てのイントラ予測モードと異なる）場合、そのブロックのイントラ予測モードを選択して候補リストに加える。
【0186】
左側のブロックにアクセスし、そのブロックがインターコーディングブロックであるかどうかを判断し、もしそうであり、また、そのブロックのイントラ予測モードがｐｌａｎａｒモードではなく、且つ候補リスト内の既存のイントラ予測モードと重複しない場合、そのブロックのイントラ予測モードを選択して候補リストに加える。
【0187】
上方のブロックにアクセスし、そのブロックがインターコーディングブロックであるかどうかを判断し、もしそうであり、また、そのブロックのイントラ予測モードがｐｌａｎａｒモードではなく、且つ候補リスト内の既存のイントラ予測モードと重複しない場合、そのブロックのイントラ予測モードを選択して候補リストに加える。
【0188】
左上のブロックにアクセスし、そのブロックがイントラコーディングブロックであるかどうかを判断し、もしそうであり、また、そのブロックのイントラ予測モードがｐｌａｎａｒモードではなく、且つ候補リスト内の既存のイントラ予測モードと重複しない場合、そのブロックのイントラ予測モードを選択して候補リストに加える。
【0189】
左下のブロックにアクセスし、そのブロックがイントラコーディングブロックであるかどうかを判断し、もしそうであり、また、そのブロックのイントラ予測モードがｐｌａｎａｒモードではなく、且つ候補リスト内の既存のイントラ予測モードと重複しない場合、そのブロックのイントラ予測モードを選択して候補リストに加える。
【0190】
右上のブロックにアクセスし、そのブロックがイントラコーディングブロックかどうかを判断し、もしそうであり、また、そのブロックのイントラ予測モードがｐｌａｎａｒモードではなく、且つ候補リスト内の既存のイントラ予測モードと重複しない場合、そのブロックのイントラ予測モードを選択して候補リストに加える。
【0191】
左上のブロックにアクセスし、そのブロックがインターコーディングブロックであるかどうかを判断し、もしそうであり、また、そのブロックのイントラ予測モードがｐｌａｎａｒモードではなく、且つ候補リスト内の既存のイントラ予測モードと重複しない場合、そのブロックのイントラ予測モードを選択して候補リストに加える。
【0192】
左下のブロックにアクセスし、そのブロックがインターコーディングブロックであるかどうかを判断し、もしそうであり、また、そのブロックのイントラ予測モードがｐｌａｎａｒモードではなく、且つ候補リスト内の既存のイントラ予測モードと重複しない場合、そのブロックのイントラ予測モードを選択して候補リストに加える。
【0193】
右上のブロックにアクセスし、そのブロックがインターコーディングブロックであるかどうかを判断し、もしそうであり、また、そのブロックのイントラ予測モードがｐｌａｎａｒモードではなく、且つ候補リスト内の既存のイントラ予測モードと重複しない場合、そのブロックのイントラ予測モードを選択して候補リストに加える。
【0194】
本願の実施形態（他の実施形態を含む）における現在のブロックは、インターコーディング画像のブロックであってもよく、イントラコーディング画像のブロックであってもよい。現在のブロックがインターコーディング画像のブロックであり、且つ解析された後、イントラコーディングブロック（イントラ予測モードを用いて予測されるブロック）である場合、このイントラコーディングブロックの近隣位置での予測ブロックは、インターコーディングブロックである可能性があり、このインターコーディングブロックのイントラ予測モードは、このインターコーディングブロックの参照ブロックから伝達されてもよい。
【0195】
本実施形態では、ＣＴＵの上部境界にある現在のブロックに対しても、上記順序で、現在のブロックの近隣にある５つの位置での予測ブロックにアクセスし、それらのイントラ予測モードを取得して選択を行い、左上、上、右上の予測ブロックへのアクセスをスキップしない。
【0196】
現在のブロックの５つの近隣位置での予測ブロックに使用されるイントラ予測モードに基づいて、重複しないイントラ予測モードを順番に選択して候補予測モードリストに記入した後、角度モードに対する拡張操作を直接行ってもよく、以下の選択操作の１種又は２種をまず行ってもよい。
第１種：現在のブロックの周囲の再構成値に基づいて、ＤＩＭＤの勾配ヒストグラムを用いて２つのイントラ予測モードを導出し、導出された２つのイントラ予測モードから、リスト内の既存のモードと重複しないモードを選択して候補リストに記入する。
第２種：候補リスト内の既に選択されたイントラ予測モードの中にＤＣモードがない場合、ＤＣモードを選択して候補リストに記入する。
第１種：現在のブロックの周囲の再構成値に基づいて、ＤＩＭＤの勾配ヒストグラムを用いて２つのイントラ予測モードを導出し、導出された２つのイントラ予測モードから、リスト内の既存のモードと重複しないモードを選択して候補リストに記入する。
第２種：候補リスト内の既に選択されたイントラ予測モードの中にＤＣモードがない場合、ＤＣモードを選択して候補リストに記入する。
【0197】
次に、リストに記入されたモードに対して角度モードの拡張操作を行う。具体的には、順番に、選択された全ての角度モードに対して、１を加算する操作及び１を減算する操作を行い、重複しない拡張後の角度モードを選択して順番に候補予測モードリストに加え、候補リストに記入されたモード数が６に達すると、充填することを停止してもよい。
【0198】
１を加算する操作及び１を減算する操作の具体的な内容を下表に示す。
【0199】
【表e】
【0200】
上記「角度モード－１」とは、記入された角度モードのインデックスから１を減算した角度モードを指し、例えば、記入された角度モードがモード３である場合、「角度モード－１」は角度モード２となる。上記「角度モード＋１」とは、記入された角度モードのインデックスに１を加算した角度モードを指し、例えば、記入された角度モードがモード３である場合、「角度モード＋１」は角度モード４となる。
【0201】
そして、「角度モード－１」が角度モード２よりも小さい場合、例えば、「角度モード－１」即ち「角度モード１」を得る（角度モードのインデックスが２から番号付けされ、「角度モード１」は存在しない）場合、「角度モード－１」と反対方向の角度モードを選択し、合計６５種類の角度モードがあると仮定して、このとき、「角度モード－１」と反対方向の角度モードは即ち角度モード６６である。そして、「角度モード＋１」が角度モード６６よりも大きい場合、類似的に、「角度モード＋１」と反対方向の角度モードを選択する。例えば、記入された角度モードが角度モード６６であり、「角度モード＋１」は存在せず、このとき選択された「角度モード＋１」と反対方向の角度モードは即ち角度モード２である。
【0202】
上記の角度モードの拡張は、角度モードに対して１を加算する操作及び１を減算する操作を行うことである。他の実施形態では、１を加算する操作及び１を減算する操作を、１を加算する操作及び１を減算する操作からＸを加算する操作及びＸを減算する操作まで拡張することも可能である。Ｘ＝３と仮定すると、候補予測モードリストが埋まるようになるまで、角度モードに対して、１を加算する操作及び１を減算する操作、２を加算する操作及び２を減算する操作、３を加算する操作及び３を減算する操作を行うことが可能である。具体的に、下表に示す。表中のdelta＝１，２，．．．Ｘ－１である。
【0203】
【表f】
【0204】
本願の別の実施形態では、角度モードに対する拡張操作は、１を加算する操作及び１を減算する操作と、２を加算する操作及び２を減算する操作と、３を加算する操作及び３を減算する操作と、４を加算する操作及び４を減算する操作とを含む。第１のステップで選択された角度モードが合計４個あると仮定すると、例示的な設定順序は、次の通りであってもよく、即ち：選択された１番目の角度モード（略して１番目の角度モードと呼ぶ）に対して１を加算する操作及び１を減算する操作を実行し、選択された２番目の角度モード（略して２番目の角度モードと呼ぶ）に対して１を加算する操作及び１を減算する操作を実行し、選択された３番目の角度モード（略して３番目の角度モードと呼ぶ）に対して１を加算する操作及び１を減算する操作を実行し、選択された４番目の角度モード（４番目の角度モードと呼ぶ）に対して１を加算する操作及び１を減算する操作を実行し、１番目の角度モードに対して２を加算する操作及び２を減算する操作を実行し、２番目の角度モードに対して２を加算する操作及び２を減算する操作を実行し、３番目の角度モードに対して２を加算する操作及び２を減算する操作を実行し、４番目の角度モードに対して２を加算する操作及び２を減算する操作を実行し、その後、引き続き１番目の角度モードから４番目の角度モードに対して３を加算する操作及び３を減算する操作を行い、さらに１番目の角度モードから４番目の角度モードに対して４を加算する操作及び４を減算する操作を行う。本実施形態の角度拡張では、１つの角度モードの拡張操作が完了した毎に、得られた２つの拡張後の角度モードと選択された角度モードを比較し、選択された角度モードのいずれとも異なる角度モードを選択し、選択されたイントラ予測モードの総数を更新する。総数がＭ個になると、イントラ予測モードの候補リストの構築を終了し、すなわち、Ｍ個のイントラ予測モードを選択する処理を終了する。
【0205】
リストに記入されたモードに対して角度モードの拡張操作を行った後、候補予測モードリストがまだ埋まるようになっていない場合、候補予測モードリストが埋まるようになるまで、事前定義のモード集合の中の重複しないモードを用いてリストを充填する。モード集合には、以下のような、統計的法則に従って選択されたいくつかの角度モードが含まれる。
【0206】
mpm_default[] = { DC_IDX, VER_IDX, HOR_IDX, VER_IDX - 4, VER_IDX + 4, 14, 22, 42, 58, 10, 26, 38, 62, 6, 30, 34, 66, 2, 48, 52, 16 };
【0207】
ここで、DC_IDXはＤＣモードを表し、VER_IDXは垂直モードを表し、HOR_IDXは水平モードを表し、残りの数字はその数字に対応する角度モードを表す。
【0208】
本実施形態では、候補予測モードリストの長さを６としているが、性能の観点からより多くの角度モードを試すために、長さを６より大きい値に設定することも可能であり、例えば、８、１０、１２、１４などに設定してもよく、また、複雑さを軽減するためにより少ないモードを試して、長さを６より小さい値に設定してもよい。
【0209】
本実施形態では、候補イントラ予測モードを確定する際、ＰｌａｎａｒモードとＤＣモードを除外し、又はＰｌａｎａｒモードのみを除外しているが、複雑性を考慮しない場合には、この２つのモードを除外しなくてもよく、すなわち、Ｐｌａｎａｒモード、ＤＣモード、及び全ての角度モードが候補イントラ予測モードとして拡張参照ラインとの組み合わせに参加してもよい。
【0210】
ＭＰＭリストと第２ＭＰＭリスト内の前のＮ個のイントラ予測モードを直接用いる場合と比較して、本実施形態では、上述したステップによって構築されたイントラ予測モードの候補リストにより、ＣＴＵの上部境界における、上方予測ブロックに対するアクセス制限をキャンセルし、ＣＴＵの上部境界に位置する現在のブロックのために構築される候補リストの多様性を高める。さらに、ＤＩＭＤモードとＤＣモードを増やすことにより、候補リストにおけるイントラ予測モードの多様性をさらに高めることができる。
【0211】
■ＴＭＲＬ＿ＩＰモードの候補リストを構築する
【0212】
候補の拡張参照ラインとイントラ予測モードを確定した後、拡張参照ラインリストと候補予測モードリストにある全ての組み合わせを１つずつ試すことができ、これらの組み合わせの各々に基づいて、図８Ａを参照して、ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ０が位置するラインのテンプレート（Ｔｅｍｐｌａｔｅ、次の図に示される）領域を予測し、テンプレート領域の再構成値と各組み合わせに基づく予測から得られた予測値との間の誤差を計算し、誤差の最も小さいＫ個の組み合わせを、誤差の昇順でＴＭＲＬ＿ＩＰモードの候補リストに記入する。
【0213】
本実施形態の予測処理では、現在のブロックがＣＴＵの第１行を占める場合にのみ、ＴＭＲＬ＿ＩＰモードの使用を制限する。現在のブロックが画像の左境界に位置する場合、依然としてＴＭＲＬ＿ＩＰモードを使用することができる。この場合、左側のｒｅｆｅｒｅｎｃｅ ｌｉｎｅ０は既に画像境界の外側にあるため、左側テンプレートは予測に使用されず、すなわち、上方テンプレート領域のみを予測する。
【0214】
テンプレート領域に対する予測処理は、他の通常のイントラ角度予測処理と全く同じであることができる。すなわち、まず参照ラインの再構成値をフィルタリングし、その結果をテンプレート領域の初期予測値として使用し、フィルタリングされた参照ラインの再構成値と組み合わせにおけるイントラ予測モードに基づいてテンプレート領域を予測した後、初期予測結果に対して４タップ又は６タップフィルタリングを行い、その結果を予測によって得られた予測値として使用する。なお、演算の複雑さを考慮して、参照ラインの再構成値をフィルタリングするステップを省略してもよく、タップの比較的短いフィルタを用いてもよい。本実施形態では、予測によってテンプレート領域の予測値を取得する際に、参照ラインの画素の再構成値をフィルタリングしなく、初期予測結果に対して非整数の角度で１／３２精度を有する４タップ補間フィルタリングを行い、４タップフィルタは以下の通りである。
【0215】
【表g】
【0216】
現在の角度におけるラインとラインのサンプルの間の位置偏差に基づいて適切なフィルタを選択する。偏差ｉＦａｃｔは以下のように導出される：
【0217】
伝統的な角度と広角度の対応関係に基づいてpredModeIntraを取得し、predModeIntraに基づいて表に調べてintraPredAngleを取得する。表は次の通りである。
【0218】
【表h】
【0219】
intraPredAngleと選択された参照ラインのインデックスrefIdxによってｉＦａｃｔを確定する。
【0220】
iFact = ( ( x + 1 + refIdx ) * intraPredAngle ) & 31
【0221】
最後に、現在の組み合わせにおける角度及び参照ライン、並びにフィルタに基づいて、テンプレート領域を予測する。予測から得られたテンプレート領域の予測値とテンプレート領域の再構成値との間のＳＡＤを計算し、ＳＡＤの昇順でソートし、最小のＳＡＤを有するＫ個の組み合わせを選択してＴＭＲＬ＿ＩＰモードの候補リストに記入する。
【0222】
ソート処理では、高速なアルゴリズムを使用することができ、上記の処理では、５つの参照ラインと６種類の予測モードとの合計３０種類の組み合わせを試す必要があるが、その中のＳＡＤが最小であるＫ個の組み合わせのみを選択すればよく、本実施形態では、最初のＫ個の組み合わせに基づいた予測を完成して対応するＳＡＤを取得した後、Ｋ＋１番目の組み合わせから、誤差（コストと呼んでもよい）が最小となるＫ個の組み合わせを維持して更新すればよい。Ｋ＋１番目の組み合わせから、上方テンプレート領域のみを予測し且つ対応するＳＡＤを計算し、上テンプレートに基づいて計算されたＳＡＤが、誤差が最小のＫ個の組み合わせの中の誤差が最大の１つの組み合わせよりも既に大きい場合、左側テンプレート領域の予測と誤差計算をスキップすることができ、具体的に、前の実施形態を参照することができる。
【0223】
本実施形態におけるＫの値は、エンコーディング側と同じであり、すなわち、Ｋ＝１２である。しかしながら、本願の別の実施形態では、Ｋは、ＴＭＲＬ＿ＩＰモードインデックスに従って確定され、ＴＭＲＬ＿ＩＰモードインデックスが、選択された拡張参照ラインとイントラ予測モードの組み合わせが候補リストにおけるＬ番目の位置にあることを示す（すなわち、選択されたのは候補リストにおけるＬ番目の組み合わせである）場合に、Ｋ＝Ｌにする。Ｌ’でＴＭＲＬ＿ＩＰモードインデックスの値を表し、０≦Ｌ’＜Ｋが満たされると、Ｌ＝Ｌ’＋１となる。Ｌが１２（エンコーディング側で設定されたＫの値）より小さい場合、Ｎ×Ｍ個の組み合わせの中からコストの最も低い１２個の組み合わせを選択する代わりに、コストの最も低いＬ個の組み合わせを選択すればよい。デコーディング側がＴＭＲＬ＿ＩＰモードインデックスに基づいてＫの値を確定することにより、デコーダーの順番付けの複雑さを軽減することができる。
【0224】
ステップ３：構築されたＴＭＲＬ＿ＩＰモードの候補リストとデコーディングによって得られたＴＭＲＬ＿ＩＰモードインデックスに基づいて、現在のブロックのために選択される拡張参照ラインとイントラ予測モードの組み合わせを確定し、選択された組み合わせに基づいて現在のブロックに対してイントラ予測が実行される。
【0225】
ＴＭＲＬ＿ＩＰモードを使用する場合、参照ラインのインデックスrefIdxと変数predModeIntraは、ントラ予測に使用されるモードを定義し、いずれもＴＭＲＬ＿ＩＰモードインデックス「tmrl_idx」とＴＭＲＬ＿ＩＰモードの候補リストに基づいて確定される。
【0226】
ＥＣＭ－４．０参照ソフトウェアにおいて、本実施形態で説明した方法を用いて、Ｎ＝５（５つの拡張参照ラインはそれぞれ１、３、５、７、１２である）、Ｍ＝６（ＰｌａｎａｒモードとＤＣモードを含まない事前定義された６つの予測モード）、Ｋ＝１２（全ての組み合わせにおける、ＳＡＤが小さい前の１２個の組み合わせのみを選択する）の設定で、ＡＩ配置での測定結果は以下の通りである。
【0227】
【表i】
【0228】
Ｎ＝５（５つの拡張参照ラインはそれぞれ１、３、５、７、１２である）、Ｍ＝８（事前定義された８つの予測モード）、Ｋ＝１６の設定で、ＡＩ配置での測定結果は以下の通りである。
【0229】
【表j】
【0230】
Ｎ＝５（５つの拡張参照ラインはそれぞれ１、３、５、７、１２である）、Ｍ＝１２（事前定義された１２個の予測モード）、Ｋ＝２４の設定で、ＡＩ配置での測定結果は以下の通りである。
【0231】
【表k】
【0232】
Ｎ＝５（５つの拡張参照ラインはそれぞれ１、３、５、７、１２である）、Ｍ＝８（Ｐｌａｎａｒモードを含まないが、ＤＣモードを含む事前定義された８つの予測モード）、Ｋ＝１６の設定で、ＡＩ配置での測定結果は以下の通りである。
【0233】
【表l】
【0234】
表中のパラメーターの意味は以下の通りである。
【0235】
ＥｎｃＴ：Ｅｎｃｏｄｉｎｇ Ｔｉｍｅ即ちエンコーディング時間である。１０Ｘ％は、参照ラインソート技術が統合された場合、統合前に比べて、エンコーディング時間が１０Ｘ％であることを表し、エンコーディング時間がＸ％増加したことを意味する。
【0236】
ＤｅｃＴ：Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ即ちデコーディング時間である。１０Ｘ％は、参照ラインソート技術が統合された場合、統合前に比べて、デコーディング時間が１０Ｘ％であることを表し、デコーディング時間がＸ％増加したことを意味する。
【0237】
ＣｌａｓｓＡ１とＣｌａｓｓＡ２は解像度３８４０×２１６０のテストビデオシーケンスであり、ＣｌａｓｓＢは解像度１９２０×１０８０のテストシーケンスであり、ＣｌａｓｓＣは解像度８３２×４８０のテストシーケンスであり、ＣｌａｓｓＤは解像度４１６×２４０のテストシーケンスであり、ＣｌａｓｓＥは解像度１２８０×７２０のテストシーケンスであり、ＣｌａｓｓＦは異なる解像度を持ついくつかのスクリーンコンテンツ（Ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ）のシーケンスである。
【0238】
【0239】
Ａｌｌ ｉｎｔｒａは、全てがイントラフレームであるテスト配置を示す。
【0240】
Ｎ＝５（５つの拡張参照ラインはそれぞれ１、３、５、７、１２である）、Ｍ＝１０（事前定義された１０個の予測モード）、Ｋ＝２０の設定で、且つ候補リストを構築する際にＭＰＭリストと第２ＭＰＭリストにおける前のＭ個の予測モードを直接に用いて組み合わせを作り、Ａｌｌ ｉｎｔｒａとＲａｎｄｏｍ ａｃｃｅｓｓの配置でのテスト結果を次の表Ａに示す。
【0241】
【表A】
【0242】
一方、Ｎ＝５、Ｍ＝１０、Ｋ＝２０という同じ設定で、本実施形態の方法を用いて候補リストを構築し（ＣＴＵの上部境界にある現在のブロックのためのイントラ予測モードを選択するために、上方、右上、左上の位置にある近隣予測ブロックにアクセスすることを許可し、角度拡張の前に、ＤＩＭＤに基づいて導出されたモードとＤＣモードに対して選択を行い、選択された全ての角度モードに対して拡張操作を実行する、などの処理を含む）、ＡＩ配置でのテスト結果を次の表Ｂに示す。
【0243】
【表B】
【0244】
比較して分かるように、ｏｖｅｒａｌｌという行において、ＭＰＭリストと第２ＭＰＭリストにおける前のＭ個の予測モードを直接に用いて組み合わせを作る方式により、参照ソフトウェアと比較して、ａｌｌ ｉｎｔｒａ配置でＹ／Ｕ／ＶのＢＤ－ｒａｔｅｓの０．０８％／０．０１％／０．０４％を節約することができ、ｒａｎｄｏｍ ａｃｃｅｓｓ配置でＹ／Ｕ／ＶのＢＤ－ｒａｔｅｓの０．０３％／０．０８％／０．１３％を節約することができる。これに対して、本実施形態の方法を用いて候補リストを構築することにより、参照ソフトウェアと比較して、ａｌｌ ｉｎｔｒａ配置でＹ／Ｕ／ＶのＢＤ－ｒａｔｅｓの０．１１％／０．１０％／０．０７％を節約することができ、ｒａｎｄｏｍ ａｃｃｅｓｓ配置でＹ／Ｕ／ＶのＢＤ－ｒａｔｅｓの０．０５％／－０．０５％／０．０６％を節約することができる。全体的な効果は向上している。
【0245】
これから分かるように、本実施形態のＴＭＲＬ＿ＩＰモードを用いてイントラ予測コーディングを行うことにより、コーディング性能を大幅に向上させることができる。
【0246】
この実施形態では、拡張参照ラインと予測モデルの両方に対して、１行１列のテンプレート領域が使用され、ＳＡＤの昇順でソート及び選択が行われている。拡張参照ラインについては、全ての拡張参照ライン（ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ１を含む）をソートすれば、１行１列のテンプレートしか使用できない。しかし、予測モードの選択については、より適切な予測モードを選択するために、ＴＩＭＤモードの場合のようにより多くの参照ラインを使用することができ、これにより、より正確な結果を得ることができる。他の実施形態では、ＴＭＲＬ＿ＩＰモードに基づいて候補予測モードリストを確定する方法を変えることもできる。
【0247】
例えば、長さが６である候補予測モードリストを構築する必要があるとき、本実施形態と同様の構築方法及び充填方法に従って、まず長さが６より大きいリストを構築し、その後、現在のブロックに最も近い４行４列をテンプレートとし、５番目の参照ラインと候補予測モードリスト内のイントラ予測モードを用いてテンプレートを予測し、予測に得られた予測値とテンプレートの再構成値との誤差（ＳＡＤ又はＳＡＴＤ）を算出し、誤差の昇順でソートし、誤差が小さい６個のイントラ予測モードを選択して、それらを構築しようとする長さが６のＴＭＲＬ＿ＩＰモードの候補リスト内のイントラ予測モードとすることができる。また、ＴＭＲＬ＿ＩＰモードの候補リストの長さが６であるのは一例にすぎず、状況に応じて数値を調整することができる。
【0248】
本実施形態は６５種類の角度モードを例示したが、他の実施形態では、より良い性能を得るために角度を１２９種類以上に拡張することが可能であり、より多くの角度に拡張する場合、イントラ予測のためのフィルタ数を適宜増やす必要もあり、例えば、１２９種類の角度の場合１／６４精度のフィルタリングを使用する。
【0249】
本願の一実施形態は、ビットストリームをさらに提供する。ビットストリームは、イントラ予測に用いられるブロックレベルのシンタックスエレメントを含み、シンタックスエレメントは、現在のブロックのためのマルチ参照ラインイントラ予測（ＭＲＬ＿ＩＰ）モードフラグ及びＭＲＬ＿ＩＰモードインデックスを含み、ＭＲＬ＿ＩＰモードフラグは、現在のブロックに対してＭＲＬ＿ＩＰモードを使用するか否かを示すために使用され、ＭＲＬ＿ＩＰモードインデックスは、現在のブロックのために選択された拡張参照ラインとイントラ予測モードの組み合わせの、ＭＲＬ＿ＩＰモードの候補リストにおける位置を示すために使用される。本実施形態のビットストリームは、本願の任意１つの実施形態のビデオエンコーディング方法によって生成されることができる。
【0250】
また、本願の一実施形態は、マルチ参照ラインイントラ予測モードの候補リストの構築装置をさらに提供する。図１０に示すように、ＭＲＬ＿ＩＰモードの候補リストの構築装置は、プロセッサ７１と、コンピュータプログラムを記憶したメモリ７３とを備える。プロセッサ７１がコンピュータプログラムを実行すると、本願のいずれか１つの実施形態に記載のＭＲＬ＿ＩＰモードの候補リストの構築方法を実現することができる。
【0251】
本願の一実施形態は、ビデオデコーディング装置をさらに提供する。図１０に示すように、ビデオデコーディング装置は、プロセッサと、コンピュータプログラムを記憶したメモリとを備える。プロセッサがコンピュータプログラムを実行すると、本願のいずれか１つの実施形態に記載のビデオデコーディング方法を実現することができる。
【0252】
本願の一実施形態は、ビデオエンコーディング装置をさらに提供する。図１０に示すように、ビデオエンコーディング装置は、プロセッサと、コンピュータプログラムを記憶したメモリとを備える。プロセッサがコンピュータプログラムを実行すると、本願のいずれか１つの実施形態に記載のビデオエンコーディング方法を実現することができる。
【0253】
本願の上記実施形態のプロセッサは、中央処理装置（ＣＰＵ）、ネットワークプロセッサ（Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｏｒ、ＮＰ）、マイクロプロセッサなどを含む汎用プロセッサであることができ、又は他の通常のプロセッサなどであることができる。プロセッサは、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラム可能なゲートアレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）、ディスクリートロジック又は他のプログラム可能なロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントであることもでき、又は他の等価に集積された又はディスクリート論理回路であることもでき、上記コンポーネントの組み合わせであることもできる。即ち、上記実施形態のプロセッサは、本発明の実施形態に開示された様々な方法、ステップ及び論理ブロック図における任意の処理コンポネント又はコンポネントの組み合わせであることができる。本願の実施形態が部分的にソフトウェアで実施される場合、ソフトウェアに用いられる命令が適切な不揮発性コンピュータ可読記憶媒体に記憶されることができ、１つ又は複数のプロセッサにより、ハードウェアで命令を実行することで本願の実施形態の方法を実施することができる。本明細書で使用する「プロセッサ」という用語は、上述した構造、又は本明細書で説明する技術を実施するのに適した任意の他の構造を指すことができる。
【0254】
本願の一実施形態は、ビデオコーディングシステムをさらに提供する。ビデオコーディングシステムは、本願のいずれか１つの実施形態に記載のビデオエンコーディング装置と、本願のいずれか１つの実施形態に記載のビデオデコーディング装置を含む。
【0255】
本願の一実施形態は、非一時的なコンピュータ可読記憶媒体をさらに提供する。コンピュータ可読記憶媒体はコンピュータプログラムを記憶しており、コンピュータプログラムは、プロセッサによって実行されると、本願のいずれか１つの実施形態に記載のマルチ参照ラインイントラ予測（ＭＲＬ＿ＩＰ）モードの候補リストの構築方法を実現することができ、又は本願のいずれか１つの実施形態に記載のビデオデコーディング方法を実現することができ、又は本願のいずれか１つの実施形態に記載のビデオエンコーディング方法を実現することができる。
【0256】
上記１つ又は複数の例示的な実施形態において、説明される機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せによって実現されることができる。ソフトウェアによって実現される場合、機能は１つもしくは複数の命令又はコードとしてコンピュータ可読媒体に記憶され、又は、コンピュータ可読媒体を介して伝送されることができ、ハードウェアベースの処理ユニットによって実行される。コンピュータ可読媒体は、データ記憶媒体などの有形媒体であるコンピュータ可読媒体を含み、又は、コンピュータプログラムが例えば通信プロトコルに従ってあるところから別のところへ伝送されることを容易にする任意の通信媒体を含むことができる。このように、コンピュータ可読媒体は通常、非一時的な有形のコンピュータ可読記憶媒体、又は信号もしくはキャリアなどの通信媒体であることができる。データ記憶媒体は、本願に記載の技術を実施するための命令、コード、及び／又はデータ構造を検索するために、１つもしくは複数のコンピュータ又は１つもしくは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可読媒体を含むことができる。
【0257】
限定的ではない例として、このようなコンピュータ可読記憶媒体は、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）、読み取り専用メモリ（ｒｅａd ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ、ＥＥＰＲＯＭ）、コンパクトディスク読み取り専用メモリ（ｃｏｍｐａｃｔ ｄｉｓｋ ＲＯＭ、ＣＤ－ＲＯＭ）又は他の光ディスク記憶装置、磁気ディスク記憶装置又は他の磁気記憶装置、フラッシュメモリ、又は、命令もしくはデータ構造の形態で所望のプログラムコードを記憶し且つコンピュータによってアクセス可能な他の任意の媒体を含むことができる。また、いかなる接続をコンピュータ可読記憶媒体と呼ぶことができ、例として、同軸ケーブル、光ファイバーケーブル、ツイストペアケーブル（ｔｗｉｓｔｅｄ－ｐａｉｒ ｃａｂｌｉｎｇ）、デジタル加入者線（ｄｉｇｉｔａｌ ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ、ＤＳＬ）、又は、赤外線、ラジオ、マイクロ波などの無線技術を利用して、ウェブサイト、サーバ又は他のリモートソースから命令を伝送する場合、同軸ケーブル、光ファイバーケーブル、ツイストペアケーブル、ＤＳＬ、又は、赤外線、ラジオ、マイクロ波などの無線技術は媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、キャリア、信号、又は他の一時的な（一過性の）媒体を含まず、非一時的な有形記憶媒体である。本明細書で使用されている磁気ディスク及び光ディスクは、コンパクトディスク（ＣＤ）、レーザーディスク、光ディスク、デジタル多用途ディスク（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ、ＤＶＤ）、フロッピーディスク、又はブルーレイディスクなどを含み、磁気ディスクは通常、磁気的にデータを再生し、光ディスクはレーザーを使用して光学的にデータを再生する。上記の組み合わせも、コンピュータ可読媒体の範囲内に含まれるべきである。
【0258】
いくつかの態様において、本明細書で説明する機能は、エンコーディング及びデコーディングに用いられるように構成された専用のハードウェア及び／又はソフトウェアモジュール内に提供されることができ、集積エンコーダー・デコーダーに組み込まれることもできる。また、本明細書で説明する技術は、１つもしくは複数の回路又は論理素子に完全に実現されることができる。
【0259】
本願の実施形態の技術案は、無線携帯電話、集積回路（ＩＣ）、又は１セットのＩＣ（例えば、チップセット）を含む様々な装置又は機器に実施され得る。本願の実施形態では、様々なコンポーネント、モジュール、又はユニットを用いて、説明した技術を実行するように構成されたデバイスの機能を強調する。必ずしも異なるハードウェアユニットによって実現されるとは限らない。上述したように、様々なユニットは、コーディングのハードウェアユニットにおいて組み合わせられてもよく、相互運用可能なハードウェアユニット（上述した１つ又は複数のプロセッサを含む）の集合体と適切なソフトウェア及び／又はファームウェアとの組み合わせで提供されてもよい。
【図1A】
【図1B】
【図1C】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【国際調査報告】