知財求人 - 知財ポータルサイト「IP Force」
▶ グァンドン オッポ モバイル テレコミュニケーションズ コーポレーション リミテッドの特許一覧
特表2025-521765イントラ予測融合方法、ビデオエンコーディング方法及び装置、ビデオデコーディング方法及び装置、並びにビデオコーディングシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-07-10
(54)【発明の名称】イントラ予測融合方法、ビデオエンコーディング方法及び装置、ビデオデコーディング方法及び装置、並びにビデオコーディングシステム
(51)【国際特許分類】
H04N 19/593 20140101AFI20250703BHJP
H04N 19/11 20140101ALI20250703BHJP
H04N 19/157 20140101ALI20250703BHJP
H04N 19/154 20140101ALI20250703BHJP
H04N 19/176 20140101ALI20250703BHJP
【ＦＩ】
H04N19/593
H04N19/11
H04N19/157
H04N19/154
H04N19/176
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024577022
(86)(22)【出願日】2022-07-18
(85)【翻訳文提出日】2025-02-12
(86)【国際出願番号】 CN2022106337
(87)【国際公開番号】W WO2024007366
(87)【国際公開日】2024-01-11
(31)【優先権主張番号】202210806435.X
(32)【優先日】2022-07-08
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】516227559
【氏名又は名称】オッポ広東移動通信有限公司
【氏名又は名称原語表記】ＧＵＡＮＧＤＯＮＧ ＯＰＰＯ ＭＯＢＩＬＥ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＣＯＲＰ．， ＬＴＤ．
【住所又は居所原語表記】Ｎｏ． １８ Ｈａｉｂｉｎ Ｒｏａｄ，Ｗｕｓｈａ， Ｃｈａｎｇ’ａｎ，Ｄｏｎｇｇｕａｎ， Ｇｕａｎｇｄｏｎｇ ５２３８６０ Ｃｈｉｎａ
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100152205
【弁理士】
【氏名又は名称】吉田 昌司
(74)【代理人】
【識別番号】100137523
【弁理士】
【氏名又は名称】出口 智也
(72)【発明者】
【氏名】シュイ、ルーハン
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159MA04
5C159MC11
5C159ME01
5C159PP04
5C159TA31
5C159TB08
5C159TC08
5C159TC24
5C159UA02
5C159UA05
(57)【要約】
イントラ予測融合方法、ビデオエンコーディング方法及び装置、ビデオデコーディング方法及び装置、並びにビデオコーディングシステムが提供される。この方法は、現在のブロックに対して選択されたイントラ予測モードが角度モードを含む場合、現在のブロックに対してＩＰＦを使用する制約条件が成立するか否かを確定することと、制約条件のうちの少なくとも１つが成立する場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を制約することと、を含む。ＩＰＦの使用を制約することにより、予測する際に多すぎるモードを融合することを回避し、コーディング性能を向上させることができる。本願では、このイントラ予測融合方法を使用するビデオエンコーディング方法及び装置、ビデオデコーディング方法及び装置、並びにビデオコーディングシステムがさらに提供される。
【特許請求の範囲】
【請求項1】
イントラ予測融合（ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｆｕｓｉｏｎ、ＩＰＦ）方法であって、現在のブロックに対して選択されたイントラ予測モードが角度モードを含む場合、現在のブロックに対してＩＰＦを使用する制約条件が成立するか否かを確定することと、
前記制約条件のうちの少なくとも１つが成立する場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を制約することと、
を含む、
ことを特徴とするイントラ予測融合方法。
【請求項2】
前記制約条件は、モード数制約条件を含み、前記モード数制約条件は、ＩＰＦの使用により、現在のブロックを予測するにはＮ個以上のイントラ予測モードを融合する必要があり、Ｎは３以上の整数であるということである、ことを特徴とする請求項１に記載の方法。
【請求項3】
Ｎが３であるとき、前記した、現在のブロックに対して選択されたイントラ予測モードが角度モードを含む場合、現在のブロックに対してＩＰＦを使用する制約条件が成立するか否かを確定し、前記制約条件のうちの少なくとも１つが成立する場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を制約することは、現在のブロックに対してテンプレートベースのイントラモード導出（Ｔｅｍｐｌａｔｅ－ｂａｓｅｄ ｉｎｔｒａ ｍｏｄｅ ｄｅｒｉｖａｔｉｏｎ、ＴＩＭＤ）融合モードが選択され、且つＩＰＦの使用条件を満たす２つの角度モードがＴＩＭＤ融合に用いられる場合、前記モード数制約条件が成立すると確定し、現在のブロックに対してイントラ予測を実行する際に前記２つの角度モードのうちの１つのみに対してＩＰＦを実行することを許可することと、
現在のブロックに対してＴＩＭＤ融合モードが選択され、且つＴＩＭＤ融合に用いられる２つのイントラ予測モードのうちの１つのみが、ＩＰＦの使用条件を満たす角度モードである場合、前記モード数制約条件が成立しないと確定し、現在のブロックに対してイントラ予測を実行する際に前記角度モードに対してＩＰＦを実行することを許可することと、
を含む、
ことを特徴とする請求項２に記載の方法。
【請求項4】
前記制約条件は、モード数制約条件を含み、前記モード数制約条件は、ＩＰＦの使用により、現在のブロックを予測するにはＭ個以上の角度モードを融合する必要があり、Ｍは２以上である整数であるということである、ことを特徴とする請求項１に記載の方法。
【請求項5】
Ｍが３であるとき、前記した、現在のブロックに対して選択されたイントラ予測モードが角度モードを含む場合、現在のブロックに対してＩＰＦを使用する制約条件が成立するか否かを確定し、前記制約条件のうちの少なくとも１つが成立する場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を制約することは、現在のブロックに対してＴＩＭＤ融合モードが選択され、且つＩＰＦの使用条件を満たす２つの角度モードがＴＩＭＤ融合に用いられる場合、前記モード数制約条件が成立すると確定し、現在のブロックに対してイントラ予測を実行する際に前記２つの角度モードのうちの１つのみに対してＩＰＦを実行することを許可することと、
現在のブロックに対してＴＩＭＤ融合モードが選択され、且つＴＩＭＤ融合に用いられる２つのイントラ予測モードのうちの１つのみが、ＩＰＦの使用条件を満たす角度モードである場合、前記モード数制約条件が成立しないと確定し、現在のブロックに対してイントラ予測を実行する際に前記角度モードに対してＩＰＦを実行することを許可することと、
を含む、
ことを特徴とする請求項４に記載の方法。
【請求項6】
前記した、前記２つの角度モードのうちの１つのみに対してＩＰＦを実行することを許可することは、前記２つの角度モードのうちのコストが最も小さいまたはコストが２番目に小さい角度モードのみに対してＩＰＦを実行することを許可することを含む、ことを特徴とする請求項３または５に記載の方法。
【請求項7】
Ｍが３であるとき、前記した、現在のブロックに対して選択されたイントラ予測モードが角度モードを含む場合、現在のブロックに対してＩＰＦを使用する制約条件が成立するか否かを確定し、前記制約条件のうちの少なくとも１つが成立する場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を制約することは、現在のブロックに対してデコーダー側イントラモード導出（Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｉｎｔｒａ Ｍｏｄｅ Ｄｅｒｉｖａｔｉｏｎ、ＤＩＭＤ）融合モードが選択され、且つＩＰＦの使用条件を満たす２つの角度モードがＤＩＭＤ融合に用いられる場合、前記モード数制約条件が成立すると確定し、現在のブロックに対してイントラ予測を実行する際に前記２つの角度モードのうちの１つのみに対してＩＰＦを実行することを許可することと、
現在のブロックに対してＤＩＭＤ融合モードが選択され、且つＤＩＭＤ融合に用いられる２つの角度モードのうちの１つのみが、ＩＰＦの使用条件を満たす角度モードである場合、前記モード数制約条件が成立しないと確定し、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用条件を満たす前記角度モードに対してＩＰＦを実行することを許可することと、
を含む、
ことを特徴とする請求項４に記載の方法。
【請求項8】
Ｍが２であるとき、前記した、現在のブロックに対して選択されたイントラ予測モードが角度モードを含む場合、現在のブロックに対してＩＰＦを使用する制約条件が成立するか否かを確定し、前記制約条件のうちの少なくとも１つが成立する場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を制約することは、現在のブロックに対してＴＩＭＤ融合モードが選択され、且つ２つの角度モードがＴＩＭＤ融合に用いられる場合、前記モード数制約条件が成立すると確定し、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を許可しないことと、
現在のブロックに対してＴＩＭＤ融合モードが選択されたとともに、ＴＩＭＤ融合に用いられる２つのイントラ予測モードのうちの１つのみが、角度モードであり且つ前記角度モードがＩＰＦの使用条件を満たす場合、前記モード数制約条件が成立しないと確定し、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用条件を満たす前記角度モードに対してＩＰＦを実行することを許可することと、
を含む、
ことを特徴とする請求項４に記載の方法。
【請求項9】
前記ＩＰＦの使用条件を満たす角度モードは、整数傾きの角度モードではない、ことを特徴とする請求項３、５、７または８に記載の方法。
【請求項10】
前記した、現在のブロックに対してイントラ予測を実行する際に１つの角度モードに対してＩＰＦを実行することを許可することは、２つ以上の予測結果の加重和を現在のブロックの最終的な予測結果とすることを含み、前記２つ以上の予測結果が、現在のブロックに対して選択された第１参照ラインと前記角度モードに基づいて現在のブロックを予測することによって得られた予測結果と、前記第１参照ラインと異なる第２参照ラインと前記角度モードに基づいて現在のブロックを予測することによって得られた予測結果とを含む、
ことを特徴とする請求項３、５、７または８に記載の方法。
【請求項11】
前記制約条件は、以下のいずれか１つ以上を含み、即ち、制約条件１：現在のブロックに対してＴＩＭＤ融合モードが選択されること、
制約条件２：現在のブロックに対してＤＩＭＤ融合モードが選択されること、
制約条件３：現在のブロックに対してマルチ参照ライン（ｍｕｌｔｉｐｌｅ ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ、ＭＲＬ）が使用されること、
制約条件４：現在のブロックに対して選択された参照ラインのインデックスがＫ以上であり、Ｋが３以上の整数であること、
制約条件５：現在のブロックの幅が設定値以下であること、
制約条件５：現在のブロックの高さが設定値以下であること、
制約条件７：現在のブロックの幅と高さの積が設定値以下であること、
制約条件８：現在のブロックに対してイントラサブパーティション分割（ｉｎｔｒａ ｓｕｂ－ｐａｒｔｉｔｉｏｎｓ、ＩＳＰ）モードが使用されること、
制約条件９：現在のブロックに対して選択された角度モードの角度が、－４５°、０°、４５°、９０°、１３５°のいずれか１つであり、または、現在のブロックに対して選択された角度モードが、整数傾きの角度モードであること、
制約条件１０：現在のブロックが属する現在のフレームが、インターフレームであること、
制約条件１１：現在のブロックが属する現在の画像が、輝度画像ではないこと、
という条件のいずれか１つ以上を含み、
前記制約条件１～制約条件１１のうちの少なくとも１つが成立する場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を許可しない、
ことを特徴とする請求項１に記載の方法。
【請求項12】
前記制約条件は、制約条件４を含み、Ｋが３、または５、または７、または１２である、ことを特徴とする請求項１１に記載の方法。
【請求項13】
前記方法は、前記制約条件のすべてが成立しない場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用することをさらに含み、前記した、現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用することは、前記現在のブロックに対して選択されたイントラ予測モードが、１つのみであり且つ角度モードである場合、第１予測結果と第２予測結果の加重和を現在のブロックの最終的な予測結果とすることを含み、
前記第１予測結果は、現在のブロックに対して選択された第１参照ラインと現在のブロックに対して選択された第１角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、前記第２予測結果は、第２参照ラインと前記第１角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、前記第２参照ラインは、前記第１参照ラインの隣接ラインまたはインデックスが０である参照ラインである、
ことを特徴とする請求項１に記載の方法。
【請求項14】
前記方法は、前記制約条件のすべてが成立しない場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用することをさらに含み、前記した、現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用することは、前記現在のブロックに対して選択されたイントラ予測モードが融合モードである場合、３つ以上の予測結果の加重和を現在のブロックの最終的な予測結果とすることを含み、
前記３つ以上の予測結果は、現在のブロックに対して選択された第１参照ラインと前記融合モードにおけるイントラ予測モードの各々に基づいて、現在のブロックを予測することによって得られた複数の予測結果と、前記融合モードにおけるＩＰＦが許可される１つまたは複数の角度モードと第２参照ラインに基づいて、現在のブロックを予測することによって得られた１つまたは複数の予測結果とを含み、
前記第２参照ラインは、前記第１参照ラインの隣接ラインまたはインデックスが０である参照ラインである、
ことを特徴とする請求項１に記載の方法。
【請求項15】
前記第１参照ラインのインデックスがＫ以上である場合、前記第２参照ラインは、前記第１参照ラインに隣接し、且つ前記第１参照ラインより現在のブロックに近く、Ｋは１以上の整数である、ことを特徴とする請求項１３または１４に記載の方法。
【請求項16】
前記第１予測結果と前記第２予測結果の加重和を算出する際、前記第１予測結果に与えられる重みは、前記第２予測結果に与えられる重みより大きい、ことを特徴とする請求項１３または１４に記載の方法。
【請求項17】
【請求項18】
前記した、現在のブロックに対して選択されたイントラ予測モードが角度モードを含む場合、現在のブロックに対してイントラ予測融合（ＩＰＦ）を使用する制約条件が成立するか否かを確定し、前記制約条件のすべてが成立しない場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用することは、現在のブロックに対してテンプレートベースのマルチ参照ラインイントラ予測（ｔｅｍｐｌａｔｅ－ｂａｓｅｄ ｍｕｌｔｉｐｌｅ ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ＆ ｉｎｔｒａ＿ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＴＭＲＬ）モードの候補リストにおける１つの拡張参照ラインと１つの角度モードが選択され、且つ前記制約条件のすべてが成立しない場合、前記拡張参照ラインと前記角度モードに基づいて現在のブロックを予測した第１予測結果と、他の参照ラインと前記角度モードに基づいて現在のブロックを予測した第２予測結果とを計算し、前記第１予測結果と前記第２予測結果の加重和を現在のブロックの最終的な予測結果とすることを含み、
前記他の参照ラインは、インデックスが０である参照ラインまたは前記拡張参照ラインの隣接ラインである、
ことを特徴とする請求項１３に記載の方法。
【請求項19】
ビデオデコーディング方法であって、ビットストリームをデコードして、現在のブロックに対して選択された参照ラインとイントラ予測モードを確定することと、
請求項１～１８のいずれか１項に記載のイントラ予測融合方法に基づいて現在のブロックを予測して現在のブロックの予測値を得ることと、
現在のブロックの予測値に基づいて現在のブロックの再構成値を確定することと、
を含む、
ことを特徴とするビデオデコーディング方法。
【請求項20】
ビデオエンコーディング方法であって、モード選択で現在のブロックに対して選択された参照ラインとイントラ予測モードを確定することと、
請求項１～１８のいずれか１項に記載のイントラ予測融合方法に基づいて現在のブロックを予測して現在のブロックの予測値を得ることと、
現在のブロックのオリジナル値と予測値に基づいて、現在のブロックの残差を確定することと、
を含む、
ことを特徴とするビデオエンコーディング方法。
【請求項21】
ビデオデコーディング方法であって、デコーディングにより、現在のブロックに対してテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードが使用されると確定する場合、引き続き現在のブロックのＴＭＲＬモードインデックスとＴＭＲＬ融合フラグをデコードすることと、
現在のブロックに対してＴＭＲＬモードの候補リストを構築し、前記候補リストとＴＭＲＬモードインデックスに基づいて、現在のブロックに対して選択された拡張参照ラインとイントラ予測モードを確定することと、
前記ＴＭＲＬ融合フラグがイントラ予測融合（ＩＰＦ）が使用されることを示す場合、第１予測結果と第２予測結果の加重和を、現在のブロックの最終的な予測結果とすることと、を含み、
前記第１予測結果は、前記拡張参照ラインと前記イントラ予測モードとに基づいて現在のブロックを予測することによって得られ、前記第２予測結果は、他の参照ラインと前記イントラ予測モードに基づいて現在のブロックを予測することによって得られ、このイントラ予測モードは角度モードである、
ことを特徴とするビデオデコーディング方法。
【請求項22】
前記他の参照ラインは、前記拡張参照ラインに隣接し且つ前記拡張参照ラインの内側にある参照ラインであり、または、前記拡張参照ラインに隣接し且つ前記拡張参照ラインの外側にある参照ラインであり、または、インデックスが０である参照ラインである、ことを特徴とする請求項２１に記載の方法。
【請求項23】
前記方法は、前記ＴＭＲＬ融合フラグが、ＩＰＦが使用されないことを示す場合、前記拡張参照ラインと前記イントラ予測モードに基づいて現在のブロックを予測して、現在のブロックの最終的な予測結果を得ることをさらに含む、ことを特徴とする請求項２１に記載の方法。
【請求項24】
前記した、引き続き現在のブロックのＴＭＲＬモードインデックスとＴＭＲＬ融合フラグをデコードすることは、現在のブロックのＴＭＲＬモードインデックスをデコードした後、現在のブロックのサイズが設定条件を満たすか否かを確定し、前記設定条件が満たされた場合、現在のブロックのＴＭＲＬ融合フラグをデコードし、前記設定条件が満たされない場合、現在のブロックのＴＭＲＬ融合フラグのデコーディングをスキップすることを含み、前記設定条件が、以下のいずれか１つ以上を含み、即ち、
現在のブロックの幅が設定値より大きいこと、
現在のブロックの高さが設定値より大きいこと、
現在のブロックの幅と高さの積が設定値より大きいこと、
現在のブロックが属する現在のフレームは、インターフレームではないこと、
という条件のいずれか１つ以上を含む、
ことを特徴とする請求項２１に記載の方法。
【請求項25】
前記した、現在のブロックに対してＴＭＲＬモードの候補リストを構築することは、現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個の組み合わせを取得することであって、Ｎ≧１、Ｍ≧１、Ｎ×Ｍ≧２が満たされた、取得することと、
前記Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、前記テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算することと、
現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに、前記誤差の昇順で前記誤差に対応するＫ個の組み合わせを記入することであって、１≦Ｋ≦Ｎ×Ｍが満たされた、記入することと、を含み、
前記Ｍ個のイントラ予測モードは、角度が－４５°、０°、４５°、９０°、１３５°である角度モード以外の角度モードから選択される、
ことを特徴とする請求項２１に記載の方法。
【請求項26】
【請求項27】
現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストを構築することであって、前記候補リストには、現在のブロックのための、拡張参照ラインとイントラ予測モードの候補組み合わせが記入される、構築することと、レート歪み最適化を通じて、現在のブロックのために、参照ラインとイントラ予測モードの１つの組み合わせを選択することと、
現在のブロックのＴＭＲＬモードのエンコーディング条件が満たされた場合、現在のブロックのＴＭＲＬモードフラグをエンコードすることで現在のブロックに対してＴＭＲＬモードを使用することを示し、現在のブロックのＴＭＲＬモードインデックスをエンコードすることで前記候補リストにおける選択された前記組み合わせの位置を示すことと、
現在のブロックのＴＭＲＬ融合フラグをエンコードして現在のブロックに対してイントラ予測融合（ＩＰＦ）が使用されるか否かを示すことと、
を含むビデオエンコーディング方法であり、
前記エンコーディング条件は、少なくとも、選択された前記組み合わせが前記候補リストにあることを含む、
ことを特徴とするビデオエンコーディング方法。
【請求項28】
前記した、現在のブロックのＴＭＲＬ融合フラグをエンコードして現在のブロックに対してイントラ予測融合（ＩＰＦ）が使用されるか否かを示すことは、前記現在のブロックに対して、前記候補リストにおける、角度モードを含む組み合わせが選択された場合、設定された制約条件のうちの少なくとも１つが成立するとき、現在のブロックのＴＭＲＬ融合フラグをエンコードしてＩＰＦが使用されないことを示し、前記設定された制約条件のすべてが成立しないとき、現在のブロックのＴＭＲＬ融合フラグをエンコードしてＩＰＦが使用されることを示すこと、を含み、
前記設定された制約条件が、以下のいずれか１つ以上をさらに含み、即ち、
現在のブロックに対してＴＩＭＤ融合モードが選択されること、
現在のブロックに対してＤＩＭＤモードが選択されること、
現在のブロックに対して選択された参照ラインのインデックスがＫ以上であり、Ｋが３以上の整数であること、
現在のブロックの幅が設定値以下であること、
現在のブロックの高さが設定値以下であること、
現在のブロックの幅と高さの積が設定値以下であること、
現在のブロックに対してイントラサブパーティション分割（ＩＳＰ）モードが使用されること、
現在のブロックに対して選択された角度モードの角度が、－４５°、０°、４５°、９０°、１３５°のいずれか１つであり、または、現在のブロックに対して選択された角度モードが、整数傾きの角度モードであること、
現在のブロックが属する現在のフレームがインターフレームであること、
現在のブロックが属する現在の画像が色差画像であること、
という条件のいずれか１つ以上をさらに含む、
ことを特徴とする請求項２７に記載の方法。
【請求項29】
現在のブロックのＴＭＲＬモードの候補リストを構築する際にして、組み合わせに参加するイントラ予測モードは、角度が－４５°、０°、４５°、９０°、１３５°である角度モードを含まない、ことを特徴とする請求項２７に記載の方法。
【請求項30】
マルチ参照ライン（ＭＲＬ）イントラ予測モードの候補リストの構築方法であって、現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインと角度モードのＮ×Ｍ個のオリジナルの組み合わせを取得することと、
前記Ｎ×Ｍ個のオリジナルの組み合わせのうちの、予め確定された角度モードを含むオリジナルの組み合わせに基づいて、対応する融合組み合わせを取得することと、
前記Ｎ×Ｍ個のオリジナルの組み合わせと取得された融合組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、前記テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算することと、
現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに、前記誤差の昇順で前記誤差に対応するＫ個の組み合わせを記入することであって、Ｋ、Ｎ、Ｍが設定された正の整数であり、１≦Ｋ≦Ｎ×Ｍが満たされた、記入することと、
を含む、
ことを特徴とするマルチ参照ラインイントラ予測モードの候補リストの構築方法。
【請求項31】
前記した、前記Ｎ×Ｍ個のオリジナルの組み合わせのうちの、予め確定された角度モードを含むオリジナルの組み合わせに基づいて、対応する融合組み合わせを取得することは、予め確定された角度モードを含むオリジナルの組み合わせの各々に基づいて、１つの融合組み合わせを取得することを含み、
前記融合組み合わせに基づいて、現在のブロックに対して予測を実行する際、第１予測結果と第２予測結果の加重和を現在のブロックの予測値とし、前記第１予測結果は、前記オリジナルの組み合わせにおける拡張参照ラインと角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、前記第２予測結果は、第２参照ラインと前記オリジナルの組み合わせにおける角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、前記第２参照ラインは、前記第１参照ラインの隣接ラインまたはインデックスが０である参照ラインであり、
前記予め確定された角度モードはすべての角度モードを含み、または、整数傾きの角度モード以外の角度モードを含む、
ことを特徴とする請求項３０に記載の方法。
【請求項32】
【請求項33】
マルチ参照ライン（ＭＲＬ）イントラ予測モードの候補リストの構築方法であって、現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個のオリジナルの組み合わせを取得することと、
前記Ｎ×Ｍ個のオリジナルの組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、前記テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算することと、
誤差が最も小さいＫ個のオリジナルの組み合わせにおける、予め確定された角度モードを含むオリジナルの組み合わせの各々に対して、融合が必要であるか否かを確定し、融合が必要である場合、前記オリジナルの組み合わせに対応する融合組み合わせを現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに記入し、融合が必要ではない場合、前記オリジナルの組み合わせを前記候補リストに記入することであって、Ｋ、Ｎ、Ｍが設定された正の整数であり、１≦Ｋ≦Ｎ×Ｍが満たされた、記入することと、
を含む、
ことを特徴とするマルチ参照ラインイントラ予測モードの候補リストの構築方法。
【請求項34】
前記した、誤差が最も小さいＫ個のオリジナルの組み合わせにおける、予め確定された角度モードを含むオリジナルの組み合わせの各々に対して、融合が必要であるか否かを確定し、融合が必要である場合、前記オリジナルの組み合わせに対応する融合組み合わせを現在のブロックのＴＭＲＬモードの候補リストに記入することは、前記オリジナルの組み合わせに対応する融合組み合わせに基づいて現在のブロックのテンプレート領域を予測し、前記テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算し、前記オリジナルの組み合わせに対応する誤差が前記融合組み合わせに対応する誤差より大きい場合、融合が必要であると確定し、前記オリジナルの組み合わせに対応する誤差が前記融合組み合わせに対応する誤差以下である場合、融合が必要でないと確定すること、を含み、
前記融合組み合わせに基づいて、現在のブロックに対して予測を実行する場合、第１予測結果と第２予測結果の加重和を現在のブロックの予測値とし、前記第１予測結果は、前記オリジナルの組み合わせにおける拡張参照ラインと角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、前記第２予測結果は、前記オリジナルの組み合わせにおける角度モードと第２参照ラインに基づいて現在のブロックを予測することによって得られた予測結果であり、前記第２参照ラインは、前記第１参照ラインの隣接ラインまたはインデックスが０である参照ラインであり、
前記予め確定された角度モードはすべての角度モードを含み、または、整数傾きの角度モード以外の角度モードを含む、
ことを特徴とする請求項３３に記載の方法。
【請求項35】
【請求項36】
現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個のオリジナルの組み合わせを取得することと、前記Ｎ×Ｍ個のオリジナルの組み合わせに対して融合処理を実行することであって、前記融合処理は、予め確定された角度モードを含むオリジナルの組み合わせの各々に対して、設定条件が満たされた場合、前記オリジナルの組み合わせを対応する融合組み合わせに置き換えることを含む、実行することと、
融合処理を実行したＮ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、前記テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算することと、
現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに、前記誤差の昇順で前記誤差に対応するＫ個の組み合わせを記入することと、
を含むマルチ参照ライン（ＭＲＬ）イントラ予測モードの候補リストの構築方法であり、
Ｋ、Ｎ、Ｍが設定された正の整数であり、１≦Ｋ≦Ｎ×Ｍが満たされ、
前記オリジナルの組み合わせに対応する融合組み合わせに基づいて、現在のブロックに対して予測を実行する場合、第１予測結果と第２予測結果の加重和を現在のブロックの予測値とし、前記第１予測結果は、前記オリジナルの組み合わせにおける拡張参照ラインと角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、前記第２予測結果は、前記オリジナルの組み合わせにおける角度モードと第２参照ラインに基づいて現在のブロックを予測することによって得られた予測結果であり、前記第２参照ラインは、前記第１参照ラインの隣接ラインまたはインデックスが０である参照ラインである、
ことを特徴とするマルチ参照ラインイントラ予測モードの候補リストの構築方法。
【請求項37】
前記設定条件は、現在のブロックのサイズがＮ×Ｍより大きく、ＮとＭは設定された正の整数であること、
現在のブロックに対して選択されたイントラ予測モードが、整数傾きの角度モードではないこと、
前記予め確定された角度モードはすべての角度モードを含み、または、整数傾きの角度モード以外の角度モードを含むこと、
という条件のいずれか１つ以上を含む、
ことを特徴とする請求項３６に記載の方法。
【請求項38】
【請求項39】
ビットストリームであって、前記ビットストリームは請求項２０、２７～２９のいずれか１項に記載のビデオエンコーディング方法によって生成される、
ことを特徴とするビットストリーム。
【請求項40】
イントラ予測融合装置であって、プロセッサと、コンピュータプログラムを記憶したメモリとを含み、
前記プロセッサが前記コンピュータプログラムを実行すると、請求項１～１８のいずれか１項に記載のイントラ予測融合方法を実現することができる、
ことを特徴とするイントラ予測融合装置。
【請求項41】
マルチ参照ライン（ＭＲＬ）イントラ予測モードの候補リストの構築装置であって、プロセッサと、コンピュータプログラムを記憶したメモリとを含み、
前記プロセッサが前記コンピュータプログラムを実行すると、請求項３０～３８のいずれか１項に記載のＭＲＬイントラ予測モードの候補リストの構築方法を実現することができる、
ことを特徴とするマルチ参照ラインイントラ予測モードの候補リストの構築装置。
【請求項42】
ビデオデコーディング装置であって、プロセッサと、コンピュータプログラムを記憶したメモリとを含み、
前記プロセッサが前記コンピュータプログラムを実行すると、請求項１９、２１～２６のいずれか１項に記載のビデオデコーディング方法を実現することができる、
ことを特徴とするビデオデコーディング装置。
【請求項43】
ビデオエンコーディング装置であって、プロセッサと、コンピュータプログラムを記憶したメモリとを含み、
前記プロセッサが前記コンピュータプログラムを実行すると、請求項２０、２７～２９のいずれか１項に記載のビデオエンコーディング方法を実現することができる、
ことを特徴とするビデオエンコーディング装置。
【請求項44】
ビデオコーディングシステムであって、請求項３６に記載のビデオエンコーディング装置と請求項３５に記載のビデオデコーディング装置を含む、
ことを特徴とするビデオコーディングシステム。
【請求項45】
非一時的なコンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体はコンピュータプログラムを記憶しており、前記コンピュータプログラムは、プロセッサによって実行されると、請求項１～１８のいずれか１項に記載のイントラ予測融合方法を実現することができ、又は請求項１９、２１～２６のいずれか１項に記載のビデオデコーディング方法を実現することができ、又は請求項２０、２７～２９のいずれか１項に記載のビデオエンコーディング方法を実現することができ、又は、請求項３０～３８のいずれか１項に記載のマルチ参照ライン（ＭＲＬ）イントラ予測モードの候補リストの構築方法を実現することができる、
ことを特徴とする非一時的なコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の参照
本願は、発明の名称が「候補リストの構築方法、ビデオエンコーディング方法及び装置、ビデオデコーディング方法及び装置、並びにビデオコーディングシステム」とされ、２０２２年７月８日に出願された中国特許出願第２０２２１０８０６４３５．Ｘ号の優先権を主張し、その全ての内容が引用として本願に組み込まれる。
本願は、発明の名称が「候補リストの構築方法、ビデオエンコーディング方法及び装置、ビデオデコーディング方法及び装置、並びにビデオコーディングシステム」とされ、２０２２年７月８日に出願された中国特許出願第２０２２１０８０６４３５．Ｘ号の優先権を主張し、その全ての内容が引用として本願に組み込まれる。
【0002】
本願の実施形態は、ビデオ技術に関するが、これに限定されておらず、より具体的には、イントラ予測融合方法、ビデオエンコーディング方法及び装置、ビデオデコーディング方法及び装置、並びにビデオコーディングシステムに関する。
【背景技術】
【0003】
デジタルビデオ圧縮技術は、主に、巨大なデジタル映像ビデオデータを圧縮してそれの伝送や記憶などを容易にするために使用される。現在、Ｈ．２６６／多用途ビデオコーディング（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）などの一般的なビデオコーディング規格では、ブロックベースの混合コーディングフレームワークが使用されている。ビデオにおける各画像（フレーム）は、同一サイズ（例えば、１２８×１２８、６４×６４など）の正方形の最大コーディングユニット（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ、ＬＣＵ）に分割される。各最大コーディングユニットは、ルールに基づいて、矩形のコーディングユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）に分割されることも可能である。コーディングユニットは、予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ、ＰＵ）、変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ、ＴＵ）などにさらに分割される可能性もある。混合コーディングフレームワークは、予測（ｐｒｅｄｉｃｔｉｏｎ）、変換（ｔｒａｎｓｆｏｒｍ）、量子化（ｑｕａｎｔｉｚａｔｉｏｎ）、エントロピーコーディング（Ｅｎｔｒｏｐｙ Ｃｏｄｉｎｇ）、ループフィルタ（Ｉｎ Ｌｏｏｐ Ｆｉｌｔｅｒ）などのモジュールを含む。予測モジュールは、ビデオの内部の冗長性を削減または除去するためのイントラ予測（Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）及びインター予測（Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ）を含む。イントラブロックに対して、ブロックの周囲のサンプルを参照として予測し、インターブロックに対して、空間上の隣接するブロックの情報や別の画像にある参照情報を参照する。予測信号と比較していうと、残差情報は、ブロックに基づく変換、量子化、エントロピーコーディングにより、ビットストリームに形成される。これらの技術は規格に記載されており、ビデオ圧縮に関連する様々な分野で実施されている。
【0004】
インターネットビデオの激増と、ビデオの解像度に対する要求の高まりに伴い、既存のデジタルビデオ圧縮規格によって多くのビデオデータを節約することができるにもかかわらず、デジタルビデオ伝送の帯域幅とトラフィックの負担を低減するために、より優れたデジタルビデオ圧縮技術を求める必要性が依然として存在する。
【発明の概要】
【0005】
以下の内容は、本明細書で詳細に説明しようとする主題の概要である。この概要は、特許請求の範囲の保護範囲を限定することを意図するものではない。
【0006】
本願の一実施形態は、イントラ予測融合方法を提供する。イントラ予測融合方法は、現在のブロックに対して選択されたイントラ予測モードが角度モードを含む場合、現在のブロックに対してＩＰＦを使用する制約条件が成立するか否かを確定することと、制約条件のうちの少なくとも１つが成立する場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を制約することと、を含む。
【0007】
本願の一実施形態は、ビデオデコーディング方法をさらに提供する。ビデオデコーディング方法は、ビットストリームをデコードして、現在のブロックに対して選択された参照ラインとイントラ予測モードを確定することと、本願のいずれか１つの実施形態に記載のイントラ予測融合方法に基づいて現在のブロックを予測して現在のブロックの予測値を得ることと、現在のブロックの予測値に基づいて現在のブロックの再構成値を確定することと、を含む。
【0008】
本願の一実施形態は、ビデオエンコーディング方法をさらに提供する。ビデオエンコーディング方法は、モード選択で現在のブロックに対して選択された参照ラインとイントラ予測モードを確定することと、本願のいずれか１つの実施形態に記載のイントラ予測融合方法に基づいて現在のブロックを予測して現在のブロックの予測値を得ることと、現在のブロックのオリジナル値と予測値に基づいて、現在のブロックの残差を確定することと、を含む。
【0009】
本願の一実施形態は、ビデオエンコーディング方法をさらに提供する。ビデオエンコーディング方法は、
デコーディングにより、現在のブロックに対してテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードが使用されると確定する場合、引き続き現在のブロックのＴＭＲＬモードインデックスとＴＭＲＬ融合フラグをデコードすることと、
現在のブロックに対してＴＭＲＬモードの候補リストを構築し、候補リストとＴＭＲＬモードインデックスに基づいて、現在のブロックに対して選択された拡張参照ラインとイントラ予測モードを確定することと、
ＴＭＲＬ融合フラグがイントラ予測融合（ＩＰＦ）が使用されることを示す場合、第１予測結果と第２予測結果の加重和を、現在のブロックの最終的な予測結果とすることと、を含み、
第１予測結果は、拡張参照ラインとイントラ予測モードとに基づいて現在のブロックを予測することによって得られ、第２予測結果は、他の参照ラインとイントラ予測モードに基づいて現在のブロックを予測することによって得られ、このイントラ予測モードは角度モードである。
デコーディングにより、現在のブロックに対してテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードが使用されると確定する場合、引き続き現在のブロックのＴＭＲＬモードインデックスとＴＭＲＬ融合フラグをデコードすることと、
現在のブロックに対してＴＭＲＬモードの候補リストを構築し、候補リストとＴＭＲＬモードインデックスに基づいて、現在のブロックに対して選択された拡張参照ラインとイントラ予測モードを確定することと、
ＴＭＲＬ融合フラグがイントラ予測融合（ＩＰＦ）が使用されることを示す場合、第１予測結果と第２予測結果の加重和を、現在のブロックの最終的な予測結果とすることと、を含み、
第１予測結果は、拡張参照ラインとイントラ予測モードとに基づいて現在のブロックを予測することによって得られ、第２予測結果は、他の参照ラインとイントラ予測モードに基づいて現在のブロックを予測することによって得られ、このイントラ予測モードは角度モードである。
【0010】
本願の一実施形態は、ビデオエンコーディング方法をさらに提供する。ビデオエンコーディング方法は、
現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストを構築することであって、候補リストには、現在のブロックのための、拡張参照ラインとイントラ予測モードの候補組み合わせが記入される、構築することと、
レート歪み最適化を通じて、現在のブロックのために、参照ラインとイントラ予測モードの１つの組み合わせを選択することと、
現在のブロックのＴＭＲＬモードのエンコーディング条件が満たされた場合、現在のブロックのＴＭＲＬモードフラグをエンコードすることで現在のブロックに対してＴＭＲＬモードを使用することを示し、現在のブロックのＴＭＲＬモードインデックスをエンコードすることで候補リストにおける選択された組み合わせの位置を示すことと、
現在のブロックのＴＭＲＬ融合フラグをエンコードして現在のブロックに対してイントラ予測融合（ＩＰＦ）が使用されるか否かを示すことと、を含む。
エンコーディング条件は、少なくとも、選択された組み合わせが候補リストにあることを含む。
現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストを構築することであって、候補リストには、現在のブロックのための、拡張参照ラインとイントラ予測モードの候補組み合わせが記入される、構築することと、
レート歪み最適化を通じて、現在のブロックのために、参照ラインとイントラ予測モードの１つの組み合わせを選択することと、
現在のブロックのＴＭＲＬモードのエンコーディング条件が満たされた場合、現在のブロックのＴＭＲＬモードフラグをエンコードすることで現在のブロックに対してＴＭＲＬモードを使用することを示し、現在のブロックのＴＭＲＬモードインデックスをエンコードすることで候補リストにおける選択された組み合わせの位置を示すことと、
現在のブロックのＴＭＲＬ融合フラグをエンコードして現在のブロックに対してイントラ予測融合（ＩＰＦ）が使用されるか否かを示すことと、を含む。
エンコーディング条件は、少なくとも、選択された組み合わせが候補リストにあることを含む。
【0011】
本願の一実施形態は、マルチ参照ライン（ＭＲＬ）イントラ予測モードの候補リストの構築方法をさらに提供する。ＭＲＬイントラ予測モードの候補リストの構築方法は、
現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインと角度モードのＮ×Ｍ個のオリジナルの組み合わせを取得することと、
Ｎ×Ｍ個のオリジナルの組み合わせのうちの、予め確定された角度モードを含むオリジナルの組み合わせに基づいて、対応する融合組み合わせを取得することと、
Ｎ×Ｍ個のオリジナルの組み合わせと取得された融合組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算することと、
現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入することであって、Ｋ、Ｎ、Ｍが設定された正の整数であり、１≦Ｋ≦Ｎ×Ｍが満たされた、記入することと、を含む。
現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインと角度モードのＮ×Ｍ個のオリジナルの組み合わせを取得することと、
Ｎ×Ｍ個のオリジナルの組み合わせのうちの、予め確定された角度モードを含むオリジナルの組み合わせに基づいて、対応する融合組み合わせを取得することと、
Ｎ×Ｍ個のオリジナルの組み合わせと取得された融合組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算することと、
現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入することであって、Ｋ、Ｎ、Ｍが設定された正の整数であり、１≦Ｋ≦Ｎ×Ｍが満たされた、記入することと、を含む。
【0012】
本願の一実施形態は、マルチ参照ライン（ＭＲＬ）イントラ予測モードの候補リストの構築方法をさらに提供する。ＭＲＬイントラ予測モードの候補リストの構築方法は、
現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個のオリジナルの組み合わせを取得することと、
Ｎ×Ｍ個のオリジナルの組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算することと、
誤差が最も小さいＫ個のオリジナルの組み合わせにおける、予め確定された角度モードを含むオリジナルの組み合わせの各々に対して、融合が必要であるか否かを確定し、融合が必要である場合、オリジナルの組み合わせに対応する融合組み合わせを現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに記入し、融合が必要ではない場合、オリジナルの組み合わせを候補リストに記入することであって、Ｋ、Ｎ、Ｍが設定された正の整数であり、１≦Ｋ≦Ｎ×Ｍが満たされた、記入することと、を含む。
現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個のオリジナルの組み合わせを取得することと、
Ｎ×Ｍ個のオリジナルの組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算することと、
誤差が最も小さいＫ個のオリジナルの組み合わせにおける、予め確定された角度モードを含むオリジナルの組み合わせの各々に対して、融合が必要であるか否かを確定し、融合が必要である場合、オリジナルの組み合わせに対応する融合組み合わせを現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに記入し、融合が必要ではない場合、オリジナルの組み合わせを候補リストに記入することであって、Ｋ、Ｎ、Ｍが設定された正の整数であり、１≦Ｋ≦Ｎ×Ｍが満たされた、記入することと、を含む。
【0013】
本願の一実施形態は、マルチ参照ライン（ＭＲＬ）イントラ予測モードの候補リストの構築方法をさらに提供する。ＭＲＬイントラ予測モードの候補リストの構築方法は、
現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個のオリジナルの組み合わせを取得することと、
Ｎ×Ｍ個のオリジナルの組み合わせに対して融合処理を実行することであって、融合処理は、予め確定された角度モードを含むオリジナルの組み合わせの各々に対して、設定条件が満たされた場合、オリジナルの組み合わせを対応する融合組み合わせに置き換えることを含む、実行することと、
融合処理を実行したＮ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算することと、
現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入することと、を含む。
Ｋ、Ｎ、Ｍが設定された正の整数であり、１≦Ｋ≦Ｎ×Ｍが満たされ、
オリジナルの組み合わせに対応する融合組み合わせに基づいて、現在のブロックに対して予測を実行する場合、第１予測結果と第２予測結果の加重和を現在のブロックの予測値とし、第１予測結果は、オリジナルの組み合わせにおける拡張参照ラインと角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、第２予測結果は、オリジナルの組み合わせにおける角度モードと第２参照ラインに基づいて現在のブロックを予測することによって得られた予測結果であり、第２参照ラインは、第１参照ラインの隣接ラインまたはインデックスが０である参照ラインである。
現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個のオリジナルの組み合わせを取得することと、
Ｎ×Ｍ個のオリジナルの組み合わせに対して融合処理を実行することであって、融合処理は、予め確定された角度モードを含むオリジナルの組み合わせの各々に対して、設定条件が満たされた場合、オリジナルの組み合わせを対応する融合組み合わせに置き換えることを含む、実行することと、
融合処理を実行したＮ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算することと、
現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入することと、を含む。
Ｋ、Ｎ、Ｍが設定された正の整数であり、１≦Ｋ≦Ｎ×Ｍが満たされ、
オリジナルの組み合わせに対応する融合組み合わせに基づいて、現在のブロックに対して予測を実行する場合、第１予測結果と第２予測結果の加重和を現在のブロックの予測値とし、第１予測結果は、オリジナルの組み合わせにおける拡張参照ラインと角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、第２予測結果は、オリジナルの組み合わせにおける角度モードと第２参照ラインに基づいて現在のブロックを予測することによって得られた予測結果であり、第２参照ラインは、第１参照ラインの隣接ラインまたはインデックスが０である参照ラインである。
【0014】
本願の一実施形態は、ビットストリームをさらに提供する。ビットストリームは、本願のいずれか１つの実施形態に記載のビデオエンコーディング方法によって生成される。
【0015】
本願の一実施形態は、イントラ予測融合装置をさらに提供する。イントラ予測融合装置は、プロセッサと、コンピュータプログラムを記憶したメモリとを含む。プロセッサがコンピュータプログラムを実行すると、本願のいずれか１つの実施形態に記載のイントラ予測融合方法を実現することができる。
【0016】
本願の一実施形態は、マルチ参照ラインイントラ予測モードの候補リストの構築装置をさらに提供する。マルチ参照ラインイントラ予測モードの候補リストの構築装置は、プロセッサと、コンピュータプログラムを記憶したメモリとを備える。プロセッサがコンピュータプログラムを実行すると、本願のいずれか１つの実施形態に記載のマルチ参照ラインイントラ予測モードの候補リストの構築方法を実現することができる。
【0017】
本願の一実施形態は、ビデオデコーディング装置をさらに提供する。ビデオデコーディング装置は、プロセッサと、コンピュータプログラムを記憶したメモリとを備える。プロセッサがコンピュータプログラムを実行すると、本願のいずれか１つの実施形態に記載のビデオデコーディング方法を実現することができる。
【0018】
本願の一実施形態は、ビデオエンコーディング装置をさらに提供する。ビデオエンコーディング装置は、プロセッサと、コンピュータプログラムを記憶したメモリとを備える。プロセッサがコンピュータプログラムを実行すると、本願のいずれか１つの実施形態に記載のビデオエンコーディング方法を実現することができる。
【0019】
本願の一実施形態は、ビデオコーディングシステムをさらに提供する。ビデオコーディングシステムは、本願のいずれか１つの実施形態に記載のビデオエンコーディング装置と、本願のいずれか１つの実施形態に記載のビデオデコーディング装置を含む。
【0020】
本願の一実施形態は、非一時的なコンピュータ可読記憶媒体をさらに提供する。コンピュータ可読記憶媒体はコンピュータプログラムを記憶しており、コンピュータプログラムは、プロセッサによって実行されると、本願のいずれか１つの実施形態に記載のイントラ予測融合方法を実現することができ、又は本願のいずれか１つの実施形態に記載のマルチ参照ラインイントラ予測モードの候補リストの構築方法を実現することができ、又は本願のいずれか１つの実施形態に記載のビデオデコーディング方法を実現することができ、又は本願のいずれか１つの実施形態に記載のビデオエンコーディング方法を実現することができる。
【0021】
図面及び詳細な説明を読み通して理解した後、他の方面を理解することができる。
【図面の簡単な説明】
【0022】
図面は、本願の実施形態を理解するために提供され、明細書の一部を構成し、本願の実施形態とともに本願の技術案を説明するために用いられ、本願の技術案の限定を構成するものではない。
【図1A】本願の一実施形態に係るコーディングシステムを示す概略図である。
【図1B】本願の一実施形態に係るエンコーディング側のフレームワークを示す図である。
【図1C】本願の一実施形態に係るデコーディング側のフレームワークを示す図である。
【図2】本願の一実施形態に係るイントラ予測モードを示す概略図である。
【図3】本願の一実施形態に係る現在のブロックの隣接するイントラ予測ブロックを示す概略図である。
【図4】本願の一実施形態に係る現在のブロックのテンプレート及びテンプレート参照領域を示す概略図である。
【図5】本願の一実施形態に係る現在のブロックの周囲にある複数の参照ラインを示す概略図である。
【図6】本願の一実施形態に係るビデオエンコーディング方法を示すフローチャートである。
【図7】本願の一実施形態に係るＴＭＲＬモードの候補リストの構築方法を示すフローチャートである。
【図8A】本願の一実施形態に係る現在のブロックの周囲にあるテンプレート領域及び拡張参照ラインを示す概略図である。
【図8B】本願の別の実施形態に係る現在のブロックの周囲にあるテンプレート領域及び拡張参照ラインを示す概略図である。
【図9】本願の一実施形態に係るビデオデコーディング方法を示すフローチャートである。
【図10】本願の一実施形態に係るイントラ予測融合方法を示すフローチャートである。
【図11】本願の別の実施形態に係るビデオエンコーディング方法を示すフローチャートである。
【図12】本願の別の実施形態に係るビデオデコーディング方法を示すフローチャートである。
【図13】本願の別の実施形態に係るビデオデコーディング方法を示すフローチャートである。
【図14】本願の一実施形態に係るＴＭＲＬモードの候補リストの構築方法を示すフローチャートである。
【図15】本願の別の実施形態に係るＴＭＲＬモードの候補リストの構築方法を示すフローチャートである。
【図16】本願のさらに別の実施形態に係るＴＭＲＬモードの候補リストの構築方法を示すフローチャートである。
【図17】本願の一実施形態に係るＴＭＲＬモードの候補リストの構築装置を示す概略図である。
【図18】本願の別の実施形態に係るビデオエンコーディング方法を示すフローチャートである。
【発明を実施するための形態】
【0023】
本願では、複数の実施形態を説明するが、その説明は例示的なものであり、限定的なものではない。また、本願に記載される実施形態に含まれる範囲内で、より多くの実施例及び実施形態が得られることは、本分野の当業者にとって明らかである。
【0024】
本願の説明において、「例示的な」又は「例えば」などの用語は、「例として、例証、説明」を意味する。本願において、「例示的に」又は「例えば」で説明されるいかなる実施形態は他の実施形態より優れていると解釈されるべきではない。本明細書における用語「及び／又は」は関連対象の関連関係を説明するものであり、３種類の関係が存在することを示す。例えば、Ａ及び／又はＢの場合、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在することという３つの状況を示す。「複数」は２つ以上のことをいう。また、本願の実施形態の技術案を明確に説明するために、「第１」、「第２」などの用語で、機能や役割がほぼ同じである同一又は類似のものを区別する。当業者は以下のことを理解できる。「第１」、「第２」などの用語は、数や実行順序を限定するものではなく、且つ「第１」、「第２」などの用語は、必ず異なること、を限定するものではない。
【0025】
代表的な例示的実施形態の説明において、本明細書では、方法及び／又はプロセスを、特定のステップのシーケンスとして提示している可能性がある。しかしながら、当該方法又はプロセスは本明細書に記載されるステップの特定のシーケンスに依存せず、当該方法又はプロセスは、記載される特定のシーケンスのステップに限定されるべきではない。当業者に理解されるように、他のステップの順序も可能である。従って、明細書に記載されるステップの特定の順序は、特許請求の範囲の限定として解釈されるべきではない。さらに、方法及び／又はプロセスに対応する請求項に対しては、記載される順序でステップを実行することに限定されるべきではない。当業者であれば、これらの順序が変化してもよく、変化しても依然として本願の実施形態の精神及び範囲内に属することを容易に理解できる。
【0026】
本願の実施形態に係る局所照明補償（Ｌｏｃａｌ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ、ＬＩＣ）方法、ビデオコーディング方法は、様々なビデオコーディング規格に適用されることができる。例として、Ｈ．２６４／アドバンスドビデオコーディング（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＡＶＣ）、Ｈ．２６５／高効率ビデオコーディング（ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ、ＨＥＶＣ）、Ｈ．２６６／多用途ビデオコーディング（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）、オーディオビデオコーディング規格（ａｕｄｉｏ ｖｉｄｅｏ Ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ、ＡＶＳ）、動画像専門家グループ（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ、ＭＰＥＧ）、ＡＯＭ（Ａｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ）、ＪＶＥＴ（ｊｏｉｎｔ ｖｉｄｅｏ Ｅｘｐｅｒｔｓ ｔｅａｍ）によって作成された規格、及びこれらの規格の拡張、又はカスタマイズされた他の任意の規格などが挙げられる。
【0027】
図１Ａは、本願の実施形態に使用され得るビデオコーディングシステムを示すブロック図である。図に示されるように、当該システムは、エンコーディング側装置１とデコーディング側装置２とに分けられる。エンコーディング側装置１は、ビットストリームを生成する。デコーディング側装置２は、ビットストリームをデコードすることができる。デコーディング側装置２は、リンク３を介してエンコーディング側装置１からビットストリームを受信することができる。リンク３は、ビットストリームをエンコーディング側装置１からデコーディング側装置２へ移動させることができる１つ又は複数の媒体又は装置を含む。一例では、リンク３は、エンコーディング側装置１がビットストリームをデコーディング側装置２に直接に送信することを可能にする１つ又は複数の通信媒体を含む。エンコーディング側装置１は、通信規格（例えば、無線通信プロトコル）に従ってビットストリームを変調し、変調されたビットストリームをデコーディング側装置２に送信することができる。上記１つ又は複数の通信媒体は、無線通信媒体及び／又は有線通信媒体を含むことができ、パケットネットワークの一部を形成することができる。別の例では、ビットストリームは、出力インターフェース１５から記憶装置に出力されることもできる。デコーディング側装置２はストリーミング（ｓｔｒｅａｍｉｎｇ）又はダウンロードを介して、当該記憶装置から記憶されたデータを読み出すことができる。
【0028】
図１Ａに示されるように、エンコーディング側装置１は、データソース１１、ビデオエンコーディング装置１３、及び出力インターフェース１５を含む。データソース１１は、ビデオキャプチャ装置（例えば、カメラ）、以前にキャプチャされたデータを含むアーカイブ（ａｒｃｈｉｖｅ）、コンテンツプロバイダからデータを受信するためのフィードインターフェース、データを生成するためのコンピュータグラフィックスシステム、又はこれらのソースの組み合わせを含む。ビデオエンコーディング装置１３は、データソース１１からのデータをエンコードして出力インターフェース１５に出力することができる。出力インターフェース１５は、調整器、モデム、及び送信器のうちの少なくとも１つを含むことができる。デコーディング側装置２は、入力インターフェース２１、ビデオデコーディング装置２３、及び表示装置２５を含む。入力インターフェース２１は、受信機及びモデムのうちの少なくとも１つを含む。入力インターフェース２１は、リンク３を介して、又は記憶装置からビットストリームを受信することができる。ビデオデコーディング装置２３は受信したビットストリームをデコードする。表示装置２５は、デコードされたデータを表示するために用いられる。表示装置２５は、デコーディング側装置２の他のコンポーネントと一体化されてもよく、別個に設けられてもよい。デコーディング側は、表示装置２５を含まなくてもよい。他の例では、デコーディング側は、デコードされたデータが適用可能な他の装置又は機器を含んでもよい。
【0029】
図１Ａに示すビデオコーディングシステムに基づいて、様々なビデオコーディング方法を用いてビデオ圧縮と解凍を実現することができる。
【0030】
図１Ｂは、本願の実施形態に使用され得る例示的なビデオエンコーディング装置のブロック図である。図に示すように、当該ビデオエンコーディング装置１０００は、予測ユニット１１００と、分割ユニット１１０１と、残差生成ユニット１１０２（図において分割ユニット１１０１に次ぐ＋付きの円で示す）と、変換処理ユニット１１０４と、量子化ユニット１１０６と、逆量子化ユニット１１０８と、逆変換処理ユニット１１１０と、再構成ユニット１１１２（図において逆変換処理ユニット１１１０に次ぐ＋付きの円で示す）と、フィルタユニット１１１３と、デコードされた画像のバッファ１１１４と、エントロピーエンコーディングユニット１１１５とを含む。予測ユニット１１００は、インター予測ユニット１１２１と、イントラ予測ユニット１１２６とを含む。デコードされた画像のバッファ１１１４は、デコード済みの画像のバッファ、デコーディング画像のバッファ、デコードされた画像のためのバッファなどと呼ばれてもよい。ビデオエンコーダー２０はまた、この例と比べてより多い、より少ない、又は異なる機能コンポーネントを含んでもよい。例えば、いくつかの場合では、変換処理ユニット１１０４、逆変換処理ユニット１１１０などを含まなくてもよい。
【0031】
分割ユニット１１０１は、予測ユニット１１００と協働して、受信したビデオデータをスライス（Ｓｌｉｃｅ）、コーディングツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、ＣＴＵ）、又は他の比較的大きなユニットに分割する。分割ユニット１１０１によって受信されるビデオデータは、Ｉフレーム、ＰフレームやＢフレームなどのビデオフレームを含むビデオシーケンスであってもよい。
【0032】
予測ユニット１１００は、ＣＴＵをコーディングユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）に分割し、ＣＵに対してイントラ予測コーディング又はインター予測コーディングを行うことができる。ＣＵに対してイントラ予測とインター予測を行う場合、ＣＵを１つ又は複数の予測ユニット（ＰＵ）に分割することができる。
【0033】
インター予測ユニット１１２１は、ＰＵに対してインター予測を行って、ＰＵの予測データを生成することができる。当該予測データは、ＰＵの予測ブロック、ＰＵの動き情報、及び様々なシンタックスエレメントを含む。インター予測ユニット１１２１は、動き推定（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ、ＭＥ）ユニット及び動き補償（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ、ＭＣ）ユニットを含むことができる。動き推定ユニットは、動きベクトルを生成するために動き推定に用いられることができ、動き補償ユニットは、動きベクトルに基づいて予測ブロックを取得し又は生成するために用いられることができる。
【0034】
イントラ予測ユニット１１２６は、ＰＵに対してイントラ予測を行って、ＰＵの予測データを生成することができる。当該ＰＵの予測データは、ＰＵの予測ブロック及び様々なシンタックスエレメントを含むことができる。
【0035】
残差生成ユニット１１０２は、ＣＵのオリジナルブロックから、ＣＵを分割することで得られたＰＵの予測ブロックを減算して、ＣＵの残差ブロックを生成することができる。
【0036】
変換処理ユニット１１０４は、ＣＵを１つ又は複数の変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ、ＴＵ）に分割することができる。予測ユニットの分割と変換ユニットの分割は異なってもよい。ＴＵに関連する残差ブロックは、ＣＵの残差ブロックを分割することによって得られるサブブロックである。ＴＵに関連する残差ブロックに１つ又は複数の変換を適用することによって、ＴＵに関連する係数ブロックが生成される。
【0037】
量子化ユニット１１０６は、選択された量子化パラメータ（Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ、ＱＰ）に基づいて、係数ブロック内の係数を量子化することができる。係数ブロックへの量子化の度合いは、ＱＰを調整することによって調整されることができる。
【0038】
逆量子化ユニット１１０８及び逆変換処理ユニット１１１０は、係数ブロックに逆量子化及び逆変換をそれぞれ適用して、ＴＵに関連する再構成残差ブロックを得ることができる。
【0039】
再構成ユニット１１１２は、再構成残差ブロックと予測ユニット１１００によって生成された予測ブロックとを加算することによって、再構成画像を生成することができる。
【0040】
フィルタユニット１１１３は、再構成画像に対してインループフィルタリングを行って、フィルタリングされた再構成画像を参照画像としてデコードされた画像のバッファ１１１４に記憶する。イントラ予測ユニット１１２６は、デコードされた画像のバッファ１１１４からＰＵに隣接するブロックの参照画像を抽出して、イントラ予測を行うことができる。インター予測ユニット１１２１は、デコードされた画像のバッファ１１１４にキャッシュされた１フレーム前の参照画像を利用して、現在画像のＰＵに対してインター予測を行うことができる。
【0041】
エントロピーエンコーディングユニット１１１５は、受信したデータ（例えば、シンタックスエレメント、量子化された係数ブロック、動き情報など）に対してエントロピーエンコーディング操作を行う。
【0042】
図１Ｃは、本願の実施形態に使用され得る例示的なビデオデコーディング装置のブロック図である。図に示すように、ビデオデコーディング装置１０１は、エントロピーデコーディングユニット１５０と、予測ユニット１５２と、逆量子化ユニット１５４と、逆変換処理ユニット１５６と、再構成ユニット１５８（図において逆変換処理ユニット１５５に次ぐ＋付きの円で示す）と、フィルタユニット１５９と、デコードされた画像のバッファ１６０とを含む。他の実施形態では、ビデオデコーダー３０は、より多い、より少ない、又は異なる機能コンポーネントを含んでもよい。例えば、いくつかの場合では、逆変換処理ユニット１５５などを含まなくてもよい。
【0043】
エントロピーデコーディングユニット１５０は、受信したビットストリームに対してエントロピーデコーディングを行って、シンタックスエレメント、量子化された係数ブロック及びＰＵの動き情報などの情報を抽出することができる。予測ユニット１５２、逆量子化ユニット１５４、逆変換処理ユニット１５６、再構成ユニット１５８、及びフィルタユニット１５９はいずれも、ビットストリームから抽出されたシンタックスエレメントに基づいて、対応する操作を実行することができる。
【0044】
逆量子化ユニット１５４は、量子化されたＴＵに関連する係数ブロックを逆量子化することができる。
【0045】
逆変換処理ユニット１５６は、ＴＵの再構成残差ブロックを生成するために、逆量子化された係数ブロックに１つ又は複数の逆変換を適用することができる。
【0046】
予測ユニット１５２は、インター予測ユニット１６２と、イントラ予測ユニット１６４とを含む。イントラ予測コーディングがＰＵに用いられる場合、イントラ予測ユニット１６４は、ビットストリームからデコードされたシンタックスエレメントに基づいて、ＰＵのイントラ予測モードを確定し、確定されたイントラ予測モードと、デコードされた画像のバッファ１６０から取得されたＰＵに隣接する再構成された参照情報とに基づいて、イントラ予測を実行して、ＰＵの予測ブロックを生成することができる。インター予測コーディングがＰＵに用いられる場合、インター予測ユニット１６２は、ＰＵの動き情報及び対応するシンタックスエレメントに基づいてＰＵの１つ又は複数の参照ブロックを確定し、デコードされた画像のバッファ１６０から取得された参照ブロックに基づいてＰＵの予測ブロックを生成することができる。
【0047】
再構成ユニット１５８は、ＴＵに関連する再構成残差ブロックと、予測ユニット１５２によって生成されたＰＵの予測ブロックとに基づいて、再構成画像を得ることができる。
【0048】
フィルタユニット１５９は、再構成画像に対してインループフィルタリングを実行することができる。プフィルタリングされた再構成画像が、デコードされた画像のバッファ１６０に記憶される。デコードされた画像のバッファ１６０は、後続の動き補償、イントラ予測、インター予測などに用いられる参照画像を提供することができ、また、プフィルタリングされた再構成画像をデコードされたビデオデータとして出力し、表示装置で表示することもできる。
【0049】
上記ビデオエンコーディング装置及びビデオデコーディング装置に基づいて、以下の基本的なコーディングの流れが実行されることができる。エンコーディング側では、１つの画像をブロックに分割し、現在のブロックに対して、イントラ予測もしくはインター予測を行うことにより又は他のアルゴリズムで、現在のブロックの予測ブロックを生成し、現在のブロックのオリジナルブロックから予測ブロックを減算して残差ブロックを取得し、残差ブロックを変換・量子化して量子化係数を取得し、量子化係数をエントロピーコーディングしてビットストリームを生成する。デコーディング側では、現在のブロックに対してイントラ予測又はインター予測を行うことにより現在のブロックの予測ブロックを生成し、一方、ビットストリームをデコードして得られた量子化係数を逆量子化・逆変換して残差ブロックを取得し、予測ブロックと残差ブロックとを加算して再構成ブロックを取得する。再構成ブロックは再構成画像を形成する。画像又はブロックに基づいて再構成画像をインループフィルタリングしてデコードされた画像を取得する。エンコーディング側でも、デコードされた画像を取得するために、デコーディング側と類似の処理を行う。エンコーディング側で取得した、デコードされた画像は通常、再構成画像とも呼ばれる。デコードされた画像は後続の画像に対するインター予測のための参照画像とされることができる。エンコーディング側で確定されたブロック分割情報、予測、変換、量子化、エントロピーコーディング、インループフィルタリングなどのモード情報とパラメータ情報などは、必要に応じてビットストリームに書き込まれる。デコーディング側は、ビットストリームをデコードし又は既存情報を分析して、エンコーディング側と同じブロック分割情報、予測、変換、量子化、エントロピーコーディング、インループフィルタリングなどのモード情報とパラメータ情報を確定する。それによって、エンコーディング側で取得されたデコードされた画像とデコーディング側で取得されたデコードされた画像とが同じであることが確保される。
【0050】
上記はプロックに基づいた混合コーディングフレームワークの例であるが、本願の実施形態はそれに限定されない。技術の発展に伴って、当該フレームワーク内の１つ又は複数のモジュール、及び当該プロセス内の１つ又は複数のステップを置き換えたり最適化したりすることができる。
【0051】
本明細書では、現在のブロック（ｃｕｒｒｅｎｔ ｂｌｏｃｋ）は、現在の画像における現在のコーディングユニット（ｃｕｒｒｅｎｔ ＣＵ）、現在の予測ユニット（ｃｕｒｒｅｎｔ ＰＵ）などのようなブロックレベルのコーディングユニットであることができる。
【0052】
エンコーディング側では、イントラ予測において、通常、様々な角度モードと非角度モードを通じて現在のブロックを予測して予測ブロックを得る。予測ブロックとオリジナルブロックから算出されたレート歪み情報に基づいて、現在のブロックのために最適なイントラ予測モードを選択し、このイントラ予測モードをエンコードしてビットストリームを通じてデコーディング側に伝送する。デコーディング側では、デコードすることで現在のブロックのために選択されたイントラ予測モードを取得し、このイントラ予測モードに従って現在のブロックのイントラ予測を行う。本明細書では、現在のブロックのために選択された参照ラインとイントラ予測モードは、現在のブロックに対して選択された参照ラインとイントラ予測モードとも記載される。
【0053】
ＶＶＣとＥＣＭにおいて、複数種類の従来のイントラ予測モードは、現在のブロックの周辺にある再構成された情報を用いて現在のブロックを予測する。平面モード（すなわち、Ｐｌａｎａｒモード、モードインデックスが０）、平均値モード（すなわち、ＤＣモード、モードインデックスが１）、及び６５個の角度予測モード（モードインデックスが２～６６）を含む。図２は、モードインデックスが２～６６の角度モードの角度方向を示す。本文では、角度予測モードを角度モードとも略称する。
【0054】
ＶＶＣには長方形の予測ブロックが導入されているため、長方形のブロックについては、インデックスが２～６６の角度モードのうち、いくつかの角度モードの角度方向が、より広い角度方向に置き換えられることができる。図示するように、インデックスが－１４～－１、６７～８０の角度モードは、広角度置換によって得られる角度モードである。これらの角度モードの選択は、フラグで表わす必要はなく、現在のブロックの形状と現在のブロックのために選択された予測モードのインデックス（２～６６）との対応関係によって得られる。
【0055】
ＶＶＣ規格において、広角度の置き換え方は、以下の通りである。
【0056】
変数whRatioは、Abs( Log2( blockWidth ) - Log2( blockHeight ) )である。
非正方形の予測ブロックについて、角度予測モードpredModeIntra (2~66)に対して、以下の条件が満たされるか否かに基づいて広角度置換をする。predModeIntraはインデックスで示される。
次の３つの条件がいずれも満たされた場合、predModeIntraは( predModeIntra + 65 )に等しい。
現在のブロックの幅は高さより大きい。
角度モードインデックスは２以上である。
角度モードインデックスは、( whRatio > 1 ) ? ( 8 + 2 * whRatio ) : 8未満である。
そうでなければ、次の３つの条件がいずれも満たされた場合、predModeIntraは（( predModeIntra - 67 )に等しい。
現在のブロックの高さは幅よりも大きい。
角度モードインデックスは６６以下である。
角度モードインデックスは、( whRatio > 1 ) ? ( 60 - 2 * whRatio ) : 60より大きい。
広角度モードのマッチングが完了すると、角度予測モードpredModeIntra (-14~80)毎に１つの角度値intraPredAngleが存在する。
非正方形の予測ブロックについて、角度予測モードpredModeIntra (2~66)に対して、以下の条件が満たされるか否かに基づいて広角度置換をする。predModeIntraはインデックスで示される。
次の３つの条件がいずれも満たされた場合、predModeIntraは( predModeIntra + 65 )に等しい。
現在のブロックの幅は高さより大きい。
角度モードインデックスは２以上である。
角度モードインデックスは、( whRatio > 1 ) ? ( 8 + 2 * whRatio ) : 8未満である。
そうでなければ、次の３つの条件がいずれも満たされた場合、predModeIntraは（( predModeIntra - 67 )に等しい。
現在のブロックの高さは幅よりも大きい。
角度モードインデックスは６６以下である。
角度モードインデックスは、( whRatio > 1 ) ? ( 60 - 2 * whRatio ) : 60より大きい。
広角度モードのマッチングが完了すると、角度予測モードpredModeIntra (-14~80)毎に１つの角度値intraPredAngleが存在する。
【0057】
【表1】
【0058】
角度モードの角度値は、後続の角度予測に用いられる。
【0059】
【0060】
本明細書でいうイントラ予測モードとは、他の限定が無い場合には、Ｐ１ａｎａｒモード、ＤＣモード及び角度モードを含む従来のイントラ予測モードのことをいう。
【0061】
現在のブロックのイントラ予測モードを直接にエンコードすると、６７種類のモードをエンコードするために７ｂｉｔが必要となり、データ量が大きい。統計的特性から、現在のブロックに近いほど、このサンプル領域に対して選択されるイントラ予測モードと現在のブロックに対して選択されるイントラ予測モードが同じである傾向が高くなる。この特性に基づいて、ＨＥＶＣ、ＶＶＣ、及び強化された圧縮モデル（Ｅｎｈａｎｃｅｄ Ｃｏｍｐｒｅｓｓｉｏｎ Ｍｏｄｅｌ、ＥＣＭ）では、最確モード（Ｍｏｓｔ ｐｒｏｂａｂｌｅ Ｍｏｄｅ、ＭＰＭ）技術が採用されている。ＥＣＭは、ＶＴＭ－１０．０参照ソフトウェアに基づいて、さまざまな新しいツールを統合して、コーディング性能をさらに引き出すことができる参照ソフトウェアである。
【0062】
ＭＰＭに対して、まずＭＰＭリストを作成し、ＭＰＭリストには、現在のブロックのために選択される可能性が最も高い６種類のイントラ予測モードが記入される。現在のブロックのために選択されたイントラ予測モードがＭＰＭリストにある場合、そのインデックス（３ｂｉｔのみが必要）のみをエンコードする必要がある。現在のブロックのために選択されたイントラ予測モードがＭＰＭリストになく、６１個の非ＭＰＭ（ｎｏｎ－ＭＰＭ）モード内にある場合、エントロピーエンコーディング段階でトランケートされたバイナリコード（Ｔｒｕｎｃａｔｅｄ Ｂｉｎａｒｙ Ｃｏｄｅ、ＴＢＣ）を用いてこのイントラ予測モードをエンコードする。
【0063】
ＶＶＣでは、マルチ参照ライン（Ｍｕｌｔｉｐｌｅ Ｒｅｆｅｒｅｎｃｅ Ｌｉｎｅ、ＭＲＬ）及びイントラサブパーティション分割（Ｉｎｔｒａ Ｓｕｂ－Ｐａｒｔｉｔｉｏｎｓ、ＩＳＰ）の適用の有無にかかわらず、ＭＰＭリストは６種類の予測モードを有する。ＥＣＭにおけるＭＰＭは、ＭＰＭと第２ＭＰＭ（Ｓｅｃｏｎｄａｒｙ ＭＰＭ）に分けられ、ＭＰＭリストの長さは６であり、Ｓｅｃｏｎｄａｒｙ ＭＰＭリストの長さは１６である。ＭＰＭリストに含まれる６つのモードのうち、Ｐｌａｎａｒモードは常にＭＰＭリストにおける１番目の位置に記入され、残りの５個の位置は、５つの位置が全て充填されるまで次の３つのステップによって充填される。余分なモードは自動的にＳｅｃｏｎｄａｒｙ ＭＰＭに記入される。
【0064】
第１ステップにおいて、現在のブロックの周囲にある近隣の５つの位置での予測ブロックに対して使用されるイントラ予測モードを順番に充填する。図３に示すように、５つの位置は、現在のブロックの左上（ＡＬ）、上（Ａ）、右上（ＡＲ）、左（Ｌ）、及び左下（ＢＬ）の位置を順番に含む。
【0065】
第２ステップにおいて、現在のブロックの周囲にある再構成されたサンプルに基づいて勾配ヒストグラムを用いて導出されたモードを充填する。
【0066】
第３ステップにおいて、第１ステップで選択された角度モードの角度に近い角度モードを充填する。
【0067】
Ｓｅｃｏｎｄａｒｙ ＭＰＭリストは、ＭＰＭにおけるイントラ予測モードのほかのいくつかの主な角度モードで構成することができる。
【0068】
ＭＰＭフラグ（ｍｐｍ＿ｆｌａｇ）は、ＭＲＬモードの後にエンコードとデコードされるため、ＥＣＭにおけるＭＰＭのエンコーディングとデコーディングは、ＭＲＬフラグに依存する。現在のブロックに対してＭＲＬモードを使用しない場合、ＭＰＭフラグをデコードして現在のブロックに対してＭＰＭを使用するか否かを判断する必要がある。現在のブロックに対してＭＲＬモードを使用する場合、ＭＰＭフラグをデコードする必要はなく、現在のブロックに対してＭＰＭを使用するのはデフォルトである。
【0069】
テンプレートベースのイントラモード導出（Ｔｅｍｐｌａｔｅ ｂａｓｅｄ ｉｎｔｒａ ｍｏｄｅ ｄｅｒｉｖａｔｉｏｎ、ＴＩＭＤ）及びデコーダー側イントラモード導出（Ｄｅｃｏｄｅｒ－ｓｉｄｅ ｉｎｔｒａ ｍｏｄｅ ｄｅｒｉｖａｔｉｏｎ、ＤＩＭＤ）は、ＶＶＣ規格にはないが、ＥＣＭ参照ソフトウェアに採用された２つのイントラ予測技術である。この２つの技術により、デコーダー側で現在のブロックの周囲の再構成されたサンプル値に基づいて、現在のブロックのイントラ予測モードを導出することができ、その結果、イントラ予測モードのインデックスのエンコーディングを省略してｂｉｔを省く役割を果たす。
【0070】
ＴＩＭＤは、輝度フレームに対するイントラ予測モードである。ＴＩＭＤモードは、ＭＰＭリスト内の候補のイントラ予測モードとテンプレート（Ｔｅｍｐｌａｔｅ）領域（略してテンプレートという）に基づいて生成される。ＥＣＭでは、図４に示すように、現在のブロック（例えば、現在のＣＵ）１１の左側隣接領域と上方隣接領域が現在のブロックのテンプレート領域１２を構成する。その中の左側隣接領域を左側テンプレート領域（略して左テンプレートという）と呼び、上方隣接領域を上方テンプレート領域又は上側テンプレート領域（略して上テンプレートという）と呼ぶ。
【0071】
図示のように、テンプレート領域１２の外側（左側と上側を意味する）にテンプレート参照（Ｒｅｆｅｒｅｎｃｅ ｏｆ ｔｈｅ Ｔｅｍｐｌａｔｅ）領域１３が設けられており、各領域の例示的なサイズと位置が示されている。一例として、左テンプレートの幅Ｌ１と上テンプレートの高さＬ２はいずれも４である。テンプレート参照領域１３は、テンプレート領域の上方の隣接する一行であってもよく、又は左側の隣接する一列であってもよい。
【0072】
ＴＩＭＤでは、現在のブロックと現在のブロックのテンプレート領域の分布特性が同じであると仮定し、テンプレート参照領域の再構成値を参照ラインの再構成値とし、ＭＰＭとＳｅｃｏｎｄａｒｙ ＭＰＭにおける全てのイントラ予測モードをトラバースしてテンプレート領域を予測し、予測結果を得る。そして、テンプレート領域の再構成値と各モードの予測結果との誤差を算出し、差分変換絶対値和（Ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｔｒａｎｓｆｏｒｍｅｄ ｄｉｆｆｅｒｅｎｃｅｓ、ＳＡＴＤ）で表し、ＳＡＴＤが最小となるイントラ予測モード、すなわち最適なイントラ予測モードを選択し、このイントラ予測モードを現在のブロックのＴＩＭＤモードとする。デコーディング側では、同様の導出方式によりＴＩＭＤモードを導出することができる。シーケンスに対してＴＩＭＤを使用できれば、各現在のブロックは、ＴＩＭＤを使用するか否かを示すフラグを必要とする。現在のブロックのために選択されたイントラ予測モードがＴＩＭＤモードである場合、現在のブロックに対してＴＩＭＤモードを使用して予測し、ＩＳＰ、ＭＰＭなどのイントラ予測に関連する残りのシンタックスエレメントのデコーディングはスキップすることができ、これによりモードのコーディングビットを大幅に削減することができる。
【0073】
【0074】
重み付けの方法と重みは以下の式で示される。
【数1】
【数2】
【0075】
【0076】
ＤＩＭＤでは、現在のブロックの周囲の再構成されたサンプル値をテンプレートとして、ソーベル（ｓｏｂｅｌ）演算子によってテンプレート上の各３×３領域を走査して水平方向と垂直方向の勾配を計算し、水平方向と垂直方向の勾配ＤｘとＤｙを求め、ＤｘとＤｙに基づいて各位置の振幅値Amp = abs(Dx)+abs(Dy)および角度値angular = arctan(Dy/Dx)を求める。テンプレート上の各位置の角度値は従来の角度モードに対応し、同じ角度モードの振幅値を累算して振幅値と角度モードのヒストグラムを取得する。振幅値が最も高い角度モードと次に高い角度モードという２種の角度モードが存在する場合、振幅値が最も高い角度モード及び振幅値が次に高い角度モード並びにｐｌａｎａｒモードの予測値に重み付けを行うことで、現在のブロックに対してＤＩＭＤを使用している場合の最終的な予測結果を得ることができる。このときの予測モードでは、ｐｌａｎａｒモードと振幅値が最も高い角度モードと振幅値が次に高い角度モードという３つのイントラ予測モードが融合されている。本明細書ではＤＩＭＤ融合モードと呼ぶ。振幅の最も高い角度モードと次に高い角度モードが存在しない場合、ＤＩＭＤを用いた予測はｐｌａｎａｒモード予測と同等である。
【0077】
ＨＥＶＣでは、イントラ予測は、現在のブロックの最も近い上方の一行と左側の一列を参照として予測を行い、この一行と一列の再構成値とオリジナルサンプル値との誤差が大きい場合、現在のブロックの予測品質も大きな影響を受ける。この問題を解決するために、ＶＶＣはマルチ参照ライン（Ｍｕｌｔｉｐｌｅ ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ、ＭＲＬ）イントラ予測技術を採用し、インデックスが０の参照ライン（Ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ０）を使用するだけでなく、イントラ予測のために、インデックスが１の参照ライン（Ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ１）及びインデックスが２の参照ライン（Ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ２）を拡張された参照ラインとして使用することもできる。コーディングの複雑さを軽減するため、ＭＰＭにおける非ｐｌａｎａｒモードのみに対してＭＲＬが使用される。エンコーディング側では、各角度モードを用いて予測する際、この３つの参照ラインを全て試し、レート歪み最適化により、現在のブロックのためにレート歪みコスト（ＲＤ Ｃｏｓｔ）が最も小さい１つの参照ラインを選択し、選択された参照ラインのインデックスをエンコードしてデコーディング側に送る。デコーディング側はデコードして参照ラインのインデックスを取得し、参照ラインのインデックスに従って現在のブロックのために選択された参照ラインを確定し、それを現在のブロックの予測に使用する。
【0078】
図５に示す例では、現在のブロックの４つの参照ラインが図示されており、現在のブロックに隣接する参照ライン０（ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ０）２２１、すなわち、インデックスが０の参照ライン、現在のブロックから１ラインを隔てる参照ライン１（ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ１）２２２、すなわち、インデックスが１の参照ライン、現在のブロックから２ラインを隔てる参照ライン２（ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ２）２２３、すなわち、インデックスが２の参照ライン、及び、現在のブロックから３ラインを隔てる参照ライン３（ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ３）２２４、すなわち、インデックスが３の参照ラインを含む。現在のブロックはもっと多い参照ラインを有してもよく、すなわち、インデックスが４以上の参照ラインを有してもよい。予測するとき、一部の参照ラインの再構成値のみを使用することも可能である。本明細書では、参照ラインのインデックスは図５に示す方式に従って番号付けされる。
【0079】
本明細書では、参照ラインを「ライン」と呼び、実際的に、１つの参照ラインには一行と一列が含まれ、一般に、予測するときに使用される参照ラインの再構成値には一行と一列の再構成値も含まれ、これは業界の通常の記述方法と同じである。
【0080】
ＥＣＭでは、ＭＲＬモードにおいてより多くの参照ラインを使用することができ、現在のブロックのために選択された参照ラインをエンコードするために、複数の候補参照ラインのインデックスをリストに記入する。このリストをマルチ参照ラインインデックスリスト（ＭＲＬインデックスリストと略す）と呼び、マルチ参照ラインリスト、候補参照ラインリスト、参照ラインインデックスリストなどと呼ぶこともできる。現在のブロックに対してＴＩＭＤを使用しない場合、ＭＲＬインデックスリストの長さは６であり、すなわち、合わせて６つの位置があり、６個の参照ラインのインデックスを記入することができる。これら６個の参照ラインのインデックスとその順番は固定されており、順に０、１、３、５、７、１２であり、MULTI_REF_LINE_IDX[6] = { 0, 1, 3, 5, 7, 12 }という式で表すことができる。このＭＲＬインデックスリストにおいて、１番目の位置に記入されたインデックスは０であり、現在のブロックに最も近い参照ラインのインデックスであり、２番目から６番目の位置までに記入されたインデックスは、それぞれ１、３、５、７、１２であり、現在のブロックとの距離が近いものから遠いものの順に並べられた５つの拡張参照ラインのインデックスである。
【0081】
現在のブロックのために選択された参照ラインがＭＲＬインデックスリストにある場合、マルチ参照ラインインデックス（ｍｕｌｔｉＲｅｆＩｄｘ）により、現在のブロックのために選択された参照ラインのＭＲＬインデックスリストにおける位置を示し、ＭＲＬインデックスをエンコードすることで選択された参照ラインを表すことができる。ＭＲＬインデックスリストが{ 0, 1, 3, 5, 7, 12 }であることを例にすると、１番目の位置から６番目の位置に対応するＭＲＬインデックスはそれぞれ０から５である。現在のブロックのために選択された参照ラインがインデックス０を有する参照ラインであると仮定すると、ＭＲＬインデックスが０である。現在のブロックのために選択された参照ラインがインデックス７を有する参照ラインであると仮定すると、ＭＲＬインデックスが４であり、他の状況は同様である。ＭＲＬインデックスに対して、コンテキストモデルベースのトランケートされた単項コードを使用してエンコードすることができ、エンコードした後、コンテキストモデルベースの複数のビン（ｂｉｎ）を取得する。ビンは、二進法フラグ、二進法シンボル、二進法ビットなどとも呼ばれる。ＭＲＬインデックスの値が小さいほど、コード長が小さく、デコーディングが速い。
【0082】
【0083】
なお、同じ技術は異なる規格において異なる名称があるかもしれない。例えば、ＭＰＭのように、現在のブロックの周囲にあるブロックを用いて最確モードのリストを導出する技術は、ＡＶ２（ＡＶＭ）では、適応イントラモードコーディング（Ａｄａｐｔｉｖｅ Ｉｎｔｒａ Ｍｏｄｅ Ｃｏｄｉｎｇ、ＡＩＭＣ）と呼ばれる。ＡＶＳ３では、スクリーンコンテンツコーディングの場合、周波数情報ベースのイントラモードコーディング（Ｆｒｅｑｕｅｎｃｙ－ｂａｓｅｄ Ｉｎｔｒａ Ｍｏｄｅ Ｃｏｄｉｎｇ、ＦＩＭＣ）と呼ばれる。ノンスクリーンコンテンツコーディングの場合、ＭＰＭのような技術は常に使われている。ＭＲＬのようにマルチ参照ラインを用いてイントラ予測を行う技術は、ＡＶ２（ＡＶＭ）では、イントラ予測のためのマルチ参照ライン選択（Ｍｕｌｔｉｐｌｅ ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ｓｅｌｅｃｔｉｏｎ ｆｏｒ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＭＲＬＳ）と呼ばれる。ただし、これは名称の違いに過ぎず、本実施形態におけるＭＰＭ、ＭＲＬ等の用語の使用は、他の規格におけるこれら実質的に同一の技術を同様にカバーするものとする。
【0084】
一実施形態は、テンプレートベースのマルチ参照ラインイントラ予測（Ｍｕｌｔｉｐｌｅ ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ＆ ｉｎｔｒａ＿ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）モードを提供し、これはＴＭＲＬモードと略記され、ＴＭＲＬモードとは、拡張参照ラインとイントラ予測モードとの組み合わせに基づいて候補リストを構築して、拡張参照ラインとイントラ予測モードとの組み合わせをエンコード及びデコードする予測モードである。
【0085】
本実施形態のビデオエンコーディング方法は、エンコーダーに応用され、図６に示されるように、ステップ１１０～ステップ１３０を含む。
ステップ１１０：現在のブロックのＴＭＲＬモードの候補リストを構築することであって、候補リストには、現在のブロックのための、拡張参照ラインとイントラ予測モードの候補組み合わせが記入される。
ステップ１２０：レート歪み最適化を通じて、現在のブロックのために、イントラ予測に用いられる、参照ラインとイントラ予測モードの１つの組み合わせを選択する。
本明細書では、参照ラインには、インデックスが０の参照ラインと拡張参照ラインが含まれる。現在のブロックのために選択される参照ラインとイントラ予測モードの組み合わせは、インデックスが０の参照ラインと１つのイントラ予測モードの組み合わせ、又は１つの拡張参照ラインと１つのイントラ予測モードの組み合わせである可能性がある。
ステップ１３０：現在のブロックのＴＭＲＬモードのエンコーディング条件が満たされた場合、現在のブロックのＴＭＲＬモードフラグをエンコードすることで現在のブロックに対してＴＭＲＬモードを使用することを示し、現在のブロックのＴＭＲＬモードインデックスをエンコードすることで候補リストにおける選択された組み合わせの位置を示す。
ここで、エンコーディング条件は、少なくとも、選択された組み合わせが候補リストにあることを含む。
ステップ１１０：現在のブロックのＴＭＲＬモードの候補リストを構築することであって、候補リストには、現在のブロックのための、拡張参照ラインとイントラ予測モードの候補組み合わせが記入される。
ステップ１２０：レート歪み最適化を通じて、現在のブロックのために、イントラ予測に用いられる、参照ラインとイントラ予測モードの１つの組み合わせを選択する。
本明細書では、参照ラインには、インデックスが０の参照ラインと拡張参照ラインが含まれる。現在のブロックのために選択される参照ラインとイントラ予測モードの組み合わせは、インデックスが０の参照ラインと１つのイントラ予測モードの組み合わせ、又は１つの拡張参照ラインと１つのイントラ予測モードの組み合わせである可能性がある。
ステップ１３０：現在のブロックのＴＭＲＬモードのエンコーディング条件が満たされた場合、現在のブロックのＴＭＲＬモードフラグをエンコードすることで現在のブロックに対してＴＭＲＬモードを使用することを示し、現在のブロックのＴＭＲＬモードインデックスをエンコードすることで候補リストにおける選択された組み合わせの位置を示す。
ここで、エンコーディング条件は、少なくとも、選択された組み合わせが候補リストにあることを含む。
【0086】
本明細書では、現在のブロックの拡張参照ラインとイントラ予測モードの候補組み合わせが記入された候補リストをＴＭＲＬモードの候補リストと呼ぶこともできる。
【0087】
本明細書では、候補リストに記入されるのは、現在のブロックの拡張参照ラインとイントラ予測モードの候補組み合わせである。これは、候補リスト内の組み合わせが、現在のブロックのレート歪み最適化に参加する必要があり、すなわち、レート歪みコストを通じて現在のブロックの予測モードを選択するモード選択プロセスに参加する必要があることを意味する。これにより、候補リスト内の全ての組み合わせが選択される可能性がある。
【0088】
本明細書では、個数を示すパラメータＮ、Ｍ、Ｋはいずれも正の整数であり、別途記述する必要はない。
【0089】
本実施形態によって構築されるＴＭＲＬモードの候補リストに記入されるのは、現在のブロックの拡張参照ラインとイントラ予測モードの候補組み合わせであり、もはや単一の候補拡張参照ラインのリスト又は候補イントラ予測モードのリストでもない。現在のブロックのために選択された参照ライン及びイントラ予測モードの組み合わせがその候補リストにあり（このとき、現在のブロックのために拡張参照ラインが選択される）、即ち選択された組み合わせがこの候補リストにある１つの組み合わせであるなどのエンコーディング条件が満たされたとき、現在のブロックのＴＭＲＬモードフラグをエンコードすることで現在のブロックに対してＴＭＲＬモードを使用することを示し、現在のブロックのＴＭＲＬモードインデックスをエンコードすることで候補リストにおける選択された組み合わせの位置を示す。デコーディング側は、ＴＭＲＬモードフラグ及びＴＭＲＬモードインデックスに基づいて、現在のブロックのために選択された拡張参照ライン及びイントラ予測モードを確定することができる。本実施形態の組み合わせのエンコーディング及びデコーディング方法により、コーディングコストを低減し、コーディング性能を向上させることができる。
【0090】
ＴＭＲＬモードでは、現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて得られたＮ×Ｍ個の組み合わせの各々に従って、現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算する。誤差の昇順で、対応するＫ個の組み合わせを現在のブロックのＴＭＲＬモードの候補リストに記入し、１≦Ｋ≦Ｎ×Ｍが満たされる。
【0091】
一例では、ＥＣＭにおける拡張参照ラインとイントラ予測モードとの２５種類の組み合わせの各々に基づいてテンプレート領域を予測し、誤差の昇順で２５個の組み合わせをソートし、誤差が最小であり、すなわち、選択される可能性が最も高い１２個の組み合わせをＴＭＲＬモードの候補リストに記入し、これにより、ＴＭＲＬモードインデックスをエンコードするためのコーディングビット数を減少することができる。拡張参照ライン｛１，３，５，７，１２｝の一部（例えば、インデックスが７と１２である拡張参照ライン）がＣＴＵ境界の外側にある場合でも、１５種類の組み合わせの順序に基づいて、選択される可能性の最も高い１２個の組み合わせを候補リストに記入することもでき、ＴＭＲＬモードインデックスのコーディングビットは依然として完全かつ有効に利用されることができる。誤差の昇順でソートすることにより、予測のために選択される可能性がより高い参照ラインと予測モードが候補リストに残され、選択される可能性がより高い組み合わせはリストにおける前の位置に配列されるため、コーディングのコストが低くなる。ＴＭＲＬモードの候補リストの作成については、以下に詳述する。
【0092】
本実施形態の一例において、エンコーディング条件は、さらに、現在のブロックに対してＴＩＭＤを使用しないことを含む。ビデオエンコーディング方法は、現在のブロックに対してＴＩＭＤを使用する場合、現在のブロックのＴＭＲＬモードフラグとＴＭＲＬモードインデックスのエンコーディングをスキップすることと、現在のブロックに対してＴＩＭＤを使用しないが、選択された組み合わせが候補リストにない場合、現在のブロックのＴＭＲＬモードフラグをエンコードすることで現在のブロックに対してＴＭＲＬモードを使用しないことを示し、現在のブロックのＴＭＲＬモードインデックスのエンコーディングをスキップすることと、をさらに、含む。
【0093】
この実施形態は、ＴＭＲＬモードの前にＴＩＭＤモードに基づいてエンコード及びデコードする場合である。現在のブロックに対してＴＩＭＤモードを使用する場合、ＴＭＲＬモードを使用する必要はないので、ＴＭＲＬモードフラグとＴＭＲＬモードインデックスのエンコーディングはスキップされる。現在のブロックに対してＴＩＭＤモードを使用しない場合、現在のブロックのために選択された組み合わせがＴＭＲＬモードの候補リストにある状況と、選択された組み合わせがＴＭＲＬモードの候補リストにない状況という２つのケースがある。選択された組み合わせが候補リストにない場合、ＴＭＲＬモードフラグをエンコードすることで、現在のブロックに対してＴＭＲＬモードを使用しないことを示す必要があり、また、ＴＭＲＬモードインデックスのエンコーディングをスキップする。選択された組み合わせが候補リストにある場合、ＴＭＲＬモードフラグとＴＭＲＬモードインデックスの両方をエンコードする必要がある。
【0094】
現在のブロックに対してＴＩＭＤを使用しない場合、本実施形態によって提供されるＴＭＲＬモードフラグ及びＴＭＲＬモードインデックスは、元のマルチ参照ラインインデックスｍｕｌｔｉＲｅｆＩｄｘを代替することができる。現在のブロックに対してＴＩＭＤを使用する場合、依然として、選択された参照ラインを示すためにマルチ参照ラインインデックスを使用することができ、そのマルチ参照ラインインデックスをエンコードすることができる。
【0095】
本実施形態の一例において、現在のブロックのＴＭＲＬモードの候補リストを構築することは、現在のブロックに対してＴＭＲＬモードを使用できる設定された条件が全て成立した場合にのみ、候補リストを構築することを含む。ＴＭＲＬモードを使用できる条件は、以下のいずれか１つ以上を含む。
条件１：現在のブロックが輝度フレームにおけるブロックであり、すなわち、ＴＭＲＬモードは輝度フレーム（すなわち輝度画像）のみに使用される。
条件２：現在のブロックがコーディングツリーユニット（ＣＴＵ）の上部境界に位置しない。ＣＴＵの上部境界に位置する場合、現在のブロックの上方には使用できる参照ラインがないため、本実施形態では、ＣＴＵの上部境界に位置しないことをＴＭＲＬモードを使用できる条件とする。
条件３：現在のブロックに対してＭＲＬを使用でき、すなわち、ＭＲＬモードを使用できる場合にのみ、ＴＭＲＬモードを使用できる。
条件４：現在のブロックのサイズが、ＴＭＲＬモードが使用できる現在のブロックの最大サイズより大きくない。この最大サイズはプリセットされたものであってもよい。一般に、より大きなブロックはより平坦であり、角度ディテールが比較的に少ない。このような大きなブロックに対して、ＴＭＲＬモードの使用を制限することができる。
条件５：現在のブロックのアスペクト比が、現在のブロックのアスペクト比に対するＴＭＲＬモードを使用する要求を満たす。例えば、現在のブロックのアスペクト比がプリセット値より大きくない場合にのみ、ＴＭＲＬモードの使用が許可される。
条件１：現在のブロックが輝度フレームにおけるブロックであり、すなわち、ＴＭＲＬモードは輝度フレーム（すなわち輝度画像）のみに使用される。
条件２：現在のブロックがコーディングツリーユニット（ＣＴＵ）の上部境界に位置しない。ＣＴＵの上部境界に位置する場合、現在のブロックの上方には使用できる参照ラインがないため、本実施形態では、ＣＴＵの上部境界に位置しないことをＴＭＲＬモードを使用できる条件とする。
条件３：現在のブロックに対してＭＲＬを使用でき、すなわち、ＭＲＬモードを使用できる場合にのみ、ＴＭＲＬモードを使用できる。
条件４：現在のブロックのサイズが、ＴＭＲＬモードが使用できる現在のブロックの最大サイズより大きくない。この最大サイズはプリセットされたものであってもよい。一般に、より大きなブロックはより平坦であり、角度ディテールが比較的に少ない。このような大きなブロックに対して、ＴＭＲＬモードの使用を制限することができる。
条件５：現在のブロックのアスペクト比が、現在のブロックのアスペクト比に対するＴＭＲＬモードを使用する要求を満たす。例えば、現在のブロックのアスペクト比がプリセット値より大きくない場合にのみ、ＴＭＲＬモードの使用が許可される。
【0096】
本実施形態の一例では、ＴＭＲＬモードインデックスに対してゴロム・ライス（Ｇｏｌｏｍｂ－Ｒｉｃｅ）コーディング法を用いてエンコードする。ゴロム・ライスコーディングを使用することにより、エンコーディング及びデコーディングのために、候補組み合わせを、異なる符号語長を有するカテゴリに、より合理的にグループ化することができ、コーディング効率を向上させる。
【0097】
本実施形態の一例において、現在のブロックのＴＭＲＬモードのエンコーディング条件が満たされた場合、ビデオエンコーディング方法は、ＭＰＭモード、イントラサブパーティション分割（ＩＳＰ）モード、マルチ変換選択（ＭＴＳ）モード、低周波数非分離型変換（ＬＦＮＳＴ）モード、及びＴＩＭＤモードのうちのいずれか１つ以上のモードのシンタックスエレメントのエンコーディングをスキップすることを、さらに含む。
【0098】
例えば、ＴＩＭＤモードの前にＴＭＲＬモードに基づいてエンコード及びデコードする場合、ＴＭＲＬモードのエンコーディング条件には、現在のブロックに対してＴＩＭＤを使用しないことが含まれなくなる。現在のブロックに対してＴＭＲＬモードを使用する場合、現在のブロックに対してＴＩＭＤを使用できなくなり、ＴＩＭＤモードのシンタックスエレメントのエンコーディングをスキップすることができる。
【0099】
例えば、現在のブロックに対してＴＭＲＬモードを使用する場合、ＴＭＲＬモードフラグとＴＭＲＬモードインデックスは、現在のブロックのために選択された参照ラインとイントラ予測モードを同時に示すことができ、ＭＰＭ関連のシンタックスエレメントをエンコード及びデコードする必要はない。
【0100】
例えば、特定の変換モードにおいて、ＴＭＲＬモードと、マルチ変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）モード及び／又は低周波数非分離型変換（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ―ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ、ＬＦＮＳＴ）モードとが同時に使用されないように制限することができる。
【0101】
一実施形態はＴＭＲＬモードの候補リストの構築方法を提供する。この方法はエンコーダーに応用されてもよく、デコーダーに応用されてもよい。図７に示すように、この方法は次の内容を含む。
ステップ２１０：現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個の組み合わせを取得し、Ｎ≧１、Ｍ≧１、Ｎ×Ｍ≧２が満たされる。
ステップ２２０：Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算する。
本ステップにおける誤差は、差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、ＳＡＤ）、又は差分変換絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｔｒａｎｓｆｏｒｍｅｄ Ｄｉｆｆｅｒｅｎｃｅ、ＳＡＴＤ）などで表すことができるが、これらに限らず、差分二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、ＳＳＤ）、平均絶対差（Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、ＭＡＤ）、平均二乗誤差（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ、ＭＳＥ）などで表すこともできる。
ステップ２３０：現在のブロックのＴＭＲＬモードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入し、１≦Ｋ≦Ｎ×Ｍが満たされる。
ステップ２１０：現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個の組み合わせを取得し、Ｎ≧１、Ｍ≧１、Ｎ×Ｍ≧２が満たされる。
ステップ２２０：Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算する。
本ステップにおける誤差は、差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、ＳＡＤ）、又は差分変換絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｔｒａｎｓｆｏｒｍｅｄ Ｄｉｆｆｅｒｅｎｃｅ、ＳＡＴＤ）などで表すことができるが、これらに限らず、差分二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、ＳＳＤ）、平均絶対差（Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、ＭＡＤ）、平均二乗誤差（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ、ＭＳＥ）などで表すこともできる。
ステップ２３０：現在のブロックのＴＭＲＬモードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入し、１≦Ｋ≦Ｎ×Ｍが満たされる。
【0102】
本実施形態で作成された候補リストにより、拡張参照ラインとイントラ予測モードの組み合わせのエンコーディングを実現し、エンコーディング効率を向上させることができる。また、異なる組み合わせを用いるテンプレート領域への予測と誤差の順序付けにより、現在のブロックと現在のブロックのテンプレート領域との分布特性の類似性に基づいて、Ｎ×Ｍ個の組み合わせから、選択される確率の比較的高いＫ個の組み合わせを選択することができ、且つ選択される確率の高い組み合わせを候補リスト内の前の位置に配列することで、エンコードする際に選択された組み合わせのＴＭＲＬモードインデックスが小さくなり、実際のエンコーディングコストを低減することができる。
【0103】
本実施形態の一例では、現在のブロックのテンプレート領域は、現在のブロックに最も近い１つの参照ラインに設定され、又は、現在のブロックのテンプレート領域は、現在のブロックに最も近い複数の参照ラインに設定され、組み合わせに参加するＮ個の拡張参照ラインは、テンプレート領域の外側に位置する拡張参照ラインである。図８Ａでは、現在のブロックのテンプレート領域は、インデックスが０の参照ライン３０に設定されている。ＴＭＲＬモードの候補リストを構築する際、インデックスが｛１，３，５，７，１２｝の事前定義の拡張参照ラインから、使用できるＮ個の拡張参照ラインを選択する。現在のブロックの上方とＣＴＵ境界との間に１３個以上の参照ラインがある場合、組み合わせを作るために、インデックスが｛１，３，５，７，１２｝の５個の拡張参照ラインを選択する。現在のブロックの上方とＣＴＵ境界の間に６つ又は７つの参照ラインがある場合、組み合わせを作るために、インデックスが｛１，３，５｝の３つの拡張参照ラインを選択する。
【0104】
この例では、現在のブロックのテンプレート領域がインデックスが０の参照ラインに設定されている場合、インデックスが０の参照ラインはテンプレート領域が位置する参照ラインと呼ばれ、インデックスが１から３の参照ラインはテンプレート領域の外側に位置する参照ラインと呼ばれる。現在のブロックのテンプレート領域がインデックスが０と１の参照ラインに設定されている場合、テンプレート領域が位置する参照ラインは拡張参照ラインを含み、インデックスが０と１の参照ラインはテンプレート領域が位置する参照ラインであり、インデックスが２と３の参照ラインはテンプレート領域の外側（上方と左側）に位置する参照ラインである。
【0105】
図８Ａには、組み合わせに参加する５つの拡張参照ラインが示されており、インデックスが１の参照ライン３１、インデックスが３の参照ライン３３、インデックスが５の参照ライン３５、インデックスが７の参照ライン３７、及びインデックスが１２の参照ライン３９である。図８Ａとは異なり、図８Ｂに示す例では、現在のブロックのテンプレート領域４０がインデックスが０及び１の２つの参照ラインに設定されており、組み合わせに参加する拡張参照ラインは５つの拡張参照ラインであり、それぞれ、インデックスが２の参照ライン４２、インデックスが３の参照ライン４３、インデックスが５の参照ライン４５、インデックスが７の参照ライン４７、及びインデックスが１２の参照ライン４９である。つまり、この例では、インデックスが｛２，３，５，７，１２｝の事前定義の拡張参照ラインから、使用できるＮ個の拡張参照ラインを選択している。テンプレート領域と拡張参照ラインの選択は他にも多くのオプションがあり、例えば、インデックスが０，１，２の３つの参照ラインに現在のブロックのテンプレート領域を設定し、又はインデックスが０～３の４つの参照ラインに現在のブロックのテンプレート領域を設定するなどの例がある。テンプレート領域が比較的広いとき、予測は比較的精確である。
【0106】
本実施形態の一例では、現在のブロックのＮ個の拡張参照ラインは、事前定義のＮｍａｘ個の拡張参照ラインのうち、現在のブロックのテンプレート領域の外側に位置し、且つコーディングツリーユニット（ＣＴＵ）の境界を超えない拡張参照ラインである。ＮｍａｘはＴＭＲＬモードで使用できる拡張参照ラインの最大個数である。本実施形態では、組み合わせに使用されるＮ個の拡張参照ラインを、現在のブロックのテンプレート領域の外側且つＣＴＵ境界を超えない領域に制限する。しかし、ハードウェアがサポートできれば、組み合わせに参加するために、ＣＴＵ境界を超える拡張参照ラインを選ぶこともできる。
【0107】
本実施形態の一例では、Ｎｍａｘ＝５であり、事前定義の５つの拡張参照ラインは、｛１，３，５，７，１２｝又は｛２，３，５，７，１２｝のインデックスが付けられた参照ラインである。別の一例では、事前定義のＮｍａｘ個の拡張参照ラインは、インデックスが１から始まり、現在のブロックに最も近いＮｍａｘ個の拡張参照ラインであり、又は、インデックスが１から始まり且つインデックスが奇数であり、現在のブロックに最も近いＮｍａｘ個の拡張参照ラインであり、又は、インデックスが２から始まり且つインデックスが偶数であり、現在のブロックに最も近いＮｍａｘ個の拡張参照ラインである。奇数又は偶数の参照ラインを選択すると、演算が簡単になる。
【0108】
本実施形態の一例では、Ｍ個のイントラ予測モードは、角度モードのみから選択でき、又は角度モード及びＤＣモードのみから選択でき、又は角度モード、ＤＣモード及びｐｌａｎａｒモードから選択できる。
【0109】
一例では、Ｍ個のイントラ予測モードは、以下の方法によって選択される。Ｍ≧５が満たされる。
第１ステップ：現在のブロックの周囲にある５個の近隣位置での予測ブロックのために使用されるイントラ予測モードを確定し、そのうちの選択できるイントラ予測モードを順番に選択し、重複するモードを削除する。
５個の近隣位置は、図３に示すように、それぞれ左上、上、右上、左、左下である。
第１ステップで選択されたイントラ予測モードの数がＭになると、終了し、第１ステップで選択されたイントラ予測モードは数がＭ未満であり、且つ角度モードを含む場合、第２ステップを実行する。
第２ステップ：選択されたイントラ予測モードの総数がＭになるまで、選択された１番目の角度モードから順番に角度モードの拡張操作を行って拡張後の角度モードを取得し、選択された全ての角度モードと異なる拡張後の角度モードを選択する。
第１ステップ：現在のブロックの周囲にある５個の近隣位置での予測ブロックのために使用されるイントラ予測モードを確定し、そのうちの選択できるイントラ予測モードを順番に選択し、重複するモードを削除する。
５個の近隣位置は、図３に示すように、それぞれ左上、上、右上、左、左下である。
第１ステップで選択されたイントラ予測モードの数がＭになると、終了し、第１ステップで選択されたイントラ予測モードは数がＭ未満であり、且つ角度モードを含む場合、第２ステップを実行する。
第２ステップ：選択されたイントラ予測モードの総数がＭになるまで、選択された１番目の角度モードから順番に角度モードの拡張操作を行って拡張後の角度モードを取得し、選択された全ての角度モードと異なる拡張後の角度モードを選択する。
【0110】
本実施形態では、第１ステップにおいて角度モードが選択されなかった場合、又は第２ステップにより選択されたイントラ予測モードの総数が依然としてＭ未満である場合、第３ステップを実行し、第３ステップにおいて、事前定義のイントラ予測モード集合のうちの選択できるイントラ予測モードを確定し、選択されたイントラ予測モードの総数がＭになるまで、確定された選択できるイントラ予測モードから、選択されたイントラ予測モードのいずれとも異なるイントラ予測モードを順番に選択すること、をさらに含む。
【0111】
一例では、Ｍ個のイントラ予測モードを選択する過程において、角度モードのみを選択できる。別の例では、Ｍ個のイントラ予測モードを選択する過程において、角度モードとＤＣモードのみを選択できる。さらに別の例では、Ｍ個のイントラ予測モードを選択する過程において、角度モード、ＤＣモード、及びＰｌａｎａｒモードを選択できる。Ｐｌａｎａｒモードは、拡張参照ラインとの結合効果が限定的であるので、組み合わせから除外されてもよい。ＤＣモードの場合も類似する。ただし、演算複雑度の増加をサポートできれば、ＰｌａｎａｒモードとＤＣモードも候補リストに加えられて組み合わせに参加することができる。
【0112】
一例では、角度モードの拡張操作は、角度モードに対して１を加算する操作及び１を減算する操作と、角度モードに対して２を加算する操作及び２を減算する操作と、角度モードに対して３を加算する操作及び３を減算する操作、という操作のうちのいずれか１つ以上を含む。
【0113】
本実施形態の一例において、Ｍ個のイントラ予測モードとして、最確モード（ＭＰＭ）のうち、Ｐｌａｎａｒモード以外のイントラ予測モードの一部又は全部を使用し、又は、ＭＰＭと第２ＭＰＭのうち、Ｐｌａｎａｒモード以外のイントラ予測モードの一部又は全部を使用し、又は、ＭＰＭのうち、Ｐｌａｎａｒモード及びＤＣモード以外のイントラ予測モードの一部又は全部を使用し、又は、ＭＰＭと第２ＭＰＭのうち、Ｐｌａｎａｒモード及びＤＣモード以外のイントラ予測モードの一部又は全部を使用し、又は、ＭＰＭのうち、Ｐｌａｎａｒモード、ＤＣモード、及びＤＩＭＤモード以外のイントラ予測モードの一部又は全部を使用し、又は、ＭＰＭと第２ＭＰＭのうち、Ｐｌａｎａｒモード、ＤＣモード、及びＤＩＭＤモード以外のイントラ予測モードの一部又は全部を使用する。
【0114】
本例では、ＭＰＭのうち、Ｐｌａｎａｒモード以外の全てのイントラ予測モードを事前定義のイントラ予測モードとして使用し、又は、ＭＰＭ及び第２ＭＰＭのうち、Ｐｌａｎａｒモード以外の全てのイントラ予測モードを事前定義のイントラ予測モードとして使用する。現在のブロックの参照ラインが事前定義の全ての拡張参照ラインを含む場合、事前定義の全てのイントラ予測モードを使用する。現在のブロックの参照ラインが事前定義の一部の拡張参照ラインを含む場合、事前定義の一部のイントラ予測モードを使用する。
【0115】
本実施形態の一例では、Ｍ個のイントラ予測モードは、以下の方式によって選択される。Ｍ’個のイントラ予測モードを選択する。現在のブロックのテンプレートの外側に位置する参照ラインと、Ｍ’個のイントラ予測モードとに基づいて、それぞれ現在のブロックのテンプレートを予測し、また、テンプレートの再構成値と予測によって得られた予測値との間の誤差を算出してＭ’個の誤差を算出する。組み合わせに参加するＭ個のイントラ予測モードとして、Ｍ’個のイントラ予測モードから、最小誤差に対応するＭ個のイントラ予測モードを選択し、Ｍ＜Ｍ’が満たされる。
【0116】
本例における現在のブロックのテンプレートは、Ｍ’個のイントラ予測モードからＭ個のイントラ予測モードを選択するために使用され、前述の現在のブロックのテンプレート領域は、Ｎ×Ｍ個の組み合わせからＫ個の組み合わせを選択するために使用され、両方は異なっていてもよいが、同じ領域を占めていてもよい。
【0117】
本例においてＭ’個のイントラ予測モードを選択する際、上記実施形態における、Ｍ個のイントラ予測モードを選択する様々な方法を用いることができ、例えば、ＭＰＭ及び第２ＭＰＭのリストから直接選択する方法、又は、前述の実施形態の方法における第１ステップを通じて選択する方法、又は、第１ステップ及び第２ステップを通じて選択する方法、又は、第１ステップ、第２ステップ及び第３ステップを通じて選択するなどの方法を用いることができる。
【0118】
本実施形態の一例では、Ｎ≦Ｎｍａｘ、２≦Ｎｍａｘ≦１２、２≦Ｍ≦１８、Ｋ≦Ｋｍａｘ、６≦Ｋｍａｘ≦３６、ＮｍａｘはＴＭＲＬモードで使用できる拡張参照ラインの最大個数であり、ＫｍａｘはＴＭＲＬモードで使用できる候補組み合わせの最大個数である。ここで、Ｎ、Ｍ、及びＫという関連パラメータの値の範囲が示されているが、これは単に例示的なものである。
【0119】
本実施形態の一例では、Ｎ、Ｍ及びＫは少なくとも２組の値を有し、第１組の値はＮ１、Ｍ１、Ｋ１であり、第２組の値はＮ２、Ｍ２、Ｋ２であり、Ｎ１≦Ｎ２、Ｍ１≦Ｍ２、Ｋ１≦Ｋ２、及びＮ１×Ｍ１＜Ｎ２×Ｍ２が満たされる。第１組の値は、第１サイズを有する現在のブロックのために候補リストを構築するときに使用され、第２組の値は、第２サイズを有する現在のブロックのために候補リストを構築するときに使用され、第１サイズは第２サイズよりも小さい。ここの第１サイズ及び第２サイズは、それぞれ様々なサイズを表すことができ、例えば、第１サイズは、４×４、４×８、８×８などを含むことができ、第２サイズは、１６×８、１６×１６、８×１６などを含むことができる。本例では、異なるサイズの現在のブロックに対して、異なるＮ、Ｍ、Ｋを使用する。現在のブロックのサイズが比較的小さい場合、より小さい値を使用してＴＭＲＬモードの候補リストを構築する。現在のブロックのサイズが比較的大きい場合、より大きな値を使用してＴＭＲＬモードの候補リストを構築する。これにより、演算の複雑さと性能のより良いバランスを達成することができる。
【0120】
本実施形態の一例において、Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測することは、現在のブロックが画像（ｐｉｃｔｕｒｅ）の左境界に位置する場合、Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックの上方テンプレート領域を予測し、現在のブロックの左側テンプレート領域を予測しないことを含む。本実施形態によれば、性能に影響を与えることなく、演算を簡略化し、演算に要する時間を短縮することができる。
【0121】
本実施形態の一例において、Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測することは、Ｎ×Ｍ個の組み合わせの各々に基づいて、次の方式で予測することを含む。組み合わせにおける拡張参照ラインの再構成値と、この組み合わせにおけるイントラ予測モードとに基づいて、テンプレート領域の初期予測値を算出し、拡張参照ラインの再構成値は、拡張参照ラインのオリジナル再構成値又はフィルタリングされた後の再構成値である。テンプレート領域の初期予測値に対して４タップフィルタリング又は６タップフィルタリングを行い、フィルタリング結果を、この組み合わせに基づいて予測して得られたテンプレート領域の予測値とする。
【0122】
本実施形態では、現在のブロックのテンプレート領域を予測する際に、拡張参照ラインの再構成値をフィルタリングせず、オリジナル再構成値を演算に用いることができ、また、演算の複雑さを軽減して演算を高速化するために、タップの比較的短いフィルタ（例えば、４タップフィルタ）を用いることができる。
【0123】
本実施形態の一例において、Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算することは、次の内容を含む。Ｋ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域全体を予測して、対応するＫ個の誤差からなる誤差集合を取得し、誤差集合における最大誤差をＤｍａｘとして記録する。残りの組み合わせの各々について、まず、この組み合わせに基づいて現在のブロックの一方側のテンプレート領域を予測し、現在のブロックのこの一方側のテンプレート領域の再構成値と予測値との間の誤差Ｄ１を算出し、Ｄ１≧Ｄｍａｘであれば、この組み合わせに基づく予測を完了し、Ｄ１＜Ｄｍａｘであれば、また、この組み合わせに基づいて現在のブロックのもう一側のテンプレート領域を予測し、現在のブロックのテンプレート領域全体の再構成値と予測値との間の誤差Ｄ２を算出し、Ｄ２＜Ｄｍａｘであれば、誤差集合にＤ２を加え、誤差集合からＤｍａｘを削除し、誤差集合内の最大誤差Ｄｍａｘを更新し、Ｄ２≧Ｄｍａｘであれば、この組み合わせに基づく予測を完了する。Ｎ×Ｍ個の組み合わせに基づく予測を完了した後、誤差集合におけるＫ個の誤差に対応するＫ個の組み合わせを、最小誤差に対応するＫ個の組み合わせとする。
【0124】
一例では、誤差集合内の誤差を昇順で配列することができ、誤差集合にＤ２を加える際に、誤差集合内の誤差が依然として昇順で配列されることができる位置にＤ２を挿入する。しかし、他の例では、Ｎ×Ｍ個の組み合わせに基づく予測を完了した後、誤差集合中のＫ個の誤差を順序付けることもできる。
【0125】
本例では、全ての組み合わせに基づいてテンプレート領域全体の予測と誤差計算を行うことなく、組み合わせの順序付けを完成することができ、演算の複雑さの低減と高速化を図ることができる。
【0126】
本実施形態の一例において、現在のブロックのＴＭＲＬモードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入することは、候補リストの１番目の位置から、誤差の昇順で誤差に対応するＫ個の組み合わせを候補リストに記入することを含む。本例のＴＭＲＬモードの候補リストには、拡張参照ラインとイントラ予測モードの組み合わせのみが記入される。インデックスが０の参照ラインとイントラ予測モードの組み合わせは、ＭＰＭなどの他の従来のモードによって示される。
【0127】
本実施形態の一例では、候補リストのｉ番目の位置から、誤差の昇順で誤差に対応するＫ個の組み合わせを候補リストに記入し、候補リストのｉ番目の位置の前に、インデックスが０である参照ラインと、１つ又は複数のイントラ予測モードとの組み合わせが記入されており、ｉ≧２が満たされる。本例ではＴＭＲＬモードの候補リストには、拡張参照ラインとイントラ予測モードの組み合わせだけでなく、インデックスが０の参照ラインとイントラ予測モードの組み合わせも記入される。この場合、現在のブロックのために選択された組み合わせが、インデックスが０の参照ラインとイントラ予測モードとの組み合わせであるとき、ＴＭＲＬモードインデックスによって示すこともできる。このときのＴＭＲＬモードフラグは依然として使用されることができる。
【0128】
本願の一実施形態は、ＴＭＲＬモードに関するビデオデコーディング方法を提供する。この方法は、デコーダーに応用され、図９に示すようにステップ３１０～ステップ３３０を含む。
ステップ３１０：現在のブロックのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードフラグをデコードして、現在のブロックに対してＴＭＲＬモードを使用するかどうかを確定する。
ステップ３２０：現在のブロックに対してＴＭＲＬモードを使用すると確定した場合、引き続いて現在のブロックのＴＭＲＬモードインデックスをデコードし、現在のブロックのＴＭＲＬモードの候補リストを構築し、候補リストには、現在のブロックのための、拡張参照ラインとイントラ予測モードの候補組み合わせが記入される。
ステップ３３０：候補リストとＴＭＲＬモードインデックスに基づいて、現在のブロックのために選択される拡張参照ラインとイントラ予測モードの組み合わせを確定し、選択された組み合わせに基づいて現在の画像を予測する。
ここで、ＴＭＲＬモードインデックスは、選択された拡張参照ラインとイントラ予測モードの組み合わせの、候補リストにある位置を示すために使用される。
ステップ３１０：現在のブロックのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードフラグをデコードして、現在のブロックに対してＴＭＲＬモードを使用するかどうかを確定する。
ステップ３２０：現在のブロックに対してＴＭＲＬモードを使用すると確定した場合、引き続いて現在のブロックのＴＭＲＬモードインデックスをデコードし、現在のブロックのＴＭＲＬモードの候補リストを構築し、候補リストには、現在のブロックのための、拡張参照ラインとイントラ予測モードの候補組み合わせが記入される。
ステップ３３０：候補リストとＴＭＲＬモードインデックスに基づいて、現在のブロックのために選択される拡張参照ラインとイントラ予測モードの組み合わせを確定し、選択された組み合わせに基づいて現在の画像を予測する。
ここで、ＴＭＲＬモードインデックスは、選択された拡張参照ラインとイントラ予測モードの組み合わせの、候補リストにある位置を示すために使用される。
【0129】
本実施形態では、ＴＭＲＬモードフラグをデコードして、現在のブロックに対してＴＭＲＬモードを使用すると確定した後、拡張参照ラインとイントラ予測モードの組み合わせをＴＭＲＬモードの候補リストに記入し、デコードして得られたＴＭＲＬモードインデックスと候補リストにより、現在のブロックのために選択された組み合わせを確定し、予測を行う。つまり、ＴＭＲＬモードインデックスにより、２つのインデックスを使用することなく、現在のブロックのために選択された拡張参照ラインとイントラ予測モードを同時に示すことができる。コーディングコストを削減することができる。
【0130】
本実施形態の一例では、現在のブロックのＴＭＲＬモードフラグをデコードすることの前、ビデオデコーディング方法は、現在のブロックに対してＴＭＲＬモードを使用できる条件が全て成立したとき、現在のブロックのＴＭＲＬモードフラグをデコードすることをさらに含む。ＴＭＲＬモードを使用できる条件は、以下のいずれか１つ以上を含み、即ち、
現在のブロックが輝度フレームにおけるブロックであること、
現在のブロックに対してＭＲＬを使用できること、
現在のブロックがコーディングツリーユニット（ＣＴＵ）の上部境界に位置しないこと、
現在のブロックに対してテンプレートベースのイントラモード導出（ＴＩＭＤ）を使用しないこと、
という条件のいずれか１つ以上を含む。
現在のブロックが輝度フレームにおけるブロックであること、
現在のブロックに対してＭＲＬを使用できること、
現在のブロックがコーディングツリーユニット（ＣＴＵ）の上部境界に位置しないこと、
現在のブロックに対してテンプレートベースのイントラモード導出（ＴＩＭＤ）を使用しないこと、
という条件のいずれか１つ以上を含む。
【0131】
本例では、上記条件の１つが成立する場合には、ＴＭＲＬモードの使用を許可せず、ＴＭＲＬモードフラグ及びＴＭＲＬモードインデックスのデコーディングをスキップすることができる。しかし、他の実施形態ではこうなるとは限らない。例えば、ＴＩＭＤの前にＴＭＲＬモードに基づいてエンコード及びデコードする場合、現在のブロックに対するＴＩＭＤの使用は、ＴＭＲＬモードを使用できない条件とされない。別の例としては、将来、ハードウェアがＣＴＵ境界外の参照ラインの取得をサポートできるようになった場合、現在のブロックがＣＴＵの上部境界に位置することは、ＴＭＲＬモードを使用できない条件ではなくなることなどが挙げられる。
【0132】
本実施形態の一例では、ビデオデコーディング方法は、現在のブロックに対してＭＲＬを使用でき、現在のブロックがＣＴＵの上部境界に位置しておらず、且つ現在のブロックに対してＴＩＭＤを使用すると確定した場合、現在のブロックのＭＲＬインデックスをデコードすることをさらに含む。ＭＲＬインデックスは、現在のブロックのために選択された参照ラインのＭＲＬインデックスリストにある位置を示すために使用される。本例では、現在のブロックに対してＴＩＭＤを使用する場合にＴＭＲＬモードの使用を許可しないが、依然としてＭＲＬを使用することができ、したがって、依然として、現在のブロックのマルチ参照ラインインデックスをデコードすることで、現在のブロックのために選択された参照ラインを確定することができ、現在のブロックのために選択されたＴＩＭＤモードと組み合わせて、現在のブロックを予測することができる。
【0133】
本実施形態の一例では、ＴＭＲＬモードフラグに基づいて、現在のブロックに対してＴＭＲＬモードを使用すると確定した場合、ビデオデコーディング方法は、ＭＰＭモード、ＩＳＰモード、ＭＴＳモード、ＬＦＮＳＴモード、及びＴＩＭＤモードのうちのいずれか１つ以上のモードのシンタックスエレメントのデコーディングをスキップすることを、さらに含む。エンコーディング側に対応して、エンコードする際、現在のブロックに対してＴＭＲＬモードフラグを使用する場合、上記のモードの１つ以上がスキップされたとき、デコーディング側は、デコードによって、現在のブロックに対してＴＭＲＬモードフラグを使用すると確定した場合、これらのモードのデコーディングもスキップする。
【0134】
一実施形態は、ビデオデコーディング方法をさらに提供し、主としてイントラ予測のデコーディング処理に関する。エンコーディング側についても説明する。本実施形態では、エンコーディング側でＴＭＲＬモードの候補リストを構築し、モード選択により現在のブロックのために候補リスト内の組み合わせが選択された場合に、ＴＭＲＬモードのシンタックスエレメントをエンコード及びデコードし、拡張参照ラインとイントラ予測モードの組み合わせをエンコード及びデコードする。
【0135】
本実施形態では、事前定義のＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づき、インデックスが０の参照ライン、すなわちｒｅｆｅｒｅｎｃｅ ｌｉｎｅ０の位置にテンプレートを構築する。図８Ａに示されるテンプレート領域３０を参照することができる。（ｘ，－１），（－１，ｙ）は、それぞれ、現在のブロックの左上隅の（０，０）位置に対する座標である。この図では、インデックスが｛１，３，５，７，１２｝の事前定義の５個の拡張参照ラインも提供されている。
【0136】
ＴＭＲＬモードの候補リストを構築する際に、Ｎ×Ｍ個の組み合わせに基づくテンプレートの予測値と再構成値の間のＳＡＤを計算し、ＳＡＤの昇順に従って対応する組み合わせをソートし、Ｎ×Ｍ個の組み合わせのうちＳＡＤが比較的小さいＫ個の組み合わせを、ＳＡＤの昇順でＴＭＲＬモードの候補リストに記入し、Ｎ×Ｍ≧２が満たされる。
【0137】
ＴＭＲＬモードの候補リストの構築は、エンコーダーとデコーダーの両方が実行する必要がある操作である。エンコーディング側では、現在のブロックのために選択された組み合わせが候補リストにあるなどのエンコーディング条件が満たされている場合、ＴＭＲＬモードフラグをエンコードすることでＴＭＲＬモードを使用することを示す。また、ＴＭＲＬモードインデックスは、選択された組み合わせの、候補リストにある位置に基づいて確定される。例えば、１番目の位置にあれば、ＴＭＲＬモードインデックスが０であり、２番目の位置にあれば、ＴＭＲＬモードインデックスが１であるというように確定される。ＴＭＲＬモードインデックスは、ゴロム・ライス（Ｇｏｌｏｍｂ－Ｒｉｃｅ）コーディング法を用いてエンコードされてもよいが、これに限定されない。
【0138】
以下、Ｎ＝５、Ｍ＝６、Ｋ＝１２の例をもって説明する。事前定義の５つの拡張参照ラインのインデックスが｛１，３，５，７，１２｝であり、６つのイントラ予測モードが一歩一歩選択される。
【0139】
本実施形態のビデオデコーディング方法は、ステップ１～ステップ３の内容を含む。
【0140】
ステップ１：ＴＭＲＬモードに関連するシンタックスエレメントをデコードする。
デコーダーによって解析されるイントラ予測モードの関連シンタックスエレメントは、ＴＩＭＤ、ＭＲＬなどのモードの関連シンタックスエレメントを含む。本実施形態で提供されるＴＭＲＬモードは、ＭＲＬモードの発展型と考えることができ、ＴＭＲＬモードのシンタックスエレメントは、ＭＲＬモードのシンタックスエレメントの一部と考えることもできる。もちろん、両方は異なる２種のモードと考えることもできる。
デコーダーによって解析されるイントラ予測モードの関連シンタックスエレメントは、ＴＩＭＤ、ＭＲＬなどのモードの関連シンタックスエレメントを含む。本実施形態で提供されるＴＭＲＬモードは、ＭＲＬモードの発展型と考えることができ、ＴＭＲＬモードのシンタックスエレメントは、ＭＲＬモードのシンタックスエレメントの一部と考えることもできる。もちろん、両方は異なる２種のモードと考えることもできる。
【0141】
現在のブロックに対してＴＩＭＤモードを使用する場合、ＭＲＬモードのシンタックスエレメントに対するデコーディング方式に変更はない。現在のブロックに対してＴＩＭＤモードを使用しない場合、ＴＭＲＬモードのシンタックスエレメントをデコードする必要がある。次の表に示すように、現在のブロックのために関連シンタックスをデコードする。
【0142】
【表2】
【0143】
表中の「cu_tmrl_flag」即ちＴＭＲＬモードフラグであり、「cu_tmrl_flag」が１に等しいのは、現在のブロックに対してＴＭＲＬモードを使用することを示し、すなわち、現在の輝度サンプルのイントラ予測モードのタイプがテンプレートベースのマルチ参照ラインイントラ予測モードであることを定義する。「cu_tmrl_flag」が０に等しいのは、現在のブロックに対してＴＭＲＬモードを使用しないことを示し、すなわち、現在の輝度サンプルのイントラ予測モードのタイプがテンプレートベースのマルチ参照ラインイントラ予測モードではないことを定義する。
【0144】
表中の「tmrl_idx」すなわちＴＭＲＬモードインデックスは、現在のブロックのために選択された拡張参照ラインとイントラ予測モードの組み合わせの、ＴＭＲＬモードの候補リストにおける位置を示し、ＴＭＲＬモードの順序付けられた候補リストにおける、選択された組み合わせのインデックス（組み合わせの位置を示すインデックス）を定義するとも言える。「tmrl_idx」は、ゴロム・ライスコーディング法を用いてエンコード及びデコードすることができ、ここでは説明を繰り返さない。
【0145】
上の表から分かるように、cu_tmrl_flagをデコードする前に、現在のブロックに対してＭＲＬを使用できること（すなわち、sps_mrl_enabled_flagが１であることが成立するか否か）、現在のブロックがＣＴＵの上部境界に位置しないこと（すなわち、（ y0 % CtbSizeY ) > 0が成立するか否か）、現在のブロックに対してＴＩＭＤを使用しないこと、という条件が成立するか否かをまず判断する。これらの条件が成立している場合、cu_tmrl_flagをデコードする。他の２つの条件が成立するが、現在のブロックに対してＴＩＭＤを使用する場合、現在のブロックのマルチ参照ラインインデックスintra_luma_ref_idxをデコードする。
【0146】
表中のＩＳＰモードフラグ（intra_subpartitions_mode_flag）は、ＴＭＲＬモード関連のシンタックスエレメントの後にデコードされる。現在のブロックに対してＴＭＲＬモードを使用しない（!cu_tmrl_flagが成立する）場合、intra_subpartitions_mode_flagをデコードする。同様に、現在のブロックに対してＴＭＲＬモードを使用しない（!cu_tmrl_flagが成立する）場合、ＭＰＭ関連のシンタックスエレメントをデコードする。
【0147】
ステップ２：ＴＭＲＬモードの候補リストを構築し、ＴＭＲＬモードインデックス及び候補リストに基づいて、現在のブロックのために選択された拡張参照ライン及びイントラ予測モードを確定する。
解析段階の終了後、現在のブロックを予測する前、現在のブロックに対してＴＭＲＬモードを使用する場合、ＴＭＲＬモードの候補リストを構築する必要があり、ＴＭＲＬモードインデックスと候補リストに基づいて、現在のブロックのために選択された拡張参照ラインとイントラ予測モードを確定する。
解析段階の終了後、現在のブロックを予測する前、現在のブロックに対してＴＭＲＬモードを使用する場合、ＴＭＲＬモードの候補リストを構築する必要があり、ＴＭＲＬモードインデックスと候補リストに基づいて、現在のブロックのために選択された拡張参照ラインとイントラ予測モードを確定する。
【0148】
ＴＭＲＬモードの候補リストを構築するには、まず、候補の拡張参照ラインを確定し、候補のイントラ予測モードを確定する必要がある。
【0149】
【0150】
候補の拡張参照ラインは、事前定義の拡張参照ラインから選択される。画像内の現在のブロックの位置に基づいて、事前定義の拡張参照ラインのうちの使用できる拡張参照ラインを確定する。原則として、現在のブロックに対して使用可能な上方参照ラインは、ＣＴＵの上部境界を超えないようにする。一例では、インデックスが｛１，３，５，７，１２｝である拡張参照ラインのうち、ＣＴＵの境界を超えない全ての拡張参照ラインを候補の拡張参照ラインに加える。また、コーディング性能を向上させ、又は複雑さを低減させるために、より多い又はより少ない拡張参照ラインを使用することもできる。
【0151】
【0152】
本実施形態では、ＴＭＲＬモードとＭＰＭをバインディングする代わりに（他の実施形態でバインディングしてもよく）、イントラ予測モードの候補リストを構築し、この候補リストから組み合わせに使用されるイントラ予測モードを選択する。候補リストは、以下の方法で導出される。
【0153】
まず、従来の６７種類の予測モードから、ＰｌａｎａｒモードとＤＣモードを除去し、又はＰｌａｎａｒモードのみを除去してＤＣモードを残す。除去されたモードは、候補リストに加えられなく、即ちＴＭＲＬモードのうち、組み合わせに参加するイントラ予測モードとされない。
【0154】
本実施形態では、構築しようとする候補予測モードリストの長さは６である。まず、現在のブロックの周囲の５つの近隣位置にある予測ブロックに使用されるイントラ予測モードから、重複しないイントラ予測モードを順番に選択して、候補予測モードリストに加える。次に、リストに記入されたモードに対して角度モードの拡張操作を行う。具体的には、角度モードに対して、１を加算する操作及び１を減算する操作を行うことができ、重複しない拡張後の角度モードを選択して順番に候補予測モードリストに加え、候補リストに記入されたモード数が６に達すると、充填することを停止する。
【0155】
１を加算する操作及び１を減算する操作の具体的な内容を下表に示す。
【0156】
【表3】
【0157】
上記「角度モード－１」とは、記入された角度モードのインデックスから１を減算した角度モードを指し、例えば、記入された角度モードがモード３である場合、「角度モード－１」は角度モード２となる。上記「角度モード＋１」とは、記入された角度モードのインデックスに１を加算した角度モードを指し、例えば、記入された角度モードがモード３である場合、「角度モード＋１」は角度モード４となる。
【0158】
そして、「角度モード－１」が角度モード２よりも小さい場合、例えば、「角度モード－１」から「角度モード１」を得る（角度モードのインデックスが２から番号付けされ、「角度モード１」は存在しない）場合、「角度モード－１」と反対方向の角度モードを選択し、合計６５種類の角度モードがあると仮定して、このとき、「角度モード－１」と反対方向の角度モードは即ち角度モード６６である。そして、「角度モード＋１」が角度モード６６よりも大きい場合、類似的に、「角度モード＋１」と反対方向の角度モードを選択する。例えば、記入された角度モードが角度モード６６であり、「角度モード＋１」は存在せず、このとき選択される「角度モード＋１」と反対方向の角度モードは即ち角度モード２である。
【0159】
上記の角度モードの拡張は、角度モードに対して１を加算する操作及び１を減算する操作を行うことである。他の実施形態では、１を加算する操作及び１を減算する操作を、１を加算する操作及び１を減算する操作からＸを加算する操作及びＸを減算する操作まで拡張することも可能である。Ｘ＝３と仮定すると、候補予測モードリストが埋まるようになるまで、角度モードに対して、１を加算する操作及び１を減算する操作、２を加算する操作及び２を減算する操作、３を加算する操作及び３を減算する操作を行うことが可能である。
【0160】
リストに記入されたモードに対して角度モードの拡張操作を行った後、候補予測モードリストがまだ埋まるようになっていない場合、候補予測モードリストが埋まるようになるまで、事前定義のモード集合の中の重複しないモードを用いてリストを充填する。モード集合には、以下のような、統計的法則に従って選択されたいくつかの角度モードが含まれる。
mpm_default[] = { DC_IDX, VER_IDX, HOR_IDX, VER_IDX - 4, VER_IDX + 4, 14, 22, 42, 58, 10, 26, 38, 62, 6, 30, 34, 66, 2, 48, 52, 16 };
ここで、DC_IDXはＤＣモードを表し、VER_IDXは垂直モードを表し、HOR_IDXは水平モードを表し、残りの数字はその数字に対応する角度モードを表す。
mpm_default[] = { DC_IDX, VER_IDX, HOR_IDX, VER_IDX - 4, VER_IDX + 4, 14, 22, 42, 58, 10, 26, 38, 62, 6, 30, 34, 66, 2, 48, 52, 16 };
ここで、DC_IDXはＤＣモードを表し、VER_IDXは垂直モードを表し、HOR_IDXは水平モードを表し、残りの数字はその数字に対応する角度モードを表す。
【0161】
本実施形態では、候補予測モードリストの長さを６としているが、性能の観点からより多くの角度モードを試すために、長さを６より大きい値に設定することも可能であり、また、複雑さを軽減するためにより少ないモードを試して、長さを６より小さい値に設定してもよい。
【0162】
本実施形態では、候補イントラ予測モードを確定する際、ＰｌａｎａｒモードとＤＣモードを除外し、又はＰｌａｎａｒモードのみを除外しているが、複雑性を考慮しない場合には、この２つのモードを除外しなくてもよく、すなわち、Ｐｌａｎａｒモード、ＤＣモード、及び全ての角度モードが候補イントラ予測モードとして拡張参照ラインとの組み合わせに参加してもよい。
【0163】
【0164】
候補の拡張参照ラインとイントラ予測モードを確定した後、拡張参照ラインリストと候補予測モードリストにある全ての組み合わせを１つずつ試すことができ、これらの組み合わせの各々に基づいて、図８Ａを参照して、ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ０が位置するラインのテンプレート（Ｔｅｍｐｌａｔｅ、次の図に示される）領域を予測し、テンプレート領域の再構成値と各組み合わせに基づく予測から得られた予測値との間の誤差を計算し、誤差の最も小さいＫ個の組み合わせを、誤差の昇順でＴＭＲＬモードの候補リストに記入する。
【0165】
本実施形態の予測処理では、現在のブロックがＣＴＵの第１行を占める場合にのみ、ＴＭＲＬモードの使用を制限する。現在のブロックが画像の左境界に位置する場合、依然としてＴＭＲＬモードを使用することができる。この場合、左側のｒｅｆｅｒｅｎｃｅ ｌｉｎｅ０は既に画像境界の外側にあるため、左側テンプレートは予測に使用されず、すなわち、上方テンプレート領域のみを予測する。
【0166】
テンプレート領域上の予測処理は、他の通常のイントラ角度予測処理と全く同じであることができる。すなわち、まず参照ラインの再構成値をフィルタリングし、その結果をテンプレート領域の初期予測値として使用し、フィルタリングされた参照ラインの再構成値と組み合わせにおけるイントラ予測モードに基づいてテンプレート領域を予測した後、初期予測結果に対して４タップ又は６タップフィルタリングを行い、その結果を予測によって得られた予測値として使用する。なお、演算の複雑さを考慮して、参照ラインの再構成値をフィルタリングするステップを省略してもよく、タップの比較的短いフィルタを用いてもよい。本実施形態では、予測によってテンプレート領域の予測値を取得する際に、参照ラインの画素の再構成値をフィルタリングしなく、初期予測結果に対して非整数の角度で１／３２精度を有する４タップ補間フィルタリングを行う。
【0167】
最後に、現在の組み合わせにおける角度及び参照ライン、並びにフィルタに基づいて、テンプレート領域を予測する。予測から得られたテンプレート領域の予測値とテンプレート領域の再構成値との間のＳＡＤを計算し、ＳＡＤの昇順でソートし、最小のＳＡＤを有する１２個の組み合わせを選択してＴＭＲＬモードの候補リストに記入する。
【0168】
ソート処理では、高速なアルゴリズムを使用することができ、上記の処理では、５つの参照ラインと６種類の予測モードとの合計３０種類の組み合わせを試す必要があるが、その中のＳＡＤが最小である１２個の組み合わせのみを選択すればよく、本実施形態では、前の１２個の組み合わせに基づいた予測を完成して対応するＳＡＤを取得した後、１３番目の組み合わせから、誤差（コストと呼んでもよい）が最小となる１２個の組み合わせを維持して更新すればよい。１３番目の組み合わせから、上方テンプレート領域のみを予測し且つ対応するＳＡＤを計算し、上テンプレートに基づいて計算されたＳＡＤが、誤差が最小の１２個の組み合わせの中の誤差が最大の１つの組み合わせよりも既に大きい場合、左側テンプレート領域の予測と誤差計算をスキップすることができ、具体的に、前の実施形態を参照することができる。
【0169】
ステップ３：構築されたＴＭＲＬモードの候補リストとデコーディングによって得られたＴＭＲＬモードインデックスに基づいて、現在のブロックのために選択される拡張参照ラインとイントラ予測モードの組み合わせを確定し、選択された組み合わせに基づいて現在のブロックに対してイントラ予測が実行される。
【0170】
【0171】
ＥＣＭ－４．０参照ソフトウェアにおいて、本実施形態で説明した方法を用いて、Ｎ＝５（５つの拡張参照ラインはそれぞれ１、３、５、７、１２である）、Ｍ＝６（ＰｌａｎａｒモードとＤＣモードを含まない事前定義された６つの予測モード）、Ｋ＝１２（全ての組み合わせにおける、ＳＡＤが小さい前の１２個の組み合わせのみを選択する）の設定で、ＡＩ配置での測定結果は以下の通りである。
【0172】
【表4】
【0173】
Ｎ＝５（５つの拡張参照ラインはそれぞれ１、３、５、７、１２である）、Ｍ＝８（事前定義された８つの予測モード）、Ｋ＝１６の設定で、ＡＩ配置での測定結果は以下の通りである。
【0174】
【表5】
【0175】
Ｎ＝５（５つの拡張参照ラインはそれぞれ１、３、５、７、１２である）、Ｍ＝１２（事前定義された１２個の予測モード）、Ｋ＝２４の設定で、ＡＩ配置での測定結果は以下の通りである。
【0176】
【表6】
【0177】
Ｎ＝５（５つの拡張参照ラインはそれぞれ１、３、５、７、１２である）、Ｍ＝８（Ｐｌａｎａｒモードを含まないが、ＤＣモードを含む事前定義された８つの予測モード）、Ｋ＝１６の設定で、ＡＩ配置での測定結果は以下の通りである。
【0178】
【表7】
【0179】
表中のパラメーターの意味は以下の通りである。
【0180】
ＥｎｃＴ：Ｅｎｃｏｄｉｎｇ Ｔｉｍｅ即ちエンコーディング時間である。１０Ｘ％は、参照ラインソート技術が統合された場合、統合前に比べて、エンコーディング時間が１０Ｘ％であることを表し、エンコーディング時間がＸ％増加したことを意味する。
【0181】
ＤｅｃＴ：Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ即ちデコーディング時間である。１０Ｘ％は、参照ラインソート技術が統合された場合、統合前に比べて、デコーディング時間が１０Ｘ％であることを表し、デコーディング時間がＸ％増加したことを意味する。
【0182】
ＣｌａｓｓＡ１とＣｌａｓｓＡ２は解像度３８４０×２１６０のテストビデオシーケンスであり、ＣｌａｓｓＢは解像度１９２０×１０８０のテストシーケンスであり、ＣｌａｓｓＣは解像度８３２×４８０のテストシーケンスであり、ＣｌａｓｓＤは解像度４１６×２４０のテストシーケンスであり、ＣｌａｓｓＥは解像度１２８０×７２０のテストシーケンスであり、ＣｌａｓｓＦは異なる解像度を持ついくつかのスクリーンコンテンツ（Ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ）のシーケンスである。
【0183】
【0184】
Ａｌｌ ｉｎｔｒａは、全てがイントラフレームであるテスト配置を示す。
【0185】
これから分かるように、本実施形態のＴＭＲＬモードを用いてイントラ予測コーディングを行うことにより、コーディング性能を大幅に向上させることができる。
【0186】
この実施形態では、拡張参照ラインと予測モードの両方に対して、１行１列のテンプレート領域が使用され、ＳＡＤの昇順でソート及び選択が行われている。拡張参照ラインについては、全ての拡張参照ライン（ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ１を含む）をソートすれば、１行１列のテンプレートしか使用できない。しかし、予測モードの選択については、より適切な予測モードを選択するために、ＴＩＭＤモードの場合のようにより多くの参照ラインを使用することができ、これにより、より正確な結果を得ることができる。他の実施形態では、ＴＭＲＬモードに基づいて候補予測モードリストを確定する方法を変えることもできる。
【0187】
例えば、長さが６である候補予測モードリストを構築する必要があるとき、本実施形態と同様の構築方法及び充填方法に従って、まず長さが６より大きいリストを構築し、その後、現在のブロックに最も近い４行４列をテンプレートとし、５番目の参照ラインと候補予測モードリスト内のイントラ予測モードを用いてテンプレートを予測し、予測に得られた予測値とテンプレートの再構成値との誤差（ＳＡＤ又はＳＡＴＤ）を算出し、誤差の昇順でソートし、誤差が小さい６個のイントラ予測モードを選択して、それらを構築しようとする長さが６のＴＭＲＬモードの候補リスト内のイントラ予測モードとすることができる。また、ＴＭＲＬモードの候補リストの長さが６であるのは一例にすぎず、状況に応じて数値を調整することができる。
【0188】
本実施形態は６５種類の角度モードを例示したが、他の実施形態では、より良い性能を得るために角度を１２９種類以上に拡張することが可能であり、より多くの角度に拡張する場合、イントラ予測のためのフィルタ数を適宜増やす必要もあり、例えば、１２９種類の角度の場合１／６４精度のフィルタリングを使用する。
【0189】
一実施形態では、さらにイントラ予測融合（ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｆｕｓｉｏｎ、ＩＰＦ）技術を提供する。ＩＰＦにおいては、ある角度モードでは２つの隣接する参照ラインを使用して得られた予測結果に対して重み付けを行って、現在のブロックの最終的な予測結果を得ることを許可する。重み付けを行う方式は次の式の通りである。
【数3】
【0190】
【0191】
現在のブロックに対してＩＰＦを使用する場合、上記融合した後の予測結果を現在のブロックの最終的な予測結果とする。
【0192】
本実施形態では、ＩＰＦが使用されるか（すなわちアクティブにされるか）を示すフラグは設定されていないが、デフォルトでは、以下の条件が満たされたときに、即ち、
現在のブロックのために選択された角度モードは整数傾きの角度モードではないこと、
現在のブロックの幅と高さの積は１６より大きいこと、
現在のブロックに対してＩＳＰモードが選択されていないこと、
という条件が満たされたときに、現在のブロックのために選択された角度モードに対してＩＰＦがアクティブにされる。
現在のブロックのために選択された角度モードは整数傾きの角度モードではないこと、
現在のブロックの幅と高さの積は１６より大きいこと、
現在のブロックに対してＩＳＰモードが選択されていないこと、
という条件が満たされたときに、現在のブロックのために選択された角度モードに対してＩＰＦがアクティブにされる。
【0193】
言い換えれば、以下の制約条件のうちの少なくとも１つが成立した場合、即ち、
現在のブロックのために選択された角度モードは整数傾きの角度モードであること、
現在のブロックの幅と高さの積は１６以下であること、
現在のブロックに対してＩＳＰモードが選択されたこと、
という制約条件のうちの少なくとも１つが成立した場合、ＩＰＦの使用は許可されない。
現在のブロックのために選択された角度モードは整数傾きの角度モードであること、
現在のブロックの幅と高さの積は１６以下であること、
現在のブロックに対してＩＳＰモードが選択されたこと、
という制約条件のうちの少なくとも１つが成立した場合、ＩＰＦの使用は許可されない。
【0194】
ここで、角度モードの角度値（ｉｎｔｒａＰｒｅｄＡｎｇｌｅ）を３２で割った余りが０である場合、この角度モードは整数傾き（ｉｎｔｅｇｅｒ ｓｌｏｐｅ）の角度モードであり、intraPredAngleと角度モードの対応は上記の表１に示される。
【0195】
現在のモードがＩＰＦの使用条件を満たす場合、現在のブロックのために選択されたイントラ予測モードは、ＤＩＭＤを使用して選択されたＤＩＭＤ融合モード（ｐｌａｎａｒモードと２つの角度モードに基づいて融合する）である可能性があり、ＴＩＭＤを使用して選択されたＴＩＭＤ融合モードである可能性もある。ハードウェアの実現から言えば、融合は少ないほど良く、ＤＩＭＤ融合モードを選択したときには、すでに３つのイントラ予測結果が現在のブロックに対する融合に用いられ、さらにＩＰＦを使用すれば、多すぎる融合は予測段階の複雑さを増加させる。
【0196】
本願の一実施形態は、エンコーダーにもデコーダーにも適用可能なイントラ予測融合方法を提供し、図１０に示すように、この方法は次の内容を含む。
ステップ４１０において、現在のブロックに対して選択されたイントラ予測モードが角度モードを含む場合、現在のブロックに対してＩＰＦを使用する制約条件が成立するか否かを確定する。
ステップ４３０において、制約条件のうちの少なくとも１つが成立する場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を制約する。
本ステップでは、現在のブロックに対してイントラ予測を行う際にＩＰＦの使用を制約することは、ＩＰＦの使用を許可しないことであってもよく、選択されたイントラ予測モードにＩＰＦの使用条件を満たす複数の角度モードが含まれる場合には、その中の一部の角度モードのみに対してＩＰＦを許可することであってもよい。一例では、ＩＰＦの使用条件を満たす角度モードは、整数傾きの角度モードではない角度モードを指し、または角度が－４５°、０°、４５°、９０°、１３５°以外の角度モードを指す。
ステップ４１０において、現在のブロックに対して選択されたイントラ予測モードが角度モードを含む場合、現在のブロックに対してＩＰＦを使用する制約条件が成立するか否かを確定する。
ステップ４３０において、制約条件のうちの少なくとも１つが成立する場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を制約する。
本ステップでは、現在のブロックに対してイントラ予測を行う際にＩＰＦの使用を制約することは、ＩＰＦの使用を許可しないことであってもよく、選択されたイントラ予測モードにＩＰＦの使用条件を満たす複数の角度モードが含まれる場合には、その中の一部の角度モードのみに対してＩＰＦを許可することであってもよい。一例では、ＩＰＦの使用条件を満たす角度モードは、整数傾きの角度モードではない角度モードを指し、または角度が－４５°、０°、４５°、９０°、１３５°以外の角度モードを指す。
【0197】
本文では、ある制約条件が成立した場合にＩＰＦの使用を許可しないことは、現在のブロックを予測する際にＩＰＦを使用しない十分条件である。一方、ある制約条件が成立しない場合にＩＰＦの使用を許可することは、現在のブロックを予測する際にＩＰＦを使用する必要条件であり、他の制約条件が成立すれば、ＩＰＦの使用を許可しない可能性が依然としてある。
【0198】
本願の例示的な実施形態において、制約条件は、次のモード数制約条件を含み、モード数制約条件は、ＩＰＦの使用により、現在のブロックを予測するにはＮ個以上のイントラ予測モードを融合する必要があり、Ｎは３以上の整数であるということである。
【0199】
本実施形態の一例では、Ｎが３であるとき、現在のブロックに対して選択されたイントラ予測モードが角度モードを含む場合、現在のブロックに対してＩＰＦを使用する制約条件が成立するか否かを確定し、制約条件のうちの少なくとも１つが成立する場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を制約することは、次の内容を含む。
現在のブロックに対してＴＩＭＤ融合モードが選択され、且つＩＰＦの使用条件を満たす２つの角度モードがＴＩＭＤ融合に用いられる場合、モード数制約条件が成立すると確定し、現在のブロックに対してイントラ予測を実行する際に２つの角度モードのうちの１つのみに対してＩＰＦを実行することを許可する。
現在のブロックに対してＴＩＭＤ融合モードが選択され、且つＴＩＭＤ融合に用いられる２つのイントラ予測モードのうちの１つのみが、ＩＰＦの使用条件を満たす角度モードである場合、モード数制約条件が成立しないと確定し、現在のブロックに対してイントラ予測を実行する際にこの角度モードに対してＩＰＦを実行することを許可する。
現在のブロックに対してＴＩＭＤ融合モードが選択され、且つＩＰＦの使用条件を満たす２つの角度モードがＴＩＭＤ融合に用いられる場合、モード数制約条件が成立すると確定し、現在のブロックに対してイントラ予測を実行する際に２つの角度モードのうちの１つのみに対してＩＰＦを実行することを許可する。
現在のブロックに対してＴＩＭＤ融合モードが選択され、且つＴＩＭＤ融合に用いられる２つのイントラ予測モードのうちの１つのみが、ＩＰＦの使用条件を満たす角度モードである場合、モード数制約条件が成立しないと確定し、現在のブロックに対してイントラ予測を実行する際にこの角度モードに対してＩＰＦを実行することを許可する。
【0200】
本願の例示的な実施形態において、制約条件は、次のモード数制約条件を含み、モード数制約条件は、ＩＰＦの使用により、現在のブロックを予測するにはＭ個以上の角度モードを融合する必要があり、Ｍは２以上である整数であるということである。
【0201】
本実施形態の一例では、Ｍが３であるとき、現在のブロックに対して選択されたイントラ予測モードが角度モードを含む場合、現在のブロックに対してＩＰＦを使用する制約条件が成立するか否かを確定し、制約条件のうちの少なくとも１つが成立する場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を制約することは、次の内容を含む。
現在のブロックに対してＴＩＭＤ融合モードが選択され、且つＩＰＦの使用条件を満たす２つの角度モードがＴＩＭＤ融合に用いられる場合、モード数制約条件が成立すると確定し、現在のブロックに対してイントラ予測を実行する際に２つの角度モードのうちの１つのみに対してＩＰＦを実行することを許可する。例えば、２つの角度モードのうちのコストが最も小さいまたはコストが２番目に小さい角度モードのみに対してＩＰＦを実行することを許可する。
現在のブロックに対してＴＩＭＤ融合モードが選択され、且つＴＩＭＤ融合に用いられる２つのイントラ予測モードのうちの１つのみが、ＩＰＦの使用条件を満たす角度モードである場合、モード数制約条件が成立しないと確定し、現在のブロックに対してイントラ予測を実行する際にこの角度モードに対してＩＰＦを実行することを許可する。
現在のブロックに対してＴＩＭＤ融合モードが選択され、且つＩＰＦの使用条件を満たす２つの角度モードがＴＩＭＤ融合に用いられる場合、モード数制約条件が成立すると確定し、現在のブロックに対してイントラ予測を実行する際に２つの角度モードのうちの１つのみに対してＩＰＦを実行することを許可する。例えば、２つの角度モードのうちのコストが最も小さいまたはコストが２番目に小さい角度モードのみに対してＩＰＦを実行することを許可する。
現在のブロックに対してＴＩＭＤ融合モードが選択され、且つＴＩＭＤ融合に用いられる２つのイントラ予測モードのうちの１つのみが、ＩＰＦの使用条件を満たす角度モードである場合、モード数制約条件が成立しないと確定し、現在のブロックに対してイントラ予測を実行する際にこの角度モードに対してＩＰＦを実行することを許可する。
【0202】
本実施形態の一例では、Ｍが３であるとき、現在のブロックに対して選択されたイントラ予測モードが角度モードを含む場合、現在のブロックに対してＩＰＦを使用する制約条件が成立するか否かを確定し、制約条件のうちの少なくとも１つが成立する場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を制約することは、次の内容を含む。
現在のブロックに対してＤＩＭＤ融合モードが選択され、且つＩＰＦの使用条件を満たす２つの角度モードがＤＩＭＤ融合に用いられる場合、モード数制約条件が成立すると確定し、現在のブロックに対してイントラ予測を実行する際に２つの角度モードのうちの１つのみに対してＩＰＦを実行することを許可する。例えば、２つの角度モードのうち振幅値が最も高いまたは次に高い角度モードのみに対してＩＰＦを許可する。
現在のブロックに対してＤＩＭＤ融合モードが選択され、且つＤＩＭＤ融合に用いられる２つの角度モードのうちの１つのみが、ＩＰＦの使用条件を満たす角度モードである場合、モード数制約条件が成立しないと確定し、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用条件を満たす角度モードに対してＩＰＦを実行することを許可する。
現在のブロックに対してＤＩＭＤ融合モードが選択され、且つＩＰＦの使用条件を満たす２つの角度モードがＤＩＭＤ融合に用いられる場合、モード数制約条件が成立すると確定し、現在のブロックに対してイントラ予測を実行する際に２つの角度モードのうちの１つのみに対してＩＰＦを実行することを許可する。例えば、２つの角度モードのうち振幅値が最も高いまたは次に高い角度モードのみに対してＩＰＦを許可する。
現在のブロックに対してＤＩＭＤ融合モードが選択され、且つＤＩＭＤ融合に用いられる２つの角度モードのうちの１つのみが、ＩＰＦの使用条件を満たす角度モードである場合、モード数制約条件が成立しないと確定し、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用条件を満たす角度モードに対してＩＰＦを実行することを許可する。
【0203】
本実施形態の一例では、Ｍが２であるとき、現在のブロックに対して選択されたイントラ予測モードが角度モードを含む場合、現在のブロックに対してＩＰＦを使用する制約条件が成立するか否かを確定し、制約条件のうちの少なくとも１つが成立する場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を制約することは、次の内容を含む。
現在のブロックに対してＴＩＭＤ融合モードが選択され、且つ２つの角度モードがＴＩＭＤ融合に用いられる場合、モード数制約条件が成立すると確定し、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を許可しない。
現在のブロックに対してＴＩＭＤ融合モードが選択されたとともに、ＴＩＭＤ融合に用いられる２つのイントラ予測モードのうちの１つのみが、角度モードであり且つこの角度モードがＩＰＦの使用条件を満たす場合、モード数制約条件が成立しないと確定し、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用条件を満たす角度モードに対してＩＰＦを実行することを許可する。
現在のブロックに対してＴＩＭＤ融合モードが選択され、且つ２つの角度モードがＴＩＭＤ融合に用いられる場合、モード数制約条件が成立すると確定し、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を許可しない。
現在のブロックに対してＴＩＭＤ融合モードが選択されたとともに、ＴＩＭＤ融合に用いられる２つのイントラ予測モードのうちの１つのみが、角度モードであり且つこの角度モードがＩＰＦの使用条件を満たす場合、モード数制約条件が成立しないと確定し、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用条件を満たす角度モードに対してＩＰＦを実行することを許可する。
【0204】
上記実施形態では、現在のブロックに対してイントラ予測を実行する際に１つの角度モードに対してＩＰＦを実行することを許可することは、２つ以上の予測結果の加重和を現在のブロックの最終的な予測結果とすることを含む。２つ以上の予測結果が、現在のブロックに対して選択された第１参照ラインとこの角度モードに基づいて現在のブロックを予測することによって得られた予測結果と、第１参照ラインと異なる第２参照ラインとこの角度モードに基づいて現在のブロックを予測することによって得られた予測結果とを含む。例えば、第２参照ラインは、第１参照ラインに隣接する参照ラインであってもよく、インデックスが０の参照ラインであってもよい。
【0205】
本願の例示的な実施形態において、制約条件は、以下のいずれか１つ以上を含み、即ち、
制約条件１：現在のブロックに対してＴＩＭＤ融合モードが選択されること、
制約条件２：現在のブロックに対してＤＩＭＤ融合モードが選択されること、
制約条件３：現在のブロックに対してＭＲＬが使用されること、
制約条件４：現在のブロックに対して選択された参照ラインのインデックスがＫ以上であり、Ｋが３以上の整数であること、
制約条件５：現在のブロックの幅が設定値以下であること、
制約条件５：現在のブロックの高さが設定値以下であること、
制約条件７：現在のブロックの幅と高さの積が設定値以下であること、
制約条件８：現在のブロックに対してＩＳＰモードが使用されること、
制約条件９：現在のブロックに対して選択された角度モードの角度が、－４５°、０°、４５°、９０°、１３５°のいずれか１つであり、または、現在のブロックに対して選択された角度モードが、整数傾きの角度モードであること、
制約条件１０：現在のブロックが属する現在のフレームが、インターフレームであること、
制約条件１１：現在のブロックが属する現在の画像が色差（ｃｈｒｏｍａ）画像であり、即ち輝度（ｌｕｍａ）画像のみに対してＩＰＦを使用し、色差画像に対してＩＰＦを使用しないこと、
という条件のいずれか１つ以上を含み、
制約条件１～制約条件１１のうちの少なくとも１つが成立する場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を許可しない。
制約条件１：現在のブロックに対してＴＩＭＤ融合モードが選択されること、
制約条件２：現在のブロックに対してＤＩＭＤ融合モードが選択されること、
制約条件３：現在のブロックに対してＭＲＬが使用されること、
制約条件４：現在のブロックに対して選択された参照ラインのインデックスがＫ以上であり、Ｋが３以上の整数であること、
制約条件５：現在のブロックの幅が設定値以下であること、
制約条件５：現在のブロックの高さが設定値以下であること、
制約条件７：現在のブロックの幅と高さの積が設定値以下であること、
制約条件８：現在のブロックに対してＩＳＰモードが使用されること、
制約条件９：現在のブロックに対して選択された角度モードの角度が、－４５°、０°、４５°、９０°、１３５°のいずれか１つであり、または、現在のブロックに対して選択された角度モードが、整数傾きの角度モードであること、
制約条件１０：現在のブロックが属する現在のフレームが、インターフレームであること、
制約条件１１：現在のブロックが属する現在の画像が色差（ｃｈｒｏｍａ）画像であり、即ち輝度（ｌｕｍａ）画像のみに対してＩＰＦを使用し、色差画像に対してＩＰＦを使用しないこと、
という条件のいずれか１つ以上を含み、
制約条件１～制約条件１１のうちの少なくとも１つが成立する場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を許可しない。
【0206】
本実施形態の一例では、制約条件は、制約条件４を含み、Ｋが３、または５、または７、または１２である。
【0207】
本願の上記実施形態では、ＩＰＦの使用を制約し、例えば、本実施形態では、融合に用いられるイントラ予測モードの数を制約することができ、融合に用いられる角度モードの数を制約することができ、ＩＰＦと、ＴＩＭＤ、ＤＩＭＤなどの、複数のモードが融合される可能性のある予測モードとの同時使用を制約することができるなど、これらにより、予測時に多すぎる融合を行って予測段階の複雑さが不適切に増加することを回避することができる。
【0208】
本実施形態では、現在のブロックのサイズを制限することができ、現在のブロックのサイズが設定値より大きい場合にＩＰＦを使用する。これは、現在のブロックがあるサイズより小さい場合に、通常、より多くのテクスチャがあり、融合予測を使用すると性能の向上が限定的であるためである。本実施形態では、現在のブロックのために選択された参照ラインのインデックスがＫ以上の場合にＩＰＦの使用を許可せず、すなわち、現在のブロックのために選択された拡張参照ラインが現在のブロックから比較的遠い場合にＩＰＦの使用を許可せず、この場合にＩＰＦの使用による性能の向上が限定的である。
【0209】
本実施形態ではＩＰＦとＭＲＬの同時使用を制約することで、計算の複雑さを減らすことができる。本実施形態では、現在のフレームがＢフレーム、Ｐフレームなどのインターフレームである場合にＩＰＦの使用を許可しないことにより、インターフレームコーディングのコストを低減することができる。
【0210】
本願の例示的な一実施形態例において、上記方法は、制約条件のすべてが成立しない場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用することをさらに含む。
現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用することは、現在のブロックに対して選択されたイントラ予測モードが、１つのみであり且つ角度モードである場合、第１予測結果と第２予測結果の加重和を現在のブロックの最終的な予測結果とすることを含む。第１予測結果は、現在のブロックに対して選択された第１参照ラインと現在のブロックに対して選択された第１角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、第２予測結果は、第２参照ラインと第１角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、第２参照ラインは、第１参照ラインの隣接ラインまたはインデックスが０である参照ラインである。
現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用することは、現在のブロックに対して選択されたイントラ予測モードが、１つのみであり且つ角度モードである場合、第１予測結果と第２予測結果の加重和を現在のブロックの最終的な予測結果とすることを含む。第１予測結果は、現在のブロックに対して選択された第１参照ラインと現在のブロックに対して選択された第１角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、第２予測結果は、第２参照ラインと第１角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、第２参照ラインは、第１参照ラインの隣接ラインまたはインデックスが０である参照ラインである。
【0211】
制約条件のすべてが成立しない場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用する。これは、制約条件のすべてが成立しない場合にのみ、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用が許可されるという意味ではない。例えば、モード数制約条件が成立した場合でも、ＩＰＦの使用条件を満たす一部の角度モードに基づいてＩＰＦを実行することができる。
【0212】
本実施形態の一例では、第１予測結果と第２予測結果の加重和は、数４または数５に従って算出され、
【数4】
【数5】
【0213】
以上の計算方法は演算中に小数が現れることを避けることができ、計算方法の効率を高めることができる。
【0214】
本願の例示的な一実施形態において、上記方法は、制約条件のすべてが成立しない場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用することをさらに含む。現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用することは、現在のブロックに対して選択されたイントラ予測モードが融合モードである場合、３つ以上の予測結果の加重和を現在のブロックの最終的な予測結果とすることを含む。３つ以上の予測結果は、現在のブロックに対して選択された第１参照ラインと融合モードにおけるイントラ予測モードの各々に基づいて、現在のブロックを予測することによって得られた複数の予測結果と、融合モードにおけるＩＰＦが許可される１つまたは複数の角度モードと第２参照ラインに基づいて、現在のブロックを予測することによって得られた１つまたは複数の予測結果とを含む。第２参照ラインは、第１参照ラインの隣接ラインまたはインデックスが０である参照ラインである。
【0215】
本願の上記実施形態では、第１予測結果と第２予測結果の加重和を算出する際に、第１予測結果に与えられる重みは、第２予測結果に与えられる重みより大きい。例えば、第１参照ラインはインデックスが１の参照ラインであり、第２参照ラインはインデックスが０の参照ラインである場合、第１予測結果の重みを３／４に設定し、第２予測結果の重みを１／４に設定する。
【0216】
本願の上述の実施形態では、第１参照ラインのインデックスがＫ以上である場合、第２参照ラインは、第１参照ラインに隣接し、且つ第１参照ラインより現在のブロックに近く、Ｋは１以上の整数である。
【0217】
例えば、第２参照ラインは、以下の方式のうちの少なくとも１つに基づいて決定することができる。
第１参照ラインのインデックスが１である場合、第２参照ラインのインデックスが０であると確定する。
第１参照ラインのインデックスが３である場合、第２参照ラインのインデックスが２であると確定する。
第１参照ラインのインデックスが５である場合、第２参照ラインのインデックスが４であると確定する。
第１参照ラインのインデックスが７である場合、第２参照ラインのインデックスが６であると確定する。
第１参照ラインのインデックスが１２である場合、第２参照ラインのインデックスは１１であると確定する。
第１参照ラインのインデックスが１である場合、第２参照ラインのインデックスが０であると確定する。
第１参照ラインのインデックスが３である場合、第２参照ラインのインデックスが２であると確定する。
第１参照ラインのインデックスが５である場合、第２参照ラインのインデックスが４であると確定する。
第１参照ラインのインデックスが７である場合、第２参照ラインのインデックスが６であると確定する。
第１参照ラインのインデックスが１２である場合、第２参照ラインのインデックスは１１であると確定する。
【0218】
第１参照ラインのインデックスがＫ以上の場合、第２参照ラインを、第１参照ラインに隣接し且つ第１参照ラインよりも現在のブロックに近い参照ラインに設定することで、第２参照ラインに基づく現在のブロックの予測の正確さを向上させ、ひいては融合後の予測結果の正確さを向上させることができる。
【0219】
本願の例示的な実施形態では、ＩＰＦはＴＭＲＬモードと同時に使用することができる。すなわち、現在のブロックに対してテンプレートベースのマルチ参照ラインイントラ予測（ｔｅｍｐｌａｔｅ－ｂａｓｅｄ ｍｕｌｔｉｐｌｅ ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ＆ ｉｎｔｒａ＿ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＴＭＲＬ）モードの候補リストにおける１つの拡張参照ラインと１つの角度モードが選択され、且つ制約条件のすべてが成立しない場合、この拡張参照ラインとこの角度モードに基づいて現在のブロックを予測した第１予測結果と、他の参照ラインとこの角度モードに基づいて現在のブロックを予測した第２予測結果とを計算し、第１予測結果と第２予測結果の加重和を現在のブロックの最終的な予測結果とする。上記他の参照ラインは、インデックスが０である参照ラインまたはこの拡張参照ラインの隣接ラインである。
【0220】
本願の一実施形態は、エンコーダーに適用されるビデオエンコーディング方法をさらに提供し、図１１に示すように、この方法は次の内容を含む。
ステップ５１０において、モード選択で現在のブロックに対して選択された参照ラインとイントラ予測モードを確定する。
ステップ５２０において、本願のいずれかの実施形態に記載のイントラ予測融合方法に基づいて現在のブロックを予測して現在のブロックの予測値を得る。
本ステップでは、現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用する場合、現在のブロックの最終的な予測結果に基づいて現在のブロックの予測値を得る。
ステップ５３０において、現在のブロックのオリジナル値と予測値に基づいて、現在のブロックの残差を確定する。
ステップ５１０において、モード選択で現在のブロックに対して選択された参照ラインとイントラ予測モードを確定する。
ステップ５２０において、本願のいずれかの実施形態に記載のイントラ予測融合方法に基づいて現在のブロックを予測して現在のブロックの予測値を得る。
本ステップでは、現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用する場合、現在のブロックの最終的な予測結果に基づいて現在のブロックの予測値を得る。
ステップ５３０において、現在のブロックのオリジナル値と予測値に基づいて、現在のブロックの残差を確定する。
【0221】
本実施形態のビデオエンコーディング方法では、本願のいずれかの実施形態のイントラ予測融合方法を用いて現在のブロックを予測することで、このイントラ予測融合方法の様々な効果を得ることができる。
【0222】
本願の一実施形態は、デコーダーに適用されるビデオデコーディング方法をさらに提供し、図１２に示すように、この方法は次の内容を含む。
ステップ６１０において、ビットストリームをデコードして、現在のブロックに対して選択された参照ラインとイントラ予測モードを確定する。
ステップ６２０において、本願のいずれかの実施形態に記載のイントラ予測融合方法に基づいて現在のブロックを予測して現在のブロックの予測値を得る。
本ステップでは、現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用する場合、現在のブロックの最終的な予測結果に基づいて現在のブロックの予測値を得る。
ステップ６３０において、現在のブロックの予測値に基づいて現在のブロックの再構成値を確定する。
ステップ６１０において、ビットストリームをデコードして、現在のブロックに対して選択された参照ラインとイントラ予測モードを確定する。
ステップ６２０において、本願のいずれかの実施形態に記載のイントラ予測融合方法に基づいて現在のブロックを予測して現在のブロックの予測値を得る。
本ステップでは、現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用する場合、現在のブロックの最終的な予測結果に基づいて現在のブロックの予測値を得る。
ステップ６３０において、現在のブロックの予測値に基づいて現在のブロックの再構成値を確定する。
【0223】
本実施形態のビデオエンコーディング方法では、本願のいずれかの実施形態のイントラ予測融合方法を用いて現在のブロックを予測することで、このイントラ予測融合方法の様々な効果を得ることができる。
【0224】
上記実施形態で用いた、テンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードのイントラ予測方法は、拡張参照ラインとイントラ予測モードの組み合わせに基づいて候補リストを構築し、拡張参照ラインとイントラ予測モードの組み合わせをエンコード及びデコードする予測モードである。ただし、テンプレートに基づいているかどうか、または順番付けをするかどうかにかかわらず、１行の参照ラインを使用して予測する。通常、１行の参照ラインにはノイズが含まれており、予測の正確さに影響する。
【0225】
そのため、本願の一実施形態は、ＴＭＲＬモードに基づいてＩＰＦを使用する方法を提案する。ＴＭＲＬモードに基づいてＩＰＦを使用し、すなわち選択された角度モードに対してＩＰＦを行い、つまり選択された参照ラインとその角度モードに基づいて現在のブロックを予測した結果と、別の参照ラインとその角度モードに基づいて現在のブロックを予測した結果とに重み付けを行って、現在のブロックの最終的な予測結果を得る。異なる参照ラインの予測結果を融合することで、予測の正確さを向上させる。
【0226】
ＴＭＲＬモードに基づいてＩＰＦを使用する場合、現在のブロックに対してＩＰＦを使用するかどうかを示すフラグを設定する必要がなく、エンコーダーとデコーダーによって、約束された条件に基づいて判断することができる。
【0227】
本願の一実施形態では、ＩＰＦはＴＭＲＬモードと同時に使用することができる場合、現在のブロックに対してＴＭＲＬモードの候補リストにおける１つの拡張参照ラインと１つの角度モードが選択され、且つ制約条件のすべてが成立しない場合、この拡張参照ラインとこの角度モードに基づいて現在のブロックを予測した第１予測結果と、他の参照ラインとこの角度モードに基づいて現在のブロックを予測した第２予測結果とを計算し、第１予測結果と第２予測結果の加重和を現在のブロックの最終的な予測結果とする。この他の参照ラインは、インデックスが０である参照ラインまたはこの拡張参照ラインの隣接ラインである。
【0228】
本実施形態では、ＴＭＲＬモードの候補リストを構築する際にもエンコード及びデコードする場合にも、前述の実施形態の方法を使用することができる。その違いは、本実施形態では、現在のブロックの予測値を生成する段階で、選択された角度モードと選択された参照ラインに基づいて生成された予測値と、選択された角度モードと別の参照ラインに基づいて生成された予測値に対して重み付けを行って現在のブロックの最終的な予測値を得るということである。
【0229】
本実施形態では、ＴＭＲＬモードに基づくＩＰＦを制約する。例えば、選択された参照ラインが現在のブロックに近いいくつかの参照ラインである場合にのみＩＰＦを行う。具体的には、参照ラインがｒｅｆｅｒｅｎｃｅ ｌｉｎｅ １であり、または参照ラインがｒｅｆｅｒｅｎｃｅ ｌｉｎｅ １、３であり、または参照ラインがｒｅｆｅｒｅｎｃｅ ｌｉｎｅ １、３、５であり、または参照ラインがｒｅｆｅｒｅｎｃｅ ｌｉｎｅ １、３、５、７であり、または参照ラインがｒｅｆｅｒｅｎｃｅ ｌｉｎｅ １、３、５、７、１２である場合にのみ、融合は許可される。また、現在のブロックのためにある角度モードを使用している場合、ＩＰＦを使用しないように限定することもできる。例えば、角度モードの角度が水平角度、垂直角度、－４５度、４５度、１３５度である場合、ＩＰＦを使用することはできない。また、現在のブロックのサイズがあるサイズ以下の場合、通常、小さいブロックにはより多くのテクスチャがあるため、ＩＰＦすなわち融合予測の使用を許可しなくてもよい。
【0230】
ＴＭＲＬモードに基づいてＩＰＦを使用する場合、ＴＭＲＬモードのシンタックスエレメントにおいて、ＩＰＦを使用するかどうかを表すフラグを追加することもできる。
【0231】
本願の一実施形態は、デコーダーに適用されるビデオデコーディング方法を提供し、図１３に示すように、この方法はステップ７１０～ステップ７３０を含む。
ステップ７１０において、デコーディングにより、現在のブロックに対してテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードが使用されると確定する場合、引き続き現在のブロックのＴＭＲＬモードインデックスとＴＭＲＬ融合フラグをデコードする。
ステップ７２０において、現在のブロックに対してＴＭＲＬモードの候補リストを構築し、候補リストとＴＭＲＬモードインデックスに基づいて、現在のブロックに対して選択された拡張参照ラインとイントラ予測モードを確定する。
本ステップは、前述の実施形態と同じ方法を用いて、候補リストを構築し、現在のブロックのために選択される拡張参照ラインおよびイントラ予測モードを決定することができる。
ステップ７３０において、ＴＭＲＬ融合フラグがイントラ予測融合（ＩＰＦ）が使用されることを示す場合、第１予測結果と第２予測結果の加重和を、現在のブロックの最終的な予測結果とする。
このステップでは、第１予測結果と第２予測結果の加重和は、前述の公式一と公式二から計算することができる。
ステップ７１０において、デコーディングにより、現在のブロックに対してテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードが使用されると確定する場合、引き続き現在のブロックのＴＭＲＬモードインデックスとＴＭＲＬ融合フラグをデコードする。
ステップ７２０において、現在のブロックに対してＴＭＲＬモードの候補リストを構築し、候補リストとＴＭＲＬモードインデックスに基づいて、現在のブロックに対して選択された拡張参照ラインとイントラ予測モードを確定する。
本ステップは、前述の実施形態と同じ方法を用いて、候補リストを構築し、現在のブロックのために選択される拡張参照ラインおよびイントラ予測モードを決定することができる。
ステップ７３０において、ＴＭＲＬ融合フラグがイントラ予測融合（ＩＰＦ）が使用されることを示す場合、第１予測結果と第２予測結果の加重和を、現在のブロックの最終的な予測結果とする。
このステップでは、第１予測結果と第２予測結果の加重和は、前述の公式一と公式二から計算することができる。
【0232】
第１予測結果は、拡張参照ラインとイントラ予測モードとに基づいて現在のブロックを予測することによって得られ、第２予測結果は、他の参照ラインとイントラ予測モードに基づいて現在のブロックを予測することによって得られ、このイントラ予測モードは角度モードである。２つの予測結果を重み付けする際に、前述の実施形態の公式を用いて計算することができる。
【0233】
本実施形態では、ＴＭＲＬ融合フラグが、ＩＰＦが使用されないことを示す場合、拡張参照ラインとイントラ予測モードに基づいて現在のブロックを予測して、現在のブロックの最終的な予測結果を得る。
【0234】
本実施形態では、ＴＭＲＬモードに基づいて、ＴＭＲＬ融合フラグを設定することによってＩＰＦを使用するかどうかを表し、エンコーディング側では前述の実施形態と同じまたは類似の制約条件が成立するかどうかを踏まえてＴＭＲＬ融合フラグをエンコードすることができる。ＩＰＦを使用すると確定すれば、ＴＭＲＬ融合フラグを１に設定し、ＩＰＦを使用しないと確定すれば、ＴＭＲＬ融合フラグを０に設定する。一方、デコーディング側では、これらの制約条件と合わせて判断する必要はなく、このＴＭＲＬ融合フラグに基づいて、ＴＭＲＬモードを使用する際に選択された角度モードに対してＩＰＦを行うかどうかを決定することができる。デコーディング側の処理を簡略化し、ＩＰＦ使用条件の設定の柔軟性を高めることができる。ＴＭＲＬモードに基づいてＩＰＦを使用することにより、予測の正確性を高め、ビデオエンコーディングの性能を向上させることができる。
【0235】
本実施形態の一例では、上記他の参照ラインは、その拡張参照ラインに隣接し且つその拡張参照ラインの内側にある参照ラインであり、または、その拡張参照ラインに隣接し且つその拡張参照ラインの外側にある参照ラインであり、または、インデックスが０である参照ラインである。
【0236】
本実施形態の一例では、ＴＭＲＬ融合フラグをデコードする条件を増やすことができ、即ち、引き続き現在のブロックのＴＭＲＬモードインデックスとＴＭＲＬ融合フラグをデコードすることは、現在のブロックのＴＭＲＬモードインデックスをデコードした後、現在のブロックのサイズが設定条件を満たすか否かを確定し、設定条件が満たされた場合、現在のブロックのＴＭＲＬ融合フラグをデコードし、設定条件が満たされない場合、現在のブロックのＴＭＲＬ融合フラグのデコーディングをスキップすることを含む。
【0237】
設定条件が、以下のいずれか１つ以上を含み、即ち、
現在のブロックの幅が設定値より大きいこと、
現在のブロックの高さが設定値より大きいこと、
現在のブロックの幅と高さの積が設定値より大きいこと、
現在のブロックが属する現在のフレームは、インターフレームではなく、即ちＢフレームとＰフレームにおいて、融合モードを使用するイントラブロックがあることを禁止すること、
という条件のいずれか１つ以上を含む。
現在のブロックの幅が設定値より大きいこと、
現在のブロックの高さが設定値より大きいこと、
現在のブロックの幅と高さの積が設定値より大きいこと、
現在のブロックが属する現在のフレームは、インターフレームではなく、即ちＢフレームとＰフレームにおいて、融合モードを使用するイントラブロックがあることを禁止すること、
という条件のいずれか１つ以上を含む。
【0238】
通常、小さいブロックはより多くのテクスチャを有し、ＩＰＦを使用する改善は限られているため、本実施形態では現在のブロックのサイズが設定値より大きいことを、ＴＭＲＬ融合フラグをデコードする条件としている。現在のブロックのサイズが設定値より大きくない場合、コーディング効率を高めるためにＴＭＲＬ融合フラグをエンコード及びデコードしなくてもよい。
【0239】
本実施形態の一例では、現在のブロックに対してＴＭＲＬモードの候補リストを構築することは、
現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個の組み合わせを取得することであって、Ｎ≧１、Ｍ≧１、Ｎ×Ｍ≧２が満たされた、取得することと、
Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算することと、
現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入することであって、１≦Ｋ≦Ｎ×Ｍが満たされた、記入することと、を含み、
Ｍ個のイントラ予測モードは、角度が－４５°、０°、４５°、９０°、１３５°である角度モード以外の角度モードから選択される。
現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個の組み合わせを取得することであって、Ｎ≧１、Ｍ≧１、Ｎ×Ｍ≧２が満たされた、取得することと、
Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算することと、
現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入することであって、１≦Ｋ≦Ｎ×Ｍが満たされた、記入することと、を含み、
Ｍ個のイントラ予測モードは、角度が－４５°、０°、４５°、９０°、１３５°である角度モード以外の角度モードから選択される。
【0240】
本実施形態では、ＴＭＲＬモードの候補リストを構築する際に、組み合わせに参加するＭ個のイントラ予測モードを、いくつかの特定の角度を除いた他の角度モードに制限することで、ＩＰＦと結びつけることに有利であり、予測の正確性を向上させることができる。
【0241】
本願の一実施形態は、ビデオデコーディング方法を提供する。ＣＵレベルのシンタックスエレメントを解析する段階で、フラグtmrl_fusion_flag、すなわちＴＭＲＬ融合フラグを追加的にデコードする必要がある。
【0242】
例えば、次の表に示される通りである。
【0243】
【表8】
【0244】
上の表にあるsps_mrl_enabled_flagはシーケンスレベルフラグであり、１である場合、現在のシーケンスに対してＭＲＬを使用できることを表し、１である場合、ＭＲＬを使用しないことを表す。( y0 % CtbSizeY ) > 0は、現在のＣＵがＣＴＵの一番目の行に位置しないことを示す。tmrl_fusion_flagが１である場合、後続のＴＭＲＬモードでは融合モードを使用することを示し、そうではない場合、融合モードを使用しない。
【0245】
別の実施形態では、tmrl_fusion_flagをデコードするか否かは、現在のコーディングブロック（Ｃｏｄｉｎｇ ｂｌｏｃｋ、Ｃｂ）のサイズに基づいて確定することもできる。例えば、次の表に示されるように、コーディングブロックの幅cbWidth > Nであり、且つコーディングブロックの高さcbHeight > Mである場合、tmrl_fusion_flagをデコードする。
【0246】
【表9】
【0247】
さらに別の実施形態では、次の表に示されるように、コーディングブロックについては、cbWidth *cbHeight > Lが満たされるとき、tmrl_fusion_flagをデコードする。
【0248】
【表10】
【0249】
表にあるＭ、Ｎ、Ｌはサイズの設定値であり、いずれも正の整数であり、ＭはＮに等しくてもよい。
【0250】
本実施形態では、テンプレートに基づいて、順番付けをして、ＴＭＲＬモードの候補リストを構築する際に、使用できるＮ個の参照ラインとＭ個のイントラ予測モードに対してＮ×Ｍ個の組み合わせをトラバースし、テンプレート領域の予測値を生成し、テンプレート領域の予測値と再構成値の誤差を求め、誤差の大きさの昇順で上位のＫ個を選出し、{参照ライン，予測モード}組み合わせの候補リストを構成する。誤差値はＳＡＤなどであることができる。本実施形態では、一部のモードのみでＩＰＦを使用することを制約することができる。候補リストを構築する際に、ＰＬＡＮＡＲ、ＤＣ、角度が水平角度の角度モード、角度が垂直角度の角度モード、角度が－４５度の角度モード、角度が４５度の角度モード、角度が１３５度の角度モードというイントラ予測モードの１つ以上を除外することができる。
【0251】
予測段階での融合は、tmrl_fusion_flagの値に基づく必要がある。tmrl_fusion_flagが１の場合、選択されたイントラ予測モードと選択された参照ラインにより予測信号ｐａを生成し、選択されたイントラ予測モードと参照ラインｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ０により予測信号ｐｂを生成し、ｐａとｐｂを融合して最終的な予測信号を生成する。そうでなければ、ｐａを直接最終的な予測信号とする。
【0252】
本願の実施形態は、エンコーダーに適用されるビデオエンコーディング方法をさらに提供し、図１８に示すように、その方法は次の内容を含む。
ステップ１１１０において、現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストを構築する。候補リストには、現在のブロックのための、拡張参照ラインとイントラ予測モードの候補組み合わせが記入される。
ステップ１１２０において、レート歪み最適化を通じて、現在のブロックのために、参照ラインとイントラ予測モードの１つの組み合わせを選択する。
ステップ１１３０において、現在のブロックのＴＭＲＬモードのエンコーディング条件が満たされた場合、現在のブロックのＴＭＲＬモードフラグをエンコードすることで現在のブロックに対してＴＭＲＬモードを使用することを示し、現在のブロックのＴＭＲＬモードインデックスをエンコードすることで候補リストにおける選択された組み合わせの位置を示す。
ステップ１１４０において、現在のブロックのＴＭＲＬ融合フラグをエンコードして現在のブロックに対してイントラ予測融合（ＩＰＦ）が使用されるか否かを示す。
エンコーディング条件は、少なくとも、選択された組み合わせが候補リストにあることを含む。
ステップ１１１０において、現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストを構築する。候補リストには、現在のブロックのための、拡張参照ラインとイントラ予測モードの候補組み合わせが記入される。
ステップ１１２０において、レート歪み最適化を通じて、現在のブロックのために、参照ラインとイントラ予測モードの１つの組み合わせを選択する。
ステップ１１３０において、現在のブロックのＴＭＲＬモードのエンコーディング条件が満たされた場合、現在のブロックのＴＭＲＬモードフラグをエンコードすることで現在のブロックに対してＴＭＲＬモードを使用することを示し、現在のブロックのＴＭＲＬモードインデックスをエンコードすることで候補リストにおける選択された組み合わせの位置を示す。
ステップ１１４０において、現在のブロックのＴＭＲＬ融合フラグをエンコードして現在のブロックに対してイントラ予測融合（ＩＰＦ）が使用されるか否かを示す。
エンコーディング条件は、少なくとも、選択された組み合わせが候補リストにあることを含む。
【0253】
本実施形態のビデオエンコーディング方法のうち融合に関連しない部分は、ＴＭＲＬを用いるが、融合を行わないビデオエンコーディング方法の前述の実施形態と同じであってもよい。例えば、ステップ１１３０におけるエンコーディング条件の設定が同じであってもよい。
【0254】
本実施形態の一例では、現在のブロックのＴＭＲＬ融合フラグをエンコードして現在のブロックに対してイントラ予測融合（ＩＰＦ）が使用されるか否かを示すことは、現在のブロックに対して、候補リストにおける、角度モードを含む組み合わせが選択された場合、設定された制約条件のうちの少なくとも１つが成立するとき、現在のブロックのＴＭＲＬ融合フラグをエンコードしてＩＰＦが使用されないことを示し、設定された制約条件のすべてが成立しないとき、現在のブロックのＴＭＲＬ融合フラグをエンコードしてＩＰＦが使用されることを示すこと、を含む。
【0255】
設定された制約条件が、以下のいずれか１つ以上をさらに含み、即ち、
現在のブロックに対してＴＩＭＤ融合モードが選択されること、
現在のブロックに対してＤＩＭＤモードが選択されること、
現在のブロックに対して選択された参照ラインのインデックスがＫ以上であり、Ｋが３以上の整数であること、
現在のブロックの幅が設定値以下であること、
現在のブロックの高さが設定値以下であること、
現在のブロックの幅と高さの積が設定値以下であること、
現在のブロックに対してイントラサブパーティション分割（ＩＳＰ）モードが使用されること、
現在のブロックに対して選択された角度モードの角度が、－４５°、０°、４５°、９０°、１３５°のいずれか１つであり、または、現在のブロックに対して選択された角度モードが、整数傾きの角度モードであること、
現在のブロックが属する現在のフレームがインターフレームであること、
現在のブロックが属する現在の画像が色差画像であること、
という条件のいずれか１つ以上をさらに含む。
現在のブロックに対してＴＩＭＤ融合モードが選択されること、
現在のブロックに対してＤＩＭＤモードが選択されること、
現在のブロックに対して選択された参照ラインのインデックスがＫ以上であり、Ｋが３以上の整数であること、
現在のブロックの幅が設定値以下であること、
現在のブロックの高さが設定値以下であること、
現在のブロックの幅と高さの積が設定値以下であること、
現在のブロックに対してイントラサブパーティション分割（ＩＳＰ）モードが使用されること、
現在のブロックに対して選択された角度モードの角度が、－４５°、０°、４５°、９０°、１３５°のいずれか１つであり、または、現在のブロックに対して選択された角度モードが、整数傾きの角度モードであること、
現在のブロックが属する現在のフレームがインターフレームであること、
現在のブロックが属する現在の画像が色差画像であること、
という条件のいずれか１つ以上をさらに含む。
【0256】
本実施形態の一例では、現在のブロックのＴＭＲＬモードの候補リストを構築する際にして、組み合わせに参加するイントラ予測モードは、角度が－４５°、０°、４５°、９０°、１３５°である角度モードを含まない。
【0257】
エンコーディング側では、現在のブロックに対して、ＴＭＲＬモードの候補リスト内の組み合わせが選択され、且つＩＰＦが使用される場合、その組み合わせに基づいてＩＰＦを使用して現在のブロックを予測し、その組み合わせに基づく結果と、その組み合わせの中の角度モードと別の参照ラインに基づく予測結果とを重み付けし、現在のブロックの予測値を得る。ひいては、現在のブロックの再構成値を確定することができる。
【0258】
ＴＭＲＬに基づいてＩＰＦを使用するために、ＴＭＲＬの候補リストを構築する際に、拡張参照ラインと角度モードの組み合わせに基づいて得られる融合予測モードも候補リスト内の１つの組み合わせとすることができる。
【0259】
本願の一実施形態は、エンコーダーに適用することも、デコーダーに適用することもできる、マルチ参照ラインイントラ予測モードの候補リストの構築方法を提供する。図１４に示すように、この方法は次の内容を含む。
ステップ８１０において、現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個のオリジナルの組み合わせを取得する。
ステップ８２０において、Ｎ×Ｍ個のオリジナルの組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算する。
ステップ８３０において、誤差が最も小さいＫ個のオリジナルの組み合わせにおける、予め確定された角度モードを含むオリジナルの組み合わせの各々に対して、融合が必要であるか否かを確定し、融合が必要である場合、オリジナルの組み合わせに対応する融合組み合わせを現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに記入し、融合が必要ではない場合、オリジナルの組み合わせを候補リストに記入する。Ｋ、Ｎ、Ｍが設定された正の整数であり、１≦Ｋ≦Ｎ×Ｍが満たされた。
ステップ８１０において、現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個のオリジナルの組み合わせを取得する。
ステップ８２０において、Ｎ×Ｍ個のオリジナルの組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算する。
ステップ８３０において、誤差が最も小さいＫ個のオリジナルの組み合わせにおける、予め確定された角度モードを含むオリジナルの組み合わせの各々に対して、融合が必要であるか否かを確定し、融合が必要である場合、オリジナルの組み合わせに対応する融合組み合わせを現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに記入し、融合が必要ではない場合、オリジナルの組み合わせを候補リストに記入する。Ｋ、Ｎ、Ｍが設定された正の整数であり、１≦Ｋ≦Ｎ×Ｍが満たされた。
【0260】
本実施形態では、誤差が最も小さいＫ個のオリジナルの組み合わせにおける、予め確定された角度モードを含むオリジナルの組み合わせの各々に対して、融合が必要であるか否かを確定し、融合が必要である場合、オリジナルの組み合わせに対応する融合組み合わせを現在のブロックのＴＭＲＬモードの候補リストに記入することは、
オリジナルの組み合わせに対応する融合組み合わせに基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算し、オリジナルの組み合わせに対応する誤差が融合組み合わせに対応する誤差より大きい場合、融合が必要であると確定し、オリジナルの組み合わせに対応する誤差が融合組み合わせに対応する誤差以下である場合、融合が必要でないと確定すること、を含む。
融合組み合わせに基づいて、現在のブロックに対して予測を実行する場合、第１予測結果と第２予測結果の加重和を現在のブロックの予測値とし、第１予測結果は、オリジナルの組み合わせにおける拡張参照ラインと角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、第２予測結果は、オリジナルの組み合わせにおける角度モードと第２参照ラインに基づいて現在のブロックを予測することによって得られた予測結果であり、第２参照ラインは、第１参照ラインの隣接ラインまたはインデックスが０である参照ラインであり、
予め確定された角度モードはすべての角度モードを含み、または、整数傾きの角度モード以外の角度モードを含む。
オリジナルの組み合わせに対応する融合組み合わせに基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算し、オリジナルの組み合わせに対応する誤差が融合組み合わせに対応する誤差より大きい場合、融合が必要であると確定し、オリジナルの組み合わせに対応する誤差が融合組み合わせに対応する誤差以下である場合、融合が必要でないと確定すること、を含む。
融合組み合わせに基づいて、現在のブロックに対して予測を実行する場合、第１予測結果と第２予測結果の加重和を現在のブロックの予測値とし、第１予測結果は、オリジナルの組み合わせにおける拡張参照ラインと角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、第２予測結果は、オリジナルの組み合わせにおける角度モードと第２参照ラインに基づいて現在のブロックを予測することによって得られた予測結果であり、第２参照ラインは、第１参照ラインの隣接ラインまたはインデックスが０である参照ラインであり、
予め確定された角度モードはすべての角度モードを含み、または、整数傾きの角度モード以外の角度モードを含む。
【0261】
本実施形態の第１予測結果と第２予測結果の加重和は、上述の公式一または公式二に従って計算することができる。
【0262】
本実施形態では、融合を行わないモードをソートしてＫ個の組み合わせを選出して候補リストを構築する。次に、Ｋ個の組み合わせの各々にある参照ラインに対して融合する必要があるかどうかを逐一確定する。確定方法は、現在の選択された組み合わせにある参照ラインにより、融合モードと非融合モードで生成された予測信号と再構成信号の間の誤差の大きさに基づいて、融合モードを使用する場合の誤差がより小さければ、この組み合わせに対して融合を使用し、そうでなければ融合を使用しない、ということである。本実施形態では、（５×Ｍ＋Ｋ）個の組み合わせに基づいてテンプレート領域に対して予測と誤差値計算を行うだけでよい。
【0263】
本願の他の実施形態は、エンコーダーに適用することも、デコーダーに適用することもできる、マルチ参照ラインイントラ予測モードの候補リストの構築方法を提供する。図１５に示すように、この方法は次の内容を含む。
ステップ９１０において、現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個のオリジナルの組み合わせを取得する。
ステップ９２０において、Ｎ×Ｍ個のオリジナルの組み合わせに対して融合処理を実行する。融合処理は、予め確定された角度モードを含むオリジナルの組み合わせの各々に対して、設定条件が満たされた場合、オリジナルの組み合わせを対応する融合組み合わせに置き換えることを含む。
ステップ９３０において、融合処理を実行したＮ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算する。
ステップ９４０において、現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入する。
Ｋ、Ｎ、Ｍが設定された正の整数であり、１≦Ｋ≦Ｎ×Ｍが満たされ、
オリジナルの組み合わせに対応する融合組み合わせに基づいて、現在のブロックに対して予測を実行する場合、第１予測結果と第２予測結果の加重和を現在のブロックの予測値とし、第１予測結果は、オリジナルの組み合わせにおける拡張参照ラインと角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、第２予測結果は、オリジナルの組み合わせにおける角度モードと第２参照ラインに基づいて現在のブロックを予測することによって得られた予測結果であり、第２参照ラインは、第１参照ラインの隣接ラインまたはインデックスが０である参照ラインである。
ステップ９１０において、現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個のオリジナルの組み合わせを取得する。
ステップ９２０において、Ｎ×Ｍ個のオリジナルの組み合わせに対して融合処理を実行する。融合処理は、予め確定された角度モードを含むオリジナルの組み合わせの各々に対して、設定条件が満たされた場合、オリジナルの組み合わせを対応する融合組み合わせに置き換えることを含む。
ステップ９３０において、融合処理を実行したＮ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算する。
ステップ９４０において、現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入する。
Ｋ、Ｎ、Ｍが設定された正の整数であり、１≦Ｋ≦Ｎ×Ｍが満たされ、
オリジナルの組み合わせに対応する融合組み合わせに基づいて、現在のブロックに対して予測を実行する場合、第１予測結果と第２予測結果の加重和を現在のブロックの予測値とし、第１予測結果は、オリジナルの組み合わせにおける拡張参照ラインと角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、第２予測結果は、オリジナルの組み合わせにおける角度モードと第２参照ラインに基づいて現在のブロックを予測することによって得られた予測結果であり、第２参照ラインは、第１参照ラインの隣接ラインまたはインデックスが０である参照ラインである。
【0264】
本実施形態の一例において、設定条件は、次の条件のいずれか１つ以上を含む。
現在のブロックのサイズがＮ×Ｍより大きく、ＮとＭは設定された正の整数であること。
現在のブロックに対して選択されたイントラ予測モードが、整数傾きの角度モードではないこと。
予め確定された角度モードはすべての角度モードを含み、または、整数傾きの角度モード以外の角度モードを含むこと。
現在のブロックのサイズがＮ×Ｍより大きく、ＮとＭは設定された正の整数であること。
現在のブロックに対して選択されたイントラ予測モードが、整数傾きの角度モードではないこと。
予め確定された角度モードはすべての角度モードを含み、または、整数傾きの角度モード以外の角度モードを含むこと。
【0265】
本実施形態の第１予測結果と第２予測結果の加重和は、上述の公式一または公式二に従って計算することができる。
【0266】
本実施形態では、テンプレート上の誤差コストの順番付けに基づいて、参照ラインのための融合モードと非融合モードを同時に順番付けする必要はない。次の条件の１つ以上が満たされた場合、隣接する参照ラインのための融合モードを使用して、テンプレートのための順番付けに参加させ、組み合わせ｛参照ライン，予測モード｝のリストを生成し、そうではない場合、融合モードを使用しない。条件は次の通りである。
現在のブロックのサイズがＮ×Ｍより大きいこと。
現在のイントラ予測モードがＰＬＡＮＡＲ、ＤＣ、水平角度、垂直角度、－４５度、４５度、１３５度の角度モードではないこと。
現在のブロックのサイズがＮ×Ｍより大きいこと。
現在のイントラ予測モードがＰＬＡＮＡＲ、ＤＣ、水平角度、垂直角度、－４５度、４５度、１３５度の角度モードではないこと。
【0267】
予測段階では、現在のブロックに対してＴＭＲＬを使用する場合、デコードして得られたｔｍｒｌ＿ｉｄｘと、テンプレートベースの順番付けを踏まえて生成された候補リストとに基づいて、選択された参照ラインと予測モードを確定し、同じ条件に基づいて、隣接する参照ラインを用いて、融合した予測結果を生成するかどうかを確定する。すなわち、以下の条件の１つ以上が満たされるときに、選択された角度モードに対してＩＰＦを行う。
現在のブロックのサイズがＮ×Ｍより大きいこと。
現在のイントラ予測モードがＰＬＡＮＡＲ、ＤＣ、水平角度、垂直角度、－４５度、４５度、１３５度の角度モードではないこと。
現在のブロックのサイズがＮ×Ｍより大きいこと。
現在のイントラ予測モードがＰＬＡＮＡＲ、ＤＣ、水平角度、垂直角度、－４５度、４５度、１３５度の角度モードではないこと。
【0268】
本願のさらに別の実施形態は、エンコーダーに適用されることも、デコーダーに適用されることもできる、マルチ参照ラインイントラ予測モードの候補リストの構築方法を提供し、図１６に示すように、この方法は次の内容を含む。
ステップ１０１０において、現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインと角度モードのＮ×Ｍ個のオリジナルの組み合わせを取得する。
ステップ１０２０において、Ｎ×Ｍ個のオリジナルの組み合わせのうちの、予め確定された角度モードを含むオリジナルの組み合わせに基づいて、対応する融合組み合わせを取得する。
ステップ１０３０において、Ｎ×Ｍ個のオリジナルの組み合わせと取得された融合組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算する。
ステップ１０４０において、現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入する。Ｋ、Ｎ、Ｍが設定された正の整数であり、１≦Ｋ≦Ｎ×Ｍが満たされた。
ステップ１０１０において、現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインと角度モードのＮ×Ｍ個のオリジナルの組み合わせを取得する。
ステップ１０２０において、Ｎ×Ｍ個のオリジナルの組み合わせのうちの、予め確定された角度モードを含むオリジナルの組み合わせに基づいて、対応する融合組み合わせを取得する。
ステップ１０３０において、Ｎ×Ｍ個のオリジナルの組み合わせと取得された融合組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算する。
ステップ１０４０において、現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入する。Ｋ、Ｎ、Ｍが設定された正の整数であり、１≦Ｋ≦Ｎ×Ｍが満たされた。
【0269】
本実施形態は、Ｎ×Ｍ個のオリジナルの組み合わせのうちの、予め確定された角度モードを含むオリジナルの組み合わせに基づいて、対応する融合組み合わせを取得することは、予め確定された角度モードを含むオリジナルの組み合わせの各々に基づいて、１つの融合組み合わせを取得することを含む。融合組み合わせに基づいて、現在のブロックに対して予測を実行する際、第１予測結果と第２予測結果の加重和を現在のブロックの予測値とする。第１予測結果は、オリジナルの組み合わせにおける拡張参照ラインと角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、第２予測結果は、第２参照ラインとオリジナルの組み合わせにおける角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、第２参照ラインは、第１参照ラインの隣接ラインまたはインデックスが０である参照ラインである。予め確定された角度モードはすべての角度モードを含み、または、整数傾きの角度モード以外の角度モードを含む。
【0270】
本実施形態では、組み合わせに参加するイントラ予測モードがすべて角度モードである場合、５×Ｍ×２個の組み合わせに基づいてテンプレート領域上の予測と誤差値計算を行う必要がある。
【0271】
本実施形態の第１予測結果と第２予測結果の加重和は、上述の公式一または公式二に従って計算することができる。
【0272】
本願の上記実施形態では、組み合わせに参加する参照ラインはインデックスが｛１，３，５，７，１２｝の参照ラインであることを例示する。例えば、オリジナルの組み合わせは、インデックスが１である参照ラインと、ある角度モードとの組み合わせである場合、オリジナルの組み合わせに対応する融合組み合わせは、インデックスが１と２である２つの参照ラインとその角度モードとの組み合わせであることができる。この融合組み合わせに基づいて現在のブロックを予測する際に、インデックスが１である参照ラインとその角度モードとの予測結果、およびインデックスが２である参照ラインとその角度モードとの予測結果に重み付けを行って、現在のブロックの最終的な予測結果を得る。別の例では、第２参照ラインとして内側の隣接する参照ラインを選択し、そうなると、対応する融合組み合わせは、インデックスが０と１である２つの参照ラインとその角度モードの組み合わせであることができる。
【0273】
以上の実施形態に従ってＴＭＲＬモードの候補リストを構築する方法をビデオエンコーディング及びビデオデコーディングに適用する場合、現在のブロックに対して選択されたのは候補リスト内の融合組み合わせであれば、その融合組み合わせの予測方式に従って現在のブロックに対して融合予測を実行し、選択されたのは候補リスト内のオリジナルの組み合わせであれば、オリジナルの組み合わせの予測方式に従って現在のブロックを予測し、ＩＰＦを使用しない。
【0274】
本願の一実施形態は、本願のいずれかの実施形態に記載のビデオエンコーディング方法によって生成されるビットストリームをさらに提供する。
【0275】
また、本願の一実施形態は、マルチ参照ラインイントラ予測モードの候補リストの構築装置をさらに提供する。図１７に示すように、マルチ参照ラインイントラ予測モードの候補リストの構築装置は、プロセッサ７１と、コンピュータプログラムを記憶したメモリ７３とを備える。プロセッサ７１がコンピュータプログラムを実行すると、本明細書のいずれか１つの実施形態に記載のマルチ参照ラインイントラ予測モードの候補リストの構築方法を実現することができる。
【0276】
本願の一実施形態は、イントラ予測融合装置をさらに提供する。イントラ予測融合装置は、プロセッサと、コンピュータプログラムを記憶したメモリとを含む。プロセッサがコンピュータプログラムを実行すると、本願のいずれか１つの実施形態に記載のイントラ予測融合方法を実現することができる。
【0277】
本願の一実施形態は、ビデオデコーディング装置をさらに提供する。ビデオデコーディング装置は、プロセッサと、コンピュータプログラムを記憶したメモリとを備える。プロセッサがコンピュータプログラムを実行すると、本願のいずれか１つの実施形態に記載のビデオデコーディング方法を実現することができる。
【0278】
本願の一実施形態は、ビデオエンコーディング装置をさらに提供する。ビデオエンコーディング装置は、プロセッサと、コンピュータプログラムを記憶したメモリとを備える。プロセッサがコンピュータプログラムを実行すると、本願のいずれか１つの実施形態に記載のビデオエンコーディング方法を実現することができる。
【0279】
本願の一実施形態は、ビデオコーディングシステムをさらに提供する。ビデオコーディングシステムは、本願のいずれか１つの実施形態に記載のビデオエンコーディング装置と、本願のいずれか１つの実施形態に記載のビデオデコーディング装置を含む。
【0280】
本願の一実施形態は、非一時的なコンピュータ可読記憶媒体をさらに提供する。コンピュータ可読記憶媒体はコンピュータプログラムを記憶しており、コンピュータプログラムは、プロセッサによって実行されると、本願のいずれか１つの実施形態に記載のイントラ予測融合方法を実現することができ、または、本願のいずれか１つの実施形態に記載のマルチ参照ラインイントラ予測モードの候補リストの構築方法を実現することができ、又は本願のいずれか１つの実施形態に記載のビデオデコーディング方法を実現することができ、又は本願のいずれか１つの実施形態に記載のビデオエンコーディング方法を実現することができる。
【0281】
本願の上記実施形態のプロセッサは、中央処理装置（ＣＰＵ）、ネットワークプロセッサ（Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｏｒ、ＮＰ）、マイクロプロセッサなどを含む汎用プロセッサであることができ、又は他の通常のプロセッサなどであることができる。プロセッサは、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラム可能なゲートアレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）、ディスクリートロジック又は他のプログラム可能なロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントであることもでき、又は他の等価に集積された又はディスクリート論理回路であることもでき、上記コンポーネントの組み合わせであることもできる。即ち、上記実施形態のプロセッサは、本発明の実施形態に開示された様々な方法、ステップ及び論理ブロック図を実現する任意の処理コンポネント又はコンポネントの組み合わせであることができる。本願の実施形態が部分的にソフトウェアで実施される場合、ソフトウェアに用いられる命令が適切な不揮発性コンピュータ可読記憶媒体に記憶されることができ、１つ又は複数のプロセッサにより、ハードウェアで命令を実行することで本願の実施形態の方法を実施することができる。本明細書で使用する「プロセッサ」という用語は、上述した構造、又は本明細書で説明する技術を実施するのに適した任意の他の構造を指すことができる。
【0282】
上記１つ又は複数の例示的な実施形態において、説明される機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせによって実現されることができる。ソフトウェアによって実現される場合、機能は１つもしくは複数の命令又はコードとしてコンピュータ可読媒体に記憶され、又は、コンピュータ可読媒体を介して伝送されることができ、ハードウェアベースの処理ユニットによって実行される。コンピュータ可読媒体は、データ記憶媒体などの有形媒体であるコンピュータ可読媒体を含み、又は、コンピュータプログラムが例えば通信プロトコルに従ってあるところから別のところへ伝送されることを容易にする任意の通信媒体を含むことができる。このように、コンピュータ可読媒体は通常、非一時的な有形のコンピュータ可読記憶媒体、又は信号もしくはキャリアなどの通信媒体であることができる。データ記憶媒体は、本願に記載の技術を実施するための命令、コード、及び／又はデータ構造を検索するために、１つもしくは複数のコンピュータ又は１つもしくは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可読媒体を含むことができる。
【0283】
限定的ではない例として、このようなコンピュータ可読記憶媒体は、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）、読み取り専用メモリ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ、ＥＥＰＲＯＭ）、コンパクトディスク読み取り専用メモリ（ｃｏｍｐａｃｔ ｄｉｓｋ ＲＯＭ、ＣＤ－ＲＯＭ）又は他の光ディスク記憶装置、磁気ディスク記憶装置又は他の磁気記憶装置、フラッシュメモリ、又は、命令もしくはデータ構造の形態で所望のプログラムコードを記憶し且つコンピュータによってアクセス可能な他の任意の媒体を含むことができる。また、いかなる接続をコンピュータ可読記憶媒体と呼ぶことができ、例として、同軸ケーブル、光ファイバーケーブル、ツイストペアケーブル（ｔｗｉｓｔｅｄ－ｐａｉｒ ｃａｂｌｉｎｇ）、デジタル加入者線（ｄｉｇｉｔａｌ ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ、ＤＳＬ）、又は、赤外線、ラジオ、マイクロ波などの無線技術を利用して、ウェブサイト、サーバ又は他のリモートソースから命令を伝送する場合、同軸ケーブル、光ファイバーケーブル、ツイストペアケーブル、ＤＳＬ、又は、赤外線、ラジオ、マイクロ波などの無線技術は媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、キャリア、信号、又は他の一時的な（一過性の）媒体を含まず、非一時的な有形記憶媒体である。本明細書で使用されている磁気ディスク及び光ディスクは、コンパクトディスク（ＣＤ）、レーザーディスク、光ディスク、デジタル多用途ディスク（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ、ＤＶＤ）、フロッピーディスク、又はブルーレイディスクなどを含み、磁気ディスクは通常、磁気的にデータを再生し、光ディスクはレーザーを使用して光学的にデータを再生する。上記の組み合わせも、コンピュータ可読媒体の範囲内に含まれるべきである。
【0284】
いくつかの態様において、本明細書で説明する機能は、エンコーディング及びデコーディングに用いられるように構成された専用のハードウェア及び／又はソフトウェアモジュール内に提供されることができ、または、集積エンコーダー・デコーダーに組み込まれることもできる。また、本明細書で説明する技術は、１つもしくは複数の回路又は論理素子に完全に実現されることができる。
【0285】
本願の実施形態の技術案は、無線携帯電話、集積回路（ＩＣ）、又は１セットのＩＣ（例えば、チップセット）を含む様々な装置又は機器に実施され得る。本願の実施形態では、様々なコンポーネント、モジュール、又はユニットを用いて、説明した技術を実行するように構成されたデバイスの機能を強調する。必ずしも異なるハードウェアユニットによって実現されるとは限らない。上述したように、様々なユニットは、エンコーダーとデコーダーというハードウェアユニットにおいて組み合わせられてもよく、相互運用可能なハードウェアユニット（上述した１つ又は複数のプロセッサを含む）の集合体と適切なソフトウェア及び／又はファームウェアとの組み合わせで提供されてもよい。
【図1A】
【図1B】
【図1C】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【手続補正書】
【提出日】2025-06-18
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の参照
本願は、発明の名称が「候補リストの構築方法、ビデオエンコーディング方法及び装置、ビデオデコーディング方法及び装置、並びにビデオコーディングシステム」とされ、２０２２年７月８日に出願された中国特許出願第２０２２１０８０６４３５．Ｘ号の優先権を主張し、その全ての内容が引用として本願に組み込まれる。
本願は、発明の名称が「候補リストの構築方法、ビデオエンコーディング方法及び装置、ビデオデコーディング方法及び装置、並びにビデオコーディングシステム」とされ、２０２２年７月８日に出願された中国特許出願第２０２２１０８０６４３５．Ｘ号の優先権を主張し、その全ての内容が引用として本願に組み込まれる。
【0002】
本願の実施形態は、ビデオ技術に関するが、これに限定されておらず、より具体的には、イントラ予測融合方法、ビデオエンコーディング方法及び装置、ビデオデコーディング方法及び装置、並びにビデオコーディングシステムに関する。
【背景技術】
【0003】
デジタルビデオ圧縮技術は、主に、巨大なデジタル映像ビデオデータを圧縮してそれの伝送や記憶などを容易にするために使用される。現在、Ｈ．２６６／多用途ビデオコーディング（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）などの一般的なビデオコーディング規格では、ブロックベースの混合コーディングフレームワークが使用されている。ビデオにおける各画像（フレーム）は、同一サイズ（例えば、１２８×１２８、６４×６４など）の正方形の最大コーディングユニット（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ、ＬＣＵ）に分割される。各最大コーディングユニットは、ルールに基づいて、矩形のコーディングユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）に分割されることも可能である。コーディングユニットは、予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ、ＰＵ）、変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ、ＴＵ）などにさらに分割される可能性もある。混合コーディングフレームワークは、予測（ｐｒｅｄｉｃｔｉｏｎ）、変換（ｔｒａｎｓｆｏｒｍ）、量子化（ｑｕａｎｔｉｚａｔｉｏｎ）、エントロピーコーディング（Ｅｎｔｒｏｐｙ Ｃｏｄｉｎｇ）、ループフィルタ（Ｉｎ Ｌｏｏｐ Ｆｉｌｔｅｒ）などのモジュールを含む。予測モジュールは、ビデオの内部の冗長性を削減または除去するためのイントラ予測（Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）及びインター予測（Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ）を含む。イントラブロックに対して、ブロックの周囲のサンプルを参照として予測し、インターブロックに対して、空間上の隣接するブロックの情報や別の画像にある参照情報を参照する。予測信号と比較していうと、残差情報は、ブロックに基づく変換、量子化、エントロピーコーディングにより、ビットストリームに形成される。これらの技術は規格に記載されており、ビデオ圧縮に関連する様々な分野で実施されている。
【0004】
インターネットビデオの激増と、ビデオの解像度に対する要求の高まりに伴い、既存のデジタルビデオ圧縮規格によって多くのビデオデータを節約することができるにもかかわらず、デジタルビデオ伝送の帯域幅とトラフィックの負担を低減するために、より優れたデジタルビデオ圧縮技術を求める必要性が依然として存在する。
【発明の概要】
【0005】
以下の内容は、本明細書で詳細に説明しようとする主題の概要である。この概要は、特許請求の範囲の保護範囲を限定することを意図するものではない。
【0006】
本願の一実施形態は、イントラ予測融合方法を提供する。イントラ予測融合方法は、現在のブロックに対して選択されたイントラ予測モードが角度モードを含む場合、現在のブロックに対してＩＰＦを使用する制約条件が成立するか否かを確定することと、制約条件のうちの少なくとも１つが成立する場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を制約することと、を含む。
【0007】
本願の一実施形態は、ビデオデコーディング方法をさらに提供する。ビデオデコーディング方法は、ビットストリームをデコードして、現在のブロックに対して選択された参照ラインとイントラ予測モードを確定することと、本願のいずれか１つの実施形態に記載のイントラ予測融合方法に基づいて現在のブロックを予測して現在のブロックの予測値を得ることと、現在のブロックの予測値に基づいて現在のブロックの再構成値を確定することと、を含む。
【0008】
本願の一実施形態は、ビデオエンコーディング方法をさらに提供する。ビデオエンコーディング方法は、モード選択で現在のブロックに対して選択された参照ラインとイントラ予測モードを確定することと、本願のいずれか１つの実施形態に記載のイントラ予測融合方法に基づいて現在のブロックを予測して現在のブロックの予測値を得ることと、現在のブロックのオリジナル値と予測値に基づいて、現在のブロックの残差を確定することと、を含む。
【0009】
本願の一実施形態は、ビデオデコーディング方法をさらに提供する。ビデオデコーディング方法は、
デコーディングにより、現在のブロックに対してテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードが使用されると確定する場合、引き続き現在のブロックのＴＭＲＬモードインデックスとＴＭＲＬ融合フラグをデコードすることと、
現在のブロックに対してＴＭＲＬモードの候補リストを構築し、候補リストとＴＭＲＬモードインデックスに基づいて、現在のブロックに対して選択された拡張参照ラインとイントラ予測モードを確定することと、
ＴＭＲＬ融合フラグがイントラ予測融合（ＩＰＦ）が使用されることを示す場合、第１予測結果と第２予測結果の加重和を、現在のブロックの最終的な予測結果とすることと、を含み、
第１予測結果は、拡張参照ラインとイントラ予測モードとに基づいて現在のブロックを予測することによって得られ、第２予測結果は、他の参照ラインとイントラ予測モードに基づいて現在のブロックを予測することによって得られ、このイントラ予測モードは角度モードである。
デコーディングにより、現在のブロックに対してテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードが使用されると確定する場合、引き続き現在のブロックのＴＭＲＬモードインデックスとＴＭＲＬ融合フラグをデコードすることと、
現在のブロックに対してＴＭＲＬモードの候補リストを構築し、候補リストとＴＭＲＬモードインデックスに基づいて、現在のブロックに対して選択された拡張参照ラインとイントラ予測モードを確定することと、
ＴＭＲＬ融合フラグがイントラ予測融合（ＩＰＦ）が使用されることを示す場合、第１予測結果と第２予測結果の加重和を、現在のブロックの最終的な予測結果とすることと、を含み、
第１予測結果は、拡張参照ラインとイントラ予測モードとに基づいて現在のブロックを予測することによって得られ、第２予測結果は、他の参照ラインとイントラ予測モードに基づいて現在のブロックを予測することによって得られ、このイントラ予測モードは角度モードである。
【0010】
本願の一実施形態は、ビデオエンコーディング方法をさらに提供する。ビデオエンコーディング方法は、
現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストを構築することであって、候補リストには、現在のブロックのための、拡張参照ラインとイントラ予測モードの候補組み合わせが記入される、構築することと、
レート歪み最適化を通じて、現在のブロックのために、参照ラインとイントラ予測モードの１つの組み合わせを選択することと、
現在のブロックのＴＭＲＬモードのエンコーディング条件が満たされた場合、現在のブロックのＴＭＲＬモードフラグをエンコードすることで現在のブロックに対してＴＭＲＬモードを使用することを示し、現在のブロックのＴＭＲＬモードインデックスをエンコードすることで候補リストにおける選択された組み合わせの位置を示すことと、
現在のブロックのＴＭＲＬ融合フラグをエンコードして現在のブロックに対してイントラ予測融合（ＩＰＦ）が使用されるか否かを示すことと、を含む。
エンコーディング条件は、少なくとも、選択された組み合わせが候補リストにあることを含む。
現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストを構築することであって、候補リストには、現在のブロックのための、拡張参照ラインとイントラ予測モードの候補組み合わせが記入される、構築することと、
レート歪み最適化を通じて、現在のブロックのために、参照ラインとイントラ予測モードの１つの組み合わせを選択することと、
現在のブロックのＴＭＲＬモードのエンコーディング条件が満たされた場合、現在のブロックのＴＭＲＬモードフラグをエンコードすることで現在のブロックに対してＴＭＲＬモードを使用することを示し、現在のブロックのＴＭＲＬモードインデックスをエンコードすることで候補リストにおける選択された組み合わせの位置を示すことと、
現在のブロックのＴＭＲＬ融合フラグをエンコードして現在のブロックに対してイントラ予測融合（ＩＰＦ）が使用されるか否かを示すことと、を含む。
エンコーディング条件は、少なくとも、選択された組み合わせが候補リストにあることを含む。
【0011】
本願の一実施形態は、マルチ参照ライン（ＭＲＬ）イントラ予測モードの候補リストの構築方法をさらに提供する。ＭＲＬイントラ予測モードの候補リストの構築方法は、
現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインと角度モードのＮ×Ｍ個のオリジナルの組み合わせを取得することと、
Ｎ×Ｍ個のオリジナルの組み合わせのうちの、予め確定された角度モードを含むオリジナルの組み合わせに基づいて、対応する融合組み合わせを取得することと、
Ｎ×Ｍ個のオリジナルの組み合わせと取得された融合組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算することと、
現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入することであって、Ｋ、Ｎ、Ｍが設定された正の整数であり、１≦Ｋ≦Ｎ×Ｍが満たされた、記入することと、を含む。
現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインと角度モードのＮ×Ｍ個のオリジナルの組み合わせを取得することと、
Ｎ×Ｍ個のオリジナルの組み合わせのうちの、予め確定された角度モードを含むオリジナルの組み合わせに基づいて、対応する融合組み合わせを取得することと、
Ｎ×Ｍ個のオリジナルの組み合わせと取得された融合組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算することと、
現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入することであって、Ｋ、Ｎ、Ｍが設定された正の整数であり、１≦Ｋ≦Ｎ×Ｍが満たされた、記入することと、を含む。
【0012】
本願の一実施形態は、マルチ参照ライン（ＭＲＬ）イントラ予測モードの候補リストの構築方法をさらに提供する。ＭＲＬイントラ予測モードの候補リストの構築方法は、
現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個のオリジナルの組み合わせを取得することと、
Ｎ×Ｍ個のオリジナルの組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算することと、
誤差が最も小さいＫ個のオリジナルの組み合わせにおける、予め確定された角度モードを含むオリジナルの組み合わせの各々に対して、融合が必要であるか否かを確定し、融合が必要である場合、オリジナルの組み合わせに対応する融合組み合わせを現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに記入し、融合が必要ではない場合、オリジナルの組み合わせを候補リストに記入することであって、Ｋ、Ｎ、Ｍが設定された正の整数であり、１≦Ｋ≦Ｎ×Ｍが満たされた、記入することと、を含む。
現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個のオリジナルの組み合わせを取得することと、
Ｎ×Ｍ個のオリジナルの組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算することと、
誤差が最も小さいＫ個のオリジナルの組み合わせにおける、予め確定された角度モードを含むオリジナルの組み合わせの各々に対して、融合が必要であるか否かを確定し、融合が必要である場合、オリジナルの組み合わせに対応する融合組み合わせを現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに記入し、融合が必要ではない場合、オリジナルの組み合わせを候補リストに記入することであって、Ｋ、Ｎ、Ｍが設定された正の整数であり、１≦Ｋ≦Ｎ×Ｍが満たされた、記入することと、を含む。
【0013】
本願の一実施形態は、マルチ参照ライン（ＭＲＬ）イントラ予測モードの候補リストの構築方法をさらに提供する。ＭＲＬイントラ予測モードの候補リストの構築方法は、
現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個のオリジナルの組み合わせを取得することと、
Ｎ×Ｍ個のオリジナルの組み合わせに対して融合処理を実行することであって、融合処理は、予め確定された角度モードを含むオリジナルの組み合わせの各々に対して、設定条件が満たされた場合、オリジナルの組み合わせを対応する融合組み合わせに置き換えることを含む、実行することと、
融合処理を実行したＮ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算することと、
現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入することと、を含む。
Ｋ、Ｎ、Ｍが設定された正の整数であり、１≦Ｋ≦Ｎ×Ｍが満たされ、
オリジナルの組み合わせに対応する融合組み合わせに基づいて、現在のブロックに対して予測を実行する場合、第１予測結果と第２予測結果の加重和を現在のブロックの予測値とし、第１予測結果は、オリジナルの組み合わせにおける拡張参照ラインと角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、第２予測結果は、オリジナルの組み合わせにおける角度モードと第２参照ラインに基づいて現在のブロックを予測することによって得られた予測結果であり、第２参照ラインは、第１参照ラインの隣接ラインまたはインデックスが０である参照ラインである。
現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個のオリジナルの組み合わせを取得することと、
Ｎ×Ｍ個のオリジナルの組み合わせに対して融合処理を実行することであって、融合処理は、予め確定された角度モードを含むオリジナルの組み合わせの各々に対して、設定条件が満たされた場合、オリジナルの組み合わせを対応する融合組み合わせに置き換えることを含む、実行することと、
融合処理を実行したＮ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算することと、
現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入することと、を含む。
Ｋ、Ｎ、Ｍが設定された正の整数であり、１≦Ｋ≦Ｎ×Ｍが満たされ、
オリジナルの組み合わせに対応する融合組み合わせに基づいて、現在のブロックに対して予測を実行する場合、第１予測結果と第２予測結果の加重和を現在のブロックの予測値とし、第１予測結果は、オリジナルの組み合わせにおける拡張参照ラインと角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、第２予測結果は、オリジナルの組み合わせにおける角度モードと第２参照ラインに基づいて現在のブロックを予測することによって得られた予測結果であり、第２参照ラインは、第１参照ラインの隣接ラインまたはインデックスが０である参照ラインである。
【0014】
本願の一実施形態は、ビットストリームをさらに提供する。ビットストリームは、本願のいずれか１つの実施形態に記載のビデオエンコーディング方法によって生成される。
【0015】
本願の一実施形態は、イントラ予測融合装置をさらに提供する。イントラ予測融合装置は、プロセッサと、コンピュータプログラムを記憶したメモリとを含む。プロセッサがコンピュータプログラムを実行すると、本願のいずれか１つの実施形態に記載のイントラ予測融合方法を実現することができる。
【0016】
本願の一実施形態は、マルチ参照ラインイントラ予測モードの候補リストの構築装置をさらに提供する。マルチ参照ラインイントラ予測モードの候補リストの構築装置は、プロセッサと、コンピュータプログラムを記憶したメモリとを備える。プロセッサがコンピュータプログラムを実行すると、本願のいずれか１つの実施形態に記載のマルチ参照ラインイントラ予測モードの候補リストの構築方法を実現することができる。
【0017】
本願の一実施形態は、ビデオデコーディング装置をさらに提供する。ビデオデコーディング装置は、プロセッサと、コンピュータプログラムを記憶したメモリとを備える。プロセッサがコンピュータプログラムを実行すると、本願のいずれか１つの実施形態に記載のビデオデコーディング方法を実現することができる。
【0018】
本願の一実施形態は、ビデオエンコーディング装置をさらに提供する。ビデオエンコーディング装置は、プロセッサと、コンピュータプログラムを記憶したメモリとを備える。プロセッサがコンピュータプログラムを実行すると、本願のいずれか１つの実施形態に記載のビデオエンコーディング方法を実現することができる。
【0019】
本願の一実施形態は、ビデオコーディングシステムをさらに提供する。ビデオコーディングシステムは、本願のいずれか１つの実施形態に記載のビデオエンコーディング装置と、本願のいずれか１つの実施形態に記載のビデオデコーディング装置を含む。
【0020】
本願の一実施形態は、非一時的なコンピュータ可読記憶媒体をさらに提供する。コンピュータ可読記憶媒体はコンピュータプログラムを記憶しており、コンピュータプログラムは、プロセッサによって実行されると、本願のいずれか１つの実施形態に記載のイントラ予測融合方法を実現することができ、又は本願のいずれか１つの実施形態に記載のマルチ参照ラインイントラ予測モードの候補リストの構築方法を実現することができ、又は本願のいずれか１つの実施形態に記載のビデオデコーディング方法を実現することができ、又は本願のいずれか１つの実施形態に記載のビデオエンコーディング方法を実現することができる。
【0021】
図面及び詳細な説明を読み通して理解した後、他の方面を理解することができる。
【図面の簡単な説明】
【0022】
図面は、本願の実施形態を理解するために提供され、明細書の一部を構成し、本願の実施形態とともに本願の技術案を説明するために用いられ、本願の技術案の限定を構成するものではない。
【図1A】本願の一実施形態に係るコーディングシステムを示す概略図である。
【図1B】本願の一実施形態に係るエンコーディング側のフレームワークを示す図である。
【図1C】本願の一実施形態に係るデコーディング側のフレームワークを示す図である。
【図2】本願の一実施形態に係るイントラ予測モードを示す概略図である。
【図3】本願の一実施形態に係る現在のブロックの隣接するイントラ予測ブロックを示す概略図である。
【図4】本願の一実施形態に係る現在のブロックのテンプレート及びテンプレート参照領域を示す概略図である。
【図5】本願の一実施形態に係る現在のブロックの周囲にある複数の参照ラインを示す概略図である。
【図6】本願の一実施形態に係るビデオエンコーディング方法を示すフローチャートである。
【図7】本願の一実施形態に係るＴＭＲＬモードの候補リストの構築方法を示すフローチャートである。
【図8A】本願の一実施形態に係る現在のブロックの周囲にあるテンプレート領域及び拡張参照ラインを示す概略図である。
【図8B】本願の別の実施形態に係る現在のブロックの周囲にあるテンプレート領域及び拡張参照ラインを示す概略図である。
【図9】本願の一実施形態に係るビデオデコーディング方法を示すフローチャートである。
【図10】本願の一実施形態に係るイントラ予測融合方法を示すフローチャートである。
【図11】本願の別の実施形態に係るビデオエンコーディング方法を示すフローチャートである。
【図12】本願の別の実施形態に係るビデオデコーディング方法を示すフローチャートである。
【図13】本願の別の実施形態に係るビデオデコーディング方法を示すフローチャートである。
【図14】本願の一実施形態に係るＴＭＲＬモードの候補リストの構築方法を示すフローチャートである。
【図15】本願の別の実施形態に係るＴＭＲＬモードの候補リストの構築方法を示すフローチャートである。
【図16】本願のさらに別の実施形態に係るＴＭＲＬモードの候補リストの構築方法を示すフローチャートである。
【図17】本願の一実施形態に係るＴＭＲＬモードの候補リストの構築装置を示す概略図である。
【図18】本願の別の実施形態に係るビデオエンコーディング方法を示すフローチャートである。
【発明を実施するための形態】
【0023】
本願では、複数の実施形態を説明するが、その説明は例示的なものであり、限定的なものではない。また、本願に記載される実施形態に含まれる範囲内で、より多くの実施例及び実施形態が得られることは、本分野の当業者にとって明らかである。
【0024】
本願の説明において、「例示的な」又は「例えば」などの用語は、「例として、例証、説明」を意味する。本願において、「例示的に」又は「例えば」で説明されるいかなる実施形態は他の実施形態より優れていると解釈されるべきではない。本明細書における用語「及び／又は」は関連対象の関連関係を説明するものであり、３種類の関係が存在することを示す。例えば、Ａ及び／又はＢの場合、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在することという３つの状況を示す。「複数」は２つ以上のことをいう。また、本願の実施形態の技術案を明確に説明するために、「第１」、「第２」などの用語で、機能や役割がほぼ同じである同一又は類似のものを区別する。当業者は以下のことを理解できる。「第１」、「第２」などの用語は、数や実行順序を限定するものではなく、且つ「第１」、「第２」などの用語は、必ず異なること、を限定するものではない。
【0025】
代表的な例示的実施形態の説明において、本明細書では、方法及び／又はプロセスを、特定のステップのシーケンスとして提示している可能性がある。しかしながら、当該方法又はプロセスは本明細書に記載されるステップの特定のシーケンスに依存せず、当該方法又はプロセスは、記載される特定のシーケンスのステップに限定されるべきではない。当業者に理解されるように、他のステップの順序も可能である。従って、明細書に記載されるステップの特定の順序は、特許請求の範囲の限定として解釈されるべきではない。さらに、方法及び／又はプロセスに対応する請求項に対しては、記載される順序でステップを実行することに限定されるべきではない。当業者であれば、これらの順序が変化してもよく、変化しても依然として本願の実施形態の精神及び範囲内に属することを容易に理解できる。
【0026】
本願の実施形態に係るイントラ予測融合（Ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｆｕｓｉｏｎ、ＩＰＦ）方法、ビデオコーディング方法は、様々なビデオコーディング規格に適用されることができる。例として、Ｈ．２６４／アドバンスドビデオコーディング（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＡＶＣ）、Ｈ．２６５／高効率ビデオコーディング（ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ、ＨＥＶＣ）、Ｈ．２６６／多用途ビデオコーディング（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）、オーディオビデオコーディング規格（ａｕｄｉｏ ｖｉｄｅｏ Ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ、ＡＶＳ）、動画像専門家グループ（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ、ＭＰＥＧ）、ＡＯＭ（Ａｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ）、ＪＶＥＴ（ｊｏｉｎｔ ｖｉｄｅｏ Ｅｘｐｅｒｔｓ ｔｅａｍ）によって作成された規格、及びこれらの規格の拡張、又はカスタマイズされた他の任意の規格などが挙げられる。
【0027】
図１Ａは、本願の実施形態に使用され得るビデオコーディングシステムを示すブロック図である。図に示されるように、当該システムは、エンコーディング側装置１とデコーディング側装置２とに分けられる。エンコーディング側装置１は、ビットストリームを生成する。デコーディング側装置２は、ビットストリームをデコードすることができる。デコーディング側装置２は、リンク３を介してエンコーディング側装置１からビットストリームを受信することができる。リンク３は、ビットストリームをエンコーディング側装置１からデコーディング側装置２へ移動させることができる１つ又は複数の媒体又は装置を含む。一例では、リンク３は、エンコーディング側装置１がビットストリームをデコーディング側装置２に直接に送信することを可能にする１つ又は複数の通信媒体を含む。エンコーディング側装置１は、通信規格（例えば、無線通信プロトコル）に従ってビットストリームを変調し、変調されたビットストリームをデコーディング側装置２に送信することができる。上記１つ又は複数の通信媒体は、無線通信媒体及び／又は有線通信媒体を含むことができ、パケットネットワークの一部を形成することができる。別の例では、ビットストリームは、出力インターフェース１５から記憶装置に出力されることもできる。デコーディング側装置２はストリーミング（ｓｔｒｅａｍｉｎｇ）又はダウンロードを介して、当該記憶装置から記憶されたデータを読み出すことができる。
【0028】
図１Ａに示されるように、エンコーディング側装置１は、データソース１１、ビデオエンコーディング装置１３、及び出力インターフェース１５を含む。データソース１１は、ビデオキャプチャ装置（例えば、カメラ）、以前にキャプチャされたデータを含むアーカイブ（ａｒｃｈｉｖｅ）、コンテンツプロバイダからデータを受信するためのフィードインターフェース、データを生成するためのコンピュータグラフィックスシステム、又はこれらのソースの組み合わせを含む。ビデオエンコーディング装置１３は、データソース１１からのデータをエンコードして出力インターフェース１５に出力することができる。出力インターフェース１５は、調整器、モデム、及び送信器のうちの少なくとも１つを含むことができる。デコーディング側装置２は、入力インターフェース２１、ビデオデコーディング装置２３、及び表示装置２５を含む。入力インターフェース２１は、受信機及びモデムのうちの少なくとも１つを含む。入力インターフェース２１は、リンク３を介して、又は記憶装置からビットストリームを受信することができる。ビデオデコーディング装置２３は受信したビットストリームをデコードする。表示装置２５は、デコードされたデータを表示するために用いられる。表示装置２５は、デコーディング側装置２の他のコンポーネントと一体化されてもよく、別個に設けられてもよい。デコーディング側は、表示装置２５を含まなくてもよい。他の例では、デコーディング側は、デコードされたデータが適用可能な他の装置又は機器を含んでもよい。
【0029】
図１Ａに示すビデオコーディングシステムに基づいて、様々なビデオコーディング方法を用いてビデオ圧縮と解凍を実現することができる。
【0030】
図１Ｂは、本願の実施形態に使用され得る例示的なビデオエンコーディング装置のブロック図である。図に示すように、当該ビデオエンコーディング装置１０００は、予測ユニット１１００と、分割ユニット１１０１と、残差生成ユニット１１０２（図において分割ユニット１１０１に次ぐ＋付きの円で示す）と、変換処理ユニット１１０４と、量子化ユニット１１０６と、逆量子化ユニット１１０８と、逆変換処理ユニット１１１０と、再構成ユニット１１１２（図において逆変換処理ユニット１１１０に次ぐ＋付きの円で示す）と、フィルタユニット１１１３と、デコードされた画像のバッファ１１１４と、エントロピーエンコーディングユニット１１１５とを含む。予測ユニット１１００は、インター予測ユニット１１２１と、イントラ予測ユニット１１２６とを含む。デコードされた画像のバッファ１１１４は、デコード済みの画像のバッファ、デコーディング画像のバッファ、デコードされた画像のためのバッファなどと呼ばれてもよい。ビデオエンコーディング装置１０００はまた、この例と比べてより多い、より少ない、又は異なる機能コンポーネントを含んでもよい。例えば、いくつかの場合では、変換処理ユニット１１０４、逆変換処理ユニット１１１０などを含まなくてもよい。
【0031】
分割ユニット１１０１は、予測ユニット１１００と協働して、受信したビデオデータをスライス（Ｓｌｉｃｅ）、コーディングツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、ＣＴＵ）、又は他の比較的大きなユニットに分割する。分割ユニット１１０１によって受信されるビデオデータは、Ｉフレーム、ＰフレームやＢフレームなどのビデオフレームを含むビデオシーケンスであってもよい。
【0032】
予測ユニット１１００は、ＣＴＵをコーディングユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）に分割し、ＣＵに対してイントラ予測コーディング又はインター予測コーディングを行うことができる。ＣＵに対してイントラ予測とインター予測を行う場合、ＣＵを１つ又は複数の予測ユニット（ＰＵ）に分割することができる。
【0033】
インター予測ユニット１１２１は、ＰＵに対してインター予測を行って、ＰＵの予測データを生成することができる。当該予測データは、ＰＵの予測ブロック、ＰＵの動き情報、及び様々なシンタックスエレメントを含む。インター予測ユニット１１２１は、動き推定（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ、ＭＥ）ユニット及び動き補償（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ、ＭＣ）ユニットを含むことができる。動き推定ユニットは、動きベクトルを生成するために動き推定に用いられることができ、動き補償ユニットは、動きベクトルに基づいて予測ブロックを取得し又は生成するために用いられることができる。
【0034】
イントラ予測ユニット１１２６は、ＰＵに対してイントラ予測を行って、ＰＵの予測データを生成することができる。当該ＰＵの予測データは、ＰＵの予測ブロック及び様々なシンタックスエレメントを含むことができる。
【0035】
残差生成ユニット１１０２は、ＣＵのオリジナルブロックから、ＣＵを分割することで得られたＰＵの予測ブロックを減算して、ＣＵの残差ブロックを生成することができる。
【0036】
変換処理ユニット１１０４は、ＣＵを１つ又は複数の変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ、ＴＵ）に分割することができる。予測ユニットの分割と変換ユニットの分割は異なってもよい。ＴＵに関連する残差ブロックは、ＣＵの残差ブロックを分割することによって得られるサブブロックである。ＴＵに関連する残差ブロックに１つ又は複数の変換を適用することによって、ＴＵに関連する係数ブロックが生成される。
【0037】
量子化ユニット１１０６は、選択された量子化パラメータ（Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ、ＱＰ）に基づいて、係数ブロック内の係数を量子化することができる。係数ブロックへの量子化の度合いは、ＱＰを調整することによって調整されることができる。
【0038】
逆量子化ユニット１１０８及び逆変換処理ユニット１１１０は、係数ブロックに逆量子化及び逆変換をそれぞれ適用して、ＴＵに関連する再構成残差ブロックを得ることができる。
【0039】
再構成ユニット１１１２は、再構成残差ブロックと予測ユニット１１００によって生成された予測ブロックとを加算することによって、再構成画像を生成することができる。
【0040】
フィルタユニット１１１３は、再構成画像に対してインループフィルタリングを行って、フィルタリングされた再構成画像を参照画像としてデコードされた画像のバッファ１１１４に記憶する。イントラ予測ユニット１１２６は、デコードされた画像のバッファ１１１４からＰＵに隣接するブロックの参照画像を抽出して、イントラ予測を行うことができる。インター予測ユニット１１２１は、デコードされた画像のバッファ１１１４にキャッシュされた１フレーム前の参照画像を利用して、現在画像のＰＵに対してインター予測を行うことができる。
【0041】
エントロピーエンコーディングユニット１１１５は、受信したデータ（例えば、シンタックスエレメント、量子化された係数ブロック、動き情報など）に対してエントロピーエンコーディング操作を行う。
【0042】
図１Ｃは、本願の実施形態に使用され得る例示的なビデオデコーディング装置のブロック図である。図に示すように、ビデオデコーディング装置１０１は、エントロピーデコーディングユニット１５０と、予測ユニット１５２と、逆量子化ユニット１５４と、逆変換処理ユニット１５５と、再構成ユニット１５８（図において逆変換処理ユニット１５５に次ぐ＋付きの円で示す）と、フィルタユニット１５９と、デコードされた画像のバッファ１６０とを含む。他の実施形態では、ビデオデコーディング装置１０１は、より多い、より少ない、又は異なる機能コンポーネントを含んでもよい。例えば、いくつかの場合では、逆変換処理ユニット１５５などを含まなくてもよい。
【0043】
エントロピーデコーディングユニット１５０は、受信したビットストリームに対してエントロピーデコーディングを行って、シンタックスエレメント、量子化された係数ブロック及びＰＵの動き情報などの情報を抽出することができる。予測ユニット１５２、逆量子化ユニット１５４、逆変換処理ユニット１５５、再構成ユニット１５８、及びフィルタユニット１５９はいずれも、ビットストリームから抽出されたシンタックスエレメントに基づいて、対応する操作を実行することができる。
【0044】
逆量子化ユニット１５４は、量子化されたＴＵに関連する係数ブロックを逆量子化することができる。
【0045】
逆変換処理ユニット１５５は、ＴＵの再構成残差ブロックを生成するために、逆量子化された係数ブロックに１つ又は複数の逆変換を適用することができる。
【0046】
予測ユニット１５２は、インター予測ユニット１６２と、イントラ予測ユニット１６４とを含む。イントラ予測コーディングがＰＵに用いられる場合、イントラ予測ユニット１６４は、ビットストリームからデコードされたシンタックスエレメントに基づいて、ＰＵのイントラ予測モードを確定し、確定されたイントラ予測モードと、デコードされた画像のバッファ１６０から取得されたＰＵに隣接する再構成された参照情報とに基づいて、イントラ予測を実行して、ＰＵの予測ブロックを生成することができる。インター予測コーディングがＰＵに用いられる場合、インター予測ユニット１６２は、ＰＵの動き情報及び対応するシンタックスエレメントに基づいてＰＵの１つ又は複数の参照ブロックを確定し、デコードされた画像のバッファ１６０から取得された参照ブロックに基づいてＰＵの予測ブロックを生成することができる。
【0047】
再構成ユニット１５８は、ＴＵに関連する再構成残差ブロックと、予測ユニット１５２によって生成されたＰＵの予測ブロックとに基づいて、再構成画像を得ることができる。
【0048】
フィルタユニット１５９は、再構成画像に対してインループフィルタリングを実行することができる。プフィルタリングされた再構成画像が、デコードされた画像のバッファ１６０に記憶される。デコードされた画像のバッファ１６０は、後続の動き補償、イントラ予測、インター予測などに用いられる参照画像を提供することができ、また、プフィルタリングされた再構成画像をデコードされたビデオデータとして出力し、表示装置で表示することもできる。
【0049】
上記ビデオエンコーディング装置及びビデオデコーディング装置に基づいて、以下の基本的なコーディングの流れが実行されることができる。エンコーディング側では、１つの画像をブロックに分割し、現在のブロックに対して、イントラ予測もしくはインター予測を行うことにより又は他のアルゴリズムで、現在のブロックの予測ブロックを生成し、現在のブロックのオリジナルブロックから予測ブロックを減算して残差ブロックを取得し、残差ブロックを変換・量子化して量子化係数を取得し、量子化係数をエントロピーコーディングしてビットストリームを生成する。デコーディング側では、現在のブロックに対してイントラ予測又はインター予測を行うことにより現在のブロックの予測ブロックを生成し、一方、ビットストリームをデコードして得られた量子化係数を逆量子化・逆変換して残差ブロックを取得し、予測ブロックと残差ブロックとを加算して再構成ブロックを取得する。再構成ブロックは再構成画像を形成する。画像又はブロックに基づいて再構成画像をインループフィルタリングしてデコードされた画像を取得する。エンコーディング側でも、デコードされた画像を取得するために、デコーディング側と類似の処理を行う。エンコーディング側で取得した、デコードされた画像は通常、再構成画像とも呼ばれる。デコードされた画像は後続の画像に対するインター予測のための参照画像とされることができる。エンコーディング側で確定されたブロック分割情報、予測、変換、量子化、エントロピーコーディング、インループフィルタリングなどのモード情報とパラメータ情報などは、必要に応じてビットストリームに書き込まれる。デコーディング側は、ビットストリームをデコードし又は既存情報を分析して、エンコーディング側と同じブロック分割情報、予測、変換、量子化、エントロピーコーディング、インループフィルタリングなどのモード情報とパラメータ情報を確定する。それによって、エンコーディング側で取得されたデコードされた画像とデコーディング側で取得されたデコードされた画像とが同じであることが確保される。
【0050】
上記はプロックに基づいた混合コーディングフレームワークの例であるが、本願の実施形態はそれに限定されない。技術の発展に伴って、当該フレームワーク内の１つ又は複数のモジュール、及び当該プロセス内の１つ又は複数のステップを置き換えたり最適化したりすることができる。
【0051】
本明細書では、現在のブロック（ｃｕｒｒｅｎｔ ｂｌｏｃｋ）は、現在の画像における現在のコーディングユニット（ｃｕｒｒｅｎｔ ＣＵ）、現在の予測ユニット（ｃｕｒｒｅｎｔ ＰＵ）などのようなブロックレベルのコーディングユニットであることができる。
【0052】
エンコーディング側では、イントラ予測において、通常、様々な角度モードと非角度モードを通じて現在のブロックを予測して予測ブロックを得る。予測ブロックとオリジナルブロックから算出されたレート歪み情報に基づいて、現在のブロックのために最適なイントラ予測モードを選択し、このイントラ予測モードをエンコードしてビットストリームを通じてデコーディング側に伝送する。デコーディング側では、デコードすることで現在のブロックのために選択されたイントラ予測モードを取得し、このイントラ予測モードに従って現在のブロックのイントラ予測を行う。本明細書では、現在のブロックのために選択された参照ラインとイントラ予測モードは、現在のブロックに対して選択された参照ラインとイントラ予測モードとも記載される。
【0053】
ＶＶＣとＥＣＭにおいて、複数種類の従来のイントラ予測モードは、現在のブロックの周辺にある再構成された情報を用いて現在のブロックを予測する。平面モード（すなわち、Ｐｌａｎａｒモード、モードインデックスが０）、平均値モード（すなわち、ＤＣモード、モードインデックスが１）、及び６５個の角度予測モード（モードインデックスが２～６６）を含む。図２は、モードインデックスが２～６６の角度モードの角度方向を示す。本文では、角度予測モードを角度モードとも略称する。
【0054】
ＶＶＣには長方形の予測ブロックが導入されているため、長方形のブロックについては、インデックスが２～６６の角度モードのうち、いくつかの角度モードの角度方向が、より広い角度方向に置き換えられることができる。図示するように、インデックスが－１４～－１、６７～８０の角度モードは、広角度置換によって得られる角度モードである。これらの角度モードの選択は、フラグで表わす必要はなく、現在のブロックの形状と現在のブロックのために選択された予測モードのインデックス（２～６６）との対応関係によって得られる。
【0055】
ＶＶＣ規格において、広角度の置き換え方は、以下の通りである。
【0056】
変数whRatioは、Abs( Log2( blockWidth ) - Log2( blockHeight ) )である。
非正方形の予測ブロックについて、角度予測モードpredModeIntra (2~66)に対して、以下の条件が満たされるか否かに基づいて広角度置換をする。predModeIntraはインデックスで示される。
次の３つの条件がいずれも満たされた場合、predModeIntraは( predModeIntra + 65 )に等しい。
現在のブロックの幅は高さより大きい。
角度モードインデックスは２以上である。
角度モードインデックスは、( whRatio > 1 ) ? ( 8 + 2 * whRatio ) : 8未満である。
そうでなければ、次の３つの条件がいずれも満たされた場合、predModeIntraは（( predModeIntra - 67 )に等しい。
現在のブロックの高さは幅よりも大きい。
角度モードインデックスは６６以下である。
角度モードインデックスは、( whRatio > 1 ) ? ( 60 - 2 * whRatio ) : 60より大きい。
広角度モードのマッチングが完了すると、角度予測モードpredModeIntra (-14~80)毎に１つの角度値intraPredAngleが存在する。
非正方形の予測ブロックについて、角度予測モードpredModeIntra (2~66)に対して、以下の条件が満たされるか否かに基づいて広角度置換をする。predModeIntraはインデックスで示される。
次の３つの条件がいずれも満たされた場合、predModeIntraは( predModeIntra + 65 )に等しい。
現在のブロックの幅は高さより大きい。
角度モードインデックスは２以上である。
角度モードインデックスは、( whRatio > 1 ) ? ( 8 + 2 * whRatio ) : 8未満である。
そうでなければ、次の３つの条件がいずれも満たされた場合、predModeIntraは（( predModeIntra - 67 )に等しい。
現在のブロックの高さは幅よりも大きい。
角度モードインデックスは６６以下である。
角度モードインデックスは、( whRatio > 1 ) ? ( 60 - 2 * whRatio ) : 60より大きい。
広角度モードのマッチングが完了すると、角度予測モードpredModeIntra (-14~80)毎に１つの角度値intraPredAngleが存在する。
【0057】
【0058】
角度モードの角度値は、後続の角度予測に用いられる。
【0059】
【0060】
本明細書でいうイントラ予測モードとは、他の限定が無い場合には、Ｐ１ａｎａｒモード、ＤＣモード及び角度モードを含む従来のイントラ予測モードのことをいう。
【0061】
現在のブロックのイントラ予測モードを直接にエンコードすると、６７種類のモードをエンコードするために７ｂｉｔが必要となり、データ量が大きい。統計的特性から、現在のブロックに近いほど、このサンプル領域に対して選択されるイントラ予測モードと現在のブロックに対して選択されるイントラ予測モードが同じである傾向が高くなる。この特性に基づいて、ＨＥＶＣ、ＶＶＣ、及び強化された圧縮モデル（Ｅｎｈａｎｃｅｄ Ｃｏｍｐｒｅｓｓｉｏｎ Ｍｏｄｅｌ、ＥＣＭ）では、最確モード（Ｍｏｓｔ ｐｒｏｂａｂｌｅ Ｍｏｄｅ、ＭＰＭ）技術が採用されている。ＥＣＭは、ＶＴＭ－１０．０参照ソフトウェアに基づいて、さまざまな新しいツールを統合して、コーディング性能をさらに引き出すことができる参照ソフトウェアである。
【0062】
ＭＰＭに対して、まずＭＰＭリストを作成し、ＭＰＭリストには、現在のブロックのために選択される可能性が最も高い６種類のイントラ予測モードが記入される。現在のブロックのために選択されたイントラ予測モードがＭＰＭリストにある場合、そのインデックス（３ｂｉｔのみが必要）のみをエンコードする必要がある。現在のブロックのために選択されたイントラ予測モードがＭＰＭリストになく、６１個の非ＭＰＭ（ｎｏｎ－ＭＰＭ）モード内にある場合、エントロピーエンコーディング段階でトランケートされたバイナリコード（Ｔｒｕｎｃａｔｅｄ Ｂｉｎａｒｙ Ｃｏｄｅ、ＴＢＣ）を用いてこのイントラ予測モードをエンコードする。
【0063】
ＶＶＣでは、マルチ参照ライン（Ｍｕｌｔｉｐｌｅ Ｒｅｆｅｒｅｎｃｅ Ｌｉｎｅ、ＭＲＬ）及びイントラサブパーティション分割（Ｉｎｔｒａ Ｓｕｂ－Ｐａｒｔｉｔｉｏｎｓ、ＩＳＰ）の適用の有無にかかわらず、ＭＰＭリストは６種類の予測モードを有する。ＥＣＭにおけるＭＰＭは、ＭＰＭと第２ＭＰＭ（Ｓｅｃｏｎｄａｒｙ ＭＰＭ）に分けられ、ＭＰＭリストの長さは６であり、Ｓｅｃｏｎｄａｒｙ ＭＰＭリストの長さは１６である。ＭＰＭリストに含まれる６つのモードのうち、Ｐｌａｎａｒモードは常にＭＰＭリストにおける１番目の位置に記入され、残りの５個の位置は、５つの位置が全て充填されるまで次の３つのステップによって充填される。余分なモードは自動的にＳｅｃｏｎｄａｒｙ ＭＰＭに記入される。
【0064】
第１ステップにおいて、現在のブロックの周囲にある近隣の５つの位置での予測ブロックに対して使用されるイントラ予測モードを順番に充填する。図３に示すように、５つの位置は、現在のブロックの左上（ＡＬ）、上（Ａ）、右上（ＡＲ）、左（Ｌ）、及び左下（ＢＬ）の位置を順番に含む。
【0065】
第２ステップにおいて、現在のブロックの周囲にある再構成されたサンプルに基づいて勾配ヒストグラムを用いて導出されたモードを充填する。
【0066】
第３ステップにおいて、第１ステップで選択された角度モードの角度に近い角度モードを充填する。
【0067】
Ｓｅｃｏｎｄａｒｙ ＭＰＭリストは、ＭＰＭにおけるイントラ予測モードのほかのいくつかの主な角度モードで構成することができる。
【0068】
ＭＰＭフラグ（ｍｐｍ＿ｆｌａｇ）は、ＭＲＬモードの後にエンコードとデコードされるため、ＥＣＭにおけるＭＰＭのエンコーディングとデコーディングは、ＭＲＬフラグに依存する。現在のブロックに対してＭＲＬモードを使用しない場合、ＭＰＭフラグをデコードして現在のブロックに対してＭＰＭを使用するか否かを判断する必要がある。現在のブロックに対してＭＲＬモードを使用する場合、ＭＰＭフラグをデコードする必要はなく、現在のブロックに対してＭＰＭを使用するのはデフォルトである。
【0069】
テンプレートベースのイントラモード導出（Ｔｅｍｐｌａｔｅ ｂａｓｅｄ ｉｎｔｒａ ｍｏｄｅ ｄｅｒｉｖａｔｉｏｎ、ＴＩＭＤ）及びデコーダー側イントラモード導出（Ｄｅｃｏｄｅｒ－ｓｉｄｅ ｉｎｔｒａ ｍｏｄｅ ｄｅｒｉｖａｔｉｏｎ、ＤＩＭＤ）は、ＶＶＣ規格にはないが、ＥＣＭ参照ソフトウェアに採用された２つのイントラ予測技術である。この２つの技術により、デコーダー側で現在のブロックの周囲の再構成されたサンプル値に基づいて、現在のブロックのイントラ予測モードを導出することができ、その結果、イントラ予測モードのインデックスのエンコーディングを省略してｂｉｔを省く役割を果たす。
【0070】
ＴＩＭＤは、輝度フレームに対するイントラ予測モードである。ＴＩＭＤモードは、ＭＰＭリスト内の候補のイントラ予測モードとテンプレート（Ｔｅｍｐｌａｔｅ）領域（略してテンプレートという）に基づいて生成される。ＥＣＭでは、図４に示すように、現在のブロック（例えば、現在のＣＵ）１１の左側隣接領域と上方隣接領域が現在のブロックのテンプレート領域１２を構成する。その中の左側隣接領域を左側テンプレート領域（略して左テンプレートという）と呼び、上方隣接領域を上方テンプレート領域又は上側テンプレート領域（略して上テンプレートという）と呼ぶ。
【0071】
図示のように、テンプレート領域１２の外側（左側と上側を意味する）にテンプレート参照（Ｒｅｆｅｒｅｎｃｅ ｏｆ ｔｈｅ Ｔｅｍｐｌａｔｅ）領域１３が設けられており、各領域の例示的なサイズと位置が示されている。一例として、左テンプレートの幅Ｌ１と上テンプレートの高さＬ２はいずれも４である。テンプレート参照領域１３は、テンプレート領域の上方の隣接する一行であってもよく、又は左側の隣接する一列であってもよい。
【0072】
ＴＩＭＤでは、現在のブロックと現在のブロックのテンプレート領域の分布特性が同じであると仮定し、テンプレート参照領域の再構成値を参照ラインの再構成値とし、ＭＰＭとＳｅｃｏｎｄａｒｙ ＭＰＭにおける全てのイントラ予測モードをトラバースしてテンプレート領域を予測し、予測結果を得る。そして、テンプレート領域の再構成値と各モードの予測結果との誤差を算出し、差分変換絶対値和（Ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｔｒａｎｓｆｏｒｍｅｄ ｄｉｆｆｅｒｅｎｃｅｓ、ＳＡＴＤ）で表し、ＳＡＴＤが最小となるイントラ予測モード、すなわち最適なイントラ予測モードを選択し、このイントラ予測モードを現在のブロックのＴＩＭＤモードとする。デコーディング側では、同様の導出方式によりＴＩＭＤモードを導出することができる。シーケンスに対してＴＩＭＤを使用できれば、各現在のブロックは、ＴＩＭＤを使用するか否かを示すフラグを必要とする。現在のブロックのために選択されたイントラ予測モードがＴＩＭＤモードである場合、現在のブロックに対してＴＩＭＤモードを使用して予測し、ＩＳＰ、ＭＰＭなどのイントラ予測に関連する残りのシンタックスエレメントのデコーディングはスキップすることができ、これによりモードのコーディングビットを大幅に削減することができる。
【0073】
【0074】
重み付けの方法と重みは以下の式で示される。
【数1】
【数2】
【0075】
【0076】
ＤＩＭＤでは、現在のブロックの周囲の再構成されたサンプル値をテンプレートとして、ソーベル（ｓｏｂｅｌ）演算子によってテンプレート上の各３×３領域を走査して水平方向と垂直方向の勾配を計算し、水平方向と垂直方向の勾配ＤｘとＤｙを求め、ＤｘとＤｙに基づいて各位置の振幅値Amp = abs(Dx)+abs(Dy)および角度値angular = arctan(Dy/Dx)を求める。テンプレート上の各位置の角度値は従来の角度モードに対応し、同じ角度モードの振幅値を累算して振幅値と角度モードのヒストグラムを取得する。振幅値が最も高い角度モードと次に高い角度モードという２種の角度モードが存在する場合、振幅値が最も高い角度モード及び振幅値が次に高い角度モード並びにｐｌａｎａｒモードの予測値に重み付けを行うことで、現在のブロックに対してＤＩＭＤを使用している場合の最終的な予測結果を得ることができる。このときの予測モードでは、ｐｌａｎａｒモードと振幅値が最も高い角度モードと振幅値が次に高い角度モードという３つのイントラ予測モードが融合されている。本明細書ではＤＩＭＤ融合モードと呼ぶ。振幅の最も高い角度モードと次に高い角度モードが存在しない場合、ＤＩＭＤを用いた予測はｐｌａｎａｒモード予測と同等である。
【0077】
ＨＥＶＣでは、イントラ予測は、現在のブロックの最も近い上方の一行と左側の一列を参照として予測を行い、この一行と一列の再構成値とオリジナルサンプル値との誤差が大きい場合、現在のブロックの予測品質も大きな影響を受ける。この問題を解決するために、ＶＶＣはマルチ参照ライン（Ｍｕｌｔｉｐｌｅ ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ、ＭＲＬ）イントラ予測技術を採用し、インデックスが０の参照ライン（Ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ０）を使用するだけでなく、イントラ予測のために、インデックスが１の参照ライン（Ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ１）及びインデックスが２の参照ライン（Ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ２）を拡張された参照ラインとして使用することもできる。コーディングの複雑さを軽減するため、ＭＰＭにおける非ｐｌａｎａｒモードのみに対してＭＲＬが使用される。エンコーディング側では、各角度モードを用いて予測する際、この３つの参照ラインを全て試し、レート歪み最適化により、現在のブロックのためにレート歪みコスト（ＲＤ Ｃｏｓｔ）が最も小さい１つの参照ラインを選択し、選択された参照ラインのインデックスをエンコードしてデコーディング側に送る。デコーディング側はデコードして参照ラインのインデックスを取得し、参照ラインのインデックスに従って現在のブロックのために選択された参照ラインを確定し、それを現在のブロックの予測に使用する。
【0078】
図５に示す例では、現在のブロックの４つの参照ラインが図示されており、現在のブロックに隣接する参照ライン０（ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ０）２２１、すなわち、インデックスが０の参照ライン、現在のブロックから１ラインを隔てる参照ライン１（ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ１）２２２、すなわち、インデックスが１の参照ライン、現在のブロックから２ラインを隔てる参照ライン２（ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ２）２２３、すなわち、インデックスが２の参照ライン、及び、現在のブロックから３ラインを隔てる参照ライン３（ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ３）２２４、すなわち、インデックスが３の参照ラインを含む。現在のブロックはもっと多い参照ラインを有してもよく、すなわち、インデックスが４以上の参照ラインを有してもよい。予測するとき、一部の参照ラインの再構成値のみを使用することも可能である。本明細書では、参照ラインのインデックスは図５に示す方式に従って番号付けされる。
【0079】
本明細書では、参照ラインを「ライン」と呼び、実際的に、１つの参照ラインには一行と一列が含まれ、一般に、予測するときに使用される参照ラインの再構成値には一行と一列の再構成値も含まれ、これは業界の通常の記述方法と同じである。
【0080】
ＥＣＭでは、ＭＲＬモードにおいてより多くの参照ラインを使用することができ、現在のブロックのために選択された参照ラインをエンコードするために、複数の候補参照ラインのインデックスをリストに記入する。このリストをマルチ参照ラインインデックスリスト（ＭＲＬインデックスリストと略す）と呼び、マルチ参照ラインリスト、候補参照ラインリスト、参照ラインインデックスリストなどと呼ぶこともできる。現在のブロックに対してＴＩＭＤを使用しない場合、ＭＲＬインデックスリストの長さは６であり、すなわち、合わせて６つの位置があり、６個の参照ラインのインデックスを記入することができる。これら６個の参照ラインのインデックスとその順番は固定されており、順に０、１、３、５、７、１２であり、MULTI_REF_LINE_IDX[6] = { 0, 1, 3, 5, 7, 12 }という式で表すことができる。このＭＲＬインデックスリストにおいて、１番目の位置に記入されたインデックスは０であり、現在のブロックに最も近い参照ラインのインデックスであり、２番目から６番目の位置までに記入されたインデックスは、それぞれ１、３、５、７、１２であり、現在のブロックとの距離が近いものから遠いものの順に並べられた５つの拡張参照ラインのインデックスである。
【0081】
現在のブロックのために選択された参照ラインがＭＲＬインデックスリストにある場合、マルチ参照ラインインデックス（ｍｕｌｔｉＲｅｆＩｄｘ）により、現在のブロックのために選択された参照ラインのＭＲＬインデックスリストにおける位置を示し、ＭＲＬインデックスをエンコードすることで選択された参照ラインを表すことができる。ＭＲＬインデックスリストが{ 0, 1, 3, 5, 7, 12 }であることを例にすると、１番目の位置から６番目の位置に対応するＭＲＬインデックスはそれぞれ０から５である。現在のブロックのために選択された参照ラインがインデックス０を有する参照ラインであると仮定すると、ＭＲＬインデックスが０である。現在のブロックのために選択された参照ラインがインデックス７を有する参照ラインであると仮定すると、ＭＲＬインデックスが４であり、他の状況は同様である。ＭＲＬインデックスに対して、コンテキストモデルベースのトランケートされた単項コードを使用してエンコードすることができ、エンコードした後、コンテキストモデルベースの複数のビン（ｂｉｎ）を取得する。ビンは、二進法フラグ、二進法シンボル、二進法ビットなどとも呼ばれる。ＭＲＬインデックスの値が小さいほど、コード長が小さく、デコーディングが速い。
【0082】
【0083】
なお、同じ技術は異なる規格において異なる名称があるかもしれない。例えば、ＭＰＭのように、現在のブロックの周囲にあるブロックを用いて最確モードのリストを導出する技術は、ＡＶ２（ＡＶＭ）では、適応イントラモードコーディング（Ａｄａｐｔｉｖｅ Ｉｎｔｒａ Ｍｏｄｅ Ｃｏｄｉｎｇ、ＡＩＭＣ）と呼ばれる。ＡＶＳ３では、スクリーンコンテンツコーディングの場合、周波数情報ベースのイントラモードコーディング（Ｆｒｅｑｕｅｎｃｙ－ｂａｓｅｄ Ｉｎｔｒａ Ｍｏｄｅ Ｃｏｄｉｎｇ、ＦＩＭＣ）と呼ばれる。ノンスクリーンコンテンツコーディングの場合、ＭＰＭのような技術は常に使われている。ＭＲＬのようにマルチ参照ラインを用いてイントラ予測を行う技術は、ＡＶ２（ＡＶＭ）では、イントラ予測のためのマルチ参照ライン選択（Ｍｕｌｔｉｐｌｅ ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ｓｅｌｅｃｔｉｏｎ ｆｏｒ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＭＲＬＳ）と呼ばれる。ただし、これは名称の違いに過ぎず、本実施形態におけるＭＰＭ、ＭＲＬ等の用語の使用は、他の規格におけるこれら実質的に同一の技術を同様にカバーするものとする。
【0084】
一実施形態は、テンプレートベースのマルチ参照ラインイントラ予測（Ｍｕｌｔｉｐｌｅ ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ＆ ｉｎｔｒａ＿ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）モードを提供し、これはＴＭＲＬモードと略記され、ＴＭＲＬモードとは、拡張参照ラインとイントラ予測モードとの組み合わせに基づいて候補リストを構築して、拡張参照ラインとイントラ予測モードとの組み合わせをエンコード及びデコードする予測モードである。
【0085】
本実施形態のビデオエンコーディング方法は、エンコーダーに応用され、図６に示されるように、ステップ１１０～ステップ１３０を含む。
ステップ１１０：現在のブロックのＴＭＲＬモードの候補リストを構築することであって、候補リストには、現在のブロックのための、拡張参照ラインとイントラ予測モードの候補組み合わせが記入される。
ステップ１２０：レート歪み最適化を通じて、現在のブロックのために、イントラ予測に用いられる、参照ラインとイントラ予測モードの１つの組み合わせを選択する。
本明細書では、参照ラインには、インデックスが０の参照ラインと拡張参照ラインが含まれる。現在のブロックのために選択される参照ラインとイントラ予測モードの組み合わせは、インデックスが０の参照ラインと１つのイントラ予測モードの組み合わせ、又は１つの拡張参照ラインと１つのイントラ予測モードの組み合わせである可能性がある。
ステップ１３０：現在のブロックのＴＭＲＬモードのエンコーディング条件が満たされた場合、現在のブロックのＴＭＲＬモードフラグをエンコードすることで現在のブロックに対してＴＭＲＬモードを使用することを示し、現在のブロックのＴＭＲＬモードインデックスをエンコードすることで候補リストにおける選択された組み合わせの位置を示す。
ここで、エンコーディング条件は、少なくとも、選択された組み合わせが候補リストにあることを含む。
ステップ１１０：現在のブロックのＴＭＲＬモードの候補リストを構築することであって、候補リストには、現在のブロックのための、拡張参照ラインとイントラ予測モードの候補組み合わせが記入される。
ステップ１２０：レート歪み最適化を通じて、現在のブロックのために、イントラ予測に用いられる、参照ラインとイントラ予測モードの１つの組み合わせを選択する。
本明細書では、参照ラインには、インデックスが０の参照ラインと拡張参照ラインが含まれる。現在のブロックのために選択される参照ラインとイントラ予測モードの組み合わせは、インデックスが０の参照ラインと１つのイントラ予測モードの組み合わせ、又は１つの拡張参照ラインと１つのイントラ予測モードの組み合わせである可能性がある。
ステップ１３０：現在のブロックのＴＭＲＬモードのエンコーディング条件が満たされた場合、現在のブロックのＴＭＲＬモードフラグをエンコードすることで現在のブロックに対してＴＭＲＬモードを使用することを示し、現在のブロックのＴＭＲＬモードインデックスをエンコードすることで候補リストにおける選択された組み合わせの位置を示す。
ここで、エンコーディング条件は、少なくとも、選択された組み合わせが候補リストにあることを含む。
【0086】
本明細書では、現在のブロックの拡張参照ラインとイントラ予測モードの候補組み合わせが記入された候補リストをＴＭＲＬモードの候補リストと呼ぶこともできる。
【0087】
本明細書では、候補リストに記入されるのは、現在のブロックの拡張参照ラインとイントラ予測モードの候補組み合わせである。これは、候補リスト内の組み合わせが、現在のブロックのレート歪み最適化に参加する必要があり、すなわち、レート歪みコストを通じて現在のブロックの予測モードを選択するモード選択プロセスに参加する必要があることを意味する。これにより、候補リスト内の全ての組み合わせが選択される可能性がある。
【0088】
本明細書では、個数を示すパラメータＮ、Ｍ、Ｋはいずれも正の整数であり、別途記述する必要はない。
【0089】
本実施形態によって構築されるＴＭＲＬモードの候補リストに記入されるのは、現在のブロックの拡張参照ラインとイントラ予測モードの候補組み合わせであり、もはや単一の候補拡張参照ラインのリスト又は候補イントラ予測モードのリストでもない。現在のブロックのために選択された参照ライン及びイントラ予測モードの組み合わせがその候補リストにあり（このとき、現在のブロックのために拡張参照ラインが選択される）、即ち選択された組み合わせがこの候補リストにある１つの組み合わせであるなどのエンコーディング条件が満たされたとき、現在のブロックのＴＭＲＬモードフラグをエンコードすることで現在のブロックに対してＴＭＲＬモードを使用することを示し、現在のブロックのＴＭＲＬモードインデックスをエンコードすることで候補リストにおける選択された組み合わせの位置を示す。デコーディング側は、ＴＭＲＬモードフラグ及びＴＭＲＬモードインデックスに基づいて、現在のブロックのために選択された拡張参照ライン及びイントラ予測モードを確定することができる。本実施形態の組み合わせのエンコーディング及びデコーディング方法により、コーディングコストを低減し、コーディング性能を向上させることができる。
【0090】
ＴＭＲＬモードでは、現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて得られたＮ×Ｍ個の組み合わせの各々に従って、現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算する。誤差の昇順で、対応するＫ個の組み合わせを現在のブロックのＴＭＲＬモードの候補リストに記入し、１≦Ｋ≦Ｎ×Ｍが満たされる。
【0091】
一例では、ＥＣＭにおける拡張参照ラインとイントラ予測モードとの２５種類の組み合わせの各々に基づいてテンプレート領域を予測し、誤差の昇順で２５個の組み合わせをソートし、誤差が最小であり、すなわち、選択される可能性が最も高い１２個の組み合わせをＴＭＲＬモードの候補リストに記入し、これにより、ＴＭＲＬモードインデックスをエンコードするためのコーディングビット数を減少することができる。拡張参照ライン｛１，３，５，７，１２｝の一部（例えば、インデックスが７と１２である拡張参照ライン）がＣＴＵ境界の外側にある場合でも、１５種類の組み合わせの順序に基づいて、選択される可能性の最も高い１２個の組み合わせを候補リストに記入することもでき、ＴＭＲＬモードインデックスのコーディングビットは依然として完全かつ有効に利用されることができる。誤差の昇順でソートすることにより、予測のために選択される可能性がより高い参照ラインと予測モードが候補リストに残され、選択される可能性がより高い組み合わせはリストにおける前の位置に配列されるため、コーディングのコストが低くなる。ＴＭＲＬモードの候補リストの作成については、以下に詳述する。
【0092】
本実施形態の一例において、エンコーディング条件は、さらに、現在のブロックに対してＴＩＭＤを使用しないことを含む。ビデオエンコーディング方法は、現在のブロックに対してＴＩＭＤを使用する場合、現在のブロックのＴＭＲＬモードフラグとＴＭＲＬモードインデックスのエンコーディングをスキップすることと、現在のブロックに対してＴＩＭＤを使用しないが、選択された組み合わせが候補リストにない場合、現在のブロックのＴＭＲＬモードフラグをエンコードすることで現在のブロックに対してＴＭＲＬモードを使用しないことを示し、現在のブロックのＴＭＲＬモードインデックスのエンコーディングをスキップすることと、をさらに、含む。
【0093】
この実施形態は、ＴＭＲＬモードの前にＴＩＭＤモードに基づいてエンコード及びデコードする場合である。現在のブロックに対してＴＩＭＤモードを使用する場合、ＴＭＲＬモードを使用する必要はないので、ＴＭＲＬモードフラグとＴＭＲＬモードインデックスのエンコーディングはスキップされる。現在のブロックに対してＴＩＭＤモードを使用しない場合、現在のブロックのために選択された組み合わせがＴＭＲＬモードの候補リストにある状況と、選択された組み合わせがＴＭＲＬモードの候補リストにない状況という２つのケースがある。選択された組み合わせが候補リストにない場合、ＴＭＲＬモードフラグをエンコードすることで、現在のブロックに対してＴＭＲＬモードを使用しないことを示す必要があり、また、ＴＭＲＬモードインデックスのエンコーディングをスキップする。選択された組み合わせが候補リストにある場合、ＴＭＲＬモードフラグとＴＭＲＬモードインデックスの両方をエンコードする必要がある。
【0094】
現在のブロックに対してＴＩＭＤを使用しない場合、本実施形態によって提供されるＴＭＲＬモードフラグ及びＴＭＲＬモードインデックスは、元のマルチ参照ラインインデックスｍｕｌｔｉＲｅｆＩｄｘを代替することができる。現在のブロックに対してＴＩＭＤを使用する場合、依然として、選択された参照ラインを示すためにマルチ参照ラインインデックスを使用することができ、そのマルチ参照ラインインデックスをエンコードすることができる。
【0095】
本実施形態の一例において、現在のブロックのＴＭＲＬモードの候補リストを構築することは、現在のブロックに対してＴＭＲＬモードを使用できる設定された条件が全て成立した場合にのみ、候補リストを構築することを含む。ＴＭＲＬモードを使用できる条件は、以下のいずれか１つ以上を含む。
条件１：現在のブロックが輝度フレームにおけるブロックであり、すなわち、ＴＭＲＬモードは輝度フレーム（すなわち輝度画像）のみに使用される。
条件２：現在のブロックがコーディングツリーユニット（ＣＴＵ）の上部境界に位置しない。ＣＴＵの上部境界に位置する場合、現在のブロックの上方には使用できる参照ラインがないため、本実施形態では、ＣＴＵの上部境界に位置しないことをＴＭＲＬモードを使用できる条件とする。
条件３：現在のブロックに対してＭＲＬを使用でき、すなわち、ＭＲＬモードを使用できる場合にのみ、ＴＭＲＬモードを使用できる。
条件４：現在のブロックのサイズが、ＴＭＲＬモードが使用できる現在のブロックの最大サイズより大きくない。この最大サイズはプリセットされたものであってもよい。一般に、より大きなブロックはより平坦であり、角度ディテールが比較的に少ない。このような大きなブロックに対して、ＴＭＲＬモードの使用を制限することができる。
条件５：現在のブロックのアスペクト比が、現在のブロックのアスペクト比に対するＴＭＲＬモードを使用する要求を満たす。例えば、現在のブロックのアスペクト比がプリセット値より大きくない場合にのみ、ＴＭＲＬモードの使用が許可される。
条件１：現在のブロックが輝度フレームにおけるブロックであり、すなわち、ＴＭＲＬモードは輝度フレーム（すなわち輝度画像）のみに使用される。
条件２：現在のブロックがコーディングツリーユニット（ＣＴＵ）の上部境界に位置しない。ＣＴＵの上部境界に位置する場合、現在のブロックの上方には使用できる参照ラインがないため、本実施形態では、ＣＴＵの上部境界に位置しないことをＴＭＲＬモードを使用できる条件とする。
条件３：現在のブロックに対してＭＲＬを使用でき、すなわち、ＭＲＬモードを使用できる場合にのみ、ＴＭＲＬモードを使用できる。
条件４：現在のブロックのサイズが、ＴＭＲＬモードが使用できる現在のブロックの最大サイズより大きくない。この最大サイズはプリセットされたものであってもよい。一般に、より大きなブロックはより平坦であり、角度ディテールが比較的に少ない。このような大きなブロックに対して、ＴＭＲＬモードの使用を制限することができる。
条件５：現在のブロックのアスペクト比が、現在のブロックのアスペクト比に対するＴＭＲＬモードを使用する要求を満たす。例えば、現在のブロックのアスペクト比がプリセット値より大きくない場合にのみ、ＴＭＲＬモードの使用が許可される。
【0096】
本実施形態の一例では、ＴＭＲＬモードインデックスに対してゴロム・ライス（Ｇｏｌｏｍｂ－Ｒｉｃｅ）コーディング法を用いてエンコードする。ゴロム・ライスコーディングを使用することにより、エンコーディング及びデコーディングのために、候補組み合わせを、異なる符号語長を有するカテゴリに、より合理的にグループ化することができ、コーディング効率を向上させる。
【0097】
本実施形態の一例において、現在のブロックのＴＭＲＬモードのエンコーディング条件が満たされた場合、ビデオエンコーディング方法は、ＭＰＭモード、イントラサブパーティション分割（ＩＳＰ）モード、マルチ変換選択（ＭＴＳ）モード、低周波数非分離型変換（ＬＦＮＳＴ）モード、及びＴＩＭＤモードのうちのいずれか１つ以上のモードのシンタックスエレメントのエンコーディングをスキップすることを、さらに含む。
【0098】
例えば、ＴＩＭＤモードの前にＴＭＲＬモードに基づいてエンコード及びデコードする場合、ＴＭＲＬモードのエンコーディング条件には、現在のブロックに対してＴＩＭＤを使用しないことが含まれなくなる。現在のブロックに対してＴＭＲＬモードを使用する場合、現在のブロックに対してＴＩＭＤを使用できなくなり、ＴＩＭＤモードのシンタックスエレメントのエンコーディングをスキップすることができる。
【0099】
例えば、現在のブロックに対してＴＭＲＬモードを使用する場合、ＴＭＲＬモードフラグとＴＭＲＬモードインデックスは、現在のブロックのために選択された参照ラインとイントラ予測モードを同時に示すことができ、ＭＰＭ関連のシンタックスエレメントをエンコード及びデコードする必要はない。
【0100】
例えば、特定の変換モードにおいて、ＴＭＲＬモードと、マルチ変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）モード及び／又は低周波数非分離型変換（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ―ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ、ＬＦＮＳＴ）モードとが同時に使用されないように制限することができる。
【0101】
一実施形態はＴＭＲＬモードの候補リストの構築方法を提供する。この方法はエンコーダーに応用されてもよく、デコーダーに応用されてもよい。図７に示すように、この方法は次の内容を含む。
ステップ２１０：現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個の組み合わせを取得し、Ｎ≧１、Ｍ≧１、Ｎ×Ｍ≧２が満たされる。
ステップ２２０：Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算する。
本ステップにおける誤差は、差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、ＳＡＤ）、又は差分変換絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｔｒａｎｓｆｏｒｍｅｄ Ｄｉｆｆｅｒｅｎｃｅ、ＳＡＴＤ）などで表すことができるが、これらに限らず、差分二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、ＳＳＤ）、平均絶対差（Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、ＭＡＤ）、平均二乗誤差（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ、ＭＳＥ）などで表すこともできる。
ステップ２３０：現在のブロックのＴＭＲＬモードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入し、１≦Ｋ≦Ｎ×Ｍが満たされる。
ステップ２１０：現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個の組み合わせを取得し、Ｎ≧１、Ｍ≧１、Ｎ×Ｍ≧２が満たされる。
ステップ２２０：Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算する。
本ステップにおける誤差は、差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、ＳＡＤ）、又は差分変換絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｔｒａｎｓｆｏｒｍｅｄ Ｄｉｆｆｅｒｅｎｃｅ、ＳＡＴＤ）などで表すことができるが、これらに限らず、差分二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、ＳＳＤ）、平均絶対差（Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、ＭＡＤ）、平均二乗誤差（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ、ＭＳＥ）などで表すこともできる。
ステップ２３０：現在のブロックのＴＭＲＬモードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入し、１≦Ｋ≦Ｎ×Ｍが満たされる。
【0102】
本実施形態で作成された候補リストにより、拡張参照ラインとイントラ予測モードの組み合わせのエンコーディングを実現し、エンコーディング効率を向上させることができる。また、異なる組み合わせを用いるテンプレート領域への予測と誤差の順序付けにより、現在のブロックと現在のブロックのテンプレート領域との分布特性の類似性に基づいて、Ｎ×Ｍ個の組み合わせから、選択される確率の比較的高いＫ個の組み合わせを選択することができ、且つ選択される確率の高い組み合わせを候補リスト内の前の位置に配列することで、エンコードする際に選択された組み合わせのＴＭＲＬモードインデックスが小さくなり、実際のエンコーディングコストを低減することができる。
【0103】
本実施形態の一例では、現在のブロックのテンプレート領域は、現在のブロックに最も近い１つの参照ラインに設定され、又は、現在のブロックのテンプレート領域は、現在のブロックに最も近い複数の参照ラインに設定され、組み合わせに参加するＮ個の拡張参照ラインは、テンプレート領域の外側に位置する拡張参照ラインである。図８Ａでは、現在のブロックのテンプレート領域は、インデックスが０の参照ライン３０に設定されている。ＴＭＲＬモードの候補リストを構築する際、インデックスが｛１，３，５，７，１２｝の事前定義の拡張参照ラインから、使用できるＮ個の拡張参照ラインを選択する。現在のブロックの上方とＣＴＵ境界との間に１３個以上の参照ラインがある場合、組み合わせを作るために、インデックスが｛１，３，５，７，１２｝の５個の拡張参照ラインを選択する。現在のブロックの上方とＣＴＵ境界の間に６つ又は７つの参照ラインがある場合、組み合わせを作るために、インデックスが｛１，３，５｝の３つの拡張参照ラインを選択する。
【0104】
この例では、現在のブロックのテンプレート領域がインデックスが０の参照ラインに設定されている場合、インデックスが０の参照ラインはテンプレート領域が位置する参照ラインと呼ばれ、インデックスが１から３の参照ラインはテンプレート領域の外側に位置する参照ラインと呼ばれる。現在のブロックのテンプレート領域がインデックスが０と１の参照ラインに設定されている場合、テンプレート領域が位置する参照ラインは拡張参照ラインを含み、インデックスが０と１の参照ラインはテンプレート領域が位置する参照ラインであり、インデックスが２と３の参照ラインはテンプレート領域の外側（上方と左側）に位置する参照ラインである。
【0105】
図８Ａには、組み合わせに参加する５つの拡張参照ラインが示されており、インデックスが１の参照ライン３１、インデックスが３の参照ライン３３、インデックスが５の参照ライン３５、インデックスが７の参照ライン３７、及びインデックスが１２の参照ライン３９である。図８Ａとは異なり、図８Ｂに示す例では、現在のブロックのテンプレート領域４０がインデックスが０及び１の２つの参照ラインに設定されており、組み合わせに参加する拡張参照ラインは５つの拡張参照ラインであり、それぞれ、インデックスが２の参照ライン４２、インデックスが３の参照ライン４３、インデックスが５の参照ライン４５、インデックスが７の参照ライン４７、及びインデックスが１２の参照ライン４９である。つまり、この例では、インデックスが｛２，３，５，７，１２｝の事前定義の拡張参照ラインから、使用できるＮ個の拡張参照ラインを選択している。テンプレート領域と拡張参照ラインの選択は他にも多くのオプションがあり、例えば、インデックスが０，１，２の３つの参照ラインに現在のブロックのテンプレート領域を設定し、又はインデックスが０～３の４つの参照ラインに現在のブロックのテンプレート領域を設定するなどの例がある。テンプレート領域が比較的広いとき、予測は比較的精確である。
【0106】
本実施形態の一例では、現在のブロックのＮ個の拡張参照ラインは、事前定義のＮｍａｘ個の拡張参照ラインのうち、現在のブロックのテンプレート領域の外側に位置し、且つコーディングツリーユニット（ＣＴＵ）の境界を超えない拡張参照ラインである。ＮｍａｘはＴＭＲＬモードで使用できる拡張参照ラインの最大個数である。本実施形態では、組み合わせに使用されるＮ個の拡張参照ラインを、現在のブロックのテンプレート領域の外側且つＣＴＵ境界を超えない領域に制限する。しかし、ハードウェアがサポートできれば、組み合わせに参加するために、ＣＴＵ境界を超える拡張参照ラインを選ぶこともできる。
【0107】
本実施形態の一例では、Ｎｍａｘ＝５であり、事前定義の５つの拡張参照ラインは、｛１，３，５，７，１２｝又は｛２，３，５，７，１２｝のインデックスが付けられた参照ラインである。別の一例では、事前定義のＮｍａｘ個の拡張参照ラインは、インデックスが１から始まり、現在のブロックに最も近いＮｍａｘ個の拡張参照ラインであり、又は、インデックスが１から始まり且つインデックスが奇数であり、現在のブロックに最も近いＮｍａｘ個の拡張参照ラインであり、又は、インデックスが２から始まり且つインデックスが偶数であり、現在のブロックに最も近いＮｍａｘ個の拡張参照ラインである。奇数又は偶数の参照ラインを選択すると、演算が簡単になる。
【0108】
本実施形態の一例では、Ｍ個のイントラ予測モードは、角度モードのみから選択でき、又は角度モード及びＤＣモードのみから選択でき、又は角度モード、ＤＣモード及びｐｌａｎａｒモードから選択できる。
【0109】
一例では、Ｍ個のイントラ予測モードは、以下の方法によって選択される。Ｍ≧５が満たされる。
第１ステップ：現在のブロックの周囲にある５個の近隣位置での予測ブロックのために使用されるイントラ予測モードを確定し、そのうちの選択できるイントラ予測モードを順番に選択し、重複するモードを削除する。
５個の近隣位置は、図３に示すように、それぞれ左上、上、右上、左、左下である。
第１ステップで選択されたイントラ予測モードの数がＭになると、終了し、第１ステップで選択されたイントラ予測モードは数がＭ未満であり、且つ角度モードを含む場合、第２ステップを実行する。
第２ステップ：選択されたイントラ予測モードの総数がＭになるまで、選択された１番目の角度モードから順番に角度モードの拡張操作を行って拡張後の角度モードを取得し、選択された全ての角度モードと異なる拡張後の角度モードを選択する。
第１ステップ：現在のブロックの周囲にある５個の近隣位置での予測ブロックのために使用されるイントラ予測モードを確定し、そのうちの選択できるイントラ予測モードを順番に選択し、重複するモードを削除する。
５個の近隣位置は、図３に示すように、それぞれ左上、上、右上、左、左下である。
第１ステップで選択されたイントラ予測モードの数がＭになると、終了し、第１ステップで選択されたイントラ予測モードは数がＭ未満であり、且つ角度モードを含む場合、第２ステップを実行する。
第２ステップ：選択されたイントラ予測モードの総数がＭになるまで、選択された１番目の角度モードから順番に角度モードの拡張操作を行って拡張後の角度モードを取得し、選択された全ての角度モードと異なる拡張後の角度モードを選択する。
【0110】
本実施形態では、第１ステップにおいて角度モードが選択されなかった場合、又は第２ステップにより選択されたイントラ予測モードの総数が依然としてＭ未満である場合、第３ステップを実行し、第３ステップにおいて、事前定義のイントラ予測モード集合のうちの選択できるイントラ予測モードを確定し、選択されたイントラ予測モードの総数がＭになるまで、確定された選択できるイントラ予測モードから、選択されたイントラ予測モードのいずれとも異なるイントラ予測モードを順番に選択すること、をさらに含む。
【0111】
一例では、Ｍ個のイントラ予測モードを選択する過程において、角度モードのみを選択できる。別の例では、Ｍ個のイントラ予測モードを選択する過程において、角度モードとＤＣモードのみを選択できる。さらに別の例では、Ｍ個のイントラ予測モードを選択する過程において、角度モード、ＤＣモード、及びＰｌａｎａｒモードを選択できる。Ｐｌａｎａｒモードは、拡張参照ラインとの結合効果が限定的であるので、組み合わせから除外されてもよい。ＤＣモードの場合も類似する。ただし、演算複雑度の増加をサポートできれば、ＰｌａｎａｒモードとＤＣモードも候補リストに加えられて組み合わせに参加することができる。
【0112】
一例では、角度モードの拡張操作は、角度モードに対して１を加算する操作及び１を減算する操作と、角度モードに対して２を加算する操作及び２を減算する操作と、角度モードに対して３を加算する操作及び３を減算する操作、という操作のうちのいずれか１つ以上を含む。
【0113】
本実施形態の一例において、Ｍ個のイントラ予測モードとして、最確モード（ＭＰＭ）のうち、Ｐｌａｎａｒモード以外のイントラ予測モードの一部又は全部を使用し、又は、ＭＰＭと第２ＭＰＭのうち、Ｐｌａｎａｒモード以外のイントラ予測モードの一部又は全部を使用し、又は、ＭＰＭのうち、Ｐｌａｎａｒモード及びＤＣモード以外のイントラ予測モードの一部又は全部を使用し、又は、ＭＰＭと第２ＭＰＭのうち、Ｐｌａｎａｒモード及びＤＣモード以外のイントラ予測モードの一部又は全部を使用し、又は、ＭＰＭのうち、Ｐｌａｎａｒモード、ＤＣモード、及びＤＩＭＤモード以外のイントラ予測モードの一部又は全部を使用し、又は、ＭＰＭと第２ＭＰＭのうち、Ｐｌａｎａｒモード、ＤＣモード、及びＤＩＭＤモード以外のイントラ予測モードの一部又は全部を使用する。
【0114】
本例では、ＭＰＭのうち、Ｐｌａｎａｒモード以外の全てのイントラ予測モードを事前定義のイントラ予測モードとして使用し、又は、ＭＰＭ及び第２ＭＰＭのうち、Ｐｌａｎａｒモード以外の全てのイントラ予測モードを事前定義のイントラ予測モードとして使用する。現在のブロックの参照ラインが事前定義の全ての拡張参照ラインを含む場合、事前定義の全てのイントラ予測モードを使用する。現在のブロックの参照ラインが事前定義の一部の拡張参照ラインを含む場合、事前定義の一部のイントラ予測モードを使用する。
【0115】
本実施形態の一例では、Ｍ個のイントラ予測モードは、以下の方式によって選択される。Ｍ’個のイントラ予測モードを選択する。現在のブロックのテンプレートの外側に位置する参照ラインと、Ｍ’個のイントラ予測モードとに基づいて、それぞれ現在のブロックのテンプレートを予測し、また、テンプレートの再構成値と予測によって得られた予測値との間の誤差を算出してＭ’個の誤差を算出する。組み合わせに参加するＭ個のイントラ予測モードとして、Ｍ’個のイントラ予測モードから、最小誤差に対応するＭ個のイントラ予測モードを選択し、Ｍ＜Ｍ’が満たされる。
【0116】
本例における現在のブロックのテンプレートは、Ｍ’個のイントラ予測モードからＭ個のイントラ予測モードを選択するために使用され、前述の現在のブロックのテンプレート領域は、Ｎ×Ｍ個の組み合わせからＫ個の組み合わせを選択するために使用され、両方は異なっていてもよいが、同じ領域を占めていてもよい。
【0117】
本例においてＭ’個のイントラ予測モードを選択する際、上記実施形態における、Ｍ個のイントラ予測モードを選択する様々な方法を用いることができ、例えば、ＭＰＭ及び第２ＭＰＭのリストから直接選択する方法、又は、前述の実施形態の方法における第１ステップを通じて選択する方法、又は、第１ステップ及び第２ステップを通じて選択する方法、又は、第１ステップ、第２ステップ及び第３ステップを通じて選択するなどの方法を用いることができる。
【0118】
本実施形態の一例では、Ｎ≦Ｎｍａｘ、２≦Ｎｍａｘ≦１２、２≦Ｍ≦１８、Ｋ≦Ｋｍａｘ、６≦Ｋｍａｘ≦３６、ＮｍａｘはＴＭＲＬモードで使用できる拡張参照ラインの最大個数であり、ＫｍａｘはＴＭＲＬモードで使用できる候補組み合わせの最大個数である。ここで、Ｎ、Ｍ、及びＫという関連パラメータの値の範囲が示されているが、これは単に例示的なものである。
【0119】
本実施形態の一例では、Ｎ、Ｍ及びＫは少なくとも２組の値を有し、第１組の値はＮ１、Ｍ１、Ｋ１であり、第２組の値はＮ２、Ｍ２、Ｋ２であり、Ｎ１≦Ｎ２、Ｍ１≦Ｍ２、Ｋ１≦Ｋ２、及びＮ１×Ｍ１＜Ｎ２×Ｍ２が満たされる。第１組の値は、第１サイズを有する現在のブロックのために候補リストを構築するときに使用され、第２組の値は、第２サイズを有する現在のブロックのために候補リストを構築するときに使用され、第１サイズは第２サイズよりも小さい。ここの第１サイズ及び第２サイズは、それぞれ様々なサイズを表すことができ、例えば、第１サイズは、４×４、４×８、８×８などを含むことができ、第２サイズは、１６×８、１６×１６、８×１６などを含むことができる。本例では、異なるサイズの現在のブロックに対して、異なるＮ、Ｍ、Ｋを使用する。現在のブロックのサイズが比較的小さい場合、より小さい値を使用してＴＭＲＬモードの候補リストを構築する。現在のブロックのサイズが比較的大きい場合、より大きな値を使用してＴＭＲＬモードの候補リストを構築する。これにより、演算の複雑さと性能のより良いバランスを達成することができる。
【0120】
本実施形態の一例において、Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測することは、現在のブロックが画像（ｐｉｃｔｕｒｅ）の左境界に位置する場合、Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックの上方テンプレート領域を予測し、現在のブロックの左側テンプレート領域を予測しないことを含む。本実施形態によれば、性能に影響を与えることなく、演算を簡略化し、演算に要する時間を短縮することができる。
【0121】
本実施形態の一例において、Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測することは、Ｎ×Ｍ個の組み合わせの各々に基づいて、次の方式で予測することを含む。組み合わせにおける拡張参照ラインの再構成値と、この組み合わせにおけるイントラ予測モードとに基づいて、テンプレート領域の初期予測値を算出し、拡張参照ラインの再構成値は、拡張参照ラインのオリジナル再構成値又はフィルタリングされた後の再構成値である。テンプレート領域の初期予測値に対して４タップフィルタリング又は６タップフィルタリングを行い、フィルタリング結果を、この組み合わせに基づいて予測して得られたテンプレート領域の予測値とする。
【0122】
本実施形態では、現在のブロックのテンプレート領域を予測する際に、拡張参照ラインの再構成値をフィルタリングせず、オリジナル再構成値を演算に用いることができ、また、演算の複雑さを軽減して演算を高速化するために、タップの比較的短いフィルタ（例えば、４タップフィルタ）を用いることができる。
【0123】
本実施形態の一例において、Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算することは、次の内容を含む。Ｋ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域全体を予測して、対応するＫ個の誤差からなる誤差集合を取得し、誤差集合における最大誤差をＤｍａｘとして記録する。残りの組み合わせの各々について、まず、この組み合わせに基づいて現在のブロックの一方側のテンプレート領域を予測し、現在のブロックのこの一方側のテンプレート領域の再構成値と予測値との間の誤差Ｄ１を算出し、Ｄ１≧Ｄｍａｘであれば、この組み合わせに基づく予測を完了し、Ｄ１＜Ｄｍａｘであれば、また、この組み合わせに基づいて現在のブロックのもう一側のテンプレート領域を予測し、現在のブロックのテンプレート領域全体の再構成値と予測値との間の誤差Ｄ２を算出し、Ｄ２＜Ｄｍａｘであれば、誤差集合にＤ２を加え、誤差集合からＤｍａｘを削除し、誤差集合内の最大誤差Ｄｍａｘを更新し、Ｄ２≧Ｄｍａｘであれば、この組み合わせに基づく予測を完了する。Ｎ×Ｍ個の組み合わせに基づく予測を完了した後、誤差集合におけるＫ個の誤差に対応するＫ個の組み合わせを、最小誤差に対応するＫ個の組み合わせとする。
【0124】
一例では、誤差集合内の誤差を昇順で配列することができ、誤差集合にＤ２を加える際に、誤差集合内の誤差が依然として昇順で配列されることができる位置にＤ２を挿入する。しかし、他の例では、Ｎ×Ｍ個の組み合わせに基づく予測を完了した後、誤差集合中のＫ個の誤差を順序付けることもできる。
【0125】
本例では、全ての組み合わせに基づいてテンプレート領域全体の予測と誤差計算を行うことなく、組み合わせの順序付けを完成することができ、演算の複雑さの低減と高速化を図ることができる。
【0126】
本実施形態の一例において、現在のブロックのＴＭＲＬモードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入することは、候補リストの１番目の位置から、誤差の昇順で誤差に対応するＫ個の組み合わせを候補リストに記入することを含む。本例のＴＭＲＬモードの候補リストには、拡張参照ラインとイントラ予測モードの組み合わせのみが記入される。インデックスが０の参照ラインとイントラ予測モードの組み合わせは、ＭＰＭなどの他の従来のモードによって示される。
【0127】
本実施形態の一例では、候補リストのｉ番目の位置から、誤差の昇順で誤差に対応するＫ個の組み合わせを候補リストに記入し、候補リストのｉ番目の位置の前に、インデックスが０である参照ラインと、１つ又は複数のイントラ予測モードとの組み合わせが記入されており、ｉ≧２が満たされる。本例ではＴＭＲＬモードの候補リストには、拡張参照ラインとイントラ予測モードの組み合わせだけでなく、インデックスが０の参照ラインとイントラ予測モードの組み合わせも記入される。この場合、現在のブロックのために選択された組み合わせが、インデックスが０の参照ラインとイントラ予測モードとの組み合わせであるとき、ＴＭＲＬモードインデックスによって示すこともできる。このときのＴＭＲＬモードフラグは依然として使用されることができる。
【0128】
本願の一実施形態は、ＴＭＲＬモードに関するビデオデコーディング方法を提供する。この方法は、デコーダーに応用され、図９に示すようにステップ３１０～ステップ３３０を含む。
ステップ３１０：現在のブロックのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードフラグをデコードして、現在のブロックに対してＴＭＲＬモードを使用するかどうかを確定する。
ステップ３２０：現在のブロックに対してＴＭＲＬモードを使用すると確定した場合、引き続いて現在のブロックのＴＭＲＬモードインデックスをデコードし、現在のブロックのＴＭＲＬモードの候補リストを構築し、候補リストには、現在のブロックのための、拡張参照ラインとイントラ予測モードの候補組み合わせが記入される。
ステップ３３０：候補リストとＴＭＲＬモードインデックスに基づいて、現在のブロックのために選択される拡張参照ラインとイントラ予測モードの組み合わせを確定し、選択された組み合わせに基づいて現在の画像を予測する。
ここで、ＴＭＲＬモードインデックスは、選択された拡張参照ラインとイントラ予測モードの組み合わせの、候補リストにある位置を示すために使用される。
ステップ３１０：現在のブロックのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードフラグをデコードして、現在のブロックに対してＴＭＲＬモードを使用するかどうかを確定する。
ステップ３２０：現在のブロックに対してＴＭＲＬモードを使用すると確定した場合、引き続いて現在のブロックのＴＭＲＬモードインデックスをデコードし、現在のブロックのＴＭＲＬモードの候補リストを構築し、候補リストには、現在のブロックのための、拡張参照ラインとイントラ予測モードの候補組み合わせが記入される。
ステップ３３０：候補リストとＴＭＲＬモードインデックスに基づいて、現在のブロックのために選択される拡張参照ラインとイントラ予測モードの組み合わせを確定し、選択された組み合わせに基づいて現在の画像を予測する。
ここで、ＴＭＲＬモードインデックスは、選択された拡張参照ラインとイントラ予測モードの組み合わせの、候補リストにある位置を示すために使用される。
【0129】
本実施形態では、ＴＭＲＬモードフラグをデコードして、現在のブロックに対してＴＭＲＬモードを使用すると確定した後、拡張参照ラインとイントラ予測モードの組み合わせをＴＭＲＬモードの候補リストに記入し、デコードして得られたＴＭＲＬモードインデックスと候補リストにより、現在のブロックのために選択された組み合わせを確定し、予測を行う。つまり、ＴＭＲＬモードインデックスにより、２つのインデックスを使用することなく、現在のブロックのために選択された拡張参照ラインとイントラ予測モードを同時に示すことができる。コーディングコストを削減することができる。
【0130】
本実施形態の一例では、現在のブロックのＴＭＲＬモードフラグをデコードすることの前、ビデオデコーディング方法は、現在のブロックに対してＴＭＲＬモードを使用できる条件が全て成立したとき、現在のブロックのＴＭＲＬモードフラグをデコードすることをさらに含む。ＴＭＲＬモードを使用できる条件は、以下のいずれか１つ以上を含み、即ち、
現在のブロックが輝度フレームにおけるブロックであること、
現在のブロックに対してＭＲＬを使用できること、
現在のブロックがコーディングツリーユニット（ＣＴＵ）の上部境界に位置しないこと、
現在のブロックに対してテンプレートベースのイントラモード導出（ＴＩＭＤ）を使用しないこと、
という条件のいずれか１つ以上を含む。
現在のブロックが輝度フレームにおけるブロックであること、
現在のブロックに対してＭＲＬを使用できること、
現在のブロックがコーディングツリーユニット（ＣＴＵ）の上部境界に位置しないこと、
現在のブロックに対してテンプレートベースのイントラモード導出（ＴＩＭＤ）を使用しないこと、
という条件のいずれか１つ以上を含む。
【0131】
本例では、上記条件の１つが成立する場合には、ＴＭＲＬモードの使用を許可せず、ＴＭＲＬモードフラグ及びＴＭＲＬモードインデックスのデコーディングをスキップすることができる。しかし、他の実施形態ではこうなるとは限らない。例えば、ＴＩＭＤの前にＴＭＲＬモードに基づいてエンコード及びデコードする場合、現在のブロックに対するＴＩＭＤの使用は、ＴＭＲＬモードを使用できない条件とされない。別の例としては、将来、ハードウェアがＣＴＵ境界外の参照ラインの取得をサポートできるようになった場合、現在のブロックがＣＴＵの上部境界に位置することは、ＴＭＲＬモードを使用できない条件ではなくなることなどが挙げられる。
【0132】
本実施形態の一例では、ビデオデコーディング方法は、現在のブロックに対してＭＲＬを使用でき、現在のブロックがＣＴＵの上部境界に位置しておらず、且つ現在のブロックに対してＴＩＭＤを使用すると確定した場合、現在のブロックのＭＲＬインデックスをデコードすることをさらに含む。ＭＲＬインデックスは、現在のブロックのために選択された参照ラインのＭＲＬインデックスリストにある位置を示すために使用される。本例では、現在のブロックに対してＴＩＭＤを使用する場合にＴＭＲＬモードの使用を許可しないが、依然としてＭＲＬを使用することができ、したがって、依然として、現在のブロックのマルチ参照ラインインデックスをデコードすることで、現在のブロックのために選択された参照ラインを確定することができ、現在のブロックのために選択されたＴＩＭＤモードと組み合わせて、現在のブロックを予測することができる。
【0133】
本実施形態の一例では、ＴＭＲＬモードフラグに基づいて、現在のブロックに対してＴＭＲＬモードを使用すると確定した場合、ビデオデコーディング方法は、ＭＰＭモード、ＩＳＰモード、ＭＴＳモード、ＬＦＮＳＴモード、及びＴＩＭＤモードのうちのいずれか１つ以上のモードのシンタックスエレメントのデコーディングをスキップすることを、さらに含む。エンコーディング側に対応して、エンコードする際、現在のブロックに対してＴＭＲＬモードフラグを使用する場合、上記のモードの１つ以上がスキップされたとき、デコーディング側は、デコードによって、現在のブロックに対してＴＭＲＬモードフラグを使用すると確定した場合、これらのモードのデコーディングもスキップする。
【0134】
一実施形態は、ビデオデコーディング方法をさらに提供し、主としてイントラ予測のデコーディング処理に関する。エンコーディング側についても説明する。本実施形態では、エンコーディング側でＴＭＲＬモードの候補リストを構築し、モード選択により現在のブロックのために候補リスト内の組み合わせが選択された場合に、ＴＭＲＬモードのシンタックスエレメントをエンコード及びデコードし、拡張参照ラインとイントラ予測モードの組み合わせをエンコード及びデコードする。
【0135】
本実施形態では、事前定義のＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づき、インデックスが０の参照ライン、すなわちｒｅｆｅｒｅｎｃｅ ｌｉｎｅ０の位置にテンプレートを構築する。図８Ａに示されるテンプレート領域３０を参照することができる。（ｘ，－１），（－１，ｙ）は、それぞれ、現在のブロックの左上隅の（０，０）位置に対する座標である。この図では、インデックスが｛１，３，５，７，１２｝の事前定義の５個の拡張参照ラインも提供されている。
【0136】
ＴＭＲＬモードの候補リストを構築する際に、Ｎ×Ｍ個の組み合わせに基づくテンプレートの予測値と再構成値の間のＳＡＤを計算し、ＳＡＤの昇順に従って対応する組み合わせをソートし、Ｎ×Ｍ個の組み合わせのうちＳＡＤが比較的小さいＫ個の組み合わせを、ＳＡＤの昇順でＴＭＲＬモードの候補リストに記入し、Ｎ×Ｍ≧２が満たされる。
【0137】
ＴＭＲＬモードの候補リストの構築は、エンコーダーとデコーダーの両方が実行する必要がある操作である。エンコーディング側では、現在のブロックのために選択された組み合わせが候補リストにあるなどのエンコーディング条件が満たされている場合、ＴＭＲＬモードフラグをエンコードすることでＴＭＲＬモードを使用することを示す。また、ＴＭＲＬモードインデックスは、選択された組み合わせの、候補リストにある位置に基づいて確定される。例えば、１番目の位置にあれば、ＴＭＲＬモードインデックスが０であり、２番目の位置にあれば、ＴＭＲＬモードインデックスが１であるというように確定される。ＴＭＲＬモードインデックスは、ゴロム・ライス（Ｇｏｌｏｍｂ－Ｒｉｃｅ）コーディング法を用いてエンコードされてもよいが、これに限定されない。
【0138】
以下、Ｎ＝５、Ｍ＝６、Ｋ＝１２の例をもって説明する。事前定義の５つの拡張参照ラインのインデックスが｛１，３，５，７，１２｝であり、６つのイントラ予測モードが一歩一歩選択される。
【0139】
本実施形態のビデオデコーディング方法は、ステップ１～ステップ３の内容を含む。
【0140】
ステップ１：ＴＭＲＬモードに関連するシンタックスエレメントをデコードする。
デコーダーによって解析されるイントラ予測モードの関連シンタックスエレメントは、ＴＩＭＤ、ＭＲＬなどのモードの関連シンタックスエレメントを含む。本実施形態で提供されるＴＭＲＬモードは、ＭＲＬモードの発展型と考えることができ、ＴＭＲＬモードのシンタックスエレメントは、ＭＲＬモードのシンタックスエレメントの一部と考えることもできる。もちろん、両方は異なる２種のモードと考えることもできる。
デコーダーによって解析されるイントラ予測モードの関連シンタックスエレメントは、ＴＩＭＤ、ＭＲＬなどのモードの関連シンタックスエレメントを含む。本実施形態で提供されるＴＭＲＬモードは、ＭＲＬモードの発展型と考えることができ、ＴＭＲＬモードのシンタックスエレメントは、ＭＲＬモードのシンタックスエレメントの一部と考えることもできる。もちろん、両方は異なる２種のモードと考えることもできる。
【0141】
現在のブロックに対してＴＩＭＤモードを使用する場合、ＭＲＬモードのシンタックスエレメントに対するデコーディング方式に変更はない。現在のブロックに対してＴＩＭＤモードを使用しない場合、ＴＭＲＬモードのシンタックスエレメントをデコードする必要がある。次の表に示すように、現在のブロックのために関連シンタックスをデコードする。
【0142】
【表2】
【0143】
表中の「cu_tmrl_flag」即ちＴＭＲＬモードフラグであり、「cu_tmrl_flag」が１に等しいのは、現在のブロックに対してＴＭＲＬモードを使用することを示し、すなわち、現在の輝度サンプルのイントラ予測モードのタイプがテンプレートベースのマルチ参照ラインイントラ予測モードであることを定義する。「cu_tmrl_flag」が０に等しいのは、現在のブロックに対してＴＭＲＬモードを使用しないことを示し、すなわち、現在の輝度サンプルのイントラ予測モードのタイプがテンプレートベースのマルチ参照ラインイントラ予測モードではないことを定義する。
【0144】
表中の「tmrl_idx」すなわちＴＭＲＬモードインデックスは、現在のブロックのために選択された拡張参照ラインとイントラ予測モードの組み合わせの、ＴＭＲＬモードの候補リストにおける位置を示し、ＴＭＲＬモードの順序付けられた候補リストにおける、選択された組み合わせのインデックス（組み合わせの位置を示すインデックス）を定義するとも言える。「tmrl_idx」は、ゴロム・ライスコーディング法を用いてエンコード及びデコードすることができ、ここでは説明を繰り返さない。
【0145】
上の表から分かるように、cu_tmrl_flagをデコードする前に、現在のブロックに対してＭＲＬを使用できること（すなわち、sps_mrl_enabled_flagが１であることが成立するか否か）、現在のブロックがＣＴＵの上部境界に位置しないこと（すなわち、（ y0 % CtbSizeY ) > 0が成立するか否か）、現在のブロックに対してＴＩＭＤを使用しないこと、という条件が成立するか否かをまず判断する。これらの条件が成立している場合、cu_tmrl_flagをデコードする。他の２つの条件が成立するが、現在のブロックに対してＴＩＭＤを使用する場合、現在のブロックのマルチ参照ラインインデックスintra_luma_ref_idxをデコードする。
【0146】
表中のＩＳＰモードフラグ（intra_subpartitions_mode_flag）は、ＴＭＲＬモード関連のシンタックスエレメントの後にデコードされる。現在のブロックに対してＴＭＲＬモードを使用しない（!cu_tmrl_flagが成立する）場合、intra_subpartitions_mode_flagをデコードする。同様に、現在のブロックに対してＴＭＲＬモードを使用しない（!cu_tmrl_flagが成立する）場合、ＭＰＭ関連のシンタックスエレメントをデコードする。
【0147】
ステップ２：ＴＭＲＬモードの候補リストを構築し、ＴＭＲＬモードインデックス及び候補リストに基づいて、現在のブロックのために選択された拡張参照ライン及びイントラ予測モードを確定する。
解析段階の終了後、現在のブロックを予測する前、現在のブロックに対してＴＭＲＬモードを使用する場合、ＴＭＲＬモードの候補リストを構築する必要があり、ＴＭＲＬモードインデックスと候補リストに基づいて、現在のブロックのために選択された拡張参照ラインとイントラ予測モードを確定する。
解析段階の終了後、現在のブロックを予測する前、現在のブロックに対してＴＭＲＬモードを使用する場合、ＴＭＲＬモードの候補リストを構築する必要があり、ＴＭＲＬモードインデックスと候補リストに基づいて、現在のブロックのために選択された拡張参照ラインとイントラ予測モードを確定する。
【0148】
ＴＭＲＬモードの候補リストを構築するには、まず、候補の拡張参照ラインを確定し、候補のイントラ予測モードを確定する必要がある。
【0149】
【0150】
候補の拡張参照ラインは、事前定義の拡張参照ラインから選択される。画像内の現在のブロックの位置に基づいて、事前定義の拡張参照ラインのうちの使用できる拡張参照ラインを確定する。原則として、現在のブロックに対して使用可能な上方参照ラインは、ＣＴＵの上部境界を超えないようにする。一例では、インデックスが｛１，３，５，７，１２｝である拡張参照ラインのうち、ＣＴＵの境界を超えない全ての拡張参照ラインを候補の拡張参照ラインに加える。また、コーディング性能を向上させ、又は複雑さを低減させるために、より多い又はより少ない拡張参照ラインを使用することもできる。
【0151】
【0152】
本実施形態では、ＴＭＲＬモードとＭＰＭをバインディングする代わりに（他の実施形態でバインディングしてもよく）、イントラ予測モードの候補リストを構築し、この候補リストから組み合わせに使用されるイントラ予測モードを選択する。候補リストは、以下の方法で導出される。
【0153】
まず、従来の６７種類の予測モードから、ＰｌａｎａｒモードとＤＣモードを除去し、又はＰｌａｎａｒモードのみを除去してＤＣモードを残す。除去されたモードは、候補リストに加えられなく、即ちＴＭＲＬモードのうち、組み合わせに参加するイントラ予測モードとされない。
【0154】
本実施形態では、構築しようとする候補予測モードリストの長さは６である。まず、現在のブロックの周囲の５つの近隣位置にある予測ブロックに使用されるイントラ予測モードから、重複しないイントラ予測モードを順番に選択して、候補予測モードリストに加える。次に、リストに記入されたモードに対して角度モードの拡張操作を行う。具体的には、角度モードに対して、１を加算する操作及び１を減算する操作を行うことができ、重複しない拡張後の角度モードを選択して順番に候補予測モードリストに加え、候補リストに記入されたモード数が６に達すると、充填することを停止する。
【0155】
１を加算する操作及び１を減算する操作の具体的な内容を下表に示す。
【0156】
【表3】
【0157】
上記「角度モード－１」とは、記入された角度モードのインデックスから１を減算した角度モードを指し、例えば、記入された角度モードがモード３である場合、「角度モード－１」は角度モード２となる。上記「角度モード＋１」とは、記入された角度モードのインデックスに１を加算した角度モードを指し、例えば、記入された角度モードがモード３である場合、「角度モード＋１」は角度モード４となる。
【0158】
そして、「角度モード－１」が角度モード２よりも小さい場合、例えば、「角度モード－１」から「角度モード１」を得る（角度モードのインデックスが２から番号付けされ、「角度モード１」は存在しない）場合、「角度モード－１」と反対方向の角度モードを選択し、合計６５種類の角度モードがあると仮定して、このとき、「角度モード－１」と反対方向の角度モードは即ち角度モード６６である。そして、「角度モード＋１」が角度モード６６よりも大きい場合、類似的に、「角度モード＋１」と反対方向の角度モードを選択する。例えば、記入された角度モードが角度モード６６であり、「角度モード＋１」は存在せず、このとき選択される「角度モード＋１」と反対方向の角度モードは即ち角度モード２である。
【0159】
上記の角度モードの拡張は、角度モードに対して１を加算する操作及び１を減算する操作を行うことである。他の実施形態では、１を加算する操作及び１を減算する操作を、１を加算する操作及び１を減算する操作からＸを加算する操作及びＸを減算する操作まで拡張することも可能である。Ｘ＝３と仮定すると、候補予測モードリストが埋まるようになるまで、角度モードに対して、１を加算する操作及び１を減算する操作、２を加算する操作及び２を減算する操作、３を加算する操作及び３を減算する操作を行うことが可能である。
【0160】
リストに記入されたモードに対して角度モードの拡張操作を行った後、候補予測モードリストがまだ埋まるようになっていない場合、候補予測モードリストが埋まるようになるまで、事前定義のモード集合の中の重複しないモードを用いてリストを充填する。モード集合には、以下のような、統計的法則に従って選択されたいくつかの角度モードが含まれる。
mpm_default[] = { DC_IDX, VER_IDX, HOR_IDX, VER_IDX - 4, VER_IDX + 4, 14, 22, 42, 58, 10, 26, 38, 62, 6, 30, 34, 66, 2, 48, 52, 16 };
ここで、DC_IDXはＤＣモードを表し、VER_IDXは垂直モードを表し、HOR_IDXは水平モードを表し、残りの数字はその数字に対応する角度モードを表す。
mpm_default[] = { DC_IDX, VER_IDX, HOR_IDX, VER_IDX - 4, VER_IDX + 4, 14, 22, 42, 58, 10, 26, 38, 62, 6, 30, 34, 66, 2, 48, 52, 16 };
ここで、DC_IDXはＤＣモードを表し、VER_IDXは垂直モードを表し、HOR_IDXは水平モードを表し、残りの数字はその数字に対応する角度モードを表す。
【0161】
本実施形態では、候補予測モードリストの長さを６としているが、性能の観点からより多くの角度モードを試すために、長さを６より大きい値に設定することも可能であり、また、複雑さを軽減するためにより少ないモードを試して、長さを６より小さい値に設定してもよい。
【0162】
本実施形態では、候補イントラ予測モードを確定する際、ＰｌａｎａｒモードとＤＣモードを除外し、又はＰｌａｎａｒモードのみを除外しているが、複雑性を考慮しない場合には、この２つのモードを除外しなくてもよく、すなわち、Ｐｌａｎａｒモード、ＤＣモード、及び全ての角度モードが候補イントラ予測モードとして拡張参照ラインとの組み合わせに参加してもよい。
【0163】
【0164】
候補の拡張参照ラインとイントラ予測モードを確定した後、拡張参照ラインリストと候補予測モードリストにある全ての組み合わせを１つずつ試すことができ、これらの組み合わせの各々に基づいて、図８Ａを参照して、ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ０が位置するラインのテンプレート（Ｔｅｍｐｌａｔｅ、次の図に示される）領域を予測し、テンプレート領域の再構成値と各組み合わせに基づく予測から得られた予測値との間の誤差を計算し、誤差の最も小さいＫ個の組み合わせを、誤差の昇順でＴＭＲＬモードの候補リストに記入する。
【0165】
本実施形態の予測処理では、現在のブロックがＣＴＵの第１行を占める場合にのみ、ＴＭＲＬモードの使用を制限する。現在のブロックが画像の左境界に位置する場合、依然としてＴＭＲＬモードを使用することができる。この場合、左側のｒｅｆｅｒｅｎｃｅ ｌｉｎｅ０は既に画像境界の外側にあるため、左側テンプレートは予測に使用されず、すなわち、上方テンプレート領域のみを予測する。
【0166】
テンプレート領域上の予測処理は、他の通常のイントラ角度予測処理と全く同じであることができる。すなわち、まず参照ラインの再構成値をフィルタリングし、その結果をテンプレート領域の初期予測値として使用し、フィルタリングされた参照ラインの再構成値と組み合わせにおけるイントラ予測モードに基づいてテンプレート領域を予測した後、初期予測結果に対して４タップ又は６タップフィルタリングを行い、その結果を予測によって得られた予測値として使用する。なお、演算の複雑さを考慮して、参照ラインの再構成値をフィルタリングするステップを省略してもよく、タップの比較的短いフィルタを用いてもよい。本実施形態では、予測によってテンプレート領域の予測値を取得する際に、参照ラインの画素の再構成値をフィルタリングしなく、初期予測結果に対して非整数の角度で１／３２精度を有する４タップ補間フィルタリングを行う。
【0167】
最後に、現在の組み合わせにおける角度及び参照ライン、並びにフィルタに基づいて、テンプレート領域を予測する。予測から得られたテンプレート領域の予測値とテンプレート領域の再構成値との間のＳＡＤを計算し、ＳＡＤの昇順でソートし、最小のＳＡＤを有する１２個の組み合わせを選択してＴＭＲＬモードの候補リストに記入する。
【0168】
ソート処理では、高速なアルゴリズムを使用することができ、上記の処理では、５つの参照ラインと６種類の予測モードとの合計３０種類の組み合わせを試す必要があるが、その中のＳＡＤが最小である１２個の組み合わせのみを選択すればよく、本実施形態では、前の１２個の組み合わせに基づいた予測を完成して対応するＳＡＤを取得した後、１３番目の組み合わせから、誤差（コストと呼んでもよい）が最小となる１２個の組み合わせを維持して更新すればよい。１３番目の組み合わせから、上方テンプレート領域のみを予測し且つ対応するＳＡＤを計算し、上テンプレートに基づいて計算されたＳＡＤが、誤差が最小の１２個の組み合わせの中の誤差が最大の１つの組み合わせよりも既に大きい場合、左側テンプレート領域の予測と誤差計算をスキップすることができ、具体的に、前の実施形態を参照することができる。
【0169】
ステップ３：構築されたＴＭＲＬモードの候補リストとデコーディングによって得られたＴＭＲＬモードインデックスに基づいて、現在のブロックのために選択される拡張参照ラインとイントラ予測モードの組み合わせを確定し、選択された組み合わせに基づいて現在のブロックに対してイントラ予測が実行される。
【0170】
【0171】
ＥＣＭ－４．０参照ソフトウェアにおいて、本実施形態で説明した方法を用いて、Ｎ＝５（５つの拡張参照ラインはそれぞれ１、３、５、７、１２である）、Ｍ＝６（ＰｌａｎａｒモードとＤＣモードを含まない事前定義された６つの予測モード）、Ｋ＝１２（全ての組み合わせにおける、ＳＡＤが小さい前の１２個の組み合わせのみを選択する）の設定で、ＡＩ配置での測定結果は以下の通りである。
【0172】
【表4】
【0173】
Ｎ＝５（５つの拡張参照ラインはそれぞれ１、３、５、７、１２である）、Ｍ＝８（事前定義された８つの予測モード）、Ｋ＝１６の設定で、ＡＩ配置での測定結果は以下の通りである。
【0174】
【表5】
【0175】
Ｎ＝５（５つの拡張参照ラインはそれぞれ１、３、５、７、１２である）、Ｍ＝１２（事前定義された１２個の予測モード）、Ｋ＝２４の設定で、ＡＩ配置での測定結果は以下の通りである。
【0176】
【表6】
【0177】
Ｎ＝５（５つの拡張参照ラインはそれぞれ１、３、５、７、１２である）、Ｍ＝８（Ｐｌａｎａｒモードを含まないが、ＤＣモードを含む事前定義された８つの予測モード）、Ｋ＝１６の設定で、ＡＩ配置での測定結果は以下の通りである。
【0178】
【表7】
【0179】
表中のパラメーターの意味は以下の通りである。
【0180】
ＥｎｃＴ：Ｅｎｃｏｄｉｎｇ Ｔｉｍｅ即ちエンコーディング時間である。１０Ｘ％は、参照ラインソート技術が統合された場合、統合前に比べて、エンコーディング時間が１０Ｘ％であることを表し、エンコーディング時間がＸ％増加したことを意味する。
【0181】
ＤｅｃＴ：Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ即ちデコーディング時間である。１０Ｘ％は、参照ラインソート技術が統合された場合、統合前に比べて、デコーディング時間が１０Ｘ％であることを表し、デコーディング時間がＸ％増加したことを意味する。
【0182】
ＣｌａｓｓＡ１とＣｌａｓｓＡ２は解像度３８４０×２１６０のテストビデオシーケンスであり、ＣｌａｓｓＢは解像度１９２０×１０８０のテストシーケンスであり、ＣｌａｓｓＣは解像度８３２×４８０のテストシーケンスであり、ＣｌａｓｓＤは解像度４１６×２４０のテストシーケンスであり、ＣｌａｓｓＥは解像度１２８０×７２０のテストシーケンスであり、ＣｌａｓｓＦは異なる解像度を持ついくつかのスクリーンコンテンツ（Ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ）のシーケンスである。
【0183】
【0184】
Ａｌｌ ｉｎｔｒａは、全てがイントラフレームであるテスト配置を示す。
【0185】
これから分かるように、本実施形態のＴＭＲＬモードを用いてイントラ予測コーディングを行うことにより、コーディング性能を大幅に向上させることができる。
【0186】
この実施形態では、拡張参照ラインと予測モードの両方に対して、１行１列のテンプレート領域が使用され、ＳＡＤの昇順でソート及び選択が行われている。拡張参照ラインについては、全ての拡張参照ライン（ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ１を含む）をソートすれば、１行１列のテンプレートしか使用できない。しかし、予測モードの選択については、より適切な予測モードを選択するために、ＴＩＭＤモードの場合のようにより多くの参照ラインを使用することができ、これにより、より正確な結果を得ることができる。他の実施形態では、ＴＭＲＬモードに基づいて候補予測モードリストを確定する方法を変えることもできる。
【0187】
例えば、長さが６である候補予測モードリストを構築する必要があるとき、本実施形態と同様の構築方法及び充填方法に従って、まず長さが６より大きいリストを構築し、その後、現在のブロックに最も近い４行４列をテンプレートとし、５番目の参照ラインと候補予測モードリスト内のイントラ予測モードを用いてテンプレートを予測し、予測に得られた予測値とテンプレートの再構成値との誤差（ＳＡＤ又はＳＡＴＤ）を算出し、誤差の昇順でソートし、誤差が小さい６個のイントラ予測モードを選択して、それらを構築しようとする長さが６のＴＭＲＬモードの候補リスト内のイントラ予測モードとすることができる。また、ＴＭＲＬモードの候補リストの長さが６であるのは一例にすぎず、状況に応じて数値を調整することができる。
【0188】
本実施形態は６５種類の角度モードを例示したが、他の実施形態では、より良い性能を得るために角度を１２９種類以上に拡張することが可能であり、より多くの角度に拡張する場合、イントラ予測のためのフィルタ数を適宜増やす必要もあり、例えば、１２９種類の角度の場合１／６４精度のフィルタリングを使用する。
【0189】
一実施形態では、さらにイントラ予測融合（ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｆｕｓｉｏｎ、ＩＰＦ）技術を提供する。ＩＰＦにおいては、ある角度モードでは２つの隣接する参照ラインを使用して得られた予測結果に対して重み付けを行って、現在のブロックの最終的な予測結果を得ることを許可する。重み付けを行う方式は次の式の通りである。
【数3】
【0190】
【0191】
現在のブロックに対してＩＰＦを使用する場合、上記融合した後の予測結果を現在のブロックの最終的な予測結果とする。
【0192】
本実施形態では、ＩＰＦが使用されるか（すなわちアクティブにされるか）を示すフラグは設定されていないが、デフォルトでは、以下の条件が満たされたときに、即ち、
現在のブロックのために選択された角度モードは整数傾きの角度モードではないこと、
現在のブロックの幅と高さの積は１６より大きいこと、
現在のブロックに対してＩＳＰモードが選択されていないこと、
という条件が満たされたときに、現在のブロックのために選択された角度モードに対してＩＰＦがアクティブにされる。
現在のブロックのために選択された角度モードは整数傾きの角度モードではないこと、
現在のブロックの幅と高さの積は１６より大きいこと、
現在のブロックに対してＩＳＰモードが選択されていないこと、
という条件が満たされたときに、現在のブロックのために選択された角度モードに対してＩＰＦがアクティブにされる。
【0193】
言い換えれば、以下の制約条件のうちの少なくとも１つが成立した場合、即ち、
現在のブロックのために選択された角度モードは整数傾きの角度モードであること、
現在のブロックの幅と高さの積は１６以下であること、
現在のブロックに対してＩＳＰモードが選択されたこと、
という制約条件のうちの少なくとも１つが成立した場合、ＩＰＦの使用は許可されない。
現在のブロックのために選択された角度モードは整数傾きの角度モードであること、
現在のブロックの幅と高さの積は１６以下であること、
現在のブロックに対してＩＳＰモードが選択されたこと、
という制約条件のうちの少なくとも１つが成立した場合、ＩＰＦの使用は許可されない。
【0194】
ここで、角度モードの角度値（ｉｎｔｒａＰｒｅｄＡｎｇｌｅ）を３２で割った余りが０である場合、この角度モードは整数傾き（ｉｎｔｅｇｅｒ ｓｌｏｐｅ）の角度モードであり、intraPredAngleと角度モードの対応は上記の表１に示される。
【0195】
現在のモードがＩＰＦの使用条件を満たす場合、現在のブロックのために選択されたイントラ予測モードは、ＤＩＭＤを使用して選択されたＤＩＭＤ融合モード（ｐｌａｎａｒモードと２つの角度モードに基づいて融合する）である可能性があり、ＴＩＭＤを使用して選択されたＴＩＭＤ融合モードである可能性もある。ハードウェアの実現から言えば、融合は少ないほど良く、ＤＩＭＤ融合モードを選択したときには、すでに３つのイントラ予測結果が現在のブロックに対する融合に用いられ、さらにＩＰＦを使用すれば、多すぎる融合は予測段階の複雑さを増加させる。
【0196】
本願の一実施形態は、エンコーダーにもデコーダーにも適用可能なイントラ予測融合方法を提供し、図１０に示すように、この方法は次の内容を含む。
ステップ４１０において、現在のブロックに対して選択されたイントラ予測モードが角度モードを含む場合、現在のブロックに対してＩＰＦを使用する制約条件が成立するか否かを確定する。
ステップ４２０において、制約条件のうちの少なくとも１つが成立する場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を制約する。
本ステップでは、現在のブロックに対してイントラ予測を行う際にＩＰＦの使用を制約することは、ＩＰＦの使用を許可しないことであってもよく、選択されたイントラ予測モードにＩＰＦの使用条件を満たす複数の角度モードが含まれる場合には、その中の一部の角度モードのみに対してＩＰＦを許可することであってもよい。一例では、ＩＰＦの使用条件を満たす角度モードは、整数傾きの角度モードではない角度モードを指し、または角度が－４５°、０°、４５°、９０°、１３５°以外の角度モードを指す。
ステップ４１０において、現在のブロックに対して選択されたイントラ予測モードが角度モードを含む場合、現在のブロックに対してＩＰＦを使用する制約条件が成立するか否かを確定する。
ステップ４２０において、制約条件のうちの少なくとも１つが成立する場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を制約する。
本ステップでは、現在のブロックに対してイントラ予測を行う際にＩＰＦの使用を制約することは、ＩＰＦの使用を許可しないことであってもよく、選択されたイントラ予測モードにＩＰＦの使用条件を満たす複数の角度モードが含まれる場合には、その中の一部の角度モードのみに対してＩＰＦを許可することであってもよい。一例では、ＩＰＦの使用条件を満たす角度モードは、整数傾きの角度モードではない角度モードを指し、または角度が－４５°、０°、４５°、９０°、１３５°以外の角度モードを指す。
【0197】
本文では、ある制約条件が成立した場合にＩＰＦの使用を許可しないことは、現在のブロックを予測する際にＩＰＦを使用しない十分条件である。一方、ある制約条件が成立しない場合にＩＰＦの使用を許可することは、現在のブロックを予測する際にＩＰＦを使用する必要条件であり、他の制約条件が成立すれば、ＩＰＦの使用を許可しない可能性が依然としてある。
【0198】
本願の例示的な実施形態において、制約条件は、次のモード数制約条件を含み、モード数制約条件は、ＩＰＦの使用により、現在のブロックを予測するにはＮ個以上のイントラ予測モードを融合する必要があり、Ｎは３以上の整数であるということである。
【0199】
本実施形態の一例では、Ｎが３であるとき、現在のブロックに対して選択されたイントラ予測モードが角度モードを含む場合、現在のブロックに対してＩＰＦを使用する制約条件が成立するか否かを確定し、制約条件のうちの少なくとも１つが成立する場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を制約することは、次の内容を含む。
現在のブロックに対してＴＩＭＤ融合モードが選択され、且つＩＰＦの使用条件を満たす２つの角度モードがＴＩＭＤ融合に用いられる場合、モード数制約条件が成立すると確定し、現在のブロックに対してイントラ予測を実行する際に２つの角度モードのうちの１つのみに対してＩＰＦを実行することを許可する。
現在のブロックに対してＴＩＭＤ融合モードが選択され、且つＴＩＭＤ融合に用いられる２つのイントラ予測モードのうちの１つのみが、ＩＰＦの使用条件を満たす角度モードである場合、モード数制約条件が成立しないと確定し、現在のブロックに対してイントラ予測を実行する際にこの角度モードに対してＩＰＦを実行することを許可する。
現在のブロックに対してＴＩＭＤ融合モードが選択され、且つＩＰＦの使用条件を満たす２つの角度モードがＴＩＭＤ融合に用いられる場合、モード数制約条件が成立すると確定し、現在のブロックに対してイントラ予測を実行する際に２つの角度モードのうちの１つのみに対してＩＰＦを実行することを許可する。
現在のブロックに対してＴＩＭＤ融合モードが選択され、且つＴＩＭＤ融合に用いられる２つのイントラ予測モードのうちの１つのみが、ＩＰＦの使用条件を満たす角度モードである場合、モード数制約条件が成立しないと確定し、現在のブロックに対してイントラ予測を実行する際にこの角度モードに対してＩＰＦを実行することを許可する。
【0200】
本願の例示的な実施形態において、制約条件は、次のモード数制約条件を含み、モード数制約条件は、ＩＰＦの使用により、現在のブロックを予測するにはＭ個以上の角度モードを融合する必要があり、Ｍは２以上である整数であるということである。
【0201】
本実施形態の一例では、Ｍが３であるとき、現在のブロックに対して選択されたイントラ予測モードが角度モードを含む場合、現在のブロックに対してＩＰＦを使用する制約条件が成立するか否かを確定し、制約条件のうちの少なくとも１つが成立する場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を制約することは、次の内容を含む。
現在のブロックに対してＴＩＭＤ融合モードが選択され、且つＩＰＦの使用条件を満たす２つの角度モードがＴＩＭＤ融合に用いられる場合、モード数制約条件が成立すると確定し、現在のブロックに対してイントラ予測を実行する際に２つの角度モードのうちの１つのみに対してＩＰＦを実行することを許可する。例えば、２つの角度モードのうちのコストが最も小さいまたはコストが２番目に小さい角度モードのみに対してＩＰＦを実行することを許可する。
現在のブロックに対してＴＩＭＤ融合モードが選択され、且つＴＩＭＤ融合に用いられる２つのイントラ予測モードのうちの１つのみが、ＩＰＦの使用条件を満たす角度モードである場合、モード数制約条件が成立しないと確定し、現在のブロックに対してイントラ予測を実行する際にこの角度モードに対してＩＰＦを実行することを許可する。
現在のブロックに対してＴＩＭＤ融合モードが選択され、且つＩＰＦの使用条件を満たす２つの角度モードがＴＩＭＤ融合に用いられる場合、モード数制約条件が成立すると確定し、現在のブロックに対してイントラ予測を実行する際に２つの角度モードのうちの１つのみに対してＩＰＦを実行することを許可する。例えば、２つの角度モードのうちのコストが最も小さいまたはコストが２番目に小さい角度モードのみに対してＩＰＦを実行することを許可する。
現在のブロックに対してＴＩＭＤ融合モードが選択され、且つＴＩＭＤ融合に用いられる２つのイントラ予測モードのうちの１つのみが、ＩＰＦの使用条件を満たす角度モードである場合、モード数制約条件が成立しないと確定し、現在のブロックに対してイントラ予測を実行する際にこの角度モードに対してＩＰＦを実行することを許可する。
【0202】
本実施形態の一例では、Ｍが３であるとき、現在のブロックに対して選択されたイントラ予測モードが角度モードを含む場合、現在のブロックに対してＩＰＦを使用する制約条件が成立するか否かを確定し、制約条件のうちの少なくとも１つが成立する場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を制約することは、次の内容を含む。
現在のブロックに対してＤＩＭＤ融合モードが選択され、且つＩＰＦの使用条件を満たす２つの角度モードがＤＩＭＤ融合に用いられる場合、モード数制約条件が成立すると確定し、現在のブロックに対してイントラ予測を実行する際に２つの角度モードのうちの１つのみに対してＩＰＦを実行することを許可する。例えば、２つの角度モードのうち振幅値が最も高いまたは次に高い角度モードのみに対してＩＰＦを許可する。
現在のブロックに対してＤＩＭＤ融合モードが選択され、且つＤＩＭＤ融合に用いられる２つの角度モードのうちの１つのみが、ＩＰＦの使用条件を満たす角度モードである場合、モード数制約条件が成立しないと確定し、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用条件を満たす角度モードに対してＩＰＦを実行することを許可する。
現在のブロックに対してＤＩＭＤ融合モードが選択され、且つＩＰＦの使用条件を満たす２つの角度モードがＤＩＭＤ融合に用いられる場合、モード数制約条件が成立すると確定し、現在のブロックに対してイントラ予測を実行する際に２つの角度モードのうちの１つのみに対してＩＰＦを実行することを許可する。例えば、２つの角度モードのうち振幅値が最も高いまたは次に高い角度モードのみに対してＩＰＦを許可する。
現在のブロックに対してＤＩＭＤ融合モードが選択され、且つＤＩＭＤ融合に用いられる２つの角度モードのうちの１つのみが、ＩＰＦの使用条件を満たす角度モードである場合、モード数制約条件が成立しないと確定し、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用条件を満たす角度モードに対してＩＰＦを実行することを許可する。
【0203】
本実施形態の一例では、Ｍが２であるとき、現在のブロックに対して選択されたイントラ予測モードが角度モードを含む場合、現在のブロックに対してＩＰＦを使用する制約条件が成立するか否かを確定し、制約条件のうちの少なくとも１つが成立する場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を制約することは、次の内容を含む。
現在のブロックに対してＴＩＭＤ融合モードが選択され、且つ２つの角度モードがＴＩＭＤ融合に用いられる場合、モード数制約条件が成立すると確定し、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を許可しない。
現在のブロックに対してＴＩＭＤ融合モードが選択されたとともに、ＴＩＭＤ融合に用いられる２つのイントラ予測モードのうちの１つのみが、角度モードであり且つこの角度モードがＩＰＦの使用条件を満たす場合、モード数制約条件が成立しないと確定し、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用条件を満たす角度モードに対してＩＰＦを実行することを許可する。
現在のブロックに対してＴＩＭＤ融合モードが選択され、且つ２つの角度モードがＴＩＭＤ融合に用いられる場合、モード数制約条件が成立すると確定し、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を許可しない。
現在のブロックに対してＴＩＭＤ融合モードが選択されたとともに、ＴＩＭＤ融合に用いられる２つのイントラ予測モードのうちの１つのみが、角度モードであり且つこの角度モードがＩＰＦの使用条件を満たす場合、モード数制約条件が成立しないと確定し、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用条件を満たす角度モードに対してＩＰＦを実行することを許可する。
【0204】
上記実施形態では、現在のブロックに対してイントラ予測を実行する際に１つの角度モードに対してＩＰＦを実行することを許可することは、２つ以上の予測結果の加重和を現在のブロックの最終的な予測結果とすることを含む。２つ以上の予測結果が、現在のブロックに対して選択された第１参照ラインとこの角度モードに基づいて現在のブロックを予測することによって得られた予測結果と、第１参照ラインと異なる第２参照ラインとこの角度モードに基づいて現在のブロックを予測することによって得られた予測結果とを含む。例えば、第２参照ラインは、第１参照ラインに隣接する参照ラインであってもよく、インデックスが０の参照ラインであってもよい。
【0205】
本願の例示的な実施形態において、制約条件は、以下のいずれか１つ以上を含み、即ち、
制約条件１：現在のブロックに対してＴＩＭＤ融合モードが選択されること、
制約条件２：現在のブロックに対してＤＩＭＤ融合モードが選択されること、
制約条件３：現在のブロックに対してＭＲＬが使用されること、
制約条件４：現在のブロックに対して選択された参照ラインのインデックスがＫ以上であり、Ｋが３以上の整数であること、
制約条件５：現在のブロックの幅が設定値以下であること、
制約条件６：現在のブロックの高さが設定値以下であること、
制約条件７：現在のブロックの幅と高さの積が設定値以下であること、
制約条件８：現在のブロックに対してＩＳＰモードが使用されること、
制約条件９：現在のブロックに対して選択された角度モードの角度が、－４５°、０°、４５°、９０°、１３５°のいずれか１つであり、または、現在のブロックに対して選択された角度モードが、整数傾きの角度モードであること、
制約条件１０：現在のブロックが属する現在のフレームが、インターフレームであること、
制約条件１１：現在のブロックが属する現在の画像が色差（ｃｈｒｏｍａ）画像であり、即ち輝度（ｌｕｍａ）画像のみに対してＩＰＦを使用し、色差画像に対してＩＰＦを使用しないこと、
という条件のいずれか１つ以上を含み、
制約条件１～制約条件１１のうちの少なくとも１つが成立する場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を許可しない。
制約条件１：現在のブロックに対してＴＩＭＤ融合モードが選択されること、
制約条件２：現在のブロックに対してＤＩＭＤ融合モードが選択されること、
制約条件３：現在のブロックに対してＭＲＬが使用されること、
制約条件４：現在のブロックに対して選択された参照ラインのインデックスがＫ以上であり、Ｋが３以上の整数であること、
制約条件５：現在のブロックの幅が設定値以下であること、
制約条件６：現在のブロックの高さが設定値以下であること、
制約条件７：現在のブロックの幅と高さの積が設定値以下であること、
制約条件８：現在のブロックに対してＩＳＰモードが使用されること、
制約条件９：現在のブロックに対して選択された角度モードの角度が、－４５°、０°、４５°、９０°、１３５°のいずれか１つであり、または、現在のブロックに対して選択された角度モードが、整数傾きの角度モードであること、
制約条件１０：現在のブロックが属する現在のフレームが、インターフレームであること、
制約条件１１：現在のブロックが属する現在の画像が色差（ｃｈｒｏｍａ）画像であり、即ち輝度（ｌｕｍａ）画像のみに対してＩＰＦを使用し、色差画像に対してＩＰＦを使用しないこと、
という条件のいずれか１つ以上を含み、
制約条件１～制約条件１１のうちの少なくとも１つが成立する場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を許可しない。
【0206】
本実施形態の一例では、制約条件は、制約条件４を含み、Ｋが３、または５、または７、または１２である。
【0207】
本願の上記実施形態では、ＩＰＦの使用を制約し、例えば、本実施形態では、融合に用いられるイントラ予測モードの数を制約することができ、融合に用いられる角度モードの数を制約することができ、ＩＰＦと、ＴＩＭＤ、ＤＩＭＤなどの、複数のモードが融合される可能性のある予測モードとの同時使用を制約することができるなど、これらにより、予測時に多すぎる融合を行って予測段階の複雑さが不適切に増加することを回避することができる。
【0208】
本実施形態では、現在のブロックのサイズを制限することができ、現在のブロックのサイズが設定値より大きい場合にＩＰＦを使用する。これは、現在のブロックがあるサイズより小さい場合に、通常、より多くのテクスチャがあり、融合予測を使用すると性能の向上が限定的であるためである。本実施形態では、現在のブロックのために選択された参照ラインのインデックスがＫ以上の場合にＩＰＦの使用を許可せず、すなわち、現在のブロックのために選択された拡張参照ラインが現在のブロックから比較的遠い場合にＩＰＦの使用を許可せず、この場合にＩＰＦの使用による性能の向上が限定的である。
【0209】
本実施形態ではＩＰＦとＭＲＬの同時使用を制約することで、計算の複雑さを減らすことができる。本実施形態では、現在のフレームがＢフレーム、Ｐフレームなどのインターフレームである場合にＩＰＦの使用を許可しないことにより、インターフレームコーディングのコストを低減することができる。
【0210】
本願の例示的な一実施形態例において、上記方法は、制約条件のすべてが成立しない場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用することをさらに含む。
現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用することは、現在のブロックに対して選択されたイントラ予測モードが、１つのみであり且つ角度モードである場合、第１予測結果と第２予測結果の加重和を現在のブロックの最終的な予測結果とすることを含む。第１予測結果は、現在のブロックに対して選択された第１参照ラインと現在のブロックに対して選択された第１角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、第２予測結果は、第２参照ラインと第１角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、第２参照ラインは、第１参照ラインの隣接ラインまたはインデックスが０である参照ラインである。
現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用することは、現在のブロックに対して選択されたイントラ予測モードが、１つのみであり且つ角度モードである場合、第１予測結果と第２予測結果の加重和を現在のブロックの最終的な予測結果とすることを含む。第１予測結果は、現在のブロックに対して選択された第１参照ラインと現在のブロックに対して選択された第１角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、第２予測結果は、第２参照ラインと第１角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、第２参照ラインは、第１参照ラインの隣接ラインまたはインデックスが０である参照ラインである。
【0211】
制約条件のすべてが成立しない場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用する。これは、制約条件のすべてが成立しない場合にのみ、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用が許可されるという意味ではない。例えば、モード数制約条件が成立した場合でも、ＩＰＦの使用条件を満たす一部の角度モードに基づいてＩＰＦを実行することができる。
【0212】
本実施形態の一例では、第１予測結果と第２予測結果の加重和は、数４または数５に従って算出され、
【数4】
【数5】
【0213】
以上の計算方法は演算中に小数が現れることを避けることができ、計算方法の効率を高めることができる。
【0214】
本願の例示的な一実施形態において、上記方法は、制約条件のすべてが成立しない場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用することをさらに含む。現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用することは、現在のブロックに対して選択されたイントラ予測モードが融合モードである場合、３つ以上の予測結果の加重和を現在のブロックの最終的な予測結果とすることを含む。３つ以上の予測結果は、現在のブロックに対して選択された第１参照ラインと融合モードにおけるイントラ予測モードの各々に基づいて、現在のブロックを予測することによって得られた複数の予測結果と、融合モードにおけるＩＰＦが許可される１つまたは複数の角度モードと第２参照ラインに基づいて、現在のブロックを予測することによって得られた１つまたは複数の予測結果とを含む。第２参照ラインは、第１参照ラインの隣接ラインまたはインデックスが０である参照ラインである。
【0215】
本願の上記実施形態では、第１予測結果と第２予測結果の加重和を算出する際に、第１予測結果に与えられる重みは、第２予測結果に与えられる重みより大きい。例えば、第１参照ラインはインデックスが１の参照ラインであり、第２参照ラインはインデックスが０の参照ラインである場合、第１予測結果の重みを３／４に設定し、第２予測結果の重みを１／４に設定する。
【0216】
本願の上述の実施形態では、第１参照ラインのインデックスがＫ以上である場合、第２参照ラインは、第１参照ラインに隣接し、且つ第１参照ラインより現在のブロックに近く、Ｋは１以上の整数である。
【0217】
例えば、第２参照ラインは、以下の方式のうちの少なくとも１つに基づいて決定することができる。
第１参照ラインのインデックスが１である場合、第２参照ラインのインデックスが０であると確定する。
第１参照ラインのインデックスが３である場合、第２参照ラインのインデックスが２であると確定する。
第１参照ラインのインデックスが５である場合、第２参照ラインのインデックスが４であると確定する。
第１参照ラインのインデックスが７である場合、第２参照ラインのインデックスが６であると確定する。
第１参照ラインのインデックスが１２である場合、第２参照ラインのインデックスは１１であると確定する。
第１参照ラインのインデックスが１である場合、第２参照ラインのインデックスが０であると確定する。
第１参照ラインのインデックスが３である場合、第２参照ラインのインデックスが２であると確定する。
第１参照ラインのインデックスが５である場合、第２参照ラインのインデックスが４であると確定する。
第１参照ラインのインデックスが７である場合、第２参照ラインのインデックスが６であると確定する。
第１参照ラインのインデックスが１２である場合、第２参照ラインのインデックスは１１であると確定する。
【0218】
第１参照ラインのインデックスがＫ以上の場合、第２参照ラインを、第１参照ラインに隣接し且つ第１参照ラインよりも現在のブロックに近い参照ラインに設定することで、第２参照ラインに基づく現在のブロックの予測の正確さを向上させ、ひいては融合後の予測結果の正確さを向上させることができる。
【0219】
本願の例示的な実施形態では、ＩＰＦはＴＭＲＬモードと同時に使用することができる。すなわち、現在のブロックに対してテンプレートベースのマルチ参照ラインイントラ予測（ｔｅｍｐｌａｔｅ－ｂａｓｅｄ ｍｕｌｔｉｐｌｅ ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ＆ ｉｎｔｒａ＿ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＴＭＲＬ）モードの候補リストにおける１つの拡張参照ラインと１つの角度モードが選択され、且つ制約条件のすべてが成立しない場合、この拡張参照ラインとこの角度モードに基づいて現在のブロックを予測した第１予測結果と、他の参照ラインとこの角度モードに基づいて現在のブロックを予測した第２予測結果とを計算し、第１予測結果と第２予測結果の加重和を現在のブロックの最終的な予測結果とする。上記他の参照ラインは、インデックスが０である参照ラインまたはこの拡張参照ラインの隣接ラインである。
【0220】
本願の一実施形態は、エンコーダーに適用されるビデオエンコーディング方法をさらに提供し、図１１に示すように、この方法は次の内容を含む。
ステップ５１０において、モード選択で現在のブロックに対して選択された参照ラインとイントラ予測モードを確定する。
ステップ５２０において、本願のいずれかの実施形態に記載のイントラ予測融合方法に基づいて現在のブロックを予測して現在のブロックの予測値を得る。
本ステップでは、現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用する場合、現在のブロックの最終的な予測結果に基づいて現在のブロックの予測値を得る。
ステップ５３０において、現在のブロックのオリジナル値と予測値に基づいて、現在のブロックの残差を確定する。
ステップ５１０において、モード選択で現在のブロックに対して選択された参照ラインとイントラ予測モードを確定する。
ステップ５２０において、本願のいずれかの実施形態に記載のイントラ予測融合方法に基づいて現在のブロックを予測して現在のブロックの予測値を得る。
本ステップでは、現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用する場合、現在のブロックの最終的な予測結果に基づいて現在のブロックの予測値を得る。
ステップ５３０において、現在のブロックのオリジナル値と予測値に基づいて、現在のブロックの残差を確定する。
【0221】
本実施形態のビデオエンコーディング方法では、本願のいずれかの実施形態のイントラ予測融合方法を用いて現在のブロックを予測することで、このイントラ予測融合方法の様々な効果を得ることができる。
【0222】
本願の一実施形態は、デコーダーに適用されるビデオデコーディング方法をさらに提供し、図１２に示すように、この方法は次の内容を含む。
ステップ６１０において、ビットストリームをデコードして、現在のブロックに対して選択された参照ラインとイントラ予測モードを確定する。
ステップ６２０において、本願のいずれかの実施形態に記載のイントラ予測融合方法に基づいて現在のブロックを予測して現在のブロックの予測値を得る。
本ステップでは、現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用する場合、現在のブロックの最終的な予測結果に基づいて現在のブロックの予測値を得る。
ステップ６３０において、現在のブロックの予測値に基づいて現在のブロックの再構成値を確定する。
ステップ６１０において、ビットストリームをデコードして、現在のブロックに対して選択された参照ラインとイントラ予測モードを確定する。
ステップ６２０において、本願のいずれかの実施形態に記載のイントラ予測融合方法に基づいて現在のブロックを予測して現在のブロックの予測値を得る。
本ステップでは、現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用する場合、現在のブロックの最終的な予測結果に基づいて現在のブロックの予測値を得る。
ステップ６３０において、現在のブロックの予測値に基づいて現在のブロックの再構成値を確定する。
【0223】
本実施形態のビデオデコーディング方法では、本願のいずれかの実施形態のイントラ予測融合方法を用いて現在のブロックを予測することで、このイントラ予測融合方法の様々な効果を得ることができる。
【0224】
上記実施形態で用いた、テンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードのイントラ予測方法は、拡張参照ラインとイントラ予測モードの組み合わせに基づいて候補リストを構築し、拡張参照ラインとイントラ予測モードの組み合わせをエンコード及びデコードする予測モードである。ただし、テンプレートに基づいているかどうか、または順番付けをするかどうかにかかわらず、１行の参照ラインを使用して予測する。通常、１行の参照ラインにはノイズが含まれており、予測の正確さに影響する。
【0225】
そのため、本願の一実施形態は、ＴＭＲＬモードに基づいてＩＰＦを使用する方法を提案する。ＴＭＲＬモードに基づいてＩＰＦを使用し、すなわち選択された角度モードに対してＩＰＦを行い、つまり選択された参照ラインとその角度モードに基づいて現在のブロックを予測した結果と、別の参照ラインとその角度モードに基づいて現在のブロックを予測した結果とに重み付けを行って、現在のブロックの最終的な予測結果を得る。異なる参照ラインの予測結果を融合することで、予測の正確さを向上させる。
【0226】
ＴＭＲＬモードに基づいてＩＰＦを使用する場合、現在のブロックに対してＩＰＦを使用するかどうかを示すフラグを設定する必要がなく、エンコーダーとデコーダーによって、約束された条件に基づいて判断することができる。
【0227】
本願の一実施形態では、ＩＰＦはＴＭＲＬモードと同時に使用することができる場合、現在のブロックに対してＴＭＲＬモードの候補リストにおける１つの拡張参照ラインと１つの角度モードが選択され、且つ制約条件のすべてが成立しない場合、この拡張参照ラインとこの角度モードに基づいて現在のブロックを予測した第１予測結果と、他の参照ラインとこの角度モードに基づいて現在のブロックを予測した第２予測結果とを計算し、第１予測結果と第２予測結果の加重和を現在のブロックの最終的な予測結果とする。この他の参照ラインは、インデックスが０である参照ラインまたはこの拡張参照ラインの隣接ラインである。
【0228】
本実施形態では、ＴＭＲＬモードの候補リストを構築する際にもエンコード及びデコードする場合にも、前述の実施形態の方法を使用することができる。その違いは、本実施形態では、現在のブロックの予測値を生成する段階で、選択された角度モードと選択された参照ラインに基づいて生成された予測値と、選択された角度モードと別の参照ラインに基づいて生成された予測値に対して重み付けを行って現在のブロックの最終的な予測値を得るということである。
【0229】
本実施形態では、ＴＭＲＬモードに基づくＩＰＦを制約する。例えば、選択された参照ラインが現在のブロックに近いいくつかの参照ラインである場合にのみＩＰＦを行う。具体的には、参照ラインがｒｅｆｅｒｅｎｃｅ ｌｉｎｅ １であり、または参照ラインがｒｅｆｅｒｅｎｃｅ ｌｉｎｅ １、３であり、または参照ラインがｒｅｆｅｒｅｎｃｅ ｌｉｎｅ １、３、５であり、または参照ラインがｒｅｆｅｒｅｎｃｅ ｌｉｎｅ １、３、５、７であり、または参照ラインがｒｅｆｅｒｅｎｃｅ ｌｉｎｅ １、３、５、７、１２である場合にのみ、融合は許可される。また、現在のブロックのためにある角度モードを使用している場合、ＩＰＦを使用しないように限定することもできる。例えば、角度モードの角度が水平角度、垂直角度、－４５度、４５度、１３５度である場合、ＩＰＦを使用することはできない。また、現在のブロックのサイズがあるサイズ以下の場合、通常、小さいブロックにはより多くのテクスチャがあるため、ＩＰＦすなわち融合予測の使用を許可しなくてもよい。
【0230】
ＴＭＲＬモードに基づいてＩＰＦを使用する場合、ＴＭＲＬモードのシンタックスエレメントにおいて、ＩＰＦを使用するかどうかを表すフラグを追加することもできる。
【0231】
本願の一実施形態は、デコーダーに適用されるビデオデコーディング方法を提供し、図１３に示すように、この方法はステップ７１０～ステップ７３０を含む。
ステップ７１０において、デコーディングにより、現在のブロックに対してテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードが使用されると確定する場合、引き続き現在のブロックのＴＭＲＬモードインデックスとＴＭＲＬ融合フラグをデコードする。
ステップ７２０において、現在のブロックに対してＴＭＲＬモードの候補リストを構築し、候補リストとＴＭＲＬモードインデックスに基づいて、現在のブロックに対して選択された拡張参照ラインとイントラ予測モードを確定する。
本ステップは、前述の実施形態と同じ方法を用いて、候補リストを構築し、現在のブロックのために選択される拡張参照ラインおよびイントラ予測モードを決定することができる。
ステップ７３０において、ＴＭＲＬ融合フラグがイントラ予測融合（ＩＰＦ）が使用されることを示す場合、第１予測結果と第２予測結果の加重和を、現在のブロックの最終的な予測結果とする。
このステップでは、第１予測結果と第２予測結果の加重和は、前述の公式一と公式二から計算することができる。
ステップ７１０において、デコーディングにより、現在のブロックに対してテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードが使用されると確定する場合、引き続き現在のブロックのＴＭＲＬモードインデックスとＴＭＲＬ融合フラグをデコードする。
ステップ７２０において、現在のブロックに対してＴＭＲＬモードの候補リストを構築し、候補リストとＴＭＲＬモードインデックスに基づいて、現在のブロックに対して選択された拡張参照ラインとイントラ予測モードを確定する。
本ステップは、前述の実施形態と同じ方法を用いて、候補リストを構築し、現在のブロックのために選択される拡張参照ラインおよびイントラ予測モードを決定することができる。
ステップ７３０において、ＴＭＲＬ融合フラグがイントラ予測融合（ＩＰＦ）が使用されることを示す場合、第１予測結果と第２予測結果の加重和を、現在のブロックの最終的な予測結果とする。
このステップでは、第１予測結果と第２予測結果の加重和は、前述の公式一と公式二から計算することができる。
【0232】
第１予測結果は、拡張参照ラインとイントラ予測モードとに基づいて現在のブロックを予測することによって得られ、第２予測結果は、他の参照ラインとイントラ予測モードに基づいて現在のブロックを予測することによって得られ、このイントラ予測モードは角度モードである。２つの予測結果を重み付けする際に、前述の実施形態の公式を用いて計算することができる。
【0233】
本実施形態では、ＴＭＲＬ融合フラグが、ＩＰＦが使用されないことを示す場合、拡張参照ラインとイントラ予測モードに基づいて現在のブロックを予測して、現在のブロックの最終的な予測結果を得る。
【0234】
本実施形態では、ＴＭＲＬモードに基づいて、ＴＭＲＬ融合フラグを設定することによってＩＰＦを使用するかどうかを表し、エンコーディング側では前述の実施形態と同じまたは類似の制約条件が成立するかどうかを踏まえてＴＭＲＬ融合フラグをエンコードすることができる。ＩＰＦを使用すると確定すれば、ＴＭＲＬ融合フラグを１に設定し、ＩＰＦを使用しないと確定すれば、ＴＭＲＬ融合フラグを０に設定する。一方、デコーディング側では、これらの制約条件と合わせて判断する必要はなく、このＴＭＲＬ融合フラグに基づいて、ＴＭＲＬモードを使用する際に選択された角度モードに対してＩＰＦを行うかどうかを決定することができる。デコーディング側の処理を簡略化し、ＩＰＦ使用条件の設定の柔軟性を高めることができる。ＴＭＲＬモードに基づいてＩＰＦを使用することにより、予測の正確性を高め、ビデオエンコーディングの性能を向上させることができる。
【0235】
本実施形態の一例では、上記他の参照ラインは、その拡張参照ラインに隣接し且つその拡張参照ラインの内側にある参照ラインであり、または、その拡張参照ラインに隣接し且つその拡張参照ラインの外側にある参照ラインであり、または、インデックスが０である参照ラインである。
【0236】
本実施形態の一例では、ＴＭＲＬ融合フラグをデコードする条件を増やすことができ、即ち、引き続き現在のブロックのＴＭＲＬモードインデックスとＴＭＲＬ融合フラグをデコードすることは、現在のブロックのＴＭＲＬモードインデックスをデコードした後、現在のブロックのサイズが設定条件を満たすか否かを確定し、設定条件が満たされた場合、現在のブロックのＴＭＲＬ融合フラグをデコードし、設定条件が満たされない場合、現在のブロックのＴＭＲＬ融合フラグのデコーディングをスキップすることを含む。
【0237】
設定条件が、以下のいずれか１つ以上を含み、即ち、
現在のブロックの幅が設定値より大きいこと、
現在のブロックの高さが設定値より大きいこと、
現在のブロックの幅と高さの積が設定値より大きいこと、
現在のブロックが属する現在のフレームは、インターフレームではなく、即ちＢフレームとＰフレームにおいて、融合モードを使用するイントラブロックがあることを禁止すること、
という条件のいずれか１つ以上を含む。
現在のブロックの幅が設定値より大きいこと、
現在のブロックの高さが設定値より大きいこと、
現在のブロックの幅と高さの積が設定値より大きいこと、
現在のブロックが属する現在のフレームは、インターフレームではなく、即ちＢフレームとＰフレームにおいて、融合モードを使用するイントラブロックがあることを禁止すること、
という条件のいずれか１つ以上を含む。
【0238】
通常、小さいブロックはより多くのテクスチャを有し、ＩＰＦを使用する改善は限られているため、本実施形態では現在のブロックのサイズが設定値より大きいことを、ＴＭＲＬ融合フラグをデコードする条件としている。現在のブロックのサイズが設定値より大きくない場合、コーディング効率を高めるためにＴＭＲＬ融合フラグをエンコード及びデコードしなくてもよい。
【0239】
本実施形態の一例では、現在のブロックに対してＴＭＲＬモードの候補リストを構築することは、
現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個の組み合わせを取得することであって、Ｎ≧１、Ｍ≧１、Ｎ×Ｍ≧２が満たされた、取得することと、
Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算することと、
現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入することであって、１≦Ｋ≦Ｎ×Ｍが満たされた、記入することと、を含み、
Ｍ個のイントラ予測モードは、角度が－４５°、０°、４５°、９０°、１３５°である角度モード以外の角度モードから選択される。
現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個の組み合わせを取得することであって、Ｎ≧１、Ｍ≧１、Ｎ×Ｍ≧２が満たされた、取得することと、
Ｎ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算することと、
現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入することであって、１≦Ｋ≦Ｎ×Ｍが満たされた、記入することと、を含み、
Ｍ個のイントラ予測モードは、角度が－４５°、０°、４５°、９０°、１３５°である角度モード以外の角度モードから選択される。
【0240】
本実施形態では、ＴＭＲＬモードの候補リストを構築する際に、組み合わせに参加するＭ個のイントラ予測モードを、いくつかの特定の角度を除いた他の角度モードに制限することで、ＩＰＦと結びつけることに有利であり、予測の正確性を向上させることができる。
【0241】
本願の一実施形態は、ビデオデコーディング方法を提供する。ＣＵレベルのシンタックスエレメントを解析する段階で、フラグtmrl_fusion_flag、すなわちＴＭＲＬ融合フラグを追加的にデコードする必要がある。
【0242】
例えば、次の表に示される通りである。
【0243】
【表8】
【0244】
上の表にあるsps_mrl_enabled_flagはシーケンスレベルフラグであり、１である場合、現在のシーケンスに対してＭＲＬを使用できることを表し、０である場合、ＭＲＬを使用しないことを表す。( y0 % CtbSizeY ) > 0は、現在のＣＵがＣＴＵの一番目の行に位置しないことを示す。tmrl_fusion_flagが１である場合、後続のＴＭＲＬモードでは融合モードを使用することを示し、そうではない場合、融合モードを使用しない。
【0245】
別の実施形態では、tmrl_fusion_flagをデコードするか否かは、現在のコーディングブロック（Ｃｏｄｉｎｇ ｂｌｏｃｋ、Ｃｂ）のサイズに基づいて確定することもできる。例えば、次の表に示されるように、コーディングブロックの幅cbWidth > Nであり、且つコーディングブロックの高さcbHeight > Mである場合、tmrl_fusion_flagをデコードする。
【0246】
【表9】
【0247】
さらに別の実施形態では、次の表に示されるように、コーディングブロックについては、cbWidth *cbHeight > Lが満たされるとき、tmrl_fusion_flagをデコードする。
【0248】
【表10】
【0249】
表にあるＭ、Ｎ、Ｌはサイズの設定値であり、いずれも正の整数であり、ＭはＮに等しくてもよい。
【0250】
本実施形態では、テンプレートに基づいて、順番付けをして、ＴＭＲＬモードの候補リストを構築する際に、使用できるＮ個の参照ラインとＭ個のイントラ予測モードに対してＮ×Ｍ個の組み合わせをトラバースし、テンプレート領域の予測値を生成し、テンプレート領域の予測値と再構成値の誤差を求め、誤差の大きさの昇順で上位のＫ個を選出し、{参照ライン，予測モード}組み合わせの候補リストを構成する。誤差値はＳＡＤなどであることができる。本実施形態では、一部のモードのみでＩＰＦを使用することを制約することができる。候補リストを構築する際に、ＰＬＡＮＡＲ、ＤＣ、角度が水平角度の角度モード、角度が垂直角度の角度モード、角度が－４５度の角度モード、角度が４５度の角度モード、角度が１３５度の角度モードというイントラ予測モードの１つ以上を除外することができる。
【0251】
予測段階での融合は、tmrl_fusion_flagの値に基づく必要がある。tmrl_fusion_flagが１の場合、選択されたイントラ予測モードと選択された参照ラインにより予測信号ｐａを生成し、選択されたイントラ予測モードと参照ラインｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ０により予測信号ｐｂを生成し、ｐａとｐｂを融合して最終的な予測信号を生成する。そうでなければ、ｐａを直接最終的な予測信号とする。
【0252】
本願の実施形態は、エンコーダーに適用されるビデオエンコーディング方法をさらに提供し、図１８に示すように、その方法は次の内容を含む。
ステップ１１１０において、現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストを構築する。候補リストには、現在のブロックのための、拡張参照ラインとイントラ予測モードの候補組み合わせが記入される。
ステップ１１２０において、レート歪み最適化を通じて、現在のブロックのために、参照ラインとイントラ予測モードの１つの組み合わせを選択する。
ステップ１１３０において、現在のブロックのＴＭＲＬモードのエンコーディング条件が満たされた場合、現在のブロックのＴＭＲＬモードフラグをエンコードすることで現在のブロックに対してＴＭＲＬモードを使用することを示し、現在のブロックのＴＭＲＬモードインデックスをエンコードすることで候補リストにおける選択された組み合わせの位置を示す。
ステップ１１４０において、現在のブロックのＴＭＲＬ融合フラグをエンコードして現在のブロックに対してイントラ予測融合（ＩＰＦ）が使用されるか否かを示す。
エンコーディング条件は、少なくとも、選択された組み合わせが候補リストにあることを含む。
ステップ１１１０において、現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストを構築する。候補リストには、現在のブロックのための、拡張参照ラインとイントラ予測モードの候補組み合わせが記入される。
ステップ１１２０において、レート歪み最適化を通じて、現在のブロックのために、参照ラインとイントラ予測モードの１つの組み合わせを選択する。
ステップ１１３０において、現在のブロックのＴＭＲＬモードのエンコーディング条件が満たされた場合、現在のブロックのＴＭＲＬモードフラグをエンコードすることで現在のブロックに対してＴＭＲＬモードを使用することを示し、現在のブロックのＴＭＲＬモードインデックスをエンコードすることで候補リストにおける選択された組み合わせの位置を示す。
ステップ１１４０において、現在のブロックのＴＭＲＬ融合フラグをエンコードして現在のブロックに対してイントラ予測融合（ＩＰＦ）が使用されるか否かを示す。
エンコーディング条件は、少なくとも、選択された組み合わせが候補リストにあることを含む。
【0253】
本実施形態のビデオエンコーディング方法のうち融合に関連しない部分は、ＴＭＲＬを用いるが、融合を行わないビデオエンコーディング方法の前述の実施形態と同じであってもよい。例えば、ステップ１１３０におけるエンコーディング条件の設定が同じであってもよい。
【0254】
本実施形態の一例では、現在のブロックのＴＭＲＬ融合フラグをエンコードして現在のブロックに対してイントラ予測融合（ＩＰＦ）が使用されるか否かを示すことは、現在のブロックに対して、候補リストにおける、角度モードを含む組み合わせが選択された場合、設定された制約条件のうちの少なくとも１つが成立するとき、現在のブロックのＴＭＲＬ融合フラグをエンコードしてＩＰＦが使用されないことを示し、設定された制約条件のすべてが成立しないとき、現在のブロックのＴＭＲＬ融合フラグをエンコードしてＩＰＦが使用されることを示すこと、を含む。
【0255】
設定された制約条件が、以下のいずれか１つ以上をさらに含み、即ち、
現在のブロックに対してＴＩＭＤ融合モードが選択されること、
現在のブロックに対してＤＩＭＤモードが選択されること、
現在のブロックに対して選択された参照ラインのインデックスがＫ以上であり、Ｋが３以上の整数であること、
現在のブロックの幅が設定値以下であること、
現在のブロックの高さが設定値以下であること、
現在のブロックの幅と高さの積が設定値以下であること、
現在のブロックに対してイントラサブパーティション分割（ＩＳＰ）モードが使用されること、
現在のブロックに対して選択された角度モードの角度が、－４５°、０°、４５°、９０°、１３５°のいずれか１つであり、または、現在のブロックに対して選択された角度モードが、整数傾きの角度モードであること、
現在のブロックが属する現在のフレームがインターフレームであること、
現在のブロックが属する現在の画像が色差画像であること、
という条件のいずれか１つ以上をさらに含む。
現在のブロックに対してＴＩＭＤ融合モードが選択されること、
現在のブロックに対してＤＩＭＤモードが選択されること、
現在のブロックに対して選択された参照ラインのインデックスがＫ以上であり、Ｋが３以上の整数であること、
現在のブロックの幅が設定値以下であること、
現在のブロックの高さが設定値以下であること、
現在のブロックの幅と高さの積が設定値以下であること、
現在のブロックに対してイントラサブパーティション分割（ＩＳＰ）モードが使用されること、
現在のブロックに対して選択された角度モードの角度が、－４５°、０°、４５°、９０°、１３５°のいずれか１つであり、または、現在のブロックに対して選択された角度モードが、整数傾きの角度モードであること、
現在のブロックが属する現在のフレームがインターフレームであること、
現在のブロックが属する現在の画像が色差画像であること、
という条件のいずれか１つ以上をさらに含む。
【0256】
本実施形態の一例では、現在のブロックのＴＭＲＬモードの候補リストを構築する際にして、組み合わせに参加するイントラ予測モードは、角度が－４５°、０°、４５°、９０°、１３５°である角度モードを含まない。
【0257】
エンコーディング側では、現在のブロックに対して、ＴＭＲＬモードの候補リスト内の組み合わせが選択され、且つＩＰＦが使用される場合、その組み合わせに基づいてＩＰＦを使用して現在のブロックを予測し、その組み合わせに基づく結果と、その組み合わせの中の角度モードと別の参照ラインに基づく予測結果とを重み付けし、現在のブロックの予測値を得る。ひいては、現在のブロックの再構成値を確定することができる。
【0258】
ＴＭＲＬに基づいてＩＰＦを使用するために、ＴＭＲＬの候補リストを構築する際に、拡張参照ラインと角度モードの組み合わせに基づいて得られる融合予測モードも候補リスト内の１つの組み合わせとすることができる。
【0259】
本願の一実施形態は、エンコーダーに適用することも、デコーダーに適用することもできる、マルチ参照ラインイントラ予測モードの候補リストの構築方法を提供する。図１４に示すように、この方法は次の内容を含む。
ステップ８１０において、現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個のオリジナルの組み合わせを取得する。
ステップ８２０において、Ｎ×Ｍ個のオリジナルの組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算する。
ステップ８３０において、誤差が最も小さいＫ個のオリジナルの組み合わせにおける、予め確定された角度モードを含むオリジナルの組み合わせの各々に対して、融合が必要であるか否かを確定し、融合が必要である場合、オリジナルの組み合わせに対応する融合組み合わせを現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに記入し、融合が必要ではない場合、オリジナルの組み合わせを候補リストに記入する。Ｋ、Ｎ、Ｍが設定された正の整数であり、１≦Ｋ≦Ｎ×Ｍが満たされた。
ステップ８１０において、現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個のオリジナルの組み合わせを取得する。
ステップ８２０において、Ｎ×Ｍ個のオリジナルの組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算する。
ステップ８３０において、誤差が最も小さいＫ個のオリジナルの組み合わせにおける、予め確定された角度モードを含むオリジナルの組み合わせの各々に対して、融合が必要であるか否かを確定し、融合が必要である場合、オリジナルの組み合わせに対応する融合組み合わせを現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに記入し、融合が必要ではない場合、オリジナルの組み合わせを候補リストに記入する。Ｋ、Ｎ、Ｍが設定された正の整数であり、１≦Ｋ≦Ｎ×Ｍが満たされた。
【0260】
本実施形態では、誤差が最も小さいＫ個のオリジナルの組み合わせにおける、予め確定された角度モードを含むオリジナルの組み合わせの各々に対して、融合が必要であるか否かを確定し、融合が必要である場合、オリジナルの組み合わせに対応する融合組み合わせを現在のブロックのＴＭＲＬモードの候補リストに記入することは、
オリジナルの組み合わせに対応する融合組み合わせに基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算し、オリジナルの組み合わせに対応する誤差が融合組み合わせに対応する誤差より大きい場合、融合が必要であると確定し、オリジナルの組み合わせに対応する誤差が融合組み合わせに対応する誤差以下である場合、融合が必要でないと確定すること、を含む。
融合組み合わせに基づいて、現在のブロックに対して予測を実行する場合、第１予測結果と第２予測結果の加重和を現在のブロックの予測値とし、第１予測結果は、オリジナルの組み合わせにおける拡張参照ラインと角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、第２予測結果は、オリジナルの組み合わせにおける角度モードと第２参照ラインに基づいて現在のブロックを予測することによって得られた予測結果であり、第２参照ラインは、第１参照ラインの隣接ラインまたはインデックスが０である参照ラインであり、
予め確定された角度モードはすべての角度モードを含み、または、整数傾きの角度モード以外の角度モードを含む。
オリジナルの組み合わせに対応する融合組み合わせに基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算し、オリジナルの組み合わせに対応する誤差が融合組み合わせに対応する誤差より大きい場合、融合が必要であると確定し、オリジナルの組み合わせに対応する誤差が融合組み合わせに対応する誤差以下である場合、融合が必要でないと確定すること、を含む。
融合組み合わせに基づいて、現在のブロックに対して予測を実行する場合、第１予測結果と第２予測結果の加重和を現在のブロックの予測値とし、第１予測結果は、オリジナルの組み合わせにおける拡張参照ラインと角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、第２予測結果は、オリジナルの組み合わせにおける角度モードと第２参照ラインに基づいて現在のブロックを予測することによって得られた予測結果であり、第２参照ラインは、第１参照ラインの隣接ラインまたはインデックスが０である参照ラインであり、
予め確定された角度モードはすべての角度モードを含み、または、整数傾きの角度モード以外の角度モードを含む。
【0261】
本実施形態の第１予測結果と第２予測結果の加重和は、上述の公式一または公式二に従って計算することができる。
【0262】
本実施形態では、融合を行わないモードをソートしてＫ個の組み合わせを選出して候補リストを構築する。次に、Ｋ個の組み合わせの各々にある参照ラインに対して融合する必要があるかどうかを逐一確定する。確定方法は、現在の選択された組み合わせにある参照ラインにより、融合モードと非融合モードで生成された予測信号と再構成信号の間の誤差の大きさに基づいて、融合モードを使用する場合の誤差がより小さければ、この組み合わせに対して融合を使用し、そうでなければ融合を使用しない、ということである。本実施形態では、（５×Ｍ＋Ｋ）個の組み合わせに基づいてテンプレート領域に対して予測と誤差値計算を行うだけでよい。
【0263】
本願の他の実施形態は、エンコーダーに適用することも、デコーダーに適用することもできる、マルチ参照ラインイントラ予測モードの候補リストの構築方法を提供する。図１５に示すように、この方法は次の内容を含む。
ステップ９１０において、現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個のオリジナルの組み合わせを取得する。
ステップ９２０において、Ｎ×Ｍ個のオリジナルの組み合わせに対して融合処理を実行する。融合処理は、予め確定された角度モードを含むオリジナルの組み合わせの各々に対して、設定条件が満たされた場合、オリジナルの組み合わせを対応する融合組み合わせに置き換えることを含む。
ステップ９３０において、融合処理を実行したＮ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算する。
ステップ９４０において、現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入する。
Ｋ、Ｎ、Ｍが設定された正の整数であり、１≦Ｋ≦Ｎ×Ｍが満たされ、
オリジナルの組み合わせに対応する融合組み合わせに基づいて、現在のブロックに対して予測を実行する場合、第１予測結果と第２予測結果の加重和を現在のブロックの予測値とし、第１予測結果は、オリジナルの組み合わせにおける拡張参照ラインと角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、第２予測結果は、オリジナルの組み合わせにおける角度モードと第２参照ラインに基づいて現在のブロックを予測することによって得られた予測結果であり、第２参照ラインは、第１参照ラインの隣接ラインまたはインデックスが０である参照ラインである。
ステップ９１０において、現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインとイントラ予測モードのＮ×Ｍ個のオリジナルの組み合わせを取得する。
ステップ９２０において、Ｎ×Ｍ個のオリジナルの組み合わせに対して融合処理を実行する。融合処理は、予め確定された角度モードを含むオリジナルの組み合わせの各々に対して、設定条件が満たされた場合、オリジナルの組み合わせを対応する融合組み合わせに置き換えることを含む。
ステップ９３０において、融合処理を実行したＮ×Ｍ個の組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算する。
ステップ９４０において、現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入する。
Ｋ、Ｎ、Ｍが設定された正の整数であり、１≦Ｋ≦Ｎ×Ｍが満たされ、
オリジナルの組み合わせに対応する融合組み合わせに基づいて、現在のブロックに対して予測を実行する場合、第１予測結果と第２予測結果の加重和を現在のブロックの予測値とし、第１予測結果は、オリジナルの組み合わせにおける拡張参照ラインと角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、第２予測結果は、オリジナルの組み合わせにおける角度モードと第２参照ラインに基づいて現在のブロックを予測することによって得られた予測結果であり、第２参照ラインは、第１参照ラインの隣接ラインまたはインデックスが０である参照ラインである。
【0264】
本実施形態の一例において、設定条件は、次の条件のいずれか１つ以上を含む。
現在のブロックのサイズがＮ×Ｍより大きく、ＮとＭは設定された正の整数であること。
現在のブロックに対して選択されたイントラ予測モードが、整数傾きの角度モードではないこと。
予め確定された角度モードはすべての角度モードを含み、または、整数傾きの角度モード以外の角度モードを含むこと。
現在のブロックのサイズがＮ×Ｍより大きく、ＮとＭは設定された正の整数であること。
現在のブロックに対して選択されたイントラ予測モードが、整数傾きの角度モードではないこと。
予め確定された角度モードはすべての角度モードを含み、または、整数傾きの角度モード以外の角度モードを含むこと。
【0265】
本実施形態の第１予測結果と第２予測結果の加重和は、上述の公式一または公式二に従って計算することができる。
【0266】
本実施形態では、テンプレート上の誤差コストの順番付けに基づいて、参照ラインのための融合モードと非融合モードを同時に順番付けする必要はない。次の条件の１つ以上が満たされた場合、隣接する参照ラインのための融合モードを使用して、テンプレートのための順番付けに参加させ、組み合わせ｛参照ライン，予測モード｝のリストを生成し、そうではない場合、融合モードを使用しない。条件は次の通りである。
現在のブロックのサイズがＮ×Ｍより大きいこと。
現在のイントラ予測モードがＰＬＡＮＡＲ、ＤＣ、水平角度、垂直角度、－４５度、４５度、１３５度の角度モードではないこと。
現在のブロックのサイズがＮ×Ｍより大きいこと。
現在のイントラ予測モードがＰＬＡＮＡＲ、ＤＣ、水平角度、垂直角度、－４５度、４５度、１３５度の角度モードではないこと。
【0267】
予測段階では、現在のブロックに対してＴＭＲＬを使用する場合、デコードして得られたｔｍｒｌ＿ｉｄｘと、テンプレートベースの順番付けを踏まえて生成された候補リストとに基づいて、選択された参照ラインと予測モードを確定し、同じ条件に基づいて、隣接する参照ラインを用いて、融合した予測結果を生成するかどうかを確定する。すなわち、以下の条件の１つ以上が満たされるときに、選択された角度モードに対してＩＰＦを行う。
現在のブロックのサイズがＮ×Ｍより大きいこと。
現在のイントラ予測モードがＰＬＡＮＡＲ、ＤＣ、水平角度、垂直角度、－４５度、４５度、１３５度の角度モードではないこと。
現在のブロックのサイズがＮ×Ｍより大きいこと。
現在のイントラ予測モードがＰＬＡＮＡＲ、ＤＣ、水平角度、垂直角度、－４５度、４５度、１３５度の角度モードではないこと。
【0268】
本願のさらに別の実施形態は、エンコーダーに適用されることも、デコーダーに適用されることもできる、マルチ参照ラインイントラ予測モードの候補リストの構築方法を提供し、図１６に示すように、この方法は次の内容を含む。
ステップ１０１０において、現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインと角度モードのＮ×Ｍ個のオリジナルの組み合わせを取得する。
ステップ１０２０において、Ｎ×Ｍ個のオリジナルの組み合わせのうちの、予め確定された角度モードを含むオリジナルの組み合わせに基づいて、対応する融合組み合わせを取得する。
ステップ１０３０において、Ｎ×Ｍ個のオリジナルの組み合わせと取得された融合組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算する。
ステップ１０４０において、現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入する。Ｋ、Ｎ、Ｍが設定された正の整数であり、１≦Ｋ≦Ｎ×Ｍが満たされた。
ステップ１０１０において、現在のブロックのＮ個の拡張参照ラインとＭ個のイントラ予測モードに基づいて、拡張参照ラインと角度モードのＮ×Ｍ個のオリジナルの組み合わせを取得する。
ステップ１０２０において、Ｎ×Ｍ個のオリジナルの組み合わせのうちの、予め確定された角度モードを含むオリジナルの組み合わせに基づいて、対応する融合組み合わせを取得する。
ステップ１０３０において、Ｎ×Ｍ個のオリジナルの組み合わせと取得された融合組み合わせの各々に基づいて現在のブロックのテンプレート領域を予測し、テンプレート領域の再構成値と予測によって得られた予測値との間の誤差を計算する。
ステップ１０４０において、現在のブロックのテンプレートベースのマルチ参照ラインイントラ予測（ＴＭＲＬ）モードの候補リストに、誤差の昇順で誤差に対応するＫ個の組み合わせを記入する。Ｋ、Ｎ、Ｍが設定された正の整数であり、１≦Ｋ≦Ｎ×Ｍが満たされた。
【0269】
本実施形態は、Ｎ×Ｍ個のオリジナルの組み合わせのうちの、予め確定された角度モードを含むオリジナルの組み合わせに基づいて、対応する融合組み合わせを取得することは、予め確定された角度モードを含むオリジナルの組み合わせの各々に基づいて、１つの融合組み合わせを取得することを含む。融合組み合わせに基づいて、現在のブロックに対して予測を実行する際、第１予測結果と第２予測結果の加重和を現在のブロックの予測値とする。第１予測結果は、オリジナルの組み合わせにおける拡張参照ラインと角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、第２予測結果は、第２参照ラインとオリジナルの組み合わせにおける角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、第２参照ラインは、第１参照ラインの隣接ラインまたはインデックスが０である参照ラインである。予め確定された角度モードはすべての角度モードを含み、または、整数傾きの角度モード以外の角度モードを含む。
【0270】
本実施形態では、組み合わせに参加するイントラ予測モードがすべて角度モードである場合、５×Ｍ×２個の組み合わせに基づいてテンプレート領域上の予測と誤差値計算を行う必要がある。
【0271】
本実施形態の第１予測結果と第２予測結果の加重和は、上述の公式一または公式二に従って計算することができる。
【0272】
本願の上記実施形態では、組み合わせに参加する参照ラインはインデックスが｛１，３，５，７，１２｝の参照ラインであることを例示する。例えば、オリジナルの組み合わせは、インデックスが１である参照ラインと、ある角度モードとの組み合わせである場合、オリジナルの組み合わせに対応する融合組み合わせは、インデックスが１と２である２つの参照ラインとその角度モードとの組み合わせであることができる。この融合組み合わせに基づいて現在のブロックを予測する際に、インデックスが１である参照ラインとその角度モードとの予測結果、およびインデックスが２である参照ラインとその角度モードとの予測結果に重み付けを行って、現在のブロックの最終的な予測結果を得る。別の例では、第２参照ラインとして内側の隣接する参照ラインを選択し、そうなると、対応する融合組み合わせは、インデックスが０と１である２つの参照ラインとその角度モードの組み合わせであることができる。
【0273】
以上の実施形態に従ってＴＭＲＬモードの候補リストを構築する方法をビデオエンコーディング及びビデオデコーディングに適用する場合、現在のブロックに対して選択されたのは候補リスト内の融合組み合わせであれば、その融合組み合わせの予測方式に従って現在のブロックに対して融合予測を実行し、選択されたのは候補リスト内のオリジナルの組み合わせであれば、オリジナルの組み合わせの予測方式に従って現在のブロックを予測し、ＩＰＦを使用しない。
【0274】
本願の一実施形態は、本願のいずれかの実施形態に記載のビデオエンコーディング方法によって生成されるビットストリームをさらに提供する。
【0275】
また、本願の一実施形態は、マルチ参照ラインイントラ予測モードの候補リストの構築装置をさらに提供する。図１７に示すように、マルチ参照ラインイントラ予測モードの候補リストの構築装置は、プロセッサ７１と、コンピュータプログラムを記憶したメモリ７３とを備える。プロセッサ７１がコンピュータプログラムを実行すると、本明細書のいずれか１つの実施形態に記載のマルチ参照ラインイントラ予測モードの候補リストの構築方法を実現することができる。
【0276】
本願の一実施形態は、イントラ予測融合装置をさらに提供する。イントラ予測融合装置は、プロセッサと、コンピュータプログラムを記憶したメモリとを含む。プロセッサがコンピュータプログラムを実行すると、本願のいずれか１つの実施形態に記載のイントラ予測融合方法を実現することができる。
【0277】
本願の一実施形態は、ビデオデコーディング装置をさらに提供する。ビデオデコーディング装置は、プロセッサと、コンピュータプログラムを記憶したメモリとを備える。プロセッサがコンピュータプログラムを実行すると、本願のいずれか１つの実施形態に記載のビデオデコーディング方法を実現することができる。
【0278】
本願の一実施形態は、ビデオエンコーディング装置をさらに提供する。ビデオエンコーディング装置は、プロセッサと、コンピュータプログラムを記憶したメモリとを備える。プロセッサがコンピュータプログラムを実行すると、本願のいずれか１つの実施形態に記載のビデオエンコーディング方法を実現することができる。
【0279】
本願の一実施形態は、ビデオコーディングシステムをさらに提供する。ビデオコーディングシステムは、本願のいずれか１つの実施形態に記載のビデオエンコーディング装置と、本願のいずれか１つの実施形態に記載のビデオデコーディング装置を含む。
【0280】
本願の一実施形態は、非一時的なコンピュータ可読記憶媒体をさらに提供する。コンピュータ可読記憶媒体はコンピュータプログラムを記憶しており、コンピュータプログラムは、プロセッサによって実行されると、本願のいずれか１つの実施形態に記載のイントラ予測融合方法を実現することができ、または、本願のいずれか１つの実施形態に記載のマルチ参照ラインイントラ予測モードの候補リストの構築方法を実現することができ、又は本願のいずれか１つの実施形態に記載のビデオデコーディング方法を実現することができ、又は本願のいずれか１つの実施形態に記載のビデオエンコーディング方法を実現することができる。
【0281】
本願の上記実施形態のプロセッサは、中央処理装置（ＣＰＵ）、ネットワークプロセッサ（Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｏｒ、ＮＰ）、マイクロプロセッサなどを含む汎用プロセッサであることができ、又は他の通常のプロセッサなどであることができる。プロセッサは、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラム可能なゲートアレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）、ディスクリートロジック又は他のプログラム可能なロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントであることもでき、又は他の等価に集積された又はディスクリート論理回路であることもでき、上記コンポーネントの組み合わせであることもできる。即ち、上記実施形態のプロセッサは、本発明の実施形態に開示された様々な方法、ステップ及び論理ブロック図を実現する任意の処理コンポネント又はコンポネントの組み合わせであることができる。本願の実施形態が部分的にソフトウェアで実施される場合、ソフトウェアに用いられる命令が適切な不揮発性コンピュータ可読記憶媒体に記憶されることができ、１つ又は複数のプロセッサにより、ハードウェアで命令を実行することで本願の実施形態の方法を実施することができる。本明細書で使用する「プロセッサ」という用語は、上述した構造、又は本明細書で説明する技術を実施するのに適した任意の他の構造を指すことができる。
【0282】
上記１つ又は複数の例示的な実施形態において、説明される機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせによって実現されることができる。ソフトウェアによって実現される場合、機能は１つもしくは複数の命令又はコードとしてコンピュータ可読媒体に記憶され、又は、コンピュータ可読媒体を介して伝送されることができ、ハードウェアベースの処理ユニットによって実行される。コンピュータ可読媒体は、データ記憶媒体などの有形媒体であるコンピュータ可読媒体を含み、又は、コンピュータプログラムが例えば通信プロトコルに従ってあるところから別のところへ伝送されることを容易にする任意の通信媒体を含むことができる。このように、コンピュータ可読媒体は通常、非一時的な有形のコンピュータ可読記憶媒体、又は信号もしくはキャリアなどの通信媒体であることができる。データ記憶媒体は、本願に記載の技術を実施するための命令、コード、及び／又はデータ構造を検索するために、１つもしくは複数のコンピュータ又は１つもしくは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可読媒体を含むことができる。
【0283】
限定的ではない例として、このようなコンピュータ可読記憶媒体は、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）、読み取り専用メモリ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ、ＥＥＰＲＯＭ）、コンパクトディスク読み取り専用メモリ（ｃｏｍｐａｃｔ ｄｉｓｋ ＲＯＭ、ＣＤ－ＲＯＭ）又は他の光ディスク記憶装置、磁気ディスク記憶装置又は他の磁気記憶装置、フラッシュメモリ、又は、命令もしくはデータ構造の形態で所望のプログラムコードを記憶し且つコンピュータによってアクセス可能な他の任意の媒体を含むことができる。また、いかなる接続をコンピュータ可読記憶媒体と呼ぶことができ、例として、同軸ケーブル、光ファイバーケーブル、ツイストペアケーブル（ｔｗｉｓｔｅｄ－ｐａｉｒ ｃａｂｌｉｎｇ）、デジタル加入者線（ｄｉｇｉｔａｌ ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ、ＤＳＬ）、又は、赤外線、ラジオ、マイクロ波などの無線技術を利用して、ウェブサイト、サーバ又は他のリモートソースから命令を伝送する場合、同軸ケーブル、光ファイバーケーブル、ツイストペアケーブル、ＤＳＬ、又は、赤外線、ラジオ、マイクロ波などの無線技術は媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、キャリア、信号、又は他の一時的な（一過性の）媒体を含まず、非一時的な有形記憶媒体である。本明細書で使用されている磁気ディスク及び光ディスクは、コンパクトディスク（ＣＤ）、レーザーディスク、光ディスク、デジタル多用途ディスク（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ、ＤＶＤ）、フロッピーディスク、又はブルーレイディスクなどを含み、磁気ディスクは通常、磁気的にデータを再生し、光ディスクはレーザーを使用して光学的にデータを再生する。上記の組み合わせも、コンピュータ可読媒体の範囲内に含まれるべきである。
【0284】
いくつかの態様において、本明細書で説明する機能は、エンコーディング及びデコーディングに用いられるように構成された専用のハードウェア及び／又はソフトウェアモジュール内に提供されることができ、または、集積エンコーダー・デコーダーに組み込まれることもできる。また、本明細書で説明する技術は、１つもしくは複数の回路又は論理素子に完全に実現されることができる。
【0285】
本願の実施形態の技術案は、無線携帯電話、集積回路（ＩＣ）、又は１セットのＩＣ（例えば、チップセット）を含む様々な装置又は機器に実施され得る。本願の実施形態では、様々なコンポーネント、モジュール、又はユニットを用いて、説明した技術を実行するように構成されたデバイスの機能を強調する。必ずしも異なるハードウェアユニットによって実現されるとは限らない。上述したように、様々なユニットは、エンコーダーとデコーダーというハードウェアユニットにおいて組み合わせられてもよく、相互運用可能なハードウェアユニット（上述した１つ又は複数のプロセッサを含む）の集合体と適切なソフトウェア及び／又はファームウェアとの組み合わせで提供されてもよい。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
【請求項2】
前記制約条件は、モード数制約条件を含み、前記モード数制約条件は、ＩＰＦの使用により、現在のブロックを予測するにはＭ個以上の角度モードを融合する必要があり、Ｍは２以上である整数であるということである、ことを特徴とする請求項１に記載のイントラ予測融合方法。
【請求項3】
Ｍが２であるとき、前記した、現在のブロックに対して選択されたイントラ予測モードが角度モードを含む場合、現在のブロックに対してＩＰＦを使用する制約条件が成立するか否かを確定し、前記制約条件のうちの少なくとも１つが成立する場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を制約することは、現在のブロックに対してＴＩＭＤ融合モードが選択され、且つ２つの角度モードがＴＩＭＤ融合に用いられる場合、前記モード数制約条件が成立すると確定し、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を許可しないことと、
現在のブロックに対してＴＩＭＤ融合モードが選択されたとともに、ＴＩＭＤ融合に用いられる２つのイントラ予測モードのうちの１つのみが、角度モードであり且つ前記角度モードがＩＰＦの使用条件を満たす場合、前記モード数制約条件が成立しないと確定し、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用条件を満たす前記角度モードに対してＩＰＦを実行することを許可することと、
を含む、
ことを特徴とする請求項２に記載のイントラ予測融合方法。
【請求項4】
前記制約条件は、以下のいずれか１つ以上を含み、即ち、制約条件１：現在のブロックに対してＴＩＭＤ融合モードが選択されること、
制約条件２：現在のブロックに対してＤＩＭＤ融合モードが選択されること、
制約条件３：現在のブロックに対してマルチ参照ライン（ｍｕｌｔｉｐｌｅ ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ、ＭＲＬ）が使用されること、
制約条件４：現在のブロックに対して選択された参照ラインのインデックスがＫ以上であり、Ｋが３以上の整数であること、
制約条件５：現在のブロックの幅が設定値以下であること、
制約条件６：現在のブロックの高さが設定値以下であること、
制約条件７：現在のブロックの幅と高さの積が設定値以下であること、
制約条件８：現在のブロックに対してイントラサブパーティション分割（ｉｎｔｒａ ｓｕｂ－ｐａｒｔｉｔｉｏｎｓ、ＩＳＰ）モードが使用されること、
制約条件９：現在のブロックに対して選択された角度モードの角度が、－４５°、０°、４５°、９０°、１３５°のいずれか１つであり、または、現在のブロックに対して選択された角度モードが、整数傾きの角度モードであること、
制約条件１０：現在のブロックが属する現在のフレームが、インターフレームであること、
制約条件１１：現在のブロックが属する現在の画像が、輝度画像ではないこと、
という条件のいずれか１つ以上を含み、
前記制約条件１～制約条件１１のうちの少なくとも１つが成立する場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を許可しない、
ことを特徴とする請求項１に記載のイントラ予測融合方法。
【請求項5】
前記制約条件は、制約条件４を含み、Ｋが３、または５、または７、または１２である、ことを特徴とする請求項４に記載のイントラ予測融合方法。
【請求項6】
前記イントラ予測融合方法は、前記制約条件のすべてが成立しない場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用することをさらに含み、前記した、現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用することは、前記現在のブロックに対して選択されたイントラ予測モードが、１つのみであり且つ角度モードである場合、第１予測結果と第２予測結果の加重和を現在のブロックの最終的な予測結果とすることを含み、
前記第１予測結果は、現在のブロックに対して選択された第１参照ラインと現在のブロックに対して選択された第１角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、前記第２予測結果は、第２参照ラインと前記第１角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、前記第２参照ラインは、前記第１参照ラインの隣接ラインまたはインデックスが０である参照ラインである、
ことを特徴とする請求項１に記載のイントラ予測融合方法。
【請求項7】
前記イントラ予測融合方法は、前記制約条件のすべてが成立しない場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用することをさらに含み、前記した、現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用することは、前記現在のブロックに対して選択されたイントラ予測モードが融合モードである場合、３つ以上の予測結果の加重和を現在のブロックの最終的な予測結果とすることを含み、
前記３つ以上の予測結果は、現在のブロックに対して選択された第１参照ラインと前記融合モードにおけるイントラ予測モードの各々に基づいて、現在のブロックを予測することによって得られた複数の予測結果と、前記融合モードにおけるＩＰＦが許可される１つまたは複数の角度モードと第２参照ラインに基づいて、現在のブロックを予測することによって得られた１つまたは複数の予測結果とを含み、
前記第２参照ラインは、前記第１参照ラインの隣接ラインまたはインデックスが０である参照ラインである、
ことを特徴とする請求項１に記載のイントラ予測融合方法。
【請求項8】
前記第１参照ラインのインデックスがＫ以上である場合、前記第２参照ラインは、前記第１参照ラインに隣接し、且つ前記第１参照ラインより現在のブロックに近く、Ｋは１以上の整数である、ことを特徴とする請求項６または７に記載のイントラ予測融合方法。
【請求項9】
前記第１予測結果と前記第２予測結果の加重和を算出する際、前記第１予測結果に与えられる重みは、前記第２予測結果に与えられる重みより大きい、ことを特徴とする請求項６または７に記載のイントラ予測融合方法。
【請求項10】
前記した、現在のブロックに対して選択されたイントラ予測モードが角度モードを含む場合、現在のブロックに対してイントラ予測融合（ＩＰＦ）を使用する制約条件が成立するか否かを確定し、前記制約条件のすべてが成立しない場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用することは、現在のブロックに対してテンプレートベースのマルチ参照ラインイントラ予測（ｔｅｍｐｌａｔｅ－ｂａｓｅｄ ｍｕｌｔｉｐｌｅ ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ＆ ｉｎｔｒａ＿ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＴＭＲＬ）モードの候補リストにおける１つの拡張参照ラインと１つの角度モードが選択され、且つ前記制約条件のすべてが成立しない場合、前記拡張参照ラインと前記角度モードに基づいて現在のブロックを予測した第１予測結果と、他の参照ラインと前記角度モードに基づいて現在のブロックを予測した第２予測結果とを計算し、前記第１予測結果と前記第２予測結果の加重和を現在のブロックの最終的な予測結果とすることを含み、
前記他の参照ラインは、インデックスが０である参照ラインまたは前記拡張参照ラインの隣接ラインである、
ことを特徴とする請求項６に記載のイントラ予測融合方法。
【請求項11】
【請求項12】
前記制約条件は、以下のいずれか１つ以上を含み、即ち、
制約条件１：現在のブロックに対してＴＩＭＤ融合モードが選択されること、
制約条件２：現在のブロックに対してＤＩＭＤ融合モードが選択されること、
制約条件３：現在のブロックに対してマルチ参照ライン（ｍｕｌｔｉｐｌｅ ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ、ＭＲＬ）が使用されること、
制約条件４：現在のブロックに対して選択された参照ラインのインデックスがＫ以上であり、Ｋが３以上の整数であること、
制約条件５：現在のブロックの幅が設定値以下であること、
制約条件６：現在のブロックの高さが設定値以下であること、
制約条件７：現在のブロックの幅と高さの積が設定値以下であること、
制約条件８：現在のブロックに対してイントラサブパーティション分割（ｉｎｔｒａ ｓｕｂ－ｐａｒｔｉｔｉｏｎｓ、ＩＳＰ）モードが使用されること、
制約条件９：現在のブロックに対して選択された角度モードの角度が、－４５°、０°、４５°、９０°、１３５°のいずれか１つであり、または、現在のブロックに対して選択された角度モードが、整数傾きの角度モードであること、
制約条件１０：現在のブロックが属する現在のフレームが、インターフレームであること、
制約条件１１：現在のブロックが属する現在の画像が、輝度画像ではないこと、
という条件のいずれか１つ以上を含み、
前記制約条件１～制約条件１１のうちの少なくとも１つが成立する場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦの使用を許可しない、
ことを特徴とする請求項１１に記載のイントラ予測融合方法。
【請求項13】
前記イントラ予測融合方法は、前記制約条件のすべてが成立しない場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用することをさらに含み、
前記した、現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用することは、前記現在のブロックに対して選択されたイントラ予測モードが、１つのみであり且つ角度モードである場合、第１予測結果と第２予測結果の加重和を現在のブロックの最終的な予測結果とすることを含み、
前記第１予測結果は、現在のブロックに対して選択された第１参照ラインと現在のブロックに対して選択された第１角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、前記第２予測結果は、第２参照ラインと前記第１角度モードに基づいて現在のブロックを予測することによって得られた予測結果であり、前記第２参照ラインは、前記第１参照ラインの隣接ラインまたはインデックスが０である参照ラインである、
ことを特徴とする請求項１１に記載のイントラ予測融合方法。
【請求項14】
前記した、現在のブロックに対して選択されたイントラ予測モードが角度モードを含む場合、現在のブロックに対してイントラ予測融合（ＩＰＦ）を使用する制約条件が成立するか否かを確定し、前記制約条件のすべてが成立しない場合、現在のブロックに対してイントラ予測を実行する際にＩＰＦを使用することは、
現在のブロックに対してテンプレートベースのマルチ参照ラインイントラ予測（ｔｅｍｐｌａｔｅ－ｂａｓｅｄ ｍｕｌｔｉｐｌｅ ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ＆ ｉｎｔｒａ＿ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＴＭＲＬ）モードの候補リストにおける１つの拡張参照ラインと１つの角度モードが選択され、且つ前記制約条件のすべてが成立しない場合、前記拡張参照ラインと前記角度モードに基づいて現在のブロックを予測した第１予測結果と、他の参照ラインと前記角度モードに基づいて現在のブロックを予測した第２予測結果とを計算し、前記第１予測結果と前記第２予測結果の加重和を現在のブロックの最終的な予測結果とすることを含み、
前記他の参照ラインは、インデックスが０である参照ラインまたは前記拡張参照ラインの隣接ラインである、
ことを特徴とする請求項１３に記載のイントラ予測融合方法。
【請求項15】
ビットストリームを記憶した非一時的なコンピュータ可読記憶媒体であって、前記ビットストリームは請求項１１～１４のいずれか一項に記載のビデオエンコーディング方法により生成される、
ことを特徴とする非一時的なコンピュータ可読記憶媒体。
【国際調査報告】