知財求人 - 知財ポータルサイト「IP Force」
特表2025-505209ビデオ復号化の方法及び装置、並びにビデオ符号化の方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-02-21
(54)【発明の名称】ビデオ復号化の方法及び装置、並びにビデオ符号化の方法
(51)【国際特許分類】
H04N 19/11 20140101AFI20250214BHJP
H04N 19/174 20140101ALI20250214BHJP
H04N 19/157 20140101ALI20250214BHJP
【ＦＩ】
H04N19/11
H04N19/174
H04N19/157
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024547009
(86)(22)【出願日】2023-06-13
(85)【翻訳文提出日】2024-08-07
(86)【国際出願番号】 US2023068358
(87)【国際公開番号】W WO2024015667
(87)【国際公開日】2024-01-18
(31)【優先権主張番号】63/388,909
(32)【優先日】2022-07-13
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】18/207,587
(32)【優先日】2023-06-08
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】110004381
【氏名又は名称】弁理士法人ＩＴＯＨ
(72)【発明者】
【氏名】ジャオ，シン
(72)【発明者】
【氏名】リー，グイチュン
(72)【発明者】
【氏名】チェン，リエン－フェイ
(72)【発明者】
【氏名】リウ，シャン
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159MA04
5C159MA05
5C159MA19
5C159MA21
5C159MC11
5C159ME01
5C159NN10
5C159NN21
5C159PP04
5C159RC11
5C159TA33
5C159TB08
5C159TB09
5C159TC42
5C159TC43
5C159UA02
5C159UA05
(57)【要約】
処理回路は、ＴＭＲＬモードでコーディングされているピクチャ内の現在コーディングブロックを含むビデオビットストリームを受信する。処理回路は、現在コーディングブロックのための参照ライン及びイントラ予測モードの組み合わせを決定する。組み合わせの中の第１組み合わせは第１参照ライン及び第１イントラ予測モードを含む。第１組み合わせについて、処理回路は、第１参照ライン及び第１イントラ予測モードに基づき、現在コーディングブロックのテンプレートのエントリに夫々関連したテンプレートエントリデルタ値を計算し、テンプレートエントリデルタ値の不等な重み付けによって第１テンプレートマッチングコスト値を計算する。処理回路は、組み合わせに夫々関連したテンプレートマッチングコスト値に従って組み合わせをソートし、ソートされた組み合わせから特定の組み合わせを選択し、特定の組み合わせに従って現在コーディングブロックを再構成する。
【特許請求の範囲】
【請求項1】
ビデオデコーダが実行するビデオ復号化の方法であって、ピクチャ内の現在コーディングブロックを含むビデオビットストリームを受信するステップと、
前記現在コーディングブロックがテンプレートベース複数参照ラインイントラ予測（ＴＭＲＬ）モードでコーディングされていることを決定するステップと、
前記現在コーディングブロックのイントラ予測のための参照ライン及びイントラ予測モードの組み合わせを決定するステップであり、前記組み合わせの中の第１組み合わせは、前記参照ラインの中の第１参照ラインと、前記イントラ予測モードの中の第１イントラ予測モードとを含み、前記第１参照ラインは非隣接参照ラインである、ステップと、
前記第１組み合わせについて、前記第１参照ライン及び前記第１イントラ予測モードに基づき、前記現在コーディングブロックのテンプレートのエントリに夫々関連したテンプレートエントリデルタ値を計算するステップであり、前記現在コーディングブロックの前記テンプレートは隣接参照ライン内にある、ステップと、
前記テンプレートエントリデルタ値の不等な重み付けによって、前記第１組み合わせに関連した第１テンプレートマッチングコスト値を計算するステップと、
前記組み合わせに夫々関連したテンプレートマッチングコスト値に従って前記参照ライン及び前記イントラ予測モードの前記組み合わせを順序付けるステップであり、前記組み合わせに関連した前記テンプレートマッチングコスト値は、前記第１組み合わせに関連した前記第１テンプレートマッチングコスト値を含む、ステップと、
前記順序付けられた組み合わせから特定の組み合わせを選択するステップと、
前記特定の組み合わせに従って前記現在コーディングブロックを再構成するステップと
を有する方法。
【請求項2】
前記現在コーディングブロックの前記テンプレートは、前記エントリとして前記現在コーディングブロックへの近接サンプルを含み、当該方法は、前記第１イントラ予測モードに基づき前記現在コーディングブロックの前記テンプレートに対応する前記第１参照ライン内の参照テンプレートを決定するステップを有し、前記参照テンプレートは、前記テンプレートの前記エントリに夫々対応する参照エントリを含む、
請求項１に記載の方法。
【請求項3】
前記テンプレートの前記エントリの中の第１エントリと前記参照テンプレートの前記参照エントリの中の第１参照エントリとの間の差として第１テンプレートエントリデルタ値を計算するステップであり、前記第１参照エントリは前記第１エントリに対応する、ステップと、少なくとも前記第１エントリ及び前記第１参照エントリに基づき、前記第１テンプレートエントリデルタ値を重み付けする重みを決定するステップと
を更に有する、請求項２に記載の方法。
【請求項4】
前記第１エントリと、前記第１参照エントリと、前記第１参照エントリの１つ以上の隣接参照エントリとに基づき、前記第１テンプレートエントリデルタ値を重み付けする前記重みを決定するステップを更に有する、請求項３に記載の方法。
【請求項5】
前記第１テンプレートエントリデルタ値と、前記テンプレートの隣接エントリに関連した１つ以上のテンプレートエントリデルタ値とに基づき、前記第１テンプレートエントリデルタ値を重み付けする前記重みを決定するステップを更に有する、請求項３に記載の方法。
【請求項6】
少なくとも、前記第１エントリでの第１勾配値及び／又は前記第１参照エントリでの第２勾配値に基づき、前記第１テンプレートエントリデルタ値を重み付けする前記重みを決定するステップを更に有する、請求項３に記載の方法。
【請求項7】
前記テンプレートの一部に基づき、前記第１組み合わせに関連した前記第１テンプレートマッチングコスト値を計算するステップを更に有する、請求項２に記載の方法。
【請求項8】
前記現在コーディングブロックの上近接サンプルを含む上部テンプレートに基づき、前記第１テンプレートマッチングコスト値を計算するステップを更に有する、請求項７に記載の方法。
【請求項9】
前記現在コーディングブロックの左近接サンプルを含む左部テンプレートに基づき、前記第１テンプレートマッチングコスト値を計算するステップを更に有する、請求項７に記載の方法。
【請求項10】
前記テンプレートマッチングコスト値の事前定義された範囲に基づき前記組み合わせのうちのサブセットを決定するステップと、前記組み合わせのうちの前記サブセットから前記特定の組み合わせを選択するステップと
を更に有する、請求項１に記載の方法。
【請求項11】
前記事前定義された範囲内の第１テンプレートマッチングコスト値を有する前記組み合わせのうちの第１サブセットを選択するステップと、前記組み合わせのうちの前記第１サブセット内の第１組み合わせ数が、利用可能な組み合わせの数要件を指定する特定の数よりも少ないことに応答して、前記事前定義された範囲外の第２テンプレートマッチングコスト値を有する１つ以上の第２組み合わせを選択するステップであり、前記第１サブセット及び前記１つ以上の第２組み合わせが前記組み合わせのうちの前記サブセットを形成し、前記サブセット内の組み合わせ数は前記特定の数に等しい、ステップと
を更に有する、請求項１０に記載の方法。
【請求項12】
前記事前定義された範囲内の第１テンプレートマッチングコスト値を有する前記組み合わせのうちの第１サブセットを選択するステップと、前記組み合わせのうちの前記第１サブセット内の第１組み合わせ数が、利用可能な組み合わせの数要件を指定する特定の数よりも多いことに応答して、前記組み合わせのうちの前記第１サブセットから、前記組み合わせのうちの前記サブセットを選択するステップであり、前記サブセット内の組み合わせ数は前記特定の数に等しい、ステップと
を更に有する、請求項１０に記載の方法。
【請求項13】
前記組み合わせのうちの前記サブセットを選択するステップは、最も低いテンプレートマッチングコスト値を有する前記組み合わせのうちの前記サブセットを選択するステップを更に有する、
請求項１２に記載の方法。
【請求項14】
前記組み合わせのうちの前記サブセットを選択するステップは、前記テンプレートに対する最も近い参照ラインを有する前記組み合わせのうちの前記サブセットを選択するステップを更に有する、
請求項１２に記載の方法。
【請求項15】
前記テンプレートは第２参照ライン内にあり、当該方法は、前記テンプレートのエントリの投影点が前記第１参照ライン内の２つのサンプル間の分数位置にあることを決定するステップと、
少なくとも前記２つのサンプルに基づいた補間に従って、前記テンプレートの前記エントリに関連した参照エントリを生成するステップと
を更に有する、請求項１に記載の方法。
【請求項16】
前記特定の組み合わせを選択するステップは、ビットストリームにおいて符号化されている前記ピクチャとともに前記ビットストリームからインデックスを復号するステップを更に有し、前記インデックスは、前記順序付けられた組み合わせからの前記特定の組み合わせを示す、
請求項１に記載の方法。
【請求項17】
処理回路を有し、前記処理回路は、ソフトウェア命令を実行するよう構成され、該ソフトウェア命令は、前記処理回路によって実行される場合に、前記処理回路に、請求項１乃至１６のうちいずれか一項に記載の方法を実行させる、装置。
【請求項18】
ビデオエンコーダが実行するビデオ符号化の方法であって、ピクチャ内の現在コーディングブロックのイントラ予測のための参照ライン及びイントラ予測モードの組み合わせを決定するステップであり、前記組み合わせの中の第１組み合わせは、前記参照ラインの中の第１参照ラインと、前記イントラ予測モードの中の第１イントラ予測モードとを含み、前記第１参照ラインは非隣接参照ラインである、ステップと、
前記第１組み合わせについて、前記第１参照ライン及び前記第１イントラ予測モードに基づき、前記現在コーディングブロックのテンプレートのエントリに夫々関連したテンプレートエントリデルタ値を計算するステップであり、前記現在コーディングブロックの前記テンプレートは隣接参照ライン内にある、ステップと、
前記テンプレートエントリデルタ値の不等な重み付けによって、前記第１組み合わせに関連した第１テンプレートマッチングコスト値を計算するステップと、
前記組み合わせに夫々関連したテンプレートマッチングコスト値に従って前記参照ライン及び前記イントラ予測モードの前記組み合わせをソートするステップであり、前記組み合わせに関連した前記テンプレートマッチングコスト値は、前記第１組み合わせに関連した前記第１テンプレートマッチングコスト値を含む、ステップと、
前記ソートされた組み合わせから特定の組み合わせを選択するステップと、
前記特定の組み合わせを示す信号を、前記ピクチャの符号化された情報を運ぶビットストリームに符号化するステップと
を有する方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ビデオコーディングに概して関係がある実施形態について記載する。
【背景技術】
【0002】
本明細書中で与えられている背景の説明は、本開示の背景を一般的に提示することを目的とするものである。現在指名されている発明者の研究は、その研究がこの背景の項で説明されている範囲で、及び出願時に先行技術としてさもなければ適格でない可能性がある説明の側面は、本開示に対する先行技術として明示的にも暗黙的にも認められない。
【0003】
画像／映像圧縮は、最低限の品質低下で、異なるデバイス、記憶装置及びネットワーク間で画像／映像ファイルを伝送するのを助けることができる。いくつかの例で、ビデオコーデック技術は、空間的及び時間的な冗長性に基づいてビデオ圧縮することができる。例において、ビデオコーデックは、空間的な冗長性に基づき画像を圧縮することができるイントラ予測と呼ばれる技術を使用することができる。例えば、イントラ予測は、サンプル予測のために、再構成中の現在ピクチャから参照データを使用することができる。他の例では、ビデオコーデックは、時間的な冗長性に基づき画像を圧縮することができるインター予測と呼ばれる技術を使用することができる。例えば、インター予測は、動き補償により、前に再構成されたピクチャから現在ピクチャ内のサンプルを予測することができる。動き補償は、一般的に、動きベクトル（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ，ＭＶ）によって示される。
【発明の概要】
【0004】
本開示の態様は、ビデオ符号化／復号化のための方法及び装置を提供する。いくつかの例で、ビデオ復号化のための装置は受信回路及び処理回路を含む。処理回路は、ピクチャ内の現在コーディングブロックを含むビデオビットストリームを受信し、現在コーディングブロックがテンプレートベース複数参照ラインイントラ予測（Ｔｅｍｐｌａｔｅ－ｂａｓｅｄ Ｍｕｌｔｉｐｌｅ Ｒｅｆｅｒｅｎｃｅ Ｌｉｎｅ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ，ＴＭＲＬ）モードでコーディングされていることを決定する。処理回路は、ピクチャ内の現在コーディングブロックのイントラ予測のための参照ライン及びイントラ予測モードの組み合わせを決定する。前記組み合わせの中の第１組み合わせは、前記参照ラインの中の第１参照ラインと、前記イントラ予測モードの中の第１イントラ予測モードとを含む。第１参照ラインは非隣接（non-adjacent）参照ラインである。第１組み合わせについて、処理回路は、第１参照ライン及び第１イントラ予測モードに基づき、現在コーディングブロックのテンプレートのエントリに夫々関連したテンプレートエントリデルタ値を計算し、テンプレートエントリデルタ値の不等な重み付けによって、第１組み合わせに関連した第１テンプレートマッチングコスト値を計算する。現在コーディングブロックのテンプレートは隣接参照ライン内にある。処理回路は、前記組み合わせに夫々関連したテンプレートマッチングコスト値に従って、参照ライン及びイントラ予測モードの前記組み合わせをソートする。組み合わせに関連したテンプレートマッチングコスト値は、第１組み合わせに関連した第１テンプレートマッチングコスト値を含む。処理回路は、ソートされた組み合わせから特定の組み合わせを選択し、特定の組み合わせに従って現在コーディングブロックを再構成する。
【0005】
いくつかの例で、現在コーディングブロックのテンプレートは、エントリとして現在コーディングブロックへの近接サンプルを含み、処理回路は、第１イントラ予測モードに基づき現在コーディングブロックのテンプレートに対応する第１参照ライン内の参照テンプレートを決定し、参照テンプレートは、前記テンプレートのエントリに夫々対応する参照エントリを含む。
【0006】
更に、いくつかの例で、処理回路は、前記テンプレートのエントリの中の第１エントリと前記参照テンプレートの参照エントリの中の第１参照エントリとの間の差として第１テンプレートエントリデルタ値を計算し、第１参照エントリは第１エントリに対応する。処理回路は、少なくとも第１エントリ及び第１参照エントリに基づき、第１テンプレートエントリデルタ値を重み付けする重みを決定する。
【0007】
いくつかの例で、処理回路は、第１エントリと、第１参照エントリと、第１参照エントリの１つ以上の隣接参照エントリとに基づき、第１テンプレートエントリデルタ値を重み付けする重みを決定する。
【0008】
いくつかの例で、処理回路は、第１テンプレートエントリデルタ値と、前記テンプレートの隣接エントリに関連した１つ以上のテンプレートエントリデルタ値とに基づき、第１テンプレートエントリデルタ値を重み付けする重みを決定する。
【0009】
いくつかの例で、処理回路は、少なくとも第１エントリでの第１勾配値及び／又は第１参照エントリでの第２勾配値に基づき、第１テンプレートエントリデルタ値を重み付けする重みを決定する。
【0010】
いくつかの例で、処理回路は、テンプレートの一部に基づき、第１組み合わせに関連した第１テンプレートマッチングコスト値を計算する。
【0011】
例において、処理回路は、現在コーディングブロックの上近接サンプルを含む上部テンプレートに基づき、第１テンプレートマッチングコスト値を計算する。
【0012】
例において、処理回路は、現在コーディングブロックの左近接サンプルを含む左部テンプレートに基づき、第１テンプレートマッチングコスト値を計算する。
【0013】
いくつかの例で、処理回路は、テンプレートマッチングコスト値の事前定義された範囲に基づき前記組み合わせのうちのサブセットを決定し、前記組み合わせのうちの前記サブセットから特定の組み合わせを選択する。
【0014】
例において、処理回路は、事前定義された範囲内の第１テンプレートマッチングコスト値を有する前記組み合わせのうちの第１サブセットを選択し、前記組み合わせのうちの前記第１サブセット内の第１組み合わせ数が、利用可能な組み合わせの数要件を指定する特定の数よりも少ないことに応答して、事前定義された範囲外の第２テンプレートマッチングコスト値を有する１つ以上の第２組み合わせを選択し、第１サブセット及び１つ以上の第２組み合わせが前記組み合わせのうちの前記サブセットを形成し、前記サブセット内の組み合わせ数は特定の数に等しい。
【0015】
他の例では、処理回路は、事前定義された範囲内の第１テンプレートマッチングコスト値を有する前記組み合わせのうちの第１サブセットを選択し、前記組み合わせのうちの前記第１サブセット内の第１組み合わせ数が、利用可能な組み合わせの数要件を指定する特定の数よりも多いことに応答して、前記組み合わせのうちの第１サブセットから、前記組み合わせのうちの前記サブセットを選択し、前記サブセット内の組み合わせ数は特定の数に等しい。例えば、処理回路は、最も低いテンプレートマッチングコスト値を有する前記組み合わせのうちの前記サブセットを選択するか、あるいは、前記テンプレートに対する最も近い参照ラインを有する前記組み合わせのうちの前記サブセットを選択する。
【0016】
いくつかの例で、前記テンプレートは第２参照ライン内にあり、処理回路は、前記テンプレートのエントリの投影点が第１参照ライン内の２つのサンプル間の分数位置にあることを決定し、少なくとも前記２つのサンプルに基づいた補間に従って、前記テンプレートのエントリに関連した参照エントリを生成する。
【0017】
いくつかの例で、特定の組み合わせを選択するために、処理回路は、ビットストリームにおいて符号化されている前記ピクチャとともに前記ビットストリームからインデックスを復号し、インデックスは、前記ソートされた組み合わせからの前記特定の組み合わせを示す。
【0018】
開示の態様は、ビデオ復号化のためにコンピュータによって実行される場合に、コンピュータに、ビデオ復号化の方法を実行させる命令を記憶している非一時的なコンピュータ可読媒体も提供する。
【0019】
開示されている対象の更なる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付の図面からより明らかになる。
【図面の簡単な説明】
【0020】
【図1】通信システム（１００）の例示的なブロック図の概略図である。
【図2】デコーダの例示的なブロック図の概略図である。
【図3】エンコーダの例示的なブロック図の概略図である。
【図4】いくつかの例におけるイントラ予測モードの図を示す。
【図5】いくつかの例におけるイントラ予測モードの図を示す。
【図6】いくつかの例における、最確モードリストを生成する擬似コードを示す。
【図7】いくつかの例における複数参照ラインの図を示す。
【図8】いくつかの例におけるテンプレートベース複数参照ラインイントラ予測モードを説明する図を示す。
【図9】いくつかの例における、テンプレートベース複数参照ラインイントラ予測モードでの二値化プロセス及びコードワードの表を示す。
【図10】いくつかの例における参照ラインのテンプレートの図を示す。
【図11】いくつかの例における参照ラインのテンプレートの他の図を示す。
【図12】本開示のいくつかの実施形態に係るプロセスを説明するフローチャートを示す。
【図13】本開示のいくつかの実施形態に従う他のプロセスを説明するフローチャートを示す。
【図14】実施形態に従うコンピュータシステムの概略図である。
【発明を実施するための形態】
【0021】
図１は、開示されている対象の応用例として、ストリーミング環境におけるビデオエンコーダ及びビデオデコーダを表す。開示されている対象は、例えば、ビデオ会議、デジタルＴＶ、ストリーミングサービス、ＣＤ、ＤＶＤ、メモリスティックなどを含むデジタル媒体上での圧縮されたビデオの記憶、などを含む他のビデオ対応用途に同様に適用可能であることができる。
【0022】
ビデオ処理システム（１００）は、例えば、圧縮されていないビデオピクチャのストリーム（１０２）を生成するビデオソース（１０１）、例えば、デジタルカメラ、を含むことができる捕捉サブシステム（１１３）を含んでもよい。例において、ビデオピクチャのストリーム（１０２）は、デジタルカメラによって撮影されたサンプルを含む。ビデオピクチャのストリーム（１０２）は、符号化されたビデオデータ（１０４）（又はコーディングされたビデオビットストリーム）と比較して高いデータボリュームを強調するために太線で表されており、ビデオソース（１０１）に結合されているビデオエンコーダ（１０３）を含む電子デバイス（１２０）によって処理され得る。ビデオエンコーダ（１０３）は、以下で更に詳細に記載されるように、開示されている対象の態様を可能にする又は実装するためのハードウェア、ソフトウェア、又はそれらの組み合わせを含むことができる。符号化されたビデオデータ（１０４）（又は符号化されたビデオビットストリーム）は、ビデオピクチャのストリーム（１０２）と比較してより低いデータボリュームを強調するために細線で表されており、将来の使用のためにストリーミングサーバ（１０５）に記憶され得る。図１のクライアントサブシステム（１０６）及び（１０８）などの１つ以上のストリーミングクライアントサブシステムは、符号化されたビデオデータ（１０４）のコピー（１０７）及び（１０９）を読み出すためにストリーミングサーバ（１０５）にアクセスすることができる。クライアントサブシステム（１０６）は、例えば電子デバイス（１３０）において、ビデオデコーダ（１１０）を含むことができる。ビデオデコーダ（１１０）は、符号化されたビデオデータの入来するコピー（１０７）を復号し、ディスプレイ（１１２）（例えば、表示スクリーン）又は他のレンダリングデバイス（図示せず。）でレンダリングされ得るビデオピクチャの送出ストリーム（１１１）を生成する。いくつかのストリーミングシステムにおいて、符号化されたビデオデータ（１０４）、（１０７）、及び（１０９）（例えば、ビデオビットストリーム）は、特定のビデオコーディング／圧縮規格に従って符号化され得る。そのような規格の例には、ＩＴＵ－Ｔ推奨Ｈ．２６５がある。例において、開発中のビデオコーディング規格は、Versatile Video Coding（ＶＶＣ）として俗に知られている。開示されている対象は、ＶＶＣに関連して使用されてもよい。
【0023】
なお、電子デバイス（１２０）及び（１３０）は、他のコンポーネント（図示せず。）を含むことができる。例えば、電子デバイス（１２０）は、ビデオデコーダ（図示せず。）を含むことができ、電子デバイス（１３０）は、ビデオエンコーダ（図示せず。）を同様に含むことができる。
【0024】
図２は、ビデオデコーダ（２１０）の例示的なブロック図を示す。ビデオデコーダ（２１０）は電子デバイス（２３０）に含まれ得る。電子デバイス（２３０）は受信器（２３１）（例えば、受信回路）を含むことができる。ビデオデコーダ（２１０）は、図１の例のビデオデコーダ（１１０）の代わりに使用され得る。
【0025】
受信器（２３１）は、ビデオデコーダ（２１０）によって復号されるべき１つ以上のコーディングされたビデオシーケンスを受信してもよい。実施形態において、一度に１つのコーディングされたビデオシーケンスが受信され、夫々のコーディングされたビデオシーケンスの復号化は、他のコーディングされたビデオシーケンスの復号化から独立している。コーディングされたビデオシーケンスはチャネル（２０１）から受信されてよく、チャネル（２０１）は、符号化されたビデオデータを記憶している記憶デバイスへのハードウェア／ソフトウェアリンクであってよい。受信器（２３１）は、符号化されたビデオデータを他のデータ、例えばコーディングされたオーディオデータ及び／又は補助的なデータストリームとともに受信してもよく、それらは、それらの各々の使用エンティティ（図示せず。）へ転送されてもよい。受信器（２３１）は、コーディングされたビデオシーケンスを他のデータから分離してもよい。ネットワークジッタに対抗するために、バッファメモリ（２１５）が受信器（２３１）とエントロピデコーダ／パーサ（２２０）（以降「パーサ（２２０）」）との間に結合されてもよい。特定の用途では、バッファメモリ（２１５）はビデオデコーダ（２１０）の部分である。他では、それはビデオデコーダ（２１０）の外にあることができる（図示せず。）。更に他では、例えば、ネットワークジッタに対抗するための、ビデオデコーダ（２１０）の外にあるバッファメモリ（図示せず。）と、加えて、例えば、再生タイミングを操作するための、ビデオデコーダ（２１０）内のもう１つのバッファメモリ（２１５）とが存在することができる。受信器（２３１）が十分なバンド幅及び可制御性の記憶／転送デバイスから、又はアイソシンクロナス（isosynchronous）ネットワークからデータを受信しているときに、バッファメモリ（２１５）は必要とされなくてもよく、あるいは、小さくてよい。インターネットなどのベストエフォートのパケットネットワークでの使用のために、バッファメモリ（２１５）は必要とされる場合があり、比較的に大きく、かつ、有利なことには、適応サイズであることができ、少なくとも部分的にビデオデコーダ（２１０）の外のオペレーティングシステム又は同様の要素（図示せず。）において実装されてもよい。
【0026】
ビデオデコーダ（２１０）は、コーディングされたビデオシーケンスからシンボル（２２１）を再構成するためのパーサ（２２０）を含んでもよい。それらのシンボルのカテゴリは、ビデオデコーダ（２１０）の動作を管理するために使用される情報と、潜在的に、電子デバイス（２３０）の必須部分でないが、図２に示されているように、電子デバイス（２３０）へ結合され得るレンダーデバイス（２１２）（例えば、表示スクリーン）などのレンダリングデバイスを制御するための情報とを含む。レンダリングデバイスのための制御情報は、Supplemental Enhancement Information（ＳＥＩ）メッセージ又はVideo Usability Information（ＶＵＩ）パラメータセットフラグメント（図示せず。）の形をとってよい。パーサ（２２０）は、受信されたコーディングされたビデオシーケンスをパース／エントロピ復号化し得る。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術又は標準規格に従うことができ、可変長コーディング、ハフマンコーディング、文脈依存による又はよらない算術コーディング、などを含む様々な原理に従うことができる。パーサ（２２０）は、コーディングされたビデオシーケンスから、ビデオデコーダにおけるピクセルのサブグループのうちの少なくとも１つについてのサブグループパラメータの組を、そのグループに対応する少なくとも１つのパラメータに基づいて抽出し得る。サブグループは、グループ・オブ・ピクチャ（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）、などを含むことができる。パーサ（２２０）はまた、コーディングされたビデオシーケンス情報から、変換係数、量子化パラメータ値、動きベクトル、などの情報も抽出し得る。
【0027】
パーサ（２２０）は、シンボル（２２１）を生成するために、バッファメモリ（２１５）から受信されたビデオシーケンスに対してエントロピ復号化／パーシング動作を実行してもよい。
【0028】
シンボル（２２１）の再構成は、コーディングされたビデオピクチャ又はその部分（例えば、インター及びイントラピクチャ、インター及びイントラブロック）のタイプ及び他の因子に応じて多数の異なるユニットを有することができる。どのユニットがどのように含まれるかは、コーディングされたビデオシーケンスからパーサ（２２０）によってパースされたサブグループ制御情報によって制御され得る。パーサ（２２０）と以下の複数のユニットとの間のそのようなサブグループ制御情報のフローは、明りょうさのために表されていない。
【0029】
既に述べられた機能ブロックを超えて、ビデオデコーダ（２１０）は、概念的に、以下で説明される多数の機能ユニットに細分され得る。商業上の制約の下で動作する実際の実施では、それらのユニットの多くが互いに密に相互作用し、少なくとも部分的に互いに組み込まれ得る。しかし、開示されている対象を説明することを目的として、以下での機能ユニットへの概念的細分は適切である。
【0030】
第１ユニットはスケーラ／逆変換ユニット（２５１）である。スケーラ／逆変換ユニット（２５１）は、パーサ（２２０）からシンボル（２２１）として、量子化された変換係数とともに、どの変換を使用すべきか、ブロックサイズ、量子化係数、量子化スケーリングマトリクスなどを含む制御情報を受信する。スケーラ／逆変換ユニット（２５１）は、アグリゲータ（２５５）に入力することができるサンプル値を含むブロックを出力することができる。
【0031】
いくつかの場合に、スケーラ／逆変換器（２５１）の出力サンプルは、イントラコーディングされたブロックに関係することができる。イントラコーディングされたブロックは、前に再構成されたピクチャからの予測情報を使用していないが、現在のピクチャの前に再構成された部分からの予測情報を使用することができるブロックである。かような予測情報はイントラピクチャ予測ユニット（２５２）によって供給され得る。いくつかの場合に、イントラピクチャ予測ユニット（２５２）は、現在ピクチャバッファ（２５８）からフェッチされた周囲の既に再構成された情報を用いて、再構成中のブロックと同じサイズ及び形状のブロックを生成する。現在ピクチャバッファ（２５８）は、例えば、部分的に再構成された現在のピクチャ及び／又は完全に再構成された現在のピクチャをバッファリングする。アグリゲータ（２５５）は、いくつかの場合に、サンプルごとに、イントラ予測ユニット（２５２）が生成した予測情報を、スケーラ／逆変換ユニット（２５１）によって供給される出力サンプル情報に加える。
【0032】
他の場合では、スケーラ／逆変換ユニット（２５１）の出力サンプルは、インターコーディングされた、そして潜在的に動き補償されたブロックに関係することができる。かような場合に、動き補償予測ユニット（２５３）は、予測のために使用されるサンプルをフェッチするために参照ピクチャメモリ（２５７）にアクセスすることができる。ブロックに関係するシンボル（２２１）に従って、フェッチされたサンプルを動き補償した後に、それらのサンプルは、出力サンプル情報を生成するために、アグリゲータ（２５５）によって、スケーラ／逆変換ユニット（２５１）の出力（この場合に、残差サンプル又は残差信号と呼ばれる。）に加えられ得る。動き補償予測ユニット（２５３）が予測サンプルをフェッチする参照ピクチャメモリ（２５７）内のアドレスは、例えばＸ、Ｙ及び参照ピクチャコンポーネントを有することができるシンボル（２２１）の形で動き補償予測ユニット（２５３）が利用することができる動きベクトルによって制御され得る。動き補償はまた、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリ（２５７）からフェッチされたサンプル値の補間や、動きベクトル予測メカニズムなども含むことができる。
【0033】
アグリゲータ（２５５）の出力サンプルは、ループフィルタユニット（２５６）において様々なループフィルタリング技術を受けることができる。ビデオ圧縮技術は、インループフィルタ技術を含むことができる。この技術は、コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも呼ばれる。）に含まれており、パーサ（２２０）からのシンボル（２２１）としてループフィルタユニット（２５６）に利用可能にされたパラメータによって制御される。ビデオ圧縮はまた、コーディングされたピクチャ又はコーディングされたビデオシーケンスの（復号化順序において）前の部分の復号化中に得られたメタ情報にも応答することができ、更には、前に構成されたループフィルタ処理されたサンプル値に応答することもできる。
【0034】
ループフィルタユニット（２５６）の出力は、レンダーデバイス（２１２）へ出力され、更には、将来のインターピクチャ予測における使用のために参照ピクチャメモリ（２５７）に記憶され得るサンプルストリームであることができる。
【0035】
特定のコーディングされたピクチャは、完全に再構成されると、将来の予測のための参照ピクチャとして使用され得る。例えば、現在のピクチャに対応するコーディングされたピクチャが完全に再構成され、コーディングされたピクチャが（例えば、パーサ（２２０）によって）参照ピクチャとして識別されると、現在ピクチャバッファ（２５８）は、参照ピクチャメモリ（２５７）の部分になることができ、未使用の現在ピクチャバッファは、後続のコーディングされたピクチャの再構成を開始する前に再割り当てされ得る。
【0036】
ビデオデコーダ（２１０）は、ＩＴＵ－Ｔ推奨Ｈ．２６５などの規格における所定のビデオ圧縮技術又は標準規格に従って復号化動作を実行してよい。コーディングされたビデオシーケンスは、そのコーディングされたビデオシーケンスが、ビデオ圧縮技術又は標準規格のシンタックス及びビデオ圧縮技術又は標準規格において文書化されているプロファイルの両方に従うという意味で、使用中のビデオ圧縮技術又は標準規格によって規定されたシンタックスに従い得る。具体的には、プロファイルは、ビデオ圧縮技術又は標準規格で利用可能な全てのツールからそのプロファイルの下での使用のために利用可能な唯一のツールとして特定のツールを選択することができる。また、コーディングされたビデオシーケンスの複雑さは、ビデオ圧縮技術又は標準規格のレベルによって定義されている境界内にあることが、順守のために必要である。いくつかの場合に、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば、メガサンプル／秒で測定される。）、最大参照ピクチャサイズ、などを制限する。レベルによって設定される制限は、いくつかの場合に、Hypothetical Reference Decoder（ＨＲＤ）仕様と、コーディングされたビデオシーケンスにおいて通知されるＨＲＤバッファ管理のためのメタデータとを通じて更に制限され得る。
【0037】
実施形態において、受信器（２３１）は、符号化されたビデオとともに、追加の（冗長な）データを受信してもよい。追加のデータは、コーディングされたビデオシーケンスの部分としても含まれてもよい。追加のデータは、ビデオデコーダ（２１０）によって、データを適切に復号するために及び／又は原ビデオデータをより正確に再構成するために使用されてよい。追加のデータは、例えば、時間、空間、又は信号対雑音比（ＳＮＲ）エンハンスメントレイヤ、冗長スライス、冗長ピクチャ、前方誤り訂正符号、などの形をとることができる。
【0038】
図３は、ビデオエンコーダ（３０３）の例示的なブロック図を示す。ビデオエンコーダ（３０３）は電子デバイス（３２０）に含まれている。電子デバイス（３２０）は送信器（３４０）（例えば、送信回路）を含む。ビデオエンコーダ（３０３）は、図１の例のビデオエンコーダ（１０３）の代わりに使用され得る。
【0039】
ビデオエンコーダ（３０３）は、ビデオエンコーダ（３０３）によってコーディングされるべきビデオ画像を捕捉し得るビデオソース（３０１）（図３の例では電子デバイス（３２０）の部分ではない。）からビデオサンプルを受信してもよい。他の例では、ビデオソース（３０１）は電子デバイス（３２０）の部分である。
【0040】
ビデオソース（３０１）は、任意の適切なビットデプス（例えば、８ビット、１０ビット、１２ビットなど）、任意の色空間（例えば、ＢＴ．６０１ ＹＣｒＣＢ、ＲＧＢなど）、及び任意の適切なサンプリング構造（例えば、ＹＣｒＣｂ ４：２：０、ＹＣｒＣｂ ４：４：４）であることができるデジタルビデオサンプルストリームの形で、ビデオエンコーダ（３０３）によってコーディングされるべきソースビデオシーケンスを供給し得る。メディアサービングシステムでは、ビデオソース（３０１）は、予め準備されたビデオを記憶している記憶デバイスであってもよい。ビデオ会議システムでは、ビデオソース（３０１）は、ローカル画像情報をビデオシーケンスとして捕捉するカメラであってもよい。ビデオデータは、順に見られる場合に動きを授ける複数の個別ピクチャとして供給されてもよい。ピクチャそれ自体はピクセルの空間アレイとして編成されてもよく、各ピクセルは、使用中のサンプリング構造、色空間、などに応じて１つ以上のサンプルを有することができる。当業者であれば、ピクセルとサンプルとの間の関係を容易に理解することができる。本明細書は、以下、サンプルに焦点を当てる。
【0041】
実施形態に従って、ビデオエンコーダ（３０３）は、実時間において、又は必要とされる任意の他の時間制約の下で、ソースビデオシーケンスのピクチャを、コーディングされたビデオシーケンス（３４３）へとコーディング及び圧縮し得る。適切なコーディング速度を強いることはコントローラ（３５０）の一機能である。いくつかの実施形態において、コントローラ（３５０）は、以下で記載されるような他の機能ユニットを制御し、他の機能ユニットへ機能的に結合される。結合は明りょうさのために表されていない。コントローラ（３５０）によってセットされるパラメータには、レート制御に関連したパラメータ（ピクチャスキップ、量子化器、レートひずみ最適化技術のラムダ値、など）、ピクチャサイズ、グループ・オブ・ピクチャ（ＧＯＰ）レイアウト、最大動きベクトル探索範囲、などが含まれ得る。コントローラ（３５０）は、特定のシステム設計のために最適化されたビデオエンコーダ（３０３）に関係する他の適切な機能を有するよう構成され得る。
【0042】
いくつかの実施形態において、ビデオエンコーダ（３０３）は、コーディングループで動作するよう構成される。過度に単純化された記載として、例において、コーディングループは、ソースコーダ（３３０）（例えば、コーディングされるべき入力ピクチャと、参照ピクチャとに基づいて、シンボルストリームなどのシンボルを生成することに関与する。）と、ビデオエンコーダ（３０３）に埋め込まれている（ローカル）デコーダ（３３３）とを含むことができる。デコーダ（３３３）は、（遠隔の）デコーダも生成することになるのと同様の方法でサンプルデータを生成するようにシンボルを再構成する。その再構成されたサンプルストリーム（サンプルデータ）は参照ピクチャメモリ（３３４）に入力される。シンボルストリームの復号化は、デコーダの場所（ローカル又は遠隔）に依存しないビットパーフェクト（bit-exact）な結果をもたらすので、参照ピクチャメモリ（３３４）内のコンテンツも、ローカルのエンコーダと遠隔のエンコーダとの間でビットパーフェクトである。言い換えれば、エンコーダの予測部分は、デコーダが復号化中に予測を使用するときに“見る”ことになるのとまさに同じサンプル値を参照ピクチャサンプルとして“見る”。参照ピクチャのシンクロニシティ（及び、例えばチャネルエラーのために、シンクロニシティが維持され得ない場合に、結果として生じるドリフト）のこの基本原理は、いくつかの関連技術でも使用されている。
【0043】
“ローカル”のデコーダ（３３３）の動作は、図２とともに先に詳細に既に説明されている、ビデオデコーダ（２１０）などの“遠隔”のデコーダと同じであることができる。一時的に図２も参照すると、しかしながら、シンボルが利用可能であり、エントロピコーダ（３４５）及びパーサ（２２０）によるコーディングされたビデオシーケンスへのシンボルの符号化／復号化が可逆であることができるということで、バッファメモリ（２１５）及びパーサ（２２０）を含むビデオデコーダ（２１０）のエントロピ復号化部分は、ローカルのデコーダ（３３３）では完全には実装されなくてもよい。
【0044】
実施形態において、デコーダに存在するパーシング／エントロピ復号化を除いたデコーダ技術は、同じか又は実質的に同じ機能形態で、対応するエンコーダにおいて存在する。従って、開示されている対象はデコーダの動作に焦点を当てる。エンコーダ技術の説明は、それらが包括的に記載されているデコーダ技術の逆であるということで、省略され得る。特定の範囲において、より詳細な説明が以下で与えられている。
【0045】
動作中、いくつかの例では、ソースコーダ（３３０）は、動き補償された予測コーディングを実行してもよい。これは、「参照ピクチャ」として指定されたビデオシーケンスからの１つ以上の前にコーディングされたピクチャを参照して予測的に入力ピクチャをコーディングする。このようにして、コーディングエンジン（３３２）は、入力ピクチャに対する予測参照として選択され得る参照ピクチャのピクセルブロックと入力ピクチャのピクセルブロックとの間の差をコーディングする。
【0046】
ローカルのビデオデコーダ（３３３）は、ソースコーダ（３３０）によって生成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャのコーディングされたビデオデータを復号化し得る。コーディングエンジン（３３２）の動作は、有利なことに、不可逆プロセスであってよい。コーディングされたビデオデータがビデオデコーダ（図３には図示せず。）で復号され得るとき、再構成されたビデオシーケンスは、通常は、いくらかのエラーを伴ったソースビデオシーケンスの複製となる。ローカルのビデオデコーダ（３３３）は、参照ピクチャに対してビデオデコーダによって実行され得る復号化プロセスを再現し、再構成された参照ピクチャが参照ピクチャキャッシュ（３３４）に格納されるようにしてもよい。このように、ビデオエンコーダ（３０３）は、（伝送エラーなしで）遠端のビデオデコーダによって取得されることになる再構成された参照ピクチャと共通の内容を有している再構成された参照ピクチャのコピーをローカルで記憶し得る。
【0047】
予測器（３３５）は、コーディングエンジン（３３２）のための予測探索を実行し得る。すなわち、新しいピクチャがコーディングされるために、予測器（３３５）は、その新しいピクチャのための適切な予測基準となり得る参照ピクチャ動きベクトル、ブロック形状、などの特定のメタデータ又は（候補参照ピクセルブロックとしての）サンプルデータを参照ピクチャメモリ（３３４）から探し得る。予測器（３３５）は、適切な予測基準を見つけるためにサンプルブロック・バイ・ピクセルブロックベース（sample block-by-pixel block basis）で動作してもよい。いくつかの場合に、予測器（３３５）によって取得された探索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（３３４）に記憶されている複数の参照ピクチャから引き出された予測基準を有してもよい。
【0048】
コントローラ（３５０）は、例えば、ビデオデータを符号化するために使用されるパラメータ及びサブグループパラメータの設定を含め、ソースコーダ（３３０）のコーディング動作を管理してもよい。
【0049】
上記の全ての機能ユニットの出力は、エントロピコーダ（３４５）においてエントロピコーディングを受け得る。エントロピコーダ（３４５）は、ハフマンコーディング、可変長コーディング、算術コーディングなどの技術に従ってシンボルを可逆圧縮することによって、様々な機能ユニットによって生成されたシンボルを、コーディングされたビデオシーケンスへと変換する。
【0050】
送信器（３４０）は、エントロピコーダ（３４５）によって生成されたコーディングされたビデオシーケンスを、通信チャネル（３６０）を介した伝送のために準備するようにバッファリングしてよい。通信チャネル（３６０）は、符号化されたビデオデータを記憶する記憶デバイスへのハードウェア／ソフトウェアリンクであってよい。送信器（３４０）は、ビデオコーダ（３０３）からのコーディングされたビデオデータを、送信されるべき他のデータ、例えば、コーディングされたオーディオデータ及び／又は補助的なデータストリーム（ソースは図示せず。）とマージしてもよい。
【0051】
コントローラ（３５０）は、ビデオエンコーダ（３０３）の動作を管理してもよい。コーディング中、コントローラ（３５０）は、各々のピクチャに適用され得るコーディング技術に影響を及ぼす可能性がある特定のコーディングされたピクチャタイプを夫々のコーディングされたピクチャに割り当ててよい。例えば、ピクチャはしばしば、次のピクチャタイプのうちの１つとして割り当てられてよい。
【0052】
イントラピクチャ（Intra Picture）（Ｉピクチャ）は、予測のソースとしてシーケンス内の如何なる他のピクチャも使用せずに符号化及び復号化され得るピクチャであってよい。いくつかのビデオコーデックは、例えば、独立したデコーダリフレッシュ（Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ；ＩＤＲ）ピクチャを含む種々のタイプのイントラピクチャを許容する。当業者であれば、Ｉピクチャのそのような変形並びにそれらの各々の応用及び特徴に気づく。
【0053】
予測ピクチャ（Predictive Picture）（Ｐピクチャ）は、各ブロックのサンプル値を予測するために多くても１つの動きベクトル及び参照インデックスを用いてイントラ予測又はインター予測により符号化及び復号化され得るピクチャであってよい。
【0054】
双方向予測ピクチャ（Bi-directionally Predictive Picture）（Ｂピクチャ）は、各ブロックのサンプル値を予測するために多くても２つの動きベクトル及び参照インデックスを使用するイントラ予測又はインター予測を用いて符号化及び復号化され得るピクチャであってよい。同様に、多重予測ピクチャ（multiple-predictive picture(s)）は、単一のブロックの再構成のために２つよりも多い参照ピクチャ及び関連するメタデータを使用することができる。
【0055】
ソースピクチャは、一般に、複数のサンプルブロック（例えば、夫々、４×４、８×８、４×８、又は１６×１６のサンプルのブロック）に空間的に細分され、ブロックごとにコーディングされてよい。ブロックは、ブロックの各々のピクチャに適用されているコーディング割り当てによって決定される他の（既にコーディングされた）ブロックを参照して予測的にコーディングされてよい。例えば、Ｉピクチャのブロックは、非予測的にコーディングされてよく、あるいは、それらは、同じピクチャの既にコーディングされたブロックを参照して予測的にコーディングされてもよい（空間予測又はイントラ予測）。Ｐピクチャのピクセルブロックは、１つの前にコーディングされた参照ピクチャを参照して空間予測により又は時間予測により、予測的にコーディングされてよい。Ｂピクチャのブロックは、１つ又は２つの前にコーディングされた参照ピクチャを参照して空間予測により又は時間予測により、予測的にコーディングされてよい。
【0056】
ビデオエンコーダ（３０３）は、ＩＴＵ－Ｔ推奨Ｈ．２６５のような所定のビデオコーディング技術又は標準規格に従ってコーディング動作を実行してもよい。その動作中に、ビデオエンコーダ（３０３）は、入力ビデオシーケンスにおける時間的及び空間的冗長性を利用する予測コーディング動作を含む様々な圧縮動作を実行してよい。従って、コーディングされたビデオデータは、使用されているビデオコーディング技術又は標準規格によって定められているシンタックスに従い得る。
【0057】
実施形態において、送信器（３４０）は、符号化されたビデオとともに追加のデータを送信してもよい。ソースコーダ（３３０）は、コーディングされたビデオシーケンスの部分としてそのようなデータを含めてもよい。追加のデータは、時間／空間／ＳＮＲエンハンスメントレイヤ、冗長ピクチャ及びスライスなどの他の形式の冗長データ、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメント、などを有してもよい。
【0058】
ビデオは、時間シーケンスにおいて複数のソースピクチャ（ビデオピクチャ）として捕捉されてよい。イントラピクチャ予測（しばしばイントラ予測と省略される。）は、所与のピクチャにおける空間的相関を利用し、インターピクチャ予測は、ピクチャ間の（時間又は他の）相関を利用する。例において、現在ピクチャと呼ばれる、符号化／復号化中の特定のピクチャは、ブロックにパーティション化される。現在ピクチャ内のあるブロックが、ビデオ内の前にコーディングされた依然としてバッファリングされている参照ピクチャ内の参照ブロックと類似している場合に、現在ピクチャ内のそのブロックは、動きベクトルと呼ばれるベクトルによってコーディングされ得る。動きベクトルは、参照ピクチャ内の参照ブロックを指し示し、複数の参照ピクチャが使用されている場合には、参照ピクチャを識別する第３の次元を有することができる。
【0059】
いくつかの実施形態において、双予測技術がインターピクチャ予測において使用され得る。双予測技術に従って、２つの参照ピクチャ、例えば、ビデオ内で現在ピクチャに対して復号化順序において両方とも先行する（しかし、表示順序では、夫々、過去及び将来にあってよい。）第１参照ピクチャ及び第２参照ピクチャが、使用される。現在ピクチャ内のあるブロックは、第１参照ピクチャ内の第１参照ブロックを指し示す第１動きベクトルと、第２参照ピクチャ内の第２参照ブロックを指し示す第２動きベクトルとによって、コーディングされ得る。そのブロックは、第１参照ブロック及び第２参照ブロックの組み合わせによって予測可能である。
【0060】
更に、マージモード技術が、コーディング効率を向上させるためにインターピクチャ予測において使用され得る。
【0061】
本開示のいくつかの実施形態に従って、インターピクチャ予測及びイントラピクチャ予測などの予測は、ブロックのユニットにおいて実行される。例えば、ＨＥＶＣ標準規格に従って、ビデオピクチャのシーケンス内のピクチャは、圧縮のためにコーディングツリーユニット（ＣＴＵ）にパーティション化され、ピクチャ内のＣＴＵは、６４×６４ピクセル、３２×３２ピクセル、又は１６×１６ピクセルといった同じサイズを有する。一般に、ＣＴＵは、１つのルーマＣＴＢ及び２つのクロマＣＴＢである３つのコーディングツリーブロック（ＣＴＢ）を含む。各ＣＴＵは、１つ又は複数のコーディングユニット（ＣＵ）に再帰的に四分木分割され得る。例えば、６４×６４ピクセルのＣＴＵは、６４×６４ピクセルの１つのＣＵ、又は３２×３２ピクセルの４つのＣＵ、又は１６×１６ピクセルの１６個のＣＵに分割可能である。例において、各ＣＵは、インター予測タイプ又はイントラ予測タイプなどのＣＵのための予測タイプを決定するよう解析される。ＣＵは、時間及び／又は空間予測可能性に応じて１つ以上の予測ユニット（ＰＵ）に分割される。一般に、各ＰＵは、１つのルーマ予測ブロック（ＰＢ）及び２つのクロマＰＢを含む。実施形態において、コーディング（符号化／復号化）における予測動作は予測ブロックの単位で実行される。予測ブロックの例としてルーマ予測ブロックを使用すると、予測ブロックは、８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８ピクセルなどのような、ピクセルの値（例えば、ルーマ値）の行列を含む。
【0062】
なお、ビデオエンコーダ（１０３）及び（３０３）並びにビデオデコーダ（１１０）及び（２１０）は、如何なる適切な技術によっても実装可能である。実施形態において、ビデオエンコーダ（１０３）及び（３０３）並びにビデオデコーダ（１１０）及び（２１０）は、１つ以上の集積回路を用いて実装可能である。他の実施形態では、ビデオエンコーダ（１０３）及び（３０３）並びにビデオデコーダ（１１０）及び（２１０）は、ソフトウェア命令を実行する１つ以上のプロセッサを用いて実装可能である。
【0063】
本開示の態様は、複数参照ラインイントラ予測のためのテンプレートマッチングの技術を提供する。
【0064】
図４は、ＨＥＶＣなどのいくつかの例におけるイントラ予測モードの図を示す。例えば、ＨＥＶＣは全部で３５個のイントラ予測モード（例えば、モード０～モード３４）を使用する。３５個のイントラ予測モードの中で、一部のモードは指向性モードであり、一部のモードは非指向性モードである。いくつかの例で、モード０及びモード１は非指向性モードであり、例えば、モード０はプレーナー（Ｐｌａｎａｒ）モードであり、モード１はＤＣモードである。更に、モード２からモード３４は指向性モードであることができ、例えば、モード１０破水平モードであり、モード２６は垂直モードであり、モード２、モード１８及びモード３４は対角モードである、など。コーディングブロック内のサンプルの値は、同じピクチャ内の近接する参照サンプル及びコーディングブロックのイントラ予測モードに従って決定される。例において、ＤＣモードでは、平均値が、同じピクチャ内の参照サンプルを平均することによって計算され、平坦な表面に使用できる。他の例において、プレーナーモードでは、コーディングブロック内の各サンプルの値は、近接するブロックの境界サンプルから導出された水平及び垂直平滑勾配を持った振幅表面を仮定して計算される。いくつかの例で、参照サンプルは、コーディングブロックの直ぐ上にある行内の隣接サンプルを含み、且つ／あるいは、コーディングブロックの直ぐ左の列内の隣接サンプルを含む。
【0065】
いくつかの例で、イントラ予測モードは、最確モード（Ｍｏｓｔ Ｐｒｏｐａｂｌｅ Ｍｏｄｅ（ｓ），ＭＰＭ）のリストに基づいてシグナリングされる。例えば、コーディングブロックについて、ＭＰＭリストが決定される。例において、ＭＰＭリストは、３５個のイントラ予測モードからの３つのモードを含む。その場合に、コーディングブロックの特定のイントラ予測モードがＭＰＭリスト内の３つのモードのうちの１つであるとき、３つのモードのうちの当該１つを示すインデックスがシグナリングのために使用される。コーディングブロックの特定のイントラ予測モードがＭＰＭリスト内の３つのモードのうちの１つではないとき、残りのモード（３２個のモード）からの１つを示すインデックスがシグナリングのために使用される。いくつかの例で、ＭＰＭリストは、６、１０、などの他の適切な数のモードを含むことができる。
【0066】
ただし、他の適切な数のイントラ予測モードが使用されもよい。
【0067】
図５は、ＶＶＣなどのいくつかの例におけるイントラ予測モードの図を示す。いくつかの例で、ＶＶＣは、モード－１４からモード８０などの全部で９５個のイントラ予測モードを使用することができる。９５個のイントラ予測モードの中で、モード０はプレーナーモードであり、モード１はＤＣモードであり、モード１８は水平モードであり、モード５０は垂直モードであり、モード２、モード３４及びモード６６は対角モードである。モード－１から－１４及びモード６４から８０は、いくつかの例では広角イントラ予測（Ｗｉｄｅ－Ａｎｇｌｅ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ，ＷＡＩＰ）モードと呼ばれる。
【0068】
いくつかの例で、コーディングブロック（例えば、コーディングユニットのルーマブロック、クロマブロック）のイントラモード（イントラ予測モードとも呼ばれる。）をコーディングするために、サイズ３の最確モード（ＭＰＭ）リストが、コーディングブロックの近接ブロックのイントラモードに基づき構築される。ＭＰＭリストは、ＭＰＭリスト又は一次ＭＰＭリストと呼ばれ得る。コーディングブロックのイントラモードがＭＰＭリストからではない場合、イントラモードがＭＰＭリスト内の選択されたモードに属するかどうかを示すためにフラグがシグナリングされる。
【0069】
図６は、いくつかの例における、ＭＰＭリストを生成するための擬似コード（pseudo codes）を示す。図６の例では、leftIntraDirは、（現在コーディングブロックに隣接している）左ブロックのイントラモードを示すために使用され、aboveIntraDirは、（現在コーディングブロックに隣接している）上ブロックのイントラモードを示すために使用される。例において、左又は上ブロックが現在利用可能でない場合、leftIntraDir又はaboveIntraDirは、DC_IDX（ＤＣモードのインデックス）にセットされ得る。いくつかの例で、図６の変数「offset」及び「mod」は、夫々２９及び３２にセットされる定数値である。
【0070】
いくつかの関連する例では、コーディングブロックのイントラ予測のための参照サンプルは、コーディングブロックの直ぐ隣に位置している。参照サンプルによって形成されているコーディングブロックの近接部分は、参照ラインと呼ばれ得る。
【0071】
本開示の態様に従って、複数ラインイントラ予測と呼ばれる技術は、イントラ予測のためにより多くの参照ラインを使用することができる。いくつかの例で、エンコーダは、イントラ予測子を生成するためにどの参照ラインが使用されるかを決定し通知する。例において、参照ラインインデックスは、イントラ予測モードの前にシグナリングされ、最確モードのみが、非ゼロの参照ラインインデックスがシグナリングされる場合に許される。
【0072】
図７は、いくつかの例における複数参照ラインの図を示す。図７では、コーディングブロック（７１０）の４つの参照ラインが示されている。参照ライン０とも呼ばれる第１参照ライン（７２０）は、コーディングブロック（７１０）の直ぐ上にある参照サンプルの行と、コーディングブロック（７１０）の直ぐ左の参照サンプルの列とを含む。参照ライン１とも呼ばれる第２参照ライン（７３０）は、第１参照ライン（７２０）の直ぐ上にある参照サンプルの行と、第１参照ライン（７２０）の直ぐ左の参照サンプルの列とを含む。参照ライン２とも呼ばれる第３参照ライン（７４０）は、第２参照ライン（７３０）の直ぐ上にある参照サンプルの行と、第２参照ライン（７３０）の直ぐ左の参照サンプルの列とを含む。参照ライン３とも呼ばれる第４参照ライン（７５０）は、第３参照ライン（７４０）の直ぐ上にある参照サンプルの行と、第３参照ライン（７４０）の直ぐ左の参照サンプルの列とを含む。更に、各参照ラインは、Ｔによって示される左上参照サンプルとともに、セグメントＡ～Ｆによって示されるような６つのセグメントから成る。いくつかの例で、セグメントＡ及びセグメントＦは、夫々セグメントＢ及びＦからの最も近いサンプルでパディングされる。
【0073】
いくつかの例で、テンプレートベース複数参照ラインイントラ予測（ＴＭＲＬ）モードと呼ばれる技術が使用され得る。ＴＭＲＬモードは４つの側面を含む。
【0074】
いくつかの例で、ＴＭＲＬモードの第１の側面について、２つの候補リストが使用され、１つは参照ライン用であり、もう１つはイントラ予測モード用である。例において、拡張参照ライン候補リスト及びイントラ予測モード候補リストが使用される。例えば、拡張参照ライン候補リストは｛１，３，５，７，１２｝を含む。ＣＴＵの一番上の行に対する制限は不変である。例において、イントラ予測モード候補リストのサイズは１０である。イントラ予測モード候補リストの構成はＭＰＭと同様である。ＭＰＭに対するイントラ予測モード候補の違いは、プレーナーモードがイントラ予測モード候補リストから除外されている点である。
【0075】
いくつかの例で、ＴＭＲＬモードの第２の側面について、ＴＭＲＬ組み合わせリストが構成される。例において、拡張参照ラインと許可されたイントラ予測モードとの組み合わせは、コーディングブロックについて構成され得る。各組み合わせには、拡張参照ライン候補リストから選択された参照ラインと、イントラ予測モード候補リストから選択されたイントラ予測モードとが含まれる。例において、５つの参照ラインがコーディングブロックの拡張参照ライン候補リスト内にあり、１０個のイントラ予測モードがコーディングブロックのイントラ予測モード候補リスト内にあるので、その場合、５０個の組み合わせが当該コーディングブロックについて構成され得る。
【0076】
いくつかの例で、拡張参照ラインは参照ライン１から始まり、参照ライン０によってカバーされるエリアはテンプレートマッチングのために使用される。
【0077】
図８は、いくつかの例におけるテンプレートベース複数参照ラインイントラ予測モードを説明する図を示す。図８は、参照ライン０（８２０）、参照ライン１（８３０）、参照ライン２（８４０）、参照ライン３（８５０）などの参照ラインとともに現在コーディングブロック（８１０）を示す。参照ライン０（８２０）によってカバーされるエリアに基づいて、テンプレートエリアは、上部テンプレート、左部テンプレート、上部テンプレートと左部テンプレートを含むテンプレート、などのように定義され得る。ただし、いくつかの例で、現在コーディングブロック（８１０）をコーディングする時点で、テンプレートエリアは既に再構成されている。
【0078】
いくつかの例で、拡張参照ラインと許可されたイントラ予測モードとの５０個の組み合わせの夫々について、テンプレートエリアの投影が、当該組み合わせの参照ライン及びイントラ予測モードに従って生成され得る。更に、差分絶対値和（ＳＡＤ）コストなどのテンプレートマッチングコストが、テンプレートエリアの投影とテンプレートエリアとの間で計算される。例において、コストが最も低い最初の２０個の組み合わせは、組み合わせ候補リストを形成するようコスト昇順で組み合わせからプルーニングされる。
【0079】
いくつかの例で、ＴＭＲＬの第３の側面はＴＭＲＬのシグナリングに関係がある。ＥＣＭ又はＶＴＭなどのいくつかの例で、複数参照ライン（ＭＲＬ）は、一次ＭＰＭリストからの非プレーナーイントラ予測モードと組み合わされる。拡張参照ラインが選択される場合、最大６個までのコンテキストコーディングされたビン（context-coded bins）及び３つの等確率（equi-probable）（ＥＰ）ビンが、ＭＲＬとＭＰＭインデックスとの組み合わせを表すために使用され得る。いくつかの例で、ＴＭＲＬモードでは、除数４によるトランケーテッドＧｏｌｏｍｂ－Ｒｉｃｅコーディングが、組み合わせリストからの選択された組み合わせをコーディングするために用いられる。
【0080】
図９は、いくつかの例におけるＴＭＲＬモードでの二値化プロセス及びコードワードの表を示す。
【0081】
いくつかの例で、ＴＭＲＬの第４の側面は、エンコーダ側の変更に関係がある。例において、エンコーダ側の変更は、コーディング効率を更に向上させるために実行される。例において、８×８よりも大きいイントラブロックの場合、より多くのフルレートひずみ最適化（ＲＤＯ）が、変換された差の絶対値の合計（ＳＡＴＤ）コストを閾値と比較した後に、選択されたイントラ予測モードに対して許され得る。
【0082】
本開示のいくつかの態様は、ＴＭＲＬのための技術を提供する。
【0083】
以下の説明では、コーディングブロックの最も近い参照ラインのラインインデックスは０であり、最も近い参照ラインは、ゼロ参照ライン又は隣接参照ラインとも呼ばれ、他の参照ラインは、非ゼロ参照ライン又は非隣接参照ラインと呼ばれる。
【0084】
以下の説明では、テンプレートは、現在コーディングブロックの特定の参照ライン内の上近接サンプル、左近接サンプル、右近接サンプル及び下近接サンプルを参照し得る。
【0085】
図１０は、いくつかの例における参照ラインのテンプレートの図を示す。図１０の例では、参照ライン０のテンプレートは（１０２０）によって示されており、現在コーディングブロック（１０１０）のテンプレートとも呼ばれ、参照ライン１のテンプレートは（１０３０）によって示されており、参照ライン２のテンプレートは（１０４０）によって示されている。
【0086】
図１１は、いくつかの例における参照ラインのテンプレートの他の図を示す。図１１の例では、参照ライン０の上部テンプレートは（１１２５）によって示されており、現在コーディングブロック（１１１０）の上部テンプレートとも呼ばれる。例において、イントラ予測モードによって指示され得る予測方向（１１３５）に従って、上部テンプレート（１１２５）は非ゼロ参照ラインに投影され得る。非ゼロ参照ライン内の投影されたテンプレートは、いくつかの例では参照テンプレートとも呼ばれる。例えば、予測方向（１１３５）に基づいて、上部テンプレート（１１２５）は、参照ライン２の上部テンプレート（１１４５）に投影される。上部テンプレート（１１４５）は、予測方向に従う参照ライン２内の上部テンプレート（１１２５）の投影である。
【0087】
図１１の例では、参照ライン０の左部テンプレートは（１１５５）によって示されており、現在コーディングブロック（１１１０）の左部テンプレートとも呼ばれる。例において、予測方向（１１６５）に従って、左部テンプレート（１１５５）は非ゼロ参照ラインに投影され得る。非ゼロ参照ライン内の投影されたテンプレートは、いくつかの例では参照テンプレートとも呼ばれる。例えば、予測方向（１１６５）に基づいて、左部テンプレート（１１５５）は、参照ライン２の左部テンプレート（１１７５）に投影される。左部テンプレート（１１７５）は、予測方向に従う左部テンプレート（１１５５）の投影である。
【0088】
本開示のいくつかの態様に従って、ＴＭＲＬ方法に加えて重み付けが適用される。いくつかの例で、参照ライン０のテンプレートはｔｅｍｐｌａｔｅ０で表記され、参照ラインｉ（ｉはゼロではない。）のテンプレート（参照テンプレートとも呼ばれる。）はｔｅｍｐｌａｔｅｉで表記され、エントリインデックスｘ（例えば、参照ライン０のテンプレート内のサンプル位置ｘ）での２つのテンプレートの差はｔｅｍｐｌａｔｅｄｅｌｔａ（ｘ）で表記され、式（１）に従って計算され得る：
【数1】
【0089】
本開示のいくつかの態様に従って、重み付けは、参照テンプレートのコストを計算するためにｔｅｍｐｌａｔｅｄｅｌｔａの各エントリに適用される。
【0090】
いくつかの例で、重み付けは、例えば式（２）に従って、テンプレートマッチングコストを計算する前に、ｔｅｍｐｌａｔｅｄｅｌｔａ内の各エントリに適用される：
ここで、ｗｅｉｇｈｔ（ｘ）は、テンプレートにおいて位置ｘに位置するエントリに適用される重みを表し、ｆは、差分絶対値和（ＳＡＤ）、二乗和誤差（ＳＳＥ）、平均平方和（ＭＳＥ）、変換された差の絶対値の合計（ＳＡＴＤ）などを含むがそれらに限られないコスト関数である。
【数2】
【0091】
実施形態において、エントリｘ（サンプル位置ｘとも呼ばれる。）の重み値は、参照ライン０のテンプレート及び参照ラインｉの参照テンプレート内のサンプル値と、エントリｘに対する隣接位置のサンプル値とに依存する。
【0092】
他の実施形態では、エントリｘの重み値は、参照ライン０のテンプレート及び位置ｘ及び隣接位置、例えば位置ｘ－１及び／又は位置ｘ＋１に位置している参照ラインｉの参照テンプレート内のサンプル値間の差に依存する。
【0093】
他の実施形態では、エントリｘの重み値は、参照ライン０のテンプレート及び位置ｘに位置している参照ラインｉの参照テンプレート内のサンプルの勾配値に依存する。
【0094】
いくつかの例で、予測方向に応じて、テンプレートの部分が、テンプレートマッチングコストを計算するために使用される。
【0095】
実施形態において、予測方向が例えば垂直である場合、参照サンプルは、上側で隣接している再構成されたサンプルに由来し、例えば、上部テンプレートがコストの計算に使用され得る。例において、垂直方向（垂直イントラ予測モード）のインデックスは５０であり、垂直方向のインデックスに対する予測方向（イントラ予測モード）のインデックスの絶対差は閾値（例えば、６）よりも小さく、その場合、上部テンプレートがテンプレートマッチングコストの計算に使用され得る。
【0096】
他の実施形態では、予測方向が例えば水平である場合、すなわち、参照サンプルは、左側で隣接している再構成されたサンプルに由来し、例えば、左部テンプレートが使用される。例において、水平方向（水平イントラ予測モード）のインデックスは１８であり、水平方向のインデックスに対する予測方向（イントラ予測モード）のインデックスの絶対差は閾値（例えば、６）よりも小さく、その場合、左部テンプレートがテンプレートマッチングコストの計算に使用され得る。
【0097】
他の実施形態では、予測方向が水平方向と垂直方向との間である場合、すなわち、参照サンプルは、上側及び左側の両方で隣接している再構成されたサンプルに由来し、例えば、上部テンプレート及び左部テンプレートがテンプレートマッチングコストの計算に使用される。
【0098】
いくつかの例で、参照サンプルが再構成された後、平滑化プロセスが参照サンプルに適用されてもよい。いくつかの実施形態で、平滑化プロセス前の再構成された参照サンプルは、テンプレートマッチングコストを計算するために使用される。
【0099】
いくつかの実施形態で、候補参照ラインとイントラ予測モードとの組み合わせに関連したテンプレートマッチングコストが計算された後、事前定義された範囲［ａ，ｂ］内にあるテンプレートマッチングコストが選択され、事前定義された範囲［ａ，ｂ］内の選択されたテンプレートマッチングコストに関連した、候補参照ラインとイントラ予測モードとの組み合わせが、現在コーディングブロックに利用可能であると決定される。例において、ａ及びｂは両方とも、０よりも大きい値である。
【0100】
いくつかの実施形態で、テンプレートマッチングコストが［ａ，ｂ］内である、候補参照ラインとイントラ予測モードとの組み合わせの数がＮに満たない場合、Ｎは利用可能な組み合わせの必要数を示し、テンプレートマッチングコストが［ａ，ｂ］の範囲外である、候補参照ラインとイントラ予測モードとの組み合わせが、利用可能な組み合わせの数がＮであるようにするために、利用可能な組み合わせに追加され得る。
【0101】
いくつかの実施形態で、テンプレートマッチングコストが［ａ，ｂ］内である、候補参照ラインとイントラ予測モードとの組み合わせの数がＮよりも多い場合、Ｎは利用可能な組み合わせの必要数を示し、参照ライン０により近い（つまり、より低いテンプレートマッチングコストを持った）、候補参照ラインとイントラ予測モードとの最初のＮ個の組み合わせのみが、利用可能な組み合わせとして選択される。
【0102】
本開示の態様に従って、参照ラインｉ及び参照ラインｊなどの２つの参照ラインの間でテンプレートマッチングコストを計算するために、参照ラインｉ内のテンプレートの整数サンプルを参照ラインｊに投影すること、又は参照ラインｊ内のテンプレートの整数サンプルを参照ラインｉに投影することによって、補間が適用されてもよい。
【0103】
いくつかの例で、投影点が参照ライン内の２つの整数サンプル間の分数位置にある場合、補間は、分数サンプル値を生成するよう適用される。
【0104】
いくつかの例で、補間方法は、角度（指向性）イントラ予測における補間プロセスで使用されると同じであってよい。
【0105】
いくつかの例で、補間方法は、角度（指向性）イントラ予測で使用される補間と比較して異なる補間であってもよい。例えば、補間方法には、双線形補間、４タップキュービック補間、最近傍整数、などがある。
【0106】
図１２は、本開示の実施形態に従うプロセス（１２００）を説明するフローチャートを示す。プロセス（１２００）はビデオエンコーダで使用され得る。様々な実施形態で、プロセス（１２００）は、ビデオエンコーダ（２０３）の機能を実行する処理回路、ビデオエンコーダ（３０３）の機能を実行する処理回路、などのような処理回路によって実行される。いくつかの実施形態で、プロセス（１２００）は、ソフトウェア命令で実施されるので、処理回路がソフトウェア命令を実行するとき、処理回路はプロセス（１２００）を実行する。プロセス（１２００）は（Ｓ１２０１）から始まって、（Ｓ１２１０）へ進む。
【0107】
（Ｓ１２１０）で、ピクチャ内の現在コーディングブロックのイントラ予測のための参照ライン及びイントラ予測モードの組み合わせが決定される。例において、現在コーディングブロックは、イントラ予測によってコーディングされていると決定される。参照ラインの第１候補リストが決定され、イントラ予測モードの第２候補リストが決定される。次いで、参照ラインとイントラ予測モードとの組み合わせが決定される。前記組み合わせの中の各組み合わせは、前記参照ラインの中の参照ラインと、前記イントラ予測モードの中のイントラ予測モードとを含む。例えば、前記組み合わせの中の第１組み合わせは、前記参照ラインの中の第１参照ラインと、前記イントラ予測モードの中の第１イントラ予測モードとを含む。
【0108】
（Ｓ１２２０）で、第１組み合わせについて、現在コーディングブロックのテンプレートのエントリに夫々関連したテンプレートエントリデルタ値が、第１参照ライン及び第１イントラ予測モードに基づき計算される。
【0109】
（Ｓ１２３０）で、第１組み合わせに関連した第１テンプレートマッチングコスト値が、テンプレートエントリデルタ値の不等な重み付けによって計算される。
【0110】
（Ｓ１２４０）で、参照ライン及びイントラ予測モードの前記組み合わせが、前記組み合わせに夫々関連したテンプレートマッチングコスト値に従ってソートされる。前記組み合わせに関連したテンプレートマッチングコスト値は、第１組み合わせに関連した第１テンプレートマッチングコスト値を含む。
【0111】
（Ｓ１２５０）で、特定の組み合わせが、ソートされた組み合わせから選択される。例えば、特定の組み合わせは、レートひずみ最適化に基づき選択される。
【0112】
（Ｓ１２６０）で、特定の組み合わせを示す信号が、ピクチャの符号化された情報を運ぶビットストリームにおいて符号化される。
【0113】
いくつかの実施形態で、現在コーディングブロックのテンプレートは、エントリとして現在コーディングブロックへの近接サンプル（例えば、参照ライン０内）を含む。現在コーディングブロックのテンプレートに対応する第１参照ライン内の参照テンプレートが第１イントラ予測モードに基づき決定され、参照テンプレートは、テンプレートのエントリに夫々対応する参照エントリを含む。
【0114】
いくつかの実施形態で、第１テンプレートエントリデルタ値が、テンプレートのエントリの中の第１エントリと参照テンプレートの参照エントリの中の第１参照エントリとの間の差として計算される。いくつかの例で、第１テンプレートエントリデルタ値を重み付けする重みが、少なくとも第１エントリ及び第１参照エントリに基づき決定される。
【0115】
いくつかの例で、第１テンプレートエントリデルタ値を重み付けする重みは、第１エントリと、第１参照エントリと、第１参照エントリの１つ以上の隣接参照エントリとに基づき決定される。
【0116】
いくつかの例で、第１テンプレートエントリデルタ値を重み付けする重みは、第１テンプレートエントリデルタ値と、テンプレートの隣接エントリに関連した１つ以上のテンプレートエントリデルタ値とに基づき決定される。
【0117】
いくつかの例で、第１テンプレートエントリデルタ値を重み付けする重みは、少なくとも第１エントリでの第１勾配値及び／又は第１参照エントリでの第２勾配値に基づき決定される。
【0118】
いくつかの例で、参照ライン０内の近接サンプルの一部は、テンプレートマッチングコスト値を計算するために使用される。例において、テンプレートマッチングコスト値は、現在コーディングブロックの上部テンプレート（例えば、上近接サンプルを含む。）に従って計算される。他の例では、テンプレートマッチングコスト値は、現在コーディングブロックの左部テンプレート（例えば、左近接サンプルを含む。）に従って計算される。
【0119】
いくつかの実施形態で、前記組み合わせのサブセットが、テンプレートマッチングコスト値の事前定義された範囲に基づき決定され、特定の組み合わせは、前記組み合わせのうちの前記サブセットから選択される。
【0120】
いくつかの例で、事前定義された範囲内の第１テンプレートマッチングコスト値を有する前記組み合わせのうちの第１サブセットが決定される。例において、前記組み合わせのうちの前記第１サブセット内の第１組み合わせ数が、利用可能な組み合わせの数要件を指定する特定の数よりも少ないことに応答して、事前定義された範囲外の第２テンプレートマッチングコスト値を有する１つ以上の第２組み合わせが選択され、第１サブセット及び１つ以上の第２組み合わせは前記組み合わせのうちの前記サブセットを形成し、前記サブセット内の組み合わせ数は前記特定の数に等しい。
【0121】
他の例では、前記組み合わせのうちの前記第１サブセット内の第１組み合わせ数が、利用可能な組み合わせの数要件を指定する特定の数よりも多いことに応答して、前記組み合わせのうちの前記サブセットは前記組み合わせのうちの前記第１サブセットから選択され、前記サブセット内の組み合わせ数は前記特定の数に等しい。例えば、最も低いテンプレートマッチングコスト値を有する前記組み合わせのうちの前記サブセットが、第１サブセットから選択される。他の例では、テンプレートに対する最も近い参照ラインを有する前記組み合わせのうちの前記サブセットが、第１サブセットから選択される。
【0122】
いくつかの例で、テンプレートは第２参照ライン内にあり、テンプレートのエントリの投影点は第１参照ライン内の２つのサンプル間の分数位置にあり、テンプレートのエントリに関連した参照エントリは、少なくとも前記２つのサンプルに基づいた補間に従って生成される。
【0123】
それから、プロセスは（Ｓ１２９９）へ進んで終了する。
【0124】
プロセス（１２００）は適切に適応され得る。プロセス（１２００）のステップは変更及び／又は省略され得る。追加のステップが加えられ得る。実施の如何なる適切な順序も使用され得る。
【0125】
図１３は、本開示の実施形態に従うプロセス（１３００）を説明するフローチャートを示す。プロセス（１３００）はビデオデコーダで使用され得る。様々な実施形態で、プロセス（１３００）は、ビデオデコーダ（１１０）の機能を実行する処理回路、ビデオデコーダ（２１０）の機能を実行する処理回路、などのような処理回路によって実行される。いくつかの実施形態で、プロセス（１３００）は、ソフトウェア命令で実施されるので、処理回路がソフトウェア命令を実行するとき、処理回路はプロセス（１３００）を実行する。プロセス（１３００）は（Ｓ１３０１）から始まって、（Ｓ１３１０）へ進む。
【0126】
（Ｓ１３１０）で、ピクチャ内の現在コーディングブロックのイントラ予測のための参照ライン及びイントラ予測モードの組み合わせが決定される。例において、参照ラインの第１候補リストが決定され、イントラ予測モードの第２候補リストが決定される。次いで、参照ラインとイントラ予測モードとの組み合わせが決定される。前記組み合わせの中の各組み合わせは、前記参照ラインの中の参照ラインと、前記イントラ予測モードの中のイントラ予測モードとを含む。例えば、前記組み合わせのうちの第１組み合わせは、前記参照ラインの中の第１参照ラインと、前記イントラ予測モードの中の第１イントラ予測モードとを含む。
【0127】
（Ｓ１３２０）で、第１組み合わせについて、現在コーディングブロックのテンプレートのエントリに夫々関連したテンプレートエントリデルタ値が、第１参照ライン及び第１イントラ予測モードに基づき計算される。
【0128】
（Ｓ１３３０）で、第１組み合わせに関連した第１テンプレートマッチングコスト値が、テンプレートエントリデルタ値の不等な重み付けによって計算される。
【0129】
（Ｓ１３４０）で、前記参照ライン及び前記イントラ予測モードの前記組み合わせが、前記組み合わせに夫々関連したテンプレートマッチングコスト値に従ってソートされる。前記組み合わせに関連したテンプレートマッチングコスト値は、第１組み合わせに関連した第１テンプレートマッチングコスト値を含む。
【0130】
（Ｓ１３５０）で、特定の組み合わせが、ソートされた組み合わせから選択される。いくつかの例で、ソートされた組み合わせの中の特定の組み合わせのインデックスを示す信号は復号され、特定の組み合わせは、復号された信号に基づき選択される。
【0131】
（Ｓ１３６０）で、現在コーディングブロックは、参照ライン及びイントラ予測モードを含む前記特定の組み合わせに従って再構成される。
【0132】
いくつかの実施形態で、現在コーディングブロックの前記テンプレートは、エントリとして現在コーディングブロックへの近接サンプルを含む。現在コーディングブロックのテンプレートに対応する第１参照ライン内の参照テンプレートが第１イントラ予測モードに基づき決定され、参照テンプレートは、テンプレートの前記エントリに夫々対応する参照エントリを含む。
【0133】
いくつかの実施形態で、第１テンプレートエントリデルタ値が、テンプレートのエントリの中の第１エントリと参照テンプレートの参照エントリの中の第１参照エントリとの間の差として計算され、第１参照エントリは第１エントリに対応する。いくつかの例で、第１テンプレートエントリデルタ値を重み付けする重みが、少なくとも第１エントリ及び第１参照エントリに基づき決定される。
【0134】
いくつかの例で、第１テンプレートエントリデルタ値を重み付けする重みは、第１エントリと、第１参照エントリと、第１参照エントリの１つ以上の隣接参照エントリとに基づき決定される。
【0135】
いくつかの例で、第１テンプレートエントリデルタ値を重み付けする重みは、第１テンプレートエントリデルタ値と、テンプレートの隣接エントリに関連した１つ以上のテンプレートエントリデルタ値とに基づき決定される。
【0136】
いくつかの例で、第１テンプレートエントリデルタ値を重み付けする重みは、少なくとも第１エントリでの第１勾配値及び／又は第１参照エントリでの第２勾配値に基づき決定される。
【0137】
いくつかの例で、参照ライン０内の近接サンプルの一部が、テンプレートマッチングコスト値を計算するために使用される。例において、テンプレートマッチングコスト値は、現在コーディングブロックの上部テンプレート（例えば、上近接サンプルを含む。）に従って計算される。他の例では、テンプレートマッチングコスト値は、現在コーディングブロックの左部テンプレート（例えば、左近接サンプルを含む。）に従って計算される。
【0138】
いくつかの実施形態で、前記組み合わせのサブセットが、テンプレートマッチングコスト値の事前定義された範囲に基づき決定され、特定の組み合わせは、前記組み合わせの前記サブセットから選択される。
【0139】
いくつかの例で、事前定義された範囲内の第１テンプレートマッチングコスト値を有する前記組み合わせのうちの第１サブセットが決定される。例において、前記組み合わせのうちの前記第１サブセット内の第１組み合わせ数が、利用可能な組み合わせの数要件を指定する特定の数よりも少ないことに応答して、事前定義された範囲外の第２テンプレートマッチングコスト値を有する１つ以上の第２組み合わせが選択され、第１サブセット及び１つ以上の第２組み合わせは、前記組み合わせのうちの前記サブセットを形成し、前記サブセット内の組み合わせ数は前記特定の数に等しい。
【0140】
他の例では、前記組み合わせのうちの前記第１サブセット内の第１組み合わせ数が、利用可能な組み合わせの数要件を指定する特定の数よりも多いことに応答して、前記組み合わせのうちの前記サブセットは、前記組み合わせのうちの前記第１サブセットから選択され、前記サブセット内の組み合わせ数は前記特定の数に等しい。例えば、最も低いテンプレートマッチングコスト値を有する前記組み合わせのうちの前記サブセットが、第１サブセットから選択される。他の例では、テンプレートに対する最も近い参照ラインを有する前記組み合わせのうちの前記サブセットが、第１サブセットから選択される。
【0141】
いくつかの例で、テンプレートは第２参照ライン内にあり、テンプレートのエントリの投影点は、第１参照ライン内の２つのサンプル間の分数位置にあり、テンプレートのエントリに関連した参照エントリは、少なくとも前記２つのサンプルに基づいた補間に従って生成される。
【0142】
それから、プロセスは（Ｓ１３９９）へ進んで終了する。
【0143】
プロセス（１３００）は適切に適応され得る。プロセス（１３００）のステップは変更及び／又は省略され得る。追加のステップが加えられ得る。実施の如何なる適切な順序も使用され得る。
【0144】
上記の技術は、コンピュータ読み出し可能な命令を使用しかつ１つ以上のコンピュータ可読媒体に物理的に記憶されているコンピュータソフトウェアとして実装可能である。例えば、図１４は、開示されている対象の特定の実施形態を実装することに適したコンピュータシステム（１４００）を示す。
【0145】
コンピュータソフトウェアは、１つ以上の中央演算処理装置（ＣＰＵ）、グラフィクス処理ユニット（ＧＰＵ）などによって直接に又は解釈、マイクロコード実行などを通じて実行され得る命令を含むコードを生成するように、アセンブリ、コンパイル、リンキングなどのメカニズムに従い得る如何なる適切な機械コード又はコンピュータ言語によってもコーディング可能である。
【0146】
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム機、モノのインターネット（Internet of Things）のためのデバイス、などを含む様々なタイプのコンピュータ又はその構成要素で実行可能である。
【0147】
コンピュータシステム（１４００）に関して図１４に示される構成要素は、本質的に例示であり、本開示の実施形態を実装するコンピュータソフトウェアの使用又は機能の範囲に関して如何なる限定も示唆することを意図しない。構成要素の構成は、コンピュータシステム（１４００）の例示的な実施形態において説明される構成要素のうちのいずれか１つ又は組み合わせに関して何らかの依存又は要件を有するものとして解釈されるべきではない。
【0148】
コンピュータシステム（１４００）は、特定のヒューマンインターフェース入力デバイスを含んでよい。かようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（例えば、キーボード、スワイプ、データグロープ動作）、音声入力（例えば、声、拍手）、視覚入力（例えば、ジェスチャ）、嗅覚入力（図示せず。）を通じた一人以上のユーザによる入力に反応し得る。ヒューマンインターフェースデバイスはまた、音声（例えば、発話、音楽、周囲音）、画像（例えば、スキャンされた画像、静止画カメラから取得された写真画像）、映像（例えば、二次元映像、立体視映像を含む三次元映像）などの、人による意識的な入力に必ずしも直接には関係しない特定のメディアを捕捉するためにも使用できる。
【0149】
入力ヒューマンインターフェースデバイスは、キーボード（１４０１）、マウス（１４０２）、トラックパッド（１４０３）、タッチスクリーン（１４１０）、データグローブ（図示せず。）、ジョイスティック（１４０５）、マイク（１４０６）、スキャナ（１４０７）、カメラ（１４０８）（各１つしか表されていない。）のうちの１つ以上を含んでもよい。
【0150】
コンピュータシステム（１４００）は、特定のヒューマンインターフェース出力デバイスも含んでよい。かようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音響、光、及び匂い／味を通じて一人以上のユーザの感覚を刺激し得る。かようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（１４１０）、データグローブ（図示せず。）、又はジョイスティック（１４０５）による触覚フィードバック、しかし、入力デバイスとして機能しない触覚フィードバックデバイスも存在し得る。）、音声出力デバイス（例えば、スピーカ（１４０９）、ヘッドホン（図示せず。））、視覚出力デバイス（例えば、夫々タッチスクリーン入力機能の有無によらず、夫々触覚フィードバック機能の有無によらず、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含み、それらのうちのいくつかは、立体視出力、仮想現実メガネ（図示せず。）、ホログラフィックディスプレイ及びスモークタンク（図示せず。）などの手段により二次元視覚出力又は三次元よりも多い次元の出力を出力可能なスクリーン（１４１０））、及びプリンタ（図示せず。）を含んでもよい。
【0151】
コンピュータシステム（１４００）は、人がアクセス可能な記憶デバイス及びそれらの関連する媒体、例えば、ＣＤ／ＤＶＤ又は同様の媒体（１４２１）を含むＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１４２０）、サムドライブ（１４２２）、リムーバブルハードディスク又はソリッドステートドライブ（１４２３）、レガシー磁気媒体、例えば、テープ及びフロッピー（登録商標）ディスク（図示せず。）、専用のＲＯＭ／ＡＳＩＣ／ＰＬＤベースデバイス、例えば、セキュリティドングル（図示せず。）、なども含むことができる。
【0152】
当業者であれば、目下開示されている対象に関連して使用されている「コンピュータ可読媒体」という用語が、伝送媒体、搬送波、又は他の一時的な信号を含まないことも理解するはずである。
【0153】
コンピュータシステム（１４００）は、１つ以上の通信ネットワーク（１４５５）へのインターフェース（１４５４）も含むことができる。ネットワークは、例えば、ワイヤレス、ワイヤライン、光であることができる。ネットワークは更に、ローカル、ワイドエリア、メトロポリタン、車両及び工業、実時間、遅延耐性、などであることができる。ネットワークの例には、イーサネット（登録商標）などのローカルエリアネットワーク、ワイヤレスＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、及び地上放送ＴＶを含むＴＶワイヤライン又はワイヤレス広域デジタルネットワーク、ＣＡＮバスを含む車両及び工場ネットワーク、などがある。特定のネットワークは、一般に、特定の汎用デジタルポート又はペリフェラルバス（１４４９）（例えば、コンピュータシステム（１４００）のＵＳＢポートなど）に取り付けられた外付けネットワークインターフェースアダプタを必要とする。他は、一般に、後述されるようなシステムバスへの取り付け（例えば、ＰＣコンピュータシステムへのイーサネットネットワーク、又はスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）によってコンピュータシステム（１４００）のコアに組み込まれる。これらのネットワークのいずれかを使用して、コンピュータシステム（１４００）は他のエンティティと通信することができる。そのような通信は、単方向の受信専用（例えば、ブロードキャストＴＶ）又は単方向の送信専用（例えば、特定のＣＡＮバスデバイスへのＣＡＮバス）であることができ、あるいは、例えば、ローカル若しくは広域デジタルネットワークを使用して他のコンピュータシステムに対して双方向であることができる。特定のプロトコル又はプロトコルスタックが、上述されたようなネットワーク及びネットワークインターフェースの夫々で使用可能である。
【0154】
上記のヒューマンインターフェースデバイス、人がアクセス可能な記憶デバイス、及びネットワークインターフェースは、コンピュータシステム（１４００）のコア（１４４０）へ取り付けられ得る。
【0155】
コア（１４４０）は、１つ以上の中央演算処理装置（ＣＰＵ）（１４４１）、グラフィクス処理ユニット（ＧＰＵ）（１４４２）、フィールドプログラマブルゲートエリア（ＦＰＧＡ）（１４４３）の形をとる専用のプログラム可能処理ユニット、特定のタスク用のハードウェアアクセラレータ（１４４４）、グラフィクスアダプタ（１４５０）などを含むことができる。これらのデバイスは、リードオンリーメモリ（ＲＯＭ）（１４４５）、ランダムアクセスメモリ（ＲＡＭ）（１４４６）、内部のユーザアクセス不能ハードドライブなどの内蔵大容量記憶装置、ＳＳＤ、など（１４４７）とともに、システムバス（１４４８）を通じて接続されてもよい。いくつかのコンピュータシステムでは、システムバス（１４４８）は、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にするように、１つ以上の物理プラグの形でアクセス可能であることができる。コアのシステムバス（１４４８）へ直接に又はペリフェラルバス（１４４９）を通じて、周辺機器が取り付けられ得る。例において、ディスプレイ（１４１０）は、グラフィクスアダプタ（１４５０）へ接続され得る。ペリフェラルバスのためのアーキテクチャには、ＰＣＩ、ＵＳＢなどがある。
【0156】
ＣＰＵ（１４４１）、ＧＰＵ（１４４２）、ＦＰＧＡ（１４４３）、及びアクセラレータ（１４４４）は、組み合わせて上記のコンピュータコードを構成することができる特定の命令を実行可能である。そのコンピュータコードはＲＯＭ（１４４５）又はＲＡＭ（１４４６）に記憶できる。一時データもＲＡＭ（１４４６）に記憶でき、一方、永続性データは、例えば内蔵大容量記憶装置（１４４７）に記憶できる。メモリデバイスのいずれかへの高速な格納及び読み出しは、キャッシュメモリの使用により可能にされ得る。キャッシュメモリは、１つ以上のＣＰＵ（１４４１）、ＧＰＵ（１４４２）、大容量記憶装置（１４４７）、ＲＯＭ（１４４５）、ＲＡＭ（１４４６）などと密接に関連し得る。
【0157】
コンピュータ可読媒体は、様々なコンピュータ実装動作を実行するためのコンピュータコードを有することができる。媒体及びコンピュータコードは、本開示の目的のために特別に設計及び構成されたものであることができ、あるいは、それらは、コンピュータソフトウェア技術における当業者によく知られており利用可能である種類のものであることができる。
【0158】
例として、限定としてではなく、アーキテクチャ（１４００）、具体的にはコア（１４４０）を有するコンピュータシステムは、１つ以上の有形なコンピュータ可読媒体において具現化されているソフトウェアを実行するプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ、などを含む。）の結果として、機能を提供することができる。かようなコンピュータ可読媒体は、コア内蔵大容量記憶装置（１４４７）又はＲＯＭ（１４４５）などの、非一時的な性質を持っているコア（１４４０）の特定の記憶装置に加えて、先に紹介されたユーザアクセス可能な大容量記憶装置に関連した媒体であることができる。本開示の様々な実施形態を実装するソフトウェアは、そのようなデバイスに記憶され、コア（１４４０）によって実行可能である。コンピュータ可読媒体には、特定のニーズに応じて、１つ以上のメモリデバイス又はチップが含まれ得る。ソフトウェアは、コア（１４４０）、及び、具体的には、その中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む。）に、ＲＡＭ（１４４６）に記憶されているデータ構造を定義することと、ソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を変更することとを含め、本明細書で説明されている特定のプロセス又は特定のプロセスの特定の部分を実行させることができる。追加的に、又は代替案として、コンピュータシステムは、本明細書で説明されている特定のプロセス又は特定のプロセスの特定の部分を実行するようにソフトウェアの代わりに又はそれとともに動作することができる、回路内でハードワイヤードされているか又は別なふうに具現化されているロジック（例えば、アクセラレータ（１４４４））の結果として、機能を提供することができる。ソフトウェアへの言及は、必要に応じて、ロジックを包含することができ、その逆も同様である。コンピュータ可読媒体への言及は、必要に応じて、実行用のソフトウェアを記憶している回路（例えば、集積回路（ＩＣ））、実行用のロジックを具現化する回路、又はその両方を包含することができる。本開示は、ハードウェア及びソフトウェアの如何なる適切な組み合わせも包含する。
【0159】
本開示内の「・・・の少なくとも１つ」の使用は、記載されている要素の任意の１つ又は組み合わせを含むよう意図される。例えば、Ａ、Ｂ又はＣの少なくとも１つ；Ａ、Ｂ及びＣの少なくとも１つ；Ａ、Ｂ及び／又はＣの少なくとも１つ；並びに、Ａ乃至Ｃの少なくとも１つは、Ａのみ、Ｂのみ、Ｃのみ、又はそれらの任意の組み合わせを含むよう意図される。
【0160】
本開示は、いくつかの例示的な実施形態について記載してきたが、本開示の範囲内にある代替、交換、及び様々な置換均等物が存在する。よって、明らかなように、当業者であれば、たとえ本明細書で明示的に図示又は説明されていないとしても、本開示の原理を具現化し、よって、その精神及び範囲の中にある多数のシステム及び方法に想到可能である。
【0161】
［参照による援用］
本願は、２０２２年７月１３日に「Template matching for multiple reference line intra prediction」という発明の名称で出願された米国特許仮出願第６３／３８８９０９号の優先権の利益を主張して２０２３年６月８日に「TEMPLATE MATCHING FOR MULTIPLE REFERENCE LINE INTRA PREDICTION」という発明の名称で出願された米国特許出願第１８／２０７５８７号の優先権の利益を主張するものである。これらの先願の開示は、その全文を参照により本願に援用される。
本願は、２０２２年７月１３日に「Template matching for multiple reference line intra prediction」という発明の名称で出願された米国特許仮出願第６３／３８８９０９号の優先権の利益を主張して２０２３年６月８日に「TEMPLATE MATCHING FOR MULTIPLE REFERENCE LINE INTRA PREDICTION」という発明の名称で出願された米国特許出願第１８／２０７５８７号の優先権の利益を主張するものである。これらの先願の開示は、その全文を参照により本願に援用される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【国際調査報告】