IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ クゥアルコム・インコーポレイテッドの特許一覧

特表2024-501154ビデオコーディングのための複数仮説予測
<>
  • 特表-ビデオコーディングのための複数仮説予測 図1
  • 特表-ビデオコーディングのための複数仮説予測 図2A
  • 特表-ビデオコーディングのための複数仮説予測 図2B
  • 特表-ビデオコーディングのための複数仮説予測 図3
  • 特表-ビデオコーディングのための複数仮説予測 図4
  • 特表-ビデオコーディングのための複数仮説予測 図5
  • 特表-ビデオコーディングのための複数仮説予測 図6
  • 特表-ビデオコーディングのための複数仮説予測 図7
  • 特表-ビデオコーディングのための複数仮説予測 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-01-11
(54)【発明の名称】ビデオコーディングのための複数仮説予測
(51)【国際特許分類】
   H04N 19/577 20140101AFI20231228BHJP
   H04N 19/105 20140101ALI20231228BHJP
   H04N 19/159 20140101ALI20231228BHJP
   H04N 19/176 20140101ALI20231228BHJP
   H04N 19/46 20140101ALI20231228BHJP
【FI】
H04N19/577
H04N19/105
H04N19/159
H04N19/176
H04N19/46
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023533329
(86)(22)【出願日】2021-12-16
(85)【翻訳文提出日】2023-05-31
(86)【国際出願番号】 US2021063856
(87)【国際公開番号】W WO2022140160
(87)【国際公開日】2022-06-30
(31)【優先権主張番号】63/130,232
(32)【優先日】2020-12-23
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/644,519
(32)【優先日】2021-12-15
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】595020643
【氏名又は名称】クゥアルコム・インコーポレイテッド
【氏名又は名称原語表記】QUALCOMM INCORPORATED
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】ファン、ハン
(72)【発明者】
【氏名】ルーズ、ケビン
(72)【発明者】
【氏名】セレジン、バディム
(72)【発明者】
【氏名】カルチェビチ、マルタ
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159MA04
5C159MA05
5C159MA23
5C159MC11
5C159ME01
5C159PP04
5C159RC11
5C159TA25
5C159TB08
5C159TC24
5C159UA02
5C159UA05
(57)【要約】
ビデオデータを復号するための例示的なデバイスが、第1の重みと第2の重みとが、ビデオデータの双予測モード予測された現在ブロックについて指定されると決定することと、現在ブロックが、双予測モードをベースモードとして複数仮説予測(MHP)モードを使用して予測されるべきであるかどうかを決定することと、現在ブロックが、双予測モードをベースモードとしてMHPモードを使用して予測されるべきであると決定したことに応答して、MHPモードの追加のインター予測モードを決定することと、双予測モードに従って第1の予測ブロックを生成することと、追加のインター予測モードに従って第2の予測ブロックを生成することと、第1の予測ブロックと第2の予測ブロックとを使用してMHPモードに従って現在ブロックについての最終予測ブロックを生成することと、最終予測ブロックを使用して現在ブロックを復号することとを行うように構成された1つまたは複数のプロセッサを含む。
【特許請求の範囲】
【請求項1】
ビデオデータを復号する方法であって、前記方法は、
第1の重みと第2の重みとが、双予測モードを使用してインター予測コーディングされたビデオデータの現在ブロックについて指定されると決定することと、ここにおいて、前記第1の重みが前記第2の重みとは異なる、
前記第1の重みと前記第2の重みとが指定されると決定したことに応答して、前記現在ブロックが、前記双予測モードをベースモードとして複数仮説予測(MHP)モードを使用して予測されるべきであるかどうかを決定することと、
前記現在ブロックが、前記双予測モードを前記ベースモードとして前記MHPモードを使用して予測されるべきであると決定したことに応答して、前記MHPモードの追加のインター予測モードを決定することと、
前記双予測モードに従って第1の予測ブロックを生成することと、
前記追加のインター予測モードに従って第2の予測ブロックを生成することと、
前記第1の予測ブロックと前記第2の予測ブロックとを使用して前記MHPモードに従って前記現在ブロックについての最終予測ブロックを生成することと、
前記最終予測ブロックを使用して前記現在ブロックを復号することと
を備える、方法。
【請求項2】
前記現在ブロックが、MHPを使用して予測されるべきであるかどうかを決定することは、前記第1の重みが4に等しくない、および前記第2の重みが4に等しくないとき、前記現在ブロックが、MHPを使用して予測されるべきであると決定することを備える、請求項1に記載の方法。
【請求項3】
前記現在ブロックが、MHPを使用して予測されるべきであるかどうかを決定することは、前記第1の重みが前記第2の重みに等しくないとき、前記現在ブロックが、MHPを使用して予測されるべきであると決定することを備える、請求項1に記載の方法。
【請求項4】
前記双予測モードについて高度動きベクトル予測(AMVP)モードを使用して第1の動きベクトルを復号することと、
前記双予測モードについて前記AMVPモードを使用して第2の動きベクトルを復号することと、
前記追加のインター予測モードについて第3の動きベクトルを復号することと
をさらに備え、
ここにおいて、前記第1の予測ブロックを生成することが、
前記第1の動きベクトルを使用して第1の中間予測ブロックを生成することと、
前記第2の動きベクトルを使用して第2の中間予測ブロックを生成することと、
第1の重み付けされた中間予測ブロックを形成するために、前記第1の中間予測ブロックに前記第1の重みを適用することと、
第2の重み付けされた中間予測ブロックを形成するために、前記第2の中間予測ブロックに前記第2の重みを適用することと、
前記第1の予測ブロックを形成するために、前記第1の重み付けされた中間予測ブロックを前記第2の重み付けされた中間予測ブロックと組み合わせることと
を備え、
ここにおいて、前記第2の予測ブロックを生成することが、前記第3の動きベクトルを使用して前記第2の予測ブロックを生成することを備える、請求項1に記載の方法。
【請求項5】
前記第1の動きベクトルと前記第2の動きベクトルとについての動きベクトル差分(MVD)解像度を表すデータを復号することと、
前記第3の動きベクトルについての前記MVD解像度を表す追加のデータを復号することなしに、前記第3の動きベクトルが前記MVD解像度を有すると決定することと
をさらに備える、請求項4に記載の方法。
【請求項6】
前記最終予測ブロックを生成することが、
前記MHPモードについて第3の重みと第4の重みとを決定することと、
第1の重み付けされた予測ブロックを形成するために、前記第1の予測ブロックに前記第3の重みを適用することと、
第2の重み付けされた予測ブロックを形成するために、前記第2の予測ブロックに前記第4の重みを適用することと、
前記最終予測ブロックを形成するために、前記第1の重み付けされた予測ブロックを前記第2の重み付けされた予測ブロックと組み合わせることと
を備える、請求項1に記載の方法。
【請求項7】
前記第3の重みを決定することは、
インデックス値を復号することと、
前記インデックス値がマッピングテーブルにおいてマッピングされる前記第3の重みを決定することと
を備え、
前記第4の重みを決定することが、1-前記第3の重みとして、前記第4の重みを計算することを備える、請求項6に記載の方法。
【請求項8】
前記現在ブロックを復号することより前に、前記最終予測ブロックを使用して前記現在ブロックを符号化することをさらに備える、請求項1に記載の方法。
【請求項9】
ビデオデータを復号するためのデバイスであって、前記デバイスが、
ビデオデータを記憶するように構成されたメモリと、
回路中に実装された1つまたは複数のプロセッサと
を備え、前記1つまたは複数のプロセッサは、
第1の重みと第2の重みとが、双予測モードを使用してインター予測コーディングされたビデオデータの現在ブロックについて指定されると決定することと、ここにおいて、前記第1の重みが前記第2の重みとは異なる、
前記第1の重みと前記第2の重みとが指定されると決定したことに応答して、前記現在ブロックが、前記双予測モードをベースモードとして複数仮説予測(MHP)モードを使用して予測されるべきであるかどうかを決定することと、
前記現在ブロックが、前記双予測モードを前記ベースモードとして前記MHPモードを使用して予測されるべきであると決定したことに応答して、前記MHPモードの追加のインター予測モードを決定することと、
前記双予測モードに従って第1の予測ブロックを生成することと、
前記追加のインター予測モードに従って第2の予測ブロックを生成することと、
前記第1の予測ブロックと前記第2の予測ブロックとを使用して前記MHPモードに従って前記現在ブロックについての最終予測ブロックを生成することと、
前記最終予測ブロックを使用して前記現在ブロックを復号することと
を行うように構成された、デバイス。
【請求項10】
前記現在ブロックが、MHPを使用して予測されるべきであるかどうかを決定するために、前記1つまたは複数のプロセッサは、前記第1の重みが4に等しくない、および前記第2の重みが4に等しくないとき、前記現在ブロックが、MHPを使用して予測されるべきであると決定することを行うように構成された、請求項9に記載のデバイス。
【請求項11】
前記現在ブロックが、MHPを使用して予測されるべきであるかどうかを決定するために、前記1つまたは複数のプロセッサは、前記第1の重みが前記第2の重みに等しくないとき、前記現在ブロックが、MHPを使用して予測されるべきであると決定することを行うように構成された、請求項9に記載のデバイス。
【請求項12】
前記1つまたは複数のプロセッサが、
前記双予測モードについて高度動きベクトル予測(AMVP)モードを使用して第1の動きベクトルを復号することと、
前記双予測モードについて前記AMVPモードを使用して第2の動きベクトルを復号することと、
前記追加のインター予測モードについて第3の動きベクトルを復号することと
を行うようにさらに構成され、
ここにおいて、前記第1の予測ブロックを生成するために、前記1つまたは複数のプロセッサが、
前記第1の動きベクトルを使用して第1の中間予測ブロックを生成することと、
前記第2の動きベクトルを使用して第2の中間予測ブロックを生成することと、
第1の重み付けされた中間予測ブロックを形成するために、前記第1の中間予測ブロックに前記第1の重みを適用することと、
第2の重み付けされた中間予測ブロックを形成するために、前記第2の中間予測ブロックに前記第2の重みを適用することと、
前記第1の予測ブロックを形成するために、前記第1の重み付けされた中間予測ブロックを前記第2の重み付けされた中間予測ブロックと組み合わせることと
を行うように構成され、
ここにおいて、前記第2の予測ブロックを生成するために、前記1つまたは複数のプロセッサが、前記第3の動きベクトルを使用して前記第2の予測ブロックを生成することを行うように構成された、請求項9に記載のデバイス。
【請求項13】
前記1つまたは複数のプロセッサは、
前記第1の動きベクトルと前記第2の動きベクトルとについての動きベクトル差分(MVD)解像度を表すデータを復号することと、
前記第3の動きベクトルについての前記MVD解像度を表す追加のデータを復号することなしに、前記第3の動きベクトルが前記MVD解像度を有すると決定することと
を行うようにさらに構成された、請求項12に記載のデバイス。
【請求項14】
前記最終予測ブロックを生成するために、前記1つまたは複数のプロセッサが、
前記MHPモードについて第3の重みと第4の重みとを決定することと、
第1の重み付けされた予測ブロックを形成するために、前記第1の予測ブロックに前記第3の重みを適用することと、
第2の重み付けされた予測ブロックを形成するために、前記第2の予測ブロックに前記第4の重みを適用することと、
前記最終予測ブロックを形成するために、前記第1の重み付けされた予測ブロックを前記第2の重み付けされた予測ブロックと組み合わせることと
を行うように構成された、請求項9に記載のデバイス。
【請求項15】
前記第3の重みを決定するために、前記1つまたは複数のプロセッサは、
インデックス値を復号することと、
前記インデックス値がマッピングテーブルにおいてマッピングされる前記第3の重みを決定することと
を行うように構成され、
前記第4の重みを決定するために、前記1つまたは複数のプロセッサが、1-前記第3の重みとして、前記第4の重みを計算することを行うように構成された、請求項14に記載のデバイス。
【請求項16】
前記1つまたは複数のプロセッサが、前記現在ブロックを復号することより前に、前記最終予測ブロックを使用して前記現在ブロックを符号化することを行うように構成された、請求項9に記載のデバイス。
【請求項17】
前記復号されたビデオデータを表示するように構成されたディスプレイをさらに備える、請求項9に記載のデバイス。
【請求項18】
前記デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を備える、請求項9に記載のデバイス。
【請求項19】
命令を記憶したコンピュータ可読記憶媒体であって、前記命令は、実行されたとき、プロセッサに、
第1の重みと第2の重みとが、双予測モードを使用してインター予測コーディングされたビデオデータの現在ブロックについて指定されると決定することと、ここにおいて、前記第1の重みが前記第2の重みとは異なる、
前記第1の重みと前記第2の重みとが指定されると決定したことに応答して、前記現在ブロックが、前記双予測モードをベースモードとして複数仮説予測(MHP)モードを使用して予測されるべきであるかどうかを決定することと、
前記現在ブロックが、前記双予測モードを前記ベースモードとして前記MHPモードを使用して予測されるべきであると決定したことに応答して、前記MHPモードの追加のインター予測モードを決定することと、
前記双予測モードに従って第1の予測ブロックを生成することと、
前記追加のインター予測モードに従って第2の予測ブロックを生成することと、
前記第1の予測ブロックと前記第2の予測ブロックとを使用して前記MHPモードに従って前記現在ブロックについての最終予測ブロックを生成することと、
前記最終予測ブロックを使用して前記現在ブロックを復号することと
を行わせる、コンピュータ可読記憶媒体。
【請求項20】
前記プロセッサに、前記現在ブロックが、MHPを使用して予測されるべきであるかどうかを決定することを行わせる前記命令は、前記プロセッサに、前記第1の重みが4に等しくない、および前記第2の重みが4に等しくないとき、前記現在ブロックが、MHPを使用して予測されるべきであると決定することを行わせる命令を備える、請求項19に記載のコンピュータ可読記憶媒体。
【請求項21】
前記プロセッサに、前記現在ブロックが、MHPを使用して予測されるべきであるかどうかを決定することを行わせる前記命令は、前記プロセッサに、前記第1の重みが前記第2の重みに等しくないとき、前記現在ブロックが、MHPを使用して予測されるべきであると決定することを行わせる命令を備える、請求項19に記載のコンピュータ可読記憶媒体。
【請求項22】
前記プロセッサに、
前記双予測モードについて高度動きベクトル予測(AMVP)モードを使用して第1の動きベクトルを復号することと、
前記双予測モードについて前記AMVPモードを使用して第2の動きベクトルを復号することと、
前記追加のインター予測モードについて第3の動きベクトルを復号することと
を行わせる命令をさらに備え、
ここにおいて、前記プロセッサに、前記第1の予測ブロックを生成することを行わせる前記命令が、前記プロセッサに、
前記第1の動きベクトルを使用して第1の中間予測ブロックを生成することと、
前記第2の動きベクトルを使用して第2の中間予測ブロックを生成することと、
第1の重み付けされた中間予測ブロックを形成するために、前記第1の中間予測ブロックに前記第1の重みを適用することと、
第2の重み付けされた中間予測ブロックを形成するために、前記第2の中間予測ブロックに前記第2の重みを適用することと、
前記第1の予測ブロックを形成するために、前記第1の重み付けされた中間予測ブロックを前記第2の重み付けされた中間予測ブロックと組み合わせることと
を行わせる命令を備え、
ここにおいて、前記プロセッサに、前記第2の予測ブロックを生成することを行わせる前記命令が、前記プロセッサに、前記第3の動きベクトルを使用して前記第2の予測ブロックを生成することを行わせる命令を備える、請求項19に記載のコンピュータ可読記憶媒体。
【請求項23】
前記プロセッサに、
前記第1の動きベクトルと前記第2の動きベクトルとについての動きベクトル差分(MVD)解像度を表すデータを復号することと、
前記第3の動きベクトルについての前記MVD解像度を表す追加のデータを復号することなしに、前記第3の動きベクトルが前記MVD解像度を有すると決定することと
を行わせる命令をさらに備える、請求項22に記載のコンピュータ可読記憶媒体。
【請求項24】
前記プロセッサに、前記最終予測ブロックを生成することを行わせる前記命令が、前記プロセッサに、
前記MHPモードについて第3の重みと第4の重みとを決定することと、
第1の重み付けされた予測ブロックを形成するために、前記第1の予測ブロックに前記第3の重みを適用することと、
第2の重み付けされた予測ブロックを形成するために、前記第2の予測ブロックに前記第4の重みを適用することと、
前記最終予測ブロックを形成するために、前記第1の重み付けされた予測ブロックを前記第2の重み付けされた予測ブロックと組み合わせることと
を行わせる命令を備える、請求項19に記載のコンピュータ可読記憶媒体。
【請求項25】
前記プロセッサに、前記第3の重みを決定することを行わせる前記命令は、前記プロセッサに、
インデックス値を復号することと、
前記インデックス値がマッピングテーブルにおいてマッピングされる前記第3の重みを決定することと
を行わせる命令を備え、
前記プロセッサに、前記第4の重みを決定することを行わせる前記命令が、前記プロセッサに、1-前記第3の重みとして、前記第4の重みを計算することを行わせる命令を備える、請求項24に記載のコンピュータ可読記憶媒体。
【請求項26】
前記プロセッサに、前記現在ブロックを復号することより前に、前記最終予測ブロックを使用して前記現在ブロックを符号化することを行わせる命令をさらに備える、請求項19に記載のコンピュータ可読記憶媒体。
【請求項27】
ビデオデータを復号するためのデバイスであって、前記デバイスは、
第1の重みと第2の重みとが、双予測モードを使用してインター予測コーディングされたビデオデータの現在ブロックについて指定されると決定するための手段と、ここにおいて、前記第1の重みが前記第2の重みとは異なる、
前記第1の重みと前記第2の重みとが指定されると決定したことに応答して、前記現在ブロックが、前記双予測モードをベースモードとして複数仮説予測(MHP)モードを使用して予測されるべきであるかどうかを決定するための手段と、
前記現在ブロックが、前記双予測モードを前記ベースモードとして前記MHPモードを使用して予測されるべきであると決定したことに応答して、前記MHPモードの追加のインター予測モードを決定するための手段と、
前記双予測モードに従って第1の予測ブロックを生成するための手段と、
前記追加のインター予測モードに従って第2の予測ブロックを生成するための手段と、
前記第1の予測ブロックと前記第2の予測ブロックとを使用して前記MHPモードに従って前記現在ブロックについての最終予測ブロックを生成するための手段と、
前記最終予測ブロックを使用して前記現在ブロックを復号するための手段と
を備える、デバイス。
【請求項28】
前記現在ブロックが、MHPを使用して予測されるべきであるかどうかを決定するための前記手段は、前記第1の重みが4に等しくない、および前記第2の重みが4に等しくないとき、前記現在ブロックが、MHPを使用して予測されるべきであると決定するための手段を備える、請求項27に記載のデバイス。
【請求項29】
前記現在ブロックが、MHPを使用して予測されるべきであるかどうかを決定するための前記手段は、前記第1の重みが前記第2の重みに等しくないとき、前記現在ブロックが、MHPを使用して予測されるべきであると決定するための手段を備える、請求項27に記載のデバイス。
【請求項30】
前記双予測モードについて高度動きベクトル予測(AMVP)モードを使用して第1の動きベクトルを復号するための手段と、
前記双予測モードについて前記AMVPモードを使用して第2の動きベクトルを復号するための手段と、
前記追加のインター予測モードについて第3の動きベクトルを復号するための手段と
をさらに備え、
ここにおいて、前記第1の予測ブロックを生成するための前記手段が、
前記第1の動きベクトルを使用して第1の中間予測ブロックを生成するための手段と、
前記第2の動きベクトルを使用して第2の中間予測ブロックを生成するための手段と、
第1の重み付けされた中間予測ブロックを形成するために、前記第1の中間予測ブロックに前記第1の重みを適用するための手段と、
第2の重み付けされた中間予測ブロックを形成するために、前記第2の中間予測ブロックに前記第2の重みを適用するための手段と、
前記第1の予測ブロックを形成するために、前記第1の重み付けされた中間予測ブロックを前記第2の重み付けされた中間予測ブロックと組み合わせるための手段と
を備え、
ここにおいて、前記第2の予測ブロックを生成するための前記手段が、前記第3の動きベクトルを使用して前記第2の予測ブロックを生成するための手段を備える、請求項27に記載のデバイス。
【請求項31】
前記第1の動きベクトルと前記第2の動きベクトルとについての動きベクトル差分(MVD)解像度を表すデータを復号するための手段と、
前記第3の動きベクトルについての前記MVD解像度を表す追加のデータを復号することなしに、前記第3の動きベクトルが前記MVD解像度を有すると決定するための手段と
をさらに備える、請求項30に記載のデバイス。
【請求項32】
前記最終予測ブロックを生成するための前記手段が、
前記MHPモードについて第3の重みと第4の重みとを決定するための手段と、
第1の重み付けされた予測ブロックを形成するために、前記第1の予測ブロックに前記第3の重みを適用するための手段と、
第2の重み付けされた予測ブロックを形成するために、前記第2の予測ブロックに前記第4の重みを適用するための手段と、
前記最終予測ブロックを形成するために、前記第1の重み付けされた予測ブロックを前記第2の重み付けされた予測ブロックと組み合わせるための手段と
を備える、請求項27に記載のデバイス。
【請求項33】
前記第3の重みを決定するための前記手段は、
インデックス値を復号するための手段と、
前記インデックス値がマッピングテーブルにおいてマッピングされる前記第3の重みを決定するための手段と
を備え、
前記第4の重みを決定するための前記手段が、1-前記第3の重みとして、前記第4の重みを計算するための手段を備える、請求項32に記載のデバイス。
【請求項34】
前記現在ブロックを復号することより前に、前記最終予測ブロックを使用して前記現在ブロックを符号化するための手段をさらに備える、請求項27に記載のデバイス。
【発明の詳細な説明】
【技術分野】
【0001】
[0001] 本出願は、その内容全体が参照により本明細書に組み込まれる、2021年12月15日に出願された米国特許出願第17/644,519号、および2020年12月23日に出願された米国仮出願第63/130,232号の優先権を主張する。2021年12月15日に出願された米国特許出願第17/644,519号は、2020年12月23日に出願された米国仮出願第63/130,232号の利益を主張する。
【0002】
[0002] 本開示は、ビデオ符号化(video encoding)とビデオ復号(video decoding)とを含む、ビデオコーディング(video coding)に関する。
【背景技術】
【0003】
[0003] デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲のデバイスに組み込まれ得る。デジタルビデオデバイスは、MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4,Part10,アドバンストビデオコーディング(AVC)、ITU-T H.265/高効率ビデオコーディング(HEVC)によって定義された規格、およびそのような規格の拡張に記載されているビデオコーディング技法など、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および/または記憶し得る。
【0004】
[0004] ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間(イントラピクチャ)予測および/または時間(インターピクチャ)予測を含む。ブロックベースビデオコーディングでは、ビデオスライス(たとえば、ビデオピクチャまたはビデオピクチャの一部分)が、コーディングツリーユニット(CTU:coding tree unit)、コーディングユニット(CU:coding unit)および/またはコーディングノードと呼ばれることもある、ビデオブロックに区分され得る。ピクチャのイントラコーディングされた(I)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコーディングされた(PまたはB)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測、または他の参照ピクチャ中の参照サンプルに対する時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
【発明の概要】
【0005】
[0005] 概して、本開示は、ビデオコーディング(符号化および復号)におけるインター予測のための技法について説明する。特に、これらの技法は複数仮説予測(multiple hypothesis prediction)に関する。ビデオコーディングでは、ビデオは一連のピクチャによって表される。各ピクチャはブロックに区分され得、各ブロックは個々にコーディングされ得る。概して、ブロックは、予測ブロックと残差ブロックとを使用してコーディングされる。ビデオコーダ(video coder)は、概して、(前にコーディングされたピクチャに対する)インター予測または(同じピクチャの前にコーディングされたブロックに対する)イントラ予測に従って予測ブロックを形成し得る。インター予測では、ブロックは、単方向(1つの動きベクトル)または双方向(2つの動きベクトル)予測を使用して予測され得る。さらに、インター予測では、ブロックは、複数仮説予測を使用して、すなわち、3つ以上の動きベクトルを使用して予測され得る。
【0006】
[0006] 一例では、ビデオデータ(video data)を復号する方法は、第1の重み(first weight)と第2の重み(second weight)とが、双予測モード(bi-prediction mode)を使用してインター予測コーディングされた(inter-prediction coded)ビデオデータの現在ブロック(current block)について指定されると決定することと、ここにおいて、第1の重みが第2の重みとは異なる、第1の重みと第2の重みとが指定されると決定したことに応答して、現在ブロックが、双予測モードをベースモード(base mode)として複数仮説予測(MHP:multi-hypothesis prediction)モードを使用して予測されるべきであるかどうかを決定することと、現在ブロックが、双予測モードをベースモードとしてMHPモードを使用して予測されるべきであると決定したことに応答して、MHPモードの追加のインター予測モード(additional inter-prediction mode)を決定することと、双予測モードに従って第1の予測ブロック(first prediction block)を生成することと、追加のインター予測モードに従って第2の予測ブロック(second prediction block)を生成することと、第1の予測ブロックと第2の予測ブロックとを使用してMHPモードに従って現在ブロックについての最終予測ブロック(final prediction block)を生成することと、最終予測ブロックを使用して現在ブロックを復号することとを含む。
【0007】
[0007] 別の例では、ビデオデータを復号するためのデバイスは、ビデオデータを記憶するように構成されたメモリ(memory)と、回路(circuitry)中に実装された1つまたは複数のプロセッサ(processor)とを含み、1つまたは複数のプロセッサは、第1の重みと第2の重みとが、双予測モードを使用してインター予測コーディングされたビデオデータの現在ブロックについて指定されると決定することと、ここにおいて、第1の重みが第2の重みとは異なる、第1の重みと第2の重みとが指定されると決定したことに応答して、現在ブロックが、双予測モードをベースモードとして複数仮説予測(MHP)モードを使用して予測されるべきであるかどうかを決定することと、現在ブロックが、双予測モードをベースモードとしてMHPモードを使用して予測されるべきであると決定したことに応答して、MHPモードの追加のインター予測モードを決定することと、双予測モードに従って第1の予測ブロックを生成することと、追加のインター予測モードに従って第2の予測ブロックを生成することと、第1の予測ブロックと第2の予測ブロックとを使用してMHPモードに従って現在ブロックについての最終予測ブロックを生成することと、最終予測ブロックを使用して現在ブロックを復号することとを行うように構成される。
【0008】
[0008] 別の例では、コンピュータ可読記憶媒体(computer-readable storage medium)は、実行されたとき、プロセッサに、第1の重みと第2の重みとが、双予測モードを使用してインター予測コーディングされたビデオデータの現在ブロックについて指定されると決定することと、ここにおいて、第1の重みが第2の重みとは異なる、第1の重みと第2の重みとが指定されると決定したことに応答して、現在ブロックが、双予測モードをベースモードとして複数仮説予測(MHP)モードを使用して予測されるべきであるかどうかを決定することと、現在ブロックが、双予測モードをベースモードとしてMHPモードを使用して予測されるべきであると決定したことに応答して、MHPモードの追加のインター予測モードを決定することと、双予測モードに従って第1の予測ブロックを生成することと、追加のインター予測モードに従って第2の予測ブロックを生成することと、第1の予測ブロックと第2の予測ブロックとを使用してMHPモードに従って現在ブロックについての最終予測ブロックを生成することと、最終予測ブロックを使用して現在ブロックを復号することとを行わせる命令(instruction)を記憶している。図
[0009] 別の例では、ビデオデータを復号するためのデバイスは、第1の重みと第2の重みとが、双予測モードを使用してインター予測コーディングされたビデオデータの現在ブロックについて指定されると決定するための手段と、ここにおいて、第1の重みが第2の重みとは異なる、第1の重みと第2の重みとが指定されると決定したことに応答して、現在ブロックが、双予測モードをベースモードとして複数仮説予測(MHP)モードを使用して予測されるべきであるかどうかを決定するための手段と、現在ブロックが、双予測モードをベースモードとしてMHPモードを使用して予測されるべきであると決定したことに応答して、MHPモードの追加のインター予測モードを決定するための手段と、双予測モードに従って第1の予測ブロックを生成するための手段と、追加のインター予測モードに従って第2の予測ブロックを生成するための手段と、第1の予測ブロックと第2の予測ブロックとを使用してMHPモードに従って現在ブロックについての最終予測ブロックを生成するための手段と、最終予測ブロックを使用して現在ブロックを復号するための手段とを含む。
【0009】
[0010] 1つまたは複数の例の詳細が添付の図面および以下の説明に記載される。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになろう。
【図面の簡単な説明】
【0010】
図1】[0011] 本開示の技法を実施し得る例示的なビデオ符号化および復号システムを示すブロック図。
図2A】[0012] 例示的なクワッドツリーバイナリツリー(QTBT)構造を示す概念図。
図2B】対応するコーディングツリーユニット(CTU)を示す概念図。
図3】[0013] 本開示の技法を実施し得る例示的なビデオエンコーダ(video encoder)を示すブロック図。
図4】[0014] 本開示の技法を実施し得る例示的なビデオデコーダ(video decoder)を示すブロック図。
図5】[0015] 本開示の技法による、現在ブロックを符号化するための例示的な方法を示すフローチャート。
図6】[0016] 本開示の技法による、現在ブロックを復号するための例示的な方法を示すフローチャート。
図7】[0017] CUレベル重み付けを用いた双予測(BCW:bi-prediction with CU-level weighting)とBCWの拡張としての複数仮説予測(MHP)とを適用することの一例を示す概念図。
図8】[0018] 本開示の技法による、ビデオデータの現在ブロックを復号する(たとえば、再生する)例示的な方法を示すフローチャート。
【発明を実施するための形態】
【0011】
[0019] ビデオコーディングでは、ビデオは一連のピクチャによって表される。各ピクチャはブロックに区分され得、各ブロックは個々にコーディングされ得る。概して、ブロックは、予測ブロックと残差ブロックとを使用してコーディングされる。ビデオコーダは、概して、(前にコーディングされたピクチャに対する)インター予測または(同じピクチャの前にコーディングされたブロックに対する)イントラ予測に従って予測ブロックを形成し得る。インター予測では、ブロックは、単方向(1つの動きベクトル)または双方向(2つの動きベクトル)予測を使用して予測され得る。
【0012】
[0020] ビデオコーダは、さらに、たとえば、マージモード(merge mode)または高度動きベクトル予測(AMVP:advanced motion vector prediction)モードを使用して、動きベクトルをコーディングし得る。マージモードでは、ビデオコーダは、動きベクトルについての動き情報(たとえば、参照ピクチャインデックス、参照ピクチャリスト、および動きベクトル自体、たとえば、動きベクトルのx成分およびy成分)をそれから推論すべき現在ブロックに対する隣接ブロックを表す、マージ候補をコーディングする。x成分は動きベクトルについての水平変位を表し、y成分は動きベクトルについての垂直変位を表す。AMVPモードでは、ビデオコーダは、動きベクトル予測候補のx成分およびy成分に適用するためのオフセットを表す動きベクトル差分(MVD:motion vector difference)情報とともに、動きベクトルをそれから予測すべき現在ブロックに対する隣接ブロックを表す、動きベクトル予測候補をコーディングする。AMVPでは、ビデオコーダはまた、参照ピクチャ識別情報、たとえば、参照ピクチャインデックスおよび参照ピクチャリストを明示的にコーディングする。
【0013】
[0021] ITU-T H.265/高効率ビデオコーディング(HEVC)では、ビデオコーダは、(サブピクセル精度が可能にされるとき、たとえば、「use_integer_mv_flag」がスライスヘッダにおいて0の値を有するとき)1/4ルーマサンプルの単位でMVD値(すなわち、動きベクトル予測子と現在CUについての動きベクトルとの間の差分)をコーディングする。ITU-T H.266/汎用ビデオコーディング(VVC)は、CUのMVDが、異なる精度でコーディングされることを可能にするCUレベル適応動きベクトル解像度(AMVR:adaptive motion vector resolution)方式を導入した。現在CUについてのモード(通常AMVPモードまたはアフィンAMVPモード)に応じて、ビデオコーダは、以下のようにVVCに従ってMVD解像度を適応的に選択し得、すなわち、通常AMVPモードでは、ビデオコーダは、1/4ルーマサンプル、1/2ルーマサンプル、整数ルーマサンプル、または4ルーマサンプルから選択し得、アフィンAMVPモードでは、ビデオコーダは、1/16ルーマサンプル、1/4ルーマサンプル、または整数ルーマサンプルから選択し得る。
【0014】
[0022] VVCでは、少なくとも1つの非0MVD成分を有するCUについて、ビデオコーダは、1/4ルーマサンプルMVD精度がCUのために使用されるかどうかを示すために第1のフラグをコーディングし得る。第1のフラグが0である場合、さらなるシグナリングが必要とされず、1/4ルーマサンプルMVD精度が現在CUのために使用される。他の場合、ビデオコーダは、通常AMVP CUのために、1/2ルーマサンプルMVD精度が使用されるのか別のMVD精度(整数または4ルーマサンプル)が使用されるのかを示すために第2のフラグをコーディングし得る。1/2ルーマサンプルの場合、ビデオコーダは、1/2ルーマサンプル位置についてデフォルト8タップ補間フィルタの代わりに6タップ補間フィルタを適用し得る。他の場合、ビデオコーダは、通常AMVP CUのために、整数ルーマサンプルMVD精度が使用されるのか4ルーマサンプルMVD精度が使用されるのかを示すために第3のフラグをコーディングし得る。
【0015】
[0023] VVCにおけるアフィンAMVP CUの場合、ビデオコーダは、整数ルーマサンプルMVD精度が使用されるのか1/16ルーマサンプルMVD精度が使用されるのかを示すために第2のフラグを使用し得る。再構築されたMVが、意図された精度(1/4ルーマサンプル、1/2ルーマサンプル、整数ルーマサンプル、または4ルーマサンプル)を有することを保証するために、ビデオコーダは、CUについての動きベクトル予測子を、MVDとともに動きベクトル予測子を加算する前のMVDのものと同じ精度に丸め得る。ビデオコーダは、動きベクトル予測子を0のほうへ丸め得る(すなわち、負の動きベクトル予測子が正の無限大のほうへ丸められ、正の動きベクトル予測子が負の無限大のほうへ丸められる)。
【0016】
[0024] HEVCでは、ビデオコーダは、2つの異なる参照ピクチャから取得された2つの予測信号を平均化すること、および/または2つの異なる動きベクトルを使用することによって、双予測信号を生成する。VVCでは、双予測モードは、たとえば、以下のように、2つの予測信号の重み付き平均化を可能にするために、単純な平均化を越えて拡張される。
【0017】
【数1】
【0018】
[0025] VVCでは、5つの重みwが重み付き平均化双予測において可能にされ、w∈{-2,3,4,5,10}である。各双予測コーディングユニット(CU、すなわち、ブロック)について、重みwは、2つの方法、1)非マージCUについて、ビデオコーダは、ビットストリームにおいて動きベクトル差分データに続く、重みインデックスを表すデータをコーディングする、2)マージCUについて、ビデオコーダは、マージ候補インデックスに基づいて隣接ブロックから重みインデックスを推論する、のうちの1つで決定される。VVCでは、CUレベル重み付けを用いた双予測(BCW)は、256個またはそれ以上のルーマサンプルをもつCUのみに適用される(すなわち、CU幅×CU高さは256よりも大きいかまたはそれに等しい)。低遅延ピクチャの場合、すべての5つの重みが使用される。非低遅延ピクチャの場合、3つの重み(w∈{3,4,5})のみが使用される。
【0019】
[0026] さらに、インター予測では、ブロックは、複数仮説予測を使用して、すなわち、3つ以上の動きベクトルを使用して予測され得る。複数仮説予測(MHP)は以下で説明されている。
【0020】
・ Winkenら、「Multi-hypothesis Inter-prediction」、ITU-T SG16 WP3およびISO/IEC JTC1/SC29/WG11のジョイントビデオエキスパートチーム(JVET)、第10回会合:サンディエゴ、米国、2018年4月10~20日、ドキュメントJVET-J0041-v2、
・ Winkenら、「CE10: Multi-Hypothesis Inter Prediction (Tests 1.5 - 1.8)」、ITU-T SG16 WP3およびISO/IEC JTC1/SC29/WG11のジョイントビデオエキスパートチーム(JVET)、第11回会合:リュブリャナ、スロベニア、2018年7月10~18日、ドキュメントJVET-K0269、
・ Winkenら、「CE10: Multi-Hypothesis Inter Prediction (Tests 1.2.a - 1.2.c)」、ITU-T SG16 WP3およびISO/IEC JTC1/SC29/WG11のジョイントビデオエキスパートチーム(JVET)、第12回会合:マカオ、中国、2018年10月3~12日、ドキュメントJVET-L0148-v3、および
・ Winkenら、「CE10: Multi-hypothesis inter prediction (Test 10.1.2)」、ITU-T SG16 WP3およびISO/IEC JTC1/SC29/WG11のジョイントビデオエキスパートチーム(JVET)、第13回会合:マラケシュ、モロッコ、2019年1月9~18日、ドキュメントJVET-M0425-v2。
【0021】
[0027] MHPでは、インター予測技法は、(たとえば、3つ以上の動きベクトルを使用して)3つ以上の動き補償予測信号の重み付き重ね合わせを可能にする。ビデオコーダは、サンプル単位重み付き重ね合わせによって、得られた全体的予測信号を取得し得る。単/双予測信号puni/biと、第1の追加のインター予測信号/仮説h3と、重み付けファクタαとを用いて、ビデオコーダは、以下のように、得られた予測信号p3を取得し得る。
【0022】
【数2】
【0023】
[0028] MHPに従って、ビデオコーダは、たとえば、以下の表1のマッピングに従って、シンタックス要素add_hyp_weight_idxにおける重み付けファクタαについてデータをコーディングし得る。
【0024】
【表1】
【0025】
[0029] 上記で説明された技法に類似して、ビデオコーダは、2つ以上の追加の予測信号を使用し得る。ビデオコーダは、以下のように、各追加の予測信号を用いて、得られた全体的予測信号を反復的に累積し得る。
【0026】
【数3】
【0027】
[0030] ビデオコーダは、最後のpn(すなわち、最大インデックスnを有するpn)として、得られた全体的予測信号を取得し得る。
【0028】
[0031] これらの従来のMHP技法に従ってマージモードを使用する(ただし、スキップモードを使用しない)インター予測ブロックについて、ビデオコーダはまた、追加のインター予測信号を指定し得る。追加の予測信号について、ビデオコーダは、2つのAMVP候補リストのうちの1つを使用し得る。
【0029】
・ 追加の予測信号の参照ピクチャのピクチャ順序カウント(POC)が、使用されるlist1参照ピクチャのPOCに等しい場合、ビデオコーダは、list1 AMVP候補リストを使用し得る。
【0030】
・ 他の場合、ビデオコーダは、list0 AMVP候補リストを使用し得る。
【0031】
[0032] 本開示は、上記で説明された従来のMHPシグナリングが改善され得ることを認識する。本開示の技法は、これらの技法が、シグナリングオーバーヘッドを低減し、処理要件を低減し、ならびに/あるいは動きベクトル予測子および/または予測ブロックについての予測正確さを増加させることによってデータ忠実度を改善し得るという点で、MHPの使用に関係するビデオコーディングにおける改善を達成し得る。
【0032】
[0033] 図1は、本開示の技法を実施し得る例示的なビデオ符号化および復号システム100を示すブロック図である。本開示の技法は、概して、ビデオデータをコーディング(符号化および/または復号)することを対象とする。概して、ビデオデータは、ビデオを処理するための任意のデータを含む。したがって、ビデオデータは、生のコーディングされていないビデオ、符号化されたビデオ、復号された(たとえば、再構築された)ビデオ、およびシグナリングデータなどのビデオメタデータを含み得る。
【0033】
[0034] 図1に示されているように、システム100は、この例では、宛先デバイス116によって復号および表示されるべき、符号化されたビデオデータを提供するソースデバイス102を含む。特に、ソースデバイス102は、コンピュータ可読媒体110を介して宛先デバイス116にビデオデータを提供する。ソースデバイス102および宛先デバイス116は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、モバイルデバイス、タブレットコンピュータ、セットトップボックス、スマートフォンなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイスなどを含む、広範囲のデバイスのいずれかを備え得る。いくつかの場合には、ソースデバイス102および宛先デバイス116は、ワイヤレス通信のために装備され得、したがって、ワイヤレス通信デバイスと呼ばれることがある。
【0034】
[0035] 図1の例では、ソースデバイス102は、ビデオソース104と、メモリ106と、ビデオエンコーダ200と、出力インターフェース108とを含む。宛先デバイス116は、入力インターフェース122と、ビデオデコーダ300と、メモリ120と、ディスプレイデバイス118とを含む。本開示によれば、ソースデバイス102のビデオエンコーダ200と、宛先デバイス116のビデオデコーダ300とは、複数仮説予測のためにデータをコーディングするための技法を適用するように構成され得る。したがって、ソースデバイス102はビデオ符号化デバイスの一例を表し、宛先デバイス116はビデオ復号デバイスの一例を表す。他の例では、ソースデバイスおよび宛先デバイスは、他の構成要素または構成を含み得る。たとえば、ソースデバイス102は、外部カメラなど、外部ビデオソースからビデオデータを受信し得る。同様に、宛先デバイス116は、一体型ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。
【0035】
[0036] 図1に示されているシステム100は一例にすぎない。概して、いかなるデジタルビデオ符号化および/または復号デバイスも、複数仮説予測のためにデータをコーディングするための技法を実施し得る。ソースデバイス102および宛先デバイス116は、ソースデバイス102が宛先デバイス116への送信のためのコーディングされたビデオデータを生成するような、コーディングデバイスの例にすぎない。本開示は、データのコーディング(符号化および/または復号)を実施するデバイスとして「コーディング」デバイスに言及する。したがって、ビデオエンコーダ200およびビデオデコーダ300は、コーディングデバイス、特に、それぞれビデオエンコーダおよびビデオデコーダの例を表す。いくつかの例では、ソースデバイス102および宛先デバイス116は、ソースデバイス102および宛先デバイス116の各々がビデオ符号化構成要素およびビデオ復号構成要素を含むように、実質的に対称的に動作し得る。したがって、システム100は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオテレフォニーのために、ソースデバイス102と宛先デバイス116との間の一方向または二方向ビデオ送信をサポートし得る。
【0036】
[0037] 概して、ビデオソース104は、ビデオデータ(すなわち、生のコーディングされていないビデオデータ)のソースを表し、ビデオデータの連続した一連のピクチャ(「フレーム」とも呼ばれる)をビデオエンコーダ200に提供し、ビデオエンコーダ200はピクチャについてのデータを符号化する。ソースデバイス102のビデオソース104は、ビデオカメラなどのビデオキャプチャデバイス、前にキャプチャされた生のビデオを含んでいるビデオアーカイブ、および/またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。さらなる代替として、ビデオソース104は、ソースビデオとしてのコンピュータグラフィックスベースデータ、またはライブビデオとアーカイブされたビデオとコンピュータ生成されたビデオとの組合せを生成し得る。各場合において、ビデオエンコーダ200は、キャプチャされたビデオデータ、プリキャプチャされたビデオデータ、またはコンピュータ生成されたビデオデータを符号化する。ビデオエンコーダ200は、ピクチャを、(「表示順序」と呼ばれることがある)受信順序から、コーディングのためのコーディング順序に並べ替え得る。ビデオエンコーダ200は、符号化されたビデオデータを含むビットストリームを生成し得る。ソースデバイス102は、次いで、たとえば、宛先デバイス116の入力インターフェース122による受信および/または取出しのために、出力インターフェース108を介して、符号化されたビデオデータをコンピュータ可読媒体110上に出力し得る。
【0037】
[0038] ソースデバイス102のメモリ106と、宛先デバイス116のメモリ120とは、汎用メモリを表す。いくつかの例では、メモリ106、120は、生のビデオデータ、たとえば、ビデオソース104からの生のビデオと、ビデオデコーダ300からの生の復号されたビデオデータとを記憶し得る。追加または代替として、メモリ106、120は、たとえば、それぞれ、ビデオエンコーダ200とビデオデコーダ300とによって実行可能なソフトウェア命令を記憶し得る。メモリ106およびメモリ120は、この例ではビデオエンコーダ200およびビデオデコーダ300とは別個に示されているが、ビデオエンコーダ200およびビデオデコーダ300は、機能的に同様のまたは等価な目的で内部メモリをも含み得ることを理解されたい。さらに、メモリ106、120は、符号化されたビデオデータ、たとえば、ビデオエンコーダ200からの出力と、ビデオデコーダ300への入力とを記憶し得る。いくつかの例では、メモリ106、120の部分は、たとえば、生の復号および/または符号化されたビデオデータを記憶するために、1つまたは複数のビデオバッファとして割り振られ得る。
【0038】
[0039] コンピュータ可読媒体110は、ソースデバイス102から宛先デバイス116に符号化されたビデオデータをトランスポートすることが可能な任意のタイプの媒体またはデバイスを表し得る。一例では、コンピュータ可読媒体110は、ソースデバイス102が、たとえば、無線周波数ネットワークまたはコンピュータベースネットワークを介して、符号化されたビデオデータを宛先デバイス116にリアルタイムで直接送信することを可能にするための通信媒体を表す。ワイヤレス通信プロトコルなどの通信規格に従って、出力インターフェース108は、符号化されたビデオデータを含む送信信号を変調し得、入力インターフェース122は、受信された送信信号を復調し得る。通信媒体は、無線周波数(RF)スペクトルまたは1つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス102から宛先デバイス116への通信を容易にするために有用であり得る任意の他の機器を含み得る。
【0039】
[0040] いくつかの例では、ソースデバイス102は、出力インターフェース108からストレージデバイス112に符号化されたデータを出力し得る。同様に、宛先デバイス116は、入力インターフェース122を介してストレージデバイス112から符号化されたデータにアクセスし得る。ストレージデバイス112は、ハードドライブ、Blu-ray(登録商標)ディスク、DVD、CD-ROM、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化されたビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。
【0040】
[0041] いくつかの例では、ソースデバイス102は、ソースデバイス102によって生成された符号化されたビデオデータを記憶し得るファイルサーバ114または別の中間ストレージデバイスに符号化されたビデオデータを出力し得る。宛先デバイス116は、ストリーミングまたはダウンロードを介してファイルサーバ114からの記憶されたビデオデータにアクセスし得る。
【0041】
[0042] ファイルサーバ114は、符号化されたビデオデータを記憶し、その符号化されたビデオデータを宛先デバイス116に送信することが可能な任意のタイプのサーバデバイスであり得る。ファイルサーバ114は、(たとえば、ウェブサイトのための)ウェブサーバ、(ファイル転送プロトコル(FTP)または単方向トランスポート上ファイル配信(FLUTE:File Delivery over Unidirectional Transport)プロトコルなどの)ファイル転送プロトコルサービスを提供するように構成されたサーバ、コンテンツ配信ネットワーク(CDN)デバイス、ハイパーテキスト転送プロトコル(HTTP)サーバ、マルチメディアブロードキャストマルチキャストサービス(MBMS)または拡張MBMS(eMBMS)サーバ、および/あるいはネットワーク接続ストレージ(NAS)デバイスを表し得る。ファイルサーバ114は、追加または代替として、動的適応ストリーミングオーバーHTTP(DASH)、HTTPライブストリーミング(HLS)、リアルタイムストリーミングプロトコル(RTSP)、HTTP動的ストリーミングなど、1つまたは複数のHTTPストリーミングプロトコルを実装し得る。
【0042】
[0043] 宛先デバイス116は、インターネット接続を含む任意の標準的なデータ接続を通してファイルサーバ114からの符号化されたビデオデータにアクセスし得る。これは、ファイルサーバ114に記憶された符号化されたビデオデータにアクセスするのに好適であるワイヤレスチャネル(たとえば、Wi-Fi(登録商標)接続)、ワイヤード接続(たとえば、デジタル加入者回線(DSL)、ケーブルモデムなど)、またはその両方の組合せを含み得る。入力インターフェース122は、ファイルサーバ114からメディアデータを取り出すまたは受信するための上記で説明された様々なプロトコル、あるいはメディアデータを取り出すための他のそのようなプロトコルのうちのいずれか1つまたは複数に従って動作するように構成され得る。
【0043】
[0044] 出力インターフェース108および入力インターフェース122は、ワイヤレス送信機/受信機、モデム、ワイヤードネットワーキング構成要素(たとえば、イーサネット(登録商標)カード)、様々なIEEE802.11規格のいずれかに従って動作するワイヤレス通信構成要素、または他の物理的構成要素を表し得る。出力インターフェース108および入力インターフェース122がワイヤレス構成要素を備える例では、出力インターフェース108および入力インターフェース122は、4G、4G-LTE(登録商標)(ロングタームエボリューション)、LTEアドバンスト、5Gなど、セルラー通信規格に従って、符号化されたビデオデータなどのデータを転送するように構成され得る。出力インターフェース108がワイヤレス送信機を備えるいくつかの例では、出力インターフェース108および入力インターフェース122は、IEEE802.11仕様、IEEE802.15仕様(たとえば、ZigBee(登録商標))、Bluetooth(登録商標)規格など、他のワイヤレス規格に従って、符号化されたビデオデータなどのデータを転送するように構成され得る。いくつかの例では、ソースデバイス102および/または宛先デバイス116は、それぞれのシステムオンチップ(SoC)デバイスを含み得る。たとえば、ソースデバイス102は、ビデオエンコーダ200および/または出力インターフェース108に帰属する機能を実施するためのSoCデバイスを含み得、宛先デバイス116は、ビデオデコーダ300および/または入力インターフェース122に帰属する機能を実施するためのSoCデバイスを含み得る。
【0044】
[0045] 本開示の技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーHTTP(DASH)などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。
【0045】
[0046] 宛先デバイス116の入力インターフェース122は、コンピュータ可読媒体110(たとえば、通信媒体、ストレージデバイス112、ファイルサーバ114など)から符号化されたビデオビットストリームを受信する。符号化されたビデオビットストリームは、ビデオブロックまたは他のコーディングされたユニット(たとえば、スライス、ピクチャ、ピクチャグループ、シーケンスなど)の特性および/または処理を記述する値を有するシンタックス要素など、ビデオデコーダ300によっても使用される、ビデオエンコーダ200によって定義されるシグナリング情報を含み得る。ディスプレイデバイス118は、復号されたビデオデータの復号されたピクチャをユーザに表示する。ディスプレイデバイス118は、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを表し得る。
【0046】
[0047] 図1には示されていないが、いくつかの例では、ビデオエンコーダ200およびビデオデコーダ300は各々、オーディオエンコーダおよび/またはオーディオデコーダと統合され得、共通のデータストリーム中にオーディオとビデオの両方を含む多重化ストリームをハンドリングするために、適切なMUX-DEMUXユニット、あるいは他のハードウェアおよび/またはソフトウェアを含み得る。適用可能な場合、MUX-DEMUXユニットは、ITU H.223マルチプレクサプロトコル、またはユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠し得る。
【0047】
[0048] ビデオエンコーダ200およびビデオデコーダ300は各々、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダおよび/またはデコーダ回路のいずれか、あるいはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアのための命令を記憶し、本開示の技法を実施するために1つまたは複数のプロセッサを使用してその命令をハードウェアで実行し得る。ビデオエンコーダ200とビデオデコーダ300との各々は、1つまたは複数のエンコーダまたはデコーダに含まれ得、それらのいずれかが、それぞれのデバイス中の複合エンコーダ/デコーダ(CODEC)の一部として統合され得る。ビデオエンコーダ200および/またはビデオデコーダ300を含むデバイスは、集積回路、マイクロプロセッサ、および/またはセルラー電話機などのワイヤレス通信デバイスを備え得る。
【0048】
[0049] ビデオエンコーダ200およびビデオデコーダ300は、高効率ビデオコーディング(HEVC)とも呼ばれるITU-T H.265、あるいはマルチビューおよび/またはスケーラブルビデオコーディング拡張などのそれらの拡張など、ビデオコーディング規格に従って動作し得る。代替的に、ビデオエンコーダ200およびビデオデコーダ300は、汎用ビデオコーディング(VVC)など、他のプロプライエタリ規格または業界規格に従って動作し得る。VVC規格のドラフトは、Brossら、「Versatile Video Coding (Draft 9)」、ITU-T SG16 WP3およびISO/IEC JTC1/SC29/WG11のジョイントビデオエキスパートチーム(JVET)、第18回会合、4月15~24日、JVET-R2001-v8(以下、「VVCドラフト9」)に記載されている。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。
【0049】
[0050] 概して、ビデオエンコーダ200およびビデオデコーダ300は、ピクチャのブロックベースコーディングを実施し得る。「ブロック」という用語は、概して、処理されるべき(たとえば、符号化されるべき、復号されるべき、あるいは、符号化および/または復号プロセスにおいて他の方法で使用されるべき)データを含む構造を指す。たとえば、ブロックは、ルミナンスおよび/またはクロミナンスデータのサンプルの2次元行列を含み得る。概して、ビデオエンコーダ200およびビデオデコーダ300は、YUV(たとえば、Y、Cb、Cr)フォーマットで表されるビデオデータをコーディングし得る。すなわち、ピクチャのサンプルのために赤色、緑色、および青色(RGB)データをコーディングするのではなく、ビデオエンコーダ200およびビデオデコーダ300は、ルミナンス成分とクロミナンス成分とをコーディングし得、ここで、クロミナンス成分は、赤色相と青色相の両方のクロミナンス成分を含み得る。いくつかの例では、ビデオエンコーダ200は、符号化より前に、受信されたRGBフォーマットのデータをYUV表現にコンバートし、ビデオデコーダ300は、YUV表現をRGBフォーマットにコンバートする。代替的に、前処理および後処理ユニット(図示せず)が、これらのコンバージョンを実施し得る。
【0050】
[0051] 本開示は、概して、ピクチャのデータを符号化または復号するプロセスを含むように、ピクチャのコーディング(たとえば、符号化および復号)に言及することがある。同様に、本開示は、ブロックについてのデータを符号化または復号するプロセス、たとえば、予測および/または残差コーディングを含むように、ピクチャのブロックのコーディングに言及することがある。符号化されたビデオビットストリームは、概して、コーディング決定(たとえば、コーディングモード)とブロックへのピクチャの区分とを表すシンタックス要素についての一連の値を含む。したがって、ピクチャまたはブロックをコーディングすることへの言及は、概して、ピクチャまたはブロックを形成するシンタックス要素についての値をコーディングすることとして理解されるべきである。
【0051】
[0052] HEVCは、コーディングユニット(CU)、予測ユニット(PU)、および変換ユニット(TU)を含む、様々なブロックを定義する。HEVCに従って、(ビデオエンコーダ200などの)ビデオコーダは、クワッドツリー構造に従ってコーディングツリーユニット(CTU)をCUに区分する。すなわち、ビデオコーダは、CTUとCUとを4つの等しい重複しない正方形に区分し、クワッドツリーの各ノードは、0個または4つのいずれかの子ノードを有する。子ノードなしのノードは、「リーフノード」と呼ばれることがあり、そのようなリーフノードのCUは、1つまたは複数のPUおよび/または1つまたは複数のTUを含み得る。ビデオコーダは、PUとTUとをさらに区分し得る。たとえば、HEVCでは、残差クワッドツリー(RQT)は、TUの区分を表す。HEVCでは、PUはインター予測データを表し、TUは残差データを表す。イントラ予測されるCUは、イントラモード指示などのイントラ予測情報を含む。
【0052】
[0053] 別の例として、ビデオエンコーダ200およびビデオデコーダ300は、VVCに従って動作するように構成され得る。VVCに従って、(ビデオエンコーダ200などの)ビデオコーダは、ピクチャを複数のコーディングツリーユニット(CTU)に区分する。ビデオエンコーダ200は、クワッドツリーバイナリツリー(QTBT)構造またはマルチタイプツリー(MTT)構造など、ツリー構造に従ってCTUを区分し得る。QTBT構造は、HEVCのCUとPUとTUとの間の分離など、複数の区分タイプの概念を除去する。QTBT構造は、2つのレベル、すなわち、クワッドツリー区分に従って区分される第1のレベルと、バイナリツリー区分に従って区分される第2のレベルとを含む。QTBT構造のルートノードは、CTUに対応する。バイナリツリーのリーフノードは、コーディングユニット(CU)に対応する。
【0053】
[0054] MTT区分構造では、ブロックは、クワッドツリー(QT)区分と、バイナリツリー(BT)区分と、1つまたは複数のタイプのトリプルツリー(TT)(ターナリツリー(TT)とも呼ばれる)区分とを使用して区分され得る。トリプルまたはターナリツリー区分は、ブロックが3つのサブブロックにスプリットされる区分である。いくつかの例では、トリプルまたはターナリツリー区分は、中心を通して元のブロックを分割することなしにブロックを3つのサブブロックに分割する。MTTにおける区分タイプ(たとえば、QT、BT、およびTT)は、対称または非対称であり得る。
【0054】
[0055] いくつかの例では、ビデオエンコーダ200およびビデオデコーダ300は、ルミナンス成分とクロミナンス成分との各々を表すために単一のQTBTまたはMTT構造を使用し得、他の例では、ビデオエンコーダ200およびビデオデコーダ300は、ルミナンス成分のための1つのQTBT/MTT構造、および両方のクロミナンス成分のための別のQTBT/MTT構造(またはそれぞれのクロミナンス成分のための2つのQTBT/MTT構造)など、2つまたはそれ以上のQTBTまたはMTT構造を使用し得る。
【0055】
[0056] ビデオエンコーダ200およびビデオデコーダ300は、HEVCに従うクワッドツリー区分、QTBT区分、MTT区分、または他の区分構造を使用するように構成され得る。説明の目的で、本開示の技法の説明はQTBT区分に関して提示される。しかしながら、本開示の技法は、クワッドツリー区分、または同様に他のタイプの区分を使用するように構成されたビデオコーダにも適用され得ることを理解されたい。
【0056】
[0057] いくつかの例では、CTUは、ルーマサンプルのコーディングツリーブロック(CTB)、3つのサンプルアレイを有するピクチャのクロマサンプルの2つの対応するCTB、あるいはモノクロームピクチャ、またはサンプルをコーディングするために使用される3つの別個の色平面とシンタックス構造とを使用してコーディングされるピクチャのサンプルのCTBを含む。CTBは、CTBへの成分の分割が区分になるような何らかの値のNについて、サンプルのN×Nブロックであり得る。成分は、4:2:0、4:2:2、または4:4:4色フォーマットにおけるピクチャについての3つのアレイ(ルーマおよび2つのクロマ)のうちの1つからのアレイまたは単一のサンプル、あるいはモノクロームフォーマットにおけるピクチャについてのアレイまたはアレイの単一のサンプルである。いくつかの例では、コーディングブロックは、コーディングブロックへのCTBの分割が区分になるような何らかの値のMとNとについて、サンプルのM×Nブロックである。
【0057】
[0058] ブロック(たとえば、CTUまたはCU)は、ピクチャ中で様々な方法でグループ化され得る。一例として、ブリックは、ピクチャ中の特定のタイル内のCTU行の矩形領域を指し得る。タイルは、ピクチャ中の特定のタイル列および特定のタイル行内のCTUの矩形領域であり得る。タイル列は、ピクチャの高さに等しい高さと、(たとえば、ピクチャパラメータセット中などの)シンタックス要素によって指定された幅とを有するCTUの矩形領域を指す。タイル行は、(たとえば、ピクチャパラメータセット中などの)シンタックス要素によって指定された高さと、ピクチャの幅に等しい幅とを有するCTUの矩形領域を指す。
【0058】
[0059] いくつかの例では、タイルは複数のブリックに区分され得、それらの各々は、タイル内に1つまたは複数のCTU行を含み得る。複数のブリックに区分されないタイルもブリックと呼ばれることがある。しかしながら、タイルの真のサブセットであるブリックは、タイルと呼ばれないことがある。
【0059】
[0060] ピクチャ中のブリックはまた、スライス中に配置され得る。スライスは、もっぱら単一のネットワークアブストラクションレイヤ(NAL)ユニット中に含まれていることがあるピクチャの整数個のブリックであり得る。いくつかの例では、スライスは、いくつかの完全なタイル、または1つのタイルの完全なブリックの連続シーケンスのみのいずれかを含む。
【0060】
[0061] 本開示は、垂直寸法と水平寸法とに関して(CUまたは他のビデオブロックなどの)ブロックのサンプル寸法を指すために、「N×N(NxN)」および「N×N(N by N)」、たとえば、16×16サンプル(16x16 samples)または16×16サンプル(16 by 16 samples)を互換的に使用し得る。概して、16×16のCUは、垂直方向に16個のサンプルを有し(y=16)、水平方向に16個のサンプルを有する(x=16)。同様に、N×NのCUは、概して、垂直方向にN個のサンプルを有し、水平方向にN個のサンプルを有し、ここで、Nは非負整数値を表す。CU中のサンプルは、行と列とに配置され得る。その上、CUは、必ずしも、水平方向において垂直方向と同じ数のサンプルを有する必要があるとは限らない。たとえば、CUはN×Mサンプルを備え得、ここで、Mは必ずしもNに等しいとは限らない。
【0061】
[0062] ビデオエンコーダ200は、予測および/または残差情報、ならびに他の情報を表すCUについてのビデオデータを符号化する。予測情報は、CUについて予測ブロックを形成するためにCUがどのように予測されるべきかを示す。残差情報は、概して、符号化より前のCUのサンプルと予測ブロックとの間のサンプルごとの差分を表す。
【0062】
[0063] CUを予測するために、ビデオエンコーダ200は、概して、インター予測またはイントラ予測を通してCUについて予測ブロックを形成し得る。インター予測は、概して、前にコーディングされたピクチャのデータからCUを予測することを指すが、イントラ予測は、概して、同じピクチャの前にコーディングされたデータからCUを予測することを指す。インター予測を実施するために、ビデオエンコーダ200は、1つまたは複数の動きベクトルを使用して予測ブロックを生成し得る。ビデオエンコーダ200は、概して、たとえば、CUと参照ブロックとの間の差分に関して、CUに厳密に一致する参照ブロックを識別するために動き探索を実施し得る。ビデオエンコーダ200は、参照ブロックが現在CUに厳密に一致するかどうかを決定するために、絶対差分和(SAD)、2乗差分和(SSD)、平均絶対差(MAD)、平均2乗差(MSD)、または他のそのような差分計算を使用して差分メトリックを計算し得る。いくつかの例では、ビデオエンコーダ200は、単方向予測または双方向予測を使用して現在CUを予測し得る。
【0063】
[0064] VVCのいくつかの例はまた、インター予測モードと見なされ得るアフィン動き補償モードを提供する。アフィン動き補償モードでは、ビデオエンコーダ200は、ズームインまたはアウト、回転、パースペクティブの動き、あるいは他の変則の動きタイプなど、非並進の動きを表す2つまたはそれ以上の動きベクトルを決定し得る。
【0064】
[0065] イントラ予測を実施するために、ビデオエンコーダ200は、予測ブロックを生成するようにイントラ予測モードを選択し得る。VVCのいくつかの例は、様々な方向性モード、ならびに平面モードおよびDCモードを含む、67個のイントラ予測モードを提供する。概して、ビデオエンコーダ200は、現在ブロック(たとえば、CUのブロック)のサンプルをそれから予測すべき、現在ブロックに対する隣接サンプルを記述するイントラ予測モードを選択する。そのようなサンプルは、ビデオエンコーダ200がラスタ走査順序で(左から右に、上から下に)CTUとCUとをコーディングすると仮定すると、概して、現在ブロックと同じピクチャ中の現在ブロックの上、左上、または左にあり得る。
【0065】
[0066] ビデオエンコーダ200は、現在ブロックについて予測モードを表すデータを符号化する。たとえば、インター予測モードでは、ビデオエンコーダ200は、様々な利用可能なインター予測モードのうちのどれが使用されるか、ならびに対応するモードのための動き情報を表すデータを符号化し得る。たとえば、単方向または双方向インター予測では、ビデオエンコーダ200は、高度動きベクトル予測(AMVP)またはマージモードを使用して動きベクトルを符号化し得る。ビデオエンコーダ200は、アフィン動き補償モードのための動きベクトルを符号化するために、同様のモードを使用し得る。
【0066】
[0067] ブロックのイントラ予測またはインター予測などの予測に続いて、ビデオエンコーダ200は、ブロックについて残差データを計算し得る。残差ブロックなどの残差データは、ブロックと、対応する予測モードを使用して形成された、ブロックについての予測ブロックとの間の、サンプルごとの差分を表す。ビデオエンコーダ200は、サンプルドメインではなく変換ドメイン中に変換データを作り出すために、残差ブロックに1つまたは複数の変換を適用し得る。たとえば、ビデオエンコーダ200は、離散コサイン変換(DCT)、整数変換、ウェーブレット変換、または概念的に同様の変換を残差ビデオデータに適用し得る。さらに、ビデオエンコーダ200は、第1の変換に続いて、モード依存非分離可能2次変換(MDNSST:mode-dependent non-separable secondary transform)、信号依存変換、カルーネンレーベ変換(KLT)などの2次変換を適用し得る。ビデオエンコーダ200は、1つまたは複数の変換の適用に続いて変換係数を作り出す。
【0067】
[0068] 上述のように、変換係数を作り出すための任意の変換に続いて、ビデオエンコーダ200は変換係数の量子化を実施し得る。量子化は、概して、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。量子化プロセスを実施することによって、ビデオエンコーダ200は、変換係数の一部または全部に関連付けられたビット深度を低減し得る。たとえば、ビデオエンコーダ200は、量子化中にnビット値をmビット値に切り捨て得、ここで、nはmよりも大きい。いくつかの例では、量子化を実施するために、ビデオエンコーダ200は、量子化されるべき値のビット単位の右シフトを実施し得る。
【0068】
[0069] 量子化に続いて、ビデオエンコーダ200は、変換係数を走査して、量子化された変換係数を含む2次元行列から1次元ベクトルを作り出し得る。走査は、より高いエネルギー(したがって、より低い頻度)の係数をベクトルの前方に配置し、より低いエネルギー(したがって、より高い頻度)の変換係数をベクトルの後方に配置するように設計され得る。いくつかの例では、ビデオエンコーダ200は、シリアル化されたベクトルを作り出すために、量子化された変換係数を走査するために、あらかじめ定義された走査順序を利用し、次いで、ベクトルの量子化された変換係数をエントロピー符号化し得る。他の例では、ビデオエンコーダ200は適応型走査を実施し得る。量子化された変換係数を走査して1次元ベクトルを形成した後に、ビデオエンコーダ200は、たとえば、コンテキスト適応型バイナリ算術コーディング(CABAC)に従って、1次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ200はまた、ビデオデータを復号する際のビデオデコーダ300による使用のために、符号化されたビデオデータに関連付けられたメタデータを記述するシンタックス要素についての値をエントロピー符号化し得る。
【0069】
[0070] CABACを実施するために、ビデオエンコーダ200は、コンテキストモデル内のコンテキストを、送信されるべきシンボルに割り当て得る。コンテキストは、たとえば、シンボルの隣接値が0値であるか否かに関係し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。
【0070】
[0071] ビデオエンコーダ200は、さらに、ブロックベースシンタックスデータ、ピクチャベースシンタックスデータ、およびシーケンスベースシンタックスデータなどのシンタックスデータを、たとえば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、あるいはシーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、またはビデオパラメータセット(VPS)などの他のシンタックスデータ中で、ビデオデコーダ300に対して生成し得る。ビデオデコーダ300は、対応するビデオデータをどのように復号すべきかを決定するために、そのようなシンタックスデータを同様に復号し得る。
【0071】
[0072] このようにして、ビデオエンコーダ200は、符号化されたビデオデータ、たとえば、ブロック(たとえば、CU)へのピクチャの区分ならびにブロックについての予測および/または残差情報を記述するシンタックス要素を含むビットストリームを生成し得る。最終的に、ビデオデコーダ300は、ビットストリームを受信し、符号化されたビデオデータを復号し得る。
【0072】
[0073] 概して、ビデオデコーダ300は、ビットストリームの符号化されたビデオデータを復号するために、ビデオエンコーダ200によって実施されたものの逆プロセスを実施する。たとえば、ビデオデコーダ300は、ビデオエンコーダ200のCABAC符号化プロセスと逆ではあるが、それと実質的に同様の様式でCABACを使用してビットストリームのシンタックス要素についての値を復号し得る。シンタックス要素は、CTUのCUを定義するために、ピクチャをCTUに区分するための区分情報と、QTBT構造などの対応する区分構造に従う、各CTUの区分とを定義し得る。シンタックス要素は、ビデオデータのブロック(たとえば、CU)についての予測および残差情報をさらに定義し得る。
【0073】
[0074] 残差情報は、たとえば、量子化された変換係数によって表され得る。ビデオデコーダ300は、ブロックのための残差ブロックを再生するために、ブロックの量子化された変換係数を逆量子化し、逆変換し得る。ビデオデコーダ300は、ブロックのための予測ブロックを形成するために、シグナリングされた予測モード(イントラまたはインター予測)と、関連する予測情報(たとえば、インター予測のための動き情報)とを使用する。ビデオデコーダ300は、次いで、元のブロックを再生するために(サンプルごとに)予測ブロックと残差ブロックとを組み合わせ得る。ビデオデコーダ300は、ブロックの境界に沿って視覚的アーティファクトを低減するためにデブロッキングプロセスを実施することなど、追加の処理を実施し得る。
【0074】
[0075] 本開示の技法によれば、ビデオエンコーダ200およびビデオデコーダ300は、複数仮説予測(MHP)を実施するように構成され得る。特に、ビデオエンコーダ200およびビデオデコーダ300は、任意の組合せで、MHPに関する以下の技法のいずれかまたはすべてを実施するように構成され得る。
【0075】
[0076] 一例では、ビデオエンコーダ200およびビデオデコーダ300は、CUレベル重み付けを用いた双予測(BCW)が、等しくない重みを使用する(すなわち、異なる参照からの予測子についての重みが異なる)ときのみ、非マージモードについてMHPを適用し得る。したがって、ビデオエンコーダ200およびビデオデコーダ300は、BCWの拡張としてMHPを適用し得る。たとえば、VVCの上で適用されたとき、ビデオエンコーダ200およびビデオデコーダ300は、BCWが、「4」でない重みを使用するとき、非マージモードにおいて「追加の予測信号」のみをコーディングすることになる。「追加の予測信号」についての重みが同様に、等しくない重みを暗示することに留意されたい。
【0076】
[0077] 別の例では、上記の技法に加えてまたはそれの代替として、非マージモードの場合、「追加の予測信号」のMVD解像度は、ベースモードにおける選択されたMVD解像度と同じである。代替的に、ビデオエンコーダ200およびビデオデコーダ300は、ベースモードについてのAMVRの場合のように「追加の予測信号」のMVD解像度をコーディングし得る。したがって、「追加の予測信号」のMVD解像度は、適応的であり、ベースモードにおけるものとは異なり得る。追加のモードは、「追加の予測信号」がシグナリングされるモード(マージモードまたは非マージモードのいずれか)を指す。
【0077】
[0078] 別の例では、上記の技法に加えてまたはそれの代替として、ビデオエンコーダ200およびビデオデコーダ300は、異なる動きベクトルまたは異なる参照ピクチャのみを用いてMHPを適用するように構成され得る。これは、追加の動きベクトルについてのシグナリングコストを低減し得、最終予測がBCWの重複であり得ないことを保証し得る。
【0078】
[0079] 別の例では、上記の技法に加えてまたはそれの代替として、ビデオエンコーダ200およびビデオデコーダ300は、AMVRモードが1/2ルーマサンプルであり、ここで異なる補間フィルタが動き補償のために適用される、とき、非マージモードを使用してコーディングされた動きベクトルを有するブロックにMHPを適用しないように構成され得る。予測子は、1/2ルーマサンプルAMVRモードにおいて、滑らかな補間フィルタによって生成され得、したがって、滑らかな予測子を生成するために(重み付き平均化を使用する)MHPを適用することは、そのようなモードにおいてあまり助けにならない。追加の予測信号のシグナリングを回避することは、そのようなモードについていくらかのオーバーヘッドを低減し得る。
【0079】
[0080] 別の例では、上記の技法に加えてまたはそれの代替として、ビデオエンコーダ200およびビデオデコーダ300は、サブ整数精度動きベクトルについてサブ整数ピクセル値を補間するために、選択された補間フィルタ(たとえば、選択された補間フィルタインデックス)に従ってMHPを適用すべきかどうかを決定するように構成され得る。いくつかの設計では、異なる特性をもつ補間フィルタのセットが使用され得る。補間フィルタの選択は、ブロックごとであるか、シグナリングされるか、またはフィルタインデックスとして継承され得る。補間フィルタは、異なる分数(サブ整数)位置(位相)について異なり得る。MHPは、いくつかのフィルタ組合せについて無効にされ得る。一例では、補間フィルタのセットは、鋭いフィルタと滑らかなフィルタとを含み得る。その場合、ビデオエンコーダ200およびビデオデコーダ300は、滑らかなフィルタが選択される場合、ブロックについてMHPを無効にし得る。概して、「鋭い」フィルタは、いくつかのサンプルに対して、他のものに対してよりも多くの重みを割り当てることを意味し、「滑らかな」フィルタは、異なるサンプルにわたって比較的同様の重みを割り当てることを意味する。
【0080】
[0081] 別の例では、上記の技法に加えてまたはそれの代替として、ビデオエンコーダ200およびビデオデコーダ300は、参照ピクチャリストのPOCが、使用されるlist1参照ピクチャのPOCに等しいかどうかに基づいて、追加の予測信号について動きベクトルについてのAMVP候補リストを選択しない。代わりに、ビデオエンコーダ200およびビデオデコーダ300は、参照インデックスに従って使用すべきリストを決定するように構成され得る。これは、プロセスを簡略化し、コーディング改善を提供し得る。
【0081】
[0082] 別の例では、上記の技法に加えてまたはそれの代替として、ビデオエンコーダ200およびビデオデコーダ300は、表1のもの以外にMHPのために利用可能な追加の重み付けファクタで構成され得る。たとえば、ビデオエンコーダ200およびビデオデコーダ300は、表2の重み付けファクタを使用するように構成され得る。
【0082】
【表2】
【0083】
[0083] 上記の例では、1/2の追加の重みが使用され得る。これは、ビデオエンコーダ200が、従来の方法で可能であったものよりも多くの重要性を追加の仮説に割り当てることを可能にする。
【0084】
[0084] 本開示は、概して、シンタックス要素などのある情報を「シグナリング」することに言及し得る。「シグナリング」という用語は、概して、符号化されたビデオデータを復号するために使用されるシンタックス要素および/または他のデータについての値の通信を指し得る。すなわち、ビデオエンコーダ200は、ビットストリーム中でシンタックス要素についての値をシグナリングし得る。概して、シグナリングは、ビットストリーム中で値を生成することを指す。上述のように、ソースデバイス102は、実質的にリアルタイムでビットストリームを宛先デバイス116にトランスポートするか、または、宛先デバイス116による後の取出しのためにシンタックス要素をストレージデバイス112に記憶するときに行われ得るように、非リアルタイムでビットストリームを宛先デバイス116にトランスポートし得る。
【0085】
[0085] 図2Aおよび図2Bは、例示的なクワッドツリーバイナリツリー(QTBT)構造130と、対応するコーディングツリーユニット(CTU)132とを示す概念図である。実線はクワッドツリースプリッティングを表し、点線はバイナリツリースプリッティングを示す。バイナリツリーの各スプリット(すなわち、非リーフ)ノードでは、どのスプリッティングタイプ(すなわち、水平または垂直)が使用されるかを示すために1つのフラグがシグナリングされ、ここで、この例では、0は水平スプリッティングを示し、1は垂直スプリッティングを示す。クワッドツリースプリッティングでは、クワッドツリーノードが、ブロックを、等しいサイズをもつ4つのサブブロックに水平および垂直にスプリットするので、スプリッティングタイプを示す必要がない。したがって、QTBT構造130の領域ツリーレベル(すなわち、実線)についての(スプリッティング情報などの)シンタックス要素と、QTBT構造130の予測ツリーレベル(すなわち、破線)についての(スプリッティング情報などの)シンタックス要素とを、ビデオエンコーダ200は符号化し得、ビデオデコーダ300は復号し得る。QTBT構造130の端末リーフノードによって表されるCUについての、予測および変換データなどのビデオデータを、ビデオエンコーダ200は符号化し得、ビデオデコーダ300は復号し得る。
【0086】
[0086] 概して、図2BのCTU132は、第1および第2のレベルにおいてQTBT構造130のノードに対応するブロックのサイズを定義するパラメータに関連付けられ得る。これらのパラメータは、(サンプル中のCTU132のサイズを表す)CTUサイズと、最小クワッドツリーサイズ(最小許容クワッドツリーリーフノードサイズを表すMinQTSize)と、最大バイナリツリーサイズ(最大許容バイナリツリールートノードサイズを表すMaxBTSize)と、最大バイナリツリー深度(最大許容バイナリツリー深度を表すMaxBTDepth)と、最小バイナリツリーサイズ(最小許容バイナリツリーリーフノードサイズを表すMinBTSize)とを含み得る。
【0087】
[0087] CTUに対応するQTBT構造のルートノードは、QTBT構造の第1のレベルにおいて4つの子ノードを有し得、それらの各々は、クワッドツリー区分に従って区分され得る。すなわち、第1のレベルのノードは、(子ノードを有しない)リーフノードであるか、または4つの子ノードを有するかのいずれかである。QTBT構造130の例は、分岐のために実線を有する親ノードと子ノードとを含むようなノードを表す。第1のレベルのノードが最大許容バイナリツリールートノードサイズ(MaxBTSize)よりも大きくない場合、ノードは、それぞれのバイナリツリーによってさらに区分され得る。1つのノードのバイナリツリースプリッティングは、スプリットから生じるノードが最小許容バイナリツリーリーフノードサイズ(MinBTSize)または最大許容バイナリツリー深度(MaxBTDepth)に達するまで反復され得る。QTBT構造130の例は、分岐のために破線を有するようなノードを表す。バイナリツリーリーフノードはコーディングユニット(CU)と呼ばれ、CUは、さらなる区分なしに予測(たとえば、イントラピクチャまたはインターピクチャ予測)および変換のために使用される。上記で説明されたように、CUは「ビデオブロック」または「ブロック」と呼ばれることもある。
【0088】
[0088] QTBT区分構造の一例では、CTUサイズは、128×128(ルーマサンプルおよび2つの対応する64×64クロマサンプル)として設定され、MinQTSizeは16×16として設定され、MaxBTSizeは64×64として設定され、(幅と高さの両方について)MinBTSizeは4として設定され、MaxBTDepthは4として設定される。クワッドツリー区分は、クワッドツリーリーフノードを生成するために、最初にCTUに適用される。クワッドツリーリーフノードは、16×16(すなわち、MinQTSize)から128×128(すなわち、CTUサイズ)までのサイズを有し得る。クワッドツリーリーフノードが128×128である場合、クワッドツリーリーフノードは、サイズがMaxBTSize(すなわち、この例では、64×64)を超えるので、バイナリツリーによってさらにスプリットされない。他の場合、クワッドツリーリーフノードは、バイナリツリーによってさらに区分され得る。したがって、クワッドツリーリーフノードはまた、バイナリツリーのためのルートノードであり、0としてのバイナリツリー深度を有する。バイナリツリー深度がMaxBTDepth(この例では4)に達したとき、さらなるスプリッティングは許可されない。MinBTSize(この例では、4)に等しい幅を有するバイナリツリーノード、それは、そのバイナリツリーノードのためにさらなる垂直スプリッティング(すなわち、幅の分割)が許可されないことを暗示する。同様に、MinBTSizeに等しい高さを有するバイナリツリーノードは、そのバイナリツリーノードのためにさらなる水平スプリッティング(すなわち、高さの分割)が許可されないことを暗示する。上述のように、バイナリツリーのリーフノードは、CUと呼ばれ、さらなる区分なしに予測および変換に従ってさらに処理される。
【0089】
[0089] 図3は、本開示の技法を実施し得る例示的なビデオエンコーダ200を示すブロック図である。図3は、説明の目的で提供されており、本開示において広く例示され、説明される技法を限定するものと見なされるべきではない。説明の目的で、本開示は、ITU-T H.265/HEVCビデオコーディング規格および開発中のVVCビデオコーディング規格などのビデオコーディング規格のコンテキストにおいて、ビデオエンコーダ200について説明する。しかしながら、本開示の技法は、これらのビデオコーディング規格に限定されず、概して、他のビデオ符号化および復号規格に適用可能である。
【0090】
[0090] 図3の例では、ビデオエンコーダ200は、ビデオデータメモリ230と、モード選択ユニット202と、残差生成ユニット204と、変換処理ユニット206と、量子化ユニット208と、逆量子化ユニット210と、逆変換処理ユニット212と、再構築ユニット214と、フィルタユニット216と、復号ピクチャバッファ(DPB)218と、エントロピー符号化ユニット220とを含む。ビデオデータメモリ230と、モード選択ユニット202と、残差生成ユニット204と、変換処理ユニット206と、量子化ユニット208と、逆量子化ユニット210と、逆変換処理ユニット212と、再構築ユニット214と、フィルタユニット216と、DPB218と、エントロピー符号化ユニット220とのいずれかまたはすべては、1つまたは複数のプロセッサまたは処理回路において実装され得る。たとえば、ビデオエンコーダ200のユニットは、1つまたは複数の回路または論理要素として、ハードウェア回路の一部として、あるいはプロセッサ、ASIC、またはFPGAの一部として実装され得る。その上、ビデオエンコーダ200は、これらおよび他の機能を実施するための追加または代替のプロセッサまたは処理回路を含み得る。
【0091】
[0091] ビデオデータメモリ230は、ビデオエンコーダ200の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオエンコーダ200は、たとえば、ビデオソース104(図1)から、ビデオデータメモリ230に記憶されるビデオデータを受信し得る。DPB218は、ビデオエンコーダ200による後続のビデオデータの予測において使用するための参照ビデオデータを記憶する参照ピクチャメモリとして働き得る。ビデオデータメモリ230およびDPB218は、同期ダイナミックランダムアクセスメモリ(DRAM)(SDRAM)を含むDRAM、磁気抵抗RAM(MRAM)、抵抗性RAM(RRAM(登録商標))、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ230およびDPB218は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ230は、図示のように、ビデオエンコーダ200の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。
【0092】
[0092] 本開示では、ビデオデータメモリ230への言及は、特にそのように説明されない限り、ビデオエンコーダ200の内部のメモリに限定されるものとして解釈されるべきではなく、または特にそのように説明されない限り、ビデオエンコーダ200の外部のメモリに限定されるものとして解釈されるべきではない。そうではなく、ビデオデータメモリ230への言及は、ビデオエンコーダ200が符号化のために受信するビデオデータ(たとえば、符号化されるべきである現在ブロックについてのビデオデータ)を記憶する参照メモリとして理解されるべきである。図1のメモリ106はまた、ビデオエンコーダ200の様々なユニットからの出力の一時的なストレージを提供し得る。
【0093】
[0093] 図3の様々なユニットは、ビデオエンコーダ200によって実施される動作を理解するのを支援するために示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。固定機能回路は、特定の機能を提供する回路を指し、実施され得る動作に関してあらかじめ設定される。プログラマブル回路は、様々なタスクを実施するように、および実施され得る動作においてフレキシブルな機能を提供するようにプログラムされ得る回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義される様式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、(たとえば、パラメータを受信するかまたはパラメータを出力するために)ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは、概して不変である。いくつかの例では、ユニットのうちの1つまたは複数は、別個の回路ブロック(固定機能またはプログラマブル)であり得、いくつかの例では、1つまたは複数のユニットは集積回路であり得る。
【0094】
[0094] ビデオエンコーダ200は、算術論理ユニット(ALU)、基本機能ユニット(EFU)、デジタル回路、アナログ回路、および/またはプログラマブル回路から形成されるプログラマブルコアを含み得る。ビデオエンコーダ200の動作が、プログラマブル回路によって実行されるソフトウェアを使用して実施される例では、メモリ106(図1)は、ビデオエンコーダ200が受信し、実行するソフトウェアの命令(たとえば、オブジェクトコード)を記憶し得るか、またはビデオエンコーダ200内の別のメモリ(図示せず)が、そのような命令を記憶し得る。
【0095】
[0095] ビデオデータメモリ230は、受信されたビデオデータを記憶するように構成される。ビデオエンコーダ200は、ビデオデータメモリ230からビデオデータのピクチャを取り出し、残差生成ユニット204とモード選択ユニット202とにビデオデータを提供し得る。ビデオデータメモリ230中のビデオデータは、符号化されるべきである生のビデオデータであり得る。
【0096】
[0096] モード選択ユニット202は、動き推定ユニット222と、動き補償ユニット224と、イントラ予測ユニット226とを含む。モード選択ユニット202は、他の予測モードに従ってビデオ予測を実施するための追加の機能ユニットを含み得る。例として、モード選択ユニット202は、パレットユニット、(動き推定ユニット222および/または動き補償ユニット224の一部であり得る)イントラブロックコピーユニット、アフィンユニット、線形モデル(LM)ユニットなどを含み得る。
【0097】
[0097] モード選択ユニット202は、概して、符号化パラメータの組合せと、そのような組合せについての得られたレートひずみ値とをテストするために、複数の符号化パスを協調させる。符号化パラメータは、CUへのCTUの区分、CUのための予測モード、CUの残差データのための変換タイプ、CUの残差データのための量子化パラメータなどを含み得る。モード選択ユニット202は、他のテストされた組合せよりも良好であるレートひずみ値を有する符号化パラメータの組合せを最終的に選択し得る。本開示の技法によれば、モード選択ユニット202は、本開示の技法による複数仮説予測(MHP)、ならびに上記で説明された他の様々なファクタ、たとえば、予測されたブロックに適用されるべき重み、MVD解像度などのいずれかを使用して現在ブロックを予測すべきかどうかを選択し得る。
【0098】
[0098] ビデオエンコーダ200は、ビデオデータメモリ230から取り出されたピクチャを一連のCTUに区分し、スライス内の1つまたは複数のCTUをカプセル化し得る。モード選択ユニット202は、上記で説明されたHEVCのQTBT構造またはクワッドツリー構造など、ツリー構造に従ってピクチャのCTUを区分し得る。上記で説明されたように、ビデオエンコーダ200は、ツリー構造に従ってCTUを区分することから1つまたは複数のCUを形成し得る。そのようなCUは、概して「ビデオブロック」または「ブロック」と呼ばれることもある。
【0099】
[0099] 概して、モード選択ユニット202はまた、現在ブロック(たとえば、現在CU、またはHEVCでは、PUとTUとの重複する部分)についての予測ブロックを生成するように、それの構成要素(たとえば、動き推定ユニット222、動き補償ユニット224、およびイントラ予測ユニット226)を制御する。現在ブロックのインター予測のために、動き推定ユニット222は、1つまたは複数の参照ピクチャ(たとえば、DPB218に記憶された1つまたは複数の前にコーディングされたピクチャ)中で1つまたは複数の厳密に一致する参照ブロックを識別するために動き探索を実施し得る。特に、動き推定ユニット222は、たとえば、絶対差分和(SAD)、2乗差分和(SSD)、平均絶対差(MAD)、平均2乗差(MSD)などに従って、現在ブロックに対して潜在的参照ブロックがどのくらい類似しているかを表す値を計算し得る。動き推定ユニット222は、概して、現在ブロックと考慮されている参照ブロックとの間のサンプルごとの差分を使用してこれらの計算を実施し得る。動き推定ユニット222は、現在ブロックに最も厳密に一致する参照ブロックを示す、これらの計算から得られた最も低い値を有する参照ブロックを識別し得る。
【0100】
[0100] 動き推定ユニット222は、現在ピクチャ中の現在ブロックの位置に対して参照ピクチャ中の参照ブロックの位置を定義する1つまたは複数の動きベクトル(MV)を形成し得る。動き推定ユニット222は、次いで、動きベクトルを動き補償ユニット224に提供し得る。たとえば、単方向インター予測では、動き推定ユニット222は、単一の動きベクトルを提供し得るが、双方向インター予測では、動き推定ユニット222は、2つの動きベクトルを提供し得る。MHPでは、動き推定ユニット222は、追加の動きベクトルを提供し得る。
【0101】
[0101] 動き補償ユニット224は、次いで、動きベクトルと様々な重みとを使用して予測ブロックを生成し得、モード選択ユニット202は、重みのうちの適切な重みを最終的に決定し得る。たとえば、動き補償ユニット224は、動きベクトルを使用して参照ブロックのデータを取り出し得る。別の例として、動きベクトルが分数サンプル精度を有する場合、動き補償ユニット224は、1つまたは複数の補間フィルタに従って予測ブロックについての値を補間し得る。その上、双方向インター予測および/またはMHPでは、動き補償ユニット224は、それぞれの動きベクトルによって識別された2つの参照ブロックについてのデータを取り出し、たとえば、サンプルごとの平均化または重み付き平均化を通して、取り出されたデータを組み合わせ得る。
【0102】
[0102] いくつかの例では、モード選択ユニット202は、CUレベル重み付け(BCW)を用いた双予測の拡張としてMHPを適用することを決定し得る。たとえば、モード選択ユニット202は、BCWの拡張としてMHPを使用してブロックをコーディングすることが、最良のレートひずみ最適化(RDO)値を生じると決定し得る。特に、動き推定ユニット222は、ベース双予測モードにおいて中間予測ブロック(intermediate prediction block)を生成するための動き情報、ならびに追加の予測モード(たとえば、双予測または単予測)を使用して追加の予測ブロックを生成するための動き情報を決定し得る。モード選択ユニット202は、BCWを使用して生成された予測ブロックが、等しくない重み(たとえば、4以外の重み値)を使用して組み合わせられるべきであると決定し得る。
【0103】
[0103] 動き補償ユニット224は、(BCW予測された中間予測ブロックのために)2つのインター予測ブロックを生成し、中間予測ブロックを形成するために、等しくない重みを用いて2つのインター予測ブロックを組み合わせ得る。動き補償ユニット224は、次いで、追加の予測モードを使用して追加の予測ブロックを生成し得る。動き補償ユニット224は、さらに、MHPに従って中間予測ブロックを追加の予測ブロックと組み合わせ得る。さらに、モード選択ユニット202は、AMVPなど、非マージモードを使用して動き情報を符号化することを決定し得る。
【0104】
[0104] モード選択ユニット202はまた、MHPに従って中間予測ブロックを追加の予測ブロックと組み合わせるための重み付けファクタを決定し得る。MHPのための重み付けファクタは、BCWの等しくない重みとは別個である。たとえば、モード選択ユニット202は、重み付けファクタについての追加の仮説重みインデックス値(index value)(たとえば、add_hyp_weight_idx)を指定するテーブルに従ってコーディングされるべき重み付けファクタの値をエントロピー符号化ユニット220に提供し得る。エントロピー符号化ユニット220は、テーブルから追加の仮説重みインデックス値の値を決定し得る。したがって、エントロピー符号化ユニット220は、BCWの等しくない重みならびにMHPのための重み付けファクタを表す両方のデータを符号化し得る。
【0105】
[0105] モード選択ユニット202は、重みの値、ならびにベース双予測モードと追加の予測モードとのための動き情報をエントロピー符号化ユニット220に提供し得る。いくつかの例では、動き推定ユニット222および動き補償ユニット224は、ベース双予測モードのMVDについてのMVD精度と同じである、追加の予測信号のための動き情報のMVDについてのMVD精度を使用するように構成され得る。したがって、モード選択ユニット202は、追加の予測モードのためのMVD精度を表すデータをエントロピー符号化ユニット220に提供する必要がない。
【0106】
[0106] 他の例では、モード選択ユニット202が、等しい重みを用いた双予測モードを使用して現在ブロックを予測することを決定する場合、モード選択ユニット202は、MHPのための追加の予測信号の使用を防ぎ得る。したがって、エントロピー符号化ユニット220は、BCWについて重みが等しいとき、追加の動き情報をコーディングする必要がない。
【0107】
[0107] 別の例として、イントラ予測、またはイントラ予測コーディングのために、イントラ予測ユニット226は、現在ブロックに隣接しているサンプルから予測ブロックを生成し得る。たとえば、方向性モードでは、イントラ予測ユニット226は、概して、予測ブロックを作り出すために、隣接サンプルの値を数学的に組み合わせ、現在ブロックにわたって定義された方向にこれらの計算された値をポピュレートし得る。別の例として、DCモードでは、イントラ予測ユニット226は、現在ブロックに対する隣接サンプルの平均を計算し、予測ブロックの各サンプルについてこの得られた平均を含むように予測ブロックを生成し得る。
【0108】
[0108] モード選択ユニット202は、予測ブロックを残差生成ユニット204に提供する。残差生成ユニット204は、ビデオデータメモリ230から現在ブロックの生のコーディングされていないバージョンを受信し、モード選択ユニット202から予測ブロックを受信する。残差生成ユニット204は、現在ブロックと予測ブロックとの間のサンプルごとの差分を計算する。得られたサンプルごとの差分は、現在ブロックについての残差ブロックを定義する。いくつかの例では、残差生成ユニット204はまた、残差差分パルスコード変調(RDPCM)を使用して残差ブロックを生成するために、残差ブロック中のサンプル値間の差分を決定し得る。いくつかの例では、残差生成ユニット204は、バイナリ減算を実施する1つまたは複数の減算器回路を使用して形成され得る。
【0109】
[0109] モード選択ユニット202がCUをPUに区分する例では、各PUは、ルーマ予測ユニットと、対応するクロマ予測ユニットとに関連付けられ得る。ビデオエンコーダ200およびビデオデコーダ300は、様々なサイズを有するPUをサポートし得る。上記で示されたように、CUのサイズは、CUのルーマコーディングブロックのサイズを指し得、PUのサイズは、PUのルーマ予測ユニットのサイズを指し得る。特定のCUのサイズが2N×2Nであると仮定すると、ビデオエンコーダ200は、イントラ予測のための2N×2NまたはN×NのPUサイズと、インター予測のための2N×2N、2N×N、N×2N、N×N、または同様のものの対称PUサイズとをサポートし得る。ビデオエンコーダ200およびビデオデコーダ300はまた、インター予測のための2N×nU、2N×nD、nL×2N、およびnR×2NのPUサイズについて非対称区分をサポートし得る。
【0110】
[0110] モード選択ユニット202がCUをPUにさらに区分しない例では、各CUは、ルーマコーディングブロックと、対応するクロマコーディングブロックとに関連付けられ得る。上記のように、CUのサイズは、CUのルーマコーディングブロックのサイズを指し得る。ビデオエンコーダ200およびビデオデコーダ300は、2N×2N、2N×N、またはN×2NのCUサイズをサポートし得る。
【0111】
[0111] いくつかの例として、イントラブロックコピーモードコーディング、アフィンモードコーディング、および線形モデル(LM)モードコーディングなどの他のビデオコーディング技法では、モード選択ユニット202は、コーディング技法に関連付けられたそれぞれのユニットを介して、符号化されている現在ブロックについての予測ブロックを生成する。パレットモードコーディングなど、いくつかの例では、モード選択ユニット202は、予測ブロックを生成しないことがあり、代わりに、選択されたパレットに基づいてブロックを再構築すべき様式を示すシンタックス要素を生成し得る。そのようなモードでは、モード選択ユニット202は、符号化されるべきこれらのシンタックス要素をエントロピー符号化ユニット220に提供し得る。
【0112】
[0112] 上記で説明されたように、残差生成ユニット204は、現在ブロックについてのビデオデータと、対応する予測ブロックとを受信する。残差生成ユニット204は、次いで、現在ブロックについての残差ブロックを生成する。残差ブロックを生成するために、残差生成ユニット204は、予測ブロックと現在ブロックとの間のサンプルごとの差分を計算する。
【0113】
[0113] 変換処理ユニット206は、(本明細書では「変換係数ブロック」と呼ばれる)変換係数のブロックを生成するために、残差ブロックに1つまたは複数の変換を適用する。変換処理ユニット206は、変換係数ブロックを形成するために、残差ブロックに様々な変換を適用し得る。たとえば、変換処理ユニット206は、離散コサイン変換(DCT)、方向性変換、カルーネンレーベ変換(KLT)、または概念的に同様の変換を残差ブロックに適用し得る。いくつかの例では、変換処理ユニット206は、残差ブロックに複数の変換、たとえば、回転変換などの1次変換および2次変換を実施し得る。いくつかの例では、変換処理ユニット206は、残差ブロックに変換を適用しない。
【0114】
[0114] 量子化ユニット208は、量子化された変換係数ブロックを作り出すために、変換係数ブロック中の変換係数を量子化し得る。量子化ユニット208は、現在ブロックに関連付けられた量子化パラメータ(QP)値に従って変換係数ブロックの変換係数を量子化し得る。ビデオエンコーダ200は(たとえば、モード選択ユニット202を介して)、CUに関連付けられたQP値を調整することによって、現在ブロックに関連付けられた変換係数ブロックに適用される量子化の程度を調整し得る。量子化は、情報の損失をもたらし得、したがって、量子化された変換係数は、変換処理ユニット206によって作り出された元の変換係数よりも低い精度を有し得る。
【0115】
[0115] 逆量子化ユニット210および逆変換処理ユニット212は、変換係数ブロックから残差ブロックを再構築するために、それぞれ、量子化された変換係数ブロックに逆量子化および逆変換を適用し得る。再構築ユニット214は、再構築された残差ブロックと、モード選択ユニット202によって生成された予測ブロックとに基づいて、(潜在的にある程度のひずみを伴うが)現在ブロックに対応する再構築されたブロックを作り出し得る。たとえば、再構築ユニット214は、再構築されたブロックを作り出すために、モード選択ユニット202によって生成された予測ブロックからの対応するサンプルに、再構築された残差ブロックのサンプルを加算し得る。
【0116】
[0116] フィルタユニット216は、再構築されたブロックに対して1つまたは複数のフィルタ動作を実施し得る。たとえば、フィルタユニット216は、CUのエッジに沿ってブロッキネスアーティファクトを低減するためのデブロッキング動作を実施し得る。フィルタユニット216の動作は、いくつかの例では、スキップされ得る。
【0117】
[0117] ビデオエンコーダ200は、再構築されたブロックをDPB218に記憶する。たとえば、フィルタユニット216の動作が必要とされない例では、再構築ユニット214は、再構築されたブロックをDPB218に記憶し得る。フィルタユニット216の動作が必要とされる例では、フィルタユニット216は、フィルタ処理された再構築されたブロックをDPB218に記憶し得る。動き推定ユニット222および動き補償ユニット224は、後で符号化されるピクチャのブロックをインター予測するために、再構築(および潜在的にフィルタ処理)されたブロックから形成された参照ピクチャをDPB218から取り出し得る。さらに、イントラ予測ユニット226は、現在ピクチャ中の他のブロックをイントラ予測するために、現在ピクチャのDPB218中の再構築されたブロックを使用し得る。
【0118】
[0118] 概して、エントロピー符号化ユニット220は、ビデオエンコーダ200の他の機能構成要素から受信されたシンタックス要素をエントロピー符号化し得る。たとえば、エントロピー符号化ユニット220は、量子化ユニット208からの量子化された変換係数ブロックをエントロピー符号化し得る。別の例として、エントロピー符号化ユニット220は、モード選択ユニット202からの予測シンタックス要素(たとえば、インター予測のための動き情報またはイントラ予測のためのイントラモード情報)をエントロピー符号化し得る。エントロピー符号化ユニット220は、エントロピー符号化されたデータを生成するために、ビデオデータの別の例であるシンタックス要素に対して1つまたは複数のエントロピー符号化動作を実施し得る。たとえば、エントロピー符号化ユニット220は、コンテキスト適応型可変長コーディング(CAVLC)動作、CABAC動作、可変対可変(V2V)長コーディング動作、シンタックスベースコンテキスト適応型バイナリ算術コーディング(SBAC)動作、確率間隔区分エントロピー(PIPE)コーディング動作、指数ゴロム符号化動作、または別のタイプのエントロピー符号化動作をデータに対して実施し得る。いくつかの例では、エントロピー符号化ユニット220は、シンタックス要素がエントロピー符号化されないバイパスモードで動作し得る。
【0119】
[0119] ビデオエンコーダ200は、スライスまたはピクチャのブロックを再構築するために必要とされるエントロピー符号化されたシンタックス要素を含むビットストリームを出力し得る。特に、エントロピー符号化ユニット220がビットストリームを出力し得る。
【0120】
[0120] 上記で説明された動作は、ブロックに関して説明されている。そのような説明は、ルーマコーディングブロックおよび/またはクロマコーディングブロックのための動作であるものとして理解されるべきである。上記で説明されたように、いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、CUのルーマ成分およびクロマ成分である。いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、PUのルーマ成分およびクロマ成分である。
【0121】
[0121] いくつかの例では、ルーマコーディングブロックに関して実施される動作は、クロマコーディングブロックのために繰り返される必要はない。一例として、ルーマコーディングブロックのための動きベクトル(MV)と参照ピクチャとを識別するための動作は、クロマブロックのためのMVと参照ピクチャとを識別するために繰り返される必要はない。むしろ、ルーマコーディングブロックのためのMVは、クロマブロックのためのMVを決定するためにスケーリングされ得、参照ピクチャは同じであり得る。別の例として、イントラ予測プロセスは、ルーマコーディングブロックおよびクロマコーディングブロックについて同じであり得る。
【0122】
[0122] 図4は、本開示の技法を実施し得る例示的なビデオデコーダ300を示すブロック図である。図4は、説明の目的で提供されており、本開示において広く例示され、説明される技法を限定するものではない。説明の目的で、本開示は、VVCおよびHEVC(ITU-T H.265)の技法に従って、ビデオデコーダ300について説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に構成されたビデオコーディングデバイスによって実施され得る。
【0123】
[0123] 図4の例では、ビデオデコーダ300は、コード化ピクチャバッファ(CPB)メモリ320と、エントロピー復号ユニット302と、予測処理ユニット304と、逆量子化ユニット306と、逆変換処理ユニット308と、再構築ユニット310と、フィルタユニット312と、復号ピクチャバッファ(DPB)314とを含む。CPBメモリ320と、エントロピー復号ユニット302と、予測処理ユニット304と、逆量子化ユニット306と、逆変換処理ユニット308と、再構築ユニット310と、フィルタユニット312と、DPB314とのいずれかまたはすべては、1つまたは複数のプロセッサにおいてまたは処理回路において実装され得る。たとえば、ビデオデコーダ300のユニットは、1つまたは複数の回路または論理要素として、ハードウェア回路の一部として、あるいはプロセッサ、ASIC、またはFPGAの一部として実装され得る。その上、ビデオデコーダ300は、これらおよび他の機能を実施するための追加または代替のプロセッサまたは処理回路を含み得る。
【0124】
[0124] 予測処理ユニット304は、動き補償ユニット316と、イントラ予測ユニット318とを含む。予測処理ユニット304は、他の予測モードに従って予測を実施するための追加のユニットを含み得る。例として、予測処理ユニット304は、パレットユニット、(動き補償ユニット316の一部を形成し得る)イントラブロックコピーユニット、アフィンユニット、線形モデル(LM)ユニットなどを含み得る。他の例では、ビデオデコーダ300は、より多数の、より少数の、または異なる機能構成要素を含み得る。
【0125】
[0125] CPBメモリ320は、ビデオデコーダ300の構成要素によって復号されるべき、符号化されたビデオビットストリームなどのビデオデータを記憶し得る。CPBメモリ320に記憶されるビデオデータは、たとえば、コンピュータ可読媒体110(図1)から取得され得る。CPBメモリ320は、符号化されたビデオビットストリームからの符号化されたビデオデータ(たとえば、シンタックス要素)を記憶するCPBを含み得る。また、CPBメモリ320は、ビデオデコーダ300の様々なユニットからの出力を表す一時データなど、コーディングされたピクチャのシンタックス要素以外のビデオデータを記憶し得る。DPB314は、概して、符号化されたビデオビットストリームの後続のデータまたはピクチャを復号するときにビデオデコーダ300が参照ビデオデータとして出力および/または使用し得る復号されたピクチャを記憶する。CPBメモリ320およびDPB314は、同期ダイナミックランダムアクセスメモリ(DRAM)(SDRAM)を含むDRAM、磁気抵抗RAM(MRAM)、抵抗性RAM(RRAM)、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。CPBメモリ320およびDPB314は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、CPBメモリ320は、ビデオデコーダ300の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。
【0126】
[0126] 追加または代替として、いくつかの例では、ビデオデコーダ300は、メモリ120(図1)からコーディングされたビデオデータを取り出し得る。すなわち、メモリ120は、CPBメモリ320とともに上記で説明されたようにデータを記憶し得る。同様に、メモリ120は、ビデオデコーダ300の機能の一部または全部が、ビデオデコーダ300の処理回路によって実行されるべきソフトウェアにおいて実装されたとき、ビデオデコーダ300によって実行されるべき命令を記憶し得る。
【0127】
[0127] 図4に示されている様々なユニットは、ビデオデコーダ300によって実施される動作を理解するのを支援するために示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。図3と同様に、固定機能回路は、特定の機能を提供する回路を指し、実施され得る動作に関してあらかじめ設定される。プログラマブル回路は、様々なタスクを実施するように、および実施され得る動作においてフレキシブルな機能を提供するようにプログラムされ得る回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義される様式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、(たとえば、パラメータを受信するかまたはパラメータを出力するために)ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは、概して不変である。いくつかの例では、1つまたは複数のユニットは、別個の回路ブロック(固定機能またはプログラマブル)であり得、いくつかの例では、1つまたは複数のユニットは、集積回路であり得る。
【0128】
[0128] ビデオデコーダ300は、ALU、EFU、デジタル回路、アナログ回路、および/またはプログラマブル回路から形成されるプログラマブルコアを含み得る。ビデオデコーダ300の動作が、プログラマブル回路上で実行するソフトウェアによって実施される例では、オンチップまたはオフチップメモリは、ビデオデコーダ300が受信し、実行するソフトウェアの命令(たとえば、オブジェクトコード)を記憶し得る。
【0129】
[0129] エントロピー復号ユニット302は、CPBから符号化されたビデオデータを受信し、シンタックス要素を再生するためにビデオデータをエントロピー復号し得る。予測処理ユニット304と、逆量子化ユニット306と、逆変換処理ユニット308と、再構築ユニット310と、フィルタユニット312とは、ビットストリームから抽出されたシンタックス要素に基づいて、復号されたビデオデータを生成し得る。
【0130】
[0130] 概して、ビデオデコーダ300は、ブロックごとにピクチャを再構築する。ビデオデコーダ300は、各ブロックに対して個々に再構築動作を実施し得る(ここで、現在再構築されている、すなわち、復号されているブロックは、「現在ブロック」と呼ばれることがある)。
【0131】
[0131] エントロピー復号ユニット302は、量子化された変換係数ブロックの量子化された変換係数を定義するシンタックス要素、ならびに量子化パラメータ(QP)および/または(1つまたは複数の)変換モード指示などの変換情報をエントロピー復号し得る。逆量子化ユニット306は、量子化の程度と、同様に、逆量子化ユニット306が適用すべき逆量子化の程度とを決定するために、量子化された変換係数ブロックに関連付けられたQPを使用し得る。逆量子化ユニット306は、量子化された変換係数を逆量子化するために、たとえば、ビット単位の左シフト動作を実施し得る。逆量子化ユニット306は、それにより、変換係数を含む変換係数ブロックを形成し得る。
【0132】
[0132] 逆量子化ユニット306が変換係数ブロックを形成した後に、逆変換処理ユニット308は、現在ブロックに関連付けられた残差ブロックを生成するために、変換係数ブロックに1つまたは複数の逆変換を適用し得る。たとえば、逆変換処理ユニット308は、逆DCT、逆整数変換、逆カルーネンレーベ変換(KLT)、逆回転変換、逆方向変換、または別の逆変換を変換係数ブロックに適用し得る。
【0133】
[0133] さらに、予測処理ユニット304は、エントロピー復号ユニット302によってエントロピー復号された予測情報シンタックス要素に従って予測ブロックを生成する。たとえば、現在ブロックがインター予測されることを予測情報シンタックス要素が示す場合、動き補償ユニット316は予測ブロックを生成し得る。この場合、予測情報シンタックス要素は、参照ブロックをそれから取り出すべきDPB314中の参照ピクチャ、ならびに現在ピクチャ中の現在ブロックのロケーションに対する参照ピクチャ中の参照ブロックのロケーションを識別する動きベクトルを示し得る。動き補償ユニット316は、概して、動き補償ユニット224(図3)に関して説明されたものと実質的に同様である様式で、インター予測プロセスを実施し得る。
【0134】
[0134] たとえば、動き補償ユニット316は、本開示の技法による、単方向予測または双方向予測、あるいはMHPを実施するように構成され得る。予測処理ユニット304は、MHPが現在ブロックのために利用可能であるかどうかを決定することと、それに応じて、MHPを実施するかまたは実施しないように動き補償ユニット316を制御することとを行うように、本開示の技法に従って構成され得る。エントロピー復号ユニット302は、いくつかの例では、動きベクトルについてのMVD重み、および/または予測ブロックの重み付けされた組合せを形成するために予測ブロックに適用されるべき重みを表すデータを復号し得る。
【0135】
[0135] いくつかの例では、エントロピー復号ユニット302は、現在ブロックについてBCWモードのための重みを表すデータを復号し得る。BCWモードのための重みが等しくないとき、エントロピー復号ユニット302は、さらに、追加の予測信号のための追加の動き情報がエントロピー復号されるべきであると決定し得る。したがって、エントロピー復号ユニット302は、追加の動き情報、ならびにBCWのためのベース双予測モードのための動き情報をエントロピー復号し、重みと動き情報のすべてとを予測処理ユニット304に提供し得る。エントロピー復号ユニット302は、さらに、MHPに従って予測ブロックを組み合わせるときに使用されるべき重み付けファクタを表す、MHPのための重み付けファクタインデックス値をエントロピー復号し得る。エントロピー復号ユニット302は、インデックス値を重み付けファクタにマッピングする重み付けファクタテーブルを使用して重み付けファクタインデックスから重み付けファクタを決定し得る。
【0136】
[0136] 動き補償ユニット316は、(BCW予測された中間予測ブロックのために)2つのインター予測ブロックを生成し、中間予測ブロックを形成するために、等しくない重みを用いて2つのインター予測ブロックを組み合わせ得る。動き補償ユニット316は、次いで、追加の予測モードを使用して追加の予測ブロックを生成し得る。動き補償ユニット316は、さらに、重み付けファクタを使用してMHPに従って中間予測ブロックを追加の予測ブロックと組み合わせ得る。この場合も、MHPのための重み付けファクタはBCWの重みとは別個である。
【0137】
[0137] いくつかの例では、動き補償ユニット316は、ベース双予測モードのMVDについてのMVD精度と同じである、追加の予測信号のための動き情報のMVDについてのMVD精度を使用するように構成され得る。したがって、エントロピー復号ユニット302は、追加の予測モードのためのMVD精度を表すデータを復号しないことがある。
【0138】
[0138] 他の例では、現在ブロックが、等しい重みを用いた双予測モードを使用して予測されるべきであることを示すデータをエントロピー復号ユニット302が復号する場合、エントロピー復号ユニット302は、追加の動き情報が現在ブロックについて復号されるべきでないと決定し得る。したがって、ビットストリームの後続のデータは、追加の動き情報とは異なるシンタックス要素に対応し得る。
【0139】
[0139] 別の例として、予測情報シンタックス要素が、現在ブロックがイントラ予測されることを示す場合、イントラ予測ユニット318は、予測情報シンタックス要素によって示されるイントラ予測モードに従って予測ブロックを生成し得る。この場合も、イントラ予測ユニット318は、概して、イントラ予測ユニット226(図3)に関して説明されたものと実質的に同様である様式で、イントラ予測プロセスを実施し得る。イントラ予測ユニット318は、DPB314から、現在ブロックに対する隣接サンプルのデータを取り出し得る。
【0140】
[0140] 再構築ユニット310は、予測ブロックと残差ブロックとを使用して現在ブロックを再構築し得る。たとえば、再構築ユニット310は、現在ブロックを再構築するために、予測ブロックの対応するサンプルに残差ブロックのサンプルを加算し得る。
【0141】
[0141] フィルタユニット312は、再構築されたブロックに対して1つまたは複数のフィルタ動作を実施し得る。たとえば、フィルタユニット312は、再構築されたブロックのエッジに沿ってブロッキネスアーティファクトを低減するためのデブロッキング動作を実施し得る。フィルタユニット312の動作は、必ずしもすべての例において実施されるとは限らない。
【0142】
[0142] ビデオデコーダ300は、再構築されたブロックをDPB314に記憶し得る。たとえば、フィルタユニット312の動作が実施されない例では、再構築ユニット310は、再構築されたブロックをDPB314に記憶し得る。フィルタユニット312の動作が実施される例では、フィルタユニット312は、フィルタ処理された再構築されたブロックをDPB314に記憶し得る。上記で説明されたように、DPB314は、イントラ予測のための現在ピクチャのサンプル、および後続の動き補償のための前に復号されたピクチャなど、参照情報を、予測処理ユニット304に提供し得る。その上、ビデオデコーダ300は、DPB314からの復号されたピクチャを、図1のディスプレイデバイス118などのディスプレイデバイス上での後続の提示のために、出力し得る。
【0143】
[0143] 図5は、本開示の技法による、現在ブロックを符号化するための例示的な方法を示すフローチャートである。現在ブロックは現在CUを備え得る。ビデオエンコーダ200(図1および図3)に関して説明されるが、他のデバイスが図5の方法と同様の方法を実施するように構成され得ることを理解されたい。
【0144】
[0144] この例では、ビデオエンコーダ200は、最初に、現在ブロックを予測する(350)。たとえば、ビデオエンコーダ200は、現在ブロックについての予測ブロックを形成し得る。ビデオエンコーダ200は、本開示の技法による、上記で説明されたMHPに従って予測ブロックを形成し得る。ビデオエンコーダ200は、次いで、現在ブロックのための残差ブロックを計算し得る(352)。残差ブロックを計算するために、ビデオエンコーダ200は、元の符号化されていないブロックと、現在ブロックのための予測ブロックとの間の差分を計算し得る。ビデオエンコーダ200は、次いで、残差ブロックの係数を変換し、量子化し得る(354)。次に、ビデオエンコーダ200は、残差ブロックの量子化された変換係数を走査し得る(356)。走査中に、または走査に続いて、ビデオエンコーダ200は係数をエントロピー符号化し得る(358)。たとえば、ビデオエンコーダ200は、CAVLCまたはCABACを使用して係数を符号化し得る。ビデオエンコーダ200は、次いで、ブロックのエントロピー符号化されたデータを出力し得る(360)。
【0145】
[0145] ビデオエンコーダ200はまた、(たとえば、インター予測モードまたはイントラ予測モードにおいて)後でコーディングされるデータのための参照データとして現在ブロックの復号されたバージョンを使用するために、現在ブロックを符号化することの後に現在ブロックを復号し得る。したがって、ビデオエンコーダ200は、残差ブロックを再生するために係数を逆量子化し、逆変換し得る(362)。ビデオエンコーダ200は、復号されたブロックを形成するために、残差ブロックを予測ブロックと組み合わせ得る(364)。ビデオエンコーダ200は、次いで、復号されたブロックをDPB218に記憶し得る(366)。
【0146】
[0146] このようにして、図5の方法は、第1の重みと第2の重みとが、双予測モードを使用してインター予測コーディングされたビデオデータの現在ブロックについて指定されると決定することと、ここにおいて、第1の重みが第2の重みとは異なる、第1の重みと第2の重みとが指定されると決定したことに応答して、現在ブロックが、双予測モードをベースモードとして複数仮説予測(MHP)モードを使用して予測されるべきであるかどうかを決定することと、現在ブロックが、双予測モードをベースモードとしてMHPモードを使用して予測されるべきであると決定したことに応答して、MHPモードの追加のインター予測モードを決定することと、双予測モードに従って第1の予測ブロックを生成することと、追加のインター予測モードに従って第2の予測ブロックを生成することと、第1の予測ブロックと第2の予測ブロックとを使用してMHPモードに従って現在ブロックについての最終予測ブロックを生成することと、最終予測ブロックを使用して現在ブロックを復号することとを含む、現在ブロックを復号する(および/または符号化する)方法の一例を表す。
【0147】
[0147] 図6は、本開示の技法による、現在ブロックを復号するための例示的な方法を示すフローチャートである。現在ブロックは現在CUを備え得る。ビデオデコーダ300(図1および図4)に関して説明されるが、他のデバイスが図6の方法と同様の方法を実施するように構成され得ることを理解されたい。
【0148】
[0148] ビデオデコーダ300は、エントロピー符号化された予測情報、および現在ブロックに対応する残差ブロックの係数についてのエントロピー符号化されたデータなど、現在ブロックについてのエントロピー符号化されたデータを受信し得る(370)。ビデオデコーダ300は、現在ブロックのための予測情報を決定するために、および残差ブロックの係数を再生するために、エントロピー符号化されたデータをエントロピー復号し得る(372)。ビデオデコーダ300は、現在ブロックのための予測ブロックを計算するために、たとえば、現在ブロックのための予測情報によって示されるイントラ予測またはインター予測モードを使用して、現在ブロックを予測し得る(374)。ビデオデコーダ300は、本開示の技法による、上記で説明されたMHPに従って予測ブロックを形成し得る。ビデオデコーダ300は、次いで、量子化された変換係数のブロックを作成するために、再生された係数を逆走査し得る(376)。ビデオデコーダ300は、次いで、残差ブロックを作り出すために、量子化された変換係数を逆量子化し、逆変換し得る(378)。ビデオデコーダ300は、予測ブロックと残差ブロックとを組み合わせることによって、最終的に現在ブロックを復号し得る(380)。
【0149】
[0149] このようにして、図6の方法は、第1の重みと第2の重みとが、双予測モードを使用してインター予測コーディングされたビデオデータの現在ブロックについて指定されると決定することと、ここにおいて、第1の重みが第2の重みとは異なる、第1の重みと第2の重みとが指定されると決定したことに応答して、現在ブロックが、双予測モードをベースモードとして複数仮説予測(MHP)モードを使用して予測されるべきであるかどうかを決定することと、現在ブロックが、双予測モードをベースモードとしてMHPモードを使用して予測されるべきであると決定したことに応答して、MHPモードの追加のインター予測モードを決定することと、双予測モードに従って第1の予測ブロックを生成することと、追加のインター予測モードに従って第2の予測ブロックを生成することと、第1の予測ブロックと第2の予測ブロックとを使用してMHPモードに従って現在ブロックについての最終予測ブロックを生成することと、最終予測ブロックを使用して現在ブロックを復号することとを含む、現在ブロックを復号する方法の一例を表す。
【0150】
[0150] 図7は、CUレベル重み付けを用いた双予測(BCW)とBCWの拡張としての複数仮説予測(MHP)とを適用することの一例を示す概念図である。図7の例は、図1および図4のビデオデコーダ300に関して説明される。しかしながら、ビデオエンコーダ200は、これらまたは同様の技法をも実施するように構成され得る。
【0151】
[0151] 最初に、ビデオデコーダ300は、第1の双予測(BP:bi-prediction)ブロック402と第2の双予測ブロック404とを形成し得る。ビデオデコーダ300は、第1の双予測ブロック402を形成するために第1の動きベクトル(first motion vector)を使用し、第2の双予測ブロック404を形成するために第2の動きベクトル(second motion vector)を使用し得る。ビデオデコーダ300はまた、たとえば、AMVPなど、マージモード以外のモードに従って、第1および第2の動きベクトルを表す動き情報を復号し得る。したがって、ビデオデコーダ300は、たとえば、動きベクトル予測子として使用すべき隣接ブロックを識別するAMVP候補インデックス、MVPと実際の第1および第2の動きベクトルとの間の差分を表す動きベクトル差分(MVD:motion vector difference)値、参照ピクチャリスト識別子、ならびに対応する参照ピクチャリスト中の参照ピクチャを識別する参照ピクチャインデックス値を復号し得る。MVD値は、フルピクセル、1/2ピクセル、1/4ピクセル、1/8ピクセルなど、特定の解像度を有し得る。
【0152】
[0152] ビデオデコーダ300は、重みW1406およびW2408を表すデータをさらに復号し得る。重みW1406およびW2408は、合計されると8の合計値を形成し得る。ビデオデコーダ300は、第1の双予測ブロック402のサンプルに重みW1406を適用し、第2の双予測ブロック404のサンプルに重みW2408を適用し得る。すなわち、ビデオデコーダ300は、重みW1406に第1の双予測ブロック402のサンプルの各々の値を乗算し、重みW2408に第2の双予測ブロック404のサンプルの各々の値を乗算し得る。明示的乗算機能を実施するのではなく、ビデオデコーダ300は、それぞれの重みの値に従ってビット単位の左シフト動作を実施し得る。ビデオデコーダ300は、次いで、第1の双予測ブロック402の重み付けされたサンプルを第2の双予測ブロック404の重み付けされたサンプルと組み合わせ、それらのサンプルの各々についての和を重みの合計値、たとえば、8で除算し得る。明示的除算動作を実施するのではなく、ビデオデコーダ300は、3ビットだけビット単位の右シフトを実施し得る。得られたブロックは、中間(int.)予測ブロック410として図7で言及される。
【0153】
[0153] 重みW1406と重みW2408とが等しくない(たとえば、W1406とW2408の両方が4に等しくない)とき、ビデオデコーダ300は、複数仮説予測がBCWの拡張として実施されるべきであると決定し得る。したがって、ビデオデコーダ300は、ビデオビットストリームから、追加のインター予測モードのための動き情報をさらに復号し得る。ビデオデコーダ300は、たとえば、AMVPモードまたは別の非マージモードを使用して、動き情報を復号し得る。いくつかの例では、ビデオデコーダ300は、追加のインター予測モードのためのMVD値が、第1の双予測ブロック402と第2の双予測ブロック404とを形成するために使用される双予測動き情報のための動き情報と同じMVD解像度を有し、したがって、追加のインター予測モードのためのMVD解像度を表す追加のデータ(additional data)が復号される必要がないと決定し得る。ビデオデコーダ300はまた、追加の予測ブロック412を生成するために動き情報を使用し得る。
【0154】
[0154] ビデオデコーダ300はまた、重み付けファクタ値WF1414およびWF2416を表すデータを復号し得る。たとえば、ビデオデコーダ300は、add_hyp_weight_idxシンタックス要素についての値など、重み付けファクタインデックス値を復号し得る。ビデオデコーダ300は、重み付けファクタインデックス値に従って、たとえば、重み付けファクタインデックステーブルを使用して、WF1414およびWF2416の値を決定し得る。ビデオデコーダ300は、次いで、中間予測ブロック410のサンプルにWF1414を適用し、追加の予測ブロック412のサンプルにWF2 416を適用し得る。最終的に、ビデオデコーダ300は、最終予測ブロック418を生成するために、中間予測ブロック410のサンプルの重み付けされた値を追加の予測ブロック412のサンプルの重み付けされた値と組み合わせ得る。ビデオデコーダ300は、次いで、対応するブロックを復号する(再構築する)ために最終予測ブロック418を使用し得、たとえば、最終予測ブロック418のサンプルを残差ブロックの対応するサンプルに加算することを含む。
【0155】
[0155] 図8は、本開示の技法による、ビデオデータの現在ブロックを復号する(たとえば、再生する)例示的な方法を示すフローチャートである。図8の方法は、(符号化プロセスの復号ループ中に)ビデオエンコーダ200によって、またはビデオデコーダ300によって実施され得る。たとえば、図8の方法は、概して、図5のステップ350または図6のステップ374に対応し得る。例および説明の目的で、図8の方法は、ビデオデコーダ300に関して説明される。
【0156】
[0156] 最初に、ビデオデコーダ300は、第1の予測ブロックを生成し(430)、第2の予測ブロックを生成し得る(432)。たとえば、ビデオデコーダ300は、それぞれの動きベクトル差分(MVD)値と、AMVP候補識別子と、参照リスト識別子と、参照リストインデックスとを含む、AMVPモードにおいて符号化された動き情報、ならびにCUレベル重み付けを用いた双予測(BCW)ブロックを形成するために適用されるべき重みを受信し得る。
【0157】
[0157] この例では、ビデオデコーダ300は、重みが、等しくない値である、たとえば、両方の重みが4に等しくないと決定し得る。したがって、ビデオデコーダ300は、複数仮説予測(MHP)がBCWの拡張として適用されるべきであると決定し得る。ビデオデコーダ300は、続いて、第1の予測ブロックおよび第2の予測ブロックに重みを適用し得る(434)。ビデオデコーダ300はまた、MHPのための中間予測ブロックを形成するために第1の重み付けされた予測ブロック(first weighted prediction block)と第2の重み付けされた予測ブロック(second weighted prediction block)とを組み合わせ得る(436)。
【0158】
[0158] 重みが等しくないと決定したことに応答して、ビデオデコーダ300は、追加の予測モードのための追加の動き情報、たとえば、AMVP候補インデックス、MVD、参照リスト識別子、および参照リストインデックス(または追加の予測モードが双予測である場合、そのような値の複数のもの)を復号し得る。ビデオデコーダ300は、次いで、追加の動き情報を使用して追加の予測ブロックを生成し得る(438)。ビデオデコーダ300は、さらに、中間予測ブロックと追加の予測ブロックとについての重みを決定し得る。そのような重みは、たとえば、重み付けファクタテーブルへのインデックスを使用して、事前決定またはシグナリングされ得る。ビデオデコーダ300は、次いで、中間予測ブロックと追加の予測ブロックとに重みを適用し(440)、最終予測ブロックを形成するために、重み付けされた中間予測ブロックと重み付けされた追加の予測ブロックとを組み合わせ得る(442)。
【0159】
[0159] 最終的に、ビデオデコーダ300は、最終予測ブロックを使用して現在ブロックを復号し得る(444)。たとえば、ビデオデコーダ300は、たとえば、図6のステップ376~380に関して説明されたように、最終予測ブロックのサンプルを、再構築された残差ブロックの対応するサンプルと組み合わせ得る。図8の方法がビデオエンコーダ200によって実施されるとき、ビデオエンコーダ200は、現在ブロックを符号化するために、図5のステップ352~358に関して説明されたように、最終予測ブロックのサンプルを残差ブロックの対応するサンプルから減算し得る。さらに、ビデオエンコーダ200は、現在ブロックを復号するために、図5のステップ362~366に関して説明されたように、最終予測ブロックのサンプルを現在ブロックの対応するサンプルに加算し得る。
【0160】
[0160] このようにして、図8の方法は、第1の重みと第2の重みとが、双予測モードを使用してインター予測コーディングされたビデオデータの現在ブロックについて指定されると決定することと、ここにおいて、第1の重みが第2の重みとは異なる、第1の重みと第2の重みとが指定されると決定したことに応答して、現在ブロックが、双予測モードをベースモードとして複数仮説予測(MHP)モードを使用して予測されるべきであるかどうかを決定することと、現在ブロックが、双予測モードをベースモードとしてMHPモードを使用して予測されるべきであると決定したことに応答して、MHPモードの追加のインター予測モードを決定することと、双予測モードに従って第1の予測ブロックを生成することと、追加のインター予測モードに従って第2の予測ブロックを生成することと、第1の予測ブロックと第2の予測ブロックとを使用してMHPモードに従って現在ブロックについての最終予測ブロックを生成することと、最終予測ブロックを使用して現在ブロックを復号することとを含む、現在ブロックを復号する(および/または符号化する)方法の一例を表す。
【0161】
[0161] 本開示の様々な技法は、以下の条項において要約される。
【0162】
[0162] 条項1:ビデオデータを復号する方法であって、方法は、データの現在ブロックが、重みが指定される、少なくとも2つの動きベクトルを使用してインター予測コーディングされると決定することと、ここで、少なくとも2つの動きベクトルが、マージモード以外のモードを使用してコーディングされる、重みが指定されると決定したことに応答して、現在ブロックが、複数仮説予測(MHP)を使用して予測されるべきあるかどうかを決定することと、現在ブロックが、MHPを使用して予測されるべきであると決定したことに応答して、少なくとも2つの動きベクトルを使用してMHPに従って現在ブロックについての予測ブロックを形成することと、予測ブロックを使用して現在ブロックを復号することとを備える、方法。
【0163】
[0163] 条項2:現在ブロックが、MHPを使用して予測されるべきであるかどうかを決定することは、重みが4の重み値を含むとき、現在ブロックが、MHPを使用して予測されるべきであると決定することを備える、条項1に記載の方法。
【0164】
[0164] 条項3:ビデオデータを復号する方法であって、方法は、データの現在ブロックが、2つまたはそれ以上の動きベクトルを使用してインター予測コーディングされると決定することと、ここで、2つまたはそれ以上の動きベクトルが、マージモード以外のモードを使用してコーディングされ、2つまたはそれ以上の動きベクトルが、ベース動きベクトルと追加の動きベクトルとを含む、追加の動きベクトルについての動きベクトル差分(MVD)値のための精度が、ベース動きベクトルについてのMVD値のための精度に等しいと決定することと、2つまたはそれ以上の動きベクトルを使用して複数仮説予測(MHP)に従って現在ブロックについての予測ブロックを形成することと、予測ブロックを使用して現在ブロックを復号することとを備える、方法。
【0165】
[0165] 条項4:条項1および2のいずれかに記載の方法と条項3に記載の方法とを備える方法。
【0166】
[0166] 条項5:ベース動きベクトルについてのMVD値のための精度を表すデータを復号することと、追加の動きベクトルについてのMVD値のための精度を表す追加のデータを復号することなしに、ベース動きベクトルについてのMVD値のための精度から追加の動きベクトルについてのMVD値のための精度を推論することとをさらに備える、条項3および4のいずれかに記載の方法。
【0167】
[0167] 条項6:ビデオデータを復号する方法であって、方法は、データの現在ブロックが、2つまたはそれ以上の動きベクトルを使用してインター予測コーディングされると決定することと、2つまたはそれ以上の動きベクトルが、ベース動きベクトルと追加の動きベクトルとを含む、追加の動きベクトルについての動きベクトル差分(MVD)値のための第1の精度を表すデータを復号することと、ベース動きベクトルについてのMVD値のための第2の精度を表すデータを復号することと、2つまたはそれ以上の動きベクトルを使用して複数仮説予測(MHP)に従って現在ブロックについての予測ブロックを形成することと、予測ブロックを使用して現在ブロックを復号することとを備える、方法。
【0168】
[0168] 条項7:条項1および2のいずれかに記載の方法と条項6に記載の方法とを備える方法。
【0169】
[0169] 条項8:ビデオデータを復号する方法であって、方法は、データの現在ブロックが、複数仮説予測(MHP)に従って動き情報の2つまたはそれ以上のセットを使用してインター予測コーディングされると決定することと、動き情報の第1のセットが、第1の動きベクトルと、第1の動きベクトルが指す第1の参照ピクチャを表す第1の参照ピクチャ識別データ(first reference picture identifying data)とを含む、現在ブロックが、MHPに従って動き情報の2つまたはそれ以上のセットを使用してインター予測コーディングされると決定したことに応答して、動き情報の第2のセットが、第1の動きベクトルとは異なる第2の動きベクトル、または第1の参照ピクチャとは異なる第2の参照ピクチャを表す第2の参照ピクチャ識別データ(second reference picture identifying data)のうちの少なくとも1つを含むと決定することと、動き情報の2つまたはそれ以上のセットを使用して複数仮説予測(MHP)に従って現在ブロックについての予測ブロックを形成することと、予測ブロックを使用して現在ブロックを復号することとを備える、方法。
【0170】
[0170] 条項9:条項1から7のいずれかに記載の方法と条項8に記載の方法とを備える方法。
【0171】
[0171] 条項10:ビデオデータを復号する方法であって、方法は、データの現在ブロックが、少なくとも1つの動きベクトルを使用してインター予測コーディングされると決定することと、少なくとも1つの動きベクトルについての高度動きベクトル解像度(AMVR)が1/2ルーマサンプル解像度であると決定することと、少なくとも1つの動きベクトルについてのAMVRが1/2ルーマサンプル解像度であると決定したことに応答して、現在ブロックが、複数仮説予測(MHP)を使用して予測されないと決定することと、MHPを使用することなしに、少なくとも1つの動きベクトルを使用して現在ブロックについての予測ブロックを形成することと、予測ブロックを使用して現在ブロックを復号することとを備える、方法。
【0172】
[0172] 条項11:条項1から9のいずれかに記載の方法と条項10に記載の方法とを備える方法。
【0173】
[0173] 条項12:ビデオデータを復号する方法であって、方法は、データの現在ブロックが、サブピクセル精度を有する少なくとも1つの動きベクトルを使用してインター予測コーディングされると決定することと、参照ピクチャのサブピクセルについての値を補間するために使用されるべき補間フィルタを表すデータを復号することと、現在ブロックが、補間フィルタを表すデータに従って複数仮説予測(MHP)を使用して予測されるべきであるかどうかを決定することと、少なくとも1つの動きベクトルを使用して現在ブロックについての予測ブロックを形成することと、予測ブロックを使用して現在ブロックを復号することとを備える、方法。
【0174】
[0174] 条項13:条項1から11のいずれかに記載の方法と条項12に記載の方法とを備える方法。
【0175】
[0175] 条項14:現在ブロックが、MHPを使用して予測されるべきであるかどうかを決定することは、補間フィルタが、参照ピクチャの第1のサンプルに対して、参照ピクチャの第2のサンプルに対してよりも多くの重みを割り当てるかどうかを決定することと、補間フィルタが、参照ピクチャの第1のサンプルに対して、参照ピクチャの第2のサンプルに対してよりも多くの重みを割り当てるとき、現在ブロックが、MHPを使用して予測されるべきであると決定することとを備える、条項12および13のいずれかに記載の方法。
【0176】
[0176] 条項15:ビデオデータを復号する方法であって、方法は、データの現在ブロックが、複数仮説予測(MHP)に従って動き情報の2つまたはそれ以上のセットを使用してインター予測コーディングされると決定することと、動き情報の第1のセットが第1の参照インデックスを含み、動き情報の第2のセットが第2の参照インデックスを含む、第1の参照インデックスに従って第1の動きベクトル予測候補リストを決定することと、第1の動きベクトル予測候補リストを使用して動き情報の第1のセットの第1の動きベクトルを復号することと、第2の参照インデックスに従って第2の動きベクトル予測候補リストを決定することと、第2の動きベクトル予測候補リストを使用して動き情報の第2のセットの第2の動きベクトルを復号することと、第1の動きベクトルと第2の動きベクトルとを使用して複数仮説予測(MHP)に従って現在ブロックについての予測ブロックを形成することと、予測ブロックを使用して現在ブロックを復号することとを備える、方法。
【0177】
[0177] 条項16:条項1から14のいずれかに記載の方法と条項15に記載の方法とを備える方法。
【0178】
[0178] 条項17:ビデオデータを復号する方法であって、方法は、データの現在ブロックが、複数仮説予測(MHP)に従って2つまたはそれ以上の動きベクトルを使用してインター予測コーディングされると決定することと、2つまたはそれ以上の動きベクトルのうちの第1の動きベクトルを使用して第1の中間予測ブロック(first intermediate prediction block)を形成すること、2つまたはそれ以上の動きベクトルのうちの第2の動きベクトルを使用して第2の中間予測ブロック(second intermediate prediction block)を形成すること、第2の中間予測ブロックに適用すべき重みを決定すること、重みが、1/4、-1/8、または1/2のうちの1つを備える、および、予測ブロックを形成するために、重みを使用して第1の中間予測ブロックと第2の中間予測ブロックとを組み合わせることを備える、2つまたはそれ以上の動きベクトルを使用して複数仮説予測(MHP)に従って現在ブロックについての予測ブロックを形成することと、予測ブロックを使用して現在ブロックを復号することとを備える、方法。
【0179】
[0179] 条項18:条項1から16のいずれかに記載の方法と条項17に記載の方法とを備える方法。
【0180】
[0180] 条項19:第2の中間予測ブロックに適用すべき重みを決定することは、add_hyp_weight_idxシンタックス要素についての値を復号することと、add_hyp_weight_idxシンタックス要素についての値が0であるとき、重みが1/4を備えると決定することと、add_hyp_weight_idxシンタックス要素についての値が1であるとき、重みが-1/8を備えると決定することと、add_hyp_weight_idxシンタックス要素についての値が2であるとき、重みが1/2を備えると決定することとを備える、条項17および18のいずれかに記載の方法。
【0181】
[0181] 条項20:現在ブロックを復号することより前に、現在ブロックを符号化することをさらに備える、条項1から19のいずれかに記載の方法。
【0182】
[0182] 条項21:ビデオデータを復号するためのデバイスであって、デバイスが、条項1から20のいずれかに記載の方法を実施するための1つまたは複数の手段を備える、デバイス。
【0183】
[0183] 条項22:1つまたは複数の手段が、回路中に実装された1つまたは複数のプロセッサを備える、条項21に記載のデバイス。
【0184】
[0184] 条項23:復号されたビデオデータを表示するように構成されたディスプレイをさらに備える、条項21に記載のデバイス。
【0185】
[0185] 条項24:デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を備える、条項21に記載のデバイス。
【0186】
[0186] 条項25:ビデオデータを記憶するように構成されたメモリをさらに備える、条項21に記載のデバイス。
【0187】
[0187] 条項26:命令を記憶したコンピュータ可読記憶媒体であって、命令が、実行されたとき、ビデオデータを復号するためのデバイスのプロセッサに、条項1から20のいずれかに記載の方法を実施させる、コンピュータ可読記憶媒体。
【0188】
[0188] 条項27:ビデオデータを復号するためのデバイスであって、デバイスは、データの現在ブロックが、重みが指定される、少なくとも2つの動きベクトルを使用してインター予測コーディングされると決定するための手段と、ここで、少なくとも2つの動きベクトルが、マージモード以外のモードを使用してコーディングされる、重みが指定されると決定したことに応答して、現在ブロックが、複数仮説予測(MHP)を使用して予測されるべきあるかどうかを決定するための手段と、現在ブロックが、MHPを使用して予測されるべきであると決定したことに応答して、少なくとも2つの動きベクトルを使用してMHPに従って現在ブロックについての予測ブロックを形成するための手段と、予測ブロックを使用して現在ブロックを復号するための手段とを備える、デバイス。
【0189】
[0189] 条項28:ビデオデータを復号するためのデバイスであって、デバイスは、データの現在ブロックが、2つまたはそれ以上の動きベクトルを使用してインター予測コーディングされると決定するための手段と、ここで、2つまたはそれ以上の動きベクトルが、マージモード以外のモードを使用してコーディングされ、2つまたはそれ以上の動きベクトルが、ベース動きベクトルと追加の動きベクトルとを含む、追加の動きベクトルについての動きベクトル差分(MVD)値のための精度が、ベース動きベクトルについてのMVD値のための精度に等しいと決定するための手段と、2つまたはそれ以上の動きベクトルを使用して複数仮説予測(MHP)に従って現在ブロックについての予測ブロックを形成するための手段と、予測ブロックを使用して現在ブロックを復号するための手段とを備える、デバイス。
【0190】
[0190] 条項29:ビデオデータを復号するためのデバイスであって、デバイスは、データの現在ブロックが、2つまたはそれ以上の動きベクトルを使用してインター予測コーディングされると決定するための手段と、2つまたはそれ以上の動きベクトルが、ベース動きベクトルと追加の動きベクトルとを含む、追加の動きベクトルについての動きベクトル差分(MVD)値のための第1の精度を表すデータを復号するための手段と、ベース動きベクトルについてのMVD値のための第2の精度を表すデータを復号するための手段と、2つまたはそれ以上の動きベクトルを使用して複数仮説予測(MHP)に従って現在ブロックについての予測ブロックを形成するための手段と、予測ブロックを使用して現在ブロックを復号するための手段とを備える、デバイス。
【0191】
[0191] 条項30:ビデオデータを復号するためのデバイスであって、デバイスは、データの現在ブロックが、複数仮説予測(MHP)に従って動き情報の2つまたはそれ以上のセットを使用してインター予測コーディングされると決定するための手段と、動き情報の第1のセットが、第1の動きベクトルと、第1の動きベクトルが指す第1の参照ピクチャを表す第1の参照ピクチャ識別データとを含む、現在ブロックが、MHPに従って動き情報の2つまたはそれ以上のセットを使用してインター予測コーディングされると決定したことに応答して、動き情報の第2のセットが、第1の動きベクトルとは異なる第2の動きベクトル、または第1の参照ピクチャとは異なる第2の参照ピクチャを表す第2の参照ピクチャ識別データのうちの少なくとも1つを含むと決定するための手段と、動き情報の2つまたはそれ以上のセットを使用して複数仮説予測(MHP)に従って現在ブロックについての予測ブロックを形成するための手段と、予測ブロックを使用して現在ブロックを復号するための手段とを備える、デバイス。
【0192】
[0192] 条項31:ビデオデータを復号するためのデバイスであって、デバイスは、データの現在ブロックが、少なくとも1つの動きベクトルを使用してインター予測コーディングされると決定するための手段と、少なくとも1つの動きベクトルについての高度動きベクトル解像度(AMVR)が1/2ルーマサンプル解像度であると決定するための手段と、少なくとも1つの動きベクトルについてのAMVRが1/2ルーマサンプル解像度であると決定したことに応答して、現在ブロックが、複数仮説予測(MHP)を使用して予測されないと決定するための手段と、MHPを使用することなしに、少なくとも1つの動きベクトルを使用して現在ブロックについての予測ブロックを形成するための手段と、予測ブロックを使用して現在ブロックを復号するための手段とを備える、デバイス。
【0193】
[0193] 条項32:ビデオデータを復号するためのデバイスであって、デバイスは、データの現在ブロックが、サブピクセル精度を有する少なくとも1つの動きベクトルを使用してインター予測コーディングされると決定するための手段と、参照ピクチャのサブピクセルについての値を補間するために使用されるべき補間フィルタを表すデータを復号するための手段と、現在ブロックが、補間フィルタを表すデータに従って複数仮説予測(MHP)を使用して予測されるべきであるかどうかを決定するための手段と、少なくとも1つの動きベクトルを使用して現在ブロックについての予測ブロックを形成するための手段と、予測ブロックを使用して現在ブロックを復号するための手段とを備える、デバイス。
【0194】
[0194] 条項33:ビデオデータを復号するためのデバイスであって、デバイスは、データの現在ブロックが、複数仮説予測(MHP)に従って動き情報の2つまたはそれ以上のセットを使用してインター予測コーディングされると決定するための手段と、動き情報の第1のセットが第1の参照インデックスを含み、動き情報の第2のセットが第2の参照インデックスを含む、第1の参照インデックスに従って第1の動きベクトル予測候補リストを決定するための手段と、第1の動きベクトル予測候補リストを使用して動き情報の第1のセットの第1の動きベクトルを復号するための手段と、第2の参照インデックスに従って第2の動きベクトル予測候補リストを決定するための手段と、第2の動きベクトル予測候補リストを使用して動き情報の第2のセットの第2の動きベクトルを復号するための手段と、第1の動きベクトルと第2の動きベクトルとを使用して複数仮説予測(MHP)に従って現在ブロックについての予測ブロックを形成するための手段と、予測ブロックを使用して現在ブロックを復号するための手段とを備える、デバイス。
【0195】
[0195] 条項34:ビデオデータを復号するためのデバイスであって、デバイスは、データの現在ブロックが、複数仮説予測(MHP)に従って2つまたはそれ以上の動きベクトルを使用してインター予測コーディングされると決定するための手段と、2つまたはそれ以上の動きベクトルのうちの第1の動きベクトルを使用して第1の中間予測ブロックを形成するための手段、2つまたはそれ以上の動きベクトルのうちの第2の動きベクトルを使用して第2の中間予測ブロックを形成するための手段、第2の中間予測ブロックに適用すべき重みを決定するための手段、重みが、1/4、-1/8、または1/2のうちの1つを備える、および、予測ブロックを形成するために、重みを使用して第1の中間予測ブロックと第2の中間予測ブロックとを組み合わせるための手段を備える、2つまたはそれ以上の動きベクトルを使用して複数仮説予測(MHP)に従って現在ブロックについての予測ブロックを形成するための手段と、予測ブロックを使用して現在ブロックを復号するための手段とを備える、デバイス。
【0196】
[0196] 条項35:ビデオデータを復号する方法であって、方法は、第1の重みと第2の重みとが、双予測モードを使用してインター予測コーディングされたビデオデータの現在ブロックについて指定されると決定することと、ここにおいて、第1の重みが第2の重みとは異なる、第1の重みと第2の重みとが指定されると決定したことに応答して、現在ブロックが、双予測モードをベースモードとして複数仮説予測(MHP)モードを使用して予測されるべきであるかどうかを決定することと、現在ブロックが、双予測モードをベースモードとしてMHPモードを使用して予測されるべきであると決定したことに応答して、MHPモードの追加のインター予測モードを決定することと、双予測モードに従って第1の予測ブロックを生成することと、追加のインター予測モードに従って第2の予測ブロックを生成することと、第1の予測ブロックと第2の予測ブロックとを使用してMHPモードに従って現在ブロックについての最終予測ブロックを生成することと、最終予測ブロックを使用して現在ブロックを復号することとを備える、方法。
【0197】
[0197] 条項36:現在ブロックが、MHPを使用して予測されるべきであるかどうかを決定することは、第1の重みが4に等しくない、および第2の重みが4に等しくないとき、現在ブロックが、MHPを使用して予測されるべきであると決定することを備える、条項35に記載の方法。
【0198】
[0198] 条項37:現在ブロックが、MHPを使用して予測されるべきであるかどうかを決定することは、第1の重みが第2の重みに等しくないとき、現在ブロックが、MHPを使用して予測されるべきであると決定することを備える、条項35に記載の方法。
【0199】
[0199] 条項38:双予測モードについて高度動きベクトル予測(AMVP)モードを使用して第1の動きベクトルを復号することと、双予測モードについてAMVPモードを使用して第2の動きベクトルを復号することと、追加のインター予測モードについて第3の動きベクトル(third motion vector)を復号することとをさらに備え、ここにおいて、第1の予測ブロックを生成することが、第1の動きベクトルを使用して第1の中間予測ブロックを生成することと、第2の動きベクトルを使用して第2の中間予測ブロックを生成することと、第1の重み付けされた中間予測ブロック(first weighted intermediate prediction block)を形成するために、第1の中間予測ブロックに第1の重みを適用することと、第2の重み付けされた中間予測ブロック(second weighted intermediate prediction block)を形成するために、第2の中間予測ブロックに第2の重みを適用することと、第1の予測ブロックを形成するために、第1の重み付けされた中間予測ブロックを第2の重み付けされた中間予測ブロックと組み合わせることとを備え、ここにおいて、第2の予測ブロックを生成することが、第3の動きベクトルを使用して第2の予測ブロックを生成することを備える、条項35に記載の方法。
【0200】
[0200] 条項39:第1の動きベクトルと第2の動きベクトルとについての動きベクトル差分(MVD:motion vector difference)解像度を表すデータを復号することと、第3の動きベクトルについてのMVD解像度を表す追加のデータを復号することなしに、第3の動きベクトルがMVD解像度を有すると決定することとをさらに備える、条項38に記載の方法。
【0201】
[0201] 条項40:最終予測ブロックを生成することが、MHPモードについて第3の重み(third weight)と第4の重み(fourth weight)とを決定することと、第1の重み付けされた予測ブロックを形成するために、第1の予測ブロックに第3の重みを適用することと、第2の重み付けされた予測ブロックを形成するために、第2の予測ブロックに第4の重みを適用することと、最終予測ブロックを形成するために、第1の重み付けされた予測ブロックを第2の重み付けされた予測ブロックと組み合わせることとを備える、条項35に記載の方法。
【0202】
[0202] 条項41:第3の重みを決定することは、インデックス値を復号することと、インデックス値がマッピングテーブル(mapping table)においてマッピングされる第3の重みを決定することとを備え、第4の重みを決定することが、1-第3の重みとして、第4の重みを計算することを備える、条項40に記載の方法。
【0203】
[0203] 条項42:現在ブロックを復号することより前に、最終予測ブロックを使用して現在ブロックを符号化することをさらに備える、条項35に記載の方法。
【0204】
[0204] 条項43:ビデオデータを復号するためのデバイスであって、デバイスが、ビデオデータを記憶するように構成されたメモリと、回路中に実装された1つまたは複数のプロセッサとを備え、1つまたは複数のプロセッサは、第1の重みと第2の重みとが、双予測モードを使用してインター予測コーディングされたビデオデータの現在ブロックについて指定されると決定することと、ここにおいて、第1の重みが第2の重みとは異なる、第1の重みと第2の重みとが指定されると決定したことに応答して、現在ブロックが、双予測モードをベースモードとして複数仮説予測(MHP)モードを使用して予測されるべきであるかどうかを決定することと、現在ブロックが、双予測モードをベースモードとしてMHPモードを使用して予測されるべきであると決定したことに応答して、MHPモードの追加のインター予測モードを決定することと、双予測モードに従って第1の予測ブロックを生成することと、追加のインター予測モードに従って第2の予測ブロックを生成することと、第1の予測ブロックと第2の予測ブロックとを使用してMHPモードに従って現在ブロックについての最終予測ブロックを生成することと、最終予測ブロックを使用して現在ブロックを復号することとを行うように構成された、デバイス。
【0205】
[0205] 条項44:現在ブロックが、MHPを使用して予測されるべきであるかどうかを決定するために、1つまたは複数のプロセッサは、第1の重みが4に等しくない、および第2の重みが4に等しくないとき、現在ブロックが、MHPを使用して予測されるべきであると決定することを行うように構成された、条項43に記載のデバイス。
【0206】
[0206] 条項45:現在ブロックが、MHPを使用して予測されるべきであるかどうかを決定するために、1つまたは複数のプロセッサは、第1の重みが第2の重みに等しくないとき、現在ブロックが、MHPを使用して予測されるべきであると決定することを行うように構成された、条項43に記載のデバイス。
【0207】
[0207] 条項46:1つまたは複数のプロセッサが、双予測モードについて高度動きベクトル予測(AMVP)モードを使用して第1の動きベクトルを復号することと、双予測モードについてAMVPモードを使用して第2の動きベクトルを復号することと、追加のインター予測モードについて第3の動きベクトルを復号することとを行うようにさらに構成され、ここにおいて、第1の予測ブロックを生成するために、1つまたは複数のプロセッサが、第1の動きベクトルを使用して第1の中間予測ブロックを生成することと、第2の動きベクトルを使用して第2の中間予測ブロックを生成することと、第1の重み付けされた中間予測ブロックを形成するために、第1の中間予測ブロックに第1の重みを適用することと、第2の重み付けされた中間予測ブロックを形成するために、第2の中間予測ブロックに第2の重みを適用することと、第1の予測ブロックを形成するために、第1の重み付けされた中間予測ブロックを第2の重み付けされた中間予測ブロックと組み合わせることとを行うように構成され、ここにおいて、第2の予測ブロックを生成するために、1つまたは複数のプロセッサが、第3の動きベクトルを使用して第2の予測ブロックを生成することを行うように構成された、条項43に記載のデバイス。
【0208】
[0208] 条項47:1つまたは複数のプロセッサは、第1の動きベクトルと第2の動きベクトルとについての動きベクトル差分(MVD)解像度(resolution)を表すデータを復号することと、第3の動きベクトルについてのMVD解像度を表す追加のデータを復号することなしに、第3の動きベクトルがMVD解像度を有すると決定することとを行うようにさらに構成された、条項46に記載のデバイス。
【0209】
[0209] 条項48:最終予測ブロックを生成するために、1つまたは複数のプロセッサが、MHPモードについて第3の重みと第4の重みとを決定することと、第1の重み付けされた予測ブロックを形成するために、第1の予測ブロックに第3の重みを適用することと、第2の重み付けされた予測ブロックを形成するために、第2の予測ブロックに第4の重みを適用することと、最終予測ブロックを形成するために、第1の重み付けされた予測ブロックを第2の重み付けされた予測ブロックと組み合わせることとを行うように構成された、条項43に記載のデバイス。
【0210】
[0210] 条項49:第3の重みを決定するために、1つまたは複数のプロセッサは、インデックス値を復号することと、インデックス値がマッピングテーブルにおいてマッピングされる第3の重みを決定することとを行うように構成され、第4の重みを決定するために、1つまたは複数のプロセッサが、1-第3の重みとして、第4の重みを計算することを行うように構成された、条項48に記載のデバイス。
【0211】
[0211] 条項50:1つまたは複数のプロセッサが、現在ブロックを復号することより前に、最終予測ブロックを使用して現在ブロックを符号化することを行うように構成された、条項43に記載のデバイス。
【0212】
[0212] 条項51:復号されたビデオデータを表示するように構成されたディスプレイをさらに備える、条項43に記載のデバイス。
【0213】
[0213] 条項52:デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を備える、条項43に記載のデバイス。
【0214】
[0214] 条項53:命令を記憶したコンピュータ可読記憶媒体であって、命令は、実行されたとき、プロセッサに、第1の重みと第2の重みとが、双予測モードを使用してインター予測コーディングされたビデオデータの現在ブロックについて指定されると決定することと、ここにおいて、第1の重みが第2の重みとは異なる、第1の重みと第2の重みとが指定されると決定したことに応答して、現在ブロックが、双予測モードをベースモードとして複数仮説予測(MHP)モードを使用して予測されるべきであるかどうかを決定することと、現在ブロックが、双予測モードをベースモードとしてMHPモードを使用して予測されるべきであると決定したことに応答して、MHPモードの追加のインター予測モードを決定することと、双予測モードに従って第1の予測ブロックを生成することと、追加のインター予測モードに従って第2の予測ブロックを生成することと、第1の予測ブロックと第2の予測ブロックとを使用してMHPモードに従って現在ブロックについての最終予測ブロックを生成することと、最終予測ブロックを使用して現在ブロックを復号することとを行わせる、コンピュータ可読記憶媒体。
【0215】
[0215] 条項54:プロセッサに、現在ブロックが、MHPを使用して予測されるべきであるかどうかを決定することを行わせる命令は、プロセッサに、第1の重みが4に等しくない、および第2の重みが4に等しくないとき、現在ブロックが、MHPを使用して予測されるべきであると決定することを行わせる命令を備える、条項53に記載のコンピュータ可読記憶媒体。
【0216】
[0216] 条項55:プロセッサに、現在ブロックが、MHPを使用して予測されるべきであるかどうかを決定することを行わせる命令は、プロセッサに、第1の重みが第2の重みに等しくないとき、現在ブロックが、MHPを使用して予測されるべきであると決定することを行わせる命令を備える、条項53に記載のコンピュータ可読記憶媒体。
【0217】
[0217] 条項56:プロセッサに、双予測モードについて高度動きベクトル予測(AMVP)モードを使用して第1の動きベクトルを復号することと、双予測モードについてAMVPモードを使用して第2の動きベクトルを復号することと、追加のインター予測モードについて第3の動きベクトルを復号することとを行わせる命令をさらに備え、ここにおいて、プロセッサに、第1の予測ブロックを生成することを行わせる命令が、プロセッサに、第1の動きベクトルを使用して第1の中間予測ブロックを生成することと、第2の動きベクトルを使用して第2の中間予測ブロックを生成することと、第1の重み付けされた中間予測ブロックを形成するために、第1の中間予測ブロックに第1の重みを適用することと、第2の重み付けされた中間予測ブロックを形成するために、第2の中間予測ブロックに第2の重みを適用することと、第1の予測ブロックを形成するために、第1の重み付けされた中間予測ブロックを第2の重み付けされた中間予測ブロックと組み合わせることとを行わせる命令を備え、ここにおいて、プロセッサに、第2の予測ブロックを生成することを行わせる命令が、プロセッサに、第3の動きベクトルを使用して第2の予測ブロックを生成することを行わせる命令を備える、条項53に記載のコンピュータ可読記憶媒体。
【0218】
[0218] 条項57:プロセッサに、第1の動きベクトルと第2の動きベクトルとについての動きベクトル差分(MVD)解像度を表すデータを復号することと、第3の動きベクトルについてのMVD解像度を表す追加のデータを復号することなしに、第3の動きベクトルがMVD解像度を有すると決定することとを行わせる命令をさらに備える、条項56に記載のコンピュータ可読記憶媒体。
【0219】
[0219] 条項58:プロセッサに、最終予測ブロックを生成することを行わせる命令が、プロセッサに、MHPモードについて第3の重みと第4の重みとを決定することと、第1の重み付けされた予測ブロックを形成するために、第1の予測ブロックに第3の重みを適用することと、第2の重み付けされた予測ブロックを形成するために、第2の予測ブロックに第4の重みを適用することと、最終予測ブロックを形成するために、第1の重み付けされた予測ブロックを第2の重み付けされた予測ブロックと組み合わせることとを行わせる命令を備える、条項53に記載のコンピュータ可読記憶媒体。
【0220】
[0220] 条項59:プロセッサに、第3の重みを決定することを行わせる命令は、プロセッサに、インデックス値を復号することと、インデックス値がマッピングテーブルにおいてマッピングされる第3の重みを決定することとを行わせる命令を備え、プロセッサに、第4の重みを決定することを行わせる命令が、プロセッサに、1-第3の重みとして、第4の重みを計算することを行わせる命令を備える、条項58に記載のコンピュータ可読記憶媒体。
【0221】
[0221] 条項60:プロセッサに、現在ブロックを復号することより前に、最終予測ブロックを使用して現在ブロックを符号化することを行わせる命令をさらに備える、条項53に記載のコンピュータ可読記憶媒体。
【0222】
[0222] 条項61:ビデオデータを復号するためのデバイスであって、デバイスは、第1の重みと第2の重みとが、双予測モードを使用してインター予測コーディングされたビデオデータの現在ブロックについて指定されると決定するための手段と、ここにおいて、第1の重みが第2の重みとは異なる、第1の重みと第2の重みとが指定されると決定したことに応答して、現在ブロックが、双予測モードをベースモードとして複数仮説予測(MHP)モードを使用して予測されるべきであるかどうかを決定するための手段と、現在ブロックが、双予測モードをベースモードとしてMHPモードを使用して予測されるべきであると決定したことに応答して、MHPモードの追加のインター予測モードを決定するための手段と、双予測モードに従って第1の予測ブロックを生成するための手段と、追加のインター予測モードに従って第2の予測ブロックを生成するための手段と、第1の予測ブロックと第2の予測ブロックとを使用してMHPモードに従って現在ブロックについての最終予測ブロックを生成するための手段と、最終予測ブロックを使用して現在ブロックを復号するための手段とを備える、デバイス。
【0223】
[0223] 条項62:現在ブロックが、MHPを使用して予測されるべきであるかどうかを決定するための手段は、第1の重みが4に等しくない、および第2の重みが4に等しくないとき、現在ブロックが、MHPを使用して予測されるべきであると決定するための手段を備える、条項61に記載のデバイス。
【0224】
[0224] 条項63:現在ブロックが、MHPを使用して予測されるべきであるかどうかを決定するための手段は、第1の重みが第2の重みに等しくないとき、現在ブロックが、MHPを使用して予測されるべきであると決定するための手段を備える、条項61に記載のデバイス。
【0225】
[0225] 条項64:双予測モードについて高度動きベクトル予測(AMVP)モードを使用して第1の動きベクトルを復号するための手段と、双予測モードについてAMVPモードを使用して第2の動きベクトルを復号するための手段と、追加のインター予測モードについて第3の動きベクトルを復号するための手段とをさらに備え、ここにおいて、第1の予測ブロックを生成するための手段が、第1の動きベクトルを使用して第1の中間予測ブロックを生成するための手段と、第2の動きベクトルを使用して第2の中間予測ブロックを生成するための手段と、第1の重み付けされた中間予測ブロックを形成するために、第1の中間予測ブロックに第1の重みを適用するための手段と、第2の重み付けされた中間予測ブロックを形成するために、第2の中間予測ブロックに第2の重みを適用するための手段と、第1の予測ブロックを形成するために、第1の重み付けされた中間予測ブロックを第2の重み付けされた中間予測ブロックと組み合わせるための手段とを備え、ここにおいて、第2の予測ブロックを生成するための手段が、第3の動きベクトルを使用して第2の予測ブロックを生成するための手段を備える、条項61に記載のデバイス。
【0226】
[0226] 条項65:第1の動きベクトルと第2の動きベクトルとについての動きベクトル差分(MVD)解像度を表すデータを復号するための手段と、第3の動きベクトルについてのMVD解像度を表す追加のデータを復号することなしに、第3の動きベクトルがMVD解像度を有すると決定するための手段とをさらに備える、条項64に記載のデバイス。
【0227】
[0227] 条項66:最終予測ブロックを生成するための手段が、MHPモードについて第3の重みと第4の重みとを決定するための手段と、第1の重み付けされた予測ブロックを形成するために、第1の予測ブロックに第3の重みを適用するための手段と、第2の重み付けされた予測ブロックを形成するために、第2の予測ブロックに第4の重みを適用するための手段と、最終予測ブロックを形成するために、第1の重み付けされた予測ブロックを第2の重み付けされた予測ブロックと組み合わせるための手段とを備える、条項61に記載のデバイス。
【0228】
[0228] 条項67:第3の重みを決定するための手段は、インデックス値を復号するための手段と、インデックス値がマッピングテーブルにおいてマッピングされる第3の重みを決定するための手段とを備え、第4の重みを決定するための手段が、1-第3の重みとして、第4の重みを計算するための手段を備える、条項66に記載のデバイス。
【0229】
[0229] 条項68:現在ブロックを復号することより前に、最終予測ブロックを使用して現在ブロックを符号化するための手段をさらに備える、条項61に記載のデバイス。
【0230】
[0230] 条項69:ビデオデータを復号する方法であって、方法は、第1の重みと第2の重みとが、双予測モードを使用してインター予測コーディングされたビデオデータの現在ブロックについて指定されると決定することと、ここにおいて、第1の重みが第2の重みとは異なる、第1の重みと第2の重みとが指定されると決定したことに応答して、現在ブロックが、双予測モードをベースモードとして複数仮説予測(MHP)モードを使用して予測されるべきであるかどうかを決定することと、現在ブロックが、双予測モードをベースモードとしてMHPモードを使用して予測されるべきであると決定したことに応答して、MHPモードの追加のインター予測モードを決定することと、双予測モードに従って第1の予測ブロックを生成することと、追加のインター予測モードに従って第2の予測ブロックを生成することと、第1の予測ブロックと第2の予測ブロックとを使用してMHPモードに従って現在ブロックについての最終予測ブロックを生成することと、最終予測ブロックを使用して現在ブロックを復号することとを備える、方法。
【0231】
[0231] 条項70:現在ブロックが、MHPを使用して予測されるべきであるかどうかを決定することは、第1の重みが4に等しくない、および第2の重みが4に等しくないとき、現在ブロックが、MHPを使用して予測されるべきであると決定することを備える、条項69に記載の方法。
【0232】
[0232] 条項71:現在ブロックが、MHPを使用して予測されるべきであるかどうかを決定することは、第1の重みが第2の重みに等しくないとき、現在ブロックが、MHPを使用して予測されるべきであると決定することを備える、条項69に記載の方法。
【0233】
[0233] 条項72:双予測モードについて高度動きベクトル予測(AMVP)モードを使用して第1の動きベクトルを復号することと、双予測モードについてAMVPモードを使用して第2の動きベクトルを復号することと、追加のインター予測モードについて第3の動きベクトルを復号することとをさらに備え、ここにおいて、第1の予測ブロックを生成することが、第1の動きベクトルを使用して第1の中間予測ブロックを生成することと、第2の動きベクトルを使用して第2の中間予測ブロックを生成することと、第1の重み付けされた中間予測ブロックを形成するために、第1の中間予測ブロックに第1の重みを適用することと、第2の重み付けされた中間予測ブロックを形成するために、第2の中間予測ブロックに第2の重みを適用することと、第1の予測ブロックを形成するために、第1の重み付けされた中間予測ブロックを第2の重み付けされた中間予測ブロックと組み合わせることとを備え、ここにおいて、第2の予測ブロックを生成することが、第3の動きベクトルを使用して第2の予測ブロックを生成することを備える、条項69から71のいずれかに記載の方法。
【0234】
[0234] 条項73:第1の動きベクトルと第2の動きベクトルとについての動きベクトル差分(MVD)解像度を表すデータを復号することと、第3の動きベクトルについてのMVD解像度を表す追加のデータを復号することなしに、第3の動きベクトルがMVD解像度を有すると決定することとをさらに備える、条項72に記載の方法。
【0235】
[0235] 条項74:最終予測ブロックを生成することが、MHPモードについて第3の重みと第4の重みとを決定することと、第1の重み付けされた予測ブロックを形成するために、第1の予測ブロックに第3の重みを適用することと、第2の重み付けされた予測ブロックを形成するために、第2の予測ブロックに第4の重みを適用することと、最終予測ブロックを形成するために、第1の重み付けされた予測ブロックを第2の重み付けされた予測ブロックと組み合わせることとを備える、条項69から73のいずれかに記載の方法。
【0236】
[0236] 条項75:第3の重みを決定することは、インデックス値を復号することと、インデックス値がマッピングテーブルにおいてマッピングされる第3の重みを決定することとを備え、第4の重みを決定することが、1-第3の重みとして、第4の重みを計算することを備える、条項74に記載の方法。
【0237】
[0237] 条項76:現在ブロックを復号することより前に、最終予測ブロックを使用して現在ブロックを符号化することをさらに備える、条項69から75のいずれかに記載の方法。
【0238】
[0238] 条項77:ビデオデータを復号するためのデバイスであって、デバイスが、ビデオデータを記憶するように構成されたメモリと、回路中に実装された1つまたは複数のプロセッサとを備え、1つまたは複数のプロセッサは、第1の重みと第2の重みとが、双予測モードを使用してインター予測コーディングされたビデオデータの現在ブロックについて指定されると決定することと、ここにおいて、第1の重みが第2の重みとは異なる、第1の重みと第2の重みとが指定されると決定したことに応答して、現在ブロックが、双予測モードをベースモードとして複数仮説予測(MHP)モードを使用して予測されるべきであるかどうかを決定することと、現在ブロックが、双予測モードをベースモードとしてMHPモードを使用して予測されるべきであると決定したことに応答して、MHPモードの追加のインター予測モードを決定することと、双予測モードに従って第1の予測ブロックを生成することと、追加のインター予測モードに従って第2の予測ブロックを生成することと、第1の予測ブロックと第2の予測ブロックとを使用してMHPモードに従って現在ブロックについての最終予測ブロックを生成することと、最終予測ブロックを使用して現在ブロックを復号することとを行うように構成された、デバイス。
【0239】
[0239] 条項78:現在ブロックが、MHPを使用して予測されるべきであるかどうかを決定するために、1つまたは複数のプロセッサは、第1の重みが4に等しくない、および第2の重みが4に等しくないとき、現在ブロックが、MHPを使用して予測されるべきであると決定することを行うように構成された、条項77に記載のデバイス。
【0240】
[0240] 条項79:現在ブロックが、MHPを使用して予測されるべきであるかどうかを決定するために、1つまたは複数のプロセッサは、第1の重みが第2の重みに等しくないとき、現在ブロックが、MHPを使用して予測されるべきであると決定することを行うように構成された、条項77に記載のデバイス。
【0241】
[0241] 条項80:1つまたは複数のプロセッサが、双予測モードについて高度動きベクトル予測(AMVP)モードを使用して第1の動きベクトルを復号することと、双予測モードについてAMVPモードを使用して第2の動きベクトルを復号することと、追加のインター予測モードについて第3の動きベクトルを復号することとを行うようにさらに構成され、ここにおいて、第1の予測ブロックを生成するために、1つまたは複数のプロセッサが、第1の動きベクトルを使用して第1の中間予測ブロックを生成することと、第2の動きベクトルを使用して第2の中間予測ブロックを生成することと、第1の重み付けされた中間予測ブロックを形成するために、第1の中間予測ブロックに第1の重みを適用することと、第2の重み付けされた中間予測ブロックを形成するために、第2の中間予測ブロックに第2の重みを適用することと、第1の予測ブロックを形成するために、第1の重み付けされた中間予測ブロックを第2の重み付けされた中間予測ブロックと組み合わせることとを行うように構成され、ここにおいて、第2の予測ブロックを生成するために、1つまたは複数のプロセッサが、第3の動きベクトルを使用して第2の予測ブロックを生成することを行うように構成された、条項77から79のいずれかに記載のデバイス。
【0242】
[0242] 条項81:1つまたは複数のプロセッサは、第1の動きベクトルと第2の動きベクトルとについての動きベクトル差分(MVD)解像度を表すデータを復号することと、第3の動きベクトルについてのMVD解像度を表す追加のデータを復号することなしに、第3の動きベクトルがMVD解像度を有すると決定することとを行うようにさらに構成された、条項80に記載のデバイス。
【0243】
[0243] 条項82:最終予測ブロックを生成するために、1つまたは複数のプロセッサが、MHPモードについて第3の重みと第4の重みとを決定することと、第1の重み付けされた予測ブロックを形成するために、第1の予測ブロックに第3の重みを適用することと、第2の重み付けされた予測ブロックを形成するために、第2の予測ブロックに第4の重みを適用することと、最終予測ブロックを形成するために、第1の重み付けされた予測ブロックを第2の重み付けされた予測ブロックと組み合わせることとを行うように構成された、条項77から81のいずれかに記載のデバイス。
【0244】
[0244] 条項83:第3の重みを決定するために、1つまたは複数のプロセッサは、インデックス値を復号することと、インデックス値がマッピングテーブルにおいてマッピングされる第3の重みを決定することとを行うように構成され、第4の重みを決定するために、1つまたは複数のプロセッサが、1-第3の重みとして、第4の重みを計算することを行うように構成された、条項82に記載のデバイス。
【0245】
[0245] 条項84:1つまたは複数のプロセッサが、現在ブロックを復号することより前に、最終予測ブロックを使用して現在ブロックを符号化することを行うように構成された、条項77から83のいずれかに記載のデバイス。
【0246】
[0246] 条項85:復号されたビデオデータを表示するように構成されたディスプレイをさらに備える、条項77から84のいずれかに記載のデバイス。
【0247】
[0247] 条項86:デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を備える、条項77から85のいずれかに記載のデバイス。
【0248】
[0248] 条項87:命令を記憶したコンピュータ可読記憶媒体であって、命令は、実行されたとき、プロセッサに、第1の重みと第2の重みとが、双予測モードを使用してインター予測コーディングされたビデオデータの現在ブロックについて指定されると決定することと、ここにおいて、第1の重みが第2の重みとは異なる、第1の重みと第2の重みとが指定されると決定したことに応答して、現在ブロックが、双予測モードをベースモードとして複数仮説予測(MHP)モードを使用して予測されるべきであるかどうかを決定することと、現在ブロックが、双予測モードをベースモードとしてMHPモードを使用して予測されるべきであると決定したことに応答して、MHPモードの追加のインター予測モードを決定することと、双予測モードに従って第1の予測ブロックを生成することと、追加のインター予測モードに従って第2の予測ブロックを生成することと、第1の予測ブロックと第2の予測ブロックとを使用してMHPモードに従って現在ブロックについての最終予測ブロックを生成することと、最終予測ブロックを使用して現在ブロックを復号することとを行わせる、コンピュータ可読記憶媒体。
【0249】
[0249] 条項88:プロセッサに、現在ブロックが、MHPを使用して予測されるべきであるかどうかを決定することを行わせる命令は、プロセッサに、第1の重みが4に等しくない、および第2の重みが4に等しくないとき、現在ブロックが、MHPを使用して予測されるべきであると決定することを行わせる命令を備える、条項87に記載のコンピュータ可読記憶媒体。
【0250】
[0250] 条項89:プロセッサに、現在ブロックが、MHPを使用して予測されるべきであるかどうかを決定することを行わせる命令は、プロセッサに、第1の重みが第2の重みに等しくないとき、現在ブロックが、MHPを使用して予測されるべきであると決定することを行わせる命令を備える、条項87に記載のコンピュータ可読記憶媒体。
【0251】
[0251] 条項90:プロセッサに、双予測モードについて高度動きベクトル予測(AMVP)モードを使用して第1の動きベクトルを復号することと、双予測モードについてAMVPモードを使用して第2の動きベクトルを復号することと、追加のインター予測モードについて第3の動きベクトルを復号することとを行わせる命令をさらに備え、ここにおいて、プロセッサに、第1の予測ブロックを生成することを行わせる命令が、プロセッサに、第1の動きベクトルを使用して第1の中間予測ブロックを生成することと、第2の動きベクトルを使用して第2の中間予測ブロックを生成することと、第1の重み付けされた中間予測ブロックを形成するために、第1の中間予測ブロックに第1の重みを適用することと、第2の重み付けされた中間予測ブロックを形成するために、第2の中間予測ブロックに第2の重みを適用することと、第1の予測ブロックを形成するために、第1の重み付けされた中間予測ブロックを第2の重み付けされた中間予測ブロックと組み合わせることとを行わせる命令を備え、ここにおいて、プロセッサに、第2の予測ブロックを生成することを行わせる命令が、プロセッサに、第3の動きベクトルを使用して第2の予測ブロックを生成することを行わせる命令を備える、条項87から89のいずれかに記載のコンピュータ可読記憶媒体。
【0252】
[0252] 条項91:プロセッサに、第1の動きベクトルと第2の動きベクトルとについての動きベクトル差分(MVD)解像度を表すデータを復号することと、第3の動きベクトルについてのMVD解像度を表す追加のデータを復号することなしに、第3の動きベクトルがMVD解像度を有すると決定することとを行わせる命令をさらに備える、条項90に記載のコンピュータ可読記憶媒体。
【0253】
[0253] 条項92:プロセッサに、最終予測ブロックを生成することを行わせる命令が、プロセッサに、MHPモードについて第3の重みと第4の重みとを決定することと、第1の重み付けされた予測ブロックを形成するために、第1の予測ブロックに第3の重みを適用することと、第2の重み付けされた予測ブロックを形成するために、第2の予測ブロックに第4の重みを適用することと、最終予測ブロックを形成するために、第1の重み付けされた予測ブロックを第2の重み付けされた予測ブロックと組み合わせることとを行わせる命令を備える、条項87から91のいずれかに記載のコンピュータ可読記憶媒体。
【0254】
[0254] 条項93:プロセッサに、第3の重みを決定することを行わせる命令は、プロセッサに、インデックス値を復号することと、インデックス値がマッピングテーブルにおいてマッピングされる第3の重みを決定することとを行わせる命令を備え、プロセッサに、第4の重みを決定することを行わせる命令が、プロセッサに、1-第3の重みとして、第4の重みを計算することを行わせる命令を備える、条項92に記載のコンピュータ可読記憶媒体。
【0255】
[0255] 条項94:プロセッサに、現在ブロックを復号することより前に、最終予測ブロックを使用して現在ブロックを符号化することを行わせる命令をさらに備える、条項87から93のいずれかに記載のコンピュータ可読記憶媒体。
【0256】
[0256] 条項95:ビデオデータを復号するためのデバイスであって、デバイスは、第1の重みと第2の重みとが、双予測モードを使用してインター予測コーディングされたビデオデータの現在ブロックについて指定されると決定するための手段と、ここにおいて、第1の重みが第2の重みとは異なる、第1の重みと第2の重みとが指定されると決定したことに応答して、現在ブロックが、双予測モードをベースモードとして複数仮説予測(MHP)モードを使用して予測されるべきであるかどうかを決定するための手段と、現在ブロックが、双予測モードをベースモードとしてMHPモードを使用して予測されるべきであると決定したことに応答して、MHPモードの追加のインター予測モードを決定するための手段と、双予測モードに従って第1の予測ブロックを生成するための手段と、追加のインター予測モードに従って第2の予測ブロックを生成するための手段と、第1の予測ブロックと第2の予測ブロックとを使用してMHPモードに従って現在ブロックについての最終予測ブロックを生成するための手段と、最終予測ブロックを使用して現在ブロックを復号するための手段とを備える、デバイス。
【0257】
[0257] 条項96:現在ブロックが、MHPを使用して予測されるべきであるかどうかを決定するための手段は、第1の重みが4に等しくない、および第2の重みが4に等しくないとき、現在ブロックが、MHPを使用して予測されるべきであると決定するための手段を備える、条項95に記載のデバイス。
【0258】
[0258] 条項97:現在ブロックが、MHPを使用して予測されるべきであるかどうかを決定するための手段は、第1の重みが第2の重みに等しくないとき、現在ブロックが、MHPを使用して予測されるべきであると決定するための手段を備える、条項95に記載のデバイス。
【0259】
[0259] 条項98:双予測モードについて高度動きベクトル予測(AMVP)モードを使用して第1の動きベクトルを復号するための手段と、双予測モードについてAMVPモードを使用して第2の動きベクトルを復号するための手段と、追加のインター予測モードについて第3の動きベクトルを復号するための手段とをさらに備え、ここにおいて、第1の予測ブロックを生成するための手段が、第1の動きベクトルを使用して第1の中間予測ブロックを生成するための手段と、第2の動きベクトルを使用して第2の中間予測ブロックを生成するための手段と、第1の重み付けされた中間予測ブロックを形成するために、第1の中間予測ブロックに第1の重みを適用するための手段と、第2の重み付けされた中間予測ブロックを形成するために、第2の中間予測ブロックに第2の重みを適用するための手段と、第1の予測ブロックを形成するために、第1の重み付けされた中間予測ブロックを第2の重み付けされた中間予測ブロックと組み合わせるための手段とを備え、ここにおいて、第2の予測ブロックを生成するための手段が、第3の動きベクトルを使用して第2の予測ブロックを生成するための手段を備える、条項95から97のいずれかに記載のデバイス。
【0260】
[0260] 条項99:第1の動きベクトルと第2の動きベクトルとについての動きベクトル差分(MVD)解像度を表すデータを復号するための手段と、第3の動きベクトルについてのMVD解像度を表す追加のデータを復号することなしに、第3の動きベクトルがMVD解像度を有すると決定するための手段とをさらに備える、条項98に記載のデバイス。
【0261】
[0261] 条項100:最終予測ブロックを生成するための手段が、MHPモードについて第3の重みと第4の重みとを決定するための手段と、第1の重み付けされた予測ブロックを形成するために、第1の予測ブロックに第3の重みを適用するための手段と、第2の重み付けされた予測ブロックを形成するために、第2の予測ブロックに第4の重みを適用するための手段と、最終予測ブロックを形成するために、第1の重み付けされた予測ブロックを第2の重み付けされた予測ブロックと組み合わせるための手段とを備える、条項95から99のいずれかに記載のデバイス。
【0262】
[0262] 条項101:第3の重みを決定するための手段は、インデックス値を復号するための手段と、インデックス値がマッピングテーブルにおいてマッピングされる第3の重みを決定するための手段とを備え、第4の重みを決定するための手段が、1-第3の重みとして、第4の重みを計算するための手段を備える、条項100に記載のデバイス。
【0263】
[0263] 条項102:現在ブロックを復号することより前に、最終予測ブロックを使用して現在ブロックを符号化するための手段をさらに備える、条項95から101のいずれかに記載のデバイス。
【0264】
[0264] 例に応じて、本明細書で説明された技法のうちのいずれかのいくつかの行為またはイベントは、異なるシーケンスで実施され得、追加、マージ、または完全に除外され得る(たとえば、すべての説明された行為またはイベントが、技法の実践のために必要であるとは限らない)ことを認識されたい。その上、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通して同時に実施され得る。
【0265】
[0265] 1つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベース処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応する、コンピュータ可読記憶媒体を含み得るか、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、(1)非一時的である有形コンピュータ可読記憶媒体、あるいは(2)信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明された技法の実装のための命令、コードおよび/またはデータ構造を取り出すために、1つまたは複数のコンピュータまたは1つまたは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
【0266】
[0266] 限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM(登録商標)、CD-ROMまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは、命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)およびBlu-rayディスク(disc)を含み、ここで、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
【0267】
[0267] 命令は、1つまたは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、あるいは他の等価な集積またはディスクリート論理回路など、1つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用される「プロセッサ」および「処理回路」という用語は、上記の構造、または本明細書で説明された技法の実装に好適な任意の他の構造のいずれかを指し得る。さらに、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成された専用ハードウェアおよび/またはソフトウェアモジュール内に提供されるか、あるいは複合コーデックに組み込まれ得る。また、本技法は、1つまたは複数の回路または論理要素で十分に実装され得る。
【0268】
[0268] 本開示の技法は、ワイヤレスハンドセット、集積回路(IC)またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置で実装され得る。本開示では、開示される技法を実施するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、またはユニットが説明されたが、それらの構成要素、モジュール、またはユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明されたように、様々なユニットが、好適なソフトウェアおよび/またはファームウェアとともに、上記で説明された1つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作可能なハードウェアユニットの集合によって提供され得る。
【0269】
[0269] 様々な例が説明された。これらおよび他の例は以下の特許請求の範囲内に入る。
図1
図2A
図2B
図3
図4
図5
図6
図7
図8
【国際調査報告】