▶ ホアウェイ・テクノロジーズ・カンパニー・リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023086737
(43)【公開日】2023-06-22
(54)【発明の名称】ビデオコーディングにおける参照ピクチャ管理
(51)【国際特許分類】
H04N 19/70 20140101AFI20230615BHJP
H04N 19/52 20140101ALI20230615BHJP
【ＦＩ】
H04N19/70
H04N19/52
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023051948
(22)【出願日】2023-03-28
(62)【分割の表示】P 2021507904の分割
【原出願日】2019-08-16
(31)【優先権主張番号】62/719,360
(32)【優先日】2018-08-17
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】504161984
【氏名又は名称】ホアウェイ・テクノロジーズ・カンパニー・リミテッド
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133569
【弁理士】
【氏名又は名称】野村 進
(72)【発明者】
【氏名】フヌ・ヘンドリー
(72)【発明者】
【氏名】イェ－クイ・ワン
(57)【要約】
【課題】例えば、コーディングされたビデオビットストリームを復号する方法が提供される。
【解決手段】方法は、コーディングされたビデオビットストリームにおいて表される第1の参照ピクチャリスト構造および第2の参照ピクチャリスト構造を取得するステップと、第1の参照ピクチャリスト構造および第2の参照ピクチャリスト構造に基づいて、現在のスライスの第1の参照ピクチャリストおよび現在のスライスの第2の参照ピクチャリストを導出するステップであって、現在のスライスが、イントラ(I)スライスまたは単予測(P)スライスを備える、ステップと、第1の参照ピクチャリストおよび第2の参照ピクチャリストの導出に続いて、現在のスライスの少なくとも1つの再構築されたブロックを取得するステップとを備える。
【選択図】図５
【解決手段】方法は、コーディングされたビデオビットストリームにおいて表される第1の参照ピクチャリスト構造および第2の参照ピクチャリスト構造を取得するステップと、第1の参照ピクチャリスト構造および第2の参照ピクチャリスト構造に基づいて、現在のスライスの第1の参照ピクチャリストおよび現在のスライスの第2の参照ピクチャリストを導出するステップであって、現在のスライスが、イントラ(I)スライスまたは単予測(P)スライスを備える、ステップと、第1の参照ピクチャリストおよび第2の参照ピクチャリストの導出に続いて、現在のスライスの少なくとも1つの再構築されたブロックを取得するステップとを備える。
【選択図】図５
【特許請求の範囲】
【請求項1】
ビデオデコーダによって実施されるコーディングされたビデオビットストリームを復号する方法であって、
前記コーディングされたビデオビットストリームにおいて表される第1の参照ピクチャリスト構造および第2の参照ピクチャリスト構造を取得するステップと、
前記第1の参照ピクチャリスト構造および前記第2の参照ピクチャリスト構造に基づいて、現在のスライスの第1の参照ピクチャリストおよび前記現在のスライスの第2の参照ピクチャリストを導出するステップであって、前記現在のスライスが、イントラ(I)スライス、単予測(P)スライス、または双予測(B)スライスを備える、ステップと、
前記第1の参照ピクチャリストおよび前記第2の参照ピクチャリストの導出に続いて、前記現在のスライスの少なくとも1つの再構築されたブロックを取得するステップとを備える、方法。
前記コーディングされたビデオビットストリームにおいて表される第1の参照ピクチャリスト構造および第2の参照ピクチャリスト構造を取得するステップと、
前記第1の参照ピクチャリスト構造および前記第2の参照ピクチャリスト構造に基づいて、現在のスライスの第1の参照ピクチャリストおよび前記現在のスライスの第2の参照ピクチャリストを導出するステップであって、前記現在のスライスが、イントラ(I)スライス、単予測(P)スライス、または双予測(B)スライスを備える、ステップと、
前記第1の参照ピクチャリストおよび前記第2の参照ピクチャリストの導出に続いて、前記現在のスライスの少なくとも1つの再構築されたブロックを取得するステップとを備える、方法。
【請求項2】
前記第1の参照ピクチャリスト構造または前記第2の参照ピクチャリスト構造の中のエントリの順序が、前記参照ピクチャリストの中の対応する参照ピクチャの順序と同じである、請求項1に記載の方法。
【請求項3】
前記エントリの順序が0から示される値までである、請求項1から2のいずれか一項に記載の方法。
【請求項4】
前記示される値が、0からsps_max_dec_pic_buffering_minus1によって示される値までである、請求項3に記載の方法。
【請求項5】
前記参照ピクチャリストがRefPictList[0]と呼ばれる、請求項1から4のいずれか一項に記載の方法。
【請求項6】
前記参照ピクチャリストがRefPictList[1]と呼ばれる、請求項1から4のいずれか一項に記載の方法。
【請求項7】
電子デバイスのディスプレイに表示される画像を生成するために、前記少なくとも1つの再構築されたブロックが使用される、請求項1から6のいずれか一項に記載の方法。
【請求項8】
前記参照ピクチャリストが、インター予測のために使用される参照ピクチャのリストを備える、請求項1から7のいずれか一項に記載の方法。
【請求項9】
前記インター予測が前記Pスライスまたは前記Bスライスのためのものである、請求項1から8のいずれか一項に記載の方法。
【請求項10】
前記コーディングされたビデオビットストリームのスライスヘッダが、ref_pic_list_sps_flag[i]と呼ばれる参照ピクチャリストシーケンスパラメータセット(SPS)フラグを含む、請求項1から9のいずれか一項に記載の方法。
【請求項11】
前記コーディングされたビデオビットストリームのスライスヘッダが、num_ref_idx_active_override_flagによって指定される番号参照インデックスアクティブ上書きフラグを含む、請求項1から10のいずれか一項に記載の方法。
【請求項12】
前記参照ピクチャリストがRefPictList[0]またはRefPictList[1]と呼ばれ、前記第1の参照ピクチャリスト構造または前記第2の参照ピクチャリスト構造の中のエントリの順序が、前記参照ピクチャリストの中の対応する参照ピクチャの順序と同じである、請求項7から11のいずれか一項に記載の方法。
【請求項13】
前記現在のスライスが前記Iスライスまたは前記Pスライスである、請求項1に記載の方法。
【請求項14】
コーディングされたビデオビットストリームを受信するように構成される受信機と、
前記受信機に結合されるメモリであって、命令を記憶する、メモリと、
前記メモリに結合されるプロセッサとを備え、前記プロセッサが、前記プロセッサに、
前記コーディングされたビデオビットストリームにおいて表される第1の参照ピクチャリスト構造および第2の参照ピクチャリスト構造を取得させ、
前記第1の参照ピクチャリスト構造および前記第2の参照ピクチャリスト構造に基づいて、現在のスライスの第1の参照ピクチャリストおよび前記現在のスライスの第2の参照ピクチャリストを導出させ、前記現在のスライスが、イントラ(I)スライス、単予測(P)スライス、または双予測(B)スライスを備え、
前記第1の参照ピクチャリストおよび前記第2の参照ピクチャリストの導出に続いて、前記現在のスライスの少なくとも1つの再構築されたブロックを取得させる
ように、前記メモリに記憶されている前記命令を実行するように構成される、復号デバイス。
前記受信機に結合されるメモリであって、命令を記憶する、メモリと、
前記メモリに結合されるプロセッサとを備え、前記プロセッサが、前記プロセッサに、
前記コーディングされたビデオビットストリームにおいて表される第1の参照ピクチャリスト構造および第2の参照ピクチャリスト構造を取得させ、
前記第1の参照ピクチャリスト構造および前記第2の参照ピクチャリスト構造に基づいて、現在のスライスの第1の参照ピクチャリストおよび前記現在のスライスの第2の参照ピクチャリストを導出させ、前記現在のスライスが、イントラ(I)スライス、単予測(P)スライス、または双予測(B)スライスを備え、
前記第1の参照ピクチャリストおよび前記第2の参照ピクチャリストの導出に続いて、前記現在のスライスの少なくとも1つの再構築されたブロックを取得させる
ように、前記メモリに記憶されている前記命令を実行するように構成される、復号デバイス。
【請求項15】
前記少なくとも1つの再構築されたブロックに基づいて画像を表示するように構成されるディスプレイをさらに備える、請求項14に記載の復号デバイス。
【請求項16】
復号すべきビットストリームを受信するように構成される受信機と、
前記受信機に結合される送信機であって、復号された画像をディスプレイに送信するように構成される、送信機と、
前記受信機または前記送信機のうちの少なくとも1つに結合されるメモリであって、命令を記憶するように構成される、メモリと、
前記メモリに結合されるプロセッサであって、請求項1から13のいずれか一項に記載の方法を実行するように前記メモリに記憶されている前記命令を実行するように構成される、プロセッサとを備える、コーディング装置。
前記受信機に結合される送信機であって、復号された画像をディスプレイに送信するように構成される、送信機と、
前記受信機または前記送信機のうちの少なくとも1つに結合されるメモリであって、命令を記憶するように構成される、メモリと、
前記メモリに結合されるプロセッサであって、請求項1から13のいずれか一項に記載の方法を実行するように前記メモリに記憶されている前記命令を実行するように構成される、プロセッサとを備える、コーディング装置。
【請求項17】
エンコーダと、
前記エンコーダと通信しているデコーダとを備え、前記デコーダが、請求項14から16のいずれか一項に記載の復号デバイスまたはコーディング装置を含む、システム。
前記エンコーダと通信しているデコーダとを備え、前記デコーダが、請求項14から16のいずれか一項に記載の復号デバイスまたはコーディング装置を含む、システム。
【請求項18】
復号すべきビットストリームを受信するように構成される受信手段と、
前記受信手段に結合される送信手段であって、復号された画像を表示手段に送信するように構成される、送信手段と、
前記受信手段または前記送信手段のうちの少なくとも1つに結合される記憶手段であって、命令を記憶するように構成される、記憶手段と、
前記記憶手段に結合される処理手段であって、請求項1から13のいずれか一項に記載の方法を実行するように前記記憶手段に記憶されている前記命令を実行するように構成される、処理手段とを備える、コーディングのための手段。
前記受信手段に結合される送信手段であって、復号された画像を表示手段に送信するように構成される、送信手段と、
前記受信手段または前記送信手段のうちの少なくとも1つに結合される記憶手段であって、命令を記憶するように構成される、記憶手段と、
前記記憶手段に結合される処理手段であって、請求項1から13のいずれか一項に記載の方法を実行するように前記記憶手段に記憶されている前記命令を実行するように構成される、処理手段とを備える、コーディングのための手段。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本特許出願は、参照によって本明細書に組み込まれる、Ye-Kui Wang他による2018年8月17日に出願された「Reference Picture in Video Coding」という表題の米国仮特許出願第62/719,360号の利益を主張する。
本特許出願は、参照によって本明細書に組み込まれる、Ye-Kui Wang他による2018年8月17日に出願された「Reference Picture in Video Coding」という表題の米国仮特許出願第62/719,360号の利益を主張する。
【0002】
本開示は全般に、ビデオコーディングにおける参照ピクチャ管理のための技法に関する。より具体的には、本開示は、参照ピクチャリストの構築および参照ピクチャのマーキングのための技法を説明する。
【背景技術】
【0003】
比較的短いビデオであってもそれを描画するために必要なビデオデータの量は相当なものであることがあり、このことは、限られた帯域幅容量でデータがストリーミングされるとき、または通信ネットワークを介して別様に通信されるときに、困難さをもたらし得る。したがって、ビデオデータは一般に、現代の遠隔通信ネットワークを介して通信される前に圧縮される。メモリリソースは限られていることがあるので、ビデオが記憶デバイスに記憶されるときにも、ビデオのサイズは問題となり得る。ビデオ圧縮デバイスはしばしば、送信または記憶の前にビデオデータをコーディングするためにソースにおけるソフトウェアおよび/またはハードウェアを使用し、それにより、デジタルビデオ画像を表現するために必要なデータの量を減らす。次いで、圧縮されたデータが、ビデオデータを復号するビデオ展開デバイスによってデスティネーションにおいて受信される。限られたネットワークリソースと、より高品質なビデオの増え続ける需要により、画像品質をほとんどまたはまったく犠牲にすることなく圧縮比を高める、改善された圧縮および展開技法が望ましい。
【発明の概要】
【課題を解決するための手段】
【0004】
第1の態様は、コーディングされたビデオビットストリームを復号する方法に関する。 方法は、コーディングされたビデオビットストリームにおいて表される第1の参照ピクチャリスト構造および第2の参照ピクチャリスト構造を取得するステップと、第1の参照ピクチャリスト構造および第2の参照ピクチャリスト構造に基づいて、現在のスライスの第1の参照ピクチャリストおよび現在のスライスの第2の参照ピクチャリストを導出するステップであって、現在のスライスが、イントラ(I)スライス、単予測(P)スライス、または双予測(B)スライスを備える、ステップと、第1の参照ピクチャリストおよび第2の参照ピクチャリストの導出に続いて、現在のスライスの少なくとも1つの再構築されたブロックを取得するステップとを備える。
【0005】
方法は、参照ピクチャリストのシグナリングを簡潔に、かつより効率的にする技法を提供する。したがって、コーディングプロセス全体が改善される。
【0006】
第1の態様による方法の第1の実装形態自体において、参照ピクチャリスト構造の中のエントリの順序は、参照ピクチャリストの中の対応する参照ピクチャの順序と同じである。
【0007】
第1の態様による方法の第2の実装形態自体または第1の態様のあらゆる先行する実装形態において、順序は0から示される値までである。
【0008】
第1の態様による方法の第3の実装形態自体または第1の態様のあらゆる先行する実装形態において、示される値は、0からsps_max_dec_pic_buffering_minus1によって示される値までである。
【0009】
第1の態様による方法の第4の実装形態自体または第1の態様のあらゆる先行する実装形態において、参照ピクチャリストはRefPictList[0]と呼ばれる。
【0010】
第1の態様による方法の第5の実装形態自体または第1の態様のあらゆる先行する実装形態において、参照ピクチャリストはRefPictList[1]と呼ばれる。
【0011】
第1の態様による方法の第6の実装形態自体または第1の態様のあらゆる先行する実装形態において、電子デバイスのディスプレイに表示される画像を生成するために、少なくとも1つの再構築されたブロックが使用される。
【0012】
第1の態様による方法の第7の実装形態自体または第1の態様のあらゆる先行する実装形態において、参照ピクチャリストは、インター予測のために使用される参照ピクチャのリストを備える。
【0013】
第1の態様による方法の第8の実装形態自体または第1の態様のあらゆる先行する実装形態において、インター予測はPスライスまたはBスライスのためのものである。
【0014】
第1の態様による方法の第9の実装形態自体または第1の態様のあらゆる先行する実装形態において、スライスヘッダは、ref_pic_list_sps_flag[i]と呼ばれる参照ピクチャリストシーケンスパラメータセット(SPS)フラグを含む。
【0015】
第1の態様による方法の第10の実装形態自体または第1の態様のあらゆる先行する実装形態において、スライスヘッダは、num_ref_idx_active_override_flagによって指定される番号参照インデックスアクティブ上書きフラグを含む。
【0016】
第1の態様による方法の第11の実装形態自体または第1の態様のあらゆる先行する実装形態において、参照ピクチャリストはRefPictList[0]またはRefPictList[1]と呼ばれ、参照ピクチャリスト構造の中のエントリの順序は、参照ピクチャリストの中の対応する参照ピクチャの順序と同じである。
【0017】
第1の態様による方法の第12の実装形態自体または第1の態様のあらゆる先行する実装形態において、現在のスライスはIスライスまたはPスライスである。
【0018】
第2の態様は、コーディングされたビデオビットストリームを受信するように構成される受信機と、受信機に結合されるメモリであって、命令を記憶する、メモリと、メモリに結合されるプロセッサとを含む、復号デバイスに関し、プロセッサは、プロセッサに、コーディングされたビデオビットストリームにおいて表される第1の参照ピクチャリスト構造および第2の参照ピクチャリスト構造を取得させ、第1の参照ピクチャリスト構造および第2の参照ピクチャリスト構造に基づいて、現在のスライスの第1の参照ピクチャリストおよび現在のスライスの第2の参照ピクチャリストを導出させ、現在のスライスが、イントラ(I)スライス、単予測(P)スライス、または双予測(B)スライスを備え、第1の参照ピクチャリストおよび第2の参照ピクチャリストの導出に続いて、現在のスライスの少なくとも1つの再構築されたブロックを取得させるように、メモリに記憶されている前記命令を実行するように構成される。
【0019】
復号デバイスは、参照ピクチャリストのシグナリングを簡潔に、かつより効率的にする技法を提供する。したがって、コーディングプロセス全体が改善される。
【0020】
第2の態様による復号デバイスの第1の実装形態自体において、復号デバイスは、少なくとも1つの再構築されたブロックに基づいて画像を表示するように構成されるディスプレイをさらに含む。
【0021】
第3の態様は、復号すべきビットストリームを受信するように構成される受信機と、受信機に結合される送信機であって、復号された画像をディスプレイに送信するように構成される、送信機と、受信機または送信機のうちの少なくとも1つに結合されるメモリであって、命令を記憶するように構成される、メモリと、メモリに結合されるプロセッサであって、前述の態様または実装形態のいずれかにおける方法を実行するように、メモリに記憶されている命令を実行するように構成される、プロセッサとを含む、コーディング装置に関する。
【0022】
第4の態様は、エンコーダと、エンコーダと通信しているデコーダとを含む、システムに関する。エンコーダまたはデコーダは、前述の態様もしくは実装形態のいずれかの復号デバイスまたはコーディング装置を含む。
【0023】
システムは、参照ピクチャリストのシグナリングを簡潔にし、かつより効率的にする技法を提供する。したがって、コーディングプロセス全体が改善される。
【0024】
第5の態様は、符号化すべきピクチャを受信し、または復号すべきビットストリームを受信するように構成される受信手段と、受信手段に結合される送信手段であって、ビットストリームをデコーダに送信し、または復号された画像を表示手段に送信するように構成される、送信手段と、受信手段または送信手段のうちの少なくとも1つに結合される記憶手段であって、命令を記憶するように構成される、記憶手段と、記憶手段に結合される処理手段であって、記憶手段に記憶されている命令を実行して前述の態様または実装形態のいずれかの方法を実行するように構成される、処理手段とを含む、コーディングのための手段に関する。
【0025】
コーディングのための手段は、参照ピクチャリストのシグナリングを簡潔に、かつより効率的にする技法を提供する。したがって、コーディングプロセス全体が改善される。
【0026】
本開示のより完全な理解のために、添付の図面および詳細な説明に関連して、ここで以下の簡単な説明に対する参照が行われ、同様の参照番号は同様の部分を表す。
【図面の簡単な説明】
【0027】
【図1】両側予測技法を利用し得る例示的なコーディングシステムを示すブロック図である。
【図2】両側予測技法を実施し得る例示的なビデオエンコーダを示すブロック図である。
【図3】両側予測技法を実施し得るビデオデコーダの例を示すブロック図である。
【図4】参照ピクチャセット(RPS)のすべてのサブセットの中のエントリを伴うピクチャを有するRPSを示す概略図である。
【図5】コーディングされたビデオビットストリームを復号する方法の実施形態である。
【図6】ビデオコーディングデバイスの概略図である。
【図7】コーディングのための手段の実施形態の概略図である。
【発明を実施するための形態】
【0028】
図1は、本明細書で説明されるようなビデオコーディング技法を利用し得る例示的なコーディングシステム10を示すブロック図である。図1に示されるように、コーディングシステム10は、デスティネーションデバイス14によって後で復号されることになる符号化されたビデオデータを提供するソースデバイス12を含む。具体的には、ソースデバイス12は、コンピュータ可読媒体16を介して、ビデオデータをデスティネーションデバイス14に提供し得る。ソースデバイス12およびデスティネーションデバイス14は、デスクトップコンピュータ、ノートブック(たとえば、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、表示デバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広い範囲のデバイスのいずれかを備え得る。いくつかの場合、ソースデバイス12およびデスティネーションデバイス14は、ワイヤレス通信に対応し得る。
【0029】
デスティネーションデバイス14は、コンピュータ可読媒体16を介して復号されることになる、符号化されたビデオデータを受信し得る。コンピュータ可読媒体16は、符号化されたビデオデータをソースデバイス12からデスティネーションデバイス14に移動することが可能な、任意のタイプの媒体またはデバイスを備え得る。一例では、コンピュータ可読媒体16は、ソースデバイス12が符号化されたビデオデータをリアルタイムでデスティネーションデバイス14に直接送信することを可能にするための、通信媒体を備え得る。符号化されたビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、デスティネーションデバイス14に送信され得る。通信媒体は、無線周波数(RF)スペクトルまたは1つまたは複数の物理送信線などの、任意のワイヤレス通信媒体または有線通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなどの、パケットベースのネットワークの一部を形成し得る。通信媒体は、ソースデバイス12からデスティネーションデバイス14への通信を容易にするのに有用であり得る、ルータ、スイッチ、基地局、または任意の他の機器を含み得る。
【0030】
いくつかの例では、符号化されたデータは、出力インターフェース22から記憶デバイスへ出力され得る。同様に、符号化されたデータは、入力インターフェースによって記憶デバイスからアクセスされ得る。記憶デバイスは、ハードドライブ、Blu-ray(登録商標)ディスク、デジタルビデオディスク(DVD)、コンパクトディスク読取り専用メモリ(CD-ROM)、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化されたビデオデータを記憶するための任意の他の適切なデジタル記憶媒体などの、多様な分散型データ記憶媒体またはローカルでアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる例では、記憶デバイスは、ソースデバイス12によって生成される符号化されたビデオを記憶し得る、ファイルサーバまたは別の中間記憶デバイスに対応し得る。デスティネーションデバイス14は、ストリーミングまたはダウンロードを介して記憶デバイスからの記憶されているビデオデータにアクセスし得る。ファイルサーバは、符号化されたビデオデータを記憶することと、符号化されたビデオデータをデスティネーションデバイス14に送信することとが可能な、任意のタイプのサーバであり得る。例示的なファイルサーバは、ウェブサーバ(たとえば、ウェブサイトのための)、ファイル転送プロトコル(FTP)サーバ、ネットワークアタッチトストレージ(NAS)デバイス、またはローカルディスクドライブを含む。デスティネーションデバイス14は、インターネット接続を含む任意の標準的なデータ接続を通じて、符号化されたビデオデータにアクセスし得る。これは、ワイヤレスチャネル(たとえば、Wi-Fi接続)、有線接続(たとえば、デジタル加入者線(DSL)、ケーブルモデムなど)、または、ファイルサーバに記憶されている符号化されたビデオデータにアクセスするのに適した両方の組合せを含み得る。記憶デバイスからの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはこれらの組合せであり得る。
【0031】
本開示の技法は、ワイヤレスの適用例または設定には必ずしも限定されない。この技法は、over-the-airテレビ放送、ケーブルテレビ送信、衛星テレビ送信、dynamic adaptive streaming over HTTP(DASH)などのインターネットストリーミングビデオ送信、データ記憶媒体に符号化されるデジタルビデオ、データ記憶媒体に記憶されるデジタルビデオの復号、または他の適用例などの、多様なマルチメディア適用例のいずれをサポートするビデオコーディングにも適用され得る。いくつかの例では、コーディングシステム10は、ビデオストリーミング、ビデオ再生、ビデオ放送、および/またはビデオ電話などの適用例をサポートするために、片方向または双方向のビデオ送信をサポートするように構成され得る。
【0032】
図1の例では、ソースデバイス12は、ビデオソース18、ビデオエンコーダ20、および出力インターフェース22を含む。デスティネーションデバイス14は、入力インターフェース28、ビデオデコーダ30、および表示デバイス32を含む。本開示によれば、ソースデバイス12のビデオエンコーダ20および／またはデスティネーションデバイス14のビデオデコーダ30は、ビデオコーディングのための技法を適用するように構成され得る。他の例では、ソースデバイスおよびデスティネーションデバイスは、他のコンポーネントまたは構成を含み得る。たとえば、ソースデバイス12は、外部カメラなどの外部のビデオソースからビデオデータを受信してもよい。同様に、デスティネーションデバイス14は、統合された表示デバイスを含むのではなく、外部の表示デバイスとインターフェースしてもよい。
【0033】
図1の示されるコーディングシステム10は一例にすぎない。ビデオコーディングのための技法は、任意のデジタルビデオ符号化および/または復号デバイスによって実行され得る。本開示の技法は全般にビデオコーディングデバイスによって実行されるが、この技法は、通常は「コーデック」と呼ばれる、ビデオエンコーダ/デコーダによっても実行され得る。その上、本開示の技法は、ビデオプリプロセッサによっても実行され得る。ビデオエンコーダおよび/またはデコーダは、グラフィクス処理装置(GPU)または同様のデバイスであり得る。
【0034】
ソースデバイス12およびデスティネーションデバイス14は、ソースデバイス12がデスティネーションデバイス14への送信のためにコーディングされたビデオデータを生成するような、コーディングデバイスの例にすぎない。いくつかの例では、ソースデバイス12およびデスティネーションデバイス14は、ソースデバイス12とデスティネーションデバイス14の各々がビデオ符号化コンポーネントとビデオ復号コンポーネントを含むように、実質的に対称的に動作してもよい。したがって、コーディングシステム10は、たとえばビデオストリーミング、ビデオ再生、ビデオブロードキャスト、またはビデオ電話のために、ビデオデバイス12と14との間の片方向または双方向のビデオ送信をサポートし得る。
【0035】
ソースデバイス12のビデオソース18は、ビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを含むビデオアーカイブ、および/または、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。さらなる代替として、ビデオソース18は、コンピュータグラフィクスベースのデータをソースビデオとして生成し、または、ライブビデオ、アーカイブされたビデオ、およびコンピュータで生成されたビデオの組合せを生成し得る。
【0036】
いくつかの場合、ビデオソース18がビデオカメラであるとき、ソースデバイス12およびデスティネーションデバイス14は、いわゆるカメラ電話またはビデオ電話を形成し得る。しかしながら、上で言及されたように、本開示において説明される技法は、ビデオコーディング全般に適用可能であってもよく、ワイヤレスおよび/または有線の適用例に適用されてもよい。各々の場合において、キャプチャされた、事前にキャプチャされた、またはコンピュータで生成されたビデオが、ビデオエンコーダ20によって符号化され得る。符号化されたビデオ情報は次いで、出力インターフェース22によってコンピュータ可読媒体16へと出力され得る。
【0037】
コンピュータ可読媒体16は、ワイヤレスブロードキャストもしくは有線ネットワーク送信などの一時的媒体、または、ハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Blu-ray(登録商標)ディスク、もしくは他のコンピュータ可読媒体などの記憶媒体(すなわち、非一時的記憶媒体)を含み得る。いくつかの例では、ネットワークサーバ(図示せず)は、ソースデバイス12から符号化されたビデオデータを受信し、たとえばネットワーク送信を介して、符号化されたビデオデータをデスティネーションデバイス14に提供し得る。同様に、ディスクスタンピング施設などの媒体生産施設のコンピューティングデバイスが、ソースデバイス12から符号化されたビデオデータを受信し、符号化されたビデオデータを含むディスクを生産してもよい。したがって、コンピュータ可読媒体16は、様々な例において、様々な形態の1つまたは複数のコンピュータ可読媒体を含むものとして理解され得る。
【0038】
デスティネーションデバイス14の入力インターフェース28は、コンピュータ可読媒体16から情報を受信する。コンピュータ可読媒体16の情報は、ビデオデコーダ30によっても使用される、ブロックおよび他のコーディングされたユニット、たとえばピクチャグループ(GOP)の特性ならびに/または処理を記述するシンタックス要素を含む、ビデオエンコーダ20により定義されるシンタックス情報を含み得る。表示デバイス32は、復号されたビデオデータをユーザに表示し、陰極線管(CRT)、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプの表示デバイスなどの、多様な表示デバイスのいずれかを備え得る。
【0039】
ビデオエンコーダ20およびビデオデコーダ30は、現在開発中のHigh Efficiency Video Coding(HEVC)規格などの、ビデオコーディング規格に従って動作してもよく、HEVC Test Model(HM)に準拠してもよい。代替として、ビデオエンコーダ20およびビデオデコーダ30は、代替的にはMoving Picture Expert Group(MPEG)-4, Part 10, Advanced Video Coding(AVC)とも呼ばれる、国際電気通信連合電気通信規格化部門(ITU-T)H.264規格、H.265/HEVC、またはそのような規格の拡張などの、他のプロプライエタリ規格または業界規格に従って動作し得る。しかしながら、本開示の技法は、どのような特定のコーディング規格にも限定されない。ビデオコーディング規格の他の例には、MPEG-2およびITU-T H.263がある。図1には示されていないが、いくつかの態様では、ビデオエンコーダ20およびビデオデコーダ30は各々、オーディオエンコーダおよびデコーダと統合されてもよく、共通のデータストリームおよび別々のデータストリームにおいてオーディオとデータの両方の符号化を扱うための、適切なマルチプレクサ-デマルチプレクサ(MUX-DEMUX)ユニット、または他のハードウェアおよびソフトウェアを含んでもよい。適用可能な場合、MUX-DEMUXユニットは、ITU H.223マルチプレクサプロトコル、またはユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠し得る。
【0040】
ビデオエンコーダ20およびビデオデコーダ30は各々、1つまたは複数のマイクロプロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェア、またはこれらの任意の組合せなどの、多様な適切なエンコーダ回路のいずれとしても実装され得る。技法がソフトウェアで部分的に実装されるとき、デバイスは、適切な非一時的コンピュータ可読媒体にソフトウェアのための命令を記憶し、本開示の技法を実行するために1つまたは複数のプロセッサを使用してハードウェアで命令を実行し得る。ビデオエンコーダ20およびビデオデコーダ30の各々が、1つまたは複数のエンコーダまたはデコーダに含まれてもよく、それらのいずれもが、それぞれのデバイスにおいて合成エンコーダ/デコーダ(コーデック)の一部として統合されてもよい。ビデオエンコーダ20および/またはビデオデコーダ30を含むデバイスは、集積回路、マイクロプロセッサ、および/または携帯電話などのワイヤレス通信デバイスを備え得る。
【0041】
図2は、ビデオコーディング技法を実施し得るビデオエンコーダ20の例を示すブロック図である。ビデオエンコーダ20は、ビデオスライス内のビデオブロックのイントラコーディングおよびインターコーディングを実行し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオにおける空間的な冗長性を低減または除去するために、空間予測に依拠する。インターコーディングは、ビデオシーケンスの隣接するフレームまたはピクチャ内のビデオにおける時間的な冗長性を低減または除去するために、時間予測に依拠する。イントラモード(Iモード)は、いくつかの空間ベースのコーディングモードのいずれをも指し得る。単方向(単予測としても知られている)予測(Pモード)または双予測(bi-prediction)(双予測(bi prediction)としても知られている)(Bモード)などのインターモードは、いくつかの時間ベースのコーディングモードのいずれをも指し得る。
【0042】
図2に示されるように、ビデオエンコーダ20は、符号化されるべきビデオフレーム内の現在のビデオブロックを受信する。図2の例では、ビデオエンコーダ20は、モード選択ユニット40、参照フレームメモリ64、加算器50、変換処理ユニット52、量子化ユニット54、およびエントロピーコーディングユニット56を含む。そして、モード選択ユニット40は、動き補償ユニット44、動き推定ユニット42、イントラ予測(intra-prediction)(イントラ予測(intra prediction)としても知られている)ユニット46、および区分ユニット48を含む。ビデオブロック再構築のために、ビデオエンコーダ20は、逆量子化ユニット58、逆変換ユニット60、および加算器62も含む。デブロッキングフィルタ(図2に示されない)も、ブロック境界をフィルタリングして再構築されたビデオからブロッキネスアーティファクトを除去するために含まれ得る。望まれる場合、デブロッキングフィルタは通常、加算器62の出力をフィルタリングする。追加のフィルタ(ループ内またはループ後の)も、デブロッキングフィルタに加えて使用され得る。簡潔にするためにそのようなフィルタは示されていないが、望まれる場合、加算器50の出力をフィルタリングし得る(ループ内フィルタとして)。
【0043】
符号化プロセスの間、ビデオエンコーダ20は、コーディングされることになるビデオフレームまたはスライスを受信する。フレームまたはスライスは複数のビデオブロックに分割され得る。動き推定ユニット42および動き補償ユニット44は、1つまたは複数の参照フレームの中の1つまたは複数のブロックに対して相対的な、受信されたビデオブロックのインター予測コーディングを実行して、時間予測を行う。イントラ予測ユニット46は代替として、コーディングされることになるブロックと同じフレームまたはスライスの中にある1つまたは複数の近隣ブロックに対して相対的な、受信されたビデオブロックのイントラ予測コーディングを実行して、空間予測を行い得る。ビデオエンコーダ20は、たとえばビデオデータの各ブロックに対する適切なコーディングモードを選択するために、複数のコーディングパスを実行し得る。
【0044】
その上、区分ユニット48は、以前のコーディングパスにおける以前の区分方式の評価に基づいて、ビデオデータのブロックをサブブロックへと区分し得る。たとえば、区分ユニット48は、最初にフレームまたはスライスを最大コーディングユニット(LCU)へと区分し、レート歪み分析(たとえば、レート歪み最適化)に基づいて、LCUの各々をサブコーディングユニット(sub-CU)へと区分し得る。モード選択ユニット40はさらに、サブCUへのLCUの区分を示す四分木データ構造を生み出し得る。四分木のリーフノードCUは、1つまたは複数の予測ユニット(PU)および1つまたは複数の変換ユニット(TU)を含み得る。
【0045】
本開示は、HEVCの文脈におけるCU、PU、もしくはTU、または、他の規格の文脈における類似のデータ構造(たとえば、H.264/AVCにおけるマクロブロックおよびマクロブロックのサブブロック)のいずれかを指すために、「ブロック」という用語を使用する。CUは、コーディングノード、PU、およびコーディングノードと関連付けられるTUを含む。CUのサイズは、コーディングノードのサイズに対応し、形状が正方形である。CUのサイズは、8×8ピクセルから、最大で64×64ピクセル以上のツリーブロックのサイズにまでわたり得る。各CUは、1つまたは複数のPUおよび1つまたは複数のTUを含み得る。CUと関連付けられるシンタックスデータは、たとえば、1つまたは複数のPUへのCUの区分を記述し得る。区分モードは、CUがスキップモードもしくはダイレクトモードで符号化されるか、イントラ予測モードで符号化されるか、またはインター予測(inter-prediction)(インター予測(inter prediction)としても知られている)モードで符号化されるかで異なり得る。PUは形状が非正方形となるように区分され得る。CUと関連付けられるシンタックスデータはまた、たとえば、四分木に従った1つまたは複数のTUへのCUの区分を記述し得る。TUは、形状が正方形または非正方形(たとえば、長方形)であり得る。
【0046】
モード選択ユニット40は、たとえば誤差の結果に基づいて、コーディングモード、すなわちイントラコーディングモードまたはインターコーディングモードのうちの1つを選択し、得られたイントラコーディングされたブロックまたはインターコーディングされたブロックを加算器50に提供して残差ブロックデータを生成し、加算器62に提供して参照フレームとして使用するための符号化されたブロックを再構築する。モード選択ユニット40はまた、動きベクトル、イントラモードインジケータ、区分情報、および他のそのようなシンタックス情報などのシンタックス要素を、エントロピーコーディングユニット56に提供する。
【0047】
動き推定ユニット42および動き補償ユニット44は高度に統合され得るが、概念上の目的で別々に示されている。動き推定ユニット42によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、現在のフレーム(または他のコーディングされるユニット)内でコーディングされている現在のブロックに対する参照フレーム(または他のコーディングされるユニット)内の予測ブロックに対する現在のビデオフレームまたはピクチャ内でのビデオブロックのPUのずれを示し得る。予測ブロックは、ピクセル差分に関して、コーディングされるべきブロックとよく一致することが見いだされるブロックであり、これは、絶対差分和(SAD)、平方差分和(SSD)、または他の差分尺度によって決定され得る。いくつかの例では、ビデオエンコーダ20は、参照フレームメモリ64に記憶されている参照ピクチャのサブ整数ピクセル位置の値を計算し得る。たとえば、ビデオエンコーダ20は、4分の1ピクセル位置、8分の1ピクセル位置、または参照ピクチャの他の分数ピクセル位置の値を補間し得る。したがって、動き推定ユニット42は、全ピクセル位置および分数ピクセル位置に対して動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。
【0048】
動き推定ユニット42は、PUの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコーディングされたスライスの中のビデオブロックのPUに対する動きベクトルを計算する。参照ピクチャは、第1の参照ピクチャリスト(リスト0)または第2の参照ピクチャリスト(リスト1)から選択されてもよく、それらの各々が、参照フレームメモリ64に記憶されている1つまたは複数の参照ピクチャを特定する。動き推定ユニット42は、計算された動きベクトルをエントロピー符号化ユニット56および動き補償ユニット44に送信する。
【0049】
動き補償ユニット44によって実行される動き補償は、動き推定ユニット42によって決定される動きベクトルに基づいて、予測ブロックをフェッチまたは生成することを伴い得る。やはり、いくつかの例では、動き推定ユニット42および動き補償ユニット44は機能的に統合され得る。現在のビデオブロックのPUの動きベクトルを受信すると、動き補償ユニット44は、参照ピクチャリストのうちの1つにおいて動きベクトルが指し示す予測ブロックを見つけ得る。以下で論じられるように、加算器50は、ピクセル差分値を形成する、コーディングされている現在のビデオブロックのピクセル値から、予測ブロックのピクセル値を差し引くことによって、残差ビデオブロックを形成する。一般に、動き推定ユニット42は、ルマ成分に対する動き推定を実行し、動き補償ユニット44は、クロマ成分とルマ成分の両方に対して、ルマ成分に基づいて計算された動きベクトルを使用する。モード選択ユニット40はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ30により使用するための、ビデオブロックおよびビデオスライスと関連付けられるシンタックス要素を生成し得る。
【0050】
上で説明されたように、イントラ予測ユニット46は、動き推定ユニット42および動き補償ユニット44によって実行されるインター予測の代替として、現在のブロックをイントラ予測し得る。具体的には、イントラ予測ユニット46は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例では、イントラ予測ユニット46は、たとえば、別々の符号化パスの間に、様々なイントラ予測モードを使用して現在のブロックを符号化してもよく、イントラ予測ユニット46(または、いくつかの例ではモード選択ユニット40)は、試験されたモードから使用すべき適切なイントラ予測モードを選択してもよい。
【0051】
たとえば、イントラ予測ユニット46は、様々な試験されるイントラ予測モードに対するレート歪み分析を使用してレート歪み値を計算し、試験されたモードの中から最良のレート歪み特性を有するイントラ予測モードを選択し得る。レート歪み分析は一般に、符号化されたブロックと、符号化されたブロックを生み出すために符号化された元の符号化されていないブロックとの間の歪み(または誤差)の量、ならびに、符号化されたブロックを生み出すために使用されたビットレート(すなわち、ビットの数)を決定する。イントラ予測ユニット46は、どのイントラ予測モードがブロックについて最良のレート歪み値を呈するかを決定するために、様々な符号化されたブロックに対する歪みおよびレートから比を計算し得る。
【0052】
加えて、イントラ予測ユニット46は、深度モデリングモード(DMM)を使用して深度マップの深度ブロックをコーディングするように構成され得る。モード選択ユニット40は、たとえばレート歪み最適化(RDO)を使用して、利用可能なDMMモードがイントラ予測モードおよび他のDMMモードより良いコーディング結果を生み出すかどうかを決定し得る。深度マップに対応するテクスチャ画像に対するデータは、参照フレームメモリ64に記憶され得る。動き推定ユニット42および動き補償ユニット44はまた、深度マップの深度ブロックをインター予測するように構成され得る。
【0053】
ブロックに対するイントラ予測モード(たとえば、従来のイントラ予測モードまたはDMMモードのうちの1つ)を選択した後、イントラ予測ユニット46は、ブロックに対する選択されたイントラ予測モードを示す情報をエントロピーコーディングユニット56に提供し得る。エントロピーコーディングユニット56は、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ20は、複数のイントラ予測モードインデックステーブルおよび複数の修正されたイントラ予測モードインデックステーブル(符号語マッピングテーブルとも呼ばれる)を含み得る、送信されるビットストリーム構成データに、様々なブロックに対する符号化コンテキストの定義、最も確率の高いイントラ予測モードの指示、イントラ予測モードインデックステーブル、および、コンテキストの各々に対して使用すべき修正されたイントラ予測モードインデックステーブルを含め得る。
【0054】
ビデオエンコーダ20は、コーディングされている元のビデオブロックから、モード選択ユニット40からの予測データを差し引くことによって、残差ビデオブロックを形成する。加算器50は、この減算演算を実行する1つまたは複数のコンポーネントを表す。
【0055】
変換処理ユニット52は、離散コサイン変換(DCT)または概念的に同様の変換などの変換を残差ブロックに適用して、残差変換係数値を備えるビデオブロックを生み出す。変換処理ユニット52は、DCTと概念的に同様の他の変換を実行し得る。ウェーブレット変換、整数変換、サブバンド変換、または他のタイプの変換も使用され得る。
【0056】
変換処理ユニット52は、残差ブロックに変換を適用し、残差変換係数のブロックを生み出す。この変換は、ピクセル値領域から、周波数領域などの変換領域に、残差情報を変換し得る。変換処理ユニット52は、得られた変換係数を量子化ユニット54に送信し得る。量子化ユニット54は、変換係数を量子化してビットレートをさらに低減する。量子化プロセスは、係数の一部またはすべてと関連付けられるビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって修正され得る。いくつかの例では、量子化ユニット54は次いで、量子化された変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット56が走査を実行してもよい。
【0057】
量子化に続いて、エントロピーコーディングユニット56が、量子化された変換係数をコーディングする。たとえば、エントロピーコーディングユニット56は、コンテキスト適応可変長コーディング(CALVC)、コンテキスト適応バイナリ算術コーディング(CABAC)、シンタックスベースコンテキスト適応バイナリ算術コーディング(SBAC)、確率間隔区分エントロピー(PIPE)コーディング、または別のエントロピーコーディング技法を実行し得る。コンテキストベースのエントロピーコーディングの場合、コンテキストは近隣ブロックに基づき得る。エントロピーコーディングユニット56によるエントロピーコーディングに続いて、符号化されたビットストリームが、別のデバイス(たとえば、ビデオデコーダ30)に送信され、または、より後の送信もしくは取り出しのために保管され得る。
【0058】
逆量子化ユニット58および逆変換ユニット60は、逆量子化および逆変換をそれぞれ適用して、たとえば参照ブロックとして後で使用するために、ピクセル領域において残差ブロックを再構築する。動き補償ユニット44は、参照フレームメモリ64のフレームのうちの1つの予測ブロックに残差ブロックを追加することによって、参照ブロックを計算し得る。動き補償ユニット44はまた、1つまたは複数の補間フィルタを再構築された残差ブロックに適用して、動き推定において使用するためのサブ整数ピクセル値を計算し得る。加算器62は、再構築された残差ブロックを動き補償ユニット44によって生み出される動き補償された予測ブロックに加算して、参照フレームメモリ64に記憶するための再構築されたビデオブロックを生み出す。再構築されたビデオブロックは、後続のビデオフレームの中のブロックをインターコーディングするために、参照ブロックとして動き推定ユニット42および動き補償ユニット44によって使用され得る。
【0059】
図3は、ビデオコーディング技法を実施し得るビデオデコーダ30の例を示すブロック図である。図3の例では、ビデオデコーダ30は、エントロピー復号ユニット70、動き補償ユニット72、イントラ予測ユニット74、逆量子化ユニット76、逆変換ユニット78、参照フレームメモリ82、および加算器80を含む。ビデオデコーダ30は、いくつかの例では、ビデオエンコーダ20(図2)に関して説明された符号化パスと全般に逆の復号パスを実行する。動き補償ユニット72は、エントロピー復号ユニット70から受信された動きベクトルに基づいて予測データを生成し得るが、イントラ予測ユニット74は、エントロピー復号ユニット70から受信されたイントラ予測モードインジケータに基づいて予測データを生成し得る。
【0060】
復号プロセスの間、ビデオデコーダ30は、符号化されたビデオスライスのビデオブロックおよび関連するシンタックス要素を表す符号化されたビデオビットストリームを、ビデオエンコーダ20から受信する。ビデオデコーダ30のエントロピー復号ユニット70は、ビットストリームをエントロピー復号して、量子化された係数、動きベクトルまたはイントラ予測モードインジケータ、および他のシンタックス要素を生成する。エントロピー復号ユニット70は、動きベクトルおよび他のシンタックス要素を動き補償ユニット72に転送する。ビデオデコーダ30は、ビデオスライスレベルおよび/またはビデオブロックレベルでシンタックス要素を受信し得る。
【0061】
ビデオスライスがイントラコーディングされる(I)スライスとしてコーディングされるとき、イントラ予測ユニット74は、シグナリングされたイントラ予測モードと、現在のフレームまたはピクチャの以前に復号されたブロックからのデータとに基づいて、現在のビデオスライスのビデオブロックに対する予測データを生成し得る。ビデオフレームがインターコーディングされる(たとえば、B、P、またはGPB)スライスとしてコーディングされるとき、動き補償ユニット72は、エントロピー復号ユニット70から受信された動きベクトルおよび他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックに対する予測ブロックを生み出す。予測ブロックは、参照ピクチャリストのうちの1つの中の参照ピクチャのうちの1つから生み出され得る。ビデオデコーダ30は、参照フレームメモリ82に記憶されている参照ピクチャに基づくデフォルトの構築技法を使用して、リスト0およびリスト1という参照フレームリストを構築し得る。
【0062】
動き補償ユニット72は、動きベクトルおよび他のシンタックス要素を解析することによって現在のビデオスライスのビデオブロックに対する予測情報を決定し、予測情報を使用して、復号されている現在のビデオブロックに対する予測ブロックを生み出す。たとえば、動き補償ユニット72は、受信されたシンタックス要素のいくつかを使用して、ビデオスライスのビデオブロックをコーディングするために使用される予測モード(たとえば、イントラ予測またはインター予測)、インター予測スライスタイプ(たとえば、Bスライス、Pスライス、またはGPBスライス)、スライスのための参照ピクチャリストのうちの1つまたは複数に対する構築情報、スライスの各々のインター符号化されたビデオブロックに対する動きベクトル、スライスの各々のインターコーディングされたビデオブロックに対するインター予測ステータス、および現在のビデオスライスの中のビデオブロックを復号するための他の情報を決定する。
【0063】
動き補償ユニット72はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット72は、ビデオブロックの符号化の間にビデオエンコーダ20によって使用されるような補間フィルタを使用して、参照ブロックのサブ整数ピクセルに対する補間された値を計算し得る。この場合、動き補償ユニット72は、受信されたシンタックス要素からビデオエンコーダ20によって使用される補間フィルタを決定し、補間フィルタを使用して予測ブロックを生み出し得る。
【0064】
深度マップに対応するテクスチャ画像に対するデータは、参照フレームメモリ82に記憶され得る。動き補償ユニット72はまた、深度マップの深度ブロックをインター予測するように構成され得る。
【0065】
画像およびビデオ圧縮は急速な進歩をとげており、様々なコーディング規格につながった。そのようなコーディング規格には、ITU-T H.261、ISO/IEC Motion Picture Experts Group(MPEG)-1 Part 2、ITU-T H.262またはInternational Organization for Standardization(ISO)/International Electrotechnical Commission(IEC) MPEG-2 Part 2、ITU-T H.263、ISO/IEC MPEG-4 Part 2、ITU-T H.264またはISO/IEC MPEG-4 Part 10としても知られているAdvanced Video Coding(AVC)、ITU-T H.265またはMPEG-H Part 2としても知られているHigh Efficiency Video Coding(HEVC)がある。AVCは、Scalable Video Coding(SVC)、Multiview Video Coding(MVC)、およびMultiview Video Coding plus Depth(MVC+D)、ならびに3D AVC(3D-AVC)などの拡張を含む。HEVCは、Scalable HEVC(SHVC)、Multiview HEVC(MV-HEVC)、および3D HEVC(3D-HEVC)などの拡張を含む。
【0066】
Versatile Video Coding(VVC)は、ITU-TおよびISO/IECのjoint video expert team(JVET)によって開発中の新しいビデオコーディング規格である。執筆の時点で、VVCの最新のワーキングドラフト(WD)は、JVET-K1001-v1に含まれる。JVET文書JVET-K0325-v3は、VVCの高水準シンタックスに対する更新を含む。
【0067】
一般に、本開示は、VVC規格の開発中に基づく技法を説明する。しかしながら、この技法は他のビデオ/メディアコーデック仕様にも適用される。
【0068】
ビデオ圧縮技法は、ビデオシーケンスに内在する冗長性を低減または除去するために、空間(イントラピクチャ)予測および/または時間(インターピクチャ)予測を実行する。ブロックベースのビデオコーディングでは、ビデオスライス(たとえば、ビデオピクチャまたはビデオピクチャの一部分)がビデオブロックへと区分されてもよく、このビデオブロックは、ツリーブロック、コーディングツリーブロック(CTB)、コーディングツリーユニット(CTU)、コーディングユニット(CU)、および/またはコーディングノードとも呼ばれ得る。ピクチャのイントラコーディングされた(I)スライスの中のビデオブロックは、同じピクチャの中の近隣ブロックの中の参照サンプルに関する空間予測を使用して符号化される。ピクチャのインターコーディングされた(PまたはB)スライスの中のビデオブロックは、同じピクチャの中の近隣ブロックの中の参照サンプルに関する空間予測、または他の参照ピクチャの中の参照サンプルに関する時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
【0069】
空間予測または時間予測は、コーディングされることになるブロックに対する予測ブロックをもたらす。残差データは、コーディングされることになる元のブロックと予測ブロックとの間のピクセル差分を表す。インターコーディングされたブロックは、予測ブロックを形成する参照サンプルのブロックを指し示す動きベクトルと、コーディングされたブロックと予測ブロックとの差を示す残差データとに従って符号化される。イントラコーディングされたブロックは、イントラコーディングモードおよび残差データに従って符号化される。さらなる圧縮のために、残差データはピクセル領域から変換領域に変換されてもよく、残差変換係数をもたらし、これは次いで量子化され得る。最初に2次元アレイに並べられる量子化された変換係数は、変換係数の1次元ベクトルを生み出すために走査されてもよく、さらなる圧縮を達成するために、エントロピーコーディングが適用されてもよい。
【0070】
ビデオコーデック仕様において、ピクチャは、インター予測における参照ピクチャとしての使用、復号ピクチャバッファ(DPB)からのピクチャの出力、動きベクトルのスケーリング、加重予測などを含めた、複数の目的で特定される。AVCおよびHEVCにおいて、ピクチャはピクチャ順序カウント(POC)によって特定され得る。AVCおよびHEVCにおいて、DPBの中のピクチャは、「短期参照のために使用される」、「長期参照のために使用される」、または「参照のために使用されない」としてマークされ得る。ピクチャが「参照のために使用されない」とマークされると、もはや予測のためにそのピクチャを使用することはできない。ピクチャが出力にもはや必要とされないとき、ピクチャをDPBから削除することができる。
【0071】
AVCにおいて、短期および長期という2つのタイプの参照ピクチャがある。参照ピクチャは、予測参照のためにもはや必要とされなくなると、「参照のために使用されない」とマークされ得る。これらの3つのステータス(短期、長期、および参照のために使用されない)の変換は、復号参照ピクチャマーキングプロセスによって制御される。暗黙的スライディングウィンドウプロセスおよび明示的メモリ管理制御操作(MMCO)プロセスという、2つの代替的な復号参照ピクチャマーキング機構がある。スライディングウィンドウプロセスは、参照フレームの数が所与の最大の数(シーケンスパラメータセット(SPS)におけるmax_num_ref_frames)に等しいとき、「参照のために使用されない」と短期参照ピクチャをマークする。短期参照ピクチャは、直近の復号された短期ピクチャがDPBに保持されるように、first-in、first-out方式で記憶される。
【0072】
明示的MMCOプロセスは、複数のMMCOコマンドを含み得る。MMCOコマンドは、1つまたは複数の短期または長期参照ピクチャを「参照のために使用されない」とマークしてもよく、すべてのピクチャを「参照のために使用されない」とマークしてもよく、または、現在の参照ピクチャもしくは既存の短期参照ピクチャを長期としてマークして、次いで長期ピクチャインデックスをその長期参照ピクチャに割り当ててもよい。
【0073】
AVCにおいて、参照ピクチャマーキング操作、ならびにDPBからのピクチャの出力および削除のためのプロセスは、ピクチャが復号された後に実行される。
【0074】
HEVCは、参照ピクチャセット(RPS)と呼ばれる、参照ピクチャ管理のための異なる手法を導入する。AVCのMMCO/スライディングウィンドウプロセスと比較したときの、RPSの概念についての最も基本的な違いは、各々の特定のスライスに対して、現在のピクチャまたは任意の後続のピクチャによって使用される参照ピクチャの完全なセットが提供されるということである。したがって、現在または未来のピクチャによる使用のためにDPBに保持されなければならないすべてのピクチャの完全なセットがシグナリングされる。これは、DPBに対する相対的な変化のみがシグナリングされるAVC方式とは異なる。RPSの概念により、DPBに参照ピクチャの正しいステータスを維持するために、復号順序においてより早いピクチャからの情報は必要とされない。
【0075】
RPSの利点を活用して誤り耐性を高めるために、HEVCにおけるピクチャ復号とDPB操作の順序は、AVCと比較して変更される。AVCでは、ピクチャマーキングおよびバッファ操作(DPBからの復号されたピクチャの出力と削除の両方)は一般に、現在のピクチャが復号された後に適用される。HEVCでは、RPSがまず現在のピクチャのスライスヘッダから復号され、次いで、ピクチャマーキングおよびバッファ操作が一般に現在のピクチャを復号する前に適用される。
【0076】
HEVCにおける各スライスヘッダは、スライスを含むピクチャに対するRPSのシグナリングのためのパラメータを含まなければならない。唯一の例外は、瞬時復号リフレッシュ(IDR)スライスに対してはRPSがシグナリングされないことである。代わりに、RPSは空であると推測される。IDRピクチャに属しないIスライスに対して、復号順序においてIピクチャの前にあったピクチャからのインター予測を使用する、復号順序においてIピクチャの後にあるピクチャがあり得るので、IスライスがIピクチャに属する場合であっても、RPSが提供されることがある。RPSの中のピクチャの数は、SPSにおけるsps_max_dec_pic_bufferingシンタックス要素によって指定されるようなDPBサイズ限界を超えないものとする。
【0077】
各ピクチャは、出力順序を表すPOC値と関連付けられる。スライスヘッダは、完全なPOC値の最下位ビット(LSB)を表す固定長の符号語、pic_order_cnt_lsbを含み、これはPOC LSBとしても知られている。符号語の長さはSPSにおいてシグナリングされ、たとえば4ビットと16ビットの間であり得る。RPSの概念は、参照ピクチャを特定するためにPOCを使用する。それ自体のPOC値の他に、各スライスヘッダは、RPSの中の各ピクチャのPOC値(またはLSB)のコーディングされた表現を直接含み、またはSPSから継承する。
【0078】
各ピクチャに対するRPSは、5つのRPSサブセットとも呼ばれる、参照ピクチャの5つの異なるセットからなる。RefPicSetStCurrBeforeは、復号順序と出力順序の両方で現在のピクチャより前にあり、かつ現在のピクチャのインター予測において使用され得る、すべての短期参照ピクチャからなる。RefPicSetStCurrAfterは、復号順序において現在のピクチャの前にあり、出力順序において現在のピクチャの後にあり、かつ現在のピクチャのインター予測において使用され得る、すべての短期参照ピクチャからなる。RefPicSetStFollは、復号順序において現在のピクチャの後にあるピクチャのうちの1つまたは複数のインター予測において使用され得る、かつ現在のピクチャのインター予測において使用されない、すべての短期参照ピクチャからなる。RefPicSetLtCurrは、現在のピクチャのインター予測において使用され得るすべての長期参照ピクチャからなる。RefPicSetLtFollは、復号順序において現在のピクチャの後にあるピクチャのうちの1つまたは複数のインター予測において使用され得る、かつ現在のピクチャのインター予測において使用されない、すべての長期参照ピクチャからなる。
【0079】
RPSは、現在のピクチャよりPOC値の低い短期参照ピクチャ、現在のピクチャよりPOC値の高い短期参照ピクチャ、および長期参照ピクチャという、異なるタイプの参照ピクチャにわたって反復する最大で3つのループを使用してシグナリングされる。加えて、参照ピクチャが現在のピクチャによる参照のために使用される(リストRefPicSetStCurrBefore、RefPicSetStCurrAfter、またはRefPicSetLtCurrのうちの1つに含まれる)か、またはされない(リストRefPicSetStFollまたはRefPicSetLtFollのうちの1つに含まれる)かを示すフラグ(used_by_curr_pic_X_flag)が、各参照ピクチャに対して送信される。
【0080】
図4は、RPS400のすべてのサブセット402の中のエントリ(たとえば、ピクチャ)を伴う現在のピクチャB14を有するRPS400を示す。図4の例では、現在のピクチャB14は、5つのサブセット402(RPSサブセットとしても知られている)の各々の中の厳密に1つのピクチャを含む。P8は、RefPicSetStCurrBeforeと呼ばれるサブセット402の中のピクチャであり、それは、ピクチャが出力順序において前にありB14によって使用されるからである。P12は、RefPicSetStCurrAfterと呼ばれるサブセット402の中のピクチャであり、それは、ピクチャが出力順序において後にありB14によって使用されるからである。P13は、RefPicSetStFollと呼ばれるサブセット402の中のピクチャであり、それは、ピクチャがB14によって使用されない(しかし、B15によって使用されるのでDPBに保持されなければならない)短期参照ピクチャであるからである。P4は、RefPicSetLtCurrと呼ばれるサブセット402の中のピクチャであり、それは、ピクチャがB14によって使用される長期参照ピクチャであるからである。I0は、RefPicSetStLtFollと呼ばれるサブセット402の中のピクチャであり、それは、ピクチャが現在のピクチャによって使用されない(しかし、B15によって使用されるのでDPBに保持されなければならない)長期参照ピクチャであるからである。
【0081】
RPS400の短期部分は、スライスヘッダに直接含まれ得る。代替的に、スライスヘッダは、アクティブなSPSにおいて送信されるRPSのあらかじめ定められたリストを参照するインデックスを表すシンタックス要素のみを含み得る。RPS402の短期部分は、以下で説明されるようなインターRPSと、ここで説明されるようなイントラRPSという、2つの異なる方式のいずれかを使用してシグナリングされ得る。イントラRPSが使用されるとき、参照ピクチャの2つの異なるリストの長さを表すnum_negative_picsおよびnum_positive_picsがシグナリングされる。これらのリストは、それぞれ、現在のピクチャと比較して負のPOC差分および正のPOC差分を伴う参照ピクチャを含む。これらのリストの中の各要素は、リストの中の前の要素に対する相対的なPOC値の差から1を引いたものを表す可変長符号を用いて符号化される。
【0082】
シーケンスパラメータセットにおいて再発するRPSを符号化するとき、シーケンスパラメータセットにおいてすでに符号化されている別のRPSに関連して1つのRPS(たとえば、RPS400)の要素を符号化することが可能である。これはインターRPSと呼ばれる。シーケンスパラメータセットのすべてのRPSは同じネットワーク抽象化レイヤ(NAL)ユニットの中にあるので、この方法と関連付けられる誤り耐性問題はない。インターRPSシンタックスは、現在のピクチャのRPSが以前に復号されたピクチャのRPSから予測され得るという事実を利用する。これは、現在のピクチャのすべての参照ピクチャが以前のピクチャの参照ピクチャまたは以前に復号されたピクチャ自体のいずれかでなければならないからである。これらのピクチャのいずれが参照ピクチャであるべきであるか、および現在のピクチャの予測のために使用されるべきであるかを示すことだけが必要である。したがって、シンタックスは、予測子として使用するためのRPSを指し示すインデックス、現在のRPSのdelta POCを取得するために予測子のdelta_POCに加算されるべきdelta_POC、ならびに、どのピクチャが参照ピクチャであるか、およびそれらが未来のピクチャの予測のためだけに使用されるかどうかを示すためのインジケータのセットを備える。
【0083】
長期参照ピクチャの使用を活用することを望むエンコーダは、SPSシンタックス要素long_term_ref_pics_present_flagを1に設定しなければならない。長期参照ピクチャは次いで、各長期ピクチャの完全なPOC値の最下位ビットを表す固定長の符号語pos_lst_ltによってスライスヘッダにおいてシグナリングされ得る。各pos_lsb_ltは、特定の長期ピクチャのためにシグナリングされたpic_order_cnt_lsb符号語のコピーである。SPSの中の長期ピクチャのセットをPOC LSB値のリストとしてシグナリングすることも可能である。長期ピクチャに対するPOC LSBは、このリストに対するインデックスとしてスライスヘッダにおいてシグナリングされ得る。
【0084】
現在のピクチャに対する長期参照ピクチャの完全なPOC距離の計算を可能にするために、delta_poc_msb_cycle_lt_minus1シンタックス要素が追加でシグナリングされ得る。符号語delta_poc_msb_cycle_lt_minus1は、RPSの中の任意の他の参照ピクチャと同じPOC LSB値を有する各長期参照ピクチャに対してシグナリングされることが必要とされる。
【0085】
HEVCにおける参照ピクチャマーキングのために、通常は、ピクチャ復号の前にDPBの中にある数のピクチャが存在する。それらのピクチャの一部は、予測に利用可能であり得るので、「参照のために使用される」とマークされる。他のピクチャは予測に利用不可能であり得るが出力を待機しているので、「参照のために使用されない」とマークされる。スライスヘッダが解析されると、スライスデータが復号される前に、ピクチャマーキングプロセスが行われる。DPBの中に存在し「参照のために使用される」とマークされるがRPSに含まれないピクチャは。「参照のために使用されない」とマークされる。DPBの中に存在しないが参照ピクチャセットに含まれるピクチャは、used_by_curr_pic_X_flagが0に等しいとき無視される。しかしながら、代わりにused_by_curr_pic_X_flagが1に等しいとき、この参照ピクチャは、現在のピクチャにおける予測のために使用されることが意図されていたが、失われている。そして、意図しないピクチャの喪失が推測され、デコーダは適切な行動をとらなければならない。
【0086】
現在のピクチャを復号した後、それは「短期参照のために使用される」とマークされる。
【0087】
次に、HEVCにおける参照ピクチャリスト構築が論じられる。HEVCでは、現在の復号されたピクチャ以外の参照ピクチャのデータ要素(たとえば、サンプル値または動きベクトル)から導出される予測を示すために、インター予測という用語が使用される。AVCのように、ピクチャは複数の参照ピクチャから予測され得る。インター予測のために使用される参照ピクチャは、1つまたは複数の参照ピクチャリストにおいて編成される。参照インデックスは、リストの中の参照ピクチャのいずれが予測信号を作成するために使用されるべきかを特定する。
【0088】
単一の参照ピクチャリスト、リスト0がPスライスのために使用され、2つの参照ピクチャリスト、リスト0およびリスト1がBスライスのために使用される。AVCと同様に、HEVCにおける参照ピクチャリスト構築は、参照ピクチャリスト初期化および参照ピクチャリスト修正を含む。
【0089】
AVCでは、リスト0に対する初期化プロセスは、(復号順序が使用される)Pスライスおよび(出力順序が使用される)Bスライスに対しては異なる。HEVCでは、出力順序は両方の場合において使用される。
【0090】
参照ピクチャリスト初期化は、3つのRPSサブセット、RefPicSetStCurrBefore、RefPicSetStCurrAfter、およびRefPicSetLtCurrに基づいて、デフォルトのリスト0およびリスト1(スライスがBスライスである場合)を作成する。出力順序がより前(後)の短期ピクチャがまず、現在のピクチャまでのPOC距離の昇順でリスト0(リスト1)に挿入され、次いで、出力順序がより後(前)の短期ピクチャが、現在のピクチャまでのPOC距離の昇順でリスト0(リスト1)に挿入され、次いで最後に、長期ピクチャが末尾に挿入される。RPSに関して、リスト0に対して、RefPicSetStCurrBeforeの中のエントリは初期のリストに挿入され、RefPicSetStCurrAfterの中のエントリが後に続く。その後、利用可能であれば、RefPicSetLtCurrの中のエントリが付加される。
【0091】
HEVCにおいて、リストの中のエントリの数がアクティブな参照ピクチャの目標の数(ピクチャパラメータセットまたはスライスヘッダにおいてシグナリングされる)より少ないとき、上記のプロセスが繰り返される(参照ピクチャリストにすでに追加されている参照ピクチャが再び追加される)。エントリの数が目標の数より多いとき、リストは切り詰められる。
【0092】
参照ピクチャリストが初期化された後で、参照ピクチャリスト修正コマンドに基づいて、1つの特定の参照ピクチャがリストの中の1つより多くの位置において現れ得る事例を含めて、現在のピクチャに対する参照ピクチャが任意の順序で並べられ得るように、参照ピクチャリストが修正され得る。リスト修正の存在を示すフラグが1に設定されるとき、固定された数(参照ピクチャリストの中のエントリの目標の数に等しい)のコマンドがシグナリングされ、各コマンドが参照ピクチャリストに対して1つのエントリを挿入する。参照ピクチャは、RPSシグナリングから導出される現在のピクチャに対する参照ピクチャのリストへのインデックスによって、コマンドにおいて特定される。これは、H.264/AVCにおける参照ピクチャリスト修正とは異なり、ピクチャはピクチャ番号(frame_numシンタックス要素から導出される)または長期参照ピクチャインデックスのいずれかによって特定され、たとえば、初期リストの最初の2つのエントリを交換するために、または、初期リストの最初に1つのエントリを挿入して他方のエントリをシフトするために、より少数のコマンドしか必要とされないことがあり得る。
【0093】
参照ピクチャリストは、現在のピクチャより大きいTemporalIdを伴う任意の参照ピクチャを含むことが許容される。HEVCビットストリームは、いくつかの時間的なサブレイヤからなり得る。各NALユニットは、TemporalId(temporal_id_plus1-1に等しい)によって示されるような特定のサブレイヤに属する。
【0094】
参照ピクチャ管理は、参照ピクチャリストに直接基づく。JCT-VC文書JCTVC-G643は、DPBの中の参照ピクチャの管理のために、参照ピクチャリスト0、参照ピクチャリスト1、およびアイドル参照ピクチャリストという3つの参照ピクチャリストを直接使用するための手法を含み、それにより、1)スライディングウィンドウおよびMMCOプロセス、ならびにAVCにおける参照ピクチャリスト初期化および修正プロセス、または、2)参照ピクチャセット、ならびにHEVCにおける参照ピクチャリスト初期化および修正プロセスのいずれかを含む、シグナリングおよび復号プロセスの必要をなくす。
【0095】
参照ピクチャ管理のための手法にはいくつかの問題があり得る。AVC手法は、スライディングウィンドウ、MMCOプロセス、ならびに参照ピクチャリスト初期化および修正プロセスを伴い、これらは複雑である。さらに、ピクチャの喪失は、さらなるインター予測参照の目的でどのピクチャがDPBの中にあるべきであったかに関しての、DPBのステータスの喪失につながり得る。HEVC手法には、DPBステータスの喪失の問題がない。しかしながら、HEVC手法は、複雑な参照ピクチャセットシグナリングおよび導出プロセス、ならびに参照ピクチャリスト初期化および修正プロセスを伴い、これらは複雑である。DPBの中の参照ピクチャの管理のために、参照ピクチャリスト0、参照ピクチャリスト1、ならびにアイドル参照ピクチャリストという3つの参照ピクチャリストを直接使用するための、JCTVC-G643における手法は、第3の参照ピクチャリスト、すなわちアイドル参照ピクチャリスト、「短期」部分およびue(v)コーディングされる「長期」部分としてのPOC差分の二部コーディング、POC差分コーディングのためのTemporalIdベースのPOC粒度、「短期参照のために使用される」または「長期参照のために使用される」のマーキングを決定するためのPOC差分の二部コーディングの使用、何らかのより前の参照ピクチャリスト記述の末尾から参照ピクチャを削除することによって参照ピクチャリストを指定する能力を可能にする、参照ピクチャリストサブセット記述、シンタックス要素ref_pic_list_copy_flagによって可能にされる参照ピクチャリストコピーモード、ならびに参照ピクチャリスト記述プロセスを伴う。先行する態様の各々が手法を不必要に複雑にする。さらに、JCTVC-G643における参照ピクチャリストに対する復号プロセスも複雑である。長期参照ピクチャのシグナリングは、スライスヘッダにおけるPOCサイクルのシグナリングを必要とし得る。これは効率的ではない。
【0096】
上で列挙された問題に対処するために、本明細書で開示されるのは以下の解決法であり、それらの各々が個別に適用されてもよく、それらの一部が組合せで適用されてもよい。1)参照ピクチャマーキングが、2つの参照ピクチャリスト、すなわち参照ピクチャリスト0および参照ピクチャリスト1に直接基づく。1a)2つの参照ピクチャリストの導出のための情報が、SPS、PPS、および/またはスライスヘッダの中のシンタックス要素とシンタックス構造に基づいてシグナリングされる。1b)ピクチャに対する2つの参照ピクチャリストの各々が、参照ピクチャリスト構造において明示的にシグナリングされる。1b.i)1つまたは複数の参照ピクチャリスト構造がSPSにおいてシグナリングされてもよく、それらの各々がスライスヘッダからのインデックスによって参照されてもよい。1b.ii)参照ピクチャリスト0および1の各々がスライスヘッダにおいて直接シグナリングされ得る。2)2つの参照ピクチャリストの導出のための情報は、すべてのタイプのスライス、すなわち、B(双予測)、P(単予測)、およびI(イントラ)スライスのためにシグナリングされる。スライスという用語は、HEVCまたは最新のVVC WDにおけるスライスなどのコーディングツリーユニットの集合体を指し、HEVCにおけるタイルなどのコーディングツリーユニットの何らかの他の集合体も指し得る。3)2つの参照ピクチャリストが、すべてのタイプのスライス、すなわちBスライス、Pスライス、およびIスライスに対して生成される。4)2つの参照ピクチャリストが、参照ピクチャリスト初期化プロセスおよび参照ピクチャリスト修正プロセスを使用することなく直接構築される。5)2つの参照ピクチャリストの各々において、現在のピクチャのインター予測のために使用され得る参照ピクチャが、リストの最初のある数のエントリのみによって参照され得る。これらのエントリはリストの中のアクティブエントリと呼ばれ、他のエントリはリストの中の非アクティブエントリと呼ばれる。リストの中の全体のエントリの数とアクティブエントリの数の両方が導出され得る。6)参照ピクチャリストの中の非アクティブエントリによって参照されるピクチャは、参照ピクチャリストの中の別のエントリ、または他の参照ピクチャリストの中のエントリによって参照されることが許容されない。7)長期参照ピクチャは、ある数のPOC LSBのみによって特定され、この数は、POC値の導出のためにスライスヘッダにおいてシグナリングされるPOC LSBの数より大きいことがあり、この数はSPSにおいて示される。8)参照ピクチャリスト構造はスライスヘッダのみにおいてシグナリングされ、短期参照ピクチャと長期参照ピクチャの両方がそれらのPOC LSBによって特定され、それらは、POC値の導出のためにスライスヘッダにおいてシグナリングされるPOC LSBを表すために使用されるビットの数とは異なるビットの数によって表されてもよく、短期参照ピクチャを特定するためのPOC LSBを表すために使用されるビットの数と、長期参照ピクチャを特定するためのPOC LSBを表すために使用されるビットの数は異なってもよい。9)参照ピクチャリスト構造はスライスヘッダのみにおいてシグナリングされ、短期参照ピクチャと長期参照ピクチャは区別されず、すべての参照ピクチャが単に参照ピクチャと名付けられ、参照ピクチャはそれらのPOC LSBによって特定され、それらのPOC LSBは、POC値の導出のためにスライスヘッダにおいてシグナリングされるPOC LSBを表すために使用されるビットの数とは異なる数のビットによって表されてもよい。
【0097】
本開示の第1の実施形態が提供される。この説明は最新のVVC WDに対するものである。この実施形態では、参照ピクチャリスト0および参照ピクチャリスト1の各々に対して1つの、参照ピクチャリスト構造の2つのセットがSPSにおいてシグナリングされる。
【0098】
本明細書で使用される用語のいくつかの定義が与えられる。イントラランダムアクセスポイント(IRAP)ピクチャ:各ビデオコーディングレイヤ(VCL)NALユニットがIRAP_NUTに等しいnal_unit_typeを有するコーディングされたピクチャ。非IRAPピクチャ:各VCL NALユニットがNON_IRAP_NUTに等しいnal_unit_typeを有するコーディングされたピクチャ。参照ピクチャリスト:PまたはBスライスのインター予測のために使用される参照ピクチャのリスト。2つの参照ピクチャリスト、参照ピクチャリスト0および参照ピクチャリスト1は、非IRAPピクチャの各スライスに対して生成される。ピクチャと関連付けられる2つの参照ピクチャリストの中のすべてのエントリによって参照される固有のピクチャのセットは、関連するピクチャ、または復号順序において関連するピクチャの後にある任意のピクチャのインター予測のために使用され得る、すべての参照ピクチャからなる。Pスライスのスライスデータを復号するために、参照ピクチャリスト0だけがインター予測のために使用される。Bスライスのスライスデータを復号するために、両方の参照ピクチャリストがインター予測のために使用される。Iスライスのスライスデータを復号するために、インター予測のために参照ピクチャリストは使用されない。長期参照ピクチャ(LTRP):「長期参照のために使用される」とマークされるピクチャ。短期参照ピクチャ(STRP):「短期参照のために使用される」とマークされるピクチャ。
【0099】
「短期参照のために使用される」、「長期参照のために使用される」、または「参照のために使用されない」という用語は、VVCの8.3.3項「参照ピクチャマーキングのための復号プロセス」において定義され、HEVCの8.3.2項「参照ピクチャセットのための復号プロセス」において定義され、AVCの7.4.3.3項「復号参照ピクチャマーキングセマンティクス」において定義される。本明細書では、これらの用語は同じ意味を有する。
【0100】
第1の実施形態のための関連するシンタックスおよびセマンティクスが以下で与えられる。
【0101】
NALユニットヘッダシンタックス
【0102】
【表1】
【0103】
シーケンスパラメータセットRaw Byte Sequence Payload(RBSP)シンタックス
【0104】
【表2】
【0105】
ピクチャパラメータセットRBSPシンタックス
【0106】
【表3】
【0107】
スライスヘッダシンタックス
【0108】
【表4】
【0109】
参照ピクチャリスト構造シンタックス
【0110】
【表5】
【0111】
NALユニットヘッダセマンティクス
【0112】
forbidden_zero_bitは0に等しいものとする。nal_unit_typeはNALユニットに含まれるRBSPデータ構造のタイプを指定する。
【0113】
【表6】
【0114】
nuh_temporal_id_plus1から1を引いたものは、NALユニットに対する時間識別子を指定する。nuh_temporal_id_plus1の値は0に等しくないものとする。変数TemporalIdは、TemporalId=nuh_temporal_id_plus1-1のように指定される。nal_unit_typeがIRAP_NUTに等しいとき、コーディングされるスライスはIRAPピクチャに属し、TemporalIdは0に等しいものとする。TemporalIdの値は、アクセスユニットのすべてのVCL NALユニットに対して同じであるものとする。コーディングされたピクチャまたはアクセスユニットのTemporalIdの値は、コーディングされたピクチャまたはアクセスユニットのVCL NALユニットのTemporalIdの値である。非VCL NALユニットに対するTemporalIdの値は次のように制約される。nal_unit_typeがSPS_NUTに等しい場合、TemporalIdは0に等しいものとし、NALユニットを含むアクセスユニットのTemporalIdは0に等しいものとする。そうではなく、nal_unit_typeがEOS_NUTまたはEOB_NUTに等しい場合、TemporalIdは0に等しいものとする。それ以外の場合、TemporalIdはNALユニットを含むアクセスユニットのTemporalId以上であるものとする。NALユニットが非VCL NALユニットであるとき、TemporalIdの値は、非VCL NALユニットが適用されるすべてのアクセスユニットのTemporalId値の最小値に等しい。nal_unit_typeがPPS_NUTに等しいとき、TemporalIdは含んでいるアクセスユニットのTemporalId以上であることがあり、それは、すべてのピクチャパラメータセット(PPS)がビットストリームの最初に含まれ得るからであり、第1のコーディングされたピクチャは0に等しいTemporalIdを有する。nal_unit_typeがPREFIX_SEI_NUTまたはSUFFIX_SEI_NUTに等しいとき、TemporalIdは、含んでいるアクセスユニットのTemporalId以上であることがあり、それは、SEI NALユニットが、SEI NALユニットを含んでいるアクセスユニットのTemporalIdよりTemporalId値が大きいアクセスユニットを含むビットストリームサブセットに適用される情報を含み得るからである。nuh_reserved_zero_7bitsは「0000000」に等しいものとする。nuh_reserved_zero_7bitsの他の値は、ITU-T|ISO/IECによって今後規定され得る。デコーダは、「0000000」に等しくないnuh_reserved_zero_7bitsの値を伴うNALユニットを無視する(すなわち、ビットストリームから削除して廃棄する)ものとする。
【0115】
シーケンスパラメータセットRBSPセマンティクス
【0116】
log2_max_pic_order_cnt_lsb_minus4は、ピクチャ順序カウントのために復号プロセスにおいて使用される変数MaxPicOrderCntLsbの値を、MaxPicOrderCntLsb=2(log2_max_pic_order_cnt_lsb_minus4+4)として指定する。log2_max_pic_order_cnt_lsb_minus4の値は、両端を含めて0から12の範囲にあるものとする。sps_max_dec_pic_buffering_minus1に1を足したものは、ピクチャストレージバッファの単位で、CVSのための復号ピクチャバッファの最大の必要とされるサイズを指定する。sps_max_dec_pic_buffering_minus1の値は、両端を含めて0からMaxDpbSize-1の範囲にあるものとし、MaxDpbSizeは他の箇所で指定されるようなものである。0に等しいlong_term_ref_pics_flagは、LTRPがCVSにおいていずれのコーディングされるピクチャのインター予測にも使用されないことを指定する。1に等しいlong_term_ref_pics_flagは、LTRPがCVSにおいて1つまたは複数のコーディングされるピクチャのインター予測のために使用され得ることを指定する。additional_lt_poc_lsbは、参照ピクチャリストのために復号プロセスにおいて使用される変数MaxLtPicOrderCntLsbの値を、MaxLtPicOrderCntLsb=2(log2_max_pic_order_cnt_lsb_minus4+4+additional_lt_poc_lsb)として指定する。additional_lt_poc_lsbの値は、両端を含めて0から32-log2_max_pic_order_cnt_lsb_minus4-4の範囲にあるものとする。存在しないとき、additional_lt_poc_lsbの値は0に等しいと推測される。num_ref_pic_lists_in_sps[i]は、SPSに含まれる、listIdxがiに等しいref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の数を指定する。num_ref_pic_lists_in_sps[i]の値は、両端を含めて0から64の範囲にあるものとする。listIdx(0または1に等しい)の各値に対して、デコーダは、全体でnum_ref_pic_lists_in_sps[i]個のref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造のためにメモリを割り振るべきであり、それは、現在のピクチャのスライスヘッダにおいて直接シグナリングされる1つのref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造があり得るからである。
【0117】
ピクチャパラメータセットRBSPセマンティクス
【0118】
num_ref_idx_default_active_minus1[i]に1を足したものは、iが0に等しいとき、num_ref_idx_active_override_flagが0に等しいPまたはBスライスに対する変数NumRefIdxActive[0]の推測される値を指定し、iが1に等しいとき、num_ref_idx_active_override_flagが0に等しいBスライスに対するNumRefIdxActive[1]の推測される値を指定する。num_ref_idx_default_active_minus1[i]の値は、両端を含めて0から14の範囲にあるものとする。
【0119】
スライスヘッダセマンティクス
【0120】
存在するとき、スライスヘッダシンタックス要素slice_pic_parameter_set_idおよびslice_pic_order_cnt_lsbの各々の値は、コーディングされたピクチャのすべてのスライスヘッダにおいて同じであるものとする。slice_typeはTable 7-3(表7)に従ってスライスのコーディングタイプを指定する。
【0121】
【表7】
【0122】
nal_unit_typeがIRAP_NUTに等しい、すなわちピクチャがIRAPピクチャであるとき、slice_typeは2に等しいものとする。slice_pic_order_cnt_lsbは、現在のピクチャに対するピクチャ順序カウントmodulo MaxPicOrderCntLsbを指定する。slice_pic_order_cnt_lsbシンタックス要素の長さは、log2_max_pic_order_cnt_lsb_minus4+4ビットである。slice_pic_order_cnt_lsbの値は、両端を含めて0からMaxPicOrderCntLsb-1の範囲にあるものとする。slice_pic_order_cnt_lsbが存在しないとき、slice_pic_order_cnt_lsbは0に等しいと推測される。1に等しいref_pic_list_sps_flag[i]は、現在のピクチャの参照ピクチャリストiが、アクティブSPSの中のlistIdxがiに等しいref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造のうちの1つに基づいて導出されることを指定する。0に等しいref_pic_list_sps_flag[i]は、現在のピクチャの参照ピクチャリストiが、現在のピクチャのスライスヘッダに直接含まれる、listIdxがiに等しいref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造に基づいて導出されることを指定する。num_ref_pic_lists_in_sps[i]が0に等しいとき、ref_pic_list_sps_flag[i]の値は0に等しいものとする。ref_pic_list_idx[i]は、現在のピクチャの参照ピクチャリストiの導出のために使用されるlistIdxがiに等しいref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の、アクティブSPSに含まれるlistIdxがiに等しいref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造のリストへのインデックスを指定する。シンタックス要素ref_pic_list_idx[i]は、Ceil(Log2(num_ref_pic_lists_in_sps[i]))ビットによって表される。存在しないとき、ref_pic_list_idx[i]の値は0に等しいと推測される。ref_pic_list_idx[i]の値は、両端を含めて0からnum_ref_pic_lists_in_sps[i]-1の範囲にあるものとする。1に等しいnum_ref_idx_active_override_flagは、シンタックス要素num_ref_idx_active_minus1[0]がPおよびBスライスに対して存在することと、シンタックス要素num_ref_idx_active_minus1[1]がBスライスに対して存在することとを指定する。0に等しいnum_ref_idx_active_override_flagは、シンタックス要素num_ref_idx_active_minus1[0]およびnum_ref_idx_active_minus1[1]が存在しないことを指定する。num_ref_idx_active_minus1[i]は、存在するとき、変数NumRefIdxActive[i]の値を、NumRefIdxActive[i]=num_ref_idx_active_minus1[i]+1として指定する。num_ref_idx_active_minus1[i]の値は、両端を含めて0から14の範囲にあるものとする。
【0123】
NumRefIdxActive[i]-1の値は、スライスを復号するために使用され得る参照ピクチャリストiに対する最大参照インデックスを指定する。NumRefIdxActive[i]の値が0に等しいとき、参照ピクチャリストiに対する参照インデックスは、スライスを復号するために使用されないことがある。0または1に等しいiに対して、現在のスライスがBスライスであり、num_ref_idx_active_override_flagが0に等しいとき、NumRefIdxActive[i]は、num_ref_idx_default_active_minus1[i]+1に等しいと推測される。現在のスライスがPスライスであり、num_ref_idx_active_override_flagが0に等しいとき、NumRefIdxActive[0]は、num_ref_idx_default_active_minus1[0]+1に等しいと推測される。現在のスライスがPスライスであるとき、NumRefIdxActive[i]は0に等しいと推測される。現在のスライスがIスライスであるとき、NumRefIdxActive[0]とNumRefIdxActive[1]の両方が0に等しいと推測される。
【0124】
代替として、0または1に等しいiに対して、上記の後で次のことが当てはまる。rplsIdx1がref_pic_list_sps_flag[i]?ref_pic_list_idx[i]:num_ref_pic_lists_in_sps[i]に等しく設定されるものとし、numRpEntries[i]がnum_strp_entries[i][rplsIdx1]+num_ltrp_entries[i][rplsIdx1]に等しいものとする。NumRefIdxActive[i]がnumRpEntries[i]より大きいとき、NumRefIdxActive[i]の値はnumRpEntries[i]に等しく設定される。
【0125】
参照ピクチャリスト構造セマンティクス
【0126】
ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造は、SPSまたはスライスヘッダに存在し得る。シンタックス構造がスライスヘッダに含まれるかSPSに含まれるかに応じて、次のことが当てはまる。スライスヘッダに存在する場合、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造は、現在のピクチャ(スライスを含むピクチャ)の参照ピクチャリストlistIdxを指定する。それ以外(SPSに存在する)の場合、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造は、参照ピクチャリストlistIdxに対する候補を指定し、このセクションの残りにおいて指定されるセマンティクスにおける「現在のピクチャ」という用語は、1)SPSに含まれるref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造のリストへのインデックスに等しいref_pic_list_idx[listIdx]を含む1つまたは複数のスライスを有し、2)アクティブSPSとしてSPSを有するCVSの中にある、各ピクチャを指す。num_strp_entries[listIdx][rplsIdx]は、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の中のSTRPエントリの数を指定する。num_ltrp_entries[listIdx][rplsIdx]は、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の中のLTRPエントリの数を指定する。存在しないとき、num_ltrp_entries[listIdx][rplsIdx]の値は、0に等しいと推測される。変数NumEntriesInList[listIdx][rplsIdx]は、NumEntriesInList[listIdx][rplsIdx]=num_strp_entries[listIdx][rplsIdx]+num_ltrp_entries[listIdx][rplsIdx]のように導出される。NumEntriesInList[listIdx][rplsIdx]の値は、両端を含めて0からsps_max_dec_pic_buffering_minus1の範囲にあるものとする。1に等しいlt_ref_pic_flag[listIdx][rplsIdx][i]は、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の中のi番目のエントリがLTRPエントリであることを指定する。0に等しいlt_ref_pic_flag[listIdx][rplsIdx][i]は、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の中のi番目のエントリがSTRPエントリであることを指定する。存在しないとき、lt_ref_pic_flag[listIdx][rplsIdx][i]の値は0に等しいと推測される。両端を含めて0からNumEntriesInList[listIdx][rplsIdx]-1の範囲にあるiのすべての値に対するlt_ref_pic_flag[listIdx][rplsIdx][i]の合計は、num_ltrp_entries[listIdx][rplsIdx]に等しくなければならないということが、ビットストリーム適合の要件である。delta_poc_st[listIdx][rplsIdx][i]は、i番目のエントリがref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造の中の最初のSTRPエントリであるとき、現在のピクチャのピクチャ順序カウント値とi番目のエントリにより参照されるピクチャのピクチャ順序カウント値との差を指定し、または、i番目のエントリがSTRPエントリであるが、ref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造の中の最初のSTRPエントリではないとき、i番目のエントリにより参照されるピクチャのピクチャ順序カウント値とref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の中の以前のSTRPエントリによって参照されるピクチャのピクチャ順序カウント値との差を指定する。delta_poc_st[listIdx][rplsIdx][i]の値は、両端を含めて-215から215-1の範囲にあるものとする。poc_lsb_lt[listIdx][rplsIdx][i]は、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の中のi番目のエントリによって参照されるピクチャのピクチャ順序カウントmodulo MaxLtPicOrderCntLsbの値を指定する。poc_lsb_lt[listIdx][rplsIdx][i]シンタックス要素の長さは、Log2(MaxLtPicOrderCntLsb)ビットである。
【0127】
復号プロセスが論じられる。復号プロセスは、現在のピクチャCurrPicに対して次のように動作する。NALユニットの復号が以下で規定される。以下のプロセスは、スライスヘッダレイヤの中の、および上記のシンタックス要素を使用して、次の復号プロセスを規定する。ピクチャ順序カウントに関する変数および関数が導出される。これは、ピクチャの最初のスライスだけに対して呼び出される必要がある。非IRAPピクチャの各スライスに対する復号プロセスの最初において、参照ピクチャリスト構築のための復号プロセスは、参照ピクチャリスト0(RefPicList[0])および参照ピクチャリスト1(RefPicList[1])の導出のために呼び出される。参照ピクチャマーキングのための復号プロセスが呼び出され、参照ピクチャは、「参照のために使用されない」または「長期参照のために使用される」とマークされ得る。これは、ピクチャの最初のスライスだけに対して呼び出される必要がある。コーディングツリーユニット、スケーリング、変換、ループ内フィルタリングなどのための復号プロセスが呼び出される。現在のピクチャのすべてのスライスが復号された後で、現在の復号されるピクチャは「短期参照のために使用される」とマークされる。
【0128】
NALユニット復号プロセスが論じられる。このプロセスへの入力は、現在のピクチャのNALユニットおよび関連する非VCL NALユニットである。このプロセスの出力は、NALユニット内に封入される構文解析されたRBSPシンタックス構造である。各NALユニットのための復号プロセスは、NALユニットからRBSPシンタックス構造を抽出し、次いでRBSPシンタックス構造を構文解析する。
【0129】
ピクチャ順序カウントのための復号プロセスを含む、スライス復号プロセスが論じられる。このプロセスの出力は、現在のピクチャのピクチャ順序カウントであるPicOrderCntValである。マージモードにおける動きパラメータの導出および動きベクトルの予測のために、ならびにデコーダ適合性確認のために、ピクチャ順序カウントが、ピクチャを特定するために使用される。各々のコーディングされたピクチャは、PicOrderCntValと表記されるピクチャ順序カウント変数と関連付けられる。現在のピクチャがIRAPピクチャではないとき、変数prevPicOrderCntLsbおよびprevPicOrderCntMsbは次のように導出される。prevTid0Picを、0に等しいTemporalIdを有する、復号順序において以前のピクチャとする。変数prevPicOrderCntLsbは、prevTid0Picのslice_pic_order_cnt_lsbに等しく設定される。変数prevPicOrderCntMsbは、prevTid0PicのPicOrderCntMsbに等しく設定される。
【0130】
現在のピクチャの変数PicOrderCntMsbは次のように導出される。現在のピクチャがIRAPピクチャである場合、PicOrderCntMsbは0に等しく設定される。それ以外の場合、PicOrderCntMsbは次のように導出される。
if((slice_pic_order_cnt_lsb<prevPicOrderCntLsb)&&
((prevPicOrderCntLsb-slice_pic_order_cnt_lsb)>=(MaxPicOrderCntLsb/2)))
PicOrderCntMsb=prevPicOrderCntMsb+MaxPicOrderCntLsb
else if((slice_pic_order_cnt_lsb>prevPicOrderCntLsb)&&
((slice_pic_order_cnt_lsb-prevPicOrderCntLsb)>(MaxPicOrderCntLsb/2)))
PicOrderCntMsb=prevPicOrderCntMsb-MaxPicOrderCntLsb
else
PicOrderCntMsb=prevPicOrderCntMsb
if((slice_pic_order_cnt_lsb<prevPicOrderCntLsb)&&
((prevPicOrderCntLsb-slice_pic_order_cnt_lsb)>=(MaxPicOrderCntLsb/2)))
PicOrderCntMsb=prevPicOrderCntMsb+MaxPicOrderCntLsb
else if((slice_pic_order_cnt_lsb>prevPicOrderCntLsb)&&
((slice_pic_order_cnt_lsb-prevPicOrderCntLsb)>(MaxPicOrderCntLsb/2)))
PicOrderCntMsb=prevPicOrderCntMsb-MaxPicOrderCntLsb
else
PicOrderCntMsb=prevPicOrderCntMsb
【0131】
PicOrderCntValは次のように導出される。
PicOrderCntVal=PicOrderCntMsb+slice_pic_order_cnt_lsb
PicOrderCntVal=PicOrderCntMsb+slice_pic_order_cnt_lsb
【0132】
すべてのIRAPピクチャが0に等しいPicOrderCntValを有し、それは、slice_pic_order_cnt_lsbがIRAPピクチャに対して0に等しいと推測され、prevPicOrderCntLsbとprevPicOrderCntMsbがともに0に等しく設定されるからである。PicOrderCntValの値は、両端を含めて-231から231-1の範囲にあるものとする。1つのCVSにおいて、任意の2つのコーディングされたピクチャに対するPicOrderCntVal値は、同じではないものとする。
【0133】
復号プロセスの間の任意の瞬間において、DPBの中の任意の2つの参照ピクチャに対するPicOrderCntVal&(MaxLtPicOrderCntLsb-1)の値は同じではないものとする。関数PicOrderCnt(picX)は、PicOrderCnt(picX)=ピクチャpicXのPicOrderCntValのように規定される。関数DiffPicOrderCnt(picA,picB)は、DiffPicOrderCnt(picA,picB)=PicOrderCnt(picA)-PicOrderCnt(picB)のように規定される。ビットストリームは、両端を含めて-215から215-1の範囲にない復号プロセスにおいて使用されるDiffPicOrderCnt(picA,picB)の値をもたらすデータを含まないものとする。Xを現在のピクチャとし、YおよびZを同じコーディングビデオシーケンス(CVS)の中の2つの他のピクチャであるものとすると、YおよびZは、DiffPicOrderCnt(X,Y)およびDiffPicOrderCnt(X,Z)がともに正であるとき、またはともに負であるとき、Xから同じ出力順序方向にあると考えられる。
【0134】
参照ピクチャリスト構築のための復号プロセスが論じられる。このプロセスは、非IRAPピクチャの各スライスに対する復号プロセスの最初に呼び出される。参照ピクチャは参照インデックスを通じてアドレス指定される。参照インデックスは参照ピクチャリストへのインデックスである。Iスライスを復号するとき、スライスデータの復号の際に参照ピクチャリストは使用されない。Pスライスを復号するとき、参照ピクチャリスト0(すなわち、RefPicList[0])だけがスライスデータの復号の際に使用される。Bスライスを復号するとき、参照ピクチャリスト0と参照ピクチャリスト1(すなわち、RefPicList[1])の両方がスライスデータの復号の際に使用される。非IRAPピクチャの各スライスに対する復号プロセスの最初において、参照ピクチャリストRefPicList[0]およびRefPicList[1]が導出される。参照ピクチャリストは、参照ピクチャのマーキングまたはスライスデータの復号において使用される。ピクチャの最初のスライスではない非IRAPピクチャのIスライスに対して、RefPicList[0]およびRefPicList[1]が、ビットストリーム適合性確認の目的で導出され得るが、それらの導出は、現在のピクチャまたは復号順序において現在のピクチャの後にあるピクチャの復号に必要ではない。ピクチャの最初のスライスではないPスライスに対して、RefPicList[1]が、ビットストリーム適合性確認の目的で導出され得るが、その導出は、現在のピクチャまたは復号順序において現在のピクチャの後にあるピクチャの復号に必要ではない。参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(PicOrderCntVal&(MaxLtPicOrderCntLsb-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照picAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(PicOrderCntVal&(MaxLtPicOrderCntLsb-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照picAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
【0135】
0または1に等しい各iに対して、次のことが当てはまる。RefPicList[i]の中の最初のNumRefIdxActive[i]エントリは、RefPicList[i]の中のアクティブエントリと呼ばれ、RefPicList[i]の中の他のエントリは、RefPicList[i]の中の非アクティブエントリと呼ばれる。両端を含めて、0からNumEntriesInList[i][RplsIdx[i]]-1の範囲にあるjに対するRefPicList[i][j]の中の各エントリは、lt_ref_pic_flag[i][RplsIdx[i]][j]が0に等しい場合STRPエントリと呼ばれ、それ以外の場合LTRPエントリと呼ばれる。特定のピクチャが、RefPicList[0]の中のエントリとRefPicList[1]の中のエントリの両方によって参照されることがあり得る。特定のピクチャが、RefPicList[0]の中の1つより多くのエントリまたはRefPicList[1]の中の1つより多くのエントリによって参照されることもあり得る。RefPicList[0]の中のアクティブエントリおよびRefPicList[1]の中のアクティブエントリは集合的に、現在のピクチャのインター予測のために使用され得るすべての参照ピクチャと、復号順序において現在のピクチャの後にある1つまたは複数のピクチャとを指す。RefPicList[0]の中の非アクティブエントリおよびRefPicList[1]の中の非アクティブエントリは、現在のピクチャのインター予測のために使用されないが復号順序において現在のピクチャの後にある1つまたは複数のピクチャのためのインター予測において使用され得る、すべての参照ピクチャを集合的に指す。対応するピクチャがDPBの中に存在しないので、「参照ピクチャなし」に等しい1つまたは複数のエントリがRefPicList[0]またはRefPicList[1]の中にあることがある。「参照ピクチャなし」に等しいRefPicList[0]またはRefPicList[0]の中の各非アクティブエントリは無視されるべきである。「参照ピクチャなし」に等しいRefPicList[0]またはRefPicList[1]の中の各アクティブエントリに対して、意図しないピクチャの喪失が推測されるべきである。
【0136】
次の制約が適用されることが、ビットストリーム適合の要件である。0または1に等しい各iに対して、NumEntriesInList[i][RplsIdx[i]]はNumRefIdxActive[i]未満ではないものとする。RefPicList[0]またはRefPicList[1]の中の各アクティブエントリによって参照されるピクチャは、DPBに存在するものとし、現在のピクチャ以下のTemporalIdを有するものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中のいずれの非アクティブエントリのエントリインデックスも、現在のピクチャの復号のための参照インデックスとして使用されないものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中の非アクティブエントリは、RefPicList[0]またはRefPicList[1]の中の他のエントリと同じピクチャを参照しないものとする。ピクチャのスライスのRefPicList[0]またはRefPicList[1]の中のSTRPエントリ、および同じスライスまたは同じピクチャの異なるスライスのRefPicList[0]もしくはRefPicList[1]の中のLTRPエントリは、同じピクチャを参照しないものとする。現在のピクチャ自体が、RefPicList[0]またはRefPicList[1]の中のいずれのエントリによっても参照されないものとする。現在のピクチャのPicOrderCntValとエントリによって参照されるピクチャのPicOrderCntValとの差が224以上であるLTRPエントリは、RefPicList[0]またはRefPicList[1]の中にないものとする。setOfRefPicsを、RefPicList[0]の中のすべてのエントリおよびRefPicList[1]の中のすべてのエントリによって参照される固有のピクチャのセットとする。setOfRefPicsの中のピクチャの数はsps_max_dec_pic_buffering_minus1以下であるものとし、setOfRefPicsはピクチャのすべてのスライスに対して同じであるものとする。
【0137】
参照ピクチャマーキングのための復号プロセス
【0138】
このプロセスは、スライスヘッダの復号と、スライスに対する参照ピクチャリスト構築のための復号プロセスの後で、しかしスライスデータの復号の前に、ピクチャごとに一度呼び出される。このプロセスにより、DPBの中の1つまたは複数の参照ピクチャが、「参照のために使用されない」または「長期参照のために使用される」とマークされるようになり得る。DPBの中の復号されたピクチャは、復号プロセスの動作の間の任意の所与の瞬間において、「参照のために使用されない」、「短期参照のために使用される」、または「長期参照のために使用される」ものとして、しかしこれら3つのうちの1つだけとしてマークされ得る。これらのマーキングのうちの1つをピクチャに割り当てることは、適用可能なときこれらのマーキングのうちの別のものを暗黙的に排除する。ピクチャが「参照のために使用される」とマークされるものとして参照されるとき、これは、ピクチャが「短期参照のために使用される」または「長期参照のために使用される」(しかし両方ではない)とマークされることを集合的に指す。現在のピクチャがIRAPピクチャであるとき、現在DPBの中にあるすべての参照ピクチャ(もしあれば)が、「参照のために使用されない」とマークされる。STRPは、それらのPicOrderCntVal値によって特定される。LTRPは、それらのPicOrderCntVal値のLog2(MaxLtPicOrderCntLsb)個のLSBによって特定される。次のことが当てはまる。RefPicList[0]またはRefPicList[1]の中の各LTRPエントリに対して、参照されるピクチャがSTRPであるとき、ピクチャは「長期参照のために使用される」とマークされる。RefPicList[0]またはRefPicList[1]の中のいずれのエントリによっても参照されないDPBの中の各参照ピクチャは、「参照のために使用されない」とマークされる。
【0139】
本開示の第2の実施形態の詳細な説明が与えられる。このセクションは、上で説明されたような本開示の第2の実施形態を詳細に記述する。説明は最新のVVC WDに対するものである。この実施形態では、参照ピクチャリスト構造の1つのセットがSPSにおいてシグナリングされ、参照ピクチャリスト0と参照ピクチャリスト1によって共有される。
【0140】
シーケンスパラメータセットRBSPシンタックス
【0141】
【表8】
【0142】
ピクチャパラメータセットRBSPシンタックス
【0143】
【表9】
【0144】
スライスヘッダシンタックス
【0145】
【表10】
【0146】
参照ピクチャリスト構造シンタックス
【0147】
【表11】
【0148】
NALユニットヘッダセマンティクスが論じられる。
【0149】
シーケンスパラメータセットRBSPセマンティクス
【0150】
log2_max_pic_order_cnt_lsb_minus4は、ピクチャ順序カウントのために復号プロセスにおいて使用される変数MaxPicOrderCntLsbの値を、MaxPicOrderCntLsb=2(log2_max_pic_order_cnt_lsb_minus4+4)として指定する。log2_max_pic_order_cnt_lsb_minus4の値は、両端を含めて0から12の範囲にあるものとする。sps_max_dec_pic_buffering_minus1に1を足したものは、ピクチャストレージバッファの単位で、CVSのための復号ピクチャバッファの最大の必要とされるサイズを指定する。sps_max_dec_pic_buffering_minus1の値は、両端を含めて0からMaxDpbSize-1の範囲にあるものとし、MaxDpbSizeは他の箇所で指定されるようなものである。num_ref_pic_lists_in_spsは、SPSに含まれるref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造の数を指定する。num_ref_pic_lists_in_spsの値は、両端を含めて0から128の範囲にあるものとする。デコーダは、全体でnum_short_term_ref_pic_sets+2個のref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造のためにメモリを割り振るべきであり、それは、現在のピクチャのスライスヘッダにおいて直接シグナリングされる2つのref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造があることがあるからである。0に等しいlong_term_ref_pics_flagは、CVSの中のいずれのコーディングされるピクチャのインター予測にもLTRPが使用されないことを指定する。1に等しいlong_term_ref_pics_flagは、CVSの中の1つまたは複数のコーディングされるピクチャのインター予測のためにLTRPが使用され得ることを指定する。additional_lt_poc_lsbは、参照ピクチャリストのための復号プロセスにおいて使用される変数MaxLtPicOrderCntLsbの値を、MaxLtPicOrderCntLsb=2(log2_max_pic_order_cnt_lsb_minus4+4+additional_lt_poc_lsb)として指定する。additional_lt_poc_lsbの値は、両端を含めて0から32-log2_max_pic_order_cnt_lsb_minus4-4の範囲にあるものとする。存在しないとき、additional_lt_poc_lsbの値は0に等しいと推測される。
【0151】
ピクチャパラメータセットRBSPセマンティクスが論じられる。
【0152】
スライスヘッダセマンティクス
【0153】
存在するとき、スライスヘッダシンタックス要素slice_pic_parameter_set_idおよびslice_pic_order_cnt_lsbの各々の値は、コーディングされたピクチャのすべてのスライスヘッダにおいて同じであるものとする。slice_typeはTable 7-3(表12)に従ってスライスのコーディングタイプを指定する。
【0154】
【表12】
【0155】
nal_unit_typeがIRAP_NUTに等しい、すなわちピクチャがIRAPピクチャであるとき、slice_typeは2に等しいものとする。slice_pic_order_cnt_lsbは、現在のピクチャに対するピクチャ順序カウントmodulo MaxPicOrderCntLsbを指定する。slice_pic_order_cnt_lsbシンタックス要素の長さは、log2_max_pic_order_cnt_lsb_minus4+4ビットである。slice_pic_order_cnt_lsbの値は、両端を含めて0からMaxPicOrderCntLsb-1の範囲にあるものとする。slice_pic_order_cnt_lsbが存在しないとき、slice_pic_order_cnt_lsbは0に等しいと推測される。1に等しいref_pic_list_sps_flag[i]は、現在のピクチャの参照ピクチャリストiが、アクティブSPSの中のref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造のうちの1つに基づいて導出されることを指定する。0に等しいref_pic_list_sps_flag[i]は、現在のピクチャの参照ピクチャリストiが、現在のピクチャのスライスヘッダに直接含まれる、ref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造に基づいて導出されることを指定する。num_ref_pic_lists_in_spsが0に等しいとき、ref_pic_list_sps_flag[i]の値は0に等しいものとする。ref_pic_list_idx[i]は、現在のピクチャの参照ピクチャリストiの導出のために使用されるref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造の、アクティブSPSに含まれるref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造のリストへのインデックスを指定する。シンタックス要素ref_pic_list_idx[i]は、Ceil(Log2(num_ref_pic_lists_in_sps))ビットによって表される。存在しないとき、ref_pic_list_idx[i]の値は0に等しいと推測される。ref_pic_list_idx[i]の値は、両端を含めて0からnum_ref_pic_lists_in_sps-1の範囲にあるものとする。1に等しいnum_ref_idx_active_override_flagは、シンタックス要素num_ref_idx_active_minus1[0]がPおよびBスライスに対して存在することと、シンタックス要素num_ref_idx_active_minus1[1]がBスライスに対して存在することとを指定する。0に等しいnum_ref_idx_active_override_flagは、シンタックス要素num_ref_idx_active_minus1[0]およびnum_ref_idx_active_minus1[1]が存在しないことを指定する。
【0156】
num_ref_idx_active_minus1[i]は、存在するとき、変数NumRefIdxActive[i]の値を、NumRefIdxActive[i]=num_ref_idx_active_minus1[i]+1のように指定する。num_ref_idx_active_minus1[i]の値は、両端を含めて0から14の範囲にあるものとする。NumRefIdxActive[i]-1の値は、スライスを復号するために使用され得る参照ピクチャリストiに対する最大参照インデックスを指定する。NumRefIdxActive[i]の値が0に等しいとき、参照ピクチャリストiに対する参照インデックスは、スライスを復号するために使用されないことがある。0または1に等しいiに対して、現在のスライスがBスライスであり、num_ref_idx_active_override_flagが0に等しいとき、NumRefIdxActive[i]は、num_ref_idx_default_active_minus1[i]+1に等しいと推測される。現在のスライスがPスライスであり、num_ref_idx_active_override_flagが0に等しいとき、NumRefIdxActive[0]は、num_ref_idx_default_active_minus1[0]+1に等しいと推測される。現在のスライスがPスライスであるとき、NumRefIdxActive[1]は0に等しいと推測される。現在のスライスがIスライスであるとき、NumRefIdxActive[0]とNumRefIdxActive[1]の両方が0に等しいと推測される。
【0157】
代替として、0または1に等しいiに対して、上記の後で次のことが当てはまる。rplsIdx1をref_pic_list_sps_flag[i]?ref_pic_list_idx[i]:num_ref_pic_lists_in_sps[i]に等しく設定されるものとし、numRpEntries[i]をnum_strp_entries[i][rplsIdx1]+num_ltrp_entries[i][rplsIdx1]に等しいものとする。NumRefIdxActive[i]がnumRpEntries[i]より大きいとき、NumRefIdxActive[i]の値はnumRpEntries[i]に等しく設定される。
【0158】
参照ピクチャリスト構造セマンティクス
【0159】
ref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造は、SPSまたはスライスヘッダに存在し得る。シンタックス構造がスライスヘッダに含まれるかSPSに含まれるかに応じて、次のことが当てはまる。スライスヘッダに存在する場合、ref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造は、現在のピクチャ(スライスを含むピクチャ)の参照ピクチャリストlistIdxを指定する。それ以外(SPSに存在する)の場合、ref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造は、参照ピクチャリスト候補を指定し、このセクションの残りにおいて指定されるセマンティクスにおける「現在のピクチャ」という用語は、1)SPSに含まれるref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造のリストへのインデックスに等しいref_pic_list_idx[i]を含む1つまたは複数のスライスを有し、2)アクティブSPSとしてSPSを有するCVSの中にある、各ピクチャを指す。num_strp_entries[rplsIdx]は、ref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造の中のSTRPエントリの数を指定する。num_ltrp_entries[rplsIdx]は、ref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造の中のLTRPエントリの数を指定する。存在しないとき、num_ltrp_entries[rplsIdx]の値は、0に等しいと推測される。
【0160】
変数NumEntriesInList[rplsIdx]は、NumEntriesInList[rplsIdx]=num_strp_entries[rplsIdx]+num_ltrp_entries[rplsIdx]のように導出される。NumEntriesInList[rplsIdx]の値は、両端を含めて0からsps_max_dec_pic_buffering_minus1の範囲にあるものとする。1に等しいlt_ref_pic_flag[rplsIdx][i]は、ref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造の中のi番目のエントリがLTRPエントリであることを指定する。0に等しいlt_ref_pic_flag[rplsIdx][i]は、ref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造の中のi番目のエントリがSTRPエントリであることを指定する。存在しないとき、lt_ref_pic_flag[rplsIdx][i]の値は0に等しいと推測される。両端を含めて0からNumEntriesInList[rplsIdx]-1の範囲にあるiのすべての値に対するlt_ref_pic_flag[rplsIdx][i]の合計は、num_ltrp_entries[rplsIdx]に等しくなければならないということが、ビットストリーム適合の要件である。delta_poc_st[rplsIdx][i]は、i番目のエントリがref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造の中の最初のSTRPエントリであるとき、現在のピクチャのピクチャ順序カウント値とi番目のエントリにより参照されるピクチャのピクチャ順序カウント値との差を指定し、または、i番目のエントリがSTRPエントリであるが、ref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造の中の最初のSTRPエントリではないとき、i番目のエントリにより参照されるピクチャのピクチャ順序カウント値とref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造の中の以前のSTRPエントリによって参照されるピクチャのピクチャ順序カウント値との差を指定する。delta_poc_st[rplsIdx][i]の値は、両端を含めて0から215-1の範囲にあるものとする。poc_lsb_lt[rplsIdx][i]は、ref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造の中のi番目のエントリによって参照されるピクチャのピクチャ順序カウントmodulo MaxLtPicOrderCntLsbの値を指定する。poc_lsb_lt[rplsIdx][i]シンタックス要素の長さは、Log2(MaxLtPicOrderCntLsb)ビットである。
【0161】
本開示の第1の実施形態の詳細な説明の一部として規定される一般的な復号プロセスが適用される。NALユニット復号プロセスが説明される。本開示の第1の実施形態の詳細な説明の一部として規定されるNALユニット復号プロセスが適用される。
【0162】
スライス復号プロセスが提供される。
【0163】
ピクチャ順序カウントのための復号プロセス
【0164】
本開示の第1の実施形態の詳細な説明の一部として規定されるピクチャ順序カウントのための復号プロセスが適用される。
【0165】
参照ピクチャリスト構築のための復号プロセス
【0166】
このプロセスは、非IRAPピクチャの各スライスのための復号プロセスの最初に呼び出される。参照ピクチャは参照インデックスを通じてアドレス指定される。参照インデックスは参照ピクチャリストへのインデックスである。Iスライスを復号するとき、参照ピクチャリストはスライスデータの復号において使用されない。Pスライスを復号するとき、スライスデータの復号において、参照ピクチャリスト0(すなわち、RefPicList[0])のみが使用される。Bスライスを復号するとき、スライスデータの復号において、参照ピクチャリスト0と参照ピクチャリスト1(すなわち、RefPicList[1])の両方が使用される。非IRAPピクチャの各スライスのための復号プロセスの最初において、参照ピクチャリストRefPicList[0]およびRefPicList[1]が導出される。参照ピクチャリストは、参照ピクチャのマーキングおよびスライスデータの復号において使用される。ピクチャの最初のスライスではない非IRAPピクチャのIスライスに対して、RefPicList[0]およびRefPicList[1]はビットストリーム適合性確認の目的で導出され得るが、それらの導出は、現在のピクチャまたは復号順序において現在のピクチャの後にあるピクチャの復号に必要ではない。ピクチャの最初のスライスではないPスライスに対して、RefPicList[1]が、ビットストリーム適合性確認の目的で導出され得るが、その導出は、現在のピクチャまたは復号順序において現在のピクチャの後にあるピクチャの復号に必要ではない。
【0167】
参照ピクチャリストRefPicList[0]およびRefPicList[1]が次のように構築される。
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps
for(j=0,pocBase=PicOrderCntVal;j< NumEntriesInList[RplsIdx[i]];j++){
if(!lt_ref_pic_flag[RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(PicOrderCntVal&(MaxLtPicOrderCntLsb-1)がpoc_lsb_lt[RplsIdx[i]][j]に等しい参照picAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps
for(j=0,pocBase=PicOrderCntVal;j< NumEntriesInList[RplsIdx[i]];j++){
if(!lt_ref_pic_flag[RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(PicOrderCntVal&(MaxLtPicOrderCntLsb-1)がpoc_lsb_lt[RplsIdx[i]][j]に等しい参照picAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
【0168】
0または1に等しい各iに対して、次のことが当てはまる。RefPicList[i]の中の最初のNumRefIdxActive[i]エントリは、RefPicList[i]の中のアクティブエントリと呼ばれ、RefPicList[i]の中の他のエントリは、RefPicList[i]の中の非アクティブエントリと呼ばれる。両端を含めて、0からNumEntriesInList[RplsIdx[i]]-1の範囲にあるjに対する各エントリRefPicList[i][j]は、lt_ref_pic_flag[RplsIdx[i]][j]が0に等しい場合STRPエントリと呼ばれ、それ以外の場合LTRPエントリと呼ばれる。特定のピクチャが、RefPicList[0]の中のエントリとRefPicList[1]の中のエントリの両方によって参照されることがあり得る。特定のピクチャが、RefPicList[0]の中の1つより多くのエントリまたはRefPicList[1]の中の1つより多くのエントリによって参照されることもあり得る。RefPicList[0]の中のアクティブエントリおよびRefPicList[1]の中のアクティブエントリは集合的に、現在のピクチャのインター予測のために使用され得るすべての参照ピクチャと、復号順序において現在のピクチャの後にある1つまたは複数のピクチャとを指す。RefPicList[0]の中の非アクティブエントリおよびRefPicList[1]の中の非アクティブエントリは、現在のピクチャのインター予測のために使用されないが復号順序において現在のピクチャの後にある1つまたは複数のピクチャのためのインター予測において使用され得る、すべての参照ピクチャを集合的に指す。対応するピクチャがDPBの中に存在しないので、「参照ピクチャなし」に等しい1つまたは複数のエントリがRefPicList[0]またはRefPicList[1]の中にあることがある。「参照ピクチャなし」に等しいRefPicList[0]またはRefPicList[1]の中の各非アクティブエントリは無視されるべきである。「参照ピクチャなし」に等しいRefPicList[0]またはRefPicList[1]の中の各アクティブエントリに対して、意図しないピクチャの喪失が推測されるべきである。
【0169】
次の制約が適用されることが、ビットストリーム適合の要件である。0または1に等しい各iに対して、NumEntriesInList[RplsIdx[i]]はNumRefIdxActive[i]未満ではないものとする。RefPicList[0]またはRefPicList[1]の中の各アクティブエントリによって参照されるピクチャは、DPBに存在するものとし、現在のピクチャ以下のTemporalIdを有するものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中のいずれの非アクティブエントリのエントリインデックスも、現在のピクチャの復号のための参照インデックスとして使用されないものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中の非アクティブエントリは、RefPicList[0]またはRefPicList[1]の中の他のエントリと同じピクチャを参照しないものとする。ピクチャのスライスのRefPicList[0]またはRefPicList[1]の中のSTRPエントリ、および同じスライスまたは同じピクチャの異なるスライスのRefPicList[0]もしくはRefPicList[1]の中のLTRPエントリは、同じピクチャを参照しないものとする。現在のピクチャ自体が、RefPicList[0]またはRefPicList[1]の中のいずれのエントリによっても参照されないものとする。現在のピクチャのPicOrderCntValとエントリによって参照されるピクチャのPicOrderCntValとの差が224以上であるLTRPエントリは、RefPicList[0]またはRefPicList[1]の中にないものとする。setOfRefPicsを、RefPicList[0]の中のすべてのエントリおよびRefPicList[1]の中のすべてのエントリによって参照される固有のピクチャのセットとする。setOfRefPicsの中のピクチャの数はsps_max_dec_pic_buffering_minus1以下であるものとし、setOfRefPicsはピクチャのすべてのスライスに対して同じであるものとする。
【0170】
参照ピクチャマーキングのための復号プロセスが論じられる。
【0171】
このプロセスは、スライスヘッダの復号と、スライスの参照ピクチャリスト構築のための復号プロセスの後で、しかしスライスデータの復号の前に、ピクチャごとに一度呼び出される。このプロセスにより、DPBの中の1つまたは複数の参照ピクチャが、「参照のために使用されない」または「長期参照のために使用される」とマークされるようになり得る。DPBの中の復号されたピクチャは、復号プロセスの動作の間の任意の所与の瞬間において、「参照のために使用されない」、「短期参照のために使用される」、または「長期参照のために使用される」ものとして、しかしこれら3つのうちの1つだけとしてマークされ得る。これらのマーキングのうちの1つをピクチャに割り当てることは、適用可能なときこれらのマーキングのうちの別のものを暗黙的に排除する。ピクチャが「参照のために使用される」とマークされるものとして参照されるとき、これは、ピクチャが「短期参照のために使用される」または「長期参照のために使用される」(しかし両方ではない)とマークされることを集合的に指す。現在のピクチャがIRAPピクチャであるとき、現在DPBの中にあるすべての参照ピクチャ(もしあれば)が、「参照のために使用されない」とマークされる。STRPは、それらのPicOrderCntVal値によって特定される。LTRPは、それらのPicOrderCntVal値のLog2(MaxLtPicOrderCntLsb)個のLSBによって特定される。
【0172】
次のことが当てはまる。RefPicList[0]またはRefPicList[1]の中の各LTRPエントリに対して、参照されるピクチャがSTRPであるとき、ピクチャは「長期参照のために使用される」とマークされる。RefPicList[0]またはRefPicList[1]の中のいずれのエントリによっても参照されないDPBの中の各参照ピクチャは、「参照のために使用されない」とマークされる。
【0173】
図5は、ビデオデコーダ(たとえば、ビデオデコーダ30)によって実施されるコーディングされたビデオビットストリームを復号する方法500の実施形態である。方法500は、復号されたビットストリームがビデオエンコーダ(たとえば、ビデオエンコーダ20)から直接または間接的に受信された後で実行され得る。方法500は、復号プロセスを改善する(たとえば、復号プロセスを従来の復号プロセスよりも効率的にする、高速にするなど)ために実行されてもよく、それは、すべてのタイプのスライスに対して参照ピクチャリスト構造がコーディングされたビデオビットストリームに含まれるからである。したがって、実際に、コーデックの性能を改善することができ、これはより良いユーザ体験につながる。
【0174】
ブロック502において、コーディングされたビデオビットストリームにおいて表される第1の参照ピクチャリスト構造および第2の参照ピクチャリスト構造が取得される。ある実施形態では、第1の参照ピクチャリスト構造および第2の参照ピクチャリスト構造は、コーディングされたビデオビットストリームを構文解析することによって取得される。
【0175】
ある実施形態では、第1の参照ピクチャリスト構造および第2の参照ピクチャリスト構造の中のエントリの順序は、参照ピクチャリストの中の対応する参照ピクチャの順序と同じである。ある実施形態では、順序は0から示される値までである。ある実施形態では、示される値は、0からsps_max_dec_pic_buffering_minus1によって示される値までである。
【0176】
ブロック504において、現在のスライスの第1の参照ピクチャリストおよび現在のスライスの第2の参照ピクチャリストが、第1の参照ピクチャリスト構造および第2の参照ピクチャリスト構造に基づいて導出される。ある実施形態では、第1および第2の参照ピクチャリストは、双予測または双方向(B)スライスだけのためではなく、すべてのタイプのスライスのために導出される。ある実施形態では、現在のスライスは、イントラ(I)スライスまたは単予測(P)スライスを備える。ある実施形態では、参照ピクチャリストは、RefPictList[0]またはRefPictList[1]と呼ばれる。
【0177】
ブロック506において、第1の参照ピクチャリストおよび第2の参照ピクチャリストの導出に続いて、現在のスライスの少なくとも1つの再構築されたブロックが取得される。ある実施形態では、電子デバイスのディスプレイに表示される画像を生成するために、少なくとも1つの再構築されたブロックが使用される。
【0178】
ある実施形態では、参照ピクチャリストは、インター予測のために使用される参照ピクチャのリストを備える。ある実施形態では、インター予測はPスライスまたはBスライスのためのものである。
【0179】
ある実施形態では、スライスヘッダは、ref_pic_list_sps_flag[i]と呼ばれる参照ピクチャリストシーケンスパラメータセット(SPS)フラグを含む。このフラグが1に等しいとき、第iの参照ピクチャリスト、すなわちRefPictList[i]は、スライスヘッダにおいて直接シグナリングされず、SPSから参照される。このフラグが0に等しいとき、第iの参照ピクチャリスト、すなわちRefPictList[i]は、スライスヘッダにおいて直接シグナリングされ、SPSから参照されない。ある実施形態では、スライスヘッダは、num_ref_idx_active_override_flagによって指定される番号参照インデックスアクティブ上書きフラグを含む。このフラグが1に等しいとき、各参照ピクチャリストの中のアクティブエントリの数は、PPSにおいてシグナリングされるデフォルトの値である。このフラグが0に等しいとき、各参照ピクチャリストの中のアクティブエントリの数は、スライスヘッダにおいて明示的にシグナリングされる。
【0180】
ある実施形態では、参照ピクチャリストはRefPictList[0]またはRefPictList[1]と呼ばれ、第1の参照ピクチャリスト構造または第2の参照ピクチャリストシンタックス構造の中のエントリの順序は、参照ピクチャリストの中の対応する参照ピクチャの順序と同じである。
【0181】
第1および第2の実施形態に基づく代替的な実施形態の概要が提供される。
【0182】
このセクションは、本開示の他の代替的な実施形態の簡単な概要を提供する。概要は、第1の実施形態の説明に対するものである。しかしながら、以下の代替的な実施形態に対する本開示の基本的な概念は、第2の実施形態に対する開示に加えて実装形態に対して適用可能である。そのような実装形態は、態様が第1の実施形態に加えてどのように実装されるかということと同じ趣旨である。
【0183】
短期参照ピクチャエントリのデルタPOCのセマンティクス
【0184】
本開示の1つの代替的な実施形態では、参照ピクチャリスト構造ref_pic_list_struct()の中のi番目のエントリのデルタPOCを指定するシンタックス要素のセマンティクスは、現在のピクチャとそのi番目のエントリと関連付けられる参照ピクチャとのPOC差分として定義される。本明細書で使用される記述の一部は、現在の標準的なドラフト(たとえば、VVCワーキングドラフト)に対する相対的なものであり、差分のみが示され、または説明される。削除されたテキストが取り消し線によって示され、あらゆる追加されるテキストが強調される。
【0185】
delta_poc_st[listIdx][rplsIdx][i]のセマンティクスは次のように定義される。delta_poc_st[listIdx][rplsIdx][i]は、現在のピクチャのピクチャ順序カウント値とi番目のエントリによって参照されるピクチャのピクチャ順序カウント値との差を指定する。delta_poc_st[listIdx][rplsIdx][i]の値は、両端を含めて-215から215-1の範囲にあるものとする。
【0186】
参照ピクチャリスト構築プロセスにおける式が更新される必要がある。参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
for(j=0;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=PicOrderCntVal-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}else{
if(PicOrderCntVal&(MaxLtPicOrderCntLsb-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照picAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
for(j=0;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=PicOrderCntVal-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}else{
if(PicOrderCntVal&(MaxLtPicOrderCntLsb-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照picAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
【0187】
長期参照ピクチャエントリのシグナリング
【0188】
本開示の1つの代替的な実施形態では、短期参照ピクチャエントリを含む同じ参照ピクチャリスト構造において、長期参照ピクチャエントリはシグナリングされない。長期参照ピクチャエントリは別個の構造においてシグナリングされ、構造の中の各エントリに対して、最終的な参照ピクチャリストにおける対応するエントリインデックスの導出のための、長期参照ピクチャエントリの意図される位置を記述するシンタックス要素がある。
【0189】
シーケンスパラメータセットRBSPシンタックス
【0190】
【表13】
【0191】
スライスヘッダシンタックス
【0192】
【表14】
【0193】
参照ピクチャリスト構造シンタックス
【0194】
【表15】
【0195】
長期参照ピクチャリスト構造シンタックス
【0196】
【表16】
【0197】
シーケンスパラメータセットRBSPセマンティクス
【0198】
num_ref_pic_lists_lt_in_spsは、SPSに含まれるref_pic_list_lt_struct(ltRplsIdx)シンタックス構造の数を指定する。num_ref_pic_lists_lt_in_spsの値は、両端を含めて0から64の範囲にあるものとする。存在しないとき、num_ref_pic_lists_lt_in_spsの値は0に等しいと推測される。
【0199】
スライスヘッダセマンティクス
【0200】
ref_pic_list_lt_idx[i]は、現在のピクチャの参照ピクチャリストiの導出のために使用される、アクティブSPSに含まれるref_pic_list_lt_struct(ltRplsIdx)シンタックス構造のリストへのインデックスを指定する。シンタックス要素ref_pic_list_lt_idx[i]は、Ceil(Log2(num_ref_pic_lists_lt_in_sps))ビットによって表される。ref_pic_list_lt_idxの値は、両端を含めて0からnum_ref_pic_lists_lt_in_sps-1の範囲にあるものとする。
【0201】
参照ピクチャリスト構造セマンティクス
【0202】
ref_pic_list_struct(listIdx,rplsIdx)シンタックス構造は、SPSまたはスライスヘッダに存在し得る。シンタックス構造がスライスヘッダに含まれるかSPSに含まれるかに応じて、次のことが当てはまる。スライスヘッダに存在する場合、ref_pic_list_struct(listIdx,rplsIdx)シンタックス構造は、現在のピクチャ(スライスを含むピクチャ)の参照ピクチャリストlistIdxを指定する。それ以外(SPSに存在する)の場合、ref_pic_list_struct(listIdx,rplsIdx)シンタックス構造は、短期参照ピクチャリストlistIdxに対する候補を指定し、このセクションの残りにおいて指定されるセマンティクスにおける「現在のピクチャ」という用語は、1)SPSに含まれるref_pic_list_struct(listIdx,rplsIdx)シンタックス構造のリストへのインデックスに等しいref_pic_list_idx[listIdx]を含む1つまたは複数のスライスを有し、2)アクティブSPSとしてSPSを有するCVSの中にある、各ピクチャを指す。num_strp_entries[listIdx][rplsIdx]は、ref_pic_list_struct(listIdx,rplsIdx)シンタックス構造の中のSTRPエントリの数を指定する。
【0203】
delta_poc_st[listIdx][rplsIdx][i]は、i番目のエントリがref_pic_list_struct(listIdx,rplsIdx)シンタックス構造の中の最初のSTRPエントリであるとき、現在のピクチャのピクチャ順序カウント値とi番目のエントリにより参照されるピクチャのピクチャ順序カウント値との差を指定し、または、i番目のエントリがSTRPエントリであるが、ref_pic_list_struct(listIdx,rplsIdx)シンタックス構造の中の最初のSTRPエントリではないとき、i番目のエントリにより参照されるピクチャのピクチャ順序カウント値とref_pic_list_struct(listIdx,rplsIdx)シンタックス構造の中の以前のSTRPエントリによって参照されるピクチャのピクチャ順序カウント値との差を指定する。delta_poc_st[listIdx][rplsIdx][i]の値は、両端を含めて-215から215-1の範囲にあるものとする。
【0204】
長期参照ピクチャリスト構造セマンティクス
【0205】
ref_pic_list_lt_struct(ltRplsIdx)シンタックス構造は、SPSまたはスライスヘッダに存在し得る。シンタックス構造がスライスヘッダに含まれるかSPSに含まれるかに応じて、次のことが当てはまる。スライスヘッダに存在する場合、ref_pic_list_lt_struct(ltRplsIdx)シンタックス構造は、現在のピクチャ(スライスを含むピクチャ)の長期参照ピクチャリストを指定する。それ以外(SPSに存在する)の場合、ref_pic_list_struct(listIdx,rplsIdx)シンタックス構造は、長期参照ピクチャリストに対する候補を指定し、このセクションの残りにおいて指定されるセマンティクスにおける「現在のピクチャ」という用語は、1)SPSに含まれるref_pic_list_lt_struct(ltRplsIdx)シンタックス構造のリストへのインデックスに等しいref_pic_list_lt_idx[i]を含む1つまたは複数のスライスを有し、2)アクティブSPSとしてSPSを有するCVSの中にある、各ピクチャを指す。num_ltrp_entries[ltRplsIdx]は、ref_pic_list_lt_struct(ltRplsIdx)シンタックス構造の中のLTRPエントリの数を指定する。poc_lsb_lt[rplsIdx][i]は、ref_pic_list_lt_struct(rplsIdx)シンタックス構造の中のi番目のエントリによって参照されるピクチャのピクチャ順序カウントmodulo MaxLtPicOrderCntLsbの値を指定する。poc_lsb_lt[rplsIdx][i]シンタックス要素の長さは、Log2(MaxLtPicOrderCntLsb)ビットである。lt_pos_idx[rplsIdx][i]は、参照ピクチャリスト構築の後の参照ピクチャリストにおけるref_pic_list_lt_struct(rplsIdx)シンタックス構造の中のi番目のエントリのインデックスを指定する。lt_pos_idx[rplsIdx][i]シンタックス要素の長さは、Log2(sps_max_dec_pic_buffering_minus1+1)ビットである。num_ltrp_entries[ltRplsIdx]が1より大きいとき、poc_lsb_lt[rplsIdx][i]およびlt_pos_idx[rplsIdx][i]は、lt_pos_idx[rplsIdx][i]値の降順であるものとする。
【0206】
復号プロセスが説明される。
【0207】
参照ピクチャリスト構築のための復号プロセス
【0208】
このプロセスは、非IRAPピクチャの各スライスに対する復号プロセスの最初に呼び出される。参照ピクチャは参照インデックスを通じてアドレス指定される。参照インデックスは参照ピクチャリストへのインデックスである。Iスライスを復号するとき、スライスデータの復号の際に参照ピクチャリストは使用されない。Pスライスを復号するとき、参照ピクチャリスト0(すなわち、RefPicList[0])だけがスライスデータの復号の際に使用される。Bスライスを復号するとき、参照ピクチャリスト0と参照ピクチャリスト1(すなわち、RefPicList[1])の両方がスライスデータの復号の際に使用される。非IRAPピクチャの各スライスに対する復号プロセスの最初において、参照ピクチャリストRefPicList[0]およびRefPicList[1]が導出される。参照ピクチャリストは、参照ピクチャのマーキングまたはスライスデータの復号において使用される。ピクチャの最初のスライスではない非IRAPピクチャのIスライスに対して、RefPicList[0]およびRefPicList[1]が、ビットストリーム適合性確認の目的で導出され得るが、それらの導出は、現在のピクチャまたは復号順序において現在のピクチャの後にあるピクチャの復号に必要ではない。ピクチャの最初のスライスではないPスライスに対して、RefPicList[1]が、ビットストリーム適合性確認の目的で導出され得るが、その導出は、現在のピクチャまたは復号順序において現在のピクチャの後にあるピクチャの復号に必要ではない。参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}
if(ref_pic_list_lt_sps_flag[i])
LtRplsIdx=ref_pic_list_lt_idx[i]
else
LtRplsIdx=num_ref_pic_lists_lt_in_sps[i]
for(j=0;j<num_ltrp_entries[LtRplsIdx[i]];j++){
if(PicOrderCntVal&(MaxLtPicOrderCntLsb-1)がpoc_lsb_lt[LtRplsIdx[i]][j]に等しい参照picAがDPBの中にある)
for(k=sps_max_dec_pic_buffering_minus1;k>lt_pos_idx[LtRplsIdx[i]][j];k--)
RefPicList[i][k]=RefPicList[i][k-1]
RefPicList[i][lt_pos_idx[LtRplsIdx[i]][j]]=picA
}else{
for(k=sps_max_dec_pic_buffering_minus1;k>lt_pos_idx[LtRplsIdx[i]][j];k--)
RefPicList[i][k]=RefPicList[i][k-1]
RefPicList[i][lt_pos_idx[RplsIdx[i]][j]]="参照ピクチャなし"
}
}
}
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}
if(ref_pic_list_lt_sps_flag[i])
LtRplsIdx=ref_pic_list_lt_idx[i]
else
LtRplsIdx=num_ref_pic_lists_lt_in_sps[i]
for(j=0;j<num_ltrp_entries[LtRplsIdx[i]];j++){
if(PicOrderCntVal&(MaxLtPicOrderCntLsb-1)がpoc_lsb_lt[LtRplsIdx[i]][j]に等しい参照picAがDPBの中にある)
for(k=sps_max_dec_pic_buffering_minus1;k>lt_pos_idx[LtRplsIdx[i]][j];k--)
RefPicList[i][k]=RefPicList[i][k-1]
RefPicList[i][lt_pos_idx[LtRplsIdx[i]][j]]=picA
}else{
for(k=sps_max_dec_pic_buffering_minus1;k>lt_pos_idx[LtRplsIdx[i]][j];k--)
RefPicList[i][k]=RefPicList[i][k-1]
RefPicList[i][lt_pos_idx[RplsIdx[i]][j]]="参照ピクチャなし"
}
}
}
【0209】
0または1に等しい各iに対して、次のことが当てはまる。RefPicList[i]の中の最初のNumRefIdxActive[i]エントリは、RefPicList[i]の中のアクティブエントリと呼ばれ、RefPicList[i]の中の他のエントリは、RefPicList[i]の中の非アクティブエントリと呼ばれる。両端を含めて、0からNumEntriesInList[i][RplsIdx[i]]-1の範囲にあるjに対するRefPicList[i][j]の中の各エントリは、lt_ref_pic_flag[i][RplsIdx[i][j]]が0に等しい場合STRPエントリと呼ばれ、それ以外の場合LTRPエントリと呼ばれる。特定のピクチャが、RefPicList[0]の中のエントリとRefPicList[1]の中のエントリの両方によって参照されることがあり得る。特定のピクチャが、RefPicList[0]の中の1つより多くのエントリまたはRefPicList[1]の中の1つより多くのエントリによって参照されることもあり得る。RefPicList[0]の中のアクティブエントリおよびRefPicList[1]の中のアクティブエントリは集合的に、現在のピクチャのインター予測のために使用され得るすべての参照ピクチャと、復号順序において現在のピクチャの後にある1つまたは複数のピクチャとを指す。RefPicList[0]の中の非アクティブエントリおよびRefPicList[1]の中の非アクティブエントリは、現在のピクチャのインター予測のために使用されないが復号順序において現在のピクチャの後にある1つまたは複数のピクチャのためのインター予測において使用され得る、すべての参照ピクチャを指す。対応するピクチャがDPBの中に存在しないので、「参照ピクチャなし」に等しい1つまたは複数のエントリがRefPicList[0]またはRefPicList[1]の中にあることがある。「参照ピクチャなし」に等しいRefPicList[0]またはRefPicList[0]の中の各非アクティブエントリは無視されるべきである。「参照ピクチャなし」に等しいRefPicList[0]またはRefPicList[1]の中の各アクティブエントリに対して、意図しないピクチャの喪失が推測されるべきである。
【0210】
次の制約が適用されることが、ビットストリーム適合の要件である。0または1に等しい各iに対して、RefPicList[i]の中のエントリの数はNumRefIdxActive[i]未満ではないものとする。RefPicList[0]またはRefPicList[1]の中の各アクティブエントリによって参照されるピクチャは、DPBに存在するものとし、現在のピクチャ以下のTemporalIdを有するものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中の非アクティブエントリのエントリインデックスは、現在のピクチャの復号のための参照インデックスとして使用されないものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中の非アクティブエントリは、RefPicList[0]またはRefPicList[1]の中の他のエントリと同じピクチャを参照しないものとする。ピクチャのスライスのRefPicList[0]またはRefPicList[1]の中のSTRPエントリ、および同じスライスまたは同じピクチャの異なるスライスのRefPicList[0]もしくはRefPicList[1]の中のLTRPエントリは、同じピクチャを参照しないものとする。現在のピクチャ自体が、RefPicList[0]またはRefPicList[1]の中のいずれのエントリによっても参照されないものとする。現在のピクチャのPicOrderCntValとエントリによって参照されるピクチャのPicOrderCntValとの差が224以上であるLTRPエントリは、RefPicList[0]またはRefPicList[1]の中にないものとする。setOfRefPicsを、RefPicList[0]の中のすべてのエントリおよびRefPicList[1]の中のすべてのエントリによって参照される固有のピクチャのセットとする。setOfRefPicsの中のピクチャの数はsps_max_dec_pic_buffering_minus1以下であるものとし、setOfRefPicsはピクチャのすべてのスライスに対して同じであるものとする。
【0211】
短期参照ピクチャエントリの数のシグナリングが論じられる。
【0212】
本開示の1つの代替的な実施形態では、参照ピクチャリスト構造ref_pic_list_struct()の中の短期参照ピクチャと関連付けられるエントリの数を指定するシンタックス要素は、num_strp_entries[listIdx][rplsIdx]ではなくnum_strp_entries_minus1[listIdx][rplsIdx]として定義される。この変更は、参照ピクチャリストのシグナリングに対して2つの効果を有する。すなわち、これは、要素がue(v)を使用してコーディングされるので、参照ピクチャリスト構造の中の短期参照ピクチャと関連付けられるエントリの数をシグナリングするためのビットを節約し得る。これは、各参照ピクチャリストが少なくとも1つの短期参照ピクチャを含むものとするという制約を暗黙的に課す。この案に対処するには、第1の実施形態に対するいくつかの変更が必要である。
【0213】
スライスヘッダにおける参照ピクチャリストシグナリングのために、必要な参照ピクチャリスト、すなわち、IまたはPスライスに対する1つの参照ピクチャリスト(すなわち、参照ピクチャリスト0)およびBスライスに対する2つの参照ピクチャリスト(すなわち、参照ピクチャリスト0と参照ピクチャリスト1の両方)が、スライスタイプに従ってシグナリングされる。スライスヘッダシンタックスは次のように変更される。
【0214】
【表17】
【0215】
スライスヘッダの上記の変更を適用することによって(すなわち、IまたはPスライスに対する参照ピクチャリスト0、Bスライスに対する参照ピクチャ0および参照ピクチャ1)、この方式において、Pスライスに対して1つの短期参照ピクチャしかないという問題が避けられる。しかしながら、重複した短期参照ピクチャを、参照ピクチャリスト0および参照ピクチャリスト1においてシグナリングすることはできず、参照ピクチャリスト1の中のアクティブエントリの数は0に等しくなければならないので、参照ピクチャリスト1の中のエントリは非アクティブエントリである。num_strp_entries_minus1[listIdx][rplsIdx]のセマンティクスは次のように変更される。num_strp_entries_minus1[listIdx][rplsIdx]に1を足したものが、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の中のSTRPエントリの数を指定する。変数NumEntriesInList[listIdx][rplsIdx]は、NumRefPicEntriesInRpl[listIdx][rplsIdx]=num_strp_entries_minus1[listIdx][rplsIdx]+1+numb_ltrp_entries[listIdx][rplsIdx]のように導出される。NumRefPicEntries[listIdx][rplsIdx]の値は、両端を含めて1からsps_max_dec_pic_buffering_minus1の範囲にあるものとする。
【0216】
参照ピクチャリストに現在のピクチャを含めるのを許容すること
【0217】
本開示の1つの代替的な実施形態では、現在のピクチャは、その参照ピクチャリストに含まれることが許容される。この特徴をサポートするために、第1および第2の実施形態の記述に対して必要なシンタックスおよびセマンティクスの変更はない。しかしながら、参照ピクチャリスト構築のための復号プロセスにおいて説明されるビットストリーム適合性の制約は、次のように修正される必要がある。次の制約が適用されることが、ビットストリーム適合の要件である。0または1に等しい各iに対して、NumEntriesInList[i][RplsIdx[i]]はNumRefIdxActive[i]未満ではないものする。RefPicList[0]またはRefPicList[1]の中の各アクティブエントリによって参照されるピクチャは、DPBに存在するものとし、現在のピクチャ以下のTemporalIdを有するものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中のいずれの非アクティブエントリのエントリインデックスも、現在のピクチャの復号のための参照インデックスとして使用されないものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中の非アクティブエントリは、RefPicList[0]またはRefPicList[1]の中の他のエントリと同じピクチャを参照しないものとする。ピクチャのスライスのRefPicList[0]またはRefPicList[1]の中のSTRPエントリ、および同じスライスまたは同じピクチャの異なるスライスのRefPicList[0]もしくはRefPicList[1]の中のLTRPエントリは、同じピクチャを参照しないものとする。現在のピクチャがRefPicList[i]の中のエントリによって参照されるとき、0または1に等しいiに対して、エントリインデックスはNumRefIdxActive[i]未満であるものとする。現在のピクチャのPicOrderCntValとエントリによって参照されるピクチャのPicOrderCntValとの差が224以上であるLTRPエントリは、RefPicList[0]またはRefPicList[1]の中にないものとする。setOfRefPicsを、RefPicList[0]の中のすべてのエントリおよびRefPicList[1]の中のすべてのエントリによって参照される固有のピクチャのセットとする。現在のピクチャがsetOfRefPicsに含まれない場合、setOfRefPicsの中のピクチャの数はsps_max_dec_pic_buffering_minus1以下であるものとし、それ以外の場合、setOfRefPicsの中のピクチャの数はsps_max_dec_pic_buffering_minus1+1以下であるものとする。setOfRefPicsはピクチャのすべてのスライスに対して同じであるものとする。
【0218】
参照ピクチャリストの中のLTRPエントリに対して異なるPOC LSBビットを使用すること
【0219】
本開示の1つの代替的な実施形態では、参照ピクチャリスト構造の中の長期参照ピクチャを特定するために使用されるビットの数は、参照ピクチャリスト0と参照ピクチャリスト1との差であることが許容される。この特徴をサポートするために、次の変更が必要である。
【0220】
【表18】
【0221】
additional_lt_poc_lsb[i]は、iに等しい参照ピクチャリストlistIdxに対する復号プロセスにおいて使用される変数MaxLtPicOrderCntLsb[i]の値を、MaxLtPicOrderCntLsb[i]=2(log2_max_pic_order_cnt_lsb_minus4+4+additional_lt_poc_lsb[i])のように指定する。additional_lt_poc_lsb[i]の値は、両端を含めて0から32-log2_max_pic_order_cnt_lsb_minus4-4の範囲にあるものとする。存在しないとき、additional_lt_poc_lsb[i]の値は0に等しいと推測される。
【0222】
poc_lsb_lt[listIdx][rplsIdx][i]は、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の中のi番目のエントリによって参照されるピクチャのピクチャ順序カウントmodulo MaxLtPicOrderCntLsb[listIdx]の値を指定する。poc_lsb_lt[listIdx][rplsIdx][i]シンタックス要素の長さは、Log2(MaxLtPicOrderCntLsb[listIdx])ビットである。
【0223】
参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]である参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(PicOrderCntVal&(MaxLtPicOrderCntLsb[i]-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照picAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]である参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(PicOrderCntVal&(MaxLtPicOrderCntLsb[i]-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照picAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
【0224】
参照ピクチャリスト0および1に対して同じref_pic_list_sps_flagを使用すること
【0225】
本開示の1つの代替的な実施形態では、参照ピクチャリスト0および参照ピクチャリスト1がアクティブSPSの中のref_pic_list_struct()シンタックス構造に基づいて導出されるかどうかを示すために2つのフラグを使用する代わりに、両方の参照ピクチャのために1つのフラグが使用される。そのような代替形態には、両方の参照ピクチャリストがアクティブSPSの中のref_pic_list_struct()に基づいて導出されること、または、それらが現在のピクチャのスライスヘッダに直接含まれるref_pic_list_struct()シンタックス構造に基づいて導出されることという、いずれかの制約がある。この特徴をサポートするために、以下の変更が必要である。
【0226】
【表19】
【0227】
1に等しいref_pic_list_sps_flagは、現在のピクチャの参照ピクチャリストが、アクティブSPSの中のref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)に基づいて導出されることを指定する。0に等しいref_pic_list_sps_flagは、現在のピクチャの参照ピクチャリストが現在のピクチャのスライスヘッダに直接含まれるref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)に基づいて導出されることを指定する。num_ref_pic_lists_in_sps[0]またはnum_ref_pic_lists_in_sps[1]のいずれかが0に等しいとき、ref_pic_list_sps_flagの値は0に等しいものとする。pic_lists_in_sps[1]が0に等しいとき、ref_pic_list_sps_flagの値は0に等しいものとする。
【0228】
参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag)
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(PicOrderCntVal&(MaxLtPicOrderCntLsb-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照picAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag)
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(PicOrderCntVal&(MaxLtPicOrderCntLsb-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照picAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
【0229】
長期参照ピクチャエントリのためのデルタPOC最上位ビット(MSB)のシグナリング
【0230】
本開示の1つの代替的な実施形態において、ref_pic_list_struct()の中の長期参照ピクチャエントリのPOC LSBを表すために追加のビットを使用するのではなく、長期参照ピクチャを区別するためにPOC MSBサイクルがシグナリングされる。シグナリングされるとき、POC MSBサイクル情報は、長期参照ピクチャを参照するref_pic_list_struct()の中の各エントリに対してシグナリングされる。ref_pic_list_struct()シンタックス構造は、SPSにおいてシグナリングされず、スライスヘッダにおいてのみシグナリングされる。この特徴をサポートするために、次の変更が必要である。
【0231】
【表20】
【0232】
【表21】
【0233】
【表22】
【0234】
ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造は、スライスヘッダに存在し得る。スライスヘッダに存在するとき、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造は、現在のピクチャ(スライスを含むピクチャ)の参照ピクチャリストlistIdxを指定する。num_strp_entries[listIdx]は、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中のSTRPエントリの数を指定する。num_ltrp_entries[listIdx]は、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中のLTRPエントリの数を指定する。存在しないとき、num_ltrp_entries[listIdx][rplsIdx]の値は0に等しいと推測される。
【0235】
変数NumEntriesInList[listIdx]は次のように導出される。
NumRefPicEntriesInRpl[listIdx]=num_strp_entries[listIdx]+num_ltrp_entries[listIdx]のように導出される。
NumRefPicEntriesInRpl[listIdx]=num_strp_entries[listIdx]+num_ltrp_entries[listIdx]のように導出される。
【0236】
NumRefPicEntries[listIdx]の値は、両端を含めて0からsps_max_dec_pic_buffering_minus1の範囲にあるものとする。1に等しいlt_ref_pic_flag[listIdx][i]は、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中のi番目のエントリがLTRPエントリであることを指定する。0に等しいlt_ref_pic_flag[listIdx][i]は、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中のi番目のエントリがSTRPエントリであることを指定する。存在しないとき、lt_ref_pic_flag[listIdx][i]の値は0に等しいと推測される。両端を含めて0からNumRefPicEntries[listIdx]-1の範囲にあるiのすべての値に対するlt_ref_pic_flag[listIdx][i]の合計は、num_ltrp_entries[listIdx]に等しくなければならないということが、ビットストリーム適合の要件である。delta_poc_st[listIdx][i]は、i番目のエントリがref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中の最初のSTRPエントリであるとき、現在のピクチャのピクチャ順序カウント値とi番目のエントリにより参照されるピクチャのピクチャ順序カウント値との差を指定し、または、i番目のエントリがSTRPエントリであるが、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中の最初のSTRPエントリではないとき、i番目のエントリにより参照されるピクチャのピクチャ順序カウント値とref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中の以前のSTRPエントリによって参照されるピクチャのピクチャ順序カウント値との差を指定する。delta_poc_st[listIdx][i]の値は、両端を含めて-215から215-1の範囲にあるものとする。poc_lsb_lt[listIdx][i]は、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中のi番目のエントリによって参照されるピクチャのピクチャ順序カウントmodulo MaxLtPicOrderCntLsbの値を指定する。poc_lsb_lt[listIdx][i]シンタックス要素の長さは、Log2(MaxPicOrderCntLsb)ビットである。1に等しいdelta_poc_msb_present_flag[listIdx][i]は、delta_poc_msb_cycle_lt[listIdx][i]が存在することを指定する。0に等しいdelta_poc_msb_present_flag[listIdx][i]は、delta_poc_msb_cycle_lt[listIdx][i]が存在しないことを指定する。num_ltrp_entries[listIdx]が0より大きく、このスライスヘッダが復号されるときに、PicOrderCntVal modulo MaxPicOrderCntLsbがpoc_lsb_lt[listIdx][i]に等しい参照ピクチャがDPBの中に1つより多くあるとき、delta_poc_msb_present_flag[listIdx][i]は1に等しいものとする。存在しないとき、delta_poc_msb_cycle_lt[listIdx][i]の値は0に等しいと推測される。delta_poc_msb_cycle_lt[listIdx][i]は、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中のi番目のエントリのピクチャ順序カウント値の最上位ビットの値を決定するために使用される。delta_poc_msb_cycle_lt[listIdx][i]が存在しないとき、それは0に等しいと推測される。ピクチャ順序カウントのための復号プロセスに対する変更:
【0237】
参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i];j++){
if(!lt_ref_pic_flag[i][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(delta_poc_msb_cycle_lt[i][j]が0に等しい&&
PicOrderCntVal&(MaxPicOrderCntLsb-1)がpoc_lsb_lt[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else if(delta_poc_msb_cycle_lt[i][j]が1に等しい&&
PicOrderCntValが(MaxPicOrderCntLsb*delta_poc_msb_cycle_lt[i][j])+poc_lsb_lt[i][j])に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
for(i=0;i<2;i++){
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i];j++){
if(!lt_ref_pic_flag[i][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(delta_poc_msb_cycle_lt[i][j]が0に等しい&&
PicOrderCntVal&(MaxPicOrderCntLsb-1)がpoc_lsb_lt[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else if(delta_poc_msb_cycle_lt[i][j]が1に等しい&&
PicOrderCntValが(MaxPicOrderCntLsb*delta_poc_msb_cycle_lt[i][j])+poc_lsb_lt[i][j])に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
【0238】
代替的に、delta_poc_msb_cycle_lt[listIdx][i]のセマンティクスは、参照ピクチャリスト構築が以下のように更新され得るように差分の差分として表現され得る。参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
prevMsbCycle=0
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i];j++){ (8-5)
if(!lt_ref_pic_flag[i][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(delta_poc_msb_cycle_lt[i][j]が0に等しい&&
PicOrderCntVal&(MaxPicOrderCntLsb-1)がpoc_lsb_lt[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else if(delta_poc_msb_cycle_lt[i][j]が1に等しい&&
PicOrderCntValが(MaxPicOrderCntLsb*(delta_poc_msb_cycle_lt[i][j]+ prevMsbCycle))+poc_lsb_lt[i][j])に等しい参照picAがDPBの中にある){
RefPicList[i][j]=picA
prevMsbCycle+=delta_poc_msb_cycle_lt[i][j]
}else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
for(i=0;i<2;i++){
prevMsbCycle=0
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i];j++){ (8-5)
if(!lt_ref_pic_flag[i][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(delta_poc_msb_cycle_lt[i][j]が0に等しい&&
PicOrderCntVal&(MaxPicOrderCntLsb-1)がpoc_lsb_lt[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else if(delta_poc_msb_cycle_lt[i][j]が1に等しい&&
PicOrderCntValが(MaxPicOrderCntLsb*(delta_poc_msb_cycle_lt[i][j]+ prevMsbCycle))+poc_lsb_lt[i][j])に等しい参照picAがDPBの中にある){
RefPicList[i][j]=picA
prevMsbCycle+=delta_poc_msb_cycle_lt[i][j]
}else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
【0239】
次の制約が適用されることが、ビットストリーム適合の要件である。0または1に等しい各iに対して、NumEntriesInList[i][RplsIdx[i]]はNumRefIdxActive[i]未満ではないものとする。RefPicList[0]またはRefPicList[1]の中の各アクティブエントリによって参照されるピクチャは、DPBに存在するものとし、現在のピクチャ以下のTemporalIdを有するものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中の非アクティブエントリのエントリインデックスは、現在のピクチャの復号のための参照インデックスとして使用されないものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中の非アクティブエントリは、RefPicList[0]またはRefPicList[1]の中の他のエントリと同じピクチャを参照しないものとする。ピクチャのスライスのRefPicList[0]またはRefPicList[1]の中のSTRPエントリ、および同じスライスまたは同じピクチャの異なるスライスのRefPicList[0]もしくはRefPicList[1]の中のLTRPエントリは、同じピクチャを参照しないものとする。現在のピクチャ自体が、RefPicList[0]またはRefPicList[1]の中のいずれのエントリによっても参照されないものとする。現在のピクチャのPicOrderCntValとエントリによって参照されるピクチャのPicOrderCntValとの差が224以上であるLTRPエントリは、RefPicList[0]またはRefPicList[1]の中にないものとする。setOfRefPicsを、RefPicList[0]の中のすべてのエントリおよびRefPicList[1]の中のすべてのエントリによって参照される固有のピクチャのセットとする。setOfRefPicsの中のピクチャの数はsps_max_dec_pic_buffering_minus1以下であるものとし、setOfRefPicsはピクチャのすべてのスライスに対して同じであるものとする。
【0240】
各STRPは、そのPicOrderCntVal値によって特定される。各LTRPに対して、delta_poc_msb_present_flag[listIdx][i]が1に等しいRefPicList[0]またはRefPicList[1]の中のエントリによってLTRPが参照される場合、それはそのPicOrderCntVal値によって特定され、それ以外の場合、それはそのPicOrderCntVal値のLog2(MaxPicOrderCntLsb)個のLSBによって特定される。
【0241】
長期参照ピクチャエントリのためのデルタPOC MSBのシグナリングの代替形態1
【0242】
この実施形態は、前のセクションにおいて説明された実施形態に対する代替形態を提供する。前のセクションにおける考え方と同様に、ref_pic_list_struct()の中で長期参照ピクチャのPOC LSBを表すために追加のビットを使用する代わりに、長期参照ピクチャを区別するためにPOC MSBサイクルがシグナリングされる。しかしながら、この代替形態では、シグナリングされると、POC MSBサイクル情報は、ref_pic_list_struct()内でシグナリングされず、代わりに、POC MSBサイクル情報が必要とされるときに、スライスヘッダにおいてシグナリングされる。ref_pic_list_struct()シンタックス構造は、SPSおよびスライスヘッダにおいてシグナリングされ得る。
【0243】
【表23】
【0244】
【表24】
【0245】
1に等しいdelta_poc_msb_present_flag[i][j]は、delta_poc_msb_cycle_lt[i][j]が存在することを指定する。0に等しいdelta_poc_msb_present_flag[i][j]は、delta_poc_msb_cycle_lt[i][j]が存在しないことを指定する。NumLtrpEntries[i]が0より大きく、ref_pic_list_struct(i,rplsIdx,1)シンタックス構造の中のj番目のLTRPエントリに対して、このスライスヘッダが復号されるときに、PicOrderCntVal modulo MaxPicOrderCntLsbがpoc_lsb_lt[i][rplsIdx][jj]に等しい参照ピクチャがDPBの中に1つより多くあり、jjがref_pic_list_struct(i,rplsIdx,1)シンタックス構造の中のj番目のLTRPエントリであるref_pic_list_struct(i,rplsIdx,1)シンタックス構造の中のエントリのエントリインデックスであるとき、delta_poc_msb_present_flag[i][j]は1に等しいものとする。存在しないとき、delta_poc_msb_cycle_lt[i][j]の値は0に等しいと推測される。delta_poc_msb_cycle_lt[i][j]は、ref_pic_list_struct(i,rplsIdx,1)シンタックス構造の中のj番目のLTRPエントリのピクチャ順序カウント値の最上位ビットの値を決定するために、delta_poc_msb_cycle_lt[i][j]が使用される。delta_poc_msb_cycle_lt[i][j]が存在しないとき、それは0に等しいと推測される。
【0246】
【表25】
【0247】
1に等しいdelta_poc_msb_present_flag[i][j]は、delta_poc_msb_cycle_lt[i][j]が存在することを指定する。0に等しいdelta_poc_msb_present_flag[i][j]は、delta_poc_msb_cycle_lt[i][j]が存在しないことを指定する。NumLtrpEntries[i]が0より大きく、このスライスヘッダが復号されるときに、PicOrderCntVal modulo MaxPicOrderCntLsbがpoc_lsb_lt[i][rplsIdx][j]に等しい参照ピクチャがDPBの中に1つより多くあるとき、delta_poc_msb_present_flag[i][j]は1に等しいものとする。存在しないとき、delta_poc_msb_cycle_lt[i][j]の値は0に等しいと推測される。delta_poc_msb_cycle_lt[i][j]は、ref_pic_list_struct(i,rplsIdx,1)シンタックス構造の中のj番目のエントリのピクチャ順序カウント値の最上位ビットの値を決定するために使用される。delta_poc_msb_cycle_lt[i][j]が存在しないとき、それは0に等しいと推測される。poc_lsb_lt[listIdx][rplsIdx][i]は、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の中のi番目のエントリによって参照されるピクチャのピクチャ順序カウントmodulo MaxPicOrderCntLsbの値を指定する。poc_lsb_lt[listIdx][rplsIdx][i]シンタックス要素の長さは、Log2(MaxPicOrderCntLsb)ビットである。
【0248】
ピクチャ順序カウントのための復号プロセスに対する変更:
【0249】
スライスヘッダ設計1に対して、参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[ i ]=ref_pic_list_idx[ i ]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
msbCycleIdx=0
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(delta_poc_msb_cycle_lt[i][msbCycleIdx]が0に等しい&&
PicOrderCntVal&(MaxPicOrderCntLsb-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else if(delta_poc_msb_cycle_lt[i][msbCycleIdx]が1に等しい&&
PicOrderCntValが(MaxPicOrderCntLsb*delta_poc_msb_cycle_lt[i][msbCycleIdx])+poc_lsb_lt[i][RplsIdx[i]][j])に等しい参照ピクチャpicAがDPBの中にある){
RefPicList[i][j]=picA
msbCycleIdx++
}else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[ i ]=ref_pic_list_idx[ i ]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
msbCycleIdx=0
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(delta_poc_msb_cycle_lt[i][msbCycleIdx]が0に等しい&&
PicOrderCntVal&(MaxPicOrderCntLsb-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else if(delta_poc_msb_cycle_lt[i][msbCycleIdx]が1に等しい&&
PicOrderCntValが(MaxPicOrderCntLsb*delta_poc_msb_cycle_lt[i][msbCycleIdx])+poc_lsb_lt[i][RplsIdx[i]][j])に等しい参照ピクチャpicAがDPBの中にある){
RefPicList[i][j]=picA
msbCycleIdx++
}else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
【0250】
代替的に、スライスヘッダ設計1に対して、delta_poc_msb_cycle_lt[listIdx][i]のセマンティクスは、参照ピクチャリスト構築が次のように更新され得るように、差分の差分として表現され得る。参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
pevMsbCycle=0
msbCycleIdx=0
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(delta_poc_msb_cycle_lt[i][msbCycleIdx]が0に等しい&&
PicOrderCntVal&(MaxPicOrderCntLsb-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else if(delta_poc_msb_cycle_lt[i][msbCycleIdx]が1に等しい&&
PicOrderCntValが(MaxPicOrderCntLsb*(delta_poc_msb_cycle_lt[i][msbCycleIdx]+prevMsbCycle)+poc_lsb_lt[i][RplsIdx[i]][j])に等しい参照ピクチャpicAがDPBの中にある){
RefPicList[i][j]=picA
prevMsbCycle+=delta_poc_msb_cycle_lt[i][msbCycleIdx]
msbCycleIdx++
}else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
pevMsbCycle=0
msbCycleIdx=0
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(delta_poc_msb_cycle_lt[i][msbCycleIdx]が0に等しい&&
PicOrderCntVal&(MaxPicOrderCntLsb-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else if(delta_poc_msb_cycle_lt[i][msbCycleIdx]が1に等しい&&
PicOrderCntValが(MaxPicOrderCntLsb*(delta_poc_msb_cycle_lt[i][msbCycleIdx]+prevMsbCycle)+poc_lsb_lt[i][RplsIdx[i]][j])に等しい参照ピクチャpicAがDPBの中にある){
RefPicList[i][j]=picA
prevMsbCycle+=delta_poc_msb_cycle_lt[i][msbCycleIdx]
msbCycleIdx++
}else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
【0251】
スライスヘッダ設計2に対して、参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(delta_poc_msb_cycle_lt[i][j]が0に等しい&&
PicOrderCntVal&(MaxPicOrderCntLsb-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else if(delta_poc_msb_cycle_lt[i][j]が1に等しい&&
PicOrderCntValが(MaxPicOrderCntLsb*delta_poc_msb_cycle_lt[i][j])+poc_lsb_lt[i][RplsIdx[i]][j])に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(delta_poc_msb_cycle_lt[i][j]が0に等しい&&
PicOrderCntVal&(MaxPicOrderCntLsb-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else if(delta_poc_msb_cycle_lt[i][j]が1に等しい&&
PicOrderCntValが(MaxPicOrderCntLsb*delta_poc_msb_cycle_lt[i][j])+poc_lsb_lt[i][RplsIdx[i]][j])に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
【0252】
代替的に、スライスヘッダ設計2に対して、delta_poc_msb_cycle_lt[listIdx][i]のセマンティクスは、参照ピクチャリスト構築が次のように更新され得るように差分の差分として表現され得る。参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
prevMsbCycle=0
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(delta_poc_msb_cycle_lt[i][j]が0に等しい&&
PicOrderCntVal&(MaxPicOrderCntLsb-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else if(delta_poc_msb_cycle_lt[i][msbCycleIdx]が1に等しい&&
PicOrderCntValが(MaxPicOrderCntLsb*(delta_poc_msb_cycle_lt[i][j]+ prevMsbCycle)+poc_lsb_lt[i][RplsIdx[i]][j])に等しい参照ピクチャpicAがDPBの中にある){
RefPicList[i][j]=picA
prevMsbCycle+=delta_poc_msb_cycle_lt[i][j]
}else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
prevMsbCycle=0
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(delta_poc_msb_cycle_lt[i][j]が0に等しい&&
PicOrderCntVal&(MaxPicOrderCntLsb-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else if(delta_poc_msb_cycle_lt[i][msbCycleIdx]が1に等しい&&
PicOrderCntValが(MaxPicOrderCntLsb*(delta_poc_msb_cycle_lt[i][j]+ prevMsbCycle)+poc_lsb_lt[i][RplsIdx[i]][j])に等しい参照ピクチャpicAがDPBの中にある){
RefPicList[i][j]=picA
prevMsbCycle+=delta_poc_msb_cycle_lt[i][j]
}else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
【0253】
次の制約が適用されることが、ビットストリーム適合の要件である。0または1に等しい各iに対して、NumEntriesInList[i][RplsIdx[i]]はNumRefIdxActive[i]未満ではないものとする。RefPicList[0]またはRefPicList[1]の中の各アクティブエントリによって参照されるピクチャは、DPBに存在するものとし、現在のピクチャ以下のTemporalIdを有するものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中のいずれの非アクティブエントリのエントリインデックスも、現在のピクチャの復号のための参照インデックスとして使用されないものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中の非アクティブエントリは、RefPicList[0]またはRefPicList[1]の中の他のエントリと同じピクチャを参照しないものとする。ピクチャのスライスのRefPicList[0]またはRefPicList[1]の中のSTRPエントリ、および同じスライスまたは同じピクチャの異なるスライスのRefPicList[0]もしくはRefPicList[1]の中のLTRPエントリは、同じピクチャを参照しないものとする。現在のピクチャ自体が、RefPicList[0]またはRefPicList[1]の中のいずれのエントリによっても参照されないものとする。現在のピクチャのPicOrderCntValとエントリによって参照されるピクチャのPicOrderCntValとの差が224以上であるLTRPエントリは、RefPicList[0]またはRefPicList[1]の中にないものとする。setOfRefPicsを、RefPicList[0]の中のすべてのエントリおよびRefPicList[1]の中のすべてのエントリによって参照される固有のピクチャのセットとする。setOfRefPicsの中のピクチャの数はsps_max_dec_pic_buffering_minus1以下であるものとし、setOfRefPicsはピクチャのすべてのスライスに対して同じであるものとする。
【0254】
各STRPは、そのPicOrderCntVal値によって特定される。各LTRPに対して、delta_poc_msb_present_flag[i][j]が1に等しいRefPicList[0]またはRefPicList[1]の中のエントリによってLTRPが参照される場合、それはそのPicOrderCnVal値によって特定され、それ以外の場合、それはそのPicOrderCntVal値のLog2(MaxPicOrderCntLsb)個のLSBによって特定される。
【0255】
長期参照ピクチャエントリのためのデルタPOC MSBのシグナリングの代替形態2
【0256】
本開示の1つの代替的な実施形態では、第1の実施形態または第2の実施形態において説明される開示は、上で説明された実施形態と組み合わされ、それぞれ、「長期参照ピクチャエントリのためのデルタPOC MSBのシグナリング」および「長期参照ピクチャエントリのためのデルタPOC MSBのシグナリングの代替形態1」と名付けられ得る。組み合わされることになる本開示の態様は、additional_lt_poc_lsb(すなわち、第1の実施形態または第2の実施形態からの)およびPOC MSBサイクル情報(すなわち、上で説明され、「長期参照ピクチャエントリのためのデルタPOC MSBのシグナリング」または「長期参照ピクチャエントリのためのデルタPOC MSBのシグナリングの代替形態1」と名付けられる実施形態からの)のシグナリングである。この組合せ、すなわち、第1の実施形態と、上で説明され「長期参照ピクチャエントリのためのデルタPOC MSBのシグナリングの代替形態1」と名付けられる実施形態との組合せがどのように行われ得るかの一例が、次のように説明される。
【0257】
【表26】
【0258】
1に等しいdelta_poc_msb_present_flag[i][j]は、delta_poc_msb_cycle_lt[i][j]が存在することを指定する。0に等しいdelta_poc_msb_present_flag[i][i]は、delta_poc_msb_cycle_lt[i][j]が存在しないことを指定する。NumLtrpEntries[i]が0より大きく、ref_pic_list_struct(i,rplsIdx,1)シンタックス構造の中のj番目のLTRPエントリに対して、このスライスヘッダが復号されるときに、PicOrderCntVal modulo MaxPicOrderLtCntLsbがpoc_lsb_lt[i][rplsIdx][jj]に等しい参照ピクチャがDPBの中に1つより多くあり、jjがref_pic_list_struct(i,rplsIdx,1)シンタックス構造の中のj番目のLTRPエントリであるref_pic_list_struct(i,rplsIdx,1)シンタックス構造の中のエントリのエントリインデックスであるとき、delta_poc_msb_present_flag[i][j]は1に等しいものとする。存在しないとき、delta_poc_msb_cycle_lt[i][j]の値は0に等しいと推測される。delta_poc_msb_cycle_lt[i][j]は、ref_pic_list_struct(i,rplsIdx,1)シンタックス構造の中のj番目のLTRPエントリのピクチャ順序カウント値の最上位ビットの値を決定するために、delta_poc_msb_cycle_lt[i][j]が使用される。delta_poc_msb_cycle_lt[i][j]が存在しないとき、それは0に等しいと推測される。
【0259】
ピクチャ順序カウントのための復号プロセスに対する変更:
【0260】
参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
msbCycleIdx=0
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(delta_poc_msb_cycle_lt[i][msbCycleIdx]が0に等しい&&
PicOrderCntVal&(MaxLtPicOrderCntLsb-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else if(delta_poc_msb_cycle_lt[i][msbCycleIdx]が1に等しい&&
PicOrderCntValが(MaxLtPicOrderCntLsb*delta_poc_msb_cycle_lt[i][msbCycleIdx])+poc_lsb_lt[i][RplsIdx[i]][j])に等しい参照ピクチャpicAがDPBの中にある){
RefPicList[i][j]=picA
msbCycleIdx++
}else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
msbCycleIdx=0
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(delta_poc_msb_cycle_lt[i][msbCycleIdx]が0に等しい&&
PicOrderCntVal&(MaxLtPicOrderCntLsb-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else if(delta_poc_msb_cycle_lt[i][msbCycleIdx]が1に等しい&&
PicOrderCntValが(MaxLtPicOrderCntLsb*delta_poc_msb_cycle_lt[i][msbCycleIdx])+poc_lsb_lt[i][RplsIdx[i]][j])に等しい参照ピクチャpicAがDPBの中にある){
RefPicList[i][j]=picA
msbCycleIdx++
}else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
【0261】
代替的に、delta_poc_msb_cycle_lt[listIdx][i]のセマンティクスは、参照ピクチャリスト構築が以下のように更新され得るように差分の差分として表現され得る。参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
prevMsbCycle=0
msbCycleIdx=0
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(delta_poc_msb_cycle_lt[i][msbCycleIdx]が0に等しい&&
PicOrderCntVal&(MaxLtPicOrderCntLsb-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else if(delta_poc_msb_cycle_lt[i][msbCycleIdx]が1に等しい&&
PicOrderCntValが(MaxLtPicOrderCntLsb*(delta_poc_msb_cycle_lt[i][msbCycleIdx]+prevMsbCycle)+poc_lsb_lt[i][RplsIdx[i]][j])に等しい参照ピクチャpicAがDPBの中にある){
RefPicList[i][j]=picA
prevMsbCycle+=delta_poc_msb_cycle_lt[i][msbCycleIdx]
msbCycleIdx++
}else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
prevMsbCycle=0
msbCycleIdx=0
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(delta_poc_msb_cycle_lt[i][msbCycleIdx]が0に等しい&&
PicOrderCntVal&(MaxLtPicOrderCntLsb-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else if(delta_poc_msb_cycle_lt[i][msbCycleIdx]が1に等しい&&
PicOrderCntValが(MaxLtPicOrderCntLsb*(delta_poc_msb_cycle_lt[i][msbCycleIdx]+prevMsbCycle)+poc_lsb_lt[i][RplsIdx[i]][j])に等しい参照ピクチャpicAがDPBの中にある){
RefPicList[i][j]=picA
prevMsbCycle+=delta_poc_msb_cycle_lt[i][msbCycleIdx]
msbCycleIdx++
}else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
【0262】
次の制約が適用されることが、ビットストリーム適合の要件である。0または1に等しい各iに対して、NumEntriesInList[i][RplsIdx[i]]はNumRefIdxActive[i]未満ではないものとする。RefPicList[0]またはRefPicList[1]の中の各アクティブエントリによって参照されるピクチャは、DPBに存在するものとし、現在のピクチャ以下のTemporalIdを有するものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中のいずれの非アクティブエントリのエントリインデックスも、現在のピクチャの復号のための参照インデックスとして使用されないものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中の非アクティブエントリは、RefPicList[0]またはRefPicList[1]の中の他のエントリと同じピクチャを参照しないものとする。ピクチャのスライスのRefPicList[0]またはRefPicList[1]の中のSTRPエントリ、および同じスライスまたは同じピクチャの異なるスライスのRefPicList[0]もしくはRefPicList[1]の中のLTRPエントリは、同じピクチャを参照しないものとする。現在のピクチャ自体が、RefPicList[0]またはRefPicList[1]の中のいずれのエントリによっても参照されないものとする。現在のピクチャのPicOrderCntValとエントリによって参照されるピクチャのPicOrderCntValとの差が224以上であるLTRPエントリは、RefPicList[0]またはRefPicList[1]の中にないものとする。setOfRefPicsを、RefPicList[0]の中のすべてのエントリおよびRefPicList[1]の中のすべてのエントリによって参照される固有のピクチャのセットとする。setOfRefPicsの中のピクチャの数はsps_max_dec_pic_buffering_minus1以下であるものとし、setOfRefPicsはピクチャのすべてのスライスに対して同じであるものとする。
【0263】
各STRPは、そのPicOrderCntVal値によって特定される。各LTRPに対して、delta_poc_msb_present_flag[i][j]が1に等しいRefPicList[0]またはRefPicList[1]の中のエントリによってLTRPが参照される場合、それはそのPicOrderCntVal値によって特定され、それ以外の場合、それはそのPicOrderCntVal値のLog2(MaxLtPicOrderCntLsb)個のLSBによって特定される。
【0264】
短期参照ピクチャと長期参照ピクチャを区別してスライスヘッダにおいて参照ピクチャリストを常にシグナリングすること
【0265】
このセクションは、本開示の別の代替的な実施形態を説明する。この説明は、最新のVVC WDに対するものである(すなわち、JVET-K1001-v1の最新のVVC WDに対する差分のみが説明されるが、以下で言及されない最新のVVC WDのテキストはそのまま適用される)。この代替的な実施形態は次のように要約される。参照ピクチャリスト構造はスライスヘッダのみにおいてシグナリングされる。短期参照ピクチャと長期参照ピクチャの両方がそれらのPOC LSBによって特定され、それらのPOC LSBは、POC値の導出のためにスライスヘッダにおいてシグナリングされるPOC LSBを表すために使用されるビットの数とは異なる数のビットによって表され得る。さらに、短期参照ピクチャを特定するためのPOC LSBを表すために使用されるビットの数と、長期参照ピクチャを特定するためのPOC LSBを表すために使用されるビットの数は異なり得る。
【0266】
NALユニットヘッダシンタックス
【0267】
【表27】
【0268】
シーケンスパラメータセットRBSPシンタックス
【0269】
【表28】
【0270】
ピクチャパラメータセットRBSPシンタックス
【0271】
【表29】
【0272】
スライスヘッダシンタックス
【0273】
【表30】
【0274】
参照ピクチャリスト構造シンタックス
【0275】
【表31】
【0276】
NALユニットヘッダセマンティクス
【0277】
forbidden_zero_bitは0に等しいものとする。nal_unit_typeは、NALユニットに含まれるRBSPデータ構造のタイプを指定する。
【0278】
【表32】
【0279】
nuh_temporal_id_plus1から1を引いたものは、NALユニットに対する時間識別子を指定する。nuh_temporal_id_plus1の値は0に等しくないものとする。変数TemporalIdは、TemporalId=nuh_temporal_id_plus1-1のように指定される。
【0280】
nal_unit_typeがIRAP_NUTに等しいとき、コーディングされるスライスはIRAPピクチャに属し、TemporalIdは0に等しいものとする。TemporalIdの値は、アクセスユニットのすべてのVCL NALユニットに対して同じであるものとする。コーディングされたピクチャまたはアクセスユニットのTemporalIdの値は、コーディングされたピクチャまたはアクセスユニットのVCL NALユニットのTemporalIdの値である。非VCL NALユニットに対するTemporalIdの値は次のように制約される。nal_unit_typeがSPS_NUTに等しい場合、TemporalIdは0に等しいものとし、NALユニットを含むアクセスユニットのTemporalIdは0に等しいものとする。そうではなく、nal_unit_typeがEOS_NUTまたはEOB_NUTに等しい場合、TemporalIdは0に等しいものとする。それ以外の場合、TemporalIdはNALユニットを含むアクセスユニットのTemporalId以上であるものとする。NALユニットが非VCL NALユニットであるとき、TemporalIdの値は、非VCL NALユニットが適用されるすべてのアクセスユニットのTemporalId値の最小値に等しい。nal_unit_typeがPPS_NUTに等しいとき、TemporalIdは含んでいるアクセスユニットのTemporalId以上であることがあり、それは、すべてのピクチャパラメータセット(PPS)がビットストリームの最初に含まれ得るからであり、第1のコーディングされたピクチャは0に等しいTemporalIdを有する。nal_unit_typeがPREFIX_SEI_NUTまたはSUFFIX_SEI_NUTに等しいとき、TemporalIdは、含んでいるアクセスユニットのTemporalId以上であることがあり、それは、補足強化情報(SEI)NALユニットが、SEI NALユニットを含んでいるアクセスユニットのTemporalIdよりTemporalId値が大きいアクセスユニットを含むビットストリームサブセットに適用される情報を含み得るからである。nuh_reserved_zero_7bitsは「0000000」に等しいものとする。nuh_reserved_zero_7bitsの他の値は、ITU-T|ISO/IECによって今後規定され得る。デコーダは、「0000000」に等しくないnuh_reserved_zero_7bitsの値を伴うNALユニットを無視する(すなわち、ビットストリームから削除して廃棄する)ものとする。
【0281】
シーケンスパラメータセットRBSPセマンティクス
【0282】
log2_max_pic_order_cnt_lsb_minus4は、ピクチャ順序カウントのための復号プロセスにおいて使用される変数MaxPicOrderCntLsbの値を次のように指定する。
MaxPicOrderCntLsb=2(log2_max_pic_order_cnt_lsb_minus4+4)
MaxPicOrderCntLsb=2(log2_max_pic_order_cnt_lsb_minus4+4)
【0283】
log2_max_pic_order_cnt_lsb_minus4の値は、両端を含めて0から12の範囲にあるものとする。sps_max_dec_pic_buffering_minus1に1を足したものは、ピクチャストレージバッファの単位で、CVSのための復号ピクチャバッファの最大の必要とされるサイズを指定する。sps_max_dec_pic_buffering_minus1の値は、両端を含めて0からMaxDpbSize-1の範囲にあるものとし、MaxDpbSizeは他の箇所で指定されるようなものである。additional_st_poc_lsbは、参照ピクチャリストのための復号プロセスにおいて使用される変数MaxStPicOrderCntLsbの値を次のように指定する。
MaxStPicOrderCntLsb=2(log2_max_pic_order_cnt_lsb_minus4+4+additional_st_poc_lsb)
MaxStPicOrderCntLsb=2(log2_max_pic_order_cnt_lsb_minus4+4+additional_st_poc_lsb)
【0284】
additional_st_poc_lsbの値は、両端を含めて0から32-log2_max_pic_order_cnt_lsb_minus4-4の範囲にあるものとする。0に等しいlong_term_ref_pics_flagは、LTRPがCVSの中のいずれのコーディングされたピクチャのインター予測にも使用されないことを指定する。1に等しいlong_term_ref_pics_flagは、LTRPがCVSの中の1つまたは複数のコーディングされたピクチャのインター予測に使用され得ることを指定する。additional_lt_poc_lsbは、参照ピクチャリストのための復号プロセスにおいて使用される変数MaxLtPicOrderCntLsbの値を次のように指定する。
MaxLtPicOrderCntLsb=2(log2_max_pic_order_cnt_lsb_minus4+4+additional_st_poc_lsb+additional_lt_poc_lsb)
additional_lt_poc_lsbの値は、両端を含めて0から32-log2_max_pic_order_cnt_lsb_minus4-4-additional_st_poc_lsbの範囲にあるものとする。存在しないとき、additional_lt_poc_lsbの値は0に等しいと推測される。
MaxLtPicOrderCntLsb=2(log2_max_pic_order_cnt_lsb_minus4+4+additional_st_poc_lsb+additional_lt_poc_lsb)
additional_lt_poc_lsbの値は、両端を含めて0から32-log2_max_pic_order_cnt_lsb_minus4-4-additional_st_poc_lsbの範囲にあるものとする。存在しないとき、additional_lt_poc_lsbの値は0に等しいと推測される。
【0285】
ピクチャパラメータセットRBSPセマンティクス
【0286】
num_ref_idx_default_active_minus1[i]に1を足したものは、iが0に等しいとき、num_ref_idx_active_override_flagが0に等しいPまたはBスライスに対する変数NumRefIdxActive[0]の推測される値を指定し、iが1に等しいとき、num_ref_idx_active_override_flagが0に等しいBスライスに対するNumRefIdxActive[1]の推測される値を指定する。num_ref_idx_default_active_minus1[i]の値は、両端を含めて0から14の範囲にあるものとする。
【0287】
スライスヘッダセマンティクス
【0288】
存在するとき、スライスヘッダシンタックス要素slice_pic_parameter_set_idおよびslice_pic_order_cnt_lsbの各々の値は、コーディングされたピクチャのすべてのスライスヘッダにおいて同じであるものとする。slice_typeは、Table 7-3(表33)に従ってスライスのコーディングタイプを指定する。
【0289】
【表33】
【0290】
nal_unit_typeがIRAP_NUTに等しい、すなわちピクチャがIRAPピクチャであるとき、slice_typeは2に等しいものとする。
【0291】
slice_pic_order_cnt_lsbは、現在のピクチャに対するピクチャ順序カウントmodulo MaxPicOrderCntLsbを指定する。slice_pic_order_cnt_lsbシンタックス要素の長さは、log2_max_pic_order_cnt_lsb_minus4+4ビットである。slice_pic_order_cnt_lsbの値は、両端を含めて0からMaxPicOrderCntLsb-1の範囲にあるものとする。slice_pic_order_cnt_lsbが存在しないとき、slice_pic_order_cnt_lsbは0に等しいと推測される。1に等しいnum_ref_idx_active_override_flagは、シンタックス要素num_ref_idx_active_minus1[0]がPおよびBスライスに対して存在し、シンタックス要素num_ref_idx_active_minus1[1]がBスライスに対して存在することを指定する。0に等しいnum_ref_idx_active_override_flagは、シンタックス要素num_ref_idx_active_minus1[0]およびnum_ref_idx_active_minus1[1]が存在しないことを指定する。num_ref_idx_active_minus1[i]は、存在するとき、変数NumRefIdxActive[i]の値を次のように指定する。
NumRefIdxActive[i]=num_ref_idx_active_minus1[i]+1
NumRefIdxActive[i]=num_ref_idx_active_minus1[i]+1
【0292】
num_ref_idx_active_minus1[i]の値は、両端を含めて0から14の範囲にあるものとする。NumRefIdxActive[i]-1の値は、スライスを復号するために使用され得る参照ピクチャリストiに対する最大参照インデックスを指定する。NumRefIdxActive[i]の値が0に等しいとき、参照ピクチャリストiに対する参照インデックスは、スライスを復号するために使用されないことがある。0または1に等しいiに対して、現在のスライスがBスライスであり、num_ref_idx_active_override_flagが0に等しいとき、NumRefIdxActive[i]はnum_ref_idx_default_active_minus1[i]+1に等しいと推測される。現在のスライスがPスライスであり、num_ref_idx_active_override_flagが0に等しいとき、NumRefIdxActive[0]はnum_ref_idx_default_active_minus1[0]+1に等しいと推測される。現在のスライスがPスライスであるとき、NumRefIdxActive[1]は0に等しいと推測される。現在のスライスがIスライスであるとき、NumRefIdxActive[0]とNumRefIdxActive[1]の両方が0に等しいと推測される。代替として、0または1に等しいiに対して、上記の後で以下のことが当てはまる。rplsIdx1がref_pic_list_sps_flag[i]?ref_pic_list_idx[i]:num_ref_pic_lists_in_sps[i]に等しく設定されるものとし、numRpEntries[i]がnum_strp_entries[i][rplsIdx1]+num_ltrp_entries[i][rplsIdx1]に等しいものとする。NumRefIdxActive[i]がnumRpEntries[i]より大きいとき、NumRefIdxActive[i]の値はnumRpEntries[i]に等しく設定される。
【0293】
参照ピクチャリスト構造セマンティクス
【0294】
ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造は、スライスヘッダに存在し得る。スライスヘッダに存在するとき、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造は、現在のピクチャ(スライスを含むピクチャ)の参照ピクチャリストlistIdxを指定する。num_strp_entries[listIdx]は、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中のSTRPエントリの数を指定する。num_ltrp_entries[listIdx]は、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中のLTRPエントリの数を指定する。存在しないとき、num_ltrp_entries[listIdx]の値は0に等しいと推測される。変数NumEntriesInList[listIdx]は次のように導出される。
NumEntriesInList[listIdx]=num_strp_entries[listIdx]+num_ltrp_entries[listIdx]
NumEntriesInList[listIdx]=num_strp_entries[listIdx]+num_ltrp_entries[listIdx]
【0295】
NumEntriesInList[listIdx]の値は、両端を含めて0からsps_max_dec_pic_buffering_minus1の範囲にあるものとする。1に等しいlt_ref_pic_flag[listIdx][i]は、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中のi番目のエントリがLTRPエントリであることを指定する。0に等しいlt_ref_pic_flag[listIdx][i]は、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中のi番目のエントリがSTRPエントリであることを指定する。存在しないとき、lt_ref_pic_flag[listIdx][i]の値は0に等しいと推測される。両端を含めて0からNumEntriesInList[listIdx]-1の範囲にあるiのすべての値に対するlt_ref_pic_flag[listIdx][i]の合計がnum_ltrp_entries[listIdx]に等しいことが、ビットストリーム適合の要件である。poc_lsb_st[listIdx][i]は、lt_ref_pic_flag[listIdx][i]が0に等しいとき、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中のi番目のエントリによって参照されるピクチャのピクチャ順序カウントmodulo MaxStPicOrderCntLsbの値を指定する。poc_lsb_st[listIdx][i]シンタックス要素の長さは、Log2(MaxStPicOrderCntLsb)ビットである。poc_lsb_lt[listIdx][i]は、lt_ref_pic_flag[listIdx][i]が1に等しいとき、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中のi番目のエントリによって参照されるピクチャのピクチャ順序カウントmodulo MaxLtPicOrderCntLsbの値を指定する。poc_lsb_lt[listIdx][i]シンタックス要素の長さは、Log2(MaxLtPicOrderCntLsb)ビットである。
【0296】
復号プロセスが論じられる。
【0297】
一般的な復号プロセス
【0298】
現在のピクチャCurrPicに対して、復号プロセスは次のように動作する。NALユニットの復号が以下で規定される。以下のプロセスは、スライスヘッダレイヤの中の、および上記のシンタックス要素を使用して、次の復号プロセスを規定する。ピクチャ順序カウントに関する変数および関数が導出される。これは、ピクチャの第1のスライスだけに対して呼び出される必要がある。非IRAPピクチャの各スライスに対する復号プロセスの最初において、参照ピクチャリスト構築のための復号プロセスは、参照ピクチャリスト0(RefPicList[0])および参照ピクチャリスト1(RefPicList[1])の導出のために呼び出される。参照ピクチャマーキングのための復号プロセスが呼び出され、参照ピクチャは、「参照のために使用されない」または「長期参照のために使用される」とマークされ得る。これは、ピクチャの第1のスライスだけに対して呼び出される必要がある。コーディングツリーユニット、スケーリング、変換、ループ内フィルタリングなどのための復号プロセスが呼び出される。現在のピクチャのすべてのスライスが復号された後で、現在の復号されるピクチャは「短期参照のために使用される」とマークされる。
【0299】
NALユニット復号プロセス
【0300】
このプロセスへの入力は、現在のピクチャのNALユニットおよびそれらの関連する非VCL NALユニットである。このプロセスの出力は、NALユニット内に封入される構文解析されたRBSPシンタックス構造である。各NALユニットのための復号プロセスは、NALユニットからRBSPシンタックス構造を抽出し、次いでRBSPシンタックス構造を構文解析する。
【0301】
スライス復号プロセス
【0302】
ピクチャ順序カウントのための復号プロセス
【0303】
このプロセスの出力は、現在のピクチャのピクチャ順序カウントであるPicOrderCntValである。マージモードにおける動きパラメータの導出および動きベクトルの予測のために、ならびにデコーダ適合性確認のために、ピクチャ順序カウントが、ピクチャを特定するために使用される。各々のコーディングされたピクチャは、PicOrderCntValと表記されるピクチャ順序カウント変数と関連付けられる。現在のピクチャがIRAPピクチャではないとき、変数prevPicOrderCntLsbおよびprevPicOrderCntMsbは次のように導出される。prevTid0Picを、0に等しいTemporalIdを有する、復号順序において以前のピクチャとする。変数prevPicOrderCntLsbは、prevTid0Picのslice_pic_order_cnt_lsbに等しく設定される。変数prevPicOrderCntMsbは、prevTid0PicのPicOrderCntMsbに等しく設定される。現在のピクチャの変数PicOrderCntMsbは次のように導出される。現在のピクチャがIRAPピクチャである場合、PicOrderCntMsbは0に等しく設定される。それ以外の場合、PicOrderCntMsbは次のように導出される。
if((slice_pic_order_cnt_lsb<prevPicOrderCntLsb)&&
((prevPicOrderCntLsb-slice_pic_order_cnt_lsb)>=(MaxPicOrderCntLsb/2)))
PicOrderCntMsb=prevPicOrderCntMsb+MaxPicOrderCntLsb
else if((slice_pic_order_cnt_lsb>prevPicOrderCntLsb)&&
((slice_pic_order_cnt_lsb-prevPicOrderCntLsb)>(MaxPicOrderCntLsb/2)))
PicOrderCntMsb=prevPicOrderCntMsb-MaxPicOrderCntLsb
else
PicOrderCntMsb=prevPicOrderCntMsb
if((slice_pic_order_cnt_lsb<prevPicOrderCntLsb)&&
((prevPicOrderCntLsb-slice_pic_order_cnt_lsb)>=(MaxPicOrderCntLsb/2)))
PicOrderCntMsb=prevPicOrderCntMsb+MaxPicOrderCntLsb
else if((slice_pic_order_cnt_lsb>prevPicOrderCntLsb)&&
((slice_pic_order_cnt_lsb-prevPicOrderCntLsb)>(MaxPicOrderCntLsb/2)))
PicOrderCntMsb=prevPicOrderCntMsb-MaxPicOrderCntLsb
else
PicOrderCntMsb=prevPicOrderCntMsb
【0304】
PicOrderCntValは、次のように導出される。
PicOrderCntVal=PicOrderCntMsb+slice_pic_order_cnt_lsb
PicOrderCntVal=PicOrderCntMsb+slice_pic_order_cnt_lsb
【0305】
すべてのIRAPピクチャが0に等しいPicOrderCntValを有し、それは、slice_pic_order_cnt_lsbがIRAPピクチャに対して0に等しいと推測され、prevPicOrderCntLsbとprevPicOrderCntMsbがともに0に等しく設定されるからである。PicOrderCntValの値は、両端を含めて-231から231-1の範囲にあるものとする。1つのCVSにおいて、任意の2つのコーディングされたピクチャに対するPicOrderCntVal値は、同じではないものとする。復号プロセスの間の任意の瞬間において、DPBの中の任意の2つの短期参照ピクチャに対するPicOrderCntVal&(MaxStPicOrderCntLsb-1)の値は同じではないものとする。復号プロセスの任意の瞬間において、DPBの中の任意の2つの参照ピクチャに対するPicOrderCnvVal&(MaxLtPicOrderCntLsb-1)の値は同じではないものとする。
【0306】
関数PicOrderCnt(picX)は、次のように規定される。
PicOrderCnt(picX)=ピクチャpicXのPicOrderCntVal
PicOrderCnt(picX)=ピクチャpicXのPicOrderCntVal
【0307】
関数DiffPicOrderCnt(picA,picB)は、次のように規定される。
DiffPicOrderCnt(picA,piB)=PicOrderCnt(picA)-PicOrderCnt(picB)
DiffPicOrderCnt(picA,piB)=PicOrderCnt(picA)-PicOrderCnt(picB)
【0308】
ビットストリームは、両端を含めて-215から215-1の範囲にない復号プロセスにおいて使用されるDiffPicOrderCnt(picA,picB)の値をもたらすデータを含まないものとする。Xを現在のピクチャとし、YおよびZを同じCVSの中の2つの他のピクチャであるものとすると、YおよびZは、DiffPicOrderCnt(X,Y)およびDiffPicOrderCnt(X,Z)がともに正であるとき、またはともに負であるとき、Xから同じ出力順序方向にあると考えられる。
【0309】
参照ピクチャリスト構築のための復号プロセス
【0310】
このプロセスは、非IRAPピクチャの各スライスに対する復号プロセスの最初に呼び出される。参照ピクチャは参照インデックスを通じてアドレス指定される。参照インデックスは参照ピクチャリストへのインデックスである。Iスライスを復号するとき、スライスデータの復号の際に参照ピクチャリストは使用されない。Pスライスを復号するとき、参照ピクチャリスト0(すなわち、RefPicList[0])だけがスライスデータの復号の際に使用される。Bスライスを復号するとき、参照ピクチャリスト0と参照ピクチャリスト1(すなわち、RefPicList[1])の両方がスライスデータの復号の際に使用される。非IRAPピクチャの各スライスに対する復号プロセスの最初において、参照ピクチャリストRefPicList[0]およびRefPicList[1]が導出される。参照ピクチャリストは、参照ピクチャのマーキングまたはスライスデータの復号において使用される。ピクチャの最初のスライスではない非IRAPピクチャのIスライスに対して、RefPicList[0]およびRefPicList[1]が、ビットストリーム適合性確認の目的で導出され得るが、それらの導出は、現在のピクチャまたは復号順序において現在のピクチャの後にあるピクチャの復号に必要ではない。ピクチャの最初のスライスではないPスライスに対して、RefPicList[1]が、ビットストリーム適合性確認の目的で導出され得るが、その導出は、現在のピクチャまたは復号順序において現在のピクチャの後にあるピクチャの復号に必要ではない。
【0311】
参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
for(j=0;j<NumEntriesInList[i];j++){
if(lt_ref_pic_flag[i][j]){
if(PicOrderCntVal&(MaxLtPicOrderCntLsb-1)がpoc_lsb_lt[i][j]に等しい参照picAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
for(i=0;i<2;i++){
for(j=0;j<NumEntriesInList[i];j++){
if(!lt_ref_pic_flag[i][j]){
if(PicOrderCntVal&(MaxStPicOrderCntLsb-1)がpoc_lsb_st[i][j]に等しい短期参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
for(i=0;i<2;i++){
for(j=0;j<NumEntriesInList[i];j++){
if(lt_ref_pic_flag[i][j]){
if(PicOrderCntVal&(MaxLtPicOrderCntLsb-1)がpoc_lsb_lt[i][j]に等しい参照picAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
for(i=0;i<2;i++){
for(j=0;j<NumEntriesInList[i];j++){
if(!lt_ref_pic_flag[i][j]){
if(PicOrderCntVal&(MaxStPicOrderCntLsb-1)がpoc_lsb_st[i][j]に等しい短期参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
【0312】
0または1に等しい各iに対して、次のことが当てはまる。
【0313】
RefPicList[i]の中の最初のNumRefIdxActive[i]エントリは、RefPicList[i]の中のアクティブエントリと呼ばれ、RefPicList[i]の中の他のエントリは、RefPicList[i]の中の非アクティブエントリと呼ばれる。両端を含めて、0からNumEntriesInList[i]-1の範囲にあるjに対するRefPicList[i][j]の中の各エントリは、lt_ref_pic_flag[i][j]が0に等しい場合STRPエントリと呼ばれ、それ以外の場合LTRPエントリと呼ばれる。特定のピクチャが、RefPicList[0]の中のエントリとRefPicList[1]の中のエントリの両方によって参照されることがあり得る。特定のピクチャが、RefPicList[0]の中の1つより多くのエントリまたはRefPicList[1]の中の1つより多くのエントリによって参照されることもあり得る。RefPicList[0]の中のアクティブエントリおよびRefPicList[1]の中のアクティブエントリは集合的に、現在のピクチャのインター予測のために使用され得るすべての参照ピクチャと、復号順序において現在のピクチャの後にある1つまたは複数のピクチャとを指す。RefPicList[0]の中の非アクティブエントリおよびRefPicList[1]の中の非アクティブエントリは、現在のピクチャのインター予測のために使用されないが復号順序において現在のピクチャの後にある1つまたは複数のピクチャのためのインター予測において使用され得る、すべての参照ピクチャを集合的に指す。対応するピクチャがDPBの中に存在しないので、「参照ピクチャなし」に等しい1つまたは複数のエントリがRefPicList[0]またはRefPicList[1]の中にないことがある。「参照ピクチャなし」に等しいRefPicList[0]またはRefPicList[0]の中の各非アクティブエントリは無視されるべきである。「参照ピクチャなし」に等しいRefPicList[0]またはRefPicList[1]の中の各アクティブエントリに対して、意図しないピクチャの喪失が推測されるべきである。
【0314】
次の制約が適用されることが、ビットストリーム適合の要件である。0または1に等しい各iに対して、NumEntriesInList[i]はNumRefIdxActive[i]未満ではないものとする。RefPicList[0]またはRefPicList[1]の中の各アクティブエントリによって参照されるピクチャは、DPBに存在するものとし、現在のピクチャ以下のTemporalIdを有するものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中の非アクティブエントリのエントリインデックスは、現在のピクチャの復号のための参照インデックスとして使用されないものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中の非アクティブエントリは、RefPicList[0]またはRefPicList[1]の中の他のエントリと同じピクチャを参照しないものとする。ピクチャのスライスのRefPicList[0]またはRefPicList[1]の中のSTRPエントリ、および同じスライスまたは同じピクチャの異なるスライスのRefPicList[0]もしくはRefPicList[1]の中のLTRPエントリは、同じピクチャを参照しないものとする。現在のピクチャ自体が、RefPicList[0]またはRefPicList[1]の中のいずれのエントリによっても参照されないものとする。現在のピクチャのPicOrderCntValとエントリによって参照されるピクチャのPicOrderCntValとの差が224以上であるLTRPエントリは、RefPicList[0]またはRefPicList[1]の中にないものとする。setOfRefPicsを、RefPicList[0]の中のすべてのエントリおよびRefPicList[1]の中のすべてのエントリによって参照される固有のピクチャのセットとする。setOfRefPicsの中のピクチャの数はsps_max_dec_pic_buffering_minus1以下であるものとし、setOfRefPicsはピクチャのすべてのスライスに対して同じであるものとする。
【0315】
参照ピクチャマーキングのための復号プロセス
【0316】
このプロセスは、スライスヘッダの復号と、スライスに対する参照ピクチャリスト構築のための復号プロセスの後で、しかしスライスデータの復号の前に、ピクチャごとに一度呼び出される。このプロセスにより、DPBの中の1つまたは複数の参照ピクチャが、「参照のために使用されない」または「長期参照のために使用される」とマークされるようになり得る。DPBの中の復号されたピクチャは、復号プロセスの動作の間の任意の所与の瞬間において、「参照のために使用されない」、「短期参照のために使用される」、または「長期参照のために使用される」ものとして、しかしこれら3つのうちの1つだけとしてマークされ得る。これらのマーキングのうちの1つをピクチャに割り当てることは、適用可能なときこれらのマーキングのうちの別のものを暗黙的に排除する。ピクチャが「参照のために使用される」とマークされるものとして参照されるとき、これは、ピクチャが「短期参照のために使用される」または「長期参照のために使用される」(しかし両方ではない)とマークされることを集合的に指す。現在のピクチャがIRAPピクチャであるとき、現在DPBの中にあるすべての参照ピクチャ(もしあれば)が、「参照のために使用されない」とマークされる。STRPは、それらのPicOrderCntVal値のLog2(MaxStPicOrderCntLsb)個のLSBによって特定される。LTRPは、それらのPicOrderCntVal値のLog2(MaxLtPicOrderCntLsb)個のLSBによって特定される。
【0317】
次のことが当てはまる。RefPicList[0]またはRefPicList[1]の中の各LTRPエントリに対して、参照されるピクチャがSTRPであるとき、ピクチャは「長期参照のために使用される」とマークされる。RefPicList[0]またはRefPicList[1]の中のいずれのエントリによっても参照されないDPBの中の各参照ピクチャは、「参照のために使用されない」とマークされる。
【0318】
短期参照ピクチャと長期参照ピクチャを区別せずにスライスヘッダにおいて参照ピクチャリストを常にシグナリングすること
【0319】
このセクションは、本開示の別の代替的な実施形態を説明する。この説明は、最新のVVC WDに対するものである(すなわち、JVET-K1001-v1の最新のVVC WDに対する差分のみが説明されるが、以下で言及されない最新のVVC WDのテキストはそのまま適用される)。この代替的な実施形態は次のように要約される。参照ピクチャリスト構造は、スライスヘッダのみにおいてシグナリングされる。短期参照ピクチャと長期参照ピクチャは区別されない。すべての参照ピクチャは単に参照ピクチャと名付けられる。参照ピクチャはそれらのPOC LSBによって特定され、それらのPOC LSBは、POC値の導出のためにスライスヘッダにおいてシグナリングされるPOC LSBを表すために使用されるビットの数とは異なる数のビットによって表され得る。
【0320】
略語。VVC WDの第4項のテキストが適用される。
【0321】
NALユニットヘッダシンタックス
【0322】
【表34】
【0323】
シーケンスパラメータセットRBSPシンタックス
【0324】
【表35】
【0325】
ピクチャパラメータセットRBSPシンタックス
【0326】
【表36】
【0327】
スライスヘッダシンタックス
【0328】
【表37】
【0329】
参照ピクチャリスト構造シンタックス
【0330】
【表38】
【0331】
NALユニットヘッダセマンティクス
【0332】
forbidden_zero_bitは0に等しいものとする。nal_unit_typeはNALユニットに含まれるRBSPデータ構造のタイプを指定する。
【0333】
【表39】
【0334】
nuh_temporal_id_plus1から1を引いたものは、NALユニットに対する時間識別子を指定する。nuh_temporal_id_plus1の値は0に等しくないものとする。変数TemporalIdは、次のように指定される。
TemporalId=nuh_temporal_id_plus1-1
TemporalId=nuh_temporal_id_plus1-1
【0335】
nal_unit_typeがIRAP_NUTに等しいとき、コーディングされるスライスはIRAPピクチャに属し、TemporalIdは0に等しいものとする。TemporalIdの値は、アクセスユニットのすべてのVCL NALユニットに対して同じであるものとする。コーディングされたピクチャまたはアクセスユニットのTemporalIdの値は、コーディングされたピクチャまたはアクセスユニットのVCL NALユニットのTemporalIdの値である。非VCL NALユニットに対するTemporalIdの値は次のように制約される。
【0336】
nal_unit_typeがSPS_NUTに等しい場合、TemporalIdは0に等しいものとし、NALユニットを含むアクセスユニットのTemporalIdは0に等しいものとする。そうではなく、nal_unit_typeがEOS_NUTまたはEOB_NUTに等しい場合、TemporalIdは0に等しいものとする。それ以外の場合、TemporalIdはNALユニットを含むアクセスユニットのTemporalId以上であるものとする。NALユニットが非VCL NALユニットであるとき、TemporalIdの値は、非VCL NALユニットが適用されるすべてのアクセスユニットのTemporalId値の最小値に等しい。nal_unit_typeがPPS_NUTに等しいとき、TemporalIdは含んでいるアクセスユニットのTemporalId以上であることがあり、それは、すべてのピクチャパラメータセット(PPS)がビットストリームの最初に含まれ得るからであり、第1のコーディングされたピクチャは0に等しいTemporalIdを有する。nal_unit_typeがPREFIX_SEI_NUTまたはSUFFIX_SEI_NUTに等しいとき、TemporalIdは、含んでいるアクセスユニットのTemporalId以上であることがあり、それは、SEI NALユニットが、SEI NALユニットを含んでいるアクセスユニットのTemporalIdよりTemporalId値が大きいアクセスユニットを含むビットストリームサブセットに適用される情報を含み得るからである。nuh_reserved_zero_7bitsは「0000000」に等しいものとする。nuh_reserved_zero_7bitsの他の値は、ITU-T|ISO/IECによって今後規定され得る。デコーダは、「0000000」に等しくないnuh_reserved_zero_7bitsの値を伴うNALユニットを無視する(すなわち、ビットストリームから削除して廃棄する)ものとする。
【0337】
シーケンスパラメータセットRBSPセマンティクス
【0338】
log2_max_pic_order_cnt_lsb_minus4は、ピクチャ順序カウントのための復号プロセスにおいて使用される変数MaxPicOrderCntLsbの値を次のように指定する。
MaxPicOrderCntLsb=2(log2_max_pic_order_cnt_lsb_minus4+4)
MaxPicOrderCntLsb=2(log2_max_pic_order_cnt_lsb_minus4+4)
【0339】
log2_max_pic_order_cnt_lsb_minus4の値は、両端を含めて0から12の範囲にあるものとする。sps_max_dec_pic_buffering_minus1に1を足したものは、ピクチャストレージバッファの単位で、CVSのための復号ピクチャバッファの最大の必要とされるサイズを指定する。sps_max_dec_pic_buffering_minus1の値は、両端を含めて0からMaxDpbSize-1の範囲にあるものとし、MaxDpbSizeは他の箇所で指定されるようなものである。additional_ref_poc_lsbは、参照ピクチャリストのための復号プロセスにおいて使用される変数MaxRefPicOrderCntLsbの値を次のように指定する。
MaxRefPicOrderCntLsb=2(log2_max_pic_order_cnt_lsb_minus4+4+additional_ref_poc_lsb)
MaxRefPicOrderCntLsb=2(log2_max_pic_order_cnt_lsb_minus4+4+additional_ref_poc_lsb)
【0340】
additional_ref_poc_lsbの値は、両端を含めて0から32-log2_max_pic_order_cnt_lsb_minus4-4の範囲にあるものとする。
【0341】
ピクチャパラメータセットRBSPセマンティクス
【0342】
num_ref_idx_default_active_minus1[i]に1を足したものは、iが0に等しいとき、num_ref_idx_active_override_flagが0に等しいPまたはBスライスに対する変数NumRefIdxActive[0]の推測される値を指定し、iが1に等しいとき、num_ref_idx_active_override_flagが0に等しいBスライスに対するNumRefIdxActive[1]の推測される値を指定する。num_ref_idx_default_active_minus1[i]の値は、両端を含めて0から14の範囲にあるものとする。
【0343】
スライスヘッダセマンティクス
【0344】
存在するとき、スライスヘッダシンタックス要素slice_pic_parameter_set_idおよびslice_pic_order_cnt_lsbの各々の値は、コーディングされたピクチャのすべてのスライスヘッダにおいて同じであるものとする。slice_typeは、Table 7-3(表40)に従ってスライスのコーディングタイプを指定する。
【0345】
【表40】
【0346】
nal_unit_typeがIRAP_NUTに等しい、すなわちピクチャがIRAPピクチャであるとき、slice_typeは2に等しいものとする。slice_pic_order_cnt_lsbは、現在のピクチャに対するピクチャ順序カウントmodulo MaxPicOrderCntLsbを指定する。slice_pic_order_cnt_lsbシンタックス要素の長さは、log2_max_pic_order_cnt_lsb_minus4+4ビットである。slice_pic_order_cnt_lsbの値は、両端を含めて0からMaxPicOrderCntLsb-1の範囲にあるものとする。slice_pic_order_cnt_lsbが存在しないとき、slice_pic_order_cnt_lsbは0に等しいと推測される。1に等しいnum_ref_idx_active_override_flagは、シンタックス要素num_ref_idx_active_minus1[0]がPおよびBスライスに対して存在し、シンタックス要素num_ref_idx_active_minus1[1]がBスライスに対して存在することを指定する。0に等しいnum_ref_idx_active_override_flagは、シンタックス要素num_ref_idx_active_minus1[0]およびnum_ref_idx_active_minus1[1]が存在しないことを指定する。num_ref_idx_active_minus1[i]は、存在するとき、変数NumRefIdxActive[i]の値を次のように指定する。
NumRefIdxActive[i]=num_ref_idx_active_minus1[i]+1
NumRefIdxActive[i]=num_ref_idx_active_minus1[i]+1
【0347】
num_ref_idx_active_minus1[i]の値は、両端を含めて0から14の範囲にあるものとする。NumRefIdxActive[i]-1の値は、スライスを復号するために使用され得る参照ピクチャリストiに対する最大参照インデックスを指定する。NumRefIdxActive[i]の値が0に等しいとき、参照ピクチャリストiに対する参照インデックスは、スライスを復号するために使用されないことがある。0または1に等しいiに対して、現在のスライスがBスライスであり、num_ref_idx_active_override_flagが0に等しいとき、NumRefIdxActive[i]はnum_ref_idx_default_active_minus1[i]+1に等しいと推測される。現在のスライスがPスライスであり、num_ref_idx_active_override_flagが0に等しいとき、NumRefIdxActive[0]はnum_ref_idx_default_active_minus1[0]+1に等しいと推測される。現在のスライスがPスライスであるとき、NumRefIdxActive[i]は0に等しいと推測される。現在のスライスがIスライスであるとき、NumRefIdxActive[0]とNumRefIdxActive[1]の両方が0に等しいと推測される。代替として、0または1に等しいiに対して、上記の後で以下のことが当てはまる。rplsIdx1がref_pic_list_sps_flag[i]?ref_pic_list_idx[i]:num_ref_pic_lists_in_sps[i]に等しく設定されるものとし、numRpEntries[i]がnum_strp_entries[i][rplsIdx1]+num_ltrp_entries[i][rplsIdx1]に等しいものとする。NumRefIdxActive[i]がnumRpEntries[i]より大きいとき、NumRefIdxActive[i]の値はnumRpEntries[i]に等しく設定される。
【0348】
参照ピクチャリスト構造セマンティクス
【0349】
ref_pic_list_struct(listIdx)シンタックス構造は、スライスヘッダに存在し得る。スライスヘッダに存在するとき、ref_pic_list_struct(listIdx)シンタックス構造は、現在のピクチャ(スライスを含むピクチャ)の参照ピクチャリストlistIdxを指定する。num_ref_entries[listIdx]は、ref_pic_list_struct(listIdx)シンタックス構造の中のエントリの数を指定する。変数NumEntriesInList[listIdx]は次のように導出される。
NumRefEntriesInRpl[listIdx]=num_ref_entries[listIdx]
NumRefEntriesInRpl[listIdx]=num_ref_entries[listIdx]
【0350】
NumRefPicEntries[listIdx]の値は、両端を含めて0からsps_max_dec_pic_buffering_minus1の範囲にあるものとする。poc_ref_lsb[listIdx][i]は、ref_pic_list_struct(listIdx)シンタックス構造の中のi番目のエントリによって参照されるピクチャのピクチャ順序カウントmodulo MaxRefPicOrderCntLsbの値を指定する。poc_ref_lsb[listIdx][i]シンタックス要素の長さはLog2(MaxRefPicOrderCntLsb)ビットである。
【0351】
復号プロセスが論じられる。
【0352】
一般的な復号プロセス
【0353】
現在のピクチャCurrPicに対して、復号プロセスは次のように動作する。NALユニットの復号が以下で規定される。以下のプロセスは、スライスヘッダレイヤの中の、および上記のシンタックス要素を使用して、次の復号プロセスを規定する。ピクチャ順序カウントに関する変数および関数が導出される。これは、ピクチャの第1のスライスだけに対して呼び出される必要がある。非IRAPピクチャの各スライスに対する復号プロセスの最初において、参照ピクチャリスト構築のための復号プロセスは、参照ピクチャリスト0(RefPicList[0])および参照ピクチャリスト1(RefPicList[1])の導出のために呼び出される。参照ピクチャマーキングのための復号プロセスが呼び出され、参照ピクチャは、「参照のために使用されない」とマークされ得る。これは、ピクチャの第1のスライスだけに対して呼び出される必要がある。コーディングツリーユニット、スケーリング、変換、ループ内フィルタリングなどのための復号プロセスが呼び出される。現在のピクチャのすべてのスライスが復号された後で、現在の復号されるピクチャは「参照のために使用される」とマークされる。
【0354】
NALユニット復号プロセス
【0355】
このプロセスへの入力は、現在のピクチャのNALユニットおよびそれらの関連する非VCL NALユニットである。このプロセスの出力は、NALユニット内に封入される構文解析されたRBSPシンタックス構造である。各NALユニットのための復号プロセスは、NALユニットからRBSPシンタックス構造を抽出し、次いでRBSPシンタックス構造を構文解析する。
【0356】
スライス復号プロセス
【0357】
ピクチャ順序カウントのための復号プロセス
【0358】
このプロセスの出力は、現在のピクチャのピクチャ順序カウントであるPicOrderCntValである。マージモードにおける動きパラメータの導出および動きベクトルの予測のために、ならびにデコーダ適合性確認のために、ピクチャ順序カウントが、ピクチャを特定するために使用される。各々のコーディングされたピクチャは、PicOrderCntValと表記されるピクチャ順序カウント変数と関連付けられる。現在のピクチャがIRAPピクチャではないとき、変数prevPicOrderCntLsbおよびprevPicOrderCntMsbは次のように導出される。prevTid0Picを、0に等しいTemporalIdを有する、復号順序において以前のピクチャとする。変数prevPicOrderCntLsbは、prevTid0Picのslice_pic_order_cnt_lsbに等しく設定される。変数prevPicOrderCntMsbは、prevTid0PicのPicOrderCntMsbに等しく設定される。現在のピクチャの変数PicOrderCntMsbは次のように導出される。現在のピクチャがIRAPピクチャである場合、PicOrderCntMsbは0に等しく設定される。それ以外の場合、PicOrderCntMsbは次のように導出される。
if((slice_pic_order_cnt_lsb<prevPicOrderCntLsb)&&
((prevPicOrderCntLsb-slice_pic_order_cnt_lsb)>=(MaxPicOrderCntLsb/2)))
PicOrderCntMsb=prevPicOrderCntMsb+MaxPicOrderCntLsb
else if((slice_pic_order_cnt_lsb>prevPicOrderCntLsb)&&
((slice_pic_order_cnt_lsb-prevPicOrderCntLsb)>(MaxPicOrderCntLsb/2)))
PicOrderCntMsb=prevPicOrderCntMsb-MaxPicOrderCntLsb
else
PicOrderCntMsb=prevPicOrderCntMsb
if((slice_pic_order_cnt_lsb<prevPicOrderCntLsb)&&
((prevPicOrderCntLsb-slice_pic_order_cnt_lsb)>=(MaxPicOrderCntLsb/2)))
PicOrderCntMsb=prevPicOrderCntMsb+MaxPicOrderCntLsb
else if((slice_pic_order_cnt_lsb>prevPicOrderCntLsb)&&
((slice_pic_order_cnt_lsb-prevPicOrderCntLsb)>(MaxPicOrderCntLsb/2)))
PicOrderCntMsb=prevPicOrderCntMsb-MaxPicOrderCntLsb
else
PicOrderCntMsb=prevPicOrderCntMsb
【0359】
PicOrderCntValは、次のように導出される。
PicOrderCntVal=PicOrderCntMsb+slice_pic_order_cnt_lsb
PicOrderCntVal=PicOrderCntMsb+slice_pic_order_cnt_lsb
【0360】
すべてのIRAPピクチャが0に等しいPicOrderCntValを有し、それは、slice_pic_order_cnt_lsbがIRAPピクチャに対して0に等しいと推測され、prevPicOrderCntLsbとprevPicOrderCntMsbがともに0に等しく設定されるからである。PicOrderCntValの値は、両端を含めて-231から231-1の範囲にあるものとする。1つのCVSにおいて、任意の2つのコーディングされたピクチャに対するPicOrderCntVal値は、同じではないものとする。復号プロセスの間の任意の瞬間において、DPBの中の任意の2つの参照ピクチャに対するPicOrderCntVal&(MaxRefPicOrderCntLsb-1)の値は同じではないものとする。
【0361】
関数PicOrderCnt(picX)は、次のように規定される。
PicOrderCnt(picX)=ピクチャpicXのPicOrderCntVal
PicOrderCnt(picX)=ピクチャpicXのPicOrderCntVal
【0362】
関数DiffPicOrderCnt(picA,picB)は、次のように規定される。
DiffPicOrderCnt(picA,piB)=PicOrderCnt(picA)-PicOrderCnt(picB)
DiffPicOrderCnt(picA,piB)=PicOrderCnt(picA)-PicOrderCnt(picB)
【0363】
ビットストリームは、両端を含めて-215から215-1の範囲にない復号プロセスにおいて使用されるDiffPicOrderCnt(picA,picB)の値をもたらすデータを含まないものとする。Xを現在のピクチャとし、YおよびZを同じCVSの中の2つの他のピクチャであるものとすると、YおよびZは、DiffPicOrderCnt(X,Y)およびDiffPicOrderCnt(X,Z)がともに正であるとき、またはともに負であるとき、Xから同じ出力順序方向にあると考えられる。
【0364】
参照ピクチャリスト構築のための復号プロセス
【0365】
このプロセスは、非IRAPピクチャの各スライスに対する復号プロセスの最初に呼び出される。参照ピクチャは参照インデックスを通じてアドレス指定される。参照インデックスは参照ピクチャリストへのインデックスである。Iスライスを復号するとき、スライスデータの復号の際に参照ピクチャリストは使用されない。Pスライスを復号するとき、参照ピクチャリスト0(すなわち、RefPicList[0])だけがスライスデータの復号の際に使用される。Bスライスを復号するとき、参照ピクチャリスト0と参照ピクチャリスト1(すなわち、RefPicList[1])の両方がスライスデータの復号の際に使用される。非IRAPピクチャの各スライスに対する復号プロセスの最初において、参照ピクチャリストRefPicList[0]およびRefPicList[1]が導出される。参照ピクチャリストは、参照ピクチャのマーキングまたはスライスデータの復号において使用される。ピクチャの最初のスライスではない非IRAPピクチャのIスライスに対して、RefPicList[0]およびRefPicList[1]が、ビットストリーム適合性確認の目的で導出され得るが、それらの導出は、現在のピクチャまたは復号順序において現在のピクチャの後にあるピクチャの復号に必要ではない。ピクチャの最初のスライスではないPスライスに対して、RefPicList[1]が、ビットストリーム適合性確認の目的で導出され得るが、その導出は、現在のピクチャまたは復号順序において現在のピクチャの後にあるピクチャの復号に必要ではない。参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i];j++){
if(PicOrderCntVal&(MaxRefPicOrderCntLsb-1)がpoc_ref_lsb[i][j]に等しい参照picAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
for(i=0;i<2;i++){
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i];j++){
if(PicOrderCntVal&(MaxRefPicOrderCntLsb-1)がpoc_ref_lsb[i][j]に等しい参照picAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
【0366】
0または1に等しい各iに対して、RefPicList[i]の中の最初のNumRefIdxActive[i]エントリは、RefPicList[i]の中のアクティブエントリと呼ばれ、RefPicList[i]の中の他のエントリは、RefPicList[i]の中の非アクティブエントリと呼ばれる。特定のピクチャが、RefPicList[0]の中のエントリとRefPicList[1]の中のエントリの両方によって参照されることがあり得る。特定のピクチャが、RefPicList[0]の中の1つより多くのエントリまたはRefPicList[1]の中の1つより多くのエントリによって参照されることもあり得る。RefPicList[0]の中のアクティブエントリおよびRefPicList[1]の中のアクティブエントリは集合的に、現在のピクチャのインター予測のために使用され得るすべての参照ピクチャと、復号順序において現在のピクチャの後にある1つまたは複数のピクチャとを指す。RefPicList[0]の中の非アクティブエントリおよびRefPicList[1]の中の非アクティブエントリは、現在のピクチャのインター予測のために使用されないが復号順序において現在のピクチャの後にある1つまたは複数のピクチャのためのインター予測において使用され得る、すべての参照ピクチャを集合的に指す。対応するピクチャがDPBの中に存在しないので、「参照ピクチャなし」に等しい1つまたは複数のエントリがRefPicList[0]またはRefPicList[1]の中にないことがある。「参照ピクチャなし」に等しいRefPicList[0]またはRefPicList[0]の中の各非アクティブエントリは無視されるべきである。「参照ピクチャなし」に等しいRefPicList[0]またはRefPicList[1]の中の各アクティブエントリに対して、意図しないピクチャの喪失が推測されるべきである。
【0367】
次の制約が適用されることが、ビットストリーム適合の要件である。0または1に等しい各iに対して、NumEntriesInList[i]はNumRefIdxActive[i]未満ではないものとする。RefPicList[0]またはRefPicList[1]の中の各アクティブエントリによって参照されるピクチャは、DPBに存在するものとし、現在のピクチャ以下のTemporalIdを有するものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中の非アクティブエントリのエントリインデックスは、現在のピクチャの復号のための参照インデックスとして使用されないものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中の非アクティブエントリは、RefPicList[0]またはRefPicList[1]の中の他のエントリと同じピクチャを参照しないものとする。現在のピクチャ自体が、RefPicList[0]またはRefPicList[1]の中のいずれのエントリによっても参照されないものとする。現在のピクチャのPicOrderCntValとエントリによって参照されるピクチャのPicOrderCntValとの差が224以上であるエントリは、RefPicList[0]またはRefPicList[1]の中にないものとする。setOfRefPicsを、RefPicList[0]の中のすべてのエントリおよびRefPicList[1]の中のすべてのエントリによって参照される固有のピクチャのセットとする。setOfRefPicsの中のピクチャの数はsps_max_dec_pic_buffering_minus1以下であるものとし、setOfRefPicsはピクチャのすべてのスライスに対して同じであるものとする。
【0368】
参照ピクチャマーキングのための復号プロセス
【0369】
このプロセスは、スライスヘッダの復号と、スライスに対する参照ピクチャリスト構築のための復号プロセスの後で、しかしスライスデータの復号の前に、ピクチャごとに一度呼び出される。このプロセスにより、DPBの中の1つまたは複数の参照ピクチャが、「参照のために使用されない」とマークされるようになり得る。DPBの中の復号されたピクチャは、復号プロセスの動作の間の任意の所与の瞬間において、「参照のために使用されない」または「参照のために使用される」ものとして、しかしこれら2つのうちの1つだけとしてマークされ得る。これらのマーキングのうちの1つをピクチャに割り当てることは、適用可能なときこれらのマーキングのうちの別のものを暗黙的に排除する。現在のピクチャがIRAPピクチャであるとき、現在DPBの中にあるすべての参照ピクチャ(もしあれば)が、「参照のために使用されない」とマークされる。DPBの中の参照ピクチャは、それらのPicOrderCntVal値のLog2(MaxRefPicOrderCntLsb)個のLSBによって特定される。RefPicList[0]またはRefPicList[1]の中のいずれのエントリによっても参照されないDPBの中の各参照ピクチャは、「参照のために使用されない」とマークされる。
【0370】
さらに別の代替的な実施形態
【0371】
このセクションは、「短期参照ピクチャと長期参照ピクチャを区別せずにスライスヘッダにおいて参照ピクチャリストを常にシグナリングすること」と名付けられた上で規定された手法に対する代替的な実施形態を説明する。この代替的な実施形態では、スライスヘッダにおいて、HEVCまたは上で説明された手法と同様に、各LTRPエントリに対してPOC MSBサイクルがシグナリングされてもよく、以下の制約、すなわち、復号プロセスの間の任意の瞬間において、DPBの中の任意の2つの参照ピクチャに対するPicOrderCntVal&(MaxLtPicOrderCntLsb-1)の値は同じではないものとする、という制約が削除される。
【0372】
図6は、本開示のある実施形態によるビデオコーディングデバイス600(たとえば、ビデオエンコーダ20またはビデオデコーダ30)の概略図である。ビデオコーディングデバイス600は、本明細書で説明されるような開示された実施形態を実施するのに適している。ビデオコーディングデバイス600は、データを受信するための入口ポート610および受信機ユニット(Rx)620、データを処理するためのプロセッサ、論理ユニット、または中央処理装置(CPU)630、データを送信するための送信機ユニット(Tx)640および出口ポート650、ならびにデータを記憶するためのメモリ660を備える。ビデオコーディングデバイス600は、光または電気信号の出入のために、入口ポート610、受信機ユニット620、送信機ユニット640、および出口ポート650に結合された、光-電子(OE)コンポーネントおよび電子-光(EO)コンポーネントも備え得る。
【0373】
プロセッサ630はハードウェアおよびソフトウェアによって実装される。プロセッサ630は、1つまたは複数のCPUチップ、コア(たとえば、マルチコアプロセッサとして)、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、およびデジタルシグナルプロセッサ(DSP)として実装され得る。プロセッサ630は、入口ポート610、受信機ユニット620、送信機ユニット640、出口ポート650、およびメモリ660と通信している。プロセッサ630はコーディングモジュール670を備える。コーディングモジュール670は、上で説明された開示された実施形態を実装する。たとえば、コーディングモジュール670は、様々なネットワーキング機能を実装し、処理し、準備し、または提供する。したがって、コーディングモジュール670を含むことは、ビデオコーディングデバイス600の機能にかなりの改善をもたらし、異なる状態へのビデオコーディングデバイス600の変換を生み出す。代替として、コーディングモジュール670は、メモリ660に記憶されておりプロセッサ630によって実行される命令として実装される。
【0374】
ビデオコーディングデバイス600はまた、ユーザとの間でデータをやり取りするための入力および/または出力(I/O)デバイス680を含み得る。I/Oデバイス680は、ビデオデータを表示するためのディスプレイ、オーディオデータを出力するためのスピーカーなどの、出力デバイスを含み得る。I/Oデバイス680は、キーボード、マウス、トラックボールなどの入力デバイス、および/またはそのような出力デバイスとインターフェースするための対応するインターフェースも含み得る。
【0375】
メモリ660は、1つまたは複数のディスク、テープドライブ、およびソリッドステートドライブを備え、そのようなプログラムが実行のために選択されるときにプログラムを記憶するための、およびプログラム実行の間に読み取られる命令とデータを記憶するための、オーバーフローデータストレージデバイスとして使用され得る。メモリ660は、揮発性および/または不揮発性であってもよく、読取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、三項コンテンツアドレス指定可能メモリ(TCAM)、および/またはスタティックランダムアクセスメモリ(SRAM)であってもよい。
【0376】
図7は、コーディングのための手段700のある実施形態の概略図である。実施形態において、コーディングのための手段700は、ビデオコーディングデバイス702(たとえば、ビデオエンコーダ20またはビデオデコーダ30)において実装される。ビデオコーディングデバイス702は受信手段701を含む。受信手段701は、符号化すべきピクチャを受信し、または復号すべきビットストリームを受信するように構成される。ビデオコーディングデバイス702は、受信手段701に結合された送信手段707を含む。送信手段707は、ビットストリームをデコーダに送信し、または復号された画像を表示手段(たとえば、I/Oデバイス680のうちの1つ)に送信するように構成される。
【0377】
ビデオコーディングデバイス702は記憶手段703を含む。記憶手段703は、受信手段701または送信手段707のうちの少なくとも1つに結合される。記憶手段703は命令を記憶するように構成される。ビデオコーディングデバイス702はまた処理手段705を含む。処理手段705は記憶手段703に結合される。処理手段705は、本明細書で開示される方法を実行するために、記憶手段703に記憶されている命令を実行するように構成される。
【0378】
いくつかの実施形態が本開示において提供されたが、開示されるシステムおよび方法は、本開示の趣旨または範囲から逸脱することなく多くの他の具体的な形式で具現化され得ることを理解されたい。これらの例は、限定ではなく例示であると見なされるべきであり、意図は本明細書で与えられる詳細に限定されないものとする。たとえば、別のシステムでは様々な要素およびコンポーネントが組み合わされ、もしくは統合されてもよく、またはいくつかの特徴が省略され、または実装されなくてもよい。
【0379】
加えて、様々な実施形態において個別または別個のものとして説明され例示されている技法、システム、サブシステム、および方法は、本開示の範囲から逸脱することなく、他のシステム、モジュール、技法、もしくは方法と組み合わされ、または統合され得る。結合される、または直接結合される、または互いに通信するものとして、示されもしくは論じられた他の項目は、電気的に、機械的に、または別様にのいずれでも、何らかのインターフェース、デバイス、または中間コンポーネントを通じて、間接的に結合され、または通信していてもよい。変更、置換、および変形の他の例が、当業者により認識可能であり、本明細書で開示される趣旨および範囲から逸脱することなく行われ得る。
【符号の説明】
【0380】
12 ソースデバイス
14 デスティネーションデバイス
16 コンピュータ可読媒体
18 ビデオソース
20 ビデオエンコーダ
22 出力インターフェース
28 入力インターフェース
30 ビデオデコーダ
32 表示デバイス
40 モード選択ユニット
42 動き推定ユニット
44 動き補償ユニット
46 イントラ予測ユニット
48 区分ユニット
52 変換処理ユニット
54 量子化ユニット
56 エントロピーコーディングユニット
58 逆量子化ユニット
60 逆変換ユニット
64 参照フレームメモリ
70 エントロピー復号ユニット
72 動き補償ユニット
74 イントラ予測ユニット
76 逆量子化ユニット
78 逆変換ユニット
82 参照フレームメモリ
610 入口ポート
620 受信機ユニット
630 プロセッサ
640 送信機ユニット
650 出口ポート
660 メモリ
670 コーディングモジュール
680 I/Oデバイス
701 受信手段
702 ビデオコーディングデバイス
703 記憶手段
705 処理手段
707 送信手段
14 デスティネーションデバイス
16 コンピュータ可読媒体
18 ビデオソース
20 ビデオエンコーダ
22 出力インターフェース
28 入力インターフェース
30 ビデオデコーダ
32 表示デバイス
40 モード選択ユニット
42 動き推定ユニット
44 動き補償ユニット
46 イントラ予測ユニット
48 区分ユニット
52 変換処理ユニット
54 量子化ユニット
56 エントロピーコーディングユニット
58 逆量子化ユニット
60 逆変換ユニット
64 参照フレームメモリ
70 エントロピー復号ユニット
72 動き補償ユニット
74 イントラ予測ユニット
76 逆量子化ユニット
78 逆変換ユニット
82 参照フレームメモリ
610 入口ポート
620 受信機ユニット
630 プロセッサ
640 送信機ユニット
650 出口ポート
660 メモリ
670 コーディングモジュール
680 I/Oデバイス
701 受信手段
702 ビデオコーディングデバイス
703 記憶手段
705 処理手段
707 送信手段
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【手続補正書】
【提出日】2023-04-27
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ビデオデコーダによって実施されるコーディングされたビデオビットストリームを復号する方法であって、
前記コーディングされたビデオビットストリームにおいて表される第1の参照ピクチャリストシンタックス構造および第2の参照ピクチャリストシンタックス構造を取得するステップであって、各参照ピクチャリストシンタックス構造がある数のエントリを含み、
前記第1の参照ピクチャリストシンタックス構造および前記第2の参照ピクチャリストシンタックス構造に基づいて、現在のスライスの第1の参照ピクチャリストおよび前記現在のスライスの第2の参照ピクチャリストを導出するステップであって、前記現在のスライスが、イントラ(I)スライス、単予測(P)スライス、または双予測(B)スライスを備える、ステップとを備える、方法。
前記コーディングされたビデオビットストリームにおいて表される第1の参照ピクチャリストシンタックス構造および第2の参照ピクチャリストシンタックス構造を取得するステップであって、各参照ピクチャリストシンタックス構造がある数のエントリを含み、
前記第1の参照ピクチャリストシンタックス構造および前記第2の参照ピクチャリストシンタックス構造に基づいて、現在のスライスの第1の参照ピクチャリストおよび前記現在のスライスの第2の参照ピクチャリストを導出するステップであって、前記現在のスライスが、イントラ(I)スライス、単予測(P)スライス、または双予測(B)スライスを備える、ステップとを備える、方法。
【外国語明細書】