IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ バイトダンス インコーポレイテッドの特許一覧

特表2023-526369映像ビットストリームにおけるコーディングされたピクチャバッファ情報の信号通知
<>
  • 特表-映像ビットストリームにおけるコーディングされたピクチャバッファ情報の信号通知 図1
  • 特表-映像ビットストリームにおけるコーディングされたピクチャバッファ情報の信号通知 図2
  • 特表-映像ビットストリームにおけるコーディングされたピクチャバッファ情報の信号通知 図3
  • 特表-映像ビットストリームにおけるコーディングされたピクチャバッファ情報の信号通知 図4
  • 特表-映像ビットストリームにおけるコーディングされたピクチャバッファ情報の信号通知 図5
  • 特表-映像ビットストリームにおけるコーディングされたピクチャバッファ情報の信号通知 図6
  • 特表-映像ビットストリームにおけるコーディングされたピクチャバッファ情報の信号通知 図7
  • 特表-映像ビットストリームにおけるコーディングされたピクチャバッファ情報の信号通知 図8
  • 特表-映像ビットストリームにおけるコーディングされたピクチャバッファ情報の信号通知 図9
  • 特表-映像ビットストリームにおけるコーディングされたピクチャバッファ情報の信号通知 図10
  • 特表-映像ビットストリームにおけるコーディングされたピクチャバッファ情報の信号通知 図11
  • 特表-映像ビットストリームにおけるコーディングされたピクチャバッファ情報の信号通知 図12
  • 特表-映像ビットストリームにおけるコーディングされたピクチャバッファ情報の信号通知 図13
  • 特表-映像ビットストリームにおけるコーディングされたピクチャバッファ情報の信号通知 図14
  • 特表-映像ビットストリームにおけるコーディングされたピクチャバッファ情報の信号通知 図15
  • 特表-映像ビットストリームにおけるコーディングされたピクチャバッファ情報の信号通知 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-06-21
(54)【発明の名称】映像ビットストリームにおけるコーディングされたピクチャバッファ情報の信号通知
(51)【国際特許分類】
   H04N 19/70 20140101AFI20230614BHJP
【FI】
H04N19/70
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022570202
(86)(22)【出願日】2021-05-21
(85)【翻訳文提出日】2022-12-21
(86)【国際出願番号】 US2021033785
(87)【国際公開番号】W WO2021237183
(87)【国際公開日】2021-11-25
(31)【優先権主張番号】63/029,321
(32)【優先日】2020-05-22
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520477474
【氏名又は名称】バイトダンス インコーポレイテッド
【氏名又は名称原語表記】BYTEDANCE INC.
【住所又は居所原語表記】12655 West Jefferson Boulevard, Sixth Floor, Suite No. 137 Los Angeles, California 90066 United States of America
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】ワン イェクイ
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159MA04
5C159MA05
5C159MA21
5C159MA33
5C159MC11
5C159ME01
5C159PP04
5C159RC11
5C159UA02
5C159UA05
(57)【要約】
映像ビットストリーム処理においてコーディングされたバッファピクチャ情報を信号通知するための方法、システムおよびデバイスが開示される。例示の映像処理方法は、1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、ビットストリームは、フォーマット規則に準拠し、フォーマット規則は、フラグが、ビットストリームに含まれている場合には、アクセスユニット(AU)固有であることを規定し、フラグの値は、関連付けられたAUがイントラランダムアクセスポイント(IRAP)AUであるかどうか、または漸次的コーディング更新(GDR)AUであるかどうかに基づいており、フラグの値は、(i)構文要素が、バッファリング期間補足強化情報(SEI)メッセージに存在しているかどうかと、(ii)代替のタイミング情報が現在のバッファリング期間のピクチャタイミングSEIメッセージに存在するかどうかと、を規定する。
【選択図】図6
【特許請求の範囲】
【請求項1】
1つ以上のピクチャを含む映像と前記映像のビットストリームとの変換を行うことを含み、
前記ビットストリームは、フォーマット規則に準拠し、
前記フォーマット規則は、フラグが、前記ビットストリームに含まれている場合には、アクセスユニット(AU)固有であることを規定し、
前記フラグの値は、関連付けられたAUがイントラランダムアクセスポイント(IRAP)AUであるかどうか、または漸次的デコーディング更新(GDR)AUであるかどうかに基づいており、
前記フラグの前記値は、(i)構文要素が、バッファリング期間補足強化情報(SEI)メッセージに存在しているかどうかと、(ii)代替のタイミング情報が現在のバッファリング期間のピクチャタイミングSEIメッセージに存在するかどうかと、を規定する、
映像処理方法。
【請求項2】
前記フラグの前記値は、前記関連付けられたAUがIRAP AUまたはGDR AUでないことに呼応して、ゼロに等しい、
請求項1に記載の方法。
【請求項3】
前記フラグの前記値は、前記ビットストリームに含まれていないことに呼応して、前記フラグの値がゼロに等しいと推測される、
請求項1に記載の方法。
【請求項4】
前記フラグの前記値が1に等しいことは、前記構文要素が前記バッファリング期間SEIメッセージに存在することを規定する、
請求項1に記載の方法。
【請求項5】
前記フラグはbp_alt_cpb_params_present_flagであり、前記構文要素はbp_use_alt_cpb_params_flagである、
請求項1から請求項4のいずれか1項に記載の方法。
【請求項6】
前記変換は、前記ビットストリームから前記映像をデコーディングすることを含む、
請求項1から請求項5のいずれか1項に記載の方法。
【請求項7】
前記変換は、前記映像を前記ビットストリームに符号化することを含む、
請求項1から請求項5のいずれか1項に記載の方法。
【請求項8】
映像を表すビットストリームをコンピュータ読み取り可能な記録媒体に記憶する方法であって、
請求項1から請求項5のいずれか1項以上に記載の方法に従って、前記映像から前記ビットストリームを生成することと、
前記ビットストリームを前記コンピュータ読み取り可能な記録媒体に記憶させることと、を含む、
方法。
【請求項9】
請求項1から請求項8のいずれか1項以上に記載の方法を実装するように構成されたプロセッサを備える、
映像処理装置。
【請求項10】
命令が記憶されたコンピュータ可読媒体であって、前記命令が実行されると、プロセッサに、請求項1から請求項8の1つ以上に記載の方法を実装させる、
コンピュータ可読媒体。
【請求項11】
請求項1から請求項8のいずれか1つ以上に従って生成された前記ビットストリームを記憶する、
コンピュータ可読媒体。
【請求項12】
請求項1から請求項8のいずれか1つ以上に記載の方法を実装するように構成される、
ビットストリームを記憶するための映像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
パリ条約に基づく適用可能な特許法および/または規則に基づいて、本願は、2020年5月22日出願の米国特許仮出願第63/029321号の優先権および利益を適時に主張することを目的とする。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
【0002】
この特許明細書は、画像および映像コーディングおよびデコーディングに関する。
【背景技術】
【0003】
デジタル映像は、インターネットおよび他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信および表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。
【発明の概要】
【0004】
本明細書は、映像符号化またはデコーディングを行うために、映像エンコーダおよびデコーダによって使用され得る技術を開示する。
【0005】
1つの例示的な態様において、映像処理方法が開示される。この方法は、1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、ピクチャタイミング(PT)補足強化情報(SEI)メッセージが、ビットストリームに含まれる場合、アクセスユニット(AU)固有であることを規定し、ランダムアクセススキップドリーディング(RASL)ピクチャである1つ以上のピクチャのうちの各ピクチャは、RASLネットワーク抽象化レイヤユニットタイプ(NUT)のみを含む。
【0006】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、このフォーマット規則は、ランダムアクセススキップドリーディング(RASL)ピクチャと同じクリーンランダムアクセス(CRA)ピクチャに関連付けられたランダムアクセス復号可能リーディング(RADL)サブピクチャにおいて、同一位置に配置されたRADLピクチャを予測するための参照サブピクチャとしてRASLピクチャにおけるRADLサブピクチャの使用を許可する。
【0007】
さらに別の例示的な態様において、別の映像処理方法が開示される。この方法は、1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、このフォーマット規則は、第1のフラグに関連付けられ、かつピクチャオーダカウントのためのデコーディング処理における、ピクチャの導出が第2のフラグに基づくことを規定し、この第1のフラグに関連付けられたピクチャは、(i)参照ピクチャリスト構文構造を参照する、スライスまたはピクチャヘッダと同じ第1の識別子、(ii)0に等しい第2の識別子および第2のフラグ、並びに(iii)ランダムアクセススキップドリーディング(RASL)ピクチャおよびラランダムアクセス復号可能リーディング(RADL)ピクチャとは異なるピクチャタイプを有する、復号順で前のピクチャであり、第1のフラグは、第3のフラグがビットストリームに存在するかどうかを示し、第2のフラグは、現在のピクチャを参照ピクチャとして使用するかどうかを示し、第3のフラグは、長期参照ピクチャのピクチャオーダカウント値の1つ以上の最上位ビットの値を決定するために使用される。
【0008】
さらに別の例示的な態様において、別の映像処理方法が開示される。この方法は、1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、このフォーマット規則は、デコーディングユニット(DU)の除去またはDUのデコーディングのタイミングを決定するために使用される変数が、アクセスユニット(AU)固有のものであり、現在のピクチャを参照ピクチャとして使用することが許可されるかどうかを示すフラグに基づいて導出されることを規定する。
【0009】
さらに別の例示的な態様において、別の映像処理方法が開示される。この方法は、1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、バッファリング期間補足強化情報(SEI)メッセージおよびピクチャタイミングSEIメッセージが、ビットストリームに含まれる場合、アクセスユニット(AU)固有であることを規定し、バッファリング期間SEIメッセージに関連付けられた第1の変数およびバッファリング期間SEIメッセージに関連付けられた第2の変数およびピクチャタイミングSEIメッセージは、現在のピクチャを参照ピクチャとして使用することが許可されるかどうかを示すフラグに基づいて導出され、この第1の変数は、(i)0に等しい識別子と、(ii)ランダムアクセススキップドリーディング(RASL)ピクチャまたはランダムアクセス復号可能リーディング(RADL)ピクチャではなく、このフラグが0に等しいピクチャと、を含むアクセスユニットを示し、第2の変数は、復号順で最初のAUでないこと、および、復号順で前のAUが、(i)0に等しい識別子と、(ii)ランダムアクセススキップドリーディング(RASL)ピクチャまたはランダムアクセス復号可能リーディング(RADL)ピクチャでなく、フラグが0に等しいピクチャとを含むことを示す。
【0010】
さらに別の例示的な態様において、別の映像処理方法が開示される。この方法は、1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、このフォーマット規則は、第1のピクチャおよび第2のピクチャに関連付けられた第1の変数および第2の変数の導出がフラグに基づくことを規定し、第1のピクチャは、現在のピクチャであり、第2のピクチャは、(i)0に等しい第1の識別子を含み、(ii)0に等しいフラグを含み、(iii)ランダムアクセススキップドリーディング(RASL)ピクチャまたはランダムアクセス復号可能リーディング(RADL)ピクチャではない復号順で前のピクチャであり、第1の変数および第2の変数は、第1のピクチャのそれと等しい第2の識別子を有する、(i)第1のピクチャ、(ii)第2のピクチャ、(iii)第1のピクチャの参照ピクチャリストの全てのエントリが参照する1つ以上の短期参照ピクチャ、並びに(iv)第1のピクチャのCPB除去時間より短いコーディングされたピクチャバッファ(CPB)除去時間、および第1のピクチャのCPB除去時間以上のデコーディングされたピクチャバッファ(DPB)出力時間で出力された各ピクチャ、の各々のピクチャオーダカウントのそれぞれ、最大値および最小値である。
【0011】
さらに別の例示的な態様において、別の映像処理方法が開示される。この方法は、1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、フラグおよび構文要素が、ビットストリームに含まれている場合には、アクセスユニット(AU)固有であることを規定し、フラグは、現在のAUが復号順でビットストリームの最初のAUではないことに呼応して、現在のAUの公称コーディングされたピクチャバッファ(CPB)除去時間が、(a)バッファリング期間補足強化情報(SEI)メッセージに関連付けられた前のAUの公称CPB除去時間、または(b)現在のAUの公称CPB除去時間に関連して決定されるかどうかを示し、構文要素は、現在のAUが復号順でビットストリームの最初のAUではないことに呼応して、現在のAUの公称CPB除去時間に関連するCPB除去遅延増分値を規定する。
【0012】
さらに別の例示的な態様において、別の映像処理方法が開示される。この方法は、1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、複数の変数とピクチャタイミング補足強化情報(SEI)メッセージが、ビットストリームに含まれる場合、アクセスユニット(AU)固有であることを規定し、ピクチャタイミングSEIメッセージは、複数の構文要素を含み、複数の変数のうちの第1の変数は、現在のAUがバッファリング期間SEIメッセージに関連付けられているかどうかを示し、複数の変数のうち第2の変数と第3の変数は、現在のAUが仮想参照デコーダ(HRD)を初期化するAUであるかどうかの指示に関連付けられており、複数の構文要素のうち第1の構文要素は、AUをコーディングされたピクチャバッファ(CPB)から除去した後、AUの1つ以上のデコーディングされたピクチャがデコーディングされたピクチャバッファ(DPB)から出力されるまで待つためのクロックティック数を規定し、複数の構文要素のうち第2の構文要素は、AUの最後のデコーディングユニット(DU)をCPBから除去した後、AUの1つ以上のデコーディングされたピクチャがDPBから出力されるまで待つためのサブクロックティックの数を規定し、複数の構文要素のうちの第3の構文要素は、現在のAUの1つ以上のデコーディングされたピクチャが表示モデルに対して占める要素のピクチャ期間間隔の数を規定する。
【0013】
さらに別の例示的な態様において、別の映像処理方法が開示される。この方法は、1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、デコーディングピクチャバッファ(DPB)に関連付けられた構文要素が、ビットストリームに含まれる場合、アクセスユニット(AU)固有であることを規定し、構文要素は、AUの最後のデコーディングユニット(DU)をコーディングされたピクチャバッファ(CPB)から除去した後、AUの1つ以上のデコーディングされたピクチャがDPBから出力されるまで待つためのサブクロックティックの数を規定する。
【0014】
さらに別の例示的な態様において、別の映像処理方法が開示される。この方法は、1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、フラグが、ビットストリームに含まれている場合には、アクセスユニット(AU)固有であることを規定し、フラグの値は、関連付けられたAUがイントラランダムアクセスポイント(IRAP)AUであるか、または漸次デコーディング更新(GDR)AUであるかに基づいており、フラグの値は、(i)構文要素が、バッファリング期間補足強化情報(SEI)メッセージに存在しているかどうか、(ii)代替のタイミング情報が現在のバッファリング期間のピクチャタイミングSEIメッセージに存在するかどうかを規定する。
【0015】
さらに別の例示的な態様において、別の映像処理方法が開示される。この方法は、1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、このフォーマット規則は、第1の構文要素の値が、仮想参照デコーダ(HRD)の連続するピクチャの出力時間の間の時間的距離が制約されているかどうかを示すフラグと、デコーディングされる時間的サブレイヤのうち最も高いものを特定する変数に基づくことを規定し、第1の構文要素は、現在のAUの1つ以上のデコーディングされたピクチャが表示モデルに対して占める要素のピクチャ期間間隔の数を規定する。
【0016】
さらに別の例示的な態様において、映像エンコーダ装置が開示される。この映像エンコーダは、上述した方法を実装するように構成されたプロセッサを備える。
【0017】
さらに別の例示的な態様において、映像デコーダ装置が開示される。この映像デコーダは、上述した方法を実装するように構成されたプロセッサを備える。
【0018】
さらに別の例示的な態様おいて、コードが記憶されたコンピュータ可読媒体が開示される。このコードは、本明細書に記載の方法の1つをプロセッサが実行可能なコードの形式で実施する。
【0019】
これらのおよび他の特徴は、本文書全体にわたって説明される。
【図面の簡単な説明】
【0020】
図1】本明細書で開示される様々な技術が実装され得る例示的な映像処理システムを示すブロック図である。
図2】映像処理に使用されるハードウェアプラットフォームの例を示すブロック図である。
図3】本開示のいくつかの実施形態を実装することができる例示的な映像コーディングシステムを示すブロック図である。
図4】本開示のいくつかの実施形態を実装することができるエンコーダの例を示すブロック図である。
図5】本開示のいくつかの実施形態を実装することができるデコーダの例を示すブロック図である。
図6】映像処理の方法の例を示すフローチャートである。
図7】映像処理の方法の例を示すフローチャートである。
図8】映像処理の方法の例を示すフローチャートである。
図9】映像処理の方法の例を示すフローチャートである。
図10】映像処理の方法の例を示すフローチャートである。
図11】映像処理の方法の例を示すフローチャートである。
図12】映像処理の方法の例を示すフローチャートである。
図13】映像処理の方法の例を示すフローチャートである。
図14】映像処理の方法の例を示すフローチャートである。
図15】映像処理の方法の例を示すフローチャートである。
図16】映像処理の方法の例を示すフローチャートである。
【発明を実施するための形態】
【0021】
本明細書では、理解を容易にするために章の見出しを使用しており、その技術および各章に記載された実施形態の適用可能性をその章のみに限定するものではない。さらに、H.266という用語は、ある説明において、理解を容易にするためだけに用いられ、開示される技術の範囲を限定するために用いられたものではない。このように、本明細書で説明される技術は、他の映像コーデックプロトコルおよび設計にも適用可能である。
【0022】
1. 導入
本明細書は、映像コーディング技術に関する。具体的には、これは、映像コーディングにおける廃棄可能なピクチャ/AUの取り扱いおよびHRD関連のSEIメッセージの意味論に関する。特定のシナリオにおいて廃棄することができる廃棄可能なピクチャの例は、RASLピクチャ、RADLピクチャ、およびph_non_ref_pic_flagが1に等しいピクチャを含む。HRD関連SEIメッセージは、BP、PT、およびDUI SEIメッセージを含む。この考えは、個々にまたは様々な組み合わせで、マルチレイヤ映像コーディング、例えば、現在開発されているVVC(Versatile Video Coding)をサポートする任意の映像コーディング規格または非標準映像コーデックに適用されてもよい。
【0023】
2. 略語
APS Adaptation Parameter Set(適応パラメータセット)
AU Access Unit(アクセスユニット)
AUD Access Unit Delimiter(アクセスユニット区切り文字)
AVC Advanced Video Coding(高度映像コーディング)
CLVS Coded Layer Video Sequence(コーディングされたレイヤ映像シーケンス)
CPB Coded Picture Buffer(コーディングされたピクチャバッファ)
CRA Clean Random Access(クリーンランダムアクセス)
CTU Coding Tree Unit(コーディングツリーユニット)
CVS Coded Video Sequence(コーディングされた映像シーケンス)
DCI Decoding Capability Information(デコーディング能力情報)
DPB Decoded Picture Buffer(デコーディングされたピクチャバッファ)
EOB End Of Bitstream(ビットストリーム終端)
EOS End Of Sequence(シーケンス終端)
GDR Gradual Decoding Refresh(漸次的デコーディング更新)
HEVC High Efficiency Video Coding(高効率映像コーディング)
HRD Hypothetical Reference Decoder(仮想参照デコーダ)
IDR Instantaneous Decoding Refresh(瞬時デコーディングリフレッシュ)
ILP Inter-Layer Prediction(インタレイヤ予測)
ILRP Inter-Layer Reference Picture(インタレイヤ参照ピクチャ)
JEM Joint Exploration Model(共同探索モデル)
LTRP Long-Term Reference Picture(長期参照ピクチャ)
MCTS Motion-Constrained Tile Sets(動作制約タイルセット)
NAL Network Abstraction Layer(ネットワーク抽象化レイヤ)
OLS Output Layer Set(出力レイヤセット)
PH Picture Header(ピクチャヘッダ)
PPS Picture Parameter Set(ピクチャパラメータセット)
PTL Profile, Tier and Level(プロファイル、層およびレベル)
PU Picture Unit(ピクチャユニット)
RAP Random Access Point(ランダムアクセスポイント)
RADL Random Access Decodable Leading Picture(ランダムアクセス復号可能リードピクチャ)
RASL Random Access Skipped Leading Picture(ランダムアクセススキップリードピクチャ)
RBSP Raw Byte Sequence Payload(生バイトシーケンスペイロード)
SEI Supplemental Enhancement Information(補足強化情報)
SPS Sequence Parameter Set(シーケンスパラメータセット)
STRP Short-Term Reference Picture(短期参照ピクチャ)
SVC Scalable Video Coding(スケーラブル映像コーディング)
VCL Video Coding Layer(映像コーディングレイヤ)
VPS Video Parameter Set(映像パラメータセット)
VTM VVC Test Model(VVC試験モデル)
VUI Video Usability Information(映像ユーザビリティ情報)
VVC Versatile Video Coding(汎用映像コーディング)
【0024】
3. 初期の協議
映像コーディング規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発展してきた。ITU-TはH.261とH.263を作り、ISO/IECはMPEG-1とMPEG-4 Visualを作り、両団体はH.262/MPEG-2 VideoとH.264/MPEG-4 AVC(Advanced Video Coding)とH.265/HEVC規格を共同で作った。H.262以来、映像コーディング規格は、時間的予測と変換コーディングが利用されるハイブリッド映像コーディング構造に基づく。HEVCを超えた将来の映像コーディング技術を探索するため、2015年には、VCEGとMPEGが共同でJVET(Joint Video Exploration Team)を設立した。それ以来、多くの新しい方法がJVETによって採用され、JEM(Joint Exploration Model)と呼ばれる参照ソフトウェアに組み込まれてきた。JVETは四半期に1回開催され、新しいコーディング規格はHEVCに比べて50%のビットレート低減を目指している。2018年4月のJVET会議において、新しい映像コーディング規格を「VVC(Versatile Video Coding)」と正式に命名し、その時、第1版のVVCテストモデル(VTM)をリリースした。VVCの標準化に寄与する努力が続けられているので、すべてのJVET会議において、VVC標準に新しいコーディング技術が採用されている。毎回の会議の後、VVC作業草案およびテストモデルVTMを更新する。VVCプロジェクトは、現在、2020年7月の会合における技術完成(FDIS)を目指している。
【0025】
3.1 参照ピクチャ管理および参照ピクチャリスト(RPL)
参照ピクチャ管理は、インター予測を使用する任意の映像コーディング方式に必要なコア機能である。それは、デコーディングされたピクチャバッファ(DPB)への参照ピクチャの記憶およびデコーディングされたピクチャバッファ(DPB)からの参照ピクチャの除去を管理し、かつ参照ピクチャをRPL内の適切な順序に置く。
【0026】
HEVCの参照ピクチャ管理は、参照ピクチャのマーキングおよびデコーディングされたピクチャバッファ(DPB)からの除去、並びに参照ピクチャリスト構築(RPLC)を含み、AVCのものとは異なる。AVCにおいて、HEVCは、スライディングウィンドウに適応メモリ管理制御動作(MMCO)を加えたものに基づく参照ピクチャマーキング機構の代わりに、いわゆる参照ピクチャセット(RPS)に基づく参照ピクチャ管理およびマーキング機構を規定し、その結果、RPLCは、RPS機構に基づく。RPSは、ピクチャに関連付けられた参照ピクチャのセットで構成され、復号順において関連付けられたピクチャに先行する全ての参照ピクチャで構成され、復号順において関連付けられたピクチャまたは関連付けられたピクチャの後に続く任意のピクチャのインター予測に使用してもよい。参照ピクチャセットは、参照ピクチャの5つのリストで構成される。第1の3つのリストは、現在のピクチャのインター予測において使用してもよい、かつ現在のピクチャに復号順において続く1つ以上のピクチャのインター予測において使用してもよい全ての参照ピクチャを含む。他の2つのリストは、現在のピクチャのインター予測において使用されないが、現在のピクチャに復号順において続く1つ以上のピクチャのインター予測において使用してもよい全ての参照ピクチャからなる。RPSは、主にエラー耐性を改善するために、AVCにおけるような「インターコーディングされた」信号通知の代わりに、DPBステータスの「イントラコーディングされた」信号通知を提供する。HEVCにおけるRPLC処理は、各参照インデックスのRPSサブセットにインデックスを信号通知することによって、RPSに基づいており、この処理は、AVCにおけるRPLC処理よりも簡単である。
【0027】
VVCにおける参照ピクチャ管理は、AVCよりもHEVCに類似しているが、いくぶんシンプルで堅牢である。これらの標準におけるように、2つのRPL、list0およびlist1が導出されるが、これらは、HEVCで使用される参照ピクチャセットの概念またはAVCで使用される自動スライディングウィンドウ処理に基づくものではなく、より直接的に信号通知される。参照ピクチャは、RPLのためにアクティブエントリおよび非アクティブエントリのいずれかとしてリストされ、アクティブエントリのみが、現在のピクチャのCTUのインター予測における参照インデックスとして使用されてもよい。非アクティブエントリは、ビットストリーム後に到着する他のピクチャにより参照するために、DPBに保持されるべき他のピクチャを示す。
【0028】
3.2. HEVCおよびVVCにおけるランダムアクセスとそのサポート
ランダムアクセスとは、復号順でビットストリームの最初のピクチャでないピクチャからビットストリームのアクセスとデコーディングを開始することを指す。ブロードキャスト/マルチキャストおよび複数人数による映像会議におけるチューニングおよびチャネル切り替え、ローカル再生およびストリーミングにおける探索、並びにストリーミングにおけるストリーム適応をサポートするために、ビットストリームは、頻繁なランダムアクセスポイントを含むことが必要であり、一般的に、イントラコーディングされたピクチャであるが、インターコーディングピクチャであってもよい(例えば、漸次的デコーディング更新の場合)。
【0029】
HEVCは、NALユニットタイプによって、NALユニットのヘッダ内のランダムアクセスポイント内(IRAP)ピクチャを信号通知することを含む。3つのタイプのIRAPピクチャ、即ち、インスタント・デコーダ・リフレッシュ(IDR)、クリーン・ランダム・アクセス(CRA)、およびブロークン・リンク・アクセス(BLA)ピクチャがサポートされる。IDRピクチャは、インターピクチャ予測構造が現在のピクチャグループ(GOP)の前のどのピクチャも参照しないようにするよう、制約しており、従来、クローズドGOPランダムアクセスポイントと呼ばれている。CRAピクチャは、あるピクチャが現在のGOPの前にピクチャを参照することを許可することによって、制限が緩和され、ランダムアクセスの場合、これらはすべて破棄される。CRAピクチャは、従来、オープンGOPランダムアクセスポイントと呼ばれている。BLAピクチャは、通常、例えばストリーム切り替え時に、CRAピクチャにおいて2つのビットストリームまたはその一部をスプライシングすることで生成される。IRAPピクチャのより優れたシステム使用を可能にするために、全部で6つの異なるNALユニットがIRAPピクチャのプロパティを信号通知するように定義され、これらのユニットは、HTTP(DASH)上で動的適応ストリーミングでのランダムアクセスサポートのために使用される、ISOベースのメディアファイルフォーマット(ISOBMFF)に定義されるようなストリームアクセスポイントのタイプにより適したものにするために使用できる。
【0030】
VVCは、3つのタイプのIRAPピクチャ、2つのタイプのIDRピクチャ(関連付けられたRADLピクチャを有する1つのタイプおよび関連付けられたRADLピクチャを有しない他のタイプ)およびCRAピクチャの1つのタイプをサポートする。これらは基本的にHEVCと同じである。HEVCにおけるBLAピクチャのタイプは、主に2つの理由により、VVCに含まれていない。i)BLAピクチャの基本機能性は、CRAピクチャにシーケンスNALユニットの終端を加えることで実現でき、このシーケンスNALユニットの終端が存在することは、後続のピクチャが単層ビットストリームにおいて新しいCVSを開始することを示す。ii)VVCの開発において、NALユニットヘッダのNALユニットタイプフィールドに6ビットの代わりに5ビットを用いることによって示されるように、HEVCよりも少ないNALユニットタイプを規定することが望ましかった。
【0031】
VVCとHEVCとの間のランダムアクセスサポートにおける別の重要な相違は、VVCにおいてより規範的な方法でGDRをサポートすることである。GDRにおいて、ビットストリームのデコーディングは、インターコーディングされたピクチャから開始することができ、始めは、ピクチャ領域全体を正しくデコーディングすることができないが、複数のピクチャの後に、ピクチャ領域全体を正しくデコーディングすることができるようになる。AVCおよびHEVCはまた、GDRランダムアクセスポイントおよびリカバリポイントの信号通知のためのリカバリポイントSEIメッセージを使用して、GDRをサポートする。VVCにおいて、GDRピクチャを示すために新しいNALユニットタイプが指定され、ピクチャヘッダ構文構造においてリカバリポイントが通知される。CVSおよびビットストリームは、GDRピクチャで開始することができる。これは、1つのビットストリーム全体が、1つのイントラコーディングされたピクチャなしにインターコーディングされたピクチャのみを含むことができることを意味する。GDRサポートをこのように規定する主な利点は、GDRに適合した動作を提供することである。GDRは、エンコーダが、ピクチャ全体をイントラコーディングするのではなく、複数のピクチャにイントラコーディングされたスライスまたはブロックを分布させることによって、ビットストリームのビットレートを平滑化することを可能にし、これにより、無線表示、オンラインゲーム、無人機に基づくアプリケーションのような超低遅延アプリケーションがより一般的になっているため、今日の方が以前より重要視されているエンドツーエンドの遅延の大幅な低減を可能にする。
【0032】
VVCにおける別のGDRに関連する特徴は、仮想境界信号通知である。GDRピクチャとそのリカバリポイントとの間のピクチャにおける、更新された領域(すなわち、正しくデコーディングされた領域)と未更新の領域との境界は、仮想境界として信号通知されてもよく、信号通知された場合、境界をまたがるインループフィルタリングは適用されなくなり、したがって、境界およびその付近のいくつかのサンプルのデコーディングの不整合が発生しなくなる。これは、アプリケーションがGDR処理中に正しくデコーディングされた領域を表示することを決定した場合に有用となりうる。
【0033】
IRAPピクチャおよびGDRピクチャを集合的に、ランダムアクセスポイント(RAP)ピクチャと呼ぶことができる。
【0034】
3.3 シーケンス内のピクチャ解像度の変更
AVCおよびHEVCにおいて、ピクチャの空間的解像度は、新しいSPSを使用する新しいシーケンスがIRAPピクチャで始まらない限り、変更することができない。VVCは、常にイントラコーディングされるIRAPピクチャを符号化せずに、ある位置のシーケンス内でピクチャの解像度を変更することを可能にする。この特徴は、参照ピクチャがデコーディングされている現在のピクチャと異なる解像度を有する場合、インター予測に使用される参照ピクチャをリサンプリングすることが必要であるので、参照ピクチャリサンプリング(RPR)と称する。
【0035】
スケーリング比は、1/2(参照ピクチャから現在のピクチャへのダウンサンプリングの2倍)以上8(8倍のアップサンプリング)以下に制限される。参照ピクチャと現在のピクチャとの間の様々なスケーリング比に対処するために、周波数カットオフが異なる3つの再サンプリングフィルタセットを規定する。3つの組の再サンプリングフィルタは、それぞれ、1/2~1/1.75、1/1.75~1/1.25、および1/1.25~8の範囲のスケーリング比に適用される。各組の再サンプリングフィルタは、動き補償補間フィルタの場合と同様に、輝度に対して16個のフェーズを有し、彩度に対して32個のフェーズを有する。実際には、通常のMC補間処理は、1/1.25~8の範囲のスケーリング比を有する再サンプリング処理の特殊な場合である。水平および垂直スケーリング比は、ピクチャの幅および高さ、並びに参照ピクチャおよび現在のピクチャに対して規定された左、右、上および下のスケーリングオフセットに基づいて導出される。
【0036】
HEVCとは異なる、この特徴をサポートするためのVVC設計の他の態様は、i)SPSの代わりにPPSにおいてピクチャ解像度および対応する適合性ウィンドウを信号通知すること、SPSにおいて最大ピクチャ解像度を信号通知すること、ii)単レイヤビットストリームの場合、各ピクチャ記憶装置(1つのデコーディングされたピクチャを記憶するためのDPBにおける1つのスロット)は、最大ピクチャ解像度を有するデコーディングされたピクチャを記憶するために必要なバッファサイズを占めることを含む。
【0037】
3.4 全般およびVVCにおけるスケーラブル映像コーディング(SVC)
SVC(Scalable Video Coding、時には、映像コーディングにおけるスケーラビリティとも呼ばれる)は、BL(Base Layer:基本レイヤ)(時には、RL(Reference Layer:参照レイヤ)と呼ばれる)および1または複数のEL(Enhancement Layer: スケーラブルエンハンスメントレイヤ)が使用される映像コーディングを参照する。SVCにおいて、ベースレイヤは、基本品質レベルの映像データを担持することができる。1つ以上のエンハンスメントレイヤは、例えば、より高い空間的、時間的、および/または信号対雑音(SNR)レベルをサポートするように、追加の映像データを担持することができる。エンハンスメントレイヤは、前の、符号化されたレイヤに対して定義されてもよい。例えば、下層がBLとして機能し、上層がELとして機能することができる。中間レイヤは、ELまたはRLのいずれか、またはその両方として機能することができる。例えば、中間レイヤ(例えば、最下レイヤでも最上レイヤでもないレイヤ)は、中間レイヤの下のレイヤ、例えば、ベースレイヤまたは任意の介在する増強レイヤのためのELであってもよく、同時に、中間レイヤの上の1つ以上の増強レイヤのためのRLとしての役割を果たす。同様に、HEVC規格のマルチビューまたは3D拡張では、複数のビューが存在してもよく、1つのビューの情報を利用して別のビューの情報をコーディング(例えば、符号化またはデコーディング)することができる(例えば、動き推定、動きベクトル予測および/または他の冗長性)。
【0038】
SVCにおいて、エンコーダまたはデコーダで使用されるパラメータは、それらを利用することができるコーディングレベル(例えば、映像レベル、シーケンスレベル、ピクチャレベル、スライスレベル等)に基づいてパラメータセットにグループ分けされる。例えば、ビットストリームにおける異なるレイヤのコーディングされた映像シーケンスによって利用できるパラメータは、映像パラメータセット(VPS)に含まれてもよく、コーディングされた映像シーケンスにおける1つ以上のピクチャによって利用されるパラメータは、シーケンスパラメータセット(SPS)に含まれてもよい。同様に、1つのピクチャの1つ以上のスライスで利用されるパラメータは、ピクチャパラメータセット(PPS)に含まれてもよく、1つのスライスに固有の他のパラメータは、スライスヘッダに含まれてもよい。同様に、特定のレイヤが所与の時間にどのパラメータセットを使用しているかの指示は、様々なコーディングレベルで提供されてもよい。
【0039】
VVCにおけるRPR(Reference Picture Resampling)のサポートのおかげで、空間的スケーラビリティサポートに必要なアップサンプリングはRPRアップサンプリングフィルタを使用するだけでよいので、追加の信号処理レベルのコーディングツールを必要とせずに、複数のレイヤ、例えば、VVCにおけるSDおよびHD解像度の2つのレイヤを含むビットストリームをサポートするように設計することができる。それにもかかわらず、スケーラビリティサポートのためには、高レベルの構文変更(スケーラビリティをサポートしない場合と比較して)が必要である。スケーラビリティサポートは、VVCバージョン1に規定されている。AVCおよびHEVCの拡張を含む、任意の以前の映像コーディング規格におけるスケーラビリティサポートとは異なり、VVCのスケーラビリティの設計は、単層デコーダの設計にできるだけ適したものにされてきた。多層ビットストリームのためのデコーディング能力は、ビットストリームに1つのレイヤしかなかったかの如く規定される。例えば、DPBサイズのようなデコーディング能力は、デコーディングされるビットストリームのレイヤの数に依存しない手法で規定される。基本的に、単層ビットストリームのために設計されたデコーダは、多層ビットストリームをデコーディングすることができるようにするために、あまり多くの変更を必要としない。AVCおよびHEVCの多層拡張の設計と比較して、HLSの態様は、ある程度の柔軟性を犠牲にして大幅に簡略化されてきた。例えば、IRAP AUは、CVSに存在する各レイヤのピクチャを含むことが必要である。
【0040】
3.5 パラメータセット
AVC、HEVC、VVCはパラメータ集合を規定する。パラメータセットのタイプは、SPS、PPS、APS、VPS等である。SPS、PPSは、AVC、HEVC、VVCのすべてでサポートされている。VPSは、HEVCから導入されたものであり、HEVCおよびVVCの両方に含まれる。APSは、AVCまたはHEVCに含まれていなかったが、最近のVVC草案のテキストに含まれている。
【0041】
SPSは、シーケンスレベルのヘッダ情報を伝送するように設計され、PPSは、頻繁に変化しないピクチャレベルのヘッダ情報を伝送するように設計された。SPSおよびPPSを用いると、シーケンスまたはピクチャごとに頻繁に変化する情報を繰り返す必要がないので、この情報の冗長な信号通知を回避することができる。さらに、SPSおよびPPSを使用することは、重要なヘッダ情報の帯域外伝送を有効化し、それにより、冗長な伝送の必要性を回避するだけでなく、誤り耐性を改善する。
【0042】
VPSは、マルチレイヤのビットストリームのすべてのレイヤに共通であるシーケンスレベルのヘッダ情報を担持するために導入された。
【0043】
APSは、コーディングするためのかなりのビットを必要とし、複数のピクチャによって共有され、そして、シーケンスにおいて非常に多くの異なる変形例が存在し得る、そのようなピクチャレベルまたはスライスレベルの情報を担持するために導入された。
【0044】
4. 開示される技術的解決策によって解決される技術課題
最近のVVCテキスト(JVET-R2001-vA/v10)における廃棄可能なピクチャを取り扱うための既存の設計は、以下の問題を有する。
1)条項3(定義)において、RASLピクチャの定義の一部として、文章「RASLピクチャを、非RASLピクチャのデコーディングプロセスのための参照ピクチャとして使用する。」が問題となっている。これは、シナリオによっては、もはや当てはまらないため、混同や相互運用性の問題を引き起こす可能性があるためと考えられる。
2)D.4.2項(ピクチャタイミングSEIメッセージの意味論)において、0に等しいpt_cpb_alt_timing_info_present_flagに対する制約は、ピクチャ固有の方式で規定される。しかしながら、HRD動作はOLSに基づくものであるので、意味論は技術的に不正確であり、相互運用性の問題を引き起こす可能性がある。
3)delta_poc_msb_cycle_present_flag[i][j]の意味論およびピクチャオーダカウント(POC)のデコーディングプロセスにおけるprevTid0Picの導出は、ph_non_ref_pic_flagの値を考慮していない。これは、ph_non_ref_pic_flagが1に等しいピクチャを廃棄するときに、ピクチャおよび/または信号通知された参照ピクチャのために導出されたPOC値が誤っている可能性があり、デコーダのクラッシュを含む予期せぬ不正確なデコーディング動作が発生する可能性があるので、問題を引き起こすことになる。
4)C.2.3項(DU除去とDUのデコーディングのタイミング)において、変数prevNonDiscardablePicはピクチャ固有の方式で規定され、ph_non_ref_pic_flagの値は考慮されていない。その結果、上記と同様な問題が発生し得る。
5)問題4と同様の問題は、D.3.2項(バッファリング期間SEIメッセージの意味論)のnotDiscardablePicおよびprevNonDiscardablePic、並びにD.4.2項(ピクチャタイミングSEIメッセージの意味論)のprevNonDiscardablePicにも適用される。
6)bp_concatenation_flagおよびbp_cpb_removal_delay_delta_minus1の意味論は、ピクチャ固有の方法で規定される。しかしながら、HRD動作はOLSに基づくものであるので、意味論は技術的に不正確であり、相互運用性の問題を引き起こす可能性がある。
7)bp_alt_cpb_params_present_flagの値に関する制約において、bp_alt_cpb_params_present_flagの意味論は、まずピクチャ固有の方式で規定され、かつAU固有であるべきであるということ、次にIRAPピクチャのみを考慮し、かつGDRピクチャも考慮する必要があるという2つの問題を有する。
8)D.4.2項(ピクチャタイミングSEIメッセージの意味論)における変数BpResetFlag、CpbRemovalDelayMsb[i]、CpbRemovalDelayVal[i]、および構文要素pt_dpb_output_delay、pt_dpb_output_du_delayおよびpt_display_elemental_periods_minus1は、ピクチャ固有の方式において規定されている。しかしながら、HRD動作はOLSに基づくものであるので、意味論は技術的に不正確であり、相互運用性の問題を引き起こす可能性がある。
9)C.4項(ビットストリーム適合性)において、maxPicOrderCntおよびminPicOrderCntの導出は、ph_non_ref_pic_flagの値を考慮しない。これは、ph_non_ref_pic_flagが1に等しいピクチャを廃棄するときに、ピクチャおよび/または信号通知された参照ピクチャのために導出されたPOC値が誤っている可能性があり、デコーダのクラッシュを含む予期せぬ不正確なデコーディング動作が発生する可能性があるので、問題を引き起こすことになる。
10)pt_display_elemental_periods_minus1の意味論において、構文要素fixed_pic_rate_within_cvs_flag[TemporalId]が使用される。しかしながら、意味論は、BP、PT、およびDUI SEIメッセージの他の意味論においてそうであるように、対象の最大TemporalId値のコンテキストで説明されるべきであるため、代わりにfixed_pic_rate_within_cvs_flag[Htid]を使用すべきである。
11)dui_dpb_output_du_delayの意味論は、ピクチャ固有の方式で規定される。しかしながら、HRD動作はOLSに基づくものであるので、意味論は技術的に不正確であり、相互運用性の問題を引き起こす可能性がある。
【0045】
5. 技術的解決策および実施形態の一覧
上記課題等を解決するために、以下に示す方法が開示されている。これらの項目は、一般的な概念を説明するための例であり、狭義に解釈されるべきではない。さらに、これらの項目は、個々に適用されてもよく、または任意の方法で組み合わされてもよい。
1)問題1を解決するために、条項3(定義)において、注記における「RASLピクチャを、非RASLピクチャのデコーディングプロセスのための参照ピクチャとして使用する。」の文を、RASLピクチャ定義の一部として、「RASLピクチャを、非RASLピクチャのデコーディングプロセスのための参照ピクチャとして使用しない。ただし、RASLピクチャにおいて、RADLサブピクチャが存在する場合、そのRADLピクチャは、RASLピクチャと同じCRAピクチャに関連付けられたRADLピクチャにおいて同一位置に配置されたRADLのインター予測をする際には使用してもよい」と変更する。
2)問題2を解決するため、D.4.2項(ピクチャタイミングSEIメッセージの意味論)において、0に等しいpt_cpb_alt_timing_info_present_flagに対する制約の説明を、ピクチャ固有からAU固有に変更し、RASLピクチャはここではRASL NUTsのみを含むことを追加する。
a. 一例において、この制約は、以下のように規定される。関連付けられたAUにおけるすべてのピクチャが、pps_mixed_nalu_types_in_pic_flagが0に等しいRASLピクチャである場合、pt_cpb_alt_timing_info_present_flagの値は0に等しい。
b. 別の例において、制約は、以下のように規定される。関連付けられたAUにおけるすべてのピクチャが、pps_mixed_nalu_types_in_pic_flagが0に等しいRASLピクチャである場合、pt_cpb_alt_timing_info_present_flagの値は0に等しい。
c. さらに別の例において、この制約は、以下のように規定される。関連付けられたAU内のすべてのピクチャが、RASL_NUTに等しいnal_unit_typeを有するVCL NALユニットのすべてを含むRASLピクチャである場合、pt_cpb_alt_timing_info_present_flagの値は0に等しい。
3)問題3を解決するため、delta_poc_msb_cycle_present_flag[i][j]の意味論およびピクチャオーダカウントのためのデコーディングプロセスにおいて、add ph_non_ref_pic_flagをprevTid0Picの導出に加える。
4)問題4を解決するため、C.2.3項(DUの除去とDUのデコーディングのタイミング)において、prevNonDiscardablePicの仕様を、prevNonDiscardableAuに名前を変更することを含めてピクチャ固有のものからAU固有のものに変更し、ph_non_ref_pic_flagを同じ変数の導出に加える。
5)問題5を解決するため、D.3.2項(バッファリング期間SEIメッセージの意味論)のnotDiscardablePic、prevNonDiscardablePic、およびD.4.2項(ピクチャタイミングSEIメッセージの意味論)のprevNonDiscardablePicについて、それぞれnotDiscardableAuおよびprevNonDiscardableAuに名前を変更することも含めて、これらの変数の仕様をピクチャ固有のものからAU固有のものに変更し、ph_non_ref_pic_flagをこれら二つの変数の導出に追加する。
6)問題6を解決するため、bp_concatenation_flag、bp_cpb_removal_delay_delta_minus1の意味論の説明をピクチャ固有のものからAU固有のものに変更する。
7)問題7を解決するために、bp_alt_cpb_params_present_flagの値に関する制約をAU固有の方法で規定し、bp_alt_cpb_params_present_flagの値は、接続されたAUがGDR AUであるかどうかにさらに依存することを規定する。
8)問題8を解決するため、D.4.2項(ピクチャタイミングSEIメッセージの意味論)における変数BpResetFlag、CpbRemovalDelayMsb[i]、CpbRemovalDelayVal[i]、および構文要素pt_dpb_output_delay、pt_dpb_output_du_delayおよびpt_display_elemental_periods_minus1の仕様を、ピクチャ固有のものからAU固有のものに変更する。
9)問題9を解決するため、C.4項(ビットストリーム適合性)において、maxPicOrderCntおよびminPicOrderCntの導出において、ph_non_ref_pic_flagを、「TemporalIdが0に等しく、RASLまたはRADLピクチャでない、復号順で前のピクチャ」に加える。
10)問題10を解決するために、pt_display_elemental_periods_minus1の意味論をfixed_pic_rate_within_cvs_flag[Htid]の代わりにfixed_pic_rate_within_cvs_flag[TemporalId]を使用して規定する。
11)問題11を解決するために、dui_dpb_output_du_delayの意味論をAU固有の方式で規定する。
【0046】
6. 実施形態
【化1】
【0047】
6.1. 第1の実施形態
本実施形態は1~9項に対するものである。
【0048】
3 定義
...
【化2】

...
【0049】
7.4.9 参照ピクチャリスト意味論
...
【化3】

-prevTid0PicのPicOrderCntVal、
-prevTid0PicのRefPicList[0]またはRefPicList[1]のエントリによって参照され、現在のピクチャと同じnuh_layer_idを有する各ピクチャのPicOrderCntVal、
-prevTid0Picの復号順に続く各ピクチャのPicOrderCntValは、nuh_layer_idが現在のピクチャと同じであり、復号順で現在のピクチャに先行する。
setOfPrevPocValsに、MaxPicOrderCntLsbを法とする値がPocLsbLt[i][j]に等しい値が複数ある場合、delta_poc_msb_cycle_present_flag[i][j]の値は1に等しい。
...
【0050】
8.3.1 ピクチャオーダカウントのためのデコーディングプロセス
...
【化4】
-変数prevPicOrderCntLsbは、prevTid0Picのph_pic_order_cnt_lsbに等しく設定される。
-変数prevPicOrderCntMsbは、prevTid0PicのPicOrderCntMsbに等しく設定される。
...
【0051】
C.2.3 DUの除去およびデコーディングのタイミング
...
CPBからのAU nの公称除去時間は、以下のように規定される。
-AU nが、nが0に等しいAUである(HRDを初期化するAU)場合、AUのCPBからの公称除去時間は、以下で規定される。
AuNominalRemovalTime[0]=InitCpbRemovalDelay[Htid][ScIdx]÷90000 (C.9)
-そうでない場合、以下が適用される。
-AU nがHRDを初期化しないBPの最初のAUである場合、以下が適用される。
CPBからのAU nの公称除去時間は、以下で規定される。
【化5】

tmpCpbRemovalDelay1=(auCpbRemovalDelayDeltaMinus1+1)
baseTime2=AuNominalRemovalTime[n-1]
tmpCpbRemovalDelay2= (C.10)
Ceil((InitCpbRemovalDelay[Htid][ScIdx]÷90000+
AuFinalArrivalTime[n-1]-AuNominalRemovalTime[n-1])÷ClockTick)
if(baseTime1+ClockTicktmpCpbRemovalDelay1<
baseTime2+ClockTicktmpCpbRemovalDelay2){
baseTime=baseTime2
tmpCpbRemovalDelay=tmpCpbRemovalDelay2
}else{
baseTime=baseTime1
tmpCpbRemovalDelay=tmpCpbRemovalDelay1


AuNominalRemovalTime[n]=
baseTime+(ClockTicktmpCpbRemovalDelay-CpbDelayOffset)
【化6】

公称CPB除去時間を導出した後、かつアクセスユニットnのDPB出力時間を導出する前に、変数DpbDelayOffsetおよびCpbDelayOffsetを以下のように導出する。
-以下の条件の1つ以上が真である場合、DpbDelayOffsetは、AU n+1のPT SEIメッセージ構文要素dpb_delay_offset[Htid]の値に等しく、CpbDelayOffsetは、AU n+1のPT SEIメッセージ構文要素cpb_delay_offset[Htid]の値に等しく設定され、構文要素を含むPT SEIメッセージはC.1項で規定されるように選択される。
-AU nのUseAltCpbParamsFlagは1に等しい。
-DefaultInitCpbParamsFlagは0に等しい。
-そうでない場合、DpbDelayOffsetおよびCpbDelayOffsetは共に0に等しく設定される。
-AU nが1つのBPの最初のAUでない場合、CPBからのAU nの公称除去時間は、以下で規定される。
【化7】

...
【0052】
C.4 ビットストリーム適合性
...
currPicLayerIdが現在のピクチャのnuh_layer_idに等しいとする。
現在のピクチャごとに、変数maxPicOrderCntおよびminPicOrderCntを、それぞれ、nuh_layer_idがcurrPicLayerIdに等しい以下のピクチャのPicOrderCntVal値の最大値および最小値に等しく設定する。
-現在のピクチャ
【化8】

-STRPは、現在のピクチャのRefPicList[0]におけるすべてのエントリおよびRefPicList[1]におけるすべてのエントリによって参照される。
-1に等しいPictureOutputFlagを有するすべてのピクチャnであって、currPicが現在のピクチャの場合、AuCpbRemovalTime[n]がAuCpbRemovalTime[currPic]未満で、DpbOutputTime[n]がAuCpbRemovalTime[currPic]以上であるすべてのピクチャn。
...
【0053】
D.3.2 バッファリング期間SEIメッセージ意味論
...
【化9】

BP SEIメッセージの存在は、以下のように規定される。
-NalHrdBpPresentFlagが1に等しいか、またはVclHrdBpPresentFlagが1に等しい場合、CVSにおける各AUに対して以下が適用される。
-AUがIRAPまたはGDR AUである場合、操作点に適用可能なBP SEIメッセージをAUに関連付けるものとする。
【化10】

-そうでない場合(NalHrdBpPresentFlagおよびVclHrdBpPresentFlagが共に0に等しい場合)、CVSにおけるAUは、BP SEIメッセージに関連付けられない。
【化11】

...
【0054】
D.4.2 ピクチャタイミングSEIメッセージ意味論
...
【化12】

-現在のAUがHRDを初期化するAUである場合、CpbRemovalDelayMsb[i]およびCpbRemovalDelayVal[i]はいずれも0に等しく設定され、cpbRemovalDelayValTmp[i]の値はpt_cpb_removal_delay_minus1[i]+1に等しく設定される。
【化13】

【化14】

...
【0055】
D.5.2 DU情報SEIメッセージ意味論
...
【化15】

...
【0056】
図1は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム1000を示すブロック図である。様々な実装形態は、システム1000のモジュールの一部または全部を含んでもよい。システム1000は、映像コンテンツを受信するための入力部1002を含んでもよい。映像コンテンツは、未加工または非圧縮フォーマット、例えば、8または10ビットのマルチモジュール画素値で受信されてもよく、または圧縮または符号化されたフォーマットで受信されてもよい。入力部1002は、ネットワークインターフェース、周辺バスインターフェース、または記憶インターフェースを表してもよい。ネットワークインターフェースの例は、イーサネット(登録商標)、パッシブ光ネットワーク(PON)等の有線インターフェース、およびWi-Fi(登録商標)またはセルラーインターフェース等の無線インターフェースを含む。
【0057】
システム1000は、本明細書に記載される様々なコーディングするまたは符号化する方法を実装することができるコーディングするモジュール1004を含んでもよい。コーディングモジュール1004は、入力部1002からの映像の平均ビットレートをコーディングモジュール1004の出力に低減し、映像のコーディングされた表現を生成してもよい。従って、このコーディング技術は、映像圧縮または映像コード変換技術と呼ばれることがある。コーディングモジュール1004の出力は、コンポーネント1006によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力部1002において受信された、記憶された、または通信された映像のビットストリーム(またはコーディングされた)表現は、コンポーネント1008によって使用されて、表示インターフェース部1010に送信される画素値、または表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像伸張(映像展開)と呼ばれることがある。さらに、特定の映像処理動作を「コーディング」動作またはツールと呼ぶが、コーディングツールまたは動作は、エンコーダおよびそれに対応する、コーディングの結果を逆にするデコーディングツールまたは動作が、デコーダによって行われることが理解されよう。
【0058】
周辺バスインターフェースユニットまたは表示インターフェースユニットの例は、ユニバーサルシリアルバス(USB)または高精細マルチメディアインターフェース(HDMI(登録商標))またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、SATA(Serial Advanced Technology Attachment)、PCI、IDEインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、またはデジタルデータ処理および/または映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。
【0059】
図2は、映像処理装置2000のブロック図である。装置2000は、本明細書に記載の方法の1または複数を実装するために使用されてもよい。装置2000は、スマートフォン、タブレット、コンピュータ、モノのインターネット(IoT)受信機等に実施されてもよい。装置2000は、1つ以上のプロセッサ2002と、1つ以上のメモリ2004と、映像処理ハードウェア2006と、を含んでもよい。1または複数のプロセッサ2002は、本明細書に記載される1または複数の方法(例えば、図6から図9に記載)を実装するように構成されてもよい。メモリ(複数可)2004は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア2006は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。いくつかの実施形態において、ハードウェア2006は、1つ以上のプロセッサ2002、例えばグラフィックプロセッサ内に部分的にまたは全体が含まれてもよい。
【0060】
図3は、本開示の技法を利用し得る例示的な映像コーディングシステム100を示すブロック図である。図3に示すように、映像コーディングシステム100は、送信元デバイス110と、送信先デバイス120と、を備えてもよい。送信元装置110は、符号化された映像データを生成するものであり、映像符号化機器とも呼ばれ得る。送信先デバイス120は、送信元デバイス110によって生成された符号化された映像データをデコーディングしてよく、映像デコーディングデバイスと呼ばれ得る。送信元デバイス110は、映像ソース112と、映像エンコーダ114と、入出力(I/O)インターフェース116と、を含んでよい。
【0061】
映像ソース112は、映像キャプチャデバイスなどのソース、映像コンテンツプロバイダからの映像データを受信するためのインターフェース、および/または映像データを生成するためのコンピュータグラフィックスシステム、またはこれらのソースの組み合わせを含んでもよい。映像データは、1または複数のピクチャを含んでもよい。映像エンコーダ114は、映像ソース112からの映像データを符号化し、ビットストリームを生成する。ビットストリームは、映像データのコーディングされた表現を形成するビットのシーケンスを含んでもよい。ビットストリームは、コーディングされたピクチャおよび関連付けられたデータを含んでもよい。コーディングされたピクチャは、ピクチャのコーディングされた表現である。関連付けられたデータは、シーケンスパラメータセット、ピクチャパラメータセット、および他の構文構造を含んでもよい。I/Oインターフェース116は、変復調器(モデム)および/または送信機を含んでもよい。符号化された映像データは、ネットワーク130aを介して、I/Oインターフェース116を介して送信先デバイス120に直接送信されてよい。符号化された映像データは、送信先デバイス120がアクセスするために、記録媒体/サーバ130bに記憶してもよい。
【0062】
送信先デバイス120は、I/Oインターフェース126、映像デコーダ124、および表示デバイス122を含んでもよい。
【0063】
I/Oインターフェース126は、受信機および/またはモデムを含んでもよい。I/Oインターフェース126は、送信元デバイス110または記憶媒体/サーバ130bから符号化された映像データを取得してもよい。映像デコーダ124は、符号化された映像データをデコーディングしてもよい。表示装置122は、デコーディングされた映像データをユーザに表示してもよい。表示装置122は、送信先デバイス120と一体化されてもよく、または外部表示装置とインターフェースで接続するように構成される送信先デバイス120の外部にあってもよい。
【0064】
映像エンコーダ114および映像デコーダ124は、高効率映像コーディング(HEVC)規格、汎用映像コーディング(VVVM)規格、および他の現在のおよび/またはさらなる規格等の映像圧縮規格に従って動作してもよい。
【0065】
図4は、映像エンコーダ200の一例を示すブロック図であり、この映像エンコーダ200は、図3に示されるシステム100における映像エンコーダ114であってもよい。
【0066】
映像エンコーダ200は、本開示の技術のいずれかまたは全部を行うように構成されてもよい。図4の実施例において、映像エンコーダ200は、複数の機能モジュールを含む。本開示で説明される技法は、映像エンコーダ200の様々なコンポーネント間で共有されてもよい。いくつかの例では、プロセッサは、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。
【0067】
映像エンコーダ200の機能コンポーネントは、分割ユニット201、予測ユニット202、残差生成ユニット207、変換ユニット208、量子化ユニット209、逆量子化ユニット210、逆変換ユニット211、再構成ユニット212、バッファ213、およびエントロピー符号化ユニット214を含んでもよく、予測ユニット202は、モード選択ユニット203、動き推定ユニット204、動き補償ユニット205、およびイントラ予測ユニット206を含む。
【0068】
他の例において、映像エンコーダ200は、さらに多くの、さらに少ない、または異なる機能コンポーネントを含んでもよい。一例において、予測ユニット202は、イントラブロックコピー(IBC)ユニットを含んでもよい。IBCユニットは、少なくとも1つの参照ピクチャが、現在の映像ブロックが位置するピクチャであるIBCモードにおいて予測を行ってもよい。
【0069】
さらに、動き推定ユニット204および動き補償ユニット205などのいくつかのコンポーネントは、高度に統合されてもよいが、説明のために、図4の例においては個別に表現されている。
【0070】
分割ユニット201は、ピクチャを1または複数の映像ブロックに分割してもよい。映像エンコーダ200および映像デコーダ300は、様々な映像ブロックサイズをサポートしてもよい。
【0071】
モード選択ユニット203は、例えば、誤りの結果に基づいて、イントラまたはインターのコーディングモードのうちの1つを選択し、得られたイントラまたはインターコーディングされたブロックを残差生成ユニット207に供給し、残差ブロックデータを生成して再構成ユニット212に供給し、符号化されたブロックを参照ピクチャとして使用するために再構成してもよい。いくつかの例において、モード選択ユニット203は、インター予測信号およびイントラ予測信号に基づいて予測を行うCIIP(Combination of Intra and Inter Prediction)モードを選択してもよい。モード選択ユニット203は、インター予測の場合、ブロックのために動きベクトルの解像度(例えば、サブピクセルまたは整数ピクセル精度)を選択してもよい。
【0072】
現在の映像ブロックに対してインター予測を行うために、動き推定ユニット204は、バッファ213からの1つ以上の参照フレームと現在の映像ブロックとを比較することにより、現在の映像ブロックに対する動き情報を生成してもよい。動き補償ユニット205は、動き情報および現在の映像ブロックに関連付けられたピクチャ以外のバッファ213からのピクチャのデコーディングされたサンプルに基づいて、現在の映像ブロックに対する予測映像ブロックを決定してもよい。
【0073】
動き推定ユニット204および動き補償ユニット205は、現在の映像ブロックがIスライスであるか、Pスライスであるか、またはBスライスであるかに基づいて、例えば、現在の映像ブロックに対して異なる動作を行ってもよい。
【0074】
いくつかの例において、動き推定ユニット204は、現在の映像ブロックに対して単一方向予測を行い、動き推定ユニット204は、現在の映像ブロックに対して、参照映像ブロック用のリスト0またはリスト1の参照ピクチャを検索してもよい。そして、動き推定ユニット204は、参照映像ブロックと、現在の映像ブロックと参照映像ブロックとの間の空間的変位を示す動きベクトルとを含む、リスト0またはリスト1における参照ピクチャを示す参照インデックスを生成してもよい。動き推定ユニット204は、参照インデックス、予測方向インジケータ、および動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償ユニット205は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在のブロックの予測映像ブロックを生成してもよい。
【0075】
他の例において、動き推定ユニット204は、現在の映像ブロックに対して双方向予測を行ってもよく、動き推定ユニット204は、現在の映像ブロックに対する参照映像ブロックについて、リスト0から参照ピクチャを検索してもよく、また、現在の映像ブロックに対する別の参照映像ブロックについて、リスト1における参照ピクチャも検索してもよい。そして、動き推定ユニット204は、参照映像ブロックを含むリスト0およびリスト1における参照ピクチャを示す参照インデックスと、参照映像ブロックと現在の映像ブロックとの間の空間的変位を示す動きベクトルとを生成してもよい。動き推定ユニット204は、現在の映像ブロックの参照インデックスおよび動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償ユニット205は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在の映像ブロックの予測映像ブロックを生成してもよい。
【0076】
いくつかの例において、動き推定ユニット204は、デコーダのデコーディングプロセスのために、動き情報のフルセットを出力してもよい。
【0077】
いくつかの例では、動き推定ユニット204は、現在の映像のための動き情報のフルセットを出力しなくてもよい。むしろ、動き推定ユニット204は、別の映像ブロックの動き情報を参照して、現在の映像ブロックの動き情報を信号通知してもよい。例えば、動き推定ユニット204は、現在の映像ブロックの動き情報が近隣の映像ブロックの動き情報に十分に類似していることを判定してもよい。
【0078】
一例において、動き推定ユニット204は、現在の映像ブロックに関連付けられた構文構造において、現在の映像ブロックが別の映像ブロックと同一の動き情報を有することを映像デコーダ300に示す値を示してもよい。
【0079】
他の例において、動き推定ユニット204は、現在の映像ブロックに関連付けられた構文構造において、別の映像ブロックと、MVD(Motion Vector Difference)とを識別してもよい。動きベクトル差分は、現在の映像ブロックの動きベクトルと、示された映像ブロックの動きベクトルとの差分を示す。映像デコーダ300は、指定された映像ブロックの動きベクトルと動きベクトル差分とを使用して、現在の映像ブロックの動きベクトルを決定してもよい。
【0080】
上述したように、映像エンコーダ200は、動きベクトルを予測的に信号通知してもよい。映像エンコーダ200によって実装され得る予測信号通知技法の2つの例は、AMVP(Advanced Motion Vector Prediction)およびマージモード信号通知を含む。
【0081】
イントラ予測ユニット206は、現在の映像ブロックに対してイントラ予測を行ってもよい。イントラ予測ユニット206が現在の映像ブロックにイントラ予測を行う場合、イントラ予測ユニット206は、同じピクチャにおける他の映像ブロックのデコーディングされたサンプルに基づいて、現在の映像ブロックのための予測データを生成してもよい。現在の映像ブロックのための予測データは、予測された映像ブロックおよび様々な構文要素を含んでもよい。
【0082】
残差生成ユニット207は、現在の映像ブロックから現在の映像ブロックの予測された映像ブロックを減算することによって(例えば、マイナス符号によって示されている)、現在の映像ブロックに対する残差データを生成してもよい。現在の映像ブロックの残差データは、現在の映像ブロックにおけるサンプルの異なるサンプル成分に対応する残差映像ブロックを含んでもよい。
【0083】
他の例において、例えば、スキップモードにおいて、現在の映像ブロックに対する残差データがなくてもよく、残差生成ユニット207は、減算動作を行わなくてもよい。
【0084】
変換処理ユニット208は、現在の映像ブロックに関連付けられた残差映像ブロックに1または複数の変換を適用することによって、現在の映像ブロックのための1または複数の変換係数映像ブロックを生成してもよい。
【0085】
変換処理ユニット208が現在の映像ブロックに関連付けられた変換係数映像ブロックを生成した後、量子化ユニット209は、現在の映像ブロックに関連付けられた1または複数の量子化パラメータ(QP:Quantization Parameter)値に基づいて、現在の映像ブロックに関連付けられた変換係数映像ブロックを量子化してもよい。
【0086】
逆量子化ユニット210および逆変換ユニット211は、変換係数映像ブロックに逆量子化および逆変換をそれぞれ適用し、変換係数映像ブロックから残差映像ブロックを再構成してもよい。再構成ユニット212は、予測ユニット202によって生成された1または複数の予測映像ブロックから対応するサンプルに再構成された残差映像ブロックを追加して、バッファ213に格納するための現在のブロックに関連付けられた再構成された映像ブロックを生成してもよい。
【0087】
再構成ユニット212が映像ブロックを再構成した後、映像ブロックにおける映像ブロッキングアーチファクトを縮小するために、ループフィルタリング動作が行われてもよい。
【0088】
エントロピー符号化ユニット214は、映像エンコーダ200の他の機能コンポーネントからデータを受信してもよい。エントロピー符号化ユニット214がデータを受信した場合、エントロピー符号化ユニット214は、1または複数のエントロピー符号化動作を行い、エントロピー符号化されたデータを生成し、エントロピー符号化されたデータを含むビットストリームを出力してもよい。
【0089】
図5は、映像デコーダ300の一例を示すブロック図であり、この映像デコーダ300は、図3に示すシステム100における映像デコーダ114であってもよい。
【0090】
映像デコーダ300は、本開示の技術のいずれかまたは全てを行うように構成されてもよい。図5の実施例において、映像デコーダ300は、複数の機能コンポーネントを含む。本開示で説明される技法は、映像デコーダ300の様々なコンポーネント間で共有されてもよい。いくつかの例では、プロセッサは、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。
【0091】
図5の実施例において、映像デコーダ300は、エントロピーデコーディングユニット301、動き補償ユニット302、イントラ予測ユニット303、逆量子化ユニット304、逆変換ユニット305、および再構成ユニット306、並びにバッファ307を含む。映像デコーダ300は、いくつかの例では、映像エンコーダ200(図4)に関して説明した符号化パスとほぼ逆のデコーディングパスを行ってもよい。
【0092】
エントロピーデコーディングユニット301は、符号化されたビットストリームを取り出す。符号化されたビットストリームは、エントロピーコーディングされた映像データ(例えば、映像データの符号化されたブロック)を含んでもよい。エントロピーデコーディングユニット301は、エントロピーコーディングされた映像データをデコーディングし、エントロピーデコーディングされた映像データから、動き補償ユニット302は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、および他の動き情報を含む動き情報を決定してもよい。動き補償ユニット302は、例えば、AMVPおよびマージモードを行うことで、このような情報を判定してもよい。
【0093】
動き補償ユニット302は、動き補償されたブロックを生成してもよく、場合によっては、補間フィルタに基づいて補間を行う。サブピクセルの精度で使用される補間フィルタのための識別子が、構文要素に含まれてもよい。
【0094】
動き補償ユニット302は、映像ブロックの符号化中に映像エンコーダ20によって使用されるような補間フィルタを使用して、参照ブロックのサブ整数ピクセルのための補間値を計算してもよい。動き補償ユニット302は、受信した構文情報に基づいて、映像エンコーダ200により使用される補間フィルタを決定し、予測ブロックを生成すべく補間フィルタを使用してしてもよい。
【0095】
動き補償ユニット302は、符号化された映像シーケンスのフレームおよび/またはスライスを符号化するために使用されるブロックのサイズを判定するための構文情報、符号化された映像シーケンスのピクチャの各マクロブロックがどのように分割されるかを記述する分割情報、各分割がどのように符号化されるかを示すモード、各インター符号化されたブロックに対する1または複数の参照フレーム(および参照フレームリスト)、および符号化された映像シーケンスをデコーディングするための他の情報のいくつかを使用してもよい。
【0096】
イントラ予測ユニット303は、例えば、ビットストリームにおいて受信したイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成してもよい。逆量子化ユニット303は、ビットストリームに提供され、エントロピーデコーディングユニット301によってデコーディングされる量子化された映像ブロック係数を逆量子化(すなわち、逆量子化)する。逆変換ユニット303は、逆変換を適用する。
【0097】
再構成ユニット306は、残差ブロックと、動き補償ユニット202またはイントラ予測ユニット303によって生成された対応する予測ブロックとを合計し、デコーディングされたブロックを形成してもよい。所望であれば、ブロックアーチファクトを除去するために、デコーディングされたブロックをフィルタリングするためにデブロッキングフィルタを適用してもよい。デコーディングされた映像ブロックは、バッファ307に記憶され、バッファ307は、後続の動き補償/イントラ予測のために参照ブロックを提供し、また表示装置に表示するためにデコーディングされた映像を生成する。
【0098】
図6図10は、上述した技術的解決策を実装することができる例示的な方法を示し、例えば、この実施形態は図1図5に示す。
【0099】
図6は、映像処理の方法600の一例を示すフローチャートを示す。この方法600は、動作610において、1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、ピクチャタイミング(PT)補足強化情報(SEI)メッセージが、ビットストリームに含まれる場合、アクセスユニット(AU)固有であることを規定し、ランダムアクセススキップドリーディング(RASL)ピクチャである1つ以上のピクチャのうちの各ピクチャは、RASLネットワーク抽象化レイヤユニットタイプ(NUT)のみを含む。
【0100】
図7は、映像処理の方法700の一例を示すフローチャートを示す。この方法700は、動作710において、1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、ランダムアクセススキップリーディング(RASL)ピクチャ内のランダムアクセス復号可能(RADL)サブピクチャを、RASLピクチャと同じクリーンランダムアクセス(CRA)ピクチャに関連するRADLピクチャにおいて、同一位置に配置されたRADLピクチャを予測するための参照サブピクチャとして使用することを許可するフォーマット規則に準拠する。
【0101】
図8は、映像処理の方法800の一例を示すフローチャートを示す。この方法800は、動作810において、1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、このフォーマット規則は、第1のフラグに関連付けられ、かつピクチャオーダカウントのためのデコーディングプロセスにおける、ピクチャの導出が第2のフラグに基づくことを規定し、この第1のフラグに関連付けられたピクチャは、(i)参照ピクチャリスト構文構造を参照するスライスまたはピクチャヘッダと同じ第1の識別子、(ii)0に等しい第2の識別子および第2のフラグ、並びに(iii)ランダムアクセススキップドリーディング(RASL)ピクチャおよびランダムアクセス復号可能リーディング(RADL)ピクチャとは異なるピクチャタイプを有する、復号順で前のピクチャであり、第1のフラグは、第2のフラグがビットストリームに存在するかどうかを示し、第2のフラグは、現在のピクチャを参照ピクチャとして使用するかどうかを示し、第3のフラグは、長期参照ピクチャのピクチャオーダカウントの1つ以上の最上位ビットの値を決定するために使用される。
【0102】
図9は、映像処理の方法900の一例を示すフローチャートを示す。この方法900は、動作910において、1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、このフォーマット規則は、デコーディングユニット(DU)の除去またはDUのデコーディングのタイミングを決定するために使用される変数が、アクセスユニット(AU)固有のものであり、現在のピクチャを参照ピクチャとして使用することが許可されるかどうかを示すフラグに基づいて導出されることを規定する。
【0103】
図10は、映像処理の方法1000の一例を示すフローチャートを示す。この方法1000は、動作1010において、1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、バッファリング期間補足強化情報(SEI)メッセージおよびピクチャタイミングSEIメッセージが、ビットストリームに含まれる場合、アクセスユニット(AU)固有であることを規定するフォーマット規則に準拠し、バッファリング期間SEIメッセージに関連付けられた第1の変数およびバッファリング期間SEIメッセージに関連付けられた第2の変数およびピクチャタイミングSEIメッセージは、現在のピクチャを参照ピクチャとして使用することが許可されるかどうかを示すフラグに基づいて導出され、第1の変数は、(i)0に等しい識別子と、(ii)ランダムアクセススキップドリーディング(RASL)ピクチャまたはランダムアクセス復号可能リーディング(RADL)ピクチャではなく、このフラグが0に等しいピクチャと、を含むアクセスユニットを示し、第2の変数は、現在のAUが復号順で最初のAUでないこと、および復号順で前のAUが(i)0に等しい識別子と(ii)ランダムアクセススキップドリーディング(RASL)ピクチャまたはランダムアクセス復号可能リーディング(RADL)ピクチャでなく、フラグが0に等しいピクチャとを含むことを示す。
【0104】
図11は、映像処理の方法1100の一例を示すフローチャートを示す。この方法1100は、動作1110において、1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、このフォーマット規則は、第1のピクチャと第2のピクチャに関連付けられた第1の変数および第2の変数の導出がフラグに基づくことを規定し、第1のピクチャは、現在のピクチャであり、第2のピクチャは、(i)0に等しい第1の識別子を含み、(ii)0に等しいフラグを含み、(iii)ランダムアクセススキップドリーディング(RASL)ピクチャまたはランダムアクセス復号可能リーディング(RADL)ピクチャではない復号順で前のピクチャであり、第1の変数および第2の変数は、第1のピクチャのそれと等しい第2の識別子を有する、(i)第1のピクチャ、(ii)第2のピクチャ、(iii)第1のピクチャの参照ピクチャリストの全てのエントリが参照する1つ以上の短期参照ピクチャ、並びに(iv)第1のピクチャのCPB除去時間より短いコーディングされたピクチャバッファ(CPB)除去時間、および第1のピクチャのCPB除去時間以上のデコーディングされたピクチャバッファ(DPB)出力時間で出力された各ピクチャ、の各々のピクチャオーダカウントのそれぞれ、最大値および最小値である。
【0105】
図12は、映像処理の方法1200の一例を示すフローチャートを示す。この方法1200は、動作1210において、1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、フラグと構文要素が、ビットストリームに含まれている場合には、アクセスユニット(AU)固有であることを規定し、フラグは、現在のAUが復号順でビットストリームの最初のAUではないことに呼応して、現在のAUの公称コーディングされたピクチャバッファ(CPB)除去時間が、(a)バッファリング期間補足強化情報(SEI)メッセージに関連付けられた前のAUの公称CPB除去時間、または(b)現在のAUの公称CPB除去時間に関連して決定されるかどうかを示し、構文要素は、現在のAUが復号順でビットストリームの最初のAUではないことに呼応して、現在のAUの公称CPB除去時間に関連するCPB除去遅延増分値を規定する。
【0106】
図13は、映像処理の方法1300の一例を示すフローチャートを示す。この方法1300は、動作1310において、1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、複数の変数とピクチャタイミング補足強化情報(SEI)メッセージおよびピクチャタイミングSEIメッセージが、ビットストリームに含まれる場合、アクセスユニット(AU)固有であることを規定し、ピクチャタイミングSEIメッセージは、複数の構文要素を含み、複数の変数のうちの第1の変数が、現在のAUがバッファリング期間SEIメッセージに関連付けられているかどうかを示し、複数の変数のうち第2の変数と第3の変数は、現在のAUが仮想参照デコーダ(HRD)を初期化するAUであるかどうかの指示に関連付けられており、複数の構文要素のうち第1の構文要素は、AUをコーディングされたピクチャバッファ(CPB)から除去した後、AUの1つ以上のデコーディングされたピクチャがデコーディングされたピクチャバッファ(DPB)から出力されるまで待つためのクロックティック数を規定し、複数の構文要素のうち第2の構文要素は、AUの最後のデコーディングユニット(DU)をCPBから除去した後、AUの1つ以上のデコーディングされたピクチャがDPBから出力されるまで待つためのサブクロックティックの数を規定し、複数の構文要素のうちの第3の構文要素は、現在のAUの1つ以上のデコーディングされたピクチャが表示モデルに対して占める要素のピクチャ期間間隔の数を規定する。
【0107】
図14は、映像処理の方法1400の一例を示すフローチャートを示す。この方法1400は、動作1410において、1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、デコーディングされたピクチャバッファ(DPB)に関連付けられた構文要素が、ビットストリームに含まれる場合、アクセスユニット(AU)固有であることを規定し、構文要素は、AUの最後のデコーディングユニット(DU)をコーディングされたピクチャバッファ(CPB)から除去した後、AUの1つ以上のデコーディングされたピクチャがDPBから出力されるまで待つためのサブクロックティックの数を規定する。
【0108】
図15は、映像処理の方法1500の一例を示すフローチャートを示す。方法1500は、動作1510において、1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、ビットストリームは、フラグが、ビットストリームに含まれている場合には、アクセスユニット(AU)固有であることを規定するフォーマット規則に準拠し、フラグの値は、関連付けられたAUがイントラランダムアクセスポイント(IRAP)AUであるか、または漸次的デコーディング更新(GDR)AUであるかに基づいており、フラグの値は、(i)構文要素が、バッファリング期間補足強化情報(SEI)メッセージに存在しているかどうか、(ii)代替のタイミング情報が現在のバッファリング期間のピクチャタイミングSEIメッセージに存在するかどうかを規定する。
【0109】
図16は、映像処理の方法1600の一例を示すフローチャートを示す。方法1600は、動作1610において、1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、第1の構文要素の値が、仮想参照デコーダ(HRD)の連続するピクチャの出力時間の間の時間的距離が制約されているかどうかを示すフラグと、デコーディングされる時間的サブレイヤのうち最も高いものを特定する変数とに基づくことを規定するフォーマット規則に準拠し、第1の構文要素は、現在のAUの1つ以上のデコーディングされたピクチャが表示モデルに対して占める要素のピクチャ期間間隔の数を規定する。
【0110】
次に、いくつかの実施形態において好適な解決策を列挙する。
【0111】
A1.この映像処理方法は、1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、ピクチャタイミング(PT)補足強化情報(SEI)メッセージが、ビットストリームに含まれる場合、アクセスユニット(AU)固有であることを規定し、ランダムアクセススキップドリーディング(RASL)ピクチャである1つ以上のピクチャのうちの各ピクチャは、RASLネットワーク抽象化レイヤユニットタイプ(NUT)のみを含む。
【0112】
A2.解決策A1に記載の方法において、関連付けられたAUにおいて、第1のフラグが0に等しく、第2のフラグが0に等しいRASLピクチャであることに呼応して、第1のフラグは、ピクチャパラメータセット(PPS)を参照する各ピクチャが2つ以上の映像コーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットであるかどうか、および2つ以上のVCL NALユニットのうちの少なくとも2つが異なるタイプであるかどうかを示し、第2のフラグは、時間情報に関する1つ以上の構文要素がピクチャタイミングSEIメッセージに存在することが許容されるかどうかを示す。
【0113】
A3.第1のフラグはpps_mixed_nalu_types_in_pic_flagであり、第2のフラグはpt_cpb_alt_timing_info_present_flagである、解決策A2に記載の方法。
【0114】
A4.1つ以上の構文要素は、NAL仮想参照デコーダ(HRD)用のj番目のコーディングされたピクチャバッファ(CPB)に対するi番目のサブレイヤのための代替の初期CPB除去遅延デルタを90kHzクロックの単位で示す第1の構文要素と、NAL HRD用のj番目のCPBに対するi番目のサブレイヤのための代替の初期CPB除去オフセットデルタを90kHzクロックの単位で示す第2の構文要素と、NAL HRD用のi番目のサブレイヤのために、PT SEIメッセージに関連付けられたAUがバッファリング期間(BP)SEIメッセージに関連付けられたAUに復号順で直接続く場合、PT SEIメッセージに関連付けられたAUおよび復号順で1つ以上の後続のAUの公称CPB除去時間の導出に使用するオフセットを示す第3の構文要素と、NAL HRD用のi番目のサブレイヤのために、PT SEIメッセージに関連付けられたAUがBP SEIメッセージに関連付けられたIRAP AUに復号順で直接続く場合、BP SEIメッセージに関連付けられたイントラランダムアクセスポイント(IRAP)AUのデコーディングされたピクチャバッファ(DPB)出力時間の導出に使用するオフセットを示す第4の構文要素と、VCL HRD用のj番目のCPBに対するi番目のサブレイヤのための代替の初期CPB除去遅延デルタを90kHzクロックの単位で示す第5の構文要素と、VCL HRD用のj番目のCPBに対するi番目のサブレイヤのための代替の初期CPB除去オフセットデルタを90kHzクロックの単位で示す第6の構文要素と、VCL HRD用のi番目のサブレイヤのために、PT SEIメッセージに関連付けられたAUがBP SEIメッセージに関連付けられたAUに復号順で直接続く場合、PT SEIメッセージに関連付けられたAUおよび復号順で1つ以上の後続AUの公称CPB除去時間の導出に使用するオフセットを示す第7の構文要素と、
VCL HRD用のi番目のサブレイヤのために、PT SEIメッセージに関連付けられたAUが、BP SEIメッセージに関連付けられたIRAP AUに復号順で直接続く場合、BP SEIメッセージに関連付けられたIRAP AUのDPB出力時間の導出に使用されるオフセットを示す第8の構文要素と、のうちの少なくとも1つを含む、解決策A2に記載の方法。
【0115】
A5.関連付けられたAUにおける各ピクチャが、各VCL NALユニットがRASL NUTである、映像コーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットを含むRASLピクチャであることに呼応して、フラグが0に等しく、このフラグは、タイミング情報に関する1つ以上の構文要素がピクチャタイミングSEIメッセージに存在するかどうかを示す、解決策A1に記載の方法。
【0116】
A6.フラグは、pt_cpb_alt_timing_info_present_flagである、解決策A5に記載の方法。
【0117】
A7.1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、このフォーマット規則は、ランダムアクセススキップドリーディング(RASL)ピクチャと同じクリーンランダムアクセス(CRA)ピクチャに関連付けられたランダムアクセス復号可能リーディング(RADL)ピクチャにおいて、同一位置に配置されたRADLピクチャを予測するための参照サブピクチャとしてRASLピクチャにおけるRADLサブピクチャの使用を許可する、映像処理方法。
【0118】
次に、いくつかの実施形態において好適な別の解決策を列挙する。
【0119】
B1.1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、このフォーマット規則は、第1のフラグに関連付けられ、かつピクチャオーダカウントのためのデコーディングプロセスにおける、ピクチャの導出が第2のフラグに基づくことを規定し、この第1のフラグに関連付けられたピクチャは、(i)参照ピクチャリスト構文構造を参照する、スライスまたはピクチャヘッダと同じ第1の識別子、(ii)0に等しい第2の識別子および第2のフラグ、並びに(iii)ランダムアクセススキップドリーディング(RASL)ピクチャおよびランダムアクセス復号可能リーディング(RADL)ピクチャとは異なるピクチャタイプを有する、復号順で前のピクチャであり、第1のフラグは、第3のフラグがビットストリームに存在するかどうかを示し、第2のフラグは、現在のピクチャを参照ピクチャとして使用するかどうかを示し、第3のフラグは、長期参照ピクチャのピクチャオーダカウント値の1つ以上の最上位ビットの値を決定するために使用される、映像処理方法。
【0120】
B2.第1の識別子がレイヤの識別子であり、第2の識別子が時間的識別子である、解決策B1に記載の方法。
【0121】
B3.第1の識別子が構文要素であり、第2の識別子が変数である、解決策B1に記載の方法。
【0122】
B4.B1~B3のうち、第1のフラグがdelta_poc_msb_cycle_present_flagであり、第2のフラグがph_non_ref_pic_flagであり、第3のフラグがdelta_poc_msb_cycle_present_flagであり、第1の識別子が、nuh_layer_idであり、第2の識別子がTemporalIdである解決策B1~B3のいずれかに記載の方法。
【0123】
B5.1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、このフォーマット規則は、デコーディングユニット(DU)の除去またはDUのデコーディングのタイミングを決定するために使用される変数が、アクセスユニット(AU)固有のものであり、現在のピクチャを参照ピクチャとして使用することが許可されるかどうかを示すフラグに基づいて導出されることを規定する、映像処理方法。
【0124】
B6.変数はprevNonDiscardableAuであり、フラグはph_non_ref_pic_flagである、解決策B5に記載の方法。
【0125】
B7.ph_non_ref_pic_flagが1に等しいことは、現在のピクチャは参照ピクチャとして決して使用されないことを規定する、解決策B6に記載の方法。
【0126】
B8.ph_non_ref_pic_flagが0に等しいことは、現在のピクチャを参照ピクチャとして使用してもしなくてもよいことを規定する解決策B6に記載の方法。
【0127】
B9.1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、バッファリング期間補足強化情報(SEI)メッセージおよびピクチャタイミングSEIメッセージが、ビットストリームに含まれる場合、アクセスユニット(AU)固有であることを規定し、バッファリング期間SEIメッセージに関連付けられた第1の変数およびバッファリング期間SEIメッセージに関連付けられた第2の変数およびピクチャタイミングSEIメッセージは、現在のピクチャを参照ピクチャとして使用することが許可されるかどうかを示すフラグに基づいて導出され、この第1の変数は、(i)0に等しい識別子と、(ii)ランダムアクセススキップドリーディング(RASL)ピクチャまたはランダムアクセス復号可能リーディング(RADL)ピクチャではなく、このフラグが0に等しいピクチャとを含むアクセスユニットを示し、第2の変数は、復号順で最初のAUでない現在のAUと、(i)0に等しい識別子と(ii)ランダムアクセススキップドリーディング(RASL)ピクチャまたはランダムアクセス復号可能リーディング(RADL)ピクチャでなく、フラグが0に等しいピクチャとを含むことを示す復号順で前のAUを示す、映像処理方法。
【0128】
B10.識別子が時間的識別子である、解決策B9に記載の方法。
【0129】
B11.第1の変数はnotDiscardableAuであり、第2の変数はprevNonDiscardableAuであり、フラグはph_non_ref_pic_flagであり、識別子はTemporalIdである、解決策B9に記載の方法。
【0130】
B12.1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、このフォーマット規則は、第1のピクチャと第2のピクチャに関連付けられた第1の変数および導出がフラグに基づくことを規定し、第1のピクチャは、現在のピクチャであり、第2のピクチャは、(i)0に等しい第1の識別子を含み、(ii)0に等しいフラグを含み、(iii)ランダムアクセススキップドリーディング(RASL)ピクチャまたはランダムアクセス復号可能リーディング(RADL)ピクチャではない、復号順で前のピクチャであり、第1の変数および第2の変数は、第1のピクチャのそれと等しい第2の識別子を有する、(i)第1のピクチャ、(ii)第2のピクチャ、(iii)第1のピクチャの参照ピクチャリストの全てのエントリが参照する1つ以上の短期参照ピクチャ、並びに(iv)第1のピクチャのCPB除去時間より短いコーディングされたピクチャバッファ(CPB)除去時間、および第1のピクチャのCPB除去時間以上のデコーディングされたピクチャバッファ(DPB)出力時間で出力された各ピクチャ、の各々のピクチャオーダカウントのそれぞれ、最大値および最小値である、映像処理方法。
【0131】
B13.第1の変数はピクチャオーダカウントの最大値を示し、第2の変数はピクチャオーダカウントの最小値を示す、解決策B12に記載の方法。
【0132】
B14.フラグは、現在のピクチャを参照ピクチャとして使用することが許可されるかどうかを示す、解決策B12に記載の方法。
【0133】
B15.第1の識別子は時間的識別子であり、第2の識別子はレイヤの識別子である、解決策B12に記載の方法。
【0134】
B16.第1の変数はmaxPicOrderCntであり、第2の変数はminPicOrderCntであり、第1の識別子はTemporalIdであり、第2の識別子はnuh_layer_idであり、フラグはph_non_ref_pic_flagである、解決策B12~B15のいずれかに記載の方法。
【0135】
次に、いくつかの実施形態において好適なさらに別の解決策を列挙する。
【0136】
C1.1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、フラグと構文要素が、ビットストリームにバッファリング期間補足強化情報(SEI)メッセージ含まれている場合には、アクセスユニット(AU)固有であることを規定し、フラグは、現在のAUが復号順でビットストリームの最初のAUではないことに呼応して、現在のAUの公称コーディングされたピクチャバッファ(CPB)除去時間が、(a)バッファリング期間補足強化情報(SEI)メッセージに関連付けられた前のAUの公称CPB除去時間、または(b)現在のAUの公称CPB除去時間に関連して決定されるかどうかを示し、構文要素は、現在のAUが復号順でビットストリームの最初のAUではないことに呼応して、現在のAUの公称CPB除去時間に関連するCPB除去遅延増分値を規定する、映像処理方法。
【0137】
C2.構文要素の長さが、バッファリング期間SEIメッセージの構文構造に示される、解決策C1に記載の方法。
【0138】
C3.構文要素の長さは、(bp_cpb_removal_delay_length_minus1+1)ビットである、解決策C1に記載の方法。
【0139】
C4.フラグはbp_concatenation_flagであり、構文要素はbp_cpb_removal_delay_delta_minus1である、解決策C1~C3のいずれかに記載の方法。
【0140】
C5.1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、複数の変数とピクチャタイミング補足強化情報(SEI)メッセージおよびピクチャタイミングSEIメッセージが、ビットストリームに含まれる場合、アクセスユニット(AU)固有であることを規定し、ピクチャタイミングSEIメッセージは、複数の構文要素を含み、複数の変数のうちの第1の変数は、現在のAUがバッファリング期間SEIメッセージに関連付けられているかどうかを示し、複数の変数のうち第2の変数と第3の変数は、現在のAUが仮想参照デコーダ(HRD)を初期化するAUであるかどうかの指示に関連付けられており、複数の構文要素のうち第1の構文要素は、AUをコーディングされたピクチャバッファ(CPB)から除去した後、AUの1つ以上のデコーディングされたピクチャがデコーディングされたピクチャバッファ(DPB)から出力されるまで待つためのクロックティック数を規定し、複数の構文要素のうち第2の構文要素は、AUの最後のデコーディングユニット(DU)をCPBから除去した後、AUの1つ以上のデコーディングされたピクチャがDPBから出力されるまで待つためのサブクロックティックの数を規定し、複数の構文要素のうちの第3の構文要素は、現在のAUの1つ以上のデコーディングされたピクチャが表示モデルに対して占める要素のピクチャ期間間隔の数を規定する、映像処理方法。
【0141】
C6.第1の変数はBpResetFlagであり、第2の変数はCpbRemovalDelayMsbであり、第3の変数はCpbRemovalDelayValである、解決策C5に記載の方法。
【0142】
C7.第1の構文要素はpt_dpb_output_delayであり、第2の構文要素はpt_dpb_output_du_delayであり、第3の構文要素はpt_display_elemental_periods_minus1である、解決策C5に記載の方法。
【0143】
C8.1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、デコーディングピクチャバッファ(DPB)に関連付けられた構文要素が、ビットストリームに含まれる場合、アクセスユニット(AU)固有であることを規定し、構文要素は、AUの最後のデコーディングユニット(DU)をコーディングされたピクチャバッファ(CPB)から除去した後、AUのうちの1つ以上のデコーディングされたピクチャが復DPBから出力されるまで待つためのサブクロックティックの数を規定する、映像処理方法。
【0144】
C9.構文要素は、DPB出力時間を計算するために使用される、解決策C8に記載の方法。
【0145】
C10.構文要素は、dui_dpb_output_du_delayである、解決策C8に記載の方法。
【0146】
次に、いくつかの実施形態において好適なさらに別の解決策を列挙する。
【0147】
D1.1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、ビットストリームは、フォーマット規則に準拠し、フラグが、フォーマット規則はビットストリームに含まれている場合には、アクセスユニット(AU)固有であることを規定するフォーマット規則に準拠し、フラグの値は、関連付けられたAUがイントラランダムアクセスポイント(IRAP)AUであるか、または漸次的デコーディング更新(GDR)AUであるかに基づいており、フラグの値は、(i)構文要素が、バッファリング期間補足強化情報(SEI)メッセージに存在しているかどうかと、(ii)代替のタイミング情報が現在のバッファリング期間のピクチャタイミングSEIメッセージに存在するかどうかとを規定する、映像処理方法。
【0148】
D2.フラグの値は、関連付けられたAUがIRAP AUまたはGDR AUでないことに呼応して、0に等しい、解決策D1に記載の方法。
【0149】
D3.フラグがビットストリームに含まれていないことに呼応して、フラグの値が0に等しいと推測される、解決策D1に記載の方法。
【0150】
D4.フラグの値が1に等しいことは、構文要素がバッファリング期間SEIメッセージに存在することを規定する、解決策D1に記載の方法。
【0151】
D5.フラグはbp_alt_cpb_params_present_flagであり、構文要素はbp_use_alt_cpb_params_flagである解決策D1~D4のいずれかに記載の方法。
【0152】
次に、いくつかの実施形態において好適なさらに別の解決策を列挙する。
【0153】
E1.1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、第1の構文要素の値が、仮想参照デコーダ(HRD)の連続するピクチャの出力時間の間の時間的距離が制約されているかどうかを示すフラグと、デコーディングされる時間的サブレイヤのうち最も高いものを特定する変数とに基づくことを規定し、第1の構文要素は、現在のAUの1つ以上のデコーディングされたピクチャが表示モデルに対して占める要素のピクチャ期間間隔の数を規定する、映像処理方法。
【0154】
E2.変数は、デコーディングされるべき最も高い時間的サブレイヤを識別する、解決策E1に記載の方法。
【0155】
E3.変数がHtidである、解決策E1またはE2に記載の方法。
【0156】
E4.フラグは、出力レイヤセット(OLS)のタイミングおよびHRDパラメータの構文構造に含まれる第2の構文要素である、解決策E1に記載の方法。
【0157】
E5.第1の構文要素は、ピクチャタイミング補足強化情報メッセージに含まれる、解決策E1に記載の方法。
【0158】
E6.フラグはfixed_pic_rate_within_cvs_flagであり、第1の構文要素はpt_display_elemental_periods_minus1であり、変数はHtidである解決策E1~E5のいずれかに記載の方法。
【0159】
以下は、上記解決策の1つ以上に適用される。
【0160】
O1.変換は、ビットストリームから映像をデコーディングすることを含む、先行する解決策のいずれかに記載の方法。
【0161】
O2.変換は、ビットストリームに映像を符号化することを含む、先行する解決策のいずれかに記載の方法。
【0162】
O3.映像を表すビットストリームをコンピュータ読み取り可能な記録媒体に記憶する方法であって、先行する解決策のいずれか1項以上に記載の方法に従って、映像からビットストリームを生成し、ビットストリームをコンピュータ読み取り可能な記録媒体に記憶させることを含む、方法。
【0163】
O4.先行する解決策のいずれか1つ以上に記載の方法を実装するように構成されたプロセッサを備える映像処理装置。
【0164】
O5.命令が記憶されたコンピュータ可読媒体であって、命令が実行されると、プロセッサに、先行する解決策に1つ以上記載の方法を実装させる、コンピュータ可読媒体。
【0165】
O6.先行する解決策のいずれか1つ以上により生成されたビットストリームを記憶するコンピュータ可読媒体。
【0166】
O7.先行する解決策のいずれか1つ以上に記載の方法を実装するように構成された、ビットストリームを記憶するための映像処理装置。
【0167】
次に、いくつかの実施形態において好適なさらに別の解決策を列挙する。
【0168】
P1.1つ以上の映像ピクチャを含む映像とこの映像のコーディングされた表現との変換を行うことを含み、このコーディングされた表現は、フォーマット規則に準拠し、このフォーマット規則は、ランダムアクセススキップドリーディング(RASL)ピクチャと同じクリーンランダムアクセスピクチャに関連付けられたランダムアクセス復号可能リーディング(RADL)ピクチャにおいて、同一位置に配置されたRADLピクチャを予測するための参照サブピクチャとしてRASLピクチャにおけるRADLサブピクチャの使用を許可する、映像処理方法。
【0169】
P2.1つ以上の映像ピクチャを含む映像とこの映像のコーディングされた表現との変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、ピクチャタイミング補足強化情報メッセージが、コーディングされた表現に含まれる場合、アクセスユニット固有であることを規定し、対応するランダムアクセススキップドリーディング(RASL)ピクチャは、RASLネットワーク抽象化レイヤユニットタイプ(NUT)を含む、映像処理方法。
【0170】
P3.変換を行うことは、コーディングされた表現を構文解析し、デコーディングして映像を生成することを含む、解決策P1またはP2に記載の方法。
【0171】
P4.変換を行うことは、映像をコーディングされた表現に符号化することを含む、解決策P1またはP2に記載の方法。
【0172】
P5.解決策P1~P4の1つ以上に記載の方法を実装するように構成されたプロセッサを備える、映像デコーディング装置。
【0173】
P6.解決策P1~P4の1つ以上に記載の方法を実装するように構成されたプロセッサを備える、映像符号化装置。
【0174】
P7.コンピュータコードが記憶されたコンピュータプログラム製品であって、コードは、プロセッサにより実行されると、プロセッサに、解決策P1~P4のいずれかに記載の方法を実装させるコンピュータプログラム製品。
【0175】
本明細書では、「映像処理」という用語は、映像符号化、映像デコーディング、映像圧縮、または映像展開を指すことができる。例えば、映像圧縮アルゴリズムは、映像の画素表現から対応するビットストリーム表現への変換中、またはその逆の変換中に適用されてもよい。現在の映像ブロックのビットストリーム表現(または単にビットストリーム)は、例えば、構文によって規定されるように、ビットストリーム内の同じ場所または異なる場所に拡散されるビットに対応していてもよい。例えば、1つのマクロブロックは、変換およびコーディングされた誤り残差値の観点から、かつビットストリームにおけるヘッダおよび他のフィールドにおけるビットを使用して、コーディングされてもよい。
【0176】
本明細書に記載された開示された、およびその他の解決策、実施形態、実施形態、モジュール、および機能動作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、もしくはハードウェアで実施されてもよく、またはそれらの1つ以上の組み合わせで実施してもよい。開示された、およびその他の実施形態は、1または複数のコンピュータプログラム製品、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1または複数のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの1または複数の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラマブル処理装置、コンピュータ、または複数の処理装置、若しくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの1または複数の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化するために生成される。
【0177】
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる)は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、成分、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部(例えば、マークアップ言語文書に格納された1つ以上のスクリプト)に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル(例えば、1または複数のモジュール、サブプログラム、またはコードの一部を格納するファイル)に記憶されていてもよい。1つのコンピュータプログラムを、1つのサイトに位置する1つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開することも可能である。
【0178】
本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を行うための1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。
【0179】
コンピュータプログラムの実行に適したプロセッサは、例えば、汎用および専用マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータの任意の1つ以上のプロセッサを含む。一般的に、プロセッサは、リードオンリーメモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を実行するためのプロセッサと、命令およびデータを記憶するための1または複数のメモリデバイスとである。一般的に、コンピュータは、データを記憶するための1または複数の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、EPROM、EEPROM、フラッシュ記憶装置、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびCD-ROMおよびDVD-ROMディスク等の半導体記憶装置を含む。プロセッサおよびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。
【0180】
本特許明細書は多くの詳細を含むが、これらは、任意の主題の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態のコンテキストで説明されている特定の特徴は、1つの例において組み合わせて実装してもよい。逆に、1つの例のコンテキストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの1つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。
【0181】
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。
【0182】
いくつかの実装形態および実施例のみが記載されており、この特許文献に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
【手続補正書】
【提出日】2022-12-21
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
1つ以上のピクチャを含む映像と前記映像のビットストリームとの変換を行うことを含み、
前記ビットストリームは、フォーマット規則に準拠し、
前記フォーマット規則は、第1の構文要素が、前記ビットストリームに含まれている場合には、アクセスユニット(AU)固有であることを規定し、
前記第1の構文要素の値は、関連付けられたAUがイントラランダムアクセスポイント(IRAP)AUであるかどうか、または漸次的デコーディング更新(GDR)AUであるかどうかに基づいており、
前記第1の構文要素の前記値は、(i)第2の構文要素が、バッファリング期間(BP)補足強化情報(SEI)メッセージに存在しているかどうかと、(ii)代替のタイミング情報が現在のBPのピクチャタイミング(PT)SEIメッセージに存在するかどうかと、を規定し、前記第2の構文要素の値は、代替のコーディングされたピクチャバッファ(CPB)パラメータを使用するかどうかを示す、
映像処理方法。
【請求項2】
前記第1の構文要素の前記値は、前記関連付けられたAUがIRAP AUまたはGDR AUでないことに呼応して、ゼロに等しい、
請求項1に記載の方法。
【請求項3】
前記第1の構文要素の前記値は、前記第1の構文要素が前記ビットストリームに含まれていないことに呼応して、ゼロに等しいと推測される、
請求項1に記載の方法。
【請求項4】
前記第1の構文要素の前記値が1に等しいことは、前記第2の構文要素が前記BP SEIッセージに存在し、かつ前記代替のタイミング情報は前記現在のBPのPT SEIメッセージに存在することを規定する、
請求項1に記載の方法。
【請求項5】
前記第1の構文要素はbp_alt_cpb_params_present_flagであり、前記第2の構文要素はbp_use_alt_cpb_params_flagである、
請求項1に記載の方法。
【請求項6】
前記フォーマット規則は、第3の構文要素の値が、仮想参照デコーダ(HRD)の連続するピクチャの出力時間の間の時間的距離が制約されるかどうかを示す第4の構文要素と、デコーディングされる時間的サブレイヤのうち最も高いものを特定する変数とに基づくことを規定し、
前記第3の構文要素は、前記現在のAUの1つ以上のデコーディングされたピクチャが表示モデルに対して占める基本的なピクチャ期間間隔の数を規定する、
請求項1に記載の方法。
【請求項7】
前記第3の構文要素は、ピクチャタイミング補足強化情報(SEI)メッセージに含まれ、前記第4の構文要素は、出力レイヤセット(OLS)タイミングおよびHRDパラメータ構文構造に含まれる、
請求項6に記載の方法。
【請求項8】
前記第3の構文要素は、pt_display_elemental_periods_minus1であり、前記第4の構文要素は、fixed_pic_rate_insint_cvs_flagであり、前記変数はHtidである、
請求項6に記載の方法。
【請求項9】
前記変換は、前記ビットストリームから前記映像をデコーディングすることを含む、
請求項1から請求項のいずれか1項に記載の方法。
【請求項10】
前記変換は、前記映像を前記ビットストリームに符号化することを含む、
請求項1から請求項のいずれか1項に記載の方法。
【請求項11】
プロセッサと、命令を備えた非一時的メモリとを含む映像データ処理装置であって、前記命令は前記プロセッサによって実行されると、前記プロセッサに、1つ以上のピクチャを含む映像と前記映像のビットストリームとの変換を行わせ、
前記ビットストリームは、フォーマット規則に準拠し、
前記フォーマット規則は、第1の構文要素が、前記ビットストリームに含まれる場合には、アクセスユニット(AU)固有であることを規定し、
前記第1の構文要素の値は、関連付けられたAUがイントラランダムアクセスポイント(IRAP)AUであるか、または漸次的デコーディング更新(GDR)AUであるかに基づいており、
前記第1の構文要素の前記値は、(i)第2の構文要素が、バッファリング期間(BP)補足強化情報(SEI)メッセージに存在するかどうか、(ii)代替のタイミング情報が現在のBPのピクチャタイミング(PT)SEIメッセージに存在するかどうかを規定し、前記第2の構文要素の値は、代替のコーディングされたピクチャバッファ(CPB)パラメータを使用するかどうかを示す、
映像データ処理装置。
【請求項12】
前記第1の構文要素の値は、前記関連付けられたAUがIRAP AUまたはGDR AUでないことに呼応して、ゼロに等しく、前記第1の構文要素が前記ビットストリームに含まれていないことに呼応して、前記第1の構文要素の前記値は、ゼロと推論される、
請求項11に記載の装置。
【請求項13】
前記第1の構文要素の前記値が1であることは、前記第2の構文要素が前記BP SEIメッセージに存在し、かつ前記代替のタイミング情報が前記現在のBPのPT SEIメッセージに存在することを規定する、
請求項11に記載の装置。
【請求項14】
前記第1の構文要素はbp_alt_cpb_params_present_flagであり、前記第2の構文要素はbp_use_alt_cpb_params_flagである、
請求項11に記載の装置。
【請求項15】
前記フォーマット規則は、第3の構文要素の値が、仮想参照デコーダ(HRD)の連続するピクチャの出力時間の間の時間的距離が制約されるかどうかを示す第4の構文要素と、デコーディングされる時間的サブレイヤのうち最も高いものを特定する変数とに基づくことを規定し、
前記第3の構文要素は、前記現在のAUの1つ以上のデコーディングされたピクチャが表示モデルに対して占める基本的なピクチャ期間間隔の数を規定し、
前記第3の構文要素は、ピクチャタイミング補足強化情報(SEI)メッセージに含まれ、
前記第4の構文要素は、出力レイヤセット(OLS)のタイミングおよびHRDパラメータの構文構造に含まれ、
前記第3の構文要素は、pt_display_elemental_periods_minus1であり、前記第4の構文要素は、fixed_pic_rate_within_cvs_flagであり、前記変数はHtidである、
請求項11に記載の装置。
【請求項16】
命令を記憶する非一時的なコンピュータ可読記憶媒体であって、前記命令は、プロセッサに、1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行わせ、
前記ビットストリームは、フォーマット規則に準拠し、
前記フォーマット規則は、第1の構文要素が、前記ビットストリームに含まれる場合には、アクセスユニット(AU)固有であることを規定し、
前記第1の構文要素の値は、関連付けられたAUがイントラランダムアクセスポイント(IRAP)AUであるか、または漸次的デコーディング更新(GDR)AUであるかに基づいており、
前記第1の構文要素の前記値は、(i)第2の構文要素が、バッファリング期間(BP)補足強化情報(SEI)メッセージに存在するかどうか、(ii)代替のタイミング情報が現在のBPのピクチャタイミング(PT)SEIメッセージに存在するかどうかを規定し、
前記第2の構文要素の値は、代替のコーディングされたピクチャバッファ(CPB)パラメータを使用するかどうかを示す、
非一時的なコンピュータ可読記憶媒体。
【請求項17】
前記第1の構文要素の前記値は、前記関連付けられたAUがIRAP AUまたはGDR AUでないことに呼応して、ゼロに等しく、
前記第1の構文要素の前記値は、前記第1の構文要素が前記ビットストリームに含まれないことに呼応して、ゼロと推測され、
前記第1の構文要素の前記値が1であることは、前記第2の構文要素が前記BP SEIメッセージに存在し、かつ前記代替のタイミング情報が前記現在のBPのPT SEIメッセージに存在することを規定し、
前記第1の構文要素はbp_alt_cpb_params_present_flagであり、前記第2の構文要素はbp_use_alt_cpb_params_flagである、
請求項16に記載の非一時的なコンピュータ可読記憶媒体。
【請求項18】
前記フォーマット規則は、第3の構文要素の値が、仮想参照デコーダ(HRD)の連続するピクチャの出力時間の間の時間的距離が制約されるかどうかを示す第4の構文要素と、デコーディングされる時間的サブレイヤのうち最も高いものを特定する変数とに基づくことを規定し、
前記第3の構文要素は、前記現在のAUの1つ以上のデコーディングされたピクチャが表示モデルに対して占める基本的なピクチャ期間間隔の数を規定し、
前記第3の構文要素は、ピクチャタイミング補足強化情報(SEI)メッセージに含まれ、
前記第4の構文要素は、出力レイヤセット(OLS)のタイミングおよびHRDパラメータの構文構造に含まれ、
前記第3の構文要素は、pt_display_elemental_periods_minus1であり、前記第4の構文要素は、fixed_pic_rate_within_cvs_flagであり、前記変数はHtidである、
請求項16に記載の非一時的なコンピュータ可読記憶媒体。
【請求項19】
映像処理装置により行われる方法で生成される映像のビットストリームを記憶する非一時的なコンピュータ可読記録媒体であって、前記方法は、
1つ以上のピクチャを含む前記映像の前記ビットストリームを生成すること、を含み、
前記ビットストリームは、フォーマット規則に準拠し、
前記フォーマット規則は、第1の構文要素が、前記ビットストリームに含まれる場合には、アクセスユニット(AU)固有であることを規定し、
前記第1の構文要素の値は、関連付けられたAUがイントラランダムアクセスポイント(IRAP)AUであるか、または漸次的デコーディング更新(GDR)AUであるかに基づいており、
前記第1の構文要素の前記値は、(i)第2の構文要素が、バッファリング期間(BP)補足強化情報(SEI)メッセージに存在するかどうか、(ii)代替のタイミング情報が現在のBPのピクチャタイミング(PT)SEIメッセージに存在するかどうかを規定し、
前記第2の構文要素の値は、代替のコーディングされたピクチャバッファ(CPB)パラメータを使用するかどうかを示す、
非一時的なコンピュータ可読記憶媒体。
【請求項20】
前記第1の構文要素の前記値は、関連付けられたAUがIRAP AUまたはGDR AUでないことに応答して、ゼロに等しく、
前記第1の構文要素の前記値は、前記第1の構文要素が前記ビットストリームに含まれていないことに呼応して、ゼロと推測され、
前記第1の構文要素の前記値が1であることは、前記第2の構文要素が前記BP SEIメッセージに存在し、かつ前記代替のタイミング情報が前記現在のBPのPT SEIメッセージに存在することを規定し、
前記第1の構文要素はbp_alt_cpb_params_present_flagであり、前記第2の構文要素はbp_use_alt_cpb_params_flagであり、
前記フォーマット規則は、第3の構文要素の値が、仮想参照デコーダ(HRD)の連続するピクチャの出力時間の間の時間的距離が制約されるかどうかを示す第4の構文要素と、デコーディングされる時間的サブレイヤのうち最も高いものを特定する変数とに基づくことを規定し、
前記第3の構文要素は、前記現在のAUの1つ以上のデコーディングされたピクチャが表示モデルに対して占める基本的なピクチャ期間間隔の数を規定し、
前記第3の構文要素は、ピクチャタイミング補足強化情報(SEI)メッセージに含まれ、
前記第4の構文要素は、出力レイヤセット(OLS)のタイミングおよびHRDパラメータの構文構造に含まれ、
前記第3の構文要素はpt_display_elemental_periods_minus1であり、前記第4の構文要素はfixed_pic_rate_within_cvs_flagであり、前記変数はHtidである、
請求項19に記載の非一時的なコンピュータ可読記憶媒体。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0001
【補正方法】変更
【補正の内容】
【0001】
関連出願の相互参照
本願は、2020年5月22日出願の米国特許仮出願第63/029,321号の優先権と利益を主張する、2021年5月21日出願の国際特許出願第PCT/US2021/033785号に基づく。前述の特許出願はすべて、参照によりその全体が本明細書に組み込まれる。
【国際調査報告】