IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ バイトダンス インコーポレイテッドの特許一覧

特開2024-133535ピクチャコーディングのためのイントラランダムアクセスポイント
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024133535
(43)【公開日】2024-10-02
(54)【発明の名称】ピクチャコーディングのためのイントラランダムアクセスポイント
(51)【国際特許分類】
   H04N 19/30 20140101AFI20240925BHJP
   H04N 19/70 20140101ALI20240925BHJP
【FI】
H04N19/30
H04N19/70
【審査請求】有
【請求項の数】20
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2024103132
(22)【出願日】2024-06-26
(62)【分割の表示】P 2022556152の分割
【原出願日】2021-03-16
(31)【優先権主張番号】62/992,046
(32)【優先日】2020-03-19
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】520477474
【氏名又は名称】バイトダンス インコーポレイテッド
【氏名又は名称原語表記】BYTEDANCE INC.
【住所又は居所原語表記】12655 West Jefferson Boulevard, Sixth Floor, Suite No. 137 Los Angeles, California 90066 United States of America
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】ワン イェクイ
(57)【要約】      (修正有)
【課題】情報の冗長な信号通知を回避することができ、誤り耐性を改善する映像の符号化や復号化のような映像処理方法および装置を提供する。
【解決手段】一例の映像処理方法は、フォーマット規則に従って、1または複数の映像ピクチャを含む1または複数の映像レイヤを有する映像と、映像のビットストリームとの間の変換を実行し、フォーマット規則は、第2のピクチャの関連付けられたイントラランダムアクセスポイントピクチャである第1の映像ピクチャと、第2のピクチャとが同じ映像レイヤに属するように制約されることを規定する。
【選択図】図7A
【特許請求の範囲】
【請求項1】
映像処理の方法であって、
フォーマット規則に従って、1または複数の映像ピクチャを含む1または複数の映像レ
イヤを有する映像と、前記映像のビットストリームとの間の変換を実行すること、
を有し、
前記フォーマット規則は、第2のピクチャの関連付けられたイントラランダムアクセス
ポイントのピクチャである第1の映像ピクチャと、前記第2のピクチャとが、同じ映像レ
イヤに属するように制約されることを規定する、方法。
【請求項2】
復号化順における前記第1の映像ピクチャと前記第2のピクチャの間において、漸進的
復号化リフレッシュ(gradual decoding refresh)のピクチャ
は前記同じ映像レイヤに存在しない、請求項1に記載の方法。
【請求項3】
前記第1の映像ピクチャと前記第2のピクチャは、映像コーディングレイヤのネットワ
ークアブストラクションレイヤユニットに属するレイヤの同じ識別子、または、非映像コ
ーディングレイヤのネットワーク抽象レイヤユニットを適用するレイヤの同じ識別子を有
する、請求項1に記載の方法。
【請求項4】
復号化順における前記第1の映像ピクチャと前記第2のピクチャの間において、前記同
じ識別子を有する漸進的復号化リフレッシュ(gradual decoding re
fresh)のピクチャは存在しない、請求項1から3のいずれか一項に記載の方法。
【請求項5】
前記フォーマット規則は更に、トレイリングピクチャが、出力順にて、関連付けられた
イントラランダムアクセスポイントのピクチャ、または、漸進的復号化リフレッシュのピ
クチャに続くことを規定する、請求項1に記載の方法。
【請求項6】
映像処理の方法であって、
フォーマット規則に従って、1または複数の映像ピクチャを含む1または複数の映像レ
イヤを有する映像と、前記映像のビットストリームとの間の変換を実行すること、
を有し、
前記フォーマット規則は、前記ビットストリームにおけるトレイリングピクチャが漸進
的復号化リフレッシュ(gradual decoding refresh)のピクチ
ャに関連付けられることを許可することを規定する、方法。
【請求項7】
前記トレイリングピクチャは、各映像コーディングレイヤのネットワーク抽象レイヤユ
ニットがトレイリングネットワーク抽象レイヤのユニットタイプを有するピクチャである
、請求項6に記載の方法。
【請求項8】
前記トレイリングピクチャは、イントラランダムアクセスポイントのピクチャに関連付
けられることを許可される、請求項6または7に記載の方法。
【請求項9】
イントラランダムアクセスポイントのピクチャ、または、漸進的復号化リフレッシュの
ピクチャに関連付けられた前記トレイリングピクチャは、復号化順において、前記イント
ラランダムアクセスポイントのピクチャ、または、前記漸進的復号化リフレッシュのピク
チャに続く、請求項6から8のいずれか一項に記載の方法。
【請求項10】
出力順において前記関連付けられたイントラランダムアクセスポイントのピクチャに続
き、かつ、復号化順において前記関連付けられたイントラランダムアクセスポイントのピ
クチャに先行するピクチャは、許可されない、請求項6から8のいずれか一項に記載の方
法。
【請求項11】
前記フォーマット規則は更に、各レイヤに対し、前記ビットストリームの前記レイヤの
第1のピクチャを除き、前記レイヤの各ピクチャは、前のイントラランダムアクセスポイ
ント、または、復号化順における同じレイヤの漸進的デコーダリフレッシュのうちのより
近いものに関連付けられるように特定されることを規定する、請求項6に記載の方法。
【請求項12】
前記トレイリングピクチャは、復号化順において、前記関連付けられたイントラランダ
ムアクセスポイント、または、漸進的デコーダリフレッシュのピクチャに続くことが要求
される、請求項6または11に記載の方法。
【請求項13】
映像処理の方法であって、
フォーマット規則に従って、1または複数の映像ピクチャを含む1または複数の映像レ
イヤを有する映像と、前記映像のビットストリームとの間の変換を実行すること、
を有し、
前記フォーマット規則は、復号化順においてイントラランダムアクセスポイントに先行
するピクチャの出力順に対する制約が、同じ映像レイヤのピクチャに適用可能であること
を規定する、方法。
【請求項14】
前記制約は、特定の値に等しいNAL(Network Abstraction L
ayer)のユニットヘッダレイヤ識別子を有し、かつ、復号化順において、前記特定の
値に等しい前記NALのユニットヘッダレイヤ識別子を通するイントラランダムアクセス
ポイントのピクチャに先行するピクチャが、出力順において、前記イントラランダムアク
セスポイントのピクチャおよびすべての関連付けられたランダムアクセス復号化可能なリ
ーディングピクチャに先行することが要求されることを規定する、請求項13に記載の方
法。
【請求項15】
前記NAL(Network Abstraction Layer)のユニットヘッ
ダレイヤ識別子は、nuh_layer_idである、請求項14に記載の方法。
【請求項16】
前記NAL(Network Abstraction Layer)のユニットヘッ
ダレイヤ識別子は、映像コーディングレイヤのネットワーク抽象レイヤユニットが属する
レイヤ、または、非映像コーディングレイヤのネットワーク抽象レイヤユニットが適用さ
れるレイヤの前記識別子を規定する、請求項14に記載の方法。
【請求項17】
映像処理の方法であって、
フォーマット規則に従って、1または複数の映像ピクチャを含む1または複数の映像レ
イヤを有する映像と、前記映像のビットストリームとの間の変換を実行すること、
を有し、
前記フォーマット規則は、(1)トレイリングピクチャが、出力順において、関連付け
られたイントラランダムアクセスポイントのピクチャ、または、漸進的デコーダリフレッ
シュのピクチャに続くこと、または、(2)前記漸進的デコーダリフレッシュのピクチャ
の識別子と同じNAL(Network Abstraction Layer)のユニ
ットヘッダレイヤ識別子を有するピクチャは、前記出力順において、前記漸進的デコーダ
リフレッシュのピクチャ、および、前記漸進的デコーダリフレッシュのピクチャのすべて
の関連付けられたピクチャに先行すること、の制約を規定する、方法。
【請求項18】
映像処理の方法であって、
規則に従って、1または複数の映像ピクチャを含む1または複数の映像レイヤを有する
映像と、前記映像のビットストリームとの間の変換を実行すること、
を有し、
前記規則は、イントラランダムアクセスポイントのピクチャおよび非リーディングピク
チャに関連付けられたピクチャの復号化順における制約が、前記ピクチャ、前記イントラ
ランダムアクセスポイントのピクチャ、および、前記非リーディングピクチャが同じレイ
ヤにある場合でかつその場合に限り、適用されることを規定する、方法。
【請求項19】
前記制約は、フィールドシーケンスフラグの値が0に等しく、かつ、特定の値に等しい
NAL(Network Abstraction Layer)のユニットヘッダレイ
ヤ識別子を有する前記ピクチャが前記イントラランダムアクセスポイントのピクチャに関
連付けられたリーディングピクチャである場合、前記ピクチャは、前記復号化順において
、前記イントラランダムアクセスポイントのピクチャに関連付けられるすべての非リーデ
ィングピクチャに先行することを規定する、請求項18に記載の方法。
【請求項20】
0に等しい前記フィールドシーケンスフラグの前記値は、コーディングされたレイヤ映
像シーケンスがフレームを示すピクチャを伝達することを示す、請求項19に記載の方法
【請求項21】
前記制約は、フィールドシーケンスフラグの値が0に等しく、かつ、前記ピクチャが前
記イントラランダムアクセスポイントのピクチャに関連付けられたリーディングピクチャ
である場合、前記ピクチャは、前記復号化順において、前記イントラランダムアクセスポ
イントのピクチャに関連付けられるすべての非リーディングピクチャに先行することを規
定する、請求項18に記載の方法。
【請求項22】
映像処理の方法であって、
規則に従って、1または複数の映像ピクチャを含む1または複数の映像レイヤを有する
映像と、前記映像のビットストリームとの間の変換を実行すること、
を有し、
前記規則は、リーディングピクチャ、ランダムアクセス復号化可能なリーディングピク
チャ、および、漸進的復号化リフレッシュのピクチャに関連付けられたランダムアクセス
がスキップされたリーディングピクチャの順を規定する、方法。
【請求項23】
漸進的復号化リフレッシュのピクチャに関連付けられた前記リーディングピクチャは、
復号化順において、前記漸進的復号化リフレッシュのピクチャに続き、かつ、出力順にお
いて、前記漸進的復号化リフレッシュのピクチャに先行する、請求項22に記載の方法。
【請求項24】
前記漸進的復号化リフレッシュのピクチャに関連付けられた前記ランダムアクセス復号
化可能なリーディングピクチャは、前記漸進的復号化リフレッシュのピクチャに関連付け
られた前記リーディングピクチャであり、かつ、前記ランダムアクセス復号化可能なリー
ディングピクチャのコーディングされたスライスに対応するNAL(Network A
bstraction Layer)のユニットタイプを有する、請求項22に記載の方
法。
【請求項25】
前記漸進的復号化リフレッシュのピクチャに関連付けられた前記ランダムアクセス復号
化可能なリーディングピクチャは、前記漸進的復号化リフレッシュのピクチャに関連付け
られた前記リーディングピクチャであり、かつ、前記ランダムアクセス復号化可能なリー
ディングピクチャのコーディングされたスライスに対応するNAL(Network A
bstraction Layer)のユニットタイプを有する、請求項22に記載の方
法。
【請求項26】
映像処理の方法であって、
規則に従って、1または複数の映像ピクチャを含む1または複数の映像レイヤを有する
映像と、前記映像のビットストリームとの間の変換を実行すること
を有し、
前記規則は、クリーンランダムアクセスのピクチャのスライスに対する参照ピクチャに
対する制約が、レイヤに制限されることを規定する、方法。
【請求項27】
前記制約は、前記クリーンランダムアクセスのピクチャを有するレイヤに対し、復号化
または出力の順における先行するイントラランダムアクセスポイントのピクチャが、z根
木参照ピクチャリストにおけるエントリによって参照されないことを規定する、請求項2
6に記載の方法。
【請求項28】
前記変換は、前記映像を前記ビットストリームに符号化することを含む、請求項1から
27のいずれか一項に記載の方法。
【請求項29】
前記変換は、前記映像を前記ビットストリームから復号化することを含む、請求項1か
ら27のいずれか一項に記載の方法。
【請求項30】
前記変換は、前記ビットストリームを前記映像から生成することを含み、
前記方法は更に、前記ビットストリームを非一時的コンピュータ記録媒体に格納するこ
とを有する、請求項1から27のいずれか一項に記載の方法。
【請求項31】
請求項1から30のうちの1または複数に記載の方法を実行するように構成されたプロ
セッサを有する映像処理装置。
【請求項32】
映像のビットストリームを格納する方法であって、
請求項1から30のいずれか一項に記載の方法と、
更に、前記ビットストリームを非一時的コンピュータ可読記録媒体に格納することと
を有する方法。
【請求項33】
実行された際に、プロセッサに、請求項1から30のうちの1または複数に記載の方法
を実装させるプログラムを格納するコンピュータ可読媒体。
【請求項34】
上記の方法のいずれかに従って生成されたビットストリームを格納するコンピュータ可
読媒体。
【請求項35】
ビットストリーム表現を格納するための映像処理装置であって、
請求項1から30のうちの1または複数に記載の方法を実装するように構成される、映
像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
パリ条約に基づく適用可能な特許法および/または規則に基づいて、本願は、2020
年3月19日出願の米国特許仮出願第62/992046号の優先権および利益を適時に
主張することを目的とする。法に基づくすべての目的のために、上記出願の開示全体は、
本明細書の開示の一部として参照により援用される。
【0002】
この特許明細書は、画像および映像の符号化および復号化に関する。
【背景技術】
【0003】
デジタル映像は、インターネット及び他のデジタル通信ネットワークにおいて最大の帯
域幅の使用量を占めている。映像を受信及び表示することが可能である接続されたユーザ
機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けること
が予測される。
【発明の概要】
【0004】
本明細書は、改善された性能を提供するビットストリーム構文を使用して、映像のコー
ディングされた表現を処理するための映像エンコーダおよびデコーダによって使用できる
技術を開示する。開示される方法は、映像符号化、または映像復号化、または映像コード
変換等の映像処理を実行する装置によって使用してもよい。
【0005】
1つの例示的な態様において、映像処理方法が開示される。この方法は、1または複数
の映像ピクチャを含む1または複数の映像レイヤを有する映像と、映像のコーディングさ
れた表現との間の変換を実行することを含み、コーディングされた表現は、第2のピクチ
ャのイントラランダムアクセスポイントピクチャである第1の映像ピクチャと第2のピク
チャとが同じ映像レイヤに属するように制約されることを規定する規則に従って編成され
る。
【0006】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、1または複
数の映像ピクチャを含む1または複数の映像レイヤを有する映像と映像のコーディングさ
れた表現との間の変換を実行することを含み、コーディングされた表現は、イントララン
ダムアクセスポイントである第1のタイプのピクチャに続くコーディングされた表現にお
けるトレイリングピクチャも、漸進的復号化リフレッシュピクチャを含む第2のタイプの
ピクチャに関連付けられることを許可することを規定するフォーマット規則に準拠する。
【0007】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、1または複
数の映像ピクチャを含む1または複数の映像レイヤを有する映像と映像のコーディングさ
れた表現との間の変換を実行することを含み、コーディングされた表現は、復号順でイン
トラランダムアクセスポイントに先行するピクチャの出力順に対する制約を、出力順が同
じ映像レイヤ内のピクチャにのみ適用可能となるように規定するフォーマット規則に準拠
する。
【0008】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、1または複
数の映像ピクチャを含む1または複数の映像レイヤを有する映像と、映像のコーディング
された表現との間の変換を実行することを含み、コーディングされた表現が、(1)トレ
イリングピクチャは、出力順において、関連付けられたIRAP(Intra Rand
om Access Point)ピクチャまたはGDR(Gradual Decod
er Refresh)ピクチャに続かなければならない、または(2)GDRピクチャ
のそれと同じレイヤIDを有するピクチャは、出力順において、GDRピクチャおよびG
DRピクチャのすべての関連付けられたピクチャに先行しなければならないという制約を
規定するフォーマット規則に準拠している。
【0009】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、1または複
数の映像ピクチャを含む1または複数の映像レイヤを有する映像と、映像のコーディング
された表現との間の変換を実行することを含み、変換は、順序制約が、ピクチャ、IRA
Pピクチャ、および非リーディングピクチャが同じレイヤにある場合にのみ、ピクチャ、
IRAP(Intra Random Access Point)ピクチャ、および
非リーディングピクチャに適用可能であるという規則に準拠し、規則は、(a)フィール
ドシーケンスの値と復号化順を規定する第1の規則と、(b)レイヤのリーディングおよ
び/または非リーディングピクチャの順序のうちの一方である。
【0010】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、1または複
数の映像ピクチャを含む1または複数の映像レイヤを有する映像と、映像のコーディング
された表現との間の変換を実行することを含み、変換は、リーディングピクチャ、RAD
L(Random Access Decodable Leading)ピクチャ、お
よびGDR(Gradual Decoding Refresh)ピクチャに関連付け
られたRASL(Random Access Skipped Leading)ピク
チャの順序を規定する規則に準拠する。
【0011】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、1または複
数の映像ピクチャを含む1または複数の映像レイヤを有する映像と、映像のコーディング
された表現との間の変換を実行することを含み、変換は、クリーンランダムアクセスピク
チャの参照ピクチャリストの制約が1つのレイヤに制限されることを規定する規則に準拠
する。
【0012】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、1または複
数の映像ピクチャを含む1または複数の映像レイヤを有する映像と、映像のコーディング
された表現との間の変換を実行することを含み、変換は、現在のピクチャが利用不可な参
照ピクチャを生成するための復号化処理によって生成された参照ピクチャリストにおける
エントリを参照することを許可する条件を規定する規則に準拠する。
【0013】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、1または複
数の映像ピクチャを含む1または複数の映像レイヤを有する映像と、映像のコーディング
された表現との間の変換を実行することを含み、変換は、現在のピクチャと現在のピクチ
ャに対応する参照ピクチャリストとの間の順序の規則に準拠する。
【0014】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、フォーマッ
ト規則に従って、1または複数の映像ピクチャを含む1または複数の映像レイヤを有する
映像と、映像のビットストリームとの間の変換を実行することを含み、フォーマット規則
は、第2のピクチャの関連付けられたイントラランダムアクセスポイントピクチャである
第1の映像ピクチャと第2のピクチャとが同じ映像レイヤに属するように制約されること
を規定する。
【0015】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、フォーマッ
ト規則に従って、1または複数の映像ピクチャを含む1または複数の映像レイヤを有する
映像と、映像のビットストリームとの間の変換を実行することを含み、フォーマット規則
は、ビットストリームにおけるトレイリングピクチャを漸進的復号化リフレッシュピクチ
ャに関連付けることを許可することを規定する。
【0016】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、フォーマッ
ト規則に従って、1または複数の映像ピクチャを含む1または複数の映像レイヤを有する
映像と、映像のビットストリームとの間の変換を実行することを含み、フォーマット規則
は、復号化順でイントラランダムアクセスポイントに先行するピクチャの出力順に対する
制約が同じ映像レイヤ内のピクチャに適用可能であることを規定する。
【0017】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、フォーマッ
ト規則に従って、1または複数の映像ピクチャを含む1または複数の映像レイヤを有する
映像と、映像のビットストリームとの間の変換を実行することを含み、フォーマット規則
は、(1)トレイリングピクチャは、関連付けられたイントラランダムアクセスポイント
ピクチャまたは漸進的デコーダリフレッシュピクチャを出力順に追跡する、または、(2
)漸進的デコーダリフレッシュピクチャと同じNAL(Network Abstrac
ion Layer)ユニットヘッダレイヤ識別子を有するピクチャが、出力順で、漸進
的デコーダリフレッシュピクチャおよび漸進的デコーダリフレッシュピクチャのすべての
関連付けられたピクチャに先行する、という制約を規定する。
【0018】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、規則に従っ
て、1または複数の映像ピクチャを含む1または複数の映像レイヤを有する映像と、映像
のビットストリームとの間の変換を実行することを含み、規則は、ピクチャ、イントララ
ンダムアクセスポイントピクチャ、および非リーディングピクチャが同じレイヤにある場
合にのみ、イントラランダムアクセスポイントに関連付けられたピクチャと非リーディン
グピクチャの復号化順に対して制約を適用することを規定する。
【0019】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、規則に従っ
て、1または複数の映像ピクチャを含む1または複数の映像レイヤを有する映像と、映像
のビットストリームとの間の変換を実行することを含み、規則は、リーディングピクチャ
、ランダムアクセス復号化可能なリーディングピクチャ、および漸進的復号化リフレッシ
ュピクチャに関連付けられたランダムアクセスがスキップされたリーディングピクチャの
順序を規定する。
【0020】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、規則に従っ
て、1または複数の映像ピクチャを含む1または複数の映像レイヤを有する映像と、映像
のビットストリームとの間の変換を実行することを含み、規則は、クリーンランダムアク
セスピクチャのスライスのための参照ピクチャリストに対する制約をレイヤに制限するこ
とを規定する。
【0021】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、規則に従っ
て、1または複数の映像ピクチャを含む1または複数の映像レイヤを有する映像と、映像
のビットストリームとの間の変換を実行することを含み、規則は、現在のピクチャの現在
のスライスの参照ピクチャリストにおけるアクティブエントリが参照する、利用不可な参
照ピクチャを生成するための復号化処理によって生成されたピクチャは存在しないという
条件を規定する。
【0022】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、規則に従っ
て、1または複数の映像ピクチャを含む1または複数の映像レイヤを有する映像と、映像
のビットストリームとの間の変換を実行することを含み、規則は、現在のピクチャの現在
のスライスの参照ピクチャリストにおけるエントリが参照する、利用不可な参照ピクチャ
を生成するための復号化処理によって生成されたピクチャは存在しないという条件を規定
する。
【0023】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、規則に従っ
て、現在のスライスを含む現在のピクチャを含む1または複数の映像レイヤを有する映像
と、映像のビットストリームとの間の変換を実行することを含み、規則は、現在のスライ
スの参照ピクチャリストが、現在のピクチャに関連付けられたイントラランダムアクセス
ポイントピクチャに復号化順または出力順で先行するピクチャを指すアクティブエントリ
を有することは許可されないという条件を規定する。
【0024】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、規則に従っ
て、現在のスライスを含む現在のピクチャを含む1または複数の映像レイヤを有する映像
と、映像のビットストリームとの間の変換を実行することを含み、規則は、現在のスライ
スの参照ピクチャリストが、現在のピクチャに関連付けられたイントラランダムアクセス
ポイントピクチャに復号化順または出力順で先行するピクチャを指すエントリを有するこ
とは許可されないという条件を規定する。
【0025】
さらに別の例示的な態様において、映像エンコーダ装置が開示される。映像エンコーダ
は、上述した方法を実装するように構成されたプロセッサを備える。
【0026】
さらに別の例示的な態様において、映像デコーダ装置が開示される。映像デコーダは、
上述した方法を実装するように構成されたプロセッサを備える。
【0027】
さらに別の例示的な態様では、コードが記憶されたコンピュータ可読媒体が開示される
。このコードは、本明細書に記載の方法の1つをプロセッサが実行可能なコードの形式で
実施する。
【0028】
これらの及び他の特徴は、本文書全体にわたって説明される。
【図面の簡単な説明】
【0029】
図1図1は、映像処理システム例を示すブロック図である。
図2図2は、映像処理装置のブロック図である。
図3図3は、映像処理の例示的な方法のフローチャートである。
図4図4は、本開示のいくつかの実施形態による映像コーディングシステムを示すブロック図である。
図5図5は、本発明のいくつかの実施形態によるエンコーダを示すブロック図である。
図6図6は、本発明のいくつかの実施形態によるデコーダを示すブロック図である。
図7A図7Aは、開示される技術のいくつかの実装形態に基づく、映像処理の例示的な方法のフローチャートを示す。
図7B図7Bは、開示される技術のいくつかの実装形態に基づく、映像処理の例示的な方法のフローチャートを示す。
図7C図7Cは、開示される技術のいくつかの実装形態に基づく、映像処理の例示的な方法のフローチャートを示す。
図7D図7Dは、開示される技術のいくつかの実装形態に基づく、映像処理の例示的な方法のフローチャートを示す。
図7E図7Eは、開示される技術のいくつかの実装形態に基づく、映像処理の例示的な方法のフローチャートを示す。
図7F図7Fは、開示される技術のいくつかの実装形態に基づく、映像処理の例示的な方法のフローチャートを示す。
図7G図7Gは、開示される技術のいくつかの実装形態に基づく、映像処理の例示的な方法のフローチャートを示す。
図8A図8Aは、開示される技術のいくつかの実装形態に基づく、映像処理の例示的な方法のフローチャートを示す。
図8B図8Bは、開示される技術のいくつかの実装形態に基づく、映像処理の例示的な方法のフローチャートを示す。
図9A図9Aは、開示される技術のいくつかの実装形態に基づく、映像処理の例示的な方法のフローチャートを示す。
図9B図9Bは、開示される技術のいくつかの実装形態に基づく、映像処理の例示的な方法のフローチャートを示す。
【発明を実施するための形態】
【0030】
本明細書では、理解を容易にするために章の見出しを使用しており、その技術および各
章に記載された実施形態の適用可能性をその章のみに限定するものではない。さらに、H
.266という用語は、ある説明において、理解を容易にするためだけに用いられ、開示
される技術の範囲を限定するために用いられたものではない。このように、本明細書で説
明される技術は、他の映像コーデックプロトコル及び設計にも適用可能である。
【0031】
1.発明の概要
本明細書は、映像コーディング技術に関する。具体的には、異なるタイプのピクチャの
定義、復号化順、出力順、および予測関係におけるそれらの関係を含め、ランダムアクセ
ス、サブレイヤスイッチング、およびスケーラビリティのサポートのための様々な態様に
関する。この考えは、個々に又は様々な組み合わせで、マルチレイヤ映像コーディング、
例えば、現在開発されているVVC(Versatile Video Coding)
をサポートする任意の映像コーディング規約又は非標準映像コーデックに適用されてもよ
い。
【0032】
2.略語
APS Adaptation Parameter Set
AU Access Unit
AUD Access Unit Delimiter
AVC Advanced Video Coding
CLVS Coded Layer Video Sequence
CPB Coded Picture Buffer
CRA Clean Random Access
CTU Coding Tree Unit
CVS Coded Video Sequence
DCI Decoding Capability Information
DPB Decoded Picture Buffer
EOB End Of Bitstream
EOS End Of Sequence
GDR Gradual Decoding Refresh
HEVC High Efficiency Video Coding
HRD Hypothetical Reference Decoder
IDR Instantaneous Decoding Refresh
JEM Joint Exploration Model
MCTS Motion-Constrained Tile Sets
NAL Network Abstraction Layer
OLS Output Layer Set
PH Picture Header
PPS Picture Parameter Set
PTL Profile,Tier and Level
PU Picture Unit
RADL Random Access Decodable Leading(P
icture)
RAP Random Access Point
RASL Random Access Skipped Leading(Pic
ture)
RBSP Raw Byte Sequence Payload
RPL Reference Picture List
SEI Supplemental Enhancement Informatio

SPS Sequence Parameter Set
STSA Step-wise Temporal Sublayer Access
SVC Scalable Video Coding
VCL Video Coding Layer
VPS Video Parameter Set
VTM VVC Test Model
VUI Video Usability Information
VVC Versatile Video Coding
【0033】
3.初期の協議
映像コーディング規格は、主に周知のITU-TおよびISO/IEC規格の開発によ
って発展してきた。ITU-TはH.261とH.263を作り、ISO/IECはMP
EG-1とMPEG-4 Visualを作り、両団体はH.262/MPEG-2 V
ideoとH.264/MPEG-4 AVC(Advanced Video Cod
ing)とH.265/HEVC規格を共同で作った。H.262以来、映像コーディン
グ規格は、時間予測と変換コーディングが利用されるハイブリッド映像コーディング構造
に基づく。HEVCを超えた将来の映像コーディング技術を探索するため、2015年に
は、VCEGとMPEGが共同でJVET(Joint Video Explorat
ion Team)を設立した。それ以来、多くの新しい方法がJVETによって採用さ
れ、JEM(Joint Exploration Model)と呼ばれる参照ソフト
ウェアに組み込まれてきた。JVETは四半期に1回開催され、新しいコーディング規格
はHEVCに比べて50%のビットレート低減を目指している。2018年4月のJVE
T会議において、新しい映像コーディング規格を「VVC(Versatile Vid
eo Coding)」と正式に命名し、その時、第1版のVTM(VVC Test
Model)をリリースした。VVCの標準化に寄与する努力が続けられているので、す
べてのJVET会議において、VVC標準に新しいコーディング技術が採用されている。
毎回の会議の後、VVC作業草案およびテストモデルVTMを更新する。VVCプロジェ
クトは、現在、2020年7月の会合における技術完成(FDIS)を目指している。
【0034】
3.1 全般およびVVCにおけるSVC(Scalable Video Codin
g)
SVC(Scalable Video Coding、時には、映像コーディングに
おけるスケーラビリティとも呼ばれる)は、BL(Base Layer:基本レイヤ)
(時には、RL(Reference Layer:参照レイヤ)と呼ばれる)および1
または複数のスケーラブルエンハンスメントレイヤ(EL:Enhancement L
ayer)が使用される映像コーディングを参照する。SVCにおいて、基本レイヤは、
品質の基本レベルの映像データを担持することができる。1または複数のエンハンスメン
トレイヤは、例えば、より高い空間的、時間的、および/またはSNR(Signal-
to-Noise)レベルをサポートするように、追加の映像データを担持することがで
きる。エンハンスメントレイヤは、前の、符号化されたレイヤに対して定義されてもよい
。例えば、ボトムレイヤがBLとして機能し、トップレイヤがELとして機能することが
できる。中間レイヤは、ELまたはRLのいずれか、またはその両方として機能すること
ができる。例えば、中間レイヤ(例えば、最下レイヤでも最上レイヤでもないレイヤ)は
、中間レイヤの下のレイヤ、例えば、基本レイヤまたは任意の介在するエンハンスメント
レイヤのためのELであってもよく、同時に、中間レイヤの上の1または複数のエンハン
スメントレイヤのためのRLとしての役割を果たす。同様に、HEVC規格のマルチビュ
ーまたは3D拡張では、複数のビューが存在してもよく、1つのビューの情報を利用して
別のビューの情報をコーディング(例えば、符号化または復号化)することができる(例
えば、動き推定、動きベクトル予測および/または他の冗長性)。
【0035】
SVCにおいて、エンコーダまたはデコーダで使用されるパラメータは、それらを利用
することができるコーディングレベル(例えば、映像レベル、シーケンスレベル、ピクチ
ャレベル、スライスレベル等)に基づいてパラメータセットにグループ分けされる。例え
ば、ビットストリームにおける異なるレイヤのコーディングされた映像シーケンスによっ
て利用できるパラメータは、VPS(Video Parameter Set)に含ま
れてもよく、コーディングされた映像シーケンスにおける1または複数のピクチャによっ
て利用されるパラメータは、SPS(Sequence Parameter Set)
に含まれてもよい。同様に、ピクチャにおける1または複数のスライスで利用されるパラ
メータは、PPS(Picture Parameter Set)に含まれてもよく、
1つのスライスに固有の他のパラメータは、スライスヘッダに含まれてもよい。同様に、
特定のレイヤが所与の時間にどのパラメータセットを使用しているかの指示は、様々なコ
ーディングレベルで提供されてもよい。
【0036】
VVCにおけるRPR(Reference Picture Resampling
)のサポートのおかげで、空間的スケーラビリティサポートに必要なアップサンプリング
はRPRアップサンプリングフィルタを使用するだけでよいので、追加の信号処理レベル
のコーディングツールを必要とせずに、複数のレイヤ、例えば、VVCにおけるSDおよ
びHD解像度の2つのレイヤを含むビットストリームをサポートするように設計すること
ができる。それにもかかわらず、スケーラビリティサポートのためには、高レベルの構文
変更(スケーラビリティをサポートしない場合と比較して)が必要である。スケーラビリ
ティサポートは、VVCバージョン1に規定されている。AVCおよびHEVCの拡張を
含む、任意の以前の映像コーディング規格におけるスケーラビリティサポートとは異なり
、VVCのスケーラビリティの設計は、シングルレイヤデコーダの設計にできるだけ適し
たものにされてきた。マルチレイヤビットストリームの復号化能力は、ビットストリーム
に1つのレイヤしかなかったかの如く規定される。例えば、DPBサイズのような復号化
能力は、復号化されるビットストリームのレイヤの数に依存しない手法で規定される。基
本的に、シングルレイヤビットストリームのために設計されたデコーダは、マルチレイヤ
ビットストリームを復号化することができるようにするために、多くの変更を必要としな
い。AVCおよびHEVCの多層拡張の設計と比較して、HLSの態様は、ある程度の柔
軟性を犠牲にして大幅に簡略化されてきた。例えば、IRAP AUは、CVSに存在す
るレイヤの各々にピクチャを含むことが必要である。
【0037】
3.2. HEVCおよびVVCにおけるランダムアクセスとそのサポート
ランダムアクセスとは、復号化順でビットストリームの最初のピクチャでないピクチャ
からビットストリームのアクセスと復号化を開始することを指す。ブロードキャスト/マ
ルチキャストおよび複数人数によるビデオ会議におけるチューニングおよびチャネル切り
替え、ローカル再生およびストリーミングにおける探索、並びにストリーミングにおける
ストリーム適応をサポートするために、ビットストリームは、頻繁なランダムアクセスポ
イントを含むことが必要であり、一般的に、イントラコーディングされたピクチャである
が、インターコーディングされたピクチャであってもよい(例えば、漸進的復号化リフレ
ッシュの場合)。
【0038】
HEVCは、NALユニットタイプによって、NALユニットのヘッダ内のIRAP(
Intra Random Access Point)ピクチャを信号通知することを
含む。3つのタイプのIRAPピクチャ、即ち、IDR(Instantaneous
Decoder Refresh)、CRA(Clean Random Access
)、およびBLA(Broken Link Access)のピクチャがサポートされ
る。IDRピクチャは、インターピクチャ予測構造が現在のGOP(Group-Of-
Picture)の前のどのピクチャも参照しないようにするよう、制約しており、従来
、クローズドGOPランダムアクセスポイントと呼ばれている。CRAピクチャは、ある
ピクチャが現在のGOPの前にピクチャを参照することを許可することによって、制限が
緩和され、ランダムアクセスの場合、これらはすべて破棄される。CRAピクチャは、従
来、オープンGOPランダムアクセスポイントと呼ばれている。BLAピクチャは、通常
、例えばストリーム切り替え時に、CRAピクチャにおいて2つのビットストリームまた
はその一部をスプライシングすることで生成される。IRAPピクチャのより優れたシス
テム使用を可能にするために、全部で6つの異なるNALユニットがIRAPピクチャの
プロパティを信号通知するように定義され、これらのユニットは、HTTP(DASH)
上で動的適応ストリーミングでのランダムアクセスサポートのために使用される、ISO
BMFF(ISO Base Media File Format)に定義されるよう
なストリームアクセスポイントのタイプにより適したものにするために使用できる。
【0039】
VVCは、3つのタイプのIRAPピクチャ、2つのタイプのIDRピクチャ(関連付
けられたRADLピクチャを有する1つのタイプおよび関連付けられたRADLピクチャ
を有しない他のタイプ)およびCRAピクチャの1つのタイプをサポートする。これらは
基本的にHEVCと同じである。HEVCにおけるBLAピクチャのタイプは、主に2つ
の理由により、VVCに含まれていない。
i)BLAピクチャの基本機能性は、CRAピクチャにシーケンス終了NALユニットを
加えることで実現でき、このシーケンス終了NALユニットが存在することは、後続のピ
クチャがシングルレイヤビットストリームにおいて新しいCVSを開始することを示す。
ii)VVCの開発において、NALユニットヘッダのNALユニットタイプフィールド
に6ビットの代わりに5ビットを用いることによって示されるように、HEVCよりも少
ないNALユニットタイプを規定することが望ましかった。
【0040】
VVCとHEVCとの間のランダムアクセスサポートにおける別の重要な相違は、VV
Cにおいてより規範的な方法でGDRをサポートすることである。GDRにおいて、ビッ
トストリームの復号化は、インターコーディングされたピクチャから開始することができ
、始めは、ピクチャ領域全体を正しく復号化することができないが、複数のピクチャの後
に、ピクチャ領域全体を正しく復号化することができるようになる。AVCおよびHEV
Cはまた、GDRランダムアクセスポイントおよびリカバリポイントの信号通知のための
リカバリポイントSEIメッセージを使用して、GDRをサポートする。VVCにおいて
、GDRピクチャを示すために新しいNALユニットタイプが指定され、ピクチャヘッダ
構文構造においてリカバリポイントが通知される。CVSおよびビットストリームは、G
DRピクチャで開始することができる。これは、1つのビットストリーム全体が、1つの
イントラコーディングされたピクチャなしにインターコーディングされたピクチャのみを
含むことができることを意味する。GDRサポートをこのように規定する主な利点は、G
DRに適合した動作を提供することである。GDRは、エンコーダが、ピクチャ全体をイ
ントラコーディングするのではなく、複数のピクチャにイントラコーディングされたスラ
イスまたはブロックを分布させることによって、ビットストリームのビットレートを平滑
化することを可能にし、これにより、ワイヤレスディスプレイ、オンラインゲーム、ドロ
ーンに基づくアプリケーションのような超低遅延アプリケーションがより一般的なってい
るため、今日の方が以前より重要視されているエンドツーエンドの遅延の大幅な低減を可
能にする。
【0041】
VVCにおける別のGDRに関連する特徴は、仮想境界信号通知である。GDRピクチ
ャとそのリカバリポイントとの間のピクチャにおける、リフレッシュされた領域(すなわ
ち、正しく復号化された領域)と未リフレッシュの領域との間の境界は、仮想境界として
信号通知されてもよく、信号通知された場合、境界をまたがるインループフィルタリング
が適用されなくなり、したがって、境界付近のいくつかのサンプルの復号化の不整合が発
生しなくなる。これは、アプリケーションがGDR処理中に正しく復号化された領域を表
示することを決定した場合に有用となりうる。
【0042】
IRAPピクチャおよびGDRピクチャをまとめて、RAP(Random Acce
ss Point)ピクチャと呼ぶことができる。
【0043】
3.3 参照ピクチャ管理およびRPL(Reference Picture Lis
t)
参照ピクチャ管理は、インター予測を使用する任意の映像コーディング方式に必要なコ
ア機能性である。それは、DPB(Decoded Picture Buffer)へ
の参照ピクチャの記憶およびそこからの参照ピクチャの除去を管理し、且つ参照ピクチャ
をRPL内の適切な順序に置く。
【0044】
HEVCの参照ピクチャ管理は、参照ピクチャのマーキングおよびDPB(Decod
ed Picture Buffer)からの除去、並びにRPLC(Referenc
e Picture List Construction)を含み、AVCのものとは
異なる。AVCにおいて、スライディングウィンドウに適応MMCO(Memory M
anagement Control Operation)を加えたものに基づく参照
ピクチャマーキング機構の代わりに、HEVCは、いわゆるRPS(Reference
Picture Set)に基づく参照ピクチャ管理およびマーキング機構を規定し、
その結果、RPLCは、RPS機構に基づく。RPSは、ピクチャに関連付けられた参照
ピクチャのセットで構成され、復号化順で関連付けられたピクチャに先行する全ての参照
ピクチャで構成され、復号化順で関連付けられたピクチャまたは関連付けられたピクチャ
の後に続く任意のピクチャのインター予測に使用してもよい。参照ピクチャセットは、参
照ピクチャの5つのリストからなる。最初の3つのリストは、現在のピクチャのインター
予測において使用してもよく、かつ、復号化順において現在のピクチャに続く1または複
数のピクチャのインター予測において使用してもよい、全ての参照ピクチャを含む。他の
2つのリストは、現在のピクチャのインター予測において使用されないが、復号化順にお
いて現在のピクチャに続く1または複数のピクチャのインター予測において使用してもよ
い、全ての参照ピクチャからなる。RPSは、主に誤り耐性を改善するために、AVCに
おけるような「インターコーディングされた」信号通知の代わりに、DPBステータスの
「イントラコーディングされた」信号通知を提供する。HEVCにおけるRPLC処理は
、各参照インデックスのRPSサブセットにインデックスを信号通知することによって、
RPSに基づいており、この処理は、AVCにおけるRPLC処理よりも簡単である。
【0045】
VVCにおける参照ピクチャ管理は、AVCよりもHEVCに類似しているが、いくぶ
んシンプルでロバストである。これらの標準におけるように、2つのRPL、list0
およびlist1が導出されるが、これらは、HEVCで使用される参照ピクチャセット
の概念又はAVCで使用される自動スライディングウィンドウ処理に基づくものではなく
、より直接的に信号通知される。参照ピクチャは、RPLのためにアクティブエントリお
よび非アクティブエントリのいずれかとしてリストされ、アクティブエントリのみが、現
在のピクチャのCTUのインター予測における参照インデックスとして使用してもよい。
非アクティブエントリは、ビットストリームの後半に到着する他のピクチャを参照するた
めに、DPBに保持されるべき他のピクチャを示す。
【0046】
3.4 パラメータセット
AVC、HEVC、VVCはパラメータセットを指定する。パラメータセットのタイプ
は、SPS、PPS、APS、VPSを含む。SPSおよびPPSは、AVC、HEVC
、VVCのすべてでサポートされている。VPSは、HEVCから導入されたものであり
、HEVCおよびVVCの両方に含まれる。APSは、AVCまたはHEVCに含まれて
いなかったが、最近のVVC草案のテキストに含まれている。
【0047】
SPSは、シーケンスレベルのヘッダ情報を伝送するように設計され、PPSは、頻繁
に変化しないピクチャレベルのヘッダ情報を担持するように設計された。SPSおよびP
PSを用いると、シーケンスまたはピクチャごとに頻繁に変化する情報を繰り返す必要が
ないので、この情報の冗長な信号通知を回避することができる。さらに、SPSおよびP
PSを使用することは、重要なヘッダ情報の帯域外伝送を有効化し、それにより、冗長な
伝送の必要性を回避するだけでなく、誤り耐性を改善する。
【0048】
VPSは、マルチレイヤのビットストリームのすべてのレイヤに共通であるシーケンス
レベルのヘッダ情報を担持するために導入された。
【0049】
APSは、コーディングするためのかなりのビットを必要とし、複数のピクチャによっ
て共有され、そして、シーケンスにおいて非常に多くの異なる変形例が存在し得る、その
ようなピクチャレベルまたはスライスレベルの情報を担持するために導入された。
【0050】
3.5 VVCにおける関連定義
最近のVVCテキストJVET-Q2001-vE/v15)における関連する定義は
、以下のとおりである。
(特定のピクチャの)関連付けられたIRAPピクチャ:復号化順における前のIRA
Pピクチャ(存在する場合)は、特定のピクチャと同じ値nuh_layer_idを有
する。
CRA(Clean Random Access)PU:コーディングされたピクチ
ャがCRAピクチャであるPU。
CRA(Clean Random Access)ピクチャ:各VCL NALユニ
ットのnal_unit_typeがCRA_NUTであるIRAPピクチャ。
CVS(Coded Video Sequence):復号化順において、すべての
後続のAU(ただし、CVSS AUである後続のAUは含まない)を含む、CVSS
AUでない0以上のAUが続く、CVSS AUから構成される、AUのシーケンス。
CVSS(Coded Video Sequence Start)AU:CVSの
各レイヤにPUがあり、各PUのコーディングされたピクチャがCLVSSピクチャであ
るAU。
GDR(Gradual Decoding Refresh)AU:本PU各々のコ
ーディングされたピクチャがGDRピクチャであるAU。
GDR(Gradual Decoding Refresh)PU:コーディングさ
れたピクチャがGDRピクチャであるPU。
GDR(Gradual Decoding Refresh)ピクチャ:NALユニ
ットのnal_unit_typeがGDR_NUTであるピクチャ。
IDR(Instantaneous Decoding Refresh)PU:コ
ーディングされたピクチャがIDRピクチャであるPU。
IDR(Instantaneous Decoding Refreshu)ピクチ
ャ:各VCL NALユニットのnal_unit_typeがIDR_W_RADLま
たはIDR_N_LPであるIRAPピクチャ。
IRAP(Intra Random Access Point)AU:CVSの各
レイヤにPUが存在し、各PUのコーディングされたピクチャがIRAPピクチャである
AU。
IRAP(Intra Random Access Point)PU:コーディン
グされたピクチャがIRAPピクチャであるPU。
IRAP(Intra Random Access Pint)ピクチャ:IDR_
W_RADLからCRA_NUTの範囲内で、すべてのVCL NALユニットのnal
_unit_typeが同じ値であるコーディングされたピクチャ。
リーディングピクチャ:関連付けられたIRAPピクチャと同じレイヤにあり、関連付
けられたIRAPピクチャに出力順において先行するピクチャ。
RADL(Random Access Decodable Leading)PU
:コーディングされたピクチャがRADLピクチャであるPU。
RADL(Random Access Decodable Leading)ピク
チャ:各VCL NALユニットのnal_unit_typeがRADL_NUTであ
るピクチャ。
RASL(Random Access Skipped Leading)PU:コ
ーディングされたピクチャが、RASLピクチャであるPU。
RASL(Random Access Skipped Leading)ピクチャ
:各VCL NALユニットのnal_unit_typeがRASL_NUTであるピ
クチャ。
STSA(Step-wise Temporal Sublayer Access
)PU:コーディングされたピクチャがSTSAピクチャであるPU。
STSA(Step-wise Temporal Sublayer Access
)ピクチャ:各VCL NALユニットのnal_unit_typeがSTSA_NU
Tであるピクチャ。
注-STSAピクチャは、インター予測参照に対してSTSAピクチャと同じTemp
oralIdを有するピクチャを使用しない。STSAピクチャと同じTemporal
Idを有する、復号化順でSTSAピクチャの後続のピクチャは、インター予測参照には
STSAピクチャと同じTemporalIdを有する、復号化順でSTSAピクチャの
前のピクチャを使用しない。STSAピクチャは、STSAピクチャにおいて、STSA
ピクチャを含むサブレイヤに対して、直下のサブレイヤからのアップスイッチを有効化す
る。STSAピクチャのTemporalIdは0より大きくなければならない。
トレイリングピクチャ:出力順の関連付けられたIRAPピクチャに続く非IRAPピ
クチャであり、STSAピクチャではない。
注-IRAPピクチャに関連付けられたトレイリングピクチャも、復号化順において、
IRAPピクチャに続く。出力順において関連付けられたIRAPピクチャに続き、復号
化順において関連付けられたIRAPピクチャに先行するピクチャは、許可されない。
【0051】
3.6. VVCにおけるNALユニットヘッダ構文および意味論
最近のVVCテキスト(JVET-Q2001-vE/v15)において、NALユニ
ットヘッダ構文および意味論は以下のとおりである。
【0052】
7.3.1.2 NALユニットヘッダ構文
【0053】
【表1】
【0054】
7.4.2.2. NALユニットヘッダの意味論
forbidden_zero_bitは、0に等しいものとする。
nuh_reserved_zero_bitは、0に等しいものとする。nuh_r
eserved_zero_bitの値1は、将来、ITU-T|ISO/IECにより
規定してもよい。デコーダは、nuh_reserved_zero_bitが1に等し
いNALユニットを無視する(すなわち、ビットストリームから削除し、廃棄する)。
nuh_layer_idは、VCL NALユニットが属するレイヤの識別子、また
は非VCL NALユニットが適用されるレイヤの識別子を規定する。nuh_laye
r_idの値は、0から55までの範囲内にあるものとする。nuh_layer_id
の他の値は、ITU-T|ISO/IECで将来使用されるよう、確保されている。
nuh_layer_idの値は、1つのコーディングされたピクチャのすべてのVC
L NALユニットに対して同じであるものとする。コーディングされたピクチャまたは
PUのnuh_layer_idの値は、コーディングされたピクチャまたはPUのVC
L NALユニットのnuh_layer_idの値である。
AUD、PH、EOS、FD NALユニットのnuh_layer_idの値は、以
下のように制約される。
-nal_unit_typeがAUD_NUTに等しい場合、nuh_layer_
idはvps_layer_id[0]に等しいものとする。
-あるいは、nal_unit_typeがPH_NUT、EOS_NUT、FD_N
UTに等しい場合、nuh_layer_idは関連付けられたVCL NALユニット
のnuh_layer_idに等しいものとする。
注1-DCI、VPS、およびEOB NALユニットのnuh_layer_idの
値は制約されていない。
【0055】
nal_unit_typeの値は、CVSS AUのすべてのピクチャについて同じ
ものとする。
nal_unit_typeは、表5で規定されているように、NALユニットタイプ
、すなわちNALユニットに含まれるRBSPデータ構造のタイプを規定する。
UNSPEC_28..UNSPEC_31の範囲内にあり、意味論が規定されていな
いnal_unit_typeを有するNALユニットは、本明細書で規定される復号化
処理に影響を及ぼさないものとする。
注2-UNSPEC_28...UNSPEC_31の範囲内にあるNALユニットタ
イプ、アプリケーションにより決定されたとおりに使用されてもよい。本明細書では、n
al_unit_typeのこれらの値の復号化処理は規定されていない。異なるアプリ
ケーションはこれらのNALユニットタイプを異なる目的で使用してもよいので、これら
のnal_unit_type値を有するNALユニットを生成するエンコーダの設計、
およびこれらのnal_unit_type値を有するNALユニットのコンテンツを解
釈するデコーダの設計にあたり、特に注意しなければならない。本明細書は、これらの値
の管理を定義していない。これらのnal_unit_type値は、使用の「コリジョ
ン」(すなわち、同じnal_unit_type値に対するNALユニットのコンテン
ツの意味の異なる定義)が重要でない、または可能でない、または管理された状況、例え
ば、制御アプリケーションまたはトランスポート仕様において、またはビットストリーム
が分散される環境を制御することによって定義または管理されるコンテキストでの使用に
のみ適している場合がある。
【0056】
(附属書Cに規定されるように)ビットストリームのDUにおけるデータの数を決定す
ること以外の目的のために、デコーダは、nal_unit_typeの予約済みの値を
使用するすべてのNALユニットのコンテンツを無視する(ビットストリームから取り除
き、廃棄する)ものとする。
注3-この要件は、本明細書に適合する拡張を将来的に定義することを可能にする。
【0057】
表5-NALユニットタイプコードおよびNALユニットタイプクラス
【0058】
【表2】
【0059】
【表3】
【0060】
注4-CRA(Clean Random Access)ピクチャは、ビットストリ
ームに存在する関連付けられたRASLまたはRADLピクチャを有してもよい。
注5-IDR_N_LPに等しいnal_unit_typeを有するIDR(Ins
tantaneous Decoding Refresh)ピクチャは、ビットストリ
ームに存在する関連付けられたリーディングピクチャを有さない。IDR_W_RADL
に等しいnal_unit_typeを有するIDRピクチャは、ビットストリームに存
在する関連付けられたRASLピクチャ有していないが、ビットストリームに関連付けら
れたRADLピクチャを有していてもよい。
【0061】
nal_unit_typeの値は、サブピクチャのすべてのVCL NALユニット
について同じものとする。サブピクチャは、サブピクチャのVCL NALユニットと同
じNALユニットタイプを有するとみなされる。
任意の特定のピクチャのVCL NALユニットに対して、以下が適用される。
-mixed_nalu_types_in_pic_flagが0に等しい場合、n
al_unit_typeの値は、ピクチャの全てのVCL NALユニットについて同
じであるべきであり、ピクチャまたはPUは、ピクチャまたはPUのコーディングされた
スライスNALユニットと同じNALユニットタイプを有するとみなされる。
-そうでない場合(mixed_nalu_types_in_pic_flagが1
に等しい)、ピクチャは、少なくとも2つのサブピクチャを有し、ピクチャのVCL N
ALユニットは、以下のような正確に2つの異なるnal_unit_type値を有す
るべきである。ピクチャの少なくとも1つのサブピクチャのVCL NALユニットは、
STSA_NUT、RADL_NUT、RASL_NUT、IDR_W_RADL、ID
R_N_LP、またはCRA_NUTに等しいnal_unit_typeの特定の値を
すべて有する一方、ピクチャ内の他のサブピクチャのVCL NALユニットは、TRA
IL_NUT、RADL_NUT、またはRASL_NUTに等しいnal_unit_
typeの異なる値をすべて有するべきである。
【0062】
シングルレイヤビットストリームの場合、以下の制約が適用される。
-各ピクチャは、復号化順において、ビットストリームの第1のピクチャを除き、復号
化順において前のIRAPピクチャに関連付けられていると考えられる。
-ピクチャがIRAPピクチャのリーディングピクチャである場合、RADLまたはR
ASLピクチャとする。
-ピクチャがIRAPピクチャのトレイリングピクチャである場合、RADLまたはR
ASLピクチャではないものとする。
-IDRピクチャに関連付けられたRASLピクチャは、ビットストリームに含まれて
いないものとする。
-IDR_N_LPに等しいnal_unit_typeを有するIDRピクチャに関
連付けられたRADLピクチャは、ビットストリームに含まれていないものとする。
注6-各パラメータセットが参照されるときに、(ビットストリームにおいて、または
本明細書で規定されていない外部手段によって)利用可能である限り、IRAP PUの
前にあるすべてのPUを廃棄することで(且つIRAPピクチャおよび後続のすべての非
RASLピクチャを復号化順に正しく復号化することで)、IRAP PUの位置でラン
ダムアクセスを行うことができる。
-復号化順において、IRAPピクチャに先行するピクチャは、出力順でIRAPピク
チャに先行し、出力順において、IRAPピクチャに関連付けられたRADLピクチャに
先行するものとする。
-CRAピクチャに関連付けられたRASLピクチャは、出力順でCRAピクチャに関
連付けられたRADLピクチャに先行するものとする。
-CRAピクチャに関連付けられたRASLピクチャは、復号化順においてCRAピク
チャに先行するIRAPピクチャに、出力順において続くものとする。
-field_seq_flagが0に等しく、現在のピクチャがIRAPピクチャに
関連付けられたリーディングピクチャに等しい場合、復号化順において、同じIRAPピ
クチャに関連付けられたすべての非リーディングピクチャに先行するものとする。そうで
ない場合、picAおよびpicBを、それぞれ、IRAPピクチャに関連付けられた、
復号化順において、最初のおよび最後のリーディングピクチャとすると、復号化順におい
てpicAに先行する最大で1つの非リーディングピクチャが存在し、復号化順において
picAおよびpicBの間に非リーディングピクチャはないものとする。
【0063】
nuh_temporal_id_plus1-1は、NALユニットの時間的識別子
を規定する。
nuh_temporal_id_plus1の値は0に等しくないものとする。
変数TemporalIdは、以下のように導出される。
TemporalId=nuh_temporal_id_plus1-1 (3
6)
nal_unit_typeがIDR_W_RADL~RSV_IRAP_12の範囲
内にある場合、TemporalIdは0に等しいものとする。
nal_unit_typeがSTSA_NUTに等しく、vps_independ
ent_layer_flag[GeneralLayerIdx[nuh_layer
_id]]が1に等しい場合、TemporalIdは0に等しくないものとする。
TemporalIdの値は、AUのすべてのVCL NALユニットに対して同じで
あるものとする。コーディングされたピクチャ、PU、またはAUのTemporalI
dの値は、コーディングされたピクチャ、PU、またはAUのVCL NALユニットの
TemporalIdの値である。サブレイヤ表現のTemporalIdの値は、サブ
レイヤ表現におけるすべてのVCL NALユニットのTemporalIdの最大値で
ある。
【0064】
非VCL NALユニットのTemporalIdの値は、以下のように制約される。
-nal_unit_typeがDCI_NUT、VPS_NUT、VPS_NUT、
またはSPS_NUTに等しい場合、TemporalIdは0に等しく、NALユニッ
トを含むAUのTemporalIdは0に等しいものとする。
-そうでない場合、nal_unit_typeがPH_NUTに等しい場合、Tem
poralIdはNALユニットを含むPUのTemporalIdであるものとする。
-そうでない場合、nal_unit_typeがEOS_NUTまたはEOB_NU
Tに等しい場合、TemporalIdは0に等しいものとする。
-そうでない場合、nal_unit_typeがAUD_NUT、FD_NUT、P
REFIX_SEI_NUT、またはSUFFIX_SEI_NUTに等しい場合、Te
mporalIdはNALユニットを含むAUのTemporalIdであるものとする

-そうでない場合、nal_unit_typeがPPS_NUT、PREFIX_A
PS_NUT、またはSUFFIX_APS_NUTに等しい場合、TemporalI
dはNALユニットを含むPUのTemporalId以上であるものとする。
注7-NALユニットが非VCL NALユニットである場合、TemporalId
の値は、非VCL NALユニットが適用されるすべてのAUのTemporalId値
の最小値に等しい。nal_unit_typeがPPS_NUT、PREFIX_AP
S_NUT、またはSUFFIX_APS_NUTに等しい場合、TemporalId
は、包含しているAUのTemporalId以上であってもよく、すべてのPPSおよ
びAPSがビットストリームの開始に含まれてもよく(例えば、それらが帯域外に輸送さ
れている場合、受信機はそれらをビットストリームの先頭に配置する)、第1のコーディ
ングされたピクチャは、0に等しいTemporalIdを有する。
【0065】
3.7. VVCにおけるピクチャヘッダ構造の構文及び意味論
最近のVVCテキスト(JVET-Q2001-vE/v15)において、本発明に最
も関連するピクチャヘッダ構造の構文及び意味論は、以下のとおりである。
【0066】
7.3.2.7 ピクチャヘッダ構造構文
【0067】
【表4】
【0068】
7.4.3.7 ピクチャヘッダ構造意味論
PH構文構造は、PH構文構造に関連付けられたコーディングされたピクチャのすべて
のスライスに共通の情報を含む。
1に等しいgdr_or_irap_pic_flagは、現在のピクチャがGDRま
たはIRAPピクチャであることを規定する。0に等しいgdr_or_irap_pi
c_flagは、現在のピクチャがGDRまたはIRAPピクチャであってもなくてもよ
いことを規定する。
1に等しいgdr_pic_flagは、PHに関連付けられたピクチャがGDRピク
チャであることを規定する。0に等しいgdr_pic_flagは、PHに関連付けら
れたピクチャがGDRピクチャでないことを規定する。存在しない場合、gdr_pic
_flagの値は0に等しいと推測される。gdr_enabled_flagが0に等
しい場合、gdr_pic_flagの値は0に等しいものとする。
注1-gdr_or_irap_pic_flagが1に等しく、gdr_pic_f
lagが0に等しい場合、PHに関連付けられたピクチャはIRAPピクチャである。
...
【0069】
ph_pic_order_cnt_lsbは、現在のピクチャに対するピクチャオー
ダカウントモジュロMaxPicOrderCntLsbを規定する。ph_pic_o
rder_cnt_lsb構文要素の長さは、log2_max_pic_order_
cnt_lsb_minus4+4ビットである。ph_pic_order_cnt_
lsbの値は、0からMaxPicOrderCntLsb-1の範囲内とする。
no_output_of_prior_pics_flagは、附属書Cに規定され
るように、ビットストリームの最初のピクチャでないCLVSSピクチャの復号化後の、
DPBにおける前回復号化されたピクチャの出力に影響を及ぼす。
recovery_poc_cntは、出力順において、復号化されたピクチャのリカ
バリポイントを規定する。現在のピクチャがPHに関連付けられたGDRピクチャであり
、現在のGDRピクチャのPicOrderCntValにrecovery_poc_
cntの値を加えたものであるPicOrderCntValを有するCLVSにおいて
、復号化順において現在のGDRピクチャに続くピクチャpicAが存在する場合、ピク
チャpicAをリカバリポイントピクチャと呼ぶ。そうでない場合、現在のピクチャのP
icOrderCntValにrecovery_poc_cntの値を加えたものより
も大きいPicOrderCntValを有する、出力順における第1のピクチャを、リ
カバリポイントピクチャと呼ぶ。リカバリポイントピクチャは、復号化順において、現在
のGDRピクチャに先行しないものとする。recovery_poc_cntの値は、
0からMaxPicOrderCntLsb-1の範囲内とする。
【0070】
現在のピクチャがGDRピクチャである場合、変数RpPicOrderCntVal
は、以下のように導出される。
RpPicOrderCntVal=PicOrderCntVal+recove
ry_poc_cnt (81)
注2-gdr_enabled_flagが1に等しく、現在のピクチャのPicOr
derCntValが関連付けられたGDRピクチャのRpPicOrderCntVa
l以上である場合、出力順において現在および後続の復号化されたピクチャが、復号化順
において関連付けられたGDRピクチャに先行する前のIRAPピクチャ(存在する場合
)から復号化処理を開始することによって生成された対応するピクチャに完全に一致する

...
【0071】
3.8. VVCにおけるRPLの制約
最近のVVCテキスト(JVET-Q2001-vE/v15)において、VVCにお
けるRPLの制約は、以下のとおりである(VVCの条項8.3.2 参照ピクチャリス
ト構築の復号化処理の一部として)。
【0072】
8.3.2 参照ピクチャリスト構築のための復号化処理
...
各iが0または1に等しい場合、RefPicList[i]における第1のNumR
efIdxActive[i]エントリは、RefPicList[i]におけるアクテ
ィブエントリと称され、RefPicList[i]における他のエントリは、RefP
icList[i]における非アクティブエントリと称される。
注2-特定のピクチャは、RefPicList[0]におけるエントリおよびRef
PicList[1]におけるエントリの両方により参照されることがあり得る。また、
特定のピクチャが、RefPicList[0]における複数のエントリにより、または
RefPicList[1]における複数のエントリにより参照されることもあり得る。
注3-RefPicList[0]のアクティブエントリおよびRefPicList
[1]のアクティブエントリは、現在のピクチャおよび復号化順において現在のピクチャ
に続く1または複数のピクチャのインター予測のために使用してもよい全ての参照ピクチ
ャをまとめて参照する。RefPicList[0]の非アクティブエントリおよびRe
fPicList[1]の非アクティブエントリは、現在のピクチャのインター予測のた
めには使用されないが、復号化順において現在のピクチャに続く1または複数のピクチャ
のためのインター予測において使用してもよい全ての参照ピクチャをまとめて参照する。
注4-RefPicList[0]またはRefPicList[1]には、対応する
ピクチャがDPBに存在しないため、「参照ピクチャなし」に等しいエントリが1または
複数ある場合がある。「参照ピクチャなし」に等しいRefPicList[0]または
RefPicList[0]における各非アクティブエントリは、無視されるべきである
。「参照ピクチャなし」に等しいRefPicList[0]またはRefPicLis
t[1]における各アクティブエントリに対し、意図しないピクチャ損失を推測すべきで
ある。
【0073】
ビットストリーム適合性の要件は、以下の制約が適用されることである。
-各iが0または1に等しい場合、num_ref_entries[i][Rpls
Idx[i]]は、NumRefIdxActive[i]よりも小さくてはならない。
RefPicList[0]またはRefPicList[1]の各アクティブエント
リによって参照されるピクチャは、DPBに含まれ、かつ現在のピクチャのTempor
alId以下とする。
-RefPicList[0]またはRefPicList[1]の各エントリによっ
て参照されるピクチャは、現在のピクチャではなく、0に等しいnon_referen
ce_picture_flagを有するものとする。
-ピクチャのスライスのRefPicList[0]またはRefPicList[1
]におけるSTRPエントリと、同じピクチャの同じスライスまたは異なるスライスのR
efPicList[0]またはRefPicList[1]におけるLTRPエントリ
とは、同じピクチャを参照しないものとする。
-現在のピクチャのPicOrderCntValとエントリにより参照されるピクチ
ャのPicOrderCntValとの差分が224以上であるRefPicList[
0]またはRefPicList[1]において、LTRPエントリはないものとする。
-setOfRefPicsは、RefPicList[0]において現在のピクチャ
と同じnuh_layer_idを有する全てのエントリと、RefPicList[1
]において現在のピクチャと同じnuh_layer_idを有する全てのエントリとに
より参照される固有のピクチャのセットである。setOfRefPicsにおけるピク
チャの数は、MaxDpbSize-1以下でなければならず、MaxDpbSizeは
、A.4.2項で規定されるとおりであり、setOfRefPicsは、ピクチャの全
てのスライスで同じである。
【0074】
-現在のスライスがSTSA_NUTに等しいnal_unit_typeを有する場
合、現在のピクチャのものとTemporalIdが等しく、かつnuh_layer_
idが現在のピクチャのものと等しいRefPicList[0]またはRefPicL
ist[1]においてアクティブエントリが存在しないものとする。
-現在のピクチャが、復号化順において、現在のピクチャのものとTemporalI
dが等しく、かつ現在のピクチャのものとnuh_layer_idが等しいSTSAピ
クチャの後に続くピクチャである場合、復号化順において、STSAピクチャに先行し、
現在のピクチャのものとTemporalIdが等しく、かつ現在のピクチャのものとn
uh_layer_idが等しいピクチャは、RefPicList[0]またはRef
PicList[1]にアクティブエントリとして含まれるピクチャはないものとする。
-現在のピクチャがCRAピクチャの場合、RefPicList[0]またはRef
PicList[1]のエントリにより参照されるピクチャであって、復号化順において
先行するIRAPピクチャ(存在する場合)に、出力順または復号化順において、先行す
るピクチャはないものとする。
【0075】
-現在のピクチャがトレイリングピクチャである場合、RefPicList[0]ま
たはRefPicList[1]のアクティブエントリにより参照されるピクチャであっ
て、現在のピクチャに関連付けられたIRAPピクチャのために利用不可な参照ピクチャ
を生成するための復号化処理によって生成されたピクチャはないものとする。
-現在のピクチャが、復号化順と出力順の両方において、同じIRAPピクチャに関連
付けられた1または複数のリーディングピクチャに続くトレイリングピクチャである場合
、RefPicList[0]またはRefPicList[1]のエントリにより参照
されるピクチャであって、現在のピクチャに関連付けられたIRAPピクチャのために利
用不可な参照ピクチャを生成するための復号化処理により生成されたピクチャはないもの
とする。
-現在のピクチャがリカバリポイントピクチャであるか、または出力順においてリカバ
リポイントピクチャに後続するピクチャである場合、リカバリポイントピクチャのGDR
ピクチャのために利用不可な参照ピクチャを生成するための復号化処理によって生成され
たピクチャを含むRefPicList[0]またはRefPicList[1]のエン
トリはないものとする。
【0076】
-現在のピクチャがトレイリングピクチャである場合、出力順または復号化順において
、関連付けられたIRAPピクチャに先行するRefPicList[0]またはRef
PicList[1]のアクティブエントリにより参照されるピクチャはないものとする

-現在のピクチャが、復号化順および出力順の両方において、同じIRAPピクチャに
関連付けられた1または複数のリーディングピクチャに続くトレイリングピクチャである
場合、出力順または復号化順において、関連付けられたIRAPピクチャに先行するRe
fPicList[0]又はRefPicList[1]におけるエントリにより参照さ
れるピクチャはないものとする。
-現在のピクチャがRADLピクチャである場合、RefPicList[0]または
RefPicList[1]に以下のいずれかに該当するアクティブエントリはないもの
とする。
○RASL ピクチャ
○利用不可な参照ピクチャを生成するために、復号化処理によって生成されたピクチ

○復号順において、関連付けられたIRAPピクチャに先行するピクチャ
【0077】
-現在のピクチャのスライスのRefPicList[0]またはRefPicLis
t[1]における各ILRPエントリにより参照されるピクチャは、現在のピクチャと同
じAU内にあるものとする。
-現在のピクチャのスライスのRefPicList[0]またはRefPicLis
t[1]における各ILRPエントリにより参照されるピクチャは、DPBに存在し、且
つ現在のピクチャのものよりも小さいnuh_layer_idを有するものとする。
-スライスのRefPicList[0]またはRefPicList[1]における
各ILRPエントリは、アクティブエントリであるものとする。
...
【0078】
4.開示される技術的解決策によって対処する技術的問題
最近のVVCテキスト(JVET-Q2001-vE/v15)における既存の設計は
、以下の問題を有する。
1)関連付けられたIRAPピクチャの定義は、特定のピクチャの関連付けられたIR
APピクチャが特定のピクチャと同じレイヤに属するように更新されるべきである。
2)現在のトレイリングピクチャの定義は、以下の通りである。
トレイリングピクチャ:出力順において、関連付けられたIRAPピクチャに続き、かつ
、STSAピクチャではない非IRAPピクチャ。
そのため、ビットストリームにはトレイリングピクチャが存在するためのIRAPピク
チャが必要であり、ビットストリームにIRAPピクチャがない場合、NALユニットタ
イプ値TRAIL_NUTを使用できない。しかし、GDRピクチャに関連付けられた非
STSAピクチャは、NALユニットタイプ値TRAIL_NUTを使用する必要がある

3)復号化順におけるIRAPピクチャの前のピクチャの出力順に対する既存の制約は
、レイヤ内のピクチャにのみ適用されるように規定される必要がある。
4)GDRピクチャと、復号化順においてその前後のピクチャの間においては相対的な
復号化順および出力順に対する制約がない。
5)IRAPピクチャおよび一部の非リーディングピクチャに関連付けられたピクチャ
の復号化順に対する既存の制約は、レイヤ内のピクチャにのみ適用されるように規定され
る必要がある。
【0079】
6)現在、GDRピクチャに関連付けられたリーディングピクチャ、RADLピクチャ
、およびRASLピクチャはサポートされていない。
7)CRAピクチャのためのRPLに対する既存の制約は、レイヤ内のピクチャにのみ
適用されるように規定される必要がある。
8)STSAピクチャ、GDRピクチャに関連付けられたトレイリングピクチャ、およ
びNoOutputBeforeRecoveryFlagが0に等しいGDRピクチャ
の場合、利用不可な参照ピクチャを生成するための復号化処理によって生成されないRP
Lのアクティブエントリに対する制約が欠落している。
9)STSAピクチャ、IDRピクチャ、NoOutputBeforeRecove
ryFlagが0に等しいCRAピクチャ等の場合、利用不可な参照ピクチャを生成する
ための復号化処理によって生成されないRPLのエントリに対する制約が欠落している。
10)STSAピクチャの場合、出力順または復号化順において、関連付けられたIR
APピクチャに先行しないようにRPLにおけるアクティブエントリに対する制約が欠落
している。
11)STSAピクチャの場合、出力順または復号化順において、関連付けられたIR
APピクチャに先行しないようにRPLにおけるエントリに対する制約が欠落している。
【0080】
5.実施例及び技術的解決策の例
上述した課題等を解決するために、以下に示す方法が開示されている。本発明は、一般
的な概念を説明するための例と見なされるべきであり、狭い意味で解釈されるべきではな
い。さらに、本発明は、個々に適用されてもよいし、任意に組み合わせて適用されてもよ
い。
1)課題1を解決するために、関連付けられたIRAPピクチャの定義は、特定のピク
チャの関連付けられたIRAPピクチャが特定のピクチャと同じレイヤに属するように更
新される。
2)課題2を解決するために、トレイリングピクチャの定義を更新し、トレイリングピ
クチャはGDRピクチャと関連付けられてもよい。
a.さらに、関連付けられたGDRピクチャの定義を追加し、関連付けられたIRA
Pピクチャの定義を更新し、ビットストリームにおける第1のピクチャ以外のレイヤの各
ピクチャを、復号化順において、同じレイヤの前のIRAPまたはGDRピクチャのうち
のより近い方に関連付けるように特定する。
b.さらに、トレイリングピクチャが関連付けられたIRAPまたはGDRピクチャ
の出力順に従うことを要求する制約が追加される。
【0081】
3)課題3を解決するために、復号化順においてIRAPピクチャに先行するピクチャ
の出力順に関する既存の制約を、レイヤ内のピクチャに制限を課すのみになるように更新
する。
a.一例において、この制約は、以下のように規定される。nuh_layerId
に等しいnuh_layer_idを有するIRAPピクチャに復号順において、先行し
、特定の値layerIdに等しいnuh_layer_Idを有する任意のピクチャは
、出力順において、IRAPピクチャおよびその関連付けられたRADLピクチャに先行
する。
4)課題4を解決するために、以下の制約条件のうちの1または複数を追加する。
a.トレイリングピクチャは、出力順において、関連付けられたIRAPまたはGD
Rピクチャに後続する。
b.layerIdに等しいnuh_layer_idを有するGDRピクチャに、
復号順において、先行し、特定の値layerIdに等しいnuh_layer_idを
有する任意のピクチャは、出力順において、GDRピクチャおよびその関連付けられたピ
クチャに先行する。
【0082】
5)課題5を解決するために、IRAPピクチャおよび一部の非リーディングピクチャ
に関連付けられたピクチャの復号順に関する既存の制約を、1つのレイヤ内のピクチャに
制限を課すのみになるように更新する。
a.一例において、この制約は、以下のように規定される。field_seq_
flagが0に等しく、かつnuh_layer_idが特定の値layerIdに等し
い現在のピクチャが、IRAPピクチャに関連付けられたリーディングピクチャである場
合、それは、同じIRAPピクチャに関連付けられた全ての非リーディングピクチャに、
復号化順において、先行するものとする。そうでない場合、picAおよびpicBを、
それぞれ、復号化順において、IRAPピクチャに関連付けられた、最初と最後のリーデ
ィングピクチャとすると、復号化順においてpicAに先行する、layerIdに等し
いnuh_layer_idを有する非リーディングピクチャが最大1つ存在し、かつ、
復号化順において、picAとpicBの間でlayerIdに等しいnuh_laye
r_idを有する非リーディングピクチャは存在しないものとする。
b.別の例において、この制約は、以下のように規定される。field_seq_
flagが0に等しく、現在のピクチャがIRAPピクチャに関連付けられたリーディン
グピクチャに等しい場合、それは、復号化順において、同じIRAPピクチャに関連付け
られたすべての非リーディングピクチャに先行するものとする。そうでない場合、pic
AおよびpicBを、それぞれ、復号順において、IRAPピクチャに関連付けられた、
最初のおよび最後のリーディングピクチャとすると、復号化順においてpicAに先行す
る、IRAPピクチャに関連付けられた非リーディングピクチャが最大1つ存在し、かつ
、復号化順において、picAおよびpicBの間にIRAPピクチャに関連付けられた
非リーディングピクチャは存在しないものとする。
【0083】
6)課題6を解決するために、GDRピクチャに関連付けられたリーディングピクチャ
、RADLピクチャ、およびRASLピクチャを定義し、規定する。
a.GDRピクチャに関連付けられたリーディングピクチャは、復号化順においてG
DRピクチャに続き、出力順においてそれに先行するピクチャである。
b.GDRピクチャに関連付けられたRADLピクチャは、GDRピクチャに関連付
けられたリーディングピクチャであり、RADL_NUTに等しいnal_unit_t
ypeを有する。
c.GDRピクチャに関連付けられたRASLピクチャは、GDRピクチャに関連付
けられたリーディングピクチャであり、RASL_NUTに等しいnal_unit_t
ypeを有する。
【0084】
7)課題7を解決するために、CRAピクチャのRPLに関する既存の制約を、レイヤ
内のピクチャにのみ制限を課すように更新する。
a.一例において、この制約は、以下のように規定される。
現在のピクチャが、特定の値layerIdに等しいnuh_layer_idを
有し、CRAピクチャである場合、出力順または復号化順において、復号化順にてlay
erIdに等しいnuh_layer_idを有する先行IRAPピクチャ(存在する場
合)に先行する、RefPicList[0]またはRefPicList[1]のエン
トリに参照されるピクチャは存在しないものとする。
【0085】
8)課題8を解決するために、以下の制約条件を規定する。
特定の値layerIdに等しいnuh_layer_idを有する現在のピクチャが
、1に等しいNoOutputBeforeRecoveryFlagを有するCRAピ
クチャに関連付けられたRASLピクチャ、1に等しいNoOutputBeforeR
ecoveryFlagを有するGDRピクチャ、または、1に等しいNoOutput
BeforeRecoveryFlagかつlayerIdに等しいnum_layer
_idを有するGDRピクチャの復元ピクチャでない場合、利用不可な参照ピクチャを生
成するための復号化処理にて生成された、RefPicList[0]またはRefPi
cList[1]のアクティブエントリにより参照されるピクチャは存在しないことが規
定される。
【0086】
9)課題9を解決するために、以下の制約条件を規定する。
特定の値layerIdに等しいnuh_layer_idを有する現在のピクチャが
、1に等しいNoOutputBeforeRecoveryFlagを有するCRAピ
クチャ、復号化順において、1に等しいNoOutputBeforeRecovery
Flagを有する同じCRAピクチャに関連付けられたリーディングピクチャに先行する
ピクチャ、1に等しいNoOutputBeforeRecoveryFlagを有する
CRAピクチャに関連付けられたリーディングピクチャ、1に等しいNoOutputB
eforeRecoveryFlagを有するGDRピクチャ、または、1に等しいNo
OutputBeforeRecoveryFlagかつlayerIdに等しいnuh
_layer_idを有するGDRピクチャの復元ピクチャでない場合、利用不可な参照
ピクチャを生成するための復号化処理にて生成された、RefPicList[0]また
はRefPicList[1]のエントリにより参照されるピクチャは存在しないことが
規定される。
【0087】
10)課題10を解決するために、以下の制約条件を規定する。
現在のピクチャがIRAPピクチャに関連付けられ、かつ出力順においてIRAPピク
チャに続く場合、出力順または復号化順において、関連付けられたIRAPピクチャに先
行する、RefPicList[0]またはRefPicList[1]のアクティブエ
ントリにより参照されるピクチャはないものとする。
11)課題11を解決するために、以下の制約条件を規定する。
現在のピクチャがIRAPピクチャに関連付けられ、出力順においてIRAPピクチャ
に続き、かつ、復号化順および出力順の両方において、同じIRAPピクチャに関連付け
られたリーディングピクチャに続く場合、出力順または復号化順において、関連付けられ
たIRAPピクチャに先行する、RefPicList[0]またはRefPicLis
t[1]のエントリにより参照されるピクチャはないものとする。
【0088】
6.実施形態
以下は、上記第5章に要約されたいくつかの発明の態様のためのいくつかの例示的な実
施形態であり、VVC仕様に適用できる。変更されたテキストは、JVET-Q2001
-vE/v15における最新のVVCのテキストに基づく。既に追加または修正された最
も関連性のある部分は、太字のイタリック文字で強調表示され、且つ削除された部分の一
部は、二重括弧でマークされている(例えば、[[a]]は、「a」という文字の削除を
示す)。本質的に編集可能であるため、強調されていない他の何らかの変更がある。
【0089】
6.1.第一の実施形態
本実施形態は1、2、3、4、5、及び5a項に対するものである。
【0090】
3 定義
...
【0091】
【数1】
【0092】
7.4.2.2. NALユニットヘッダの意味論
...
【0093】
【数2】
【0094】
【数3】
【0095】
7.4.3.7 ピクチャヘッダ構造意味論
...
【0096】
【数4】
【0097】
[[現在のピクチャがGDRピクチャである場合、変数RpPicOrderCntVa
lは、以下のように導出される。
RpPicOrderCntVal=PicOrderCntVal+recove
ry_poc_cnt (81)]]
注2-gdr_enabled_flagが1に等しく、現在のピクチャのPicOr
derCntValが関連付けられたGDRピクチャのrecoveryPointPo
cVal[[RpPicOrderCntVal]]以上である場合、出力順における現
在および後続の復号化されたピクチャが、復号化順において関連付けられたGDRピクチ
ャに先行する前のIRAPピクチャ(存在する場合)から復号化処理を開始することによ
って生成された対応するピクチャに完全に一致する。
...
【0098】
8.3.2 参照ピクチャリスト構築のための復号化処理
...
【0099】
【数5】
【0100】
【数6】
【0101】
【数7】
【0102】
-現在のピクチャがRADLピクチャである場合、RefPicList[0]または
RefPicList[1]に以下のいずれかに該当するアクティブエントリはないもの
とする。
○RASLピクチャ
[[利用不可な参照ピクチャを生成するための復号化処理によって生成されたピクチャ
]]
○復号化順において、関連付けられたIRAPピクチャに先行するピクチャ
-...
【0103】
図1は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム1
900を示すブロック図である。様々な実装形態は、システム1900のコンポーネント
の一部または全部を含んでもよい。システム1900は、映像コンテンツを受信するため
の入力1902を含んでもよい。映像コンテンツは、未加工または非圧縮フォーマット、
例えば、8または10ビットのマルチコンポーネント画素値で受信されてもよく、または
圧縮または符号化されたフォーマットで受信されてもよい。入力1902は、ネットワー
クインターフェース、周辺バスインターフェース、または記憶インターフェースを表して
もよい。ネットワークインターフェースの例は、イーサネット(登録商標)、PON(登
録商標;Passive Optical Network)等の有線インターフェース
、およびWi-Fi(登録商標)またはセルラーインターフェース等の無線インターフェ
ースを含む。
【0104】
システム1900は、本明細書に記載される様々なコーディングまたは符号化方法を実
装することができるコーディングコンポーネント1904を含んでもよい。コーディング
コンポーネント1904は、入力1902からの映像の平均ビットレートをコーディング
コンポーネント1904の出力に低減し、映像のコーディングされた表現を生成してもよ
い。従って、コーディング技術は、映像圧縮または映像トランスコーディング技術と呼ば
れることがある。コーディングコンポーネント1904の出力は、コンポーネント190
6によって表されるように、記憶されてもよいし、接続された通信を介して送信されても
よい。入力1902において受信された、記憶されたまたは通信された映像のビットスト
リーム(またはコーディングされた)表現は、コンポーネント1908によって使用され
て、表示インターフェース1910に送信される画素値または表示可能な映像を生成して
もよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映
像展開と呼ばれることがある。さらに、特定の映像処理動作を「コーディング」動作また
はツールと呼ぶが、コーディングツールまたは動作は、エンコーダおよびそれに対応する
、コーディングの結果を逆にする復号化ツールまたは動作が、デコーダによって行われる
ことが理解されよう。
【0105】
周辺バスインターフェースまたは表示インターフェースの例は、USB(登録商標;U
niversal Serial Bus)またはHDMI(登録商標;High De
finition Multimedia Interface)またはディスプレイポ
ート等を含んでもよい。ストレージインターフェースの例は、SATA(Serial
Advanced Technology Attachment)、PCI、IDEイ
ンターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、ス
マートフォン、又はデジタルデータ処理及び/又は映像表示を実施可能な他のデバイス等
の様々な電子デバイスに実施されてもよい。
【0106】
図2は、映像処理装置3600のブロック図である。装置3600は、本明細書に記載
の方法の1または複数を実装するために使用されてもよい。装置3600は、スマートフ
ォン、タブレット、コンピュータ、IoT(Internet of Things)受
信機等に実施されてもよい。装置3600は、1または複数のプロセッサ3602と、1
または複数のメモリ3604と、映像処理ハードウェア3606と、を含んでもよい。1
または複数のプロセッサ3602は、本明細書に記載される1または複数の方法を実装す
るように構成されてもよい。1または複数のメモリ3604は、本明細書で説明される方
法および技術を実装するために使用されるデータおよびコードを記憶するために使用して
もよい。映像処理ハードウェア3606は、本明細書に記載される技術をハードウェア回
路にて実装するために使用してもよい。
【0107】
図4は、本開示の技法を利用し得る例示的な映像コーディングシステム100を示すブ
ロック図である。
【0108】
図4に示すように、映像コーディングシステム100は、送信元デバイス110と、送
信先デバイス120と、を備えてもよい。送信元デバイス110は、符号化された映像デ
ータを生成するものであり、映像符号化デバイスとも呼ばれ得る。送信先デバイス120
は、送信元デバイス110によって生成された符号化映像データを復号化してよく、映像
復号化デバイスとも呼ばれ得る。
【0109】
送信元デバイス110は、映像ソース112と、映像エンコーダ114と、入出力(I
/O)インターフェース116と、を含んでよい。
【0110】
映像ソース112は、映像キャプチャデバイスなどのソース、映像コンテンツプロバイ
ダからの映像データを受信するためのインターフェース、および/または映像データを生
成するためのコンピュータグラフィックスシステム、またはこれらのソースの組み合わせ
を含んでもよい。映像データは、1または複数のピクチャを含んでもよい。映像エンコー
ダ114は、映像ソース112からの映像データを符号化し、ビットストリームを生成す
る。ビットストリームは、映像データのコーディングされた表現を形成するビットのシー
ケンスを含んでもよい。ビットストリームは、コーディングされたピクチャおよび関連付
けられたデータを含んでもよい。コーディングされたピクチャは、ピクチャのコーディン
グされた表現である。関連付けられたデータは、シーケンスパラメータセット、ピクチャ
パラメータセット、および他の構文構造を含んでもよい。I/Oインターフェース116
は、変復調器(モデム)および/または送信機を含んでもよい。符号化された映像データ
は、ネットワーク130aを介して、I/Oインターフェース116を介して送信先デバ
イス120に直接送信されてよい。符号化された映像データは、送信先デバイス120に
よるアクセスのために、記録媒体/サーバ130b上に記憶されてもよい。
【0111】
送信先デバイス120は、I/Oインターフェース126、映像デコーダ124、およ
び表示装置122を含んでもよい。
【0112】
I/Oインターフェース126は、受信機および/またはモデムを含んでもよい。I/
Oインターフェース126は、送信元デバイス110または記憶媒体/サーバ130bか
ら符号化された映像データを取得してもよい。映像デコーダ124は、符号化された映像
データを復号化してもよい。表示装置122は、復号化された映像データをユーザに表示
してもよい。表示装置122は、送信先デバイス120と一体化されてもよく、または外
部表示装置とインターフェースするように構成される送信先デバイス120の外部にあっ
てもよい。
【0113】
映像エンコーダ114および映像デコーダ124は、HEVC(High Effic
iency Video Coding)規格、VVC(Versatile Vide
o Coding)規格、および他の現在および/または更なる規約等の映像圧縮規格に
従って動作してもよい。
【0114】
図5は、映像エンコーダ200の一例を示すブロック図であり、この映像エンコーダ2
00は、図4に示されるシステム100における映像エンコーダ114であってもよい。
【0115】
映像エンコーダ200は、本開示の技術のいずれか又は全部を実行するように構成され
てもよい。図5の例において、映像エンコーダ200は、複数の機能コンポーネントを含
む。本開示で説明される技法は、映像エンコーダ200の様々なコンポーネント間で共有
されてもよい。いくつかの例では、プロセッサは、本開示で説明される技術のいずれかま
たはすべてを行うように構成してもよい。
【0116】
映像エンコーダ200の機能コンポーネントは、分割部201、モード選択部203、
動き推定部204、動き補償部205、およびイントラ予測部206を含んでよい予測部
202、残差生成部207、変換部208、量子化部209、逆量子化部210、逆変換
部211、再構成部212、バッファ213、およびエントロピー符号化部214を含ん
でもよい。
【0117】
他の例において、映像エンコーダ200は、より多くの、より少ない、又は異なる機能
コンポーネントを含んでもよい。一例において、予測部202は、IBC(Intra
Block Copy)部を含んでもよい。IBC部は、少なくとも1つの参照ピクチャ
が現在の映像ブロックが位置するピクチャであるIBCモードにおいて予測を行うことが
できる。
【0118】
さらに、動き推定部204および動き補償部205などのいくつかのコンポーネントは
、高度に統合されてもよいが、説明のために、図5の例においては別個に表現されている
【0119】
分割部201は、ピクチャを1または複数の映像ブロックに分割してもよい。映像エン
コーダ200および映像デコーダ300は、様々な映像ブロックサイズをサポートしても
よい。
【0120】
モード選択部203は、例えば、誤りの結果に基づいて、イントラまたはインターのコ
ーディングモードのうちの1つを選択し、得られたイントラまたはインターコーディング
されたブロックを残差生成部207に供給し、残差ブロックデータを生成して再構成部2
12に供給し、符号化されたブロックを参照ピクチャとして使用するために再構成しても
よい。いくつかの例において、モード選択部203は、インター予測信号およびイントラ
予測信号に基づいて予測を行うCIIP(Combination of Intra
and Inter Prediction)モードを選択してもよい。また、モード選
択部203は、インター予測の場合、ブロックの動きベクトルの解像度(例えば、サブピ
クセルまたは整数画素精度)を選択してもよい。
【0121】
現在の映像ブロックに対してインター予測を行うために、動き推定部204は、バッフ
ァ213からの1または複数の参照フレームと現在の映像ブロックとを比較することで、
現在の映像ブロックのための動き情報を生成してもよい。動き補償部205は、現在の映
像ブロックに関連付けられたピクチャ以外のバッファ213からのピクチャの動き情報お
よび復号化されたサンプルに基づいて、現在の映像ブロックのための予測映像ブロックを
判定してもよい。
【0122】
動き推定部204および動き補償部205は、現在の映像ブロックがIスライスである
か、Pスライスであるか、またはBスライスであるかによって、例えば、現在の映像ブロ
ックに対して異なる動作を行ってもよい。
【0123】
いくつかの例では、動き推定部204は、現在の映像ブロックに対して単一方向予測を
行い、動き推定部204は、現在の映像ブロックに対して、参照映像ブロック用のリスト
0またはリスト1の参照ピクチャを検索してもよい。そして、動き推定部204は、参照
映像ブロックと、現在の映像ブロックと参照映像ブロックとの間の空間的変位を示す動き
ベクトルとを含む、リスト0またはリスト1における参照ピクチャを示す参照インデック
スを生成してもよい。動き推定部204は、参照インデックス、予測方向インジケータ、
および動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償
部205は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在の
ブロックの予測映像ブロックを生成してもよい。
【0124】
他の例において、動き推定部204は、現在の映像ブロックを双方向予測してもよく、
動き推定部204は、リスト0における参照ピクチャの中から現在の映像ブロックを求め
るための参照映像ブロックを検索してもよく、また、リスト1における参照ピクチャの中
から現在の映像ブロックを求めるための別の参照映像ブロックを検索してもよい。そして
、動き推定部204は、参照映像ブロックを含むリスト0およびリスト1における参照ピ
クチャを示す参照インデックスと、参照映像ブロックと現在の映像ブロックとの間の空間
的変位を示す動きベクトルとを生成してもよい。動き推定部204は、現在の映像ブロッ
クの参照インデックスおよび動きベクトルを、現在の映像ブロックの動き情報として出力
してもよい。動き補償部205は、現在の映像ブロックの動き情報が示す参照映像ブロッ
クに基づいて、現在の映像ブロックの予測映像ブロックを生成してもよい。
【0125】
いくつかの例では、動き推定部204は、デコーダの復号化処理のために、動き情報の
フルセットを出力してもよい。
【0126】
いくつかの例では、動き推定部204は、現在の映像のための動き情報のフルセットを
出力しなくてもよい。むしろ、動き推定部204は、別の映像ブロックの動き情報を参照
して、現在の映像ブロックの動き情報を信号通知してもよい。例えば、動き推定部204
は、現在の映像ブロックの動き情報が近傍の映像ブロックの動き情報に十分に類似してい
ることを判定してもよい。
【0127】
一例において、動き推定部204は、現在の映像ブロックに関連付けられた構文構造に
おいて、現在の映像ブロックが別の映像ブロックと同じ動き情報を有することを映像デコ
ーダ300に示す値を示してもよい。
【0128】
別の例において、動き推定部204は、現在の映像ブロックに関連付けられた構文構造
において、別の映像ブロックと、動きベクトル差分(MVD;Motion Vecto
r Difference)とを識別してもよい。動きベクトル差分は、現在の映像ブロ
ックの動きベクトルと、示された映像ブロックの動きベクトルとの差分を示す。映像デコ
ーダ300は、示された映像ブロックの動きベクトルおよび動きベクトル差分を使用して
、現在の映像ブロックの動きベクトルを決定してもよい。
【0129】
上述したように、映像エンコーダ200は、動きベクトルを予測的に信号通知してもよ
い。映像エンコーダ200によって実装され得る予測信号通知技法の2つの例は、AMV
P(Advanced Motion Vector Prediction)およびマ
ージモード信号通知を含む。
【0130】
イントラ予測部206は、現在の映像ブロックに対してイントラ予測を行ってもよい。
イントラ予測部206が現在の映像ブロックをイントラ予測する場合、イントラ予測部2
06は、同じピクチャにおける他の映像ブロックの復号化されたサンプルに基づいて、現
在の映像ブロックのための予測データを生成してもよい。現在の映像ブロックのための予
測データは、予測された映像ブロック及び様々な構文要素を含んでもよい。
【0131】
残差生成部207は、現在の映像ブロックから現在の映像ブロックの予測された映像ブ
ロックを減算することによって(例えば、マイナス符号によって示されている)、現在の
映像ブロックのための残差データを生成してもよい。現在の映像ブロックの残差データは
、現在の映像ブロックにおけるサンプルの異なるサンプル成分に対応する残差映像ブロッ
クを含んでもよい。
【0132】
他の例において、例えば、スキップモードにおいて、現在の映像ブロックのための残差
データがなくてもよく、残差生成部207は、減算演算を行わなくてもよい。
【0133】
変換処理部208は、現在の映像ブロックに関連付けられた残差映像ブロックに1また
は複数の変換を適用することによって、現在の映像ブロックのための1または複数の変換
係数映像ブロックを生成してもよい。
【0134】
変換処理部208が現在の映像ブロックに関連付けられた変換係数映像ブロックを生成
した後、量子化部209は、現在の映像ブロックに関連付けられた1または複数の量子化
パラメータ(QP:Quantization Parameter)値に基づいて、現
在の映像ブロックに関連付けられた変換係数映像ブロックを量子化してもよい。
【0135】
逆量子化部210および逆変換部211は、変換係数映像ブロックに逆量子化および逆
変換をそれぞれ適用し、変換係数映像ブロックから残差映像ブロックを再構成してもよい
。再構成部212は、予測部202にて生成された1または複数の予測映像ブロックから
の対応するサンプルに再構成された残差映像ブロックを加え、現在のブロックに関連付け
られた再構成映像ブロックを生成し、バッファ213に記憶してもよい。
【0136】
再構成部212が映像ブロックを再構成した後、映像ブロックにおける映像ブロッキン
グアーチファクトを縮小するために、ループフィルタリング動作が行われてもよい。
【0137】
エントロピー符号化部214は、映像エンコーダ200の他の機能コンポーネントから
データを受信してもよい。エントロピー符号化部214がデータを受信すると、エントロ
ピー符号化部214は、1または複数のエントロピー符号化動作を行い、エントロピー符
号化されたデータを生成し、エントロピー符号化されたデータを含むビットストリームを
出力してもよい。
【0138】
図6は、映像デコーダ300の一例を示すブロック図であり、映像デコーダ300は、
図4に示すシステム100における映像デコーダ114であってもよい。
【0139】
映像デコーダ300は、本開示の技術のいずれか又は全部を実行するように構成されて
もよい。図6の例において、映像デコーダ300は、複数の機能コンポーネントを含む。
本開示で説明される技法は、映像デコーダ300の様々なコンポーネント間で共有されて
もよい。いくつかの例では、プロセッサは、本開示で説明される技術のいずれかまたはす
べてを行うように構成してもよい。
【0140】
図6の例において、映像デコーダ300は、エントロピー復号化部301、動き補償部
302、イントラ予測部303、逆量子化部304、逆変換部305、および再構成部3
06、並びにバッファ307を含む。映像デコーダ300は、いくつかの例では、映像エ
ンコーダ200(図5)に関して説明した符号化パスとほぼ逆の復号化パスを行ってもよ
い。
【0141】
エントロピー復号化部301は、符号化されたビットストリームを取り出す。符号化さ
れたビットストリームは、エントロピー符号化された映像データ(例えば、映像データの
符号化されたブロック)を含んでもよい。エントロピー復号化部301は、エントロピー
符号化された映像データを復号化し、エントロピー復号化された映像データから、動き補
償部302は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、お
よび他の動き情報を含む動き情報を決定してもよい。動き補償部302は、例えば、AM
VP及びマージモードを実行することで、このような情報を判定してもよい。
【0142】
動き補償部302は、動き補償されたブロックを生成してもよく、場合によっては、補
間フィルタに基づいて補間を実行する。サブピクセルの精度で使用される補間フィルタの
ための識別子が、構文要素に含まれてもよい。
【0143】
動き補償部302は、映像ブロックの符号化中に映像エンコーダ200によって使用さ
れるような補間フィルタを使用して、参照ブロックのサブ整数画素のための補間値を計算
してもよい。動き補償部302は、受信した構文情報に基づいて、映像エンコーダ200
が使用する補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成してもよ
い。
【0144】
動き補償部302は、符号化された映像シーケンスのフレームおよび/またはスライス
を符号化するために使用されるブロックのサイズを判定するための構文情報、符号化され
た映像シーケンスのピクチャの各マクロブロックがどのように分割されるかを記述する分
割情報、各分割がどのように符号化されるかを示すモード、各インター符号化されたブロ
ックに対する1または複数の参照フレーム(および参照フレームリスト)、および符号化
された映像シーケンスを復号化するための他の情報のいくつかを使用してもよい。
【0145】
イントラ予測部303は、例えば、ビットストリームにおいて受信したイントラ予測モ
ードを使用して、空間的に隣接するブロックから予測ブロックを形成してもよい。逆量子
化部303は、ビットストリームに提供され、エントロピー復号化部301によって復号
化された量子化された映像ブロック係数を逆量子化する。逆変換部303は、逆変換を適
用する。
【0146】
再構成部306は、残差ブロックと、動き補償部202またはイントラ予測部303に
よって生成された対応する予測ブロックとを合計し、復号化されたブロックを形成しても
よい。所望であれば、ブロックアーチファクトを除去するために、復号化されたブロック
をフィルタリングするためにデブロッキングフィルタを適用してもよい。復号化された映
像ブロックは、バッファ307に記憶され、バッファ307は、後続の動き補償/イント
ラ予測のために参照ブロックを提供し、また表示装置に表示するために復号化された映像
を生成する。
【0147】
次に、いくつかの実施形態において好適な例を列挙する。
【0148】
以下の項目は、前章に記載された技術の例示的な実施形態を示す。以下の項目は、前章
(例えば、項目1)に記載された技術の例示的な実施形態を示す。
【0149】
1.1または複数の映像ピクチャを含む1または複数の映像レイヤを有する映像と、映
像のコーディングされた表現との間の変換を実行すること(3002)を含み、コーディ
ングされた表現は、第2のピクチャのイントラランダムアクセスポイントピクチャである
第1の映像ピクチャと第2のピクチャとが同じ映像レイヤに属するように制約されること
を規定する規則に従って構成される、映像処理方法(例えば、図3に示す方法3000)
【0150】
以下の項目は、前章(例えば、項目2)に記載された技術の例示的な実施形態を示す。
【0151】
2.1または複数の映像ピクチャを含む1または複数の映像レイヤを有する映像と、映
像のコーディングされた表現との間の変換を実行することを含み、コーディングされた表
現は、イントラランダムアクセスポイントである第1のタイプのピクチャに続くコーディ
ングされた表現におけるトレイリングピクチャも、漸進的復号化リフレッシュピクチャを
含む第2のタイプのピクチャに関連付けられることを許可することを規定するフォーマッ
ト規則に準拠する、映像処理方法。
【0152】
3.フォーマット規則は、各レイヤに対し、ビットストリームにおけるレイヤの第1の
ピクチャ以外のレイヤの各ピクチャが、復号化順において、同じレイヤの、前のイントラ
ランダムアクセスポイントまたは漸進的デコーダリフレッシュピクチャのうちのより近い
方に関連付けられるように規定されることをさらに規定する、項目2に記載の方法。
【0153】
以下の項目は、前章(例えば、項目3)に記載された技術の例示的な実施形態を示す。
【0154】
4.1または複数の映像ピクチャを含む1または複数の映像レイヤを有する映像と、映
像のコーディングされた表現との間の変換を実行することを含み、コーディングされた表
現は、復号化順においてイントラランダムアクセスポイントに先行するピクチャの出力順
に対する制約を、出力順が同じ映像レイヤ内のピクチャにのみ適用可能となるように規定
するフォーマット規則に準拠する、映像処理方法。
【0155】
5.制約は、復号化順において、layerIdに等しいnuh_layer_idを
有するイントラランダムアクセスポイントピクチャに先行する、特定の値layerId
に等しいnuh_layer_idを有する任意のピクチャが、出力順において、イント
ラランダムアクセスポイントピクチャおよび関連付けられたすべてのランダムアクセス復
号化可能リーディングピクチャに先行する必要があることを規定する、項目1に記載の方
法。
【0156】
以下の項目は、前章(例えば、項目4)に記載された技術の例示的な実施形態を示す。
【0157】
6.1または複数の映像ピクチャを含む1または複数の映像レイヤを有する映像と、映
像のコーディングされた表現との間での変換を実行することを含み、コーディングされた
表現は、(1)トレイリングピクチャは、出力順において、関連付けられたIRAP(I
ntra Random Access Point)ピクチャまたはGDR(Grad
ual Decoder Refresh)ピクチャに続かなければならない、または(
2)GDRピクチャと同じレイヤIDを有するピクチャは、出力順において、GDRピク
チャと、GDRピクチャのすべての関連付けられたピクチャに先行しなければならないと
いう制約を規定するフォーマット規則に準拠している、映像処理方法。
【0158】
以下の項目は、前章(例えば、項目5)に記載された技術の例示的な実施形態を示す。
【0159】
7.1または複数の映像ピクチャを含む1または複数の映像レイヤを有する映像と、映
像のコーディングされた表現との間の変換を実行することを含み、変換は、順序制約が、
ピクチャ、IRAP(Intra Random Access Point)ピクチャ
、および非リーディングピクチャが同じレイヤにある場合にのみ、ピクチャ、IRAPピ
クチャ、および非リーディングピクチャに適用可能であるという規則に準拠し、この規則
は、
(a)フィールドシーケンスの値および復号化順を規定する第1の規則、または、
(b)レイヤのリーディングおよび/または非リーディングピクチャの順番、のうちの
一方である、映像処理方法。
【0160】
以下の項目は、前章(例えば、項目6)に記載された技術の例示的な実施形態を示す。
【0161】
8.1または複数の映像ピクチャを含む1または複数の映像レイヤを有する映像と、映
像のコーディングされた表現との間の変換を実行することを含み、変換は、リーディング
ピクチャ、RADL(Random Access Decodable Leadin
g)ピクチャ、およびGDR(Gradual Decoding Refresh)ピ
クチャに関連付けられたRASL(Random Access Skipped Le
ading)ピクチャの順序を規定する規則に準拠する、映像処理方法。
【0162】
以下の項目は、前章(例えば、項目7)に記載された技術の例示的な実施形態を示す。
【0163】
9.1または複数の映像ピクチャを含む1または複数の映像レイヤを有する映像と、映
像のコーディングされた表現との間の変換を実行することを含み、変換は、クリーンラン
ダムアクセスピクチャの参照ピクチャリストの制約がレイヤに制限されることを規定する
規則に準拠する、映像処理方法。
【0164】
10.制約は、クリーンランダムアクセスピクチャを有するレイヤに対して、復号化ま
たは出力順において先行するイントラランダムアクセスポイントピクチャが、参照ピクチ
ャリストにおけるエントリによって参照されないことを規定する、項目9に記載の方法。
【0165】
以下の項目は、前章(例えば、項目8)に記載された技術の例示的な実施形態を示す。
【0166】
11.1または複数の映像ピクチャを含む1または複数の映像レイヤを有する映像と、
映像のコーディングされた表現との間の変換を実行することを含み、変換は、現在のピク
チャが、利用不可な参照ピクチャを生成するための復号化処理によって生成された参照ピ
クチャリストにおけるエントリを参照することを許可する条件を規定する規則に準拠する
、映像処理方法。
【0167】
12.条件は、現在のピクチャが、1に等しいNoOutputBeforeReco
veryFlagを有するCRA(Clean Random Access)ピクチャ
に関連付けられたRASL(Random Access Skipped Leadi
ng)ピクチャ、1に等しいNoOutputBeforeRecoveryFlagを
有するGDR(Gradual Decoder Refresh)ピクチャ、または1
に等しいNoOutputBeforeRecoveryFlagを有するGDRピクチ
ャの復元ピクチャであることである、項目11に記載の方法。
【0168】
以下の項目は、前章(例えば、項目9、10および11)に記載された技術の例示的な
実施形態を示す。
【0169】
13.1または複数の映像ピクチャを含む1または複数の映像レイヤを有する映像と、
映像のコーディングされた表現との間の変換を実行することを含み、変換は、現在のピク
チャと現在のピクチャに対応する参照ピクチャリストとの間の順序規則に準拠する、映像
処理方法。
【0170】
14.規則は、特定の値layerIdに等しいnuh_layer_idを有する現
在のピクチャが、1に等しいNoOutputBeforeRecoveryFlagを
有するCRA(Clean Random Access)ピクチャ、符号化順において
1に等しいNoOutputBeforeRecoveryFlagを有する同じCRA
ピクチャに関連付けられたリーディングピクチャに先行するピクチャ、1に等しいNoO
utputBeforeRecoveryFlagを有するCRAピクチャに関連付けら
れたリーディングピクチャ、1に等しいNoOutputBeforeRecovery
Flagを有するGDRピクチャ、または、1に等しいNoOutputBeforeR
ecoveryFlagおよびlayerIdに等しいnuh_layer_idを通す
るGDRピクチャの復元ピクチャでない場合、利用不可な参照ピクチャを生成するための
復号化処理によって生成されたRefPicList[0]またはRefPicList
[1]のエントリにより参照されるピクチャはないものとすることを規定する、項目13
に記載の方法。
【0171】
15.規則は、現在のピクチャが、IRAP(Intra Random Acces
s Point)ピクチャに関連付けられ、かつ出力順においてIRAPピクチャに続く
場合、出力順または復号化順において、関連付けられたIRAPピクチャに先行する、R
efPicList[0]またはRefPicList[1]のアクティブエントリによ
り参照されるピクチャはないものとすることを規定する、項目13に記載の方法。
【0172】
16.規則は、現在のピクチャが、IRAP(Intra Random Acces
s Point)ピクチャに関連付けられ、出力順においてIRAPピクチャに続き、か
つ、復号化順および出力順の両方において、同じIRAPピクチャに関連付けられたリー
ディングピクチャに続く場合、出力順または復号化順において、関連付けられたIRAP
ピクチャに先行する、RefPicList[0]またはRefPicList[1]の
エントリにより参照されるピクチャはないものと規定する、項目13に記載の方法。
【0173】
17.変換は、映像をコーディングされた表現に符号化することを含む、項目1から1
6のいずれかに記載の方法。
【0174】
18.変換は、コーディングされた表現を復号化して、映像の画素値を生成することを
含む、項目1から16のいずれかに記載の方法。
【0175】
19.項目1から18のうちの1つまたは複数に記載の方法を実装するように構成され
たプロセッサを備える、映像復号化装置。
【0176】
20.項目1から18のうちの1つまたは複数に記載の方法を実装するように構成され
たプロセッサを備える映像符号化装置。
【0177】
21.コンピュータコードが記憶されたコンピュータプログラム製品において、コード
がプロセッサにより実行されると、プロセッサは、項目1から18のいずれかに記載の方
法を実装する。
【0178】
22.本明細書に記載の方法、装置またはシステム。
【0179】
第2の節は、前節で論じた技法の例示的な実施例を示す(例えば、項目1~7)。
【0180】
1.フォーマット規則に従って、1または複数の映像ピクチャを含む1または複数の映
像レイヤを有する映像と、映像のビットストリームとの間の変換を実行すること712を
含み、フォーマット規則は、第2のピクチャの関連付けられたイントラランダムアクセス
ポイントピクチャである第1の映像ピクチャと第2のピクチャとが同じ映像レイヤに属す
るように制約されることを規定する、映像処理の方法(例えば、図7Aに示す方法710
)。
【0181】
2.復号化順における第1の映像ピクチャと第2のピクチャとの間で、同じ映像レイヤ
に漸進的復号化リフレッシュピクチャがない、項目1に記載の方法。
【0182】
3.第1の映像ピクチャと第2のピクチャとは、映像コーディングレイヤネットワーク
抽象化レイヤユニットが属するレイヤの識別子と、非映像コーディングレイヤネットワー
ク抽象レイヤユニットが適用されるレイヤの識別子とが同じである、項目1に記載の方法
【0183】
4.復号化順における第1の映像ピクチャと第2のピクチャとの間で、同じ識別子を有
する漸進的復号化リフレッシュピクチャがない、項目1から3のいずれかに記載の方法。
【0184】
5.フォーマット規則は、トレイリングピクチャが、出力順において、関連付けられた
イントラランダムアクセスポイントピクチャまたは漸進的復号化リフレッシュピクチャに
続くことをさらに規定する、項目1に記載の方法。
【0185】
6.フォーマット規則に従って、1または複数の映像ピクチャを含む1または複数の映
像レイヤを有する映像と、映像のビットストリームとの間の変換を実行すること722を
含み、フォーマット規則は、ビットストリームにおけるトレイリングピクチャが、漸進的
復号化リフレッシュピクチャに関連付けることを許可することを規定する、映像処理方法
(例えば、図7Bに示す方法720)。
【0186】
7.トレイリングピクチャは、各映像コーディングレイヤネットワーク抽象レイヤユニ
ットが、トレイルネットワーク抽象レイヤユニットタイプを有するピクチャである、項目
6に記載の方法。
【0187】
8.トレイリングピクチャは、イントラランダムアクセスポイントピクチャに関連付け
られることを許可される、項目6または7に記載の方法。
【0188】
9.イントラランダムアクセスポイントピクチャまたは漸進的復号化リフレッシュピク
チャに関連付けられたトレイリングピクチャは、復号化順において、イントラランダムア
クセスポイントピクチャまたは斬新的復号化リフレッシュピクチャに続く、項目6から8
のいずれかに記載の方法。
【0189】
10.出力順において関連付けられたイントラランダムアクセスポイントピクチャに続
き、かつ、復号化順において関連付けられたイントラランダムアクセスポイントピクチャ
に先行するピクチャは、許可されない、項目6から8のいずれかに記載の方法。
【0190】
11.フォーマット規則は、各レイヤに対し、ビットストリームにおけるレイヤの第1
のピクチャ以外のレイヤの各ピクチャが、復号化順において、同じレイヤの、前のイント
ラランダムアクセスポイントまたは漸進的デコーダリフレッシュピクチャのうちのより近
いものに関連付けられるように規定されることをさらに規定する、項目6に記載の方法。
【0191】
12.トレイリングピクチャは、出力順において、関連付けられたイントラランダムア
クセスポイントまたは漸進的デコーダリフレッシュピクチャに続くことが要求される、項
目6または11に記載の方法。
【0192】
13.フォーマット規則に従って、1または複数の映像ピクチャを含む1または複数の
映像レイヤを有する映像と、映像のビットストリームとの間の変換を実行すること732
を含み、フォーマット規則は、復号化順においてイントラランダムアクセスポイントに先
行するピクチャの出力順に対する制約が同じ映像レイヤ内のピクチャに適用可能であるこ
とを規定する、映像処理方法(例えば、図7Cに示す方法730)。
【0193】
14.制約は、特定の値に等しいNAL(Network Abstraction
Layer)ユニットヘッダレイヤ識別子を有し、復号化順において、特定の値に等しい
NALユニットヘッダレイヤ識別子を有するイントラランダムアクセスポイントピクチャ
に先行する任意のピクチャは、出力順において、イントラランダムアクセスポイントピク
チャおよびすべての関連付けられたランダムアクセス復号化可能リーディングピクチャに
先行することが要求されることを規定する、項目13に記載の方法。
【0194】
15.NAL(Network Abstraction Layer)ユニットヘッ
ダレイヤ識別子は、nuh_layer_idである、項目14に記載の方法。
【0195】
16.NAL(Network Abstraction Layer)ユニットヘッ
ダレイヤ識別子は、映像コーディングレイヤネットワーク抽象レイヤユニットが属するレ
イヤの識別子、または非映像コーディングレイヤネットワーク抽象レイヤユニットが適用
されるレイヤの識別子を規定する、項目14に記載の方法。
【0196】
17.フォーマット規則に従って、1または複数の映像ピクチャを含む1または複数の
映像レイヤを有する映像と、映像のビットストリームとの間の変換を実行すること742
を含み、フォーマット規則は、(1)トレイリングピクチャは、出力順において、関連付
けられたイントラランダムアクセスポイントピクチャまたは漸進的デコーダリフレッシュ
ピクチャに続く、または、(2)漸進的デコーダリフレッシュピクチャと同じNAL(N
etwork Abstraction Layer)ユニットヘッダレイヤ識別子を有
するピクチャが、出力順において、漸進的デコーダリフレッシュピクチャおよび漸進的デ
コーダリフレッシュピクチャのすべての関連付けられたピクチャに先行する、という制約
を規定する、映像処理方法(例えば、図7Dのい示す方法740)。
【0197】
18.規則に従って、1または複数の映像ピクチャを含む1または複数の映像レイヤを
有する映像と、映像のビットストリームとの間の変換を実行すること752を含み、規則
は、ピクチャ、イントラランダムアクセスポイントピクチャ、および非リーディングピク
チャが同じレイヤにある場合にのみ、イントラランダムアクセスポイントに関連付けられ
たピクチャと非リーディングピクチャの復号化順に対する制約を適用することを規定する
、映像処理方法(例えば、図7Eに示す方法750)。
【0198】
19.制約は、フィールドシーケンスフラグの値が0に等しく、かつ、特定の値に等し
いNAL(Network Abstraction Layer)ユニットヘッダレイ
ヤ識別子ピクチャを有するピクチャがイントラランダムアクセスポイントピクチャに関連
付けられたリーディングピクチャである場合、ピクチャは、復号化順において、イントラ
ランダムアクセスポイントピクチャに関連付けられたすべての非リーディングピクチャに
先行することを規定する、項目18に記載の方法。
【0199】
20.0に等しいフィールドシーケンスフラグの値は、コーディングされたレイヤ映像
シーケンスがフレームを表すピクチャを伝達することを示す、項目19に記載の方法。
【0200】
21.制約は、フィールドシーケンスフラグの値が0に等しく、かつ、ピクチャが、イ
ントラランダムアクセスポイントピクチャに関連付けられたリーディングピクチャである
場合、ピクチャは、復号化順において、イントラランダムアクセスポイントピクチャに関
連付けられたすべての非リーディングピクチャに先行することを規定する、項目18に記
載の方法。
【0201】
22.規則に従って、1または複数の映像ピクチャを含む1または複数の映像レイヤを
有する映像と、映像のビットストリームとの間の変換を実行すること762を含み、規則
は、リーディングピクチャ、ランダムアクセス復号化可能リーディングピクチャ、および
漸進的復号化リフレッシュピクチャに関連付けられたランダムアクセススキップリーディ
ングピクチャの順序を規定する、映像処理方法(例えば、図7Fに示す方法760)。
【0202】
23.漸進的復号化リフレッシュピクチャに関連付けられたリーディングピクチャは、
復号化順において漸進的復号化リフレッシュピクチャに続き、出力順において漸進的復号
化リフレッシュピクチャに先行する、項目22に記載の方法。
【0203】
24.漸進的復号化リフレッシュピクチャに関連付けられたランダムアクセス復号化可
能リーディングピクチャは、漸進的復号化リフレッシュピクチャに関連付けられたリーデ
ィングピクチャであり、ランダムアクセス復号化可能リーディングピクチャのコーディン
グされたスライスに対応するNAL(Network Abstraction Lay
er)ユニットタイプを有する、項目22に記載の方法。
【0204】
25.漸進的復号化リフレッシュピクチャに関連付けられたランダムアクセス復号化可
能リーディングピクチャは、漸進的復号化リフレッシュピクチャに関連付けられたリーデ
ィングピクチャであり、ランダムアクセス復号化可能リーディングピクチャのコーディン
グされたスライスに対応するNAL(Network Abstraction Lay
er)ユニットタイプを有する、項目22に記載の方法。
【0205】
26.規則に従って、1または複数の映像ピクチャを含む1または複数の映像レイヤを
有する映像と、映像のビットストリームとの間の変換を実行すること772を含み、規則
は、クリーンランダムアクセスピクチャのスライスのための参照ピクチャリストに対する
制約をレイヤに制限することを規定する、映像処理方法(例えば、図7Gに示す方法77
0)。
【0206】
27.制約は、クリーンランダムアクセスピクチャを有するレイヤに対して、復号化ま
たは出力順において、先行するイントラランダムアクセスポイントピクチャが、参照ピク
チャリストにおけるエントリによって参照されないことを規定する、項目26に記載の方
法。
【0207】
28.変換は、映像をビットストリームに符号化することを含む、項目1から27のい
ずれかに記載の方法。
【0208】
29.変換は、ビットストリームから映像を復号化することを含む、項目1から27ま
でのいずれかに記載の方法。
【0209】
30.変換は、映像からビットストリームを生成することを含み、方法は、ビットスト
リームを非一時的なコンピュータ可読記録媒体に記憶することをさらに含む、項目1から
27のいずれかに記載の方法。
【0210】
31.項目1から30の1つまたは複数に記載の方法を実装するように構成されたプロ
セッサを備える映像処理装置。
【0211】
32.項目1から30のいずれかに記載の方法と、ビットストリームを非一時的なコン
ピュータ可読記録媒体に記憶することをさらに含む、映像のビットストリームを記憶する
方法。
【0212】
33.実行された際に、項目1から30の1つまたは複数に記載の方法をプロセッサに
実装させるプログラムコードを記憶するコンピュータ可読媒体。
【0213】
34.上述した方法のいずれかに従って生成されたビットストリームを記憶するコンピ
ュータ可読媒体。
【0214】
35.項目1から30の1つまたは複数に記載の方法を実装するように構成された、ビ
ットストリーム表現を記憶するための映像処理装置。
【0215】
第3の節は、前章(例えば、項目8及び9)に記載された技術の例示的な実施形態を示
す。
【0216】
1.規則に従って、1または複数の映像ピクチャを含む1または複数の映像レイヤを有
する映像と、映像のビットストリームとの間の変換を実行すること810を含み、規則は
、利用不可な参照ピクチャを生成するための復号化処理によって生成されたピクチャが、
現在のピクチャの現在のスライスの参照ピクチャリストにおけるアクティブエントリによ
って参照されないという条件を規定する、映像処理方法(例えば、図8Aに示す方法81
0)。
【0217】
2.アクティブエントリは、現在のピクチャのインター予測において参照インデックス
として使用するために利用可能なエントリに対応する、項目1に記載の方法。
【0218】
3.条件は、特定の値に等しいNAL(Network Abstraction L
ayer)ユニットヘッダレイヤ識別子を有する現在のピクチャが、1に等しい復元前の
出力がないことを示す変数を有するクリーンランダムアクセスピクチャに関連付けられた
ランダムアクセススキップリーディングピクチャ、1に等しい変数を有する漸進的デコー
ダリフレッシュピクチャ、または1に等しい変数および特定の値に等しいNALユニット
ヘッダレイヤ識別子を有する漸進的デコーダリフレッシュピクチャの復元ピクチャでない
ことである、項目1に記載の方法。
【0219】
4.規則に従って、1または複数の映像ピクチャを含む1または複数の映像レイヤを有
する映像と、映像のビットストリームとの間の変換を実行すること822を含み、規則は
、利用不可な参照ピクチャを生成するための復号化処理によって生成されたピクチャが、
現在のピクチャの現在のスライスの参照ピクチャリストにおけるエントリによって参照さ
れないという条件を規定する、映像処理方法(例えば、図8Bに示す方法820)。
【0220】
5.条件は、特定の値に等しいNAL(Network Abstraction L
ayer)ユニットヘッダレイヤ識別子を有する現在のピクチャが、1に等しい復元前の
出力がないことを示す変数を有するクリーンランダムアクセスピクチャ、復号化順におい
て1に等しい変数を有するクリーンランダムアクセスピクチャに関連付けられたリーディ
ングピクチャに先行するピクチャ、または、1に等しい変数および特定の値に等しいNA
Lユニットヘッダレイヤ識別子を有する漸進的デコーダリフレッシュピクチャの復元ピク
チャでないことである、項目4に記載の方法。
【0221】
6.変換は、映像をビットストリームに符号化することを含む、項目1から5のいずれ
かに記載の方法。
【0222】
7.変換は、ビットストリームから映像を復号化することを含む、項目1から5のいず
れかに記載の方法。
【0223】
8.変換は、映像からビットストリームを生成することを含み、方法は、ビットストリ
ームを非一時的なコンピュータ可読記録媒体に記憶することをさらに含む、項目1から5
のいずれかに記載の方法。
【0224】
9.項目1から8のうちの1つまたは複数に記載の方法を実装するように構成されたプ
ロセッサを備える映像処理装置。
【0225】
10.項目1から8のいずれかに記載の方法と、ビットストリームを非一時的なコンピ
ュータ可読記録媒体に記憶することをさらに含む、映像のビットストリームを記憶する方
法。
【0226】
11.実行された際に、項目1から8のうちの1つまたは複数に記載の方法をプロセッ
サに実装させるプログラムコードを記憶するコンピュータ可読媒体。
【0227】
12.上述した方法のいずれかに従って生成されたビットストリームを記憶するコンピ
ュータ可読媒体。
【0228】
13.項目1から12のうちの1つまたは複数に記載の方法を実装するように構成され
た、ビットストリーム表現を記憶するための映像処理装置。
【0229】
第4の節の集合は、前節で論じた技法の例示的な実施形態(例えば、項目10および1
1)を示す。
【0230】
1.規則に従って、現在のスライスを含む現在のピクチャを含む1または複数の映像レ
イヤを有する映像と、映像のビットストリームとの間の変換を実行すること912を含み
、規則は、現在のスライスの参照ピクチャリストが、復号化順または出力順において、現
在のピクチャに関連付けられたイントラランダムアクセスポイントピクチャに先行するピ
クチャを参照するアクティブエントリを有することを許可しないという条件を規定する、
映像処理方法(例えば、図9Aに示す方法910)。
【0231】
2.アクティブエントリは、現在のピクチャのインター予測において参照インデックス
として使用するために利用可能なエントリに対応する、項目1に記載の方法。
【0232】
3.規則は、現在のピクチャの参照ピクチャリストが、復号化順において、現在のピク
チャに関連付けられたイントラランダムアクセスポイントピクチャに先行するピクチャを
参照するアクティブエントリを有することを許可されない条件を規定する、項目1または
2に記載の方法。
【0233】
4.規則は、現在のピクチャの参照ピクチャリストが、出力順において、現在のピクチ
ャに関連付けられたイントラランダムアクセスポイントピクチャに先行するピクチャを参
照するアクティブエントリを有することを許可されない条件を規定する、項目1から3の
いずれかに記載の方法。
【0234】
5.条件は、現在のピクチャがイントラランダムアクセスポイントピクチャに関連付け
られ、かつ復号化順および/または出力順においてイントラランダムアクセスポイントピ
クチャに続くことである、項目1から4のいずれかに記載の方法。
【0235】
6.現在のピクチャは、映像コーディングレイヤネットワーク抽象レイヤユニットが属
するレイヤの識別子、または非映像コーディングレイヤネットワーク抽象レイヤユニット
が適用されるレイヤの識別子と同じ値を有するイントラランダムアクセスポイントピクチ
ャに、復号化順および/または出力順において続くことを条件とする、項目1から4のい
ずれかに記載の方法。
【0236】
7.規則に従って、現在のスライスを含む現在のピクチャを含む1または複数の映像レ
イヤを有する映像と、映像のビットストリームとの間の変換を実行すること922を含み
、規則は、現在のスライスの参照ピクチャリストが、復号化順または出力順において、現
在のピクチャに関連付けられたイントラランダムアクセスポイントピクチャに先行するピ
クチャを指すアクティブエントリを有することを許可しないという条件を規定する、映像
処理方法(図9Bに示す方法920)。
【0237】
8.規則は、現在のピクチャの参照ピクチャリストが、復号化順において、現在のピク
チャに関連付けられたイントラランダムアクセスポイントピクチャに先行するピクチャを
参照するエントリを有することを許可されない条件を規定する、項目7に記載の方法。
【0238】
9.規則は、現在のピクチャの参照ピクチャリストが、出力順において、現在のピクチ
ャに関連付けられたイントラランダムアクセスポイントピクチャに先行するピクチャを参
照するエントリを有することを許可されない条件を規定する、項目7または8に記載の方
法。
【0239】
10.イントラランダムアクセスポイントピクチャは、0以上のリーディングピクチャ
に関連付けられ、条件は、現在のピクチャがイントラランダムアクセスポイントピクチャ
に関連付けられており、復号化順および/または出力順において、イントラランダムアク
セスポイントピクチャに続き、復号化順および出力順の両方において、イントラランダム
アクセスポイントピクチャに関連付けられた0以上のリーディングピクチャに続くことで
ある、項目7から9のいずれかに記載の方法。
【0240】
11.イントラランダムアクセスポイントピクチャは、0以上のリーディングピクチャ
に関連付けられ、条件は、現在のピクチャが、映像コーディングレイヤネットワーク抽象
レイヤユニットが属するレイヤの識別子、または非映像コーディングレイヤネットワーク
抽象化レイヤユニットが適用されるレイヤの識別子と同じ値を有するイントラランダムア
クセスポイントピクチャ、および0以上のリーディングピクチャに、復号化順および/ま
たは出力順において続くことである、項目7から9のいずれかに記載の方法。
【0241】
12.変換は、映像をビットストリームに符号化することを含む、項目1から11のい
ずれかに記載の方法。
【0242】
13.変換は、ビットストリームから映像を復号化することを含む、項目1から11で
のいずれかに記載の方法。
【0243】
14.変換は、映像からビットストリームを生成することを含み、方法は、ビットスト
リームを非一時的なコンピュータ可読記録媒体に記憶することをさらに含む、項目1から
11のいずれかに記載の方法。
【0244】
15.項目1から14のうちの1つまたは複数に記載の方法を実装するように構成され
たプロセッサを備える映像処理装置。
【0245】
16.項目1から14のいずれかに記載の方法と、ビットストリームを非一時的なコン
ピュータ可読記録媒体に記憶することをさらに含む、映像のビットストリームを記憶する
方法。
【0246】
17.実行された際に、項目1から14のうちの1つまたは複数に記載の方法をプロセ
ッサに実装させるプログラムコードを記憶するコンピュータ可読媒体。
【0247】
18.上述した方法のいずれかに従って生成されたビットストリームを記憶するコンピ
ュータ可読媒体。
【0248】
19.項目1から14のうちの1つまたは複数に記載の方法を実装するように構成され
た、ビットストリーム表現を記憶するための映像処理装置。
【0249】
本明細書では、「映像処理」という用語は、映像符号化、映像復号化、映像圧縮、また
は映像展開を指してよい。例えば、映像圧縮アルゴリズムは、映像の画素表現から対応す
るビットストリーム表現への変換、またはその逆の変換中に適用されてもよい。現在の映
像ブロックのビットストリーム表現は、例えば、構文によって規定されるように、ビット
ストリーム内の同じ場所または異なる場所に拡散されるビットに対応していてもよい。例
えば、1つのマクロブロックは、変換およびコーディングされた誤り残差値の観点から、
且つビットストリームにおけるヘッダおよび他のフィールドにおけるビットを使用して符
号化されてもよい。さらに、変換中、デコーダは、上記解決策で説明されているように、
判定に基づいて、いくつかのフィールドが存在しても存在しなくてもよいという知識を持
って、ビットストリームを構文解析してもよい。同様に、エンコーダは、特定の構文フィ
ールドが含まれるべきであるか、または含まれないべきであるかを判定し、構文フィール
ドをコーディングされた表現に含めるか、またはコーディングされた表現から除外するこ
とによって、それに応じてコーディングされた表現を生成してもよい。
【0250】
本明細書に記載された開示された、およびその他の解決策、実施例、実施形態、モジュ
ール、および機能動作の実装形態は、本明細書に開示された構造およびその構造的等価物
を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しく
はハードウェアで実施されてもよく、またはそれらの1または複数の組み合わせで実施し
てもよい。開示された、およびその他の実施形態は、1または複数のコンピュータプログ
ラム製品、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の
動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム
命令の1または複数のモジュールとして実施することができる。このコンピュータ可読媒
体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号を
もたらす物質の組成物、またはこれらの1または複数の組み合わせであってもよい。「デ
ータ処理装置」という用語は、例えば、プログラマブルプロセッサ、コンピュータ、また
は複数のプロセッサ、若しくはコンピュータを含む、データを処理するためのすべての装
置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータ
プログラムの実行環境を作るコード、例えば、プロセッサファームウェア、プロトコルス
タック、データベース管理システム、オペレーティングシステム、またはこれらの1また
は複数の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成し
た信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送
信するための情報を符号化するために生成される。
【0251】
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション
、スクリプト、またはコードとも呼ばれる)は、コンパイルされた言語または解釈された
言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタ
ンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジ
ュール、コンポーネント、サブルーチン、または他のユニットとして含む任意の形式で展
開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるフ
ァイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持する
ファイルの一部(例えば、マークアップ言語文書に格納された1または複数のスクリプト
)に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていても
よいし、複数の調整ファイル(例えば、1または複数のモジュール、サブプログラム、ま
たはコードの一部を格納するファイル)に記憶されていてもよい。コンピュータプログラ
ムを、1つのサイトに位置する1つのコンピュータ、または複数のサイトに分散され通信
ネットワークによって相互接続される複数のコンピュータで実行させるように展開するこ
とも可能である。
【0252】
本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生
成することによって機能を実行するための1または複数のコンピュータプログラムを実行
する1または複数のプログラマブルプロセッサによって行うことができる。処理およびロ
ジックフローはまた、特定用途のロジック回路、例えば、FPGA(Field Pro
grammable Gate Array)またはASIC(Application
Specific Integrated Circuit)によって行うことができ
、装置はまた、特別目的のロジック回路として実装することができる。
【0253】
コンピュータプログラムの実行に適したプロセッサは、例えば、汎用および専用マイク
ロプロセッサの両方、並びに任意の種類のデジタルコンピュータの任意の1または複数の
プロセッサを含む。一般的に、プロセッサは、リードオンリーメモリまたはランダムアク
セスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要
素は、命令を実行するためのプロセッサと、命令およびデータを記憶するための1または
複数のメモリデバイスとである。一般的に、コンピュータは、データを記憶するための1
または複数の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを
含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれ
らにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータ
は、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータ
を記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、
およびメモリデバイスを含み、例えば、EPROM、EEPROM、フラッシュ記憶装置
、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディス
ク、およびCD-ROMおよびDVD-ROMディスク等の半導体記憶装置を含む。プロ
セッサおよびメモリは、特定用途のロジック回路によって補完されてもよく、または特定
用途のロジック回路に組み込まれてもよい。
【0254】
本特許明細書は多くの詳細を含むが、これらは、任意の主題の範囲または特許請求の範
囲を限定するものと解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に特
有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態の
コンテキストで説明されている特定の特徴は、1つの例において組み合わせて実装しても
よい。逆に、1つの例のコンテキストで説明された様々な特徴は、複数の実施形態におい
て別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、
特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されてい
てもよいが、主張された組み合わせからの1または複数の特徴は、場合によっては、組み
合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまた
はサブコンビネーションのバリエーションに向けられてもよい。
【0255】
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成
するために、このような動作が示された特定の順番でまたは連続した順番で行われること
、または示された全ての動作が行われることを必要とするものと理解されるべきではない
。また、本特許明細書に記載されている例における様々なシステムの構成要素の分離は、
全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。
【0256】
いくつかの実装形態および例のみが記載されており、この特許文献に記載され図示され
ているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。
図1
図2
図3
図4
図5
図6
図7A
図7B
図7C
図7D
図7E
図7F
図7G
図8A
図8B
図9A
図9B
【手続補正書】
【提出日】2024-07-05
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
映像処理の方法であって、
第1の規則にしたがって、1つ以上の映像ピクチャを含む1つ以上の映像レイヤを有する映像と、前記映像のビットストリームとの間の変換を実行すること、
を有し、
前記第1の規則は、第2のピクチャの関連するイントラランダムアクセスポイントピクチャである第1の映像ピクチャと前記第2のピクチャとが同じ映像レイヤに属するように制約されることを指定し、
復号順又は出力順における前記第1の映像ピクチャと前記第2のピクチャとの間には、前記同じ映像レイヤにおける段階的な復号リフレッシュピクチャは存在しない、
方法。
【請求項2】
前記変換は、第2の規則にしたがって実行され、
前記第2の規則は、イントラランダムアクセスポイントピクチャに関連する現在のピクチャ、前記イントラランダムアクセスポイントピクチャ、及び非リーディングピクチャが同じレイヤにある場合に限り、前記現在のピクチャの復号順に第1の制約を適用することを指定する、
請求項1に記載の方法。
【請求項3】
前記第1の制約は、フィールドシーケンスフラグの値が0に等しく、かつ、特定の値に等しいNAL(Network Abstraction Layer)ユニットヘッダレイヤ識別子を有する前記現在のピクチャが前記イントラランダムアクセスポイントピクチャに関連するリーディングピクチャである場合、前記現在のピクチャが、前記復号順において、前記イントラランダムアクセスポイントピクチャに関連する全ての非リーディングピクチャに先行することを規定する、
請求項2に記載の方法。
【請求項4】
前記フィールドシーケンスフラグの値が1に等しい場合、picA及びpicBをそれぞれ、復号順において、イントラランダムアクセスポイントピクチャに関連する最初及び最後のピクチャとすると、復号順においてpicAに先行する特定値laverIdに等しい対応するNALユニットヘッダレイヤ識別子を有するせいぜい1つの非リーディングピクチャが存在し、復号順においてpicAとpicBの間の前記特定値laverIdに等しい対応するNALユニットヘッダレイヤ識別子を有する非リーディングピクチャは存在しない、
請求項3に記載の方法。
【請求項5】
0に等しい前記フィールドシーケンスフラグの前記値は、コーディングされたレイヤ映像シーケンスがフレームを示すピクチャを伝送することを示す、
請求項3に記載の方法。
【請求項6】
前記変換は、第3の規則にしたがって実行され、
前記第3の規則は、特定値laverIdに等しいNAL(Network Abstraction Layer)ユニットヘッダレイヤ識別子を有する現在のピクチャが特定のピクチャである場合、復号順においてlaverIdに等しいNALユニットヘッダレイヤ識別子を有する任意の先行イントラランダムアクセスポイントピクチャに、出力順又は復号順において先行する、RefPicList[0]又はRefPicList[1]のエントリによって参照されるピクチャは存在しないことを規定する、
請求項1から5のいずれか一項に記載の方法。
【請求項7】
前記特定のピクチャは、イントラランダムアクセスポイントピクチャ又はクリーンランダムアクセスピクチャである、
請求項6に記載の方法。
【請求項8】
前記第1の映像ピクチャ及び前記第2のピクチャは、映像コーディングレイヤネットワーク抽象化レイヤユニットが属するレイヤの識別子、又は非映像コーディングレイヤネットワーク抽象化レイヤユニットが適用するレイヤの識別子と同じ識別子を有する、
請求項1に記載の方法。
【請求項9】
前記変換は、第4の規則にしたがって実行され、
前記第4の規則は、前記ビットストリームにおけるトレイリングピクチャが、漸進的復号リフレッシュピクチャ又は関連するイントラランダムアクセスポイントピクチャに関連することを許可されることを規定する、
請求項1から8のうちいずれか一項に記載の方法。
【請求項10】
前記トレイリングピクチャは、各映像コーディングレイヤネットワーク抽象化レイヤユニットがトレイルネットワーク抽象化レイヤユニットタイプを有するピクチャである、
請求項9に記載の方法。
【請求項11】
関連するイントラランダムアクセスポイントピクチャ又は漸進的復号リフレッシュピクチャに関連する前記トレイリングピクチャは、復号順又は出力順において、前記関連するイントラランダムアクセスポイントピクチャ又は前記漸進的復号リフレッシュピクチャに続く、
請求項9に記載の方法。
【請求項12】
出力順において前記関連するイントラランダムアクセスポイントピクチャに続き、かつ、復号順において前記関連するイントラランダムアクセスポイントに先行するピクチャは、許可されない、
請求項9に記載の方法。
【請求項13】
前記第4の規則は、各レイヤに対し、前記ビットストリームの前記レイヤにおける第1のピクチャを除き、前記レイヤの各ピクチャが、復号順において前記同じレイヤの、前のイントラランダムアクセスポイント又は漸進的デコーダリフレッシュピクチャのうちのより近い方に関連すること、を更に規定する、
請求項9に記載の方法。
【請求項14】
前記変換は、第5の規則にしたがって実行され、
前記第5の規則は、復号順においてイントラランダムアクセスポイントに先行するピクチャの出力順に対する第5の制約が、同じ映像レイヤのピクチャに適用可能であることを規定する、
請求項1から13のいずれか一項に記載の方法。
【請求項15】
前記第5の制約は、特定値に等しいNAL(Network Abstraction Layer)ユニットヘッダレイヤ識別子を有し、かつ、復号順において、前記特定値に等しい前記NALユニットヘッダレイヤ識別子を有するイントラランダムアクセスポイントに先行する任意のピクチャは、出力順において、前記イントラランダムアクセスポイントピクチャ及び全ての関連するランダムアクセス復号可能なリーディングピクチャに先行することが要求されることを規定する、
請求項14に記載の方法。
【請求項16】
前記変換は、前記映像を前記ビットストリームに符号化することを含む、
請求項1から15のいずれか一項に記載の方法。
【請求項17】
前記変換は、前記映像を前記ビットストリームから復号することを含む、
請求項1から15のいずれか一項に記載の方法。
【請求項18】
プロセッサと、命令を有する非一時的メモリとを有する、映像データを処理するための装置であって、
前記命令は、前記プロセッサによって実行された際に、前記プロセッサに、
第1の規則にしたがって、1つ以上の映像ピクチャを含む1つ以上の映像レイヤを有する映像と、前記映像のビットストリームとの間の変換を実行すること、
を行わせ、
前記第1の規則は、第2のピクチャの関連するイントラランダムアクセスポイントピクチャである第1の映像ピクチャと前記第2のピクチャとが同じ映像レイヤに属するように制約されることを指定し、
復号順又は出力順における前記第1の映像ピクチャと前記第2のピクチャとの間には、前記同じ映像レイヤにおける段階的な復号リフレッシュピクチャは存在しない、
装置。
【請求項19】
プロセッサに、
第1の規則にしたがって、1つ以上の映像ピクチャを含む1つ以上の映像レイヤを有する映像と、前記映像のビットストリームとの間の変換を実行すること、
を実行させる命令を格納し、、
前記第1の規則は、第2のピクチャの関連するイントラランダムアクセスポイントピクチャである第1の映像ピクチャと前記第2のピクチャとが同じ映像レイヤに属するように制約されることを指定し、
復号順又は出力順における前記第1の映像ピクチャと前記第2のピクチャとの間には、前記同じ映像レイヤにおける段階的な復号リフレッシュピクチャは存在しない、
非一時的コンピュータ可読記憶媒体。
【請求項20】
映像のビットストリームを格納する方法であって、
前記方法は、
第1の規則にしたがって、1つ以上の映像ピクチャを含む1つ以上の映像レイヤを有する映像と、前記映像のビットストリームとの間の変換を実行すること、
を有し、
前記第1の規則は、第2のピクチャの関連するイントラランダムアクセスポイントピクチャである第1の映像ピクチャと前記第2のピクチャとが同じ映像レイヤに属するように制約されることを指定し、
復号順又は出力順における前記第1の映像ピクチャと前記第2のピクチャとの間には、前記同じ映像レイヤにおける段階的な復号リフレッシュピクチャは存在しない、
方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0001
【補正方法】変更
【補正の内容】
【0001】
本出願は、2020年3月19日付けで提出した米国特許出願US62/992,046号の優先権及び利益を適時に主張する、2021年3月16日付けで提出した国際特許出願PCT/US2021/022572号に基づく日本特許出願2022-556152号の分割出願である。上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
【外国語明細書】