知財求人 - 知財ポータルサイト「IP Force」
▶ ホアウェイ・テクノロジーズ・カンパニー・リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025010167
(43)【公開日】2025-01-20
(54)【発明の名称】混合されたＮＡＬユニットタイプを有するピクチャ
(51)【国際特許分類】
H04N 19/70 20140101AFI20250109BHJP
【ＦＩ】
H04N19/70
【審査請求】有
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024180666
(22)【出願日】2024-10-16
(62)【分割の表示】P 2023121816の分割
【原出願日】2020-03-11
(31)【優先権主張番号】62/816,749
(32)【優先日】2019-03-11
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/832,132
(32)【優先日】2019-04-10
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】504161984
【氏名又は名称】ホアウェイ・テクノロジーズ・カンパニー・リミテッド
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133569
【弁理士】
【氏名又は名称】野村 進
(72)【発明者】
【氏名】イェ－クイ・ワン
(72)【発明者】
【氏名】フヌ・ヘンドリー
(57)【要約】
【課題】ビデオコーディングメカニズムを、開示する。
【解決手段】メカニズムは、ピクチャに関連する複数のサブピクチャおよびフラグを含むビットストリームを受信することを含む。サブピクチャは、複数のビデオコーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットに含まれる。NALユニットタイプの値は、フラグが第1の値に設定されているとき、ピクチャに関連するすべてのVCL NALユニットに関して同じである。フラグが第2の値に設定されているとき、ピクチャのサブピクチャのうちの1つ以上を含むVCL NALユニットに関する第1のNALユニットタイプの値は、ピクチャのサブピクチャのうちの1つ以上を含むVCL NALユニットに関する第2のNALユニットタイプの値と異なる。サブピクチャは、NALユニットタイプの値に基づいて復号される。サブピクチャは、復号されたビデオシーケンスの一部として表示するために転送される。
【選択図】図７
【解決手段】メカニズムは、ピクチャに関連する複数のサブピクチャおよびフラグを含むビットストリームを受信することを含む。サブピクチャは、複数のビデオコーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットに含まれる。NALユニットタイプの値は、フラグが第1の値に設定されているとき、ピクチャに関連するすべてのVCL NALユニットに関して同じである。フラグが第2の値に設定されているとき、ピクチャのサブピクチャのうちの1つ以上を含むVCL NALユニットに関する第1のNALユニットタイプの値は、ピクチャのサブピクチャのうちの1つ以上を含むVCL NALユニットに関する第2のNALユニットタイプの値と異なる。サブピクチャは、NALユニットタイプの値に基づいて復号される。サブピクチャは、復号されたビデオシーケンスの一部として表示するために転送される。
【選択図】図７
【特許請求の範囲】
【請求項1】
デコーダにおいて実施される方法であって、
ピクチャに関連する複数のサブピクチャおよびフラグを含むビットストリームを前記デ
コーダの受信機によって受信するステップであって、前記サブピクチャが、ビデオコーデ
ィングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットに含まれる、ステップと、
前記フラグが第1の値に設定されているとき、第1のNALユニットタイプの値が前記ピク
チャに関連する前記VCL NALユニットのすべてに関して同じであるとプロセッサによって
判定するステップと、
前記フラグが第2の値に設定されているとき、前記ピクチャの前記サブピクチャのうち
の1つ以上を含む前記VCL NALユニットに関する前記第1のNALユニットタイプの値が前記ピ
クチャの前記サブピクチャのうちの1つ以上を含むVCL NALユニットに関する第2のNALユニ
ットタイプの値と異なると前記プロセッサによって判定するステップと、
前記第1のNALユニットタイプの値または前記第2のNALユニットタイプの値に基づいて前
記サブピクチャのうちの1つ以上を前記プロセッサによって復号するステップとを含む、
方法。
ピクチャに関連する複数のサブピクチャおよびフラグを含むビットストリームを前記デ
コーダの受信機によって受信するステップであって、前記サブピクチャが、ビデオコーデ
ィングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットに含まれる、ステップと、
前記フラグが第1の値に設定されているとき、第1のNALユニットタイプの値が前記ピク
チャに関連する前記VCL NALユニットのすべてに関して同じであるとプロセッサによって
判定するステップと、
前記フラグが第2の値に設定されているとき、前記ピクチャの前記サブピクチャのうち
の1つ以上を含む前記VCL NALユニットに関する前記第1のNALユニットタイプの値が前記ピ
クチャの前記サブピクチャのうちの1つ以上を含むVCL NALユニットに関する第2のNALユニ
ットタイプの値と異なると前記プロセッサによって判定するステップと、
前記第1のNALユニットタイプの値または前記第2のNALユニットタイプの値に基づいて前
記サブピクチャのうちの1つ以上を前記プロセッサによって復号するステップとを含む、
方法。
【請求項2】
前記ビットストリームが、前記フラグを含むピクチャパラメータセット(PPS)を含む請
求項1に記載の方法。
求項1に記載の方法。
【請求項3】
前記第1のNALユニットタイプの値が、前記ピクチャがイントラランダムアクセスポイン
ト(IRAP)サブピクチャを含むことを示し、前記第2のNALユニットタイプの値が、前記ピク
チャが非IRAPサブピクチャを含むことを示す請求項1または2に記載の方法。
ト(IRAP)サブピクチャを含むことを示し、前記第2のNALユニットタイプの値が、前記ピク
チャが非IRAPサブピクチャを含むことを示す請求項1または2に記載の方法。
【請求項4】
前記第1のNALユニットタイプの値が、ランダムアクセス復号可能リーディングピクチャ
を有する瞬時復号リフレッシュ(IDR)(IDR_W_RADL)、リーディングピクチャを持たないIDR
(IDR_N_LP)、またはクリーンランダムアクセス(CRA)NALユニットタイプ(CRA_NUT)に等し
い請求項1から3のいずれか一項に記載の方法。
を有する瞬時復号リフレッシュ(IDR)(IDR_W_RADL)、リーディングピクチャを持たないIDR
(IDR_N_LP)、またはクリーンランダムアクセス(CRA)NALユニットタイプ(CRA_NUT)に等し
い請求項1から3のいずれか一項に記載の方法。
【請求項5】
前記第2のNALユニットタイプの値が、トレーリングピクチャNALユニットタイプ(TRAIL_
NUT)、ランダムアクセス復号可能リーディングピクチャNALユニットタイプ(RADL_NUT)、
またはランダム・アクセス・スキップ・リーディング・ピクチャ(RASL)NALユニットタイ
プ(RASL_NUT)に等しい請求項1から4のいずれか一項に記載の方法。
NUT)、ランダムアクセス復号可能リーディングピクチャNALユニットタイプ(RADL_NUT)、
またはランダム・アクセス・スキップ・リーディング・ピクチャ(RASL)NALユニットタイ
プ(RASL_NUT)に等しい請求項1から4のいずれか一項に記載の方法。
【請求項6】
前記フラグが、mixed_nalu_types_in_pic_flagである請求項1から5のいずれか一項に記
載の方法。
載の方法。
【請求項7】
PPSを参照する前記ピクチャが前記VCL NALユニットのうちの2つ以上を有し、前記VCL N
ALユニットがNALユニットタイプ(nal_unit_type)の同じ値を持たないことを指定するとき
、mixed_nalu_types_in_pic_flagが1に等しく、前記PPSを参照する前記ピクチャが前記VC
L NALユニットのうちの1つ以上を有し、前記VCL NALユニットがnal_unit_typeの同じ値を
有することを指定するとき、mixed_nalu_types_in_pic_flagが0に等しい請求項1から6の
いずれか一項に記載の方法。
ALユニットがNALユニットタイプ(nal_unit_type)の同じ値を持たないことを指定するとき
、mixed_nalu_types_in_pic_flagが1に等しく、前記PPSを参照する前記ピクチャが前記VC
L NALユニットのうちの1つ以上を有し、前記VCL NALユニットがnal_unit_typeの同じ値を
有することを指定するとき、mixed_nalu_types_in_pic_flagが0に等しい請求項1から6の
いずれか一項に記載の方法。
【請求項8】
エンコーダにおいて実施される方法であって、
ピクチャが異なるタイプの複数のサブピクチャを含むかどうかをプロセッサによって判
定するステップと、
前記ピクチャの前記サブピクチャをビットストリーム内の複数のビデオコーディングレ
イヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットに前記プロセッサによって符号化する
ステップと、
第1のNALユニットタイプの値が前記ピクチャに関連するすべてのVCL NALユニットに関
して同じであるときに第1の値に設定され、前記ピクチャの前記サブピクチャのうちの1つ
以上を含むVCL NALユニットに関する第1のNALユニットタイプの値が前記ピクチャの前記
サブピクチャのうちの1つ以上を含むVCL NALユニットに関する第2のNALユニットタイプの
値と異なるときに第2の値に設定されたフラグを前記プロセッサによって前記ビットスト
リームに符号化するステップと、
デコーダに伝達するための前記ビットストリームを、前記プロセッサに結合されたメモ
リによって記憶するステップとを含む、方法。
ピクチャが異なるタイプの複数のサブピクチャを含むかどうかをプロセッサによって判
定するステップと、
前記ピクチャの前記サブピクチャをビットストリーム内の複数のビデオコーディングレ
イヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットに前記プロセッサによって符号化する
ステップと、
第1のNALユニットタイプの値が前記ピクチャに関連するすべてのVCL NALユニットに関
して同じであるときに第1の値に設定され、前記ピクチャの前記サブピクチャのうちの1つ
以上を含むVCL NALユニットに関する第1のNALユニットタイプの値が前記ピクチャの前記
サブピクチャのうちの1つ以上を含むVCL NALユニットに関する第2のNALユニットタイプの
値と異なるときに第2の値に設定されたフラグを前記プロセッサによって前記ビットスト
リームに符号化するステップと、
デコーダに伝達するための前記ビットストリームを、前記プロセッサに結合されたメモ
リによって記憶するステップとを含む、方法。
【請求項9】
ピクチャパラメータセット(PPS)を前記ビットストリームに符号化するステップであっ
て、前記フラグが、前記PPSに符号化される、ステップをさらに含む請求項8に記載の方法
。
て、前記フラグが、前記PPSに符号化される、ステップをさらに含む請求項8に記載の方法
。
【請求項10】
前記第1のNALユニットタイプの値が、前記ピクチャがイントラランダムアクセスポイン
ト(IRAP)サブピクチャを含むことを示し、前記第2のNALユニットタイプの値が、前記ピク
チャが非IRAPサブピクチャを含むことを示す請求項8または9に記載の方法。
ト(IRAP)サブピクチャを含むことを示し、前記第2のNALユニットタイプの値が、前記ピク
チャが非IRAPサブピクチャを含むことを示す請求項8または9に記載の方法。
【請求項11】
前記第1のNALユニットタイプの値が、ランダムアクセス復号可能リーディングピクチャ
を有する瞬時復号リフレッシュ(IDR)(IDR_W_RADL)、リーディングピクチャを持たないIDR
(IDR_N_LP)、またはクリーンランダムアクセス(CRA)NALユニットタイプ(CRA_NUT)に等し
い請求項8から10のいずれか一項に記載の方法。
を有する瞬時復号リフレッシュ(IDR)(IDR_W_RADL)、リーディングピクチャを持たないIDR
(IDR_N_LP)、またはクリーンランダムアクセス(CRA)NALユニットタイプ(CRA_NUT)に等し
い請求項8から10のいずれか一項に記載の方法。
【請求項12】
前記第2のNALユニットタイプの値が、トレーリングピクチャNALユニットタイプ(TRAIL_
NUT)、ランダムアクセス復号可能リーディングピクチャNALユニットタイプ(RADL_NUT)、
またはランダム・アクセス・スキップ・リーディング・ピクチャ(RASL)NALユニットタイ
プ(RASL_NUT)に等しい請求項8から11のいずれか一項に記載の方法。
NUT)、ランダムアクセス復号可能リーディングピクチャNALユニットタイプ(RADL_NUT)、
またはランダム・アクセス・スキップ・リーディング・ピクチャ(RASL)NALユニットタイ
プ(RASL_NUT)に等しい請求項8から11のいずれか一項に記載の方法。
【請求項13】
前記フラグが、mixed_nalu_types_in_pic_flagである請求項8から12のいずれか一項に
記載の方法。
記載の方法。
【請求項14】
PPSを参照する前記ピクチャが前記VCL NALユニットのうちの2つ以上を有し、前記VCL N
ALユニットがNALユニットタイプ(nal_unit_type)の同じ値を持たないことを指定するとき
、mixed_nalu_types_in_pic_flagが1に等しく、前記PPSを参照する前記ピクチャが前記VC
L NALユニットのうちの1つ以上を有し、前記VCL NALユニットがnal_unit_typeの同じ値を
有することを指定するとき、mixed_nalu_types_in_pic_flagが0に等しい請求項8から13の
いずれか一項に記載の方法。
ALユニットがNALユニットタイプ(nal_unit_type)の同じ値を持たないことを指定するとき
、mixed_nalu_types_in_pic_flagが1に等しく、前記PPSを参照する前記ピクチャが前記VC
L NALユニットのうちの1つ以上を有し、前記VCL NALユニットがnal_unit_typeの同じ値を
有することを指定するとき、mixed_nalu_types_in_pic_flagが0に等しい請求項8から13の
いずれか一項に記載の方法。
【請求項15】
プロセッサと、前記プロセッサに結合された受信機と、前記プロセッサに結合されたメ
モリと、前記プロセッサに結合された送信機とを含み、前記プロセッサ、前記受信機、前
記メモリ、および前記送信機が、請求項1から14のいずれか一項に記載の方法を実行する
ように構成される、ビデオコーディングデバイス。
モリと、前記プロセッサに結合された送信機とを含み、前記プロセッサ、前記受信機、前
記メモリ、および前記送信機が、請求項1から14のいずれか一項に記載の方法を実行する
ように構成される、ビデオコーディングデバイス。
【請求項16】
ビデオコーディングデバイスによって使用するためのコンピュータプログラム製品を含
む非一時的コンピュータ可読媒体であって、前記コンピュータプログラム製品が、プロセ
ッサによって実行されるときに前記ビデオコーディングデバイスに請求項1から14のいず
れか一項に記載の方法を実行させる、非一時的コンピュータ可読媒体に記憶されたコンピ
ュータが実行可能な命令を含む、非一時的コンピュータ可読媒体。
む非一時的コンピュータ可読媒体であって、前記コンピュータプログラム製品が、プロセ
ッサによって実行されるときに前記ビデオコーディングデバイスに請求項1から14のいず
れか一項に記載の方法を実行させる、非一時的コンピュータ可読媒体に記憶されたコンピ
ュータが実行可能な命令を含む、非一時的コンピュータ可読媒体。
【請求項17】
ピクチャに関連する複数のサブピクチャおよびフラグを含むビットストリームを受信す
るための受信手段であって、前記サブピクチャが、複数のビデオコーディングレイヤ(VCL
)ネットワーク抽象化レイヤ(NAL)ユニットに含まれる、受信手段と、
判定手段であって、
前記フラグが第1の値に設定されているとき、第1のNALユニットタイプの値が前記ピ
クチャに関連するすべてのVCL NALユニットに関して同じであると判定し、
前記フラグが第2の値に設定されているとき、前記ピクチャの前記サブピクチャのう
ちの1つ以上を含むVCL NALユニットに関する前記第1のNALユニットタイプの値が前記ピク
チャの前記サブピクチャのうちの1つ以上を含むVCL NALユニットに関する第2のNALユニッ
トタイプの値と異なると判定するための、判定手段と、
前記第1のNALユニットタイプの値または前記第2のNALユニットタイプの値に基づいて前
記サブピクチャのうちの1つ以上を復号するための復号手段とを含む、デコーダ。
るための受信手段であって、前記サブピクチャが、複数のビデオコーディングレイヤ(VCL
)ネットワーク抽象化レイヤ(NAL)ユニットに含まれる、受信手段と、
判定手段であって、
前記フラグが第1の値に設定されているとき、第1のNALユニットタイプの値が前記ピ
クチャに関連するすべてのVCL NALユニットに関して同じであると判定し、
前記フラグが第2の値に設定されているとき、前記ピクチャの前記サブピクチャのう
ちの1つ以上を含むVCL NALユニットに関する前記第1のNALユニットタイプの値が前記ピク
チャの前記サブピクチャのうちの1つ以上を含むVCL NALユニットに関する第2のNALユニッ
トタイプの値と異なると判定するための、判定手段と、
前記第1のNALユニットタイプの値または前記第2のNALユニットタイプの値に基づいて前
記サブピクチャのうちの1つ以上を復号するための復号手段とを含む、デコーダ。
【請求項18】
請求項1から7のいずれか一項に記載の方法を実行するようにさらに構成される請求項17
に記載のデコーダ。
に記載のデコーダ。
【請求項19】
ピクチャが異なるタイプの複数のサブピクチャを含むかどうかを判定するための判定手
段と、
符号化手段であって、
前記ピクチャの前記サブピクチャをビットストリーム内の複数のビデオコーディング
レイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットに符号化し、
第1のNALユニットタイプの値が前記ピクチャに関連するすべてのVCL NALユニットに
関して同じであるときに第1の値に設定され、前記ピクチャの前記サブピクチャのうちの1
つ以上を含むVCL NALユニットに関する第1のNALユニットタイプの値が前記ピクチャの前
記サブピクチャのうちの1つ以上を含むVCL NALユニットに関する第2のNALユニットタイプ
の値と異なるときに第2の値に設定されたフラグを前記ビットストリームに符号化するた
めの、符号化手段と、
デコーダに伝達するための前記ビットストリームを記憶するための記憶手段とを含む、
エンコーダ。
段と、
符号化手段であって、
前記ピクチャの前記サブピクチャをビットストリーム内の複数のビデオコーディング
レイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットに符号化し、
第1のNALユニットタイプの値が前記ピクチャに関連するすべてのVCL NALユニットに
関して同じであるときに第1の値に設定され、前記ピクチャの前記サブピクチャのうちの1
つ以上を含むVCL NALユニットに関する第1のNALユニットタイプの値が前記ピクチャの前
記サブピクチャのうちの1つ以上を含むVCL NALユニットに関する第2のNALユニットタイプ
の値と異なるときに第2の値に設定されたフラグを前記ビットストリームに符号化するた
めの、符号化手段と、
デコーダに伝達するための前記ビットストリームを記憶するための記憶手段とを含む、
エンコーダ。
【請求項20】
請求項8から14のいずれか一項に記載の方法を実行するようにさらに構成される請求項1
9に記載のエンコーダ。
9に記載のエンコーダ。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本特許出願は、Ye-Kui Wangらによって2019年3月11日に出願された、「Support Of Mix
ed NAL Unit Types Within One Picture In Video Coding」と題する米国仮特許出願第62
/816,749号と、Ye-Kui Wangらによって2019年4月10日に出願された、「Support Of Mixed
NAL Unit Types Within One Picture In Video Coding」と題する米国仮特許出願第62/8
32,132号との利益を主張するものであり、これらの仮特許出願は、参照により本明細書に
組み込まれる。
本特許出願は、Ye-Kui Wangらによって2019年3月11日に出願された、「Support Of Mix
ed NAL Unit Types Within One Picture In Video Coding」と題する米国仮特許出願第62
/816,749号と、Ye-Kui Wangらによって2019年4月10日に出願された、「Support Of Mixed
NAL Unit Types Within One Picture In Video Coding」と題する米国仮特許出願第62/8
32,132号との利益を主張するものであり、これらの仮特許出願は、参照により本明細書に
組み込まれる。
【0002】
本開示は、概して、ビデオコーディングに関し、特に、ビデオコーディングにおいてピ
クチャのサブピクチャをコーディングすることに関する。
クチャのサブピクチャをコーディングすることに関する。
【背景技術】
【0003】
比較的短いビデオでさえも描くために必要とされるビデオデータの量はかなり多くなり
得、それが、データが限られた帯域幅の容量を有する通信ネットワークを介してストリー
ミングされるかまたはそれ以外の方法で伝達されるべきであるときに困難をもたらしても
よい。したがって、ビデオデータは、概して、現代の通信ネットワークを介して伝達され
る前に圧縮される。メモリリソースが限られている可能性があるので、ビデオがストレー
ジデバイスに記憶されるとき、ビデオのサイズも問題となる可能性がある。多くの場合、
ビデオ圧縮デバイスは、送信または記憶の前にビデオデータをコーディングするために送
信元においてソフトウェアおよび/またはハードウェアを使用し、それによって、デジタ
ルビデオ画像を表現するために必要とされるデータの量を削減する。次いで、圧縮された
データが、ビデオデータを復号するビデオ解凍デバイスによって送信先において受信され
る。限られたネットワークリソースおよびより高いビデオ品質のますます増加する需要に
よって、画像品質をほとんどまたはまったく犠牲にせずに圧縮比を高める改善された圧縮
および解凍技術が、望ましい。
得、それが、データが限られた帯域幅の容量を有する通信ネットワークを介してストリー
ミングされるかまたはそれ以外の方法で伝達されるべきであるときに困難をもたらしても
よい。したがって、ビデオデータは、概して、現代の通信ネットワークを介して伝達され
る前に圧縮される。メモリリソースが限られている可能性があるので、ビデオがストレー
ジデバイスに記憶されるとき、ビデオのサイズも問題となる可能性がある。多くの場合、
ビデオ圧縮デバイスは、送信または記憶の前にビデオデータをコーディングするために送
信元においてソフトウェアおよび/またはハードウェアを使用し、それによって、デジタ
ルビデオ画像を表現するために必要とされるデータの量を削減する。次いで、圧縮された
データが、ビデオデータを復号するビデオ解凍デバイスによって送信先において受信され
る。限られたネットワークリソースおよびより高いビデオ品質のますます増加する需要に
よって、画像品質をほとんどまたはまったく犠牲にせずに圧縮比を高める改善された圧縮
および解凍技術が、望ましい。
【発明の概要】
【課題を解決するための手段】
【0004】
実施形態において、本開示は、デコーダにおいて実施される方法であって、ピクチャに
関連する複数のサブピクチャおよびフラグを含むビットストリームをデコーダの受信機に
よって受信するステップであって、サブピクチャが、ビデオコーディングレイヤ(VCL: vi
deo coding layer)ネットワーク抽象化レイヤ(NAL: network abstraction layer)ユニッ
トに含まれる、ステップと、フラグが第1の値に設定されているとき、第1のNALユニット
タイプの値がピクチャに関連するVCL NALユニットのすべてに関して同じであるとプロセ
ッサによって判定するステップと、フラグが第2の値に設定されているとき、ピクチャの
サブピクチャのうちの1つ以上を含むVCL NALユニットに関する第1のNALユニットタイプの
値がピクチャのサブピクチャのうちの1つ以上を含むVCL NALユニットに関する第2のNALユ
ニットタイプの値と異なるプロセッサによって判定するステップと、第1のNALユニットタ
イプの値または第2のNALユニットタイプの値に基づいてサブピクチャのうちの1つ以上を
プロセッサによって復号するステップとを含む、方法を含む。
関連する複数のサブピクチャおよびフラグを含むビットストリームをデコーダの受信機に
よって受信するステップであって、サブピクチャが、ビデオコーディングレイヤ(VCL: vi
deo coding layer)ネットワーク抽象化レイヤ(NAL: network abstraction layer)ユニッ
トに含まれる、ステップと、フラグが第1の値に設定されているとき、第1のNALユニット
タイプの値がピクチャに関連するVCL NALユニットのすべてに関して同じであるとプロセ
ッサによって判定するステップと、フラグが第2の値に設定されているとき、ピクチャの
サブピクチャのうちの1つ以上を含むVCL NALユニットに関する第1のNALユニットタイプの
値がピクチャのサブピクチャのうちの1つ以上を含むVCL NALユニットに関する第2のNALユ
ニットタイプの値と異なるプロセッサによって判定するステップと、第1のNALユニットタ
イプの値または第2のNALユニットタイプの値に基づいてサブピクチャのうちの1つ以上を
プロセッサによって復号するステップとを含む、方法を含む。
【0005】
ピクチャが、複数のサブピクチャに区分けされ得る。そのようなサブピクチャは、別々
のサブビットストリームにコーディングされることが可能であり、次いで、それらのサブ
ビットストリームは、デコーダに送信するためのビットストリームに合併され得る。たと
えば、サブピクチャは、仮想現実(VR)アプリケーションのために使用されてもよい。特定
の例において、ユーザは、常にVRピクチャの一部のみを見てもよい。したがって、表示さ
れる可能性が高いサブピクチャにより多くの帯域幅が割り振られることが可能であり、表
示される可能性が低いサブピクチャがコーディング効率を高めるために圧縮されることが
可能であるように、異なるサブピクチャが異なる解像度で送信されてもよい。さらに、ビ
デオストリームは、イントラランダムアクセスポイント(IRAP: intra-random access poi
nt)ピクチャを使用することによって符号化されてもよい。IRAPピクチャは、イントラ予
測によってコーディングされ、その他のピクチャの参照なしに復号されることが可能であ
る。非IRAPピクチャは、インター予測によってコーディングされてもよく、その他のピク
チャを参照することによって復号され得る。非IRAPピクチャは、IRAPピクチャよりも大幅
に凝縮される。しかし、IRAPピクチャがその他のピクチャを参照することなく復号される
のに十分なだけのデータを含むので、ビデオシーケンスは、IRAPピクチャから復号を開始
しなければならない。IRAPピクチャは、サブピクチャ内で使用されることが可能であり、
動的な解像度の変更を可能にし得る。したがって、ビデオシステムは、(たとえば、ユー
ザの現在のビューポートに基づいて)見られる可能性がより高いサブピクチャに関してよ
り多くのIRAPピクチャを送信し、コーディング効率をさらに高めるために、見られる可能
性の低いサブピクチャに関してより少ないIRAPピクチャを送信してもよい。しかし、サブ
ピクチャは、同じピクチャの一部である。したがって、この方式は、IRAPサブピクチャと
非IRAPサブピクチャとの両方を含むピクチャをもたらしてもよい。一部のビデオシステム
は、IRAP領域と非IRAP領域との両方を有する混合ピクチャを扱う備えがない。本開示は、
ピクチャが混合であり、したがって、IRAP構成要素と非IRAP構成要素との両方を含むかど
うかを示すフラグを含む。このフラグに基づいて、デコーダは、ピクチャ/サブピクチャ
を適切に復号し、表示するために、復号するときに異なるサブピクチャを異なるように処
理し得る。このフラグは、PPSに記憶されてもよく、mixed_nalu_types_in_pic_flagと呼
ばれてもよい。したがって、開示されるメカニズムは、追加的な機能の実装を可能にする
。さらに、開示されるメカニズムは、サブピクチャのビットストリームを使用するときに
動的な解像度の変更を可能にする。したがって、開示されるメカニズムは、ユーザエクス
ペリエンスを著しく損なうことなく、VRビデオをストリーミングするときにより低い解像
度のサブピクチャのビットストリームが送信されることを可能にする。したがって、開示
されるメカニズムは、コーディング効率を高め、したがって、エンコーダおよびデコーダ
におけるネットワークリソース、メモリリソース、および/または処理リソースの使用を
削減する。
のサブビットストリームにコーディングされることが可能であり、次いで、それらのサブ
ビットストリームは、デコーダに送信するためのビットストリームに合併され得る。たと
えば、サブピクチャは、仮想現実(VR)アプリケーションのために使用されてもよい。特定
の例において、ユーザは、常にVRピクチャの一部のみを見てもよい。したがって、表示さ
れる可能性が高いサブピクチャにより多くの帯域幅が割り振られることが可能であり、表
示される可能性が低いサブピクチャがコーディング効率を高めるために圧縮されることが
可能であるように、異なるサブピクチャが異なる解像度で送信されてもよい。さらに、ビ
デオストリームは、イントラランダムアクセスポイント(IRAP: intra-random access poi
nt)ピクチャを使用することによって符号化されてもよい。IRAPピクチャは、イントラ予
測によってコーディングされ、その他のピクチャの参照なしに復号されることが可能であ
る。非IRAPピクチャは、インター予測によってコーディングされてもよく、その他のピク
チャを参照することによって復号され得る。非IRAPピクチャは、IRAPピクチャよりも大幅
に凝縮される。しかし、IRAPピクチャがその他のピクチャを参照することなく復号される
のに十分なだけのデータを含むので、ビデオシーケンスは、IRAPピクチャから復号を開始
しなければならない。IRAPピクチャは、サブピクチャ内で使用されることが可能であり、
動的な解像度の変更を可能にし得る。したがって、ビデオシステムは、(たとえば、ユー
ザの現在のビューポートに基づいて)見られる可能性がより高いサブピクチャに関してよ
り多くのIRAPピクチャを送信し、コーディング効率をさらに高めるために、見られる可能
性の低いサブピクチャに関してより少ないIRAPピクチャを送信してもよい。しかし、サブ
ピクチャは、同じピクチャの一部である。したがって、この方式は、IRAPサブピクチャと
非IRAPサブピクチャとの両方を含むピクチャをもたらしてもよい。一部のビデオシステム
は、IRAP領域と非IRAP領域との両方を有する混合ピクチャを扱う備えがない。本開示は、
ピクチャが混合であり、したがって、IRAP構成要素と非IRAP構成要素との両方を含むかど
うかを示すフラグを含む。このフラグに基づいて、デコーダは、ピクチャ/サブピクチャ
を適切に復号し、表示するために、復号するときに異なるサブピクチャを異なるように処
理し得る。このフラグは、PPSに記憶されてもよく、mixed_nalu_types_in_pic_flagと呼
ばれてもよい。したがって、開示されるメカニズムは、追加的な機能の実装を可能にする
。さらに、開示されるメカニズムは、サブピクチャのビットストリームを使用するときに
動的な解像度の変更を可能にする。したがって、開示されるメカニズムは、ユーザエクス
ペリエンスを著しく損なうことなく、VRビデオをストリーミングするときにより低い解像
度のサブピクチャのビットストリームが送信されることを可能にする。したがって、開示
されるメカニズムは、コーディング効率を高め、したがって、エンコーダおよびデコーダ
におけるネットワークリソース、メモリリソース、および/または処理リソースの使用を
削減する。
【0006】
任意選択で、上記態様のうちのいずれかにおいて、態様の別の実装は、ビットストリー
ムがフラグを含むピクチャパラメータセット(PPS)を含むと規定する。
ムがフラグを含むピクチャパラメータセット(PPS)を含むと規定する。
【0007】
任意選択で、上記態様のうちのいずれかにおいて、態様の別の実装は、第1のNALユニッ
トタイプの値が、ピクチャがイントラランダムアクセスポイント(IRAP)サブピクチャを含
むことを示し、第2のNALユニットタイプの値が、ピクチャが非IRAPサブピクチャを含むこ
とを示すと規定する。
トタイプの値が、ピクチャがイントラランダムアクセスポイント(IRAP)サブピクチャを含
むことを示し、第2のNALユニットタイプの値が、ピクチャが非IRAPサブピクチャを含むこ
とを示すと規定する。
【0008】
任意選択で、上記態様のうちのいずれかにおいて、態様の別の実装は、第1のNALユニッ
トタイプの値が、ランダムアクセス復号可能リーディングピクチャ(random access decod
able leading picture)を有する瞬時復号リフレッシュ(IDR: Instantaneous Decoding Re
fresh)(IDR_W_RADL)、リーディングピクチャを持たないIDR(IDR_N_LP)、またはクリーン
ランダムアクセス(CRA: clean random access)NALユニットタイプ(CRA_NUT)に等しいと規
定する。
トタイプの値が、ランダムアクセス復号可能リーディングピクチャ(random access decod
able leading picture)を有する瞬時復号リフレッシュ(IDR: Instantaneous Decoding Re
fresh)(IDR_W_RADL)、リーディングピクチャを持たないIDR(IDR_N_LP)、またはクリーン
ランダムアクセス(CRA: clean random access)NALユニットタイプ(CRA_NUT)に等しいと規
定する。
【0009】
任意選択で、上記態様のうちのいずれかにおいて、態様の別の実装は、第2のNALユニッ
トタイプの値が、トレーリングピクチャ(trailing picture)NALユニットタイプ(TRAIL_NU
T)、ランダムアクセス復号可能リーディングピクチャNALユニットタイプ(RADL_NUT)、ま
たはランダム・アクセス・スキップ・リーディング・ピクチャ(RASL: random access ski
pped leading picture)NALユニットタイプ(RASL_NUT)に等しいと規定する。
トタイプの値が、トレーリングピクチャ(trailing picture)NALユニットタイプ(TRAIL_NU
T)、ランダムアクセス復号可能リーディングピクチャNALユニットタイプ(RADL_NUT)、ま
たはランダム・アクセス・スキップ・リーディング・ピクチャ(RASL: random access ski
pped leading picture)NALユニットタイプ(RASL_NUT)に等しいと規定する。
【0010】
任意選択で、上記態様のうちのいずれかにおいて、態様の別の実装は、フラグがmixed_
nalu_types_in_pic_flagであると規定する。
nalu_types_in_pic_flagであると規定する。
【0011】
任意選択で、上記態様のうちのいずれかにおいて、態様の別の実装は、PPSを参照する
ピクチャがVCL NALユニットのうちの2つ以上を有し、VCL NALユニットがNALユニットタイ
プ(nal_unit_type)の同じ値を持たないことを指定するとき、mixed_nalu_types_in_pic_f
lagが1に等しく、PPSを参照するピクチャがVCL NALユニットのうちの1つ以上を有し、VCL
NALユニットがnal_unit_typeの同じ値を有することを指定するとき、mixed_nalu_types_
in_pic_flagが0に等しいと規定する。
ピクチャがVCL NALユニットのうちの2つ以上を有し、VCL NALユニットがNALユニットタイ
プ(nal_unit_type)の同じ値を持たないことを指定するとき、mixed_nalu_types_in_pic_f
lagが1に等しく、PPSを参照するピクチャがVCL NALユニットのうちの1つ以上を有し、VCL
NALユニットがnal_unit_typeの同じ値を有することを指定するとき、mixed_nalu_types_
in_pic_flagが0に等しいと規定する。
【0012】
実施形態において、本開示は、エンコーダにおいて実施される方法であって、ピクチャ
が異なるタイプの複数のサブピクチャを含むかどうかをプロセッサによって判定するステ
ップと、ピクチャのサブピクチャをビットストリーム内の複数のVCL NALユニットに符号
化するステップと、第1のNALユニットタイプの値がピクチャに関連するすべてのVCL NAL
ユニットに関して同じであるときに第1の値に設定され、ピクチャのサブピクチャのうち
の1つ以上を含むVCL NALユニットに関する第1のNALユニットタイプの値がピクチャのサブ
ピクチャのうちの1つ以上を含むVCL NALユニットに関する第2のNALユニットタイプの値と
異なるときに第2の値に設定されたフラグをプロセッサによってビットストリームに符号
化するステップと、デコーダに伝達するためのビットストリームを、プロセッサに結合さ
れたメモリによって記憶するステップとを含む、方法を含む。
が異なるタイプの複数のサブピクチャを含むかどうかをプロセッサによって判定するステ
ップと、ピクチャのサブピクチャをビットストリーム内の複数のVCL NALユニットに符号
化するステップと、第1のNALユニットタイプの値がピクチャに関連するすべてのVCL NAL
ユニットに関して同じであるときに第1の値に設定され、ピクチャのサブピクチャのうち
の1つ以上を含むVCL NALユニットに関する第1のNALユニットタイプの値がピクチャのサブ
ピクチャのうちの1つ以上を含むVCL NALユニットに関する第2のNALユニットタイプの値と
異なるときに第2の値に設定されたフラグをプロセッサによってビットストリームに符号
化するステップと、デコーダに伝達するためのビットストリームを、プロセッサに結合さ
れたメモリによって記憶するステップとを含む、方法を含む。
【0013】
ピクチャが、複数のサブピクチャに区分けされ得る。そのようなサブピクチャは、別々
のサブビットストリームにコーディングされることが可能であり、次いで、それらのサブ
ビットストリームは、デコーダに送信するためのビットストリームに合併され得る。たと
えば、サブピクチャは、仮想現実(VR)アプリケーションのために使用されてもよい。特定
の例において、ユーザは、常にVRピクチャの一部のみを見てもよい。したがって、表示さ
れる可能性が高いサブピクチャにより多くの帯域幅が割り振られることが可能であり、表
示される可能性が低いサブピクチャがコーディング効率を高めるために圧縮されることが
可能であるように、異なるサブピクチャが異なる解像度で送信されてもよい。さらに、ビ
デオストリームは、イントラランダムアクセスポイント(IRAP)ピクチャを使用することに
よって符号化されてもよい。IRAPピクチャは、イントラ予測によってコーディングされ、
その他のピクチャの参照なしに復号されることが可能である。非IRAPピクチャは、インタ
ー予測によってコーディングされてもよく、その他のピクチャを参照することによって復
号され得る。非IRAPピクチャは、IRAPピクチャよりも大幅に凝縮される。しかし、IRAPピ
クチャがその他のピクチャを参照することなく復号されるのに十分なだけのデータを含む
ので、ビデオシーケンスは、IRAPピクチャから復号を開始しなければならない。IRAPピク
チャは、サブピクチャ内で使用されることが可能であり、動的な解像度の変更を可能にし
得る。したがって、ビデオシステムは、(たとえば、ユーザの現在のビューポートに基づ
いて)見られる可能性がより高いサブピクチャに関してより多くのIRAPピクチャを送信し
、コーディング効率をさらに高めるために、見られる可能性の低いサブピクチャに関して
より少ないIRAPピクチャを送信してもよい。しかし、サブピクチャは、同じピクチャの一
部である。したがって、この方式は、IRAPサブピクチャと非IRAPサブピクチャとの両方を
含むピクチャをもたらしてもよい。一部のビデオシステムは、IRAP領域と非IRAP領域との
両方を有する混合ピクチャを扱う備えがない。本開示は、ピクチャが混合であり、したが
って、IRAP構成要素と非IRAP構成要素との両方を含むかどうかを示すフラグを含む。この
フラグに基づいて、デコーダは、ピクチャ/サブピクチャを適切に復号し、表示するため
に、復号するときに異なるサブピクチャを異なるように処理し得る。このフラグは、PPS
に記憶されてもよく、mixed_nalu_types_in_pic_flagと呼ばれてもよい。したがって、開
示されるメカニズムは、追加的な機能の実装を可能にする。さらに、開示されるメカニズ
ムは、サブピクチャのビットストリームを使用するときに動的な解像度の変更を可能にす
る。したがって、開示されるメカニズムは、ユーザエクスペリエンスを著しく損なうこと
なく、VRビデオをストリーミングするときにより低い解像度のサブピクチャのビットスト
リームが送信されることを可能にする。したがって、開示されるメカニズムは、コーディ
ング効率を高め、したがって、エンコーダおよびデコーダにおけるネットワークリソース
、メモリリソース、および/または処理リソースの使用を削減する。
のサブビットストリームにコーディングされることが可能であり、次いで、それらのサブ
ビットストリームは、デコーダに送信するためのビットストリームに合併され得る。たと
えば、サブピクチャは、仮想現実(VR)アプリケーションのために使用されてもよい。特定
の例において、ユーザは、常にVRピクチャの一部のみを見てもよい。したがって、表示さ
れる可能性が高いサブピクチャにより多くの帯域幅が割り振られることが可能であり、表
示される可能性が低いサブピクチャがコーディング効率を高めるために圧縮されることが
可能であるように、異なるサブピクチャが異なる解像度で送信されてもよい。さらに、ビ
デオストリームは、イントラランダムアクセスポイント(IRAP)ピクチャを使用することに
よって符号化されてもよい。IRAPピクチャは、イントラ予測によってコーディングされ、
その他のピクチャの参照なしに復号されることが可能である。非IRAPピクチャは、インタ
ー予測によってコーディングされてもよく、その他のピクチャを参照することによって復
号され得る。非IRAPピクチャは、IRAPピクチャよりも大幅に凝縮される。しかし、IRAPピ
クチャがその他のピクチャを参照することなく復号されるのに十分なだけのデータを含む
ので、ビデオシーケンスは、IRAPピクチャから復号を開始しなければならない。IRAPピク
チャは、サブピクチャ内で使用されることが可能であり、動的な解像度の変更を可能にし
得る。したがって、ビデオシステムは、(たとえば、ユーザの現在のビューポートに基づ
いて)見られる可能性がより高いサブピクチャに関してより多くのIRAPピクチャを送信し
、コーディング効率をさらに高めるために、見られる可能性の低いサブピクチャに関して
より少ないIRAPピクチャを送信してもよい。しかし、サブピクチャは、同じピクチャの一
部である。したがって、この方式は、IRAPサブピクチャと非IRAPサブピクチャとの両方を
含むピクチャをもたらしてもよい。一部のビデオシステムは、IRAP領域と非IRAP領域との
両方を有する混合ピクチャを扱う備えがない。本開示は、ピクチャが混合であり、したが
って、IRAP構成要素と非IRAP構成要素との両方を含むかどうかを示すフラグを含む。この
フラグに基づいて、デコーダは、ピクチャ/サブピクチャを適切に復号し、表示するため
に、復号するときに異なるサブピクチャを異なるように処理し得る。このフラグは、PPS
に記憶されてもよく、mixed_nalu_types_in_pic_flagと呼ばれてもよい。したがって、開
示されるメカニズムは、追加的な機能の実装を可能にする。さらに、開示されるメカニズ
ムは、サブピクチャのビットストリームを使用するときに動的な解像度の変更を可能にす
る。したがって、開示されるメカニズムは、ユーザエクスペリエンスを著しく損なうこと
なく、VRビデオをストリーミングするときにより低い解像度のサブピクチャのビットスト
リームが送信されることを可能にする。したがって、開示されるメカニズムは、コーディ
ング効率を高め、したがって、エンコーダおよびデコーダにおけるネットワークリソース
、メモリリソース、および/または処理リソースの使用を削減する。
【0014】
任意選択で、上記態様のうちのいずれかにおいて、態様の別の実装は、PPSをビットス
トリームに符号化するステップであって、フラグが、PPSに符号化される、ステップをさ
らに含む。
トリームに符号化するステップであって、フラグが、PPSに符号化される、ステップをさ
らに含む。
【0015】
任意選択で、上記態様のうちのいずれかにおいて、態様の別の実装は、第1のNALユニッ
トタイプの値が、ピクチャがIRAPサブピクチャを含むことを示し、第2のNALユニットタイ
プの値が、ピクチャが非IRAPサブピクチャを含むことを示すと規定する。
トタイプの値が、ピクチャがIRAPサブピクチャを含むことを示し、第2のNALユニットタイ
プの値が、ピクチャが非IRAPサブピクチャを含むことを示すと規定する。
【0016】
任意選択で、上記態様のうちのいずれかにおいて、態様の別の実装は、第1のNALユニッ
トタイプの値がIDR_W_RADL、IDR_N_LP、またはCRA_NUTに等しいと規定する。
トタイプの値がIDR_W_RADL、IDR_N_LP、またはCRA_NUTに等しいと規定する。
【0017】
任意選択で、上記態様のうちのいずれかにおいて、態様の別の実装は、第2のNALユニッ
トタイプの値がTRAIL_NUT、RADL_NUT、またはRASL_NUTに等しいと規定する。
トタイプの値がTRAIL_NUT、RADL_NUT、またはRASL_NUTに等しいと規定する。
【0018】
任意選択で、上記態様のうちのいずれかにおいて、態様の別の実装は、フラグがmixed_
nalu_types_in_pic_flagであると規定する。
nalu_types_in_pic_flagであると規定する。
【0019】
任意選択で、上記態様のうちのいずれかにおいて、態様の別の実装は、PPSを参照する
ピクチャがVCL NALユニットのうちの2つ以上を有し、VCL NALユニットがnal_unit_typeの
同じ値を持たないことを指定するとき、mixed_nalu_types_in_pic_flagが1に等しく、PPS
を参照するピクチャがVCL NALユニットのうちの1つ以上を有し、VCL NALユニットがnal_u
nit_typeの同じ値を有することを指定するとき、mixed_nalu_types_in_pic_flagが0に等
しいと規定する。
ピクチャがVCL NALユニットのうちの2つ以上を有し、VCL NALユニットがnal_unit_typeの
同じ値を持たないことを指定するとき、mixed_nalu_types_in_pic_flagが1に等しく、PPS
を参照するピクチャがVCL NALユニットのうちの1つ以上を有し、VCL NALユニットがnal_u
nit_typeの同じ値を有することを指定するとき、mixed_nalu_types_in_pic_flagが0に等
しいと規定する。
【0020】
実施形態において、本開示は、プロセッサと、プロセッサに結合された受信機と、プロ
セッサに結合されたメモリと、プロセッサに結合された送信機とを含み、プロセッサ、受
信機、メモリ、および送信機が、上述の態様のいずれかの方法を実行するように構成され
る、ビデオコーディングデバイスを含む。
セッサに結合されたメモリと、プロセッサに結合された送信機とを含み、プロセッサ、受
信機、メモリ、および送信機が、上述の態様のいずれかの方法を実行するように構成され
る、ビデオコーディングデバイスを含む。
【0021】
実施形態において、本開示は、ビデオコーディングデバイスによって使用するためのコ
ンピュータプログラム製品を含む非一時的コンピュータ可読媒体であって、コンピュータ
プログラム製品が、プロセッサによって実行されるときにビデオコーディングデバイスに
上述の態様のいずれかの方法を実行させる、非一時的コンピュータ可読媒体に記憶された
コンピュータ実行可能な命令を含む、非一時的コンピュータ可読媒体を含む。
ンピュータプログラム製品を含む非一時的コンピュータ可読媒体であって、コンピュータ
プログラム製品が、プロセッサによって実行されるときにビデオコーディングデバイスに
上述の態様のいずれかの方法を実行させる、非一時的コンピュータ可読媒体に記憶された
コンピュータ実行可能な命令を含む、非一時的コンピュータ可読媒体を含む。
【0022】
実施形態において、本開示は、ピクチャに関連する複数のサブピクチャおよびフラグを
含むビットストリームを受信するための受信手段であって、サブピクチャが、複数のVCL
NALユニットに含まれる、受信手段と、判定手段であって、フラグが第1の値に設定されて
いるとき、第1のNALユニットタイプの値がピクチャに関連するすべてのVCL NALユニット
に関して同じであると判定し、フラグが第2の値に設定されているとき、ピクチャのサブ
ピクチャのうちの1つ以上を含むVCL NALユニットに関する第1のNALユニットタイプの値が
ピクチャのサブピクチャのうちの1つ以上を含むVCL NALユニットに関する第2のNALユニッ
トタイプの値と異なると判定するための、判定手段と、第1のNALユニットタイプの値また
は第2のNALユニットタイプの値に基づいてサブピクチャのうちの1つ以上を復号するため
の復号手段とを含むデコーダを含む。
含むビットストリームを受信するための受信手段であって、サブピクチャが、複数のVCL
NALユニットに含まれる、受信手段と、判定手段であって、フラグが第1の値に設定されて
いるとき、第1のNALユニットタイプの値がピクチャに関連するすべてのVCL NALユニット
に関して同じであると判定し、フラグが第2の値に設定されているとき、ピクチャのサブ
ピクチャのうちの1つ以上を含むVCL NALユニットに関する第1のNALユニットタイプの値が
ピクチャのサブピクチャのうちの1つ以上を含むVCL NALユニットに関する第2のNALユニッ
トタイプの値と異なると判定するための、判定手段と、第1のNALユニットタイプの値また
は第2のNALユニットタイプの値に基づいてサブピクチャのうちの1つ以上を復号するため
の復号手段とを含むデコーダを含む。
【0023】
任意選択で、上記態様のうちのいずれかにおいて、態様の別の実装は、デコーダが、上
述の態様のいずれかの方法を実行するようにさらに構成されると規定する。
述の態様のいずれかの方法を実行するようにさらに構成されると規定する。
【0024】
実施形態において、本開示は、ピクチャが異なるタイプの複数のサブピクチャを含むか
どうかを判定するための判定手段と、符号化手段であって、ピクチャのサブピクチャをビ
ットストリーム内の複数のVCL NALユニットに符号化し、第1のNALユニットタイプの値が
ピクチャに関連するすべてのVCL NALユニットに関して同じであるときに第1の値に設定さ
れ、ピクチャのサブピクチャのうちの1つ以上を含むVCL NALユニットに関する第1のNALユ
ニットタイプの値がピクチャのサブピクチャのうちの1つ以上を含むVCL NALユニットに関
する第2のNALユニットタイプの値と異なるときに第2の値に設定されたフラグをビットス
トリームに符号化するための、符号化手段と、デコーダに伝達するためのビットストリー
ムを記憶するための記憶手段とを含むエンコーダを含む。
どうかを判定するための判定手段と、符号化手段であって、ピクチャのサブピクチャをビ
ットストリーム内の複数のVCL NALユニットに符号化し、第1のNALユニットタイプの値が
ピクチャに関連するすべてのVCL NALユニットに関して同じであるときに第1の値に設定さ
れ、ピクチャのサブピクチャのうちの1つ以上を含むVCL NALユニットに関する第1のNALユ
ニットタイプの値がピクチャのサブピクチャのうちの1つ以上を含むVCL NALユニットに関
する第2のNALユニットタイプの値と異なるときに第2の値に設定されたフラグをビットス
トリームに符号化するための、符号化手段と、デコーダに伝達するためのビットストリー
ムを記憶するための記憶手段とを含むエンコーダを含む。
【0025】
任意選択で、上記態様のうちのいずれかにおいて、態様の別の実装は、エンコーダが、
上述の態様のいずれかの方法を実行するようにさらに構成されると規定する。
上述の態様のいずれかの方法を実行するようにさらに構成されると規定する。
【0026】
明瞭にする目的で、上述の実施形態の任意の1つが、本開示の範囲内の新しい実施形態
を生成するためにその他の上述の実施形態のうちの任意の1つ以上と組み合わされてもよ
い。
を生成するためにその他の上述の実施形態のうちの任意の1つ以上と組み合わされてもよ
い。
【0027】
これらのおよびその他の特徴は、以下の詳細な説明を添付の図面および請求項と併せて
理解することによってより明瞭に理解されるであろう。
理解することによってより明瞭に理解されるであろう。
【0028】
本開示をより完全に理解するために、同様の参照番号が同様の部分を表す添付の図面お
よび詳細な説明に関連して解釈される以下の簡単な説明がここで参照される。
よび詳細な説明に関連して解釈される以下の簡単な説明がここで参照される。
【図面の簡単な説明】
【0029】
【図1】ビデオ信号をコーディングする例示的な方法の流れ図である。
【図2】ビデオコーディングのための例示的なコーディングおよび復号(コーデック)システムの概略図である。
【図3】例示的なビデオエンコーダを示す概略図である。
【図4】例示的なビデオデコーダを示す概略図である。
【図5】例示的なコーディングされたビデオシーケンスを示す概略図である。
【図6】仮想現実(VR)ピクチャビデオストリームから分割された複数のサブピクチャビデオストリームを示す概略図である。
【図7】混合されたネットワーク抽象化レイヤ(NAL)ユニットタイプを有するピクチャを含む例示的なビットストリームを示す概略図である。
【図8】例示的なビデオコーディングデバイスの概略図である。
【図9】ビットストリームに混合されたNALユニットタイプを有するピクチャを含むビデオシーケンスを符号化する例示的な方法の流れ図である。
【図10】ビットストリームから混合されたNALユニットタイプを有するピクチャを含むビデオシーケンスを復号する例示的な方法の流れ図である。
【図11】ビットストリームに混合されたNALユニットタイプを有するピクチャを含むビデオシーケンスをコーディングする例示的なシステムの概略図である。
【発明を実施するための形態】
【0030】
1つ以上の実施形態の例示的な実装が以下で与えられるが、開示されるシステムおよび/
または方法は、現在知られているのかまたは存在しているのかにかかわらず任意の数の技
術を使用して実装されてもよいことを最初に理解されたい。本開示は、本明細書において
例示され、説明される例示的な設計および実装を含む、以下で示される例示的な実装、図
面、および技術にまったく限定されるべきでなく、添付の請求項の均等物の全範囲と併せ
たそれらの請求項の範囲内で修正されてもよい。
または方法は、現在知られているのかまたは存在しているのかにかかわらず任意の数の技
術を使用して実装されてもよいことを最初に理解されたい。本開示は、本明細書において
例示され、説明される例示的な設計および実装を含む、以下で示される例示的な実装、図
面、および技術にまったく限定されるべきでなく、添付の請求項の均等物の全範囲と併せ
たそれらの請求項の範囲内で修正されてもよい。
【0031】
以下の頭字語、コーディングされたビデオシーケンス(CVS: Coded Video Sequence)、
復号ピクチャバッファ(DPB)、瞬時復号リフレッシュ(IDR)、イントラランダムアクセスポ
イント(IRAP)、最下位ビット(LSB)、最上位ビット(MSB)、ネットワーク抽象化レイヤ(NAL
)、ピクチャ順序カウント(POC: Picture Order Count)、生バイトシーケンスペイロード(
RBSP: Raw Byte Sequence Payload)、シーケンスパラメータセット(SPS)、および作業草
案(WD)が、本明細書において使用される。
復号ピクチャバッファ(DPB)、瞬時復号リフレッシュ(IDR)、イントラランダムアクセスポ
イント(IRAP)、最下位ビット(LSB)、最上位ビット(MSB)、ネットワーク抽象化レイヤ(NAL
)、ピクチャ順序カウント(POC: Picture Order Count)、生バイトシーケンスペイロード(
RBSP: Raw Byte Sequence Payload)、シーケンスパラメータセット(SPS)、および作業草
案(WD)が、本明細書において使用される。
【0032】
多くのビデオ圧縮技術が、データの最小限の損失でビデオファイルのサイズを削減する
ために使用され得る。たとえば、ビデオ圧縮技術は、ビデオシーケンスのデータの冗長性
を減らすかまたは取り除くために空間(たとえば、イントラピクチャ)予測および時間(イ
ンターピクチャ)予測を実行することを含み得る。ブロックに基づくビデオコーディング
のために、ビデオスライス(たとえば、ビデオピクチャまたはビデオピクチャの一部)が、
ビデオブロックに区分けされてもよく、ビデオブロックは、ツリーブロック、コーディン
グツリーブロック(CTB)、コーディングツリーユニット(CTU)、コーディングユニット(CU)
、および/またはコーディングノードとも呼ばれてもよい。ピクチャのイントラコーディ
ングされる(I)スライス内のビデオブロックは、同じピクチャ内の近隣のブロック内の参
照サンプルに関連する空間予測を使用してコーディングされる。ピクチャのインターコー
ディングされる片方向予測(P)または両方向予測(B)スライス内のビデオブロックは、同じ
ピクチャ内の近隣のブロック内の参照サンプルに関連する空間予測またはその他の参照ピ
クチャ内の参照サンプルに関連する時間予測を使用することによってコーディングされて
もよい。ピクチャは、フレームおよび/または画像と呼ばれてもよく、参照ピクチャは、
参照フレームおよび/または参照画像と呼ばれてもよい。空間または時間予測は、画像ブ
ロックを表す予測ブロックをもたらす。残差データは、元のブロックと予測ブロックとの
間のピクセルの差を表す。したがって、インターコーディングされるブロックは、予測ブ
ロックを形成する参照サンプルのブロックを指す動きベクトルと、コーディングされるブ
ロックと予測ブロックとの間の差を示す残差データとによって符号化される。イントラコ
ーディングされるブロックは、イントラコーディングモードおよび残差データによって符
号化される。さらなる圧縮のために、残差データが、ピクセル領域から変換領域に変換さ
れてもよい。これらは、残差変換係数をもたらし、残差変換係数は、量子化されてもよい
。最初に、量子化された変換係数は、二次元配列に配列されてもよい。量子化された変換
係数は、変換係数の一次元ベクトルを生成するためにスキャンされてもよい。エントロピ
ーコーディングが、より一層の圧縮を実現するために適用されてもよい。そのようなビデ
オ圧縮技術は、下で処理詳細に検討される。
ために使用され得る。たとえば、ビデオ圧縮技術は、ビデオシーケンスのデータの冗長性
を減らすかまたは取り除くために空間(たとえば、イントラピクチャ)予測および時間(イ
ンターピクチャ)予測を実行することを含み得る。ブロックに基づくビデオコーディング
のために、ビデオスライス(たとえば、ビデオピクチャまたはビデオピクチャの一部)が、
ビデオブロックに区分けされてもよく、ビデオブロックは、ツリーブロック、コーディン
グツリーブロック(CTB)、コーディングツリーユニット(CTU)、コーディングユニット(CU)
、および/またはコーディングノードとも呼ばれてもよい。ピクチャのイントラコーディ
ングされる(I)スライス内のビデオブロックは、同じピクチャ内の近隣のブロック内の参
照サンプルに関連する空間予測を使用してコーディングされる。ピクチャのインターコー
ディングされる片方向予測(P)または両方向予測(B)スライス内のビデオブロックは、同じ
ピクチャ内の近隣のブロック内の参照サンプルに関連する空間予測またはその他の参照ピ
クチャ内の参照サンプルに関連する時間予測を使用することによってコーディングされて
もよい。ピクチャは、フレームおよび/または画像と呼ばれてもよく、参照ピクチャは、
参照フレームおよび/または参照画像と呼ばれてもよい。空間または時間予測は、画像ブ
ロックを表す予測ブロックをもたらす。残差データは、元のブロックと予測ブロックとの
間のピクセルの差を表す。したがって、インターコーディングされるブロックは、予測ブ
ロックを形成する参照サンプルのブロックを指す動きベクトルと、コーディングされるブ
ロックと予測ブロックとの間の差を示す残差データとによって符号化される。イントラコ
ーディングされるブロックは、イントラコーディングモードおよび残差データによって符
号化される。さらなる圧縮のために、残差データが、ピクセル領域から変換領域に変換さ
れてもよい。これらは、残差変換係数をもたらし、残差変換係数は、量子化されてもよい
。最初に、量子化された変換係数は、二次元配列に配列されてもよい。量子化された変換
係数は、変換係数の一次元ベクトルを生成するためにスキャンされてもよい。エントロピ
ーコーディングが、より一層の圧縮を実現するために適用されてもよい。そのようなビデ
オ圧縮技術は、下で処理詳細に検討される。
【0033】
符号化されたビデオが正確に復号され得ることを保証するために、ビデオは、対応する
ビデオコーディング規格に従って符号化され、復号される。ビデオコーディング規格は、
国際電気通信連合(ITU)標準化セクター(ITU-T)H.261、国際標準化機構/国際電気標準会議
(ISO/IEC)動画専門家グループ(MPEG)-1パート2、ITU-T H.262またはISO/IEC MPEG-2パー
ト2、ITU-T H.263、ISO/IEC MPEG-4パート2、ITU-T H.264またはISO/IEC MPEG-4パート10
としても知られる、高度ビデオコーディング(AVC: Advanced Video Coding)、ITU-T H.26
5またはMPEG-Hパート2としても知られる高効率ビデオコーディング(HEVC)を含む。AVCは
、拡張可能なビデオコーディング(SVC: Scalable Video Coding)、多視点ビデオコーディ
ング(MVC: Multiview Video Coding)および多視点ビデオコーディングプラス深度(MVC+D:
Multiview Video Coding plus Depth)、ならびに三次元(3D)AVC(3D-AVC)などの拡張を含
む。HEVCは、拡張可能なHEVC(SHVC)、多視点HEVC(MV-HEVC)、および3D HEVC(3D-HEVC)な
どの拡張を含む。ITU-TおよびISO/IECの合同ビデオ専門家チーム(JVET: joint video exp
erts team)は、多目的ビデオコーディング(VVC: Versatile Video Coding)と呼ばれるビ
デオコーディング規格の開発を開始した。VVCは、アルゴリズムの説明、VVC作業草案(WD)
のエンコーダ側の説明、および参照ソフトウェアを提供するJVET-M1001-v6を含むWDに含
まれる。
ビデオコーディング規格に従って符号化され、復号される。ビデオコーディング規格は、
国際電気通信連合(ITU)標準化セクター(ITU-T)H.261、国際標準化機構/国際電気標準会議
(ISO/IEC)動画専門家グループ(MPEG)-1パート2、ITU-T H.262またはISO/IEC MPEG-2パー
ト2、ITU-T H.263、ISO/IEC MPEG-4パート2、ITU-T H.264またはISO/IEC MPEG-4パート10
としても知られる、高度ビデオコーディング(AVC: Advanced Video Coding)、ITU-T H.26
5またはMPEG-Hパート2としても知られる高効率ビデオコーディング(HEVC)を含む。AVCは
、拡張可能なビデオコーディング(SVC: Scalable Video Coding)、多視点ビデオコーディ
ング(MVC: Multiview Video Coding)および多視点ビデオコーディングプラス深度(MVC+D:
Multiview Video Coding plus Depth)、ならびに三次元(3D)AVC(3D-AVC)などの拡張を含
む。HEVCは、拡張可能なHEVC(SHVC)、多視点HEVC(MV-HEVC)、および3D HEVC(3D-HEVC)な
どの拡張を含む。ITU-TおよびISO/IECの合同ビデオ専門家チーム(JVET: joint video exp
erts team)は、多目的ビデオコーディング(VVC: Versatile Video Coding)と呼ばれるビ
デオコーディング規格の開発を開始した。VVCは、アルゴリズムの説明、VVC作業草案(WD)
のエンコーダ側の説明、および参照ソフトウェアを提供するJVET-M1001-v6を含むWDに含
まれる。
【0034】
ビデオコーディングシステムは、IRAPピクチャおよび非IRAPピクチャを使用することに
よってビデオを符号化してもよい。IRAPピクチャは、ビデオシーケンスに関するランダム
アクセスポイントとして働く、イントラ予測によってコーディングされるピクチャである
。イントラ予測においては、ピクチャのブロックが、同じピクチャ内のその他のブロック
の参照によってコーディングされる。これは、インター予測を使用する非IRAPピクチャと
は対照的である。インター予測においては、現在のピクチャのブロックが、現在のピクチ
ャとは異なる参照ピクチャ内のその他のブロックの参照によってコーディングされる。IR
APピクチャは、その他のピクチャの参照なしにコーディングされるので、最初にいかなる
その他のピクチャも復号せずに復号され得る。したがって、デコーダは、任意のIRAPピク
チャにおいてビデオシーケンスの復号を開始することができる。対照的に、非IRAPピクチ
ャは、その他のピクチャを参照してコーディングされ、したがって、概して、デコーダは
、非IRAPピクチャにおいてビデオシーケンスの復号を開始することができない。また、IR
APピクチャは、DPBをリフレッシュする。これは、IRAPピクチャがCVSの開始点であり、CV
S内のピクチャが前のCVS内のピクチャを参照しないからである。したがって、IRAPピクチ
ャは、さらに、インター予測に関連するコーディングエラーがIRAPピクチャを通して伝搬
することができないのでそのようなエラーを止めることができる。しかし、IRAPピクチャ
は、データサイズの観点で非IRAPピクチャよりも著しく大きい。したがって、概して、ビ
デオシーケンスは、コーディング効率と機能性との釣り合いを取るために、多くの非IRAP
ピクチャとそれらの間に散らばったより少数のIRAPピクチャとを含む。たとえば、60フレ
ームのCVSが、1つのIRAPピクチャと59個の非IRAPピクチャとを含んでもよい。
よってビデオを符号化してもよい。IRAPピクチャは、ビデオシーケンスに関するランダム
アクセスポイントとして働く、イントラ予測によってコーディングされるピクチャである
。イントラ予測においては、ピクチャのブロックが、同じピクチャ内のその他のブロック
の参照によってコーディングされる。これは、インター予測を使用する非IRAPピクチャと
は対照的である。インター予測においては、現在のピクチャのブロックが、現在のピクチ
ャとは異なる参照ピクチャ内のその他のブロックの参照によってコーディングされる。IR
APピクチャは、その他のピクチャの参照なしにコーディングされるので、最初にいかなる
その他のピクチャも復号せずに復号され得る。したがって、デコーダは、任意のIRAPピク
チャにおいてビデオシーケンスの復号を開始することができる。対照的に、非IRAPピクチ
ャは、その他のピクチャを参照してコーディングされ、したがって、概して、デコーダは
、非IRAPピクチャにおいてビデオシーケンスの復号を開始することができない。また、IR
APピクチャは、DPBをリフレッシュする。これは、IRAPピクチャがCVSの開始点であり、CV
S内のピクチャが前のCVS内のピクチャを参照しないからである。したがって、IRAPピクチ
ャは、さらに、インター予測に関連するコーディングエラーがIRAPピクチャを通して伝搬
することができないのでそのようなエラーを止めることができる。しかし、IRAPピクチャ
は、データサイズの観点で非IRAPピクチャよりも著しく大きい。したがって、概して、ビ
デオシーケンスは、コーディング効率と機能性との釣り合いを取るために、多くの非IRAP
ピクチャとそれらの間に散らばったより少数のIRAPピクチャとを含む。たとえば、60フレ
ームのCVSが、1つのIRAPピクチャと59個の非IRAPピクチャとを含んでもよい。
【0035】
場合によっては、ビデオコーディングシステムは、360度ビデオとも呼ばれることがあ
る仮想現実(VR)ビデオをコーディングするために使用されてもよい。VRビデオは、ユーザ
が球の中心にいるかのように表示されるビデオコンテンツの球を含んでもよい。ビューポ
ートと呼ばれる球の一部分のみが、ユーザに対して表示される。たとえば、ユーザが、ユ
ーザの頭の動きに基づいて球のビューポートを選択し、表示するヘッドマウントディスプ
レイ(HMD)を使用してもよい。これは、ビデオによって描かれた仮想空間内に物理的に存
在している印象を与える。この結果を達成するために、ビデオシーケンスの各ピクチャは
、対応する瞬間のビデオデータの球全体を含む。しかし、ピクチャの小さな部分(たとえ
ば、単一のビューポート)のみが、ユーザに対して表示される。ピクチャの残りは、レン
ダリングされずに破棄される。ユーザの頭の動きに応じて異なるビューポートが動的に選
択され、表示され得るように、概して、ピクチャ全体が送信される。この手法は、非常に
大きなビデオファイルサイズにつながってもよい。
る仮想現実(VR)ビデオをコーディングするために使用されてもよい。VRビデオは、ユーザ
が球の中心にいるかのように表示されるビデオコンテンツの球を含んでもよい。ビューポ
ートと呼ばれる球の一部分のみが、ユーザに対して表示される。たとえば、ユーザが、ユ
ーザの頭の動きに基づいて球のビューポートを選択し、表示するヘッドマウントディスプ
レイ(HMD)を使用してもよい。これは、ビデオによって描かれた仮想空間内に物理的に存
在している印象を与える。この結果を達成するために、ビデオシーケンスの各ピクチャは
、対応する瞬間のビデオデータの球全体を含む。しかし、ピクチャの小さな部分(たとえ
ば、単一のビューポート)のみが、ユーザに対して表示される。ピクチャの残りは、レン
ダリングされずに破棄される。ユーザの頭の動きに応じて異なるビューポートが動的に選
択され、表示され得るように、概して、ピクチャ全体が送信される。この手法は、非常に
大きなビデオファイルサイズにつながってもよい。
【0036】
コーディング効率を改善するために、一部のシステムは、ピクチャをサブピクチャに分
割する。サブピクチャは、ピクチャの定義された空間的な領域である。各サブピクチャは
、ピクチャの対応するビューポートを含む。ビデオは、2つ以上の解像度で符号化され得
る。各解像度は、異なるサブビットストリームに符号化される。ユーザがVRビデオをスト
リーミングするとき、コーディングシステムは、ユーザによって使用されている現在のビ
ューポートに基づいて送信のためにサブビットストリームをビットストリームへと合併す
ることができる。特に、現在のビューポートは、高解像度のサブビットストリームから得
られ、見られていないビューポートは、低解像度のビットストリームから得られる。この
ようにして、最も高い品質のビデオが、ユーザに対して表示され、より低い品質のビデオ
は、破棄される。ユーザが新しいビューポートを選択する場合、より低い解像度のビデオ
が、ユーザに対して提示される。デコーダは、新しいビューポートがより高い解像度のビ
デオを受け取ることを要求し得る。次いで、エンコーダは、それに応じて合併プロセスを
変更し得る。IRAPピクチャに達すると、デコーダは、新しいビューポートのより高い解像
度のビデオシーケンスの復号を開始することができる。この手法は、ユーザの視聴体験に
悪影響を与えることなくビデオ圧縮を大幅に向上させる。
割する。サブピクチャは、ピクチャの定義された空間的な領域である。各サブピクチャは
、ピクチャの対応するビューポートを含む。ビデオは、2つ以上の解像度で符号化され得
る。各解像度は、異なるサブビットストリームに符号化される。ユーザがVRビデオをスト
リーミングするとき、コーディングシステムは、ユーザによって使用されている現在のビ
ューポートに基づいて送信のためにサブビットストリームをビットストリームへと合併す
ることができる。特に、現在のビューポートは、高解像度のサブビットストリームから得
られ、見られていないビューポートは、低解像度のビットストリームから得られる。この
ようにして、最も高い品質のビデオが、ユーザに対して表示され、より低い品質のビデオ
は、破棄される。ユーザが新しいビューポートを選択する場合、より低い解像度のビデオ
が、ユーザに対して提示される。デコーダは、新しいビューポートがより高い解像度のビ
デオを受け取ることを要求し得る。次いで、エンコーダは、それに応じて合併プロセスを
変更し得る。IRAPピクチャに達すると、デコーダは、新しいビューポートのより高い解像
度のビデオシーケンスの復号を開始することができる。この手法は、ユーザの視聴体験に
悪影響を与えることなくビデオ圧縮を大幅に向上させる。
【0037】
上述の手法に対する1つの懸念は、解像度を変更するために必要とされる時間の長さがI
RAPピクチャに達するまでの時間の長さに基づくことである。これは、上述のようにデコ
ーダが非IRAPピクチャにおいて異なるビデオシーケンスの復号を開始することができない
からである。そのようなレイテンシーを削減するための1つの手法は、より多くのIRAPピ
クチャを含めることである。しかし、これは、ファイルサイズの増大を招く。機能性とコ
ーディング効率との釣り合いを取るために、異なるビューポート/サブピクチャは、異な
る頻度でIRAPピクチャを含んでもよい。たとえば、見られる可能性がより高いビューポー
トが、その他のビューポートよりも多くのIRAPピクチャを有してもよい。たとえば、バス
ケットボールの文脈で、スタンドまたは天井を見るビューポートはユーザによって見られ
る可能性がより低いので、そのようなビューポートよりもバスケットおよび/またはセン
ターコートに関連するビューポートの方がより頻繁にIRAPピクチャを含んでもよい。
RAPピクチャに達するまでの時間の長さに基づくことである。これは、上述のようにデコ
ーダが非IRAPピクチャにおいて異なるビデオシーケンスの復号を開始することができない
からである。そのようなレイテンシーを削減するための1つの手法は、より多くのIRAPピ
クチャを含めることである。しかし、これは、ファイルサイズの増大を招く。機能性とコ
ーディング効率との釣り合いを取るために、異なるビューポート/サブピクチャは、異な
る頻度でIRAPピクチャを含んでもよい。たとえば、見られる可能性がより高いビューポー
トが、その他のビューポートよりも多くのIRAPピクチャを有してもよい。たとえば、バス
ケットボールの文脈で、スタンドまたは天井を見るビューポートはユーザによって見られ
る可能性がより低いので、そのようなビューポートよりもバスケットおよび/またはセン
ターコートに関連するビューポートの方がより頻繁にIRAPピクチャを含んでもよい。
【0038】
この手法は、その他の問題につながる。特に、ビューポートを含むサブピクチャは、単
一のピクチャの一部である。異なるサブピクチャが異なる頻度でIRAPピクチャを有すると
き、ピクチャの一部は、IRAPサブピクチャと非IRAPサブピクチャとの両方を含む。これは
、ピクチャがNALユニットを使用することによってビットストリームに記憶されるので問
題である。NALユニットは、ピクチャのパラメータセットまたはスライスおよび対応する
スライスヘッダを含む記憶単位である。アクセスユニットは、ピクチャ全体を含む単位で
ある。したがって、アクセスユニットは、ピクチャに関連するNALユニットのすべてを含
む。NALユニットは、スライスを含むピクチャのタイプを示すタイプも含む。一部のビデ
オシステムにおいては、(たとえば、同じアクセスユニットに含まれる)単一のピクチャに
関連するすべてのNALユニットが、同じタイプであることを求められる。したがって、NAL
ユニットの記憶メカニズムは、ピクチャがIRAPサブピクチャと非IRAPサブピクチャとの両
方を含むとき、正しく動作しなくなる可能性がある。
一のピクチャの一部である。異なるサブピクチャが異なる頻度でIRAPピクチャを有すると
き、ピクチャの一部は、IRAPサブピクチャと非IRAPサブピクチャとの両方を含む。これは
、ピクチャがNALユニットを使用することによってビットストリームに記憶されるので問
題である。NALユニットは、ピクチャのパラメータセットまたはスライスおよび対応する
スライスヘッダを含む記憶単位である。アクセスユニットは、ピクチャ全体を含む単位で
ある。したがって、アクセスユニットは、ピクチャに関連するNALユニットのすべてを含
む。NALユニットは、スライスを含むピクチャのタイプを示すタイプも含む。一部のビデ
オシステムにおいては、(たとえば、同じアクセスユニットに含まれる)単一のピクチャに
関連するすべてのNALユニットが、同じタイプであることを求められる。したがって、NAL
ユニットの記憶メカニズムは、ピクチャがIRAPサブピクチャと非IRAPサブピクチャとの両
方を含むとき、正しく動作しなくなる可能性がある。
【0039】
本明細書において開示されるのは、IRAPサブピクチャと非IRAPサブピクチャとの両方を
含むピクチャをサポートするようにNALの記憶方式を調整するためのメカニズムである。
これは、ひいては、異なるビューポートに関して異なるIRAPサブピクチャの頻度を含むVR
ビデオを可能にする。第1の例において、本明細書で開示されるのは、ピクチャが混合で
あるかどうかを示すフラグである。たとえば、フラグは、ピクチャがIRAPサブピクチャと
非IRAPサブピクチャとの両方を含むことを示してもよい。このフラグに基づいて、デコー
ダは、ピクチャ/サブピクチャを適切に復号し、表示するために、復号するときに異なる
タイプのサブピクチャを異なるように処理し得る。このフラグは、ピクチャパラメータセ
ット(PPS)に記憶されてもよく、mixed_nalu_types_in_pic_flagと呼ばれてもよい。
含むピクチャをサポートするようにNALの記憶方式を調整するためのメカニズムである。
これは、ひいては、異なるビューポートに関して異なるIRAPサブピクチャの頻度を含むVR
ビデオを可能にする。第1の例において、本明細書で開示されるのは、ピクチャが混合で
あるかどうかを示すフラグである。たとえば、フラグは、ピクチャがIRAPサブピクチャと
非IRAPサブピクチャとの両方を含むことを示してもよい。このフラグに基づいて、デコー
ダは、ピクチャ/サブピクチャを適切に復号し、表示するために、復号するときに異なる
タイプのサブピクチャを異なるように処理し得る。このフラグは、ピクチャパラメータセ
ット(PPS)に記憶されてもよく、mixed_nalu_types_in_pic_flagと呼ばれてもよい。
【0040】
第2の例において、本明細書で開示されるのは、ピクチャが混合であるかどうかを示す
フラグである。たとえば、フラグは、ピクチャがIRAPサブピクチャと非IRAPサブピクチャ
との両方を含むことを示してもよい。さらに、フラグは、混合ピクチャが1つのIRAPのタ
イプおよび1つの非IRAPのタイプを含む丁度2つのNALユニットタイプを含むようにピクチ
ャを制約する。たとえば、ピクチャは、ランダムアクセス復号可能リーディングピクチャ
を有する瞬時復号リフレッシュ(IDR)(IDR_W_RADL)、リーディングピクチャを持たないIDR
(IDR_N_LP)、またはクリーンランダムアクセス(CRA)NALユニットタイプ(CRA_NUT)のうち
の1つだけを含むIRAP NALユニットを含んでもよい。さらに、ピクチャは、トレーリング
ピクチャNALユニットタイプ(TRAIL_NUT)、ランダムアクセス復号可能リーディングピクチ
ャNALユニットタイプ(RADL_NUT)、またはランダム・アクセス・スキップ・リーディング
・ピクチャ(RASL)NALユニットタイプ(RASL_NUT)のうちの1つだけを含む非IRAP NALユニッ
トを含んでもよい。このフラグに基づいて、デコーダは、ピクチャ/サブピクチャを適切
に復号し、表示するために、復号するときに異なるサブピクチャを異なるように処理し得
る。このフラグは、PPSに記憶されてもよく、mixed_nalu_types_in_pic_flagと呼ばれて
もよい。
フラグである。たとえば、フラグは、ピクチャがIRAPサブピクチャと非IRAPサブピクチャ
との両方を含むことを示してもよい。さらに、フラグは、混合ピクチャが1つのIRAPのタ
イプおよび1つの非IRAPのタイプを含む丁度2つのNALユニットタイプを含むようにピクチ
ャを制約する。たとえば、ピクチャは、ランダムアクセス復号可能リーディングピクチャ
を有する瞬時復号リフレッシュ(IDR)(IDR_W_RADL)、リーディングピクチャを持たないIDR
(IDR_N_LP)、またはクリーンランダムアクセス(CRA)NALユニットタイプ(CRA_NUT)のうち
の1つだけを含むIRAP NALユニットを含んでもよい。さらに、ピクチャは、トレーリング
ピクチャNALユニットタイプ(TRAIL_NUT)、ランダムアクセス復号可能リーディングピクチ
ャNALユニットタイプ(RADL_NUT)、またはランダム・アクセス・スキップ・リーディング
・ピクチャ(RASL)NALユニットタイプ(RASL_NUT)のうちの1つだけを含む非IRAP NALユニッ
トを含んでもよい。このフラグに基づいて、デコーダは、ピクチャ/サブピクチャを適切
に復号し、表示するために、復号するときに異なるサブピクチャを異なるように処理し得
る。このフラグは、PPSに記憶されてもよく、mixed_nalu_types_in_pic_flagと呼ばれて
もよい。
【0041】
図1は、ビデオ信号をコーディングする例示的な動作方法100の流れ図である。特に、ビ
デオ信号は、エンコーダにおいて符号化される。符号化プロセスは、様々なメカニズムを
使用してビデオファイルサイズを削減することによってビデオ信号を圧縮する。より小さ
なファイルサイズは、関連する帯域幅のオーバーヘッドを削減しながら、圧縮されたビデ
オファイルがユーザに送信されることを可能にする。次いで、デコーダは、圧縮されたビ
デオファイルを復号して、エンドユーザに対して表示するために元のビデオ信号を再構築
する。概して、復号プロセスは、デコーダがビデオ信号を矛盾なく再構築することを可能
にするために符号化プロセスを忠実にまねる。
デオ信号は、エンコーダにおいて符号化される。符号化プロセスは、様々なメカニズムを
使用してビデオファイルサイズを削減することによってビデオ信号を圧縮する。より小さ
なファイルサイズは、関連する帯域幅のオーバーヘッドを削減しながら、圧縮されたビデ
オファイルがユーザに送信されることを可能にする。次いで、デコーダは、圧縮されたビ
デオファイルを復号して、エンドユーザに対して表示するために元のビデオ信号を再構築
する。概して、復号プロセスは、デコーダがビデオ信号を矛盾なく再構築することを可能
にするために符号化プロセスを忠実にまねる。
【0042】
ステップ101において、ビデオ信号が、エンコーダに入力される。たとえば、ビデオ信
号は、メモリに記憶された未圧縮のビデオファイルであってもよい。別の例として、ビデ
オファイルは、ビデオカメラなどビデオキャプチャデバイスによってキャプチャされ、ビ
デオのライブストリーミングをサポートするために符号化されてもよい。ビデオファイル
は、オーディオコンポーネントとビデオコンポーネントとの両方を含んでもよい。ビデオ
コンポーネントは、順番に見られるときに動きの視覚的な印象を与える一連の画像フレー
ムを含む。フレームは、本明細書においてルマ成分(またはルマサンプル)と呼ばれる光と
、クロマ成分(またはカラーサンプル)と呼ばれる色とによって表されるピクセルを含む。
一部の例において、フレームは、三次元の視聴をサポートするための深度値も含んでもよ
い。
号は、メモリに記憶された未圧縮のビデオファイルであってもよい。別の例として、ビデ
オファイルは、ビデオカメラなどビデオキャプチャデバイスによってキャプチャされ、ビ
デオのライブストリーミングをサポートするために符号化されてもよい。ビデオファイル
は、オーディオコンポーネントとビデオコンポーネントとの両方を含んでもよい。ビデオ
コンポーネントは、順番に見られるときに動きの視覚的な印象を与える一連の画像フレー
ムを含む。フレームは、本明細書においてルマ成分(またはルマサンプル)と呼ばれる光と
、クロマ成分(またはカラーサンプル)と呼ばれる色とによって表されるピクセルを含む。
一部の例において、フレームは、三次元の視聴をサポートするための深度値も含んでもよ
い。
【0043】
ステップ103において、ビデオが、ブロックに区分けされる。区分けは、各フレームの
ピクセルを圧縮のために正方形および/または長方形のブロックに下位分割することを含
む。たとえば、高効率ビデオコーディング(HEVC)(H.265およびMPEG-Hパート2としても知
られる)において、フレームは、まず、予め定義されたサイズ(たとえば、64ピクセル×64
ピクセル)のブロックであるコーディングツリーブロックに分割され得る。CTUは、ルマサ
ンプルとクロマサンプルとの両方を含む。CTUをブロックに分割し、次いで、さらなる符
号化をサポートする構成が実現されるまでブロックを繰り返し下位分割するためにコーデ
ィングツリーが使用されてもよい。たとえば、フレームのルマ成分は、個々のブロックが
比較的均一なライティングの値を含むまで下位分割されてもよい。たとえば、フレームの
クロマ成分は、個々のブロックが比較的均一な色の値を含むまで下位分割されてもよい。
したがって、区分けのメカニズムは、ビデオフレームの内容に応じて変わる。
ピクセルを圧縮のために正方形および/または長方形のブロックに下位分割することを含
む。たとえば、高効率ビデオコーディング(HEVC)(H.265およびMPEG-Hパート2としても知
られる)において、フレームは、まず、予め定義されたサイズ(たとえば、64ピクセル×64
ピクセル)のブロックであるコーディングツリーブロックに分割され得る。CTUは、ルマサ
ンプルとクロマサンプルとの両方を含む。CTUをブロックに分割し、次いで、さらなる符
号化をサポートする構成が実現されるまでブロックを繰り返し下位分割するためにコーデ
ィングツリーが使用されてもよい。たとえば、フレームのルマ成分は、個々のブロックが
比較的均一なライティングの値を含むまで下位分割されてもよい。たとえば、フレームの
クロマ成分は、個々のブロックが比較的均一な色の値を含むまで下位分割されてもよい。
したがって、区分けのメカニズムは、ビデオフレームの内容に応じて変わる。
【0044】
ステップ105においては、ステップ103において区分けされた画像ブロックを圧縮するた
めに様々な圧縮メカニズムが使用される。たとえば、インター予測および/またはイント
ラ予測が、使用されてもよい。インター予測は、普通のシーン内の物体が連続したフレー
ムに現れる傾向があるという事実を利用するように設計される。したがって、参照フレー
ムにおいて物体を描くブロックは、近隣のフレームにおいて繰り返し示される必要がない
。特に、テーブルなどの物体は、複数のフレームにわたって一定の位置にとどまってもよ
い。したがって、テーブルは、一回示され、隣接するフレームは、参照フレームを振り返
って参照することができる。パターンマッチングメカニズムが、複数のフレームにわたっ
て物体をマッチングするために使用されてもよい。さらに、移動する物体が、たとえば、
物体の移動またはカメラの移動が原因で複数のフレームにまたがって表されてもよい。特
定の例として、ビデオは、複数のフレームにわたって画面を横切って移動する自動車を示
してもよい。動きベクトルが、そのような移動を示すために使用され得る。動きベクトル
は、フレーム内の物体の座標から参照フレーム内の物体の座標までのオフセットを与える
二次元ベクトルである。したがって、インター予測は、現在のフレーム内の画像ブロック
を、参照フレーム内の対応するブロックからのオフセットを示す動きベクトルの組として
符号化し得る。
めに様々な圧縮メカニズムが使用される。たとえば、インター予測および/またはイント
ラ予測が、使用されてもよい。インター予測は、普通のシーン内の物体が連続したフレー
ムに現れる傾向があるという事実を利用するように設計される。したがって、参照フレー
ムにおいて物体を描くブロックは、近隣のフレームにおいて繰り返し示される必要がない
。特に、テーブルなどの物体は、複数のフレームにわたって一定の位置にとどまってもよ
い。したがって、テーブルは、一回示され、隣接するフレームは、参照フレームを振り返
って参照することができる。パターンマッチングメカニズムが、複数のフレームにわたっ
て物体をマッチングするために使用されてもよい。さらに、移動する物体が、たとえば、
物体の移動またはカメラの移動が原因で複数のフレームにまたがって表されてもよい。特
定の例として、ビデオは、複数のフレームにわたって画面を横切って移動する自動車を示
してもよい。動きベクトルが、そのような移動を示すために使用され得る。動きベクトル
は、フレーム内の物体の座標から参照フレーム内の物体の座標までのオフセットを与える
二次元ベクトルである。したがって、インター予測は、現在のフレーム内の画像ブロック
を、参照フレーム内の対応するブロックからのオフセットを示す動きベクトルの組として
符号化し得る。
【0045】
イントラ予測は、共通のフレーム内のブロックを符号化する。イントラ予測は、ルマ成
分およびクロマ成分がフレーム内で塊になる傾向があるという事実を利用する。たとえば
、木の一部の緑の区域は、同様の緑の区域の近隣の位置にある傾向がある。イントラ予測
は、複数の方向性予測モード(たとえば、HEVCにおいては33個)、平面モード、および直流
(DC)モードを使用する。方向性モードは、現在のブロックが対応する方向の近隣のブロッ
クのサンプルと同様/同じであることを示す。平面モードは、行/列に沿った一連のブロッ
ク(たとえば、平面)が、行の端の近隣のブロックに基づいて補間され得ることを示す。実
際に、平面モードは、変化する値の比較的一定の勾配を使用することによって行/列間の
光/色の滑らかな遷移を示す。DCモードは、境界の平滑化のために使用され、ブロックが
方向性予測モードの角度方向に関連するすべての近隣のブロックのサンプルに関連する平
均値と同様/同じであることを示す。したがって、イントラ予測ブロックは、画像ブロッ
クを実際の値の代わりに様々な関係予測モードの値として表し得る。さらに、インター予
測ブロックは、画像ブロックを実際の値の代わりに動きベクトルの値として表し得る。ど
ちらにせよ、予測ブロックは、場合によっては画像ブロックを正確に表さない可能性があ
る。すべての差が、残差ブロックに記憶される。ファイルをさらに圧縮するために、残差
ブロックに変換が適用されてもよい。
分およびクロマ成分がフレーム内で塊になる傾向があるという事実を利用する。たとえば
、木の一部の緑の区域は、同様の緑の区域の近隣の位置にある傾向がある。イントラ予測
は、複数の方向性予測モード(たとえば、HEVCにおいては33個)、平面モード、および直流
(DC)モードを使用する。方向性モードは、現在のブロックが対応する方向の近隣のブロッ
クのサンプルと同様/同じであることを示す。平面モードは、行/列に沿った一連のブロッ
ク(たとえば、平面)が、行の端の近隣のブロックに基づいて補間され得ることを示す。実
際に、平面モードは、変化する値の比較的一定の勾配を使用することによって行/列間の
光/色の滑らかな遷移を示す。DCモードは、境界の平滑化のために使用され、ブロックが
方向性予測モードの角度方向に関連するすべての近隣のブロックのサンプルに関連する平
均値と同様/同じであることを示す。したがって、イントラ予測ブロックは、画像ブロッ
クを実際の値の代わりに様々な関係予測モードの値として表し得る。さらに、インター予
測ブロックは、画像ブロックを実際の値の代わりに動きベクトルの値として表し得る。ど
ちらにせよ、予測ブロックは、場合によっては画像ブロックを正確に表さない可能性があ
る。すべての差が、残差ブロックに記憶される。ファイルをさらに圧縮するために、残差
ブロックに変換が適用されてもよい。
【0046】
ステップ107において、様々なフィルタリング技術が、適用されてもよい。HEVCにおい
ては、フィルタが、ループ内フィルタリング方式によって適用される。上で検討されたブ
ロックに基づく予測は、デコーダにおいてブロックノイズのある画像の生成をもたらして
もよい。さらに、ブロックに基づく予測方式は、ブロックを符号化し、次いで、符号化さ
れたブロックを参照ブロックとして後で使用するために再構築してもよい。ループ内フィ
ルタリング方式は、ノイズ抑制フィルタ、デブロッキングフィルタ、適応ループフィルタ
、およびサンプル適応オフセット(SAO)フィルタをブロック/フレームに反復的に適用する
。これらのフィルタは、符号化されたファイルが正確に再構築され得るようにそのような
ブロッキングアーティファクトを軽減する。さらに、これらのフィルタは、アーティファ
クトが再構築された参照ブロックに基づいて符号化される後続のブロックにおいてさらな
るアーティファクトを生じる可能性がより低くなるように、再構築された参照ブロック内
のアーティファクトを軽減する。
ては、フィルタが、ループ内フィルタリング方式によって適用される。上で検討されたブ
ロックに基づく予測は、デコーダにおいてブロックノイズのある画像の生成をもたらして
もよい。さらに、ブロックに基づく予測方式は、ブロックを符号化し、次いで、符号化さ
れたブロックを参照ブロックとして後で使用するために再構築してもよい。ループ内フィ
ルタリング方式は、ノイズ抑制フィルタ、デブロッキングフィルタ、適応ループフィルタ
、およびサンプル適応オフセット(SAO)フィルタをブロック/フレームに反復的に適用する
。これらのフィルタは、符号化されたファイルが正確に再構築され得るようにそのような
ブロッキングアーティファクトを軽減する。さらに、これらのフィルタは、アーティファ
クトが再構築された参照ブロックに基づいて符号化される後続のブロックにおいてさらな
るアーティファクトを生じる可能性がより低くなるように、再構築された参照ブロック内
のアーティファクトを軽減する。
【0047】
ビデオ信号が区分けされ、圧縮され、フィルタリングされると、結果として得られるデ
ータが、ステップ109においてビットストリームに符号化される。ビットストリームは、
上で検討されたデータと、デコーダにおいて適切なビデオ信号の再構築をサポートするた
めに望ましい任意のシグナリングデータとを含む。たとえば、そのようなデータは、区画
データ、予測データ、残差ブロック、およびデコーダにコーディングの命令を与える様々
なフラグを含んでもよい。ビットストリームは、要求に応じてデコーダに送信するために
メモリに記憶されてもよい。ビットストリームはまた、複数のデコーダにブロードキャス
トおよび/またはマルチキャストされてもよい。ビットストリームの生成は、反復的なプ
ロセスである。したがって、ステップ101、103、105、107、および109は、多くのフレー
ムおよびブロックにわたって継続的におよび/または同時に行われてもよい。図1に示され
た順序は、検討の明瞭さおよび容易さのために提示されており、ビデオコーディングプロ
セスを特定の順序に限定するように意図されていない。
ータが、ステップ109においてビットストリームに符号化される。ビットストリームは、
上で検討されたデータと、デコーダにおいて適切なビデオ信号の再構築をサポートするた
めに望ましい任意のシグナリングデータとを含む。たとえば、そのようなデータは、区画
データ、予測データ、残差ブロック、およびデコーダにコーディングの命令を与える様々
なフラグを含んでもよい。ビットストリームは、要求に応じてデコーダに送信するために
メモリに記憶されてもよい。ビットストリームはまた、複数のデコーダにブロードキャス
トおよび/またはマルチキャストされてもよい。ビットストリームの生成は、反復的なプ
ロセスである。したがって、ステップ101、103、105、107、および109は、多くのフレー
ムおよびブロックにわたって継続的におよび/または同時に行われてもよい。図1に示され
た順序は、検討の明瞭さおよび容易さのために提示されており、ビデオコーディングプロ
セスを特定の順序に限定するように意図されていない。
【0048】
デコーダは、ビットストリームを受信し、ステップ111において復号プロセスを開始す
る。特に、デコーダは、エントロピー復号方式を使用して、ビットストリームを対応する
シンタックスおよびビデオデータに変換する。デコーダは、ステップ111において、ビッ
トストリームからのシンタックスデータを使用してフレームに関する区画を決定する。区
分けは、ステップ103におけるブロックの区分けの結果と一致するべきである。ステップ1
11において使用されるエントロピーコーディング/復号が、以降で説明される。エンコー
ダは、入力画像内の値の空間的な位置取りに基づいていくつかの可能な選択肢からブロッ
ク区分け方式を選択するなど、圧縮プロセス中に多くの選択を行う。厳密にそのままの選
択をシグナリングすることは、多数のビンを使用してもよい。本明細書において使用され
るとき、ビンは、変数として扱われる2進値(たとえば、状況に応じて変わってもよいビッ
ト値)である。エントロピーコーディングは、エンコーダが特定の場合に明らかにうまく
いかないすべての選択肢を破棄し、許容可能な選択肢の組を残すことを可能にする。次い
で、それぞれの許容可能な選択肢は、コードワードを割り当てられる。コードワードの長
さは、許容可能な選択肢の数に基づく(たとえば、2つの選択肢のために1つのビン、4つの
選択肢のために2つのビンなど)。次いで、エンコーダは、選択された選択肢に関するコー
ドワードを符号化する。この方式は、コードワードが、すべての可能な選択肢の潜在的に
大きな組からの選択を一意に示すのとは対照的に許容可能な選択肢の小さなサブセットか
らの選択を一意に示すために望ましいだけの大きさであるので、コードワードのサイズを
削減する。次いで、デコーダは、エンコーダと同様にして許容可能な選択肢の組を決定す
ることによって選択を復号する。許容可能な選択肢の組を決定することによって、デコー
ダは、コードワードを読み、エンコーダによってなされた選択を決定することができる。
る。特に、デコーダは、エントロピー復号方式を使用して、ビットストリームを対応する
シンタックスおよびビデオデータに変換する。デコーダは、ステップ111において、ビッ
トストリームからのシンタックスデータを使用してフレームに関する区画を決定する。区
分けは、ステップ103におけるブロックの区分けの結果と一致するべきである。ステップ1
11において使用されるエントロピーコーディング/復号が、以降で説明される。エンコー
ダは、入力画像内の値の空間的な位置取りに基づいていくつかの可能な選択肢からブロッ
ク区分け方式を選択するなど、圧縮プロセス中に多くの選択を行う。厳密にそのままの選
択をシグナリングすることは、多数のビンを使用してもよい。本明細書において使用され
るとき、ビンは、変数として扱われる2進値(たとえば、状況に応じて変わってもよいビッ
ト値)である。エントロピーコーディングは、エンコーダが特定の場合に明らかにうまく
いかないすべての選択肢を破棄し、許容可能な選択肢の組を残すことを可能にする。次い
で、それぞれの許容可能な選択肢は、コードワードを割り当てられる。コードワードの長
さは、許容可能な選択肢の数に基づく(たとえば、2つの選択肢のために1つのビン、4つの
選択肢のために2つのビンなど)。次いで、エンコーダは、選択された選択肢に関するコー
ドワードを符号化する。この方式は、コードワードが、すべての可能な選択肢の潜在的に
大きな組からの選択を一意に示すのとは対照的に許容可能な選択肢の小さなサブセットか
らの選択を一意に示すために望ましいだけの大きさであるので、コードワードのサイズを
削減する。次いで、デコーダは、エンコーダと同様にして許容可能な選択肢の組を決定す
ることによって選択を復号する。許容可能な選択肢の組を決定することによって、デコー
ダは、コードワードを読み、エンコーダによってなされた選択を決定することができる。
【0049】
ステップ113において、デコーダが、ブロックの復号を実行する。特に、デコーダは、
逆変換を使用して残差ブロックを生成する。次いで、デコーダは、残差ブロックおよび対
応する予測ブロックを使用して、区分けに従って画像ブロックを再構築する。予測ブロッ
クは、ステップ105においてエンコーダで生成されたイントラ予測ブロックとインター予
測ブロックとの両方を含んでもよい。次いで、再構築された画像ブロックは、ステップ11
1において決定された区分けデータに従って再構築されたビデオ信号のフレーム内に位置
付けられる。ステップ113のためのシンタックスも、上で検討されたエントロピーコーデ
ィングによってビットストリーム内でシグナリングされてもよい。
逆変換を使用して残差ブロックを生成する。次いで、デコーダは、残差ブロックおよび対
応する予測ブロックを使用して、区分けに従って画像ブロックを再構築する。予測ブロッ
クは、ステップ105においてエンコーダで生成されたイントラ予測ブロックとインター予
測ブロックとの両方を含んでもよい。次いで、再構築された画像ブロックは、ステップ11
1において決定された区分けデータに従って再構築されたビデオ信号のフレーム内に位置
付けられる。ステップ113のためのシンタックスも、上で検討されたエントロピーコーデ
ィングによってビットストリーム内でシグナリングされてもよい。
【0050】
ステップ115において、エンコーダのステップ107と同様にして、再構築されたビデオ信
号のフレームに対してフィルタリングが実行される。たとえば、ノイズ抑制フィルタ、デ
ブロッキングフィルタ、適応ループフィルタ、およびSAOフィルタが、ブロッキングアー
ティファクトを取り除くためにフレームに適用されてもよい。フレームがフィルタリング
されると、ビデオ信号が、エンドユーザによる視聴のためにステップ117においてディス
プレイに出力され得る。
号のフレームに対してフィルタリングが実行される。たとえば、ノイズ抑制フィルタ、デ
ブロッキングフィルタ、適応ループフィルタ、およびSAOフィルタが、ブロッキングアー
ティファクトを取り除くためにフレームに適用されてもよい。フレームがフィルタリング
されると、ビデオ信号が、エンドユーザによる視聴のためにステップ117においてディス
プレイに出力され得る。
【0051】
図2は、ビデオコーディングのための例示的なコーディングおよび復号(コーデック)シ
ステム200の概略図である。特に、コーデックシステム200は、動作方法100の実装をサポ
ートするための機能を提供する。コーデックシステム200は、エンコーダとデコーダとの
両方において使用される構成要素を描くように一般化される。コーデックシステム200は
、動作方法100のステップ101および103に関連して検討されたようにビデオ信号を受信し
、区分けし、その結果、区分けされたビデオ信号201を生じる。次いで、コーデックシス
テム200は、方法100のステップ105、107、および109に関連して検討されたように、エン
コーダとして働くとき、区分けされたビデオ信号201をコーディングされたビットストリ
ームへと圧縮する。デコーダとして働くとき、コーデックシステム200は、動作方法100の
ステップ111、113、115、および117に関連して検討されたように、ビットストリームから
出力ビデオ信号を生成する。コーデックシステム200は、全般的コーダ制御構成要素211、
変換・スケーリングおよび量子化構成要素213、イントラピクチャ推定構成要素215、イン
トラピクチャ予測構成要素217、動き補償構成要素219、動き推定構成要素221、スケーリ
ングおよび逆変換構成要素229、フィルタ制御分析構成要素227、ループ内フィルタ構成要
素225、復号ピクチャバッファ構成要素223、ならびにヘッダフォーマットおよびコンテキ
スト適応2値算術コーディング(CABAC: context adaptive binary arithmetic coding)構
成要素231を含む。そのような構成要素が、示されるように結合される。図2において、黒
い線は、符号化される/復号されるデータの動きを示し、一方、破線は、その他の構成要
素の動作を制御する制御データの動きを示す。コーデックシステム200の構成要素は、エ
ンコーダにすべて存在してもよい。デコーダは、コーデックシステム200の構成要素のサ
ブセットを含んでもよい。たとえば、デコーダは、イントラピクチャ予測構成要素217、
動き補償構成要素219、スケーリングおよび逆変換構成要素229、ループ内フィルタ構成要
素225、ならびに復号ピクチャバッファ構成要素223を含んでもよい。これらの構成要素が
、以降で説明される。
ステム200の概略図である。特に、コーデックシステム200は、動作方法100の実装をサポ
ートするための機能を提供する。コーデックシステム200は、エンコーダとデコーダとの
両方において使用される構成要素を描くように一般化される。コーデックシステム200は
、動作方法100のステップ101および103に関連して検討されたようにビデオ信号を受信し
、区分けし、その結果、区分けされたビデオ信号201を生じる。次いで、コーデックシス
テム200は、方法100のステップ105、107、および109に関連して検討されたように、エン
コーダとして働くとき、区分けされたビデオ信号201をコーディングされたビットストリ
ームへと圧縮する。デコーダとして働くとき、コーデックシステム200は、動作方法100の
ステップ111、113、115、および117に関連して検討されたように、ビットストリームから
出力ビデオ信号を生成する。コーデックシステム200は、全般的コーダ制御構成要素211、
変換・スケーリングおよび量子化構成要素213、イントラピクチャ推定構成要素215、イン
トラピクチャ予測構成要素217、動き補償構成要素219、動き推定構成要素221、スケーリ
ングおよび逆変換構成要素229、フィルタ制御分析構成要素227、ループ内フィルタ構成要
素225、復号ピクチャバッファ構成要素223、ならびにヘッダフォーマットおよびコンテキ
スト適応2値算術コーディング(CABAC: context adaptive binary arithmetic coding)構
成要素231を含む。そのような構成要素が、示されるように結合される。図2において、黒
い線は、符号化される/復号されるデータの動きを示し、一方、破線は、その他の構成要
素の動作を制御する制御データの動きを示す。コーデックシステム200の構成要素は、エ
ンコーダにすべて存在してもよい。デコーダは、コーデックシステム200の構成要素のサ
ブセットを含んでもよい。たとえば、デコーダは、イントラピクチャ予測構成要素217、
動き補償構成要素219、スケーリングおよび逆変換構成要素229、ループ内フィルタ構成要
素225、ならびに復号ピクチャバッファ構成要素223を含んでもよい。これらの構成要素が
、以降で説明される。
【0052】
区分けされたビデオ信号201は、コーディングツリーによってピクセルのブロックに区
分けされたキャプチャされたビデオシーケンスである。コーディングツリーは、様々な分
割モードを使用してピクセルのブロックをピクセルのより小さなブロックに下位分割する
。次いで、これらのブロックは、より小さなブロックに下位分割され得る。ブロックは、
コーディングツリーのノードと呼ばれてもよい。より大きな親ノードが、より小さな子ノ
ードに分割される。ノードが下位分割される回数は、ノード/コーディングツリーの深さ
と呼ばれる。分割されたブロックは、場合によってはコーディングユニット(CU)に含まれ
得る。たとえば、CUは、ルマブロック、赤色差(red difference chroma)(Cr)ブロック、
および青色差(blue difference chroma)(Cb)ブロックをCUに関する対応するシンタックス
命令とともに含むCTUの下位部分であり得る。分割モードは、使用される分割モードに応
じて変化する形状の2つ、3つ、または4つの子ノードにノードをそれぞれ区分けするため
に使用される二分木(BT)、三分木(TT)、および四分木(QT)を含んでもよい。区分けされた
ビデオ信号201は、圧縮のために全般的コーダ制御構成要素211、変換・スケーリングおよ
び量子化構成要素213、イントラピクチャ推定構成要素215、フィルタ制御分析構成要素22
7、ならびに動き推定構成要素221に転送される。
分けされたキャプチャされたビデオシーケンスである。コーディングツリーは、様々な分
割モードを使用してピクセルのブロックをピクセルのより小さなブロックに下位分割する
。次いで、これらのブロックは、より小さなブロックに下位分割され得る。ブロックは、
コーディングツリーのノードと呼ばれてもよい。より大きな親ノードが、より小さな子ノ
ードに分割される。ノードが下位分割される回数は、ノード/コーディングツリーの深さ
と呼ばれる。分割されたブロックは、場合によってはコーディングユニット(CU)に含まれ
得る。たとえば、CUは、ルマブロック、赤色差(red difference chroma)(Cr)ブロック、
および青色差(blue difference chroma)(Cb)ブロックをCUに関する対応するシンタックス
命令とともに含むCTUの下位部分であり得る。分割モードは、使用される分割モードに応
じて変化する形状の2つ、3つ、または4つの子ノードにノードをそれぞれ区分けするため
に使用される二分木(BT)、三分木(TT)、および四分木(QT)を含んでもよい。区分けされた
ビデオ信号201は、圧縮のために全般的コーダ制御構成要素211、変換・スケーリングおよ
び量子化構成要素213、イントラピクチャ推定構成要素215、フィルタ制御分析構成要素22
7、ならびに動き推定構成要素221に転送される。
【0053】
全般的コーダ制御構成要素211は、応用の制約に従ってビットストリームへのビデオシ
ーケンスの画像のコーディングに関連する判断を行うように構成される。たとえば、全般
的コーダ制御構成要素211は、ビットレート/ビットストリームサイズ対再構築の品質の最
適化を管理する。そのような判断は、ストレージ空間/帯域幅の可用性および画像解像度
の要求に基づいてなされてもよい。また、全般的コーダ制御構成要素211は、バッファア
ンダーランおよびオーバーランの問題を軽減するために、送信速度を踏まえてバッファの
利用を管理する。これらの問題を管理するために、全般的コーダ制御構成要素211は、そ
の他の構成要素による区分け、予測、およびフィルタリングを管理する。たとえば、全般
的コーダ制御構成要素211は、解像度を上げ、帯域幅の使用を増やすために圧縮の複雑さ
を動的に高くするか、または解像度を下げ、帯域幅の使用を減らすために圧縮の複雑さを
動的に低くしてもよい。したがって、全般的コーダ制御構成要素211は、ビデオ信号の再
構築の品質とビットレートの懸念との釣り合いを取るためにコーデックシステム200のそ
の他の構成要素を制御する。全般的コーダ制御構成要素211は、その他の構成要素の動作
を制御する制御データを生成する。制御データも、デコーダにおける復号のためのパラメ
ータをシグナリングするためにビットストリームに符号化されるようにヘッダフォーマッ
トおよびCABAC構成要素231に転送される。
ーケンスの画像のコーディングに関連する判断を行うように構成される。たとえば、全般
的コーダ制御構成要素211は、ビットレート/ビットストリームサイズ対再構築の品質の最
適化を管理する。そのような判断は、ストレージ空間/帯域幅の可用性および画像解像度
の要求に基づいてなされてもよい。また、全般的コーダ制御構成要素211は、バッファア
ンダーランおよびオーバーランの問題を軽減するために、送信速度を踏まえてバッファの
利用を管理する。これらの問題を管理するために、全般的コーダ制御構成要素211は、そ
の他の構成要素による区分け、予測、およびフィルタリングを管理する。たとえば、全般
的コーダ制御構成要素211は、解像度を上げ、帯域幅の使用を増やすために圧縮の複雑さ
を動的に高くするか、または解像度を下げ、帯域幅の使用を減らすために圧縮の複雑さを
動的に低くしてもよい。したがって、全般的コーダ制御構成要素211は、ビデオ信号の再
構築の品質とビットレートの懸念との釣り合いを取るためにコーデックシステム200のそ
の他の構成要素を制御する。全般的コーダ制御構成要素211は、その他の構成要素の動作
を制御する制御データを生成する。制御データも、デコーダにおける復号のためのパラメ
ータをシグナリングするためにビットストリームに符号化されるようにヘッダフォーマッ
トおよびCABAC構成要素231に転送される。
【0054】
区分けされたビデオ信号201は、インター予測のために動き推定構成要素221および動き
補償構成要素219にも送信される。区分けされたビデオ信号201のフレームまたはスライス
は、複数のビデオブロックに分割されてもよい。動き推定構成要素221および動き補償構
成要素219は、時間予測を提供するために1つ以上の参照フレーム内の1つ以上のブロック
に対する受信されたビデオブロックのインター予測コーディングを実行する。コーデック
システム200は、たとえば、ビデオデータの各ブロックに関する適切なコーディングモー
ドを選択するために複数のコーディングパス(coding pass)を実行してもよい。
補償構成要素219にも送信される。区分けされたビデオ信号201のフレームまたはスライス
は、複数のビデオブロックに分割されてもよい。動き推定構成要素221および動き補償構
成要素219は、時間予測を提供するために1つ以上の参照フレーム内の1つ以上のブロック
に対する受信されたビデオブロックのインター予測コーディングを実行する。コーデック
システム200は、たとえば、ビデオデータの各ブロックに関する適切なコーディングモー
ドを選択するために複数のコーディングパス(coding pass)を実行してもよい。
【0055】
動き推定構成要素221および動き補償構成要素219は、高度に一体化されてもよいが、概
念的な目的のために別々に示される。動き推定構成要素221によって実行される動き推定
は、ビデオブロックに関する動きを推定する動きベクトルを生成するプロセスである。動
きベクトルは、たとえば、予測ブロックに対するコーディングされるオブジェクトの変位
を示してもよい。予測ブロックは、ピクセルの差の観点でコーディングされるブロックに
よく一致することが分かっているブロックである。予測ブロックは、参照ブロックとも呼
ばれてもよい。そのようなピクセルの差は、差分絶対値和(SAD)、差分二乗和(SSD)、また
はその他の差の測定基準によって決定されてもよい。HEVCは、CTU、コーディングツリー
ブロック(CTB)、およびCUを含むいくつかのコーディングされるオブジェクトを使用する
。たとえば、CTUが、CTBに分割されることが可能であり、次いで、CTBが、CUに含めるた
めにCBに分割されることが可能である。CUは、CUのための予測データを含む予測ユニット
(PU)および/または変換された残差データを含む変換ユニット(TU)として符号化され得る
。動き推定構成要素221は、レート歪み最適化プロセスの一部としてレート歪み分析を使
用することによって動きベクトル、PU、およびTUを生成する。たとえば、動き推定構成要
素221は、現在のブロック/フレームに関する複数の参照ブロック、複数の動きベクトルな
どを決定してもよく、最良のレート歪みの特性を有する参照ブロック、動きベクトルなど
を選択してもよい。最良のレート歪みの特性は、ビデオの再構築の品質(たとえば、圧縮
によるデータ損失の量)とコーディング効率(たとえば、最終的な符号化のサイズ)との両
方の釣り合いを取る。
念的な目的のために別々に示される。動き推定構成要素221によって実行される動き推定
は、ビデオブロックに関する動きを推定する動きベクトルを生成するプロセスである。動
きベクトルは、たとえば、予測ブロックに対するコーディングされるオブジェクトの変位
を示してもよい。予測ブロックは、ピクセルの差の観点でコーディングされるブロックに
よく一致することが分かっているブロックである。予測ブロックは、参照ブロックとも呼
ばれてもよい。そのようなピクセルの差は、差分絶対値和(SAD)、差分二乗和(SSD)、また
はその他の差の測定基準によって決定されてもよい。HEVCは、CTU、コーディングツリー
ブロック(CTB)、およびCUを含むいくつかのコーディングされるオブジェクトを使用する
。たとえば、CTUが、CTBに分割されることが可能であり、次いで、CTBが、CUに含めるた
めにCBに分割されることが可能である。CUは、CUのための予測データを含む予測ユニット
(PU)および/または変換された残差データを含む変換ユニット(TU)として符号化され得る
。動き推定構成要素221は、レート歪み最適化プロセスの一部としてレート歪み分析を使
用することによって動きベクトル、PU、およびTUを生成する。たとえば、動き推定構成要
素221は、現在のブロック/フレームに関する複数の参照ブロック、複数の動きベクトルな
どを決定してもよく、最良のレート歪みの特性を有する参照ブロック、動きベクトルなど
を選択してもよい。最良のレート歪みの特性は、ビデオの再構築の品質(たとえば、圧縮
によるデータ損失の量)とコーディング効率(たとえば、最終的な符号化のサイズ)との両
方の釣り合いを取る。
【0056】
一部の例において、コーデックシステム200は、復号ピクチャバッファ構成要素223に記
憶された参照ピクチャの整数よりも細かいピクセル位置の値を計算してもよい。たとえば
、ビデオコーデックシステム200は、参照ピクチャの4分の1ピクセル位置、8分の1ピクセ
ル位置、またはその他の分数ピクセル(fractional pixel)位置の値を補間してもよい。し
たがって、動き推定構成要素221は、フルピクセル(full pixel)位置および分数ピクセル
位置に関連する動き探索を実行し、分数ピクセルの精度で動きベクトルを出力してもよい
。動き推定構成要素221は、PUの位置を参照ピクチャの予測ブロックの位置と比較するこ
とによってインターコーディングされるスライス内のビデオブロックのPUに関する動きベ
クトルを計算する。動き推定構成要素221は、計算された動きベクトルを符号化のために
ヘッダフォーマットおよびCABAC構成要素231に動きデータとして出力し、動きを動き補償
構成要素219に出力する。
憶された参照ピクチャの整数よりも細かいピクセル位置の値を計算してもよい。たとえば
、ビデオコーデックシステム200は、参照ピクチャの4分の1ピクセル位置、8分の1ピクセ
ル位置、またはその他の分数ピクセル(fractional pixel)位置の値を補間してもよい。し
たがって、動き推定構成要素221は、フルピクセル(full pixel)位置および分数ピクセル
位置に関連する動き探索を実行し、分数ピクセルの精度で動きベクトルを出力してもよい
。動き推定構成要素221は、PUの位置を参照ピクチャの予測ブロックの位置と比較するこ
とによってインターコーディングされるスライス内のビデオブロックのPUに関する動きベ
クトルを計算する。動き推定構成要素221は、計算された動きベクトルを符号化のために
ヘッダフォーマットおよびCABAC構成要素231に動きデータとして出力し、動きを動き補償
構成要素219に出力する。
【0057】
動き補償構成要素219によって実行される動き補償は、動き推定構成要素221によって決
定された動きベクトルに基づいて予測ブロックを取り出すことまたは生成することを含ん
でもよい。やはり、動き推定構成要素221および動き補償構成要素219は、一部の例におい
て、機能的に統合されてもよい。現在のビデオブロックのPUに関する動きベクトルを受信
すると、動き補償構成要素219は、動きベクトルが指す予測ブロックを見つけてもよい。
次いで、コーディングされている現在のビデオブロックのピクセル値から予測ブロックの
ピクセル値を引き、ピクセル差分値を形成することによって残差ビデオブロックが形成さ
れる。概して、動き推定構成要素221は、ルマ成分に関連する動き推定を実行し、動き補
償構成要素219は、クロマ成分とルマ成分との両方のためにルマ成分に基づいて計算され
た動きベクトルを使用する。予測ブロックおよび残差ブロックは、変換・スケーリングお
よび量子化構成要素213に転送される。
定された動きベクトルに基づいて予測ブロックを取り出すことまたは生成することを含ん
でもよい。やはり、動き推定構成要素221および動き補償構成要素219は、一部の例におい
て、機能的に統合されてもよい。現在のビデオブロックのPUに関する動きベクトルを受信
すると、動き補償構成要素219は、動きベクトルが指す予測ブロックを見つけてもよい。
次いで、コーディングされている現在のビデオブロックのピクセル値から予測ブロックの
ピクセル値を引き、ピクセル差分値を形成することによって残差ビデオブロックが形成さ
れる。概して、動き推定構成要素221は、ルマ成分に関連する動き推定を実行し、動き補
償構成要素219は、クロマ成分とルマ成分との両方のためにルマ成分に基づいて計算され
た動きベクトルを使用する。予測ブロックおよび残差ブロックは、変換・スケーリングお
よび量子化構成要素213に転送される。
【0058】
区分けされたビデオ信号201は、イントラピクチャ推定構成要素215およびイントラピク
チャ予測構成要素217にも送信される。動き推定構成要素221および動き補償構成要素219
と同様に、イントラピクチャ推定構成要素215およびイントラピクチャ予測構成要素217は
、高度に一体化されてもよいが、概念的な目的のために別々に示される。イントラピクチ
ャ推定構成要素215およびイントラピクチャ予測構成要素217は、上述のようにフレーム間
で動き推定構成要素221および動き補償構成要素219によって実行されるインター予測の代
替として現在のフレーム内のブロックに対して現在のブロックをイントラ予測する。特に
、イントラピクチャ推定構成要素215は、現在のブロックを符号化するために使用するイ
ントラ予測モードを決定する。一部の例において、イントラピクチャ推定構成要素215は
、複数のテストされたイントラ予測モードから現在のブロックを符号化するための適切な
イントラ予測モードを選択する。次いで、選択されたイントラ予測モードは、符号化のた
めにヘッダフォーマットおよびCABAC構成要素231に転送される。
チャ予測構成要素217にも送信される。動き推定構成要素221および動き補償構成要素219
と同様に、イントラピクチャ推定構成要素215およびイントラピクチャ予測構成要素217は
、高度に一体化されてもよいが、概念的な目的のために別々に示される。イントラピクチ
ャ推定構成要素215およびイントラピクチャ予測構成要素217は、上述のようにフレーム間
で動き推定構成要素221および動き補償構成要素219によって実行されるインター予測の代
替として現在のフレーム内のブロックに対して現在のブロックをイントラ予測する。特に
、イントラピクチャ推定構成要素215は、現在のブロックを符号化するために使用するイ
ントラ予測モードを決定する。一部の例において、イントラピクチャ推定構成要素215は
、複数のテストされたイントラ予測モードから現在のブロックを符号化するための適切な
イントラ予測モードを選択する。次いで、選択されたイントラ予測モードは、符号化のた
めにヘッダフォーマットおよびCABAC構成要素231に転送される。
【0059】
たとえば、イントラピクチャ推定構成要素215は、様々なテストされたイントラ予測モ
ードに関するレート歪み分析を使用してレート歪み値を計算し、テストされたモードの中
で最良のレート歪みの特性を有するイントラ予測モードを選択する。レート歪み分析は、
概して、符号化されたブロックと、符号化されたブロックを生成するために符号化された
元の符号化されていないブロックとの間の歪み(または誤差)の量と、符号化されたブロッ
クを生成するために使用されたビットレート(たとえば、ビット数)とを決定する。イント
ラピクチャ推定構成要素215は、どのイントラ予測モードがブロックに関して最良のレー
ト歪み値を示すかを判定するために、様々な符号化されたブロックに関する歪みおよびレ
ートから比率を計算する。さらに、イントラピクチャ推定構成要素215は、レート歪み最
適化(RDO)に基づいて深度モデリングモード(DMM)を使用して深度マップの深度ブロックを
コーディングするように構成されてもよい。
ードに関するレート歪み分析を使用してレート歪み値を計算し、テストされたモードの中
で最良のレート歪みの特性を有するイントラ予測モードを選択する。レート歪み分析は、
概して、符号化されたブロックと、符号化されたブロックを生成するために符号化された
元の符号化されていないブロックとの間の歪み(または誤差)の量と、符号化されたブロッ
クを生成するために使用されたビットレート(たとえば、ビット数)とを決定する。イント
ラピクチャ推定構成要素215は、どのイントラ予測モードがブロックに関して最良のレー
ト歪み値を示すかを判定するために、様々な符号化されたブロックに関する歪みおよびレ
ートから比率を計算する。さらに、イントラピクチャ推定構成要素215は、レート歪み最
適化(RDO)に基づいて深度モデリングモード(DMM)を使用して深度マップの深度ブロックを
コーディングするように構成されてもよい。
【0060】
イントラピクチャ予測構成要素217は、エンコーダに実装されるとき、イントラピクチ
ャ推定構成要素215によって決定された選択されたイントラ予測モードに基づいて予測ブ
ロックから残差ブロックを生成し、またはデコーダに実装されるとき、ビットストリーム
から残差ブロックを読んでもよい。残差ブロックは、行列として表された、予測ブロック
と元のブロックとの間の値の差を含む。次いで、残差ブロックは、変換・スケーリングお
よび量子化構成要素213に転送される。イントラピクチャ推定構成要素215およびイントラ
ピクチャ予測構成要素217は、ルマ成分とクロマ成分との両方に対して動作してもよい。
ャ推定構成要素215によって決定された選択されたイントラ予測モードに基づいて予測ブ
ロックから残差ブロックを生成し、またはデコーダに実装されるとき、ビットストリーム
から残差ブロックを読んでもよい。残差ブロックは、行列として表された、予測ブロック
と元のブロックとの間の値の差を含む。次いで、残差ブロックは、変換・スケーリングお
よび量子化構成要素213に転送される。イントラピクチャ推定構成要素215およびイントラ
ピクチャ予測構成要素217は、ルマ成分とクロマ成分との両方に対して動作してもよい。
【0061】
変換・スケーリングおよび量子化構成要素213は、残差ブロックをさらに圧縮するよう
に構成される。変換・スケーリングおよび量子化構成要素213は、残差ブロックに離散コ
サイン変換(DCT)、離散サイン変換(DST)、または似た概念の変換などの変換を適用し、残
差変換係数値を含むビデオブロックを生成する。ウェーブレット変換、整数変換、サブバ
ンド変換、またはその他の種類の変換も、使用され得る。変換は、残差情報をピクセル値
領域から周波数領域などの変換領域に変換してもよい。変換・スケーリングおよび量子化
構成要素213は、たとえば、周波数に基づいて変換された残差情報をスケーリングするよ
うにさらに構成される。そのようなスケーリングは、異なる周波数情報が異なる粒度で量
子化されるように残差情報にスケール因子を適用することを含み、これは、再構築された
ビデオの最終的な視覚的品質に影響を与えてもよい。変換・スケーリングおよび量子化構
成要素213は、ビットレートをさらに下げるために変換係数を量子化するようにさらに構
成される。量子化プロセスは、係数の一部またはすべてに関連するビット深度を削減して
もよい。量子化の度合いは、量子化パラメータを調整することによって修正されてもよい
。一部の例において、変換・スケーリングおよび量子化構成要素213は、次いで、量子化
された変換係数を含む行列のスキャンを実行してもよい。量子化された変換係数は、ビッ
トストリームに符号化するためにヘッダフォーマットおよびCABAC構成要素231に転送され
る。
に構成される。変換・スケーリングおよび量子化構成要素213は、残差ブロックに離散コ
サイン変換(DCT)、離散サイン変換(DST)、または似た概念の変換などの変換を適用し、残
差変換係数値を含むビデオブロックを生成する。ウェーブレット変換、整数変換、サブバ
ンド変換、またはその他の種類の変換も、使用され得る。変換は、残差情報をピクセル値
領域から周波数領域などの変換領域に変換してもよい。変換・スケーリングおよび量子化
構成要素213は、たとえば、周波数に基づいて変換された残差情報をスケーリングするよ
うにさらに構成される。そのようなスケーリングは、異なる周波数情報が異なる粒度で量
子化されるように残差情報にスケール因子を適用することを含み、これは、再構築された
ビデオの最終的な視覚的品質に影響を与えてもよい。変換・スケーリングおよび量子化構
成要素213は、ビットレートをさらに下げるために変換係数を量子化するようにさらに構
成される。量子化プロセスは、係数の一部またはすべてに関連するビット深度を削減して
もよい。量子化の度合いは、量子化パラメータを調整することによって修正されてもよい
。一部の例において、変換・スケーリングおよび量子化構成要素213は、次いで、量子化
された変換係数を含む行列のスキャンを実行してもよい。量子化された変換係数は、ビッ
トストリームに符号化するためにヘッダフォーマットおよびCABAC構成要素231に転送され
る。
【0062】
スケーリングおよび逆変換構成要素229は、動き推定をサポートするために変換・スケ
ーリングおよび量子化構成要素213の逆演算を適用する。スケーリングおよび逆変換構成
要素229は、たとえば、別の現在のブロックに関する予測ブロックになってもよい参照ブ
ロックとして後で使用するために、ピクセル領域の残差ブロックを再構築するために逆ス
ケーリング、逆変換、および/または逆量子化を適用する。動き推定構成要素221および/
または動き補償構成要素219は、後のブロック/フレームの動き推定において使用するため
に対応する予測ブロックに残差ブロックを足して戻すことによって参照ブロックを計算し
てもよい。スケーリング、量子化、および変換中に生じたアーティファクトを軽減するた
めに、再構築された参照ブロックにフィルタが適用される。そうでなければ、そのような
アーティファクトは、後続のブロックが予測されるときに不正確な予測をもたらす(およ
びさらなるアーティファクトを生じる)。
ーリングおよび量子化構成要素213の逆演算を適用する。スケーリングおよび逆変換構成
要素229は、たとえば、別の現在のブロックに関する予測ブロックになってもよい参照ブ
ロックとして後で使用するために、ピクセル領域の残差ブロックを再構築するために逆ス
ケーリング、逆変換、および/または逆量子化を適用する。動き推定構成要素221および/
または動き補償構成要素219は、後のブロック/フレームの動き推定において使用するため
に対応する予測ブロックに残差ブロックを足して戻すことによって参照ブロックを計算し
てもよい。スケーリング、量子化、および変換中に生じたアーティファクトを軽減するた
めに、再構築された参照ブロックにフィルタが適用される。そうでなければ、そのような
アーティファクトは、後続のブロックが予測されるときに不正確な予測をもたらす(およ
びさらなるアーティファクトを生じる)。
【0063】
フィルタ制御分析構成要素227およびループ内フィルタ構成要素225は、残差ブロックお
よび/または再構築された画像ブロックにフィルタを適用する。たとえば、スケーリング
および逆変換構成要素229からの変換された残差ブロックが、元の画像ブロックを再構築
するためにイントラピクチャ予測構成要素217および/または動き補償構成要素219からの
対応する予測ブロックと組み合わされてもよい。次いで、再構築された画像ブロックにフ
ィルタが適用されてもよい。一部の例において、フィルタは、その代わりに残差ブロック
に適用されてもよい。図2のその他の構成要素と同様に、フィルタ制御分析構成要素227お
よびループ内フィルタ構成要素225は、高度に一体化され、一緒に実装されてもよいが、
概念的な目的のために別々に示される。再構築された参照ブロックに適用されるフィルタ
は、特定の空間的な領域に適用され、そのようなフィルタがどのように適用されるかを調
整するための複数のパラメータを含む。フィルタ制御分析構成要素227は、そのようなフ
ィルタがどこに適用されるべきかを判定するために再構築された参照ブロックを分析し、
対応するパラメータを設定する。そのようなデータは、符号化のためにフィルタ制御デー
タとしてヘッダフォーマットおよびCABAC構成要素231に転送される。ループ内フィルタ構
成要素225は、フィルタ制御データに基づいてそのようなフィルタを適用する。フィルタ
は、デブロッキングフィルタ、ノイズ抑制フィルタ、SAOフィルタ、および適応ループフ
ィルタを含んでもよい。そのようなフィルタは、例に依存して、(たとえば、再構築され
たピクセルブロックに対して)空間/ピクセル領域において、または周波数領域において適
用されてもよい。
よび/または再構築された画像ブロックにフィルタを適用する。たとえば、スケーリング
および逆変換構成要素229からの変換された残差ブロックが、元の画像ブロックを再構築
するためにイントラピクチャ予測構成要素217および/または動き補償構成要素219からの
対応する予測ブロックと組み合わされてもよい。次いで、再構築された画像ブロックにフ
ィルタが適用されてもよい。一部の例において、フィルタは、その代わりに残差ブロック
に適用されてもよい。図2のその他の構成要素と同様に、フィルタ制御分析構成要素227お
よびループ内フィルタ構成要素225は、高度に一体化され、一緒に実装されてもよいが、
概念的な目的のために別々に示される。再構築された参照ブロックに適用されるフィルタ
は、特定の空間的な領域に適用され、そのようなフィルタがどのように適用されるかを調
整するための複数のパラメータを含む。フィルタ制御分析構成要素227は、そのようなフ
ィルタがどこに適用されるべきかを判定するために再構築された参照ブロックを分析し、
対応するパラメータを設定する。そのようなデータは、符号化のためにフィルタ制御デー
タとしてヘッダフォーマットおよびCABAC構成要素231に転送される。ループ内フィルタ構
成要素225は、フィルタ制御データに基づいてそのようなフィルタを適用する。フィルタ
は、デブロッキングフィルタ、ノイズ抑制フィルタ、SAOフィルタ、および適応ループフ
ィルタを含んでもよい。そのようなフィルタは、例に依存して、(たとえば、再構築され
たピクセルブロックに対して)空間/ピクセル領域において、または周波数領域において適
用されてもよい。
【0064】
エンコーダとして動作しているとき、フィルタリングされた再構築された画像ブロック
、残差ブロック、および/または予測ブロックは、上で検討されたように、動き推定にお
いて後で使用するために復号ピクチャバッファ構成要素223に記憶される。デコーダとし
て動作しているとき、復号ピクチャバッファ構成要素223は、再構築され、フィルタリン
グされたブロックを記憶し、出力ビデオ信号の一部としてディスプレイに転送する。復号
ピクチャバッファ構成要素223は、予測ブロック、残差ブロック、および/または再構築さ
れた画像ブロックを記憶することができる任意のメモリデバイスであってもよい。
、残差ブロック、および/または予測ブロックは、上で検討されたように、動き推定にお
いて後で使用するために復号ピクチャバッファ構成要素223に記憶される。デコーダとし
て動作しているとき、復号ピクチャバッファ構成要素223は、再構築され、フィルタリン
グされたブロックを記憶し、出力ビデオ信号の一部としてディスプレイに転送する。復号
ピクチャバッファ構成要素223は、予測ブロック、残差ブロック、および/または再構築さ
れた画像ブロックを記憶することができる任意のメモリデバイスであってもよい。
【0065】
ヘッダフォーマットおよびCABAC構成要素231は、コーデックシステム200の様々な構成
要素からデータを受信し、そのようなデータをデコーダに送信するためにコーディングさ
れたビットストリームに符号化する。特に、ヘッダフォーマットおよびCABAC構成要素231
は、全般的な制御データおよびフィルタ制御データなどの制御データを符号化するための
様々なヘッダを生成する。さらに、イントラ予測および動きデータを含む予測データなら
びに量子化された変換係数の形態の残差データは、すべてビットストリームに符号化され
る。最終的なビットストリームは、元の区分けされたビデオ信号201を再構築するために
デコーダによって望まれるすべての情報を含む。そのような情報は、イントラ予測モード
のインデックステーブル(コードワードマッピングテーブルとも呼ばれる)、様々なブロッ
クに関する符号化コンテキストの定義、最も可能性が高いイントラ予測モードのインジケ
ーション、区画情報のインジケーションなども含んでもよい。そのようなデータは、エン
トロピーコーディングを使用することによって符号化されてもよい。たとえば、情報は、
コンテキスト適応可変長コーディング(CAVLC: context adaptive variable length codin
g)、CABAC、シンタックスに基づくコンテキスト適応2値算術コーディング(SBAC: syntax-
based context-adaptive binary arithmetic coding)、確率間隔区分エントロピー(PIPE:
probability interval partitioning entropy) コーディング、または別のエントロピー
コーディング技術を使用して符号化されてもよい。エントロピーコーディングの後、コー
ディングされたビットストリームが、別のデバイス(たとえば、ビデオデコーダ)に送信さ
れるか、または後で送信するかもしくは取り出すためにアーカイブされてもよい。
要素からデータを受信し、そのようなデータをデコーダに送信するためにコーディングさ
れたビットストリームに符号化する。特に、ヘッダフォーマットおよびCABAC構成要素231
は、全般的な制御データおよびフィルタ制御データなどの制御データを符号化するための
様々なヘッダを生成する。さらに、イントラ予測および動きデータを含む予測データなら
びに量子化された変換係数の形態の残差データは、すべてビットストリームに符号化され
る。最終的なビットストリームは、元の区分けされたビデオ信号201を再構築するために
デコーダによって望まれるすべての情報を含む。そのような情報は、イントラ予測モード
のインデックステーブル(コードワードマッピングテーブルとも呼ばれる)、様々なブロッ
クに関する符号化コンテキストの定義、最も可能性が高いイントラ予測モードのインジケ
ーション、区画情報のインジケーションなども含んでもよい。そのようなデータは、エン
トロピーコーディングを使用することによって符号化されてもよい。たとえば、情報は、
コンテキスト適応可変長コーディング(CAVLC: context adaptive variable length codin
g)、CABAC、シンタックスに基づくコンテキスト適応2値算術コーディング(SBAC: syntax-
based context-adaptive binary arithmetic coding)、確率間隔区分エントロピー(PIPE:
probability interval partitioning entropy) コーディング、または別のエントロピー
コーディング技術を使用して符号化されてもよい。エントロピーコーディングの後、コー
ディングされたビットストリームが、別のデバイス(たとえば、ビデオデコーダ)に送信さ
れるか、または後で送信するかもしくは取り出すためにアーカイブされてもよい。
【0066】
図3は、例示的なビデオエンコーダ300を示すブロック図である。ビデオエンコーダ300
は、コーデックシステム200の符号化機能を実施する、ならびに/または動作方法100のス
テップ101、103、105、107、および/もしくは109を実施するために使用されてもよい。エ
ンコーダ300は、入力ビデオ信号を区分けし、区分けされたビデオ信号201と実質的に同様
である区分けされたビデオ信号301を生じる。次いで、区分けされたビデオ信号301は、エ
ンコーダ300の構成要素によって圧縮され、ビットストリームに符号化される。
は、コーデックシステム200の符号化機能を実施する、ならびに/または動作方法100のス
テップ101、103、105、107、および/もしくは109を実施するために使用されてもよい。エ
ンコーダ300は、入力ビデオ信号を区分けし、区分けされたビデオ信号201と実質的に同様
である区分けされたビデオ信号301を生じる。次いで、区分けされたビデオ信号301は、エ
ンコーダ300の構成要素によって圧縮され、ビットストリームに符号化される。
【0067】
特に、区分けされたビデオ信号301は、イントラ予測のためにイントラピクチャ予測構
成要素317に転送される。イントラピクチャ予測構成要素317は、イントラピクチャ推定構
成要素215およびイントラピクチャ予測構成要素217と実質的に同様であってもよい。区分
けされたビデオ信号301は、復号ピクチャバッファ構成要素323内の参照ブロックに基づく
インター予測のために動き補償構成要素321にも転送される。動き補償構成要素321は、動
き推定構成要素221および動き補償構成要素219と実質的に同様であってもよい。イントラ
ピクチャ予測構成要素317および動き補償構成要素321からの予測ブロックおよび残差ブロ
ックは、残差ブロックの変換および量子化のために変換および量子化構成要素313に転送
される。変換および量子化構成要素313は、変換・スケーリングおよび量子化構成要素213
と実質的に同様であってもよい。変換され、量子化された残差ブロックおよび対応する予
測ブロックは、ビットストリームにコーディングするためにエントロピーコーディング構
成要素331に(関連する制御データと一緒に)転送される。エントロピーコーディング構成
要素331は、ヘッダフォーマットおよびCABAC構成要素231と実質的に同様であってもよい
。
成要素317に転送される。イントラピクチャ予測構成要素317は、イントラピクチャ推定構
成要素215およびイントラピクチャ予測構成要素217と実質的に同様であってもよい。区分
けされたビデオ信号301は、復号ピクチャバッファ構成要素323内の参照ブロックに基づく
インター予測のために動き補償構成要素321にも転送される。動き補償構成要素321は、動
き推定構成要素221および動き補償構成要素219と実質的に同様であってもよい。イントラ
ピクチャ予測構成要素317および動き補償構成要素321からの予測ブロックおよび残差ブロ
ックは、残差ブロックの変換および量子化のために変換および量子化構成要素313に転送
される。変換および量子化構成要素313は、変換・スケーリングおよび量子化構成要素213
と実質的に同様であってもよい。変換され、量子化された残差ブロックおよび対応する予
測ブロックは、ビットストリームにコーディングするためにエントロピーコーディング構
成要素331に(関連する制御データと一緒に)転送される。エントロピーコーディング構成
要素331は、ヘッダフォーマットおよびCABAC構成要素231と実質的に同様であってもよい
。
【0068】
また、変換され、量子化された残差ブロックおよび/または対応する予測ブロックは、
動き補償構成要素321による使用のために参照ブロックに再構築するために変換および量
子化構成要素313から逆変換および量子化構成要素329に転送される。逆変換および量子化
構成要素329は、スケーリングおよび逆変換構成要素229と実質的に同様であってもよい。
ループ内フィルタ構成要素325のループ内フィルタが、例に依存して残差ブロックおよび/
または再構築された参照ブロックにやはり適用される。ループ内フィルタ構成要素325は
、フィルタ制御分析構成要素227およびループ内フィルタ構成要素225と実質的に同様であ
ってもよい。ループ内フィルタ構成要素325は、ループ内フィルタ構成要素225に関連して
検討されたように複数のフィルタを含んでもよい。次いで、フィルタリングされたブロッ
クが、動き補償構成要素321によって参照ブロックとして使用するために復号ピクチャバ
ッファ構成要素323に記憶される。復号ピクチャバッファ構成要素323は、復号ピクチャバ
ッファ構成要素223と実質的に同様であってもよい。
動き補償構成要素321による使用のために参照ブロックに再構築するために変換および量
子化構成要素313から逆変換および量子化構成要素329に転送される。逆変換および量子化
構成要素329は、スケーリングおよび逆変換構成要素229と実質的に同様であってもよい。
ループ内フィルタ構成要素325のループ内フィルタが、例に依存して残差ブロックおよび/
または再構築された参照ブロックにやはり適用される。ループ内フィルタ構成要素325は
、フィルタ制御分析構成要素227およびループ内フィルタ構成要素225と実質的に同様であ
ってもよい。ループ内フィルタ構成要素325は、ループ内フィルタ構成要素225に関連して
検討されたように複数のフィルタを含んでもよい。次いで、フィルタリングされたブロッ
クが、動き補償構成要素321によって参照ブロックとして使用するために復号ピクチャバ
ッファ構成要素323に記憶される。復号ピクチャバッファ構成要素323は、復号ピクチャバ
ッファ構成要素223と実質的に同様であってもよい。
【0069】
図4は、例示的なビデオデコーダ400を示すブロック図である。ビデオデコーダ400は、
コーデックシステム200の復号機能を実施する、ならびに/または動作方法100のステップ1
11、113、115、および/もしくは117を実施するために使用されてもよい。デコーダ400は
、たとえば、エンコーダ300からビットストリームを受信し、エンドユーザに対して表示
するためにビットストリームに基づいて再構築された出力ビデオ信号を生成する。
コーデックシステム200の復号機能を実施する、ならびに/または動作方法100のステップ1
11、113、115、および/もしくは117を実施するために使用されてもよい。デコーダ400は
、たとえば、エンコーダ300からビットストリームを受信し、エンドユーザに対して表示
するためにビットストリームに基づいて再構築された出力ビデオ信号を生成する。
【0070】
ビットストリームは、エントロピー復号構成要素433によって受信される。エントロピ
ー復号構成要素433は、CAVLC、CABAC、SBAC、PIPEコーディング、またはその他のエント
ロピーコーディング技術などのエントロピー復号方式を実施するように構成される。たと
えば、エントロピー復号構成要素433は、ビットストリームにコードワードとして符号化
されたさらなるデータを解釈するためのコンテキストを与えるためにヘッダ情報を使用し
てもよい。復号された情報は、全般的な制御データ、フィルタ制御データ、区画情報、動
きデータ、予測データ、および残差ブロックからの量子化された変換係数などの、ビデオ
信号を復号するための任意の所望の情報を含む。量子化された変換係数は、残差ブロック
への再構築のために逆変換および量子化構成要素429に転送される。逆変換および量子化
構成要素429は、逆変換および量子化構成要素329と同様であってもよい。
ー復号構成要素433は、CAVLC、CABAC、SBAC、PIPEコーディング、またはその他のエント
ロピーコーディング技術などのエントロピー復号方式を実施するように構成される。たと
えば、エントロピー復号構成要素433は、ビットストリームにコードワードとして符号化
されたさらなるデータを解釈するためのコンテキストを与えるためにヘッダ情報を使用し
てもよい。復号された情報は、全般的な制御データ、フィルタ制御データ、区画情報、動
きデータ、予測データ、および残差ブロックからの量子化された変換係数などの、ビデオ
信号を復号するための任意の所望の情報を含む。量子化された変換係数は、残差ブロック
への再構築のために逆変換および量子化構成要素429に転送される。逆変換および量子化
構成要素429は、逆変換および量子化構成要素329と同様であってもよい。
【0071】
再構築された残差ブロックおよび/または予測ブロックは、イントラ予測動作に基づい
て画像ブロックに再構築するためにイントラピクチャ予測構成要素417に転送される。イ
ントラピクチャ予測構成要素417は、イントラピクチャ推定構成要素215およびイントラピ
クチャ予測構成要素217と実質的に同様であってもよい。特に、イントラピクチャ予測構
成要素417は、予測モードを使用してフレーム内の参照ブロックを特定し、イントラ予測
された画像ブロックを再構築するために結果に残差ブロックを適用する。再構築されたイ
ントラ予測された画像ブロックおよび/または残差ブロックならびに対応するインター予
測データは、ループ内フィルタ構成要素425を介して復号ピクチャバッファ構成要素423に
転送され、これらは、それぞれ、復号ピクチャバッファ構成要素223およびループ内フィ
ルタ構成要素225と実質的に同様であってもよい。ループ内フィルタ構成要素425は、再構
築された画像ブロック、残差ブロック、および/または予測ブロックをフィルタリングし
、そのような情報は、復号ピクチャバッファ構成要素423に記憶される。復号ピクチャバ
ッファ構成要素423からの再構築された画像ブロックは、インター予測のために動き補償
構成要素421に転送される。動き補償構成要素421は、動き推定構成要素221および/または
動き補償構成要素219と実質的に同様であってもよい。特に、動き補償構成要素421は、参
照ブロックからの動きベクトルを使用して予測ブロックを生成し、画像ブロックを再構築
するために結果に残差ブロックを適用する。結果として得られる再構築されたブロックは
、ループ内フィルタ構成要素425を介して復号ピクチャバッファ構成要素423にやはり転送
されてもよい。復号ピクチャバッファ構成要素423は、さらなる再構築された画像ブロッ
クの記憶を続け、それらの再構築された画像ブロックは、区画情報によってフレームに再
構築され得る。また、そのようなフレームは、シーケンスに配置されてもよい。シーケン
スは、再構築された出力ビデオ信号としてディスプレイに出力される。
て画像ブロックに再構築するためにイントラピクチャ予測構成要素417に転送される。イ
ントラピクチャ予測構成要素417は、イントラピクチャ推定構成要素215およびイントラピ
クチャ予測構成要素217と実質的に同様であってもよい。特に、イントラピクチャ予測構
成要素417は、予測モードを使用してフレーム内の参照ブロックを特定し、イントラ予測
された画像ブロックを再構築するために結果に残差ブロックを適用する。再構築されたイ
ントラ予測された画像ブロックおよび/または残差ブロックならびに対応するインター予
測データは、ループ内フィルタ構成要素425を介して復号ピクチャバッファ構成要素423に
転送され、これらは、それぞれ、復号ピクチャバッファ構成要素223およびループ内フィ
ルタ構成要素225と実質的に同様であってもよい。ループ内フィルタ構成要素425は、再構
築された画像ブロック、残差ブロック、および/または予測ブロックをフィルタリングし
、そのような情報は、復号ピクチャバッファ構成要素423に記憶される。復号ピクチャバ
ッファ構成要素423からの再構築された画像ブロックは、インター予測のために動き補償
構成要素421に転送される。動き補償構成要素421は、動き推定構成要素221および/または
動き補償構成要素219と実質的に同様であってもよい。特に、動き補償構成要素421は、参
照ブロックからの動きベクトルを使用して予測ブロックを生成し、画像ブロックを再構築
するために結果に残差ブロックを適用する。結果として得られる再構築されたブロックは
、ループ内フィルタ構成要素425を介して復号ピクチャバッファ構成要素423にやはり転送
されてもよい。復号ピクチャバッファ構成要素423は、さらなる再構築された画像ブロッ
クの記憶を続け、それらの再構築された画像ブロックは、区画情報によってフレームに再
構築され得る。また、そのようなフレームは、シーケンスに配置されてもよい。シーケン
スは、再構築された出力ビデオ信号としてディスプレイに出力される。
【0072】
図5は、例示的なCVS 500を示す概略図である。たとえば、CVS 500は、方法100に係るコ
ーデックシステム200および/またはエンコーダ300などのエンコーダによって符号化され
てもよい。さらに、CVS 500は、コーデックシステム200および/またはデコーダ400などの
デコーダによって復号されてもよい。CVS 500は、復号順508でコーディングされたピクチ
ャを含む。復号順508は、ピクチャがビットストリーム内に位置付けられる順序である。
次いで、CVS 500のピクチャは、提示順510で出力される。提示順510は、結果として得ら
れるビデオを適切に表示するためにピクチャがデコーダによって表示されるべき順序であ
る。たとえば、CVS 500のピクチャは、概して、提示順510で位置付けられてもよい。しか
し、特定のピクチャは、たとえば、インター予測をサポートするために似たピクチャをよ
り近接して配置することによってコーディング効率を上げるために異なる位置に移動され
てもよい。このようにしてそのようなピクチャを移動させることは、復号順508をもたら
す。示された例において、ピクチャは、0から4まで復号順508でインデックス付けされる
。提示順510では、インデックス2およびインデックス3のピクチャが、インデックス0のピ
クチャの前に移動されている。
ーデックシステム200および/またはエンコーダ300などのエンコーダによって符号化され
てもよい。さらに、CVS 500は、コーデックシステム200および/またはデコーダ400などの
デコーダによって復号されてもよい。CVS 500は、復号順508でコーディングされたピクチ
ャを含む。復号順508は、ピクチャがビットストリーム内に位置付けられる順序である。
次いで、CVS 500のピクチャは、提示順510で出力される。提示順510は、結果として得ら
れるビデオを適切に表示するためにピクチャがデコーダによって表示されるべき順序であ
る。たとえば、CVS 500のピクチャは、概して、提示順510で位置付けられてもよい。しか
し、特定のピクチャは、たとえば、インター予測をサポートするために似たピクチャをよ
り近接して配置することによってコーディング効率を上げるために異なる位置に移動され
てもよい。このようにしてそのようなピクチャを移動させることは、復号順508をもたら
す。示された例において、ピクチャは、0から4まで復号順508でインデックス付けされる
。提示順510では、インデックス2およびインデックス3のピクチャが、インデックス0のピ
クチャの前に移動されている。
【0073】
CVS 500は、IRAPピクチャ502を含む。IRAPピクチャ502は、CVS 500に関するランダムア
クセスポイントとして働く、イントラ予測によってコーディングされるピクチャである。
特に、IRAPピクチャ502のブロックは、IRAPピクチャ502のその他のブロックの参照によっ
てコーディングされる。IRAPピクチャ502は、その他のピクチャの参照なしにコーディン
グされるので、最初にいかなるその他のピクチャも復号せずに復号され得る。したがって
、デコーダは、IRAPピクチャ502においてCVS 500の復号を開始することができる。さらに
、IRAPピクチャ502は、DPBをリフレッシュさせてもよい。たとえば、IRAPピクチャ502の
後に提示されるピクチャは、インター予測のためにIRAPピクチャ502(たとえば、ピクチャ
インデックス0)の前のピクチャに頼らなくてもよい。したがって、ピクチャバッファは、
IRAPピクチャ502が復号されるとリフレッシュされ得る。これは、インター予測に関連す
るコーディングエラーがIRAPピクチャ502を通して伝搬することができないのですべての
そのようなエラーを止める効果を有する。IRAPピクチャ502は、様々なタイプのピクチャ
を含んでもよい。たとえば、IRAPピクチャは、IDRまたはCRAとしてコーディングされても
よい。IDRは、新しいCVS 500を開始し、ピクチャバッファをリフレッシュするイントラコ
ーディングされたピクチャである。CRAは、新しいCVS 500を開始することまたはピクチャ
バッファをリフレッシュすることなくランダムアクセスポイントとして働くイントラコー
ディングされたピクチャである。このようにして、CRAに関連するリーディングピクチャ5
04は、CRAの前のピクチャを参照してもよい一方、IDRに関連するリーディングピクチャ50
4は、IDRの前のピクチャを参照しなくてもよい。
クセスポイントとして働く、イントラ予測によってコーディングされるピクチャである。
特に、IRAPピクチャ502のブロックは、IRAPピクチャ502のその他のブロックの参照によっ
てコーディングされる。IRAPピクチャ502は、その他のピクチャの参照なしにコーディン
グされるので、最初にいかなるその他のピクチャも復号せずに復号され得る。したがって
、デコーダは、IRAPピクチャ502においてCVS 500の復号を開始することができる。さらに
、IRAPピクチャ502は、DPBをリフレッシュさせてもよい。たとえば、IRAPピクチャ502の
後に提示されるピクチャは、インター予測のためにIRAPピクチャ502(たとえば、ピクチャ
インデックス0)の前のピクチャに頼らなくてもよい。したがって、ピクチャバッファは、
IRAPピクチャ502が復号されるとリフレッシュされ得る。これは、インター予測に関連す
るコーディングエラーがIRAPピクチャ502を通して伝搬することができないのですべての
そのようなエラーを止める効果を有する。IRAPピクチャ502は、様々なタイプのピクチャ
を含んでもよい。たとえば、IRAPピクチャは、IDRまたはCRAとしてコーディングされても
よい。IDRは、新しいCVS 500を開始し、ピクチャバッファをリフレッシュするイントラコ
ーディングされたピクチャである。CRAは、新しいCVS 500を開始することまたはピクチャ
バッファをリフレッシュすることなくランダムアクセスポイントとして働くイントラコー
ディングされたピクチャである。このようにして、CRAに関連するリーディングピクチャ5
04は、CRAの前のピクチャを参照してもよい一方、IDRに関連するリーディングピクチャ50
4は、IDRの前のピクチャを参照しなくてもよい。
【0074】
CVS 500は、様々な非IRAPピクチャも含む。これらは、リーディングピクチャ504および
トレーリングピクチャ506を含む。リーディングピクチャ504は、復号順508でIRAPピクチ
ャ502の後に位置付けられるが、提示順510ではIRAPピクチャ502の前に位置付けられるピ
クチャである。トレーリングピクチャ506は、復号順508と提示順510との両方でIRAPピク
チャ502の後に位置付けられる。リーディングピクチャ504およびトレーリングピクチャ50
6は、両方ともインター予測によってコーディングされる。トレーリングピクチャ506は、
IRAPピクチャ502またはIRAPピクチャ502の後に位置付けられたピクチャを参照してコーデ
ィングされる。したがって、トレーリングピクチャ506は、常に、IRAPピクチャ502が復号
されると復号され得る。リーディングピクチャ504は、ランダムアクセススキップリーデ
ィング(RASL)およびランダムアクセス復号可能リーディング(RADL)ピクチャを含んでもよ
い。RASLピクチャは、IRAPピクチャ502の前のピクチャの参照によってコーディングされ
るが、IRAPピクチャ502の後の位置においてコーディングされる。RASLピクチャは、前の
ピクチャに依拠するので、デコーダがIRAPピクチャ502において復号を開始するときに復
号され得ない。したがって、RASLピクチャは、IRAPピクチャ502がランダムアクセスポイ
ントとして使用されるとき、スキップされ、復号されない。しかし、RASLピクチャは、デ
コーダが(図示されないインデックス0よりも前の)前のIRAPピクチャをランダムアクセス
ポイントとして使用するとき、復号され、表示される。RADLピクチャは、IRAPピクチャ50
2および/またはIRAPピクチャ502に続くピクチャを参照してコーディングされるが、提示
順510でIRAPピクチャ502の前に位置付けられる。RADLピクチャは、IRAPピクチャ502の前
のピクチャに依拠しないので、IRAPピクチャ502がランダムアクセスポイントであるとき
に復号され、表示され得る。
トレーリングピクチャ506を含む。リーディングピクチャ504は、復号順508でIRAPピクチ
ャ502の後に位置付けられるが、提示順510ではIRAPピクチャ502の前に位置付けられるピ
クチャである。トレーリングピクチャ506は、復号順508と提示順510との両方でIRAPピク
チャ502の後に位置付けられる。リーディングピクチャ504およびトレーリングピクチャ50
6は、両方ともインター予測によってコーディングされる。トレーリングピクチャ506は、
IRAPピクチャ502またはIRAPピクチャ502の後に位置付けられたピクチャを参照してコーデ
ィングされる。したがって、トレーリングピクチャ506は、常に、IRAPピクチャ502が復号
されると復号され得る。リーディングピクチャ504は、ランダムアクセススキップリーデ
ィング(RASL)およびランダムアクセス復号可能リーディング(RADL)ピクチャを含んでもよ
い。RASLピクチャは、IRAPピクチャ502の前のピクチャの参照によってコーディングされ
るが、IRAPピクチャ502の後の位置においてコーディングされる。RASLピクチャは、前の
ピクチャに依拠するので、デコーダがIRAPピクチャ502において復号を開始するときに復
号され得ない。したがって、RASLピクチャは、IRAPピクチャ502がランダムアクセスポイ
ントとして使用されるとき、スキップされ、復号されない。しかし、RASLピクチャは、デ
コーダが(図示されないインデックス0よりも前の)前のIRAPピクチャをランダムアクセス
ポイントとして使用するとき、復号され、表示される。RADLピクチャは、IRAPピクチャ50
2および/またはIRAPピクチャ502に続くピクチャを参照してコーディングされるが、提示
順510でIRAPピクチャ502の前に位置付けられる。RADLピクチャは、IRAPピクチャ502の前
のピクチャに依拠しないので、IRAPピクチャ502がランダムアクセスポイントであるとき
に復号され、表示され得る。
【0075】
CVS 500からのピクチャは、アクセスユニットにそれぞれ記憶されてもよい。さらに、
ピクチャは、スライスへと区分けされてもよく、スライスは、NALユニットに含められて
もよい。NALユニットは、ピクチャのパラメータセットまたはスライスおよび対応するス
ライスヘッダを含む記憶単位である。NALユニットは、NALユニットに含まれるデータのタ
イプをデコーダに示すためにタイプを割り当てられる。たとえば、IRAPピクチャ502から
のスライスは、RADLを有するIDR(IDR_W_RADL)NALユニット、リーディングピクチャを持た
ないIDR(IDR_N_LP)NALユニット、CRA NALユニットなどに含まれてもよい。IDR_W_RADL NA
Lユニットは、IRAPピクチャ502がRADLリーディングピクチャ504に関連付けられるIDRピク
チャであることを示す。IDR_N_LP NALユニットは、IRAPピクチャ502がいかなるリーディ
ングピクチャ504にも関連付けられないIDRピクチャであることを示す。CRA NALユニット
は、IRAPピクチャ502がリーディングピクチャ504に関連付けられてもよいCRAピクチャで
あることを示す。非IRAPピクチャのスライスがまた、NALユニットに配置されてもよい。
たとえば、トレーリングピクチャ506のスライスは、トレーリングピクチャ506がインター
予測コーディングされたピクチャであることを示すトレーリングピクチャNALユニットタ
イプ(TRAIL_NUT)に配置されてもよい。リーディングピクチャ504のスライスは、対応する
ピクチャが対応するタイプのインター予測コーディングされたリーディングピクチャ504
であることを示すRASL NALユニットタイプ(RASL_NUT)および/またはRADL NALユニットタ
イプ(RADL_NUT)に含まれてもよい。対応するNALユニット内でピクチャのスライスをシグ
ナリングすることによって、デコーダは、各ピクチャ/スライスに適用する適切な復号メ
カニズムを容易に決定することができる。
ピクチャは、スライスへと区分けされてもよく、スライスは、NALユニットに含められて
もよい。NALユニットは、ピクチャのパラメータセットまたはスライスおよび対応するス
ライスヘッダを含む記憶単位である。NALユニットは、NALユニットに含まれるデータのタ
イプをデコーダに示すためにタイプを割り当てられる。たとえば、IRAPピクチャ502から
のスライスは、RADLを有するIDR(IDR_W_RADL)NALユニット、リーディングピクチャを持た
ないIDR(IDR_N_LP)NALユニット、CRA NALユニットなどに含まれてもよい。IDR_W_RADL NA
Lユニットは、IRAPピクチャ502がRADLリーディングピクチャ504に関連付けられるIDRピク
チャであることを示す。IDR_N_LP NALユニットは、IRAPピクチャ502がいかなるリーディ
ングピクチャ504にも関連付けられないIDRピクチャであることを示す。CRA NALユニット
は、IRAPピクチャ502がリーディングピクチャ504に関連付けられてもよいCRAピクチャで
あることを示す。非IRAPピクチャのスライスがまた、NALユニットに配置されてもよい。
たとえば、トレーリングピクチャ506のスライスは、トレーリングピクチャ506がインター
予測コーディングされたピクチャであることを示すトレーリングピクチャNALユニットタ
イプ(TRAIL_NUT)に配置されてもよい。リーディングピクチャ504のスライスは、対応する
ピクチャが対応するタイプのインター予測コーディングされたリーディングピクチャ504
であることを示すRASL NALユニットタイプ(RASL_NUT)および/またはRADL NALユニットタ
イプ(RADL_NUT)に含まれてもよい。対応するNALユニット内でピクチャのスライスをシグ
ナリングすることによって、デコーダは、各ピクチャ/スライスに適用する適切な復号メ
カニズムを容易に決定することができる。
【0076】
図6は、VRピクチャビデオストリーム600から分割された複数のサブピクチャビデオスト
リーム601、602、および603を示す概略図である。たとえば、サブピクチャビデオストリ
ーム601～603の各々および/またはVRピクチャビデオストリーム600は、CVS 500にコーデ
ィングされてもよい。したがって、サブピクチャビデオストリーム601～603および/また
はVRピクチャビデオストリーム600は、方法100に係るコーデックシステム200および/また
はエンコーダ300などのエンコーダによって符号化されてもよい。さらに、サブピクチャ
ビデオストリーム601～603および/またはVRピクチャビデオストリーム600は、コーデック
システム200および/またはデコーダ400などのデコーダによって復号されてもよい。
リーム601、602、および603を示す概略図である。たとえば、サブピクチャビデオストリ
ーム601～603の各々および/またはVRピクチャビデオストリーム600は、CVS 500にコーデ
ィングされてもよい。したがって、サブピクチャビデオストリーム601～603および/また
はVRピクチャビデオストリーム600は、方法100に係るコーデックシステム200および/また
はエンコーダ300などのエンコーダによって符号化されてもよい。さらに、サブピクチャ
ビデオストリーム601～603および/またはVRピクチャビデオストリーム600は、コーデック
システム200および/またはデコーダ400などのデコーダによって復号されてもよい。
【0077】
VRピクチャビデオストリーム600は、経時的に提示される複数のピクチャを含む。特に
、VRは、ユーザが球の中心にいるかのように表示され得るビデオコンテンツの球をコーデ
ィングすることによって動作する。各ピクチャは、球全体を含む。一方、ビューポートと
して知られるピクチャの一部のみが、ユーザに対して表示される。たとえば、ユーザが、
ユーザの頭の動きに基づいて球のビューポートを選択し、表示するヘッドマウントディス
プレイ(HMD)を使用してもよい。これは、ビデオによって描かれた仮想空間内に物理的に
存在している印象を与える。この結果を達成するために、ビデオシーケンスの各ピクチャ
は、対応する瞬間のビデオデータの球全体を含む。しかし、ピクチャの小さな部分(たと
えば、単一のビューポート)のみが、ユーザに対して表示される。ピクチャの残りは、レ
ンダリングされずに破棄される。ユーザの頭の動きに応じて異なるビューポートが動的に
選択され、表示され得るように、概して、ピクチャ全体が送信される。
、VRは、ユーザが球の中心にいるかのように表示され得るビデオコンテンツの球をコーデ
ィングすることによって動作する。各ピクチャは、球全体を含む。一方、ビューポートと
して知られるピクチャの一部のみが、ユーザに対して表示される。たとえば、ユーザが、
ユーザの頭の動きに基づいて球のビューポートを選択し、表示するヘッドマウントディス
プレイ(HMD)を使用してもよい。これは、ビデオによって描かれた仮想空間内に物理的に
存在している印象を与える。この結果を達成するために、ビデオシーケンスの各ピクチャ
は、対応する瞬間のビデオデータの球全体を含む。しかし、ピクチャの小さな部分(たと
えば、単一のビューポート)のみが、ユーザに対して表示される。ピクチャの残りは、レ
ンダリングされずに破棄される。ユーザの頭の動きに応じて異なるビューポートが動的に
選択され、表示され得るように、概して、ピクチャ全体が送信される。
【0078】
示された例において、VRピクチャビデオストリーム600のピクチャは利用可能なビュー
ポートに基づいてサブピクチャにそれぞれ下位分割され得る。したがって、各ピクチャお
よび対応するサブピクチャは、時間的な提示の一部として時間的位置(たとえば、ピクチ
ャの順序)を含む。サブピクチャビデオストリーム601～603は、下位分割が経時的に一貫
して適用されるときに生成される。そのような一貫した下位分割は、サブピクチャビデオ
ストリーム601～603を生成し、各ストリームは、所定のサイズ、形状、およびVRピクチャ
ビデオストリーム600内の対応するピクチャに対する空間的位置の1組のサブピクチャを含
む。さらに、サブピクチャビデオストリーム601～603内の1組のサブピクチャは、提示時
間上の時間的位置が異なる。したがって、サブピクチャビデオストリーム601～603のサブ
ピクチャは、時間的位置に基づいて時間領域において位置合わせされ得る。次いで、各時
間的位置のサブピクチャビデオストリーム601～603からのサブピクチャは、表示するため
のVRピクチャビデオストリーム600を再構築するために予め定義された空間的位置に基づ
いて空間領域において合併され得る。特に、サブピクチャビデオストリーム601～603は、
別々のサブビットストリームにそれぞれ符号化され得る。そのようなサブビットストリー
ムは、一緒に合併されるとき、経時的にピクチャの組全体を含むビットストリームをもた
らす。結果として得られるビットストリームは、ユーザの現在選択されているビューポー
トに基づいて復号し、表示するためにデコーダに送信され得る。
ポートに基づいてサブピクチャにそれぞれ下位分割され得る。したがって、各ピクチャお
よび対応するサブピクチャは、時間的な提示の一部として時間的位置(たとえば、ピクチ
ャの順序)を含む。サブピクチャビデオストリーム601～603は、下位分割が経時的に一貫
して適用されるときに生成される。そのような一貫した下位分割は、サブピクチャビデオ
ストリーム601～603を生成し、各ストリームは、所定のサイズ、形状、およびVRピクチャ
ビデオストリーム600内の対応するピクチャに対する空間的位置の1組のサブピクチャを含
む。さらに、サブピクチャビデオストリーム601～603内の1組のサブピクチャは、提示時
間上の時間的位置が異なる。したがって、サブピクチャビデオストリーム601～603のサブ
ピクチャは、時間的位置に基づいて時間領域において位置合わせされ得る。次いで、各時
間的位置のサブピクチャビデオストリーム601～603からのサブピクチャは、表示するため
のVRピクチャビデオストリーム600を再構築するために予め定義された空間的位置に基づ
いて空間領域において合併され得る。特に、サブピクチャビデオストリーム601～603は、
別々のサブビットストリームにそれぞれ符号化され得る。そのようなサブビットストリー
ムは、一緒に合併されるとき、経時的にピクチャの組全体を含むビットストリームをもた
らす。結果として得られるビットストリームは、ユーザの現在選択されているビューポー
トに基づいて復号し、表示するためにデコーダに送信され得る。
【0079】
VRビデオの問題のうちの1つは、サブピクチャビデオストリーム601～603のすべてが高
品質(たとえば、高解像度)でユーザに送信されてもよいことである。これは、デコーダが
ユーザの現在のビューポートを動的に選択し、対応するサブピクチャビデオストリーム60
1～603からのサブピクチャをリアルタイムで表示することを可能にする。しかし、ユーザ
は、たとえば、サブピクチャビデオストリーム601からの単一のビューポートのみを見る
可能性があり、一方、サブピクチャビデオストリーム602～603は、破棄される。したがっ
て、高品質でサブピクチャビデオストリーム602～603を送信することは、多大な量の帯域
幅を無駄にしてもよい。コーディング効率を改善するために、VRビデオは、複数のビデオ
ストリーム600に符号化されてもよく、各ビデオストリーム600が、異なる品質/解像度で
符号化される。このようにして、デコーダは、現在のサブピクチャビデオストリーム601
の要求を送信することができる。それに応じて、エンコーダ(または中間スライサ(interm
ediate slicer)またはその他のコンテンツサーバ)は、より高い品質のビデオストリーム6
00からのより高い品質のサブピクチャビデオストリーム601およびより低い品質のビデオ
ストリーム600からのより低い品質のサブピクチャビデオストリーム602～603を選択し得
る。次いで、エンコーダは、デコーダに送信するためにそのようなサブビットストリーム
を完全な符号化されたビットストリームに合併することができる。このようにして、デコ
ーダは、一連のピクチャを受信し、現在のビューポートがより高い品質であり、その他の
ビューポートがより低い品質である。さらに、最も高い品質のサブピクチャが、(頭の動
きがないとき)概してユーザに対して表示され、より低い品質のサブピクチャは、概して
破棄され、これは、機能性とコーディング効率との釣り合いを取る。
品質(たとえば、高解像度)でユーザに送信されてもよいことである。これは、デコーダが
ユーザの現在のビューポートを動的に選択し、対応するサブピクチャビデオストリーム60
1～603からのサブピクチャをリアルタイムで表示することを可能にする。しかし、ユーザ
は、たとえば、サブピクチャビデオストリーム601からの単一のビューポートのみを見る
可能性があり、一方、サブピクチャビデオストリーム602～603は、破棄される。したがっ
て、高品質でサブピクチャビデオストリーム602～603を送信することは、多大な量の帯域
幅を無駄にしてもよい。コーディング効率を改善するために、VRビデオは、複数のビデオ
ストリーム600に符号化されてもよく、各ビデオストリーム600が、異なる品質/解像度で
符号化される。このようにして、デコーダは、現在のサブピクチャビデオストリーム601
の要求を送信することができる。それに応じて、エンコーダ(または中間スライサ(interm
ediate slicer)またはその他のコンテンツサーバ)は、より高い品質のビデオストリーム6
00からのより高い品質のサブピクチャビデオストリーム601およびより低い品質のビデオ
ストリーム600からのより低い品質のサブピクチャビデオストリーム602～603を選択し得
る。次いで、エンコーダは、デコーダに送信するためにそのようなサブビットストリーム
を完全な符号化されたビットストリームに合併することができる。このようにして、デコ
ーダは、一連のピクチャを受信し、現在のビューポートがより高い品質であり、その他の
ビューポートがより低い品質である。さらに、最も高い品質のサブピクチャが、(頭の動
きがないとき)概してユーザに対して表示され、より低い品質のサブピクチャは、概して
破棄され、これは、機能性とコーディング効率との釣り合いを取る。
【0080】
ユーザがサブピクチャビデオストリーム601からサブピクチャビデオストリーム602に目
を移す場合、デコーダは、新しい現在のサブピクチャビデオストリーム602がより高い品
質で送信されることを要求する。次いで、エンコーダは、それに応じて合併メカニズムを
変更し得る。上述のように、デコーダは、IRAPピクチャ502においてのみ新しいCVS 500の
復号を開始し得る。したがって、サブピクチャビデオストリーム602は、IRAPピクチャ/サ
ブピクチャに達するまでより低い品質で表示される。次いで、IRAPピクチャが、サブピク
チャビデオストリーム602のより高い品質のバージョンの復号を開始するためにより高い
品質で復号され得る。この手法は、ユーザの視聴体験に悪影響を与えることなくビデオ圧
縮を大幅に向上させる。
を移す場合、デコーダは、新しい現在のサブピクチャビデオストリーム602がより高い品
質で送信されることを要求する。次いで、エンコーダは、それに応じて合併メカニズムを
変更し得る。上述のように、デコーダは、IRAPピクチャ502においてのみ新しいCVS 500の
復号を開始し得る。したがって、サブピクチャビデオストリーム602は、IRAPピクチャ/サ
ブピクチャに達するまでより低い品質で表示される。次いで、IRAPピクチャが、サブピク
チャビデオストリーム602のより高い品質のバージョンの復号を開始するためにより高い
品質で復号され得る。この手法は、ユーザの視聴体験に悪影響を与えることなくビデオ圧
縮を大幅に向上させる。
【0081】
上述の手法に対する1つの懸念は、解像度を変更するために必要とされる時間の長さが
ビデオストリーム内でIRAPピクチャに達するまでの時間の長さに基づくことである。これ
は、デコーダが非IRAPピクチャにおいて異なるバージョンのサブピクチャビデオストリー
ム602の復号を開始することができないからである。そのようなレイテンシーを削減する
ための1つの手法は、より多くのIRAPピクチャを含めることである。しかし、これは、フ
ァイルサイズの増大を招く。機能性とコーディング効率との釣り合いを取るために、異な
るビューポート/サブピクチャビデオストリーム601～603は、異なる頻度でIRAPピクチャ
を含んでもよい。たとえば、見られる可能性がより高いビューポート/サブピクチャビデ
オストリーム601～603が、その他のビューポート/サブピクチャビデオストリーム601～60
3よりも多くのIRAPピクチャを有してもよい。たとえば、バスケットボールの文脈で、ス
タンドまたは天井を見るビューポート/サブピクチャビデオストリーム601～603はユーザ
によって見られる可能性がより低いので、そのようなビューポート/サブピクチャビデオ
ストリーム601～603よりもバスケットおよび/またはセンターコートに関連するビューポ
ート/サブピクチャビデオストリーム601～603の方がより頻繁にIRAPピクチャを含んでも
よい。
ビデオストリーム内でIRAPピクチャに達するまでの時間の長さに基づくことである。これ
は、デコーダが非IRAPピクチャにおいて異なるバージョンのサブピクチャビデオストリー
ム602の復号を開始することができないからである。そのようなレイテンシーを削減する
ための1つの手法は、より多くのIRAPピクチャを含めることである。しかし、これは、フ
ァイルサイズの増大を招く。機能性とコーディング効率との釣り合いを取るために、異な
るビューポート/サブピクチャビデオストリーム601～603は、異なる頻度でIRAPピクチャ
を含んでもよい。たとえば、見られる可能性がより高いビューポート/サブピクチャビデ
オストリーム601～603が、その他のビューポート/サブピクチャビデオストリーム601～60
3よりも多くのIRAPピクチャを有してもよい。たとえば、バスケットボールの文脈で、ス
タンドまたは天井を見るビューポート/サブピクチャビデオストリーム601～603はユーザ
によって見られる可能性がより低いので、そのようなビューポート/サブピクチャビデオ
ストリーム601～603よりもバスケットおよび/またはセンターコートに関連するビューポ
ート/サブピクチャビデオストリーム601～603の方がより頻繁にIRAPピクチャを含んでも
よい。
【0082】
この手法は、さらなる問題につながる。特に、POCを共有するサブピクチャビデオスト
リーム601～603からのサブピクチャは、単一のピクチャの一部である。上述のように、ピ
クチャからのスライスは、ピクチャタイプに基づいてNALユニットに含まれる。一部のビ
デオコーディングシステムにおいて、単一のピクチャに関連するすべてのNALユニットは
、同じNALユニットタイプを含むように制約される。異なるサブピクチャビデオストリー
ム601～603が異なる頻度でIRAPピクチャを有するとき、ピクチャの一部は、IRAPサブピク
チャと非IRAPサブピクチャとの両方を含む。これは、それぞれの単一のピクチャが同じタ
イプのNALユニットのみを使用すべきであるという制約に違反する。
リーム601～603からのサブピクチャは、単一のピクチャの一部である。上述のように、ピ
クチャからのスライスは、ピクチャタイプに基づいてNALユニットに含まれる。一部のビ
デオコーディングシステムにおいて、単一のピクチャに関連するすべてのNALユニットは
、同じNALユニットタイプを含むように制約される。異なるサブピクチャビデオストリー
ム601～603が異なる頻度でIRAPピクチャを有するとき、ピクチャの一部は、IRAPサブピク
チャと非IRAPサブピクチャとの両方を含む。これは、それぞれの単一のピクチャが同じタ
イプのNALユニットのみを使用すべきであるという制約に違反する。
【0083】
本開示は、ピクチャ内のスライスに関するすべてのNALユニットが同じNALユニットタイ
プを使用するという制約を取り除くことによってこの問題に対処する。たとえば、ピクチ
ャは、アクセスユニットに含まれる。この制約を取り除くことによって、アクセスユニッ
トは、IRAP NALユニットタイプと非IRAP NALユニットタイプとの両方を含んでもよい。さ
らに、ピクチャ/アクセスユニットがIRAP NALユニットタイプと非IRAP NALユニットタイ
プとの混合を含むときを示すためのフラグが、符号化され得る。一部の例において、フラ
グは、ピクチャ内混合NALユニットタイプフラグ(mixed NAL unit types in picture flag
)(mixed_nalu_types_in_pic_flag)である。さらに、単一の混合ピクチャ/アクセスユニッ
トが1つのタイプのIRAP NALユニットおよび1つのタイプの非IRAP NALユニットのみを含ん
でもよいことを必要とする制約が、適用されてもよい。これは、意図しないNALユニット
タイプの混合が発生することを防止する。そのような混合が許されるのならば、デコーダ
は、そのような混合を管理するように設計されなければならない。これは、コーディング
プロセスにさらなる利益をもたらすことなく必要とされるハードウェアの複雑さを不必要
に高める。たとえば、混合ピクチャは、IDR_W_RADL、IDR_N_LP、またはCRA_NUTから選択
された1つのタイプのIRAP NALユニットを含んでもよい。さらに、混合ピクチャは、TRAIL
_NUT、RADL_NUT、およびRASL_NUTから選択された1つのタイプの非IRAP NALユニットを含
んでもよい。この方式の例示的な実装が、下でより詳細に検討される。
プを使用するという制約を取り除くことによってこの問題に対処する。たとえば、ピクチ
ャは、アクセスユニットに含まれる。この制約を取り除くことによって、アクセスユニッ
トは、IRAP NALユニットタイプと非IRAP NALユニットタイプとの両方を含んでもよい。さ
らに、ピクチャ/アクセスユニットがIRAP NALユニットタイプと非IRAP NALユニットタイ
プとの混合を含むときを示すためのフラグが、符号化され得る。一部の例において、フラ
グは、ピクチャ内混合NALユニットタイプフラグ(mixed NAL unit types in picture flag
)(mixed_nalu_types_in_pic_flag)である。さらに、単一の混合ピクチャ/アクセスユニッ
トが1つのタイプのIRAP NALユニットおよび1つのタイプの非IRAP NALユニットのみを含ん
でもよいことを必要とする制約が、適用されてもよい。これは、意図しないNALユニット
タイプの混合が発生することを防止する。そのような混合が許されるのならば、デコーダ
は、そのような混合を管理するように設計されなければならない。これは、コーディング
プロセスにさらなる利益をもたらすことなく必要とされるハードウェアの複雑さを不必要
に高める。たとえば、混合ピクチャは、IDR_W_RADL、IDR_N_LP、またはCRA_NUTから選択
された1つのタイプのIRAP NALユニットを含んでもよい。さらに、混合ピクチャは、TRAIL
_NUT、RADL_NUT、およびRASL_NUTから選択された1つのタイプの非IRAP NALユニットを含
んでもよい。この方式の例示的な実装が、下でより詳細に検討される。
【0084】
図7は、混合されたNALユニットタイプを有するピクチャを含む例示的なビットストリー
ム700を示す概略図である。たとえば、ビットストリーム700は、方法100に係るコーデッ
クシステム200および/またはデコーダ400による復号のためにコーデックシステム200およ
び/またはエンコーダ300によって生成され得る。さらに、ビットストリーム700は、複数
のビデオ解像度の複数のサブピクチャビデオストリーム601～603から合併されたVRピクチ
ャビデオストリーム600を含んでもよく、各サブピクチャビデオストリームは、異なる空
間的位置のCVS 500を含む。
ム700を示す概略図である。たとえば、ビットストリーム700は、方法100に係るコーデッ
クシステム200および/またはデコーダ400による復号のためにコーデックシステム200およ
び/またはエンコーダ300によって生成され得る。さらに、ビットストリーム700は、複数
のビデオ解像度の複数のサブピクチャビデオストリーム601～603から合併されたVRピクチ
ャビデオストリーム600を含んでもよく、各サブピクチャビデオストリームは、異なる空
間的位置のCVS 500を含む。
【0085】
ビットストリーム700は、シーケンスパラメータセット(SPS)710、複数のピクチャパラ
メータセット(PPS)711、複数のスライスヘッダ715、および画像データ720を含む。SPS 71
0は、ビットストリーム700に含まれるビデオシーケンス内のすべてのピクチャに共通のシ
ーケンスデータを含む。そのようなデータは、ピクチャのサイズ設定、ビット深度、コー
ディングツールのパラメータ、ビットレートの制約などを含み得る。PPS 711は、ピクチ
ャ全体に適用されるパラメータを含む。したがって、ビデオシーケンス内の各ピクチャは
、PPS 711を参照してもよい。各ピクチャはPPS 711を参照するが、一部の例においては、
単一のPPS 711が複数のピクチャに関するデータを含み得ることに留意されたい。たとえ
ば、複数の同様のピクチャは、同様のパラメータによってコーディングされてもよい。そ
のような場合、単一のPPS 711が、そのような同様のピクチャに関するデータを含んでも
よい。PPS 711は、対応するピクチャ内のスライスのために利用可能なコーディングツー
ル、量子化パラメータ、オフセットなどを示し得る。スライスヘッダ715は、ピクチャ内
の各スライスに固有のパラメータを含む。したがって、ビデオシーケンス内のスライス毎
に1つのスライスヘッダ715があってもよい。スライスヘッダ715は、スライスタイプ情報
、ピクチャ順序カウント(POC)、参照ピクチャリスト、予測の重み、タイルエントリポイ
ント(tile entry point)、デブロッキングパラメータなどを含んでもよい。スライスヘッ
ダ715は、文脈によってはタイルグループヘッダとも呼ばれてもよいことに留意されたい
。
メータセット(PPS)711、複数のスライスヘッダ715、および画像データ720を含む。SPS 71
0は、ビットストリーム700に含まれるビデオシーケンス内のすべてのピクチャに共通のシ
ーケンスデータを含む。そのようなデータは、ピクチャのサイズ設定、ビット深度、コー
ディングツールのパラメータ、ビットレートの制約などを含み得る。PPS 711は、ピクチ
ャ全体に適用されるパラメータを含む。したがって、ビデオシーケンス内の各ピクチャは
、PPS 711を参照してもよい。各ピクチャはPPS 711を参照するが、一部の例においては、
単一のPPS 711が複数のピクチャに関するデータを含み得ることに留意されたい。たとえ
ば、複数の同様のピクチャは、同様のパラメータによってコーディングされてもよい。そ
のような場合、単一のPPS 711が、そのような同様のピクチャに関するデータを含んでも
よい。PPS 711は、対応するピクチャ内のスライスのために利用可能なコーディングツー
ル、量子化パラメータ、オフセットなどを示し得る。スライスヘッダ715は、ピクチャ内
の各スライスに固有のパラメータを含む。したがって、ビデオシーケンス内のスライス毎
に1つのスライスヘッダ715があってもよい。スライスヘッダ715は、スライスタイプ情報
、ピクチャ順序カウント(POC)、参照ピクチャリスト、予測の重み、タイルエントリポイ
ント(tile entry point)、デブロッキングパラメータなどを含んでもよい。スライスヘッ
ダ715は、文脈によってはタイルグループヘッダとも呼ばれてもよいことに留意されたい
。
【0086】
画像データ720は、インター予測および/またはイントラ予測によって符号化されたビデ
オデータならびに対応する変換され、量子化された残差データを含む。たとえば、ビデオ
シーケンスは、画像データ720としてコーディングされた複数のピクチャ721を含む。ピク
チャ721は、ビデオシーケンスの単一のフレームであり、したがって、概して、ビデオシ
ーケンスを表示するときに単一の単位として表示される。しかし、サブピクチャ723は、
仮想現実などの特定のテクノロジーを実施するために表示されてもよい。ピクチャ721は
、PPS 711をそれぞれ参照する。ピクチャ721は、サブピクチャ723、タイル、および/また
はスライスに分割されてもよい。サブピクチャ723は、コーディングされたビデオシーケ
ンスに一貫して適用されるピクチャ721の空間的な領域である。したがって、サブピクチ
ャ723は、VRの文脈でHMDによって表示されてもよい。さらに、指定されたPOCを有するサ
ブピクチャ723が、対応する解像度のサブピクチャビデオストリーム601～603から取得さ
れてもよい。サブピクチャ723は、SPS 710を参照してもよい。一部のシステムにおいて、
スライス725は、タイルを含むタイルグループと呼ばれる。スライス725および/またはタ
イルのタイルグループは、スライスヘッダ715を参照する。スライス725は、単一のNALユ
ニットに排他的に含まれるピクチャ721の整数個の完全なタイルまたはタイル内の整数個
の連続する完全なCTUの行として定義されてもよい。したがって、スライス725は、CTUお
よび/またはCTBにさらに分割される。CTU/CTBは、コーディングツリーに基づいてコーデ
ィングブロックにさらに分割される。次いで、コーディングブロックが、予測メカニズム
によって符号化/復号され得る。
オデータならびに対応する変換され、量子化された残差データを含む。たとえば、ビデオ
シーケンスは、画像データ720としてコーディングされた複数のピクチャ721を含む。ピク
チャ721は、ビデオシーケンスの単一のフレームであり、したがって、概して、ビデオシ
ーケンスを表示するときに単一の単位として表示される。しかし、サブピクチャ723は、
仮想現実などの特定のテクノロジーを実施するために表示されてもよい。ピクチャ721は
、PPS 711をそれぞれ参照する。ピクチャ721は、サブピクチャ723、タイル、および/また
はスライスに分割されてもよい。サブピクチャ723は、コーディングされたビデオシーケ
ンスに一貫して適用されるピクチャ721の空間的な領域である。したがって、サブピクチ
ャ723は、VRの文脈でHMDによって表示されてもよい。さらに、指定されたPOCを有するサ
ブピクチャ723が、対応する解像度のサブピクチャビデオストリーム601～603から取得さ
れてもよい。サブピクチャ723は、SPS 710を参照してもよい。一部のシステムにおいて、
スライス725は、タイルを含むタイルグループと呼ばれる。スライス725および/またはタ
イルのタイルグループは、スライスヘッダ715を参照する。スライス725は、単一のNALユ
ニットに排他的に含まれるピクチャ721の整数個の完全なタイルまたはタイル内の整数個
の連続する完全なCTUの行として定義されてもよい。したがって、スライス725は、CTUお
よび/またはCTBにさらに分割される。CTU/CTBは、コーディングツリーに基づいてコーデ
ィングブロックにさらに分割される。次いで、コーディングブロックが、予測メカニズム
によって符号化/復号され得る。
【0087】
パラメータセットおよび/またはスライス725は、NALユニットにコーディングされる。N
ALユニットは、後に続くデータのタイプのインジケーションを含むシンタックス構造、お
よび必要に応じてエミュレーション防止バイト(emulation prevention byte)を所々に挿
入されたRBSPの形態でそのデータを含むバイトとして定義されてもよい。より詳細には、
NALユニットは、ピクチャ721のパラメータセットまたはスライス725および対応するスラ
イスヘッダ715を含む記憶単位である。特に、VCL NALユニット740は、ピクチャ721のスラ
イス725および対応するスライスヘッダ715を含むNALユニットである。さらに、非VCL NAL
ユニット730は、SPS 710およびPPS 711などのパラメータセットを含む。いくつかのタイ
プのNALユニットが、使用されてもよい。たとえば、SPS 710およびPPS 711は、両方とも
非VCL NALユニット730であるSPS NALユニットタイプ(SPS_NUT)731およびPPS NALユニット
タイプ(PPS_NUT)732にそれぞれ含まれてもよい。
ALユニットは、後に続くデータのタイプのインジケーションを含むシンタックス構造、お
よび必要に応じてエミュレーション防止バイト(emulation prevention byte)を所々に挿
入されたRBSPの形態でそのデータを含むバイトとして定義されてもよい。より詳細には、
NALユニットは、ピクチャ721のパラメータセットまたはスライス725および対応するスラ
イスヘッダ715を含む記憶単位である。特に、VCL NALユニット740は、ピクチャ721のスラ
イス725および対応するスライスヘッダ715を含むNALユニットである。さらに、非VCL NAL
ユニット730は、SPS 710およびPPS 711などのパラメータセットを含む。いくつかのタイ
プのNALユニットが、使用されてもよい。たとえば、SPS 710およびPPS 711は、両方とも
非VCL NALユニット730であるSPS NALユニットタイプ(SPS_NUT)731およびPPS NALユニット
タイプ(PPS_NUT)732にそれぞれ含まれてもよい。
【0088】
上述のように、IRAPピクチャ502などのIRAPピクチャは、IRAP NALユニット745に含まれ
得る。リーディングピクチャ504およびトレーリングピクチャ506などの非IRAPピクチャは
、非IRAP NALユニット749に含まれ得る。特に、IRAP NALユニット745は、IRAPピクチャま
たはサブピクチャから取得されたスライス725を含む任意のNALユニットである。非IRAP N
ALユニット749は、IRAPピクチャまたはサブピクチャではない任意のピクチャ(たとえば、
リーディングピクチャおよびトレーリングピクチャ)から取得されたスライス725を含む任
意のNALユニットである。IRAP NALユニット745および非IRAP NALユニット749は、両方と
もスライスデータを含むので両方ともVCL NALユニット740である。例示的な実施形態にお
いて、IRAP NALユニット745は、リーディングピクチャのないIDRピクチャまたはRADLピク
チャに関連するIDRからのスライス725をIDR_N_LP NALユニット741またはIDR_w_RADL NAL
ユニット742にそれぞれ含んでもよい。さらに、IRAP NALユニット745は、CRAピクチャか
らのスライス725をCRA_NUT 743に含んでもよい。例示的な実施形態において、非IRAP NAL
ユニット749は、RASLピクチャ、RADLピクチャ、またはトレーリングピクチャからのスラ
イス725をRASL_NUT 746、RADL_NUT 747、またはTRAIL_NUT 748にそれぞれ含まれてもよい
。例示的な実施形態において、可能なNALユニットの完全なリストが、NALユニットタイプ
によってソートされて下に示される。
得る。リーディングピクチャ504およびトレーリングピクチャ506などの非IRAPピクチャは
、非IRAP NALユニット749に含まれ得る。特に、IRAP NALユニット745は、IRAPピクチャま
たはサブピクチャから取得されたスライス725を含む任意のNALユニットである。非IRAP N
ALユニット749は、IRAPピクチャまたはサブピクチャではない任意のピクチャ(たとえば、
リーディングピクチャおよびトレーリングピクチャ)から取得されたスライス725を含む任
意のNALユニットである。IRAP NALユニット745および非IRAP NALユニット749は、両方と
もスライスデータを含むので両方ともVCL NALユニット740である。例示的な実施形態にお
いて、IRAP NALユニット745は、リーディングピクチャのないIDRピクチャまたはRADLピク
チャに関連するIDRからのスライス725をIDR_N_LP NALユニット741またはIDR_w_RADL NAL
ユニット742にそれぞれ含んでもよい。さらに、IRAP NALユニット745は、CRAピクチャか
らのスライス725をCRA_NUT 743に含んでもよい。例示的な実施形態において、非IRAP NAL
ユニット749は、RASLピクチャ、RADLピクチャ、またはトレーリングピクチャからのスラ
イス725をRASL_NUT 746、RADL_NUT 747、またはTRAIL_NUT 748にそれぞれ含まれてもよい
。例示的な実施形態において、可能なNALユニットの完全なリストが、NALユニットタイプ
によってソートされて下に示される。
【表1A】
【表1B】
【表1C】
【0089】
上述のように、VRビデオストリームは、異なる頻度でIRAPピクチャを有するサブピクチ
ャ723を含んでもよい。これは、ユーザが見る可能性が低い空間的な領域に関してはより
少ないIRAPピクチャが使用され、ユーザが頻繁に見る可能性が高い空間的な領域に関して
はより多くのIRAPピクチャが使用されることを可能にする。このようにして、ユーザがた
びたび戻る可能性が高い空間的な領域が、より高い解像度に迅速に調整され得る。この手
法がIRAP NALユニット745と非IRAP NALユニット749との両方を含むピクチャ721をもたら
すとき、ピクチャ721は、混合ピクチャと呼ばれる。この状態が、ピクチャ内混合NALユニ
ットタイプフラグ(mixed_nalu_types_in_pic_flag)727によってシグナリングされ得る。m
ixed_nalu_types_in_pic_flag 727は、PPS 711に設定されてもよい。さらに、mixed_nalu
_types_in_pic_flag 727は、PPS 711を参照する各ピクチャ721が2つ以上のVCL NALユニッ
ト740を有し、VCL NALユニット740がNALユニットタイプ(nal_unit_type)の同じ値を持た
ないことを指定するとき、1に等しいように設定されてもよい。さらに、mixed_nalu_type
s_in_pic_flag 727は、PPS 711を参照する各ピクチャ721が1つ以上のVCL NALユニット740
を有し、PPS 711を参照する各ピクチャ721のVCL NALユニット740がすべてnal_unit_type
の同じ値を有するとき、0に等しいように設定されてもよい。
ャ723を含んでもよい。これは、ユーザが見る可能性が低い空間的な領域に関してはより
少ないIRAPピクチャが使用され、ユーザが頻繁に見る可能性が高い空間的な領域に関して
はより多くのIRAPピクチャが使用されることを可能にする。このようにして、ユーザがた
びたび戻る可能性が高い空間的な領域が、より高い解像度に迅速に調整され得る。この手
法がIRAP NALユニット745と非IRAP NALユニット749との両方を含むピクチャ721をもたら
すとき、ピクチャ721は、混合ピクチャと呼ばれる。この状態が、ピクチャ内混合NALユニ
ットタイプフラグ(mixed_nalu_types_in_pic_flag)727によってシグナリングされ得る。m
ixed_nalu_types_in_pic_flag 727は、PPS 711に設定されてもよい。さらに、mixed_nalu
_types_in_pic_flag 727は、PPS 711を参照する各ピクチャ721が2つ以上のVCL NALユニッ
ト740を有し、VCL NALユニット740がNALユニットタイプ(nal_unit_type)の同じ値を持た
ないことを指定するとき、1に等しいように設定されてもよい。さらに、mixed_nalu_type
s_in_pic_flag 727は、PPS 711を参照する各ピクチャ721が1つ以上のVCL NALユニット740
を有し、PPS 711を参照する各ピクチャ721のVCL NALユニット740がすべてnal_unit_type
の同じ値を有するとき、0に等しいように設定されてもよい。
【0090】
さらに、mixed_nalu_types_in_pic_flag 727が設定されるとき、ピクチャ721のサブピ
クチャ723のうちの1つ以上のVCL NALユニット740がすべてNALユニットタイプの第1の特定
の値を有し、ピクチャ721内のその他のVCL NALユニット740がすべてNALユニットタイプの
異なる第2の特定の値を有するような制約が使用されてもよい。たとえば、制約は、混合
ピクチャ721が単一のタイプのIRAP NALユニット745および単一のタイプの非IRAP NALユニ
ット749を含むことを必要としてもよい。たとえば、ピクチャ721は、1つもしくは複数のI
DR_N_LP NALユニット741、1つもしくは複数のIDR_w_RADL NALユニット742、または1つも
しくは複数のCRA_NUT 743を含み得るが、そのようなIRAP NALユニット745のいかなる組み
合わせも含み得ない。さらに、ピクチャ721は、1つもしくは複数のRASL_NUT 746、1つも
しくは複数のRADL_NUT 747、または1つもしくは複数のTRAIL_NUT 748を含み得るが、その
ようなIRAP NALユニット745のいかなる組み合わせも含み得ない。
クチャ723のうちの1つ以上のVCL NALユニット740がすべてNALユニットタイプの第1の特定
の値を有し、ピクチャ721内のその他のVCL NALユニット740がすべてNALユニットタイプの
異なる第2の特定の値を有するような制約が使用されてもよい。たとえば、制約は、混合
ピクチャ721が単一のタイプのIRAP NALユニット745および単一のタイプの非IRAP NALユニ
ット749を含むことを必要としてもよい。たとえば、ピクチャ721は、1つもしくは複数のI
DR_N_LP NALユニット741、1つもしくは複数のIDR_w_RADL NALユニット742、または1つも
しくは複数のCRA_NUT 743を含み得るが、そのようなIRAP NALユニット745のいかなる組み
合わせも含み得ない。さらに、ピクチャ721は、1つもしくは複数のRASL_NUT 746、1つも
しくは複数のRADL_NUT 747、または1つもしくは複数のTRAIL_NUT 748を含み得るが、その
ようなIRAP NALユニット745のいかなる組み合わせも含み得ない。
【0091】
例示的な実装においては、復号プロセスを定義するためにピクチャタイプが使用される
。そのようなプロセスは、たとえば、ピクチャ順序カウント(POC)によるピクチャの識別
情報の導出、復号ピクチャバッファ(DPB)内の参照ピクチャのステータスのマーキング、D
PBからのピクチャの出力などを含む。ピクチャは、コーディングされたピクチャのすべて
またはその下位部分を含むNALユニットタイプに基づくタイプによって特定され得る。一
部のビデオコーディングシステムにおいて、ピクチャタイプは、瞬時復号リフレッシュ(I
DR)ピクチャおよび非IDRピクチャを含んでもよい。その他のビデオコーディングシステム
において、ピクチャタイプは、トレーリングピクチャ、時間サブレイヤアクセス(TSA: te
mporal sub-layer)ピクチャ、段階的時間サブレイヤアクセス(STSA: step-wise temporal
sub-layer access)ピクチャ、ランダムアクセス復号可能リーディング(RADL)ピクチャ、
ランダムアクセススキップリーディング(RASL)ピクチャ、ブロークンリンクアクセス(BLA
: broken-link access)ピクチャ、瞬時ランダムアクセスピクチャ、およびクリーンラン
ダムアクセスピクチャを含んでもよい。そのようなピクチャタイプは、ピクチャがサブレ
イヤ参照ピクチャ(sub-layer referenced picture)であるのかまたはサブレイヤ非参照ピ
クチャ(sub-layer non-referenced picture)であるのかに基づいてさらに区別されてもよ
い。BLAピクチャは、リーディングピクチャを有するBLA、RADLピクチャを有するBLA、お
よびリーディングピクチャを持たないBLAとしてさらに区別されてもよい。IDRピクチャは
、RADLピクチャを有するIDRおよびリーディングピクチャを持たないIDRとしてさらに区別
されてもよい。
。そのようなプロセスは、たとえば、ピクチャ順序カウント(POC)によるピクチャの識別
情報の導出、復号ピクチャバッファ(DPB)内の参照ピクチャのステータスのマーキング、D
PBからのピクチャの出力などを含む。ピクチャは、コーディングされたピクチャのすべて
またはその下位部分を含むNALユニットタイプに基づくタイプによって特定され得る。一
部のビデオコーディングシステムにおいて、ピクチャタイプは、瞬時復号リフレッシュ(I
DR)ピクチャおよび非IDRピクチャを含んでもよい。その他のビデオコーディングシステム
において、ピクチャタイプは、トレーリングピクチャ、時間サブレイヤアクセス(TSA: te
mporal sub-layer)ピクチャ、段階的時間サブレイヤアクセス(STSA: step-wise temporal
sub-layer access)ピクチャ、ランダムアクセス復号可能リーディング(RADL)ピクチャ、
ランダムアクセススキップリーディング(RASL)ピクチャ、ブロークンリンクアクセス(BLA
: broken-link access)ピクチャ、瞬時ランダムアクセスピクチャ、およびクリーンラン
ダムアクセスピクチャを含んでもよい。そのようなピクチャタイプは、ピクチャがサブレ
イヤ参照ピクチャ(sub-layer referenced picture)であるのかまたはサブレイヤ非参照ピ
クチャ(sub-layer non-referenced picture)であるのかに基づいてさらに区別されてもよ
い。BLAピクチャは、リーディングピクチャを有するBLA、RADLピクチャを有するBLA、お
よびリーディングピクチャを持たないBLAとしてさらに区別されてもよい。IDRピクチャは
、RADLピクチャを有するIDRおよびリーディングピクチャを持たないIDRとしてさらに区別
されてもよい。
【0092】
そのようなピクチャタイプは、様々なビデオに関連する機能を実装するために使用され
てもよい。たとえば、IDR、BLA、および/またはCRAピクチャは、IRAPピクチャを実装する
ために使用されてもよい。IRAPピクチャは、以下の機能/利点を提供してもよい。IRAPピ
クチャの存在は、復号プロセスがそのピクチャから開始され得ることを示してもよい。こ
の機能は、IRAPピクチャがその位置に存在する限り復号プロセスがビットストリーム内の
指定された位置で開始するランダムアクセスの特徴の実装を可能にする。そのような位置
は、必ずしもビットストリームの始めではない。また、IRAPピクチャの存在は、RASLピク
チャを除いてIRAPピクチャで始まるコーディングされたピクチャがIRAPピクチャの前に位
置付けられたピクチャをまったく参照せずにコーディングされるように復号プロセスをリ
フレッシュする。したがって、ビットストリーム内に位置付けられたIRAPピクチャは、復
号エラーの伝搬を止める。したがって、IRAPピクチャの前に位置付けられたコーディング
されたピクチャの復号エラーは、IRAPピクチャを通して、復号順でIRAPピクチャの後に続
くピクチャに伝搬し得ない。
てもよい。たとえば、IDR、BLA、および/またはCRAピクチャは、IRAPピクチャを実装する
ために使用されてもよい。IRAPピクチャは、以下の機能/利点を提供してもよい。IRAPピ
クチャの存在は、復号プロセスがそのピクチャから開始され得ることを示してもよい。こ
の機能は、IRAPピクチャがその位置に存在する限り復号プロセスがビットストリーム内の
指定された位置で開始するランダムアクセスの特徴の実装を可能にする。そのような位置
は、必ずしもビットストリームの始めではない。また、IRAPピクチャの存在は、RASLピク
チャを除いてIRAPピクチャで始まるコーディングされたピクチャがIRAPピクチャの前に位
置付けられたピクチャをまったく参照せずにコーディングされるように復号プロセスをリ
フレッシュする。したがって、ビットストリーム内に位置付けられたIRAPピクチャは、復
号エラーの伝搬を止める。したがって、IRAPピクチャの前に位置付けられたコーディング
されたピクチャの復号エラーは、IRAPピクチャを通して、復号順でIRAPピクチャの後に続
くピクチャに伝搬し得ない。
【0093】
IRAPピクチャは、様々な機能を提供するが、圧縮効率に対する不利益を生じる。したが
って、IRAPピクチャの存在は、ビットレートの急上昇を引き起こす可能性がある。圧縮効
率に対するこの不利益は、様々な原因がある。たとえば、IRAPピクチャは、非IRAPピクチ
ャとして使用されるインター予測されたピクチャよりも著しく多いビットによって表され
るイントラ予測されたピクチャである。さらに、IRAPピクチャの存在は、インター予測に
おいて使用される時間予測を損なう。特に、IRAPピクチャは、DPBから前の参照ピクチャ
を取り除くことによって復号プロセスをリフレッシュする。前の参照ピクチャを取り除く
ことは、復号順でIRAPピクチャの後に続くピクチャのコーディングに使用するための参照
ピクチャの可用性を低下させ、したがって、このプロセスの効率を下げる。
って、IRAPピクチャの存在は、ビットレートの急上昇を引き起こす可能性がある。圧縮効
率に対するこの不利益は、様々な原因がある。たとえば、IRAPピクチャは、非IRAPピクチ
ャとして使用されるインター予測されたピクチャよりも著しく多いビットによって表され
るイントラ予測されたピクチャである。さらに、IRAPピクチャの存在は、インター予測に
おいて使用される時間予測を損なう。特に、IRAPピクチャは、DPBから前の参照ピクチャ
を取り除くことによって復号プロセスをリフレッシュする。前の参照ピクチャを取り除く
ことは、復号順でIRAPピクチャの後に続くピクチャのコーディングに使用するための参照
ピクチャの可用性を低下させ、したがって、このプロセスの効率を下げる。
【0094】
IDRピクチャは、その他のIRAPピクチャタイプとは異なるシグナリングおよび導出プロ
セスを使用してもよい。たとえば、IDRに関連するシグナリングおよび導出プロセスは、
前のキーピクチャから最上位ビット(MSB)を導出する代わりにPOCのMSB部分を0に設定して
もよい。さらに、IDRピクチャのスライスヘッダは、参照ピクチャの管理を支援するため
に使用される情報を含まなくてもよい。一方、CRA、トレーリング、TSAなどのその他のピ
クチャタイプは、参照ピクチャのマーキングプロセスを実施するために使用され得る参照
ピクチャセット(RPS: reference picture set)または参照ピクチャリストなどの参照ピク
チャ情報を含んでもよい。参照ピクチャのマーキングプロセスは、DPB内の参照ピクチャ
のステータスが参照のために使用されるのかまたは参照のために使用されないのかどちら
なのかを決定するプロセスである。IDRの存在は復号プロセスが単にDPB内のすべての参照
ピクチャを参照のために使用されないものとしてマーキングすることを示すので、IDRピ
クチャに関して、そのような情報はシグナリングされなくてもよい。
セスを使用してもよい。たとえば、IDRに関連するシグナリングおよび導出プロセスは、
前のキーピクチャから最上位ビット(MSB)を導出する代わりにPOCのMSB部分を0に設定して
もよい。さらに、IDRピクチャのスライスヘッダは、参照ピクチャの管理を支援するため
に使用される情報を含まなくてもよい。一方、CRA、トレーリング、TSAなどのその他のピ
クチャタイプは、参照ピクチャのマーキングプロセスを実施するために使用され得る参照
ピクチャセット(RPS: reference picture set)または参照ピクチャリストなどの参照ピク
チャ情報を含んでもよい。参照ピクチャのマーキングプロセスは、DPB内の参照ピクチャ
のステータスが参照のために使用されるのかまたは参照のために使用されないのかどちら
なのかを決定するプロセスである。IDRの存在は復号プロセスが単にDPB内のすべての参照
ピクチャを参照のために使用されないものとしてマーキングすることを示すので、IDRピ
クチャに関して、そのような情報はシグナリングされなくてもよい。
【0095】
ピクチャタイプに加えて、POCによるピクチャの識別情報も、インター予測における参
照ピクチャの使用管理のため、DPBからのピクチャの出力のため、動きベクトルのスケー
リングのため、重み付けされた予測のためなど、複数の目的で使用される。たとえば、一
部のビデオコーディングシステムにおいては、DPB内のピクチャが、短期的参照のために
使用される、長期的参照のために使用される、または参照のために使用されないものとし
てマーキングされ得る。ピクチャが参照のために使用されないものとしてマーキングされ
ると、ピクチャは、もはや予測のために使用され得ない。そのようなピクチャがもはや出
力のために必要とされないとき、ピクチャは、DPBから削除され得る。その他のビデオコ
ーディングシステムにおいて、参照ピクチャは、短期および長期としてマーキングされて
もよい。参照ピクチャは、ピクチャがもはや予測の参照のために必要とされないとき、参
照のために使用されないものとしてマーキングされてもよい。これらのステータスの間の
転換は、復号された参照ピクチャのマーキングプロセスによって制御されてもよい。暗黙
的なスライディングウィンドウプロセスおよび/または明示的なメモリ管理制御動作(MMCO
)プロセスが、復号された参照ピクチャのマーキングメカニズムとして使用されてもよい
。スライディングウィンドウプロセスは、参照フレームの数がSPS内でmax_num_ref_frame
sと表記される指定された最大数に等しいとき、短期参照ピクチャを参照のために使用さ
れないものとしてマーキングする。短期参照ピクチャは、最も新しく復号された短期ピク
チャがDPBに保有されるように先入れ先出しで記憶されてもよい。明示的なMMCOプロセス
は、複数のMMCOコマンドを含んでもよい。MMCOコマンドは、1つもしくは複数の短期また
は長期参照ピクチャを参照のために使用されないものとしてマーキングしてもよく、すべ
てのピクチャを参照のために使用されないものとしてマーキングしてもよく、または現在
の参照ピクチャもしくは既存の短期参照ピクチャを長期としてマーキングし、それから、
その長期参照ピクチャに長期ピクチャインデックスを割り当ててもよい。
照ピクチャの使用管理のため、DPBからのピクチャの出力のため、動きベクトルのスケー
リングのため、重み付けされた予測のためなど、複数の目的で使用される。たとえば、一
部のビデオコーディングシステムにおいては、DPB内のピクチャが、短期的参照のために
使用される、長期的参照のために使用される、または参照のために使用されないものとし
てマーキングされ得る。ピクチャが参照のために使用されないものとしてマーキングされ
ると、ピクチャは、もはや予測のために使用され得ない。そのようなピクチャがもはや出
力のために必要とされないとき、ピクチャは、DPBから削除され得る。その他のビデオコ
ーディングシステムにおいて、参照ピクチャは、短期および長期としてマーキングされて
もよい。参照ピクチャは、ピクチャがもはや予測の参照のために必要とされないとき、参
照のために使用されないものとしてマーキングされてもよい。これらのステータスの間の
転換は、復号された参照ピクチャのマーキングプロセスによって制御されてもよい。暗黙
的なスライディングウィンドウプロセスおよび/または明示的なメモリ管理制御動作(MMCO
)プロセスが、復号された参照ピクチャのマーキングメカニズムとして使用されてもよい
。スライディングウィンドウプロセスは、参照フレームの数がSPS内でmax_num_ref_frame
sと表記される指定された最大数に等しいとき、短期参照ピクチャを参照のために使用さ
れないものとしてマーキングする。短期参照ピクチャは、最も新しく復号された短期ピク
チャがDPBに保有されるように先入れ先出しで記憶されてもよい。明示的なMMCOプロセス
は、複数のMMCOコマンドを含んでもよい。MMCOコマンドは、1つもしくは複数の短期また
は長期参照ピクチャを参照のために使用されないものとしてマーキングしてもよく、すべ
てのピクチャを参照のために使用されないものとしてマーキングしてもよく、または現在
の参照ピクチャもしくは既存の短期参照ピクチャを長期としてマーキングし、それから、
その長期参照ピクチャに長期ピクチャインデックスを割り当ててもよい。
【0096】
一部のビデオコーディングシステムにおいては、参照ピクチャのマーキング動作ならび
にDPBからのピクチャの出力および削除のためのプロセスが、ピクチャが復号された後に
実行される。その他のビデオコーディングシステムは、参照ピクチャの管理のためにRPS
を使用する。RPSメカニズムとMMCO/スライディングウィンドウプロセスとの間の最も抜本
的な違いは、それぞれの特定のスライスに関して、RPSが現在のピクチャまたは任意の後
続のピクチャによって使用される参照ピクチャの完全な組を提供することである。したが
って、現在のまたは将来のピクチャによる使用のためにDPBに保有されるべきすべてのピ
クチャの完全な組が、RPSにおいてはシグナリングされる。これは、DPBに対する相対的な
変更のみがシグナリングされるMMCO/スライディングウィンドウ方式と異なる。RPSメカニ
ズムによれば、DPB内の参照ピクチャの正しいステータスを維持するために、復号順で先
のピクチャからの情報が必要とされない。ピクチャの復号の順序およびDPBの動作は、RPS
の利点を活かし、誤り耐性を高めるために一部のビデオコーディングシステムにおいて変
更される。一部のビデオコーディングシステムにおいて、ピクチャのマーキング、および
DPBからの復号されたピクチャの出力と削除との両方を含むバッファの動作は、現在のピ
クチャが復号された後に適用されてもよい。その他のビデオコーディングシステムにおい
ては、まず、RPSが、現在のピクチャのスライスヘッダから復号され、次いで、ピクチャ
のマーキングおよびバッファの動作が、現在のピクチャを復号する前に適用されてもよい
。
にDPBからのピクチャの出力および削除のためのプロセスが、ピクチャが復号された後に
実行される。その他のビデオコーディングシステムは、参照ピクチャの管理のためにRPS
を使用する。RPSメカニズムとMMCO/スライディングウィンドウプロセスとの間の最も抜本
的な違いは、それぞれの特定のスライスに関して、RPSが現在のピクチャまたは任意の後
続のピクチャによって使用される参照ピクチャの完全な組を提供することである。したが
って、現在のまたは将来のピクチャによる使用のためにDPBに保有されるべきすべてのピ
クチャの完全な組が、RPSにおいてはシグナリングされる。これは、DPBに対する相対的な
変更のみがシグナリングされるMMCO/スライディングウィンドウ方式と異なる。RPSメカニ
ズムによれば、DPB内の参照ピクチャの正しいステータスを維持するために、復号順で先
のピクチャからの情報が必要とされない。ピクチャの復号の順序およびDPBの動作は、RPS
の利点を活かし、誤り耐性を高めるために一部のビデオコーディングシステムにおいて変
更される。一部のビデオコーディングシステムにおいて、ピクチャのマーキング、および
DPBからの復号されたピクチャの出力と削除との両方を含むバッファの動作は、現在のピ
クチャが復号された後に適用されてもよい。その他のビデオコーディングシステムにおい
ては、まず、RPSが、現在のピクチャのスライスヘッダから復号され、次いで、ピクチャ
のマーキングおよびバッファの動作が、現在のピクチャを復号する前に適用されてもよい
。
【0097】
VVCにおいて、参照ピクチャの管理手法は、以下のように要約されてもよい。リスト0お
よびリスト1と表記される2つの参照ピクチャリストが、直接シグナリングされ、導出され
る。それらは、上で検討されたRPSまたはスライディングウィンドウ+MMCOプロセスに基づ
かない。参照ピクチャのマーキングは、参照ピクチャリストのアクティブなエントリと非
アクティブなエントリとの両方を利用して参照ピクチャリスト0および1に直接基づくが、
アクティブなエントリのみが、CTUのインター予測において参照インデックスとして使用
されてもよい。2つの参照ピクチャリストの導出のための情報は、SPS、PPS、およびスラ
イスヘッダ内のシンタックス要素およびシンタックス構造によってシグナリングされる。
予め定義されたRPL構造が、スライスヘッダ内で参照することによって使用するためにSPS
内でシグナリングされる。2つの参照ピクチャリストは、両方向インター予測(B)スライス
、片方向インター予測(P)スライス、およびイントラ予測(I)スライスを含むすべてのタイ
プのスライスに関して生成される。2つの参照ピクチャリストは、参照ピクチャリスト初
期化プロセスまたは参照ピクチャリスト修正プロセスを使用することなく構築されてもよ
い。長期参照ピクチャ(LTRP)は、POC LSBによって特定される。デルタPOC MSBサイクル(d
elta POC MSB cycle)が、ピクチャ毎に決められたようにLTRPに関してシグナリングされ
てもよい。
よびリスト1と表記される2つの参照ピクチャリストが、直接シグナリングされ、導出され
る。それらは、上で検討されたRPSまたはスライディングウィンドウ+MMCOプロセスに基づ
かない。参照ピクチャのマーキングは、参照ピクチャリストのアクティブなエントリと非
アクティブなエントリとの両方を利用して参照ピクチャリスト0および1に直接基づくが、
アクティブなエントリのみが、CTUのインター予測において参照インデックスとして使用
されてもよい。2つの参照ピクチャリストの導出のための情報は、SPS、PPS、およびスラ
イスヘッダ内のシンタックス要素およびシンタックス構造によってシグナリングされる。
予め定義されたRPL構造が、スライスヘッダ内で参照することによって使用するためにSPS
内でシグナリングされる。2つの参照ピクチャリストは、両方向インター予測(B)スライス
、片方向インター予測(P)スライス、およびイントラ予測(I)スライスを含むすべてのタイ
プのスライスに関して生成される。2つの参照ピクチャリストは、参照ピクチャリスト初
期化プロセスまたは参照ピクチャリスト修正プロセスを使用することなく構築されてもよ
い。長期参照ピクチャ(LTRP)は、POC LSBによって特定される。デルタPOC MSBサイクル(d
elta POC MSB cycle)が、ピクチャ毎に決められたようにLTRPに関してシグナリングされ
てもよい。
【0098】
ビデオ画像をコーディングするために、画像はまず区分けされ、区画がビットストリー
ムにコーディングされる。様々なピクチャ区分け方式が、利用可能である。たとえば、画
像は、通常のスライス(regular slice)に、従属スライス(dependent slice)に、タイルに
、および/または波面並列処理(WPP)によって区分けされ得る。簡単にするために、HEVCは
、ビデオコーディングのためにスライスをCTBのグループに区分けするときに通常のスラ
イス、従属スライス、タイル、WPP、およびこれらの組み合わせのみが使用され得るよう
にエンコーダを制約する。そのような区分けは、最大転送単位(MTU)のサイズマッチング
、並列処理、および削減されたエンドツーエンドの遅延をサポートするために適用され得
る。MTUは、単一のパケットで送信され得るデータの最大量を表す。パケットのペイロー
ドがMTUを超えている場合、そのペイロードは、フラグメンテーションと呼ばれるプロセ
スによって2つのパケットに分割される。
ムにコーディングされる。様々なピクチャ区分け方式が、利用可能である。たとえば、画
像は、通常のスライス(regular slice)に、従属スライス(dependent slice)に、タイルに
、および/または波面並列処理(WPP)によって区分けされ得る。簡単にするために、HEVCは
、ビデオコーディングのためにスライスをCTBのグループに区分けするときに通常のスラ
イス、従属スライス、タイル、WPP、およびこれらの組み合わせのみが使用され得るよう
にエンコーダを制約する。そのような区分けは、最大転送単位(MTU)のサイズマッチング
、並列処理、および削減されたエンドツーエンドの遅延をサポートするために適用され得
る。MTUは、単一のパケットで送信され得るデータの最大量を表す。パケットのペイロー
ドがMTUを超えている場合、そのペイロードは、フラグメンテーションと呼ばれるプロセ
スによって2つのパケットに分割される。
【0099】
単にスライスとも呼ばれる通常のスライスは、ループフィルタリング動作が原因である
いくつかの相互依存性があるにもかかわらず同じピクチャ内のその他の通常のスライスと
は独立して再構築され得る画像の区分けされた部分である。それぞれの通常のスライスは
、送信のために独自のネットワーク抽象化レイヤ(NAL)ユニットにカプセル化される。さ
らに、スライスの境界をまたぐピクチャ内予測(イントラサンプル予測、動き情報予測、
コーディングモード予測)およびエントロピーコーディングの相互依存性は、独立した再
構築をサポートするために使用不可にされてもよい。そのような独立した再構築は、並列
化をサポートする。たとえば、通常のスライスに基づく並列化は、最小限のプロセッサ間
またはコア間通信を使用する。しかし、それぞれの通常のスライスが独立しているので、
それぞれのスライスは、別々のスライスヘッダに関連付けられる。通常のスライスの使用
は、各スライスに関するスライスヘッダのビットコストが原因でおよびスライスの境界を
またぐ予測を欠くことが原因で多大なコーディングのオーバーヘッドを招き得る。さらに
、通常のスライスは、MTUのサイズの要件に関するマッチングをサポートするために使用
されてもよい。特に、通常のスライスが別個のNALユニットにカプセル化され、独立して
コーディングされ得るとき、それぞれの通常のスライスは、スライスを複数のパケットに
分割することを避けるためにMTU方式のMTUよりも小さいものであるべきである。したがっ
て、並列化の目的およびMTUのサイズマッチングの目的は、ピクチャ内のスライスのレイ
アウトに矛盾する要求を課してもよい。
いくつかの相互依存性があるにもかかわらず同じピクチャ内のその他の通常のスライスと
は独立して再構築され得る画像の区分けされた部分である。それぞれの通常のスライスは
、送信のために独自のネットワーク抽象化レイヤ(NAL)ユニットにカプセル化される。さ
らに、スライスの境界をまたぐピクチャ内予測(イントラサンプル予測、動き情報予測、
コーディングモード予測)およびエントロピーコーディングの相互依存性は、独立した再
構築をサポートするために使用不可にされてもよい。そのような独立した再構築は、並列
化をサポートする。たとえば、通常のスライスに基づく並列化は、最小限のプロセッサ間
またはコア間通信を使用する。しかし、それぞれの通常のスライスが独立しているので、
それぞれのスライスは、別々のスライスヘッダに関連付けられる。通常のスライスの使用
は、各スライスに関するスライスヘッダのビットコストが原因でおよびスライスの境界を
またぐ予測を欠くことが原因で多大なコーディングのオーバーヘッドを招き得る。さらに
、通常のスライスは、MTUのサイズの要件に関するマッチングをサポートするために使用
されてもよい。特に、通常のスライスが別個のNALユニットにカプセル化され、独立して
コーディングされ得るとき、それぞれの通常のスライスは、スライスを複数のパケットに
分割することを避けるためにMTU方式のMTUよりも小さいものであるべきである。したがっ
て、並列化の目的およびMTUのサイズマッチングの目的は、ピクチャ内のスライスのレイ
アウトに矛盾する要求を課してもよい。
【0100】
従属スライスは、通常のスライスに似ているが、短縮されたスライスヘッダを有し、ピ
クチャ内予測を損なうことなく画像ツリーブロックの境界の区分けを可能にする。したが
って、従属スライスは、通常のスライスが複数のNALユニットにフラグメンテーションさ
れることを可能にし、これは、通常のスライスの一部が通常のスライス全体の符号化が完
了する前に送出されることを可能にすることによって削減されたエンドツーエンドの遅延
をもたらす。
クチャ内予測を損なうことなく画像ツリーブロックの境界の区分けを可能にする。したが
って、従属スライスは、通常のスライスが複数のNALユニットにフラグメンテーションさ
れることを可能にし、これは、通常のスライスの一部が通常のスライス全体の符号化が完
了する前に送出されることを可能にすることによって削減されたエンドツーエンドの遅延
をもたらす。
【0101】
ピクチャは、タイルグループ/スライスおよびタイルに分割されてもよい。タイルは、
ピクチャの長方形の領域をカバーするCTUのシーケンスである。タイルグループ/スライス
は、ピクチャのいくつかのタイルを含む。ラスタスキャンタイルグループモードおよび長
方形タイルグループモードが、タイルを生成するために使用されてもよい。ラスタスキャ
ンタイルグループモードにおいて、タイルグループは、ピクチャのタイルのラスタスキャ
ンのタイルのシーケンスを含む。長方形タイルグループモードにおいて、タイルグループ
は、ピクチャの長方形の領域を集合的に形成するピクチャのいくつかのタイルを含む。長
方形タイルグループ内のタイルは、タイルグループのラスタスキャンの順になっている。
たとえば、タイルは、タイルの列および行を生成する水平方向の境界および垂直方向の境
界によって生成される画像の区分けされた部分であってもよい。タイルは、ラスタスキャ
ン順(右から左および上から下)にコーディングされてもよい。CTBのスキャン順は、タイ
ル内に限られる。したがって、第1のタイル内のCTBは、次のタイル内のCTBに進む前にラ
スタスキャン順にコーディングされる。通常のスライスと同様に、タイルは、ピクチャ内
予測の相互依存性およびエントロピー復号の相互依存性を損なう。しかし、タイルは、個
々のNALユニットに含まれなくてもよく、したがって、タイルは、MTUのサイズマッチング
のために使用されなくてもよい。各タイルは、1つのプロセッサ/コアによって処理される
ことが可能であり、近隣のタイルを復号する処理ユニット間でピクチャ内予測のために使
用されるプロセッサ間/コア間通信は、(近隣のタイルが同じスライス内にあるときに)共
有されたスライスヘッダを運ぶことならびに再構築されたサンプルおよびメタデータのル
ープフィルタリングに関連する共有を実行することに限られてもよい。2つ以上のタイル
がスライスに含まれるとき、スライスの初めのエントリポイントのオフセット以外の各タ
イルに関するエントリポイントのバイトオフセットが、スライスヘッダ内でシグナリング
されてもよい。各スライスおよびタイルに関して、以下の条件、すなわち、1)スライス内
のすべてのコーディングされたツリーブロックが同じタイルに属すること、および2)タイ
ル内のすべてのコーディングされたツリーブロックが同じスライスに属することのうちの
少なくとも1つが満たされるべきである。
ピクチャの長方形の領域をカバーするCTUのシーケンスである。タイルグループ/スライス
は、ピクチャのいくつかのタイルを含む。ラスタスキャンタイルグループモードおよび長
方形タイルグループモードが、タイルを生成するために使用されてもよい。ラスタスキャ
ンタイルグループモードにおいて、タイルグループは、ピクチャのタイルのラスタスキャ
ンのタイルのシーケンスを含む。長方形タイルグループモードにおいて、タイルグループ
は、ピクチャの長方形の領域を集合的に形成するピクチャのいくつかのタイルを含む。長
方形タイルグループ内のタイルは、タイルグループのラスタスキャンの順になっている。
たとえば、タイルは、タイルの列および行を生成する水平方向の境界および垂直方向の境
界によって生成される画像の区分けされた部分であってもよい。タイルは、ラスタスキャ
ン順(右から左および上から下)にコーディングされてもよい。CTBのスキャン順は、タイ
ル内に限られる。したがって、第1のタイル内のCTBは、次のタイル内のCTBに進む前にラ
スタスキャン順にコーディングされる。通常のスライスと同様に、タイルは、ピクチャ内
予測の相互依存性およびエントロピー復号の相互依存性を損なう。しかし、タイルは、個
々のNALユニットに含まれなくてもよく、したがって、タイルは、MTUのサイズマッチング
のために使用されなくてもよい。各タイルは、1つのプロセッサ/コアによって処理される
ことが可能であり、近隣のタイルを復号する処理ユニット間でピクチャ内予測のために使
用されるプロセッサ間/コア間通信は、(近隣のタイルが同じスライス内にあるときに)共
有されたスライスヘッダを運ぶことならびに再構築されたサンプルおよびメタデータのル
ープフィルタリングに関連する共有を実行することに限られてもよい。2つ以上のタイル
がスライスに含まれるとき、スライスの初めのエントリポイントのオフセット以外の各タ
イルに関するエントリポイントのバイトオフセットが、スライスヘッダ内でシグナリング
されてもよい。各スライスおよびタイルに関して、以下の条件、すなわち、1)スライス内
のすべてのコーディングされたツリーブロックが同じタイルに属すること、および2)タイ
ル内のすべてのコーディングされたツリーブロックが同じスライスに属することのうちの
少なくとも1つが満たされるべきである。
【0102】
WPPにおいて、画像はCTBの単一の行に区分けされる。エントロピー復号および予測メカ
ニズムは、その他の行のCTBからのデータを使用してもよい。CTBの行の並列的な復号によ
って、並列処理が可能にされる。たとえば、現在の行は、前の行と並列に復号されてもよ
い。しかし、現在の行の復号は、前の行の復号プロセスから2CTBだけ遅らされる。この遅
延は、現在のCTBがコーディングされる前に現在の行内の現在のCTBの上のCTBおよび右上
のCTBに関連するデータが利用可能であることを保証する。この手法は、グラフィカルに
表現されるとき、波面に見える。このずらされた開始は、最大で画像が含むCTBの行と同
じ数のプロセッサ/コアまでの並列化を可能にする。ピクチャ内の近隣のツリーブロック
の行の間のピクチャ内予測が許されるので、ピクチャ内予測を可能にするためのプロセッ
サ間/コア間通信は、かなり多くなり得る。WPPの区分けは、NALユニットのサイズを考慮
する。したがって、WPPは、MTUのサイズマッチングをサポートしない。しかし、要望通り
にMTUのサイズマッチングを実施するために、通常のスライスが、特定のコーディングの
オーバーヘッドを伴いながらWPPと併せて使用され得る。最後に、波面セグメント(wavefr
ont segment)は、丁度1つのCTBの行を含んでもよい。さらに、WPPを使用するときおよび
スライスがCTBの行内で始まるとき、スライスは、同じCTBの行内で終わるべきである。
ニズムは、その他の行のCTBからのデータを使用してもよい。CTBの行の並列的な復号によ
って、並列処理が可能にされる。たとえば、現在の行は、前の行と並列に復号されてもよ
い。しかし、現在の行の復号は、前の行の復号プロセスから2CTBだけ遅らされる。この遅
延は、現在のCTBがコーディングされる前に現在の行内の現在のCTBの上のCTBおよび右上
のCTBに関連するデータが利用可能であることを保証する。この手法は、グラフィカルに
表現されるとき、波面に見える。このずらされた開始は、最大で画像が含むCTBの行と同
じ数のプロセッサ/コアまでの並列化を可能にする。ピクチャ内の近隣のツリーブロック
の行の間のピクチャ内予測が許されるので、ピクチャ内予測を可能にするためのプロセッ
サ間/コア間通信は、かなり多くなり得る。WPPの区分けは、NALユニットのサイズを考慮
する。したがって、WPPは、MTUのサイズマッチングをサポートしない。しかし、要望通り
にMTUのサイズマッチングを実施するために、通常のスライスが、特定のコーディングの
オーバーヘッドを伴いながらWPPと併せて使用され得る。最後に、波面セグメント(wavefr
ont segment)は、丁度1つのCTBの行を含んでもよい。さらに、WPPを使用するときおよび
スライスがCTBの行内で始まるとき、スライスは、同じCTBの行内で終わるべきである。
【0103】
タイルはまた、動き制約タイルセット(motion constrained tile set)を含んでもよい
。動き制約タイルセット(MCTS)は、関連する動きベクトルがMCTS内のフルサンプル(full-
sample)位置を指し、補間のためにMCTS内のフルサンプル位置のみを必要とする分数サン
プル(fractional-sample)を指すように制約されるように設計されたタイルセットである
。さらに、MCTS外のブロックから導出された時間的動きベクトル予測のための動きベクト
ル候補の使用は、許されない。このようにして、各MCTSは、MCTSに含まれないタイルの存
在なしに独立して復号されてもよい。時間的MCTS補足拡張情報(SEI: supplemental enhan
cement information)メッセージが、ビットストリーム内のMCTSの存在を示し、MCTSをシ
グナリングするために使用されてもよい。MCTS SEIメッセージは、MCTSの組に関して適合
するビットストリームを生成するために(SEIメッセージのセマンティクスの一部として指
定された)MCTSサブビットストリーム抽出において使用され得る補足情報を提供する。情
報は、それぞれがいくつかのMCTSの組を定義し、MCTSサブビットストリーム抽出プロセス
中に使用される代替ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、
およびピクチャパラメータセット(PPS)の生バイトシーケンスペイロード(RBSP)のバイト
を含むいくつかの抽出情報セットを含む。MCTSサブビットストリーム抽出プロセスによっ
てサブビットストリームを抽出するとき、パラメータセット(VPS、SPS、およびPPS)は、
書き換えられるかまたは置き換えられてもよく、スライスヘッダは、(first_slice_segme
nt_in_pic_flagおよびslice_segment_addressを含む)スライスアドレスに関連するシンタ
ックス要素のうちの1つまたはすべてが抽出されたサブビットストリームにおいて異なる
値を使用してもよいので更新されてもよい。
。動き制約タイルセット(MCTS)は、関連する動きベクトルがMCTS内のフルサンプル(full-
sample)位置を指し、補間のためにMCTS内のフルサンプル位置のみを必要とする分数サン
プル(fractional-sample)を指すように制約されるように設計されたタイルセットである
。さらに、MCTS外のブロックから導出された時間的動きベクトル予測のための動きベクト
ル候補の使用は、許されない。このようにして、各MCTSは、MCTSに含まれないタイルの存
在なしに独立して復号されてもよい。時間的MCTS補足拡張情報(SEI: supplemental enhan
cement information)メッセージが、ビットストリーム内のMCTSの存在を示し、MCTSをシ
グナリングするために使用されてもよい。MCTS SEIメッセージは、MCTSの組に関して適合
するビットストリームを生成するために(SEIメッセージのセマンティクスの一部として指
定された)MCTSサブビットストリーム抽出において使用され得る補足情報を提供する。情
報は、それぞれがいくつかのMCTSの組を定義し、MCTSサブビットストリーム抽出プロセス
中に使用される代替ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、
およびピクチャパラメータセット(PPS)の生バイトシーケンスペイロード(RBSP)のバイト
を含むいくつかの抽出情報セットを含む。MCTSサブビットストリーム抽出プロセスによっ
てサブビットストリームを抽出するとき、パラメータセット(VPS、SPS、およびPPS)は、
書き換えられるかまたは置き換えられてもよく、スライスヘッダは、(first_slice_segme
nt_in_pic_flagおよびslice_segment_addressを含む)スライスアドレスに関連するシンタ
ックス要素のうちの1つまたはすべてが抽出されたサブビットストリームにおいて異なる
値を使用してもよいので更新されてもよい。
【0104】
360度ビデオアプリケーションとも呼ばれるVRアプリケーションは、完全な球の一部の
みおよび結果としてピクチャ全体のサブセットのみを表示してもよい。ハイパーテキスト
転送プロトコル上の動的適応ストリーミング(DASH: dynamic adaptive streaming over h
ypertext transfer protocol)を介したビューポートに依存する360配信のメカニズムが、
ビットレートを下げ、ストリーミングメカニズムによる360度ビデオの配信をサポートす
るために使用されてもよい。このメカニズムは、たとえば、キューブマップ投影(CMP: cu
bemap projection)を使用することによって球/投影されるピクチャを複数のMCTSに分割す
る。2つ以上のビットストリームが、異なる空間解像度または品質で符号化されてもよい
。データをデコーダに配信するときは、より高い解像度/品質のビットストリームからのM
CTSが、表示されるビューポート(たとえば、正面ビューポート)のために送信される。よ
り低い解像度/品質のビットストリームからのMCTSは、その他のビューポートのために送
信される。これらのMCTSは、特定の方法でパッキングされ、次いで、復号されるために受
信機に送信される。ユーザによってみられるビューポートが、肯定的な視聴体験を生み出
すために高い解像度/品質のMCTSによって表されることが期待される。ユーザの頭が別の
ビューポート(たとえば、左または右ビューポート)を見るために向きを変えるとき、表示
される内容は、システムが新しいビューポートのために高解像度/品質のMCTSをフェッチ
している短い期間の間、より低い解像度/品質のビューポートから来る。ユーザの頭が別
のビューポートを見るために向きを変えるとき、ユーザの頭の向きが変わるときとビュー
ポートのより高い解像度/品質の表現が見られるときとの間に遅延がある。この遅延は、
システムがそのビューポートのためのより高解像度/品質のMCTSをどれだけ速くフェッチ
することができるかに依存し、さらに、どれだけ速くフェッチすることができるかは、IR
APの周期に依存する。IRAPの周期は、2つのIRAPの発生の間の間隔である。この遅延は、
新しいビューポートのMCTSがIRAPピクチャからのみ復号可能であり得るので、IRAPの周期
に関連する。
みおよび結果としてピクチャ全体のサブセットのみを表示してもよい。ハイパーテキスト
転送プロトコル上の動的適応ストリーミング(DASH: dynamic adaptive streaming over h
ypertext transfer protocol)を介したビューポートに依存する360配信のメカニズムが、
ビットレートを下げ、ストリーミングメカニズムによる360度ビデオの配信をサポートす
るために使用されてもよい。このメカニズムは、たとえば、キューブマップ投影(CMP: cu
bemap projection)を使用することによって球/投影されるピクチャを複数のMCTSに分割す
る。2つ以上のビットストリームが、異なる空間解像度または品質で符号化されてもよい
。データをデコーダに配信するときは、より高い解像度/品質のビットストリームからのM
CTSが、表示されるビューポート(たとえば、正面ビューポート)のために送信される。よ
り低い解像度/品質のビットストリームからのMCTSは、その他のビューポートのために送
信される。これらのMCTSは、特定の方法でパッキングされ、次いで、復号されるために受
信機に送信される。ユーザによってみられるビューポートが、肯定的な視聴体験を生み出
すために高い解像度/品質のMCTSによって表されることが期待される。ユーザの頭が別の
ビューポート(たとえば、左または右ビューポート)を見るために向きを変えるとき、表示
される内容は、システムが新しいビューポートのために高解像度/品質のMCTSをフェッチ
している短い期間の間、より低い解像度/品質のビューポートから来る。ユーザの頭が別
のビューポートを見るために向きを変えるとき、ユーザの頭の向きが変わるときとビュー
ポートのより高い解像度/品質の表現が見られるときとの間に遅延がある。この遅延は、
システムがそのビューポートのためのより高解像度/品質のMCTSをどれだけ速くフェッチ
することができるかに依存し、さらに、どれだけ速くフェッチすることができるかは、IR
APの周期に依存する。IRAPの周期は、2つのIRAPの発生の間の間隔である。この遅延は、
新しいビューポートのMCTSがIRAPピクチャからのみ復号可能であり得るので、IRAPの周期
に関連する。
【0105】
たとえば、IRAPの周期が1秒毎にコーディングされる場合、次いで、以下が当てはまる
。遅延の最良のシナリオは、システムが新しいセグメント/IRAPの周期をフェッチし始め
る直前にユーザの頭が新しいビューポートを見るために向きを変える場合のネットワーク
往復遅延と同じである。このシナリオにおいて、システムは、新しいビューポートのため
のより高い解像度/品質のMCTSを直ぐに要求することができ、したがって、最小のバッフ
ァリング遅延がほぼゼロに設定されることが可能であり、センサー遅延が小さく、無視で
きると仮定すると、唯一の遅延は、ネットワーク往復遅延であり、ネットワーク往復遅延
は、フェッチ要求の遅延に要求されたMCTSの送信時間を足したものである。ネットワーク
往復遅延は、たとえば、約200ミリ秒であることが可能である。遅延の最悪のシナリオは
、システムが既に次のセグメントの要求を行った後でユーザの頭が新しいビューポートを
見るために向きを変える場合のIRAPの周期+ネットワーク往復遅延である。ビットストリ
ームは、上の最悪のシナリオを改善するためにIRAPの周期がより短くなるようにより頻繁
なIRAPピクチャを用いて符号化されることが可能であり、それは、これが全体的な遅延を
減らすからである。しかし、この手法は、圧縮効率が低下するので帯域幅の要件が大きく
なる。
。遅延の最良のシナリオは、システムが新しいセグメント/IRAPの周期をフェッチし始め
る直前にユーザの頭が新しいビューポートを見るために向きを変える場合のネットワーク
往復遅延と同じである。このシナリオにおいて、システムは、新しいビューポートのため
のより高い解像度/品質のMCTSを直ぐに要求することができ、したがって、最小のバッフ
ァリング遅延がほぼゼロに設定されることが可能であり、センサー遅延が小さく、無視で
きると仮定すると、唯一の遅延は、ネットワーク往復遅延であり、ネットワーク往復遅延
は、フェッチ要求の遅延に要求されたMCTSの送信時間を足したものである。ネットワーク
往復遅延は、たとえば、約200ミリ秒であることが可能である。遅延の最悪のシナリオは
、システムが既に次のセグメントの要求を行った後でユーザの頭が新しいビューポートを
見るために向きを変える場合のIRAPの周期+ネットワーク往復遅延である。ビットストリ
ームは、上の最悪のシナリオを改善するためにIRAPの周期がより短くなるようにより頻繁
なIRAPピクチャを用いて符号化されることが可能であり、それは、これが全体的な遅延を
減らすからである。しかし、この手法は、圧縮効率が低下するので帯域幅の要件が大きく
なる。
【0106】
例示的な実装においては、同じコーディングされたピクチャのサブピクチャが、異なる
nal_unit_typeの値を含むことを可能にされる。このメカニズムは、以下のように説明さ
れる。ピクチャは、サブピクチャに分割されてもよい。サブピクチャは、0に等しいtile_
group_addressを有するタイルグループから始まるタイルグループ/スライスの長方形の組
である。各サブピクチャは、対応するPPSを参照してもよく、したがって、別個のタイル
の区分けを有してもよい。サブピクチャの存在は、PPS内で示されてもよい。各サブピク
チャは、復号プロセスにおいてピクチャのように扱われる。サブピクチャの境界をまたぐ
ループ内フィルタリングは、常に無効化されてもよい。サブピクチャの幅および高さは、
ルマCTUサイズを単位として指定されてもよい。ピクチャ内のサブピクチャの位置は、シ
グナリングされなくてもよいが、以下のルールを使用して導出されてもよい。サブピクチ
ャは、ピクチャの境界内のサブピクチャを含むのに十分なだけ大きい、ピクチャ内のCTU
のラスタスキャン順で次の占有されていない位置を取る。各サブピクチャを復号するため
の参照ピクチャは、復号ピクチャバッファ内の参照ピクチャから現在のサブピクチャとコ
ロケートされるエリアを抽出することによって生成される。抽出されるエリアは復号され
たサブピクチャであり、したがって、同じサイズおよびピクチャ内の同じ位置のサブピク
チャの間でインター予測が行われる。そのような場合、コーディングされるピクチャ内で
異なるnal_unit_typeの値を許すことは、ランダムアクセスピクチャに由来するサブピク
チャと非ランダムアクセスピクチャに由来するサブピクチャとが大きな困難なしに(たと
えば、VCLレベルの修正なしに)同じコーディングされたピクチャに合併されることを可能
にする。そのような利点は、MCTSに基づくコーディングに関しても当てはまる。
nal_unit_typeの値を含むことを可能にされる。このメカニズムは、以下のように説明さ
れる。ピクチャは、サブピクチャに分割されてもよい。サブピクチャは、0に等しいtile_
group_addressを有するタイルグループから始まるタイルグループ/スライスの長方形の組
である。各サブピクチャは、対応するPPSを参照してもよく、したがって、別個のタイル
の区分けを有してもよい。サブピクチャの存在は、PPS内で示されてもよい。各サブピク
チャは、復号プロセスにおいてピクチャのように扱われる。サブピクチャの境界をまたぐ
ループ内フィルタリングは、常に無効化されてもよい。サブピクチャの幅および高さは、
ルマCTUサイズを単位として指定されてもよい。ピクチャ内のサブピクチャの位置は、シ
グナリングされなくてもよいが、以下のルールを使用して導出されてもよい。サブピクチ
ャは、ピクチャの境界内のサブピクチャを含むのに十分なだけ大きい、ピクチャ内のCTU
のラスタスキャン順で次の占有されていない位置を取る。各サブピクチャを復号するため
の参照ピクチャは、復号ピクチャバッファ内の参照ピクチャから現在のサブピクチャとコ
ロケートされるエリアを抽出することによって生成される。抽出されるエリアは復号され
たサブピクチャであり、したがって、同じサイズおよびピクチャ内の同じ位置のサブピク
チャの間でインター予測が行われる。そのような場合、コーディングされるピクチャ内で
異なるnal_unit_typeの値を許すことは、ランダムアクセスピクチャに由来するサブピク
チャと非ランダムアクセスピクチャに由来するサブピクチャとが大きな困難なしに(たと
えば、VCLレベルの修正なしに)同じコーディングされたピクチャに合併されることを可能
にする。そのような利点は、MCTSに基づくコーディングに関しても当てはまる。
【0107】
コーディングされるピクチャ内で異なるnal_unit_typeの値を許すことは、その他のシ
ナリオにおいて有益であってもよい。たとえば、ユーザは、360度ビデオコンテンツの一
部のエリアをその他のエリアよりも頻繁に見てもよい。MCTS/サブピクチャに基づくビュ
ーポートに依存する360度ビデオ配信におけるコーディング効率と平均的な同等の品質の
ビューポート切り替えレイテンシーとの間のより良いトレードオフを生むために、その他
のエリアよりもよく見られるエリアに関してはより頻繁なIRAPピクチャがコーディングさ
れ得る。同等の品質のビューポート切り替えレイテンシーは、第1のビューポートから第2
のビューポートに切り替えるときに、第2のビューポートの提示品質が第1のビューポート
と同等の提示品質に達するまでにユーザによって体験されるレイテンシーである。
ナリオにおいて有益であってもよい。たとえば、ユーザは、360度ビデオコンテンツの一
部のエリアをその他のエリアよりも頻繁に見てもよい。MCTS/サブピクチャに基づくビュ
ーポートに依存する360度ビデオ配信におけるコーディング効率と平均的な同等の品質の
ビューポート切り替えレイテンシーとの間のより良いトレードオフを生むために、その他
のエリアよりもよく見られるエリアに関してはより頻繁なIRAPピクチャがコーディングさ
れ得る。同等の品質のビューポート切り替えレイテンシーは、第1のビューポートから第2
のビューポートに切り替えるときに、第2のビューポートの提示品質が第1のビューポート
と同等の提示品質に達するまでにユーザによって体験されるレイテンシーである。
【0108】
別の実装は、POCの導出および参照ピクチャの管理を含む、ピクチャ内の混合されたNAL
ユニットタイプのサポートのための以下の解決策を使用する。混合されたIRAPサブピクチ
ャおよび非IRAPサブピクチャを有するピクチャが存在してもよいか否かを指定するために
、タイルグループによって直接的にまたは間接的に参照されるフラグ(sps_mixed_tile_gr
oups_in_pic_flag)が、パラメータセット内に存在する。IDRタイルグループを含むNALユ
ニットに関しては、ピクチャに関するPOCの導出の際にPOC MSBがリセットされるか否かを
指定するために、対応するタイルグループヘッダ内にフラグ(poc_msb_reset_flag)が存在
する。PicRefreshFlagと呼ばれる変数が、定義され、ピクチャに関連付けられる。このフ
ラグは、ピクチャを復号するときにPOCの導出およびDPBの状態がリフレッシュされるべき
であるかどうかを指定する。PicRefreshFlagの値は、以下のように導出される。現在のタ
イルグループがビットストリームの第1のアクセスユニットに含まれる場合、PicRefreshF
lagは、1に等しいように設定される。そうではなく、現在のタイルグループがIDRタイル
グループである場合、PicRefreshFlagは、sps_mixed_tile_groups_in_pic_flag ? poc_ms
b_reset_flag : 1に等しいように設定される。そうではなく、現在のタイルグループがCR
Aタイルグループである場合、以下が当てはまる。現在のアクセスユニットがコーディン
グされるシーケンスの第1のアクセスユニットである場合、PicRefreshFlagは、1に等しい
ように設定される。アクセスユニットがエンドオブシーケンス(end of sequence)NALユニ
ットの直後に続くかまたは関連する変数HandleCraAsFirstPicInCvsFlagが1に等しいよう
に設定されるとき、現在のアクセスユニットは、コーディングされるシーケンスの第1の
アクセスユニットである。それ以外の場合、PicRefreshFlagは、0に等しいように設定さ
れる(たとえば、現在のタイルグループは、ビットストリームの第1のアクセスユニットに
属さず、IRAPタイルグループ
ではない)。
ユニットタイプのサポートのための以下の解決策を使用する。混合されたIRAPサブピクチ
ャおよび非IRAPサブピクチャを有するピクチャが存在してもよいか否かを指定するために
、タイルグループによって直接的にまたは間接的に参照されるフラグ(sps_mixed_tile_gr
oups_in_pic_flag)が、パラメータセット内に存在する。IDRタイルグループを含むNALユ
ニットに関しては、ピクチャに関するPOCの導出の際にPOC MSBがリセットされるか否かを
指定するために、対応するタイルグループヘッダ内にフラグ(poc_msb_reset_flag)が存在
する。PicRefreshFlagと呼ばれる変数が、定義され、ピクチャに関連付けられる。このフ
ラグは、ピクチャを復号するときにPOCの導出およびDPBの状態がリフレッシュされるべき
であるかどうかを指定する。PicRefreshFlagの値は、以下のように導出される。現在のタ
イルグループがビットストリームの第1のアクセスユニットに含まれる場合、PicRefreshF
lagは、1に等しいように設定される。そうではなく、現在のタイルグループがIDRタイル
グループである場合、PicRefreshFlagは、sps_mixed_tile_groups_in_pic_flag ? poc_ms
b_reset_flag : 1に等しいように設定される。そうではなく、現在のタイルグループがCR
Aタイルグループである場合、以下が当てはまる。現在のアクセスユニットがコーディン
グされるシーケンスの第1のアクセスユニットである場合、PicRefreshFlagは、1に等しい
ように設定される。アクセスユニットがエンドオブシーケンス(end of sequence)NALユニ
ットの直後に続くかまたは関連する変数HandleCraAsFirstPicInCvsFlagが1に等しいよう
に設定されるとき、現在のアクセスユニットは、コーディングされるシーケンスの第1の
アクセスユニットである。それ以外の場合、PicRefreshFlagは、0に等しいように設定さ
れる(たとえば、現在のタイルグループは、ビットストリームの第1のアクセスユニットに
属さず、IRAPタイルグループ
ではない)。
【0109】
PicRefreshFlagが1に等しいとき、POC MSB(PicOrderCntMsb)の値は、ピクチャに関する
POCの導出中に0に等しいようにリセットされる。参照ピクチャセット(RPS)または参照ピ
クチャリスト(RPL)などの参照ピクチャ管理のために使用される情報は、対応するNALユニ
ットタイプに関係なくタイルグループ/スライスヘッダ内でシグナリングされる。参照ピ
クチャリストは、NALユニットタイプに関係なく各タイルグループの復号の始めに構築さ
れる。参照ピクチャリストは、RPLの手法のためのRefPicList[ 0 ]およびRefPicList[ 1
]、RPSの手法のためのRefPicList0[ ]およびRefPicList1[ ]、またはピクチャに関するイ
ンター予測動作のための参照ピクチャを含む同様のリストを含んでもよい。PicRefreshFl
agが1に等しいときは、参照ピクチャのマーキングプロセス中に、DPB内のすべての参照ピ
クチャが、参照のために使用されないものとしてマーキングされる。
POCの導出中に0に等しいようにリセットされる。参照ピクチャセット(RPS)または参照ピ
クチャリスト(RPL)などの参照ピクチャ管理のために使用される情報は、対応するNALユニ
ットタイプに関係なくタイルグループ/スライスヘッダ内でシグナリングされる。参照ピ
クチャリストは、NALユニットタイプに関係なく各タイルグループの復号の始めに構築さ
れる。参照ピクチャリストは、RPLの手法のためのRefPicList[ 0 ]およびRefPicList[ 1
]、RPSの手法のためのRefPicList0[ ]およびRefPicList1[ ]、またはピクチャに関するイ
ンター予測動作のための参照ピクチャを含む同様のリストを含んでもよい。PicRefreshFl
agが1に等しいときは、参照ピクチャのマーキングプロセス中に、DPB内のすべての参照ピ
クチャが、参照のために使用されないものとしてマーキングされる。
【0110】
そのような実装は、特定の問題に関連付けられる。たとえば、ピクチャ内のnal_unit_t
ypeの値の混合が許されないとき、ならびにピクチャがIRAPピクチャであるかどうかの導
出および変数NoRaslOutputFlagの導出がピクチャレベルで記述されるとき、デコーダは、
任意のピクチャの第1のVCL NALユニットを受信した後、これらの導出を実行し得る。しか
し、ピクチャ内の混合されたNALユニットタイプのサポートが原因で、デコーダは、上の
導出を実行する前にその他のVCL NALユニットの到着を待たなくてはならない。最悪の場
合、デコーダは、ピクチャの最後のVCL NALユニットの到着を待たなくてはならない。さ
らに、そのようなシステムは、ピクチャのためのPOCの導出の際にPOC MSBがリセットされ
るか否かを指定するために、IDR NALユニットのタイルグループヘッダ内でフラグをシグ
ナリングしてもよい。このメカニズムは、以下の問題を有する。混合されたCRA NALユニ
ットタイプおよび非IRAP NALユニットタイプの場合は、このメカニズムによってサポート
されない。さらに、VCL NALユニットのタイルグループ/スライスヘッダ内でこの情報をシ
グナリングすることは、IRAP(IDRまたはCRA) NALユニットがピクチャ内で非IRAP NALユニ
ットと混合されるかどうかのステータスに変更があるとき、ビットストリームの抽出また
は合併中に値が変更されることを必要とする。スライスヘッダのそのような書き換えは、
ユーザがビデオを要求するときにはいつも発生し、したがって、多大なハードウェアリソ
ースを必要とする。さらに、特定のIRAP NALユニットタイプおよび特定の非IRAP NALユニ
ットタイプの混合以外のピクチャ内の異なるNALユニットタイプのいくつかのその他の混
合が、許される。そのような柔軟性は、実用的なユースケースのサポートを提供しない一
方、それらは、コーデックの設計を複雑にし、それは、デコーダの複雑さを不必要に高め
、したがって、関連する実装のコストを上げる。
ypeの値の混合が許されないとき、ならびにピクチャがIRAPピクチャであるかどうかの導
出および変数NoRaslOutputFlagの導出がピクチャレベルで記述されるとき、デコーダは、
任意のピクチャの第1のVCL NALユニットを受信した後、これらの導出を実行し得る。しか
し、ピクチャ内の混合されたNALユニットタイプのサポートが原因で、デコーダは、上の
導出を実行する前にその他のVCL NALユニットの到着を待たなくてはならない。最悪の場
合、デコーダは、ピクチャの最後のVCL NALユニットの到着を待たなくてはならない。さ
らに、そのようなシステムは、ピクチャのためのPOCの導出の際にPOC MSBがリセットされ
るか否かを指定するために、IDR NALユニットのタイルグループヘッダ内でフラグをシグ
ナリングしてもよい。このメカニズムは、以下の問題を有する。混合されたCRA NALユニ
ットタイプおよび非IRAP NALユニットタイプの場合は、このメカニズムによってサポート
されない。さらに、VCL NALユニットのタイルグループ/スライスヘッダ内でこの情報をシ
グナリングすることは、IRAP(IDRまたはCRA) NALユニットがピクチャ内で非IRAP NALユニ
ットと混合されるかどうかのステータスに変更があるとき、ビットストリームの抽出また
は合併中に値が変更されることを必要とする。スライスヘッダのそのような書き換えは、
ユーザがビデオを要求するときにはいつも発生し、したがって、多大なハードウェアリソ
ースを必要とする。さらに、特定のIRAP NALユニットタイプおよび特定の非IRAP NALユニ
ットタイプの混合以外のピクチャ内の異なるNALユニットタイプのいくつかのその他の混
合が、許される。そのような柔軟性は、実用的なユースケースのサポートを提供しない一
方、それらは、コーデックの設計を複雑にし、それは、デコーダの複雑さを不必要に高め
、したがって、関連する実装のコストを上げる。
【0111】
概して、本開示は、ビデオコーディングにおけるサブピクチャまたはMCTSに基づくラン
ダムアクセスのサポートのための技術を説明する。より詳細には、本開示は、サブピクチ
ャまたはMCTSに基づくランダムアクセスをサポートするために使用される、ピクチャ内の
混合されたNALユニットタイプのサポートのための改善された設計を説明する。技術の説
明は、VVC規格に基づくが、その他のビデオ/メディアコーデック仕様にも当てはまる。
ダムアクセスのサポートのための技術を説明する。より詳細には、本開示は、サブピクチ
ャまたはMCTSに基づくランダムアクセスをサポートするために使用される、ピクチャ内の
混合されたNALユニットタイプのサポートのための改善された設計を説明する。技術の説
明は、VVC規格に基づくが、その他のビデオ/メディアコーデック仕様にも当てはまる。
【0112】
上の問題を解決するために、以下の例示的な実装が開示される。そのような実装は、個
々にまたは組み合わせて適用され得る。一例において、各ピクチャは、ピクチャが混合さ
れたnal_unit_typeの値を含むかどうかのインジケーションに関連付けられる。このイン
ジケーションは、PPS内でシグナリングされる。このインジケーションは、すべての参照
ピクチャを参照のために使用されないものとしてマーキングすることによってPOC MSBを
リセットすべきかどうかおよび/またはDPBをリセットすべきかどうかの判定をサポートす
る。インジケーションがPPS内でシグナリングされるとき、PPS内の値の変更は、合併また
は別個の抽出中に行われてもよい。しかし、これは、そのようなビットストリームの抽出
または合併中にPPSがその他のメカニズムによって書き換えられ、置き換えられるときに
許容され得る。
々にまたは組み合わせて適用され得る。一例において、各ピクチャは、ピクチャが混合さ
れたnal_unit_typeの値を含むかどうかのインジケーションに関連付けられる。このイン
ジケーションは、PPS内でシグナリングされる。このインジケーションは、すべての参照
ピクチャを参照のために使用されないものとしてマーキングすることによってPOC MSBを
リセットすべきかどうかおよび/またはDPBをリセットすべきかどうかの判定をサポートす
る。インジケーションがPPS内でシグナリングされるとき、PPS内の値の変更は、合併また
は別個の抽出中に行われてもよい。しかし、これは、そのようなビットストリームの抽出
または合併中にPPSがその他のメカニズムによって書き換えられ、置き換えられるときに
許容され得る。
【0113】
代替的に、このインジケーションは、タイルグループヘッダ内でシグナリングされるが
、ピクチャのすべてのタイルグループに関して同じであることを求められてもよい。しか
し、この場合、値が、MCTS/サブピクチャのシーケンスのサブビットストリームの抽出中
に変更される必要がある可能性がある。代替的に、このインジケーションは、NALユニッ
トヘッダ内でシグナリングされるが、ピクチャのすべてのタイルグループに関して同じで
あることを求められてもよい。しかし、この場合、値が、MCTS/サブピクチャのシーケン
スのサブビットストリームの抽出中に変更される必要がある可能性がある。代替的に、こ
のインジケーションは、ピクチャのために使用されるときにピクチャのすべてのVCL NAL
ユニットが同じNALユニットタイプの値を持つような追加的なVCL NALユニットタイプを定
義することによってシグナリングされてもよい。しかし、この場合、VCL NALユニットのN
ALユニットタイプの値が、MCTS/サブピクチャのシーケンスのサブビットストリームの抽
出中に変更される必要がある可能性がある。代替的に、このインジケーションは、ピクチ
ャのために使用されるときにピクチャのすべてのVCL NALユニットが同じNALユニットタイ
プの値を持つような追加的なIRAP VCL NALユニットタイプを定義することによってシグナ
リングされてもよい。しかし、この場合、VCL NALユニットのNALユニットタイプの値が、
MCTS/サブピクチャのシーケンスのサブビットストリームの抽出中に変更される必要があ
る可能性がある。代替的に、IRAP NALユニットタイプのいずれかの少なくとも1つのVCL N
ALユニットを有する各ピクチャが、ピクチャが混合されたNALユニットタイプの値を含む
かどうかのインジケーションに関連付けられてもよい。
、ピクチャのすべてのタイルグループに関して同じであることを求められてもよい。しか
し、この場合、値が、MCTS/サブピクチャのシーケンスのサブビットストリームの抽出中
に変更される必要がある可能性がある。代替的に、このインジケーションは、NALユニッ
トヘッダ内でシグナリングされるが、ピクチャのすべてのタイルグループに関して同じで
あることを求められてもよい。しかし、この場合、値が、MCTS/サブピクチャのシーケン
スのサブビットストリームの抽出中に変更される必要がある可能性がある。代替的に、こ
のインジケーションは、ピクチャのために使用されるときにピクチャのすべてのVCL NAL
ユニットが同じNALユニットタイプの値を持つような追加的なVCL NALユニットタイプを定
義することによってシグナリングされてもよい。しかし、この場合、VCL NALユニットのN
ALユニットタイプの値が、MCTS/サブピクチャのシーケンスのサブビットストリームの抽
出中に変更される必要がある可能性がある。代替的に、このインジケーションは、ピクチ
ャのために使用されるときにピクチャのすべてのVCL NALユニットが同じNALユニットタイ
プの値を持つような追加的なIRAP VCL NALユニットタイプを定義することによってシグナ
リングされてもよい。しかし、この場合、VCL NALユニットのNALユニットタイプの値が、
MCTS/サブピクチャのシーケンスのサブビットストリームの抽出中に変更される必要があ
る可能性がある。代替的に、IRAP NALユニットタイプのいずれかの少なくとも1つのVCL N
ALユニットを有する各ピクチャが、ピクチャが混合されたNALユニットタイプの値を含む
かどうかのインジケーションに関連付けられてもよい。
【0114】
さらに、混合されたIRAP NALユニットタイプおよび非IRAP NALユニットタイプのみを許
すことによって限られた方法でピクチャ内のnal_unit_typeの値の混合が可能にされるよ
うな制約が、適用されてもよい。任意の特定のピクチャに関して、すべてのVCL NALユニ
ットが同じNALユニットタイプを有するか、または一部のVCL NALユニットが特定のIRAP N
ALユニットタイプを有し、残りが特定の非IRAP VCL NALユニットタイプを有するかのどち
らかである。言い換えると、任意の特定のピクチャのVCL NALユニットは、2つ以上のIRAP
NALユニットタイプを持つことができず、2つ以上の非IRAP NALユニットタイプを持つこ
とができない。ピクチャは、ピクチャが混合されたnal_unit_typeの値を含まず、VCL NAL
ユニットがIRAP NALユニットタイプを有する場合にのみIRAPピクチャとみなされてもよい
。IRAP ピクチャに属さない(IDRを含む)すべてのIRAP NALユニットに関して、POC MSBは
、リセットされなくてもよい。IRAPピクチャに属さない(IDRを含む)すべてのIRAP NALユ
ニットに関して、DPBは、リセットされず、したがって、すべての参照ピクチャを参照の
ために使用されないものとしてマーキングすることは、実行されない。TemporalIdは、ピ
クチャの少なくとも1つのVCL NALユニットがIRAP NALユニットである場合、ピクチャに関
して0に等しいように設定されてもよい。
すことによって限られた方法でピクチャ内のnal_unit_typeの値の混合が可能にされるよ
うな制約が、適用されてもよい。任意の特定のピクチャに関して、すべてのVCL NALユニ
ットが同じNALユニットタイプを有するか、または一部のVCL NALユニットが特定のIRAP N
ALユニットタイプを有し、残りが特定の非IRAP VCL NALユニットタイプを有するかのどち
らかである。言い換えると、任意の特定のピクチャのVCL NALユニットは、2つ以上のIRAP
NALユニットタイプを持つことができず、2つ以上の非IRAP NALユニットタイプを持つこ
とができない。ピクチャは、ピクチャが混合されたnal_unit_typeの値を含まず、VCL NAL
ユニットがIRAP NALユニットタイプを有する場合にのみIRAPピクチャとみなされてもよい
。IRAP ピクチャに属さない(IDRを含む)すべてのIRAP NALユニットに関して、POC MSBは
、リセットされなくてもよい。IRAPピクチャに属さない(IDRを含む)すべてのIRAP NALユ
ニットに関して、DPBは、リセットされず、したがって、すべての参照ピクチャを参照の
ために使用されないものとしてマーキングすることは、実行されない。TemporalIdは、ピ
クチャの少なくとも1つのVCL NALユニットがIRAP NALユニットである場合、ピクチャに関
して0に等しいように設定されてもよい。
【0115】
以下は、上述の態様のうちの1つ以上の特定の実装である。IRAPピクチャは、mixed_nal
u_types_in_pic_flagの値が0に等しく、各VCL NALユニットがIDR_W_RADLおよびRSV_IRAP_
VCL13を含んでIDR_W_RADLからRSV_IRAP_VCL13までの範囲内のnal_unit_typeを有するコー
ディングされたピクチャとして定義されてもよい。例示的なPPSのシンタックスおよびセ
マンティクスは、以下の通りである。
mixed_nalu_types_in_pic_flagは、PPSを参照する各ピクチャが複数のVCL NALユニット
を有し、これらのNALユニットがnal_unit_typeの同じ値を持たないことを指定するために
0に等しいように設定される。mixed_nalu_types_in_pic_flagは、PPSを参照する各ピクチ
ャのVCL NALユニットがnal_unit_typeの同じ値を有することを指定するために0に等しい
ように設定される。
u_types_in_pic_flagの値が0に等しく、各VCL NALユニットがIDR_W_RADLおよびRSV_IRAP_
VCL13を含んでIDR_W_RADLからRSV_IRAP_VCL13までの範囲内のnal_unit_typeを有するコー
ディングされたピクチャとして定義されてもよい。例示的なPPSのシンタックスおよびセ
マンティクスは、以下の通りである。
【表2】
を有し、これらのNALユニットがnal_unit_typeの同じ値を持たないことを指定するために
0に等しいように設定される。mixed_nalu_types_in_pic_flagは、PPSを参照する各ピクチ
ャのVCL NALユニットがnal_unit_typeの同じ値を有することを指定するために0に等しい
ように設定される。
【0116】
例示的なタイルグループ/スライスヘッダのシンタックスは、以下の通りである。
【表3A】
【表3B】
【0117】
例示的なNALユニットヘッダのセマンティクスは、以下の通りである。任意の特定のピ
クチャのVCL NALユニットに関して、以下の2つの条件のうちのどちらかが満たされる。す
べてのVCL NALユニットが、nal_unit_typeの同じ値を有する。VCL NALユニットの一部が
、特定のIRAP NALユニットタイプの値(つまり、IDR_W_RADLおよびRSV_IRAP_VCL13を含ん
でIDR_W_RADLからRSV_IRAP_VCL13までの範囲内のnal_unit_typeの値)を有する一方、すべ
てのその他のVCL NALユニットは、特定の非IRAP VCL NALユニットタイプ(つまり、TRAIL_
NUTおよびRSV_VCL_7を含んでTRAIL_NUTからRSV_VCL_7までの範囲内またはRSV_VCL14およ
びRSV_VCL15を含んでRSV_VCL14からRSV_VCL15までの範囲内のnal_unit_typeの値)を有す
る。nuh_temporal_id_plus1から1を引いた値は、NALユニットに関する時間識別子(tempor
al identifier)を指定する。nuh_temporal_id_plus1の値は、0に等しくない。
クチャのVCL NALユニットに関して、以下の2つの条件のうちのどちらかが満たされる。す
べてのVCL NALユニットが、nal_unit_typeの同じ値を有する。VCL NALユニットの一部が
、特定のIRAP NALユニットタイプの値(つまり、IDR_W_RADLおよびRSV_IRAP_VCL13を含ん
でIDR_W_RADLからRSV_IRAP_VCL13までの範囲内のnal_unit_typeの値)を有する一方、すべ
てのその他のVCL NALユニットは、特定の非IRAP VCL NALユニットタイプ(つまり、TRAIL_
NUTおよびRSV_VCL_7を含んでTRAIL_NUTからRSV_VCL_7までの範囲内またはRSV_VCL14およ
びRSV_VCL15を含んでRSV_VCL14からRSV_VCL15までの範囲内のnal_unit_typeの値)を有す
る。nuh_temporal_id_plus1から1を引いた値は、NALユニットに関する時間識別子(tempor
al identifier)を指定する。nuh_temporal_id_plus1の値は、0に等しくない。
【0118】
変数TemporalIdは、以下のように導出される。
TemporalId = nuh_temporal_id_plus1 - 1 (7-1)
TemporalId = nuh_temporal_id_plus1 - 1 (7-1)
【0119】
nal_unit_typeがピクチャのVCL NALユニットに関してIDR_W_RADLおよびRSV_IRAP_VCL13
を含んでIDR_W_RADLからRSV_IRAP_VCL13までの範囲内にあるとき、ピクチャのその他のVC
L NALユニットのnal_unit_typeの値と無関係に、TemporalIdは、ピクチャのすべてのVCL
NALユニットに関して0に等しい。TemporalIdの値は、アクセスユニットのすべてのVCL NA
Lユニットに関して同じである。コーディングされたピクチャまたはアクセスユニットのT
emporalIdの値は、コーディングされたピクチャまたはアクセスユニットのVCL NALユニッ
トのTemporalIdの値である。
を含んでIDR_W_RADLからRSV_IRAP_VCL13までの範囲内にあるとき、ピクチャのその他のVC
L NALユニットのnal_unit_typeの値と無関係に、TemporalIdは、ピクチャのすべてのVCL
NALユニットに関して0に等しい。TemporalIdの値は、アクセスユニットのすべてのVCL NA
Lユニットに関して同じである。コーディングされたピクチャまたはアクセスユニットのT
emporalIdの値は、コーディングされたピクチャまたはアクセスユニットのVCL NALユニッ
トのTemporalIdの値である。
【0120】
コーディングされたピクチャのための例示的な復号プロセスは、以下の通りである。復
号プロセスは、現在のピクチャCurrPicに関して以下のように動作する。NALユニットの復
号が、本明細書において詳細に示される。以下の復号プロセスは、タイルグループヘッダ
のレイヤおよびそれよりも上位のレイヤのシンタックス要素を使用する。ピクチャ順序カ
ウントに関連する変数および関数が、本明細書において詳細に示されるように導出される
。これは、ピクチャの最初のタイルグループ/スライスに関してのみ呼び出される。各タ
イルグループ/スライスに関する復号プロセスの初めに、参照ピクチャリストの構築のた
めの復号プロセスが、参照ピクチャリスト0(RefPicList[ 0 ])および参照ピクチャリスト
1(RefPicList[ 1 ])の導出のために呼び出される。現在のピクチャがIDRピクチャである
場合、次いで、参照ピクチャリストの構築のための復号プロセスが、ビットストリームの
適合性を検査する目的で呼び出されてもよいが、現在のピクチャまたは復号順で現在のピ
クチャに続くピクチャの復号のためには必要でなくてもよい。
号プロセスは、現在のピクチャCurrPicに関して以下のように動作する。NALユニットの復
号が、本明細書において詳細に示される。以下の復号プロセスは、タイルグループヘッダ
のレイヤおよびそれよりも上位のレイヤのシンタックス要素を使用する。ピクチャ順序カ
ウントに関連する変数および関数が、本明細書において詳細に示されるように導出される
。これは、ピクチャの最初のタイルグループ/スライスに関してのみ呼び出される。各タ
イルグループ/スライスに関する復号プロセスの初めに、参照ピクチャリストの構築のた
めの復号プロセスが、参照ピクチャリスト0(RefPicList[ 0 ])および参照ピクチャリスト
1(RefPicList[ 1 ])の導出のために呼び出される。現在のピクチャがIDRピクチャである
場合、次いで、参照ピクチャリストの構築のための復号プロセスが、ビットストリームの
適合性を検査する目的で呼び出されてもよいが、現在のピクチャまたは復号順で現在のピ
クチャに続くピクチャの復号のためには必要でなくてもよい。
【0121】
参照ピクチャリストの構築のための復号プロセスは、以下の通りである。このプロセス
は、各タイルグループに関する復号プロセスの初めに呼び出される。参照ピクチャは、参
照インデックスによってアドレス指定される。参照インデックスは、参照ピクチャリスト
へのインデックスである。Iタイルグループを復号するとき、参照ピクチャリストは、タ
イルグループデータの復号において使用されない。Pタイルグループを復号するときは、
参照ピクチャリスト0(RefPicList[ 0 ])のみが、タイルグループデータの復号において使
用される。Bタイルグループを復号するときは、参照ピクチャリスト0と参照ピクチャリス
ト1(RefPicList[ 1 ])との両方が、タイルグループデータの復号において使用される。各
タイルグループに関する復号プロセスの初めに、参照ピクチャリストRefPicList[ 0 ]お
よびRefPicList[ 1 ]が、導出される。参照ピクチャリストは、参照ピクチャのマーキン
グにおいてまたはタイルグループデータの復号において使用される。IDRピクチャのすべ
てのタイルグループまたは非IDRピクチャのIタイルグループに関しては、RefPicList[ 0
]およびRefPicList[ 1 ]が、ビットストリームの適合性を検査する目的で導出されてもよ
いが、それらの導出は、現在のピクチャまたは復号順で現在のピクチャに続くピクチャの
復号のために必要ではない。Pタイルグループに関しては、RefPicList[ 1 ]が、ビットス
トリームの適合性を検査する目的で導出されてもよいが、導出は、現在のピクチャまたは
復号順で現在のピクチャに続くピクチャの復号のために必要ではない。
は、各タイルグループに関する復号プロセスの初めに呼び出される。参照ピクチャは、参
照インデックスによってアドレス指定される。参照インデックスは、参照ピクチャリスト
へのインデックスである。Iタイルグループを復号するとき、参照ピクチャリストは、タ
イルグループデータの復号において使用されない。Pタイルグループを復号するときは、
参照ピクチャリスト0(RefPicList[ 0 ])のみが、タイルグループデータの復号において使
用される。Bタイルグループを復号するときは、参照ピクチャリスト0と参照ピクチャリス
ト1(RefPicList[ 1 ])との両方が、タイルグループデータの復号において使用される。各
タイルグループに関する復号プロセスの初めに、参照ピクチャリストRefPicList[ 0 ]お
よびRefPicList[ 1 ]が、導出される。参照ピクチャリストは、参照ピクチャのマーキン
グにおいてまたはタイルグループデータの復号において使用される。IDRピクチャのすべ
てのタイルグループまたは非IDRピクチャのIタイルグループに関しては、RefPicList[ 0
]およびRefPicList[ 1 ]が、ビットストリームの適合性を検査する目的で導出されてもよ
いが、それらの導出は、現在のピクチャまたは復号順で現在のピクチャに続くピクチャの
復号のために必要ではない。Pタイルグループに関しては、RefPicList[ 1 ]が、ビットス
トリームの適合性を検査する目的で導出されてもよいが、導出は、現在のピクチャまたは
復号順で現在のピクチャに続くピクチャの復号のために必要ではない。
【0122】
図8は、例示的なビデオコーディングデバイス800の概略図である。ビデオコーディング
デバイス800は、本明細書において説明されるように開示される例/実施形態を実装するの
に好適である。ビデオコーディングデバイス800は、ダウンストリームポート820、アップ
ストリームポート850、ならびに/またはネットワークを介して上流におよび/もしくは下
流にデータを伝達するための送信機および/もしくは受信機を含むトランシーバユニット(
Tx/Rx)810を含む。ビデオコーディングデバイス800は、データを処理するための論理ユニ
ットおよび/または中央演算処理装置(CPU)を含むプロセッサ830と、データを記憶するた
めのメモリ832とをさらに含む。ビデオコーディングデバイス800は、電気、光、またはワ
イヤレス通信ネットワークを介したデータの通信のためにアップストリームポート850お
よび/またはダウンストリームポート820に結合された電気、光-電気(OE)構成要素、電気-
光(EO)構成要素、および/またはワイヤレス通信構成要素も含んでもよい。ビデオコーデ
ィングデバイス800は、ユーザにおよびユーザからデータを伝達するための入力および/ま
たは出力(I/O)デバイス860も含んでもよい。I/Oデバイス860は、ビデオデータを表示する
ためのディスプレイ、オーディオデータを出力するためのスピーカなどの出力デバイスを
含んでもよい。I/Oデバイス860は、キーボード、マウス、トラックボールなどの入力デバ
イス、および/またはそのような出力デバイスとインタラクションするための対応するイ
ンターフェースも含んでもよい。
デバイス800は、本明細書において説明されるように開示される例/実施形態を実装するの
に好適である。ビデオコーディングデバイス800は、ダウンストリームポート820、アップ
ストリームポート850、ならびに/またはネットワークを介して上流におよび/もしくは下
流にデータを伝達するための送信機および/もしくは受信機を含むトランシーバユニット(
Tx/Rx)810を含む。ビデオコーディングデバイス800は、データを処理するための論理ユニ
ットおよび/または中央演算処理装置(CPU)を含むプロセッサ830と、データを記憶するた
めのメモリ832とをさらに含む。ビデオコーディングデバイス800は、電気、光、またはワ
イヤレス通信ネットワークを介したデータの通信のためにアップストリームポート850お
よび/またはダウンストリームポート820に結合された電気、光-電気(OE)構成要素、電気-
光(EO)構成要素、および/またはワイヤレス通信構成要素も含んでもよい。ビデオコーデ
ィングデバイス800は、ユーザにおよびユーザからデータを伝達するための入力および/ま
たは出力(I/O)デバイス860も含んでもよい。I/Oデバイス860は、ビデオデータを表示する
ためのディスプレイ、オーディオデータを出力するためのスピーカなどの出力デバイスを
含んでもよい。I/Oデバイス860は、キーボード、マウス、トラックボールなどの入力デバ
イス、および/またはそのような出力デバイスとインタラクションするための対応するイ
ンターフェースも含んでもよい。
【0123】
プロセッサ830は、ハードウェアおよびソフトウェアによって実装される。プロセッサ8
30は、1つ以上のCPUチップ、コア(たとえば、マルチコアプロセッサとして)、フィールド
プログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、およびデジタル信号
プロセッサ(DSP)として実装されてもよい。プロセッサ830は、ダウンストリームポート82
0、Tx/Rx 810、アップストリームポート850、およびメモリ832と通信する。プロセッサ83
0は、コーディングモジュール814を含む。コーディングモジュール814は、CVS 500、VRピ
クチャビデオストリーム600、および/またはビットストリーム700を使用してもよい、方
法100、900、および1000などの本明細書において説明される開示される実施形態を実装す
る。コーディングモジュール814は、本明細書において説明される任意のその他の方法/メ
カニズムも実装してもよい。さらに、コーディングモジュール814は、コーデックシステ
ム200、エンコーダ300、および/またはデコーダ400を実装してもよい。たとえば、コーデ
ィングモジュール814は、ピクチャがIRAP NALユニットと非IRAP NALユニットとの両方を
含むときを示し、単一のタイプのIRAP NALユニットおよび単一のタイプの非IRAP NALユニ
ットのみを含むようにそのようなピクチャを制約するためのPPS内のフラグを設定し得る
。したがって、コーディングモジュール814は、ビデオデータをコーディングするときに
ビデオコーディングデバイス800に追加的な機能および/またはコーディング効率を提供さ
せる。したがって、コーディングモジュール814は、ビデオコーディングデバイス800の機
能性を高め、ビデオコーディング技術に固有の問題に対処する。さらに、コーディングモ
ジュール814は、異なる状態へのビデオコーディングデバイス800の転換をもたらす。代替
的に、コーディングモジュール814は、メモリ832に記憶され、プロセッサ830によって実
行される命令として(たとえば、非一時的媒体に記憶されたコンピュータプログラム製品
として)実装され得る。
30は、1つ以上のCPUチップ、コア(たとえば、マルチコアプロセッサとして)、フィールド
プログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、およびデジタル信号
プロセッサ(DSP)として実装されてもよい。プロセッサ830は、ダウンストリームポート82
0、Tx/Rx 810、アップストリームポート850、およびメモリ832と通信する。プロセッサ83
0は、コーディングモジュール814を含む。コーディングモジュール814は、CVS 500、VRピ
クチャビデオストリーム600、および/またはビットストリーム700を使用してもよい、方
法100、900、および1000などの本明細書において説明される開示される実施形態を実装す
る。コーディングモジュール814は、本明細書において説明される任意のその他の方法/メ
カニズムも実装してもよい。さらに、コーディングモジュール814は、コーデックシステ
ム200、エンコーダ300、および/またはデコーダ400を実装してもよい。たとえば、コーデ
ィングモジュール814は、ピクチャがIRAP NALユニットと非IRAP NALユニットとの両方を
含むときを示し、単一のタイプのIRAP NALユニットおよび単一のタイプの非IRAP NALユニ
ットのみを含むようにそのようなピクチャを制約するためのPPS内のフラグを設定し得る
。したがって、コーディングモジュール814は、ビデオデータをコーディングするときに
ビデオコーディングデバイス800に追加的な機能および/またはコーディング効率を提供さ
せる。したがって、コーディングモジュール814は、ビデオコーディングデバイス800の機
能性を高め、ビデオコーディング技術に固有の問題に対処する。さらに、コーディングモ
ジュール814は、異なる状態へのビデオコーディングデバイス800の転換をもたらす。代替
的に、コーディングモジュール814は、メモリ832に記憶され、プロセッサ830によって実
行される命令として(たとえば、非一時的媒体に記憶されたコンピュータプログラム製品
として)実装され得る。
【0124】
メモリ832は、ディスク、テープドライブ、ソリッドステートドライブ、読み取り専用
メモリ(ROM)、ランダムアクセスメモリ(RAM)、フラッシュメモリ、3値連想メモリ(TCAM:
ternary content-addressable memory)、スタティックランダムアクセスメモリ(SRAM)な
どの1つ以上のメモリを含む。メモリ832は、プログラムが実行するために選択されるとき
にそのようなプログラムを記憶するためならびにプログラムの実行中に読まれる命令およ
びデータを記憶するためのオーバーフローデータストレージデバイス(over-flow data st
orage device)として使用されてもよい。
メモリ(ROM)、ランダムアクセスメモリ(RAM)、フラッシュメモリ、3値連想メモリ(TCAM:
ternary content-addressable memory)、スタティックランダムアクセスメモリ(SRAM)な
どの1つ以上のメモリを含む。メモリ832は、プログラムが実行するために選択されるとき
にそのようなプログラムを記憶するためならびにプログラムの実行中に読まれる命令およ
びデータを記憶するためのオーバーフローデータストレージデバイス(over-flow data st
orage device)として使用されてもよい。
【0125】
図9は、複数のビデオ解像度の複数のサブピクチャビデオストリーム601～603から合併
されたVRピクチャビデオストリーム600を含むビットストリーム700などのビットストリー
ムに混合されたNALユニットタイプを有するピクチャを含むCVS 500などのビデオシーケン
スを符号化する例示的な方法900の流れ図である。方法900は、方法100を実行していると
きにコーデックシステム200、エンコーダ300、および/またはビデオコーディングデバイ
ス800などのエンコーダによって使用されてもよい。
されたVRピクチャビデオストリーム600を含むビットストリーム700などのビットストリー
ムに混合されたNALユニットタイプを有するピクチャを含むCVS 500などのビデオシーケン
スを符号化する例示的な方法900の流れ図である。方法900は、方法100を実行していると
きにコーデックシステム200、エンコーダ300、および/またはビデオコーディングデバイ
ス800などのエンコーダによって使用されてもよい。
【0126】
方法900は、エンコーダがVRピクチャなどの複数のピクチャを含むビデオシーケンスを
受信し、たとえば、ユーザ入力に基づいてそのビデオシーケンスをビットストリームに符
号化すると決定するときに始まってもよい。ステップ901において、現在のピクチャが異
なるタイプの複数のサブピクチャを含むかどうかをエンコーダが判定する。そのようなタ
イプは、IRAPサブピクチャの一部を含むピクチャの少なくとも1つのスライスおよび非IRA
P NALサブピクチャの一部を含むピクチャの少なくとも1つのスライスを含んでもよい。ス
テップ903において、エンコーダが、ピクチャのサブピクチャのスライスをビットストリ
ーム内の複数のVCL NALユニットに符号化する。そのようなVCL NALユニットは、1つ以上
のIRAP NALユニットおよび1つ以上の非IRAP NALユニットを含んでもよい。たとえば、符
号化ステップは、デコーダに伝達するために異なる解像度のサブビットストリームを単一
のビットストリームに合併することを含んでもよい。
受信し、たとえば、ユーザ入力に基づいてそのビデオシーケンスをビットストリームに符
号化すると決定するときに始まってもよい。ステップ901において、現在のピクチャが異
なるタイプの複数のサブピクチャを含むかどうかをエンコーダが判定する。そのようなタ
イプは、IRAPサブピクチャの一部を含むピクチャの少なくとも1つのスライスおよび非IRA
P NALサブピクチャの一部を含むピクチャの少なくとも1つのスライスを含んでもよい。ス
テップ903において、エンコーダが、ピクチャのサブピクチャのスライスをビットストリ
ーム内の複数のVCL NALユニットに符号化する。そのようなVCL NALユニットは、1つ以上
のIRAP NALユニットおよび1つ以上の非IRAP NALユニットを含んでもよい。たとえば、符
号化ステップは、デコーダに伝達するために異なる解像度のサブビットストリームを単一
のビットストリームに合併することを含んでもよい。
【0127】
ステップ905において、エンコーダが、PPSをビットストリームに符号化し、フラグをビ
ットストリーム内のPPSに符号化する。特定の例として、PPSを符号化することは、たとえ
ば、サブビットストリームの合併に応じて、既に符号化されたPPSをフラグの値を含むよ
うに変更することを含んでもよい。フラグは、NALユニットタイプの値がピクチャに関連
するすべてのVCL NALユニットに関して同じであるとき、第1の値に設定されてもよい。ま
た、フラグは、ピクチャのサブピクチャのうちの1つ以上を含むVCL NALユニットに関する
第1のNALユニットタイプの値がピクチャのサブピクチャのうちの1つ以上を含むVCL NALユ
ニットに関する第2のNALユニットタイプの値と異なるとき、第2の値に設定されてもよい
。たとえば、第1のNALユニットタイプの値は、ピクチャがIRAPサブピクチャを含むことを
示してもよく、第2のNALユニットタイプの値は、ピクチャが非IRAPサブピクチャも含むこ
とを示してもよい。さらに、第1のNALユニットタイプの値は、IDR_W_RADL、IDR_N_LP、ま
たはCRA_NUTのうちの1つに等しくてもよい。さらに、第2のNALユニットタイプの値は、TR
AIL_NUT、RADL_NUT、またはRASL_NUTのうちの1つに等しくてもよい。特定の例として、フ
ラグは、mixed_nalu_types_in_pic_flagであってもよい。特定の例において、mixed_nalu
_types_in_pic_flagは、フラグを含むPPSを参照する各ピクチャが2つ以上のVCL NALユニ
ットを有することを指定するために1に等しいように設定されてもよい。さらには、フラ
グは、対応するピクチャに関連するVCL NALユニットがすべてNALユニットタイプ(nal_uni
t_type)の同じ値を持つわけではないことを指定する。別の特定の例において、mixed_nal
u_types_in_pic_flagは、フラグを含むPPSを参照する各ピクチャが1つ以上のVCL NALユニ
ットを有することを指定するために0に等しいように設定されてもよい。さらに、フラグ
は、対応するピクチャのすべてのVCL NALユニットがnal_unit_typeの同じ値を有すること
を指定する。
ットストリーム内のPPSに符号化する。特定の例として、PPSを符号化することは、たとえ
ば、サブビットストリームの合併に応じて、既に符号化されたPPSをフラグの値を含むよ
うに変更することを含んでもよい。フラグは、NALユニットタイプの値がピクチャに関連
するすべてのVCL NALユニットに関して同じであるとき、第1の値に設定されてもよい。ま
た、フラグは、ピクチャのサブピクチャのうちの1つ以上を含むVCL NALユニットに関する
第1のNALユニットタイプの値がピクチャのサブピクチャのうちの1つ以上を含むVCL NALユ
ニットに関する第2のNALユニットタイプの値と異なるとき、第2の値に設定されてもよい
。たとえば、第1のNALユニットタイプの値は、ピクチャがIRAPサブピクチャを含むことを
示してもよく、第2のNALユニットタイプの値は、ピクチャが非IRAPサブピクチャも含むこ
とを示してもよい。さらに、第1のNALユニットタイプの値は、IDR_W_RADL、IDR_N_LP、ま
たはCRA_NUTのうちの1つに等しくてもよい。さらに、第2のNALユニットタイプの値は、TR
AIL_NUT、RADL_NUT、またはRASL_NUTのうちの1つに等しくてもよい。特定の例として、フ
ラグは、mixed_nalu_types_in_pic_flagであってもよい。特定の例において、mixed_nalu
_types_in_pic_flagは、フラグを含むPPSを参照する各ピクチャが2つ以上のVCL NALユニ
ットを有することを指定するために1に等しいように設定されてもよい。さらには、フラ
グは、対応するピクチャに関連するVCL NALユニットがすべてNALユニットタイプ(nal_uni
t_type)の同じ値を持つわけではないことを指定する。別の特定の例において、mixed_nal
u_types_in_pic_flagは、フラグを含むPPSを参照する各ピクチャが1つ以上のVCL NALユニ
ットを有することを指定するために0に等しいように設定されてもよい。さらに、フラグ
は、対応するピクチャのすべてのVCL NALユニットがnal_unit_typeの同じ値を有すること
を指定する。
【0128】
ステップ907において、エンコーダが、デコーダに伝達するためのビットストリームを
記憶してもよい。
記憶してもよい。
【0129】
図10は、複数のビデオ解像度の複数のサブピクチャビデオストリーム601～603から合併
されたVRピクチャビデオストリーム600を含むビットストリーム700などのビットストリー
ムから混合されたNALユニットタイプを有するピクチャを含むCVS 500などのビデオシーケ
ンスを復号する例示的な方法1000の流れ図である。方法1000は、方法100を実行している
ときにコーデックシステム200、デコーダ400、および/またはビデオコーディングデバイ
ス800などのデコーダによって使用されてもよい。
されたVRピクチャビデオストリーム600を含むビットストリーム700などのビットストリー
ムから混合されたNALユニットタイプを有するピクチャを含むCVS 500などのビデオシーケ
ンスを復号する例示的な方法1000の流れ図である。方法1000は、方法100を実行している
ときにコーデックシステム200、デコーダ400、および/またはビデオコーディングデバイ
ス800などのデコーダによって使用されてもよい。
【0130】
方法1000は、たとえば、方法900の結果としてビデオシーケンスを表すコーディングさ
れたデータのビットストリームをデコーダが受信し始めるときに開始してもよい。ステッ
プ1001において、デコーダが、ビットストリームを受信する。ビットストリームは、ピク
チャに関連する複数のサブピクチャおよびフラグを含む。特定の例において、ビットスト
リームは、フラグを含むPPSを含んでもよい。さらに、サブピクチャは、複数のVCL NALユ
ニットに含まれる。たとえば、サブピクチャに関連するスライスが、VCL NALユニットに
含まれる。
れたデータのビットストリームをデコーダが受信し始めるときに開始してもよい。ステッ
プ1001において、デコーダが、ビットストリームを受信する。ビットストリームは、ピク
チャに関連する複数のサブピクチャおよびフラグを含む。特定の例において、ビットスト
リームは、フラグを含むPPSを含んでもよい。さらに、サブピクチャは、複数のVCL NALユ
ニットに含まれる。たとえば、サブピクチャに関連するスライスが、VCL NALユニットに
含まれる。
【0131】
ステップ1003において、フラグが第1の値に設定されているとき、デコーダが、NALユニ
ットタイプの値がピクチャに関連するすべてのVCL NALユニットに関して同じであると判
定する。さらに、フラグが第2の値に設定されているとき、デコーダは、ピクチャのサブ
ピクチャのうちの1つ以上を含むVCL NALユニットに関する第1のNALユニットタイプの値が
ピクチャのサブピクチャのうちの1つ以上を含むVCL NALユニットに関する第2のNALユニッ
トタイプの値と異なると判定する。たとえば、第1のNALユニットタイプの値は、ピクチャ
がIRAPサブピクチャを含むことを示してもよく、第2のNALユニットタイプの値は、ピクチ
ャが非IRAPサブピクチャも含むことを示してもよい。さらに、第1のNALユニットタイプの
値は、IDR_W_RADL、IDR_N_LP、またはCRA_NUTのうちの1つに等しくてもよい。さらに、第
2のNALユニットタイプの値は、TRAIL_NUT、RADL_NUT、またはRASL_NUTのうちの1つに等し
くてもよい。特定の例として、フラグは、mixed_nalu_types_in_pic_flagであってもよい
。mixed_nalu_types_in_pic_flagは、PPSを参照する各ピクチャが2つ以上のVCL NALユニ
ットを有し、VCL NALユニットがNALユニットタイプ(nal_unit_type)の同じ値を持たない
ことを指定するとき、1に等しいように設定されてもよい。また、mixed_nalu_types_in_p
ic_flagは、PPSを参照する各ピクチャが1つ以上のVCL NALユニットを有し、PPSを参照す
る各ピクチャのVCL NALユニットがnal_unit_typeの同じ値を有するとき、0に等しいよう
に設定されてもよい。
ットタイプの値がピクチャに関連するすべてのVCL NALユニットに関して同じであると判
定する。さらに、フラグが第2の値に設定されているとき、デコーダは、ピクチャのサブ
ピクチャのうちの1つ以上を含むVCL NALユニットに関する第1のNALユニットタイプの値が
ピクチャのサブピクチャのうちの1つ以上を含むVCL NALユニットに関する第2のNALユニッ
トタイプの値と異なると判定する。たとえば、第1のNALユニットタイプの値は、ピクチャ
がIRAPサブピクチャを含むことを示してもよく、第2のNALユニットタイプの値は、ピクチ
ャが非IRAPサブピクチャも含むことを示してもよい。さらに、第1のNALユニットタイプの
値は、IDR_W_RADL、IDR_N_LP、またはCRA_NUTのうちの1つに等しくてもよい。さらに、第
2のNALユニットタイプの値は、TRAIL_NUT、RADL_NUT、またはRASL_NUTのうちの1つに等し
くてもよい。特定の例として、フラグは、mixed_nalu_types_in_pic_flagであってもよい
。mixed_nalu_types_in_pic_flagは、PPSを参照する各ピクチャが2つ以上のVCL NALユニ
ットを有し、VCL NALユニットがNALユニットタイプ(nal_unit_type)の同じ値を持たない
ことを指定するとき、1に等しいように設定されてもよい。また、mixed_nalu_types_in_p
ic_flagは、PPSを参照する各ピクチャが1つ以上のVCL NALユニットを有し、PPSを参照す
る各ピクチャのVCL NALユニットがnal_unit_typeの同じ値を有するとき、0に等しいよう
に設定されてもよい。
【0132】
ステップ1005において、デコーダが、NALユニットタイプの値に基づいてサブピクチャ
のうちの1つ以上を復号してもよい。また、デコーダは、ステップ1007において、復号さ
れたビデオシーケンスの一部として表示するためにサブピクチャのうちの1つ以上を転送
してもよい。
のうちの1つ以上を復号してもよい。また、デコーダは、ステップ1007において、復号さ
れたビデオシーケンスの一部として表示するためにサブピクチャのうちの1つ以上を転送
してもよい。
【0133】
図11は、複数のビデオ解像度の複数のサブピクチャビデオストリーム601～603から合併
されたVRピクチャビデオストリーム600を含むビットストリーム700などのビットストリー
ムに混合されたNALユニットタイプを有するピクチャを含むCVS 500などのビデオシーケン
スをコーディングするための例示的なシステム1100の概略図である。システム1100は、コ
ーデックシステム200、エンコーダ300、デコーダ400、および/またはビデオコーディング
デバイス800などのエンコーダおよびデコーダによって実装されてもよい。さらに、シス
テム1100は、方法100、900、および/または1000を実施するときに使用されてもよい。
されたVRピクチャビデオストリーム600を含むビットストリーム700などのビットストリー
ムに混合されたNALユニットタイプを有するピクチャを含むCVS 500などのビデオシーケン
スをコーディングするための例示的なシステム1100の概略図である。システム1100は、コ
ーデックシステム200、エンコーダ300、デコーダ400、および/またはビデオコーディング
デバイス800などのエンコーダおよびデコーダによって実装されてもよい。さらに、シス
テム1100は、方法100、900、および/または1000を実施するときに使用されてもよい。
【0134】
システム1100は、ビデオエンコーダ1102を含む。ビデオエンコーダ1102は、ピクチャが
異なるタイプの複数のサブピクチャを含むかどうかを判定するための判定モジュール1101
を含む。ビデオエンコーダ1102は、ピクチャのサブピクチャをビットストリーム内の複数
のVCL NALユニットに符号化するための符号化モジュール1103をさらに含む。さらに、符
号化モジュール1103は、NALユニットタイプの値がピクチャに関連するすべてのVCL NALユ
ニットに関して同じであるときに第1の値に設定され、ピクチャのサブピクチャのうちの1
つ以上を含むVCL NALユニットに関する第1のNALユニットタイプの値がピクチャのサブピ
クチャのうちの1つ以上を含むVCL NALユニットに関する第2のNALユニットタイプの値と異
なるときに第2の値に設定されたフラグをビットストリームに符号化するためのものであ
る。ビデオエンコーダ1102は、デコーダに伝達するためのビットストリームを記憶するた
めの記憶モジュール1105をさらに含む。ビデオエンコーダ1102は、ビットストリームをビ
デオデコーダ1110に送信するための送信モジュール1107をさらに含む。ビデオエンコーダ
1102は、方法900のステップのいずれかを実行するようにさらに構成されてもよい。
異なるタイプの複数のサブピクチャを含むかどうかを判定するための判定モジュール1101
を含む。ビデオエンコーダ1102は、ピクチャのサブピクチャをビットストリーム内の複数
のVCL NALユニットに符号化するための符号化モジュール1103をさらに含む。さらに、符
号化モジュール1103は、NALユニットタイプの値がピクチャに関連するすべてのVCL NALユ
ニットに関して同じであるときに第1の値に設定され、ピクチャのサブピクチャのうちの1
つ以上を含むVCL NALユニットに関する第1のNALユニットタイプの値がピクチャのサブピ
クチャのうちの1つ以上を含むVCL NALユニットに関する第2のNALユニットタイプの値と異
なるときに第2の値に設定されたフラグをビットストリームに符号化するためのものであ
る。ビデオエンコーダ1102は、デコーダに伝達するためのビットストリームを記憶するた
めの記憶モジュール1105をさらに含む。ビデオエンコーダ1102は、ビットストリームをビ
デオデコーダ1110に送信するための送信モジュール1107をさらに含む。ビデオエンコーダ
1102は、方法900のステップのいずれかを実行するようにさらに構成されてもよい。
【0135】
システム1100は、ビデオデコーダ1110も含む。ビデオデコーダ1110は、ピクチャに関連
する複数のサブピクチャおよびフラグを含むビットストリームを受信するための受信モジ
ュール1111を含む、サブピクチャは、複数のVCL NALユニットに含まれる。ビデオデコー
ダ1110は、フラグが第1の値に設定されているとき、NALユニットタイプの値がピクチャに
関連するすべてのVCL NALユニットに関して同じであると判定する判定モジュール1113を
さらに含む。さらに、判定モジュール1113は、フラグが第2の値に設定されているとき、
ピクチャのサブピクチャのうちの1つ以上を含むVCL NALユニットに関する第1のNALユニッ
トタイプの値がピクチャのサブピクチャのうちの1つ以上を含むVCL NALユニットに関する
第2のNALユニットタイプの値と異なると判定するためのものである。ビデオデコーダ1110
は、NALユニットタイプの値に基づいてサブピクチャのうちの1つ以上を復号するための復
号モジュール1115をさらに含む。ビデオデコーダ1110は、復号されたビデオシーケンスの
一部として表示するためのサブピクチャのうちの1つ以上を転送するための転送モジュー
ル1117をさらに含む。ビデオデコーダ1110は、方法1000のステップのいずれかを実行する
ようにさらに構成されてもよい。
する複数のサブピクチャおよびフラグを含むビットストリームを受信するための受信モジ
ュール1111を含む、サブピクチャは、複数のVCL NALユニットに含まれる。ビデオデコー
ダ1110は、フラグが第1の値に設定されているとき、NALユニットタイプの値がピクチャに
関連するすべてのVCL NALユニットに関して同じであると判定する判定モジュール1113を
さらに含む。さらに、判定モジュール1113は、フラグが第2の値に設定されているとき、
ピクチャのサブピクチャのうちの1つ以上を含むVCL NALユニットに関する第1のNALユニッ
トタイプの値がピクチャのサブピクチャのうちの1つ以上を含むVCL NALユニットに関する
第2のNALユニットタイプの値と異なると判定するためのものである。ビデオデコーダ1110
は、NALユニットタイプの値に基づいてサブピクチャのうちの1つ以上を復号するための復
号モジュール1115をさらに含む。ビデオデコーダ1110は、復号されたビデオシーケンスの
一部として表示するためのサブピクチャのうちの1つ以上を転送するための転送モジュー
ル1117をさらに含む。ビデオデコーダ1110は、方法1000のステップのいずれかを実行する
ようにさらに構成されてもよい。
【0136】
第1の構成要素は、第1の構成要素と第2の構成要素との間の回線、トレース、または別
の媒体を除いて仲介構成要素がないとき、第2の構成要素に直接結合される。第1の構成要
素は、第1の構成要素と第2の構成要素との間の回線、トレース、または別の媒体以外の仲
介構成要素があるとき、第2の構成要素に間接的に結合される。用語「結合される」およ
びその変化形は、直接的に結合されると間接的に結合されるとの両方を含む。用語「約」
の使用は、そうでないことが述べられない限り、その後の数の±10%を含む範囲を意味す
る。
の媒体を除いて仲介構成要素がないとき、第2の構成要素に直接結合される。第1の構成要
素は、第1の構成要素と第2の構成要素との間の回線、トレース、または別の媒体以外の仲
介構成要素があるとき、第2の構成要素に間接的に結合される。用語「結合される」およ
びその変化形は、直接的に結合されると間接的に結合されるとの両方を含む。用語「約」
の使用は、そうでないことが述べられない限り、その後の数の±10%を含む範囲を意味す
る。
【0137】
本明細書において説明された例示的な方法のステップは、必ずしも説明された順序で実
行されることを求められず、そのような方法のステップの順序は、例示的であるに過ぎな
いと理解されるべきであることも理解されたい。同様に、さらなるステップが、そのよう
な方法に含まれてもよく、特定のステップが、本開示の様々な実施形態に一致する方法に
おいては省略されるかまたは組み合わされてもよい。
行されることを求められず、そのような方法のステップの順序は、例示的であるに過ぎな
いと理解されるべきであることも理解されたい。同様に、さらなるステップが、そのよう
な方法に含まれてもよく、特定のステップが、本開示の様々な実施形態に一致する方法に
おいては省略されるかまたは組み合わされてもよい。
【0138】
いくつかの実施形態が本開示において与えられたが、開示されたシステムおよび方法は
、本開示の精神または範囲を逸脱することなく多くのその他の特定の形態で具現化されて
もよいことが理解されるであろう。これらの例は、例示的であって限定的でないと考えら
れるべきであり、意図は、本明細書において与えられた詳細に限定されるべきでない。た
とえば、様々な要素もしくは構成要素が、組み合わされるかもしくは別のシステムに統合
されてもよく、または特定の特徴が、省略されるかもしくは実装されなくてもよい。
、本開示の精神または範囲を逸脱することなく多くのその他の特定の形態で具現化されて
もよいことが理解されるであろう。これらの例は、例示的であって限定的でないと考えら
れるべきであり、意図は、本明細書において与えられた詳細に限定されるべきでない。た
とえば、様々な要素もしくは構成要素が、組み合わされるかもしくは別のシステムに統合
されてもよく、または特定の特徴が、省略されるかもしくは実装されなくてもよい。
【0139】
加えて、様々な実施形態において分離しているまたは別々であるものとして説明され、
図示された技術、システム、サブシステム、および方法は、本開示の範囲を逸脱すること
なくその他のシステム、構成要素、技術、または方法と組み合わされるかまたは統合され
てもよい。変更、置き換え、および改変のその他の例が、当業者によって突き止められる
可能性があり、本明細書において開示された精神および範囲を逸脱することなくなされる
可能性がある。
図示された技術、システム、サブシステム、および方法は、本開示の範囲を逸脱すること
なくその他のシステム、構成要素、技術、または方法と組み合わされるかまたは統合され
てもよい。変更、置き換え、および改変のその他の例が、当業者によって突き止められる
可能性があり、本明細書において開示された精神および範囲を逸脱することなくなされる
可能性がある。
【符号の説明】
【0140】
100 動作方法
200 符号化および復号(コーデック)システム
201 区分けされたビデオ信号
211 全般的コーダ制御構成要素
213 変換・スケーリングおよび量子化構成要素
215 イントラピクチャ推定構成要素
217 イントラピクチャ予測構成要素
219 動き補償構成要素
221 動き推定構成要素
223 復号ピクチャバッファ構成要素
225 ループ内フィルタ構成要素
227 フィルタ制御分析構成要素
229 スケーリングおよび逆変換構成要素
231 ヘッダフォーマットおよびコンテキスト適応2値算術コーディング(CABAC)構成
要素
300 ビデオエンコーダ
301 区分けされたビデオ信号
313 変換および量子化構成要素
317 イントラピクチャ予測構成要素
321 動き補償構成要素
323 復号ピクチャバッファ構成要素
325 ループ内フィルタ構成要素
329 逆変換および量子化構成要素
331 エントロピーコーディング構成要素
400 ビデオデコーダ
417 イントラピクチャ予測構成要素
421 動き補償構成要素
423 復号ピクチャバッファ構成要素
425 ループ内フィルタ構成要素
429 逆変換および量子化構成要素
433 エントロピー復号構成要素
500 CVS
502 IRAPピクチャ
504 リーディングピクチャ
506 トレーリングピクチャ
508 復号順
510 提示順
600 VRピクチャビデオストリーム
601 サブピクチャビデオストリーム
602 サブピクチャビデオストリーム
603 サブピクチャビデオストリーム
700 ビットストリーム
710 シーケンスパラメータセット(SPS)
711 ピクチャパラメータセット(PPS)
715 スライスヘッダ
720 画像データ
721 ピクチャ
723 サブピクチャ
725 スライス
727 ピクチャ内混合NALユニットタイプフラグ(mixed_nalu_types_in_pic_flag)
730 非VCL NALユニット
731 SPS NALユニットタイプ(SPS_NUT)
732 PPS NALユニットタイプ(PPS_NUT)
740 VCL NALユニット
741 IDR_N_LP NALユニット
742 IDR_w_RADL NALユニット
743 CRA_NUT
745 IRAP NALユニット
746 RASL_NUT
747 RADL_NUT
748 TRAIL_NUT
749 非IRAP NALユニット
800 ビデオコーディングデバイス
810 トランシーバユニット(Tx/Rx)
814 コーディングモジュール
820 ダウンストリームポート
830 プロセッサ
832 メモリ
850 アップストリームポート
860 入力および/または出力(I/O)デバイス
900 方法
1000 方法
1100 システム
1101 判定モジュール
1102 ビデオエンコーダ
1103 符号化モジュール
1105 記憶モジュール
1107 送信モジュール
1110 ビデオデコーダ
1111 受信モジュール
1113 判定モジュール
1115 復号モジュール
1117 転送モジュール
200 符号化および復号(コーデック)システム
201 区分けされたビデオ信号
211 全般的コーダ制御構成要素
213 変換・スケーリングおよび量子化構成要素
215 イントラピクチャ推定構成要素
217 イントラピクチャ予測構成要素
219 動き補償構成要素
221 動き推定構成要素
223 復号ピクチャバッファ構成要素
225 ループ内フィルタ構成要素
227 フィルタ制御分析構成要素
229 スケーリングおよび逆変換構成要素
231 ヘッダフォーマットおよびコンテキスト適応2値算術コーディング(CABAC)構成
要素
300 ビデオエンコーダ
301 区分けされたビデオ信号
313 変換および量子化構成要素
317 イントラピクチャ予測構成要素
321 動き補償構成要素
323 復号ピクチャバッファ構成要素
325 ループ内フィルタ構成要素
329 逆変換および量子化構成要素
331 エントロピーコーディング構成要素
400 ビデオデコーダ
417 イントラピクチャ予測構成要素
421 動き補償構成要素
423 復号ピクチャバッファ構成要素
425 ループ内フィルタ構成要素
429 逆変換および量子化構成要素
433 エントロピー復号構成要素
500 CVS
502 IRAPピクチャ
504 リーディングピクチャ
506 トレーリングピクチャ
508 復号順
510 提示順
600 VRピクチャビデオストリーム
601 サブピクチャビデオストリーム
602 サブピクチャビデオストリーム
603 サブピクチャビデオストリーム
700 ビットストリーム
710 シーケンスパラメータセット(SPS)
711 ピクチャパラメータセット(PPS)
715 スライスヘッダ
720 画像データ
721 ピクチャ
723 サブピクチャ
725 スライス
727 ピクチャ内混合NALユニットタイプフラグ(mixed_nalu_types_in_pic_flag)
730 非VCL NALユニット
731 SPS NALユニットタイプ(SPS_NUT)
732 PPS NALユニットタイプ(PPS_NUT)
740 VCL NALユニット
741 IDR_N_LP NALユニット
742 IDR_w_RADL NALユニット
743 CRA_NUT
745 IRAP NALユニット
746 RASL_NUT
747 RADL_NUT
748 TRAIL_NUT
749 非IRAP NALユニット
800 ビデオコーディングデバイス
810 トランシーバユニット(Tx/Rx)
814 コーディングモジュール
820 ダウンストリームポート
830 プロセッサ
832 メモリ
850 アップストリームポート
860 入力および/または出力(I/O)デバイス
900 方法
1000 方法
1100 システム
1101 判定モジュール
1102 ビデオエンコーダ
1103 符号化モジュール
1105 記憶モジュール
1107 送信モジュール
1110 ビデオデコーダ
1111 受信モジュール
1113 判定モジュール
1115 復号モジュール
1117 転送モジュール
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【手続補正書】
【提出日】2024-10-28
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
デコーダにおいて実施される方法であって、
シーケンスパラメータセット(SPS)、1つまたは複数のピクチャパラメータセット(PPS)および複数のピクチャの符号化されたデータを含むビットストリームを受信するステップであって、前記複数のピクチャの符号化されたデータが、複数のビデオコーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットに含まれ、前記SPSがSPS NALユニットタイプ(SPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがPPS NALユニットタイプ(PPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがフラグを含む、ステップと、
前記フラグが第1の値に設定されているとき、ピクチャに関連する前記VCL NALユニットのすべてが同じNALユニットタイプを有すると判定するステップと、
前記フラグが第2の値に設定されているとき、ピクチャの1つまたは複数のVCL NALユニットが第1のNALユニットタイプの値を有し、前記ピクチャの他のすべてのVCL NALユニットが第2のNALユニットタイプの値を有すると判定するステップであって、前記第1のNALユニットタイプの値が、ランダムアクセス復号可能リーディングピクチャを有する瞬時復号リフレッシュ(IDR)(IDR_W_RADL)、リーディングピクチャを持たないIDR(IDR_N_LP)、またはクリーンランダムアクセス(CRA)NALユニットタイプ(CRA_NUT)に等しい、ステップと、
前記フラグに基づいて前記ピクチャのうちの1つ以上を復号するステップとを含む、方法。
シーケンスパラメータセット(SPS)、1つまたは複数のピクチャパラメータセット(PPS)および複数のピクチャの符号化されたデータを含むビットストリームを受信するステップであって、前記複数のピクチャの符号化されたデータが、複数のビデオコーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットに含まれ、前記SPSがSPS NALユニットタイプ(SPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがPPS NALユニットタイプ(PPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがフラグを含む、ステップと、
前記フラグが第1の値に設定されているとき、ピクチャに関連する前記VCL NALユニットのすべてが同じNALユニットタイプを有すると判定するステップと、
前記フラグが第2の値に設定されているとき、ピクチャの1つまたは複数のVCL NALユニットが第1のNALユニットタイプの値を有し、前記ピクチャの他のすべてのVCL NALユニットが第2のNALユニットタイプの値を有すると判定するステップであって、前記第1のNALユニットタイプの値が、ランダムアクセス復号可能リーディングピクチャを有する瞬時復号リフレッシュ(IDR)(IDR_W_RADL)、リーディングピクチャを持たないIDR(IDR_N_LP)、またはクリーンランダムアクセス(CRA)NALユニットタイプ(CRA_NUT)に等しい、ステップと、
前記フラグに基づいて前記ピクチャのうちの1つ以上を復号するステップとを含む、方法。
【請求項2】
前記第2のNALユニットタイプの値が、トレーリングピクチャNALユニットタイプ(TRAIL_NUT)に等しい、請求項1に記載の方法。
【請求項3】
前記フラグが、mixed_nalu_types_in_pic_flagである請求項1または2に記載の方法。
【請求項4】
前記第1の値が0であり、前記第2の値が1である、請求項1から3のいずれか一項に記載の方法。
【請求項5】
エンコーダにおいて実施される方法であって、
シーケンスパラメータセット(SPS)および1つまたは複数のピクチャパラメータセット(PPS)をビットストリーム内へ符号化するステップと、 複数のピクチャを前記ビットストリーム内へ符号化するステップとを含み、
前記複数のピクチャの符号化されたデータが、複数のビデオコーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットに含まれ、前記SPSがSPS NALユニットタイプ(SPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがPPS NALユニットタイプ(PPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがフラグを含み、
ピクチャに関連する前記VCL NALユニットのすべてが同じNALユニットタイプを有するとき、前記フラグが第1の値に設定され、
ピクチャの1つまたは複数のVCL NALユニットが第1のNALユニットタイプの値を有し、前記ピクチャの他のすべてのVCL NALユニットが第2のNALユニットタイプの値を有するとき、前記フラグが第2の値に設定され、
前記第1のNALユニットタイプの値が、ランダムアクセス復号可能リーディングピクチャを有する瞬時復号リフレッシュ(IDR)(IDR_W_RADL)、リーディングピクチャを持たないIDR(IDR_N_LP)、またはクリーンランダムアクセス(CRA)NALユニットタイプ(CRA_NUT)に等しい、方法。
シーケンスパラメータセット(SPS)および1つまたは複数のピクチャパラメータセット(PPS)をビットストリーム内へ符号化するステップと、 複数のピクチャを前記ビットストリーム内へ符号化するステップとを含み、
前記複数のピクチャの符号化されたデータが、複数のビデオコーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットに含まれ、前記SPSがSPS NALユニットタイプ(SPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがPPS NALユニットタイプ(PPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがフラグを含み、
ピクチャに関連する前記VCL NALユニットのすべてが同じNALユニットタイプを有するとき、前記フラグが第1の値に設定され、
ピクチャの1つまたは複数のVCL NALユニットが第1のNALユニットタイプの値を有し、前記ピクチャの他のすべてのVCL NALユニットが第2のNALユニットタイプの値を有するとき、前記フラグが第2の値に設定され、
前記第1のNALユニットタイプの値が、ランダムアクセス復号可能リーディングピクチャを有する瞬時復号リフレッシュ(IDR)(IDR_W_RADL)、リーディングピクチャを持たないIDR(IDR_N_LP)、またはクリーンランダムアクセス(CRA)NALユニットタイプ(CRA_NUT)に等しい、方法。
【請求項6】
前記第2のNALユニットタイプの値が、トレーリングピクチャNALユニットタイプ(TRAIL_NUT)に等しい、請求項5に記載の方法。
【請求項7】
前記フラグが、mixed_nalu_types_in_pic_flagである請求項5または6に記載の方法。
【請求項8】
前記第1の値が0であり、前記第2の値が1である、請求項5から7のいずれか一項に記載の方法。
【請求項9】
プロセッサと、前記プロセッサに結合された受信機と、前記プロセッサに結合されたメモリと、前記プロセッサに結合された送信機とを含み、前記プロセッサが、請求項1から4のいずれか一項に記載の方法を実行するように構成される、ビデオコーディングデバイス。
【請求項10】
プロセッサと、前記プロセッサに結合された受信機と、前記プロセッサに結合されたメモリと、前記プロセッサに結合された送信機とを含み、前記プロセッサが、請求項5から8のいずれか一項に記載の方法を実行するように構成される、ビデオコーディングデバイス。
【請求項11】
ビデオコーディングデバイスによって使用するためのコンピュータプログラム製品を含む非一時的コンピュータ可読媒体であって、前記コンピュータプログラム製品が、プロセッサによって実行されるときに前記ビデオコーディングデバイスに請求項1から4のいずれか一項または請求項5から8のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読媒体に記憶されたコンピュータが実行可能な命令を含む、非一時的コンピュータ可読媒体。
【請求項12】
シーケンスパラメータセット(SPS)、1つまたは複数のピクチャパラメータセット(PPS)および複数のピクチャの符号化されたデータを含むビットストリームを受信するための受信手段であって、前記複数のピクチャの符号化されたデータが、複数のビデオコーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットに含まれ、前記SPSがSPS NALユニットタイプ(SPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがPPS NALユニットタイプ(PPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがフラグを含む、受信手段と、
判定手段であって、
前記フラグが第1の値に設定されているとき、ピクチャに関連する前記VCL NALユニットのすべてが同じNALユニットタイプを有すると判定し、
前記フラグが第2の値に設定されているとき、ピクチャの1つまたは複数のVCL NALユニットが第1のNALユニットタイプの値を有し、前記ピクチャの他のすべてのVCL NALユニットが第2のNALユニットタイプの値を有すると判定し、前記第1のNALユニットタイプの値が、ランダムアクセス復号可能リーディングピクチャを有する瞬時復号リフレッシュ(IDR)(IDR_W_RADL)、リーディングピクチャを持たないIDR(IDR_N_LP)、またはクリーンランダムアクセス(CRA)NALユニットタイプ(CRA_NUT)に等しい、判定手段と、
前記フラグに基づいて前記ピクチャのうちの1つ以上を復号するための復号手段とを含む、デコーダ。
判定手段であって、
前記フラグが第1の値に設定されているとき、ピクチャに関連する前記VCL NALユニットのすべてが同じNALユニットタイプを有すると判定し、
前記フラグが第2の値に設定されているとき、ピクチャの1つまたは複数のVCL NALユニットが第1のNALユニットタイプの値を有し、前記ピクチャの他のすべてのVCL NALユニットが第2のNALユニットタイプの値を有すると判定し、前記第1のNALユニットタイプの値が、ランダムアクセス復号可能リーディングピクチャを有する瞬時復号リフレッシュ(IDR)(IDR_W_RADL)、リーディングピクチャを持たないIDR(IDR_N_LP)、またはクリーンランダムアクセス(CRA)NALユニットタイプ(CRA_NUT)に等しい、判定手段と、
前記フラグに基づいて前記ピクチャのうちの1つ以上を復号するための復号手段とを含む、デコーダ。
【請求項13】
請求項2から4のいずれか一項に記載の方法を実行するようにさらに構成される請求項12に記載のデコーダ。
【請求項14】
エンコーダであって、
シーケンスパラメータセット(SPS)および1つまたは複数のピクチャパラメータセット(PPS)をビットストリーム内へ符号化し、複数のピクチャをビットストリーム内へ符号化するための、符号化手段を含み、
前記複数のピクチャの符号化されたデータが、複数のビデオコーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットに含まれ、前記SPSがSPS NALユニットタイプ(SPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがPPS NALユニットタイプ(PPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがフラグを含み、
ピクチャに関連する前記VCL NALユニットのすべてが同じNALユニットタイプを有するとき、前記フラグが第1の値に設定され、
ピクチャの1つまたは複数のVCL NALユニットが第1のNALユニットタイプの値を有し、前記ピクチャの他のすべてのVCL NALユニットが第2のNALユニットタイプの値を有するとき、前記フラグが第2の値に設定され、
前記第1のNALユニットタイプの値が、ランダムアクセス復号可能リーディングピクチャを有する瞬時復号リフレッシュ(IDR)(IDR_W_RADL)、リーディングピクチャを持たないIDR(IDR_N_LP)、またはクリーンランダムアクセス(CRA)NALユニットタイプ(CRA_NUT)に等しい、エンコーダ。
シーケンスパラメータセット(SPS)および1つまたは複数のピクチャパラメータセット(PPS)をビットストリーム内へ符号化し、複数のピクチャをビットストリーム内へ符号化するための、符号化手段を含み、
前記複数のピクチャの符号化されたデータが、複数のビデオコーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットに含まれ、前記SPSがSPS NALユニットタイプ(SPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがPPS NALユニットタイプ(PPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがフラグを含み、
ピクチャに関連する前記VCL NALユニットのすべてが同じNALユニットタイプを有するとき、前記フラグが第1の値に設定され、
ピクチャの1つまたは複数のVCL NALユニットが第1のNALユニットタイプの値を有し、前記ピクチャの他のすべてのVCL NALユニットが第2のNALユニットタイプの値を有するとき、前記フラグが第2の値に設定され、
前記第1のNALユニットタイプの値が、ランダムアクセス復号可能リーディングピクチャを有する瞬時復号リフレッシュ(IDR)(IDR_W_RADL)、リーディングピクチャを持たないIDR(IDR_N_LP)、またはクリーンランダムアクセス(CRA)NALユニットタイプ(CRA_NUT)に等しい、エンコーダ。
【請求項15】
請求項6から8のいずれか一項に記載の方法を実行するようにさらに構成される請求項14に記載のエンコーダ。
【請求項16】
ビットストリームを記憶するためのデバイスであって、少なくとも1つの記憶媒体および少なくとも1つの通信インタフェースを備え、
前記少なくとも1つの通信インタフェースは前記ビットストリームを受信または送信するよう構成され、
前記少なくとも1つの記憶媒体は前記ビットストリームを記憶するよう構成され、
前記ビットストリームは、シーケンスパラメータセット(SPS)、1つまたは複数のピクチャパラメータセット(PPS)および複数のピクチャの符号化されたデータを含み、前記複数のピクチャの符号化されたデータが、複数のビデオコーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットに含まれ、前記SPSがSPS NALユニットタイプ(SPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがPPS NALユニットタイプ(PPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがフラグを含み、
ピクチャに関連する前記VCL NALユニットのすべてが同じNALユニットタイプを有するとき、前記フラグが第1の値に設定され、
ピクチャの1つまたは複数のVCL NALユニットが第1のNALユニットタイプの値を有し、前記ピクチャの他のすべてのVCL NALユニットが第2のNALユニットタイプの値を有するとき、前記フラグが第2の値に設定され、
前記第1のNALユニットタイプの値が、ランダムアクセス復号可能リーディングピクチャを有する瞬時復号リフレッシュ(IDR)(IDR_W_RADL)、リーディングピクチャを持たないIDR(IDR_N_LP)、またはクリーンランダムアクセス(CRA)NALユニットタイプ(CRA_NUT)に等しい、デバイス。
前記少なくとも1つの通信インタフェースは前記ビットストリームを受信または送信するよう構成され、
前記少なくとも1つの記憶媒体は前記ビットストリームを記憶するよう構成され、
前記ビットストリームは、シーケンスパラメータセット(SPS)、1つまたは複数のピクチャパラメータセット(PPS)および複数のピクチャの符号化されたデータを含み、前記複数のピクチャの符号化されたデータが、複数のビデオコーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットに含まれ、前記SPSがSPS NALユニットタイプ(SPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがPPS NALユニットタイプ(PPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがフラグを含み、
ピクチャに関連する前記VCL NALユニットのすべてが同じNALユニットタイプを有するとき、前記フラグが第1の値に設定され、
ピクチャの1つまたは複数のVCL NALユニットが第1のNALユニットタイプの値を有し、前記ピクチャの他のすべてのVCL NALユニットが第2のNALユニットタイプの値を有するとき、前記フラグが第2の値に設定され、
前記第1のNALユニットタイプの値が、ランダムアクセス復号可能リーディングピクチャを有する瞬時復号リフレッシュ(IDR)(IDR_W_RADL)、リーディングピクチャを持たないIDR(IDR_N_LP)、またはクリーンランダムアクセス(CRA)NALユニットタイプ(CRA_NUT)に等しい、デバイス。
【請求項17】
ビットストリームを記憶するための方法であって、
通信インタフェースを介して前記ビットストリームを受信または送信するステップと、
少なくとも1つの記憶媒体に前記ビットストリームを記憶するステップであって、前記ビットストリームは、シーケンスパラメータセット(SPS)、1つまたは複数のピクチャパラメータセット(PPS)および複数のピクチャの符号化されたデータを含み、前記複数のピクチャの符号化されたデータが、複数のビデオコーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットに含まれ、前記SPSがSPS NALユニットタイプ(SPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがPPS NALユニットタイプ(PPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがフラグを含み、
ピクチャに関連する前記VCL NALユニットのすべてが同じNALユニットタイプを有するとき、前記フラグが第1の値に設定され、
ピクチャの1つまたは複数のVCL NALユニットが第1のNALユニットタイプの値を有し、前記ピクチャの他のすべてのVCL NALユニットが第2のNALユニットタイプの値を有するとき、前記フラグが第2の値に設定され、
前記第1のNALユニットタイプの値が、ランダムアクセス復号可能リーディングピクチャを有する瞬時復号リフレッシュ(IDR)(IDR_W_RADL)、リーディングピクチャを持たないIDR(IDR_N_LP)、またはクリーンランダムアクセス(CRA)NALユニットタイプ(CRA_NUT)に等しい、ステップとを含む、方法。
通信インタフェースを介して前記ビットストリームを受信または送信するステップと、
少なくとも1つの記憶媒体に前記ビットストリームを記憶するステップであって、前記ビットストリームは、シーケンスパラメータセット(SPS)、1つまたは複数のピクチャパラメータセット(PPS)および複数のピクチャの符号化されたデータを含み、前記複数のピクチャの符号化されたデータが、複数のビデオコーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットに含まれ、前記SPSがSPS NALユニットタイプ(SPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがPPS NALユニットタイプ(PPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがフラグを含み、
ピクチャに関連する前記VCL NALユニットのすべてが同じNALユニットタイプを有するとき、前記フラグが第1の値に設定され、
ピクチャの1つまたは複数のVCL NALユニットが第1のNALユニットタイプの値を有し、前記ピクチャの他のすべてのVCL NALユニットが第2のNALユニットタイプの値を有するとき、前記フラグが第2の値に設定され、
前記第1のNALユニットタイプの値が、ランダムアクセス復号可能リーディングピクチャを有する瞬時復号リフレッシュ(IDR)(IDR_W_RADL)、リーディングピクチャを持たないIDR(IDR_N_LP)、またはクリーンランダムアクセス(CRA)NALユニットタイプ(CRA_NUT)に等しい、ステップとを含む、方法。
【請求項18】
ビットストリームを送信するためのデバイスであって、
少なくとも1つのビットストリームを記憶するよう構成された少なくとも1つの記憶媒体と、
前記少なくとも1つの記憶媒体から1つまたは複数のビットストリームを取得するよう構成された少なくとも1つのプロセッサと、
前記1つまたは複数のビットストリームを送信するよう構成された送信機とを備え、
前記少なくとも1つのビットストリームは、シーケンスパラメータセット(SPS)、1つまたは複数のピクチャパラメータセット(PPS)および複数のピクチャの符号化されたデータを含み、前記複数のピクチャの符号化されたデータが、複数のビデオコーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットに含まれ、前記SPSがSPS NALユニットタイプ(SPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがPPS NALユニットタイプ(PPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがフラグを含み、
ピクチャに関連する前記VCL NALユニットのすべてが同じNALユニットタイプを有するとき、前記フラグが第1の値に設定され、
ピクチャの1つまたは複数のVCL NALユニットが第1のNALユニットタイプの値を有し、前記ピクチャの他のすべてのVCL NALユニットが第2のNALユニットタイプの値を有するとき、前記フラグが第2の値に設定され、
前記第1のNALユニットタイプの値が、ランダムアクセス復号可能リーディングピクチャを有する瞬時復号リフレッシュ(IDR)(IDR_W_RADL)、リーディングピクチャを持たないIDR(IDR_N_LP)、またはクリーンランダムアクセス(CRA)NALユニットタイプ(CRA_NUT)に等しい、デバイス。
少なくとも1つのビットストリームを記憶するよう構成された少なくとも1つの記憶媒体と、
前記少なくとも1つの記憶媒体から1つまたは複数のビットストリームを取得するよう構成された少なくとも1つのプロセッサと、
前記1つまたは複数のビットストリームを送信するよう構成された送信機とを備え、
前記少なくとも1つのビットストリームは、シーケンスパラメータセット(SPS)、1つまたは複数のピクチャパラメータセット(PPS)および複数のピクチャの符号化されたデータを含み、前記複数のピクチャの符号化されたデータが、複数のビデオコーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットに含まれ、前記SPSがSPS NALユニットタイプ(SPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがPPS NALユニットタイプ(PPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがフラグを含み、
ピクチャに関連する前記VCL NALユニットのすべてが同じNALユニットタイプを有するとき、前記フラグが第1の値に設定され、
ピクチャの1つまたは複数のVCL NALユニットが第1のNALユニットタイプの値を有し、前記ピクチャの他のすべてのVCL NALユニットが第2のNALユニットタイプの値を有するとき、前記フラグが第2の値に設定され、
前記第1のNALユニットタイプの値が、ランダムアクセス復号可能リーディングピクチャを有する瞬時復号リフレッシュ(IDR)(IDR_W_RADL)、リーディングピクチャを持たないIDR(IDR_N_LP)、またはクリーンランダムアクセス(CRA)NALユニットタイプ(CRA_NUT)に等しい、デバイス。
【請求項19】
ビットストリームを送信するための方法であって、
1つまたは複数の記憶媒体に少なくとも1つのビットストリームを記憶するステップと、
前記1つまたは複数の記憶媒体から1つまたは複数のビットストリームを取得するステップと、
前記1つまたは複数のビットストリームを送信するステップとを含み、
前記少なくとも1つのビットストリームは、シーケンスパラメータセット(SPS)、1つまたは複数のピクチャパラメータセット(PPS)および複数のピクチャの符号化されたデータを含み、前記複数のピクチャの符号化されたデータが、複数のビデオコーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットに含まれ、前記SPSがSPS NALユニットタイプ(SPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがPPS NALユニットタイプ(PPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがフラグを含み、
ピクチャに関連する前記VCL NALユニットのすべてが同じNALユニットタイプを有するとき、前記フラグが第1の値に設定され、
ピクチャの1つまたは複数のVCL NALユニットが第1のNALユニットタイプの値を有し、前記ピクチャの他のすべてのVCL NALユニットが第2のNALユニットタイプの値を有するとき、前記フラグが第2の値に設定され、
前記第1のNALユニットタイプの値が、ランダムアクセス復号可能リーディングピクチャを有する瞬時復号リフレッシュ(IDR)(IDR_W_RADL)、リーディングピクチャを持たないIDR(IDR_N_LP)、またはクリーンランダムアクセス(CRA)NALユニットタイプ(CRA_NUT)に等しい、方法。
1つまたは複数の記憶媒体に少なくとも1つのビットストリームを記憶するステップと、
前記1つまたは複数の記憶媒体から1つまたは複数のビットストリームを取得するステップと、
前記1つまたは複数のビットストリームを送信するステップとを含み、
前記少なくとも1つのビットストリームは、シーケンスパラメータセット(SPS)、1つまたは複数のピクチャパラメータセット(PPS)および複数のピクチャの符号化されたデータを含み、前記複数のピクチャの符号化されたデータが、複数のビデオコーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットに含まれ、前記SPSがSPS NALユニットタイプ(SPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがPPS NALユニットタイプ(PPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがフラグを含み、
ピクチャに関連する前記VCL NALユニットのすべてが同じNALユニットタイプを有するとき、前記フラグが第1の値に設定され、
ピクチャの1つまたは複数のVCL NALユニットが第1のNALユニットタイプの値を有し、前記ピクチャの他のすべてのVCL NALユニットが第2のNALユニットタイプの値を有するとき、前記フラグが第2の値に設定され、
前記第1のNALユニットタイプの値が、ランダムアクセス復号可能リーディングピクチャを有する瞬時復号リフレッシュ(IDR)(IDR_W_RADL)、リーディングピクチャを持たないIDR(IDR_N_LP)、またはクリーンランダムアクセス(CRA)NALユニットタイプ(CRA_NUT)に等しい、方法。
【請求項20】
ビットストリームを処理するためのシステムであって、サーバ、ソースデバイス、1つまたは複数の記憶装置およびデスティネーションデバイスとを備え、
前記ソースデバイスは前記サーバからビデオソースを取得するよう構成され、
前記ソースデバイスは前記ビデオソースを符号化して1つまたは複数のビットストリームを取得するようさらに構成され、
前記ソースデバイスは、前記1つまたは複数のビットストリームを前記1つまたは複数の記憶装置へ記憶するよう構成され、および／または、前記ソースデバイスは、前記1つまたは複数のビットストリームを通信インタフェースを介して前記デスティネーションデバイスへ送信するよう構成され、
前記デスティネーションデバイスは前記1つまたは複数のビットストリームを復号してビデオデータを取得するよう構成され、
前記1つまたは複数のビットストリームのうちの少なくとも1つは、シーケンスパラメータセット(SPS)、1つまたは複数のピクチャパラメータセット(PPS)および複数のピクチャの符号化されたデータを含み、前記複数のピクチャの符号化されたデータが、複数のビデオコーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットに含まれ、前記SPSがSPS NALユニットタイプ(SPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがPPS NALユニットタイプ(PPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがフラグを含み、
ピクチャに関連する前記VCL NALユニットのすべてが同じNALユニットタイプを有するとき、前記フラグが第1の値に設定され、
ピクチャの1つまたは複数のVCL NALユニットが第1のNALユニットタイプの値を有し、前記ピクチャの他のすべてのVCL NALユニットが第2のNALユニットタイプの値を有するとき、前記フラグが第2の値に設定され、
前記第1のNALユニットタイプの値が、ランダムアクセス復号可能リーディングピクチャを有する瞬時復号リフレッシュ(IDR)(IDR_W_RADL)、リーディングピクチャを持たないIDR(IDR_N_LP)、またはクリーンランダムアクセス(CRA)NALユニットタイプ(CRA_NUT)に等しい、システム。
前記ソースデバイスは前記サーバからビデオソースを取得するよう構成され、
前記ソースデバイスは前記ビデオソースを符号化して1つまたは複数のビットストリームを取得するようさらに構成され、
前記ソースデバイスは、前記1つまたは複数のビットストリームを前記1つまたは複数の記憶装置へ記憶するよう構成され、および／または、前記ソースデバイスは、前記1つまたは複数のビットストリームを通信インタフェースを介して前記デスティネーションデバイスへ送信するよう構成され、
前記デスティネーションデバイスは前記1つまたは複数のビットストリームを復号してビデオデータを取得するよう構成され、
前記1つまたは複数のビットストリームのうちの少なくとも1つは、シーケンスパラメータセット(SPS)、1つまたは複数のピクチャパラメータセット(PPS)および複数のピクチャの符号化されたデータを含み、前記複数のピクチャの符号化されたデータが、複数のビデオコーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットに含まれ、前記SPSがSPS NALユニットタイプ(SPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがPPS NALユニットタイプ(PPS_NUT)を有する非VCL NALユニットに含まれ、前記PPSがフラグを含み、
ピクチャに関連する前記VCL NALユニットのすべてが同じNALユニットタイプを有するとき、前記フラグが第1の値に設定され、
ピクチャの1つまたは複数のVCL NALユニットが第1のNALユニットタイプの値を有し、前記ピクチャの他のすべてのVCL NALユニットが第2のNALユニットタイプの値を有するとき、前記フラグが第2の値に設定され、
前記第1のNALユニットタイプの値が、ランダムアクセス復号可能リーディングピクチャを有する瞬時復号リフレッシュ(IDR)(IDR_W_RADL)、リーディングピクチャを持たないIDR(IDR_N_LP)、またはクリーンランダムアクセス(CRA)NALユニットタイプ(CRA_NUT)に等しい、システム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】削除
【補正の内容】
【外国語明細書】