特許第6720089号(P6720089)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ クゥアルコム・インコーポレイテッドの特許一覧

特許6720089ビットストリームパーティションのためのHRDパラメータを信号伝達すること
<>
  • 特許6720089-ビットストリームパーティションのためのHRDパラメータを信号伝達すること 図000006
  • 特許6720089-ビットストリームパーティションのためのHRDパラメータを信号伝達すること 図000007
  • 特許6720089-ビットストリームパーティションのためのHRDパラメータを信号伝達すること 図000008
  • 特許6720089-ビットストリームパーティションのためのHRDパラメータを信号伝達すること 図000009
  • 特許6720089-ビットストリームパーティションのためのHRDパラメータを信号伝達すること 図000010
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6720089
(24)【登録日】2020年6月19日
(45)【発行日】2020年7月8日
(54)【発明の名称】ビットストリームパーティションのためのHRDパラメータを信号伝達すること
(51)【国際特許分類】
   H04N 19/70 20140101AFI20200629BHJP
   H04N 19/31 20140101ALI20200629BHJP
【FI】
   H04N19/70
   H04N19/31
【請求項の数】21
【全頁数】45
(21)【出願番号】特願2016-573904(P2016-573904)
(86)(22)【出願日】2015年6月17日
(65)【公表番号】特表2017-522799(P2017-522799A)
(43)【公表日】2017年8月10日
(86)【国際出願番号】US2015036172
(87)【国際公開番号】WO2015195761
(87)【国際公開日】20151223
【審査請求日】2018年5月25日
(31)【優先権主張番号】62/013,965
(32)【優先日】2014年6月18日
(33)【優先権主張国】US
(31)【優先権主張番号】14/741,279
(32)【優先日】2015年6月16日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】595020643
【氏名又は名称】クゥアルコム・インコーポレイテッド
【氏名又は名称原語表記】QUALCOMM INCORPORATED
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100109830
【弁理士】
【氏名又は名称】福原 淑弘
(74)【代理人】
【識別番号】100158805
【弁理士】
【氏名又は名称】井関 守三
(74)【代理人】
【識別番号】100112807
【弁理士】
【氏名又は名称】岡田 貴志
(72)【発明者】
【氏名】ワン、イェ−クイ
【審査官】 鉢呂 健
(56)【参考文献】
【文献】 国際公開第2014/050425(WO,A1)
【文献】 WANG, Ye-Kui and HANNUKSELA, Miska M.,AHG10 output text,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 18th Meeting: Sapporo, JP, 30 June - 9 July 2014, [JCTVC-R0010-v1 (JCTVC-R0010-v1.zip: JCTVC-R0010_JCT3V-I0010_v1_attachment d05_variant2.doc)],2014年 6月14日,pp. 65, 84-85, 95, 119, 125
【文献】 WANG, Ye-Kui and HANNUKSELA, Miska M.,AHG10 output text,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 18th Meeting: Sapporo, JP, 30 June - 9 July 2014, [JCTVC-R0010v1 (JCTVC-R0231-v3.zip: JCTVC-R0231-JCT3V-I0047 text r2 (relative to JCTVC-R0231-JCT3V-I0047 text r1).doc)],2014年 7月 7日,pp. 65, 84-85, 95, 120, 126
【文献】 WANG, Ye-Kui, et al.,MV-HEVC/SHVC HLS: Signalling and use of HRD parameters for bitstream partitions,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 18th Meeting: Sapporo, JP, 30 June - 9 July 2014, [JCTVC-R0231],2014年 6月21日,pp. 1-3
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00−19/98
(57)【特許請求の範囲】
【請求項1】
高効率ビデオコード化(HEVC)規格及び/又は前記規格の拡張に従ってビデオデータを復号する方法であって、前記方法は、
ビットストリームのビデオパラメータセット(VPS)から、前記ビットストリームに含まれる時間サブレイヤの最大数を示す第1のシンタックス要素のための値を復号することと、
仮想参照デコーダ(HRD)パラメータがコード化されるビットストリームの時間サブレイヤの数を示す第2のシンタックス要素のための値を復号することと、ここにおいて、前記第2のシンタックス要素によって示される前記HRDパラメータがコード化される時間サブレイヤの前記数は、前記第1のシンタックス要素によって示される時間サブレイヤの前記最大数よりも小さく、
前記第2のシンタックス要素によって示される時間サブレイヤの前記数の各時間サブレイヤのためにHRDパラメータを復号することと、
前記ビットストリームの符号化ピクチャを復号することと、
復号ピクチャバッファ(DPB)に復号ピクチャを記憶することと、
前記HRDパラメータに従って前記DPBから前記復号ピクチャを削除することと、
によって、前記HRDパラメータを使用して前記ビットストリームを処理することと
を備える方法。
【請求項2】
高効率ビデオコード化(HEVC)規格及び/又は前記規格の拡張に従ってビデオデータを符号化する方法であって、前記方法は、
ビットストリームのビデオパラメータセット(VPS)において、前記ビットストリームに含まれる時間サブレイヤの最大数を示す第1のシンタックス要素のための値を符号化することと、
仮想参照デコーダ(HRD)パラメータがコード化されるビットストリームの時間サブレイヤの数を示す第2のシンタックス要素のための値を符号化することと、ここにおいて、前記第2のシンタックス要素によって示される前記HRDパラメータがコード化される時間サブレイヤの前記数は、前記第1のシンタックス要素によって示される時間サブレイヤの前記最大数よりも小さく、
前記第2のシンタックス要素によって示される時間サブレイヤの前記数の各時間サブレイヤのためにHRDパラメータを符号化することと、
前記ビットストリームの符号化ピクチャを形成するためにピクチャを符号化することと、
前記ビットストリームの前記符号化ピクチャを復号することと、
復号ピクチャバッファ(DPB)に復号ピクチャを記憶することと、
前記HRDパラメータに従って前記DPBから前記復号ピクチャを削除することと、
によって、前記HRDパラメータを使用して前記ビットストリームを処理することと
を備える方法。
【請求項3】
前記HRDパラメータは、HRD_parameters()シンタックス構造中で信号伝達され、そして、num_sub_layer_hrd_minus1[i]は、HRDパラメータがそれのためにコード化されるビットストリームのサブレイヤの数を示すシンタックス要素を表す、
前記ビットストリームが、複数のHRD_parameters()シンタックス構造を備え、前記第2のシンタックス要素のための前記値を復号することが、前記複数のHRD_parameters()シンタックス構造のi番目のHRD_parameters()シンタックス構造のためのnum_sub_layer_hrd_minus1[i]シンタックス要素のための値を復号することを備え、ここにおいて、iが整数値であり順番を示す、請求項1に記載の方法。
【請求項4】
前記HRDパラメータは、HRD_parameters()シンタックス構造中で信号伝達され、そして、num_sub_layer_hrd_minus1[i]は、HRDパラメータがそれのためにコード化されるビットストリームのサブレイヤの数を示すシンタックス要素を表す、
前記ビットストリームが、複数のHRD_parameters()シンタックス構造を備え、前記第2のシンタックス要素のための前記値を符号化することが、前記複数のHRD_parameters()シンタックス構造のi番目のHRD_parameters()シンタックス構造のためのnum_sub_layer_hrd_minus1[i]シンタックス要素のための値を符号化することを備え、ここにおいて、iが整数値であり順番を示す、請求項2に記載の方法。
【請求項5】
前記HRDパラメータを復号することは、前記HRDパラメータがコード化される時間サブレイヤの前記数に等しい数の、少なくとも前記ビットストリームの時間サブレイヤのための出力順序における連続するピクチャのHRD出力時間間の時間距離が制約されるかどうかを示す、シンタックス要素を復号することを備える、請求項1に記載の方法。
【請求項6】
前記HRDパラメータを符号化することは、前記HRDパラメータがコード化される時間サブレイヤの前記数に等しい数の、少なくとも前記ビットストリームの時間サブレイヤのための出力順序における連続するピクチャのHRD出力時間間の時間距離が制約されるかどうかを示す、シンタックス要素を符号化することを備える、請求項2に記載の方法。
【請求項7】
少なくとも、出力順序における連続するピクチャのHRD出力時間間の前記時間距離が制約されるかどうかを示す前記シンタックス要素が、fixed_pic_rate_general_flag[]シンタックス要素又はfixed_pic_rate_within_CVS_flag[]シンタックス要素のうちの少なくとも1つを備える、請求項に記載の方法。
【請求項8】
前記HRDパラメータを復号することが、前記時間サブレイヤのうちの対応する1つのための連続するピクチャのHRD出力時間を指定する要素ユニット間のクロックティックにおける時間距離又は前記時間サブレイヤのうちの前記対応する1つのHRD動作モードのうちの1つ以上を示す1つ以上のシンタックス要素を復号することを備える、請求項1に記載の方法。
【請求項9】
前記HRDパラメータを符号化することが、前記時間サブレイヤのうちの対応する1つのための連続するピクチャのHRD出力時間を指定する要素ユニット間のクロックティックにおける時間距離又は前記時間サブレイヤのうちの前記対応する1つのHRD動作モードのうちの1つ以上を示す1つ以上のシンタックス要素を符号化することを備える、請求項2に記載の方法。
【請求項10】
連続するピクチャのHRD出力時間を指定する要素ユニット間のクロックティックにおける時間距離を示す前記シンタックス要素が、elemental_duration_in_tc_minus1[]シンタックス要素を備え、HRD動作モードを示す前記シンタックス要素が、low_delay_hrd_flag[]シンタックス要素を備える、請求項に記載の方法。
【請求項11】
ビデオコード化レイヤ(VCL)HRDパラメータのうちの少なくとも1つが前記ビットストリーム中でコード化されるとき又はVCL HRD動作のためのバッファリング期間情報が前記ビットストリーム中で必要とされると決定されたときのみ、ビットストリームパーティション初期到着時間補足強化情報(SEI)メッセージの初期到着遅延シンタックス要素を復号することを更に備え、
ここにおいて、前記ビットストリームのレイヤは、区分方式に従って2つ以上のビットストリームパーティションに、各ビットストリームパーティションが1つ以上のレイヤを含むように、分割される、請求項1に記載の方法。
【請求項12】
ビデオコード化レイヤ(VCL)HRDパラメータのうちの少なくとも1つが前記ビットストリーム中でコード化されるとき又はVCL HRD動作のためのバッファリング期間情報が前記ビットストリーム中で必要とされると決定されたときのみ、ビットストリームパーティション初期到着時間補足強化情報(SEI)メッセージの初期到着遅延シンタックス要素を符号化することを更に備え、
ここにおいて、前記ビットストリームのレイヤは、区分方式に従って2つ以上のビットストリームパーティションに、各ビットストリームパーティションが1つ以上のレイヤを含むように、分割される、請求項2に記載の方法。
【請求項13】
前記ビットストリームのためのVclHrdBpPresentFlagが真の値を有すると決定したことのみに応答して、ビットストリームパーティション初期到着時間補足強化情報(SEI)メッセージの初期到着遅延シンタックス要素を復号することを更に備え、
ここにおいて、前記ビットストリームのレイヤは、区分方式に従って2つ以上のビットストリームパーティションに、各ビットストリームパーティションが1つ以上のレイヤを含むように、分割される、請求項1に記載の方法。
【請求項14】
前記ビットストリームのためのVclHrdBpPresentFlagが真の値を有すると決定したことのみに応答して、ビットストリームパーティション初期到着時間補足強化情報(SEI)メッセージの初期到着遅延シンタックス要素を符号化することを更に備え
ここにおいて、前記ビットストリームのレイヤは、区分方式に従って2つ以上のビットストリームパーティションに、各ビットストリームパーティションが1つ以上のレイヤを含むように、分割される、請求項2に記載の方法。
【請求項15】
前記方法が、ワイヤレス通信機器上で実行可能であり、ここにおいて、前記ワイヤレス通信機器が、
前記第1および第2のシンタックス要素と前記HRDパラメータとを記憶するように構成されたメモリと、
前記メモリに記憶された前記第1および第2のシンタックス要素と前記HRDパラメータとを処理するための命令を実行するように構成されたプロセッサと、
前記第1および第2のシンタックス要素と前記HRDパラメータとを含む信号を受信するための及び前記メモリに前記第1および第2のシンタックス要素と前記HRDパラメータとを記憶するための受信機とを備える、請求項1に記載の方法。
【請求項16】
高効率ビデオコード化(HEVC)規格及び/又は前記規格の拡張に従ってビデオデータを復号するための機器であって、前記機器が、
ビデオデータを記憶するように構成されたメモリと、
ビデオデコーダとを備え、前記ビデオデコーダは、
ビットストリームのビデオパラメータセット(VPS)から、前記ビットストリームに含まれる時間サブレイヤの最大数を示す第1のシンタックス要素のための値を復号することと、
仮想参照デコーダ(HRD)パラメータがコード化されるビットストリームの時間サブレイヤの数を示す、前記ビデオデータの第2のシンタックス要素のための値を復号することと、ここにおいて、前記第2のシンタックス要素によって示される前記HRDパラメータがコード化される時間サブレイヤの前記数は、前記第1のシンタックス要素によって示される時間サブレイヤの前記最大数よりも小さく、
前記第2のシンタックス要素によって示される時間サブレイヤの前記数の各時間サブレイヤのためにHRDパラメータを復号することと、
前記ビットストリームの符号化ピクチャを復号することと、
復号ピクチャバッファ(DPB)に復号ピクチャを記憶することと、
前記HRDパラメータに従って前記DPBから前記復号ピクチャを削除することと、
によって、前記HRDパラメータを使用して前記ビットストリームを処理することと
を行うように構成された、機器。
【請求項17】
高効率ビデオコード化(HEVC)規格及び/又は前記規格の拡張に従ってビデオデータを符号化するための機器であって、前記機器は、
ビデオデータを記憶するように構成されたメモリと、
ビデオエンコーダとを備え、前記ビデオエンコーダは、
ビットストリームのビデオパラメータセット(VPS)から、前記ビットストリームに含まれる時間サブレイヤの最大数を示す第1のシンタックス要素のための値を符号化することと、
仮想参照デコーダ(HRD)パラメータがコード化されるビットストリームの時間サブレイヤの数を示す、前記ビデオデータの第2のシンタックス要素のための値を符号化することと、ここにおいて、前記第2のシンタックス要素によって示される前記HRDパラメータがコード化される時間サブレイヤの前記数は、前記第1のシンタックス要素によって示される時間サブレイヤの前記最大数よりも小さく、
前記第2のシンタックス要素によって示される時間サブレイヤの前記数の各時間サンレイヤのためにHRDパラメータを符号化することと、
前記ビットストリームの符号化ピクチャを形成するためにピクチャを符号化することと、
前記ビットストリームの前記符号化ピクチャを復号することと、
復号ピクチャバッファ(DPB)に復号ピクチャを記憶することと、
前記HRDパラメータに従って前記DPBから前記復号ピクチャを削除することと、
によって、前記HRDパラメータを使用して前記ビットストリームを処理することと
を行うように構成される、機器。
【請求項18】
前記サブレイヤのピクチャを撮るためのカメラ又は前記ピクチャを表示するための表示器のうちの少なくとも1つを更に備える、及び/又は、
前記機器が、
集積回路、
マイクロプロセッサ又は
ワイヤレス通信機器
のうちの少なくとも1つを備える、請求項16に記載の機器。
【請求項19】
前記サブレイヤのピクチャを撮るためのカメラ又は前記ピクチャを表示するための表示器のうちの少なくとも1つを更に備える、及び/又は、
前記機器が、
集積回路、
マイクロプロセッサ又は
ワイヤレス通信機器
のうちの少なくとも1つを備える、請求項17に記載の機器。
【請求項20】
前記機器がワイヤレス通信機器であり、前記機器が、前記第1および第2のシンタックス要素と前記HRDパラメータとを含む信号を受信することと、前記メモリに前記第1および第2のシンタックス要素と前記HRDパラメータとを記憶することとを行うように構成された受信機を更に備え、
前記ワイヤレス通信機器がセルラー電話であり、前記信号が、トランシーバによって受信され、セルラー通信規格に従って変調される、請求項16に記載の機器。
【請求項21】
実行されたとき、ビデオデータをコード化するための機器のプロセッサに、請求項1乃至15のいずれかの方法を実行させる命令を記憶したコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
[0001]本出願は、その全体が参照により本明細書に組み込まれる、2014年6月18日に出願された米国仮出願第62/013,965号の利益を主張する。
【0002】
[0002]本開示はビデオコード化に関する。
【背景技術】
【0003】
[0003]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップ又はデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録機器、デジタルメディアプレーヤ、ビデオゲーム機器、ビデオゲームコンソール、セルラー又は衛星無線電話、所謂「スマートフォン」、ビデオ遠隔会議機器、ビデオストリーミング機器などを含む、広範囲にわたる機器に組み込まれ得る。デジタルビデオ機器は、MPEG−2、MPEG−4、ITU−T H.263、ITU−T H.264/MPEG−4,Part10,高度ビデオコード化(AVC:Advanced Video Coding)、現在開発中の高効率ビデオコード化(HEVC:High Efficiency Video Coding)規格によって定義された規格及びそのような規格の拡張に記載されているビデオコード化技法など、ビデオコード化技法を実装する。ビデオ機器は、そのようなビデオコード化技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号及び/又は記憶し得る。
【0004】
[0004]ビデオコード化技法は、ビデオシーケンスに固有の冗長性を低減又は除去するための空間(ピクチャ内)予測及び/又は時間(ピクチャ間)予測を含む。ブロックベースのビデオコード化の場合、ビデオスライス(例えば、ビデオフレーム又はビデオフレームの一部分)が、ツリーブロック、コード単位(CU:coding unit)及び/又はコード化ノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコード化(I)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化(P又はB)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測又は他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
【0005】
[0005]空間的予測又は時間的予測は、コード化されるべきブロックの予測ブロックを生じる。残差データは、コード化されるべき元のブロックと予測ブロックとの間の画素差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトル及びコード化ブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコード化ブロックは、イントラコード化モードと残差データとに従って符号化される。更なる圧縮のために、残差データは、画素領域から変換領域に変換されて、残差変換係数が得られ得、その残差変換係数は、次いで量子化され得る。量子化変換係数は、最初は2次元アレイで構成され、変換係数の1次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するために、エントロピーコード化が適用され得る。
【発明の概要】
【0006】
[0006]概して、本開示は、ビットストリームパーティションのための仮想参照デコーダ(HRD:hypothetical reference decoder)パラメータを信号伝達するための技法について説明する。即ち、本開示の技法は、例えば、マルチレイヤビデオコード化における、ビットストリームパーティションのためのHRDパラメータの信号伝達を改善し得る。ビデオビットストリームは、時間次元、(例えば、マルチビュービデオデータのための)ビュー次元、(例えば、スケーラブルビデオコード化のための)スケーラビリティ次元など、様々な次元における様々なレイヤを含み得る。ビデオデコーダによる後続の復号のためにそれのいずれか又は全てが個々に抽出され得るビットストリームパーティションのためのHRDパラメータ信号伝達を改善し得る、単独で又は任意の組合せで使用され得る様々な技法について説明する。
【0007】
[0007]一例では、ビデオデータをコード化(例えば、符号化又は復号)する方法は、仮想参照デコーダ(HRD)パラメータがそれのためにコード化されるビットストリームのサブレイヤの数を示すシンタックス要素のための値をコード化することと、ここにおいて、値は、HRDパラメータがそれのためにコード化されるサブレイヤの数が、ビットストリームのビデオパラメータセット(VPS)によって示されるサブレイヤの最大数よりも小さいことを示す、シンタックス要素のための値によって示されるサブレイヤの数のためにHRDパラメータをコード化することと、HRDパラメータを使用してビットストリームを処理することとを含む。
【0008】
[0008]別の例では、ビデオデータをコード化(例えば、符号化又は復号)するための機器は、ビデオデータを記憶するように構成されたメモリと、ビデオコーダとを含み、ビデオコーダは、仮想参照デコーダ(HRD)パラメータがそれのためにコード化されるビットストリームのサブレイヤの数を示すシンタックス要素のための値をコード化することと、ここにおいて、値は、HRDパラメータがそれのためにコード化されるサブレイヤの数が、ビットストリームのビデオパラメータセット(VPS)によって示されるサブレイヤの最大数よりも小さいことを示す、シンタックス要素のための値によって示されるサブレイヤの数のためにHRDパラメータをコード化することと、HRDパラメータを使用してビットストリームを処理することとを行うように構成される。
【0009】
[0009]別の例では、ビデオデータをコード化(例えば、符号化又は復号)するための機器は、仮想参照デコーダ(HRD)パラメータがそれのためにコード化されるビットストリームのサブレイヤの数を示すシンタックス要素のための値をコード化するための手段と、ここにおいて、値は、HRDパラメータがそれのためにコード化されるサブレイヤの数が、ビットストリームのビデオパラメータセット(VPS)によって示されるサブレイヤの最大数よりも小さいことを示す、シンタックス要素のための値によって示されるサブレイヤの数のためにHRDパラメータをコード化するための手段と、HRDパラメータを使用してビットストリームを処理するための手段とを含む。
【0010】
[0010]別の例では、コンピュータ可読記憶媒体は、実行されたとき、仮想参照デコーダ(HRD)パラメータがそれのためにコード化されるビットストリームのサブレイヤの数を示すシンタックス要素のための値をコード化することと、ここにおいて、値は、HRDパラメータがそれのためにコード化されるサブレイヤの数が、ビットストリームのビデオパラメータセット(VPS)によって示されるサブレイヤの最大数よりも小さいことを示す、シンタックス要素のための値によって示されるサブレイヤの数のためにHRDパラメータをコード化することと、HRDパラメータを使用してビットストリームを処理することとを1つ又は複数のプロセッサに行わせる命令で符号化される。
【0011】
[0011]1つ又は複数の例の詳細を添付の図面及び以下の説明に記載する。他の特徴、目的及び利点は、その説明及び図面、並びに特許請求の範囲から明らかになろう。
【図面の簡単な説明】
【0012】
図1】[0012]仮想参照デコーダ(HRD)パラメータ信号伝達を改善するための技法を利用し得る例示的なビデオ符号化及び復号システムを示すブロック図。
図2】[0013]仮想参照デコーダ(HRD)パラメータ信号伝達を改善するための技法を実装し得るビデオエンコーダの一例を示すブロック図。
図3】[0014]仮想参照デコーダ(HRD)パラメータ信号伝達を改善するための技法を実装し得るビデオデコーダの一例を示すブロック図。
図4】[0015]本開示の技法に従ってビデオデータを符号化するための例示的な方法を示すフローチャート。
図5】[0016]本開示の技法に従ってビデオデータを復号するための例示的な方法を示すフローチャート。
【発明を実施するための形態】
【0013】
[0017]概して、本開示は、仮想参照デコーダ(HRD)パラメータをコード化(例えば、符号化又は復号)することに関する技法について説明する。概して、タイムラインを管理するために、及びビデオコード化プロセスのためのコード化ピクチャのサイズを制御するために、HRDパラメータが使用される。例えば、ビデオコーダは、ピクチャを復号する目的でコード化ピクチャバッファ(CPB)から符号化ピクチャをいつ抽出すべきかを決定するために、及び/又は復号ピクチャバッファ(DPB)から復号ピクチャをいつ抽出、出力及び/又は削除すべきかを決定するために、HRDパラメータを使用し得る。
【0014】
[0018]ビデオビットストリームは、様々な異なる復号及びレンダリング機器によって使用され得るコード化ビデオデータを含み得る。例えば、ビデオデコーダは、様々な復号ツールを実装し得る、様々なビデオコード化規格プロファイル及びレベルをサポートし得る。同様に、ビデオレンダリング機器(例えば、表示器)は、様々なレンダリング能力(例えば、リフレッシュレート/フレームレート、同時に再生され得るビューの数、インターレース又はプログレッシブ走査再生など)をサポートし得る。このようにして、単一のビデオビットストリームが、複数の異なるビデオデコーダ及びレンダリング機器によって使用可能であり得る。
【0015】
[0019]一例として、ビデオビットストリームは、様々なフレームレートがビデオビットストリームからレンダリングされ得るとき、時間スケーラビリティをサポートすると言われることがある。例えば、毎秒15フレーム(FPS)、30FPS、60FPS、120FPS及び240FPSのフレームレートを有するビデオをレンダリングするために、同じビデオビットストリームが使用され得る。概して、これらの様々な再生フレームレートの各々は、ビットストリームの1つ又は複数の「サブレイヤ」のセットに対応する。各漸進的により高いレイヤは、そのサブレイヤにある、及びそのサブレイヤの下の全てのフレームを含む。従って、15FPS再生のためのピクチャは、サブレイヤ0ピクチャを含み得、30FPS再生のためのピクチャは、サブレイヤ0ピクチャとサブレイヤ1ピクチャとを含み得、60FPS再生のためのピクチャは、サブレイヤ0、1及び2のピクチャを含み得、以下同様である。
【0016】
[0020]このようにして、機器が、ビデオビットストリームによってサポートされる最大フレームレートよりも低いフレームレートにおいて再生を実行するように構成されたとき、機器は、再生のために必要とされるピクチャのみを抽出及び復号するために、ビットストリームからのサブビットストリーム抽出を実行し得る。上記の例を続けると、機器が、60FPS再生を実行すると決定すべきである場合、機器は、サブレイヤ0、1及び2のピクチャを抽出し、これらのピクチャのみを復号し得る(即ち、サブレイヤ3及び4のピクチャを復号しない)。
【0017】
[0021]ビデオパラメータセット(VPS)シンタックス構造は、ビットストリーム中に含まれ得るサブレイヤの最大数を示すデータを含み得る。従って、HRDパラメータは、最大数のサブレイヤの各々のために信号伝達され得る。しかしながら、(例えば、時間スケーラビリティの目的の)サブビットストリーム抽出は、最大数よりも少ない数のサブレイヤを有する抽出されたサブビットストリームを生じ得る。最大数のサブレイヤの各々のために情報を信号伝達するのではなく、本開示は、(VPSによって示されるサブレイヤの最大数よりも小さいか又はそれに等しいことがある)ビットストリーム中に実際に含まれる数のサブレイヤのみのためにHRDパラメータを信号伝達するための技法について説明する。このようにして、これらの技法は、HRDパラメータが最大数のサブレイヤの各々のために信号伝達される技法に関してビット節約を達成し得る。
【0018】
[0022]同様に、本開示は、ビットストリームの各パーティションの各サブレイヤのためにHRDパラメータを信号伝達するための技法について説明する。例えば、VPSは、幾つかの可能な出力レイヤセットの各々上で反復するパラメータのループを含み得、各可能な出力レイヤセットのために、対応する出力レイヤセット中に含まれるサブレイヤのためにHRDパラメータを信号伝達する。
【0019】
[0023]更に、本開示は、ビットストリームパーティション初期到着時間補足強化情報(SEI:supplemental enhancement information)メッセージ中のビデオコード化レイヤ(VCL:video coding layer)HRDパラメータを条件付きで信号伝達するための技法について説明する。これは、そのようなパラメータが幾つかの状態では不必要に信号伝達され得る、既存の技法の幾つかの潜在的欠陥を克服し得る。
【0020】
[0024]本開示の技法について、概して、「SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Infrastructure of audiovisual services--Coding of moving video」、高効率ビデオコード化、ITU−T H.265、2013年4月に記載されている、高効率ビデオコード化(HEVC)とも呼ばれる、ITU−T H.265に関して説明する。しかしながら、これらの技法は、他のビデオコード化規格にも適用され得る。ビデオコード化規格は、ITU−T H.261、ISO/IEC MPEG−1 Visual、ITU−T H.262又はISO/IEC MPEG−2 Visual、ITU−T H.263、ISO/IEC MPEG−4 Visual及びそれのスケーラブルビデオコード化(SVC:Scalable Video Coding)拡張とマルチビュービデオコード化(MVC:Multiview Video Coding)拡張とを含む、(ISO/IEC MPEG−4 AVCとしても知られる)ITU−T H.264を含む。
【0021】
[0025]H.265規格は、最近、ITU−Tビデオコード化エキスパートグループ(VCEG:Video Coding Experts Group)とISO/IECモーションピクチャエキスパートグループ(MPEG:Motion Picture Experts Group)とのジョイントコラボレーションチームオンビデオコード化(JCT−VC:Joint Collaboration Team on Video Coding)によって確定された。以下でHEVC WDと呼ばれる、最新のHEVCドラフト仕様が、phenix.it-sudparis.eu/jct/doc_end_user/documents/17_Valencia/wg11/JCTVC-Q1003-v1.zipから入手可能である。また、HEVCのマルチビュー拡張、即ちMV−HEVCがJCT−3Vによって開発されている。以下でMV−HEVC WD8と呼ばれる、MV−HEVCの最近のワーキングドラフト(WD)が、phenix.it-sudparis.eu/jct2/doc_end_user/documents/8_Valencia/wg11/JCT3V-H1002-v5.zipから入手可能である。SHVCと称するHEVCのスケーラブル拡張も、JCT−VCによって開発されている。以下でSHVC WD6と呼ばれるSHVCの最近のワーキングドラフト(WD)が、phenix.it-sudparis.eu/jct/doc_end_user/documents/17_Valencia/wg11/JCTVC-Q1008-v2.zipから入手可能である。
【0022】
[0026]MV−HEVC WD8及びSHVC WD6は、ビットストリームパーティション固有HRD動作と呼ばれる、ビットストリームパーティションベースのHRD動作の仕様を含み、ここにおいて、ビットストリームのレイヤは、2つ以上のビットストリームパーティションに分割され得、HRDは、ビットストリームパーティション固有HRDパラメータに基づいて動作し得る。
【0023】
[0027](phenix.int-evry.fr/jct/doc_end_user/documents/18_Sapporo/wg11/JCTVC-R0043-v5.zipにおいて入手可能な)JCTVC−R0043v5、並びにphenix.int-evry.fr/jct/doc_end_user/documents/18_Sapporo/wg11/JCTVC-R0010-v2.zipにおいて入手可能な、Sullivan、「Ad hoc group report: Layered coding constraint specifications and capability indications (AHG10)」、ITU−T SG16 WP3及びISO/IEC JTC1/SC29/WG11のジョイントコラボレーティブチームオンビデオコード化(JCT−VC:Joint Collaborative Team on Video Coding)、第18回会議:札幌、日本、2014年6月30日〜7月9日、JCTVC−R0010v2(以下、「JCTVC−R0010v2」)のアタッチメントにおけるAHG10出力テキストが、プロファイル/ティア/レベルのビットストリームパーティションベースの信号伝達及び準拠定義の仕様を含む。本手法は以下のように要約される。
【0024】
・各出力レイヤセットのために、パーティションへのレイヤの1つ又は複数の区分方式が信号伝達される。各ビットストリームパーティションは、1つ又は複数のレイヤを含んでいることがある。
【0025】
・プロファイル、ティア及びレベル(PTL)のセットが、各ビットストリームパーティションのために信号伝達される。
【0026】
・当然レイヤ固有、ピクチャ幅、ピクチャ高さ及びサブDPBサイズに関する3つを除いて、全てのレベル限界及び制限は、ビットストリームパーティション固有であることが指定される。
【0027】
・デコーダの復号能力は、PTLトリプレットのリストに準拠するものとして表され、ここにおいて、リスト中のエントリの数は、マルチレイヤデコーダを構築するために使用されるシングルレイヤデコーダの数を示し、各PTLトリプレットは、シングルレイヤデコーダのうちの1つのPTLを示す。
【0028】
・PTLトリプレットのリストに準拠するデコーダは、以下の条件、即ち、区分方式の各ビットストリームパーティションのために、マルチレイヤデコーダのシングルレイヤデコーダのうちの1つが、ビットストリームパーティションを復号するために排他的に割り当てられ得る、を満たす少なくとも1つの区分方式がそれのためにある出力レイヤセットを復号することが可能であることが必要とされる。
【0029】
・MV−HEVC WD8及びSHVC WD6におけるビットストリームパーティションベースのHRD動作は、複数の区分方式とともにより良く動作するための変更とともに使用される。
【0030】
[0028]MV−HEVC WD8、SHVC WD6及びJCTVC−R0010v2におけるビットストリームパーティションベースのHRD動作では、HRDパラメータは、各ビットストリームパーティションのために信号伝達される。ビットストリームパーティションのためのHRDパラメータの信号伝達のための既存の方法は、以下の短所に遭遇し得る。
【0031】
1)各hrd_parameters()シンタックス構造は、vps_max_sub_layer_minus1+1サブレイヤのための情報を含んでおり、更には、シンタックス構造は、ビットストリームに適用され、vps_max_sub_layer_minus1+1よりも小さい数のサブレイヤを有する。この場合、幾つかのビットが単に浪費される。
【0032】
2)各ビットストリームパーティションのために、最も高いサブレイヤのみのためのHRDパラメータが信号伝達され、従って、ビットストリームパーティションの時間サブセットの準拠が定義されないことがあり、相互運用可能な様式で出力レイヤセットの時間サブセットのみを消費する方法がない。
【0033】
3)ビットストリームパーティション初期到着時間SEIメッセージでは、決して起こるべきでない以下の2つの場合の両方が起こることがある。
【0034】
a.NalHrdBpPresentFlagが1であるとき、vcl_initial_arrival_delay[i]シンタックス要素を介したVCL HRDパラメータのための初期到着遅延は、VclHrdBpPresentFlagが1に等しい場合でも信号伝達されない。この場合、VCL HRD準拠は定義されないことがある。
【0035】
b.NalHrdBpPresentFlagが0であるとき、vcl_initial_arrival_delay[i]シンタックス要素を介したVCL HRDパラメータのための初期到着遅延は、VclHrdBpPresentFlagが0に等しい場合でも信号伝達される。この場合、それらの信号伝達は単にビットを浪費している。
【0036】
[0029]従って、上述のように、本開示は、単独で又は任意の組合せで使用され得、上記で説明した短所のいずれか又は全てを克服し得る、様々な技法について説明する。本開示の技法の概要が、後のセクションにおいて与えられる幾つかの方法の詳細な実装形態を用いて、以下で与えられる。概して、以下の番号付き項目は、上記で説明した番号付き短所に対処し得る。
【0037】
1)各hrd_parameters()シンタックス構造は、例えば、num_sub_layer_hrd_minus1[i]と名付けられた、シンタックス要素によって信号伝達される、必要とされるサブレイヤの数のための情報を含んでいる。
【0038】
2)各ビットストリームパーティションのために、各サブレイヤのためのHRDパラメータが信号伝達される。これは、配信スケジュールの数を示すシンタックス要素のための出力レイヤセット中のサブレイヤの数に等しいエントリ数をもつループと、hrd_parameters()シンタックス構造のリストへのインデックスと、示されたhrd_parameters()シンタックス構造中の配信スケジュールのリストへのインデックスとを追加すること又は単にhrd_parameters()シンタックス構造のリストへのインデックスのみを信号伝達し、示されたhrd_parameters()シンタックス構造中の全ての配信スケジュールを使用することのいずれかによって達成され得る。
【0039】
3)ビットストリームパーティション初期到着時間SEIメッセージでは、シンタックスは、VCL HRDパラメータのための初期到着遅延が、VclHrdBpPresentFlagが1に等しいときかつそのときに限って存在するように変更される。
【0040】
[0030]図1は、仮想参照デコーダ(HRD)パラメータ信号伝達を改善するための技法を利用し得る例示的なビデオ符号化及び復号システム10を示すブロック図である。図1に示されているように、システム10は、宛先機器14によって後で復号されるべき符号化ビデオデータを与える発信源機器12を含む。特に、発信源機器12は、コンピュータ可読媒体16を介してビデオデータを宛先機器14に与える。発信源機器12及び宛先機器14は、デスクトップコンピュータ、ノートブック(即ち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、所謂「スマート」フォンなどの電話ハンドセット、所謂「スマート」パッド、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミング機器などを含む、広範囲の機器のいずれかを備え得る。場合によっては、発信源機器12及び宛先機器14は、ワイヤレス通信のために装備され得る。
【0041】
[0031]宛先機器14は、コンピュータ可読媒体16を介して復号されるべき符号化ビデオデータを受信し得る。コンピュータ可読媒体16は、発信源機器12から宛先機器14に符号化ビデオデータを移動させることができる任意のタイプの媒体又は機器を備え得る。一例では、コンピュータ可読媒体16は、発信源機器12が、符号化ビデオデータを宛先機器14にリアルタイムで直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先機器14に送信され得る。通信媒体は、無線周波数(RF)スペクトル又は1つ以上の物理伝送線路など、任意のワイヤレス又は有線通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク又はインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、発信源機器12から宛先機器14への通信を可能にするために有用であり得るルータ、スイッチ、基地局又は任意の他の機器を含み得る。
【0042】
[0032]幾つかの例では、符号化データは、出力インターフェース22から記憶装置に出力され得る。同様に、符号化データは、入力インターフェースによって記憶装置からアクセスされ得る。記憶装置は、ハードドライブ、Blu−ray(登録商標)ディスク、DVD、CD−ROM、フラッシュメモリ、揮発性又は不揮発性メモリ又は符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散された、又はローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。更なる一例では、記憶装置は、発信源機器12によって生成された符号化ビデオを記憶し得るファイルサーバ又は別の中間記憶装置に対応し得る。宛先機器14は、ストリーミング又はダウンロードを介して記憶装置から記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶することと、その符号化ビデオデータを宛先機器14に送信することとが可能な任意のタイプのサーバであり得る。例示的なファイルサーバは、(例えば、ウェブサイトのための)ウェブサーバ、FTPサーバ、ネットワーク接続記憶(NAS)機器又はローカルディスクドライブを含む。宛先機器14は、インターネット接続を含む、任意の標準のデータ接続を通して符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル(例えば、Wi−Fi(登録商標)接続)、有線接続(例えば、DSL、ケーブルモデムなど)又はその両方の組合せを含み得る。記憶装置からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信又はそれらの組合せであり得る。
【0043】
[0033]本開示の技法は、必ずしもワイヤレス適用例又は設定に限定されるとは限らない。本技法は、無線テレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーHTTP(DASH)などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号又は他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコード化に適用され得る。幾つかの例では、システム10は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング及び/又はビデオテレフォニーなどの適用例をサポートするために、一方向又は双方向のビデオ送信をサポートするように構成され得る。
【0044】
[0034]図1の例では、発信源機器12は、ビデオ発信源18と、ビデオエンコーダ20と、出力インターフェース22とを含む。宛先機器14は、入力インターフェース28と、ビデオデコーダ30と、表示装置32とを含む。本開示によれば、発信源機器12のビデオエンコーダ20は、仮想参照デコーダ(HRD)パラメータ信号伝達を改善するための技法を適用するように構成され得る。他の例では、発信源機器及び宛先機器は他の構成要素又は構成を含み得る。例えば、発信源機器12は、外部カメラなどの外部ビデオ発信源18からビデオデータを受信し得る。同様に、宛先機器14は、内蔵表示装置を含むのではなく、外部表示装置とインターフェースし得る。
【0045】
[0035]上述のように、発信源機器12は出力インターフェース22を含み、宛先機器14は入力インターフェース28を含む。幾つかの例では、出力インターフェース22は送信機を表し、入力インターフェース28は受信機を表す。他の例では、出力インターフェース22及び入力インターフェース28は、トランシーバ(即ち、ワイヤレスにデータ信号を送信することと受信することの両方が可能なインターフェース)の例を表す。トランシーバは、ワイヤレス信号中でビデオデータを送信及び受信するように構成され得る。例えば、出力インターフェース22は、トランシーバとして実装されたとき、符号化ビデオデータを含むデータ信号(例えば、コンピュータ可読媒体16)を送り得、入力インターフェース28は、トランシーバとして実装されたとき、符号化ビデオデータを含むデータ信号(例えば、コンピュータ可読媒体16)を受信し得る。上記で説明したように、ビデオエンコーダ20は符号化ビデオデータを出力インターフェース22に与え得、入力インターフェース28は符号化ビデオデータをビデオデコーダ30に与え得る。更に、トランシーバは、送信機と受信機の両方を含み得、従って、トランシーバに関して説明する送信アクションは、送信機によっても実行され得、トランシーバに関して説明する受信アクションは、受信機によっても実行され得る。
【0046】
[0036]図1の図示のシステム10は一例にすぎない。仮想参照デコーダ(HRD)パラメータ信号伝達を改善するための技法は、任意のデジタルビデオ符号化及び/又は復号機器によって実行され得る。概して、本開示の技法はビデオ符号化機器によって実行されるが、本技法は、一般に「コーデック」と呼ばれるビデオエンコーダ/デコーダによっても実行され得る。その上、本開示の技法は、ビデオプリプロセッサによっても実行され得る。発信源機器12及び宛先機器14は、発信源機器12が宛先機器14に送信するためのコード化ビデオデータを生成するような、コード化機器の例にすぎない。幾つかの例では、機器12、14は、機器12、14の各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、実質的に対称的に動作し得る。従って、システム10は、例えば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング又はビデオテレフォニーのための、ビデオ機器12とビデオ機器14との間の一方向又は双方向のビデオ送信をサポートし得る。
【0047】
[0037]発信源機器12のビデオ発信源18は、ビデオカメラなどの撮像装置、以前に撮られたビデオを含んでいるビデオアーカイブ及び/又はビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。更なる代替として、ビデオ発信源18は、発信源ビデオとしてのコンピュータグラフィックスベースのデータ又はライブビデオとアーカイブビデオとコンピュータ生成ビデオとの組合せを生成し得る。場合によっては、ビデオ発信源18がビデオカメラである場合、発信源機器12及び宛先機器14は、所謂カメラフォン又はビデオフォンを形成し得る。但し、上述のように、本開示で説明する技法は、概してビデオコード化に適用可能であり得、ワイヤレス及び/又は有線適用例に適用され得る。各場合において、撮られたビデオ、前に撮られたビデオ又はコンピュータ生成ビデオは、ビデオエンコーダ20によって符号化され得る。符号化ビデオ情報は、次いで、出力インターフェース22によってコンピュータ可読媒体16上に出力され得る。
【0048】
[0038]コンピュータ可読媒体16は、ワイヤレスブロードキャスト又は有線ネットワーク送信などの一時媒体若しくはハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Blu−rayディスク又は他のコンピュータ可読媒体などの記憶媒体(即ち、非一時的記憶媒体)を含み得る。幾つかの例では、ネットワークサーバ(図示せず)は、発信源機器12から符号化ビデオデータを受信し、例えば、ネットワーク送信を介して、その符号化ビデオデータを宛先機器14に与え得る。同様に、ディスクスタンピング設備など、媒体製造設備のコンピュータ機器は、発信源機器12から符号化ビデオデータを受信し、その符号化ビデオデータを含んでいるディスクを生成し得る。従って、コンピュータ可読媒体16は、様々な例において、様々な形態の1つ又は複数のコンピュータ可読媒体を含むことが理解されよう。
【0049】
[0039]宛先機器14の入力インターフェース28は、コンピュータ可読媒体16から情報を受信する。コンピュータ可読媒体16の情報は、ビデオエンコーダ20によって定義され、またビデオデコーダ30によって使用される、ブロック及び他のコード単位、例えば、GOPの特性及び/又は処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。表示装置32は、復号ビデオデータをユーザに対して表示し、陰極線管(CRT)、液晶表示器(LCD)、プラズマ表示器、有機発光ダイオード(OLED)表示器又は別のタイプの表示装置など、様々な表示装置のいずれかを備え得る。
【0050】
[0040]ビデオエンコーダ20及びビデオデコーダ30は、ITU−T H.265とも呼ばれる、高効率ビデオコード化(HEVC)規格など、ビデオコード化規格に従って動作し得る。代替的に、ビデオエンコーダ20及びビデオデコーダ30は、代替的にMPEG−4,Part10,アドバンストビデオコード化(AVC)と呼ばれるITU−T H.264規格など、他のプロプライエタリ規格又は業界規格、若しくはそのような規格の拡張に従って動作し得る。但し、本開示の技法は、いかなる特定のコード化規格にも限定されない。ビデオコード化規格の他の例としては、MPEG−2及びITU−T H.263がある。図1には示されていないが、幾つかの態様では、ビデオエンコーダ20及びビデオデコーダ30は、それぞれ、オーディオエンコーダ及びデコーダと統合され得、共通のデータストリーム又は別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するために、適切なMUX−DEMUXユニット又は他のハードウェア及びソフトウェアを含み得る。適用可能な場合、MUX−DEMUXユニットは、ITU H.223マルチプレクサプロトコル又はユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠し得る。
【0051】
[0041]ビデオエンコーダ20及びビデオデコーダ30はそれぞれ、1つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ回路のいずれか又はそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、機器は、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、本開示の技法を実行するために1つ又は複数のプロセッサを使用してその命令をハードウェアで実行し得る。ビデオエンコーダ20及びビデオデコーダ30の各々は1つ又は複数のエンコーダ又はデコーダ中に含まれ得、そのいずれも、それぞれの機器において複合エンコーダ/デコーダ(コーデック)の一部として統合され得る。
【0052】
[0042]概して、ビデオフレーム又はピクチャは、ルーマサンプルとクロマサンプルの両方を含み得る最大コード単位(LCU)としても知られる、ツリーブロックのシーケンスに分割され得る。ビットストリーム内のシンタックスデータが、画素の数に関して最大コード単位であるLCUのサイズを定義し得る。スライスは、コード化順序で幾つかの連続するツリーブロックを含む。ビデオフレーム又はピクチャは、1つ又は複数のスライスに区分され得る。各ツリーブロックは、4分木データ構造に従ってコード単位(CU)に分割され得る。概して、4分木データ構造はCUごとに1つのノードを含み、ルートノードはツリーブロックに対応する。CUが4つのサブCUに分割された場合、CUに対応するノードは4つのリーフノードを含み、リーフノードの各々はサブCUのうちの1つに対応する。
【0053】
[0043]4分木データ構造の各ノードは、対応するCUのシンタックスデータを与え得る。例えば、4分木のノードは、そのノードに対応するCUがサブCUに分割されるかどうかを示す分割フラグを含み得る。CUのシンタックス要素は、再帰的に定義され得、CUがサブCUに分割されるかどうかに依存し得る。CUが更に分割されない場合、そのCUはリーフCUと呼ばれる。本開示では、元のリーフCUの明示的分割が存在しない場合でも、リーフCUの4つのサブCUをリーフCUとも呼ぶ。例えば、16×16サイズのCUが更に分割されない場合、その16×16CUが決して分割されなくても、4つの8×8サブCUはリーフCUとも呼ばれる。
【0054】
[0044]CUは、CUがサイズ差異を有しないことを除いて、H.264規格のマクロブロックと同様の目的を有する。例えば、ツリーブロックは、(サブCUとも呼ばれる)4つの子ノードに分割され得、各子ノードは、今度は親ノードとなり、別の4つの子ノードに分割され得る。4分木のリーフノードと呼ばれる、最後の分割されていない子ノードは、リーフCUとも呼ばれるコード化ノードを備える。コード化ビットストリームに関連するシンタックスデータは、最大CU深さと呼ばれる、ツリーブロックが分割され得る最大回数を定義し得、また、コード化ノードの最小サイズを定義し得る。それに応じて、ビットストリームは最小コード単位(SCU:smallest coding unit)をも定義し得る。本開示では、HEVCのコンテキストにおけるCU、予測単位(PU)又は変換単位(TU)若しくは他の規格のコンテキストにおける同様のデータ構造(例えば、H.264/AVCにおけるマクロブロック及びそれのサブブロック)のいずれかを指すために「ブロック」という用語を使用する。
【0055】
[0045]CUは、コード化ノードと、コード化ノードに関連する予測単位(PU:prediction unit)及び変換単位(TU:transform unit)とを含む。CUのサイズは、コード化ノードのサイズに対応し、概して形状が方形である。CUのサイズは、8×8画素から最大サイズ、例えば、64×64以上の画素を有するツリーブロックのサイズまでに及び得る。各CUは、1つ又は複数のPUと、1つ又は複数のTUとを含んでいることがある。CUに関連するシンタックスデータは、例えば、CUを1つ又は複数のPUに区分することを記述し得る。区分モードは、CUが、スキップモード符号化又はダイレクトモード符号化されるか、イントラ予測モード符号化されるか、若しくはインター予測モード符号化されるかの間で異なり得る。PUは、形状が非方形になるように区分され得る。CUに関連するシンタックスデータは、例えば、4分木に従ってCUを1つ又は複数のTUに区分することも記述し得る。TUは、形状が正方形又は非正方形(例えば、矩形)であり得る。
【0056】
[0046]HEVC規格は、CUごとに異なり得るTUに従う変換を可能にする。TUは、一般に、区分されたLCUについて定義された所与のCU内のPUのサイズに基づいてサイズ決定されるが、これは常にそうであるとは限らない。TUは、一般にPUと同じサイズであるか、又はPUよりも小さい。幾つかの例では、CUに対応する残差サンプルは、「残差4分木」(RQT:residual quad tree)として知られる4分木構造を使用してより小さい単位に再分割され得る。RQTのリーフノードは変換単位(TU)と呼ばれることがある。TUに関連する画素差分値は、変換係数を生成するために変換され得、その変換係数は量子化され得る。
【0057】
[0047]リーフCUは1つ又は複数のPUを含み得る。概して、PUは、対応するCUの全部又は一部分に対応する空間的エリアを表し、そのPUの参照サンプルを取り出し、及び/又は生成するためのデータを含み得る。その上、PUは、予測に関係するデータを含む。例えば、PUがイントラモード符号化されるとき、PUについてのデータは、PUに対応するTUについてのイントラ予測モードを記述するデータを含み得る残差4分木(RQT)中に含まれ得る。RQTは変換ツリーと呼ばれることもある。幾つかの例では、イントラ予測モードは、RQTの代わりに、リーフCUシンタックス中で信号伝達され得る。別の例として、PUがインターモード符号化されるとき、PUは、PUのための、1つ又は複数の動きベクトルなど、動き情報を定義するデータを含み得る。PUの動きベクトルを定義するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの解像度(例えば、1/4画素精度又は1/8画素精度)、動きベクトルが指す参照ピクチャ及び/又は動きベクトルの参照ピクチャリスト(例えば、リスト0、リスト1又はリストC)を記述し得る。
【0058】
[0048]1つ又は複数のPUを有するリーフCUはまた、1つ又は複数のTUを含み得る。変換単位は、上記で説明したように、(TU4分木構造とも呼ばれる)RQTを使用して指定され得る。例えば、分割フラグは、リーフCUが4つの変換単位に分割されるかどうかを示し得る。次いで、各変換単位は、更なるサブTUに更に分割され得る。TUが更に分割されないとき、そのTUはリーフTUと呼ばれることがある。概して、イントラコード化の場合、リーフCUに属する全てのリーフTUは同じイントラ予測モードを共有する。即ち、概して、リーフCUの全てのTUの予測値を計算するために同じイントラ予測モードが適用される。イントラコード化の場合、ビデオエンコーダは、イントラ予測モードを使用して各リーフTUの残差値を、TUに対応するCUの一部と元のブロックとの間の差分として計算し得る。TUは、必ずしもPUのサイズに制限されるとは限らない。従って、TUは、PUよりも大きいことも小さいこともある。イントラコード化の場合、PUは、同じCUの対応するリーフTUとコロケート(同一位置に配置)され得る。幾つかの例では、リーフTUの最大サイズは、対応するリーフCUのサイズに対応し得る。
【0059】
[0049]その上、リーフCUのTUはまた、上述のように残差4分木(RQT)又は変換ツリーと呼ばれる、それぞれの4分木データ構造に関連し得る。即ち、リーフCUは、リーフCUがどのようにTUに区分されるかを示す4分木を含み得る。TU4分木のルートノードは概してリーフCUに対応し、CU4分木のルートノードは概してツリーブロック(又はLCU)に対応する。分割されないRQTのTUはリーフTUと呼ばれる。概して、本開示では、特に明記しない限り、リーフCU及びリーフTUに言及するためにそれぞれCU及びTUという用語を使用する。
【0060】
[0050]ビデオシーケンスは、一般に、一連のビデオフレーム又はピクチャを含む。グループオブピクチャ(GOP:group of pictures)は、概して、ビデオピクチャのうちの一連の1つ又は複数を備える。GOPは、GOP中に含まれる幾つかのピクチャを記述するシンタックスデータを、GOPのヘッダ中、ピクチャのうちの1つ又は複数のヘッダ中又は他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスの符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ20は、一般に、ビデオデータを符号化するために個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックはCU内のコード化ノードに対応し得る。ビデオブロックは、固定サイズ又は可変サイズを有し得、指定のコード化規格に応じてサイズが異なり得る。
【0061】
[0051]一例として、予測は様々なサイズのPUについて実行され得る。特定のCUのサイズが2N×2Nであると仮定すると、イントラ予測が、2N×2N又はN×NのPUサイズに対して実行され得、インター予測が、2N×2N、2N×N、N×2N又はN×Nの対称的なPUサイズに対して実行され得る。インター予測のための非対称区分は、2N×nU、2N×nD、nL×2N及びnR×2NのPUサイズについても実行され得る。非対称区分では、CUの一方向は区分されないが、他の方向は25%と75%とに区分される。25%のパーティションに対応するCUの部分は、「n」とその後ろに付く「Up」、「Down」、「Left」又は「Right」という表示によって示される。従って、例えば、「2N×nU」は、上部の2N×0.5N PUと下部の2N×1.5N PUとで水平方向に区分された2N×2N CUを指す。
【0062】
[0052]本開示では、「N×N(NxN)」及び「N×N(N by N)」は、垂直寸法及び水平寸法に関するビデオブロックの画素寸法、例えば、16×16(16x16)画素又は16×16(16 by 16)画素を指すために互換的に使用され得る。一般に、16×16ブロックは、垂直方向に16画素を有し(y=16)、水平方向に16画素を有する(x=16)。同様に、N×Nブロックは、概して、垂直方向にN画素を有し、水平方向にN画素を有し、ここで、Nは非負整数値を表す。ブロック中の画素は行及び列に配列され得る。更に、ブロックは、必ずしも、水平方向に垂直方向と同じ数の画素を有する必要はない。例えば、ブロックはN×M画素を備え得、ここで、Mは必ずしもNに等しいとは限らない。
【0063】
[0053]CUのPUを使用したイントラ予測コード化又はインター予測コード化の後、ビデオエンコーダ20は、CUのTUのための残差データを計算し得る。PUは、(画素領域とも呼ばれる)空間領域において予測画素データを生成する方法又はモードを記述するシンタックスデータを備え得、TUは、変換、例えば、残差ビデオデータへの離散コサイン変換(DCT)、整数変換、ウェーブレット変換又は概念的に同様の変換の適用後に、変換領域において係数を備え得る。残差データは、符号化されていないピクチャの画素と、PUに対応する予測値との間の画素差分に対応し得る。ビデオエンコーダ20は、CUのための残差データを表す量子化された変換係数を含むようにTUを形成し得る。即ち、ビデオエンコーダ20は、(残差ブロックの形態の)残差データを計算し、変換係数のブロックを生成するために残差ブロックを変換し、次いで、量子化された変換係数を形成するために変換係数を量子化し得る。ビデオエンコーダ20は、量子化された変換係数を含むTU及び他のシンタックス情報(例えば、TUのための分割情報)を形成し得る。
【0064】
[0054]上述のように、変換係数を生成するための任意の変換の後に、ビデオエンコーダ20は、変換係数の量子化を実行し得る。量子化は、一般に、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、更なる圧縮を行うプロセスを指す。量子化プロセスは、係数の一部又は全部に関連するビット深度を低減し得る。例えば、量子化中にnビット値がmビット値に切り捨てられ得、ここで、nはmよりも大きい。
【0065】
[0055]量子化の後に、ビデオエンコーダ20は、変換係数を走査して、量子化変換係数を含む2次元行列から1次元ベクトルを生成し得る。走査は、アレイの前部により高いエネルギー(従って、より低い周波数)係数を配置し、アレイの後部により低いエネルギー(従って、より高い周波数)係数を配置するように設計され得る。幾つかの例では、ビデオエンコーダ20は、エントロピー符号化され得るシリアル化ベクトルを生成するために、量子化変換係数を走査するために予め定義された走査順序を利用し得る。他の例では、ビデオエンコーダ20は適応走査を実行し得る。量子化変換係数を走査して1次元ベクトルを形成した後に、ビデオエンコーダ20は、例えば、コンテキスト適応型可変長コード化(CAVLC:context-adaptive variable length coding)、コンテキスト適応型バイナリ算術コード化(CABAC:context-adaptive binary arithmetic coding)、シンタックスベースコンテキスト適応型バイナリ算術コード化(SBAC:syntax-based context-adaptive binary arithmetic coding)、確率間隔区分エントロピー(PIPE:Probability Interval Partitioning Entropy)コード化又は別のエントロピー符号化方法に従って1次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ20はまた、ビデオデータを復号する際にビデオデコーダ30が使用するための、符号化ビデオデータに関連するシンタックス要素をエントロピー符号化し得る。
【0066】
[0056]CABACを実行するために、ビデオエンコーダ20は、送信されるべきシンボルに、コンテキストモデル内のコンテキストを割り当て得る。コンテキストは、例えば、シンボルの隣接値が非0であるか否かに関係し得る。CAVLCを実行するために、ビデオエンコーダ20は、送信されるべきシンボルのために可変長コードを選択し得る。VLC中のコードワードは、比較的より短いコードが優勢シンボルに対応し、より長いコードが劣勢シンボルに対応するように構成され得る。このようにして、VLCの使用は、例えば、送信されるべき各シンボルのための等長コードワードを使用することに勝るビット節約を達成し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。
【0067】
[0057]概して、ビデオデコーダ30は、符号化データを復号するためにビデオエンコーダ20によって実行されるものと、逆ではあるが、実質的に同様のプロセスを実行する。例えば、ビデオデコーダ30は、残差ブロックを再生するために、受信されたTUの係数を逆量子化及び逆変換する。ビデオデコーダ30は、予測されたブロックを形成するために、信号伝達された予測モード(イントラ予測又はインター予測)を使用する。次いで、ビデオデコーダ30は、元のブロックを再生するために、(画素ごとに)予測されたブロックと残差ブロックとを組み合わせる。ブロック境界に沿って視覚的アーティファクトを低減するためにデブロッキングプロセスを実行することなど、追加の処理が実行され得る。更に、ビデオデコーダ30は、ビデオエンコーダ20のCABAC符号化プロセスとは逆ではあるが、それと実質的に同様の様式でCABACを使用してシンタックス要素を復号し得る。
【0068】
[0058]本開示の技法の一例によれば、(ビデオエンコーダ20又はビデオデコーダ30などの)ビデオコーダは、仮想参照デコーダ(HRD)パラメータを含む、ビデオパラメータセット(VPS)中のビデオユーザビリティ情報(VUI)をコード化するように構成され得る。以下の表1は、本開示の幾つかの技法によるHRDパラメータのための例示的なVPS VUIバイトシーケンスペイロード(BSP)について説明する。表1では、イタリック体のテキストは、JCTVC−R0010v2のバリアント2アタッチメントに記載されているデータ構造に対する追加を示し、括弧及び「削除:」を使用して識別されるテキスト(例えば、[削除:“例示的な削除されたテキスト”]は、JCTVC−R0010v2のバリアント2アタッチメントに記載されているデータ構造からの削除を表す。
【0069】
【表1】
【0070】
[0059]表1のシンタックス要素のための例示的なセマンティクスについて以下で説明する。場合によっては以下で説明しない変更なしシンタックス要素は、JCTVC−R0010v2のバリアント2アタッチメントに記載されているセマンティクスを保持し得る。同じく、イタリック体のテキストは追加を表し、[削除:“”]は削除を表す。
【0071】
[0060]vps_num_add_hrd_params[削除:“parameters”]は、VPS中に存在する追加のhrd_parameters()シンタックス構造の数を指定する。vps_num_add_hrd_params[削除:“parameters”]の値は、両端値を含む、0〜1024−vps_num_hrd_parametersの範囲内にあるものとする。
【0072】
[0061]1に等しいcprms_add_present_flag[i]は、全てのサブレイヤについて共通であるHRDパラメータが、i番目のhrd_parameters()シンタックス構造中に存在することを指定する。0に等しいcprms_add_present_flag[i]は、全てのサブレイヤについて共通であるHRDパラメータが、i番目のhrd_parameters()シンタックス構造中に存在せず、(i−1)番目のhrd_parameters()シンタックス構造と同じであると導出されることを指定する。
【0073】
[0062]num_sub_layer_hrd_minus1[i]+1は、i番目のhrd_parameters()シンタックス構造中のfixed_pic_rate_general_flag[]シンタックス要素の数を指定する。num_sub_layer_hrd_minus1[i]の値は、両端値を含む、0〜vps_max_sub_layers_minus1の範囲内にあるものとする。
【0074】
[0063]1に等しいbsp_hrd_params[削除:“parameters”]_present_flag[h][i]は、HRDパラメータが、h番目のOLSのi番目の区分方式の全てのビットストリームパーティティションについて存在することを指定する。0に等しいbsp_hrd_params[削除:“parameters”]_present_flag[h][i]は、HRDパラメータが、h番目のOLSのi番目の区分方式のいかなるビットストリームパーティティションについても存在しないことを指定する。
【0075】
[0064]num_bsp_schedules[削除:“sched_combinations”]_minus1[h][i][t]+1は、HighestTidがtに等しいとき、h番目のOLSのi番目の区分方式のビットストリームパーティションのために指定された配信スケジュール[削除:“とhrd_parameters()”][削除:“との組合せ”]の数を指定する。num_bsp_schedules_minus1[h][i][t]の値は、両端値を含む、0〜31の範囲内にあるものとする。
【0076】
[0065]変数[削除:“SchedCombCnt”]BspSchedCnt[h][i][t]は、num_bsp_schedules[削除:“sched_combinations”]_minus1[h][i][t]+1に等しく設定される。
【0077】
[0066]bsp[削除:“_comb”]_hrd_idx[h][i][t][j][k]は、HighestTidがtに等しいとき、h番目のOLSのためのi番目の区分方式のk番目のビットストリームパーティションのために指定されたj番目の配信スケジュール[削除:“とhrd_parameters()”][削除:“との組合せ”]のためのVPS中のhrd_parameters()シンタックス構造のインデックスを指定する。bsp[削除:“_comb”]_hrd_idx[h][i][t][j][k]シンタックス要素の長さは、Ceil(Log2(vps_num_hrd_parameters+vps_num_add_hrd_params[削除:“parameters”]))ビットである。bsp[削除:“_comb”]_hrd_idx[h][i][t][j][k]の値は、両端値を含む、0〜vps_num_hrd_parameters+vps_num_add_hrd_params[削除:“parameters”]−1の範囲内にあるものとする。
【0078】
[0067]bsp[削除:“_comb”]_sched_idx[h][i][t][j][k]は、HighestTidがtに等しいとき、h番目のOLSのためのi番目の区分方式のk番目のビットストリームパーティションのために指定されたj番目の配信スケジュール[削除:“とhrd_parameters()”][削除:“との組合せ”][削除:“において”]として使用される、インデックスbsp[削除:“_comb”]_hrd_idx[h][i][t][j][k]をもつhrd_parameters(t)シンタックス構造のsub_layer_hrd_parameters(t)[削除:“hrd_parameters()”]シンタックス構造内の[削除:“a”]配信スケジュールのインデックスを指定する。bsp[削除:“_comb”]_sched_idx[h][i][t][j][k]の値は、両端値を含む、0〜cpb_cnt_minus1[t[削除:“HighestTid”]]の範囲内にあるものとし、ここで、cpb_cnt_minus1[t[削除:“HighestTid”]]は、インデックスbsp[削除:“_comb”]_hrd_idx[h][i][t][j][k]に対応するhrd_parameters()シンタックス構造からのsub_layer_hrd_parameters(t[削除:“HighestTid”])シンタックス構造中で見つけられる。
【0079】
[0068]HEVCによれば、他の従来のHRDパラメータも、必ずしも上記の表1に示されているものとは限らないが、HRDパラメータシンタックス構造中で信号伝達され得る。例えば、HRDパラメータは、HEVCが次のようにセマンティクスをそれのために定義する、fixed_pic_rate_within_cvs_flag[i]を含み得る。
【0080】
1に等しいfixed_pic_rate_within_cvs_flag[i]は、HighestTidがiに等しいとき、出力順序における連続するピクチャのHRD出力時間間の時間距離が、以下で指定されているように制約されることを示す。0に等しいfixed_pic_rate_within_cvs_flag[i]は、この制約が適用されないことがあることを示す。
【0081】
[0069]HRDパラメータはまた、HEVCが次のようにセマンティクスをそれのために定義する、elemental_duration_in_tc_minus1[i]シンタックス要素を含み得る。
【0082】
(存在するとき)elemental_duration_in_tc_minus1[i]+1は、HighestTidがiに等しいとき、以下で指定されているように出力順序における連続するピクチャのHRD出力時間を指定する要素ユニット間のクロックティックにおける時間距離を指定する。elemental_duration_in_tc_minus1[i]の値は、両端値を含む、0〜2047の範囲内にあるものとする。
【0083】
[0070]HRDパラメータはまた、HEVCが次のようにセマンティクスをそれのために定義する、low_delay_hrd_flag[i]シンタックス要素を含み得る。
【0084】
low_delay_hrd_flag[i]は、付属書類Cにおいて指定されているように、HighestTidがiに等しいとき、HRD動作モードを指定する。存在しないとき、low_delay_hrd_flag[i]の値は、0に等しいと推論される。
【0085】
[0071]表1の例では、num_sub_layer_hrd_minus1[i]は、仮想参照デコーダ(HRD)パラメータがそれのためにコード化されるビットストリームのサブレイヤの数を示すシンタックス要素の一例を表す。HRDパラメータがそれのためにコード化されるサブレイヤの数は、ビットストリームのビデオパラメータセット(VPS)によって示されるサブレイヤの最大数よりも小さいか又はそれに等しいことがある。従って、ビデオコーダは、シンタックス要素のための値によって示されるサブレイヤの数のためにHRDパラメータをコード化し、次いで、HRDパラメータを使用してビットストリームを処理し得る。例えば、ビデオエンコーダ20及びビデオデコーダ30は、HRDパラメータに従って復号ピクチャバッファからピクチャを削除し得る。その上、宛先機器14は、表示装置32を使用して、復号ピクチャバッファから削除されるピクチャを表示し得る。
【0086】
[0072]同じく表1の例に示されているように、ビデオコーダは、マルチレイヤビットストリーム中に含まれる各サブレイヤのためにHRDパラメータのセットをコード化し得る。表1では、「for(t=0;t≦MaxSubLayersInLayerSetMinus1[OlsIdxToLsIdx[i]];t++)」によって示されるループは、利用可能な出力レイヤセットの各々のために実行される、特定のレイヤセット中に含まれるサブレイヤの数にわたるループを表す。このループ内で、HRDパラメータのためのインデックス(bsp_hrd_idx)が信号伝達される。従って、これは、ビットストリームのサブレイヤの数に等しい数のHRDパラメータをコード化するための1つの例示的な技法である。特に、各ビットストリームパーティション(即ち、各出力レイヤセット)のためにHRDパラメータとサブレイヤの数との間に1対1のマッピングがある。
【0087】
[0073]更に、(ビデオエンコーダ20又はビデオデコーダ30などの)ビデオコーダは、以下の表2の例示的なデータ構造に従ってビットストリームパーティション初期到着時間を示す情報をコード化(それぞれ、符号化又は復号)するように構成され得る。表2は、JCTVC−R0010v2のバリアント2アタッチメントに対して変更された、ビットストリームパーティション初期到着時間SEIメッセージの一例を表す。同じく、イタリック体のテキストは追加を表し、[削除:“”]は削除を表す。
【0088】
【表2】
【0089】

[0074]表2のシンタックス要素のための例示的なセマンティクスについて以下で説明する。場合によっては以下で説明しない変更なしシンタックス要素は、JCTVC−R0010v2のバリアント2アタッチメントに記載されているセマンティクスを保持し得る。同じく、イタリック体のテキストは追加を表し、[削除:“”]は削除を表す。
【0090】
[0075]ビットストリームパーティション初期到着時間SEIメッセージは、ビットストリームパーティション固有CPB動作において使用されるべき初期到着時間を指定する。
【0091】
[0076]存在するとき、このSEIメッセージは、スケーラブルネスティングSEIメッセージ中に含まれているビットストリームパーティションネスティングSEIメッセージ内に含まれているものとし、同じビットストリームパーティションネスティングSEIメッセージは、バッファリング期間SEIメッセージをも含んでいるものとする。
【0092】
[0077]以下が、ビットストリームパーティションネスティングSEIメッセージシンタックス及びセマンティクスのために適用される。
− シンタックス要素initial_cpb_removal_delay_length_minus1、並びに変数NalHrdBpPresentFlag及びVclHrdBpPresentFlagは、ビットストリームパーティションネスティングSEIメッセージがそれに適用される動作点のうちの少なくとも1つに適用可能であるhrd_parameters()シンタックス構造中で見つけられるシンタックス要素中で見つけられるか又はそのシンタックス要素から導出される。
【0093】
[0078][削除:
両端値を含む、0〜SchedCombCnt[sei_ols_idx][sei_partitioning_scheme_idx]の範囲内のiのためのhrdParamIdx[i]を、bsp_comb_hrd_idx[olsIdx][partitioningSchemeIdx][i][bspIdx]の値に等しいものとし、ここで、olsIdx、partitioningSchemeIdx及びbspIdxは、このビットストリームパーティション初期到着時間SEIメッセージを含んでいるビットストリームパーティションネスティングSEIメッセージの、それぞれ、sei_ols_idx、sei_partitioning_scheme_idx及びbsp_idxに等しい。initialCpbRemovalDelayLength[i]をinitial_cpb_removal_delay_length_minus1+1に等しいものとし、ここで、initial_cpb_removal_delay_length_minus1は、アクティブVPS中のhrdParamIdx[i]番目のhrd_parameters()シンタックス構造中で見つけられる。]
[0079]nal_initial_arrival_delay[i]は、NAL HRDパラメータが使用中であるとき、このSEIメッセージがそれに適用されるビットストリームパーティションのi番目の配信スケジュール[削除:“組合せ”]のための初期到着時間を指定する。nal_initial_arrival_delay[i]シンタックス要素のビット単位の長さは、initial_cpb_removal_delay_length_minus1+1[削除:“initialCpbRemovalDelayLength[i]”]に等しい。
【0094】
[0080]vcl_initial_arrival_delay[i]は、VCL HRDパラメータが使用中であるとき、このSEIメッセージがそれに適用されるビットストリームパーティションのi番目の配信スケジュール[削除:“組合せ”]のための初期到着時間を指定する。vcl_initial_arrival_delay[i]シンタックス要素のビット単位の長さは、initial_cpb_removal_delay_length_minus1+1[削除:“initialCpbRemovalDelayLength[i]”]に等しい。
【0095】
[0081]これらの技法の追加の例について、例えば、表3及び表4に関して以下で説明する。表3は表1の例に対する代替を表し、表4は表4の例に対する代替を表す。同じく、差分がJCTVC−R0010v2のバリアント2アタッチメントに対して示され、ここで、イタリック体のテキストは追加を表し、[削除:“”]は削除を表す。
【0096】
【表3】
【0097】
[0082]表3のシンタックス要素のための例示的なセマンティクスについて以下で説明する。場合によっては以下で説明しない変更なしシンタックス要素は、JCTVC−R0010v2のバリアント2アタッチメントに記載されているセマンティクスを保持し得る。同じく、イタリック体のテキストは追加を表し、[削除:“”]は削除を表す。
【0098】
[0083]vps_num_add_hrd_params[削除:“parameters”]は、VPS中に存在する追加のhrd_parameters()シンタックス構造の数を指定する。vps_num_add_hrd_params[削除:“parameters”]の値は、両端値を含む、0〜1024−vps_num_hrd_parametersの範囲内にあるものとする。
【0099】
[0084]1に等しいcprms_add_present_flag[i]は、全てのサブレイヤについて共通であるHRDパラメータが、i番目のhrd_parameters()シンタックス構造中に存在することを指定する。0に等しいcprms_add_present_flag[i]は、全てのサブレイヤについて共通であるHRDパラメータが、i番目のhrd_parameters()シンタックス構造中に存在せず、(i−1)番目のhrd_parameters()シンタックス構造と同じであると導出されることを指定する。
【0100】
[0085]num_sub_layer_hrd_minus1[i]+1は、i番目のhrd_parameters()シンタックス構造中のfixed_pic_rate_general_flag[]シンタックス要素の数を指定する。num_sub_layer_hrd_minus1[i]の値は、両端値を含む、0〜vps_max_sub_layers_minus1の範囲内にあるものとする。
【0101】
[0086]1に等しいbsp_hrd_params[削除:“parameters”]_present_flag[h][i]は、HRDパラメータが、h番目のOLSのi番目の区分方式の全てのビットストリームパーティティションについて存在することを指定する。0に等しいbsp_hrd_params[削除:“parameters”]_present_flag[h][i]は、HRDパラメータが、h番目のOLSのi番目の区分方式のいかなるビットストリームパーティティションについても存在しないことを指定する。
【0102】
[0087][削除:“num_bsp_sched_combinations_minus1[h][i]+1は、h番目のOLSのi番目の区分方式のビットストリームパーティションのために指定された配信スケジュールとhrd_parameters()との組合せの数を指定する。[Ed.(MH):このシンタックス要素のための許容値範囲を追加する。]”]
[0088][削除:“変数SchedCombCnt[h][i]は、num_bsp_sched_combinations_minus1[h][i]+1に等しく設定される。”]
[0089]bsp[削除:“_comb”]_hrd_idx[h][i][削除:“[j]”][k]は、h番目のOLS[削除:“”]のためのi番目の区分方式のk番目のビットストリームパーティション[削除:“のために指定された配信スケジュールとhrd_parameters()とのj番目の組合せ”]のためのVPS中のhrd_parameters()シンタックス構造のインデックスを指定する。bsp[削除:“_comb”]_hrd_idx[h][i][削除:“[j]”][k]シンタックス要素の長さは、Ceil(Log2(vps_num_hrd_parameters+vps_num_add_hrd_params[削除:“parameters”]))ビットである。bsp[削除:“_comb”]_hrd_idx[h][i][削除:“[j]”][k]の値は、両端値を含む、0〜vps_num_hrd_parameters+vps_num_add_hrd_params[削除:“parameters”]−1の範囲内にあるものとする。
【0103】
[0090][削除:“bsp_comb_sched_idx[h][i][j][k]は、h番目のOLSのためのi番目の区分方式のk番目のビットストリームパーティションのために指定された配信スケジュールとhrd_parameters()とのj番目の組合せにおいて使用される、インデックスbsp_comb_hrd_idx[h][i][j][k]をもつhrd_parameters()シンタックス構造内の配信スケジュールのインデックスを指定する。bsp_comb_sched_idx[h][i][j][k]の値は、両端値を含む、0〜cpb_cnt_minus1[HighestTid]の範囲内にあるものとし、ここで、cpb_cnt_minus1[HighestTid]は、インデックスbsp_comb_hrd_idx[h][i][j][k]に対応するhrd_parameters()シンタックス構造からのsub_layer_hrd_parameters(HighestTid)シンタックス構造中で見つけられる。[Ed.(YK):「sub_layer_hrd_parameters(HighestTid)」と「sub_layer_hrd_parameters()」の両方の形態が、シンタックス構造の参照のためにドキュメント中で使用される。それらのうちのただ1つを一貫して使用することがより有効になるかどうかを検査する。]”]
[0091]HEVCは、fixed_pic_rate_general_flag[i]のための以下のセマンティクスを指定する。1に等しいfixed_pic_rate_general_flag[i]は、HighestTidがiに等しいとき、出力順序における連続するピクチャのHRD出力時間間の時間距離が、以下で指定されているように制約されることを示す。0に等しいfixed_pic_rate_general_flag[i]は、この制約が適用されないことがあることを示す。
【0104】
[0092]表3の例では、num_sub_layer_hrd_minus1[i]は、仮想参照デコーダ(HRD)パラメータがそれのためにコード化されるビットストリームのサブレイヤの数を示すシンタックス要素の一例を表す。HRDパラメータがそれのためにコード化されるサブレイヤの数は、ビットストリームのビデオパラメータセット(VPS)によって示されるサブレイヤの最大数よりも小さいか又はそれに等しいことがある。従って、ビデオコーダは、シンタックス要素のための値によって示されるサブレイヤの数のためにHRDパラメータをコード化し、次いで、HRDパラメータを使用してビットストリームを処理し得る。例えば、ビデオエンコーダ20及びビデオデコーダ30は、HRDパラメータに従って復号ピクチャバッファからピクチャを削除し得る。その上、宛先機器14は、表示装置32を使用して、復号ピクチャバッファから削除されるピクチャを表示し得る。
【0105】
[0093]表3はまた、ビデオコーダが、マルチレイヤビットストリーム中に含まれる各サブレイヤのためにHRDパラメータのセットをそれによってコード化し得る別の例示的な技法を表す。表1に示されている技法とは対照的に、表3の例は、ビットストリームパーティション中に含まれるサブレイヤのセットのためのhrd_parameters()シンタックス構造のリストへのインデックスを単に信号伝達することを含む。
【0106】
【表4】
【0107】
[0094]表4のシンタックス要素のための例示的なセマンティクスについて以下で説明する。場合によっては以下で説明しない変更なしシンタックス要素は、JCTVC−R0010v2のバリアント2アタッチメントに記載されているセマンティクスを保持し得る。同じく、イタリック体のテキストは追加を表し、[削除:“”]は削除を表す。
【0108】
[0095]ビットストリームパーティション初期到着時間SEIメッセージは、ビットストリームパーティション固有CPB動作において使用されるべき初期到着時間を指定する。
【0109】
[0096]存在するとき、このSEIメッセージは、スケーラブルネスティングSEIメッセージ中に含まれているビットストリームパーティションネスティングSEIメッセージ内に含まれているものとし、同じビットストリームパーティションネスティングSEIメッセージは、バッファリング期間SEIメッセージをも含んでいるものとする。
【0110】
[0097]以下が、ビットストリームパーティションネスティングSEIメッセージシンタックス及びセマンティクスのために適用される。
− シンタックス要素initial_cpb_removal_delay_length_minus1及び変数NalHrdBpPresentFlag及びVclHrdBpPresentFlagは、ビットストリームパーティションネスティングSEIメッセージがそれに適用される動作点のうちの少なくとも1つに適用可能であるhrd_parameters()シンタックス構造中で見つけられるシンタックス要素中で見つけられるか又はそのシンタックス要素から導出される。
【0111】
[0098][削除:
両端値を含む、0〜SchedCombCnt[sei_ols_idx][sei_partitioning_scheme_idx]の範囲内のiのためのhrdParamIdx[i]を、bsp_comb_hrd_idx[olsIdx][partitioningSchemeIdx][i][bspIdx]の値に等しいものとし、ここで、olsIdx、partitioningSchemeIdx及びbspIdxは、このビットストリームパーティション初期到着時間SEIメッセージを含んでいるビットストリームパーティションネスティングSEIメッセージの、それぞれ、sei_ols_idx、sei_partitioning_scheme_idx及びbsp_idxに等しい。initialCpbRemovalDelayLength[i]をinitial_cpb_removal_delay_length_minus1+1に等しいものとし、ここで、initial_cpb_removal_delay_length_minus1は、アクティブVPS中のhrdParamIdx[i]番目のhrd_parameters()シンタックス構造中で見つけられる。]
[0099]nal_initial_arrival_delay[i]は、NAL HRDパラメータが使用中であるとき、このSEIメッセージがそれに適用されるビットストリームパーティションのi番目の配信スケジュール[削除:“組合せ”]のための初期到着時間を指定する。nal_initial_arrival_delay[i]シンタックス要素のビット単位の長さは、initial_cpb_removal_delay_length_minus1+1[削除:“initialCpbRemovalDelayLength[i]”]に等しい。
【0112】
[0100]vcl_initial_arrival_delay[i]は、VCL HRDパラメータが使用中であるとき、このSEIメッセージがそれに適用されるビットストリームパーティションのi番目の配信スケジュール[削除:“組合せ”]のための初期到着時間を指定する。vcl_initial_arrival_delay[i]シンタックス要素のビット単位の長さは、initial_cpb_removal_delay_length_minus1+1[削除:“initialCpbRemovalDelayLength[i]”]に等しい。
【0113】
[0101]ビデオエンコーダ20は、更に、ブロックベースのシンタックスデータ、フレームベースのシンタックスデータ及びGOPベースのシンタックスデータなどのシンタックスデータを、例えば、フレームヘッダ、ブロックヘッダ、スライスヘッダ又はGOPヘッダ中でビデオデコーダ30に送り得る。GOPシンタックスデータは、それぞれのGOP中のフレームの数を記述し得、フレームシンタックスデータは、対応するフレームを符号化するために使用される符号化/予測モードを示し得る。
【0114】
[0102]ビデオエンコーダ20及びビデオデコーダ30はそれぞれ、適用可能なとき、1つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ又はデコーダ回路のいずれか又はそれらの任意の組合せとして実装され得る。ビデオエンコーダ20及びビデオデコーダ30の各々は1つ又は複数のエンコーダ又はデコーダ中に含まれ得、そのいずれも複合ビデオエンコーダ/デコーダ(コーデック)の一部として統合され得る。ビデオエンコーダ20及び/又はビデオデコーダ30を含む機器は、集積回路、マイクロプロセッサ及び/又はセルラー電話などのワイヤレス通信機器を備え得る。
【0115】
[0103]図2は、仮想参照デコーダ(HRD)パラメータ信号伝達を改善するための技法を実装し得るビデオエンコーダ20の一例を示すブロック図である。ビデオエンコーダ20は、ビデオスライス内のビデオブロックのイントラコード化及びインターコード化を実行し得る。イントラコード化は、所与のビデオフレーム又はピクチャ内のビデオの空間的冗長性を低減又は除去するために空間的予測に依拠する。インターコード化は、ビデオシーケンスの隣接フレーム又はピクチャ内のビデオの時間的冗長性を低減又は除去するために時間的予測に依拠する。イントラモード(Iモード)は、幾つかの空間ベースのコード化モードのいずれかを指すことがある。単方向予測(Pモード)又は双予測(Bモード)などのインターモードは、幾つかの時間ベースのコード化モードのいずれかを指すことがある。
【0116】
[0104]図2に示されているように、ビデオエンコーダ20は、符号化されるべきビデオフレーム内の現在ビデオブロックを受信する。図2の例では、ビデオエンコーダ20は、モード選択ユニット40と、(復号ピクチャバッファ(DPB)と呼ばれることもある)参照ピクチャメモリ64と、加算器50と、変換処理ユニット52と、量子化ユニット54と、エントロピーコード単位56とを含む。モード選択ユニット40は、動き補償ユニット44と、動き推定ユニット42と、イントラ予測ユニット46と、パーティションユニット48とを含む。ビデオブロック再構成のために、ビデオエンコーダ20はまた、逆量子化ユニット58と、逆変換単位60と、加算器62とを含む。再構成されたビデオからブロック歪み(blockiness artifacts)を除去するためにブロック境界をフィルタ処理するための(図2に示されていない)デブロッキングフィルタも含まれ得る。所望される場合、デブロッキングフィルタは、一般に、加算器62の出力をフィルタ処理することになる。(ループ中又はループ後の)追加のフィルタもデブロッキングフィルタに加えて使用され得る。そのようなフィルタは、簡潔のために示されていないが、所望される場合、(ループ内フィルタとして)加算器50の出力をフィルタ処理し得る。
【0117】
[0105]符号化プロセス中に、ビデオエンコーダ20はコード化されるべきビデオフレーム又はスライスを受信する。フレーム又はスライスは、複数のビデオブロックに分割され得る。動き推定ユニット42及び動き補償ユニット44は、時間的予測を行うために、1つ又は複数の参照フレーム中の1つ又は複数のブロックに対する受信されたビデオブロックのインター予測符号化を実行する。イントラ予測ユニット46は、代替的に、空間的予測を行うために、コード化されるべきブロックと同じフレーム又はスライス中の1つ以上の近隣ブロックに対する受信されたビデオブロックのイントラ予測符号化を実行し得る。ビデオエンコーダ20は、例えば、ビデオデータのブロックごとに適切なコード化モードを選択するために、複数のコード化パスを実行し得る。
【0118】
[0106]その上、パーティションユニット48は、前のコード化パスにおける前の区分方式の評価に基づいて、ビデオデータのブロックをサブブロックに区分し得る。例えば、パーティションユニット48は、初めにフレーム又はスライスをLCUに区分し、レート歪み分析(例えば、レート歪み最適化)に基づいてLCUの各々をサブCUに区分し得る。モード選択ユニット40は、更に、サブCUへのLCUの区分を示す4分木データ構造を生成し得る。4分木のリーフノードCUは、1つ又は複数のPUと1つ又は複数のTUとを含み得る。
【0119】
[0107]モード選択ユニット40は、例えば、誤差結果に基づいて予測モード、即ち、イントラ又はインターのうちの1つを選択し得、残差データを生成するために、得られた予測されたブロックを加算器50に与え、参照フレームとして使用するための符号化ブロックを再構成するために、得られた予測されたブロックを加算器62に与える。モード選択ユニット40はまた、動きベクトル、イントラモードインジケータ、パーティション情報及び他のそのようなシンタックス情報など、シンタックス要素をエントロピー符号化ユニット56に与える。
【0120】
[0108]動き推定ユニット42及び動き補償ユニット44は、高度に統合され得るが、概念的な目的のために別々に示されている。動き推定ユニット42によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、現在フレーム(又は他のコード単位)内でコード化されている現在ブロックに対する参照フレーム(又は他のコード単位)内の予測ブロックに対する現在ビデオフレーム又はピクチャ内のビデオブロックのPUの変位を示し得る。予測ブロックは、絶対差分和(SAD:sum of absolute difference)、2乗差分和(SSD:sum of square difference)又は他の差分メトリックによって決定され得る画素差分に関して、コード化されるべきブロックにぴったり一致することがわかるブロックである。幾つかの例では、ビデオエンコーダ20は、参照ピクチャメモリ64に記憶された参照ピクチャのサブ整数画素位置の値を計算し得る。例えば、ビデオエンコーダ20は、参照ピクチャの1/4画素位置、1/8画素位置又は他の分数画素位置の値を補間し得る。従って、動き推定ユニット42は、フル画素位置と分数画素位置とに対する動き探索を実行し、分数画素精度で動きベクトルを出力し得る。
【0121】
[0109]動き推定ユニット42は、PUの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス中のビデオブロックのPUのための動きベクトルを計算する。参照ピクチャは、第1の参照ピクチャリスト(リスト0)又は第2の参照ピクチャリスト(リスト1)から選択され得、それらの各々が、参照ピクチャメモリ64に記憶された1つ又は複数の参照ピクチャを識別する。動き推定ユニット42は、計算された動きベクトルをエントロピー符号化ユニット56と動き補償ユニット44とに送る。
【0122】
[0110]動き補償ユニット44によって実行される動き補償は、動き推定ユニット42によって決定された動きベクトルに基づいて予測ブロックをフェッチ又は生成することを伴い得る。同じく、動き推定ユニット42及び動き補償ユニット44は、幾つかの例では、機能的に統合され得る。現在ビデオブロックのPUのための動きベクトルを受信すると、動き補償ユニット44は、動きベクトルが参照ピクチャリストのうちの1つにおいてそれを指す予測ブロックの位置を特定し得る。加算器50は、以下で説明するように、コード化されている現在ビデオブロックの画素値から予測ブロックの画素値を減算し、画素差分値を形成することによって、残差ビデオブロックを形成する。概して、動き推定ユニット42はルーマ成分に対して動き推定を実行し、動き補償ユニット44は、クロマ成分とルーマ成分の両方のためにルーマ成分に基づいて計算された動きベクトルを使用する。モード選択ユニット40はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ30が使用するためのビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。
【0123】
[0111]イントラ予測ユニット46は、上記で説明したように、動き推定ユニット42と動き補償ユニット44とによって実行されるインター予測の代替として、現在ブロックをイントラ予測し得る。特に、イントラ予測ユニット46は、現在ブロックを符号化するために使用すべきイントラ予測モードを決定し得る。幾つかの例では、イントラ予測ユニット46は、例えば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化し得、イントラ予測ユニット46(又は、幾つかの例では、モード選択ユニット40)は、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。
【0124】
[0112]例えば、イントラ予測ユニット46は、様々なテストされたイントラ予測モードのためのレート歪み分析を使用してレート歪み値を計算し、テストされたモードの中で最良のレート歪み特性を有するイントラ予測モードを選択し得る。レート歪み分析は、概して、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間の歪み(又は誤差)の量、並びに符号化ブロックを生成するために使用されるビットレート(即ち、ビット数)を決定する。イントラ予測ユニット46は、どのイントラ予測モードがブロックについて最良のレート歪み値を呈するかを決定するために、様々な符号化ブロックの歪み及びレートから比率を計算し得る。
【0125】
[0113]ブロックのためのイントラ予測モードを選択した後に、イントラ予測ユニット46は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット56に与え得る。エントロピー符号化ユニット56は、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ20は、複数のイントラ予測モードインデックステーブル及び複数の変更されたイントラ予測モードインデックステーブル(コードワードマッピングテーブルとも呼ばれる)と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル及び変更されたイントラ予測モードインデックステーブルの指示とを含み得る構成データを送信ビットストリーム中に含め得る。
【0126】
[0114]ビデオエンコーダ20は、コード化されている元のビデオブロックから、モード選択ユニット40からの予測データを減算することによって残差ビデオブロックを形成する。加算器50は、この減算演算を実行する1つ又は複数の構成要素を表す。変換処理ユニット52は、離散コサイン変換(DCT)又は概念的に同様の変換などの変換を残差ブロックに適用し、変換係数値を備えるビデオブロックを生成する。ウェーブレット変換、整数変換、サブバンド変換、離散サイン変換(DST)又は他のタイプの変換が、DCTの代わりに使用され得る。いずれの場合も、変換処理ユニット52は、変換を残差ブロックに適用し、変換係数のブロックを生成する。変換は、残差情報を画素領域から周波数領域などの変換領域に変換し得る。変換処理ユニット52は、得られた変換係数を量子化ユニット54に送り得る。量子化ユニット54は、ビットレートを更に低減するために変換係数を量子化する。量子化プロセスは、係数の一部又は全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって変更され得る。
【0127】
[0115]量子化の後に、エントロピー符号化ユニット56は量子化変換係数を走査及びエントロピー符号化する。例えば、エントロピー符号化ユニット56は、コンテキスト適応型可変長コード化(CAVLC)、コンテキスト適応型バイナリ算術コード化(CABAC)、シンタックスベースコンテキスト適応型バイナリ算術コード化(SBAC)、確率間隔区分エントロピー(PIPE)コード化又は別のエントロピーコード化技法を実行し得る。コンテキストベースエントロピーコード化の場合、コンテキストは隣接ブロックに基づき得る。エントロピー符号化ユニット56によるエントロピーコード化の後に、符号化ビットストリームは、別の機器(例えば、ビデオデコーダ30)に送信されるか、又は後で送信するか又は取り出すためにアーカイブされ得る。
【0128】
[0116]逆量子化ユニット58及び逆変換単位60は、画素領域において残差ブロックを再構成するために、それぞれ逆量子化及び逆変換を適用する。特に、加算器62は、参照ピクチャメモリ64に記憶するための再構成されたビデオブロックを生成するために、動き補償ユニット44又はイントラ予測ユニット46によって前に生成された動き補償予測ブロックに、再構成された残差ブロックを加算する。再構成されたビデオブロックは、後続のビデオフレーム中のブロックをインターコード化するために動き推定ユニット42及び動き補償ユニット44によって参照ブロックとして使用され得る。
【0129】
[0117]ビデオエンコーダ20は、概して、コード化ビデオシーケンス中の各ピクチャの各ブロックを符号化するために、上記で説明したプロセスを使用する。更に、幾つかの例では、ビデオエンコーダ20は、ピクチャの各々をそれに割り当てるべき時間レイヤを決定し得る。更に、ビデオエンコーダ20は、他のレイヤ、例えば、他のビュー、スケーラブルビデオコード化レイヤなどのピクチャを符号化するように構成され得る。いずれの場合も、ビデオエンコーダ20は、(例えば、様々なビデオ次元の)1つ又は複数のレイヤについて、各ピクチャがそれに属するレイヤを示すデータを更に符号化し得る。
【0130】
[0118]本開示の技法によれば、ビデオエンコーダ20はまた、例えば、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、補足強化情報(SEI)メッセージなどを含むパラメータセットなど、他のデータ構造を符号化し得る。本開示の技法によれば、ビデオエンコーダ20は、上記の表1又は表3に関して説明した情報を含むVPS及び/若しくは上記の表2又は表4に関して説明した情報を含むSEIメッセージを符号化し得る。
【0131】
[0119]例えば、ビデオエンコーダ20は、(例えば、VPS中に含まれる)仮想参照デコーダ(HRD)パラメータがそれのために符号化される、ビットストリームのサブレイヤの数を示すシンタックス要素のための値を符号化し得る。本開示の技法によれば、ビデオエンコーダ20は、ビットストリームのパーティションの各サブレイヤのためにHRDパラメータを符号化するが、パーティションのサブレイヤよりも多くのHRDパラメータをコード化することを回避し得る。従って、パーティションのためのHRDパラメータデータ構造の数は、VPSに示されているサブレイヤの最大数よりも小さいことがある。更に、ビデオエンコーダ20は、HRDパラメータを使用してビットストリームのデータを処理し得る。例えば、ビデオエンコーダ20は、HRDパラメータ中で信号伝達されるデータに従って参照ピクチャメモリ64から復号ピクチャを廃棄し得る。
【0132】
[0120]上記で説明した例に対する追加又は代替であり得る別の例として、ビデオエンコーダ20は、VclHrdBpPresentFlagが1に等しい(即ち、真の値を有する)ときかつそのときに限って、ビデオコード化レイヤHRDパラメータのための初期到着遅延を表すシンタックス要素を符号化し得る。H.265に従って、VclHrdBpPresentFlagのための値は、以下のように設定される。
【0133】
− 以下の条件のうちの1つ又は複数が真である場合、VclHrdBpPresentFlagの値は1に等しく設定される。
【0134】
− vcl_hrd_parameters_present_flagが、ビットストリーム中に存在し、1に等しい。
【0135】
− バッファリング期間SEIメッセージ中のビットストリーム中に存在すべきVCL HRD動作のためのバッファリング期間の存在の必要が、その適用によって、本明細書において指定されていない何らかの手段によって決定される。
【0136】
− 他の場合、VclHrdBpPresentFlagの値は0に等しく設定される。
【0137】
[0121]従って、本開示の技法によれば、ビデオエンコーダ20は、ビデオコード化レイヤ(VCL)HRDパラメータのうちの少なくとも1つがビットストリーム中でコード化されるときかつそのときに限って又はVCL HRD動作のためのバッファリング期間情報がビットストリーム中で必要とされると決定されたとき、ビデオコード化レイヤHRDパラメータのための初期到着遅延を表すシンタックス要素を符号化し得る。
【0138】
[0122]このようにして、図2のビデオエンコーダ20は、仮想参照デコーダ(HRD)パラメータがそれのためにコード化されるビットストリームのサブレイヤの数を示すシンタックス要素のための値を符号化することと、ここにおいて、値は、HRDパラメータがそれのためにコード化されるサブレイヤの数が、ビットストリームのビデオパラメータセット(VPS)によって示されるサブレイヤの最大数よりも小さいことを示す、シンタックス要素のための値によって示されるサブレイヤの数のためにHRDパラメータを符号化することと、HRDパラメータを使用してビットストリームを処理することとを行うように構成されたビデオエンコーダの一例を表す。
【0139】
[0123]その上、ビデオエンコーダ20は、ビデオコード化レイヤ(VCL)HRDパラメータのうちの少なくとも1つがビットストリーム中でコード化されるとき又はVCL HRD動作のためのバッファリング期間情報がビットストリーム中で必要とされると決定されたときのみ、ビットストリームパーティション初期到着時間補足強化情報(SEI)メッセージの初期到着遅延シンタックス要素を符号化するように構成されたビデオエンコーダの一例を表す。即ち、ビデオエンコーダ20は、VclHrdBpPresentFlagが真の値を有するときのみ、ビットストリームパーティション初期到着時間補足強化情報(SEI)メッセージの初期到着遅延シンタックス要素を符号化するように構成されたビデオエンコーダの一例を表す。
【0140】
[0124]図3は、仮想参照デコーダ(HRD)パラメータ信号伝達を改善するための技法を実装し得るビデオデコーダ30の一例を示すブロック図である。図3の例では、ビデオデコーダ30は、エントロピー復号ユニット70と、動き補償ユニット72と、イントラ予測ユニット74と、逆量子化ユニット76と、逆変換ユニット78と、参照ピクチャメモリ82と、加算器80とを含む。ビデオデコーダ30は、幾つかの例では、ビデオエンコーダ20(図2)に関して説明した符号化パスとは概して逆の復号パスを実行し得る。動き補償ユニット72は、エントロピー復号ユニット70から受信された動きベクトルに基づいて予測データを生成し得、イントラ予測ユニット74は、エントロピー復号ユニット70から受信されたイントラ予測モードインジケータに基づいて予測データを生成し得る。
【0141】
[0125]復号プロセス中に、ビデオデコーダ30は、ビデオエンコーダ20から、符号化ビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化ビデオビットストリームを受信する。ビデオデコーダ30のエントロピー復号ユニット70は、量子化係数、動きベクトル又はイントラ予測モードインジケータ及び他のシンタックス要素を生成するためにビットストリームをエントロピー復号する。エントロピー復号ユニット70は、動きベクトルと他のシンタックス要素とを動き補償ユニット72に転送する。ビデオデコーダ30は、ビデオスライスレベル及び/又はビデオブロックレベルでシンタックス要素を受信し得る。
【0142】
[0126]ビデオスライスがイントラコード化(I)スライスとしてコード化されるとき、イントラ予測ユニット74は、信号伝達されたイントラ予測モードと、現在フレーム又はピクチャの、前に復号されたブロックからのデータとに基づいて、現在ビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化(即ち、B、P又はGPB)スライスとしてコード化されるとき、動き補償ユニット72は、エントロピー復号ユニット70から受信された動きベクトルと他のシンタックス要素とに基づいて、現在ビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの1つ内の参照ピクチャのうちの1つから生成され得る。ビデオデコーダ30は、参照ピクチャメモリ82に記憶された参照ピクチャに基づいて、デフォルトの構成技法を使用して、参照フレームリスト、即ち、リスト0及びリスト1を構成し得る。動き補償ユニット72は、動きベクトルと他のシンタックス要素とを構文解析する(parsing)ことによって現在ビデオスライスのビデオブロックのための予測情報を決定し、復号されている現在ビデオブロックのための予測ブロックを生成するために、その予測情報を使用する。例えば、動き補償ユニット72は、ビデオスライスのビデオブロックをコード化するために使用される予測モード(例えば、イントラ又はインター予測)と、インター予測スライスタイプ(例えば、Bスライス、Pスライス又はGPBスライス)と、スライスのための参照ピクチャリストのうちの1つ又は複数のための構成情報と、スライスの各インター符号化ビデオブロックのための動きベクトルと、スライスの各インターコード化ビデオブロックのためのインター予測ステータスと、現在ビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素の幾つかを使用する。
【0143】
[0127]動き補償ユニット72はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット72は、参照ブロックのサブ整数画素の補間値を計算するために、ビデオブロックの符号化中にビデオエンコーダ20によって使用された補間フィルタを使用し得る。この場合、動き補償ユニット72は、受信されたシンタックス要素からビデオエンコーダ20によって使用された補間フィルタを決定し、予測ブロックを生成するためにそれらの補間フィルタを使用し得る。
【0144】
[0128]逆量子化ユニット76は、ビットストリーム中で与えられ、エントロピー復号ユニット70によって復号された量子化変換係数を逆の量子化(inverse quantize)、即ち、逆量子化(de-quantize)する。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、ビデオスライス中のビデオブロックごとにビデオエンコーダ30によって計算される量子化パラメータQPYの使用を含み得る。
【0145】
[0129]逆変換ユニット78は、画素領域において残差ブロックを生成するために、逆変換、例えば、逆DCT、逆整数変換又は概念的に同様の逆変換プロセスを変換係数に適用する。
【0146】
[0130]動き補償ユニット72が、動きベクトルと他のシンタックス要素とに基づいて現在ビデオブロックのための予測ブロックを生成した後、ビデオデコーダ30は、逆変換ユニット78からの残差ブロックを動き補償ユニット72によって生成された対応する予測ブロックと加算することによって、復号ビデオブロックを形成する。加算器80は、この加算演算を実行する1つ又は複数の構成要素を表す。所望される場合、ブロック歪みを除去するために、復号ブロックをフィルタ処理するためにデブロッキングフィルタも適用され得る。(コード化ループ中又はコード化ループ後のいずれかの)他のループフィルタも、画素遷移を平滑化するか又は場合によってはビデオ品質を改善するために使用され得る。所与のフレーム又はピクチャの復号ビデオブロックは、次いで、その後の動き補償のために使用される参照ピクチャを記憶する参照ピクチャメモリ82に記憶される。参照ピクチャメモリ82はまた、図1の表示装置32などの表示装置上での後の提示のために、復号ビデオを記憶する。
【0147】
[0131]ビデオデコーダ30は、概して、コード化ビデオシーケンス中の各ピクチャの各ブロックを復号するために、上記で説明したプロセスを使用する。更に、幾つかの例では、ビデオデコーダ30は、ピクチャがそれに割り当てられる時間レイヤを示すデータを復号し得る。更に、ビデオデコーダ30は、他のレイヤ、例えば、他のビュー、スケーラブルビデオコード化レイヤなどのピクチャを復号するように構成され得る。いずれの場合も、ビデオデコーダ30は、(例えば、様々なビデオ次元の)1つ又は複数のレイヤについて、各ピクチャがそれに属するレイヤを示すデータを更に復号し得る。
【0148】
[0132]本開示の技法によれば、ビデオデコーダ30はまた、例えば、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、補足強化情報(SEI)メッセージなどを含むパラメータセットなど、他のデータ構造を復号し得る。本開示の技法によれば、ビデオデコーダ30は、上記の表1又は表3に関して説明した情報を含むVPS及び/若しくは上記の表2又は表4に関して説明した情報を含むSEIメッセージを復号し得る。
【0149】
[0133]例えば、ビデオデコーダ30は、(例えば、VPS中に含まれる)仮想参照デコーダ(HRD)パラメータがそれのために復号される、ビットストリームのサブレイヤの数を示すシンタックス要素のための値を復号し得る。本開示の技法によれば、ビデオデコーダ30は、ビットストリームのパーティションの各サブレイヤのためにHRDパラメータを復号するが、パーティションのサブレイヤよりも多くのHRDパラメータをコード化することを回避し得る。従って、パーティションのためのHRDパラメータデータ構造の数は、VPSに示されているサブレイヤの最大数よりも小さいことがある。更に、ビデオデコーダ30は、HRDパラメータを使用してビットストリームのデータを処理し得る。例えば、ビデオデコーダ30は、HRDパラメータ中で信号伝達されるデータに従って参照ピクチャメモリ82から復号ピクチャを出力及び/又は廃棄し得る。特に、ビデオデコーダ30は、復号ピクチャを提示することをビデオ表示器に行わせるために、表示装置32など、ビデオ表示器に、復号ピクチャを出力し得る。
【0150】
[0134]上記で説明した例に対する追加又は代替であり得る別の例として、ビデオデコーダ30は、VclHrdBpPresentFlagが1に等しい(即ち、真の値を有する)ときかつそのときに限って、ビデオコード化レイヤHRDパラメータのための初期到着遅延を表すシンタックス要素を復号し得る。H.265に従って、VclHrdBpPresentFlagのための値は、以下のように設定される。
【0151】
− 以下の条件のうちの1つ又は複数が真である場合、VclHrdBpPresentFlagの値は1に等しく設定される。
【0152】
− vcl_hrd_parameters_present_flagが、ビットストリーム中に存在し、1に等しい。
【0153】
− バッファリング期間SEIメッセージ中のビットストリーム中に存在すべきVCL HRD動作のためのバッファリング期間の存在の必要が、その適用によって、本明細書において指定されていない何らかの手段によって決定される。
【0154】
− 他の場合、VclHrdBpPresentFlagの値は0に等しく設定される。
【0155】
[0135]従って、本開示の技法によれば、ビデオデコーダ30は、ビデオコード化レイヤ(VCL)HRDパラメータのうちの少なくとも1つがビットストリーム中でコード化されるときかつそのときに限って又はVCL HRD動作のためのバッファリング期間情報がビットストリーム中で必要とされると決定されたとき、ビデオコード化レイヤHRDパラメータのための初期到着遅延を表すシンタックス要素を復号し得る。
【0156】
[0136]このようにして、図3のビデオデコーダ30は、仮想参照デコーダ(HRD)パラメータがそれのためにコード化されるビットストリームのサブレイヤの数を示すシンタックス要素のための値を復号することと、ここにおいて、値は、HRDパラメータがそれのためにコード化されるサブレイヤの数が、ビットストリームのビデオパラメータセット(VPS)によって示されるサブレイヤの最大数よりも小さいことを示す、シンタックス要素のための値によって示されるサブレイヤの数のためにHRDパラメータを復号することと、HRDパラメータを使用してビットストリームを処理することとを行うように構成されたビデオデコーダの一例を表す。
【0157】
[0137]その上、ビデオデコーダ30は、ビデオコード化レイヤ(VCL)HRDパラメータのうちの少なくとも1つがビットストリーム中でコード化されるとき又はVCL HRD動作のためのバッファリング期間情報がビットストリーム中で必要とされると決定されたときのみ、ビットストリームパーティション初期到着時間補足強化情報(SEI)メッセージの初期到着遅延シンタックス要素を復号するように構成されたビデオデコーダの一例を表す。即ち、ビデオデコーダ30は、VclHrdBpPresentFlagが真の値を有するときのみ、ビットストリームパーティション初期到着時間補足強化情報(SEI)メッセージの初期到着遅延シンタックス要素を復号するように構成されたビデオデコーダの一例を表す。ビデオデコーダ30は、これらの技法に基づいて、ビットストリームのビットが、ビットストリームパーティション初期到着時間SEIメッセージに対応するのか、異なるデータ構造に対応するのかを決定し、それにより、ビットストリームを正しく構文解析し得る。
【0158】
[0138]図4は、本開示の技法に従ってビデオデータを符号化するための例示的な方法を示すフローチャートである。ビデオエンコーダ20(図1及び図2)に関して説明するが、他の機器が図4の方法と同様の方法を実行するように構成され得ることを理解されたい。
【0159】
[0139]この例では、ビデオエンコーダ20は、最初に、ビットストリームのサブレイヤの最大数を決定する(150)。ビデオエンコーダ20はまた、ビットストリームのためにビデオパラメータセット(VPS)中のサブレイヤの最大数を信号伝達する(152)。ビットストリームは、その各々がサブレイヤの特定のサブセットを含む、様々なパーティションに最終的に区分される。従って、幾つかのパーティションは、最大数よりも少ない数のサブレイヤを含むことになる。
【0160】
[0140]ビデオエンコーダ20は、次いで、ビットストリームパーティション中のサブレイヤを決定する(154)。ビデオエンコーダ20は、次いで、パーティション中の各サブレイヤのためにHRDパラメータを信号伝達する(156)。例えば、表1及び表3に示されているように、ビデオエンコーダ20は、bsp_hrd_idxシンタックス要素のための値を符号化し得る。特に、表1では、ビデオエンコーダ20はbsp_hrd_idx[h][i][t][j][k]のための値を符号化し得、表3では、ビデオエンコーダ20はbsp_hrd_idx[h][i][j][k]のための値を符号化し得る。表1では、これらの値は、出力レイヤセットと、区分方式と、レイヤセット中のサブレイヤとの数にわたって、ネストされたループ内で生じるが、表3では、これらの値は、出力レイヤセットと区分方式との数にわたって、ネストされたループ内で生じる。
【0161】
[0141]ビデオエンコーダ20はまた、サブレイヤのピクチャを符号化し(158)、サブレイヤの符号化ピクチャを復号し(160)、参照ピクチャメモリ64(図2)など、復号ピクチャバッファ(DPB)に復号ピクチャを記憶する(162)。ビデオエンコーダ20は、参照ピクチャとして後で使用するための符号化ピクチャの復号バージョンを記憶し、それにより、参照ピクチャのこれらのバージョンからの後続の予測が、ビデオデコーダ30など、デコーダによって復号された最終的なバージョンと同じになる。更に、ビデオエンコーダ20は、HRDパラメータに従ってDPBから復号ピクチャを削除する(164)。
【0162】
[0142]その上、本開示の幾つかの技法によれば、ビデオエンコーダ20は、ビットストリームパーティション初期到着時間SEIメッセージのデータを条件付きで符号化する(166)。特に、ビデオエンコーダ20は、例えば、ビデオコード化レイヤ(VCL)HRDパラメータのうちの少なくとも1つがビットストリーム中でコード化されるときかつそのときに限って又はVCL HRD動作のためのバッファリング期間情報がビットストリーム中で必要とされると決定されたとき、VclHrdBpPresentFlagが真の値(即ち、1)を有すると決定した後にのみ、ビットストリームパーティション初期到着時間SEIメッセージの初期到着遅延シンタックス要素を符号化し得る。
【0163】
[0143]このようにして、図4の方法は、仮想参照デコーダ(HRD)パラメータがそれのためにコード化されるビットストリームのサブレイヤの数を示すシンタックス要素のための値をコード化(この例では、符号化)することと、ここにおいて、値は、HRDパラメータがそれのためにコード化されるサブレイヤの数が、ビットストリームのビデオパラメータセット(VPS)によって示されるサブレイヤの最大数よりも小さいことを示す、シンタックス要素のための値によって示されるサブレイヤの数のためにHRDパラメータをコード化(この例では、符号化)することと、HRDパラメータを使用してビットストリームを処理することとを含む方法の一例を表す。
【0164】
[0144]図5は、本開示の技法に従ってビデオデータを復号するための例示的な方法を示すフローチャートである。ビデオデコーダ30(図1及び図3)に関して説明するが、他の機器が、図5の方法と同様の方法を実行するように構成され得ることを理解されたい。
【0165】
[0145]この例では、ビデオデコーダ30は、最初に、ビットストリームのサブレイヤの最大数を示すビデオパラメータセット(VPS)を復号する(200)。ビットストリームは、その各々がサブレイヤの特定のサブセットを含む、様々なパーティションに最終的に区分される。従って、幾つかのパーティションは、最大数よりも少ない数のサブレイヤを含む。
【0166】
[0146]ビデオデコーダ30は、次いで、ビットストリームパーティション中のサブレイヤを決定する(202)。ビデオデコーダ30は、次いで、パーティション中の各サブレイヤのためにHRDパラメータを復号する(204)。例えば、表1及び表3に示されているように、ビデオデコーダ30は、bsp_hrd_idxシンタックス要素のための値を復号し得る。特に、表1では、ビデオデコーダ30はbsp_hrd_idx[h][i][t][j][k]のための値を復号し得、表3では、ビデオデコーダ30はbsp_hrd_idx[h][i][j][k]のための値を復号し得る。表1では、これらの値は、出力レイヤセットと、区分方式と、レイヤセット中のサブレイヤとの数にわたって、ネストされたループ内で生じるが、表3では、これらの値は、出力レイヤセットと区分方式との数にわたって、ネストされたループ内で生じる。
【0167】
[0147]ビデオデコーダ30はまた、サブレイヤの符号化ピクチャを復号し(206)、参照ピクチャメモリ82(図3)など、復号ピクチャバッファ(DPB)に復号ピクチャを記憶する(208)。ビデオデコーダ30は、参照ピクチャとして後で使用するための復号ピクチャを記憶し、それにより、参照ピクチャのこれらのバージョンからの後続の予測が、ビデオデコーダ30など、デコーダによって復号された最終的なバージョンと同じになる。その上、ビデオデコーダ30は復号ピクチャを記憶し、それにより、ビデオデコーダ30が適切な時間復号ピクチャを出力することができる。従って、ビデオデコーダ30は、HRDパラメータに従ってDPBから復号ピクチャを削除及び出力する(210)。
【0168】
[0148]その上、本開示の幾つかの技法によれば、ビデオデコーダ30は、ビットストリームパーティション初期到着時間SEIメッセージのデータを条件付きで復号する(212)。特に、ビデオデコーダ30は、例えば、ビデオコード化レイヤ(VCL)HRDパラメータのうちの少なくとも1つがビットストリーム中でコード化されるときかつそのときに限って又はVCL HRD動作のためのバッファリング期間情報がビットストリーム中で必要とされると決定されたとき、VclHrdBpPresentFlagが真の値(即ち、1)を有すると決定した後にのみ、ビットストリームパーティション初期到着時間SEIメッセージの初期到着遅延シンタックス要素を復号し得る。即ち、ビデオデコーダ30に関連するパーサ(図示せず)は、ビットストリームパーティション初期到着時間SEIメッセージのシンタックス要素又は別個のシンタックス要素のいずれかに属するものとして、ビットストリームの幾つかのビットを解釈し得る。言い換えれば、構文解析ツール(parser)は、HRDパラメータに対応するビットストリームのビットと、HRDパラメータに続くシンタックス要素に対応するビットストリームのビットとの間を区別し得る。
【0169】
[0149]このようにして、図5の方法は、仮想参照デコーダ(HRD)パラメータがそれのためにコード化されるビットストリームのサブレイヤの数を示すシンタックス要素のための値をコード化(この例では、復号)することと、ここにおいて、値は、HRDパラメータがそれのためにコード化されるサブレイヤの数が、ビットストリームのビデオパラメータセット(VPS)によって示されるサブレイヤの最大数よりも小さいことを示す、シンタックス要素のための値によって示されるサブレイヤの数のためにHRDパラメータをコード化(この例では、復号)することと、HRDパラメータを使用してビットストリームを処理することとを含む方法の一例を表す。
【0170】
[0150]上記例に応じて、本明細書で説明した技法のうちのいずれかの幾つかの行為又はイベントが、異なる順序で実行され得、追加、マージ又は完全に除外され得る(例えば、全ての説明した行為又はイベントが本技法の実施のために必要であるとは限らない)ことを認識されたい。更に、幾つかの例では、行為又はイベントは、連続的にではなく、例えば、マルチスレッド処理、割込み処理又は複数のプロセッサを通して同時に実行され得る。
【0171】
[0151]1つ又は複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア又はそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、1つ以上の命令若しくはコードとして、コンピュータ可読媒体上に記憶されるか、又はコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含むデータ記憶媒体又は通信媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、(1)非一時的である有形コンピュータ可読記憶媒体、又は(2)信号若しくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明する技法の実装のための命令、コード及び/又はデータ構造を取り出すために、1つ以上のコンピュータ又は1つ以上のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
【0172】
[0152]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM(登録商標)、CD−ROM又は他の光ディスクストレージ、磁気ディスクストレージ又は他の磁気記憶装置、フラッシュメモリ又は命令若しくはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)又は赤外線、無線及びマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ又は他のリモート発信源から送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL又は赤外線、無線及びマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。但し、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号又は他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク(disk)及びディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)及びBlu−rayディスク(disc)を含み、ここで、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
【0173】
[0153]命令は、1つ又は複数のデジタル信号プロセッサ(DSP)などの1つ又は複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、若しくは他の等価な集積回路又はディスクリート論理回路によって実行され得る。従って、本明細書で使用する「プロセッサ」という用語は、上記の構造又は本明細書で説明した技法の実装に好適な他の構造のいずれかを指すことがある。更に、幾つかの態様では、本明細書で説明した機能は、符号化及び復号のために構成された専用ハードウェア及び/又はソフトウェアモジュール内に与えられるか、若しくは複合コーデックに組み込まれ得る。また、本技法は、1つ又は複数の回路又は論理要素で十分に実装され得る。
【0174】
[0154]本開示の技法は、ワイヤレスハンドセット、集積回路(IC)又はICのセット(例えば、チップセット)を含む、多種多様な機器又は装置で実装され得る。本開示では、開示した技法を実行するように構成された機器の機能的態様を強調するために様々な構成要素、モジュール又はユニットについて説明したが、それらの構成要素、モジュール又はユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェア及び/又はファームウェアとともに、上記で説明した1つ又は複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わされるか又は相互動作ハードウェアユニットの集合によって与えられ得る。
【0175】
[0155]様々な例について説明した。これら及び他の例は以下の特許請求の範囲内に入る。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
[C1] ビデオデータをコード化する方法であって、前記方法は、
仮想参照デコーダ(HRD)パラメータがそれのためにコード化されるビットストリームのサブレイヤの数を示すシンタックス要素のための値をコード化することと、ここにおいて、前記値は、前記HRDパラメータがそれのためにコード化されるサブレイヤの前記数が、前記ビットストリームのビデオパラメータセット(VPS)によって示されるサブレイヤの最大数よりも小さいことを示す、
前記シンタックス要素のための前記値によって示されるサブレイヤの前記数のためにHRDパラメータをコード化することと、
前記HRDパラメータを使用して前記ビットストリームを処理することと
を備える方法。
[C2] 前記ビットストリームが、複数のHRD_parameters()シンタックス構造を備え、前記シンタックス要素のための前記値をコード化することが、前記複数のHRD_parameter()シンタックス構造のi番目のHRD_parameter()シンタックス構造のためのnum_sub_layer_hrd_minus1[i]シンタックス要素のための値をコード化することを備え、ここにおいて、iが整数値である、C1に記載の方法。
[C3] 前記サブレイヤが時間サブレイヤを備え、前記HRDパラメータをコード化することは、前記HRDパラメータがそれのためにコード化される時間サブレイヤの数に等しい、少なくとも、前記ビットストリームの時間サブレイヤのための出力順序における連続するピクチャのHRD出力時間間の時間距離が制約されるかどうかを示すシンタックス要素の数をコード化することを備える、C1に記載の方法。
[C4] 少なくとも、出力順序における連続するピクチャのHRD出力時間間の前記時間距離が制約されるかどうかを示す前記シンタックス要素が、fixed_pic_rate_general_flag[]シンタックス要素又はfixed_pic_rate_within_CVS_flag[]シンタックス要素のうちの少なくとも1つを備える、C3に記載の方法。
[C5] 前記HRDパラメータをコード化することが、前記サブレイヤのうちの対応する1つのための連続するピクチャのHRD出力時間を指定する要素ユニット間のクロックティックにおける時間距離又は前記サブレイヤのうちの前記対応する1つのHRD動作モードのうちの1つ以上を示す1つ以上のシンタックス要素をコード化することを備える、C1に記載の方法。
[C6] 連続するピクチャのHRD出力時間を指定する要素ユニット間のクロックティックにおける時間距離を示す前記シンタックス要素が、elemental_duration_in_tc_minus1[]シンタックス要素を備え、HRD動作モードを示す前記シンタックス要素が、low_delay_hrd_flag[]シンタックス要素を備える、C5に記載の方法。
[C7] 前記HRDパラメータを使用して前記ビットストリームを処理することが、
前記ビットストリームの符号化ピクチャを復号することと、
復号ピクチャバッファ(DPB)に前記復号ピクチャを記憶することと、
前記HRDパラメータに従って前記DPBから前記復号ピクチャを削除することと
を備える、C1に記載の方法。
[C8] 前記ビットストリームの前記符号化ピクチャを復号するより前に前記符号化ピクチャを形成するためにピクチャを符号化することを更に備える、C7に記載の方法。
[C9] ビデオコード化レイヤ(VCL)HRDパラメータのうちの少なくとも1つが前記ビットストリーム中でコード化されるとき又はVCL HRD動作のためのバッファリング期間情報が前記ビットストリーム中で必要とされると決定されたときのみ、ビットストリームパーティション初期到着時間補足強化情報(SEI)メッセージの初期到着遅延シンタックス要素をコード化することを更に備える、C1に記載の方法。
[C10] 前記ビットストリームのためのVclHrdBpPresentFlagが真の値を有すると決定したことのみに応答して、ビットストリームパーティション初期到着時間補足強化情報(SEI)メッセージの初期到着遅延シンタックス要素をコード化することを更に備える、C1に記載の方法。
[C11] 前記方法が、ワイヤレス通信機器上で実行可能であり、ここにおいて、前記機器が、
前記シンタックス要素と前記HRDパラメータとを記憶するように構成されたメモリと、
前記メモリに記憶された前記シンタックス要素と前記HRDパラメータとを処理するための命令を実行するように構成されたプロセッサと、
前記シンタックス要素と前記HRDパラメータとを含む信号を受信するための及び前記メモリに前記シンタックス要素と前記HRDパラメータとを記憶するための受信機と
を備える、C1に記載の方法。
[C12] 前記ワイヤレス通信機器がセルラー電話であり、前記信号が、前記受信機によって受信され、セルラー通信規格に従って変調される、C11に記載の方法。
[C13] ビデオデータをコード化するための機器であって、前記機器が、
ビデオデータを記憶するように構成されたメモリと、
ビデオコーダとを備え、前記ビデオコーダは、
仮想参照デコーダ(HRD)パラメータがそれのためにコード化されるビットストリームのサブレイヤの数を示すシンタックス要素のための値をコード化することと、ここにおいて、前記値は、前記HRDパラメータがそれのためにコード化されるサブレイヤの前記数が、前記ビットストリームのビデオパラメータセット(VPS)によって示されるサブレイヤの最大数よりも小さいことを示す、
前記シンタックス要素のための前記値によって示されるサブレイヤの前記数のためにHRDパラメータをコード化することと、
前記HRDパラメータを使用して前記ビットストリームを処理することと
を行うように構成された、
機器。
[C14] 前記サブレイヤが時間サブレイヤを備え、前記ビデオコーダは、前記HRDパラメータがそれのためにコード化される時間サブレイヤの数に等しい、少なくとも、前記ビットストリームの時間サブレイヤに対応する出力順序における連続するピクチャのHRD出力時間間の時間距離が制約されるかどうかを示すシンタックス要素の数をコード化するように構成された、C13に記載の機器。
[C15] 前記HRDパラメータをコード化するために、前記ビデオコーダが、前記サブレイヤのうちの対応する1つのための連続するピクチャのHRD出力時間を指定する要素ユニット間のクロックティックにおける時間距離又は前記サブレイヤのうちの前記対応する1つのHRD動作モードのうちの1つ以上を示す1つ以上のシンタックス要素をコード化するように構成された、C13に記載の機器。
[C16] 前記ビデオコーダがビデオエンコーダを備える、C13に記載の機器。
[C17] 前記ビデオコーダは、ビデオコード化レイヤ(VCL)HRDパラメータのうちの少なくとも1つが前記ビットストリーム中でコード化されるとき又はVCL HRD動作のためのバッファリング期間情報が前記ビットストリーム中で必要とされると決定されたときのみ、ビットストリームパーティション初期到着時間補足強化情報(SEI)メッセージの初期到着遅延シンタックス要素をコード化するように構成された、C13に記載の機器。
[C18] 前記ビデオコーダは、前記ビットストリームのためのVclHrdBpPresentFlagが真の値を有すると決定したことのみに応答して、ビットストリームパーティション初期到着時間補足強化情報(SEI)メッセージの初期到着遅延シンタックス要素をコード化するように構成された、C13に記載の機器。
[C19] 前記サブレイヤのピクチャをキャプチャするためのカメラ又は前記ピクチャを表示するための表示器のうちの少なくとも1つを更に備える、C13に記載の機器。
[C20] 前記機器が、
集積回路、
マイクロプロセッサ又は
ワイヤレス通信機器
のうちの少なくとも1つを備える、C13に記載の機器。
[C21] 前記機器がワイヤレス通信機器であり、前記ビデオコーダがビデオデコーダを備え、前記機器が、前記シンタックス要素と前記HRDパラメータとを含む信号を受信することと、前記メモリに前記シンタックス要素と前記HRDパラメータとを記憶することとを行うように構成された受信機を更に備える、C13に記載の機器。
[C22] 前記ワイヤレス通信機器がセルラー電話であり、前記信号が、トランシーバによって受信され、セルラー通信規格に従って変調される、C21に記載の機器。
[C23] ビデオデータをコード化するための機器であって、前記機器は、
仮想参照デコーダ(HRD)パラメータがそれのためにコード化されるビットストリームのサブレイヤの数を示すシンタックス要素のための値をコード化するための手段と、ここにおいて、前記値は、前記HRDパラメータがそれのためにコード化されるサブレイヤの前記数が、前記ビットストリームのビデオパラメータセット(VPS)によって示されるサブレイヤの最大数よりも小さいことを示す、
前記シンタックス要素のための前記値によって示されるサブレイヤの前記数のためにHRDパラメータをコード化するための手段と、
前記HRDパラメータを使用して前記ビットストリームを処理するための手段と
を備える機器。
[C24] 前記サブレイヤが時間サブレイヤを備え、前記HRDパラメータをコード化するための前記手段は、前記HRDパラメータがそれのためにコード化される時間サブレイヤの数に等しい、少なくとも、前記ビットストリームの時間サブレイヤのための出力順序における連続するピクチャのHRD出力時間間の時間距離が制約されるかどうかを示すシンタックス要素の数をコード化するための手段を備える、C23に記載の機器。
[C25] 前記HRDパラメータをコード化するための前記手段が、前記サブレイヤのうちの対応する1つのための連続するピクチャのHRD出力時間を指定する要素ユニット間のクロックティックにおける時間距離又は前記サブレイヤのうちの前記対応する1つのHRD動作モードのうちの1つ以上を示す1つ以上のシンタックス要素をコード化するための手段を備える、C23に記載の機器。
[C26] 前記HRDパラメータをコード化するための前記手段が、前記HRDパラメータを復号するための手段を備え、前記HRDパラメータを復号するための前記手段が、前記HRDパラメータに対応する前記ビットストリームのビットと、前記HRDパラメータに続くシンタックス要素に対応する前記ビットストリームのビットとの間を区別するためのパーサを構成するための手段を備える、C23に記載の機器。
[C27] ビデオコード化レイヤ(VCL)HRDパラメータのうちの少なくとも1つが前記ビットストリーム中でコード化されるとき又はVCL HRD動作のためのバッファリング期間情報が前記ビットストリーム中で必要とされると決定されたときのみ、ビットストリームパーティション初期到着時間補足強化情報(SEI)メッセージの初期到着遅延シンタックス要素をコード化するための手段を更に備える、C23に記載の機器。
[C28] 前記ビットストリームのためのVclHrdBpPresentFlagが真の値を有すると決定したことのみに応答して、ビットストリームパーティション初期到着時間補足強化情報(SEI)メッセージの初期到着遅延シンタックス要素をコード化するための手段を更に備える、C23に記載の機器。
[C29] 実行されたとき、ビデオデータを復号するための機器のプロセッサに、
仮想参照デコーダ(HRD)パラメータがそれのためにコード化されるビットストリームのサブレイヤの数を示すシンタックス要素のための値をコード化することと、ここにおいて、前記値は、前記HRDパラメータがそれのためにコード化されるサブレイヤの前記数が、前記ビットストリームのビデオパラメータセット(VPS)によって示されるサブレイヤの最大数よりも小さいことを示す、
前記シンタックス要素のための前記値によって示されるサブレイヤの前記数のためにHRDパラメータをコード化することと、
前記HRDパラメータを使用して前記ビットストリームを処理することと
を行わせる命令を記憶したコンピュータ可読記憶媒体。
[C30] 前記サブレイヤが時間サブレイヤを備え、前記プロセッサに、前記HRDパラメータをコード化することを行わせる前記命令は、前記プロセッサに、前記HRDパラメータがそれのためにコード化される時間サブレイヤの数に等しい、少なくとも、前記ビットストリームの時間サブレイヤのための出力順序における連続するピクチャのHRD出力時間間の時間距離が制約されるかどうかを示すシンタックス要素の数をコード化することを行わせる命令を備える、C29に記載のコンピュータ可読記憶媒体。
図1
図2
図3
図4
図5