特許 5658381 スケーラブル映像符号化のための仮想リファレンスデコーダの実現方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5658381

(24)【登録日】2014年12月5日

(45)【発行日】2015年1月21日

(54)【発明の名称】スケーラブル映像符号化のための仮想リファレンスデコーダの実現方法

(51)【国際特許分類】

   H04N 19/70 20140101AFI20141225BHJP

   H04N 19/30 20140101ALI20141225BHJP

【ＦＩ】

   H04N19/70

   H04N19/30

【請求項の数】6

【外国語出願】

【全頁数】9

(21)【出願番号】特願2014-543(P2014-543)

(22)【出願日】2014年1月6日

(62)【分割の表示】特願2009-544848(P2009-544848)の分割

【原出願日】2007年12月21日

(65)【公開番号】特開2014-90497(P2014-90497A)

(43)【公開日】2014年5月15日

【審査請求日】2014年1月6日

(31)【優先権主張番号】60/878,729

(32)【優先日】2007年1月5日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ズー，リホア

(72)【発明者】

【氏名】ルオ，ジアンコン

(72)【発明者】

【氏名】イン，ペン

(72)【発明者】

【氏名】ゴミラ，クリスティーナ

【審査官】 岩井 健二

(56)【参考文献】

【文献】 米国特許出願公開第２００５／０２５４５７５（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００６／０１２０４６３（ＵＳ，Ａ１）

【文献】 Long Xu et al.，Rate Control for Scalable Video Model，Proceedings of SPIE, Visual Communications and Image Processing 2005，SPIE，２００５年 ７月１２日，Vol.5960，pp.525-534

【文献】 Lihua Zhu et al.，SVC Hypothetical Reference Decoder，Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6)，22nd Meeting: Marrakech, Morocco，２００７年 １月，JVT-V068，pp.1-10

【文献】 矢ヶ崎陽一 外３名，次世代動画像符号化方式 ＭＰＥＧ−４ ＡＶＣ｜Ｈ．２６４，株式会社トリケップス，２００４年 ３月１２日，pp.42,43,147-158

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

スケーラブル映像符号化のための仮想リファレンスデコーダの実現方法であって、
ｉを整数として、スケーラブルレイヤｉの従属レイヤ、テンポラルレイヤ及びクオリティレイヤを示すビットストリームに含まれる変数の値を決定する段階と、
前記スケーラブルレイヤｉに対応する仮想リファレンスデコーダパラメータを決定する段階とを含み、
決定された仮想リファレンスデコーダパラメータは、少なくとも１つのビットレートパラメータを含み、前記ビットレートパラメータは、前記スケーラブルレイヤｉ及びその従属レイヤのビットに基づいて決定され、
前記決定された仮想リファレンスデコーダパラメータは、最初の符号化ピクチャバッファ（ＣＰＢ）の引き抜き遅延及び最初のＣＰＢの引き抜き遅延のオフセット、ＣＰＢの引き抜き遅延、及び復号化ピクチャバッファ（ＤＰＢ）の出力遅延を更に含み、前記ＣＰＢの引き抜き遅延及び前記ＤＰＢの出力遅延は、それぞれのテンポラルレイヤについてのみ明示的に指示される、方法。

【請求項2】

前記ＣＰＢの引き抜き遅延及び前記ＤＰＢの出力遅延は、それぞれのテンポラルレイヤにおいて個々の空間レイヤ又はクオリティレイヤについて明示的に指示されない、
請求項１記載の方法。

【請求項3】

前記ＣＰＢの引き抜き遅延及び前記ＤＰＢの出力遅延は、それぞれのテンポラルレイヤにおいて異なる空間レイヤ及びクオリティレイヤに対応するスケーラビリティレイヤについて同じままであり、前記ＣＰＢの引き抜き遅延及び前記ＤＰＢの出力遅延の値は、それぞれのテンポラルレイヤについて異なる、
請求項１記載の方法。

【請求項4】

前記ビットストリームにおいて多数の相互運用のポイントが存在し、前記多数の相互運用ポイントは、互いに関してスケーラビリティを示す、
請求項１記載の方法。

【請求項5】

前記示されるスケーラビリティは、空間スケーラビリティ、時間スケーラビリティ及びＳＮＲスケーラビリティのうちの１以上を含む、
請求項４記載の方法。

【請求項6】

前記仮想リファレンスデコーダを形成するルールのセットにより定義される、
請求項１記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、圧縮映像システムにおけるスケーラブル映像符号化用の仮想リファレンスデコーダに関する。
本出願は、2007年1月5日に提出された米国特許仮出願第60/878729号の利益を請求するものであり、この米国仮出願は、引用によりその完全な形で盛り込まれる。

【背景技術】

【0002】

仮想リファレンスデコーダは、ある規格に準拠するために符号化ビットストリームを有効にする役割を果たすため、圧縮映像システムにおいて重要である。H.264/AVCのような符号化規格では、その規格のスケーラブル映像符号化の特徴による様々な相互運用のポイント（interoperability points）が存在する。H.264/AVC規格は、HRDを定義する（要件、制約、又は動作の仕様とも呼ばれる）ルールを有する。HRDの振る舞いは、規範的なものである。AVCビットストリームは、ルールに従って構築されたHRDに準拠する必要がある。SVC（Scalable Video Coding）は、AVC規格に対する拡張（Annex G）である。SVCビットストリームは、典型的に、少なくとも部分的にビットストリームがスケーラブルであるという事実のため、多数の相互運用のポイントを有する。係るビットストリームは、たとえば空間、時間及びSNRにおいてスケーラブルである場合がある。スケーラブルな態様に対応するサブビットストリームは、ビットストリームから抽出される場合がある。前のHRDは、AVCにおけるSVCのビットストリームのような、ビットストリームを有効にするための十分なルールを有していない。

【発明の開示】

【課題を解決するための手段】

【0003】

この開示は、SVCの仮想リファレンスデコーダ（HRD: Hypothetical Reference Decoder）を提供する少なくとも１つの実現を記載する。１つの係る実現は、SVCとの使用向けに、H.264/AVC HRDを変更することを提案する。その実現は、SVCのそれぞれの相互運用のポイントのためにHRDの制約を定義する。特に１つの実現が記載されるが、他の実現も可能であり、この開示により考案される。この開示の第一の部分は、空間、時間及びSNRスケーラビリティのそれぞれの変更を記載する。この開示の第二の部分は、仕様のテキストにより後続される関連されるHRDパラメータへの変更を記載する。

【0004】

H.264/AVC規格は、HRDを定義する（要件、制約又は動作の仕様とも呼ばれる）ルールを有する。HRDの振る舞いは、規範的なものである。AVCビットストリームは、ルールに従って構築されたHRDに準拠する必要がある。SVC（Scalable Video Coding）は、AVC規格に対する拡張（Annex G）である。この開示は、SVC向けのHRDのルールを提供する１以上の実現を記載する。少なくとも１つの実現は、AVC-HRDのルールに対する変更としてSVC-HRDルールを提案する。ユーザは、提案されたSVC-HRDのルールを使用してSVC-HRDを構築し、SVC準拠のためにビットストリームをテストする場合がある。

【図面の簡単な説明】

【0005】

【図1】AVC系列のシーケンスパラメータセットを示す表である。

【図2】AVCのバッファリング期間SEIメッセージを示す表である。

【図3】提案されるHRDパラメータを示す表である。

【図4】提案されるVUIパラメータを示す表である。

【図5】提案されるbuffer_period SEIメッセージを示す表である。

【図6】提案されるピクチャタイミングSEIメッセージを示す表である。

【発明を実施するための最良の形態】

【0006】

SVCビットストリームは、典型的に、少なくとも部分的に、ビットストリームがスケーラブルであるという事実のため、（動作ポイントとも呼ばれる）多数の相互運用ポイントを有する。係るビットストリームは、たとえば空間、時間及びSNRにおいてスケーラブルである。スケーラブルなアスペクトに対応するサブビットストリームは、ビットストリームから抽出される。１つの実現では、それぞれの相互運用のポイントは、SVCコンプライアンスを保証するため、HRDによりチェックされる。HRDは、それぞれのチェックポイントのHRDの制約を個別に定義する場合がある。また、幾つかのチェックポイントは、１つのHRDの制約に従う場合がある。この開示で記載される少なくとも１つの実現では、個別のHRDの制約は、それぞれのチェックポイントについて提案される。個別のHRDの制約の使用は動作を容易にする場合があり、H.263+のアプローチに対する幾つかの類似点を提供する場合がある。

【0007】

この部分において、１つの特定の実現のコンテクストでは、空間、SNR及び時間のスケーラビリティのそれぞれからのSVCにおけるHRDを満たすため、H.264/AVCにおけるHRDから変更すべきか、及び何を変更すべきかが分析される。これは、各種の多数の可能なタイプのスケーラビリティを調べる１つの概念的な視点からの記載を提供するものであり、他の概念的な視点も可能である。

【0008】

１．空間SVC
１.１ VUIメッセージにおけるHRD：
VUIメッセージは、SPSに含まれる（表１におけるvui_parameters()を参照）。それぞれの空間SVCレイヤについて、ピクチャサイズは他のレイヤとは異なるため、その対応するSPSは、他のレイヤのものとは異なる。したがって、AVCにおけるVUIのHRDは、変更なしに、空間SVCのVUIのHRDに直接に適用することができる。それぞれのチェックポイントについて、表１に示されるように、AVCのHRDルールを通して正しいVUIメッセージを取得することができる。

【0009】

１.２ バッファリング期間SEIメッセージ：
seq_parameter_set_idは、バッファリング期間SEIメッセージにある。それぞれの空間SVCレイヤに対応するSPSにおけるseq_parameter_set_idを索引付けすることで、それぞれの空間SVCレイヤのバッファリング期間を得ることができる。したがって、空間SVCについて、AVCにおけるHRDのバッファリング期間SEIメッセージは、空間SVCについて直接的に適用することができる。それぞれのチェックポイントについて、表２に示されるように、現在のHRDを変更することなしに、正しいバッファリング期間SEIメッセージを得ることができる。

【0010】

１.３ ピクチャタイミングSEIメッセージ：
cpb_removal_delay及びdpb_output_delayは、同じアクセスユニットにおける異なるレイヤについて同じである（表６参照）。したがって、空間スケーラビリティについて変更が必要とされない。

【0011】

２．SNRスケーラビリティ
２.１ VUIメッセージ：
SNR SVCについて、dependency_id又はquality_levelによりクオリティレイヤを示すことができる。異なるクオリティレイヤ／レベルは、同じSPSを共有することができ、したがって、AVCにおけるVUIメッセージは、全てのクオリティレイヤ／レベルについてHRD情報を含むように変更される（表３参照）。

【0012】

２.２ バッファリング期間SEIメッセージ：
SNR SVCについて、異なるクオリティレイヤ／レベルは、同じSPSを共有することができ、したがって、バッファリング期間SEIメッセージに存在するseq_parameter_set_idとの１対１のマッピングを有さない。バッファリング期間SEIメッセージは、全てのクオリティレイヤ／レベルについてHRD情報を含むように変更される（表５）。

【0013】

２.３ ピクチャタイミングSEIメッセージ：
cpb_removal_delay及びdpb_output_delayは、同じアクセスユニットにおける異なるクオリティレイヤ／レベルについて同じである。したがって、空間スケーラビリティについて変更が必要とされない。

【0014】

３．時間SVC
３.１ VUIメッセージ：
時間SVCについて、異なる時間レイヤは、同じSPSを共有することができ、したがって、AVCにおけるVUIメッセージは、全ての時間レイヤについてHRD情報を含むように変更される（表３参照）。

【0015】

３.２ バッファリングSEIメッセージ：
時間SVCについて、異なる時間レイヤは、同じSPSを共有することができ、したがって、バッファリング期間SEIメッセージに存在するseq_parameter_set_idとの１対１のマッピングを有さない。バッファリング期間SEIメッセージは、全ての時間レイヤについてHRD情報を含むように変更される（表５参照）。

【0016】

３.３ ピクチャタイミングSEIメッセージ：
時間SVCについて、フレームレートは、それぞれの時間レイヤについて異なる。下位の時間レイヤは、上位の時間レイヤに従属するレイヤとしての役割を果たすことができるため、これは、所与のtemporal_levelをもつ１つのNALユニットが幾つかのフレームレートについて機能する場合があることを意味する。ピクチャタイミングSEIメッセージは、全ての時間レイヤについてHRD情報を含むように変更される（表６参照）。

【0017】

３.４ VUIメッセージでは、timing_info_present_flagが真であるとき、正しいフレームレート情報を反映するため、num_units_in_tick、time_scale及びfixed_frame_rate_flagを変更することを考える（表４参照）。

【0018】

（空間、時間及びSNR）スケーラビリティの全ての３つの概念的なレベルは、AVC-HRDルールに対する以下の変更において結合される。表３〜表６は、AVC規格から採用されており、AVC-HRDに関連する。AVC規格に加えて、イタリック体を使用して表が示される。他の実現が削除を有する場合があるが、AVC規格の表からの削除はない。太字の項は、ビットストリームで実際に送出されるシンタックスである。見ることができるように、表３〜表６のそれぞれは、可変の“profile_idc”をテストする“if-then”ループを導入することでAVC規格が変更されていることを示す。“profile_idc”が“SVC”に等しい場合、１以上のポイントをテストするためにｉｆループが１以上の回数で実行される。“profile_idc”が“SVC”に等しくない場合、“AVC”が関連する規格であると推測され、（既存のAVC-HRDルールを使用して）AVCコンプライアンスについて１つのポイントをテストするため、“else”ループが実行される。表３では、変数“dependency_id[i]”、“temporal_level[i]”、及び“quality level[i]”は、各種のスケーラブルなオプションを提供する。これらの変数は結合された８ビットの長さを有するため、SVCビットストリームについて２**８チェックポイントまでになる。実現は、８ビットを使用して０〜２５５までループすることができる。これは、AVCビットストリームについて１つのチェックポイントに比較される。

【0019】

１．VUIメッセージでは、HRDパラメータは、表３で示されるように、同じSPSを共有するそれぞれの従属のレイヤ、時間レイヤ及びクオリティレイヤについて指示される。timing_infor_present_flagが真であるとき、num_units_in_tick、time_scale及びfixed_frame_rate_flagは、表４で示されるように、それぞれの時間レイヤについて指示される。

【0020】

２．バッファリング期間SEIメッセージにおいて、HRDに関連するパラメータは、表５に示されるように、同じsequence_parameter_set_idを共有するそれぞれの従属レイヤ、時間レイヤ及びクオリティレイヤについて指示される。

【0021】

３．ピクチャタイミングSEIメッセージにおいて、HRDに関連するパラメータは、表６に示されるように、それぞれの時間レイヤについて指示される。

【0022】

表３〜表６の動作が概説される。表３は、それぞれのチェックポイント／レイヤについてビットレート及びｃｐｂ（符号化ピクチャバッファ）サイズを定義する。表４は、それぞれの時間レイヤについてフレームレートを定義する。表５は、それぞれのチェックポイント／レイヤについて最初のｃｐｂ遅延及び最初のｄｐｂ（復号化ピクチャバッファ）遅延を定義する。表６は、それぞれのチェックポイント／レイヤについてｃｐｂ引き抜き遅延及びｄｐｂ出力遅延を定義する。それぞれのチェックポイント／レイヤについて、先のパラメータがＨＲＤルールにおいて使用され、同じことがＡＶＣについて行われ、ビットストリームが準拠するかがテストされる。

【0023】

num_layer_minus1に１を加えたものは、このhrd_parameters()を含むＳＰＳにおける同じseq_parameter_set_idを参照するビットストリームによりサポートされるスケーラブルレイヤ又はプレゼンテーションポイントの数を示す。

【0024】

dependency_id[i]は、スケーラブルレイヤｉの従属（CGS）レイヤを示す。これは、スケーラブルレイヤｉにおけるＮＡＬユニットのdependency_idに等しい。

【0025】

temporal_level[i]は、スケーラブルレイヤｉのテンポラルレイヤを示す。これは、スケーラブルレイヤｉにおけるＮＡＬユニットのtemporal_levelに等しい。

【0026】

quality_level[i]は、スケーラブルレイヤｉのクオリティレイヤを示す。これは、スケーラブルレイヤｉにおけるＮＡＬユニットのquality_levelに等しい。

【0027】

cpb_cnt_minus1[i], bit_rate_scale[i], cpb_size_scale[i], bit_rate_value_minus[i][SchedSelldx], cpb_size_value_minus[i][SchedSelldx], cbr_flag[i][SchedSelldx], initial_cpb_removal_delay_length_minus1[i], cpb_removal_delay_length_minus1[i], dpb_output_delay_length_minus1[i], time_offset_length[i]は、スケーラブルレイヤｉのそれらの対応する値にそれぞれ等しい*¹。（*１）：定義において、ビットレートは、スケーラブルレイヤｉ及びその従属レイヤのビットを含む、
num_temporal_layer_minus1に１を加えたものは、ビットストリームによりサポートされる時間レイヤの数を示す。これは、ビットストリームにおけるNALユニットの最大のtemporal_levelに等しい。

【0028】

timing_info_present_flag[i], num_units_in_tick[i], time_scale[i], fixed_frame_rate_flag[i]は、時間レイヤｉについてそれらの対応する値にそれぞれ等しい。

【0029】

num_layer_minus1に１を加えたものは、buffer_period SEIメッセージにおける同じseq_parameter_set_idを参照するビットストリームによりサポートされるスケーラブルレイヤ又はプレゼンテーションポイントの数を示す。

【0030】

dependency_id[i]は、スケーラブルレイヤｉの従属（CGS）レイヤを示す。これは、スケーラブルレイヤｉにおけるNALユニットのdependency_idに等しい。

【0031】

temporal_level[i]は、スケーラブルレイヤｉのテンポラルレイヤを示す。これは、スケーラブルレイヤｉにおけるNALユニットのtemporal_levelに等しい。

【0032】

quality_level[i]は、スケーラブルレイヤｉのクオリティレイヤを示す。これは、スケーラブルレイヤｉにおけるNALユニットのquality_levelに等しい。

【0033】

initial_cpb_removal_delay[i][SchedSelldx], initial_cpb_removal_delay_offset[i][SchedSelldx]は、スケーラブルレイヤｉについてそれらの対応する値にそれぞれ等しい。

【0034】

num_temporal_layer_minus1に１を加えたものは、そのアクセスユニットがこのピクチャタイミングSEIメッセージと関連付けされるNALユニットに依存するテンポラルレイヤの数を示す。

【0035】

temporal_layer[i]は、テンポラルレイヤｉのテンポラルレベルを示す。

【0036】

cpb_removal_delay[i], dpb_output_delay[i]は、テンポラルレイヤｉについてそれらの対応する値にそれぞれ等しい。

【0037】

様々な実現は、この開示により意図され、これらの実現は、この開示で記載される１以上の特徴を含む場合がある。係る実現は、方法、装置又は命令からなるプログラムの形式である場合があり、たとえばハードウェア、ソフトウェア又はその組み合わせを使用して実現される場合がある。幾つかの可能性のある実現は、以下の特許請求の範囲に示される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】