特許 6193371 ビデオコード化のためのタイミング情報のコード化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6193371

(24)【登録日】2017年8月18日

(45)【発行日】2017年9月6日

(54)【発明の名称】ビデオコード化のためのタイミング情報のコード化

(51)【国際特許分類】

   H04N 19/70 20140101AFI20170828BHJP

   H04N 19/31 20140101ALI20170828BHJP

【ＦＩ】

   H04N19/70

   H04N19/31

【請求項の数】15

【全頁数】55

(21)【出願番号】特願2015-521703(P2015-521703)

(86)(22)【出願日】2013年7月8日

(65)【公表番号】特表2015-527815(P2015-527815A)

(43)【公表日】2015年9月17日

(86)【国際出願番号】US2013049614

(87)【国際公開番号】WO2014011570

(87)【国際公開日】20140116

【審査請求日】2016年6月16日

(31)【優先権主張番号】61/670,066

(32)【優先日】2012年7月10日

(33)【優先権主張国】US

(31)【優先権主張番号】13/802,045

(32)【優先日】2013年3月13日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】595020643

【氏名又は名称】クゥアルコム・インコーポレイテッド

【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100109830

【弁理士】

【氏名又は名称】福原 淑弘

(74)【代理人】

【識別番号】100158805

【弁理士】

【氏名又は名称】井関 守三

(74)【代理人】

【識別番号】100194814

【弁理士】

【氏名又は名称】奥村 元宏

(72)【発明者】

【氏名】ワン、イェ−クイ

【審査官】 坂東 大五郎

(56)【参考文献】

【文献】 特表２０１０−５１６０８５（ＪＰ，Ａ）

【文献】 Munsi Haque et al.，Simplifications of HRD parameters for Temporal Scalability，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: Stockholm, Sweden，２０１２年 ７月 ３日，[JCTVC-J0272] (version 1)

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

第1のピクチャ及び第２のピクチャを含んでいる時間レイヤが一定のピクチャレートを有するという決定に基づいてビデオデータのための整数値を含んでいるタイミング情報を決定することと、
前記第1のピクチャのプレゼンテーション時間と前記第２のピクチャのプレゼンテーション時間との差分値を前記差分値がクロックティック値によって乗算された前記整数値に等しくなるように決定することと、ここにおいて、前記第1のピクチャ及び第２のピクチャは、出力順に連続しており、
第１の時間に前記第１のピクチャを、第２の時間に前記第２のピクチャを、前記第２の時間と前記第１の時間との差が決定された前記差分値となるように提示することと、
を備える、ビデオデータを提示する方法。

【請求項2】

前記第1のピクチャ及び前記第２のピクチャを含む前記時間レイヤが一定のピクチャレートを有することを決定することを更に備え、ここにおいて前記タイミング情報は前記整数値を定義するデータを含み、前記ビデオデータのための前記タイミング情報を決定することは、前記時間レイヤが前記一定のピクチャレート有するとの決定に基づいて前記整数値を定義するデータを復号することを備える、請求項１に記載の方法。

【請求項3】

前記時間レイヤが前記一定のピクチャレートを有することを決定することは、前記時間レイヤが前記一定のピクチャレートを有することを示す値をfixed_pic_rate_flagが有することを決定することを備える、請求項２に記載の方法。

【請求項4】

それぞれの一定のピクチャレートを有する各時間レイヤに対して、それぞれの信号伝達された整数値を決定すること、前記クロックティック値によって乗算された前記それぞれの整数値に従ってそれぞれの一定のピクチャレートを有する各時間レイヤのピクチャを提示することと、を更に備える、請求項２の方法。

【請求項5】

前記ビデオデータのための前記タイミング情報を決定することは，前記クロックティック値を決定することを含み、前記クロックティック値を決定することが、前記クロックティック値が、少なくとも部分的に、時間スケール値に基づくように前記クロックティック値を決定することを含み、前記時間スケール値がクロック周波数に基づく、請求項１に記載の方法。

【請求項6】

前記時間レイヤが最高時間レイヤを含み、
前記最高時間レイヤに関連する時間識別値より低い時間レイヤ識別値を有する低時間レイヤにおいて第３のピクチャのプレゼンテーション時間と第４のピクチャのプレゼンテーション時間との間の第２の差分値と、前記低時間レイヤと関連する第２の整数値と、前記クロックティック値を決定することと、
前記第２の差分値に基づいて前記低時間レイヤのピクチャを提示することと、
を更に備える、請求項１の方法。

【請求項7】

前記第1のピクチャのための前記プレゼンテーション時間が第1のピクチャ順序カウント（ＰＯＣ）値を備え、前記第２のピクチャのための前記プレゼンテーション時間が第２のＰＯＣ値を備える、請求項１の方法。

【請求項8】

ビデオデータについてのタイミング情報を決定するための手段と、ここにおいて、前記タイミング情報が、第1のピクチャ及び第２のピクチャを含む時間レイヤが一定のピクチャレートを有するという決定に基づいて決定され、前記タイミング情報が前記ビデオデータのための整数値を含み、
前記第1のピクチャのプレゼンテーション時間と前記第２のピクチャのプレゼンテーション時間との差分値を前記差分値がクロックティック値によって乗算された前記整数値に等しくなるように決定するための手段と、ここにおいて、前記第1のピクチャ及び第２のピクチャは、出力順に連続しており、
第１の時間に前記第１のピクチャを、第２の時間に前記第２のピクチャを、前記第２の時間と前記第１の時間との差が決定された前記差分値となるように提示する手段と、
を備える、ビデオデータを提示するための装置。

【請求項9】

前記第１のピクチャ及び第２のピクチャを含む前記時間レイヤが前記一定のピクチャレートを有することを決定するための手段を更に備え、ここにおいて、前記タイミング情報は、前記整数値を定義するデータを含み、前記ビデオデータのための前記タイミング情報を決定するための前記手段は、前記整数値を決定するための手段を含み、前記整数値を決定するための手段が、前記時間レイヤが前記一定のピクチャレートを有する決定に基づいて、前記整数値を定義する前記データを復号するための手段を備える、請求項８に記載の装置。

【請求項10】

前記時間レイヤが前記一定のピクチャレートを有することを決定するための手段は、前記時間レイヤが前記一定のピクチャレートを有することを示す値をfixed_pic_rate_flagが有することを決定するための手段を備える、請求項９に記載の装置。

【請求項11】

それぞれの一定のピクチャレートを有する各時間レイヤのために、それぞれの信号伝達された整数値を決定するための手段と、
前記クロックティック値によって乗算された前記それぞれの整数値に従ってそれぞれの一定のピクチャレートを有する各時間レイヤのピクチャを提示するための手段と、を更に備える、請求項９に記載の装置。

【請求項12】

前記時間レイヤが最高時間レイヤを含み、
前記最高時間レイヤと関連する時間識別値より低い時間レイヤ識別値を有する低時間レイヤにおいて第３のピクチャのプレゼンテーション時間と第４のピクチャのプレゼンテーション時間との間の第２の差分値と、前記低時間レイヤと関連する第２の整数値と、前記クロックティック値を決定するための手段と、
前記第２の差分値に基づいて前記低時間レイヤのピクチャを提示するための手段と、
を更に備える、請求項８に記載の装置。

【請求項13】

前記第１のピクチャのための前記プレゼンテーション時間が第１のピクチャ順序カウント（ＰＯＣ）値を備え、前記第２のピクチャのためのプレゼンテーション時間が第２のＰＯＣ値を備える、請求項８に記載の装置。

【請求項14】

実行されると、プロセッサに
第1のピクチャ及び第２のピクチャを含む時間レイヤが、一定のピクチャレートを有するとの決定に基づいて、ビデオデータのタイミング情報を決定することと、前記タイミング情報は前記ビデオデータのための整数値を含み、
前記第1のピクチャのプレゼンテーション時間と前記第２のピクチャのプレゼンテーション時間との差分値を前記差分値がクロックティック値によって乗算された前記整数値に等しくなるように決定することと、ここにおいて、前記第1のピクチャ及び第２のピクチャは、出力順に連続しており、
第１の時間に前記第１のピクチャを、第２の時間に前記第２のピクチャを、前記第２の時間と前記第１の時間の差分が決定された前記差分値であるように提示することと、
を行わせる命令を記憶したコンピュータ可読記憶媒体。

【請求項15】

表示装置が提示された前記ビデオデータを表示することを更に含む、請求項１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願
[0001]本出願は、その全体が参照により本明細書に組み込まれる、２０１２年７月１０日に出願された米国仮出願第６１／６７０，０６６号の利益を主張する。

【0002】

[0002]本開示は、一般に、ビデオデータを処理することに関し、より詳細には、ビデオデータにおいて使用されるランダムアクセスピクチャに関する。

【背景技術】

【0003】

[0003]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップ又はデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録機器、デジタルメディアプレーヤ、ビデオゲーム機器、ビデオゲームコンソール、セルラー又は衛星無線電話、所謂「スマートフォン」、ビデオ遠隔会議機器、ビデオストリーミング機器などを含む、広範囲にわたる機器に組み込まれ得る。デジタルビデオ機器は、ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２、ＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ １０、アドバンストビデオコード化（ＡＶＣ：Advanced Video Coding）、及び現在開発中の高効率ビデオコード化（ＨＥＶＣ：High Efficiency Video Coding）規格によって定義された規格、及びそのような規格の拡張に記載されているビデオコード化技法など、ビデオコード化技法を実装する。ビデオ機器は、そのようなビデオコード化技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、及び／又は記憶し得る。

【0004】

[0004]ビデオコード化技法は、ビデオシーケンスに固有の冗長性を低減又は除去するための空間的（イントラピクチャ）予測及び／又は時間的（インターピクチャ）予測を含む。ブロックベースの予測ビデオコード化の場合、ビデオスライス（例えば、ビデオフレーム又はビデオフレームの一部分）が、マクロブロック、ツリーブロック、コード化ツリー単位（ＣＴＵ）、コード化ツリーブロック（ＣＴＢ）、コード化単位（ＣＵ）及び／又はコード化ノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック内の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化（Ｐ又はＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測、又は他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

【0005】

[0005]空間的予測又は時間的予測は、コード化されるべきブロックの予測ブロックを生じる。残差データは、コード化されるべき元のブロックと予測ブロックとの間の画素差分を表す。画素は、画素、ペル、又はサンプルと呼ばれることもある。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトル、及びコード化ブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコード化ブロックは、イントラコード化モード及び残差データに従って符号化される。更なる圧縮のために、残差データは、画素領域から変換領域に変換されて残差変換係数をもたらすことができ、その残差変換係数は、次いで量子化され得る。最初に２次元アレイで構成される量子化変換係数は、変換係数の１次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するためにエントロピーコード化が適用され得る。

【発明の概要】

【0006】

[0006]概して、本開示では、ビデオデータを処理するための技法について説明する。特に、本開示では、会話アプリケーションなどのビデオアプリケーションにおける遅延を低減することと、コード化ビデオシーケンスのランダムアクセスの改良を与えることと、固定ピクチャレートのものである、時間スケーラビリティをサポートするビデオコンテンツについての情報を与えることとを行うために使用され得る技法について説明する。

【0007】

[0007]一例では、ビデオデータを復号する方法は、ネットワークアブストラクションレイヤ（ＮＡＬ：network abstraction layer）単位からビットストリームのランダムアクセスポイント（ＲＡＰ：random access point）ピクチャのスライスを逆カプセル化すること（decapsulating）と、ここにおいて、ＮＡＬ単位は、ＲＡＰピクチャが、関連する先行ピクチャを有することができるタイプのものであるかどうかと、ＲＡＰピクチャが、瞬時デコーダリフレッシュ（ＩＤＲ：instantaneous decoder refresh）ピクチャであるのか又はクリーンランダムアクセス（ＣＲＡ：clean random access）ピクチャであるのかとを示すＮＡＬ単位タイプ値を含む、ＮＡＬ単位タイプ値に基づいてＲＡＰピクチャが関連する先行ピクチャを有することができるかどうかを決定することと、ＲＡＰピクチャが関連する先行ピクチャを有することができるかどうかの決定に基づいてＲＡＰピクチャに続くビットストリームのビデオデータを復号することとを含む。

【0008】

[0008]別の例では、ビデオデータを復号するための機器であって、ネットワークアブストラクションレイヤ（ＮＡＬ）単位からビットストリームのランダムアクセスポイント（ＲＡＰ）ピクチャのスライスを逆カプセル化することと、ここにおいて、ＮＡＬ単位は、ＲＡＰピクチャが、関連する先行ピクチャを有することができるタイプのものであるかどうかと、ＲＡＰピクチャが、瞬時デコーダリフレッシュ（ＩＤＲ）ピクチャであるのか又はクリーンランダムアクセス（ＣＲＡ）ピクチャであるのかとを示すＮＡＬ単位タイプ値を含む、ＮＡＬ単位タイプ値に基づいてＲＡＰピクチャが関連する先行ピクチャを有することができるかどうかを決定することと、ＲＡＰピクチャが関連する先行ピクチャを有することができるかどうかの決定に基づいてＲＡＰピクチャに続くビットストリームのビデオデータを復号することとを行うように構成されたプロセッサを備える機器。

【0009】

[0009]別の例では、ビデオデータを復号するための機器は、ネットワークアブストラクションレイヤ（ＮＡＬ）単位からビットストリームのランダムアクセスポイント（ＲＡＰ）ピクチャのスライスを逆カプセル化するための手段と、ＮＡＬ単位は、ＲＡＰピクチャが、関連する先行ピクチャを有することができるタイプのものであるかどうかと、ＲＡＰピクチャが、瞬時デコーダリフレッシュ（ＩＤＲ）ピクチャであるのか又はクリーンランダムアクセス（ＣＲＡ）ピクチャであるのかとを示すＮＡＬ単位タイプ値を含む、ＮＡＬ単位タイプ値に基づいてＲＡＰピクチャが関連する先行ピクチャを有することができるかどうかを決定するための手段と、ＲＡＰピクチャが関連する先行ピクチャを有することができるかどうかの決定に基づいてＲＡＰピクチャに続くビットストリームのビデオデータを復号するための手段とを含む。

【0010】

[0010]別の例では、コンピュータ可読記憶媒体は、実行されたとき、プロセッサに、ネットワークアブストラクションレイヤ（ＮＡＬ）単位からビットストリームのランダムアクセスポイント（ＲＡＰ）ピクチャのスライスを逆カプセル化することと、ここにおいて、ＮＡＬ単位は、ＲＡＰピクチャが、関連する先行ピクチャを有することができるタイプのものであるかどうかと、ＲＡＰピクチャが、瞬時デコーダリフレッシュ（ＩＤＲ）ピクチャであるのか又はクリーンランダムアクセス（ＣＲＡ）ピクチャであるのかとを示すＮＡＬ単位タイプ値を含む、ＮＡＬ単位タイプ値に基づいてＲＡＰピクチャが関連する先行ピクチャを有することができるかどうかを決定することと、ＲＡＰピクチャが関連する先行ピクチャを有することができるかどうかの決定に基づいてＲＡＰピクチャに続くビットストリームのビデオデータを復号することとを行わせる命令を記憶している。

【0011】

[0011]別の例では、ビデオデータを含むビットストリームを生成する方法であって、ランダムアクセスポイント（ＲＡＰ）ピクチャが、関連する先行ピクチャを有することができるタイプのものであるかどうかと、ＲＡＰピクチャが、瞬時デコーダリフレッシュ（ＩＤＲ）ピクチャを備えるのか又はクリーンランダムアクセス（ＣＲＡ）ピクチャを備えるのかとを決定することと、ネットワークアブストラクションレイヤ（ＮＡＬ）単位中にＲＡＰピクチャのスライスをカプセル化することと、ここにおいて、ＮＡＬ単位は、ＲＡＰピクチャが、関連する先行ピクチャを有することができるタイプのものであるかどうかを示すＮＡＬ単位タイプ値を含む、ＮＡＬ単位を含むビットストリームを生成することとを備える方法。

【0012】

[0012]別の例では、ビデオデータを含むビットストリームを生成するための機器は、ランダムアクセスポイント（ＲＡＰ）ピクチャが、関連する先行ピクチャを有することができるタイプのものであるかどうかと、ＲＡＰピクチャが、瞬時デコーダリフレッシュ（ＩＤＲ）ピクチャを備えるのか又はクリーンランダムアクセス（ＣＲＡ）ピクチャを備えるのかとを決定することと、ネットワークアブストラクションレイヤ（ＮＡＬ）単位中にＲＡＰピクチャのスライスをカプセル化することと、ここにおいて、ＮＡＬ単位は、ＲＡＰピクチャが、関連する先行ピクチャを有することができるタイプのものであるかどうかを示すＮＡＬ単位タイプ値を含む、ＮＡＬ単位を含むビットストリームを生成することとを行うように構成されたプロセッサを含む。

【0013】

[0013]別の例では、ビデオデータを含むビットストリームを生成するための機器は、ランダムアクセスポイント（ＲＡＰ）ピクチャが、関連する先行ピクチャを有することができるタイプのものであるかどうかと、ＲＡＰピクチャが、瞬時デコーダリフレッシュ（ＩＤＲ）ピクチャを備えるのか又はクリーンランダムアクセス（ＣＲＡ）ピクチャを備えるのかとを決定するための手段と、ネットワークアブストラクションレイヤ（ＮＡＬ）単位中にＲＡＰピクチャのスライスをカプセル化するための手段と、ＮＡＬ単位は、ＲＡＰピクチャが、関連する先行ピクチャを有することができるタイプのものであるかどうかを示すＮＡＬ単位タイプ値を含む、ＮＡＬ単位を含むビットストリームを生成するための手段とを含む。

【0014】

[0014]別の例では、コンピュータ可読記憶媒体は、実行されたとき、プロセッサに、ランダムアクセスポイント（ＲＡＰ）ピクチャが、関連する先行ピクチャを有することができるタイプのものであるかどうかと、ＲＡＰピクチャが、瞬時デコーダリフレッシュ（ＩＤＲ）ピクチャを備えるのか又はクリーンランダムアクセス（ＣＲＡ）ピクチャを備えるのかとを決定することと、ネットワークアブストラクションレイヤ（ＮＡＬ）単位中にＲＡＰピクチャのスライスをカプセル化することと、ここにおいて、ＮＡＬ単位は、ＲＡＰピクチャが、関連する先行ピクチャを有することができるタイプのものであるかどうかを示すＮＡＬ単位タイプ値を含む、ＮＡＬ単位を含むビットストリームを生成することとを行わせる命令を記憶している。

【0015】

[0015]別の例では、ビデオデータを復号する方法は、ビットストリームの補足拡張情報（ＳＥＩ：supplemental enhancement information）ネットワークアブストラクションレイヤ（ＮＡＬ：network abstraction layer）単位について、ＳＥＩ ＮＡＬ単位のＮＡＬ単位タイプ値は、ＮＡＬ単位が、プレフィックスＳＥＩメッセージを含むプレフィックスＳＥＩ ＮＡＬ単位を備えることを示すのか、又はサフィックスＳＥＩメッセージを含むサフィックスＳＥＩ ＮＡＬ単位を備えることを示すのかを決定することと、ＳＥＩ ＮＡＬ単位がプレフィックスＳＥＩ ＮＡＬ単位であるのか又はサフィックスＳＥＩ ＮＡＬ単位であるのかとＳＥＩ ＮＡＬ単位のデータとに基づいてＳＥＩ ＮＡＬ単位に続くビットストリームのビデオデータを復号することとを含む。

【0016】

[0016]別の例では、ビデオデータを復号するための機器は、ビットストリームの補足拡張情報（ＳＥＩ）ネットワークアブストラクションレイヤ（ＮＡＬ）単位について、ＳＥＩ ＮＡＬ単位のＮＡＬ単位タイプ値は、ＮＡＬ単位が、プレフィックスＳＥＩメッセージを含むプレフィックスＳＥＩ ＮＡＬ単位を備えることを示すのか、又はサフィックスＳＥＩメッセージを含むサフィックスＳＥＩ ＮＡＬ単位を備えることを示すのかを決定することと、ＳＥＩ ＮＡＬ単位がプレフィックスＳＥＩ ＮＡＬ単位であるのか又はサフィックスＳＥＩ ＮＡＬ単位であるのかとＳＥＩ ＮＡＬ単位のデータとに基づいてＳＥＩ ＮＡＬ単位に続くビットストリームのビデオデータを復号することとを行うように構成されたプロセッサを含む。

【0017】

[0017]別の例では、ビデオデータを復号するための機器は、ビットストリームの補足拡張情報（ＳＥＩ）ネットワークアブストラクションレイヤ（ＮＡＬ）単位について、ＳＥＩ ＮＡＬ単位のＮＡＬ単位タイプ値は、ＮＡＬ単位が、プレフィックスＳＥＩメッセージを含むプレフィックスＳＥＩ ＮＡＬ単位を備えることを示すのか、又はサフィックスＳＥＩメッセージを含むサフィックスＳＥＩ ＮＡＬ単位を備えることを示すのかを決定するための手段と、ＳＥＩ ＮＡＬ単位がプレフィックスＳＥＩ ＮＡＬ単位であるのか又はサフィックスＳＥＩ ＮＡＬ単位であるのかとＳＥＩ ＮＡＬ単位のデータとに基づいてＳＥＩ ＮＡＬ単位に続くビットストリームのビデオデータを復号するための手段とを含む。

【0018】

[0018]別の例では、コンピュータ可読記憶媒体は、実行されたとき、プロセッサに、ビットストリームの補足拡張情報（ＳＥＩ）ネットワークアブストラクションレイヤ（ＮＡＬ）単位について、ＳＥＩ ＮＡＬ単位のＮＡＬ単位タイプ値は、ＮＡＬ単位が、プレフィックスＳＥＩメッセージを含むプレフィックスＳＥＩ ＮＡＬ単位を備えることを示すのか、又はサフィックスＳＥＩメッセージを含むサフィックスＳＥＩ ＮＡＬ単位を備えることを示すのかを決定することと、ＳＥＩ ＮＡＬ単位がプレフィックスＳＥＩ ＮＡＬ単位であるのか又はサフィックスＳＥＩ ＮＡＬ単位であるのかとＳＥＩ ＮＡＬ単位のデータとに基づいてＳＥＩ ＮＡＬ単位に続くビットストリームのビデオデータを復号することとを行わせる命令を記憶している。

【0019】

[0019]別の例では、ビデオデータを含むビットストリームを生成する方法は、補足拡張情報（ＳＥＩ）メッセージがプレフィックスＳＥＩメッセージであるのか又はサフィックスＳＥＩメッセージであるのかを決定することと、ここにおいて、ＳＥＩメッセージが、符号化ビデオデータに関係するデータを含む、ＳＥＩ ＮＡＬ単位中にＳＥＩメッセージをカプセル化することと、ここにおいて、ＳＥＩ ＮＡＬ単位は、ＳＥＩ ＮＡＬ単位がプレフィックスＳＥＩ ＮＡＬ単位であるのか又はサフィックスＳＥＩ ＮＡＬ単位であるのかと、ＳＥＩメッセージがプレフィックスＳＥＩメッセージであるのか又はサフィックスＳＥＩメッセージであるのかとを示すＮＡＬ単位タイプ値を含む、ＳＥＩ ＮＡＬ単位を少なくとも含むビットストリームを生成することとを含む。

【0020】

[0020]別の例では、ビデオを含むビットストリームを生成するための機器は、補足拡張情報（ＳＥＩ）メッセージがプレフィックスＳＥＩメッセージであるのか又はサフィックスＳＥＩメッセージであるのかを決定することと、ここにおいて、ＳＥＩメッセージが、符号化ビデオデータに関係するデータを含む、ＳＥＩ ＮＡＬ単位中にＳＥＩメッセージをカプセル化することと、ここにおいて、ＳＥＩ ＮＡＬ単位は、ＳＥＩ ＮＡＬ単位がプレフィックスＳＥＩ ＮＡＬ単位であるのか又はサフィックスＳＥＩ ＮＡＬ単位であるのかと、ＳＥＩメッセージがプレフィックスＳＥＩメッセージであるのか又はサフィックスＳＥＩメッセージであるのかとを示すＮＡＬ単位タイプ値を含む、ＳＥＩ ＮＡＬ単位を少なくとも含むビットストリームを生成することとを行うように構成されたプロセッサを含む。

【0021】

[0021]別の例では、ビデオデータを含むビットストリームを生成するための機器は、補足拡張情報（ＳＥＩ）メッセージがプレフィックスＳＥＩメッセージであるのか又はサフィックスＳＥＩメッセージであるのかを決定するための手段と、ＳＥＩメッセージが、符号化ビデオデータに関係するデータを含む、ＳＥＩ ＮＡＬ単位中にＳＥＩメッセージをカプセル化するための手段と、ＳＥＩ ＮＡＬ単位は、ＳＥＩ ＮＡＬ単位がプレフィックスＳＥＩ ＮＡＬ単位であるのか又はサフィックスＳＥＩ ＮＡＬ単位であるのかと、ＳＥＩメッセージがプレフィックスＳＥＩメッセージであるのか又はサフィックスＳＥＩメッセージであるのかとを示すＮＡＬ単位タイプ値を含む、ＳＥＩ ＮＡＬ単位を少なくとも含むビットストリームを生成するための手段とを含む。

【0022】

[0022]別の例では、実行されたとき、プロセッサに、補足拡張情報（ＳＥＩ）メッセージがプレフィックスＳＥＩメッセージであるのか又はサフィックスＳＥＩメッセージであるのかを決定することと、ここにおいて、ＳＥＩメッセージが、符号化ビデオデータに関係するデータを含む、ＳＥＩ ＮＡＬ単位中にＳＥＩメッセージをカプセル化することと、ここにおいて、ＳＥＩ ＮＡＬ単位は、ＳＥＩ ＮＡＬ単位がプレフィックスＳＥＩ ＮＡＬ単位であるのか又はサフィックスＳＥＩ ＮＡＬ単位であるのかと、ＳＥＩメッセージがプレフィックスＳＥＩメッセージであるのか又はサフィックスＳＥＩメッセージであるのかとを示すＮＡＬ単位タイプ値を含む、ＳＥＩ ＮＡＬ単位を少なくとも含むビットストリームを生成することとを行わせる命令を記憶したコンピュータ可読記憶媒体。

【0023】

[0023]別の例では、ビデオデータを提示する方法は、ビデオデータの整数値を決定することと、第１のピクチャのプレゼンテーション時間と第２のピクチャのプレゼンテーション時間との間の差分値を決定することと、ここにおいて、差分値は、整数値とクロック単位値との積に等しくなる、決定された差分値に従って第１のピクチャと第２のピクチャとを提示することとを含む。

【0024】

[0024]別の例では、ビデオデータを提示するための機器は、ビデオデータの整数値を決定することと、第１のピクチャのプレゼンテーション時間と第２のピクチャのプレゼンテーション時間との間の差分値を決定することと、ここにおいて、差分値は、整数値とクロック単位値との積に等しくなる、決定された差分値に従って第１のピクチャと第２のピクチャとを提示することとを行うように構成されたプロセッサを含む。

【0025】

[0025]別の例では、ビデオデータを提示するための機器は、ビデオデータの整数値を決定するための手段と、第１のピクチャのプレゼンテーション時間と第２のピクチャのプレゼンテーション時間との間の差分値を決定するための手段と、差分値は、整数値とクロック単位値との積に等しくなる、決定された差分値に従って第１のピクチャと第２のピクチャとを提示するための手段とを含む。

【0026】

[0026]別の例では、コンピュータ可読記憶媒体は、実行されたとき、プロセッサに、ビデオデータの整数値を決定することと、第１のピクチャのプレゼンテーション時間と第２のピクチャのプレゼンテーション時間との間の差分値を決定することと、ここにおいて、差分値は、整数値とクロック単位値との積に等しくなる、決定された差分値に従って第１のピクチャと第２のピクチャとを提示することとを行わせる命令を記憶している。

【0027】

[0027]別の例では、ビデオデータを含むビットストリームを生成する方法は、第１のピクチャのプレゼンテーション時間と第２のピクチャのプレゼンテーション時間との間の差がクロック単位値の整数倍であるかどうかを示すデータを生成することと、差がクロック単位値の整数倍であることをデータが示すとき、整数倍を表すデータを生成することとを含む。

【0028】

[0028]別の例では、ビデオデータを含むビットストリームを生成するための機器は、第１のピクチャのプレゼンテーション時間と第２のピクチャのプレゼンテーション時間との間の差がクロック単位値の整数倍であるかどうかを示すデータを生成することと、差がクロック単位値の整数倍であることをデータが示すとき、整数倍を表すデータを生成することとを行うように構成されたプロセッサを含む。

【0029】

[0029]別の例では、ビデオデータを含むビットストリームを生成するための機器は、第１のピクチャのプレゼンテーション時間と第２のピクチャのプレゼンテーション時間との間の差がクロック単位値の整数倍であるかどうかを示すデータを生成するための手段と、差がクロック単位値の整数倍であることをデータが示すとき、整数倍を表すデータを生成するための手段とを含む。

【0030】

[0030]別の例では、コンピュータ可読記憶媒体は、実行されたとき、プロセッサに、第１のピクチャのプレゼンテーション時間と第２のピクチャのプレゼンテーション時間との間の差がクロック単位値の整数倍であるかどうかを示すデータを生成することと、差がクロック単位値の整数倍であることをデータが示すとき、整数倍を表すデータを生成することとを行わせる命令を記憶している。

【0031】

[0031]１つ又は複数の例の詳細を添付の図面及び以下の説明に記載する。他の特徴、目的、及び利点は、説明及び図面から、及び特許請求の範囲から明らかになろう。

【図面の簡単な説明】

【0032】

【図1】[0032]予測ビデオコード化技法に従ってコード化されたビデオシーケンスを示す概念図。

【図2】[0033]コード化ビデオシーケンスの一例を示す概念図。

【図3】[0034]本開示で説明する技法を利用し得る例示的なビデオ符号化及び復号システムを示すブロック図。

【図4】[0035]本開示で説明する技法を実装し得る例示的なカプセル化ユニットを示すブロック図。

【図5】[0036]本開示の技法による、ＶＣＬ ＮＡＬ単位を生成する一例を示すフローチャート。

【図6】[0037]本開示の技法による、非ＶＣＬ ＮＡＬ単位を生成する一例を示すフローチャート。

【図7】[0038]プレゼンテーション時間デルタ値を信号伝達する(signaling)一例を示すフローチャート。

【図8】[0039]本開示で説明する技法を実装し得る例示的なビデオエンコーダを示すブロック図。

【図9】[0040]プレゼンテーション時間デルタ値を決定する一例を示すフローチャート。

【図10】[0041]本開示で説明する技法を実装し得る例示的なビデオデコーダを示すブロック図。

【発明を実施するための形態】

【0033】

[0042]本開示では、様々な改善されたビデオコード化設計について説明する。特に、本開示では、会話アプリケーションなどのビデオアプリケーションにおける遅延を低減することと、コード化ビデオシーケンスのランダムアクセスの改良を与えることとを行うために使用され得る技法について説明する。

【0034】

[0043]デジタルビデオ機器は、デジタルビデオ情報をより効率的に符号化及び復号するためのビデオ圧縮技法を実装する。ビデオ圧縮技法は、ＡＶＣ又はＨＥＶＣなどのビデオコード化規格に従って定義され得る。 ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４（ＡＶＣ）規格は、共同ビデオ部会（ＪＶＴ：Joint Video Team）として知られる共同パートナーシップの成果として、ＩＳＯ／ＩＥＣ動画エキスパーツグループ（ＭＰＥＧ：Moving Picture Experts Group）とともにＩＴＵ−Ｔビデオコード化エキスパーツグループ（ＶＣＥＧ：Video Coding Experts Group）によって策定された。Ｈ．２６４規格は、ＩＴＵ−Ｔ Ｓｔｕｄｙ Ｇｒｏｕｐによる２００５年３月付けのＩＴＵ−Ｔ勧告Ｈ．２６４「Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」に記載されており、本明細書ではＨ．２６４規格もしくはＨ．２６４仕様、又はＨ．２６４／ＡＶＣ規格もしくは仕様と呼ぶことがある。Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ（ＪＶＴ）は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの拡張に取り組み続けている。

【0035】

[0044]「ＨＥＶＣ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ７」又は「ＷＤ７」と呼ばれる、ＨＥＶＣの最近のワーキングドラフト（ＷＤ）は、文書ＪＣＴＶＣ−Ｉ１００３＿ｄ５、Ｂｒｏｓｓら、「ＷＤ７： Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ７ ｏｆ Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ）」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３及びＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）、第９回会合：スイス、ジュネーブ、２０１２年４月２７日から２０１２年５月７日に記載されている。更に、ＨＥＶＣの別の最近のワーキングドラフト、ワーキングドラフト９は、文書ＪＣＴＶＣ−Ｋ１００３＿ｄ７、Ｂｒｏｓｓら、「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） Ｔｅｘｔ Ｓｐｅｃｉｆｉｃａｔｉｏｎ Ｄｒａｆｔ ９」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３及びＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のビデオコード化共同研究部会（ＪＣＴ−ＶＣ）、第１１回会合：中国、上海、２０１２年１０月に記載されている。次回のＨＥＶＣ規格は、ＨＥＶＣの配信バージョン用の規格番号であることが意図された、ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣと呼ばれることもある。幾つかの態様では、本開示で説明する技法は、Ｈ．２６４規格及び／又は次回のＨＥＶＣ規格に概して準拠する機器に適用され得る。本開示の技法は、Ｈ．２６４規格及び次回のＨＥＶＣ規格に関して説明されるが、本開示の技法は、概して、任意のビデオコード化規格に適用可能である。

【0036】

[0045]ビデオシーケンスは、一般に、ピクチャとも呼ばれる一連のビデオフレームを含む。ビデオシーケンスが符号化及び／又は復号されるビデオアプリケーションの例としては、ローカル再生アプリケーション、ストリーミングアプリケーション、ブロードキャストアプリケーション、マルチキャストアプリケーション及び会話アプリケーションがある。会話アプリケーションには、ビデオ電話アプリケーション及びビデオ会議アプリケーションが含まれ、低遅延アプリケーションとも呼ばれる。会話アプリケーションは、比較的低い、エンドツーエンド遅延、即ち、第１のデジタルビデオ機器においてビデオフレームが撮影されるときと第２のデジタルビデオ機器においてビデオフレームが表示されるときとの間の遅延をシステム全体に要求する。一般に、会話アプリケーションについて許容されるエンドツーエンド遅延は４００ｍｓ未満であるべきであり、約１５０ｍｓのエンドツーエンド遅延が非常に良好であると見なされる。

【0037】

[0046]ビデオシーケンスを処理することに関連する各ステップは、全体的なエンドツーエンド遅延に寄与し得る。ビデオシーケンスを処理することに関連する遅延の例としては、撮影遅延(capturing delay)、前処理遅延、符号化遅延、送信遅延、（デジッタリングのための）受信バッファリング遅延、復号遅延、復号ピクチャ出力遅延、後処理遅延、及び表示遅延がある。特定のビデオコード化規格に従ってビデオシーケンスをコード化することに関連する遅延は、コーデック遅延と呼ばれることがあり、符号化遅延と、復号遅延と、復号ピクチャ出力遅延とを含み得る。コーデック遅延は、会話アプリケーションでは最小限に抑えるべきである。特に、ビデオシーケンスのコード化構造は、復号ピクチャ出力遅延が０に等しくなるように、ビデオシーケンス中のピクチャの出力順序がビデオシーケンス中のピクチャの復号順序と同じであることを保証すべきである。ビデオシーケンスのコード化構造は、一部、ビデオシーケンスを符号化するために使用されるピクチャタイプの割当てを指す。

【0038】

[0047]ピクチャグループ（ＧＯＰ）は、概して、表示順序に従って構成された１つ又は複数のピクチャのシーケンスを備える。ＨＥＶＣに従って、ビデオエンコーダは、ビデオフレーム又はピクチャメイを一連の等しいサイズのビデオブロックに分割し得る。ビデオブロックは、（Ｙとして示される）ルミナンス成分と、（Ｕ及びＶ又はＣｂ及びＣｒとして示される）２つのクロマ成分とを有し得る。これらのビデオブロックメイオルソーツーは、最大コード化単位（ＬＣＵ）、ツリーブロック、又はコード化ツリーブロック単位（ＣＴＵ）としても指し得る。ＨＥＶＣのＬＣＵは、Ｈ．２６４／ＡＶＣなど、以前の規格のマクロブロックに広い意味で類似し得る。しかしながら、ＬＣＵは、必ずしも特定のサイズに限定されるとは限らない。ＨＥＶＣによれば、ビットストリーム内のシンタックスデータは、水平及び／又は垂直ルーマサンプルの数に従ってＬＣＵを定義し得る。例えば、ＬＣＵは、６４×６４又は３２×３２のルーマサンプルを含むものとして定義され得る。更に、ＬＣＵは、４分木区分方式に従って複数のコード化単位（ＣＵ）に区分され得る。概して、４分木区分は、ＣＵを４つのサブＣＵに再帰的に分割することを指す。コード化ビットストリームに関連するシンタックスデータは、最大ＣＵ深さと呼ばれる、ＬＣＵが分割され得る最大回数を定義し得、また、ＣＵの最小サイズを定義し得る。それに応じて、ビットストリームは最小コード化単位（ＳＣＵ）をも定義し得る。例えば、ＳＣＵは、８×８のルーマサンプルを含むものとして定義され得る。

【0039】

[0048]更に、ＨＥＶＣによれば、ビデオエンコーダは、ピクチャを複数のスライスに区分し得、そこにおいて、スライスの各々は整数個のＬＣＵを含む。スライスは、Ｉスライス、Ｐスライス、又はＢスライスであり得、ここで、Ｉ、Ｐ及びＢは、ＣＵを予測するために他のビデオブロックがどのように使用されるかを定義する。Ｉスライスは、（例えば、同じフレーム内のビデオブロックから）イントラ予測モードを使用して予測される。イントラコード化は、所与のビデオフレーム又はピクチャ内のビデオの空間的冗長性を低減又は除去するために空間的予測に依拠する。Ｐスライスは、（例えば、前のフレーム中のビデオブロックから）単方向インター予測モードを使用して予測される。Ｂスライスは、（例えば、前のフレームと後続のフレームとの内のビデオブロックから）双方向インター予測モードを使用して予測される。インターコード化は、ビデオシーケンスの隣接フレーム又はピクチャ内のビデオの時間的冗長性を低減又は除去するために時間的予測に依拠する。

【0040】

[0049]図１は、予測ビデオコード化技法に従ってコード化されたビデオシーケンスを示す概念図である。図１に示すように、ビデオシーケンス１００は、ピクチャＰｉｃ₁〜Ｐｉｃ₁₀を含む。図１の概念図では、ピクチャＰｉｃ₁〜Ｐｉｃ₁₀は、それらが表示されるべき順序に従って構成され、連続的に番号付けされる。以下でより詳細に説明するように、表示順序は、必ずしも復号順序に対応するとは限らない。図１に示すように、ビデオシーケンス１００は、ＧＯＰ₁とＧＯＰ₂とを含み、ここで、ピクチャＰｉｃ₁〜Ｐｉｃ₅がＧＯＰ₁中に含まれ、ピクチャＰｉｃ₆〜Ｐｉｃ₁₀がＧＯＰ₂中に含まれる。図１に、Ｐｉｃ₅がスライス₁とスライス₂とに区分されることを示し、ここで、スライス₁及びスライス₂の各々は、左から右へ、上から下へのラスタ走査に従う連続するＬＣＵを含む。図示されていないが、図１に示す他のピクチャは、同様の方法で１つ又は複数のスライスに区分され得る。図１に、ＧＯＰ₂に関するＩスライス、Ｐスライス、又はＢスライスの概念をも示す。ＧＯＰ₂中のＰｉｃ₆〜Ｐｉｃ₁₀の各々に関連する矢印は、矢印によって示される参照ピクチャに基づいてピクチャがＩスライス、Ｐスライス、又はＢスライスを含むのかを示す。図１では、ピクチャＰｉｃ₆及びＰｉｃ₉は、Ｉスライスを含むピクチャを表し（即ち、ピクチャ自体を参照する）、ピクチャＰｉｃ₇及びＰｉｃ₁₀は、Ｐスライスを含むピクチャを表し（即ち、それぞれ、前のピクチャを参照する）、Ｐｉｃ₈は、Ｂスライスを含むピクチャを表す（即ち、前のピクチャ及び後続のピクチャを参照する）。

【0041】

[0050]ＨＥＶＣでは、ビデオシーケンス、ＧＯＰ、ピクチャ、スライス、及びＣＵの各々は、ビデオコード化プロパティについて説明するシンタックスデータに関連付けられ得る。例えば、スライスは、スライスがＩスライスであるのか、Ｐスライスであるのか、又はＢスライスであるのかを示すシンタックス要素を含むヘッダを含む。更に、ＨＥＶＣは、パラメータセットの概念を含む。パラメータセットは、ビデオデコーダがビデオシーケンスを再構成することを可能にするシンタックス要素を含むシンタックス構造である。ＨＥＶＣは、シンタックス要素が変化することが予想される周波数に基づくパラメータセットのタイプ中にシンタックス要素が含まれる階層パラメータセット機構を採用する。ＨＥＶＣにおけるパラメータセット機構は、コード化ブロックデータの送信から、まれに変化する情報の送信を分離する。更に、幾つかの適用例では、パラメータセットは、「アウトオブバンド」で搬送され得、即ち、コード化ビデオデータを含んでいる単位と一緒にトランスポートされ得ない。アウトオブバンド送信は、典型的には信頼できる。

【0042】

[0051]ＨＥＶＣ ＷＤ７では、特定のパラメータセットはパラメータセットＩＤを使用して識別される。ＨＥＶＣ ＷＤ７では、パラメータセットＩＤは、左ビットが先頭の符号なし整数指数ゴロムコード化シンタックス要素(unsigned integer Exp-Golomb-coded syntax element)である。ＨＥＶＣ ＷＤ７は、以下のパラメータセットを定義する。

【0043】

ビデオパラメータセット（ＶＰＳ：Video Parameter Set）：ＶＰＳとは、０個以上のコード化ビデオシーケンス全体に適用されるシンタックス要素を含んでいるシンタックス構造である。即ち、ＶＰＳは、一連のフレームの間、不変のままであることが予想されるシンタックス要素（例えば、ピクチャ順序、参照フレームの数、及びピクチャサイズ）を含む。ＶＰＳは、ＶＰＳ ＩＤを使用して識別される。シーケンスパラメータセットはＶＰＳ ＩＤを含む。

【0044】

シーケンスパラメータセット（ＳＰＳ：Sequence Parameter Set）−ＳＰＳとは、０個以上のコード化ビデオシーケンス全体に適用されるシンタックス要素を含むシンタックス構造である。即ち、ＳＰＳは、一連のフレームの間、不変のままであることが予想されるシンタックス要素（例えば、ピクチャ順序、参照フレームの数、及びピクチャサイズ）を含む。ＳＰＳは、ＳＰＳ ＩＤを使用して識別される。ピクチャパラメータセットはＳＰＳ ＩＤを含む。

【0045】

ピクチャパラメータセット（ＰＰＳ：Picture Parameter Set）−ＰＰＳとは、１つ又は複数のピクチャに適用されるシンタックス要素を含むシンタックス構造である。即ち、ＰＰＳは、シーケンス内のピクチャごとに変化し得るシンタックス要素（例えば、エントロピーコード化モード、量子化パラメータ、及びビット深度）を含む。ＰＰＳパラメータセットは、ＰＰＳ ＩＤを使用して識別される。スライスヘッダはＰＰＳ ＩＤを含む。

【0046】

適応パラメータセット（ＡＰＳ：Adaptive Parameter Set）−ＡＰＳとは、１つ又は複数のピクチャに適用されるシンタックス要素を含むシンタックス構造である。ＡＰＳは、シーケンスのピクチャ内で変化することが予想されるシンタックス要素（例えば、ブロックサイズ、及びデブロックフィルタ処理）を含む。ＡＰＳは、ＡＰＳ ＩＤを使用して識別される。スライスヘッダはＡＰＳ ＩＤを含み得る。

【0047】

[0052]ＨＥＶＣ ＷＤ７における定義されたパラメータセットタイプによれば、各ＳＰＳはＶＰＳ ＩＤを参照し、各ＰＰＳはＳＰＳ ＩＤを参照し、各スライスヘッダは、ＰＰＳ ＩＤ参照し、場合によっては、ＡＰＳ ＩＤを参照する。場合によっては、ＳＰＳ中にＶＰＳ ＩＤを含め、ＰＰＳ中にＳＰＳ ＩＤを含める線形参照関係は非効率的であり得ることに留意されたい。例えば、ＨＥＶＣ ＷＤ７ではＶＰＳがサポートされるが、大部分のシーケンスレベル情報パラメータは依然としてＳＰＳ中にしか存在しない。パラメータセットの概念に加えて、ＨＥＶＣは、コード化ビデオシーケンス及びアクセス単位の概念を含む。ＨＥＶＣ ＷＤ７によれば、コード化ビデオシーケンス及びアクセス単位は次のように定義される。

【0048】

コード化ビデオシーケンス：復号順序で、ビットストリーム中で第１のアクセス単位であるＣＲＡアクセス単位、ＩＤＲアクセス単位又はＢＬＡアクセス単位からなり、後ろに、任意の後続のＩＤＲ又はＢＬＡアクセス単位を含まないがそれまでの全ての後続のアクセス単位を含む０個以上の非ＩＤＲ及び非ＢＬＡアクセス単位が続く一連のアクセス単位［ＣＲＡ、ＩＤＲ、及びＢＬＡアクセス単位について以下で詳細に説明する］。

【0049】

アクセス単位：復号順序で連続している、１つのコード化ピクチャを含んでいるＮＡＬ単位のセット。コード化ピクチャのコード化スライスＮＡＬ単位に加えて、アクセス単位は、コード化ピクチャのスライスを含んでいない他のＮＡＬ単位をも含み得る。アクセス単位の復号により、常に、復号ピクチャが生じる。

【0050】

[0053]ＮＡＬ単位は、ネットワークアブストラクションレイヤ（Network Abstraction Layer）単位を指す。従って、ＨＥＶＣによれば、コード化ビデオデータのビットストリームは一連のＮＡＬ単位を含む。アクセス単位は、復号順序で連続的に構成され、正確に１つのコード化ピクチャを含んでいるＮＡＬ単位のセットであり、コード化ビデオシーケンスは、復号順序で構成された一連のアクセス単位を含む。図２は、コード化ビデオシーケンスの一例を示す概念図である。図２は、図１に示したＧＯＰ₂に対応し得るコード化ビデオシーケンス２００の一例を表す。図２に示すように、コード化ビデオシーケンス２００は、Ｐｉｃ₆〜Ｐｉｃ₁₀の各々に対応するアクセス単位を含む。コード化ビデオシーケンス２００のアクセス単位は、復号順序に従って連続的に構成される。Ｐｉｃ₉に対応するアクセス単位がＰｉｃ₈に対応するアクセス単位の前に位置することに留意されたい。従って、復号順序は、図１に示した表示順序に対応しない。この例では、これは、Ｐｉｃ₈がＰｉｃ₉を参照するためである。従って、Ｐｉｃ₉は、Ｐｉｃ₈が復号され得る前に復号されなければならない。図２に、Ｐｉｃ₉に対応するアクセス単位がどこにＮＡＬ単位、即ち、ＡＵデリミタＮＡＬ単位２０２、ＰＰＳ ＮＡＬ単位２０４、スライス₁ＮＡＬ単位２０６、及びスライス₂ＮＡＬ単位２０８を含むかを示す。各ＮＡＬ単位は、ＮＡＬ単位タイプを識別するヘッダを含み得る。

【0051】

[0054]ＨＥＶＣは、２つのＮＡＬ単位タイプクラス、即ち、コード化スライスＮＡＬ単位（ＶＣＬ）及び非ＶＣＬ ＮＡＬ単位を定義する。コード化スライスＮＡＬ単位は、ビデオデータのスライスを含んでいる。図２に示す例では、スライス₁ＮＡＬ単位２０６及びスライス₂ＮＡＬ単位２０８はそれぞれ、ビデオデータのスライスを含んでおり、ＶＣＬ ＮＡＬ単位の例である。図２の例では、スライス₁ＮＡＬ単位２０６及びスライス₂ＮＡＬ単位２０８の各々はＩスライスであり得る。非ＶＣＬは、ビデオデータのスライス以外の情報を含んでいるものを含む。例えば、非ＶＣＬは、デリミタデータ又はパラメータセットを含み得る。図２に示す例では、ＡＵデリミタＮＡＬ単位２０２は、Ｐｉｃ₇に対応するアクセス単位からＰｉｃ₉に対応するアクセス単位を区切るための情報を含む。更に、ＰＰＳ ＮＡＬ単位２０４は、ピクチャパラメータセットを含む。従って、ＡＵデリミタＮＡＬ単位２０２及びＰＰＳ ＮＡＬ単位２０４は、非ＶＣＬ ＮＡＬ単位の例である。

【0052】

[0055]ＨＥＶＣにおける非ＶＣＬ ＮＡＬ単位の別の例は、補足拡張情報（supplemental enhancement information(ＳＥＩ）)ＮＡＬ単位である。ＡＶＣとＨＥＶＣの両方でサポートされるＳＥＩ機構により、エンコーダは、出力ピクチャのサンプル値の正しい復号のために必要ではないが、ピクチャ出力タイミング、表示、ならびに損失検出及び損失補償など、様々な他の目的のために使用され得るメタデータをビットストリーム中に含めることが可能になる。例えば、ＳＥＩ ＮＡＬ単位は、ビットストリームを復号するときにビデオデコーダによって使用されるピクチャタイミングメッセージを含み得る。ピクチャタイミングメッセージは、ビデオデコーダがいつＶＣＬ ＮＡＬ単位を復号し始めるべきかを示す情報を含み得る。エンコーダは、アクセス単位中に任意の数のＳＥＩ ＮＡＬ単位を含めることができ、各ＳＥＩ ＮＡＬ単位は、１つ又は複数のＳＥＩメッセージを含み得る。ドラフトＨＥＶＣ規格は、幾つかのＳＥＩメッセージについてのシンタックス及びセマンティクスを含むが、ＳＥＩメッセージの処理は、規範的な復号プロセスに影響を及ぼさないので、規定されていない。ドラフトＨＥＶＣ規格でＳＥＩメッセージを有する１つの理由は、ＨＥＶＣを使用する異なるシステムで補足データを同様に解釈することを可能にするためである。ＨＥＶＣを使用する仕様及びシステムは、エンコーダが幾つかのＳＥＩメッセージを生成することを必要とし得、又は受信されたＳＥＩメッセージの特定のタイプの特定の処理を定義し得る。表１に、ＨＥＶＣで規定されているＳＥＩメッセージを記載し、それらの目的を手短に説明する。

【表1】

【0053】

[0056]ランダムアクセスは、ビットストリーム中の最初のコード化ピクチャではないコード化ピクチャから始まる、ビデオビットストリームの復号を指す。ビットストリームへのランダムアクセスは、例えば、ユーザが、異なるチャネル間で切り替えるため、ビデオの特定の部分にジャンプするため、又は（例えば、ビットレート、フレームレート、空間分解能スケーラビリティについての）ストリーム適応のために異なるビットストリームに切り替えるために、ブロードキャスト及びストリーミングなどの多くのビデオアプリケーションにおいて必要とされる。ランダムアクセスは、ビデオシーケンスの間に一定の間隔で何回もランダムアクセスポイント（ＲＡＰ）ピクチャ又はアクセス単位を含むコード化構造を有することによって可能になる。瞬時デコーダリフレッシュ（ＩＤＲ）ピクチャ、クリーンランダムアクセス（ＣＲＡ）ピクチャ及びリンク切断アクセス（ＢＬＡ：broken link access）ピクチャは、ＨＥＶＣ ＷＤ７において定義されているＲＡＰピクチャのタイプである。ＩＤＲピクチャ、ＣＲＡピクチャ及びＢＬＡピクチャの各々はＩスライスのみを含む。しかしながら、ＩＤＲピクチャ、ＣＲＡピクチャ及びＢＬＡピクチャの各々は、定義された参照制約に基づいて異なる。

【0054】

[0057]ＩＤＲピクチャは、ＡＶＣに規定されており、ＨＥＶＣ ＷＤ７に従って定義されている。ＩＤＲピクチャはランダムアクセスのために使用され得るが、ＩＤＲピクチャは、復号順序でＩＤＲピクチャに続くピクチャがＩＤＲピクチャより前に復号されたピクチャを参照として使用することができないという点で制約される。図１及び図２に示した例では、上記で説明したように、ビデオシーケンス１００中のｐｉｃ₆はＩＤＲピクチャであり得る。ＩＤＲピクチャに関連する制約により、ランダムアクセスについてＩＤＲピクチャに依拠するビットストリームは、著しく低いコード化効率を有し得る。

【0055】

[0058]コード化効率を改善するために、ＣＲＡピクチャの概念がＨＥＶＣに導入された。ＨＥＶＣ ＷＤ７によれば、ＩＤＲピクチャのようなＣＲＡピクチャはＩスライスのみを含む。しかしながら、復号順序でＣＲＡピクチャの後にくるが、出力順序でＣＲＡピクチャの前にくるピクチャは、ＣＲＡピクチャの前に復号されたピクチャを参照ピクチャとして使用することが可能になる。復号順序でＣＲＡピクチャの後にくるが、出力順序においてはＣＲＡピクチャの前にくるピクチャは、ＣＲＡピクチャに関連する先行ピクチャ（又はＣＲＡピクチャの先行ピクチャ）と呼ばれる。現在のＣＲＡピクチャの前のＩＤＲ又はＣＲＡピクチャから復号が始まる場合、ＣＲＡピクチャの先行ピクチャは正確に復号可能である。しかしながら、ＣＲＡピクチャからのランダムアクセスが行われるとき、ＣＲＡピクチャの先行ピクチャが正確に復号可能でないことがある。図１及び図２に示す例を参照すると、Ｐｉｃ₉は、ＣＲＡピクチャであり得、Ｐｉｃ₈は、Ｐｉｃ₉の先行ピクチャであり得る。Ｐｉｃ₈は、正確に復号可能であるＧＯＰ₂であるＰｉｃ₆においてアクセスされるが、ＧＯＰ₂がＰｉｃ₉としてアクセスされる場合、正確に復号可能でないことがある。これは、満期、即ち、ＧＯＰ₂がＰｉｃ₉としてアクセスされる場合、Ｐｉｃ₇が利用可能ではないことである。復号がどこから始まるかに応じて利用可能ではないことがある参照ピクチャからの誤り伝搬を防止するために、ＨＥＶＣ ＷＤ７によれば、復号順序と出力順序の両方でＣＲＡピクチャの後にくる全てのピクチャは、復号順序又は出力順序のいずれかで（先行ピクチャを含む）ＣＲＡピクチャの前にくるいかなるピクチャも参照として使用しないように制約される。更に、先行ピクチャは、通常、ランダムアクセス復号中に破棄される。

【0056】

[0059]ビットストリームスプライシングは、２つ以上のビットストリームの連結又はそれの一部を指す。例えば、第１のビットストリームは、第２のビットストリームによって付加され、場合によっては、スプライスビットストリームを生成するためにビットストリームの一方又は両方のいずれかに幾つかの変更を加えた状態で付加され得る。第２のビットストリーム中の第１のコード化ピクチャは、スプライシングポイントとも呼ばれる。従って、スプライスビットストリーム中のスプライシングポイントの後のピクチャは、第２のビットストリームから生じたものであり、一方、スプライスビットストリーム中のスプライシングポイントの前のピクチャは、第１のビットストリームから生じたものである。ビットストリームのスプライシングは、典型的には、ビットストリームスプライサによって実行される。ビットストリームスプライサは、しばしば、軽量であり、ビデオエンコーダよりもはるかにインテリジェントではない。例えば、ビットストリームスプライサは、エントロピー復号及び符号化能力を装備していないことがある。時間スケーラビリティは、ビットストリームスプライシングを使用し得るアプリケーションである。時間スケーラビリティは、１つ又は複数のフレームレートでビデオシーケンスを復号することを指すことがある。例えば、ビデオシーケンスをシステム能力に基づいて３０フレーム毎秒（ｆｐｓ）又は６０ｆｐｓで復号することが可能であり得る。時間スケーラビリティを達成するために、ビデオシーケンスは、複数の時間レイヤを含み得る。ここで、各時間レイヤは、フレームレートに関連するコード化ビデオシーケンスである。最も高いフレームレートメイを用いる時間レイヤは、最高時間レイヤと呼んだ。複数の時間レイヤは、最高フレームレートでビデオシーケンスを生成するために一緒にスプライスされ得、例えば、３０ｆｐｓを用いるコード化ビデオシーケンスが、６０ｆｐｓを使用可能にするコード化ビデオシーケンスとともにスプライスされる。

【0057】

[0060]ビットストリーム切替えが適応ストリーミング環境において使用され得る。切替え先ビットストリーム中のあるピクチャにおけるビットストリーム切替え動作は、事実上、ビットストリームスプライシング動作であり、スプライシングポイントは、ビットストリーム切替えポイント、即ち、切替え先ビットストリームからの第１のピクチャである。ビットストリーム切替えが、通常は、同じコード化構造をもつ２つのストリームに対して実行されることに留意されたい。即ち、２つのストリームは、同じ予測構造を有し、ＩＤＲピクチャ、ＣＲＡピクチャ、Ｐピクチャ及びＢピクチャなどの同じ割当てを有する。

【0058】

[0061]リンク切断アクセス（ＢＬＡ）ピクチャの概念は、ＣＲＡピクチャの導入の後にＨＥＶＣ ＷＤ７に更に導入され、ＣＲＡピクチャの概念に基づく。ＢＬＡピクチャは、一般に、ＣＲＡピクチャの位置におけるビットストリームスプライシングから発生し、スプライスビットストリームにおいて、スプライシングポイントＣＲＡピクチャはＢＬＡピクチャに変更される。ＢＬＡピクチャとＣＲＡピクチャとの間の最も本質的な違いは以下の通りである。ＣＲＡピクチャの場合、復号順序でＣＲＡピクチャの前のＲＡＰピクチャから復号が開始する場合、関連する先行ピクチャは正確に復号可能であり、ランダムアクセスがＣＲＡピクチャから開始するときに正確に復号可能でないことがある。ＢＬＡピクチャの場合、全ての場合で、復号順序でＢＬＡピクチャの前のＲＡＰピクチャから復号が開始する場合であっても、関連する先行ピクチャは正確に復号可能でないことがある。特定のＣＲＡ又はＢＬＡピクチャの場合、ＣＲＡ又はＢＬＡピクチャがビットストリーム中の第１のピクチャである場合であっても、関連する先行ピクチャの幾つかは正確に復号可能であることに留意されたい。これらの先行ピクチャは、復号可能先行ピクチャ（ＤＬＰ：decodable leading picture）と呼ばれ、他の先行ピクチャは非復号可能先行ピクチャ（ＮＬＰ：non-decodable leading picture）と呼ばれる。ＮＬＰは、ＨＥＶＣ ＷＤ９では廃棄タグ付き（ＴＦＤ：tagged for discard）ピクチャとも呼ばれる。ＩＤＲピクチャに関連する全ての先行ピクチャがＤＬＰピクチャであることに留意されたい。表２は、ＨＥＶＣ ＷＤ７に従って定義されたＮＡＬ単位を規定するＨＥＶＣ ＷＤ７中に含まれる表である。表２に示すように、ＨＥＶＣ ＷＤ７におけるＮＡＬ単位タイプは、上記で説明したピクチャ及びパラメータセットに対応するＣＲＡピクチャ、ＢＬＡピクチャ、ＩＤＲピクチャ、ＶＰＳ、ＳＰＳ、ＰＰＳ、及びＡＰＳ ＮＡＬ単位タイプを含む。

【表2】

【0059】

[0062]ＮＡＬ単位割当てを簡略化するために、その全体が参照により組み込まれる、Ｓ．Ｋａｎｕｍｕｒｉ、Ｇ．Ｓｕｌｌｉｖａｎ、「Ｒｅｆｉｎｅｍｅｎｔ ｏｆ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ Ｓｕｐｐｏｒｔ」、第１０回会合、スウェーデン、ストックホルム、２０１２年７月、文書ＪＣＴＶＣ−Ｊ０３４４（以下で「Ｋａｎｕｍｕｒｉ」）は、（１）どのＩＤＲピクチャにも関連する先行ピクチャがない（即ち、復号順序でＩＤＲピクチャの後にも、出力順序でＩＤＲピクチャの前にもピクチャがこない）ようなＩＤＲピクチャに関する制約、及び（２）次のようにＲＡＰピクチャについて上記の表２に従って定義された修正割当てＮＡＬ単位タイプ４〜７を提案している。

【表3】

【0060】

[0063]表３では、ＳＡＰタイプは、その全体が参照により組み込まれる、ＩＳＯ／ＩＥＣ １４４９６−１２第４版、「Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ − Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ − Ｐａｒｔ １２： ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔ」、ｗ１２６４０、第１００回ＭＰＥＧ会合、ジュネーブ、２０１２年４月において定義されているストリーミングアクセスポイントタイプを指す。上記で説明したように、ＩＤＲピクチャ及びＢＬＡ／ＣＲＡピクチャは、ビットスティーム切替えについて機能的に異なるが、それらは、（例えば、アプリケーションを求める）ランダムアクセスについて機能的に同じである。ＩＤＲピクチャにおけるビットストリーム切替えの場合、ビデオコード化システムは、プレゼンテーション（表示）が欠陥なしで連続的であり得る（例えば、ピクチャの欠落が提示されない）ことを知るか、又はそうだと仮定し得る。これは、復号順序でＩＤＲピクチャに続くピクチャがＩＤＲピクチャより前に復号されたピクチャを参照として使用することができない（即ち、ＩＤＲピクチャに関連する先行ピクチャがＤＬＰである）からである。しかしながら、ＢＬＡピクチャにおけるビットストリーム切替えの場合、プレゼンテーションが連続的であることを保証するために、両方のストリームからの１つ又は複数のピクチャの何らかの重複復号が必要とされ得る。この重複復号は、現在、ＨＥＶＣ ＷＤ７対応デコーダにとって追加の能力なしには可能でないことがある。追加の能力がない場合、ピクチャは破棄されていることがあるので、提示されるべき関連するＴＦＤピクチャ位置にいかなるピクチャも存在しないことがある。これにより、プレゼンテーションが必ずしも連続的であるとは限らないことになり得る。更に、ＢＬＡピクチャが、関連するＴＦＤピクチャのないＢＬＡピクチャである場合でも、元のビットストリーム中に存在したＴＦＤピクチャが破棄され得るので、問題は同じである。更に、元のビットストリーム中にＴＦＤピクチャがなかった場合、（ビットストリームスプライシング／切替えなどにより後でＢＬＡピクチャに変更される）ＣＲＡピクチャは、ＩＤＲピクチャとして符号化される可能性がある。従って、Ｋａｎｕｍｕｒｉによって提案されたように、先行ピクチャをもつＩＤＲピクチャをＩＤＲピクチャとしない（即ち、ＩＤＲピクチャが先行ピクチャを有することを可能にしない）ことにより、ビットストリーム切替えのためのシステムにとってＩＤＲピクチャは使いにくいものになる。

【0061】

[0064]ストリーミングシステム、例えば、動的ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ：dynamic streaming over HTTP）の観点から、どのピクチャがＲＡＰピクチャであるのか、及び復号がＲＡＰピクチャから開始する場合、最も早いプレゼンテーション時間（例えば、最も早いピクチャ順序カウント（ＰＯＣ）値）は何かを容易に識別することが可能であることは有益である。従って、異なるＲＡＰピクチャならびにＤＬＰピクチャ及びＴＦＤピクチャへのＮＡＬ単位タイプの割当ての既存の設計は、ストリーミングシステムにとってより使いやすくなるように更に改善され得る。既存の設計に従って、ＲＡＰピクチャごとに、システムは、復号がＲＡＰピクチャから開始するとき、ＲＡＰピクチャ自体のプレゼンテーション時間が最も早いプレゼンテーション時間であるかどうかを知るために関連するＤＬＰピクチャがあるかどうかを確認する必要がある。更に、システムは、最も早いプレゼンテーション時間の値を解明するために、全てのＤＬＰピクチャのプレゼンテーション時間を確認し、比較する必要がある。

【0062】

[0065]ビデオコード化規格は、ビデオバッファリングモデルの仕様を含む。ＡＶＣ及びＨＥＶＣでは、バッファリングモデルは、コード化ピクチャバッファ（ＣＰＢ：coded picture buffer）と復号ピクチャバッファ（ＤＰＢ：decoded picture buffer）の両方のバッファリングモデルを含む仮定参照デコーダ（ＨＲＤ：hypothetical reference decoder）と呼ばれる。ＨＥＶＣ ＷＤ７によれば、ＨＲＤは、符号化プロセスが生じ得る準拠ＮＡＬ単位ストリーム又は準拠ビットストリームの変動性に対する制約を指定する仮想デコーダモデルとして定義される。従って、ＡＶＣ及びＨＥＶＣでは、ビットストリーム適合及びデコーダ適合は、ＨＲＤ仕様の一部として規定されている。ＨＥＶＣ ＷＤ７によれば、ＣＰＢは、復号順序でアクセス単位を含んでいる先入れ先出しバッファであり、かつＤＰＢは、参照のための復号ピクチャを保持するバッファである。ＣＰＢ及びＤＰＢ挙動は、ＨＲＤに従って数学的に指定される。ＨＲＤは、タイミング、バッファサイズ、及びビットレートに直接制約を課し、かつビットストリーム特性及び統計に間接的に制約を課す。ＨＲＤパラメータの完全セットは、初期ＣＰＢ除去遅延、ＣＰＢサイズ、ビットレート、初期ＤＰＢ出力遅延、及びＤＰＢサイズの５つの基本パラメータを含む。ＨＥＶＣ ＷＤ７によれば、ＨＲＤパラメータは、ビデオユーザビリティ情報（ＶＵＩ：video usability information）パラメータ中に含まれ得、ＶＵＩパラメータは、ＳＰＳ中に含まれ得る。ＨＲＤはデコーダと呼ばれるが、ＨＲＤは、一般に、ビットストリーム適合を保証するためにエンコーダ側において必要とされ、一般に、デコーダ側において必要とされないことに留意されたい。ＨＥＶＣ ＷＤ７は、ＨＲＤ適合のために２つのタイプのビットストリーム、即ち、タイプＩ及びタイプＩＩを規定している。ＨＥＶＣ ＷＤ７はまた、２つのタイプのデコーダ適合、即ち、出力タイミングデコーダ適合及び出力順序デコーダ適合を規定している。

【0063】

[0066]ＡＶＣ及びＨＥＶＣ ＨＲＤモデルでは、復号又はＣＰＢ除去はアクセス単位ベースのものであり、ピクチャ復号が瞬時に行われると仮定する。現実世界のアプリケーション中でピクチャを復号するために必要とされる時間は０に等しくなり得ない。従って、実際の適用例では、適合デコーダが、例えば、ピクチャタイミングＳＥＩメッセージ中で信号伝達された復号時間に厳密に従って、アクセス単位の復号を開始する場合、特定の復号ピクチャが出力され得るできるだけ早い時間は、その特定のピクチャの復号時間にその特定のピクチャを復号するために必要とされる時間を加えたものに等しくなる。

【0064】

[0067]Ｙｅ−Ｋｕｉ Ｗａｎｇら、「Ｓｕｂ−ｐｉｃｔｕｒｅ ｂａｓｅｄ ＣＰＢ ｏｐｅｒａｔｉｏｎ」、第９回会合：スイス、ジュネーブ、２０１２年５月、ＪＣＴＶＣ−Ｉ０５８８（以下で「Ｗａｎｇ」）に記載されているＣＰＢ挙動と同様のサブピクチャベースのＣＰＢ挙動がＨＥＶＣ ＷＤ７中に含まれている。ＷａｎｇのサブピクチャベースのＣＰＢにより、アクセス単位（ＡＵ）レベル又はサブピクチャレベルのいずれかにおいてＣＰＢ除去を行うことが可能になる。ＡＵレベル又はサブピクチャレベルのいずれかのＣＰＢ除去を可能にすることは、相互運用可能な方法でコーデック遅延を低減するのを達成するのに役立つ。ＣＰＢ除去がアクセス単位レベルにおいて行われるとき、除去動作が行われるたびに、アクセス単位がＣＰＢから除去される。ＣＰＢ除去がサブピクチャレベルにおいて行われるとき、除去動作が行われるたびに、１つ又は複数のスライスを含んでいる復号ユニット（ＤＵ）がＣＰＢから除去される。

【0065】

[0068]ＡＵレベルのＣＰＢ除去タイミング情報に加えて、サブピクチャレベルのＣＰＢ除去タイミング情報が信号伝達され得る。ＣＰＢ除去タイミング情報がＡＵレベルの除去とサブピクチャレベルの除去の両方について存在するとき、デコーダは、ＡＵレベル又はサブピクチャレベルのいずれかにおいてＣＰＢを動作させることを選定し得る。ザ現在のピクチャタイミングＳＥＩメッセージ及び機構が、サブピクチャ遅延を達成するために、同時に、ＡＵレベルのＨＲＤ ＣＰＢ除去とＤＵレベルのＨＲＤ ＣＰＢ除去との両方を可能にするために、ＤＵは、ＡＵ全体が符号化される前に送出される必要があり、ＡＵレベルのＳＥＩメッセージは、ＡＵ全体が符号化される前にまだ送出され得ないことに留意されたい。

【0066】

[0069]ＨＥＶＣ ＷＤ７によれば、タイミング情報は、２つの連続するピクチャのＨＲＤ出力時間間の時間距離を定義する情報を含み得る。ＨＥＶＣ ＷＤ７は、以下のタイミング情報シンタックス要素を定義する。

【0067】

ｔｉｍｅ＿ｓｃａｌｅは、１秒間に過ぎる時間単位の数である。例えば、２７ＭＨｚのクロックを使用して時間を測定する時間座標系は、２７，０００，０００のｔｉｍｅ＿ｓｃａｌｅを有する。ｔｉｍｅ＿ｓｃａｌｅは０よりも大きくなる。

【0068】

ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋは、クロック単位カウンタの（クロック単位と呼ばれる）１つの増分に対応する、周波数ｔｉｍｅ＿ｓｃａｌｅ Ｈｚで動作するクロックの時間単位の数である。ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋは０よりも大きくなる。

【0069】

[0070]従って、ｔｉｍｅ＿ｓｃａｌｅ及びｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋの値に基づいて、所謂クロック単位変数ｔ_cは次のように導出され得る。

【0070】

t_c = num_units_in_tick ｜ time_scale (１)
[0071]ＨＥＶＣ ＷＤ７によれば、クロック単位変数は、ＨＲＤ出力時間を制約するために使用され得る。即ち、場合によっては、出力順序で連続する２つのピクチャ（即ち、第１のピクチャ及び第２のピクチャ）のプレゼンテーション時間の間の差がクロック単位に等しくなることが必要とされ得る。ＨＥＶＣ ＷＤ７は、出力順序で連続する２つのピクチャのプレゼンテーション時間の間の差がクロック単位に等しくなるかどうかを示すｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇシンタックス要素を含む。ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇシンタックス要素は、ＳＰＳ中に含まれ得るＶＵＩパラメータのセット中に含まれ得る。ＨＥＶＣ ＷＤ７では、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇシンタックス要素が１に等しくなるとき、任意の２つの出力順序で連続するピクチャのＨＲＤ出力時間の間の時間距離は、（１）第２のピクチャが、第１のピクチャと同じコード化ビデオシーケンス中にある、又は（２）第２のピクチャが、第１のピクチャとは異なるコード化ビデオシーケンス中にあり、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇが、第２のピクチャを含んでいるコード化ビデオシーケンス中で１に等しくなり、ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋ÷ｔｉｍｅ＿ｓｃａｌｅの値が、両方のコード化ビデオシーケンスについて同じであるという条件のいずれかが真であることを受けて決定されたクロック単位に等しくなることを強制される。ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇシンタックス要素が０に等しくなるとき、任意の２つの出力順序で連続するピクチャ（即ち、第１のピクチャ及び第２のピクチャ）のＨＲＤ出力時間の間の時間距離にそのような制約は適用されない。ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇは、存在しないとき、０に等しくなることが推論されることに留意されたい。ＨＥＶＣ ＷＤ７によれば、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇが１に等しくなるとき、幾つかの最高時間レイヤが破棄される場合、時間スケーラビリティに基づくストリーミング適応は、ｔｉｍｅ＿ｓｃａｌｅ又はｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋのいずれかの値の変更を必要とすることになることに留意されたい。ＨＥＶＣ ＷＤ７が、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇについての次のセマンティクスを与えることに留意されたい。

【0071】

ピクチャｎを含んでいるコード化ビデオシーケンスについてｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇが１に等しくなるとき、式Ｃ−１３において使用するために指定された後続のピクチャｎ_nについて以下の条件のうちの１つ又は複数が真であるとき、式Ｃ−１３において指定されているΔｔ_o,dpb（ｎ）について計算された値は、（ピクチャｎを含んでいるコード化ビデオシーケンスの値ｔ_cを使用する）式Ｃ−１において指定されているｔ_cに等しくなる。

【0072】

− ピクチャｎ_nが、ピクチャｎと同じコード化ビデオシーケンスである。

【0073】

− ピクチャｎ_nが、異なるコード化ビデオシーケンス中にあり、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇが、ピクチャｎ_nを含んでいるコード化ビデオシーケンス中で１に等しくなり、ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋ÷ｔｉｍｅ＿ｓｃａｌｅの値が両方のコード化ビデオシーケンスについて同じである。

【0074】

[0072]但し、式Ｃ−１は式（１）に対応し、式Ｃ−１３は、次のようにＨＥＶＣ ＷＤ７において定義されている。

【0075】

Δt_o,dpb(n) = t_o,dpb(n_n) − t_o,dpb(n) (2)
[0073]ＨＥＶＣ ＷＤ７に関連する上述のタイミング及びランダムアクセス特性に鑑みて、本開示では、会話アプリケーションなどのビデオアプリケーションにおける遅延を低減することと、コード化ビデオシーケンスに対してランダムアクセスの改良を与えることとを行うために使用され得る技法について説明する。一例では、本開示では、ＮＡＬ単位タイプを割り振るための技法について説明する。別の例では、本開示では、サブピクチャレベル又は復号単位レベルのＨＲＤ挙動について説明する。別の例では、本開示では、パラメータセットＩＤの参照のための技法について説明する。また別の例では、本開示では、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇシンタックス要素についての改善されたセマンティクスを与えるための技法について説明する。これらの技法及び本明細書で説明する他の技法の任意の及び全ての組合せがビデオ符号化及び復号システムに組み込まれ得ることに留意されたい。

【0076】

[0074]図３は、本明細書で説明する技法を利用し得る例示的なビデオ符号化及び復号システム１０を示すブロック図である。特に、ビデオ符号化及び復号システムは、（１）ＮＡＬ単位タイプの割当て、（２）サブピクチャレベル又は復号ユニットレベルのＨＲＤ挙動、（３）パラメータセットＩＤの参照、（４）ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇについてのセマンティクスの改善、又はこれらの技法の任意の及び全ての組合せに関係する、本明細書で説明する技法を利用し得る。ビデオ符号化及び復号システム１０は、ローカル再生アプリケーション、ストリーミングアプリケーション、ブロードキャストアプリケーション、マルチキャストアプリケーション及び／又は会話アプリケーションのビデオアプリケーションのいずれかのために使用され得るビデオシステムの一例である。発信源機器１２及び宛先機器１４は、発信源機器１２が宛先機器１４に送信するための符号化ビデオデータを生成するコード化機器の例である。幾つかの例では、発信源機器１２及び宛先機器１４は、発信源機器１２及び宛先機器１４の各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、実質的に対称的に動作し得る。従って、システム１０は、発信源機器１２と宛先機器１４との間の一方向ビデオ送信又は２方向ビデオ送信をサポートするように構成され得る。

【0077】

[0075]本明細書で説明する技法は、発信源機器１２及び宛先機器１４に関して説明するが、本技法は、任意のデジタルビデオ符号化及び／又は復号機器によって実行され得る。本開示の技法は、ビデオプリプロセッサによっても実行され得る。更に、概して、本開示の技法はビデオ符号化機器及びビデオ復号機器によって実行されるものとして説明するが、本技法は、一般に「コーデック」と呼ばれるビデオエンコーダ／デコーダによっても実行され得る。従って、図３中のビデオエンコーダ２０及びビデオデコーダ３０の各々は１つ又は複数のエンコーダ又はデコーダ中に含まれ得、そのいずれも、それぞれの機器において複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。更に、ビデオエンコーダ２０及び／又はビデオデコーダ３０を含む機器は、集積回路、マイクロプロセッサ、及び／又はセルラー電話などのワイヤレス通信機器を備え得る。図３には示されていないが、幾つかの態様では、ビデオエンコーダ２０及びビデオデコーダ３０は、それぞれオーディオエンコーダ及びオーディオデコーダと統合され得、共通のデータストリーム又は別個のデータストリーム中オーディオとビデオの両方の符号化を処理するために、適切なＭＵＸ−ＤＥＭＵＸユニット、又は他のハードウェア及びソフトウェアを含み得る。適用可能な場合、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、又はユーザデータグラムプロトコル（ＵＤＰ：user datagram protocol）などの他のプロトコルに準拠し得る。

【0078】

[0076]図３に示すように、システム１０は、宛先機器１４によって後で復号されるべき符号化ビデオデータを与える発信源機器１２を含む。特に、発信源機器１２は、コンピュータ可読媒体１６を介して宛先機器１４に符号化ビデオデータを与える。宛先機器１４は、コンピュータ可読媒体１６を介して復号されるべき符号化ビデオデータを受信し得る。発信源機器１２及び宛先機器１４は、デスクトップコンピュータ、ノートブック（即ち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、所謂「スマート」フォンなどの電話ハンドセット、所謂「スマート」パッド、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミング機器などを含む、広範囲にわたる機器のいずれかを備え得る。場合によっては、発信源機器１２及び宛先機器１４は、ワイヤレス通信のために装備され得る。

【0079】

[0077]コンピュータ可読媒体１６は、発信源機器１２から宛先機器１４に符号化ビデオデータを移動することが可能な任意のタイプの媒体又は機器を備え得る。コンピュータ可読媒体１６は、ワイヤレスブロードキャスト又はワイヤードネットワーク送信などの一時媒体、又はハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク、又は他のコンピュータ可読媒体などの記憶媒体（即ち、非一時的記憶媒体）を含み得る。幾つかの例では、ネットワークサーバ（図示せず）は、例えば、ネットワーク送信を介して、発信源機器１２から符号化されたビデオデータを受信し、宛先機器１４に符号化されたビデオデータを与え得る。同様に、ディスクスタンピング設備（disc stamping facility）など、媒体製造設備のコンピューティング機器は、発信源機器１２から符号化されたビデオデータを受信し、その符号化されたビデオデータを含んでいるディスクを生成し得る。

【0080】

[0078]一例では、コンピュータ可読媒体１６は、発信源機器１２が、符号化ビデオデータを宛先機器１４にリアルタイムで直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先機器１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトル若しくは１つ又は複数の物理伝送線路など、任意のワイヤレス通信媒体又はワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、発信源機器１２から宛先機器１４への通信を容易にするのに有用であり得るルータ、スイッチ、基地局、又は任意の他の機器を含み得る。

【0081】

[0079]記憶装置は、ハードドライブ、Ｂｌｕ−ｒａｙディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性又は不揮発性メモリ、若しくは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散された又はローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。更なる一例では、記憶装置は、ファイルサーバ、又は発信源機器１２によって生成された符号化されたビデオを記憶し得る別の中間記憶装置に対応し得る。宛先機器１４は、ストリーミング又はダウンロードを介して、記憶装置から、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先機器１４に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバとしては、（例えば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続記憶（ＮＡＳ）機器、又はローカルディスクドライブがある。宛先機器１４は、インターネット接続を含む、任意の標準のデータ接続を通じて符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル（例えば、Ｗｉ−Ｆｉ（登録商標）接続）、ワイヤード接続（例えば、ＤＳＬ、ケーブルモデムなど）、又は両方の組合せを含み得る。記憶装置からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、又はそれらの組合せであり得る。

【0082】

[0080]本開示の技法は、必ずしもワイヤレス適用例又は設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ：dynamic adaptive streaming over HTTP）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、又は他の適用例などの、様々なマルチメディア適用例のいずれかをサポートするビデオコード化に適用され得る。

【0083】

[0081]図３の例では、発信源機器１２は、ビデオ発信源１８と、コード化構造ユニット１９と、ビデオエンコーダ２０と、カプセル化ユニット２１と、出力インターフェース２２とを含む。宛先機器１４は、入力インターフェース２８と、逆カプセル化ユニット（decapsulation unit）２９と、ビデオデコーダ３０と、表示装置３２とを含む。他の例では、発信源機器１２及び宛先機器１４は、他の構成要素又は構成を含み得る。例えば、発信源機器１２は、外部カメラなどの外部ビデオ発信源１８からビデオデータを受信し得る。同様に、宛先機器１４は、内蔵表示装置を含むのではなく、外部表示装置とインターフェースし得る。発信源機器１２及び宛先機器１４の構成要素は、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア又はそれらの任意の組合せなど、様々な好適な回路のいずれかとして実装され得る。本明細書で説明する技法が部分的にソフトウェアで実装されるとき、機器は、適切な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、１つ又は複数のプロセッサを使用してハードウェアにおいてその命令を実行して、本技法を実行し得る。

【0084】

[0082]発信源機器１２のビデオ発信源１８は、ビデオカメラなどの撮像装置、前に撮影されたビデオを含んでいるビデオアーカイブ、及び／又はビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。更なる代替として、ビデオ発信源１８は、ソースビデオとしてのコンピュータグラフィックスベースのデータ、又はライブビデオ、アーカイブビデオ及びコンピュータ生成ビデオの組合せを生成し得る。場合によっては、ビデオ発信源１８がビデオカメラである場合、発信源機器１２及び宛先機器１４は、所謂カメラフォン又はビデオフォンを形成し得る。しかしながら、上述のように、本開示で説明する技法は、概してビデオコード化に適用可能であり得、ワイヤレス及び／又はワイヤード適用例に適用され得る。各場合において、撮影されたビデオ、前に撮影されたビデオ、又はコンピュータ生成ビデオは、ビデオエンコーダ２０によって受信され得る。出力インターフェース２２は、コンピュータ可読媒体１６上にコード化ビデオシーケンスなどの符号化ビデオデータを出力するように構成され得る。幾つかの例では、コード化ビデオシーケンスは、出力インターフェース２２から記憶装置に出力され得る。宛先機器１４の入力インターフェース２８は、コンピュータ可読媒体１６から符号化ビデオデータを受信する。表示装置３２は、復号ビデオデータをユーザに対して表示し、陰極線管（ＣＲＴ）、液晶表示器（ＬＣＤ）、プラズマ表示器、有機発光ダイオード（ＯＬＥＤ）表示器、又は別のタイプの表示装置など、様々な表示装置のいずれかを備え得る。

【0085】

[0083]コード化構造ユニット１９、ビデオエンコーダ２０、カプセル化ユニット２１、逆カプセル化ユニット２９、及びビデオデコーダ３０は、上記で説明した次回のＨＥＶＣなどのビデオコード化規格に従って動作し得、概して、ＨＥＶＣテストモデル（ＨＭ：HEVC Test Model）に準拠し得る。代替的に、ビデオエンコーダ２０及びビデオデコーダ３０は、代替的に他のプロプライエタリ規格又はＭＰＥＧ−４、Ｐａｒｔ １０、アドバンストビデオコード化（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格などの業界規格、又はそのような規格の拡張に従って動作し得る。コード化構造ユニット１９、ビデオエンコーダ２０、カプセル化ユニット２１、逆カプセル化ユニット２９、及びビデオデコーダ３０はまた、ビデオコード化規格の変更バージョンに従って動作し得、ビデオコード化規格の変更バージョンは、本明細書で説明する技法の任意の及び全ての組合せを含むように変更される。

【0086】

[0084]ビデオエンコーダ２０は、ビデオフレーム又はピクチャメイを、ＣＵなど、ＨＥＶＣ ＷＤ７に記載されている一連の等しいサイズのビデオブロックに分割し得る。ＣＵは、コード化ノードと、コード化ノードに関連する予測単位（ＰＵ）及び変換単位（ＴＵ）とを含む。ＣＵのサイズは、コード化ノードのサイズに対応し、形状が方形でなければならない。ＣＵのサイズは、８×８画素から最大で６４×６４以上の画素をもつツリーブロックのサイズにまで及び得る。各ＣＵは、１つ又は複数のＰＵと、１つ又は複数のＴＵとを含み得る。ＣＵに関連するシンタックスデータは、例えば、ＣＵを１つ又は複数のＰＵに区分することを記述し得る。区分モードは、ＣＵがスキップモード又はダイレクトモードで符号化されているか、イントラ予測モードで符号化されているか、若しくはインター予測モードで符号化されているかの間で異なり得る。ＰＵは、形状が非方形になるように区分され得る。ＣＵに関連するシンタックスデータは、例えば、４分木に従って、ＣＵを１つ又は複数のＴＵに区分することも記述し得る。ＴＵは、形状が方形又は非方形（例えば、矩形）であり得る。

【0087】

[0085]ＨＥＶＣ規格は、ＣＵごとに異なり得るＴＵに従う変換を可能にする。ＴＵは、一般に、区分されたＬＣＵに対して定義された所与のＣＵ内のＰＵのサイズに基づいてサイズ決定されるが、常にそうであるとは限らない。ＴＵは、一般に、ＰＵと同じサイズであるか又はＰＵよりも小さい。幾つかの例では、ＣＵに対応する残差サンプルは、「残差４分木」（ＲＱＴ：residual quad tree）として知られる４分木構造を使用して、より小さいユニットに再分割され得る。ＲＱＴのリーフノードは、変換単位（ＴＵ）と呼ばれることがある。ＴＵに関連する画素差分値は、量子化され得る変換係数を生成するために変換され得る。

【0088】

[0086]リーフＣＵは、１つ又は複数の予測単位（ＰＵ）を含み得る。概して、ＰＵは、対応するＣＵの全部又は一部分に対応する空間的エリアを表し、そのＰＵの参照サンプルを取り出すためのデータを含み得る。更に、ＰＵは、予測に関係するデータを含む。例えば、ＰＵがイントラモード符号化されるとき、ＰＵについてのデータは、ＰＵに対応するＴＵについてのイントラ予測モードを記述するデータを含み得る残差４分木（ＲＱＴ）中に含まれ得る。別の例として、ＰＵがインターモード符号化されるとき、ＰＵは、ＰＵについての１つ又は複数の動きベクトルを定義するデータを含み得る。ＰＵのための動きベクトルを定義するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルについての分解能（例えば、１／４画素精度又は１／８画素精度）、動きベクトルが指す参照ピクチャ、及び／又は動きベクトル用の参照ピクチャリスト（例えば、リスト０、リスト１、又はリストＣ）を記述し得る。

【0089】

[0087]１つ又は複数のＰＵを有するリーフＣＵはまた、１つ又は複数の変換単位（ＴＵ）を含み得る。変換単位は、上記で説明したように、（ＴＵ４分木構造とも呼ばれる）ＲＱＴを使用して指定され得る。例えば、分割フラグは、リーフＣＵが４つの変換単位に分割されるかどうかを示し得る。次いで、各変換単位は更に、更なるサブＴＵに分割され得る。ＴＵが更に分割されないとき、そのＴＵはリーフＴＵと呼ばれることがある。概して、イントラコード化の場合、リーフＣＵに属する全てのリーフＴＵは同じイントラ予測モードを共有する。即ち、一般に、リーフＣＵの全てのＴＵの予測値を計算するために同じイントラ予測モードが適用される。イントラコード化の場合、ビデオエンコーダは、イントラ予測モードを使用して各リーフＴＵの残差値をＴＵに対応するＣＵの一部と元のブロックとの間の差分として計算し得る。ＴＵは、必ずしもＰＵのサイズに制限されるとは限らない。従って、ＴＵはＰＵよりも大きく又は小さくなり得る。イントラコード化の場合、ＰＵは、同じＣＵの対応するリーフＴＵと同一位置に配置(collocated)され得る。幾つかの例では、リーフＴＵの最大サイズは、対応するリーフＣＵのサイズに対応し得る。

【0090】

[0088]更に、リーフＣＵのＴＵはまた、残差４分木（ＲＱＴ）と呼ばれる、それぞれの４分木データ構造に関連付けられ得る。即ち、リーフＣＵは、リーフＣＵがどのようにＴＵに区分されるかを示す４分木を含み得る。ＴＵ４分木のルートノードは概してリーフＣＵに対応し、ＣＵ４分木のルートノードは概してツリーブロック（又はＬＣＵ）に対応する。分割されないＲＱＴのＴＵはリーフＴＵと呼ばれる。概して、本開示では、特に明記しない限り、リーフＣＵ及びリーフＴＵに言及するためにそれぞれＣＵ及びＴＵという用語を使用する。本開示では、ＨＥＶＣのコンテキストにおけるＣＵ、ＰＵ、又はＴＵ、若しくは他の規格のコンテキストにおける同様のデータ構造（例えば、Ｈ．２６４／ＡＶＣにおけるマクロブロック及びそれのサブブロック）のいずれかを指すために「ブロック」という用語を使用する。

【0091】

[0089]一例として、ＨＭは、様々なＰＵサイズでの予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ＨＭは、２Ｎ×２Ｎ又はＮ×ＮのＰＵサイズでのイントラ予測をサポートし、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、又はＮ×Ｎの対称的なＰＵサイズでのインター予測をサポートする。ＨＭはまた、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、及びｎＲ×２ＮのＰＵサイズでのインター予測のための非対称区分をサポートする。非対称区分では、ＣＵの一方向は区分されないが、他の方向は２５％と７５％とに区分される。２５％の区分に対応するＣＵの部分は、「ｎ」とその後ろに付く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、又は「Ｒｉｇｈｔ」という表示によって示される。従って、例えば、「２Ｎ×ｎＵ」は、上部の２Ｎ×０．５Ｎ ＰＵと下部の２Ｎ×１．５Ｎ ＰＵとで水平方向に区分された２Ｎ×２Ｎ ＣＵを指す。

【0092】

[0090]本開示では、「Ｎ×Ｎ（NxN）」及び「Ｎ×Ｎ（N by N）」は、垂直寸法及び水平寸法に関するビデオブロックの画素寸法、例えば、１６×１６（16x16）画素又は１６×１６（16 by 16）画素を指すために交換可能に使用され得る。概して、１６×１６ブロックは、垂直方向に１６画素を有し（ｙ＝１６）、水平方向に１６画素を有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、概して、垂直方向にＮ画素を有し、水平方向にＮ画素を有し、ここで、Ｎは非負整数値を表す。ブロック内の画素は行と列に構成され得る。更に、ブロックは、必ずしも、水平方向において垂直方向と同じ数の画素を有する必要はない。例えば、ブロックはＮ×Ｍの画素を備える場合があり、ここで、Ｍは必ずしもＮに等しいとは限らない。

【0093】

[0091]ＣＵのＰＵを使用したイントラ予測コード化又はインター予測コード化の後、ビデオエンコーダ２０は、ＣＵのＴＵについての残差データを計算し得る。ＰＵは、（画素領域とも呼ばれる）空間領域において予測画素データを生成する方法又はモードを記述するシンタックスデータを備え得、ＴＵは、変換、例えば、残差ビデオデータへの離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、又は概念的に同様の変換の適用後に、変換領域において係数を備え得る。残差データは、符号化されていないピクチャの画素と、ＰＵに対応する予測値との間の画素差分に対応し得る。ビデオエンコーダ２０は、ＣＵのための残差データを含むＴＵを形成し、次いで、ＴＵを変換して、ＣＵの変換係数を生成し得る。

【0094】

[0092]変換係数を生成するための任意の変換の後に、ビデオエンコーダ２０は、変換係数の量子化を実行し得る。量子化は、一般に、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化されて、更なる圧縮を提供するプロセスを指す。量子化プロセスは、係数の一部又は全部に関連するビット深度を低減し得る。例えば、量子化中にｎビット値がｍビット値に切り捨てられ得、ここで、ｎはｍよりも大きい。

【0095】

[0093]量子化の後に、ビデオエンコーダは、変換係数を走査して、量子化変換係数を含む２次元行列から１次元ベクトルを生成し得る。走査は、より高いエネルギー（従ってより低い周波数）の係数をアレイの前方に配置し、より低いエネルギー（従ってより高い周波数）の係数をアレイの後方に配置するように設計され得る。幾つかの例では、ビデオエンコーダ２０は、エントロピー符号化され得るシリアル化ベクトルを生成するために、量子化変換係数を走査するために予め定義された走査順序を利用し得る。他の例では、ビデオエンコーダ２０は適応走査を実行し得る。量子化変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２０は、例えば、コンテキスト適応型可変長コード化（ＣＡＶＬＣ：context-adaptive variable length coding）、コンテキスト適応型バイナリ算術コード化（ＣＡＢＡＣ：context-adaptive binary arithmetic coding）、シンタックスベースコンテキスト適応型バイナリ算術コード化（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）、確率間隔区分エントロピー（ＰＩＰＥ：Probability Interval Partitioning Entropy）コード化、又は別のエントロピー符号化方法に従って、１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２０はまた、ビデオデータを復号する際にビデオデコーダ３０が使用するための符号化ビデオデータに関連するシンタックス要素をエントロピー符号化し得る。

【0096】

[0094]ＣＡＢＡＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルに、コンテキストモデル内のコンテキストを割り当て得る。コンテキストは、例えば、シンボルの隣接値が非０であるか否かに関係し得る。ＣＡＶＬＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルのための可変長コードを選択し得る。ＶＬＣにおけるコードワードは、比較的短いコードが優勢シンボルに対応し、より長いコードが劣勢シンボルに対応するように構成され得る。このようにして、ＶＬＣを使用すると、例えば、送信されるべき各シンボルのために等長コードワードを使用するよりも、ビット節約を実現し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。

【0097】

[0095]上記で説明したように、ビデオシーケンスは、決定されたビデオコード化構造に従ってコード化され得、ここで、コード化構造は、ビデオシーケンスを符号化するために使用されるピクチャタイプ（例えば、ＲＡＰピクチャ及び非ＲＡＰピクチャ）の割当てを定義する。例えば、ビデオシーケンスは、ビデオシーケンスのランダムアクセスを容易にするために、予め決定する間隔で含まれるＲＡＰピクチャとともに符号化され得る。そのようなコード化構造は、ブロードキャストアプリケーションのために有用であり得る。更に、ビデオシーケンスは、低遅延アプリケーションのための遅延を最小化するコード化構造に従って符号化され得る。コード化構造ユニット１９は、ビデオ発信源１８から受信されたビデオシーケンスを符号化するためにビデオエンコーダ２０によって使用されるべきコード化構造を決定するように構成され得る。一例では、コード化構造ユニット１９は、それぞれのビデオアプリケーションに対応する予め定義されたコード化構造を記憶し得る。コード化構造ユニット１９は、ビデオエンコーダ２０及びカプセル化ユニット２１の各々に特定のコード化構造を示す情報を出力するように構成され得る。ビデオエンコーダ２０は、ビデオ発信源１８からビデオシーケンスを受信し、コード化構造ユニット１９からコード化構造情報を受信し、符号化ビデオデータを生成する。カプセル化ユニット２１は、ビデオエンコーダ２０から符号化ビデオデータを受信し、特定のコード化構造を示す情報を受信し、アクセス単位を含むコード化ビデオシーケンスを生成する。逆カプセル化ユニット２９は、コード化ビデオシーケンスを受信し、アクセス単位とＮＡＬ単位とを構文解析するように構成され得る。ビデオデコーダ３０は、ＮＡＬ単位を受信し、受信されたＮＡＬ単位中に含まれる情報に基づいてビデオデータを再構成するように構成され得る。

【0098】

[0096]コード化構造ユニット１９及び／又はビデオエンコーダ２０がパラメータセット中に含まれるシンタックス要素を生成するように構成され得ることに留意されたい。幾つかの例では、コード化構造ユニット１９は、ＳＰＳなど、高レベルパラメータセット中に含まれるシンタックス要素を生成するように構成され得、ビデオエンコーダ２０は、コード化単位構造から受信されたシンタックス要素に基づいてビデオ符号化を実行し、及び符号化ビデオデータの一部としてエントロピー符号化シンタックス要素を出力するように構成され得る。

【0099】

[0097]本開示の技法によれば、ＮＡＬ単位タイプの割当ては、宛先機器１４などの機器が、ＲＡＰピクチャと関連するタイミング情報とを容易に識別することができるような形で実行され得る。一例では、関連する先行ピクチャのないＩＤＲピクチャは、関連する先行ピクチャを有し得るＩＤＲピクチャとは別個のＮＡＬ単位タイプを有する。例えば、関連する先行ピクチャのないＩＤＲピクチャは、ＮＡＬ単位タイプＭを有し、一方、関連する先行ピクチャを有し得るＩＤＲピクチャは、ＮＡＬ単位タイプＮを有し、但し、表４に示すように、Ｍは、Ｎに等しくない。表４に示す例では、ＩＤＲピクチャに関連する先行ピクチャはＤＬＰピクチャであり得ることに留意されたい。一例では、表４に示すＮＡＬ単位タイプは、表２に示すＨＥＶＣ ＷＤ７ ＮＡＬ単位タイプコード及びＮＡＬ単位タイプクラスに組み込まれ得る。例えば、表２中の反転されたＮＡＬ単位タイプ値は、表４中のＮＡＬ単位タイプＭ及びＮのために使用され得る。

【表4】

【0100】

[0098]別の例では、関連する先行ピクチャのないＣＲＡピクチャは、関連する先行ピクチャを有し得るＣＲＡピクチャとは異なる別個のＮＡＬ単位タイプを有する。更に、関連するＴＦＤピクチャのないＣＲＡピクチャは、関連するＴＦＤピクチャを有し得るＣＲＡピクチャとは異なる別個のＮＡＬ単位を有する。従って、表５に示すように、３つの異なるＮＡＬ単位タイプが異なるタイプのＣＲＡピクチャのために使用され得る。一例では、表５に示すＮＡＬ単位タイプは、表２に示すＨＥＶＣ ＷＤ７ ＮＡＬ単位タイプコード及びＮＡＬ単位タイプクラスに組み込まれ得る。例えば、表１中の反転されたＮＡＬ単位タイプ値は、表５中のＮＡＬ単位タイプＸ、Ｙ、及びＺのために使用され得る。

【表5】

【0101】

[0099]別の例では、関連する先行ピクチャのないＢＬＡピクチャは、関連する先行ピクチャを有し得るＢＬＡピクチャとは異なる別個のＮＡＬ単位タイプを有し得る。更に、関連するＴＦＤピクチャのないＢＬＡピクチャは、関連するＴＦＤピクチャを有し得るＢＬＡピクチャとは異なる別個のＮＡＬ単位を有し得る。従って、表６に示すように、３つの異なるＮＡＬ単位タイプが異なるタイプのＢＬＡのために使用され得る。一例では、表６に示すＮＡＬ単位タイプは、表２に示すＨＥＶＣ ＷＤ７ ＮＡＬ単位タイプコード及びＮＡＬ単位タイプクラスに組み込まれ得る。例えば、表２中の反転されたＮＡＬ単位タイプ値は、表６中のＮＡＬ単位タイプＡ、Ｂ、及びＣのために使用され得る。

【表6】

【0102】

[0100]表４〜表６に関して説明したＮＡＬ単位タイプの任意の及び全ての組合せがＮＡＬ単位タイプの割当てのために使用され得る。一例では、表４〜表６に関して説明したＮＡＬ単位タイプの全てがＮＡＬ単位タイプの割当てのために使用され得る。表７に、ＮＡＬ単位タイプの割当てのために表４〜表６に示したＮＡＬタイプの全てが使用される一例を示す。表７に示すように、ＮＡＬ単位タイプインは、表４〜表６に関して説明したＣＲＡピクチャ、ＢＬＡピクチャ、及びＩＤＲピクチャのＮＡＬ単位タイプ、並びに、上記で説明したＶＰＳ、ＳＰＳ、ＰＰＳ、及びＡＰＳのＮＡＬ単位タイプを含む。表７中に与えられるＮＡＬ単位タイプの割当ては、ＩＤＲピクチャ、ＣＲＡピクチャ及びＢＬＡピクチャの複数のＮＡＬ単位タイプを含むが、表１中で与えられたＮＡＬ単位タイプの割当ては、ＩＤＲピクチャ、ＣＲＡピクチャ及びＢＬＡピクチャの各々に単一のＮＡＬ単位タイプを含むという点で、表７は上記の表２とは対照的であり得る。

【表7A】

【表7B】

【0103】

[0101]カプセル化ユニット２１は、ビデオエンコーダ２０から符号化ビデオデータを受信し、特定のコード化構造を示す情報を受信し、表２〜表７に示すＮＡＬ単位割当ての組合せのいずれか及び全てに示すＮＡＬ単位タイプの割当てに基づいて、アクセス単位を含むコード化ビデオシーケンスを生成するように構成され得る。更に、逆カプセル化ユニット２９は、コード化ビデオシーケンスを受信し、アクセス単位とＮＡＬ単位とを構文解析するように構成され得、ここで、ＮＡＬ単位は、表２〜表７に示すＮＡＬ単位割当ての組合せのいずれか及び全てに基づいて割り振られる。

【0104】

[0102]上記で説明したように、ＨＥＶＣ ＷＤ７によれば、現在のピクチャタイミングＳＥＩメッセージ及び機構が、サブピクチャ遅延を達成するために、ＡＵレベルとＤＵレベルの両方のＨＲＤ ＣＰＢ除去を同時に可能にするために、ＤＵは、ＡＵ全体が符号化される前に送出される必要があり、ＡＵレベルのＳＥＩメッセージは、ＡＵ全体が符号化される前にまだ送出され得ない。本開示の技法によれば、カプセル化ユニット２１及び逆カプセル化ユニット２９は、サブピクチャレベル又は復号単位レベルのＨＲＤ挙動がＨＥＶＣ ＷＤ７と比較して変更され得るように構成され得る。

【0105】

[0103]例えば、カプセル化ユニット２１は、ＡＵ全体が符号化された後にＡＵレベルＳＥＩメッセージが送られるように構成され得る。そのようなＡＵレベルＳＥＩメッセージは、別個のＮＡＬ単位タイプのＳＥＩ ＮＡＬ単位中に含まれ得る。そのようなＳＥＩ ＮＡＬ単位と、例えば、ＨＥＶＣ ＷＤ７において定義されている、ＳＥＩ ＮＡＬ単位の既存の定義との間の１つの差異は、この別個のＳＥＩ ＮＡＬ単位タイプが、許可され、復号順序で同じＡＵ中の最後のＶＣＬ ＮＡＬ単位の後にき得、それが復号順序で同じＡＵ中の第１のＶＣＬ ＮＡＬ単位に先行しないように制約され得ることである。従来のＳＥＩ ＮＡＬ単位及びＳＥＩメッセージは、それぞれ、プレフィックスＳＥＩ ＮＡＬ単位及びプレフィックスＳＥＩメッセージと呼ばれることがあり、一方、本明細書で説明する別個のＳＥＩ ＮＡＬ単位及びＳＥＩメッセージは、それぞれ、サフィックスＳＥＩ ＮＡＬ単位及びサフィックスＳＥＩメッセージと呼ばれることがある。

【0106】

[0104]表２〜表７に示すＮＡＬ単位割当ての任意の及び全ての組合せに基づいてコード化ビデオシーケンスを生成するように構成されることに加えて、カプセル化ユニット２１は、プレフィックスＳＥＩ ＮＡＬ単位とサフィックスＳＥＩ ＮＡＬ単位とを含むコード化ビデオシーケンスを生成するように構成され得る。同様に、逆カプセル化ユニット２９は、コード化ビデオシーケンスを受信し、アクセス単位とＮＡＬ単位とを構文解析するように構成され得、ここで、ＮＡＬ単位は、プレフィックスＳＥＩ ＮＡＬ単位タイプとサフィックスＳＥＩ ＮＡＬ単位タイプとを含む。即ち、逆カプセル化ユニット２９は、アクセス単位からサフィックスＳＥＩ ＮＡＬ単位を抽出するように構成され得る。表８に、ＮＡＬ単位タイプ、及びプレフィックスＳＥＩ ＮＡＬ単位タイプ並びにサフィックスＳＥＩ ＮＡＬ単位の割当てのために表４〜表６に示したＮＡＬタイプの全てが使用される一例を示す。

【表8A】

【表8B】

【0107】

[0105]上記で説明したように、ＳＥＩ ＮＡＬ単位に加えて、非ＶＣＬ ＮＡＬ単位タイプは、ＶＰＳ単位と、ＳＰＳ単位と、ＰＰＳ単位と、ＡＰＳ ＮＡＬ単位とを含む。ＨＥＶＣ ＷＤ７における定義されたパラメータセットタイプによれば、各ＳＰＳはＶＰＳ ＩＤを参照し、各ＰＰＳはＳＰＳ ＩＤを参照し、各スライスヘッダは、ＰＰＳ ＩＤ参照し、場合によっては、ＡＰＳ ＩＤを参照する。ビデオエンコーダ２０及び／又はコード化構造ユニット１９は、ＨＥＶＣ ＷＤ７における定義されたパラメータセットに従ってパラメータセットを生成するように構成され得る。更に、ビデオエンコーダ２０及び／又はコード化構造ユニット１９はパラメータセットを生成するように構成され得、ここで、ＶＰＳ ＩＤ及びＳＰＳ ＩＤ（例えば、ＶＰＳ ＩＤがＳＰＳ ＩＤに先行する）は、スライスヘッダ中で随意に信号伝達され得る。ＶＰＳ ＩＤ及びＳＰＳ ＩＤがスライスヘッダ中で信号伝達される一例では、ＶＰＳ ＩＤはＳＰＳに位置しないことになり、ＳＰＳ ＩＤはＰＰＳに位置しないことになる。更に、一例では、ＶＰＳ ＩＤ及びＳＰＳ ＩＤは、各ＲＡＰピクチャのスライスヘッダ中に存在し得、各ピクチャは、回復点ＳＥＩメッセージに関連付けられ得る。更に、他の例では、ＶＰＳ ＩＤ及びＳＰＳ ＩＤは、他のピクチャのためのスライスヘッダ中に存在し得る。

【0108】

[0106]図４は、本開示で説明する技法を実装し得る例示的なカプセル化ユニットを示すブロック図である。図４に示す例では、カプセル化ユニット２１は、ＶＣＬ ＮＡＬ単位コンストラクタ４０２と、非ＶＣＬ ＮＡＬ単位コンストラクタ４０４と、アクセス単位コンストラクタ４０６と、ビットストリーム出力するインターフェース４０８とを含む。カプセル化ユニット２１は、符号化ビデオデータと高レベルシンタックスとを受信し、符号化ビデオビットストリームを出力する。符号化ビデオデータは、スライスに関連する残差ビデオデータとシンタックスデータとを含み得る。高レベルシンタックスデータは、例えば、パラメータセット中に含まれるシンタックス要素、ＳＥＩメッセージ、又は次回のＨＥＶＣ規格などのビデオコード化規格によって定義される他のシンタックス要素を含み得る。符号化ビデオビットストリームは、１つ又は複数のコード化ビデオシーケンスを含み得、概して、次回のＨＥＶＣ規格などのビデオコード化規格に準拠し得る。上記で説明したように、ＶＣＬ ＮＡＬ単位は、ビデオデータのスライスを含む。ＶＣＬ ＮＡＬ単位コンストラクタ４０２は、符号化ビデオデータのスライスを受信し、スライスを含むピクチャのタイプに基づいてＶＣＬ ＮＡＬ単位を生成するように構成され得る。ＶＣＬ ＮＡＬ単位コンストラクタ４０２は、表２〜表８に関して上記で説明したＮＡＬ割当ての任意の及び全ての組合せに従ってＶＣＬ ＮＡＬ単位を生成するように構成され得る。ＶＣＬ ＮＡＬ単位コンストラクタ４０２は、ＶＣＬ ＮＡＬ単位中にヘッダを含めるように構成され得、ここで、ヘッダは、ＶＣＬ ＮＡＬ単位のタイプを識別する。

【0109】

[0107]例えば、ＶＣＬ ＮＡＬ単位コンストラクタ４０２は、ＩＤＲピクチャ中に含まれるビデオデータのスライスを受信し、（１）ＩＤＲピクチャが、関連する先行ピクチャを有しない場合は、ＩＤＲピクチャが先行ピクチャを有しないことを示すタイプのＮＡＬ単位中にビデオデータのスライスをカプセル化するか、又は（２）ＩＤＲピクチャが関連する先行ピクチャを有する場合は、ＩＤＲピクチャが先行ピクチャを有することを示すタイプのＮＡＬ単位中にビデオデータのスライスをカプセル化するように構成され得る。ＶＣＬ ＮＡＬ単位コンストラクタ４０２は、ＣＲＡピクチャ中に含まれるビデオ日付のスライスを受信し、（１）ＣＲＡピクチャが、関連する先行ピクチャを有しない場合は、ＣＲＡピクチャが先行ピクチャを有しないことを示すタイプのＮＡＬ単位中にビデオデータのスライスをカプセル化するか、又は（２）ＣＲＡピクチャが関連する先行ピクチャを有する場合は、ＣＲＡピクチャが先行ピクチャを有することを示すタイプのＮＡＬ単位中にビデオデータのスライスをカプセル化するように構成され得る。更に、ＣＲＡピクチャに関連する先行ピクチャがＴＦＤピクチャである場合、ＶＣＬ ＮＡＬ単位コンストラクタ４０２は、ＣＲＡピクチャに関連する先行ピクチャがＴＦＤであることを示すタイプのＮＡＬ単位中にビデオデータのスライスをカプセル化するように構成され得る。

【0110】

[0108]更に、ＣＲＡピクチャに関連する先行ピクチャがＴＦＤピクチャでない場合、ＶＣＬ ＮＡＬ単位コンストラクタ４０２は、ＣＲＡピクチャに関連する先行ピクチャがＴＦＤでないことを示すタイプのＮＡＬ単位中にビデオ日付のスライスをカプセル化するように構成され得る。更に、ＶＣＬ ＮＡＬ単位コンストラクタ４０２は、ＢＬＡピクチャ中に含まれるビデオ日付のスライスを受信し、（１）ＢＬＡピクチャが、関連する先行ピクチャを有しない場合は、ＢＬＡピクチャが先行ピクチャを有しないことを示すタイプのＮＡＬ単位中にビデオデータのスライスをカプセル化するか、又は（２）ＢＬＡピクチャが関連する先行ピクチャを有する場合は、ＢＬＡピクチャが先行ピクチャを有することを示すタイプのＮＡＬ単位中にビデオデータのスライスをカプセル化するように構成され得る。更に、ＢＬＡピクチャに関連する先行ピクチャがＴＦＤピクチャである場合、ＶＣＬ ＮＡＬ単位コンストラクタ４０２は、ＢＬＡピクチャに関連する先行ピクチャがＴＦＤであることを示すタイプのＮＡＬ単位中にビデオデータのスライスをカプセル化するように構成され得る。更に、ＢＬＡピクチャに関連する先行ピクチャがＴＦＤピクチャでない場合、ＶＣＬ ＮＡＬ単位コンストラクタ４０２は、ＢＬＡピクチャに関連する先行ピクチャがＴＦＤでないことを示すタイプのＮＡＬ単位中にビデオ日付のスライスをカプセル化するように構成され得る。

【0111】

[0109]図５は、本開示の技法による、ＶＣＬ ＮＡＬ単位を生成する一例を示すフローチャートである。図５に示すＶＣＬ ＮＡＬ単位を生成する例は、ＶＣＬ ＮＡＬ単位コンストラクタ４０２によって実行されるものとして説明するが、発信源機器１２、ビデオエンコーダ２０、カプセル化ユニット２１、及びそれらの構成要素の組合せの任意の組合せが、図５に示すＶＣＬ ＮＡＬ単位を生成する例を実行し得る。図５に示すように、ＶＣＬ ＮＡＬ単位コンストラクタ４０２は、ビデオデータのスライスを受信する（５０２）。ビデオデータのスライスは、本明細書で説明する符号化技法のいずれかに従って符号化される符号化ビデオデータであり得る。ビデオデータのスライスは、本明細書で説明するピクチャタイプのうちの１つ中に含まれ得る。ＶＣＬ ＮＡＬ単位コンストラクタ４０２は、ビデオデータのスライスがＩＤＲピクチャ中に含まれるのか、又はＣＲＡピクチャ中に含まれるのかを決定する（５０４）。

【0112】

[0110]ビデオデータのスライスがＩＤＲピクチャ中に含まれる場合（５０４の「ＩＤＲ」分岐）、ＶＣＬ ＮＡＬ単位コンストラクタ４０２は、ＩＤＲピクチャが関連する先行ピクチャを有するかどうかを決定する（５０６）。ＩＤＲピクチャが関連する先行ピクチャを有しない場合（５０６の「いいえ」分岐）、ＶＣＬ ＮＡＬ単位コンストラクタ４０２は、ＩＤＲピクチャが関連する先行ピクチャを有しないことを示すＶＣＬ ＮＡＬ単位を生成する（５０８）。ＩＤＲピクチャが関連する先行ピクチャを有する場合（５０６の「はい」分岐）、ＶＣＬ ＮＡＬ単位コンストラクタ４０２は、ＩＤＲピクチャが関連する先行ピクチャを有することを示すＶＣＬ ＮＡＬ単位を生成する（５１０）。

【0113】

[0111]ビデオデータのスライスがＣＲＡピクチャ中に含まれる場合、ＶＣＬ ＮＡＬ単位コンストラクタ４０２は、ＣＲＡピクチャが関連する先行ピクチャを有するかどうかを決定する（５１２）。ＣＲＡピクチャが関連する先行ピクチャを有しない場合（５１２の「いいえ」分岐）、ＶＣＬ ＮＡＬ単位コンストラクタ４０２は、ＣＲＡピクチャが関連する先行ピクチャを有しないことを示すＶＣＬ ＮＡＬ単位を生成する（５１４）。ＣＲＡピクチャが関連する先行ピクチャを有する場合（５１２の「はい」分岐）、ＶＣＬ ＮＡＬ単位コンストラクタ４０２は、関連する先行ピクチャがＴＦＤピクチャであるかどうかを決定する（５１６）。

【0114】

[0112]ＣＲＡピクチャの関連する先行ピクチャがＴＦＤピクチャである場合（５１６の「はい」分岐）、ＶＣＬ ＮＡＬ単位コンストラクタ４０２は、ＣＲＡの関連する先行ピクチャがＴＦＤピクチャであることを示すＶＣＬ ＮＡＬ単位を生成する（５１８）。ＢＬＡピクチャの関連する先行ピクチャがＴＦＤピクチャでない場合（５１６の「いいえ」分岐）、ＶＣＬ ＮＡＬ単位コンストラクタ４０２は、関連する先行ピクチャがＴＦＤピクチャでないことを示すことのためのＶＣＬ ＮＡＬ単位を生成する（５２０）。

【0115】

[0113]ＶＣＬ ＮＡＬ単位コンストラクタ４０２は、ＮＡＬ単位中にスライスデータをカプセル化し、ＮＡＬ単位ヘッダ中にＮＡＬ単位タイプ値を含めることによってＮＡＬ単位を生成し得る。各ＮＡＬ単位タイプ値は、それぞれのＮＡＬ単位タイプに対応し得る。一例では、ＮＡＬ単位タイプ値は表７に従って定義され得る。生成されたＮＡＬ単位は、アクセス単位に含めるためにアクセス単位コンストラクタ４０６にＮＡＬ単位コンストラクタ４０２によって出力され得る（５２２）。

【0116】

[0114]このようにして、カプセル化ユニット２１は、ビデオデータを含むビットストリームを生成するための機器の一例を表し、本機器は、ランダムアクセスポイント（ＲＡＰ）ピクチャが、関連する先行ピクチャを有することができるタイプのものであるかどうかと、ＲＡＰピクチャが、瞬時デコーダリフレッシュ（ＩＤＲ）ピクチャを備えるのか又はクリーンランダムアクセス（ＣＲＡ）ピクチャを備えるのかとを決定することと、ネットワークアブストラクションレイヤ（ＮＡＬ）単位中にＲＡＰピクチャのスライスをカプセル化することと、ここにおいて、ＮＡＬ単位は、ＲＡＰピクチャが、関連する先行ピクチャを有することができるタイプのものであるかどうかを示すＮＡＬ単位タイプ値を含む、ＮＡＬ単位を含むビットストリームを生成することとを行うように構成されたプロセッサを含む。

【0117】

[0115]同様に、図５の方法は、ビデオデータを含むビットストリームを生成する方法の一例を表し、本方法は、ランダムアクセスポイント（ＲＡＰ）ピクチャが、関連する先行ピクチャを有することができるタイプのものであるかどうかと、ＲＡＰピクチャが、瞬時デコーダリフレッシュ（ＩＤＲ）ピクチャを備えるのか又はクリーンランダムアクセス（ＣＲＡ）ピクチャを備えるのかとを決定することと、ネットワークアブストラクションレイヤ（ＮＡＬ）単位中にＲＡＰピクチャのスライスをカプセル化することと、ここにおいて、ＮＡＬ単位は、ＲＡＰピクチャが、関連する先行ピクチャを有することができるタイプのものであるかどうかを示すＮＡＬ単位タイプ値を含む、ＮＡＬ単位を含むビットストリームを生成することとを含む。

【0118】

[0116]再び図４を参照すると、非ＶＣＬ ＮＡＬ単位コンストラクタ４０４は、上記で説明したように、パラメータセット及びＳＥＩメッセージ中に含まれるシンタックス要素などの高レベルシンタックス要素を受信し、表２〜表８に関して上記で説明したＮＡＬ単位割当ての任意の及び全ての組合せに基づいて非ＶＣＬ ＮＡＬ単位を生成するように構成され得る。非ＶＣＬ ＮＡＬ単位コンストラクタ４０４は、ＮＡＬ単位中にシンタックスデータをカプセル化し、ＮＡＬ単位ヘッダ中にＮＡＬ単位タイプ値を含めることによって非ＶＣＬ ＮＡＬ単位を生成するように構成され得る。例えば、非ＶＣＬ ＮＡＬコンストラクタは、パラメータセット中に含められたシンタックス要素を受信し、ＮＡＬ単位ヘッダ中にパラメータセットタイプを示すＮＡＬ単位タイプ値を含めるように構成され得る。

【0119】

[0117]更に、非ＶＣＬ ＮＡＬ単位コンストラクタ４０４は、ＡＵレベルＳＥＩメッセージを受信し、ＳＥＩメッセージＮＡＬ単位を生成するように構成され得る。一例では、非ＶＣＬ ＮＡＬ単位コンストラクタ４０４は、２つのタイプのＳＥＩメッセージＮＡＬ単位を生成するように構成され得、ここで、第１のタイプのＳＥＩ ＮＡＬ単位は、そのようなＳＥＩ ＮＡＬ単位が復号順序でアクセス単位中の最後のＶＣＬ ＮＡＬ単位の後に続き得ることを示し、第２のタイプのＳＥＩ ＮＡＬ単位は、そのようなＳＥＩ ＮＡＬ単位が復号順序でアクセス単位中の最後のＶＣＬ ＮＡＬ単位の後に続きき得ないことを示す。更に、第１のタイプのＳＥＩ ＮＡＬは、それが、復号順序で同じアクセス単位中の第１のＶＣＬ ＮＡＬ単位に先行することができないように制約され得る。第１のタイプのＮＡＬ単位は、サフィックスＳＥＩ ＮＡＬ単位と呼ばれ、第２のタイプのＮＡＬ単位は、プレフィックスＳＥＩ ＮＡＬ単位と呼ばれる。非ＶＣＬ ＮＡＬ単位コンストラクタ４０４は、アクセス単位コンストラクタ４０６に非ＶＣＬ ＮＡＬ単位を出力する。

【0120】

[0118]アクセス単位コンストラクタ４０６は、ＶＣＬ ＮＡＬ単位と非ＶＣＬ ＮＡＬ単位とを受信し、アクセス単位を生成するように構成され得る。アクセス単位コンストラクタ４０６は、表２〜表８において定義されている任意のタイプのＮＡＬ単位を受信し得る。ＶＣＬ−アクセス単位コンストラクタ４０６は、本明細書で説明するＮＡＬ単位タイプの任意の及び全ての組合せに基づいてアクセス単位を生成するように構成され得る。上記で説明したように、ＨＥＶＣ ＷＤ７によれば、アクセス単位は、復号順序で連続し、１つのコード化ピクチャを含んでいるＮＡＬ単位のセットである。従って、アクセス単位コンストラクタ４０６は、複数のＮＡＬ単位を受信し、復号順序に従って複数のＮＡＬ単位を構成するように構成され得る。更に、アクセス単位コンストラクタ４０６は、サフィックスＳＥＩ ＮＡＬ単位がアクセス単位中の最後のＶＣＬ ＮＡＬ単位の後にくるように、及び／又は同じアクセス単位中の第１のＶＣＬ ＮＡＬ単位に先行しないように、上記で説明したように、サフィックスＳＥＩ ＮＡＬ単位を構成するように構成され得る。

【0121】

[0119]図６は、本開示の技法による、非ＶＣＬ ＮＡＬ単位を生成する一例を示すフローチャートである。図６に示す非ＶＣＬ ＮＡＬ単位を生成する例は、非ＶＣＬ ＮＡＬ単位コンストラクタ４０４とアクセス単位コンストラクタ４０６とによって実行されるものとして説明するが、発信源機器１２、ビデオエンコーダ２０、カプセル化ユニット２１、及びそれらの構成要素の組合せの任意の組合せが、図６に示す非ＶＣＬ ＮＡＬ単位を生成する例を実行し得る。

【0122】

[0120]図６に示すように、非ＶＣＬ ＮＡＬ単位コンストラクタ４０４は、ＳＥＩメッセージを受信する（６０２）。ＳＥＩメッセージは、表１に関して上記で説明した任意のタイプのＳＥＩメッセージであり得る。非ＶＣＬ ＮＡＬ単位コンストラクタ４０４は、ＳＥＩメッセージがプレフィックスＳＥＩメッセージであるのか、又はサフィックスＳＥＩメッセージであるのかを決定する（６０４）。

【0123】

[0121]ＳＥＩメッセージがサフィックスＳＥＩメッセージである場合（６０４の「サフィックス」分岐）、非ＶＣＬ ＮＡＬ単位コンストラクタ４０４は、ＳＥＩ ＮＡＬ単位がサフィックスＳＥＩメッセージであることを示す、ＳＥＩ ＮＡＬ単位のタイプ値を生成する（６０６）。ＳＥＩメッセージがプレフィックスＳＥＩメッセージである場合（６０４の「プレフィックス」分岐）、非ＶＣＬ ＮＡＬ単位コンストラクタ４０４は、ＳＥＩ ＮＡＬ単位が従来のＳＥＩメッセージであることを示す、ＳＥＩ ＮＡＬ単位のタイプ値を生成する（６０８）。

【0124】

[0122]アクセス単位コンストラクタ４０６は、表２〜表８に関して上記で説明したＮＡＬ単位のタイプの任意の組合せを含み得る生成されたＮＡＬ単位を受信する（６１０）。アクセス単位コンストラクタ４０６は、受信されたＮＡＬ単位を含むアクセス単位を生成する（６１２）。生成されたアクセス単位がサフィックスＳＥＩ ＮＡＬ単位を含む場合、アクセス単位のＮＡＬ単位は、サフィックスＳＥＩ ＮＡＬが、同じアクセス単位中の第１のＶＣＬ ＮＡＬ単位に先行しないが、復号順序でアクセス単位中の最後のＶＣＬ ＮＡＬ単位の後に続き得るように構成され得る。

【0125】

[0123]このようにして、カプセル化ユニット２１は、補足拡張情報（ＳＥＩ）メッセージがプレフィックスＳＥＩメッセージであるのか又はサフィックスＳＥＩメッセージであるのかを決定することと、ここにおいて、ＳＥＩメッセージが、符号化ビデオデータに関係するデータを含む、ＳＥＩ ＮＡＬ単位中にＳＥＩメッセージをカプセル化することと、ここにおいて、ＳＥＩ ＮＡＬ単位は、ＳＥＩ ＮＡＬ単位がプレフィックスＳＥＩ ＮＡＬ単位であるのか又はサフィックスＳＥＩ ＮＡＬ単位であるのかと、ＳＥＩメッセージがプレフィックスＳＥＩメッセージであるのか又はサフィックスＳＥＩメッセージであるのかとを示すＮＡＬ単位タイプ値を含む、ＳＥＩ ＮＡＬ単位を少なくとも含むビットストリームを生成することとを行うように構成されたプロセッサの一例を表す。

【0126】

[0124]同様に、図６の方法は、ビデオデータを含むビットストリームを生成する方法の一例を表し、本方法は、補足拡張情報（ＳＥＩ）メッセージがプレフィックスＳＥＩメッセージであるのか又はサフィックスＳＥＩメッセージであるのかを決定することと、ここにおいて、ＳＥＩメッセージが、符号化ビデオデータに関係するデータを含む、ＳＥＩ ＮＡＬ単位中にＳＥＩメッセージをカプセル化することと、ここにおいて、ＳＥＩ ＮＡＬ単位は、ＳＥＩ ＮＡＬ単位がプレフィックスＳＥＩ ＮＡＬ単位であるのか又はサフィックスＳＥＩ ＮＡＬ単位であるのかと、ＳＥＩメッセージがプレフィックスＳＥＩメッセージであるのか又はサフィックスＳＥＩメッセージであるのかとを示すＮＡＬ単位タイプ値を含む、ＳＥＩ ＮＡＬ単位を少なくとも含むビットストリームを生成することとを含む。

【0127】

[0125]再び図４を参照すると、ビットストリーム出力インターフェース４０８は、アクセス単位を受信し、コード化ビデオシーケンスを生成するように構成され得る。ビットストリーム出力インターフェース４０８は、更に、符号化ビデオビットストリームの一部としてコード化ビデオシーケンスを出力するように構成され得、ここで、符号化ビデオビットストリームは、本明細書で説明するＮＡＬ単位タイプの任意の及び全ての組合せに基づいて１つ又は複数のコード化ビデオシーケンスを含む。上記で説明したように、ＨＥＶＣ ＷＤ７によれば、コード化ビデオシーケンスは、復号順序で連続するアクセス単位のセットである。従って、ビットストリーム出力インターフェース４０８は、複数のアクセス単位を受信し、復号順序に従って複数のアクセス単位を構成するように構成され得る。

【0128】

[0126]上記で説明したように、コード化構造ユニット１９及び／又はビデオエンコーダ２０は、ＨＥＶＣ ＷＤ７に規定されているように、ＳＰＳ中に含まれ得る、ＶＵＩパラメータのセット中に含まれ得るｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇシンタックス要素を含むパラメータセット中に含まれるシンタックス要素を生成するように構成され得る。更に、コード化構造ユニット１９及び／又はビデオエンコーダ２０は、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇシンタックス要素を生成するように構成され得、ここで、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇシンタックス要素は、ＨＥＶＣ ＷＤ７に規定されているセマンティクスから変更されたセマンティクスを含む。例えば、ＨＥＶＣ ＷＤ７におけるｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇの現在のセマンティクスによれば、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇが１に等しくなるとき、出力順序で連続する２つのピクチャのプレゼンテーション時間の間の差がクロック単位に等しくなることが必要とされ得る。しかしながら、これは、時間スケーラビリティに基づくストリーミング適応のために幾つかの最高時間レイヤが破棄されるときにｔｉｍｅ＿ｓｃａｌｅ又はｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋのいずれかの値の変更を必要とすることになる。

【0129】

[0127]一例では、デルタ（即ち、出力順序で連続する２つのピクチャのプレゼンテーション時間の間の差）がクロック単位(clock tick)に正確に等しくなることを必要とする代わりに、デルタは、整数個の（１つ又は複数の）クロック単位であることが必要とされ得る。このようにして、コード化構造ユニット１９及び／又はビデオエンコーダ２０は、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇが１に等しくなるとき、出力順序で連続する２つのピクチャのプレゼンテーション時間の間の差がクロック単位の整数に等しくなることが必要とされるようにｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇシンタックス要素を生成するように構成され得る。

【0130】

[0128]別の例では、コード化構造ユニット１９及び／又はビデオエンコーダ２０は、各時間レイヤのｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇを信号伝達する必要があり得る。更に、この例では、特定の時間レイヤのｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇが１に等しくなる場合、即ち、時間レイヤ表現が、一定のピクチャレートを有する場合、値Ｎが信号伝達され得、時間レイヤ表現の（出力順序で連続する２つのピクチャのプレゼンテーション時間の間の）デルタが、Ｎ個のクロック単位に等しくなり得る。

【0131】

[0129]別の例では、コード化構造ユニット１９及び／又はビデオエンコーダ２０は、各時間レイヤのｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇを随意に信号伝達するように構成され得る。この例では、特定のレイヤのｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇが存在し、１に等しくなる場合、即ち、時間レイヤ表現が、一定のピクチャレートを有する場合、値Ｎが信号伝達され得、時間レイヤ表現の（出力順序で連続する２つのピクチャのプレゼンテーション時間の間の）デルタが、Ｎ個のクロック単位に等しくなる。ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇが時間レイヤごとに随意に信号伝達される場合、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇが最高時間レイヤのために信号伝達され、値が１に等しくなると仮定すると、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇが信号伝達されない各特定の時間レイヤについて、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇの値が、最高時間レイヤ）のために信号伝達されたｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇに等しくなるように導出され得、Ｎの値が、２^{max_Tid-currTid}に等しくなるように導出され、但し、ｍａｘ＿Ｔｉｄは、最高ｔｅｍｐｏｒａｌ＿ｉｄ値に等しくなり、ｃｕｒｒＴｉｄは、特定の時間レイヤのｔｅｍｐｏｒａｌ＿ｉｄに等しくなる。

【0132】

[0130]図７は、プレゼンテーション時間デルタ値を信号伝達する一例を示すフローチャートである。図７に示すプレゼンテーション時間デルタ値を信号伝達する例は、カプセル化ユニット２１によって実行されるものとして説明するが、発信源機器１２、ビデオエンコーダ２０、カプセル化ユニット２１、及びそれらの構成要素の組合せの任意の組合せが、図７に示すプレゼンテーション時間デルタ値を信号伝達する例を実行し得る。

【0133】

[0131]図７の例に示すように、エンカプルセイションユニット２１は、第１のピクチャのプレゼンテーション時間（例えば、ＰＯＣ値）と第２のピクチャのプレゼンテーション時間との間のデルタがクロック単位値の整数であるかどうかを示すフラグを生成する（７０２）。言い換えれば、カプセル化ユニット２１は、第１のピクチャのプレゼンテーション時間と第２のピクチャのプレゼンテーション時間との間の差（例えば、デルタ）がクロック単位値の整数倍であるかどうかを示すデータを生成し得る。図７において説明するフラグは、そのような生成されたデータの例を表す。場合によっては、カプセル化ユニット２１は、コード化構造ユニット１９又はビデオエンコーダ２０からフラグの値を受信し得る。フラグは、上記で説明したｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇシンタックス要素のいずれかであり得る。

【0134】

[0132]一例では、カプセル化ユニット２１は、デルタがクロック単位値の整数であることをフラグの値が示し得るかどうかを決定する（７０４）。デルタがクロック単位の整数値であることをフラグが示すとき（７０４の「はい」分岐）、カプセル化ユニット２１は、クロック単位値の整数倍を表す整数値Ｎを生成し得る（７０６）。整数値Ｎは、デルタ値を決定するために宛先機器１４などの復号機器によって使用され得、ここで、デルタは、クロック単位値の整数倍である。一例では、整数値Ｎは、０〜２０４７の値であり得、デルタが等しくなるクロックの整数よりも１小さい値を示し得る。カプセル化ユニット２１は、次いで、ビットストリームの一部としてフラグと整数値Ｎとを出力し得る（７０８）。

【0135】

[0133]一方、デルタ値がクロック単位の整数倍でないことをフラグが示すとカプセル化ユニット２１が決定するとき（７０４の「いいえ」分岐）、カプセル化ユニット２１は、単に、フラグを出力し得る（７１０）。

【0136】

[0134]このようにして、発信源機器１２は、別の例では、第１のピクチャのプレゼンテーション時間と第２のピクチャのプレゼンテーション時間との間の差がクロック単位値の整数倍であるかどうかを示すデータを生成することと、差がクロック単位値の整数倍であることをデータが示すとき、整数倍を表すデータを生成することとを行うように構成されたプロセッサの一例を表す。

【0137】

[0135]同様に、図７の方法は、ビデオデータを含むビットストリームを生成するための方法を表し、本方法は、第１のピクチャのプレゼンテーション時間と第２のピクチャのプレゼンテーション時間との間の差がクロック単位値の整数倍であるかどうかを示すデータを生成することと、差がクロック単位値の整数倍であることをデータが示すとき、整数倍を表すデータを生成することとを含む。

【0138】

[0136]上記で説明したように、カプセル化ユニット２１は、符号化ビデオデータを受信する。図８は、符号化ビデオデータを生成し得るビデオエンコーダ２０の一例を示すブロック図である。図８に示すように、ビデオエンコーダ２０は、ビデオデータと高レベルシンタックスデータとを受信する。ビデオエンコーダ２０は、一般に、ビデオデータを符号化するために個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックは、ＣＵ内のコード化ノードに対応し得る。ビデオブロックは、固定サイズ又は可変サイズを有し得、指定されたコード化規格に応じてサイズが異なり得る。ビデオエンコーダ２０は、更に、例えば、フレームヘッダ、ブロックヘッダ、スライスヘッダ、又はＧＯＰヘッダ中に、ブロックベースのシンタックスデータ、フレームベースのシンタックスデータ、及びＧＯＰベースのシンタックスデータなどのシンタックスデータを生成し得る。ＧＯＰシンタックスデータは、それぞれのＧＯＰ中の幾つかのフレームを記述し得、かつフレームシンタックスデータは、対応するフレームを符号化するために使用される符号化／予測モードを示し得る。

【0139】

[0137]図８の例では、ビデオエンコーダ２０は、モード選択ユニット４０と、参照ピクチャメモリ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピーエンコード化単位５６とを含む。モード選択ユニット４０は、今度は、動き補償ユニット４４と、動き推定ユニット４２と、イントラ予測ユニット４６と、パーティションユニット（区分化ユニット）４８とを含む。ビデオブロック再構成のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換単位６０と、加算器６２とを含む。再構成されたビデオからブロック歪み（blockiness artifacts）を除去するためにブロック境界をフィルタ処理するデブロッキングフィルタ（図８に図示せず）も含まれ得る。所望される場合、デブロッキングフィルタは、一般に、加算器６２の出力をフィルタ処理することになる。追加のフィルタ（ループ内又はループ後）もデブロッキングフィルタに加えて使用され得る。そのようなフィルタは、簡潔のために示されていないが、所望される場合、（ループ内フィルタとして）加算器５０の出力をフィルタ処理し得る。

【0140】

[0138]符号化プロセス中に、ビデオエンコーダ２０は、コード化されるべきビデオフレーム又はスライスを受信する。フレーム又はスライスは、複数のビデオブロックに分割され得る。動き推定ユニット４２及び動き補償ユニット４４は、時間的予測を行うために、１つ又は複数の参照フレーム中の１つ又は複数のブロックに対して受信されたビデオブロックのインター予測コード化を実行する。イントラ予測ユニット４６は、代替的に、空間的予測を行うために、コード化されるべきブロックと同じフレーム又はスライス中の１つ又は複数の隣接ブロックに対して、受信されたビデオブロックのイントラ予測コード化を実行し得る。ビデオエンコーダ２０は、例えば、ビデオデータのブロックごとに適切なコード化モードを選択するために、複数のコード化パスを実行し得る。

【0141】

[0139]更に、パーティションユニット４８は、前のコード化パスにおける前の区分方式の評価に基づいてビデオデータのブロックをサブブロックに区分し得る。例えば、パーティションユニット４８は、初めにフレーム又はスライスをＬＣＵに区分し、レート歪み分析（例えば、レート歪み最適化）に基づいてＬＣＵの各々をサブＣＵに区分し得る。モード選択ユニット４０は、更に、サブＣＵへのＬＣＵの区分を示す４分木データ構造を生成し得る。４分木のリーフノードＣＵは、１つ又は複数のＰＵ及び１つ又は複数のＴＵを含み得る。

【0142】

[0140]モード選択ユニット４０は、例えば、誤差結果に基づいてコード化モード、即ち、イントラ又はインターのうちの１つを選択し、残差ブロックデータを生成するために、得られたイントラコード化ブロック又はインターコード化ブロックを加算器５０に与え、かつ参照フレームとして使用するための符号化ブロックを再構成するために、得られたイントラコード化ブロック又はインターコード化ブロックを加算器６２に与え得る。モード選択ユニット４０はまた、動きベクトル、イントラモードインジケータ、パーティション情報、及び他のそのようなシンタックス情報など、シンタックス要素をエントロピー符号化ユニット５６に与える。

【0143】

[0141]動き推定ユニット４２と動き補償ユニット４４とは、高度に統合され得るが、概念的な目的のために別々に示してある。動き推定ユニット４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、現在のフレーム（又は他のコード化単位）内でコード化されている現在ブロックに対する参照フレーム（又は他のコード化単位）内の予測ブロックに対する現在ビデオフレーム又はピクチャ内のビデオブロックのＰＵの変位を示し得る。予測ブロックは、絶対値差分和（ＳＡＤ：sum of absolute difference）、２乗差分和（ＳＳＤ：sum of square difference）、又は他の差分メトリックによって決定され得る画素差分に関して、コード化されるべきブロックにぴったり一致することがわかるブロックである。幾つかの例では、ビデオエンコーダ２０は、参照ピクチャメモリ６４に記憶された参照ピクチャのサブ整数画素位置の値を計算し得る。例えば、ビデオエンコーダ２０は、参照ピクチャの１／４画素位置、１／８画素位置、又は他の分数画素位置の値を補間し得る。従って、動き推定ユニット４２は、フル画素位置及び分数画素位置に関して動き探索を実行し、分数画素精度で動きベクトルを出力し得る。

【0144】

[0142]動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス中のビデオブロックのＰＵのための動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）又は第２の参照ピクチャリスト（リスト１）から選択され得、それらの参照ピクチャリストの各々は、参照ピクチャメモリ６４に記憶された１つ又は複数の参照ピクチャを識別する。動き推定ユニット４２は、計算された動きベクトルをエントロピー符号化ユニット５６と動き補償ユニット４４とに送る。

【0145】

[0143]動き補償ユニット４４によって実行される動き補償は、動き推定ユニット４２によって決定された動きベクトルに基づいて予測ブロックをフェッチ又は生成することに関与し得る。この場合も、幾つかの例では、動き推定ユニット４２と動き補償ユニット４４とは機能的に統合され得る。現在のビデオブロックのＰＵについての動きベクトルを受信すると、動き補償ユニット４４は、動きベクトルが参照ピクチャリストのうちの１つにおいて指す予測ブロックの位置を特定し得る。加算器５０は、以下で説明するように、コード化されている現在のビデオブロックの画素値から予測ブロックの画素値を減算し、画素差分値を形成することによって、残差ビデオブロックを形成する。概して、動き推定ユニット４２はルーマ成分に対して動き推定を実行し、動き補償ユニット４４は、クロマ成分とルーマ成分の両方のためにルーマ成分に基づいて計算された動きベクトルを使用する。モード選択ユニット４０はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するためのビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。

【0146】

[0144]イントラ予測ユニット４６は、上記で説明したように、動き推定ユニット４２及び動き補償ユニット４４によって実行されるインター予測の代替として、現在ブロックをイントラ予測し得る。特に、イントラ予測ユニット４６は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定し得る。一部の例では、イントラ予測ユニット４６は、例えば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化し得、イントラ予測ユニット４６（又は、一部の例では、モード選択ユニット４０）は、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。

【0147】

[0145]例えば、イントラ予測ユニット４６は、様々なテストされたイントラ予測モードのためのレート歪み分析を使用してレート歪み値を計算し、テストされたモードの中で最良のレート歪み特性を有するイントラ予測モードを選択し得る。レート歪み分析は、一般に、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間の歪み（又は誤差）の量、及び符号化ブロックを生成するために使用されるビットレート（即ち、ビット数）を決定する。イントラ予測ユニット４６は、どのイントラ予測モードがブロックについて最良のレート歪み値を呈するかを決定するために、様々な符号化ブロックの歪み及びレートから比を計算し得る。

【0148】

[0146]ブロックのためのイントラ予測モードを選択した後に、イントラ予測ユニット４６は、エントロピー符号化ユニット５６にブロックのための選択されたイントラ予測モードを示す情報を与え得る。エントロピー符号化ユニット５６は、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ２０は、送信ビットストリーム中に、複数のイントラ予測モードインデックステーブル及び複数の変更されたイントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード（most probable intra-prediction mode）、イントラ予測モードインデックステーブル、及び変更されたイントラ予測モードインデックステーブルの指示とを含み得る構成データを含み得る。

【0149】

[0147]ビデオエンコーダ２０は、コード化されている元のビデオブロックから、モード選択ユニット４０からの予測データを減算することによって、残差ビデオブロックを形成する。加算器５０は、この減算演算を実行する１つ又は複数の構成要素を表す。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）又は概念的に同様の変換などの変換を残差ブロックに適用し、残差変換係数値を備えるビデオブロックを生成する。変換処理ユニット５２は、ＤＣＴと概念的に同様である他の変換を実行し得る。ウェーブレット変換、整数変換、サブバンド変換又は他のタイプの変換も使用され得る。いずれの場合も、変換処理ユニット５２は、変換を残差ブロックに適用し、残差変換係数のブロックを生成する。変換は、残差情報を画素値領域から周波数領域などの変換領域に変換し得る。変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送信し得る。量子化ユニット５４は、ビットレートを更に低減するために変換係数を量子化する。量子化プロセスは、係数の一部又は全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって修正され得る。幾つかの例では、量子化ユニット５４は、次いで、量子化された変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット５６が走査を実行し得る。

【0150】

[0148]量子化の後、エントロピー符号化ユニット５６は、量子化変換係数をエントロピーコード化する。例えば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コード化（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コード化（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コード化（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コード化又は別のエントロピーコード化技法を実行し得る。コンテキストベースのエントロピーコード化の場合、コンテキストは隣接ブロックに基づき得る。エントロピーコード化単位５６によるエントロピーコード化の後に、符号化ビットストリームは、別の機器（例えば、ビデオデコーダ３０）に送信されるか、又は後で送信するか又は取り出すためにアーカイブされ得る。

【0151】

[0149]逆量子化ユニット５８及び逆変換単位６０は、それぞれ逆量子化及び逆変換を適用して、例えば参照ブロックとして後で使用するために、画素領域中で残差ブロックを再構成する。動き補償ユニット４４は、残差ブロックを参照ピクチャメモリ６４のフレームのうちの１つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット４４はまた、再構成された残差ブロックに１つ又は複数の補間フィルタを適用して、動き推定において使用するサブ整数画素値を計算し得る。加算器６２は、再構成された残差ブロックを、動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、参照ピクチャメモリ６４に記憶するための再構成されたビデオブロックを生成する。再構成されたビデオブロックは、後続のビデオフレーム中のブロックをインターコード化するために動き推定ユニット４２及び動き補償ユニット４４によって参照ブロックとして使用され得る。

【0152】

[0150]上記で説明したように、逆カプセル化ユニット２９は、コード化ビデオシーケンスを受信し、アクセス単位とＮＡＬ単位とを構文解析するように構成され得、ここで、ＮＡＬ単位は、表２〜表７に示すＮＡＬ単位割当ての組合せのいずれか及び全てに基づいて割り振られる。更に、逆カプセル化ユニット２９及びビデオデコーダ３０は、ＮＡＬ単位タイプ割当てに基づいてビデオデータを再構成し得る。一例では、逆カプセル化ユニット２９は、ＮＡＬ単位を受信するように構成され得、ＮＡＬ単位はＮＡＬタイプ値を含む、ＮＡＬ単位が先行ピクチャに関連するＲＡＰピクチャ中に含まれるビデオデータの符号化スライスをカプセル化するかどうかをＮＡＬタイプ値に基づいて決定し、ビデオデコーダ３０は、ＮＡＬ単位が関連するア先行ピクチャをもつＲＡＰピクチャ中に含まれるビデオデータの符号化スライスをカプセル化するかどうかに基づく構成された再構成ビデオデータであり得る。別の例では、逆カプセル化ユニット２９は、ＮＡＬ単位を受信し、ここにおいて、ＮＡＬ単位は、ＮＡＬタイプ値を含む、ＮＡＬ単位がＡＵレベルＳＥＩメッセージをカプセル化するかどうかをＮＡＬタイプ値に基づいて決定するように構成され得、ビデオデコーダ３０は、ＮＡＬ単位がＡＵレベルＳＥＩメッセージをカプセル化するかどうかに基づいてビデオデータを再構成するように構成され得る。場合によっては、ビデオデータを再構成することは、上記で説明したように、スプライスビットストリームを生成することを含み得、ビデオデコーダ３０は、ＮＡＬ単位タイプ決定に基づいてスプライスされたビデオストリーム中のピクチャのプレゼンテーション時間を決定し得る。

【0153】

[0151]更に、上記で説明したように、発信源機器１２などの発信源機器は、第１のピクチャのプレゼンテーション時間と第２のピクチャのプレゼンテーション時間との間のデルタを信号伝達するように構成され得、ここで、信号伝達は、上記で説明したｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇシンタックス要素のメイビーエニーのいずれかを使用する。従って、宛先機器１４、逆カプセル化ユニット２９、及びビデオデコーダ３０は、第１のピクチャ及び第２のピクチャのプレゼンテーション時間を決定し、それに応じてピクチャを提示するように構成され得る。

【0154】

[0152]図９は、プレゼンテーション時間デルタ値を決定する例示的な方法を示すフローチャートである。図９に示すプレゼンテーション時間デルタ値を信号伝達する例は、逆カプセル化ユニット２９によって実行されるものとして説明するが、宛先機器１４、ビデオデコーダ３０、逆カプセル化ユニット２９、及びそれらの構成要素の組合せの任意の組合せが、図９に示すプレゼンテーション時間デルタ値を決定する例を実行し得る。図９に示すように、逆カプセル化ユニット２９は第１のピクチャを取得する（９０２）。第１のピクチャは、アクセス単位に対応する符号化ピクチャであり得る。逆カプセル化ユニット２９は第２のピクチャを取得する（９０４）。第２のピクチャは、アクセス単位に対応する符号化ピクチャであり得る。第２のピクチャは、第１のピクチャと同じ時間レイヤ中に含まれ得る。更に、第１及び第２のピクチャは、ビデオデータの最高時間レイヤ中に含まれ得る。

【0155】

[0153]逆カプセル化ユニット２９は、次いで、整数値Ｎを取得し得る（９０６）。これは、逆カプセル化ユニット２９が、ＳＰＳ中に含まれ得るＶＵＩパラメータのセット中で整数値Ｎがインクルーズであり得ることを示す、フラグの値などのデータを以前に取得していると仮定している。逆カプセル化ユニット２９は、クロック単位値を決定する（９０８）。逆カプセル化ユニット２９は、上記で説明した式（１）に従ってｔｉｍｅ＿ｓｃａｌｅシンタックス要素とｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋシンタックス要素とに基づいてクロック単位値を決定し得る。

【0156】

[0154]逆カプセル化ユニット２９は、次いで、第１のピクチャのプレゼンテーション時間と第２のピクチャのプレゼンテーション時間との間のデルタを決定し得る（９１０）。デルタは、整数値Ｎに基づくクロック単位値の整数に等しくなり得る。例えば、デルタは、（Ｎ＋１）＊クロック単位に等しくなり得る。

【0157】

[0155]逆カプセル化ユニット２９及びビデオデコーダ３０は、次いで、決定されたデルタに従って第１のピクチャと第２のピクチャとを提示し得る（９１２）。一例では、逆カプセル化ユニット２９は、ビデオデコーダ３０にデルタ値を信号伝達し得、ビデオデコーダ３０は、デルタ値に基づいて復号プロセスを実行し得る。このようにして、宛先機器１４は、第１のピクチャのプレゼンテーション時間と第２のピクチャのプレゼンテーション時間との間の差分値を決定することと、ここにおいて、差分値は、整数値とクロック単位値との積に等しくなる、決定された差分値に従って第１のピクチャと第２のピクチャとを提示することとを行うように構成されたプロセッサを含む機器の一例を表す。

【0158】

[0156]同様に、図９の方法は、第１のピクチャのプレゼンテーション時間と第２のピクチャのプレゼンテーション時間との間の差分値を決定することと、ここにおいて、差分値は、整数値とクロック単位値との積に等しくなる、決定された差分値に従って第１のピクチャと第２のピクチャとを提示することとを含む方法の一例を表す。

【0159】

[0157]図１０は、（１）ＮＡＬ単位タイプを含むデータを受信すること、（２）受信されたサブピクチャレベル又は復号ユニットレベルのＨＲＤ挙動を処理すること、（３）パラメータセットＩＤへの参照を含むデータを処理する、（４）ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇについての改善されたセマンティクスを含む受信されたデータを処理する、又はこれらの任意の及び全ての組合せを行うための技法を実装し得るビデオデコーダ３０の一例を示すブロック図である。図１０の例では、ビデオデコーダ３０は、エントロピー復号ユニット７０と、動き補償ユニット７２と、イントラ予測ユニット７４と、逆量子化ユニット７６と、逆変換単位７８と、参照ピクチャメモリ８２と、加算器８０とを含む。ビデオデコーダ３０は、幾つかの例では、ビデオエンコーダ２０（図２）に関して説明した符号化パスとは概して逆の復号パスを実行し得る。動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルに基づいて予測データを生成し得、イントラ予測ユニット７４は、エントロピー復号ユニット７０から受信されたイントラ予測モードインジケータに基づいて予測データを生成し得る。

【0160】

[0158]復号プロセス中に、ビデオデコーダ３０は、ビデオエンコーダ２０から、符号化ビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化ビデオビットストリームを受信する。ビデオデコーダ３０のエントロピー復号ユニット７０は、量子化係数、動きベクトル又はイントラ予測モードインジケータ、及び他のシンタックス要素を生成するためにビットストリームをエントロピー復号する。エントロピー復号ユニット７０は、動き補償ユニット７２に動きベクトルと他の予測シンタックス要素とを転送する。ビデオデコーダ３０は、ビデオスライスレベル及び／又はビデオブロックレベルでシンタックス要素を受信し得る。

【0161】

[0159]ビデオスライスがイントラコード化（Ｉ）スライスとしてコード化されるとき、イントラ予測ユニット７４は、信号伝達されたイントラ予測モードと、現在フレーム又はピクチャの、前に復号されたブロックからのデータとに基づいて、現在ビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化（即ち、Ｂ、Ｐ又はＧＰＢ）スライスとしてコード化されるとき、動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルと他のシンタックス要素とに基づいて、現在ビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの１つ内の参照ピクチャのうちの１つから生成され得る。ビデオデコーダ３０は、参照ピクチャメモリ８２に記憶された参照ピクチャに基づいて、デフォルトの構成技法を使用して、参照フレームリスト、即ち、リスト０及びリスト１を構成し得る。動き補償ユニット７２は、動きベクトルと他のシンタックス要素とを構文解析することによって現在ビデオスライスのビデオブロックのための予測情報を決定し、その予測情報を使用して、復号されている現在ビデオブロックのための予測ブロックを生成する。例えば、動き補償ユニット７２は、ビデオスライスのビデオブロックをコード化するために使用される予測モード（例えば、イントラ又はインター予測）、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、又はＧＰＢスライス）、スライスの参照ピクチャリストのうちの１つ又は複数についての構成情報、スライスの各インター符号化ビデオブロックについての動きベクトル、スライスの各インターコード化ビデオブロックについてのインター予測ステータス、及び現在ビデオスライス中のビデオブロックを復号するための他の情報を決定するために、受信されたシンタックス要素の幾つかを使用する。

【0162】

[0160]動き補償ユニット７２はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット７２は、ビデオブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用して、参照ブロックのサブ整数画素の補間値を計算し得る。この場合、動き補償ユニット７２は、受信されたシンタックス要素からビデオ符号器２０によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。

【0163】

[0161]逆量子化ユニット７６は、ビットストリーム中に与えられ、エントロピー復号ユニット７０によって復号された、量子化変換係数を逆量子化（inverse quantize）、即ち、逆量子化（de-quantize）する。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、ビデオスライス中のビデオブロックごとにビデオデコーダ３０によって計算される量子化パラメータＱＰ_Yの使用を含み得る。

【0164】

[0162]逆変換単位７８は、逆変換、例えば、逆ＤＣＴ、逆整数変換、又は概念的に同様の逆変換プロセスを変換係数に適用して、画素領域において残差ブロックを生成する。

【0165】

[0163]動き補償ユニット７２が、動きベクトル及び他のシンタックス要素に基づいて現在のビデオブロックのための予測ブロックを生成した後、ビデオデコーダ３０は、逆変換単位７８からの残差ブロックを動き補償ユニット７２によって生成された対応する予測ブロックと加算することによって、復号されたビデオブロックを形成する。加算器８０は、この加算演算を実行する１つ又は複数の構成要素を表す。所望される場合、ブロック歪みを除去するために、復号ブロックをフィルタ処理するためにデブロッキングフィルタも適用され得る。画素遷移を平滑化するか、又はさもなければビデオ品質を改善するために、（コード化ループ中又はコード化ループ後の）他のループフィルタも使用され得る。所与のフレーム又はピクチャ中の復号されたビデオブロックは、次いで、その後の動き補償のために使用される参照ピクチャを記憶する参照ピクチャメモリ８２に記憶される。参照ピクチャメモリ８２はまた、図３の表示装置３２などの表示装置上での後の提示のために、復号ビデオを記憶する。

【0166】

[0164]例によっては、本明細書で説明した技法のうちのいずれかの、幾つかの作用又はイベントは、異なるシーケンスで実行され得、追加、マージ、又は完全に除外され得る（例えば、全ての説明した作用又はイベントが、本技法の実施のために必要であるとは限らない）ことを認識されたい。その上、幾つかの例では、作用又はイベントは、連続的にではなく、同時に、例えば、マルチスレッド処理、割込み処理、又は複数のプロセッサを通じて実行され得る。

【0167】

[0165]１つ又は複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つ又は複数の命令又はコードとしてコンピュータ可読媒体上に記憶されるか、又はコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、又は、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的である有形コンピュータ可読記憶媒体、又は（２）信号又は搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コード及び／又はデータ構造を取り出すために１つもしくは複数のコンピュータ又は１つ以上のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。

【0168】

[0166]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭ又は他の光ディスクストレージ、磁気ディスクストレージ、若しくは他の磁気記憶装置、フラッシュメモリ、又は、命令又はデータ構造の形態の所望のプログラムコードを記憶するために使用されコンピュータによってアクセスされ得る、任意の他の媒体を備え得る。同様に、いかなる接続も適切にコンピュータ可読媒体と呼ばれる。例えば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、又は赤外線、無線、及びマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、又は他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、又は赤外線、無線、及びマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク（disk）及びディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザー（登録商標）ディスク（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）及びＢｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。

【0169】

[0167]命令は、１つ又は複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、又は他の等価な集積回路もしくはディスクリート論理回路などの１つ又は複数のプロセッサによって実行され得る。従って、本明細書で使用する「プロセッサ」という用語は、前述の構造、又は本明細書で説明した技法の実装に好適な他の構造のいずれかを指す。更に、幾つかの態様では、本明細書で説明した機能は、符号化及び復号のために構成された専用ハードウェア及び／もしくはソフトウェアモジュール内に提供され得、又は複合コーデックに組み込まれ得る。また、本技法は、１つ又は複数の回路又は論理要素において完全に実装され得る。

【0170】

[0168]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）又はＩＣのセット（例えば、チップセット）を含む、多種多様な機器又は装置において実装され得る。本開示では、開示する技法を実行するように構成された機器の機能的態様を強調するために様々な構成要素、モジュール、又はユニットについて説明したが、それらの構成要素、モジュール、又はユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、上記で説明されたように、様々なユニットが、好適なソフトウェア及び／又はファームウェアとともに、上記で説明された１つ又は複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、又は相互動作ハードウェアユニットの集合によって与えられ得る。

【0171】

[0169]様々な例について説明した。これら及び他の例は以下の特許請求の範囲内に入る。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
［１］ ビデオデータを提示する方法であって、前記ビデオデータの整数値を決定することと、第１のピクチャのプレゼンテーション時間と第２のピクチャのプレゼンテーション時間との間の差分値を決定することと、ここにおいて、前記差分値は、前記整数値とクロック単位値との積に等しい、決定された前記差分値に従って前記第１のピクチャと前記第２のピクチャとを提示すること、を備える方法。
［２］ 前記第１のピクチャと前記第２のピクチャとを含む時間レイヤが一定のピクチャレートを有すると決定することを更に備え、前記整数値を決定することは、前記時間レイヤが前記一定のピクチャレートを有するという前記決定に基づいて、前記整数値を定義するデータを復号することを備える、［１］に記載の方法。
［３］ 前記時間レイヤが前記一定のピクチャレートを有すると決定することは、前記時間レイヤが前記一定のピクチャレートを有することを示す値をｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇが有すると決定することを備える、［２］に記載の方法。
［４］ それぞれの一定のピクチャレートを有する時間レイヤごとに、個々に信号伝達される整数値を決定することと、それぞれの整数値と前記クロック単位値との積と、前記ピクチャのプレゼンテーション時間の間の差とに従ってそれぞれの一定のピクチャレートを有する前記時間レイヤの各々のピクチャを提示すること、を更に備える、［２］に記載の方法。
［５］ 前記クロック単位値を決定することが、時間スケール値を決定することを備える、［１］に記載の方法。
［６］ 前記第１のピクチャと前記第２のピクチャとが最高時間レイヤ中に含まれ、前記方法が、前記最高時間レイヤに関連する時間レイヤ識別値と、より低い時間レイヤの第２の整数値と、前記クロック単位値とに基づいて、前記より低い時間レイヤ中の第３のピクチャのプレゼンテーション時間と第４のピクチャのプレゼンテーション時間との間の第２の差分値を決定することと、前記第２の差分値に基づいて前記より低い時間レイヤのピクチャを提示すること、を更に備える、［１］に記載の方法。
［７］ 前記第１のピクチャのための前記プレゼンテーション時間が第１のピクチャ順序カウント（ＰＯＣ）値を備え、前記第２のピクチャのための前記プレゼンテーション時間が第２のＰＯＣ値を備える、［１］に記載の方法。
［８］ ビデオデータを提示するための装置であって、前記ビデオデータの整数値を決定することと、第１のピクチャのプレゼンテーション時間と第２のピクチャのプレゼンテーション時間との間の差分値を決定することと、ここにおいて、前記差分値は、前記整数値とクロック単位値との積に等しい、決定された前記差分値に従って前記第１のピクチャと前記第２のピクチャとを提示することとを行うように構成されたプロセッサを備える装置。
［９］ 前記整数値を決定するために、前記プロセッサが、前記第１のピクチャと前記第２のピクチャとを含む時間レイヤが一定のピクチャレートを有すると決定することと、前記時間レイヤが前記一定のピクチャレートを有するという前記決定に基づいて、前記整数値を定義するデータを復号することとを行うように構成された、［８］に記載の装置。
［１０］ 前記プロセッサが、前記時間レイヤが前記一定のピクチャレートを有することを示す値をｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇが有すると決定することを行うように構成された、［９］に記載の装置。
［１１］ 前記プロセッサが、それぞれの一定のピクチャレートを有する時間レイヤごとに、個々に信号伝達される整数値を決定することと、それぞれの整数値と前記クロック単位値との積と、前記ピクチャのプレゼンテーション時間の間の差とに従ってそれぞれの一定のピクチャレートを有する前記時間レイヤの各々のピクチャを提示することとを行うように更に構成された、［９］に記載の装置。
［１２］ 前記第１のピクチャと前記第２のピクチャとが最高時間レイヤ中に含まれ、前記プロセッサが、前記最高時間レイヤに関連する時間レイヤ識別値と、より低い時間レイヤの第２の整数値と、前記クロック単位値とに基づいて、前記より低い時間レイヤ中の第３のピクチャのプレゼンテーション時間と第４のピクチャのプレゼンテーション時間との間の第２の差分値を決定することと、前記第２の差分値に基づいて前記より低い時間レイヤのピクチャを提示することとを行うように更に構成された、［８］に記載の装置。
［１３］ 前記第１のピクチャのための前記プレゼンテーション時間が第１のピクチャ順序カウント（ＰＯＣ）値を備え、前記第２のピクチャのための前記プレゼンテーション時間が第２のＰＯＣ値を備える、［８］に記載の装置。
［１４］ ビデオデータを提示するための装置であって、前記ビデオデータの整数値を決定するための手段と、第１のピクチャのプレゼンテーション時間と第２のピクチャのプレゼンテーション時間との間の差分値を決定するための手段と、前記差分値は、整数値とクロック単位値との積に等しい、決定された前記差分値に従って前記第１のピクチャと前記第２のピクチャとを提示するための手段、を備える装置。
［１５］ 前記第１のピクチャと前記第２のピクチャとを含む時間レイヤが一定のピクチャレートを有すると決定するための手段を更に備え、前記整数値を決定するための前記手段は、前記時間レイヤが前記一定のピクチャレートを有するという前記決定に基づいて、前記整数値を定義するデータを復号するための手段を備える、［１４］に記載の装置。
［１６］ 前記時間レイヤが前記一定のピクチャレートを有すると決定するための前記手段は、前記時間レイヤが前記一定のピクチャレートを有することを示す値をｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇが有すると決定するための手段を備える、［１５］に記載の装置。
［１７］ それぞれの一定のピクチャレートを有する時間レイヤごとに、個々に信号伝達される整数値を決定するための手段と、それぞれの整数値と前記クロック単位値との積と、前記ピクチャのプレゼンテーション時間の間の差とに従ってそれぞれの一定のピクチャレートを有する前記時間レイヤの各々のピクチャを提示するための手段、を更に備える、［１５］に記載の装置。
［１８］ 前記第１のピクチャと前記第２のピクチャとが最高時間レイヤ中に含まれ、前記装置が、前記最高時間レイヤに関連する時間レイヤ識別値と、より低い時間レイヤの第２の整数値と、前記クロック単位値とに基づいて、前記より低い時間レイヤ中の第３のピクチャのプレゼンテーション時間と第４のピクチャのプレゼンテーション時間との間の第２の差分値を決定するための手段と、前記第２の差分値に基づいて前記より低い時間レイヤのピクチャを提示するための手段、を更に備える、［１４］に記載の装置。
［１９］ 前記第１のピクチャのための前記プレゼンテーション時間が第１のピクチャ順序カウント（ＰＯＣ）値を備え、前記第２のピクチャのための前記プレゼンテーション時間が第２のＰＯＣ値を備える、［１４］に記載の装置。
［２０］ 実行されたとき、プロセッサに、前記ビデオデータの整数値を決定することと、第１のピクチャのプレゼンテーション時間と第２のピクチャのプレゼンテーション時間との間の差分値を決定することと、ここにおいて、前記差分値は、前記整数値とクロック単位値との積に等しい、決定された前記差分値に従って前記第１のピクチャと前記第２のピクチャとを提示すること、を行わせる命令を記憶したコンピュータ可読記憶媒体。
［２１］ 前記第１のピクチャと前記第２のピクチャとを含む時間レイヤが一定のピクチャレートを有すると決定することを前記プロセッサに行わせる命令を更に備え、前記整数値を決定することを前記プロセッサに行わせる前記命令は、前記時間レイヤが前記一定のピクチャレートを有するという前記決定に基づいて、前記整数値を定義するデータを復号することを前記プロセッサに行わせる命令を備える、［２０］に記載のコンピュータ可読記憶媒体。
［２２］ 前記時間レイヤが前記一定のピクチャレートを有すると決定することは、前記時間レイヤが前記一定のピクチャレートを有することを示す値をｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇが有すると決定することを備える、［２１］に記載のコンピュータ可読記憶媒体。
［２３］ それぞれの一定のピクチャレートを有する時間レイヤごとに、個々に信号伝達される整数値を決定することと、それぞれの整数値と前記クロック単位値との積と、前記ピクチャのプレゼンテーション時間の間の差とに従ってそれぞれの一定のピクチャレートを有する前記時間レイヤの各々のピクチャを提示すること、を前記プロセッサに行わせる命令を更に備える、［２１］に記載のコンピュータ可読記憶媒体。
［２４］ 前記第１のピクチャと前記第２のピクチャとが最高時間レイヤ中に含まれ、前記最高時間レイヤに関連する時間レイヤ識別値と、より低い時間レイヤの第２の整数値と、前記クロック単位値とに基づいて、前記より低い時間レイヤ中の第３のピクチャのプレゼンテーション時間と第４のピクチャのプレゼンテーション時間との間の第２の差分値を決定することと、前記第２の差分値に基づいて前記より低い時間レイヤのピクチャを提示すること、を前記プロセッサに行わせる命令を更に備える、［２０］に記載のコンピュータ可読記憶媒体。
［２５］ 前記第１のピクチャのための前記プレゼンテーション時間が第１のピクチャ順序カウント（ＰＯＣ）値を備え、前記第２のピクチャのための前記プレゼンテーション時間が第２のＰＯＣ値を備える、［２０］に記載のコンピュータ可読記憶媒体。
［２６］ ビデオデータを含むビットストリームを生成する方法であって、第１のピクチャのプレゼンテーション時間と第２のピクチャのプレゼンテーション時間との間の差がクロック単位値の整数倍であるかどうかを示すデータを生成することと、前記差が前記クロック単位値の前記整数倍であることを前記データが示すとき、前記整数倍を表すデータを生成すること、を備える方法。
［２７］ 前記第１のピクチャと前記第２のピクチャとを含む時間レイヤが一定のピクチャレートを有すると決定することを更に備え、前記差が前記整数倍であるかどうかを示す前記データを生成することは、前記時間レイヤが前記一定のピクチャレートを有するという前記決定に基づいて、前記差が前記整数倍であることを示すように前記データを生成することを備える、［２６］に記載の方法。
［２８］ 前記差が前記整数倍であるかどうかを示す前記データを生成することが、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇシンタックス要素を生成することを備える、［２７］に記載の方法。
［２９］ 様々な時間レイヤのためのそれぞれの一定のピクチャレートを決定することと、前記時間レイヤの各々について、前記それぞれの一定のピクチャレートを表すデータを信号伝達すること、を更に備える、［２７］に記載の方法。
［３０］ 前記第１のピクチャと前記第２のピクチャとが最高時間レイヤ中に含まれ、前記方法が、前記最高時間レイヤに関連する時間レイヤ識別値と、より低い時間レイヤの第２の整数値と、前記クロック単位値とに基づいて、前記より低い時間レイヤ中の第３のピクチャのプレゼンテーション時間と第４のピクチャのプレゼンテーション時間との間の第２の差分値を決定することと、前記第２の整数値を表すデータを生成すること、を更に備える、［２６］に記載の方法。
［３１］ 前記第１のピクチャのための前記プレゼンテーション時間が第１のピクチャ順序カウント（ＰＯＣ）値を備え、前記第２のピクチャのための前記プレゼンテーション時間が第２のＰＯＣ値を備える、［２６］に記載の方法。
［３２］ ビデオデータを含むビットストリームを生成するための装置であって、第１のピクチャのプレゼンテーション時間と第２のピクチャのプレゼンテーション時間との間の差がクロック単位値の整数倍であるかどうかを示すデータを生成することと、前記差が前記クロック単位値の前記整数倍であることを前記データが示すとき、前記整数倍を表すデータを生成することとを行うように構成されたプロセッサを備える装置。
［３３］ 前記プロセッサは、前記第１のピクチャと前記第２のピクチャとを含む時間レイヤが一定のピクチャレートを有すると決定するように更に構成され、前記プロセッサは、前記時間レイヤが前記一定のピクチャレートを有するという前記決定に基づいて、前記差が前記整数倍であることを示すように前記データを生成するように構成された、［３２］に記載の装置。
［３４］ 前記差が前記整数倍であるかどうかを示す前記データを生成するために、前記プロセッサが、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇシンタックス要素の値を生成するように構成された、［３３］に記載の装置。
［３５］ 前記プロセッサは、様々な時間レイヤのためのそれぞれの一定のピクチャレートを決定することと、前記時間レイヤの各々について、前記それぞれの一定のピクチャレートを表すデータを信号伝達することとを行うように更に構成された、［３３］に記載の装置。
［３６］ 前記第１のピクチャと前記第２のピクチャとが最高時間レイヤ中に含まれ、前記プロセッサが、前記最高時間レイヤに関連する時間レイヤ識別値と、より低い時間レイヤの第２の整数値と、前記クロック単位値とに基づいて、前記より低い時間レイヤ中の第３のピクチャのプレゼンテーション時間と第４のピクチャのプレゼンテーション時間との間の第２の差分値を決定することと、前記第２の整数値を表すデータを生成することとを行うように更に構成された、［３２］に記載の装置。
［３７］ 前記第１のピクチャのための前記プレゼンテーション時間が第１のピクチャ順序カウント（ＰＯＣ）値を備え、前記第２のピクチャのための前記プレゼンテーション時間が第２のＰＯＣ値を備える、［３２］に記載の装置。
［３８］ ビデオデータを含むビットストリームを生成するための装置であって、第１のピクチャのプレゼンテーション時間と第２のピクチャのプレゼンテーション時間との間の差がクロック単位値の整数倍であるかどうかを示すデータを生成するための手段と、前記差が前記クロック単位値の前記整数倍であることを前記データが示すとき、前記整数倍を表すデータを生成するための手段、を備える装置。
［３９］ 前記第１のピクチャと前記第２のピクチャとを含む時間レイヤが一定のピクチャレートを有すると決定するための手段を更に備え、前記差が前記整数倍であるかどうかを示す前記データを生成することは、前記時間レイヤが前記一定のピクチャレートを有するという前記決定に基づいて、前記差が前記整数倍であることを示すように前記データを生成することを備える、［３８］に記載の装置。
［４０］ 前記差が前記整数倍であるかどうかを示す前記データを生成するための前記手段が、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇシンタックス要素を生成するための手段を備える、［３９］に記載の装置。
［４１］ 様々な時間レイヤのためのそれぞれの一定のピクチャレートを決定するための手段と、前記時間レイヤの各々について、前記それぞれの一定のピクチャレートを表すデータを信号伝達するための手段、を更に備える、［３９］に記載の装置。
［４２］ 前記第１のピクチャと前記第２のピクチャとが最高時間レイヤ中に含まれ、前記最高時間レイヤに関連する時間レイヤ識別値と、より低い時間レイヤの第２の整数値と、前記クロック単位値とに基づいて、前記より低い時間レイヤ中の第３のピクチャのプレゼンテーション時間と第４のピクチャのプレゼンテーション時間との間の第２の差分値を決定するための手段と、前記第２の整数値を表すデータを生成するための手段、を更に備える、［３８］に記載の装置。
［４３］ 前記第１のピクチャのための前記プレゼンテーション時間が第１のピクチャ順序カウント（ＰＯＣ）値を備え、前記第２のピクチャのための前記プレゼンテーション時間が第２のＰＯＣ値を備える、［３８］に記載の装置。
［４４］ 実行されたとき、プロセッサに、第１のピクチャのプレゼンテーション時間と第２のピクチャのプレゼンテーション時間との間の差がクロック単位値の整数倍であるかどうかを示すデータを生成することと、前記差が前記クロック単位値の前記整数倍であることを前記データが示すとき、前記整数倍を表すデータを生成すること、を行わせる命令を記憶したコンピュータ可読記憶媒体。
［４５］ 前記第１のピクチャと前記第２のピクチャとを含む時間レイヤが一定のピクチャレートを有すると決定することを前記プロセッサに行わせる命令を更に備え、前記差が前記整数倍であるかどうかを示す前記データを生成することを前記プロセッサに行わせる前記命令は、前記時間レイヤが前記一定のピクチャレートを有するという前記決定に基づいて、前記差が前記整数倍であることを示すように前記データを生成することを前記プロセッサに行わせる命令を備える、［４４］に記載のコンピュータ可読記憶媒体。
［４６］ 前記差が前記整数倍であるかどうかを示す前記データを生成することを前記プロセッサに行わせる前記命令は、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇシンタックス要素を生成することを前記プロセッサに行わせる命令を備える、［４５］に記載のコンピュータ可読記憶媒体。
［４７］ 様々な時間レイヤのためのそれぞれの一定のピクチャレートを決定することと、前記時間レイヤの各々について、前記それぞれの一定のピクチャレートを表すデータを信号伝達すること、を前記プロセッサに行わせる命令を更に備える、［４５］に記載のコンピュータ可読記憶媒体。
［４８］ 前記第１のピクチャと前記第２のピクチャとが最高時間レイヤ中に含まれ、前記最高時間レイヤに関連する時間レイヤ識別値と、より低い時間レイヤの第２の整数値と、前記クロック単位値とに基づいて、前記より低い時間レイヤ中の第３のピクチャのプレゼンテーション時間と第４のピクチャのプレゼンテーション時間との間の第２の差分値を決定することと、前記第２の整数値を表すデータを生成すること、を前記プロセッサに行わせる命令を更に備える、［４４］に記載のコンピュータ可読記憶媒体。
［４９］ 前記第１のピクチャのための前記プレゼンテーション時間が第１のピクチャ順序カウント（ＰＯＣ）値を備え、前記第２のピクチャのための前記プレゼンテーション時間が第２のＰＯＣ値を備える、［４４］に記載のコンピュータ可読記憶媒体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】