6040282 拡張されたビデオストリームを復号するための方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6040282

(24)【登録日】2016年11月11日

(45)【発行日】2016年12月7日

(54)【発明の名称】拡張されたビデオストリームを復号するための方法および装置

(51)【国際特許分類】

   H04N 19/30 20140101AFI20161128BHJP

【ＦＩ】

   H04N19/30

【請求項の数】35

【全頁数】20

(21)【出願番号】特願2015-95098(P2015-95098)

(22)【出願日】2015年5月7日

(62)【分割の表示】特願2013-76263(P2013-76263)の分割

【原出願日】2009年3月4日

(65)【公開番号】特開2015-144493(P2015-144493A)

(43)【公開日】2015年8月6日

【審査請求日】2015年6月8日

(31)【優先権主張番号】61/034,370

(32)【優先日】2008年3月6日

(33)【優先権主張国】US

(31)【優先権主張番号】12/395,056

(32)【優先日】2009年2月27日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】500234493

【氏名又は名称】アリス テクノロジー インコーポレイテッド

【氏名又は名称原語表記】ＡＲＲＩＳ ＴＥＣＨＮＯＬＯＧＹ， ＩＮＣ．

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】ナラシマン、マンダヤム エイ．

【審査官】 堀井 啓明

(56)【参考文献】

【文献】 国際公開第２００５／０５０３４６（ＷＯ，Ａ２）

【文献】 特表２００１−５００６７４（ＪＰ，Ａ）

【文献】 特開２００９−０１０６４９（ＪＰ，Ａ）

【文献】 特開２００７−２６６７４８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００７／０２３０５６４（ＵＳ，Ａ１）

【文献】 特表２００９−５３１９９９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

基本層ビデオアクセスユニットと拡張層ビデオアクセスユニットとから構成された拡張ビデオストリームを復号する方法において、各アクセスユニットは複数のシンタックス構造を含み、前記方法は、
基本層アクセスユニットのシンタックス構造を基本層バッファに渡す工程と、
拡張層アクセスユニットのシンタックス構造を拡張層バッファに渡す工程と、
基本層バッファに渡されたシンタックス構造を所定のシーケンスにより出力する工程と、
拡張層バッファに渡されたシンタックス構造を所定のシーケンスにより出力する工程と、
基本層バッファおよび拡張層バッファによってそれぞれ出力されたシンタックス構造のシーケンスを再結合し、基本層シンタックス構造および拡張層シンタックス構造を所定のシーケンスで含む、完全な拡張アクセスユニットを形成する工程と、を含む方法。

【請求項2】

拡張ビデオストリームは、基本層アクセスユニットおよび１つ以上の拡張層アクセスユニットを各々含む、一連の拡張アクセスユニットから構成されており、該一連の拡張アクセスユニットから基本層アクセスユニットのシンタックス構造を分離する工程を含む、請求項１に記載の方法。

【請求項3】

拡張層アクセスユニットのシンタックス構造はビデオ層シンタックス構造および非ビデオ層シンタックス構造を含み、前記一連の拡張アクセスユニットから基本層アクセスユニットのシンタックス構造を分離する工程は、前記一連の拡張アクセスユニットから拡張層アクセスユニットの非ビデオ層シンタックス構造を分離する工程であって、それによって、基本層バッファに渡されるシンタックス構造が拡張層非ビデオシンタックス構造を含む工程を含み、拡張層アクセスユニットのビデオ層シンタックス構造は全て拡張層バッファに渡される、請求項２に記載の方法。

【請求項4】

前記一連の拡張アクセスユニットにおける拡張層アクセスユニットのシンタックス構造は、ビデオ層シンタックス構造と、非ビデオ層シンタックス構造と、アクセスユニットのビデオ層シンタックス構造の境界を示す区切シンタックス構造とを含み、ユニタリな一連
の拡張アクセスユニットから基本層アクセスユニットのシンタックス構造を分離する工程は、区切シンタックス構造より前のシンタックス構造を基本層バッファに渡し、区切シンタックス構造より後のシンタックス構造を拡張層バッファに渡す工程を含む、請求項２に記載の方法。

【請求項5】

異なるそれぞれのプログラム識別子とともに、基本層アクセスユニットのシンタックス構造および残りのシンタックス構造を運ぶ、多重化トランスポートストリームを受信する工程と、前記異なるそれぞれのプログラム識別子に基づき、前記多重化トランスポートストリームを脱多重化して２つ以上のプログラムストリームを生成する工程と、前記２つのプログラムストリームを基本層バッファと拡張層バッファとにそれぞれ渡す工程と、を含む請求項１に記載の方法。

【請求項6】

基本層バッファは１つのエレメンタリストリーム・バッファセグメントを含み、拡張層バッファは１つのエレメンタリストリーム・バッファセグメントを含み、前記エレメンタリストリーム・バッファセグメントの結合したサイズを動的に調整し、基本層バッファのエレメンタリストリーム・バッファセグメントの最大サイズを制限しつつ、拡張ビデオストリームの復号を最適化する工程を含む、請求項１に記載の方法。

【請求項7】

完全な拡張アクセスユニットをビデオデコーダへ渡す工程を含む、請求項１に記載の方法。

【請求項8】

拡張層アクセスユニットは少なくとも第１および第２の拡張層のシンタックス構造を含み、残りのシンタックス構造を拡張層バッファに渡す工程は、第１および第２の拡張層のシンタックス構造をそれぞれ第１および第２の拡張層バッファに渡す工程を含む、請求項１に記載の方法。

【請求項9】

拡張ビデオストリームは、基本層アクセスユニットおよび少なくとも第１および第２の拡張層アクセスユニットを各々含む、一連の拡張アクセスユニットから構成されており、該一連の拡張アクセスユニットから基本層アクセスユニットのシンタックス構造を分離する工程を含む、請求項８に記載の方法。

【請求項10】

各拡張層アクセスユニットのシンタックス構造はビデオ層シンタックス構造および非ビデオ層シンタックス構造を含み、前記一連の拡張アクセスユニットから基本層アクセスユニットのシンタックス構造を分離する工程は、前記一連の拡張アクセスユニットから第１および第２の拡張層アクセスユニットの非ビデオ層シンタックス構造を分離する工程であって、それによって、基本層バッファに渡されるシンタックス構造が拡張層非ビデオシンタックス構造を含む工程を含み、第１および第２の拡張層アクセスユニットのビデオ層シンタックス構造は全てそれぞれ第１および第２の拡張層バッファに渡される、請求項９に記載の方法。

【請求項11】

前記一連の拡張アクセスユニットにおける拡張層アクセスユニットのシンタックス構造は、ビデオ層シンタックス構造と、非ビデオ層シンタックス構造と、アクセスユニットのビデオ層シンタックス構造の境界を示す区切シンタックス構造とを含み、ユニタリな一連の拡張アクセスユニットから基本層アクセスユニットのシンタックス構造を分離する工程は、区切シンタックス構造より前のシンタックス構造を基本層バッファに渡し、区切シンタックス構造より後のシンタックス構造を拡張層バッファに渡す工程を含む、請求項９に記載の方法。

【請求項12】

第１のプログラム識別子とともに基本層アクセスユニットのシンタックス構造を運び、第２のプログラム識別子とともに第１の拡張層のシンタックス構造を運び、かつ、第３の
プログラム識別子とともに第２の拡張層のシンタックス構造を運ぶ、多重化トランスポートストリームを受信する工程と、第１、第２、および第３のプログラム識別子にそれぞれ基づき、前記多重化トランスポートストリームを脱多重化して少なくとも第１、第２、および第３のプログラムストリームを生成する工程と、第１、第２、および第３のプログラムストリームをそれぞれ基本層バッファ、第１の拡張層バッファ、および第２の拡張層バッファに渡す工程と、を含む請求項８に記載の方法。

【請求項13】

基本層バッファは１つのエレメンタリストリーム・バッファセグメントを含み、第１および第２の拡張層バッファはそれぞれ第１および第２のエレメンタリストリーム・バッファセグメントを含み、前記エレメンタリストリーム・バッファセグメントの結合したサイズを動的に調整し、基本層バッファのエレメンタリストリーム・バッファセグメントの最大サイズを制限しつつ、拡張ビデオストリームの復号を最適化する工程を含む、請求項８に記載の方法。

【請求項14】

完全な拡張アクセスユニットをビデオデコーダへ渡す工程を含む、請求項８に記載の方法。

【請求項15】

拡張されたビデオ信号を生成する方法において、
基本層ビデオアクセスユニットと拡張層ビデオアクセスユニットとから構成されたユニタリ・ビットストリームを受信する工程と、
ユニタリ・ビットストリームから基本層プログラムストリームおよび拡張層プログラムストリームを分離する工程と、
拡張層プログラムストリームに区切シンタックス構造を挿入する工程と、を含む方法。

【請求項16】

拡張されたビデオ信号を生成する方法において、
基本層ビデオアクセスユニットと拡張層ビデオアクセスユニットとから構成されたユニタリ・ビットストリームを受信する工程であって、各拡張層アクセスユニットはビデオ層シンタックス構造および非ビデオ層シンタックス構造を含む工程と、
ユニタリ・ビットストリームから基本層プログラムストリームおよび拡張層プログラムストリームを分離する工程と、
拡張層アクセスユニットの非ビデオ層シンタックス構造を基本層プログラムストリームに含める工程であって、それによって、拡張されたビデオ信号は、拡張層アクセスユニットの非ビデオ層シンタックス構造を含む基本層コンポーネントと、拡張層アクセスユニットのビデオ層シンタックス構造を含む拡張層コンポーネントとを含む工程と、を含む方法。

【請求項17】

拡張ビデオストリームの一連の基本層アクセスユニットを運ぶ基本層プログラムストリームと、該拡張ビデオストリームの一連の拡張層アクセスユニットを運ぶ１つ以上の拡張層プログラムストリームとを復号するための復号装置において、各アクセスユニットは複数のシンタックス構造を含み、前記復号装置は、
基本層プログラムストリームを受信して、各基本層アクセスユニットのシンタックス構造を所定のシーケンスにより出力するように接続されている基本層バッファと、
拡張層プログラムストリームを受信して、各拡張層アクセスユニットのシンタックス構造を所定のシーケンスにより出力するように接続されている拡張層バッファと、
基本層バッファおよび拡張層バッファによってそれぞれ出力されるシンタックス構造を受信して、基本層シンタックス構造および拡張層シンタックス構造を所定のシーケンスで含む、完全な拡張アクセスユニットを形成するように接続されている再アセンブリ機能部と、を備える復号装置。

【請求項18】

完全な拡張アクセスユニットを受信するように接続されているビデオデコーダであって
、拡張アクセスユニットを復号してビデオ表現ユニットを形成するように動作するビデオデコーダをさらに備える、請求項１７に記載の復号装置。

【請求項19】

基本層プログラムストリームおよび拡張層プログラムストリームは、トランスポートストリームによりカプセル化されており、前記復号装置は、トランスポートストリームを受信し、基本層プログラムストリームと拡張層プログラムストリームとを分離して出力するためのトランスポートストリーム・デマルチプレクサを備える、請求項１７に記載の復号装置。

【請求項20】

各拡張層アクセスユニットに含まれるシンタックス構造はビデオ符号化層拡張層アクセスユニットを含み、トランスポートストリームによりカプセル化された拡張層プログラムストリームの各拡張層アクセスユニットは、該拡張層アクセスユニットに含まれるビデオ符号化層アクセスユニットの境界を示す区切シンタックス構造を運び、前記トランスポートストリーム・デマルチプレクサは、区切アクセスユニットに基づきトランスポートストリームから拡張層アクセスユニットを抽出する、請求項１９に記載の復号装置。

【請求項21】

拡張されたビデオ信号を生成するための装置において、基本層アクセスユニットと拡張層アクセスユニットとから構成されたユニタリ・ビットストリームを受信するための入力を有し、ユニタリ・ビットストリームから基本層プログラムストリームおよび拡張層プログラムストリームを分離するための分離器と、拡張層プログラムストリームに区切シンタックス構造を挿入するための挿入器と、を備える装置。

【請求項22】

拡張されたビデオ信号を生成するための装置において、基本層アクセスユニットと拡張層アクセスユニットとから構成されたユニタリ・ビットストリームを受信するための入力を有し、各拡張層アクセスユニットはビデオ層シンタックス構造および非ビデオ層シンタックス構造を含み、ユニタリ・ビットストリームから基本層プログラムストリームおよび拡張層プログラムストリームを分離することと、拡張層アクセスユニットの非ビデオ層シンタックス構造を基本層プログラムストリームに含めることによって、拡張されたビデオ信号は、拡張層アクセスユニットの非ビデオ層シンタックス構造を含む基本層コンポーネントと、拡張層アクセスユニットのビデオ層シンタックス構造を含む拡張層コンポーネントとを含むこととのための分離器を備える装置。

【請求項23】

基本層アクセスユニットおよび拡張層アクセスユニットを運ぶ拡張ビデオストリームを受信するための入力を有するコンピュータによって実行されたときに１つの方法によってビデオストリームを処理するソフトウェアを含むコンピュータ可読媒体において、各アクセスユニットは複数のシンタックス構造を含み、前記方法は、
基本層アクセスユニットのシンタックス構造を基本層バッファに渡す工程と、
拡張層アクセスユニットのシンタックス構造を拡張層バッファに渡す工程と、
基本層バッファに渡されたシンタックス構造を所定のシーケンスにより出力する工程と、
拡張層バッファに渡されたシンタックス構造を所定のシーケンスにより出力する工程と、
基本層バッファおよび拡張層バッファによってそれぞれ出力されたシンタックス構造のシーケンスを再結合し、基本層シンタックス構造および拡張層シンタックス構造を所定のシーケンスで含む、完全な拡張アクセスユニットを形成する工程と、を含む、コンピュータ可読媒体。

【請求項24】

基本層アクセスユニットと拡張層アクセスユニットとから構成されたユニタリ・ビットストリームを受信するための入力を有するコンピュータによって実行されたときに１つの方法によってビデオストリームを処理するソフトウェアを含むコンピュータ可読媒体にお
いて、前記方法は、
ユニタリ・ビットストリームから基本層プログラムストリームおよび拡張層プログラムストリームを分離する工程と、
拡張層プログラムストリームに区切シンタックス構造を挿入する工程と、を含む、コンピュータ可読媒体。

【請求項25】

基本層アクセスユニットと拡張層アクセスユニットとから構成されたユニタリ・ビットストリームを受信するための入力を有するコンピュータによって実行されたときに１つの方法によってビデオストリームを処理するソフトウェアを含むコンピュータ可読媒体において、各拡張層アクセスユニットはビデオ層シンタックス構造および非ビデオ層シンタックス構造を含み、前記方法は、
ユニタリ・ビットストリームから基本層プログラムストリームおよび拡張層プログラムストリームを分離する工程と、
拡張層アクセスユニットの非ビデオ層シンタックス構造を基本層プログラムストリームに含める工程であって、それによって、拡張されたビデオ信号は、拡張層アクセスユニットの非ビデオ層シンタックス構造を含む基本層コンポーネントと、拡張層アクセスユニットのビデオ層シンタックス構造を含む拡張層コンポーネントとを含む工程と、を含む、コンピュータ可読媒体。

【請求項26】

拡張されたビデオ信号を生成する方法であって、前記方法は、
複数のパケット化エレメンタリストリームにより、基本層アクセスユニットと拡張層アクセスユニットとを運ぶユニタリ・ビットストリームを受信する工程であって、各拡張層アクセスユニットはビデオ層シンタックス構造および非ビデオ層シンタックス構造を含む工程と、
ユニタリ・ビットストリームから基本層プログラムストリームおよび拡張層プログラムストリームを分離する工程と、
前記拡張層アクセスユニットの非ビデオ層シンタックス構造を前記基本層プログラムストリームに含める工程であって、それによって、拡張されたビデオ信号は、前記拡張層アクセスユニットの非ビデオ層シンタックス構造を含む基本層コンポーネントと、前記拡張層アクセスユニットのビデオ層シンタックス構造を含む拡張層コンポーネントとを含む工程と
を有し、
前記拡張層コンポーネントは、前記拡張層アクセスユニットの非ビデオ層シンタックス構造を含まない、方法。

【請求項27】

拡張されたビデオ信号を生成するための装置であって、前記装置は、
複数のパケット化エレメンタリストリームにより、基本層アクセスユニットと拡張層アクセスユニットとを運ぶユニタリ・ビットストリームを受信するための入力アダプタに通信可能に接続された少なくとも１つのプロセッサを備え、各拡張層アクセスユニットは、ビデオ層シンタックス構造および非ビデオ層シンタックス構造を含み、
前記少なくとも１つのプロセッサは、分離器を提供するように構成され、
前記分離器は、前記ユニタリ・ビットストリームから基本層プログラムストリームおよび拡張層プログラムストリームを分離し、前記拡張層アクセスユニットの非ビデオ層シンタックス構造を、前記基本層プログラムストリームに含め、それによって、拡張されたビデオ信号は、前記拡張層アクセスユニットの非ビデオ層シンタックス構造を含む基本層コンポーネントと、前記拡張層アクセスユニットのビデオ層シンタックス構造を含む拡張層コンポーネントとを含み、それによって前記拡張層コンポーネントは、前記拡張層アクセスユニットの非ビデオシンタックス構造を含まない、装置。

【請求項28】

記憶されたソフトウェア命令を含む非一時的なコンピュータ可読媒体において、該記憶
されたソフトウェア命令が、複数のパケット化エレメンタリストリームにより、基本層アクセスユニットと拡張層アクセスユニットとを運ぶユニタリ・ビットストリームであって各拡張層アクセスユニットはビデオ層シンタックス構造および非ビデオ層シンタックス構造を含むユニタリ・ビットストリームを受信するための入力を有するコンピュータの１つ以上のプロセッサによって実行されたとき、該１つ以上のプロセッサは拡張されたビデオ信号を生成するべく、
前記ユニタリ・ビットストリームから基本層プログラムストリームおよび拡張層プログラムストリームを分離する工程と、
拡張層アクセスユニットの非ビデオ層シンタックス構造を基本層プログラムストリームに含める工程であって、それによって、拡張されたビデオ信号は、前記拡張層アクセスユニットの非ビデオ層シンタックス構造を含む基本層コンポーネントと、前記拡張層アクセスユニットのビデオ層シンタックス構造を含む拡張層コンポーネントとを含み、前記拡張層コンポーネントは、前記拡張層アクセスユニットの非ビデオシンタックス構造を含まない工程と
を行うように動作する、コンピュータ可読媒体。

【請求項29】

前記拡張層プログラムストリームに区切シンタックス構造を挿入する工程を含む、請求項２８に記載のコンピュータ可読媒体。

【請求項30】

前記拡張層プログラムストリームに区切シンタックス構造を挿入する工程を含む、請求項２６に記載の方法。

【請求項31】

基本層コンポーネントと１つ以上の拡張層コンポーネントとを含むビデオ信号を生成する方法であって、
複数のパケット化エレメンタリストリームにより、複数のアクセスユニットを運ぶビットストリームを受信する工程であって、前記複数のアクセスユニットは基本層アクセスユニットと拡張層アクセスユニットとを含み、各拡張層アクセスユニットはビデオ層シンタックス構造および非ビデオ層シンタックス構造を含む、工程と、
ビットストリームを複数のビデオサブビットストリームに分離する工程であって、前記複数のビデオサブビットストリームは基本層プログラムストリームおよび拡張層プログラムストリームを含む、工程と、
前記基本層アクセスユニットと前記拡張層アクセスユニットの非ビデオ層シンタックス構造とを、ビデオ信号の再アセンブリされる基本層プログラムストリームに含める工程と、
前記拡張層アクセスユニットのビデオ層シンタックス構造を、前記１つ以上の拡張層コンポーネントに含める工程と、
前記拡張層アクセスユニットの非ビデオ層シンタックス構造を、前記１つ以上の拡張層コンポーネントから除く工程と、
前記ビデオ信号を生成するように前記複数のアクセスユニットを再アセンブリされる工程であって、前記ビデオ信号の基本層コンポーネントは前記拡張層アクセスユニットの非ビデオ層シンタックス構造を含み、前記ビデオ信号の前記１つ以上の拡張層コンポーネントは前記拡張層アクセスユニットの非ビデオ層シンタックス構造を含まない、工程と、を備える方法。

【請求項32】

前記ビデオ信号をデコーダに提供する工程をさらに備える、請求項３１に記載の方法。

【請求項33】

基本層コンポーネントと１つ以上の拡張層コンポーネントとを含むビデオ信号を生成するための装置であって、
複数のパケット化エレメンタリストリームにより、複数のアクセスユニットを運ぶビットストリームを受信する工程であって、前記複数のアクセスユニットは基本層アクセスユ
ニットと拡張層アクセスユニットとを含み、各拡張層アクセスユニットはビデオ層シンタックス構造および非ビデオ層シンタックス構造を含む、工程を実行するための入力アダプタに通信可能に接続されている１つ以上のプロセッサを備え、
前記１つ以上のプロセッサは、ビットストリームを複数のビデオサブビットストリームに分離する工程であって、前記複数のビデオサブビットストリームは基本層プログラムストリームおよび拡張層プログラムストリームを含む、工程を実行するための分離器を提供するように構成されており、
前記１つ以上のプロセッサは、
前記基本層アクセスユニットと前記拡張層アクセスユニットの非ビデオ層シンタックス構造とを、ビデオ信号の再アセンブリされる基本層プログラムストリームに含める工程と、
前記拡張層アクセスユニットのビデオ層シンタックス構造を、前記１つ以上の拡張層コンポーネントに含める工程と、
前記拡張層アクセスユニットの非ビデオ層シンタックス構造を、前記１つ以上の拡張層コンポーネントから除く工程と、
前記ビデオ信号を生成するように前記複数のアクセスユニットを再アセンブリされる工程であって、前記ビデオ信号の基本層コンポーネントは前記拡張層アクセスユニットの非ビデオ層シンタックス構造を含み、前記拡張層アクセスユニットの非ビデオ層シンタックス構造を含まない、工程と、を実行するようにさらに構成されている、装置。

【請求項34】

前記１つ以上のプロセッサは、前記１つ以上のプロセッサに通信可能に接続されているデコーダに前記ビデオ信号を提供する工程を実行するようにさらに構成されている、請求項３３に記載の装置。

【請求項35】

記憶されたソフトウェア命令を含む非一時的なコンピュータ可読媒体において、該記憶されたソフトウェア命令が、複数のパケット化エレメンタリストリームにより、複数のアクセスユニットであって基本層アクセスユニットと拡張層アクセスユニットとを含み各拡張層アクセスユニットはビデオ層シンタックス構造および非ビデオ層シンタックス構造を含む複数のアクセスユニットを運ぶビットストリームを受信するための入力を有するコンピュータの１つ以上のプロセッサによって実行されたとき、該１つ以上のプロセッサはデオ信号を生成するべく、
複数のパケット化エレメンタリストリームにより、複数のアクセスユニットを運ぶビットストリームを受信する工程であって、前記複数のアクセスユニットは基本層アクセスユニットと拡張層アクセスユニットとを含み、各拡張層アクセスユニットはビデオ層シンタックス構造および非ビデオ層シンタックス構造を含む、工程と、
ビットストリームを複数のビデオサブビットストリームに分離する工程であって、前記複数のビデオサブビットストリームは基本層プログラムストリームおよび拡張層プログラムストリームを含む、工程と、
前記基本層アクセスユニットと前記拡張層アクセスユニットの非ビデオ層シンタックス構造とを、ビデオ信号の再アセンブリされる基本層プログラムストリームに含める工程と、
前記拡張層アクセスユニットのビデオ層シンタックス構造を、前記１つ以上の拡張層コンポーネントに含める工程と、
前記拡張層アクセスユニットの非ビデオ層シンタックス構造を、前記１つ以上の拡張層コンポーネントから除く工程と、
前記ビデオ信号を生成するように前記複数のアクセスユニットを再アセンブリされる工程であって、前記ビデオ信号の基本層コンポーネントは前記拡張層アクセスユニットの非ビデオ層シンタックス構造を含み、前記拡張層アクセスユニットの非ビデオ層シンタックス構造を含まない、工程と、
を行うように動作する、コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、拡張ビデオストリームを復号するための方法および装置に関する。

【背景技術】

【0002】

図面の図１を参照する。ビデオエンコーダ１０は、カメラなどのソースから、生ビデオデータ（通常、ＳＭＰＴＥ−２９２Ｍにおいて規定されたＨＤ−ＳＤＩフォーマットである）を受信する。ビデオエンコーダは、ＨＤ−ＳＤＩデータを利用してビデオ・エレメンタリストリームを生成するとともに、ビデオ・エレメンタリストリームをビデオパケット化器１４に供給する。ビデオパケット化器１４は、様々な長さのパケットから構成されたビデオパケット化エレメンタリストリーム（ＰＥＳ）を生成する。通常、ビデオＰＥＳの各パケットは、１つ以上のビデオフレームを含んでいる。同様に、オーディオエンコーダ（図示せず）は、例えば、マイクロホンから生オーディオデータを受信して、オーディオパケット化器にオーディオ・エレメンタリストリームを供給し、オーディオパケット化器は、様々な長さのパケットから構成されたオーディオＰＥＳを生成する。

【0003】

ビデオおよびオーディオパケット化器はトランスポートストリーム・マルチプレクサ１８にビデオおよびオーディオＰＥＳを供給する。トランスポートストリーム・マルチプレクサ１８は、ビデオＰＥＳおよびオーディオＰＥＳにそれぞれ異なるプログラム識別子（ＰＩＤ）を割り当て、ビデオおよびオーディオＰＥＳの可変長パケットを、ＰＥＳのＰＩＤを含むヘッダとＰＥＳビデオ（またはオーディオ）データを含むペイロードとを各々有する、固定長のＭＰＥＧ−２・トランスポートストリーム（ＴＳ）パケットに編成する。

【0004】

トランスポートストリーム・マルチプレクサによって出力されるシングルプログラム・トランスポートストリーム（ＳＰＴＳ）は、プログラム・マルチプレクサ２２に供給される場合がある。プログラム・マルチプレクサ２２は、ＳＰＴＳを他のプログラムを運ぶ他のトランスポートストリームと結合し、マルチプログラム・トランスポートストリーム（ＭＰＴＳ）を生成する。ＭＰＴＳはチャネルを通じて受信器に送信され、受信器において、プログラム・デマルチプレクサ２６は選択されたＳＰＴＳをＭＰＴＳから分離し、それをトランスポートストリーム・デマルチプレクサ３０に供給する。トランスポートストリーム・マルチプレクサによって出力されるＳＰＴＳは、最初に他のトランスポートストリームと結合してＭＰＴＳを生成することなく、トランスポートストリーム・デマルチプレクサに直接送信される場合もあるが、しかしいずれの場合においても、トランスポートストリーム・デマルチプレクサは、選択されたＳＰＴＳのトランスポートストリーム・パケットを受信して、それらをＰＩＤに基づき分離し、トランスポートストリーム・パケットを分解（ｄｅｐａｃｋｅｔｉｚｅ）してＰＥＳパケットを再生成し、いわゆるビデオ・システムターゲットデコーダ（Ｔ−ＳＴＤ）３４にビデオＰＥＳを宛て、オーディオＴ−ＳＴＤ３８にオーディオＰＥＳを宛てることが当業者には認められる。本出願の主題はビデオビットストリームの復号に関するので、オーディオデコーダについてさらには説明しない。

【0005】

ビデオＴ−ＳＴＤ３４は、システムターゲットデコーダ・バッファ４０およびビデオデコーダ４２を備える。ＳＴＤバッファ４０は、トランスポート・バッファＴｂ、多重化バッファＭｂ、およびエレメンタリストリーム・バッファＥｂに機能的に等しい。トランスポート・バッファＴｂは、可変ビットレートでビデオＰＥＳを受信し、一定なビットレートで多重化バッファＭｂにデータを出力する。多重化バッファＭｂは、ビデオＰＥＳを分解し、符号化されたビットストリームを一定なビットレートでエレメンタリストリーム・バッファＥｂに供給する。エレメンタリストリーム・バッファ（デコーダ・バッファまた
は符号化ピクチャ・バッファ（ＣＰＢ）と呼ばれることがある）は、ＣＢＲビットストリームを受信すると、画像を復号するために、ピクチャ復号時間にビデオデコーダによってビットがすべて直ちに除去されるまで、それらのビットを保持する。

【0006】

デコーダが適切に動作するには、デコーダ・バッファがオーバフロー（ビットが失われ、ピクチャの復号は不可能）やアンダーフロー（デコーダにビットが足りず、適切な時間でピクチャを復号することは不可能）を起こさないことが重要である。デコーダ・バッファに対するビットの供給は、ビデオエンコーダ１０からビットストリームを受信する、圧縮データバッファ（ＣＤＢ）４６によって制御される。ビデオエンコーダは、ＣＤＢが満たされるのに応じたレートで、ＣＤＢにビットを供給する。ＣＤＢは一定なレートでビデオパケット化器１４にビットを供給し、多重化バッファはその同じレートでデコーダ・バッファにビットを供給するので、したがって、ＣＤＢが満たされることは、デコーダ・バッファが満たされることを反映している。ＣＤＢのオーバフロー／アンダーフローを防止するようにＣＤＢに対するビットの供給を調節することによって、デコーダ・バッファのアンダーフロー／オーバフローが回避される。

【0007】

エンコーダの動作を支配するビデオ圧縮標準規格は、ＣＤＢが仮定的な基準デコーダのデコーダ・バッファより大きくないと指定する場合がある。
ＭＰＥＧ−２トランスポートストリームは、エラーの生じがちなチャネルを通じた符号化ビデオの送達に広く用いられている。また、ＭＰＥＧ−２システム層は、エラーのない環境においてプログラムストリーム（ＰＳ）による符号化ビデオの送信を行う。図１には、ビデオＰＥＳについて、ビデオＴ−ＳＴＤ３４に対するトランスポートストリームとしての送達に代わる、ビデオＰ−ＳＴＤ５０に対するプログラムストリームとしての送信を示す。

【0008】

ビデオエンコーダ１０によって生成されたビットストリームは、ＩＳＯ／ＩＥＣ１４４９６−１０（ＭＰＥＧ−４、パート１０）ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）により指定されるビデオ圧縮標準規格に準拠する場合がある（一般にＨ．２６４／ＡＶＣと呼ばれる）。Ｈ．２６４／ＡＶＣは、フレームまたはフィールドの集合語として、ピクチャを用いる。Ｈ．２６４／ＡＶＣでは、アクセスユニットを１組のネットワーク抽象化層（ＮＡＬ）ユニットとして定義し、アクセスユニットの復号によって復号されたピクチャが常に生じると指定される。ＡＶＣエンコーダによって生成されるアクセスユニットのＮＡＬユニットは、ピクチャ情報を含むビデオ符号化層（ＶＣＬ）ユニットであるか、クローズドキャプションおよびタイミングなど他の情報を含む非ＶＣＬユニットである。

【0009】

Ｈ．２６４／ＡＶＣの補遺Ｇでは、スケーラブル・ビデオ符号化またはＳＶＣとして知られているＨ．２６４／ＡＶＣの拡張について規定されている。ＳＶＣはＡＶＣ基本層にスケーラビリティの拡張を提供し、このスケーラビリティには、空間のスケーラビリティ、時間のスケーラビリティ、ＳＮＲのスケーラビリティ、およびビット深度のスケーラビリティが含まれる。ＳＶＣエンコーダは、Ｈ．２６４／ＡＶＣ−コンフォーマント基本層を生成し、その基本層に１つ以上の拡張層によって拡張を追加することが期待される。ＳＶＣの特定の実装において用いられる各種のスケーラビリティは、それ自身の拡張層を利用することができる。例えば、生ビデオデータが１９２０×１０８８ピクセルのフレームから構成された１０８０ＨＤとして知られるフォーマットである場合、基本層は、７０４×４８０ピクセルのピクチャとして復号可能なアクセスユニットから構成されたサブビットストリームによって運ばれるのに対し、拡張層は、基本層アクセスユニットを拡張層アクセスユニットと組み合わせることによって、適切なデコーダが１９２０×１０８８ピクセルのピクチャを提示することを可能とするアクセスユニットから構成されたサブビットストリームによって運ばれる。

【0010】

基本層および１つ以上の拡張層の両方を復号する性能を有するデコーダを本明細書ではＳＶＣデコーダと呼び、拡張層を認識可能でなく、基本層アクセスユニットのみを復号可能、したがってＳＶＣ性能を有していないデコーダを、本明細書ではＡＶＣデコーダと呼ぶ。

【0011】

ＳＶＣエンコーダによって生成されるアクセスユニットは、上述の基本層ＮＡＬユニット（簡便のためＡＶＣ−ＮＡＬユニットと呼ばれる場合がある）のみならず、ＳＶＣ−ＶＣＬ−ＮＡＬユニットおよびＳＶＣ−非ＶＣＬ−ＮＡＬユニット。図２には、ＳＶＣ標準規格によって規定されるようなＳＶＣアクセスユニットにおける、ＡＶＣ−ＮＡＬユニットおよびＳＶＣ−ＮＡＬユニットのシーケンスを示す。エンコーダが、例えば、２つの拡張層を生成する場合、２つの拡張層における非ＶＣＬ−ＮＡＬユニットは図２に示すシーケンスの隣接したブロック、すなわち、ＡＶＣ非ＶＣＬ−ＮＡＬユニットおよびＡＶＣ−ＶＣＬ−ＮＡＬユニットを含むブロック間にあり、２つの拡張層におけるＳＶＣ−ＶＣＬ−ＮＡＬユニットはＡＶＣ−ＶＣＬ−ＮＡＬユニットを含むブロックの後のシーケンスの隣接したブロックにある。

【0012】

アクセスユニットから基本層ＮＡＬユニットを抽出するＳＶＣデコーダは、ＡＶＣ非ＶＣＬ−ＮＡＬユニットおよびＡＶＣ−ＶＣＬ−ＮＡＬユニットのみを選択する。
Ｈ．２６４／ＡＶＣでは、５ビットのパラメータであるｎａｌユニット型（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）、すなわち、ＮＵＴが指定される。Ｈ．２６４／ＡＶＣの下では、ＡＶＣ−ＮＡＬユニットはすべて、１〜１３の範囲のＮＵＴ値を有する。ＳＶＣでは、ＮＵＴ値１４，２０，１５が追加される。しかしながら、５または１に等しいＮＵＴを有するＮＡＬユニットの直前の１４に等しいＮＵＴを有するＮＡＬユニットは、それらのＮＡＬユニット（非ＶＣＬ−ＮＡＬユニットである）がＡＶＣとの互換性を有し、ＡＶＣデコーダによって復号可能であるように、基本層スライスのシグナリングを行う。

【0013】

図３を参照すると、ＳＶＣエンコーダ１０’は、基本層と、例えば、２つの拡張層ＥＮＨ１，ＥＮＨ２とを運ぶ、ユニタリ・ビットストリームを生成する。その性能に応じて、デコーダは、基本層のみを、または基本層および拡張層ＥＮＨ１を、または基本層ならびに拡張層ＥＮＨ１，ＥＮＨ２の両方を受信すること、および復号することを期待する。ＳＶＣ用のＭＰＥＧ−２システム標準規格およびユースケースの下では、エンコーダは、３つのビットストリーム（それぞれ基本層のみを、基本層および拡張層ＥＮＨ１を、基本層ならびに拡張層ＥＮＨ１，ＥＮＨ２の両方を、運ぶビットストリーム）を提供することはできず、デコーダの復号可能なビットストリームがいずれであっても、デコーダにビットストリームを選択させることはできない。エンコーダは、別個のビットストリームにより基本層アクセスユニットと各拡張層の一部とを提供する必要がある。ＮＡＬ分離器４８を用いて、ＮＡＬユニットのＮＵＴ値に基づきユニタリ・ビットストリームを３つのサブビットストリームへと分離することによって、原理的には、ＭＰＥＧ−２システム標準規格に準拠することが可能である。１つのサブビットストリームは基本層ＮＡＬユニットを運ぶ、他の２つのサブビットストリームはそれぞれ、２つの拡張層用のＮＡＬユニットを運ぶ。３つのサブビットストリームは、それぞれのビデオパケット化器（一般に１４で表す）に渡され、ビデオパケット化器はそれぞれのビデオＰＥＳを生成する。３つのビデオＰＥＳは、３つのパケット化器の出力を一緒に多重化する目的で、ＳＶＣ−Ｔ−ＳＴＤに含まれたバッファにＴ−ＳＴＤバッファ均等物を含む、トランスポートストリーム・マルチプレクサ１８に供給される。マルチプレクサ１８は、３つのＰＥＳに異なるＰＩＤを割り当てて、３つの層を運ぶトランスポートストリームを出力する。

【先行技術文献】

【特許文献】

【0014】

【特許文献1】米国特許出願公開第２００７／０２３０５６４号明細書

【発明の概要】

【発明が解決しようとする課題】

【0015】

図１に示すビデオＴ−ＳＴＤ３４は、基本層および拡張層アクセスユニットを再アセンブルし、ＳＶＣデコーダによって復号可能な完全なＳＶＣアクセスユニットを生成する性能を提供しないので、図３に示すトランスポートストリーム・マルチプレクサ１８’によって生成されるトランスポートストリームによって運ばれるビットストリームを復号することは不可能である。Ｈ．２６４／ＡＶＣ標準規格においてもＭＰＥＧ−２システム標準規格においても、基本層および拡張層アクセスユニットがどのように再アセンブルされるかについて規定されてない。したがって、図３に示すアーキテクチャには、従来、実用的な用途が欠けていた。

【課題を解決するための手段】

【0016】

開示の主題の第１の態様では、基本層ビデオアクセスユニットと拡張層ビデオアクセスユニットとから構成された拡張ビデオストリームを復号する方法において、各アクセスユニットは複数のシンタックス構造を含む方法、が提供される。この方法は、基本層アクセスユニットのシンタックス構造を基本層バッファに渡す工程と、拡張層アクセスユニットのシンタックス構造を拡張層バッファに渡す工程と、基本層バッファに渡されたシンタックス構造を所定のシーケンスにより出力する工程と、拡張層バッファに渡されたシンタックス構造を所定のシーケンスにより出力する工程と、基本層バッファおよび拡張層バッファによってそれぞれ出力されるシンタックス構造のシーケンスを再結合して、基本層シンタックス構造および拡張層シンタックス構造を所定のシーケンスで含む、完全な拡張アクセスユニットを形成する工程と、を含む。
開示の主題の第２の態様では、拡張されたビデオ信号を生成する方法が提供される。この方法は、基本層ビデオアクセスユニットと拡張層ビデオアクセスユニットとから構成されたユニタリ・ビットストリームを受信する工程と、ユニタリ・ビットストリームから基本層プログラムストリームおよび拡張層プログラムストリームを分離する工程と、拡張層プログラムストリームに区切シンタックス構造を挿入する工程と、を含む。

【0017】

開示の主題の第３の態様では、拡張されたビデオ信号を生成する方法が提供される。この方法は、基本層ビデオアクセスユニットと拡張層ビデオアクセスユニットとから構成されたユニタリ・ビットストリームを受信する工程であって、各拡張層アクセスユニットはビデオ層シンタックス構造および非ビデオ層シンタックス構造を含む工程と、ユニタリ・ビットストリームから基本層プログラムストリームおよび拡張層プログラムストリームを分離する工程と、拡張層アクセスユニットの非ビデオ層シンタックス構造を基本層プログラムストリームに含める工程であって、それによって、拡張されたビデオ信号は、拡張層アクセスユニットの非ビデオ層シンタックス構造を含む基本層コンポーネントと、拡張層アクセスユニットのビデオ層シンタックス構造を含む拡張層コンポーネントとを含む工程と、を含む。

【0018】

開示の主題の第４の態様では、拡張ビデオストリームの一連の基本層アクセスユニットを運ぶ基本層プログラムストリームと、該拡張ビデオストリームの一連の拡張層アクセスユニットを運ぶ１つ以上の拡張層プログラムストリームとを復号するための復号装置が提供される。各アクセスユニットは複数のシンタックス構造を含み、復号装置は、基本層プログラムストリームを受信して、各基本層アクセスユニットのシンタックス構造を所定のシーケンスにより出力するように接続されている基本層バッファと、拡張層プログラムストリームを受信して、各拡張層アクセスユニットのシンタックス構造を所定のシーケンスにより出力するように接続されている拡張層バッファと、基本層バッファおよび拡張層バッファによってそれぞれ出力されるシンタックス構造を受信して、基本層シンタックス構
造および拡張層シンタックス構造を所定のシーケンスで含む、完全な拡張アクセスユニットを形成するように接続されている再アセンブリ機能部と、を備える。

【0019】

開示の主題の第５の態様では、拡張されたビデオ信号を生成するための装置が提供される。この装置は、基本層アクセスユニットと拡張層アクセスユニットとから構成されたユニタリ・ビットストリームを受信するための入力を有し、ユニタリ・ビットストリームから基本層プログラムストリームおよび拡張層プログラムストリームを分離するための分離器と、拡張層プログラムストリームに区切シンタックス構造を挿入するための挿入器と、を備える。

【0020】

開示の主題の第６の態様では、拡張されたビデオ信号を生成するための装置が提供される。この装置は、基本層アクセスユニットと拡張層アクセスユニットとから構成されたユニタリ・ビットストリームを受信するための入力を有し、各拡張層アクセスユニットはビデオ層シンタックス構造および非ビデオ層シンタックス構造を含む。この装置は、さらに、ユニタリ・ビットストリームから基本層プログラムストリームおよび拡張層プログラムストリームを分離するためと、拡張層アクセスユニットの非ビデオ層シンタックス構造を基本層プログラムストリームに含め、それによって、拡張されたビデオ信号は、拡張層アクセスユニットの非ビデオ層シンタックス構造を含む基本層コンポーネントと、拡張層アクセスユニットのビデオ層シンタックス構造を含む拡張層コンポーネントとを含むための分離器と、を備える。

【0021】

開示の主題の第７の態様では、基本層アクセスユニットおよび拡張層アクセスユニットを運ぶ拡張ビデオストリームを受信するための入力を有するコンピュータによって実行されたときに１つの方法によってビデオストリームを処理するソフトウェアを含むコンピュータ可読媒体において、各アクセスユニットは複数のシンタックス構造を含む、コンピュータ可読媒体を提供する。この方法は、基本層アクセスユニットのシンタックス構造を基本層バッファに渡す工程と、拡張層アクセスユニットのシンタックス構造を拡張層バッファに渡す工程と、基本層バッファに渡されたシンタックス構造を所定のシーケンスにより出力する工程と、拡張層バッファに渡されたシンタックス構造を所定のシーケンスにより出力する工程と、基本層バッファおよび拡張層バッファによってそれぞれ出力されるシンタックス構造のシーケンスを再結合して、基本層シンタックス構造および拡張層シンタックス構造を所定のシーケンスで含む、完全な拡張アクセスユニットを形成する工程と、を含む。

【0022】

開示の主題の第８の態様では、基本層アクセスユニットと拡張層アクセスユニットとから構成されたユニタリ・ビットストリームを受信するための入力を有するコンピュータによって実行されたときに１つの方法によってビデオストリームを処理するソフトウェアを含むコンピュータ可読媒体を提供する。この方法は、ユニタリ・ビットストリームから基本層プログラムストリームおよび拡張層プログラムストリームを分離する工程と、拡張層プログラムストリームに区切シンタックス構造を挿入する工程と、を含む。

【0023】

開示の主題の第９の態様では、基本層アクセスユニットと拡張層アクセスユニットとから構成されたユニタリ・ビットストリームを受信するための入力を有するコンピュータによって実行されたときに１つの方法によってビデオストリームを処理するソフトウェアを含むコンピュータ可読媒体において、各拡張層アクセスユニットはビデオ層シンタックス構造および非ビデオ層シンタックス構造を含むコンピュータ可読媒体を提供する。この方法は、ユニタリ・ビットストリームから基本層プログラムストリームおよび拡張層プログラムストリームを分離する工程と、拡張層アクセスユニットの非ビデオ層シンタックス構造を基本層プログラムストリームに含める工程であって、それによって、拡張されたビデオ信号は、拡張層アクセスユニットの非ビデオ層シンタックス構造を含む基本層コンポー
ネントと、拡張層アクセスユニットのビデオ層シンタックス構造を含む拡張層コンポーネントとを含む工程と、を含む。

【図面の簡単な説明】

【0024】

【図1】プレゼンテーション用の圧縮ビデオマテリアルを供給するための第１のシステムのアーキテクチャの概略ブロック図。

【図2】基本層および１つの拡張層を有するＳＶＣアクセスユニットの構造を示す図。

【図3】復号およびプレゼンテーション用の圧縮したＳＶＣビデオマテリアルの送信用のアーキテクチャおよびユースケースの概略ブロック図。

【図4】プレゼンテーション用の圧縮ビデオマテリアルを供給するための第２のシステムのアーキテクチャの概略ブロック図。

【図5】プレゼンテーション用の圧縮ビデオマテリアルを供給するための第３のシステムのアーキテクチャの概略ブロック図。

【図6A】図５に示すシステムにおける様々な点で生成されたデータユニットの構造を示す図。

【図6B】図５に示すシステムにおける様々な点で生成されたデータユニットの構造を示す図。

【図6C】図５に示すシステムにおける様々な点で生成されたデータユニットの構造を示す図。

【図7】図４および図５に関連して記載した処理の一部を実装するために用いられ得るコンピュータの概略ブロック図。

【発明を実施するための形態】

【0025】

図４に示すＳＶＣエンコーダ１０’は、基本層と１つの拡張層とを運ぶビットストリームを生成する。ＮＡＬ分離器５２は、このビットストリームを、基本層ＮＡＬユニットおよび拡張層ＮＡＬユニットをそれぞれ運ぶ２つのサブビットストリームに分け、この２つのサブビットストリームは、基本層ビデオパケット化器１４０および拡張層ビデオパケット化器１４１に渡される。図３に関連して記載したように、２つのパケット化器はそれぞれビデオＰＥＳを生成する。トランスポートストリーム・マルチプレクサ５４は、２つのＰＥＳに異なるＰＩＤを割り当てて、２つの層を運ぶトランスポートストリームを出力する。トランスポートストリーム・マルチプレクサ５４は、ＳＶＣ−Ｔ−ＳＴＤモデルに準拠するＴ−ＳＴＤバッファを含む。トランスポートストリームは、ＳＰＴＳとしてトランスポートストリーム・デマルチプレクサ５６に対し直接送信されるか、他のトランスポートストリームと多重化され、プログラム・デマルチプレクサ（図示せず）を介してトランスポートストリーム・デマルチプレクサ５６に対しＭＰＴＳの一部として供給される。

【0026】

従来のように、トランスポートストリーム・デマルチプレクサ５６は、ＰＩＤに基づきトランスポートストリーム・パケットを分離し、トランスポートストリーム・パケットを分解してＰＥＳパケットを再生成する。このようにして、トランスポートストリーム・デマルチプレクサは、基本層ＰＥＳおよび拡張層ＰＥＳの両方や１つ以上のオーディオＰＥＳを出力する。図４に示すように、基本層ＰＥＳおよび拡張層ＰＥＳは、ビデオＴ−ＳＴＤ６０に対し供給される。ビデオＴ−ＳＴＤ６０は、基本層Ｔ−ＳＴＤバッファ６４および拡張層Ｔ−ＳＴＤバッファ６８を含む。基本層Ｔ−ＳＴＤバッファ６４は、図１に示したＴ−ＳＴＤバッファ４０と同様、トランスポート・バッファＴｂ０および多重化バッファＭｂ０を含む。多重化バッファは、エレメンタリストリーム・バッファセグメントＥＳｂ０に対し、基本層アクセスユニット（ＡＶＣ非ＶＣＬ−ＮＡＬユニットおよびＡＶＣ−ＶＣＬ−ＮＡＬユニット）を含む符号化ビットストリームを出力する。バッファセグメントＥＳｂ０のサイズは、Ｈ．２６４／ＡＶＣ標準規格において規定されているエレメンタリストリーム・バッファＥｂのサイズを超えてはならない。

【0027】

また、拡張層Ｔ−ＳＴＤバッファ６８は、トランスポート・バッファＴｂ１、多重化バッファＭｂ１、およびエレメンタリストリーム・バッファセグメントＥＳｂ１も含む。多重化バッファＭｂ０と同様、バッファＭｂ１は、拡張層アクセスユニット（ＳＶＣ−非ＶＣＬ−ＮＡＬユニットおよびＳＶＣ−ＶＣＬ−ＮＡＬユニット）を含む符号化ビットストリームを出力し、この符号化ビットストリームは、基本層アクセスユニットと適切に組み合わされると、Ｈ．２６４の補遺Ｇにより規定されているようなＳＶＣアクセスユニットを生成する。

【0028】

バッファセグメントＥＳｂ０，ＥＳｂ１の結合したサイズは、基本層および１つの拡張層を有するプログラムを復号するＳＶＣデコーダ用のＨ．２６４／ＡＶＣ標準規格の補遺Ｇにおいて規定されているエレメンタリストリーム・バッファＥｂのサイズを超えてはならない。しかしながら、許可される総バッファサイズは、バッファセグメントＥＳｂ０のサイズがＡＶＣデコーダ用のＨ．２６４／ＡＶＣ標準規格において規定されているエレメンタリストリーム・バッファＥｂのサイズを超えない限り、デコーダの性能を最適化するようにバッファセグメント間に割り当てられてよい。

【0029】

トランスポートストリーム・デマルチプレクサ５６によって受信されるアクセスユニットのＮＡＬユニットは、アクセスユニットを復号するために必要な順序になっていない場合もあることが、当業者には認められる。エレメンタリストリーム・バッファセグメント（多重化バッファによって提供される符号化ビットストリームを受信する）は、各アクセスユニットのＮＡＬユニットが復号に適切な順序により出力されることを保証する。再アセンブリ機能部Ｒｅ−Ａは、２つのＴ−ＳＴＤバッファによってそれぞれ出力されるＡＶＣおよびＳＶＣ−ＮＡＬユニットを受信し、それらのＮＡＬユニットを適切なシーケンスにより結合して、図２に示すＳＶＣアクセスユニット構造を再作成する。再アセンブリ機能部は、それぞれの適切な時間で復号を行うために、ＳＶＣデコーダにＳＶＣアクセスユニットを供給する。このようにして、Ｔ−ＳＴＤ６０は、ＳＶＣによってサポートされる拡張を含むピクチャを出力することが可能である。

【0030】

バッファ管理（すなわち、トランスポート・バッファ、多重化バッファ、および結合したエレメンタリストリーム・バッファセグメントのサイズや、バッファ間の転送レート）は、従来のＭＰＥＧ−２のＴ−ＳＴＤにおけるのと同じである。データは、従来のＭＰＥＧ−２のＴ−ＳＴＤモデルにおける多重化バッファからのデータの出力用に指定されたレートでエレメンタリストリーム・バッファセグメントに入り、所与のＳＶＣアクセスユニットの基本層ＮＡＬユニットおよび拡張層ＮＡＬユニットの両方が、それぞれのエレメンタリストリーム・バッファセグメントに存在した後、即座に再アセンブリ機能部に対し転送され、そこで結合されて、即座にＳＶＣデコーダに対し転送される。したがって、エレメンタリストリーム・バッファセグメントおよび再アセンブリ機能部は、多重化バッファとＳＶＣデコーダとの間のレイテンシを生じない。

【0031】

トランスポートストリーム・マルチプレクサ５４によって出力されるトランスポートストリームは、トランスポートストリーム・デマルチプレクサ３０を介してＡＶＣ−Ｔ−ＳＴＤ３４’にも供給される場合がある。トランスポートストリーム・マルチプレクサ３０は、基本層ＰＥＳをトランスポートストリームから分離し、基本層ＰＥＳをＴ−ＳＴＤ３４’に供給する。拡張層ＰＥＳがＴ−ＳＴＤ３４’に対して供給されないので、Ｔ−ＳＴＤ３４’は、基本層アクセスユニットの復号に不要なＮＡＬユニットを処理することが必要となることによる負担を受けない。

【0032】

ここで図５を参照すると、別の実施形態では、ＳＶＣエンコーダ１０’によって生成されたビットストリームは基本層および２つの拡張層ＥＮＨ１，ＥＮＨ２を運ぶ。ＮＡＬ分
離器５２は、ＮＡＬユニットのＮＵＴ値に基づきビットストリームを３つのサブビットストリームに分離するが、図４の場合と異なり、基本層ビットストリームは、ＡＶＣ−ＮＡＬユニットだけでなく、ＳＶＣ−非ＶＣＬ−ＮＡＬユニット（上述のように、ＡＶＣに対する互換性を有するＮＡＬユニットを含む）も含む。ＮＡＬ分離器によって生成される基本層ビットストリームは、図６Ａに示す構造を有する。２つの各拡張層サブビットストリームは各々、それぞれのＳＶＣアクセスユニット用のＳＶＣ−ＶＣＬ−ＮＡＬユニットを含む。また、ＮＡＬ分離器は、図６Ｂに示すように、各拡張層サブビットストリームの各アクセスユニットの開始部に、ＳＶＣ区切（ｄｅｌｉｍ）ＮＡＬユニットを挿入する。ＳＶＣ区切ＮＡＬユニットは非常に小さくすることができ、２３または２４など、予約済みのＮＵＴ値を有する。このＳＶＣ区切ＮＡＬユニットは、ＭＰＥＧ−２のシステム標準規格によって定められるように、アクセスユニットデリミタに加え、９に等しいＮＵＴを有する。

【0033】

３つのサブビットストリームがそれぞれパケット化器１４０，１４１，１４２に供給され、パケット化器は、それぞれＰＥＳを生成し、そのＰＥＳをトランスポートストリーム・マルチプレクサ７２に供給する。トランスポートストリーム・マルチプレクサ７２（ＳＶＣ−Ｔ−ＳＴＤモデルに準拠するバッファを含む）は、この３つのＰＥＳに対し異なるＰＩＤを割り当て、３つの層を運ぶ１つのトランスポートストリームを出力する。基本層ＰＥＳは、基本層アクセスユニットを復号するのに必要なＡＶＣ−ＮＡＬユニットを全て含むことが認められる。

【0034】

トランスポートストリーム・マルチプレクサ７２によって生成されたトランスポートストリームは、トランスポートストリーム復号機能部７４に対し供給される。トランスポートストリーム復号機能部は、トランスポートストリーム・デマルチプレクサ７６を含み、トランスポートストリーム・デマルチプレクサ７６は、ＰＩＤに基づき基本層ＰＥＳおよび２つの拡張層ＰＥＳを分離して、それぞれのＴ−ＳＴＤバッファ８０，８１，８２に対しそれらを供給する。各Ｔ−ＳＴＤバッファは、トランスポート・バッファＴｂ、多重化バッファＭｂ、およびエレメンタリストリーム・バッファセグメントＥＳｂを含む。バッファセグメントＥＳｂ０，ＥＳｂ１，ＥＳｂ２の結合したサイズは、基本層および２つの拡張層を有するプログラムを復号するＳＶＣデコーダ用のＨ．２６４／ＡＶＣ標準規格の補遺Ｇにおいて規定されているエレメンタリストリーム・バッファＥｂのサイズを超えてはならない。しかしながら、許可される総バッファサイズは、バッファセグメントＥＳｂ０，ＥＳｂ１の結合したサイズが、基本層および１つの拡張層を有するプログラムを復号するＳＶＣデコーダ用のＨ．２６４／ＡＶＣ標準規格の補遺Ｇにおいて規定されているエレメンタリストリーム・バッファＥｂのサイズを超えず、バッファセグメントＥＳｂ０のサイズが、ＡＶＣデコーダ用のＨ．２６４／ＡＶＣ標準規格において規定されているエレメンタリストリーム・バッファＥｂのサイズを超えない限り、デコーダの性能を最適化するようにバッファセグメント間に割り当てられてよい。

【0035】

各Ｔ−ＳＴＤバッファは、図４に関連して記載したのと同様にして受信したビットストリームを、バッファＤＲＢ０が図６Ａに示す構造を有するアクセスユニットを出力し、バッファＤＲＢ１およびＤＲＢ２が各々図６Ｂに示す構造を有するアクセスユニットを出力するように、処理する。バッファ構造の出力は、図６Ｃに示す各アクセスユニットについてのＮＡＬユニットのシーケンスを生成するように、再アセンブリ機能部Ｒｅ−Ａによって連結される。再アセンブリ機能部の出力は、図４に関連して記載したように、エレメンタリストリーム・バッファに渡される。

【0036】

図５には、図４に関連して記載したように、マルチプレクサ５４によって出力されるトランスポートストリームがトランスポートストリーム・デマルチプレクサ３０を介してＡＶＣ−Ｔ−ＳＴＤ３４’に供給され得ることを示す。

【0037】

また、図５には、エラーのない媒体を通じて、プログラムストリーム復号機能部９０に供給されている３つのビデオＰＥＳを示す。基本層ＰＥＳが基本層ＡＶＣ−Ｐ−ＳＴＤ（バッファおよびデコーダを含む）に対し供給されるのに対し、基本層ＰＥＳおよび２つの拡張層ＰＥＳ（ＥＮＨ１，ＥＮＨ２）は、プログラムストリーム・マルチプレクサに対し供給される。プログラムストリーム・マルチプレクサは、ＳＶＣ−Ｐ−ＳＴＤモデルに準拠するバッファを備える。プログラムストリーム・マルチプレクサは、基本層ＰＥＳおよび拡張層ＰＥＳ（ＥＮＨ１）をＳＶＣデコーダ９１に供給する。これは、基本層ＰＥＳおよび拡張層ＰＥＳからＰＥＳヘッダを除去し、エレメンタリストリーム・バッファセグメントＥＳｂ０に基本層ビットストリームを宛て、エレメンタリストリーム・バッファセグメントＥＳｂ１に拡張層ＥＮＨ１ビットストリームを宛てる、プログラムストリーム・デマルチプレクサを含む。バッファセグメントＥＳｂ０，ＥＳｂ１の出力は、再アセンブリ機能部に渡される。バッファセグメントＥＳｂ０，ＥＳｂ１のサイズは、バッファ８０，８１におけるエレメンタリストリーム・バッファセグメントのサイズと同様に変化し得る。ＳＶＣデコーダ９１の動作は、したがって、プログラムストリームに関してはバッファ８０，８１の動作に相当し、トランスポートストリームに関しては再アセンブリ機能部に相当する。

【0038】

プログラムストリーム・マルチプレクサは、基本層ＰＥＳと２つの拡張層ＰＥＳ（ＥＮＨ１，ＥＮＨ２）とをＳＶＣデコーダ９２に供給する。ＳＶＣデコーダ９２はデコーダ９１と同様であるが、Ｔ−ＳＴＤバッファ８２におけるエレメンタリストリーム・バッファに対応するエレメンタリストリーム・バッファセグメントＥＳｂ２だけ増大している。プログラムストリーム復号機能部９０は、したがって、基本層のみを、または基本層および拡張層ＥＮＨ１を、または基本層ならびに拡張層ＥＮＨ１および拡張層ＥＮＨ２の両方を、復号することが可能である。

【0039】

図４に示した実施形態および図５に示した実施形態の両方において、利用可能なバッファサイズは、補遺Ｇを含むＨ．２６４／ＡＶＣ標準規格における制限に基づき、エンコーダによって生成されるビットストリームの様々な層に対し、必要に応じて動的に割り当てられてよい。このようにして様々な層に対するバッファサイズの動的で柔軟な割当を可能とすることによって、デコーダは、例えば、アクセスユニットの複雑さに基づき、基本層に対するバッファサイズの割当を減少させるとともに、拡張層のうちの１つ以上に対するバッファサイズの割当を増加させて、適切な復号を行うことができる。

【0040】

ＳＶＣ区切ＮＡＬユニットは、トランスポートストリーム・デマルチプレクサ７６によって容易に検出され、ＳＶＣ−ＶＣＬ−ＮＡＬユニットの分離を容易にする。ＳＶＣ区切ＮＡＬユニットは、デコーダによって認識されず、したがって、拡張層アクセスユニットの復号に影響を与えない。

【0041】

図４に関連して記載したように、ＮＡＬ分離器は、基本層ＰＥＳが図２に示すアクセスユニット構造のＡＶＣ−ＮＡＬユニットのみを含み、拡張層ＰＥＳがＳＶＣ−ＮＡＬユニットを全て含むように、ＳＶＣ−非ＶＣＬ−ＮＡＬユニットおよびＳＶＣ−ＶＣＬ−ＮＡＬユニットの両方をＳＶＣアクセスユニットから分離することができる。一方、図５の場合には、ＮＡＬ分離器は、基本層ＰＥＳがＳＶＣ−非ＶＣＬ−ＮＡＬユニットを含むように、ＡＶＣ−ＮＡＬユニットによってＳＶＣ−非ＶＣＬ−ＮＡＬユニットをグループ化する。この手法によって、基本層ＰＥＳを送信するのに必要な帯域幅はわずかに増大するが、図２に示すＳＶＣアクセスユニット構造に対する考察から、基本層ＰＥＳにＳＶＣ−非ＶＣＬ−ＮＡＬユニットを含めることで、基本層ＰＥＳおよび拡張層ＰＥＳにそれぞれ含まれるＮＡＬユニットの単純な連結によってＳＶＣアクセスユニットの再アセンブリを行うことが可能であることが認められる。他の場合には、再アセンブリバッファではデータ
の構文解析（パース）が必要となり、処理にレイテンシおよび複雑さが加わる。ＳＶＣアクセスユニットの再アセンブリが単純であるため、基本層ＰＥＳを送信するのにわずかに大きな帯域幅が必要であるという小さな不利は相殺される。

【0042】

図６を参照すると、図４または図５に示したＮＡＬ分離器およびパケット化器、図４に示したトランスポートストリーム・デマルチプレクサ５６およびビデオＴ−ＳＴＤ６０、または図５に示したプログラムストリームまたはトランスポートストリームの復号機能部は、一般に従来のアーキテクチャにより構成された、１つ以上のプロセッサ１６１、ランダムアクセスメモリ１６２、リードオンリメモリ１６３、Ｉ／Ｏデバイス１６４（ビットストリームの送受信のための適切なアダプタを含む）、ユーザ・インタフェース１６５、ＣＤ−ＲＯＭドライブ１６６、およびハードディスクドライブ１６７を備える、コンピュータを用いて実装できる。このコンピュータは、ハードディスクドライブ１６７またはＣＤ−ＲＯＭ１６８などコンピュータ可読媒体に記憶され、実行のためにランダムアクセスメモリ１６２へロードされるプログラムによって、動作する。このプログラムは、コンピュータが、入力アダプタを介して含まれる特定の入力信号を運ぶビットストリームを受信するとき、コンピュータが適切なバッファにメモリを割り当てるとともに他の適切な資源を利用し、図４および５に関連して記載した様々な動作を実行するように機能して、特定の出力信号を運ぶビットストリームを出力アダプタを介して送信する命令から構成されている。

【0043】

１つまたは２つの拡張層に関連してスケーラブルなビデオストリームについて記載したが、Ｈ．２６４／ＡＶＣに対する補遺Ｇでは７つまでの拡張層が可能であることが、当業者には認められる。また、スケーラブルなビデオに関して拡張層について記載したが、ＡＶＣ基本層に対する他の種類の拡張も可能であることも認められる。

【0044】

添付の特許請求の範囲では、Ｈ．２６４／ＡＶＣに関する参照文献において用いられる用語（シンタックス構造など）も用いているが、それは読手の簡便のためのものであり、Ｈ．２６４／ＡＶＣに記載されている特定のビデオ符号化に依存した方法、装置、およびコンピュータ可読媒体に、特許請求の範囲を限定することを意図したものではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7】