特許 5686594 スケーラブル・ビデオ符号化のためのビデオ・ユーザビリティ情報（ＶＵＩ）用の方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5686594

(24)【登録日】2015年1月30日

(45)【発行日】2015年3月18日

(54)【発明の名称】スケーラブル・ビデオ符号化のためのビデオ・ユーザビリティ情報（ＶＵＩ）用の方法及び装置

(51)【国際特許分類】

   H04N 19/00 20140101AFI20150226BHJP

【ＦＩ】

   H04N19/00

【請求項の数】2

【全頁数】21

(21)【出願番号】特願2010-503005(P2010-503005)

(86)(22)【出願日】2008年3月20日

(65)【公表番号】特表2010-524394(P2010-524394A)

(43)【公表日】2010年7月15日

(86)【国際出願番号】US2008003655

(87)【国際公開番号】WO2008127536

(87)【国際公開日】20081023

【審査請求日】2011年3月18日

【審判番号】不服2013-13815(P2013-13815/J1)

【審判請求日】2013年7月18日

(31)【優先権主張番号】60/911,490

(32)【優先日】2007年4月12日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ルオ，ジアンコン

(72)【発明者】

【氏名】イン，ペン

(72)【発明者】

【氏名】ズー，リホア

【合議体】

【審判長】 渡邊 聡

【審判官】 藤井 浩

【審判官】 小池 正彦

(56)【参考文献】

【文献】 特開２００４−４０７３９（ＪＰ，Ａ）

【文献】 国際公開第２００５／１１２４６４（ＷＯ，Ａ１）

【文献】 Ｗｉｅｇａｎｄ Ｔ．，ｅｔ ａｌ，Ｊｏｉｎｔ Ｄｒａｆｔ ９ ｏｆ ＳＶＣ Ａｍｅｎｄｍｅｎｔ ｗｉｔｈ ｐｒｏｐｏｓｅｄ ｃｈａｎｇｅｓ，Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ （ＪＶＴ） ｏｆ ＩＳＯ／ＩＥＣ ＭＰＥＧ ＆ ＩＴＵ−Ｔ ＶＣＥＧ （ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ａｎｄ ＩＴＵ−Ｔ ＳＧ１６ Ｑ．６） ＪＶＴ−Ｖ２０２ ＡｎｎｅｘＧ，２００７年 １月１３日，ｐ．３３４−３４９

【文献】 Ｚｈｕ Ｌ．，ｅｔ ａｌ，ＳＶＣ Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ，Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ （ＪＶＴ） ｏｆ ＩＳＯ／ＩＥＣ ＭＰＥＧ ＆ ＩＴＵ−Ｔ ＶＣＥＧ （ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ａｎｄ ＩＴＵ−Ｔ ＳＧ１６ Ｑ．６） ＪＶＴ−Ｖ０６８，２００７年 １月１３日，ｐ１−１０

(58)【調査した分野】（Int.Cl.，ＤＢ名）

H04N 7/26 - 7/50

(57)【特許請求の範囲】

【請求項1】

ビデオ信号データをビットストリームからデコードし、前記ビットストリームにおける相互接続点の組について、デコードされたビデオ信号データからビットストリーム制限情報を決定するデコーダを有し、
前記ビットストリーム制限情報は、
（１）モーションがピクチャ境界をまたいでいるかどうか、
（２）ピクチャごとの最大バイト、
（３）マクロブロックごとの最大ビット、
（４）最大モーションベクトル長さ、
（５）フレームを並べ替える数、及び
（６）最大のデコードフレームバッファサイズ
のうちの少なくとも１つを特定する、
スケーラブルビデオ復号化装置。

【請求項2】

スケーラブルビデオ復号化装置が行う方法であって、
ビデオ信号データをビットストリームからデコードするステップと、
前記ビットストリームにおける相互接続点の組について、デコードされたビデオ信号データからビットストリーム制限情報を決定するステップと、
を含み、
前記ビットストリーム制限情報は、
（１）モーションがピクチャ境界をまたいでいるかどうか、
（２）ピクチャごとの最大バイト、
（３）マクロブロックごとの最大ビット、
（４）最大モーションベクトル長さ、
（５）フレームを並べ替える数、及び
（６）最大のデコードフレームバッファサイズ
のうちの少なくとも１つを特定する、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本原理は、概して、映像のエンコーディング及びデコーディングに関し、より具体的に、スケーラブル・ビデオ符号化（ＳＶＣ（scalable video coding））のためのビデオ・ユーザビリティ情報（ＶＵＩ（video usability information））用の方法及び装置に関する。

【背景技術】

【0002】

国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）ＭＰＥＧ（Moving Picture Experts Group）−４ Ｐａｒｔ１０ ＡＶＣ（Advanced Video Coding）標準／国際電気通信連合国際通信標準化部門（ＩＴＵ−Ｔ）Ｈ．２６４勧告（以下、「ＭＰＥＧ−４ＡＶＣ標準」）は、シーケンス・パラメータ・セットのビデオ・ユーザビリティ情報（ＶＵＩ）パラメータの構文及びセマンティクスを特定する。ＶＵＩは、アスペクト比、過走査（over-scanning）、ビデオ信号タイプ、色配置、タイミング、ネットワーク・アブストラクション・レイヤ（ＮＡＬ（Network Abstraction Layer））仮想リファレンスデコーダ（ＨＲＤ（Hypothetical Reference Decoder））パラメータ、バーチャル符号化レイヤ（ＶＣＬ（Virtual Coding Layer））ＨＲＤパラメータ、ビットストリーム制限、及びその他を含む。ＭＰＥＧ−４ＡＶＣ標準でのＶＵＩパラメータの構文が表１に示されている。

【0003】

【表1】

ＶＵＩは、様々な目的のためにユーザにビットストリームに関する余分の情報を提供する。例えば、ビットストリーム制限情報で、ＶＵＩは、（１）モーションがピクチャ境界をまたいでいるかどうか、（２）ピクチャごとの最大バイト、（３）マクロブロックごとの最大ビット、（４）最大モーションベクトル長さ（水平及び垂直）、（５）フレームを並べ替える数、及び（６）最大のデコードフレームバッファサイズを特定する。デコーダが情報を見る場合に、ビットストリームが実際に必要とするよりも一般に高いデコーディング要求を設定するよう「レベル」情報を用いる代わりに、デコーダは、よりきつい制限に基づいて自身のデコーディング動作をカスタマイズすることができる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本原理は、先行技術の上記の及び他の欠点及び不利な点に対処すべく、スケーラブル・ビデオ符号化（ＳＶＣ）のためのビデオ・ユーザビリティ情報（ＶＵＩ）用の方法及び装置を提供することを目的とする。

【課題を解決するための手段】

【0005】

本原理の一側面に従って、装置が提供される。当該装置は、ビデオ信号データをビットストリームにエンコードするエンコーダを有する。このエンコーダは、少なくとも１つの高レベル構文要素を用いて前記ビットストリームで仮想リファレンスデコーダパラメータを除くビデオ・ユーザビリティ情報を特定する。また、ビデオ・ユーザビリティ情報は、スケーラブル・ビデオ符号化に関連する前記ビットストリームでの相互接続点の組に対応する。

【0006】

本原理の他の側面に従って、方法が提供される。当該方法は、ビデオ信号データをビットストリームにエンコードするステップを有する。斯かるエンコードするステップは、少なくとも１つの高レベル構文要素を用いて前記ビットストリームで仮想リファレンスデコーダパラメータを除くビデオ・ユーザビリティ情報を特定するステップを有する。また、ビデオ・ユーザビリティ情報は、スケーラブル・ビデオ符号化に関連する前記ビットストリームでの相互接続点の組に対応する。

【0007】

本原理の更なる他の側面に従って、装置が提供される。当該装置は、ビデオ信号データをビットストリームからデコードするデコーダを有する。このデコーダは、少なくとも１つの高レベル構文要素を用いて前記ビットストリームから仮想リファレンスデコーダパラメータを除くビデオ・ユーザビリティ情報を決定する。また、ビデオ・ユーザビリティ情報は、スケーラブル・ビデオ符号化に関連する前記ビットストリームでの相互接続点の組に対応する。

【0008】

本原理の更なる他の側面に従って、方法が提供される。当該方法は、ビデオ信号データをビットストリームからデコードするステップを有する。斯かるデコードするステップは、少なくとも１つの高レベル構文要素を用いて前記ビットストリームから仮想リファレンスデコーダパラメータを除くビデオ・ユーザビリティ情報を決定するステップを有する。また、ビデオ・ユーザビリティ情報は、スケーラブル・ビデオ符号化に関連する前記ビットストリームでの相互接続点の組に対応する。

【0009】

本原理のこれらの及び他の側面、特徴及び利点は、添付の図面に関連して読まれるべき、実施例に係る以下の詳細な記載から明らかになるであろう。

【図面の簡単な説明】

【0010】

【図1】本原理が適用される例となるスケーラブル・ビデオエンコーダのブロック図である。

【図2】本原理が適用される例となるスケーラブル・ビデオデコーダのブロック図である。

【図3】本原理の実施例に従う、ビデオ・ユーザビリティ情報（ＶＵＩ）をエンコードする例となる方法のフロー図である。

【図4】本原理の実施例に従う、ビデオ・ユーザビリティ情報（ＶＵＩ）をデコードする例となる方法のフロー図である。

【図5】本原理の実施例に従う、ＭＰＥＧ−４ＡＶＣ標準の時間サプリメンタル・エンハンスメント情報（ＳＥＩ）メッセージをエンコードする例となる方法のフロー図である。

【図6】本原理の実施例に従う、ＭＰＥＧ−４ＡＶＣ標準の時間サプリメンタル・エンハンスメント情報（ＳＥＩ）メッセージをデコードする例となる方法のフロー図である。

【発明を実施するための形態】

【0011】

本原理は、図面に表される実施例に従ってより良く理解され得る。

【0012】

本原理は、スケーラブル・ビデオ符号化（ＳＶＣ）のためのビデオ・ユーザビリティ情報（ＶＵＩ）用の方法及び装置を対象とする。

【0013】

本明細書は本原理を明らかにするものである。よって、当然に、当業者は、たとえここで明示的に記載又は図示されていないとしても、本原理を具現し且つその精神及び適用範囲の中に包含される様々な配置に想到することができる。

【0014】

ここに挙げられている全ての例及び条件付きの用語は、本発明者が当該技術の発達に寄与する概念及び本原理を読む者が理解する助けとなるよう教育上の目的のためのものであり、このような具体的に挙げられている例及び条件に限定されないと解されるべきである。

【0015】

更に、本明細書中で本原理の原理、側面、及び実施形態並びにそれらの具体例を挙げている全ての記載は、それらの構造上及び機能上等価なものを包含するよう意図されている。加えて、斯かる等価なものは、現在知られているもの及び将来的に開発されるもの（すなわち、構造とは無関係に同じ機能を実行するよう開発されたあらゆる要素）の両方を含むよう意図されている。

【0016】

従って、例えば、当業者には当然のことながら、ここに表されているブロック図は、本原理を具現する実例となる回路の概念図を表している。同様に、当然に、あらゆるフローチャート、フロー図、状態遷移図、擬似コード、及びその他は、実質上コンピュータ読み取り可能な媒体で表され且つコンピュータ又はプロセッサによって（このようなコンピュータ又はプロセッサが明示されているか否かによらず）そのように実行されうる様々な処理を表す。

【0017】

図中に示されている様々な要素の機能は、適切なソフトウェアに関連して専用のハードウェア及びソフトウェアを実行可能なハードウェアの使用を通して提供されてよい。プロセッサによって提供される場合に、機能は、単一の共有プロセッサによって、又は複数の個々のプロセッサ（それらの一部は共有されてよい。）によって、提供されてよい。更に、用語「プロセッサ」又は「コントローラ」の明示的な使用は、専らソフトウェアを実行可能なハードウェアを参照していると解されるべきではなく、限定なくデジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶する読出専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、及び不揮発性記憶装置を暗に含みうる。

【0018】

従来及び／又はカスタムの他のハードウェアも含まれてよい。同様に、図中に示されているあらゆるスイッチは概念にすぎない。それらの機能は、プログラムロジックの動作を通して、専用のロジックを通して、プログラム制御及び専用のロジックの相互作用を通して、又は手動で実行されてよく、また、特定の技術は、より具体的に文脈から理解されるように、実施する者によって選択可能である。

【0019】

特許請求の範囲で、特定の機能を実行する手段として表現されている如何なる要素も、例えば、ａ）その機能を実行する回路要素の組み合わせ又はｂ）あらゆる形態のソフトウェアを含み、従って、機能を実行するようそのソフトウェアを実行するための適切な回路と結合されたファームウェア、マイクロコード、又はその他を含む、その機能を実行するあらゆる方法を包含するよう意図される。斯かる特許請求の範囲によって定義される本原理は、挙げられている様々な手段によって提供される機能が、特許請求の範囲が求めている方法で結合されてまとめられるという事実にある。このようにして、斯かる機能性を提供することができる如何なる手段もここで示される手段と等価であると考えられる。

【0020】

本原理の「一実施例」又は「実施例」という明細書中の参照は、その実施例に関連して記載される特定の機能、特徴、構造及びその他が、本原理の少なくとも１つの実施例に含まれることを意味する。よって、本明細書中の様々な箇所で現れるフレーズ「一実施例で」又は「実施例で」は、必ずしも全てが同じ実施例を参照しているわけではない。

【0021】

当然に、用語「及び／又は」の使用（例えば、「Ａ及び／又はＢ」の場合）は、最初に挙げられている選択肢（Ａ）の選択、２番目に挙げられている選択肢（Ｂ）の選択、又は両方の選択肢（Ａ及びＢ）の選択を包含するよう意図される。更なる例として、「Ａ、Ｂ及び／又はＣ」の場合に、斯かる言い回しは、最初に挙げられている選択肢（Ａ）の選択、２番目に挙げられている選択肢（Ｂ）の選択、３番目に挙げられている選択肢（Ｃ）の選択、最初及び２番目に挙げられている選択肢（Ａ及びＢ）の選択、最初及び３番目に挙げられている選択肢（Ａ及びＣ）の選択、２番目及び３番目に挙げられている選択肢（Ｂ及びＣ）の選択、又は３つ全ての選択肢（Ａ及びＢ及びＣ）の選択を包含するよう意図される。これは、挙げられている多くの物に関して、当業者には容易に理解されるように、拡張されてよい。

【0022】

更に、当然に、本原理の１又はそれ以上の実施例はＭＰＥＧ−４ＡＶＣ標準に関連してここでは記載されるが、本原理はこの標準に限定されず、従って、本原理の精神を保ちながら、ＭＰＥＧ−４ＡＶＣ標準の拡張を含む他のビデオ符号化標準、勧告、及びそれらの拡張に対して利用されてよい。

【0023】

ここで用いられるように、「高レベル構文」は、階層的にマクロブロックレイヤの上にあるビットストリームに存在する構文をいう。例えば、高レベル構文は、ここで用いられるように、スライス・ヘッダレベル、サプリメンタル・エンハンスメント情報（ＳＥＩ）レベル、ピクチャ・パラメータ・セット（ＰＰＳ）レベル、シーケンス・パラメータ・セット（ＳＰＳ）レベル及びネットワーク・アブストラクション・レイヤ（ＮＡＬ）ユニット・ヘッダレベルでの構文をいうが、これらに限定されない。

【0024】

スケーラブル・ビデオ符号化（ＳＶＣ）は、ＭＰＥＧ−４ＡＶＣ標準への拡張（アネックスＧ）である。ＳＶＣで、ビデオ信号は、ピラミッド形で構成されたベース・レイヤ及び１又はそれ以上のエンハンスメント・レイヤにエンコードされ得る。エンハンスメント・レイヤは、他のレイヤ又はその一部によって表されるビデオコンテンツの時間分解能（すなわち、フレームレート）、空間分解能、又は単に品質を高める。各レイヤは、全てのその依存レイヤとともに、或る空間分解能、時間分解能、及び品質レベルにおけるビデオ信号の１つの表現である。各レイヤは、或る空間分解能、時間分解能及び品質レベルでのビデオ信号をデコードすることを必要とする全てのその依存するレイヤとともに、動作点とも呼ばれる相互接続点（ＩＯＰ（interoperability point））によって表される。ＳＶＣビットストリームは、ビットストリームが拡大縮小可能であるという事実に少なくとも部分的に起因して、通常、複数のＩＯＰを有する。斯かるビットストリームは、例えば、空間的に、時間的に、及び信号対雑音比（ＳＮＲ）において、拡大縮小可能であってよい。拡大縮小可能なアスペクトに対応するサブビットストリームは、ビットストリームから取り出されてよい。

【0025】

図１を参照すると、本発明が適用されうる例となるスケーラブル・ビデオエンコーダが、概して参照符号１００で示されている。

【0026】

時間分割モジュール１４２の第１出力部は、イントラブロック用イントラ予測モジュール１４６の第１入力部と信号通信するよう接続されている。時間分割モジュール１４２の第２出力部は、モーション符号化モジュール１４４の第１入力部と信号通信するよう接続されている。イントラブロック用イントラ予測モジュール１４６の出力部は、変換／エントロピー符号器（信号対雑音比（ＳＮＲ）スケーラブル）１４９の入力部と信号通信するよう接続されている。変換／エントロピー符号器１４９の第１出力部は、マルチプレクサ１７０の第１入力部と信号通信するよう接続されている。

【0027】

時間分割モジュール１３２の第１出力部は、イントラブロック用イントラ予測モジュール１３６の第１入力部と信号通信するよう接続されている。時間分割モジュール１３２の第２出力部は、モーション符号化モジュール１３４の第１入力部と信号通信するよう接続されている。イントラブロック用イントラ予測モジュール１３６の出力部は、変換／エントロピー符号器（信号対雑音比（ＳＮＲ）スケーラブル）１３９の入力部と信号通信するよう接続されている。変換／エントロピー符号器１２９の第１出力部は、マルチプレクサ１７０の第１入力部と信号通信するよう接続されている。

【0028】

変換／エントロピー符号器１４９の第２出力部は、２次元空間補間モジュール１３８の入力部と信号通信するよう接続されている。モーション符号化モジュール１４４の第２出力部は、モーション符号化モジュール１３４の入力部と信号通信するよう接続されている。

【0029】

時間分割モジュール１２２の第１出力部は、イントラ予測器１２６の第１入力部と信号通信するよう接続されている。時間分割モジュール１３２の第２出力部は、モーション符号化モジュール１２４の第１入力部と信号通信するよう接続されている。イントラ予測器１２６の出力部は、変換／エントロピー符号器（信号対雑音比（ＳＮＲ）スケーラブル）１２９の入力部と信号通信するよう接続されている。変換／エントロピー符号器１２９の第１出力部は、マルチプレクサ１７０の第１入力部と信号通信するよう接続されている。

【0030】

変換／エントロピー符号器１３９の第２出力部は、２次元空間補間モジュール１２８の入力部と信号通信するよう接続されている。モーション符号化モジュール１３４の第２出力部は、モーション符号化モジュール１３４の入力部と信号通信するよう接続されている。

【0031】

モーション符号化モジュール１２４の第１出力部、モーション符号化モジュール１３４の第１出力部、及びモーション符号化モジュール１４４の第１出力部は夫々、マルチプレクサ１７０の第２入力部と信号通信するよう接続されている。

【0032】

２次元空間デシメーションモジュール１０４の第１出力部は、時間分割モジュール１３２の入力部と信号通信するよう接続されている。２次元空間デシメーションモジュール１０４の第２出力部は、時間分割モジュール１４２の入力部と信号通信するよう接続されている。

【0033】

時間分割モジュール１２２の入力部及び２次元空間デシメーションモジュール１０４の入力部は、入力ビデオ１０２を受信するエンコーダ１００の入力部として利用可能である。

【0034】

マルチプレクサ１７０の出力部は、ビットストリーム１８０を供給するエンコーダ１００の出力部として利用可能である。

【0035】

時間分割モジュール１２２、時間分割モジュール１３２、時間分割モジュール１４２、モーション符号化モジュール１２４、モーション符号化モジュール１３４、モーション符号化モジュール１４４、イントラ予測器１２６、イントラ予測器１３６、イントラ予測器１４６、変換／エントロピー符号器１２９、変換／エントロピー符号器１３９、変換／エントロピー符号器１４９、２次元空間補間モジュール１２８、及び２次元空間補間モジュール１３８は、エンコーダ１００のコアエンコーダ部分１８７に含まれている。

【0036】

図２を参照すると、本発明が適用されうる例となるスケーラブル・ビデオデコーダが、概して参照符号２００によって示されている。デマルチプレクサ２０２の入力部は、スケーラブル・ビットストリームを受信するスケーラブル・ビデオデコーダ２００への入力部として利用可能である。デマルチプレクサ２０２の第１出力部は、空間逆変換ＳＮＲスケーラブル・エントロピー復号器２０４の入力部と信号通信するよう接続されている。空間逆変換ＳＮＲスケーラブル・エントロピー復号器２０４の第１出力部は、予測モジュール２０６の第１入力部と信号通信するよう接続されている。予測モジュール２０６の出力部は、結合器２３０の第１入力部と信号通信するよう接続されている。

【0037】

空間逆変換ＳＮＲスケーラブル・エントロピー復号器２０４の第２出力部は、モーションベクトル（ＭＶ）復号器２１０の第１入力部と信号通信するよう接続されている。ＭＶ復号器２１０の出力部は、モーション補償器２３２の入力部と信号通信するよう接続されている。モーション補償器２３２の出力部は、結合器２３０の第２入力部と信号通信するよう接続されている。

【0038】

デマルチプレクサ２０２の第２出力部は、空間逆変換ＳＮＲスケーラブル・エントロピー復号器２１２の入力部と信号通信するよう接続されている。空間逆変換ＳＮＲスケーラブル・エントロピー復号器２１２の第１出力部は、予測モジュール２１４の第１入力部と信号通信するよう接続されている。予測モジュール２１４の第１出力部は、補間モジュール２１６の入力部と信号通信するよう接続されている。補間モジュール２１６の出力部は、予測モジュール２０６の第２入力部と信号通信するよう接続されている。予測モジュール２１４の第２出力部は、結合器２４０の第１入力部と信号通信するよう接続されている。

【0039】

空間逆変換ＳＮＲスケーラブル・エントロピー復号器２１２の第２出力部は、ＭＶ復号器２２０の第１入力部と信号通信するよう接続されている。ＭＶ復号器２２０の第１出力部は、ＭＶ復号器２１０の第２入力部と信号通信するよう接続されている。ＭＶ復号器２２０の第２出力部は、モーション補償器２４２の入力部と信号通信するよう接続されている。モーション補償器２４２の出力部は、結合器２４０の第２入力部と信号通信するよう接続されている。

【0040】

デマルチプレクサ２０２の第３出力部は、空間逆変換ＳＮＲスケーラブル・エントロピー復号器２２２の入力部と信号通信するよう接続されている。空間逆変換ＳＮＲスケーラブル・エントロピー復号器２２２の第１出力部は、予測モジュール２２４の入力部と信号通信するよう接続されている。予測モジュール２２４の第１出力部は、補間モジュール２２６の入力部と信号通信するよう接続されている。補間モジュール２２６の出力部は、予測モジュール２１４の第２入力部と信号通信するよう接続されている。

【0041】

予測モジュール２２４の第２出力部は、結合器２５０の第１入力部と信号通信するよう接続されている。空間逆変換ＳＮＲスケーラブル・エントロピー復号器２２２の第２出力部は、ＭＶ復号器２３０の入力部と信号通信するよう接続されている。ＭＶ復号器２３０の第１出力部は、ＭＶ復号器２２０の第２入力部と信号通信するよう接続されている。ＭＶ復号器２３０の第２出力部は、モーション補償器２５２の入力部と信号通信するよう接続されている。モーション補償器２５２の出力部は、結合器２５０の第２入力部と信号通信するよう接続されている。

【0042】

結合器２５０の出力部は、レイヤ０信号を出力するデコーダ２００の出力部として利用可能である。結合器２４０の出力部は、レイヤ１信号を出力するデコーダ２００の出力部として利用可能である。結合器２３０の出力部は、レイヤ２信号を出力するデコーダ２００の出力部として利用可能である。

【0043】

ここで、スケーラブル・ビデオ符号化（ＳＶＣ）用の仮想リファレンスデコーダ（ＨＲＤ）のためにネットワーク・アブストラクション・レイヤ（ＮＡＬ）仮想リファレンスデコーダ（ＨＲＤ）パラメータ及びバーチャル符号化レイヤ（ＶＣＬ）ＨＲＤパラメータを変更することを提案する。なお、ＶＵＩに含まれる他の情報、具体的に、ビットストリーム制限情報は考慮されない。従って、本原理に従って、ＳＶＣでの付加的なＶＵＩ情報のための改良が提案される。

【0044】

このようにして、本原理に従って、スケーラブル・ビデオ符号化（ＳＶＣ）のためのＭＰＥＧ−４ＡＶＣ標準ビデオ・ユーザビリティ情報（ＶＵＩ）を変更することを提案する。実施例で、ＶＵＩは、ＳＶＣの各相互接続点（ＩＯＰ）について定義される。具体的に、ＶＵＩに含まれるビットストリーム制限情報と、ＳＶＣのためにどのようにビットストリーム制限情報を変更すべきかとが考慮される。また、ＭＰＥＧ−４ＡＶＣ標準に準拠する場合についてＶＵＩ情報を伝達するためにどのようにサプリメンタル・エンハンスメント情報（ＳＥＩ）メッセージを用いるべきかが考慮される。

【0045】

目下、ビデオＶＵＩに含まれる仮想リファレンスデコーダパラメータはスケーラブル・ビデオ符号化のために各ＩＯＰについて設定されるが、他のＶＵＩ情報は、ビットストリームについてひと組のＶＵＩパラメータしか使用しない。デコーダは（ＩＯＰに対応する）ビデオ信号のサブセットしかデコードしないと考えられるので、送信され及びデコードされる必要がある各ＩＯＰに対応するデータのサイズは、ＩＯＰごとに様々である。従って、仮想リファレンスデコーダパラメータに加えて、他の何らかのＶＵＩ情報が何らかの情報について各ＩＯＰへ又はＩＯＰの組へ送信されるべきである、と考えられる。具体的に、ＶＵＩに含まれるビットストリーム制限情報が考えられている。

【0046】

実施例では、一例として、ビットストリーム制限情報が用いられる。なお、当然のことながら、他のＶＵＩ情報も本原理に従って使用されてよい。すなわち、本明細書で与えられる本原理の教示を前提として、当業者は、本原理の精神を保ちながら、本原理が適用されうるこれらの及び他の様々なタイプのＶＵＩ情報を企図しうる。

【0047】

一実施例で、同じビットストリーム制限情報を共有するＩＯＰの組が提案される。例えば、同じdependency_idを有するレイヤは全て、同じビットストリーム制限情報を共有する。

【0048】

他の実施例で、各ＩＯＰについてビットストリーム制限情報は定義される。ＩＯＰは、dependency_id、temporal_id及びquality_idの組み合わせによって一意に識別され得る。ｉがＩＯＰのインデックスであるとすると、ビットストリーム制限情報は下記の構文を含む。

【0049】

bitstream_restriction_flag[i]−現在のスケーラブル・レイヤに係るビットストリーム制限情報がＳＥＩメッセージに存在することを示す。０に等しいbitstream_restriction_flag[i]は、dependency_id[i]に等しいdependency_idと、temporal_id[i]に等しいtemporal_idと、quality_id[i]に等しいquality_idとを有するスケーラブル・レイヤに係るビットストリーム制限情報がＳＥＩメッセージに存在しないことを示す。

【0050】

motion_vectors_over_pic_boundaries_flag[i]−dependency_id[i]に等しいdependency_idと、temporal_id[i]に等しいtemporal_idと、quality_id[i]に等しいquality_idとを有するスケーラブル・レイヤのmotion_vectors_over_pic_boundaries_flagの値を示す。motion_vectors_over_pic_boundaries_flag[i]構文要素が存在しない場合は、dependency_id[i]に等しいdependency_idと、temporal_id[i]に等しいtemporal_idと、quality_id[i]に等しいquality_idとを有するスケーラブル・レイヤのmotion_vectors_over_pic_boundaries_flagの値は、１に等しいと推測されるものとする。

【0051】

max_bytes_per_pic_denom[i]−dependency_id[i]に等しいdependency_idと、temporal_id[i]に等しいtemporal_idと、quality_id[i]に等しいquality_idとを有するスケーラブル・レイヤのmax_bytes_per_pic_denomの値を示す。max_bytes_per_pic_denom[i]構文要素が存在しない場合は、dependency_id[i]に等しいdependency_idと、temporal_id[i]に等しいtemporal_idと、quality_id[i]に等しいquality_idとを有するスケーラブル・レイヤのmax_bytes_per_pic_denomの値は、２に等しいと推測されるものとする。

【0052】

max_bits_per_mb_denom[i]−dependency_id[i]に等しいdependency_idと、temporal_id[i]に等しいtemporal_idと、quality_id[i]に等しいquality_idとを有するスケーラブル・レイヤのmax_bits_per_mb_denomの値を示す。max_bits_per_mb_denom[i]が存在しない場合は、dependency_id[i]に等しいdependency_idと、temporal_id[i]に等しいtemporal_idと、quality_id[i]に等しいquality_idとを有するスケーラブル・レイヤのmax_bits_per_mb_denomの値は、１に等しいと推測されるものとする。

【0053】

log2_max_mv_length_horizontal[i]及びlog2_max_mv_length_vertical[i]−dependency_id[i]に等しいdependency_idと、temporal_id[i]に等しいtemporal_idと、quality_id[i]に等しいquality_idとを有するスケーラブル・レイヤのlog2_max_mv_length_horizontal及びlog2_max_mv_length_verticalの値を示す。log2_max_mv_length_horizontal[i]が存在しない場合は、dependency_id[i]に等しいdependency_idと、temporal_id[i]に等しいtemporal_idと、quality_id[i]に等しいquality_idとを有するスケーラブル・レイヤのlog2_max_mv_length_horizontal及びlog2_max_mv_length_verticalの値は、１６に等しいと推測されるものとする。

【0054】

num_reorder_frames[i]−dependency_id[i]に等しいdependency_idと、temporal_id[i]に等しいtemporal_idと、quality_id[i]に等しいquality_idとを有するスケーラブル・レイヤのnum_reorder_framesの値を示す。num_reorder_frames[i]の値は、０からmax_dec_frame_bufferingまでの範囲において包括的であるものとする。num_reorder_frames[i]構文要素が存在しない場合は、dependency_id[i]に等しいdependency_idと、temporal_id[i]に等しいtemporal_idと、quality_id[i]に等しいquality_idとを有するスケーラブル・レイヤのnum_reorder_framesの値は、max_dec_frame_bufferingに等しいと推測されるものとする。

【0055】

max_dec_frame_buffering[i]−dependency_id[i]に等しいdependency_idと、temporal_id[i]に等しいtemporal_idと、quality_id[i]に等しいquality_idとを有するスケーラブル・レイヤのmax_dec_frame_bufferingの値を示す。max_dec_frame_buffering[i]の値は、（ＭＰＥＧ−４ＡＶＣ標準における従属節Ａ．３．１又はＡ．３．２で特定される）num_ref_frames[i]からMaxDpbSizeまでの範囲において包括的であるものとする。max_dec_frame_buffering[i]構文要素が存在しない場合は、dependency_id[i]に等しいdependency_idと、temporal_id[i]に等しいtemporal_idと、quality_id[i]に等しいquality_idとを有するスケーラブル・レイヤのmax_dec_frame_bufferingの値は、MaxDpbSizeに等しいと推測されるものとする。

【0056】

更に、表２は、各ＩＯＰについてビットストリーム制限情報を定義することに関連して本実施例について提案されるＶＵＩ構文を含む。

【0057】

【表2】

図３を参照すると、ビデオ・ユーザビリティ情報（ＶＵＩ）をエンコードする例となる方法が、概して参照符号３００によって示されている。

【0058】

方法３００は、制御を決定ブロック３１０に渡す開始ブロック３０５を有する。決定ブロック３１０は、profile_idcがＳＶＣに等しいか否かを決定する。profile_idcがＳＶＣに等しい場合は、制御は機能ブロック３１５に渡される。そうでない場合は、制御は機能ブロック３５０に渡される。

【0059】

機能ブロック３１５は変数Ｍをレイヤの数−１に等しく設定し、制御を機能ブロック３２０に渡す。機能ブロック３２０は変数Ｍをビットストリームに書き込み、制御を機能ブロック３２５に渡す。機能ブロック３２５は変数ｉを零に等しく設定し、制御を機能ブロック３３０に渡す。機能ブロック３３０はレイヤｉのtemporal_level、dependency_id、及びquality_levelをビットストリームに書き込み、制御を機能ブロック３３５に渡す。機能ブロック３３５は、レイヤｉのタイミング情報及びＨＲＤパラメータをビットストリームに書き込み、制御を機能ブロック３４０に渡す。機能ブロック３４０はレイヤｉのビットストリーム制限情報をビットストリームに書き込み、制御を決定ブロック３４５に渡す。決定ブロック３４５は、変数ｉが変数Ｍに等しいか否かを決定する。変数ｉが変数Ｍに等しい場合は、制御は終了ブロック３９９に渡される。そうでない場合は、制御は機能ブロック３６０に渡される。

【0060】

機能ブロック３５０はタイミング情報及びＨＲＤパラメータをビットストリームに書き込み、制御を機能ブロック３５５に渡す。機能ブロック３５５はビットストリーム制限情報をビットストリームに書き込み、制御を終了ブロック３９９に渡す。

【0061】

機能ブロック３６０は変数ｉを１だけ増分し、制御を機能ブロック３３０に戻す。

【0062】

図４を参照すると、ビデオ・ユーザビリティ情報（ＶＵＩ）をデコードする例となる方法が、概して参照符号４００によって示されている。

【0063】

方法４００は、制御を決定ブロック４１０に渡す開始ブロック４０５を有する。決定ブロック４１０は、profile_idcがＳＶＣに等しいか否かを決定する。profile_idcがＳＶＣに等しい場合は、制御は機能ブロック４１５に渡される。そうでない場合は、制御は機能ブロック４５０に渡される。

【0064】

機能ブロック４１５は変数Ｍをビットストリームから読み出し、制御を機能ブロック４２０に渡す。機能ブロック４２０はレイヤの数をＭ＋１に等しく設定し、制御を機能ブロック４２５に渡す。機能ブロック４２５は変数ｉを零に等しく設定し、制御を機能ブロック４３０に渡す。機能ブロック４３０はレイヤｉのtemporal_level、dependency_id、及びquality_levelをビットストリームから読み出し、制御を機能ブロック４３５に渡す。機能ブロック４３５は、レイヤｉのタイミング情報及びＨＲＤパラメータをビットストリームから読み出し、制御を機能ブロック４４０に渡す。機能ブロック４４０はレイヤｉのビットストリーム制限情報をビットストリームから読み出し、制御を決定ブロック４４５に渡す。決定ブロック４４５は、変数ｉが変数Ｍに等しいか否かを決定する。変数ｉが変数Ｍに等しい場合は、制御は終了ブロック４９９に渡される。そうでない場合は、制御は機能ブロック４６０に渡される。

【0065】

機能ブロック４５０はタイミング情報及びＨＲＤパラメータをビットストリームから読み出し、制御を機能ブロック４５５に渡す。機能ブロック４５５はビットストリーム制限情報をビットストリームから読み出し、制御を終了ブロック４９９に渡す。

【0066】

機能ブロック４６０は変数ｉを１だけ増分し、制御を機能ブロック４３０に戻す。

【0067】

ＳＶＣは、ベース・レイヤがＭＰＥＧ−４ＡＶＣ標準と互換性を有することを必要とした。しかし、ＭＰＥＧ−４ＡＶＣ標準に準拠するビットストリームは複数の時間レイヤを有することがある。本原理の実施例に従って、ＭＰＥＧ−４ＡＶＣ標準に準拠するレイヤにおいて異なる時間レイヤについてビットストリーム制限情報を伝達するために高レベル構文を用いることが提案される。一実施例で、サプリメンタル・エンハンスメント情報（ＳＥＩ）メッセージが使用される。当然、本原理は、高レベル構文に関してＳＥＩメッセージの使用にのみ限定されず、従って、他の高レベル構文も、本原理の精神を保ちながら、本原理に従って使用されてよい。表３は、本原理の実施例に従って、提案されるＡＶＣ時間ビデオ・ユーザビリティ情報（ＶＵＩ）サプリメンタル・エンハンスメント情報（ＳＥＩ）メッセージを表す。以下の構文定義は、表３に挙げられている構文に適用する。

【0068】

【表3】

図５を参照すると、ＭＰＥＧ−４ＡＶＣ標準時間サプリメンタル・エンハンスメント情報（ＳＥＩ）メッセージをエンコードする例となる方法が、概して参照符号５００によって示されている。

【0069】

方法５００は、制御を機能ブロック５１０に渡す開始ブロック５０５を有する。機能ブロック５１０は、変数Ｍを、ベース・レイヤにおける時間サブセットの数−１に等しく設定し、制御を機能ブロック５１５に渡す。機能ブロック５１５は変数Ｍをビットストリームに書き込み、制御を機能ブロック５２０に渡す。機能ブロック５２０は変数ｉを零に等しく設定し、制御を機能ブロック５２５に渡す。機能ブロック５２５はレイヤｉのtemporal_levelをビットストリームに書き込み、制御を機能ブロック５３０に渡す。機能ブロック５３０はレイヤｉのビットストリーム制限情報をビットストリームに書き込み、制御を決定ブロック５３５に渡す。決定ブロック５３５は、変数ｉが変数Ｍに等しいか否かを決定する。変数ｉが変数Ｍに等しい場合は、制御は終了ブロック５９９に渡される。そうでない場合は、制御は機能ブロック５４０に渡される。機能ブロック５４０は変数ｉを１だけ増分し、制御を機能ブロック５２５に渡す。

【0070】

図６を参照すると、ＭＰＥＧ−４ＡＶＣ標準時間サプリメンタル・エンハンスメント情報（ＳＥＩ）メッセージをデコードする例となる方法が、概して参照符号６００によって示されている。

【0071】

方法６００は、制御を機能ブロック６１０に渡す開始ブロック６０５を有する。機能ブロック６１０は、変数Ｍをビットストリームから読み出し、制御を機能ブロック６１５に渡す。機能ブロック６１５はベース・レイヤにおける時間サブセットの数を変数Ｍ＋１に等しく設定し、制御を機能ブロック６２０に渡す。機能ブロック６２０は変数ｉを零に等しく設定し、制御を機能ブロック６２５に渡す。機能ブロック６２５はレイヤｉのtemporal_levelをビットストリームから読み出し、制御を機能ブロック６３０に渡す。機能ブロック６３０はレイヤｉのビットストリーム制限情報をビットストリームから読み出し、制御を決定ブロック６３５に渡す。決定ブロック６３５は、変数ｉが変数Ｍに等しいか否かを決定する。変数ｉが変数Ｍに等しい場合は、制御は終了ブロック６９９に渡される。そうでない場合は、制御は機能ブロック６４０に渡される。

【0072】

機能ブロック６４０は変数ｉを１だけ増分し、制御を機能ブロック６２５に渡す。

【0073】

表４は、スケーラビリティ情報ＳＥＩメッセージに含まれるビットストリーム制限情報の他の実施を示す。

【0074】

【表4】

ここで、本発明の多数の付随する利点／特徴の幾つかに関する記載が与えられる。これらのうちの幾つかは上述されている。例えば、１つの利点／特徴は、ビデオ信号データをビットストリームにエンコードするエンコーダを有する装置である。このエンコーダは、少なくとも１つの高レベル構文要素を用いて前記ビットストリームで仮想リファレンスデコーダパラメータを除くビデオ・ユーザビリティ情報を特定する。また、ビデオ・ユーザビリティ情報は、スケーラブル・ビデオ符号化に関連する前記ビットストリームでの相互接続点の組に対応する。

【0075】

他の利点／特徴は、上述されるエンコーダを有する装置であり、前記エンコーダは、前記相互接続点の組を含め、スケーラブル・ビデオ符号化に関連する前記ビットストリームでの前記相互接続点の夫々について前記ビデオ・ユーザビリティ情報を特定する。

【0076】

更なる他の利点／特徴は、上述されるエンコーダを有する装置であり、前記エンコーダは、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ標準／ＩＴＵ−ＴＳ Ｈ．２６４勧告と互換性があるレイヤでスケーラブル・ビデオ符号化に関連する前記相互接続点の夫々について前記ビデオ・ユーザビリティ情報を特定する。

【0077】

更なる他の利点／特徴は、上述されるエンコーダを有する装置であり、前記ビデオ・ユーザビリティ情報はビットストリーム制限情報を有する。

【0078】

更に、他の利点／特徴は、前記ビデオ・ユーザビリティ情報がビットストリーム制限情報を有するところの前記エンコーダを有する装置であり、前記ビットストリーム制限情報は、motion_vectors_over_pic_boundaries_flag構文要素、max_bytes_per_pic_denom構文要素、max_bits_per_mb_denom構文要素、log2_max_mv_length_horizontal構文要素、log2_max_mv_length_vertical構文要素、num_reorder_frames構文要素、及びmax_dec_frame_buffering構文要素のうち少なくとも１つを有する。

【0079】

更に、他の利点／特徴は、上述されるエンコーダを有する装置であり、前記高レベル構文要素は、スライス・ヘッダレベル、シーケンス・パラメータ・セットレベル、ピクチャ・パラメータ・セットレベル、ネットワーク・アブストラクション・レイヤ・ユニット・ヘッダレベル、及びサプリメンタル・エンハンスメント情報メッセージに対応するレベルのうち少なくとも１つに対応する。

【0080】

また、他の利点／特徴は、上述されるエンコーダを有する装置であり、profile_idc構文要素は、スケーラブル・ビデオ符号化のために、又はＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ標準／ＩＴＵ−ＴＳ Ｈ．２６４勧告との整合性のために前記ビットストリームを区別するために用いられる。

【0081】

加えて、他の利点／特徴は、上述されるエンコーダを有する装置であり、前記エンコーダは、dependency_id構文要素、temporal_level構文要素、及びquality_level構文要素を、前記組に含まれる前記相互接続点の少なくとも夫々について、前記ビットストリームに書き込む。

【0082】

更に、他の利点／特徴は、上述されるエンコーダを有する装置であり、前記エンコーダは、temporal_level構文要素及びquality_level構文要素を、前記組に含まれる前記相互接続点の少なくとも夫々について、前記ビットストリームに書き込む。

【0083】

更に、他の利点／特徴は、上述されるエンコーダを有する装置であり、前記エンコーダは、temporal_level構文要素を、前記組に含まれる前記相互接続点の少なくとも夫々について、前記ビットストリームに書き込む。

【0084】

本原理のこれらの及び他の特徴及び利点は、本明細書中の教示に基づいて当業者によって容易に確かめられ得る。当然に、本原理の教示は、ハードウェア、ソフトウェア、特別目的のプロセッサ、又はそれらの組み合わせの様々な形で実施されてよい。

【0085】

最も望ましくは、本原理の教示は、ハードウェア及びソフトウェアの組み合わせとして実施される。更に、ソフトウェアは、プログラム記憶ユニットに実体的に現されるアプリケーションプログラムとして実施されてよい。アプリケーションプログラムは、何らかの適切なアーキテクチャを有するマシンにアップロードされ、そのマシンによって実行されてよい。望ましくは、マシンは、例えば、１又はそれ以上の中央演算処理ユニット（ＣＰＵ）、ランダムアクセスメモリ（ＲＡＭ）、及び入出力（Ｉ／Ｏ）インターフェース等のハードウェアを有するコンピュータプラットフォームで実施される。コンピュータプラットフォームは、また、オペレーティングシステム及びマイクロインストラクションコードを有してよい。ここに記載される様々な処理及び機能は、マイクロインストラクションコードの一部若しくはアプリケーションプログラムのいずれか又はそれらの何らかの組み合わせであってよく、ＣＰＵによって実行されてよい。更に、様々な他の周辺ユニットが、例えば、補助データ記憶ユニット及び印刷ユニット等、コンピュータプラットフォームに接続されてよい。

【0086】

更に、当然に、添付の図面に表されている構成システム要素及び方法の幾つかは、望ましくはソフトウェアで実施されるので、システム要素又は処理機能ブロックの間の実際の接続は、本原理がプログラミングされる方法に依存して様々であってよい。本明細書中の教示を前提として、当業者は本原理のこれらの及び類似する実施又は構成に想到しうる。

【0087】

実例となる実施形態が添付の図面を参照して本明細書中で記載されてきたが、当然に、本原理はこれらの厳密な実施形態に限られず、様々な変更及び改良が、本原理の適用範囲及び精神から逸脱することなく当業者によって斯かる実施例に対して行われうる。全てのこのような変更及び改良は、添付の特許請求の範囲に挙げられている本原理の適用範囲内に包含されるよう意図される。

【0088】

［関連出願の相互参照］
本願は、２００７年４月１２日に出願した米国仮特許出願番号第６０／９１１，４９０号に基づく優先権を主張するものである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】