特許 6681441 マルチビュー・ビデオ符号化においてビューのスケーラビリティを信号伝達する方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6681441

(24)【登録日】2020年3月25日

(45)【発行日】2020年4月15日

(54)【発明の名称】マルチビュー・ビデオ符号化においてビューのスケーラビリティを信号伝達する方法および装置

(51)【国際特許分類】

   H04N 19/597 20140101AFI20200406BHJP

   H04N 19/70 20140101ALI20200406BHJP

【ＦＩ】

   H04N19/597

   H04N19/70

【請求項の数】3

【外国語出願】

【全頁数】16

(21)【出願番号】特願2018-136346(P2018-136346)

(22)【出願日】2018年7月20日

(62)【分割の表示】特願2015-240720(P2015-240720)の分割

【原出願日】2007年7月10日

(65)【公開番号】特開2018-201210(P2018-201210A)

(43)【公開日】2018年12月20日

【審査請求日】2018年8月17日

(31)【優先権主張番号】60/807,928

(32)【優先日】2006年7月20日

(33)【優先権主張国】US

(31)【優先権主張番号】60/807,974

(32)【優先日】2006年7月21日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】518338149

【氏名又は名称】インターデジタル ヴイシー ホールディングス， インコーポレイテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】パンディット，パーヴィン，ビバス

(72)【発明者】

【氏名】スー，イェピン

(72)【発明者】

【氏名】イン，ペン

(72)【発明者】

【氏名】ゴミラ，クリスティーナ

(72)【発明者】

【氏名】ボイス，ジル，マクドナルド

【審査官】 岩井 健二

(56)【参考文献】

【文献】 特開２００６−１８０３６６（ＪＰ，Ａ）

【文献】 国際公開第２００７／１１４６１２（ＷＯ，Ａ１）

【文献】 国際公開第２００７／０８１１７８（ＷＯ，Ａ１）

【文献】 国際公開第２００６／００１６５３（ＷＯ，Ａ１）

【文献】 今泉浩幸 外，ＭＰＥＧ−４スタジオプロファイルを用いた多視点画像の圧縮符号化方式，電子情報通信学会技術研究報告，電子情報通信学会，２００２年 ６月２７日，Vol.102, No.151, IE2002-17，pp.1-6

【文献】 P. Merkle et al.，Efficient Compression of Multi-View Video Exploiting Inter-View Dependencies Based on H.264/MPEG4-AV，IEEE International Conference on Multimedia and Expo (ICME 2006)，IEEE，２００６年 ７月 ９日，pp.1717-1720

【文献】 Anthony Vetro et al.，Joint Multiview Video Model (JMVM) 1.0，Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6)，20th Meeting: Klagenfurt, Austria，２００６年 ８月，JVT-T208，pp.1-23

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

結果として得られるビットストリームにおけるマルチビュー・ビデオ・コンテンツに対応する少なくとも一つのビューのための少なくとも一つの映像をデコードすることであって、前記デコードすることは、前記少なくとも一つのビューについてビュー・スケーラビリティをサポートするためにビュー方向およびビュー・レベルを、マクロブロック層より階層的に上に位置する前記ビットストリーム内にあるネットワーク抽象化層（ＮＡＬ）ユニット・ヘッダ内のビットを使って決定することを含み、前記ビュー方向は他のビューから独立な中央ビューとしてのＩビューに対する複数の方向のうち一つを示し、且つ前記ビュー・レベルは、特定のＮＡＬユニットのための時間的予測のビュー・スケーラビリティのレベルを示し、高いビュー・レベルの映像は低いビュー・レベルの映像に依存し、且つ前記低いビュー・レベルの映像は前記高いビュー・レベルの映像に依存しない、方法。

【請求項2】

前記ビュー方向および前記ビュー・レベルの少なくとも一つが、帯域内および帯域外の少なくとも一方で信号伝達される、請求項１記載の方法。

【請求項3】

直前のネットワーク抽象化層ユニットを指定するためにサフィックス・ネットワーク抽象化層ユニットが使用され、前記ビュー方向および前記ビュー・レベルが前記サフィックス・ネットワーク抽象化層ユニットにおいて信号伝達される、請求項１記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

〈関連出願への相互参照〉
本願は2006年7月20日に出願された米国仮出願第60/807,923号および2006年7月21日に出願された米国仮出願第60/807,974号の利益を主張するものである。両文献はそれぞれの全体において本稿に参照によって組み込まれる。

【0002】

〈技術分野〉
本願の原理は概括的にはビデオ・エンコードおよびデコードに、より詳細にはマルチビュー・ビデオ符号化においてビューのスケーラビリティを信号伝達する方法および装置に関する。

【背景技術】

【0003】

マルチビュー・ビデオ符号化（MVC: Multi-view Video Coding）シーケンスは、同じシーンを異なる視点から取り込む二つ以上のビデオ・シーケンスのセットである。

【0004】

マルチビュー・ビデオ符号化（MVC）のための統合モデル（joint model）では、表１に示されるように、NALユニット・ヘッダ（NAL unit header）について以下のシンタックスを使うことが提案された。

【0005】

【表1】

しかしながら、これは時間的なスケーラビリティだけは提供するが、ビューのスケーラビリティは提供しない。さらに時間的スケーラビリティはオプションでしかない。

【0006】

また、マルチビュー・ビデオ符号化（MVC）のための統合モデルでは、シーケンス・パラメータ・セット（SPS: Sequence Parameter Set）が、ビューのスケーラビリティのために使用できる情報を導出するために使用できるシンタックス要素を含む。これらのシンタックス要素は下の表２に示されている。

【0007】

【表2】

しかしながら、このアプローチは、再帰呼び出しを要求し、単純なルータ（router）に対して重荷となることがある。

【発明の概要】

【発明が解決しようとする課題】

【0008】

従来技術のこれらおよびその他の欠点および不都合な点が本願の原理によって対処される。本願の原理は、マルチビュー・ビデオ符号化（MVC）においてビューのスケーラビリティを信号伝達する方法および装置に向けられている。

【課題を解決するための手段】

【0009】

本願の原理のある側面によれば、装置が提供される。本装置は結果として得られるビットストリーム（resultant bitstream）におけるマルチビュー・ビデオ・コンテンツに対応する少なくとも一つのビューのための少なくとも一つの映像をエンコードするエンコーダを含む。前記エンコーダは、前記少なくとも一つのビューについてビュー・スケーラビリティをサポートするためにビュー方向およびビュー・レベルの少なくとも一つを、メッセージ、フィールド、フラグおよびシンタックス要素の少なくとも一つを使って信号伝達する。

【0010】

本願の原理のもう一つの側面によれば、方法が提供される。本方法は結果として得られるビットストリームにおけるマルチビュー・ビデオ・コンテンツに対応する少なくとも一つのビューのための少なくとも一つの映像をエンコードするステップを含む。前記エンコードするステップは、前記少なくとも一つのビューについてビュー・スケーラビリティをサポートするためにビュー方向およびビュー・レベルの少なくとも一つを、メッセージ、フィールド、フラグおよびシンタックス要素の少なくとも一つを使って信号伝達することを含む。

【0011】

本願の原理のさらにもう一つの側面によれば、装置が提供される。本装置は結果として得られたビットストリームからマルチビュー・ビデオ・コンテンツに対応する少なくとも一つのビューのための少なくとも一つの映像をデコードするデコーダを含む。前記デコーダは、前記少なくとも一つのビューについてビュー・スケーラビリティをサポートするためにビュー方向およびビュー・レベルの少なくとも一つを、メッセージ、フィールド、フラグおよびシンタックス要素の少なくとも一つを使って決定する。

【0012】

本願の原理のさらにもう一つの側面によれば、方法が提供される。本方法は結果として得られたビットストリームからマルチビュー・ビデオ・コンテンツに対応する少なくとも一つのビューのための少なくとも一つの映像をデコードするステップを含む。前記デコードするステップは、前記少なくとも一つのビューについてビュー・スケーラビリティをサポートするためにビュー方向およびビュー・レベルの少なくとも一つを、メッセージ、フィールド、フラグおよびシンタックス要素の少なくとも一つを使って決定することを含む。

【0013】

本願の原理のこれらおよびその他の側面、特徴および利点は、付属の図面との関連で読まれるべき例示的な実施形態の以下の詳細な記述から明白となるであろう。

【0014】

本願の原理は以下の例示的な図面に基づいてよりよく理解されうる。

【図面の簡単な説明】

【0015】

【図1】本願の原理のある実施形態に基づく、本願の原理が適用されうる例示的なマルチビュー・ビデオ符号化（MVC）エンコーダのブロック図である。

【図2】本願の原理のある実施形態に基づく、本願の原理が適用されうる例示的なマルチビュー・ビデオ符号化（MVC）デコーダのブロック図である。

【図3】本願の原理のある実施形態に基づく、本願の原理が適用されうるビュー・スケーラビリティの例を示す図である。

【図4】本願の原理のある実施形態に基づく、マルチビュー・ビデオ・コンテンツをエンコードし、そのビュー・スケーラビリティを信号伝達する例示的な方法の流れ図である。

【図5】本願の原理のある実施形態に基づく、マルチビュー・ビデオ・コンテンツをデコードし、そのビュー・スケーラビリティを判別する例示的な方法の流れ図である。

【発明を実施するための形態】

【0016】

本願の原理は、マルチビュー・ビデオ符号化（MVC）におけるビュー・スケーラビリティを伝達するための方法および装置に向けられる。

【0017】

本記載は本願の原理を例解する。よって、当業者は、本稿に明示的に記載や図示されていなくても、本願の原理を具現し、その精神および範囲内に含まれるさまざまな構成を考案できるであろうことは理解されるであろう。

【0018】

本稿で記載されるあらゆる例および条件付きの言辞は、読者が、本発明の原理および当該技術を進歩させる発明者によって寄与される概念を理解するのを支援するという教育目的のために意図されているのであって、そのような個別的に記載されている例および条件に限定することなく解釈されるものである。

【0019】

さらに、本願の原理、側面および実施形態ならびにその個別的な例を記載する本稿におけるあらゆる陳述は、その構造的および機能的な等価物の両方を包含することが意図されている。さらに、そのような等価物は、現在知られている等価物および将来開発される等価物、すなわち構造にかかわりなく同じ機能を実行する任意の開発された要素の両方を含むことが意図されている。

【0020】

よって、たとえば、当業者は、本稿に呈示されるブロック図が本願の原理を具現する例示的な回路の概念図を表すものであることを理解するであろう。同様に、フローチャート、流れ図、状態遷移図、擬似コードなどはいずれも、コンピュータ可読媒体において実質的に表現され、コンピュータまたはプロセッサによって実行されうるさまざまなプロセスを表すことが理解されるであろう。これはそのようなコンピュータまたはプロセッサが明示的に示されているかどうかにはよらない。

【0021】

図面に示されるさまざまな要素の機能は、専用ハードウェアの使用を通じて提供されても、適切なソフトウェアとの関連でソフトウェアを実行することのできるハードウェアの使用を通じて提供されてもよい。プロセッサによって提供されるとき、機能は単一の専用プロセッサによって、単一の共有されるプロセッサによって、あるいは一部が共有されていてもよい複数の個別プロセッサによって提供されうる。さらに、用語「プロセッサ」または「コントローラ」の明示的な使用は、ソフトウェアを実行することのできるハードウェアのみを指すものと解釈されるべきではなく、暗黙的に、限定なしに、デジタル信号プロセッサ（「DSP」）ハードウェア、ソフトウェアを記憶するための読み出し専用メモリ（「ROM」）、ランダム・アクセス・メモリ（「RAM」）および不揮発性記憶装置を含みうる。

【0022】

通常のものおよび／またはカスタムのものを含め他のハードウェアも含まれてもよい。同様に、図面に示されるスイッチがあったとしても、それは単に概念的なものである。その機能はプログラム論理の動作を通じて、専用論理を通じて、プログラム制御と専用論理の相互作用を通じて、あるいはさらに手動で実行されてもよい。特定の技法は、コンテキストからより個別に理解されるように実装者によって選択可能である。

【0023】

本願の請求項では、特定の機能を実行する手段として表現されたいかなる要素も、その機能を実行するいかなる仕方をも、たとえばａ）その機能を実行する回路素子の組み合わせまたはｂ）任意の形の、したがってファームウェア、マイクロコードなどを含む、当該機能を実行するソフトウェアを実行するための適切な回路と組み合わされたソフトウェアを包含することが意図されている。そのような請求項によって定義される本願の原理は、前記さまざまな記載される手段によって提供される機能性が請求項が記載する仕方で組み合わされ、一緒にされるという事実にある。よって、これらの機能性を提供できる任意の手段が本願で示されている手段と等価であると見なされる。

【0024】

明細書における本願の原理の「一つの実施形態」または「ある実施形態」への言及は、その実施形態との関連で記載されている特定の特徴、構造、特性などが本願の原理の少なくとも一つの実施形態に含まれることを意味する。よって、本明細書を通じた随所に現れる「一つの実施形態では」または「ある実施形態では」といった句の出現は、必ずしもみな同じ実施形態を指すのではない。

【0025】

本稿での用法では、「高レベルのシンタックス」は、マクロブロック層より階層的に上にあるビットストリームに存するシンタックスを指す。たとえば、本稿で使われるところの高レベルのシンタックスは、これに限られないが、スライス・ヘッダ・レベル、補足向上情報（SEI: Supplemental Enhancement Information）レベル、映像パラメータ・セット（PPS: Picture Parameter Set）・レベル、シーケンス・パラメータ・セット（SPS: Sequence Parameter Set）・レベルおよびネットワーク抽象化層（NAL: Network Abstraction Layer）ユニット・ヘッダ・レベルでのシンタックスを指しうる。

【0026】

「Iビュー」は、同じビュー内のデコードされた標本値のみからの予測を使ってデコードでき、他のいかなるビューにも依存しない、よって独立してデコードできるビューを指す。

【0027】

「Pビュー」は、同じビュー内のデコードされた標本値からの予測または前にデコードされた参照映像からのビュー間予測を使ってデコードされうるビューを指す。前記参照映像を位置させるためにリスト0のみを使う。

【0028】

「Bビュー」は、同じビュー内のデコードされた標本値からの予測または前にデコードされた参照映像からのビュー間予測を使ってデコードされうるビューを指す。前記参照映像を位置させるためにリスト0およびリスト1を使う。

【0029】

「ビュー・レベル」は、特定のNALユニットについてビュー・スケーラビリティのレベルを示す。

【0030】

「ビュー方向」は、Iビューを中央ビューとして４つの方向の一つを示す。可能な方向は左、右、上または下である。

【0031】

図１に目を向けると、例示的なマルチビュー・ビデオ符号化（MVC）エンコーダが概括的に参照符号１００によって示されている。エンコーダ１００は、変換器（transformer）１１０の入力と信号通信で接続された出力をもつ組み合わせ器（combiner）１０５を含む。変換器１１０の出力は量子化器１１５と信号通信で接続されている。量子化器１１５の出力は、エントロピー符号化器１２０の入力および逆量子化器１２５の入力と信号通信で接続されている。逆量子化器の出力１２５は、逆変換器１３０の入力と信号通信で接続されている。逆変換器１３０の出力は、組み合わせ器１３５の第一の非反転入力と信号通信で接続されている。組み合わせ器１３５の出力は、イントラ予測器１４５の入力およびブロック解除フィルタ（deblocking filter）１５０の入力と信号通信で接続されている。ブロック解除フィルタ１５０の出力は、（ビューiについての）参照映像記憶１５５の入力と信号通信で接続されている。参照映像記憶１５５の出力は、動き補償器１７５の第一の入力および動き推定器１８０の第一の入力と信号通信で接続されている。動き推定器１８０の出力は、動き補償器１７５の第二の入力と信号通信で接続されている。

【0032】

（他のビューについての）参照映像記憶１６０の出力は不均等性（disparity）推定器１７０の第一の入力および不均等性補償器１６５の第一の入力と信号通信で接続されている。不均等性推定器１７０の出力は、不均等性補償器１６５の第二の入力と信号通信で接続されている。

【0033】

エントロピー符号化器１２０の出力は、エンコーダ１００の出力として利用可能である。組み合わせ器１０５の非反転入力は、エンコーダ１００の入力として利用可能であり、不均等性推定器１７０の第二の入力および動き推定器１８０の第二の入力と信号通信で接続されている。スイッチ１８５の出力は、組み合わせ器１３５の第二の非反転入力および組み合わせ器１０５の反転入力と信号通信で接続されている。スイッチ１８５は、動き補償器１７５の出力と信号通信で接続されている第一の入力、不均等性補償器１６５の出力と信号通信で接続されている第二の入力およびイントラ予測器１４５の出力と信号通信で接続されている第三の入力を含む。

【0034】

図２に目を向けると、例示的なマルチビュー・ビデオ符号化（MVC）デコーダが、参照符号２００によって概括的に示されている。デコーダ２００は、逆量子化器２１０の入力と信号通信で接続された出力をもつエントロピー復号器２０５を含む。逆量子化器の出力は、逆変換器２１５の入力と信号通信で接続されている。逆変換器２１５の出力は、組み合わせ器２２０の第一の非反転入力と信号通信で接続されている。組み合わせ器２２０の出力は、ブロック解除フィルタ２２５の入力およびイントラ予測器２３０の入力と信号通信で接続されている。ブロック解除フィルタ２２５の出力は、（ビューiについての）参照映像記憶２４０の入力と信号通信で接続されている。参照映像記憶２４０の出力は、動き補償器２３５の第一の入力と信号通信で接続されている。

【0035】

（他のビューについての）参照映像記憶２４５の出力は、不均等性補償器２５０の第一の入力と信号通信で接続されている。

【0036】

エントロピー復号器２０５の入力は、デコーダ２００への入力として、残留ビットストリーム（residual bitstream）を受領するために利用可能である。さらに、スイッチ２５５の制御入力も、デコーダ２００への入力として、どの入力がスイッチ２５５によって選択されるかを制御するための制御シンタックスを受領するために利用可能である。さらに、動き補償器２３５の第二の入力は、デコーダ２００の入力として、動きベクトルを受領するために利用可能である。また、不均等性補償器２５０の第二の入力が、デコーダ２００への入力として、不均等性ベクトル（disparity vector）を受領するために利用可能である。

【0037】

スイッチ２５５の出力は、組み合わせ器２２０の第二の非反転入力と信号通信で接続されている。スイッチ２５５の第一の入力は、不均等性補償器２５０の出力と信号通信で接続されている。スイッチ２５５の第二の入力は、動き補償器２３５の出力と信号通信で接続されている。スイッチ２５５の第三の入力は、イントラ予測器２３０の出力と信号通信で接続されている。モード・モジュール２６０の出力は、スイッチ２５５によってどの入力が選択されるかを制御するために、スイッチ２５５と信号通信で接続されている。ブロック解除フィルタ２２５の出力は、当該デコーダの出力として利用可能である。

【0038】

本願の原理によれば、マルチビュー・ビデオ符号化（MVC）においてビューのスケーラビリティを伝える方法および装置が提供される。

【0039】

ある実施形態では、ビュー・スケーラビリティは、メッセージ、フィールド、フラグおよびシンタックス要素の少なくとも一つを使って信号伝達および／または指示される。ある実施形態では、ビュー・スケーラビリティは高レベルのシンタックス要素を介して信号伝達される。たとえば、ある実施形態では、ビュー・スケーラビリティはネットワーク抽象化層（NAL）ユニット・ヘッダ内でビュー・スケーラビリティを信号伝達することによってサポートされる。

【0040】

前述したように、マルチビュー・ビデオ符号化（MVC）の現行の実装では、ビュー・スケーラビリティをサポートする方法が存在しない。ある実施形態では、NALユニット・ヘッダを修正することによってこの問題に対処する。すなわち、NALユニット・ヘッダ内に、ビュー・スケーラビリティをサポートするのに十分なビュー・スケーラビリティに係る情報を含める。

【0041】

他の実施形態では、ビュー・スケーラビリティを指示する高レベルのシンタックスは、これに限られないが、シーケンス・パラメータ・セット（SPS）、映像パラメータ・セット（PPS）、補足向上情報（SEI）メッセージおよびスライス・ヘッダにおけるシンタックスを含む一つまたは複数の他の高レベルのシンタックス中に存在していてもよい。ビュー・スケーラビリティ情報が帯域内（in-band）または帯域外（out-of-band）のいずれで信号伝達されてもよいことは理解されるべきである。

【0042】

NALユニット・ヘッダ実施形態の一つの実装では、我々は、ビュー・スケーラビリティ情報を伝達するためにNALユニット・ヘッダ内の既存のビットの再利用を記述する。こうして、我々はビュー方向を信号伝達することを提案し、各ビューについて、我々はスケーラビリティを信号伝達することを提案する。Iビューについては、このビューに属するNALユニットを記述するためにサフィックスNALユニット（suffix NAL unit）が使用されてもよく、よってこのビューについては方向情報は要求されない。

【0043】

他のすべてのビューについて、ある実施形態では、前記方向を信号伝達するために2ビットが使用されうる。もちろん、本願の原理の精神を維持しながら異なるビット数が使用されてもよい。

【0044】

ビュー・スケーラビリティのある実施形態が図３に、表１の提案されるシンタックスを使って示されている。図３に目を向けると、本願の原理が適用されうるビュー・スケーラビリティの例が概括的に参照符号３００によって示されている。図３において、中央のIビューから4つの方向がある。Iビューは方向情報を必要としない。国際標準化機関／国際電気標準会議（ISO/IEC）動画像専門家グループ４（MPEG-4）パート10の先進ビデオ符号化（AVC）規格／国際電気通信連合・電気通信部門（ITU-T）H.264勧告（以下では「MPEG-4-AVC規格」）と互換のシンタックスで符号化され、この情報を信号伝達するためにはサフィックスNALユニットが使用されることになるからである。他のすべてのビュー方向は、2ビットのview_direction〔ビュー方向〕シンタックス要素を使って指示される。これは、図３において最初の2ビットで示されている。図３の他の3つのビットはview_level〔ビュー・レベル〕情報に対応する。これら5つのビットの組み合わせを使って粗いビュー・スケーラビリティが達成できる。

【0045】

たとえば、目標値がview_direction<=01およびview_level=000と設定される場合、Iビュー、方向０および方向１が選択されることになる。各ビュー内で、Pビューのみが選択され、すべてのBビューは破棄されることになる。

【0046】

2ビットでは方向を割り当てるために十分ではない場合がありうる。この場合、一つの解決策は複数のカメラをグループ化することである。

【0047】

この情報は、依存性情報をも信号伝達し、よって粗いランダム・アクセスのためにも使用できる。たとえば、方向２においてPビューを要求する場合、view_direction=10およびview_level==000に設定する。このようにして、方向２においてランダム・アクセス・Pビューを達成できる。

【0048】

【表3】

図４に目を向けると、マルチビュー・ビデオ・コンテンツをエンコードし、そのビュー・スケーラビリティを伝達する例示的な方法が概括的に参照符号４００によって示されている。

【0049】

方法４００は、開始ブロック４００を含み、開始ブロック４００は制御を機能ブロック４０５に渡す。機能ブロック４０５はエンコーダ構成設定ファイルを読み、制御を機能ブロック４１５に渡す。機能ブロック４１５はview_direction、view_levelおよびview_idをユーザー定義値に設定し、制御を機能ブロック４２０に渡す。機能ブロック４２０はシーケンス・パラメータ・セット（SPS）、映像パラメータ・セット（PPS）、ビュー・パラメータ・セット（VPS: View Parameter Set）、スライス・ヘッダおよび／またはNALユニット・ヘッダにおけるview_level、view_idおよびview_directionを設定し、制御を機能ブロック４２５に渡す。機能ブロック４２５はビューの数を変数Nに等しくし、変数i（ビュー番号のインデックス）およびj（映像番号のインデックス）を0に等しくし、制御を判断ブロック４３０に渡す。判断ブロック４３０は、iがNより小さいかどうかを判定する。もしそうなら、制御は機能ブロック４３５に渡される。もしそうでなければ、制御は機能ブロック４７０に渡される。

【0050】

機能ブロック４３５は、jがビューiにおける映像の数より小さいかどうかを判定する。もしそうなら、制御は機能ブロック４４０に渡される。もしそうでなければ、制御は機能ブロック４９０に渡される。

【0051】

機能ブロック４４０は現在マクロブロックのエンコードを開始し、制御を機能ブロック４４５に渡す。機能ブロック４４５はマクロブロック・モードを選択し、制御を機能ブロック４５０に渡す。機能ブロック４５０は現在マクロブロックをエンコードし、制御を判断ブロック４５５に渡す。判断ブロック４５５はすべてのマクロブロックがエンコードされたかどうかを判定する。もしそうなら、制御は機能ブロック４６０に渡される。もしそうでなければ、制御は機能ブロック４４０に返される。

【0052】

機能ブロック４６０は変数jをインクリメントし、制御を機能ブロック４６５に渡す。機能ブロック４６５はframe_numおよび映像順カウント（POC: Picture Order Count）の値をインクリメントし、制御を判断ブロック４３５に返す。

【0053】

判断ブロック４７０は、シーケンス・パラメータ・セット（SPS）、映像パラメータ・セット（PPS）および／またはビュー・パラメータ・セット（VPS）を帯域内で信号伝達するかどうかを決定する。もしそうであれば、制御は機能ブロック４７５に渡される。もしそうでなければ、制御は機能ブロック４８０に渡される。

【0054】

機能ブロック４７５は、シーケンス・パラメータ・セット（SPS）、映像パラメータ・セット（PPS）および／またはビュー・パラメータ・セット（VPS）をファイルに書き込み（帯域内）、制御を機能ブロック４８５に渡す。

【0055】

機能ブロック４８０はシーケンス・パラメータ・セット（SPS）、映像パラメータ・セット（PPS）および／またはビュー・パラメータ・セット（VPS: View Parameter Set）を帯域外で書き込み、制御を機能ブロック４８５に渡す。

【0056】

機能ブロック４８５はビットストリームをファイルに書き込み、あるいはビットストリームをネットワークを通じてストリーミングし、制御を終了ブロック４９９に渡す。

【0057】

機能ブロック４９０は変数iをインクリメントし、frame_numおよび映像順カウント（POC）の値をリセットし、制御を判断ブロック４３０に返す。

【0058】

図５に目を向けると、マルチビュー・ビデオ・コンテンツをデコードし、そのビュー・スケーラビリティを判別する例示的な方法が概括的に参照符号５００によって示されている。

【0059】

方法５００は、開始ブロック５０５を含んでおり、開始ブロック５０５は機能ブロック５１０に制御を渡す。機能ブロック５１０は、シーケンス・パラメータ・セット（SPS）、映像パラメータ・セット（PPS）、ビュー・パラメータ・セット（VPS）、スライス・ヘッダおよび／またはNALユニット・ヘッダからview_id、view_directionおよびview_levelをパースし（parse）、制御を機能ブロック５１５に渡す。機能ブロック５１５は、現在の映像がデコードされる必要があるかどうかを判定するためにview_direction、view_levelおよびview_idを使い（チェック依存性）、制御を判断ブロック５２０に渡す。判断ブロック５２０は現在映像がデコードを必要としているかどうかを判定する。もしそうであれば、制御は機能ブロック５３０に渡される。もしそうでなければ、制御は機能ブロック５２５に渡される。

【0060】

機能ブロック５２５は次の映像を取得し、制御を機能ブロック５３０に渡す。

【0061】

機能ブロック５３０はスライス・ヘッダをパースし、制御を機能ブロック５３５に渡す。機能ブロック５３５はマクロブロック・モード、動きベクトルおよびref_idxをパースし、制御を機能ブロック５４０に渡す。機能ブロック５４０は現在マクロブロックをデコードし、制御を判断ブロック５４５に渡す。判断ブロック５４５はすべてのマクロブロックがデコードされたかどうかを判定する。もしそうであれば、制御は機能ブロック５５０に渡される。もしそうでなければ、制御は機能ブロック５３５に返される。

【0062】

機能ブロック５５０は現在映像をデコードされた映像バッファに挿入し、制御を判断ブロック５５５に渡す。判断ブロック５５５はすべての映像がデコードされたかどうかを判定する。もしそうであれば、制御は終了ブロック５９９に渡される。もしそうでなければ、制御は機能ブロック５３０に返される。

【0063】

ここで、本発明の多くの付随する利点／特徴のいくつかの記載を与えておく。そのいくつかはすでに上述されている。たとえば、一つの利点／特徴は、合成ビットストリームにおけるマルチビュー・ビデオ・コンテンツに対応する少なくとも一つのビューのための少なくとも一つの映像をエンコードするエンコーダを含む。前記エンコーダは、前記少なくとも一つのビューについてビュー・スケーラビリティをサポートするためにビュー方向およびビュー・レベルの少なくとも一つを、メッセージ、フィールド、フラグおよびシンタックス要素の少なくとも一つを使って信号伝達する（signal）。

【0064】

もう一つの利点／特徴は、上記のようなエンコーダを有する装置であって、前記シンタックス要素が高レベルのシンタックス要素であるものである。

【0065】

さらにもう一つの利点／特徴は、上記のような高レベルのシンタックス要素を使うエンコーダを有する装置であって、前記高レベルのシンタックス要素が、シーケンス・パラメータ・セット、映像パラメータ・セット、補足向上情報メッセージ、スライス・ヘッダおよびネットワーク抽象化層ユニット・ヘッダの少なくとも一つに含まれるものである。

【0066】

さらにもう一つの利点／特徴は、上記のようなエンコーダを有する装置であって、前記ビュー方向および前記ビュー・レベルの少なくとも一つが、帯域内および帯域外の少なくとも一方で信号伝達されるものである。

【0067】

さらにもう一つの利点／特徴は、上記のようなエンコーダを有する装置であって、前記ビュー方向および前記ビュー・レベルが依存性情報として使われるものである。

【0068】

さらにもう一つの利点／特徴は、上記のような、前記ビュー方向および前記ビュー・レベルが依存性情報として使われるエンコーダを有する装置であって、前記依存性情報がデコーダによって、前記少なくとも一つのビューへのランダム・アクセスのために使用されるためであるものである。

【0069】

また、もう一つの利点／特徴は、上記のようなエンコーダを有する装置であって、直前のネットワーク抽象化層ユニットを指定するためにサフィックス・ネットワーク抽象化層ユニットが使用され、前記ビュー方向および前記ビュー・レベルが前記サフィックス・ネットワーク抽象化層ユニットにおいて信号伝達されるものである。

【0070】

本願の原理のこれらおよびその他の特徴および利点は、本願の教示に基づいて当業者によって容易に認識されうる。本願の原理の教示がハードウェア、ソフトウェア、ファームウェア、特殊目的プロセッサまたはそれらの組み合わせのさまざまな形で実装されうることは理解されるものである。

【0071】

最も好ましくは、本願の原理の教示はハードウェアおよびソフトウェアの組み合わせとして実装される。さらに、ソフトウェアは、プログラム記憶ユニット上に具体的に具現されたアプリケーション・プログラムとして実装されてもよい。該アプリケーション・プログラムはいかなる好適なアーキテクチャを有する機械にアップロードされ、該機械によって実行されてもよい。好ましくは、前記機械は、一つまたは複数の中央処理ユニット（「CPU」）、ランダム・アクセス・メモリ（「RAM」）および入出力（「I/O」）インターフェースといったハードウェアをもつコンピュータ・プラットフォーム上で実装される。前記コンピュータ・プラットフォームはまた、オペレーティング・システムおよびマイクロ命令コードをも含みうる。本稿に記載されたさまざまなプロセスおよび機能はマイクロ命令コードの一部もしくはアプリケーション・プログラムの一部またはそれらの任意の組み合わせであってよく、CPUによって実行されてよい。さらに、追加的なデータ記憶ユニットおよび印刷ユニットといったさまざまな他の周辺ユニットがコンピュータ・プラットフォームに接続されていてもよい。

【0072】

付属の図面に描かれている構成システム・コンポーネントおよび方法のいくつかは好ましくはソフトウェアにおいて実装されるので、システム・コンポーネントまたはプロセス機能ブロックの間の実際の接続は、本願の原理がプログラムされる仕方に依存して異なることがありうる。本稿の教示を与えられれば、当業者は、本願の原理のこれらおよび同様の実装または構成を考えることができるであろう。

【0073】

本稿では例示的な実施形態が付属の図面を参照して記載されてきたが、本願の原理はそうした厳密な実施形態に限定されるものではなく、当業者は本願の原理の範囲や精神から外れることなくそれにさまざまな変更および修正を実施しうることは理解されるものである。そのようなすべての変更および修正は付属の請求項に記載される本発明の範囲内に含まれることが意図されている。
（付記１）
結果として得られるビットストリームにおけるマルチビュー・ビデオ・コンテンツに対応する少なくとも一つのビューのための少なくとも一つの映像をエンコードするエンコーダを有しており、前記エンコーダは、前記少なくとも一つのビューについてビュー・スケーラビリティをサポートするためにビュー方向およびビュー・レベルの少なくとも一つを、メッセージ、フィールド、フラグおよびシンタックス要素の少なくとも一つを使って信号伝達する、装置。
（付記２）
前記シンタックス要素が高レベルのシンタックス要素である、付記１記載の装置。
（付記３）
前記高レベルのシンタックス要素が、シーケンス・パラメータ・セット、映像パラメータ・セット、補足向上情報メッセージ、スライス・ヘッダおよびネットワーク抽象化層ユニット・ヘッダの少なくとも一つに含まれる、付記２記載の装置。
（付記４）
前記ビュー方向および前記ビュー・レベルの少なくとも一つが、帯域内および帯域外の少なくとも一方で信号伝達される、付記１記載の装置。
（付記５）
前記ビュー方向および前記ビュー・レベルが依存性情報として使われる、付記１記載の装置。
（付記６）
前記依存性情報がデコーダによって、前記少なくとも一つのビューへのランダム・アクセスのために使用されるためである、付記５記載の装置。
（付記７）
直前のネットワーク抽象化層ユニットを指定するためにサフィックス・ネットワーク抽象化層ユニットが使用され、前記ビュー方向および前記ビュー・レベルが前記サフィックス・ネットワーク抽象化層ユニットにおいて信号伝達される、付記１記載の装置。
（付記８）
結果として得られるビットストリームにおけるマルチビュー・ビデオ・コンテンツに対応する少なくとも一つのビューのための少なくとも一つの映像をエンコードするステップを有し、前記エンコードするステップは、前記少なくとも一つのビューについてビュー・スケーラビリティをサポートするためにビュー方向およびビュー・レベルの少なくとも一つを、メッセージ、フィールド、フラグおよびシンタックス要素の少なくとも一つを使って信号伝達することを含む、方法。
（付記９）
前記シンタックス要素が高レベルのシンタックス要素である、付記８記載の方法。
（付記１０）
前記高レベルのシンタックス要素が、シーケンス・パラメータ・セット、映像パラメータ・セット、補足向上情報メッセージ、スライス・ヘッダおよびネットワーク抽象化層ユニット・ヘッダの少なくとも一つに含まれる、付記９記載の方法。
（付記１１）
前記ビュー方向および前記ビュー・レベルの少なくとも一つが、帯域内および帯域外の少なくとも一方で信号伝達される、付記８記載の方法。
（付記１２）
前記ビュー方向および前記ビュー・レベルが依存性情報として使われる、付記８記載の方法。
（付記１３）
前記依存性情報がデコーダによって、前記少なくとも一つのビューへのランダム・アクセスのために使用されるためである、付記１２記載の方法。
（付記１４）
直前のネットワーク抽象化層ユニットを指定するためにサフィックス・ネットワーク抽象化層ユニットが使用され、前記ビュー方向および前記ビュー・レベルが前記サフィックス・ネットワーク抽象化層ユニットにおいて信号伝達される、付記８記載の方法。
（付記１５）
結果として得られたビットストリームからマルチビュー・ビデオ・コンテンツに対応する少なくとも一つのビューのための少なくとも一つの映像をデコードするデコーダ有しており、前記デコーダは、前記少なくとも一つのビューについてビュー・スケーラビリティをサポートするためにビュー方向およびビュー・レベルの少なくとも一つを、メッセージ、フィールド、フラグおよびシンタックス要素の少なくとも一つを使って決定する、装置。
（付記１６）
前記シンタックス要素が高レベルのシンタックス要素である、付記１５記載の装置。
（付記１７）
前記高レベルのシンタックス要素が、シーケンス・パラメータ・セット、映像パラメータ・セット、補足向上情報メッセージ、スライス・ヘッダおよびネットワーク抽象化層ユニット・ヘッダの少なくとも一つに含まれる、付記１６記載の装置。
（付記１８）
前記ビュー方向および前記ビュー・レベルの少なくとも一つが、帯域内および帯域外の少なくとも一方で信号伝達される、付記１５記載の装置。
（付記１９）
前記ビュー方向および前記ビュー・レベルが依存性情報として使われる、付記１６記載の装置。
（付記２０）
前記依存性情報が、前記少なくとも一つのビューへのランダム・アクセスのために使用される、付記１９記載の装置。
（付記２１）
直前のネットワーク抽象化層ユニットを指定するためにサフィックス・ネットワーク抽象化層ユニットが使用され、前記ビュー方向および前記ビュー・レベルが前記サフィックス・ネットワーク抽象化層ユニットにおいて信号伝達される、付記１５記載の装置。
（付記２２）
結果として得られたビットストリームからマルチビュー・ビデオ・コンテンツに対応する少なくとも一つのビューのための少なくとも一つの映像をデコードするステップを有しており、前記デコードするステップは、前記少なくとも一つのビューについてビュー・スケーラビリティをサポートするためにビュー方向およびビュー・レベルの少なくとも一つを、メッセージ、フィールド、フラグおよびシンタックス要素の少なくとも一つを使って決定することを含む、方法。
（付記２３）
前記シンタックス要素が高レベルのシンタックス要素である、付記２２記載の方法。
（付記２４）
前記高レベルのシンタックス要素が、シーケンス・パラメータ・セット、映像パラメータ・セット、補足向上情報メッセージ、スライス・ヘッダおよびネットワーク抽象化層ユニット・ヘッダの少なくとも一つに含まれる、付記２３記載の方法。
（付記２５）
前記ビュー方向および前記ビュー・レベルの少なくとも一つが、帯域内および帯域外の少なくとも一方で信号伝達される、付記２２記載の方法。
（付記２６）
前記ビュー方向および前記ビュー・レベルが依存性情報として使われる、付記２２記載の方法。
（付記２７）
前記依存性情報が、前記少なくとも一つのビューへのランダム・アクセスのために使用される、付記２６記載の方法。
（付記２８）
直前のネットワーク抽象化層ユニットを指定するためにサフィックス・ネットワーク抽象化層ユニットが使用され、前記ビュー方向および前記ビュー・レベルが前記サフィックス・ネットワーク抽象化層ユニットにおいて信号伝達される、付記２２記載の方法。
（付記２９）
ビデオ・エンコードのためのビデオ信号構造であって：
結果として得られるビットストリーム中にエンコードされるマルチビュー・ビデオ・コンテンツに対応する少なくとも一つのビューのための少なくとも一つの映像を有しており、前記少なくとも一つのビューについてビュー・スケーラビリティをサポートするためにビュー方向およびビュー・レベルの少なくとも一つが、メッセージ、フィールド、フラグおよびシンタックス要素の少なくとも一つを使って信号伝達される、ビデオ信号構造。
（付記３０）
結果として得られるビットストリーム中にエンコードされるマルチビュー・ビデオ・コンテンツに対応する少なくとも一つのビューのための少なくとも一つの映像を有しており、前記少なくとも一つのビューについてビュー・スケーラビリティをサポートするためにビュー方向およびビュー・レベルの少なくとも一つが、メッセージ、フィールド、フラグおよびシンタックス要素の少なくとも一つを使って信号伝達される、ビデオ信号データが記憶された記憶媒体。

【図1】

【図2】

【図3】

【図4】

【図5】