特許 5715756 マルチビュー・ビデオを符号化し、復号化する方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5715756

(24)【登録日】2015年3月20日

(45)【発行日】2015年5月13日

(54)【発明の名称】マルチビュー・ビデオを符号化し、復号化する方法及び装置

(51)【国際特許分類】

   H04N 19/00 20140101AFI20150423BHJP

【ＦＩ】

   H04N19/00

【請求項の数】4

【全頁数】17

(21)【出願番号】特願2009-518128(P2009-518128)

(86)(22)【出願日】2007年5月25日

(65)【公表番号】特表2009-543448(P2009-543448A)

(43)【公表日】2009年12月3日

(86)【国際出願番号】US2007012452

(87)【国際公開番号】WO2008005124

(87)【国際公開日】20080110

【審査請求日】2010年5月7日

【審判番号】不服2013-16413(P2013-16413/J1)

【審判請求日】2013年8月26日

(31)【優先権主張番号】60/818,655

(32)【優先日】2006年7月5日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100134094

【弁理士】

【氏名又は名称】倉持 誠

(74)【代理人】

【識別番号】100121175

【弁理士】

【氏名又は名称】石井 たかし

(74)【代理人】

【識別番号】100123629

【弁理士】

【氏名又は名称】吹田 礼子

(72)【発明者】

【氏名】パンディット，パーヴィン，ビバス

(72)【発明者】

【氏名】スー，イェピン

(72)【発明者】

【氏名】イン，ペン

(72)【発明者】

【氏名】ゴミラ，クリスティーナ

【合議体】

【審判長】 清水 正一

【審判官】 渡邊 聡

【審判官】 渡辺 努

(56)【参考文献】

【文献】 国際公開第０６／６４７１０（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２００５／０１２３０５５（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

H04N19/103

H04N19/134

H04N19/169

H04N19/189

H04N19/423

(57)【特許請求の範囲】

【請求項1】

装置であって、
マルチビュー・ビデオ・コンテンツに対応する少なくとも２つのノードを、結果として生成されるビットストリームに構文要素を使用して符号化する符号化器を含み、前記構文要素は、マルチビュー・ビデオ・ビットストリームにおける前記ノードの少なくとも一部の間の復号化依存性を表すためのそれぞれ異なる構文を示す少なくとも２つの方法のうちの特定の方法を識別する、前記装置。

【請求項2】

方法であって、
マルチビュー・ビデオ・コンテンツに対応する少なくとも２つのノードを、結果として生成されるビットストリームに構文要素を使用して符号化する工程を含み、前記構文要素は、マルチビュー・ビデオ・ビットストリームにおける前記ノードの少なくとも一部の間の復号化依存性を表すためのそれぞれ異なる構文を示す少なくとも２つの方法のうちの特定の方法を識別する、前記方法。

【請求項3】

前記少なくとも２つの方法の各々は、前記少なくとも２つのノードの少なくとも一部の間の復号化依存性のそれぞれ異なる表し方を示す、請求項１に記載の装置。

【請求項4】

前記少なくとも２つの方法の各々は、前記少なくとも２つのノードの少なくとも一部の間の復号化依存性のそれぞれ異なる表し方を示す、請求項２に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、その内容全部を本明細書及び特許請求の範囲に援用する、西暦２００６年７月５日付出願の米国特許仮出願第６０／８１８６５５号の利益を主張する。

【0002】

本出願の原理は、一般に、ビデオの符号化及び復号化に関し、特に、マルチビュー・ビデオを符号化し、復号化する方法及び装置に関する。

【背景技術】

【0003】

マルチビュー・ビデオ符号化（ＭＶＣ）系列は、別々の視点から同じシーンをキャプチャする２つ以上のビデオ系列の組である。ビューのランダム・アクセス及びビューのスケーラビリティの効率的なサポートのためには、マルチビュー・ビデオ符号化系列における別々のピクチャが互いにどのように依存するかについての知識を復号化器が有することが重要である。

【発明の開示】

【発明が解決しようとする課題】

【0004】

従来技術の前述並びに他の弊害及び欠点が、マルチビュー・ビデオを符号化し、復号化する方法及び装置に関する本願の原理によって対処される。

【課題を解決するための手段】

【0005】

本願の原理の局面によれば、装置が提供される。上記装置は、マルチビュー・ビデオ・コンテンツに対応する少なくとも２つのビューを、結果として生成されるビットストリームに構文要素を使用して符号化する符号化器を含み、構文要素は、少なくとも２つのビューの少なくとも一部の間の復号化依存性を示す少なくとも２つの方法のうちの特定の方法を識別する。

【0006】

本願の原理の別の局面によれば、方法が提供される。方法は、マルチビュー・ビデオ・コンテンツに対応する少なくとも２つのビューを、結果として生成されるビットストリームに、構文要素を使用して符号化する工程を含む。構文要素は、少なくとも２つのビューの少なくとも一部の間の復号化依存性を示す少なくとも２つの方法のうちの特定の方法を識別する。

【0007】

本願の原理の更に別の局面によれば、装置が提供される。上記装置は、マルチビュー・ビデオ・コンテンツに対応する少なくとも２つのビューを、ビットストリームから、構文要素を使用して復号化する復号化器を備える。構文要素は、少なくとも２つのビューのうちの少なくとも一部の間の復号化依存性を示す少なくとも２つの方法のうちの特定の方法を識別する。

【0008】

本願の原理の更に別の局面によれば、方法が提供される。方法は、マルチビュー・ビデオ・コンテンツに対応する少なくとも２つのビューを、ビットストリームから、構文要素を使用して復号化する工程を含む。構文要素は、少なくとも２つのビューのうちの少なくとも一部の間の復号化依存性を示す少なくとも２つの方法のうちの特定の方法を識別する。

【発明を実施するための最良の形態】

【0009】

本発明の前述及び他の局面、構成及び利点は、添付図面とともに読まれる例示的な実施例の以下の詳細な説明から明らかになるであろう。

【0010】

本願の原理は、以下の例示的な図により、更に詳細に理解することができる。

【実施例】

【0011】

本願の原理は、マルチビュー・ビデオを符号化し、復号化する方法及び装置に関する。

【0012】

本明細書及び特許請求の範囲は、本願の原理を示す。よって、当業者は、本明細書及び特許請求の範囲に明示的に説明するか、又は示していないが、本願の原理を実施し、その趣旨及び範囲の範囲内に含まれる種々の構成を考え出すことができるであろう。

【0013】

本明細書及び特許請求の範囲記載の例、及び条件付言語は全て、本発明の原理、及び当該技術分野を発展させるために本願の発明者が貢献する概念の、読者の理解を支援するための教示の目的を意図しており、前述の、特記した例及び条件に限定されないと解釈するものとする。

【0014】

更に、本発明の原理、局面、及び実施例、並びにそれらの特定例を記載した、本明細書及び特許請求の範囲の記載は全て、その構造的均等物及び機能的均等物を包含することを意図している。更に、前述の均等物は、現在知られている均等物、及び将来に開発される均等物（すなわち、構造にかかわらず、同じ機能を行う、開発された何れかの構成要素）をともに含むことが意図されている。

【0015】

よって、例えば、本明細書及び特許請求の範囲に提示されたブロック図が、本願の原理を実施する例証的な回路の概念図を表すことは当業者によって認識されるであろう。同様に、フローチャート、フロー図、状態遷移図、擬似符号等は何れも、コンピュータ読み取り可能な媒体において実質的に表し、コンピュータ又はプロセッサにより、前述のコンピュータ又はプロセッサが明記されているかにかかわらず、実行し得る種々の処理を表す。

【0016】

図に示す種々の構成要素の機能は、専用ハードウェア、及び適切なソフトウェアに関連してソフトウェアを実行することができるハードウェアの使用によって備えることができる。プロセッサによって提供される場合、機能は、単一の専用プロセッサによって提供されるか、単一の共有プロセッサによって提供されるか、複数の個々のプロセッサ（この一部は共有であり得る）によって提供され得る。更に、「プロセッサ」又は「コントローラ」の語を明示的に使用していることは、ソフトウェアを実行することができるハードウェアを排他的に表すと解するべきでなく、暗黙的には、無制限に、ディジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するための読み取り専用メモリ（「ＲＯＭ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）及び不揮発性記憶装置を含み得る。

【0017】

他のハードウェア（汎用及び／又はカスタム）も含まれ得る。同様に、図に示すスイッチは何れも概念のみである。前述の機能は、プログラム・ロジックの動作によるか、専用ロジックによるか、プログラム制御及び専用ロジックによるか、又は手作業によって行うことができ、特定の手法は、前後関係からより具体的に分かるように実現者によって選択可能である。

【0018】

本願の特許請求の範囲では、特定の機能を行う手段として表される構成要素は何れも、その機能を行う何れの手段（例えば、ａ）その機能を行う回路構成要素の組合せや、ｂ）機能を行うためにそのソフトウェアを実行する適切な回路と組み合わせた、ファームウェア、マイクロ符号等を含む、何れかの形態のソフトウェア）も包含することが意図される。前述の特許請求の範囲で規定された本願の原理は、記載された種々の手段によって提供される機能が、請求項が要求するやり方で組合せられ、集約されるということに存在する。よって、前述の機能を提供することが可能な手段は何れも、本願の明細書及び特許請求の範囲記載のものと均等であるとみなされる。

【0019】

本願明細書における、本願の原理の「ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ」又は「ａｎ ｅｍｂｏｄｉｍｅｎｔ」への言及は、本願の実施例に関して説明した特定の構成、構造又は特性等が本願の原理の少なくとも一実施例に含まれていることを意味している。よって、本明細書全体の種々の箇所に記載された「ｉｎ ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ」又は「ｉｎ ａｎ ｅｍｂｏｄｉｍｅｎｔ」の句は、必ずしも、同じ実施例を全て表している訳でない。

【0020】

本明細書及び特許請求の範囲では、「高位の構文」は、階層的にマクロブロック層の上の、ビットストリーム内に存在している構文を表す。例えば、本明細書及び特許請求の範囲記載の高位構文は、スライス・ヘッダ・レベル、付加拡張情報（ＳＥＩ）レベル、ピクチャ・パラメータ・セット・レベル、及びシーケンス・パラメータ・セット・レベルを表し得るは、それらに限定されない。

【0021】

図１に移れば、本願の原理を適用することができる例示的なビデオ符号化器の全体を参照符号１００で示す。

【0022】

ビデオ符号化器１００への入力は、合成器１１０の非反転入力との信号通信で接続される。合成器１１０の出力は変換器／量子化器１２０との信号通信で接続される。変換器／量子化器１２０の出力はエントロピ符号化器１４０との信号通信で接続される。エントロピ符号化器１４０の出力は、符号化器１００の出力として利用可能である。

【0023】

変換器／量子化器１２０の出力は、逆変換器／量子化器１５０との信号通信で更に接続される。逆変換器／量子化器１５０の出力は、デブロック・フィルタ１６０の入力と信号通信で接続される。デブロック・フィルタ１６０の出力は、基準ピクチャ記憶装置１７０と信号通信で接続される。基準ピクチャ記憶装置１７０の第１の出力は、動き推定器１８０の第１の入力と信号通信で接続される。符号化器１００への入力は、動き推定器１８０の第２の入力と信号通信で更に接続される。動き推定器１８０の出力は動き補償器１９０の第１の入力と信号通信で接続される。基準ピクチャ記憶装置１７０の第２の出力は、動き補償器１９０の第２の入力と信号通信で接続される。動き補償器１９０の出力は、合成器１１０の反転入力と信号通信で接続される。

【0024】

図２に移れば、本願の原理を適用することができる例示的なビデオ復号化器の全体を参照符号２００で示す。

【0025】

ビデオ復号化器２００は、ビデオ系列を受信するエントロピ復号化器２１０を含む。エントロピ復号化器２１０の第１の出力は、逆量子化器／変換器２２０の入力と信号通信で接続される。逆量子化器／変換器２２０の出力は、合成器２４０の第１の非反転入力と信号通信で接続される。

【0026】

合成器２４０の出力はデブロック・フィルタ２９０の入力と信号通信で接続される。デブロック・フィルタ２９０の出力は、基準ピクチャ記憶装置２５０の入力と信号通信で接続される。基準ピクチャ記憶装置２５０の出力は、動き補償器２６０の第１の入力と信号通信で接続される。動き補償器２６０の出力は、合成器２４０の第２の非反転入力と信号通信で接続される。エントロピ復号化器２１０の第２の出力は、動き補償器２６０の第２の入力と信号通信で接続される。デブロック・フィルタ２９０の出力は、ビデオ復号化器２００の出力として利用可能である。

【0027】

本願の原理によれば、マルチビュー・ビデオを符号化し、復号化する方法及び装置を提供する。一実施例では、マルチビュー・ビデオ系列を効率的に処理するために、ＭＰＥＧ−４ＡＶＣ標準の高位構文に対する変更が提案されている。例えば、一実施例では、本願発明者は、マルチビュー・ビデオ系列の依存性構造を示す、別々の方法間で選ぶ対象のフラグ又は他の構文要素を含めることを提案している。前述のフラグ又は他の構文要素を備えることにより、本願の原理の実施例は、マルチビュー・ビデオ系列における別々のピクチャが互いにどのように依存しているかを復号化器が判定することを可能にする。このようにして、効果的には、必要なピクチャのみが復号化される。更に、前述のビュー依存性情報は、ビューのランダム・アクセス及びビューのスケーラビリティを効率的にサポートする。

【0028】

マルチビュー圧縮データ・ストリームにおける依存性情報を供給するために、「第１の方法」及び「第２の方法」として以下に表す別々の２つの方法が提案されている。両方の方法は、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ （ＩＳＯ／ＩＥＣ） Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４ （ＭＰＥＧ−４） Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＡＶＣ） ｓｔａｎｄａｒｄ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ， Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ （ＩＴＵ−Ｔ） Ｈ．２６４勧告（以下、「ＭＰＥＧ−４ ＡＶＣ標準」）の高位構文に対する変更を提案している。特に、ビュー・パラメータ・セット（ＶＰＳ）と呼ばれる新パラメータ・セットが定義されている。

【0029】

以下明細書では、ノードは、ビデオ系列内のピクチャに対応する。各ピクチャは、独立に符号化することが可能であるか、又は、先行して符号化されたピクチャに応じて符号化することが可能である。ピクチャの符号化が、先行して符号化されたピクチャに依存する場合、参照されるピクチャ（すなわち、先行して符号化されたピクチャ）を、符号化されているピクチャの親と呼ぶ。ピクチャは、一又は複数の親を有し得る。ピクチャＡの子孫は、Ａをその参照として使用するピクチャである。

【0030】

第１の方法は、依存性情報を局所範囲において供給する。これは、ノード毎に、直接の親が通知されることを意味する。この手法では、この依存性情報を使用して依存性グラフを再構成する必要がある。依存性グラフを再構成するための１つのやり方には、このグラフを求めるために再帰呼び出しを行うことがある。
第２の方法は、依存性情報を大局範囲において供給する。これは、ノード毎に、子孫が通知されることを意味する。要するに、テーブル・ルックアップのみを使用して、何れかの２つのノード間で祖先／子孫関係が存在しているか否かを判定することが可能である。

【0031】

次に示す構文は、マルチビュー・ビデオ・ビットストリームにおいて依存性情報を示す第１の方法及び第２の方法の考えられる実施例を表す。

【0032】

表１は、マルチビュー・ビットストリームにおける依存性情報を示す第１の方法のビュー・パラメータ・セット（ＶＰＳ）の構文を示す。

【0033】

【表1】

ｖｉｅｗ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、スライス・ヘッダ内で参照されるビュー・パラメータ・セットを識別する。ｔｈｅ ｖｉｅｗ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、０以上２^１６−１以下の範囲内であるべきである。

【0034】

ｎｕｍ＿ｍｕｌｔｉｖｉｅｗ＿ｒｅｆｓ＿ｆｏｒ＿ｌｉｓｔ０は、ｌｉｓｔ０のマルチビュー予測参照数を規定する。ｎｕｍ＿ｍｕｌｔｉｖｉｅｗ＿ｒｅｆｓ＿ｆｏｒ＿ｌｉｓｔ０の値は、ｌｉｓｔ０内の要素の最大数以下である。

【0035】

ｎｕｍ＿ｍｕｌｔｉｖｉｅｗ＿ｒｅｆｓ＿ｆｏｒ＿ｌｉｓｔ１は、ｌｉｓｔ１のマルチビュー予測参照数を規定する。ｎｕｍ＿ｍｕｌｔｉｖｉｅｗ＿ｒｅｆｓ＿ｆｏｒ＿ｌｉｓｔ１の値は、ｌｉｓｔ１の最大要素数以下である。

【0036】

ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗ＿ｆｏｒ＿ｌｉｓｔ＿０［ｉ］は、ｌｉｓｔ０の現在のビューのｉ番目の参照として使用されるビューのビュー係数を識別する。

【0037】

ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗ＿ｆｏｒ＿ｌｉｓｔ＿１［ｉ］は、ｌｉｓｔ０の現在のビューのｉ番目の参照として使用されるビューのビュー係数を識別する。

【0038】

表２は、マルチビュー・ビットストリームにおける依存性情報を示す第２の方法のビュー・パラメータ・セット（ＶＰＳ）の構文を示す。

【0039】

【表2】

ｖｉｅｗ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、スライス・ヘッダ内で参照されるビュー・パラメータ・セットを表す。ｖｉｅｗ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は０乃至２５５の範囲内であるべきである。

【0040】

ｎｕｍｂｅｒ＿ｏｆ＿ｖｉｅｗｓ＿ｍｉｎｕｓ＿１に１を加えたものが、ビットストリームにおける合計ビュー数を識別する。ｎｕｍｂｅｒ＿ｏｆ＿ｖｉｅｗ＿ｍｉｎｕｓ＿１の値は０乃至２５５の範囲内にある。

【0041】

ａｖｃ＿ｃｏｍｐａｔｉｂｌｅ＿ｖｉｅｗ＿ｉｄは、ＡＶＣ互換ビューのｖｉｅｗ＿ｉｄを示す。ａｖｃ＿ｃｏｍｐａｔｉｂｌｅ＿ｙｉｅｗ＿ｉｄの値は０以上２５５以下の範囲である。

【0042】

ｉｓ＿ｂａｓｅ＿ｖｉｅｗ＿＿ｆｌａｇ［ｉ］が１に等しいことは、ｖｉｅｗ ｉがベース・ビューであり、独立して復号化可能であることを示す。ｉｓ＿ｂａｓｅ＿ｖｉｅｗ＿＿ｆｌａｇ［ｉ］が０に等しいことは、ｖｉｅｗ ｉがベース・ビューでないことを示す。ｉｓ＿ｂａｓｅ＿ｖｉｅｗ＿ｆｌａｇ［ｉ］の値は、ＡＶＣ互換ビューｉの場合、１に等しい。

【0043】

ｄｅｐｅｎｄｅｎｃｙ＿ｕｐｄａｔｅ＿ｆｌａｇが１に等しいことは、このビューの依存性情報がＶＰＳにおいて更新されていることを示す。ｄｅｐｅｎｄｅｎｃｙ＿ｕｐｄａｔｅ＿ｆｌａｇが０に等しいことは、このビューの依存性情報が、更新されておらず、変更されるべきでないことを示す。

【0044】

ａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］が１に等しいことは、ｖｉｅｗ＿ｉｄがｊに等しいアンカ・ピクチャが、ｖｉｅｗ＿ｉｄがｉに等しいアンカ・ピクチャに依存することを示す。

【0045】

ｎｏｎ＿ａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］が１に等しいことは、ｖｉｅｗ＿ｉｄがｊに等しい非アンカ・ピクチャが、ｖｉｅｗ＿ｉｄがｉに等しい非アンカ・ピクチャに依存することを示す。ｎｏｎ＿ａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］は、ａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｉ］が１に等しい場合にのみ存在する。ａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］が存在しており、ゼロに等しい場合、ｎｏｎ＿ａｎｃｈｏｒ＿ｐｉｃｔｕｒｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ｍａｐｓ［ｉ］［ｊ］は０として推論される。

【0046】

何れの方法も、アンカ・ピクチャと呼ばれる新たなピクチャ・タイプの定義に依拠する。

【0047】

アンカ・ピクチャ：全スライスが、同じ時間係数を備えたスライスのみ（すなわち、他のビューにおけるスライスのみであり、現在のビューにおけるスライスでない）を参照する符号化ピクチャ。前述のピクチャは、ｎａｌ＿ｒｅｆ＿ｉｄｃ＝３にセットすることによって通知される、アンカ・ピクチャを復号化した後、表示順序において後続する符号化ピクチャは全て、アンカ・ピクチャに先行して復号化されたピクチャからのインター予測なしで復号化することができる。一ビューにおけるピクチャがアンカ・ピクチャの場合、他のビューにおける同じ時間係数を備えたピクチャは全て、やはりアンカ・ピクチャである。

【0048】

２つの変更が独立していることは、参照に使用されないもの（イタリックで示している）として、表示順序において先行するピクチャのマーキングをアンカ・ピクチャが必要とすることにより、かつ／又は、アンカ・ピクチャがビューにわたって整列することを要求する（太字イタリックで示している）ことにより、時間依存性がないことを示す。

【0049】

第１の方法及び第２の方法は、表４に太字で示すように、新たなＮＡＬユニット・タイプを導入している。更に、何れの手法も、使用する対象のビュー・パラメータ・セット及びｖｉｅｗ＿ｉｄ（表５に示す）を示すようスライス・ヘッダを修正する。

【0050】

第１の方法は、ベース・ビューが経時的に変動し得るケースを扱うという利点を有するが、どのピクチャを廃棄するかを決定する前にピクチャを更にバッファリングすることを必要とする。第１の方法は更に、依存性を判定するための再帰的処理を有するという欠点がある。

【0051】

対照的に、第２の方法は、再帰的な処理を何ら必要とせず、ベース・ビューが変わらない場合、ピクチャのバッファリングを必要としない。しかし、ベース・ビューが経時的に変わる場合、第２の方法は、ピクチャのバッファリングを必要とする。

【0052】

本願の原理は、マルチビュー・ビデオ・ビットストリームにおける依存性情報を示す２つの方法に関して主に説明しているが、本願の原理の範囲を維持しながら、マルチビュー・ビデオ・ビットストリームにおける依存性情報を示す他の方法に適用することができる。
例えば、本願の原理は、本明細書及び特許請求の範囲記載の依存性情報を示す２つの方法の１つ又は複数の代わりの、かつ／又は前述の方法の１つ又は複数に加えた、その他の方法について実現することができる。

【0053】

本願の原理によれば、マルチビュー・ビデオ・ビットストリームにおいて導入されるための新たな構文を提案している。ここで、新たな構文は、ビットストリームにおける１つ又は複数のピクチャの依存性構造を示す別々の方法の間で選択するために使用する。一実施例では、前述の構文は高位構文である。前述の通り、「高位の構文」の句は、階層的にマクロブロック層の上の、ビットストリーム内に存在している構文を表す。例えば、本明細書及び特許請求の範囲記載の高位構文は、スライス・ヘッダ・レベル、付加拡張情報（ＳＥＩ）レベル、ピクチャ・パラメータ・セット・レベル、及びシーケンス・パラメータ・セット・レベルを表し得るが、それらに限定されない。一実施例では、前述の構文の値に応じて、復号化器は、依存性構造を示す特定の方法に属する後続構文要素を認識することが可能である。一実施例では、この構文は次いで、復号化器に記憶し、前述の必要性が生じた後の時点で処理することが可能である。

【0054】

依存性構造を示すために２つの方法のみの間で選択することは、本願の原理による新たな構文の特殊なケースとみなし得る。前述のケースでは、この構文要素は２つの値のみを呈し得る。その結果、一実施例では、これは単に、ビットストリーム内の２進値フラグであり得る。前述の例示的な実施例の１つを以下に記載する。

【0055】

ＭＰＥＧ−４ ＡＶＣビットストリームの場合、方法の１つは、上記第１の方法などの、局所の範囲においてこの依存性情報を供給することに基づく。これは、ノード毎に、直接の親が通知されることを意味する。この手法では、この情報を使用して依存性グラフを再構成する必要がある。１つのやり方は、このグラフを求めるために再帰的呼び出しを行うことである。

【0056】

第２の方法では、依存性情報は大局範囲で供給される。これは、ノード毎に、子孫が通知されることを意味する。要するに、テーブル・ルックアップのみを使用して、何れかの２つのノード間で祖先／子孫関係が存在しているか否かを判定することが可能である。

【0057】

一実施例では、本願発明者は、ビットストリームにおいて２つの方法の何れが通知されるかを示すためにビットストリームの高位でのフラグを導入している。これは、シーケンス・パラメータ・セット（ＳＰＳ）、ビュー・パラメータ・セット（ＶＰＳ）、又は、ＭＰＥＧ―４ ＡＶＣビットストリームの高位に存在している特定の他の特殊なデータ構造において通知することが可能である。

【0058】

一実施例では、このフラグは、ｖｐｓ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇとして表す。ｖｐｓ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇが１にセットされると、依存性グラフは第１の方法（大局手法）を使用して示される。ｖｐｓ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇが０にセットされると、依存性グラフは第２の方法（局所手法）を使用して示される。これにより、アプリケーションが、依存性構造を示すための別々の２つの方法間で選択することが可能になる。このフラグの実施例は、表３に示すビュー・パラメータ・セットにおいて示す。表３は、本願の原理の実施例による提案されたビュー・パラメータ・セット（ＶＰＳ）構文を示す。表４は、本願の原理の実施例によるＮＡＬユニット・タイプ符号を示す。表５は、本願の原理の実施例によるスライス・ヘッダ構文を示す。表６は、本願の原理の実施例による提案されたシーケンス・パラメータ・セット（ＳＰＳ）構文を示す。表７は、本願の原理の実施例による提案されたピクチャ・パラメータ・セット（ＰＰＳ）構文を示す。

【0059】

【表3】

【0060】

【表4】

【0061】

【表5】

【0062】

【表6】

【0063】

【表7】

図３に移れば、ｖｐｓ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇを、結果として生成されるビットストリームに挿入するための例示的な方法の全体を参照符号３００で示す。方法３００は、マルチビュー・ビデオ・コンテンツに対応する複数のビューの符号化における使用に特に適している。

【0064】

方法３００は、機能ブロック３１０に制御を渡す開始ブロック３０５を含む。機能ブロック３１０は、ランダム・アクセス手法選択基準を提供し、決定ブロック３１５に制御を渡す。決定ブロック３１５は、第１の方法の構文をランダム・アクセスに使用するか否かを判定する。肯定の場合、制御は機能ブロック３２０に渡される。さもなければ、制御は機能ブロック３３５に渡される。

【0065】

機能ブロック３２０は、ｖｐｓ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇを１に等しくセットし、制御を機能ブロック３２５に渡す。機能ブロック３２５は、第１の方法のランダム・アクセス構文をビュー・パラメータ・セット（ＶＰＳ）、シーケンス・パラメータ・セット（ＳＰＳ）、又はピクチャ・パラメータ・セット（ＰＰＳ）に書き込み、制御を機能ブロック３５０に渡す。

【0066】

機能ブロック３５０は、符号化器パラメータを読み出し、制御を機能ブロック３５５に渡す。機能ブロック３５５はピクチャを符号化し、制御を機能ブロック３６０に渡す。機能ブロック３６０はビットストリームをファイル又はストリームに書き込み、制御を決定ブロック３６５に渡す。決定ブロック３６５は、更に多くのピクチャを符号化するか否かを判定する。肯定の場合、（次のピクチャを符号化するために）制御を機能ブロック３５５に戻す。さもなければ、制御は決定ブロック３７０に渡す。決定ブロック３７０は、パラメータが帯域内で通知されるか否かが判定される。肯定の場合、制御は機能ブロック３７５に渡される。さもなければ、制御は機能ブロック３８０に渡される。

【0067】

機能ブロック３７５はパラメータ・セットをビットストリームの一部としてファイルに書き込むか、又は、ビットストリームとともにパラメータ・セットをストリーミングし、制御を終了ブロック３９９に渡す。

【0068】

機能ブロック３８０は、ビットストリームと比較してパラメータ・セットを別個に（帯域外で）ストリーミングし、制御を終了ブロック３９９に渡す。

【0069】

機能ブロック３３５はｖｐｓ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇをゼロに等しくセットし、機能ブロック３４０に制御を渡す。機能ブロック３４０は、第２の方法のランダム・アクセス構文をＶＰＳ、ＳＰＳ又はＰＰＳに書き込み、機能ブロック３５０に制御を渡す。

【0070】

図４に移れば、ビットストリームにおけるｖｐｓ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ を復号化するための例示的な方法の全体を参照符号４００で示す。方法４００は、マルチビュー・ビデオ・コンテンツに対応する複数のビューの復号化における使用に特に適している。

【0071】

方法４００は、機能ブロック４１０に制御を移す開始ブロック４０５を含む。機能ブロック４１０は、パラメータ・セットが帯域内で通知されるか否かを判定する。肯定の場合、制御は機能ブロック４１５に渡される。さもなければ、制御は機能ブロック４２０に渡される。

【0072】

機能ブロック４１５は、パラメータ・セット及び符号化ビデオを含むビットストリームを解析し始め、制御を機能ブロック４２５に渡す。

【0073】

機能ブロック４２５は、ビュー・パラメータ・セット（ＶＰＳ）、シーケンス・パラメータ・セット（ＳＰＳ）又はピクチャ・パラメータ・セット（ＰＰＳ）において存在しているｖｐｓ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇを読み出し、制御を判定ブロック４３０に渡す。

【0074】

決定ブロック４３０は、ｖｐｓ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇが１に等しいか否かを判定する。肯定の場合、制御は機能ブロック４３５に渡される。さもなければ、制御は機能ブロック４４０に渡される。

【0075】

機能ブロック４３５は第１の方法のランダム・アクセス構文を読み出し、制御を渡す決定ブロック４５５に制御を渡す。決定ブロック４５５は、ランダム・アクセスが必要か否かを決定する。肯定の場合、制御は機能ブロック４６０に渡される。さもなければ、制御は機能ブロック４６５に渡される。

【0076】

機能ブロック４６０は、要求ビューをＶＰＳ、ＳＰＳ又はＰＰＳの構文に基づいて復号化するために必要なピクチャを判定し、制御を機能ブロック４６５に渡す。

【0077】

機能ブロック４６５は、ビットストリームを解析し、制御を機能ブロック４７０に渡す。機能ブロック４７０は、ピクチャを復号化し、制御を決定ブロック４７５に渡す。決定ブロック４７５は、復号化する対象のピクチャが更に存在しているか否かを判定する。肯定の場合、制御は機能ブロック４６５に返される。さもなければ、制御は終了ブロック４９９に渡される。

【0078】

機能ブロック４２０は帯域外ストリームからパラメータ・セットを取得し、制御を機能ブロック４２５に渡す。

【0079】

機能ブロック４４０は、第２の方法のランダム・アクセス構文を読み出し、制御を決定ブロック４５５に渡す。

【0080】

次に、本発明の多くの効果／特徴の一部について説明する。この一部は上述している。例えば、一効果／特徴は、マルチビュー・ビデオ・コンテンツに対応する少なくとも２つのビューを、結果として生成されるビットストリームに、構文要素を使用して符号化される符号化器を含む装置である。構文要素は、少なくとも２つのビューのうちの少なくとも一部の間の復号化依存性を示す少なくとも２つの方法のうちの特定の方法を識別する。別の効果／特徴は、上述の符号化器を有する装置であり、構文要素は高位構文要素である。
更に別の効果／特徴は、上述の符号化器を有する装置であり、高位構文は、結果として生成されるビットストリームに対して帯域外で供給される。更に別の効果／特徴は、上述の符号化器を有する装置であり、高位構文は、結果として生成されるビットストリームに対して帯域内で供給される。更に別の効果／特徴は、上述の符号化器を有する装置であり、高位構文は、結果として生成されるビットストリームのパラメータ・セットに存在している。更に、別の効果／特徴は上述の符号化器を有する装置であり、パラメータ・セットは、ビュー・パラメータ・セット、シーケンス・パラメータ・セット、又はピクチャ・パラメータ・セットのうちの１つである。更に、別の効果／特徴は、上述の符号化器を有する装置であり、構文要素は２進値のフラグである。更に、別の効果／特徴は、符号化器を有する装置であり、構文要素は上述の２進値のフラグであり、フラグは、ｖｐｓ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ要素によって表す。更に、別の効果／特徴は、符号化器を有する装置であり、構文要素は上述の２進値のフラグであり、フラグは、結果として生成されるビットストリームにおけるマクロブロック・レベルよりも高いレベルに存在している。更に、別の効果／特徴は符号化器を有する装置であり、構文要素は、上述のようなマクロブロック・レベルよりも高いレベルに存在している２進値フラグであり、上記レベルは、結果として生成されるビットストリームのパラメータ・セットに対応する。更に、別の効果／特徴は符号化器を有する装置であり、構文要素は、上述のようなパラメータ・セットに対応するレベルにあり、パラメータ・セットは、シーケンス・パラメータ・セット、ピクチャ・パラメータ・セット、又はビュー・パラメータ・セットである。

【0081】

本願の原理の前述並びに他の特徴及び効果は、本明細書及び特許請求の範囲記載の教示に基づいて、当業者が容易に確かめることができる。本願の原理の教示は、種々の形態のハードウェア、ソフトウェア、ファームウェア、特殊用途向プロセッサ、又はそれらの組み合わせで実現することができる。

【0082】

最も好ましくは、本願の原理の教示は、ハードウェア及びソフトウェアの組合せとして実現される。更に、ソフトウェアは、プログラム記憶装置上に有形に実施されたアプリケーション・プログラムとして実現することができる。アプリケーション・プログラムは、何れかの適切なアーキテクチャを有するマシンにアップロードし、前述のマシンによって実行することができる。好ましくは、マシンは、１つ又は複数の中央処理装置（「ＣＰＵ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）や、入出力（「Ｉ／Ｏ」）インタフェースなどのハードウェアを有するコンピュータ・プラットフォーム上に実現される。コンピュータ・プラットフォームは、オペレーティング・システム及びマイクロ命令コードも含み得る。本明細書及び特許請求の範囲記載の種々の処理及び機能は、ＣＰＵによって実行されるアプリケーション・プログラムの一部若しくはマイクロ命令コードの一部（又はそれらの組み合わせ）であり得る。

【0083】

更に、種々の他の周辺装置を、更なるデータ記憶装置や、印刷装置などのコンピュータ・プラットフォームに接続することができる。添付図面に表す構成システム部分及び方法工程の一部は好ましくはソフトウェアで実現されるので、システム部分（又は処理工程）間の実際の接続は、本願の原理がプログラムされるやり方によって変わり得る。本明細書及び特許請求の範囲記載の教示があれば、当業者は、本願の原理の前述及び同様な実現形態又は構成に想到することができるであろう。

【0084】

例証的な実施例を、添付図面を参照して本明細書及び特許請求の範囲において記載しているが、本願の原理は上述のまさにその実施例に限定されず、本願の原理の範囲又は趣旨から逸脱しない限り、種々の変更及び修正を当業者により、本願の原理において行うことができる。前述の変更及び修正は全て、特許請求の範囲記載の本願の原理の範囲内に含まれることが意図されている。

【図面の簡単な説明】

【0085】

【図1】本願の原理の実施例により、本願の原理を適用することができる例示的なビデオ符号化器を示すブロック図である。

【図2】本願の原理の実施例により、本願の原理を適用することができる例示的なビデオ復号化器を示すブロック図である。

【図3】本願の原理の実施例により、ｖｐｓ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇを、結果として生成されるビットストリームに挿入する例示的な方法を示すフロー図である。

【図4】本願の原理の実施例により、ビットストリーム内のｖｐｓ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇを復号化する例示的な方法を示すフロー図である。

【図1】

【図2】

【図3】

【図4】