▶ ライ ラディオテレヴィズィオーネ イタリアーナ エッセ．ピー．アー．の特許一覧 ▶ エッセ．イ．エスヴィー．エアレ ソシアテ イタリアーナ ピエレ エレオ ヴィルプ デレレトロニカ エッセ．ピー．アー．の特許一覧
特許7028398デジタルビデオをコード化およびデコードするための方法、ならびに関係するコード化およびデコードデバイス
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-02-21
(45)【発行日】2022-03-02
(54)【発明の名称】デジタルビデオをコード化およびデコードするための方法、ならびに関係するコード化およびデコードデバイス
(51)【国際特許分類】
H04N 19/70 20140101AFI20220222BHJP
H04N 19/503 20140101ALI20220222BHJP
H04N 19/597 20140101ALI20220222BHJP
H04N 19/96 20140101ALI20220222BHJP
【ＦＩ】
H04N19/70
H04N19/503
H04N19/597
H04N19/96
【請求項の数】
23
【外国語出願】
(21)【出願番号】P 2017221897
(22)【出願日】2017-11-17
(62)【分割の表示】P 2015536276の分割
【原出願日】2013-10-14
(65)【公開番号】P2018050327
(43)【公開日】2018-03-29
【審査請求日】2017-11-20
【審判番号】
【審判請求日】2020-10-12
(31)【優先権主張番号】TO2012A000901
(32)【優先日】2012-10-15
(33)【優先権主張国・地域又は機関】IT
(73)【特許権者】
【識別番号】515070240
【氏名又は名称】ライ ラディオテレヴィズィオーネ イタリアーナ エッセ．ピー．アー．
(73)【特許権者】
【識別番号】311017326
【氏名又は名称】エッセ．イ．エスヴィー．エアレ ソシアテ イタリアーナ ピエレ エレオ ヴィルプ デレレトロニカ エッセ．ピー．アー．
(74)【代理人】
【識別番号】110000877
【氏名又は名称】龍華国際特許業務法人
(72)【発明者】
【氏名】アリーナ、マルコ
(72)【発明者】
【氏名】バロッカ、ジョヴァーニ
(72)【発明者】
【氏名】スンナ、パオラ
【合議体】
【審判長】清水 正一
【審判官】川崎 優
【審判官】畑中 高行
(56)【参考文献】
【文献】特開２０１１－１０９３９７（ＪＰ，Ａ）
【文献】特開平１１－３４６３７１０（ＪＰ，Ａ）
【文献】特開２００４－７２６６（ＪＰ，Ａ）
【文献】特開２００５－１２４２００（ＪＰ，Ａ）
【文献】特表２０１０－５２７２１７（ＪＰ，Ａ）
【文献】Ｘｉａｏｆｅｎｇ Ｙａｎｇ， ｅｔ ａｌ．，２Ｄ ｃｏｍｐａｔｉｂｌｅ ｆｒａｍｅ ｐａｃｋｉｎｇ ｓｔｅｒｅｏ ３Ｄ ｖｉｄｅｏ，Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＪＣＴ－ＶＣ） ｏｆ ＩＴＵ－Ｔ ＳＧ １６ ＷＰ ３ ａｎｄ ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１ １１ｔｈ Ｍｅｅｔｉｇ：Ｓｈａｎｇｈａｉ，ＣＮ，１０－１９ Ｏｃｔ．２０１２ Ｄｏｃｕｍｅｎｔ：ＪＣＴＶＣ－Ｋ０１１６，２０１２年 ９月２９日，ＵＲＬ，ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ－ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１１＿Ｓｈａｎｇｈａｉ／ｗｇ１１／ＪＣＴＶＣ－Ｋ０１１６－ｖ１．ｚｉｐ
【文献】Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ ＩＴＵ－Ｔ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮ ＳＴＡＮＤＡＲＤＩＺＡＴＩＯＮ ＳＥＴＣＯＲ ＯＦ ＩＴＵ Ｈ．２６４（０１／２０１２） ＳＥＲＩＥＳ Ｈ：ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ｏｆ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ － Ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｖｉｄｅｏ ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ－Ｔ Ｈ．２６４，２０１２年１月，ｐｐ．３６５－３７４
(58)【調査した分野】(Int.Cl.，ＤＢ名)
H04N 19/00-19/98
(57)【特許請求の範囲】
【請求項1】
ビデオストリーム受信機ユニットおよびビデオエンコーダを備えるビデオストリームジェネレータにおいてデジタルビデオストリームを生成するための方法であって、前記ビデオストリームジェネレータは、複数の独立したエンコードされた領域を含むコンテナビデオストリームを生成し、前記方法は、前記ビデオストリーム受信機ユニットにより、３またはそれより多いコンポーネントビデオストリームを複数のビデオソースから受信する段階と、
前記３またはそれより多いコンポーネントビデオストリームを、前記コンテナビデオストリームの３またはそれより多い独立にデコード可能な領域にマッピングする段階と、
前記ビデオエンコーダにより、前記３またはそれより多いコンポーネントビデオストリームの各々と、前記３またはそれより多い独立にデコード可能な領域の各々との間の関連性を示すシグナリングを入力する段階であって、前記シグナリングは、前記３またはそれより多い独立にデコード可能な領域のそれぞれについて、前記３またはそれより多いコンポーネントビデオストリームのそれぞれに関する他の独立にデコード可能な領域との関連性が存在するか否かを示す一義的な記述を含み、前記３またはそれより多いコンポーネントビデオストリームのいずれかは、一義的な記述により前記３またはそれより多い独立にデコード可能な領域のいずれかと関連付けられ得る、段階と、
前記シグナリングを有するデジタルビデオストリームを出力する段階と
を備える方法。
【請求項2】
前記３またはそれより多いコンポーネントビデオストリームのコンテンツのタイプを示す記述子を、前記ビデオエンコーダにより前記デジタルビデオストリームに入力する段階を更に備える、請求項１に記載の方法。
【請求項3】
前記３またはそれより多い独立にデコード可能な領域の各々は、前記ビデオエンコーダにより、タイルとしてコード化される、請求項１または２に記載の方法。
【請求項4】
前記ビデオエンコーダにより利用されるコード化技術は、Ｈ．２６４／ＡＶＣまたはＨＥＶＣである、請求項１または２に記載の方法。
【請求項5】
前記３またはそれより多いコンポーネントビデオストリームと前記３またはそれより多い独立にデコード可能な領域との間の前記関連性と、前記３またはそれより多いコンポーネントビデオストリームのコンテンツのタイプを示す前記記述子とを示す、前記ビデオエンコーダにより前記デジタルビデオストリームに入力された前記シグナリングは、補足エンハンスメント情報（ＳＥＩ）メッセージである、請求項２に記載の方法。
【請求項6】
前記３またはそれより多いコンポーネントビデオストリームと前記３またはそれより多い独立にデコード可能な領域との間の前記関連性と、前記３またはそれより多いコンポーネントビデオストリームのコンテンツのタイプを示す前記記述子とを示す前記シグナリングは、前記ビデオエンコーダにより、シーケンスパラメータセット（ＳＰＳ）シグナリングまたはピクチャパラメータセット（ＰＰＳ）シグナリングに入力される、請求項２に記載の方法。
【請求項7】
前記３またはそれより多いコンポーネントビデオストリームと、前記３またはそれより多い独立にデコード可能な領域との間の前記関連性を示す、前記ビデオエンコーダにより前記デジタルビデオストリームに入力された前記シグナリングは、ビットマスクを含む、請求項１から６のいずれか一項に記載の方法。
【請求項8】
前記３またはそれより多いコンポーネントビデオストリームは、１または複数の立体ビデオのペア、
複数のビデオストリームおよび複数の奥行きマップ、
フレームパッキング構成フォーマットの１または複数のビデオストリーム、
独立した複数のビデオのモザイク
のフォーマットのうちの１または複数とを含む、請求項１から７のいずれか一項に記載の方法。
【請求項9】
前記記述子は、フレームパッキング構成と、
コンテンツの変換タイプと、
ビューＩＤと
を記述する１または複数のメタデータを含む、請求項２、５および６のいずれか一項に記載の方法。
【請求項10】
請求項１から９のいずれか一項に記載の方法を実行するビデオストリームジェネレータ。
【請求項11】
シグナリングデコーダ及びビデオデータデコーダを備えるビデオデコーダにより、コンテナビデオストリームに含まれる３またはそれより多いコンポーネントビデオストリームを含むエンコードされたデジタルビデオストリームをデコードするための方法であって、前記シグナリングデコーダが、前記３またはそれより多いコンポーネントビデオストリームの各々と、前記コンテナビデオストリームの３またはそれより多い独立にデコード可能な領域の各々との間の関連性を示す、前記デジタルビデオストリームに含まれるシグナリングを読み取る段階であって、前記３またはそれより多いコンポーネントビデオストリームは複数のビデオソースに由来し、前記シグナリングは、前記３またはそれより多い独立にデコード可能な領域のそれぞれについて、前記３またはそれより多いコンポーネントビデオストリームのそれぞれに関する他の独立にデコード可能な領域との関連性が存在するか否かを示す一義的な記述を含み、前記３またはそれより多いコンポーネントビデオストリームのいずれかは、一義的な記述により前記３またはそれより多い独立にデコード可能な領域のいずれかに関連付けられ得る、段階と、
前記シグナリングデコーダが、前記コンテナビデオストリームの前記３またはそれより多い独立にデコード可能な領域の各々のコンテンツのタイプを示す、前記デジタルビデオストリームに含まれる記述子を読み取る段階と、
前記シグナリングまたは前記記述子により示された前記３またはそれより多い独立にデコード可能な領域のセットをデコードすることを選択する段階と、
前記ビデオデコーダにより、前記選択された独立にデコード可能な領域のセットをデコードして、前記ビデオデータデコーダにより取得された前記デコードされたビデオストリームを表示するために出力する段階と
を備える、方法。
【請求項12】
シグナリングデコーダ及びビデオデータデコーダを備えるビデオデコーダにおいて、３またはそれより多い独立したコンポーネント領域を含むエンコードされたデジタルビデオストリームをデコードするための方法であって、前記シグナリングデコーダが、前記３またはそれより多い独立したコンポーネント領域の各々と、３またはそれより多い独立にデコード可能な領域の各々との間の関連性を示す、前記デジタルビデオストリームに含まれるシグナリングを読み取る段階であって、前記３またはそれより多い独立したコンポーネント領域は複数のビデオソースに由来し、前記シグナリングは、前記３またはそれより多い独立にデコード可能な領域のそれぞれについて、前記３またはそれより多い独立したコンポーネント領域のそれぞれに関する他の独立にデコード可能な領域との関連性が存在するか否かを示す一義的な記述を含み、前記３またはそれより多い独立したコンポーネント領域のいずれかは、一義的な記述により前記３またはそれより多い独立にデコード可能な領域のいずれかに関連付けられ得る、段階と、
前記シグナリングデコーダが、前記３またはそれより多い独立にデコード可能な領域の各々のコンテンツのタイプを示す、前記デジタルビデオストリームに含まれる記述子を読み取る段階と、
前記シグナリングまたは前記記述子により示された前記３またはそれより多い独立にデコード可能な領域のセットをデコードすることを選択する段階と、
前記ビデオデコーダにより前記選択された独立にデコード可能な領域のセットをデコードして、前記ビデオデータデコーダにより取得された前記デコードされたビデオストリームを表示するために出力する段階と
を備え、
前記３またはそれより多い独立したコンポーネント領域と前記３またはそれより多い独立にデコード可能な領域との間の関連性と、前記３またはそれより多い独立したコンポーネント領域のコンテンツのタイプを示す前記記述子とを示す前記シグナリングは、補足エンハンスメント情報（ＳＥＩ）メッセージから読み取られる、方法。
【請求項13】
シグナリングデコーダ及びビデオデータデコーダを備えるビデオデコーダにおいて、３またはそれより多い独立したコンポーネント領域を含むエンコードされたデジタルビデオストリームをデコードするための方法であって、前記シグナリングデコーダが、前記３またはそれより多い独立したコンポーネント領域の各々と、３またはそれより多い独立にデコード可能な領域の各々との間の関連性を示す、前記デジタルビデオストリームに含まれるシグナリングを読み取る段階であって、前記３またはそれより多い独立したコンポーネント領域は複数のビデオソースに由来し、前記３またはそれより多い独立にデコード可能な領域は、エンコードされたデジタルビデオストリームを前記３またはそれより多い独立したコンポーネント領域に分割し、前記シグナリングは、前記３またはそれより多い独立にデコード可能な領域のそれぞれについて、前記３またはそれより多い独立したコンポーネント領域のそれぞれに関する他の独立にデコード可能な領域との関連性が存在するか否かを示す一義的な記述を含む、段階と、
前記シグナリングデコーダが、前記３またはそれより多い独立にデコード可能な領域の各々のコンテンツのタイプを示す、前記デジタルビデオストリームに含まれる記述子を読み取る段階と、
前記シグナリングまたは前記記述子により示された前記３またはそれより多い独立にデコード可能な領域のセットをデコードすることを選択する段階と、
前記ビデオデコーダにより前記選択された独立にデコード可能な領域のセットをデコードして、前記ビデオデータデコーダにより取得された前記デコードされたビデオストリームを表示するために出力する段階と
を備える、方法。
【請求項14】
前記ビデオデコーダは、独自の複数の計算リソースの評価に基づいて、前記３またはそれより多い独立にデコード可能な領域のうちの１または複数を選択する、請求項１１から１３のいずれか一項に記載の方法。
【請求項15】
前記３またはそれより多い独立にデコード可能な領域のうちの１または複数は、１つのディスプレイ上の表示のために利用可能にされる、請求項１１から１４のいずれか一項に記載の方法。
【請求項16】
前記３またはそれより多い独立にデコード可能な領域のうちの１または複数は、複数の異種デバイス上の表示のために利用可能にされる、請求項１１から１５のいずれか１項に記載の方法。
【請求項17】
デコードされる前記３またはそれより多い独立にデコード可能な領域のセットの選択は、前記ビデオデコーダに関連し、前記ビデオデコーダによりデコードされたビデオデータを表示するように構成されるディスプレイデバイスとの自動的なネゴシエーションに基づいて決定される、請求項１１から１６のいずれか１項に記載の方法。
【請求項18】
デコードされる前記３またはそれより多い独立にデコード可能な領域のセットの選択は、前記ビデオデコーダに関連するまたはディスプレイデバイスに関連するリモートコントロールデバイスを用いて実行されるユーザによる、前記ビデオデコーダに関連する前記ディスプレイデバイス上のディスプレイフォーマットの手動選択に基づいて決定される、請求項１１から１６のいずれか１項に記載の方法。
【請求項19】
コンテナビデオストリームに含まれる３またはそれより多いコンポーネントビデオストリームを含むデジタルビデオストリームをデコードするデコードデバイスであって、前記３またはそれより多いコンポーネントビデオストリームと、前記コンテナビデオストリームの３またはそれより多い独立にデコード可能な領域との間の関連性を示す、前記デジタルビデオストリームに含まれるシグナリングを読み取るように構成され、かつ、前記３またはそれより多い独立にデコード可能な領域の各々のコンテンツのタイプを示す、前記デジタルビデオストリームに含まれる記述子を読み取るように構成されるシグナリングデコーダであって、前記３またはそれより多いコンポーネントビデオストリームは複数のビデオソースに由来し、前記シグナリングは、前記３またはそれより多い独立にデコード可能な領域のそれぞれについて、前記３またはそれより多いコンポーネントビデオストリームのそれぞれに関する他の独立にデコード可能な領域との関連性が存在するか否かを示す一義的な記述を含み、前記３またはそれより多いコンポーネントビデオストリームのいずれかは、一義的な記述により前記コンテナビデオストリームの前記３またはそれより多い独立にデコード可能な領域のうちのいずれかと関連付けられ得る、シグナリングデコーダと、
デコード方法に従って、前記デジタルビデオストリームに含まれるビデオデータをデコードするように構成されるビデオデータデコーダと、
前記シグナリングより、または、前記記述子により示される前記３またはそれより多い独立にデコード可能な領域のセットを前記ビデオデータデコーダによりデコードすることを選択するように構成される選択ユニットと、
と備え、
前記ビデオデータデコーダは、前記選択ユニットにより選択された独立にデコード可能な領域の前記セットをデコードして、選択された独立にデコード可能な領域の前記セットを有するデコードされたデジタルビデオストリームを出力する、デコードデバイス。
【請求項20】
３またはそれより多い独立したコンポーネント領域を含むデジタルビデオストリームをデコードするデコードデバイスであって、前記３またはそれより多い独立したコンポーネント領域と、３またはそれより多い独立にデコード可能な領域との間の関連性を示す、前記デジタルビデオストリームに含まれるシグナリングを読み取るように構成され、かつ、前記３またはそれより多い独立にデコード可能な領域の各々のコンテンツのタイプを示す、前記デジタルビデオストリームに含まれる記述子を読み取るように構成されるシグナリングデコーダであって、前記３またはそれより多い独立したコンポーネント領域は複数のビデオソースに由来し、前記シグナリングは、前記３またはそれより多い独立にデコード可能な領域のそれぞれについて、前記３またはそれより多い独立したコンポーネント領域のそれぞれに関する他の独立にデコード可能な領域との関連性が存在するか否かを示す一義的な記述を含み、前記３またはそれより多い独立したコンポーネント領域のいずれかは、一義的な記述により前記３またはそれより多い独立にデコード可能な領域のうちのいずれかと関連付けられ得る、シグナリングデコーダと、
デコード方法に従って、前記デジタルビデオストリームに含まれるビデオデータをデコードするように構成されるビデオデータデコーダと、
前記シグナリングより、または、前記記述子により示される前記３またはそれより多い独立にデコード可能な領域のセットを前記ビデオデータデコーダによりデコードするために選択するように構成される選択ユニットと、
と備え、
前記ビデオデータデコーダは、前記選択ユニットにより選択された独立にデコード可能な領域の前記セットをデコードして、選択された独立にデコード可能な領域の前記セットを有するデコードされたデジタルビデオストリームを出力し、
前記３またはそれより多い独立したコンポーネント領域と前記３またはそれより多い独立にデコード可能な領域との間の関連性と、前記３またはそれより多い独立したコンポーネント領域のコンテンツのタイプを示す前記記述子とを示す前記シグナリングは、補足エンハンスメント情報（ＳＥＩ）メッセージから読み取られる、デコードデバイス。
【請求項21】
３またはそれより多い独立したコンポーネント領域を含むデジタルビデオストリームをデコードするデコードデバイスであって、前記３またはそれより多い独立したコンポーネント領域と、３またはそれより多い独立にデコード可能な領域との間の関連性を示す、前記デジタルビデオストリームに含まれるシグナリングを読み取るように構成され、かつ、前記３またはそれより多い独立にデコード可能な領域の各々のコンテンツのタイプを示す、前記デジタルビデオストリームに含まれる記述子を読み取るように構成されるシグナリングデコーダであって、前記３またはそれより多い独立したコンポーネント領域は複数のビデオソースに由来し、前記３またはそれより多い独立にデコード可能な領域は、エンコードされたデジタルビデオストリームを前記３またはそれより多い独立したコンポーネント領域に分割し、前記シグナリングは、前記３またはそれより多い独立にデコード可能な領域のそれぞれについて、前記３またはそれより多い独立したコンポーネント領域のそれぞれに関する他の独立にデコード可能な領域との関連性が存在するか否かを示す一義的な記述を含む、シグナリングデコーダと、
デコード方法に従って、前記デジタルビデオストリームに含まれるビデオデータをデコードするように構成されるビデオデータデコーダと、
前記シグナリングより、または、前記記述子により示される前記３またはそれより多い独立にデコード可能な領域のセットを前記ビデオデータデコーダによりデコードするために選択するように構成される選択ユニットと、
と備え、
前記ビデオデータデコーダは、前記選択ユニットにより選択された独立にデコード可能な領域の前記セットをデコードして、選択された独立にデコード可能な領域の前記セットを有するデコードされたデジタルビデオストリームを出力する、デコードデバイス。
【請求項22】
前記選択ユニットは、前記デコードデバイスによりデコードされた前記独立にデコード可能な領域の前記セットを、前記デコードデバイスに関連するディスプレイデバイス上の表示のために自動的に又は手動で選択するように更に構成される、請求項１９から２１のいずれか一項に記載のデコードデバイス。
【請求項23】
前記選択ユニットは、前記デコードデバイスによりデコードされた前記独立にデコード可能な領域のセットを含むディスプレイフォーマットを、前記デコードデバイスに関連するディスプレイデバイスとのネゴシエーション処理を用いて選択するように更に構成される、請求項１９から２１のいずれか一項に記載のデコードデバイス。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタルビデオをコード化およびデコードするための方法に関し、具体的には、ビデオストリームを複数の独立したパーティションにコード化する方法、およびビデオストリームを構成する１または複数のパーティションを独立にデコードするための対応する方法に関する。
【0002】
また、本発明は、ビデオストリームを複数の独立したパーティションにコード化するためのデバイス、および複数の当該パーティションのうち１または複数を独立にデコードするためのデバイスに関する。
【0003】
同一のイベント、または複数のマルチメディアサービス（マルチビュービデオ、自由視聴ビデオ）のモザイクの異なる複数のビューを表す複数の独立したビデオストリームをコード化し、配信することは、長らく知られている。通常、そのような複数のマルチビュービデオを複数のユーザに配信することは、生成された複数のビューの数に一致するいくつかの独立したビデオストリームをコード化することを必要とする。
【発明の概要】
【0004】
この種のコード化およびデコード方法は、例えば、文献「ＩＳＯ／ＩＥＣ１３８１８―１：２０００（Ｅ）―Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ―Ｇｅｎｅｒｉｃ ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｐｉｃｔｕｒｅｓ ａｎｄ ａｓｓｏｃｉａｔｅｄ ａｕｄｉｏ ｉｎｆｏｒｍａｔｉｏｎ：Ｓｙｓｔｅｍｓ」、または文献「ＩＳＯ／ＩＥＣ１４４９６―１０ Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ―Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ―ｖｉｓｕａｌ ｏｂｊｅｃｔｓ Ｐａｒｔ １０：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」、ならびに以下にＨ．２６４／ＡＶＣ仕様と呼ばれる、対応する文献「ＩＴＵ―Ｔ Ｈ．２６４―Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」に記載されている。
【0005】
現在、用いる複数のコード化するための方法は、配信されるビデオコンポーネントの数に等しいいくつかのビデオエンコーダを用いる必要性、配信される複数のビデオストリーム間、ならびに複数のビデオストリームと対応するオーディオストリームとの間の困難な相互同期化、独立した各ストリームをデコードするのに必要とされる類似の複数のシグナリング要素を複製する必要に起因して複数のビデオストリームを移送するのに必要とされる増大した帯域等、いくつかの欠点を有する。
【0006】
一方、対応する複数のデコード方法は、送信される２またはそれより多いビューをデコードおよび表示するための複数のデコーダを用いることを必要とし、ユーザ端末アーキテクチャのより高まる複雑性およびコストをもたらす。
【0007】
例えば、いわゆる「モザイク」サービスの場合のように、複数の独立したビューを配信するべく、１つのビデオストリームが用いられ得ることが知られている。１つのフレームは、複数の独立したビデオから抽出され、１つの画像に構成されたｎのフレーム、または１つのフレームに構成された３Ｄの立体的ペアの２つのコンポーネントビデオにより構成される（いわゆる「フレームパッキング構成」または「フレーム互換性フォーマット」）。通常、そのような複数の複合ビデオは、例えば、ＭＰＥＧ‐２、Ｈ．２６４／ＡＶＣ、ＨＥＶＣ等の利用可能な複数の圧縮技術のうちいずれか１つを用いることにより、圧縮される。そのような複数の圧縮技術は、仕様に準拠したデコーダが複数のコンポーネントビデオストリームのうち１または複数を独立にデコードすることを可能にするツールを提供しない。２Ｄデコーダがデコード済みビデオから立体的ペアの２つのコンポーネントビューのうち、１つのみを抽出することを可能にする複数の方法が開発されているが、これらの方法は、コンテナフレーム全体がデコードされると、デコーダが２つのビューのうち１つのみを含むフレーム区域を切断して表示することを可能にする、好適なシグナリングを用いることに依存する。
【0008】
現在、デコーダが（ユーザ選択により、または限られた計算もしくはストレージリソースに起因して）フレーム全体のうち選択されたサブセットのみをデコードすることを可能にするように、ビデオをコード化することは、不可能である。例えば、立体的ペアを構成する双方の画像に注意を払わない２Ｄデコーダが、２つのビューのうち１つ（例えば、左側）に対応する領域のみをデコードして表示し得るように、上記の複数のフレームパッキング構成のうち１つを含むビデオをコード化することは可能ではない。
【0009】
これは、計算およびエネルギーリソースを浪費することを暗示する。この問題は、複数の計算リソースの過度な利用がバッテリ寿命を劇的に短くし得るモバイル端末の分野において特に意識されていることに留意されたい。
【0010】
更に、デコーダは、必ずしも均一な特性を有しない１または複数のディスプレイが接続され得る、セットトップボックスまたはスマートゲートウェイ等のデバイスにおいて用いられることがある。例えば、コード化済みビデオストリームを配信ネットワーク（例えば、ＩＰネットワークまたはブロードキャスティングネットワーク）から受信し、またはストレージデバイスからのストリームを読み取るスマートゲートウェイの場合を検討されたい。当該スマートゲートウェイには、異なる複数の特性を有し得る複数のディスプレイ（例えば、ＨＤディスプレイまたはタブレット）が、複数のケーブルおよび／または無線接続を介して接続され得る。そのような場合、デコーダは、デコード済みビデオをサポートされるディスプレイの複数の特性に適合させることができるべきである。デコード済みビデオよりも低い解像度を有する１つのディスプレイのみがデコーダに接続される場合、後者は、関係する端末に最も妥当なビデオの当該部分のみをデコードすることができるべきである。
【0011】
更に、現在の複数の技術は、（上記の立体的ペアの例におけるように）複数のコンポーネントビデオストリームのうち１つを自動的に識別することを可能にするのみであり、従って、追加の１または複数のコンポーネントビデオストリームの存在をデコーダに明確に示すことは不可能である。 従って、より少ないリソースを有するデコーダに「既定の」選択肢が強制され、複数の代替的コンテンツの存在を示すことができない。
【0012】
更に、デコード処理中に複数の計算リソースの利用を調整することを可能にすることに加えて、１つのビデオストリームをコード化する可能性が、異なる複数のサービスモデルに応じて、ストレージおよび複数の計算リソースに関する異なる利用可能性を特徴とする複数の端末をサポートするべく、１つのビデオストリームをコード化することも可能にする。例えば、複数の４ＨＤビデオの構成（１９２０Ｘ１０８０ピクセル）を１つの４ｋ（３８４０Ｘ２１６０ピクセル）のビデオストリームとしてコード化することが考えられる。そのようなビデオについては、限られた計算リソースを有するデコーダは、複数のＨＤコンポーネントのうち１つのみを含むサブセットをデコードし得るであろう。あるいは、より強力なデコーダは、４Ｋビデオ全体をデコードし、例えば、複数のコンテンツのモザイク全体を表示し得るであろう。
【0013】
本発明の１つの目的は、１または複数の異なるコンポーネントビデオストリームのうち少なくとも１つが他のものとは独立にデコードされ得るように、１または複数の異なるコンポーネントビデオストリームを１つのコンテナビデオストリームにコード化することを可能するコード化するための方法を規定することである。
【0014】
本発明の別の目的は、１または複数のコンポーネントビデオストリームが１つのデコーダを用いることにより１つのコンテナビデオストリームから独立にデコードされることを可能にするデコード方法を特定することである。
【0015】
本発明の更なる目的は、１または複数のコンポーネントビデオストリームが独立にデコードされることを可能にするように、複数のコンポーネントビデオストリームからなるコンテナビデオストリームをコード化するエンコーダを提供することである。
【0016】
本発明のなおも別の目的は、１つのコンテナビデオストリームとしてコード化された複数のコンポーネントビデオストリームのうち少なくとも１つを独立にデコードするデコーダを提供することである。
【0017】
本発明のこれらおよび更なる態様は、添付の図面を参照して、いくつかの実施形態を図示する以下の説明からより明らかになるであろう。
【図面の簡単な説明】
【0018】
【図1】Ｈ．２６４／ＡＶＣ仕様による、複数のマクロブロック（「スライス」）のグループに符号分割される画像を示す。
【図2】ＨＥＶＣ仕様による、「タイル」に符号分割される画像を示す。
【図3】４つの独立した２Ｄビデオストリームを１つのビデオストリームに構成する一例を示す。
【図4】複数の２Ｄビデオペアの形態の２つの独立した立体ビデオストリームを１つのビデオストリームに構成することを示す。
【図5】１つのビデオストリームとしてコード化された立体的ペアを構成する２つの画像のうち１つを選択的にデコードするための処理を示す。
【図6】立体ビデオストリームおよび関連する複数の奥行きマップを１つのコンテナビデオストリームに構成することを示す。
【図7】２Ｄビデオストリームおよび立体ビデオストリームを１つのコンテナビデオストリームに構成することを示す。
【図8】ｎの独立したビデオストリームの構成により生成されたビデオストリームを構成およびコード化するための処理のブロック図である。
【図11A】立体ビデオストリームの２つのビューを１つのコンテナビデオストリームに構成することを示す。
【図11B】立体ビデオストリームの２つのビューを１つのコンテナビデオストリームに構成することを示す。
【図12】コード化済みビデオストリームに入力されるシグナリングの構造を説明する表である。
【発明を実施するための形態】
【0019】
既存の複数のビデオコード化規格、ならびに現在規定されようとしているものは、コード化およびデコード処理を最適化する目的のために複数のデジタルビデオストリームを構成する、複数の画像を分割する可能性を提供する。図１に示されるように、Ｈ．２６４／ＡＶＣ仕様は、複数のマクロブロックのグループを作成することを可能にし、コード化される複数の画像は、スライスと呼ばれる複数の異なるタイプのグループに細分化され、次にスライスは、互いに独立にコード化される。例えば、「タイプ２」と呼ばれる細分化に関して図１に示されるように、複数のマクロブロックは、コード化済みビデオの質が、任意の「対象の領域」の位置の関数として選択的に変化することを可能にするように、任意の形状を有する複数のスライスにグループ化され得る。
【0020】
これに代えて、図２は、「タイル」と呼ばれる新しいタイプの画像の細分化を示す。タイルは、新しいＩＴＵ／ＩＳＯ／ＩＥＣ ＨＥＶＣ（高能率ビデオコード化）規格の仕様に導入されている。このタイプの細分化は、ビデオストリームコード化およびデコード処理の並列化を可能とするべく、Ｈ．２６４／ＡＶＣ仕様において既に既存するスライス構造に基づいて導入された。現在では電話およびＰＣタブレット等のモバイル端末上においても利用可能な並列グラフィックプロセッサ（いわゆるＧＰＵ、グラフィック処理ユニット）の更なる普及およびより低コストにより、複数の画像フォーマットが通常は限られた計算リソースを有する端末上でも非常に高い解像度を得ることを可能にする並列化サポートツールの導入を促進した。
【0021】
ＨＥＶＣ仕様は、ビデオストリームを構成する複数の画像が複数の領域にセグメント化され、相互に独立にデコードすることを可能にするようにタイルを規定している。しかし、デコード処理は、たとえ並列化されても、いまだに専ら画像全体に対して実行され、複数のセグメントは、互いに独立に用いることができない。
【0022】
上記の段落で前述したように、異なる複数の端末が自動的に、またはユーザから受信した複数の命令により、ビデオのどの部分がデコードされ、視覚化用ディスプレイに送信されるべきかを決定し得るように、ビデオストリームを分割し得ることは、有用であろう。
【0023】
【0024】
図３は、例えば、４Ｋ（３８４０Ｘ２１６０ピクセル）フォーマットであり、４つの独立したＨＤ（１９２０Ｘ１０８０ピクセル）のビデオを含み得る、コンテナビデオストリームを示す。４Ｋデコーダで装備されるユーザは、ビデオ全体をデコードおよび表示し得るが、あまり強力でないデコーダで装備されるユーザは、一回の１つのＨＤストリームに対するデコードを制限することがある。
【0025】
図４は、２つの立体ビデオストリーム（２つの独立した左および右のビデオのペアの形態）のうち１つのコンテナビデオストリームが、例えば、同一のイベントの２つの異なる立体ビューを表す場合の移送を示す。同一のイベントの２つの異なる立体ビューから、ユーザは、フレーム全体を必ずしもデコードすることを要することなく（エネルギー消費に関する明らかな暗示）好ましいビューを選択し得る。
【0026】
図５は、立体ビデオおよび関連する複数の奥行きマップを１つのビデオストリームに構成することを示す。この場合、立体テレビ受像機のデコーダは、画像の上半分に位置する立体的ペアの２つの画像に関する部分のみをデコードし得る。従って下部分は、デコードされない。これに代えて、周知の２Ｄ＋Ｚ技術（１つの画像に関連する奥行きマップを加える、複数の合成ビューの構成）を用いる自動立体テレビ受像機のデコーダは、例えば、画像の左半分のみをデコードし得るが、より高性能の自動立体デコーダのデコーダは、双方のビューおよび双方の奥行きマップを用いて、複数の中間的ビューを合成し得る。
【0027】
図７は、画像の上半分に位置し、サイドバイサイドフォーマットの対応する立体ビューは、下部領域に位置するデュアル解像度の２Ｄビデオ（例えば、２１：９のフォーマットの表示用）の構成を示す。
【0028】
ＨＥＶＣ仕様において記載されるタイル構造は、デコーダが、コンテナビデオにより移送されるコンテンツを適切に認識してデコードすることを可能にするには十分でない。この問題は、どのコンテンツが、独立にデコード可能な複数の領域の各々に移送され、それを適切にデコードおよび表示するべく、どのように続行するかを説明するシグナリングの好適なレベルを入力することにより解決され得る。
【0029】
少なくとも２つの異なるシナリオが、予見され得る。第１のシナリオにおいては、１つのコンテンツと、画像が分解された複数のタイルのうち少なくとも１つとの間の関連性、およびコヒーレントビデオストリームへの可能な再構築を示すことが必要である（例えば、図１１Ａに示されるように、立体ビデオストリームは、２つのタイルに細分化され得るが、２Ｄデコーダは、１つのタイルをデコードする可能性ついて通知されなければならず、他方で３Ｄデコーダは、いずれの特定の戦略も採用せず、ストリーム全体をデコードすることがある）。これに代えて、第２のシナリオにおいては、１つのコンテンツと、画像が分解された複数のタイルの各々との間の関連性、およびコヒーレントビデオストリームへの可能な再構築が示される（例えば、立体ビデオストリームは、２つのタイルに細分化され得るが、２Ｄデコーダは、１つのタイルをデコードする可能性ついて通知されなければならず、他方で３Ｄデコーダは、ストリーム全体をデコードする必要性ついて通知されなければならない）。
【0030】
提案される解決法は、複数のタイル、１または複数の特定の特性のうち少なくとも１つを示す記述子を入力することを提供する。例えば、コンテンツが２Ｄのものである場合、または立体コンテンツの場合には、そのフレームパッキング構成のタイプをシグナリングすることが可能でなければならない。更に、タイル間のあらゆる「関係」（統合デコードおよび／または表示）、ビュー識別子（例えば、マルチビューコンテンツの場合に用いられる）、および問題のビューが、立体的ペアの右側のビューもしくは左側のビューか、または奥行きマップかを記述するメッセージを示すことが所望である。
【0031】
例として、解決法は、図１２の表に擬似コードとして図示されている。表は、Ｈ．２６４／ＡＶＣ仕様およびＨＥＶＣ仕様において既に利用されている複数のデータ構造体を用いることにより、コード化済みビデオストリームに入力されるシグナリングの構造を記述する。それにもかかわらず、デコーダが適切にデコードすることを可能にするように、１または複数のタイルのコンテンツが記述されることを可能にする、複数の類似シグナリング構造を採用することは、可能である。
【0032】
frame_packing_arrangement_typeは、例えば、ＭＰＥＧ２、Ｈ．２６４／ＡＶＣ、またはＳＭＰＴＥ仕様において一般に用いられる複数の値に対応し得るインデックスであり、そのカタログは、現在、知られており、また複数の立体ビデオフォーマットにおいて用いられている。
【0033】
Tile_content_relationship_bitmaskは、各タイルについて、コード化済みビデオストリームが細分化された他の複数のタイルとの関連性を一義的に記述するビットマスクである。
【0034】
content_interpretation_typeは、各タイルのコンテンツを変換するのに必要な情報を提供する。一例が図１３の表に特定されている。
【0035】
２Ｄデコーダにより１つのビューのみをデコードすることを確実にするべく、立体ビデオが２つのタイルとしてコード化される上記の場合を参照すると、以下の情報は、タイル０に関連するであろう。
frame_packing_arrangement_type[0] = 3
tile_content_relationship_bitmask[0] = 11
view_id[0] = 0
content_interpretation_type[0] = 2
frame_packing_arrangement_type[0] = 3
tile_content_relationship_bitmask[0] = 11
view_id[0] = 0
content_interpretation_type[0] = 2
【0036】
このタイプのシグナリングは、例えば、クロップ矩形等、他の複数のツールと一緒に、またはこれらに代えて用いられ得ることに留意されたい。好適なメタデータによりシグナリングされる矩形内のデコード済みフレームの一部をクロップすることが必須のクロップ矩形技術は、１つのフレームに入力される立体的ペアを必要とする複数のフレームパッキング構成のうちの１つの形態の立体ビデオストリームを「３Ｄ互換性のある」ものにするべく、既に一般に用いられている。図１１Ｂは、例えば、左側のビュー（図の灰色のもの）のみがクロップ矩形に含まれる、いわゆる「サイドバイサイド」のフレームパッキング構成を含むフレームを図示する。タイル分割を用いずに、２Ｄデコーダは、フレーム全体をデコードし、次にクロップを適用し、右側のビュー（図１１Ｂの白いもの）を破棄するはずである。本発明の方法を用いることにより、２つのビューをコード化し、別個のタイルとしてシグナリングすることが可能となり、それにより、２Ｄデコーダがクロップ矩形を含む区域のみをデコードすることを可能にする。
【0037】
図４に示されるように、例えば、ビデオストリームが４つのタイルに分割されると仮定して、複数のタイル間の関係は、以下の複数の値により記述される。
frame_packing_arrangement_type[0] = 3
frame_packing_arrangement_type[1] = 3
frame_packing_arrangement_type[2] = 3
frame_packing_arrangement_type[3] = 3
tile_content_relationship_bitmask[0] = 1100
tile_content_relationship_bitmask[1] = 1100
tile_content_relationship_bitmask[2] = 0011
tile_content_relationship_bitmask[3] = 0011
view_id[0] = 0
view_id[1] = 0
view_id[2] = 1
view_id[3] = 1
content_interpretation_type[0] = 2
content_interpretation_type[1] = 1
content_interpretation_type[2] = 2
content_interpretation_type[3] = 1
frame_packing_arrangement_type[0] = 3
frame_packing_arrangement_type[1] = 3
frame_packing_arrangement_type[2] = 3
frame_packing_arrangement_type[3] = 3
tile_content_relationship_bitmask[0] = 1100
tile_content_relationship_bitmask[1] = 1100
tile_content_relationship_bitmask[2] = 0011
tile_content_relationship_bitmask[3] = 0011
view_id[0] = 0
view_id[1] = 0
view_id[2] = 1
view_id[3] = 1
content_interpretation_type[0] = 2
content_interpretation_type[1] = 1
content_interpretation_type[2] = 2
content_interpretation_type[3] = 1
【0038】
このシグナリングは、タイル０および１が（frame_packing_arrangement_type = 3）とサイドバイサイドの同一の３Ｄビデオコンテンツ（tile_content_relationship_bitmask = 1100）に属することをデコーダに示す。tile_content_relationship_bitmaskの値は、デコーダが、２つのビュー（双方のタイルについてtile view_id = 0であるので、同一の立体的ペアに属する）が異なる複数のタイルに含まれる（よって、この場合に完全な解像度）ことを知ることを可能にする。content_interpretation_typeは、タイル０が左側のビューに対応するが、タイル１は、右側のビューに対応することを理解することを可能にする。 同一の考慮は、タイル１および２に適用される。
【0039】
これに代えて、図６の構成は、以下のシグナリングにより記述される。
frame_packing_arrangement_type[0] = 3
frame_packing_arrangement_type[1] = 3
frame_packing_arrangement_type[2] = 6
frame_packing_arrangement_type[3] = 6
tile_content_relationship_bitmask[0] = 1111
tile_content_relationship_bitmask[1] = 1111
tile_content_relationship_bitmask[2] = 1010
tile_content_relationship_bitmask[3] = 0101
view_id[0] = 1
view_id[1] = 1
content_interpretation_type[0] = 2
content_interpretation_type[1] = 1
content_interpretation_type[2] = 5
content_interpretation_type[3] = 5
frame_packing_arrangement_type[0] = 3
frame_packing_arrangement_type[1] = 3
frame_packing_arrangement_type[2] = 6
frame_packing_arrangement_type[3] = 6
tile_content_relationship_bitmask[0] = 1111
tile_content_relationship_bitmask[1] = 1111
tile_content_relationship_bitmask[2] = 1010
tile_content_relationship_bitmask[3] = 0101
view_id[0] = 1
view_id[1] = 1
content_interpretation_type[0] = 2
content_interpretation_type[1] = 1
content_interpretation_type[2] = 5
content_interpretation_type[3] = 5
【0040】
図４と異なり、タイル０および１に対するtile_content_relationship_bitmask isは、１１１１である。これは、全てのタイル間に関係が存在することを意味する。具体的には、タイル２および３は、タイル０（tile_content_relationship_bitmask = 1010）およびタイル１（tile_content_relationship_bitmask = 0101）にそれぞれ関連する奥行きマップ（content_interpretation_type = 5）を含む、２Ｄコンテンツ（frame_packing_arrangement_type = 6）である。
【0041】
ＨＥＶＣ仕様の構文において、このタイプのシグナリングは、ＳＥＩ（補足エンハンスメント情報）メッセージ、すなわち、基本的なコード化およびデコードのメカニズムを変更することなく、デコードのみならず、次の視覚化処理にも関する、追加の複数の関数の構成を可能にするアプリケーション情報として容易にコード化され得る。代替形態として、同一のシグナリングは、フレームに対応するデータセットをデコードするのに必要な情報を含む構文要素である、ピクチャパラメータセット（ＰＰＳ）に入力され得る。図１４Ａ～図１４Ｄの表は、上記のシグナリングを入力するべく、ＨＥＶＣ規格のＰＰＳの構文にする必要がある擬似コードの形態の、太字で強調表示された複数の変更形態を含む。
【0042】
連続するシーケンスのフレームに対応するデータセットをデコードするのに必要な情報を含む構文要素である、シーケンスパラメータセット（ＳＰＳ）にシグナリングを入力するべく、更なる一般化が提供され得る。
【0043】
図１５Ａ～図１５Ｆの表は、上記のシグナリングを入力するべく、ＨＥＶＣのＳＰＳの構文にする必要がある擬似コードの形態の、太字で強調表示された複数の変更形態を含み、multiservice_flagは、各タイル内の複数のサービスの存在ついて通知する変数であり、num_tileは、１つのフレーム内のタイルの数である。
【0044】
図５は、選択的なタイルデコード処理を図示する。ビデオストリームは、１ペアの立体ビューを含み、２つの別個のタイルにコード化される。
【0045】
後者は、図４のコンテンツを表すべく用いられる、同一のシグナリングにより記述される（しかし、この場合、タイルの総数は２である）。
【0046】
図８は、本発明のコード化技術を実装し得る、装置または装置のグループのブロック図である。ＮのビデオコンテンツＳ１～ＳＮは、「ソース構成器」に入力される。「ソース構成器」は、別個のコンポーネントであってもよく、または好適なエンコーダの入力ステージとして統合されてもよい。ソース構成器は、Ｎのコンポーネントビデオストリームを移送し、次にそれをエンコーダに対して出力するコンテナビデオストリームを構成する。ソース構成器は、複数のコンポーネントビデオストリームのフォーマットおよびコンテナビデオストリーム内でのその位置をエンコーダに記述するのに必要とされるシグナリングを任意選択で追加してもよい。
【0047】
エンコーダは、コンテナビデオストリームを受信し、１つのコンポーネントビデオストリームの構造上にマッピングするように複数のタイルを構築し、複数のタイル、複数のコンポーネントビデオストリームの構造、およびその関係を記述するシグナリングを生成し、コンテナビデオストリームを圧縮する。「ソース構成器」が複数のコンポーネントビデオストリームを記述するシグナリングを自動的に生成しない場合、エンコーダは、オペレータにより手動でプログラミングされ得る。次に、エンコーダにより出力される圧縮済みビデオストリームは、異なるやり方、すなわち、デコーダおよび／もしくはそれが接続されるディスプレイの複数の機能特性、および／または計算リソースに応じて、複数の独立した部分を選択することによりデコードされ得る。各コンポーネントビデオストリームのオーディオは、移送のために採用されたシステム層部分の仕様に従って移送され得る。
【0048】
２Ｄデコーダは、ビットストリームを解析し、２つのビューを含む２つのタイルのシグナリングを発見し、１つのタイルをデコードすることを決定し、２Ｄディスプレイと互換性のある１つの画像のみを表示する。これに代えて、３Ｄデコーダは、双方のタイルをデコードし、３Ｄディスプレイ上で立体視覚化を続行する。
【0049】
同様に、図９は、ディスプレイに接続されると、表示されるビデオの複数の特性（例えば、解像度）についてネゴシエートし、それに応じて、ビデオストリームのどの部分がデコードされるべきかを自主的に決定する、デコーダを示す。この決定は、ユーザが手動で介在することによっても指示され得る。例えば、送信されるビデオが２つのタイルにコード化された立体ビデオであり、たとえ３Ｄテレビ受像機で装備されていても、ユーザがやはり当該コンテンツを２Ｄフォーマットで見ることを希望すると仮定する場合（そのような決定は、特定のリモートコントロールキーを押すことにより明らかになり得る）、デコーダは、自動的に採用したものとは異なるデコード戦略を採用し、一方でテレビ受像機と最良のディスプレイフォーマットについてネゴシエートし得る。
【0050】
これに代えて、図１０は、デコーダがコード化されたストリームを受信するゲートウェイ内に位置し、異種の複数の端末をサポートしなければならず、ビデオコンテンツの異なる複数のフォーマットをサポートする可能性を特徴とする場合を示す（例えば、いくつかのデバイスは、複数の立体コンテンツを表示する能力を有し得るが、同時に、他のデバイスは、２Ｄディスプレイのみを有することがある）。ゲートウェイは、各デバイスと自動的にネゴシエートし、または各デバイスから複数の構成命令を受信し、次に、要求している各デバイスの複数の特性に適合させるように、入力コンテンツの１または複数の部分をデコードする。
【0051】
従って、本発明は、２Ｄビデオフレームおよび／または３Ｄビデオフレームの複数のシーケンスから開始することによりビデオストリームを生成するための方法に関し、ビデオストリームジェネレータが、Ｎの異なるソースＳ１、Ｓ２、Ｓ３、ＳＮに由来する複数のビデオフレームを１つのコンテナビデオフレームに構成する。次に、エンコーダが、複数のコンテナビデオフレームの構造を示すように適合されたシグナリングに入力することにより、複数のコンテナビデオフレームの単一の出力ビデオストリームをコード化する。
【0052】
また、本発明は、各々が、Ｎの異なるソースＳ１、Ｓ２、Ｓ３、ＳＮに由来する複数の２Ｄビデオフレームおよび／または３Ｄビデオフレームを含む、複数のコンテナフレームのシーケンスを有するビデオストリームを再生するための方法に関する。デコーダは、複数のコンテナビデオフレームの構造を示すように適合されたシグナリングを読み取り、複数のビデオフレームのうち少なくとも１つまたは複数のビデオフレームのサブセットを抽出し、表示用に選択された複数のビデオストリームの２Ｄビデオフレームおよび／または３Ｄビデオフレームのうち当該複数のビデオフレームを含む複数のコンテナビデオフレームのうち当該複数の部分のみをデコードすることにより、複数のビデオストリームを再生する。
［項目１］
１または複数の独立したコンポーネント領域からなるデジタルビデオストリームをコード化するための方法であって、
１または複数の独立にデコード可能な領域の存在を示すシグナリングを入力する段階を備え、
上記１または複数の独立したコンポーネント領域と、上記１または複数の独立にデコード可能な領域との間の関連性を示すシグナリングを入力する段階を更に備える、コード化するための方法。
［項目２］
上記１または複数の独立したコンポーネント領域のコンテンツのタイプを示す記述子を入力する段階を更に備える、項目１に記載のコード化するための方法。
［項目３］
上記１または複数の独立にデコード可能な領域の各々は、タイルとしてコード化される、項目１または２に記載のコード化するための方法。
［項目４］
利用されるコード化技術は、Ｈ．２６４／ＡＶＣまたはＨＥＶＣである、項目１または２に記載のコード化するための方法。
［項目５］
上記１または複数の独立したコンポーネント領域と上記１または複数の独立にデコード可能な領域との間の上記関連性と、上記１または複数の独立したコンポーネント領域のコンテンツのタイプを示す記述子とを示す上記シグナリングは、ＳＥＩメッセージである、項目１から４のいずれか１項に記載のコード化するための方法。
［項目６］
上記１または複数の独立したコンポーネント領域と、上記１または複数の独立にデコード可能な領域との間の上記関連性を示す上記シグナリング、および上記１または複数の独立したコンポーネント領域のコンテンツのタイプを示す記述子は、ＳＰＳシグナリングまたはＰＰＳシグナリングに入力される、項目１から３のいずれか１項に記載のコード化するための方法。
［項目７］
上記１または複数の独立したコンポーネント領域と、上記１または複数の独立にデコード可能な領域との間の上記関連性を示す上記シグナリングは、ビットマスクからなる、項目１から６のいずれか１項に記載のコード化するための方法。
［項目８］
上記デジタルビデオストリームの上記１または複数の独立したコンポーネント領域は、１または複数の独立したビデオストリームを表す、項目１から７のいずれか１項に記載のコード化するための方法。
［項目９］
上記１または複数の独立したビデオストリームは、
１または複数の立体ビデオのペア、
複数のビデオストリームおよび複数の奥行きマップ、
フレームパッキング構成フォーマットの１または複数のビデオストリームと、
独立した複数のビデオのモザイクのフォーマットのうち１または複数とを含む、項目８に記載のコード化するための方法。
［項目１０］
上記記述子は、
フレームパッキング構成と、
コンテンツの変換タイプと、
ビューＩＤとを記述する１または複数のメタデータを含む、項目２に記載のコード化するための方法。
［項目１１］
１または複数の独立したコンポーネント領域からなるデジタルビデオストリームをデコードするための方法であって、
１または複数の独立にデコード可能な領域の存在を示すシグナリングを読み取る段階を備え、
上記１または複数の独立したコンポーネント領域と、上記１または複数の独立にデコード可能な領域との間の関連性を示すシグナリングを読み取る段階と、
上記１または複数の独立にデコード可能な領域の各々のコンテンツのタイプを示す記述子を読み取る段階とのうち少なくとも１つの段階を更に備え、
上記シグナリングまたは上記記述子により示された上記１または複数の独立にデコード可能な領域をデコードすることを選択する段階を更に備える、方法。
［項目１２］
デコーダは、独自の複数の計算リソースの評価に基づいて上記１または複数の独立にデコード可能な領域を選択する、項目１１に記載のデコードするための方法。
［項目１３］
デコードされる上記１または複数の独立にデコード可能な領域は、１つのディスプレイ上における表示のために利用可能にされる、項目１１に記載のデコードするための方法。
［項目１４］
デコードされる上記１または複数の独立にデコード可能な領域は、複数の異種デバイス上における表示のために利用可能にされる、項目１１に記載のデコードするための方法。
［項目１５］
デコードされる上記１または複数の独立にデコード可能な領域を選択する上記段階は、外部制御信号により決定される、項目１１から１４のいずれか１項に記載のデコードするための方法。
［項目１６］
上記制御信号は、１または複数のディスプレイとディスプレイフォーマットについてネゴシエートする処理の結果として自動的に生成される、項目１５に記載のデコードするための方法。
［項目１７］
上記制御信号は、ユーザによりディスプレイフォーマットを手動で選択する処理の結果として生成される、項目１５に記載のデコードするための方法。
［項目１８］
１または複数の独立したコンポーネント領域からなるデジタルビデオストリームを生成するためのデバイスであって、
複数のコンポーネントビデオストリームを１つのビデオストリームに構成するためのソース構成器と、
項目１から１０のいずれか１項に記載のコード化するための方法を実装するビデオエンコーダとを備える、デバイス。
［項目１９］
上記ソース構成器および上記ビデオエンコーダのうち少なくとも１つは、複数のプログラミングコンポーネントとして実装される、項目１８に記載の生成デバイス。
［項目２０］
項目１１から１４のいずれか１項に記載のデコードするための方法を実行する読み取り手段および選択手段を備える、デコードデバイス。
［項目２１］
項目２０に記載のデコードデバイスを備え、
デコードされた上記１または複数の独立にデコード可能な領域を表示するべく、自動的に、または手動で選択する手段を更に備える、ビデオストリーム処理デバイス。
［項目２２］
項目２１に記載のビデオストリーム処理デバイスを備え、
好適なネゴシエーション処理により、デコードされた上記１または複数の独立にデコード可能な領域のディスプレイフォーマットを選択する手段を更に備える、スマートゲートウェイ。
［項目１］
１または複数の独立したコンポーネント領域からなるデジタルビデオストリームをコード化するための方法であって、
１または複数の独立にデコード可能な領域の存在を示すシグナリングを入力する段階を備え、
上記１または複数の独立したコンポーネント領域と、上記１または複数の独立にデコード可能な領域との間の関連性を示すシグナリングを入力する段階を更に備える、コード化するための方法。
［項目２］
上記１または複数の独立したコンポーネント領域のコンテンツのタイプを示す記述子を入力する段階を更に備える、項目１に記載のコード化するための方法。
［項目３］
上記１または複数の独立にデコード可能な領域の各々は、タイルとしてコード化される、項目１または２に記載のコード化するための方法。
［項目４］
利用されるコード化技術は、Ｈ．２６４／ＡＶＣまたはＨＥＶＣである、項目１または２に記載のコード化するための方法。
［項目５］
上記１または複数の独立したコンポーネント領域と上記１または複数の独立にデコード可能な領域との間の上記関連性と、上記１または複数の独立したコンポーネント領域のコンテンツのタイプを示す記述子とを示す上記シグナリングは、ＳＥＩメッセージである、項目１から４のいずれか１項に記載のコード化するための方法。
［項目６］
上記１または複数の独立したコンポーネント領域と、上記１または複数の独立にデコード可能な領域との間の上記関連性を示す上記シグナリング、および上記１または複数の独立したコンポーネント領域のコンテンツのタイプを示す記述子は、ＳＰＳシグナリングまたはＰＰＳシグナリングに入力される、項目１から３のいずれか１項に記載のコード化するための方法。
［項目７］
上記１または複数の独立したコンポーネント領域と、上記１または複数の独立にデコード可能な領域との間の上記関連性を示す上記シグナリングは、ビットマスクからなる、項目１から６のいずれか１項に記載のコード化するための方法。
［項目８］
上記デジタルビデオストリームの上記１または複数の独立したコンポーネント領域は、１または複数の独立したビデオストリームを表す、項目１から７のいずれか１項に記載のコード化するための方法。
［項目９］
上記１または複数の独立したビデオストリームは、
１または複数の立体ビデオのペア、
複数のビデオストリームおよび複数の奥行きマップ、
フレームパッキング構成フォーマットの１または複数のビデオストリームと、
独立した複数のビデオのモザイクのフォーマットのうち１または複数とを含む、項目８に記載のコード化するための方法。
［項目１０］
上記記述子は、
フレームパッキング構成と、
コンテンツの変換タイプと、
ビューＩＤとを記述する１または複数のメタデータを含む、項目２に記載のコード化するための方法。
［項目１１］
１または複数の独立したコンポーネント領域からなるデジタルビデオストリームをデコードするための方法であって、
１または複数の独立にデコード可能な領域の存在を示すシグナリングを読み取る段階を備え、
上記１または複数の独立したコンポーネント領域と、上記１または複数の独立にデコード可能な領域との間の関連性を示すシグナリングを読み取る段階と、
上記１または複数の独立にデコード可能な領域の各々のコンテンツのタイプを示す記述子を読み取る段階とのうち少なくとも１つの段階を更に備え、
上記シグナリングまたは上記記述子により示された上記１または複数の独立にデコード可能な領域をデコードすることを選択する段階を更に備える、方法。
［項目１２］
デコーダは、独自の複数の計算リソースの評価に基づいて上記１または複数の独立にデコード可能な領域を選択する、項目１１に記載のデコードするための方法。
［項目１３］
デコードされる上記１または複数の独立にデコード可能な領域は、１つのディスプレイ上における表示のために利用可能にされる、項目１１に記載のデコードするための方法。
［項目１４］
デコードされる上記１または複数の独立にデコード可能な領域は、複数の異種デバイス上における表示のために利用可能にされる、項目１１に記載のデコードするための方法。
［項目１５］
デコードされる上記１または複数の独立にデコード可能な領域を選択する上記段階は、外部制御信号により決定される、項目１１から１４のいずれか１項に記載のデコードするための方法。
［項目１６］
上記制御信号は、１または複数のディスプレイとディスプレイフォーマットについてネゴシエートする処理の結果として自動的に生成される、項目１５に記載のデコードするための方法。
［項目１７］
上記制御信号は、ユーザによりディスプレイフォーマットを手動で選択する処理の結果として生成される、項目１５に記載のデコードするための方法。
［項目１８］
１または複数の独立したコンポーネント領域からなるデジタルビデオストリームを生成するためのデバイスであって、
複数のコンポーネントビデオストリームを１つのビデオストリームに構成するためのソース構成器と、
項目１から１０のいずれか１項に記載のコード化するための方法を実装するビデオエンコーダとを備える、デバイス。
［項目１９］
上記ソース構成器および上記ビデオエンコーダのうち少なくとも１つは、複数のプログラミングコンポーネントとして実装される、項目１８に記載の生成デバイス。
［項目２０］
項目１１から１４のいずれか１項に記載のデコードするための方法を実行する読み取り手段および選択手段を備える、デコードデバイス。
［項目２１］
項目２０に記載のデコードデバイスを備え、
デコードされた上記１または複数の独立にデコード可能な領域を表示するべく、自動的に、または手動で選択する手段を更に備える、ビデオストリーム処理デバイス。
［項目２２］
項目２１に記載のビデオストリーム処理デバイスを備え、
好適なネゴシエーション処理により、デコードされた上記１または複数の独立にデコード可能な領域のディスプレイフォーマットを選択する手段を更に備える、スマートゲートウェイ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図12】
【図13】
【図14A】
【図14B】
【図14C】
【図14D】
【図15A】
【図15B】
【図15C】
【図15D】
【図15E】
【図15F】