特表 2021-530179 映像圧縮に基づくコンテンツレイヤーのためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2021-530179(P2021-530179A)

(43)【公表日】2021年11月4日

(54)【発明の名称】映像圧縮に基づくコンテンツレイヤーのためのシステム及び方法

(51)【国際特許分類】

   H04N 21/2662 20110101AFI20211008BHJP

   H04N 21/24 20110101ALI20211008BHJP

   H04N 21/438 20110101ALI20211008BHJP

   H04N 19/30 20140101ALI20211008BHJP

   H04N 19/105 20140101ALI20211008BHJP

   H04N 19/166 20140101ALI20211008BHJP

   H04N 19/187 20140101ALI20211008BHJP

【ＦＩ】

   H04N21/2662

   H04N21/24

   H04N21/438

   H04N19/30

   H04N19/105

   H04N19/166

   H04N19/187

【審査請求】未請求

【予備審査請求】未請求

【全頁数】16

(21)【出願番号】特願2021-502809(P2021-502809)

(86)(22)【出願日】2019年7月16日

(85)【翻訳文提出日】2021年2月26日

(86)【国際出願番号】IL2019050800

(87)【国際公開番号】WO2020016891

(87)【国際公開日】20200123

(31)【優先権主張番号】62/699,753

(32)【優先日】2018年7月18日

(33)【優先権主張国】US

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT

(71)【出願人】

【識別番号】515324637

【氏名又は名称】ピクセルロット エルティーディー．

【氏名又は名称原語表記】ＰＩＸＥＬＬＯＴ ＬＴＤ．

(74)【代理人】

【識別番号】100111202

【弁理士】

【氏名又は名称】北村 周彦

(72)【発明者】

【氏名】オズ，ガル

【テーマコード（参考）】

5C159

5C164

【Ｆターム（参考）】

5C159MA31

5C159PP04

5C159SS26

5C159TA60

5C159TB17

5C159TC21

5C159TC36

5C159UA02

5C159UA05

5C164MB41S

5C164SB21S

5C164SB41P

5C164SC03P

5C164TA14S

5C164UB23P

5C164YA24

(57)【要約】

本発明の実施例は、ネットワークを介して放送される映像の圧縮に基づくコンテンツレイヤーの方法を開示する。その方法は、複数の映像ストリームフレームを備える映像ストリームを受け取ることと、前記複数の映像ストリームフレームの少なくとも幾つかにおいて所定のコンテンツレイヤーの少なくとも２つのコンテンツレイヤーを確認し、それぞれが前記少なくとも２つのコンテンツレイヤーの１つと関連する少なくとも２つの対応するコンテンツレイヤーストリームを生み出すことと、前記各コンテンツレイヤーの映像ストリームと関連するコンテンツレイヤーの所定のパラメータに従うと共に、前記ネットワークの利用可能なリソースに従って、前記少なくとも２つのコンテンツレイヤーの映像ストリームのそれぞれを圧縮し、少なくとも２つの対応する圧縮されたコンテンツレイヤーストリームを生み出すことと、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

ネットワークを介して放送される映像の圧縮に基づくコンテンツレイヤーの方法であって、
複数の映像ストリームフレームを備える映像ストリームを受け取ることと、
前記複数の映像ストリームフレームの少なくとも幾つかにおいて所定のコンテンツレイヤーの少なくとも２つのコンテンツレイヤーを確認し、それぞれが前記少なくとも２つのコンテンツレイヤーの１つと関連する少なくとも２つの対応するコンテンツレイヤーストリームを生み出すことと、
前記各コンテンツレイヤーの映像ストリームと関連するコンテンツレイヤーの予め決められたパラメータに従うと共に前記ネットワークの利用可能なリソースに従って、前記少なくとも２つのコンテンツレイヤーの映像ストリームのそれぞれを圧縮し、少なくとも２つの対応する圧縮されたコンテンツレイヤーストリームを生み出すことと、
を備えることを特徴とする方法。

【請求項2】

識別パラメータ、帯域幅比、最小の帯域幅値、優先度値、フレームレート、解像度又は量子化レベルのうちの少なくとも１つから、前記所定のコンテンツレイヤーのそれぞれのためのコンテンツレイヤーのパラメータを選択することをさらに備える、請求項１に記載の方法。

【請求項3】

前記各コンテンツレイヤーストリームと関連するコンテンツレイヤーのために予め決められた少なくとも最小の帯域幅値の帯域幅を有する少なくとも２つの圧縮されたコンテンツレイヤーストリームのそれぞれを供給することをさら備える、請求項１に記載の方法。

【請求項4】

前記各コンテンツレイヤーストリームと関連するコンテンツレイヤーのために予め決められた優先度値に従って、少なくとも２つの圧縮されたコンテンツレイヤーストリームの間に利用可能なネットワークリソースを分配することをさらに備える、請求項１に記載の方法。

【請求項5】

少なくとも２つの圧縮されたコンテンツレイヤーストリームのそれぞれを復号し、少なくとも２つの対応する復号されたコンテンツレイヤーストリームを生み出すことをさらに備える、請求項１に記載の方法。

【請求項6】

前記少なくとも２つの復号されたコンテンツレイヤーストリームの少なくとも幾つかを別々に放送し、少なくとも１つのターゲットデバイスにより少なくとも２つの復号されたコンテンツレイヤーストリームを受け取ることをさらに備える、請求項５に記載の方法。

【請求項7】

少なくとも２つの復号されたコンテンツレイヤーストリームの少なくとも幾つかを、結合された復号映像ストリームに結合し、その結合された復号映像ストリームを放送し、少なくとも１つのターゲットデバイスにより結合された復号映像ストリームをさらに受け取ることをさらに備える、請求項５に記載の方法。

【請求項8】

ネットワークを介して放送される映像の圧縮に基づくコンテンツレイヤーのためのシステムであって、
複数の映像ストリームフレームを備える映像ストリームを受け取ると共に、前記複数の映像ストリームフレームの少なくとも幾つかにおいて所定のコンテンツレイヤーの少なくとも２つのコンテンツレイヤーを確認し、それぞれが前記少なくとも２つのコンテンツレイヤーの１つと関連する少なくとも２つの対応するコンテンツレイヤーストリームを生み出すように設けられる識別モジュールと、
前記各コンテンツレイヤーの映像ストリームと関連するコンテンツレイヤーの所定のパラメータに従うと共に、前記ネットワークの利用可能なリソースに従って、前記少なくとも２つのコンテンツレイヤーの映像ストリームのそれぞれを圧縮し、少なくとも２つの対応する圧縮されたコンテンツレイヤーストリームを生み出すように設けられる圧縮モジュールと、
を備えることを特徴とするシステム。

【請求項9】

前記所定のコンテンツレイヤーのそれぞれのコンテンツレイヤーのパラメータは、識別パラメータ、帯域幅比、最小の帯域幅値、優先度値、フレームレート、解像度又は量子化レベルのうちの少なくとも１つを備える、請求項８に記載のシステム。

【請求項10】

前記圧縮モジュールは、前記各コンテンツレイヤーストリームと関連するコンテンツレイヤーのために予め決められた少なくとも最小の帯域幅値の帯域幅を有する少なくとも２つの圧縮されたコンテンツレイヤーストリームのそれぞれを供給するように設けられる、請求項８に記載のシステム。

【請求項11】

前記圧縮モジュールは、前記各コンテンツレイヤーストリームと関連するコンテンツレイヤーのために予め決められた優先度値に従って、少なくとも２つの圧縮されたコンテンツレイヤーストリームの間に利用可能なネットワークリソースを分配するように設けられる、請求項８に記載のシステム。

【請求項12】

少なくとも２つの圧縮されたコンテンツレイヤーストリームのそれぞれを復号し、少なくとも２つの対応する復号されたコンテンツレイヤーストリームを生み出すように設けられる映像処理モジュールをさらに備える、請求項８に記載のシステム。

【請求項13】

前記映像処理モジュールと関連する少なくとも１つのターゲットデバイスをさらに備え、前記映像処理モジュールは、前記少なくとも２つの復号されたコンテンツレイヤーストリームの少なくとも幾つかを前記少なくとも１つのターゲットデバイスに別々に放送するように設けられる、請求項１２に記載のシステム。

【請求項14】

前記映像処理モジュールと関連する少なくとも１つのターゲットデバイスをさらに備え、前記映像処理モジュールは、少なくとも２つの復号されたコンテンツレイヤーストリームの少なくとも幾つかを、結合された復号映像ストリームに結合し、その結合された復号映像ストリームを前記少なくとも１つのターゲットデバイスに放送するように設けられる、請求項１２に記載のシステム。

【請求項15】

前記映像処理モジュールは、前記少なくとも１つのターゲットデバイスで実行される、請求項１３に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像圧縮の分野に関し、より詳細には、映像圧縮に基づくコンテンツレイヤーの分野に関する。

【背景技術】

【0002】

一般に、非圧縮映像は非常に高いデータレートを必要とする。通常、（複数の静止画像を含む）映像データは豊富な量の空間的及び時間的な冗長性を含む。現在の映像圧縮方法は、通常、例えば異なる符号化により、これらの空間的及び時間的な冗長性を開発している。例えば、類似性は、時間的な隣接フレーム（フレーム間符号化）及び又は空間的な隣接画素（フレーム内符号化）の相違点を記憶するだけで符号化することができる。

【0003】

現在の映像圧縮方法は、人間の視覚の認識の特徴を開発することにより、人間の視覚の認識に無関係なソースデータの特徴を削減する非可逆圧縮技術（例えば、量子化）をさらに使用することができる。例えば、色の小さな相違は明るさの変化より気付くことがより難しい。これらの圧縮アルゴリズムはこれらの類似領域に亘って色を平均化し、空間を削減することができる。

【発明の概要】

【0004】

本発明の１つの特徴は、ネットワークを介して放送される映像の圧縮に基づくコンテンツレイヤーの方法を提供し、その方法は、複数の映像ストリームフレームを備える映像ストリームを受け取ることと、前記複数の映像ストリームフレームの少なくとも幾つかにおいて所定のコンテンツレイヤーの少なくとも２つのコンテンツレイヤーを確認し、それぞれが前記少なくとも２つのコンテンツレイヤーの１つと関連する少なくとも２つの対応するコンテンツレイヤーストリームを生み出すことと、前記各コンテンツレイヤーの映像ストリームと関連するコンテンツレイヤーの所定のパラメータに従うと共に、前記ネットワークの利用可能なリソースに従って、前記少なくとも２つのコンテンツレイヤーの映像ストリームのそれぞれを圧縮し、少なくとも２つの対応する圧縮されたコンテンツレイヤーストリームを生み出すことと、を含んでいる。

【0005】

本発明の別の特徴は、ネットワークを介して放送される映像の圧縮に基づくコンテンツレイヤーのためのシステムを提供し、そのシステムは、複数の映像ストリームフレームを備える映像ストリームを受け取ると共に、前記複数の映像ストリームフレームの少なくとも幾つかにおいて所定のコンテンツレイヤーの少なくとも２つのコンテンツレイヤーを確認し、それぞれが前記少なくとも２つのコンテンツレイヤーの１つと関連する少なくとも２つの対応するコンテンツレイヤーストリームを生み出すように設けられる識別モジュールと、前記各コンテンツレイヤーの映像ストリームと関連するコンテンツレイヤーの所定のパラメータに従うと共に、前記ネットワークの利用可能なリソースに従って、前記少なくとも２つのコンテンツレイヤーの映像ストリームのそれぞれを圧縮し、少なくとも２つの対応する圧縮されたコンテンツレイヤーストリームを生み出すように設けられる圧縮モジュールと、を含んでいる。

【0006】

本発明のこれらの更なる及び又は他の特徴及び又は利点は以下の詳細な説明に示されており、できる限り、その詳細な説明から推測でき及び又は本発明の実施により学習可能である。

【図面の簡単な説明】

【0007】

本発明の実施例をより良く理解するため、及び同一のものを実施する方法を示すため、参照符号は、単に例示のため、同様の符号が対応する要素又は部分を示す添付図面に付されている。

【図1】本発明の幾つかの実施例による、映像圧縮に基づくコンテンツレイヤーのためのシステムの概略図である。

【図2A】本発明の幾つかの実施例による、映像圧縮に基づくコンテンツレイヤーのためのシステムのより詳細な特徴を示している。

【図2B】本発明の幾つかの実施例による、所定のコンテンツレイヤーのデータベース及び各コンテンツレイヤーの予め決められた識別パラメータ及び予め決められた圧縮パラメータを示す表である。

【図3A】本発明の幾つかの実施例による、映像圧縮に基づくコンテンツレイヤーの方法を示すフローチャートである。

【図3B】本発明の幾つかの実施例による、映像圧縮に基づくコンテンツレイヤーの方法を示すフローチャートである。 図示の簡略化及び明瞭化のため、図示される要素は必ずしも一定の比率で描かれていないことを理解されるだろう、例えば、幾つかの要素の寸法は明瞭化のため他の要素と比べて誇張されている。さらに適切と考えられる場合、参照符号は一致又は類似する要素を示すため図中に繰り返される。

【発明を実施するための形態】

【0008】

以下の説明には、本発明の各種特徴が記載されている。説明の目的のため、特定の構成及び詳細は本発明を完全に理解するために示されている。しかしながら、ここに表された特定の詳細なしに本発明を実施可能であることも当業者に明らかになるだろう。さらに、本発明を不明瞭にしないため周知の特徴は省略又は簡略化される。図面に対する特定の符号により、示された特徴が例示によるものであり、本発明の例示の検討の目的のため及び本発明の原理及び概念上の特徴の説明を最も有用及び容易に理解されると信じられるものを提供することのために示される。この点において、本発明の基本的な理解のために必要とされることより詳細に本発明の構造の詳細を示すことが試みられることはなく、本発明の幾つかの形が実際にどのように具現化されることができるかを当業者に対して明らかにさせる図面と共に説明がなされる。

【0009】

本発明の少なくとも１つの実施例が詳細に説明される前に、本発明は以下の説明に示された又は図示された構造及び構成部品の配置の詳細にその適用を限定されるものではないことが理解されるべきである。本発明は、開示される実施例の組み合わせと同様に、各種方法で実施又は実行可能な他の実施例に適用可能である。また、ここに示された表現法や専門用語は説明の目的のためであり、限定と解釈されるべきではないことが理解されるべきである。

【0010】

特に述べられていなければ、以下の議論から明らかなように、「処理する（processing）」、「計算する（computing）」、「計算する（calculating）」、「決定する（determining）」、「高める（enhancing）」等のような用語を使用する特定の議論は終始、計算システムのレジスター及び又はメモリ内の電子のような物理的量として表されるデータを、計算システムのメモリ、レジスター又は他のそのような情報ストレージ、伝達装置又は表示装置内の物理的量として同様に表される他のデータに操作及び又は変換する、コンピュータ又は計算システム、又は同様の電子計算装置の動作及び又は処理に関連することが理解される。開示されるモジュール又はユニットはいずれもコンピュータプロセッサにより少なくとも部分的に実行されることができる。

【0011】

ここで図１を参照すると、本発明の実施例による、映像圧縮に基づくコンテンツレイヤーのためのシステム１００の概略図が示されている。

【0012】

幾つかの実施例によれば、システム１００は、映像圧縮サーバ１１０と、映像圧縮サーバ１１０と通信する少なくとも１つのターゲットデバイス１９０と、を備えている。幾つかの実施例では、ターゲットデバイス１９０の映像圧縮サーバ１１０との通信は、例えば、（図１に示されているように）ネットワーク９０を介している。

【0013】

幾つかの実施例では、システム１００は少なくとも１つのビデオカメラ１２０を備えている。ビデオカメラ１２０は、例えば、（サッカー、バスケットボール、フットボールのような）スポーツイベントのシーン８０に向けられる。シーン８０は、例えば、プレーヤ８２、プレイ面８４及び又は観客８６のような複数のシーン要素を含む。ビデオカメラ１２０は、映像素材を生成し、映像圧縮サーバ１１０に映像ストリーム１３０を送る。代わりに又は相補的に、映像ストリーム１３０は、映像圧縮サーバ１１０に放送される前に録画された映像（図示せず）を含んでいても良い。

【0014】

幾つかの実施例によると、映像圧縮サーバ１１０は映像ストリーム１３０を受け取る。映像ストリーム１３０は複数の映像ストリームフレームを含む。映像圧縮サーバ１１０は、複数の映像ストリームフレームの少なくとも幾つかにおいて、少なくとも２つのコンテンツレイヤーを確認し、少なくとも２つのコンテンツレイヤーストリームを生み出し、少なくとも２つのコンテンツレイヤーストリームのそれぞれは少なくとも２つのコンテンツレイヤーの１つと関連している。少なくとも２つのコンテンツレイヤーのそれぞれは、（例えば、図２Ａ及び２Ｂに関連して後述されるように）例えば、プレーヤ８２、プレイ面８４、観客８６のようなシーン８０である複数の視覚エレメントの少なくとも１つと関連していても良い。

【0015】

映像処理サーバ１１０は、各コンテンツレイヤーストリームと関連するコンテンツレイヤーの予め決められたパラメータに従って（又は基づき）及び又はネットワーク９０の所定の又は利用可能なネットワークパラメータ（例えば、帯域幅）に従って（又は基づき）、少なくとも２つのコンテンツレイヤーストリームのそれぞれを圧縮し、少なくとも２つの対応する圧縮したコンテンツレイヤーストリーム１４０（１）〜１４０（Ｎ）（例えば、Ｎ≧２）を生み出す。コンテンツレイヤーストリームの圧縮は、（Ｈ２４４，Ｈ２６５等のような）当分野で公知な映像圧縮形式を使用して行われることが理解されるだろう。

【0016】

幾つかの実施例では、コンテンツレイヤーの予め決められたパラメータは、例えば、その少なくとも２つのコンテンツレイヤーのそれぞれのために決定又は予め決められた、識別パラメータ、帯域幅、最小帯域幅、優先度値、フレームレート、解像度又は量子化レベル等のうちの少なくとも１つを含んでいても良い。

【0017】

幾つかの実施例では、その圧縮に基づくコンテンツレイヤーは、例えば、他のコンテンツレイヤー（例えば、観客８６と関連するコンテンツレイヤー）と比べて、より多くのネットワークリソース（例えば、帯域幅、フレームレート等）を有するこれらのコンテンツレイヤーを供給することによって、予め決められたコンテンツレイヤー（例えば、プレーヤ８２、プレイ面８４等と関連するコンテンツレイヤー）の量を増やすように構成されている。

【0018】

幾つかの実施例によると、映像圧縮サーバ１１０は少なくとも２つの圧縮コンテンツレイヤーストリーム１４０（１）〜１４０（Ｎ）を少なくとも１つのターゲットデバイス１９０に放送する。ターゲットデバイス１９０は、例えば、（スマートＴＶ、スマートフォン等のような）クラウドデバイス又はビューアーデバイスでも良い。

【0019】

ターゲットデバイス１９０は、少なくとも２つの圧縮されたコンテンツレイヤーストリーム１４０（１）〜１４０（Ｎ）を復号し、（例えば、図２Ａに関して後述されるように）少なくとも２つの対応する復号されたコンテンツレイヤーストリームを生み出す。各種実施例では、ターゲットデバイス１９０は、（例えば、図２Ａに関して説明されているように）、復号されたコンテンツレイヤーストリームの少なくとも幾つかを別々に使用しても良く、或いは、復号されたコンテンツレイヤーストリームの少なくとも幾つかを、結合された復号映像ストリームに結合しても良い。

【0020】

本発明の幾つかの実施例による、映像圧縮に基づくコンテンツレイヤーのためのシステム２００の詳細な特徴を示す図２Ａを参照する。

【0021】

また、本発明の幾つかの実施例による、所定のコンテンツレイヤーと各コンテンツレイヤーの予め決められた識別パラメータ２３４と予め決められた圧縮パラメータ２３６のデータベース２３２の例を示す表である図２Ｂを参照する。

【0022】

幾つかの実施例によると、システム２００は、（例えば、図２Ａに示されているように）映像圧縮サーバ２１０を含んでいる。映像圧縮サーバ２１０は映像ストリーム２２０を受け取る。映像ストリーム２２０は、それぞれがシーン８０を表わす複数の映像ストリームフレームを含んでいる。例えば、図２Ａは、プレーヤ８２、プレイ面８４、及び観客８６のような複数の視覚要素を含むサッカーのスポーツイベントのシーン８０を表わす映像ストリーム２２０を示している。

【0023】

幾つかの実施例によると、映像圧縮サーバ２１０は（例えば、図２Ａに示されているような）コンテンツレイヤーの定義モジュール２３０を含んでいる。

【0024】

コンテンツレイヤーの定義モジュール２３０は所定のコンテンツレイヤーのデータベース２３２を含んでいる。所定のコンテンツレイヤー２３２は、（例えば、図２Ａに示されているように、）各コンテンツレイヤーの識別パラメータ２３４及び各コンテンツレイヤーの圧縮パラメータ２３６により決定される。各種実施例では、コンテンツレイヤー２３２、コンテンツレイヤーの識別パラメータ２３４、及び又はコンテンツレイヤーの圧縮パラメータ２３６はシステム２００のユーザによって予め決定され及び又は更新される。

【0025】

例えば、図２Ｂは、プレーヤ８２と関連する第１セットの識別パラメータ２３４（１）及び第１セットの圧縮パラメータ２３６（１）を有する第１のコンテンツレイヤー２３２（１）、プレイ面８４と関連する第２セットの識別パラメータ２３４（２）及び第２セットの圧縮パラメータ２３６（２）を有する第２のコンテンツレイヤー２３２（２）、及び観客８６と関連する第３セットの識別パラメータ２３４（４）及び第３セットの圧縮パラメータ２３６（３）を有する第３のコンテンツレイヤー２３２（３）を含むデータベース２３２を示している。

【0026】

幾つかの実施例では、所定のコンテンツレイヤー２３２のそれぞれの圧縮パラメータ２３６は、（例えば、図２Ｂに示されているように）コンテンツレイヤー２３２の各コンテンツレイヤーのために決定される、（例えば、利用可能なネットワークの帯域幅の）帯域幅比、（例えば、Ｍｂｐでの）最小の帯域幅値、優先度値（例えば、優先度値１が高い優先度である。）、フレームレート（例えば、１（フル）、１／２、１／４等）、解像度（１（フル）、１／２、１／４等）等を含んでいても良い。

【0027】

例えば、プレーヤ８２及びフレイ面８４とそれぞれ関連する第１及び第２のコンテンツレイヤー２３２（１）、２３２（２）は、ターゲットビューアのための特定の関心であっても良く、（例えば、図２Ｂに示されているように）第３コンテンツレイヤー２３２（３）の第３セットの圧縮パラメータ２３６（３）と比べて改善された第１及び第２セットの圧縮パラメータ２３６（１）、２３６（２）を有していても良い。

【0028】

幾つかの実施例によると、映像圧縮サーバ２１０は識別モジュール２４０を含んでいる。識別モジュール２４０はコンテンツレイヤーの定義モジュール２３０と関連している。

【0029】

識別モジュール２４０は、複数の映像ストリームフレームの少なくとも幾つかにおいて、（例えば、少なくとも２つのコンテンツレイヤーの識別パラメータ２３４に基づく）所定のコンテンツレイヤー２３２の少なくとも２つのコンテンツレイヤーを識別し、少なくとも２つの対応するコンテンツレイヤーストリーム２４２（１）〜２４２（Ｎ）（例えば、Ｎ≧２）を生み出し、少なくとも２つのコンテンツレイヤーストリーム２４２（１）〜２４２（Ｎ）のそれぞれは少なくとも２つのコンテンツレイヤーの１つと関連しても良い。

【0030】

例えば、図２Ａは、第１コンテンツレイヤー２３２（１）と関連する第１のコンテンツレイヤーストリーム２４２（１）（例えば、プレーヤ８２）、複数のフレームを含むと共に第２のコンテンツレイヤー２３２（２）と関連する第２のコンテンツレイヤーストリーム２４２（２）（例えば、プレイ面８４）、及び又は複数のフレームを含むと共に第３のコンテンツレイヤー２３２（３）と関連する第３のコンテンツレイヤーストリーム２４２（３）（例えば、観客８６）を示している。

【0031】

幾つかの実施例によると、映像圧縮サーバ２１０は（例えば、図２Ａに示されているように）圧縮モジュール２５０を含んでいる。圧縮モジュール２５０は、コンテンツレイヤーの定義モジュール２３０、識別モジュール２４０、及び又はネットワークリソース計算器２６０と関連している。

【0032】

圧縮モジュール２５０は、各コンテンツレイヤーストリームに関連する（所定のコンテンツレイヤー２３２の）コンテンツレイヤーの（圧縮パラメータ２３６の）圧縮パラメータに従う（基づく）と共に、（例えば、ネットワークリソース計算器２６０により決められる）所定の（利用可能な）ネットワークリソースに従って（又は基づいて）、少なくとも２つのコンテンツレイヤーストリーム２４２（１）〜２４２（Ｎ）のそれぞれを圧縮し、少なくとも２つの対応する圧縮コンテンツレイヤーストリーム２５２（１）〜２５２（Ｎ）（例えば、図２Ａに示されているように、第１の圧縮コンテンツレイヤーストリーム２５２（１）、第２の圧縮コンテンツレイヤーストリーム２５２（２）、及び第３のコンテンツレイヤーストリーム２５３（３））を生成する。コンテンツレイヤーストリーム２４２（１）〜２４２（Ｎ）の圧縮は、（Ｈ２４４，Ｈ２６５等のような）当分野で公知な映像圧縮形式を使用して行われることが考えられる。

【0033】

例えば、圧縮モジュール２５０は、（例えば、図２Ｂに示されているように、第１セットの圧縮パラメータ２３６（１）に従って）元の映像ストリーム２２０と比べて、ネットワーク９０の全帯域幅の６０％、フル解像度及びフルフレームレートを有する第１のコンテンツレイヤー２３２（１）に関連する第１の圧縮コンテンツレイヤーストリーム２５２（１）を供給する。同じ例において、圧縮モジュール２５０は、（例えば、図２Ｂに示されているように、第２セットの圧縮パラメータ２３６（２）に従って）元の映像ストリーム２２０と比べて、ネットワーク９０の全帯域幅の３０％、１／２のフレームレート及び１／２の解像度を有する第２のコンテンツレイヤー２３２（２）に関連する第２の圧縮コンテンツレイヤーストリーム２５２（２）を供給する。さらに同じ例において、圧縮モジュール２５０は、（例えば、図２Ｂに示されているように、第３セットの圧縮パラメータ２３６（３）に従って）元の映像ストリーム２２０と比べて、ネットワーク９０の全帯域幅の１０％、１／４のフレームレート及び１／６の解像度を有する第３のコンテンツレイヤー２３２（３）に関連する第３の圧縮コンテンツレイヤーストリーム２５２（３）を供給する。

【0034】

幾つかの実施例において、圧縮モジュール２５０は、各コンテンツレイヤーストリームと関連するコンテンツレイヤーのために決定／予め決定される少なくとも最小の帯域幅値の帯域幅を有する圧縮コンテンツレイヤーストリーム２５２（１）〜２５２（Ｎ）のそれぞれを供給する。

【0035】

例えば、圧縮モジュール２５０は、（例えば、図２Ｂに示されているように、第１セットの圧縮パラメータ２３６（１）に従って）少なくとも２Ｍｂｐｓの帯域幅値を有する第１のコンテンツレイヤー２３２（１）に関連する第１の圧縮コンテンツレイヤーストリーム２５２（１）を供給する。同じ例において、圧縮モジュール２５０は、（例えば、図２Ｂに示されているように、第２セットの圧縮パラメータ２３６（２）に従って）少なくとも１Ｍｂｐｓの帯域幅値を有する第２のコンテンツレイヤー２３２（２）に関連する第２の圧縮コンテンツレイヤーストリーム２５２（２）を供給する。さらに同じ例において、圧縮モジュール２５０は、（例えば、図２Ｂに示されているように、第３セットの圧縮パラメータ２３６（３）に従って）少なくとも０．７５Ｍｂｐｓの帯域幅値を有する第３のコンテンツレイヤー２３２（３）に関連する第３の圧縮コンテンツレイヤーストリーム２５２（３）を供給する。

【0036】

幾つかの実施例において、圧縮モジュール２５０は、各コンテンツレイヤーストリームと関連するコンテンツレイヤーのために決定／予め決められる優先度値に従って、圧縮コンテンツレイヤーストリーム２５２（１）〜２５２（Ｎ）間に利用可能なネットワークリソース（例えば、帯域幅）をさらに分配する。

【0037】

例えば、利用可能なネットワークの帯域幅が、（図２Ｂに示されているように、３．７５Ｍｂｐｓのすべてのコンテンツレイヤー２３４のために決定される最小の帯域幅値の合計より小さい）例えば、３．２５Ｍｂｐｓに減少した場合、圧縮モジュール２５２は、それぞれ予め決められた最小の帯域幅値が２Ｍｂｐｓと１Ｍｂｐｓである、第１のコンテンツレイヤー２３２（１）に関連する第１のコンテンツレイヤーストリーム２５２（１）と、第２のコンテンツレイヤー２３２（２）に関連する第２のコンテンツレイヤーストリーム２５２（２）とを供給する。同じ例において、圧縮モジュール２５０は、（図２Ｂに示されているように）第３のコンテンツレイヤー２３２（３）が第１及び第２のコンテンツレイヤー２３２（１）、２３２（２）のそれぞれと比べて低い予め決められた優先度値を有する時、予め決められた０．７５Ｍｂｐｓの最小の帯域幅値の代わりに０．２５Ｍｂｐｓの残りの帯域幅値を有する第３のコンテンツレイヤー２３２（３）に関連する第３のコンテンツレイヤーストリーム２５２（３）をさらに供給する。代わりに或いは相補的に、圧縮モジュール２５０は、帯域幅のない第３のコンテンツレイヤーストリーム２５２（３）を供給し、それにより、第３のコンテンツレイヤーストリーム２５２（３）をさらなる処理から除外しても良い。

【0038】

幾つかの実施例では、圧縮モジュール２５０は、それぞれの圧縮コンテンツレイヤーストリーム２５２（１）〜２５２（Ｎ）の各フレームのため、各フレームと関連する少なくとも一時点を示す同期メタデータを生成する。代わりに或いは相補的に、同期メタデータは所定のコンテンツレイヤー２３２の圧縮パラメータ２３６の部分であっても良い。

【0039】

幾つかの実施例によると、システム２００は映像処理モジュール２７０を含んでいる。映像処理モジュール２７０は（例えば、ネットワーク９０を介して）映像圧縮サーバ２１０と関連しても良い。

【0040】

幾つかの実施例では、映像処理モジュール２７０は復号モジュール２７１を含んでいる。復号モジュール２７１は少なくとも２つの圧縮コンテンツレイヤーストリーム２５２（１）〜２５２（Ｎ）のそれぞれを復号し、少なくとも２つの対応する復号されたコンテンツレイヤーストリーム２７２（１）〜２７２（Ｎ）を生み出す（例えば、図２Ａに示されているような、第１の復号されたコンテンツレイヤーストリーム２７２（１）、第２の復号されたコンテンツレイヤーストリーム２７２（２）、及び第３の復号されたコンテンツレイヤーストリーム２７２（３））。それぞれ圧縮されたコンテンツレイヤーストリーム２５２（１）〜２５２（Ｎ）の復号は、それぞれ圧縮されたコンテンツレイヤーストリームに関連する（所定のコンテンツレイヤー２３２の）コンテンツレイヤーの（圧縮パラメータ２３６の）圧縮パラメータに基づいている。

【0041】

幾つかの実施例では、映像処理モジュール２７０は結合（fusion）モジュール２７３を含んでいる。結合モジュール２７３は、（例えば、図２Ａに関連して上述したように、各コンテンツレイヤーストリーム２５２（１）〜２７２（Ｎ）の各フレームを伴う同期メタデータを使用して）少なくとも２つの復号されたコンテンツレイヤーストリーム２７２（１）〜２７２（Ｎ）の少なくとも幾つかを、結合された復号映像ストリーム２７４に結合する。

【0042】

各種実施例では、映像処理モジュール２７０は少なくとも２つの復号されたコンテンツレイヤーストリーム２７２（１）〜２７２（Ｎ）の少なくとも幾つかを別々に放送し、及び又は結合された復号映像ストリーム２７４を放送しても良い。

【0043】

幾つかの実施例によると、システム２００はターゲットデバイス２９０を含んでいる。ターゲットデバイス２９０は、例えば、スマートＴＶ，スマートフォン、タブレットコンピュータ等であっても良い。幾つかの実施例では、映像処理モジュール２７０は、（例えば、図１に関連して上述したように）ターゲットデバイス２９０で実行されても良い。

【0044】

各種実施例において、ターゲットデバイス２９０は、（例えば、図２Ａに示されているように）少なくとも２つの復号されたコンテンツレイヤーストリーム２７２（１）〜２７２（Ｎ）の少なくとも幾つかを別々に受け取ると共に利用し、及び又は、結合された復号映像ストリーム２７４を受け取ると共に利用しても良い。

【0045】

例えば、ターゲットデバイス１９０のうちの特定のターゲットデバイスのユーザがスポーツイベント中のプレーヤ８２のパフォーマンスを追跡することにだけ関心がある場合、それぞれのターゲットデバイスは第１のコンテンツレイヤー２３４（１）（例えば、プレーヤ８２）に関連する第１の復号されたコンテンツレイヤーストリーム２７２（１）だけを受け取っても良い。別の例では、ターゲットデバイス１９０のうちの特定のターゲットデバイスのユーザが全体のスポーツイベントを見ることに関心がある場合、それぞれのターゲットデバイスは結合された復号映像ストリーム２７４を受け取っても良い。

【0046】

本発明の幾つかの実施例による、映像圧縮に基づくコンテンツレイヤーの方法３００のフローチャートである、図３を参照する。

【0047】

方法３００は、方法３００を実施するように構成される、システム１００又はシステム２００により実施される。方法３００は図３に示されたフローチャート及び対応する記載に限定されるものではないことを注記する。例えば、各種実施例では、方法３００は、それぞれ示されたボックス又は段階を通して、又は示されると共に記載されたのと同じ順番で正確に動作する必要はない。

【0048】

方法３００は複数の視覚要素を含むシーンを表わす複数の映像ストリームフレームを含む映像ストリームを受け取ることを含んでいる（段階３１０）。

【0049】

幾つかの実施例では、方法３００は所定のコンテンツレイヤーを生み出すコンテンツレイヤーを定義することを含み、所定のコンテンツレイヤーのそれぞれはシーンの複数の視覚要素の少なくとも１つと関連している（段階３２０）。

【0050】

幾つかの実施例では、方法３００は所定のコンテンツレイヤーのそれぞれのために識別パラメータ及び圧縮パラメータを決定することを含んでいる（段階３２２）。

【0051】

幾つかの実施例では、方法３００は、（例えば、利用可能なネットワークの帯域幅の）帯域幅値、最小の帯域幅値、優先度値、フレームレート、解像度、及び又は量子化レベルのうちの少なくとも１つからそれぞれの所定のコンテンツレイヤーのための圧縮パラメータを選択することを含んでいる（段階３２４）。

【0052】

方法３００は、（少なくとも２つのコンテンツレイヤーの予め決められた識別パラメータに基づき）複数の映像ストリームフレームの少なくとも幾つかにおいて所定のコンテンツレイヤーの少なくとも２つのコンテンツレイヤーを確認し、少なくとも２つの対応するコンテンツレイヤーストリームを生み出すことを含み、少なくとも２つのコンテンツレイヤーストリームのそれぞれは少なくとも２つのコンテンツレイヤーの１つと関連している（段階３３０）。

【0053】

方法３００は各コンテンツレイヤーの映像ストリームと関連するコンテンツレイヤーの所定の圧縮パラメータに従うと共にネットワークの利用可能なリソースに従って、少なくとも２つのコンテンツレイヤーの映像ストリームのそれぞれを圧縮し、、少なくとも２つの対応する圧縮されたコンテンツレイヤーストリームを生み出す（段階３４０）。

【0054】

幾つかの実施例では、方法３００は、各コンテンツレイヤーストリームと関連するコンテンツレイヤーのために決定／予め決められた少なくとも最小の帯域幅値の帯域幅を有する少なくとも２つの圧縮されたコンテンツレイヤーストリームのそれぞれを供給することを含んでいる（段階３４２）。

【0055】

幾つかの実施例では、方法３００は、各コンテンツレイヤーストリームと関連するコンテンツレイヤーのために決定／予め決められた優先度値に従って、利用可能なネットワークリソースを少なくとも２つの圧縮されたコンテンツレイヤーストリームの間に分配することを含んでいる（段階３４４）。

【0056】

幾つかの実施例では、方法３００は、少なくとも２つのコンテンツレイヤーストリームのそれぞれの各フレームのため、各フレームに関連する少なくとも一時点を示す同期メタデータを生成することを含んでいる（段階３４６）。

【0057】

方法３００は、少なくとも２つの圧縮されたコンテンツレイヤーストリームのそれぞれを復号し、少なくとも２つの対応する復号されたコンテンツレイヤーストリームを生み出すことを含んでいる（段階３５０）。

【0058】

幾つかの実施例では、方法３００は、少なくとも２つの復号されたコンテンツレイヤーストリームの少なくとも幾つかを別々に放送することを含んでいる（段階３５２）。

【0059】

幾つかの実施例は、方法３００は、少なくとも２つの復号されたコンテンツレイヤーストリームの少なくとも幾つかを結合された復号映像ストリームに結合し、さらにその結合された復号映像ストリームを放送することを含んでいる（段階３５４）。

【0060】

各種実施例では、方法３００は、少なくとも２つの復号されたコンテンツレイヤーストリーム又は結合された復号映像ストリームの少なくとも幾つかを少なくとも１つのターゲットデバイスにより受け取ることを含んでいる（段階３５６）。

【0061】

好都合には、開示されたシステム及び方法は、当分野で公知な映像圧縮形式を使用して映像の圧縮に基づくコンテンツレイヤーの手段を供給してもよい。開示されたステム方法は、ユーザの選択（例えば、予め決められたコンテンツレイヤーのパラメータ）に従って、映像の場面中の所定のコンテンツレイヤーにおいて利用可能なネットワークリソースを管理しても良い。その管理は、例えば、他のコンテンツレイヤーを犠牲にして、好まれるようにユーザによって定義されたコンテンツレイヤーの質を高めるように構成されても良い。したがって、開示されたシステム及び方法は、ユーザが好適な／予め決められた質でその好適なコンテンツを受け取ることを保証する。

【0062】

本発明の特徴は、本発明の実施例による方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び又は部分図を参照して上述されている。フローチャート及び又は部分図の各部分、及びフローチャート及び又は部分図の部分の組み合わせはコンピュータプログラムの命令により実行可能であることが理解されるだろう。これらのコンピュータプログラムの命令は、通常の目的のコンピュータのプロセッサ、特定の目的のコンピュータ、又は他の機械を製造するためのプログラム可能なデータ処理装置によって実行可能であり、コンピュータのプロセッサ又は他のプログラム可能なデータ処理装置を介して実行するその命令は、フローチャート及び又は部分図又はその部分で特定される機能／作用を実行するようになっている。

【0063】

これらのコンピュータプログラムの命令は、コンピュータ、他のプログラム可能なデータ処理装置、又は特定の方法で機能する他の装置に命令するコンピュータで読み取り可能な媒体に格納されることもでき、コンピュータで読み取り可能な媒体に格納される命令はフローチャート及び又は部分図又はその部分で特定される機能／作用を実行する命令を含む製品を製造するようになっている。コンピュータプログラムの命令は、コンピュータ、他のプログラム可能なデータ処理装置、又は他の装置に読み込まれることができ、コンピュータ、他のプログラム可能な装置又は他の装置で一連の動作段階を実行させ、コンピュータ又は他のプログラム可能な装置で実行する命令はフローチャート及び又は部分図又はその部分で実行するための処理を与えるようになっている。

【0064】

前述のフローチャート及び図は、本発明の各種実施例によるシステム、方法及びコンピュータプログラム製品の構成、機能、及び可能な実行の作用を示している。この点において、フローチャート又は部分図の各部分は、特定の論理的機能を実施するための１つ以上の実行可能な命令を含む、コードのモジュール、セグメント、部分を表わすことができる。幾つかの代わりの実施では、部分に記された機能は図に示された順序以外で行われることができる。例えば、実際に、連続して示される２つの部分は、実質的に同時に実行可能であり、又はその部分は、伴われる機能により、反対の順序で実行されることも可能である。部分図及び又はフローチャートの各部分、及び部分図及び又はフローチャートの部分の組み合わせは、特定の機能又は作用を実行する特定目的のハードウェアベースのシステム、又は特定目的のハードウェアとコンピュータの命令の組み合わせにより実行可能であることも注意されるだろう。

【0065】

上記説明において、実施例は本発明の例又は実施である。「一実施例（one embodiment）」、「一実施例（an embodiment）」、「ある実施例（certain embodiments）」、或いは「幾つかの実施例（some embodiments）」は、必ずしもすべて同じ実施例に関連するとは限らない。本発明の各種特徴は結合された実施例の文脈において説明されることができるが、その特徴は別々又は適切な組み合わせで与えられることもできる。反対に、本発明は明瞭化のため別々の実施例の文脈においてここに説明されることができるが、本発明は結合された実施例で実施されることも可能である。本発明のある実施例は上述した異なる実施例からの特徴を含むことができ、ある実施例は上述した他の実施例からの要素を組み入れることができる。特定の実施例の文脈において本発明の要素の開示は特定の実施例だけにそれらの適用を限定するものととらえるべきではない。さらに、本発明が各種方法で実行又は実施可能であり、本発明が上記説明で概説したもの以外のある実施例で実施可能であると理解されるべきである。

【0066】

本発明はそれらの図又は対応する説明に限定されない。例えば、フローは、それぞれ示されるボックス又は状態を介して、又は図示されると共に説明されるのと完全に同じ順序で動作される必要はない。ここに使用される技術的及び科学的な用語の意味は、他に定義されなければ、発明が属する当業者の者によって一般的に理解されるべきである。本発明は限定された数の実施例に関して記載されているが、これらは本発明の範囲を制限するものと解釈されるべきではなく、むしろ好適な実施例の幾つかの例示として解釈されるべきである。他の可能な変形、修正、及び適用もまた本発明の範囲内である。従って、本発明の範囲は、ここまで説明されたものに制限されるべきではなく、添付した請求項及びそれらの法的に同等のものによる。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【国際調査報告】