知財求人 - 知財ポータルサイト「IP Force」
▶ フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェラインの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-14
(45)【発行日】2022-09-26
(54)【発明の名称】分割ビデオストリーミングの概念
(51)【国際特許分類】
H04N 21/438 20110101AFI20220915BHJP
H04N 19/167 20140101ALI20220915BHJP
【ＦＩ】
H04N21/438
H04N19/167
【請求項の数】
17
(21)【出願番号】P 2019572660
(86)(22)【出願日】2018-07-06
(65)【公表番号】
(43)【公表日】2020-08-27
(86)【国際出願番号】 EP2018068445
(87)【国際公開番号】W WO2019008174
(87)【国際公開日】2019-01-10
【審査請求日】2020-02-21
(31)【優先権主張番号】17180149.1
(32)【優先日】2017-07-06
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】500341779
【氏名又は名称】フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
(74)【代理人】
【識別番号】100205981
【弁理士】
【氏名又は名称】野口 大輔
(72)【発明者】
【氏名】ロベルト・シュクピン
(72)【発明者】
【氏名】コルネリウス・ヘルゲ
(72)【発明者】
【氏名】トーマス・シーレ
(72)【発明者】
【氏名】ヤゴ・サンチェス デ ラ フエンテ
(72)【発明者】
【氏名】ディミトゥリ・ポドゥボルスキ
【審査官】大西 宏
(56)【参考文献】
【文献】特表２００５－５３２７００（ＪＰ，Ａ）
【文献】特表２０１７－５１５３３６（ＪＰ，Ａ）
【文献】国際公開第２０１６／０２２９７９（ＷＯ，Ａ１）
【文献】中国特許出願公開第１０４２８４２０８（ＣＮ，Ａ）
【文献】中国特許出願公開第１０６６６４４４３（ＣＮ，Ａ）
【文献】Qualcomm Incorporated，FS_VR: OMAF Progress[online]，3GPP TSG SA WG4 #93 S4-170324，米国，Internet<URL:http://www.3gpp.org/ftp/tsg_sa/WG4_CODEC/TSGS4_93/Docs/S4-170324.zip>，2017年04月19日，pp1-12
【文献】Mousa Farajallah et al.，ROI encryption for the HEVC coded video contents，2015 IEEE International Conference on Image Processing (ICIP)，米国，IEEE，2015年09月27日，pp.3096-3100，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7351373
【文献】Robert Skupin et al.，HEVC tile based streaming to head mounted displays，2017 14th IEEE Annual Consumer Communications & Networking Conference (CCNC)，IEEE，2017年01月08日，pp.613-615，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7983191
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１０
Ｈ０４Ｎ ７／１４ － ７／１７３
Ｈ０４Ｎ ７／２０ － ７／５６
Ｈ０４Ｎ ２１／００ －２１／８５８
Ｈ０４Ｎ ７／１２ － ７／１２
Ｈ０４Ｎ １９／００ －１９／９８
(57)【特許請求の範囲】
【請求項1】
タイルベースのビデオストリーミングによってＲＯＩ固有のビデオストリーム（４０）をダウンロードするための装置であって、関心領域（ＲＯＩ）（２２）に応じて、エクストラクタ（２０）とともにビットストリーム（１２）のセット（３２）を識別してダウンロードするために、マニフェストファイル（２４）を検査するステップであって、ビットストリーム（１２）の前記セット（３２）は、ビデオピクチャエリア（１６）の異なる部分（１４）を符号化されている、検査するステップ、
それぞれの前記ビットストリームを解析することによって、ビットストリームの前記セット（３２）の各々から、現在のピクチャフレーム（３０）に関連するピクチャ部分（３４）を抽出し、前記抽出されているピクチャ部分（３４）からコンパイル済みビットストリーム（４０）を形成することにより、前記エクストラクタ（２０）を使用して、ビットストリームの前記セット（３２）から前記コンパイル済みビットストリーム（４０）をコンパイルするステップであって、結果、前記コンパイル済みビットストリーム（４０）は、前記コンパイル済みビットストリーム（４０）が形成されるビットストリームの前記セットの各々の前記ピクチャ部分（３４）のサブピクチャ部分（４４）を含む、コンパイルするステップ、
現在解読されている位置までそれぞれの前記サブピクチャ部分（４４）のコード化ペイロードセクション（４８）を解析するサブステップ（１０２）、および／もしくは
それぞれの前記サブピクチャ部分（４４）内のヘッダ（４６）からそれぞれの前記サブピクチャ部分の前記コード化ペイロードセクションの長さを導出するサブステップ、および／もしくは
それぞれの前記サブピクチャ部分が属する前記ピクチャ部分が抽出される前記ビットストリーム内でシグナリングされるビットストリーム長またはポインタ指示を使用するサブステップ
によって、暗号化されるべき各サブピクチャ部分の順次変化を再初期化し、暗号化されるべき各サブピクチャ部分（４４）の前記コード化ペイロードセクション（４８）の境界を発見することによって、平文マスクおよび／またはブロック暗号鍵の前記順次変化を使用することによるブロック単位の解読を使用することによって、前記コンパイル済みビットストリーム（４０）の１つまたは複数の前記サブピクチャ部分（４４）のサブセットの各サブピクチャ部分（４４）の前記コード化ペイロードセクション（４８）を解読するステップ、
を行うように構成されており、
前記装置は、１つまたは複数のサブピクチャ部分の前記サブセットに対して相互に異なる初期化状態を導出することにより、解読されるべき各サブピクチャ部分に対して前記再初期化を実行するように構成され、
前記装置は、前記現在のピクチャフレームの基本初期化状態に相互に異なる修正を適用することにより、１つまたは複数のサブピクチャ部分の前記サブセットに対する相互に異なる初期化状態の前記導出を実施するように構成されている、装置。
【請求項2】
ビットストリームのセットおよびエクストラクタからビデオストリームを復元するための装置であって、ビットストリームの前記セットは、ビデオピクチャエリアの異なる部分を符号化されており、前記装置は、それぞれの前記ビットストリームを解析することによって、ビットストリームの前記セットの各々から、現在のピクチャフレームに関連するピクチャ部分を抽出し、前記抽出されているピクチャ部分からコンパイル済みビットストリームを形成することにより、前記エクストラクタを使用して、ビットストリームの前記セットから前記コンパイル済みビットストリームをコンパイルするステップであって、結果、前記コンパイル済みビットストリームは、前記コンパイル済みビットストリームが形成されるビットストリームの前記セットの各々の前記ピクチャ部分のサブピクチャ部分を含む、コンパイルするステップ、
現在解読されている位置までそれぞれの前記サブピクチャ部分のコード化ペイロードセクションを解析するサブステップ、および／もしくは
それぞれの前記サブピクチャ部分内のヘッダからそれぞれの前記サブピクチャ部分の前記コード化ペイロードセクションの長さを導出するサブステップ、および／もしくは
それぞれの前記サブピクチャ部分が属する前記ピクチャ部分が抽出される前記ビットストリーム内でシグナリングされるビットストリーム長またはポインタ指示を使用するサブステップ
によって、暗号化されるべき各サブピクチャ部分の順次変化を再初期化し、暗号化されるべき各サブピクチャ部分の前記コード化ペイロードセクションの境界を発見することによって、平文マスクおよび／またはブロック暗号鍵の前記順次変化を使用することによるブロック単位の解読を使用することによって、前記コンパイル済みビットストリームの１つまたは複数の前記サブピクチャ部分のサブセットの各サブピクチャ部分の前記コード化ペイロードセクションを解読するステップ、を行うように構成されており、
前記装置は、１つまたは複数のサブピクチャ部分の前記サブセットに対して相互に異なる初期化状態を導出することにより、解読されるべき各サブピクチャ部分に対して前記再初期化を実行するように構成され、
前記装置は、前記現在のピクチャフレームの基本初期化状態に相互に異なる修正を適用することにより、１つまたは複数のサブピクチャ部分の前記サブセットに対する相互に異なる初期化状態の前記導出を実施するように構成されている、装置。
【請求項3】
前記それぞれのサブピクチャ部分が関係する前記ビデオピクチャエリアの部分に応じて、または前記それぞれのサブピクチャ部分のインデックスに応じて、
各サブピクチャの前記相互に異なる修正を導出するように構成されている、請求項１又は２に記載の装置。
【請求項4】
ビットストリームのセットおよびエクストラクタからビデオストリームを復元するための装置であって、ビットストリームの前記セットは、ビデオピクチャエリアの異なる部分を符号化されており、前記装置は、それぞれの前記ビットストリームを解析することによって、ビットストリームの前記セットの各々から、現在のピクチャフレームに関連するピクチャ部分を抽出し、前記抽出されているピクチャ部分からコンパイル済みビットストリームを形成することにより、前記エクストラクタを使用して、ビットストリームの前記セットから前記コンパイル済みビットストリームをコンパイルするステップであって、結果、前記コンパイル済みビットストリームは、前記コンパイル済みビットストリームが形成されるビットストリームの前記セットの各々の前記ピクチャ部分のサブピクチャ部分を含む、コンパイルするステップ、
現在解読されている位置までそれぞれの前記サブピクチャ部分のコード化ペイロードセクションを解析するサブステップ、および／もしくは
それぞれの前記サブピクチャ部分内のヘッダからそれぞれの前記サブピクチャ部分の前記コード化ペイロードセクションの長さを導出するサブステップ、および／もしくは
それぞれの前記サブピクチャ部分が属する前記ピクチャ部分が抽出される前記ビットストリーム内でシグナリングされるビットストリーム長またはポインタ指示を使用するサブステップ
によって、暗号化されるべき各サブピクチャ部分の順次変化を再初期化し、暗号化されるべき各サブピクチャ部分の前記コード化ペイロードセクションの境界を発見することによって、平文マスクおよび／またはブロック暗号鍵の前記順次変化を使用することによるブロック単位の解読を使用することによって、前記コンパイル済みビットストリームの１つまたは複数の前記サブピクチャ部分のサブセットの各サブピクチャ部分の前記コード化ペイロードセクションを解読するステップ、を行うように構成されており、
前記装置は、前記エクストラクタ内の初期化状態リストから、１つまたは複数のサブピクチャ部分の前記サブセットの各々に対する初期化状態を導出することにより、解読されるべき各サブピクチャ部分に対して前記再初期化を実行するように構成されている、装置。
【請求項5】
タイルベースのビデオストリーミングによってＲＯＩ固有のビデオストリーム（４０）をダウンロードするための装置であって、関心領域（ＲＯＩ）（２２）に応じて、エクストラクタ（２０）とともにビットストリーム（１２）のセット（３２）を識別してダウンロードするために、マニフェストファイル（２４）を検査するステップであって、ビットストリーム（１２）の前記セット（３２）は、ビデオピクチャエリア（１６）の異なる部分（１４）を符号化されている、検査するステップ、
それぞれの前記ビットストリームを解析することによって、ビットストリームの前記セット（３２）の各々から、現在のピクチャフレーム（３０）に関連するピクチャ部分（３４）を抽出し、前記抽出されているピクチャ部分（３４）からコンパイル済みビットストリーム（４０）を形成することにより、前記エクストラクタ（２０）を使用して、ビットストリームの前記セット（３２）から前記コンパイル済みビットストリーム（４０）をコンパイルするステップであって、結果、前記コンパイル済みビットストリーム（４０）は、前記コンパイル済みビットストリーム（４０）が形成されるビットストリームの前記セットの各々の前記ピクチャ部分（３４）のサブピクチャ部分（４４）を含む、コンパイルするステップ、
現在解読されている位置までそれぞれの前記サブピクチャ部分（４４）のコード化ペイロードセクション（４８）を解析するサブステップ（１０２）、および／もしくは
それぞれの前記サブピクチャ部分（４４）内のヘッダ（４６）からそれぞれの前記サブピクチャ部分の前記コード化ペイロードセクションの長さを導出するサブステップ、および／もしくは
それぞれの前記サブピクチャ部分が属する前記ピクチャ部分が抽出される前記ビットストリーム内でシグナリングされるビットストリーム長またはポインタ指示を使用するサブステップ
によって、暗号化されるべき各サブピクチャ部分の順次変化を再初期化し、暗号化されるべき各サブピクチャ部分（４４）の前記コード化ペイロードセクション（４８）の境界を発見することによって、平文マスクおよび／またはブロック暗号鍵の前記順次変化を使用することによるブロック単位の解読を使用することによって、前記コンパイル済みビットストリーム（４０）の１つまたは複数の前記サブピクチャ部分（４４）のサブセットの各サブピクチャ部分（４４）の前記コード化ペイロードセクション（４８）を解読するステップ、
を行うように構成されており、
前記エクストラクタ内の明示的な境界位置情報を無視した発見のために、前記コード化ペイロードセクションの前記解析、前記コード化ペイロードセクションの長さの前記導出、または前記ビットストリーム長もしくは前記ポインタ指示の前記使用を実施するように構成されている、装置。
【請求項6】
ビットストリームのセットおよびエクストラクタからビデオストリームを復元するための装置であって、ビットストリームの前記セットは、ビデオピクチャエリアの異なる部分を符号化されており、前記装置は、それぞれの前記ビットストリームを解析することによって、ビットストリームの前記セットの各々から、現在のピクチャフレームに関連するピクチャ部分を抽出し、前記抽出されているピクチャ部分からコンパイル済みビットストリームを形成することにより、前記エクストラクタを使用して、ビットストリームの前記セットから前記コンパイル済みビットストリームをコンパイルするステップであって、結果、前記コンパイル済みビットストリームは、前記コンパイル済みビットストリームが形成されるビットストリームの前記セットの各々の前記ピクチャ部分のサブピクチャ部分を含む、コンパイルするステップ、
現在解読されている位置までそれぞれの前記サブピクチャ部分のコード化ペイロードセクションを解析するサブステップ、および／もしくは
それぞれの前記サブピクチャ部分内のヘッダからそれぞれの前記サブピクチャ部分の前記コード化ペイロードセクションの長さを導出するサブステップ、および／もしくは
それぞれの前記サブピクチャ部分が属する前記ピクチャ部分が抽出される前記ビットストリーム内でシグナリングされるビットストリーム長またはポインタ指示を使用するサブステップ
によって、暗号化されるべき各サブピクチャ部分の順次変化を再初期化し、暗号化されるべき各サブピクチャ部分の前記コード化ペイロードセクションの境界を発見することによって、平文マスクおよび／またはブロック暗号鍵の前記順次変化を使用することによるブロック単位の解読を使用することによって、前記コンパイル済みビットストリームの１つまたは複数の前記サブピクチャ部分のサブセットの各サブピクチャ部分の前記コード化ペイロードセクションを解読するステップ、を行うように構成されており、
前記装置は、前記エクストラクタ内の明示的な境界位置情報を無視した発見のために、前記コード化ペイロードセクションの前記解析、前記コード化ペイロードセクションの長さの前記導出、または前記ビットストリーム長もしくは前記ポインタ指示の前記使用を実施するように構成されている、装置。
【請求項7】
ビットストリームのセットおよびエクストラクタからビデオストリームを復元するための装置であって、ビットストリームの前記セットはビデオピクチャエリアの異なる部分を符号化されており、前記装置は、それぞれの前記ビットストリームを解析することによって、ビットストリームの前記セットの各々から、現在のピクチャフレームに関連するピクチャ部分を抽出し、前記抽出されているピクチャ部分からコンパイル済みビットストリームを形成することにより、前記エクストラクタを使用して、ビットストリームの前記セットから前記コンパイル済みビットストリームをコンパイルするステップであって、結果、前記コンパイル済みビットストリームは、前記コンパイル済みビットストリームが形成されるビットストリームの前記セットの各々の前記ピクチャ部分のサブピクチャ部分を含む、コンパイルするステップ、および
前記エクストラクタまたは前記サブピクチャ部分におけるシグナリングに基づいて、前記コンパイル済みビットストリームの前記サブピクチャ部分から所定のサブピクチャ部分を識別するステップ、
現在解読されている位置までそれぞれの前記サブピクチャ部分のコード化ペイロードセクションを解析するサブステップ、および／もしくは
１つの所定の前記サブピクチャ部分内のヘッダから前記コード化ペイロードセクションの長さを導出するサブステップ、または
所定の前記サブピクチャ部分が属する前記ピクチャ部分が抽出される前記ビットストリーム内でシグナリングされるビットストリーム長またはポインタ指示を使用するサブステップによって、暗号化されるべき所定の前記サブピクチャ部分の前記コード化ペイロードセクションの境界を発見することによって、前記コンパイル済みビットストリームの前記サブピクチャ部分の所定の前記サブピクチャ部分の前記コード化ペイロードセクションを解読するステップ、
を行うように構成されており、
いくつかのピクチャフレームの所定の前記サブピクチャ部分の前記識別を、
前記いくつかのピクチャフレームが、所定の前記サブピクチャ部分が前記異なる部分のうちの異なる部分に対応し、かつ／または
前記いくつかのピクチャフレームが、正確に１つの前記サブピクチャ部分が所定の前記サブピクチャ部分と同一である第１のピクチャフレーム、および、所定の前記サブピクチャ部分と同一であるサブピクチャ部分が存在しない、前記第１のピクチャフレーム間に散在する第２のピクチャフレームを含む
ように実施するように構成されている、装置。
【請求項8】
ビデオピクチャエリアの異なる部分のサブピクチャ部分を含むビットストリームからビデオストリームを復元するための装置であって、外部から入来するシグナリングまたは前記サブピクチャ部分内のシグナリングに基づいて前記ビットストリームの前記サブピクチャ部分から所定のサブピクチャ部分を識別するステップ、
現在解読されている位置までコード化ペイロードセクションを解析するサブステップ、および／もしくは
所定の前記サブピクチャ部分内のヘッダから前記コード化ペイロードセクションの長さを導出するサブステップ、および／もしくは
所定の前記サブピクチャ部分の外側からシグナリングされるビットストリーム長またはポインタ指示を使用するサブステップ
によって、暗号化されるべき所定の前記サブピクチャ部分の前記コード化ペイロードセクションの境界を発見することによって、前記ビットストリームの前記サブピクチャ部分の所定の前記サブピクチャ部分の前記コード化ペイロードセクションを解読するステップ、
を行うように構成されており、
いくつかのピクチャフレームの所定の前記サブピクチャ部分の前記識別を、
前記いくつかのピクチャフレームが、所定の前記サブピクチャ部分が前記異なる部分のうちの異なる部分に対応し、かつ／または
前記いくつかのピクチャフレームが、正確に１つの前記サブピクチャ部分が所定の前記サブピクチャ部分と同一である第１のピクチャフレーム、および、所定の前記サブピクチャ部分と同一であるサブピクチャ部分が存在しない、前記第１のピクチャフレーム間に散在する第２のピクチャフレームを含む
ように実施するように構成されている、装置。
【請求項9】
前記解読は、平文マスクおよび／またはブロック解読鍵の順次変化の使用によるブロック解読を含む、請求項７または８のいずれか１項に記載の装置。
【請求項10】
タイルベースのビデオストリーミングによってＲＯＩ固有のビデオストリーム（４０）をダウンロードするための方法であって、関心領域（ＲＯＩ）（２２）に応じて、エクストラクタ（２０）とともにビットストリーム（１２）のセット（３２）を識別してダウンロードするために、マニフェストファイル（２４）を検査するステップであって、ビットストリーム（１２）の前記セット（３２）は、ビデオピクチャエリア（１６）の異なる部分（１４）を符号化されている、検査するステップ、
それぞれの前記ビットストリームを解析することによって、ビットストリームの前記セット（３２）の各々から、現在のピクチャフレーム（３０）に関連するピクチャ部分（３４）を抽出し、前記抽出されているピクチャ部分（３４）からコンパイル済みビットストリーム（４０）を形成することにより、前記エクストラクタ（２０）を使用して、ビットストリームの前記セット（３２）から前記コンパイル済みビットストリーム（４０）をコンパイルするステップであって、結果、前記コンパイル済みビットストリーム（４０）は、前記コンパイル済みビットストリーム（４０）が形成されるビットストリームの前記セットの各々の前記ピクチャ部分（３４）のサブピクチャ部分（４４）を含む、コンパイルするステップ、
現在解読されている位置までそれぞれの前記サブピクチャ部分（４４）のコード化ペイロードセクション（４８）を解析するサブステップ（１０２）、および／もしくは
それぞれの前記サブピクチャ部分（４４）内のヘッダ（４６）からそれぞれの前記サブピクチャ部分の前記コード化ペイロードセクションの長さを導出するサブステップ、および／もしくは
それぞれの前記サブピクチャ部分が属する前記ピクチャ部分が抽出される前記ビットストリーム内でシグナリングされるビットストリーム長またはポインタ指示を使用するサブステップ
によって、暗号化されるべき各サブピクチャ部分の順次変化を再初期化し、暗号化されるべき各サブピクチャ部分（４４）の前記コード化ペイロードセクション（４８）の境界を発見することによって、平文マスクおよび／またはブロック暗号鍵の前記順次変化を使用することによるブロック単位の解読を使用することによって、前記コンパイル済みビットストリーム（４０）の１つまたは複数の前記サブピクチャ部分（４４）のサブセットの各サブピクチャ部分（４４）の前記コード化ペイロードセクション（４８）を解読するステップ、
を含み、
１つまたは複数のサブピクチャ部分の前記サブセットに対して相互に異なる初期化状態を導出することにより、解読されるべき各サブピクチャ部分に対して前記再初期化を実行し、
前記現在のピクチャフレームの基本初期化状態に相互に異なる修正を適用することにより、１つまたは複数のサブピクチャ部分の前記サブセットに対する相互に異なる初期化状態の導出を実行する、方法。
【請求項11】
ビットストリームのセットおよびエクストラクタからビデオストリームを復元するための方法であって、ビットストリームの前記セットは、ビデオピクチャエリアの異なる部分を符号化されており、前記方法は、それぞれの前記ビットストリームを解析することによって、ビットストリームの前記セットの各々から、現在のピクチャフレームに関連するピクチャ部分を抽出し、前記抽出されているピクチャ部分からコンパイル済みビットストリームを形成することにより、前記エクストラクタを使用して、ビットストリームの前記セットから前記コンパイル済みビットストリームをコンパイルするステップであって、結果、前記コンパイル済みビットストリームは、前記コンパイル済みビットストリームが形成されるビットストリームの前記セットの各々の前記ピクチャ部分のサブピクチャ部分を含む、コンパイルするステップ、
現在解読されている位置までそれぞれの前記サブピクチャ部分のコード化ペイロードセクションを解析するサブステップ、および／もしくは
それぞれの前記サブピクチャ部分内のヘッダからそれぞれの前記サブピクチャ部分の前記コード化ペイロードセクションの長さを導出するサブステップ、および／もしくは
それぞれの前記サブピクチャ部分が属する前記ピクチャ部分が抽出される前記ビットストリーム内でシグナリングされるビットストリーム長またはポインタ指示を使用するサブステップ
によって、暗号化されるべき各サブピクチャ部分の順次変化を再初期化し、暗号化されるべき各サブピクチャ部分の前記コード化ペイロードセクションの境界を発見することによって、平文マスクおよび／またはブロック暗号鍵の前記順次変化を使用することによるブロック単位の解読を使用することによって、前記コンパイル済みビットストリームの１つまたは複数の前記サブピクチャ部分のサブセットの各サブピクチャ部分の前記コード化ペイロードセクションを解読するステップ、
を含み、
１つまたは複数のサブピクチャ部分の前記サブセットに対して相互に異なる初期化状態を導出することにより、解読されるべき各サブピクチャ部分に対して前記再初期化を実行し、
前記現在のピクチャフレームの基本初期化状態に相互に異なる修正を適用することにより、１つまたは複数のサブピクチャ部分の前記サブセットに対する相互に異なる初期化状態の導出を実行する、方法。
【請求項12】
ビットストリームのセットおよびエクストラクタからビデオストリームを復元するための方法であって、ビットストリームの前記セットは、ビデオピクチャエリアの異なる部分を符号化されており、前記方法は、それぞれの前記ビットストリームを解析することによって、ビットストリームの前記セットの各々から、現在のピクチャフレームに関連するピクチャ部分を抽出し、前記抽出されているピクチャ部分からコンパイル済みビットストリームを形成することにより、前記エクストラクタを使用して、ビットストリームの前記セットから前記コンパイル済みビットストリームをコンパイルするステップであって、結果、前記コンパイル済みビットストリームは、前記コンパイル済みビットストリームが形成されるビットストリームの前記セットの各々の前記ピクチャ部分のサブピクチャ部分を含む、コンパイルするステップ、
現在解読されている位置までそれぞれの前記サブピクチャ部分のコード化ペイロードセクションを解析するサブステップ、および／もしくは
それぞれの前記サブピクチャ部分内のヘッダからそれぞれの前記サブピクチャ部分の前記コード化ペイロードセクションの長さを導出するサブステップ、および／もしくは
それぞれの前記サブピクチャ部分が属する前記ピクチャ部分が抽出される前記ビットストリーム内でシグナリングされるビットストリーム長またはポインタ指示を使用するサブステップ
によって、暗号化されるべき各サブピクチャ部分の順次変化を再初期化し、暗号化されるべき各サブピクチャ部分の前記コード化ペイロードセクションの境界を発見することによって、平文マスクおよび／またはブロック暗号鍵の前記順次変化を使用することによるブロック単位の解読を使用することによって、前記コンパイル済みビットストリームの１つまたは複数の前記サブピクチャ部分のサブセットの各サブピクチャ部分の前記コード化ペイロードセクションを解読するステップ、
を含み、
前記エクストラクタ内の初期化状態リストから、１つまたは複数のサブピクチャ部分の前記サブセットの各々に対する初期化状態を導出することにより、解読されるべき各サブピクチャ部分に対して前記再初期化を実行する、方法。
【請求項13】
タイルベースのビデオストリーミングによってＲＯＩ固有のビデオストリーム（４０）をダウンロードするための方法であって、関心領域（ＲＯＩ）（２２）に応じて、エクストラクタ（２０）とともにビットストリーム（１２）のセット（３２）を識別してダウンロードするために、マニフェストファイル（２４）を検査するステップであって、ビットストリーム（１２）の前記セット（３２）は、ビデオピクチャエリア（１６）の異なる部分（１４）を符号化されている、検査するステップ、
それぞれの前記ビットストリームを解析することによって、ビットストリームの前記セット（３２）の各々から、現在のピクチャフレーム（３０）に関連するピクチャ部分（３４）を抽出し、前記抽出されているピクチャ部分（３４）からコンパイル済みビットストリーム（４０）を形成することにより、前記エクストラクタ（２０）を使用して、ビットストリームの前記セット（３２）から前記コンパイル済みビットストリーム（４０）をコンパイルするステップであって、結果、前記コンパイル済みビットストリーム（４０）は、前記コンパイル済みビットストリーム（４０）が形成されるビットストリームの前記セットの各々の前記ピクチャ部分（３４）のサブピクチャ部分（４４）を含む、コンパイルするステップ、
現在解読されている位置までそれぞれの前記サブピクチャ部分（４４）のコード化ペイロードセクション（４８）を解析するサブステップ（１０２）、および／もしくは
それぞれの前記サブピクチャ部分（４４）内のヘッダ（４６）からそれぞれの前記サブピクチャ部分の前記コード化ペイロードセクションの長さを導出するサブステップ、および／もしくは
それぞれの前記サブピクチャ部分が属する前記ピクチャ部分が抽出される前記ビットストリーム内でシグナリングされるビットストリーム長またはポインタ指示を使用するサブステップ
によって、暗号化されるべき各サブピクチャ部分の順次変化を再初期化し、暗号化されるべき各サブピクチャ部分（４４）の前記コード化ペイロードセクション（４８）の境界を発見することによって、平文マスクおよび／またはブロック暗号鍵の前記順次変化を使用することによるブロック単位の解読を使用することによって、前記コンパイル済みビットストリーム（４０）の１つまたは複数の前記サブピクチャ部分（４４）のサブセットの各サブピクチャ部分（４４）の前記コード化ペイロードセクション（４８）を解読するステップ、
を含み、
前記エクストラクタ内の明示的な境界位置情報を無視した発見のために、前記コード化ペイロードセクションの前記解析、前記コード化ペイロードセクションの長さの前記導出、または前記ビットストリーム長もしくは前記ポインタ指示の前記使用を実行する、方法。
【請求項14】
ビットストリームのセットおよびエクストラクタからビデオストリームを復元するための方法であって、ビットストリームの前記セットは、ビデオピクチャエリアの異なる部分を符号化されており、前記方法は、それぞれの前記ビットストリームを解析することによって、ビットストリームの前記セットの各々から、現在のピクチャフレームに関連するピクチャ部分を抽出し、前記抽出されているピクチャ部分からコンパイル済みビットストリームを形成することにより、前記エクストラクタを使用して、ビットストリームの前記セットから前記コンパイル済みビットストリームをコンパイルするステップであって、結果、前記コンパイル済みビットストリームは、前記コンパイル済みビットストリームが形成されるビットストリームの前記セットの各々の前記ピクチャ部分のサブピクチャ部分を含む、コンパイルするステップ、
現在解読されている位置までそれぞれの前記サブピクチャ部分のコード化ペイロードセクションを解析するサブステップ、および／もしくは
それぞれの前記サブピクチャ部分内のヘッダからそれぞれの前記サブピクチャ部分の前記コード化ペイロードセクションの長さを導出するサブステップ、および／もしくは
それぞれの前記サブピクチャ部分が属する前記ピクチャ部分が抽出される前記ビットストリーム内でシグナリングされるビットストリーム長またはポインタ指示を使用するサブステップ
によって、暗号化されるべき各サブピクチャ部分の順次変化を再初期化し、暗号化されるべき各サブピクチャ部分の前記コード化ペイロードセクションの境界を発見することによって、平文マスクおよび／またはブロック暗号鍵の前記順次変化を使用することによるブロック単位の解読を使用することによって、前記コンパイル済みビットストリームの１つまたは複数の前記サブピクチャ部分のサブセットの各サブピクチャ部分の前記コード化ペイロードセクションを解読するステップ、
を含み、
前記エクストラクタ内の明示的な境界位置情報を無視した発見のために、前記コード化ペイロードセクションの前記解析、前記コード化ペイロードセクションの長さの前記導出、または前記ビットストリーム長もしくは前記ポインタ指示の前記使用を実行する、方法。
【請求項15】
ビットストリームのセットおよびエクストラクタからビデオストリームを復元するための方法であって、ビットストリームの前記セットはビデオピクチャエリアの異なる部分を符号化されており、前記方法は、それぞれの前記ビットストリームを解析することによって、ビットストリームの前記セットの各々から、現在のピクチャフレームに関連するピクチャ部分を抽出し、前記抽出されているピクチャ部分からコンパイル済みビットストリームを形成することにより、前記エクストラクタを使用して、ビットストリームの前記セットから前記コンパイル済みビットストリームをコンパイルするステップであって、結果、前記コンパイル済みビットストリームは、前記コンパイル済みビットストリームが形成されるビットストリームの前記セットの各々の前記ピクチャ部分のサブピクチャ部分を含む、コンパイルするステップ、および
前記エクストラクタまたは前記サブピクチャ部分におけるシグナリングに基づいて、前記コンパイル済みビットストリームの前記サブピクチャ部分から所定のサブピクチャ部分を識別するステップ、
現在解読されている位置までそれぞれの前記サブピクチャ部分のコード化ペイロードセクションを解析するサブステップ、および／もしくは
１つの所定の前記サブピクチャ部分内のヘッダから前記コード化ペイロードセクションの長さを導出するサブステップ、もしくは
所定の前記サブピクチャ部分が属する前記ピクチャ部分が抽出される前記ビットストリーム内でシグナリングされるビットストリーム長またはポインタ指示を使用するサブステップ
によって、暗号化されるべき所定の前記サブピクチャ部分の前記コード化ペイロードセクションの境界を発見することによって、前記コンパイル済みビットストリームの前記サブピクチャ部分の所定の前記サブピクチャ部分の前記コード化ペイロードセクションを解読するステップ、
を含み、
いくつかのピクチャフレームの所定の前記サブピクチャ部分の前記識別を、
前記いくつかのピクチャフレームが、所定の前記サブピクチャ部分が前記異なる部分のうちの異なる部分に対応し、かつ／または
前記いくつかのピクチャフレームが、正確に１つの前記サブピクチャ部分が所定の前記サブピクチャ部分と同一である第１のピクチャフレーム、および、所定の前記サブピクチャ部分と同一であるサブピクチャ部分が存在しない、前記第１のピクチャフレーム間に散在する第２のピクチャフレームを含む
ように実行する、方法。
【請求項16】
ビデオピクチャエリアの異なる部分のサブピクチャ部分を含むビットストリームからビデオストリームを復元するための方法であって、外部から入来するシグナリングまたは前記サブピクチャ部分内のシグナリングに基づいて前記ビットストリームの前記サブピクチャ部分から所定のサブピクチャ部分を識別するステップ、
現在解読されている位置までコード化ペイロードセクションを解析するサブステップ、および／もしくは
所定の前記サブピクチャ部分内のヘッダから前記コード化ペイロードセクションの長さを導出するサブステップ、および／もしくは
所定の前記サブピクチャ部分の外側からシグナリングされるビットストリーム長またはポインタ指示を使用するサブステップ
によって、暗号化されるべき所定の前記サブピクチャ部分の前記コード化ペイロードセクションの境界を発見することによって、前記ビットストリームの前記サブピクチャ部分の所定の前記サブピクチャ部分の前記コード化ペイロードセクションを解読するステップ、
を含み、
いくつかのピクチャフレームの所定の前記サブピクチャ部分の前記識別を、
前記いくつかのピクチャフレームが、所定の前記サブピクチャ部分が前記異なる部分のうちの異なる部分に対応し、かつ／または
前記いくつかのピクチャフレームが、正確に１つの前記サブピクチャ部分が所定の前記サブピクチャ部分と同一である第１のピクチャフレーム、および、所定の前記サブピクチャ部分と同一であるサブピクチャ部分が存在しない、前記第１のピクチャフレーム間に散在する第２のピクチャフレームを含む
ように実行する、方法。
【請求項17】
コンピュータ上で実行されると、請求項１５または１６に記載の方法を実行するコンピュータプログラムを格納する、コンピュータで読み取り可能な記録媒体。【発明の詳細な説明】
【技術分野】
【0001】
本出願は、部分ベースまたはタイルベースのビデオストリーミングの概念に関する。
【背景技術】
【0002】
現在のビデオストリーミングシステムにおけるメディア暗号化は、例えばＡｄｖａｎｃｅｄ Ｅｎｃｒｙｐｔｉｏｎ Ｓｔａｎｄａｒｄ（ＡＥＳ）の方法に従って、ブロック単位に、順方向暗号関数および鍵を使用してメディアデータ（平文として参照される）を暗号化し、逆方向関数および鍵を使用して結果（暗号テキストとして参照される）を解読することを可能にする暗号関数に基づいている［１］。加えて、メディア暗号化の基本的な概念は、暗号文ブロックの一意性を確保するために順方向暗号関数に渡される前に平文を変更することである。すなわち、共通の単語または構文構造などの同一の平文ブロックを繰り返しても、同一の暗号文ブロックにならないようにするべきである。平文は、暗号関数に入る前（および同様に逆関数を実行した後）に、各平文ブロックおよび暗号化メタデータの計算的に安価な演算、すなわち排他的ＯＲ（ＸＯＲ）を使用して変更される。ほとんどの手法において、最初のブロックの暗号化メタデータは初期化値または初期化ベクトル（ＩＶ）から構成される。次の平文ブロックの暗号化メタデータが生成される方法を定義するブロック演算モードのバリエーション［２］が多数存在する。現在の暗号化メディアストリーミング市場において最も普及しているこの概念の２つのバリエーションは、図１ａ、図１ｂに示すように、暗号化メタデータおよび暗号ブロックチェーン（ＣＢＣ）の一部としてカウンタ（ＣＴＲ）を維持することに基づいており、現在の暗号文ブロックが、次の平文ブロックの暗号化メタデータとして使用される。
【0003】
ＭＰＥＧ Ｃｏｍｍｏｎ Ｅｎｃｒｙｐｔｉｏｎ Ｓｔａｎｄａｒｄ［３］は、ＡＥＳ－ＣＴＲおよびＡＥＳ－ＣＢＣに触発された様々な方式を定義することにより、ＭＰＥＧエコシステムにおけるメディアデータ、すなわちＩＳＯベースメディアファイルフォーマット［４］［５］（ＦＦ）コンテナにカプセル化されたコード化メディアデータの暗号化を定義している。特に、方式は、コード化メディアデータのいずれの部分が暗号化される平文を構成するかを記述する。暗号化方式は、１６バイトの平文のブロックに対して動作する。当然ながら、コード化メディアデータのすべてよりも少ない暗号化を行い、コード化データ内の様々な空間的および時間的依存性を通じて、暗号化メディアデータの不正な使用（すなわち、暗号鍵を欠く不正な解読）を依然として禁止することが可能である。
【0004】
ＦＦコンテナに含まれるコード化ビデオデータのコンテキストでは、単一の時間インスタンスに関連付けられ、解読後にビデオピクチャをもたらすコード化データは、通常サンプルとして参照される。ＦＦコンテナ内のサンプルは、さらに論理的および空間的に細分化してサブサンプルにすることができ、例えば、空間細分化のためのビデオコーデックツール、例えばＨＥＶＣ［６］におけるスライスまたはタイルが使用される場合、コーデックの観点からの一定レベルの独立性を達成することができる。
【0005】
いくつかの暗号化方式（ＣＴＲに基づく「ｃｅｎｃ」および「ｃｅｎｓ」ならびにＣＢＣに基づく「ｃｂｃ１」および「ｃｂｃｓ」）が、［３］において定義されており、コード化メディアデータ、すなわち［６］によるビデオ符号化層（ＶＣＬ）と関連付けられるＮＡＬユニットのストリームのいずれの部分が平文を構成し、したがって暗号化されるかをシグナリングすることを可能にする。図２は、コード化メディアデータ内の１つのサンプル（すなわち、例えば、各々が別個のＮＡＬユニット内にある２つのタイルから構成されるビデオピクチャ）に関連付けられた一連のＮＡＬユニット、ならびに、ヘッダおよびエントロピー符号化されたペイロードから構成されるビデオスライスの構造を示す。後者は、図ではビデオスライスデータとして参照される。ＩＳＯメディアサイズヘッダは、ＮＡＬユニット（ＮＡＬＵ）の長さを記述子、以下ではパート１５ ＮＡＬサイズヘッダとして参照されることもある。ビデオスライスデータ（またはスライスペイロード）は、通常、コード化データストリームの最大部分を構成する。
【0006】
前述のように、コード化ビデオの様々なコード化および予測の依存関係により、すべてのサンプルの一部のみを暗号化し（例えば、１つおきのサンプル、または、さらには、いわゆるパターン暗号化方式「ｃｅｎｓ」および「ｃｂｃｓ」における、１つおきの平文ブロックもしくは別のシグナリング比）、依然として、コンテンツの良好な保護を維持することが可能であり、処理パワーが節約される。さらに、メディアデータの一部、特にＮＡＬユニットヘッダまたはスライスヘッダを暗号化せずにおくことが有益な場合があり、これらのデータは、コード化ピクセル値は含まず、例えばコード化メディアデータストリームをＨＥＶＣ Ａｎｎｅｘ Ｂバイトストリーム形式に書き換えることを目的とする、暗号化ストリームの処理について、システム層上で有用であり得る制御情報を含む。したがって、［３］のサブサンプル暗号化フォーマットでは、例えば、ＮＡＬユニットおよびスライスヘッダなど、特定の部分を暗号化しないままにすることが義務付けられている。暗号化方式に応じて、サブサンプルの最後の部分平文ブロックの処理が異なる。ＣＴＲベースの方式「ｃｅｎｃ」では、平文ブロックがサブサンプルの境界をまたぐ場合があり、一方、ＣＢＣベースの方式「ｃｂｃｓ」では、サブサンプルの最後の部分平文ブロックは暗号化されないままである。方式「ｃｅｎｓ」および「ｃｂｃ１」では、サブサンプル開始時の暗号化されていないバイトの範囲が適切に選択され、結果、部分平文ブロックは発生しない。
【0007】
全方向メディアフォーマット（ＯＭＡＦ：Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ Ｍｅｄｉａ Ｆｏｒｍａｔ）［７］によって定義されるようなタイルベースのビデオストリーミングアプリケーションでは、クライアント側ビデオデータストリーム内のビデオピクチャは、ビデオの部分または領域を、ユーザに応じて他の部分または領域とは異なる解像度または品質で描写するタイルに分割することができる。これにより、関連するシステムリソース（ネットワークスループットまたはビデオデコーダピクセルスループット）を、例えば、３６０°ビデオストリーミングアプリケーション内の、ユーザが見ている方向の内容を表す領域など、ユーザの注意の中心にあるビデオ領域に集中させることができる。
【0008】
このようなコンテンツは、例えば、ＭＰＥＧ ＤＡＳＨ［８］など、良好に確立されたＨＴＴＰベースのストリーミング形式を使用して配信されることが多い。ここで、コード化メディアデータは、セグメント化ＦＦコンテナ内のＨＴＴＰサーバ上に存在し、アダプテーションセット（例えば、タイルなどの個々のメディアコンテンツ片）およびリプレゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）（同じコンテンツ片の様々なビットレートのバリエーション）にさらに構造化される、利用可能なセグメントのダウンロード可能なＸＭＬ記述、すなわちＭｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ（ＭＰＤ）を提供することにより広告される。３６０°ビデオのサブピクチャまたはタイルはアダプテーションセットとして提供することができ、一方、他のアダプテーションセットは、いわゆるＦＦエクストラクタトラック（ＦＦ ｅｘｔｒａｃｔｏｒ ｔｒａｃｋ）を介して個々のサブピクチャまたはタイルの（ビューポート依存の混合解像度）構成を記述する。これらのＦＦエクストラクタトラックは、以下の２つの集約概念を通じて、対応するサブピクチャトラックを参照する。
・ｄｅｐｅｎｄｅｎｃｙＩｄとして参照される概念（図３、１つのエクストラクタトラックが、構成のコンテンツ片、すなわちコンテンツ片の特定のビットレートバリエーションを含む、アダプテーションセット内のリプレゼンテーションを明示的に参照する）。これは、クライアント側で再生されたときにエクストラクタトラックによって抽出されるサブサンプルの正確なバイトサイズが、エクストラクタトラックの作成中に分かることを意味する。または
・プレセレクションとして参照される概念（図４、１つのエクストラクタトラックがアダプテーションセットレベルでのみ構成のコンテンツを参照し、正確なリプレゼンテーションの決定はクライアントに委ねられる）。これは、クライアント側で再生されたときにエクストラクタトラックによって抽出されるサブサンプルの正確なバイトサイズが、エクストラクタトラックの作成中に分からず、クライアントダウンロードの後でしか分からないことを意味する。
・ｄｅｐｅｎｄｅｎｃｙＩｄとして参照される概念（図３、１つのエクストラクタトラックが、構成のコンテンツ片、すなわちコンテンツ片の特定のビットレートバリエーションを含む、アダプテーションセット内のリプレゼンテーションを明示的に参照する）。これは、クライアント側で再生されたときにエクストラクタトラックによって抽出されるサブサンプルの正確なバイトサイズが、エクストラクタトラックの作成中に分かることを意味する。または
・プレセレクションとして参照される概念（図４、１つのエクストラクタトラックがアダプテーションセットレベルでのみ構成のコンテンツを参照し、正確なリプレゼンテーションの決定はクライアントに委ねられる）。これは、クライアント側で再生されたときにエクストラクタトラックによって抽出されるサブサンプルの正確なバイトサイズが、エクストラクタトラックの作成中に分からず、クライアントダウンロードの後でしか分からないことを意味する。
【0009】
図３に示すように、３つの異なるビットレートにおいてこの例の２つの異なるタイルのすべての可能な組み合わせをシグナリングするためにｄｅｐｅｎｄｅｎｃｙＩｄが使用される場合、９つの表現がＡｄａｐｔａｔｉｏｎＳｅｔ（アダプテーションセット）３内でシグナリングされる（図では６つのみを示す）。すべての表現をサーバにおいて利用可能にする必要があり、各表現のエクストラクタトラックを生成する必要がある。図４は、プレセレクションを使用すると、９つの可能な組み合わせのいずれかから有効なビットストリームを生成するために有効な単一のエクストラクタトラックを含む単一の表現がＡｄａｐｔａｔｉｏｎＳｅｔ３において利用可能になることを示している。
【0010】
プラットフォームの少なくとも一部によってサポートされている、暗号化タイルベースのＤＡＳＨサービスの現行技術水準の手法は以下のとおりである。
【0011】
・ＭＰＤがｄｅｐｅｎｄｅｎｃｙＩｄを使用し、すべてのサブピクチャ／タイルが「ｃｂｃｓ」暗号化される。
・ＭＰＤがｄｅｐｅｎｄｅｎｃｙＩｄを使用し、任意の単一のサブピクチャ／タイルのみがＣＴＲ、すなわち「ｃｅｎｃ」または「ｃｅｎｓ」暗号化される。
・ＭＰＤがｄｅｐｅｎｄｅｎｃｙＩｄを使用し、任意の単一のサブピクチャ／タイルのみがＣＴＲ、すなわち「ｃｅｎｃ」または「ｃｅｎｓ」暗号化される。
【0012】
ただし、そのようなコンテンツが、デジタル著作権管理（ＤＲＭ）を実現するために暗号化形式において、幅広い既存のプラットフォーム、すなわちＡｎｄｒｏｉｄまたはｉＯＳベースのモバイルデバイス、ＳｍａｒｔＴＶおよびセットトップボックス、ブラウザ実装などのようなデバイスエコシステムに提供される場合、多種多様な問題が発生する。
【0013】
・一部のプラットフォームはＣＢＣベースの暗号化手法のみをサポートすることができ、他のプラットフォームはＣＴＲベースの暗号化のみをサポートすることができる。
・上記のｄｅｐｅｎｄｅｎｃｙＩｄベースの手法を使用するタイルベースのストリーミングサービスは、サービスオペレータにとって魅力のない、比較的冗長で大きいＭＰＤを維持することを必要とする。前述のプレセレクション手法を使用すると、タイルベースのストリーミングサービスにおけるＭＰＤサイズおよび複雑さを大幅に削減することができる（比較については、図３および図４を参照されたい）。
・ＣＴＲベースの暗号化方式における平文は、ピクチャ内のタイルの順序またはビットレート（バイトサイズ）が変更を受けるタイルベースの手法を禁止するサンプル内のすべてのサブサンプル／タイルペイロードデータの連結から構成される。
・上記のｄｅｐｅｎｄｅｎｃｙＩｄベースの手法を使用するタイルベースのストリーミングサービスは、サービスオペレータにとって魅力のない、比較的冗長で大きいＭＰＤを維持することを必要とする。前述のプレセレクション手法を使用すると、タイルベースのストリーミングサービスにおけるＭＰＤサイズおよび複雑さを大幅に削減することができる（比較については、図３および図４を参照されたい）。
・ＣＴＲベースの暗号化方式における平文は、ピクチャ内のタイルの順序またはビットレート（バイトサイズ）が変更を受けるタイルベースの手法を禁止するサンプル内のすべてのサブサンプル／タイルペイロードデータの連結から構成される。
【0014】
上記の様々な問題から明らかなように、既存の暗号化方式は、現在、タイルベースのビデオストリーミングのコンテキストにおいてＤＲＭを実現することを可能にしない。
【0015】
本出願が関係するさらなる態様は、全方向ビデオ、および、シーンにわたってビデオ品質が変化する場合の全方向ビデオの処理に関する。全方向ビデオの品質は、領域ごとに異なる。品質の空間的な差を記述するために、全方向メディアフォーマット（ＯＭＡＦ）は、ＩＳＯＢＭＦＦとＤＡＳＨの両方のシグナリング方法を指定する。ＩＳＯＢＭＦＦの場合、視覚的なサンプルエントリでＳｐｈｅｒｅＲｅｇｉｏｎＱｕａｌｉｔｙＲａｎｋｉｎｇＢｏｘ（図５ａを参照）または２ＤＲｅｇｉｏｎＱｕａｌｉｔｙＲａｎｋｉｎｇＢｏｘ（図５ｂを参照）を使用して、領域ごとの品質の差を示すことができる。
【0016】
両方のボックスが、ｑｕａｌｉｔｙ＿ｒａｎｋｉｎｇ属性の値を指定することにより、全方向ビデオの異なる領域の相対的な品質差をシグナリングすることを可能にする。領域Ａのｑｕａｌｉｔｙ＿ｒａｎｋｉｎｇ値が領域Ｂの値より小さい場合、領域Ａは領域Ｂよりも高い品質を有する。
【0017】
ＤＡＳＨにおいて様々な領域の相対的な品質差をシグナリングするために、ＯＭＡＦは、「ｕｒｎ：ｍｐｅｇ：ｏｍａｆ：ｒｗｑｒ：２０１７」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉ属性および下記の表に指定するような値のコンマ区切りリストとしての＠ｖａｌｕｅを有するＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ要素を使用する、領域ごとの品質記述子を定義する。
【0018】
【0019】
この記述子は、アダプテーションセットレベルで現れ、他のレベルには存在しないものとする。例えば、２つのタイルが２つの異なる解像度（高解像度および低解像度）によって符号化されている場合、図６に示すように、それらのタイルの各々を別個のＡｄａｐｔａｔｉｏｎＳｅｔによって記述することができる。各ＡｄａｐｔａｔｉｏｎＳｅｔは、異なるビットレートで符号化されている、同じタイルの異なる表現を含み得る。各リプレゼンテーションはまた、同じＡｄａｐｔａｔｉｏｎＳｅｔ内の他のリプレゼンテーションに対する現在のリプレゼンテーションの品質ランキングを指定する任意選択の属性＠ｑｕａｌｉｔｙＲａｎｋｉｎｇも含み得る（値が小さいほど品質が高くなる）。ＡｄａｐｔａｔｉｏｎＳｅｔ ３（およびＡｄａｐｔａｔｉｏｎＳｅｔ ６）のリプレゼンテーションは、ＡｄａｐｔａｔｉｏｎＳｅｔ １の中の１つのリプレゼンテーションと、ＡｄａｐｔａｔｉｏｎＳｅｔ ２（またはそれぞれＡｄａｐｔａｔｉｏｎＳｅｔ ４およびＡｄａｐｔａｔｉｏｎＳｅｔ ５）の１つの表現との任意の組み合わせを可能にするエクストラクタトラックを含む。
【0020】
クライアントが、ビューポート依存ソリューションに対応するＡｄａｐｔａｔｉｏｎＳｅｔ ３または６を選択する場合、コンテンツの焦点がどこにあるかを理解するために、領域ごとの品質の説明を提供することが望ましい。与えられている例では、２つの領域があり、１つはｑｕａｌｉｔｙ＿ｒａｎｋｉｎｇ＝１の値を有する高解像度を含み、もう１つはｑｕａｌｉｔｙ＿ｒａｎｋｉｎｇ＝２（または、より高解像度の領域がより高い品質を有することを示す任意の他の数値）を有する低解像度を含む。
【0021】
したがって、ユーザは、そのＡｄａｐｔａｔｉｏｎＳｅｔを選択すると、ビューポート依存表現の焦点がどこにあるかを直ちに理解する。ただし、プレセレクションがＡｄａｐｔａｔｉｏｎＳｅｔレベルで使用される場合、対応するリプレゼンテーションの可能な組み合わせは定義されず、対応するＡｄａｐｔａｔｉｏｎＳｅｔからの任意のリプレゼンテーションを使用することができる（同時に、それらのリプレゼンテーションの＠ｑｕａｌｉｔｙＲａｎｋｉｎｇ属性が存在する場合がある）。＠ｑｕａｌｉｔｙＲａｎｋｉｎｇ値は、領域ごとの品質記述子によって指定される値と矛盾する場合がある。
【発明の概要】
【0022】
したがって、本発明の目的は、分割ビデオストリーミングのためのより効率的な概念を提供することである。
【0023】
この目的は、本出願の独立請求項の主題により達成される。
【0024】
本出願の第１の態様は、タイルベースのビデオストリーミングに暗号化／解読を適用する概念に関する。第１の変形形態によれば、例えば、各サブセットが、ビデオピクチャエリアの対応する部分に関連し、異なる品質のビットストリームを収集する、ビットストリームの１つまたは複数のサブセットが、エクストラクタによってこれらのサブセットの各々から１つのビットストリームを取り出すことからもたらされるコンパイル済みビットストリームが、現在のピクチャフレームに対して、各暗号化サブセットからの１つのビットストリームの１つの暗号化ピクチャ部分を有するような暗号化を受ける。この第１の態様によれば、暗号化はブロック単位の暗号化およびブロック単位の解読によって行われ、これらは両方とも平文マスクおよび／またはブロック解読鍵の順次変化を使用することによって行われ、特に順次変化は、コンパイル済みビットストリーム内のそれぞれのサブピクチャ部分を形成する各ピクチャ部分の再初期化を受ける。したがって、サブピクチャ部分ごとの再初期化により、暗号化サブセットからいずれのビットストリームがコンパイル済みビットストリームのコンパイルに選択されたかは重要ではない。特定のピクチャフレームに関連するピクチャ部分の長さは、暗号化／解読に問題を引き起こすことなく、ピクチャエリアの特定の部分に関連する特定のサブセット間で変えることができる。クライアント側において、すなわち、ダウンロード側において、暗号化サブピクチャ部分のコード化ペイロードセクションの境界が、以下の代替形態、すなわち、現在解読された位置までのそのような暗号化サブピクチャ部分のコード化ペイロードセクションを解析すること、および／もしくは、それぞれのサブピクチャ部分内のヘッダからそれぞれのサブピクチャ部分のコード化ペイロードセクションの長さを導出すること、ならびに／または、それぞれのサブピクチャ部分が属するピクチャ部分が導出されるビットストリーム内でシグナリングされるビットストリーム長またはポインタ指示を使用すること、のうちの１つに基づいて検出される。－実際、この方法で、タイルベースのビデオストリーミング環境に暗号化／解読を効率的に、すなわち、そのような環境に、ダウンロードされた構成済みビットストリームを形成するためにプレセレクションをも使用する機会が与えられるように、適用するソリューションが発見された。
【0025】
さらなる変形形態によれば、暗号化／解読が、その状況が現在のピクチャフレームのビデオピクチャエリアの１つの部分の識別に同期する、現在のピクチャフレームを通じたビットストリームのサブセットの識別された１つに焦点を当てるように、タイルベースのビデオストリーミング環境に暗号化／解読が適用される。識別は、例えば、エクストラクタまたは暗号化を受けるサブピクチャ部分自体においてシグナリングされる。ここで、暗号化／解読は、平文マスクおよび／もしくはブロック解読鍵の順次変化を使用するか、または、暗号化／解読の取り組みをシーンの様々な部分の１つのみに効率的に集中させることに利点がある他の手段によって行うことができる。
【0026】
本出願の別の態様は、分割ビデオストリーミング環境のクライアントが、特定のプレセレクションアダプテーションセットがそのＲＯＩをどこに有するかの理解を導出し、および／または、品質に関してそのようなプレセレクションアダプテーションセットによって提供される個々の組み合わせオプション間の相対的ランキングの良好な推定を導出する機会を与えられる、効率的な方法に関する。この態様によれば、第１の変形形態において、マニフェストファイルが、出力ピクチャエリアの各領域に、マニフェストファイル内のそれぞれのパラメータセットによっても定義されるピクチャ部分固有のアダプテーションセットの１つを割り当てる、プレセレクションアダプテーションセットを定義する少なくとも１つのパラメータセットを含む。以下の状況のうちの少なくとも１つが適用される。すなわち、少なくとも１つの第２のパラメータセットが、クライアント側において、これらの範囲が出力ピクチャエリアの領域にわたって空間的に変化する品質のより良い理解を得、結果、ＲＯＩがどこにあるか、すなわち、より高品質の領域がどこにあるかを示唆すること、および／または、それぞれのプレセレクションアダプテーションセットによって提供される様々な組み合わせオプションに関連する品質のより良い理解を得ることを支援するように、それぞれの領域に割り当てられているピクチャ部分固有のアダプテーションセットの表現の品質レベルをカバーする品質レベル範囲を示す、出力ピクチャエリアの各領域の１つまたは複数のパラメータを含む、付加的にまたは代替的に、マニフェストファイルは、ピクチャ部分固有のアダプテーションセットを定義するパラメータセットによって示される品質レベルが、第１のパラメータセットの異なるパラメータにわたって順序スケーリングされるように、共通の順序尺度上で定義されるか否かの指示を含む。したがって、クライアントは、出力ピクチャエリアをもたらす領域２１４の照合におけるＲＯＩの位置に関する情報を得るために、参照される部分固有のアダプテーションセットのパラメータセット内の品質レベルを検査することができる。したがって、付加的にまたは代替的に、プレセレクションアダプテーションセットによって提供される様々な組み合わせオプションに関連する品質の正確な理解が利用可能になる。付加的にまたは代替的に、プレセレクションアダプテーションセットのパラメータセットは、出力ピクチャエリアの領域ごとに、品質レベルなどの独自の品質ヒント、および、品質ヒントが、参照される部分固有のアダプテーションセットのパラメータセットに含まれる、ローカル定義の品質レベルと共通の尺度上にあるか否かの指示を含む。品質ヒントは共通パラメータセット、すなわちプレセレクションアダプテーションセットの１つにおいて定義されるため、それらはいずれにしても共通の尺度上で定義され、クライアントデバイスが、対応するプレセレクションアダプテーションセットに関連付けられたＲＯＩを位置特定することを可能にする。加えて、プレセレクションアダプテーションセットのパラメータセット内の品質および部分固有のアダプテーションセット内の品質は共通の尺度で定義され、結果、プレセレクションアダプテーションセットの利用可能なオプションを正確に理解することができる。付加的にまたは代替的に、プレセレクションアダプテーションセットのパラメータセットは、出力ピクチャエリアの領域ごとに、クライアントがそれを使用して少なくとも、領域の照合に対する、すなわち、出力ピクチャエリアの周囲内での品質の空間分布に関してプレセレクションアダプテーションセットを解釈することが可能であり、結果、対応するプレセレクションアダプテーションセットに関連付けられたＲＯＩを位置特定することが可能である品質レベルなどの独自の品質ヒントを含む。同様に、対応する態様によれば、品質ヒントは、部分的に変化する品質の表現を相互に関連付けるために使用され、表現は最高品質の部分の位置に一致する。またなおさらに、ファイルフォーマット記述子に同様の情報を提供して、受信側において同様の利点を実現することができる。
【0027】
本出願の有利な実施形態は、従属請求項の主題である。本出願の好ましい実施形態は、図面に関連して以下で説明される。
【図面の簡単な説明】
【0028】
【図1a】ここでは、サブサンプル境界を越えて継続するように実行されるものとして例示されているが、後続の実施形態では、サブサンプルごとに再初期化が行われ得ることが明確になる、暗号ブロックチェーンを使用したブロック単位の暗号化を示す概略図である。
【図1b】ＣＴＲを使用したブロック単位の暗号化を示す概略図である。
【図2】［３］による、コード化メディアデータおよびＦＦコンテナ内のスライス構造内の一連のＮＡＬユニットを示す概略図である。
【図3】（依存関係ＩＤを使用した、高解像度の２つのタイルおよび低解像度の１つのタイルに関する）マニフェストファイル／ＭＰＤ内の表現を示す概略図である。
【図4】プレセレクションを使用した、高解像度の１つのタイルおよび低解像度の１つのタイルの、２つのタイルに関する、マニフェストファイル（ＭＰＤ）内の表現を示す概略図である。
【図5a】球形領域に関する、中間大文字とともに記述された球体領域の品質ランキングボックスの一例を示す図である。
【図5b】球形領域に関する、ＩＳＯＭＢＭＦＦに従って中間大文字とともに記述された２Ｄ領域品質ランキングボックスの一例を示す図である。
【図6】２つのプレセレクションアダプテーションセットがマニフェストファイル内で定義されているところを示す概略図である。
【図7】本出願の実施形態に従って、暗号化／解読をタイルベースのビデオストリーミングと組み合わせる概念を示す概略図である。
【図8】一実施形態によるエクストラクタを使用した、ダウンロードされたビットストリームに基づく構成済みビットストリームの構成を示す概略図である。
【図9】ブロック単位の暗号化／解読に関連付けられたブロック区分化におけるコード化ペイロードセクションの境界を示している、後に暗号化／解読を受ける、構成済みビットストリームのサブピクチャ部分の単位の暗号化された符号化ペイロードセクションの具体化を示す図である。
【図10】一実施形態によるダウンロード装置の概略ブロック図である。
【図11】本出願の実施形態に従って使用される解読／通過境界検出を交互に行うプロセスを示す概略フロー図である。
【図12】プレセレクション、２つのタイル、および１つのエクストラクタトラックを使用したマニフェストファイル（ＭＰＤ）の表現を示す概略図である。
【図13】サブサンプルごとの初期化ベクトルＩＶおよびカウンタを用いたＣＴＲベースの暗号化を示す概略図である。
【図14-1】品質レベル範囲を定義する本出願の一実施形態によるＲＷＱＲ記述子の例を示す図である。
【図14-2】品質レベル範囲を定義する本出願の一実施形態によるＲＷＱＲ記述子の例を示す図である。
【図15-1】領域固有のアダプテーションセット内の表現に対して示される品質レベルが共通の順序尺度上で定義され、したがって互いに比較可能であるか否かの指示を使用する実施形態によるＲＷＱＲ記述子の一例を示す図である。
【図15-2】領域固有のアダプテーションセット内の表現に対して示される品質レベルが共通の順序尺度上で定義され、したがって互いに比較可能であるか否かの指示を使用する実施形態によるＲＷＱＲ記述子の一例を示す図である。
【図16】領域固有のアダプテーションセットの品質レベルに対して示される品質レベルを互いにどのようにオフセットするかに関して、プレセレクションアダプテーションセットに対してシグナリングする実施形態を示す概略図である。
【図17】切頭四角錐のＲＷＱＲオフセットの使用を示す概略図である。
【図18】クライアント側の改善された品質評価に関連する本出願の実施形態に関与する、クライアントデバイスならびに表現およびマニフェストファイルを含むデータを示す概略図である。
【図19】品質評価を改善するための品質レベル範囲指示の使用を示す概略図である。
【図20】グローバリティ指標を使用したクライアント側のより容易な品質評価を示す概略図である。
【発明を実施するための形態】
【0029】
本出願の第１の態様に関する実施形態の以下の説明は、本明細書の導入部分で上述した分割またはタイルベースのビデオストリーミングに関する暗号化の処理の説明を予備的に再開する。この目的のために、ＭＰＥＧの環境における既知の技術のあり得る修正が提示される。したがって、これらの修正は、本出願の第１の態様の実施形態を表し、修正はＭＰＥＧ環境での使用に限定されず、他の場所で有利に使用することができるように、以下に要約される。
【0030】
特に、以下でさらに説明する実施形態は、利用可能なプラットフォームのより広いセットにわたるタイルベースのビデオストリーミングシステムでのコンテンツメディア暗号化を効率的な様式で可能にし、この点に関して本明細書の導入部分に存在する暗号化方式の欠点を克服する。特に、これは、以下を用いるタイルベースのストリーミングサービスを含む。
－すべてのサブピクチャのＣＴＲベースの暗号化、
－ＤＡＳＨプレセレクションを用いた暗号化メディア（ＣＴＲまたはＣＢＣ）。
－すべてのサブピクチャのＣＴＲベースの暗号化、
－ＤＡＳＨプレセレクションを用いた暗号化メディア（ＣＴＲまたはＣＢＣ）。
【0031】
プレセレクションを用いてすべてのサブサンプルを「ｃｂｃｓ」暗号化することを可能にする、実施形態の後述する変更に従って使用される第１のツールは、以下では必須サブサンプル識別概念またはアルゴリズムと呼ばれる。このアルゴリズムにより、ＭＰＤにおいてプレセレクションが使用される場合に、ＣＢＣベースの暗号化方式を利用することが可能である。共通暗号化［３］は、サブサンプル境界を、したがって、以下において参照のために再現される暗号化および非暗号化データのバイト範囲を識別するための２つの方法を提供する。すなわち、解読器が、ＮＡＬユニットを解析してそれらのタイプヘッダによってビデオＮＡＬを位置特定することによって解読し、次いで、それらのスライスヘッダを解析して暗号化パターンの開始位置を特定し、それらのパート１５ ＮＡＬサイズヘッダを解析してＮＡＬの終端および一致するサブサンプル保護データ範囲を決定する。したがって、（ａ）このアルゴリズムを使用して、すなわち、サンプル補助情報を解析し、無視するか、または（ｂ）このアルゴリズムを無視してサンプル補助情報を使用するかのいずれかで、トラックを解読することができる。
【0032】
サンプル補助情報（ＳＡＩ）は、暗号化および非暗号化データのバイトの位置および範囲をともに示す、［４］において定義されている２つのボックス「ｓａｉｚ」および「ｓａｉｏ」から構成される。ただし、プレセレクションを用いたタイルベースのストリーミングシナリオでは、結果もたらされるクライアント側ビットストリームの各サブピクチャ／タイルのビットレート（および、したがってバイトサイズ）を知ることはできない。したがって、エクストラクタトラックが正しいＳＡＩを事前に含むことはできない。
【0033】
したがって、本明細書で説明する実施形態によれば、存在する場合、エクストラクタトラック内の明瞭な／保護バイト範囲に関連する誤ったＳＡＩパラメータは考慮されず、代わりに、暗号化および非暗号化データの位置およびバイト範囲の導出に上記のアルゴリズムが使用されることが、ＯＭＡＦなどのアプリケーションフォーマット仕様においてシグナリングまたは義務付けられる。
【0034】
第１の実施形態によれば、この概念は、以下で説明するように、ビデオコンテンツ部分／タイル単位の暗号化とともに使用される。
【0035】
特に、図７は、タイルベースのビデオストリーミングによりＲＯＩ固有のビデオストリームをダウンロードするためのデータ１０の集合を示している。実際のストリーミングの実施形態およびそれに含まれるエンティティの実施形態を以下でさらに説明する。データ１０は、ビデオピクチャエリア１６の各部分１４がビットストリーム１２のサブセット１８に異なる品質で符号化されるように、その部分が以下において教示されるタイルであり得る、ビデオピクチャエリア１６の部分１４の１つに各々が符号化されたビットストリーム１２を含む。したがって、サブセット１８は、部分固有のサブセット１８を形成する。これらのサブセット１８は、適応ストリーミングおよびマニフェスト２４の記述に関して、図３および図４に示されるように個々のアダプテーションセットとして扱うことができ、ここで、例示的に、タイル（したがって、部分１４を形成する）ごとに１つのアダプテーションセット（したがって、サブセット１８を形成する）が存在しており、各タイルは、タイル固有の表現セットを形成する（したがって、ビットストリーム１２を形成する）。特に、タイル１には１つのアダプテーションセットＡｄａｐｔａｔｉｏｎＳｅｔ １、タイル２には別のアダプテーションセットＡｄａｐｔａｔｉｏｎＳｅｔ ２が存在している。したがって、ビットストリーム１２は、ＭＰＤ２４内の表現として扱うことができ、または別の言い方をすれば、これは異なる表現に分散され得る。
【0036】
データ１０は、ビデオピクチャエリアのＲＯＩ２２に関連付けられた少なくとも１つのエクストラクタ２０、すなわちエクストラクタデータまたはエクストラクタファイルまたはエクストラクタトラック、およびマニフェストファイル２４をさらに含む。後者は、所定のＲＯＩ ２２について、矢印２６で示すように、ビットストリーム１２のセットを識別し、そのセットは、ビデオピクチャエリア１６がＲＯＩ２２に上に集中するように区分化される異なる部分１４に符号化されるように、サブセット１８ごとに１つのビットストリーム１２から構成される。この集中は、例えば、ＲＯＩ内のサブセット１８について、構成されるセットに寄与するこのサブセット１８からの１ビットストリームが、対応するサブセット１８から選択されてＲＯＩ固有のセットに含まれる１つのビットストリームの品質がより低いＲＯＩ２２の外部の部分１４に関係するサブセット１８と比較して、より高品質になるように、セットを構成することによって行われる。したがって、参照２６によって形成され、マニフェスト２４によって示されるセットは、ビットストリームのＲＯＩ固有のセットである。一例を図８に示し、以下でさらに説明する。
【0037】
ビットストリーム１２は、例えば、Ｎ個のビデオデータストリームのＭ個の独立してコード化されたタイルによって形成され得、これらは各々、これらのＭ個のタイル１４の単位において、ただし異なる品質レベルで符号化されたビデオピクチャエリア１６を有することに留意されたい。したがって、ＭビットストリームをＮ倍すると、図７はＭ＝１６を示し、例えばＮはサブセット１８あたりのビットストリーム１２の数である。ＲＯＩ固有のセットは、各サブセット１８から１つの、Ｍ個のビットストリームから構成される。ただし、これは単なる例であり、他の例も同様に実行可能である。例えば、ＮはＭ個の部分１４の間で異なり得る。ＲＯＩ固有のセットは、サブセット１８のうち、少なくともＲＯＩ２２をカバーする部分１４に関係するサブセットのみから構成され得る。
【0038】
ビットストリーム１２は、後で教示されるように、クライアントによって断片的に選択的にダウンロードされるためにストレージ上に格納することができるが、ＭＰＤ ２４内の個々の表現として扱われてもよく、これは同じくクライアントによるダウンロードのために格納され、ビットストリーム１２のダウンロードのためアドレスをクライアントに示す。ただし、ビットストリーム１２に対応する表現は、個別に再生するために専用のものではない、すなわち、アダプテーションセットによって形成されるＲＯＩ固有のセットの一部でない場合の再生専用のものではないものとして示され得る。エクストラクタ２０はまた、マニフェスト２４において示されているアドレスによって別個に、または、メディアファイルのトラックなどのビットストリームのいずれかとともに、クライアントによるダウンロードのために格納される。本明細書のさらなる説明では、エクストラクタ２０はＦＦエクストラクタファイルとしても示されている。１つのサブセット１８内の表現が関係する品質レベルは、例えば、ＳＮＲおよび／または空間解像度および／または色度に関して変化し得る。
【0039】
エクストラクタファイル２０は、ＲＯＩ固有のセットからコンパイル済みビットストリームを構築するためのコンストラクタに類似する。エクストラクタファイルは、ビットストリーム１２のＲＯＩ固有のセットとともに、クライアントによってダウンロードされ得る。エクストラクタファイルは、ポインタおよび／または構築命令により、ビットストリームのサブセット１８の各々について、ＲＯＩ固有のセットに含まれる、ビットストリームのそれぞれのサブセット１８の１つのビットストリームから、現在のピクチャフレームに関連するピクチャ部分を識別し２６、識別されたピクチャ部分からのコンパイル済みビットストリームのコンパイルをシグナリングし、結果、コンパイル済みビットストリームが、コンパイル済みビットストリームがそれらから形成される、ビットストリームのサブセット１８の各々の選択されたビットストリームのピクチャ部分のサブピクチャ部分を含むようにすることによって、ビットストリームのＲＯＩ固有のセットからのコンパイル済みビットストリームのコンパイルを示す。例えば、図７では、３つの連続したピクチャフレームが示されている。図８は、１つのそのようなピクチャフレーム３０、ビットストリーム１２のＲＯＩ固有のセット３２、および、ピクチャフレーム３０に関係するセット３２の各ビットストリーム内のピクチャ部分３４を示す。ピクチャ部分３４は、部分番号１３に関連するセット３２のビットストリーム１２について例示的に示されるように、ＮＡＬユニット３６などの１つまたは複数のユニットに空間的に区分化されるように示され得、各ユニットは、それぞれのピクチャ部分が関係する部分１４の対応するパーティション３８を符号化する。エクストラクタ２０に従ってともに構成されると、構成済みビットストリーム４０が得られ、これは、アクセスユニット４２、または、本明細書の他の部分で使用されるファイルフォーマットドメインで言えば、ピクチャフレーム３０などの各ピクチャフレームのサンプルを有する。各アクセスユニット４２は、ＲＯＩ２２内の品質の向上とともに空間的に変化する品質でピクチャエリア１６に符号化され、部分１４あたり１つのサブピクチャ部分４４に細分されており、各サブピクチャ部分４４は対応するピクチャ部分３２、すなわち同じ部分１４に関係するピクチャ部分によって形成される。
【0040】
図４が参照するプレセレクションの場合、エクストラクタ２０はＲＯＩに関連付けられるが、このエクストラクタ２０は、すべてが向上した品質を有する異なるＲＯＩ固有のセット３２を構成する、すなわち、ＲＯＩ ２２内で、サブセット１８の間で品質が向上したビットストリームを選択するために使用されることに留意されたい。すなわち、クライアントが所望のＲＯＩのセット３２を選択するある種の自由がある。マニフェスト２４においてＲＯＩ ２２について、図３が参照する、１つの特定のＲＯＩ ２２と、異なるＲＯＩ固有のセット３２のうちの１つとの各対を定義するアダプテーションセットを定義する場合、エクストラクタ２０は具体的には、そのＲＯＩおよび対応するＲＯＩ固有のセット３２に関連付けられ、一方、そのＲＯＩ２２と、例えば、ＲＯＩ内の部分１４に関係するサブセット１８内の選択されているビットストリーム１２、および／または、ＲＯＩの外部の部分１４に関係するサブセット１８内の選択されているビットストリーム１２内の前者のセット３２とは異なる別のＲＯＩ固有のセット３２との別の対に対応する別のエクストラクタ２０が提示され得る。加えて、以下に示すように、データ１０内には複数のＲＯＩ２２が想定され得、結果、これらのＲＯＩの各々について、１つまたは複数のエクストラクタ２０がデータ内に存在し得、マニフェストは対応する情報を含む。
【0041】
ビットストリームの各サブセット１８の各ビットストリーム１２のピクチャ部分３４のコード化ペイロードセクションは、各ピクチャ部分３４について順次変化を再初期化することによって、平文マスクおよび／またはブロック暗号鍵の順次変化を使用することによってブロック単位の暗号化を使用することにより暗号化される。すなわち、セット３２のように間で順次変化を再初期化することなく連続的に、その部分１４がともにピクチャエリア１６をカバーし、すべてが共通のピクチャフレーム３０に属するビットストリームの集合のピクチャ部分３４のコード化ペイロードセクションを暗号化する代わりに、暗号化は各ピクチャ部分３４に対して別個に行われる。
【0042】
コード化ペイロードセクションの暗号化は、ピクチャ１６の中央の部分１４に関係するサブセット１８、または、例えば市松模様のように領域１６に分布する２つおきの部分１４に関係するサブセット１８など、ビットストリームのサブセット１８のうちの１つまたは複数の「暗号化されたセット」のいずれかに属するビットストリーム１２のピクチャ部分３４に制約され得ることに留意されたい。
【0043】
例えば、図９は、構成済みビットストリーム４０に寄与する可能性のあるピクチャ部分３４を示している。これは、例示的に、複数のユニット３６からなるシーケンスから構成される。各ユニット（ＮＡＬユニットなど）は、ヘッダ４６と、ペイロードセクション４８とを含む。後者は、予測パラメータ、および、ピクチャ部分３４に対応する領域１６の部分１４が符号化された予測残差関連構文要素をすべて含むことができ、前者は、そのペイロードセクション３６が、動き情報および残差データなどの、そのペイロードセクション３６が符号化するパーティション３８全体に対して有効な符号化設定を含むことができる。次に、下位部分４４を形成するピクチャ部分３４のペイロードセクション４８の連結５０が暗号化される。決定論的な方法で、平文マスクおよび／またはブロック解読鍵の順次変化が、連結５０のブロックブロック単位の暗号化において行われる。すなわち、連結データ５０は、図１ａおよび図１ｂでは平文ブロックと呼ばれていたブロック５２に分割され、ブロック間で、ＣＴＲの場合に連続する平文ブロックの異なるブロック暗号鍵を取得するために、暗号（非線形全単射）入力の増分変更が行われる。すなわち、特定の一般鍵によって制御される非線形関数または暗号関数、すなわち、図１ｂにおいてＣＩＰＨと呼ばれる関数および鍵と呼ばれる一般鍵が、平文ブロックごとに変化するカウンタと呼ばれる増分値またはカウンタ値を供給され、結果、それぞれ、暗号化された暗号ブロックを取得するために、対応する暗号鍵／解読鍵とＸＯＲ演算された連続するブロックの異なる暗号鍵／解読鍵が取得される。中間暗号鍵（連続する平文ブロック「平文＃」について図４の「出力ブロック＃」で出力されるは、解読に使用される解読鍵と同じである。ＣＢＲでは、先行する暗号ブロック、すなわち先行するブロック５２の暗号化バージョンが、現在の平文ブロックが非線形全単射関数を使用して暗号化される前に、現在の平文ブロックをマスクするための平文マスクとして使用される。セクション４８は、ペイロードセクション４８間の境界がブロック境界と一致するように、暗号化のブロック長の整数倍に対応する長さを有するようにエンコーダによって生成されている場合がある。これは、上記の解読アルゴリズムと解析アルゴリズムとを交互に使用して境界検出を行う場合に特に有利である。特に、クライアントなどの受信エンティティは、連続するペイロードセクション間の境界５４、および、連結５０の終端部の境界５６、すなわち、例えば最後のペイロードセクションの終端境界を検出する必要がある。
【0044】
したがって、まだ解読されていない形式にある、ビットストリームのＲＯＩ固有のセット３２、および、エクストラクタ２０は、ともに暗号化ビデオストリームを表す。ビットストリーム１２のＲＯＩ固有のセット３２は、ビデオピクチャエリア１６の部分１４に符号化されており、エクストラクタ２０は、このセット３２からのコンパイル済みビットストリームのコンパイルを示す。セット３２からの、または単にそれらの間のビットストリームの暗号化セットの各ビットストリーム１２からのピクチャ部分３４のコード化ペイロードセクション４８は、平文マスクおよび／またはブロック暗号鍵の順次変化を使用し、各ピクチャ部分３４について順次変化を再初期化することによって、ブロック単位の暗号化を使用することにより暗号化される。
【0045】
図１０は、タイルベースのビデオストリーミングによりＲＯＩ固有のビデオストリームをダウンロードするための装置８０の実施形態を示している。したがって、装置は、クライアントまたはクライアントデバイスと呼ばれる場合がある。示されているように、これは、ＤＡＳＨクライアント８２、ファイルハンドラ８４、および解読器８６、ならびにオプションでデコーダ８８を連結したものから構成されてもよい。ＤＡＳＨは適応的ストリーミング環境の例にすぎないことに留意されたい。別のものも使用されてもよい。ファイルハンドラ８４および解読器８６は、並行して動作することができ、または異なる言い方をすれば、厳密に順次動作する必要はなく、ファイルハンドラ８４、解読器８６、およびデコーダ８８ｈを考慮するときに同じことが当てはまる。この装置は、図７に関して説明したように準備されたビデオシーンを処理、すなわちダウンロードおよび解読することができ、これは、説明したように、現在想定されているＲＯＩまたはビューポートに関係なく、すべてのサブサンプル４４、すなわちすべての部分１４が暗号化された、ダウンロードされた構成済みストリーム４０になり得る。上記で言及しなかったが、図７のデータは、さらなるエクストラクタ２０を有し、例えば、シーン内のユーザの視線方向を追跡することができるように、複数のＲＯＩ、すなわちエリア１６に分布するＲＯＩのセットに対する、ビットストリーム１２のセット３２を示すマニフェストファイル２４を有することは明らかである。装置８０は、例えばインターネットなどのネットワーク９０を介してデータ１０にアクセスすることができる。
【0046】
ＤＡＳＨクライアント８２は、例えば、図７の２２のように、ユーザが対応するビューポートを見ているために現在関心のあるＲＯＩに応じて、両方ともそのＲＯＩ ２２に関連付けられている、ビットストリーム１２のＲＯＩ固有のセット３２と、エクストラクタファイル２０とをともに識別してダウンロードするために、マニフェストファイル２４をダウンロードして検査する。
【0047】
ファイルハンドラ８４は、それぞれのビットストリームを解析することによって、これらのビットストリームの各々から、現在のピクチャフレーム３０に関連するピクチャ部分３４を抽出し、コンパイル済みビットストリーム４０が各部分１４について１つの、対応するサブピクチャ部分４４から構成されるように、抽出されたピクチャ部分３４からコンパイル済みビットストリーム４０を形成することによって、エクストラクタファイル２０を使用して、ビットストリーム１２のＲＯＩ固有のセット３２からコンパイル済みビットストリーム４０をコンパイルする。ＲＯＩ固有のセット３２のビットストリームを受信した時点では、ピクチャ部分のペイロードセクションはまだ暗号化されていることに留意されたい。しかしながら、ピクチャ部分はパケット化されており、結果、ファイルハンドラはそれらを処理することができる。
【0048】
解読器８６は、平文マスクおよび／またはブロック解読鍵の順次変化を使用することによるブロック単位の解読を使用することにより、各サブピクチャ部分４４の暗号化されたコード化ペイロードセクション４８を解読する。この目的のために、解読器８６は、各サブピクチャ部分４４が解読されるように、すなわち、連結５０の開始９２または第１のユニット３６のペイロードセクション４８の開始境界において、順次変化を再初期化する。解読器は、各サブピクチャ部分４４のコード化ペイロードセクションを現在の解読位置まで解析することにより、または異なる言い方をすると、連結５０のペイロードセクションの解読および解析を交互に行うことにより、解読される各サブピクチャ部分４４のコード化ペイロードセクション（複数可）の境界５４、５６を発見する。
【0049】
例えば、解読器が、ペイロードデータ５０の最初のブロックの順次変化のために平文マスクおよび／またはブロック解読鍵を初期化した後、例えば上記のＣＴＲまたはＣＢＲを使用して、現在のブロックを解読１００して、その平文バージョンを取得し、その後、後者が解析１０２され、すなわち、現在のユニット３６の現在のペイロードセクション４８に対する解析が、現在解読されているブロックの終わりまで続行されることを示す図１１を参照されたい。１０４において、現在のブロック５２の終端が現在のペイロードセクション４８の終端を表すか否かがチェックされ、そうでない場合、手順は、現在のセクション４８内の次のブロック５２に飛ぶ１０６。しかし、肯定の場合、１０８において、連結５０の最後のセクション４８の終端に到達したか否かがチェックされ、そうである場合、現在のセクション４８の境界または終端が発見されており、手順が現在のサブピクチャ部分４４について終了し、そうでない場合、次のセクション４８または次のユニット３６の最初のブロックが１１０において追跡される。デフォルトでは、各ピクチャ部分３４またはサブピクチャ部分４４は、単に１つのユニット３６から構成されている場合があり、その場合、ステップ１０８および１１０は省略することができる。実際に、このように、手順はペイロードセクション４８の開始および終端を発見する。
【0050】
ペイロードデータセクション４８は、図２ではビデオスライスデータと示されていることに留意されたい。サブピクチャ部分４４は、上記ではサブサンプルと示されている。マニフェスト２４がＲＯＩ２およびＲＯＩ固有のセット３２およびエクストラクタの間の関係を定義する方法は、図４に示されるプレセレクションの概念に従うか、または図３の概念に従い得ることに留意されたい。また、上記の説明は利用可能なビデオピクチャエリア１６全体に関係するダウンロードを想定しているが、ＲＯＩを含むそのセクションのみがダウンロードされたストリーム４０によってカバーされ得ることにも留意されたい。すなわち、境界は、各サブピクチャ部分のコード化ペイロードセクション４８の別のブロック５２が解読されるべきか否かを決定するために、解読と解析の継続とを交互に行うことにより発見される。
【0051】
実際には、ビットストリーム１２のダウンロードされたＲＯＩ固有のセット３２および対応するエクストラクタ２０からビデオストリームを復元するための装置からのファイルハンドラ８４および解読器８６の連結または組み合わせ。ビデオストリームは、オプションとしてその装置の一部であってもよく、またはそうでなくてもよいデコーダ８８に供給され得る。ファイルハンドラは、エクストラクタファイル２０を使用してコンパイルを実行し、解読器８６は、図１１の解析／解読を交互に行う概念を使用してコード化ペイロードセクション４８の解読を実行する。
【0052】
解読器８６は、このとき、コンパイル済みビットストリーム４０からデコーダ８８によって復号されるためにビデオストリームを復元するための装置を表し、この装置は、図１１の解析／解読を交互に行う概念を使用して各サブピクチャ部分４４のコード化ペイロードセクションを解読するように構成される。
【0053】
説明したように、ペイロードセクション境界を発見するための図１１によるコード化ペイロードセクション４８の解析には、エクストラクタ２０に含まれる可能性のある明示的な境界位置情報の無視を伴う場合があるが、これは誤っている場合があり、ファイルフォーマット規格に準拠するためだけに中に存在する場合があることに留意されたい。
【0054】
上記の実施形態は、ダウンロードされたすべてのサブサンプル４４の暗号化を可能にした。しかし、次に説明する実施形態によれば、暗号化は、例えば１つのサブサンプル４４に集中させることができる。ここでも、本明細書の導入における上記の説明が、広範な実施形態を提示する前に最初に再開される。特に、ここでは、暗号化サブサンプルのインデックスが、交番（または交番することを可能にする）単一（１つの｜最も重要な｜高解像度）サブサンプル暗号化に対処するために使用され、これは、ＣＴＲまたはｃｂｃ１暗号化およびプレセレクションの使用と組み合わせ可能である。
【0055】
図１１に示すサブサンプル識別アルゴリズムに基づいて、マニフェスト２４におけるプレセレクションを用いた暗号化方式が実現され、暗号化はサブピクチャごとに、ピクチャ平面１６内の様々なタイル１４に交互に適用され、以下を考慮し得る戦略においてタイルおよびピクチャが選択される。
・コード化構造および依存関係に対する相対的な「重要性」。例えば、より低い時間レベルのキーフレームは、例えばエラー伝播の観点から、デコード結果にとって非常に重要である。
・描写されたコンテンツの相対的な「重要性」。例えば、現在または予測されるビューポートまたはディレクタを描いたより高解像度のタイルは、３６０°ビデオアプリケーションではカットされる。
・コード化構造および依存関係に対する相対的な「重要性」。例えば、より低い時間レベルのキーフレームは、例えばエラー伝播の観点から、デコード結果にとって非常に重要である。
・描写されたコンテンツの相対的な「重要性」。例えば、現在または予測されるビューポートまたはディレクタを描いたより高解像度のタイルは、３６０°ビデオアプリケーションではカットされる。
【0056】
このサブサンプル暗号化を有効にするために、暗号化サブサンプルへのインデックスがシグナリングされ、結果、解読器が暗号化サブサンプル４４を識別することができる。例えば、解読器は、解読器が暗号化サブサンプルのシグナリングインデックスに到達するまで、サンプル４２内のサブサンプル４４を単純にカウントすることができ、図１１に関して教示したように、パート１５ヘッダからＮＡＬＵ長を収集し、解読するバイト数を識別することにより、サブサンプル４４のセクション４８を解読することができる。一実施形態は、ＯＭＡＦ仕様が、暗号化サブサンプル４４のインデックスを示すようにＦＦ Ｂｏｘを定義するか、または、ＳＡＩから暗号化および非暗号化バイトを導出するために使用される共通暗号化［３］で定義される「ｓｅｎｃ」ボックスを改善することである。現在の「ｓｅｎｃ」ボックスは以下のように定義される。
aligned(8) class SampleEncryptionBox
extends FullBox(‘senc’, version=0, flags)
{
unsigned int(32) sample_count;
{
unsigned int(Per_Sample_IV_Size*8) InitializationVector;
if (flags & 0x000002)
{
unsigned int(16) subsample_count;
{
unsigned int(16) BytesOfClearData;
unsigned int(32) BytesOfProtectedData;
} [ subsample_count ]
}
}[ sample_count ]
}
aligned(8) class SampleEncryptionBox
extends FullBox(‘senc’, version=0, flags)
{
unsigned int(32) sample_count;
{
unsigned int(Per_Sample_IV_Size*8) InitializationVector;
if (flags & 0x000002)
{
unsigned int(16) subsample_count;
{
unsigned int(16) BytesOfClearData;
unsigned int(32) BytesOfProtectedData;
} [ subsample_count ]
}
}[ sample_count ]
}
【0057】
一実施形態は、不正確なバイト範囲のシグナリングを省略し、代わりに暗号化サブサンプルのインデックスが以下のとおりであることを示す「ｓｅｎｃ」ボックスの新しいバージョンである。
aligned(8) class SampleEncryptionBox_Invention2
extends FullBox(‘senc’, version, flags)
{
unsigned int(32) sample_count;
{
unsigned int(Per_Sample_IV_Size*8) InitializationVector;
if (flags & 0x000002)
{
if (version == 0){
unsigned int(16) subsample_count;
{
unsigned int(16) BytesOfClearData;
unsigned int(32) BytesOfProtectedData;
}[ subsample_count ]
} else if (version == 1){
unsigned int(32) EncryptedSubsampleIndex;
}
}
}[ sample_count ]
}
aligned(8) class SampleEncryptionBox_Invention2
extends FullBox(‘senc’, version, flags)
{
unsigned int(32) sample_count;
{
unsigned int(Per_Sample_IV_Size*8) InitializationVector;
if (flags & 0x000002)
{
if (version == 0){
unsigned int(16) subsample_count;
{
unsigned int(16) BytesOfClearData;
unsigned int(32) BytesOfProtectedData;
}[ subsample_count ]
} else if (version == 1){
unsigned int(32) EncryptedSubsampleIndex;
}
}
}[ sample_count ]
}
【0058】
ここで、ＥｎｃｒｙｐｔｅｄＳｕｂｓａｍｐｌｅＩｎｄｅｘは、現在のサンプル４２内の暗号化サブサンプル４４を指す。
【0059】
上記の変更は、図７～図１１を参照することにより説明され得る実施形態をもたらす。そのような抽象化された実施形態の以下の説明は、これらの図に関してこれまでに説明された実施形態に関する修正に焦点を当てている。特に、ダウンロードされたストリーム４０のすべてのサブサンプル４４が１つのサンプル４２内で暗号化されるわけではなく、１つのサブサンプル４４のみが暗号化される。いずれのサブサンプルになるかは、例えば、例として「関心のある」シーンコンテンツに対応する、１つのサブセット１８内のビットストリーム１２のいずれかに属する、対応するピクチャフレーム３０のピクチャ部分３４が暗号化され、結果、ダウンロードされているストリーム４０内の対応する暗号化サブフレーム４４をもたらすように、実行中にまたは具体的には要求されているＲＯＩ ２２の暗号化の前に、または事前に決定されている場合がある。
【0060】
このように、図７は、後者の代替形態に従って、タイルベースのビデオストリーミングによってＲＯＩ固有のビデオストリームをダウンロードするためのデータ１０の集合を示し、これは、ビットストリーム１２を含み、ビットストリーム１２は各々、ビデオピクチャエリア１６の部分１４１の１つを符号化されており、結果、ビデオピクチャエリアの各部分１４が、異なる品質においてビットストリーム１２のサブセット１８に符号化され、ビデオピクチャエリアのＲＯＩ ２２に関連付けられた少なくとも１つのエクストラクタ２０、ならびに、所定のＲＯＩ ２２について、ビットストリーム１２のＲＯＩ固有のセット３２を識別するマニフェストファイル２４が、例えばＲＯＩ ２２内で、外側と比較してより高品質であるという点でＲＯＩに焦点を当るように、ビデオピクチャエリア１６の部分１４に符号化されている。エクストラクタ２０は、上述の方法で、ＲＯＩ固有のセット３２からのコンパイル済みビットストリーム４０のコンパイルを示す。しかしながら、所定のサブピクチャ部分４０が、コンパイル済みビットストリーム４０のサブピクチャ部分４４から識別される。これは、ビットストリームのサブセット１８または同義的に所定の部分１４からビットストリームの所定のサブセットを識別することにより行われ、結果、ビットストリーム１２の所定のサブセット１８の選択されたビットストリーム１２のピクチャ部分３４、すなわちＲＯＩ固有のセット３２に含まれるものが、暗号化されており、解読されるべきものである所定のサブピクチャ部分４４になる。シグナリングは、上述のようにエクストラクタ２０に含まれていてもよい。しかしながら、代替的に、このシグナリングがサブピクチャ部分４０によって構成されることもあり得る。ビットストリーム１２の所定のサブセット１８、すなわち所定の部分１４に対応するサブセットのビットストリーム１２のピクチャ部分３４のコード化ペイロードセクションは、そのサブセット１８内のすべてのビットストリーム１２に対して暗号化され、ダウンロードされたストリーム４０は、ＲＯＩ固有のセット３２によるその部分１４の選択される品質に関係なく、所定部分の暗号化サブピクチャ部分またはサブサンプル４４を含む。
【0061】
後者の実施形態に従ってダウンロードされたデータは、ビットストリーム１２のＲＯＩ固有のセット３２およびエクストラクタ２０を含むビデオストリームを表し、ビットストリーム１２のＲＯＩ固有のセット３２は、ビデオピクチャエリアの部分１４を符号化されており、エクストラクタ２０は、上記で概説した方法で、ビットストリーム１２のＲＯＩ固有のセット３２からのコンパイル済みビットストリーム４０のコンパイルを示す。このコンパイル済みビットストリーム内の所定のサブピクチャ部分４４は、エクストラクタ２０またはサブピクチャ部分４４の少なくとも１つに含まれるシグナリングにより、コンパイル済みビットストリーム４０のサブピクチャ部分４４から識別される。所定のサブピクチャ部分のコード化ペイロードセクションは暗号化されている。
【0062】
図７の上記の再解釈に沿って、図１０は、対応する代替実施形態に従って、タイルベースのビデオストリーミングによってＲＯＩ固有のビデオストリームをダウンロードするための装置、すなわち、識別されたサブピクチャ部分のみの暗号化に関する上記の説明とは異なるクライアントを示し得る。すなわち、ＤＡＳＨクライアントは、マニフェストファイル２４を検査して、所望のＲＯＩ２２に応じて、エクストラクタ２０を伴うビットストリーム１２、すなわち前の段落で概説したビデオストリームのＲＯＩ固有のセット３２を識別およびダウンロードする。ファイルハンドラ８４は、それぞれのビットストリーム１２を解析することによって、これらのビットストリームの各々から、現在のピクチャフレーム３０に関連するピクチャ部分３４を抽出し、コンパイル済みビットストリーム４０が、コンパイル済みビットストリームが形成されるビットストリーム１２のＲＯＩ固有のセット３２の各々のピクチャ部分３４に対する、ピクチャ部分３４によって形成されるサブピクチャ部分４４を含むように、抽出されたピクチャ部分３４からコンパイル済みビットストリーム４０を形成することによって、エクストラクタ２０を使用して、ビットストリーム１２のＲＯＩ固有のセット３２からコンパイル済みビットストリーム４０をコンパイルする。解読器８６は、前述のように、そのようなエクストラクタ２０の少なくとも１つの中にあるシグナリングに基づいて、現在のピクチャフレーム３０のコンパイル済みビットストリーム４０のサブピクチャ部分４４から所定のサブピクチャ部分４４を識別し、そのようなシグナリングは、上記でＥｎｃｒｙｐｔｅｄＳｕｂｓａｍｐｌｅＩｎｄｅｘ、またはサブピクチャ部分と呼ばれる。次に、解読器８６は、図１１で説明した解析と解読とを交互に行うプロセスによって解読される所定のサブピクチャ部分４４のコード化ペイロードセクション４８の境界を発見することにより、所定のサブピクチャ部分４４のコード化ペイロードセクション４８を解読する。同様に、ファイルハンドラ８４と解読器８６とはともに、エクストラクタ２０を使用してコンパイルを実行し、エクストラクタファイルまたはサブピクチャ部分の少なくとも１つでのシグナリングに基づいて、所定の／暗号化サブピクチャ部分４４を識別することにより、ビットストリームのＲＯＩ固有のセット３２およびエクストラクタ２０からビデオストリームを復元するための装置を形成する。次に、これは、図１１に従って境界検出を実行することにより、暗号化サブピクチャ部分のコード化ペイロードセクション４８を解読する。
【0063】
解読器８６は、このとき、ビットストリーム４０からビデオストリームを復元するための装置を表し、装置は、外部から、すなわち、エクストラクタ２０のシグナリングから取得されるものとしてこの情報を、または、サブピクチャ部分４４のシグナリングからその情報自体を転送するファイルハンドラ８４から入来するシグナリングに基づいて、暗号化サブピクチャ部分４４を識別するように構成される。次に、これは、図１１に従って境界検出を形成することにより、暗号化サブピクチャ部分４４のコード化ペイロードセクション４８の解読を実施する。
【0064】
シグナリングは、解読器８４が現在のサンプル４２のサブサンプル４４をカウントして、サンプル４２内のｎ番目のサブサンプル４４を検出することができるように、コンパイル済みビットストリーム４０の現在のサンプル４２のサブサンプルからの暗号化サブサンプル４４を、サンプル４２内のそのランクの形態でインデックス付けまたはアドレス指定することができ、でｎはシグナリングによって示されるランクである、
【0065】
いくつかのピクチャフレームの暗号化サブピクチャ部分の識別は、いくつかのピクチャフレームが、暗号化サブピクチャ部分４４が異なる部分１４に対応するピクチャフレーム３０を含み、かつ／または、いくつかのピクチャフレームが、正確に１つの暗号化サブピクチャ部分４４が存在する第１のピクチャフレーム、および、暗号化サブピクチャ部分であると識別されるサブピクチャ部分が存在しない、第１のピクチャフレーム間に散在する第２のピクチャフレームを含むように行われてもよい。すなわち、一部のフレームでは、任意のポートイン１４に関して暗号化が行われない場合がある。
【0066】
ここでも、図７～図１１に関して最初に説明したすべての詳細が、適応的に、すべてのまたはより多くのサブサンプルが暗号化されるようにすることに関するすべての詳細を除き、１つのサブサンプルの暗号化の修正に関して以下で説明されている実施形態にも適用されることに留意されたい。
【0067】
図１１に関して明示的に言及していないが、セクション４８の末尾の境界または終端に遭遇１０４した後に解読を再開１０６する際に、解読器８６は後続のユニット３６のスライスヘッダ４６を解析して、この後続のユニット３６のペイロードセクション４８の始まりを検出することができることに留意されたい。
【0068】
次に、暗号化範囲４８を検出するために解読／解析を交互に行う手順を必要としない上記実施形態の修正について説明する。次に説明するプレセレクションによるすべてのサブサンプルの「ｃｂｃｓ」暗号化を可能にする拡張ＳＡＩ変形形態は、プレセレクションによるこのすべてのサブサンプルの「ｃｂｃｓ」暗号化を可能にするが、スライスヘッダを解析する必要はない。次の変形形態によると、エクストラクタトラック内の明確で保護されたデータ範囲の明示的なシグナリングまたは単純な導出が可能にされる。
【0069】
最初に、暗号化バイト範囲の導出にＮＡＬ長（すなわち、抽出されたバイト）を使用する「ｓｅｎｃ」ボックス拡張について説明する。前に説明したように、構成済みビットストリーム３２内の個々のサブサンプルのサイズは、プレセレクションが使用される場合、抽出されるデータに応じて異なり得る。ビデオビットストリーム構造を使用して、暗号化バイト範囲、特にＰａｒｔ １５ ＮＡＬＵ長ヘッダを導出することができる。一実施形態は、ボックスの第２のバージョンを以下のように定義することである。
aligned(8) class SampleEncryptionBox_Invention3.1
extends FullBox(‘senc’, version, flags)
{
unsigned int(32) sample_count;
{
unsigned int(Per_Sample_IV_Size*8) InitializationVector;
if (flags & 0x000002)
{
unsigned int(16) subsample_count;
{
if (version == 0){
unsigned int(16) BytesOfClearData;
unsigned int(32) BytesOfProtectedData;
}else if (version == 1){
unsigned int(1) WholeDataClear;
unsigned int(15) BytesOfClearData;
}
} [ subsample_count ]
}
}[ sample_count ]
}
aligned(8) class SampleEncryptionBox_Invention3.1
extends FullBox(‘senc’, version, flags)
{
unsigned int(32) sample_count;
{
unsigned int(Per_Sample_IV_Size*8) InitializationVector;
if (flags & 0x000002)
{
unsigned int(16) subsample_count;
{
if (version == 0){
unsigned int(16) BytesOfClearData;
unsigned int(32) BytesOfProtectedData;
}else if (version == 1){
unsigned int(1) WholeDataClear;
unsigned int(15) BytesOfClearData;
}
} [ subsample_count ]
}
}[ sample_count ]
}
【0070】
この実施形態では、単純化が想定され、これはサブサンプルがＮＡＬユニットに等しくなければならないということである。サブサンプルのサイズはＮＡＬＵＬｅｎｇｔｈによって決定される。これは、サンプルの最初の位置（最初の４バイトなど）（これはサンプルの最初のサブサンプルに適用される）およびＰｏｓ＿ｉ＝Ｓｕｍ｛ｉ＝１．．Ｎ｝（ＮＡＬＵＬｅｎｇｔｈｉ）の位置（サンプル内の残りのサブサンプルの）において発見される。ＷｈｏｌｅＤａｔａＣｌｅａｒが１でない場合、ＢｙｔｅｓＯｆＰｒｏｔｅｃｔｅｄＤａｔａの長さは、ｓｕｂｓａｍｐｌｅ－ＢｙｔｅｓＯｆＣｌｅａｒＤａｔａの長さとして導出される。ＷｈｏｌｅＤａｔａＣｌｅａｒが１に等しい場合、ＢｙｔｅｓＯｆＰｒｏｔｅｃｔｅｄＤａｔａは０に等しいと推測され、ＢｙｔｅｓＯｆＣｌｅａｒＤａｔａ（ただしこの場合、ボックス／構文で０としてシグナリングされることが義務付けられている）は、Ｐａｒｔ １５ ＮＡＬＵ長ヘッダから導出されるサブサンプル長に等しいと推測される。
【0071】
すなわち、図１０に関して上述した装置のすべての実施形態によれば、図１１による交互の解読および解析を使用する境界検出は、以下の方法で不要にされ得る。すなわち、データ１０のビットストリーム１２は、暗号化ビットストリーム１２のすべてのピクチャ部分３４が、単に１つのユニット３６（ＮＡＬユニット）から構成されるように生成される。すなわち、サブセット１８が暗号化されている部分１４ごとに、現在のフレーム３０のピクチャ部分あたりただ１つのＮＡＬユニットが存在する。構成済みビットストリームの各サブサンプル４４は、ピクチャ部分などによって形成されるため、すなわち、これがＲＯＩ固有のセット３２に属するビットストリーム２１の一部である場合、各暗号化サブサンプル４４も１ ＮＡＬユニット長になる。上記の代替形態、すなわち、フレーム３０ごとの暗号化サブサンプルは、すべてまたは１つだけであり得ることに留意されたい。次に、交互の解読／解析境界検出は、これらのサブピクチャ部分４４内のヘッダ、すなわちＮＡＬユニットヘッダ４６からの暗号化サブピクチャ部分４４のコード化ペイロードセクション４８の長さの単純な導出によって置き換え可能である。長さ指示に関して暗号化サブサンプル４４のヘッダを解析するプロセスは実行が容易であり、サブサンプルとＮＡＬユニットとの間の１対１の対応により、実行中に行うことができ、この情報は、対応する１つのみのＮＡＬユニット内の長さ指示に基づいて導出することができ、この長さ指示はほとんど、暗号化サブサンプルの始まりにある。
【0072】
交互の解読／解析境界検出を回避する別のオプションは、ＣＥＮＣと呼ばれ得る。「ＦＦ「ｓｅｎｃ」継承ボックス」が、任意のサブピクチャトラックまたはビットストリーム１２からそれぞれエクストラクタトラックまたは構成済みビットストリーム４０へとサブサンプルサイズを継承するために使用される。
【0073】
このオプションの目的は、従属トラック（セット３２のビットストリーム１２）からサブサンプル値を導出する継承ボックスを定義することである。従属トラックは、「ｍｏｏｖ」ボックス内の「ｔｒｅｆ」ボックス、すなわちエクストラクタ２０でシグナリングされる。この情報は、従属トラックからサンプルを取得するために使用され、結果、構成済みビットストリーム４０のサブサンプル４４になる。同様に、ＢｙｔｅｓＯｆＰｒｏｔｅｃｔｅｄＤａｔａは、いくつかのヒント（オフセットの検索方法など）およびを使用して従属トラックのボックス（「ｓｅｎｃ」ボックスなど）に継承することができ、これは常に同じサイズであるため、ＢｙｔｅｓＯｆＣｌｅａｒＤａｔａは継承ボックス内で、プレセレクションの使用時に使用される表現とは無関係にシグナリングされる。したがって、サブサンプルを搬送する従属トラック内でシグナリングされている情報からの「ｓｅｎｃ」関連情報の継承が可能にされる。この情報を収集するためのヒントは、エクストラクタ２０内でシグナリングされる。図１２は、各々が、異なるビットレートバージョンを有する３つのリプレゼンテーションおよびエクストラクタトラック（最も右側）を有する１つのアダプテーションセットを含む、タイルあたり１つのアダプテーションセットを有するＭＰＤ構造を示す。いわゆる「継承される「ｓｅｎｃ」」ボックスは、クライアント側で選択される各タイル表現内の「ｓｅｎｃ」ボックスから保護されているデータのバイト範囲を継承する。
【0074】
すなわち、図１０に関して上述した装置のすべての実施形態によれば、図１１による交互の解読および解析を使用する境界検出は、以下の方法で不要にされ得る。すなわち、データ１０のビットストリーム１２は、暗号化ビットストリーム１２のすべてのピクチャ部分３４が、それぞれのピクチャ部分のユニットのペイロードセクションを示すファイルフォーマット（ＦＦ）ボックスなどの中の情報を伴うように生成される。これは、構成済みビットストリームのサブサンプル４４に由来するはずである、ＲＯＩ固有のセット３２に属するサブセット１８のビットストリーム１２に関係なく、エクストラクタ２０から情報が参照され得るように、行われる。例えば、サブストリームのピクチャ部分の間で同じ位置にあるものは、同じサブセット１８に属し、同じフレーム３０に属する。次に、交互の解読／解析境界検出は、セット３２内のビットストリーム１２からこの情報を継承することによって、暗号化サブピクチャ部分４４内のコード化ペイロードセクション４８の位置の単純な導出によって置き換え可能である。すなわち、それぞれのサブピクチャ部分４４が属する暗号化ピクチャ部分３４がそこから抽出される、ビットストリーム１２内でシグナリングされるビットストリーム長またはポインタ指示が、その中の境界５４および５６を検出するために使用される。
【0075】
何であれ境界検出の代替形態が使用される場合は、クライアント装置１０は、エクストラクタ２０内の明示的な境界位置情報を無視する可能性があり、それは間違っている可能性があり、また、規格に適合するためだけに存在し得るか、または、別の言い方をすれば、例えば、標準に従って必須であるため存在するが、各アダプテーションセット内の表現の間での選択におけるプレセレクション固有の自由のために正しくない場合がある。
【0076】
次に、上記の実施形態の可能な拡張が提示される。それらは、「ｃｅｓ２」、すなわち、サブサンプル初期化ベクトルを用いたＣＴＲベースの暗号化として参照され得る。
【0077】
ここで、ＣＴＲベースのサブピクチャ暗号化方式は、各タイルの暗号化データストリームの独立を可能にする暗号化メタデータ（すなわち、サブサンプルごとの初期化ベクトル（複数可）を用いて各サブサンプルの暗号化チェーンの再初期化を可能にする手段）によって強化される。図１３は、ブロック動作図の観点からこれを示している。サンプルごとのＩＶの代わりに、サブサンプルごとのＩＶ（ＩＶＡ、ＩＶＢ、ＩＶＣ）を使用し、それぞれのカウンタを維持しながら、サンプルの各サブサンプル（Ｎ、Ｎ＋１、Ｎ＋２…）について暗号化チェーンが再開される。
【0078】
ＣＢＣベースの「ｃｂｃｓ」方式に使用することができる比較手法は、サンプルのすべてのサブサンプルに１つのＩＶを使用することである。これには、平文ブロックが類似している場合、各サブサンプルの始まりに類似した暗号文ブロックが生じるという欠点がある。
【0079】
現在議論されている可能性は、クライアント側で変化するサブサンプルごとのＩＶを導出するための様々なモードを必要とする。まず、ＩＶは、以下に示す「ｓｅｎｃ」ボックスの新しいバージョンにおいて明示的にシグナリングすることができる。
aligned(8) class SampleEncryptionBox_Invention4
extends FullBox(‘senc’, version, flags)
{
unsigned int(32) sample_count;
{
if (version == 0){
unsigned int(Per_Sample_IV_Size*8) InitializationVector;
if (flags & 0x000002){
unsigned int(16) subsample_count;
{
unsigned int(16) BytesOfClearData;
unsigned int(32) BytesOfProtectedData;
} [ subsample_count ]
}
} else if (version == 1){
if (flags & 0x000002){
unsigned int(16) subsample_count;
{
unsigned int(Per_Sample_IV_Size*8)
InitializationVectorPerSubsample;
unsigned int(16) BytesOfClearData;
unsigned int(32) BytesOfProtectedData;
} [ subsample_count ]
}
}
}[ sample_count ]
}
aligned(8) class SampleEncryptionBox_Invention4
extends FullBox(‘senc’, version, flags)
{
unsigned int(32) sample_count;
{
if (version == 0){
unsigned int(Per_Sample_IV_Size*8) InitializationVector;
if (flags & 0x000002){
unsigned int(16) subsample_count;
{
unsigned int(16) BytesOfClearData;
unsigned int(32) BytesOfProtectedData;
} [ subsample_count ]
}
} else if (version == 1){
if (flags & 0x000002){
unsigned int(16) subsample_count;
{
unsigned int(Per_Sample_IV_Size*8)
InitializationVectorPerSubsample;
unsigned int(16) BytesOfClearData;
unsigned int(32) BytesOfProtectedData;
} [ subsample_count ]
}
}
}[ sample_count ]
}
【0080】
さらなる可能性は、既存の「ｓｅｎｃ」ボックスのようにサンプルごとの単一のシグナリングされるＩＶに基づいてクライアント側でサブサンプルＩＶを導出することであるが、追加のサブサンプル依存オフセットがある。この場合のオフセットは、以下のいずれかである。
・Ｎバイトカウンタについて、数値関数を使用して計算される（例えば、オフセットはｓｕｂｓａｍｐｌｅ＿ｉｎｄｅｘ＊（（２（Ｎ＊８）－１）／ｓｕｂｓａｍｐｌｅ＿ｃｏｕｎｔに等しい）。
・事前に準備された擬似ランダムシーケンスのｓｕｂｓａｍｐｌｅ＿ｉｎｄｅｘ－ｔｈエントリから導出される。
・Ｎバイトカウンタについて、数値関数を使用して計算される（例えば、オフセットはｓｕｂｓａｍｐｌｅ＿ｉｎｄｅｘ＊（（２（Ｎ＊８）－１）／ｓｕｂｓａｍｐｌｅ＿ｃｏｕｎｔに等しい）。
・事前に準備された擬似ランダムシーケンスのｓｕｂｓａｍｐｌｅ＿ｉｎｄｅｘ－ｔｈエントリから導出される。
【0081】
図７～図１１に関して上述した上記実施形態および図１２に関して説明したその修正において要約すると、現在のピクチャフレーム３０内の各ピクチャ部分３４の再初期化は、相互に異なる初期化状態に基づくことができる。言い換えれば、複数のサブセット１８のビットストリーム１２を暗号化する場合、これらのサブセットには、各サブセット１８に１つずつ、相互に異なる初期化状態が使用される。これにより、構成済みビットストリーム内の暗号化サブピクチャ部分４４の各々について、相互に異なる初期化状態が導出される。相互に異なる初期化状態は、現在のピクチャフレームの基本初期化状態に相互に異なる修正を適用した結果であり得、これは上記のサンプルごとの単一のシグナリングされる信号ＩＶと呼ばれる。したがって、図８に関して上記で説明した装置は、現在のピクチャフレーム３０の基本初期化状態に相互に異なる修正を適用することにより、アクセスユニット４または現在のフレーム３０ごとにサブピクチャ部分４４の暗号化サブセットの相互に異なる初期化状態を導出することができる。各サブピクチャ部分４４またはサブセット１８の相互に異なる修正はそれぞれ、それぞれのサブピクチャ部分４４またはサブセット１８が関係するビデオピクチャエリア１６の部分１４に応じて、または、それぞれのサブピクチャ部分４４またはサブセット１８または部分１４のインデックスに応じて導出することができる。上記のように、この目的で計算またはテーブル検索を使用することができる。インデックスは、上記ではサブサンプルインデックスと呼ばれている。エクストラクタ２０は、現在のピクチャフレーム３０内の各ピクチャ部分３４の初期化状態をシグナリングする初期化状態リストを含むことができる。初期化状態は、それぞれのピクチャ部分が属するか、または由来するビットストリームでさらにシグナリングされてもよい。
【0082】
以下の説明は、本出願の別の態様に焦点を当てている。特に、ここでは、実施形態は、プレセレクションアダプテーションセットの使用に関連する問題、すなわち、このプレセレクションアダプテーションセットによって出力ピクチャエリアの領域の各々に割り当てられる各ピクチャ部分固有のアダプテーションセットから１つの表現を選択することにより、クライアントに対してそのようなプレセレクションアダプテーションセットによって提供される組み合わせオプションが、これらの組み合わせオプション間の品質ランキング、および、それらが対応する出力ピクチャエリアの周囲内のＲＯＩの全体的な位置に関して理解するのが困難であるという問題を克服することを模索する。以下の実施形態は、この問題を克服することを模索する。暗号化／解読関連の実施形態に関して以前に行われたように、以下の説明は、導入部に示された技法の可能な修正を提示すことにより、本出願の明細書の導入部に示された説明を再開することから始まる。その後、これらの修正によって表される実施形態は、実施形態を拡張することにより拡大される。
【0083】
特に、先ほど概説した問題に対処するには、以下のソリューションのいずれかを使用することができる。
【0084】
【0085】
【0086】
ＲＷＱＲ記述子内でｌｏｃａｌ＿ｑｕａｌｉｔｙ＿ｒａｎｋｉｎｇの値が異なる領域を定義することは望ましくない。これは、表現間で異なる領域の品質の意味を解釈するのは困難であるためである。したがって、アダプテーションセット内のすべてのＲＷＱＲ記述子は、ｌｏｃａｌ＿ｑｕａｌｉｔｙ＿ｒａｎｋｉｎｇに対して同じ値を有する必要があり得る。代替的に、ＲＷＱＲ記述子からシグナリングを実行し、それをＭＰＤに追加することもできる（例えば、アダプテーションセットレベルで）。
【0087】
第３の実施形態：ＲＷＱＲを、表現のために示されたｑｕａｌｉｔｙＲａｎｋｉｎｇにデルタとして追加する。
【0088】
ＡｄａｐｔａｔｉｏｎＳｅｔ内の焦点と同じビューポートを有するすべての表現をグループ化することが望ましい。したがって、所与のＡｄａｐｔａｔｉｏｎＳｅｔについて、いずれの領域を強調するかを示し、各領域の品質関係を記述することが有用である。このような指示は、グループ化メカニズムとして使用することができる。例えば、図１６では、２つの領域および１の品質差を有する３つの表現が指定されているが、各表現は異なるビットレートで符号化されており、したがって、品質が異なる（Ｒｅｐ １＝３，４；Ｒｅｐ２＝２，３；Ｒｅｐ３＝１，２）。
【0089】
この例では、ＲＷＱＲ１の領域の品質がＲＷＱＲ２よりも良好であり、それをシグナリングするためにＡｄａｐｔａｔｉｏｎＳｅｔレベルで領域ごとの品質記述子が使用されていると想定している。したがって、ＲＷＱＲは、表現をグループ化し、領域の品質関係を示すために使用される。これは、表現自体について示される品質ランキングへのデルタ／オフセットとして行われる。したがって、同じＡｄａｐｔａｔｉｏｎＳｅｔ内のすべての表現からの＠ｑｕａｌｉｔｙＲａｎｋｉｎｇ属性が、領域ごとの品質ランキング記述子（ＲＷＱＲ１およびＲＷＱＲ２）とともに領域の実際の品質値を計算するために使用される。
【0090】
オプションは、記述された記述子をタイルベースのストリーミングに適用することであり得、この場合、ｄｅｐｅｎｄｅｎｃｙＩｄｓは、領域ごとの品質ランキング記述子が配置されているＡｄａｐｔａｔｉｏｎＳｅｔ内で、リプレゼンテーションおよびそれらの＠ｑｕａｌｉｔｙＲａｎｋｉｎｇ属性のすべての組み合わせが同じ関係（提案されているＲＷＱＲのシグナリングされているデルタ）を有するように、使用される。例えば、ＲＷＱＲ１およびＲＷＱＲ２の値が１のデルタ／オフセット値を定義する場合、ｑｕａｌｉｔｙＲａｎｋｉｎｇ属性は常に同じ関係になる。
【0091】
明らかに、同じ手法を他のビューポート依存ソリューションに使用することができる。これは、例えば、３６０ビデオの一部が、角錐の他面よりも高い解像度を有する、角錐の底面にマッピングすることによって強調される、切頭角錐投影（ＴＳＰ）（図１７の投影の例を参照）の場合のように、ビューポート依存性が特定の投影方法を使用して達成される場合である。このような場合、領域ごとの品質ランキング記述子を使用して、その投影の領域の品質の関係をシグナリングする。例えば、図１７では、前面の領域（ＲＷＱＲ１記述子で表されている）は、残りのすべての面（ＲＷＱＲ２）よりも品質が高くなっている。
【0092】
ちょうど概説した修正実施形態に関して特定の拡大実施形態を説明するために、以下の実施形態が扱う一般的な環境を示す図１８を参照する。部分的に、図１～図１７の説明に関して使用されていた参照符号が、図１８の説明に関して再利用されている。再利用とは、以下の説明の理解を容易にすることを補助するために使用されるが、当然のことながら、再利用は、例えば暗号化／暗号化に関して上記で説明した詳細を、続いて説明される実施形態に転換可能であるものとすることを意味するものではない。
【0093】
図１８は、タイルベースのストリーミングを使用して、サーバなどからビデオコンテンツをダウンロードするためのダウンロード装置またはクライアント８０を示す。ダウンロード装置８０の内部構造は、図１０に示されるものに必ずしも対応するものではない。しかしながら、ダウンロード装置８０は、例えば図１０に示されるようにダッシュクライアント８２を備えてもよく、オプションとしてまたファイルハンドラ８４、および、オプションとしてデコーダ８８、および、さらにオプションとして解読器８６を備えてもよい。ダウンロード装置８０は、ネットワーク９０を介して、複数のビットストリーム１２およびマニフェストファイル２４を含むデータ１０にアクセスすることができる。ビットストリーム１２は、タイルまたは部分ベースの方法で符号化されたビデオピクチャエリア１６を有する。これに対して、ビットストリーム１２はサブセット１８に区分化され、各サブセット１８はビデオピクチャエリアがそれに区分化される特定の部分またはタイル１４に関連付けられ、結果、１つのサブセット１８のビットストリーム１２はそこに符号化された同じ関連部分／タイル１４を有するが、品質は異なる。上述のように、品質は、ＳＮＲ、空間分解能などのような点において、様々な態様の１つまたは複数で相互に異なる場合がある。理解を容易にするために、図１８には２つの部分／タイル１４のみが示されており、それにより図６に示されている場合に対応している。図６にさらに準拠して、図１８は、各サブセット１８が６つの異なるビットストリーム１２を含む例示的な事例を示す。マニフェストファイル２４により、各ビットストリーム１２は、アダプテーションセット２００の少なくとも１つ、いわゆるシーン部分またはピクチャ部分固有のアダプテーションセット内の表現としてクライアント８０に示される。図１８では、図６に示すアダプテーションセット１～４に対応する２つのそのような部分固有のアダプテーションセット２００が各タイル１４に対して存在するが、タイル１４あたりのアダプテーションセットの数は２に限定されず、さらには部分１４の間で異なってもよいことは明らかである。また、物理ビットストリーム１２は、２つ以上のアダプテーションセット２００に部分的に割り当てられてもよく、または、異なる言い方をすれば、２つ以上のアダプテーションセット２００によって共同所有または共有される表現を表してもよいことに留意されたい。率直に言って、１つのサブセット１８に属し、したがって同じシーン部分１４を参照する表現１２のグループ化は、１つのアダプテーションセット２００に属する表現の品質が少なくとも平均して、別のアダプテーションセットに属する同じサブセット１８の表現より高くなるように行われる。サブセット１８の表現１２のアダプテーションセット２００へのグループ化はさらには、そのサブセット１８の１つのアダプテーションセット２００の任意の表現が他のアダプテーションセット内の他の表現よりも品質が高くなるように行われてもよい。ただし、これは必須ではなく、以下の説明から明らかになる。
【0094】
マニフェストファイル２４は、少なくとも、第１のパラメータセット２０２、すなわち各アダプテーションセット２００に１つのパラメータセットを含む。各パラメータセット＃ｉ、２０２は、対応するシーン部分固有のアダプテーションセット＃ｉ、２００を、このアダプテーションセット＃ｉに、１つのサブセット１８内の表現１２の特定のサブグループを関連付けることによって定義し、結果、そのような各アダプテーションセット２００内の表現１２は、同じシーン部分１４を符号化されるが、品質は異なる。これらのパラメータセット２０２の各々は、それぞれのパラメータセットが定義するアダプテーションセット内の各表現１２に対して、品質レベル、または品質レベルを示す構文要素２０４を含む。この目的のために、アダプテーションセット＃ｉを定義するパラメータセット２０２は、そのアダプテーションセットｉ内の各表現＃ｊに対して品質レベルＱｉ（ｊ）を有する。これは、図６に対応するアダプテーションセット１、２、４、５にも示されており、アダプテーションセット１は部分／タイル１に対応し、アダプテーションセット２および５は部分／タイル２に対応する。ここで、Ｑは、各優先度セット２０２によって示される品質レベルに対応する。
【0095】
加えて、マニフェストファイル２４は、プレセレクションアダプテーションセットを定義するパラメータセット２０６を含む。各プレセレクションアダプテーションセット２０８は、出力ピクチャエリアの領域の各々に、タイル固有のアダプテーションセット２００の１つを割り当てる。このように定義されたプレセレクションアダプテーションセット２０８は、タイル固有のアダプテーションセット２００の、領域への割り当てが異なる。率直に言って、プレセレクションアダプテーションセットが、例えば、ＲＯＩからより離れた領域に割り当てられたアダプテーションセットの表現１２の品質と比較して、ＲＯＩに対応する１つまたは複数の領域により高品質の表現１２のアダプテーションセット２００を割り当てるという点、または、例えば、プレセレクションアダプテーションセットが、ＲＯＩから離れた領域を除外して、ＲＯＩおよびその周辺の領域に関連するアダプテーションセット２００のみを収集するという点において、プレセレクションアダプテーションセットはＲＯＩに固有である。しかし、クライアントが、特定のプレセレクションアダプテーションセットがどのＲＯＩに関連するかについて、クライアント自身が、以下でさらに概説する方法で確認する必要があるという点に問題がある。品質２０４は、それらが含まれる同じセット２０２内で単に順序スケーリングされるため、それ自体のみではこの目的に適していない。
【0096】
一般に、言及された領域および出力ピクチャエリアは、ピクチャまたはシーンエリア１６を、それらを使用してビットストリーム１２がタイルベースの符号化によって得られた可能性のある部分１４に区分化することに対応し得るが、出力ピクチャエリアは代替的に、部分１４を再配置および／またはスケーリングおよび／または回転させて出力ピクチャエリアを生成してもよく、この再配置および／またはスケーリングおよび／または回転も、場合によって、マニフェストファイル２４内で示されるか、または出力ピクチャエリアのみが部分１４の適切なサブセットから構成される。以下の実施形態の主要なトピックの説明を容易にするために、出力ピクチャエリアはシーンエリア１６のように見え、部分１４は、各プレセレクションアダプテーションセット２０８が対応するアダプテーションセット２００の１つを割り当てる領域１４を表すと事前に仮定するものとする。図１８は、例えば、アダプテーションセット６がそれに関連付けられた出力ピクチャエリア２１６を有し、出力ピクチャエリア２１６がさらに領域２１４に細分化または区分化されることを示している。データ１０に含まれ、参照符号２０で示されるエクストラクタまたはエクストラクタファイル／トラックは、例えば、１つの領域を符号化するためのアダプテーションセット番号５からクライアント８０によって選択される表現、および、他の領域２１４を符号化するためのアダプテーションセット４からクライアント８０によって選択される表現を使用することによって、出力ピクチャエリア２１６を示す、対応するビデオデータストリームを含む。しかしながら、上述したように、出力ピクチャエリア２１６は、異なる品質でタイルベースの符号化を使用していずれのビットストリーム１２が生成された可能性があるかに基づいて、ピクチャエリア１４の任意の構成と異なり得る。アダプテーションセット３も、エクストラクタファイル２０を関連付けられている可能性があり、他のアダプテーションセット６の出力ピクチャエリア２１６と比較して、形状、サイズ、および領域の数がアダプテーションセット６と一致する場合がある。
【0097】
図１８に関して、例えば、エクストラクタ２０の存在は、表現１２の起源が、これらの表現に個別にコード化されるそれらのピクチャ部分１４が、共通ビデオピクチャエリア１６上で定義されず、個々のエリア上で定義されるような性質のものであり得る点において、必要ではなく、結果、プレセレクションアダプテーションセット２０６によるそれらの構成のみによって、そのピクチャ内容、すなわちそのピクチャ部分１４がまとめられて、結果として領域２１４になり、したがって、出力ピクチャエリア２１６になる。
【0098】
図１８に関してこれまでに提示された説明を要約すると、各プレセレクションアダプテーションセット２０６は、出力ピクチャエリア２１６の各領域２１４に対して選択された表現１２に関して、クライアントデバイス８０に何らかの決定を委ねる。各アダプテーションセット２０６は、ピクチャ部分固有のアダプテーションセット２００を領域２１４に関連付けるにすぎず、クライアントデバイス８０は、各領域２１４について、それぞれのプレセレクションアダプテーションセット２０６によってその領域２１４に割り当てられた表現１２の１つを選択する自由を有する。ここで、図１８のこの例では、これは、理論的には、各プレセレクションアダプテーションセット２０６について選択する９つのオプションがあることを意味することになる。残念ながら、パラメータセット内で提供される品質２０４は、プレセレクションアダプテーションセット２０８の出力ピクチャエリア２１６内で、ＲＯＩが、他の手段なしでは部分固有のアダプテーションセットごとに順序スケーリングされることのみが保証される品質として存在する評価を可能にしない。またさらに、クライアントは、品質に関して特定のプレセレクションアダプテーションセットの様々な組み合わせオプションを合理的にランク付けすることさえできない。上述の実施形態は、特定のプレセレクションアダプテーションセットのＲＯＩ位置を評価し、ならびに／または、品質に関して、および、場合によってはさらにプレセレクションアダプテーションセットのＲＯＩ特異性を考慮したオプションの有意性に関して特定のプレセレクションアダプテーションセット２０６の組み合わせオプション間のランキングを評価するための効率的なガイダンスをクライアントデバイス８０に提供することを可能にする。
【0099】
この目的のために、各プレセレクションアダプテーションセット２０６は、特定の追加の品質ガイダンスデータ２１８、すなわち、それぞれのプレセレクションアダプテーションセット２０６によって品質に関して領域２１４に相互に割り当てられたピクチャ部分固有のアダプテーションセット２００の間のランキングを定義することを可能にし、オプションとして、品質に関して特定のプレセレクションアダプテーションセット２０６によって割り当てられた、割り当て済みのピクチャ部分固有のアダプテーションセット２００に含まれる表現１２間の相互関係のさらに細かい評価を可能にしてもよいガイダンスデータ２１８を含む。
【0100】
本出願の明細書の導入部に記載された技法の修正の上記説明によって伝達される第１の実施形態が、図１９に関して説明される。図１９によれば、各プレセレクションパラメータセット２０６は、各領域２１４の１つまたは複数のパラメータを含み、これは、このパラメータセット２１６によって定義されたプレセレクションアダプテーションセット２１４によってそれぞれの領域に割り当てられたピクチャ部分固有のアダプテーションセット２００の表現１２の品質レベル２０４をカバーする品質レベル範囲２２０を示す。例えば、図１９は、追加の品質ガイダンス情報２１８が、参照符号２１９によって示されるように、それぞれのガイダンス情報２１８がその一部である、パラメータセット２０６によってそれぞれの領域ｉに割り当てられるピクチャ部分固有のアダプテーションセット２００に含まれる表現の品質、すなわち、表現ｊのＱ１…３（ｉ）が中に存在する範囲２２０を示すために、各領域ｉの品質最大レベルパラメータＱｉ，ｍａｘおよび品質最小レベルパラメータＱｉ，ｍｉｎを含むことを示す。ガイダンス情報２１８のパラメータは、共通の品質尺度２２２上の品質レベル範囲２２０を定義し、結果、クライアントデバイス８０が、共通尺度２２２上の様々な領域に対して示される品質レベル範囲２２０の相互位置を使用して、第２のパラメータセット２０６が属する、すなわち、より高品質の領域（複数可）が位置する、プレセレクションアダプテーションセット２０８のＲＯＩが存在する場所に関して評価することが可能になる。クライアントは、例えば、ＲＯＩを、品質範囲２２０が最高である領域（複数可）２１４の照合、または品質範囲２２０がエリア２１６内のすべての領域２１４の範囲２２０の間で最小ではない領域（複数可）２１４の照合であると想定することができる。クライアントはさらには、品質に関して対応するパラメータセット２０６によって定義される、対応するプレセレクションアダプテーションセットによって提供される可能な表現の組み合わせの間のランキングを品質レベル範囲２２０から導出することさえできる。特に、品質ガイダンス情報２１８内の範囲情報２１９の純粋な存在はまた、部分的な局所品質レベルも共通尺度上で定義されるという、クライアントへのシグナルを表すことができる。すなわち、特定の領域ｉの品質レベルＱｊ（ｉ）は、領域ｉについて示される範囲内にある。その場合、クライアントは、ガイダンス情報２１８内の範囲情報の純粋な存在から、部分固有のアダプテーションセット２００全体にわたって品質が相互に比較可能であると推定することができる。代替的に、品質ガイダンス情報２１８内の範囲情報の存在は、品質２０４が１つのセット２０２内、すなわち１つのアダプテーションセット２００内でのみ順序スケーリングされるという状況を変えない。しかしながら、後者の場合、クライアントデバイス８０は、範囲情報を使用して、共通尺度２２２上で定義された品質に品質レベル２０４をマッピングし得る。クライアントは、例えば、ピクチャ部分固有のアダプテーションセット２００内の表現１２の数が、その品質に関して、対応する領域のガイダンス情報２１８によって示される品質レベル範囲２２０にわたって均一に分布していると仮定することができ、したがって、ピクチャ部分固有のアダプテーションセット２００の対応するアダプテーションセット２０２によって示される相互品質指標またはランキング値２０４をさらに使用することにより、クライアントデバイス８０は、共通の品質尺度２２２上で特定のプレセレクションアダプテーションセットに寄与するすべてのビットストリームの品質を決定することができる。ちょうど概説した例を再開することとする。Ｑｉ，ｍａｘおよびＱｉ，ｍｉｎを使用して、クライアントは、Ｑｊ（ｉ）を、Ｑｊ（ｉ）→（ｊ－１）・（Ｑｉ，ｍａｘ－Ｑｉ，ｍｉｎ）＋Ｑｉ，ｍｉｎまたはＱｊ（ｉ）→（Ｑｊ（ｉ）－ｍｉｎｊ｛Ｑｊ（ｉ）｝）・（ｍａｘｊ｛Ｑｊ（ｉ）｝－ｍｉｎｊ｛Ｑｊ（ｉ）｝）・（Ｑｉ，ｍａｘ－Ｑｉ，ｍｉｎ）＋Ｑｉ，ｍｉｎにマッピングすることができる。結果として得られる品質は、すべてのｊおよびｉについて、通常互いに順序スケーリングされる。ガイダンス情報がなければ、クライアントは、各アダプテーションセットｉ ２００内の表現ｊを個別にランク付けするのみであり得る。
【0101】
図１４－１及び図１４－２の上記の例では、ガイダンス情報２１８は、各領域のＲｗＱＲ記述子内の構文要素ｍａｘ＿ｑｕａｌｉｔｙ＿ｒａｎｋｉｎｇおよびｍｉｎ＿ｑｕａｌｉｔｙ＿ｒａｎｋｉｎｇを含んでいた。したがって、プレセレクションアダプテーションセットによって提供されるビットストリームの可能な組み合わせオプションの中から、クライアントは、例えば、ＲＯＩの外側の領域の品質がＲＯＩ内の品質よりも高くなるようにするオプションのために、プレセレクションアダプテーションセットのＲＯＩ特異性と競合するオプションを除外することができる。付加的にまたは代替的に、クライアントは、ユーザの閲覧速度、利用可能なネットワークダウンロード速度などの現在の状況に基づいて、例えば、いずれのオプションを選択すべきかを決定するために、ガイダンス情報を使用して、様々なオプションのＲＯＩ関連領域とＲＯＩから独立した領域との間の品質オフセットをよりよく理解することができる。そして何よりも、クライアントは、特定のプレセレクションアダプテーションセットのＲＯＩがどこにあるかを推定し、それに応じて、いくつかのプレセレクションアダプテーションセットの中から、例えば現在のユーザのビューポートとＲＯＩが一致する利用可能なセットを選択することができる。
【0102】
図１５－１及び図１５－２の説明から導出されるさらなる実施形態は、マニフェストファイル２４に関する以下の詳細に関係する。特に、図２０に関して再び説明されているように、品質ガイダンス情報２１８は、実際には、ピクチャ部分固有のアダプテーションセット２００のパラメータセット２０２内で示される領域ｊの品質レベルＱｉ（ｊ）が、図２０の下半分に示されるように、共通の順序尺度２２２上で定義されるか、または、これらのパラメータセット２０２によって示される品質レベルＱｉ（ｊ）が別個の順序尺度２２４上で定義されるかを示す指示２２３を含むことができる。共通の順序尺度２２２で定義される場合、図２０のタイル１のものなどの特定のパラメータセット２０２によって特定のピクチャ部分固有のアダプテーションセット内の表現について示される品質レベル２０４を序数で比較することができ、品質レベルは、指示２１８が属する同じプレセレクションアダプテーションセット２０６によって別の領域に割り当てられた別のピクチャ部分固有のアダプテーションセット２００の別のパラメータセット２０２によって示される。これまでのところ、指示２１８は一種の「グローバリティ指標」である。別個の順序尺度で定義される他の事例において、品質レベル２０４は、これらの品質レベル２０４を含む、パラメータセット２０２が属するピクチャ部分固有のアダプテーションセット２００内の表現の品質間の相互順序関係を示すが、グローバリティ指標２１８が属するプレセレクションアダプテーションセットによって異なる領域２１４に割り当てられた異なるピクチャ部分固有のアダプテーションセット２００の品質レベル２０４は、互いに比較可能ではない、すなわち、いずれのビットストリームの品質が、対応する品質レベル２０４に基づいてより良好であるかは決定できない場合がある。すなわち、グローバリティが適用される場合、クライアントはすべてのｊおよびｉについてすべてのＱｊ（ｉ）を比較することができる。それらはグローバルに、相互に順序スケーリングされる。グローバリティがなければ、クライアントは、各アダプテーションセットｉ ２００内の表現ｊを個別にランク付けするのみであり得る。次いで、クライアントは、例えば、プレセレクションアダプテーションセットのＲＯＩが、品質レベル２０４が最高である領域（複数可）２１４の照合、または品質レベル２０４がエリア２１６内のすべての領域２１４の品質レベル２０４の間で最小ではない領域（複数可）２１４の照合であると決定することができる。
【0103】
図１９では、プレセレクションパラメータセット２０６の第２のパラメータセット２０６が、出力ピクチャエリア２１６の各領域２１４について、ここで領域ｉおよび参照されているアダプテーションセット２００をそれぞれ代表する品質レベルＱ’（ｉ）によって例示される、それぞれの領域２１４の品質レベルヒントを示す１つまたは複数のパラメータを含み得ることを示す。それらは１つのパラメータセット、すなわち２９６において定義されているため、共通の尺度上で相互に定義される。しかしながら、ガイダンス情報２１８は、これまでのところ両方の指示を同時に制御する指示２２３と一致し得るか、または指示２２３の代わりに使用され得る、各領域ｉについての、それぞれの領域２１４，ｉの品質レベルヒント、および、それぞれの領域２１４に割り当てられたピクチャ部分固有のアダプテーションセット２００の第１のパラメータセット２０２によって定義される品質レベル２０４が、それらの間で順序スケーリングされるように相互に共通の順序尺度上で定義されるか、または、レベルヒントＱ’（ｉ）、および、それぞれの領域ｉに割り当てられたピクチャ部分固有のアダプテーションセット２００の第１のパラメータセット２０２によって定義される品質レベル２０４が、別個の順序尺度２２４上で定義されるかの指示を含むことができる。前者の場合、品質レベルＱ’（ｉ）がいずれにしても同じセット２０６内のそれらの定義によって相互に順序スケーリングされるため、すべての品質レベルＱ’（ｉ）およびＱｊ（ｉ）は実際には共通の順序尺度２２２上で定義される可能性がある。再び、クライアントは、Ｑ’（ｉ）’に基づいて、特定のアダプテーションセット２０８のＲＯＩがどこにあるかに関して導出することができ、指示２２３が適用される場合、クライアントはさらに、品質に関して個々の組み合わせオプションの理解を得ることができる。
【0104】
さらに別の実施形態によれば、ガイダンス情報２０１８は、２２３または２１８のないＱ’（ｉ）’のみを含む。さらにここでも、クライアントは特定のプレセレクションアダプテーションセット２０６のＲＩＯを決定することができ、したがって、所望のビューポートに適合するプレセレクションアダプテーションセットを選択することができる。特に、そのようなｑｕａｌｉｔｙ＿ｒａｎｋｉｎｇパラメータＱ’（ｉ）によって実現される、割り当てられたピクチャ部分固有のアダプテーションセット２００間の単なるランキングにより、クライアントデバイス８０は、少なくとも、エリア２１６全体の全般的な品質勾配を正しく評価してＲＯＩを発見することができる。
【0105】
指示２２３は、視点が一致する、すなわち、ビデオピクチャエリア１６のそれぞれの部分１４がそこから捕捉され、例えば、それぞれのパラメータセット２０２内で示される視点が一致する、すべてのピクチャ部分固有のアダプテーションセット２００のすべての品質レベル２０４について共通の順序尺度２２２をシグナリングするように解釈することができることに留意されたい。これにより、以下が明確になる。すなわち、図１５－１及び図１５－２に関して上述したように、グローバリティ指標２２３は、プレセレクションアダプテーションセットに関するパラメータセット２０６内に存在する必要はない。グローバリティ指標２２３は、マニフェストファイル２４または他の場所に位置決めされ得る。
【0106】
品質ガイダンス情報２２３がパラメータセット２０６の外側のマニフェストファイル２４内に代替的に位置決めされ得る後者の態様は、図１８に破線で示されている。
【0107】
図１９の説明の代替として、特定のパラメータセット２０６が関係する各領域２１４の品質レベル範囲２２０の指示は、ピクチャ部分固有のアダプテーションセットに関係するパラメータセット２０２内で示される品質レベル、すなわち品質レベル２０４の間の単なる品質レベルオフセットの指示によって置き換えることができることに留意されたい。したがって、追加の品質ガイダンス２１８は、次いで、相互に比較可能にするために品質レベル２０４に適用される相対オフセットを示すことになる。例えば、品質ガイダンス２１８は、共通の順序尺度２２２上で定義されるように、他のタイルの品質レベル２０４と比較される前に、タイル１の品質レベルが特定の値だけ増加される必要があることを示すことができる。セット２０２によって示される品質Ｑｊ（ｉ）間のオフセットΔＱｍｎに関するそのような情報２１８を使用して、クライアントは、特定のセットｉ２００のＱｊ（ｉ）をＱｊ（ｉ）→Ｑｊ（ｉ）－ΔＱｉｋにマッピングして、それらを特定のセットｋ ２００のＱｊ（ｋ）と比較することができる。結果として得られる品質は、すべてのｊおよびｉについて、通常互いに順序スケーリングされる。ガイダンス情報がなければ、クライアントは、各アダプテーションセットｉ ２００内の表現ｊを個別にランク付けするのみであり得る。
【0108】
すでに上で述べたように、エクストラクタ２０の存在は、図１８～図２０に関して説明された利点を達成するために必須ではない。ただし、存在する場合、ＳｐｈｅｒｅＲｅｇｉｏｎＱｕａｌｉｔｙＲａｎｋｉｎｇＢｏｘなどのファイルフォーマット記述子／ボックスを使用して、上記の情報をマニフェストファイルに伝達することができる。特に、エクストラクタは、ビデオピクチャエリア２１６の部分２１４の異なる部分に各々関連付けられたビットストリームのサブセットのうち４０などのコンパイル済みビットストリームのコンパイルを示し、各部分に対して、ビットストリームの関連付けられるサブセットの１つのビットストリームを選択する自由が残っており、ファイルフォーマット記述子は、ビデオピクチャエリア２１６の各部分２１４の１つまたは複数のパラメータを含み、このパラメータは、それぞれの部分２１４に割り当てられた表現のサブセットの表現１２（ここではトラック）においてシグナリングされる品質レベルをカバーする品質レベル範囲２２０、または、表現の異なるサブセットの表現１２の品質レベル間の品質オフセットを示し、および／または、表現において示される品質レベルが、異なるサブセットの異なる表現にわたって順序スケーリングされるように共通の順序尺度上で定義されるか、または、表現によって示される品質レベルが、サブセットごとに別個の順序尺度２２４上で定義されるかの指示を含む。言い換えれば、図１８の１つのセット２００内のすべてのビットストリーム１２は、そのボックスのうちの１つの中に品質値を有し得る。同様に、ファイルフォーマット記述子は、付加的にまたは代替的に、出力ピクチャエリア２１６の各部分２１４について、それぞれの部分の品質レベルヒント、およびそれぞれの部分に関連付けられたサブセットに含まれる表現内に示される品質レベルが、順序尺度上で定義されるように共通の順序尺度上で定義されるか、または、それぞれの部分と関連付けられたサブセットに含まれる表現内に示される品質レベルヒントおよび品質レベル２０４が、別個の順序尺度２２４上で定義され、および／もしくは、出力ピクチャエリア２１６の部分２１４について、部分２１４間の品質ランキングを示す１つもしくは複数のパラメータを含むかの指示を示す１つまたは複数のパラメータを含むことができる。上記のうちの１つがまとめられ、特定のエクストラクタ２０によって参照されると、ビットストリームの品質が互いにどのように関係するか、および／またはそのようなダウンロードされたビデオストリームのＲＯＩがどこにあるかという疑問が生じ得る。この目的のために、エクストラクタが属する対応するＲＯＩを提示することを所望するクライアントによってダウンロードする準備ができているファイルフォーマットボックスまたは記述子を費やすことができる。上記のファイルフォーマットボックスは、ＭＰＤについて２１８によって考えられるのと同様の情報を有する。それは、様々なサブセット２００のビットストリームの品質が他とどのように関係しているか、および、より高い品質を有する部分２１４がエリア２１６内のどこにあるかを示し、結果、ＲＯＩがどこにあるかを示す。さらに言い換えれば、特定のＲＯＩに関連付けられたエクストラクタ２０は、参照により、領域２１４あたり表現の１つのサブセット２００を収集する。後に、実際のダウンロード時に、エクストラクタは、各サブセット２００および関連する領域ごとに１つ、それぞれのサブセット２００から選択されている表現とともにファイルを形成する。後者が参照するビットストリーム１２は、ファイルのトラックを形成する。それらはセット３２からのものである。ＭＰＤの品質２０４と同様に、各々が中に品質値を有する。上記のＦＦ記述子が追加され、例えば、異なる領域２１４に関連する異なるサブセット２００から生じる異なるトラックに存在するこれらのすべての品質値が、共通の尺度２２２もしくは別個の尺度２２４上で定義されるか、または共通の尺度２２２上の範囲２２０を示すかを示す。ＦＦ記述子は、品質グローバリティを示すＦＦ記述子が属するエクストラクタ２０に関連付けられたＲＯＩに関心があるクライアントによってダウンロードされる構成済みビデオストリームの初期化セグメントの一部であり得、ファイルは、言及されているように、セット３２の参照されるトラック１２、およびエクストラクタ２０を有する。参照される各トラックは、例えばローカルＦＦボックス／記述子内にその品質値を有し、本明細書で概説するＦＦ記述子／ボックスは、ファイルの設定を取得するためにクライアントによって最初にダウンロードされる初期化セグメントの一部であり得る。
【0109】
完全を期すために、各ピクチャ部分固有のアダプテーションセット２００について、対応する第１のパラメータセット２０２は、それぞれのピクチャ部分固有のアダプテーションセットの表現に符号化されるピクチャ部分１４に関する視野情報を定義することができることに言及すべきである。次に、第２のパラメータセット２０６は、領域２１４の照合に関する視野情報、すなわち、すべての領域２１４のオーバーレイから生じる視野を定義することができる。図１８に示すように、それぞれのプレセレクションアダプテーションセット２０８の３つ以上の第２のパラメータセット２０６がある場合、各々が、その領域２１４の照合に関して視野情報を定義することができ、照合は上記少なくとも２つの第２のパラメータセットの間で一致する。すなわち、出力ピクチャエリア２１６の周囲は、これらのセット２０８について一致し得る。ただし、プレセレクションアダプテーションセット２０６は、それらのパラメータセット２０６が領域２１４の中で最高品質の領域を定義し、照合内の位置がパラメータセット２０６にわたって変化するという点で異なり得る。したがって、最高品質の領域は、様々なアダプテーションセット２０８が関連付けられているＲＯＩに対応することになる。
【0110】
説明されているように、クライアントデバイスは、マニフェストファイル２４を検査し、品質レベル範囲および／または指示に基づいて、サーバからビデオを適応的にストリーミングする際のストリーミング戦略を変更することができる。所望されるビューポートに関してプレセレクションアダプテーションセットをランク付けするために、品質レベル、品質レベル範囲、品質レベルヒント、および／または指示を使用することができる。
【0111】
図１７に関して説明したように、プレセレクションアダプテーションセットのオプションを定義するビットストリームの集合は、代替的に、マニフェストファイル内の１つのアダプテーションセットにグループ化された異なる表現として定義されてもよい。これにより、領域２１４内のビデオピクチャエリア２１６の下位区分に一致する表現のセットを定義する領域ごとにコンパイルされているアダプテーションセットのパラメータセットを含むマニフェストファイルが得られ、表現は、各領域に領域固有の品質レベルを割り当てる異なる品質レベルタプルにおいてビデオピクチャエリアの領域２１４を符号化されている。したがって、表現はすべて、エリア２１６を個別にカバーする。それらは、様々な領域に割り当てられた品質に関連して異なる。パラメータセットは、このとき、図１７のＲＷＱＲｉによって示されるすべての領域のアダプテーションセット品質レベル指示、および、＠ ｑｕａｌｉｔｙＲａｎｋｉｎｇによって示される各表現について表現固有の品質レベル指示を含む。各表現について、図１７の括弧内に示されているそれぞれの表現の品質レベルタプルは、アダプテーションセット品質レベル指示と、それぞれの表現について表現固有の品質レベル指示との組み合わせから、これらを加算することなどによって導出可能である。クライアントデバイスは、マニフェストファイルを検査し、サーバからビデオを適応的にストリーミングするためのストリーミング戦略において表現の品質レベルタプルを使用することができる。所望されるビューポートに関して表現をランク付けするために、表現の品質レベルタプルを使用することができる。
【0112】
いくつかの態様を装置の文脈で説明してきたが、これらの態様は、対応する方法の説明も表していることは明らかであり、方法において、ブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの文脈で説明されている態様は、対応する装置の対応するブロックまたは項目または特徴の説明をも表す。方法ステップの一部または全部は、例えば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路のようなハードウェア装置によって（またはそれを使用して）実行されてもよい。いくつかの実施形態では、最も重要な方法ステップの１つまたは複数は、そのような装置によって実行されてもよい。
【0113】
データ集合、ビデオストリーム、マニフェストファイル、記述子などの本発明のデータ信号は、デジタル記憶媒体に格納することができ、または、インターネットなどの、無線伝送媒体もしくは有線伝送媒体のような伝送媒体上で送信することができる。
【0114】
特定の実装要件に応じて、本発明の実施形態は、ハードウェアもしくはソフトウェアにおいて実装することができる。実装態様は、電子的に読み取り可能な制御信号が記憶された、例えばフロッピーディスク、ＤＶＤ、Ｂｌｕ－Ｒａｙ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリなどのデジタル記憶媒体を使用して実行することができ、これらはそれぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（または協働することができる）。したがって、デジタル記憶媒体はコンピュータ可読であってもよい。
【0115】
本発明によるいくつかの実施形態は、本明細書に記載の方法の１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる電子可読制御信号を有するデータキャリアを備える。
【0116】
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で動作するときに、方法の１つを実行するように動作する。プログラムコードは、例えば、機械可読キャリアに格納することができる。
【0117】
他の実施形態は、機械可読キャリアに格納される、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを含む。
【0118】
換言すれば、それゆえ、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【0119】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを記録されているデータキャリア（またはデジタル記憶媒体もしくはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体または記録媒体は、典型的には有形かつ／または非一時的である。
【0120】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリームまたは一連の信号である。データストリームまたは一連の信号は、例えば、データ通信接続を介して、例えば、インターネットを介して転送されるように構成することができる。
【0121】
さらなる実施形態は、本明細書に記載の方法のうちの１つを実行するように構成または適合される処理手段、例えばコンピュータまたはプログラマブル論理デバイスを含む。
【0122】
さらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムをインストールされているコンピュータを含む。
【0123】
本発明によるさらなる実施形態は、本明細書で説明される方法の１つを実行するためのコンピュータプログラムを受信機に（例えば、電子的にまたは光学的に）転送するように構成された装置またはシステムを含む。受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであってもよい。この装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを含むことができる。
【0124】
いくつかの実施形態では、プログラマブル論理デバイス（例えば、フィールド・プログラマブル・ゲート・アレイ）を使用して、本明細書に記載の方法の機能の一部または全部を実行することができる。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書で説明する方法の１つを実行するためにマイクロプロセッサと協働することができる。一般に、これらの方法は、好ましくは、任意のハードウェア装置によって実行される。
【0125】
本明細書に記載の装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組み合わせを使用して実装することができる。
【0126】
本明細書に記載の装置、または本明細書に記載の装置の任意の構成要素は、少なくとも部分的にハードウェアおよび／またはソフトウェアにおいて実装されてもよい。
【0127】
本明細書に記載の方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組み合わせを使用して実施することができる。
【0128】
本明細書に記載の方法、または本明細書に記載の装置の任意の構成要素は、少なくとも部分的にハードウェアおよび／またはソフトウェアによって実施されてもよい。
【0129】
上述の実施形態は、本発明の原理の例示にすぎない。当業者には、本明細書に記載された構成および詳細の修正および変形が明らかになることは理解されたい。したがって、本発明は添付の特許請求の範囲によってのみ限定され、本明細書の実施形態の記述および説明によって示される特定の詳細によっては限定されないことが意図される。
【0130】
（参照文献）
［１］NIST,“ADVANCED ENCRYPTION STANDARD (AES)”, 2001, online: http://nvlpubs.nist.gov/nistpubs/FIPS/NIST.FIPS.197.pdf
［２］NIST, “Recommendation for Block 2001 Edition Cipher Modes of Operation”, NIST Special Publication 800-38A 2001 Edition, online: http://dx.doi.org/10.6028/NIST.SP.800-38A
［３］ISO/IEC 23001-7:2016, Information technology -- MPEG systems technologies -- Part 7: Common encryption in ISO base media file format files
［４］ISO/IEC 14496-12:2015, Information technology -- Coding of audio-visual objects -- Part 12: ISO base media file format
［５］ISO/IEC 14496-15:2017, Information technology -- Coding of audio-visual objects -- Part 15: Carriage of network abstraction layer (NAL) unit structured video in the ISO base media file format
［６］ISO/IEC 23008-2:2013, Information technology -- High efficiency coding and media delivery in heterogeneous environments -- Part 2: High efficiency video coding
［７］Byeongdoo Choi, Ye-Kui Wang, Miska M. Hannuksela, Youngkwon Lim (editors), “OMAF DIS text with updates based on Berlin OMAF AHG meeting agreements”, m40849, 2017-06-16
［８］ISO/IEC 23009-1:2014, Information technology -- Dynamic adaptive streaming over HTTP (DASH) -- Part 1: Media presentation description and segment formats
［１］NIST,“ADVANCED ENCRYPTION STANDARD (AES)”, 2001, online: http://nvlpubs.nist.gov/nistpubs/FIPS/NIST.FIPS.197.pdf
［２］NIST, “Recommendation for Block 2001 Edition Cipher Modes of Operation”, NIST Special Publication 800-38A 2001 Edition, online: http://dx.doi.org/10.6028/NIST.SP.800-38A
［３］ISO/IEC 23001-7:2016, Information technology -- MPEG systems technologies -- Part 7: Common encryption in ISO base media file format files
［４］ISO/IEC 14496-12:2015, Information technology -- Coding of audio-visual objects -- Part 12: ISO base media file format
［５］ISO/IEC 14496-15:2017, Information technology -- Coding of audio-visual objects -- Part 15: Carriage of network abstraction layer (NAL) unit structured video in the ISO base media file format
［６］ISO/IEC 23008-2:2013, Information technology -- High efficiency coding and media delivery in heterogeneous environments -- Part 2: High efficiency video coding
［７］Byeongdoo Choi, Ye-Kui Wang, Miska M. Hannuksela, Youngkwon Lim (editors), “OMAF DIS text with updates based on Berlin OMAF AHG meeting agreements”, m40849, 2017-06-16
［８］ISO/IEC 23009-1:2014, Information technology -- Dynamic adaptive streaming over HTTP (DASH) -- Part 1: Media presentation description and segment formats
【図1a】
【図1b】
【図2】
【図3】
【図4】
【図5a】
【図5b】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14-1】
【図14-2】
【図15-1】
【図15-2】
【図16】
【図17】
【図18】
【図19】
【図20】