知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-02-04
(54)【発明の名称】適応ストリーミングのための動的解像度変更ヒント
(51)【国際特許分類】
H04N 21/435 20110101AFI20250128BHJP
H04N 19/70 20140101ALI20250128BHJP
H04N 19/33 20140101ALI20250128BHJP
【ＦＩ】
H04N21/435
H04N19/70
H04N19/33
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024534750
(86)(22)【出願日】2023-01-03
(85)【翻訳文提出日】2024-06-11
(86)【国際出願番号】 US2023060016
(87)【国際公開番号】W WO2023133365
(87)【国際公開日】2023-07-13
(31)【優先権主張番号】17/647,435
(32)【優先日】2022-01-07
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．３ＧＰＰ
２．Ｂｌｕ－ｒａｙ
(71)【出願人】
【識別番号】507364838
【氏名又は名称】クアルコム，インコーポレイテッド
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100163522
【弁理士】
【氏名又は名称】黒田 晋平
(72)【発明者】
【氏名】トーマス・ストックハンマー
(72)【発明者】
【氏名】イメド・ブアジジ
【テーマコード（参考）】
5C159
5C164
【Ｆターム（参考）】
5C159MA32
5C159PP04
5C159RC11
5C159SS06
5C159UA02
5C159UA05
5C164FA06
5C164MA02S
5C164MB41S
5C164SC03S
5C164UB11P
5C164UB23S
5C164UB24S
(57)【要約】
メディアデータを取り出すための例示的なデバイスが、ビデオデータを記憶するように構成されたメモリと、ビデオデータを復号するように構成されたビデオデコーダと、回路機構で実装された１つ又は複数のプロセッサであって、メディアプレゼンテーションが第１の空間解像度での第１のビデオデータと第２の空間解像度での第２のビデオデータとを含むと判定し、第２の空間解像度が第１の空間解像度とは異なり、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を受信し、第１の空間解像度での第１のビデオデータの第１の部分をビデオデコーダに送信し、第１の再生時間よりも後の第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を受信し、第２の空間解像度での第２のビデオデータの第２の部分をビデオデコーダに送信する、ように構成されている、１つ又は複数のプロセッサと、を含む。
【特許請求の範囲】
【請求項1】
メディアデータを受信する方法であって、メディアプレゼンテーションが第１の空間解像度での第１のビデオデータと第２の空間解像度での第２のビデオデータとを含むと判定することであって、前記第２の空間解像度が前記第１の空間解像度とは異なる、ことと、
第１の再生時間に関する前記第１の空間解像度での前記第１のビデオデータの第１の部分を受信することと、
前記第１の空間解像度での前記第１のビデオデータの前記第１の部分をビデオデコーダに送信することと、
前記第１の再生時間よりも後の第２の再生時間に関する前記第２の空間解像度での前記第２のビデオデータの第２の部分を受信することと、
前記第２の空間解像度での前記第２のビデオデータの前記第２の部分を前記ビデオデコーダに送信することと、
を含む、方法。
【請求項2】
前記メディアプレゼンテーションのためのアドレス指定可能リソースインデックス（ＡＲＩ）トラックであって、前記ＡＲＩトラックが、前記第１の再生時間に関する前記第１の空間解像度での前記第１のビデオデータのための第１の品質と、前記第１の再生時間に関する前記第２の空間解像度での前記第２のビデオデータの第２の品質とを表すデータを含む、ＡＲＩトラックを受信することと、前記第１の品質が前記第２の品質よりも高いと判定することと、を更に含み、
前記第１の再生時間に関する前記第１の空間解像度での前記第１のビデオデータの前記第１の部分を受信することが、前記第１の品質が前記第２の品質よりも高いと判定したことに応答して、前記第１の再生時間に関する前記第２の空間解像度での前記第２のビデオデータの代わりに、前記第１の再生時間に関する前記第１の空間解像度での前記第１のビデオデータの前記第１の部分を取り出すことを含む、請求項１に記載の方法。
【請求項3】
前記第２の空間解像度が前記第１の空間解像度よりも高い、請求項２に記載の方法。
【請求項4】
前記第１の再生時間に関する前記第１の空間解像度での前記第１のビデオデータが、前記第１の再生時間に関する前記第２の空間解像度での前記第２のビデオデータに等しいビットレートを有する、請求項２に記載の方法。
【請求項5】
前記第１の品質及び前記第２の品質が、空間解像度及びビットレート以外の１つ又は複数の品質測定値を表す、請求項２に記載の方法。
【請求項6】
前記ＡＲＩトラックが、前記第２の再生時間における前記第１の空間解像度での前記第１のビデオデータについての第３の品質と、前記第２の再生時間における前記第２の空間解像度での前記第２のビデオデータについての第４の品質とを表すデータを更に含み、前記方法が、前記第４の品質が前記第３の品質よりも高いと判定することを更に含み、前記第２の再生時間に関する前記第２の空間解像度での前記第２のビデオデータの前記第２の部分を受信することが、前記第４の品質が前記第３の品質よりも高いと判定したことに応答して、前記第２の再生時間に関する前記第１の空間解像度での前記第１のビデオデータの代わりに、前記第２の再生時間に関する前記第２の空間解像度での前記第２のビデオデータの前記第２の部分を取り出すことを含む、請求項２に記載の方法。
【請求項7】
前記第１の空間解像度が前記第２の空間解像度よりも高い、請求項６に記載の方法。
【請求項8】
前記第２の再生時間に関する前記第１の空間解像度での前記第１のビデオデータが、前記第２の再生時間に関する前記第２の空間解像度での前記第２のビデオデータに等しいビットレートを有する、請求項６に記載の方法。
【請求項9】
前記第３の品質及び前記第４の品質が、空間解像度及びビットレート以外の１つ又は複数の品質測定値を表す、請求項６に記載の方法。
【請求項10】
前記メディアプレゼンテーションが、前記第１の空間解像度での前記第１のビデオデータを含む第１の表現と、前記第２の空間解像度での前記第２のビデオデータを含む第２の表現とを含み、前記メディアプレゼンテーションが、前記第１の表現と前記第２の表現の両方を含む切り替えセットを含む、請求項１に記載の方法。
【請求項11】
前記第１の再生時間に関する前記第１の空間解像度での前記第１のビデオデータの前記第１の部分を受信することが、ミドルウェアユニットによって、ブロードキャストを介して前記第１の再生時間に関する前記第１の空間解像度での前記第１のビデオデータの前記第１の部分を受信することを含み、前記方法が、前記ミドルウェアユニットによって、前記第１の再生時間に関する前記第１の空間解像度での前記第１のビデオデータの前記第１の部分をキャッシュすることと、
動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）クライアントによって、前記ミドルウェアユニットから、前記第１の再生時間に関する前記第１の空間解像度での前記第１のビデオデータの前記第１の部分を取り出すことと、
を更に含む、請求項１に記載の方法。
【請求項12】
前記第２の再生時間に関する前記第２の空間解像度での前記第２のビデオデータの前記第２の部分を受信することが、ミドルウェアユニットによって、ブロードキャストを介して前記第２の再生時間に関する前記第２の空間解像度での前記第２のビデオデータの前記第２の部分を受信することを含み、前記方法は、前記ミドルウェアユニットによって、前記第２の再生時間に関する前記第２の空間解像度での前記第２のビデオデータの前記第２の部分をキャッシュすることと、
動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）クライアントによって、前記ミドルウェアユニットから、前記第２の再生時間に関する前記第２の空間解像度での前記第２のビデオデータの前記第２の部分を取り出すことと、
を更に含む、請求項１に記載の方法。
【請求項13】
メディアデータを取り出すためのデバイスであって、ビデオデータを記憶するように構成されたメモリと、
前記ビデオデータを復号するように構成されたビデオデコーダと、
回路機構で実装された１つ又は複数のプロセッサであって、
メディアプレゼンテーションが第１の空間解像度での第１のビデオデータと第２の空間解像度での第２のビデオデータとを含むと判定し、前記第２の空間解像度が前記第１の空間解像度とは異なり、
第１の再生時間に関する前記第１の空間解像度での前記第１のビデオデータの第１の部分を受信し、
前記第１の空間解像度での前記第１のビデオデータの前記第１の部分を前記ビデオデコーダに送信し、
前記第１の再生時間よりも後の第２の再生時間に関する前記第２の空間解像度での前記第２のビデオデータの第２の部分を受信し、
前記第２の空間解像度での前記第２のビデオデータの前記第２の部分を前記ビデオデコーダに送信する、ように構成されている、１つ又は複数のプロセッサと、
を備える、デバイス。
【請求項14】
前記１つ又は複数のプロセッサが、前記メディアプレゼンテーションのためのアドレス指定可能リソースインデックス（ＡＲＩ）トラックを受信し、前記ＡＲＩトラックが、前記第１の再生時間に関する前記第１の空間解像度での前記第１のビデオデータのための第１の品質と、前記第１の再生時間に関する前記第２の空間解像度での前記第２のビデオデータの第２の品質とを表すデータを含み、
前記第１の品質が前記第２の品質よりも高いと判定する、ように更に構成されており、
前記１つ又は複数のプロセッサが、前記第１の品質が前記第２の品質よりも高いと判定したことに応答して、前記第１の再生時間に関する前記第２の空間解像度での前記第２のビデオデータの代わりに、前記第１の再生時間に関する前記第１の空間解像度での前記第１のビデオデータの前記第１の部分を取り出すように構成されている、
請求項１３に記載のデバイス。
【請求項15】
前記第２の空間解像度が前記第１の空間解像度よりも高い、請求項１４に記載のデバイス。
【請求項16】
前記第１の再生時間に関する前記第１の空間解像度での前記第１のビデオデータが、前記第１の再生時間に関する前記第２の空間解像度での前記第２のビデオデータに等しいビットレートを有する、請求項１４に記載のデバイス。
【請求項17】
前記第１の品質及び前記第２の品質が、空間解像度及びビットレート以外の１つ又は複数の品質測定値を表す、請求項１４に記載のデバイス。
【請求項18】
前記ＡＲＩトラックが、前記第２の再生時間における前記第１の空間解像度での前記第１のビデオデータについての第３の品質と、前記第２の再生時間における前記第２の空間解像度での前記第２のビデオデータについての第４の品質とを表すデータを更に含み、前記１つ又は複数のプロセッサが、前記第４の品質が前記第３の品質よりも高いと判定するように更に構成されおり、前記１つ又は複数のプロセッサが、前記第４の品質が前記第３の品質よりも高いと判定したことに応答して、前記第２の再生時間に関する前記第１の空間解像度での前記第１のビデオデータの代わりに、前記第２の再生時間に関する前記第２の空間解像度での前記第２のビデオデータの前記第２の部分を取り出すように構成されている、
請求項１４に記載のデバイス。
【請求項19】
前記第１の空間解像度が前記第２の空間解像度よりも高い、請求項１８に記載のデバイス。
【請求項20】
前記第２の再生時間に関する前記第１の空間解像度での前記第１のビデオデータが、前記第２の再生時間に関する前記第２の空間解像度での前記第２のビデオデータに等しいビットレートを有する、請求項１８に記載のデバイス。
【請求項21】
前記第３の品質及び前記第４の品質が、空間解像度及びビットレート以外の１つ又は複数の品質測定値を表す、請求項１８に記載のデバイス。
【請求項22】
前記メディアプレゼンテーションが、前記第１の空間解像度での前記第１のビデオデータを含む第１の表現と、前記第２の空間解像度での前記第２のビデオデータを含む第２の表現とを含み、前記メディアプレゼンテーションが、前記第１の表現と前記第２の表現の両方を含む切り替えセットを含む、請求項１３に記載のデバイス。
【請求項23】
ブロードキャストを介して前記第１の再生時間に関する前記第１の空間解像度での前記第１のビデオデータの前記第１の部分を受信し、ブロードキャストを介して前記第１の再生時間に関する前記第１の空間解像度での前記第１のビデオデータの第１の部分をキャッシュするように構成されたミドルウェアユニットを更に備え、前記１つ又は複数のプロセッサが、前記ミドルウェアユニットから前記第１の再生時間に関する前記第１の空間解像度での前記第１のビデオデータの前記第１の部分を取り出すために、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）クライアントを実行するように構成されている、請求項１３に記載のデバイス。
【請求項24】
ブロードキャストを介して前記第２の再生時間に関する前記第２の空間解像度での前記第２のビデオデータの前記第２の部分を受信し、ブロードキャストを介して前記第２の再生時間に関する前記第２の空間解像度での前記第２のビデオデータの第２の部分をキャッシュするように構成されたミドルウェアユニットを更に備え、前記１つ又は複数のプロセッサが、前記ミドルウェアユニットから前記第２の再生時間に関する前記第２の空間解像度での前記第２のビデオデータの前記第２の部分を取り出すために、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）クライアントを実行するように構成されている、請求項１３に記載のデバイス。
【請求項25】
前記デバイスが、集積回路、
マイクロプロセッサ、
ワイヤレス通信デバイス
のうちの少なくとも１つを備える、請求項１３に記載のデバイス。
【請求項26】
命令を記憶したコンピュータ可読記憶媒体であって、前記命令は、実行されると、プロセッサに、メディアプレゼンテーションが第１の空間解像度での第１のビデオデータと第２の空間解像度での第２のビデオデータとを含むと判定させ、前記第２の空間解像度が前記第１の空間解像度とは異なり、
第１の再生時間に関する前記第１の空間解像度での前記第１のビデオデータの第１の部分を受信させ、
前記第１の空間解像度での前記第１のビデオデータの前記第１の部分をビデオデコーダに送信させ、
前記第１の再生時間よりも後の第２の再生時間に関する前記第２の空間解像度での前記第２のビデオデータの第２の部分を受信させ、
前記第２の空間解像度での前記第２のビデオデータの前記第２の部分を前記ビデオデコーダに送信させる、
コンピュータ可読記憶媒体。
【請求項27】
前記プロセッサに、前記メディアプレゼンテーションのためのアドレス指定可能リソースインデックス（ＡＲＩ）トラックを受信させ、前記ＡＲＩトラックが、前記第１の再生時間に関する前記第１の空間解像度での前記第１のビデオデータのための第１の品質と、前記第１の再生時間に関する前記第２の空間解像度での前記第２のビデオデータの第２の品質とを表すデータを含み、
前記第１の品質が前記第２の品質よりも高いと判定させる、命令を更に含み、
前記プロセッサに、前記第１の再生時間に関する前記第１の空間解像度での前記第１のビデオデータの前記第１の部分を受信させる前記命令が、前記第１の品質が前記第２の品質よりも高いと判定したことに応答して、前記プロセッサに、前記第１の再生時間に関する前記第２の空間解像度での前記第２のビデオデータの代わりに、前記第１の再生時間に関する前記第１の空間解像度での前記第１のビデオデータの前記第１の部分を取り出させる命令を含む、
請求項２６に記載のコンピュータ可読記憶媒体。
【請求項28】
前記第２の空間解像度が前記第１の空間解像度よりも高い、請求項２７に記載のコンピュータ可読記憶媒体。
【請求項29】
前記第１の再生時間に関する前記第１の空間解像度での前記第１のビデオデータが、前記第１の再生時間に関する前記第２の空間解像度での前記第２のビデオデータに等しいビットレートを有する、請求項２７に記載のコンピュータ可読記憶媒体。
【請求項30】
前記第１の品質及び前記第２の品質が、空間解像度及びビットレート以外の１つ又は複数の品質測定値を表す、請求項２７に記載のコンピュータ可読記憶媒体。
【請求項31】
前記ＡＲＩトラックが、前記第２の再生時間における前記第１の空間解像度での前記第１のビデオデータについての第３の品質と、前記第２の再生時間における前記第２の空間解像度での前記第２のビデオデータについての第４の品質とを表すデータを更に含み、前記プロセッサに、前記第４の品質が前記第３の品質よりも高いと判定させる命令を前記更に備え、前記プロセッサに、前記第２の再生時間に関する前記第２の空間解像度での前記第２のビデオデータの前記第２の部分を受信させる前記命令が、前記第４の品質が前記第３の品質よりも高いと判定したことに応答して、前記プロセッサに、前記第２の再生時間に関する前記第１の空間解像度での前記第１のビデオデータの代わりに、前記第２の再生時間に関する前記第２の空間解像度での前記第２のビデオデータの前記第２の部分を取り出させる命令を含む、
請求項２７に記載のコンピュータ可読記憶媒体。
【請求項32】
前記第１の空間解像度が前記第２の空間解像度よりも高い、請求項３１に記載のコンピュータ可読記憶媒体。
【請求項33】
前記第２の再生時間に関する前記第１の空間解像度での前記第１のビデオデータが、前記第２の再生時間に関する前記第２の空間解像度での前記第２のビデオデータに等しいビットレートを有する、請求項３１に記載のコンピュータ可読記憶媒体。
【請求項34】
前記第３の品質及び前記第４の品質が、空間解像度及びビットレート以外の１つ又は複数の品質測定値を表す、請求項３１に記載のコンピュータ可読記憶媒体。
【請求項35】
前記メディアプレゼンテーションが、前記第１の空間解像度での前記第１のビデオデータを含む第１の表現と、前記第２の空間解像度での前記第２のビデオデータを含む第２の表現とを含み、前記メディアプレゼンテーションが、前記第１の表現と前記第２の表現の両方を含む切り替えセットを含む、請求項２６に記載のコンピュータ可読記憶媒体。
【請求項36】
前記プロセッサに、前記第１の再生時間に関する前記第１の空間解像度での前記第１のビデオデータの前記第１の部分を受信させる前記命令が、前記プロセッサに、ミドルウェアユニットから、前記第１の再生時間に関する前記第１の空間解像度での前記第１のビデオデータの前記第１の部分を取り出させる命令を含む、請求項２６に記載のコンピュータ可読記憶媒体。
【請求項37】
前記プロセッサに、前記第２の再生時間に関する前記第２の空間解像度での前記第２のビデオデータの前記第２の部分を受信させる前記命令が、前記プロセッサに、ミドルウェアユニットから、前記第２の再生時間に関する前記第２の空間解像度での前記第２のビデオデータの前記第２の部分を取り出させる命令を含む、請求項２６に記載のコンピュータ可読記憶媒体。
【請求項38】
メディアデータを取り出すためのデバイスであって、メディアプレゼンテーションが第１の空間解像度での第１のビデオデータと第２の空間解像度での第２のビデオデータとを含むと判定するための手段であって、前記第２の空間解像度が前記第１の空間解像度とは異なる、手段と、
第１の再生時間に関する前記第１の空間解像度での前記第１のビデオデータの第１の部分を受信するための手段と、
前記第１の空間解像度での前記第１のビデオデータの前記第１の部分をビデオデコーダに送信するための手段と、
前記第１の再生時間よりも後の第２の再生時間に関する前記第２の空間解像度での前記第２のビデオデータの第２の部分を受信するための手段と、
前記第２の空間解像度での前記第２のビデオデータの前記第２の部分を前記ビデオデコーダに送信するための手段と、
を備える、デバイス。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、２０２２年０１月０７日に出願された米国特許出願第１７／６４７，４３５号の優先権を主張し、その内容全体が参照により本明細書に組み込まれる。
【0002】
本開示は、符号化ビデオデータの記憶及び転送に関する。
【背景技術】
【0003】
デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップコンピュータ又はデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話又は衛星無線電話、ビデオ会議デバイスなどを含む、幅広いデバイスに組み込まれ得る。デジタルビデオデバイスは、デジタルビデオ情報をより効率的に送受信するために、ＭＰＥＧ－２、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３又はＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４，Ｐａｒｔ１０、アドバンストビデオコーディング（ＡＶＣ）、ＩＴＵ－Ｔ Ｈ．２６５（高効率ビデオコーディング（ＨＥＶＣ）とも呼ばれる）によって定められた規格、及び、そのような規格の拡張に記載されているものなどのビデオ圧縮技法を実装する。
【0004】
ビデオ圧縮技法は、空間的予測及び／又は時間的予測を実施し、ビデオシーケンスに固有の冗長性を低減又は除去する。ブロックベースのビデオコーディングの場合、ビデオフレーム又はスライスがマクロブロックに区分され得る。各マクロブロックは更に区分され得る。イントラコーディングされた（Ｉ）フレーム又はスライスの中のマクロブロックは近隣のマクロブロックに関する空間的予測を使用して符号化される。インターコーディングされた（Ｐ又はＢ）フレーム又はスライスの中のマクロブロックは、同じフレーム又はスライスの中の近隣のマクロブロックに関する空間的予測又は他の参照フレームに関する時間的予測を使用し得る。
【0005】
ビデオデータが符号化された後、ビデオデータは送信又は記憶のためにパケット化されてもよい。ビデオデータは、ＡＶＣなどの国際標準化機構（ＩＳＯ：International Organization for Standardization）ベースメディアファイルフォーマット及びその拡張のような、様々な規格のうちのいずれかに準拠するビデオファイルにアセンブルされ得る。
【発明の概要】
【課題を解決するための手段】
【0006】
概して、本開示は、様々な空間解像度を有するビデオデータをストリーミングするための技法について説明する。特に、２つ以上の表現が切り替えセットに含まれ得、表現は、異なる符号化された空間解像度を有するセグメントを含み得る。例えば、ある表現は、４Ｋ解像度（３８４０×２１６０）で符号化されたビデオデータを含み得、別の表現は、１０８０ｐ解像度（１９２０×１０８０）で符号化されたビデオデータを含み得る。クライアントデバイスは、様々な表現の時間整合されたセグメントの品質値を判定し、より高い品質値を有するセグメントを取り出すことができる。
【0007】
一例では、ビデオデータを取り出す方法は、メディアプレゼンテーションが第１の空間解像度での第１のビデオデータと第２の空間解像度での第２のビデオデータとを含むと判定することであって、第２の空間解像度が第１の空間解像度とは異なる、ことと、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を受信することと、第１の空間解像度での第１のビデオデータの第１の部分をビデオデコーダに送信することと、第１の再生時間よりも後の第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を受信することと、第２の空間解像度での第２のビデオデータの第２の部分をビデオデコーダに送信することと、を含む。
【0008】
別の例では、ビデオデータを取り出すためのデバイスが、ビデオデータを記憶するように構成されたメモリと、ビデオデータを復号するように構成されたビデオデコーダと、回路機構で実装された１つ又は複数のプロセッサであって、メディアプレゼンテーションが第１の空間解像度での第１のビデオデータと第２の空間解像度での第２のビデオデータとを含むと判定し、第２の空間解像度が第１の空間解像度とは異なり、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を受信し、第１の空間解像度での第１のビデオデータの第１の部分をビデオデコーダに送信し、第１の再生時間よりも後の第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を受信し、第２の空間解像度での第２のビデオデータの第２の部分をビデオデコーダに送信する、ように構成されている、１つ又は複数のプロセッサと、を含む。
【0009】
別の例では、コンピュータ可読記憶媒体は命令を記憶しており、命令は、実行されると、プロセッサに、メディアプレゼンテーションが第１の空間解像度での第１のビデオデータと第２の空間解像度での第２のビデオデータとを含むと判定させ、第２の空間解像度が第１の空間解像度とは異なり、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を受信し、第１の空間解像度での第１のビデオデータの第１の部分をビデオデコーダに送信させ、第１の再生時間よりも後の第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を受信し、第２の空間解像度での第２のビデオデータの第２の部分をビデオデコーダに送信する、ように構成されている、１つ又は複数のプロセッサと、を含む。
【0010】
別の例では、ビデオデータを取り出すためのデバイスは、メディアプレゼンテーションが第１の空間解像度での第１のビデオデータと第２の空間解像度での第２のビデオデータとを含むと判定するための手段であって、第２の空間解像度が第１の空間解像度とは異なる、手段と、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を受信するための手段と、第１の空間解像度での第１のビデオデータの第１の部分をビデオデコーダに送信するための手段と、第１の再生時間よりも後の第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を受信するための手段と、第２の空間解像度での第２のビデオデータの第２の部分をビデオデコーダに送信するための手段と、を含む。
【0011】
１つ又は複数の例の詳細が、添付図面及び以下の説明に記載されている。他の特徴、目的、及び利点は、説明及び図面から、かつ特許請求の範囲から明らかになろう。
【図面の簡単な説明】
【0012】
【図1】ネットワークを介してメディアデータをストリーミングするための技法を実装する例示的なシステムを示すブロック図である。
【図3】例示的なマルチメディアコンテンツの要素を示す概念図である。
【図4】例示的なビデオファイルの要素を示すブロック図である。
【図5】本開示の技法による取り出し技法の例を示す概念図である。
【図6】本開示の技法による、メディアデータを取り出す例示的な方法を示すフローチャートである。
【発明を実施するための形態】
【0013】
概して、本開示は、ビデオデータをストリーミングするときにビデオ解像度間で動的に切り替えるための技法について説明する。ストリーミングビデオデータは、ユニキャストプロトコル、ブロードキャストプロトコル、又はマルチキャストプロトコルを介して実行され得る。例えば、ハイパーテキスト転送プロトコル（ＨＴＴＰ）は、例えば、動的適応ストリーミングオーバーＨＴＴＰ（Dynamic Adaptive Streaming over HTTP：ＤＡＳＨ）、ＨＴＴＰライブストリーミング（HTTP Live Streaming：ＨＬＳ）、又は他のそのようなプロトコルに従ってビデオデータをストリーミングするために使用され得る。別の例として、拡張マルチメディアブロードキャストマルチキャストサービス（ｅＭＢＭＳ）、Ｆｉｌｅ Ｄｅｌｉｖｅｒｙ ｏｖｅｒ Ｕｎｉｄｉｒｅｃｔｉｏｎａｌ Ｔｒａｎｓｐｏｒｔ（ＦＬＵＴＥ）、Ｒｅａｌ－ｔｉｍｅ Ｏｂｊｅｃｔ－ｄｅｌｉｖｅｒｙ ｏｖｅｒ Ｕｎｉｄｉｒｅｃｔｉｏｎａｌ Ｔｒａｎｓｐｏｒｔ（ＲＯＵＴＥ）、リアルタイム転送プロトコル（ＲＴＰ）、リアルタイムストリーミングプロトコル（ＲＴＳＰ）などのブロードキャスト又はマルチキャストプロトコルが、ビデオデータを配信するために使用され得る。ブロードキャストはまた、例えば電波を介してオーバージエア（over-the-air：ＯＴＡ）で実行されてもよい。いくつかの例では、ブロードキャスト又はマルチキャストプロトコルは、クライアントデバイスのミドルウェアユニットがブロードキャスト又はマルチキャストセッションに関するクライアントとして、及びＤＡＳＨ又はＨＬＳクライアントへのプロキシクライアントとして働き得るように、ＤＡＳＨ又はＨＬＳフォーマットビデオデータを配信し得る。
【0014】
デジタルビデオブロードキャスト（ＤＶＢ）は、デジタルテレビに関する規格のグループである。ＤＶＢの規格は、現在、次世代ビデオコーデックのために開発されている。ＤＶＢのための文書ＣＭ－ＡＶＣ０６２０は、「次世代ビデオコーデックのための商業的要件草案」を提供する。作業項目の主な目的は、ＴＳ １０１ １５４（ＭＰＥＧ－２ビデオ、Ｈ．２６４／ＡＶＣ、ＶＣ－１、Ｈ．２６５／ＨＥＶＣ）における既存のコーデックを超える新しいコーデックの追加に対処するが、商業的要件は、新しいフォーマット、並びにこれらのフォーマットを符号化及び消費する新しい方法にも対処する。
【0015】
ＴＳ １０１ １５４の草案は、ＩＴＵ－Ｔ Ｈ．２６６／Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＶＶＣ）符号化規格を使用する参照ピクチャリサンプリングの場合にのみ、解像度の動的変更の可能性について言及している。コンテンツの符号化のための動的解像度の使用は、既存のコーデックと共に使用されており、ビデオオンデマンド（ＶＯＤ）ストリーミングサービスのためのいくつかのストリーミングサービスによって展開されている。本開示は、ビデオデータの動的解像度がライブストリーミング又はブロードキャストサービスのためにも展開され得ることを認識している。
【0016】
本開示は、新しい符号化方式のために使用され得る動的解像度変更に関する技法について説明する。これらの技法はまた、一体型の受信器デコーダ（ＩＲＤ）のＭＰＥＧ－２システムレイヤにおいて、又はディスプレイ（例えば、テレビ）のレンダリングエンジンにおいて、復号されるピクチャのシームレスな解像度アップスケーリングを可能にする。解像度は、参照ピクチャリサンプリングがなくても、シーケンスパラメータセット（ＳＰＳ）境界において、又は参照ピクチャリサンプリングがＶＶＣにおいて使用されるときにシーケンス内で動的に変更し得る。これらの技法は、ＶＶＣ以外の将来のコーデックにおいても同様に採用され得る。本開示は、いくつかのコンテキストにおける解像度変更を制限するために適用され得るいくつかの制約を更に説明する。
【0017】
ビデオストリーミングアプリケーションでは、オーバーザトップ（ＯＴＴ）プレーヤは、セグメント境界における動的かつシームレスな解像度変更をサポートすることができる。すなわち、適応ビットレート（ＡＢＲ）符号化及びストリーミング方式では、１つのセグメントから次のセグメントへのビットレートプロファイルの切り替えは、符号化された解像度の変更を伴うこともある。ビットレートプロファイル内であっても、進化型ビデオオンデマンド（ＶＯＤ）ストリーミングサービスは、圧縮効率を改善し、帯域幅を節約するために、シーンごとに解像度を動的に変更することができる。
【0018】
動的解像度符号化テストは、様々な規格及び解像度で実行されてきた。例えば、ＩＴＵ－Ｔ Ｈ．２６４／アドバンストビデオ符号化（ＡＶＣ）ＨＤ及びＩＴＵ－Ｔ Ｈ．２６５／高効率ビデオ符号化（ＨＥＶＣ）ＵＨＤユースケースに対してヒューリスティックテストが実行されている。Ｈ．２６４／ＡＶＣ ＨＤの場合、テストされた解像度は、１９２０×１０８０ｐ、１２８０×７２０ｐ、及び９６０×５４０ｐを含んでいた。Ｈ．２６５／ＨＥＶＣ ＵＨＤの場合、テストされた解像度は、３８４０×２１６０、２５０×１４４０、及び１９２０×１０８０を含んでいた。これらのテストは、最も時間的に複雑なシーンに対してより低い解像度を使用することによって２０～２５％のビットレート節約を示したが、そのようなビットレート低減は知覚できず、必要なときに最高解像度の利点を維持することができる。
【0019】
ライブブロードキャストアプリケーションが事前に記録されたコンテンツのストリーミングと競合するために、ライブブロードキャストされるビデオコンテンツのための動的解像度符号化適応の利点を使用することが重要であり得る。ビデオデコーダ自体は動的解像度符号化ビデオデータの復号をサポートするが、ビデオデコーダバッファ内のピクチャは符号化解像度のままであってもよく、公称解像度への自動アップスケーリングは、ＭＰＥＧ－２システムレイヤにおけるＩＲＤ又はディスプレイの責任であってもよい。
【0020】
本開示の技法は、ＩＳＯベースメディアファイルフォーマット、スケーラブルビデオコーディング（ＳＶＣ）ファイルフォーマット、アドバンストビデオコーディング（ＡＶＣ）ファイルフォーマット、第３世代パートナーシッププロジェクト（３ＧＰＰ）ファイルフォーマット、及び／若しくはマルチビュービデオコーディング（ＭＶＣ）ファイルフォーマット、又は他の同様のビデオファイルフォーマットのいずれかに従ってカプセル化されたビデオデータに準拠するビデオファイルに適用され得る。
【0021】
ＨＴＴＰストリーミングにおいて、頻繁に使用される動作には、ＨＥＡＤ、ＧＥＴ、及び部分ＧＥＴがある。ＨＥＡＤ動作は、所与のユニフォームリソースロケータ（ＵＲＬ）又はユニフォームリソースネーム（ＵＲＮ）に関連付けられたペイロードを取り出さずに、ＵＲＬ又はＵＲＮに関連付けられたファイルのヘッダを取り出す。ＧＥＴ動作は、所与のＵＲＬ又はＵＲＮに関連付けられたファイル全体を取り出す。部分ＧＥＴ動作は、入力パラメータとしてバイト範囲を受信し、ファイルの連続した数のバイトを取り出し、この場合、バイトの数は受信されるバイト範囲に対応する。したがって、部分ＧＥＴ動作は１つ又は複数の個々のムービーフラグメントを取得できるので、ムービーフラグメントがＨＴＴＰストリーミングのために提供されてよい。ムービーフラグメントでは、異なるトラックのいくつかのトラックフラグメントが存在してよい。ＨＴＴＰストリーミングでは、メディアプレゼンテーションは、クライアントにとってアクセス可能なデータの構造化された集合体であり得る。クライアントは、メディアデータ情報を要求及びダウンロードして、ユーザにストリーミングサービスを提示することができる。
【0022】
ＨＴＴＰストリーミングを使用して３ＧＰＰデータをストリーミングする例では、マルチメディアコンテンツのビデオデータ及び／又はオーディオデータに関して複数の表現が存在し得る。以下で説明するように、異なる表現は、異なるコーディング特性（例えば、ビデオコーディング規格の異なるプロファイル又はレベル）、異なるコーディング規格又はコーディング規格の拡張（マルチビュー及び／若しくはスケーラブル拡張など）、あるいは異なるビットレートに対応し得る。そのような表現のマニフェストは、メディアプレゼンテーション記述（ＭＰＤ）データ構造において定義され得る。メディアプレゼンテーションは、ＨＴＴＰストリーミングクライアントデバイスにとってアクセス可能なデータの構造化された集合体に対応し得る。ＨＴＴＰストリーミングクライアントデバイスは、メディアデータ情報を要求及びダウンロードして、クライアントデバイスのユーザにストリーミングサービスを提示することができる。メディアプレゼンテーションは、ＭＰＤの更新を含み得るＭＰＤデータ構造で記述され得る。
【0023】
メディアプレゼンテーションは、１つ又は複数の期間のシーケンスを含み得る。各期間は、次の期間の開始まで、又は最後の期間の場合にはメディアプレゼンテーションの終了まで及び得る。各期間は、同じメディアコンテンツのための１つ又は複数の表現を含んでもよい。表現は、オーディオ、ビデオ、時限のテキスト、又は他のそのようなデータのいくつかの代替符号化バージョンのうちの１つであり得る。表現は、符号化のタイプ、例えば、ビデオデータのビットレート、解像度、及び／又はコーデック、並びにオーディオデータのビットレート、言語、及び／又はコーデックによって異なる場合がある。表現という用語は、マルチメディアコンテンツのある特定の期間に対応し、ある特定のやり方で符号化された、符号化オーディオデータ又は符号化ビデオデータのあるセクションを指すために使用される場合がある。
【0024】
ある特定の期間の表現は、表現が属する適応セットを示すＭＰＤ内の属性によって示されるグループに割り当てられてもよい。同じ適応セット内の表現は、一般に、クライアントデバイスが、例えば帯域幅適応を実施するためにこれらの表現の間で動的かつシームレスに切り替わることができる点で、互いに対する代替物と見なされる。例えば、ある特定の期間のビデオデータの各表現は、同じ適応セットに割り当てられてもよいので、表現のうちのいずれもが、対応する期間のマルチメディアコンテンツの、ビデオデータ又はオーディオデータなど、メディアデータを提示するように復号するために、選択されてもよい。いくつかの例では、１つの期間内のメディアコンテンツは、グループ０が存在する場合にはグループ０からの１つの表現によって表されてもよく、あるいは各々の非ゼロのグループからの最大でも１つの表現の組み合わせのいずれかによって表されてもよい。ある期間の各表現のタイミングデータは、期間の開始時間に対して表されてもよい。
【0025】
表現は１つ又は複数のセグメントを含み得る。各表現が初期化セグメントを含んでもよく、又は表現の各セグメントが自己初期化するものであってもよい。初期化セグメントは、存在するとき、表現にアクセスするための初期化情報を含んでもよい。概して、初期化セグメントは、メディアデータを含まない。セグメントは、ユニフォームリソースロケータ（ＵＲＬ）、ユニフォームリソースネーム（ＵＲＮ）、又はユニフォームリソース識別子（ＵＲＩ）のような、識別子によって一意に参照されてもよい。ＭＰＤは、各セグメントのための識別子を提供し得る。いくつかの例では、ＭＰＤはまた、ＵＲＬ、ＵＲＮ、又はＵＲＩによってアクセス可能なファイル内のセグメントのためのデータに対応し得るバイト範囲をｒａｎｇｅ属性の形態で与え得る。
【0026】
異なるタイプのメディアデータに対して実質的に同時に取り出しを行うために異なる表現が選択されてもよい。例えば、クライアントデバイスは、セグメントを取り出すオーディオ表現、ビデオ表現、及び時限のテキスト表現を選択することができる。いくつかの例では、クライアントデバイスは、帯域幅適応を実施するために特定の適応セットを選択することができる。すなわち、クライアントデバイスは、ビデオ表現を含む適応セット、オーディオ表現を含む適応セット、及び／又は時限のテキストを含む適応セットを選択することができる。代替として、クライアントデバイスは、あるタイプのメディア（例えば、ビデオ）に関する適応セットを選択し、他のタイプのメディア（例えば、オーディオ及び／又は時限のテキスト）に関する表現を直接選択することができる。
【0027】
図１は、ネットワークを介してメディアデータをストリーミングするための技法を実装する例示的なシステム１０を示すブロック図である。この例では、システム１０は、コンテンツ準備デバイス２０と、サーバデバイス６０と、クライアントデバイス４０とを含む。クライアントデバイス４０及びサーバデバイス６０は、インターネットを含み得るネットワーク７４によって通信可能に結合される。いくつかの例では、コンテンツ準備デバイス２０及びサーバデバイス６０も、ネットワーク７４又は別のネットワークによって結合されてもよく、又は直接通信可能に結合されてもよい。いくつかの例では、コンテンツ準備デバイス２０及びサーバデバイス６０は、同じデバイスを含み得る。
【0028】
図１の例では、コンテンツ準備デバイス２０は、オーディオソース２２とビデオソース２４とを備える。オーディオソース２２は、例えば、オーディオエンコーダ２６によって符号化されるべきキャプチャされたオーディオデータを表す電気信号を生成するマイクロフォンを含み得る。代替として、オーディオソース２２は、以前に記録されたオーディオデータを記憶する記憶媒体、コンピュータ化されたシンセサイザのようなオーディオデータ生成器、又はオーディオデータの任意の他のソースを備えてもよい。ビデオソース２４は、ビデオエンコーダ２８によって符号化されるべきビデオデータを生成するビデオカメラ、以前に記録されたビデオデータで符号化された記憶媒体、コンピュータグラフィックスソースのようなビデオデータ生成ユニット、又はビデオデータの任意の他のソースを備え得る。コンテンツ準備デバイス２０は必ずしも、全ての例において、サーバデバイス６０に通信可能に結合されるとは限らないが、サーバデバイス６０によって読み取られる別個の媒体にマルチメディアコンテンツを記憶する場合がある。
【0029】
生のオーディオデータ及びビデオデータは、アナログデータ又はデジタルデータを含み得る。アナログデータは、オーディオエンコーダ２６及び／又はビデオエンコーダ２８によって符号化される前にデジタル化され得る。オーディオソース２２は、話している参加者から、その参加者が話している間にオーディオデータを取得する場合があり、ビデオソース２４は、話している参加者のビデオデータを同時に取得する場合がある。他の例では、オーディオソース２２は、記憶されたオーディオデータを含むコンピュータ可読記憶媒体を備えてもよく、ビデオソース２４は、記憶されたビデオデータを含むコンピュータ可読記憶媒体を備えてもよい。このように、本開示で説明される技法は、ライブ、ストリーミング、リアルタイムオーディオ及びリアルタイムビデオデータに適用され得、又は、アーカイブされた事前に記録されたオーディオ及びビデオデータに適用され得る。
【0030】
ビデオフレームに対応するオーディオフレームは、一般に、ビデオフレーム内に含まれるビデオソース２４によってキャプチャ（又は、生成）されたビデオデータと同時に、オーディオソース２２によってキャプチャ（又は、生成）されたオーディオデータを含むオーディオフレームである。例えば、話している参加者が一般に話すことによってオーディオデータを生成している間、オーディオソース２２はオーディオデータをキャプチャし、ビデオソース２４は同時に、すなわち、オーディオソース２２がオーディオデータをキャプチャしている間に、話している参加者のビデオデータをキャプチャする。したがって、オーディオフレームは、１つ又は複数の特定のビデオフレームに時間的に対応する場合がある。したがって、ビデオフレームに対応するオーディオフレームは、一般に、オーディオデータ及びビデオデータが同時にキャプチャされた状況に対応し、その状況に対して、オーディオフレーム及びビデオフレームがそれぞれ、同時にキャプチャされたオーディオデータ及びビデオデータを含む。
【0031】
いくつかの例では、オーディオエンコーダ２６は、符号化オーディオフレームのオーディオデータが記録された時間を表す、各符号化オーディオフレームにおけるタイムスタンプを符号化することができ、同様に、ビデオエンコーダ２８は、符号化ビデオフレームのビデオデータが記録された時間を表す、各符号化ビデオフレームにおけるタイムスタンプを符号化することができる。そのような例では、ビデオフレームに対応するオーディオフレームは、タイムスタンプを含むオーディオフレーム及び同じタイムスタンプを含むビデオフレームを含み得る。コンテンツ準備デバイス２０は、オーディオエンコーダ２６及び／又はビデオエンコーダ２８がタイムスタンプを生成する場合がある内部クロック、又はオーディオソース２２及びビデオソース２４がそれぞれオーディオデータ及びビデオデータをタイムスタンプに関連付けるために使用する場合がある内部クロックを含み得る。
【0032】
いくつかの例では、オーディオソース２２は、オーディオデータが記録された時間に対応するデータをオーディオエンコーダ２６に送ってもよく、ビデオソース２４は、ビデオデータが記録された時間に対応するデータをビデオエンコーダ２８に送ることができる。いくつかの例では、オーディオエンコーダ２６は、符号化されたオーディオデータにおいて、符号化されたオーディオデータの相対的な時間順序を示すために、オーディオデータが記録された絶対的な時間を必ずしも示すとは限らないが、シーケンス識別子を符号化してもよく、同様に、ビデオエンコーダ２８も、符号化されたビデオデータの相対的な時間順序を示すためにシーケンス識別子を使用してもよい。同様に、いくつかの例では、シーケンス識別子がタイムスタンプと共にマップされるか、あるいはタイムスタンプと相関することがある。
【0033】
オーディオエンコーダ２６は、一般に、符号化されたオーディオデータのストリームを生成する一方、ビデオエンコーダ２８は、符号化されたビデオデータのストリームを生成する。データの個々の各ストリーム（オーディオかビデオかにかかわらず）は、エレメンタリストリームと呼ばれることがある。エレメンタリストリームは、表現の単一のデジタル的にコード化された（場合によっては圧縮された）コンポーネントである。例えば、表現のコード化されたビデオ又はオーディオの部分は、エレメンタリストリームであり得る。エレメンタリストリームは、ビデオファイル内にカプセル化される前に、パケット化エレメンタリストリーム（ＰＥＳ）に変換され得る。同じ表現内で、ストリームＩＤが、あるエレメンタリストリームに属するＰＥＳパケットを他のエレメンタリストリームに属するＰＥＳパケットと区別するために使用され得る。エレメンタリストリームのデータの基本単位は、パケット化エレメンタリストリーム（ＰＥＳ）パケットである。したがって、コード化ビデオデータは、一般に、エレメンタリビデオストリームに対応する。同様に、オーディオデータは、１つ又は複数のそれぞれのエレメンタリストリームに対応する。
【0034】
ＩＴＵ－Ｔ Ｈ．２６４／ＡＶＣ及び今度の高効率ビデオコーディング（ＨＥＶＣ）規格など、多くのビデオコーディング規格は、エラーのないビットストリームのためのシンタックス、意味論、及び復号プロセスを定義し、それらのいずれもが、一定のプロファイル又はレベルに準拠する。ビデオコーディング規格は、典型的にはエンコーダを規定しないが、エンコーダは、生成されたビットストリームがデコーダのための規格に準拠することを保証する役割を課される。ビデオコーディング規格のコンテキストでは、「プロファイル」は、アルゴリズム、特徴、又はツールのサブセット、及びこれらに適用される制約に対応する。Ｈ．２６４規格によって定義されるように、例えば、「プロファイル」は、Ｈ．２６４規格によって指定される全体のビットストリームシンタックスのサブセットである。「レベル」は、例えば、デコーダメモリ及び計算のような、デコーダのリソース消費の制限に対応し、これは、ピクチャの解像度、ビットレート、及びブロック処理速度に関連する。プロファイルは、ｐｒｏｆｉｌｅ＿ｉｄｃ（プロファイルインジケータ）値によってシグナリングされ得るが、レベルは、ｌｅｖｅｌ＿ｉｄｃ（レベルインジケータ）値によってシグナリングされ得る。
【0035】
例えば、所与のプロファイルのシンタックスによって課される範囲内で、復号されるピクチャの指定されたサイズのようなビットストリーム内のシンタックス要素のとる値に応じて、エンコーダ及びデコーダの性能に大きい変動を求めることが依然として可能であることを、Ｈ．２６４規格は認める。多くの適用例において、特定のプロファイル内のシンタックスの全ての仮想的な使用を扱うことが可能なデコーダを実装するのは、現実的でも経済的でもないことを、Ｈ．２６４規格は更に認める。したがって、Ｈ．２６４規格は、ビットストリーム内のシンタックス要素の値に課される制約の指定されたセットとして、「レベル」を定義する。これらの制約は、値に対する単純な制限であってもよい。代替として、これらの制約は、値の算術的な組み合わせの制約の形式（例えば、１秒当たりに復号されるピクチャの数と、ピクチャの高さと、ピクチャの幅との積）をとってもよい。個々の実装形態が、サポートされるプロファイルごとに異なるレベルをサポートしてもよいことを、Ｈ．２６４規格は更に規定する。
【0036】
プロファイルに準拠するデコーダは、普通、プロファイル内で定義される全ての特徴をサポートする。例えば、コーディング特徴として、Ｂピクチャコーディングは、Ｈ．２６４／ＡＶＣのベースラインプロファイルではサポートされないが、Ｈ．２６４／ＡＶＣの他のプロファイルではサポートされる。あるレベルに準拠するデコーダは、レベル内で定義された制限を超えるリソースを要求しない、あらゆるビットストリームを復号することが可能であるべきである。プロファイル及びレベルの定義は、説明可能性のために有用であり得る。例えば、ビデオ送信中、プロファイル及びレベルの定義のペアが、送信セッション全体に対して取り決められ合意され得る。より具体的には、Ｈ．２６４／ＡＶＣにおいて、レベルは、処理される必要があるマクロブロックの数、復号ピクチャバッファ（ＤＰＢ）のサイズ、コード化ピクチャバッファ（ＣＰＢ）のサイズ、垂直方向の運動ベクトルの範囲、２つの連続するＭＢ当たりの運動ベクトルの最大の数に対する制限、及び、Ｂブロックが８×８ピクセルよりも小さいサブマクロブロック区分を有し得るかどうかを定義することができる。このようにして、デコーダは、デコーダが適切にビットストリームを復号できるかどうかを判定することができる。
【0037】
図１の例では、コンテンツ準備デバイス２０のカプセル化ユニット３０は、ビデオエンコーダ２８からのコード化ビデオデータを含むエレメンタリストリームと、オーディオエンコーダ２６からのコード化オーディオデータを含むエレメンタリストリームとを受信する。いくつかの例では、ビデオエンコーダ２８及びオーディオエンコーダ２６は各々、符号化データからＰＥＳパケットを形成するためのパケタイザを含む場合がある。他の例では、ビデオエンコーダ２８及びオーディオエンコーダ２６は各々、符号化データからＰＥＳパケットを形成するためのそれぞれのパケタイザとインターフェースをとる場合がある。更に他の例では、カプセル化ユニット３０は、符号化オーディオデータ及び符号化ビデオデータからＰＥＳパケットを形成するためのパケタイザを含む場合がある。
【0038】
ビデオエンコーダ２８は、種々の方法でマルチメディアコンテンツのビデオデータを符号化して、ピクセル解像度、フレームレート、様々な符号化規格に対する準拠、様々な符号化規格のための様々なプロファイル及び／又はプロファイルのレベルに対する準拠、１つ又は複数の表示を有する表現（例えば、２次元又は３次元の再生のための）、あるいは他のそのような特性のような、様々な特性を有する様々なビットレートのマルチメディアコンテンツの様々な表現を生成することができる。本開示で使用する表現は、オーディオデータ、ビデオデータ、（例えば、クローズドキャプション用の）テキストデータ、又は他のそのようなデータのうちの１つを含み得る。この表現は、オーディオエレメンタリストリーム又はビデオエレメンタリストリームなどのエレメンタリストリームを含み得る。各ＰＥＳパケットは、ＰＥＳパケットが属するエレメンタリストリームを識別するｓｔｒｅａｍ＿ｉｄを含み得る。カプセル化ユニット３０は、様々な表現のビデオファイル（例えば、セグメント）へとエレメンタリストリームをアセンブルする役割を担う。
【0039】
カプセル化ユニット３０は、オーディオエンコーダ２６及びビデオエンコーダ２８から表現のエレメンタリストリームのためのＰＥＳパケットを受信し、ＰＥＳパケットから対応するネットワークアブストラクション層（ＮＡＬ）ユニットを形成する。コード化ビデオセグメントはＮＡＬユニットへと編成されてもよく、ＮＡＬユニットは、ビデオ電話、記憶、ブロードキャスト、又はストリーミングのような、「ネットワークフレンドリ」なビデオ表現のアドレッシング適用を実現する。ＮＡＬユニットは、ビデオコーディングレイヤ（ＶＣＬ：Video Coding Layer）ＮＡＬユニット及び非ＶＣＬ ＮＡＬユニットに分類されることができる。ＶＣＬユニットは、コア圧縮エンジンを含み得、ブロック、マクロブロック、及び／又はスライスレベルのデータを含み得る。他のＮＡＬユニットは、非ＶＣＬ ＮＡＬユニットであり得る。いくつかの例では、１つの時間インスタンスにおけるコード化ピクチャは、通常は一次コード化ピクチャとして提示され、１つ又は複数のＮＡＬユニットを含み得るアクセスユニット内に包含され得る。
【0040】
非ＶＣＬ ＮＡＬユニットは、特に、パラメータセットのＮＡＬユニット及びＳＥＩ ＮＡＬユニットを含み得る。パラメータセットは、（シーケンスパラメータセット（ＳＰＳ）内に）シーケンスレベルヘッダ情報を包含し、（ピクチャパラメータセット（ＰＰＳ）内に）頻繁には変化しないピクチャレベルヘッダ情報を包含し得る。パラメータセット（例えば、ＰＰＳ及びＳＰＳ）がある場合、まれに変化する情報がシーケンスごと又はピクチャごとに繰り返される必要はなく、したがって、コーディング効率が改善され得る。更に、パラメータセットの使用が、重要なヘッダ情報の帯域外送信を有効化することができ、エラーの復元のための冗長な送信の必要がなくなる。帯域外送信の例では、パラメータセットのＮＡＬユニットが、ＳＥＩ ＮＡＬユニットなどの他のＮＡＬユニットとは異なるチャネル上で送信され得る。
【0041】
補足強調情報（ＳＥＩ）は、ＶＣＬ ＮＡＬユニットからコード化ピクチャサンプルを復号するために必要ではない情報を包含し得るが、復号、表示、エラーの復元、及び他の目的に関係するプロセスを支援し得る。ＳＥＩメッセージは、非ＶＣＬ ＮＡＬユニットに包含され得る。ＳＥＩメッセージは、いくつかの標準仕様の規範的部分であり、したがって、規格に準拠するデコーダの実装において常に必須であるとは限らない。ＳＥＩメッセージは、シーケンスレベルＳＥＩメッセージ又はピクチャレベルＳＥＩメッセージであり得る。いくつかのシーケンスレベル情報は、ＳＶＣの例におけるスケーラビリティ情報ＳＥＩメッセージ及びＭＶＣにおけるビュースケーラビリティ情報ＳＥＩメッセージなどのＳＥＩメッセージ内に包含され得る。これらの例示的なＳＥＩメッセージは、例えば、動作点の抽出及び動作点の特性に関する情報を伝達することができる。加えて、カプセル化ユニット３０は、表現の特性を記述するメディアプレゼンテーション記述（ＭＰＤ）などのマニフェストファイルを形成することができる。カプセル化ユニット３０は、拡張可能マークアップ言語（ＸＭＬ）に従ってＭＰＤをフォーマットすることができる。
【0042】
カプセル化ユニット３０は、マニフェストファイル（例えば、ＭＰＤ）と共に、マルチメディアコンテンツの１つ又は複数の表現のためのデータを出力インターフェース３２に提供し得る。出力インターフェース３２は、ネットワークインターフェース若しくはユニバーサルシリアルバス（ＵＳＢ）インターフェース、ＣＤ若しくはＤＶＤのライター若しくはバーナー、磁気記憶媒体若しくはフラッシュ記憶媒体へのインターフェースのような記憶媒体へ書き込むためのインターフェース、又は、メディアデータを記憶若しくは送信するための他のインターフェースを含み得る。カプセル化ユニット３０は、マルチメディアコンテンツの表現のそれぞれの表現のデータを出力インターフェース３２に提供することができ、出力インターフェース３２は、ネットワーク送信又は記憶媒体を介してデータをサーバデバイス６０に送ることができる。図１の例では、サーバデバイス６０は、各々が個別のマニフェストファイル６６と１つ又は複数の表現６８Ａ～６８Ｎ（表現６８）とを含む様々なマルチメディアコンテンツ６４を記憶する記憶媒体６２を含む。いくつかの例では、出力インターフェース３２はネットワーク７４にデータを直接送ることもできる。
【0043】
いくつかの例では、表現６８は、適応セットへと分割されてもよい。すなわち、表現６８の様々なサブセットは、コーデック、プロファイル及びレベル、解像度、ビューの数、セグメントのファイルフォーマット、例えば話者による、復号され提示されるべき表現及び／又はオーディオデータと共に表示されるべきテキストの言語又は他の特性を識別する場合があるテキストタイプ情報、カメラの角度又は適応セット内の表現のシーンの現実世界のカメラの視野を表す場合があるカメラ角度情報、特定の視聴者に対するコンテンツの適合性を表すレーティング情報などのような、特性のそれぞれの共通のセットを含み得る。
【0044】
マニフェストファイル６６は、特定の適応セットに対応する表現６８のサブセットを示すデータ、並びに適応セットの共通の特性を含み得る。マニフェストファイル６６はまた、適応セットの個々の表現のための、ビットレートのような個々の特性を表すデータを含み得る。このようにして、適応セットは、簡略化されたネットワーク帯域幅適応を可能にする場合がある。適応セット内の表現は、マニフェストファイル６６の適応セット要素の子要素を使用して示されてもよい。
【0045】
サーバデバイス６０は、要求処理ユニット７０とネットワークインターフェース７２とを含む。いくつかの例では、サーバデバイス６０は、複数のネットワークインターフェースを含み得る。更に、サーバデバイス６０の機能のうちのいずれか又は全てが、ルータ、ブリッジ、プロキシデバイス、スイッチ、又は他のデバイスのような、コンテンツ配信ネットワークの他のデバイス上で実装され得る。いくつかの例では、コンテンツ配信ネットワークの中間デバイスは、マルチメディアコンテンツ６４のデータをキャッシュし、サーバデバイス６０の構成要素に実質的に準拠する構成要素を含み得る。概して、ネットワークインターフェース７２は、ネットワーク７４を介してデータを送受信するように構成される。
【0046】
要求処理ユニット７０は、記憶媒体６２のデータに対するネットワーク要求をクライアントデバイス４０のようなクライアントデバイスから受信するように構成される。例えば、要求処理ユニット７０は、Ｒ．Ｆｉｅｌｄｉｎｇ他による、ＲＦＣ ２６１６、「Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ－ＨＴＴＰ／１．１」、Ｎｅｔｗｏｒｋ Ｗｏｒｋｉｎｇ Ｇｒｏｕｐ、ＩＥＴＦ、１９９９年６月に記述されるような、ハイパーテキスト転送プロトコル（ＨＴＴＰ）バージョン１．１を実装する場合がある。すなわち、要求処理ユニット７０は、ＨＴＴＰ ＧＥＴ又は部分ＧＥＴ要求を受信して、それらの要求に応答して、マルチメディアコンテンツ６４のデータを提供するように構成され得る。要求は、例えば、セグメントのＵＲＬを使用して、表現６８のうちの１つのセグメントを指定することができる。いくつかの例では、要求はまた、セグメントの１つ又は複数のバイト範囲を指定することができ、したがって、部分ＧＥＴ要求を含む。要求処理ユニット７０は更に、表現６８のうちの１つのセグメントのヘッダデータを提供するために、ＨＴＴＰ ＨＥＡＤ要求に対応するように構成されてよい。いずれの場合でも、要求処理ユニット７０は、クライアントデバイス４０のような要求デバイスに、要求されたデータを提供するために、要求を処理するように構成され得る。
【0047】
追加又は代替として、要求処理ユニット７０は、ｅＭＢＭＳなどのブロードキャスト又はマルチキャストプロトコルを介してメディアデータを配信するように構成され得る。コンテンツ準備デバイス２０は、ＤＡＳＨセグメント及び／又はサブセグメントを、説明したのと実質的に同じ方法で作成することができるが、サーバデバイス６０は、これらのセグメント又はサブセグメントを、ｅＭＢＭＳ又は別のブロードキャスト若しくはマルチキャストのネットワークトランスポートプロトコルを使用して配信することができる。例えば、要求処理ユニット７０は、クライアントデバイス４０からマルチキャストグループ参加要求を受信するように構成され得る。すなわち、サーバデバイス６０は、マルチキャストグループと関連付けられたインターネットプロトコル（ＩＰ）アドレスを、クライアントデバイス４０を含む、特定のメディアコンテンツ（例えば、ライブイベントのブロードキャスト）と関連付けられたクライアントデバイスに広告することができる。次に、クライアントデバイス４０は、マルチキャストグループに加わるための要求を提出することができる。この要求は、ルータがマルチキャストグループに関連付けられたＩＰアドレス宛のトラフィックをクライアントデバイス４０などの加入クライアントデバイスに向けるように、ネットワーク７４中、例えば、ネットワーク７４を構成するルータに伝搬され得る。
【0048】
図１の例に示すように、マルチメディアコンテンツ６４は、メディアプレゼンテーション記述（ＭＰＤ）に対応する場合があるマニフェストファイル６６を含む。マニフェストファイル６６は、様々な代替の表現６８（例えば、品質が異なるビデオサービス）の記述を包含してよく、この記述は、例えば、コーデック情報、プロファイル値、レベル値、ビットレート、及び表現６８の他の説明のための特性を含み得る。クライアントデバイス４０は、メディアプレゼンテーションのＭＰＤを取り出して、表現６８のセグメントにどのようにアクセスするかを判定することができる。
【0049】
具体的には、取り出しユニット５２は、クライアントデバイス４０の構成データ（図示せず）を取り出して、ビデオデコーダ４８の復号能力及びビデオ出力部４４のレンダリング能力を判定することができる。構成データはまた、クライアントデバイス４０のユーザによって選択される言語の選好、クライアントデバイス４０のユーザによって設定される深さの選好に対応する１つ又は複数のカメラ視野、及び／あるいは、クライアントデバイス４０のユーザによって選択されるレーティングの選好のいずれか又は全てを含み得る。取り出しユニット５２は、例えば、ＨＴＴＰ ＧＥＴ及び部分ＧＥＴ要求を提出するように構成されたウェブブラウザ又はメディアクライアントを備え得る。取り出しユニット５２は、クライアントデバイス４０の１つ又は複数のプロセッサ又は処理ユニット（図示せず）によって実行されるソフトウェア命令に対応し得る。いくつかの例では、取り出しユニット５２に関して説明した機能性の全て又は一部は、ハードウェア、又は、ハードウェア、ソフトウェア、及び／若しくはファームウェアの組み合わせで実装されてよく、この場合、必須のハードウェアは、ソフトウェア又はファームウェアのための命令を実行するために提供され得る。
【0050】
取り出しユニット５２は、クライアントデバイス４０の復号能力及びレンダリング能力を、マニフェストファイル６６の情報によって示される表現６８の特性と比較することができる。取り出しユニット５２は、表現６８の特性を判定するために、マニフェストファイル６６の少なくとも一部分を最初に取り出し得る。例えば、取り出しユニット５２は、１つ又は複数の適応セットの特性について説明する、マニフェストファイル６６の一部分を要求する場合がある。取り出しユニット５２は、クライアントデバイス４０のコーディング能力及びレンダリング能力によって満たされ得る特性を有する、表現６８のサブセット（例えば、適応セット）を選択することができる。取り出しユニット５２は、次いで、適応セット内の表現に対するビットレートを判定し、ネットワーク帯域幅の現在利用可能な量を判定し、ネットワーク帯域幅によって満たされ得るビットレートを有する表現のうちの１つからセグメントを取り出すことができる。
【0051】
概して、表現のビットレートが高くなると、ビデオ再生の品質が高くなる一方、表現のビットレートが低くなると、利用可能なネットワーク帯域幅が縮小したときに、ビデオ再生の品質が十分なものになる場合がある。したがって、利用可能なネットワーク帯域幅が比較的高いときには、取り出しユニット５２は、ビットレートが比較的高い表現からデータを取り出すことができ、利用可能なネットワーク帯域幅が低いときには、取り出しユニット５２は、ビットレートが比較的低い表現からデータを取り出すことができる。このようにして、クライアントデバイス４０は、ネットワーク７４を介してマルチメディアデータをストリーミングすることができる一方、ネットワーク７４の変化するネットワーク帯域幅の利用可能性に適応することもできる。
【0052】
追加又は代替として、取り出しユニット５２は、ブロードキャスト、又はｅＭＢＭＳ若しくはＩＰマルチキャストなどのマルチキャストネットワークプロトコルに従ってデータを受信するように構成され得る。そのような例では、取り出しユニット５２は、特定のメディアコンテンツに関連付けられたマルチキャストネットワークグループに加わるための要求を提出することができる。取り出しユニット５２は、マルチキャストグループに加わった後、サーバデバイス６０又はコンテンツ準備デバイス２０に更なる要求を発行することなしに、マルチキャストグループのデータを受信することができる。取り出しユニット５２は、例えば、再生を停止するために、又は、チャネルを異なるマルチキャストグループに変更するために、マルチキャストグループのデータがもはや必要とされないとき、マルチキャストグループを出るための要求を提出することができる。
【0053】
ネットワークインターフェース５４は、選択された表現のセグメントのデータを受信し、取り出しユニット５２に提供することができ、次に、取り出しユニット５２は、セグメントをカプセル化解除ユニット５０に提供することができる。カプセル化解除ユニット５０は、ビデオファイルの要素を、構成要素であるＰＥＳストリームへとカプセル化解除し、ＰＥＳストリームをパケット化解除して符号化されたデータを取り出し、例えば、ストリームのＰＥＳパケットヘッダによって示されるように、符号化されたデータがオーディオストリームの一部かビデオストリームの一部かに応じて、符号化されたデータをオーディオデコーダ４６又はビデオデコーダ４８のいずれかに送ることができる。オーディオデコーダ４６は、符号化されたオーディオデータを復号し、復号されたオーディオデータをオーディオ出力部４２に送る一方、ビデオデコーダ４８は、符号化されたビデオデータを復号し、ストリームの複数のビューを含み得る復号されたビデオデータをビデオ出力部４４に送る。
【0054】
ビデオエンコーダ２８、ビデオデコーダ４８、オーディオエンコーダ２６、オーディオデコーダ４６、カプセル化ユニット３０、取り出しユニット５２、及びカプセル化解除ユニット５０は各々、適用できる場合は、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理回路機構、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組み合わせなど、様々な適切な処理回路機構のいずれかとして実装され得る。ビデオエンコーダ２８及びビデオデコーダ４８の各々が、１つ又は複数のエンコーダ又はデコーダに含まれることがあり、これらのいずれもが、複合ビデオエンコーダ／デコーダ（コーデック）の一部として統合されることがある。同様に、オーディオエンコーダ２６及びオーディオデコーダ４６の各々は、１つ又は複数のエンコーダ又はデコーダ内に含まれてよく、これらのいずれもが、複合コーデックの一部として統合され得る。ビデオエンコーダ２８、ビデオデコーダ４８、オーディオエンコーダ２６、オーディオデコーダ４６、カプセル化ユニット３０、取り出しユニット５２、及び／又はカプセル化解除ユニット５０を含む装置は、集積回路、マイクロプロセッサ、及び／又はセルラー電話のようなワイヤレス通信デバイスを含み得る。
【0055】
クライアントデバイス４０、サーバデバイス６０、及び／又はコンテンツ準備デバイス２０は、本開示の技法に従って動作するように構成され得る。例として、本開示は、クライアントデバイス４０及びサーバデバイス６０に関するこれらの技法について説明する。しかしながら、コンテンツ準備デバイス２０は、サーバデバイス６０の代わりに（又は、それに加えて）これらの技法を実施するように構成され得ることを理解されたい。
【0056】
カプセル化ユニット３０は、ＮＡＬユニットが属するプログラム、並びにペイロード、例えばオーディオデータ、ビデオデータ、又はＮＡＬユニットが対応するトランスポート若しくはプログラムストリームを記述するデータを識別するヘッダを含むＮＡＬユニットを形成してもよい。例えば、Ｈ．２６４／ＡＶＣにおいて、ＮＡＬユニットは、１バイトのヘッダ及び可変サイズのペイロードを含む。そのペイロード内にビデオデータを含むＮＡＬユニットは、ビデオデータの様々な粒度レベルを含み得る。例えば、ＮＡＬユニットは、ビデオデータのブロック、複数のブロック、ビデオデータのスライス、又はビデオデータのピクチャ全体を含み得る。カプセル化ユニット３０は、ビデオエンコーダ２８からの符号化ビデオデータをエレメンタリストリームのＰＥＳパケットの形で受信することができる。カプセル化ユニット３０は、各エレメンタリストリームを対応するプログラムに関連付けることができる。
【0057】
カプセル化ユニット３０はまた、複数のＮＡＬユニットからアクセスユニットをアセンブルすることができる。概して、アクセスユニットは、ビデオデータのフレームを表すための１つ又は複数のＮＡＬユニットと、そのフレームに対応するオーディオデータが利用可能なとき、そのようなオーディオデータとを備え得る。アクセスユニットは、一般に、１つの出力時間インスタンスに対する全てのＮＡＬユニット、例えば、１つの時間インスタンスに対する全てのオーディオデータ及びビデオデータを含む。例えば、各ビューが毎秒２０フレーム（ｆｐｓ）のフレームレートを有する場合、各時間インスタンスは、０．０５秒の時間間隔に対応する場合がある。この時間間隔中、同じアクセスユニット（同じ時間インスタンス）の全てのビューに対する特定のフレームは、同時にレンダリングされ得る。一例では、アクセスユニットは、コード化された一次ピクチャとして提示される場合がある、１つの時間インスタンス内のコーディングされたピクチャを含み得る。
【0058】
したがって、アクセスユニットは、共通の時間インスタンスの全てのオーディオフレーム及びビデオフレーム、例えば、時間Ｘに対応する全てのビューを含み得る。本開示はまた、特定のビューの符号化されたピクチャを「ビューコンポーネント（view component）」と呼ぶ。すなわち、ビューコンポーネントは、特定の時間における特定のビューに対する符号化されたピクチャ（又はフレーム）を含み得る。したがって、アクセスユニットは、共通の時間インスタンスの全てのビューコンポーネントを含むものとして定義され得る。アクセスユニットの復号順序は、必ずしも出力又は表示の順序と同じである必要はない。
【0059】
メディアプレゼンテーションは、異なる代替表現（例えば、異なる品質を有するビデオサービス）の記述を含む場合があるメディアプレゼンテーション記述（ＭＰＤ）を含んでもよく、記述は、例えば、コーデック情報、プロファイル値、及びレベル値を含み得る。ＭＰＤは、マニフェストファイル６６など、マニフェストファイルの一例である。クライアントデバイス４０は、メディアプレゼンテーションのＭＰＤを取り出して、様々なプレゼンテーションのムービーフラグメントにどのようにアクセスするかを判定することができる。ムービーフラグメントは、ビデオファイルのムービーフラグメントボックス（ｍｏｏｆボックス）内に配置され得る。
【0060】
マニフェストファイル６６（例えば、ＭＰＤを含み得る）は、表現６８のセグメントの可用性を広告することができる。すなわち、ＭＰＤは、表現６８のうちの１つの第１のセグメントが利用可能になる壁時計時間を示す情報、並びに表現６８内のセグメントの持続時間を示す情報を含み得る。このようにして、クライアントデバイス４０の取り出しユニット５２は、開始時間並びに特定のセグメントに先行するセグメントの持続時間に基づいて、各セグメントが利用可能であるときを判断することができる。
【0061】
カプセル化ユニット３０が、受信されたデータに基づいてＮＡＬユニット及び／又はアクセスユニットをビデオファイルにアセンブルした後、カプセル化ユニット３０は、ビデオファイルを出力のために出力インターフェース３２に渡す。いくつかの例では、カプセル化ユニット３０は、ビデオファイルを直接クライアントデバイス４０に送る代わりに、ビデオファイルをローカルに記憶するか、又は出力インターフェース３２を介してビデオファイルをリモートサーバに送ることができる。出力インターフェース３２は、例えば、送信機、トランシーバ、例えば、光学ドライブ、磁気媒体ドライブ（例えば、フロッピードライブ）などのコンピュータ可読媒体にデータを書き込むためのデバイス、ユニバーサルシリアルバス（ＵＳＢ）ポート、ネットワークインターフェース、又は他の出力インターフェースを含み得る。出力インターフェース３２は、例えば、送信信号、磁気媒体、光学媒体、メモリ、フラッシュドライブ、又は他のコンピュータ可読媒体など、コンピュータ可読媒体にビデオファイルを出力する。
【0062】
ネットワークインターフェース５４は、ネットワーク７４を介してＮＡＬユニット又はアクセスユニットを受信することができ、ＮＡＬユニット又はアクセスユニットを取り出しユニット５２を介してカプセル化解除ユニット５０に提供することができる。カプセル化解除ユニット５０は、ビデオファイルの要素を、構成成分であるＰＥＳストリームへとカプセル化解除し、それらＰＥＳストリームをパケット化解除して符号化されたデータをリトリーブし、及び、例えばストリームのＰＥＳパケットヘッダによって示される、その符号化されたデータがオーディオストリームの一部か又はビデオストリームの一部かということに応じて、オーディオデコーダ４６あるいはビデオデコーダ４８のいずれかに、その符号化されたデータを送り得る。オーディオデコーダ４６は、符号化されたオーディオデータを復号し、復号されたオーディオデータをオーディオ出力部４２に送る一方、ビデオデコーダ４８は、符号化されたビデオデータを復号し、ストリームの複数のビューを含み得る復号されたビデオデータをビデオ出力部４４に送る。
【0063】
本開示の技法によれば、コンテンツ準備デバイス２０は、異なる空間解像度を有する切り替えセット中の複数の表現を含むメディアプレゼンテーションを準備することができる。例えば、表現６８Ａは３８４０×２１６０の解像度を有することができ、表現６８Ｎは１９２０×１０８０の解像度を有することができる。コンテンツ準備デバイス２０は、（例えば、アドレス指定可能リソースインデックス（ＡＲＩ）トラックのｑｕａｌｉｔｙ＿ｉｄｅｎｔｉｆｉｅｒ値を使用して）表現６８のセグメント（又はセグメントのチャンク）のための品質値を広告する、切り替えセットのためのＡＲＩトラックを更に構築し得る。ＩＳＯ／ＩＥＣ ２３００９－１：２０２１／Ａｍｄ．１は、ｑｕａｌｉｔｙ＿ｉｄｅｎｔｉｆｉｅｒを含むＡＲＩトラックの１つの例示的な定義を含む。２つの解像度のビットレートは実質的に同様又は同一（すなわち、同じ）であり得るので、品質値は、一般に、空間解像度及びビットレート以外の品質のメトリックを表し得る。
【0064】
より低い解像度のビデオデータに対してより高いビットレートを可能にすることは、場合によっては、より高い解像度のビデオデータよりも、より低い解像度のビデオデータに対してより高い品質をもたらし得る。例えば、グローバルカメラの視野における多くの変化を伴う非常に動的なシーンの場合、所与のビットレートにおいてより低い解像度で符号化されたビデオデータは、同じビットレートにおいてより高い解像度で符号化されたビデオデータよりも高い品質を有し得る。すなわち、ビデオシーケンスに対して多くのグローバルカメラの視野変化が発生するとき、より多くのイントラ予測符号化フレーム（Ｉフレーム）が必要とされ得、これは、シーンに割り振られた比較的大量のビット予算を消費し得る。より高い解像度のＩフレームを符号化するためには、更に多数のビットが必要とされる。したがって、同じビット予算に対して、より高い解像度のビデオに対するよりも、より低い解像度のビデオに対する後続のインター予測符号化フレーム（例えば、Ｐフレーム及びＢフレーム）を符号化するために、より多くのビットが利用可能になる。したがって、同じビットレートが使用されると仮定すると、より高い解像度におけるよりもより低い解像度におけるそのようなシーンに対して、より高い全体的な品質が予想され得る。
【0065】
したがって、クライアントデバイス４０の取り出しユニット５２は、２つの異なる表現から同じ再生時間に対応する２つのセグメント又はチャンクについての品質値を取得し得る。取り出しユニット５２はまた、より低い解像度の表現のセグメント又はチャンクについての品質値が、より高い解像度の表現のセグメント又はチャンクについての品質値よりも高いかどうかを判定し得る。より低い解像度の表現のセグメント又はチャンクがより高い品質値を有する場合、取り出しユニット５２は、より低い解像度の表現のセグメント又はチャンクを取り出し、そのセグメント又はチャンクをビデオデコーダ４８に与え得る。一方、より高い解像度の表現のセグメント又はチャンクがより高い品質値を有する場合、取り出しユニット５２は、より低い解像度の表現のセグメント又はチャンクを取り出し、そのセグメント又はチャンクをビデオデコーダ４８に与え得る。取り出しユニット５２は、同様に、メディアプレゼンテーションの再生全体を通して各セグメント又はチャンクの品質値を分析することができ、したがって、様々な時間に低解像度表現と高解像度表現との間で切り替えることができる。
【0066】
言い換えれば、Ｈ．２６６／ＶＶＣ符号化されたビデオデータなどのいくつかのシナリオでは、動的解像度符号化の利点は、ビデオオンデマンド（ＶＯＤ）サービスによって実証されている。本開示は、これらの利点がブロードキャスト配信を使用して実現され得ることを認識する。すなわち、本開示の技法によれば、クライアントデバイス４０は、ブロードキャストを介してメディアストリームを受信し、メディアストリーム中に含まれるビデオデータの２つの異なる解像度の間で、例えば、符号化されたビデオデータのための異なる空間解像度を含む表現の間で解像度変更を実行し得る。ＤＶＢ ＤＡＳＨアプリケーションの場合、そのような解像度変更は、セグメント境界におけるプロファイル内でサポートされ得る。
【0067】
本開示は、動的解像度変更が、ＶＶＣ符号化ストリームにおける参照ピクチャリサンプリングの使用に限定される必要がないことを更に認識する。同様に、変更を２つの符号化された解像度間に限定する必要はない。いくつかの例では、２を超える複数の解像度がサポートされ得る。例えば、ＶＶＣ ＨＤＲ ＵＨＤＴＶ－１ ＩＲＤは、３８４０×２１６０、２５６０×１４４０、１９２０×１０８０、１２８０×７２０という解像度のリスト内の任意の解像度の間で切り替わるように構成され得る。別の例として、ＶＶＣ ＨＤＲ ＵＨＤＴＶ－２ ＩＲＤは、７６８０×４３２０、５１２０×２８８０、３８４０×２１６０、２５６０×１４４０、１９２０×１０８０、１２８０×７２０という解像度のリスト内の任意の解像度間で切り替わるように構成され得る。
【0068】
本開示はまた、解像度変更が比較的頻繁に起こり得ることを認識する。例えば、（例えば、ピクチャパラメータセット（ＰＰＳ）のシンタックス要素ｓｐｓ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ及びｓｐｓ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓの値によって示されるような）ピクチャ解像度が各ＤＶＢランダムアクセスポイント（ＲＡＰ）において変更される場合、ピクチャ解像度の２つの連続する変更が、２秒分の再生時間よりもはるかに高い頻度で起こり得る。本開示の技法はまた、入力符号化ビデオデータのための解像度変更を正しく処理することができるが、より低い解像度のビデオデータを表示のための所定の最大解像度（例えば、ビデオデータが出力されるディスプレイに一致する解像度）にアップサンプリングすることもできるビデオデコーダを前提とし得る。このようにして、表示されたビデオデータは、たとえ入力符号化ビデオデータの解像度が変化しても同じ解像度を有することになり、それによってユーザが解像度変更を観察することが防止され得る。
【0069】
このようにして、クライアントデバイス４０は、メディアデータを取り出すためのデバイスの一例を表し、デバイスは、ビデオデータを記憶するように構成されたメモリと、ビデオデータを復号するように構成されたビデオデコーダと、回路機構で実装された１つ又は複数のプロセッサであって、メディアプレゼンテーションが第１の空間解像度での第１のビデオデータと第２の空間解像度での第２のビデオデータとを含むと判定し、第２の空間解像度が第１の空間解像度とは異なり、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を受信し、第１の空間解像度での第１のビデオデータの第１の部分をビデオデコーダに送信し、第１の再生時間よりも後の第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を受信し、第２の空間解像度での第２のビデオデータの第２の部分をビデオデコーダに送信する、ように構成されている、１つ又は複数のプロセッサと、を含む。
【0070】
図２は、図１の取り出しユニット５２の構成要素の例示的なセットをより詳細に示すブロック図である。この例では、取り出しユニット５２は、デジタルビデオブロードキャスト（ＤＶＢ）ミドルウェアユニット１００、ＤＡＳＨクライアント１１０、及びメディアアプリケーション１１２を含む。
【0071】
この例では、ＤＶＢミドルウェアユニット１００は、ＤＶＢ受信ユニット１０６、キャッシュ１０４、及びプロキシサーバユニット１０２を更に含む。この例では、ＤＶＢ受信ユニット１０６は、例えば、ＤＶＢを介してデータを受信するように構成される。つまり、ＤＶＢ受信ユニット１０６は、ＤＶＢブロードキャストサーバとして機能し得る、例えばサーバデバイス６０から、ブロードキャストを介してファイルを受信し得る。
【0072】
ＤＶＢミドルウェアユニット１００がファイル（例えば、そのセグメント又はチャンク）に関するデータを受信すると、ＤＶＢミドルウェアユニットは、受信されたデータをキャッシュ１０４中に記憶し得る。キャッシュ１０４は、フラッシュメモリ、ハードディスク、ＲＡＭ、又は任意の他の適切な記憶媒体などのコンピュータ可読記憶媒体を含み得る。
【0073】
プロキシサーバユニット１０２は、ＤＡＳＨクライアント１１０のためのサーバとして働き得る。例えば、プロキシサーバユニット１０２は、ＤＡＳＨクライアント１１０にＭＰＤファイル又は他のマニフェストファイルを提供し得る。プロキシサーバユニット１０２は、ＭＰＤファイル中のセグメントに関する利用可能時間と、セグメントが取り出され得るハイパーリンクとを広告し得る。これらのハイパーリンクは、クライアントデバイス４０に対応するローカルホストアドレスプレフィックス（例えば、ＩＰｖ４に関する１２７．０．０．１）を含み得る。このようにして、ＤＡＳＨクライアント１１０は、ＨＴＴＰ ＧＥＴ又は部分ＧＥＴ要求を使用して、プロキシサーバユニット１０２にセグメントを要求し得る。例えば、リンクｈｔｔｐ／／１２７．０．０．１／ｒｅｐ１／ｓｅｇ３から利用可能なセグメントについてはＤＡＳＨクライアント１１０は、ｈｔｔｐ：／／１２７．０．０．１／ｒｅｐ１／ｓｅｇ３に対する要求を含むＨＴＴＰ ＧＥＴ要求を構築してもよく、要求をプロキシサーバユニット１０２に提出してもよい。プロキシサーバユニット１０２は、要求されたデータをキャッシュ１０４から取り出し、そのような要求に応答して、そのデータをＤＡＳＨクライアント１１０に提供し得る。
【0074】
本開示の技法によれば、ＤＶＢ受信ユニット１０６は、異なる解像度を有する２つ以上の表現を含むメディアプレゼンテーションを受信することができる。ＤＶＢ受信ユニット１０６はまた、表現のセグメント又はチャンクの品質値を含むＡＲＩトラックを受信することができる。ＤＶＢ受信ユニット１０６は、受信されたセグメント又はチャンクをキャッシュ１０４に記憶することができる。ＤＡＳＨクライアント１１０は、プロキシサーバユニット１０２を介してＡＲＩトラックのデータを取り出し、所与の再生時間について、どのセグメント又はチャンクがより高い品質値を有するかを判定し、次いで、その再生時間についてより高い品質値を有するセグメント又はチャンクを取り出すことができる。
【0075】
図３は、例示的なマルチメディアコンテンツ１２０の要素を示す概念図である。マルチメディアコンテンツ１２０は、マルチメディアコンテンツ６４（図１）、又は記憶媒体６２に記憶された別のマルチメディアコンテンツに対応し得る。図３の例では、マルチメディアコンテンツ１２０は、メディアプレゼンテーション記述（ＭＰＤ）１２２、複数の表現１２４Ａ～１２４Ｎ（表現１２４）、及びアドレス指定可能リソース情報（ＡＲＩ）トラック１３４を含む。表現１２４Ａは、任意のヘッダデータ１２６とセグメント１２８Ａ～１２８Ｎ（セグメント１２８）とを含む一方、表現１２４Ｎは、任意選択のヘッダデータ１３０とセグメント１３２Ａ～１３２Ｎ（セグメント１３２）とを含む。文字Ｎが、便宜的に、表現１２４の各々の最後のムービーフラグメントを指定するために使用される。いくつかの例では、表現１２４同士の間で異なる数のムービーフラグメントが存在し得る。
【0076】
ＭＰＤ１２２は、表現１２４とは別個のデータ構造を含んでよい。ＭＰＤ１２２は、図１のマニフェストファイル６６に対応し得る。同様に、表現１２４は、図１の表現６８に対応し得る。概して、ＭＰＤ１２２は、コーディング及びレンダリングの特性、適応セット、ＭＰＤ１２２が対応するプロファイル、テキストタイプ情報、カメラアングル情報、レーティング情報、トリックモード情報（例えば、時間的サブシーケンスを含む表現を示す情報）、及び／又はリモート期間を取り出すための情報（例えば、再生中のメディアコンテンツへのターゲティング広告の挿入）のような、表現１２４の特性を一般に表すデータを含んでよい。
【0077】
ヘッダデータ１２６は、存在するとき、セグメント１２８の特性、例えば、ランダムアクセスポイント（ＲＡＰ、ストリームアクセスポイント（ＳＡＰ）とも呼ばれる）の時間的ロケーション、セグメント１２８のうちのどれがランダムアクセスポイントを含むのか、セグメント１２８内のランダムアクセスポイントへのバイトオフセット、セグメント１２８のユニフォームリソースロケータ（ＵＲＬ）、又はセグメント１２８の他の態様を記述し得る。ヘッダデータ１３０は、存在するとき、セグメント１３２の同様の特性を記述し得る。追加又は代替として、そのような特性はＭＰＤ１２２内に完全に含まれ得る。
【0078】
セグメント１２８、１３２は、１つ又は複数のコード化ビデオサンプルを含み、ビデオサンプルの各々が、ビデオデータのフレーム又はスライスを含み得る。セグメント１２８のコード化されたビデオサンプルの各々は、同様の特性、例えば、高さ、幅、及び帯域幅の要件を有し得る。そのような特性は、ＭＰＤ１２２のデータによって記述され得るが、そのようなデータは図３の例には示されていない。ＭＰＤ１２２は、本開示で説明するシグナリングされた情報のいずれか又は全てが加えられた、３ＧＰＰ仕様によって記述されるような特性を含み得る。
【0079】
セグメント１２８、１３２の各々は、固有のユニフォームリソースロケータ（ＵＲＬ）と関連付けられてもよい。したがって、セグメント１２８、１３２の各々は、ＤＡＳＨのようなストリーミングネットワークプロトコルを使用して、別個に取り出し可能であり得る。このようにして、クライアントデバイス４０のような宛先デバイスは、ＨＴＴＰ ＧＥＴ要求を使用して、セグメント１２８又は１３２を取り出してもよい。いくつかの例では、クライアントデバイス４０は、ＨＴＴＰ部分ＧＥＴ要求を使用して、セグメント１２８又は１３２の特定のバイト範囲を取り出す場合がある。
【0080】
ＡＲＩトラック１３４は、とりわけ、品質値１３６Ａ～１３６Ｎ（品質値１３６）を含む。一般に、品質値１３６は、表現１２４の対応する（すなわち、再生時間整合された）セグメントの品質を表す値を含む。したがって、例えば、品質値１３６Ａは、セグメント１２８Ａ及び１３２Ａに対する品質値を含み、品質値１３６Ｂは、セグメント１２８Ｂ及び１３２Ｂに対する品質値を含み、品質値１３６Ａは、セグメント１２８Ｎ及び１３２Ｎに対する品質値を含む。
【0081】
本開示の技法によれば、表現１２４Ａは、第１の解像度（例えば、４Ｋ）のビデオデータを含み得、表現１２４Ｎは、第２の異なる解像度（例えば、１０８０ｐ）のビデオデータを含み得る。表現１２４Ａ及び１２４Ｎは、同様又は同一のビットレートを有し得る。したがって、整合されたセグメント１２８及び１３２は、同様又は同一のビットレートを有し得る。例えば、セグメント１２８Ａ及びセグメント１３２Ａは、同様又は同一のビットレートを有し得るが、異なる解像度で符号化されたビデオデータを含み得る。
【0082】
セグメント１２４のうちのいくつかは、品質値１３６によって示されるように、（より低い空間解像度における）対応するセグメント１３２よりも高い品質を有し得る。しかしながら、場合によっては、セグメント１３２のうちの１つ又は複数は、品質値１３６によって示されるように、対応するセグメント１２４よりも高い品質値を有し得る。したがって、クライアントデバイス４０（図１）は、品質値１３６を使用して、対応するセグメントの所与のセットのどのセグメントがより高い品質値を有するかを判定し、より高い品質値を有するセグメント１２４、１３２のうちの１つを取り出すことができる。例えば、品質値１３６Ａが、セグメント１２４Ａがセグメント１３２Ａよりも高い品質値を有することを示す場合、クライアントデバイス４０（又はその取り出しユニット５２）はセグメント１２４Ａを取り出し得る。別の例として、品質値１３６Ｂが、セグメント１３２Ｂがセグメント１２４Ｂよりも高い品質を有することを示す場合、クライアントデバイス４０又は取り出しユニット５２は、セグメント１３２Ｂを取り出し得る。
【0083】
図４は、図３のセグメント１２８、１３２のうちの１つなどの表現のセグメントに対応し得る例示的なビデオファイル１５０の要素を示すブロック図である。セグメント１２８、１３２の各々は、図４の例で示されるデータの構成に実質的に準拠するデータを含み得る。ビデオファイル１５０は、セグメントをカプセル化すると言われ得る。上記で説明したように、ＩＳＯベースのメディアファイルフォーマット及びその拡張によるビデオファイルは、「ボックス」と呼ばれる一連のオブジェクト内にデータを記憶する。図４の例では、ビデオファイル１５０は、ファイルタイプ（ＦＴＹＰ）ボックス１５２、ムービー（ＭＯＯＶ）ボックス１５４、セグメントインデックス（ｓｉｄｘ）ボックス１６２、ムービーフラグメント（ＭＯＯＦ）ボックス１６４、及びムービーフラグメントランダムアクセス（ＭＦＲＡ）ボックス１６６を含む。図４は、ビデオファイルの例を表すが、他のメディアファイルは、ＩＳＯベースのメディアファイルフォーマット及びその拡張に従ってビデオファイル１５０のデータと同様に構成される他のタイプのメディアデータ（例えば、オーディオデータ、時限のテキストデータなど）を含み得ることを理解されたい。
【0084】
ファイルタイプ（ＦＴＹＰ）ボックス１５２は一般に、ビデオファイル１５０のファイルタイプを表す。ファイルタイプボックス１５２は、ビデオファイル１５０の最良の使用法を表す仕様を識別するデータを含み得る。ファイルタイプボックス１５２は、代替として、ＭＯＯＶボックス１５４、ムービーフラグメントボックス１６４、及び／又はＭＦＲＡボックス１６６の前に配置され得る。
【0085】
いくつかの例では、ビデオファイル１５０などのセグメントは、ＦＴＹＰボックス１５２の前にＭＰＤ更新ボックス（図示せず）を含み得る。ＭＰＤ更新ボックスは、ビデオファイル１５０を含む表現に対応するＭＰＤが更新されるべきであることを示す情報を、ＭＰＤを更新するための情報と共に、含み得る。例えば、ＭＰＤ更新ボックスは、ＭＰＤを更新するために使用されることになるリソースについてのＵＲＩ又はＵＲＬを提供し得る。別の例として、ＭＰＤ更新ボックスは、ＭＰＤを更新するためのデータを含み得る。いくつかの例では、ＭＰＤ更新ボックスは、ビデオファイル１５０のセグメントタイプ（ＳＴＹＰ）ボックス（示されていない）の直後に続き得、ここでＳＴＹＰボックスは、ビデオファイル１５０についてのセグメントタイプを定義し得る。
【0086】
図４の例では、ＭＯＯＶボックス１５４は、ムービーヘッダ（ＭＶＨＤ）ボックス１５６と、トラック（ＴＲＡＫ）ボックス１５８と、１つ又は複数のムービー延長（ＭＶＥＸ）ボックス１６０とを含む。概して、ＭＶＨＤボックス１５６は、ビデオファイル１５０の一般的な特性を記述することができる。例えば、ＭＶＨＤボックス１５６は、ビデオファイル１５０がいつ最初に作成されたかを表すデータ、ビデオファイル１５０がいつ最後に修正されたかを表すデータ、ビデオファイル１５０のタイムスケールを表すデータ、ビデオファイル１５０の再生の持続時間を表すデータ、又は、ビデオファイル１５０を全般的に表す他のデータを含み得る。
【0087】
ＴＲＡＫボックス１５８は、ビデオファイル１５０のトラックのデータを含み得る。ＴＲＡＫボックス１５８は、ＴＲＡＫボックス１５８に対応するトラックの特性を記述する、トラックヘッダ（ＴＫＨＤ）ボックスを含み得る。いくつかの例では、ＴＲＡＫボックス１５８は、コード化ビデオピクチャを含み得るが、他の例では、トラックのコード化ビデオピクチャは、ＴＲＡＫボックス１５８のデータ及び／又はｓｉｄｘボックス１６２のデータによって参照され得るムービーフラグメント１６４内に含まれ得る。
【0088】
いくつかの例では、ビデオファイル１５０は、２つ以上のトラックを含み得る。したがって、ＭＯＯＶボックス１５４は、ビデオファイル１５０中のトラックの数（the number of tracks）に等しいいくつかのＴＲＡＫボックス（a number of TRAK boxes）を含み得る。ＴＲＡＫボックス１５８は、ビデオファイル１５０の対応するトラックの特性を記述することができる。例えば、ＴＲＡＫボックス１５８は、対応するトラックの時間情報及び／又は空間情報を記述することができる。カプセル化ユニット３０（図３）がビデオファイル１５０などのビデオファイル中にパラメータセットトラックを含む場合、ＭＯＯＶボックス１５４のＴＲＡＫボックス１５８と同様のＴＲＡＫボックスがパラメータセットトラックの特性を記述することができる。カプセル化ユニット３０は、パラメータセットトラックを表すＴＲＡＫボックス内で、パラメータセットトラックにシーケンスレベルＳＥＩメッセージが存在することをシグナリングすることができる。
【0089】
ＭＶＥＸボックス１６０は、例えば、もしあれば、ＭＯＯＶボックス１５４内に含まれるビデオデータに加えて、ビデオファイル１５０がムービーフラグメント１６４を含むことをシグナリングするように、対応するムービーフラグメント１６４の特性を記述することができる。ストリーミングビデオデータの状況では、コード化ビデオピクチャは、ＭＯＯＶボックス１５４の中ではなくムービーフラグメント１６４の中に含まれ得る。したがって、全てのコード化ビデオサンプルは、ＭＯＯＶボックス１５４の中ではなくムービーフラグメント１６４の中に含まれ得る。
【0090】
ＭＯＯＶボックス１５４は、ビデオファイル１５０中のムービーフラグメント１６４の数に等しいいくつかのＭＶＥＸボックス１６０を含み得る。ＭＶＥＸボックス１６０の各々は、ムービーフラグメント１６４の対応する１つの特性を記述することができる。例えば、各ＭＶＥＸボックスは、ムービーフラグメント１６４の対応する１つの持続時間を記述するムービー延長ヘッダ（ＭＥＨＤ）ボックスを含み得る。
【0091】
上述したように、カプセル化ユニット３０は、実際のコード化ビデオデータを含まないビデオサンプル内にシーケンスデータセットを記憶してもよい。ビデオサンプルは、一般に、アクセスユニットに対応してもよく、アクセスユニットは、特定の時間インスタンスにおけるコード化ピクチャの表現である。ＡＶＣのコンテキストでは、コード化ピクチャは、アクセスユニットの全てのピクセルを構成するための情報を含んでいる１つ又は複数のＶＣＬ ＮＡＬユニットと、ＳＥＩメッセージなどの他の関連付けられた非ＶＣＬ ＮＡＬユニットとを含む。したがって、カプセル化ユニット３０は、シーケンスレベルＳＥＩメッセージを含み得るシーケンスデータセットを、ムービーフラグメント１６４のうちの１つの中に含め得る。カプセル化ユニット３０は更に、シーケンスデータセット及び／又はシーケンスレベルＳＥＩメッセージの存在を、ムービーフラグメント１６４のうちの１つに対応するＭＶＥＸボックス１６０のうちの１つの中のムービーフラグメント１６４のうちの１つの中に存在するものとして、シグナリングすることができる。
【0092】
ＳＩＤＸボックス１６２は、ビデオファイル１５０の任意選択の要素である。すなわち、３ＧＰＰファイルフォーマット又は他のそのようなファイルフォーマットに準拠するビデオファイルは、必ずしもＳＩＤＸボックス１６２を含むとは限らない。３ＧＰＰファイルフォーマットの例によると、ＳＩＤＸボックスは、（例えば、ビデオファイル１５０内に含まれるセグメント等の）セグメントのサブセグメントを識別するために使用され得る。３ＧＰＰファイルフォーマットは、「メディアデータボックスに対応する１つ又は複数の連続するムービーフラグメントボックスの自己完結型セットであって、ムービーフラグメントボックスによって参照されるデータを包含するメディアデータボックスが、そのムービーフラグメントボックスに続き、同じトラックについての情報を包含する次のムービーフラグメントボックスに先行する」としてサブセグメントを定義する。３ＧＰＰファイルフォーマットはまた、ＳＩＤＸボックスが、「ボックスによって文書化された（サブ）セグメントのサブセグメントへの参照のシーケンスを包含する。参照されるサブセグメントは、プレゼンテーション時間において連続する。同様に、セグメントインデックスボックスによって参照されるバイトは、セグメント内で常に連続する。参照されるサイズは、参照される材料におけるバイトの数のカウントを与える」ことを示す。
【0093】
ＳＩＤＸボックス１６２は、概して、ビデオファイル１５０中に含まれるセグメントの１つ又は複数のサブセグメントを表す情報を提供する。例えば、そのような情報は、サブセグメントが開始及び／又は終了する再生時間、サブセグメントに関するバイトオフセット、サブセグメントがストリームアクセスポイント（ＳＡＰ）を含む（例えば、それによって開始する）かどうか、ＳＡＰのタイプ（例えば、ＳＡＰが、瞬時デコーダリフレッシュ（ＩＤＲ）ピクチャ、クリーンランダムアクセス（ＣＲＡ）ピクチャ、ブロークンリンクアクセス（ＢＬＡ）ピクチャなどのいずれであるか）、サブセグメント内の（再生時間及び／又はバイトオフセットに関する）ＳＡＰの位置、などを含み得る。
【0094】
ムービーフラグメント１６４は、１つ又は複数のコード化ビデオピクチャを含み得る。いくつかの例では、ムービーフラグメント１６４は、１つ又は複数のピクチャのグループ（ＧＯＰ）を含んでよく、ＧＯＰの各々は、多数のコード化ビデオピクチャ、例えばフレーム又はピクチャを含み得る。加えて、上記で説明したように、ムービーフラグメント１６４は、いくつかの例ではシーケンスデータセットを含み得る。ムービーフラグメント１６４の各々は、ムービーフラグメントヘッダボックス（ＭＦＨＤ、図４には示されない）を含み得る。ＭＦＨＤボックスは、ムービーフラグメントのシーケンス番号などの、対応するムービーフラグメントの特性を記述することができる。ムービーフラグメント１６４は、ビデオファイル１５０にシーケンスナンバの順番で含まれ得る。
【0095】
ＭＦＲＡボックス１６６は、ビデオファイル１５０のムービーフラグメント１６４内のランダムアクセスポイントを記述することができる。これは、ビデオファイル１５０によってカプセル化されたセグメント内の特定の時間的ロケーション（すなわち、再生時間）の探索を実施することなど、トリックモードを実施することを支援し得る。ＭＦＲＡボックス１６６は、いくつかの例では、一般に任意選択であり、ビデオファイル中に含まれる必要はない。同様に、クライアントデバイス４０のようなクライアントデバイスは、ビデオファイル１５０のビデオデータを正確に復号し表示するために、ＭＦＲＡボックス１６６を必ずしも参照する必要はない。ＭＦＲＡボックス１６６は、ビデオファイル１５０のトラックの数と等しい数のトラックフラグメントランダムアクセス（ＴＦＲＡ）ボックス（図示せず）を含んでよく、又はいくつかの例では、ビデオファイル１５０のメディアトラック（例えば、非ヒントトラック）の数と等しい数のＴＦＲＡボックスを含んでよい。
【0096】
いくつかの例では、ムービーフラグメント１６４は、ＩＤＲピクチャなどの１つ又は複数のストリームアクセスポイント（ＳＡＰ）を含み得る。同様に、ＭＦＲＡボックス１６６は、ＳＡＰのビデオファイル１５０内のロケーションの指標を提供し得る。したがって、ビデオファイル１５０の時間的サブシーケンスは、ビデオファイル１５０のＳＡＰから形成され得る。時間的サブシーケンスはまた、ＳＡＰに従属するＰフレーム及び／又はＢフレームなどの他のピクチャを含み得る。時間的サブシーケンスのフレーム及び／又はスライスは、サブシーケンスの他のフレーム／スライスに依存する時間的サブシーケンスのフレーム／スライスが適切に復号され得るように、セグメント内に並べられ得る。例えば、データの階層的構成において、他のデータのための予測に使用されるデータはまた、時間的サブシーケンス内に含まれ得る。
【0097】
図５は、本開示の技法による取り出し技法の例を示す概念図である。特に、グラフ１７０は、時間１７２Ａ～１７２Ｄ（時間１７２）においてメディアデータのセグメントを取り出すことができる時間にわたる利用可能なビットレートを示す。図５に示される第１の例では、基本クライアント１７４は、４Ｋ解像度で時間１７２ごとにセグメントを取り出す。基本クライアント１７４は、基本クライアント１７４が本開示の技法を実装しないという意味で「基本」と見なされる。したがって、本開示の技法によるＡＲＩトラックにおける品質値のシグナリングは、これらの技法を実行するように構成されていないクライアントデバイスと後方互換性がある。
【0098】
しかしながら、別の例では、アドバンストクライアント１７６は、本開示の技法を実行するように構成される。この例では、時間１７２Ａ、１７２Ｃ、及び１７２Ｄにおいて、アドバンストクライアント１７６は、４Ｋ解像度のセグメントがより高い品質値を有すると判定する。しかしながら、時間１７２Ｂの間、アドバンストクライアント１７６は、（例えば、セグメントのための品質値をシグナリングするＡＲＩトラックを使用して）１０８０ｐ解像度を有するセグメントがより高い品質であると判定する。したがって、アドバンストクライアント１７６は、代わりに、１０８０ｐ解像度を有する解像度からセグメントを取り出す。
【0099】
図６は、本開示の技法による、メディアデータを取り出す例示的な方法を示すフローチャートである。図６の方法は、例示及び説明の目的で、図１のクライアントデバイス４０及びサーバデバイス６０に関して説明される。
【0100】
最初に、クライアントデバイス４０は、メディアプレゼンテーションのマニフェストファイルを要求することができる（２００）。クライアントデバイス４０は、例えば、マニフェストファイルのためのＵＲＬを含むＨＴＴＰ ＧＥＴ要求をサーバデバイス６０に送り得る。それに応答して、サーバデバイス６０は、要求されたマニフェストファイルをクライアントデバイス４０に送信することができる（２０２）。
【0101】
次いでクライアントデバイス４０は、マニフェストファイルを受信し得る（２０４）。マニフェストファイルを使用して、クライアントデバイス４０は、クライアントデバイス４０のディスプレイ（例えば、ビデオ出力４４）のための一致するディスプレイ解像度を有する切り替えセットを判定することができる（２０６）。切り替えセットは、切り替えセットがクライアントデバイス４０のためのディスプレイのディスプレイ解像度以下の符号化解像度を有する表現を含むという意味で、一致するディスプレイ解像度を有し得る。
【0102】
クライアントデバイス４０は更に、切り替えセットのためのアドレス指定可能リソースインデックス（ＡＲＩ）トラックを受信し、処理し得る。選択された切り替えセットのためのメディアデータのストリーミング及び再生を通して、クライアントデバイス４０は、ＡＲＩトラックのデータを使用して、特定のプレゼンテーション時間の時間的に整合されたセグメントの品質値を判定することができる。次いで、クライアントデバイス４０は、特定のプレゼンテーション時間に関して、ＡＲＩトラックの品質値を使用して、最高品質値を有するセグメント（又はチャンク）を判定することができる（２０８）。クライアントデバイス４０は、判定されたセグメントを要求することができる（２１０）。例えば、クライアントデバイス４０は、判定されたセグメントのＵＲＬを指定するＨＴＴＰ ＧＥＴ要求を構築し、ＨＴＴＰ ＧＥＴ要求をサーバデバイス６０に送ることができる。サーバデバイス６０は、次に、要求を受信し（２１２）、要求されたセグメントをクライアントデバイス４０に送信することができる（２１４）。
【0103】
代替的に、クライアントデバイス４０は、異なる空間解像度を有するビデオデータの２つ以上の表現又は他のセットを含むブロードキャストメディアストリームを受信し得る。図２に関して説明したように、ＤＶＢミドルウェアユニット１００は、受信したビデオデータをキャッシュすることができる。上記のサーバデバイス６０に起因する動作は、代わりにプロキシサーバユニット１０２によって実行されてもよい。すなわち、ＤＡＳＨクライアント１１０は、（ＡＲＩトラックによって示される最高品質値を有する）判定されたセグメントをプロキシサーバユニット１０２から取り出し得る。
【0104】
クライアントデバイス４０は、次いで、セグメントを受信し（２１６）、セグメントのビデオデータをビデオデコーダ４８に送り得る（２１８）。
【0105】
このようにして、図６の方法は、ビデオデータを取り出す方法の例を表し、メディアプレゼンテーションが第１の空間解像度での第１のビデオデータと第２の空間解像度での第２のビデオデータとを含むと判定することであって、第２の空間解像度が第１の空間解像度とは異なる、ことと、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を受信することと、第１の空間解像度での第１のビデオデータの第１の部分をビデオデコーダに送信することと、第１の再生時間よりも後の第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を受信することと、第２の空間解像度での第２のビデオデータの第２の部分をビデオデコーダに送信することと、を含む。
【0106】
本開示の技法の様々な例が、以下の条項において要約される。
【0107】
条項１：メディアデータを受信する方法であって、メディアプレゼンテーションが第１の空間解像度での第１のビデオデータと第２の空間解像度での第２のビデオデータとを含むと判定することであって、第２の空間解像度が第１の空間解像度とは異なる、ことと、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を受信することと、第１の空間解像度での第１のビデオデータの第１の部分をビデオデコーダに送信することと、第１の再生時間よりも後の第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を受信することと、第２の空間解像度での第２のビデオデータの第２の部分をビデオデコーダに送信することと、を含む、方法。
【0108】
条項２：メディアプレゼンテーションのためのアドレス指定可能リソースインデックス（ＡＲＩ）トラックであって、ＡＲＩトラックが、第１の再生時間に関する第１の空間解像度での第１のビデオデータのための第１の品質と、第１の再生時間に関する第２の空間解像度での第２のビデオデータの第２の品質とを表すデータを含む、ＡＲＩトラックを受信することと、第１の品質が第２の品質よりも高いと判定することと、を更に含み、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を受信することが、第１の品質が第２の品質よりも高いと判定したことに応答して、第１の再生時間に関する第２の空間解像度での第２のビデオデータの代わりに、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を取り出すことを含む、条項１に記載の方法。
【0109】
条項３：第２の空間解像度が第１の空間解像度よりも高い、条項２に記載の方法。
【0110】
条項４：第１の再生時間に関する第１の空間解像度での第１のビデオデータが、第１の再生時間に関する第２の空間解像度での第２のビデオデータに等しいビットレートを有する、条項２に記載の方法。
【0111】
条項５：第１の品質及び第２の品質が、空間解像度及びビットレート以外の１つ又は複数の品質測定値を表す、条項２に記載の方法。
【0112】
条項６：ＡＲＩトラックが、第２の再生時間における第１の空間解像度での第１のビデオデータについての第３の品質と、第２の再生時間における第２の空間解像度での第２のビデオデータについての第４の品質とを表すデータを更に含み、方法が、第４の品質が第３の品質よりも高いと判定することを更に含み、第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を受信することが、第４の品質が第３の品質よりも高いと判定したことに応答して、第２の再生時間に関する第１の空間解像度での第１のビデオデータの代わりに、第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を取り出すことを含む、条項２に記載の方法。
【0113】
条項７：第１の空間解像度が第２の空間解像度よりも高い、条項６に記載の方法。
【0114】
条項８：第２の再生時間に関する第１の空間解像度での第１のビデオデータが、第２の再生時間に関する第２の空間解像度での第２のビデオデータに等しいビットレートを有する、条項６に記載の方法。
【0115】
条項９：第３の品質及び第４の品質が、空間解像度及びビットレート以外の１つ又は複数の品質測定値を表す、条項６に記載の方法。
【0116】
条項１０：メディアプレゼンテーションが、第１の空間解像度での第１のビデオデータを含む第１の表現と、第２の空間解像度での第２のビデオデータを含む第２の表現とを含み、メディアプレゼンテーションが、第１の表現と第２の表現の両方を含む切り替えセットを含む、条項１に記載の方法。
【0117】
条項１１：第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を受信することが、ミドルウェアユニットによって、ブロードキャストを介して第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を受信することを含み、方法が、ミドルウェアユニットによって、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分をキャッシュすることと、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）クライアントによって、ミドルウェアユニットから、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を取り出すことと、を更に含む、条項１に記載の方法。
【0118】
条項１２：第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を受信することが、ミドルウェアユニットによって、ブロードキャストを介して第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を受信することを含み、方法は、ミドルウェアユニットによって、第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分をキャッシュすることと、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）クライアントによって、ミドルウェアユニットから、第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を取り出すことと、を更に含む、条項１に記載の方法。
【0119】
条項１３：メディアデータを取り出すためのデバイスであって、ビデオデータを記憶するように構成されたメモリと、ビデオデータを復号するように構成されたビデオデコーダと、回路機構で実装された１つ又は複数のプロセッサであって、メディアプレゼンテーションが第１の空間解像度での第１のビデオデータと第２の空間解像度での第２のビデオデータとを含むと判定し、第２の空間解像度が第１の空間解像度とは異なり、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を受信し、第１の空間解像度での第１のビデオデータの第１の部分をビデオデコーダに送信し、第１の再生時間よりも後の第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を受信し、第２の空間解像度での第２のビデオデータの第２の部分をビデオデコーダに送信する、ように構成されている、１つ又は複数のプロセッサと、を含む、デバイス。
【0120】
条項１４：１つ又は複数のプロセッサが、メディアプレゼンテーションのためのアドレス指定可能リソースインデックス（ＡＲＩ）トラックを受信し、ＡＲＩトラックが、第１の再生時間に関する第１の空間解像度での第１のビデオデータのための第１の品質と、第１の再生時間に関する第２の空間解像度での第２のビデオデータの第２の品質とを表すデータを含み、第１の品質が第２の品質よりも高いと判定する、ように更に構成されており、１つ又は複数のプロセッサが、第１の品質が第２の品質よりも高いと判定したことに応答して、第１の再生時間の間に第２の空間解像度での第２のビデオデータの代わりに、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を取り出すように構成されている、条項１３に記載のデバイス。
【0121】
条項１５：第２の空間解像度が第１の空間解像度よりも高い、条項１４に記載のデバイス。
【0122】
条項１６：第１の再生時間に関する第１の空間解像度における第１のビデオデータが、第１の再生時間に関する第２の空間解像度での第２のビデオデータに等しいビットレートを有する、条項１４に記載のデバイス。
【0123】
条項１７：第１の品質及び第２の品質が、空間解像度及びビットレート以外の１つ又は複数の品質測定値を表す、条項１４に記載のデバイス。
【0124】
条項１８：ＡＲＩトラックが、第２の再生時間における第１の空間解像度での第１のビデオデータについての第３の品質と、第２の再生時間における第２の空間解像度での第２のビデオデータについての第４の品質とを表すデータを更に含み、１つ又は複数のプロセッサが、第４の品質が第３の品質よりも高いと判定するように更に構成されおり、１つ又は複数のプロセッサが、第４の品質が第３の品質よりも高いと判定したことに応答して、第２の再生時間に関する第１の空間解像度で第１のビデオデータを取り出す代わりに、第２の再生時間における第２の空間解像度で第２のビデオデータの第２の部分を取り出すように構成されている、条項１４に記載のデバイス。
【0125】
条項１９：第１の空間解像度が第２の空間解像度よりも高い、条項１８に記載のデバイス。
【0126】
条項２０：第２の再生時間に関する第１の空間解像度での第１のビデオデータが、第２の再生時間に関する第２の空間解像度での第２のビデオデータに等しいビットレートを有する、条項１８に記載のデバイス。
【0127】
条項２１：第３の品質及び第４の品質が、空間解像度及びビットレート以外の１つ又は複数の品質測定値を表す、条項１８に記載のデバイス。
【0128】
条項２２：メディアプレゼンテーションが、第１の空間解像度での第１のビデオデータを含む第１の表現と、第２の空間解像度での第２のビデオデータを含む第２の表現とを含み、メディアプレゼンテーションが、第１の表現と第２の表現の両方を含む切り替えセットを含む、条項１３に記載のデバイス。
【0129】
条項２３：ブロードキャストを介して第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を受信し、ブロードキャストを介して第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分をキャッシュするように構成されたミドルウェアユニットを更に備え、１つ又は複数のプロセッサが、ミドルウェアユニットから第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を取り出すために、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）クライアントを実行するように構成されている、条項１３に記載のデバイス。
【0130】
条項２４：ブロードキャストを介して第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を受信し、ブロードキャストを介して第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分をキャッシュするように構成されたミドルウェアユニットを更に備え、１つ又は複数のプロセッサが、ミドルウェアユニットから第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を取り出すために、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）クライアントを実行するように構成されている、条項１３に記載のデバイス。
【0131】
条項２５：装置が、集積回路、マイクロプロセッサ、及びワイヤレス通信デバイスのうちの少なくとも１つを備える、条項１３に記載のデバイス。
【0132】
条項２６：命令を記憶したコンピュータ可読記憶媒体であって、命令は、実行されると、プロセッサに、メディアプレゼンテーションが第１の空間解像度での第１のビデオデータと第２の空間解像度での第２のビデオデータとを含むと判定させ、第２の空間解像度が第１の空間解像度とは異なり、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を受信し、第１の空間解像度での第１のビデオデータの第１の部分をビデオデコーダに送信させ、第１の再生時間よりも後の第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を受信し、第２の空間解像度での第２のビデオデータの第２の部分をビデオデコーダに送信する、ように構成されている、１つ又は複数のプロセッサと、を含む、条項１３に記載のデバイス。
【0133】
条項２７：プロセッサに、メディアプレゼンテーションのためのアドレス指定可能リソースインデックス（ＡＲＩ）トラックを受信させ、ＡＲＩトラックが、第１の再生時間に関する第１の空間解像度での第１のビデオデータのための第１の品質と、第１の再生時間に関する第２の空間解像度での第２のビデオデータの第２の品質とを表すデータを含み、第１の品質が第２の品質よりも高いと判定させる、命令を更に含み、プロセッサに、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を受信させる命令が、第１の品質が第２の品質よりも高いと判定したことに応答して、プロセッサに、第１の再生時間に関する第２の空間解像度での第２のビデオデータの代わりに、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を取り出させる命令を含む、条項２６に記載のコンピュータ可読記憶媒体。
【0134】
条項２８：第２の空間解像度が第１の空間解像度よりも高い、条項２７に記載のコンピュータ可読記憶媒体。
【0135】
条項２９：第１の再生時間に関する第１の空間解像度での第１のビデオデータが、第１の再生時間に関する第２の空間解像度での第２のビデオデータに等しいビットレートを有する、条項２７に記載のコンピュータ可読記憶媒体。
【0136】
条項３０：第１の品質及び第２の品質が、空間解像度及びビットレート以外の１つ又は複数の品質測定値を表す、条項２７に記載のコンピュータ可読記憶媒体。
【0137】
条項３１：ＡＲＩトラックが、第２の再生時間における第１の空間解像度での第１のビデオデータについての第３の品質と、第２の再生時間における第２の空間解像度での第２のビデオデータについての第４の品質とを表すデータを更に含み、プロセッサに、第４の品質が第３の品質よりも高いと判定させる命令を更に備え、プロセッサに、第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を受信させる命令が、第４の品質が第３の品質よりも高いと判定したことに応答して、プロセッサに、第２の再生時間に関する第１の空間解像度での第１のビデオデータを取り出させる代わりに、第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を取り出させる命令を含む、条項２７に記載のコンピュータ可読記憶媒体。
【0138】
条項３２：第１の空間解像度が第２の空間解像度よりも高い、条項３１に記載のコンピュータ可読記憶媒体。
【0139】
条項３３：第２の再生時間に関する第１の空間解像度での第１のビデオデータが、第２の再生時間に関する第２の空間解像度での第２のビデオデータに等しいビットレートを有する、条項３１に記載のコンピュータ可読記憶媒体。
【0140】
条項３４：第３の品質及び第４の品質が、空間解像度及びビットレート以外の１つ又は複数の品質測定値を表す、条項３１に記載のコンピュータ可読記憶媒体。
【0141】
条項３５：メディアプレゼンテーションが、第１の空間解像度での第１のビデオデータを含む第１の表現と、第２の空間解像度での第２のビデオデータを含む第２の表現とを含み、メディアプレゼンテーションが、第１の表現と第２の表現の両方を含む切り替えセットを含む、条項２６に記載のコンピュータ可読記憶媒体。
【0142】
条項３６：プロセッサに、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を受信させる命令が、プロセッサに、ミドルウェアユニットから、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を取り出させる命令を含む、条項２６に記載のコンピュータ可読記憶媒体。
【0143】
条項３７：プロセッサに、第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を受信させる命令が、プロセッサに、ミドルウェアユニットから、第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を取り出させる命令を含む、条項２６に記載のコンピュータ可読記憶媒体。
【0144】
条項３８：メディアデータを取り出すためのデバイスであって、メディアプレゼンテーションが第１の空間解像度での第１のビデオデータと第２の空間解像度での第２のビデオデータとを含むと判定するための手段であって、第２の空間解像度が第１の空間解像度とは異なる、手段と、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を受信するための手段と、第１の空間解像度での第１のビデオデータの第１の部分をビデオデコーダに送信するための手段と、第１の再生時間よりも後の第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を受信するための手段と、第２の空間解像度での第２のビデオデータの第２の部分をビデオデコーダに送信するための手段と、を含む、デバイス。
【0145】
条項３９：メディアデータを受信する方法であって、メディアプレゼンテーションが第１の空間解像度での第１のビデオデータと第２の空間解像度での第２のビデオデータとを含むと判定することであって、第２の空間解像度が第１の空間解像度とは異なる、ことと、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を受信することと、第１の空間解像度での第１のビデオデータの第１の部分をビデオデコーダに送信することと、第１の再生時間よりも後の第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を受信することと、第２の空間解像度での第２のビデオデータの第２の部分をビデオデコーダに送信することと、を含む、方法。
【0146】
条項４０：メディアプレゼンテーションのためのアドレス指定可能リソースインデックス（ＡＲＩ）トラックを受信することであって、ＡＲＩトラックが、第１の再生時間に関する第１の空間解像度での第１のビデオデータのための第１の品質と、第１の再生時間に関する第２の空間解像度での第２のビデオデータの第２の品質とを表すデータを含む、ことと、第１の品質が第２の品質よりも高いと判定することと、を更に含み、第１の再生時間の間に第１の空間解像度での第１のビデオデータの第１の部分を受信することが、第１の品質が第２の品質よりも高いと判定したことに応答して、第１の再生時間に関する第２の空間解像度での第２のビデオデータの代わりに、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を取り出すことを含む、条項３９に記載の方法。
【0147】
条項４１：第２の空間解像度が第１の空間解像度よりも高い、条項４０に記載の方法。
【0148】
条項４２：第１の再生時間に関する第１の空間解像度での第１のビデオデータが、第１の再生時間に関する第２の空間解像度での第２のビデオデータに等しいビットレートを有する、条項４０又は４１に記載の方法。
【0149】
条項４３：第１の品質及び第２の品質が、空間解像度及びビットレート以外の１つ又は複数の品質測定値を表す、条項４０から４２のいずれかに記載の方法。
【0150】
条項４４：ＡＲＩトラックが、第２の再生時間における第１の空間解像度での第１のビデオデータについての第３の品質と、第２の再生時間における第２の空間解像度での第２のビデオデータについての第４の品質とを表すデータを更に含み、方法が、第４の品質が第３の品質よりも高いと判定することを更に含み、第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を受信することが、第４の品質が第３の品質よりも高いと判定したことに応答して、第２の再生時間に関する第１の空間解像度での第１のビデオデータの代わりに、第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を取り出すことを含む、条項４０に記載の方法。
【0151】
条項４５：第１の空間解像度が第２の空間解像度よりも高い、条項４４に記載の方法。
【0152】
条項４６：第２の再生時間に関する第１の空間解像度での第１のビデオデータが、第２の再生時間に関する第２の空間解像度での第２のビデオデータに等しいビットレートを有する、条項４４又は４５に記載の方法。
【0153】
条項４７：第３の品質及び第４の品質が、空間解像度及びビットレート以外の１つ又は複数の品質測定値を表す、条項４４から４６のいずれかに記載の方法。
【0154】
条項４８：メディアプレゼンテーションが、第１の空間解像度での第１のビデオデータを含む第１の表現と、第２の空間解像度での第２のビデオデータを含む第２の表現とを含み、メディアプレゼンテーションが、第１の表現と第２の表現の両方を含む切り替えセットを含む、条項３９から４７のいずれかに記載の方法。
【0155】
条項４９：第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を受信することが、ミドルウェアユニットによって、ブロードキャストを介して第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を受信することを含み、方法が、ミドルウェアユニットによって、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分をキャッシュすることと、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）クライアントによって、ミドルウェアユニットから、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を取り出すことと、を更に含む、条項３９から４８のいずれかに記載の方法。
【0156】
条項５０：第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を受信することが、ミドルウェアユニットによって、ブロードキャストを介して第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を受信することを含み、方法は、ミドルウェアユニットによって、第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分をキャッシュすることと、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）クライアントによって、ミドルウェアユニットから、第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を取り出すことと、を更に含む、条項３９から４９のいずれかに記載の方法。
【0157】
条項５１：メディアデータを取り出すためのデバイスであって、ビデオデータを記憶するように構成されたメモリと、ビデオデータを復号するように構成されたビデオデコーダと、回路機構で実装された１つ又は複数のプロセッサであって、メディアプレゼンテーションが第１の空間解像度での第１のビデオデータと第２の空間解像度での第２のビデオデータとを含むと判定し、第２の空間解像度が第１の空間解像度とは異なり、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を受信し、第１の空間解像度での第１のビデオデータの第１の部分をビデオデコーダに送信し、第１の再生時間よりも後の第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を受信し、第２の空間解像度での第２のビデオデータの第２の部分をビデオデコーダに送信する、ように構成されている、１つ又は複数のプロセッサと、を含む、デバイス。
【0158】
条項５２：１つ又は複数のプロセッサが、メディアプレゼンテーションのためのアドレス指定可能リソースインデックス（ＡＲＩ）トラックを受信し、ＡＲＩトラックが、第１の再生時間に関する第１の空間解像度での第１のビデオデータのための第１の品質と、第１の再生時間に関する第２の空間解像度での第２のビデオデータの第２の品質とを表すデータを含み、第１の品質が第２の品質よりも高いであると判定する、ように更に構成されており、１つ又は複数のプロセッサが、第１の品質が第２の品質よりも高いと判定したことに応答して、第１の再生時間に関する第２の空間解像度での第２のビデオデータの代わりに、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を取り出すように構成されている、条項５１に記載のデバイス。
【0159】
条項５３：第２の空間解像度が第１の空間解像度よりも高い、条項５２に記載のデバイス。
【0160】
条項５４：第１の再生時間に関する第１の空間解像度での第１のビデオデータが、第１の再生時間に関する第２の空間解像度での第２のビデオデータに等しいビットレートを有する、条項５２又は５３に記載のデバイス。
【0161】
条項５５：第１の品質及び第２の品質が、空間解像度及びビットレート以外の１つ又は複数の品質測定値を表す、条項５２から５４のいずれかに記載のデバイス。
【0162】
条項５６：ＡＲＩトラックが、第２の再生時間における第１の空間解像度での第１のビデオデータについての第３の品質と、第２の再生時間における第２の空間解像度での第２のビデオデータについての第４の品質とを表すデータを更に含み、１つ又は複数のプロセッサが、第４の品質が第３の品質よりも高いと判定するように更に構成されおり、１つ又は複数のプロセッサが、第４の品質が第３の品質よりも高いと判定したことに応答して、第２の再生時間に関する第１の空間解像度で第１のビデオデータを取り出す代わりに、第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を取り出すように構成されている、条項５２から５５のいずれかに記載のデバイス。
【0163】
条項５７：第１の空間解像度が第２の空間解像度よりも高い、条項５６に記載のデバイス。
【0164】
条項５８：第２の再生時間に関する第１の空間解像度での第１のビデオデータが、第２の再生時間に関する第２の空間解像度での第２のビデオデータに等しいビットレートを有する、条項５６又は５７に記載のデバイス。
【0165】
条項５９：第３の品質及び第４の品質が、空間解像度及びビットレート以外の１つ又は複数の品質測定値を表す、条項５６から５８のいずれかに記載のデバイス。
【0166】
条項６０：メディアプレゼンテーションが、第１の空間解像度での第１のビデオデータを含む第１の表現と、第２の空間解像度での第２のビデオデータを含む第２の表現とを含み、メディアプレゼンテーションが、第１の表現と第２の表現の両方を含む切り替えセットを含む、条項５１から５９のいずれかに記載のデバイス。
【0167】
条項６１：ブロードキャストを介して第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を受信し、ブロードキャストを介して第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分をキャッシュするように構成されたミドルウェアユニットを更に備え、１つ又は複数のプロセッサが、ミドルウェアユニットから第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を取り出すために、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）クライアントを実行するように構成されている、条項５１から６０のいずれかに記載のデバイス。
【0168】
条項６２：ブロードキャストを介して第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を受信し、ブロードキャストを介して第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分をキャッシュするように構成されたミドルウェアユニットを更に備え、１つ又は複数のプロセッサが、ミドルウェアユニットから第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を取り出すために、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）クライアントを実行するように構成されている、条項５１から６１のいずれかに記載のデバイス。
【0169】
条項６３：デバイスが、集積回路、マイクロプロセッサ、及びワイヤレス通信デバイスのうちの少なくとも１つを備える、条項５１から６２のいずれかに記載のデバイス。
【0170】
条項６４：命令を記憶したコンピュータ可読記憶媒体であって、命令は、実行されると、プロセッサに、メディアプレゼンテーションが第１の空間解像度での第１のビデオデータと第２の空間解像度での第２のビデオデータとを含むと判定させ、第２の空間解像度が第１の空間解像度とは異なり、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を受信し、第１の空間解像度での第１のビデオデータの第１の部分をビデオデコーダに送信させ、第１の再生時間よりも後の第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を受信し、第２の空間解像度での第２のビデオデータの第２の部分をビデオデコーダに送信する、ように構成されている、１つ又は複数のプロセッサと、を含む、コンピュータ可読記憶媒体。
【0171】
条項６５：プロセッサに、メディアプレゼンテーションのためのアドレス指定可能リソースインデックス（ＡＲＩ）トラックを受信させ、ＡＲＩトラックが、第１の再生時間に関する第１の空間解像度での第１のビデオデータのための第１の品質と、第１の再生時間に関する第２の空間解像度での第２のビデオデータの第２の品質とを表すデータを含み、第１の品質が第２の品質よりも高いと判定させる、命令を更に含み、プロセッサに、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を受信させる命令が、第１の品質が第２の品質よりも高いと判定したことに応答して、プロセッサに、第１の再生時間に関する第２の空間解像度での第２のビデオデータの代わりに、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を取り出させる命令を含む、条項６４に記載のコンピュータ可読記憶媒体。
【0172】
条項６６：第２の空間解像度が第１の空間解像度よりも高い、条項６５に記載のコンピュータ可読記憶媒体。
【0173】
条項６７：第１の再生時間に関する第１の空間解像度での第１のビデオデータが、第１の再生時間に関する第２の空間解像度での第２のビデオデータに等しいビットレートを有する、条項６５又は６６に記載のコンピュータ可読記憶媒体。
【0174】
条項６８：第１の品質及び第２の品質が、空間解像度及びビットレート以外の１つ又は複数の品質測定値を表す、条項６５から６７のいずれかに記載のコンピュータ可読記憶媒体。
【0175】
条項６９：ＡＲＩトラックが、第２の再生時間における第１の空間解像度での第１のビデオデータについての第３の品質と、第２の再生時間における第２の空間解像度での第２のビデオデータについての第４の品質とを表すデータを更に含み、プロセッサに、第４の品質が第３の品質よりも高いと判定させる命令を更に備え、プロセッサに、第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を受信させる命令が、第４の品質が第３の品質よりも高いと判定したことに応答して、プロセッサに、第２の再生時間に関する第１の空間解像度での第１のビデオデータの代わりに、第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を取り出させる命令を含む、条項６５から６８のいずれかに記載のコンピュータ可読記憶媒体。
【0176】
条項７０：第１の空間解像度が第２の空間解像度よりも高い、条項６９に記載のコンピュータ可読記憶媒体。
【0177】
条項７１：第２の再生時間に関する第１の空間解像度での第１のビデオデータが、第２の再生時間に関する第２の空間解像度での第２のビデオデータに等しいビットレートを有する、条項６９又は７０に記載のコンピュータ可読記憶媒体。
【0178】
条項７２：第３の品質及び第４の品質が、空間解像度及びビットレート以外の１つ又は複数の品質測定値を表す、条項６９から７１のいずれかに記載のコンピュータ可読記憶媒体。
【0179】
条項７３：メディアプレゼンテーションが、第１の空間解像度での第１のビデオデータを含む第１の表現と、第２の空間解像度での第２のビデオデータを含む第２の表現とを含み、メディアプレゼンテーションが、第１の表現と第２の表現の両方を含む切り替えセットを含む、条項６５から７２のいずれかに記載のコンピュータ可読記憶媒体。
【0180】
条項７４：プロセッサに、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を受信させる命令が、プロセッサに、ミドルウェアユニットから、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を取り出させる命令を含む、条項６５から７３のいずれかに記載のコンピュータ可読記憶媒体。
【0181】
条項７５：プロセッサに、第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を受信させる命令が、プロセッサに、ミドルウェアユニットから、第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を取り出させる命令を含む、条項６５から７４のいずれかに記載のコンピュータ可読記憶媒体。
【0182】
条項７６：メディアデータを取り出すためのデバイスであって、メディアプレゼンテーションが第１の空間解像度での第１のビデオデータと第２の空間解像度での第２のビデオデータとを含むと判定するための手段であって、第２の空間解像度が第１の空間解像度とは異なる、手段と、第１の再生時間に関する第１の空間解像度での第１のビデオデータの第１の部分を受信するための手段と、第１の空間解像度での第１のビデオデータの第１の部分をビデオデコーダに送信するための手段と、第１の再生時間よりも後の第２の再生時間に関する第２の空間解像度での第２のビデオデータの第２の部分を受信するための手段と、第２の空間解像度での第２のビデオデータの第２の部分をビデオデコーダに送信するための手段と、を含む、デバイス。
【0183】
１つ又は複数の例では、記載の機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせで実装されてよい。ソフトウェアで実装されている場合、機能は、１つ又は複数の命令又はコードとして、コンピュータ可読媒体上に記憶されてもよく、又はコンピュータ可読媒体を介して送信されてもよく、ハードウェアベースの処理ユニットによって実行されてもよい。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に相当するコンピュータ可読記憶媒体、又は、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このように、コンピュータ可読媒体は一般に、（１）非一時的である有形のコンピュータ可読記憶媒体、又は（２）信号若しくは搬送波のような通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実施のための命令、コード、及び／又はデータ構造を取り出すために、１つ又は複数のコンピュータあるいは１つ又は複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。
【0184】
限定ではなく例として、このようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ若しくは他の光ディスクストレージ、磁気ディスクストレージ若しくは他の磁気ストレージデバイス、フラッシュメモリ、又は、命令若しくはデータ構造の形態で所望のプログラムコードを記憶するために使用でき、コンピュータによってアクセス可能な任意の他の媒体を含むことができる。また、任意の接続がコンピュータ可読媒体と適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、又は赤外線、無線、及びマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、又は他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、又は赤外線、無線、及びマイクロ波などのワイヤレス技術は、媒体の定義の中に含まれる。しかしながら、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時的な媒体を含まず、代わりに非一時的で有形な記憶媒体を指すことを理解されたい。本明細書で使用するディスク（disk）及びディスク（disc）は、コンパクトディスク（disc）（compact disc：ＣＤ）、レーザーディスク（disc）、光ディスク（disc）、デジタル多用途ディスク（digital versatile disc：ＤＶＤ）、フロッピーディスク（disk）、及びＢｌｕ－ｒａｙディスク（disc）を含み、ここで、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、レーザーを用いてデータを光学的に再生する。上記のものの組み合わせもまた、コンピュータ可読媒体の範囲内に含まれるものとする。
【0185】
命令は、１つ又は複数のデジタル信号プロセッサ（ＤＳＰｓ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣｓ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡｓ）、又は他の等価な集積論理回路若しくはディスクリート論理回路などの、１つ又は複数のプロセッサによって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、又は本明細書で説明する技術の実装に好適な任意の他の構造のいずれかを指すことがある。加えて、いくつかの態様では、本明細書で説明されている機能性は、符号化及び復号のために構成された専用のハードウェアモジュール及び／若しくはソフトウェアモジュール内で提供されてもよく、又は複合コーデックの中に組み込まれてもよい。また、技法は、１つ又は複数の回路あるいは論理要素において完全に実装されてもよい。
【0186】
本開示の技法は、ワイヤレスハンドセット、集積回路（integrated circuit：ＩＣ）、又はＩＣのセット（例えば、チップセット）を含む、多種多様なデバイス又は装置で実装されてもよい。開示されている技法を実施するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、又はユニットについて本開示で説明しているが、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上で説明したように、様々なユニットは、コーデックハードウェアユニットの中で組み合わせられてよく、又は、好適なソフトウェア及び／若しくはファームウェアと併せて、上で説明したような１つ又は複数のプロセッサを含む、相互動作可能なハードウェアユニットの集合によって提供されてよい。
【0187】
様々な例が説明されてきた。これら及び他の例は以下の特許請求の範囲内に含まれる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【国際調査報告】