特許 7602064 メディアファイル処理方法及びその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-09

(45)【発行日】2024-12-17

(54)【発明の名称】メディアファイル処理方法及びその装置

(51)【国際特許分類】

   H04N 21/236 20110101AFI20241210BHJP

   H04N 19/70 20140101ALI20241210BHJP

【ＦＩ】

H04N21/236

H04N19/70

【請求項の数】 15

(21)【出願番号】P 2023564071

(86)(22)【出願日】2022-04-14

(65)【公表番号】

(43)【公表日】2024-04-04

(86)【国際出願番号】 KR2022005393

(87)【国際公開番号】W WO2022225256

(87)【国際公開日】2022-10-27

【審査請求日】2023-12-08

(31)【優先権主張番号】63/176,834

(32)【優先日】2021-04-19

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．

【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100159259

【弁理士】

【氏名又は名称】竹本 実

(72)【発明者】

【氏名】ヘンドリー ヘンドリー

【審査官】渡部 博樹

(56)【参考文献】

【文献】特表２０１７－５２３６６９（ＪＰ，Ａ）

【文献】Ye-Kui Wang et al，AHG9: On EOS NAL units，JVET-S JVET-S0155-v1，ITU-T インターネット＜URL:https://jvet-experts.org/doc_end_user/documents/19_Teleconference/wg11/JVET-S0155-v1.zip＞

【文献】Ye-Kui Wang et al，The High-Level Syntax of the Versatile Video Coding (VVC) Standard，IEEE TRANSACTION ON CIRUITS AND SYSTEMS FOR VIDEO TECHNOLOGY，Vol.31, No.10, October 2021，P.3779-3800

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／２３６

Ｈ０４Ｎ １９／７０

(57)【特許請求の範囲】

【請求項1】

メディアファイル処理方法において、
第１のＯＬＳ（Ｏｕｔｐｕｔ Ｌａｙｅｒ Ｓｅｔ、ＯＬＳ）に対するアクセスユニット（ａｃｃｅｓｓ ｕｎｉｔｓ）のシーケンス（ｓｅｑｕｅｎｃｅ）を復元するステップと、
第１の条件及び第２の条件が真（ｔｒｕｅ）であるかどうかを判断するステップと、
前記第１の条件及び前記第２の条件が真であることに基づいて、前記第１のＯＬＳに適用されたレイヤの数ほどＥＯＳ（Ｅｎｄ Ｏｆ Ｓｅｑｕｅｎｃｅ、ＥＯＳ）ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ、ＮＡＬ）ユニットを挿入するステップと、を含み、
前記第１の条件は、前記アクセスユニットの前記シーケンスの次に前記第１のＯＬＳと異なるＯＬＳが選択されるかどうかであり、
前記第２の条件は、前記アクセスユニットの前記シーケンスが前記第１のＯＬＳの各レイヤでＥＯＳ ＮＡＬユニットで終わらないかどうか、または、ＥＯＢ（Ｅｎｄ Ｏｆ Ｂｉｔｓｔｒｅａｍ）ＮＡＬユニットで終わらないかどうかである、ことを特徴とするメディアファイル処理方法。

【請求項2】

前記挿入されるＥＯＳ ＮＡＬユニットは、前記ＥＯＳ ＮＡＬユニットのレイヤＩＤの昇順に前記シーケンスのアクセスユニット（ａｃｃｅｓｓ ｕｎｉｔ）の端に配置されることを特徴とする、請求項１に記載のメディアファイル処理方法。

【請求項3】

前記挿入されるＥＯＳ ＮＡＬユニットは、対応するレイヤ（ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｌａｙｅｒ）に配置され（ｐｌａｃｅｄ）ないことを特徴とする、請求項１に記載のメディアファイル処理方法。

【請求項4】

前記復元されたアクセスユニットの前記シーケンスの次に前記第１のＯＬＳと異なるＯＬＳが選択されず、対象動作ポイント（ｔａｒｇｅｔ ｏｐｅｒａｔｉｎｇ ｐｏｉｎｔ）のみが変更された場合、前記ＥＯＳ ＮＡＬユニットは、挿入されないことを特徴とする、請求項１に記載のメディアファイル処理方法。

【請求項5】

前記復元されたアクセスユニットの前記シーケンスの次に前記第１のＯＬＳと異なるＯＬＳが選択されず、最大時間的ＩＤ（ｍａｘ ｔｅｍｐｏｒａｌ ＩＤ）のみが変更された場合、前記ＥＯＳ ＮＡＬユニットは、挿入されないことを特徴とする、請求項１に記載のメディアファイル処理方法。

【請求項6】

前記ＥＯＳ ＮＡＬユニットを挿入する過程は、選択事項（ｏｐｔｉｏｎａｌ）であることを特徴とする、請求項１に記載のメディアファイル処理方法。

【請求項7】

メディアファイル処理方法を実行するメディアファイル処理装置において、
メディアファイルを取得する受信部と、
前記メディアファイルの第１のＯＬＳ（Ｏｕｔｐｕｔ Ｌａｙｅｒ Ｓｅｔ、ＯＬＳ）に対するアクセスユニット（ａｃｃｅｓｓ ｕｎｉｔｓ）のシーケンス（ｓｅｑｕｅｎｃｅ）を復元し、第１の条件及び第２の条件が真（ｔｒｕｅ）であるかどうかを判断し、前記第１の条件及び前記第２の条件が真であることに基づいて、前記第１のＯＬＳに適用されたレイヤの数ほどＥＯＳ（Ｅｎｄ Ｏｆ Ｓｅｑｕｅｎｃｅ、ＥＯＳ）ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ、ＮＡＬ）ユニットを挿入するメディアファイル処理部と、を含み、
前記第１の条件は、前記アクセスユニットの前記シーケンスの次に前記第１のＯＬＳと異なるＯＬＳが選択されるかどうかであり、
前記第２の条件は、前記アクセスユニットの前記シーケンスが前記第１のＯＬＳの各レイヤでＥＯＳ ＮＡＬユニットで終わらないかどうか、または、ＥＯＢ（Ｅｎｄ Ｏｆ Ｂｉｔｓｔｒｅａｍ）ＮＡＬユニットで終わらないかどうかである、ことを特徴とするメディアファイル処理装置。

【請求項8】

前記挿入されるＥＯＳ ＮＡＬユニットは、前記ＥＯＳ ＮＡＬユニットのレイヤＩＤの昇順に前記シーケンスのアクセスユニット（ａｃｃｅｓｓ ｕｎｉｔ）の端に配置されることを特徴とする、請求項７に記載のメディアファイル処理装置。

【請求項9】

前記挿入されるＥＯＳ ＮＡＬユニットは、対応するレイヤ（ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｌａｙｅｒ）に配置され（ｐｌａｃｅｄ）ないことを特徴とする、請求項７に記載のメディアファイル処理装置。

【請求項10】

前記復元されたアクセスユニットの前記シーケンスの次に前記第１のＯＬＳと異なるＯＬＳが選択されず、対象動作ポイント（ｔａｒｇｅｔ ｏｐｅｒａｔｉｎｇ ｐｏｉｎｔ）のみが変更された場合、前記ＥＯＳ ＮＡＬユニットは、挿入されないことを特徴とする、請求項７に記載のメディアファイル処理装置。

【請求項11】

前記復元されたアクセスユニットの前記シーケンスの次に前記第１のＯＬＳと異なるＯＬＳが選択されず、最大時間的ＩＤ（ｍａｘ ｔｅｍｐｏｒａｌ ＩＤ）のみが変更された場合、前記ＥＯＳ ＮＡＬユニットは、挿入されないことを特徴とする、請求項７に記載のメディアファイル処理装置。

【請求項12】

前記ＥＯＳ ＮＡＬユニットを挿入する過程は、選択事項（ｏｐｔｉｏｎａｌ）であることを特徴とする、請求項７に記載のメディアファイル処理装置。

【請求項13】

メディアファイル生成方法において、
第１のＯＬＳ（Ｏｕｔｐｕｔ Ｌａｙｅｒ Ｓｅｔ、ＯＬＳ）に対するアクセスユニット（ａｃｃｅｓｓ ｕｎｉｔｓ）のシーケンス（ｓｅｑｕｅｎｃｅ）を生成するステップと、
第１の条件及び第２の条件が真（ｔｒｕｅ）であるかどうかを判断するステップと、
前記第１の条件及び前記第２の条件が真であることに基づいて、前記第１のＯＬＳに適用されたレイヤの数ほどＥＯＳ（Ｅｎｄ Ｏｆ Ｓｅｑｕｅｎｃｅ、ＥＯＳ）ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ、ＮＡＬ）ユニットを挿入するステップと、
前記第１のＯＬＳを含む前記メディアファイルを生成するステップと、を含み、
前記第１の条件は、前記アクセスユニットの前記シーケンスの次に前記第１のＯＬＳと異なるＯＬＳが選択されるかどうかであり、
前記第２の条件は、前記アクセスユニットの前記シーケンスが前記第１のＯＬＳの各レイヤでＥＯＳ ＮＡＬユニットで終わらないかどうか、または、ＥＯＢ（Ｅｎｄ Ｏｆ Ｂｉｔｓｔｒｅａｍ）ＮＡＬユニットで終わらないかどうかである、ことを特徴とするメディアファイル生成方法。

【請求項14】

前記挿入されるＥＯＳ ＮＡＬユニットは、前記ＥＯＳ ＮＡＬユニットのレイヤＩＤの昇順に前記シーケンスのアクセスユニット（ａｃｃｅｓｓ ｕｎｉｔ）の端に配置されることを特徴とする、請求項１３に記載のメディアファイル生成方法。

【請求項15】

前記挿入されるＥＯＳ ＮＡＬユニットは、対応するレイヤ（ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｌａｙｅｒ）に配置され（ｐｌａｃｅｄ）ないことを特徴とする、請求項１３に記載のメディアファイル生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本文書は、ビデオ／映像コーディング技術に関し、より詳しくは、ビデオ／映像コーディングシステムでコーディングされた映像情報に対するメディアファイルを処理する方法及びその装置に関する。

【背景技術】

【0002】

最近、４Ｋまたは８Ｋ以上のＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）ビデオ／映像のような高解像度、高品質のビデオ／映像に対する需要が多様な分野で増加している。ビデオ／映像データが高解像度、高品質になるほど、既存のビデオ／映像データに比べて相対的に送信される情報量またはビット量が増加するため、既存の有無線広帯域回線のような媒体を利用して映像データを送信し、または既存の格納媒体を利用してビデオ／映像データを格納する場合、送信費用と格納費用が増加する。

【0003】

また、最近、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｔｉｙ）コンテンツやホログラムなどの実感メディア（イマーシブメディア、Ｉｍｍｅｒｓｉｖｅ Ｍｅｄｉａ）に対する関心及び需要が増加しており、ゲーム映像のように、現実映像と異なる映像特性を有するビデオ／映像に対する放送が増加している。

【0004】

これによって、前記のような多様な特性を有する高解像度高品質のビデオ／映像の情報を効果的に圧縮して送信または格納し、再生するために高効率の映像圧縮技術が要求される。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本文書の技術的課題は、ビデオ／映像コーディング効率を高める方法及び装置を提供することにある

【0006】

本文書の他の技術的課題は、コーディングされた映像情報に対するメディアファイルを生成する方法及び装置を提供することにある。

【0007】

本文書の他の技術的課題は、コーディングされた映像情報に対するメディアファイルを処理する方法及び装置を提供することにある。

【課題を解決するための手段】

【0008】

本文書の一実施例によると、メディアファイル生成装置により実行されるメディアファイル生成方法が提供される。前記方法は、第１のＯＬＳ（Ｏｕｔｐｕｔ Ｌａｙｅｒ Ｓｅｔ、ＯＬＳ）に対するアクセスユニット（ａｃｃｅｓｓ ｕｎｉｔｓ）のシーケンス（ｓｅｑｕｅｎｃｅ）を生成するステップ、第１の条件及び第２の条件が真（ｔｒｕｅ）であるかどうかを判断するステップ、前記第１の条件及び前記第２の条件が真であることに基づいて、前記第１のＯＬＳに適用されたレイヤの数ほどＥＯＳ（Ｅｎｄ Ｏｆ Ｓｅｑｕｅｎｃｅ、ＥＯＳ）ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ、ＮＡＬ）ユニットを挿入するステップ、及び前記第１のＯＬＳを含む前記メディアファイルを生成するステップ、を含み、前記第１の条件は、前記アクセスユニットの前記シーケンスの次に前記第１のＯＬＳと異なるＯＬＳが選択されるかどうかであり、前記第２の条件は、前記アクセスユニットの前記シーケンスが前記第１のＯＬＳの各レイヤでＥＯＳ ＮＡＬユニットで終わらないかどうか、または、ＥＯＢ（Ｅｎｄ Ｏｆ Ｂｉｔｓｔｒｅａｍ）ＮＡＬユニットで終わらないかどうかであることを特徴とする。

【0009】

本文書の他の一実施例によると、メディアファイル生成装置が提供される。前記メディアファイル生成装置は、第１のＯＬＳ（Ｏｕｔｐｕｔ Ｌａｙｅｒ Ｓｅｔ、ＯＬＳ）に対するアクセスユニット（ａｃｃｅｓｓ ｕｎｉｔｓ）のシーケンス（ｓｅｑｕｅｎｃｅ）を生成し、第１の条件及び第２の条件が真（ｔｒｕｅ）であるかどうかを判断し、前記第１の条件及び前記第２の条件が真であることに基づいて、前記第１のＯＬＳに適用されたレイヤの数ほどＥＯＳ（Ｅｎｄ Ｏｆ Ｓｅｑｕｅｎｃｅ、ＥＯＳ）ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ、ＮＡＬ）ユニットを挿入し、及び前記第１のＯＬＳを含む前記メディアファイルを生成するメディアファイル生成部を含み、前記第１の条件は、前記アクセスユニットの前記シーケンスの次に前記第１のＯＬＳと異なるＯＬＳが選択されるかどうかであり、前記第２の条件は、前記アクセスユニットの前記シーケンスが前記第１のＯＬＳの各レイヤでＥＯＳ ＮＡＬユニットで終わらないかどうか、または、ＥＯＢ（Ｅｎｄ Ｏｆ Ｂｉｔｓｔｒｅａｍ）ＮＡＬユニットで終わらないかどうかであることを特徴とする。

【0010】

本文書の他の一実施例によると、メディアファイル処理装置により実行されるメディアファイル処理方法を提供する。前記方法は、第１のＯＬＳ（Ｏｕｔｐｕｔ Ｌａｙｅｒ Ｓｅｔ、ＯＬＳ）に対するアクセスユニット（ａｃｃｅｓｓ ｕｎｉｔｓ）のシーケンス（ｓｅｑｕｅｎｃｅ）を復元するステップ、第１の条件及び第２の条件が真（ｔｒｕｅ）であるかどうかを判断するステップ、及び前記第１の条件及び前記第２の条件が真であることに基づいて、前記第１のＯＬＳに適用されたレイヤの数ほどＥＯＳ（Ｅｎｄ Ｏｆ Ｓｅｑｕｅｎｃｅ、ＥＯＳ）ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ、ＮＡＬ）ユニットを挿入するステップ、を含み、前記第１の条件は、前記アクセスユニットの前記シーケンスの次に前記第１のＯＬＳと異なるＯＬＳが選択されるかどうかであり、前記第２の条件は、前記アクセスユニットの前記シーケンスが前記第１のＯＬＳの各レイヤでＥＯＳ ＮＡＬユニットで終わらないかどうか、または、ＥＯＢ（Ｅｎｄ Ｏｆ Ｂｉｔｓｔｒｅａｍ）ＮＡＬユニットで終わらないかどうかであることを特徴とする。

【0011】

本文書の他の一実施例によると、メディアファイル処理装置を提供する。前記メディアファイル処理装置は、メディアファイルを取得する受信部、及び前記メディアファイルの第１のＯＬＳ（Ｏｕｔｐｕｔ Ｌａｙｅｒ Ｓｅｔ、ＯＬＳ）に対するアクセスユニット（ａｃｃｅｓｓ ｕｎｉｔｓ）のシーケンス（ｓｅｑｕｅｎｃｅ）を復元し、第１の条件及び第２の条件が真（ｔｒｕｅ）であるかどうかを判断し、前記第１の条件及び前記第２の条件が真であることに基づいて、前記第１のＯＬＳに適用されたレイヤの数ほどＥＯＳ（Ｅｎｄ Ｏｆ Ｓｅｑｕｅｎｃｅ、ＥＯＳ）ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ、ＮＡＬ）ユニットを挿入するメディアファイル処理部、を含み、前記第１の条件は、前記アクセスユニットの前記シーケンスの次に前記第１のＯＬＳと異なるＯＬＳが選択されるかどうかであり、前記第２の条件は、前記アクセスユニットの前記シーケンスが前記第１のＯＬＳの各レイヤでＥＯＳ ＮＡＬユニットで終わらないかどうか、または、ＥＯＢ（Ｅｎｄ Ｏｆ Ｂｉｔｓｔｒｅａｍ）ＮＡＬユニットで終わらないかどうかであることを特徴とする。

【0012】

本文書の他の一実施例によると、メディアファイル生成方法により生成されたメディアファイルが格納されたコンピュータで読み取り可能なデジタル格納媒体を提供する。コンピュータで読み取り可能なデジタル格納媒体において、前記方法は、サブピクチャイメージデータを各々含むサブピクチャトラックを構成するステップ、前記サブピクチャトラックを参照するベーストラックを構成するステップ、及び前記サブピクチャトラックと前記ベーストラックを含む前記メディアファイルを生成するステップ、を含み、前記ベーストラックのサンプルは、孔とオーバラップがない長方形領域を形成し、前記孔は、参照されたサブピクチャトラックのサンプルのうち少なくとも一つによりカバーされない領域を示し、前記オーバラップは、参照されたサブピクチャトラックのサンプルにより２回以上カバーされる領域を示すことを特徴とする。

【発明の効果】

【0013】

本文書によると、最大時間的ＩＤのみが変更されてもＥＯＳ ＮＡＬユニットを挿入する不必要な動作を防止することができ、これによって、全般的なコーディング効率を向上させることができる。

【0014】

本文書によると、ＥＯＳ ＮＡＬユニットをアクセスユニット内の適切な位置に挿入するために発生されるバーデンを防止することができ、これによって、全般的なコーディング効率を向上させることができる。

【図面の簡単な説明】

【0015】

【図1】本文書の実施形態が適用され得るビデオ／画像コーディングシステムの例を概略的に示す。

【図2】本文書の実施形態が適用され得るビデオ／画像エンコード装置の構成を概略的に説明する図である。

【図3】本文書の実施形態が適用され得るビデオ／画像デコード装置の構成を概略的に説明する図である。

【図4】コーディングされたビデオ／映像に対する階層構造を例示的に示す。

【図5】メディアファイル構造の例を概略的に示す。

【図6】メディアファイル構造の例を概略的に示す。

【図7】ＤＡＳＨベースの適応型ストリーミングモデルの全般的な動作の例を示す。

【図8】本文書で提案した実施例が適用されるメディアファイル生成方法を例示的に示す。

【図9】本文書で提案した実施例が適用されて生成されたメディアファイルをデコーディングする方法を例示的に示す。

【図10】本文書によるメディアファイル生成装置によるメディアファイル生成方法を概略的に示す。

【図11】本文書によるメディアファイル生成方法を実行するメディアファイル生成装置を概略的に示す。

【図12】本文書によるメディアファイル処理装置によるメディアファイル処理方法を概略的に示す。

【図13】本文書によるメディアファイル処理方法を実行するメディアファイル処理装置を概略的に示す。

【図14】本文書の実施例が適用されるコンテンツストリーミングシステム構造図を例示的に示す。

【発明を実施するための形態】

【0016】

本文書は、多様な変更を加えることができ、様々な実施例を有することができ、特定実施例を図面に例示して詳細に説明しようとする。しかし、これは本文書の実施例を特定実施例に限定しようとするものではない。本文書で使用する用語は、単に特定の実施例を説明するために使われたものであって、本文書の技術的思想を限定しようとする意図で使われたものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本文書において、「含む」または「有する」などの用語は、文書上に記載された特徴、数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定するものであり、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものの存在または付加可能性をあらかじめ排除しないと理解されなければならない。

【0017】

一方、本文書において説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の都合上、独立的に図示されたものであって、各構成が互いに別個のハードウェアや別個のソフトウェアで実現されるということを意味するものではない。例えば、各構成のうち、２つ以上の構成が結合されて１つの構成をなすことができ、１つの構成を複数の構成に分けることもできる。各構成が統合及び／又は分離された実施形態も本文書の本質から逸脱しない限り、本文書の権利範囲に含まれる。

【0018】

以下、添付した図面を参照して、本文書の好ましい実施形態をより詳細に説明する。以下、図面上の同じ構成要素に対しては、同じ参照符号を使用し、同じ構成要素に対して重なった説明は省略されることができる。

【0019】

図１は、本文書の実施形態が適用され得るビデオ／画像コーディングシステムの例を概略的に示す。

【0020】

図１に示すように、ビデオ／画像コーディングシステムは、第１の装置（ソースデバイス）及び第２の装置（受信デバイス）を含むことができる。ソースデバイスは、エンコードされたビデオ（ｖｉｄｅｏ）／画像（ｉｍａｇｅ）情報またはデータをファイルまたはストリーミング形態でデジタル記録媒体またはネットワークを介して受信デバイスに伝達することができる。

【0021】

前記ソースデバイスは、ビデオソース、エンコード装置、送信部を備えることができる。前記受信デバイスは、受信部、デコード装置、及びレンダラーを備えることができる。前記エンコード装置は、ビデオ／画像エンコード装置と呼ばれることができ、前記デコード装置は、ビデオ／画像デコード装置と呼ばれることができる。送信機は、エンコード装置に含まれることができる。受信機は、デコード装置に含まれることができる。レンダラーは、ディスプレイ部を備えることができ、ディスプレイ部は、別個のデバイスまたは外部コンポーネントで構成されることもできる。

【0022】

ビデオソースは、ビデオ／画像のキャプチャ、合成、または生成過程などを介してビデオ／画像を取得することができる。ビデオソースは、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、１つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを備えることができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット、及びスマートフォンなどを備えることができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／画像が生成されることができ、この場合、関連データが生成される過程にてビデオ／画像キャプチャ過程が代替されることができる。

【0023】

エンコード装置は、入力ビデオ／画像をエンコードすることができる。エンコード装置は、圧縮及びコーディング効率のために、予測、変換、量子化など、一連の手順を実行することができる。エンコードされたデータ（エンコードされたビデオ／画像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）形態で出力されることができる。

【0024】

送信部は、ビットストリーム形態で出力されたエンコードされたビデオ／画像情報またはデータをファイルまたはストリーミング形態でデジタル記録媒体またはネットワークを介して受信デバイスの受信部に伝達することができる。デジタル記録媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、様々な記録媒体を含むことができる。送信部は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介しての送信のためのエレメントを含むことができる。受信部は、前記ビットストリームを受信／抽出してデコード装置に伝達することができる。

【0025】

デコード装置は、エンコード装置の動作に対応する逆量子化、逆変換、予測など、一連の手順を実行してビデオ／画像をデコードすることができる。

【0026】

レンダラーは、デコードされたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介してディスプレイされることができる。

【0027】

この文書は、ビデオ／画像コーディングに関する。例えば、この文書において開示された方法／実施形態は、ＶＶＣ（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＥＶＣ（ｅｓｓｅｎｔｉａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＡＶ１（ＡＯＭｅｄｉａ Ｖｉｄｅｏ １）標準、ＡＶＳ２（２ｎｄ ｇｅｎｅｒａｔｉｏｎ ｏｆ ａｕｄｉｏ ｖｉｄｅｏ ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ）、または次世代ビデオ／画像コーディング標準（例えば、Ｈ．２６７またはＨ．２６８等）に開示される方法に適用されることができる。

【0028】

この文書では、ビデオ／画像コーディングに関する様々な実施形態を提示し、他の言及がない限り、前記実施形態は、互いに組み合わせられて実行されることもできる。

【0029】

この文書において、ビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の映像（ｉｍａｇｅ）の集合を意味することができる。ピクチャ（ｐｉｃｔｕｒｅ）は、一般的に特定時間帯の一つの映像を示す単位を意味し、サブピクチャ（ｓｕｂｐｉｃｔｕｒｅ）／スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、コーディングにおいてピクチャの一部を構成する単位である。サブピクチャ／スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。一つのピクチャは、一つ以上のサブピクチャ／スライス／タイルで構成されることができる。一つのピクチャは、一つ以上のタイルグループで構成されることができる。一つのタイルグループは、一つ以上のタイルを含むことができる。ブリックは、ピクチャ内のタイル内のＣＴＵ行（ｒｏｗ）の長方形領域を示すことができる。タイルは、多数のブリックでパーティショニングされることができ、各ブリックは、前記タイル内の一つ以上のＣＴＵ行で構成されることができる。多数のブリックによりパーティショニングされないタイルもブリックと呼ばれることができる。ブリックスキャンは、ピクチャをパーティショニングするＣＴＵの特定の順次オーダリングを示すことができ、前記ＣＴＵは、ブリック内でＣＴＵラスタスキャンで整列されることができ、タイル内のブリックは、前記タイルの前記ブリックのラスタスキャンで連続的に整列されることができ、そして、ピクチャ内のタイルは、前記ピクチャの前記タイルのラスタスキャンで連続的に整列されることができる。また、サブピクチャは、ピクチャ内の一つ以上のスライスの長方形領域を示すことができる。すなわち、サブピクチャは、ピクチャの長方形領域を総括的にカバーする一つ以上のスライスを含むことができる。タイルは、特定タイル列及び特定タイル列以内のＣＴＵの長方形領域である。前記タイル列は、ＣＴＵの長方形領域であり、前記長方形領域は、前記ピクチャの高さと同じ高さを有し、幅はピクチャパラメータセット内のシンタックス要素により明示されることができる。前記タイル行は、ＣＴＵの長方形領域であり、前記長方形領域はピクチャパラメータセット内のシンタックス要素により明示される幅を有し、高さは前記ピクチャの高さと同じである。タイルスキャンは、ピクチャをパーティショニングするＣＴＵの特定の順次オーダリングを示すことができ、前記ＣＴＵは、タイル内のＣＴＵラスタスキャンで連続的に整列されることができ、ピクチャ内のタイルは、前記ピクチャの前記タイルのラスタスキャンで連続的に整列されることができる。スライスは、ピクチャの整数個のブリックを含むことができ、前記整数個のブリックは、一つのＮＡＬユニットに含まれることができる。スライスは、多数の完全なタイルで構成されることができ、または、一つのタイルの完全なブリックの連続的なシーケンスである。この文書では、タイルグループとスライスは混用されることができる。例えば、本文書では、ｔｉｌｅ ｇｒｏｕｐ／ｔｉｌｅ ｇｒｏｕｐ ｈｅａｄｅｒは、ｓｌｉｃｅ／ｓｌｉｃｅ ｈｅａｄｅｒと呼ばれることができる。

【0030】

ピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）は、１つのピクチャ（または、画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用されることができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。

【0031】

ユニット（ｕｎｉｔ）は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定領域及び当該領域に関連した情報のうち、少なくとも１つを含むことができる。１つのユニットは、１つのルマブロック及び２つのクロマ（例えば、ｃｂ、ｃｒ）ブロックを含むことができる。ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（または、サンプルアレイ）、または変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合（または、アレイ）を含むことができる。

【0032】

本文書において、「ＡまたはＢ（Ａ ｏｒ Ｂ）」は「Ａのみ」、「Ｂのみ」または「ＡとＢの両方とも」を意味することができる。言い換えると、本文書において「ＡまたはＢ（Ａ ｏｒ Ｂ）」は「Ａ及び／又はＢ（Ａ ａｎｄ／ｏｒ Ｂ）」と解釈されることができる。例えば、本文書において、「Ａ、ＢまたはＣ（Ａ，Ｂ ｏｒ Ｃ）」は「Ａのみ」、「Ｂのみ」、「Ｃのみ」、または「Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）」を意味することができる。

【0033】

本文書で使われるスラッシュ（／）やコンマ（ｃｏｍｍａ）は「及び／又は（ａｎｄ／ｏｒ）」を意味することができる。例えば、「Ａ／Ｂ」は「Ａ及び／又はＢ」を意味することができる。これによって、「Ａ／Ｂ」は「Ａのみ」、「Ｂのみ」、または「ＡとＢの両方とも」を意味することができる。例えば、「Ａ、Ｂ、Ｃ」は「Ａ、ＢまたはＣ」を意味することができる。

【0034】

本文書において、「少なくとも一つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」は、「Ａのみ」、「Ｂのみ」または「ＡとＢの両方とも」を意味することができる。また、本文書において、「少なくとも一つのＡまたはＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ｏｒ Ｂ）」や「少なくとも一つのＡ及び／又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ／ｏｒ Ｂ）」という表現は「少なくとも一つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」と同様に解釈されることができる。

【0035】

また、本文書において、「少なくとも一つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）」は、「Ａのみ」、「Ｂのみ」、「Ｃのみ」、または「Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）」を意味することができる。また、「少なくとも一つのＡ、ＢまたはＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ｏｒ Ｃ）」や「少なくとも一つのＡ、Ｂ及び／又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ／ｏｒ Ｃ）」は「少なくとも一つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）」を意味することができる。

【0036】

また、本文書で使われる括弧は「例えば、（ｆｏｒ ｅｘａｍｐｌｅ）」を意味することができる。具体的に、「予測（イントラ予測）」で表示された場合、「予測」の一例として「イントラ予測」が提案されたものである。言い換えると、本文書の「予測」は「イントラ予測」に制限（ｌｉｍｉｔ）されず、「イントラ予測」が「予測」の一例として提案されるものである。また、「予測（すなわち、イントラ予測）」で表示された場合にも、「予測」の一例として「イントラ予測」が提案されたものである。

【0037】

本文書において、一つの図面内で個別的に説明される技術的特徴は、個別的に具現されることもでき、同時に具現されることもできる。

【0038】

以下の図面は、本文書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な信号／メッセージ／フィールドの名称は例示的に提示されたものであるため、本文書の技術的特徴が以下の図面に使われた具体的な名称に制限されない。

【0039】

図２は、本文書の実施形態が適用され得るビデオ／画像エンコード装置の構成を概略的に説明する図である。以下、ビデオエンコード装置とは、画像エンコード装置を含むことができる。

【0040】

図２に示すように、エンコード装置２００は、画像分割部（ｉｍａｇｅ ｐａｒｔｉｔｉｏｎｅｒ）２１０、予測部（ｐｒｅｄｉｃｔｏｒ）２２０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）２３０、エントロピーエンコード部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｅｒ）２４０、加算部（ａｄｄｅｒ）２５０、フィルタリング部（ｆｉｌｔｅｒ）２６０、及びメモリ（ｍｅｍｏｒｙ）２７０を備えて構成されることができる。予測部２２０は、インター予測部２２１及びイントラ予測部２２２を備えることができる。レジデュアル処理部２３０は、変換部（ｔｒａｎｓｆｏｒｍｅｒ）２３２、量子化部（ｑｕａｎｔｉｚｅｒ）２３３、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）２３４、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）２３５を備えることができる。レジデュアル処理部２３０は、減算部（ｓｕｂｔｒａｃｔｏｒ）２３１をさらに備えることができる。加算部２５０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｏｒ）または復元ブロック生成部（ｒｅｃｏｎｔｒｕｃｔｇｅｄ ｂｌｏｃｋ ｇｅｎｅｒａｔｏｒ）と呼ばれることができる。前述した画像分割部２１０、予測部２２０、レジデュアル処理部２３０、エントロピーエンコード部２４０、加算部２５０、及びフィルタリング部２６０は、実施形態によって１つ以上のハードウェアコンポーネント（例えば、エンコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ２７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記録媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ２７０を内／外部コンポーネントとしてさらに備えることもできる。

【0041】

画像分割部２１０は、エンコード装置２００に入力された入力画像（または、ピクチャ、フレーム）を１つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）または最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴＴＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、１つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造、及び／又はターナリ構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及び／又はターナリ構造が後ほど適用されることができる。または、バイナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて本文書に係るコーディング手順が実行されることができる。この場合、画像特性に応じるコーディング効率などに基づいて、最大コーディングユニットが直ちに最終コーディングユニットとして使用されることができ、または、必要に応じてコーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）、より下位デプスのコーディングユニットに分割されて、最適のサイズのコーディングユニットが最終コーディングユニットとして使用されることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）または変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）をさらに備えることができる。この場合、前記予測ユニット及び前記変換ユニットは、各々前述した最終コーディングユニットから分割またはパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であり、前記変換ユニットは、変換係数を誘導する単位及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位である。

【0042】

ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合を示すことができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すことができ、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。サンプルは、１つのピクチャ（または、画像）をピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）に対応する用語として使用することができる。

【0043】

エンコード装置２００は、入力画像信号（原本ブロック、原本サンプルアレイ）から、インター予測部２２１またはイントラ予測部２２２から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算してレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができ、生成されたレジデュアル信号は、変換部２３２に送信される。この場合、図示されたように、エンコーダ２００内において入力画像信号（原本ブロック、原本サンプルアレイ）から予測信号（予測ブロック、予測サンプルアレイ）を減算するユニットは、減算部２３１と呼ばれることができる。予測部は、処理対象ブロック（以下、現在ブロックという）に対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロックまたはＣＵ単位でイントラ予測が適用されるか、またはインター予測が適用されるかを決定することができる。予測部は、各予測モードについての説明で後述するように、予測モード情報など、予測に関する様々な情報を生成してエントロピーエンコード部２４０に伝達することができる。予測に関する情報は、エントロピーエンコード部２４０でエンコードされてビットストリーム形態で出力されることができる。

【0044】

イントラ予測部２２２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することができ、または、離れて位置することもできる。イントラ予測において予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。非方向性モードは、例えば、ＤＣモード及びプラナーモード（Ｐｌａｎａｒ Ｍｏｄｅ）を含むことができる。方向性モードは、予測方向の細かい程度によって、例えば、３３個の方向性予測モードまたは６５個の方向性予測モードを含むことができる。ただし、これは、例示に過ぎず、設定によってそれ以上またはそれ以下の個数の方向性予測モードが使用されることができる。イントラ予測部２２２は、隣接ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

【0045】

インター予測部２２１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合に、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。前記参照ブロックを含む参照ピクチャと前記時間的隣接ブロックを含む参照ピクチャとは同じであってもよく、異なってもよい。前記時間的隣接ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌＣＵ）などの名称で呼ばれることができ、前記時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもできる。例えば、インター予測部２２１は、隣接ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するためにどのような候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が実行されることができ、例えば、スキップモードとマージモードの場合に、インター予測部２２１は、隣接ブロックの動き情報を現在ブロックの動き情報として利用することができる。スキップモードの場合、マージモードとは異なってレジデュアル信号が送信されないことがある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）として利用し、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）をシグナリングすることによって現在ブロックの動きベクトルを指示することができる。

【0046】

予測部２２０は、後述する様々な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、１つのブロックに対する予測のために、イントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）予測モードに基づくこともでき、または、パレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）に基づくこともできる。前記ＩＢＣ予測モードまたはパレットモードは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ画像／動画像コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を実行するが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と類似して実行されることができる。すなわち、ＩＢＣは、本文書において説明されるインター予測技法のうち、少なくとも１つを利用することができる。パレットモードは、イントラコーディングまたはイントラ予測の一例と見ることができる。パレットモードが適用される場合、パレットテーブル及びパレットインデックスに関する情報に基づいてピクチャ内のサンプル値をシグナリングすることができる。

【0047】

前記予測部（インター予測部２２１及び／又は前記イントラ予測部２２２を含む）を介して生成された予測信号は、復元信号を生成するために用いられ、またはレジデュアル信号を生成するために用いられることができる。変換部２３２は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、またはＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうち、少なくとも１つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。また、変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形でない、可変サイズのブロックにも適用されることもできる。

【0048】

量子化部２３３は、変換係数を量子化してエントロピーエンコード部２４０に送信され、エントロピーエンコード部２４０は、量子化された信号（量子化された変換係数に関する情報）をエンコードしてビットストリームとして出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部２３３は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいてブロック形態の量子化された変換係数を１次元ベクトル形態で再整列することができ、前記１次元ベクトル形態の量子化された変換係数に基づいて前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコード部２４０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのような様々なエンコード方法を実行することができる。エントロピーエンコード部２４０は、量子化された変換係数の他に、ビデオ／イメージ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値等）を共に、または別にエンコードすることもできる。エンコードされた情報（例えば、エンコードされたビデオ／画像情報）は、ビットストリーム形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信または格納されることができる。前記ビデオ／画像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）など、様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本文書においてエンコード装置からデコード装置に伝達／シグナリングされる情報及び／又はシンタックス要素は、ビデオ／画像情報に含まれることができる。前記ビデオ／画像情報は、前述したエンコード手順を介してエンコードされて前記ビットストリームに含まれることができる。前記ビットストリームは、ネットワークを介して送信されることができ、またはデジタル記録媒体に格納されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル記録媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、様々な記録媒体を含むことができる。エントロピーエンコード部２４０から出力された信号は、送信する送信部（図示せず）及び／又は格納する格納部（図示せず）がエンコード装置２００の内／外部エレメントとして構成されることができ、または送信部は、エントロピーエンコード部２４０に含まれることもできる。

【0049】

量子化部２３３から出力された量子化された変換係数は、予測信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部２３４及び逆変換部２３５を介して逆量子化及び逆変換を適用することによってレジデュアル信号（レジデュアルブロックまたはレジデュアルサンプル）を復元することができる。加算部２５０は、復元されたレジデュアル信号をインター予測部２２１またはイントラ予測部２２２から出力された予測信号に加えることによって復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）が生成され得る。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部２５０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て次のピクチャのインター予測のために使用されることもできる。

【0050】

一方、ピクチャエンコード及び／又は復元過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

【0051】

フィルタリング部２６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２６０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２７０、具体的に、メモリ２７０のＤＰＢに格納することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部２６０は、各フィルタリング方法についての説明で後述するように、フィルタリングに関する様々な情報を生成してエントロピーエンコード部２４０に伝達することができる。フィルタリングに関する情報は、エントロピーエンコード部２４０でエンコードされてビットストリーム形態で出力されることができる。

【0052】

メモリ２７０に送信された修正された復元ピクチャは、インター予測部２２１で参照ピクチャとして使用されることができる。エンコード装置は、これを介してインター予測が適用される場合、エンコード装置２００とデコード装置３００での予測ミスマッチを避けることができ、符号化効率も向上させることができる。

【0053】

メモリ２７０ＤＰＢは、修正された復元ピクチャをインター予測部２２１での参照ピクチャとして使用するために格納することができる。メモリ２７０は、現在ピクチャ内の動き情報が導出された（または、エンコードされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するために、インター予測部２２１に伝達することができる。メモリ２７０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部２２２に伝達することができる。

【0054】

図３は、本文書の実施形態が適用され得るビデオ／画像デコード装置の構成を概略的に説明する図である。

【0055】

図３を参照すると、デコーディング装置３００は、エントロピーデコーディング部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｅｒ）３１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）３２０、予測部（ｐｒｅｄｉｃｔｏｒ）３３０、加算部（ａｄｄｅｒ）３４０、フィルタリング部（ｆｉｌｔｅｒ）３５０、及びメモリ（ｍｅｍｏｒｙ）３６０を含んで構成されることができる。予測部３３０は、イントラ予測部３３１及びインター予測部３３２を含むことができる。レジデュアル処理部３２０は、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）３２１及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）３２１を含むことができる。前述したエントロピーデコーディング部３１０、レジデュアル処理部３２０、予測部３３０、加算部３４０、及びフィルタリング部３５０は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ３６０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ３６０を内／外部コンポーネントとしてさらに含むことができる。

【0056】

ビデオ／画像情報を含むビットストリームが入力されると、デコード装置３００は、図２のエンコード装置でビデオ／画像情報が処理されたプロセスに対応して画像を復元することができる。例えば、デコード装置３００は、前記ビットストリームから取得したブロック分割関連情報に基づいてユニット／ブロックを導出できる。デコード装置３００は、エンコード装置で適用された処理ユニットを用いてデコードを実行することができる。したがって、デコードの処理ユニットは、例えば、コーディングユニットであり、コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットからクアッドツリー構造、バイナリツリー構造、及び／又はターナリツリー構造にしたがって分割されることができる。コーディングユニットから１つ以上の変換ユニットが導出されることができる。そして、デコード装置３００を介してデコード及び出力された復元画像信号は、再生装置を介して再生されることができる。

【0057】

デコード装置３００は、図２のエンコード装置から出力された信号をビットストリーム形態で受信することができ、受信された信号は、エントロピーデコード部３１０を介してデコードされることができる。例えば、エントロピーデコード部３１０は、前記ビットストリームをパーシングして画像復元（または、ピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出できる。前記ビデオ／画像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）など、様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。デコード装置は、前記パラメータセットに関する情報及び／又は前記一般制限情報に基づいてさらにピクチャをデコードすることができる。本文書において後述されるシグナリング／受信される情報及び／又はシンタックス要素は、前記デコード手順を介してデコードされて前記ビットストリームから取得されることができる。例えば、エントロピーデコード部３１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣ等のコーディング方法を基にビットストリーム内の情報をデコードし、画像復元に必要なシンタックスエレメントの値、レジデュアルに関する変換係数の量子化された値などを出力することができる。より詳細に、ＣＡＢＡＣエントロピーデコード方法は、ビットストリームで各構文要素に該当するビンを受信し、デコード対象構文要素情報と周辺及びデコード対象ブロックのデコード情報、または以前ステップでデコードされたシンボル／ビンの情報を利用して文脈（コンテキスト、ｃｏｎｔｅｘｔ）モデルを決定し、決定された文脈モデルによってビン（ｂｉｎ）の発生確率を予測し、ビンの算術デコード（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を実行して各構文要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコード方法は、文脈モデル決定後、次のシンボル／ビンの文脈モデルのためにデコードされたシンボル／ビンの情報を利用して文脈モデルをアップデートすることができる。エントロピーデコード部３１０でデコードされた情報のうち、予測に関する情報は、予測部（インター予測部３３２及びイントラ予測部３３１）に提供され、エントロピーデコード部３１０でエントロピーデコードが実行されたレジデュアル値、すなわち、量子化された変換係数及び関連パラメータ情報は、レジデュアル処理部３２０に入力されることができる。レジデュアル処理部３２０は、レジデュアル信号（レジデュアルブロック、レジデュアルサンプル、レジデュアルサンプルアレイ）を導出できる。また、エントロピーデコード部３１０でデコードされた情報のうち、フィルタリングに関する情報は、フィルタリング部３５０に提供されることができる。一方、エンコード装置から出力された信号を受信する受信部（図示せず）がデコード装置３００の内／外部エレメントとしてさらに構成されることができ、または、受信部は、エントロピーデコード部３１０の構成要素である。一方、本文書に係るデコード装置は、ビデオ／画像／ピクチャデコード装置と呼ばれることができ、前記デコード装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及びサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）に区分することもできる。前記情報デコーダは、前記エントロピーデコード部３１０を備えることができ、前記サンプルデコーダは、前記逆量子化部３２１、逆変換部３２２、加算部３４０、フィルタリング部３５０、メモリ３６０、インター予測部３３２、及びイントラ予測部３３１のうち、少なくとも１つを備えることができる。

【0058】

逆量子化部３２１では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部３２１は、量子化された変換係数を２次元のブロック形態で再整列することができる。この場合、前記再整列は、エンコード装置で実行された係数スキャン順序に基づいて再整列を実行することができる。逆量子化部３２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を利用して量子化された変換係数に対する逆量子化を実行し、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

【0059】

逆変換部３２２では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得するようになる。

【0060】

予測部は、現在ブロックに対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピーデコード部３１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか、またはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モードを決定することができる。

【0061】

予測部３２０は、後述する様々な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、１つのブロックに対する予測のために、イントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）予測モードに基づくこともでき、またはパレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）に基づくこともできる。前記ＩＢＣ予測モードまたはパレットモードは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ画像／動画コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を実行するが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と類似して実行されることができる。すなわち、ＩＢＣは、本文書において説明されるインター予測技法のうち、少なくとも１つを利用することができる。パレットモードは、イントラコーディングまたはイントラ予測の一例と見ることができる。パレットモードが適用される場合、パレットテーブル及びパレットインデックスに関する情報が前記ビデオ／画像情報に含まれてシグナリングされることができる。

【0062】

イントラ予測部３３１は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することができ、または離れて位置することもできる。イントラ予測において予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。イントラ予測部３３１は、隣接ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

【0063】

インター予測部３３２は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードから送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合に、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。例えば、インター予測部３３２は、隣接ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出できる。様々な予測モードに基づいてインター予測が実行されることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモードを指示する情報を含むことができる。

【0064】

加算部３４０は、取得されたレジデュアル信号を予測部（インター予測部３３２及び／又はイントラ予測部３３１を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。

【0065】

加算部３４０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て出力されることができ、または、次のピクチャのインター予測のために使用されることもできる。

【0066】

一方、ピクチャデコード過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

【0067】

フィルタリング部３５０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部３５０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ３６０、具体的に、メモリ３６０のＤＰＢに送信することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

【0068】

メモリ３６０のＤＰＢに格納された（修正された）復元ピクチャは、インター予測部３３２で参照ピクチャとして使用されることができる。メモリ３６０は、現在ピクチャ内の動き情報が導出された（または、デコードされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ３６０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部３３１に伝達することができる。

【0069】

本文書において、エンコーディング装置２００のフィルタリング部２６０、インター予測部２２１、及びイントラ予測部２２２で説明された実施例は、各々、デコーディング装置３００のフィルタリング部３５０、インター予測部３３２、及びイントラ予測部３３１にも同一または対応するように適用されることができる。

【0070】

図４は、コーディングされたビデオ／映像に対する階層構造を例示的に示す。

【0071】

図４を参照すると、コーディングされたビデオ／映像は、ビデオ／映像のデコーディング処理及びその自体を扱うＶＣＬ（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ、ビデオコーディング階層）、符号化された情報を送信して格納する下位システム、そしてＶＣＬと下位システムとの間に存在してネットワーク適応機能を担当するＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ、ネットワーク抽象階層）に区分されることができる。

【0072】

例えば、ＶＣＬでは、圧縮されたイメージデータ（スライスデータ）を含むＶＣＬデータが生成され、またはピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＰＰＳ）、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＳＰＳ）、ビデオパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＶＰＳ）または映像デコーディング過程に追加で必要なＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ、ＳＥＩ）メッセージを含むパラメータセットが生成されることができる。

【0073】

例えば、ＮＡＬでは、ＶＣＬで生成されたＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）にヘッダ（ｈｅａｄｅｒ）情報（ＮＡＬユニットヘッダ）を追加してＮＡＬユニットが生成されることができる。この場合、ＲＢＳＰは、ＶＣＬで生成されたスライスデータ（ｓｌｉｃｅ ｄａｔａ）、パラメータセット（ｐａｒａｍｅｔｅｒ ｓｅｔ）、ＳＥＩメッセージ（ＳＥＩ ｍｅｓｓａｇｅ）などを参照することができる。ＮＡＬユニットヘッダは、該当ＮＡＬユニットに含まれているＲＢＳＰデータによって指定されたＮＡＬユニットタイプ情報を含むことができる。

【0074】

例えば、図４に示すように、ＮＡＬユニットは、ＶＣＬで生成されたＲＢＳＰによってＶＣＬ ＮＡＬユニットとＮｏｎ－ＶＣＬ ＮＡＬユニットに分類されることができる（ｃｌａｓｓｉｆｉｅｄ）。ＶＣＬ ＮＡＬユニットは、映像（ｉｍａｇｅ）に対する情報（スライスデータ）を含むＮＡＬユニットを意味することができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、映像デコーディングに必要な情報（パラメータセットまたはＳＥＩメッセージ）を含むＮＡＬユニットを意味することができる。

【0075】

前述したＶＣＬ ＮＡＬユニットとＮｏｎ－ＶＣＬ ＮＡＬユニットは、サブシステムのデータ規格（ｄａｔａ ｓｔａｎｄａｒｄ）によってヘッダ情報を添付してネットワークを介して送信されることができる。例えば、ＮＡＬユニットは、Ｈ．２６６／ＶＶＣファイルフォーマット（ＶＶＣ ｆｉｌｅ ｆｏｒｍａｔ）、リアルタイムトランスポートプロトコル（ｒｅａｌ－ｔｉｍｅ ｔｒａｎｓｐｏｒｔ ｐｒｏｔｏｃｏｌ、ＲＴＰ）、トランスポートプストリーム（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ、ＴＳ）などのようなあらかじめ決められた標準のデータフォーマット（ｄａｔａ ｆｏｒｍａｔ）に変換されることができ、多様なネットワークを介して送信されることができる。

【0076】

また、前述したように、ＮＡＬユニットは、該当ＮＡＬユニットに含まれているＲＢＳＰデータ構造によってＮＡＬユニットタイプが指定されることができ、ＮＡＬユニットタイプに対する情報は、ＮＡＬユニットヘッダに格納されてシグナリングされることができる。

【0077】

例えば、ＮＡＬユニットは、映像に対する情報（スライスデータ）を含むかどうかによってＶＣＬ ＮＡＬユニットタイプとＮｏｎ－ＶＣＬ ＮＡＬユニットタイプに分類されることができる。また、ＶＣＬ ＮＡＬユニットタイプは、ＶＣＬ ＮＡＬユニットに含まれているピクチャの特性とタイプによって分類されることができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプは、パラメータセットのタイプによって分類されることができる。

【0078】

次は、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプに含まれているパラメータセットのタイプによって指定されたＮＡＬユニットタイプの例である。

【0079】

－ＡＰＳ（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬユニット：ＡＰＳを含むＮＡＬユニットに対するタイプ

【0080】

－ＤＰＳ（Ｄｅｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬユニット：ＤＰＳを含むＮＡＬユニットに対するタイプ

【0081】

－ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬユニット：ＶＰＳを含むＮＡＬユニットに対するタイプ

【0082】

－ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬユニット：ＳＰＳを含むＮＡＬユニットに対するタイプ

【0083】

－ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬユニット：ＰＰＳを含むＮＡＬユニットに対するタイプ

【0084】

－ＰＨ（Ｐｉｃｔｕｒｅ ｈｅａｄｅｒ）ＮＡＬユニット：ＰＨを含むＮＡＬユニットに対するタイプ

【0085】

前述したＮＡＬユニットタイプは、ＮＡＬユニットタイプに対するシンタックス情報を有することができ、シンタックス情報は、ＮＡＬユニットヘッダに格納及びシグナリングされることができる。例えば、前記シンタックス情報は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅであり、ＮＡＬ単位タイプは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ値に指定されることができる。

【0086】

一方、一つのピクチャは、複数のスライスを含むことができ、スライスは、スライスヘッダ及びスライスデータを含むことができる。この場合、複数のスライス（スライスヘッダ及びスライスデータのセット）に対して一つのピクチャヘッダが追加されることができる。ピクチャヘッダ（ピクチャヘッダシンタックス）は、ピクチャに共通的に適用されることができる情報／パラメータを含むことができる。スライスヘッダ（スライスヘッダシンタックス）は、スライスに共通的に適用されることができる情報／パラメータを含むことができる。ＡＰＳ（ＡＰＳシンタックス）またはＰＰＳ（ＰＰＳシンタックス）は、一つ以上のスライスまたはピクチャに共通的に適用されることができる情報／パラメータを含むことができる。ＳＰＳ（ＳＰＳシンタックス）は、一つ以上のシーケンス（ｓｅｑｕｅｎｃｅ）に共通的に適用されることができる情報／パラメータを含むことができる。ＶＰＳ（ＶＰＳシンタックス）は、複数のレイヤに共通的に適用されることができる情報／パラメータを含むことができる。ＤＰＳ（ＤＰＳシンタックス）は、全体映像に共通的に適用されることができる情報／パラメータを含むことができる。ＤＰＳは、コーディングされたビデオシーケンス（Ｃｏｄｅｄ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ、ＣＶＳ）の連結（ｃｏｎｃａｔｅｎａｔｉｏｎ）と関連した情報／パラメータを含むことができる。

【0087】

本文書において、エンコーディング装置からデコーディング装置にエンコーディングされてビットストリーム形態でシグナリングされる映像／ビデオ情報は、ピクチャ内のパーティショニング関連情報、イントラ／インター予測情報、インターレイヤ予測関連情報、レジデュアル情報、インループフィルタリング情報などを含むだけでなく、前記スライスヘッダに含まれている情報、前記ピクチャヘッダに含まれている情報、前記ＡＰＳに含まれている情報、前記ＰＰＳに含まれている情報、ＳＰＳに含まれている情報、ＶＰＳに含まれている情報、及び／又はＤＰＳに含まれている情報を含むことができる。また、前記映像／ビデオ情報は、ＮＡＬユニットヘッダの情報をさらに含むことができる。

【0088】

一方、前述したエンコーディングされたイメージ（ｉｍａｇｅ）／ビデオ（ｖｉｄｅｏ）情報は、メディアファイル（ｍｅｄｉａ ｆｉｌｅ）を生成するためにメディアファイルフォーマット（ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔ）に基づいて構成されることができる。例えば、エンコーディングされたイメージ／ビデオ情報は、前記エンコーディングされたイメージ／ビデオ情報に対する一つ以上のＮＡＬユニット／サンプルエントリー（ｅｎｔｒｙ）に基づいてメディアファイル（セグメント）を形成（ｆｏｒｍ）することができる。前記メディアファイルは、サンプルエントリーとトラック（ｔｒａｃｋ）を含むことができる。例えば、メディアファイル（セグメント）は、多様なレコード（ｒｅｃｏｒｄ）を含むことができ、それぞれのレコードは、イメージ／ビデオと関連した情報またはメディアファイルフォーマットと関連した情報を含むことができる。また、例えば、一つ以上のＮＡＬユニットは、メディアファイルの構成（ｃｏｎｆｉｇｕｒａｔｉｏｎ）レコード（または、デコーダ構成レコード、またはＶＶＣデコーダ構成レコード）フィールド（ｆｉｅｌｄ）に格納されることができる。ここで、フィールドは、シンタックスエレメント（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）とも呼ばれる。

【0089】

例えば、この文書に開示された方法／実施例が適用されることができるメディアファイルフォーマットとしてＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ（ＩＳＯＢＭＦＦ）が使われることができる。ＩＳＯＢＭＦＦは、ＡＶＣファイルフォーマット、ＨＥＶＣファイルフォーマット及び／又はＶＶＣファイルフォーマットなどのような多くのコーデックカプセル化フォーマット（ｃｏｄｅｃ ｅｎｃａｐｓｕｌａｔｉｏｎ ｆｏｒｍａｔｓ）とＭＰＥＧ－４ファイルフォーマット、３ＧＰＰ（登録商標）ファイルフォーマット（３ＧＰ）及び／又はＤＶＢファイルフォーマットなどのような多くのマルチメディアコンテナフォーマットの基礎として使われることができる。また、オーディオ及びビデオのような連続メディア（ｃｏｎｔｉｎｕｏｕｓ ｍｅｄｉａ）外にもイメージ（ｉｍａｇｅ）のような静的メディア（ｓｔａｔｉｃ ｍｅｄｉａ）及びメタデータがＩＳＯＢＭＦＦによるファイルに格納されることができる。ＩＳＯＢＭＦＦによって構造化されたファイルは、ローカルメディアファイルプレイバック（ｌｏｃａｌ ｍｅｄｉａ ｆｉｌｅ ｐｌａｙｂａｃｋ）、遠隔ファイルの漸進的ダウンロード（ｐｒｏｇｒｅｓｓｉｖｅ ｄｏｗｎｌｏａｄｉｎｇ ｏｆ ａ ｒｅｍｏｔｅ ｆｉｌｅ）、ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ、ＤＡＳＨ）に対するセグメント（ｓｅｇｍｅｎｔｓ）、ストリーミングするコンテンツのコンテナ（ｃｏｎｔａｉｎｅｒｓ）及びパケット化インストラクション（ｐａｃｋｅｔｉｚａｔｉｏｎ ｉｎｓｔｒｕｃｔｉｏｎｓ）、受信されたリアルタイムメディアストリームのレコーティング（ｒｅｃｏｒｄｉｎｇ ｏｆ ｒｅｃｅｉｖｅｄ ｒｅａｌ－ｔｉｍｅ ｍｅｄｉａ ｓｔｒｅａｍｓ）等、多様な用途で使われることができる。

【0090】

後述する「ボックス（ｂｏｘ）」は、ＩＳＯＢＭＦＦの基本シンタックスエレメント（ｅｌｅｍｅｎｔａｒｙ ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）である。ＩＳＯＢＭＦＦファイルは、一連のボックス（ａ ｓｅｑｕｅｎｃｅ ｏｆ ｂｏｘｅｓ）で構成されることができ、ボックスには他のボックスが含まれることができる。例えば、ムービーボックス（グループ化タイプ（ｇｒｏｕｐｉｎｇ ｔｙｐｅ）が「ｍｏｏｖ」であるボックス）は、メディアファイルにある連続メディアストリーム（ｃｏｎｔｉｎｕｏｕｓ ｍｅｄｉａ ｓｔｒｅａｍｓ）に対するメタデータを含むことができ、各ストリームは、ファイルにトラックで表示されることができる。トラックに対するメタデータは、トラックボックス（グループ化タイプ（ｇｒｏｕｐｉｎｇ ｔｙｐｅ）が「ｔｒａｋ」であるボックス）に含まれることができ、トラックのメディアコンテンツ（ｍｅｄｉａ ｃｏｎｔｅｎｔ）は、メディアデータボックス（グループ化タイプ（ｇｒｏｕｐｉｎｇ ｔｙｐｅ）が「ｍｄａｔ」であるボックス）に含まれ、または別途のファイルに直接含まれることができる。トラックのメディアコンテンツは、オーディオまたはビデオアクセスユニットのようなサンプルシーケンス（ａ ｓｅｑｕｅｎｃｅ ｏｆ ｓａｍｐｌｅｓ）で構成されることができる。例えば、ＩＳＯＢＭＦＦは、基本メディアストリーム（ｅｌｅｍｅｎｔａｒｙ ｍｅｄｉａ ｓｔｒｅａｍ）を含むメディアトラック（ｍｅｄｉａｔ ｒａｃｋ）、メディア送信インストラクション（ｍｅｄｉａ ｔｒａｎｓｍｉｓｓｉｏｎ ｉｎｓｔｒｕｃｔｉｏｎｓ）を含んだり受信されたパケットストリームを示すヒントトラック（ｈｉｎｔ ｔｒａｃｋ）、時間同期化されたメタデータ（ｔｉｍｅｓｙｎｃｈｒｏｎｉｚｅｄ ｍｅｔａｄａｔａ）を含むタイムドメタデータトラック（ｔｉｍｅｄ ｍｅｔａｄａｔａ ｔｒａｃｋ）のようなタイプのトラックを指定することができる。

【0091】

また、ＩＳＯＢＭＦＦは、格納用として設計されたが、例えば、漸進的ダウンロード（プログレッシブダウンロード、ｐｒｏｇｒｅｓｓｉｖｅ ｄｏｗｎｌｏａｄ）またはＤＡＳＨのようなストリーミングにも非常に有用である。ストリーミング目的として、ＩＳＯＢＭＦＦで定義されたムービーフラグメント（ｍｏｖｉｅ ｆｒａｇｍｅｎｔｓ）が使われることができる。断片化されたＩＳＯＢＭＦＦファイル（ｆｒａｇｍｅｎｔｅｄ ＩＳＯＢＭＦＦ ｆｉｌｅ）は、例えば、ビデオ及びオーディオと関連した二つのトラックで表すことができる。例えば、「ｍｏｏｖ」ボックスを受信した後に任意アクセス（ランダムアクセス、ｒａｎｄｏｍ ａｃｃｅｓｓ）が含まれている場合、関連メディアデータと共に全てのムービーフラグメント「ｍｏｏｆ」がデコーディングされることができる。

【0092】

また、各トラックのメタデータは、前記トラックに使われたコーディングまたはカプセル化フォーマットと該当フォーマットの処理に必要な初期化データ（ｉｎｉｔｉａｌｉｚａｔｉｏｎ ｄａｔａ）を提供するサンプルデスクリプションエントリー（ｓａｍｐｌｅ ｄｅｓｃｒｉｐｔｉｏｎ ｅｎｔｒｉｅｓ）のリストを含むことができる。また、各サンプルは、前記トラックの前記サンプルデスクリプションエントリーのうち一つと連結されることができる。

【0093】

ＩＳＯＢＭＦＦを使用すると、多様なメカニズムでサンプル別メタデータ（ｓａｍｐｌｅ－ｓｐｅｃｉｆｉｃ ｍｅｔａｄａｔａ）を指定することができる。サンプルテーブルボックス（グループ化タイプが「ｓｔｂｌ」であるボックス）内の特定ボックスは、一般的な要求事項に対応するために標準化されることができる。例えば、シンク（Ｓｙｎｃ）サンプルボックス（グループ化タイプが「ｓｔｓｓ」であるボックス）は、トラックのランダムアクセスサンプル（ｒａｎｄｏｍ ａｃｃｅｓｓ ｓａｍｐｌｅｓ）の羅列に使われることができる。サンプルグループ化メカニズムを使用すると、ファイル内のサンプルグループデスクリプションエントリー（ｓａｍｐｌｅ ｇｒｏｕｐ ｄｅｓｃｒｉｐｔｉｏｎ ｅｎｔｒｙ）に指定された同じ属性（ｐｒｏｐｅｒｔｙ）を共有するサンプルグループで４字グループ化タイプ（ａ ｆｏｕｒ－ｃｈａｒａｃｔｅｒ ｇｒｏｕｐｉｎｇ ｔｙｐｅ）によってサンプルをマッピングすることができる。ＩＳＯＢＭＦＦには様々なグループ化タイプが指定されている。

【0094】

図５及び図６は、メディアファイル構造の一例を示す図である。

【0095】

メディアファイルは、少なくとも一つ以上のボックスを含むことができる。ここで、ボックス（ｂｏｘ）は、メディアデータまたはメディアデータに関連したメタデータなどを含むデータブロック乃至オブジェクトである。ボックスは、互いに階層的構造をなすことができ、これによってデータが分類されて、メディアファイルが大容量メディアデータの格納及び／又は送信に適した形態になることができる。また、メディアファイルは、ユーザがメディアコンテンツの特定地点へ移動する等、メディア情報に接近するにあたって容易な構造を有することができる。

【0096】

メディアファイルは、ｆｔｙｐボックス、ｍｏｏｖボックス及び／又はｍｄａｔボックスを含むことができる。

【0097】

ｆｔｙｐボックス（ファイルタイプボックス）は、該当メディアファイルに対するファイルタイプまたは互換性関連情報を提供することができる。ｆｔｙｐボックスは、該当メディアファイルのメディアデータに対する構成バージョン情報を含むことができる。デコーディング装置は、ｆｔｙｐボックスを参照して該当メディアファイルを区分することができる。

【0098】

ｍｏｏｖボックス（ムービーボックス）は、該当メディアファイルのメディアデータに対するメタデータを含むボックスである。ｍｏｏｖボックスは、全てのメタデータのためのコンテナ役割をすることができる。ｍｏｏｖボックスは、メタデータ関連ボックスのうち最上位階層のボックスである。実施例によって、ｍｏｏｖボックスは、メディアファイル内に一つのみ存在できる。

【0099】

ｍｄａｔボックス（メディアデータボックス）は、該当メディアファイルの実際メディアデータを入れるボックスである。メディアデータは、オーディオサンプル及び／又はビデオサンプルを含むことができ、ｍｄａｔボックスは、このようなメディアサンプルを入れるコンテナ役割をすることができる。

【0100】

実施例によって、前述したｍｏｏｖボックスは、ｍｖｈｄボックス、ｔｒａｋボックス及び／又はｍｖｅｘボックスなどを下位ボックスとしてさらに含むことができる。

【0101】

ｍｖｈｄボックス（ムービーヘッダボックス）は、該当メディアファイルに含まれるメディアデータのメディアプレゼンテーション関連情報を含むことができる。すなわち、ｍｖｈｄボックスは、該当メディアプレゼンテーションのメディア生成時間、変更時間、時間規格、期間などの情報を含むことができる。

【0102】

ｔｒａｋボックス（トラックボックス）は、該当メディアデータのトラックに関連した情報を提供することができる。ｔｒａｋボックスは、オーディオトラックまたはビデオトラックに対するストリーム関連情報、プレゼンテーション関連情報、アクセス関連情報などの情報を含むことができる。Ｔｒａｋボックスは、トラックの個数によって複数個存在できる。

【0103】

ｔｒａｋボックスは、実施例によって、ｔｋｈｄボックス（トラックヘッダボックス）を下位ボックスとしてさらに含むことができる。ｔｋｈｄボックスは、ｔｒａｋボックスが示す該当トラックに対する情報を含むことができる。ｔｋｈｄボックスは、該当トラックの生成時間、変更時間、トラック識別子などの情報を含むことができる。

【0104】

ｍｖｅｘボックス（ムービーイクステンドボックス）は、該当メディアファイルに後述するｍｏｏｆボックスがあることを指示することができる。特定トラックの全てのメディアサンプルを知るために、ｍｏｏｆボックスがスキャンされなければならない。

【0105】

メディアファイルは、実施例によって、複数個のフラグメントに分けられることができる（５００）。これによって、メディアファイルが分割されて格納または送信されることができる。メディアファイルのメディアデータ（ｍｄａｔボックス）は、複数個のフラグメントに分けられ、それぞれのフラグメントは、ｍｏｏｆボックスと分けられたｍｄａｔボックスとを含むことができる。実施例によって、フラグメントを活用するためにはｆｔｙｐボックス及び／又はｍｏｏｖボックスの情報が必要である。

【0106】

ｍｏｏｆボックス（ムービーフラグメントボックス）は、該当フラグメントのメディアデータに対するメタデータを提供することができる。ｍｏｏｆボックスは、該当フラグメントのメタデータ関連ボックスのうち最上位階層のボックスである。

【0107】

ｍｄａｔボックス（メディアデータボックス）は、前述したように実際メディアデータを含むことができる。このｍｄａｔボックスは、それぞれの該当フラグメントに該当するメディアデータのメディアサンプルを含むことができる。

【0108】

実施例によって、前述したｍｏｏｆボックスは、ｍｆｈｄボックス及び／又はｔｒａｆボックスなどを下位ボックスとしてさらに含むことができる。

【0109】

ｍｆｈｄボックス（ムービーフラグメントヘッダボックス）は、分割された複数個のフラグメント間の連関性と関連した情報を含むことができる。ｍｆｈｄボックスは、シーケンスナンバー（ｓｅｑｕｅｎｃｅ ｎｕｍｂｅｒ）を含み、該当フラグメントのメディアデータが分割された何番目のデータであるかを示すことができる。また、ｍｆｈｄボックスを利用して分割されたデータのうち欠落されたものはないかどうかが確認されることができる。

【0110】

ｔｒａｆボックス（トラックフラグメントボックス）は、該当トラックフラグメントに対する情報を含むことができる。ｔｒａｆボックスは、該当フラグメントに含まれる分割されたトラックフラグメントに対するメタデータを提供することができる。ｔｒａｆボックスは、該当トラックフラグメント内のメディアサンプルが復号化／再生されることができるようにメタデータを提供することができる。ｔｒａｆボックスは、トラックフラグメントの個数によって複数個存在できる。

【0111】

実施例によって前述したｔｒａｆボックスは、ｔｆｈｄボックス及び／又はｔｒｕｎボックスなどを下位ボックスとしてさらに含むことができる。

【0112】

ｔｆｈｄボックス（トラックフラグメントヘッダボックス）は、該当トラックフラグメントのヘッダ情報を含むことができる。ｔｆｈｄボックスは、前述したｔｒａｆボックスが示すトラックフラグメントのメディアサンプルに対して、基本的なサンプル大きさ、期間、オフセット、識別子などの情報を提供することができる。

【0113】

ｔｒｕｎボックス（トラックフラグメントランボックス）は、該当トラックフラグメント関連情報を含むことができる。ｔｒｕｎボックスは、メディアサンプル別期間、大きさ、再生時点などのような情報を含むことができる。

【0114】

前述したメディアファイル乃至メディアファイルのフラグメントは、セグメントとして処理されて送信されることができる。セグメントには初期化セグメント（ｉｎｉｔｉａｌｉｚａｔｉｏｎ ｓｅｇｍｅｎｔ）及び／又はメディアセグメント（ｍｅｄｉａ ｓｅｇｍｅｎｔ）がある。

【0115】

図示された実施例（５１０）のファイルは、メディアデータを除いてメディアデコーダの初期化と関連した情報などを含むファイルである。このファイルは、例えば、前述した初期化セグメントに該当できる。初期化セグメントは、前述したｆｔｙｐボックス及び／又はｍｏｏｖボックスを含むことができる。

【0116】

図示された実施例（５２０）のファイルは、前述したフラグメントを含むファイルである。このファイルは、例えば、前述したメディアセグメントに該当できる。メディアセグメントは、前述したｍｏｏｆボックス及び／又はｍｄａｔボックスを含むことができる。また、メディアセグメントは、ｓｔｙｐボックス及び／又はｓｉｄｘボックスをさらに含むことができる。

【0117】

ｓｔｙｐボックス（セグメントタイプボックス）は、分割されたフラグメントのメディアデータを識別するための情報を提供することができる。ｓｔｙｐボックスは、分割されたフラグメントに対して、前述したｆｔｙｐボックスのような役割を遂行することができる。実施例によって、ｓｔｙｐボックスは、ｆｔｙｐボックスと同じフォーマットを有することができる。

【0118】

ｓｉｄｘボックス（セグメントインデックスボックス）は、分割されたフラグメントに対するインデックスを示す情報を提供することができる。これによって、該当分割されたフラグメントが何番目のフラグメントであるかが指示されることができる。

【0119】

実施例（５３０）によってｓｓｉｘボックスがさらに含まれることができ、ｓｓｉｘボックス（サブセグメントインデックスボックス）は、セグメントがサブセグメントにさらに分けられる場合において、そのサブセグメントのインデックスを示す情報を提供することができる。

【0120】

メディアファイル内のボックスは、図示された実施例（５５０）のようなボックス乃至フルボックス（ＦｕｌｌＢｏｘ）形態に基づいて、より拡張された情報を含むことができる。この実施例において、ｓｉｚｅフィールド、ｌａｒｇｅｓｉｚｅフィールドは、該当ボックスの長さをバイト単位などで表すことができる。ｖｅｒｓｉｏｎフィールドは、該当ボックスフォーマットのバージョンを示すことができる。Ｔｙｐｅフィールドは、該当ボックスのタイプ乃至識別子を示すことができる。ｆｌａｇｓフィールドは、該当ボックスと関連したフラグなどを示すことができる。

【0121】

一方、本文書のビデオ／映像に関するフィールド（属性）は、ＤＡＳＨベースの適応型（ａｄａｐｔｉｖｅ）ストリーミングモデルに含まれて伝達されることができる。

【0122】

図７は、ＤＡＳＨベースの適応型ストリーミングモデルの全般的な動作の一例を示す。図示された実施例（７００）によるＤＡＳＨベースの適応型ストリーミングモデルは、ＨＴＴＰサーバとＤＡＳＨクライアントとの間の動作を記述している。ここで、ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）は、ＨＴＴＰベースの適応型ストリーミングを支援するためのプロトコルであって、ネットワーク状況によって動的にストリーミングを支援することができる。これによって、ＡＶコンテンツ再生がシームレス提供されることができる。

【0123】

まず、ＤＡＳＨクライアントは、ＭＰＤを取得することができる。ＭＰＤは、ＨＴＴＰサーバなどのサービスプロバイダーから伝達されることができる。ＤＡＳＨクライアントは、ＭＰＤに記述されたセグメントへの接近情報を利用してサーバに該当セグメントを要請することができる。ここで、この要請は、ネットワーク状態を反映して実行されることができる。

【0124】

ＤＡＳＨクライアントは、該当セグメントを取得した後、これをメディアエンジンで処理して画面にディスプレイできる。ＤＡＳＨクライアントは、再生時間及び／又はネットワーク状況などをリアルタイムで反映し、必要なセグメントを要請、取得できる（Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ）。これによって、コンテンツがシームレス再生されることができる。

【0125】

ＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）は、ＤＡＳＨクライアントにとってセグメントを動的に取得できるようにするための詳細情報を含むファイルであって、ＸＭＬ形態で表現されることができる。

【0126】

ＤＡＳＨクライアントコントローラ（ＤＡＳＨ Ｃｌｉｅｎｔ Ｃｏｎｔｒｏｌｌｅｒ）は、ネットワーク状況を反映してＭＰＤ及び／又はセグメントを要請するコマンドを生成することができる。また、このコントローラは、取得された情報をメディアエンジン等の内部ブロックで使用することができるように制御できる。

【0127】

ＭＰＤパーサー（Ｐａｒｓｅｒ）は、取得したＭＰＤをリアルタイムでパーシングできる。これによって、ＤＡＳＨクライアントコントローラは、必要なセグメントを取得することができるコマンドを生成することができるようになる。

【0128】

セグメントパーサー（Ｐａｒｓｅｒ）は、取得したセグメントをリアルタイムでパーシングできる。セグメントに含まれている情報によってメディアエンジンなどの内部ブロックは、特定動作を実行することができる。

【0129】

ＨＴＴＰクライアントは、必要なＭＰＤ及び／又はセグメントなどをＨＴＴＰサーバに要請できる。また、ＨＴＴＰクライアントは、サーバから取得したＭＰＤ及び／又はセグメントをＭＰＤパーサーまたはセグメントパーサーに伝達できる。

【0130】

メディアエンジン（Ｍｅｄｉａ Ｅｎｇｉｎｅ）は、セグメントに含まれているメディアデータを利用してコンテンツを画面上に表示できる。このとき、ＭＰＤの情報が活用されることができる。

【0131】

ＤＡＳＨデータモデルは、階層的構造（７１０）を有することができる。メディアプレゼンテーションは、ＭＰＤにより記述されることができる。ＭＰＤは、メディアプレゼンテーションを作る複数個のピリオド（ｐｅｒｉｏｄ）の時間的なシーケンスを記述することができる。ピリオド（ｐｅｒｉｏｄ）は、メディアコンテンツの一区間を示すことができる。

【0132】

一区間で、データは、アダプテーションセットに含まれることができる。アダプテーションセットは、互いに交換されることができる複数個のメディアコンテンツコンポーネントの集合である。アダプテーションは、レプレゼンテーションの集合を含むことができる。レプレゼンテーションは、メディアコンテンツコンポーネントに該当できる。一レプレゼンテーション内で、コンテンツは、複数個のセグメントに時間的に分けられることができる。これは適切な接近性と伝達（ｄｅｌｉｖｅｒｙ）のためである。それぞれのセグメントに接近するために各セグメントのＵＲＬが提供されることができる。

【0133】

ＭＰＤは、メディアプレゼンテーションに関連した情報を提供することができ、ピリオド（ｐｅｒｉｏｄ）エレメント、アダプテーションセットエレメント、レプレゼンテーションエレメントは、各々、該当ピリオド、アダプテーションセット、レプレゼンテーションに対して記述できる。レプレゼンテーションは、サブレプレゼンテーションに分けられることができ、サブレプレゼンテーションエレメントは、該当サブレプレゼンテーションに対して記述できる。

【0134】

ここで、共通（Ｃｏｍｍｏｎ）属性／エレメントが定義されることができ、これらはアダプテーションセット、レプレゼンテーション、サブレプレゼンテーションなどに適用されることができる（含まれることができる）。共通属性／エレメントの中にはエッセンシャルプロパティ（Ｅｓｓｅｎｔｉａｌ Ｐｒｏｐｅｒｔｙ）及び／又はサプリメンタルプロパティ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｐｒｏｐｅｒｔｙ）がある。

【0135】

エッセンシャルプロパティは、該当メディアプレゼンテーション関連データを処理するにあたって必須であると見なされるエレメントを含む情報である。サプリメンタルプロパティは、該当メディアプレゼンテーション関連データを処理するにあたって使われることもできるエレメントを含む情報である。実施例によって後述するデスクリプタは、ＭＰＤを介して伝達される場合、エッセンシャルプロパティ及び／又はサプリメンタルプロパティ内に定義されて伝達されることができる。

【0136】

一方、後述する「サンプル（ｓａｍｐｌｅ）」は、ピクチャを示す３個のサンプルアレイ（Ｙ、Ｃｂ、Ｃｒ）のうち、一つの単一時間（ｓｉｎｇｌｅ ｔｉｍｅ）または単一要素（ｓｉｎｇｌｅ ｅｌｅｍｅｎｔ）と関連した全てのデータである。例えば、「サンプル（ｓａｍｐｌｅ）」という用語が（メディアファイルフォーマットの）トラックのコンテキスト（ｃｏｎｔｅｘｔ）で使われる場合、該当トラックの単一時間と関連した全てのデータを意味することができる。ここで、時間は、デコーディング時間（ｄｅｃｏｄｉｎｇ ｔｉｍｅ）またはコムポジション時間（ｃｏｍｐｏｓｉｔｉｏｎ）である。また、例えば、「サンプル（ｓａｍｐｌｅ）」という用語がピクチャのコンテキスト（ｃｏｎｔｅｘｔ）で使われる場合、すなわち、「ルマサンプル（ｌｕｍａ ｓａｍｐｌｅ）」のようにピクチャの用語で使われる場合にはピクチャを示す３個のサンプルアレイのうち一つにある単一要素を示すことができる。

【0137】

一方、ＶＶＣコンテンツ（ｃｏｎｔｅｎｔ）を格納するために、下記のように三つのタイプの基本ストリーム（ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍｓ）が定義されることができる。

【0138】

－ＶＣＬ ＮＡＬユニットを含み、パラメータセット（ｐａｒａｍｅｔｅｒ ｓｅｔ）、ＤＣＩまたはＯＰＩ ＮＡＬユニットを含まないビデオ基本ストリーム（ｖｉｄｅｏ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ）、ここで、全てのパラメータセット、ＤＣＩ及びＯＰＩ ＮＡＬユニットは、サンプルエントリーまたはサンプルエントリーに格納されることができる。

【0139】

－ＶＣＬ ＮＡＬユニットを含み、パラメータセット、ＤＣＩまたはＯＰＩ ＮＡＬユニットを含むことができ、前記パラメータセット、ＤＣＩまたはＯＰＩ ＮＡＬユニットが格納されたサンプルエントリーまたはサンプルエントリーを有するビデオ及びパラメータセット基本ストリーム（ｐａｒａｍｅｔｅｒ ｓｅｔ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ）。

【0140】

－ビデオトラックに含まれている基本ストリームと同期化されたｎｏｎ－ＶＣＬ ＮＡＬユニットを含むｎｏｎ－ＶＣＬ基本ストリーム（ｎｏｎ－ＶＣＬ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ）。ここで、ＶＶＣ ｎｏｎ－ＶＣＬトラックは、サンプルエントリー内のパラメータセット、ＤＣＩまたはＯＰＩ ＮＡＬユニットを含まない。

【0141】

一方、ＶＶＣビデオストリームは、下記のように定義されることができる。

【0142】

例えば、ＶＶＣサンプルエントリーは、サンプルエントリータイプ（ｓａｍｐｌｅ ｅｎｔｒｙ ｔｙｐｅ）が「ｖｖｃ１」または「ｖｖｉ１」であるサンプルエントリーに定義されることができる。ＶＶＣトラックの各サンプルエントリーは、ＶＶＣサンプルエントリーである。ＶＶＣサンプルエントリーは、以下に定義されたＶＶＣ構成ボックス（ＶＶＣ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｂｏｘ）を含むことができる。前記ＶＶＣ構成ボックスは、デコーダ構成情報を含むＶＶＣデコーダ構成レコード（ＶＶＣ ｄｅｃｏｄｅｒ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｒｅｃｏｒｄ）を含むことができる。

【0143】

また、ＶＶＣビデオストリームのビット送信率情報（ｂｉｔ ｒａｔｅ ｉｎｆｏｒｍａｔｉｏｎ）をシグナリングするためにＶＶＣサンプルエントリーに選択的（ｏｐｔｉｏｎａｌ）ＢｉｔＲａｔｅＢｏｘが存在できる。また、ＭＰＥＧ－４で使われる場合、基本ストリームデスクリプタ（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ Ｄｅｓｃｒｉｐｔｏｒ）に挿入されるべき拡張デスクリプタ（Ｅｘｔｅｎｓｉｏｎ ｄｅｓｃｒｉｐｔｏｒ）も存在できる。

【0144】

また、ＩＳＯベースのメディアファイル形式仕様（ＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ）で許容する通りに、複数のサンプルエントリーを使用して他の構成またはパラメータセットを使用するビデオセクションが表示されることができる。

【0145】

ＶＶＣサブピクチャトラック（ＶＶＣ ｓｕｂｐｉｃｔｕｒｅ ｔｒａｃｋ）が他のＶＶＣサブピクチャトラックなしに消費されることができ、一致する（ｃｏｎｆｏｒｍｉｎｇ）ＶＶＣビットストリームを含む場合、ＶＶＣサブピクチャトラックに対してレギュラー（ｒｅｇｕｌａｒ）ＶＶＣサンプルエントリー（「ｖｖｃ１」または「ｖｖｉ１」）が使われることができる。そうでない場合、「ｖｖｓ１」サンプルエントリーがＶＶＣサブピクチャトラックに使われ、次の制約条件がトラックに適用されることができる。

【0146】

－ｔｒａｃｋ＿ｉｎ＿ｍｏｖｉｅフラグは、０と同じである。

【0147】

－トラックは、一つのサンプルエントリーのみを含む。

【0148】

－トラックは、「ｓｕｂｐ」トラックリファレンス（ｔｒａｃｋ ｒｅｆｅｒｅｎｃｅ）を介して一つ以上のＶＶＣベーストラックにより参照される。

【0149】

－ＤＣＩ、ＯＰＩ、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＡＵＤ、ＰＨ、ＥＯＳ、ＥＯＢ及びその他ＡＵまたはピクチャレベルｎｏｎ－ＶＣＬ ＮＡＬユニットは、サンプルエントリーと「ｖｖｓ１」トラックのサンプルの両方ともにないべきである。

【0150】

－特に明示されない限り、ビデオサンプルエントリーの下位ボックス（ｃｈｉｌｄ ｂｏｘ）（例：ＣｌｅａｎＡｐｅｒｔｕｒｅＢｏｘ及びＰｉｘｅｌＡｓｐｅｃｔＲａｔｉｏＢｏｘ）は、サンプルエントリーにないべきであり、存在する場合に無視される。

【0151】

－サンプルに含まれている全てのＶＣＬ ＮＡＬユニットが同期化サンプル要求事項（ｓｙｎｃ ｓａｍｐｌｅ ｒｅｑｕｉｒｅｍｅｎｔｓ）を遵守しない限り、サンプルは同期化サンプル（ｓｙｎｃ ｓａｍｐｌｅ）で表示され（ｍａｒｋｅｄ）ない。

【0152】

－「ｖｖｓ１」トラックのサンプルに対する構成時間オフセット情報（ｃｏｍｐｏｓｉｔｉｏｎ ｔｉｍｅ ｏｆｆｓｅｔ ｉｎｆｏｒｍａｔｉｏｎ）が存在しない。

【0153】

－「ｖｖｓ１」トラックのサンプルに対するサブサンプル情報（ｓｕｂｓａｍｐｌｅ ｉｎｆｏｒｍａｔｉｏｎ）が存在できる。サブサンプル情報が存在する場合、サブサンプル情報は、ＶＶＣに対するサブサンプルの定義に従わなければならない。

【0154】

また、ＶＶＣトラックは、ＶＶＣサブピクチャトラック（ＶＶＣ ｓｕｂｐｉｃｔｕｒｅ ｔｒａｃｋ）のｔｒａｃｋ＿ＩＤ値またはＶＶＣサブピクチャトラックの「ａｌｔｅ」トラックグループのｔｒａｃｋ＿ｇｒｏｕｐ＿ｉｄ値のうち一つを含むエントリーと共に「ｓｕｂｐ」トラックリファレンスを含むことができる。「ｓｐｏｒ」タイプのサンプルグループは、各ＶＶＣベーストラックにある。ＶＶＣベーストラックに対する専用サンプルエントリータイプ（ｄｅｄｉｃａｔｅｄ ｓａｍｐｌｅ ｅｎｔｒｙ ｔｙｐｅ）は、トラックタイプのコーデックＭＩＭＥパラメータ（ｃｏｄｅｃｓ ＭＩＭＥ ｐａｒａｍｅｔｅｒ）を介してＶＶＣベーストラックを示すことができる。

【0155】

また、「ｖｖｓ１」タイプのサンプルエントリーにはＶｖｃＮＡＬＵＣｏｎｆｉｇＢｏｘが含まれることができる。ＶＶＣサブピクチャトラックが、ｓｕｂｐｉｃ＿ｉｄ＿ｉｎｆｏ＿ｆｌａｇが１である「ｓｐｏｒ」サンプルグループデスクリプションエントリー（ｓａｍｐｌｅ ｇｒｏｕｐ ｄｅｓｃｒｉｐｔｉｏｎ ｅｎｔｒｙ）を含むＶＶＣベーストラックにより参照される場合、前記ＶＶＣサブピクチャトラックは、潜在的に基本サンプルグループ化メカニズム（ｄｅｆａｕｌｔ ｓａｍｐｌｅ ｇｒｏｕｐｉｎｇ ｍｅｃｈａｎｉｓｍ）を使用するサブピクチャＩＤサンプルグループデスクリプション（ｓｕｂｐｉｃｔｕｒｅ ＩＤ ｓａｍｐｌｅ ｇｒｏｕｐ ｄｅｓｃｒｉｐｔｉｏｎ）を含むことができる。

【0156】

また、サンプルエントリー名称（ｓａｍｐｌｅ ｅｎｔｒｙ ｎａｍｅ）が「ｖｖｃ１」または「ｖｖｉ１」である場合、このサンプル項目が適用されるストリームは、ＶＶＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘに提供された構成（プロファイル（ｐｒｏｆｉｌｅ）、階層（ｔｉｅｒ）及びレベル（ｌｅｖｅｌ）を含む）で作動するＶＶＣデコーダがみる時、互換されるＶＶＣストリーム（ｃｏｍｐｌｉａｎｔ ＶＶＣ ｓｔｒｅａｍ）である。

【0157】

また、サンプルエントリー名称が「ｖｖｃ１」である場合、ａｒｒａｙ＿ｃｏｍｐｌｅｔｅｎｅｓｓの値は、ＤＣＩ、ＶＰＳ、ＳＰＳ、及びＰＰＳ ＮＡＬユニットのアレイに対しては１と同じであり、他の全てのアレイに対しては０と同じである。また、サンプルエントリー名称が「ｖｖｉ１」である場合、ａｒｒａｙ＿ｃｏｍｐｌｅｔｅｎｅｓｓの値は、全てのアレイに対して０と同じである。

【0158】

また、トラックが基本的にＶＶＣビットストリームを含まずに「ｓｕｂｐ」及び「ｖｖｃＮ」トラックリファレンスを確認した後、ＶＶＣビットストリームを示さない場合（存在する場合）、前記トラックは、「ｖｏｐｉ」サンプルグループを運ぶトラックまたは動作ポイントエンティティーグループ（Ｏｐｅｒａｔｉｎｇ Ｐｏｉｎｔｓ Ｅｎｔｉｔｙ Ｇｒｏｕｐ）に対する「ｏｒｅｆ」トラックリファレンスを含むことができる。例えば、シングルレイヤＶＶＣビットストリーム（ｓｉｎｇｌｅ－ｌａｙｅｒ ＶＶＣ ｂｉｔｓｔｒｅａｍ）に互いに異なるトラックに格納された二つの時間的サブレイヤ（ｔｅｍｐｏｒａｌ ｓｕｂｌａｙｅｒｓ）が含まれている場合、ＴｅｍｐｏｒａｌＩｄが１であるサブレイヤが含まれているトラックにはＴｅｍｐｏｒａｌＩｄが０であるサブレイヤが含まれているトラックに対する「ｏｒｅｆ」トラックリファレンスが含まれることができる。

【0159】

一方、ＶＶＣのためのＩＳＯベースのメディアファイル形式（ＩＳＯ ｂａｓｅｄ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔ、ＩＳＯＢＭＦ）の動作ポイント情報（ｏｐｅｒａｔｉｎｇ ｐｏｉｎｔｓ ｉｎｆｏｒｍａｔｉｏｎ）は、グループ化タイプ（ｇｒｏｕｐｉｎｇ ｔｙｐｅ）が「ｖｏｐｉ」であるグループボックス（ｇｒｏｕｐ ｂｏｘ）またはグループ化タイプが「ｏｐｅｇ」であるエンティティーグループ（ｅｎｔｉｔｙ ｇｒｏｕｐ）でサンプルにシグナリングされることができる。前記動作ポイント情報は、サンプルと各動作ポイントに対するサンプルエントリーの識別に必要である。

【0160】

一方、動作ポイント（ｏｐｅｒａｔｉｎｇ ｐｏｉｎｔｓ）は、ＯＬＳ（ｏｕｔｐｕｔ ｌａｙｅｒ ｓｅｔ）インデックス（ｉｎｄｅｘ）とＴｅｍｐｏｒａｌＩｄの最も高い値（ｈｉｇｈｅｓｔ ｖａｌｕｅ）で識別されることができるＯＳＬの時間的サブセット（ｔｅｍｐｏｒａｌ ｓｕｂｓｅｔ）である。各動作ポイントは、前記動作ポイントの適合性ポイント（ｃｏｎｆｏｒｍａｎｃｅ ｐｏｉｎｔ）を定義するプロファイル（ｐｒｏｆｉｌｅ）、ティア（ｔｉｅｒ）、レベル（ｌｅｖｅｌ）（すなわち、ＰＴＬ）と関連することができる。

【0161】

また、例えば、動作ポイントエンティティーグループ（ｏｐｅｒａｔｉｎｇ ｐｏｉｎｔ ｅｎｔｉｔｙ ｇｒｏｕｐ）は、動作ポイントに対するトラックマッピング及び動作ポイントのプロファイルレベル情報（ｐｒｏｆｉｌｅ ｌｅｖｅｌ ｉｎｆｏｒｍａｔｉｏｎ）を提供するように定義されることができる。「ｏｐｅｇ」エンティティーグループが存在する場合、ファイルにはＩＳＯ／ＩＥＣ １４４９６－１２に指定された「ｕｎｉｆ」ブランドを含むブランド組み合わせ（ｂｒａｎｄ ｃｏｍｂｉｎａｔｉｏｎ）があるファイル－レベルＥｘｔｅｎｄｅｄＴｙｐｅＢｏｘ（ｆｉｌｅ－ｌｅｖｅｌ Ｅｘｔｅｎｄｅｄ Ｔｙｐｅ Ｂｏｘ）が含まれることができる。

【0162】

前記動作ポイントエンティティーグループに説明された動作ポイントにマッピングされたトラックのサンプルを集計する（ａｇｇｒｅｇａｔｉｎｇ）場合、暗示的な復元プロセス（ｉｍｐｌｉｃｉｔ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｐｒｏｃｅｓｓ）は、一致する（ｃｏｎｆｏｒｍｉｎｇ）ＶＶＣビットストリームを得るためにこれ以上のＶＣＬ ＮＡＬユニットを除去する必要がない。前記動作ポイントエンティティーグループに属するトラックは、前記動作ポイントエンティティーグループに表示されたｇｒｏｕｐ＿ｉｄに対するタイプ「ｏｒｅｆ」のトラックリファレンスを有し、「ｖｏｐｉ」サンプルグループを含まない。

【0163】

また、前記動作ポイントエンティティーグループに含まれている全てのｅｎｔｉｔｙ＿ｉｄ値は、同じＶＶＣビットストリームに属するトラックのトラックＩＤを示さなければならない。存在する場合、ＯｐｅｒａｔｉｎｇＰｏｉｎｔＧｒｏｕｐＢｏｘは、ファイル－レベル（ｆｉｌｅ－ｌｅｖｅｌ）ＭｅｔａＢｏｘのＧｒｏｕｐｓＬｉｓｔＢｏｘに含まれ、ファイル－レベル（ｆｉｌｅ－ｌｅｖｅｌ）他のレベルのＭｅｔａＢｏｘには含まれない。ここで、ＯｐｅｒａｔｉｎｇＰｏｉｎｔＧｒｏｕｐＢｏｘは、前記動作ポイントエンティティーグループを示すことができる。

【0164】

前述した前記動作ポイントエンティティーグループのシンタックスは、以下の表の通りである。

【0165】

【表1-1】

【0166】

【表1-2】

【0167】

また、前記動作ポイントエンティティーグループのシンタックスに対するセマンティクス（ｓｅｍａｎｔｉｃｓ）は、以下の表の通りである。

【0168】

【表2-1】

【0169】

【表2-2】

【0170】

【表2-3】

【0171】

【表2-4】

【0172】

【表2-5】

【0173】

また、例えば、メディアファイルは、ＶＶＣビットストリームエンティティーグループ（ＶＶＣ ｂｉｔｓｔｒｅａｍ ｅｎｔｉｔｙ ｇｒｏｕｐ）を含むことができる。ＶＶＣビットストリームエンティティーグループは、シングルＶＶＣ基本ストリーム（ｓｉｎｇｌｅ ＶＶＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ）のＶＶＣトラックを提供するように定義されることができる。

【0174】

例えば、ｇｒｏｕｐｉｎｇ＿ｔｙｐｅが「ｖｖｃｂ」であるＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘが存在する場合、次の制約条件が適用されることができる。

【0175】

１）ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘは、ファイル－レベルＭｅｔａＢｏｘのＧｒｏｕｐｓＬｉｓｔＢｏｘに含まれなければならず、他の水準のＭｅｔａＢｏｘには含まれない。

【0176】

２）ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘに含まれているｅｎｔｉｔｙ＿ｉｄ値は、一つのＶＶＣ基本ストリームを運ぶ全てのＶＶＣトラックのトラックＩＤを示す。

【0177】

３）ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘに含まれている１番目のｅｎｔｉｔｙ＿ｉｄ値は、「ｖｏｐｉ」サンプルグループを運ぶＶＶＣトラックのトラックＩＤを示す。

【0178】

４）ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘに含まれている２番目以後のｅｎｔｉｔｙ＿ｉｄ値で表示されるトラックＩＤ値を有するＶＶＣトラックは、「ｖｏｐｉ」サンプルグループを伝達しない。

【0179】

また、例えば、メディアファイルは、映像／ビデオコンテンツに対するデコーダ構成情報（ｄｅｃｏｄｅｒ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）を含むことができる。すなわち、メディアファイルは、デコーダ構成情報を含むＶＶＣデコーダ構成レコード（ＶＶＣ ｄｅｃｏｄｅｒ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｒｅｃｏｒｄ）を含むことができる。

【0180】

前記ＶＶＣデコーダ構成レコードがサンプルエントリーに格納された場合、前記ＶＶＣデコーダ構成レコードは、パラメータセット、ＤＣＩ、ＯＰＩ、及びＳＥＩ ＮＡＬユニットだけでなく、前記ＶＶＣデコーダ構成レコードに含まれているＮＡＬユニットの長さ（ｌｅｎｇｔｈ）を示すために、各サンプルに使われた長さフィールド（ｌｅｎｇｔｈ ｆｉｅｌｄ）のサイズを含むことができる。前記ＶＶＣデコーダ構成レコードは、外部で構成（ｆｒａｍｅ）されることができる（前記ＶＶＣデコーダ構成レコードのサイズは、前記ＶＶＣデコーダ構成レコードを含む構造で提供される）。

【0181】

また、前記ＶＶＣデコーダ構成レコードは、バージョンフィールド（ｖｅｒｓｉｏｎ ｆｉｅｌｄ）を含むことができる。本文書でのバージョンは、前記ＶＶＣデコーダ構成レコードのバージョン１を定義することができる。前記ＶＶＣデコーダ構成レコードに対する互換されない変更事項（ｉｎｃｏｍｐａｔｉｂｌｅ ｃｈａｎｇｅｓ）は、バージョン番号変更で表示されることができる。バージョン番号が認識されない場合、リーダ（ｒｅａｄｅｒｓ）は、前記ＶＶＣデコーダ構成レコードまたは該当レコードが適用されるストリームをデコーディングしてはいけない。

【0182】

前記ＶＶＣデコーダ構成レコードに対する互換可能な拡張（Ｃｏｍｐａｔｉｂｌｅ ｅｘｔｅｎｓｉｏｎｓ）は、構成バージョンコードを変更しない。リーダは、前記リーダが理解するデータの定義を超えては認識されないデータを無視する準備ができていなければならない。

【0183】

トラックが基本的にＶＶＣビットストリームを含む場合、または、「ｓｕｂｐ」トラックリファレンスを介して解決する（ｒｅｓｏｌｖｉｎｇ）場合、ＶｖｃＰｔｌＲｅｃｏｒｄは、前記デコーダ構成レコードに存在しなければならず、この場合、ＶＶＣビットストリームに対して設定された特定出力レイヤ（ｏｕｔｐｕｔ ｌａｙｅｒ）は、ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘフィールドで表示されることができる。また、トラックのデコーダ構成レコード内のｐｔｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０である場合、前記トラックは、ＶＶＣトラックまたは「ｏｐｅｇ」エンティティーグループを参照することができるＩＤに対する「ｏｒｅｆ」トラックリファレンスを有しなければならない。

【0184】

前記ＶＶＣデコーダ構成レコードで説明するストリームがデコーディングされる場合、ＶｖｃＰＴＬＲｅｃｏｒｄ、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ及びｂｉｔ＿ｄｅｐｔｈ＿ｍｉｎｕｓ８のシンタックスエレメントの値は、参照される（ｒｅｆｅｒｅｎｃｅｄ）全てのパラメータセットに対して有効（ｖａｌｉｄ）できる。特に、次のような制限が適用されることができる。

【0185】

－プロファイル表示（ｐｒｏｆｉｌｅ ｉｎｄｉｃａｔｉｏｎ）ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｉｄｃは、構成レコードでｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘにより識別された（ｉｄｅｎｔｉｆｉｅｄ）ＯＬＳが遵守するプロファイルを示す。

【0186】

－ティア表示（ｔｉｅｒ ｉｎｄｉｃａｔｉｏｎ）ｇｅｎｅｒａｌ＿ｔｉｅｒ＿ｆｌａｇは、構成レコードでｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘにより識別された（ｉｄｅｎｔｉｆｉｅｄ）ＯＬＳが遵守するｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造（全てのパラメータセット）に表示された最も高いティアより大きいまたは同じティアを示すことができる。

【0187】

－ｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏの各ビットは、構成レコードでｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘにより識別された（ｉｄｅｎｔｉｆｉｅｄ）ＯＬＳが遵守するｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造（全てのパラメータセット）の全てのｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔｓ＿ｉｎｆｏ（）シンタックス構造で前記ビットが設定された場合にのみ設定されることができる。

【0188】

－レベル表示（ｌｅｖｅｌ ｉｎｄｉｃａｔｉｏｎ）ｇｅｎｅｒａｌ＿ｌｅｖｅｌ＿ｉｄｃは、構成レコードでｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘにより識別された（ｉｄｅｎｔｉｆｉｅｄ）ＯＬＳが遵守するｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造（全てのパラメータセット）の最も高いレベルより大きいまたは同じ能力のレベル（ａ ｌｅｖｅｌ ｏｆ ｃａｐａｂｉｌｉｔｙ）を示すことができる。

【0189】

また、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃには、次の制約条件が適用されることができる。

【0190】

－構成レコードが適用されるＶＶＣストリームがシングルレイヤビットストリームである場合、ＩＳＯ／ＩＥＣ ２３０９０－３に定義されたｓｐｓ＿ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃの値は、現在サンプルエントリーデスクリプション（ｃｕｒｒｅｎｔ ｓａｍｐｌｅ ｅｎｔｒｙ ｄｅｓｃｒｉｐｔｉｏｎ）が適用されるサンプルのＶＣＬ ＮＡＬユニットにより参照される全てのＳＰＳで同じでなければならず、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃは、ｓｐｓ＿ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃと同じでなければならない。

【0191】

－そうでない場合（構成レコードが適用されるＶＶＣストリームがマルチレイヤビットストリーム（ｍｕｌｔｉ－ｌａｙｅｒ ｂｉｔｓｔｒｅａｍ）である場合）、ＩＳＯ／ＩＥＣ ２３０９０－３に定義されたｖｐｓ＿ｏｌｓ＿ｄｐｂ＿ｃｈｒｏｍａ＿ｆｏｒｍａｔ［ＭｕｌｔｉＬａｙｅｒＯｌｓＩｄｘ［ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ］］の値は、現在サンプルエントリーデスクリプションが適用される全てのＣＶＳに対して同じでなければならず、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃは、ｖｐｓ＿ｏｌｓ＿ｄｐｂ＿ｃｈｒｏｍａ＿ｆｏｒｍａｔ［ＭｕｌｔｉＬａｙｅｒＯｌｓＩｄｘ［ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ］］の値と同じでなければならない。

【0192】

また、ｂｉｔ＿ｄｅｐｔｈ＿ｍｉｎｕｓ８には、次の制約条件が適用されることができる。

【0193】

－構成レコードが適用されるＶＶＣストリームがシングルレイヤビットストリームである場合、ＩＳＯ／ＩＥＣ ２３０９０－３に定義されたｓｐｓ＿ｂｉｔｄｅｐｔｈ＿ｍｉｎｕｓ８の値は、現在サンプルエントリーデスクリプションが適用されるサンプルのＶＣＬ ＮＡＬユニットにより参照される全てのＳＰＳで同じでなければならず、ｂｉｔ＿ｄｅｐｔｈ＿ｍｉｎｕｓ８の値は、ｓｐｓ＿ｂｉｔｄｅｐｔｈ＿ｍｉｎｕｓ８の値と同じでなければならない。

【0194】

－そうでない場合（構成レコードが適用されるＶＶＣストリームがマルチレイヤビットストリームである場合）、ＩＳＯ／ＩＥＣ ２３０９０－３に定義されたｖｐｓ＿ｏｌｓ＿ｄｐｂ＿ｂｉｔｄｅｐｔｈ＿ｍｉｎｕｓ８［ＭｕｌｔｉＬａｙｅｒＯｌｓＩｄｘ［ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ］］の値は、現在サンプルエントリーデスクリプションが適用される全てのＣＶＳに対して同じでなければならず、ｂｉｔ＿ｄｅｐｔｈ＿ｍｉｎｕｓ８の値は、ｖｐｓ＿ｏｌｓ＿ｄｐｂ＿ｂｉｔｄｅｐｔｈ＿ｍｉｎｕｓ８［ＭｕｌｔｉＬａｙｅｒＯｌｓＩｄｘ［ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ］］の値と同じでなければならない。

【0195】

また、ｐｉｃｔｕｒｅ＿ｗｉｄｔｈには、次の制約条件が適用されることができる。

【0196】

－構成レコードが適用されるＶＶＣストリームがシングルレイヤビットストリームである場合、ＩＳＯ／ＩＥＣ ２３０９０－３に定義されたｓｐｓ＿ｐｉｃ＿ｗｉｄｔｈ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓの値は、現在サンプルエントリーデスクリプションが適用されるサンプルのＶＣＬ ＮＡＬユニットにより参照される全てのＳＰＳで同じでなければならず、ｐｉｃｔｕｒｅ＿ｗｉｄｔｈの値は、ｓｐｓ＿ｐｉｃ＿ｗｉｄｔｈ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓの値と同じでなければならない。

【0197】

－そうでない場合（構成レコードが適用されるＶＶＣストリームがマルチレイヤビットストリームである場合）、ＩＳＯ／ＩＥＣ ２３０９０－３に定義されたｖｐｓ＿ｏｌｓ＿ｄｐｂ＿ｐｉｃ＿ｗｉｄｔｈ［ＭｕｌｔｉＬａｙｅｒＯｌｓＩｄｘ［ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ］］の値は、現在サンプルエントリーデスクリプションが適用される全てのＣＶＳに対して同じでなければならず、ｐｉｃｔｕｒｅ＿ｗｉｄｔｈの値は、ｖｐｓ＿ｏｌｓ＿ｄｐｂ＿ｐｉｃ＿ｗｉｄｔｈ［ＭｕｌｔｉＬａｙｅｒＯｌｓＩｄｘ［ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ］］の値と同じでなければならない。

【0198】

また、ｐｉｃｔｕｒｅ＿ｈｅｉｇｈｔには、次の制約条件が適用されることができる。

【0199】

－構成レコードが適用されるＶＶＣストリームがシングルレイヤビットストリームである場合、ＩＳＯ／ＩＥＣ ２３０９０－３に定義されたｓｐｓ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓの値は、現在サンプルエントリーデスクリプションが適用されるサンプルのＶＣＬ ＮＡＬユニットにより参照される全てのＳＰＳで同じでなければならず、ｐｉｃｔｕｒｅ＿ｈｅｉｇｈｔの値は、ｓｐｓ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓの値と同じでなければならない。

【0200】

－そうでない場合（構成レコードが適用されるＶＶＣストリームがマルチレイヤビットストリームである場合）、ＩＳＯ／ＩＥＣ ２３０９０－３に定義されたｖｐｓ＿ｏｌｓ＿ｄｐｂ＿ｐｉｃ＿ｈｅｉｇｈｔ［ＭｕｌｔｉＬａｙｅｒＯｌｓＩｄｘ［ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ］］の値は、現在サンプルエントリーデスクリプションが適用される全てのＣＶＳに対して同じでなければならず、ｐｉｃｔｕｒｅ＿ｈｅｉｇｈｔの値は、ｖｐｓ＿ｏｌｓ＿ｄｐｂ＿ｐｉｃ＿ｈｅｉｇｈｔ［ＭｕｌｔｉＬａｙｅｒＯｌｓＩｄｘ［ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ］］の値と同じでなければならない。

【0201】

ＶＶＣビデオ基本ストリームで使われる他の重要なフォーマット情報だけでなく、クロマフォーマット（ｃｈｒｏｍａ ｆｏｒｍａｔ）及びビットデプス（ｂｉｔ ｄｅｐｔｈ）に対する明示的な表示（ｅｘｐｌｉｃｉｔ ｉｎｄｉｃａｔｉｏｎ）がＶＶＣデコーダ構成レコードで提供されることができる。二つのシーケンスのＶＵＩ情報で色相スペースまたはビットデプス表示（ｃｏｌｏｒ ｓｐａｃｅ ｏｒ ｂｉｔ ｄｅｐｔｈ ｉｎｄｉｃａｔｉｏｎｓ）が異なる場合、二つの異なるＶＶＣサンプルエントリーが必要である。

【0202】

また、前記ＶＶＣデコーダ構成レコードには初期化ＮＡＬユニット（ｉｎｉｔｉａｌｉｚａｔｉｏｎ ＮＡＬ ｕｎｉｔｓ）を伝達するアレイ（ａｒｒａｙｓ）のセットがある。前記ＮＡＬユニットタイプは、ＤＣＩ、ＯＰＩ、ＶＰＳ、ＳＰＳ、ＰＰＳ、プレフィックス（ｐｒｅｆｉｘ）ＡＰＳ及びプレフィックスＳＥＩ ＮＡＬユニットのみを示すように制限されることができる。ＩＳＯ／ＩＥＣ ２３０９０－３及び本文書で予約された（ｒｅｓｅｒｖｅｄ）ＮＡＬユニットタイプは、未来に定義されることができ、リーダ（ｒｅａｄｅｒ）は、ＮＡＬユニットタイプの予約または許容されない（ｕｎｐｅｒｍｉｔｔｅｄ）値があるアレイは無視しなければならない。

【0203】

一方、アレイは、ＤＣＩ、ＯＰＩ、ＶＰＳ、ＳＰＳ、ＰＰＳ、プレフィックス（ｐｒｅｆｉｘ）ＡＰＳ、プレフィックスＳＥＩの順序にある。

【0204】

前述した前記ＶＶＣデコーダ構成レコードのシンタックスは、以下の表の通りである。

【0205】

【表3-1】

【0206】

【表3-2】

【0207】

また、前記ＶＶＣデコーダ構成レコードのシンタックスに対するセマンティクス（ｓｅｍａｎｔｉｃｓ）は、以下の表の通りである。

【0208】

【表4-1】

【0209】

【表4-2】

【0210】

【表4-3】

【0211】

一方、本文書によるＶＶＣファイルフォーマット（ＶＶＣ ｆｉｌｅ ｆｏｒｍａｔ）は、次のようなタイプのトラックを定義する。

【0212】

ａ）ＶＶＣトラック：ＶＶＣトラック（ＶＶＣ ｔｒａｃｋ）は、サンプル及びサンプルエントリーにＮＡＬユニットを含み、可能ならばＶＶＣビットストリームの他のサブレイヤを含む他のＶＶＣトラックを参照し、可能ならばＶＶＣサブピクチャトラック（ｓｕｂｐｉｃｔｕｒｅ ｔｒａｃｋｓ）を参照してＶＶＣビットストリームを示す。ＶＶＣトラックがＶＶＣサブピクチャトラックを参照する場合、ＶＶＣトラックは、ＶＶＣベーストラック（ｂａｓｅ ｔｒａｃｋ）と呼ばれることができる。

【0213】

ｂ）ＶＶＣ ｎｏｎ－ＶＣＬトラック：ＡＬＦ、ＬＭＣＳまたはスケーリングリストパラメータ（ｓｃａｌｉｎｇ ｌｉｓｔ ｐａｒａｍｅｔｅｒｓ）、及び他のｎｏｎ－ＶＣＬ ＮＡＬユニットを運搬するＡＰＳ（ＡＰＳｓ）は、ＶＶＣ ｎｏｎ－ＶＣＬトラックに格納されることができ、ＶＣＬ ＮＡＬユニットを含むトラックと別途に前記トラックを介して送信されることができる。

【0214】

ｃ）ＶＶＣサブピクチャトラック（ＶＶＣ ｓｕｂｐｉｃｔｕｒｅ ｔｒａｃｋ）：ＶＶＣサブピクチャトラックは、次のうち一つを含むことができる。

【0215】

例えば、ＶＶＣサブピクチャトラックは、一つ以上のＶＶＣサブピクチャのシーケンス（ｓｅｑｕｅｎｃｅ）を含むことができる。

【0216】

また、例えば、ＶＶＣサブピクチャトラックは、長方形領域（ｒｅｃｔａｎｇｕｌａｒ ａｒｅａ）を形成する（ｆｏｒｍｉｎｇ）一つ以上の完全なスライス（ｃｏｍｐｌｅｔｅ ｓｌｉｃｅｓ）を含むことができる。

【0217】

一方、ＶＶＣサブピクチャトラックのサンプルは、次のうち一つを含むことができる。

【0218】

例えば、ＶＶＣサブピクチャトラックのサンプルは、デコーディング順序（ｄｅｃｏｄｉｎｇ ｏｒｄｅｒ）で連続的な（ｃｏｎｔｉｇｕｏｕｓ）ＩＳＯ／ＩＥＣ ２３０９０－３に指定された一つ以上の完全なサブピクチャ（ｃｏｍｐｌｅｔｅ ｓｕｂｐｉｃｔｕｒｅｓ）を含むことができる。

【0219】

また、例えば、ＶＶＣサブピクチャトラックのサンプルは、長方形領域を形成してデコーディング順序で連続的なＩＳＯ／ＩＥＣ ２３０９０－３で指定された一つ以上の完全なスライス（ｃｏｍｐｌｅｔｅ ｓｌｉｃｅｓ）を含むことができる。

【0220】

一方、ＶＶＣサブピクチャトラックの任意のサンプルに含まれるＶＶＣサブピクチャまたはスライスは、デコーディング順序で連続的である。

【0221】

ＶＶＣ ｎｏｎ－ＶＣＬトラック及びＶＶＣサブピクチャトラックは、次のようにストリーミングアプリケーション（ｓｔｒｅａｍｉｎｇ ａｐｐｌｉｃａｔｉｏｎ）でＶＶＣビデオの最適の伝達（ｏｐｔｉｍａｌ ｄｅｌｉｖｅｒｙ）を可能にする。

【0222】

例えば、前記トラックは、各々、その自体のＤＡＳＨ表現（ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ）で運搬されることができ、トラックのサブセット（ｓｕｂｓｅｔ）のデコーディング及びレンダリング（ｒｅｎｄｅｒｉｎｇ）のために、ＶＶＣサブピクチャトラックのサブセットを含むＤＡＳＨ表現とｎｏｎ－ＶＣＬトラックを含むＤＡＳＨ表現が要求されることができる。このような方法は、ＡＰＳｓ及び他のｎｏｎ－ＶＣＬ ＮＡＬユニットの重複送信（ｒｅｄｕｎｄａｎｔ ｔｒａｎｓｍｉｓｓｉｏｎ）を除去することができる。

【0223】

一方、データ共有（Ｄａｔａ ｓｈａｒｉｎｇ）及びＶＶＣビットストリーム復元（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ＶＶＣ ｂｉｔｓｔｒｅａｍ）プロセスは、次のように実行されることができる。ここで、前記プロセスの出力は、出力ビットストリームと呼ばれることができるＶＶＣビットストリームである。

【0224】

例えば、ファイルリーダ（ｆｉｌｅ ｒｅａｄｅｒ）は、次の条件のうち一つ以上が真（ｔｒｕｅ）である場合、前記プロセスを呼び出ししなければならない。

【0225】

ｉ）ＶＶＣビットストリーム（「ｖｖｃｂ」）エンティティーグループがファイルに存在し、ファイルリーダが、前記エンティティーグループが示すＶＶＣビットストリームを処理して出力ビットストリームを生成する。

【0226】

ｉｉ）動作ポイント（「ｏｐｅｇ」）エンティティーグループがファイルに存在し、ファイルリーダが前記エンティティーグループにより説明された（ｄｅｓｃｒｉｂｅｄ）任意の動作ポイントを使用して出力ビットストリームを生成する。

【0227】

ｉｉｉ）ファイルリーダが出力ビットストリームを生成するために、ｐｔｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１であるＶＶＣトラックのレイヤまたはサブレイヤのサブセット（ｓｕｂｓｅｔ）を抽出する。

【0228】

ｉｖ）ファイルリーダがＶＶＣ基本トラックを処理する。

【0229】

ｖ）ファイルリーダが関連されたＶＶＣ ｎｏｎ－ＶＣＬトラックがあるＶＶＣトラックを処理する。

【0230】

例えば、前記プロセスは、以下のような順序のステップで構成されることができる。

【0231】

１）前述したｉ、ｉｉまたはｉｉｉ条件が真である場合、ＶＶＣビットストリームの初め部分で動作ポイントが決定され、任意のＩＲＡＰまたはＧＤＲアクセスユニット（ａｃｃｅｓｓ ｕｎｉｔ）に対して再び決定されることができる。

【0232】

ファイルリーダが初めて作動ポイントを選択したり、以前に選択したものと異なる作動ポイントを選択する場合、ファイルリーダは、出力ビットストリームに挿入されたＯＰＩ ＮＡＬユニット（ある場合、動作ポイントが使われる１番目のアクセスユニットでＡＵデリミターＮＡＬユニット（ＡＵ ｄｅｌｉｍｉｔｅｒ ＮＡＬ ｕｎｉｔ）の次にくる１番目のＮＡＬユニット）に含ませ、または他の手段を介してＶＶＣデコーダに出力レイヤセットインデックス（ｏｕｔｐｕｔ ｌａｙｅｒ ｓｅｔ ｉｎｄｅｘ）と選択された動作ポイントの最も高いＴｅｍｐｏｒａｌＩｄ値を表示しなければならない。

【0233】

次の順序ステップは、動作ポイントが決定されるアクセスユニットから始まってビットストリームまたはアクセスユニットの端までデコーディング順序にアクセスユニットのシーケンスに適用されることができる。ここで、動作ポイントは、次回に排他的に決定されることができ、デコーディング順序でより早い。

【0234】

２）ＶＶＣビットストリームが多数のＶＶＣトラックで表示される場合、ファイルパーサーは、次のように選択された動作ポイントに必要なトラックを識別することができる。

【0235】

ｉ）「ｏｐｅｇ」エンティティーグループの動作ポイントが選択された動作ポイントを含む場合、前記ファイルパーサーは、「ｏｐｅｇ」エンティティーグループに表示された通りに動作ポイントに属するトラックを選択することができる。

【0236】

ｉｉ）「ｏｐｅｇ」エンティティーグループが存在しない場合（すなわち、「ｖｏｐｉ」サンプルグループが存在する場合）、前記ファイルパーサーは、「ｖｖｃｂ」エンティティーグループでＶＶＣトラックがＶＶＣビットストリームを示すかを決定することができる。「ｖｖｃｂ」エンティティーグループの１番目のｅｎｔｉｔｙ＿ｉｄは、「ｖｏｐｉ」サンプルグループを含むトラックを識別することができる。レイヤ及びサブレイヤに対する動作ポイントマッピングは、「ｖｏｐｉ」サンプルグループから結びをつけられることができる。選択された動作ポイントのレイヤ及びサブレイヤを含み、したがって、選択された動作ポイントのデコーディングに必要なトラックセットは、ＶＶＣビットストリームのＶＶＣトラックに存在する「ｌｉｎｆ」サンプルグループから結びをつけられることができる。特定レイヤまたはサブレイヤが一つ以上のトラックで表現されることができるため、動作ポイントに必要なトラックを把握する場合、特定レイヤまたはサブレイヤを全て含むトラックセットの中から選択されることもできる。

【0237】

３）出力ビットストリームに対するアクセスユニットは、選択された動作ポイント（前述したｉ、ｉｉまたはｉｉｉ条件が真である場合）またはＶＶＣ基本トラック（前述したｉｖ条件が真である場合）またはＶＶＣトラック（前述したｖ条件が真である場合）に必要なＶＶＣトラックのうち、サンプルのデコーディング時間順序に復元されることができる。

【0238】

多数のトラックがアクセスユニットに対するデータを含む場合、トラックの各サンプルの整列（ａｌｉｇｎｍｅｎｔ）は、サンプルデコーディング時間（ｓａｍｐｌｅ ｄｅｃｏｄｉｎｇ ｔｉｍｅｓ）に基づいて実行されることができる。

【0239】

アクセスユニットのシーケンスは、後述する暗示的な復元プロセス（ｉｍｐｌｉｃｉｔ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｐｒｏｃｅｓｓ）を繰り返し呼び出しして必要なトラックの各サンプルで復元されることができる。

【0240】

復元されたアクセスユニットは、デコーディング時間が増加する順序に出力ビットストリームに配置されることができる。

【0241】

４）また、次の二つの条件が全て真である場合、ファイルリーダは、出力ビットストリームに適用された動作ポイントの各レイヤにＥＯＳ ＮＡＬユニットを含まなければならない。

【0242】

－アクセスユニットのシーケンスが以前に選択されたものと異なる作動ポイントを選択する。

【0243】

－アクセスユニットのシーケンスが適用された動作ポイントの各レイヤでＥＯＳ ＮＡＬユニットまたはＥＯＢ ＮＡＬユニットで終わらない。

【0244】

ＶＶＣビットストリームが複数のＶＶＣトラックで表示される場合、サンプルのデコーディング時間は、トラックがデコーディング時間を増加させて整列されたシングルビットストリームで結合されると、アクセスユニット順序がＩＳＯ／ＩＥＣ ２３０９０－３に指定された通りに修正されるようにしなければならない。

【0245】

また、ＶＶＣビットストリームの暗示的な復元（Ｉｍｐｌｉｃｉｔ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ａ ＶＶＣ ｂｉｔｓｔｒｅａｍ）プロセスは、次のように実行されることができる。前記プロセスは、次のうち現在デコーディング時間を有する時間整列サンプル（ｔｉｍｅ－ａｌｉｇｎｅｄ ｓａｍｐｌｅｓ）からアクセスユニットの復元を示すことができる。

【0246】

－必要なＶＶＣトラック（ら）、

【0247】

－関連ＶＶＣ ｎｏｎ－ＶＣＬトラック（ある場合）及び

【0248】

－参照された（ｒｅｆｅｒｅｎｃｅｄ）ＶＶＣサブピクチャトラック（ある場合）。

【0249】

ＶＣＬ ＮＡＬユニットが０より大きいＴｅｍｐｏｒａｌＩｄを有するサブレイヤを含むビットストリームを再構成する場合、同じレイヤ内の全ての下位サブレイヤ（すなわち、ＶＣＬ ＮＡＬユニットがより小さいＴｅｍｐｏｒａｌＩｄを有するサブレイヤ）も結果ビットストリーム（ｒｅｓｕｌｔｉｎｇ ｂｉｔｓｔｒｅａｍ）に含まれることができる。

【0250】

また、現在デコーディング時間（ｃｕｒｒｅｎｔ ｄｅｃｏｄｉｎｇ ｔｉｍｅ）を有するサンプル（ら）が選択された動作ポイントに含まれている最も大きいＴｅｍｐｏｒａｌＩｄより大きいＴｅｍｐｏｒａｌＩｄを有するＶＣＬ ＮＡＬユニットを含む場合、アクセスユニットは、現在デコーディング時間から復元されない。

【0251】

また、アクセスユニットを復元する場合、同じデコーディング時間を有するサンプルのピクチャユニット（ＩＳＯ／ＩＥＣ ２３０９０－３に指定される）は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値の昇順にアクセスユニットに配置されることができる。例えば、条件が適用される場合、次のステップが実行されることができる。

【0252】

－サンプルの１番目のピクチャユニットを含むトラックのサンプルが、ＡＵＤ ＮＡＬユニット内の対象動作ポイントに該当するｏｌｓ＿ｉｄｘ及びｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘを含むサンプルグループ「ａｕｄ」に属すると表示された場合。ここで、「ａｕｄ」サンプルグループ内の前記ＡＵＤ ＮＡＬユニットは、１番目のＮＡＬユニットであって、ＡＵに配置されることができる。

【0253】

－トラックのサンプルがｏｌｓ＿ｉｄｘ、ｍａｘ＿ｔｉｄ及びｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘを含むサンプルグループ「ｅｏｓ」に属すると表示された場合、対象動作ポイントに該当する「ｅｏｓ」サンプルグループ内のＥＯＳ ＮＡＬユニットは、表示された位置のＡＵに配置されることができる。すなわち、サンプルグループ「ａｕｄ」により挿入された場合、ＡＵＤ ＮＡＬユニットを除いた再構成されたＡＵのｅｏｓ＿ｐｏｓｉｔｉｏｎ－番目のＮＡＬユニットの後に配置されることができる。

【0254】

－トラックのサンプルがｏｌｓ＿ｉｄｘ、ｍａｘ＿ｔｉｄ及びｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘを含むサンプルグループ「ｅｏｓ」に属すると表示された場合、対象動作ポイントに該当する「ｅｏｂ」サンプルグループ内のＥＯＢ ＮＡＬユニットは、ＡＵの全てのＮＡＬユニット（ＥＯＳ ＮＡＬユニットを含む）の次にＡＵに配置されることができる。

【0255】

対象動作ポイントにあるレイヤとサブレイヤのピクチャユニットのみが出力ビットストリームに含まれることができる。

【0256】

また、（「ｖｏｐｉ」サンプルグループのｎｕｍ＿ｏｌｓｓに対するｆｏｒループで）出力レイヤセットインデックス（ｏｕｔｐｕｔ ｌａｙｅｒ ｓｅｔ ｉｎｄｅｘ）ｉと関連した動作ポイントに基づいてアクセスユニットを復元する場合、次が適用されることができる。

【0257】

－アクセスユニットを復元する場合、０からｌａｙｅｒ＿ｃｏｕｎｔ［ｉ］－１までの範囲にあるインデックスｊに設定された出力レイヤの各レイヤに対して、ｎｕｍ＿ｒｅｆ＿ｓｕｂｌａｙｅｒｓ＿ｉｎ＿ｌａｙｅｒ＿ｉｎ＿ｏｌｓ［ｉ］［ｊ］が０より大きい場合、ＶＣＬ ＮＡＬユニットは、ＶＣＬ ＮＡＬユニットがＭｉｎ（ｎｕｍ＿ｒｅｆ＿ｓｕｂｌａｙｅｒｓ＿ｉｎ＿ｌａｙｅｒ＿ｉｎ＿ｏｌｓ［ｉ］［ｊ］－１、ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ）より小さいまたは同じＴｅｍｐｏｒａｌＩｄを有するレイヤのサブレイヤに属することができる。ここで、ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄは、動作ポイントに対する対応するシンタックスエレメントの値であり、結果ビットストリームに含まれ、これによって、必要なトラックが選択されることができる。

【0258】

－アクセスユニットを復元する場合、０からｌａｙｅｒ＿ｃｏｕｎｔ［ｉ］－１までの範囲にあるインデックスｊに設定された出力レイヤの各レイヤに対して、ｎｕｍ＿ｒｅｆ＿ｓｕｂｌａｙｅｒｓ＿ｉｎ＿ｌａｙｅｒ＿ｉｎ＿ｏｌｓ［ｉ］［ｊ］が０と同じ場合、参照レイヤの全てのピクチャユニットから０と同じｐｈ＿ｒｅｃｏｖｅｒｙ＿ｐｏｃ＿ｃｎｔを有するＩＲＡＰピクチャユニット及びＧＤＲピクチャユニットのみが結果ビットストリームに含まれ、必要なトラックがそれによって選択されることができる。

【0259】

また、ＶＶＣトラックのアクセスユニットが指定されないＮＡＬユニットタイプを含む場合（ＵＮＳＰＥＣ＿２８．．ＵＮＳＰＥＣ＿３１（含む）範囲のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＮＡＬユニット、すなわち、ＩＳＯ／ＩＥＣ ２３０９０－３に定義された２８～３１範囲のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ値を有するユニット）、指定されないＮＡＬユニットタイプは、最終復元されたビットストリームから削除されることができる（ｄｉｓｃａｒｄｅｄ）。

【0260】

また、ＶＶＣトラックが「ｓｕｂｐ」トラックリファレンスを含む場合、各ピクチャユニットは、ＩＳＯ／ＩＥＣ ２３０９０－３の１１．６．３節に指定された通りに復元されることができる。また、ＶＶＣトラックが「ｒｅｃｒ」トラック参照を含む場合、各ピクチャユニットは、ＩＳＯ／ＩＥＣ ２３０９０－３の１１．６．６節に指定された通りに復元されることができる。ＩＳＯ／ＩＥＣ ２３０９０－３の１１．６．３節または１１．６．６節のプロセスは、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ順序の昇順に対象動作ポイントの各レイヤに対して繰り返しされることができる。

【0261】

復元されたアクセスユニットは、デコーディング時間が増加する順序にＶＶＣビットストリームに配置されることができる。

【0262】

特定レイヤまたはサブレイヤが一つ以上のトラックで表現されることができるため、動作ポイントに必要なトラックを把握する場合、特定レイヤまたはサブレイヤを全て含むトラックセットの中から選択されることもできる。

【0263】

また、ＶＶＣサブピクチャトラックを参照するＶＶＣトラックのサンプルでピクチャユニット復元プロセスは、次のように実行されることができる。ＶＶＣトラックのサンプルは、次のような順序にピクチャユニットで解決されることができる（ｒｅｓｏｌｖｅｄ）。

【0264】

－サンプルまたは関連されたＶＶＣ ｎｏｎ－ＶＣＬトラックの時間整列サンプルにある場合、ＡＵＤ ＮＡＬユニットは、ピクチャユニットに含まれることができる。例えば、ＡＵＤ ＮＡＬユニットがサンプルに存在する場合、サンプルの１番目のＮＡＬユニットである。

【0265】

－サンプルが同じサンプルエントリーと関連したサンプルシーケンスの１番目のサンプルである場合、サンプルエントリーに含まれているＤＣＩ、ＯＰＩ、パラメータセット、及びＳＥＩ ＮＡＬユニット（ある場合）は、ピクチャユニットに含まれることができる。

【0266】

－関連されたＶＶＣ ｎｏｎ－ＶＣＬトラックがあり、ピクチャユニットがサンプルから復元されたアクセスユニットの１番目のピクチャユニットである場合、次のＮＡＬユニットがピクチャユニットに含まれる。ＥＯＳ＿ＮＵＴ、ＥＯＢ＿ＮＵＴ、ＳＵＦＦＩＸ＿ＡＰＳ＿ＮＵＴ、ＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴ、ＦＤ＿ＮＵＴまたはＲＳＶ＿ＮＶＣＬ＿２７と同じｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有する関連されたＶＶＣ ｎｏｎ－ＶＣＬトラックの時間整列されたサンプルに少なくとも一つのＮＡＬユニットがある場合（前述したＮＡＬユニットタイプを有するＮＡＬユニットは、ピクチャユニットで１番目のＶＣＬ ＮＡＬユニットより先行することができない）、関連されたＶＶＣ ｎｏｎ－ＶＣＬトラックの時間整列されたサンプルで１番目のユニットを除いた前述したＮＡＬユニット（ＡＵＤ ＮＡＬユニット除外）が含まれることができる。以外の場合には、関連されたＶＶＣ ｎｏｎ－ＶＣＬトラックの時間整列されたサンプルの全てのＮＡＬユニットが含まれることができる。

【0267】

－サンプルにｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＥＯＳ＿ＮＵＴ、ＥＯＢ＿ＮＵＴ、ＳＵＦＦＩＸ＿ＡＰＳ＿ＮＵＴ、ＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴ、ＦＤ＿ＮＵＴまたはＲＳＶ＿ＮＶＣＬ＿２７と同じＮＡＬユニットが一つ以上ある場合（前述したＮＡＬユニットタイプを有するＮＡＬユニットは、ピクチャユニットで１番目のＶＣＬ ＮＡＬユニットより先行することができない）、サンプルの前記ＮＡＬユニットのうち１番目のユニットを除いたＮＡＬユニットは、ピクチャユニットに含まれることができ、そうでない場合、サンプルの全てのＮＡＬユニットは、ピクチャユニットに含まれることができる。

【0268】

－リーダ（ｒｅａｄｅｒ）が動作ポイントを選択した場合、リーダは、前記全てのステップで復元されたアクセスユニットでサンプルエントリー及びサンプルに格納された全てのＯＰＩ ＮＡＬユニットを除外しなければならない。

【0269】

－ＶＶＣトラックがＶＶＣサブピクチャトラックを参照しない場合、ＶＶＣトラックでサンプルのＮＡＬユニットは、ピクチャユニットに含まれることができる。

【0270】

また、そうでない場合、下記のように適用されることができる。

【0271】

－トラックリファレンスは、ＩＳＯ／ＩＥＣ ２３０９０－３の１１．６．４節に明示された通りに解決されることができる（ｒｅｓｏｌｖｅｄ）。

【0272】

－パラメータセットは、ＩＳＯ／ＩＥＣ ２３０９０－３の１１．６．５節に明示された通りに必要な場合にアップデートされることができる。

【0273】

－ピクチャユニットは、「ｓｕｂｐ」トラックリファレンスで参照されるＶＶＣサブピクチャトラックの順序に（サンプルにマッピングされた「ｓｐｏｒ」サンプルグループエントリーの同じグループエントリーのｎｕｍ＿ｓｕｂｐｉｃ＿ｒｅｆ＿ｉｄｘが０である場合）またはサンプルにマッピングされた「ｓｐｏｒ」サンプルグループエントリーに指定された順序に（サンプルにマッピングされた「ｓｐｏｒ」サンプルグループエントリーの同じグループエントリーのｎｕｍ＿ｓｕｂｐｉｃ＿ｒｅｆ＿ｉｄｘが０より大きい場合）全てのＤＣＩ、ＯＰＩ、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＡＵＤ、ＰＨ、ＥＯＳ、ＥＯＢ ＮＡＬユニットだけでなく、ｓｎ＿ｓｕｂｐｉｃ＿ｆｌａｇが１である拡張可能な（ｓｃａｌａｂｌｅ）ネスティング（ｎｅｓｔｉｎｇ）ＳＥＩ ＮＡＬメッセージを除いた参照された各ＶＶＣサブピクチャトラックで時間整列された（デコーディング時間に）解決された（ｒｅｓｏｌｖｅｄ）サンプルのコンテンツにより追加されることができる。

【0274】

また、参照されたＶＶＣサブピクチャトラックがＶＶＣ ｎｏｎ－ＶＣＬトラックと関連される場合、ＶＶＣサブピクチャトラックの解決された（ｒｅｓｏｌｖｅｄ）サンプルは、次のＮＡＬユニットを含むことができる。

【0275】

－ＥＯＳ＿ＮＵＴ、ＥＯＢ＿ＮＵＴ、ＳＵＦＦＩＸ＿ＡＰＳ＿ＮＵＴ、ＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴ、ＦＤ＿ＮＵＴまたはＲＳＶ＿ＮＶＣＬ＿２７と同じｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有する関連されたＶＶＣ ｎｏｎ－ＶＣＬトラックの時間整列されたサンプルに少なくとも一つのＮＡＬユニットがある場合（前述したＮＡＬユニットタイプを有するＮＡＬユニットは、ピクチャユニットで１番目のＶＣＬ ＮＡＬユニットより先行することができない）、関連されたＶＶＣ ｎｏｎ－ＶＣＬトラックの時間整列されたサンプルで１番目のユニットを除いた前述したＮＡＬユニット（ＡＵＤ ＮＡＬユニット除外）。

【0276】

－以外の場合には、関連されたＶＶＣ ｎｏｎ－ＶＣＬトラックの時間整列されたサンプルの全てのＮＡＬユニット。

【0277】

－参照されたＶＶＣサブピクチャトラックのサンプルからのＮＡＬユニット。

【0278】

－関連ＶＶＣ ｎｏｎ－ＶＣＬトラックの時間整列サンプルで残りの（ｒｅｍａｉｎｉｎｇ）ＮＡＬユニット（ある場合）。

【0279】

－ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＥＯＳ＿ＮＵＴ、ＥＯＢ＿ＮＵＴ、ＳＵＦＦＩＸ＿ＡＰＳ＿ＮＵＴ、ＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴ、ＦＤ＿ＮＵＴまたはＲＳＶ＿ＮＶＣＬ＿２７であるサンプルの全てのＮＡＬユニット。

【0280】

－関連されたＶＶＣ ｎｏｎ－ＶＣＬトラックがあり、ピクチャユニットがサンプルから復元されたアクセスユニットの最後のピクチャユニットである場合、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＥＯＳ＿ＮＵＴ、ＥＯＢ＿ＮＵＴ、ＳＵＦＦＩＸ＿ＡＰＳ＿ＮＵＴ、ＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴ、ＦＤ＿ＮＵＴ、ｏｒＲＳＶ＿ＮＶＣＬ＿２７である関連されたＶＶＣ ｎｏｎ－ＶＣＬトラックの時間整列されたサンプルの全てのＮＡＬユニット。

【0281】

－ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＵＮＳＰＥＣ＿２８．．ＵＮＳＰＥＣ＿３１（含む）範囲にあるサンプルの全てのＮＡＬユニットまたはＮＡＬユニット類似構造は削除されることができる。

【0282】

一方、本文書に開示されたサンプルグループ（ｓａｍｐｌｅ ｇｒｏｕｐ）は、次のようなサンプルグループを含むことができる。

【0283】

例えば、ストリームアクセスポイントサンプルグループ（Ｓｔｒｅａｍ ａｃｃｅｓｓ ｐｏｉｎｔ ｓａｍｐｌｅ ｇｒｏｕｐ）が定義されることができる。ＩＳＯ／ＩＥＣ １４４９６－１２に明示されたストリームアクセスポイント（Ｓｔｒｅａｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ、ＳＡＰ）サンプルグループ「ｓａｐ」は、全てのＳＡＰに対する情報を提供するときに使われることができる。

【0284】

例えば、ｌａｙｅｒ＿ｉｄ＿ｍｅｔｈｏｄ＿ｉｄｃが０である場合、ＳＡＰは、次の通り解析されることができる。

【0285】

－サンプルエントリータイプが「ｖｖｃ１」または「ｖｖｉ１」であり、トラックにＴｅｍｐｏｒａｌＩｄが０であるサブレイヤが含まれていない場合、ＳＡＰは、トラックにある全てのサブレイヤに対するアクセス（ａｃｃｅｓｓ）を指定することができる。

【0286】

－そうでない場合、ＳＡＰは、トラックにある全てのレイヤに対するアクセスを指定することができる。

【0287】

また、例えば、ＶＶＣビットストリームのＧＤＲピクチャ（ＧＤＲ ｐｉｃｔｕｒｅ）は、一般的に「ｓａｐ」サンプルグループでＳＡＰタイプ４で表示されることができる。

【0288】

また、例えば、ＶＶＣトラックのサンプルが、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇが１であるＰＰＳを参照し、０でｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１範囲の各サブピクチャインデックスｉに対して、ｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］は１であり、同じＣＬＶＳでまたは現在サンプルに後行する同じサブピクチャインデックスｉを有する少なくとも一つのＩＲＡＰサブピクチャがある場合、次が適用されることができる。

【0289】

－サンプルは、タイプ４のＳＡＰサンプルで表示されることができる。

【0290】

－サンプルは、ＩＲＡＰサブピクチャが存在する前に特定サブピクチャインデックスを有するサブピクチャのデコーディングを省略するデコーディングプロセスに対して修正したｒｏｌｌ＿ｄｉｓｔａｎｃｅ値を有する「ｒｏｌｌ」サンプルグループデスクリプションエントリーにマッピングされることができる。

【0291】

ＳＡＰサンプルグループが使われる場合、同じＶＶＣビットストリームを伝達する全てのトラックで使われなければならない。

【0292】

また、例えば、ランダムアクセス復旧ポイントサンプルグループ（Ｒａｎｄｏｍ ａｃｃｅｓｓ ｒｅｃｏｖｅｒｙ ｐｏｉｎｔ ｓａｍｐｌｅ ｇｒｏｕｐ）が定義されることができる。ＩＳＯ／ＩＥＣ １４４９６－１２に明示されたランダムアクセス復旧ポイントサンプルグループ「ｒｏｌｌ」は、漸進的デコーディングリフレッシュ（ｇｒａｄｕａｌ ｄｅｃｏｄｉｎｇ ｒｅｆｒｅｓｈ）のための復旧ポイントに対する情報を提供するときに使われることができる。「ｒｏｌｌ」サンプルグループがＶＶＣトラックと共に使われる場合、ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ＿ｐａｒａｍｅｔｅｒのシンタックス及びセマンティクス（ｓｅｍａｎｔｉｃｓ）は、ＩＳＯ／ＩＥＣ １４４９６－１２の「ｓａｐ」サンプルグループに対するものと同様に指定されることができる。また、０及び１と同じｌａｙｅｒ＿ｉｄ＿ｍｅｔｈｏｄ＿ｉｄｃは、「ｒｏｌｌ」サンプルグループにマッピングされるサンプルの対象レイヤのピクチャがＧＤＲピクチャである場合に使われることができる。例えば、ｌａｙｅｒ＿ｉｄ＿ｍｅｔｈｏｄ＿ｉｄｃが０と同じ場合、「ｒｏｌｌ」サンプルグループは、トラックにある全てのレイヤに対する動作（ｂｅｈａｖｉｏｕｒ）を指定することができる。また、例えば、１と同じｌａｙｅｒ＿ｉｄ＿ｍｅｔｈｏｄ＿ｉｄｃのセマンティクス（ｓｅｍａｎｔｉｃｓ）は、ＩＳＯ／ＩＥＣ １４４９６－１２の９．５．７節に開示されている。例えば、２及び３と同じｌａｙｅｒ＿ｉｄ＿ｍｅｔｈｏｄ＿ｉｄｃは、「ｒｏｌｌ」サンプルグループにマッピングされるサンプルの対象レイヤの全てのピクチャがＧＤＲピクチャでない場合に使われることができ、ＧＤＲピクチャでない対象レイヤのピクチャに対して次が適用されることができる。

【0293】

－参照されたＰＰＳは、１と同じｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇを有する。

【0294】

－０でｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１範囲の各サブピクチャインデックスｉ（ｓｕｂｐｉｃｔｕｒｅ ｉｎｄｅｘ ｉ）に対して次の二つが全て真（ｔｒｕｅ）である：ｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］は１であり、同じＣＬＶＳで現在サンプルに後続するまたは同じサブピクチャインデックスｉを有する少なくとも一つのＩＲＡＰサブピクチャがある。

【0295】

また、例えば、ｌａｙｅｒ＿ｉｄ＿ｍｅｔｈｏｄ＿ｉｄｃが２と同じ場合、「ｒｏｌｌ」サンプルグループは、トラックにある全てのレイヤに対する動作（ｂｅｈａｖｉｏｕｒ）を指定することができる。また、例えば、３と同じｌａｙｅｒ＿ｉｄ＿ｍｅｔｈｏｄ＿ｉｄｃのセマンティクス（ｓｅｍａｎｔｉｃｓ）は、ＩＳＯ／ＩＥＣ １４４９６－１２の９．５．７節に開示されている。

【0296】

リーダ（ｒｅａｄｅｒ）がデコーディングを始めるために２または３と同じｌａｙｅｒ＿ｉｄ＿ｍｅｔｈｏｄ＿ｉｄｃで表示されたサンプルを使用する場合、リーダは、ｌａｙｅｒ＿ｉｄ＿ｍｅｔｈｏｄ＿ｉｄｃが２及び３であるサンプルグループに属すると表示されたサンプルで始めるビットストリームが一致するビットストリームになるように復元されたビットストリームのＳＰＳ、ＰＰＳ及びＰＨ ＮＡＬユニットを次のように追加で修正しなければならない。

【0297】

－サンプルで参照する全てのＳＰＳは、１と同じｓｐｓ＿ｇｄｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇを有することができる。

【0298】

－サンプルで参照する全てのＰＰＳは、０と同じｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇを有することができる。

【0299】

－サンプルから復元されたＡＵの全てのＶＣＬ ＮＡＬユニットは、ＧＤＲ＿ＮＵＴと同じｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有することができる。

【0300】

－サンプルから復元されたＡＵの全てのピクチャヘッダ（ｐｉｃｔｕｒｅ ｈｅａｄｅｒ）は、１と同じｐｈ＿ｇｄｒ＿ｐｉｃ＿ｆｌａｇ及びサンプルがマッピングされる「ｒｏｌｌ」サンプルグループデスクリプションエントリーのｒｏｌｌ＿ｄｉｓｔａｎｃｅに対応するｐｈ＿ｒｅｃｏｖｅｒｙ＿ｐｏｃ＿ｃｎｔ値を有することができる。

【0301】

また、例えば、「ｒｏｌｌ」サンプルグループが従属レイヤと関連があるが、参照レイヤでない場合、サンプルグループは、従属レイヤの全ての参照レイヤが利用可能であり（ａｖａｉｌａｂｌｅ）デコーディングされる場合に適用される特性を示すことができる。前記サンプルグループは、予測されたレイヤ（ｐｒｅｄｉｃｔｅｄ ｌａｙｅｒ）のデコーディングを始めるときに使われることができる。

【0302】

また、例えば、レイヤ情報サンプルグループ（Ｌａｙｅｒ ｉｎｆｏｒｍａｔｉｏｎ ｓａｍｐｌｅ ｇｒｏｕｐ）が定義されることができる。トラックが運搬するレイヤ及びサブレイヤのリストは、レイヤ情報（「ｌｉｎｆ」）サンプルグループでシグナリングされることができる。現在トラックが二つ以上のレイヤ、二つ以上のサブレイヤまたは一つのサブレイヤを含むが、前記サブレイヤが、ＴｅｍｐｏｒａｌＩｄが０であるサブレイヤでない場合、レイヤ及びサブレイヤ情報は、「ｓａｐ」、「ｒａｐ」、「ｓｙｎｃ」、「ｔｅｌｅ」及び「ｖｏｐｉ」サンプルグループのような他のサンプルグループでシグナリングされた情報を解析するときに必要である。また、「ｌｉｎｆ」サンプルグループがＶＶＣトラックに存在する場合、ｓｕｂ＿ｌａｙｅｒ＿ｐｒｅｓｅｎｃｅ＿ｆｌａｇｓは０と同じである。

【0303】

また、例えば、動作ポイント情報サンプルグループ（Ｏｐｅｒａｔｉｎｇ ｐｏｉｎｔｓ ｉｎｆｏｒｍａｔｉｏｎ ｓａｍｐｌｅ ｇｒｏｕｐ）が定義されることができる。アプリケーション（Ａｐｐｌｉｃａｔｉｏｎｓ）は、動作ポイント情報サンプルグループ（「ｖｏｐｉ」）を使用してＶＶＣ基本ストリーム（ＶＶＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ）と構成に対して提供される多様な動作ポイントに対して知らせることができる（ｉｎｆｏｒｍｅｄ）。動作ポイントは、出力レイヤセット（ｏｕｔｐｕｔ ｌａｙｅｒ ｓｅｔ）、最大ＴｅｍｐｏｒａｌＩｄ値（ｍａｘ ＴｅｍｐｏｒａｌＩｄ ｖａｌｕｅ）、プロファイル（ｐｒｏｆｉｌｅ）、ティア（ｔｉｅｒ）、及びレベル（ｌｅｖｅｌ）シグナリングと関連がある。前述した全ての情報は、「ｖｏｐｉ」サンプルグループによりキャプチャされることができる（ｃａｐｔｕｒｅｄ）。前記情報外にも動作ポイント情報サンプルグループは、レイヤ間のディペンデンシー情報（ｄｅｐｅｎｄｅｎｃｙ ｉｎｆｏｒｍａｔｉｏｎ）も提供されることができる。

【0304】

また、例えば、ＶＶＣ基本ストリームに対して二つ以上のＶＶＣトラックが存在して、ＶＶＣ基本ストリームに対して動作ポイントエンティティーグループ（Ｏｐｅｒａｔｉｎｇ Ｐｏｉｎｔ ｅｎｔｉｔｙ ｇｒｏｕｐ）が存在しない場合、次の二つが全て適用されることができる。

【0305】

－ＶＶＣ基本ストリームに対するＶＶＣトラックの中には「ｖｏｐｉ」サンプルグループを運搬する一つのトラックのみがある。

【0306】

－ＶＶＣ基本ストリームの他の全てのＶＶＣトラックは、「ｖｏｐｉ」サンプルグループを運搬するトラックに対する「ｖｒｅｆ」タイプのトラックリファレンスを有しなければならない。

【0307】

与えられたトラックの特定サンプルに対して、他のトラックの時間的なコロケーティドサンプル（ｔｅｍｐｏｒａｌｌｙ ｃｏｌｌｏｃａｔｅｄ ｓａｍｐｌｅ）は、前記特定サンプルのデコーディング時間と同じデコーディング時間を有すると定義されることができる。「ｖｏｐｉ」サンプルグループを伝達するトラックＴ_ｋに対する「ｖｒｅｆ」トラックリファレンスがあるトラックＴ_Ｎの各サンプルＳ_Ｎに対して次が適用されることができる。

【0308】

－トラックＴ_ｋの時間的なコロケーディドサンプルＳ_ｋがある場合、サンプルＳ_Ｎは、サンプルＳ_ｋと同じ「ｖｏｐｉ」サンプルグループエントリーと関連されることができる。

【0309】

－そうでない場合、サンプルＳ_Ｎは、デコーディング時間でサンプルＳ_Ｎに先行するトラックＴ_ｋの最後のサンプルと同じ「ｖｏｐｉ」サンプルグループエントリーと関連されることができる。

【0310】

また、ＶＶＣ基本ストリームが多数のＶＰＳを参照する場合、ｇｒｏｕｐｉｎｇ＿ｔｙｐｅが「ｖｏｐｉ」であるサンプルグループデスクリプションボックスに多数のエントリーを含まなければならない。また、ＶＰＳが一つのみある場合、デフォルトサンプルグループデスクリプションインデックス（ｄｅｆａｕｌｔ ｓａｍｐｌｅ ｇｒｏｕｐ ｄｅｓｃｒｉｐｔｉｏｎ ｉｎｄｅｘ）を使用して、各トラックフラグメント（ｔｒａｃｋ ｆｒａｇｍｅｎｔ）に含むことよりサンプルテーブルボックス（ｓａｍｐｌｅ ｔａｂｌｅ ｂｏｘ）に動作ポイント情報サンプルグループ（ｏｐｅｒａｔｉｎｇ ｐｏｉｎｔｓ ｉｎｆｏｒｍａｔｉｏｎ ｓａｍｐｌｅ ｇｒｏｕｐ）を含むことがよい。また、ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ＿ｐａｒａｍｅｔｅｒは、グルーピングタイプ（ｇｒｏｕｐｉｎｇ ｔｙｐｅ）が「ｖｏｐｉ」であるＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘに対して定義されない。

【0311】

前記「ｖｏｐｉ」サンプルグループエントリーは、ＶＶＣ動作ポイントレコードを含むことができる。前記ＶＶＣ動作ポイントレコードのシンタックスは、以下の表の通りである。

【0312】

【表5-1】

【0313】

【表5-2】

【0314】

【表5-3】

【0315】

また、前記ＶＶＣ動作ポイントレコードのシンタックスに対するセマンティクス（ｓｅｍａｎｔｉｃｓ）は、以下の表の通りである。

【0316】

【表6-1】

【0317】

【表6-2】

【0318】

【表6-3】

【0319】

【表6-4】

【0320】

【表6-5】

【0321】

【表6-6】

【0322】

また、例えば、アクセスユニットデリミターサンプルグループ（Ａｃｃｅｓｓ ｕｎｉｔ ｄｅｌｉｍｉｔｅｒ ｓａｍｐｌｅ ｇｒｏｕｐ）が定義されることができる。前記サンプルグループのサンプルグループデスクリプションエントリーは、ＡＵＤ ＮＡＬユニットを含むことができる。

【0323】

サンプルがアクセスユニットデリミターサンプルグループ（「ａｕｄ」）にマッピングされる場合、対象動作ポイントが「ａｕｄ」サンプルグループ内に表示された出力レイヤセットのうち一つに対応すると、サンプルグループ内に含まれているＡＵＤ ＮＡＬユニットが復元されたＡＵに挿入されるべきであることを示すことができる。

【0324】

前記アクセスユニットデリミターサンプルグループのＡＵＤサンプルエントリーのシンタックスは、以下の表の通りである。

【0325】

【表7】

【0326】

また、前記ＡＵＤサンプルエントリーのシンタックスに対するセマンティクス（ｓｅｍａｎｔｉｃｓ）は、以下の表の通りである。

【0327】

【表8】

【0328】

また、例えば、シーケンス終了サンプルグループ（Ｅｎｄ ｏｆ ｓｅｑｕｅｎｃｅ ｓａｍｐｌｅ ｇｒｏｕｐ）が定義されることができる。前記サンプルグループのサンプルグループデスクリプションエントリーは、ＥＯＳ ＮＡＬユニットを含むことができる。

【0329】

サンプルがシーケンス終了サンプルグループ（「ｅｏｓ」）にマッピングされる場合、対象動作ポイントが「ｅｏｓ」サンプルグループ内に表示された出力レイヤセット及び最大時間的ＩＤ（ｍａｘｉｍｕｍ ｔｅｍｐｏｒａｌ ＩＤ）のうち一つに対応すると、サンプルグループ内に含まれているＥＯＳ ＮＡＬユニットが復元されたＡＵの表示された位置（ｉｎｄｉｃａｔｅｄ ｐｏｓｉｔｉｏｎ）に挿入されるべきであることを示すことができる。

【0330】

前記シーケンス終了サンプルグループのシーケンス終了サンプルエントリーのシンタックスは、以下の表の通りである。

【0331】

【表9】

【0332】

また、前記シーケンス終了サンプルエントリーのシンタックスに対するセマンティクス（ｓｅｍａｎｔｉｃｓ）は、以下の表の通りである。

【0333】

【表10】

【0334】

また、例えば、ビットストリーム終了サンプルグループ（Ｅｎｄ ｏｆ ｂｉｔｓｔｒｅａｍ ｓａｍｐｌｅ ｇｒｏｕｐ）が定義されることができる。前記サンプルグループのサンプルグループデスクリプションエントリーは、ＥＯＢ ＮＡＬユニットを含むことができる。

【0335】

サンプルがビットストリーム終了サンプルグループ（「ｅｏｂ」）にマッピングされる場合、対象動作ポイントが「ｅｏｂ」サンプルグループ内に表示された出力レイヤセット及び最大時間的ＩＤ（ｍａｘｉｍｕｍ ｔｅｍｐｏｒａｌ ＩＤ）のうち一つに対応すると、サンプルグループ内に含まれているＥＯＢ ＮＡＬユニットが復元されたＡＵに挿入されるべきであることを示すことができる。

【0336】

前記ビットストリーム終了サンプルグループのビットストリーム終了サンプルエントリーのシンタックスは、以下の表の通りである。

【0337】

【表11】

【0338】

また、前記ビットストリーム終了サンプルエントリーのシンタックスに対するセマンティクス（ｓｅｍａｎｔｉｃｓ）は、以下の表の通りである。

【0339】

【表12】

【0340】

一方、前述した内容のように対象動作ポイントが変更された場合、現在ＶＶＣファイルフォーマット（ＶＶＣ ｆｉｌｅ ｆｏｒｍａｔ）は、次を指定している。

【0341】

【表13】

【0342】

前述した表１３に示すように、以下の二つの条件が全て真である場合、ファイルリーダは、ＥＯＳ ＮＡＬユニットを出力ビットストリームで適用された動作ポイントの各レイヤに含まなければならない。

【0343】

－アクセスユニットのシーケンスの次に以前動作ポイントと異なる動作ポイントが選択される。

【0344】

－アクセスユニットのシーケンスは、適用された動作ポイントの各レイヤでＥＯＳ ＮＡＬユニットまたはＥＯＢ ＮＡＬユニットで終わらない。

【0345】

しかし、前記プロセスは、最小次のような問題が発生できる。

【0346】

第一、対象動作ポイントは、目標ＯＬＳと最大時間的ＩＤを含む二つ構成要素を有し、前記最大時間的ＩＤのみが変更されても対象動作ポイントが変更されたと見なされるが、前述したプロセスを呼び出しする必要はない。前記最大時間的ＩＤの変更は、ネットワーク状態変更に対する反応で円滑に発生できる。したがって、変更が前記対象ＯＬＳと関連した場合にのみ前記プロセスが呼び出しされるようにする方案が提案されることができる。

【0347】

第二、前記プロセスは、ファイルリーダがＥＯＳ ＮＡＬユニットを出力ビットストリームで適用された動作ポイントの各レイヤに含むことを要求し、これはファイルリーダがＥＯＳ ＮＡＬユニットをアクセスユニット内の適切な位置に配置できるべきであることを意味することができる。これはバーデン（ｂｕｒｄｅｎ）である。ＶＶＣは、ＥＯＳ ＮＡＬユニットが関連したピクチャユニット（ａｓｓｏｃｉａｔｅｄ ｐｉｃｔｕｒｅ ｕｎｉｔ）より先に位置しない限り、アクセスユニット内の全ての位置に存在できるように許容するため、ファイルパーサー（ｆｉｌｅ ｐａｒｓｅｒ）がＥＯＳを正しいレイヤ（ｃｏｒｒｅｃｔ ｌａｙｅｒ）に入れる必要がない。

【0348】

これによって、本文書は、前述した問題に対する解決方案を提案する。提案される実施例は、個別的にまたは組み合わせて適用されることができる。

【0349】

１番目の例として、本文書は、対象動作ポイントが変更された場合に前記ＥＯＳ ＮＡＬユニットを挿入するプロセスを呼び出しする代わりに、対象ＯＬＳが変更された場合にのみ前記ＥＯＳ ＮＡＬユニットを挿入するプロセスを呼び出しする方案を提案する。したがって、最大時間的ＩＤのみが変更された場合には前記プロセスがスキップされることができる。

【0350】

２番目の例として、本文書は、前記プロセスでＥＯＳ ＮＡＬユニットを挿入する場合に、ファイルパーサー（ｆｉｌｅ ｐａｒｓｅｒ）が対象ＯＬＳのレイヤ数ほど対応レイヤ内に配置する必要なしにＥＯＳ ＮＡＬユニットを含むようにする方案を提案する。

【0351】

３番目の例として、本文書は、アクセスユニットの端（ｅｎｄ ｏｆ ｔｈｅ ａｃｃｅｓｓ ｕｎｉｔ）に必要な全てのＥＯＳ ＮＡＬユニットを入れることができるようにする方案を提案する。

【0352】

４番目の例として、本文書は、前記プロセスを選択事項（ｏｐｉｔｉｏｎａｌ）にする方案を提案する。

【0353】

一例として、本文書で提案した前記１番目の例乃至前記３番目の例を反映した実施例は、次の通りである。前記実施例は、以下の表のようにＶＶＣファイルフォーマット仕様（ＶＶＣ ｆｉｌｅ ｆｏｒｍａｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ）で表現されることができる。

【0354】

【表14】

【0355】

例えば、前記表１４によると、次のような二つの条件が真であるかどうかが判断されることができる。例えば、第１の条件は、アクセスユニットのシーケンスの次に以前ＯＬＳ（ｏｕｔｐｕｔ ｌａｙｅｒ ｓｅｔ）と異なるＯＬＳが選択されるかどうかである。また、例えば、第２の条件は、アクセスユニットのシーケンスが適用されたＯＬＳの各レイヤでＥＯＳ ＮＡＬユニットまたはＥＯＢ ＮＡＬユニットで終わらないかどうかである。

【0356】

前記二つの条件が真である場合、すなわち、アクセスユニットのシーケンスの次に以前ＯＬＳと異なるＯＬＳが選択され、アクセスユニットのシーケンスが適用されたＯＬＳの各レイヤでＥＯＳ ＮＡＬユニットまたはＥＯＢ ＮＡＬユニットで終わらない場合、ファイルリーダは、出力ビットストリームで適用された対象出力レイヤに適用されたレイヤ数ほど最後のアクセスユニットにＥＯＳ ＮＡＬユニットを含むことができる。前記含まれているＥＯＳ ＮＡＬユニットは、ＮＡＬユニットのレイヤＩＤの昇順にアクセスユニットの端（ｔｈｅ ｅｎｄ ｏｆ ｔｈｅ ａｃｃｅｓｓ ｕｎｉｔ）に配置されることができる（ｐｌａｃｅｄ）。

【0357】

他の一例として、本文書で提案した前記１番目の例乃至前記４番目の例を反映した実施例は、次の通りである。前記実施例は、以下の表のようにＶＶＣファイルフォーマット仕様（ＶＶＣ ｆｉｌｅ ｆｏｒｍａｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ）で表現されることができる。

【0358】

【表15】

【0359】

例えば、前記表１５によると、次のような二つの条件が真であるかどうかが判断されることができる。例えば、第１の条件は、アクセスユニットのシーケンスの次に以前ＯＬＳ（ｏｕｔｐｕｔ ｌａｙｅｒ ｓｅｔ）と異なるＯＬＳが選択されるかどうかである。また、例えば、第２の条件は、アクセスユニットのシーケンスが適用されたＯＬＳの各レイヤでＥＯＳ ＮＡＬユニットまたはＥＯＢ ＮＡＬユニットで終わらないかどうかである。

【0360】

前記二つの条件が真である場合、すなわち、アクセスユニットのシーケンスの次に以前ＯＬＳと異なるＯＬＳが選択され、アクセスユニットのシーケンスが適用されたＯＬＳの各レイヤでＥＯＳ ＮＡＬユニットまたはＥＯＢ ＮＡＬユニットで終わらない場合、ファイルリーダは、出力ビットストリームで適用された対象出力レイヤに適用されたレイヤ数ほど最後のアクセスユニットにＥＯＳ ＮＡＬユニットを含むことができる。前記ＥＯＳ ＮＡＬユニットを含む過程は選択事項である。前記含まれているＥＯＳ ＮＡＬユニットは、ＮＡＬユニットのレイヤＩＤの昇順にアクセスユニットの端（ｔｈｅ ｅｎｄ ｏｆ ｔｈｅ ａｃｃｅｓｓ ｕｎｉｔ）に配置されることができる（ｐｌａｃｅｄ）。

【0361】

図８は、本文書で提案した実施例が適用されるメディアファイル生成方法を例示的に示す。

【0362】

図８を参照すると、第１の装置（ｆｉｒｓｔ ｄｅｖｉｃｅ）は、トラック（ｔｒａｃｋ）を構成（ｃｏｎｆｉｇｕｒａｔｉｏｎ）することができる（Ｓ８００）。例えば、前記第１の装置は、前述した実施例によってトラックを構成することができる。例えば、前記第１の装置は、送信端（ｔｒａｎｓｍｉｓｓｉｏｎ ｅｎｄ）、エンコーディング端（ｅｎｃｏｄｉｎｇ ｅｎｄ）またはメディアファイル生成端（ｍｅｄｉａ ｆｉｌｅ ｇｅｎｅｒａｔｉｎｇ ｅｎｄ）を示すことができる。また、例えば、前記第１の装置をサブピクチャトラックとベーストラックを構成することができる。また、前記第１の装置は、エンコ－ダを含むことができる。

【0363】

第１の装置は、トラックに基づいてメディアファイルを生成することができる（Ｓ８１０）。例えば、前記第１の装置は、前述した実施例によってトラックに基づいてメディアファイルを生成することができる。

【0364】

図９は、本文書で提案した実施例が適用されて生成されたメディアファイルをデコーディングする方法を例示的に示す。

【0365】

図９を参照すると、第２の装置（ｓｅｃｏｎｄ ｄｅｖｉｃｅ）は、トラックを含むメディアファイルを取得（ｏｂｔａｉｎ）／受信（ｒｅｃｅｉｖｅ）することができる（Ｓ９００）。例えば、前記第２の装置は、前述した実施例によってトラックを含むメディアファイルを取得／受信することができる。また、例えば、前記第２の装置は、受信端（ｒｅｃｅｐｔｉｏｎ ｅｎｄ）、デコーディング端（ｄｅｃｏｄｉｎｇ ｅｎｄ）またはレンダリング端（ｒｅｎｄｅｒｉｎｇ ｅｎｄ）を示すことができる。

【0366】

例えば、メディアファイルは、表１、表３、表５、表７、表９及び／又は表１１で説明された情報を含むことができる。

【0367】

第２の装置は、前記トラックをパーシング（ｐａｒｓｅ）／取得（ｏｂｔａｉｎ）することができる（Ｓ９１０）。第２の装置は、前記メディアファイルに含まれているトラックをパーシング／取得することができる。例えば、前記トラックは、サブピクチャトラックまたはベーストラックなどを含むことができる。例えば、前記第２の装置は、サブピクチャトラック及びベーストラックをパーシングすることができる。

【0368】

第２の装置は、前記トラックに基づいて一つ以上のサブピクチャのスライスを生成することができる。また、第２の装置は、前記トラックに基づいて復元サンプル（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｓａｍｐｌｅｓ）を生成することができる。また、第２の装置は、前記トラックに基づいてイメージ／ビデオデコーディングに必要な情報を取得することができる。

【0369】

図１０は、本文書によるメディアファイル生成装置によるメディアファイル生成方法を概略的に示す。図１０に開示された方法は、図１１に開示されたメディアファイル生成装置により実行されることができる。前記メディアファイル生成装置は、前述した第１の装置を示すことができる。具体的に、例えば、図１０のＳ１０００乃至Ｓ１０３０は、前記メディアファイル生成装置のメディアファイル生成部により実行されることができる。また、たとえ、図示されてはいないが、映像情報を含むビットストリームをエンコーディングする過程は、エンコ－ダにより実行されることができる。前記エンコ－ダは、前記メディアファイル生成装置に含まれ、または外部コンポーネントで構成されることができる。

【0370】

メディアファイル生成装置は、第１のＯＬＳ（Ｏｕｔｐｕｔ Ｌａｙｅｒ Ｓｅｔ、ＯＬＳ）に対するアクセスユニット（ａｃｃｅｓｓ ｕｎｉｔｓ）のシーケンス（ｓｅｑｕｅｎｃｅ）を生成する（Ｓ１０００）。例えば、メディアファイル生成装置は、エンコーディングされた映像情報を含むビットストリームを導出することができ、前記ビットストリームに対するメディアファイルを生成することができる。例えば、メディアファイル生成装置は、ネットワークまたは（デジタル）格納媒体を介して前記エンコーディングされた映像情報を取得することができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。または、例えば、前記メディアファイル生成装置は、エンコ－ダを含むことができ、前記エンコーディングされた映像情報を導出することができる。例えば、メディアファイル生成装置は、前記エンコーディングされた映像情報を含むビットストリームに対する前記第１のＯＬＳを生成することができる。例えば、メディアファイル生成装置は、前記第１のＯＬＳに対するアクセスユニット（ａｃｃｅｓｓ ｕｎｉｔｓ）のシーケンス（ｓｅｑｕｅｎｃｅ）を生成することができる。

【0371】

メディアファイル生成装置は、第１の条件及び第２の条件が真（ｔｒｕｅ）であるかどうかを判断する（Ｓ１０１０）。メディアファイル生成装置は、前記第１の条件及び前記第２の条件が真（ｔｒｕｅ）であるかどうかを判断することができる。

【0372】

例えば、前記第１の条件は、前記アクセスユニットの前記シーケンスの次に前記第１のＯＬＳと異なるＯＬＳが選択されるかどうかである。すなわち、例えば、前記アクセスユニットの前記シーケンスの次に前記第１のＯＬＳと異なるＯＬＳが選択された場合、前記第１の条件が真であると判断されることができる。一方、例えば、前記第１のＯＬＳと異なるＯＬＳは、第２のＯＬＳと表すことができる。

【0373】

また、例えば、前記第２の条件は、前記アクセスユニットの前記シーケンスが前記第１のＯＬＳの各レイヤでＥＯＳ ＮＡＬユニットで終わらないかどうか、または、ＥＯＢ（Ｅｎｄ Ｏｆ Ｂｉｔｓｔｒｅａｍ）ＮＡＬユニットで終わらないかどうかである。すなわち、例えば、前記アクセスユニットの前記シーケンスが前記第１のＯＬＳの各レイヤでＥＯＳ ＮＡＬユニットで終わらない、または、ＥＯＢ（Ｅｎｄ Ｏｆ Ｂｉｔｓｔｒｅａｍ）ＮＡＬユニットで終わらない場合、前記第２の条件が真であると判断されることができる。

【0374】

メディアファイル生成装置は、前記第１の条件及び前記第２の条件が真であることに基づいて、前記第１のＯＬＳに適用されたレイヤの数ほどＥＯＳ（Ｅｎｄ Ｏｆ Ｓｅｑｕｅｎｃｅ、ＥＯＳ）ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ、ＮＡＬ）ユニットを挿入する（Ｓ１０２０）。例えば、前記第１の条件及び前記第２の条件が真である場合、メディアファイル生成装置は、前記第１のＯＬＳに適用されたレイヤの数ほどＥＯＳ（Ｅｎｄ Ｏｆ Ｓｅｑｕｅｎｃｅ、ＥＯＳ）ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ、ＮＡＬ）ユニットを前記第１のＯＬＳに挿入できる。

【0375】

また、例えば、前記ＥＯＳ ＮＡＬユニットは、対応するレイヤに配置され（ｐｌａｃｅｄ）ない。

【0376】

また、例えば、メディアファイル生成装置は、前記ＥＯＳ ＮＡＬユニットのレイヤＩＤの昇順に前記シーケンスの最後のアクセスユニット（ｌａｓｔ ａｃｃｅｓｓ ｕｎｉｔ）の端に前記挿入されるＥＯＳ ＮＡＬユニットを挿入することができる。また、例えば、前記挿入されるＥＯＳ ＮＡＬユニットは、前記ＥＯＳ ＮＡＬユニットのレイヤＩＤの昇順に前記シーケンスのアクセスユニット（ａｃｃｅｓｓ ｕｎｉｔ）の端に配置されることができる。

【0377】

また、例えば、前記生成されたアクセスユニットの前記シーケンスの次に前記第１のＯＬＳと異なるＯＬＳが選択されず、対象動作ポイントのみが変更された場合、前記ＥＯＳ ＮＡＬユニットは挿入されない。例えば、前記生成されたアクセスユニットの前記シーケンスの次に前記第１のＯＬＳと異なるＯＬＳが選択されず、最大時間的ＩＤ（ｍａｘ ｔｅｍｐｏｒａｌ ＩＤ）のみが変更された場合、前記ＥＯＳ ＮＡＬユニットは挿入されない。

【0378】

メディアファイル生成装置は、前記第１のＯＬＳを含むメディアファイルを生成する（Ｓ１０３０）。メディアファイル生成装置は、前記第１のＯＬＳ及び／又は前記第２のＯＬＳを含むメディアファイルを生成することができる。

【0379】

一方、たとえ、図示されてはいないが、メディアファイル生成装置は、前記第２のＯＬＳを生成することができる。例えば、メディアファイル生成装置は、前記第２のＯＬＳに対するアクセスユニットのシーケンスを生成することができる。また、たとえ、図示されてはいないが、メディアファイル生成装置は、前記生成されたメディアファイルを（デジタル）格納媒体に格納し、または、ネットワークまたは（デジタル）格納媒体を介してメディアファイル処理装置に伝達できる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。

【0380】

図１１は、本文書によるメディアファイル生成方法を実行するメディアファイル生成装置を概略的に示す。図１０に開示された方法は、図１１に開示されたメディアファイル生成装置により実行されることができる。具体的に、例えば、図１１の前記メディアファイル生成装置のメディアファイル生成部は、Ｓ１０００乃至Ｓ１０３０を実行することができる。また、たとえ、図示されてはいないが、映像情報を含むビットストリームをエンコーディングする過程は、前記メディアファイル生成装置のエンコ－ダにより実行されることができる。

【0381】

図１２は、本文書によるメディアファイル処理装置によるメディアファイル処理方法を概略的に示す。図１２に開示された方法は、図１３に開示されたメディアファイル処理装置により実行されることができる。前記メディアファイル処理装置は、前述した第２の装置を示すことができる。具体的に、例えば、図１２のＳ１２００乃至Ｓ１２２０は、前記メディアファイル処理装置のメディアファイル処理部により実行されることができる。前記メディアファイル処理部は、ファイルパーサー（ｆｉｌｅ ｐａｒｓｅｒ）及び／又はファイルリーダ（ｆｉｌｅ ｒｅａｄｅｒ）を含むことができる。また、たとえ、図示されてはいないが、メディアファイルを取得する過程は、受信部により実行されることができ、第１のＯＬＳに対するアクセスユニットのシーケンス及び第１のＯＬＳと異なるＯＬＳに対するアクセスユニットのシーケンスを含むビットストリームを導出する過程は、メディアファイル処理部により実行されることができ、前記ビットストリームをデコーディングする過程は、デコーダにより実行されることができる。前記デコーダは、前記メディアファイル処理装置に含まれ、または外部コンポーネントで構成されることができる。

【0382】

メディアファイル処理装置は、第１のＯＬＳ（Ｏｕｔｐｕｔ Ｌａｙｅｒ Ｓｅｔ、ＯＬＳ）に対するアクセスユニット（ａｃｃｅｓｓ ｕｎｉｔｓ）のシーケンス（ｓｅｑｕｅｎｃｅ）を復元する（Ｓ１２００）。例えば、前記メディアファイル処理装置は、ネットワークまたは（デジタル）格納媒体を介してメディアファイルを取得することができる。前記メディアファイルは、前記第１のＯＬＳに対する前記アクセスユニット（ａｃｃｅｓｓ ｕｎｉｔｓ）の前記シーケンスを含むことができる。メディアファイル処理装置は、前記第１のＯＬＳに対する前記アクセスユニットの前記シーケンスを復元（ｒｅｃｏｎｓｔｒｕｃｔ）することができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。

【0383】

メディアファイル処理装置は、第１の条件及び第２の条件が真（ｔｒｕｅ）であるかどうかを判断する（Ｓ１２１０）。メディアファイル処理装置は、前記第１の条件及び前記第２の条件が真（ｔｒｕｅ）であるかどうかを判断することができる。

【0384】

例えば、前記第１の条件は、前記アクセスユニットの前記シーケンスの次に前記第１のＯＬＳと異なるＯＬＳが選択されるかどうかである。すなわち、例えば、前記アクセスユニットの前記シーケンスの次に前記第１のＯＬＳと異なるＯＬＳが選択された場合、前記第１の条件が真であると判断されることができる。一方、例えば、前記第１のＯＬＳと異なるＯＬＳは、第２のＯＬＳと表すことができる。

【0385】

また、例えば、前記第２の条件は、前記アクセスユニットの前記シーケンスが前記第１のＯＬＳの各レイヤでＥＯＳ ＮＡＬユニットで終わらないかどうか、または、ＥＯＢ（Ｅｎｄ Ｏｆ Ｂｉｔｓｔｒｅａｍ）ＮＡＬユニットで終わらないかどうかである。すなわち、例えば、前記アクセスユニットの前記シーケンスが前記第１のＯＬＳの各レイヤでＥＯＳ ＮＡＬユニットで終わらない、または、ＥＯＢ（Ｅｎｄ Ｏｆ Ｂｉｔｓｔｒｅａｍ）ＮＡＬユニットで終わらない場合、前記第２の条件が真であると判断されることができる。

【0386】

メディアファイル処理装置は、前記第１の条件及び前記第２の条件が真であることに基づいて、前記第１のＯＬＳに適用されたレイヤの数ほどＥＯＳ（Ｅｎｄ Ｏｆ Ｓｅｑｕｅｎｃｅ、ＥＯＳ）ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ、ＮＡＬ）ユニットを挿入する（Ｓ１２２０）。例えば、前記第１の条件及び前記第２の条件が真である場合、メディアファイル処理装置は、前記第１のＯＬＳに適用されたレイヤの数ほどＥＯＳ（Ｅｎｄ Ｏｆ Ｓｅｑｕｅｎｃｅ、ＥＯＳ）ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ、ＮＡＬ）ユニットを前記第１のＯＬＳに挿入できる。

【0387】

また、例えば、前記ＥＯＳ ＮＡＬユニットは、対応するレイヤに配置され（ｐｌａｃｅｄ）ない。

【0388】

また、例えば、メディアファイル処理装置は、前記ＥＯＳ ＮＡＬユニットのレイヤＩＤの昇順に前記シーケンスの最後のアクセスユニット（ｌａｓｔ ａｃｃｅｓｓ ｕｎｉｔ）の端に前記挿入されるＥＯＳ ＮＡＬユニットを挿入することができる。また、例えば、前記挿入されるＥＯＳ ＮＡＬユニットは、前記ＥＯＳ ＮＡＬユニットのレイヤＩＤの昇順に前記シーケンスのアクセスユニット（ａｃｃｅｓｓ ｕｎｉｔ）の端に配置されることができる。

【0389】

また、例えば、前記復元されたアクセスユニットの前記シーケンスの次に前記第１のＯＬＳと異なるＯＬＳが選択されず、対象動作ポイントのみが変更された場合、前記ＥＯＳ ＮＡＬユニットは挿入されない。例えば、前記復元されたアクセスユニットの前記シーケンスの次に前記第１のＯＬＳと異なるＯＬＳが選択されず、最大時間的ＩＤ（ｍａｘ ｔｅｍｐｏｒａｌ ＩＤ）のみが変更された場合、前記ＥＯＳ ＮＡＬユニットは挿入されない。

【0390】

一方、たとえ、図示されてはいないが、メディアファイル処理装置は、前記第２のＯＬＳに対するアクセスユニットのシーケンスを復元することができる。また、メディアファイル処理装置は、前記第１のＯＬＳに対するアクセスユニットのシーケンス及び前記第２のＯＬＳに対するアクセスユニットのシーケンスを含むビットストリームを導出することができ、前記ビットストリームをデコーディングすることができる。前記ビットストリームは、ＶＶＣビットストリーム（ＶＶＣ ｂｉｔｓｔｒｅａｍ）または出力ビットストリーム（ｏｕｔｐｕｔ ｂｉｔｓｔｒｅａｍ）と呼ばれることができる。例えば、メディアファイル処理装置は、前記ビットストリーム内の映像情報をデコーディングすることができ、前記映像情報に基づいて復元ピクチャを生成することができる。

【0391】

図１３は、本文書によるメディアファイル処理方法を実行するメディアファイル処理装置を概略的に示す。図１２に開示された方法は、図１３に開示されたメディアファイル処理装置により実行されることができる。具体的に、例えば、図１２の前記メディアファイル処理装置のメディアファイル処理部は、図１２のＳ１２００乃至Ｓ１２２０を実行することができる。一方、たとえ、図示されてはいないが、メディアファイル処理装置は、デコーダを含むことができ、メディアファイルを取得する過程は、受信部により実行されることができ、第１のＯＬＳに対するアクセスユニットのシーケンス及び第１のＯＬＳと異なるＯＬＳに対するアクセスユニットのシーケンスを含むビットストリームを導出する過程は、メディアファイル処理部により実行されることができ、前記ビットストリームをデコーディングする過程は、デコーダにより実行されることができる。

【0392】

前述した本文書によると、最大時間的ＩＤのみが変更されてもＥＯＳ ＮＡＬユニットを挿入する不必要な動作を防止することができ、これによって、全般的なコーディング効率を向上させることができる。

【0393】

また、本文書によると、ＥＯＳ ＮＡＬユニットをアクセスユニット内の適切な位置に挿入するために発生されるバーデンを防止することができ、これによって、全般的なコーディング効率を向上させることができる。

【0394】

前述した実施形態において、方法は、一連のステップまたはブロックで流れ図を基に説明されているが、本文書は、ステップの順序に限定されるものではなく、あるステップは、前述と異なるステップと異なる順序でまたは同時に発生することができる。また、当業者であれば、流れ図に示されたステップが排他的でなく、他のステップが含まれ、または流れ図の１つまたはそれ以上のステップが本文書の範囲に影響を及ぼさずに削除可能であることを理解することができる。

【0395】

本文書において説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラ、またはチップ上で実現されて実行されることができる。例えば、各図面において図示した機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ、またはチップ上で実現されて実行されることができる。この場合、実現のための情報（例えば、ｉｎｆｏｒｍａｔｉｏｎ ｏｎ ｉｎｓｔｒｕｃｔｉｏｎｓ）またはアルゴリズムがデジタル記録媒体に格納されることができる。

【0396】

また、本文書の実施例が適用される装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイム通信装置、モバイルストリーミング装置、格納媒体、カムコーダ、注文型ビデオ（ビデオオンデマンド、ＶＯＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、ＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）装置、ＡＲ（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）装置、画像電話ビデオ装置、運送手段端末（例えば、車両端末、飛行機端末、船舶端末等）、及び医療用ビデオ装置などが含まれることができ、ビデオ信号またはデータ信号を処理するために使われることができる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置として、ゲームコンソール、ブルーレイプレーヤ、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｒｄｅｒ）などを含むことができる。

【0397】

また、本文書の実施形態が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取り可能な記録媒体に格納されることができる。本文書に係るデータ構造を有するマルチメディアデータもコンピュータが読み取り可能な記録媒体に格納されることができる。前記コンピュータが読み取り可能な記録媒体は、コンピュータで読み出すことができるデータが格納される全ての種類の格納装置及び分散格納装置を含む。前記コンピュータが読み取り可能な記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ユニバーサルシリアルバス、ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、及び光学的データ格納装置を含むことができる。また、前記コンピュータが読み取り可能な記録媒体は、搬送波（例えば、インターネットを介しての送信）の形態で実現されたメディアを含む。また、エンコード方法で生成されたビットストリームがコンピュータが読み取り可能な記録媒体に格納され、または有無線通信ネットワークを介して送信されることができる。

【0398】

また、本文書の実施例は、プログラムコードによるコンピュータプログラム製品で具現されることができ、前記プログラムコードは、本文書の実施例によりコンピュータで実行されることができる。前記プログラムコードは、コンピュータにより読み取り可能なキャリア上に格納されることができる。

【0399】

図１４は、本文書の実施例が適用されるコンテンツストリーミングシステム構造図を例示的に示す。

【0400】

本文書の実施形態が適用されるコンテンツストリーミングシステムは、大別して、エンコードサーバ、ストリーミングサーバ、ウェブサーバ、メディア格納所、ユーザ装置、及びマルチメディア入力装置を含むことができる。

【0401】

前記エンコードサーバは、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置から入力されたコンテンツをデジタルデータで圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割をする。他の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコードサーバは省略されることができる。

【0402】

前記ビットストリームは、本文書の実施形態が適用されるエンコード方法またはビットストリーム生成方法により生成されることができ、前記ストリーミングサーバは、前記ビットストリームを送信または受信する過程で一時的に前記ビットストリームを格納することができる。

【0403】

前記ストリーミングサーバは、ウェブサーバを介したユーザ要請に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒介体役割をする。ユーザが前記ウェブサーバに所望のサービスを要請すると、前記ウェブサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。このとき、前記コンテンツストリーミングシステムは、別の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間命令／応答を制御する役割をする。

【0404】

前記ストリーミングサーバは、メディア格納所及び／またはエンコードサーバからコンテンツを受信することができる。例えば、前記エンコードサーバからコンテンツを受信するようになる場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間格納することができる。

【0405】

前記ユーザ装置の例として、携帯電話、スマートフォン（ｓｍａｒｔｐｈｏｎｅ）、ノートブックコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、ウォッチ型端末（ｓｍａｒｔｗａｔｃｈ）、グラス型端末（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ））、デジタルＴＶ、デスクトップコンピュータ、デジタルサイニジなどがある。前記コンテンツストリーミングシステム内の各サーバは、分散サーバで運営されることができ、この場合、各サーバで受信するデータは分散処理されることができる。

【0406】

本文書に記載された請求項は、多様な方式で組み合わせわせることができる。例えば、本文書の方法請求項の技術的特徴が組み合わせられて装置で具現されることもでき、本文書の装置請求項の技術的特徴が組み合わせられて方法で具現されることもできる。また、本文書の方法請求項の技術的特徴と装置請求項の技術的特徴が組み合わせられて装置で具現されることもでき、本文書の方法請求項の技術的特徴と装置請求項の技術的特徴が組み合わせられて方法で具現されることもできる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】