▶ エルジー エレクトロニクス インコーポレイティドの特許一覧
特表2024-513512ＥＯＳサンプルグループに基づくメディアファイル生成／受信方法及び装置、並びにメディアファイル伝送方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-25
(54)【発明の名称】ＥＯＳサンプルグループに基づくメディアファイル生成／受信方法及び装置、並びにメディアファイル伝送方法
(51)【国際特許分類】
H04N 19/70 20140101AFI20240315BHJP
H04N 21/438 20110101ALI20240315BHJP
【ＦＩ】
H04N19/70
H04N21/438
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023562298
(86)(22)【出願日】2022-04-19
(85)【翻訳文提出日】2023-10-10
(86)【国際出願番号】 KR2022005605
(87)【国際公開番号】W WO2022225306
(87)【国際公開日】2022-10-27
(31)【優先権主張番号】63/176,355
(32)【優先日】2021-04-19
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/180,024
(32)【優先日】2021-04-26
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】502032105
【氏名又は名称】エルジー エレクトロニクス インコーポレイティド
【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．
【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100165191
【弁理士】
【氏名又は名称】河合 章
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100159259
【弁理士】
【氏名又は名称】竹本 実
(72)【発明者】
【氏名】ヘンドリー ヘンドリー
【テーマコード（参考）】
5C159
5C164
【Ｆターム（参考）】
5C159MA04
5C159MA05
5C159MC11
5C159ME01
5C159PP04
5C159RC11
5C159UA02
5C159UA05
5C159UA16
5C164GA03
5C164SC01S
5C164UB23P
5C164UC21S
(57)【要約】
ＥＯＳサンプルグループに基づくメディアファイル生成／受信方法及び装置、並びにメディアファイルを伝送する方法が提供される。本開示によるメディアファイル受信方法は、メディアファイルから一つ以上のトラック及びサンプルグループを取得するステップと、前記トラック内のサンプル及び前記サンプルグループに基づいてアクセスユニットを復元するステップと、を含み、前記サンプルグループは、前記アクセスユニットの属するビデオデータのＥＯＳ（ｅｎｄ ｏｆ ｓｅｑｕｅｎｃｅ）情報を含む第１サンプルグループを含み、前記第１サンプルグループは、一つ以上のＥＯＳ ＮＡＬユニット、及び前記ＥＯＳ ＮＡＬユニットの数に関する第１シンタックス要素を含むことができる。
【選択図】図１５
【選択図】図１５
【特許請求の範囲】
【請求項1】
メディアファイル受信装置によって行われるメディアファイル受信方法であって、メディアファイルから一つ以上のトラック及びサンプルグループを取得するステップと、
前記トラック内のサンプル及び前記サンプルグループに基づいて、アクセスユニットを復元するステップと、を含み、
前記サンプルグループは、前記アクセスユニットの属するビデオデータのＥＯＳ（ｅｎｄ ｏｆ ｓｅｑｕｅｎｃｅ）情報を含む第１サンプルグループを含み、
前記第１サンプルグループは、一つ以上のＥＯＳ ＮＡＬユニット、及び前記ＥＯＳ ＮＡＬユニットの数に関する第１シンタックス要素を含む、メディアファイル受信方法。
【請求項2】
前記第１シンタックス要素に１を加えた値は、前記ＥＯＳ ＮＡＬユニットの数を示す、請求項１に記載のメディアファイル受信方法。
【請求項3】
前記ＥＯＳ ＮＡＬユニットは、前記第１シンタックス要素に基づいて制御されるループ内でリストされる、請求項１に記載のメディアファイル受信方法。
【請求項4】
前記ＥＯＳ ＮＡＬユニットの最大インデックス値は、前記第１シンタックス要素の値と同じである、請求項１に記載のメディアファイル受信方法。
【請求項5】
前記トラック内のサンプルが前記第１サンプルグループに属することに基づいて、前記ＥＯＳ ＮＡＬユニットは、前記アクセスユニット内で所定の位置に配置される、請求項１に記載のメディアファイル受信方法。
【請求項6】
前記所定の位置は、前記アクセスユニット内で、ＥＯＢ（ｅｎｄ ｏｆ ｂｉｔｓｔｒｅａｍ）ＮＡＬユニットを除く前記サンプルの全てのＮＡＬユニットの次の位置である、請求項５に記載のメディアファイル受信方法。
【請求項7】
メモリ及び少なくとも一つのプロセッサを含むメディアファイル受信装置であって、前記少なくとも一つのプロセッサは、
メディアファイルから一つ以上のトラック及びサンプルグループを取得し、
前記トラック内のサンプル及び前記サンプルグループに基づいて、アクセスユニットを復元し、
前記サンプルグループは、前記アクセスユニットの属するビデオデータのＥＯＳ（ｅｎｄ ｏｆ ｓｅｑｕｅｎｃｅ）情報を含む第１サンプルグループを含み、
前記第１サンプルグループは、一つ以上のＥＯＳ ＮＡＬユニット、及び前記ＥＯＳ ＮＡＬユニットの数に関する第１シンタックス要素を含む、メディアファイル受信装置。
【請求項8】
メディアファイル生成装置によって行われるメディアファイル生成方法であって、アクセスユニットを含むビデオデータを符号化するステップと、
前記符号化されたビデオデータのＥＯＳ（ｅｎｄ ｏｆ ｓｅｑｕｅｎｃｅ）情報を含む第１サンプルグループを生成するステップと、
前記符号化されたビデオデータ及び前記第１サンプルグループに基づいて、メディアファイルを生成するステップと、を含み、
前記第１サンプルグループは、一つ以上のＥＯＳ ＮＡＬユニット、及び前記ＥＯＳ ＮＡＬユニットの数に関する第１シンタックス要素を含む、メディアファイル生成方法。
【請求項9】
前記第１シンタックス要素に１を加えた値は、前記ＥＯＳ ＮＡＬユニットの数を示す、請求項８に記載のメディアファイル生成方法。
【請求項10】
前記ＥＯＳ ＮＡＬユニットは、前記第１シンタックス要素に基づいて制御されるループ内でリストされる、請求項８に記載のメディアファイル生成方法。
【請求項11】
前記ＥＯＳ ＮＡＬユニットの最大インデックス値は、前記第１シンタックス要素の値と同じである、請求項８に記載のメディアファイル生成方法。
【請求項12】
前記ビデオデータのサンプルが前記第１サンプルグループに属することに基づいて、前記ＥＯＳ ＮＡＬユニットは、前記アクセスユニット内で所定の位置に配置される、請求項８に記載のメディアファイル生成方法。
【請求項13】
前記所定の位置は、前記アクセスユニット内で、ＥＯＢ（ｅｎｄ ｏｆ ｂｉｔｓｔｒｅａｍ）ＮＡＬユニットを除く前記サンプルの全てのＮＡＬユニットの次の位置である、請求項１２に記載のメディアファイル生成方法。
【請求項14】
請求項８に記載のメディアファイル生成方法によって生成されたメディアファイルを伝送する方法。
【請求項15】
メモリ及び少なくとも一つのプロセッサを含むメディアファイル生成装置であって、前記少なくとも一つのプロセッサは、
アクセスユニットを含むビデオデータを符号化し、
前記符号化されたビデオデータのＥＯＳ（ｅｎｄ ｏｆ ｓｅｑｕｅｎｃｅ）情報を含む第１サンプルグループを生成し、
前記符号化されたビデオデータ及び前記第１サンプルグループに基づいてメディアファイルを生成し、
前記第１サンプルグループは、一つ以上のＥＯＳ ＮＡＬユニット及び前記ＥＯＳ ＮＡＬユニットの数に関する第１シンタックス要素を含む、メディアファイル生成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ＥＯＳサンプルグループに基づくメディアファイル生成／受信方法及び装置に関し、より詳細には、複数のＥＯＳ ＮＡＬユニットを含むＥＯＳサンプルグループに基づくメディアファイル生成／受信方法及び装置、並びに本開示のメディアファイル生成方法／装置によって生成されたメディアファイルを伝送する方法に関する。
【背景技術】
【0002】
最近、３６０°画像などの高解像度、高品質の画像に対する需要が増加している。画像の解像度や品質が高まるにつれて、ファイル容量やフレーム率が増加するようになり、保存コスト及び伝送コストの増加が不可避である。また、スマートフォンやタブレットＰＣなどのモバイル機器が大衆化されるにつれて、通信網基盤のマルチメディアサービスに対する需要が急増している。しかし、マルチメディアサービスのためのハードウェア及びネットワーク資源は制限的であるという問題がある。
【0003】
これにより、画像データをより効果的に保存及び伝送するための高効率の画像圧縮及びファイル処理技術が要求される。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示は、ＥＯＳサンプルグループに基づくメディアファイル生成／受信方法及び装置を提供することを目的とする。
【0005】
また、本開示は、複数のＥＯＳ ＮＡＬユニットを含むＥＯＳサンプルグループに基づくメディアファイル生成／受信方法及び装置を提供することを目的とする。
【0006】
また、本開示は、ＥＯＳ ＮＡＬユニットの数に関する情報を含むＥＯＳサンプルグループに基づくメディアファイル生成／受信方法及び装置を提供することを目的とする。
【0007】
また、本開示は、マルチレイヤーを有するエレメンタリストリームを支援するＥＯＳサンプルグループに基づくメディアファイル生成／受信方法及び装置を提供することを目的とする
【0008】
また、本開示は、本開示によるメディアファイル生成方法又は装置によって生成されたメディアファイルを伝送する方法を提供することを目的とする。
【0009】
また、本開示は、本開示によるメディアファイル生成方法又は装置によって生成されたメディアファイルを保存した記録媒体を提供することを目的とする。
【0010】
また、本開示は、本開示によるメディアファイル受信装置によって受信され、画像の復元に用いられるメディアファイルを保存した記録媒体を提供することを目的とする。
【0011】
本開示で解決しようとする技術的課題は上述した技術的課題に制限されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。
【課題を解決するための手段】
【0012】
本開示の一態様によるメディアファイル受信方法は、メディアファイルから一つ以上のトラック及びサンプルグループを取得するステップと、前記トラック内のサンプル及び前記サンプルグループに基づいてアクセスユニットを復元するステップと、を含み、前記サンプルグループは、前記アクセスユニットの属するビデオデータのＥＯＳ（ｅｎｄ ｏｆ ｓｅｑｕｅｎｃｅ）情報を含む第１サンプルグループを含み、前記第１サンプルグループは、一つ以上のＥＯＳ ＮＡＬユニット、及び前記ＥＯＳ ＮＡＬユニットの数に関する第１シンタックス要素を含むことができる。
【0013】
本開示の他の態様によるメディアファイル受信装置は、メモリ及び少なくとも一つのプロセッサを含み、前記少なくとも一つのプロセッサは、メディアファイルから一つ以上のトラック及びサンプルグループを取得し、前記トラック内のサンプル及び前記サンプルグループに基づいてアクセスユニットを復元するが、前記サンプルグループは、前記アクセスユニットの属するビデオデータのＥＯＳ（ｅｎｄ ｏｆ ｓｅｑｕｅｎｃｅ）情報を含む第１サンプルグループを含み、前記第１サンプルグループは、一つ以上のＥＯＳ ＮＡＬユニット、及び前記ＥＯＳ ＮＡＬユニットの数に関する第１シンタックス要素を含むことができる。
【0014】
本開示の別の態様によるメディアファイル生成方法は、アクセスユニットを含むビデオデータを符号化するステップと、前記符号化されたビデオデータのＥＯＳ（ｅｎｄ ｏｆ ｓｅｑｕｅｎｃｅ）情報を含む第１サンプルグループを生成するステップと、前記符号化されたビデオデータ及び前記第１サンプルグループに基づいてメディアファイルを生成するステップと、を含み、前記第１サンプルグループは、一つ以上のＥＯＳ ＮＡＬユニット、及び前記ＥＯＳ ＮＡＬユニットの数に関する第１シンタックス要素を含むことができる。
【0015】
本開示の別の態様によるメディアファイル生成装置は、メモリ及び少なくとも一つのプロセッサを含み、前記少なくとも一つのプロセッサは、アクセスユニットを含むビデオデータを符号化し、前記符号化されたビデオデータのＥＯＳ（Ｅｎｄ ｏｆ Ｓｅｑｕｅｎｃｅ）情報を含む第１サンプルグループを生成し、前記符号化されたビデオデータ及び前記第１サンプルグループに基づいてメディアファイルを生成するが、前記第１サンプルグループは、一つ以上のＥＯＳ ＮＡＬユニット、及び前記ＥＯＳ ＮＡＬユニットの数に関する第１シンタックス要素を含むことができる。
【0016】
本開示の別の態様によるメディアファイル伝送方法は、本開示のメディアファイル生成方法又は装置によって生成されたメディアファイルを伝送することができる。
【0017】
本開示の別の態様によるコンピュータ可読記録媒体は、本開示のメディアファイル生成方法又は装置によって生成されたメディアファイルを保存することができる。
【0018】
本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を制限するものではない。
【発明の効果】
【0019】
本開示によれば、ＥＯＳサンプルグループに基づくメディアファイル生成／受信方法及び装置が提供されることができる。
【0020】
また、本開示によれば、複数のＥＯＳ ＮＡＬユニットを含むＥＯＳサンプルグループに基づくメディアファイル生成／受信方法及び装置が提供されることができる。
【0021】
また、本開示によれば、ＥＯＳ ＮＡＬユニットの数に関する情報を含むＥＯＳサンプルグループに基づくメディアファイル生成／受信方法及び装置が提供されることができる。
【0022】
また、本開示によれば、マルチレイヤーを有するエレメンタリストリームを支援するＥＯＳサンプルグループに基づくメディアファイル生成／受信方法及び装置が提供されることができる。
【0023】
また、本開示によるメディアファイル生成方法又は装置によって生成されたメディアファイルを伝送する方法が提供されることができる。
【0024】
また、本開示によれば、本開示によるメディアファイル生成方法又は装置によって生成されたメディアファイルを保存した記録媒体が提供されることができる。
【0025】
また、本開示によれば、本開示によるメディアファイル受信装置によって受信され、画像の復元に用いられるメディアファイルを保存した記録媒体が提供されることができる。
【0026】
本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。
【図面の簡単な説明】
【0027】
【図1】本開示の一実施例によるメディアファイル送受信システムを概略的に示す図である。
【0028】
【図2】メディアファイル送信方法を示すフローチャートである。
【0029】
【図3】メディアファイル受信方法を示すフローチャートである。
【0030】
【図4】本開示の一実施例による画像符号化装置を概略的に示す図である。
【0031】
【図5】本開示の一実施例による画像復号化装置を概略的に示す図である。
【0032】
【図6】コーディングされた画像／ビデオに対する階層構造の一例を示す図である。
【0033】
【図7】メディアファイル構造の一例を示す図である。
【0034】
【0035】
【図9】画像信号構造の一例を示す図である。
【0036】
【図10】ＥＯＳサンプルグループエントリのシンタックス構造を示す図である。
【0037】
【図11】マルチレイヤーを運ぶトラックの一例を示す図である。
【0038】
【図12】本開示の一実施例によるＥＯＳサンプルグループエントリのシンタックス構造を示す図である。
【0039】
【図13】本開示の他の実施例によるＥＯＳサンプルグループエントリのシンタックス構造を示す図である。
【0040】
【図14】本開示の別の実施例によるＥＯＳのサンプルグループエントリのシンタックス構造を示す図である。
【0041】
【図15】本開示の一実施例によるメディアファイル受信方法を示すフローチャートである。
【0042】
【図16】本開示の一実施例によるメディアファイル生成方法を示すフローチャートである。
【0043】
【図17】本開示の実施例が適用できるコンテンツストリーミングシステムを例示した図である。
【発明を実施するための形態】
【0044】
以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。
【0045】
本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。
【0046】
本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。
【0047】
本開示において、「第１」、「第２」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施例の第１構成要素を他の実施例で第２構成要素と呼んでもよく、これと同様に、一実施例の第２構成要素を他の実施例で第１構成要素と呼んでもよい。
【0048】
本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開示の範囲に含まれる。
【0049】
本開示において、さまざまな実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。
【0050】
本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。
【0051】
本開示において、「ピクチャ（ｐｉｃｔｕｒｅ）」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、ピクチャの一部を構成する符号化単位であって、一つのピクチャは、一つ以上のスライス／タイルで構成できる。また、スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。
【0052】
本開示において、「ピクセル（ｐｉｘｅｌ）」又は「ペル（ｐｅｌ）」は、一つのピクチャ（又は画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用できる。サンプルは、一般的に、ピクセル又はピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。
【0053】
本開示において、「ユニット（ｕｎｉｔ）」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも一つを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック（ｂｌｏｃｋ）」又は「領域（ａｒｅａ）」などの用語と混用して使用できる。一般な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（又はサンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）のセット（又はアレイ）を含むことができる。
【0054】
本開示において、「現在ブロック」は、「現在コーディングブロック」、「現在コーディングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。変換（逆変換）／量子化（逆量子化）が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。
【0055】
また、本開示において、「現在ブロック」は、クロマブロックという明示的な記載がない限り、ルマ成分ブロックとクロマ成分ブロックを全て含むブロック又は「現在ブロックのルマブロック」を意味することができる。現在ブロックのルマ成分ブロックは、明示的に「ルマブロック」又は「現在ルマブロック」のようにルマ成分ブロックという明示的な記載を含んで表現できる。また、現在ブロックのクロマ成分ブロックは、明示的に「クロマブロック」又は「現在クロマブロック」のようにクロマ成分ブロックという明示的な記載を含んで表現できる。
【0056】
本開示において、「／」と「、」は「及び／又は」と解釈されることができる。例えば、「Ａ／Ｂ」と「Ａ、Ｂ」は「Ａ及び／又はＢ」と解釈されることができる。また、「Ａ／Ｂ／Ｃ」と「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂ及び／又はＣのうちの少なくとも一つ」を意味することができる。
【0057】
本開示において、「又は」は「及び／又は」と解釈されることができる。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味するか、２）「Ｂ」のみを意味するか、３）「Ａ及びＢ」を意味することができる。又は、本開示において、「又は」は、「追加的に又は代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。
【0058】
メディアファイル送受信システムの概要
【0059】
図１は、本開示の一実施例によるメディアファイル送受信システムを概略的に示す図である。
【0060】
図１を参照すると、メディアファイル送受信システム１は、送信装置Ａ及び受信装置Ｂを含むことができる。実施例によって、メディアファイル送受信システム１は、ＭＰＥＧ－ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）基盤の適応的ストリーミングを支援することにより、途切れない（ｓｅａｍｌｅｓｓ）メディアコンテンツ再生を支援することができる。
【0061】
送信装置Ａは、ビデオソース１０、符号化部２０、カプセル化３０、送信処理部４０及び送信部４５を含むことができる。
【0062】
ビデオソース１０は、ビデオ又はイメージなどのメディアデータを生成又は取得することができる。このために、ビデオソース１０は、ビデオ／イメージキャプチャデバイス及び／又はビデオ／イメージ生成デバイスを含むか、或いは外部デバイスに連結されてメディアデータを受信することができる。
【0063】
符号化部２０は、ビデオソース１０から入力されたメディアデータを符号化することができる。符号化部２０は、圧縮及び符号化効率のために、ビデオコーデック標準、例えば、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準に基づいて、予測、変換、量子化などの一連の手続きを行うことができる。符号化部２０は、符号化されたメディアデータをビットストリーム形式で出力することができる。
【0064】
カプセル化３０は、符号化されたメディアデータ及び／又はメディアデータ関連メタデータをカプセル化することができる。例えば、カプセル化部３０は、当該データを、ＩＳＯ ＢＭＦＦ（ＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ）、ＣＭＡＦ（Ｃｏｍｍｏｎ Ｍｅｄｉａ Ａｐｐｌｉｃａｔｉｏｎ Ｆｏｒｍａｔ）などのファイルフォーマットでカプセル化したり、セグメントなどの形態で処理したりすることができる。ファイル形式でカプセル化されたメディアデータ（以下、「メディアファイル」という）は、実施例によって保存部（図示せず）に保存されることができる。保存部に保存されたメディアファイルは、送信処理部４０によって読み出され、オンデマンド（ｏｎ ｄｅｍａｎｄ）、ＮＲＴ（Ｎｏｎ－Ｒｅａｌ Ｔｉｍｅ）又はブロードバンド方式に従って受信装置Ｂへ伝送されることができる。
【0065】
送信処理部４０は、メディアファイルを任意の伝送方式によって処理して画像信号を生成することができる。メディアファイル伝送方式は、ブロードキャスト（ｂｒｏａｄｃａｓｔ）方式及びブロードバンド（ｂｒｏａｄｂａｎｄ）方式を含むことができる。
【0066】
ブロードキャスト方式によれば、メディアファイルは、ＭＭＴ（ＭＰＥＧ Ｍｅｄｉａ ｔｒａｎｓｐｏｒｔ）プロトコル又はＲＯＵＴＥ（Ｒｅａｌ Ｔｉｍｅ Ｏｂｊｅｃｔ ｄｅｌｉｖｅｒｙ ｏｖｅｒ Ｕｎｉｄｉｒｅｃｔｉｏｎａｌ Ｔｒａｎｓｐｏｒｔ）プロトコルを用いて伝送されることができる。ＭＭＴプロトコルは、ＩＰベースのネットワーク環境でファイルフォーマットやコーデックに関係なく、メディアストリーミングを支援する伝送プロトコルであり得る。ＭＭＴプロトコルを用いる場合、メディアファイルは、ＭＭＴに基づいてＭＰＵ（Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）単位で処理された後、ＭＭＴプロトコルに従って伝送されることができる。ＲＯＵＴＥプロトコルは、ＦＬＵＴＥ（Ｆｉｌｅ Ｄｅｌｉｖｅｒｙ ｏｖｅｒ Ｕｎｉｄｉｒｅｃｔｉｏｎａｌ Ｔｒａｎｓｐｏｒｔ）を拡張したもので、メディアファイルのリアルタイム伝送を支援する伝送プロトコルであってもよい。ＲＯＵＴＥプロトコルを用いる場合、メディアファイルは、ＭＰＥＧ－ＤＡＳＨに基づいて一つ以上のセグメントで処理された後、ＲＯＵＴＥプロトコルに従って伝送されることができる。
【0067】
ブロードバンド方式によれば、メディアファイルは、ＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）を用いてネットワークを介して伝送されることができる。ＨＴＴＰを介して伝送される情報は、シグナリングメタデータ、セグメント情報及び／又はＮＲＴ（Ｎｏｎ－Ｒｅａｌ Ｔｉｍｅ）サービス情報を含むことができる。
【0068】
実施例によって、送信処理部４０は、適応的メディアストリーミングを支援するために、ＭＰＤ生成部４１及びセグメント生成部４２を含むことができる。
【0069】
ＭＰＤ生成部４１は、メディアファイルに基づいてＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）を生成することができる。ＭＰＤは、メディアプレゼンテーションに対する詳細情報を含むファイルであって、ＸＭＬ形式で表現できる。ＭＰＤは、シグナリングメタデータ、例えば、それぞれのセグメントに対する識別子を提供することができる。この場合、受信装置Ｂは、ＭＰＤに基づいてセグメントを動的に取得することができる。
【0070】
セグメント生成部４２は、メディアファイルに基づいて一つ以上のセグメントを生成することができる。セグメントは、実際のメディアデータを含むことができ、ＩＳＯ ＢＭＦＦなどのファイル形式を有することができる。セグメントは、画像信号のリプレゼンテーション（ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）内に含まれることができ、前述したようにＭＰＤに基づいて識別されることができる。
【0071】
そして、送信処理部４０は、生成されたＭＰＤ及びセグメントに基づいてＭＰＥＧ－ＤＡＳＨ標準による画像信号を生成することができる。
【0072】
送信部４５は、生成された画像信号を受信装置Ｂへ伝送することができる。実施例によって、送信部４５は、ＭＭＴ標準又はＭＰＥＧ－ＤＡＳＨ標準に基づいて画像信号をＩＰネットワークを介して受信装置Ｂへ伝送することができる。ＭＭＴ標準によれば、受信装置Ｂへ伝送される画像信号は、メディアデータの再生情報を含むＰＩ文書（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ ｄｏｃｕｍｅｎｔ）を含むことができる。ＭＰＥＧ－ＤＡＳＨ標準によれば、受信装置Ｂへ伝送される画像信号は、メディアデータの再生情報として前述のＭＰＤを含むことができる。ただし、実施例によって、ＭＰＤ及びセグメントは、個別的に受信装置Ｂへ伝送されることができる。例えば、ＭＰＤを含む第１画像信号は、送信装置Ａ又は外部サーバによって生成されて受信装置Ｂへ伝送されることができ、セグメントを含む第２画像信号は、送信装置Ａ２によって生成されて受信装置Ｂへ伝送されることができる。
【0073】
一方、図１では、送信処理部４０と送信部４５が別個のエレメントとして示されているが、実施例によって単一のエレメントとして統合的に実現されることもできる。また、送信処理部４０は、送信装置Ａとは別個の外部装置（例えば、ＤＡＳＨサーバ）として実現されることもできる。この場合、送信装置Ａは、メディアデータを符号化してメディアファイルを生成するソース装置として動作することができ、外部装置は、メディアデータを任意の伝送プロトコルに従って処理して画像信号を生成するサーバ装置として動作することができる。
【0074】
次に、受信装置Ｂは、受信部５５、受信処理部６０、デカプセル化部７０、復号化部８０及びレンダリング部９０を含むことができる。実施例によって、受信装置Ｂは、ＭＰＥＧ－ＤＡＳＨ基盤のクライアントであり得る。
【0075】
受信部５５は、送信装置Ａから画像信号を受信することができる。ＭＭＴ標準による画像信号は、ＰＩ文書及びメディアファイルを含むことができる。また、ＭＰＥＧ－ＤＡＳＨ標準による画像信号は、ＭＰＤ及びセグメントを含むことができる。実施例によって、ＭＰＤ及びセグメントは、互いに異なる画像信号を介して個別的に伝送されることができる。
【0076】
受信処理部６０は、受信された画像信号を伝送プロトコルに従って処理してメディアファイルを抽出／パーシングすることができる。
【0077】
実施例によって、受信処理部６０は、適応的メディアストリーミングを支援するために、ＭＰＤパーシング部６１及びセグメントパーシング部６２を含むことができる。
【0078】
ＭＰＤパージング部６１は、受信された画像信号からＭＰＤを取得し、取得されたＭＰＤをパージングして、セグメントの取得に必要なコマンドを生成することができる。また、ＭＰＤパージング部６１は、パージングされたＭＰＤに基づいて、メディアデータの再生情報、例えばカラー変換情報などを取得することができる。
【0079】
セグメントパーシング部６２は、パーシングされたＭＰＤに基づいてセグメントを取得し、取得されたセグメントをパーシングしてメディアファイルを抽出することができる。実施例によって、メディアファイルは、ＩＳＯ ＢＭＦＦ又はＣＭＡＦなどのファイルフォーマットを有することができる。
【0080】
デカプセル化部７０は、抽出されたメディアファイルをデカプセル化して、メディアデータ及びこれに関連したメタデータを取得することができる。取得されたメタデータは、ファイルフォーマット内のボックス或いはトラックの形態を有することができる。実施例によって、デカプセル化部７０は、ＭＰＤパーシング部６１からデカプセル化に必要なメタデータの伝達を受けることができる。
【0081】
復号化部８０は、取得されたメディアデータをビデオコーデック標準、例えばＶＶＣ標準に基づいて復号化することができる。このために、復号化部８０は、符号化部２０の動作に対応する逆量子化、逆変換、予測などの一連の手続きを行うことができる。
【0082】
レンダリング部９０は、復号化された画像又はイメージなどのメディアデータをレンダリングすることができる。レンダリングされたメディアデータは、ディスプレイ部（図示せず）を介して再生できる。
【0083】
以下、メディアファイル送受信方法を詳細に説明する。
【0084】
図２は、メディアファイル送信方法を示すフローチャートである。
【0085】
一例において、図２の各ステップは、図１の送信装置Ａによって行われることができる。具体的に、ステップＳ２１０は、図１の符号化部２０によって行われることができる。また、ステップＳ２２０及びステップＳ２３０は、送信処理部４０によって行われることができる。また、ステップＳ２４０は、送信部４５によって行われることができる。
【0086】
図２を参照すると、送信装置は、ビデオ又はイメージなどのメディアデータを符号化することができる（Ｓ２１０）。メディアデータは、送信装置によってキャプチャ／生成されるか、或いは外部デバイス（例えば、カメラ、ビデオアーカイブなど）から取得されることができる。メディアデータは、ビデオコーデック標準、例えば、ＶＶＣ標準に基づいてビットストリーム形式で符号化されることができる。
【0087】
送信装置は、符号化されたメディアデータに基づいてＭＰＤクリア及び一つ以上のセグメントを生成することができる（Ｓ２２０）。ＭＰＤは、前述したように、メディアプレゼンテーションに対する詳細情報を含むことができる。セグメントは、実際のメディアデータを含むことができる。実施例によって、メディアデータは、ＩＳＯ ＢＭＦＦ又はＣＭＡＦなどのファイルフォーマットでカプセル化されてセグメントに含まれることができる。
【0088】
送信装置は、生成されたＭＰＤ及びセグメントを含む画像信号を生成することができる（Ｓ２３０）。実施例によって、画像信号は、ＭＰＤ及びセグメントそれぞれに対して個別的に生成されることができる。例えば、送信装置は、ＭＰＤを含む第１画像信号を生成し、セグメントを含む第２画像信号を生成することができる。
【0089】
送信装置は、生成された画像信号を受信装置へ伝送することができる（Ｓ２４０）。実施例によって、送信装置は、ブロードキャスト方式で画像信号を伝送することができる。この場合、ＭＭＴプロトコル又はＲＯＵＴＥプロトコルが用いられることができる。又は、送信装置は、ブロードバンド方式で画像信号を伝送することもできる。
【0090】
一方、図２では、ＭＰＤ及びこれを含む画像信号が送信装置によって生成及び伝送されると説明しているが（ステップＳ２２０乃至ステップＳ２４０）、実施例によっては、ＭＰＤ及びこれを含む画像信号は、送信装置とは異なる外部サーバによって生成及び伝送されることもできる。
【0091】
図３は、メディアファイル受信方法を示すフローチャートである。
【0092】
一例において、図３の各ステップは、図１の受信装置Ｂによって行われることができる。具体的には、ステップＳ３１０は、受信部５５によって行われることができる。また、ステップＳ３２０は、受信処理部６０によって行われることができる。また、ステップＳ３３０は、復号化部８０によって行われることができる。
【0093】
図３を参照すると、受信装置は、送信装置から画像信号を受信することができる（Ｓ３１０）。ＭＰＥＧ－ＤＡＳＨ標準による画像信号は、ＭＰＤ及びセグメントを含むことができる。実施例によって、ＭＰＤ及びセグメントは、互いに異なる画像信号を介して個別的に受信されることができる。例えば、ＭＰＤを含む第１画像信号は、図１の送信装置又は外部サーバから受信されることができ、セグメントを含む第２画像信号は、図１の送信装置から受信されることができる。
【0094】
受信装置は、受信された画像信号からＭＰＤ及びセグメントを抽出し、抽出されたＭＰＤ及びセグメントをパーシングすることができる（Ｓ３２０）。具体的には、受信装置は、ＭＰＤをパーシングして、セグメントの取得に必要なコマンドを生成することができる。そして、受信装置は、パージングされたＭＰＤに基づいてセグメントを取得し、取得されたセグメントをパージングしてディアデータを取得することができる。実施例によって、受信装置は、セグメントからメディアデータを取得するために、ファイル形式のメディアデータに対するデカプセル化を行うことができる。
【0095】
受信装置は、取得されたビデオ又はイメージなどのメディアデータを復号化することができる（Ｓ３３０）。受信装置は、メディアデータを復号化するために、逆量子化、逆変換、予測などの一連の手続きを行うことができる。そして、受信装置は、復号化されたメディアデータをレンダリングして、ディスプレイを介してメディアデータを再生することができる。
【0096】
以下、画像符号化／復号化装置を詳細に説明する。
【0097】
画像符号化装置の概要
【0098】
【0099】
図４を参照すると、画像符号化装置４００は、画像分割部４１０、減算部４１５、変換部４２０、量子化部４３０、逆量子化部４４０、逆変換部４５０、加算部４５５、フィルタリング部４６０、メモリ４７０、インター予測部４８０、イントラ予測部４８５及びエントロピー符号化部４９０を含むことができる。インター予測部４８０及びイントラ予測部４８５は、まとめて「予測部」と呼ばれることがある。変換部４２０、量子化部４３０、逆量子化部４４０、逆変換部４５０は、レジデュアル（ｒｅｓｉｄｕａｌ）処理部に含まれることができる。レジデュアル処理部は、減算部４１５をさらに含んでもよい。
【0100】
画像符号化装置４００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、エンコーダ又はプロセッサ）で実現されることができる。また、メモリ４７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記憶媒体によって実現できる。
【0101】
画像分割部４１０は、画像符号化装置４００に入力された入力画像（又は、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割することにより取得されることができる。例えば、一つのコーディングニットは、四分木構造、二分木構造及び／又は三分木構造に基づいて、下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び／又は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示によるコーディング手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換及び／又は復元などの手順を含むことができる。他の例として、前記コーディング手順の処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）であることができる。前記予測ユニット及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測のユニットであることができ、前記変換ユニットは、変換係数を誘導するユニット、及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導するユニットであり得る。
【0102】
予測部（インター予測部４８０又はイントラ予測部４８５）は、処理対象ブロック（現在ブロック）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロック又はＣＵユニットでイントラ予測が適用されるか、或いはインター予測が適用されるかを決定することができる。予測部は、現在ブロックの予測に関するさまざまな情報を生成してエントロピー符号化部４９０に伝達することができる。予測に関する情報は、エントロピー符号化部４９０で符号化されてビットストリーム形式で出力されることができる。
【0103】
イントラ予測部４８５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。参照される前記サンプルは、イントラ予測モード及び／又はイントラ予測技法に従って、前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することもでき、或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びプランナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度に応じて、例えば３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部４８５は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
【0104】
インター予測部４８０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプルユニットで予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、互いに異なってもよい。前記時間周辺ブロックは、コロケート参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、コロケートＣＵ（ｃｏｌＣＵ）などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることができる。例えば、インター予測部４８０は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われることができ、例えばスキップモードとマージモードの場合に、インター予測部４８０は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）及び動きベクトル予測子に対するインジケータ（ｉｎｄｉｃａｔｏｒ）を符号化することにより、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。
【0105】
予測部は、後述する様々な予測方法及び／又は予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適用する予測方法は、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、予測部は、現在ブロックの予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うこともできる。イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ画像／動画コーディングのために使用できる。ＩＢＣは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。ＩＢＣが適用される場合、現在ピクチャ内の参照ブロックの位置は、前記所定の距離に該当するベクトル（ブロックベクトル）として符号化されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出するという点で、インター予測と同様に行われることができる。すなわち、ＩＢＣは、本開示で説明されるインター予測技法のうちの少なくとも一つを用いることができる。
【0106】
予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或いはレジデュアル信号を生成するために用いられることができる。減算部４１５は、入力画像信号（原本ブロック、原本サンプルアレイ）から、予測部から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算して、レジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができる。生成されたレジデュアル信号は、変換部４２０に伝送されることができる。
【0107】
変換部４２０は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうちの少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない、可変サイズのブロックに適用されることもできる。
【0108】
量子化部４３０は、変換係数を量子化してエントロピー符号化部４９０に伝送することができる。エントロピー符号化部４９０は、量子化された信号（量子化された変換係数に関する情報）を符号化してビットストリーム形式で出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部４３０は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいて、ブロック形式の量子化された変換係数を１次元ベクトル形式で再整列することができ、前記１次元ベクトル形式の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。
【0109】
エントロピー符号化部４９０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などの様々な符号化方法を行うことができる。エントロピー符号化部１９０は、量子化された変換係数の他に、ビデオ／画像復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値など）を一緒に又は別々に符号化することもできる。符号化された情報（例えば、符号化されたビデオ／画像情報）は、ビットストリーム形式でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニットに伝送又は保存されることができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報及び／又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットストリームに含まれることができる。
【0110】
前記ビットストリームは、ネットワークを介して伝送されることができ、又はデジタル記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。エントロピー符号化部１９０から出力された信号を伝送する伝送部（図示せず）及び／又は保存する保存部（図示せず）が画像符号化装置１００の内／外部要素として備えられることができ、又は伝送部はエントロピー符号化部４９０の構成要素として備えられることもできる。
【0111】
量子化部４３０から出力された、量子化された変換係数は、レジデュアル信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部４４０及び逆変換部４５０を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元することができる。
【0112】
加算部４５５は、復元されたレジデュアル信号をインター予測部４８０又はイントラ予測部４８５から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部４５５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
【0113】
一方、ピクチャ符号化及び／又は復元過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用できる。
【0114】
フィルタリング部４６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部４６０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ４７０、具体的にはメモリ４７０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部４６０は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピー符号化部４９０に伝達することができる。フィルタリングに関する情報は、エントロピー符号化部４９０で符号化されてビットストリーム形式で出力されることができる。
【0115】
メモリ４７０に伝送された、修正された復元ピクチャは、インター予測部４８０で参照ピクチャとして使用されることができる。画像符号化装置４００は、これを介してインター予測が適用される場合、画像符号化装置４００と画像復号化装置での予測ミスマッチを回避することができ、符号化効率も向上させることができる。
【0116】
メモリ４７０内のＤＰＢは、インター予測部４８０での参照ピクチャとして使用するために、修正された復元ピクチャを保存することができる。メモリ４７０は、現在ピクチャ内の動き情報が導出された（又は符号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部４８０に伝達されることができる。メモリ４７０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部４８５に伝達することができる。
【0117】
画像復号化装置の概要
【0118】
【0119】
図５を参照すると、画像復号化装置５００は、エントロピー復号化部５１０、逆量子化部５２０、逆変換部５３０、加算部５３５、フィルタリング部５４０、メモリ５５０、インター予測部５６０及びイントラ予測部５６５を含んで構成できる。インター予測部５６０及びイントラ予測部５６５をまとめて「予測部」と呼ばれることがある。逆量子化部５２０、逆変換部５３０はレジデュアル処理部に含まれることができる。
【0120】
画像復号化装置５００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダ又はプロセッサ）で実現されることができる。また、メモリ５５０は、ＤＰＢを含むことができ、デジタル記憶媒体によって実現できる。
【0121】
ビデオ／画像情報を含むビットストリームを受信した画像復号化装置５００は、図４の画像符号化装置４００で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号化装置５００は、画像符号化装置で適用された処理ユニットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットを分割して取得できる。そして、画像復号化装置５００を介して復号化及び出力された復元画像信号は、再生装置（図示せず）を介して再生できる。
【0122】
画像復号化装置５００は、図４の画像符号化装置によって生成された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピー復号化部５１０を介して復号化できる。例えば、エントロピー復号化部５１０は、前記ビットストリームをパーシングして画像復元（又はピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出することができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。画像復号化装置は、画像を復号化するために、前記パラメータセットに関する情報及び／又は前記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報及び／又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前記ビットストリームから取得されることができる。例えば、エントロピー復号化部５１０は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報を復号化し、画像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、ＣＡＢＡＣエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビン（ｂｉｎ）を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象ブロックの復号化情報、或いは以前ステップで復号化されたシンボル／ビンの情報を用いてコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルに基づいてビン（ｂｉｎ）の発生確率を予測してビンの算術復号化（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。この時、ＣＡＢＡＣエントロピー復号化方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのために、復号化されたシンボル／ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化部５１０で復号化された情報のうち、予測に関する情報は、予測部（インター予測部５６０及びイントラ予測部５６５に提供され、エントロピー復号化部５１０でエントロピー復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部５２０に入力されることができる。また、エントロピー復号化部５１０で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部５４０に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部（図示せず）が画像復号化装置５００の内／外部要素としてさらに備えられることができ、又は受信部はエントロピー復号化部５１０の構成要素として備えられることもできる。
【0123】
一方、本開示による画像復号化装置は、ビデオ／画像／ピクチャ復号化装置と呼ばれることができる。前記画像復号化装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及び／又はサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）を含むこともできる。前記情報デコーダは、エントロピー復号化部５１０を含むことができ、前記サンプルデコーダは、逆量子化部５２０、逆変換部５３０、加算部５３５、フィルタリング部５４０、メモリ５５０、インター予測部５６０及びイントラ予測部５６５のうちの少なくとも一つを含むことができる。
【0124】
逆量子化部５２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部５２０は、量子化された変換係数を２次元のブロック形式で再整列することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部５２０は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて、量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。
【0125】
逆変換部５３０では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得することができる。
【0126】
予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピー復号化部５１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モード（予測技法）を決定することができる。
【0127】
予測部が後述の様々な予測方法（技法）に基づいて予測信号を生成することができるのは、画像符号化装置４００の予測部についての説明で述べたのと同様である。
【0128】
イントラ予測部５６５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。イントラ予測部４８５についての説明は、イントラ予測部５６５に対しても同様に適用されることができる。
【0129】
インター予測部５６０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプルユニットで予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。例えば、インター予測部５６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出することができる。様々な予測モード（技法）に基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモード（技法）を指示する情報を含むことができる。
【0130】
加算部５３５は、取得されたレジデュアル信号を予測部（インター予測部５６０及び／又はイントラ予測部５６５を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用できる。加算部４５５についての説明は、加算部５３５に対しても同様に適用できる。加算部５３５は、復元部又は復元ブロック生成部と呼ばれることもある。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを介して次のピクチャのインター予測のために使用されることもできる。
【0131】
一方、ピクチャ復号化過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用できる。
【0132】
フィルタリング部５４０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部５４０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ５５０、具体的にはメモリ５５０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。
【0133】
メモリ５５０のＤＰＢに保存された（修正された）復元ピクチャは、インター予測部５６０で参照ピクチャとして使用されることができる。メモリ５５０は、現在ピクチャ内の動き情報が導出された（又は復号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部５６０に伝達することができる。メモリ５５０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部５６５に伝達することができる。
【0134】
本明細書において、画像符号化装置４００のフィルタリング部４６０、インター予測部４８０及びイントラ予測部４８５で説明された実施例は、それぞれ画像復号化装置５００のフィルタリング部５４０、インター予測部５６０及びイントラ予測部５６５にも、同様に又は対応するように適用されることができる。
【0135】
符号化装置の量子化部は、変換係数に量子化を適用して、量子化された変換係数を導出することができ、符号化装置の逆量子化部又は復号化装置の逆量子化部は、量子化された変換係数に逆量子化を適用して変換係数を導出することができる。ビデオコーディングでは、量子化率が変化することができ、変化した量子化率を用いて圧縮率が調節されることができる。実現の観点からは、複雑度を考慮して、量子化率が直接使用される代わりに、量子化パラメータ（ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ、ＱＰ）が使用されることができる。例えば、０乃至６３の整数値の量子化パラメータを使用することができ、各量子化パラメータ値は、実際の量子化率に対応することができる。ルマ（ｌｕｍａ）成分（ルマサンプル）に対する量子化パラメータＱＰＹと、クロマ成分（クロマサンプル）に対する量子化パラメータＱＰＣとは互いに異なるように設定できる。
【0136】
量子化過程で変換係数Ｃを入力とし、量子化率Ｑｓｔｅｐで割り、これに基づいて量子化された変換係数Ｃ´が導出できる。この場合、計算複雑度を考慮して量子化率にスケールを掛けて整数形式にし、スケール値に該当する値だけシフト演算が行われることができる。量子化率とスケール値との積に基づいて量子化スケール（ｑｕａｎｔｉｚａｔｉｏｎ ｓｃｌａｅ）が導出できる。すなわち、ＱＰに応じて前記量子化スケールが導出できる。前記変換係数Ｃに前記量子化スケールを適用することにより、これに基づいて量子化された変換係数Ｃ´が導出できる。
【0137】
逆量子化過程は、量子化過程の逆過程であって、量子化された変換係数Ｃ´に量子化率Ｑｓｔｅｐを掛け、これに基づいて復元された変換係数Ｃ´´が導出できる。この場合、前記量子化パラメータに応じてレベルスケール（ｌｅｖｅｌ ｓｃａｌｅ）が導出でき、前記量子化された変換係数Ｃ´に前記レベルスケールを適用し、これに基づいて復元された変換係数Ｃ´´が導出できる。復元された変換係数Ｃ´´は、変換及び／又は量子化過程における損失（ｌｏｓｓ）により最初変換係数Ｃとは多少の差があり得る。よって、符号化装置においても、復号化装置と同様に逆量子化が行われることができる。
【0138】
一方、周波数に応じて量子化強度を調節する適応周波数別重み付け量子化（ａｄａｐｔｉｖｅ ｆｒｅｑｕｅｎｃｙ ｗｅｉｇｈｔｉｎｇ ｑｕａｎｔｉｚａｔｉｏｎ）技術が適用できる。前記適応周波数別重み付け量子化技術は、周波数別に量子化強度を異なるように適用する方法に該当することができる。前記適応周波数別重み付け量子化は、予め定義された量子化スケーリングマトリックスを用いて各周波数別量子化強度が異なるように適用できる。すなわち、上述した量子化／逆量子化過程は、前記量子化スケーリングマトリックスにさらに基づいて行われることができる。
【0139】
例えば、現在ブロックのサイズ及び／又は前記現在ブロックのレジデュアル信号を生成するために、前記現在ブロックに適用された予測モードがインター予測であるか、イントラ予測であるかによって、互いに異なる量子化スケーリングマトリックスが使用できる。前記量子化スケーリングマトリックスは、量子化マトリックス又はスケーリングマトリックスと呼ばれることがある。前記量子化スケーリングマトリックスは予め定義できる。また、周波数適応的スケーリングのために、前記量子化スケーリングマトリックスに対する周波数別量子化スケール情報が符号化装置で構成／符号化されて復号化装置にシグナリングされることができる。前記周波数別量子化スケール情報は、量子化スケーリング情報と呼ばれることがある。前記周波数別量子化スケール情報は、スケーリングリストデータ（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ）を含むことができる。
【0140】
前記スケーリングリストデータに基づいて前記量子化スケーリングマトリックスが導出できる。また、前記周波数別量子化スケール情報は、前記スケーリングリストデータの存否を指示する存在フラグ（ｐｒｅｓｅｎｔ ｆｌａｇ）情報を含むことができる。また、前記スケーリングリストデータが上位レベル（例えば、ＳＰＳ）でシグナリングされた場合、より下位レベル（例えば、ＰＰＳ、ＡＰＳ又はスライスヘッダーなど）で前記スケーリングリストデータが修正されるか否かを指示する情報などがさらに含まれることができる。
【0141】
図６は、コーディングされた画像／ビデオに対する階層構造の一例を示す図である。
【0142】
コーディングされた画像／ビデオは、画像／ビデオの復号化処理及びそれ自体を扱うＶＣＬ（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ）、符号化された情報を伝送し保存する下位システム、そしてＶＣＬと下位システムとの間に存在し、ネットワーク適応機能を担当するＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）に区分されることができる。
【0143】
ＶＣＬでは、圧縮された画像データ（スライスデータ）を含むＶＣＬデータを生成するか、或いはピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＰＰＳ）、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＳＰＳ）、ビデオパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＶＰＳ）などの情報を含むパラメータセット又は画像の復号化処理に付加的に必要なＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージを生成することができる。
【0144】
ＮＡＬでは、ＶＣＬで生成されたＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）にヘッダー情報（ＮＡＬユニットヘッダー）を付加してＮＡＬユニットを生成することができる。このとき、ＲＢＳＰは、ＶＣＬで生成されたスライスデータ、パラメータセット、ＳＥＩメッセージなどをいう。ＮＡＬユニットヘッダーには、該当ＮＡＬユニットに含まれるＲＢＳＰデータによって特定されるＮＡＬユニットタイプ情報を含むことができる。
【0145】
図６に示されているように、ＮＡＬユニットは、ＶＣＬで生成されたＲＢＳＰの類型によってＶＣＬ ＮＡＬユニットとｎｏｎ－ＶＣＬ ＮＡＬユニットに区分されることができる。ＶＣＬ ＮＡＬユニットは、画像情報（スライスデータ）を含むＮＡＬユニットを意味することができ、ｎｏｎ－ＶＣＬ ＮＡＬユニットは、画像を復号化するために必要な情報（パラメータセット又はＳＥＩメッセージ）を含むＮＡＬユニットを意味することができる。
【0146】
上述したＶＣＬ ＮＡＬユニット、ｎｏｎ－ＶＣＬ ＮＡＬユニットは、下位システムのデータ規格に応じてヘッダー情報を付けてネットワークを介して伝送されることができる。例えば、ＮＡＬユニットは、Ｈ．２６６／ＶＶＣファイルフォーマット、ＲＴＰ（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）又はＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）などの所定の規格のデータ形式に変形して様々なネットワークを介して伝送されることができる。
【0147】
上述したように、ＮＡＬユニットは、当該ＮＡＬユニットに含まれるＲＢＳＰデータ構造（ｓｔｒｕｃｔｕｒｅ）に応じてＮＡＬユニットタイプが特定されることができ、このようなＮＡＬユニットタイプに対する情報は、ＮＡＬユニットヘッダーに保存されてシグナリングされることができる。例えば、ＮＡＬユニットは、画像情報（スライスデータ）を含むか否かによって、大きくＶＣＬ ＮＡＬユニットタイプとｎｏｎ－ＶＣＬ ＮＡＬユニットタイプに区分されることができる。ＶＣＬ ＮＡＬユニットタイプは、ＶＣＬ ＮＡＬユニットが含むピクチャの性質／類型によって細分化されることができ、ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプは、ｎｏｎ－ＶＣＬ ＮＡＬが含むパラメータセットの種類によって細分化されることができる。
【0148】
ピクチャ類型によるＶＣＬ ＮＡＬユニットタイプの一例は、次の通りである。
【0149】
－「ＩＤＲ＿Ｗ＿ＲＡＤＬ」、「ＩＤＲ＿Ｎ＿ＬＰ」：ＩＲＡＰ（Ｉｎｔｒａ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）ピクチャの一種であるＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）ピクチャに対するＶＣＬ ＮＡＬユニットタイプ；
【0150】
ＩＤＲピクチャは、ビットストリーム内で復号化順に１番目のピクチャであってもよく、或いは１番目後のピクチャであってもよい。「ＩＤＲ＿Ｗ＿ＲＡＤＬ」のようなＮＡＬユニットタイプを有するピクチャは、ピクチャに関連付けられた（ａｓｓｏｃｉｔｅｄ）一つ以上のＲＡＤＬ（Ｒｎａｄｏｍ Ａｃｃｅｓｓ Ｄｅｃｏｄａｂｌｅ Ｌｅａｄｉｎｇ）ピクチャを有することができる。これとは異なり、「ＩＤＲ＿Ｎ＿ＬＰ」のようなＮＡＬユニットタイプを有するピクチャは、前記ピクチャに関連付けられた如何なるリーディングピクチャ（ｌｅａｄｉｎｇ ｐｉｃｔｕｒｅ）も有しない。
【0151】
－「ＣＲＡ＿ＮＵＴ」：ＩＲＡＰピクチャの一種であるＣＲＡ（Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ）ピクチャに対するＶＣＬ ＮＡＬユニットタイプ；
【0152】
ＣＲＡピクチャは、ビットストリーム内で復号化順に１番目のピクチャであってもよく、或いは１番目後のピクチャであってもよい。ＣＲＡピクチャは、ＲＡＤＬ又はＲＡＳＬ（Ｒｎａｄｏｍ Ａｃｃｅｓｓ Ｓｋｉｐｐｅｄ Ｌｅａｄｉｎｇ）ピクチャに関連付けられることができる。
【0153】
－「ＧＤＲ＿ＮＵＴ」：ランダムアクセス可能なＧＤＲ（Ｇｒａｄｕａｌ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）ピクチャに対するＶＣＬ ＮＡＬユニットタイプ；
【0154】
－「ＳＴＳＡ＿ＮＵＴ」：ランダムアクセス可能なＳＴＳＡ（Ｓｔｅｐ－ｗｉｓｅ Ｔｅｍｐｏｒａｌ Ｓｕｂｌａｙｅｒ Ａｃｃｅｓｓ）ピクチャに対するＶＣＬ ＮＡＬユニットタイプ；
【0155】
－「ＲＡＤＬ＿ＮＵＴ」：リーディングピクチャであるＲＡＤＬピクチャに対するＶＣＬ ＮＡＬユニットタイプ；
【0156】
－「ＲＡＳＬ＿ＮＵＴ」：リーディングピクチャであるＲＡＳＬピクチャに対するＶＣＬ ＮＡＬユニットタイプ；
【0157】
－「ＴＲＡＩＬ＿ＮＵＴ」：トレーリング（Ｔｒａｉｌｉｎｇ）ピクチャに対するＶＣＬ ＮＡＬユニットタイプ；
【0158】
トレーリングピクチャは、ｎｏｎ－ＩＲＡＰピクチャであって、出力順に前記トレーリングピクチャに関連付けられたＩＲＡＰピクチャ又はＧＤＲピクチャに後続することができ、復号化順にトレーリングピクチャに関連付けられたＩＲＡＰピクチャに後続することができる。
【0159】
次に、パラメータセットの種類によるｎｏｎ－ＶＣＬ ＮＡＬユニットタイプの一例は、次の通りである。
【0160】
－「ＤＣＩ＿ＮＵＴ」：ＤＣＩ（Ｄｅｃｏｄｉｎｇ Ｃａｐａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ）を含むｎｏｎ－ＶＣＬ ＮＡＬユニットタイプ
【0161】
－「ＶＰＳ＿ＮＵＴ」：ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）を含むｎｏｎ－ＶＣＬ ＮＡＬユニットタイプ
【0162】
－「ＳＰＳ＿ＮＵＴ」：ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）を含むｎｏｎ－ＶＣＬ ＮＡＬユニットタイプ
【0163】
－「ＰＰＳ＿ＮＵＴ」：ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）を含むｎｏｎ－ＶＣＬ ＮＡＬユニットタイプ
【0164】
－「ＰＲＥＦＩＸ＿ＡＰＳ＿ＮＵＴ」、「ＳＵＦＦＩＸ＿ＡＰＳ＿ＮＵＴ」：ＡＰＳ（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）を含むｎｏｎ－ＶＣＬ ＮＡＬユニットタイプ
【0165】
－「ＰＨ＿ＮＵＴ」：ピクチャヘッダー（Ｐｉｃｔｕｒｅ Ｈｅａｄｅｒ）を含むｎｏｎ－ＶＣＬ ＮＡＬユニットタイプ
【0166】
上述したＮＡＬユニットタイプは、ＮＡＬユニットヘッダーに含まれた所定のシンタックス情報（例えば、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）によって識別できる。
【0167】
一方、本開示においてビットストリーム形式で符号化された画像／ビデオ情報は、ピクチャパーティショニング情報、イントラ／インター予測情報、レジデュアル情報及び／又はインループ（ｉｎ－ｌｏｏｐ）フィルタリング情報などを含むだけでなく、スライスヘッダー情報、ピクチャヘッダー情報、ＡＰＳ情報、ＰＰＳ情報、ＳＰＳ情報、ＶＰＳ情報及び／又はＤＣＩを含むことができる。また、前記符号化された画像／ビデオ情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ、ＧＣＩ）及び／又はＮＡＬユニットヘッダー情報をさらに含むことができる。本開示の実施例によれば、前記符号化された画像／ビデオ情報は、所定のフォーマット（例えば、ＩＳＯ ＢＭＦＦ）のメディアファイルにカプセル化されて受信装置へ伝送されることができる。
【0168】
メディアファイル
【0169】
符号化された画像情報は、メディアファイルを生成するために所定のメディアファイルフォーマットに基づいて構成（ｃｏｎｆｉｇｕｒｅｄ）（又はフォーマット）できる。一例として、符号化された画像情報は、前記符号化された画像情報に対する一つ以上のＮＡＬユニット／サンプルエントリに基づいて、メディアファイル（セグメント）を形成することができる。
【0170】
メディアファイルは、サンプルエントリ（Ｓａｍｐｌｅ Ｅｎｔｒｙ（ｓ））とトラック（Ｔｒａｃｋ（ｓ））を含むことができる。一例として、メディアファイルは、様々な記録（Ｒｅｃｏｒｄｓ）を含むことができる。それぞれの記録は、メディアファイルフォーマットに関連する情報又は画像に関連する情報を含むことができる。一例において、一つ以上のＮＡＬユニットは、メディアファイル内の設定（ｃｏｎｆｉｇｕｒａｔｉｏｎ）記録（又は、デコーダ設定記録）フィールドに保存されることができる。また、メディアファイルは、動作点記録（ｏｐｅｒａｔｉｎｇ ｐｏｉｎｔ ｒｅｃｏｒｄ）及び／又は動作点グループボックスを含むことができる。本開示において、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）を支援するデコーダ設定記録は、ＶＶＣデコーダ設定記録と呼ばれることがある。同様に、ＶＶＣを支援する動作点記録は、ＶＶＣ動作点記録と呼ばれることがある。
【0171】
メディアファイルフォーマットにおいて使用される「サンプル」という用語は、ピクチャを表現する３つのサンプルアレイ（Ｙ、Ｃｂ、Ｃｒ）のうちのいずれか一つの単一時間又は単一要素に関連付けられた全てのデータを意味することができる。「サンプル」という用語が（メディアファイルフォーマットの）トラックのコンテキスト（ｃｏｎｔｅｘ）で使用される場合、「サンプル」は、当該トラックの単一時間に関連付けられたすべてのデータを示すことができる。ここで、時間は、復号化時間（ｄｅｃｏｄｉｎｇ ｔｉｍｅ）又は合成時間（ｃｏｍｐｏｓｉｔｉｏｎ ｔｉｍｅ）に対応することができる。また、「サンプル」という用語がピクチャのコンテキストで使用される場合（例えば、ルマ（ｌｕｍａ）サンプル）、「サンプル」は、ピクチャを表現する３つのサンプルアレイのうちのいずれか一つの単一要素を示すことができる。
【0172】
図７は、メディアファイル構造の一例を示す図である。
【0173】
上述したように、オーディオ、ビデオ又は画像などのメディアデータを保存及び伝送するために、整形化されたメディアファイルフォーマットが定義できる。実施例によって、メディアファイルは、ＩＳＯ ＢＭＦＦ（ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔ）によるファイルフォーマットを有することができる。
【0174】
メディアファイルは、一つ以上のボックスを含むことができる。ここで、ボックスは、メディアデータ又はメディアデータに関連付けられたメタデータなどを含むデータブロック乃至オブジェクトであり得る。メディアファイル内において、ボックスは、階層構造を成すことができる。これにより、メディアファイルは、大容量のメディアデータの保存及び／又は伝送に適した形式を有することができる。さらに、メディアファイルは、特定のメディアデータへのアクセスに容易な構造を有することができる。
【0175】
図７を参照すると、メディアファイル７００は、ｆｔｙｐボックス７１０、ｍｏｏｖボックス７２０、ｍｏｏｆボックス７３０、及びｍｄａｔボックス７４０を含むことができる。
【0176】
ｆｔｙｐボックス７１０は、メディアファイル７００内のファイルタイプ、ファイルバージョン及び／又は互換性（ｃｏｍｐａｔｉｂｉｌｉｔｙ）関連情報を含むことができる。実施例によって、ｆｔｙｐボックス７１０は、メディアファイル７００の開始部（ｂｅｇｉｎｎｉｎｇ）に位置することができる。
【0177】
ｍｏｏｖボックス７２０は、メディアファイル７００内のメディアデータを記述するメタデータを含むことができる。実施例によって、ｍｏｏｖボックス７２０は、メタデータ関連ボックスの最上位レイヤーに存在することができる。さらに、ｍｏｏｖボックス７２０は、メディアファイル７００のヘッダー情報を含むことができる。例えば、ｍｏｏｖボックス７２０は、デコーダ設定情報（Ｄｅｃｏｄｅｒ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ）としてデコーダ設定記録を含むことができる。
【0178】
ｍｏｏｖボックス７２０は、サブボックスであって、ｍｖｈｄボックス７２１、ｔｒａｋボックス７２２、及びｍｖｅｘボックス７２３を含むことができる。
【0179】
ｍｖｈｄボックス７２１は、メディアファイル７００内のメディアデータのプレゼンテーション関連情報（例えば、メディア生成時間、変更時間、周期など）を含むことができる。
【0180】
ｔｒａｋボックス７２２は、メディアデータのトラック（ｔｒａｃｋ）に対するメタデータを含むことができる。例えば、ｔｒａｋボックス７２２は、オーディオトラック又はビデオトラックに対するストリーム関連情報、プレゼンテーション関連情報及び／又はアクセス関連情報を含むことができる。ｔｒａｋボックス７２２は、メディアファイル７００に存在するトラックの数に応じて複数存在することができる。ｔｒａｋボックス７２２の構造の一例は、図８を参照して後述する。
【0181】
ｍｖｅｘボックス７２３は、メディアファイル７００内の一つ以上のムービーフラグメントが存在するか否かに関する情報を含むことができる。ムービーフラグメントは、メディアファイル７００内のメディアデータを分割して取得されるメディアデータの一部であり得る。ムービーフラグメントは、一つ以上のコーディングされたピクチャを含むことができる。例えば、ムービーフラグメントは、一つ以上のピクチャグループＧＯＰｓを含むことができ、それぞれのピクチャグループは、複数のコーディングされたフレーム又はピクチャを含むことができる。ムービーフラグメントは、ｍｄａｔボックス７４０－１乃至７４０－Ｎ（ここで、Ｎは１以上の整数）にそれぞれ保存できる。
【0182】
ｍｏｏｆボックス７３０－１乃至７３０－Ｎ（ここで、Ｎは１以上の整数）は、ムービーフラグメント、すなわち、ｍｄａｔボックス７４０－１乃至７４０－Ｎに対するメタデータを含むことができる。実施例によって、ｍｏｏｆボックス７３０－１乃至７３０－Ｎは、ムービーフラグメントのメタデータ関連ボックスのうちの最上位レイヤーに存在することができる。
【0183】
ｍｄａｔボックス７４０－１乃至７４０－Ｎは実際のメディアデータを含むことができる。ｍｄａｔボックス７４０－１乃至７４０－Ｎは、メディアファイル７００に存在するムービーフラグメントの数に応じて複数存在することができる。それぞれのｍｄａｔボックス７４０－１乃至７４０－Ｎは、一つ以上のオーディオサンプル又はビデオサンプルを含むことができる。一例において、サンプルは、アクセスユニット（Ａｃｃｅｓｓ Ｕｎｉｔ、ＡＣ）を意味することができる。デコーダ設定記録がサンプルエントリに保存される場合、デコーダ設定記録は、パラメータセットだけでなく、各サンプルが属するＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットの長さを示すための長さフィールド（ｌｅｎｇｔｈ ｆｉｅｌｄ）のサイズを含むことができる。
【0184】
実施例によって、メディアファイル７００は、セグメント（ｓｅｇｍｅｎｔ）単位で処理されて保存及び／又は伝送できる。セグメントは、初期化セグメント（ｉｎｉｔｉａｌｉｚａｔｉｏｎ ｓｅｇｍｅｎｔ）Ｉ＿ｓｅｇ及びメディアセグメント（ｍｅｄｉａ ｓｅｇｍａｎｔ）Ｍ＿ｓｅｇを含むことができる。
【0185】
初期化セグメントＩ＿ｓｅｇは、リプレゼンテーション（ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）にアクセスするための初期化情報を含むオブジェクト形態のデータ単位であり得る。初期化セグメントＩ＿ｓｅｇは、上述したｆｔｙｐボックス７１０及び／又はｍｏｏｖボックス７２０を含むことができる。
【0186】
メディアセグメントＭ＿ｓｅｇは、ストリーミングサービスのために時間的に分割されたメディアデータを含むオブジェクト形態のデータ単位であり得る。メディアセグメントＭ＿ｓｅｇは、前述したｍｏｏｆボックス７３０－１乃至７３０－Ｎ及びｍｄａｔボックス７４０－１乃至７４０－Ｎを含むことができる。図７には示されていないが、メディアセグメントＭ＿ｓｅｇは、セグメントタイプ関連情報を含むｓｔｙｐボックス、及びメディアファイル７００に含まれたサブセグメントの識別情報を含むｓｉｄｘボックスをさらに含むことができる（ただし、ｏｐｔｉｏｎａｌ）。
【0187】
【0188】
図８を参照すると、ｔｒａｋボックス８００は、ｔｋｈｄボックス８１０、ｔｒｅｆボックス８２０、及びｍｄｉａボックス８３０を含むことができる。
【0189】
ｔｋｈｄボックス８１０は、トラックヘッダーボックスであって、トラックボックス８００が示すトラック（ｔｒａｃｋ）（以下、「当該トラック」という）のヘッダー情報、例えば、当該トラックの生成／修正時間やトラック識別子などを含むことができる。
【0190】
ｔｒｅｆボックス８２０は、トラック参照ボックスであって、当該トラックの参照情報、例えば、当該トラックが参照する他のトラックのトラック識別子を含むことができる。
【0191】
ｍｄｉａボックス８３０は、当該トラックにおけるメディアデータを記述する情報及びオブジェクトを含むことができる。実施例によって、ｍｄｉａボックス８３０は、前記メディアデータに関する情報を提供するｍｉｎｆボックス８４０を含むことができる。また、ｍｉｎｆボックス８４０は、前記メディアデータを含むサンプルに対するメタデータを含むｓｔｂｌボックス８５０を含むことができる。
【0192】
ｓｔｂｌボックス８５０は、サンプルテーブルボックスであって、トラック内でのサンプルの位置情報や時間情報などを含むことができる。リーダー（ｒｅａｄｅｒ）は、ｓｔｂｌボックス８５０によって提供された情報に基づいて、サンプルタイプとコンテナ内でのサンプルサイズ及びオフセットなどを決定し、サンプルを正しい時間順に位置させることができる。
【0193】
ｓｔｂｌボックス８５０は、一つ以上のサンプルエントリボックス８５１、８５２を含むことができる。サンプルエントリボックス８５１、８５２は、特定のサンプルに対する各種パラメータを提供することができる。例えば、ビデオサンプルに対するサンプルエントリボックスは、前記ビデオサンプルの幅、高さ、解像度及び／又はフレームカウントを含むことができる。また、オーディオサンプルに対するサンプルエントリボックスは、前記オーディオサンプルのチャネルカウント、チャネルレイアウト及び／又はサンプリングレートを含むことができる。実施例によって、サンプルエントリボックス８５１、８５２は、ｓｔｂｌボックス８５０内のサンプルディスクリプションボックス（図示せず）に含まれることができる。前記サンプルディスクリプションボックスは、サンプルに適用されたコーディングタイプに関する詳細情報及び前記コーディングタイプに必要な任意の初期化情報を提供することができる。
【0194】
また、ｓｔｂｌボックス８５０は、一つ以上のサンプルトゥーグループボックス８５３、８５４及び一つ以上のサンプルグループディスクリプションボックス８５５、８５６を含むことができる。
【0195】
サンプルトゥーグループボックス８５３、８５４は、サンプルの属するサンプルグループを示すことができる。例えば、サンプルトゥーグループボックス８５３、８５４は、前記サンプルグループのタイプを示すグルーピングタイプシンタックス要素（例えば、ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ）を含むことができる。また、サンプルトゥーグループボックス８５３、８５４は、一つ以上のサンプルグループエントリを含むことができる。前記サンプルグループエントリは、サンプルカウントシンタックス要素（例えば、ｓａｍｐｌｅ＿ｃｏｕｎｔ）及びグループディスクリプションインデックスシンタックス要素（例えば、ｇｒｏｕｐ＿ｄｅｓｃｒｉｐｔｉｏｎ＿ｉｎｄｅｘ）を含むことができる。ここで、前記サンプルカウントシンタックス要素は、当該グループディスクリプションインデックスが適用される連続サンプルの数を表すことができる。サンプルグループは、ストリームアクセスポイント（ｓｔｒｅａｍ ａｃｃｅｓｓ ｐｏｉｎｔ、ＳＡＰ）サンプルグループ、ランダムアクセスリカバリポイント（ｒａｎｄｏｍ ａｃｃｅｓｓ ｒｅｃｏｖｅｒｙ ｐｏｉｎｔ）サンプルグループなどを含むことができ、その具体的な内容は後述する。
【0196】
サンプルグループディスクリプションボックス８５５、８５６は、サンプルグループのディスクリプションを提供することができる。例えば、サンプルグループディスクリプションボックス８５５、８５６は、グルーピングタイプシンタックス要素（例えば、ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ）を含むことができる。サンプルグループディスクリプションボックス８５５、８５６は、同一のグルーピングタイプシンタックス要素値を有するサンプルトゥーグループボックス８５３、８５４に対応することができる。また、サンプルグループディスクリプションボックス８５５、８５６は、一つ以上のサンプルグループディスクリプションエントリを含むことができる。前記サンプルグループディスクリプションエントリは、「ｓｐｏｒ」サンプルグループディスクリプションエントリ、「ｍｉｎｐ」サンプルグループディスクリプションエントリ、「ｒｏｌｌ」サンプルグループディスクリプションエントリなどを含むことができる。
【0197】
以上、図７及び図８を参照して前述したように、メディアデータは、ＩＳＯ ＢＭＦＦなどのファイルフォーマットに従ってメディアファイル内にカプセル化できる。そして、メディアファイルは、ＭＭＴ標準又はＭＰＥＧ－ＤＡＳＨ標準などによる画像信号を介して受信装置に伝送できる。
【0198】
図９は、画像信号構造の一例を示す図である。
【0199】
図９を参照すると、画像信号は、ＭＰＥＧ－ＤＡＳＨ標準によるものであり、ＭＰＤ９１０及び複数のリプレゼンテーション９２０－１乃至９２０－Ｎを含むことができる。
【0200】
ＭＰＤ９１０は、メディアプレゼンテーションに対する詳細情報を含むファイルであって、ＸＭＬ形式で表現できる。ＭＰＤ９１０は、複数のリプレゼンテーション９２０－１乃至９２０－Ｎに関する情報（例えば、ストリーミングコンテンツのビットレート、画像解像度、フレームレートなど）及びＨＴＴＰリソース（例えば、初期化セグメント及びメディアセグメント）のＵＲＬに関する情報を含むことができる。
【0201】
それぞれのリプレゼンテーション９２０－１乃至９２０－Ｎ（ここで、Ｎは１より大きい整数）は、複数のセグメントＳ－１乃至Ｓ－Ｋ（ここで、Ｋは１より大きい整数）に分割できる。ここで、複数のセグメントＳ－１乃至Ｓ－Ｋは、図７を参照して前述した初期化セグメント及びメディアセグメントに対応することができる。Ｋ番目のセグメントＳ－Ｋは、それぞれのリプレゼンテーション９２０－１乃至９２０－Ｎ内で最後のムービーフラグメントを示すことができる。実施例によって、それぞれのリプレゼンテーション９２０－１乃至９２０－Ｎに含まれたセグメントＳ－１乃至Ｓ－Ｋの数（すなわち、Ｋの値）は互いに異なることができる。
【0202】
それぞれのセグメントＳ－１乃至Ｓ－Ｋは、実際のメディアデータ、例えば一つ以上のビデオ又は画像サンプルを含むことができる。それぞれのセグメントＳ－１乃至Ｓ－Ｋ内に含まれたビデオ又はイメージサンプルの特性は、ＭＰＤ９１０によって記述できる。
【0203】
それぞれのセグメントＳ－１乃至Ｓ－Ｋは、固有のＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を有するので、独立してアクセス及び復元できる。
【0204】
一方、ＶＶＣコンテンツ（ｃｏｎｔｅｎｔ）を保存するために、次のように３類型のエレメンタリストリーム（ｅｌｅｃｍｅｎｔａｒｙ ｓｔｒｅａｍｓ）が定義できる。
【0205】
－ビデオエレメンタリストリーム（ｖｉｄｅｏ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ）：ビデオエレメンタリストリームは、ＶＣＬ ＮＡＬユニットを含むが、パラメータセット、ＤＣＩ又はＯＰＩ ＮＡＬユニットを含まない。この場合、パラメータセット、ＤＣＩ又はＯＰＩ ＮＡＬユニットは、一つ以上のサンプルエントリ内に保存できる。ビデオエレメンタリストリームは、パラメータセット、ＤＣＩ ＮＡＬユニット、及びＯＰＩ ＮＡＬユニットを除くｎｏｎ－ＶＣＬ ＮＡＬユニットを含むことができる。
【0206】
－ビデオ及びパラメータセットエレメンタリストリーム（ｖｉｄｅｏ ａｎｄ ｐａｒａｍｅｔｅｒ ｓｅｔ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ）：ビデオ及びパラメータセットエレメンタリストリームは、ＶＣＬ ＮＡＬユニットを含む。また、ビデオ及びパラメータセットエレメンタリストリームは、パラメータセット、ＤＣＩ又はＯＰＩ ＮＡＬユニットを含むことができ、一つ以上のサンプルエントリ内に保存されたパラメータセット、ＤＣＩ又はＯＰＩ ＮＡＬユニットを有することができる。
【0207】
－ｎｏｎ－ＶＣＬエレメンタリストリーム：ｎｏｎ－ＶＣＬエレメンタリストリームは、ビデオトラック内で運ばれるエレメンタリストリームと、同期化されるｎｏｎ－ＶＣＬ ＮＡＬユニットのみを含む。
【0208】
また、ＶＶＣファイルフォーマットは、次のように様々な種類のトラックを定義する。
【0209】
－ＶＶＣトラック：ＶＶＣトラックは、サンプル及びサンプルエントリ内にＮＡＬユニットを含むことにより、可能であれば（ｐｏｓｓｉｂｌｙ）ＶＶＣビットストリームの他のサブレイヤーを含むＶＶＣトラックを参照することにより、かつ、可能であればＶＶＣサブピクチャトラックを参照することにより、前記ＶＶＣビットストリームを示すことができる。ＶＶＣトラックがＶＶＣサブピクチャトラックを参照する場合、前記ＶＶＣトラックは、ＶＶＣベーストラックと呼ばれることがある。
【0210】
－ＶＶＣ ｎｏｎ－ＶＣＬトラック：ＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）、ＬＭＣＳ（Ｌｕｍａ Ｍａｐｐｉｎｇ ｗｉｔｈ Ｃｈｒｏｍａ Ｓｃａｌｉｎｇ）、又はスケーリングリストパラメータを運ぶＡＰＳｓ（Ａｄａｐｔｉｖｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔｓ）、及び他のｎｏｎ－ＶＣＬ ＮＡＬユニットは、ＶＣＬ ＮＡＬユニットを含むトラックとは区別されるトラック内に保存され、前記トラックを介して伝送できる。ＶＶＣ ｎｏｎ－ＶＣＬトラックは、前記トラックを意味することができる。ＶＶＣ ｎｏｎ－ＶＣＬトラックは、サンプルエントリ内にパラメータセット、ＤＣＩ又はＯＰＩ ＮＡＬユニットを含まない。
【0211】
－ＶＶＣサブピクチャトラック：ＶＶＣサブピクチャトラックは、一つ以上のＶＶＣサブピクチャのシーケンス、又は長方形領域を形成する一つ以上の完全なスライスのシーケンスを含むことができる。また、ＶＶＣサブピクチャトラックのサンプルは、復号化順に連続的な（ｃｏｎｔｉｇｕｏｕｓ）一つ以上の完全な（ｃｏｍｐｌｅｔｅ）サブピクチャ、又は、復号化順に連続的であり、長方形領域を形成する一つ以上の完全なスライスを含むことができる。ＶＶＣサブピクチャトラックの各サンプルに含まれるＶＶＣサブピクチャ又はスライスは、復号化順に連続的であり得る。
【0212】
一方、ＶＶＣ ｎｏｎ－ＶＣＬトラック及びＶＶＣサブピクチャトラックは、ストリーミングアプリケーションにおいてＶＶＣビデオの最適な伝送（ｏｐｔｉｍａｌ ｄｅｌｉｖｅｒｙ）を可能にすることができる。前記トラックそれぞれは、固有のＤＡＳＨリプレゼンテーション（ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）内で運ばれることができる。また、前記トラックのサブセット（ｓｕｂｓｅｔ）の復号化及びレンダリングのために、ＶＶＣサブピクチャトラックのサブセットを含むＤＡＳＨリプレゼンテーション、及びｎｏｎ－ＶＣＬトラックを含むＤＡＳＨリプレゼンテーションは、クライアントによってセグメント別に要求できる。このような方式で、ＡＰＳ及び他のｎｏｎ－ＶＣＬ ＮＡＬユニットの冗長伝送（ｒｅｄｕｎｄａｎｔ ｔｒａｎｓｍｉｓｓｉｏｎ）を回避することができる。
【0213】
データ共有及びＶＶＣビットストリーム復元の概要
【0214】
本プロセスの出力は、ＶＶＣビットストリームであって、前記ＶＶＣビットストリームは、出力ビットストリームと呼ばれることがある。
【0215】
ファイルリーダー（ｆｉｌｅ ｒｅａｄｅｒ）は、次の条件のうちの一つ以上が真である場合、本プロセスを行うことができる。
【0216】
ｉ）ＶＶＣビットストリームエンティティグループ（例えば、「ｖｖｃｂ」）がファイル内に存在し、ファイルリーダーが、前記エンティティグループによって表現されるＶＶＣビットストリームを処理して出力ビットストリームを生成する場合、
【0217】
ｉｉ）動作ポイントエンティティグループ（例えば、「ｏｐｅｇ」）がファイル内に存在し、ファイルリーダーが、前記エンティティグループによって記述される任意の動作ポイントを用いて出力ビットストリームを生成する場合、
【0218】
ｉｉｉ）ファイルリーダーが１のようなｐｌｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを有するＶＶＣトラックのレイヤー又はサブレイヤーのサブセットを抽出して出力ビットストリームを生成する場合、
【0219】
ｉｖ）ファイルリーダーがＶＶＣベーストラックを処理する場合、
【0220】
ｖ）ファイルリーダーがＶＶＣ ｎｏｎ－ＶＣＬトラックに関連するＶＶＣトラックを処理する場合。
【0221】
本プロセスは、次のステップで構成できる。
【0222】
（Ｓｔｅｐ１）：
【0223】
前記条件ｉ）乃至ｉｉ）のいずれかが真である場合、動作ポイントは、ＶＶＣビットストリームの開始点で決定され、ＩＲＡＰ又はＧＤＲアクセスユニットに対して再び決定できる。
【0224】
１）動作点を決定する方法は、標準文書、例えばＩＳＯ／ＩＥＣ １４４９６－１５に明示されたものとは異なることがある。
【0225】
２）ファイルリーダーが最初に動作点を選択するか、或いは以前に選択されたものとは異なる動作点を選択する場合、ファイルリーダーは、出力レイヤーセットインデックス、及び前記選択された動作点の最も高いＴｅｍｐｏｒａｌＩＤ値を、出力ビットストリーム内に挿入されたＯＰＩ ＮＡＬユニットに（動作ポイントが使用される一番目のアクセスユニットにおいてＡＵ区切り文字（ｄｅｌｉｍｉｔｅｒ）ＮＡＬユニット（存在する場合）に後続する一番目のＮＡＬユニットであって）含ませるか、或いは他の手段によって、ＶＶＣデコーダに指示しなければならない。
【0226】
一例において、復号化されるレイヤー及びサブレイヤーセットが、ＯＰＩ ＮＡＬユニット又は他の手段を介してデコーダに指示された最新の動作ポイント内に存在する限り、ＣＶＳを開始しないアクセスユニットＡＵｓでレイヤー及びサブレイヤーをダウンスイッチ及びアップスイッチすることが可能である。このとき、レイヤーアップスイッチングは、０のようなＴｅｍｐｏｒａｌＩｄを有するＩＲＡＰ、ＧＤＲ又はＳＴＳＡピクチャユニットで発生する可能性がある。また、サブレイヤーアップスイッチングは、ＳＴＳＡピクチャユニットで発生する可能性がある。
【0227】
３）後続のステップは、アクセスユニットのシーケンスに対して、動作点が決定されたアクセスユニットからビットストリームの終端又は次回の動作点が決定されたアクセスユニットまでの復号化順に従って適用できる。
【0228】
（Ｓｔｅｐ２）：
【0229】
ＶＶＣビットストリームがマルチＶＶＣトラックによって表現される場合、ファイルパーサ（ｆｉｌｅ ｐａｒｓｅｒ）は、選択された動作点に必要なトラックを次のとおりに識別することができる。
【0230】
ｉ）「ｏｐｅｇ」エンティティグループからの動作点が選択された動作点を含む場合、前記「ｏｐｅｇ」エンティティグループによって指示される動作点に属するトラックを選択する。
【0231】
ｉｉ）「ｏｐｅｇ」エンティティグループが存在しない場合（すなわち、「ｖｏｐｉ」サンプルグループが存在する場合）、ＶＶＣトラックがＶＶＣビットストリームを示す「ｖｖｃｂ」エンティティグループから決定する。「ｖｖｃｂ」エンティティグループの一番目のｅｎｔｉｔｙ＿ｉｄは、「ｖｏｐｉ」サンプルグループを含むトラックを識別する。レイヤー及びサブレイヤーに対する動作点のマッピングは、「ｖｏｐｉ」サンプルグループから終結される。選択された動作点のレイヤー及びサブレイヤーを含み、よって、前記選択された動作点を復号化するために必要なトラックの集合は、ＶＶＣビットストリームのＶＶＣトラック内に存在する「ｌｉｎｆ」サンプルグループから終結される。
【0232】
特定のレイヤー又はサブレイヤーは、一つより多いトラックによって表現できるため、動作点に必要なトラックを特定するときに、特定のレイヤー又はサブレイヤーをすべて運ぶトラックの集合の中から選択される必要があり得る。
【0233】
（Ｓｔｅｐ３）：
【0234】
出力ビットストリームに対するアクセスユニットは、選択された動作点に必要なＶＶＣトラックのうち（上記の条件ｉ、ｉｉ、又はｉｉｉが真である場合）、又はＶＶＣベーストラック内で（上記の条件ｉｖが真である場合）、又はＶＶＣトラック内で（上述した条件ｖが真である場合）、サンプルの復号化時間順に復元できる。
【0235】
４）複数のトラックがアクセスユニットに関するデータを含む場合、トラック内の各サンプルの整列は、サンプル復号化時間に基づいて行われることができる。
【0236】
５）暗黙的復元プロセスを繰り返し呼び出すことにより、必要なトラック内の各サンプルからアクセスユニットのシーケンスが復元できる。
【0237】
６）前記復元されたアクセスユニットは、復号化時間順に昇順で出力ビットストリーム内に配置できる。
【0238】
（Ｓｔｅｐ４）：
【0239】
次の条件がすべて真である場合、ファイルリーダーは、出力ビットストリームに適用された動作点の各レイヤーにＥＯＳ ＮＡＬユニットを含ませなければならない。
【0240】
－以前に選択されたものとは異なる動作点の選択がアクセスユニットのシーケンス後続し、
【0241】
－アクセスユニットのシーケンスが適用された動作点の各レイヤー内でＥＯＳ ＮＡＬユニットにて終わらないか、或いはＥＯＢ ＮＡＬユニットにて終わらない場合
【0242】
ＶＶＣビットストリームがマルチＶＶＣトラックによって表現される場合、サンプルの復号化時間は、トラックが復号化時間を増加させて整列される単一ビットストリーム内に結合されるとき、アクセスユニットの順序が標準文書、例えばＩＳＯ／ＩＥＣ ２３０９０－３（ＶＶＣ標準）に明示されているとおりに正しく設定されなければならない。
【0243】
ＶＶＣビットストリームの暗黙的復元
【0244】
本プロセスは、要求されたＶＶＣトラック、関連したＶＶＣ ｎｏｎ－ＶＣＬトラック、及び参照されたＶＶＣサブピクチャトラックの中で現在復号化時間を有する時間整列されたサンプルからのアクセスユニット復元を表すことができる。
【0245】
ＶＣＬ ＮＡＬユニットが０より大きいＴｅｍｐｏｒａｌＩｄを有するサブレイヤーを含むビットストリームを復元する場合、同じレイヤー内のすべてのサブレイヤー（すなわち、ＶＣＬ ＮＡＬユニットがより小さいＴｅｍｐｏｒａｌＩｄを有するサブレイヤー）も、ビットストリーム内に含まれることができる。
【0246】
現在復号化時間のサンプルが、選択された動作点に含まれた最も大きいＴｅｍｐｏｒａｌＩｄよりも大きいＴｅｍｐｏｒａｌＩｄを有するＶＣＬ ＮＡＬユニットを含む場合、前記現在復号化時間からは如何なるアクセスユニットも復元できない。
【0247】
アクセスユニットを復元する場合、同じ復号化時間を有するサンプルからのピクチャユニットは（標準文書、例えばＩＳＯ／ＩＥＣ ２３０９０－３（ＶＶＣ標準）で明示されているようなピクチャユニット）、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値の昇順で前記アクセスユニット内に位置することができる。所定の条件に応じて、次のステップが行われることができる。
【0248】
－サンプルの一番目のピクチャユニットを含むトラックのサンプルが、ｏｌｓ＿ｉｄｘ及びｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘ＿ｉｎｃｌｕｓｉｖｅを含むサンプルグループ「ａｕｄ」に属するとマーキングされ、ターゲット動作点に対応する場合、「ａｕｄ」サンプルグループ内のＡＵＤ ＮＡＬユニットは、アクセスユニットの１番目のＮＡＬユニットとして前記アクセスユニット内に配置できる。
【0249】
－トラック内のサンプルがターゲット動作点に対応するｏｌｓ＿ｉｄｘ、ｍａｘ＿ｔｉｄ、及びｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘ＿ｉｎｃｌｕｓｉｖｅを有するサンプルグループ「ｅｏｓ」に属するとマーキングされた場合、「ｅｏｓ」サンプルグループ内のＥＯＳ ＮＡＬユニットは、アクセスユニット内で指示された位置、すなわちサンプルグループ「ａｕｄ」によって挿入された場合、ＡＵＤ ＮＡＬユニットを除く復元されたアクセスユニットのｅｏｓ＿ｐｏｓｉｔｉｏｎ番目のＮＡＬユニットの次の位置に配置できる。
【0250】
－トラック内のサンプルがターゲット動作点に対応するｏｌｓ＿ｉｄｘ、ｍａｘ＿ｔｉｄ、及びｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘ＿ｉｎｃｌｕｓｉｖｅを有する「ｅｏｂ」サンプルグループに属するとマーキングされた場合、「ｅｏｂ」サンプルグループ内のＥＯＢ ＮＡＬユニットは、アクセスユニット内で（ＥＯＳ ＮＡＬユニットを含む）他のすべてのＮＡＬユニットの後に配置できる。
【0251】
ターゲット動作点内のレイヤー及びサブレイヤーからのピクチャユニットのみが出力ビットストリームに含まれることができる。
【0252】
一例において、動作点エンティティグループ（すなわち、Ｏｐｅｒａｔｉｎｇ Ｐｏｉｎｔｓ Ｅｎｔｉｔｙ Ｇｒｏｕｐ）が存在しない場合、ビットストリームの復元に要求されるトラック内で伝達されるが、ターゲット動作点には、属さないレイヤー又はサブレイヤーが存在し得る。
【0253】
一例において、ＶＶＣデコーダ実現は、標準文書、例えばＩＳＯ／ＩＥＣ ２３０９０－３（ＶＶＣ標準）：２０２１で定義された、ターゲット出力レイヤーセットインデックスＴａｒｇｅｔＯｌｓＩｄｘ及びターゲット動作点のＴｅｍｐｏｒａｌＩｄ最高値ＨｉｇｈｅｓｔＴｉｄに対応するビットストリームを入力として取ることができる。ファイルパーサは、ＶＶＣデコーダに送る前に、ターゲット動作点に含まれたもの以外の他のレイヤー及びサブレイヤーを含まないことを確認する必要がある。
【0254】
出力レイヤーセットインデックスｉ（「ｖｏｐｉ」サンプルグループ内でｎｕｍ＿ｏｌｓｓに対するｆｏｒ－ｌｏｏｐで）に関連付けられた動作点に基づいてアクセスユニットを復元する場合、次のことが適用できる。
【0255】
－アクセスユニットを復元する場合、０からｌａｙｅｒ＿ｃｏｕｎｔ［ｉ］－１までの範囲内のインデックスｊを有する、出力レイヤーセット内の各レイヤーに対して、ｎｕｍ＿ｒｅｆ＿ｓｕｂｌａｙｅｒｓ＿ｉｎ＿ｌａｙｅｒ＿ｉｎ＿ｏｌｓ［ｉ］［ｊ］が０より大きければ、ＶＣＬ ＮＡＬユニットは、 ＶＣＬ ＮＡＬユニットがＭｉｎ（ｎｕｍ＿ｒｅｆ＿ｓｕｂｌａｙｅｒｓ＿ｉｎ＿ｌａｙｅｒ＿ｉｎ＿ｏｌｓ［ｉ］［ｊ］－１、ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ）と同じかそれより小さいＴｅｍｐｏｒａｌＩｄを有するレイヤーのサブレイヤーに属することができ、結果として、ビットストリームに含まれることができ、要求されたトラックは、それに応じて選択できる。ここで、ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄは、動作点に対する対応シンタックス要素の値を意味することができる。
【0256】
－アクセスユニットを復元する場合、０からｌａｙｅｒ＿ｃｏｕｎｔ［ｉ］－１までの範囲内のインデックスｊを有する、出力レイヤーセット内の各レイヤーに対して、ｎｕｍ＿ｒｅｆ＿ｓｕｂｌａｙｅｒｓ＿ｉｎ＿ｌａｙｅｒ＿ｉｎ＿ｏｌｓ［ｉ］［ｊ］が０と同じであれば、参照レイヤーのすべてのピクチャユニットのうち、０のようなｐｈ＿ｒｅｃｏｖｅｒｙ＿ｐｏｃ＿ｃｎｔを有するＩＲＡＰピクチャユニット及びＧＤＲピクチャユニットのみが結果的にビットストリーム内に含まれることができ、要求されたトラックはそれに応じて選択できる。
【0257】
ＶＶＣトラックのアクセスユニットは、非指定（ｕｎｓｐｅｃｉｆｉｅｄ）ＮＡＬユニットタイプ（ＵＮＳＰＥＣ＿２８乃至ＵＮＳＰＥＣ＿３１の範囲内のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ、すなわち標準文書、例えばＩＳＯ／ＩＥＣ ２３０９０－３（ＶＶＣ標準）で定義された２８乃至３１の範囲内のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ値を有するＮＡＬユニット）を含む場合、前記非指定ＮＡＬユニットタイプは、最終復元されたビットストリームから除去（ｄｉｓｃａｒｄ）されなければならない。
【0258】
ＶＶＣトラックが「ｓｕｂｐ」トラック参照を含む場合、各ピクチャユニットは、標準文書、例えばＩＳＯ／ＩＥＣ １４４９６－１５の下位条項（ｓｕｂｃｌａｕｓｅ）１１．６．３に明示されているところによって復元できる。ＶＶＣトラックが「ｒｅｃｒ」トラック参照を含む場合、各ピクチャユニットは、標準文書、例えばＩＳＯ／ＩＥＣ １４４９６－１５の下位条項１１．６．６に明示されているところによって復元できる。前記下位条項に明示されたプロセスは、ｎｕｈ＿ｌａｙｅｒ＿ｉｄの昇順でターゲット動作点の各レイヤーに対して繰り返し行われることができる。
【0259】
復元されたアクセスユニットは、復号化時間の昇順でＶＶＣビットストリーム内に配置できる。
【0260】
特定のレイヤー又はサブレイヤーは、一つより多いトラックによって表現できるので、動作点に要求されるトラックを把握（ｆｉｇｕｒｅ ｏｕｔ）する場合、前記特定のレイヤー又はサブレイヤーを運ぶすべてのトラックのセットの中から選択されなければならない。
【0261】
ＶＶＣサブピクチャトラックを参照するＶＶＣトラック内のサンプルからのピクチャユニットの復元
【0262】
ＶＶＣトラックのサンプルは、次の手順に従ってピクチャユニットに分解（ｒｅｓｏｌｏｖｅ）できる。
【0263】
－サンプル内、又は関連付けられたＶＶＣ ｎｏｎ－ＶＣＬトラックの時間整列されたサンプル内にＡＵＤ ＮＡＬユニットが存在する場合、前記ＡＵＤ ＮＡＬユニットはピクチャユニット内に含まれることができる。
【0264】
一例において、ＡＵＤ ＮＡＬユニットがサンプル内に存在する場合、前記ＡＵＤ ＮＡＬユニットは、前記サンプル内の１番目のＮＡＬユニットであり得る。
【0265】
－関連付けられたＶＶＣ ｎｏｎ－ＶＣＬトラックが存在し、ピクチャユニットがサンプルから復元されたアクセスユニット内の１番目のピクチャユニットである場合、次のＮＡＬユニットは、前記ピクチャユニット内に含まれることができる。
【0266】
ＥＯＳ＿ＮＵＴ、ＥＯＢ＿ＮＵＴ、ＳＵＦＦＩＸ＿ＡＰＳ＿ＮＵＴ、ＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴ、ＦＤ＿ＮＵＴ、又はＲＳＶ＿ＮＶＣＬ＿２７のようなｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有する関連付けられたＶＶＣ ｎｏｎ－ＶＣＬトラックの時間整列されたサンプル内に少なくとも一つのＮＡＬユニットが存在する場合（上述したＮＡＬユニットタイプを有するＮＡＬユニットは、ピクチャユニット内で１番目のＶＣＬ ＮＡＬユニットに先行することはできない）、関連付けられたＶＶＣ ｎｏｎ－ＶＣＬトラックの時間整列されたサンプル内のＮＡＬユニットは（ただし、ＡＵＤ ＮＡＬユニットは除く）、これらのＮＡＬユニットのうち１番目のＮＡＬユニットを除くＮＡＬユニット。それ以外の場合は、関連付けられたＶＶＣ ｎｏｎ－ＶＣＬトラックの時間整列されたサンプル内のすべてのＮＡＬユニット。
【0267】
－ＥＯＳ＿ＮＵＴ、ＥＯＢ＿ＮＵＴ、ＳＵＦＦＩＸ＿ＡＰＳ＿ＮＵＴ、ＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴ、ＦＤ＿ＮＵＴ、又はＲＳＶ＿ＮＶＣＬ＿２７のようなｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するサンプル内に少なくとも一つのＮＡＬユニットが存在する場合（上述したＮＡＬユニットタイプを有するＮＡＬユニットは、ピクチャユニット内で１番目のＶＣＬ ＮＡＬユニットに先行することはできない）、これらのＮＡＬユニットのうちの１番目のＮＡＬユニットを除くサンプル内のＮＡＬユニットは、ピクチャユニット内に含まれることができる。それ以外の場合、サンプル内のすべてのＮＡＬユニットはピクチャユニット内に含まれることができる。
【0268】
－リーダー（ｒｅａｄｅｒ）が動作点を選択した場合、リーダーは、上記のすべてのステップで復元されたアクセスユニットからサンプルエントリ及びサンプルに保存されたすべてのＯＰＩ ＮＡＬユニットを除外しなければならない。
【0269】
一例において、マルチトラックがＶＶＣビットストリームのレイヤー又はサブレイヤーを保存するのに用いられる場合、サンプルエントリ又はサンプル内にＯＰＩ ＮＡＬユニットを含まないことが好ましい。
【0270】
－ＶＶＣトラックがＶＶＣサブピクチャトラックを参照しなければ、ＶＶＣトラックにおけるサンプルのＮＡＬユニットはピクチャユニット内に含まれることができる。
【0271】
それ以外の場合は、次のことが適用できる。
【0272】
トラック参照は、標準文書、例えばＩＳＯ／ＩＥＣ １４４９６－１５の下位条項１１．６．４に明示されたところによって分解（ｒｅｓｏｌｖｅｄ）できる。
【0273】
また、必要に応じて、パラメータセットは、標準文書、例えばＩＳＯ／ＩＥＣ １４４９６－１５の下位条項１１．６．５に明示されたところによって更新できる。
【0274】
さらに、１のようなｓｎ＿ｓｕｂｐｉｃ＿ｆｌａｇを有するスケーラブルネスティング（ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ）ＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬユニットと、すべてのＤＣＩ、ＯＰＩ、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＡＵＤ、ＰＨ、ＥＯＳ、ＥＯＢ ＮＡＬユニットを除いて、ピクチャユニットは、「ｓｕｂｐ」トラック参照で参照されるＶＶＣサブピクチャトラックの順に（本サンプルにマッピングされた「ｓｐｏｒ」サンプルグループエントリの同じグループエントリ内でｎｕｍ＿ｓｕｂｐｉｃ＿ｒｅｆ＿ｉｄｘが０である場合）、又は本サンプルにマッピングされた「ｓｐｏｒ」サンプルグループディスクリプションエントリで明示された順に（本サンプルにマッピングされた「ｓｐｏｒ」サンプルグループエントリの同じグループエントリ内でｎｕｍ＿ｓｕｂｐｉｃ＿ｒｅｆ＿ｉｄｘが０より大きい場合）、それぞれの参照されたＶＶＣサブピクチャトラック内（復号化時間上）の時間整列された分解サンプルのコンテンツによって追加（ａｐｐｅｎｄｅｄ）できる。
【0275】
また、参照されたＶＶＣサブピクチャがＶＶＣ ｎｏｎ－ＶＣＬトラックに関連付けられている場合、ＶＶＣサブピクチャトラックの分解サンプルは、次のＮＡＬユニットを含むことができる。ｉ）ＥＯＳ＿ＮＵＴ、ＥＯＢ＿ＮＵＴ、ＳＵＦＦＩＸ＿ＡＰＳ＿ＮＵＴ、ＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴ、ＦＤ＿ＮＵＴ、又はＲＳＶ＿ＮＶＣＬ＿２７のようなｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有する関連付けられたＶＶＣ ｎｏｎ－ＶＣＬトラックの時間整列されたサンプル内に少なくとも一つのＮＡＬユニットが存在する場合（上述したＮＡＬユニットタイプを有するＮＡＬユニットは、ピクチャユニット内で１番目のＶＣＬ ＮＡＬユニットに先行することはできない）、これらのＮＡＬユニットのうちの１番目のＮＡＬユニットを除く関連付けられたＶＶＣ ｎｏｎ－ＶＣＬトラックの時間整列されたサンプル内のＮＡＬユニット（ただし、ＡＵＤ ＮＡＬユニットを除く）。ｉｉ）それ以外の場合、関連付けられたＶＶＣ ｎｏｎ－ＶＣＬトラックの時間整列されたサンプル内のすべてのＮＡＬユニット。ｉｉｉ）参照されたＶＶＣサブピクチャトラックのサンプル内のＮＡＬユニット。ｉｖ）関連付けられたＶＶＣ ｎｏｎ－ＶＣＬトラックの時間整列されたサンプル内の残り（ｒｅｍａｉｎｉｎｇ）のＮＡＬユニット。
【0276】
－ＥＯＳ＿ＮＵＴ、ＥＯＢ＿ＮＵＴ、ＳＵＦＦＩＸ＿ＡＰＳ＿ＮＵＴ、ＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴ、ＦＤ＿ＮＵＴ、又はＲＳＶ＿ＮＶＣＬ＿２７のようなｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するサンプル内のすべてのＮＡＬユニットは、ピクチャユニット内に含まれることができる。
【0277】
－関連付けられたＶＶＣ ｎｏｎ－ＶＣＬトラックが存在し、サンプルから復元されたアクセスユニット内でピクチャユニットが最後のピクチャユニットである場合、ＥＯＳ＿ＮＵＴ、ＥＯＢ＿ＮＵＴ、ＳＵＦＦＩＸ＿ＡＰＳ＿ＮＵＴ、ＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴ、ＦＤ＿ＮＵＴ、又はＲＳＶ＿ＮＶＣＬ＿２７のようなｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有する関連付けられたＶＶＣ ｎｏｎ－ＶＣＬトラックの時間整列されたサンプル内の全てのＮＡＬユニットは、ピクチャユニット内に含まれることができる。
【0278】
－ＵＮＳＰＥＣ＿２８乃至ＵＮＳＰＥＣ＿３１の範囲内のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するサンプル内のすべてのＮＡＬユニット及びＮＡＬユニット類似構造（ＮＡＬ－ｕｎｉｔ－ｌｉｋｅ ｓｔｒｕｃｔｕｒｅｓ）は、ピクチャユニットから除去されなければならない。
【0279】
以下、ＥＯＳサンプルグループ及びＥＯＢサンプルグループについて詳細に説明する。
【0280】
ＥＯＳサンプルグループ－従来技術の問題点
【0281】
ＥＯＳ（ｅｎｄ ｏｆ ｓｅｑｕｅｎｃｅ）サンプルグループのサンプルグループディスクプリションエントリは、ＥＯＳ ＮＡＬユニットを含むことができる。サンプルがＥＯＳサンプルグループ（「ｅｏｓ」）にマッピングされる場合、前記サンプルグループ内に含まれたＥＯＳ ＮＡＬユニットは、ターゲット動作点が出力レイヤーセット及びＥＯＳサンプルグループ内で指示される最大ｔｅｍｐｏｒａｌ ＩＤに対応すると、復元されｔアクセスユニット内で指示された位置に挿入される必要があることを示すことができる。一方、ＥＯＳサンプルグループは、「ｅｏｓ」サンプルグループ又は「ｅｏｓ」と呼ぶこともあり、以下に別段の記載がない限り、これらを混用して使用することとする。
【0282】
図１０は、ＥＯＳサンプルグループエントリのシンタックス構造を示す図である。
【0283】
図１１は、マルチレイヤーを運ぶトラックの一例を示す図である。
【0284】
まず、図１０を参照すると、ＥＯＳサンプルエントリ（ＥｎｄＯｆＳｅｑｕｅｎｃｅＳａｍｐｌｅＥｎｔｒｙ）は、シンタックス要素ｏｌｓ＿ｉｄｘ、ｍａｘ＿ｔｉｄ、ｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘ＿ｉｎｃｌｕｓｉｖｅ、ｅｏｓ＿ｐｏｓｉｔｉｏｎ、及びｅｏｓＮａｌＵｎｉｔを含むことができる。
【0285】
シンタックス要素ｏｌｓ＿ｉｄｘ及びｍａｘ＿ｔｉｄは、ＥＯＳサンプルグループが適用される動作点を指示することができる。
【0286】
シンタックス要素ｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘ＿ｉｎｃｌｕｓｉｖｅは、ＥＯＳサンプルグループが特定の動作点にのみ適用されるか否かを示すことができる。例えば、第２値（例えば、０）のｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘ＿ｉｎｃｌｕｓｉｖｅは、ＥＯＳサンプルグループがｏｌｓ＿ｉｄｘのような出力レイヤーセットインデックス（ＯＬＳ ｉｎｄｅｘ）を有する動作点に対してのみ適用されることを示すことができる。これとは異なり、第１値（例えば、１）のｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘ＿ｉｎｃｌｕｓｉｖｅは、ＥＯＳサンプルグループが０からｏｌｓ＿ｉｄｘまでのインデックスを有するすべての出力レイヤーセットに対して適用されることを示すことができる。
【0287】
シンタックス要素ｅｏｓ＿ｐｏｓｉｔｉｏｎは、ＥＯＳ ＮＡＬユニットが復元されたビットストリーム内に配置された後に、復元されたアクセスユニットのＮＡＬユニットのインデックスを示すことができる。
【0288】
シンタックス要素ｅｏｓＮａｌＵｎｉｔは、標準文書、例えばＩＳＯ／ＩＥＣ ２３０９０－３（ＶＶＣ標準）に明示されたＥＯＳ ＮＡＬユニットを含むことができる。
【0289】
ＶＶＣエレメンタリストリーム（ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ）がマルチレイヤーを含む場合、トラックは、マルチレイヤーを運ぶことができる。この場合、各レイヤー当たり一つずつ、複数のＥＯＳ ＮＡＬユニットがアクセスユニット内に挿入される必要がある。例えば、図１１に示すように、マルチレイヤー構造のトラック１で、ビデオシーケンスは、レイヤー別に生成されることができる。その結果、ビデオシーケンスの終了を示すために、各レイヤー（レイヤー０及びレイヤー１）当たり一つずつ、合計２つのＥＯＳ ＮＡＬユニットが最後のアクセスユニットとしてのＡＵ２内に挿入されなければならない。
【0290】
しかし、図１０のシンタックス構造によれば、一つの「ｅｏｓ」サンプルグループは、一つのＥＯＳ ＮＡＬユニットのみを運ぶことができるだけである。各サンプル又はアクセスユニットに対して一つの「ｅｏｓ」サンプルグループのみがマッピングされることを考慮するとき、これは、各サンプル又はアクセスユニット内に一つのＥＯＳ ＮＡＬユニットのみが挿入できることを意味する。したがって、図１０の「ｅｏｓ」サンプルグループデザインは、マルチレイヤーを有するＶＶＣエレメンタリストリームに対しては作動することができないという問題が生じる。
【0291】
かかる問題を解決するために、本開示の実施例は、複数のＥＯＳ ＮＡＬユニットを運ぶことができる新しい「ｅｏｓ」サンプルグループデザインを提供する。
【0292】
本開示の実施例は、次の構成のうちの少なくとも一つを含むことができる。実施例によって、これらの構成は、個別に実現されてもよく、又は２つ以上の組み合わせで実現されてもよい。
【0293】
（構成１）：「ｅｏｓ」サンプルグループが複数のＥＯＳ ＮＡＬユニットを運ぶことが許容できる。
【0294】
（構成２）：前記構成１を支援するために、「ｅｏｓ」サンプルグループのシンタックスは、次のとおりに変更できる。
【0295】
－「ｅｏｓ」サンプルグループ内に存在するＥＯＳ ＮＡＬユニットの数を示すために、新しいシンタックス要素ｎｕｍ＿ｅｏｓ＿ｎａｌ＿ｕｎｉｔ＿ｍｉｎｕｓ１がシグナリングできる。このとき、前記「ｅｏｓ」サンプルグループ内のＥＯＳ ＮＡＬユニットの数は、ｎｕｍ＿ｅｏｓ＿ｎａｌ＿ｕｎｉｔ＿ｍｉｎｕｓ１＋１であり得る。
【0296】
－ＥＯＳ ＮＡＬユニット及びその挿入位置に関するｆｏｒ ｌｏｏｐが追加できる。
【0297】
（構成３）：ＥＯＳ ＮＡＬユニットの挿入位置（すなわち、ｅｏｓ＿ｐｏｓｉｔｉｏｎ［ｉ］）をシグナリングする際に、前記挿入位置は、サンプル内のＮＡＬユニットのみを考慮するだけであり、挿入されるＮＡＬユニットをカウントしなくてもよい。
【0298】
（構成４）：ＥＯＳ ＮＡＬユニットの挿入位置に関するシンタックス要素ｅｏｓ＿ｐｏｓｉｔｉｏｎ［ｉ］がシグナリングできる。ここで、シンタックス要素ｅｏｓ＿ｐｏｓｉｔｉｏｎ［ｉ］は、ｉ番目のＥＯＳ ＮＡＬユニットが挿入されるサンプル内のＮＡＬユニットのインデックスを示すことができる。
【0299】
（構成５）：ｅｏｓ＿ｐｏｓｉｔｉｏｎ［ｉ］をシグナリングする代わりに、ｄｅｌｔａ＿ｅｏｓ＿ｐｏｓｉｔｉｏｎ［ｉ］がシグナリングされることもできる。この場合、ｅｏｓ＿ｐｏｓｉｔｉｏｎ［ｉ］の値は、ｄｅｌｔａ＿ｅｏｓ＿ｐｏｓｉｔｉｏｎ［ｉ］に基づいて次の通りに誘導できる。
【0300】
－ｉが０であれば、ｅｏｓ＿ｐｏｓｉｔｉｏｎ［ｉ］は、ｄｅｌｔａ＿ｅｏｓ＿ｐｏｓｉｔｉｏｎ［ｉ］と同一の値に誘導できる。
【0301】
－それ以外の場合、ｅｏｓ＿ｐｏｓｉｔｉｏｎ［ｉ］は、ｅｏｓ＿ｐｏｓｉｔｉｏｎ［ｉ－１］＋ｄｅｌｔａ＿ｅｏｓ＿ｐｏｓｉｔｉｏｎ［ｉ］と同じ値に誘導できる。
【0302】
（構成６）：上述した構成３とは異なり、ＥＯＳ ＮＡＬユニットが配置される位置に関する位置情報がシグナリングされなくてもよい。「ｅｏｓ」サンプルグループにマッピングされたサンプルがアクセスユニットの復元のために含まれる場合、前記「ｅｏｓ」サンプルグループ内のＥＯＳ ＮＡＬユニットは、復元されたアクセスユニットの終端に挿入されてもよい。
【0303】
（構成７）：上述した構成３とは異なり、ＥＯＳ ＮＡＬユニットが配置される位置に関する位置情報がシグナリングされなくてもよい。「ｅｏｓ」サンプルグループにマッピングされたサンプルがアクセスユニットの復元のために含まれる場合、前記「ｅｏｓ」サンプルグループ内のＥＯＳ ＮＡＬユニットは、アクセスユニットに必要なサンプルからのすべてのＮＡＬユニットの後に復元されたアクセスユニットに挿入できる。
【0304】
以下、上述した構成に基づく本開示の実施例を詳細に説明する。
【0305】
実施例１
【0306】
本開示の実施例１は、上述した構成１乃至構成４に基づいて提供できる。実施例１の実現は、ＶＶＣファイルフォーマットの仕様に関連することができる。
【0307】
実施例１によれば、既存のＥＯＳサンプルグループとは異なり、一つのＥＯＳサンプルグループ内で複数のＥＯＳ ＮＡＬユニットを運ぶことができる。以下、図１０を参照して、前述した既存のＥＯＳサンプルグループと重複している説明は省略する。
【0308】
図１２は、本開示の一実施例によるＥＯＳサンプルグループエントリのシンタックス構造を示す図である。
【0309】
図１２を参照すると、ＥＯＳサンプルグループエントリ（ＥｎｄＯｆＳｅｑｕｅｎｃｅＳａｍｐｌｅＥｎｔｒｙ）は、シンタックス要素ｏｌｓ＿ｉｄｘ、ｍａｘ＿ｔｉｄ、ｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘ＿ｉｎｃｌｕｓｉｖｅ、ｎｕｍ＿ｅｏｓ＿ｎａｌ＿ｕｎｉｔ＿ｍｉｎｕｓ１、ｅｏｓ＿ｐｏｓｉｔｉｏｎ［ｉ］、及びｅｏｓＮａｌＵｎｉｔ［ｉ］を含むことができる。
【0310】
シンタックス要素ｏｌｓ＿ｉｄｘ及びｍａｘ＿ｔｉｄは、ＥＯＳサンプルグループが適用される動作点を指示することができる。
【0311】
シンタックス要素ｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘ＿ｉｎｃｌｕｓｉｖｅは、ＥＯＳサンプルグループが特定の動作点にのみ適用されるか否かを示すことができる。例えば、第２値（例えば、０）のｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘ＿ｉｎｃｌｕｓｉｖｅは、ＥＯＳサンプルグループがｏｌｓ＿ｉｄｘのような出力レイヤーセットインデックス（ＯＬＳ ｉｎｄｅｘ）を有する動作点に対してのみ適用されることを示すことができる。これとは異なり、第１値（例えば、１）のｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘ＿ｉｎｃｌｕｓｉｖｅは、ＥＯＳサンプルグループが０からｏｌｓ＿ｉｄｘまでのインデックスを有するすべての出力レイヤーセットに対して適用されることを示すことができる。
【0312】
シンタックス要素ｎｕｍ＿ｅｏｓ＿ｎａｌ＿ｕｎｉｔ＿ｍｉｎｕｓ１は、ＥＯＳサンプルグループ内に存在するＥＯＳ ＮＡＬユニットの数から１を差し引いた値を示すことができる。
【0313】
シンタックス要素ｅｏｓ＿ｐｏｓｉｔｉｏｎ［ｉ］は、現在サンプル内でｉ番目のＥＯＳ ＮＡＬユニットが配置された後のＮＡＬユニットインデックスを示すことができる。ここで、前記ＮＡＬユニットインデックスは、現在サンプルに挿入／配置できる他のＮＡＬユニットを除き、現在サンプル内に本質的に（ｎａｔｉｖｅｌｙ）存在するＮＡＬユニットのみを考慮することができる。現在サンプル内の１番目のＮＡＬユニットは、０番目のＮＡＬユニットとして見做されることができる。
【0314】
一例において、現在サンプルは、サンプル又は復元されたアクセスユニット内に挿入されるＡＵＤ ＮＡＬユニット及び／又はＥＯＢ ＮＡＬユニットを誘発する「ａｕｄ」サンプルグループ及び／又は「ｅｏｂ」サンプルグループにマッピングされることもできる。この場合、ｅｏｓ＿ｐｏｓｉｔｉｏｎ［ｉ］は、ＡＵＤ ＮＡＬユニット及び／又はＥＯＢ ＮＡＬユニットの挿入前のＮＡＬユニットの位置に基づくことができる。
【0315】
シンタックス要素ｅｏｓＮａｌＵｎｉｔ［ｉ］は、サンプルグループにおいて、標準文書、例えばＩＳＯ／ＩＥＣ ２３０９０－３（ＶＶＣ標準）に明示されたｉ番目のＥＯＳ ＮＡＬユニットを含むことができる。
【0316】
一方、上述したＶＶＣビットストリームの暗黙的復元プロセスの一部は、実施例１によって次のとおりに修正できる。
【0317】
アクセスユニットを復元する場合、同じ復号化時間を有するサンプルからのピクチャユニットは（標準文書、例えばＩＳＯ／ＩＥＣ ２３０９０－３（ＶＶＣ標準）で明示されているようなピクチャユニット）、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値の昇順で前記アクセスユニット内に位置することができる。所定の条件に応じて、次のステップが行われることができる。
【0318】
－サンプルの１番目のピクチャユニットを含むトラックのサンプルがｏｌｓ＿ｉｄｘ及びｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘ＿ｉｎｃｌｕｓｉｖｅを含むサンプルグループ「ａｕｄ」に属するとマーキングされ、ターゲット動作点に対応する場合、「ａｕｄ」サンプルグループ内のＡＵＤ ＮＡＬユニットは、アクセスユニットの１番目のＮＡＬユニットとして前記ＡＵ内に配置されることができる。
【0319】
－トラック内のサンプルがターゲット動作点に対応するｏｌｓ＿ｉｄｘ、ｍａｘ＿ｔｉｄ、及びｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘ＿ｉｎｃｌｕｓｉｖｅを有するサンプルグループ「ｅｏｓ」に属するとマーキングされた場合、「ｅｏｓ」サンプルグループ内のＥＯＳ ＮＡＬユニットは、アクセスユニット内で次のとおりに配置できる。
【0320】
ｉ）１番目のＥＯＳ ＮＡＬユニットに対して、次のことが適用できる。
【0321】
サンプルの１番目（すなわち、ｅｏｓ＿ｐｏｓｉｔｉｏｎ［０］＋１）ＮＡＬユニットを、復元されたアクセスユニット内に位置させる。
【0322】
「ｅｏｓ」サンプルグループ内のインデックス０を有するＥＯＳ ＮＡＬユニット（すなわち、ｅｏｓＮａｌＵｎｉｔ［ｉ］）を前記アクセスユニット内に位置させる。
【0323】
ｉｉ）２番目のＥＯＳ ＮＡＬユニットから最後のＥＯＳ ＮＡＬユニット（すなわち、０よりも大きいインデックスｉを有するＥＯＳ ＮＡＬユニット）に対して、次のことが適用できる。
【0324】
サンプルの次の（ｅｏｓ＿ｐｏｓｉｔｉｏｎ［ｉ］－ｅｏｓ＿ｐｏｓｉｔｉｏｎ［ｉ－１］）番目のＮＡＬユニットを、復元されたアクセスユニット内に位置させる。
【0325】
「ｅｏｓ」サンプルグループ内のインデックスｉを有するＥＯＳ ＮＡＬユニット（すなわち、ｅｏｓＮａｌＵｎｉｔ［ｉ］）を前記アクセスユニット内に位置させる。
【0326】
ｉｉｉ）サンプルの残りのＮＡＬユニットが存在する場合、前記残りのＮＡＬユニットを、復元されたアクセスユニット内に位置させる。
【0327】
－トラック内のサンプルがターゲット動作点に対応するｏｌｓ＿ｉｄｘ、ｍａｘ＿ｔｉｄ、及びｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘ＿ｉｎｃｌｕｓｉｖｅを有する「ｅｏｂ」サンプルグループに属するとマーキングされた場合、「ｅｏｂ」サンプルグループ内のＥＯＢ ＮＡＬユニットは、（ＥＯＳ ＮＡＬユニットを含む）アクセスユニット内で（ＥＯＳ ＮＡＬユニットを含む）他のすべてのＮＡＬユニットの後に配置できる。
【0328】
ターゲット動作点内のレイヤー及びサブレイヤーからのピクチャユニットのみが出力ビットストリームに含まれることができる。
【0329】
以上、実施例１によれば、ＥＯＳサンプルグループは、複数のＥＯＳ ＮＡＬユニット及びその個数情報を含むことができる。これにより、マルチレイヤー構造のアクセスユニットを正しく復元することができる。
【0330】
実施例２
【0331】
本開示の実施例２は、上述した構成４を除くすべての構成に基づいて提供できる。実施例２の実現は、実施例１に関連することができる。
【0332】
実施例２によれば、既存のＥＯＳサンプルグループとは異なり、一つのＥＯＳサンプルグループ内で複数のＥＯＳ ＮＡＬユニットを運ぶことができる。以下、図１０を参照して、上述した既存のＥＯＳサンプルグループと重複している説明は省略する。
【0333】
図１３は、本開示の他の実施例によるＥＯＳサンプルグループエントリのシンタックス構造を示す図である。
【0334】
図１３を参照すると、ＥＯＳサンプルグループエントリ（ＥｎｄＯｆＳｅｑｕｅｎｃｅＳａｍｐｌｅＥｎｔｒｙ）は、シンタックス要素ｏｌｓ＿ｉｄｘ、ｍａｘ＿ｔｉｄ、ｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘ＿ｉｎｃｌｕｓｉｖｅ、ｎｕｍ＿ｅｏｓ＿ｎａｌ＿ｕｎｉｔ＿ｍｉｎｕｓ１、ｄｅｌｔａ＿ｅｏｓ＿ｐｏｓｉｔｉｏｎ［ｉ］、及びｅｏｓＮａｌＵｎｉｔ［ｉ］を含むことができる。
【0335】
シンタックス要素ｏｌｓ＿ｉｄｘ及びｍａｘ＿ｔｉｄは、ＥＯＳサンプルグループが適用される動作点を示すことができる。
【0336】
シンタックス要素ｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘ＿ｉｎｃｌｕｓｉｖｅは、ＥＯＳサンプルグループが特定の動作点にのみ適用されるか否かを示すことができる。例えば、第２値（例えば、０）のｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘ＿ｉｎｃｌｕｓｉｖｅは、ＥＯＳサンプルグループがｏｌｓ＿ｉｄｘのような出力レイヤーセットインデックス（ＯＬＳ ｉｎｄｅｘ）を有する動作点に対してのみ適用されることを示すことができる。これとは異なり、第１値（例えば、１）のｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘ＿ｉｎｃｌｕｓｉｖｅは、ＥＯＳサンプルグループが０乃至ｏｌｓ＿ｉｄｘのインデックスを有するすべての出力レイヤーセットに対して適用されることを示すことができる。
【0337】
シンタックス要素ｎｕｍ＿ｅｏｓ＿ｎａｌ＿ｕｎｉｔ＿ｍｉｎｕｓ１は、ＥＯＳサンプルグループ内に存在するＥＯＳ ＮＡＬユニットの数から１を差し引いた値を示すことができる。
【0338】
シンタックス要素ｄｅｌｔａ＿ｅｏｓ＿ｐｏｓｉｔｉｏｎ［ｉ］は、現在サンプル内でｉ番目のＥＯＳ ＮＡＬユニットが配置された後のＮＡＬユニットインデックスを示すｅｏｓ＿ｐｏｓｉｔｉｏｎ［ｉ］の値を誘導するために用いられ得る。ここで、前記ＮＡＬユニットインデックスは、現在サンプルに挿入／配置できる他のＮＡＬユニットを除き、現在サンプル内に本質的に（ｎａｔｉｖｅｌｙ）存在するＮＡＬユニットのみを考慮することができる。現在サンプル内の１番目のＮＡＬユニットは、０番目のＮＡＬユニットとして見做されることができる。ｅｏｓ＿ｐｏｓｉｔｉｏｎ［０］は、ｄｅｌｔａ＿ｅｏｓ＿ｐｏｓｉｔｉｏｎ［０］と同一に設定できる。０より大きいｉに対して、ｅｏｓ＿ｐｏｓｉｔｉｏｎ［ｉ］は、ｅｏｓ＿ｐｏｓｉｔｉｏｎ［ｉ－１］＋ｄｅｌｔａ＿ｅｏｓ＿ｐｏｓｉｔｉｏｎ［ｉ］と同一に設定できる。このように、図１３のＥＯＳサンプルグループエントリは、ＥＯＳ ＮＡＬユニットの挿入位置を誘導するための差分情報を含むという点で、ＥＯＳ ＮＡＬユニットの挿入位置を示す情報を含む図１２の場合とは異なり得る。
【0339】
一方、一例において、現在サンプルは、サンプル又は復元されたアクセスユニット内に挿入されるＡＵＤ ＮＡＬユニット及び／又はＥＯＢ ＮＡＬユニットを誘発する「ａｕｄ」サンプルグループ及び／又は「ｅｏｂ」サンプルグループにマッピングされることもできる。この場合、ｅｏｓ＿ｐｏｓｉｔｉｏｎ［ｉ］は、ＡＵＤ ＮＡＬユニット及び／又はＥＯＢ ＮＡＬユニットの挿入前のＮＡＬユニットの位置に基づくことができる。
【0340】
シンタックス要素ｅｏｓＮａｌＵｎｉｔ［ｉ］は、サンプルグループにおいて、標準文書、例えばＩＳＯ／ＩＥＣ ２３０９０－３（ＶＶＣ標準）に明示されているｉ番目のＥＯＳ ＮＡＬユニットを含むことができる。
【0341】
以上、実施例２によれば、ＥＯＳサンプルグループは、複数のＥＯＳ ＮＡＬユニット及びその個数情報を含むことができる。これにより、マルチレイヤー構造のアクセスユニットを正しく復元することができる。
【0342】
実施例３
【0343】
本開示の実施例３は、上述した構成１、構成２及び構成６に基づいて提供できる。実施例３の実現は、ＶＶＣファイルフォーマットの仕様に関連できる。
【0344】
実施例３によれば、既存のＥＯＳサンプルグループとは異なり、一つのＥＯＳサンプルグループ内で複数のＥＯＳ ＮＡＬユニットを運ぶことができる。また、ＥＯＳ ＮＡＬユニットの挿入位置を示す情報がＥＯＳサンプル群から除外できる。以下、図１０を参照して上述した既存のＥＯＳサンプルグループと重複している説明は省略する。
【0345】
図１４は、本開示の別の実施例によるＥＯＳサンプルグループエントリのシンタックス構造を示す図である。
【0346】
図１４を参照すると、ＥＯＳサンプルグループエントリ（ＥｎｄＯｆＳｅｑｕｅｎｃｅＳａｍｐｌｅＥｎｔｒｙ）は、シンタックス要素ｏｌｓ＿ｉｄｘ、ｍａｘ＿ｔｉｄ、ｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘ＿ｉｎｃｌｕｓｉｖｅ、ｎｕｍ＿ｅｏｓ＿ｎａｌ＿ｕｎｉｔ＿ｍｉｎｕｓ１、及びｅｏｓＮａｌＵｎｉｔ［ｉ］を含むことができる。
【0347】
シンタックス要素ｏｌｓ＿ｉｄｘ及びｍａｘ＿ｔｉｄは、ＥＯＳサンプルグループが適用される動作点を指示することができる。
【0348】
シンタックス要素ｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘ＿ｉｎｃｌｕｓｉｖｅは、ＥＯＳサンプルグループが特定の動作点にのみ適用されるか否かを示すことができる。例えば、第２値（例えば、０）のｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘ＿ｉｎｃｌｕｓｉｖｅは、ＥＯＳサンプルグループがｏｌｓ＿ｉｄｘのような出力レイヤーセットインデックス（ＯＬＳ ｉｎｄｅｘ）を有する動作点に対してのみ適用されることを示すことができる。これとは異なり、第１値（例えば、１）のｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘ＿ｉｎｃｌｕｓｉｖｅは、ＥＯＳサンプルグループが０からｏｌｓ＿ｉｄｘまでのインデックスを有するすべての出力レイヤーセットに対して適用されることを示すことができる。
【0349】
シンタックス要素ｎｕｍ＿ｅｏｓ＿ｎａｌ＿ｕｎｉｔ＿ｍｉｎｕｓ１に１を加えた値は、ＥＯＳサンプルグループ内に存在するＥＯＳ ＮＡＬユニットの数を示すことができる。
【0350】
シンタックス要素ｅｏｓＮａｌＵｎｉｔ［ｉ］は、サンプルグループにおいて、標準文書、例えばＩＳＯ／ＩＥＣ ２３０９０－３（ＶＶＣ標準）に明示されているｉ番目のＥＯＳ ＮＡＬユニットを含むことができる。
【0351】
図１４のＥＯＳサンプルグループエントリは、図１２及び図１３のＥＯＳサンプルグループエントリとは異なり、ＥＯＳ ＮＡＬユニットの挿入位置に関するシンタックス要素（例えば、ｅｏｓ＿ｐｏｓｉｔｉｏｎ［ｉ］、ｄｅｌｔａ＿ｅｏｓ＿ｐｏｓｉｔｉｏｎ［ｉ］）を含まない。これにより、ＥＯＳサンプルグループエントリのビットサイズがより減少することができる。
【0352】
一方、上述したＶＶＣビットストリームの暗黙的復元プロセスの一部は、実施例３に従って次のとおりに修正できる。
【0353】
アクセスユニットを復元する場合、同じ復号化時間を有するサンプルからのピクチャユニットは（標準文書、例えばＩＳＯ／ＩＥＣ ２３０９０－３（ＶＶＣ標準）に明示されているようなピクチャユニットなど）、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値の昇順で前記アクセスユニット内に位置することができる。所定の条件に応じて、次のステップが行われることができる。
【0354】
－サンプルの１番目のピクチャユニットを含むトラックのサンプルが、ｏｌｓ＿ｉｄｘ及びｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘ＿ｉｎｃｌｕｓｉｖｅを含むサンプルグループ「ａｕｄ」に属するとマーキングされ、ターゲット動作点に対応する場合、「ａｕｄ」サンプルグループ内のＡＵＤ ＮＡＬユニットは、アクセスユニットの１番目のＮＡＬユニットとして前記アクセスユニット内に配置できる。
【0355】
－トラック内のサンプルがターゲット動作点に対応するｏｌｓ＿ｉｄｘ、ｍａｘ＿ｔｉｄ、及びｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘ＿ｉｎｃｌｕｓｉｖｅを有するサンプルグループ「ｅｏｓ」に属するとマーキングされた場合、「ｅｏｓ」サンプルグループ内のＥＯＳ ＮＡＬユニットは、ＥＯＢ ＮＡＬユニット（存在する場合）を除くアクセスユニットのすべてのＮＡＬユニットの後にアクセスユニット内に配置できる。
【0356】
－トラック内のサンプルがターゲット動作点に対応するｏｌｓ＿ｉｄｘ、ｍａｘ＿ｔｉｄ、及びｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘ＿ｉｎｃｌｕｓｉｖｅを有する「ｅｏｂ」サンプルグループに属するとマーキングされている場合、「ｅｏｂ」サンプルグループ内のＥＯＢ ＮＡＬユニットは、アクセスユニット内で（ＥＯＳ ＮＡＬユニットを含む）他のすべてのＮＡＬユニットの後に配置できる。
【0357】
以上、実施例３によれば、ＥＯＳサンプルグループは、複数のＥＯＳ ＮＡＬユニット及びその個数情報を含むことができる。また、ＥＯＳ ＮＡＬユニットの挿入位置を示す情報がＥＯＳサンプル群から除外できる。これにより、ビット数を節約しながら、マルチレイヤー構造のアクセスユニットを正しく復元することができる。
【0358】
実施例４
【0359】
本開示の実施例４は、前述した構成１、構成２及び構成７に基づいて提供できる。実施例４の実現は、ＶＶＣファイルフォーマットの仕様に関連できる。
【0360】
実施例４によれば、既存のＥＯＳサンプルグループとは異なり、一つのＥＯＳサンプルグループ内で複数のＥＯＳ ＮＡＬユニットを運ぶことができる。また、ＥＯＳ ＮＡＬユニットの挿入位置を示す情報がＥＯＳサンプル群から除外できる。以下、図１０を参照して上述した既存のＥＯＳサンプルグループと重複している説明は省略する。
【0361】
実施例４によるＥＯＳサンプルエントリ（ＥｎｄＯｆＳｅｑｕｅｎｃｅＳａｍｐｌｅＥｎｔｒｙ）のシンタックス及びセマンティクスは、図１４を参照して上述した実施例３の場合と同様であり得る。
【0362】
一方、前述したＶＶＣビットストリームの暗黙的復元プロセスの一部は、実施例４に従って修正できる。実施例４に従って修正された暗黙的復元プロセスは、ＥＯＳ ＮＡＬユニットの挿入位置を除いては、実施例３の場合と同じであり得る。実施例４によるＥＯＳ ＮＡＬユニットの挿入位置は、次の通りである。
【0363】
－トラック内のサンプルがターゲット動作点に対応するｏｌｓ＿ｉｄｘ、ｍａｘ＿ｔｉｄ、及びｌｏｗｅｒ＿ｏｌｓ＿ｉｄｘ＿ｉｎｃｌｕｓｉｖｅを有するサンプルグループ「ｅｏｓ」に属するとマーキングされている場合、「ｅｏｓ」サンプルグループ内のＥＯＳ ＮＡＬユニットは、ＥＯＢ ＮＡＬユニット（存在する場合）を除くサンプルからのすべてのＮＡＬユニットの後にアクセスユニット内に配置できる。
【0364】
以上、実施例４によれば、ＥＯＳサンプルグループは、複数のＥＯＳ ＮＡＬユニット及びその個数情報を含むことができる。また、ＥＯＳ ＮＡＬユニットの挿入位置を示す情報がＥＯＳサンプル群から除外できる。これにより、ビット数を節約しながら、マルチレイヤー構造のアクセスユニットを正しく復元することができる。
【0365】
以下、本開示の一実施例によるメディアファイル受信／生成方法を詳細に説明する。
【0366】
図１５は、本開示の一実施例によるメディアファイル受信方法を示すフローチャートである。図１５の各ステップは、メディアファイル受信装置によって行われることができる。一例において、メディアファイル受信装置は、図１の受信装置Ｂに対応することができる。
【0367】
図１５を参照すると、メディアファイル受信装置は、メディアファイル生成／送信装置から受信されたメディアファイルから一つ以上のトラック及びサンプルグループを取得することができる（Ｓ１５１０）。一例において、前記メディアファイルは、ＩＳＯ ＢＭＦＦ（ＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ）、ＣＭＡＦ（Ｃｏｍｍｏｎ Ｍｅｄｉａ Ａｐｐｌｉｃａｔｉｏｎ Ｆｏｒｍａｔ）などのファイルフォーマットを有することができる。
【0368】
そして、メディアファイル受信装置は、前記トラック内のサンプル及び前記サンプルグループに基づいて、アクセスユニットを復元することができる（Ｓ１５２０）。
【0369】
前記サンプルグループは、前記アクセスユニットを含むビデオデータのシーケンス終了情報を含む第１サンプルグループを含むことができる。
【0370】
前記第１サンプルグループは、前記第１サンプルグループに属するＥＯＳ（ｅｎｄ ｏｆ ｓｅｑｕｅｎｃｅ）ＮＡＬユニット、及び前記ＥＯＳ ＮＡＬユニットの数に関する第１シンタックス要素を含むことができる。前記第１サンプルグループは、図１２乃至図１４を参照して上述したシンタックス構造を有することができる。この場合、前記ＥＯＳ ＮＡＬユニットは、前述したシンタックス要素ｅｏｓＮａｌＵｎｉｔ［ｉ］に対応することができる。また、前記第１シンタックス要素は、前述したシンタックス要素ｎｕｍ＿ｅｏｓ＿ｎａｌ＿ｕｎｉｔ＿ｍｉｎｕｓ１に対応することができる。
【0371】
一実施例において、前記第１シンタックス要素に１を加えた値は、前記ＥＯＳ ＮＡＬユニットの数を示すことができる。前記第１シンタックス要素は、符号なし整数型タイプ（すなわち、ｕｎｓｉｇｎｅｄ ｉｎｔ）を有することができる。これにより、前記第１シンタックス要素の値は、０と同じかそれより大きくてもよいので、前記第１サンプルグループは、少なくとも一つのＥＯＳ ＮＡＬユニットを含むことができる。
【0372】
一実施例において、前記ＥＯＳ ＮＡＬユニットは、前記第１シンタックス要素に基づいて制御されるループ内でリストできる。例えば、図１２乃至図１４に示すように、シンタックス要素ｅｏｓＮａｌＵｎｉｔ［ｉ］は、ｎｕｍ＿ｅｏｓ＿ｎａｌ＿ｕｎｉｔ＿ｍｉｎｕｓ１＋１回繰り返されるｆｏｒ－ｌｏｏｐを介してＮＡＬユニットインデックスｉの順にＥＯＳサンプルグループから取得できる。
【0373】
一実施例において、前記ＥＯＳ ＮＡＬユニットが有する最大ＮＡＬユニットインデックス値は、前記第１シンタックス要素の値（例えば、ｎｕｍ＿ｅｏｓ＿ｎａｌ＿ｕｎｉｔ＿ｍｉｎｕｓ１）に等しくてもよい。
【0374】
一実施例において、前記トラック内のサンプルが前記第１サンプルグループに属することに基づいて、前記ＥＯＳ ＮＡＬユニットは、前記アクセスユニット内で所定の位置に配置できる。このとき、前記所定の位置は、前記アクセスユニット内でＥＯＢ（ｅｎｄ ｏｆ ｂｉｔｓｔｒｅａｍ）ＮＡＬユニットを除く前記サンプルのすべてのＮＡＬユニットの次の位置に決定できる。或いは、前記所定の位置は、前記アクセスユニット内でＥＯＢ（ｅｎｄ ｏｆ ｂｉｔｓｔｒｅａｍ）ＮＡＬユニットを除く前記アクセスユニットのすべてのＮＡＬユニットの次の位置に決定できる。
【0375】
図１６は、本開示の一実施例によるメディアファイル生成方法を示すフローチャートである。図１６の各ステップは、メディアファイル生成装置によって行われることができる。一例において、メディアファイル生成装置は、図１の送信装置Ａに対応することができる。
【0376】
図１６を参照すると、メディアファイル生成装置は、アクセスユニットを含むビデオデータを符号化することができる（Ｓ１６１０）。一例において、前記ビデオデータは、ビデオコーデック標準、例えばＶＶＣ標準による予測、変換及び量子化過程などを介して符号化できる。
【0377】
メディアファイル生成装置は、前記符号化されたビデオデータのシーケンス終了情報を含む第１サンプルグループを生成することができる（Ｓ１６２０）。
【0378】
そして、メディアファイル生成装置は、前記符号化されたビデオデータ及び前記第１サンプルグループに基づいて、メディアファイルを生成することができる（Ｓ１６３０）。一例において、前記メディアファイルは、ＩＳＯ ＢＭＦＦ（ＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ）、ＣＭＡＦ（Ｃｏｍｍｏｎ Ｍｅｄｉａ Ａｐｐｌｉｃａｔｉｏｎ Ｆｏｒｍａｔ）などのファイルフォーマットを有することができる。
【0379】
前記第１サンプルグループは、前記第１サンプルグループに属するＥＯＳ（ｅｎｄ ｏｆ ｓｅｑｕｅｎｃｅ）ＮＡＬユニット、及び前記ＥＯＳ ＮＡＬユニットの数に関する第１シンタックス要素を含むことができる。前記第１サンプルグループは、図１２乃至図１４を参照して上述したシンタックス構造を有することができる。この場合、前記ＥＯＳ ＮＡＬユニットは、前述したシンタックス要素ｅｏｓＮａｌＵｎｉｔ［ｉ］に対応することができる。さらに、前記第１シンタックス要素は、前述したシンタックス要素ｎｕｍ＿ｅｏｓ＿ｎａｌ＿ｕｎｉｔ＿ｍｉｎｕｓ１に対応することができる。
【0380】
一実施例において、前記第１シンタックス要素に１を加えた値は、前記ＥＯＳ ＮＡＬユニットの数を示すことができる。前記第１シンタックス要素は、符号なし整数型タイプ（すなわち、ｕｎｓｉｇｎｅｄ ｉｎｔ）を有することができる。これにより、前記第１シンタックス要素の値は、０と同じかそれより大きくてもよいので、前記第１サンプルグループは、少なくとも一つのＥＯＳ ＮＡＬユニットを含むことができる。
【0381】
一実施例において、前記ＥＯＳ ＮＡＬユニットは、前記第１シンタックス要素に基づいて制御されるループ内でリストできる。例えば、図１２乃至図１４に示すように、シンタックス要素ｅｏｓＮａｌＵｎｉｔ［ｉ］は、ｎｕｍ＿ｅｏｓ＿ｎａｌ＿ｕｎｉｔ＿ｍｉｎｕｓ１＋１回繰り返されるｆｏｒ－ｌｏｏｐを介してＮＡＬユニットインデックスｉの順にＥＯＳサンプルグループ内に挿入（又は符号化）できる。
【0382】
一実施例において、前記ＥＯＳ ＮＡＬユニットが有する最大ＮＡＬユニットインデックス値は、前記第１シンタックス要素の値（例えば、ｎｕｍ＿ｅｏｓ＿ｎａｌ＿ｕｎｉｔ＿ｍｉｎｕｓ１）に等しくてもよい。
【0383】
一実施例において、前記トラック内のサンプルが前記第１サンプルグループに属することに基づいて、前記ＥＯＳ ＮＡＬユニットは、前記アクセスユニット内の所定の位置に配置できる。このとき、前記所定の位置は、前記アクセスユニット内でＥＯＢ（ｅｎｄ ｏｆ ｂｉｔｓｔｒｅｍ）ＮＡＬユニットを除く前記サンプルのすべてのＮＡＬユニットの次の位置に決定できる。或いは、前記所定の位置は、前記アクセスユニット内でＥＯＢ（ｅｎｄ ｏｆ ｂｉｔｓｔｒｅａｍ）ＮＡＬユニットを除く前記アクセスユニットのすべてのＮＡＬユニットの次の位置に決定できる。
【0384】
以上、本開示の実施例によれば、複数のＥＯＳ ＮＡＬユニットを運ぶことができる新しい「ｅｏｓ」サンプルグループデザインが提供できる。これにより、「ｅｏｓ」サンプルグループは、マルチレイヤーを有するＶＶＣエレメンタリストリームに対しても正しく作動することができる。
【0385】
本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、或いは一部のステップを除いて追加の他のステップを含むこともできる。
【0386】
本開示において、所定の動作（ステップ）を行う画像符号化装置又は画像復号化装置は、当該動作（ステップ）の実行条件や状況を確認する動作（ステップ）を行うことができる。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符号化装置又は画像復号化装置は、前記所定の条件が満足されるか否かを確認する動作を行った後、前記所定の動作を行うことができる。
【0387】
本開示の様々な実施例は、全ての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、２つ以上の組み合わせで適用されてもよい。
【0388】
また、本開示の様々な実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、一つ又はそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、汎用プロセッサ（ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｏｒ）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。
【0389】
また、本開示の実施例が適用されたメディアファイル受信装置及びメディアファイル生成装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。
【0390】
図１７は、本開示の実施例が適用できるコンテンツストリーミングシステムを例示した図である。
【0391】
図１７に示すように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大きく、符号化サーバ、ストリーミングサーバ、Ｗｅｂサーバ、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。
【0392】
前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、ビデオカメラなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記符号化サーバは省略できる。
【0393】
前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び／又は画像符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。
【0394】
前記ストリーミングサーバは、Ｗｅｂサーバを介してユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、前記Ｗｅｂサーバは、ユーザにどんなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが前記Ｗｅｂサーバに所望のサービスを要求すると、前記Ｗｅｂサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。この時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たすことができる。
【0395】
前記ストリーミングサーバは、メディアストレージ及び／又は符号化サーバからコンテンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間保存することができる。
【0396】
前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがあり得る。
【0397】
前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。
【0398】
本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン－実行可能なコマンド（例えば、オペレーティングシステム、アプリケーション、ファームウェア（ｆｉｒｍｗａｒｅ）、プログラムなど）、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で実行できる非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を含む。
【産業上の利用可能性】
【0399】
本開示による実施例は、メディアファイルを生成及び送受信するのに利用可能である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【国際調査報告】