ホーム > 特許ランキング > ＢＹＴＥＤＡＮＣＥ ＩＮＣ．
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-09-30
(54)【発明の名称】ビデオ処理のための方法、装置及び媒体
(51)【国際特許分類】
H04L 65/60 20220101AFI20240920BHJP
【ＦＩ】
H04L65/60
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024519951
(86)(22)【出願日】2022-09-29
(85)【翻訳文提出日】2024-04-03
(86)【国際出願番号】 US2022077299
(87)【国際公開番号】W WO2023056386
(87)【国際公開日】2023-04-06
(31)【優先権主張番号】63/251,336
(32)【優先日】2021-10-01
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520477474
【氏名又は名称】バイトダンス インコーポレイテッド
【氏名又は名称原語表記】ＢＹＴＥＤＡＮＣＥ ＩＮＣ．
【住所又は居所原語表記】１２６５５ Ｗｅｓｔ Ｊｅｆｆｅｒｓｏｎ Ｂｏｕｌｅｖａｒｄ， Ｓｉｘｔｈ Ｆｌｏｏｒ， Ｓｕｉｔｅ Ｎｏ． １３７ Ｌｏｓ Ａｎｇｅｌｅｓ， Ｃａｌｉｆｏｒｎｉａ ９００６６ Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100229448
【弁理士】
【氏名又は名称】中槇 利明
(72)【発明者】
【氏名】ワン，イェ－クイ
(57)【要約】
本開示の実施形態は、ビデオ処理のための方案を提供する。ビデオ処理方法が提案される。前記方法は、第１のデバイスで、第２のデバイスからメタデータファイルを受信するステップと、前記メタデータファイル内のデータセットにおける記述子を決定するステップであって、前記記述子の存在は、前記データセットにおける表現がメインストリーム表現（ＭＳＲ）であることを示すステップとを含む。
【選択図】 図１２
【選択図】 図１２
【特許請求の範囲】
【請求項1】
ビデオ処理方法であって、第１のデバイスで、第２のデバイスからメタデータファイルを受信するステップと、
前記メタデータファイル内のデータセットにおける記述子を決定するステップであって、前記記述子の存在は、前記データセットにおける表現がメインストリーム表現（ＭＳＲ）であることを示すステップとを含む、方法。
【請求項2】
ビデオ処理方法であって、第２のデバイスで、メタデータファイル内のデータセットにおける記述子を決定するステップであって、前記記述子の存在は、前記データセットにおける表現がＭＳＲであることを示すステップと、
前記メタデータファイルを第１のデバイスに送信するステップとを含む、方法。
【請求項3】
前記記述子は、ユニフォームリソースネーム（ＵＲＮ：uniform resource name）文字列に等しい属性を持つデータ構造として定義される、請求項１又は２に記載の方法。
【請求項4】
前記メタデータファイルはメディアプレゼンテーション記述（ＭＰＤ：media presentation description）であり、前記データ構造は前記ＭＰＤにおけるEssentialPropertyである、請求項３に記載の方法。
【請求項5】
前記メタデータファイルはメディアプレゼンテーション記述（ＭＰＤ）であり、前記データ構造は前記ＭＰＤにおけるSupplementalPropertyである、請求項３に記載の方法。
【請求項6】
前記属性はschemeIdUri属性であり、前記ＵＲＮ文字列は「urn:mpeg:dash:msr:2022」である、請求項４～５のいずれか一項に記載の方法。
【請求項7】
前記データセットは、アダプテーションセット又は表現である、請求項１～６のいずれか一項に記載の方法。
【請求項8】
前記データセットはアダプテーションセットであり、前記アダプテーションセットにおける表現の全部又は一部がＭＳＲである、請求項１～６のいずれか一項に記載の方法。
【請求項9】
前記ＭＳＲにおける拡張従属ランダムアクセスポイント（ＥＤＲＡＰ：extended dependent random access point）サンプルは、ストリームアクセスポイント（ＳＡＰ：stream access point）の開始アクセスユニット（ＳＡＵ：starting access unit）の指示を含む、請求項１～８のいずれか一項に記載の方法。
【請求項10】
前記ＥＤＲＡＰサンプルは、前記ＥＤＲＡＰサンプルに関連付けられた外部ストリーム表現（ＥＳＲ：external stream representation）サンプルがデコーダに提供された後に前記デコーダに提供される、請求項９に記載の方法。
【請求項11】
前記ＥＤＲＡＰサンプルの第１のバイト位置は、前記ＳＡＵのインデックスである、請求項９～１０のいずれか一項に記載の方法。
【請求項12】
前記メタデータファイルはＭＤＰであり、前記ＭＤＰ内のセグメントは前記ＭＳＲ内のＥＤＲＡＰピクチャで始まる、請求項１～１１のいずれか一項に記載の方法。
【請求項13】
プロセッサと命令を備えた非一時的なメモリとを含むビデオデータを処理する装置であって、前記命令は、前記プロセッサによって実行されると、前記プロセッサに請求項１～１２のいずれか一項に記載の方法を実行させる、装置。
【請求項14】
プロセッサに請求項１～１２のいずれか一項に記載の方法を実行させる命令を記憶する、非一時的なコンピュータ可読記憶媒体。【発明の詳細な説明】
【技術分野】
【0001】
［関連出願の相互参照］
本出願は、２０２１年１０月１日に出願された米国仮出願第63/251,336号の優先権の利益を主張し、その全内容は、参照により本明細書に組み込まれる。
本出願は、２０２１年１０月１日に出願された米国仮出願第63/251,336号の優先権の利益を主張し、その全内容は、参照により本明細書に組み込まれる。
【0002】
本開示の実施形態は、概して、ビデオ符号化技術に関し、より詳細には、メインストリーム表現記述子に関する。
【背景技術】
【0003】
メディアストリーミングアプリケーションは、通常、インターネットプロトコル（ＩＰ）、伝送制御プロトコル（ＴＣＰ）、及びハイパーテキスト転送プロトコル（ＨＴＴＰ）トランスポート方法に基づいており、通常、ＩＳＯベースメディアファイルフォーマット（ＩＳＯＢＭＦＦ)などのファイルフォーマットに依存している。このようなストリーミングシステムの１つは、ＨＴＴＰベースの動的適応ストリーミング(ＤＡＳＨ)である。ＤＡＳＨでは、マルチメディアコンテンツのビデオ及び／又はオーディオデータの多重表現が存在し得るが、異なる表現は、異なる符号化特性(例えば、ビデオ符号化規格の異なるプロファイ又はレベル、異なるビットレート、異なる空間解像度など)に対応し得る。また、拡張従属ランダムアクセスポイント（ＥＤＲＡＰ）ピクチャベースのビデオ符号化及びストリーミングが提案されている。したがって、メインストリーム表現を識別するメカニズムについては研究する価値がある。
【発明の概要】
【0004】
本開示の実施形態は、ビデオ処理のための方案を提供する。
【0005】
第１の態様では、ビデオ処理方法が提案される。前記方法は、第１のデバイスで、第２のデバイスからメタデータファイルを受信するステップと；前記メタデータファイル内のデータセットにおける記述子を決定するステップであって、前記記述子の存在は、前記データセットにおける表現がメインストリーム表現（ＭＳＲ）であることを示すステップと；を含む。
【0006】
本開示の第１の態様による方法に基づいて、ＭＳＲを識別するために記述子が使用される。属性を利用してＭＳＲを識別する従来の方案と比較して、提案された方法は、より効率的にＭＳＲを識別できるという利点がある。
【0007】
第２の態様では、別のビデオ処理方法が提案される。前記方法は、第２のデバイスで、メタデータファイル内のデータセットにおける記述子を決定するステップであって、前記記述子の存在は、前記データセットにおける表現がＭＳＲであることを示すステップと；前記メタデータファイルを第１のデバイスに送信するステップと；を含む。
【0008】
本開示の第２の態様による方法に基づいて、ＭＳＲを識別するために記述子が使用される。属性を利用してＭＳＲを識別する従来の方案と比較して、提案された方法は、より効率的にＭＳＲを識別できるという利点がある。
【0009】
第３の態様では、ビデオデータを処理する装置が提案される。前記ビデオデータを処理する装置は、プロセッサと、命令を備えた非一時的なメモリとを含む。前記命令は前記プロセッサによって実行されると、前記プロセッサに本開示の第１又は第２の態様による方法を実行させる。
【0010】
第４の態様では、非一時的なコンピュータ可読記憶媒体が提案される。前記非一時的なコンピュータ可読記憶媒体は、プロセッサに本開示の第１又は第２の態様による方法を実行させる命令を記憶する。
【0011】
この発明の概要は、以下の詳細な説明でさらに記述される概念の選択を簡略化した形で紹介するために提供される。この発明の内容は、特許請求の範囲に記載された主題の主な特徴又は本質的な特徴を特定することを意図したものではなく、また、特許請求の範囲に記載された主題の範囲を制限するために使用されることを意図したものでもない。
【図面の簡単な説明】
【0012】
添付の図面を参照した以下の詳細な説明を通じて、本開示の例示的な実施形態の上記及び他の目的、特徴、及び利点がより明らかになるであろう。本開示の例示的な実施形態では、同じ参照番号は通常、同じ構成要素を指す。
【図1】本開示のいくつかの実施形態による例示的なビデオ符号化システムのブロック図を示す。
【図2】本開示のいくつかの実施形態による例示的なビデオエンコーダのブロック図を示す。
【図3】本開示のいくつかの実施形態による例示的なビデオデコーダのブロック図を示す。
【図4】ランダムアクセスポイント（ＲＡＰ）の概念を示す。
【図5】ランダムアクセスポイント（ＲＡＰ）の概念を示す。
【図6】依存型ランダムアクセスポイント（ＤＲＡＰ）の概念を示す。
【図7】依存型ランダムアクセスポイント（ＤＲＡＰ）の概念を示す。
【図8】拡張従属ランダムアクセスポイント（ＥＤＲＡＰ）の概念を示す。
【図9】拡張従属ランダムアクセスポイント（ＥＤＲＡＰ）の概念を示す。
【図10】ＥＤＲＡＰベースのビデオストリーミングを示す。
【図11】ＥＤＲＡＰベースのビデオストリーミングを示す。
【図12】本開示のいくつかの実施形態によるビデオ処理方法のフローチャートを示す。
【図13】本開示のいくつかの実施形態によるビデオ処理方法のフローチャートを示す。
【図14】本開示の様々な実施形態を実施できるコンピューティングデバイスのブロック図を示す。 図面の全体にわたって、同じ又は類似の参照番号は通常、同じ又は類似の要素を指す。
【発明を実施するための形態】
【0013】
次に、いくつかの実施形態を参照して、本開示の原理を説明する。これらの実施形態は、説明のみを目的として記載されており、当業者が本開示を理解し実施するのを助けるものであり、本開示の範囲に関していかなる限定も示唆するものではないことを理解すべきである。本明細書に記載の開示は、以下に記載する方法以外にも様々な方法で実施されることができる。
【0014】
以下の説明及び特許請求の範囲において、別段の定義がない限り、本明細書で使用されるすべての技術用語及び科学用語は、本開示が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。
【0015】
本開示における「一つの実施形態」、「一実施形態」、「例示的な実施形態」などへの言及は、記載される実施形態が特定の特徴、構造、又は特性を含み得ることを示すが、必ずしもすべての実施形態が特定の特徴、構造、又は特性を含むとは限らない。また、そのような語句は必ずしも同じ実施形態を指しているわけではない。さらに、特定の特徴、構造、又は特性が例示的な実施形態に関連して説明される場合、明示的に記載されているかどうかにかかわらず、他の実施形態に関連してそのような特徴、構造、又は特性に影響を与えることは当業者の知識の範囲内であることが指摘される。
【0016】
「第１」及び「第２」などの用語は、本明細書では様々な要素を説明するために使用され得るが、これらの要素はこれらの用語によって限定されるべきではないことを理解すべきである。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、例示的な実施形態の範囲から逸脱することなく、第１の要素が第２の要素と呼ばれ得、同様に、第２の要素が第１の要素と呼ばれ得る。本明細書で使用される「及び／又は」という用語には、列挙された用語の１つ又は複数のあらゆる組み合わせが含まれる。
【0017】
本明細書で使用される用語は、特定の実施形態を説明することのみを目的としており、例示的な実施形態を限定することを意図したものではない。本明細書で使用されるように、単数形「a（一つの）」、「an（一つの）」、及び「the（その）」は、文脈上明らかに別段の指示がない限り、複数形も含むものとする。「含む」、「備える」、「有する」、「持つ」、「含む」及び／又は「包含する」という用語は、本明細書で使用される場合、記載された特徴、要素、及び／又は構成要素などの存在を特定するが、１つ又は複数の他の特徴、要素、構成要素及び／又はそれらの組み合わせの存在又は追加を排除するものではないことがさらに理解されるであろう。
【0018】
例示的な環境
図１は、本開示の技術を利用し得る例示的なビデオ符号化システム１００を示すブロック図である。図示されるように、ビデオ符号化システム１００は、ソース（送信元）デバイス１１０と、宛先（送信先）デバイス１２０を含み得る。ソースデバイス１１０は、ビデオ符号化デバイスとも呼ばれ得、宛先デバイス１２０は、ビデオ復号デバイスとも呼ばれ得る。動作中、ソースデバイス１１０は、符号化されたビデオデータを生成するように構成されることができ、宛先デバイス１２０は、ソースデバイス１１０によって生成された符号化されたビデオデータを復号するように構成されることができる。ソースデバイス１１０は、ビデオソース１１２と、ビデオエンコーダ１１４と、入出力（Ｉ／Ｏ）インターフェース１１６とを含み得る。
図１は、本開示の技術を利用し得る例示的なビデオ符号化システム１００を示すブロック図である。図示されるように、ビデオ符号化システム１００は、ソース（送信元）デバイス１１０と、宛先（送信先）デバイス１２０を含み得る。ソースデバイス１１０は、ビデオ符号化デバイスとも呼ばれ得、宛先デバイス１２０は、ビデオ復号デバイスとも呼ばれ得る。動作中、ソースデバイス１１０は、符号化されたビデオデータを生成するように構成されることができ、宛先デバイス１２０は、ソースデバイス１１０によって生成された符号化されたビデオデータを復号するように構成されることができる。ソースデバイス１１０は、ビデオソース１１２と、ビデオエンコーダ１１４と、入出力（Ｉ／Ｏ）インターフェース１１６とを含み得る。
【0019】
ビデオソース１１２は、ビデオキャプチャデバイスなどのソースを含み得る。ビデオキャプチャデバイスの例には、ビデオコンテンツプロバイダからビデオデータを受信するインターフェース、ビデオデータを生成するコンピュータグラフィックスシステム、及び／又はそれらの組み合わせが含まれるが、これらに限定されない。
【0020】
ビデオデータは、１つ又は複数のピクチャを含み得る。ビデオエンコーダ１１４は、ビデオソース１１２からのビデオデータを符号化してビットストリームを生成する。ビットストリームには、ビデオデータの符号化表現を形成する一連のビットが含まれ得る。ビットストリームには、符号化ピクチャ及び関連データが含まれ得る。符号化ピクチャは、ピクチャの符号化表現である。関連データには、シーケンスパラメータセット、ピクチャパラメータセット、及び他のシンタックス構造が含まれ得る。Ｉ／Ｏインターフェース１１６は、変調器／復調器及び／又は送信機を含み得る。符号化されたビデオデータは、Ｉ／Ｏインターフェース１１６を介してネットワーク１３０Ａを通して宛先デバイス１２０に直接送信され得る。符号化されたビデオデータは、宛先デバイス１２０によるアクセスのために記憶媒体／サーバ１３０Ｂに記憶され得る。
【0021】
宛先デバイス１２０は、Ｉ／Ｏインターフェース１２６と、ビデオデコーダ１２４と、表示デバイス１２２とを含み得る。Ｉ／Ｏインターフェース１２６は、受信機及び／又はモデムを含み得る。Ｉ／Ｏインターフェース１２６は、ソースデバイス１１０又は記憶媒体／サーバ１３０Ｂから符号化されたビデオデータを取得し得る。ビデオデコーダ１２４は、符号化されたビデオデータを復号し得る。表示デバイス１２２は、復号されたビデオデータをユーザに表示し得る。表示デバイス１２２は、宛先デバイス１２０と一体化されてもよいし、或いは外部表示デバイスとインターフェースするように構成された宛先デバイス１２０の外部にあってもよい。
【0022】
ビデオエンコーダ１１４及びビデオデコーダ１２４は、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（高効率ビデオ符号化、ＨＥＶＣ）規格、Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（多用途ビデオ符号化、ＶＶＣ）規格及び他の現在及び／又はさらなる規格などのビデオ圧縮規格に従って動作し得る。
【0023】
【0024】
ビデオエンコーダ２００は、本開示の技術のいずれか又はすべてを実施するように構成され得る。図２の例では、ビデオエンコーダ２００は複数の機能コンポーネントを含む。本開示で説明される技術は、ビデオエンコーダ２００の様々なコンポーネント間で共有され得る。いくつかの例では、プロセッサは、本開示で説明された技術のいずれか又はすべてを実行するように構成され得る。
【0025】
いくつかの実施形態では、ビデオエンコーダ２００は、分割ユニット２０１と、モード選択ユニット２０３、動き推定ユニット２０４、動き補償ユニット２０５及びイントラ予測ユニット２０６を含み得る予測ユニット２０２と、残差生成ユニット２０７と、変換ユニット２０８と、量子化ユニット２０９と、逆量子化ユニット２１０と、逆変換ユニット２１１と、再構築ユニット２１２と、バッファ２１３と、エントロピー符号化ユニット２１４とを含み得る。
【0026】
他の例では、ビデオエンコーダ２００は、より多くの、より少ない、又は異なる機能コンポーネントを含み得る。一例では、予測ユニット２０２は、イントラブロックコピー（ＩＢＣ）ユニットを含み得る。ＩＢＣユニットは、少なくとも１つの参照ピクチャが、現在ビデオブロックが位置するピクチャであるＩＢＣモードで予測を実行し得る。
【0027】
さらに、動き推定ユニット２０４及び動き補償ユニット２０５などのいくつかの構成要素は統合され得るが、図２の例では説明の目的で別々に表されている。
【0028】
分割ユニット２０１は、ピクチャを１つ又は複数のビデオブロックに分割し得る。ビデオエンコーダ２００及びビデオデコーダ３００は、多様なビデオブロックサイズをサポートし得る。
【0029】
モード選択ユニット２０３は、例えば、エラー結果に基づいて、イントラ又はインターの符号化モードのうちの１つを選択し、その結果から得られるイントラ符号化又はインター符号化されたブロックを、残差ブロックデータを生成するように残差生成ユニット２０７に提供し、符号化されたブロックを再構築して参照ピクチャとして使用するように再構築ユニット２１２に提供し得る。いくつかの例では、モード選択ユニット２０３は、予測がインター予測信号及びイントラ予測信号に基づくイントラ及びインター予測の組み合わせ（ＣＩＩＰ）モードを選択し得る。モード選択ユニット２０３は、インター予測の場合、ブロックの動きベクトルの解像度（例えば、サブピクセル又は整数ピクセル精度）を選択し得る。
【0030】
現在ビデオブロックに対してインター予測を実行するために、動き推定ユニット２０４は、バッファ２１３からの１つ又は複数の参照フレームを現在ビデオブロックと比較することによって現在ビデオブロックの動き情報を生成し得る。動き補償ユニット２０５は、現在ビデオブロックに関連するピクチャ以外のバッファ２１３からのピクチャの動き情報及び復号化サンプルに基づいて、現在ビデオブロックの予測ビデオブロックを決定し得る。
【0031】
動き推定ユニット２０４及び動き補償ユニット２０５は、例えば、現在ビデオブロックがＩスライス、Ｐスライス、又はＢスライスのいずれにあるかに応じて、現在ビデオブロックに対して異なる演算を実行し得る。本明細書で使用されるように、「Ｉスライス」は、マクロブロックから構成されるピクチャの一部を指し得、そのすべてが同じピクチャ内のマクロブロックに基づいている。さらに、本明細書で使用されるように、いくつかの態様では、「Ｐスライス」及び「Ｂスライス」は、同じピクチャ内のマクロブロックに依存しないマクロブロックから構成されるピクチャの部分を指し得る。
【0032】
いくつかの例では、動き推定ユニット２０４は、現在ビデオブロックに対して単方向予測を実行し得、動き推定ユニット２０４は、現在ビデオブロックの参照ビデオブロックに対するリスト０又はリスト１の参照ピクチャを探し得る。次に、動き推定ユニット２０４は、参照ビデオブロックを含むリスト０又はリスト１内の参照ピクチャを示す参照インデックスと、現在ビデオブロックと参照ビデオブロックとの間の空間変位を示す動きベクトルとを生成し得る。動き推定ユニット２０４は、参照インデックス、予測方向指示子、及び動きベクトルを現在ビデオブロックの動き情報として出力し得る。動き補償ユニット２０５は、現在ビデオブロックの動き情報によって示される参照ビデオブロックに基づいて、現在ビデオブロックの予測ビデオブロックを生成し得る。
【0033】
代替形態として、他の例では、動き推定ユニット２０４は、現在ビデオブロックに対して双方向予測を実行し得る。動き推定ユニット２０４は、現在ビデオブロックの参照ビデオブロックに対するリスト０内の参照ピクチャを探してもよいし、現在ビデオブロックの別の参照ビデオブロックに対するリスト１内の参照ピクチャを探してもよい。次に、動き推定ユニット２０４は、参照ビデオブロックを含むリスト０及びリスト１内の参照ピクチャを示す参照インデックスと、参照ビデオブロックと現在ビデオブロックとの間の空間変位を示す動きベクトルとを生成し得る。動き推定ユニット２０４は、現在ビデオブロックの参照インデックス及び動きベクトルを現在ビデオブロックの動き情報として出力し得る。動き補償ユニット２０５は、現在ビデオブロックの動き情報によって示される参照ビデオブロックに基づいて、現在ビデオブロックの予測ビデオブロックを生成し得る。
【0034】
いくつかの例では、動き推定ユニット２０４は、デコーダの復号処理のためのフルセットの動き情報を出力し得る。代替形態として、いくつかの実施形態では、動き推定ユニット２０４は、別のビデオブロックの動き情報を参照して現在ビデオブロックの動き情報をシグナリングし得る。例えば、動き推定ユニット２０４は、現在ビデオブロックの動き情報が隣接するビデオブロックの動き情報と十分に類似していると判定し得る。
【0035】
一例では、動き推定ユニット２０４は、現在ビデオブロックに関連付けられたシンタックス構造において、現在ビデオブロックが別のビデオブロックと同じ動き情報を有することをビデオデコーダ３００に示す値を示し得る。
【0036】
別の例では、動き推定ユニット２０４は、現在ビデオブロックに関連付けられたシンタックス構造において、別のビデオブロック及び動きベクトル差分（ＭＶＤ）を識別し得る。動きベクトル差分は、現在ビデオブロックの動きベクトルと、指示されたビデオブロックの動きベクトルとの間の差分を示す。ビデオデコーダ３００は、指示されたビデオブロックの動きベクトル及び動きベクトル差分を使用して現在ビデオブロックの動きベクトルを決定し得る。
【0037】
上で論じたように、ビデオエンコーダ２００は、動きベクトルを予測的にシグナリングし得る。ビデオエンコーダ２００によって具現化され得る予測シグナリング技術の２つの例には、アドバンスト動きベクトル予測（ＡＭＶＰ）とマージモードシグナリングとが含まれる。
【0038】
イントラ予測ユニット２０６は、現在ビデオブロックに対してイントラ予測を実行し得る。イントラ予測ユニット２０６が現在ビデオブロックに対してイントラ予測を実行するとき、イントラ予測ユニット２０６は、同じピクチャ内の他のビデオブロックの復号されたサンプルに基づいて、現在ビデオブロックに対する予測データを生成し得る。現在ビデオブロックに対する予測データには、予測されたビデオブロック及び様々なシンタックス要素が含まれ得る。
【0039】
残差生成ユニット２０７は、現在ビデオブロックから現在ビデオブロックの予測ビデオブロックを減算する（例えば、マイナス記号によって示される）ことによって、現在ビデオブロックに対する残差データを生成し得る。現在ビデオブロックの残差データは、現在ビデオブロック内のサンプルの異なるサンプル成分に対応する残差ビデオブロックを含み得る。
【0040】
他の例では、例えばスキップモードにおいて、現在ビデオブロックに対する残差データが存在しなくてもよいし、残差生成ユニット２０７は減算演算を実行しなくてもよい。
【0041】
変換処理ユニット２０８は、現在ビデオブロックに関連付けられた残差ビデオブロックに１つ又は複数の変換を適用することによって、現在ビデオブロックに対する１つ又は複数の変換係数ビデオブロックを生成し得る。
【0042】
変換処理ユニット２０８が現在ビデオブロックに関連付けられた変換係数ビデオブロックを生成した後、量子化ユニット２０９は、現在ビデオブロックに関連付けられた１つ又は複数の量子化パラメータ（ＱＰ）値に基づいて、現在ビデオブロックに関連付けられた変換係数ビデオブロックを量子化し得る。
【0043】
逆量子化ユニット２１０及び逆変換ユニット２１１は、それぞれ、変換係数ビデオブロックに逆量子化及び逆変換を適用して、変換係数ビデオブロックから残差ビデオブロックを再構築し得る。再構築ユニット２１２は、再構築された残差ビデオブロックを、予測ユニット２０２によって生成された１つ又は複数の予測ビデオブロックからの対応するサンプルに追加して、バッファ２１３に記憶するために現在ビデオブロックに関連付けられた再構築ビデオブロックを生成し得る。
【0044】
再構築ユニット２１２がビデオブロックを再構成した後、ループフィルタリング動作が実行されて、ビデオブロック内のビデオブロッキングアーティファクトを低減し得る。
【0045】
エントロピー符号化ユニット２１４は、ビデオエンコーダ２００の他の機能コンポーネントからデータを受信し得る。エントロピー符号化ユニット２１４がデータを受信すると、エントロピー符号化ユニット２１４は、１つ又は複数のエントロピー符号化動作を実行して、エントロピー符号化データを生成し、エントロピー符号化データを含むビットストリームを出力し得る。
【0046】
【0047】
ビデオデコーダ３００は、本開示の技術のいずれか又はすべてを実行するように構成され得る。図３の例では、ビデオデコーダ３００は複数の機能コンポーネントを含む。本開示で説明される技術は、ビデオデコーダ３００の様々なコンポーネント間で共有され得る。いくつかの例では、プロセッサは、本開示で説明された技術のいずれか又はすべてを実行するように構成され得る。
【0048】
図３の例では、ビデオデコーダ３００は、エントロピー復号ユニット３０１と、動き補償ユニット３０２と、イントラ予測ユニット３０３と、逆量子化ユニット３０４と、逆変換ユニット３０５と、再構築ユニット３０６と、バッファ３０７とを含む。ビデオデコーダ３００は、いくつかの例では、ビデオエンコーダ２００に関して説明した符号化パスと一般に逆の復号パスを実行し得る。
【0049】
エントロピー復号ユニット３０１は、符号化されたビットストリームを検索し得る。符号化されたビットストリームは、エントロピー符号化されたビデオデータ（例えば、ビデオデータの符号化されたブロック）を含み得る。エントロピー復号ユニット３０１は、エントロピー符号化されたビデオデータを復号し得、エントロピー復号されたビデオデータから、動き補償ユニット３０２は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス及び他の動き情報を含む動き情報を決定し得る。動き補償ユニット３０２は、例えば、ＡＭＶＰ及びマージモードを実行することによってそのような情報を決定し得る。ＡＭＶＰが使用され、隣接するＰＢ及び参照ピクチャからのデータに基づいた最もあり得るいくつかの候補の導出を含む。動き情報には、通常、水平及び垂直動きベクトル変位値、１つ又は２つの参照ピクチャインデックス、及びＢスライス内の予測領域の場合は、どの参照ピクチャリストが各インデックスに関連付けられているかの識別が含まれる。本明細書で使用されるように、いくつかの態様では、「マージモード」は、空間的又は時間的に隣接するブロックから動き情報を導出することを指し得る。
【0050】
動き補償ユニット３０２は、おそらく補間フィルタに基づいて補間を実行しながら、動き補償されたブロックを生成し得る。サブピクセル精度で使用される補間フィルタの識別子は、シンタックス要素に含まれ得る。
【0051】
動き補償ユニット３０２は、ビデオブロックの符号化中にビデオエンコーダ２００によって使用される補間フィルタを使用して、参照ブロックのサブ整数ピクセルに対する補間値を計算し得る。動き補償ユニット３０２は、受信したシンタックス情報に従ってビデオエンコーダ２００によって使用される補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。
【0052】
動き補償ユニット３０２は、シンタックス情報の少なくとも一部を使用して、符号化されたビデオシーケンスのフレーム及び／又はスライスを符号化するために使用されるブロックのサイズ、符号化されたビデオシーケンスのピクチャの各マクロブロックがどのように分割されるかを説明するパーティション情報、各パーティションがどのように符号化されるかを示すモード、各インターエンコードされたブロックの１つ又は複数の参照フレーム(及び参照フレームリスト)、及び符号化されたビデオシーケンスを復号するその他の情報を決定し得る。本明細書で使用されるように、いくつかの態様では、「スライス」は、エントロピー符号化、信号予測、及び残差信号再構築に関して、同じピクチャの他のスライスから独立して復号できるデータ構造を指し得る。スライスは、ピクチャ全体又はピクチャの領域のいずれかになり得る。
【0053】
イントラ予測ユニット３０３は、例えばビットストリームで受信されたイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成し得る。逆量子化ユニット３０４は、ビットストリームで提供され、エントロピー復号ユニット３０１によって復号された量子化ビデオブロック係数を逆量子化、即ち量子化解除する。逆変換ユニット３０５は、逆変換を適用する。
【0054】
再構築ユニット３０６は、例えば、残差ブロックと、動き補償ユニット３０２又はイントラ予測ユニット３０３によって生成された対応する予測ブロックとを加算することによって、復号されたブロックを取得し得る。必要に応じて、デブロッキングフィルタが適用されて、ブロックノイズアーティファクトを除去するよう、復号されたブロックをフィルタリングしてもよい。次に、復号されたビデオブロックはバッファ３０７に記憶され、バッファ３０７は、後続の動き補償／イントラ予測のための参照ブロックを提供し、また、表示デバイス上にプレゼンテーションするための復号されたビデオも生成する。
【0055】
本開示のいくつかの例示的な実施形態について以下に詳細に説明することにする。本明細書では理解を容易にするためにセクション見出しが使用されているが、セクションで開示される実施形態をそのセクションのみに限定するものではないことを理解すべきである。さらに、特定の実施形態が多用途ビデオ符号化又は他の特定のビデオコーデックを参照して説明されるが、開示された技術は他のビデオ符号化技術にも適用可能である。さらに、いくつかの実施形態はビデオ符号化ステップを詳細に説明するが、符号化を元に戻す対応する復号化ステップはデコーダによって実施されることが理解されるであろう。さらに、ビデオ処理という用語には、ビデオの符号化又は圧縮、ビデオのデ符号化（復号化）又は解凍、及びビデオピクセルを１つの圧縮フォーマットから別の圧縮フォーマット又は異なる圧縮ビットレートで表現するビデオトランス符号化が包含される。
１．概要
この開示はビデオストリーミングに関する。具体的には、拡張従属ランダムアクセスポイント（ＥＤＲＡＰ：extended dependent random access point）ベースのビデオストリーミング用のメインストリーム表現記述子と外部ストリーム表現記述子の設計、及びメインストリーム表現におけるストリームアクセスポイント(ＳＡＰ)のシグナリングに関する。このアイデアは、例えば、Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ(ＤＡＳＨ)規格又はその拡張に基づいて、メディアストリーミングシステムに、個別に又は様々な組み合わせで適用され得る。
２．背景
２．１．ビデオ符号化規格
ビデオ符号化規格は、主によく知られたＩＴＵ－Ｔ及びＩＳＯ／ＩＥＣ規格の開発を通じて進化してきた。ＩＴＵ－ＴがＨ．２６１及びＨ．２６３を作成し、ＩＳＯ／ＩＥＣがＭＰＥＧ－1及びＭＰＥＧ－4 Ｖｉｓｕａｌを作成し、この２つの組織が共同でＨ．２６２／ＭＰＥＧ－２ Ｖｉｄｅｏ及びＨ．２６４／ＭＰＥＧ－４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）及びＨ．２６５／ＨＥＶＣ規格を作成した。Ｈ．２６２以来、ビデオ符号化規格は、時間予測プラス変換符号化が利用されるハイブリッドビデオ符号化構造に基づいている。ＨＥＶＣを超える未来ビデオ符号化技術を探すために、Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ(ジョイント ビデオ エクスプロレーション チーム、ＪＶＥＴ)が２０１５年にＶＣＥＧとＭＰＥＧによって共同で設立された。それ以来、多くの新しい方法がＪＶＥＴによって採用され、ＪＥＭ（Joint Exploration Model、ジョイント エクスプロレーション モデル）という名前のリファレンスソフトウェアに組み込まれた。その後、Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ ｃｏｄｉｎｇ(ＶＶＣ)プロジェクトが正式に開始されたときに、ＪＶＥＴはＪｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ(ＪＶＥＴ)に名前変更された。ＶＶＣは、ＨＥＶＣと比較して５０％ビットレート低減を目標とする新しい符号化規格であり、２０２０年７月１日に終了した第１９回会議でＪＶＥＴによって最終完了された。
Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ(ＶＶＣ)規格（ITU-T H.266 |ISO/IEC 23090-3）及び関連するＶｅｒｓａｔｉｌｅ Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ（多用途拡張情報、ＶＳＥＩ）規格（ITU-T H.274|ISO/IEC 23002-7）は、テレビ放送、ビデオ会議、又は記憶媒体からの再生などの従来の用途と、アダプティブビットレートストリーミング、ビデオ領域の抽出、多重コード化ビデオビットストリームからのコンテンツの合成と結合、マルチビュービデオ、スケーラブルなレイヤードコーディング、及びビューポートアダプティブ３６０度イマーシブメディアなどのより新しく高度な用途の両方を含む、最大限広範囲のアプリケーションで使用されるように設計されている。
Ｅｓｓｅｎｔｉａｌ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＥＶＣ）規格（ＩＳＯ／ＩＥＣ ２３０９４－１）は、ＭＰＥＧによって最近開発された別のビデオ符号化規格である。
２．２．ファイルフォーマット規格
メディアストリーミングアプリケーションは通常、ＩＰ、ＴＣＰ、及びＨＴＴＰトランスポート方法に基づいており、ＩＳＯベースメディアファイルフォーマット(ＩＳＯＢＭＦＦ)などのファイルフォーマットに依存する。このようなストリーミングシステムの１つは、ＨＴＴＰベースの動的適応型ストリーミング(ＤＡＳＨ)である。ＩＳＯＢＭＦＦ及びＤＡＳＨでビデオフォーマットを使用する場合、ＡＶＣファイルフォーマットやＨＥＶＣファイルフォーマットなど、ビデオフォーマットに特有のファイルフォーマット仕様がＩＳＯＢＭＦＦトラック及びＤＡＳＨ表現とセグメントでのビデオコンテンツのカプセル化に必要な場合がある。ビデオビットストリームに関する重要な情報、例えばプロファイル、階層、レベル、その他多くの情報は、コンテンツ選択の目的、例えばストリーミングセッションの開始時の初期化とストリーミングセッション中のストリーム適応の両方のための適切なメディアセグメントの選択のために、ファイルフォーマットレベルメタデータ及び／又はＤＡＳＨメディアプレゼンテーション記述（ＭＰＤ：ｍｅｄｉａ ｐｒｅｓｅｎｔａｔｉｏｎ ｄｅｓｃｒｉｐｔｉｏｎ）として公開されるべきである場合がある。
同様に、ＩＳＯＢＭＦＦで画像フォーマットを使用する場合、ＡＶＣ画像ファイルフォーマット及びＨＥＶＣ画像ファイルフォーマットなど、画像フォーマットに特有のファイルフォーマット仕様が必要な場合がある。
ＩＳＯＢＭＦＦに基づいたＶＶＣビデオコンテンツを保存するためのファイルフォーマットである、ＶＶＣビデオファイルフォーマットは、現在ＭＰＥＧによって開発されている。
ＩＳＯＢＭＦＦに基づいた、ＶＶＣを使用して符号化された画像コンテンツを保存するためのファイル形式である、ＶＶＣ画像ファイルフォーマットは、現在ＭＰＥＧによって開発されている。
２．３．ＤＡＳＨ
Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ(ＤＡＳＨ)では、マルチメディアコンテンツのビデオ及び／又はオーディオデータの多重表現が存在し得るが、異なる表現は、異なる符号化特性（例えば、ビデオ符号化規格の異なるプロファイル又はレベル、異なるビットレート、異なる空間解像度など）に対応し得る。このような表現のマニフェストは、Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ(ＭＰＤ)データ構造で定義され得る。メディアプレゼンテーションは、ＤＡＳＨストリーミングクライアントデバイスにアクセス可能なデータの構造化コレクションに対応し得る。ＤＡＳＨストリーミングクライアントデバイスは、クライアントデバイスのユーザにストリーミングサービスを提供するようにメディアデータ情報を要求し、ダウンロードし得る。メディアプレゼンテーションは、ＭＰＤの更新を含むＭＰＤデータ構造で記述され得る。
メディアプレゼンテーションには、一連の１つ又は複数の期間が含まれ得る。各期間は、次の期間の開始まで、又は最後の期間の場合は、メディアプレゼンテーションの終了まで延長され得る。各期間には、同じメディアコンテンツの１つ又は複数の表現が含まれ得る。表現は、オーディオ、ビデオ、タイムドテキスト、又はその他のそのようなデータの多数の代替的符号化バージョンのうちの１つになり得る。表現は、符号化タイプ、例えばビデオデータのビットレート、解像度、及び／又はコーデック、及びオーディオデータのビットレート、言語、及び／又はコーデックによって異なり得る。表現という用語は、マルチメディアコンテンツの特定の期間に対応し、特定の方式で符号化された、符号化されたオーディオ又はビデオデータのセクションを指すために使用され得る。
特定の期間の表現は、その表現が属するアダプテーションセットを示すＭＰＤにおける属性によって示されるグループに割り当てられ得る。同じアダプテーションセット内の表現は、クライアントデバイスがこれらの表現を動的かつシームレスに切り替えて、例えば帯域幅アダプテーションを実行できるという点で、一般に互いの代替と見なされる。例えば、特定の期間のビデオデータの各表現は同じアダプテーションセットに割り当てられ得るが、対応する期間のマルチメディアコンテンツのビデオデータ又はオーディオデータなどのメディアデータを提示するように、いずれかの表現が復号化用に選択され得る。１つの期間内のメディアコンテンツは、いくつかの例では、グループ０（存在する場合）からの１つの表現、又は各非ゼログループからの最大１つの表現の組み合わせのいずれかによって表現され得る。期間の各表現のタイミングデータは、期間の開始時刻に対して相対的に表され得る。
表現には１つ又は複数のセグメントが含まれ得る。各表現には初期化セグメントが含まれ得、表現の各セグメントは自己初期化であり得る。存在する場合、初期化セグメントはその表現にアクセスするための初期化情報が含まれ得る。一般に、初期化セグメントにはメディアデータが含まれない。セグメントは、ユニフォームリソースロケーター(ＵＲＬ)、ユニフォームリソースネーム(ＵＲＮ)、又はユニフォームリソース識別子(ＵＲＩ)などの識別子によって一意的に参照され得る。ＭＰＤは各セグメントに識別子を提供し得る。いくつかの例では、ＭＰＤは、ＵＲＬ、ＵＲＮ、又はＵＲＩによってアクセス可能なファイル内のセグメントのデータに対応し得るバイト範囲を範囲属性の形式で提供してもよい。
異なるタイプのメディアデータを実質的に同時に検索するために、異なる表現が選択され得る。例えば、クライアントデバイスは、セグメントを検索するためのオーディオ表現、ビデオ表現、及びタイムドテキスト表現を選択し得る。いくつかの例では、クライアントデバイスは、帯域幅適応を実行するための特定のアダプテーションセットを選択し得る。即ち、クライアントデバイスは、ビデオ表現を含むアダプテーションセット、オーディオ表現を含むアダプテーションセット、及び／又はタイムドテキストを含むアダプテーションセットを選択し得る。代替形態として、クライアントデバイスは、特定の種類のメディア（例えば、ビデオ）のアダプテーションセットを選択し、他の種類のメディア（例えば、オーディオ及び／又はタイムドテキスト）の表現を直接選択し得る。
一般的なＤＡＳＨストリーミング手順を次のステップで示す。
１）クライアントはＭＰＤを取得する。
２）クライアントはダウンリンク帯域幅を推定し、推定されたダウンリンク帯域幅及びコーデック、復号能力、表示サイズ、音声言語設定に従ってビデオ表現及びオーディオ表現を選択する。
３）メディアプレゼンテーションの終わりに達しない限り、クライアントは選択された表現のメディアセグメントを要請し、ストリーミングコンテンツをユーザに提示する。
４）クライアントはダウンリンク帯域幅を推定し続ける。帯域幅がある方向に著しく変化した場合(例えば、低くなった場合)、クライアントは新たに推定された帯域幅に合致する異なるビデオ表現を選択し、ステップ３に進む。
２．４．拡張従属ランダムアクセスポイント（ＥＤＲＡＰ）ピクチャベースのビデオ符号化及びストリーミング
補助拡張情報(ＳＥＩ)メッセージを使用したＥＤＲＡＰピクチャのシグナリングは、ＪＶＥＴ－Ｕ００８４の提案で提案され、２０２１年１月の第２１回ＪＶＥＴ会議でＶＳＥＩ仕様に採用された。２０２１年１月の第１３３回ＭＰＥＧ会議で、ＥＤＲＡＰサンプルグループがＭＰＥＧ入力ドキュメントｍ５６０２０の提案に基づいて合意された。ＥＤＲＡＰベースのビデオストリーミングのサポートについては、２０２１年４月の第１３４回ＭＰＥＧ会議で、ＭＰＥＧ入力ドキュメントｍ５６６７５はＩＳＯＢＭＦＦの外部ストリームトラック(ＥＳＴ)設計を提案した。ＭＰＥＧ入力ドキュメントｍ５７４３０は、ＤＡＳＨの外部ストリーム表現（ＥＳＲ：ｅｘｔｅｒｎａｌ ｓｔｒｅａｍ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）設計を提案した。
図４及び図５は、ランダムアクセスポイント（ＲＡＰ）の既存の概念を示している。アプリケーション（例えば、適応ストリーミング)は、ランダムアクセスポイント（ＲＡＰ)の頻度（例えばＲＡＰ期間１秒又は２秒など）を決定する。従来、ＲＡＰは、図４に示すように、ＩＲＡＰピクチャの符号化によって提供される。ＲＡＰピクチャ間の非キーピクチャのインター予測参照が示されておらず、左から右への出力順序であることに注意されたい。ＣＲＡ６からランダムアクセスすると、図５に示すように、デコーダはピクチャを受信して正しく復号する。
図６及び図７は、依存型ランダムアクセスポイント（ＤＲＡＰ）の概念を示す。ＤＲＡＰアプローチは、図６に示すように、ＤＲＡＰピクチャ(及び後続のピクチャ)がインター予測のために前のＩＲＡＰピクチャを参照可能にすることで、向上された符号化効率を提供する。ＲＡＰピクチャ間の非キーピクチャのインター予測が示されておらず、左から右への出力順序であることに注意されたい。ＤＲＡＰ６からランダムアクセスすると、図７に示すように、デコーダはピクチャを受信して正しく復号する。
図８及び図９は、拡張従属ランダムアクセスポイント（ＥＤＲＡＰ）の概念を示す。ＥＤＲＡＰアプローチは、例えば図８に示すように、ＥＤＲＡＰピクチャ（及び後続のピクチャ）がいくつかの以前のＲＡＰピクチャ（ＩＲＡＰ又はＥＤＲＡＰ）を参照可能にすることで、より高い柔軟性を提供する。ＲＡＰピクチャ間の非キーピクチャのインター予測が示されておらず、左から右への出力順であることに注意されたい。ＥＤＲＡＰ６からランダムアクセスすると、図９に示すように、デコーダはピクチャを受信して正しく復号する。
図１０及び図１１は、ＥＤＲＡＰベースのビデオストリーミングを示す。ＥＤＲＡＰ６から始まるセグメントからランダムアクセスするか又は該セグメントに切り替えると、図１１に示すように、デコーダはセグメントを受信して復号する。
ＭＰＥＧ入力ドキュメントｍ５７４３０で提案されるＥＳＲ設計は次のとおりである。
２．１．１ 概要
外部ストリーム表現（ＥＳＲ）は、関連するメインストリーム表現(ＭＳＲ)、つまり「通常の」表現と時間同期される。ＥＳＲには、ＭＳＲ内の時間同期拡張従属ランダムアクセスポイント（ＥＤＲＡＰ）ピクチャ／サンプルからランダムアクセスする時に追加で必要なランダムアクセスポイント(ＲＡＰ)ピクチャのみが含まれる。
設計を要約すると次のようになる：
１）ＥＤＲＡＰピクチャ、外部エレメンタリストリーム、外部ピクチャ、外部ストリーム表現（ＥＳＲ）、メインストリーム表現（ＭＳＲ）という用語の５つの定義が提案されている。
２）@esasFlagという名前のオプションのアダプテーションセットレベル属性が、アダプテーションセット内のリプレゼンテーションがＥＳＲであるかＭＳＲであるかを示すために提案されている。
３）@esasFlag属性のセマンティクスの一部として、以下が提案されている：
ａ．既存のリプレゼンテーション属性@associationId及び@associationTypeを介したＥＳＲとＭＳＲの関連付けは、新しく指定された関連付けタイプ値「aest」(「関連付けられた外部ストリームトラック」、ＩＳＯＢＭＦＦトラック参照タイプと同じ４ＣＣ)に基づいている。
ｂ．新しい“EssentialProperty”記述子は、ＥＳＲを含むアダプテーションセットに含まれることが提案され、そのようなアダプテーションセットにおけるリプレゼンテーションは他のビデオリプレゼンテーションなしでは単独で消費又は再生できないことを示す。
ｃ．ＥＤＲＡＰベースのストリーミング操作を簡素化するためのいくつかの制約:
ｉ．ＭＳＲ内の各ＥＤＲＡＰピクチャは、セグメント内の第１のピクチャであるものとする。
ｉｉ．相互に関連付けられたＭＳＲとＥＳＲには、次の制約が適用される：
１．ＥＤＲＡＰピクチャで始まるＭＳＲ内の各セグメントについて、ＭＳＲ内のセグメントとしてＭＰＤから導出された同じセグメント開始時刻を持つＥＳＲ内のセグメントが存在するものとし、ＥＳＲ内のセグメントは、そのＥＤＲＡＰピクチャの復号に必要な外部ピクチャと、ＭＳＲで搬送されるビットストリームにおける復号順序での後続のピクチャを搬送する。
２．ＥＤＲＡＰピクチャで開始しないＭＳＲ内の各セグメントについて、ＭＳＲ内のセグメントと同じＭＰＤから導出されたセグメント開始時刻を持つＥＳＲ内のセグメントは存在しないものとする。
２．１．２ 定義
拡張従属ランダムアクセスポイント（ＥＤＲＡＰ）ピクチャ
ＩＳＯＢＭＦＦトラック内のＥＤＲＡＰ又はＤＲＡＰサンプルグループのメンバーであるサンプルにおけるピクチャ
外部エレメンタリストリーム
外部ピクチャを持つアクセスユニットを含むエレメンタリストリーム
外部ピクチャ
ＥＳＲ内の外部エレメンタリストリームにあり、ＭＳＲ内の特定のＥＤＲＡＰピクチャからランダムアクセスする場合に、ＭＳＲ内のエレメンタリストリームの復号化におけるインター予測参照に必要なピクチャ
外部ストリーム表現（ＥＳＲ：external stream representation）
外部エレメンタリストリームを含む表現
メインストリーム表現（ＭＳＲ）
ビデオエレメンタリストリームを含む表現
１．概要
この開示はビデオストリーミングに関する。具体的には、拡張従属ランダムアクセスポイント（ＥＤＲＡＰ：extended dependent random access point）ベースのビデオストリーミング用のメインストリーム表現記述子と外部ストリーム表現記述子の設計、及びメインストリーム表現におけるストリームアクセスポイント(ＳＡＰ)のシグナリングに関する。このアイデアは、例えば、Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ(ＤＡＳＨ)規格又はその拡張に基づいて、メディアストリーミングシステムに、個別に又は様々な組み合わせで適用され得る。
２．背景
２．１．ビデオ符号化規格
ビデオ符号化規格は、主によく知られたＩＴＵ－Ｔ及びＩＳＯ／ＩＥＣ規格の開発を通じて進化してきた。ＩＴＵ－ＴがＨ．２６１及びＨ．２６３を作成し、ＩＳＯ／ＩＥＣがＭＰＥＧ－1及びＭＰＥＧ－4 Ｖｉｓｕａｌを作成し、この２つの組織が共同でＨ．２６２／ＭＰＥＧ－２ Ｖｉｄｅｏ及びＨ．２６４／ＭＰＥＧ－４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）及びＨ．２６５／ＨＥＶＣ規格を作成した。Ｈ．２６２以来、ビデオ符号化規格は、時間予測プラス変換符号化が利用されるハイブリッドビデオ符号化構造に基づいている。ＨＥＶＣを超える未来ビデオ符号化技術を探すために、Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ(ジョイント ビデオ エクスプロレーション チーム、ＪＶＥＴ)が２０１５年にＶＣＥＧとＭＰＥＧによって共同で設立された。それ以来、多くの新しい方法がＪＶＥＴによって採用され、ＪＥＭ（Joint Exploration Model、ジョイント エクスプロレーション モデル）という名前のリファレンスソフトウェアに組み込まれた。その後、Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ ｃｏｄｉｎｇ(ＶＶＣ)プロジェクトが正式に開始されたときに、ＪＶＥＴはＪｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ(ＪＶＥＴ)に名前変更された。ＶＶＣは、ＨＥＶＣと比較して５０％ビットレート低減を目標とする新しい符号化規格であり、２０２０年７月１日に終了した第１９回会議でＪＶＥＴによって最終完了された。
Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ(ＶＶＣ)規格（ITU-T H.266 |ISO/IEC 23090-3）及び関連するＶｅｒｓａｔｉｌｅ Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ（多用途拡張情報、ＶＳＥＩ）規格（ITU-T H.274|ISO/IEC 23002-7）は、テレビ放送、ビデオ会議、又は記憶媒体からの再生などの従来の用途と、アダプティブビットレートストリーミング、ビデオ領域の抽出、多重コード化ビデオビットストリームからのコンテンツの合成と結合、マルチビュービデオ、スケーラブルなレイヤードコーディング、及びビューポートアダプティブ３６０度イマーシブメディアなどのより新しく高度な用途の両方を含む、最大限広範囲のアプリケーションで使用されるように設計されている。
Ｅｓｓｅｎｔｉａｌ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＥＶＣ）規格（ＩＳＯ／ＩＥＣ ２３０９４－１）は、ＭＰＥＧによって最近開発された別のビデオ符号化規格である。
２．２．ファイルフォーマット規格
メディアストリーミングアプリケーションは通常、ＩＰ、ＴＣＰ、及びＨＴＴＰトランスポート方法に基づいており、ＩＳＯベースメディアファイルフォーマット(ＩＳＯＢＭＦＦ)などのファイルフォーマットに依存する。このようなストリーミングシステムの１つは、ＨＴＴＰベースの動的適応型ストリーミング(ＤＡＳＨ)である。ＩＳＯＢＭＦＦ及びＤＡＳＨでビデオフォーマットを使用する場合、ＡＶＣファイルフォーマットやＨＥＶＣファイルフォーマットなど、ビデオフォーマットに特有のファイルフォーマット仕様がＩＳＯＢＭＦＦトラック及びＤＡＳＨ表現とセグメントでのビデオコンテンツのカプセル化に必要な場合がある。ビデオビットストリームに関する重要な情報、例えばプロファイル、階層、レベル、その他多くの情報は、コンテンツ選択の目的、例えばストリーミングセッションの開始時の初期化とストリーミングセッション中のストリーム適応の両方のための適切なメディアセグメントの選択のために、ファイルフォーマットレベルメタデータ及び／又はＤＡＳＨメディアプレゼンテーション記述（ＭＰＤ：ｍｅｄｉａ ｐｒｅｓｅｎｔａｔｉｏｎ ｄｅｓｃｒｉｐｔｉｏｎ）として公開されるべきである場合がある。
同様に、ＩＳＯＢＭＦＦで画像フォーマットを使用する場合、ＡＶＣ画像ファイルフォーマット及びＨＥＶＣ画像ファイルフォーマットなど、画像フォーマットに特有のファイルフォーマット仕様が必要な場合がある。
ＩＳＯＢＭＦＦに基づいたＶＶＣビデオコンテンツを保存するためのファイルフォーマットである、ＶＶＣビデオファイルフォーマットは、現在ＭＰＥＧによって開発されている。
ＩＳＯＢＭＦＦに基づいた、ＶＶＣを使用して符号化された画像コンテンツを保存するためのファイル形式である、ＶＶＣ画像ファイルフォーマットは、現在ＭＰＥＧによって開発されている。
２．３．ＤＡＳＨ
Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ(ＤＡＳＨ)では、マルチメディアコンテンツのビデオ及び／又はオーディオデータの多重表現が存在し得るが、異なる表現は、異なる符号化特性（例えば、ビデオ符号化規格の異なるプロファイル又はレベル、異なるビットレート、異なる空間解像度など）に対応し得る。このような表現のマニフェストは、Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ(ＭＰＤ)データ構造で定義され得る。メディアプレゼンテーションは、ＤＡＳＨストリーミングクライアントデバイスにアクセス可能なデータの構造化コレクションに対応し得る。ＤＡＳＨストリーミングクライアントデバイスは、クライアントデバイスのユーザにストリーミングサービスを提供するようにメディアデータ情報を要求し、ダウンロードし得る。メディアプレゼンテーションは、ＭＰＤの更新を含むＭＰＤデータ構造で記述され得る。
メディアプレゼンテーションには、一連の１つ又は複数の期間が含まれ得る。各期間は、次の期間の開始まで、又は最後の期間の場合は、メディアプレゼンテーションの終了まで延長され得る。各期間には、同じメディアコンテンツの１つ又は複数の表現が含まれ得る。表現は、オーディオ、ビデオ、タイムドテキスト、又はその他のそのようなデータの多数の代替的符号化バージョンのうちの１つになり得る。表現は、符号化タイプ、例えばビデオデータのビットレート、解像度、及び／又はコーデック、及びオーディオデータのビットレート、言語、及び／又はコーデックによって異なり得る。表現という用語は、マルチメディアコンテンツの特定の期間に対応し、特定の方式で符号化された、符号化されたオーディオ又はビデオデータのセクションを指すために使用され得る。
特定の期間の表現は、その表現が属するアダプテーションセットを示すＭＰＤにおける属性によって示されるグループに割り当てられ得る。同じアダプテーションセット内の表現は、クライアントデバイスがこれらの表現を動的かつシームレスに切り替えて、例えば帯域幅アダプテーションを実行できるという点で、一般に互いの代替と見なされる。例えば、特定の期間のビデオデータの各表現は同じアダプテーションセットに割り当てられ得るが、対応する期間のマルチメディアコンテンツのビデオデータ又はオーディオデータなどのメディアデータを提示するように、いずれかの表現が復号化用に選択され得る。１つの期間内のメディアコンテンツは、いくつかの例では、グループ０（存在する場合）からの１つの表現、又は各非ゼログループからの最大１つの表現の組み合わせのいずれかによって表現され得る。期間の各表現のタイミングデータは、期間の開始時刻に対して相対的に表され得る。
表現には１つ又は複数のセグメントが含まれ得る。各表現には初期化セグメントが含まれ得、表現の各セグメントは自己初期化であり得る。存在する場合、初期化セグメントはその表現にアクセスするための初期化情報が含まれ得る。一般に、初期化セグメントにはメディアデータが含まれない。セグメントは、ユニフォームリソースロケーター(ＵＲＬ)、ユニフォームリソースネーム(ＵＲＮ)、又はユニフォームリソース識別子(ＵＲＩ)などの識別子によって一意的に参照され得る。ＭＰＤは各セグメントに識別子を提供し得る。いくつかの例では、ＭＰＤは、ＵＲＬ、ＵＲＮ、又はＵＲＩによってアクセス可能なファイル内のセグメントのデータに対応し得るバイト範囲を範囲属性の形式で提供してもよい。
異なるタイプのメディアデータを実質的に同時に検索するために、異なる表現が選択され得る。例えば、クライアントデバイスは、セグメントを検索するためのオーディオ表現、ビデオ表現、及びタイムドテキスト表現を選択し得る。いくつかの例では、クライアントデバイスは、帯域幅適応を実行するための特定のアダプテーションセットを選択し得る。即ち、クライアントデバイスは、ビデオ表現を含むアダプテーションセット、オーディオ表現を含むアダプテーションセット、及び／又はタイムドテキストを含むアダプテーションセットを選択し得る。代替形態として、クライアントデバイスは、特定の種類のメディア（例えば、ビデオ）のアダプテーションセットを選択し、他の種類のメディア（例えば、オーディオ及び／又はタイムドテキスト）の表現を直接選択し得る。
一般的なＤＡＳＨストリーミング手順を次のステップで示す。
１）クライアントはＭＰＤを取得する。
２）クライアントはダウンリンク帯域幅を推定し、推定されたダウンリンク帯域幅及びコーデック、復号能力、表示サイズ、音声言語設定に従ってビデオ表現及びオーディオ表現を選択する。
３）メディアプレゼンテーションの終わりに達しない限り、クライアントは選択された表現のメディアセグメントを要請し、ストリーミングコンテンツをユーザに提示する。
４）クライアントはダウンリンク帯域幅を推定し続ける。帯域幅がある方向に著しく変化した場合(例えば、低くなった場合)、クライアントは新たに推定された帯域幅に合致する異なるビデオ表現を選択し、ステップ３に進む。
２．４．拡張従属ランダムアクセスポイント（ＥＤＲＡＰ）ピクチャベースのビデオ符号化及びストリーミング
補助拡張情報(ＳＥＩ)メッセージを使用したＥＤＲＡＰピクチャのシグナリングは、ＪＶＥＴ－Ｕ００８４の提案で提案され、２０２１年１月の第２１回ＪＶＥＴ会議でＶＳＥＩ仕様に採用された。２０２１年１月の第１３３回ＭＰＥＧ会議で、ＥＤＲＡＰサンプルグループがＭＰＥＧ入力ドキュメントｍ５６０２０の提案に基づいて合意された。ＥＤＲＡＰベースのビデオストリーミングのサポートについては、２０２１年４月の第１３４回ＭＰＥＧ会議で、ＭＰＥＧ入力ドキュメントｍ５６６７５はＩＳＯＢＭＦＦの外部ストリームトラック(ＥＳＴ)設計を提案した。ＭＰＥＧ入力ドキュメントｍ５７４３０は、ＤＡＳＨの外部ストリーム表現（ＥＳＲ：ｅｘｔｅｒｎａｌ ｓｔｒｅａｍ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）設計を提案した。
図４及び図５は、ランダムアクセスポイント（ＲＡＰ）の既存の概念を示している。アプリケーション（例えば、適応ストリーミング)は、ランダムアクセスポイント（ＲＡＰ)の頻度（例えばＲＡＰ期間１秒又は２秒など）を決定する。従来、ＲＡＰは、図４に示すように、ＩＲＡＰピクチャの符号化によって提供される。ＲＡＰピクチャ間の非キーピクチャのインター予測参照が示されておらず、左から右への出力順序であることに注意されたい。ＣＲＡ６からランダムアクセスすると、図５に示すように、デコーダはピクチャを受信して正しく復号する。
図６及び図７は、依存型ランダムアクセスポイント（ＤＲＡＰ）の概念を示す。ＤＲＡＰアプローチは、図６に示すように、ＤＲＡＰピクチャ(及び後続のピクチャ)がインター予測のために前のＩＲＡＰピクチャを参照可能にすることで、向上された符号化効率を提供する。ＲＡＰピクチャ間の非キーピクチャのインター予測が示されておらず、左から右への出力順序であることに注意されたい。ＤＲＡＰ６からランダムアクセスすると、図７に示すように、デコーダはピクチャを受信して正しく復号する。
図８及び図９は、拡張従属ランダムアクセスポイント（ＥＤＲＡＰ）の概念を示す。ＥＤＲＡＰアプローチは、例えば図８に示すように、ＥＤＲＡＰピクチャ（及び後続のピクチャ）がいくつかの以前のＲＡＰピクチャ（ＩＲＡＰ又はＥＤＲＡＰ）を参照可能にすることで、より高い柔軟性を提供する。ＲＡＰピクチャ間の非キーピクチャのインター予測が示されておらず、左から右への出力順であることに注意されたい。ＥＤＲＡＰ６からランダムアクセスすると、図９に示すように、デコーダはピクチャを受信して正しく復号する。
図１０及び図１１は、ＥＤＲＡＰベースのビデオストリーミングを示す。ＥＤＲＡＰ６から始まるセグメントからランダムアクセスするか又は該セグメントに切り替えると、図１１に示すように、デコーダはセグメントを受信して復号する。
ＭＰＥＧ入力ドキュメントｍ５７４３０で提案されるＥＳＲ設計は次のとおりである。
２．１．１ 概要
外部ストリーム表現（ＥＳＲ）は、関連するメインストリーム表現(ＭＳＲ)、つまり「通常の」表現と時間同期される。ＥＳＲには、ＭＳＲ内の時間同期拡張従属ランダムアクセスポイント（ＥＤＲＡＰ）ピクチャ／サンプルからランダムアクセスする時に追加で必要なランダムアクセスポイント(ＲＡＰ)ピクチャのみが含まれる。
設計を要約すると次のようになる：
１）ＥＤＲＡＰピクチャ、外部エレメンタリストリーム、外部ピクチャ、外部ストリーム表現（ＥＳＲ）、メインストリーム表現（ＭＳＲ）という用語の５つの定義が提案されている。
２）@esasFlagという名前のオプションのアダプテーションセットレベル属性が、アダプテーションセット内のリプレゼンテーションがＥＳＲであるかＭＳＲであるかを示すために提案されている。
３）@esasFlag属性のセマンティクスの一部として、以下が提案されている：
ａ．既存のリプレゼンテーション属性@associationId及び@associationTypeを介したＥＳＲとＭＳＲの関連付けは、新しく指定された関連付けタイプ値「aest」(「関連付けられた外部ストリームトラック」、ＩＳＯＢＭＦＦトラック参照タイプと同じ４ＣＣ)に基づいている。
ｂ．新しい“EssentialProperty”記述子は、ＥＳＲを含むアダプテーションセットに含まれることが提案され、そのようなアダプテーションセットにおけるリプレゼンテーションは他のビデオリプレゼンテーションなしでは単独で消費又は再生できないことを示す。
ｃ．ＥＤＲＡＰベースのストリーミング操作を簡素化するためのいくつかの制約:
ｉ．ＭＳＲ内の各ＥＤＲＡＰピクチャは、セグメント内の第１のピクチャであるものとする。
ｉｉ．相互に関連付けられたＭＳＲとＥＳＲには、次の制約が適用される：
１．ＥＤＲＡＰピクチャで始まるＭＳＲ内の各セグメントについて、ＭＳＲ内のセグメントとしてＭＰＤから導出された同じセグメント開始時刻を持つＥＳＲ内のセグメントが存在するものとし、ＥＳＲ内のセグメントは、そのＥＤＲＡＰピクチャの復号に必要な外部ピクチャと、ＭＳＲで搬送されるビットストリームにおける復号順序での後続のピクチャを搬送する。
２．ＥＤＲＡＰピクチャで開始しないＭＳＲ内の各セグメントについて、ＭＳＲ内のセグメントと同じＭＰＤから導出されたセグメント開始時刻を持つＥＳＲ内のセグメントは存在しないものとする。
２．１．２ 定義
拡張従属ランダムアクセスポイント（ＥＤＲＡＰ）ピクチャ
ＩＳＯＢＭＦＦトラック内のＥＤＲＡＰ又はＤＲＡＰサンプルグループのメンバーであるサンプルにおけるピクチャ
外部エレメンタリストリーム
外部ピクチャを持つアクセスユニットを含むエレメンタリストリーム
外部ピクチャ
ＥＳＲ内の外部エレメンタリストリームにあり、ＭＳＲ内の特定のＥＤＲＡＰピクチャからランダムアクセスする場合に、ＭＳＲ内のエレメンタリストリームの復号化におけるインター予測参照に必要なピクチャ
外部ストリーム表現（ＥＳＲ：external stream representation）
外部エレメンタリストリームを含む表現
メインストリーム表現（ＭＳＲ）
ビデオエレメンタリストリームを含む表現
【0056】
２．１．３ AdaptationSet要素のセマンティクス
【表1】
【0057】
２．１．４ ＸＭＬシンタックス
【数1】
【0058】
３．問題点
ＭＰＥＧ入力ドキュメントｍ５７４３０で提案されている設計には、次のような問題がある。メインストリーミング表現(ＭＳＲ)の場合、異なるトラック又はリプレゼンテーションからの外部ピクチャが必要となるため、異なるストリームアクセスポイント(ＳＡＰ)タイプの現在定義はＥＤＲＡＰベースのランダムアクセスポイントに適用できない。これにより、セグメントがＳＡＰで始まるかどうか、またどのタイプのＳＡＰであるかをシグナリングすることができなくなる。
４．詳細な方案
上記問題を解決するために、以下に要約するような方法が開示される。実施形態は、一般的な概念を説明するための例として考慮されるべきであり、狭く解釈されるべきではない。さらに、これらの実施形態は、個別に適用することも、任意の方式で組み合わせて適用することもできる。
１）メインストリーム表現（ＭＳＲ)記述子がＭＳＲを識別するために指定される。
ａ．一例では、ＭＳＲ記述子は、@schemeIdUriの特定の値（例：urn:mpeg:dash:msr:2021）を持つ“EssentialProperty”記述子として定義される。
ｉ．一例では、ＭＳＲ記述子は、アダプテーションセットに含まれるように、即ち、アダプテーションセットレベルになるように指定される。アダプテーションセットに含まれる場合、アダプテーションセット内のすべてのリプレゼンテーション（Representations）がＭＳＲであることを示す。
ｉｉ．一例では、ＭＳＲ記述子は、リプレゼンテーションに含まれるように、即ち、リプレゼンテーションレベルになるように指定される。リプレゼンテーションに含まれる場合、その表現がＭＳＲであることを示す。
ｉｉｉ．一例では、ＭＳＲ記述子は、アダプテーションセットセット又はリプレゼンテーションのいずれかに含まれるように、即ち、アダプテーションセットレベル又はリプレゼンテーションレベルのいずれかであるように指定される。
１．アダプテーションセットに含まれる場合、アダプテーションセット内のすべてのリプレゼンテーションがＭＳＲであることを示す。
ａ．代替形態として、アダプテーションセットに含まれる場合アダプテーションセット内のリプレゼンテーションの一部又はすべてがＭＳＲであり得ることを示す。
２．リプレゼンテーションに含まれる場合、そのリプレゼンテーションがＭＳＲであることを示す。
ｂ．一例では、ＭＳＲ記述子は、@schemeIdUriの特定の値（例：urn:mpeg:dash:msr:2021）を持つ“SupplementalProperty”記述子として定義される。
２）ＭＳＲ内の各ストリームアクセスポイント（ＳＡＰ)は、関連するＥＳＲで搬送されるトラック内に時間同期化サンプルが存在する場合、クライアントが利用できる場合に限り、リプレゼンテーション内のコンテンツにアクセスするために使用できることを指定する。
３）オプションで、ＭＳＲ内の各ＥＤＲＡＰピクチャがセグメント内の第１のピクチャであるものとすることを指定する（即ち、各ＥＤＲＡＰピクチャがセグメントを開始するものとする）。
４）外部ストリーム表現(ＥＳＲ)記述子がＥＳＲを識別するために指定される。
ａ．一例では、ＥＳＲ記述子は、@schemeIdUriの特定の値(例:urn:mpeg:dash:esr:2021に等しい)を持つ“EssentialProperty”記述子として定義される。
ｉ．一例では、ＥＳＲ記述子は、アダプテーションセットに含まれるように、即ち、アダプテーションセットレベルになるように指定される。アダプテーションセットに含まれる場合、アダプテーションセット内のすべてのリプレゼンテーションがＥＳＲであることを示す。
ｉｉ．一例では、ＥＳＲ記述子は、リプレゼンテーションに含まれるように、即ちリプレゼンテーションレベルになるように指定される。リプレゼンテーションに含まれる場合、そのリプレゼンテーションがＥＳＲであることを示す。
ｉｉｉ．一例では、ＥＳＲ記述子は、アダプテーションセット又はリプレゼンテーションのいずれかに含まれるように、即ち、アダプテーションセットレベル又は又はリプレゼンテーションレベルのずれかになるように指定される。
１．アダプテーションセットに含まれる場合、アダプテーションセット内のすべてのリプレゼンテーションがＥＳＲであることを示す。
ａ．代替形態として、アダプテーションセットに含まれる場合、アダプテーションセット内のリプレゼンテーションの一部又はすべてがＥＳＲであり得ることを示す。
２．リプレゼンテーションに含まれる場合、そのリプレゼンテーションがＥＳＲであることを示す。
ｂ．一例では、ＥＳＲ記述子は、@schemeIdUriの特定の値（例：urn:mpeg:dash:msr:2021）を持つ“SupplementalProperty”記述子として定義される。
５）各ＥＳＲは、次のように、ＭＳＲ内の(既存の)リプレゼンテーションレベル属性@associationId及び@associationTypeを通じてＭＳＲに関連付けられるものとすることを指定する：関連付けられたＥＳＲの@idは、属性@associationTypeの対応する値が「aest」に等しい、属性@associationIdに含まれる値によって参照されるものとする。
５．実施形態
以下は、セクション４で上記にまとめたすべての方案項目及びそれらの下位項目の一部かに関するいくつかの例示的な実施形態である。
これらの実施形態は、ＤＡＳＨに適用することができる。変更点は、条項２．４のデザインのテキストに関連してマークされている。追加又は変更されたほとんどの関連部分には下線が付けられ、削除された部分の一部には取り消し線が表示されている。他にも編集上の性質のため強調されていない変更がいくつかあり得る。
５．１．１ 定義
拡張従属ランダムアクセスポイント（ＥＤＲＡＰ）ピクチャ
ＩＳＯＢＭＦＦトラック内のＥＤＲＡＰ又はＤＲＡＰサンプルグループのメンバーであるサンプルにおけるピクチャ
外部エレメンタリストリーム
外部ピクチャを持つアクセスユニットを含むエレメンタリストリーム
外部ピクチャ
ＥＳＲ内の外部エレメンタリストリームにあり、ＭＳＲ内の特定のＥＤＲＡＰピクチャからランダムアクセスする場合に、ＭＳＲ内のエレメンタリストリームの復号化におけるインター予測参照に必要なピクチャ
外部ストリーム表現（ＥＳＲ：external stream representation）
外部エレメンタリストリームを含む表現
メインストリーム表現（ＭＳＲ）
ビデオエレメンタリストリームを含む表現
５．１．２ ＭＳＲ及びＥＳＲ記述子
アダプテーションセットは、@schemeIdUriがurn:mpeg:dash:msr:2021に等しい“EssentialProperty”記述子を有し得る。この記述子はＭＳＲ記述子と呼ばれる。この“EssentialProperty”の存在は、このアダプテーションセット内の各リプレゼンテーションがＭＳＲであることを示す。
ＭＳＲには、以下が適用される：
－ アダプテーションセット内のＭＳＲリプレゼンテーション内の各ＳＡＰは、関連するＥＳＲで搬送されるトラック内に時間同期化サンプルが存在する場合、クライアントが利用できる場合に限り、リプレゼンテーション内のコンテンツにアクセスするために使用できる。
－ ＭＳＲ内の各ＥＤＲＡＰピクチャは、セグメント内の第１のピクチャであるものとする(即ち、各ＥＤＲＡＰピクチャはセグメントを開始するものとする)。
アダプテーションセットは、@schemeIdUriがurn:mpeg:dash:esr:2021に等しい“EssentialProperty”記述子を有し得る。この記述子はＥＳＲ記述子と呼ばれる。この“EssentialPropert”の存在は、このアダプテーションセット内の各リプレゼンテーションがＥＳＲであることを示す。ＥＳＲは、他のビデオリプレゼンテーションなしでは単独で消費又は再生されないものとする。
各ＭＳＲは、次のように、ＭＳＲ内の(既存の)リプレゼンテーションレベル属性@associationId及び@associationTypeを通じてＭＳＲに関連付けられるものとする：関連付けられたＥＳＲの@idは、属性@associationTypeの対応する値が「aest」に等しい、属性@associationIdに含まれる値によって参照されるものとする。
オプションで、ＭＳＲ内のリプレゼンテーション属性@associationId及び@associationTypeを通じて相互に関連付けられたＭＳＲとＥＳＲには、次の制約が適用される：
－ ＥＤＲＡＰピクチャで始まるＭＳＲ内の各セグメントについて、ＭＳＲ内のセグメントと同じＭＰＤから導出されたセグメント開始時刻を持つＥＳＲ内のセグメントが存在するものとし、ＥＳＲ内のセグメントは、そのＥＤＲＡＰピクチャの復号に必要な外部ピクチャと、ＭＳＲで搬送されるビットストリーム内の復号順序での後続のピクチャを搬送する。
－ ＥＤＲＡＰピクチャで開始しないＭＳＲ内の各セグメントについて、ＭＳＲ内のセグメントと同じＭＰＤから導出されたセグメント開始時刻を持つＥＳＲ内のセグメントは存在しないものとする。
ＭＰＥＧ入力ドキュメントｍ５７４３０で提案されている設計には、次のような問題がある。メインストリーミング表現(ＭＳＲ)の場合、異なるトラック又はリプレゼンテーションからの外部ピクチャが必要となるため、異なるストリームアクセスポイント(ＳＡＰ)タイプの現在定義はＥＤＲＡＰベースのランダムアクセスポイントに適用できない。これにより、セグメントがＳＡＰで始まるかどうか、またどのタイプのＳＡＰであるかをシグナリングすることができなくなる。
４．詳細な方案
上記問題を解決するために、以下に要約するような方法が開示される。実施形態は、一般的な概念を説明するための例として考慮されるべきであり、狭く解釈されるべきではない。さらに、これらの実施形態は、個別に適用することも、任意の方式で組み合わせて適用することもできる。
１）メインストリーム表現（ＭＳＲ)記述子がＭＳＲを識別するために指定される。
ａ．一例では、ＭＳＲ記述子は、@schemeIdUriの特定の値（例：urn:mpeg:dash:msr:2021）を持つ“EssentialProperty”記述子として定義される。
ｉ．一例では、ＭＳＲ記述子は、アダプテーションセットに含まれるように、即ち、アダプテーションセットレベルになるように指定される。アダプテーションセットに含まれる場合、アダプテーションセット内のすべてのリプレゼンテーション（Representations）がＭＳＲであることを示す。
ｉｉ．一例では、ＭＳＲ記述子は、リプレゼンテーションに含まれるように、即ち、リプレゼンテーションレベルになるように指定される。リプレゼンテーションに含まれる場合、その表現がＭＳＲであることを示す。
ｉｉｉ．一例では、ＭＳＲ記述子は、アダプテーションセットセット又はリプレゼンテーションのいずれかに含まれるように、即ち、アダプテーションセットレベル又はリプレゼンテーションレベルのいずれかであるように指定される。
１．アダプテーションセットに含まれる場合、アダプテーションセット内のすべてのリプレゼンテーションがＭＳＲであることを示す。
ａ．代替形態として、アダプテーションセットに含まれる場合アダプテーションセット内のリプレゼンテーションの一部又はすべてがＭＳＲであり得ることを示す。
２．リプレゼンテーションに含まれる場合、そのリプレゼンテーションがＭＳＲであることを示す。
ｂ．一例では、ＭＳＲ記述子は、@schemeIdUriの特定の値（例：urn:mpeg:dash:msr:2021）を持つ“SupplementalProperty”記述子として定義される。
２）ＭＳＲ内の各ストリームアクセスポイント（ＳＡＰ)は、関連するＥＳＲで搬送されるトラック内に時間同期化サンプルが存在する場合、クライアントが利用できる場合に限り、リプレゼンテーション内のコンテンツにアクセスするために使用できることを指定する。
３）オプションで、ＭＳＲ内の各ＥＤＲＡＰピクチャがセグメント内の第１のピクチャであるものとすることを指定する（即ち、各ＥＤＲＡＰピクチャがセグメントを開始するものとする）。
４）外部ストリーム表現(ＥＳＲ)記述子がＥＳＲを識別するために指定される。
ａ．一例では、ＥＳＲ記述子は、@schemeIdUriの特定の値(例:urn:mpeg:dash:esr:2021に等しい)を持つ“EssentialProperty”記述子として定義される。
ｉ．一例では、ＥＳＲ記述子は、アダプテーションセットに含まれるように、即ち、アダプテーションセットレベルになるように指定される。アダプテーションセットに含まれる場合、アダプテーションセット内のすべてのリプレゼンテーションがＥＳＲであることを示す。
ｉｉ．一例では、ＥＳＲ記述子は、リプレゼンテーションに含まれるように、即ちリプレゼンテーションレベルになるように指定される。リプレゼンテーションに含まれる場合、そのリプレゼンテーションがＥＳＲであることを示す。
ｉｉｉ．一例では、ＥＳＲ記述子は、アダプテーションセット又はリプレゼンテーションのいずれかに含まれるように、即ち、アダプテーションセットレベル又は又はリプレゼンテーションレベルのずれかになるように指定される。
１．アダプテーションセットに含まれる場合、アダプテーションセット内のすべてのリプレゼンテーションがＥＳＲであることを示す。
ａ．代替形態として、アダプテーションセットに含まれる場合、アダプテーションセット内のリプレゼンテーションの一部又はすべてがＥＳＲであり得ることを示す。
２．リプレゼンテーションに含まれる場合、そのリプレゼンテーションがＥＳＲであることを示す。
ｂ．一例では、ＥＳＲ記述子は、@schemeIdUriの特定の値（例：urn:mpeg:dash:msr:2021）を持つ“SupplementalProperty”記述子として定義される。
５）各ＥＳＲは、次のように、ＭＳＲ内の(既存の)リプレゼンテーションレベル属性@associationId及び@associationTypeを通じてＭＳＲに関連付けられるものとすることを指定する：関連付けられたＥＳＲの@idは、属性@associationTypeの対応する値が「aest」に等しい、属性@associationIdに含まれる値によって参照されるものとする。
５．実施形態
以下は、セクション４で上記にまとめたすべての方案項目及びそれらの下位項目の一部かに関するいくつかの例示的な実施形態である。
これらの実施形態は、ＤＡＳＨに適用することができる。変更点は、条項２．４のデザインのテキストに関連してマークされている。追加又は変更されたほとんどの関連部分には下線が付けられ、削除された部分の一部には取り消し線が表示されている。他にも編集上の性質のため強調されていない変更がいくつかあり得る。
５．１．１ 定義
拡張従属ランダムアクセスポイント（ＥＤＲＡＰ）ピクチャ
ＩＳＯＢＭＦＦトラック内のＥＤＲＡＰ又はＤＲＡＰサンプルグループのメンバーであるサンプルにおけるピクチャ
外部エレメンタリストリーム
外部ピクチャを持つアクセスユニットを含むエレメンタリストリーム
外部ピクチャ
ＥＳＲ内の外部エレメンタリストリームにあり、ＭＳＲ内の特定のＥＤＲＡＰピクチャからランダムアクセスする場合に、ＭＳＲ内のエレメンタリストリームの復号化におけるインター予測参照に必要なピクチャ
外部ストリーム表現（ＥＳＲ：external stream representation）
外部エレメンタリストリームを含む表現
メインストリーム表現（ＭＳＲ）
ビデオエレメンタリストリームを含む表現
５．１．２ ＭＳＲ及びＥＳＲ記述子
アダプテーションセットは、@schemeIdUriがurn:mpeg:dash:msr:2021に等しい“EssentialProperty”記述子を有し得る。この記述子はＭＳＲ記述子と呼ばれる。この“EssentialProperty”の存在は、このアダプテーションセット内の各リプレゼンテーションがＭＳＲであることを示す。
ＭＳＲには、以下が適用される：
－ アダプテーションセット内のＭＳＲリプレゼンテーション内の各ＳＡＰは、関連するＥＳＲで搬送されるトラック内に時間同期化サンプルが存在する場合、クライアントが利用できる場合に限り、リプレゼンテーション内のコンテンツにアクセスするために使用できる。
－ ＭＳＲ内の各ＥＤＲＡＰピクチャは、セグメント内の第１のピクチャであるものとする(即ち、各ＥＤＲＡＰピクチャはセグメントを開始するものとする)。
アダプテーションセットは、@schemeIdUriがurn:mpeg:dash:esr:2021に等しい“EssentialProperty”記述子を有し得る。この記述子はＥＳＲ記述子と呼ばれる。この“EssentialPropert”の存在は、このアダプテーションセット内の各リプレゼンテーションがＥＳＲであることを示す。ＥＳＲは、他のビデオリプレゼンテーションなしでは単独で消費又は再生されないものとする。
各ＭＳＲは、次のように、ＭＳＲ内の(既存の)リプレゼンテーションレベル属性@associationId及び@associationTypeを通じてＭＳＲに関連付けられるものとする：関連付けられたＥＳＲの@idは、属性@associationTypeの対応する値が「aest」に等しい、属性@associationIdに含まれる値によって参照されるものとする。
オプションで、ＭＳＲ内のリプレゼンテーション属性@associationId及び@associationTypeを通じて相互に関連付けられたＭＳＲとＥＳＲには、次の制約が適用される：
－ ＥＤＲＡＰピクチャで始まるＭＳＲ内の各セグメントについて、ＭＳＲ内のセグメントと同じＭＰＤから導出されたセグメント開始時刻を持つＥＳＲ内のセグメントが存在するものとし、ＥＳＲ内のセグメントは、そのＥＤＲＡＰピクチャの復号に必要な外部ピクチャと、ＭＳＲで搬送されるビットストリーム内の復号順序での後続のピクチャを搬送する。
－ ＥＤＲＡＰピクチャで開始しないＭＳＲ内の各セグメントについて、ＭＳＲ内のセグメントと同じＭＰＤから導出されたセグメント開始時刻を持つＥＳＲ内のセグメントは存在しないものとする。
【0059】
５．１．３ AdaptationSet要素のセマンティクス
【表2】
【0060】
５．１．４ ＸＭＬシンタックス
【数2】
【0061】
本開示の実施形態は、メインストリーム表現記述子に関する。
【0062】
図１２は、本開示のいくつかの実施形態によるビデオ処理のための方法１２００のフローチャートを示す。方法１２００は、第１のデバイスで具現化され得る。例えば、方法１２００は、クライアント又は受信機に埋め込まれ得る。本明細書で使用される「クライアント」という用語は、コンピュータネットワークのクライアントサーバモデルの一部としてサーバによって利用可能にされるサービスにアクセスするコンピューターハードウェア又はソフトウェアを指し得る。単なる例として、クライアントはスマートフォン又はタブレットであり得る。いくつかの実施形態では、第１のデバイスは、図１に示される宛先デバイス１２０で具現化され得る。
【0063】
ブロック１２１０で、第１のデバイスは第２のデバイスからメタデータファイルを受信する。前記メタデータファイルは、ビデオビットストリームに関する重要な情報、例えば、プロファイル、階層、レベルなどを含み得る。例えば、前記メタデータファイルは、ＤＡＳＨメディアプレゼンテーション記述（ＭＰＤ）であり得る。上記の例は、単に説明を目的として記載されたものであることを理解すべきである。本開示の範囲は、この点に限定されない。
【0064】
ブロック１２２０で、第１のデバイスは、メタデータファイル内のデータセットにおける記述子を決定する。前記記述子の存在は、データセット内の表現がメインストリーム表現(ＭＳＲ)であることを示す。言い換えれば、前記データセットが前記記述子を含む場合、前記データセット内の表現がＭＳＲであることを意味する。
【0065】
方法１２００によれば、ＭＳＲを識別するために記述子が使用される。属性を利用してＭＳＲを識別する従来の方案と比較して、提案された方法は、より効率的にＭＳＲを識別できるという利点がある。
【0066】
いくつかの実施形態では、記述子は、ユニフォームリソースネーム（ＵＲＮ）文字列に等しい属性を持つデータ構造として定義され得る。一例では、前記メタデータファイルはメディアプレゼンテーション記述（ＭＰＤ）であり得、前記データ構造はＭＰＤ内のEssentialPropertyであり得る。さらに、前記属性はschemeIdUri属性であり得、前記ＵＲＮ文字列は「urn:mpeg:dash:msr:2022」であり得る。即ち、前記記述子は、特定のＵＲＮ文字列(例:「urn:mpeg:dash:msr:2022」)に等しい@schemeIdUriの値を持つEssentialProperty記述子として定義され得る。ここで説明されるＵＲＮ文字列の可能な実施は、単に説明的なものであり、したがって、いかなる形でも本開示を限定するものとして解釈されるべきではないことを理解すべきである。
【0067】
別の例では、前記メタデータファイルはＭＰＤであり得、前記データ構造はＭＰＤ内のSupplementalPropertyであり得る。同様に、前記属性はschemeIdUri属性であり得、前記ＵＲＮ文字列は「urn:mpeg:dash:msr:2022」であり得る。即ち、前記記述子は、特定のＵＲＮ文字列(例:「urn:mpeg:dash:msr:2022」)に等しい@schemeIdUriの値を持つSupplementalProperty記述子として定義され得る。ここで説明されるＵＲＮ文字列の可能な実施は、単に説明的なものであり、したがって、いかなる形でも本開示を限定するものとして解釈されるべきではないことを理解すべきである。
【0068】
いくつかの実施形態では、前記データセットはアダプテーションセットであり得る。この場合、前記アダプテーションセット内のすべてのリプレゼンテーションがＭＳＲであり得る。代替形態として、前記アダプテーションセット内の表現の一部がＭＳＲであり得る。
【0069】
いくつかの実施形態では、前記データセットは表現であり得る。この場合、前記表現はＭＳＲであり得る。
【0070】
いくつかの実施形態では、ＭＳＲ内の拡張従属ランダムアクセスポイント（ＥＤＲＡＰ）サンプルは、ストリームアクセスポイント（ＳＡＰ）の開始アクセスユニット（ＳＡＵ）の指示を含み得る。一例では、前記ＥＤＲＡＰサンプルの第１のバイト位置は、ＳＡＵのインデックスであり得る。上記の例は、単に説明を目的として記載されたものであることを理解すべきである。本開示の範囲は、この点に限定されない。これにより、提案される方法は、ＭＳＲとストリームアクセスポイント（ＳＡＰ）との互換性を向上させることができるという利点がある。
【0071】
いくつかの追加の実施形態では、前記ＥＤＲＡＰサンプルは、前記ＥＤＲＡＰサンプルに関連付けられた外部ストリーム表現（ＥＳＲ）サンプルがデコーダに提供された後に前記デコーダに提供され得る。即ち、ＭＳＲ内の各ＥＤＲＡＰサンプルの第１のバイト位置は、ＳＡＰのＩＳＡＵであり得、これにより、対応するＥＳＲメディアサンプルがＥＤＲＡＰサンプルの直前にメディアデコーダに提供されるという条件で、ＭＳＲでのメディアストリームの再生が可能になる。これにより、提案される方法は、セグメントがＳＡＰで始まるかどうか、及びどのタイプのＳＡＰであるかをシグナリングすることが可能になる。
【0072】
いくつかの実施形態では、前記メタデータファイルはＭＤＰであり得、前記ＭＤＰ内のセグメントは前記ＭＳＲ内のＥＤＲＡＰピクチャで始まる。一例では、ＭＳＲ内の各ＥＤＲＡＰピクチャは、セグメント内の第１のピクチャである。
【0073】
図１３は、本開示のいくつかの実施形態によるビデオ処理のための方法１３００のフローチャートを示す。方法１３００は、第２のデバイスで具現化され得る。例えば、方法１３００は、サーバ又は送信機に埋め込まれ得る。本明細書で使用される「サーバ」という用語は、コンピューティング可能なデバイスを指し得るが、その場合、クライアントはネットワークを介してサービスにアクセスする。サーバは、物理コンピューティングデバイス又は仮想コンピューティングデバイスであり得る。いくつかの実施形態では、第２のデバイスは、図１に示されるソースデバイス１１０で具現化され得る。
【0074】
ブロック１３１０で、第２のデバイスは、メタデータファイル内のデータセット内の記述子を決定する。前記メタデータファイルは、ビデオビットストリームに関する重要な情報、例えば、プロファイル、階層、レベルなどを含み得る。例えば、前記メタデータファイルは、ＤＡＳＨメディアプレゼンテーション記述（ＭＰＤ）であり得る。前記記述子の存在は、データセット内の表現がメインストリーム表現(ＭＳＲ)であることを示す。言い換えれば、前記データセットが前記記述子を含む場合、前記データセット内の表現がＭＳＲであることを意味する。
【0075】
ブロック１３２０で、第２のデバイスはメタデータファイルを第１のデバイスに送信する。
【0076】
方法１３００によれば、ＭＳＲを識別するために記述子が使用される。属性を利用してＭＳＲを識別する従来の方案と比較して、提案される方法は、より効率的にＭＳＲを識別できるという利点がある。
【0077】
いくつかの実施形態では、記述子は、ユニフォームリソースネーム（ＵＲＮ）文字列に等しい属性を持つデータ構造として定義され得る。一例では、前記メタデータファイルはメディアプレゼンテーション記述（ＭＰＤ）であり得、前記データ構造はＭＰＤ内のEssentialPropertyであり得る。さらに、前記属性はschemeIdUri属性であり得、前記ＵＲＮ文字列は「urn:mpeg:dash:msr:2022」であり得る。即ち、前記記述子は、特定のＵＲＮ文字列(例:「urn:mpeg:dash:msr:2022」)に等しい@schemeIdUriの値を持つEssentialProperty記述子として定義され得る。ここで説明されるＵＲＮ文字列の可能な具現化は、単に説明的なものであり、したがって、いかなる形でも本開示を限定するものとして解釈されるべきではないことを理解すべきである。
【0078】
別の例では、前記メタデータファイルはＭＰＤであり得、前記データ構造は前記ＭＰＤ内のSupplementalPropertyであり得る。同様に、前記属性はschemeIdUri属性であり得、前記ＵＲＮ文字列は「urn:mpeg:dash:msr:2022」であり得る。即ち、前記記述子は、特定のＵＲＮ文字列(例:「urn:mpeg:dash:msr:2022」)に等しい@schemeIdUriの値を持つSupplementalProperty記述子として定義され得る。ここで説明されるＵＲＮ文字列の可能な具現化は、単に説明的なものであり、したがって、いかなる形でも本開示を限定するものとして解釈されるべきではないことを理解すべきである。
【0079】
いくつかの実施形態では、前記データセットはアダプテーションセットであり得る。この場合、前記アダプテーションセット内のすべてのリプレゼンテーションがＭＳＲであり得る。代替形態として、前記アダプテーションセット内の表現の一部がＭＳＲであり得る。
【0080】
いくつかの実施形態では、前記データセットは表現であり得る。この場合、前記表現はＭＳＲであり得る。
【0081】
いくつかの実施形態では、ＭＳＲ内の拡張従属ランダムアクセスポイント（ＥＤＲＡＰ）サンプルは、ストリームアクセスポイント（ＳＡＰ）の開始アクセスユニット（ＳＡＵ）の指示を含み得る。一例では、前記ＥＤＲＡＰサンプルの第１のバイト位置は、ＳＡＵのインデックスであり得る。上記の例は、単に説明を目的として記載されたものであることを理解すべきである。本開示の範囲は、この点に限定されない。これにより、提案される方法は、ＭＳＲとストリームアクセスポイント（ＳＡＰ）との互換性を向上させることができるという利点がある。
【0082】
いくつかの追加の実施形態では、前記ＥＤＲＡＰサンプルは、前記ＥＤＲＡＰサンプルに関連付けられた外部ストリーム表現（ＥＳＲ）サンプルがデコーダに提供された後に前記デコーダに提供され得る。即ち、ＭＳＲ内の各ＥＤＲＡＰサンプルの第１のバイト位置は、ＳＡＰのＩＳＡＵであり得、これにより、対応するＥＳＲメディアサンプルがＥＤＲＡＰサンプルの直前にメディアデコーダに提供されるという条件で、ＭＳＲでのメディアストリームの再生が可能になる。これにより、提案される方法は、セグメントがＳＡＰで始まるかどうか、及びどのタイプのＳＡＰであるかをシグナリングすることが可能になる。
【0083】
いくつかの実施形態では、前記メタデータファイルはＭＤＰであり得、前記ＭＤＰ内のセグメントは前記ＭＳＲ内のＥＤＲＡＰピクチャで始まる。一例では、ＭＳＲ内の各ＥＤＲＡＰピクチャは、セグメント内の第１のピクチャである。
【0084】
本開示の実施形態は、個別に具現化することができる。代替形態として、本開示の実施形態は、任意の適切な組み合わせで具現化することができる。本開示の具現化は、以下の条項を考慮して説明することができ、その特徴は任意の合理的な方式で組み合わせることができる。
【0085】
条項１．ビデオ処理方法であって、第１のデバイスで、第２のデバイスからメタデータファイルを受信するステップと；前記メタデータファイル内のデータセットにおける記述子を決定するステップであって、前記記述子の存在は、前記データセットにおける表現がメインストリーム表現（ＭＳＲ）であることを示すステップと；を含む方法。
【0086】
条項２．ビデオ処理方法であって、第２のデバイスで、メタデータファイル内のデータセットにおける記述子を決定するステップであって、前記記述子の存在は、前記データセットにおける表現がＭＳＲであることを示すステップと；前記メタデータファイルを第１のデバイスに送信するステップと；を含む方法。
【0087】
条項３．前記記述子は、ユニフォームリソースネーム（ＵＲＮ：uniform resource name）文字列に等しい属性を持つデータ構造として定義される、条項１から２のいずれか一項に記載の方法。
【0088】
条項４．前記メタデータファイルはメディアプレゼンテーション記述（ＭＰＤ：media presentation description）であり、前記データ構造は前記ＭＰＤにおけるEssentialPropertyである、条項３に記載の方法。
【0089】
条項５．前記メタデータファイルはメディアプレゼンテーション記述（ＭＰＤ）であり、前記データ構造は前記ＭＰＤにおけるSupplementalPropertyである、条項３に記載の方法。
【0090】
条項６．前記属性はschemeIdUri属性であり、前記ＵＲＮ文字列は「urn:mpeg:dash:msr:2022」である、条項４から５のいずれか一項に記載の方法。
【0091】
条項７．前記データセットは、アダプテーションセット又は表現である、条項１から６のいずれか一項に記載の方法。
【0092】
条項８．前記データセットはアダプテーションセットであり、前記アダプテーションセットにおける表現の全部又は一部がＭＳＲである、条項１から６のいずれか一項に記載の方法。
【0093】
条項９．前記ＭＳＲにおける拡張従属ランダムアクセスポイント（ＥＤＲＡＰ：extended dependent random access point）サンプルは、ストリームアクセスポイント（ＳＡＰ：stream access point）の開始アクセスユニット（ＳＡＵ：starting access unit）の指示を含む、条項１から８のいずれか一項に記載の方法。
【0094】
条項１０．前記ＥＤＲＡＰサンプルは、前記ＥＤＲＡＰサンプルに関連付けられた外部ストリーム表現（ＥＳＲ：external stream representation）サンプルがデコーダに提供された後に前記デコーダに提供される、条項９に記載の方法。
【0095】
条項１１．前記ＥＤＲＡＰサンプルの第１のバイト位置は、前記ＳＡＵのインデックスである、条項９から１０のいずれか一項に記載の方法。
【0096】
条項１２．前記メタデータファイルはＭＤＰであり、前記ＭＤＰ内のセグメントは前記ＭＳＲ内のＥＤＲＡＰピクチャで始まる、条項１から１１のいずれか一項に記載の方法。
【0097】
条項１３．プロセッサと命令を備えた非一時的なメモリとを含むビデオデータを処理する装置であって、前記命令は前記プロセッサによって実行されると、前記プロセッサに条項１から１２のいずれか一項に記載の方法を実行させる装置。
【0098】
条項１４．プロセッサに条項１から１２のいずれか一項に記載の方法を実行させる命令を記憶する非一時的なコンピュータ可読記憶媒体。
【0099】
例示的なデバイス
図１４は、本開示の様々な実施形態を具現化できるコンピューティングデバイス１４００のブロック図を示す。コンピューティングデバイス１４００は、ソースデバイス１１０（或いは、ビデオエンコーダ１１４又は２００）又は宛先デバイス１２０（或いはビデオデコーダ１２４又は３００）として具現化されるか、又はそれに含まれ得る。
図１４は、本開示の様々な実施形態を具現化できるコンピューティングデバイス１４００のブロック図を示す。コンピューティングデバイス１４００は、ソースデバイス１１０（或いは、ビデオエンコーダ１１４又は２００）又は宛先デバイス１２０（或いはビデオデコーダ１２４又は３００）として具現化されるか、又はそれに含まれ得る。
【0100】
図１４に示されるコンピューティングデバイス１４００は、単に説明を目的としたものであり、本開示の実施形態の機能及び範囲をいかなる形でも制限することを示唆するものではないことが理解されるだろう。
【0101】
図１４に示すように、コンピューティングデバイス１４００は、汎用コンピューティングデバイス１４００を含む。コンピューティングデバイス１４００は、少なくとも１つ又は複数のプロセッサ又は処理ユニット１４１０と、メモリ１４２０と、記憶ユニット１４３０と、１つ又は複数の通信ユニット１４４０と、１つ又は複数の入力デバイス１４５０と、１つ又は複数の出力デバイス１４６０とを含み得る。
【0102】
いくつかの実施形態では、コンピューティングデバイス１４００は、コンピューティング能力を有する任意のユーザ端末又はサーバ端末として具現化され得る。前記サーバ端末は、サービスプロバイダが提供するサーバや大規模コンピューティングデバイスなどであり得る。前記ユーザ端末は、例えば、携帯電話、ステーション、ユニット、デバイス、マルチメディアコンピュータ、マルチメディアタブレット、インターネットノード、コミュニケータ、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、パーソナルコミュニケーションシステム（ＰＣＳ)デバイス、パーソナルナビゲーションデバイス、携帯情報端末(ＰＤＡ)、オーディオ/ビデオプレーヤー、デジタルカメラ／ビデオカメラ、測位デバイス、テレビ受信機、ラジオ放送受信機、電子ブックデバイス、ゲームデバイス、又はそれらの任意の組み合わせ（これらのデバイスのアクセサリ及び周辺機器、又はそれらの任意の組み合わせを含む）を含む、任意のタイプの移動端末、固定端末、又は携帯端末であり得る。コンピューティングデバイス１４００は、ユーザに対する任意のタイプのインターフェース（「ウェアラブル」回路など）をサポートできることが考えられる。
【0103】
処理ユニット１４１０は、物理又は仮想プロセッサであり得、メモリ１４２０に格納されたプログラムに基づいて様々なプロセスを具現化することができる。マルチプロセッサシステムでは、コンピューティングデバイス１４００の並列処理能力を向上させるために、複数の処理ユニットがコンピュータ実行可能命令を並列に実行する。処理ユニット１４１０は、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、コントローラ、又はマイクロコントローラと呼ばれ得る。
【0104】
コンピューティングデバイス１４００は、通常、様々なコンピュータ記憶媒体を含む。このような媒体は、揮発性及び不揮発性媒体、又は取り外し可能及び取り外し不可能な媒体を含むがこれらに限定されない、コンピューティングデバイス１４００によってアクセス可能な任意の媒体であり得る。メモリ１４２０は、揮発性メモリ（例えば、レジスタ、キャッシュ、ランダムアクセスメモリ（ＲＡＭ））、不揮発性メモリ（例えば、読み取り専用メモリ（ＲＯＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ）、又はそれらの任意の組み合わせであり得る。記憶ユニット１４３０は、任意の取り外し（削除）可能又は取り外し（削除）不可能な媒体であり得、情報及び／又はデータを記憶するために使用でき、コンピューティングデバイス１４００でアクセスできる、メモリ、フラッシュメモリドライブ、磁気ディスク、又は別の他の媒体などの機械可読媒体を含み得る。
【0105】
コンピューティングデバイス１４００は、追加の取り外し可能／取り外し不可能、揮発性／不揮発性メモリ媒体をさらに含み得る。なお、図１４には示していないが、着脱可能な不揮発性磁気ディスクの読み書きを行う磁気ディスクドライブや、着脱可能な不揮発性光ディスクの読み書きを行う光ディスクドライブを提供することが可能である。このような場合、各ドライブは、１つ又は複数のデータ媒体インターフェイスを介してバス（図示せず)に接続され得る。
【0106】
通信ユニット１４４０は、通信媒体を介してさらなるコンピューティングデバイスと通信する。さらに、コンピューティングデバイス１４００内のコンポーネントの機能は、通信接続を介して通信できる単一のコンピューティングクラスタ又は複数のコンピューティングマシンによって具現化することができる。したがって、コンピューティングデバイス１４００は、１つ又は複数の他のサーバ、ネットワーク化されたパーソナルコンピュータ（ＰＣ）、又はさらなる一般的なネットワークノードとの論理接続を使用して、ネットワーク化された環境で動作することができる。
【0107】
入力デバイス１４５０は、マウス、キーボード、トラッキングボール、音声入力デバイスなどの様々な入力デバイスのうちの１つ又は複数であり得る。出力デバイス１４６０は、ディスプレイ、スピーカ、プリンタなどの様々な出力デバイスのうちの１つ又は複数であり得る。通信ユニット１４４０によって、コンピューティングデバイス１４００は、記憶デバイス及び表示デバイスなどの１つ又は複数の外部デバイス（図示せず）とさらに通信することができ、１つ又は複数のデバイスにより、ユーザがコンピューティングデバイス１４００と対話可能にするか、又は、必要に応じて、任意のデバイス（ネットワークカード、モデムなど）により、コンピューティングデバイス１４００が１つ又は複数の他のコンピューティングデバイスと通信可能にする。このような通信は、入出力(Ｉ／Ｏ)インターフェイス（図示せず)を介して実行できる。
【0108】
いくつかの実施形態では、単一のデバイスに統合される代わりに、コンピューティングデバイス１４００のいくつかの又はすべてのコンポーネントがクラウドコンピューティングアーキテクチャに配置され得る。クラウドコンピューティングアーキテクチャでは、コンポーネントは遠隔的に提供され、連携して本開示で説明される機能を具現化し得る。いくつかの実施形態では、クラウドコンピューティングは、コンピューティング、ソフトウェア、データアクセス及びストレージサービスを提供し、これらのサービスを提供するシステム又はハードウェアの物理的な位置又は構成をエンドユーザが認識する必要はない。様々な実施形態において、クラウドコンピューティングは、適切なプロトコルを使用して広域ネットワーク（インターネットなど）を介してサービスを提供する。例えば、クラウドコンピューティングプロバイダーは、Ｗｅｂブラウザ又はその他のコンピューティングコンポーネントを通じてアクセスできる広域ネットワーク経由でアプリケーションを提供する。クラウドコンピューティングアーキテクチャのソフトウェア又はコンポーネント及び対応するデータは、遠隔地にあるサーバに保存され得る。クラウドコンピューティング環境におけるコンピューティングリソースは、リモートデータセンターの場所に併合又は分散され得る。クラウドコンピューティングインフラストラクチャは、ユーザにとって単一のアクセスポイントとして動作するが、共有データセンターを通じてサービスを提供し得る。したがって、クラウドコンピューティングアーキテクチャを使用して、本明細書で説明されるコンポーネント及び機能を遠隔地にあるサービスプロバイダから提供し得る。代替形態として、それらは従来のサーバから提供されるか、又はクライアントデバイスに直接又はその他の方法でインストールされ得る。
【0109】
コンピューティングデバイス１４００は、本開示の実施形態においてビデオ符号化／復号化を具現化するために使用され得る。メモリ１４２０は、１つ又は複数のプログラム命令を有する１つ又は複数のビデオ符号化モジュール１４２５を含み得る。これらのモジュールは、本明細書で説明される様々な実施形態の機能を実行するように、処理ユニット１４１０によってアクセス可能かつ実行可能である。
【0110】
ビデオ符号化を実行する例示的な実施形態では、入力デバイス１４５０は、符号化されるビデオデータを入力１４７０として受信し得る。ビデオデータは、例えば、ビデオ符号化モジュール１４２５によって処理されて、符号化されたビットストリームを生成し得る。符号化されたビットストリームは、出力デバイス１４６０を介して出力１４８０として提供され得る。
【0111】
ビデオ復号を実行する例示的な実施形態では、入力デバイス１４５０は、符号化されたビットストリームを入力１４７０として受信し得る。符号化されたビットストリームは、例えば、ビデオ符号化モジュール１４２５によって処理されて、復号されたビデオデータを生成し得る。復号されたビデオデータは、出力デバイス１４６０を介して出力１４８０として提供され得る。
【0112】
本開示は、その好ましい実施形態を参照して特に図示及び説明されたが、添付の特許請求の範囲によって定義される本出願の精神及び範囲から逸脱することなく、形態及び詳細における様々な変更を行うことができることが当業者には理解されるであろう。このような変形は、本出願の範囲に含まれるものとする。したがって、本出願の実施形態に関する前述の説明は限定することを意図したものではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【手続補正書】
【提出日】2024-04-03
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ビデオ処理方法であって、第１のデバイスで、第２のデバイスからメタデータファイルを受信するステップと、
前記メタデータファイル内のデータセットにおける記述子を決定するステップであって、前記記述子の存在は、前記データセットにおける表現がメインストリーム表現（ＭＳＲ）であることを示すステップとを含む、方法。
【請求項2】
前記記述子は、ユニフォームリソースネーム（ＵＲＮ：uniform resource name）文字列に等しい属性を持つデータ構造として定義される、請求項１に記載の方法。
【請求項3】
前記メタデータファイルはメディアプレゼンテーション記述（ＭＰＤ：media presentation description）であり、前記データ構造は前記ＭＰＤにおけるEssentialPropertyである、請求項２に記載の方法。
【請求項4】
前記属性はschemeIdUri属性であり、前記ＵＲＮ文字列は「urn:mpeg:dash:msr:2022」である、請求項３に記載の方法。
【請求項5】
前記データセットは、アダプテーションセット又は表現である、請求項１に記載の方法。
【請求項6】
前記ＭＳＲにおける拡張従属ランダムアクセスポイント（ＥＤＲＡＰ：extended dependent random access point）サンプルは、ストリームアクセスポイント（ＳＡＰ：stream access point）の開始アクセスユニット（ＳＡＵ：starting access unit）の指示を含む、請求項１に記載の方法。
【請求項7】
前記ＥＤＲＡＰサンプルは、前記ＥＤＲＡＰサンプルに関連付けられた外部ストリーム表現（ＥＳＲ：external stream representation）サンプルがデコーダに提供された後に前記デコーダに提供される、請求項６に記載の方法。
【請求項8】
前記ＥＤＲＡＰサンプルの第１のバイト位置は、前記ＳＡＵのインデックスである、請求項６に記載の方法。
【請求項9】
ビデオ処理方法であって、
第２の装置で、メタデータファイル内のデータセットにおける記述子を決定するステップであって、前記記述子の存在は、前記データセットにおける表現がＭＳＲであることを示すステップと、
前記メタデータファイルを第１のデバイスに送信するステップとを含む方法。
【請求項10】
前記記述子は、ユニフォームリソースネーム（ＵＲＮ）文字列に等しい属性を持つデータ構造として定義される、請求項９に記載の方法。
【請求項11】
前記メタデータファイルはメディアプレゼンテーション記述（ＭＰＤ）であり、前記データ構造は前記ＭＰＤにおけるEssentialPropertyである、請求項１０に記載の方法。
【請求項12】
前記属性はschemeIdUri属性であり、前記ＵＲＮ文字列は「urn:mpeg:dash:msr:2022」である、請求項１１に記載の方法。
【請求項13】
前記データセットはアダプテーションセットである、請求項９に記載の方法。
【請求項14】
前記ＭＳＲ内の拡張従属ランダムアクセスポイント（ＥＤＲＡＰ）サンプルは、ストリームアクセスポイント（ＳＡＰ）の開始アクセスユニット（ＳＡＵ）の指示を含む、請求項９に記載の方法。
【請求項15】
前記ＥＤＲＡＰサンプルは、前記ＥＤＲＡＰサンプルに関連付けられた外部ストリーム表現（ＥＳＲ）サンプルがデコーダに提供された後に前記デコーダに提供される、請求項１４に記載の方法。
【請求項16】
前記ＥＤＲＡＰサンプルの第１のバイト位置は、前記ＳＡＵのインデックスである、請求項１４に記載の方法。
【請求項17】
プロセッサと命令を備えた非一時的メモリとを含むビデオデータを処理する装置であって、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
第１のデバイスで、第２のデバイスからメタデータファイルを受信することと、
前記メタデータファイル内のデータセットにおける記述子を決定することであって、前記記述子の存在は、前記データセットにおける表現がメインストリーム表現(ＭＳＲ)であることを示すこととを含む動作を実行させる、装置。
【請求項18】
プロセッサに、
第１のデバイスで、第２のデバイスからメタデータファイルを受信することと、
前記メタデータファイル内のデータセットにおける記述子を決定することであって、前記記述子の存在は、前記データセットにおける表現がメインストリーム表現(ＭＳＲ)であることを示すこととを含む動作を実行させる命令を記憶する、非一時的なコンピュータ可読記憶媒体。
【請求項19】
プロセッサと命令を備えた非一時的メモリとを含むビデオデータを処理する装置であって、前記命令は前記プロセッサによって実行されると、前記プロセッサに、
第２の装置で、メタデータファイル内のデータセットにおける記述子を決定することであって、前記記述子の存在は、前記データセットにおける表現がＭＳＲであることを示すことと、
前記メタデータファイルを第１のデバイスに送信することとを含む動作を実行させる、装置。
【請求項20】
プロセッサに、
第２の装置で、メタデータファイル内のデータセットにおける記述子を決定することであって、前記記述子の存在は、前記データセットにおける表現がＭＳＲであることを示すことと、
前記メタデータファイルを第１のデバイスに送信することとを含む動作を実行させる命令を記憶する、非一時的なコンピュータ可読記憶媒体。
【国際調査報告】