特表 2024-513062 多次元メディアデータを多次元メディアセグメントに分割及びマージするための方法、装置及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-21

(54)【発明の名称】多次元メディアデータを多次元メディアセグメントに分割及びマージするための方法、装置及びコンピュータプログラム

(51)【国際特許分類】

   G06F 9/50 20060101AFI20240313BHJP

   G06F 8/41 20180101ALI20240313BHJP

【ＦＩ】

G06F9/50 150E

G06F8/41 130

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023560809

(86)(22)【出願日】2022-12-13

(85)【翻訳文提出日】2023-10-02

(86)【国際出願番号】 US2022052642

(87)【国際公開番号】W WO2023136899

(87)【国際公開日】2023-07-20

(31)【優先権主張番号】63/298,536

(32)【優先日】2022-01-11

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】18/073,048

(32)【優先日】2022-12-01

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ソダガァ，イラジ

【テーマコード（参考）】

5B081

【Ｆターム（参考）】

5B081CC32

(57)【要約】

方法は、多次元メディアストリームを、多次元空間における多次元メディアの複数のセグメントにセグメント化するステップと；セグメント化された多次元メディアストリームを、並列に処理することが可能な複数のサブストリームに分割するステップであって、複数のサブストリームの各々が、各サブストリーム内のセグメントを順序付けるために使用されるセグメントメタデータを含むステップと；複数のサブストリームの各々を並列に処理するステップと；出力セグメントに搬送されるセグメントメタデータを使用して複数のサブストリームを単一のストリームにマージするステップであって、単一のストリームが順序付けされたセグメントを含むステップと；を含む。

【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサによって実行される方法であって、
多次元メディアストリームを、多次元空間における多次元メディアの複数のセグメントにセグメント化するステップと、
前記セグメント化された多次元メディアストリームを、並列に処理することが可能な複数のサブストリームに分割するステップであって、前記複数のサブストリームの各々は、各サブストリーム内のセグメントを順序付けるために使用されるセグメントメタデータを含むステップと、
前記複数のサブストリームの各々を並列に処理するステップと、
出力セグメントに搬送される前記セグメントメタデータを使用して前記複数のサブストリームを単一のストリームにマージするステップであって、前記単一のストリームは順序付けされたセグメントを含むステップと、
を含む、方法。

【請求項2】

それぞれのシーケンスベクトルを使用して前記多次元メディアの複数のセグメントを表現するステップを更に含み、前記シーケンスベクトルは前記セグメントメタデータを含み、前記セグメントメタデータは、（１）開始ベクトル、長さベクトル及びスケーリングベクトルと、（２）開始コードと、のうちの一方を含む、
請求項１に記載の方法。

【請求項3】

前記複数のサブストリームをマージする前に、各サブストリームについて、前記多次元メディアの複数のセグメントをシーケンスベクトルの昇順に順序付けするステップを更に含む、
請求項１に記載の方法。

【請求項4】

前記複数のサブストリームをマージした後に、各サブストリームについて、前記多次元メディアの複数のセグメントをシーケンスベクトルの昇順に順序付けするステップを更に含む、
請求項１に記載の方法。

【請求項5】

前記多次元メディアの複数のセグメントの各々は、セグメント位置メタデータ又はセグメントシーケンスメタデータを含む、
請求項２に記載の方法。

【請求項6】

前記開始コードは、前記多次元メディアの複数のセグメントのすべてにおいて同一かつ一意である、
請求項２に記載の方法。

【請求項7】

前記複数のサブストリーム内の前記多次元メディアの複数のセグメントは、複数の入力セグメントと複数の出力セグメントとを含み、前記複数の出力セグメントの各々は、前記複数のサブストリーム内の前記複数の入力セグメントのうちの１つと正確に同一である、
請求項１に記載の方法。

【請求項8】

装置であって、
プログラムコードを記憶するよう構成される少なくとも１つのメモリと、
前記プログラムコードを読み出し、前記プログラムコードによって指示されるように動作するよう構成される少なくとも１つのプロセッサと、
を備え、前記プログラムコードは、
前記少なくとも１つのプロセッサに、多次元メディアストリームを、多次元空間における多次元メディアの複数のセグメントにセグメント化させるよう構成されるセグメント化コードと、
前記少なくとも１つのプロセッサに、前記セグメント化された多次元メディアストリームを、並列に処理することが可能な複数のサブストリームに分割させるよう構成されるスプリットコードであって、ここで、前記複数のサブストリームの各々は、各サブストリーム内のセグメントを順序付けるために使用されるセグメントメタデータを含む、スプリットコードと、
前記少なくとも１つのプロセッサに、前記複数のサブストリームの各々を並列に処理させるよう構成される処理コードと、
前記少なくとも１つのプロセッサに、出力セグメントに搬送される前記セグメントメタデータを使用して前記複数のサブストリームを単一のストリームにマージするよう構成されるマージコードであって、ここで、前記単一のストリームは順序付けされたセグメントを含む、マージコードと、
を含む、装置。

【請求項9】

前記プログラムコードは、前記少なくとも１つのプロセッサに、それぞれのシーケンスベクトルを使用して前記多次元メディアの複数のセグメントを表現させるよう構成される表現コードを更に含み、前記シーケンスベクトルは前記セグメントメタデータを含み、前記セグメントメタデータは、（１）開始ベクトル、長さベクトル及びスケーリングベクトルと、（２）開始コードと、のうちの一方を含む、
請求項８に記載の装置。

【請求項10】

前記プログラムコードは、前記少なくとも１つのプロセッサに、前記複数のサブストリームをマージする前に、各サブストリームについて、前記多次元メディアの複数のセグメントをシーケンスベクトルの昇順に順序付けさせるよう構成される第１順序付けコードを更に含む、
請求項８に記載の装置。

【請求項11】

前記プログラムコードは、前記少なくとも１つのプロセッサに、前記複数のサブストリームをマージした後に、各サブストリームについて、前記多次元メディアの複数のセグメントをシーケンスベクトルの昇順に順序付けさせるよう構成される第２順序付けコードを更に含む、
請求項８に記載の装置。

【請求項12】

前記多次元メディアの複数のセグメントの各々は、セグメント位置メタデータ又はセグメントシーケンスメタデータを含む、
請求項９に記載の装置。

【請求項13】

前記開始コードは、前記多次元メディアの複数のセグメントのすべてにおいて同一かつ一意である、
請求項９に記載の装置。

【請求項14】

前記複数のサブストリーム内の前記多次元メディアの複数のセグメントは、複数の入力セグメントと複数の出力セグメントとを含み、前記複数の出力セグメントの各々は、前記複数のサブストリーム内の前記複数の入力セグメントのうちの１つと正確に同一である、
請求項８に記載の装置。

【請求項15】

少なくとも１つのプロセッサによって実行されると、該少なくとも１つのプロセッサに、請求項１乃至７のいずれか一項に記載の方法を実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２２年１月１１日に出願された米国特許出願第６３／２９８，５３６号及び２０２２年１２月１日に出願された米国特許出願第１８／０７３，０４８号に基づき、これらに対する優先権を主張するものであり、これらの開示内容は、参照によりその全体が本明細書に組み込まれる。

【0002】

技術分野
本開示は、多次元メディアデータを、各々が独立に処理され得るセグメントに分割及びマージすることをサポートするために、一次元ＮＢＭＰスプリッタ及びマージャ関数に対する拡張を提供する。

【背景技術】

【0003】

ネットワークベースのメディア処理（ＮＢＭＰ、network-based media processing）フレームワークは、メディア処理のためにデジタルネットワークを介して接続されるエンティティ間のデータフォーマットとアプリケーションプログラミングインタフェース（ＡＰＩ）の両方を含む、インタフェースを定義する。ＮＢＭＰ標準は、１次元メディアセグメントの独立の処理のためのツールのセットを定義する。このフレームワークは、メディア処理パイプラインの動的な作成と、処理されたメディアデータ及びメタデータへのリアルタイム又は遅延方式でのアクセスを可能にする。ネットワーク及びクラウドプラットフォームは、様々なアプリケーションを実行するために使用される。メディアが多次元であるとき、メディアデータを複数の次元にセグメント化する必要があり得る。並列処理が必要とされる場合、そのようなメディアデータは分割（split）され、並列パスで処理され、再度マージされる必要がある。現在のＮＢＭＰスプリッタ及びマージャ関数は、多次元セグメントメタデータをサポートしていない。

【発明の概要】

【0004】

以下は、このような実施形態の基本的な理解を提供するために、本開示の１つ以上の実施形態の簡略化された要約を提示する。この要約は、すべての意図された実施形態の広範な概要ではなく、すべての実施形態の主要な又は重要な要素を特定することも、いずれかの又はすべての実施形態の範囲を画定することも意図されていない。この要約の唯一の目的は、本開示の１つ以上の実施形態のいくつかの概念を、後に提示されるより詳細な説明への序文として簡略化された形式で提示することである。

【0005】

いくつかの実施形態によると、少なくとも１つのプロセッサによって実行される方法が提供される。本方法は、多次元メディアストリームを、多次元空間における多次元メディアの複数のセグメントにセグメント化するステップを含む。本方法は、セグメント化された多次元メディアストリームを、並列に処理することが可能な複数のサブストリームに分割するステップを更に含み、ここで、複数のサブストリームの各々は、各サブストリーム内のセグメントを順序付けるために使用されるセグメントメタデータを含む。本方法は、複数のサブストリームの各々を並列に処理するステップと、出力セグメントに搬送されるセグメントメタデータを使用して複数のサブストリームを単一のストリームにマージするステップを更に含み、ここで、単一のストリームは順序付けされたセグメントを含む。

【0006】

いくつかの実施形態によると、装置は、プログラムコードを記憶するよう構成される少なくとも１つのメモリと、プログラムコードを読み出し、プログラムコードによって指示されるように動作するよう構成される少なくとも１つのプロセッサとを含む。プログラムコードは、少なくとも１つのプロセッサに、多次元メディアストリームを、多次元空間における多次元メディアの複数のセグメントにセグメント化させるよう構成される、セグメント化コードを含む。プログラムコードは、少なくとも１つのプロセッサに、セグメント化された多次元メディアストリームを、並列に処理することが可能な複数のサブストリームに分割させるよう構成されるスプリットコード（splitting code）を更に含み、ここで、複数のサブストリームの各々は、各サブストリーム内のセグメントを順序付けるために使用されるセグメントメタデータを含む。プログラムコードは、少なくとも１つのプロセッサに、複数のサブストリームの各々を並列に処理させるよう構成される処理コードを更に含む。プログラムコードは、少なくとも１つのプロセッサに、出力セグメントに搬送されるセグメントメタデータを使用して複数のサブストリームを単一のストリームにマージするよう構成されるマージコードを更に含み、ここで、単一のストリームは順序付けされたセグメントを含む。

【0007】

いくつかの実施形態によると、非一時的コンピュータ読取可能記憶媒体は、少なくとも１つのプロセッサによって実行されると、該少なくとも１つのプロセッサに、多次元メディアストリームを、多次元空間における多次元メディアの複数のセグメントにセグメント化させる命令を記憶する。命令は更に、少なくとも１つのプロセッサに、セグメント化された多次元メディアストリームを、並列に処理することが可能な複数のサブストリームに分割させ、ここで、複数のサブストリームの各々は、各サブストリーム内のセグメントを順序付けるために使用されるセグメントメタデータを含む。命令は更に、少なくとも１つのプロセッサに、多次元メディアセグメントで搬送されるセグメントメタデータを使用して複数のサブストリームの各々を並列に処理させる。命令は更に、少なくとも１つのプロセッサに、出力セグメントに搬送されるセグメントメタデータを使用して複数のサブストリームを単一のストリームにマージさせ、ここで、単一のストリームは順序付けされたセグメントを含む。

【0008】

追加の実施形態は、以下の説明に記載され、部分的には以下の説明から明らかになり、かつ／又は本開示の提示された実施形態の実施によって学習され得る。

【図面の簡単な説明】

【0009】

本開示の実施形態の上記及び他の態様、特徴及び側面は、添付の図面とともになされる以下の説明から明らかになるであろう。

【0010】

【図1】いくつかの実施形態による、本明細書で開示される方法、装置及びシステムが実装され得る環境の図である。

【0011】

【図2】いくつかの実施形態による、１つ以上のデバイスの例示的な構成要素のブロック図である。

【0012】

【図3】いくつかの実施形態による、ＮＢＭＰシステムのブロック図である。

【0013】

【図4】いくつかの実施形態による、セグメントの並列処理のためのワークフローの図である。

【0014】

【図5】いくつかの実施形態による、ＮＢＭＰでメディアコンテンツを処理するためのフローチャートである。

【発明を実施するための形態】

【0015】

例示的な実施形態の以下の詳細な説明は、添付図面を参照する。異なる図面における同じ参照番号は、同じ又は同様の要素を識別し得る。

【0016】

前述の開示は、例示及び説明を提供するが、網羅的であることも、あるいは開示された正確な形態に実装を限定することも意図されていない。上記開示に照らして修正及び変形が可能であり、あるいは実装の実施から修正及び変形が得られることがある。さらに、１つの実施形態の１つ以上の特徴又は構成要素が、別の実施形態（又は別の実施形態の１つ以上の特徴）に組み込まれてもよく、あるいは別の実施形態と組み合わされてもよい。さらに、以下に提供されるフローチャート及び動作の説明において、１つ以上の動作が省略されてもよく、１つ以上の動作が追加されてもよく、１つ以上の動作が（少なくとも部分的に）同時に実行されてもよく、１つ以上の動作の順序を切り替えてもよいことが理解される。

【0017】

本明細書に記載されるシステム及び／又は方法は、ハードウェア、ファームウェア又はハードウェアとソフトウェアの組合せの異なる形態で実装されてもよいことが明らかであろう。これらのシステム及び／又は方法を実装するために使用される実際の専用制御ハードウェア又はソフトウェアコードは、実装を限定するものではない。したがって、システム及び／又は方法の動作及び挙動は、特定のソフトウェアコードを参照することなく、本明細書で記載されたが、ソフトウェア及びハードウェアは、本明細書の記載に基づいてシステム及び／又は方法を実装するように設計され得ることが理解される。

【0018】

特徴の特定の組合せが特許請求の範囲に記載され、かつ／又は明細書に開示されているとしても、これらの組合せは、可能な実装の開示を限定するように意図されていない。実際、これらの特徴の多くは、特許請求の範囲に具体的に記載されていない方法及び／又は明細書に開示されていない方法で組み合わされてもよい。以下に列挙された各従属請求項は、１つの請求項のみに直接従属することがあるが、可能な実装の開示は、各従属請求項をクレームセット内のすべての他の請求項と組み合わせて含む。

【0019】

本明細書で使用されるいかなる要素、行為又は指示も、そのように明示的に記載されない限り、本質的又は不可欠であると解釈されるべきではない。また、本明細書で使用されるとき、「ａ」及び「ａｎ」という冠詞は、１つ以上の項目を含むように意図され、「１つ以上」と互換的に使用され得る。１つの項目のみが意図される場合、用語「１つ」又は類似の言語が使用される。また、本明細書で使用されるとき、「有する（has）」、「有する（have）」、「有する（having）」、「含む（include）」、「含む（including）」等の用語は、オープンエンドの用語であるように意図される。さらに、「に基づく」というフレーズは、明示的に別段の記載がない限り、「少なくとも部分的に基づく」を意味するように意図される。さらに、「［Ａ］及び［Ｂ］のうちの少なくとも１つ」又は「［Ａ］又は［Ｂ］のうちの少なくとも１つ」等の表現は、Ａのみ、Ｂのみ又はＡとＢの両方を含むものと理解されるべきである。

【0020】

本明細書全体を通して「一実施形態」、「実施形態」又は類似の言語への参照は、示される実施形態に関連して説明される特定の特徴、構造又は特性が、本解決策の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体を通じて「一実施形態において」、「実施形態において」及び類似の言語は、すべて同じ実施形態を参照することがあるが、必ずしもそうではない。

【0021】

さらに、本開示の説明される特徴、利点及び特性は、１つ以上の実施形態において任意の適切な方法で組み合わされてよい。当業者は、本明細書の説明に照らして、本開示が特定の実施形態の具体的な特徴又は利点のうちの１つ以上を伴わずに実施されてもよいことを認識するであろう。他の例では、本開示のすべての実施形態に存在しないことがある、追加の特徴及び利点が特定の実施形態において認識され得る。

【0022】

図１は、実施形態による、本明細書に記載される方法、装置及びシステムが実装され得る環境１００の図である。図１に示されるように、環境１００は、ユーザデバイス１１０、プラットフォーム１２０及びネットワーク１３０を含んでよい。環境１００のデバイスは、有線接続、無線接続又は有線接続と無線接続の組合せを介して相互接続し得る。

【0023】

ユーザデバイス１１０は、プラットフォーム１２０に関連付けられる情報を受信、生成、記憶、処理及び／又は提供することができる１つ以上のデバイスを含む。例えばユーザデバイス１１０は、コンピューティングデバイス（例えばデスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ハンドヘルドコンピュータ、スマートスピーカ、サーバ等）、携帯電話（例えばスマートフォン、無線電話等）、ウェアラブルデバイス（例えば一対のスマートグラス又はスマートウォッチ）又は同様のデバイスを含み得る。いくつかの実施形態では、ユーザデバイス１１０は、プラットフォーム１２０から情報を受信し、かつ／又はプラットフォーム１２０に情報を送信し得る。

【0024】

プラットフォーム１２０は、本明細書の他の箇所に記載されるような１つ以上のデバイスを含む。いくつかの実装では、プラットフォーム１２０は、クラウドサーバ又は一群のクラウドサーバを含み得る。いくつかの実装では、プラットフォーム１２０は、特定のニーズに応じてソフトウェア構成要素がスワップイン又はスワップアウトされ得るようにモジュール式に設計され得る。したがって、プラットフォーム１２０は、異なる使用のために容易かつ／又は迅速に再構成され得る。

【0025】

いくつかの実装では、図示されるように、プラットフォーム１２０は、クラウドコンピューティング環境１２２においてホストされ得る。特に、本明細書で説明される実装は、プラットフォーム１２０がクラウドコンピューティング環境１２２内でホストされているものとして説明するが、いくつかの実装では、プラットフォーム１２０は、クラウドベースでなくてもよく（すなわち、クラウドコンピューティング環境の外部で実装されてもよい）、あるいは部分的にクラウドベースであってもよい。

【0026】

クラウドコンピューティング環境１２２は、プラットフォーム１２０をホストする環境を含む。クラウドコンピューティング環境１２２は、プラットフォーム１２０をホストするシステム及び／又はデバイスの物理的な位置及び構成に関するエンドユーザ（例えばユーザデバイス１１０）の知識を必要としない計算、ソフトウェア、データアクセス、ストレージ等のサービスを提供し得る。図示されるように、クラウドコンピューティング環境１２２は、一群のコンピューティングリソース１２４（集合的に「（複数の）コンピューティングリソース１２４」と称し、個別に「（単数の）コンピューティングリソース１２４」と称する）を含み得る。

【0027】

コンピューティングリソース１２４は、１つ以上のパーソナルコンピュータ、ワークステーションコンピュータ、サーバデバイス、あるいは他のタイプの計算及び／又は通信デバイスを含む。いくつかの実装では、コンピューティングリソース１２４はプラットフォーム１２０をホストし得る。クラウドリソースは、コンピューティングリソース１２４内で動作する計算インスタンス（compute instances）、コンピューティングリソース１２４内で提供されるストレージデバイス、コンピューティングリソース１２４によって提供されるデータ転送デバイス等を含み得る。いくつかの実装では、コンピューティングリソース１２４は、有線接続、無線接続又は有線接続と無線接続の組合せを介して他のコンピューティングリソース１２４と通信し得る。

【0028】

図１に更に示されるように、コンピューティングリソース１２４は、１つ以上のアプリケーション（「ＡＰＰｓ」）１２４－１、１つ以上の仮想マシン（「ＶＭｓ」）１２４－２、仮想化ストレージ（「ＶＳｓ」）１２４－３、１つ以上のハイパーバイザ（「ＨＹＰｓ」）１２４－４等のような一群のクラウドリソースを含む。

【0029】

アプリケーション１２４－１は、ユーザデバイス１１０及び／又はプラットフォーム１２０に提供され得るか又はこれらによってアクセスされ得る１つ以上のソフトウェアアプリケーションを含む。アプリケーション１２４－１は、ユーザデバイス１１０上にソフトウェアアプリケーションをインストールして実行する必要性を排除し得る。例えばアプリケーション１２４－１は、プラットフォーム１２０に関連付けられるソフトウェア及び／又はクラウドコンピューティング環境１２２を介して提供することができる任意の他のソフトウェアを含み得る。いくつかの実装では、あるアプリケーション１２４－１は、仮想マシン１２４－２を介して１つ以上の他のアプリケーション１２４－１へ情報を送信し／他のアプリケーション１２４－１から情報を受信し得る。

【0030】

仮想マシン１２４－２は、物理マシンのようにプログラムを実行するマシン（例えばコンピュータ）のソフトウェア実装を含む。仮想マシン１２４－２は、該仮想マシン１２４－２によるいずれかの実マシンへの使用及び対応度に応じて、システム仮想マシン又はプロセス仮想マシンであり得る。システム仮想マシンは、完全なオペレーティングシステム（「ＯＳ」）の実行をサポートする完全なシステムプラットフォームを提供し得る。プロセス仮想マシンは、単一のプログラムを実行してよく、単一のプロセスをサポートし得る。いくつかの実施形態では、仮想マシン１２４－２は、ユーザ（例えばユーザデバイス１１０）の代わりに動作してよく、データ管理、同期又は長期間データ転送のようなクラウドコンピューティング環境１２２のインフラストラクチャを管理し得る。

【0031】

仮想化ストレージ１２４－３は、コンピューティングリソース１２４のストレージシステム又はデバイス内で仮想化技術を使用する１つ以上のストレージシステム及び／又は１つ以上のデバイスを含む。いくつかの実装では、ストレージシステムのコンテキスト内において、仮想化のタイプは、ブロック仮想化及びファイル仮想化を含み得る。ブロック仮想化は、物理ストレージ又は異種構造に関係なくストレージシステムがアクセスされ得るように、物理ストレージからの論理ストレージの抽象化（又は分離）を指すことがある。この分離は、ストレージシステムの管理者が、エンドユーザのために該管理者がストレージを管理する方法に柔軟性を持たせることを可能にし得る。ファイル仮想化は、ファイルレベルでアクセスされるデータと、ファイルが物理的に記憶されている場所との間の依存関係を排除し得る。これにより、ストレージ使用、サーバ統合及び／又は無停止のファイル移行の性能の最適化が可能になり得る。

【0032】

ハイパーバイザ１２４－４は、複数のオペレーティングシステム（例えば「ゲストオペレーティングシステム」）が、コンピューティングリソース１２４のようなホストコンピュータ上で同時に実行することを可能にするハードウェア仮想化技術を提供し得る。ハイパーバイザ１２４－４は、仮想オペレーティングプラットフォームをゲストオペレーティングシステムに提示してよく、ゲストオペレーティングシステムの実行を管理し得る。様々なオペレーティングシステムの複数のインスタンスが、仮想化されたハードウェアリソースを共有し得る。

【0033】

ネットワーク１３０は、１つ以上の有線及び／又は無線ネットワークを含む。例えばネットワーク１３０は、セルラネットワーク（例えば第５世代（５Ｇ）ネットワーク、長期進化（ＬＴＥ）ネットワーク、第３世代（３Ｇ）ネットワーク、符号分割多元接続（ＣＤＭＡ）ネットワーク等）、パブリックランドモバイルネットワーク（ＰＬＭＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、電話ネットワーク（例えば公衆交換電話網（ＰＳＴＮ））、プライベートネットワーク、アドホックネットワーク、イントラネット、インターネット、光ファイバベースのネットワーク等及び／又はこれら又は他のタイプのネットワークの組合せを含み得る。

【0034】

図１に示されるデバイス及びネットワークの数及び配置は、一例として提供される。実際には、図１に示されるものよりも追加のデバイス及び／又はネットワーク、より少ないデバイス及び／又はネットワーク、異なるデバイス及び／又はネットワーク、あるいは異なるように配置されたデバイス及び／又はネットワークが存在してもよい。さらに、図１に示される２つ以上のデバイスが、単一デバイス内に実装されてもよく、あるいは図１に示される単一デバイスが、複数の分散デバイスとして実装されてもよい。追加又は代替的に、環境１００のデバイス（例えば１つ以上のデバイス）のセットは、環境１００のデバイスの別のセットによって実行されるものとして説明される１つ以上の機能を実行してもよい。

【0035】

図２は、図１の１つ以上のデバイスの例示的な構成要素のブロック図である。デバイス２００は、ユーザデバイス１１０及び／又はプラットフォーム１２０に対応し得る。図２に示されるように、デバイス２００は、バス２１０、プロセッサ２２０、メモリ２３０、記憶構成要素２４０、入力構成要素２５０、出力構成要素２６０及び通信インタフェース２７０を含み得る。

【0036】

バス２１０は、デバイス２００の構成要素間の通信を可能にする構成要素を含む。プロセッサ２２０は、ハードウェア、ファームウェア又はハードウェアとソフトウェアの組合せで実装される。プロセッサ２２０は、中央処理ユニット（ＣＰＵ）、グラフィクス処理ユニット（ＧＰＵ）、加速処理ユニット（ＡＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）又は別のタイプの処理構成要素である。いくつかの実装では、プロセッサ２２０は、機能を実行するようにプログラムされることができる１つ以上のプロセッサを含む。メモリ２３０は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）及び／又はプロセッサ２２０による使用のための情報及び／又は命令を記憶する別のタイプの動的又は静的ストレージデバイス（例えばフラッシュメモリ、磁気メモリ及び／又は光学メモリ）を含む。

【0037】

記憶構成要素２４０は、デバイス２００の動作及び使用に関連する情報及び／又はソフトウェアを記憶する。例えば記憶構成要素２４０は、対応するドライブとともに、ハードディスク（例えば磁気ディスク、光学ディスク、光磁気ディスク及び／又はソリッドステートディスク）、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク、カートリッジ、磁気テープ、及び／又は別のタイプの非一時的コンピュータ読取可能媒体を含み得る。

【0038】

入力構成要素２５０は、デバイス２００がユーザ入力を介するなどして情報を受け取ることを可能にする構成要素（例えばタッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ及び／又はマイクロフォン）を含む。追加又は代替的に、入力構成要素２５０は、情報を感知するためのセンサ（例えば全地球測位システム（ＧＰＳ）構成要素、加速度計、ジャイロスコープ及び／又はアクチュエータ）を含み得る。出力構成要素２６０は、デバイス２００から出力情報を提供する構成要素（例えばディスプレイ、スピーカ及び／又は１つ以上の発光ダイオード（ＬＥＤ））を含む。

【0039】

通信インタフェース２７０は、デバイス２００が、有線接続、無線接続又は有線接続と無線接続の組合せを介するなどして他のデバイスと通信することを可能にするトランシーバ様構成要素（例えばトランシーバ及び／又は別個の受信機と送信機）を含む。通信インタフェース２７０は、デバイス２００が別のデバイスから情報を受信し、かつ／又は別のデバイスに情報を提供することを可能にし得る。例えば通信インタフェース２７０は、Ｅｔｈｅｒｎｅｔ（登録商標）インタフェース、光インタフェース、同軸インタフェース、赤外線インタフェース、無線周波数（ＲＦ）インタフェース、ユニバーサルシリアルバス（ＵＳＢ）インタフェース、Ｗｉ-Ｆｉインタフェース、セルラネットワークインタフェース等を含み得る。

【0040】

デバイス２００は、本明細書に記載される１つ以上のプロセスを実行し得る。デバイス２００は、メモリ２３０及び／又は記憶構成要素２４０のような非一時的コンピュータ読取可能媒体によって記憶されたソフトウェア命令を実行するプロセッサ２２０に応答して、これらのプロセスを実行し得る。コンピュータ読取可能媒体は、本明細書では、非一時的メモリデバイスとして定義される。メモリデバイスは、単一の物理的ストレージデバイス内のメモリスペース又は複数の物理ストレージデバイスにまたがって広がるメモリ空間を含む。

【0041】

ソフトウェア命令は、別のコンピュータ読取可能媒体から、又は通信インタフェース２７０を介して別のデバイスから、メモリ２３０及び／又は記憶構成要素２４０に読み出されてもよい。実行されると、メモリ２３０及び／又は記憶構成要素２４０に記憶されたソフトウェア命令は、プロセッサ２２０に、本明細書に記載された１つ以上のプロセスを実行させ得る。追加又は代替的に、ハードワイヤード回路を、本明細書に記載された１つ以上のプロセスを実行するためのソフトウェア命令の代わりに又は組み合わせて使用してもよい。したがって、本明細書に記載される実施形態は、ハードウェア回路とソフトウェアの特定の組合せに限定されない。

【0042】

図２に示される構成要素の数及び配置は、一例として提供される。実際には、デバイス２００は、図２に示されるものよりも追加の構成要素、より少ない構成要素、異なる構成要素又は異なるように配置された構成要素を含んでもよい。追加又は代替的に、デバイス２００の構成要素（例えば１つ以上の構成要素）のセットが、デバイス２００の構成要素の別のセットによって実行されるものとして説明される１つ以上の機能を実行してもよい。

【0043】

いくつかの実施形態では、ＮＢＭＰシステム３００が提供される。図３を参照すると、ＮＢＭＰシステム３００は、ＮＢＭＰソース３１０、ＮＢＭＰワークフローマネージャ３２０、関数リポジトリ３３０、１つ以上のメディア処理エンティティ３５０、メディアソース３６０及びメディアシンク（media sink）３７０を備える。

【0044】

ＮＢＭＰソース３１０は、第三者エンティティから命令を受け取ることがあり、ＮＢＭＰワークフローを介してＮＢＭＰワークフローマネージャ３２０と通信してよく、関数発見ＡＰＩ３９１を介して関数リポジトリ３３０と通信してよい。例えばＮＢＭＰソース３１０は、ワークフロー記述文書（ＷＤＤ、workflow description document）をＮＢＭＰワークフローマネージャ３２０に送信してよく、関数リポジトリ３３０に記憶された関数（functions）の関数記述（function description）を読み出してよい。これらの関数は、例えばメディア復号、特徴点抽出、カメラパラメータ抽出、投影方法、シーム情報抽出、ブレンディング、後処理及び符号化の関数のような、関数リポジトリ３３０のメモリに記憶されたメディア処理関数であってよい。ＮＢＭＰソース３１０は、少なくとも１つのプロセッサと、少なくとも１つのプロセッサにＮＢＭＰソース３１０の機能（functions）を実行させるよう構成されたコードを記憶するメモリとを備えるか又はこれらによって実装されてよい。

【0045】

ＮＢＭＰソース３１０は、ワークフロー記述文書を送信することにより、１つ以上のメディア処理エンティティ３５０によって実行されるタスク３５２を含む、ワークフローを作成するようにＮＢＭＰワークフローマネージャ３２０に要求してよく、ここで、ワークフロー記述文書は、各々がいくつかのパラメータを有し得る、いくつかの記述子を含み得る。

【0046】

例えばＮＢＭＰソース３１０は、関数リポジトリ３３０に記憶された関数を選択し、ワークフロー記述文書をＮＢＭＰワークフローマネージャ３２０に送信してよく、このワークフロー記述文書は、入力及び出力データ、必要な関数及びワークフローの要件のような記述詳細についての様々な記述子を含む。ワークフロー記述文書は、タスク記述のセットと、メディア処理エンティティ３５０のうちの１つ以上によって実行されるタスク３５２の入力及び出力の接続マップとを含み得る。ＮＢＭＰワークフローマネージャ３２０がＮＢＭＰソース３１０からそのような情報を受信すると、ＮＢＭＰワークフローマネージャ３２０は、関数の名前に基づいてタスクをインスタンス化し、接続マップに従ってタスクを接続することによって、ワークフローを作成し得る。

【0047】

代替的又は追加的に、ＮＢＭＰソース３１０は、キーワードのセットを使用することによって、ワークフローを作成するようにＮＢＭＰワークフローマネージャ３２０に要求し得る。例えばＮＢＭＰソース３１０は、ＮＢＭＰワークフローマネージャ３２０が関数リポジトリ３３０に記憶された適切な関数を見つけるために使用し得るキーワードのセットを含み得るワークフロー記述文書を、ＮＢＭＰワークフローマネージャ３２０に送信し得る。ＮＢＭＰワークフローマネージャ３２０がＮＢＭＰソース３１０からそのような情報を受け取ると、ＮＢＭＰワークフローマネージャ３２０は、ワークフロー記述文書の処理記述子（Processing Descriptor）で指定され得るキーワードを使用して適切な関数を検索することによって、ワークフローを作成し、ワークフロー記述文書内の他の記述子を使用してタスクをプロビジョニングし、それらを接続してワークフローを作成する。

【0048】

ＮＢＭＰワークフローマネージャ３２０は、関数発見ＡＰＩ３９１と同じ又は異なるＡＰＩであり得る関数発見ＡＰＩ３９３を介して関数リポジトリ３３０と通信してよく、ＡＰＩ３９４（例えばＮＢＭＰタスクＡＰＩ）を介してメディア処理エンティティ３５０のうちの１つ以上と通信してよい。ＮＢＭＰワークフローマネージャ３２０は、少なくとも１つのプロセッサと、少なくとも１つのプロセッサにＮＢＭＰワークフローマネージャ３２０の機能を実行させるように構成されたコードを記憶するメモリとを備えるか又はこれらによって実装されてよい。

【0049】

ＮＢＭＰワークフローマネージャ３２０は、ＡＰＩ３９４を使用して、１つ以上のメディア処理エンティティ３５０によって実行可能なワークフローの１つ以上のタスク３５２をセットアップし、構成し、管理し、モニタし得る。いくつかの実施形態では、ＮＢＭＰワークフローマネージャ３２０は、ＡＰＩ３９４を使用して、タスク３５２を更新し、破棄し得る。ワークフローのタスク３５２を構成し、管理し、モニタするために、ＮＢＭＰワークフローマネージャ３２０は、要求のようなメッセージをメディア処理エンティティ３５０のうちの１つ以上に送信してよく、ここで、各メッセージはいくつかの記述子を有し、各記述子はいくつかのパラメータを有する。タスク３５２は各々、メディア処理関数３５４と、メディア処理関数３５４のための構成（configurations）３５３とを含み得る。

【0050】

いくつかの実施形態では、タスクのリストを含まない（例えばタスクのリストの代わりにキーワードのリストを含む）ワークフロー記述文書をＮＢＭＰソース３１０から受け取った後、ＮＢＭＰワークフローマネージャ３２０は、ワークフロー記述文書内のタスクの記述に基づいてタスクを選択し、関数発見ＡＰＩ３９３を介して関数リポジトリ３３０を検索して、現在のワークフローのためのタスク３５２として実行すべき適切な関数を見つけ得る。例えばＮＢＭＰワークフローマネージャ３２０は、ワークフロー記述文書内で提供されたキーワードに基づいてタスクを選択し得る。ＮＢＭＰソース３１０によって提供されるキーワード又はタスク記述のセットを使用することによって適切な関数が識別された後、ＮＢＭＰワークフローマネージャ３２０は、ＡＰＩ３９４を使用することによってワークフロー内の選択されたタスクを構成し得る。例えばＮＢＭＰワークフローマネージャ３２０は、ＮＢＭＰソースから受け取った情報から構成データを抽出し、その構成データに基づいてタスク３５２を構成し得る。

【0051】

１つ以上のメディア処理エンティティ３５０は、メディアソース３６０からメディアコンテンツを受け取って、ＮＢＭＰワークフローマネージャ３２０によって作成された、タスク３５２を含むワークフローに従ってメディアコンテンツを処理し、処理されたメディアコンテンツをメディアシンク３７０に出力するように構成され得る。１つ以上のメディア処理エンティティ３５０は各々、少なくとも１つのプロセッサと、少なくともプロセッサにメディア処理エンティティ３５０の機能を実行させるように構成されたコードを記憶するメモリとを備えるか又はこれらによって実装されてよい。

【0052】

メディアソース３６０は、メディアを記憶するメモリを含んでよく、ＮＢＭＰソース３１０と一体化されても又はＮＢＭＰソース３１０と別個であってもよい。いくつかの実施形態では、ＮＢＭＰワークフローマネージャ３２０は、ワークフローが準備されたときにＮＢＭＰソース３１０に通知してよく、メディアソース３６０は、ワークフローが準備されたという通知に基づいて、メディアコンテンツをメディア処理エンティティ３５０のうちの１つ以上に送信してよい。

【0053】

メディアシンク３７０は、少なくとも１つのプロセッサと、１つ以上のメディア処理エンティティ３５０によって処理されたメディアを表示するように構成された少なくとも１つのディスプレイとを含むか又はこれらによって実装されてよい。

【0054】

上述したように、ＮＢＭＰソース３１０からＮＢＭＰワークフローマネージャ３２０へのメッセージ（例えばワークフローの作成を要求するためのワークフロー記述文書）と、ＮＢＭＰワークフローマネージャ３２０から１つ以上のメディア処理エンティティ３５０への（例えばワークフローを実行させるための）メッセージは、いくつかの記述子を含んでよく、各記述子はいくつかのパラメータを有し得る。いくつかの例では、ＡＰＩを使用するＮＢＭＰシステム３００の任意の構成要素間の通信は、いくつかの記述子を含んでよく、各記述子はいくつかのパラメータを有し得る。

【0055】

実施形態は、クラウドプラットフォーム上で実行されるワークフローにおける非必須（nonessential）の入力、出力及びタスクを識別及びシグナリングする方法に関連し得る。

【0056】

ワークフローの必須出力は、ワークフローが適切に動作していると見なされるためのデータを生成しなければならないワークフローの出力であり得る。ワークフローの必須入力は、ワークフローの必須出力を作成するためにワークフローについて処理されなければならない入力であり得る。適切に動作するワークフローは、すべての必須入力を処理し、すべての必須出力を生成するワークフローであり得る。ワークフローの必須タスクは、適切に動作するのに必要なタスクであり、かつ適切に動作するワークフローに必要とされるデータを処理するために必要なタスクであり得る。例えば必須タスクは、必須入力を処理し、かつ／又は必須出力を生成するタスクであり得る。いくつかの実施形態において、必須入力は、必須タスクが動作するために必要とされる入力であってよく、必須出力は、必須タスクのための必須入力として必要とされる出力又はワークフロー全体のための出力として必要とされる出力であり得る。非必須入力は、ワークフローの必須出力を生成するためにワークフローによって必要とされない入力であり得る。例えばワークフローは、必須入力のすべてが提供されている場合、非必須入力がまったく提供されていない場合であっても、必須出力のすべてを生成することがある。非必須タスクは、ワークフローに含まれるが、必須タスクではないタスクであり得る。例えば非必須タスクは、非必須入力を処理し、非必須出力を生成し得る。

【0057】

ＮＢＭＰ標準は、スプリッタ及びマージャ関数テンプレートを定義する。図４は、セグメントの並列処理のためにＮＢＭＰスプリッタ／マージャ関数を使用するこのプロセスの例に対応するワークフロー４００の図を示す。図４において、タスクＴ４１０は、並列に実行されるタスクＴのｎ個のインスタンスに変換され得る。

【0058】

いくつかの実施形態では、メディアストリームは連続的である。スプリッタ４２０は、メディアストリームをＮ個のメディアサブストリームに変換し得る。各サブストリームは、Ｔ４３０Ａ～Ｃのインスタンスによって処理されてよく、次いで、サブストリームはマージャ４４０において互いにインタリーブされ、タスクＴ４１０出力ストリームと等価な出力４５０を生成する。１：Ｎスプリッタ及びＮ：１マージャ関数はセグメント境界に作用する。各セグメントは、開始、持続期間及び長さのメタデータ、あるいは開始コードとそれに関連付けられるシーケンス番号を有し得る。セグメントは独立であるので、サブストリームは、タスクＴ４１０によって処理されるという点で互いに独立している。タスクＴ_０，．．．，Ｔ_Ｎ－１は、セグメントを同時に処理する必要はない。セグメント及びサブストリームは独立であり得るので、タスクＴ４１０の各インスタンスはその速度で実行し得る。しかしながら、現在のＮＢＭＰ標準は、メディアデータの１－Ｄセグメント化のみしか扱っていない。

【0059】

現在のＮＢＭＰ標準は、セグメントメタデータについて次のフォーマットを定義している。各セグメントは以下の要件を満たし得る：
Ａ．サンプルの連続的なセット
Ｂ．タイムスケールＴのスケールにおけるＤの最大持続期間。ここで、Ｄ及びＴは構成パラメータである。

【0060】

各セグメントは、以下のメタデータのうちの１つを使用し得る：
１．タイミングメタデータ：
Ａ．時間スケールｔにおける開始時間ｓ
Ｂ．時間スケールｔ＝Ｔ
Ｃ．時間スケールtにおける持続期間ｄ
Ｄ．長さｌ（バイト）
２．又はシーケンスメタデータ：
Ａ．すべての他のセグメントにおいて同一かつ一意の開始コード
Ｂ．昇順のシーケンス番号

【0061】

両方の場合において、メディアは一次元（例えば典型的には時間）においてのみセグメント化される。しかしながら、メディア信号は多次元である傾向がある。

【0062】

本開示は、多次元メタデータを有するセグメントの分割及びマージをサポートするようにスプリッタ及びマージャ関数を拡張する。

【0063】

以下の定義が使用され得る：
－ Ｃは、Ｍ次元のベクトル［ｃ_０，ｃ_１，．．．，ｃ_Ｍ－１］であり、要素ｃｉはインデックスｉを有し、ここで、インデックスｉ＋１はインデックスｉにネストされ、ベクトルのインデックスｉの１インクリメントは、インデックスｉ＋１，ｉ＋２，．．．，Ｍ－１、ここで０≦ｉ＜Ｍにおけるいずれかのインクリメントよりも大きい増分と考えられることを意味する。
－ 次元Ｍの多次元セグメントは、点Ｓ＝［ｓ_０，ｓ_１，．．．，ｓ_Ｍ－１］及び長さＤ＝［ｄ_０，ｄ_１，．．．，ｄ_Ｍ－１］で始まる空間内のサンプルに関する情報を表すセグメントとして定義されてよく、ここでｓ_ｉ及びｄ_ｉは負でない整数である。非整数値が必要とされる場合、ベクトルＴ＝［ｔ_０，ｔ_１，．．．，ｔ_Ｍ－１］は次元ｉのスケール係数（scale factor）ｔ_ｉを表し、ここで、次元ｉにおける実際の開始点と長さは、それぞれｓ_ｉ／ｔ_ｉ及びｄ_ｉ／ｔ_ｉであり、ここでｔ_ｉは正の整数である。

【0064】

実施形態では、メディアストリームのすべてのセグメントは、以下のメタデータのうちの１つを有し得る：
１．セグメント位置データ：
ａ．スケーリングベクトルＴ＝［ｔ_０，ｔ_１，．．．，ｔ_Ｍ－１］、ＳとＤに対するスケール係数（scale factors）
ｂ．単位ｔ_ｉで各インデックスｓ_ｉを有するＭ次元空間におけるメディアセグメントの開始点を表す開始ベクトルＳ＝［ｓ_０，ｓ_１，．．．，ｓ_Ｍ－１］
ｃ．単位ｔ_ｉで各インデックスｄ_ｉを有するＭ次元空間においてメディアセグメントがカバーするハイパー空間を表す長さベクトルＤ＝［ｄ_０，ｄ_１，．．．，ｄ_Ｍ－１］
ｄ．バイト単位のセグメントＬのサイズ
２．セグメントシーケンスデータ：
ａ．各インデックスｎ_ｉを有するＭ次元空間におけるメディアセグメントのシーケンスを表すシーケンスベクトルｎ＝［ｎ_０，ｎ_１，．．．，ｎ_Ｍ－１］
ｂ．開始コードＣ、すべてのセグメントが開始する一意のコードであり、該コードはいずれのセグメントの途中でも繰り返されない。
ｃ．バイト単位のセグメントＬのサイズ

【0065】

スプリッタ関数は、多次元入力を複数の多次元出力に分割してよく、以下の要件を有するものとする：
●１つの入力とＮ個の出力のＦＩＦＯバッファ。ここで、Ｎは分割の数についての構成パラメータである。
●入力：
○各入力セグメントは、各々が、以下の要件を満たすものとする：
■スケールＴ＝［（Ｔ_０，Ｔ_１，．．．，Ｔ_Ｍ－１］のスケールにおけるＤ＝［Ｄ_０，Ｄ_１，．．．，Ｄ_Ｍ－１］の最大サイズ。ここでＤ及びＴは、関数の構成で設定される。
■以下のメタデータ及び制約のうちの１つを含む：
●位置メタデータ：
○スケールベクトルｔ＝［ｔ_０，ｔ_１，．．．，ｔ_Ｍ－１］における開始位置ｓ＝［ｓ_０，ｓ_１，．．．，ｓ_Ｍ－１］。ここで、数ｓ_ｉはｔ_ｉにおいてスケールされる。
○スケールｔ＝Ｔ
○スケールｔにおける長さｄ＝［ｄ_０，ｄ_１，．．．，ｄ_Ｍ－１］
○バイトサイズＬ（バイト）
●又はシーケンスメタデータ：
○すべての他のセグメントにおいて同一かつ一意の開始コード
○セグメントの順序（order）とともに増加するシーケンスベクトルｎ＝［ｎ_０，ｎ_１，．．．，ｎ_Ｍ－１］
■他の入力セグメントと重複しないサンプル
○入力セグメントは昇順であるものとする。
●出力：
○すべての出力バッファにおけるメディアストリームは常に、ゼロ又はそれ以上の出力セグメントで構成される。各出力セグメントは、以下の要件を満たすものとする：
■ただ１つの入力セグメントと正確に同一
■以下のメタデータ及び制約のうちの１つを含む：
●位置メタデータ：
○スケールベクトルｔ＝［ｔ_０，ｔ_１，．．．，ｔ_Ｍ－１］における開始位置ｓ＝［ｓ_０，ｓ_１，．．．，ｓ_Ｍ－１］。ここで、数ｓ_ｉはｔ_ｉにおいてスケールされる。
○スケールｔ＝Ｔ
○スケールｔにおける長さｄ＝［ｄ_０，ｄ_１，．．．，ｄ_Ｍ－１］
○バイトサイズＬ（バイト）
●又はシーケンスメタデータ：
○すべての他のセグメントにおいて同一かつ一意の開始コード
○セグメントの順序とともに増加するシーケンスベクトルｎ＝［ｎ_０，ｎ_１，．．．，ｎ_Ｍ－１］
○すべての出力バッファのすべての出力セグメントの集合は一緒に、処理された入力セグメント全体をカバーするものとする（例えば入力のサンプルは出力セグメントの集合から除外されない）。
●分割プロセスは次のように起こる：入力におけるＮ個の連続するセグメントｇ_０，ｇ_１，．．．，ｇ_Ｎ－１の各々が、（ｉ番目のセグメントｇ_ｉを出力Ｏ_ｉに移動させることによって）この特定の順序で出力バッファＯ_０，Ｏ_１，．．．，Ｏ_Ｎ－１のうちの１つに移動される。
●各出力バッファはセグメントの昇順に並べ替えられる。

【0066】

共通ヘッダを有する場合、スプリッタはすべての単一の出力においてそれを繰り返すものとする。メディアフォーマットは、ストリームによって表わされるコンテンツにおけるいかなるパラメータ変化にも関わらず、そのストリームの開始時に同じバイトシーケンスの使用を必要とすることがある。固定され、変化しないバイトのこのシーケンスは、そのメディアフォーマットの共通ヘッダ（Common Header）と呼ばれる。共通ヘッダはゼロレングスである。スプリッタでは、入力ストリームが準拠している特定のメディアフォーマットへの出力メディアストリームの準拠性を維持するために、すべての単一の出力に共通ヘッダを追加する必要がある。共通ヘッダはメディアの長さを記述しないので、共通ヘッダを含むセグメントはゼロレングスである。したがって、タイミングメタデータの場合、任意のストリームの最初のセグメントがゼロレングスであれば、そのセグメントは、そのストリームの共通ヘッダと見なされ、スプリッタはこのプロパティを使用して共通ヘッダセグメントを識別することができる。共通ヘッダが入力に存在しない（例えば最初のセグメントが非ゼロレングスである）場合、スプリッタは出力のいずれにもいずれの共通ヘッダも追加する必要はなく、入力の最初のセグメントはその入力ストリーム内のいずれかの他のメディアセグメントと同様に扱われる。シーケンスメタデータの場合、繰り返しヘッダ（repeat-header）フラグが構成において設定されている場合、シーケンス番号０のセグメントは共通ヘッダセグメントである。
１．時間セグメント（temporal segments）の場合、ｍ＝Ｍ＝１であり、ｄ及びｔはそれぞれ持続期間と時間スケールを示す。
２．関数は、入力信号の最大次元をサポートし得る、すなわち、特定の値より高い次元を持つ入力の分割をサポートしない。この値は、接点構成パラメータ（contact configuration parameter）として定義される。

【0067】

以下の表は、多次元スプリッタ関数をサポートするテンプレートを説明する。

【0068】

【表1】

【0069】

【表2】

【0070】

マージャ関数は、複数の多次元入力を単一の多次元出力にマージし、以下の要件を有するものとする：
●Ｎ個の入力と１つ出力のＦＩＦＯバッファ。Ｎはマージの数についての構成パラメータである。
●入力：
○各入力セグメントは、以下の要件を満たすものとする：
■スケールＴ＝［（Ｔ_０，Ｔ_１，．．．，Ｔ_Ｍ－１］の単位におけるＤ＝［Ｄ_０，Ｄ_１，．．．，Ｄ_Ｍ－１］の最大サイズ。ここでＤ及びＴは、関数の構成で設定される。
■以下のメタデータ及び制約のうちの１つを含む：
●位置メタデータ：
○スケールベクトルｔ＝［ｔ_０，ｔ_１，．．．，ｔ_Ｍ－１］における開始位置ｓ＝［ｓ_０，ｓ_１，．．．，ｓ_Ｍ－１］。ここで、数ｓ_ｉはｔ_ｉにおいてスケールされる。
○スケールｔ＝Ｔ
○スケールｔにおける長さｄ＝［ｄ_０，ｄ_１，．．．，ｄ_Ｍ－１］
○バイトサイズＬ（バイト）
●又はシーケンスメタデータ：
○すべての他のセグメントにおいて同一かつ一意の開始コード
○セグメントの順序とともに増加するシーケンスベクトルｎ＝［ｎ_０，ｎ_１，．．．，ｎ_Ｍ－１］
■すべての他の入力のセグメントと重複しないサンプル
○入力セグメントは昇順であるものとする。
●出力：
○出力バッファにおけるメディアストリームは常に、ゼロ又はそれ以上の出力セグメントで構成される。すべての出力セグメントは、以下の要件を満たすものとする：
■ただ１つの入力セグメントと正確に同一
■以下のメタデータ及び制約のうちの１つを含む：
●位置メタデータ：
○スケールベクトルｔ＝［ｔ_０，ｔ_１，．．．，ｔ_Ｍ－１］における開始位置ｓ＝［ｓ_０，ｓ_１，．．．，ｓ_Ｍ－１］。ここで、数ｓ_ｉはｔ_ｉにおいてスケールされる。
○スケールｔ＝Ｔ
○スケールｔにおける長さｄ＝［ｄ_０，ｄ_１，．．．，ｄ_Ｍ－１］
○バイトサイズＬ（バイト）
●又はシーケンスメタデータ：
○すべての他のセグメントにおいて同一かつ一意の開始コード
○セグメントの順序とともに増加するシーケンスベクトルｎ＝［ｎ_０，ｎ_１，．．．，ｎ_Ｍ－１］
○すべての出力セグメントの集合は一緒に、すべての入力の処理された入力セグメント全体をカバーするものとする（例えば入力のサンプルは出力セグメントの集合から除外されない）。
●マージプロセスは次のように起こる：すべての入力I_０，I_１，．．．，I_Ｎ－１からの１つのセグメントが、その順序で出力バッファに移動され、次いで出力バッファが、セグメントの昇順に並べ替えられる。

【0071】

共通ヘッダを有する場合、マージャは単一の出力においてそれを一度のみ追加するものとする。メディアフォーマットは、ストリームによって表わされるコンテンツにおけるいかなるパラメータ変化にも関わらず、それらのストリームの開始時に同じバイトシーケンスの使用を必要とすることがある。固定され、変化しないバイトのこのシーケンスは、そのメディアフォーマットの共通ヘッダと呼ばれることがある。共通ヘッダはゼロレングスであり得る。マージャでは、入力ストリームが準拠している特定のメディアフォーマットへの出力メディアストリームの準拠性を維持するために、単一の出力に共通ヘッダを一度のみ追加する必要があり得る。共通ヘッダはメディアの長さを記述しないので、共通ヘッダを含むセグメントはゼロレングスであり得る。したがって、タイミングメタデータの場合、任意のストリームの最初のセグメントがゼロレングスであれば、そのセグメントは、そのストリームの共通ヘッダと見なされてよく、マージャはこのプロパティを使用して共通ヘッダセグメントを識別し得る。共通ヘッダが入力に存在しない（例えば最初のセグメントが非ゼロレングスである）場合、マージャは出力のいずれにもいずれの共通ヘッダも追加する必要はなく、入力の最初のセグメントはその入力ストリーム内のいずれかの他のメディアセグメントと同様に扱われる。シーケンスメタデータの場合、繰り返しヘッダフラグが構成において設定されている場合、シーケンス番号０のセグメントは共通ヘッダセグメントである。
１．時間セグメントの場合、ｍ＝Ｍ＝１であり、ｄ及びｔはそれぞれ持続期間と時間スケールを示す。
２．関数は、入力信号の最大次元をサポートし得る（例えば特定の値より高い次元を持つ入力の分割をサポートしない）。この値は、接点構成パラメータとして定義され得る。

【0072】

以下の表は、多次元マージャ関数をサポートするテンプレートを説明する。

【0073】

【表3】

【0074】

【表4】

【0075】

図５は、多次元メディアストリームを分割及びマージするための例示的なプロセス５００のフローチャートである。いくつかの実施形態では、図５の１つ以上のプロセスブロックは、例えばＮＢＭＰシステム３００のような上述した要素のいずれか又はＮＢＭＰワークフローマネージャ３２０のようなその中に含まれる任意の要素によって実行されてよい。

【0076】

図５に示されるように、プロセス５００は、多次元メディアストリームを、多次元空間における多次元メディアの複数のセグメントにセグメント化することを含む（動作５１０）。

【0077】

図５に更に示されるように、プロセス５００は、セグメント化された多次元メディアストリームを複数の並列サブストリームに分割することを含み得る（動作５２０）。

【0078】

図５に更に示されるように、プロセス５００は、各多次元メディアセグメントとともに搬送（carry）される多次元メタデータを使用して複数のサブストリームの各々を並列に処理することを含み得る（動作５３０）。

【0079】

図５に更に示されるように、プロセス５００は、出力セグメントに搬送された多次元メタデータを使用して複数のサブストリームを単一のストリームにマージすることを含み得る（動作５４０）。

【0080】

前述の開示は、例示及び説明を提供するが、網羅的であることも、あるいは開示された正確な形態に実装を限定することも意図されていない。上記開示に照らして修正及び変形が可能であり、あるいは実装の実施から修正及び変形が得られることがある。

【0081】

本明細書に開示されるプロセス／フローチャートにおけるブロックの具体的な順序又は階層は、例示的なアプローチの例示であることが理解される。設計の好みに基づいて、プロセス／フローチャートにおけるブロックの具体的な順序又は階層が再配置されてよいことが理解される。さらに、いくつかのブロックを組み合わせたり省略したりしてもよい。付随する方法の請求項は、様々なブロックの要素をサンプル順序で提示しており、提示された特定の順序又は階層に限定されることを意味しない。

【0082】

いくつかの実施形態は、任意の可能な技術的詳細な統合レベルにおけるシステム、方法及び／又はコンピュータ読取可能媒体に関連し得る。さらに、上述した上記構成要素のうちの1つ以上は、コンピュータ読取可能媒体に記憶され、かつ少なくとも１つのプロセッサによって実行可能な命令として実装され得る（及び／又は少なくとも１つのプロセッサを含み得る）。コンピュータ読取可能媒体は、プロセッサに動作を実行させるためのコンピュータ読取可能プログラム命令を有するコンピュータ読取可能非一時的記憶媒体（又は複数の媒体）を含み得る。

【0083】

コンピュータ読取可能記憶媒体は、命令実行デバイスによる使用のために命令を保持及び記憶し得る有形のデバイスであってよい。コンピュータ読取可能記憶媒体は、例えば電子ストレージデバイス、磁気ストレージデバイス、光学ストレージデバイス、電磁ストレージデバイス、半導体ストレージデバイス又は上記の任意の適切な組合せであり得るが、これらに限定されない。コンピュータ読取可能記憶媒体のより具体的な例の非網羅的なリストには、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、消去可能プログラム可能な読取専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読取専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、パンチカードやその上に記録された命令を有する溝内の隆起構造体のような機械的にコード化されたデバイス、及び上記の任意の適切な組合せが含まれる。本明細書で使用されるとき、コンピュータ読取可能記憶媒体は、それ自体、例えば電波又は他の自由に伝搬する電磁波、導波路又は他の伝送媒体を伝搬する電磁波（例えば光ファイバーケーブルを通過する光パルス）、あるいはワイヤを通って伝送される電気信号のような一時的信号であると解釈されるべきではない。

【0084】

本明細書に記載されるコンピュータ読取可能プログラム命令は、コンピュータ読取可能記憶媒体からそれぞれのコンピューティング／処理デバイスにダウンロードされてもよく、あるいはネットワーク、例えばインターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークを介して外部コンピュータ又は外部ストレージデバイスにダウンロードされてもよい。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバを備えてよい。各コンピューティング／処理デバイス内のネットワークアダプタカード又はネットワークインタフェースは、ネットワークからコンピュータ読取可能プログラム命令を受け取り、それぞれのコンピューティング／処理デバイス内のコンピュータ読取可能記憶媒体に記憶するためにコンピュータ読取可能プログラム命令を転送する。

【0085】

動作を実行するためのコンピュータ読取可能プログラムコード／命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路の構成データ、あるいはＳｍａｌｌｔａｌｋやＣ＋＋のようなオブジェクト指向プログラミング言語及び「Ｃ」プログラミング言語や同様のプログラミング言語のような手続型プログラミング言語を含む１つ以上のプログラミング言語の任意の組合せで書かれたソースコード又はオブジェクトコードであり得る。コンピュータ読取可能プログラム命令は、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、部分的にユーザのコンピュータ上かつ部分的にリモートコンピュータ上で、あるいは完全にリモートコンピュータ又はサーバ上で実行してもよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、あるいは（例えばインターネットサービスプロバイダを使用してインターネットを介して）外部コンピュータへの接続が構成されてもよい。いくつかの実施形態では、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブル論理アレイ（ＰＬＡ）を含む電子回路は、態様又は動作を実行するために、コンピュータ読取可能プログラム命令の状態情報を利用することによってコンピュータ読取可能プログラム命令を実行し、電子回路をパーソナライズし得る。

【0086】

これらのコンピュータ読取可能プログラム命令は、汎用コンピュータ、専用コンピュータ又は他のプログラム可能なデータ処理装置のプロセッサに提供されて、マシンを生成することができ、その結果、コンピュータ又は他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令は、フローチャート及び／又はブロック図の１つ又は複数のブロックで指定された機能／動作を実装するための手段を生成する。これらのコンピュータ読取可能プログラム命令はまた、コンピュータ、プログラム可能データ処理装置及び／又は他のデバイスが特定の方法で機能するよう指示し得るコンピュータ読取可能記憶媒体に記憶されてもよく、その結果、その中に記憶された命令を有するコンピュータ読取可能記憶媒体は、フローチャート及び／又はブロック図の１つ又は複数のブロックにおいて指定された機能／動作の態様を実装する命令を含む製品を含む。

【0087】

コンピュータ読取可能プログラム命令はまた、コンピュータ、他のプログラム可能なデータ処理装置又は他のデバイスにロードされ、一連の動作ステップをコンピュータ、他のプログラム可能な装置又は他のデバイス上で実行させてコンピュータ実装プロセスを生成させてもよく、その結果、コンピュータ、他のプログラム可能な装置又は他のデバイス上で実行する命令は、フローチャート及び／又はブロック図の１つ又は複数のブロックで指定された機能／動作を実行する。

【0088】

図面内のフローチャート及びブロック図は、様々な実施形態によるシステム、方法及びコンピュータ読取可能媒体の可能な実装のアーキテクチャ、機能性及び動作を説明する。この点に関して、フローチャート又はブロック図における各ブロックは、モジュール、セグメント又は命令の一部を表してよく、これは、指定された論理機能を実装するための１つ以上の実行可能命令を含む。方法、コンピュータシステム及びコンピュータ読取可能媒体は、図面に示されるものよりも、追加のブロック、より少ないブロック、異なるブロック又は異なるように配置されたブロックを含んでもよい。いくつかの代替的な実装では、ブロックに示される機能は、図面に示される順序とは異なる順序で起こってもよい。例えば連続して示される２つのブロックが、実際には同時に又は実質的に同時に実行されてもよく、あるいは、ブロックが時には、関与する機能に応じて逆の順序で実行されることもある。また、ブロック図及び／又はフローチャート図の各ブロック、並びにブロック図及び／又はフローチャート図のブロックの組合せは、指定された機能又は動作を実行するか、あるいは特殊目的ハードウェア及びコンピュータ命令の組合せを実行する特殊目的ハードウェアベースのシステムによって実装されることがあることにも留意されたい。

【0089】

本明細書に記載されるシステム及び／又は方法は、ハードウェア、ファームウェア又はハードウェアとソフトウェアの組合せの異なる形態で実装されてもよいことが明らかであろう。これらのシステム及び／又は方法を実装するために使用される実際の専用制御ハードウェア又はソフトウェアコードは、実装を限定するものではない。したがって、システム及び／又は方法の動作及び挙動は、特定のソフトウェアコードを参照することなく本明細書で説明されたが、ソフトウェア及びハードウェアは、本明細書の説明に基づいてシステム及び／又は方法を実装するように設計され得ることが理解される。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】