特許 7512427 クラウドワークフロー入出力のためのプロトコル特性をシグナリングする方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-28

(45)【発行日】2024-07-08

(54)【発明の名称】クラウドワークフロー入出力のためのプロトコル特性をシグナリングする方法

(51)【国際特許分類】

   H04L 47/2416 20220101AFI20240701BHJP

   G06F 9/48 20060101ALI20240701BHJP

【ＦＩ】

H04L47/2416

G06F9/48 300H

【請求項の数】 10

(21)【出願番号】P 2022567239

(86)(22)【出願日】2022-03-28

(65)【公表番号】

(43)【公表日】2023-06-19

(86)【国際出願番号】 US2022022135

(87)【国際公開番号】W WO2022225656

(87)【国際公開日】2022-10-27

【審査請求日】2022-11-04

(31)【優先権主張番号】63/176,799

(32)【優先日】2021-04-19

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/704,367

(32)【優先日】2022-03-25

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ソダガァ，イラジ

【審査官】速水 雄太

(56)【参考文献】

【文献】国際公開第２０２１／０６２１１５（ＷＯ，Ａ１）

【文献】国際公開第２０２０／１９０９８６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｌ １２／００－１２／６６

４１／００－１０１／６９５

Ｇ０６Ｆ ９／４８

(57)【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサによって実行される方法であって、
ネットワークベースのメディア処理ワークフロー（ＮＢＭＰワークフロー）又は前記ＮＢＭＰワークフローに含まれるタスクに対応する記述子から、前記ＮＢＭＰワークフロー又は前記タスクの入力又は出力に対応するプロトコルのプロトコル特性を示すシンタックス要素を取得するステップと、
前記タスクに基づいて前記ＮＢＭＰワークフローを導出するステップと、
導出された前記ＮＢＭＰワークフローにしたがって少なくとも１つのメディア処理エンティティを管理するステップと、
を含み、
前記プロトコル特性は、前記ＮＢＭＰワークフロー又は前記タスクの前記入力又は前記出力に関連付けられた不必要性に関連し、
前記プロトコル特性は、前記入力に対応する前記プロトコル特性に基づいて、前記ＮＢＭＰワークフロー又は前記タスクの動作のために前記入力を必要としないことを指定し、
前記プロトコル特性は、前記入力に対応する前記プロトコル特性に基づいて、前記出力が利用可能であることを保証しないことを指定する、
方法。

【請求項2】

少なくとも１つのプロセッサによって実行される方法であって、
ネットワークベースのメディア処理ワークフロー（ＮＢＭＰワークフロー）又は前記ＮＢＭＰワークフローに含まれるタスクに対応する記述子から、前記ＮＢＭＰワークフロー又は前記タスクの入力又は出力に対応するプロトコルのプロトコル特性を示すシンタックス要素を取得するステップと、
前記タスクに基づいて前記ＮＢＭＰワークフローを導出するステップと、
導出された前記ＮＢＭＰワークフローにしたがって少なくとも１つのメディア処理エンティティを管理するステップと、
を含み、
前記プロトコル特性は、前記ＮＢＭＰワークフロー又は前記タスクの前記入力又は前記出力に関連付けられたタイミングに関連し、
前記プロトコル特性は、前記入力に対応する前記プロトコル特性に基づいて、前記入力についての２つの発行されたプル間の最小可能期間又は前記入力についての２つの発行されたプッシュ間の最小許容期間を指定し、
前記プロトコル特性は、前記出力に対応する前記プロトコル特性に基づいて、前記出力についての２つの発行されたプッシュ間の最小可能期間又は前記出力についての２つの発行されたプル間の最小許容期間を指定する、
方法。

【請求項3】

少なくとも１つのプロセッサによって実行される方法であって、
ネットワークベースのメディア処理ワークフロー（ＮＢＭＰワークフロー）又は前記ＮＢＭＰワークフローに含まれるタスクに対応する記述子から、前記ＮＢＭＰワークフロー又は前記タスクの入力又は出力に対応するプロトコルのプロトコル特性を示すシンタックス要素を取得するステップと、
前記タスクに基づいて前記ＮＢＭＰワークフローを導出するステップと、
導出された前記ＮＢＭＰワークフローにしたがって少なくとも１つのメディア処理エンティティを管理するステップと、
を含み、
前記プロトコル特性は、前記ＮＢＭＰワークフロー又は前記タスクの前記入力又は前記出力に関連付けられた順序に関連し、
前記プロトコル特性は、前記入力又は前記出力についての順序外のプッシュ又はプルの最大長を指定する、
方法。

【請求項4】

少なくとも１つのプロセッサによって実行される方法であって、
ネットワークベースのメディア処理ワークフロー（ＮＢＭＰワークフロー）又は前記ＮＢＭＰワークフローに含まれるタスクに対応する記述子から、前記ＮＢＭＰワークフロー又は前記タスクの入力又は出力に対応するプロトコルのプロトコル特性を示すシンタックス要素を取得するステップと、
前記タスクに基づいて前記ＮＢＭＰワークフローを導出するステップと、
導出された前記ＮＢＭＰワークフローにしたがって少なくとも１つのメディア処理エンティティを管理するステップと、
を含み、
前記プロトコル特性は、前記ＮＢＭＰワークフロー又は前記タスクの前記入力又は前記出力に関連付けられた数に関連し、
前記プロトコル特性は、前記入力に対応する前記プロトコル特性に基づいて、前記入力についての並列プルの最大可能数又は前記入力についての並列プッシュの最大許容数を指定し、
前記プロトコル特性は、前記出力に対応する前記プロトコル特性に基づいて、前記出力についての並列プッシュの最大可能数又は前記出力についての並列プルの最大許容数を指定する、
方法。

【請求項5】

少なくとも１つのプロセッサによって実行される方法であって、
ネットワークベースのメディア処理ワークフロー（ＮＢＭＰワークフロー）又は前記ＮＢＭＰワークフローに含まれるタスクに対応する記述子から、前記ＮＢＭＰワークフロー又は前記タスクの入力又は出力に対応するプロトコルのプロトコル特性を示すシンタックス要素を取得するステップと、
前記タスクに基づいて前記ＮＢＭＰワークフローを導出するステップと、
導出された前記ＮＢＭＰワークフローにしたがって少なくとも１つのメディア処理エンティティを管理するステップと、
を含み、
前記プロトコル特性は、前記ＮＢＭＰワークフロー又は前記タスクの前記入力又は前記出力に対応するタイミングに関連し、
前記プロトコル特性は、前記入力に対応する前記プロトコル特性に基づいて、前記入力についてのプル後にデータが利用可能になる前の時間量を指定する、
方法。

【請求項6】

少なくとも１つのプロセッサによって実行される方法であって、
ネットワークベースのメディア処理ワークフロー（ＮＢＭＰワークフロー）又は前記ＮＢＭＰワークフローに含まれるタスクに対応する記述子から、前記ＮＢＭＰワークフロー又は前記タスクの入力又は出力に対応するプロトコルのプロトコル特性を示すシンタックス要素を取得するステップと、
前記タスクに基づいて前記ＮＢＭＰワークフローを導出するステップと、
導出された前記ＮＢＭＰワークフローにしたがって少なくとも１つのメディア処理エンティティを管理するステップと、
を含み、
前記プロトコル特性は、前記ＮＢＭＰワークフロー又は前記タスクの前記入力又は前記出力のレイテンシーに関連し、
前記プロトコル特性は、前記入力又は前記出力についてのプッシュ要求又はプル要求への応答のための最大時間を指定する、
方法。

【請求項7】

少なくとも１つのプロセッサによって実行される方法であって、
ネットワークベースのメディア処理ワークフロー（ＮＢＭＰワークフロー）又は前記ＮＢＭＰワークフローに含まれるタスクに対応する記述子から、前記ＮＢＭＰワークフロー又は前記タスクの入力又は出力に対応するプロトコルのプロトコル特性を示すシンタックス要素を取得するステップと、
前記タスクに基づいて前記ＮＢＭＰワークフローを導出するステップと、
導出された前記ＮＢＭＰワークフローにしたがって少なくとも１つのメディア処理エンティティを管理するステップと、
を含み、
前記プロトコル特性は、前記ＮＢＭＰワークフロー又は前記タスクの前記入力又は前記出力のサイズに関連し、
前記プロトコル特性は、前記入力又は前記出力についてのプッシュ要求又はプル要求への応答のための最大サイズを指定する、
方法。

【請求項8】

前記記述子は、前記ＮＢＭＰワークフローに対応する入力記述子、前記ＮＢＭＰワークフローに対応する出力記述子、前記タスクに対応する入力記述子、又は、前記タスクに対応する出力記述子のうちのいずれかである、請求項１乃至７のいずれか１項記載の方法。

【請求項9】

メディアシステムのワークフローマネジャであって：
プログラムコードを格納する少なくとも１つのメモリと；
前記プログラムコードを読み込んで、前記プログラムコードによって指示されるように動作するように構成された少なくとも１つのプロセッサと；を備え、
前記プログラムコードは、前記少なくとも１つのプロセッサに、請求項１乃至８いずれか１項記載の方法を実行させるように構成されている、
ワークフローマネジャ。

【請求項10】

コンピュータコードを格納する非一時的コンピュータ可読媒体であって、前記コンピュータコードは、メディアシステムのワークフローマネジャを実行する少なくとも１つのプロセッサによって実行される時に、前記少なくとも１つのプロセッサに、請求項１乃至８いずれか１項記載の方法を実行させるように構成されている、
非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２１年４月１９日に出願された米国仮出願第６３／１７６，７９９号の優先権を主張しており、その開示は参照によりその全体が本出願に組み込まれている。

【0002】

技術分野
本開示の実施例は、ムービング・ピクチャー・エクスパーツ・グループ（Moving Picture Experts Group (MPEG)）ネットワークに基づくメディア処理（Network Based Media Processing (NBMP)）、特にＮＢＭＰワークフローの管理に向けられている。

【背景技術】

【0003】

ＭＰＥＧネットワークに基づくメディア処理（ＮＢＭＰ）プロジェクトは、クラウド上でメディアを処理する概念を開発した。ＮＢＭＰ国際仕様草案は、メディア処理の効率化、メディアサービスの迅速かつ低コストな展開、パブリック、プライベート、又はハイブリッドのクラウドサービスを活用した大規模な展開を可提供する能力を示している。

【0004】

ＮＢＭＰの現在の仕様では、ワークフローの入力又は出力の一般的な特性が定義されているが、プロトコル特性は定義されていない。

【本発明の概要】

【0005】

実施形態によれば、少なくとも１つのプロセッサによって実行される方法であって、ネットワークベースのメディア処理（ＮＢＭＰ）ワークフロー又はＮＢＭＰワークフローに含まれるタスクに対応する記述子から、ＮＢＭＰワークフロー又はタスクの入力又は出力に対応するプロトコル特性を示すシンタックス要素を取得するステップと、タスクに基づいてＮＢＭＰワークフローを導出するステップと、導出されたＮＢＭＰワークフローにしたがって少なくとも１つのメディア処理エンティティを管理するステップであって、プロトコル特性は、ＮＢＭＰワークフロー又はタスクの入力又は出力に関連付けられた、不必要性、タイミング、順序、数（a number）、レイテンシー、及び、サイズ、のうちの少なくとも１つに関連する、ステップと、を含む。

【0006】

実施形態によれば、メディアシステムのワークフローマネジャであって：プログラムコードを格納するように構成された少なくとも１つのメモリと；プログラムコードを読み込んで、プログラムコードによって指示されるように動作するように構成された少なくとも１つのプロセッサと；を備え、プログラムコードは：少なくとも１つのプロセッサに、ネットワークベースのメディア処理（ＮＢＭＰ）ワークフロー又はＮＢＭＰワークフローに含まれるタスクに対応する記述子から、ＮＢＭＰワークフロー又はタスクの入力又は出力に対応するプロトコル特性を示すシンタックス要素を取得させるように構成された取得コードと；少なくとも１つのプロセッサに、タスクに基づいて前記ＮＢＭＰワークフローを導出させるように構成された導出コードと；少なくとも１つのプロセッサに、導出されたＮＢＭＰワークフローにしたがって少なくとも１つのメディア処理エンティティを管理させるように構成された管理コードであって、プロトコル特性は、ＮＢＭＰワークフロー又はタスクの入力又は出力に関連付けられた、不必要性、タイミング、順序、数、レイテンシー、及び、サイズ、のうちの少なくとも１つに関連する、管理コードと、を含む。

【0007】

実施形態によれば、非一時的コンピュータ可読媒体はコンピュータコードを格納し、コンピュータコードは、メディアシステムのワークフローマネジャを実行する少なくとも１つのプロセッサによって実行される時に、少なくとも１つのプロセッサに：ネットワークベースのメディア処理（ＮＢＭＰ）ワークフロー又はＮＢＭＰワークフローに対応する記述子に含まれるタスクから、ＮＢＭＰワークフロー又はタスクの入力又は出力に対応するプロトコル特性を示すシンタックス要素を取得させ；タスクに基づいてＮＢＭＰワークフローを導出させ；導出されたＮＢＭＰワークフローにしたがって少なくとも１つのメディア処理エンティティを管理させ、プロトコル特性は、ＮＢＭＰワークフロー又はタスクの入力又は出力に関連付けられたサイズ、不必要性、タイミング、順序、数値、及び、呼び出し時間、のうちの少なくとも１つに関連する、ように構成されている。

【図面の簡単な説明】

【0008】

開示された主題のさらなる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付の図面からより明らかになるであろう。

【図1】図１は、実施形態による、本明細書に記載される方法、装置及びシステムが実施され得る環境の図である。

【図2】図２は、図１の１つ以上のデバイスの例示的な構成要素のブロック図である。

【図3】図３は、実施形態によるＮＢＭＰシステムのブロック図である。

【図4】図４は、実施形態によるワークフロー管理プロセスの例のブロック図である。

【図5】図５は、実施形態によるコンピュータコードの例のブロック図である。

【発明を実施するための形態】

【0009】

図１は、実施形態による、本明細書に記載される方法、装置及びシステムが実施され得る環境１００の図である。図１に示すように、環境１００は、ユーザ装置１１０、プラットフォーム１２０、及びネットワーク１３０を含むことができる。環境１００のデバイスは、有線接続、無線接続、又は有線接続及び無線接続の組み合わせを介して相互接続することができる。

【0010】

ユーザデバイス１１０は、プラットフォーム１２０に関連する情報を受信、生成、記憶、処理、及び／又は提供することが可能な１つ以上のデバイスを含む。例えば、ユーザデバイス１１０は、コンピューティングデバイス（例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ハンドヘルドコンピュータ、スマートスピーカ、サーバ等）、携帯電話（例えば、スマートフォン、無線電話等）、ウェアラブルデバイス（例えば、スマート眼鏡又はスマートウオッチ）、又は類似のデバイスを含み得る。いくつかの実装形態では、ユーザデバイス１１０は、プラットフォーム１２０から情報を受信及び／又は送信することができる。

【0011】

プラットフォーム１２０は、本明細書の他の場所で記載されるように、１つ以上のデバイスを含む。いくつかの実装では、プラットフォーム１２０は、クラウドサーバ又はクラウドサーバのグループを含み得る。いくつかの実装形態では、プラットフォーム１２０は、特定の必要性に応じてソフトウェアコンポーネントをスワップインまたはスワップアウトできるようにモジュール式になるように設計することができる。そのようなものとして、プラットフォーム１２０は、異なる使用のために、容易に及び／又は迅速に再構成され得る。

【0012】

いくつかの実装では、図示のように、プラットフォーム１２０は、クラウドコンピューティング環境１２２でホストすることができる。特に、本明細書に記載される実装は、プラットフォーム１２０をクラウドコンピューティング環境１２２でホストされるものとして記述されるが、一部の実装では、プラットフォーム１２０は、クラウドベースではなく（すなわち、クラウドコンピューティング環境の外部で実装され得る）、又は部分的にクラウドベースであってもよい。

【0013】

クラウドコンピューティング環境１２２は、プラットフォーム１２０をホストする環境を含む。クラウドコンピューティング環境１２２は、プラットフォーム１２０をホストする、（１つ以上の）システム及び／又は（１つ以上の）デバイスの物理的なロケーション及び構成に関するエンドユーザー（例えばユーザデバイス１１０）の知識を必要としない計算、ソフトウェア、データアクセス、ストレージ等のサービスを提供することができる。図示のように、クラウドコンピューティング環境１２２は、コンピューティングリソース１２４のグループ（まとめて、「複数のコンピューティングリソース１２４」と称し、個別に「コンピューティングリソース１２４」と称する）を含み得る。

【0014】

コンピューティングリソース１２４は、１つ以上の、パーソナルコンピュータ、ワークステーションコンピュータ、サーバデバイス、又は他の種類の計算及び／又は通信デバイスを含む。いくつかの実装では、コンピューティングリソース１２４はプラットフォーム１２０をホストすることができる。クラウドリソースは、コンピューティングリソース１２４において実行されるコンピューティングインスタンス、コンピューティングリソース１２４において提供される記憶デバイス、コンピューティングリソース１２４によって提供されるデータ転送デバイスなどを含み得る。いくつかの実装では、コンピューティングリソース１２４は、有線接続、無線接続、又は有線及び無線接続の組み合わせを介して、他のコンピューティングリソース１２４と通信することができる。

【0015】

図１にさらに示すように、コンピューティングリソース１２４は、１つ以上のアプリケーション（「ＡＰＰ」）１２４－１、１つ以上の仮想マシン（「ＶＭ」）１２４－２、仮想記憶デバイス（「ＶＳ」）１２４－３、１つ以上のハイパーバイザ（「ＨＹＰ」）１２４－４等のクラウドリソースのグループを含む。

【0016】

アプリケーション１２４－１は、ユーザデバイス１１０及び／又はセンサデバイス１２０によって提供され又はアクセスされることができる１つ以上のソフトウェアアプリケーションを含む。アプリケーション１２４－１は、ユーザデバイス１１０上にソフトウェアアプリケーションをインストールし実行する必要をなくすことができる。例えば、アプリケーション１２４－１は、プラットフォーム１２０に関連するソフトウェア、及び／又はクラウドコンピューティング環境１２２を介して提供可能な他の任意のソフトウェアを含んでもよい。いくつかの実装では、１つのアプリケーション１２４－１は、仮想マシン１２４－２を介して、１つ以上の他のアプリケーション１２４－１との間で情報を送受信することができる。

【0017】

仮想マシン１２４－２は、物理マシンのようなプログラムを実行するマシン（例えば、コンピュータ）のソフトウェア実装を含む。仮想マシン１２４－２は、仮想マシン１２４－２による実際のマシンへの使用及び対応の程度に応じて、システム仮想マシン又はプロセス仮想マシンのいずれであってもよい。システム仮想マシンは、完全なオペレーティングシステム（「ＯＳ」）の実行をサポートする完全なシステムプラットフォームを提供することができる。プロセス仮想マシンは、単一のプログラムを実行し、単一のプロセスをサポートし得る。いくつかの実装では、仮想マシン１２４－２は、ユーザ（例えば、ユーザ装置１１０）に代わって実行することができ、データ管理、同期化、又は長時間データ転送などのクラウドコンピューティング環境１２２のインフラストラクチャを管理することができる。

【0018】

仮想ストレージ１２４－３は、ストレージシステム又はコンピューティングリソース１２４の内で仮想化技術を使用する１つ以上の記憶システム及び／又は１つ以上のデバイスを含む。いくつかの実装では、記憶システムのコンテキスト内で、仮想化のタイプは、ブロック仮想化及びファイル仮想化を含み得る。ブロック仮想化は、物理ストレージ又は異種ストラクチャ（heterogeneous structure）に関係なくストレージシステムにアクセスできるように、物理ストレージから論理ストレージを抽象化（又は分離）することを称し得る。この分離により、ストレージシステムの管理者は、エンドユーザに対してストレージを管理する方法に柔軟性を持たせることができる。ファイルの仮想化により、ファイルレベルでアクセスされるデータと、ファイルが物理的に保存されるロケーションとの間の依存関係が排除され得る。これにより、ストレージの使用、サーバの統合、及び／又は非破壊ファイル移行のパフォーマンスの最適化が可能になり得る。

【0019】

ハイパーバイザ１２４－４は、複数のオペレーティングシステム（例えば、「ゲストオペレーティングシステム」）が、コンピューティングリソース１２４などのホストコンピュータ上で同時に実行されることを可能にするハードウェア仮想化技術を提供することができる。ハイパーバイザ１２４－４は、仮想オペレーティングプラットフォームをゲストオペレーティングシステムに提示することができ、ゲストオペレーティングシステムの実行を管理することができる。様々なオペレーティングシステムの複数の例は、仮想化されたハードウェアリソースを共有することができる。

【0020】

ネットワーク１３０は、１つ以上の有線及び／又は無線ネットワークを含む。例えば、ネットワーク１３０は、セルラネットワーク（例えば、第５世代（５Ｇ）ネットワーク、ロングタームエボリューション（ＬＴＥ）ネットワーク、第３世代（３Ｇ）ネットワーク、コード分割多重アクセス（ＣＤＭＡ）ネットワーク等）、公衆陸上モバイルネットワーク（ＰＬＭＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、電話ネットワーク（例えば、公衆交換電話ネットワーク（ＰＳＴＮ））、プライベートネットワーク、アドホックネットワーク、イントラネット、インターネット、光ファイバーベースのネットワークなど、及び／又は、これら又は他のタイプのネットワークの組合せ、を含み得る。

【0021】

図１に示すデバイス及びネットワークの数及び配置は、一例として提供される。実際には、図１に示すものよりも、追加のデバイス及び／又はネットワーク、より少ないデバイス及び／又はネットワーク、異なるデバイス及び／又はネットワーク、又は異なる配置のデバイス及び／又はネットワークが存在し得る。さらに、図１に示す２つ以上のデバイスは、単一のデバイス内に実装されてもよく、又は図１に示す単一のデバイスは、複数の分散デバイスとして実装されてもよい。さらに又はあるいは、環境１００のデバイスのセット（例えば、１つ以上のデバイス）は、環境１００の別のデバイスセットによって実行されるものとして説明される１つ以上の機能を実行することができる。

【0022】

図２は、図１の１つ以上のデバイスの例示的な構成要素のブロック図である。デバイス２００は、ユーザデバイス１１０及び／又はプラットフォーム１２０に対応し得る。図２に示すように、デバイス２００は、バス２１０、プロセッサ２２０、メモリ２３０、ストレージコンポーネント２４０、入力コンポーネント２５０、出力コンポーネント２６０、及び通信インタフェース２７０を含み得る。

【0023】

バス２１０は、デバイス２００のコンポーネント間の通信を可能にする構成要素を含む。プロセッサ２２０は、ハードウェア、ファームウェア、又はハードウェアとソフトウェアの組み合わせで実装される。プロセッサ２２０は、中央演算処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）、加速処理ユニット（ＡＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、又は、他のタイプの処理コンポーネント、である。いくつかの実装形態では、プロセッサ２２０は、機能を実行するようにプログラムされることができる１つ以上のプロセッサを含む。メモリ２３０は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、及び／又は、プロセッサ２２０が使用するための情報及び／又は命令を格納する別のタイプの動的又は静的ストレージデバイス（例えば、フラッシュメモリ、磁気メモリ及び／又は光学メモリ）を含む。

【0024】

ストレージコンポーネント２４０は、デバイス２００の動作及び使用に関連する情報及び／又はソフトウェアを格納する。例えば、ストレージコンポーネント２４０は、ハードディスク（例えば、磁気ディスク、光ディスク、光磁気ディスク及び／又は固体ディスク）、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク、カートリッジ、磁気テープ、及び／又は、対応するドライブとともに、別のタイプの非一時的コンピュータ読取可能媒体を含み得る。

【0025】

入力インタフェース２５０は、デバイス２００が、例えば、ユーザ入力（例えば、タッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ、及び／又はマイクロフォン）を介して情報を受信することを可能にするコンポーネントを含む。さらに又はあるいは、入力インタフェース２５０は、情報を感知するためのセンサ（例えば、全地球測位システム（ＧＰＳ）コンポーネント、加速度計、ジャイロスコープ、及び／又はアクチュエータ）を含み得る。出力インタフェース２６０は、デバイス２００からの出力情報を提供するコンポーネント（例えば、ディスプレイ、スピーカ、及び／又は１つ以上の発光ダイオード（ＬＥＤ））を含む。

【0026】

通信インタフェース２７０は、デバイス２００が、有線接続、無線接続、又は有線接続と無線接続の組み合わせなどを介して、他のデバイスと通信することを可能にする送受信器のようなコンポーネント（例えば、送受信器及び／又は別個の受信器及び送信器）を含む。通信インタフェース２７０によって、デバイス２００は他のデバイスから情報を受信し、及び／又は他のデバイスに情報を提供することができることができる。例えば、通信インタフェース２７０は、イーサネット（登録商標）インタフェース、光インタフェース、同軸インタフェース、赤外線インタフェース、無線周波数（ＲＦ）インタフェース、汎用シリアルバス（ＵＳＢ）インタフェース、Ｗｉ－Ｆｉインタフェース、セルラネットワークインタフェース等を含み得る。

【0027】

デバイス２００は、本願明細書において記載されている１つ以上のプロセスを実行し得る。デバイス２００は、例えばメモリ２３０及び／又はストレージコンポーネントコンポーネント２４０などの非一時的なコンピュータ可読媒体によって格納されるソフトウェア命令を実行するプロセッサ２２０に応答して、これらのプロセスを実行し得る。コンピュータ可読媒体は、固定メモリデバイスとして本願明細書において定義されている。メモリデバイスには、単一の物理ストレージデバイス内のメモリスペース、又は複数の物理ストレージデバイスにまたがるメモリスペースが含まれる。

【0028】

ソフトウェア命令は、別のコンピュータ可読媒体から、又は通信インタフェース２７０を介して別のデバイスから、メモリ２３０及び／又はストレージコンポーネント２４０に読み込まれることができる。実行される場合、メモリ２３０及び／又はストレージコンポーネント２４０に格納されたソフトウェア命令は、プロセッサ２２０に、本明細書に記載の１つ以上のプロセスを実行させることができる。さらに又はあるいは、物理的に組み込まれた回路（hardwired circuitry）を、ソフトウェア命令の代わりに又はソフトウェア命令と組み合わせて使用されることができ、本明細書に記載の１つ以上のプロセスを実行することができる。したがって、本明細書で説明される実装は、ハードウェア回路とソフトウェアの特定の組み合わせに限定されない。

【0029】

図２に示すコンポーネントの数及び配置は、例として提供されてている。実際には、デバイス２００は、図２に示されるものよりも追加のコンポーネント、より少ないコンポーネント、異なるコンポーネント、又は異なる配置のコンポーネントを含み得る。さらに又はあるいは、デバイス２００のコンポーネントのセット（例えば、１つ以上のコンポーネント）は、デバイス２００の別のコンポーネントのセットによって実行されると記載される１つ以上の機能を実行することができる。

【0030】

本開示の実施例において、ＮＢＭＰシステム３００が、提供される。図３を参照すると、ＮＢＭＰシステム３００は、ＮＢＭＰソース３１０、ＮＢＭＰワークフローマネジャ３２０、関数リポジトリ３３０、１つ以上のメディア処理エンティティ３５０、メディアソース３６０、メディアシンク３７０を含む。

【0031】

ＮＢＭＰソース３１０は、サードパーティのエンティティから命令を受け取ることができ、ＮＢＭＰワークフローＡＰＩ３９２を介してＮＢＭＰワークフローマネジャ３２０と通信することができ、関数ディスカバリＡＰＩ３９１を介して関数リポジトリ３３０と通信することができる。例えば、ＮＢＭＰソース３１０は、ＮＢＭＰワークフローマネジャ３２０に（１つ以上の）ワークフロー記述ドキュメント（ＷＤＤ）を送信し、関数リポジトリ３３０に格納されている関数の関数記述を読み取ることができ、関数は、関数リポジトリ３３０のメモリに格納されているメディア処理関数であり、例えば、メディアデコード、特徴点抽出、カメラパラメータ抽出、投影法、シーム情報抽出、ブレンド、後処理、エンコードの関数などである。ＮＢＭＰソース３１０には、少なくとも１つのプロセッサと、少なくともプロセッサにＮＢＭＰソース３１０の機能を実行させるように構成されたコードを格納するメモリと、が含まれているか又は実装されている。

【0032】

ＮＢＭＰソース３１０は、それぞれがいくつかのパラメータを有することができるいくつかの記述子を含むことができるワークフロー記述ドキュメントを送信することによって、１つ以上のメディア処理エンティティ３５０によって実行されるタスク３５２を含むワークフローを作成するように、ＮＢＭＰワークフローマネジャ３２０に要求することができる。

【0033】

例えば、ＮＢＭＰソース３１０は、関数リポジトリ３３０に格納されている関数を選択し、ワークフローのための要件、入出力データ、必要な関数などの詳細の記述するためのさまざまな記述子を含むワークフロー記述ドキュメントをＮＢＭＰワークフローマネジャ３２０に送信できる。ワークフロー記述ドキュメントには、一連のタスクの記述と、１つ以上のメディア処理エンティティ３５０によって実行されるべきタスク３５２の入出力の接続マップを含むことができる。ＮＢＭＰワークフローマネジャ３２０がＮＢＭＰソース３１０からかかる情報を受信すると、ＮＢＭＰワークフローマネジャ３２０は、関数名に基づいてタスクをインスタンス化し、接続マップにしたがってタスクを接続することによって、ワークフローを作成することができる。

【0034】

あるいは又はさらに、ＮＢＭＰソース３１０は、ＮＢＭＰワークフローマネジャ３２０に対して、一連のキーワードを使用してワークフローを作成するように要求することができる。例えば、ＮＢＭＰソース３１０は、ＮＢＭＰワークフローマネジャ３２０に、ＮＢＭＰワークフローマネジャ３２０が関数リポジトリ３３０に格納されている適切な関数を見出すために使用する一連のキーワードを含むワークフロー記述ドキュメントを送信できる。ＮＢＭＰワークフローマネジャ３２０がＮＢＭＰソース３１０からかかる情報を受信すると、ＮＢＭＰワークフローマネジャ３２０は、ワークフロー記述ドキュメントの処理記述子に指定されている可能性のあるキーワードを使用して適切な関数を検索することでワークフローを作成し、ワークフロー記述ドキュメント内の他の記述子を使用してタスクをプロビジョニングし、それらを接続してワークフローを作成することができます。

【0035】

ＮＢＭＰワークフローマネジャ３２０は、関数ディスカバリＡＰＩ３９１と同じか又は異なるＡＰＩである関数ディスカバリＡＰＩ３９３を介して関数レポジトリ３３０と通信することができ、ＡＰＩ３９４（例：ＮＢＭＰタスクＡＰＩ）を介して１つ以上のメディア処理エンティティ３５０と通信することができる。ＮＢＭＰワークフローマネジャ３２０には、少なくとも１つのプロセッサと、少なくとも１つのプロセッサにＮＢＭＰワークフローマネジャ３２０の機能を実行させるように構成されたコードを格納するメモリとが含まれているか又は実装されている。

【0036】

ＮＢＭＰワークフローマネジャ３２０は、ＡＰＩ３９４を使用して、１つ以上のメディア処理エンティティ３５０によって実行可能なワークフローの１つ以上のタスク３５２を設定、構成、管理、及び監視することができる。一実施形態では、ＮＢＭＰワークフローマネジャ３２０はＡＰＩ３９４を使用してタスク３５２を更新及び破棄することができる。ワークフローのタスク３５２を構成、管理、及び監視するために、ＮＢＭＰワークフローマネジャ３２０は、要求などのメッセージを１つ以上のメディア処理エンティティ３５０に送信することがあり、各メッセージはいくつかの記述子を有し、それぞれにいくつかのパラメータを有する。タスク３５２はそれぞれ、メディア処理関数３５４とメディア処理関数３５４のための構成３５３とを含むことができる。

【0037】

一実施形態では、タスクのリストを含まないＮＢＭＰソース３１０（例：タスクのリストの代わりにキーワードのリストを含む）からワークフロー記述ドキュメントを受信した後、ＮＢＭＰワークフローマネジャ３２０は、ワークフロー記述ドキュメント内のタスクの記述に基づいてタスクを選択し、関数ディスカバリＡＰＩ３９３を介して関数リポジトリ３３０を検索して、現在のワークフローのためのタスク３５２として実行する適切な関数を見出すことができる。例えば、ＮＢＭＰワークフローマネジャ３２０は、ワークフロー記述ドキュメントで提供されているキーワードに基づいてタスクを選択できる。ＮＢＭＰソース３１０によって提供される一連のタスク記述又はキーワードを使用して適切な関数を識別した後、ＮＢＭＰワークフローマネジャ３２０はＡＰＩ３９４を使用してワークフロー内の選択されたタスクを構成できる。例えば、ＮＢＭＰワークフローマネジャ３２０は、ＮＢＭＰソースから受信した情報から構成データを抽出し、構成データに基づいてタスク３５２を構成できる。

【0038】

１つ以上のメディア処理エンティティ３５０は、メディアソース３６０からメディアコンテンツを受信し、ＮＢＭＰワークフローマネジャ３２０によって作成されたタスク３５２を含むワークフローにしたがってメディアコンテンツを処理し、処理されたメディアコンテンツをメディアシンク３７０に出力するように構成することができる。１つ以上のメディア処理エンティティ３５０は、それぞれ少なくとも１つのプロセッサと、少なくとも１つのプロセッサにメディア処理エンティティ３５０の機能を実行させるように構成されたコードを格納するメモリとを含むか又はそれらによって実装されることができる。

【0039】

メディアソース３６０は、メディアを格納するメモリを含むことができ、ＮＢＭＰソース３１０と統合又は分離することができる。一実施形態では、ＮＢＭＰワークフローマネジャ３２０は、ワークフローが準備されたときにＮＢＭＰソース３１０に通知し、メディアソース３６０は、ワークフローが準備されたという通知に基づいて、メディア処理エンティティ３５０の１つ以上にメディアコンテンツを送信することができる。

【0040】

メディアシンク３７０は、少なくとも１つのプロセッサと、１つ以上のメディア処理エンティティ３５０によって処理されるメディアを表示するように構成された少なくとも１つのディスプレイとを含むか、それらによって実装されることができる。

【0041】

前述のように、ＮＢＭＰソース３１０からＮＢＭＰワークフローマネジャ３２０へのメッセージ（例：ワークフローの作成を要求するためのワークフロー記述ドキュメント）、及び、ＮＢＭＰワークフローマネジャ３２０から１つ以上のメディア処理エンティティ３５０へのメッセージ（例えば、ワークフローを実行させるため）は、それぞれにいくつかのパラメータを有することができるいくつかの記述子を含むことができる。実施形態では、ＡＰＩを使用したＮＢＭＰシステム３００の任意のコンポーネント間の通信は、それぞれにいくつかのパラメータを有することができるいくつかの記述子を含むことができる。

【0042】

上記のように、ＮＢＭＰの現在の仕様では、ワークフローの入力又は出力の一般的な特性が定義されているが、プロトコル特性は定義されていない。

【0043】

実施形態によれば、プロトコル特性などのパラメータをＮＢＭＰ仕様に追加することができる。

【0044】

例えば、実施形態において、下記の表１に示されるそれらのような指標が、ＮＢＭＰプロセスで用いられることができる。

【表1】

【0045】

上記の表１において、斜体で示された部分は、実施形態に応じて新たに追加されたパラメータを表すことができる。実施形態では、これらのパラメータは、任意の適切なＮＢＭＰ要素で使用することができる。例えば、実施形態では、表１のパラメータは、例えば、ワークフロー記述ドキュメント（ＷＤＤ）に含まれることができる入力記述子又は出力記述子、又はタスク記述子などの記述子、又はここで説明するその他の記述子に含まれることができる。

【0046】

表１に示すように、プロトコルパラメータ又は特性は、例えば「不必要性（nonessentiality）」パラメータを含むことができる。実施形態では、このパラメータの値が「真（true）」に設定されている場合、入力を要求しないことができる。実施形態では、このパラメータの値が「真」に設定されている場合、出力が利用可能とは保証されないことがある。このパラメータのデフォルト値は「偽（false）」であることができる。

【0047】

表１に示すように、プロトコルパラメータ又は特性は、たとえば「リクエスト間（between-request）」パラメータを含むことができる。実施形態では、このパラメータは、出力のために発行された２つのプッシュ間の最小可能期間、又は入力のために発行された２つのプッシュ間の最小許容期間を指定することができる。実施形態では、このパラメータは、入力のための発行された２つのプル間の最小可能期間、又は出力のための発行された２つのプル間の最小許容期間を指定することができる。

【0048】

表１に示すように、プロトコルパラメータ又は特性は、たとえば「順序外（out-of-order）」パラメータを含むことができる。実施形態において、このパラメータは順序外のプッシュ又はプルの最大長を指定することができる。実施形態では、デフォルトは「０」であることができる。

【0049】

表１に示すように、プロトコルパラメータ又は特性は、たとえば「並列リクエスト（parallel-requests）」パラメータを含むことができる。実施形態において、このパラメータは、出力可能な最大プッシュ数、入力可能な最大プル数、入力可能な最大プッシュ数、又は出力可能な最大プル数を指定することができる。実施形態では、デフォルトは「０」であることができる。

【0050】

表１に示すように、プロトコルパラメータ又は特性は、例えば「期間（duration）」パラメータを含むことができる。実施形態において、このパラメータは、データがプルされた時点から出力に表示される、ミリ秒単位のデータの可用性を指定できる。

【0051】

表１に示すように、プロトコルパラメータ又は特性には、たとえば「応答レイテンシー（response-latency）」パラメータを含むことができる。実施形態において、このパラメータはプルリクエスト又はプッシュリクエストの最大応答時間を指定することができる。

【0052】

表１に示すように、プロトコルパラメータ又は特性には、たとえば「最大ペイロード（max-payload）」パラメータを含むことができる。実施形態では、このパラメータは、最大サイズ、例えば、プッシュリクエストの最大ペイロードサイズ、又はプルリクエストへの応答を指定することができる。

【0053】

実施形態では、パラメータ「不必要性（nonessentiality）」は、入力と出力の一般的な特性に対応することができ、特定のプロトコルに直接関連しないことがある。

【0054】

したがって、実施形態は、ＮＭＢＰ標準におけるワークフロー又はタスクの入力／出力のためにプル又はプッシュプロトコルの一般的な特性を定義することができるパラメータのセットを定義することに関連することができ、リクエストの頻度、それらの間の最小期間、並列及び／又は順序外のリクエストの可能性、及びそれらの最大サイズ、応答レイテンシー及び最大ペイロードサイズを定義できる。

【0055】

実施形態は、ＮＢＭＰワークフロー又はタスクの入力と出力のための不必要性パラメータにさらに関し、このフラグが設定されている場合、これは、ＮＢＭＰワークフロー又はタスクの適切な動作に入力の可用性が不可欠ではないこと、又は出力が使用できない場合があることを意味することができ、したがって、ＮＢＭＰワークフローのさらなる処理又は出力に不可欠な出力と見なされるべきではない。

【0056】

図３及び４を参照して、ＮＢＭＰワークフローマネジャ３２０によって実行されるプロセス４００を以下に説明する。

【0057】

図４はプロセス４００の例示的フローチャートである。

【0058】

図４に示すように、プロセス４００は、ネットワークベースのメディア処理（ＮＢＭＰ）ワークフロー又はＮＢＭＰワークフローに含まれるタスクに対応する記述子から、ＮＢＭＰワークフロー又はタスクの入力又は出力に対応するプロトコルのプロトコル特性を示すシンタックス要素を取得するステップ（ブロック４１０）を含むことができる。

【0059】

図４にさらに示すように、プロセス４００には、タスクに基づいてＮＢＭＰワークフローを導出するステップを含むことができる（ブロック４２０）。

【0060】

図４にさらに示すように、プロセス４００は、導出されたワークフローにしたがって少なくとも１つのメディア処理エンティティを管理するステップを含むことができる（ブロック４３０）。

【0061】

実施形態において、記述子は、ＮＢＭＰワークフローに対応する入力記述子、ＮＢＭＰワークフローに対応する出力記述子、タスクに対応する入力記述子、又はタスクに対応する出力記述子のうちのいずれかであることができる。

【0062】

実施形態において、プロトコル特性は、入力又は出力に関連付けられた不必要性に関連することができ、プロトコル特性は、入力に対応するプロトコル特性に基づいて、ＮＢＭＰワークフロー又はタスクの動作のために入力を必要としないことを指定し、プロトコル特性は、入力に対応するプロトコル特性に基づいて、出力が利用可能であることを保証しないことを指定する。

【0063】

実施形態において、プロトコル特性が入力又は出力に関連付けられたタイミングに関連することができ、プロトコル特性は、入力に対応するプロトコル特性に基づいて、２つの発行されたプル間の最小可能期間又は２つの発行されたプッシュ間の最小許容期間を指定し、プロトコル特性は、出力に対応するプロトコル特性に基づいて、２つの発行されたプッシュ間の最小可能期間又は２つの発行されたプル間の最小許容期間を指定する。

【0064】

実施形態において、プロトコル特性は入力又は出力に関連付けられた順序に関連することができ、プロトコル特性は順序外のプッシュ又はプルの最大長を指定することができる。

【0065】

実施形態において、プロトコル特性は、入力又は出力に関連付けられた数（the number）に関連することができ、プロトコル特性は、入力に対応するプロトコル特性に基づいて、並列プルの最大可能数又は並列プッシュの最大許容数を指定し、プロトコル特性は、出力に対応するプロトコル特性に基づいて、並列プッシュの最大可能数又は並列プルの最大許容数を指定する。

【0066】

実施形態において、プロトコル特性は、入力又は出力に対応するタイミングに関連することができ、プロトコル特性は、入力に対応するプロトコル特性に基づいて、プル後にデータが利用可能になる前の時間量を指定することができる。

【0067】

実施形態において、プロトコル特性は入力又は出力のレイテンシーに関連することができ、プロトコル特性は、プッシュリクエスト又はプルリクエストへの応答のための最大時間を指定することができる。

【0068】

実施形態において、プロトコル特性は、入力又は出力のサイズに関連することができ、プロトコル特性は、プッシュリクエスト又はプルリクエストへの応答のための最大サイズを指定することができる。

【0069】

図４は、プロセス４００のブロック例を示しているが、いくつかの実装においては、プロセス８００は、図４に示されたものよりも、追加のブロック、より少ないブロック、異なるブロック、又は異なる配置のブロックを含み得る。さらに又はあるいは、プロセス８００のブロックのうちの２つ以上は、並行して実施され得る。

【0070】

さらに、提案された方法は、処理回路（例えば、１つ以上のプロセッサ又は１つ以上の集積回路）によって実施され得る。一実施形態では、１つ以上のプロセッサが、提案された方法の１つ以上を実行するために、非一時的なコンピュータ読取可能媒体に格納されたプログラムを実行する。

【0071】

本開示の実施形態によれば、コンピュータコード又はプログラムコードを格納するメモリを備えたプロセッサを少なくとも１つ提供することができる。コンピュータコードは、少なくとも１つのプロセッサによって実行されたときに、本開示の任意の数の態様を実行するように構成することができる。

【0072】

例えば、図５を参照すると、コンピュータコード５００はＮＢＭＰシステム３００に実装されることができる。例えば、コンピュータコードはＮＢＭＰワークフローマネジャ３２０のメモリに格納され、ＮＢＭＰワークフローマネジャ３２０の少なくとも１つのプロセッサによって実行されることごできる。コンピュータコードには、例えば、取得コード５１０、導出コード５２０、管理コード５３０などが含まれる。

【0073】

実施形態では、取得コード５１０、導出コード５２０、及び管理コード５３０を、ＮＢＭＰワークフローマネジャ３２０に、図４を参照して上記のプロセスの態様を実行させるようにそれぞれ構成することができる。

【0074】

本開示の実施形態は、別々に、又は任意の順序で組み合わせて使用され得る。さらに、実施形態（及びそれらの方法）の各々は、処理回路（例えば、１つ以上のプロセッサ、又は１つ以上の集積回路）によって実装され得る。一実施例では、１つ以上のプロセッサは、非一時的コンピュータ可読媒体に格納されたプログラムを実行する。

【0075】

前述の開示は、図示及び解説を提供するが、網羅的であることを意図するものではなく、また、実施形態を開示された正確な形態に限定することを意図するものでもない。変更及び変形は、上記の教示に照らして可能であるか、又は実施形態の実施から取得することができる。

【0076】

本明細書で使用される場合、用語「構成要素」は、ハードウェア、ファームウェア、又はハードウェアとソフトウェアとの組み合わせとして広く解釈されることを意図している。

【0077】

特徴の組み合わせが特許請求の範囲に記載され、及び／又は、明細書に開示されているとしても、これらの組み合わせは、可能な実施の開示を制限するものではない。実際、これらの特徴の多くは、請求項に具体的に記載されていない、及び／又は明細書に開示されていない方法で組み合わせることができる。以下に列挙される各従属クレームは、１つの請求項のみに直接従属し得るが、可能な実装の開示には、特許請求の範囲内の他のすべての請求項と組み合わされた各従属請求項が含まれる。

【0078】

本明細書中で使用されるいかなる要素、作用、又は命令も、明示的に記述されない限り、重要又は必須と解釈されるべきではない。また、本明細書で使用される「１つ（”a” and ”an”）」という用語は、１つ以上のアイテムを含むことを意図し、「１つ以上（one or more）」と互換的に使用することができる。さらに、本明細書で使用される「セット（”set”）」という用語は、１つ以上のアイテム（例えば、関連アイテム、非関連アイテム、関連アイテムと非関連アイテムとの組み合わせ等を含むことを意図し、「１つ以上」と互換的に使用することができる。１つのアイテムのみが意図される場合、用語「１つ（”one”）」又は類似の言語が使用される。また、本明細書で使用される場合、「有する、備える、持つ（”has,” ”have,” ”having,”）」などの用語は、自由形式の用語（open-ended terms）であることが意図されている。さらに、「に基づく（”based on”）」という句は、特に明記しない限り、「少なくとも部分的に、に基づく（”based, at least in part, on”）」を意味することを意図している。

【図1】

【図2】

【図3】

【図4】

【図5】