特許 7153800 ＭＰＥＧ ＮＢＭＰにおいてメディアコンテンツを処理する方法、装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-05

(45)【発行日】2022-10-14

(54)【発明の名称】ＭＰＥＧ ＮＢＭＰにおいてメディアコンテンツを処理する方法、装置、及びプログラム

(51)【国際特許分類】

   H04N 21/438 20110101AFI20221006BHJP

   G06F 9/50 20060101ALI20221006BHJP

   H04L 67/61 20220101ALI20221006BHJP

   H04L 65/752 20220101ALI20221006BHJP

【ＦＩ】

H04N21/438

G06F9/50 150A

H04L67/61

H04L65/752

【請求項の数】 9

(21)【出願番号】P 2021534242

(86)(22)【出願日】2020-03-18

(65)【公表番号】

(43)【公表日】2022-02-16

(86)【国際出願番号】 US2020023246

(87)【国際公開番号】W WO2020190986

(87)【国際公開日】2020-09-24

【審査請求日】2021-06-15

(31)【優先権主張番号】62/820,192

(32)【優先日】2019-03-18

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/821,015

(32)【優先日】2020-03-17

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ソダガァ，イラジ

(72)【発明者】

【氏名】ジャオ，シュアイ

【審査官】益戸 宏

(56)【参考文献】

【文献】米国特許出願公開第２０１９／００２８６９１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／００３６８８６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

Ｇ０６Ｆ ９／５０

Ｈ０４Ｌ ６７／００－６７／７５

Ｈ０４Ｌ ６１／００－６５／８０

(57)【特許請求の範囲】

【請求項1】

ムービング・ピクチャ・エキスパート・グループ（ＭＰＥＧ）ネットワーク・ベーズド・メディア・プロセッシング（ＮＢＭＰ）においてメディアコンテンツを処理する方法であって、少なくとも１つのプロセッサによって実行される前記方法において、
前記メディアコンテンツを処理するための複数のタスクを取得するステップと、
前記複数のタスクを連結するＮＢＭＰリンクアプリケーション・プログラム・インターフェース（ＡＰＩ）を供給することによって、ＮＢＭＰワークフロー・マネージャとクラウド・マネージャとの間のインターフェースを供給するステップと、
前記ＮＢＭＰリンクＡＰＩを使用することによって、前記メディアコンテンツを処理するために使用されるべきネットワークリソースの量を識別するステップと、
前記識別されたネットワークリソースの量に応じて前記メディアコンテンツを処理するステップと
を有する方法。

【請求項2】

前記メディアコンテンツを処理するために使用されるべき前記ネットワークリソースの量を識別する前記ステップは、少なくとも１つのパラメータに従ってＮＢＭＰクオリティ・オブ・サービス（ＱｏＳ）要件を拡張することによって、前記連結された複数のタスクの間の通信をモニタするステップを有する、
請求項１に記載の方法。

【請求項3】

前記少なくとも１つのパラメータは、ｍｉｎＤｅｌａｙ、ｍａｘＤｅｌａｙ、ｍｉｎＴｈｒｏｕｇｈｐｕｔ、ｍａｘＴｈｒｏｕｇｈｐｕｔ、及びａｖｅｒａｇｉｎｇＷｉｎｄｏｗのうちの少なくとも１つを有する、
請求項２に記載の方法。

【請求項4】

前記ネットワークリソースの量を識別する前記ステップは、メディア・セッション中に前記ＮＢＭＰリンクＡＰＩの状態をモニタするステップを有する、
請求項１または２に記載の方法。

【請求項5】

前記ネットワークリソースの量を識別する前記ステップは、前記ＮＢＭＰリンクＡＰＩから報告を受け取るステップを有する、
請求項１、２及び４の何れか一項に記載の方法。

【請求項6】

前記ＮＢＭＰワークフロー・マネージャと前記クラウド・マネージャとの間の機能探索ＡＰＩを更に有する、
請求項１乃至５の何れか一項に記載の方法。

【請求項7】

前記機能探索ＡＰＩは、前記メディアコンテンツを処理するために使用すべきプレロードされた機能を発見することを有する、
請求項６に記載の方法。

【請求項8】

ムービング・ピクチャ・エキスパート・グループ（ＭＰＥＧ）ネットワーク・ベーズド・メディア・プロセッシング（ＮＢＭＰ）においてメディアコンテンツを処理する装置であって、
プログラムコードを記憶するよう構成される少なくとも１つのメモリと、
前記プログラムコードを読み出し、前記プログラムコードによって指示されるように動作するよう構成される少なくとも１つのプロセッサと
を有し、前記プログラムコードは、前記少なくとも１つのプロセッサによって実行される場合に、前記少なくとも１つのプロセッサに、請求項１乃至７の何れか一項に記載の方法を実行させる、
装置。

【請求項9】

ムービング・ピクチャ・エキスパート・グループ（ＭＰＥＧ）ネットワーク・ベーズド・メディア・プロセッシング（ＮＢＭＰ）においてメディアコンテンツを処理する装置の少なくとも１つのプロセッサによって実行される場合に、該少なくとも１つのプロセッサに、請求項１乃至７の何れか一項に記載の方法を実行させる、
プログラム。

【発明の詳細な説明】

【背景技術】

【0001】

ムービング・ピクチャ・エキスパート・グループ（Moving Picture Experts Group，ＭＰＥＧ）ネットワーク・ベーズド・メディア・プロセッシング（Network Based Media Processing，ＮＢＭＰ）プロジェクトは、クラウド上でメディアを処理する概念を開発した。しかし、現在のＮＢＭＰ設計は、ネットワーク管理のためのアプリケーション・プログラム・インターフェース（Application Program Interface，ＡＰＩ）抽象化を提供しない。現在のＮＢＭＰ設計は、ハードウェア・プラットフォームなどのクラウドリソースのためのＡＰＩしか提供しない。更に、現在のＮＢＭＰワークフロー・マネージャは、ジョブを取得して、予め定義されたコンピューティング設定に基づいて全てのワーカーノードにジョブを分配する、Ｈａｄｏｏｐマスターノードなどのジョブ分配器のようにしか動作しない。ワークフロー・マネージャは、ＳＮＭＰ（Simple Network Management Protocol）を使用することといった、リソース情報を計算するワーカーを取得可能である。しかし、ネットワーク・トポロジ、バンド幅、レイテンシ、及びＱｏＳ並びに他などの、リンク間のネットワーキングリソースを取得することは困難である、という問題がある。

【発明の概要】

【0002】

実施形態に従って、ムービング・ピクチャ・エキスパート・グループ（ＭＰＥＧ）ネットワーク・ベーズド・メディア・プロセッシング（ＮＢＭＰ）においてメディアコンテンツを処理する方法は、少なくとも１つのプロセッサによって実行され、メディアコンテンツを処理するための複数のタスクを取得するステップと、複数のタスクを連結するＮＢＭＰリンクアプリケーション・プログラム・インターフェース（ＡＰＩ）を供給することによって、ＮＢＭＰワークフロー・マネージャとクラウド・マネージャとの間のインターフェースを供給するステップと、ＮＢＭＰリンクＡＰＩを使用することによって、メディアコンテンツを処理するために使用されるべきネットワークリソースの量を識別するステップと、識別されたネットワークリソースの量に応じてメディアコンテンツを処理するステップとを含む。

【0003】

実施形態に従って、ムービング・ピクチャ・エキスパート・グループ（ＭＰＥＧ）ネットワーク・ベーズド・メディア・プロセッシング（ＮＢＭＰ）においてメディアコンテンツを処理する装置は、プログラムコードを記憶するよう構成される少なくとも１つのメモリと、プログラムコードを読み出し、プログラムコードによって指示されるように動作するよう構成される少なくとも１つのプロセッサとを含み、プログラムコードは、少なくとも１つのプロセッサに、メディアコンテンツを処理するための複数のタスクを取得させるよう構成された取得コードと、少なくとも１つのプロセッサに、複数のタスクを連結するＮＢＭＰリンクアプリケーション・プログラム・インターフェース（ＡＰＩ）を供給することによって、ＮＢＭＰワークフロー・マネージャとクラウド・マネージャとの間のインターフェースを供給させるよう構成された供給コードと、少なくとも１つのプロセッサに、ＮＢＭＰリンクＡＰＩを使用することによって、メディアコンテンツを処理するために使用されるべきネットワークリソースの量を識別させるよう構成された識別コードと、少なくとも１つのプロセッサに、識別されたネットワークリソースの量に応じてメディアコンテンツを処理させるよう構成された処理コードとを含む。

【0004】

実施形態に従って、非一時的なコンピュータ可読媒体は、ムービング・ピクチャ・エキスパート・グループ（ＭＰＥＧ）ネットワーク・ベーズド・メディア・プロセッシング（ＮＢＭＰ）においてメディアコンテンツを処理する装置の少なくとも１つのプロセッサによって実行される場合に、少なくとも１つのプロセッサに、メディアコンテンツを処理するための複数のタスクを取得するステップと、複数のタスクを連結するＮＢＭＰリンクアプリケーション・プログラム・インターフェース（ＡＰＩ）を供給することによって、ＮＢＭＰワークフロー・マネージャとクラウド・マネージャとの間のインターフェースを供給するステップと、ＮＢＭＰリンクＡＰＩを使用することによって、メディアコンテンツを処理するために使用されるべきネットワークリソースの量を識別するステップと、識別されたネットワークリソースの量に応じてメディアコンテンツを処理するステップとを実行させる命令を記憶している。

【図面の簡単な説明】

【0005】

【図1】実施形態に従って、本明細書で記載される方法、装置及びシステムが実装され得る環境の図である。

【図2】図１の１つ以上のデバイスの例示的なコンポーネントのブロック図である。

【図3A】実施形態に従って、ＮＢＭＰシステムのブロック図である。

【図3B】実施形態に従って、ＮＢＭＰシステムのブロック図である。

【図4】実施形態に従って、ＭＰＥＧ ＮＢＭＰにおいてメディアコンテンツを処理する方法のフローチャートである。

【図5】実施形態に従って、ＭＰＥＧ ＮＢＭＰにおいてメディアコンテンツを処理する装置のブロック図である。

【発明を実施するための形態】

【0006】

本明細書で記載される実施形態は、ＭＰＥＧ ＮＢＭＰ標準規格に対する機能改善を提供する。かような改善は、メディア処理効率を高め、メディアサービスのデプロイの速度を速めかつそのコストを下げ、そして、パブリック、プライベート又はハイブリッドクラウドサービスを利用することによってメディアサービスの大規模デプロイを可能にする。

【0007】

例において、ＭＰＥＧ ＮＢＭＰ標準規格に対する機能改善は、ユーザローカル入力、クラウドローカル入力、又はクラウドリモート入力であるＮＢＭＰソースを可能にすることを含む。これは、ローカルアプリケーション、クラウドベースのアプリケーション、又はクラウド上で遠隔で実行されるアプリケーションのためのサービスをデプロイすることに関して柔軟性を加える。また、単一のインターフェースが、ＮＢＭＰワークフロー・マネージャとクラウド・マネージャとの間に定義され得る。従って、それは、クラウド・マネージャとネットワーク・コントローラとを通じてメディア・セッションの操作を行う。クラウド・マネージャは、クラウドに関する究極の知識を有しているので、それは、動作を簡単にし、それらをＮＢＭＰワークフロー・マネージャとってより実現可能なものとする。

【0008】

更に、ＭＰＥＧ ＮＢＭＰ標準規格に対する機能改善は、ワークフロー・マネージャがネットワーキング及び物理コンピューティングリソースに関する十分な情報を有することを可能にすることを含む。ＮＢＭＰは、クラウドリソース及びネットワークマネージャへのＡＰＩを有する。このＡＰＩは、ＮＢＭＰワークフロー・マネージャが、クラウド・プラットフォームの知識がなくても、メディアサービスを設定するために、セッションをセットアップするために、コンピューティング及びネットワークリソースの割り当てのためにクラウドサービスと通信することを可能にする。クラウド・マネージャは、ＮＢＭＰワークフロー・マネージャから及びそれへ供給された要求及び情報を内部クラウド・プラットフォームインターフェースへ変換する。更に、ＮＢＭＰワークフロー・マネージャは、内部クラウド・プラットフォームのロジックを知らなくても、この標準ＡＰＩを通じて、メディア・セッションのパフォーマンスを管理、モニタ、及び解析することができる。ネットワーク管理要件も含まれる。

【0009】

更に、ＭＰＥＧ ＮＢＭＰ標準規格に対する機能改善は、ＮＢＭＰワークフロー・マネージャとクラウド・マネージャとの間のＡＰＩに機能探索（function discovery）ＡＰＩを加えることを含む。これは、ワークフロー・マネージャが、クラウド上で機能の一般的な実装をロードするのではなく、クラウド上で機能の好ましい最適化された実装を見つけてそれらを使用することを可能にする。

【0010】

図１は、実施形態に従って、本明細書で記載される方法、装置及びシステムが実装され得る環境１００の図である。図１に示されるように、環境１００は、ユーザデバイス１１０、プラットフォーム１２０、及びネットワーク１３０を含んでよい。環境１００は、有線接続、無線接続、又は有線及び無線接続の組み合わせを介して相互接続してよい。

【0011】

ユーザデバイス１１０は、プラットフォーム１２０に関連した情報を受信、生成、記憶、処理、及び／又は供給する能力がある１つ以上のデバイスを含む。例えば、ユーザデバイス１１０は、コンピューティングデバイス（例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ハンドヘルドコンピュータ、スマートスピーカ、サーバ、など）、携帯電話機（例えば、スマートフォン、無線電話機、など）、ウェアラブルデバイス（例えば、スマートメガネ又はスマートウォッチ）、又は同様のデバイスを含んでよい。いくつかの実施では、ユーザデバイス１１０は、プラットフォーム１２０から情報を受信し、及び／又はプラットフォーム１２０へ情報を送信してよい。

【0012】

プラットフォーム１２０は、本明細書の他の場所で記載されている１つ以上のデバイスを含む。いくつかの実施では、プラットフォーム１２０は、クラウドサーバ又はクラウドサーバのグループを含んでよい。いくつかの実施では、プラットフォーム１２０は、ソフトウェアコンポーネントが特定のニーズに応じてスワップイン又はアウトされ得るようにモジュールであるよう設計されてよい。そのようなものとして、プラットフォーム１２０は、種々の使用のために容易に及び／又は直ちに再設定され得る。

【0013】

いくつかの実施では、示されているように、プラットフォーム１２０は、クラウドコンピューティング環境１２２でホストされてよい。特に、本明細書で記載される実施は、プラットフォーム１２０を、クラウドコンピューティング環境１２２でホストされるものとして説明するが、いくつかの実施では、プラットフォーム１２０は、クラウドベースでなくてもよく（すなわち、クラウドコンピューティング環境の外で実装されてよく）、あるいは、部分的にクラウドベースであってもよい。

【0014】

クラウドコンピューティング環境１２２は、プラットフォーム１２０をホストする環境を含む。クラウドコンピューティング環境１２２は、プラットフォーム１２０をホストするシステム及び／又はデバイスの物理的位置及び構成のエンドユーザ（例えば、ユーザデバイス１１０）の知識を必要としない計算、ソフトウェア、データアクセス、記憶などのサービスを提供する。示されているように、クラウドコンピューティング環境１２２は、コンピューティングリソース１２４（集合的に「コンピューティングリソース１２４」と、及び個別的に「コンピューティングリソース１２４」と呼ばれる。）のグループを含んでよい。

【0015】

コンピューティングリソース１２４は、１つ以上のパーソナルコンピュータ、ワークステーションコンピュータ、サーバデバイス、あるいは、他のタイプの計算及び／又は通信デバイスを含む。いくつかの実施では、コンピューティングリソース１２４は、プラットフォーム１２０をホストしてよい。クラウドリソースは、コンピューティングリソース１２４で実行するコンピュートインスタンス、コンピューティングリソース１２４で提供される記憶デバイス、コンピューティングリソース１２４によって提供されるデータ転送デバイス、などを含んでよい。いくつかの実施では、コンピューティングリソース１２４は、有線接続、無線接続、又は有線及び無線接続の組み合わせを介して他のコンピューティングリソース１２４と通信してよい。

【0016】

図１に更に示されているように、コンピューティングリソース１２４は、１つ以上のアプリケーション（「ＡＰＰ」）１２４－１、１つ以上の仮想マシン（「ＶＭ」）１２４－２、仮想化されたストレージ（「ＶＳ」）１２４－３、１つ以上のハイパーバイザ（「ＨＹＰ」）１２４－４などのようなクラウドリソースのグループを含む。

【0017】

アプリケーション１２４－１は、ユーザデバイス１１０及び／又はプラットフォーム１２０へ供給されるか又はそれらによってアクセスされ得る１つ以上のソフトウェア・アプリケーションを含む。アプリケーション１２４－１は、ユーザデバイス１１０でソフトウェア・アプリケーションをインストール及び実行する必要性を排し得る。例えば、アプリケーション１２４－１は、プラットフォーム１２０に関連したソフトウェア、及び／又はクラウドコンピューティング環境１２２を介して供給されることが可能なあらゆる他のソフトウェアを含んでよい。いくつかの実施では、１つのアプリケーション１２４－１は、仮想マシン１２４－２を介して、１つ以上の他のアプリケーション１２４－１から／へ情報を送信／受信してよい。

【0018】

仮想マシン１２４－２は、物理マシンのような、プログラムを実行するマシン（例えば、コンピュータ）のソフトウェア実装を含む。仮想マシン１２４－２は、仮想マシン１２４－２による何らかの実際のマシンへの寄与の使用及び程度に応じて、システム仮想マシン又はプロセス仮想マシンのどちらか一方であってよい。システム仮想マシンは、完全オペレーティング・システム（「ＯＳ」）の実行をサポートする完全システム・プラットフォームを提供してよい。プロセス仮想マシンは、単一のプログラムを実行してよく、単一のプロセスをサポートしてよい。いくつかの実施では、仮想マシン１２４－２は、ユーザ（例えば、ユーザデバイス１１０）に代わって実行してよく、データ管理、同期化、又は長期データ転送などのクラウドコンピューティング環境１２２のインフラストラクチャを管理してよい。

【0019】

仮想化されたストレージ１２４－３は、コンピューティングリソース１２４のストレージシステム又はデバイス内で仮想化技術を使用する１つ以上のストレージシステム及び／又は１つ以上のデバイスを含む。いくつかの実施では、ストレージシステムという状況の中で、仮想化のタイプには、ブロック仮想化及びファイル仮想化が含まれ得る。ブロック仮想化は、物理ストレージ又はヘテロジニアス構造に関係なくストレージシステムがアクセスされ得るような、物理ストレージからの論理ストレージの抽象化（又は分離）を指し得る。分離は、アドミニストレータがエンドユーザのために記憶を管理する方法においてストレージシステムの柔軟性をアドミニストレータに許し得る。ファイル仮想化は、ファイルレベルでアクセスされるデータと、ファイルが物理的に記憶されている場所との間の依存関係を排し得る。これは、ストレージの使用の最適化、サーバの統合、及び／又は無停止のファイル移行を可能にし得る。

【0020】

ハイパーバイザ１２４－４は、複数のオペレーティング・システム（例えば、「ゲスト・オペレーティング・システム」）がコンピューティングリソース１２４などのホストコンピュータで同時に実行することを可能にするハードウェア仮想化技術を提供し得る。ハイパーバイザ１２４－４は、仮想オペレーティング・プラットフォームをゲスト・オペレーティング・システムに提示してよく、ゲスト・オペレーティング・システムの実行を管理してよい。様々なオペレーティング・システムの複数のインスタンスは、仮想化されたハードウェアリソースを共有してよい。

【0021】

ネットワーク１３０は、１つ以上の有線及び／又は無線ネットワークを含む。例えば、ネットワーク１３０は、セルラー・ネットワーク（例えば、第５世代（５Ｇ）ネットワーク、ロング・ターム・エボリューション（ＬＴＥ）ネットワーク、第３世代（３Ｇ）ネットワーク、符号分割多重アクセス（ＣＤＭＡ）ネットワーク、など）、公衆地上移動体ネットワーク（ＰＬＭＮ）、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、電話網（例えば、公衆交換電話網（ＰＳＴＮ））、プライベート・ネットワーク、アドホック・ネットワーク、イントラネット、インターネット、光ファイバネットワーク、など及び／又はそれらの組み合わせ、あるいは、他のタイプのネットワークを含んでよい。

【0022】

図１に示されているデバイス及びネットワークの数及び配置は、例として与えられている。実際には、追加のデバイス及び／又はネットワーク、より少ないデバイス及び／又はネットワーク、異なるデバイス及び／又はネットワーク、あるいは、図１に示されているものとは異なるように配置されたデバイス及び／又はネットワークが存在してもよい。更に、図１に示されている２つ以上のデバイスは、単一のデバイス内に実装されてもよく、あるいは、図１に示されている単一のデバイスは、複数の分散したデバイスとして実装されてもよい。追加的に、又は代替的に、環境１００のデバイス（例えば、１つ以上のデバイス）の組は、環境１００のデバイスの他の組によって実行されるものとして説明されている１つ以上の機能を実行してもよい。

【0023】

図２は、図１の１つ以上のデバイスの例示的なコンポーネントのブロック図である。デバイス２００は、ユーザデバイス１１０及び／又はプラットフォーム１２０に対応してよい。図２に示されているように、デバイス２００は、バス２１０、プロセッサ２２０、メモリ２３０、ストレージコンポーネント２４０、入力コンポーネント２５０、出力コンポーネント２６０、及び通信インターフェース２７０を含んでよい。

【0024】

バス２１０は、デバイス２００のコンポーネント間の通信を可能にするコンポーネントを含む。プロセッサ２２０は、ハードウェア、ファームウェア、又はハードウェア及びソフトウェアの組み合わせで実装される。プロセッサ２２０は、中央演算処理装置（ＣＰＵ）、グラフィクス・プロセッシング・ユニット（ＧＰＵ）、アクセラレーテッド・プロセッシング・ユニット（ＡＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタル・シグナル・プロセッサ（ＤＳＰ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、又は他のタイプのプロセッシングコンポーネントである。いくつかの実施では、プロセッサ２２０は、機能を実行するようプログラムされる能力がある１つ以上のプロセッサを含む。メモリ２３０は、プロセッサ２２０によって使用される情報及び／又はデータを記憶するランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリー・メモリ（ＲＯＭ）、及び／又は他のタイプの動的若しくは静的ストレージデバイス（例えば、フラッシュメモリ、磁気メモリ、及び／又は光学メモリ）を含む。

【0025】

ストレージコンポーネント２４０は、デバイス２００の動作及び使用に関連した情報及び／又はソフトウェアを記憶する。例えば、ストレージコンポーネント２４０は、ハードディスク（例えば、磁気ディスク、光ディスク、光学磁気ディスク、及び／又はソリッド・ステート・ディスク）、コンパクト・ディスク（ＣＤ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、フロッピー（登録商標）ディスク、カートリッジ、磁気テープ、及び／又は他のタイプの非一時的なコンピュータ可読媒体を、対応するドライブとともに含んでよい。

【0026】

入力コンポーネント２５０は、デバイス２００が、例えば、ユーザ入力（例えば、タッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ、及び／又はマイクロホン）を介して、情報を受け取ることを可能にするコンポーネントを含む。追加的に、又は代替的に、入力コンポーネント２５０は、情報を検知するセンサ（例えば、グローバル・ポジショニング・システム（ＧＰＳ）コンポーネント、加速度計、ジャイロスコープ、及び／又はアクチュエータ）を含んでよい。出力コンポーネント２６０は、デバイス２００から出力情報を供給するコンポーネント（例えば、ディスプレイ、スピーカ、及び／又は１つ以上の発光ダイオード（ＬＥＤ））を含む。

【0027】

通信インターフェース２７０は、デバイスが、例えば、有線接続、無線接続、又は有線及び無線接続の組み合わせを介して、他のデバイスと通信することを可能にするトランシーバ様のコンポーネント（例えば、トランシーバ及び／又は別個の受信器及び送信器）を含む。通信インターフェース２７０は、デバイス２００が他のデバイスから情報を受け取ること及び／又は他のデバイスへ情報を供給することを可能にし得る。例えば、通信インターフェース２７０は、Ｅｔｈｅｒｎｅｔ（登録商標）インターフェース、光インターフェース、同軸インターフェース、赤外線インターフェース、無線周波数（ＲＦ）インターフェース、ユニバーサル・シリアル・バス（ＵＳＢ）インターフェース、Ｗｉ－Ｆｉインターフェース、セルラー・ネットワーク・インターフェース、などを含んでよい。

【0028】

デバイス２００は、本明細書で記載される１つ以上のプロセスを実行してよい。デバイス２００は、メモリ２３０及び／又はストレージコンポーネント２４０などの非一時的なコンピュータ可読媒体によって記憶されているソフトウェア命令をプロセッサ２２０が実行することに応答して、これらのプロセスを実行してよい。コンピュータ可読媒体は、本明細書では、非一時的なメモリデバイスとして定義される。メモリデバイスは、単一の物理記憶デバイス内のメモリ空間、又は複数の物理記憶デバイスにわたって拡散されたメモリ空間を含む。

【0029】

ソフトウェア命令は、他のコンピュータ可読媒体から又は他のデバイスから通信インターフェース２７０を介してメモリ２３０及び／又はストレージコンポーネント２４０に読み出されてよい。実行される場合に、メモリ２３０及び／又はストレージコンポーネント２４０に記憶されているソフトウェア命令は、プロセッサ２２０に、本明細書で記載される１つ以上のプロセスを実行させてよい。追加的に、又は代替的に、ハードワイヤード回路が、本明細書で記載される１つ以上のプロセスを実行するようソフトウェア命令の代わりに又はそれと組み合わせて使用されてもよい。よって、本明細書で記載される実施は、ハードウェア回路及びソフトウェアの如何なる具体的な組み合わせにも限定されない。

【0030】

図２に示されているコンポーネントの数及び配置は、例として与えられている。実際には、デバイス２００は、追加のコンポーネント、より少ないコンポーネント、異なるコンポーネント、又は図２に示されているものとは異なるように配置されたコンポーネントを含んでよい。追加的に、又は代替的に、デバイス２００のコンポーネント（例えば、１つ以上のコンポーネント）の組は、デバイス２００のコンポーネントの他の組であるものとして記載されている１つ以上の機能を実行してもよい。

【0031】

図３Ａは、実施形態に従って、ＮＢＭＰシステムのブロック図である。

【0032】

図３Ａは、ＮＢＭＰワークフロー・マネージャとクラウド・マネージャとの間のインターフェースを表す。クラウド・マネージャは、要求を内部ＡＰＩへ変換し、それらを異なるハードウェアモジュールへ通信することができる。

【0033】

実施形態に従って、抽象化されたアーキテクチャが定義され、これは、ＮＢＭＰリファレンスアーキテクチャの中ごろにクラウドリソース及びネットワークマネージャを置き、ＮＢＭＰ ＡＰＩを、ＮＢＭＰワークフロー・マネージャとクラウドリソース及びネットワークマネージャとの間のインターフェースであるよう拡張する。

【0034】

図３Ｂは、実施形態に従って、ＮＢＭＰシステム３０１のブロック図である。

【0035】

図３Ｂを参照すると、ＮＢＭＰシステム３０１は、ＮＢＭＰソース３１０、ＮＢＭＰワークフロー・マネージャ３２０、機能リポジトリ３３０、ネットワーク・コントローラ３４０、１つ以上のメディア処理エンティティ３５０、メディアソース３６０、及びメディアシンク３７０を含む。

【0036】

ＮＢＭＰソース３１０は、第三者エンティティ３８０から命令を受け取ってよく、ＮＢＭＰワークフローＡＰＩを介してＮＢＭＰワークフロー・マネージャ３２０と通信してよく、機能探索ＡＰＩを介して機能リポジトリ３３０と通信してよい。例えば、ＮＢＭＰソース３１０は、ワークフロー記述ドキュメントをＮＢＭＰワークフロー・マネージャ３２０へ送信してよく、かつ、機能リポジトリ３３０のメモリに格納されている機能の機能記述を読み出してよい。機能は、例えば、メディア復号化、特徴点抽出、カメラパラメータ抽出、射影法、シーム情報抽出、ブレンディング、後処理、及び符号化の機能などのメディア処理機能を含んでよい。ＮＢＭＰソース３１０は、少なくとも１つのプロセッサと、少なくとも１つのプロセッサに、ＮＢＭＰソース３１０の機能を実行させるよう構成されたコードを記憶するメモリとを含んでよい。

【0037】

ＮＢＭＰソース３１０は、ワークフロー記述ドキュメントをＮＢＭＰワークフロー・マネージャ３２０へ送信することによって、１つ以上のメディア処理エンティティ３５０によって実行されるべきタスク３５１及び３５２を含むワークフローを生成するようにＮＢＭＰワークフロー・マネージャ３２０に要求してよい。ワークフロー記述ドキュメントは記述子を含んでよく、各記述子はパラメータを含んでよい。

【0038】

例えば、ＮＢＭＰソース３１０は、機能リポジトリ３３０に記憶されている機能のうちの１つ以上を選択し、ＮＢＭＰワークフロー・マネージャ３２０に対して、入力及び出力データなどの詳細を記述する記述子を含むワークフロー記述ドキュメントと、選択された１つ以上の機能と、ワークフローの要件とを送信してよい。ワークフロー記述ドキュメントは、タスク記述の組と、メディア処理エンティティ３５０の１つ以上によって実行されるべきタスク３５１及び３５２の入力及び出力の接続マップとを更に含んでよい。ＮＢＭＰワークフロー・マネージャ３２０がそのような情報をＮＢＭＰソース３１０から受け取ると、ＮＢＭＰワークフロー・マネージャ３２０は、機能名に基づいてタスク３５１及び３５２をインスタンス化し、接続マップに従ってタスク３５１及び３５２を接続することによって、ワークフローを生成してよい。

【0039】

代替的に、又は追加的に、ＮＢＭＰソース３１０は、キーワードの組を使用することによって、ワークフローを生成するようにＮＢＭＰワークフロー・マネージャ３２０に要求してもよい。例えば、ＮＢＭＰソース３１０は、ＮＢＭＰワークフロー・マネージャ３２０に対して、ＮＢＭＰワークフロー・マネージャ３２０が機能リポジトリ３３０に記憶されている機能のうちの適切な１つ以上を見つけるために使用し得るキーワードの組を含むワークフロー記述ドキュメントを送信してよい。ＮＢＭＰワークフロー・マネージャ３２０がそのような情報をＮＢＭＰソース３１０から受け取ると、ＮＢＭＰワークフロー・マネージャ３２０は、ワークフロー記述ドキュメントの処理記述子（Processing Descriptor）で特定され得るキーワードを用いて適切な１つ以上の機能を探すことによって、かつ、タスク３５１及び３５２を準備し接続するためにワークフロー記述ドキュメント内の他の記述子を使用することによって、ワークフローを生成してよい。

【0040】

ＮＢＭＰワークフロー・マネージャ３２０は、機能探索ＡＰＩを介して機能リポジトリ３３０と通信してよく、ＮＢＭＰタスクＡＰＩ、ＮＢＭＰリンクＡＰＩ、及び機能探索ＡＰＩを介して、ネットワーク・コントローラ３４０を通って、メディア処理エンティティ３５０の１つ以上と通信してよい。ＮＢＭＰワークフロー・マネージャ３２０は、少なくとも１つのプロセッサと、少なくとも１つのプロセッサにＮＢＭＰワークフロー・マネージャ３２０の機能を実行させるよう構成されたコードを記憶するメモリとを含んでよい。

【0041】

ＮＢＭＰリンクＡＰＩは、ＮＢＭＰの元のアーキテクチャに加えられる。図３Ｂに表されているように、２つのタスク間の如何なるリンクも、タスクＡＰＩに類似したＡＰＩを有している。このリンクのＡＰＩを使用して、ＮＢＭＰワークフロー・マネージャは、必要とされるネットワークリソースをセットアップすることとともに、メディア・セッション中のリンクの状態をモニタすること又はリンクから報告を受け取ることができる。このＡＰＩは、クラウド・プラットフォームによって実装されるべきである。リンクごとに、このＡＰＩはセットアップされ、クラウド・プラットフォームは、それの１つのインスタンスを、そのネットワーク・コントローラ、クラウド・マネージャ又は仮想ネットワーキング・マネージャを用いてインスタンス化する。

【0042】

ＮＢＭＰ機能探索ＡＰＩも、ＮＢＭＰの元のアーキテクチャに加えられる。このＡＰＩは、ＮＢＭＰが、機能を再びロードするのではなく、プレロードされた機能をクラウド上で見つけてそれらを使用することを可能にする。

【0043】

ＮＢＭＰワークフロー・マネージャ３２０は、１つ以上のメディア処理エンティティ３５０によって実行可能であるタスク３５１及び３５２の１つ以上をセットアップ、構成、管理、及びモニタするためにＮＢＭＰタスクＡＰＩを使用してよい。実施形態において、ＮＢＭＰワークフロー・マネージャ３２０は、タスク３５１及び３５２を更新するためにＮＢＭＰタスクＡＰＩを使用してよい。ワークフローのタスク３５１及び３５２を構成、管理、及びモニタするために、ＮＢＭＰワークフロー・マネージャ３２０は、要求などのメッセージをメディア処理エンティティ３５０の１つ以上へ送信してよく、各メッセージは記述子を有してよく、各記述子はパラメータを含んでよい。タスク３５１及び３５２は夫々、１つ以上のメディア処理機能３５４と、１つ以上のメディア処理機能３５４のための１つ以上のコンフィグレーション３５３とを含んでよい。

【0044】

実施形態において、タスクのリストを含まない（例えば、タスクのリスクの代わりにキーワードのリストを含む）ＮＢＭＰソース３１０からワークフロー記述ドキュメントを受け取った後、ＮＢＭＰワークフロー・マネージャ３２０は、現在のワークフローについてタスク３５１及び３５２として実行されるべき適切な１つ以上の機能を見つけるために、機能探索ＡＰＩを介して、機能リポジトリ３３０を探索するよう、ワークフロー記述ドキュメント内のタスクの記述に基づいてタスクを選択してよい。例えば、ＮＢＭＰワークフロー・マネージャ３２０は、ワークフロー記述ドキュメント内で与えられているキーワードに基づいてタスクを選択してよい。適切な１つ以上の機能が、ＮＢＭＰソースによって供給されるキーワード又はタスク記述の組を用いて識別された後、ＮＢＭＰワークフロー・マネージャ３２０は、ＮＢＭＰタスクＡＰＩを使用することによって、選択されたタスクをワークフロー内で構成してよい。例えば、ＮＢＭＰワークフロー・マネージャ３２０は、ＮＢＭＰソース３１０から受け取られる情報からコンフィグレーションデータを取り出し、その取り出されたコンフィグレーションデータに基づいてタスク３５１及び３５２を構成してよい。

【0045】

１つ以上のメディア処理エンティティ３５０は、メディアソース３６０からメディアコンテンツを受け取り、受け取られたメディアコンテンツを、タスク３５１及び３５２を含み、ＮＢＭＰワークフロー・マネージャ３２０によって生成されるワークフローに従って処理し、処理されたメディアコンテンツをメディアシンク３７０へ出力するよう構成されてよい。１つ以上のメディア処理エンティティ３５０は夫々、少なくとも１つのプロセッサと、少なくとも１つのプロセッサに、１つ以上のメディア処理エンティティ３５０の機能を実行させるよう構成されたコードを記憶するメモリとを含んでよい。

【0046】

ネットワーク・コントローラ３４０は、少なくとも１つのプロセッサと、少なくとも１つのプロセッサに、ネットワーク・コントローラ３４０の機能を実行させるよう構成されたコードを記憶するメモリとを含んでよい。

【0047】

メディアソース３６０は、メディアを記憶するメモリを含んでよく、ＮＢＭＰソース３１０と一体化されても又はそれとは別個であってもよい。実施形態において、ＮＢＭＰワークフロー・マネージャ３２０は、ワークフローが準備されると、ＮＢＭＰソース３１０及び／又はメディアソース３６０に通知してよく、メディアソース３６０は、ワークフローが準備されたとの通知に基づいて、メディア処理エンティティ３５０の１つ以上へメディアコンテンツを送信してよい。

【0048】

メディアシンク３７０は、少なくとも１つのプロセッサと、１つ以上のメディア処理エンティティ３５０によって処理されるメディアコンテンツを表示するよう構成される少なくとも１つのディスプレイとを含んでよい。

【0049】

第三者エンティティ３８０は、少なくとも１つのプロセッサと、少なくとも１つのプロセッサに、第三者エンティティ３８０の機能を実行させるよう構成されたコードを記憶するメモリとを含んでよい。

【0050】

上述されたように、ＮＢＭＰソース３１０からＮＢＭＰワークフロー・マネージャ３２０へのメッセージ（例えば、ワークフローの生成を要求するワークフロー記述ドキュメント）、及びＮＢＭＰワークフロー・マネージャ３２０から１つ以上のメディア処理エンティティ３５０へのメッセージ（例えば、ワークフローを実行させるためのもの）は、記述子を含んでよく、各記述子はパラメータを含む。実施形態において、ＡＰＩを使用するＮＢＭＰシステム３０１のいずれかのコンポーネント間の通信は、記述子を含んでよく、各記述子はパラメータを含む。

【0051】

［要件記述子の拡張］
実施形態に従って、２つのタスク間のネットワーキングをセットアップ及びモニタするために、ＮＢＭＰ ＱｏＳ要件オブジェクトは、以下の表１で示されるパラメータにより拡張される。

【表1】

【0052】

［リンクリソースＡＰＩ］
実施形態に従って、リンクはタスクと類似しており、簡略化されたタスクリソースＡＰＩを使用することができる。ネットワーキングをサポートするために、リンクリソースＡＰＩが加えられてよく、あるいは、タスクリソースＡＰＩが拡張されてもよい。リンクＡＰＩ動作。

【0053】

実施形態に従って、リンクＡＰＩ動作は、タスクＡＰＩ動作と類似し、同じコンフィグレーションＡＰＩが使用可能である。

【0054】

［クラウド内のプレロードされた機能の発見］
実施形態に従って、ＮＢＭＰ機能は、クラウドサービス内にプレロードされていることがある。機能のいくつかは、クラウド・プラットフォームによって実装されてよく、あるいは、第三者ベンダーが、特定のクラウドソリューションのためにその機能の最適化された実装を有してもよい。

【0055】

実施形態に従って、機能の実装の位置は、その機能の処理記述子内のユニフォーム・リソース・ロケータ（ＵＲＬ）により識別され得る。ＮＢＭＰワークフロー・マネージャがその実装をクラウドにロードする前に、それは、この機能の好ましい実装がクラウド・プラットフォームに存在するかどうかを問い合わせてよく、そして、該当する場合には、ＮＢＭＰワークフロー・マネージャは、機能のその特定の実装を使用することができる。これは、同じベンダーからの機能が一意のＩＤを有していることと、機能の各実装が一意のＩＤを有していることとを必要とし得る。

【0056】

実施形態に従って、ＮＢＭＰプロセスのワークフロー生成は、次を含む：
１．ＮＢＭＰソースは、ワークフローを生成するためにワークフローＡＰＩを使用する。それは、ワークフロー記述ドキュメントを要求の部分として送信する。ワークフロー・マネージャは、ワークフロー記述ドキュメントをチェックし、ワークフローを構築し始める。
２．ワークフロー・マネージャは、ワークフローを生成するためにデプロイするだろう機能を見つけるために、機能レジストリへクエリ又はクエリの組を送信する。
３．各クエリについて、機能レジストリは、可能性がある機能、それらの記述及びそれらのコンフィグレーション情報のショートリストを返す。
４．ワークフロー・マネージャは、それがデプロイしたい機能の組を選択し、それらの要件に基づいて、必要とされるメディア処理エンティティを生成してそれらに機能をロードするようクラウド・プラットフォームとコンタクトをとる。
ａ．各機能について、ワークフロー・マネージャは、その機能の好ましい実装がプラットフォームによって既にサポートされているかどうかを調べるよう問い合わせる。そのような実装が存在する場合には、クラウド・プラットフォームは、その機能の新しいＩＤを返す。
ｉ．好ましい機能が存在する場合に、ワークフロー・マネージャは、それらのＩＤを使用してタスクを生成する。
ｉｉ．機能が存在しない場合に、ワークフロー・マネージャは、機能の実装をダウンロードするためにクラウド・マネージャへ認証ＵＲＬを供給する。
５．クラウド・プラットフォームは、ネットワークアクセス情報を含む各メディア処理エンティティの生成を承認する。
６．ワークフロー・マネージャは、各タスクのコンフィグレーションを生成し、タスクＡＰＩを使用してそのタスクのコンフィグレーションを送る。
７．タスクは、成功したコンフィグレーションを確かめ、アクセス情報を返し、故に、ワークフロー・マネージャは次のタスクを接続することができる。
８．ワークフロー・マネージャは、ＮＢＭＰソースに対してワークフローの生成を承認し、それに、メディア処理が開始可能であることを知らせる。

【0057】

このようにして、実施形態に従って、機能探索ＡＰＩは、ワークフロー・マネージャとクラウド・マネージャとの間で使用されてよい。このＡＰＩは、既存の機能の一般的な処理記述を使用して問い合わせを行い、クラウド・プラットフォーム上の機能の存在に関する応答を得ることができる。

【0058】

図４は、実施形態に従って、ＭＰＥＧ ＮＢＭＰにおいてメディアコンテンツを処理する方法４００のフローチャートである。いくつかの実施では、図４の１つ以上のプロセスブロックは、ＮＢＭＰシステム３０１を実装するプラットフォーム１２０によって実行されてよい。いくつかの実施では、図４の１つ以上のプロセスブロックは、ＮＢＭＰシステム３０１を実装するプラットフォーム１２０とは別個の又はそれを含む他のデバイス又はデバイスのグループ、例えば、ユーザデバイス１１０によって実行されてもよい。

【0059】

図４に示されているように、動作４１０で、方法４００は、メディアコンテンツを処理するための複数のタスクを取得することを含む。

【0060】

動作４２０で、方法４００は、複数のタスクを連結するＮＢＭＰリンクアプリケーション・プログラム・インターフェース（ＡＰＩ）を供給することによって、ＮＢＭＰワークフロー・マネージャとクラウド・マネージャとの間のインターフェースを供給することを含む。

【0061】

動作４３０で、方法４００は、ＮＢＭＰリンクＡＰＩを使用することによって、メディアコンテンツを処理するために使用されるべきネットワークリソースの量を識別することを含む。

【0062】

動作４４０で、方法４００は、識別されたネットワークリソースの量に応じてメディアコンテンツを処理することを含む。

【0063】

方法は、少なくとも１つのパラメータに従ってＮＢＭＰクオリティ・オブ・サービス（ＱｏＳ）要件を拡張することによって、連結された複数のタスクの間の通信をモニタすることを更に含んでよい。少なくとも１つのパラメータは、ｍｉｎＤｅｌａｙ、ｍａｘＤｅｌａｙ、ｍｉｎＴｈｒｏｕｇｈｐｕｔ、ｍａｘＴｈｒｏｕｇｈｐｕｔ、及びａｖｅｒａｇｉｎｇＷｉｎｄｏｗのうちの少なくとも１つを有する。

【0064】

ネットワークリソースの量を識別する動作は、メディア・セッション中にＮＢＭＰリンクＡＰＩの状態をモニタすることを含んでよい。

【0065】

ネットワークリソースの量を識別する動作は、ＮＢＭＰリンクＡＰＩから報告を受け取ることを含んでよい。機能探索ＡＰＩは、メディアコンテンツを処理するために使用すべきプレロードされた機能を発見することを含んでよい。

【0066】

図４は、方法４００の例示的なブロックを示すが、いくつかの実施では、方法４００は、追加のブロック、より少ないブロック、異なるブロック、図４で表されているものとは異なるように配置されたブロックを含んでよい。追加的に、又は代替的に、方法４００のブロックの２つ以上は、同時に実行されてもよい。

【0067】

図５は、実施形態に従って、ＭＰＥＧ ＮＢＭＰにおいてメディアコンテンツを処理する装置５００の図である。図５に示されているように、装置５００は、取得コード５１０、供給コード５２０、識別コード５３０、及び処理コード５４０を含む。

【0068】

取得コード５１０は、少なくとも１つのプロセッサに、メディアコンテンツを処理するための複数のタスクを取得させるよう構成される。

【0069】

供給コード５２０は、少なくとも１つのプロセッサに、複数のタスクを連結するＮＢＭＰリンクアプリケーション・プログラム・インターフェース（ＡＰＩ）を供給することによって、ＮＢＭＰワークフロー・マネージャとクラウド・マネージャとの間のインターフェースを供給させるよう構成される。

【0070】

識別コード５３０は、少なくとも１つのプロセッサに、ＮＢＭＰリンクＡＰＩを使用することによって、メディアコンテンツを処理するために使用されるべきネットワークリソースの量を識別させるよう構成される。

【0071】

処理コード５４０は、少なくとも１つのプロセッサに、識別されたネットワークリソースの量に応じてメディアコンテンツを処理させるよう構成される。

【0072】

上記の開示は、例示及び説明を与えるが、包括的であったり、あるいは、開示されている厳密な形態に実施を限定したりする意図はない。変更及び変形が、上記の開示を鑑みて可能であり、あるいは、実施の実行から取得され得る。

【0073】

本明細書で使用されているように、コンポーネントという用語は、ハードウェア、ファームウェア、ハードウェア及びソフトウェアの組み合わせとして広く解釈されるよう意図される。

【0074】

本明細書で記載されているシステム及び／又は方法は、異なる形態のハードウェア、ファームウェア、又はハードウェア及びソフトウェアの組み合わせにおいて実装されてよいことが理解される。これらのシステム及び／又は方法を実装するために使用される実際の特殊化された制御ハードウェア又はソフトウェアコードは、実施の限定ではない。よって、システム及び／又は方法の操作及び挙動は、特定のソフトウェアコードを参照せずに本明細書で記載された。ソフトウェア及びハードウェアは、本明細書中の記載に基づいてシステム及び／又は方法を実装するよう設計されてよいことが理解される。

【0075】

たとえ特徴の組み合わせが特許請求の範囲において列挙され及び／又は明細書で開示されているとしても、これらの組み合わせは、可能な実施の開示を限定する意図はない。実際に、これらの特徴の多くは、具体的に特許請求の範囲に列挙されていない方法及び／又は明細書で開示されていない方法で組み合わされてよい。以下で挙げられている各従属請求項は、ただ１つの請求項にしか直接に従属しないことがあるが、可能な実施の開示は、各従属請求項を、特許請求の範囲内のあらゆる他の請求項と組み合わせて含む。

【0076】

本明細書で使用されている要素、動作、又は命令は、そのようなものとして明示的に記載されない限りは、重要又は必須と考えられるべきではない。また、本明細書で使用されているように、不定冠詞（a又はan）は、１つ以上のアイテムを含むよう意図され、「１つ以上」と同義的に使用されてよい。更に、本明細書で使用されているように、「組」との用語は、１つ以上のアイテム（例えば、関連するアイテム、無関係のアイテム、関連するアイテムと無関係のアイテムとの組み合わせ、など）を含むよう意図され、「１つ以上」と同義的に使用されてよい。ただ１つのアイテムが意図される場合には、「１つ」との用語又は類似した言語が使用される。また、本明細書で使用されているように、「有する」など、との用語は、非限定的な用語であるよう意図される。更に、「～に基づく」という表現は、別段明示的に述べられない限りは、「少なくとも～に基づく」を意味するよう意図される。

【0077】

［関連出願の相互参照］
本願は、米国特許商標庁において、２０１９年３月１８日付けで出願された米国特許仮出願第６２／８２０１９２号、及び２０２０年３月１７日付けで出願された米国特許出願第１６／８２１０１５号の優先権を主張するものである。優先権の基礎となったこれら特許出願は、その開示の全文を参照により本願に援用される。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】