特許 7412781 空間認識型マルチメディアルータシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-04

(45)【発行日】2024-01-15

(54)【発明の名称】空間認識型マルチメディアルータシステムおよび方法

(51)【国際特許分類】

   H04N 7/15 20060101AFI20240105BHJP

   H04L 67/131 20220101ALI20240105BHJP

【ＦＩ】

H04N7/15 120

H04N7/15

H04L67/131

【請求項の数】 14

【外国語出願】

(21)【出願番号】P 2021138812

(22)【出願日】2021-08-27

(65)【公開番号】P2022040097

(43)【公開日】2022-03-10

【審査請求日】2022-01-18

(31)【優先権主張番号】17/005,767

(32)【優先日】2020-08-28

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】520509030

【氏名又は名称】ティーエムアールダブリュー ファウンデーション アイピー エスエーアールエル

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100202751

【弁理士】

【氏名又は名称】岩堀 明代

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(74)【代理人】

【識別番号】100191086

【弁理士】

【氏名又は名称】高橋 香元

(72)【発明者】

【氏名】セヴァト，イエルリ

【審査官】鈴木 順三

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０３１０７５７（ＵＳ，Ａ１）

【文献】国際公開第２０１０／０６５８４８（ＷＯ，Ａ２）

【文献】特開２０１９－０８２９９７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１４ － ７／１７３

Ｈ０４Ｎ ２１／００ － ２１／８５８

Ｈ０４Ｌ ６７／００ － ６７／７５

(57)【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサおよびメモリを備えた少なくとも１つのメディアサーバコンピュータを備え、前記少なくとも１つのメディアサーバコンピュータは、空間分析メディアサーバ（ＳＡＭＳ）として構成され、それぞれのユーザに関連付けられたクライアント装置からの着信マルチメディアストリーム、ユーザ優先度データ、および空間定位データを含む着信データを受信して分析し、かつ前記クライアント装置から受信した前記着信データに基づいて個々のクライアント装置のために発信マルチメディアストリームを適合させるように構成されており、前記着信マルチメディアストリームは少なくとも１つの仮想環境内からの要素を含み、かつ前記発信マルチメディアストリームは、前記ユーザ優先度データおよび、前記少なくとも１つの仮想環境における、前記ユーザの対応するユーザグラフィック表現と前記少なくとも１つの仮想環境内での前記着信マルチメディアストリームのソースとの空間的関係を記述する前記空間定位データに基づいて前記個々のクライアント装置のために適合されていることを特徴とするマルチメディアルータシステム。

【請求項2】

前記少なくとも１つの仮想環境は、ネットワークを介して前記少なくとも１つのメディアサーバコンピュータに接続された少なくとも１つの専用サーバコンピュータでホストされているかピアツーピアインフラでホストされており、かつ前記少なくとも１つのメディアサーバコンピュータを経由して中継される、請求項１に記載のシステム。

【請求項3】

前記少なくとも１つの仮想環境は実世界位置の仮想レプリカを含み、前記実世界位置は、さらなるデータを前記実世界位置の前記仮想レプリカに提供する複数のセンサを備える、請求項１または２に記載のシステム。

【請求項4】

前記少なくとも１つのメディアサーバコンピュータは、前記着信データを別個のタイルを含むモザイクの形態で組み合わせるようにさらに構成されており、ここではユーザグラフィック表現の個々のマルチメディアストリームがストリームされる、請求項１乃至３のいずれか一項に記載のシステム。

【請求項5】

前記少なくとも１つのメディアサーバコンピュータは、多地点制御装置（ＭＣＵ）、クラウドメディアミキサーまたはクラウド３Ｄレンダラーとして構成されている、請求項１乃至４のいずれか一項に記載のシステム。

【請求項6】

前記少なくとも１つのメディアサーバコンピュータは各クライアント装置の着信データを分析および処理し、かつユーザ優先度および、前記対応するユーザグラフィック表現と前記着信マルチメディアストリームの前記ソースとの前記空間的関係を決定するように構成されている、請求項１乃至５のいずれか一項に記載のシステム。

【請求項7】

前記発信マルチメディアストリームを適合させることは、前記１つ以上の受信側クライアント装置のために帯域幅および計算リソース利用を最適化することを含む、請求項１乃至６のいずれか一項に記載のシステム。

【請求項8】

前記発信マルチメディアストリームを適合させることは、一時的な特徴、空間特徴、品質もしくは色特徴またはそれらの組み合わせを適合させることを含む、請求項１乃至７のいずれか一項に記載のシステム。

【請求項9】

空間分析メディアサーバ（ＳＡＭＳ）として構成された少なくとも１つのメディアサーバコンピュータによって、それぞれのユーザと関連付けられた複数のクライアント装置からの着信マルチメディアストリーム、ユーザ優先度データおよび、仮想環境における対応するユーザグラフィック表現と前記少なくとも１つの仮想環境内での前記着信マルチメディアストリームのソースとの空間的関係を記述する空間定位データを含む着信データを受信する工程と、
前記仮想環境内からのグラフィカル要素を含む前記複数のクライアント装置からの前記着信データを分析する工程と、
前記複数のクライアント装置から受信した前記着信データの前記ユーザ優先度データ、および前記空間定位データに基づいて発信マルチメディアストリームを適合させる工程と、
前記適合された発信マルチメディアストリームを１つ以上の受信側クライアント装置に転送する工程であって、前記適合された発信マルチメディアストリームは、前記１つ以上の受信側クライアント装置のユーザに表示されるように構成されている工程と
を含む、マルチメディアルーティング方法。

【請求項10】

前記着信データを別個のタイルを含むモザイクの形態で組み合わせることをさらに含み、ここでは前記ユーザグラフィック表現の個々のマルチメディアストリームがストリームされる、請求項９に記載の方法。

【請求項11】

ユーザ優先度および、前記対応するユーザグラフィック表現と前記着信マルチメディアストリームの前記ソースとの前記空間的関係を決定することをさらに含む、請求項９または１０に記載の方法。

【請求項12】

前記発信マルチメディアストリームを適合させることは、前記１つ以上の受信側クライアント装置のために帯域幅および計算リソース利用を最適化することを含む、請求項９乃至１１のいずれか一項に記載の方法。

【請求項13】

前記発信マルチメディアストリームを適合させることは、一時的な特徴、空間特徴、品質もしくは色特徴またはそれらの組み合わせを適合させることを含む、請求項９乃至１２のいずれか一項に記載の方法。

【請求項14】

プロセッサおよびメモリを備えた少なくとも１つのメディアサーバコンピュータに、
請求項９乃至１３のいずれか一項に記載の方法を行わせるように構成された命令がそこに記憶されているコンピュータで読み取り可能な記録読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、本出願と同時に出願された「仮想環境において仮想の存在との対話を可能にするシステムおよび方法（Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ Ｅｎａｂｌｉｎｇ Ｉｎｔｅｒａｃｔｉｏｎｓ ｉｎ Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔｓ ｗｉｔｈ Ｖｉｒｔｕａｌ Ｐｒｅｓｅｎｃｅ）」という発明の名称の同時係属中の米国特許出願第１７／００６，３２７号に関し、これは参照により本明細書に組み込まれる。

【0002】

本開示は一般にコンピュータシステムに関し、より具体的にはマルチメディアルータシステムおよび方法に関する。

【背景技術】

【0003】

ビデオ会議は複数のユーザ間でのリモート通信を可能にし、複数の位置にいる人々のための比較的低コストであり、かつ高速な通信ツールになりつつある。ビデオ会議は最近では、ブロードバンドネットワークの広範囲な展開、ビデオ圧縮技術の進歩、ならびにより低いインフラ要求および低コストでのウェブベースのビデオ通信を実行するための手法の高可用性により一般的になっている。

【0004】

例えば、ビデオ会議を可能にするそのような手法の１つは、各クライアント装置がマルチメディアストリームを全ての他のクライアント装置に送信するメッシュ（ピアツーピア）インフラである。これはどんな中間インフラも必要としない低コストソリューションの代表であるが、高速帯域幅の過負荷およびクライアント装置の限られた処理能力により、結果としてスケーラビリティが低下する。

【0005】

別の手法例は多地点制御装置（ＭＣＵ：ｍｕｌｔｉｐｏｉｎｔ ｃｏｎｔｒｏｌ ｕｎｉｔ）であり、これは、中央メディアサーバに実装されている場合、クライアント装置からマルチメディアストリームの全てを受信し、それらのストリームの全てをデコードし、かつ１つのストリームに組み合わせ、これを再エンコードして全てのクライアント装置に送信し、このようにしてピアツーピアモデルに関連する待ち時間および帯域幅問題を減らす。しかしＭＣＵ実装は複雑になる傾向があり、メディアサーバからの多くの計算リソースを必要とする。

【0006】

別の手法例はＳＦＵ（ｓｅｌｅｃｔｉｖｅ ｆｏｒｗａｒｄｉｎｇ ｕｎｉｔ）であり、これはＷｅｂリアルタイム通信（ＷｅｂＲＴＣ）ビデオ会議規格で使用されている。ＷｅｂＲＴＣ規格は一般に、ビデオ通信エンドポイントに接続するためのプラグインの必要性を回避しながら、音声呼出し、ビデオチャットおよびピアツーピア（Ｐ２Ｐ）ファイル共有アプリケーションなどのブラウザ間アプリケーションをサポートする。中央メディアサーバコンピュータに実装することができるＳＦＵは、そのサーバにおいて集中的なメディア処理（例えば、デコードおよび再エンコード）を行うことなくビデオストリーム内のビデオパケットを複数の参加者装置にルーティングするように構成されたソフトウェアプログラムを備える。従って、ＳＦＵはネットワークを通じてクライアント装置からエンコードされたメディアストリームの全てを受信し、次いでそれらのストリームを、その後のデコードおよび表示のためにそれぞれの参加者のクライアント装置に選択的に転送する。ＳＦＵの転送の選択性は、マルチメディアストリームの転送に関連する帯域幅の最適化に使用することができる複数のパラメータに基づいていてもよく、それにより、より高い体感品質（ＱｏＥ）がもたらされる。例えばＳＦＵは、受信したマルチメディアストリームから話している参加者を特定してもよく、かつ聞いている参加者に高ビットレートマルチメディアストリームを転送してもよく、他方でＳＦＵは、聞いている参加者の低ビットレートマルチメディアストリームを他の参加者に送信してもよく、それによりある程度の帯域幅およびＱｏＥの向上を達成する。

【0007】

典型的なビデオ会議ツールの限界の１つは、上記手法などによる中央メディアまたはルーティングサーバまたは参加しているクライアント装置のいずれかの帯域幅および処理能力の限界を考えた場合の限られたスケーラビリティである。従って必要とされているものは、関連する参加者のために高いＱｏＥを維持しながら、マルチメディアルーティングおよび転送動作の間にネットワーク帯域幅および計算リソースのさらなる最適化を可能にする新規な手法である。

【発明の概要】

【0008】

本概要は、単純化された形態での選択された概念を紹介するために提供されており、これは発明を実施するための形態において以下でさらに説明されている。本概要は特許請求されている主題の重要な特徴を特定するためのものでもなければ、特許請求されている主題の範囲を決定するのを助けるものとして使用されるものでもない。

【0009】

本開示の一態様では、空間認識型マルチメディアルータシステムが提供される。空間認識型マルチメディアルータシステムは、少なくとも１つのプロセッサと、クライアント装置間でのデータ交換を管理するデータ交換管理モジュールを実行する命令を記憶しているメモリとを備えた少なくとも１つのメディアサーバコンピュータを備える。一実施形態では本システムは、複数のクライアント装置のユーザの１つ以上のグラフィック表現（ユーザグラフィック表現ともいう）へのアクセスを可能にする、少なくとも１つのメディアサーバコンピュータに接続された少なくとも１つの仮想環境を実行する１つ以上の計算装置をさらに備える。複数のマルチメディアストリーム（例えば、２Ｄビデオストリーム、３Ｄビデオストリーム、音声ストリーム、そのようなストリームの組み合わせまたは他のメディアストリーム）が、仮想環境内の仮想要素および少なくとも１つのクライアント装置からの入力データを考慮して仮想環境内から生成される。従って入力データは受信され、複数の仮想要素およびクライアント装置の対応するユーザの少なくとも１つのグラフィック表現を含む仮想環境内で組み合わせられる。複数のクライアント装置はネットワークを介して少なくとも１つのメディアサーバコンピュータに接続されており、マルチメディアストリームを含むデータを少なくとも１つのメディアサーバコンピュータに送信するように構成されている。

【0010】

少なくとも１つのメディアサーバは、クライアント装置から着信マルチメディアストリームを含む着信データを受信して分析し、かつ着信データに基づいて個々のクライアント装置のために発信マルチメディアストリームを適合させるように構成されている。着信マルチメディアストリームは少なくとも１つの仮想環境内からの要素を含む。発信マルチメディアストリームは、例えばユーザ優先度データおよび、例えば少なくとも１つの仮想環境内での対応するユーザグラフィック表現と着信マルチメディアストリームのソースとの間の空間的関係を記述する空間定位データに基づいて個々のクライアント装置のために適合されている。

【0011】

一実施形態では、少なくとも１つのメディアサーバコンピュータは、クライアント装置からのマルチメディアストリームを含む着信データを分析および処理すること、および少なくとも１つの仮想環境内からの要素を含む複数のクライアント装置から受信した着信データに基づいて発信マルチメディアストリームの転送を評価および最適化することを含むデータ交換管理を行う。着信データは、ユーザ優先度データおよび対応するユーザグラフィック表現と着信マルチメディアストリームとの空間的関係に関連づけられている。

【0012】

いくつかの実施形態では、少なくとも１つの仮想環境は、ネットワークを介して少なくとも１つのメディアサーバコンピュータに接続された少なくとも１つの専用サーバコンピュータでホストされている。他の実施形態では、少なくとも１つの仮想環境はピアツーピアインフラでホストされており、少なくとも１つのメディアサーバコンピュータを経由して中継される。仮想環境はユーザが互いに対話することができるリアルタイムビデオ通信をホストするために使用することができ、特に会議、仕事、教育、買い物、エンターテイメントおよびービス提供のために使用することができる。いくつかの実施形態では、仮想環境は実世界位置の仮想レプリカであり、ここでは実世界位置はさらなるデータを実世界位置の仮想レプリカに提供する複数のセンサを備える。

【0013】

いくつかの実施形態では、少なくとも１つのメディアサーバコンピュータはルーティングトポロジーを使用する。他の実施形態では、少なくとも１つのメディアサーバコンピュータはメディア処理トポロジーを使用する。他の実施形態では、少なくとも１つのメディアサーバコンピュータは転送サーバトポロジーを使用する。他の実施形態では、少なくとも１つのメディアサーバコンピュータは、他の好適なマルチメディアサーバルーティングトポロジー、メディア処理および転送サーバトポロジーまたは他の好適なサーバトポロジーを使用する。

【0014】

少なくとも１つのメディアサーバコンピュータがルーティングトポロジーを使用する一実施形態では、少なくとも１つのメディアサーバコンピュータは、ＳＦＵトポロジー、ＴＵＲＮ（Ｔｒａｖｅｒｓａｌ Ｕｓｉｎｇ Ｒｅｌａｙ ＮＡＴ）、ＳＡＭＳ（ｓｐａｔｉａｌｌｙ ａｎａｌｙｚｅｄ ｍｅｄｉａ ｓｅｒｖｅｒ）トポロジーまたはいくつかの他のマルチメディアサーバルーティングトポロジーを使用する。

【0015】

少なくとも１つのメディアサーバコンピュータがメディア処理トポロジーを使用する一実施形態では、少なくとも１つのメディアサーバコンピュータは、圧縮、暗号化、再暗号化、復号、デコード、組み合わせ、改良、混合、向上、拡張、計算、操作、エンコードまたはそれらの組み合わせを含む着信データに対する１つ以上の動作を行うように構成されている。さらなる実施形態では、着信データの組み合わせは別個のタイルを含むモザイクの形態で行われ、ここではユーザグラフィック表現の個々のマルチメディアストリームがストリームされる。

【0016】

少なくとも１つのメディアサーバコンピュータが転送サーバトポロジーを使用する一実施形態では、少なくとも１つのメディアサーバコンピュータは、多地点制御装置（ＭＣＵ）またはクラウドメディアミキサーまたはクラウド３Ｄレンダラーとして構成されている。

【0017】

ＳＡＭＳとして構成されている少なくとも１つのメディアサーバコンピュータの一実施形態では、少なくとも１つのメディアサーバコンピュータは、ユーザ優先度および空間的関係（例えば、対応するユーザグラフィック表現と着信マルチメディアストリームのソースとの空間的関係）に関して各クライアント装置の着信データを分析および処理するように構成されている。そのような実施形態では、少なくとも１つのメディアサーバコンピュータはさらに、そのようなデータに基づいてユーザ優先度および／または空間的関係を決定するように構成されていてもよい。着信データは特定の実施形態では、メタデータ、優先度データ、データクラス、空間構造データ、シーングラフ、３次元位置、向きもしくは移動情報、話し手もしくは聞き手ステータスデータ、可用性ステータスデータ、画像データ、スケーラブルビデオコーデックベースのビデオまたはそれらの組み合わせのうち１つ以上を含む。さらなる実施形態では、発信マルチメディアストリームを適合させること（例えば、ＳＡＭＳを実装している少なくとも１つのメディアサーバコンピュータによって実行される）は、１つ以上の受信側クライアント装置のために帯域幅および計算リソース利用を最適化することを含む。発信マルチメディアストリームを適合させることは、一時的な特徴、空間特徴、品質もしくは色特徴またはそれらの組み合わせを適合させることも含んでもよい。なおさらなる実施形態では、ＳＡＭＳは一時的な特徴、空間特徴、品質および色特徴のためにメディアを修正、アップスケールまたはダウンスケールすることにより、発信データストリームの各受信側クライアント装置への転送を最適化する。

【0018】

本開示の別の態様では、空間認識型マルチメディアルータ方法が提供される。空間認識型マルチメディアルータ方法は、少なくとも１つのメディアサーバコンピュータのメモリに、複数のクライアント装置間でのデータ交換を管理するクライアント装置データ交換管理モジュールを実行するデータおよび命令を提供する工程を含む。本方法は、少なくとも１つのメディアサーバコンピュータによって、複数のクライアント装置からの着信マルチメディアストリームを含む着信データを受信する工程により進行し、ここでは着信データはユーザ優先度データおよび空間定位データに関連づけられている。例えば空間定位データは、例えば対応するユーザグラフィック表現と着信マルチメディアストリームの１つ以上のソースとの空間的関係を記述していてもよい。その後に本方法は、データ交換管理モジュールによってデータ交換管理を行う工程により継続する。一実施形態では、データ交換管理は、仮想環境内からのグラフィカル要素を含む複数のクライアント装置からの着信データを分析および／または処理すること、および複数のクライアント装置から受信した着信データに基づいて発信マルチメディアストリームを適合させることを含む。本方法は、適合された発信マルチメディアストリームを１つ以上の受信側クライアント装置に転送する工程により終了し、ここでは適合された発信マルチメディアストリームは、１つ以上の受信側クライアント装置において（例えば、ユーザグラフィック表現により表されているユーザに）表示されるように構成されている。

【0019】

いくつかの実施形態では、本方法は、発信マルチメディアストリームを転送する際に、ルーティングトポロジー、メディア処理トポロジー、転送サーバトポロジー、他の好適なマルチメディアサーバルーティングトポロジー、メディア処理および転送サーバトポロジーまたは他の好適なサーバトポロジーを利用することをさらに含む。

【0020】

いくつかの実施形態では、ルーティングトポロジーにおいて少なくとも１つのメディアサーバコンピュータは、ＳＦＵトポロジー、ＴＵＲＮ、ＳＡＭＳまたは別のマルチメディアサーバルーティングトポロジーを使用する。

【0021】

いくつかの実施形態では、メディア処理トポロジーにおいて少なくとも１つのメディアサーバコンピュータは、着信データに対して圧縮、暗号化、再暗号化、復号、デコード、組み合わせ、改良、混合、向上、拡張、計算、操作、エンコードまたはそれらの組み合わせを含む１つ以上のメディア処理動作を行うように構成されている。

【0022】

いくつかの実施形態では、本方法は転送サーバトポロジーを利用する際に、多地点制御装置（ＭＣＵ）、クラウドメディアミキサーおよびクラウド３Ｄレンダラーのうちの１つ以上を利用することをさらに含む。

【0023】

ＳＡＭＳ構成を用いるいくつかの実施形態では、本方法は、ユーザ優先度および空間的関係（例えば、対応するユーザグラフィック表現と着信マルチメディアストリームのソースとの距離関係または他の空間的関係）に関して各クライアント装置の着信データを分析および処理することをさらに含む。そのような実施形態では、本方法は、そのようなデータに基づいてユーザ優先度および／または空間的関係を決定することをさらに含んでいてもよい。着信データは、メタデータ、優先度データ、データクラス、空間構造データ、シーングラフ、３次元位置、向きもしくは移動情報、話し手もしくは聞き手ステータスデータ、可用性ステータスデータ、画像データおよびスケーラブルビデオコーデックベースのビデオまたはそれらの組み合わせのうちの１つ以上を含む。

【0024】

いくつかの実施形態では、発信マルチメディアストリームを適合させること（例えば、ＳＡＭＳを実装している少なくとも１つのメディアサーバコンピュータによって実行される）は、１つ以上の受信側クライアント装置のために帯域幅および計算リソース利用を最適化することを含む。発信マルチメディアストリームを適合させることは、一時的な特徴、空間特徴、品質もしくは色特徴またはそれらの組み合わせを適合させることも含んでもよい。さらなる実施形態では、ＳＡＭＳは一時的な特徴、空間特徴、品質および色特徴のためにメディアを修正、アップスケールまたはダウンスケールすることにより、発信データストリームの各受信側クライアント装置への転送を最適化する。

【0025】

本開示の別の態様では、コンピュータ可読媒体は、１つ以上の計算装置に本明細書に記載されている技術のいずれかを行わせるように構成されたそこに記憶された命令を有する。一実施形態では、少なくとも１つのコンピュータ可読媒体は、プロセッサおよびメモリを備えた少なくとも１つのメディアサーバコンピュータに、少なくとも１つのメディアサーバコンピュータによって複数のクライアント装置からの着信マルチメディアストリームを含む着信データを受信する工程であって、着信データは、１つ以上のユーザグラフィック表現と少なくとも１つの仮想環境の少なくとも１つの要素との空間的関係を記述している空間定位データに関連づけられている工程と、複数のクライアント装置からの着信データを分析する工程と、複数のクライアント装置から受信した着信データに基づいて発信マルチメディアストリームを適合させる工程と、適合された発信マルチメディアストリームを受信側クライアント装置に転送する工程であって、適合された発信マルチメディアストリームは受信側クライアント装置において表示されるように構成されている工程とを含む工程を行わせるように構成された命令をそこに記憶している。

【0026】

上記概要は本開示の全ての態様の包括的なリストを含んでいない。本開示は、上に要約されている様々な態様の全ての好適な組み合わせ、ならびに以下の発明を実施するための形態に開示されているものおよび特に本出願と共に提出されている特許請求の範囲の箇所に示されているものから実施することができる全てのシステムおよび方法を含むことが意図されている。そのような組み合わせは、上記概要に具体的に記載されていない利点を有する。本発明の他の特徴および利点は、添付の図面および以下に続く発明を実施するための形態から明らかになるであろう。

【0027】

本開示の特定の特徴、態様および利点は、以下の説明および添付の図面に関してより良く理解されるであろう。

【図面の簡単な説明】

【0028】

【図1】従来のＳＦＵルーティングトポロジーの概略図を示す。

【図2】一実施形態に係る空間認識型マルチメディアルータシステムの概略図を示す。

【図3】一実施形態に係る、ＳＡＭＳとして構成された少なくとも１つのメディアサーバコンピュータを備えたシステムの概略図を示す。

【図4A】仮想環境の概略図を示す。

【図4B】一実施形態に係る、本開示のＳＡＭＳトポロジーを用いている仮想環境内で話しているユーザからの発信メディアストリームの転送の概略図を示す。

【図5A】一実施形態に係る、ＳＡＭＳが複数のクライアント装置のメディアストリームを組み合わせている使用シナリオの概略図を示す。

【図5B】一実施形態に係る、ＳＡＭＳが複数のクライアント装置のメディアストリームを組み合わせている使用シナリオの概略図を示す。

【図6】一実施形態に係る本開示の空間認識型マルチメディアルータ方法のブロック図を示す。

【発明を実施するための形態】

【0029】

以下の説明では、様々な実施形態を例示として示す図面を参照する。また様々な実施形態をいくつかの例を参照することにより以下で説明する。当然のことながら、当該実施形態は特許請求されている主題の範囲から逸脱することなく設計および構造における変化を含んでもよい。

【0030】

本開示は、複数のクライアント装置から入力データを受信し、かつ入力データに対してデータ交換管理を実行するように構成された空間認識型マルチメディアルータシステムおよび方法を提供する。入力データを受信して、複数の仮想要素およびクライアント装置の対応するユーザの少なくとも１つのグラフィック表現を含む仮想環境内で組み合わせる。仮想環境は、ユーザが互いに対話することができるリアルタイムビデオ通信をホストするために使用することができ、特に会議、仕事、教育、買い物、エンターテイメントおよびサービス提供のために使用することができる。データ交換管理は、クライアント装置からの少なくともマルチメディアストリーム（例えば、２Ｄビデオストリーム、３Ｄビデオストリーム、音声ストリーム、そのようなストリームの組み合わせまたは他のメディアストリーム）を含む着信データを分析および処理すること、および少なくとも１つの仮想環境内からの要素を含む複数のクライアント装置から受信した着信データに基づいて発信マルチメディアストリームの転送を評価および最適化することを含む。着信データはユーザ優先度データおよび、対応するユーザグラフィック表現と着信マルチメディアストリームとの空間的関係に関連づけられている。従って、本開示のシステムおよび方法は、受信側クライアント装置の最適な選択が行われるように、入力データおよび発信マルチメディアストリームの転送を同時に最適化しながら、クライアント装置によって受信されたマルチメディアストリームのルーティングが仮想環境内で行われるのを可能にし、同時に帯域幅および計算リソースの効率を可能にする。これらの効率により、本開示の空間認識型マルチメディアルータシステムおよび方法は、仮想環境にアクセスしている多数（例えば、数百もしくは数千）のユーザを含むマルチユーザビデオ会議の処理のための実行可能かつ有効な選択肢となることができる。

【0031】

図１は、従来のＳＦＵルーティングトポロジー１００の概略図を示す。

【0032】

例示的な従来のＳＦＵルーティングトポロジー１００は、リアルタイムビデオアプリケーションにおけるビデオ転送を提供するために、少なくとも１つのプロセッサ１０４とＳＦＵ１０８を実行するコンピュータプログラムを記憶しているメモリ１０６とを備えた少なくとも１つのメディアサーバコンピュータ１０２を備える。複数のクライアント装置１１０はＳＦＵ１０８を介してリアルタイムで通信することができ、ＳＦＵ１０８は、１つ以上のパラメータに基づいてリアルタイムトランスポートプロトコル（ＲＴＰ）ビデオパケットを含む発信メディアストリームをクライアント装置１１０に転送する。例えばクライアント装置Ｂは、クライアント装置Ａとのリアルタイム通信中の現在の話し手を表してもよい。クライアント装置Ｂは、例えば１つのメディアストリームが高解像度（Ｂ）１１２で送信され、かつ１つのメディアストリームが低解像度（Ｂ）１１４で送信される２つ以上のメディアストリームをクライアント装置Ａに送信する。さらにこの例では、クライアント装置Ａも、高解像度（Ａ）１１６の１つのメディアストリームおよび低解像度（Ａ）１１８の１つのメディアストリームなどの２つ以上のメディアストリームをクライアント装置Ｂに送信してもよい。クライアント装置Ｂはクライアント装置Ａから低解像度（Ａ）１１８メディアストリームを受信してもよく、その際にクライアント装置Ａはその瞬間にクライアント装置Ｂのユーザの話を聞いているだけの受動的ユーザによって使用されていてもよい。他方でクライアント装置Ａはクライアント装置からＢから高解像度（Ｂ）１１２メディアストリームを受信してもよく、その際にクライアント装置Ｂのユーザは現在話している能動的ユーザであってもよい。少なくとも１つのメディアサーバコンピュータ１０２および２つ以上のクライアント装置１１０は、１つ以上の有線もしくは無線通信ネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット、パス、リンクならびにルータ、ゲートウェイ、ファイアウォールおよびスイッチなどのあらゆる中間ノードのネットワークハードウェア）などのネットワークを介して接続されていてもよい。ビデオアプリケーションは、例えばマルチパーティビデオ会議アプリケーションを実行するためのＷｅｂＲＴＣ規格を利用していてもよい。

【0033】

ＳＦＵルーティングトポロジー１００は、「クライアント装置１１０のステータスに関わらず各メディアストリームを各クライアント装置１１０に転送しなければならない」、「メディアストリームに対するデータ動作などのメディア修正（例えば、拡張、向上、組み合わせなど）を可能にしない」、および「限られたパラメータを考慮して発信メディアストリームを優先順位付けおよび最適化し、本システムのための準最適なネットワーク帯域幅およびリソース最適化をもたらし、最終的にマルチメディアストリームと同時に対話してそれを見ることができるユーザの数を制限する」などの限界を含んでいてもよい。最後に、従来のＳＦＵルーティングトポロジー１００は、仮想環境においてビデオ通信および社会的対話などの対話を可能にするのに最適なものではない。

【0034】

図２は、一実施形態に係る空間認識型マルチメディアルータシステム２００の概略図を示す。

【0035】

空間認識型マルチメディアルータシステム２００は、少なくとも１つのプロセッサ２０４と、ネットワーク２１２を介して少なくとも１つのメディアサーバコンピュータ２０２に接続されたクライアント装置２１０間でのデータ交換を管理するデータ交換管理モジュール２０８を実行する命令を記憶しているメモリ２０６とを備えた少なくとも１つのメディアサーバコンピュータ２０２を備える。空間認識型マルチメディアルータシステム２００は、仮想環境２１４において複数のクライアント装置２１０のユーザ２１６の１つ以上のユーザグラフィック表現へのアクセスを可能にする、少なくとも１つのメディアサーバコンピュータ２０２に接続された少なくとも１つの仮想環境サーバ２２０をさらに備えていてもよい。複数のマルチメディアストリームは、１人以上のユーザ２１６からのライブフィードデータを取得するカメラ２１８により得られたマルチメディアストリームおよび仮想環境内からのグラフィカル要素を含む仮想環境２１４内から生成される。

【0036】

少なくとも１つのメディアサーバコンピュータ２０２は、複数のクライアント装置２１０から受信した入力データの記憶、処理、ルーティングおよび転送などの本明細書に開示されている技術を行うためのリソース（例えば、ネットワークアクセス能力と共に少なくとも１つのプロセッサ２０４およびメモリ２０６）を含むサーバ計算装置である。少なくとも１つのメディアサーバコンピュータ２０２は、仮想環境２１４内からのグラフィカル要素を含むクライアント装置２１０からのマルチメディアストリームを含む着信データを分析および処理すること、および発信マルチメディアストリームを適合させることを含むデータ交換管理モジュール２０８によるクライアント装置データ交換管理を行う。一実施形態ではこれは、複数のクライアント装置２１０から受信した着信データに基づいて発信マルチメディアストリームの転送を評価および最適化することを含む。発信マルチメディアストリームは、着信データ（例えばユーザ優先度データ）および、例えば少なくとも１つの仮想環境内での対応するユーザグラフィック表現と着信マルチメディアストリームのソースとの間の空間的関係を記述する空間定位データに基づいて個々のクライアント装置のために適合されている。一実施形態では、着信データは、１つ以上のユーザグラフィック表現と少なくとも１つの仮想環境２１４の少なくとも１つの要素との空間的関係に関連づけられている。

【0037】

少なくとも１つの仮想環境２１４は、いくつかの実施形態では、実世界位置の仮想レプリカである。実世界位置は、仮想環境２１４を介して実世界データを実世界位置の仮想レプリカに提供する複数のセンサを備えていてもよい。センサはキャプチャされたデータを、ネットワーク２１２を介して仮想環境サーバ２２０に送信してもよく、これを少なくとも１つのメディアサーバ２０２により利用して、実世界要素の対応する仮想レプリカを少なくとも１つの仮想環境において更新、エンリッチおよび同期してもよい。さらに１つ以上のメディアサーバ２０２はさらに、実世界データを仮想データにより拡張するためにセンサによってキャプチャされた実世界データと仮想環境２１４における仮想データとを仮想環境２１４の中にマージするように構成されていてもよい。

【0038】

本開示において「エンリッチする」という用語は、マルチソースデータに基づいてさらなる特性を仮想レプリカに与える行為を記述するために使用される。仮想レプリカをエンリッチすることは、仮想レプリカに以前に存在していなかった可能性のある１つ以上の新しい形態のデータで仮想レプリカを更新するという特殊な形態とみなしてもよい。例えば仮想レプリカをエンリッチするとは、複数の装置にあるセンシング機構からキャプチャされた実世界データを提供することを指してもよい。さらなる実世界データは、例えばビデオデータ、温度データ、リアルタイムエネルギー消費データ、リアルタイム水消費データ、速度または加速度データなどを含んでもよい。

【0039】

一実施形態では、少なくとも１つの仮想環境２１４は、仮想環境２１４を実行する少なくとも１つのプロセッサ２２２とメモリ２２４とを備えた少なくとも１つの仮想環境サーバコンピュータ２２０でホストされている。別の実施形態では、少なくとも１つの仮想環境２１４はピアツーピア（Ｐ２Ｐ）インフラでホストされており、少なくとも１つのメディアサーバコンピュータ２０２を経由して複数のクライアント装置２１０に中継される。

【0040】

少なくとも１つの仮想環境２１４の配置は、会議（例えば仮想の会議室として）、仕事（例えば仮想のオフィス空間として）、教育（例えば仮想の教室として）、買い物（例えば仮想の店として）、エンターテイメント（例えば、カラオケ、イベントホールまたはアリーナ、劇場、ナイトクラブ、競技場またはスタジアム、博物館、クルーズ船、ビデオゲームなど）およびサービス提供（例えば、ホテル、旅行業者またはレストランの予約または注文、政府機関サービスなど）などのための１つ以上のテーマに関連づけられていてもよい。同じおよび／または異なるテーマからの仮想環境２１４の組み合わせは、仮想環境クラスタを形成してもよく、これは数百またはさらには数千もの仮想環境を含んでいてもよい（例えば、複数の仮想の教室は仮想の学校の一部であってもよい）。仮想環境２１４は、仮想環境２１４のテーマに関連づけられた物理的配置および外観を含む２Ｄもしくは３Ｄ仮想環境であってもよく、これはユーザの嗜好または必要性に応じてユーザによってカスタマイズされていてもよい。ユーザは、仮想環境２１４内に挿入して２次元もしくは３次元の仮想環境２１４とグラフィック的に組み合わせることができるグラフィック表現を介して、仮想環境２１４にアクセスしてもよい。

【0041】

少なくとも１つの仮想環境サーバコンピュータ２２０またはＰ２Ｐインフラによって、仮想環境２１４のそれぞれに対応するリソース（例えば、メモリ、ネットワークおよび計算能力）を提供してもよい。少なくとも１つの仮想環境２１４は、クライアント装置２１０によりグラフィカルユーザインタフェースを介して１人以上のユーザ２１６によってアクセスされてもよい。グラフィカルユーザインタフェースは、選択された仮想環境２１４を実行し、かつそこで複数の対話を可能にするために必要なアプリケーションデータおよび命令を提供する、例えばＷｅｂＲＴＣ規格を用いたダウンロード可能なクライアントアプリケーションまたはウェブブラウザアプリケーションに含まれていてもよい。さらに仮想環境２１４はそれぞれ１人（つ）以上の人間もしくは人工知能（ＡＩ）ホスト、またはそれらの対応するユーザグラフィック表現を介して必要なデータおよび／またはサービスを提供することにより仮想環境２１４内のユーザを補助することができるアシスタントを含んでいてもよい。例えば人間またはＡＩ銀行員は、ユーザの必要に応じてプレゼンテーション、フォーム、リストなどの形態で必要な情報を提供することにより仮想の銀行のユーザを補助してもよい。

【0042】

いくつかの実施形態では、ユーザグラフィック表現は、バックグラウンドが除去されたユーザアップロード写真またはサードパーティーソース写真などの１つ以上の入力画像から構築され得るユーザ３Ｄ仮想カットアウト、あるいはリアルタイム２Ｄ、ステレオ、奥行き画像もしくはビデオデータ、ユーザのリアルタイムビデオストリームを含むカメラにより得られたライブビデオストリームデータフィード中の３Ｄビデオデータ、バックグラウンドが除去されていないビデオまたはバックグラウンドが除去されたビデオなどの入力データに基づいて生成され得る、バックグラウンドが除去されたユーザリアルタイム３Ｄ仮想カットアウトである。いくつかの実施形態では、ユーザグラフィック表現をレンダリングし、かつ多角形構造を用いて表示してもよい。そのような多角形構造は、ビデオをサポートするための仮想のフレームとして使用される四角形構造またはより複雑な３Ｄ構造であってもよい。さらに他の実施形態では、ユーザグラフィック表現の１つ以上を仮想環境２１４内の３次元座標に挿入してそこでグラフィック的に組み合わせる。

【0043】

本開示では、「ユーザ３Ｄ仮想カットアウト」という用語は、ユーザアップロード写真またはサードパーティーソース２Ｄ写真から構築されたユーザの仮想レプリカを指す。ユーザ３Ｄ仮想カットアウトは、入力データとしてユーザアップロード写真またはサードパーティーソース２Ｄ写真を用いて、バックグラウンドが除去されたユーザの３Ｄメッシュもしくは３Ｄポイントクラウドを生成するマシンビジョン技術による３Ｄ仮想再構築プロセスを経て作成される。本開示では、「ユーザリアルタイム３Ｄ仮想カットアウト」という用語は、カメラにより得られ、かつユーザバックグラウンドが除去された後のリアルタイム２Ｄもしくは３Ｄライブビデオストリームデータフィードに基づくユーザの仮想レプリカを指す。ユーザリアルタイム３Ｄ仮想カットアウトは、バックグラウンドが除去されたユーザの３Ｄメッシュもしくは３Ｄポイントクラウドを生成することにより入力データとしてユーザライブデータフィードを用いるマシンビジョン技術による３Ｄ仮想再構築プロセスを経て作成される。本開示では、「バックグラウンドが除去されたビデオ」という用語は、そのユーザのみが見ることができるようにバックグラウンド除去プロセスがそのビデオに対して行われている、クライアント装置にストリームされ、かつ次いで受信側クライアント装置上に多角形構造を利用して表示されるビデオを指す。本開示では、「バックグラウンドが除去されていないビデオ」という用語は、ユーザおよびユーザのバックグラウンドが見えるようにそのビデオがカメラキャプチャを忠実に表している、クライアント装置にストリームされ、かつ次いで受信側クライアント装置上に多角形構造を利用して表示されるビデオを指す。

【0044】

Ｐ２Ｐインフラは、好適なアプリケーションプログラミングインタフェース（ＡＰＩ）を介して仮想環境２１４においてクライアント装置２１０間のリアルタイム通信を可能にし、そのリアルタイム対話および同期を可能にする好適なＰ２Ｐ通信プロトコルを使用していてもよい。好適なＰ２Ｐ通信プロトコルの例はＷｅｂＲＴＣ通信プロトコルであってもよく、これは規格、プロトコルおよびＪａｖａＳｃｒｉｐｔ ＡＰＩの集まりであり、これは組み合わせでピアクライアント装置２１０間でのＰ２Ｐ音声、ビデオおよびデータ共有を可能にする。Ｐ２Ｐインフラを使用するクライアント装置２１０は、例えば１つ以上のレンダリングエンジンを用いてライブセッションのリアルタイム３Ｄレンダリングを行ってもよい。例示的なレンダリングエンジンはＷｅｂＧＬに基づく３Ｄエンジンであってもよく、これはプラグインを使用することなくあらゆる適合可能なウェブブラウザ内で２Ｄおよび３ＤグラフィックスをレンダリングするためのＪａｖａＳｃｒｉｐｔ ＡＰＩであり、少なくとも１つのクライアント装置２１０の１つ以上のプロセッサ（例えば、１つ以上のグラフィック処理装置（ＧＰＵ））による物理学および画像処理および効果の使用の加速を可能にする。さらにＰ２Ｐインフラを使用するクライアント装置２１０は、１つ以上の好適なコンピュータビジョンライブラリーによる画像およびビデオ処理ならびに機械学習コンピュータビジョン技術を行ってもよい。好適なコンピュータビジョンライブラリーの例はＯｐｅｎＣＶであってもよく、これは主にリアルタイムコンピュータビジョンタスクのために構成されたプログラミング機能のライブラリーである。

【0045】

いくつかの実施形態では、少なくとも１つのメディアサーバコンピュータ２０２はルーティングトポロジーを使用する。別の実施形態では、少なくとも１つのメディアサーバコンピュータ２０２はメディア処理トポロジーを使用する。別の実施形態では、少なくとも１つのメディアサーバコンピュータ２０２は転送サーバトポロジーを使用する。別の実施形態では、少なくとも１つのメディアサーバコンピュータ２０２は、他の好適なマルチメディアサーバルーティングトポロジー、メディア処理および転送サーバトポロジーまたは他の好適なサーバトポロジーを使用する。少なくとも１つのメディアサーバコンピュータ２０２によって使用されるトポロジーは、クライアント装置および／または少なくとも１つのメディアサーバコンピュータの処理能力ならびに利用されているネットワークインフラの能力に依存していてもよい。

【0046】

いくつかの実施形態では、メディア処理トポロジーにおいて少なくとも１つのメディアサーバコンピュータ２０２は、圧縮、暗号化、再暗号化、復号、デコード、組み合わせ、改良、混合、向上、拡張、計算、操作、エンコードまたはそれらの組み合わせを含む、着信データに対する１つ以上のメディア処理動作を行うように構成されている。従って少なくとも１つのメディアサーバコンピュータ２０２は、メディア処理トポロジーにおいて、着信データをルーティングおよび転送するだけでなく、クライアント装置２１０への発信マルチメディアストリームを向上させるかそれ以外の方法で修正することができる複数のメディア処理動作を行うようにも構成されている。

【0047】

いくつかの実施形態では、転送サーバトポロジーにおいて少なくとも１つのメディアサーバコンピュータ２０２は、多地点制御装置（ＭＣＵ）またはクラウドメディアミキサーまたはクラウド３Ｄレンダラーとして構成されている。ＭＣＵとして、少なくとも１つのメディアサーバコンピュータ２０２はクライアント装置からのマルチメディアストリームの全てを受信し、かつそれらのストリームの全てをデコードして１つのストリームに組み合わせ、これを再エンコードして全てのクライアント装置２１０に送信するように構成されている。クラウドメディアミキサーとして少なくとも１つのメディアサーバコンピュータ２０２は、各種クライアント装置２１０および少なくとも１つの仮想環境２１４などから異なるマルチメディアソース（例えば、音声およびビデオ）を選択し、かつクライアント装置２１０のために処理された出力マルチメディアストリームを作成するためにフッテージおよび／または特殊効果を追加すると共に、入力データマルチメディアストリームを混合するように構成されている。視覚的効果は、例えば単純な混合およびワイプから手の込んだ効果にまで及んでもよい。クラウド３Ｄレンダラーとして少なくとも１つのメディアサーバコンピュータ２０２は、多くのコンピュータ計算により仮想環境からの３Ｄシーンを計算して最終的なアニメ化されたマルチメディアストリームを生成し、これをクライアント装置２１０に送り返すように構成されている。

【0048】

ルーティングトポロジーにおいて少なくとも１つのメディアサーバコンピュータ２０２は、マルチメディアストリームをどこに（例えば、クライアント装置２１０の１つ以上のうちのどれに）送信するかを決定するように構成されており、これは最良の経路であるインタフェースを選択するためのインターネットプロトコル（ＩＰ）ルーティングテーブルを介して行うことができる。ルーティングテーブルにおけるそのようなルーティングの決定は、受信側クライアント装置２１０の最適な選択が行われるように優先度データおよび対応するユーザグラフィック表現と着信マルチメディアストリームとの空間的関係を考慮するデータ交換管理モジュール２０８に記憶されている規則に基づいていてもよい。いくつかの実施形態ではルーティングトポロジーとして、少なくとも１つのメディアサーバコンピュータは、ＳＦＵトポロジー、ＴＵＲＮトポロジー、ＳＡＭＳまたはいくつかの他のマルチメディアサーバルーティングトポロジーを使用する。

【0049】

図１を参照しながら説明されているようなＳＦＵは、ＷｅｂＲＴＣビデオ会議規格で使用されており、これは一般にビデオ通信エンドポイントに接続するためにプラグインの必要性を回避しながら、音声呼出し、ビデオチャットおよびＰ２Ｐファイル共有アプリケーションなどのブラウザ間アプリケーションをサポートしている。ＳＦＵは、デコードおよび再エンコードすること、クライアント装置からエンコードされたメディアストリームの全てを受信すること、および次いでデコードおよび提示のためにそれらのストリームをそれぞれの参加者に選択的に転送することなどの集中的なメディア処理動作を行うことなく、ビデオストリーム内のビデオパケットを複数の参加者装置にルーティングおよび転送するように構成されたソフトウェアプログラムを備える。

【0050】

少なくとも１つのメディアサーバコンピュータ２０２がクライアント装置２１０間の接続を確立することができない状況において好適であり得るＴＵＲＮトポロジーは、ＳＴＵＮ（Ｓｅｓｓｉｏｎ Ｔｒａｖｅｒｓａｌ Ｕｔｉｌｉｔｉｅｓ ｆｏｒ ＮＡＴ）の拡張版であり、ＮＡＴはネットワークアドレス変換（Ｎｅｔｗｏｒｋ Ａｄｄｒｅｓｓ Ｔｒａｎｓｌａｔｉｏｎ）を表す。ＮＡＴは、トラフィックルーティング装置を横切って通過している間にパケットのＩＰヘッダ内のネットワークアドレス情報を修正することによりインターネットプロトコル（ＩＰ）アドレス空間を別のものに再マップする方法である。従って、ＮＡＴはプライベートＩＰアドレスアクセスをインターネットなどのネットワークに与えることができ、かつルーティング装置などの単一の装置がインターネットとプライベートネットワークとの間のエージェントとして機能するのを可能にする。ＮＡＴは対照的であっても非対称的であってもよい。クライアント装置に接続するための最良のパスを見つけるように構成されているＩＣＥ（Ｉｎｔｅｒａｃｔｉｖｅ Ｃｏｎｎｅｃｔｉｖｉｔｙ Ｅｓｔａｂｌｉｓｈｍｅｎｔ）と呼ばれるフレームワークは、対称的もしくは非対称的ＮＡＴが必要とされ得るか否かを決定してもよい。対称的ＮＡＴは、プライベートからパブリックに、そしてパブリックからプライベートにＩＰアドレスを変換するというジョブを行うだけでなくポートの変換も行う。他方で非対称的ＮＡＴは、ＳＴＵＮサーバを使用してクライアントがそれらのパブリックＩＰアドレスおよびその後ろのＮＡＴの種類を発見するのを可能にし、これを使用して接続を確立してもよい。多くの場合、ＳＴＵＮを接続セットアップ中にのみ使用してもよく、そのセッションが確立されるとすぐに、データはクライアント装置間を流れ始めることができる。ＴＵＲＮは対称的ＮＡＴの場合に使用してもよく、処理データおよび／または未処理データがクライアント装置間で中継されている間は接続が確立された後にメディアパス内に残っていてもよい。

【0051】

図３は、一実施形態に係る、ＳＡＭＳ３０２として構成された少なくとも１つのメディアサーバコンピュータを備えたシステム３００の概略図を示す。図３のいくつかの要素は図２と同様の要素を指し、従って同じ符号を使用している場合がある。

【0052】

ＳＡＭＳ３０２は、各クライアント装置の着信データ３０４を分析および処理するように構成されている。着信データ３０４はいくつかの実施形態では、ユーザ優先度および、仮想環境における対応するユーザグラフィック表現とマルチメディアストリームとの距離関係に関するものであってもよい。着信データ３０２は、メタデータ３０６、優先度データ３０８、データクラス３１０、空間構造データ３１２、シーングラフ（図示せず）、位置、向きもしくは移動データを含む３次元データ３１４、ユーザ可用性ステータスデータ（例えば、能動的もしくは受動的ステータス）３１６、画像データ３１８、メディア３２０およびスケーラブルビデオコーデック（ＳＶＣ）ベースのビデオデータ３２２またはそれらの組み合わせのうちの１つ以上を含む。ＳＶＣベースのビデオデータ３２２は、クライアント装置によって解像度ごとに各ストリームの２つ以上のストリームを送信することを必要とすることなく異なる解像度を含むデータを送信するのを可能にしてもよい。

【0053】

着信データ３０４はクライアント装置によって送信され、クライアント装置は仮想環境において実行されるクライアント装置によって実行されているアプリケーションの文脈において、着信データ動作３２４およびデータ転送最適化３２６を行うためにＳＡＭＳ３０２によって使用される着信データ３０４を生成する。従ってＳＡＭＳ３０２は、仮想環境に関する情報、ユーザグラフィック表現間の距離関係、可用性ステータスなどを記憶することを必要としなくてもよく、その理由は、仮想環境において実行されているアプリケーションに関して、これらのデータはクライアント装置によって送信された着信データに既に含められているからであり、これによりＳＡＭＳ３０２のための処理効率が高まる。マルチメディアストリームをクライアント装置に送信する前に、ＳＡＭＳ３０２はそのリソースをデータ動作、ルーティングおよび転送の最適化にのみに集中させることができるため、これらの効率によりＳＡＭＳ３０２は、仮想環境にアクセスしている多数（例えば、数百もしくは数千）のユーザを含むマルチユーザビデオ会議の処理のための実行可能かつ有効な選択肢になることができる。代わりとして着信データ３０４は、データ転送計算が既に行われている予め処理された空間転送ガイダンスを含んでいてもよい。この状況では、ＳＡＭＳ３０２はこのガイダンスを使用して、さらなる計算を行うことなくマルチメディアストリームをクライアント装置に送信することができる。

【0054】

いくつかの実施形態では、ＳＡＭＳを実行する少なくとも１つのメディアサーバコンピュータによって実行される着信データ動作３２６は、着信データに対する圧縮、暗号化、再暗号化、復号、改良、混合、向上、拡張、計算、操作、エンコードまたはそれらの組み合わせを含んでもよい。これらの着信データ動作３２６は、ユーザグラフィック表現の優先度およびマルチメディアストリームのソースおよび残りのユーザグラフィック表現とのその空間的関係（例えば距離関係）に応じてクライアントインスタンスごとに行ってもよい。

【0055】

いくつかの実施形態では、ＳＡＭＳを実行する少なくとも１つのメディアサーバコンピュータによって実行されるデータ転送最適化３２６は、１つ以上の受信側クライアント装置のために帯域幅および計算リソース利用を最適化することを含む。さらなる実施形態では、ＳＡＭＳは一時的な特徴、空間特徴、品質および色特徴のためにメディアを修正、アップスケールまたはダウンスケールすることにより、発信データストリームの各受信側クライアント装置への転送を最適化する。一時的な特徴のための着信データのそのような修正、アップスケールまたはダウンスケールは、例えばフレームレートの変更を含んでもよく、空間特徴は例えば画像サイズを指してもよく、品質は例えば異なる圧縮またはエンコードに基づく品質を指し、色は例えば色解像度および範囲を指す。これらの動作は、そのような着信データに対する特定の受信側クライアント装置のユーザの空間、３次元向き、距離および優先度関係に基づいて行われ、帯域幅および計算リソースの最適化に寄与してもよい。

【0056】

優先度データは、例えば話し手もしくは聞き手ステータスデータに関連づけられており、ここでは話し手からの１つ以上のマルチメディアストリームは、聞き手のマルチメディアストリームよりも高い優先度スコアを有する。空間的関係は、仮想のマルチメディアストリームのソースおよび残りのユーザグラフィック表現に対するユーザグラフィック表現の距離および向きの直接相関を関連づけることを含む。従って空間的関係は、より高い解像度またはより向上したマルチメディアストリームを、仮想のマルチメディアストリームのソースにより近く、かつそちらに面しているユーザグラフィック表現に提供すること、およびより低い解像度またはあまり向上していないマルチメディアストリームを、マルチメディアストリームのソースから遠く、かつそちらに部分的に面しているか全く面していないユーザグラフィック表現に提供することを関連づける。任意の程度の顔および頭の向きでマルチメディアストリームのソースに部分的に面しているユーザグラフィック表現およびユーザによって受信されたマルチメディアストリームの品質において直接的効果を有するマルチメディアストリームのソースからのあらゆる距離などの中間的なあらゆる組み合わせも適用することができる。

【0057】

マルチメディアストリームのソースは例えば、仮想環境内で行われている仮想ビデオ会議で話しているユーザ、仮想環境内での討論または会議に関わっているパネリスト、少なくとも１人のユーザが話し手であるウェビナー、エンターテイメントイベント、ショーなどであってもよい。話している（例えば、スピーチ、ウェビナー、会議などを行っている）ユーザの例において、複数のユーザが仮想環境内に位置して話し手の話を聞いていてもよい。ユーザのうちの何人かは話し手の方を向いていても部分的に向いているか向いていなくてもよく、これは各ユーザの優先度、従って受信されるマルチメディアストリームの品質に影響を与える。但し他の実施形態では、マルチメディアストリームは他のユーザグラフィック表現に由来するものでは、むしろ仮想アニメーション、拡張現実仮想オブジェクト、イベントもしくは場所から予め録画されたビデオまたはライブビデオ、アプリケーショングラフィック表現、ビデオゲームなどの他のマルチメディアソースに由来するものであってもよく、ここではデータ動作は、そのようなマルチメディアストリームに対する特定の受信側クライアント装置ユーザの空間、３次元向き、距離および優先度関係に基づいて行われる。

【0058】

図４Ａは、一実施形態に係る本開示のＳＡＭＳトポロジーを用いることができる仮想環境４０４の概略図を示す。

【0059】

仮想環境４０４は５つのユーザグラフィック表現４０２、すなわちユーザグラフィック表現Ａ～Ｅを含み、ここではユーザグラフィック表現Ａは話し手を表し、ユーザグラフィック表現Ｂ～Ｅは４人の聞き手を表し、それぞれが仮想環境４０４の異なる３Ｄ座標位置に位置し、かつ異なる視点（ＰｏＶ）と共に異なる顔および頭の向きを有する。各ユーザグラフィック表現４０２は、仮想環境４０４に接続され、かつ図３を参照しながら開示されているＳＡＭＳ３０２などの本開示のＳＡＭＳトポロジーを用いている少なくとも１つのメディアサーバコンピュータに接続されたクライアント装置を介して仮想環境４０４において対話している対応するユーザに関連づけられている。

【0060】

ユーザグラフィック表現Ａが話している間、ユーザグラフィック表現Ｂ～Ｅは、異なる３Ｄ座標と共にそれらの個々の向き（例えば同じまたは異なる向き）および対応するＰｏＶで互いに向き合っていてもよい。例えば、ユーザグラフィック表現Ｂはユーザグラフィック表現Ａのより近くに位置し、かつユーザグラフィック表現Ａを直視しており、ユーザグラフィック表現Ｃはユーザグラフィック表現Ｂよりも僅かに遠くに位置し、かつユーザグラフィック表現Ａの方向を部分的に見ており、ユーザグラフィック表現Ｄはユーザグラフィック表現Ａから最も遠くに位置し、かつユーザグラフィック表現Ａの方向を部分的に見ている可能性があり、ユーザグラフィック表現Ｅはユーザグラフィック表現Ｂと同じ位ユーザグラフィック表現Ａの近くにいるが、ユーザグラフィック表現Ａとは異なる方向を見ている可能性がある。

【0061】

従って、ＳＡＭＳは５つのユーザグラフィック表現のそれぞれからの着信データをキャプチャし、入力データ動作およびデータ転送最適化を行い、かつ得られたマルチメディアストリームを５つのクライアント装置に選択的に送信する。従って、各クライアント装置はそれら自身の入力データを送信し、かつそれに応じて１つ以上のマルチメディアストリーム（例えば４つのマルチメディアストリーム、図４Ａの互いのユーザグラフィック表現のうちの１つ）を受信し、各受信されるマルチメディアストリームは最適な帯域幅および計算リソースを達成するために、そのような着信データに対する特定の受信側クライアント装置のユーザの空間、３次元向き、距離および優先度関係に基づいて対応するユーザグラフィック表現のために個々に適合されている（例えば、管理および最適化されている）。

【0062】

図４Ｂは、一実施形態に係る、本開示のＳＡＭＳ４０６トポロジーを用いている図４Ａの仮想環境４０４の５つのユーザグラフィック表現からの適合された発信メディアストリームの転送の概略図を示す。ＳＡＭＳ４０６は、図４Ａのユーザグラフィック表現に対応するクライアント装置４０８からのマルチメディアストリームを含む着信データを分析して最適化し、かつ図４Ａの少なくとも１つの仮想環境４０４内からの要素を含む複数のクライアント装置４０８から受信した着信データに基づいて発信マルチメディアストリームの転送を評価および最適化してもよい。前記データ動作および最適化は、ＳＡＭＳ４０６のデータ交換管理モジュール４１０によって行ってもよい。

【0063】

各クライアント装置４０８はそれ自身の入力データをＳＡＭＳ４０２に送信し、それに応じて他のクライアント装置４０８の４つのマルチメディアストリームを受信する。従って、クライアント装置Ａは話し手によって使用されているので、高優先度データを有する着信メディアストリームをＳＡＭＳ４０２に送信し、かつ４つのより低い優先度のマルチメディアストリームＢ～Ｅを対応する４つのクライアント装置４０８から受信する。

【0064】

ユーザグラフィック表現Ｂはユーザグラフィック表現Ａのより近くに位置し、かつユーザグラフィック表現Ａを直視しているため、クライアント装置Ｂは、残りのユーザと比較した場合に最も高い解像度でクライアントＡからマルチメディアストリームを受信し、かつ残りのマルチメディアストリームＣ～Ｅをそれぞれユーザグラフィック表現Ｃ～Ｅとの空間的関係に基づくそれら独自の解像度で受信し、かつそれ自身の対応するマルチメディアストリームＢを送信する。

【0065】

クライアント装置Ｃは、ユーザグラフィック表現Ｃがユーザグラフィック表現Ｂよりも僅かに遠くに位置し、かつユーザグラフィック表現Ａの方向を部分的に見ているため、クライアント装置Ａから３番目に最も高い解像度を受信し、残りのマルチメディアストリームＢ～Ｅをそれぞれユーザグラフィック表現Ｂ～Ｅとの空間的関係に基づいてそれら独自の解像度で受信し、かつそれ自身の対応するマルチメディアストリームＣを送信する。

【0066】

クライアント装置Ｄは、対応するユーザグラフィック表現Ｄがユーザグラフィック表現Ａから最も遠くに位置し、かつユーザグラフィック表現Ａの方向を部分的に見ているため、クライアント装置Ａから最も低い解像度を受信し、残りのマルチメディアストリームＢ、ＣおよびＥをそれぞれユーザグラフィック表現Ｂ、ＣおよびＥとの空間的関係に基づいてそれら独自の解像度で受信し、かつそれ自身の対応するマルチメディアストリームＤを送信する。

【0067】

クライアント装置Ｅは、ユーザグラフィック表現Ｅがユーザグラフィック表現Ｂと同じ位ユーザグラフィック表現Ａの近くにいるがユーザグラフィック表現Ａとは異なる方向を向いている可能性があるため、２番目に最も高い解像度を受信し、残りのマルチメディアストリームＢ～Ｄをそれぞれユーザグラフィック表現Ｂ～Ｄとの空間的関係に基づいてそれら独自の解像度で受信し、かつそれ自身の対応するマルチメディアストリームＥを送信する。但しＳＡＭＳ４０２の構成に応じて、たとえユーザグラフィック表現Ｅがユーザグラフィック表現Ａから僅かに目をそらしているとしても、クライアント装置Ｅもクライアント装置Ｂと同じ解像度を受信してもよい。これは、たとえユーザグラフィック表現Ｅがユーザグラフィック表現Ａを直視していない可能性があるとしても、ユーザグラフィック表現Ｅが仮想世界４０４内で自身の見方を突然変えてユーザグラフィック表現Ａの方を見る可能性があり、ユーザグラフィック表現Ａからのマルチメディアストリームがない場合またはユーザグラフィック表現Ａからのマルチメディアストリームが互いに近い距離にあるにも関わらず低解像度である場合に、対応するクライアント装置Ｅの体感品質が乱れたり非最適なものになったりする場合があるからである。従って本実施形態では、クライアント装置Ｂによって受信されたものと同じ解像度とみなすほうがより効率的であり得る。

【0068】

本明細書から理解できるように、残りの４つのユーザグラフィック表現４０２から各ユーザグラフィック表現４０２によって受信されるマルチメディアストリームも、他のユーザグラフィック表現のマルチメディアストリームに対する対応するユーザグラフィック表現の空間、３次元向き、距離および優先度関係について個々に管理および最適化されている。従って、マルチメディアストリームが対応するクライアント装置４０８に関連している場合、クライアント装置４０８のそれぞれが残りの４つのクライアント装置から個々のマルチメディアストリームを受信する。

【0069】

いくつかの実施形態では、ユーザグラフィック表現４０２がマルチメディアソース、すなわち図４Ａに示されているようなユーザＡからからあまりに遠くに位置している場合、ユーザグラフィック表現４０２は、マルチメディアソースからマルチメディアストリームを受信しているＳＡＭＳ４０６によって取っておいてもよい。ＳＡＭＳ４０６がそれに応じて構成されている場合には、これを例えばユーザグラフィック表現Ｄに適用してもよい。

【0070】

いくつかの実施形態では、マルチメディアストリームは他のユーザグラフィック表現に由来するものではなく、むしろ仮想アニメーション、拡張現実仮想オブジェクト、イベントもしくは場所から予め録画されたビデオまたはライブビデオ、アプリケーショングラフィック表現、ビデオゲームなどの他のマルチメディアソースに由来するものであってもよい。これらの実施形態では、マルチメディアストリームはなお適合可能であり、受信したマルチメディアストリームソースのマルチメディアストリームに対する例えば対応するユーザグラフィック表現の空間、３次元向き、距離および優先度関係について個々に管理および最適化されていてもよい。他の実施形態では、マルチメディアストリームはユーザグラフィック表現と他のマルチメディアソースとの組み合わせに由来するものである。

【0071】

図５Ａ～図５Ｂは、一実施形態に係るＳＡＭＳが複数のクライアント装置のメディアストリームを組み合わせている概略図を示す。ＳＡＭＳが複数のクライアント装置のメディアストリームを組み合わせるように構成することができる一実施形態では、ＳＡＭＳはモザイクの形態でストリームを組み合わせることができる。モザイクは別個の仮想タイルを含む仮想のフレームであってもよく、ここではユーザグラフィック表現の個々のマルチメディアストリームがストリームされる。モザイクは、マルチメディアストリームソースおよび残りのユーザグラフィック表現とのクライアント装置のユーザグラフィック表現の距離関係に応じてクライアント装置ごとに調整されていてもよい。

【0072】

図５Ａでは、７つのユーザグラフィック表現５０２が仮想環境５０４内で対話しており、ユーザグラフィック表現Ａは話し手であり、残りのユーザグラフィック表現Ｂ～Ｇはユーザグラフィック表現Ａの話を聞いている。ユーザグラフィック表現ＧおよびＦはユーザグラフィック表現Ａに比較的近いことが分かり、ユーザグラフィック表現ＥおよびＢはユーザグラフィック表現Ａから比較的遠くに位置している可能性があり、ユーザグラフィック表現ＤおよびＣはユーザグラフィック表現Ａから最も遠くに位置している可能性がある。

【0073】

図５Ｂは、ユーザグラフィック表現Ｇの視点から仮想環境５０４において対応するユーザグラフィック表現５０２からの個々のマルチメディアストリームのそれぞれをストリームする別個の仮想タイル５０８、すなわち仮想タイルＡ～Ｆを含むモザイク５０６の形態で組み合わせられているマルチメディアストリームを示す。ユーザグラフィック表現Ｇの視点からは仮想タイルＡは、ユーザグラフィック表現Ａが話し手であるという理由からその発信メディアストリームのためにより高い優先度を有するので、最も高い解像度である限りより大きなものであってもよく、ユーザグラフィック表現Ｇはユーザグラフィック表現Ｆにも非常に近いので、仮想タイルＦは２番目に最も高い解像度である限り２番目に最も大きいものであってもよく、ユーザグラフィック表現Ｂ～Ｅは同等に小さくてもよく、かつ互いの中で同じもしくは同様の比較的低い解像度を有していてもよい。いくつかの実施形態では、ＳＡＭＳ４０６は同じモザイク５０６を全てのクライアント装置に送信してもよく、クライアント装置は、仮想環境におけるそれらの位置および向きに関連し得ない不必要なタイルを切り取ることにより進行してもよい。

【0074】

図６は、一実施形態に係る本開示のトポロジーの空間認識型マルチメディアルータ方法６００のブロック図を示す。方法６００は、図２～図３のシステム２００および３００を参照しながら開示されているようなシステムに実装されていてもよい。

【0075】

方法６００は、少なくとも１つのメディアサーバコンピュータのメモリに、複数のクライアント装置間でのデータ交換を管理するクライアント装置データ交換管理モジュールを実行するデータおよび命令を提供することにより工程６０２で開始する。

【0076】

次いで工程６０４では、本方法６００は、少なくとも１つのメディアサーバコンピュータによって複数のクライアント装置から少なくともマルチメディアストリームを含む着信データを受信することにより進行する。前記着信データはユーザ優先度データおよび、対応するユーザグラフィック表現と着信マルチメディアストリームとの空間的関係に関連づけられている。

【0077】

工程６０６では、方法６００は、データ交換管理モジュールによってクライアント装置データ交換管理を行うことにより進行する。データ交換管理は、仮想環境内からのグラフィカル要素を含む複数のクライアント装置からの着信データを分析および処理すること、および複数のクライアント装置から受信した着信データに基づいて発信マルチメディアストリームの転送を評価および最適化することを含んでもよい。

【0078】

最後に工程６０８では、方法６００はデータ交換管理に基づいて対応するマルチメディアストリームをクライアント装置に転送することにより進行してもよく、このマルチメディアストリームを少なくとも１つのクライアント装置のユーザのユーザグラフィック表現に表示させる。

【0079】

いくつかの実施形態では、方法６００は、発信マルチメディアストリームを転送する際に、ルーティングトポロジー、メディア処理トポロジー、転送サーバトポロジー、他の好適なマルチメディアサーバルーティングトポロジー、メディア処理および転送サーバトポロジーまたは他の好適なサーバトポロジーを利用することをさらに含む。

【0080】

さらなる実施形態では、ルーティングトポロジーとして少なくとも１つのメディアサーバコンピュータは、ＳＦＵトポロジー、ＴＵＲＮ、ＳＡＭＳ、またはマルチメディアサーバルーティングトポロジーを使用する。

【0081】

さらなる実施形態では、メディア処理トポロジーとして少なくとも１つのメディアサーバコンピュータは、圧縮、暗号化、再暗号化、復号、デコード、組み合わせ、改良、混合、向上、拡張、計算、操作、エンコードまたはそれらの組み合わせを含む着信データに対する１つ以上の動作を行うように構成されている。

【0082】

さらなる実施形態では、転送サーバトポロジーを利用する際に、方法６００はＭＣＵ、クラウドメディアミキサーおよびクラウド３Ｄレンダラーのうちの１つ以上を利用することをさらに含む。

【0083】

いくつかの実施形態では、ＳＡＭＳとして少なくとも１つのメディアサーバコンピュータは、ユーザ優先度および対応するユーザグラフィック表現とマルチメディアストリームとの距離関係に関して各クライアント装置の着信データを分析および処理するように構成されている。着信データは、メタデータ、優先度データ、データクラス、空間構造データ、３次元位置、向きもしくは移動情報、話し手もしくは聞き手ステータスデータ、可用性ステータスデータ、画像、メディア、およびスケーラブルビデオコーデックベースのビデオまたはそれらの組み合わせのうちの１つ以上を含む。いくつかの実施形態では、ＳＡＭＳを実行している少なくとも１つのメディアサーバコンピュータによって実行される発信マルチメディアストリームの転送を最適化することは、１つ以上の受信側クライアント装置のために帯域幅および計算リソース利用を最適化することを含む。

【0084】

いくつかの実施形態では、ＳＡＭＳは、一時的な特徴、空間特徴、品質および色特徴のためにメディアを修正、アップスケールまたはダウンスケールすることにより、発信データストリームの各受信側クライアント装置への転送を最適化する。

【0085】

１つ以上のコンピュータに本明細書に記載されている方法のいずれかを行わせるように構成されたそこに命令が記憶されているコンピュータ可読媒体についても説明する。本明細書で使用される「コンピュータ可読媒体」という用語は、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータなどの情報を記憶することができるあらゆる方法または技術において実装される揮発性および不揮発性の取外し可能および取外し不可能な媒体を含む。一般に本明細書に記載されている計算装置の機能は、ハードウェアまたはソフトウェア命令に具体化されている計算ロジックに実装されていてもよく、これはＣ、Ｃ＋＋、ＣＯＢＯＬ、ＪＡＶＡ（登録商標）、ＰＨＰ、Ｐｅｒｌ、Ｐｙｔｈｏｎ、Ｒｕｂｙ、ＨＴＭＬ、ＣＳＳ、ＪａｖａＳｃｒｉｐｔ、ＶＢＳＣＲＩＰＴ、ＡＳＰＸ、およびＣ＃などのＭｉｃｒｏｓｏｆｔ．ＮＥＴ（商標）言語などのプログラミング言語で記述することができる。計算ロジックは実行可能なプログラムにコンパイルされているか、解釈されるプログラミング言語で記述されていてもよい。一般に本明細書に記載されている機能は、より大きな処理能力を提供するために複製するか、他のモジュールとマージするか、あるいはサブモジュールに分割することができるロジックモジュールとして実装することができる。計算ロジックは、任意の種類のコンピュータ可読媒体（例えば、メモリまたは記憶媒体などの非一時的媒体）あるいはコンピュータ記憶装置に記憶し、かつ１つ以上の汎用もしくは専用プロセッサに記憶して実行することができ、このようにして本明細書に記載されている機能を提供するように構成された専用計算装置を作り出す。

【0086】

特定の実施形態について説明し、かつ添付の図面に図示してきたが、当然のことながらそのような実施形態は広範な本発明の単に例示であってそれを限定するものではなく、様々な他の修正を当業者が思い付くことができるため、本発明は図示および説明されている特定の構成および配置に限定されない。従って、上記説明は本発明を限定するものではなく例示とみなされるべきである。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】