特開 2024-77594 仮想環境でライブ放送セッションを可能にするシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024077594

(43)【公開日】2024-06-07

(54)【発明の名称】仮想環境でライブ放送セッションを可能にするシステム及び方法

(51)【国際特許分類】

   H04N 21/2343 20110101AFI20240531BHJP

   G06T 13/20 20110101ALI20240531BHJP

   H04L 67/131 20220101ALI20240531BHJP

【ＦＩ】

H04N21/2343

G06T13/20

H04L67/131

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023177525

(22)【出願日】2023-10-13

(31)【優先権主張番号】18/059,314

(32)【優先日】2022-11-28

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡＳＣＲＩＰＴ

(71)【出願人】

【識別番号】520509030

【氏名又は名称】ティーエムアールダブリュー ファウンデーション アイピー エスエーアールエル

(74)【代理人】

【識別番号】100107456

【弁理士】

【氏名又は名称】池田 成人

(74)【代理人】

【識別番号】100162352

【弁理士】

【氏名又は名称】酒巻 順一郎

(74)【代理人】

【識別番号】100123995

【弁理士】

【氏名又は名称】野田 雅一

(72)【発明者】

【氏名】ヤーリ， チェヴァット

【テーマコード（参考）】

5B050

5C164

【Ｆターム（参考）】

5B050BA09

5B050BA12

5B050CA07

5B050CA08

5B050DA01

5B050DA10

5B050EA07

5B050EA09

5B050EA18

5B050EA19

5B050EA27

5B050FA02

5B050GA08

5C164FA06

5C164MA03S

5C164PA39

5C164SA25S

5C164SB02P

5C164SB21S

5C164TA08S

5C164TB22S

(57)【要約】      （修正有）

【課題】ライブイベントの放送中の、現実感、臨場感、並びに、改善された対話及びユーザ体験をユーザに提供する。
【解決手段】仮想環境でライブ放送セッションを提供するための方法は、仮想環境作成命令に基づいて仮想環境を作成するステップと、仮想環境を通じて放送されるイベントに仮想環境を接続するステップと、イベント放送を含む、仮想環境からのライブ放送セッションをセットアップするステップと、少なくとも１つの招待客クライアントデバイスに指定された仮想環境の３Ｄ（３次元）座標を含む招待を送るステップと、仮想環境の指定された３Ｄ座標に配置されたユーザグラフィカル表現を通じて仮想環境に対する少なくとも１人の招待客へのアクセスを可能にする通信チャネルを開通させるステップと、少なくとも１つの招待客クライアントデバイスにライブ放送セッションをストリーミングするステップと、を含む。
【選択図】図５

【特許請求の範囲】

【請求項1】

仮想環境でライブ放送セッションを提供するシステムであって、
少なくとも１つのサーバコンピュータであり、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサによって命令が実行されると、
ネットワークを介して前記少なくとも１つのサーバコンピュータに接続されたホストクライアントデバイスからの仮想環境作成命令に基づいて仮想環境を作成すること、
前記仮想環境を通じて放送されるイベントに前記仮想環境を接続すること、
前記イベント放送を含む、前記仮想環境からのライブ放送セッションをセットアップすること、
少なくとも１つの招待客クライアントデバイスに招待を送ることであって、前記招待が、少なくとも１人の招待客のために指定された前記仮想環境の３次元座標を含む、送ること、
前記少なくとも１人の招待客が前記招待を承諾すると、前記仮想環境に対する前記少なくとも１人の招待客へのアクセスを可能にする通信チャネルを開通させることであって、前記招待客クライアントデバイスが、前記仮想環境の前記指定された３次元座標に配置されたユーザグラフィカル表現を通じて前記仮想環境にアクセスする、開通させること、及び、
前記少なくとも１つの招待客クライアントデバイスに前記ライブ放送セッションをストリーミングすること
を、前記少なくとも１つのサーバコンピュータに行わせるように構成された仮想環境ストリーミングアプリケーションを実装する前記命令を格納するメモリと
を備える、少なくとも１つのサーバコンピュータ
を具備する、システム。

【請求項2】

前記仮想環境ストリーミングアプリケーションが、送信クライアントデバイスから受信クライアントデバイスに個々のライブストリームを転送するための選択的転送ユニット（ＳＦＵ：ｓｅｌｅｃｔｉｖｅ ｆｏｒｗａｒｄｉｎｇ ｕｎｉｔ）アーキテクチャと、前記ライブストリームの結合されたライブストリームを前記送信クライアントデバイスから前記受信クライアントデバイスに転送するためのマルチポイント制御ユニット（ＭＣＵ：ｍｕｌｔｉｐｏｉｎｔ ｃｏｎｔｒｏｌ ｕｎｉｔ）アーキテクチャとの間で選択し、前記選択が、前記送信クライアントデバイスからのライブストリームの閾値数に基づく、請求項１に記載のシステム。

【請求項3】

前記仮想環境ストリーミングアプリケーションが、リアルタイムのオーディオ及びビデオを交換することによって、招待客が互いに対話することを可能にする、請求項１に記載のシステム。

【請求項4】

前記仮想環境ストリーミングアプリケーションが、前記ライブ放送セッションの少なくとも１人のホストに可視になる限定的な数の招待客ユーザグラフィカル表現の選択を可能にし、前記選択された招待客のうちの少なくとも１人が、前記ライブ放送セッションの前記少なくとも１人のホストと対話することを可能にされる、請求項１に記載のシステム。

【請求項5】

前記仮想環境ストリーミングプラットフォームが、前記少なくとも１人のホストとの前記対話が、他のクライアントデバイスと共有される公開ビデオストリームの一部になることを可能にする、請求項４に記載のシステム。

【請求項6】

前記仮想環境ストリーミングアプリケーションが、前記限定的な数の招待客の前記選択に含まれない招待客の記号的グラフィカル表現をさらに表示する、請求項４に記載のシステム。

【請求項7】

前記仮想環境ストリーミングアプリケーションが、招待客の反応のグラフィカル表現を表示することをさらに可能にする、請求項４に記載のシステム。

【請求項8】

前記仮想環境ストリーミングアプリケーションが、聴衆が前記仮想環境内を移動することによって前記仮想環境を探索することを可能にする、請求項４に記載のシステム。

【請求項9】

前記聴衆メンバのうちの少なくとも一部による移動の提示が、前記少なくとも１人のホストのビューに対して無効にされる、請求項８に記載のシステム。

【請求項10】

ホスト及び招待客を含むユーザの視界が、対応する前記ユーザグラフィカル表現が配置された前記仮想環境の前記指定された３次元座標から計算される、請求項１に記載のシステム。

【請求項11】

少なくとも１つのプロセッサが少なくとも１つのサーバコンピュータのメモリ内の命令を実施することによって実行される方法であって、
ネットワークを介して前記少なくとも１つのサーバコンピュータに接続されたホストクライアントデバイスからの仮想環境作成命令に基づいて仮想環境を作成するステップと、
前記仮想環境を通じて放送されるイベントに前記仮想環境を接続するステップと、
前記イベント放送を含む前記仮想環境から放送されるライブ放送セッションをセットアップするステップと、
少なくとも１つの招待客クライアントデバイスに招待を送るステップであり、前記招待が、少なくとも１人の招待客のために指定された前記仮想環境の３次元座標を含む、送るステップと、
前記少なくとも１人の招待客が前記招待を承諾すると、前記仮想環境に対する前記少なくとも１人の招待客へのアクセスを可能にする通信チャネルを開通させるステップであり、前記招待客クライアントデバイスが、前記仮想環境の前記指定された３次元座標に配置されたユーザグラフィカル表現を通じて前記仮想環境にアクセスする、開通させるステップと、
前記少なくとも１つの招待客クライアントデバイスに前記ライブ放送セッションをストリーミングするステップと
を含む、方法。

【請求項12】

送信クライアントデバイスから受信クライアントデバイスに個々のライブストリームを転送するための選択的転送ユニット（ＳＦＵ：ｓｅｌｅｃｔｉｖｅ ｆｏｒｗａｒｄｉｎｇ ｕｎｉｔ）アーキテクチャと、前記ライブストリームの結合されたライブストリームを前記送信クライアントデバイスから前記受信クライアントデバイスに転送するためのマルチポイント制御ユニット（ＭＣＵ：ｍｕｌｔｉｐｏｉｎｔ ｃｏｎｔｒｏｌ ｕｎｉｔ）アーキテクチャとの間で選択するステップであって、前記送信クライアントデバイスからのライブストリームの閾値数に基づく、選択するステップをさらに含む、請求項１１に記載の方法。

【請求項13】

リアルタイムのオーディオ及びビデオを交換することによって、招待客が互いに対話することを可能にするステップをさらに含む、請求項１１に記載の方法。

【請求項14】

前記ライブ放送セッションの少なくとも１人のホストに可視になる限定的な数の招待客ユーザグラフィカル表現を選択するステップであって、前記選択された招待客のうちの少なくとも１人が、前記ライブ放送セッションの前記少なくとも１人のホストと対話することを可能にされる、選択するステップをさらに含む、請求項１１に記載の方法。

【請求項15】

前記少なくとも１人のホストとの前記対話が、他のクライアントデバイスと共有される公開ビデオストリームの一部になることを可能にするステップをさらに含む、請求項１４に記載の方法。

【請求項16】

前記限定的な数の招待客の前記選択に含まれない招待客の記号的グラフィカル表現を表示するステップをさらに含む、請求項１４に記載の方法。

【請求項17】

招待客の反応のグラフィカル表現を表示するステップをさらに含む、請求項１４に記載の方法。

【請求項18】

前記仮想環境を作成するステップが、
ユーザ設定データを取り出すことと、
前記ユーザ設定データを使用して、前記仮想環境をカスタマイズすることと
を含む、請求項１１に記載の方法。

【請求項19】

前記招待客の視界が、前記仮想環境の前記指定された３次元座標から計算される、請求項１１に記載の方法。

【請求項20】

少なくとも１つのプロセッサによって命令が実行されると、
ネットワークを介して少なくとも１つのサーバコンピュータに接続されたホストクライアントデバイスからの仮想環境作成命令に基づいて仮想環境を作成することと、
前記仮想環境を通じて放送されるイベントに前記仮想環境を接続することと、
前記イベント放送を含む前記仮想環境から放送されるライブ放送セッションをセットアップすることと、
少なくとも１つの招待客クライアントデバイスに招待を送ることであって、前記招待が、少なくとも１人の招待客のために指定された前記仮想環境の３次元座標を含む、送ることと、
前記少なくとも１人の招待客が前記招待を承諾すると、前記仮想環境に対する前記少なくとも１人の招待客へのアクセスを可能にする通信チャネルを開通させることであって、前記招待客クライアントデバイスが、前記仮想環境の前記指定された３次元座標に配置されたユーザグラフィカル表現を通じて前記仮想環境にアクセスする、開通させることと、
前記少なくとも１つの招待客クライアントデバイスに前記ライブ放送セッションをストリーミングすることであって、前記招待客の視界が、前記仮想環境の前記指定された３次元座標から計算される、ストリーミングすることと
を含むステップを実施すること、を前記少なくとも１つのサーバコンピュータに行わせる、メモリに格納された命令を含む、非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は一般にコンピュータシステムに関し、より詳細には、仮想環境でライブ放送セッションを可能にするシステム、方法、及びコンピュータ可読媒体に関する。

【背景技術】

【0002】

メディアコンテンツの送達は、ケーブル、衛星、及びアンテナ通信によるテレビ放送などの伝統的手段を通じて達成可能である。しかし、このような放送体験は典型的に、ユーザ体験を改善する可能性のあるイベントの他の遠隔視聴者との対話を可能にしない。

【0003】

一部のソーシャルメディアアプリケーションは、ＹｏｕＴｕｂｅ（登録商標）ライブ、Ｆａｃｅｂｏｏｋ（登録商標）ライブ、及びＴｗｉｔｃｈ（登録商標）など、ライブイベントの視聴を可能にするストリーミングプラットフォームとしても機能し、これらのストリーミングプラットフォームは、ユーザがイベントについてリアルタイムにコメントすること、及び、イベントライブを視聴しているユーザ数、イベントに対するライブコメント又は反応など、様々な情報をチェックすることを可能にする。しかし、このようなプラットフォームは、「平面」すなわち２Ｄ（２次元）のユーザインターフェースにユーザ体験を限定する傾向があり、ユーザ又はホストとの対話は、テキスト入力（例えば、チャット又はコメント）の手段によって実施される傾向があり、疎外感を与える。会議などのライブイベントも、Ｓｋｙｐｅ（商標）及びＺｏｏｍ（商標）などの遠距離会議プラットフォームを通じて行われることがあるが、低レベルの現実性、ユーザの臨場感の欠如、共有空間の欠如、及び、実施可能な対話の質の欠如が、実生活の体験をこれらのソリューションと比較したとき、多くのユーザの孤独感又は退屈感に寄与する。

【0004】

イベントに対するユーザの関与を促進可能な、スポーツ、ｅスポーツ、ライブパフォーマンス、会議、及び同様のものなどの、ライブイベントの放送中の、現実感、臨場感、並びに、改善された対話及びユーザ体験をユーザに提供する技術的ソリューションが、要求されている。

【発明の概要】

【0005】

本概要は、詳細な説明において下記でさらに説明される概念の選択を簡素な形で紹介するために提供される。本概要は、特許請求される主題の主要な特徴を特定することを意図するものでも、特許請求される主題の範囲を決定する際の補助として使用されることを意図するものでもない。

【0006】

本開示の１つの態様によれば、仮想環境でライブ放送セッションを提供するシステムは、少なくとも１つのサーバコンピュータであり、少なくとも１つのプロセッサと、少なくとも１つのプロセッサによって命令が実行されると、ネットワークを介して少なくとも１つのサーバコンピュータに接続されたホストクライアントデバイスからの仮想環境作成命令に基づいて仮想環境を作成すること、仮想環境を通じて放送されるイベントに仮想環境を接続すること、イベント放送を含む、仮想環境からのライブ放送セッションをセットアップすること、少なくとも１つの招待客クライアントデバイスに招待を送ることで、招待が、少なくとも１人の招待客のために指定された仮想環境の３Ｄ（３次元）座標を含む、送ること、少なくとも１人の招待客が招待を承諾すると、仮想環境に対する少なくとも１人の招待客へのアクセスを可能にする通信チャネルを開通させることで、招待客クライアントデバイスが、仮想環境の指定された３Ｄ座標に配置されたユーザグラフィカル表現を通じて仮想環境にアクセスする、開通させること、及び、少なくとも１つの招待客クライアントデバイスにライブ放送セッションをストリーミングすることを、少なくとも１つのサーバコンピュータに行わせるように構成された仮想環境ストリーミングアプリケーションを実装する命令を格納するメモリとを備える、少なくとも１つのサーバコンピュータを具備する。

【0007】

一部の実施形態では、通信チャネルを開通させるために、仮想環境ストリーミングアプリケーションは、送信クライアントデバイスから受信クライアントデバイスに個々のライブストリームを転送するための選択的転送ユニット（ＳＦＵ：ｓｅｌｅｃｔｉｖｅ ｆｏｒｗａｒｄｉｎｇ ｕｎｉｔ）アーキテクチャと、ライブストリームの結合されたライブストリームを送信クライアントデバイスから受信クライアントデバイスに転送するためのマルチポイント制御ユニット（ＭＣＵ：ｍｕｌｔｉｐｏｉｎｔ ｃｏｎｔｒｏｌ ｕｎｉｔ）アーキテクチャとの間で選択し、選択は、送信クライアントデバイスからのライブストリームの閾値数に基づく。

【0008】

一部の実施形態では、仮想環境ストリーミングアプリケーションは、リアルタイムのオーディオ及びビデオを交換することによって、招待客が互いに対話することを可能にする。

【0009】

一部の実施形態では、仮想環境ストリーミングアプリケーションは、ライブ放送セッションの少なくとも１人のホストに可視になる限定的な数の招待客ユーザグラフィカル表現の選択を可能にし、選択された招待客のうちの少なくとも１人が、ライブ放送セッションの少なくとも１人のホストと対話することを可能にされる。さらなる実施形態では、仮想環境ストリーミングプラットフォームは、少なくとも１人のホストとの前記対話が、他のクライアントデバイスと共有される公開ビデオストリームの一部になることを可能にする。さらなる実施形態では、仮想環境ストリーミングアプリケーションは、限定的な数の招待客の選択に含まれない招待客の記号的グラフィカル表現をさらに表示し、グラフィカル表現は、ユーザグラフィカル表現、ユーザの数を示す数値表現、又はその組合せの形で提供される。さらなる実施形態では、仮想環境ストリーミングアプリケーションは、招待客の反応のグラフィカル表現を表示することをさらに可能にする。

【0010】

一部の実施形態では、仮想環境ストリーミングアプリケーションは、聴衆が仮想環境内を移動することによって仮想環境を探索することを可能にする。さらに、聴衆メンバのうちの少なくとも一部によるこのような移動の提示は、少なくとも１人のホストのビューに対して無効にされる。

【0011】

一部の実施形態では、ユーザグラフィカル表現は、背景が除去されたユーザ３Ｄ仮想切り抜き、若しくは背景が除去されたユーザリアルタイム３Ｄ仮想切り抜き、又は背景が除去されたビデオ、若しくは背景が除去されていないビデオを含む。

【0012】

一部の実施形態では、ホスト及び招待客を含むユーザの視界は、対応するユーザグラフィカル表現が配置された仮想環境の指定された３Ｄ座標から計算される。

【0013】

本開示の別の態様では、仮想環境でライブ放送セッションを提供するための方法が提供される。方法は、少なくとも１つのプロセッサが少なくとも１つのサーバコンピュータのメモリ内の命令を実施することによって実行されてもよく、メモリは、少なくとも実施するように構成された仮想環境ストリーミングアプリケーションを格納する。実施形態において、方法は、ネットワークを介して少なくとも１つのサーバコンピュータに接続されたホストクライアントデバイスからの仮想環境作成命令に基づいて仮想環境を作成するステップと、仮想環境を通じて放送されるイベントに仮想環境を接続するステップと、イベント放送を含む仮想環境から放送されるライブ放送セッションをセットアップするステップと、少なくとも１つの招待客クライアントデバイスに招待を送るステップであり、招待が、少なくとも１人の招待客のために指定された仮想環境の３Ｄ座標を含む、送るステップと、少なくとも１人の招待客が招待を承諾すると、仮想環境に対する少なくとも１人の招待客へのアクセスを可能にする通信チャネルを開通させるステップであり、招待客クライアントデバイスが、仮想環境の指定された３Ｄ座標に配置されたユーザグラフィカル表現を通じて仮想環境にアクセスする、開通させるステップと、少なくとも１つの招待客クライアントデバイスにライブ放送セッションをストリーミングするステップとを含む。

【0014】

一部の実施形態では、方法は、送信クライアントデバイスから受信クライアントデバイスに個々のライブストリームを転送するための選択的転送ユニット（ＳＦＵ）アーキテクチャと、ライブストリームの結合されたライブストリームを送信クライアントデバイスから受信クライアントデバイスに転送するためのマルチポイント制御ユニット（ＭＣＵ）アーキテクチャとの間で選択するステップであって、送信クライアントデバイスからのライブストリームの閾値数に基づく、選択するステップをさらに含む。

【0015】

一部の実施形態では、方法は、リアルタイムのオーディオ及びビデオを交換することによって、招待客が互いに対話することを可能にするステップをさらに含む。

【0016】

一部の実施形態では、方法は、ライブ放送セッションの少なくとも１人のホストに可視になる限定的な数の招待客ユーザグラフィカル表現を選択するステップであって、選択された招待客のうちの少なくとも１人が、ライブ放送セッションの少なくとも１人のホストと対話することを可能にされる、選択するステップをさらに含む。さらなる実施形態では、方法は、少なくとも１人のホストとの前記対話が、他のクライアントデバイスと共有される公開ビデオストリームの一部になることを可能にするステップをさらに含む。さらなる実施形態では、方法は、限定的な数の招待客の選択に含まれない招待客の記号的グラフィカル表現を表示することをさらに含み、グラフィカル表現は、ユーザグラフィカル表現、ユーザの数を示す数値表現、又はその組合せの形で提供される。さらなる実施形態では、方法は、招待客の反応のグラフィカル表現を表示するステップをさらに含む。

【0017】

一部の実施形態では、仮想環境を作成するステップは、ユーザ設定データを取り出すことと、ユーザ設定データを使用して、仮想環境をカスタマイズすることとを含む。

【0018】

一部の実施形態では、方法は、１つ又は複数の第三者データベースからメディアを取り出し表示することをさらに含む。

【0019】

本開示の別の態様では、少なくとも１つのプロセッサによって命令が実行されると、ネットワークを介して少なくとも１つのサーバコンピュータに接続されたホストクライアントデバイスからの仮想環境作成命令に基づいて仮想環境を作成することと、仮想環境を通じて放送されるイベントに仮想環境を接続することと、イベント放送を含む仮想環境から放送されるライブ放送セッションをセットアップすることと、少なくとも１つの招待客クライアントデバイスに招待を送ることであって、招待が、少なくとも１人の招待客のために指定された仮想環境の３Ｄ座標を含む、送ることと、少なくとも１人の招待客が招待を承諾すると、仮想環境に対する少なくとも１人の招待客へのアクセスを可能にする通信チャネルを開通させることであって、招待客クライアントデバイスが、仮想環境の指定された３Ｄ座標に配置されたユーザグラフィカル表現を通じて仮想環境にアクセスする、開通させることと、少なくとも１つの招待客クライアントデバイスにライブ放送セッションをストリーミングすることであって、（例えば、招待客クライアントデバイスのユーザに提示されるような）招待客の視界が、仮想環境の指定された３Ｄ座標から計算される、ストリーミングすることとを含むステップを実施することを少なくとも１つのサーバコンピュータに行わせる、メモリに格納された命令を含む、非一時的コンピュータ可読媒体。

【0020】

上記の概要は、本開示の全ての態様の網羅的リストを含んでいない。本開示は、上記で概説された様々な態様、及び、下記の詳細な説明で開示され、特に本出願と共に提出された特許請求の範囲で指摘される様々な態様の、全ての適切な組合せから実践可能な全てのシステム及び方法を含むことが想定される。このような組合せには、上記の概要で具体的に列挙されていない長所がある。添付の図面から、及び下記に続く詳細な説明から、他の特徴及び長所が明らかになるであろう。

【0021】

以下の説明及び添付の図面に関して本開示の特定の特徴、態様、及び長所が、より良く理解されるであろう。

【図面の簡単な説明】

【0022】

【図1】実施形態による、仮想環境でライブ放送セッションを可能にするシステムの概略図である。

【図2】実施形態による、サーバがユーザライブストリームの数に応じて利用し得るサーバアーキテクチャオプションの概略図である。

【図3】実施形態による、ホストがプロフィールデータを利用することによる仮想環境生成の概略図である。

【図4】仮想環境内で発行される第三者メディアの実施形態の概略図である。

【図5】実施形態による、仮想環境でライブ放送セッションを可能にする方法のブロック図である。

【発明を実施するための形態】

【0023】

以下の説明では、様々な実施形態を例示として示した図面への参照が行われる。また、様々な実施形態は、いくつかの例を参照することによって、下記で説明されることになる。実施形態は、特許請求される主題の範囲から逸脱することなく、設計及び構造の変更を含み得ることを理解されたい。

【0024】

本開示は、仮想環境でイベントのライブ放送セッションを提供するように構成されたシステム、方法、及びコンピュータ可読媒体を通じて、背景に記載された欠点のうちの少なくとも一部に対処する。本開示のシステム、方法、及びコンピュータ可読媒体は、例えば３Ｄ仮想環境といった仮想環境内で、現実又はデジタルのライブイベント又は事前に記録されたイベントなどの、イベントの放送を可能にする。３Ｄ仮想環境は、対応するクライアントデバイスを通じて複数のユーザに放送され得るライブ放送セッションを作成するためにイベントに接続してもよい。招待されたユーザは、招待が承諾されると、対応するユーザグラフィカル表現を通じて仮想環境の３Ｄ座標に配置され得るように、３Ｄ座標を有する対応する招待を通じて、仮想環境にアクセスすることができる。イベントのホストは、特定の数の限定的なユーザ（例えば、友人、特別なゲスト、又は、イベントに関係する他の人々）が、ユーザユーザグラフィカル表現を通じてホストに可視になることを可能にしてもよいが、残りの聴衆は、記号的表現の形で表示されてもよい。聴衆との対話は、他のユーザ（例えば、全てのユーザ又はユーザの一部の部分集合）が対話を視聴し得るように、ライブ放送セッションの一部になってもよい。現在のシステムは、イベントの視聴、及びいくつかのタイプの対話（例えば、コメント、チャット、又はライブビデオ放送）を可能にするが、本開示によって提供されるように、３Ｄ仮想環境におけるイベントのライブ放送セッションにアクセスする能力をユーザに提供することは、このようなユーザが通信及び対話し得る共有３Ｄ空間を可能にすることによって、ユーザの臨場感、並びにライブ放送セッションのユーザとホストとの間の体験及び対話の質を、向上させることができる。

【0025】

図１は、実施形態による、仮想環境でライブ放送セッションを可能にするシステム１００の概略図である。

【0026】

システム１００は、少なくとも１つのプロセッサ１０４と、仮想環境ストリーミングアプリケーション１０８を実装する命令を格納するメモリ１０６とを備える、少なくとも１つのサーバコンピュータ１０２を備える。仮想環境ストリーミングアプリケーション１０８は、少なくとも１つのプロセッサ１０４によって命令が実行されると、ネットワーク１１４を介して少なくとも１つのサーバコンピュータ１０２に接続されたホストクライアントデバイス１２２からの仮想環境作成命令に基づいて仮想環境１１０を作成するように構成されてもよい。その後、仮想環境ストリーミングアプリケーション１０８は、仮想環境１１０を通じて放送されるイベント１１６に仮想環境１１０を接続してもよい。このような接続が確立されると、仮想環境ストリーミングアプリケーション１０８は、イベントのライブイベント放送１１８を含む、仮想環境１１０からのライブ放送セッションをセットアップする。イベントは、したがって、仮想クライアントデバイス画面（例えば、ＴＶ、タブレット、又はモバイルデバイス画面）、投影スクリーン、投影壁、パネル、掲示板、天井など、仮想環境１１０内の投影面に、仮想環境ストリーミングアプリケーション１０８によってインスタンス化され表示されてもよい。

【0027】

仮想環境ストリーミングアプリケーション１０８は、次いで、少なくとも１つの招待客クライアントデバイス１２０に招待を送る。このような招待は、ホストクライアントデバイス１２２、又は代替として、そのような資格を有し得る他の招待ユーザのクライアントデバイスなど、招待するクライアントデバイスから受信されたリクエストに基づいて送られてもよい。招待は、ｅメール、ＳＭＳ、ソーシャルメディアアプリケーション、メッセージングアプリケーション、及び同様のものなど、任意の適切なチャネルを通じて送られてもよく、名前、場所、ｅメールアドレス、電話番号など、招待客の特定に役立ち得るユーザ情報を含んでもよい。一部の実施形態では、招待は、少なくとも１人の招待客１２４のために指定された仮想環境１１０の３Ｄ座標を含む。少なくとも１人の招待客１２４が招待を承諾すると、仮想環境ストリーミングアプリケーション１０８は、仮想環境１１０に対する少なくとも１人の招待客１２４へのアクセスを可能にする通信チャネルを開通させ、招待客クライアントデバイス１２０は、仮想環境の指定された３Ｄ座標に配置された、したがって仮想環境１１０内でユーザの表現（例えば、アバター又はリアルタイムビデオ放送）を提示する、ユーザグラフィカル表現１２６を通じて仮想環境１１０にアクセスする。最後に、仮想環境ストリーミングアプリケーション１０８は、少なくとも１つの招待客クライアントデバイス１２０にライブ放送セッションをストリーミングする。

【0028】

本開示では、「放送セッション」は、仮想環境ストリーミングアプリケーション１０８を通じてホストされ、仮想環境内からのイベントの放送を含む、遠距離会議セッションを指す。一部の実施形態では、放送は、仮想環境の少なくとも１つの面にイベントをインスタンス化され投影することによって実施される。放送セッションは、イベントの放送を視聴及び体験することができ、イベントの提示を視聴するために、互いに、及び可能であれば放送セッションの少なくとも１人のホストと対話する、複数のユーザによって出席されてもよい。放送セッション中に仮想環境の少なくとも１つの面にイベントがインスタンス化され投影されると、仮想環境内の全てのユーザは、所与の瞬間のユーザの視界が投影面を含む場合、放送イベントを視聴できてもよい。

【0029】

一部の実施形態では、少なくとも１人のホストが投影面を選択してもよく、投影面をオン若しくはオフにすること、又は、投影面を別の投影面に切り替えることを決めてもよい。一部の実施形態では、投影されたイベントを含む投影面は、さらに拡大されても縮小されてもよく、又は、仮想環境の他のエリアに移されてもよい。例えば、投影面がＴＶ画面の場合、ＴＶ画面は拡大されてもよく、又は、招待客によってより容易に視聴される別のエリアに移動されてもよい。仮想環境放送アプリケーション１０８は、したがって、投影されたイベントを含む投影面の解像度を調節するようにさらに構成されてもよい。

【0030】

本開示では、イベントは、例えば、ｅスポーツ、現実世界のスポーツマッチ、パフォーマンス、ファッションショー、人気投票、映画の公開、ビデオゲームの公開、劇場の演劇、サーカスパフォーマンス、ニュースリポート、及び同様のものなど、放送セッションを通じて放送可能な、ライブ又は事前に記録された現実世界又はデジタルのイベントでもよい。イベントは、仮想環境１１０内から１人又は複数のホスト及び／又はモデレータによる紹介、ナレーション、コメント、及び／又は議論が行われてもよく、資格に基づいて聴衆の少なくとも一部のメンバとの対話を可能にしてもよい。このような対話は、生成されて仮想環境に挿入され得る、ホスト及び聴衆のユーザグラフィカル表現を通じて可能にされてもよい。

【0031】

一部の実施形態では、招待客及び他のユーザ（例えば、ホスト１２８、及び聴衆の他のメンバ）の視界は、招待客ユーザグラフィカル表現１２６が配置された仮想環境１１０の指定された３Ｄ座標から計算される。したがって、各ユーザグラフィカル表現１２６は、仮想環境１１０内のユーザの位置から、対応するユーザに仮想シーン及びライブイベントを表示するための、ユーザグラフィカル表現１２６のそれぞれの特定の場所からセットされた個人向けの視聴視野を有してもよい。一部の実施形態では、視聴視野は、グラフィカルユーザインターフェースを介して仮想環境１１０を通じてユーザが手動でナビゲートするにつれて、更新される。さらなる実施形態では、視聴視野は、仮想カメラを使用することによって、自動で確立及び更新され、仮想カメラは、ユーザの目と頭の傾きデータ、若しくは頭の回転データ、又はその組合せを追跡及び分析することによって、自動で更新される。

【0032】

したがって、一部の実施形態では、仮想環境１１０は、ユーザによって共有される提供された仮想空間内からユーザがイベントを視聴することを可能にし、仮想環境１１０の指定された３Ｄ座標に配置されたユーザの対応するユーザグラフィカル表現１２６を通じてアクセスされる、３Ｄ仮想環境である。共有された３Ｄ仮想環境１１０内のユーザの提示は、ユーザ間の（例えば、招待客１２４、ホスト１２８、及びその組合せとの間の）可能にされた対話及び通信と共に、ユーザの臨場感を増大させ、ライブ放送セッション及び対応するライブイベントへの関与及び／又は出席を促進し、現実的且つ娯楽的なユーザ体験を提供する。

【0033】

一部の実施形態では、仮想環境ストリーミングアプリケーション１０８は、リアルタイムのオーディオ及びビデオを交換することによって、招待客１２４が互いに対話することを可能にする。このような対話及び通信は、仮想環境１１０の共有空間内で提供され、ユーザ間の対話を促進する。さらなる実施形態では、特に、チャット、画面共有、記録、投票、メディアファイル共有、顔文字送出、仮想抱擁、挙手、握手、歩行、コンテンツ追加、オブジェクト移動、ブーイング、激励、叫ぶこと、身振り、投影、レーザポインティング、ゲームプレイング、及び購入など、ユーザ間の他の対話がさらに可能にされてもよい。

【0034】

一部の実施形態では、仮想環境ストリーミングアプリケーション１０８は、ライブ放送セッションの少なくとも１人のホスト１２８に可視になる限定的な数の招待客ユーザグラフィカル表現１２６の選択を可能にし、選択された限定的な招待客１３０のうちの少なくとも１人は、対応するユーザグラフィカル表現１２６を通じてライブ放送セッションの少なくとも１人のホスト１２８と対話することを可能にされる。限定的な招待客は、少なくとも１人のホスト１２８によって、又はそのような資格を有する別のユーザによって選択されてもよく、例えば、ホストの親しい友人、ＶＩＰ、又は、ライブ放送セッションに何らかのタイプの特別な関連性を有する人々を表してもよい。これらの限定的な招待客は、ユーザグラフィカル表現１２６を通じて、少なくとも１人のホスト１２８に可視でもよい。少なくとも１人のホスト１２８はまた、仮想環境１１０内で、ホストユーザグラフィカル表現１３２によって少なくとも１人の限定的なゲスト１３０に可視でもよい。

【0035】

さらなる実施形態では、仮想環境ストリーミングアプリケーション１０８は、少なくとも１人のホスト１２８との対話が、残りの聴衆１３４の他のクライアントデバイスと共有される公開ビデオストリームの一部になることを可能にする。本開示では、「残りの聴衆」という用語は、限定的なゲスト１３０の一部ではない任意のユーザ又は招待客を指す。例えば、限定的な聴衆のメンバが質問するか、画面を共有するか、いくつかの情報を提示した場合、このようなデータ及び／又は対話は、ライブ放送セッションからのライブ放送の一部として、残りの聴衆１３４に表示されてもよい。さらなる実施形態では、仮想環境ストリーミングアプリケーション１０８は、残りの聴衆１３４からの招待客の記号的ユーザグラフィカル表現１３６をさらに表示し、グラフィカル表現は、ユーザグラフィカル表現、ユーザの数を示す数値表現、又はその組合せの形で提供される。例えば、１０００人の人々がライブ放送セッションに出席している場合、限定的なゲスト１３０の一部である５人の人々、及び、残りの聴衆１３４として含まれる９９５人の人々がいてもよい。限定的なゲスト１３０はそれぞれ、対応するユーザグラフィカル表現１２６で表されてもよく、その一方で、残りの聴衆１３４は、記号的グラフィカル表現１３６で表されてもよく、記号的グラフィカル表現１３６は、残りの聴衆１３４を表すことが可能な、記号的な顔、全身、シルエット、影、マスク、漫画、及び同様のものを含む記号的な群衆の形をしていてもよい。

【0036】

一部の実施形態では、限定的なゲスト１３０及び残りの聴衆１３４を含む聴衆のメンバには、招待に含まれる３Ｄ座標に基づく固定の場所が定められてもよく、又は、元の３Ｄ座標から仮想環境内を移動及び探索することを可能にされてもよい。さらなる実施形態では、仮想環境放送アプリケーションは、例えば、限定的なゲスト１３０が、少なくとも１人のホスト１２８の邪魔をすることなく、放送セッション中に仮想環境を自由に探索することを許可するため、及び／又は、このように移ることが他のクライアントデバイスへのビデオ放送で示されないように、限定的なゲスト１３０が少なくとも１人のホストに自分の画像を無効にすることを可能にするようにさらに構成されてもよい。

【0037】

一部の実施形態では、放送セッション中に放送され得るイベント１１６は、リアルタイムに発生している任意の現実又はデジタルのイベントを指す。現実のイベントは、少なくとも１台のカメラ１３８を通じてリアルタイムに放送されてもよい。しかし、他の実施形態では、仮想環境ストリーミングアプリケーション１０８は、事前に記録されたイベントのライブ放送セッションをホストすることも可能にする。例えば、以前に記録されたフットボールマッチが、放送セッション中に仮想環境１１０でリプレイするために、少なくとも１つのサーバ１０２に移送されてもよい。さらなる実施形態では、仮想環境ストリーミングアプリケーション１０８は、限定的なゲスト１３０又は残りの聴衆１３４などからの、招待客の反応のグラフィカル表現を表示することをさらに可能にする。例えば、このような表現は、招待客の反応を表す、サムズアップ又はダウン、ハート、微笑み、幸せな顔、悲しい顔、怒った顔、及び同様のものを含む、絵文字として示されてもよい。

【0038】

一部の実施形態では、仮想環境ストリーミングアプリケーション１０８は、残りの聴衆１１０からのメンバが、少なくとも１人のホスト１２８と対話することを一時的に可能にする。残りの聴衆１３４からのユーザは、ユーザインターフェースを通じて自分の挙手してもよく、ユーザインターフェースは、少なくとも１つのホストクライアントデバイス１２２に信号を送り、ユーザが、対応するユーザグラフィカル表現１３６を通じて少なくとも１人のホスト１２８と一時的に対話することを可能にするように、少なくとも１人のホスト１２８を促す。このような対話は、限定的なゲスト１３０及び残りの聴衆１３４からの他のメンバによって観られ得るライブ放送セッションに含まれてもよい。

【0039】

一部の実施形態では、ユーザグラフィカル表現１２６は、背景が除去されたユーザ３Ｄ仮想切り抜き、若しくは背景が除去されたユーザリアルタイム３Ｄ仮想切り抜き、又は背景が除去されたビデオ、若しくは背景が除去されていないビデオを含む。

【0040】

本開示では、ユーザ３Ｄ仮想切り抜きは、ユーザがアップロードした又は第三者のソースによる２Ｄ写真から構築された、ユーザの仮想レプリカを含んでもよい。実施形態では、ユーザ３Ｄ仮想切り抜きは、背景が除去されたユーザの３Ｄメッシュ又は３Ｄ点群を生成する、ユーザがアップロードした又は第三者のソースによる２Ｄ写真を入力データとして使用するマシンビジョン技法を通じて、３Ｄ仮想再構築プロセスを経て作成される。１つの実施形態では、ユーザ３Ｄ仮想切り抜きは、静的な顔の表情を有してもよい。別の実施形態では、ユーザ３Ｄ仮想切り抜きは、カメラフィードを通じて更新される顔の表情を有してもよい。さらに別の実施形態では、ユーザ３Ｄ仮想切り抜きは、ユーザ３Ｄ仮想切り抜きが微笑むこと、まゆをひそめること、深刻になること、及び同様のものを可能にするボタンなど、ユーザグラフィカルインターフェースのボタンを通じて変更され得る表情を有してもよい。さらなる実施形態では、ユーザ３Ｄ仮想切り抜きは、前述の技法の組合せを使用して顔の表情を表示する。ユーザ３Ｄ仮想切り抜きを生成した後、ユーザ３Ｄ仮想切り抜きのステータス及び／又は顔の表情は、例えば、ユーザからのカメラフィードを処理することによって、絶えず更新されてもよい。

【0041】

ユーザリアルタイム３Ｄ仮想切り抜きは、カメラから取得されたリアルタイム２Ｄ又は３Ｄライブビデオストリームデータフィードに基づいた、ユーザ背景を除去した後の、ユーザの仮想レプリカを含んでもよい。実施形態では、ユーザリアルタイム３Ｄ仮想切り抜きは、背景が除去されたユーザの３Ｄメッシュ又は３Ｄ点群を生成することによって、ユーザライブデータフィードを入力データとして使用するマシンビジョン技法を通じて、３Ｄ仮想再構築プロセスを経て作成される。例えば、ユーザリアルタイム３Ｄ仮想切り抜きは、ホログラフィック３Ｄメッシュ又は３Ｄ点群を作成するために処理され得る、カメラ１４６からの２Ｄビデオから生成されてもよい。別の例では、ユーザリアルタイム３Ｄ仮想切り抜きは、ホログラフィック３Ｄメッシュ又は３Ｄ点群を作成するために処理され得る、深度カメラ（例えば、ＬＩＤＡＲ又は任意の深度カメラ）からの３Ｄビデオから生成されてもよい。したがって、ユーザリアルタイム３Ｄ仮想切り抜きは、３次元且つリアルタイムで、ユーザをグラフィカルに表す。

【0042】

背景が除去されたビデオは、クライアントデバイスにストリーミングされるビデオを含んでもよく、背景除去プロセスは、ユーザだけが可視であり、したがって、受信クライアントデバイスに多角形構造を利用して表示され得るように、実施されてきた。背景が除去されていないビデオは、クライアントデバイスにストリーミングされたビデオを含んでもよく、ビデオは、カメラキャプチャを忠実に表しており、したがって、ユーザ及びユーザの背景が可視であり、したがって、受信クライアントデバイスに多角形構造を利用して表示される。多角形構造は、ビデオを支持する仮想枠として使用される四角形構造又はより複雑な３Ｄ構造が可能である。

【0043】

一部の実施形態では、ユーザグラフィカル表現１２６は、送出クライアントデバイスに接続された少なくとも１台のカメラ１４６によってキャプチャされたライブデータフィードを、少なくとも１つのサーバコンピュータ１０２によって受信することと、サーバ１０２を介して、又はＰ２Ｐアーキテクチャを通じて、キャプチャされたデータを受信クライアントデバイスに送ることと、ユーザ送出ユーザを表す画像だけを抽出するために、送出クライアントデバイスのユーザの背景除去を実施することと、受信クライアントデバイスによって、ユーザグラフィカル表現１２６を仮想環境１１０に挿入することとを含むプロセスによって作成される。

【0044】

一部の実施形態では、ライブデータフィード、及び／又は、ユーザがアップロードした若しくは第三者のソースによる２Ｄ写真に含まれる、入力データとして使用されるデータは、特に、２Ｄ又は３Ｄ画像データ、３Ｄ形状、ビデオデータ、メディアデータ、オーディオデータ、テキストデータ、触感データ、時間データ、３Ｄエンティティ、３Ｄ動的オブジェクト、テキストデータ、時間データ、メタデータ、優先度データ、セキュリティデータ、位置データ、照明データ、深度データ、及び赤外線データを含む。

【0045】

一部の実施形態では、１人又は複数のホスト１３２は、ライブ放送セッションのモデレータでもよいが、その中での、及び、限定的なゲスト１３０と残りの聴衆１３４とのうちの少なくとも一部との、対話及び通信を可能にしながら、ライブ又は事前に記録されたイベントの紹介、ナレーション、コメント、及び／又は議論を行ってもよい。

【0046】

一部の実施形態では、仮想環境１１０は、ホスト、限定的なゲスト１３０、及び残りの聴衆１３４を含むユーザが、仮想環境１１０内の発行されたメディアコンテンツ項目を探索、購読、及び対話すること、互いに通信すること、並びに同様のことを行う、仮想シーン、世界、又はユニバースを指す。仮想環境１１０は、複数のソフトウェアプラットフォーム又はソフトウェアエンジンを通じてモデル化され得るアセットを有する。アセットは、シーン説明で定義されてもよく、シーン説明は、プロパティ及び値を有するシーングラフの形式でもよく、モデルに基づいてもよい。モデルは、形状、テクスチャ、物理学、照明、素材などを含むデータで定義された、３次元オブジェクトの記述である。

【0047】

仮想環境１１０は、したがって、コンピュータ支援描画（ＣＡＤ：ｃｏｍｐｕｔｅｒ ａｓｓｉｓｔｅｄ ｄｒａｗｉｎｇ）法を通じて任意の適切な３Ｄモデリング技法を通じて設計され得る、仮想構造（例えば、仮想モデル）を指す。一部の実施形態では、仮想環境１１０は、仮想環境１１０を生成するために、様々な写真、ビデオ、深度測定、並びに／又は、同時位置特定及び地図作成（ＳＬＡＭ：ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）スキャンを通じて入力される、画像スキャンパイプラインを備える任意の適切なスキャンツールを通じて、現実の構造（例えば、物理的な部屋）からスキャンされた仮想構造を指す。例えば、合成開口レーダ、実開口レーダ、光検出と測距（ＬＩＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、逆開口レーダ、モノパルスレーダ、及び他のタイプのイメージング技法などの、レーダイメージングが、現実世界の構造をマッピング及びモデル化し、これらを仮想環境１１０に変化させるために使用されてもよい。他の実施形態では、仮想環境１１０は、現実構造（例えば、現実世界の部屋、建物、又は設備）にならってモデル化された仮想構造である。

【0048】

仮想環境１１０に含まれるアセットは、特に、２Ｄ又は３Ｄ画像データ、３Ｄ形状、ビデオデータ、メディアデータ、オーディオデータ、テキストデータ、触感データ、時間データ、３Ｄエンティティ、３Ｄ動的オブジェクト、テキストデータ、時間データ、優先度データ、セキュリティデータ、位置データ、照明データ、深度データ、赤外線データ、及び対応するメタデータのいずれかを含んでもよい。

【0049】

一部の実施形態では、クライアントデバイス１２０は、特に、モバイルデバイス、パーソナルコンピュータ、ラップトップ、ゲームコンソール、メディアセンタ、スマートコンタクトレンズ、及びヘッドマウントディスプレイのうちの１つ又は複数でもよい。カメラ１４６／１３８は、特に、２Ｄ若しくは３Ｄカメラ、３６０度カメラ、ウェブカメラ、ＲＧＢＤカメラ、ＣＣＴＶカメラ、プロフェッショナルカメラ、携帯電話のカメラ、深度カメラ（例えば、ＬＩＤＡＲ）、又はライトフィールドカメラのうちの１つ又は複数でもよい。

【0050】

一部の実施形態では、仮想環境１１０は、クライアント－サーバ側及びピアツーピア（Ｐ２Ｐ）側を含む、ハイブリッドシステムアーキテクチャを利用する。実施形態では、クライアント－サーバ側は、ウェブ又はアプリケーションサーバを備える。クライアント－サーバ側は、セキュア通信プロトコル、マイクロサービス、データベース管理システム、データベース、並びに／又は、分散型メッセージ及びリソース配信プラットフォームを含めるようにさらに構成されてもよい。サーバ側構成要素は、ネットワークを通じてサーバに通信するクライアントデバイスと共に提供されてもよい。クライアント－サーバ側は、クライアント側、サーバ側、又は受信クライアント側によって実施されるいずれかの処理を含む、ネットワークを通じた１つ又は複数のクライアントとサーバとの間の対話を定義する。実施形態では、対応するクライアント及びサーバのうちの１つ又は複数は、様々なルールベースのタスク割り当ての組合せによる、必要な画像及びメディア処理を実施する。実施形態では、ウェブ又はアプリケーションサーバは、セキュア通信プロトコルを用いてクライアントリクエストを受信し、データベース管理システムを使用してデータベースからのリクエストに対応するマイクロサービス又はデータをリクエストすることによってクライアントリクエストを処理するように構成される。マイクロサービスは、出版購読型モデルを使用した分散型メッセージ及びリソース配信プラットフォームを利用して配布される。

【0051】

Ｐ２Ｐ側は、仮想環境１１０におけるクライアントデバイス間のリアルタイム通信を可能にするＰ２Ｐ通信プロトコルと、仮想環境に含まれるライブセッション要素のリアルタイム３Ｄレンダリング（例えば、ユーザグラフィカル表現）をクライアントデバイスがレンダリングエンジンで実施することを可能にするように構成されたレンダリングエンジンとを備える。適切なＰ２Ｐ通信プロトコルの例は、ウェブリアルタイム通信（ＷｅｂＲＴＣ：Ｗｅｂ Ｒｅａｌ－Ｔｉｍｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）通信プロトコルでもよく、ＷｅｂＲＴＣ通信プロトコルは、Ｐ２Ｐオーディオ、ビデオ、及び、ピアクライアントデバイス間のデータ共有を組合せて可能にする、規格、プロトコル、及びＪａｖａＳｃｒｉｐｔ ＡＰＩのコレクションである。適切なレンダリングエンジンの例は、ＷｅｂＧＬに基づく３Ｄエンジンでもよく、ＷｅｂＧＬは、任意の互換ウェブブラウザ内で２Ｄ及び３ＤグラフィックスをレンダリングするためのＪａｖａＳｃｒｉｐｔ ＡＰＩであり、プラグインを使用せず、クライアントデバイスの１つ又は複数のプロセッサ（例えば、１つ又は複数のグラフィック処理ユニット（ＧＰＵ：ｇｒａｐｈｉｃ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ））による物理並びに画像処理及び効果の使用を加速させる。実施形態では、Ｐ２Ｐ側は、仮想環境でクライアントデバイスがリアルタイムコンピュータビジョンタスクを実施することを可能にするように構成されたコンピュータビジョンライブラリをさらに含む。適切なコンピュータビジョンライブラリの例は、ＯｐｅｎＣＶでもよく、ＯｐｅｎＣＶは、主にリアルタイムコンピュータビジョンタスク用に構成されたプログラミング機能のライブラリである。通信のこのようなハイブリッドモデルを使用すると、ユーザ間の迅速なＰ２Ｐ通信を可能にすることができ、ウェブサービス及びリソースを各セッションに提供しながらレイテンシ問題を低減させ、仮想環境におけるユーザ間の及びコンテンツとの、複数の対話を可能にする。

【0052】

一部の実施形態では、クライアントデバイス１２２と少なくとも１つのクラウドサーバコンピュータ１０２とは、有線又はワイヤレスネットワーク１１４を通じて接続する。一部の実施形態では、ネットワークは、第５世代ワイヤレスシステム通信（５Ｇ）など、ミリ波（ｍｍＷ：ｍｉｌｌｉｍｅｔｅｒ－ｗａｖｅ）、又は、ｍｍＷとサブ６ＧＨｚ通信システムとの組合せを含んでもよい。他の実施形態では、システムは、ワイヤレスローカルエリアネットワーキング（Ｗｉ－Ｆｉ）を通じて接続してもよい。他の実施形態では、システムは、第４世代ワイヤレスシステム通信（４Ｇ）を通じて通信接続してもよく、４Ｇ通信システムによってサポートされてもよく、又は、他の有線若しくはワイヤレス通信システムを含んでもよい。

【0053】

一部の実施形態では、少なくとも１つのサーバコンピュータ１０２は、マルチポイント制御ユニット（ＭＣＵ）トポロジ、又は選択的転送ユニット（ＳＦＵ）トポロジ、又はトラバーサルユージングリレーＮＡＴ（ＴＵＲＮ：Ｔｒａｖｅｒｓａｌ Ｕｓｉｎｇ Ｒｅｌａｙ ＮＡＴ）トポロジ、又は空間的に分析されたメディアサーバトポロジ（ＳＡＭＳ：ｓｐａｔｉａｌｌｙ ａｎａｌｙｚｅｄ ｍｅｄｉａ ｓｅｒｖｅｒ ｔｏｐｏｌｏｇｙ）を使用した、メディアサーバコンピュータである。

【0054】

一部の実施形態では、少なくともサーバコンピュータ１０２は、中間サーバでもよく、中間サーバは、クライアントデバイス間のデータの交換を容易及び／又は最適化するために使用されることを意図している。このような実施形態では、少なくとも１つのクラウドサーバは、到来画像及びマルチメディアストリームの管理、分析、処理、及び最適化を行い、ルータトポロジ（例えば、ＳＦＵ、ＳＡＭＳ、マルチメディアサーバルータ、又は画像及びメディア処理（例えば、復号、結合、改善、混合、強化、拡大、コンピューティング、操作、エンコードであるがこれらに限定されない）であるがこれらに限定されない）、並びに、転送サーバトポロジ（例えば、ＭＣＵ、クラウドメディアミキサ、クラウド３Ｄレンダラ、及び同様のものであるがこれらに限定されない）、又は他のサーバトポロジとして、アウトバウンドストリームの転送の管理、評価、最適化を行ってもよい。

【0055】

中間サーバがＳＡＭＳである実施形態では、このようなメディアサーバは、各発行クライアントデバイスの到来データ（例えば、メタデータ、優先度データ、データクラス、空間構造データ、３次元位置、向き、又は運動情報、画像、メディア、スケーラブルビデオコーデックベースのビデオを含むがこれらに限定されない）の管理、分析、及び処理を行い、このような分析において、そのような到来データに対する、１つ又は複数のユーザクライアントデバイスのための最適な帯域幅及びコンピューティングリソースの利用を達成する特定の受信クライアントデバイスユーザの空間的な３次元の向き、距離、及び優先度関係に基づいて、時間的に（変動フレームレート）、空間的に（例えば、異なる画像サイズ）、並びに、詳細レベル、品質（例えば、異なる圧縮又はエンコーディングベースの品質）、及び色（例えば、色解像度及び範囲）について、メディアの修正、アップスケール、又はダウンスケールを行うことによって、各クライアントデバイスへのアウトバウンドデータストリームの転送を最適化する。

【0056】

図２は、実施形態による、本開示の少なくとも１つのサーバコンピュータ２０２がユーザライブストリームの数に応じて利用し得る、サンプルサーバアーキテクチャオプション２００の概略図である。

【0057】

仮想環境内の対話を可能にするために通信チャネルを開通させると、図１のシステム１００を参照しながら開示されたように、サーバコンピュータ２０２は、送信クライアントデバイスからのライブストリームを提示するために、ＳＦＵアーキテクチャとＭＣＵアーキテクチャとの間で選択してもよい。このようなライブストリームは、ユーザのユーザグラフィカル表現の形で提示されてもよく、ユーザグラフィカル表現は、送信クライアントデバイスによってキャプチャされたこれらのユーザのビデオから生成されてもよい。２０４の、クライアントデバイスからのライブストリームの特定の閾値未満の例示的シナリオでは、仮想環境ストリーミングアプリケーションはＳＦＵアーキテクチャ２０６を用いて、最小の１つの中央サーバコンピュータ２０２から受信クライアントデバイスに個々のライブストリームを転送し、同じ少なくとも１つの中央サーバコンピュータ２０２を介して他の全ての参加者からの、送信クライアントデバイスによってキャプチャされたストリームを受信する。ＳＦＵアーキテクチャ２０６は、少なくとも１つのサーバコンピュータ２０２のメモリに格納されたプログラムに組み込まれたロジックを利用して、どのメディアストリームを受信クライアントデバイスの他のユーザに転送するかを決める。したがって、ＳＦＵアーキテクチャ２０６は、少なくとも１つの中央サーバコンピュータ２０２が、送信クライアントデバイスの全てのユーザからの全ての個々のメディアストリームを受信し、受信クライアントデバイスに転送することを可能にするので、このようなアーキテクチャは、送信クライアントデバイスのユーザからの、例えば、５、２０、又は他のいくつかの閾値数を下回るライブストリームなど、特定の閾値未満のライブストリームを本開示の実施形態で使用することに適していることがある。

【0058】

２０８の、ライブストリームの閾値を上回る場合、仮想環境内での対話を可能にするために通信チャネルを開通させる際、仮想環境ストリーミングアプリケーションはＭＣＵアーキテクチャを用いて、結合されたライブストリームを受信クライアントデバイスに転送する。ＭＣＵアーキテクチャは、各ユーザが自分のストリームを、送信クライアントデバイスから少なくとも１つのサーバコンピュータ２０２に送り、サーバコンピュータ２０２が、ストリームをデコードし、ストリームをリスケールし、全ての受信されたストリームから新しいストリームを組み立て、新しいストリームをエンコードし、単一のストリームを受信クライアントデバイスの他の全ての参加者に送ることを想定している。したがって、ＭＣＵは、結合されたメディアストリームを受信クライアントデバイスの全ての参加者に送る前に、送信クライアントデバイスから受信された全てのストリームを結合し、これは、送信クライアントデバイスのユーザからの、例えば、５、２０、又は他のいくつかの閾値数を上回るライブストリームなど、特定の閾値を上回るライブストリームに、より効率的且つ適切であることがある。

【0059】

図３は、実施形態による、プロフィールデータを利用することによる仮想環境生成プロセス３００の概略図である。

【0060】

図３では、ホスト３０２は、仮想環境３０６を作成するために、クライアントデバイスを通じて、仮想環境ストリーミングアプリケーション３０４のグラフィカルユーザインターフェースを使用する。仮想環境ストリーミングアプリケーション３０４は、ダウンロード可能アプリケーションでもよく、又は、どのようなソフトウェアプログラムもダウンロードする必要がなくブラウザからオンラインで利用可能でもよい。仮想環境ストリーミングアプリケーション３０４が、仮想環境３０６を作成するためのユーザコマンドを受信することに応答して、仮想環境ストリーミングアプリケーション３０２は、ソーシャルメディアデータベース３１０などのデータベースからユーザ設定データを、ネットワーク３０８を通じて取り出し、ユーザ設定データを使用して、ユーザに適したスタイルを有する仮想環境３０６を生成する。仮想環境ストリーミングアプリケーション３０４は、取り出されたユーザ設定データから、仮想環境３０６を生成するために使用可能な、色、形状、装飾関連情報、及び同様のものなどの、スタイル関連データを抽出する。

【0061】

他の実施形態では、ホスト３０２のプロフィールは、対応するホストクライアントデバイスを通じてホスト３０２によって手動で入力される。プロフィールを手動で入力することは、仮想環境ストリーミングアプリケーション３０４によって可能にされる特徴でもよい。このようなプロフィールは、仮想環境ストリーミングアプリケーション３０４によって使用され、したがって仮想環境３０６を作成することができる、スタイル関連情報をリクエストしてもよい。例えば、プロフィールは、好きな色、建築様式、場所、背景、表面積などを追加することをリクエストしてもよい。プロフィールは、仮想環境の容量及びサイズを計算するために、ユーザ数を要求するようなデータをさらにリクエストしてもよい。仮想環境ストリーミングアプリケーション３０４は、取り出されたプロフィールデータに基づいて、予め定められたテンプレートを使用して仮想環境を作成してもよく、又は、機械学習及び人工知能を通じたより複雑なアルゴリズムを使用して、ユーザのために具体的に作成された抽出データから新しい一意の仮想環境を生成してもよい。

【0062】

仮想環境３０６が作成されると、仮想環境３０６はその後、ネットワーク３０８を介して仮想環境ストリーミングアプリケーション３０４を通じてライブイベント放送３１２を取り出してもよく、ライブイベント放送３１２はその後、仮想環境の少なくとも１つの面にライブイベントをインスタンス化し投影することによって、仮想環境３０６を通じてストリーミングされる。

【0063】

図４は、実施形態による、仮想環境内の第三者メディア発行プロセス４００の概略図である。

【0064】

第三者メディア発行プロセス４００は、１つ又は複数のブランドを代表する会社などの第三者からのリクエストに応じて、ネットワーク４０６を通じて、対応する第三者データベース４０４からメディアコンテンツを取り出すことによって、仮想環境ストリーミングアプリケーション４０２によって実施される。このようなリクエストは、仮想環境の１人又は複数のホスト４０８によって承認される必要があってもよい。スポンサ付きのメディアは、次いで、ネットワーク４１２を介して仮想環境ストリーミングアプリケーション４０２を通じてライブイベント放送４１４を取り出す、作成済みの仮想環境４１０で発行されてもよい。スポンサ付きのメディアは、対応するブランドを出席者に宣伝するために仮想環境の少なくとも１つの面にインスタンス化され投影可能な、静的又は動的なメディアデータでもよい。例えば、スポンサ付きのメディアは、１つ又は複数の掲示板、パネル、壁、柱、テーブル、及び同様のものにおいて発行されてもよい。したがって、仮想環境４１０は、ライブイベント放送セッション中に会社が自身を宣伝するための発行チャネルとして機能してもよい。

【0065】

図５は、実施形態による、仮想環境でライブ放送セッションを可能にする方法５００を示す。仮想環境でライブ放送セッションを提供するための方法５００は、少なくとも１つのサーバコンピュータのメモリ内の命令を実施する少なくとも１つのプロセッサを使用して、図１のシステム１００などのシステムによって実行されてもよく、命令は、仮想環境ストリーミングアプリケーションを含む。

【0066】

方法５００は、ステップ５０２において、ネットワークを介して少なくとも１つのサーバコンピュータに接続されたホストクライアントデバイスからの仮想環境作成命令に基づいて仮想環境を作成することによって始めてもよい。次いで、ステップ５０４において、方法５００は、仮想環境を通じて放送されるイベントに仮想環境を接続することによって続いてもよい。このようなイベントは、少なくとも１台のカメラを通じてリアルタイムに放送される現実又はデジタルのライブイベントでもよい。しかし、他の実施形態では、仮想環境ストリーミングアプリケーションは、事前に記録されたイベントのライブ放送セッションをホストすることも可能にする。

【0067】

ステップ５０６において、方法は、イベント放送を含む仮想環境から放送されるライブ放送セッションをセットアップすることによって続いてもよい。ステップ５０８において、方法５００は、少なくとも１つの招待客クライアントデバイスに招待を送ることによって続いてもよく、招待は、少なくとも１人の招待客のために指定された仮想環境の３Ｄ座標を含む。このような招待は、ホストクライアントデバイス、又は代替として、他の招待ユーザのクライアントデバイスなどの、招待するクライアントデバイスから受信されたリクエストから送られてもよい。招待は、仮想環境ストリーミングアプリケーションが少なくとも１人のホストからの招待生成を受信することに応答して、送られてもよい。さらに、招待は、ｅメール、ＳＭＳ、ソーシャルメディアアプリケーション、メッセージングアプリケーション、及び同様のものなど、任意の適切なチャネルを通じて送られてもよく、名前、場所、ｅメールアドレス、電話番号など、招待客の特定に役立ち得るユーザ情報を有してもよい。

【0068】

少なくとも１人の招待客が招待を承諾すると、方法は、ステップ５１０において、仮想環境に対する少なくとも１人の招待客へのアクセスを可能にする通信チャネルを開通させることによって続いてもよい。一部の実施形態では、招待客クライアントデバイスが、仮想環境の指定された３Ｄ座標に配置されたユーザグラフィカル表現を通じて仮想環境にアクセスする。最後に、ステップ５１２において、方法は、少なくとも１つの招待客クライアントデバイスにライブ放送セッションをストリーミングすることによって終わってもよい。

【0069】

特定の実施形態が説明され、添付の図面に示されてきたが、このような実施形態は、広範な発明の例示にすぎず、広範な発明に対して制限的なものではないこと、及び本発明は、様々な他の修正が当業者には想到し得るので、示され説明された特定の構造及び配置に限定されないことを理解されたい。したがって、説明は限定ではなく、例示であると考えられるべきである。

【符号の説明】

【0070】

１００ システム
１０２ サーバコンピュータ、サーバ、クラウドサーバコンピュータ
１０４ プロセッサ
１０６ メモリ
１０８ 仮想環境ストリーミングアプリケーション、仮想環境放送アプリケーション
１１０ 仮想環境
１１４ ネットワーク
１１６ イベント、ライブイベント
１１８ ライブイベント放送
１２０ 招待客クライアントデバイス、クライアントデバイス
１２２ ホストクライアントデバイス、クライアントデバイス
１２４ 招待客
１２６ 招待客のユーザグラフィカル表現、ユーザグラフィカル表現
１２８ ホスト
１３０ 限定的な招待客、限定的なゲスト
１３２ ホストユーザグラフィカル表現
１３４ 残りの聴衆
１３６ 記号的ユーザグラフィカル表現
１３８ カメラ
１４６ カメラ
２００ サンプルサーバアーキテクチャオプション
２０２ サーバコンピュータ、サーバ
２０４ クライアントデバイスからのライブストリームの閾値未満
２０６ ＳＦＵアーキテクチャ
２０８ ライブストリームの閾値を上回る
２１０ ＭＣＵアーキテクチャ
３００ 仮想環境生成プロセス
３０２ ホスト
３０４ 仮想環境ストリーミングアプリケーション
３０６ 仮想環境
３０８ ネットワーク
３１０ ソーシャルメディアデータベース
３１２ ライブイベント放送
４００ 第三者メディア発行プロセス
４０２ 仮想環境ストリーミングアプリケーション
４０４ 第三者データベース
４０６ ネットワーク
４０８ ホスト
４１２ ネットワーク
４１０ 仮想環境
４１４ ライブイベント放送
５００ 方法

【図1】

【図2】

【図3】

【図4】

【図5】

【外国語明細書】