特開2023-139110操縦可能なアバターを有するウェブベースのテレビ会議仮想環境及びその適用
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023139110
(43)【公開日】2023-10-03
(54)【発明の名称】操縦可能なアバターを有するウェブベースのテレビ会議仮想環境及びその適用
(51)【国際特許分類】
H04N 7/15 20060101AFI20230926BHJP
H04N 21/2343 20110101ALI20230926BHJP
H04L 67/131 20220101ALI20230926BHJP
【ＦＩ】
H04N7/15 170
H04N21/2343
H04L67/131
【審査請求】有
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023117467
(22)【出願日】2023-07-19
(62)【分割の表示】P 2022562717の分割
【原出願日】2021-10-20
(31)【優先権主張番号】17/075,338
(32)【優先日】2020-10-20
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/075,362
(32)【優先日】2020-10-20
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/075,390
(32)【優先日】2020-10-20
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/075,408
(32)【優先日】2020-10-20
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/075,428
(32)【優先日】2020-10-20
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/075,454
(32)【優先日】2020-10-20
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/198,323
(32)【優先日】2021-03-11
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡＳＣＲＩＰＴ
(71)【出願人】
【識別番号】522401866
【氏名又は名称】カトマイ テック インコーポレイテッド
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】クロール，ジェラルド コーネリス
(72)【発明者】
【氏名】ブラウンド，エリック スチュアート
(57)【要約】
【課題】ビデオアバター（１０２Ａ、１０２Ｂ）が仮想環境内でナビゲートできるようにする。
【解決手段】システムは、プレゼンテーションストリームを仮想環境内に配置されたプレゼンター画面（１０４Ａ、１０４Ｂ）にテクスチャマッピングできるようにするプレゼンモードを有する。相対的な左右の音声は、仮想空間におけるアバターの位置の感覚を提供するように調整される。音声は、アバターが配置されているエリア及び仮想カメラが配置されているエリアに基づいて更に調整される。ビデオストリームの品質は、仮想空間における相対位置に基づいて調整される。三次元モデリングが仮想テレビ会議環境内部で利用可能である。
【選択図】図１
【解決手段】システムは、プレゼンテーションストリームを仮想環境内に配置されたプレゼンター画面（１０４Ａ、１０４Ｂ）にテクスチャマッピングできるようにするプレゼンモードを有する。相対的な左右の音声は、仮想空間におけるアバターの位置の感覚を提供するように調整される。音声は、アバターが配置されているエリア及び仮想カメラが配置されているエリアに基づいて更に調整される。ビデオストリームの品質は、仮想空間における相対位置に基づいて調整される。三次元モデリングが仮想テレビ会議環境内部で利用可能である。
【選択図】図１
【特許請求の範囲】
【請求項1】
第１のユーザと第２のユーザとの間でテレビ会議を可能にするシステムであって、
メモリに結合されたプロセッサと、
ディスプレイ画面と、
ネットワークインターフェースであって、（ｉ）三次元仮想空間を指定するデータ、（ｉｉ）前記三次元仮想空間における位置及び方向であって、前記第１のユーザによって入力される前記位置及び方向、並びに前記第１のユーザのデバイスのカメラから捕捉されるビデオストリームであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、ビデオストリームを受信するように構成されたネットワークインターフェースと、
前記プロセッサで実施されるウェブブラウザであって、ウェブアプリケーションをサーバからダウンロードし、前記ウェブアプリケーションを実行するように構成されるウェブブラウザと、
を備え、
前記ウェブアプリケーションは、
前記ビデオストリームをアバターの三次元モデルにテクスチャマッピングするように構成されたテクスチャマッパと、
レンダラーと、
を含み、
前記レンダラーは、
（ｉ）前記第２のユーザの仮想カメラの視点から、前記第２のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
（ｉｉ）前記仮想カメラの前記視点を変更する望みを示す前記第２のユーザからの入力が受信される場合、前記第２のユーザの前記仮想カメラの前記視点を変更することと、
（ｉｉｉ）前記仮想カメラの前記変更された視点から、前記第２のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間を再レンダリングすることと、
を行うように構成される、システム。
メモリに結合されたプロセッサと、
ディスプレイ画面と、
ネットワークインターフェースであって、（ｉ）三次元仮想空間を指定するデータ、（ｉｉ）前記三次元仮想空間における位置及び方向であって、前記第１のユーザによって入力される前記位置及び方向、並びに前記第１のユーザのデバイスのカメラから捕捉されるビデオストリームであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、ビデオストリームを受信するように構成されたネットワークインターフェースと、
前記プロセッサで実施されるウェブブラウザであって、ウェブアプリケーションをサーバからダウンロードし、前記ウェブアプリケーションを実行するように構成されるウェブブラウザと、
を備え、
前記ウェブアプリケーションは、
前記ビデオストリームをアバターの三次元モデルにテクスチャマッピングするように構成されたテクスチャマッパと、
レンダラーと、
を含み、
前記レンダラーは、
（ｉ）前記第２のユーザの仮想カメラの視点から、前記第２のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
（ｉｉ）前記仮想カメラの前記視点を変更する望みを示す前記第２のユーザからの入力が受信される場合、前記第２のユーザの前記仮想カメラの前記視点を変更することと、
（ｉｉｉ）前記仮想カメラの前記変更された視点から、前記第２のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間を再レンダリングすることと、
を行うように構成される、システム。
【請求項2】
前記デバイスはグラフィックス処理ユニットを更に含み、前記テクスチャマッパ及び前記レンダラーは、前記ウェブアプリケーションが前記グラフィックス処理ユニットを使用してテクスチャマッピング又はレンダリングできるようにするＷｅｂＧＬアプリケーション呼び出しを含む、請求項１に記載のシステム。
【請求項3】
第１のユーザと第２のユーザとの間でテレビ会議を可能にするコンピュータ実施方法であって、
前記第１のユーザの第１のクライアントデバイス及び前記第２のユーザの第２のクライアントデバイスにウェブアプリケーションを送信することと、
前記ウェブアプリケーションを実行中の前記第１のクライアントデバイスから、（ｉ）三次元仮想空間における位置及び方向であって、前記第１のユーザによって入力される位置及び方向、並びに（ｉｉ）前記第１のクライアントデバイスのカメラから捕捉されたビデオストリームであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、ビデオストリームを受信することと、
前記第２のユーザの前記第２のクライアントデバイスに、前記位置、前記方向、及び前記ビデオストリームを送信することであって、前記ウェブアプリケーションは実行可能命令を含む、送信することと、
を含み、
前記実行可能命令は、ウェブブラウザで実行されると、前記第２のクライアントデバイスに、
（ｉ）前記第２のユーザの仮想カメラの視点から、前記ビデオストリームをアバターの三次元モデルにテクスチャマッピングすることと、
（ｉｉ）前記第２のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
（ｉｉ）前記仮想カメラの視点を変更する望みを示す前記第２のユーザからの入力が受信される場合、前記第２のユーザの前記仮想カメラの前記視点を変更することと、
（ｉｉｉ）前記仮想カメラの前記変更された視点から、前記第２のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間を再レンダリングすることと、
を行わせる、方法。
前記第１のユーザの第１のクライアントデバイス及び前記第２のユーザの第２のクライアントデバイスにウェブアプリケーションを送信することと、
前記ウェブアプリケーションを実行中の前記第１のクライアントデバイスから、（ｉ）三次元仮想空間における位置及び方向であって、前記第１のユーザによって入力される位置及び方向、並びに（ｉｉ）前記第１のクライアントデバイスのカメラから捕捉されたビデオストリームであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、ビデオストリームを受信することと、
前記第２のユーザの前記第２のクライアントデバイスに、前記位置、前記方向、及び前記ビデオストリームを送信することであって、前記ウェブアプリケーションは実行可能命令を含む、送信することと、
を含み、
前記実行可能命令は、ウェブブラウザで実行されると、前記第２のクライアントデバイスに、
（ｉ）前記第２のユーザの仮想カメラの視点から、前記ビデオストリームをアバターの三次元モデルにテクスチャマッピングすることと、
（ｉｉ）前記第２のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
（ｉｉ）前記仮想カメラの視点を変更する望みを示す前記第２のユーザからの入力が受信される場合、前記第２のユーザの前記仮想カメラの前記視点を変更することと、
（ｉｉｉ）前記仮想カメラの前記変更された視点から、前記第２のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間を再レンダリングすることと、
を行わせる、方法。
【請求項4】
前記ウェブアプリケーションは、前記ウェブアプリケーションが前記第２のクライアントデバイスのグラフィックス処理ユニットを使用してテクスチャマッピング又はレンダリングできるようにするＷｅｂＧＬアプリケーション呼び出しを含む、請求項３に記載の方法。
【請求項5】
第１のユーザと第２のユーザとの間でテレビ会議を可能にするコンピュータ実施方法であって、
三次元仮想空間を指定するデータを受信することと、
前記三次元仮想空間における位置及び方向を受信することであって、前記位置及び前記方向は前記第１のユーザによって入力される、受信することと、
前記第１のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、受信することと、
ウェブブラウザで実施されるウェブアプリケーションにより、前記ビデオストリームをアバターの三次元モデルにテクスチャマッピングすることと、
前記第２のユーザの仮想カメラの視点から、前記ウェブブラウザで実施される前記ウェブアプリケーションにより、前記第２のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
前記仮想カメラの前記視点を変更する望みを示す前記第２のユーザからの入力が受信される場合、
前記第２のユーザの前記仮想カメラの前記視点を変更することと、
前記仮想カメラの前記変更された視点から、前記第２のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間を再レンダリングすることと、
を含む、方法。
三次元仮想空間を指定するデータを受信することと、
前記三次元仮想空間における位置及び方向を受信することであって、前記位置及び前記方向は前記第１のユーザによって入力される、受信することと、
前記第１のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、受信することと、
ウェブブラウザで実施されるウェブアプリケーションにより、前記ビデオストリームをアバターの三次元モデルにテクスチャマッピングすることと、
前記第２のユーザの仮想カメラの視点から、前記ウェブブラウザで実施される前記ウェブアプリケーションにより、前記第２のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
前記仮想カメラの前記視点を変更する望みを示す前記第２のユーザからの入力が受信される場合、
前記第２のユーザの前記仮想カメラの前記視点を変更することと、
前記仮想カメラの前記変更された視点から、前記第２のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間を再レンダリングすることと、
を含む、方法。
【請求項6】
前記第１のユーザの前記デバイスのマイクロホンから、前記ビデオストリームと同期して捕捉されたオーディオストリームを受信することであって、前記マイクロホンは前記第１のユーザの発話を捕捉するように位置決めされる、受信することと、
前記オーディオストリームを出力して、前記三次元仮想空間内の前記ビデオストリームの表示と同期して前記第２のユーザに対して再生することと、
を更に含む、請求項５に記載の方法。
前記オーディオストリームを出力して、前記三次元仮想空間内の前記ビデオストリームの表示と同期して前記第２のユーザに対して再生することと、
を更に含む、請求項５に記載の方法。
【請求項7】
前記仮想カメラの前記視点は、少なくとも、前記三次元仮想空間における水平面上の座標並びにパン値及びチルト値によって定義される、請求項５に記載の方法。
【請求項8】
前記三次元仮想空間における前記第１のユーザの新しい位置及び方向が受信される場合、
前記第２のユーザに表示するために、前記新しい位置に配置され、前記新しい方向を向いた前記アバターのテクスチャマッピングされた三次元モデルを含む前記三次元仮想空間を再レンダリングすることを更に含む、請求項５に記載の方法。
前記第２のユーザに表示するために、前記新しい位置に配置され、前記新しい方向を向いた前記アバターのテクスチャマッピングされた三次元モデルを含む前記三次元仮想空間を再レンダリングすることを更に含む、請求項５に記載の方法。
【請求項9】
前記テクスチャマッピングは、前記ビデオストリームの各フレームについて、ピクセルを前記アバターの前記三次元モデルに繰り返しマッピングすることを含む、請求項５に記載の方法。
【請求項10】
前記データ、前記位置及び前記方向、並びに前記ビデオストリームは、サーバからウェブブラウザにおいて受信され、前記テクスチャマッピング及びレンダリングは前記ウェブブラウザによって実行される、請求項５に記載の方法。
【請求項11】
前記サーバから、前記第１のユーザがもはや存在しないことを示す通知を受信することと、
前記第２のユーザに対して前記ウェブブラウザで表示するために、前記アバターの前記テクスチャマッピングされた三次元モデルのない前記三次元仮想空間を再レンダリングすることと、
を更に含む、請求項１０に記載の方法。
前記第２のユーザに対して前記ウェブブラウザで表示するために、前記アバターの前記テクスチャマッピングされた三次元モデルのない前記三次元仮想空間を再レンダリングすることと、
を更に含む、請求項１０に記載の方法。
【請求項12】
前記サーバから、第３のユーザが前記三次元仮想空間に入ったことを示す通知を受信することと、
前記三次元仮想空間における前記第３のユーザの第２の位置及び第２の方向を受信することと、
前記第３のユーザのデバイスのカメラから捕捉された第２のビデオストリームを受信することであって、前記カメラは前記第３のユーザの写真画像を捕捉するように位置決めされる、受信することと、
前記第２のビデオストリームを第２のアバターの第２の三次元モデルにテクスチャマッピングすることと、
前記第２のユーザの前記仮想カメラの前記視点から、前記第２のユーザに表示するために、前記第２の位置に位置決めされ前記第２の方向を向いた前記第２のテクスチャマッピングされた三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
を更に含む、請求項１１に記載の方法。
前記三次元仮想空間における前記第３のユーザの第２の位置及び第２の方向を受信することと、
前記第３のユーザのデバイスのカメラから捕捉された第２のビデオストリームを受信することであって、前記カメラは前記第３のユーザの写真画像を捕捉するように位置決めされる、受信することと、
前記第２のビデオストリームを第２のアバターの第２の三次元モデルにテクスチャマッピングすることと、
前記第２のユーザの前記仮想カメラの前記視点から、前記第２のユーザに表示するために、前記第２の位置に位置決めされ前記第２の方向を向いた前記第２のテクスチャマッピングされた三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
を更に含む、請求項１１に記載の方法。
【請求項13】
前記三次元仮想空間を指定するデータを受信することは、会議空間を指定するメッシュを受信することと、背景画像を受信することとを含み、前記レンダリングすることは、前記背景を球体にテクスチャマッピングすることを含む、請求項５に記載の方法。
【請求項14】
命令を記憶した非一時的有形コンピュータ可読デバイスであって、前記命令は、少なくとも１つの計算デバイスによって実行されると、前記少なくとも１つの計算デバイスに、第１のユーザと第２のユーザとの間でテレビ会議を可能にする動作を実行させ、前記動作は、
三次元仮想空間を指定するデータを受信することと、
前記三次元仮想空間における位置及び方向を受信することであって、前記位置及び前記方向は前記第１のユーザによって入力される、受信することと、
前記第１のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、受信することと、
前記ビデオストリームをアバターの三次元モデルにテクスチャマッピングすることと、
前記第２のユーザの仮想カメラの視点から、前記第２のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
前記仮想カメラの前記視点を変更する望みを示す前記第２のユーザからの入力が受信される場合、
前記第２のユーザの前記仮想カメラの前記視点を変更することと、
前記仮想カメラの前記変更された視点から、前記第２のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間を再レンダリングすることと、
を含み、
前記データ、前記位置及び前記方向、並びに前記ビデオストリームは、サーバからウェブブラウザにおいて受信され、前記テクスチャマッピング及びレンダリングは前記ウェブブラウザによって実行される、デバイス。
三次元仮想空間を指定するデータを受信することと、
前記三次元仮想空間における位置及び方向を受信することであって、前記位置及び前記方向は前記第１のユーザによって入力される、受信することと、
前記第１のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、受信することと、
前記ビデオストリームをアバターの三次元モデルにテクスチャマッピングすることと、
前記第２のユーザの仮想カメラの視点から、前記第２のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
前記仮想カメラの前記視点を変更する望みを示す前記第２のユーザからの入力が受信される場合、
前記第２のユーザの前記仮想カメラの前記視点を変更することと、
前記仮想カメラの前記変更された視点から、前記第２のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間を再レンダリングすることと、
を含み、
前記データ、前記位置及び前記方向、並びに前記ビデオストリームは、サーバからウェブブラウザにおいて受信され、前記テクスチャマッピング及びレンダリングは前記ウェブブラウザによって実行される、デバイス。
【請求項15】
前記動作は、
前記第１のユーザの前記デバイスのマイクロホンから、前記ビデオストリームと同期して捕捉されたオーディオストリームを受信することであって、前記マイクロホンは前記第１のユーザの発話を捕捉するように位置決めされる、受信することと、
前記オーディオストリームを出力して、前記三次元仮想空間内の前記ビデオストリームの表示と同期して前記第２のユーザに対して再生することと、
を更に含む、請求項１４に記載のデバイス。
前記第１のユーザの前記デバイスのマイクロホンから、前記ビデオストリームと同期して捕捉されたオーディオストリームを受信することであって、前記マイクロホンは前記第１のユーザの発話を捕捉するように位置決めされる、受信することと、
前記オーディオストリームを出力して、前記三次元仮想空間内の前記ビデオストリームの表示と同期して前記第２のユーザに対して再生することと、
を更に含む、請求項１４に記載のデバイス。
【請求項16】
前記仮想カメラの前記視点は、少なくとも、前記三次元仮想空間における水平面上の座標並びにパン値及びチルト値によって定義される、請求項１４に記載のデバイス。
【請求項17】
前記動作は、前記三次元仮想空間における前記第１のユーザの新しい位置及び方向が受信される場合、
前記第２のユーザに表示するために、前記新しい位置に配置され、前記新しい方向を向いた前記アバターのテクスチャマッピングされた三次元モデルを含む前記三次元仮想空間を再レンダリングすることを更に含む、請求項１４に記載のデバイス。
前記第２のユーザに表示するために、前記新しい位置に配置され、前記新しい方向を向いた前記アバターのテクスチャマッピングされた三次元モデルを含む前記三次元仮想空間を再レンダリングすることを更に含む、請求項１４に記載のデバイス。
【請求項18】
前記テクスチャマッピングは、前記ビデオストリームの各フレームについて、ピクセルを前記アバターの前記三次元モデルに繰り返しマッピングすることを含む、請求項１４に記載のデバイス。
【請求項19】
前記動作は、
前記サーバから、前記第１のユーザがもはや存在しないことを示す通知を受信することと、
前記第２のユーザに対して前記ウェブブラウザで表示するために、前記アバターの前記テクスチャマッピングされた三次元モデルのない前記三次元仮想空間を再レンダリングすることと、
を更に含む、請求項１４に記載のデバイス。
前記サーバから、前記第１のユーザがもはや存在しないことを示す通知を受信することと、
前記第２のユーザに対して前記ウェブブラウザで表示するために、前記アバターの前記テクスチャマッピングされた三次元モデルのない前記三次元仮想空間を再レンダリングすることと、
を更に含む、請求項１４に記載のデバイス。
【請求項20】
前記動作は、
前記サーバから、第３のユーザが前記三次元仮想空間に入ったことを示す通知を受信することと、
前記三次元仮想空間における前記第３のユーザの第２の位置及び第２の方向を受信することと、
前記第３のユーザのデバイスのカメラから捕捉された第２のビデオストリームを受信することであって、前記カメラは前記第３のユーザの写真画像を捕捉するように位置決めされる、受信することと、
前記第２のビデオストリームを第２のアバターの第２の三次元モデルにテクスチャマッピングすることと、
前記第２のユーザの前記仮想カメラの前記視点から、前記第２のユーザに表示するために、前記第２の位置に位置決めされ前記第２の方向を向いた前記第２のテクスチャマッピングされた三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
を更に含む、請求項１９に記載のデバイス。
前記サーバから、第３のユーザが前記三次元仮想空間に入ったことを示す通知を受信することと、
前記三次元仮想空間における前記第３のユーザの第２の位置及び第２の方向を受信することと、
前記第３のユーザのデバイスのカメラから捕捉された第２のビデオストリームを受信することであって、前記カメラは前記第３のユーザの写真画像を捕捉するように位置決めされる、受信することと、
前記第２のビデオストリームを第２のアバターの第２の三次元モデルにテクスチャマッピングすることと、
前記第２のユーザの前記仮想カメラの前記視点から、前記第２のユーザに表示するために、前記第２の位置に位置決めされ前記第２の方向を向いた前記第２のテクスチャマッピングされた三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
を更に含む、請求項１９に記載のデバイス。
【請求項21】
前記三次元仮想空間を指定するデータを受信することは、会議空間を指定するメッシュを受信することと、背景画像を受信することとを含み、前記レンダリングすることは、前記背景を球体にテクスチャマッピングすることを含む、請求項１４に記載のデバイス。
【請求項22】
第１のユーザと第２のユーザとの間でテレビ会議を可能にするコンピュータ実施方法であって、
三次元仮想空間を指定するデータを受信することと、
前記三次元仮想空間における位置及び方向を受信することであって、前記位置及び前記方向は前記第１のユーザによって入力される、受信することと、
前記第１のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、受信することと、
ウェブブラウザで実施されるウェブアプリケーションにより、前記ビデオストリームをアバターの三次元モデルにテクスチャマッピングすることと、
前記第２のユーザの仮想カメラの視点から、前記ウェブブラウザで実施される前記ウェブアプリケーションにより、前記第２のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
サーバから、前記第１のユーザがもはや存在しないことを示す通知を受信することと、
前記第２のユーザに対して前記ウェブブラウザに表示するために、前記アバターの前記テクスチャマッピングされた三次元モデルのない前記三次元仮想空間を再レンダリングすることと、
を含む、方法。
三次元仮想空間を指定するデータを受信することと、
前記三次元仮想空間における位置及び方向を受信することであって、前記位置及び前記方向は前記第１のユーザによって入力される、受信することと、
前記第１のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、受信することと、
ウェブブラウザで実施されるウェブアプリケーションにより、前記ビデオストリームをアバターの三次元モデルにテクスチャマッピングすることと、
前記第２のユーザの仮想カメラの視点から、前記ウェブブラウザで実施される前記ウェブアプリケーションにより、前記第２のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
サーバから、前記第１のユーザがもはや存在しないことを示す通知を受信することと、
前記第２のユーザに対して前記ウェブブラウザに表示するために、前記アバターの前記テクスチャマッピングされた三次元モデルのない前記三次元仮想空間を再レンダリングすることと、
を含む、方法。
【請求項23】
前記サーバから、第３のユーザが前記三次元仮想空間に入ったことを示す通知を受信することと、
前記三次元仮想空間における前記第３のユーザの第２の位置及び第２の方向を受信することと、
前記第３のユーザのデバイスのカメラから捕捉された第２のビデオストリームを受信することであって、前記カメラは前記第３のユーザの写真画像を捕捉するように位置決めされる、受信することと、
前記第２のビデオストリームを第２のアバターの第２の三次元モデルにテクスチャマッピングすることと、
前記第２のユーザの前記仮想カメラの前記視点から、前記第２のユーザに表示するために、前記第２の位置に位置決めされ前記第２の方向を向いた前記第２のテクスチャマッピングされた三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
を更に含む、請求項２２に記載の方法。
前記三次元仮想空間における前記第３のユーザの第２の位置及び第２の方向を受信することと、
前記第３のユーザのデバイスのカメラから捕捉された第２のビデオストリームを受信することであって、前記カメラは前記第３のユーザの写真画像を捕捉するように位置決めされる、受信することと、
前記第２のビデオストリームを第２のアバターの第２の三次元モデルにテクスチャマッピングすることと、
前記第２のユーザの前記仮想カメラの前記視点から、前記第２のユーザに表示するために、前記第２の位置に位置決めされ前記第２の方向を向いた前記第２のテクスチャマッピングされた三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
を更に含む、請求項２２に記載の方法。
【請求項24】
第１のユーザと第２のユーザとの間でテレビ会議を可能にするシステムであって、
メモリに結合されたプロセッサと、
ディスプレイ画面と、
ネットワークインターフェースであって、（ｉ）三次元仮想空間を指定するデータ、（ｉｉ）前記三次元仮想空間における位置及び方向であって、前記第１のユーザによって入力される前記位置及び方向、並びに前記第１のユーザのデバイスのカメラから捕捉されるビデオストリームであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、ビデオストリームを受信するように構成されたネットワークインターフェースと、
前記プロセッサで実施されるウェブブラウザであって、ウェブアプリケーションをサーバからダウンロードし、前記ウェブアプリケーションを実行するように構成されるウェブブラウザと、
を備え、
前記ウェブアプリケーションは、
前記ビデオストリームをアバターの三次元モデルにマッピングするように構成されたマッパと、
前記第２のユーザの仮想カメラの視点から、前記第２のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記三次元モデルを前記マッピングされたビデオストリームと共に含む前記三次元仮想空間をレンダリングするように構成されたレンダラーと、
を含む、システム。
メモリに結合されたプロセッサと、
ディスプレイ画面と、
ネットワークインターフェースであって、（ｉ）三次元仮想空間を指定するデータ、（ｉｉ）前記三次元仮想空間における位置及び方向であって、前記第１のユーザによって入力される前記位置及び方向、並びに前記第１のユーザのデバイスのカメラから捕捉されるビデオストリームであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、ビデオストリームを受信するように構成されたネットワークインターフェースと、
前記プロセッサで実施されるウェブブラウザであって、ウェブアプリケーションをサーバからダウンロードし、前記ウェブアプリケーションを実行するように構成されるウェブブラウザと、
を備え、
前記ウェブアプリケーションは、
前記ビデオストリームをアバターの三次元モデルにマッピングするように構成されたマッパと、
前記第２のユーザの仮想カメラの視点から、前記第２のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記三次元モデルを前記マッピングされたビデオストリームと共に含む前記三次元仮想空間をレンダリングするように構成されたレンダラーと、
を含む、システム。
【請求項25】
前記デバイスはグラフィックス処理ユニットを更に含み、前記マッパ及び前記レンダラーは、前記ウェブアプリケーションが前記グラフィックス処理ユニットを使用してマッピング又はレンダリングできるようにするＷｅｂＧＬアプリケーション呼び出しを含む、請求項２４に記載のシステム。
【請求項26】
第１のユーザと第２のユーザとの間でテレビ会議を可能にするコンピュータ実施方法であって、
前記第１のユーザの第１のクライアントデバイス及び前記第２のユーザの第２のクライアントデバイスにウェブアプリケーションを送信することと、
前記ウェブアプリケーションを実行中の前記第１のクライアントデバイスから、（ｉ）三次元仮想空間における位置及び方向であって、前記第１のユーザによって入力される位置及び方向、並びに（ｉｉ）前記第１のクライアントデバイスのカメラから捕捉されたビデオストリームであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、ビデオストリームを受信することと、
前記第２のユーザの前記第２のクライアントデバイスに、前記位置、前記方向、及び前記ビデオストリームを送信することであって、前記ウェブアプリケーションは実行可能命令を含む、送信することと、
を含み、
前記実行可能命令は、ウェブブラウザで実行されると、前記ビデオストリームをアバターの三次元モデルにマッピングし、第２のユーザに表示するために、前記第２のユーザの仮想カメラの視点から、前記ビデオストリームと共にマッピングされた、前記位置に配置され前記方向を向いた前記アバターの前記三次元モデルを含む前記三次元仮想空間をレンダリングする、方法。
前記第１のユーザの第１のクライアントデバイス及び前記第２のユーザの第２のクライアントデバイスにウェブアプリケーションを送信することと、
前記ウェブアプリケーションを実行中の前記第１のクライアントデバイスから、（ｉ）三次元仮想空間における位置及び方向であって、前記第１のユーザによって入力される位置及び方向、並びに（ｉｉ）前記第１のクライアントデバイスのカメラから捕捉されたビデオストリームであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、ビデオストリームを受信することと、
前記第２のユーザの前記第２のクライアントデバイスに、前記位置、前記方向、及び前記ビデオストリームを送信することであって、前記ウェブアプリケーションは実行可能命令を含む、送信することと、
を含み、
前記実行可能命令は、ウェブブラウザで実行されると、前記ビデオストリームをアバターの三次元モデルにマッピングし、第２のユーザに表示するために、前記第２のユーザの仮想カメラの視点から、前記ビデオストリームと共にマッピングされた、前記位置に配置され前記方向を向いた前記アバターの前記三次元モデルを含む前記三次元仮想空間をレンダリングする、方法。
【請求項27】
前記ウェブアプリケーションは、前記ウェブアプリケーションが前記第２のクライアントデバイスのグラフィックス処理ユニットを使用してマッピング又はレンダリングできるようにするＷｅｂＧＬアプリケーション呼び出しを含む、請求項２６に記載の方法。
【請求項28】
第１のユーザと第２のユーザとの間でテレビ会議を可能にするコンピュータ実施方法であって、
三次元仮想空間を指定するデータを受信することと、
前記三次元仮想空間における位置及び方向を受信することであって、前記位置及び前記方向は前記第１のユーザによって入力される、受信することと、
前記第１のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、受信することと、
ウェブブラウザで実施されるウェブアプリケーションにより、前記ビデオストリームをアバターの三次元モデルにマッピングすることと、
前記第２のユーザの仮想カメラの視点から、前記ウェブブラウザで実施される前記ウェブアプリケーションにより、前記第２のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
を含む、方法。
三次元仮想空間を指定するデータを受信することと、
前記三次元仮想空間における位置及び方向を受信することであって、前記位置及び前記方向は前記第１のユーザによって入力される、受信することと、
前記第１のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、受信することと、
ウェブブラウザで実施されるウェブアプリケーションにより、前記ビデオストリームをアバターの三次元モデルにマッピングすることと、
前記第２のユーザの仮想カメラの視点から、前記ウェブブラウザで実施される前記ウェブアプリケーションにより、前記第２のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
を含む、方法。
【請求項29】
前記第１のユーザの前記デバイスのマイクロホンから、前記ビデオストリームと同期して捕捉されたオーディオストリームを受信することであって、前記マイクロホンは前記第１のユーザの発話を捕捉するように位置決めされる、受信することと、
前記オーディオストリームを出力して、前記三次元仮想空間内の前記ビデオストリームの表示と同期して前記第２のユーザに対して再生することと、
を更に含む、請求項２８に記載の方法。
前記オーディオストリームを出力して、前記三次元仮想空間内の前記ビデオストリームの表示と同期して前記第２のユーザに対して再生することと、
を更に含む、請求項２８に記載の方法。
【請求項30】
前記仮想カメラの前記視点を変更する望みを示す前記第２のユーザからの入力が受信される場合、
前記第２のユーザの前記仮想カメラの前記視点を変更することと、
前記仮想カメラの前記変更された視点から、前記第２のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記三次元モデルを含む前記三次元仮想空間を再レンダリングすることと、
を更に含む、請求項２８に記載の方法。
前記第２のユーザの前記仮想カメラの前記視点を変更することと、
前記仮想カメラの前記変更された視点から、前記第２のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記三次元モデルを含む前記三次元仮想空間を再レンダリングすることと、
を更に含む、請求項２８に記載の方法。
【請求項31】
前記仮想カメラの前記視点は、少なくとも、前記三次元仮想空間における水平面上の座標並びにパン値及びチルト値によって定義される、請求項３０に記載の方法。
【請求項32】
前記三次元仮想空間における前記第１のユーザの新しい位置及び方向が受信される場合、
前記第２のユーザに表示するために、前記新しい位置に配置され、前記新しい方向を向いた前記アバターのテクスチャマッピングされた三次元モデルを含む前記三次元仮想空間を再レンダリングすることを更に含む、請求項２８に記載の方法。
前記第２のユーザに表示するために、前記新しい位置に配置され、前記新しい方向を向いた前記アバターのテクスチャマッピングされた三次元モデルを含む前記三次元仮想空間を再レンダリングすることを更に含む、請求項２８に記載の方法。
【請求項33】
前記マッピングは、前記ビデオストリームの各フレームについて、ピクセルを前記アバターの前記三次元モデルに繰り返しマッピングすることを含む、請求項２８に記載の方法。
【請求項34】
前記データ、前記位置及び前記方向、並びに前記ビデオストリームは、サーバからウェブブラウザにおいて受信され、前記マッピング及びレンダリングは前記ウェブブラウザによって実行される、請求項２８に記載の方法。
【請求項35】
前記サーバから、前記第１のユーザがもはや存在しないことを示す通知を受信することと、
前記第２のユーザに対して前記ウェブブラウザで表示するために、前記アバターの前記テクスチャマッピングされた三次元モデルのない前記三次元仮想空間を再レンダリングすることと、
を更に含む、請求項３４に記載の方法。
前記第２のユーザに対して前記ウェブブラウザで表示するために、前記アバターの前記テクスチャマッピングされた三次元モデルのない前記三次元仮想空間を再レンダリングすることと、
を更に含む、請求項３４に記載の方法。
【請求項36】
前記サーバから、第３のユーザが前記三次元仮想空間に入ったことを示す通知を受信することと、
前記三次元仮想空間における前記第３のユーザの第２の位置及び第２の方向を受信することと、
前記第３のユーザのデバイスのカメラから捕捉された第２のビデオストリームを受信することであって、前記カメラは前記第３のユーザの写真画像を捕捉するように位置決めされる、受信することと、
前記第２のビデオストリームを第２のアバターの第２の三次元モデルにマッピングすることと、
前記第２のユーザの前記仮想カメラの前記視点から、前記第２のユーザに表示するために、前記第２の位置に位置決めされ前記第２の方向を向いた前記第２の三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
を更に含む、請求項３５に記載の方法。
前記三次元仮想空間における前記第３のユーザの第２の位置及び第２の方向を受信することと、
前記第３のユーザのデバイスのカメラから捕捉された第２のビデオストリームを受信することであって、前記カメラは前記第３のユーザの写真画像を捕捉するように位置決めされる、受信することと、
前記第２のビデオストリームを第２のアバターの第２の三次元モデルにマッピングすることと、
前記第２のユーザの前記仮想カメラの前記視点から、前記第２のユーザに表示するために、前記第２の位置に位置決めされ前記第２の方向を向いた前記第２の三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
を更に含む、請求項３５に記載の方法。
【請求項37】
前記三次元仮想空間を指定するデータを受信することは、会議空間を指定するメッシュを受信することと、背景画像を受信することとを含み、前記レンダリングすることは、前記背景を球体にマッピングすることを含む、請求項２８に記載の方法。
【請求項38】
命令を記憶した非一時的有形コンピュータ可読デバイスであって、前記命令は、少なくとも１つの計算デバイスによって実行されると、前記少なくとも１つの計算デバイスに、第１のユーザと第２のユーザとの間でテレビ会議を可能にする動作を実行させ、前記動作は、
三次元仮想空間を指定するデータを受信することと、
前記三次元仮想空間における位置及び方向を受信することであって、前記位置及び前記方向は前記第１のユーザによって入力される、受信することと、
前記第１のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、受信することと、
前記ビデオストリームをアバターの三次元モデルにマッピングすることと、
前記第２のユーザの仮想カメラの視点から、前記第２のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
を含む、デバイス。
三次元仮想空間を指定するデータを受信することと、
前記三次元仮想空間における位置及び方向を受信することであって、前記位置及び前記方向は前記第１のユーザによって入力される、受信することと、
前記第１のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、受信することと、
前記ビデオストリームをアバターの三次元モデルにマッピングすることと、
前記第２のユーザの仮想カメラの視点から、前記第２のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
を含む、デバイス。
【請求項39】
前記動作は、
前記第１のユーザの前記デバイスのマイクロホンから、前記ビデオストリームと同期して捕捉されたオーディオストリームを受信することであって、前記マイクロホンは前記第１のユーザの発話を捕捉するように位置決めされる、受信することと、
前記オーディオストリームを出力して、前記三次元仮想空間内の前記ビデオストリームの表示と同期して前記第２のユーザに対して再生することと、
を更に含む、請求項３８に記載のデバイス。
前記第１のユーザの前記デバイスのマイクロホンから、前記ビデオストリームと同期して捕捉されたオーディオストリームを受信することであって、前記マイクロホンは前記第１のユーザの発話を捕捉するように位置決めされる、受信することと、
前記オーディオストリームを出力して、前記三次元仮想空間内の前記ビデオストリームの表示と同期して前記第２のユーザに対して再生することと、
を更に含む、請求項３８に記載のデバイス。
【請求項40】
前記動作は、前記仮想カメラの前記視点を変更する望みを示す前記第２のユーザからの入力が受信される場合、
前記第２のユーザの前記仮想カメラの前記視点を変更することと、
前記仮想カメラの前記変更された視点から、前記第２のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記三次元モデルを含む前記三次元仮想空間を再レンダリングすることと、
を更に含む、請求項３８に記載のデバイス。
前記第２のユーザの前記仮想カメラの前記視点を変更することと、
前記仮想カメラの前記変更された視点から、前記第２のユーザに表示するために、前記位置に配置され、前記方向を向いた前記アバターの前記三次元モデルを含む前記三次元仮想空間を再レンダリングすることと、
を更に含む、請求項３８に記載のデバイス。
【請求項41】
前記仮想カメラの前記視点は、少なくとも、前記三次元仮想空間における水平面上の座標並びにパン値及びチルト値によって定義される、請求項４０に記載のデバイス。
【請求項42】
前記動作は、前記三次元仮想空間における前記第１のユーザの新しい位置及び方向が受信される場合、
前記第２のユーザに表示するために、前記新しい位置に配置され、前記新しい方向を向いた前記アバターの三次元モデルを含む前記三次元仮想空間を再レンダリングすることを更に含む、請求項３８に記載のデバイス。
前記第２のユーザに表示するために、前記新しい位置に配置され、前記新しい方向を向いた前記アバターの三次元モデルを含む前記三次元仮想空間を再レンダリングすることを更に含む、請求項３８に記載のデバイス。
【請求項43】
前記マッピングは、前記ビデオストリームの各フレームについて、ピクセルを前記アバターの前記三次元モデルに繰り返しマッピングすることを含む、請求項３８に記載のデバイス。
【請求項44】
前記データ、前記位置及び前記方向、並びに前記ビデオストリームは、サーバからウェブブラウザにおいて受信され、前記マッピング及びレンダリングは前記ウェブブラウザによって実行される、請求項３８に記載のデバイス。
【請求項45】
前記動作は、
前記サーバから、前記第１のユーザがもはや存在しないことを示す通知を受信することと、
前記第２のユーザに対して前記ウェブブラウザで表示するために、前記アバターの前記三次元モデルのない前記三次元仮想空間を再レンダリングすることと、
を更に含む、請求項４４に記載のデバイス。
前記サーバから、前記第１のユーザがもはや存在しないことを示す通知を受信することと、
前記第２のユーザに対して前記ウェブブラウザで表示するために、前記アバターの前記三次元モデルのない前記三次元仮想空間を再レンダリングすることと、
を更に含む、請求項４４に記載のデバイス。
【請求項46】
前記動作は、
前記サーバから、第３のユーザが前記三次元仮想空間に入ったことを示す通知を受信することと、
前記三次元仮想空間における前記第３のユーザの第２の位置及び第２の方向を受信することと、
前記第３のユーザのデバイスのカメラから捕捉された第２のビデオストリームを受信することであって、前記カメラは前記第３のユーザの写真画像を捕捉するように位置決めされる、受信することと、
前記第２のビデオストリームを第２のアバターの第２の三次元モデルにマッピングすることと、
前記第２のユーザの前記仮想カメラの前記視点から、前記第２のユーザに表示するために、前記第２の位置に位置決めされ前記第２の方向を向いた前記第２の三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
を更に含む、請求項４５に記載のデバイス。
前記サーバから、第３のユーザが前記三次元仮想空間に入ったことを示す通知を受信することと、
前記三次元仮想空間における前記第３のユーザの第２の位置及び第２の方向を受信することと、
前記第３のユーザのデバイスのカメラから捕捉された第２のビデオストリームを受信することであって、前記カメラは前記第３のユーザの写真画像を捕捉するように位置決めされる、受信することと、
前記第２のビデオストリームを第２のアバターの第２の三次元モデルにマッピングすることと、
前記第２のユーザの前記仮想カメラの前記視点から、前記第２のユーザに表示するために、前記第２の位置に位置決めされ前記第２の方向を向いた前記第２の三次元モデルを含む前記三次元仮想空間をレンダリングすることと、
を更に含む、請求項４５に記載のデバイス。
【請求項47】
前記三次元仮想空間を指定するデータを受信することは、会議空間を指定するメッシュを受信することと、背景画像を受信することとを含み、前記レンダリングすることは、前記背景を球体にマッピングすることを含む、請求項３８に記載のデバイス。
【請求項48】
複数の参加者を含む仮想会議においてプレゼンテーションをするためのコンピュータ実施方法であって、
三次元仮想空間を指定するデータを受信することと、
前記三次元仮想空間における位置及び方向を受信することであって、前記位置及び前記方向は、前記仮想会議への前記複数の参加者のうちの第１の参加者によって入力される、受信することと、
前記第１の参加者のデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第１の参加者の写真画像を捕捉するように位置決めされる、受信することと、
前記ビデオストリームをアバターの三次元モデルにマッピングすることと、
前記第１の参加者の前記デバイスからプレゼンテーションストリームを受信することと、
前記プレゼンテーションストリームをプレゼンテーション画面の三次元モデルにマッピングすることと、
前記複数の参加者のうちの第２の参加者の仮想カメラの視点から、前記第２の参加者に表示するために、前記マッピングされたアバター及び前記マッピングされたプレゼンテーション画面と共に前記三次元仮想空間をレンダリングすることと、
を含む、方法。
三次元仮想空間を指定するデータを受信することと、
前記三次元仮想空間における位置及び方向を受信することであって、前記位置及び前記方向は、前記仮想会議への前記複数の参加者のうちの第１の参加者によって入力される、受信することと、
前記第１の参加者のデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第１の参加者の写真画像を捕捉するように位置決めされる、受信することと、
前記ビデオストリームをアバターの三次元モデルにマッピングすることと、
前記第１の参加者の前記デバイスからプレゼンテーションストリームを受信することと、
前記プレゼンテーションストリームをプレゼンテーション画面の三次元モデルにマッピングすることと、
前記複数の参加者のうちの第２の参加者の仮想カメラの視点から、前記第２の参加者に表示するために、前記マッピングされたアバター及び前記マッピングされたプレゼンテーション画面と共に前記三次元仮想空間をレンダリングすることと、
を含む、方法。
【請求項49】
前記第１の参加者の前記デバイスのマイクロホンから、前記プレゼンテーションストリームと同期して捕捉されたオーディオストリームを受信することであって、前記マイクロホンは前記第１の参加者の発話を捕捉するように位置決めされる、受信することと、
前記オーディオストリームを出力して、前記三次元仮想空間内の前記プレゼンテーションストリームの表示と同期して前記第２の参加者に対して再生することと、
を更に含む、請求項４８に記載の方法。
前記オーディオストリームを出力して、前記三次元仮想空間内の前記プレゼンテーションストリームの表示と同期して前記第２の参加者に対して再生することと、
を更に含む、請求項４８に記載の方法。
【請求項50】
前記複数の参加者中の第３の参加者の前記三次元仮想空間における位置を受信することと、
前記第３の参加者のデバイスのマイクロホンからオーディオストリームを受信することであって、前記マイクロホンは前記第３の参加者の発話を捕捉するように位置決めされる、受信することと、
前記仮想カメラの位置に対する前記第３の参加者の前記三次元仮想空間における前記受信した位置の感覚を提供するように前記オーディオストリームを調整することと、
を更に含み、
前記レンダリングすることは、前記第２の参加者に表示するために、前記受信した位置において前記第３の参加者のアバターを有する前記三次元仮想空間をレンダリングすることを含む、請求項４８に記載の方法。
前記第３の参加者のデバイスのマイクロホンからオーディオストリームを受信することであって、前記マイクロホンは前記第３の参加者の発話を捕捉するように位置決めされる、受信することと、
前記仮想カメラの位置に対する前記第３の参加者の前記三次元仮想空間における前記受信した位置の感覚を提供するように前記オーディオストリームを調整することと、
を更に含み、
前記レンダリングすることは、前記第２の参加者に表示するために、前記受信した位置において前記第３の参加者のアバターを有する前記三次元仮想空間をレンダリングすることを含む、請求項４８に記載の方法。
【請求項51】
前記第１の参加者の前記三次元仮想空間における位置を受信することと、
前記第１の参加者のデバイスのマイクロホンからオーディオストリームを受信することであって、前記マイクロホンは前記第１の参加者の発話を捕捉するように位置決めされる、受信することと、
前記仮想カメラの位置に対する前記第１の参加者の前記三次元仮想空間における前記受信した位置の感覚を提供するように、前記オーディオストリームを調整することと、
前記第２の参加者に表示するために、前記受信した位置において、前記第３の参加者のアバターを有する前記三次元仮想空間をレンダリングすることと、
プレゼンテーションモードになったとき、前記仮想カメラの位置に対する前記マッピングされたプレゼンテーション画面の位置の感覚を提供するように前記オーディオストリームを調整することと、
を更に含む、請求項４８に記載の方法。
前記第１の参加者のデバイスのマイクロホンからオーディオストリームを受信することであって、前記マイクロホンは前記第１の参加者の発話を捕捉するように位置決めされる、受信することと、
前記仮想カメラの位置に対する前記第１の参加者の前記三次元仮想空間における前記受信した位置の感覚を提供するように、前記オーディオストリームを調整することと、
前記第２の参加者に表示するために、前記受信した位置において、前記第３の参加者のアバターを有する前記三次元仮想空間をレンダリングすることと、
プレゼンテーションモードになったとき、前記仮想カメラの位置に対する前記マッピングされたプレゼンテーション画面の位置の感覚を提供するように前記オーディオストリームを調整することと、
を更に含む、請求項４８に記載の方法。
【請求項52】
前記プレゼンテーションストリームは、前記第１の参加者のビデオである、請求項４８に記載の方法。
【請求項53】
前記プレゼンテーションストリームは、前記第１の参加者の画面共有である、請求項４８に記載の方法。
【請求項54】
前記ビデオストリームをマッピングすることは、前記ビデオストリームの各フレームを前記アバターの前記三次元モデルにマッピングして、前記第１の参加者の顔の動く画像を前記アバターに提示することを含む、請求項４８に記載の方法。
【請求項55】
前記アバターは表面を含み、前記マッピングすることは、前記フレームの各々を前記表面にマッピングすることを含む、請求項５４に記載の方法。
【請求項56】
前記レンダリングすることは、前記三次元仮想空間において前記位置及び方向で前記マッピングされたアバターをレンダリングすることを含み、前記第１の参加者は、前記第１の参加者によって入力された前記位置及び前記方向の変更に基づいて、前記レンダリングされた三次元仮想空間内の前記マッピングされたアバターの前記位置及び方向を変更させることが可能である、請求項５５に記載の方法。
【請求項57】
前記レンダリングすることは、アバターが前記三次元仮想空間において前記位置に配置され、前記表面が前記三次元仮想空間において前記方向に向けられるようにレンダリングすることを含み、前記方法は、
前記三次元仮想空間における新しい方向を受信することであって、前記新しい方向は前記第１の参加者によって入力される、受信することと、
前記第２の参加者の前記仮想カメラの前記視点から、前記第２の参加者に表示するために、前記テクスチャマッピングされたアバターの前記表面が前記新しい方向に向けられるように前記三次元仮想空間を再レンダリングすることと、
を更に含む、請求項５５に記載の方法。
前記三次元仮想空間における新しい方向を受信することであって、前記新しい方向は前記第１の参加者によって入力される、受信することと、
前記第２の参加者の前記仮想カメラの前記視点から、前記第２の参加者に表示するために、前記テクスチャマッピングされたアバターの前記表面が前記新しい方向に向けられるように前記三次元仮想空間を再レンダリングすることと、
を更に含む、請求項５５に記載の方法。
【請求項58】
前記新しい方向が前記第１の参加者によって入力されるとき、前記第１の参加者の仮想カメラは前記新しい方向に従って変更され、前記第１の参加者の前記仮想カメラは、前記三次元仮想空間が、前記第１の参加者に表示するためにいかにレンダリングされるかを指定する、請求項５７に記載の方法。
【請求項59】
命令を記憶した非一時的有形コンピュータ可読デバイスであって、前記命令は、少なくとも１つの計算デバイスによって実行されると、前記少なくとも１つの計算デバイスに、複数の参加者を含む仮想会議においてプレゼンテーションする動作を実行させ、前記動作は、
三次元仮想空間を指定するデータを受信することと、
前記三次元仮想空間における位置及び方向を受信することであって、前記位置及び前記方向は、前記仮想会議への前記複数の参加者のうちの第１の参加者によって入力される、受信することと、
前記第１の参加者のデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第１の参加者の写真画像を捕捉するように位置決めされる、受信することと、
前記ビデオストリームをアバターの三次元モデルにマッピングすることと、
前記第１の参加者の前記デバイスからプレゼンテーションストリームを受信することと、
前記プレゼンテーションストリームをプレゼンテーション画面の三次元モデルにマッピングすることと、
前記複数の参加者のうちの第２の参加者の仮想カメラの視点から、前記第２の参加者に表示するために、前記マッピングされたアバター及び前記マッピングされたプレゼンテーション画面と共に前記三次元仮想空間をレンダリングすることと、
を含む、デバイス。
三次元仮想空間を指定するデータを受信することと、
前記三次元仮想空間における位置及び方向を受信することであって、前記位置及び前記方向は、前記仮想会議への前記複数の参加者のうちの第１の参加者によって入力される、受信することと、
前記第１の参加者のデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第１の参加者の写真画像を捕捉するように位置決めされる、受信することと、
前記ビデオストリームをアバターの三次元モデルにマッピングすることと、
前記第１の参加者の前記デバイスからプレゼンテーションストリームを受信することと、
前記プレゼンテーションストリームをプレゼンテーション画面の三次元モデルにマッピングすることと、
前記複数の参加者のうちの第２の参加者の仮想カメラの視点から、前記第２の参加者に表示するために、前記マッピングされたアバター及び前記マッピングされたプレゼンテーション画面と共に前記三次元仮想空間をレンダリングすることと、
を含む、デバイス。
【請求項60】
前記動作は、
前記第１の参加者の前記デバイスのマイクロホンから、前記プレゼンテーションストリームと同期して捕捉されたオーディオストリームを受信することであって、前記マイクロホンは前記第１の参加者の発話を捕捉するように位置決めされる、受信することと、
前記オーディオストリームを出力して、前記三次元仮想空間内の前記プレゼンテーションストリームの表示と同期して前記第２の参加者に対して再生することと、
を更に含む、請求項５９に記載のデバイス。
前記第１の参加者の前記デバイスのマイクロホンから、前記プレゼンテーションストリームと同期して捕捉されたオーディオストリームを受信することであって、前記マイクロホンは前記第１の参加者の発話を捕捉するように位置決めされる、受信することと、
前記オーディオストリームを出力して、前記三次元仮想空間内の前記プレゼンテーションストリームの表示と同期して前記第２の参加者に対して再生することと、
を更に含む、請求項５９に記載のデバイス。
【請求項61】
前記動作は、前記複数の参加者中の第３の参加者の前記三次元仮想空間における位置を受信することと、
前記第３の参加者のデバイスのマイクロホンからオーディオストリームを受信することであって、前記マイクロホンは前記第３の参加者の発話を捕捉するように位置決めされる、受信することと、
前記仮想カメラの位置に対する前記第３の参加者の前記三次元仮想空間における前記受信した位置の感覚を提供するように前記オーディオストリームを調整することと、
を更に含み、
前記レンダリングすることは、前記第２の参加者に表示するために、前記受信した位置において前記第３の参加者のアバターを有する前記三次元仮想空間をレンダリングすることを含む、請求項５９に記載のデバイス。
前記第３の参加者のデバイスのマイクロホンからオーディオストリームを受信することであって、前記マイクロホンは前記第３の参加者の発話を捕捉するように位置決めされる、受信することと、
前記仮想カメラの位置に対する前記第３の参加者の前記三次元仮想空間における前記受信した位置の感覚を提供するように前記オーディオストリームを調整することと、
を更に含み、
前記レンダリングすることは、前記第２の参加者に表示するために、前記受信した位置において前記第３の参加者のアバターを有する前記三次元仮想空間をレンダリングすることを含む、請求項５９に記載のデバイス。
【請求項62】
前記動作は、
前記第１の参加者の前記三次元仮想空間における位置を受信することと、
前記第１の参加者のデバイスのマイクロホンからオーディオストリームを受信することであって、前記マイクロホンは前記第１の参加者の発話を捕捉するように位置決めされる、受信することと、
前記仮想カメラの位置に対する前記第１の参加者の前記三次元仮想空間における前記受信した位置の感覚を提供するように、前記オーディオストリームを調整することと、
前記第２の参加者に表示するために、前記受信した位置において、前記第３の参加者のアバターを有する前記三次元仮想空間をレンダリングすることと、
プレゼンテーションモードになったとき、前記仮想カメラの位置に対する前記マッピングされたプレゼンテーション画面の位置の感覚を提供するように前記オーディオストリームを調整することと、
を更に含む、請求項５９に記載のデバイス。
前記第１の参加者の前記三次元仮想空間における位置を受信することと、
前記第１の参加者のデバイスのマイクロホンからオーディオストリームを受信することであって、前記マイクロホンは前記第１の参加者の発話を捕捉するように位置決めされる、受信することと、
前記仮想カメラの位置に対する前記第１の参加者の前記三次元仮想空間における前記受信した位置の感覚を提供するように、前記オーディオストリームを調整することと、
前記第２の参加者に表示するために、前記受信した位置において、前記第３の参加者のアバターを有する前記三次元仮想空間をレンダリングすることと、
プレゼンテーションモードになったとき、前記仮想カメラの位置に対する前記マッピングされたプレゼンテーション画面の位置の感覚を提供するように前記オーディオストリームを調整することと、
を更に含む、請求項５９に記載のデバイス。
【請求項63】
前記プレゼンテーションストリームは、前記第１の参加者のビデオである、請求項５９に記載のデバイス。
【請求項64】
前記プレゼンテーションストリームは、前記第１の参加者の画面共有である、請求項５９に記載のデバイス。
【請求項65】
複数の参加者を含む仮想会議においてプレゼンテーションをするためのシステムであって、
メモリに結合されたプロセッサと、
ネットワークインターフェースであって、（ｉ）三次元仮想空間を指定するデータ、（ｉｉ）前記三次元仮想空間における位置及び方向であって、前記仮想会議への前記複数の参加者の第１の参加者によって入力される位置及び方向、（ｉｉｉ）前記第１の参加者のデバイスのカメラから捕捉されたビデオストリームであって、前記カメラは前記第１の参加者の写真画像を捕捉するように位置決めされる、ビデオストリーム、及び（ｉｖ）前記第１の参加者のデバイスからのプレゼンテーションストリームを受信するように構成された、ネットワークインターフェースと、
前記プロセッサに実施されるマッパであって、前記ビデオストリームをアバターの三次元モデルにマッピングし、前記プレゼンテーションストリームをプレゼンテーション画面の三次元モデルにマッピングするように構成されるマッパと、
前記プロセッサに実施されるレンダラーであって、前記第２の参加者に表示するために、前記複数の参加者の第２の参加者の仮想カメラの視点から、前記マッピングされたアバター及び前記マッピングされたプレゼンテーション画面を有する前記三次元仮想空間をレンダリングするように構成されるレンダラーと、
を備える、システム。
メモリに結合されたプロセッサと、
ネットワークインターフェースであって、（ｉ）三次元仮想空間を指定するデータ、（ｉｉ）前記三次元仮想空間における位置及び方向であって、前記仮想会議への前記複数の参加者の第１の参加者によって入力される位置及び方向、（ｉｉｉ）前記第１の参加者のデバイスのカメラから捕捉されたビデオストリームであって、前記カメラは前記第１の参加者の写真画像を捕捉するように位置決めされる、ビデオストリーム、及び（ｉｖ）前記第１の参加者のデバイスからのプレゼンテーションストリームを受信するように構成された、ネットワークインターフェースと、
前記プロセッサに実施されるマッパであって、前記ビデオストリームをアバターの三次元モデルにマッピングし、前記プレゼンテーションストリームをプレゼンテーション画面の三次元モデルにマッピングするように構成されるマッパと、
前記プロセッサに実施されるレンダラーであって、前記第２の参加者に表示するために、前記複数の参加者の第２の参加者の仮想カメラの視点から、前記マッピングされたアバター及び前記マッピングされたプレゼンテーション画面を有する前記三次元仮想空間をレンダリングするように構成されるレンダラーと、
を備える、システム。
【請求項66】
前記プレゼンテーションストリームは、前記第１の参加者のビデオである、請求項６５に記載のシステム。
【請求項67】
前記プレゼンテーションストリームは、前記第１の参加者の画面共有である、請求項６５に記載のシステム。
【請求項68】
複数の参加者を含む仮想会議においてプレゼンテーションをするためのコンピュータ実施方法であって、
前記仮想会議への前記複数の参加者のうちの第１の参加者の第１のデバイスから、（ｉ）前記三次元仮想空間における位置及び方向であって、前記第１の参加者によって入力される位置及び方向、（ｉｉ）前記第１のデバイスのカメラから捕捉されたビデオストリームであって、前記カメラは前記第１の参加者の写真画像を捕捉するように位置決めされる、ビデオストリーム、及び（ｉｉｉ）プレゼンテーションストリームを受信することと、
前記複数の参加者のうちの第２の参加者の第２のデバイスに、前記プレゼンテーションストリームを送信することであって、前記第２のデバイスは、（ｉ）前記プレゼンテーションストリームをプレゼンテーション画面の三次元モデルにマッピングし、（ｉｉ）前記ビデオストリームをアバターにマッピングし、（ｉｉｉ）前記複数の参加者の前記第２の参加者の仮想カメラの視点から、前記第２の参加者に表示するために、前記マッピングされたプレゼンテーション画面空間及び前記位置に配置され前記方向を向いた前記アバターの前記マッピングされた三次元モデルを有する三次元仮想空間をレンダリングするように構成される、送信することと、
を含む、方法。
前記仮想会議への前記複数の参加者のうちの第１の参加者の第１のデバイスから、（ｉ）前記三次元仮想空間における位置及び方向であって、前記第１の参加者によって入力される位置及び方向、（ｉｉ）前記第１のデバイスのカメラから捕捉されたビデオストリームであって、前記カメラは前記第１の参加者の写真画像を捕捉するように位置決めされる、ビデオストリーム、及び（ｉｉｉ）プレゼンテーションストリームを受信することと、
前記複数の参加者のうちの第２の参加者の第２のデバイスに、前記プレゼンテーションストリームを送信することであって、前記第２のデバイスは、（ｉ）前記プレゼンテーションストリームをプレゼンテーション画面の三次元モデルにマッピングし、（ｉｉ）前記ビデオストリームをアバターにマッピングし、（ｉｉｉ）前記複数の参加者の前記第２の参加者の仮想カメラの視点から、前記第２の参加者に表示するために、前記マッピングされたプレゼンテーション画面空間及び前記位置に配置され前記方向を向いた前記アバターの前記マッピングされた三次元モデルを有する三次元仮想空間をレンダリングするように構成される、送信することと、
を含む、方法。
【請求項69】
前記プレゼンテーションストリームは、前記第１の参加者のビデオである、請求項６８に記載の方法。
【請求項70】
前記プレゼンテーションストリームは、前記第１の参加者の画面共有である、請求項６８に記載の方法。
【請求項71】
前記第２のデバイスに、前記第２のデバイスが前記プレゼンテーション画面をいかにマッピングしレンダリングすべきかを指定する実行可能コードを有するウェブアプリケーションを送信することを更に含む、請求項６８に記載の方法。
【請求項72】
複数の参加者を含む仮想会議を提供するコンピュータ実施方法であって、
第１のユーザの仮想カメラの視点から、前記第１のユーザに表示するために、第２のユーザのテクスチャマッピングされたビデオを有するアバターを含む前記三次元仮想空間をレンダリングすることであって、前記仮想カメラは前記三次元仮想空間において第１の位置にあり、前記アバターは前記三次元仮想空間において第２の位置にある、レンダリングすることと、
前記第２のユーザのデバイスのマイクロホンからオーディオストリームを受信することであって、前記マイクロホンは前記第２のユーザの発話を捕捉するように位置決めされる、受信することと、
前記受信したオーディオストリームの音量を調整することであって、左オーディオストリーム及び右オーディオストリームを特定して、前記第２の位置が前記第１の位置に相対して前記三次元仮想空間において存在する場所の感覚を提供する、調整することと、
前記左オーディオストリーム及び前記右オーディオストリームを出力して、前記第１のユーザにステレオで再生することと、
を含む、方法。
第１のユーザの仮想カメラの視点から、前記第１のユーザに表示するために、第２のユーザのテクスチャマッピングされたビデオを有するアバターを含む前記三次元仮想空間をレンダリングすることであって、前記仮想カメラは前記三次元仮想空間において第１の位置にあり、前記アバターは前記三次元仮想空間において第２の位置にある、レンダリングすることと、
前記第２のユーザのデバイスのマイクロホンからオーディオストリームを受信することであって、前記マイクロホンは前記第２のユーザの発話を捕捉するように位置決めされる、受信することと、
前記受信したオーディオストリームの音量を調整することであって、左オーディオストリーム及び右オーディオストリームを特定して、前記第２の位置が前記第１の位置に相対して前記三次元仮想空間において存在する場所の感覚を提供する、調整することと、
前記左オーディオストリーム及び前記右オーディオストリームを出力して、前記第１のユーザにステレオで再生することと、
を含む、方法。
【請求項73】
前記調整することは、前記第１の位置に対する前記第２の位置の方向に基づいて前記左オーディオストリーム及び右オーディオストリームの相対音量を調整することを含む、請求項７２に記載の方法。
【請求項74】
前記調整することは、前記三次元仮想空間内の水平面上の前記第１の位置に対する前記第２の位置の方向に基づいて、前記左オーディオストリーム及び右オーディオストリームの相対音量を調整することを含む、請求項７３に記載の方法。
【請求項75】
前記調整することは、前記三次元仮想空間内の水平面上の前記第１の位置に相対する前記第２の位置の方向に基づいて、前記左オーディオストリーム及び右オーディオストリームの相対音量を調整することを含む、請求項７２に記載の方法。
【請求項76】
前記調整することは、前記三次元仮想空間において前記仮想カメラが面している方向に基づいて、前記アバターが前記仮想カメラの左側に配置される場合、前記左オーディオストリームがより大きな音量を有する傾向を有し、前記アバターが前記仮想カメラの右側に配置される場合、前記右オーディオストリームがより大きな音量を有する傾向を有するように、前記左オーディオストリーム及び右オーディオストリームの相対音量を調整することを含む、請求項７２に記載の方法。
【請求項77】
前記調整することは、前記仮想カメラが面している方向と前記アバターが面している方向との間の角度に基づいて、前記角度が、前記アバターが面する方向に垂直になるほど、前記左オーディオストリームと前記右オーディオストリームとの間の音量差が大きくなるように、前記左オーディオストリーム及び右オーディオストリームの相対音量を調整することを含む、請求項７６に記載の方法。
【請求項78】
前記調整することは、前記第１の位置に対する前記第２の位置間の距離に基づいて、前記第１及び第２のオーディオストリームの両方の音量を調整することを含む、請求項７２に記載の方法。
【請求項79】
命令を記憶した非一時的有形コンピュータ可読デバイスであって、前記命令は、少なくとも１つの計算デバイスによって実行されると、前記少なくとも１つの計算デバイスに、複数の参加者を含む仮想会議においてプレゼンテーションする動作を実行させ、前記動作は、
第１のユーザの仮想カメラの視点から、前記第１のユーザに表示するために、第２のユーザのテクスチャマッピングされたビデオを有するアバターを含む前記三次元仮想空間をレンダリングすることであって、前記仮想カメラは前記三次元仮想空間において第１の位置にあり、前記アバターは前記三次元仮想空間において第２の位置にある、レンダリングすることと、
前記第２のユーザのデバイスのマイクロホンからオーディオストリームを受信することであって、前記マイクロホンは前記第２のユーザの発話を捕捉するように位置決めされる、受信することと、
前記受信したオーディオストリームの音量を調整することであって、左オーディオストリーム及び右オーディオストリームを特定して、前記第２の位置が前記第１の位置に対して前記三次元仮想空間において存在する場所の感覚を提供する、調整することと、
前記左オーディオストリーム及び前記右オーディオストリームを出力して、前記第１のユーザにステレオで再生することと、
を含む、デバイス。
第１のユーザの仮想カメラの視点から、前記第１のユーザに表示するために、第２のユーザのテクスチャマッピングされたビデオを有するアバターを含む前記三次元仮想空間をレンダリングすることであって、前記仮想カメラは前記三次元仮想空間において第１の位置にあり、前記アバターは前記三次元仮想空間において第２の位置にある、レンダリングすることと、
前記第２のユーザのデバイスのマイクロホンからオーディオストリームを受信することであって、前記マイクロホンは前記第２のユーザの発話を捕捉するように位置決めされる、受信することと、
前記受信したオーディオストリームの音量を調整することであって、左オーディオストリーム及び右オーディオストリームを特定して、前記第２の位置が前記第１の位置に対して前記三次元仮想空間において存在する場所の感覚を提供する、調整することと、
前記左オーディオストリーム及び前記右オーディオストリームを出力して、前記第１のユーザにステレオで再生することと、
を含む、デバイス。
【請求項80】
前記調整することは、前記第１の位置に対する前記第２の位置の方向に基づいて前記左オーディオストリーム及び右オーディオストリームの相対音量を調整することを含む、請求項７９に記載のデバイス。
【請求項81】
前記調整することは、前記三次元仮想空間内の水平面上の前記第１の位置に対する前記第２の位置の方向に基づいて、前記左オーディオストリーム及び右オーディオストリームの相対音量を調整することを含む、請求項７９に記載のデバイス。
【請求項82】
前記調整することは、前記三次元仮想空間内の水平面上の前記第１の位置に相対する前記第２の位置の方向に基づいて、前記左オーディオストリーム及び右オーディオストリームの相対音量を調整することを含む、請求項７９に記載のデバイス。
【請求項83】
前記調整することは、前記三次元仮想空間において前記仮想カメラが面している方向に基づいて、前記アバターが前記仮想カメラの左側に配置される場合、前記左オーディオストリームがより大きな音量を有する傾向を有し、前記アバターが前記仮想カメラの右側に配置される場合、前記右オーディオストリームがより大きな音量を有する傾向を有するように、前記左オーディオストリーム及び右オーディオストリームの相対音量を調整することを含む、請求項８２に記載のデバイス。
【請求項84】
前記調整することは、前記仮想カメラが面している方向と前記アバターが面している方向との間の角度に基づいて、前記角度が、前記アバターが面する方向に垂直になるほど、前記左オーディオストリームと前記右オーディオストリームとの間の音量差が大きくなるように、前記左オーディオストリーム及び右オーディオストリームの相対音量を調整することを含む、請求項８３に記載のデバイス。
【請求項85】
前記調整することは、前記第１の位置に対する前記第２の位置間の距離に基づいて、前記第１及び第２のオーディオストリームの両方の音量を調整することを含む、請求項７９に記載のデバイス。
【請求項86】
複数の参加者を含む仮想会議を提供するシステムであって、
メモリに結合されたプロセッサと、
前記プロセッサで実施されるレンダラーであって、第１のユーザに表示するために、第１のユーザの仮想カメラの視点から、第２のユーザのテクスチャマッピングされたビデオを有するアバターを含む前記三次元仮想空間をレンダリングするように構成されるレンダラーと、
前記第２のユーザのデバイスのマイクロホンからオーディオストリームを受信するように構成されるネットワークインターフェースであって、前記マイクロホンは前記第２のユーザの発話を捕捉するように位置決めされる、ネットワークインターフェースと、
前記受信したオーディオストリームの音量を調整するように構成されるオーディオプロセッサであって、左オーディオストリーム及び右オーディオストリームを特定して、前記第２の位置が前記第１の位置に相対して前記三次元仮想空間において存在する場所の感覚を提供する、オーディオプロセッサと、
前記左オーディオストリーム及び前記右オーディオストリームを出力して、前記第１のユーザにステレオで再生するステレオスピーカと、
を備えるシステム。
メモリに結合されたプロセッサと、
前記プロセッサで実施されるレンダラーであって、第１のユーザに表示するために、第１のユーザの仮想カメラの視点から、第２のユーザのテクスチャマッピングされたビデオを有するアバターを含む前記三次元仮想空間をレンダリングするように構成されるレンダラーと、
前記第２のユーザのデバイスのマイクロホンからオーディオストリームを受信するように構成されるネットワークインターフェースであって、前記マイクロホンは前記第２のユーザの発話を捕捉するように位置決めされる、ネットワークインターフェースと、
前記受信したオーディオストリームの音量を調整するように構成されるオーディオプロセッサであって、左オーディオストリーム及び右オーディオストリームを特定して、前記第２の位置が前記第１の位置に相対して前記三次元仮想空間において存在する場所の感覚を提供する、オーディオプロセッサと、
前記左オーディオストリーム及び前記右オーディオストリームを出力して、前記第１のユーザにステレオで再生するステレオスピーカと、
を備えるシステム。
【請求項87】
前記オーディオプロセッサは、前記第１の位置に対する前記第２の位置の方向に基づいて前記左オーディオストリーム及び右オーディオストリームの相対音量を調整するように構成される、請求項８６に記載のシステム。
【請求項88】
前記オーディオプロセッサは、前記三次元仮想空間内の水平面上の前記第１の位置に対する前記第２の位置の方向に基づいて、前記左オーディオストリーム及び右オーディオストリームの相対音量を調整するように構成される、請求項８７に記載のシステム。
【請求項89】
前記オーディオプロセッサは、前記三次元仮想空間内の水平面上の前記第１の位置に相対する前記第２の位置の方向に基づいて、前記左オーディオストリーム及び右オーディオストリームの相対音量を調整するように構成される、請求項８６に記載のシステム。
【請求項90】
前記オーディオプロセッサは、前記三次元仮想空間において前記仮想カメラが面している方向に基づいて、前記アバターが前記仮想カメラの左側に配置される場合、前記左オーディオストリームがより大きな音量を有する傾向を有し、前記アバターが前記仮想カメラの右側に配置される場合、前記右オーディオストリームがより大きな音量を有する傾向を有するように、前記左オーディオストリーム及び右オーディオストリームの相対音量を調整するように構成される、請求項８９に記載のシステム。
【請求項91】
前記オーディオプロセッサは、前記仮想カメラが面している方向と前記アバターが面している方向との間の角度に基づいて、前記角度が、前記アバターが面する方向に垂直になるほど、前記左オーディオストリームと前記右オーディオストリームとの間の音量差が大きくなるように、前記左オーディオストリーム及び右オーディオストリームの相対音量を調整するように構成される、請求項８６に記載のシステム。
【請求項92】
前記オーディオプロセッサは、前記第１の位置に対する前記第２の位置間の距離に基づいて、前記第１及び第２のオーディオストリームの両方の音量を調整するように構成される、請求項８６に記載のシステム。
【請求項93】
仮想会議にオーディオを提供するコンピュータ実施方法であって、
（ａ）第１のユーザの仮想カメラの視点から、前記第１のユーザに表示するために、三次元仮想空間の少なくとも一部をレンダリングすることであって、前記三次元仮想空間は第２のユーザを表すアバターを含み、前記仮想カメラは前記三次元仮想空間において第１の位置にあり、前記アバターは前記三次元仮想空間における第２の位置にあり、前記三次元仮想空間は複数のエリアにセグメント化される、レンダリングすることと、
（ｂ）前記第２のユーザのデバイスのマイクロホンからオーディオストリームを受信することであって、前記マイクロホンは前記第２のユーザの発話を捕捉するように位置決めされる、受信することと、
（ｃ）前記仮想カメラ及び前記アバターが前記複数のエリアにおける同じエリアに配置されているか否かを特定することと、
（ｄ）前記アバターが前記複数のエリアにおける演壇エリアにあるか否かを特定することと、
（ｅ）前記仮想カメラ及び前記アバターが前記同じエリアに配置されていないと特定され、前記アバターが前記演壇エリアにないと特定される場合、前記オーディオストリームを減衰させることと、
（ｆ）前記オーディオストリームを出力し、前記第１のユーザに対して再生することと、
を含む、コンピュータ実施方法。
（ａ）第１のユーザの仮想カメラの視点から、前記第１のユーザに表示するために、三次元仮想空間の少なくとも一部をレンダリングすることであって、前記三次元仮想空間は第２のユーザを表すアバターを含み、前記仮想カメラは前記三次元仮想空間において第１の位置にあり、前記アバターは前記三次元仮想空間における第２の位置にあり、前記三次元仮想空間は複数のエリアにセグメント化される、レンダリングすることと、
（ｂ）前記第２のユーザのデバイスのマイクロホンからオーディオストリームを受信することであって、前記マイクロホンは前記第２のユーザの発話を捕捉するように位置決めされる、受信することと、
（ｃ）前記仮想カメラ及び前記アバターが前記複数のエリアにおける同じエリアに配置されているか否かを特定することと、
（ｄ）前記アバターが前記複数のエリアにおける演壇エリアにあるか否かを特定することと、
（ｅ）前記仮想カメラ及び前記アバターが前記同じエリアに配置されていないと特定され、前記アバターが前記演壇エリアにないと特定される場合、前記オーディオストリームを減衰させることと、
（ｆ）前記オーディオストリームを出力し、前記第１のユーザに対して再生することと、
を含む、コンピュータ実施方法。
【請求項94】
前記オーディオストリームは第１のオーディオストリームであり、前記三次元仮想空間は、第３のユーザを表す第２のアバターを含み、前記特定すること（ｃ）は、前記仮想カメラ及び前記アバターが前記同じエリアに配置されていると特定することを含み、前記方法は、
（ｇ）前記第１のユーザのデバイスのマイクロホンから第２のオーディオストリームを受信することであって、前記マイクロホンは前記第１のユーザの発話を捕捉するように位置決めされる、受信することと、
（ｈ）前記第２のアバター及び前記仮想カメラが、前記仮想カメラが配置されている前記同じエリアと異なる前記三次元仮想空間のエリアに配置されていると特定することと、
（ｉ）前記第１及び第２のオーディオストリームを減衰させることであって、それにより、前記第１及び第２のオーディオストリームが前記第３のユーザによって聞かれることを阻止し、前記第１のユーザと前記第２のユーザとの間での私的な会話を可能にする、減衰させることと、
を更に含む、請求項９３に記載のコンピュータ実施方法。
（ｇ）前記第１のユーザのデバイスのマイクロホンから第２のオーディオストリームを受信することであって、前記マイクロホンは前記第１のユーザの発話を捕捉するように位置決めされる、受信することと、
（ｈ）前記第２のアバター及び前記仮想カメラが、前記仮想カメラが配置されている前記同じエリアと異なる前記三次元仮想空間のエリアに配置されていると特定することと、
（ｉ）前記第１及び第２のオーディオストリームを減衰させることであって、それにより、前記第１及び第２のオーディオストリームが前記第３のユーザによって聞かれることを阻止し、前記第１のユーザと前記第２のユーザとの間での私的な会話を可能にする、減衰させることと、
を更に含む、請求項９３に記載のコンピュータ実施方法。
【請求項95】
前記複数のエリアにおける各エリアは、前記オーディオストリームが（ｅ）において減衰される量を指定する壁伝達係数を有する、請求項９３に記載のコンピュータ実施方法。
【請求項96】
前記複数のエリアにおける各エリアは距離伝達係数を有し、前記方法は、
（ｇ）前記仮想カメラと前記アバターとの間の前記三次元仮想空間における距離を特定することと、
（ｈ）前記仮想カメラと前記アバターとの間の少なくとも１つのエリアを特定することと、
（ｉ）（ｇ）において特定された前記距離及び（ｈ）において特定された前記少なくとも１つのエリアに対応する前記距離伝達係数に基づいて、前記オーディオストリームを減衰させることと、
を更に含む、請求項９３に記載のコンピュータ実施方法。
（ｇ）前記仮想カメラと前記アバターとの間の前記三次元仮想空間における距離を特定することと、
（ｈ）前記仮想カメラと前記アバターとの間の少なくとも１つのエリアを特定することと、
（ｉ）（ｇ）において特定された前記距離及び（ｈ）において特定された前記少なくとも１つのエリアに対応する前記距離伝達係数に基づいて、前記オーディオストリームを減衰させることと、
を更に含む、請求項９３に記載のコンピュータ実施方法。
【請求項97】
前記複数のエリアは階層として構造化される、請求項９３に記載のコンピュータ実施方法。
【請求項98】
前記複数のエリアにおける各エリアは、壁伝達係数を有し、前記方法は、
（ｇ）前記階層をトラバースして、前記アバターを含むエリアと前記仮想エリアを含むエリアとの間の前記複数のエリアからのエリアのサブセットを特定することと、
（ｈ）（ｇ）において特定された前記エリアのサブセットに対応する各壁伝達係数に基づいて、前記オーディオストリームを減衰させることと、
を更に含む、請求項９７に記載のコンピュータ実施方法。
（ｇ）前記階層をトラバースして、前記アバターを含むエリアと前記仮想エリアを含むエリアとの間の前記複数のエリアからのエリアのサブセットを特定することと、
（ｈ）（ｇ）において特定された前記エリアのサブセットに対応する各壁伝達係数に基づいて、前記オーディオストリームを減衰させることと、
を更に含む、請求項９７に記載のコンピュータ実施方法。
【請求項99】
命令を記憶した非一時的有形コンピュータ可読デバイスであって、前記命令は、少なくとも１つの計算デバイスによって実行されると、前記少なくとも１つの計算デバイスに、仮想会議にオーディオを提供する動作を実行させ、前記動作は、
（ａ）第１のユーザの仮想カメラの視点から、前記第１のユーザに表示するために、三次元仮想空間の少なくとも一部をレンダリングすることであって、前記三次元仮想空間は第２のユーザを表すアバターを含み、前記仮想カメラは前記三次元仮想空間において第１の位置にあり、前記アバターは前記三次元仮想空間における第２の位置にあり、前記三次元仮想空間は複数のエリアにセグメント化される、レンダリングすることと、
（ｂ）前記第２のユーザのデバイスのマイクロホンからオーディオストリームを受信することであって、前記マイクロホンは前記第２のユーザの発話を捕捉するように位置決めされる、受信することと、
（ｃ）前記仮想カメラ及び前記アバターが前記複数のエリアにおける同じエリアに配置されているか否かを特定することと、
（ｄ）前記アバターが前記複数のエリアにおける演壇エリアにあるか否かを特定することと、
（ｅ）前記仮想カメラ及び前記アバターが前記同じエリアに配置されていないと特定され、前記アバターが前記演壇エリアにないと特定される場合、前記オーディオストリームを減衰させることと、
（ｆ）前記オーディオストリームを出力し、前記第１のユーザに対して再生することと、
を含む、デバイス。
（ａ）第１のユーザの仮想カメラの視点から、前記第１のユーザに表示するために、三次元仮想空間の少なくとも一部をレンダリングすることであって、前記三次元仮想空間は第２のユーザを表すアバターを含み、前記仮想カメラは前記三次元仮想空間において第１の位置にあり、前記アバターは前記三次元仮想空間における第２の位置にあり、前記三次元仮想空間は複数のエリアにセグメント化される、レンダリングすることと、
（ｂ）前記第２のユーザのデバイスのマイクロホンからオーディオストリームを受信することであって、前記マイクロホンは前記第２のユーザの発話を捕捉するように位置決めされる、受信することと、
（ｃ）前記仮想カメラ及び前記アバターが前記複数のエリアにおける同じエリアに配置されているか否かを特定することと、
（ｄ）前記アバターが前記複数のエリアにおける演壇エリアにあるか否かを特定することと、
（ｅ）前記仮想カメラ及び前記アバターが前記同じエリアに配置されていないと特定され、前記アバターが前記演壇エリアにないと特定される場合、前記オーディオストリームを減衰させることと、
（ｆ）前記オーディオストリームを出力し、前記第１のユーザに対して再生することと、
を含む、デバイス。
【請求項100】
前記オーディオストリームは第１のオーディオストリームであり、前記三次元仮想空間は、第３のユーザを表す第２のアバターを含み、前記特定すること（ｃ）は、前記仮想カメラ及び前記アバターが前記同じエリアに配置されていると特定することを含み、
（ｇ）前記第１のユーザのデバイスのマイクロホンから第２のオーディオストリームを受信することであって、前記マイクロホンは前記第１のユーザの発話を捕捉するように位置決めされる、受信することと、
（ｈ）前記第２のアバター及び前記仮想カメラが、前記仮想カメラが配置されている前記同じエリアと異なる前記三次元仮想空間のエリアに配置されていると特定することと、
（ｉ）前記第１及び第２のオーディオストリームを減衰させることであって、それにより、前記第１及び第２のオーディオストリームが前記第３のユーザによって聞かれることを阻止し、前記第１のユーザと前記第２のユーザとの間での私的な会話を可能にする、減衰させることと、
を更に含む、請求項９９に記載のデバイス。
（ｇ）前記第１のユーザのデバイスのマイクロホンから第２のオーディオストリームを受信することであって、前記マイクロホンは前記第１のユーザの発話を捕捉するように位置決めされる、受信することと、
（ｈ）前記第２のアバター及び前記仮想カメラが、前記仮想カメラが配置されている前記同じエリアと異なる前記三次元仮想空間のエリアに配置されていると特定することと、
（ｉ）前記第１及び第２のオーディオストリームを減衰させることであって、それにより、前記第１及び第２のオーディオストリームが前記第３のユーザによって聞かれることを阻止し、前記第１のユーザと前記第２のユーザとの間での私的な会話を可能にする、減衰させることと、
を更に含む、請求項９９に記載のデバイス。
【請求項101】
前記複数のエリアにおける各エリアは、前記オーディオストリームが（ｅ）において減衰される量を指定する壁伝達係数を有する、請求項９９に記載のデバイス。
【請求項102】
前記複数のエリアにおける各エリアは距離伝達係数を有し、
（ｇ）前記仮想カメラと前記アバターとの間の前記三次元仮想空間における距離を特定することと、
（ｈ）前記仮想カメラと前記アバターとの間の少なくとも１つのエリアを特定することと、
（ｉ）（ｇ）において特定された前記距離及び（ｈ）において特定された前記少なくとも１つのエリアに対応する前記距離伝達係数に基づいて、前記オーディオストリームを減衰させることと、
を更に含む、請求項９９に記載のデバイス。
（ｇ）前記仮想カメラと前記アバターとの間の前記三次元仮想空間における距離を特定することと、
（ｈ）前記仮想カメラと前記アバターとの間の少なくとも１つのエリアを特定することと、
（ｉ）（ｇ）において特定された前記距離及び（ｈ）において特定された前記少なくとも１つのエリアに対応する前記距離伝達係数に基づいて、前記オーディオストリームを減衰させることと、
を更に含む、請求項９９に記載のデバイス。
【請求項103】
前記複数のエリアは階層として構造化される、請求項９９に記載のデバイス。
【請求項104】
前記複数のエリアにおける各エリアは、壁伝達係数を有し、
（ｇ）前記階層をトラバースして、前記アバターを含むエリアと前記仮想エリアを含むエリアとの間の前記複数のエリアからのエリアのサブセットを特定することと、
（ｈ）（ｇ）において特定された前記エリアのサブセットに対応する各壁伝達係数に基づいて、前記オーディオストリームを減衰させることと、
を更に含む、請求項１０３に記載のデバイス。
（ｇ）前記階層をトラバースして、前記アバターを含むエリアと前記仮想エリアを含むエリアとの間の前記複数のエリアからのエリアのサブセットを特定することと、
（ｈ）（ｇ）において特定された前記エリアのサブセットに対応する各壁伝達係数に基づいて、前記オーディオストリームを減衰させることと、
を更に含む、請求項１０３に記載のデバイス。
【請求項105】
仮想会議にオーディオを提供するシステムであって、
メモリに結合されたプロセッサと、
前記プロセッサで実施されるレンダラーであって、第１のユーザの仮想カメラの視点から、前記第１のユーザに表示するために、三次元仮想空間の少なくとも一部をレンダリングするように構成され、前記三次元仮想空間は第２のユーザを表すアバターを含み、前記仮想カメラは前記三次元仮想空間において第１の位置にあり、前記アバターは前記三次元仮想空間における第２の位置にあり、前記三次元仮想空間は、階層として構造化される複数のエリアにセグメント化される、レンダラーと、
前記第２のユーザのデバイスのマイクロホンからオーディオストリームを受信するように構成されるネットワークインターフェースであって、前記マイクロホンは前記第２のユーザの発話を捕捉するように位置決めされる、ネットワークインターフェースと、
前記仮想カメラ及び前記アバターが前記複数のエリアにおける同じエリアに配置されているか否か及び前記アバターが前記複数のエリアにおける演壇エリアにあるか否かを特定し、前記仮想カメラ及び前記アバターが前記同じエリアに配置されていないと特定され、前記アバターが前記演壇エリアにないと特定される場合、前記オーディオストリームを減衰させ、前記オーディオストリームを出力し、前記第１のユーザに対して再生するように構成される、オーディオプロセッサと、
を備える、システム。
メモリに結合されたプロセッサと、
前記プロセッサで実施されるレンダラーであって、第１のユーザの仮想カメラの視点から、前記第１のユーザに表示するために、三次元仮想空間の少なくとも一部をレンダリングするように構成され、前記三次元仮想空間は第２のユーザを表すアバターを含み、前記仮想カメラは前記三次元仮想空間において第１の位置にあり、前記アバターは前記三次元仮想空間における第２の位置にあり、前記三次元仮想空間は、階層として構造化される複数のエリアにセグメント化される、レンダラーと、
前記第２のユーザのデバイスのマイクロホンからオーディオストリームを受信するように構成されるネットワークインターフェースであって、前記マイクロホンは前記第２のユーザの発話を捕捉するように位置決めされる、ネットワークインターフェースと、
前記仮想カメラ及び前記アバターが前記複数のエリアにおける同じエリアに配置されているか否か及び前記アバターが前記複数のエリアにおける演壇エリアにあるか否かを特定し、前記仮想カメラ及び前記アバターが前記同じエリアに配置されていないと特定され、前記アバターが前記演壇エリアにないと特定される場合、前記オーディオストリームを減衰させ、前記オーディオストリームを出力し、前記第１のユーザに対して再生するように構成される、オーディオプロセッサと、
を備える、システム。
【請求項106】
前記複数のエリアにおける各エリアは、前記オーディオストリームが減衰される量を指定する壁伝達係数を有する、請求項１０５に記載のシステム。
【請求項107】
前記複数のエリアにおける各エリアは距離伝達係数を有し、前記オーディオプロセッサは、（ｉ）前記仮想カメラと前記アバターとの間の前記三次元仮想空間における距離を特定することと、（ｉｉ）前記仮想カメラと前記アバターとの間の少なくとも１つのエリアを特定することと、（ｉｉｉ）前記特定された距離及び前記特定された少なくとも１つのエリアに対応する前記距離伝達係数に基づいて、前記オーディオストリームを減衰させることとを行うように構成される、請求項１０５に記載のシステム。
【請求項108】
前記複数のエリアにおける各エリアは、壁伝達係数を有し、前記オーディオプロセッサは、前記階層をトラバースして、前記アバターを含むエリアと前記仮想エリアを含むエリアとの間の前記複数のエリアからのエリアのサブセットを特定することと、前記特定されたエリアのサブセットに対応する各壁伝達係数に基づいて、前記オーディオストリームを減衰させることとを行うように構成される、請求項１０５に記載のシステム。
【請求項109】
テレビ会議のビデオをストリーミングするコンピュータ実施方法であって、
（ａ）仮想会議空間における第１のユーザと第２のユーザとの間の距離を特定することと、
（ｂ）前記第１のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、受信することと、
（ｃ）前記特定された距離に基づいて、前記距離が近いほど、前記距離が遠い場合よりも高い解像度又はビットレートになるように、前記ビデオストリームの低下した解像度又はビットレートを選択することと、
（ｄ）前記仮想会議空間内で、前記第２のユーザに表示するために、前記第２のユーザのデバイスに前記低下した解像度又はビットレートでの前記ビデオストリームの送信を要求することであって、前記ビデオストリームは、前記仮想会議空間内の前記第２のユーザに表示するために、前記第１のユーザのアバターにマッピングされる、要求することと、
を含む、方法。
（ａ）仮想会議空間における第１のユーザと第２のユーザとの間の距離を特定することと、
（ｂ）前記第１のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、受信することと、
（ｃ）前記特定された距離に基づいて、前記距離が近いほど、前記距離が遠い場合よりも高い解像度又はビットレートになるように、前記ビデオストリームの低下した解像度又はビットレートを選択することと、
（ｄ）前記仮想会議空間内で、前記第２のユーザに表示するために、前記第２のユーザのデバイスに前記低下した解像度又はビットレートでの前記ビデオストリームの送信を要求することであって、前記ビデオストリームは、前記仮想会議空間内の前記第２のユーザに表示するために、前記第１のユーザのアバターにマッピングされる、要求することと、
を含む、方法。
【請求項110】
（ｅ）第３のユーザのデバイスのカメラから捕捉された第２のビデオストリームを受信することであって、前記カメラは前記第３のユーザの写真画像を捕捉するように位置決めされる、受信することと、
（ｆ）前記仮想会議のデータを前記第２のユーザに送信するために利用可能な帯域幅を特定することと、
（ｇ）仮想会議空間における第１のユーザと第２のユーザとの間の第２の距離を特定することと、
（ｈ）（ａ）において特定された前記距離に相対する（ｇ）において特定された前記Ｃ第２の距離に基づいて、（ｂ）において受信された前記ビデオストリームと（ｅ）において受信した前記第２のビデオストリームとの間で、前記利用可能な帯域幅を分配することと、
を更に含む、請求項１０９に記載の方法。
（ｆ）前記仮想会議のデータを前記第２のユーザに送信するために利用可能な帯域幅を特定することと、
（ｇ）仮想会議空間における第１のユーザと第２のユーザとの間の第２の距離を特定することと、
（ｈ）（ａ）において特定された前記距離に相対する（ｇ）において特定された前記Ｃ第２の距離に基づいて、（ｂ）において受信された前記ビデオストリームと（ｅ）において受信した前記第２のビデオストリームとの間で、前記利用可能な帯域幅を分配することと、
を更に含む、請求項１０９に記載の方法。
【請求項111】
前記分配すること（ｈ）は、遠くのユーザからのビデオストリームよりも近くのユーザのビデオストリームに高い優先度を付与することを含む、請求項１１０に記載の方法。
【請求項112】
（ｉ）前記第１のユーザのデバイスから第１のオーディオストリームを受信することと、
（ｊ）前記第３のユーザのデバイスから第２のオーディオストリームを受信することであって、前記分配すること（ｈ）は、前記第１及び第２のオーディオストリームの一部を確保することを含む、受信することと、
を更に含む、請求項１１０に記載の方法。
（ｊ）前記第３のユーザのデバイスから第２のオーディオストリームを受信することであって、前記分配すること（ｈ）は、前記第１及び第２のオーディオストリームの一部を確保することを含む、受信することと、
を更に含む、請求項１１０に記載の方法。
【請求項113】
（ｋ）前記確保された部分のサイズに従って前記第１及び第２のオーディオストリームの品質を下げることを更に含む、請求項１１２に記載の方法。
【請求項114】
前記下げること（ｋ）は、（ａ）において特定された前記距離に相対する（ｇ）において特定された前記第２の距離から独立して、前記品質を下げることを含む、請求項１１３に記載の方法。
【請求項115】
（ｅ）前記仮想会議空間における前記第１のユーザと前記第２のユーザとの間の前記距離が、前記距離におけるビデオの表示が非効率的であるようなものであると特定することと、
（ｅ）における前記特定に応答して、
（ｆ）前記第２のユーザの前記デバイスへの前記ビデオストリームの送信を中止することと、
（ｇ）前記ビデオストリームを静止画像で置換することを前記第２のユーザの前記デバイスに通知することと、
を更に含む、請求項１０９に記載の方法。
（ｅ）における前記特定に応答して、
（ｆ）前記第２のユーザの前記デバイスへの前記ビデオストリームの送信を中止することと、
（ｇ）前記ビデオストリームを静止画像で置換することを前記第２のユーザの前記デバイスに通知することと、
を更に含む、請求項１０９に記載の方法。
【請求項116】
前記低下された解像度における前記ビデオストリームは、前記第２のユーザに表示するために、前記第２のユーザの前記デバイスにより、前記仮想会議空間内の前記第２のユーザの位置にレンダリングされるアバターにマッピングされる、請求項１０９に記載の方法。
【請求項117】
命令を記憶した非一時的有形コンピュータ可読デバイスであって、前記命令は、少なくとも１つの計算デバイスによって実行されると、前記少なくとも１つの計算デバイスに、テレビ会議のビデオをストリーミングする動作を実行させ、前記動作は、
（ａ）仮想会議空間における第１のユーザと第２のユーザとの間の距離を特定することと、
（ｂ）前記第１のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、受信することと、
（ｃ）前記特定された距離に基づいて、前記距離が近いほど、前記距離が遠い場合よりも高い解像度又はビットレートになるように、前記ビデオストリームの低下した解像度又はビットレートを選択することと、
（ｄ）前記仮想会議空間内で、前記第２のユーザに表示するために、前記第２のユーザのデバイスに前記低下した解像度又はビットレートでの前記ビデオストリームの送信を要求することであって、前記ビデオストリームは、前記仮想会議空間内の前記第２のユーザに表示するために、前記第１のユーザのアバターにマッピングされる、要求することと、
を含む、デバイス。
（ａ）仮想会議空間における第１のユーザと第２のユーザとの間の距離を特定することと、
（ｂ）前記第１のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、受信することと、
（ｃ）前記特定された距離に基づいて、前記距離が近いほど、前記距離が遠い場合よりも高い解像度又はビットレートになるように、前記ビデオストリームの低下した解像度又はビットレートを選択することと、
（ｄ）前記仮想会議空間内で、前記第２のユーザに表示するために、前記第２のユーザのデバイスに前記低下した解像度又はビットレートでの前記ビデオストリームの送信を要求することであって、前記ビデオストリームは、前記仮想会議空間内の前記第２のユーザに表示するために、前記第１のユーザのアバターにマッピングされる、要求することと、
を含む、デバイス。
【請求項118】
前記動作は、
（ｅ）第３のユーザのデバイスのカメラから捕捉された第２のビデオストリームを受信することであって、前記カメラは前記第３のユーザの写真画像を捕捉するように位置決めされる、受信することと、
（ｆ）前記仮想会議のデータを前記第２のユーザに送信するために利用可能な帯域幅を特定することと、
（ｇ）仮想会議空間における第１のユーザと第２のユーザとの間の第２の距離を特定することと、
（ｈ）（ａ）において特定された前記距離に相対する（ｇ）において特定された前記Ｃ第２の距離に基づいて、（ｂ）において受信された前記ビデオストリームと（ｅ）において受信した前記第２のビデオストリームとの間で、前記利用可能な帯域幅を分配することと、
を更に含む、請求項１１７に記載のデバイス。
（ｅ）第３のユーザのデバイスのカメラから捕捉された第２のビデオストリームを受信することであって、前記カメラは前記第３のユーザの写真画像を捕捉するように位置決めされる、受信することと、
（ｆ）前記仮想会議のデータを前記第２のユーザに送信するために利用可能な帯域幅を特定することと、
（ｇ）仮想会議空間における第１のユーザと第２のユーザとの間の第２の距離を特定することと、
（ｈ）（ａ）において特定された前記距離に相対する（ｇ）において特定された前記Ｃ第２の距離に基づいて、（ｂ）において受信された前記ビデオストリームと（ｅ）において受信した前記第２のビデオストリームとの間で、前記利用可能な帯域幅を分配することと、
を更に含む、請求項１１７に記載のデバイス。
【請求項119】
前記分配すること（ｈ）は、遠くのユーザからのビデオストリームよりも近くのユーザのビデオストリームに高い優先度を付与することを含む、請求項１１８に記載のデバイス。
【請求項120】
前記動作は、
（ｉ）前記第１のユーザのデバイスから第１のオーディオストリームを受信することと、
（ｊ）前記第３のユーザのデバイスから第２のオーディオストリームを受信することであって、前記分配すること（ｈ）は、前記第１及び第２のオーディオストリームの一部を確保することを含む、受信することと、
を更に含む、請求項１１８に記載のデバイス。
（ｉ）前記第１のユーザのデバイスから第１のオーディオストリームを受信することと、
（ｊ）前記第３のユーザのデバイスから第２のオーディオストリームを受信することであって、前記分配すること（ｈ）は、前記第１及び第２のオーディオストリームの一部を確保することを含む、受信することと、
を更に含む、請求項１１８に記載のデバイス。
【請求項121】
前記動作は、
（ｋ）前記確保された部分のサイズに従って前記第１及び第２のオーディオストリームの品質を下げることを更に含む、請求項１２０に記載のデバイス。
（ｋ）前記確保された部分のサイズに従って前記第１及び第２のオーディオストリームの品質を下げることを更に含む、請求項１２０に記載のデバイス。
【請求項122】
前記下げること（ｋ）は、（ａ）において特定された前記距離に相対する（ｇ）において特定された前記第２の距離から独立して、前記品質を下げることを含む、請求項１２１に記載のデバイス。
【請求項123】
前記動作は、
（ｅ）前記仮想会議空間における前記第１のユーザと前記第２のユーザとの間の前記距離が、前記距離におけるビデオの表示が非効率的であるようなものであると特定することと、
（ｅ）における前記特定に応答して、
（ｆ）前記第２のユーザの前記デバイスへの前記ビデオストリームの送信を中止することと、
（ｇ）前記ビデオストリームを静止画像で置換することを前記第２のユーザの前記デバイスに通知することと、
を更に含む、請求項１１７に記載のデバイス。
（ｅ）前記仮想会議空間における前記第１のユーザと前記第２のユーザとの間の前記距離が、前記距離におけるビデオの表示が非効率的であるようなものであると特定することと、
（ｅ）における前記特定に応答して、
（ｆ）前記第２のユーザの前記デバイスへの前記ビデオストリームの送信を中止することと、
（ｇ）前記ビデオストリームを静止画像で置換することを前記第２のユーザの前記デバイスに通知することと、
を更に含む、請求項１１７に記載のデバイス。
【請求項124】
前記低下された解像度における前記ビデオストリームは、前記第２のユーザに表示するために、前記第２のユーザの前記デバイスにより、前記仮想会議空間内の前記第２のユーザの位置にレンダリングされるアバターにマッピングされる、請求項１１７に記載のデバイス。
【請求項125】
仮想会議のためにビデオをストリーミングするシステムであって、
メモリに結合されたプロセッサと、
前記第１のユーザのデバイスのカメラから捕捉されたビデオストリームを受信するネットワークインターフェースであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、ネットワークインターフェースと、
仮想会議空間における第１のユーザと第２のユーザとの間の距離を特定し、前記特定された距離に基づいて、前記距離が近いほど、前記距離が遠い場合よりも高い解像度又はビットレートになるように、前記ビデオストリームの解像度を下げるように構成されたストリーム調整器と、
を備え、
前記ネットワークインターフェースは、前記仮想会議空間内の前記第２のユーザに表示するために、前記第２のユーザのデバイスに前記低下した解像度で前記ビデオストリームを送信するように構成され、前記ビデオストリームは、前記仮想会議空間内の前記第２のユーザに表示するために、前記第１のユーザのアバターにマッピングされる、システム。
メモリに結合されたプロセッサと、
前記第１のユーザのデバイスのカメラから捕捉されたビデオストリームを受信するネットワークインターフェースであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、ネットワークインターフェースと、
仮想会議空間における第１のユーザと第２のユーザとの間の距離を特定し、前記特定された距離に基づいて、前記距離が近いほど、前記距離が遠い場合よりも高い解像度又はビットレートになるように、前記ビデオストリームの解像度を下げるように構成されたストリーム調整器と、
を備え、
前記ネットワークインターフェースは、前記仮想会議空間内の前記第２のユーザに表示するために、前記第２のユーザのデバイスに前記低下した解像度で前記ビデオストリームを送信するように構成され、前記ビデオストリームは、前記仮想会議空間内の前記第２のユーザに表示するために、前記第１のユーザのアバターにマッピングされる、システム。
【請求項126】
前記ネットワークインターフェースは、第３のユーザのデバイスのカメラから捕捉された第２のビデオストリームを受信し、前記カメラは前記第３のユーザの写真画像を捕捉するように位置決めされ、
前記ストリーム調整器は、（ｉ）前記仮想会議のデータを前記第２のユーザに送信するために利用可能な帯域幅を特定することと、（ｉｉ）仮想会議空間における第１のユーザと第２のユーザとの間の第２の距離を特定することと、（ｉｉｉ）前記距離に相対する前記第２の距離に基づいて前記利用可能な帯域幅を前記ビデオストリーム及び前記第２のビデオストリームに分配する、請求項１２５に記載のシステム。
前記ストリーム調整器は、（ｉ）前記仮想会議のデータを前記第２のユーザに送信するために利用可能な帯域幅を特定することと、（ｉｉ）仮想会議空間における第１のユーザと第２のユーザとの間の第２の距離を特定することと、（ｉｉｉ）前記距離に相対する前記第２の距離に基づいて前記利用可能な帯域幅を前記ビデオストリーム及び前記第２のビデオストリームに分配する、請求項１２５に記載のシステム。
【請求項127】
前記ストリーム調整器は、遠くのユーザからのビデオストリームよりも近くのユーザのビデオストリームに高い優先度を付与するように構成される、請求項１２６に記載のシステム。
【請求項128】
前記ネットワークインターフェースは、前記第１のユーザのデバイスから第１のオーディオストリームを受信し、前記第３のユーザのデバイスから第２のオーディオストリームを受信するように構成され、前記ストリーム調整器は、前記第１及び第２のオーディオストリームの一部を確保するように構成される、請求項１２６に記載のシステム。
【請求項129】
仮想会議のためにビデオをストリーミングするコンピュータ実施方法であって、
仮想環境の三次元モデルを受信することと、
物体の三次元モデルを表すメッシュを受信することと、
前記仮想テレビ会議の第１の参加者のビデオストリームを受信することであって、前記ビデオストリームは複数のフレームを含む、受信することと、
メッシュによって表される三次元モデルに前記ビデオストリームの前記複数のフレームの各フレームをマッピングすることであって、それにより、前記第１の参加者によって操作可能なアバターを生成し、前記メッシュは前記ビデオストリームから独立して生成される、マッピングすることと、
第２の参加者の仮想カメラの視点から、前記第２の参加者に表示するために、前記マッピングされたアバター及び前記仮想環境内の前記物体の前記三次元モデルを表す前記メッシュをレンダリングすることと、
を含む、方法。
仮想環境の三次元モデルを受信することと、
物体の三次元モデルを表すメッシュを受信することと、
前記仮想テレビ会議の第１の参加者のビデオストリームを受信することであって、前記ビデオストリームは複数のフレームを含む、受信することと、
メッシュによって表される三次元モデルに前記ビデオストリームの前記複数のフレームの各フレームをマッピングすることであって、それにより、前記第１の参加者によって操作可能なアバターを生成し、前記メッシュは前記ビデオストリームから独立して生成される、マッピングすることと、
第２の参加者の仮想カメラの視点から、前記第２の参加者に表示するために、前記マッピングされたアバター及び前記仮想環境内の前記物体の前記三次元モデルを表す前記メッシュをレンダリングすることと、
を含む、方法。
【請求項130】
前記物体は製品であり、前記第２の参加者は、前記製品の前記三次元モデルの周囲で前記仮想カメラをナビゲートすることができる、請求項１２９に記載の方法。
【請求項131】
前記物体は広告である、請求項１２９に記載の方法。
【請求項132】
前記製品を前記仮想会議空間においてデモンストレーションすることを更に含む、請求項１２９に記載の方法。
【請求項133】
前記仮想環境は建物である、請求項１２９に記載の方法。
【請求項134】
前記メッシュは第１のメッシュであり、前記方法は、
前記第１のメッシュについての要求を前記第２の参加者から送信することであって、前記第１のメッシュの受信は、前記要求に応答して行われる、送信することを更に含む、請求項１２９に記載の方法。
前記第１のメッシュについての要求を前記第２の参加者から送信することであって、前記第１のメッシュの受信は、前記要求に応答して行われる、送信することを更に含む、請求項１２９に記載の方法。
【請求項135】
前記三次元仮想空間における前記第１のユーザの位置及び方向を受信することと、
前記第１のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、受信することと、
前記ビデオストリームをアバターの三次元モデルにマッピングすることであって、前記レンダリングすることは、前記位置に位置決めされ前記方向を向いた前記アバターのマッピングされた三次元モデルを含むように前記仮想会議をレンダリングすることを含む、マッピングすることと、
を更に含む、請求項１２９に記載の方法。
前記第１のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、受信することと、
前記ビデオストリームをアバターの三次元モデルにマッピングすることであって、前記レンダリングすることは、前記位置に位置決めされ前記方向を向いた前記アバターのマッピングされた三次元モデルを含むように前記仮想会議をレンダリングすることを含む、マッピングすることと、
を更に含む、請求項１２９に記載の方法。
【請求項136】
命令を記憶した非一時的有形コンピュータ可読デバイスであって、前記命令は、少なくとも１つの計算デバイスによって実行されると、前記少なくとも１つの計算デバイスに、仮想会議のためにビデオをストリーミングする動作を実行させ、前記動作は、
仮想環境の三次元モデルを受信することと、
物体の三次元モデルを表すメッシュを受信することと、
前記仮想テレビ会議の第１の参加者のビデオストリームを受信することであって、前記ビデオストリームは複数のフレームを含む、受信することと、
メッシュによって表される三次元モデルに前記ビデオストリームの前記複数のフレームの各フレームをマッピングすることであって、それにより、前記第１の参加者によって操作可能なアバターを生成し、前記メッシュは前記ビデオストリームから独立して生成される、マッピングすることと、
第２の参加者の仮想カメラの視点から、前記第２の参加者に表示するために、前記マッピングされたアバター及び前記仮想環境内の前記物体の前記三次元モデルを表す前記メッシュをレンダリングすることと、
を含む、デバイス。
仮想環境の三次元モデルを受信することと、
物体の三次元モデルを表すメッシュを受信することと、
前記仮想テレビ会議の第１の参加者のビデオストリームを受信することであって、前記ビデオストリームは複数のフレームを含む、受信することと、
メッシュによって表される三次元モデルに前記ビデオストリームの前記複数のフレームの各フレームをマッピングすることであって、それにより、前記第１の参加者によって操作可能なアバターを生成し、前記メッシュは前記ビデオストリームから独立して生成される、マッピングすることと、
第２の参加者の仮想カメラの視点から、前記第２の参加者に表示するために、前記マッピングされたアバター及び前記仮想環境内の前記物体の前記三次元モデルを表す前記メッシュをレンダリングすることと、
を含む、デバイス。
【請求項137】
前記物体は製品であり、前記第２の参加者は、前記製品の前記三次元モデルの周囲で前記仮想カメラをナビゲートすることができる、請求項１３６に記載の非一時的有形コンピュータ可読デバイス。
【請求項138】
前記物体は広告である、請求項１３６に記載の非一時的有形コンピュータ可読デバイス。
【請求項139】
前記製品を前記仮想会議空間においてデモンストレーションすることを更に含む、請求項１３７に記載の非一時的有形コンピュータ可読デバイス。
【請求項140】
前記仮想環境は建物である、請求項１３６に記載の非一時的有形コンピュータ可読デバイス。
【請求項141】
前記メッシュは第１のメッシュであり、
前記第１のメッシュについての要求を前記第２の参加者から送信することであって、前記第１のメッシュの受信は、前記要求に応答して行われる、送信することを更に含む、請求項１３６に記載の非一時的有形コンピュータ可読デバイス。
前記第１のメッシュについての要求を前記第２の参加者から送信することであって、前記第１のメッシュの受信は、前記要求に応答して行われる、送信することを更に含む、請求項１３６に記載の非一時的有形コンピュータ可読デバイス。
【請求項142】
前記三次元仮想空間における前記第１のユーザの位置及び方向を受信することと、
前記第１のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、受信することと、
前記ビデオストリームをアバターの三次元モデルにマッピングすることであって、前記レンダリングすることは、前記位置に位置決めされ前記方向を向いた前記アバターのマッピングされた三次元モデルを含むように前記仮想会議をレンダリングすることを含む、マッピングすることと、
を更に含む、請求項１３６に記載の非一時的有形コンピュータ可読デバイス。
前記第１のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、受信することと、
前記ビデオストリームをアバターの三次元モデルにマッピングすることであって、前記レンダリングすることは、前記位置に位置決めされ前記方向を向いた前記アバターのマッピングされた三次元モデルを含むように前記仮想会議をレンダリングすることを含む、マッピングすることと、
を更に含む、請求項１３６に記載の非一時的有形コンピュータ可読デバイス。
【請求項143】
仮想テレビ会議のためにビデオをストリーミングするシステムであって、
メモリに結合されたプロセッサと、
ネットワークインターフェースであって、（ｉ）仮想環境の三次元モデル、（ｉｉ）物体の三次元モデルを表すメッシュ、（ｉｉｉ）前記仮想テレビ会議の第１の参加者のビデオストリームを受信するように構成され、前記ビデオストリームは複数のフレームを含む、ネットワークインターフェースと、
メッシュによって表される三次元モデルに前記ビデオストリームの前記複数のフレームの各フレームをマッピングして、前記第１の参加者により操作可能なアバターを生成するマッパであって、前記メッシュは前記ビデオストリームから独立して生成される、マッパと、
第２の参加者の仮想カメラの視点から、前記第２の参加者に表示するために、前記マッピングされたアバター及び前記仮想環境内の前記物体の前記三次元モデルを表す前記メッシュをレンダリングするように構成されるレンダラーと、
を備える、システム。
メモリに結合されたプロセッサと、
ネットワークインターフェースであって、（ｉ）仮想環境の三次元モデル、（ｉｉ）物体の三次元モデルを表すメッシュ、（ｉｉｉ）前記仮想テレビ会議の第１の参加者のビデオストリームを受信するように構成され、前記ビデオストリームは複数のフレームを含む、ネットワークインターフェースと、
メッシュによって表される三次元モデルに前記ビデオストリームの前記複数のフレームの各フレームをマッピングして、前記第１の参加者により操作可能なアバターを生成するマッパであって、前記メッシュは前記ビデオストリームから独立して生成される、マッパと、
第２の参加者の仮想カメラの視点から、前記第２の参加者に表示するために、前記マッピングされたアバター及び前記仮想環境内の前記物体の前記三次元モデルを表す前記メッシュをレンダリングするように構成されるレンダラーと、
を備える、システム。
【請求項144】
前記物体は製品であり、前記第２の参加者は、前記製品の前記三次元モデルの周囲で前記仮想カメラをナビゲートすることができる、請求項１４３に記載のシステム。
【請求項145】
前記物体は広告である、請求項１４３に記載のシステム。
【請求項146】
前記仮想環境は建物である、請求項１４３に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照
[0001] 本願は、現在は２０２１年４月１３日付けで発行された米国特許第１０，９７９，６７２号として発行されている、２０２０年１０月２０日付けで出願された米国実用特許出願第１７／０７５，３３８号、２０２１年３月１１日付けで出願された米国実用特許出願第１７／１９８，３２３号、現在は２０２１年８月１７日付けで発行されている米国特許第１１，０９５，８５７号として発行されている２０２０年１０月２０日付けで出願された米国実用特許出願第１７／０７５，３６２号、現在は２０２１年３月１６日付けで発行されている米国特許第１０，９５２，００６号として発行されている２０２０年１０月２０日付けで出願された米国実用特許出願第１７／０７５，３９０号、現在は２０２１年７月２０日付けで発行されている米国特許第１１，０７０，７６８号として発行されている２０２０年１０月２０日付けで出願された米国実用特許出願第１７／０７５，４０８号、現在は２０２１年７月２７日付けで発行されている米国特許第１１，０７６，１２８号として発行されている２０２０年１０月２０日付けで出願された米国実用特許出願第１７／０７５，４２８号、及び２０２０年１０月２０日付けで出願された米国実用特許出願第１７／０７５，４５４号への優先権を主張するものである。これらの出願の各々の内容は、全体的に参照により本明細書に援用される。
[0001] 本願は、現在は２０２１年４月１３日付けで発行された米国特許第１０，９７９，６７２号として発行されている、２０２０年１０月２０日付けで出願された米国実用特許出願第１７／０７５，３３８号、２０２１年３月１１日付けで出願された米国実用特許出願第１７／１９８，３２３号、現在は２０２１年８月１７日付けで発行されている米国特許第１１，０９５，８５７号として発行されている２０２０年１０月２０日付けで出願された米国実用特許出願第１７／０７５，３６２号、現在は２０２１年３月１６日付けで発行されている米国特許第１０，９５２，００６号として発行されている２０２０年１０月２０日付けで出願された米国実用特許出願第１７／０７５，３９０号、現在は２０２１年７月２０日付けで発行されている米国特許第１１，０７０，７６８号として発行されている２０２０年１０月２０日付けで出願された米国実用特許出願第１７／０７５，４０８号、現在は２０２１年７月２７日付けで発行されている米国特許第１１，０７６，１２８号として発行されている２０２０年１０月２０日付けで出願された米国実用特許出願第１７／０７５，４２８号、及び２０２０年１０月２０日付けで出願された米国実用特許出願第１７／０７５，４５４号への優先権を主張するものである。これらの出願の各々の内容は、全体的に参照により本明細書に援用される。
【0002】
背景
分野
[0002] この分野は一般にテレビ会議に関する。
分野
[0002] この分野は一般にテレビ会議に関する。
【背景技術】
【0003】
関連技術
[0003] テレビ会議には、人々の間でリアルタイム通信するために、異なる場所にいる複数のユーザによる視聴覚信号の送受信が関わる。テレビ会議は、San Jose, CA所在のZoom Communications Inc.から入手可能なZOOMサービスを含め多様な様々なサービスから多くの計算デバイスで広く利用可能である。Cupertino, CA所在のApple Inc.から入手可能なFaceTimeアプリケーション等の幾つかのテレビ会議ソフトウェアは、モバイルデバイスに標準装備されている。
[0003] テレビ会議には、人々の間でリアルタイム通信するために、異なる場所にいる複数のユーザによる視聴覚信号の送受信が関わる。テレビ会議は、San Jose, CA所在のZoom Communications Inc.から入手可能なZOOMサービスを含め多様な様々なサービスから多くの計算デバイスで広く利用可能である。Cupertino, CA所在のApple Inc.から入手可能なFaceTimeアプリケーション等の幾つかのテレビ会議ソフトウェアは、モバイルデバイスに標準装備されている。
【0004】
[0004] 一般に、これらのアプリケーションは、他の会議参加者のビデオを表示し、オーディオを出力することによって動作する。複数の参加者がいる場合、画面は、各々が１人の参加者のビデオを表示する幾つかの矩形フレームに分割し得る。これらのサービスは、発話している人物のビデオを提示するより大きなフレームを有することによって動作することもある。異なる個人が発話する際、そのフレームは話者間で切り替わる。アプリケーションは、ユーザのデバイスに統合されたカメラからのビデオを捕捉し、ユーザのデバイスに統合されたマイクロホンからオーディオを捕捉する。アプリケーションは次いで、他のユーザのデバイスで実行中の他のアプリケーションにそのオーディオ及びビデオを送信する。
【0005】
[0005] これらのテレビ会議アプリケーションの多くは、画面共有機能を有する。あるユーザが自身の画面（又は自身の画面の一部）の共有を特定すると、ストリームが画面の内容と共にその他のユーザのデバイスに送信される。幾つかの場合、他のユーザは、そのユーザの画面上にあるものを制御することさえできる。このようにして、ユーザはプロジェクトで協働し、又は他のミーティング参加者に対してプレゼンテーションを行うことができる。
【0006】
[0006] 近年、テレビ会議技術は重要性を増した。病気、特にＣＯＶＩＤ－１９の蔓延を恐れて、多くの職場、見本市、ミーティング、会議、学校、及び礼拝所は閉鎖され、又は参加しないように勧められている。テレビ会議技術を使用した仮想会議はますます、物理的なミーティングに取って代わっている。加えて、この技術は、出張及び通勤を回避するため、物理的に合うことよりも優れた利点を提供する。
【0007】
[0007] しかしながら多くの場合、このテレビ会議技術を使用すると、場所の感覚が失われることになる。対面で物理的に会って同じ場所にいるという体験的側面があり、これは会議が仮想的に行われる場合、失われる。ユーザがポーズを取り、仲間を見ることが可能であるという社会的側面がある。体験のこの感覚は、関係及び社会的繋がりを作る上で重要である。従来のテレビ会議に関して言えば、今のところはまだこの感覚は欠けている。
【0008】
[0008] 更に、会議が数人の参加者で開始される場合、これらのテレビ会議技術に伴って更なる問題が生じる。物理的なミーティング会議では、人々は雑談することができる。近くにいる人々だけに通じるように声を出すことができる。幾つかの場合、より大きなミーティングの状況において私的な会話をすることさえできる。しかしながら、仮想会議を用い、複数の人々が同時に話す場合、ソフトウェアは２つのオーディオストリームを略等しく混合し、参加者に互いに割り込んで発話させる。したがって、複数の人々が仮想会議に関わる場合、私的な会話は不可能であり、対話はむしろ、１人から多くの人への発話の形になりがちである。ここでも、仮想会議では、参加者が社会的繋がりを作り、より効率的にコミュニケーションをとって人脈を広げる機会を逃す。
【0009】
[0009] 更に、ネットワーク帯域幅及び計算ハードウェアの制限に起因して、多くのストリームが会議で生じた場合、多くのテレビ会議の性能は遅くなり始める。多くの計算デバイスは、２～３人の参加者からのビデオストリームを扱うように装備されており、１２人以上の参加者からのビデオストリームを扱うようには装備されていない。全体的に仮想的に運営されている多くの学校では、２５人のクラスは学校発行の計算デバイスをかなり遅くさせ得る。
【0010】
[0010] 多人数参加型オンラインゲーム（ＭＭＯＧ又はＭＭＯ）は一般に、２５人よりもかなり多くの参加者を扱うことができる。これらのゲームでは多くの場合、１台のサーバに数百人又数千人のプレーヤがいる。ＭＭＯでは多くの場合、プレーヤはアバターを仮想世界のあちこちにナビゲートすることができる。これらのＭＭＯでは、ユーザが互いと話し、又はメッセージを互いに送信することができることがある。例には、San Mateo, CA所在のRoblox Corporationから入手可能なROBLOXゲーム及びStockholm, Sweden所在のMojang Studiosから入手可能なMINECRAFTゲームがある。
【0011】
[0011] 裸のアバターに互いと対話させることにはまた、社会的相互作用に関して制限がある。これらのアバターは通常、人々が多くの場合、非意図的に作る表情を伝えることができない。これらの表情はテレビ会議で観察可能である。幾つかの公開公報が、仮想世界においてアバターに配置されるビデオを記載している可能性がある。しかしながら、これらのシステムは典型的には、専用ソフトウェアを必要とし、有用性を制限する他の制限を有する。
【発明の概要】
【発明が解決しようとする課題】
【0012】
[0012] テレビ会議の改良された方法が必要とされている。
【課題を解決するための手段】
【0013】
概要
[0013] 一実施形態において、デバイスは、第１のユーザと第２のユーザとの間でのテレビ会議を可能にする。本デバイスは、メモリに結合されたプロセッサ、ディスプレイ画面、ネットワークインターフェース、及びウェブブラウザを含む。ネットワークインターフェースは、（ｉ）三次元仮想空間を指定するデータ、（ｉｉ）前記三次元仮想空間における位置及び方向であって、前記第１のユーザによって入力される位置及び方向、及び（ｉｉｉ）前記第１のユーザのデバイスのカメラから捕捉されるビデオストリームを受信するように構成される。第１のユーザのカメラは、第１のユーザの写真画像を捕捉するように位置決めされる。ウェブブラウザは、プロセッサで実施され、ウェブアプリケーションをサーバからダウンロードし、前記ウェブアプリケーションを実行するように構成される。ウェブアプリケーションは、テクスチャマッパ及びレンダラーを含む。テクスチャマッパは、ビデオストリームをアバターの三次元モデルにテクスチャマッピングするように構成される。レンダラーは、第２のユーザの仮想カメラの視点から、前記第２のユーザに表示するために、上記位置に配置され、上記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間をレンダリングするように構成される。ウェブアプリケーション内のテクスチャマッピングを管理することにより、実施形態は専用ソフトウェアをインストールする必要性を回避する。
[0013] 一実施形態において、デバイスは、第１のユーザと第２のユーザとの間でのテレビ会議を可能にする。本デバイスは、メモリに結合されたプロセッサ、ディスプレイ画面、ネットワークインターフェース、及びウェブブラウザを含む。ネットワークインターフェースは、（ｉ）三次元仮想空間を指定するデータ、（ｉｉ）前記三次元仮想空間における位置及び方向であって、前記第１のユーザによって入力される位置及び方向、及び（ｉｉｉ）前記第１のユーザのデバイスのカメラから捕捉されるビデオストリームを受信するように構成される。第１のユーザのカメラは、第１のユーザの写真画像を捕捉するように位置決めされる。ウェブブラウザは、プロセッサで実施され、ウェブアプリケーションをサーバからダウンロードし、前記ウェブアプリケーションを実行するように構成される。ウェブアプリケーションは、テクスチャマッパ及びレンダラーを含む。テクスチャマッパは、ビデオストリームをアバターの三次元モデルにテクスチャマッピングするように構成される。レンダラーは、第２のユーザの仮想カメラの視点から、前記第２のユーザに表示するために、上記位置に配置され、上記方向を向いた前記アバターの前記テクスチャマッピングされた三次元モデルを含む前記三次元仮想空間をレンダリングするように構成される。ウェブアプリケーション内のテクスチャマッピングを管理することにより、実施形態は専用ソフトウェアをインストールする必要性を回避する。
【0014】
[0014] 一実施形態において、コンピュータ実施方法は、複数の参加者を含む仮想会議でのプレゼンテーションを可能にする。本方法において、三次元仮想空間を指定するデータが受信される。三次元仮想空間における位置及び方向も受信される。位置及び方向は、会議への複数の参加者のうちの第１の参加者によって入力された。最後に、第１の参加者のデバイスのカメラから捕捉されたビデオストリームが受信される。カメラは、第１の参加者の写真画像を捕捉するように位置決めされた。ビデオストリームは、アバターの三次元モデルにテクスチャマッピングされる。加えて、第１の参加者のデバイスからのプレゼンテーションストリームが受信される。プレゼンテーションストリームは、プレゼンテーション画像の三次元モデルにテクスチャマッピングされる。最後に、テクスチャマッピングされたアバター及びテクスチャマッピングされたプレゼンテーション画面を有する三次元仮想空間が、複数の参加者のうちの第２の参加者の仮想カメラの視点から、第２の参加者に表示するために、レンダリングされる。このようにして、実施形態は、社会会議環境でプレゼンテーションを可能にする。
【0015】
[0015] 一実施形態において、コンピュータ実施方法は、複数の参加者を含む仮想会議にオーディオを提供する。本方法において、第２のユーザのテクスチャマッピングされたビデオを有するアバターを含む三次元仮想空間は、第１のユーザの仮想カメラの視点から、第１のユーザに表示するためにレンダリングされる。仮想カメラは、三次元仮想空間において第１の位置にあり、アバターは、三次元仮想空間において第２の位置にある。第２のユーザのデバイスのマイクロホンからのオーディオストリームが受信される。マイクロホンは、第２のユーザの発話を捕捉するように位置決めされた。受信されたオーディオストリームの音量は、左オーディオストリーム及び右オーディオストリームを特定して、第２の位置が三次元仮想空間において第１の位置に相対する場所の感覚を提供するように調整される。左オーディオストリーム及び右オーディオストリームはステレオで出力されて、第１のユーザに再生される。
【0016】
[0016] 一実施形態において、コンピュータ実施方法は、仮想会議にオーディオを提供する。本方法において、第２のユーザのテクスチャマッピングされたビデオを有するアバターを含む三次元仮想空間が、第１のユーザの仮想カメラの視点から、第１のユーザに表示するためにレンダリングされる。仮想カメラは、三次元仮想空間において第１の位置にあり、アバターは、三次元仮想空間において第２の位置にある。第２のユーザのデバイスのマイクロホンからのオーディオストリームが受信される。仮想カメラ及びアバターが複数のエリア中の同じエリアに配置されるか否かが特定される。仮想カメラ及びアバターが、同じエリアに配置されないと特定される場合、オーディオストリームは減衰する。減衰したオーディオストリームが出力されて第１のユーザに対して再生される。このようにして、実施形態は、仮想テレビ会議環境において私的な会話及び雑談を可能にする。
【0017】
[0017] 一実施形態において、コンピュータ実施方法は、仮想会議に向けてビデオを効率的にストリーミングする。本方法において、仮想会議空間における第１のユーザと第２のユーザとの間の距離が特定される。第１のユーザのデバイスのカメラから捕捉されたビデオストリームが受信される。カメラは、第１のユーザの写真画像を捕捉するように位置決めされた。ビデオストリームの解像度又はビットレートは、距離が近いほど、距離が遠い場合よりも解像度が高くなるように、特定された距離に基づいて低減される。ビデオストリームは、仮想会議空間内の第２のユーザに表示するために、第２のユーザのデータに低減した解像度又はビットレートで送信される。ビデオストリームは、仮想会議空間内の第２のユーザに表示するために、第１のユーザのアバターにテクスチャマッピングされるべきである。このようにして、多数の会議参加者がいる場合であっても、実施形態は帯域幅及び計算リソースを効率的に割り振る。
【0018】
[0018] 一実施形態において、コンピュータ実施方法は、仮想テレビ会議においてモデリングを可能にする。本方法において、仮想環境の三次元モデルである、物体の三次元モデルを表すメッシュ及び仮想テレビ会議の参加者からのビデオストリームが受信される。ビデオストリームは、参加者によって操縦可能なアバターにテクスチャマッピングされる。テクスチャマッピングされたアバター及び仮想環境内の物体の三次元モデルを表すメッシュは、表示に向けてレンダリングされる。
【0019】
[0019] システム、デバイス、及びコンピュータプログラム製品の実施形態も開示される。
【0020】
[0020] 本発明の更なる実施形態、特徴、及び利点、並びに種々の実施形態の構造及び動作について、添付図面を参照して以下詳細に説明する。
【0021】
図面の簡単な説明
[0021] 添付図面は、本明細書に組み込まれて本発明の一部をなし、本開示を示し、説明と一緒に、本開示の原理を説明し、当業者が本開示を作成し使用できるようにするよう更に機能する。
[0021] 添付図面は、本明細書に組み込まれて本発明の一部をなし、本開示を示し、説明と一緒に、本開示の原理を説明し、当業者が本開示を作成し使用できるようにするよう更に機能する。
【図面の簡単な説明】
【0022】
【図1】[0022]ビデオストリームがアバターにマッピングされた、仮想環境においてテレビ会議を提供するインターフェース例を示す図である。
【図2】[0023]テレビ会議に向けてアバターを有する仮想環境をレンダリングするのに使用される三次元モデルを示す図である。
【図3】[0024]仮想環境においてテレビ会議を提供するシステムを示す図である。
【図5】[0026]相対的に左右音量を調整して、テレビ会議中、仮想環境における位置の感覚を提供する方法を示すフローチャートである。
【図6】[0027]アバター間の距離が増大するにつれて音量がいかに下がるかを示すチャートである。
【図7】[0028]テレビ会議中、仮想環境において異なる音量エリアを提供するように相対音量を調整する方法を示すフローチャートである。
【図8A】[0029]テレビ会議中、仮想環境における異なる音量エリアを示す図である。
【図8B】[0029]テレビ会議中、仮想環境における異なる音量エリアを示す図である。
【図9A】[0030]テレビ会議中、仮想環境における音量エリアの階層横断を示す図である。
【図9B】[0030]テレビ会議中、仮想環境における音量エリアの階層横断を示す図である。
【図9C】[0030]テレビ会議中、仮想環境における音量エリアの階層横断を示す図である。
【図10】[0031]三次元仮想環境における三次元モデルとの対話を示す。
【図11】[0032]テレビ会議に使用される三次元仮想環境におけるプレゼンテーション画面共有を示す。
【図12】[0033]三次元仮想環境内のアバターの相対位置に基づいて、利用可能な帯域幅を分配する方法を示すフローチャートである。
【図13】[0034]アバター間の距離が増大するにつれて優先値がいかに低下することができるかを示すチャートである。
【図14】[0035]相対優先度に基づいて割り振られる帯域波をいかに変更することができるかを示すチャートである。
【図15】[0036]仮想環境内でテレビ会議を提供するのに使用されるデバイスの構成要素を示す図である。
【発明を実施するための形態】
【0023】
[0037] 要素が最初に現れた図面は典型的には、対応する参照番号における左端の１つ又は複数の桁によって示される。図面中、同様の参照番号は同一の要素又は機能的に同一の要素を示し得る。
【0024】
詳細な説明
仮想環境におけるアバターを用いたテレビ会議
[0038] 図１は、ビデオストリームがアバターにマッピングされる、仮想環境においてテレビ会議を提供する一例のインターフェース１００を示す図である。
仮想環境におけるアバターを用いたテレビ会議
[0038] 図１は、ビデオストリームがアバターにマッピングされる、仮想環境においてテレビ会議を提供する一例のインターフェース１００を示す図である。
【0025】
[0039] インターフェース１００は、テレビ会議への参加者に表示し得る。例えば、インターフェース１００は、参加者に表示するためにレンダリングされ得、テレビ会議が進行するにつれて常時更新し得る。ユーザは、例えばキーボード入力を使用してユーザの仮想カメラの向きを制御し得る。このようにして、ユーザは仮想環境のあちこちをナビゲートすることができる。一実施形態において、異なる入力が、仮想環境における仮想カメラのＸ及びＹ位置並びにパン角及びチルト角を変更し得る。更なる実施形態において、ユーザは入力を使用して、仮想カメラの高さ（Ｚ座標）又はヨーを変更し得る。更なる実施形態において、ユーザは入力を入力して、仮想カメラが元の位置に戻る間、仮想カメラに「ホップ」アップさせて重力をシミュレートし得る。仮想カメラのナビゲートに利用可能な入力は、例えば、仮想カメラをＸ－Ｙ平面上で前後左右に移動させるＷＡＳＤキーボードキー、仮想カメラを「ホップ」させるスペースバーキー、並びにパン角及びチルト角の変更を指定するマウス移動等のキーボード入力及びマウス入力を含み得る。
【0026】
[0040] インターフェース１００はアバター１０２Ａ及び１０２Ｂを含み、各アバターはテレビ会議への異なる参加者を表す。アバター１０２Ａ及び１０２Ｂはそれぞれ、第１及び第２の参加者のデバイスからのビデオストリーム１０４Ａ及び１０４Ｂがテクスチャマッピングされている。テクスチャマップとは、形状又は多角形の表面に適用（マッピング）される画像である。ここでは、画像はビデオの各フレームである。ビデオストリーム１０４Ａ及び１０４Ｂを捕捉するカメラデバイスは、各参加者の顔を捕捉するように位置決めされる。このようにして、アバターはテクスチャマッピングされ、ミーティングでの参加者が話を聞くとき、顔の画像を移動させる。
【0027】
[0041] 仮想カメラがユーザ閲覧インターフェース１００によって制御される方法と同様に、アバター１０２Ａ及び１０２Ｂの場所及び方向は、アバターが表す各参加者によって制御される。アバター１０２Ａ及び１０２Ｂは、メッシュによって表現される三次元モデルである。各アバター１０２Ａ及び１０２Ｂは、アバターの下に参加者の氏名を有し得る。
【0028】
[0042] 各アバター１０２Ａ及び１０２Ｂは種々のユーザによって制御される。アバターは各々、アバター自身の仮想カメラが仮想環境内で配置されている場所に対応するポイントに位置決めされ得る。ユーザ閲覧インターフェース１００が仮想カメラの周囲を移動できるのと全く同じように、種々のユーザは各アバター１０２Ａ及び１０２Ｂの周囲を移動することができる。
【0029】
[0043] インターフェース１００にレンダリングされる仮想環境は、背景画像１２０と、アリーナの三次元モデル１１８とを含む。アリーナは、テレビ会議が行われるべき会場又は建物であり得る。アリーナは、壁で仕切られたフロアエリアを含み得る。三次元モデル１１８は、メッシュ及びテクスチャを含むことができる。三次元モデル１１８の表面を数学的に表す他の方法も同様に可能であり得る。例えば、ポリゴンモデリング、曲線モデリング、及びデジタルスカルプティングが可能であり得る。例えば、三次元モデル１１８は、ボクセル、スプライン、幾何プリミティブ、ポリゴン、又は三次元空間における任意の他の可能な表現によって表され得る。三次元モデル１１８は光源の仕様を含むこともできる。光源は例えば、点光源、指向性光源、スポットライト光源、及び周囲光源を含むことができる。物体は、いかに光を反射するかを記述する特定の性質を有することもできる。例では、性質は拡散照明相互作用、周囲照明相互作用、及びスペクトル照明相互作用を含み得る。
【0030】
[0044] アリーナに加えて、仮想環境は、環境の異なる構成要素を示す種々の他の三次元モデルを含むことができる。例えば、三次元環境は、装飾モデル１１４、スピーカモデル１１６、及びプレゼンテーション画面モデル１２２を含むことができる。モデル１１８と全く同様に、これらのモデルは、三次元空間において幾何表面を表す任意の数学的方法を使用して表すことができる。これらのモデルは、モデル１１８とは別個であってもよく、又は仮想環境の単一表現に結合されてもよい。
【0031】
[0045] モデル１１４等の装飾モデルは、リアリズムを強化し、アリーナの美的アピールを増大させるように機能する。スピーカモデル１１６は、図５及び図７に関して更に詳細に下述するように、プレゼンテーション及び背景音楽等の音声を仮想的に発し得る。プレゼンテーション画面モデル１２２は、プレゼンテーションを例示するためのアウトレットを提供するように機能することができる。プレゼンター又はプレゼンテーション画面共有のビデオは、プレゼンテーション画面モデル１２２にテクスチャマッピングし得る。
【0032】
[0046] ボタン１０８は、参加者のリストをユーザに提供し得る。一例において、ユーザがボタン１０８を選択した後、ユーザは、テキストメッセージを個々に又はグループとして送信することによって他の参加者とチャットすることができる。
【0033】
[0047] ボタン１１０は、ユーザが、インターフェース１００のレンダリングに使用される仮想カメラの属性を変更できるようにし得る。例えば、仮想カメラは、データが表示に向けてレンダリングされる角度を指定する視野を有し得る。カメラ視野内のデータのモデリングがレンダリングされ、一方、カメラ視野外のデータのモデリングはレンダリングされなくてもよい。デフォルトにより、仮想カメラの視野は、広角レンズ及び人間の視覚と釣り合った６０°と１１０°との間のどこかに設定し得る。しかしながら、ボタン１１０を選択すると、仮想カメラは、魚眼レンズと釣り合った１７０°を超えて視野を増大させ得る。これにより、ユーザは、仮想環境中の周囲のより広い周辺認識を有することが可能であり得る。
【0034】
[0048] 最後に、ボタン１１２により、ユーザは仮想環境から出る。ボタン１１２を選択すると、他の参加者に属するデバイスに、前にインターフェース１００を見ていたユーザに対応するアバターの表示を停止させるようにデバイスにシグナリングする通知が通知され得る。
【0035】
[0049] このようにして、インターフェース仮想３Ｄ空間を使用して、テレビ会議を行う。あらゆるユーザはアバターを制御し、ユーザは、あちこち移動する、周囲を見る、ジャンプする、又は位置もしくは向きを変更する他のことを行うようにアバターを制御することができる。仮想カメラは、ユーザに仮想３Ｄ環境及びその他のアバターを示す。その他のユーザのアバターは、一体部分として、ユーザのウェブカム画像を示す仮想ディスプレイを有する。
【0036】
[0050] ユーザに空間の感覚を与え、ユーザが互いの顔を見られるようにすることにより、実施形態は、従来のウェブ会議又は従来のＭＭＯゲームよりも社会的な体験を提供する。より社会的な体験は多様な用途を有する。例えば、オンラインショッピングで使用することができる。例えば、インターフェース１００は、仮想のスーパーマーケット、礼拝所、見本市、Ｂ２Ｂ販売、Ｂ２Ｃ販売、スクーリング、レストラン又は食堂、製品リリース、建築現場訪問（例えば建築家、エンジニア、請負業者用）、オフィススペース（例えば人々が仮想的に「各自のデスクで」仕事をする）、機械のリモート制御（船、車両、飛行機、潜水艦、ドローン、穿孔機器等）、工場／施設制御室、医療処置、庭設計、ガイド付き仮想バスツアー、音楽イベント（例えばコンサート）、講義（例えばＴＥＤトーク）、政治団体のミーティング、役員ミーティング、水中調査、辿り着くのが難しい場所の調査、緊急事態（例えば火災）に向けた訓練、料理、買い物（支払い及び配達）、仮想アート及びクラフト（例えば絵画及び陶芸）、結婚式、葬式、洗礼式、リモートスポーツ訓練、カウンセリング、恐怖への対処（例えば対面療法）、ファッションショー、アミューズメントパーク、家の装飾、スポーツ観戦、ｅスポーツ観戦、三次元カメラを使用して捕捉されたパフォーマンスの閲覧、ボードゲーム及びルールプレイングゲームでの遊び、医療画像上／医療画像を通して歩くこと、地質データの閲覧、言語学習、視覚障害者用の空間におけるミーティング、聴覚障害者用の空間におけるミーティング、通常なら歩くことができない又は立つことができない人々によるイベントへの参加、ニュース又は天気の提示、トークショー、本のサイン会、投票、ＭＭＯ、仮想ロケーションの購入／販売（San Francisco, CA所在のLinden Research, Inc.から入手可能なSECOND LIFEゲームのような幾つかのＭＭＯで利用可能なもの等）、蚤の市、ガレージセール、旅行エージェンシー、銀行、アーカイブ、コンピュータプロセス管理、フェンシング／刀剣格闘技／武術、再現ビデオ（例えば犯罪シーン及び／又は事故の再現）、リアルイベントのリハーサル（例えばウェディング、プレゼンテーション、ショー、スペースウォーク）、三次元カメラで捕捉されたリアルイベントの評価又は閲覧、家畜ショー、動物園、背の高い人／背の低い人／視覚障害者／聴覚障害者／白人／黒人としての人生の体験（例えばユーザが反応を体験したい視点をシミュレートするための仮想世界の変更ビデオストリーム又は静止画）、ジョブ面接、ゲームショー、インタラクティブフィクション（例えば殺人ミステリー）、仮想魚釣り、仮想セーリング、心理学的調査、挙動分析、仮想スポーツ（例えばクライミング／ボルダリング）、家又は他の場所での照明制御等（ホームオートメーション）、記憶の宮殿、考古学、ギフトショップ、顧客が実際に訪れたときにより快適であるようにするような仮想訪問、処置を説明し、人々により快適に感覚させるための仮想医療処置及び仮想取引所／金融市場／株式市場（例えばリアルタイムデータ及びビデオフィードを統合して仮想世界のリアルタイム取引及び分析にする）、実際に互いと組織的に会えるようにする、仕事の一環として人々が行く必要がある仮想場所（例えばインボイスを作成したい場合、仮想場所内からでのみそうすることが可能である）、及び顔の表情（例えば軍事、法執行、消防士、特殊作戦にとって有用）を見ることができるように人物の顔をＡＲヘッドセット（又はヘルメット）上に投影する拡張現実、並びに予約（例えば特定の別荘／車／等）を提供するに当たり用途を有する。
【0037】
[0051] 図２は、テレビ会議に向けてアバターを有する仮想環境をレンダリングするのに使用される三次元モデルを示す図２００である。図１に示されるのと全く同様に、ここでの仮想環境は三次元アリーナ１１８と、三次元モデル１１４及び１２２を含む種々の三次元モデルとを含む。これもまた図１に示されるように、図２００は、仮想環境のあちこちをナビゲートするアバター１０２Ａ及び１０２Ｂを含む。
【0038】
[0052] 上述したように、図１中のインターフェース１００は、仮想カメラの視点からレンダリングされる。その仮想カメラは、図２００において仮想カメラ２０４として示されている。先に述べたように、図１におけるユーザ閲覧インターフェース１００は、仮想カメラ２０４を制御し、仮想カメラを三次元空間でナビゲートすることができる。インターフェース１００は一貫して、仮想カメラ２０４の新しい位置及び仮想カメラ２０４のしや内のモデルの任意の変化に従って更新される。上述したように、仮想カメラ２０４の視野は、画角の水平視野及び垂直視野によって少なくとも部分的に定義される錐台であり得る。
【0039】
[0053] 図１に関して上述したように、背景画像又はテクスチャは仮想環境の少なくとも一部を定義し得る。背景画像は、遠くに見えることが意図される仮想環境の側面を捕捉し得る。背景画像は球体２０２にテクスチャマッピングし得る。仮想カメラ２０４は球体２０２の原点であり得る。このようにして、仮想環境の遠くの特徴を効率的にレンダリングし得る。
【0040】
[0054] 他の実施形態において、球体２０２の代わりに他の形状を使用して、背景画像にテクスチャマッピングし得る。種々の代替の実施形態において、形状は円柱形、立方体、矩形プリズム、又は任意の他の三次元ジオメトリであり得る。
【0041】
[0055] 図３は、仮想環境においてテレビ会議を提供するシステム３００を示す図である。システム３００は、１つ又は複数のネットワーク３０４を介してデバイス３０６Ａ及び３０６Ｂに結合されたサーバ３０２を含む。
【0042】
[0056] サーバ３０２は、デバイス３０６Ａと３０６Ｂとの間でテレビ会議セッションを接続するサービスを提供する。より詳細に下述するように、サーバ３０２は、新しい参加者が会議に加わったとき及び既存の参加者が会議から退出するとき、通知を会議参加者のデバイス（例えばデバイス３０６Ａ及び３０６Ｂ）に通信する。サーバ３０２は、三次元仮想空間内の各参加者の仮想カメラの三次元仮想空間における位置及び方向を記述するメッセージを通信する。サーバ３０２は、ビデオ及びオーディオストリームを参加者の各デバイス（例えばデバイス３０６Ａ及び３０６Ｂ）間で通信もする。最後に、サーバ３０２は、三次元仮想空間を指定するデータを記述するデータを記憶し、各デバイス３０６Ａ及び３０６Ｂに送信する。
【0043】
[0057] 仮想会議に必要なデータに加えて、サーバ３０２は、インタラクティブ会議を提供するためにデータをいかにレンダリングするかについてデバイス３０６Ａ及び３０６Ｂに指示する、実行可能情報を提供し得る。
【0044】
[0058] サーバ３０２は要求に対して応答で応答する。サーバ３０２はウェブサーバであり得る。ウェブサーバは、ＨＴＴＰ（ハイパーテキスト転送プロトコル）及び他のプロトコルを使用して、ワールドワイドウェブを経由して行われたクライアント要求に応答するソフトウェア及びハードウェアである。ウェブサーバの主な仕事は、ウェブページの記憶、処理、及びユーザの送出を通してウェブサイトコンテンツを表示することである。
【0045】
[0059] 代替の一実施形態において、デバイス３０６Ａと３０６Ｂとの間の通信はサーバ３０２を通して行われず、ピアツーピアベースで行われる。その実施形態において、各参加者の場所及び方向を記述するデータ、新しい参加者及び既存の参加者に関する通知、並びに各参加者のビデオストリーム及びオーディオストリームの１つ又は複数は、サーバ３０２を通してではなく、デバイス３０６Ａと３０６Ｂとの間で直接通信される。
【0046】
[0060] ネットワーク３０４は、種々のデバイス３０６Ａ及び３０６Ｂ並びにサーバ３０２間の通信を可能にする。ネットワーク３０４はアドホックネットワーク、イントラネット、エクストラネット、仮想施設ネットワーク（ＶＰＮ）、ローカルエリアネットワーク（ＬＡＮ）、無線ＬＡＮ（ＷＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、無線ワイドエリアネットワーク（ＷＷＡＮ）、大都市圏ネットワーク（ＭＡＮ）、インターネットの一部、公衆交換電話回線網（ＰＳＴＮ）の一部、セルラ電話回線網、ワイヤレスネットワーク、WiFiネットワーク、WiMaxネットワーク、任意の他のタイプのネットワーク、又は２つ以上のそのようなネットワークの任意の組合せであり得る。
【0047】
[0061] デバイス３０６Ａ及び３０６Ｂは、仮想会議への各参加者の各デバイスである。デバイス３０６Ａ及び３０６Ｂは各々、仮想会議を行うために必要なデータを受信し、仮想会議を提供するのに必要なデータをレンダリングする。より詳細に下述するように、デバイス３０６Ａ及び３０６Ｂは、レンダリングされた会議情報を提示するためのディスプレイ、ユーザが仮想カメラを制御できるようにする入力、会議に向けてオーディオをユーザに提供するスピーカ（ヘッドセット等）、ユーザの音声入力を捕捉するためのマイクロホン、及びユーザの顔のビデオを捕捉するように位置決めされたカメラを含む。
【0048】
[0062] デバイス３０６Ａ及び３０６Ｂは、ラップトップ、デスクトップ、スマートフォン若しくはタブレットコンピュータ、又はウェアラブルコンピュータ（スマーツウォッチ、又は拡張現実、若しくは仮想現実ヘッドセット等）を含め、任意のタイプの計算デバイスであることができる。
【0049】
[0063] ウェブブラウザ３０８Ａ及び３０８Ｂは、リンク識別子（例えばユニフォームリソースロケータ又はＵＲＬ）によってアドレス指定されたネットワークリソース（ウェブページ等）を検索し、表示に向けてネットワークリソースを提示することができる。特に、ウェブブラウザ３０８Ａ及び３０８Ｂは、ワールドワイドウェブ上の情報にアクセスするためのソフトウェアアプリケーションである。通常、ウェブブラウザ３０８Ａ及び３０８Ｂは、ハイパーテキスト転送プロトコル（ＨＴＴＰ又はＨＴＴＰＳ）を使用してこの要求を行う。ユーザが特定のウェブサイトからのウェブページを要求すると、ウェブブラウザは必要なコンテンツをウェブサーバから検索し、コンテンツを解釈して実行し、次いでクライアント／相手方会議アプリケーション３０８Ａ及び３０８Ｂとして示されているデバイス３０６Ａ及び３０６Ｂのディスプレイにページを表示する。例において、コンテンツは、ＨＴＭＬ及びJavaScript等のクライアント側スクリプトを有し得る。表示されると、ユーザは情報を入力し、ページ上で選択を行うことができ、それによりウェブブラウザ３０８Ａ及び３０８Ｂは更なる要求を行う。
【0050】
[0064] 会議アプリケーション３１０Ａ及び３１０Ｂは、サーバ３０２からダウンロードされ、各ウェブブラウザ３０８Ａ及び３０８Ｂによって実行されるように構成されたウェブアプリケーションであり得る。一実施形態において、会議アプリケーション３１０Ａ及び３１０ＢはJavaScriptアプリケーションであり得る。一例において、会議アプリケーション３１０Ａ及び３１０Ｂは、Typescript言語等の高水準言語で書き、JavaScriptに翻訳又はコンパイルすることができる。会議アプリケーション３１０Ａ及び３１０Ｂは、WebGL JavaScriptアプリケーションプログラミングインターフェースと対話するように構成される。JavaScriptで指定された制御コード及びOpenGL ESシェーディング言語（ＧＬＳＬ ＥＳ）で書かれたシェーダコードを有し得る。WebGL ＡＰＩを使用して、会議アプリケーション３１０Ａ及び３１０Ｂはデバイス３０６Ａ及び３０６Ｂのグラフィックス処理ユニット（図示せず）を利用することが可能であり得る。更に、プラグインを使用しないインタラクティブ二次元及び三次元グラフィックスのOpenGLレンダリング。
【0051】
[0065] 会議アプリケーション３１０Ａ及び３１０Ｂは、サーバ３０２から、他のアバターの位置及び方向を記述するデータ並びに仮想環境を記述する三次元モデリング情報を受信する。加えて、会議アプリケーション３１０Ａ及び３１０Ｂは、サーバ３０２から他の会議参加者のビデオストリーム及びオーディオストリームを受信する。
【0052】
[0066] 会議アプリケーション３１０Ａ及び３１０Ｂは、三次元環境を記述するデータ及び各参加者アバターを表すデータを含め、３つの三次元モデリングデータをレンダリングする。このレンダリングには、ラスタ化技法、テクスチャマッピング技法、レイトレーシング技法、シェーディング技法、又は他のレンダリング技法が関わり得る。一実施形態において、レンダリングには、仮想カメラの特性に基づくレイトレーシングが関わり得る。レイトレーシングは、光路を画像面におけるピクセルとしてトレースし、仮想物体との直面の効果をシミュレートすることによって画像を生成することを含む。幾つかの実施形態において、リアリズムを強化するために、レイトレーシングは、反射、屈折、散乱、及び拡散等の光学効果をシミュレートし得る。
【0053】
[0067] このようにして、ユーザはウェブブラウザ３０８Ａ及び３０８Ｂを使用して、仮想空間に入り得る。シーンはユーザの画面に表示される。ユーザのウェブカムビデオストリーム及びマイクロンオーディオストリームはサーバ３０２に送信される。他のユーザが仮想空間に入ると、それらのユーザのアバターモデルが作成される。このアバターの位置はサーバに送信され、その他のユーザによって受信される。他のユーザはまた、オーディオ／ビデオストリームが利用可能なことの通知をサーバ３０２から取得もする。ユーザのビデオストリームは、そのユーザに作成されたアバターに配置される。オーディオストリームは、アバターの位置から来るものとして再生される。
【0054】
[0068] 図４Ａ～図４Ｃは、テレビ会議を提供するために図３におけるシステムの種々の構成要素間でデータがいかに転送されるかを示す。図３のように、図４Ａ～図４Ｃの各々は、サーバ３０２とデバイス３０６Ａ及び３０６Ｂとの間の接続を示す。特に図４Ａ～図４Ｃはそれらのデバイス間のデータフロー例を示す。
【0055】
[0069] 図４Ａは、サーバ３０２が、仮想環境を記述したデータをデバイス３０６Ａ及び３０６Ｂにいかに送信するかを示す図４００を示す。特に、両デバイス３０６Ａ及び３０６Ｂは、サーバ３０２から三次元アリーナ４０４、背景テクスチャ４０２、空間階層４０８、及び任意の他の三次元モデリング情報４０６を受信する。
【0056】
[0070] 上述したように、背景テクスチャ４０２は、仮想環境の別個の特徴を示す画像である。画像は規則的（レンガの壁等）又は非規則的であり得る。背景テクスチャ４０２は、ビットマップ、ＪＰＥＧ、ＧＩＦ、又は他のファイル画像フォーマット等の任意の一般的な画像ファイルフォーマットで符号化し得る。例えば、遠くの球体に対してレンダリングされる背景画像を記述する。
【0057】
[0071] 三次元アリーナ４０４は、会議が行われる空間の三次元モデルである。上述したように、三次元アリーナ４０４は例えば、メッシュと、恐らくは、記述する三次元プリミティブにマッピングされるそれ自体のテクスチャ情報とを含み得る。仮想カメラ及び各アバターは、仮想環境内をナビゲートすることができる空間を定義し得る。したがって、ナビゲート可能な仮想環境の外周をユーザに示すエッジ（壁又はフェンス等）によって区切られ得る。
【0058】
[0072] 空間階層４０８は、仮想環境において区画を指定するデータである。これらの参加者は、音声が、参加者間で転送される前にいかに処理されるかを特定するのに使用される。下述するように、この区画データは階層を有し得、仮想会議への参加者が私的な会話又は雑談をすることができるエリアで許される音声処理を記述し得る。
【0059】
[0073] 三次元モデル４０６は、会議を行うために必要な任意の他の三次元モデリング情報である。一実施形態において、これは、各アバターを記述する情報を含み得る。代替又は追加として、この情報は製品デモを含み得る。
【0060】
[0074] 会議を行うために必要な情報が参加者に送信された状態で、図４Ｂ及び図４Ｃは、サーバ３０２が情報をデバイス間でいかに転送するかを示す。図４Ｂは、サーバ３０２が各デバイス３０６Ａ及び３０６Ｂから情報をいかに受信するかを示す図４２０を示し、図４Ｃは、サーバ３０２が各デバイス３０６Ｂ及び３０６Ａに情報をいかに送信するかを示す図４２０を示す。特に、デバイス３０６Ａは位置及び方向４２２Ａ、ビデオストリーム４２４Ａ、並びにオーディオストリーム４２６Ａをサーバ３０２に送信し、サーバ３０２は、位置及び方向４２２Ａ、ビデオストリーム４２４Ａ、並びにオーディオストリーム４２６Ａをデバイス３０６Ｂに送信する。そしてデバイス３０６Ｂは位置及び方向４２２Ｂ、ビデオストリーム４２４Ｂ、並びにオーディオストリーム４２６Ｂをサーバ３０２に送信し、サーバ３０２は、位置及び方向４２２Ｂ、ビデオストリーム４２４Ｂ、並びにオーディオストリーム４２６Ｂをデバイス３０６Ａに送信する。
【0061】
[0075] 位置及び方向４２２Ａ及び４２２Ｂは、デバイス３０６Ａを使用するユーザの仮想カメラの位置及び方向を記述する。上述したように、位置は三次元空間における座標（例えばｘ、ｙ、ｚ座標）であり得、方向は三次元空間における方向（例えばパン、チルト、ロール）であり得る。幾つかの実施形態において、ユーザは仮想カメラのロールを制御することが可能ではないことがあり、したがって、方向はパン角及びチルト角のみを指定することがある。同様に、幾つかの実施形態において、ユーザはアバターのｚ座標を制御することができないことがあり（アバターは仮想重力によって拘束されるため）、したがって、ｚ座標は不必要であり得る。このようにして、位置及び方向４２２Ａ及び４２２Ｂは各々、少なくとも、三次元仮想空間における水平面上の座標並びにパン値及びチルト値を含み得る。代替又は追加として、ユーザはアバターを「ジャンプ」させることが可能であり得、したがって、Ｚ位置は、ユーザがアバターをジャンプさせているか否かの指示によってのみ指定し得る。
【0062】
[0076] 異なる例において、位置及び方向４２２Ａ及び４２２Ｂは、ＨＴＴＰ要求応答を使用して又はソケットメッセージングを使用して送受信し得る。
【0063】
[0077] ビデオストリーム４２４Ａ及び４２４Ｂは、各デバイス３０６Ａ及び３０６Ｂのカメラから捕捉されたビデオデータである。ビデオは圧縮し得る。例えば、ビデオは、ＭＰＥＧ－４、ＶＰ８、又はＨ．２６４を含め、任意の一般的に知られているビデオコーデックを使用し得る。ビデオはリアルタイムで捕捉し送信し得る。
【0064】
[0078] 同様に、オーディオストリーム４２６Ａ及び４２６Ｂは、各デバイスのマイクロホンから捕捉されたオーディオデータである。オーディオは圧縮し得る。例えば、ビデオはＭＰＥＧ－４又はvorbisを含め、任意の一般的に知られているオーディオコーデックを使用し得る。オーディオはリアルタイムで捕捉して送信し得る。ビデオストリーム４２４Ａ及びオーディオストリーム４２６Ａは、互いと同期して捕捉され、伝送され、提示される。同様に、ビデオストリーム４２４Ｂ及びオーディオストリーム４２６Ｂも、互いと同期して捕捉され、伝送され、提示される。
【0065】
[0079] ビデオストリーム４２４Ａ及び４２４Ｂ並びにオーディオストリーム４２６Ａ及び４２６Ｂは、WebRTCアプリケーションプログラミングインターフェースを使用して伝送し得る。WebRTCはJavaScriptで利用可能なＡＰＩである。上述したように、デバイス３０６Ａ及び３０６Ｂは、会議アプリケーション３１０Ａ及び３１０Ｂとしてウェブアプリケーションをダウンロードして実行し、会議アプリケーション３１０Ａ及び３１０ＢはJavaScriptで実施し得る。会議アプリケーション３１０Ａ及び３１０ＢはWebRTCを使用して、JavaScriptからＡＰＩ呼び出しを行うことにより、ビデオストリーム４２４Ａ及び４２４Ｂ並びにオーディオストリーム４２６Ａ及び４２６Ｂを受信及び送信し得る。
【0066】
[0080] 先に触れたように、ユーザが仮想会議から退出するとき、この離脱は他の全てのユーザに通信される。例えば、デバイス３０６Ａが仮想会議を出る場合、サーバ３０２は、その離脱をデバイス３０６Ｂに通信する。その結果、デバイス３０６Ｂはデバイス３０６Ａに対応するアバターのレンダリングを停止し、そのアバターを仮想空間から削除する。更に、デバイス３０６Ｂは、ビデオストリーム４２４Ａ及びオーディオストリーム４２６Ａの受信を停止する。
【0067】
[0081] 上述したように、会議アプリケーション３１０Ａ及び３１０Ｂは、各ビデオストリーム４２４Ａ及び４２４Ｂからの新しい情報、位置及び方向４２２Ａ及び４２２Ｂ、並びに三次元環境に関連する新しい情報に基づいて仮想空間を周期的又は断続的に再レンダリングし得る。簡潔にするために、これらの更新の各々はここでは、デバイス３０６Ａの視点から説明される。しかしながら、当業者ならば、同様の変更を所与として、デバイス３０６Ｂも同様に挙動することを理解しよう。
【0068】
[0082] デバイス３０６Ａは、ビデオストリーム４２４Ｂを受信すると、ビデオストリーム４２４Ａからのフレームを、デバイス３０６Ｂに対応するアバターにテクスチャマッピングする。そのテクスチャマッピングされたアバターは、三次元仮想空間内で再レンダリングされ、デバイス３０６Ａのユーザに提示される。
【0069】
[0083] デバイス３０６Ａは、新しい位置及び方向４２２Ｂを受信すると、新しい位置に位置し新しい方向を向いた、デバイス３０６Ｂに対応するアバターを生成する。生成されたアバターは、三次元仮想空間内で再レンダリングされ、デバイス３０６Ａのユーザに提示される。
【0070】
[0084] 幾つかの実施形態において、サーバ３０２は、三次元仮想環境を記述する更新されたモデル情報を送信し得る。例えば、サーバ３０２は更新された情報４０２、４０４、４０６、又は４０８を送信し得る。それが行われると、デバイス３０６Ａは、更新された情報に基づいて仮想環境を再レンダリングする。これは、環境が経時変化する場合、有用であり得る。例えば、屋外イベントは、イベントが進行するにつれて日中から夕暮れに変化し得る。
【0071】
[0085] ここでも、デバイス３０６Ｂが仮想会議から出ると、サーバ３０２は、デバイス３０６Ｂがもはや会議に参加していないことを示す通知をデバイス３０６Ａに送信する。その場合、デバイス３０６Ａは、デバイス３０６Ｂのアバターのない仮想環境を再レンダリングする。
【0072】
[0086] 図４Ａ～図４Ｃにおける図３は、簡潔にするために２つのデバイスを有して示されているが、本明細書に記載の技法が任意の数のデバイスに拡張できることを当業者は理解するであろう。また、図４Ａ～図４Ｃにおける図３は単一のサーバ３０２を示しているが、サーバ３０２の機能が複数の計算デバイスにわたって分散することができることを当業者は理解するであろう。一実施形態において、図４Ａにおいて転送されたデータは、サーバ３０２の１つのネットワークアドレスからのものであり得るが、図４Ｂ及び図４Ｃにおいて転送されるデータは、サーバ３０２の別のネットワークアドレスに／ネットワークアドレスから転送することができる。
【0073】
[0087] 一実施形態において、参加者は、仮想会議に入る前に、ウェブカム、マイクロホン、スピーカ、及びグラフィカル設定を設定することができる。代替の一実施形態において、アプリケーションを開始した後、ユーザは仮想ロビーに入り得、仮想ロビーにおいて、実際の人物によって制御されるアバターによって迎えられる。この人物は、ユーザのウェブカム、マイクロホン、スピーカ、及びグラフィカル設定を見て変更することが可能である。係員は、例えば見ること、あちこち移動すること、及び対話することについて教えることによって、仮想環境の使用方法をユーザに指示することもできる。ユーザは、準備ができると、仮想待機部屋から自動的に出て、実際の仮想環境に参加する。
【0074】
仮想環境におけるテレビ会議での音量調整
[0088] 実施形態はまた、仮想会議内の位置及び空間の感覚を提供するように音量を調整する。これは例えば、図５～図７、図８Ａ、図８Ｂ、及び図９Ａ～図９Ｃに示され、各図について以下説明する。
[0088] 実施形態はまた、仮想会議内の位置及び空間の感覚を提供するように音量を調整する。これは例えば、図５～図７、図８Ａ、図８Ｂ、及び図９Ａ～図９Ｃに示され、各図について以下説明する。
【0075】
[0089] 図５は、テレビ会議中、仮想環境における位置の感覚を提供するように相対的な左右の音量を調整する方法５００を示すフローチャートである。
【0076】
[0090] ステップ５０２において、音量は、アバター間の距離に基づいて調整される。上述したように、別のユーザのデバイスのマイクロホンからのオーディオストリームが受信される。第１及び第２のオーディオストリームの両方の音量は、第１の位置に対する第２の位置間の距離に基づいて調整される。これを図６に示す。
【0077】
[0091] 図６は、アバター間の距離が増大するにつれて音量がいかに低下するかを示すチャート６００を示す。チャート６００は、ｘ軸及びｙ軸に音量６０２を示す。ユーザ間の距離が増大するにつれて、音量は、基準距離６０２に達するまで一定のままである。基準距離６０２に達した時点で、音量は低下し始める。このようにして、他の全てのことは等しく、近いユーザほど、遠いユーザよりも音が大きい。
【0078】
[0092] 音声が低下する速度は低下係数に依存する。これは、テレビ会議システム又はクライアントデバイスの設定に内蔵される係数であり得る。線６０８及び線６１０によって示されるように、低下係数が大きいほど、小さいよりも音量は急速に低下する。
【0079】
[0093] 図５に戻ると、ステップ５０４において、相対的な左右オーディオは、アバターが配置された方向に基づいて調整される。即ち、ユーザのスピーカ（例えばヘッドセット）で出力されるオーディオの音量は、話しているユーザのアバターが配置されている場所の感覚を提供するように変更される。左右のオーディオストリームの相対音量は、オーディオを受け取っているユーザが配置されている位置（例えば仮想カメラの場所）に相対する、オーディオストリームを生成しているユーザが配置された位置（例えば話しているユーザのアバターの場所）の方向に基づいて調整される。位置は、三次元仮想空間内の水平面上にあり得る。左右のオーディオの相対音量は、第２の位置が第１の位置に相対して三次元仮想空間に存在する場所の感覚を提供するようにストリーミングされる。
【0080】
[0094] 例えば、ステップ５０４において、仮想カメラの左側のアバターに対応するオーディオは、オーディオが、受け取り側のユーザの右耳よりも左耳で大きな音量で出力されるように調整される。同様に、仮想カメラの右側のアバターに対応するオーディオは、オーディオが、受け取り側のユーザの左耳よりも右耳で大きな音量で出力されるように調整される。
【0081】
[0095] ステップ５０６において、相対的な左右のオーディオは、一方のアバターが他方のアバターに対して向いている方向に基づいて調整される。左右のオーディオストリームの相対音量は、仮想カメラが面している方向とアバターが面している方向との間の角度に基づいて、角度が垂直になるほど、左右のオーディオストリーム間の音量差が大きくなる傾向があるように調整される。
【0082】
[0096] 例えば、アバターが仮想カメラに直接面している場合、オーディオストリームに対応するアバターの相対的な左右の音量は、ステップ５０６において全く調整されなくてよい。アバターが仮想カメラの左側に面している場合、オーディオストリームに対応するアバターの相対的な左右の音量は、左が右よりも大きいように調整し得る。そしてアバターが仮想カメラの右側に面している場合、オーディオストリームに対応するアバターの相対的な左右の音量は、右が左よりも大きいように調整し得る。
【0083】
[0097] 一例において、ステップ５０６における計算は、仮想カメラが面している角度とアバターが面している角度とのクロス積を取ることを含み得る。角度は、水平面上で面している方向であり得る。
【0084】
[0098] 一実施形態において、チェックを行い、ユーザが使用しているオーディオ出力デバイスを特定し得る。オーディオ出力デバイスがヘッドフォンのセット又はステレオ効果を提供する別のタイプのスピーカではない場合、ステップ５０４及び５０６における調整は行われなくてよい。
【0085】
[0099] ステップ５０２～５０６は、あらゆる他の参加者から受信されるあらゆるオーディオストリームに対して繰り返される。ステップ５０２～５０６における計算に基づいて、あらゆる他の参加者での左右のオーディオ利得が計算される。
【0086】
[0100] このようにして、各参加者のオーディオストリームは、参加者のアバターが三次元仮想環境において配置された場所の感覚を提供するように調整される。
【0087】
[0101] アバターが配置された場所の感覚を提供するようにオーディオストリームが調整されるのみならず、特定の実施形態において、オーディオストリームは、私的又は半私的音量エリアを提供するようにも調整することができる。このようにして、仮想環境は、ユーザが私的会話を行えるようにする。また、仮想環境は、ユーザが互いと交流でき、従来のテレビ会議ソフトウェアでは可能ではなかった個別の雑談を行えるようにする。これは例えば、図７に関して示される。
【0088】
[0102] 図７は、テレビ会議中、仮想環境において異なる音量エリアを提供するように相対音量を調整する方法７００を示すフローチャートである。
【0089】
[0103] 上述したように、サーバは、音声又は音量エリアの仕様をクライアントデバイスに提供し得る。仮想環境は異なる音量エリアに区画化し得る。ステップ７０２において、デバイスは、各アバター及び仮想カメラがどの音声エリアに配置されているかを特定する。
【0090】
[0104] 例えば、図８Ａ及び図８Ｂは、テレビ会議中、仮想環境における異なる音量エリアを示す図である。図８Ａは、アバター８０６を制御しているユーザと仮想カメラを制御しているユーザとの間での半私的会話又は雑談を可能にする音量エリア８０２を有する図８００を示す。このようにして、会議テーブル８１０の周囲のユーザは、部屋の他の人を邪魔することなく会話することができる。仮想カメラのアバター８０６を制御しているユーザからの音声は、音量エリア８０２から出ると低下し得るが、完全になくなるわけではない。それにより、通行人は、参加したい場合、会議に加わることができる。
【0091】
[0105] インターフェース８００は、下述するボタン８０４、８０６、及び８０８も含む。
【0092】
[0106] 図８Ｂは、アバター８０８を制御しているユーザと仮想カメラを制御しているユーザとの間での私的会話を可能にする音量エリア８０４を有する図８００を示す。音量エリア８０４内に入ると、アバター８０８を制御しているユーザ及び仮想カメラを制御しているユーザからのオーディオのみが、音量エリア８０４内部にいるユーザに出力され得る。オーディオがそれらのユーザから会議における他のユーザに全く再生されない場合、それらのオーディオストリームは、他のユーザデバイスに送信すらされなくてもよい。
【0093】
[0107] 音量空間は、図９Ａ及び図９Ｂに示されるように階層化し得る。図９Ｂは、階層に配置された異なる音量エリアを有するレイアウトを示す。音量エリア９３４及び９３５は音量エリア９３３内にあり、音量エリア９３３及び９３２は音量エリア９３１内にある。これらの音量エリアは、図９００及び図９Ａに示されるように、階層ツリーで表される。
【0094】
[0108] 図９００において、ノード９０１は音量エリア９３１を表し、ツリーのルートである。ノード９０２及び９０３はノード９０１の子であり、音量エリア９３２及び９３３を表す。ノード９０４及び９０６はノード９０３の子であり、音量エリア９３４及び９３５を表す。
【0095】
[0109] エリア９３４に配置されたユーザが、エリア９３２に配置された、発話しているユーザを聞き取ろうとしている場合、オーディオストリームは、オーディオストリームを各々減衰させる幾つかの異なる仮想「壁」を通過する必要がある。特に、音声はエリア９３２の壁、エリア９３３の壁、及びエリア９３４の壁を通過する必要がある。各壁は特定の係数によって減衰させる。この計算は、図７のステップ７０４及び７０６に関して説明される。
【0096】
[0110] ステップ７０４において、階層をトラバースして、アバター間にある種々の音声エリアを特定する。これは例えば、図９Ｃに示される。話し声の仮想エリアに対応するノード（この場合、ノード９０４）から開始して、受け取り側ユーザのノード（この場合、ノード９０２）へのパスが特定される。パスを特定するために、ノード間のリンク９５２が特定される。このようにして、アバターを含むエリアと仮想カメラを含むエリアとの間のエリアのサブセットが特定される。
【0097】
[0111] ステップ７０６において、話しているユーザからのオーディオストリームは、エリアのサブセットの各壁伝達係数に基づいて減衰する。各壁伝達係数は、オーディオストリームが減衰する量を指定する。
【0098】
[0112] 追加又は代替として、異なるエリアはその場合、異なる低下係数を有し、方法６００に示される距離に基づく計算は、各低下係数に基づいて個々のエリアに適用し得る。このようにして、仮想環境の異なるエリアは異なる率で音を出す。図５に関して上述した方法において特定されるオーディオ利得がオーディオストリームに適用されて、それに従って左右のオーディオを特定し得る。このようにして、音声に方向の間隔を提供するための壁伝達係数、低下係数の両方、及び左右調整は一緒に適用されて、包括的なオーディオ体験を提供し得る。
【0099】
[0113] 異なるオーディオエリアは異なる機能を有し得る。例えば、音量エリアは演壇エリアであり得る。ユーザが演壇エリアに配置されている場合、図５又は図７に関して説明した減衰の幾らか又は全ては生じなくてよい。例えば、低下係数又は壁伝達係数により減衰は生じなくてよい。幾つかの実施形態において、相対的な左右のオーディオはなお調整されて、方向の感覚を提供し得る。
【0100】
[0114] 例示を目的として、図５及び図７に関して説明した方法は、対応するアバターを有するユーザからのオーディオストリームを説明している。しかしながら、同じ方法をアバター以外の他の音声源に適用することも可能である。例えば、仮想環境はスピーカの三次元モデルを有し得る。プレゼンテーションにより又は単に背景音楽を提供するために、上述したアバターモデルと同じように音声をスピーカから発し得る。
【0101】
[0115] 先に触れたように、壁伝達係数を使用してオーディを全体的に分離し得る。一実施形態において、これを使用して、仮想オフィスを作成することができる。一例において、各ユーザは、物理的な（恐らくはホーム）オフィスに、常時オンになっており、仮想オフィスにログインした会議アプリケーションを表示するモニタを有し得る。ユーザが、オフィスにおり、入室不可であるかどうかを示せるようにする特徴があり得る。入室不可インジケータがオフの場合、同僚又はマネージャは仮想空間内をふらっと訪れ、物理的オフィスと同じようにノックするか、又は入室し得る。訪問者は、作業者がオフィスにいない場合、メモを残すことが可能であり得る。作業者が戻ると、作業者は訪問者が残したメモを読むことが可能である。仮想オフィスは、ユーザへのメッセージを表示するホワイトボード及び／又はインターフェースを有し得る。メッセージは電子メールであってもよく、及び／又はSan Francisco, CA所在のSlack Technologies, Inc.から入手可能なSLACKアプリケーション等のメッセージングアプリケーションからであってもよい。
【0102】
[0116] ユーザは、自身の仮想オフィスをカスタマイズ又はパーソナライズ可能であり得る。例えば、ユーザはポスター又は他の壁飾りのモデルを飾ることが可能であり得る。ユーザは、デスク又は植物等の装飾用置物のモデル又は向きを変更可能であり得る。ユーザは、照明又は窓からの眺めを変更可能であり得る。
【0103】
[0117] 図８Ａに戻ると、インターフェース８００は種々のボタン８０４、８０６、及び８０８を含む。ユーザがボタン８０４を押下すると、図５及び図７の方法に関して上述した減衰を行うことができ、又はより小量でのみ行うことができる。その状況において、ユーザの声は他のユーザに対して均一に出力され、ユーザが話をミーティングの全参加者に提供できるようにする。ユーザビデオも、下述するように、仮想環境内のプレゼンテーション画面に同様に出力することができる。ユーザがボタン８０６を押下すると、スピーカモードが有効化される。その場合、オーディオは、背景音楽を再生する等のために、仮想環境内の音声源から出力される。ユーザがボタン８０８を押下すると、画面共有を有効化し得、ユーザが各自のデバイス上の画面又はウィンドウの内容を他のユーザと共有できるようにする。内容はプレゼンテーションモデルに提示し得る。これについても下述する。
【0104】
三次元環境における提示
[0118] 図１０は、三次元仮想環境における三次元モデル１００４を有するインターフェース１０００を示す。図１に関して上述したように、インターフェース１０００は、仮想環境のあちこちをナビゲートすることができるユーザに表示され得る。インターフェース１０００に示されるように、仮想環境はアバター１００４及び三次元モデル１００２を含む。
[0118] 図１０は、三次元仮想環境における三次元モデル１００４を有するインターフェース１０００を示す。図１に関して上述したように、インターフェース１０００は、仮想環境のあちこちをナビゲートすることができるユーザに表示され得る。インターフェース１０００に示されるように、仮想環境はアバター１００４及び三次元モデル１００２を含む。
【0105】
[0119] 三次元モデル１００２は、仮想空間内部に置かれた製品の３Ｄモデルである。人々はこの仮想空間に加わり、モデルを観察することが可能であり、その周囲を歩くことができる。製品は、体験を強化するために局所的音声を有し得る。
【0106】
[0120] より詳細には、仮想空間におけるプレゼンターが３Ｄモデルを示したい場合、ユーザはインターフェースから所望のモデルを選択する。これは、詳細（モデルの名称及びパスを含む）を更新するメッセージをサーバに送信する。これはクライアントに自動的に通信される。このようにして、三次元モデルは、ビデオストリームの提示と同時に表示されるようにレンダリングし得る。ユーザは、製品の三次元モデルの周囲で仮想カメラをナビゲートすることができる。
【0107】
[0121] 異なる例において、物体は製品デモであってもよく、又は製品の広告であってもよい。
【0108】
[0122] 図１１は、テレビ会議で使用される三次元仮想環境におけるプレゼンテーション画面共有を有するインターフェース１１００を示す。図１に関して上述したように、インターフェース１１００は、仮想環境のあちこちをナビゲートすることができるユーザに表示し得る。インターフェース１１００に示されるように、仮想環境はアバター１１０４及びプレゼンテーション画面１１０６を含む。
【0109】
[0123] この実施形態において、会議への参加者のデバイスからのプレゼンテーションストリームが受信される。プレゼンテーションストリームは、プレゼンテーション画面１１０６の三次元モデルにテクスチャマッピングされる。一実施形態において、プレゼンテーションストリームは、ユーザのデバイスのカメラからのビデオストリームであり得る。別の実施形態において、プレゼンテーションストリームは、ユーザのデバイスからの画面共有であり得、その場合、モニタ又はウィンドウが共有される。画面共有又は他の方法を通して、プレゼンテーションビデオ及びオーディオストリームは外部ソース、例えばイベントのライブストリームからであることもできる。ユーザがプレゼンテーションモードを有効化する場合、そのユーザのプレゼンテーションストリーム（及びオーディオストリーム）が、ユーザが使用したい画面の名称がタグ付けられてサーバに公開される。他のクライアントには、新しいストリームが利用可能なことが通知される。
【0110】
[0124] プレゼンターは、聴衆メンバの場所及び向きを制御することも可能であり得る。例えば、プレゼンターは、プレゼンテーション画面に面するように位置決めされ方向付けられるようにミーティングへの他の全ての参加者を再配置するために選択される選択肢を有し得る。
【0111】
[0125] オーディオストリームは、プレゼンテーションストリームと同期して、第１の参加者のデバイスのマイクロホンから捕捉される。ユーザのマイクロホンからのオーディオストリームは、プレゼンテーション画面１１０６からのものとして他のユーザによって聞かれ得る。このようにして、プレゼンテーション画面１１０６は上述したように音源であり得る。ユーザのオーディオストリームはプレゼンテーション画面１１０６から投影されるため、ユーザのアバターからのものは抑制し得る。このようにして、オーディオストリームは、三次元仮想空間内の画面１１０６上のプレゼンテーションストリームの表示と同期して出力され再生される。
【0112】
ユーザ間の距離に基づく帯域幅の割り振り
[0126] 図１２は、三次元仮想環境内のアバターの相対位置に基づいて、利用可能な帯域幅を分配する方法１２００を示すフローチャートである。
[0126] 図１２は、三次元仮想環境内のアバターの相対位置に基づいて、利用可能な帯域幅を分配する方法１２００を示すフローチャートである。
【0113】
[0127] ステップ１２０２において、仮想会議空間における第１のユーザと第２のユーザとの間の距離が特定される。距離は、三次元空間における水平面上のユーザ間の距離であり得る。
【0114】
[0128] ステップ１２０４において、受信したビデオストリームは、近いユーザからのものほど、遠いユーザからのビデオストリームよりも高い優先度が付されるように優先度付けられる。優先値は図１３に示されるように特定し得る。
【0115】
[0129] 図１３は、ｙ軸上の優先度１３０６及び距離１３０２を示すチャート１３００を示す。線１３０６で示されるように、基準距離１３０４に達するまでは一定を維持する優先度状態。基準距離に達した後、優先度は低下し始める。
【0116】
[0130] ステップ１２０６において、ユーザデバイスへの利用可能な帯域幅は、種々のビデオストリーム間で分配される。これは、ステップ１２０４において特定された優先値に基づいて行われ得る。例えば、優先度は、全て一緒に合算すると１になるように比例的に調整し得る。利用可能な帯域幅が不十分である任意のビデオでは、相対優先度をゼロにし得る。次いで、残りのビデオストリームに対して優先度は再び調整される。帯域幅はこれらの相対優先値に基づいて割り振られる。加えて、帯域幅はオーディオストリーム用に確保し得る。これは図１４に示されている。
【0117】
[0131] 図１４は、帯域幅１４０６を表すｙ軸と、相対優先度を表すｘ軸とを有するチャート１４００を示す。有効とするには最小の帯域幅１４０６がビデオに割り当てられた後、ビデオストリームに割り振られる帯域幅１４０６は、その相対優先度に比例して増大する。
【0118】
[0132] 割り振られる帯域幅が特定されると、クライアントは、そのビデオに選択され割り振られた帯域幅／ビットレート／フレームレート／解像度でサーバからビデオを要求し得る。これは、クライアントとサーバとの間でネゴシエーションプロセスを開始して、指定された帯域幅でビデオのストリーミングを開始し得る。このようにして、利用可能なビデオ及びオーディオの帯域幅は全ユーザに適正に分割され、優先度が２倍のユーザは２倍多くの帯域幅を取得することになる。
【0119】
[0133] 可能な一実装形態において、同時放送を使用して、全てのクライアントは、異なるビットレート及び解像度で複数のビデオストリームをサーバに送信する。他のクライアントは次いで、クライアントが興味を有し、受信したいこれらのストリームの１つをサーバに示すことができる。
【0120】
[0134] ステップ１２０８において、仮想会議空間における第１のユーザと第２のユーザとの間で利用可能な帯域幅が、その距離におけるビデオの表示が非効率的であるようなものであるか否かが特定される。この特定は、クライアント又はサーバのいずれかによって行うことができる。クライアントにより行われる場合、クライアントは、サーバがクライアントへのビデオ送信を止めるためのメッセージを送信する。非効率的である場合、第２のユーザのデバイスへのビデオストリームの送信は中止され、第２のユーザのデバイスは、ビデオストリームを静止画像で置換することが通知される。静止画像は単に、受信した最後のビデオフレーム（又は最後のビデオフレームのうちの１つ）であり得る。
【0121】
[0135] 一実施形態において、同様のプロセスをオーディオに対して実行し得、オーディオに確保された部分のサイズを所与として、品質を下げ得る。別の実施形態において、各オーディオストリームに一定の帯域幅が与えられる。
【0122】
[0136] このようにして、実施形態は、全ユーザ及びサーバの性能を上げ、遠く離れたユーザ及び／又は重要性が低いユーザの場合、ビデオストリーム及びオーディオストリームの品質を下げることができる。これは、十分な帯域幅バジェットが利用可能な場合には行われない。低下はビットレート及び解像度の両方で行われる。そのユーザに利用可能な帯域幅をエンコーダによってより効率的に利用することができるため、これはビデオの品質を改善する。
【0123】
[0137] これとは独立して、ビデオ解像度は距離に基づいて縮小され、２倍遠いユーザは半分の解像度を有する。このようにして、不必要な解像度は、画面解像度の制限を所与として、ダウンロードしなくてよい。したがって、帯域幅が保存される。
【0124】
[0138] 図１５は、仮想環境内でテレビ会議を提供するのに使用されるデバイスの構成要素を示すシステム１５００の図である。種々の実施形態において、システム１５００は上述した方法に従って動作することができる。
【0125】
[0139] デバイス３０６Ａはユーザ計算デバイスである。デバイス３０６Ａは、デスクトップ若しくはラップトップコンピュータ、スマートフォン、タブレット、又はウェアラブル（例えばウォッチ又はヘッドマウントディスプレイ）であることができる。デバイス３０６Ａは、マイクロホン１５０２、カメラ１５０４、ステレオスピーカ１５０６、入力デバイス１５１２を含む。示されていないが、デバイス３０６Ａは、プロセッサ及び永続的な一時的不揮発性メモリも含む。プロセッサは、１つ又は複数の中央演算処理装置、グラフィック処理ユニット、又はそれらの任意の組合せを含むことができる。
【0126】
[0140] マイクロホン１５０２は音声を電気信号に変換する。マイクロホン１５０２は、デバイス３０６Ａのユーザの発話を捕捉するように位置決めされる。異なる例において、マイクロホン１５０２はコンデンサマイクロホン、エレクトレットマイクロホン、可動コイルマイクロホン、リボンマイクロホン、カーボンマイクロホン、圧電マイクロホン、光ファイバマイクロホン、レーザマイクロホン、ウォーターマイクロホン、又はＭＥＭＳマイクロホンであることができる。
【0127】
[0141] カメラ１５０４は、一般に１つ又は複数のレンズを通して光を捕捉することによって画像データを捕捉する。カメラ１５０４は、デバイス３０６Ａのユーザの写真画像を捕捉するように位置決めされる。カメラ１５０４はイメージセンサ（図示せず）を含む。イメージセンサは例えば、電荷結合素子（ＣＣＤ）センサ又は相補型金属酸化膜半導体（ＣＭＯＳ）センサであり得る。イメージセンサは、光を検出して電気信号に変換する１つ又は複数の光検出器を含み得る。同様の時間枠内で一緒に捕捉されたこれらの電気信号は、静止写真画像を構成する。定期的な間隔で一緒に捕捉された一連の静止写真画像はビデオを構成する。このようにして、カメラ１５０４は画像及びビデオを捕捉する。
【0128】
[0142] ステレオスピーカ１５０６は、電気オーディオ信号を対応する左右音に変換するデバイスである。ステレオスピーカ１５０６は、オーディオプロセッサ１５２０（以下）によって生成され、デバイス３０６Ａのユーザに対してステレオで再生される左オーディオストリーム及び右オーディオストリームを出力する。ステレオスピーカ１５０６は、周囲スピーカと、音声をユーザの左右の耳に直接再生するように設計されたヘッドフォンとを両方とも含む。スピーカの例には、可動鉄片型ラウドスピーカ、圧電スピーカ、静磁気ラウドスピーカ、静電ラウドスピーカ、リボン及び平面磁気ラウドスピーカ、曲げ波スピーカ、フラットパネルスピーカ、ハイルエアモーショントランスデューサ、透明イオン伝導スピーカ、プラズマアークスピーカ、熱音響スピーカ、ロータリーウーファー、可動コイル、静電、エレクトレット、平面磁気、及びバランスドアーマチェアがある。
【0129】
[0143] ネットワークインターフェース１５０８は、２つの機器間又はコンピュータネットワーク内の２つのプロトコルレイヤ間のソフトウェア又はハードウェアインターフェースである。ネットワークインターフェース１５０８は、ミーティングの各参加者のビデオストリームをサーバ３０２から受信する。ビデオストリームは、テレビ会議への別の参加者のデバイスのカメラから捕捉される。ネットワークインターフェース１５０８は、三次元仮想空間及びその内部の任意のモデルを指定するデータもサーバ３０２から受信した。その他の各参加者について、ネットワークインターフェース１５０８は、三次元仮想空間における位置及び方向を受信する。位置及び方向は、他の各参加者によって入力される。
【0130】
[0144] ネットワークインターフェース１５０８はまた、データをサーバ３０２に送信する。ネットワークインターフェース１５０８は、レンダラー１５１８によって使用されるデバイス３０６Ａのユーザの仮想カメラの位置を送信し、ビデオストリーム及びオーディオストリームをカメラ１５０４及びマイクロホン１５０２から送信する。
【0131】
[0145] ディスプレイ１５１０は、視覚的又は触覚的形態で電子情報を提示するための出力デバイスである（触覚的形態は例えば、視覚障害者の人々用の触覚電子ディスプレイに使用される）。ディスプレイ１５１０はテレビジョンセット、コンピュータモニタ、ヘッドマウントディスプレイ、ヘッドアップディスプレイ、拡張現実又は仮想現実ヘッドセットの出力、ブロードキャスト参照モニタ、医療用モニタ、モイバルディスプレイ（モバイルデバイスの）、スマートフォンディスプレイ（スマートフォンの）であることができる。情報を提示するために、ディスプレイ１５１０は、電子ルミネッセント（ＥＬＤ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）バックライトＬＣＤ、薄膜トランジスタ（ＴＦＴ）ＬＣＤ、発光ダイオード（ＬＥＤ）ディスプレイ、ＯＬＥＤディスプレイ、ＡＭＯＬＥＤディスプレイ、プラズマ（ＰＤＰ）ディスプレイ、量子ドット（ＱＬＥＤ）ディスプレイを含み得る。
【0132】
[0146] 入力デバイス１５１２は、データ及び制御信号をコンピュータ又は情報アプライアンス等の情報処理システムに提供するのに使用される機器である。入力デバイス１５１２は、ユーザが、レンダラー１５１８によって使用される仮想カメラの新しい所望位置を入力できるようにし、それにより、三次元環境におけるナビゲーションが可能になる。入力デバイスの例には、キーボード、マウス、スキャナ、ジョイスティック、及びタッチスクリーンがある。
【0133】
[0147] ウェブブラウザ３０８Ａ及びウェブアプリケーション３１０Ａについて図３に関して上述した。ウェブアプリケーション３１０Ａは、スクリーンキャプチャ１５１４、テクスチャマッパ１５１６、レンダラー１５１８、及びオーディオプロセッサ１５２０を含む。
【0134】
[0148] スクリーンキャプチャ１５１４は、プレゼンテーションストリーム、特に画面共有を捕捉する。スクリーンキャプチャ１５１４は、ウェブブラウザ３０８Ａによって提供されるＡＰＩと対話し得る。ＡＰＩから利用可能な関数を呼び出すことにより、スクリーンキャプチャ１５１４はウェブブラウザ３０８Ａに、どのウィンドウ又は画面をシェアしたいかをユーザに尋ねさせ得る。そのクエリへの答えに基づいて、ウェブブラウザ３０８Ａは、画面共有に対応するビデオストリームをスクリーンキャプチャ１５１４に返し得、スクリーンキャプチャ１５１４は、サーバ３０２に、そして最終的には他の参加者のデバイスに送信するためにネットワークインターフェース１５０８にそれを渡す。
【0135】
[0149] テクスチャマッパ１５１６は、ビデオストリームを、アバターに対応する三次元モデルにテクスチャマッピングする。テクスチャマッパ１５１６は、ビデオからの各フレームをアバターにテクスチャマッピングし得る。加えて、テクスチャマッパ１５１６は、プレゼンテーションストリームをプレゼンテーション画面の三次元モデルにテクスチャマッピングし得る。
【0136】
[0150] レンダラー１５１８は、デバイス３０６Ａのユーザの仮想カメラの視点から、ディスプレイ１５１０に出力するために、受信された対応する位置に配置され方向を向いた各参加者のアバターのテクスチャマッピングされた三次元モデルを含む三次元仮想空間をレンダリングする。レンダラー１５１８は、例えばプレゼンテーション画面を含む任意の他の三次元モデルもレンダリングする。
【0137】
[0151] オーディオプロセッサ１５２０は受信したオーディオストリームの音量を調整して、左オーディオストリーム及び右オーディオストリームを特定して、第２の位置が第１の位置に対して三次元仮想空間にある場所の感覚を提供する。一実施形態において、オーディオプロセッサ１５２０は、第１の位置に対する第２の位置間の距離に基づいて音量を調整する。別の実施形態において、オーディオプロセッサ１５２０は、第１の位置に対する第２の位置の方向に基づいて音量を調整する。更に別の実施形態において、オーディオプロセッサ１５２０は、三次元仮想空間内の水平面上の第１の位置に対する第２の位置の方向に基づいて音量を調整する。更に別の実施形態において、オーディオプロセッサ１５２０は、アバターが仮想カメラの左側に配置される場合、左オーディオストリームがより大きな音量を有する傾向を有し、アバターが仮想カメラの右側に配置される場合、右オーディオストリームがより大きな音量を有する傾向を有するように、三次元仮想空間において仮想カメラが面している方向に基づいて音量を調整する。最後に、更に別の実施形態において、オーディオプロセッサ１５２０は、仮想カメラが面する方向とアバターが面する方向との間の角度に基づいて、角度が、アバターが面する方向により垂直になるほど、左右のオーディオストリーム間の温良さが大きくなる傾向を有するように音量を調整する。
【0138】
[0152] オーディオプロセッサ１５２０は、仮想カメラが配置されたエリアに対する、スピーカが配置されたエリアに基づいてオーディオストリームの音量を調整することもできる。この実施形態において、三次元仮想空間は複数のエリアにセグメント化される。これらのエリアは階層を有し得る。スピーカ及び仮想カメラが異なるエリアに配置されている場合、壁伝達係数を適用して、発話オーディオストリームの音量を減衰させ得る。
【0139】
[0153] サーバ３０２は、出席者通知器１５２２、ストリーム調整器１５２４、及びストリーム転送器１５２６を含む。
【0140】
[0154] 出席者通知器１５２２は、参加者がミーティングに加わるとき及びミーティングから去るとき、会議参加者に通知する。新しい参加者がミーティングに加わる場合、出席者通知器１５２２は、新しい参加者が加わったことを示すメッセージを会議へのその他の参加者のデバイスに送信する。出席者通知器１５２２は、ビデオ、オーディオ、及び位置／方向情報のその他の参加者への転送を開始するようにストリーム転送器１５２６にシグナリングする。
【0141】
[0155] ストリーム調整器１５２４は、第１のユーザのデバイスのカメラから捕捉されたビデオストリームを受信する。ストリーム調整器１５２４は、仮想会議のデータを第２のユーザに送信するために利用可能な帯域幅を特定する。ストリーム調整器１５２４は、仮想会議空間における第１のユーザと第２のユーザとの間の距離を特定する。そしてストリーム調整器１５２４は、利用可能な帯域幅を第１のビデオストリームと第２のビデオストリームとの間で相対距離に基づいて分配する。このようにして、ストリーム調整器１５２４は、遠いユーザからのビデオストリームよりも近いユーザのビデオストリームに高い優先度を付与する。追加又は代替として、ストリーム調整器１５２４は、恐らくはウェブアプリケーション３１０Ａの一部としてデバイス３０６Ａに配置し得る。
【0142】
[0156] ストリーム転送器１５２６は、受信した位置／方向情報、ビデオ、オーディオ、及び画面共有画面をブロードキャストする（ストリーム調整器１５２４によって調整が行われた状態で）。ストリーム転送器１５２６は、会議アプリケーション３１０Ａからの要求に応答してデバイス３０６Ａに情報を送信し得る。会議アプリケーション３１０Ａは、出席者通知器１５２２からの通知に応答してその要求を送信し得る。
【0143】
[0157] ネットワークインターフェース１５２８は、２つの機器間又はコンピュータネットワーク内の２つのプロトコルレイヤ間のソフトウェア又はハードウェアインターフェースである。ネットワークインターフェース１５２８は、モデル情報を種々の参加者のデバイスに送信する。ネットワークインターフェース１５２８は、種々の参加者からビデオ、オーディオ、及び画面共有画面を受信する。
【0144】
[0158] スクリーンキャプチャ１５１４、テクスチャマッパ１５１６、レンダラー１５１８、オーディオプロセッサ１５２０、出席者通知器１５２２、ストリーム調整器１５２４、及びストリーム転送器１５２６は各々、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実施することができる。
【0145】
[0159] 「（ａ）」、「（ｂ）」、「（ｉ）」、「（ｉｉ）」、等の識別子が異なる要素又はステップに使用されることがある。これらの識別子は明確にするために使用されており、必ずしも要素又はステップの順序を示しているわけではない。
【0146】
[0160] 本発明について、指定された機能の実施及びそれらの関係を示す機能構築ブロックを用いて上述した。これらの機能構築ブロックの境界は、説明の便宜のために本明細書において任意に定義されている。指定された機能及びその関係が適宜実行される限り、代替の境界を定義することが可能である。
【0147】
[0161] 特定の実施形態の上記説明は、当技術分野の技能内の知識を適用することにより、必要以上の実験なしで且つ本発明の一般概念から逸脱せずに、他人が、特定の実施形態等の種々の用途に向けて容易に変更及び／又は適合できるほど、本発明の一般性質を十分に明らかにするであろう。したがって、そのような適合及び変更が、本明細書に提示された教示及び指針に基づいて、開示された実施形態の意味及び均等物の範囲内であることが意図される。本明細書における表現及び用語が限定ではなく説明を目的としており、したがって、本明細書の用語又は表現は教示及び指針に鑑みて当業者によって解釈されるべきであることを理解されたい。
【0148】
[0162] 本発明の幅及び範囲は、上述した例示的な実施形態のいずれによっても限定されるべきではなく、以下の特許請求の範囲及びそれらの均等物に従ってのみ規定されるべきである。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9A】
【図9B】
【図9C】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【手続補正書】
【提出日】2023-07-24
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
仮想会議のビデオをストリーミングするコンピュータ実施方法であって、
（ａ）仮想会議空間における第１のユーザと第２のユーザとの間の距離を特定することと、
（ｂ）前記第１のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、受信することと、
（ｃ）前記特定された距離に基づいて、前記距離が近いほど、前記距離が遠い場合よりも高い解像度又はビットレートになるように、前記ビデオストリームの低下した解像度又はビットレートを選択することと、
（ｄ）前記仮想会議空間内で、前記第２のユーザに表示するために、前記第２のユーザのデバイスへの前記低下した解像度又はビットレートでの前記ビデオストリームの送信を要求することであって、前記ビデオストリームは、前記仮想会議空間内の前記第２のユーザに表示するために、前記第１のユーザのアバターにマッピングされる、要求することと、
を含む、方法。
（ａ）仮想会議空間における第１のユーザと第２のユーザとの間の距離を特定することと、
（ｂ）前記第１のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、受信することと、
（ｃ）前記特定された距離に基づいて、前記距離が近いほど、前記距離が遠い場合よりも高い解像度又はビットレートになるように、前記ビデオストリームの低下した解像度又はビットレートを選択することと、
（ｄ）前記仮想会議空間内で、前記第２のユーザに表示するために、前記第２のユーザのデバイスへの前記低下した解像度又はビットレートでの前記ビデオストリームの送信を要求することであって、前記ビデオストリームは、前記仮想会議空間内の前記第２のユーザに表示するために、前記第１のユーザのアバターにマッピングされる、要求することと、
を含む、方法。
【請求項2】
（ｅ）第３のユーザのデバイスのカメラから捕捉された第２のビデオストリームを受信することであって、前記カメラは前記第３のユーザの写真画像を捕捉するように位置決めされる、受信することと、
（ｆ）前記仮想会議のデータを前記第２のユーザに送信するために利用可能な帯域幅を特定することと、
（ｇ）仮想会議空間における第１のユーザと第２のユーザとの間の第２の距離を特定することと、
（ｈ）（ａ）において特定された前記距離に相対する（ｇ）において特定された前記第２の距離に基づいて、（ｂ）において受信された前記ビデオストリームと（ｅ）において受信した前記第２のビデオストリームとの間で、前記利用可能な帯域幅を分配することと、
を更に含む、請求項１に記載の方法。
（ｆ）前記仮想会議のデータを前記第２のユーザに送信するために利用可能な帯域幅を特定することと、
（ｇ）仮想会議空間における第１のユーザと第２のユーザとの間の第２の距離を特定することと、
（ｈ）（ａ）において特定された前記距離に相対する（ｇ）において特定された前記第２の距離に基づいて、（ｂ）において受信された前記ビデオストリームと（ｅ）において受信した前記第２のビデオストリームとの間で、前記利用可能な帯域幅を分配することと、
を更に含む、請求項１に記載の方法。
【請求項3】
前記分配すること（ｈ）は、遠くのユーザからのビデオストリームよりも近くのユーザのビデオストリームに高い優先度を付与することを含む、請求項２に記載の方法。
【請求項4】
（ｉ）前記第１のユーザのデバイスから第１のオーディオストリームを受信することと、
（ｊ）前記第３のユーザのデバイスから第２のオーディオストリームを受信することであって、前記分配すること（ｈ）は、前記第１及び第２のオーディオストリームの一部を確保することを含む、受信することと、
を更に含む、請求項２に記載の方法。
（ｊ）前記第３のユーザのデバイスから第２のオーディオストリームを受信することであって、前記分配すること（ｈ）は、前記第１及び第２のオーディオストリームの一部を確保することを含む、受信することと、
を更に含む、請求項２に記載の方法。
【請求項5】
（ｋ）前記確保された部分のサイズに従って前記第１及び第２のオーディオストリームの品質を下げることを更に含む、請求項４に記載の方法。
【請求項6】
前記下げること（ｋ）は、（ａ）において特定された前記距離に相対する（ｇ）において特定された前記第２の距離から独立して、前記品質を下げることを含む、請求項５に記載の方法。
【請求項7】
（ｅ）前記仮想会議空間における前記第１のユーザと前記第２のユーザとの間の前記距離が、前記距離におけるビデオの表示が非効率的であるようなものであると特定することと、
（ｅ）における前記特定に応答して、
（ｆ）前記第２のユーザの前記デバイスへの前記ビデオストリームの送信を中止することと、
（ｇ）前記ビデオストリームを静止画像で置換することを前記第２のユーザの前記デバイスに通知することと、
を更に含む、請求項１に記載の方法。
（ｅ）における前記特定に応答して、
（ｆ）前記第２のユーザの前記デバイスへの前記ビデオストリームの送信を中止することと、
（ｇ）前記ビデオストリームを静止画像で置換することを前記第２のユーザの前記デバイスに通知することと、
を更に含む、請求項１に記載の方法。
【請求項8】
前記低下された解像度における前記ビデオストリームは、前記第２のユーザに表示するために、前記第２のユーザの前記デバイスにより、前記仮想会議空間内の前記第２のユーザの位置にレンダリングされるアバターにマッピングされる、請求項１に記載の方法。
【請求項9】
命令を記憶した非一時的有形コンピュータ可読デバイスであって、前記命令は、少なくとも１つの計算デバイスによって実行されると、前記少なくとも１つの計算デバイスに、仮想会議のビデオをストリーミングする動作を実行させ、前記動作は、
（ａ）仮想会議空間における第１のユーザと第２のユーザとの間の距離を特定することと、
（ｂ）前記第１のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、受信することと、
（ｃ）前記特定された距離に基づいて、前記距離が近いほど、前記距離が遠い場合よりも高い解像度又はビットレートになるように、前記ビデオストリームの低下した解像度又はビットレートを選択することと、
（ｄ）前記仮想会議空間内で、前記第２のユーザに表示するために、前記第２のユーザのデバイスへの前記低下した解像度又はビットレートでの前記ビデオストリームの送信を要求することであって、前記ビデオストリームは、前記仮想会議空間内の前記第２のユーザに表示するために、前記第１のユーザのアバターにマッピングされる、要求することと、
を含む、デバイス。
（ａ）仮想会議空間における第１のユーザと第２のユーザとの間の距離を特定することと、
（ｂ）前記第１のユーザのデバイスのカメラから捕捉されたビデオストリームを受信することであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、受信することと、
（ｃ）前記特定された距離に基づいて、前記距離が近いほど、前記距離が遠い場合よりも高い解像度又はビットレートになるように、前記ビデオストリームの低下した解像度又はビットレートを選択することと、
（ｄ）前記仮想会議空間内で、前記第２のユーザに表示するために、前記第２のユーザのデバイスへの前記低下した解像度又はビットレートでの前記ビデオストリームの送信を要求することであって、前記ビデオストリームは、前記仮想会議空間内の前記第２のユーザに表示するために、前記第１のユーザのアバターにマッピングされる、要求することと、
を含む、デバイス。
【請求項10】
前記動作は、
（ｅ）第３のユーザのデバイスのカメラから捕捉された第２のビデオストリームを受信することであって、前記カメラは前記第３のユーザの写真画像を捕捉するように位置決めされる、受信することと、
（ｆ）前記仮想会議のデータを前記第２のユーザに送信するために利用可能な帯域幅を特定することと、
（ｇ）仮想会議空間における第１のユーザと第２のユーザとの間の第２の距離を特定することと、
（ｈ）（ａ）において特定された前記距離に相対する（ｇ）において特定された前記第２の距離に基づいて、（ｂ）において受信された前記ビデオストリームと（ｅ）において受信した前記第２のビデオストリームとの間で、前記利用可能な帯域幅を分配することと、
を更に含む、請求項９に記載のデバイス。
（ｅ）第３のユーザのデバイスのカメラから捕捉された第２のビデオストリームを受信することであって、前記カメラは前記第３のユーザの写真画像を捕捉するように位置決めされる、受信することと、
（ｆ）前記仮想会議のデータを前記第２のユーザに送信するために利用可能な帯域幅を特定することと、
（ｇ）仮想会議空間における第１のユーザと第２のユーザとの間の第２の距離を特定することと、
（ｈ）（ａ）において特定された前記距離に相対する（ｇ）において特定された前記第２の距離に基づいて、（ｂ）において受信された前記ビデオストリームと（ｅ）において受信した前記第２のビデオストリームとの間で、前記利用可能な帯域幅を分配することと、
を更に含む、請求項９に記載のデバイス。
【請求項11】
前記分配すること（ｈ）は、遠くのユーザからのビデオストリームよりも近くのユーザのビデオストリームに高い優先度を付与することを含む、請求項１０に記載のデバイス。
【請求項12】
前記動作は、
（ｉ）前記第１のユーザのデバイスから第１のオーディオストリームを受信することと、
（ｊ）前記第３のユーザのデバイスから第２のオーディオストリームを受信することであって、前記分配すること（ｈ）は、前記第１及び第２のオーディオストリームの一部を確保することを含む、受信することと、
を更に含む、請求項１０に記載のデバイス。
（ｉ）前記第１のユーザのデバイスから第１のオーディオストリームを受信することと、
（ｊ）前記第３のユーザのデバイスから第２のオーディオストリームを受信することであって、前記分配すること（ｈ）は、前記第１及び第２のオーディオストリームの一部を確保することを含む、受信することと、
を更に含む、請求項１０に記載のデバイス。
【請求項13】
前記動作は、
（ｋ）前記確保された部分のサイズに従って前記第１及び第２のオーディオストリームの品質を下げることを更に含む、請求項１２に記載のデバイス。
（ｋ）前記確保された部分のサイズに従って前記第１及び第２のオーディオストリームの品質を下げることを更に含む、請求項１２に記載のデバイス。
【請求項14】
前記下げること（ｋ）は、（ａ）において特定された前記距離に相対する（ｇ）において特定された前記第２の距離から独立して、前記品質を下げることを含む、請求項１３に記載のデバイス。
【請求項15】
前記動作は、
（ｅ）前記仮想会議空間における前記第１のユーザと前記第２のユーザとの間の前記距離が、前記距離におけるビデオの表示が非効率的であるようなものであると特定することと、
（ｅ）における前記特定に応答して、
（ｆ）前記第２のユーザの前記デバイスへの前記ビデオストリームの送信を中止することと、
（ｇ）前記ビデオストリームを静止画像で置換することを前記第２のユーザの前記デバイスに通知することと、
を更に含む、請求項９に記載のデバイス。
（ｅ）前記仮想会議空間における前記第１のユーザと前記第２のユーザとの間の前記距離が、前記距離におけるビデオの表示が非効率的であるようなものであると特定することと、
（ｅ）における前記特定に応答して、
（ｆ）前記第２のユーザの前記デバイスへの前記ビデオストリームの送信を中止することと、
（ｇ）前記ビデオストリームを静止画像で置換することを前記第２のユーザの前記デバイスに通知することと、
を更に含む、請求項９に記載のデバイス。
【請求項16】
前記低下された解像度における前記ビデオストリームは、前記第２のユーザに表示するために、前記第２のユーザの前記デバイスにより、前記仮想会議空間内の前記第２のユーザの位置にレンダリングされるアバターにマッピングされる、請求項９に記載のデバイス。
【請求項17】
仮想会議のためにビデオをストリーミングするシステムであって、
メモリに結合されたプロセッサと、
第１のユーザのデバイスのカメラから捕捉されたビデオストリームを受信するネットワークインターフェースであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、ネットワークインターフェースと、
仮想会議空間における第１のユーザと第２のユーザとの間の距離を特定し、前記特定された距離に基づいて、前記距離が近いほど、前記距離が遠い場合よりも高い解像度又はビットレートになるように、前記ビデオストリームの解像度を下げるように構成されたストリーム調整器と、
を備え、
前記ネットワークインターフェースは、前記仮想会議空間内の前記第２のユーザに表示するために、前記第２のユーザのデバイスに前記低下した解像度で前記ビデオストリームを送信するように構成され、前記ビデオストリームは、前記仮想会議空間内の前記第２のユーザに表示するために、前記第１のユーザのアバターにマッピングされる、システム。
メモリに結合されたプロセッサと、
第１のユーザのデバイスのカメラから捕捉されたビデオストリームを受信するネットワークインターフェースであって、前記カメラは前記第１のユーザの写真画像を捕捉するように位置決めされる、ネットワークインターフェースと、
仮想会議空間における第１のユーザと第２のユーザとの間の距離を特定し、前記特定された距離に基づいて、前記距離が近いほど、前記距離が遠い場合よりも高い解像度又はビットレートになるように、前記ビデオストリームの解像度を下げるように構成されたストリーム調整器と、
を備え、
前記ネットワークインターフェースは、前記仮想会議空間内の前記第２のユーザに表示するために、前記第２のユーザのデバイスに前記低下した解像度で前記ビデオストリームを送信するように構成され、前記ビデオストリームは、前記仮想会議空間内の前記第２のユーザに表示するために、前記第１のユーザのアバターにマッピングされる、システム。
【請求項18】
前記ネットワークインターフェースは、第３のユーザのデバイスのカメラから捕捉された第２のビデオストリームを受信し、前記カメラは前記第３のユーザの写真画像を捕捉するように位置決めされ、
前記ストリーム調整器は、（ｉ）前記仮想会議のデータを前記第２のユーザに送信するために利用可能な帯域幅を特定し、（ｉｉ）仮想会議空間における第１のユーザと第２のユーザとの間の第２の距離を特定し、（ｉｉｉ）前記距離に相対する前記第２の距離に基づいて前記利用可能な帯域幅を前記ビデオストリーム及び前記第２のビデオストリームに分配する、請求項１７に記載のシステム。
前記ストリーム調整器は、（ｉ）前記仮想会議のデータを前記第２のユーザに送信するために利用可能な帯域幅を特定し、（ｉｉ）仮想会議空間における第１のユーザと第２のユーザとの間の第２の距離を特定し、（ｉｉｉ）前記距離に相対する前記第２の距離に基づいて前記利用可能な帯域幅を前記ビデオストリーム及び前記第２のビデオストリームに分配する、請求項１７に記載のシステム。
【請求項19】
前記ストリーム調整器は、遠くのユーザからのビデオストリームよりも近くのユーザのビデオストリームに高い優先度を付与するように構成される、請求項１８に記載のシステム。
【請求項20】
前記ネットワークインターフェースは、前記第１のユーザのデバイスから第１のオーディオストリームを受信し、前記第３のユーザのデバイスから第２のオーディオストリームを受信するように構成され、前記ストリーム調整器は、前記第１及び第２のオーディオストリームの一部を確保するように構成される、請求項１８に記載のシステム。
【外国語明細書】