▶ テレフオンアクチーボラゲット エル エム エリクソン（パブル）の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-07
(54)【発明の名称】仮想会議において送信参加者の３Ｄ表現を提供すること
(51)【国際特許分類】
H04N 7/15 20060101AFI20231130BHJP
G06T 13/40 20110101ALI20231130BHJP
H04L 67/131 20220101ALI20231130BHJP
【ＦＩ】
H04N7/15 170
H04N7/15
G06T13/40
H04L67/131
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023530518
(86)(22)【出願日】2021-07-07
(85)【翻訳文提出日】2023-07-18
(86)【国際出願番号】 EP2021068756
(87)【国際公開番号】W WO2022106077
(87)【国際公開日】2022-05-27
(31)【優先権主張番号】63/116,424
(32)【優先日】2020-11-20
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕ－ｒａｙ
(71)【出願人】
【識別番号】598036300
【氏名又は名称】テレフオンアクチーボラゲット エルエム エリクソン（パブル）
(74)【代理人】
【識別番号】100109726
【弁理士】
【氏名又は名称】園田 吉隆
(74)【代理人】
【識別番号】100150670
【弁理士】
【氏名又は名称】小梶 晴美
(74)【代理人】
【識別番号】100194294
【弁理士】
【氏名又は名称】石岡 利康
(72)【発明者】
【氏名】エル エッサイリ， アリ
(72)【発明者】
【氏名】テュディナ， ナタリア
(72)【発明者】
【氏名】エーヴェルト， イエルク クリスティアン
(72)【発明者】
【氏名】メランデル， オラ
【テーマコード（参考）】
5B050
5C164
【Ｆターム（参考）】
5B050AA03
5B050BA08
5B050BA09
5B050BA12
5B050CA08
5B050DA04
5B050DA07
5B050EA04
5B050EA24
5B050EA26
5B050FA02
5C164FA10
5C164PA39
5C164UB90S
5C164VA07P
5C164VA35P
(57)【要約】
仮想会議において送信参加者の３次元（３Ｄ）表現を提供するための方法が提供される。本方法は、表現プロバイダ（１）において実施され、人の少なくとも部位の非リアルタイム３Ｄモデルを取得することと、仮想会議の送信参加者の部分的リアルタイム３Ｄデータを取得することと、送信参加者の組み合わせられた３Ｄ表現を生じる、非リアルタイム３Ｄモデルを部分的リアルタイム３Ｄデータと組み合わせることとを含む。
【選択図】図３
【選択図】図３
【特許請求の範囲】
【請求項1】
仮想会議において送信参加者（５ａ）の３次元（３Ｄ）表現を提供するための方法であって、前記方法が、表現プロバイダ（１）において実施され、前記方法が、人の少なくとも部位の非リアルタイム３Ｄモデルを取得するステップ（４２）と、
前記仮想会議の前記送信参加者（５ａ）の部分的リアルタイム３Ｄデータを取得するステップ（４４）と、
前記送信参加者（５ａ）の組み合わせられた３Ｄ表現を生じる、前記非リアルタイム３Ｄモデルを前記部分的リアルタイム３Ｄデータと組み合わせるステップ（４６）と
を含む、方法。
【請求項2】
前記非リアルタイム３Ｄモデルを前記部分的リアルタイム３Ｄデータと前記組み合わせるステップ（４６）は、前記非リアルタイム３Ｄモデル中の少なくとも１つの身体特徴を識別するサブステップ（４６ａ）と、
前記リアルタイム３Ｄデータ中の少なくとも１つの身体特徴を識別するサブステップ（４６ｂ）と、
前記非リアルタイム３Ｄモデルと前記リアルタイム３Ｄデータの両方に基づいて前記送信参加者（５ａ）の前記組み合わせられた３Ｄ表現を生成するサブステップ（４６ｃ）であって、前記非リアルタイム３Ｄモデルと前記リアルタイム３Ｄデータの両方の部位を形成する身体特徴について、さらなる考慮事項が、前記リアルタイム３Ｄデータに与えられる、前記送信参加者（５ａ）の前記組み合わせられた３Ｄ表現を生成するサブステップ（４６ｃ）と
を含む、請求項１に記載の方法。
【請求項3】
前記生成するサブステップ（４６ｃ）が、前記非リアルタイム３Ｄモデルと前記リアルタイム３Ｄデータとに異なる重みを適用することによって、前記リアルタイム３Ｄデータに、さらなる考慮事項を適用することを含む、請求項２に記載の方法。
【請求項4】
前記生成するサブステップ（４６ｃ）は、ネットワーク帯域幅が減少するとき、前記リアルタイム３Ｄデータに、さらなる考慮事項を適用することを含む、請求項２または３に記載の方法。
【請求項5】
前記非リアルタイム３Ｄモデルを前記部分的リアルタイム３Ｄデータと前記組み合わせるステップ（４６）は、リアルタイム部分的リアルタイム３Ｄデータが一時的に利用不可能であるとき、前記非リアルタイム３Ｄモデルを、直近に受信された部分的リアルタイム３Ｄデータと組み合わせること（４６）と、利用不可能性を表す前記送信参加者の外観を生成することとを含む、請求項１から４のいずれか一項に記載の方法。
【請求項6】
カメラデータに基づいて前記非リアルタイム３Ｄモデルを生成するステップ（４０）をさらに含む、請求項１から５のいずれか一項に記載の方法。
【請求項7】
前記カメラデータが、２Ｄカメラからのデータを含む、請求項６に記載の方法。
【請求項8】
前記カメラデータが、３Ｄイメージングデバイスからのデータを含む、請求項６または７に記載の方法。
【請求項9】
前記非リアルタイム３Ｄモデルが、前記送信参加者（５ａ）に固有であるモデルである、請求項１から８のいずれか一項に記載の方法。
【請求項10】
前記非リアルタイム３Ｄモデルが、いくつかの異なる送信参加者について使用され得る一般的なモデルであるモデルである、請求項１から９のいずれか一項に記載の方法。
【請求項11】
前記非リアルタイム３Ｄモデルが、前記送信参加者（５ａ）の特性に基づいて、複数の非リアルタイム３Ｄモデルから選択される、請求項１０に記載の方法。
【請求項12】
前記組み合わせられた３Ｄ表現を、前記送信参加者のユーザデバイス（２ａ）に送信するステップ（４８）をさらに含む、請求項１から１１のいずれか一項に記載の方法。
【請求項13】
前記送信参加者の前記ユーザデバイス（２ａ）から性能指示を受信するステップ（５０）をさらに含む、請求項１２に記載の方法。
【請求項14】
前記表現プロバイダ（１）が、受信参加者（５ｂ）のユーザデバイス（２ｂ）の部位を形成する、請求項１から１３のいずれか一項に記載の方法。
【請求項15】
前記受信参加者のユーザデバイス（２ｂ）がエクステンデッドリアリティ（ＸＲ）デバイスである、請求項１４に記載の方法。
【請求項16】
前記表現プロバイダ（１）が、サーバ（３）の部位を形成する、請求項１から１４のいずれか一項に記載の方法。
【請求項17】
前記組み合わせられた３Ｄ表現を、前記受信参加者のユーザデバイス（２ａ）に送信するステップ（４７）をさらに含む、請求項１６に記載の方法。
【請求項18】
仮想会議において送信参加者（５ａ）の３次元（３Ｄ）表現を提供するための表現プロバイダ（１）であって、前記表現プロバイダ（１）が、プロセッサ（６０）と、
命令（６７）を記憶したメモリ（６４）と
を備え、前記命令（６７）が、前記プロセッサによって実行されると、前記表現プロバイダ（１）に、
人の少なくとも部位の非リアルタイム３Ｄモデルを取得することと、
前記仮想会議の前記送信参加者（５ａ）の部分的リアルタイム３Ｄデータを取得することと、
前記送信参加者（５ａ）の組み合わせられた３Ｄ表現を生じる、前記非リアルタイム３Ｄモデルを前記部分的リアルタイム３Ｄデータと組み合わせることと
を行わせる、表現プロバイダ（１）。
【請求項19】
前記非リアルタイム３Ｄモデルを前記部分的リアルタイム３Ｄデータと組み合わせるための前記命令が、前記プロセッサによって実行されると、前記表現プロバイダ（１）に、前記非リアルタイム３Ｄモデル中の少なくとも１つの身体特徴を識別することと、
前記リアルタイム３Ｄデータ中の少なくとも１つの身体特徴を識別することと、
前記非リアルタイム３Ｄモデルと前記リアルタイム３Ｄデータの両方に基づいて前記送信参加者（５ａ）の前記組み合わせられた３Ｄ表現を生成することであって、前記非リアルタイム３Ｄモデルと前記リアルタイム３Ｄデータの両方の部位を形成する身体特徴について、さらなる考慮事項が、前記リアルタイム３Ｄデータに与えられる、前記送信参加者（５ａ）の前記組み合わせられた３Ｄ表現を生成することと
を行わせる命令（６７）を含む、請求項１８に記載の表現プロバイダ（１）。
【請求項20】
生成するための前記命令が、前記プロセッサによって実行されると、前記表現プロバイダ（１）に、前記非リアルタイム３Ｄモデルと前記リアルタイム３Ｄデータとに異なる重みを適用することによって、前記リアルタイム３Ｄデータに、さらなる考慮事項を適用することを行わせる命令（６７）を含む、請求項１９に記載の表現プロバイダ（１）。
【請求項21】
生成するための前記命令が、前記プロセッサによって実行されると、前記表現プロバイダ（１）に、ネットワーク帯域幅が減少するとき、前記リアルタイム３Ｄデータに、さらなる考慮事項を適用することを行わせる命令（６７）を含む、請求項１９または２０に記載の表現プロバイダ（１）。
【請求項22】
前記非リアルタイム３Ｄモデルを前記部分的リアルタイム３Ｄデータと組み合わせるための前記命令が、前記プロセッサによって実行されると、前記表現プロバイダ（１）に、リアルタイム部分的リアルタイム３Ｄデータが一時的に利用不可能であるとき、前記非リアルタイム３Ｄモデルを、直近に受信された部分的リアルタイム３Ｄデータと組み合わせることと、利用不可能性を表す前記送信参加者の外観を生成することとを行わせる命令（６７）を含む、請求項１８から２１のいずれか一項に記載の表現プロバイダ（１）。
【請求項23】
前記プロセッサによって実行されると、前記表現プロバイダ（１）に、カメラデータに基づいて前記非リアルタイム３Ｄモデルを生成すること
を行わせる命令（６７）をさらに含む、請求項１８から２２のいずれか一項に記載の表現プロバイダ（１）。
【請求項24】
前記カメラデータが、２Ｄカメラからのデータを含む、請求項２３に記載の表現プロバイダ（１）。
【請求項25】
前記カメラデータが、３Ｄイメージングデバイスからのデータを含む、請求項２３または２４に記載の表現プロバイダ（１）。
【請求項26】
前記非リアルタイム３Ｄモデルが、前記送信参加者（５ａ）に固有であるモデルである、請求項１８から２５のいずれか一項に記載の表現プロバイダ（１）。
【請求項27】
前記非リアルタイム３Ｄモデルが、いくつかの異なる送信参加者について使用され得る一般的なモデルであるモデルである、請求項１８から２６のいずれか一項に記載の表現プロバイダ（１）。
【請求項28】
前記非リアルタイム３Ｄモデルが、前記送信参加者（５ａ）の特性に基づいて、複数の非リアルタイム３Ｄモデルから選択される、請求項２７に記載の表現プロバイダ（１）。
【請求項29】
前記プロセッサによって実行されると、前記表現プロバイダ（１）に、前記組み合わせられた３Ｄ表現を、前記送信参加者のユーザデバイス（２ａ）に送信すること
を行わせる命令（６７）をさらに含む、請求項１８から２８のいずれか一項に記載の表現プロバイダ（１）。
【請求項30】
前記プロセッサによって実行されると、前記表現プロバイダ（１）に、前記送信参加者の前記ユーザデバイス（２ａ）から性能指示を受信すること
を行わせる命令（６７）をさらに含む、請求項２９に記載の表現プロバイダ（１）。
【請求項31】
請求項１８から３０のいずれか一項に記載の表現プロバイダ（１）を備える、受信参加者（５ｂ）のためのユーザデバイス（２ｂ）。
【請求項32】
前記ユーザデバイス（２ｂ）がエクステンデッドリアリティ（ＸＲ）デバイスである、請求項３１に記載のユーザデバイス（２ｂ）。
【請求項33】
請求項１８から３０のいずれか一項に記載の表現プロバイダ（１）を備えるサーバ（３）。
【請求項34】
前記プロセッサによって実行されると、前記表現プロバイダ（１）に、前記組み合わせられた３Ｄ表現を、前記受信参加者のユーザデバイス（２ａ）に送信すること
を行わせる命令（６７）をさらに含む、請求項３３に記載のサーバ（３）。
【請求項35】
仮想会議において送信参加者（５ａ）の３Ｄ（３次元）表現を提供するためのコンピュータプログラム（６７、９１）であって、前記コンピュータプログラムがコンピュータプログラムコードを備え、前記コンピュータプログラムコードは、表現プロバイダ（１）上で実行されると、前記表現プロバイダ（１）に、人の少なくとも部位の非リアルタイム３Ｄモデルを取得することと、
前記仮想会議の前記送信参加者（５ａ）の部分的リアルタイム３Ｄデータを取得することと、
前記送信参加者（５ａ）の組み合わせられた３Ｄ表現を生じる、前記非リアルタイム３Ｄモデルを前記部分的リアルタイム３Ｄデータと組み合わせることと
を行わせる、コンピュータプログラム（６７、９１）。
【請求項36】
請求項３５に記載のコンピュータプログラムと、前記コンピュータプログラムが記憶されるコンピュータ可読手段とを備えるコンピュータプログラム製品（６４、９０）。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、仮想会議において送信参加者の３次元（３Ｄ）表現を提供するための方法、仮想会議において送信参加者の３Ｄ表現を提供するための表現プロバイダ、および仮想会議において送信参加者の３Ｄ表現を提供するためのコンピュータプログラムに関する。
【背景技術】
【0002】
リモート仮想会議の必要が、継続的に増加している。今日、たとえば、Ｍｉｃｒｏｓｏｆｔ Ｔｅａｍｓを介した、２次元（２Ｄ）ビデオが一般的であるが、より強力なエクステンデッドリアリティ（ＸＲ）デバイスによって推進される３次元（３Ｄ）没入型通信が、すぐに、仮想会議のユーザ体感を次のレベルに至らせることになる。ＸＲは、拡張現実（ＡＲ）、仮想現実（ＶＲ）などのための包括的な用語である。
【0003】
３Ｄ仮想会議が機能するために、各参加者は、たとえば、たとえば、ライダー、レーダー、またはステレオイメージングなどの技術に基づく、３Ｄイメージングデバイスを使用してキャプチャされるべきである。しかしながら、３Ｄイメージングは、参加者のユーザデバイス間で転送されるべき大量のデータを生じる。
【0004】
リアルタイムでの、ポイントクラウドなど、３Ｄイメージングデバイス、３Ｄストリームからのデータのキャプチャおよびエンコーディングは、仮想会議にとって課題のままである。これはまた、広く変動する帯域幅（一時的なスパイク／アウテージ）をもつネットワークにとって、および３Ｄキャプチャストリームの帯域幅需要を考慮すると、問題になる。別の問題は、会議（ｃｏｎｆｅｒｅｎｃｉｎｇ）体感に著しく悪影響を及ぼす、ネットワークレイテンシジッタである。
【発明の概要】
【0005】
１つの目的は、３Ｄ仮想会議のためのリソース使用量、特に、帯域幅などのネットワークリソース使用量を低減することである。
【0006】
第１の態様によれば、仮想会議において送信参加者の３Ｄ表現を提供するための方法が提供される。本方法は、表現プロバイダにおいて実施される。本方法は、人の少なくとも部位（ｐａｒｔ）の非リアルタイム３Ｄモデルを取得することと、仮想会議の送信参加者の部分的リアルタイム３Ｄデータ（ｐａｒｔｉａｌ ｒｅａｌｔｉｍｅ ３Ｄ ｄａｔａ）を取得することと、送信参加者の組み合わせられた３Ｄ表現を生じる、非リアルタイム３Ｄモデルを部分的リアルタイム３Ｄデータと組み合わせることとを含む。
【0007】
第２の態様によれば、仮想会議において送信参加者の３Ｄ表現を提供するための表現プロバイダが提供される。本表現プロバイダは、プロセッサと、命令を記憶したメモリとを備え、命令は、プロセッサによって実行されると、本表現プロバイダに、人の少なくとも部位の非リアルタイム３Ｄモデルを取得することと、仮想会議の送信参加者の部分的リアルタイム３Ｄデータを取得することと、送信参加者の組み合わせられた３Ｄ表現を生じる、非リアルタイム３Ｄモデルを部分的リアルタイム３Ｄデータと組み合わせることとを行わせる。
【0008】
第３の態様によれば、仮想会議において送信参加者の３Ｄ表現を提供するためのコンピュータプログラムが提供される。本コンピュータプログラムはコンピュータプログラムコードを備え、コンピュータプログラムコードは、表現プロバイダ上で実行されると、表現プロバイダに、人の少なくとも部位の非リアルタイム３Ｄモデルを取得することと、仮想会議の送信参加者の部分的リアルタイム３Ｄデータを取得することと、送信参加者の組み合わせられた３Ｄ表現を生じる、非リアルタイム３Ｄモデルを部分的リアルタイム３Ｄデータと組み合わせることとを行わせる。
【0009】
第４の態様によれば、第３の態様によるコンピュータプログラムと、コンピュータプログラムが記憶されるコンピュータ可読手段とを備えるコンピュータプログラム製品が提供される。
【0010】
本コンテキストでは、部分的リアルタイム３Ｄデータは、送信参加者の部位、たとえば、参加者の頭部などいくつかの身体部位を表すライブカメラストリームであると理解される。ライブカメラストリームは、仮想会議中にリアルタイムでキャプチャされる。人の少なくとも部位の非リアルタイム３Ｄモデルは、送信参加者を表す３Ｄモデルであり、その３Ｄモデルに基づいて、部分的リアルタイム３Ｄデータを非リアルタイム３Ｄモデルと組み合わせることによって、送信参加者の完全表現が導出され得ると理解される。非リアルタイム３Ｄモデルは、あらかじめ生成され（非リアルタイム）、たとえば、送信参加者と同じ性別および身体タイプの人間のための一般モデル、あるいは、送信参加者に固有であるモデルであり得る。参加者の完全表現の代わりに、仮想会議中に部分的リアルタイム３Ｄデータのみを送信することと、部分的リアルタイム３Ｄデータを非リアルタイム３Ｄモデルと組み合わせることとによって、会議中のネットワーク帯域幅に関する要件が低減される。
【0011】
概して、特許請求の範囲において使用されるすべての用語は、本明細書で別段明示的に規定されない限り、本技術分野におけるその通例の意味に従って解釈されるべきである。「１つの（ａ／ａｎ）／その（ｔｈｅ）エレメント、装置、構成要素、手段、ステップなど」へのすべての言及は、別段明示的に述べられていない限り、そのエレメント、装置、構成要素、手段、ステップなどの少なくとも１つの事例を指すようにオープンに解釈されるべきである。本明細書で開示されるいずれの方法のステップも、明示的に述べられていない限り、開示される厳密な順序で実施される必要はない。
【0012】
次に、例として、添付の図面を参照しながら、態様および実施形態が説明される。
【図面の簡単な説明】
【0013】
【図1】本明細書で提示される実施形態が仮想会議のために適用され得る環境を示す概略図である。
【図3】非リアルタイム３Ｄモデルが２Ｄカメラソースに基づく、３Ｄデータを組み合わせることの実施形態を示す概略図である。
【図4】非リアルタイム３Ｄモデルが３Ｄカメラソースに基づく、３Ｄデータを組み合わせることの実施形態を示す概略図である。
【図5】非リアルタイム３Ｄモデルと部分的リアルタイム３Ｄデータとがサーバにおいて組み合わせられる、３Ｄモデリング実施形態のためのコールフローを示すシーケンス図である。
【図6】非リアルタイム３Ｄモデルと部分的リアルタイム３Ｄデータとが受信側ユーザデバイスによって組み合わせられる、３Ｄモデリング実施形態のためのコールフローを示すシーケンス図である。
【図7】個人化３Ｄモデルと部分的リアルタイム３Ｄデータとがサーバにおいて組み合わせられる、３Ｄモデリング実施形態のためのコールフローを示すシーケンス図である。
【図8】個人化３Ｄモデルと部分的リアルタイム３Ｄデータとが受信側ユーザデバイスによって組み合わせられる、３Ｄモデリング実施形態のためのコールフローを示すシーケンス図である。
【図9】２Ｄ画像入力に基づいて生成される３Ｄモデルを示す図である。
【図10】ポイントクラウドからの部分的３Ｄデータを示す図である。
【図11】サーバからの視覚フィードバックに基づく、ライブストリームとの組み合わせられた３Ｄ表現の相互妥当性検証のためのコールフローを示すシーケンス図である。
【図12A-12B】仮想会議において送信参加者の３Ｄ表現を提供するための方法の実施形態を示すフローチャートである。
【図13】表現プロバイダの構成要素を示す概略図である。
【図15】コンピュータ可読手段を備えるコンピュータプログラム製品の一例を示す図である。
【発明を実施するための形態】
【0014】
次に、本発明のいくつかの実施形態が示されている添付の図面を参照しながら、本開示の態様が以下でより十分に説明される。しかしながら、これらの態様は、多くの異なる形態で具現化され得、限定的なものとして解釈されるべきではなく、むしろ、これらの実施形態は、本開示が徹底的かつ完全であり、本発明のすべての態様の範囲を当業者に十分に伝えるように、例として提供される。同様の番号は、説明全体にわたって同様のエレメントを指す。
【0015】
本明細書で提示される実施形態は、（送信参加者におけるイメージングデバイスによってリアルタイムでキャプチャされた）部分的リアルタイム３Ｄデータを非リアルタイム３Ｄモデルと組み合わせることによって、仮想会議において参加者のリソース効率的な３Ｄ表現を提供する。３Ｄコンピュータ生成されたアバターに依拠する従来技術とは対照的に、本明細書で提示される実施形態は、３Ｄイメージングデバイスによってキャプチャされたライブ３Ｄデータで送信参加者の３Ｄモデルをオーグメントすることによって、会議参加者の現実的な表現を提供する。送信参加者の完全なキャプチャ表現を提供する、フル３Ｄキャプチャ深度画像は、帯域幅集約的であることと、レイテンシに関して厳しいことの両方であるので、本明細書で提示される実施形態は、３Ｄイメージングデバイスからリアルタイムでキャプチャされた部分的リアルタイム３Ｄデータを、参加者の非リアルタイム３Ｄモデル表現と組み合わせて、リアル３Ｄ表現と低減されたネットワーク要件の両方を提供する。
【0016】
本明細書で提示される実施形態では、（たとえば、ストリームの形態の）部分的リアルタイム３Ｄデータが、（本明細書では送信参加者と示される）参加者の３Ｄイメージングデバイスからネットワーク中のサーバ（たとえば、エッジクラウドサーバ）にリアルタイムで送信され、ここで、部分的リアルタイム３Ｄデータは、トレーニングされた非リアルタイム３Ｄモデルと組み合わせられて、送信参加者の組み合わせられた３Ｄ表現を提供する。これは、リアルタイム３Ｄデータを配信するためのネットワークに関する帯域幅要件を低減し、サーバにおいて、参加者の３Ｄモデルを、参加者を部分的に表すリアルタイム３Ｄストリームと組み合わせて、受信ユーザデバイスによってレンダリングするための送信参加者の完全な３Ｄ表現を提供する。非リアルタイム３Ｄモデルは、プライバシーをセキュアにするために、随意に暗号化される。その目的は、送信参加者に、３Ｄモデルがどのように使用されるか、すなわち、３Ｄモデルが承諾なしに再使用されないことの制御を与えることである。
【0017】
本明細書で提示される実施形態は、ネットワークに関するリアルタイム帯域幅およびレイテンシおよびレイテンシジッタ要件を低減する。今日、３Ｄにおける仮想会議は、２Ｄビデオ通信と比較して、参加者に３Ｄ没入型体感を提供する。ここでは、仮想会議が、少なくとも２人の参加者間で３Ｄ機器を使用する仮想プレゼンスを可能にする任意の接続として、たとえば、３Ｄビデオ通話、３Ｄ仮想営業会議、３Ｄ仮想法廷審問などとして解釈されるべきであることに留意されたい。
【0018】
実施形態は、モバイル事業者ドメイン中のいわゆるエッジクラウドにおけるサーバに基づき得、サーバは、このようにして、エッジクラウドサーバからユーザデバイスへの仮想３Ｄ通信および随意にセキュア３Ｄ通信のための新しいサービスオファーを提供することができる。
【0019】
低減された帯域幅、レイテンシおよびレイテンシジッタ要件は、仮想３Ｄ通信サービスが、通常ならば可能であるよりも、奥まった屋内ロケーションを含むセルエッジにおいてなど、ネットワークのより大きい部位において、すなわち、ネットワーク中のより深部に、提供されることを可能にする。
【0020】
図１は、本明細書で提示される実施形態が仮想会議のために適用され得る環境を示す概略図である。第１の参加者７ａと、第２の参加者７ｂと、第３の参加者とがいる。異なるエンティティ間の通信が、通信ネットワーク６によって可能にされる。通信ネットワークは、インターネットプロトコル（ＩＰ）ベースのネットワークであり得る。ネットワークは、たとえば、ローカルワイヤレスネットワーク、セルラネットワーク、有線ローカルエリアネットワーク、（インターネットなど）ワイドエリアネットワークなどのうちのいずれか１つまたは複数を備えることができる。
【0021】
第１の参加者５ａは、第１の物理的空間７ａ（たとえば、自宅またはオフィス）におり、３Ｄコンテンツをレンダリングすることが可能な第１のユーザデバイス２ａを有する。たとえば、第１のユーザデバイス２ａは、たとえば、眼鏡、スマートフォン、またはタブレットの形態の、ＸＲデバイスであり得る。第１の参加者５ａの３Ｄ画像をキャプチャするために、第１の３Ｄイメージングデバイス４ａが提供される。随意に、第１の３Ｄイメージングデバイス４ａは、第１のユーザデバイス２ａの部位（図示せず）を形成する。第１のユーザデバイス２ａと第１の３Ｄイメージングデバイス４ａとの各々が、（図示のように）直接、または、別のローカルデバイスを介して（たとえば、第１のユーザデバイス２ａを介して）のいずれかで、通信ネットワーク６に接続される。
【0022】
第２の参加者５ｂは、第２の物理的空間７ｂ（たとえば、自宅またはオフィス）におり、３Ｄコンテンツをレンダリングすることが可能な第２のユーザデバイス２ｂを有する。たとえば、第２のユーザデバイス２ｂは、たとえば、眼鏡またはスマートフォンの形態の、ＸＲデバイスであり得る。第２の参加者５ｂの３Ｄ画像をキャプチャするために、第２の３Ｄイメージングデバイス４ｂが提供される。随意に、第２の３Ｄイメージングデバイス４ｂは、第２のユーザデバイス２ｂの部位（図示せず）を形成する。第２のユーザデバイス２ｂと第２の３Ｄイメージングデバイス４ｂとの各々が、（図示のように）直接、または、別のローカルデバイスを介して（たとえば、第２のユーザデバイス２ｂを介して）のいずれかで、通信ネットワーク６に接続される。
【0023】
第３の参加者５ｃは、第３の物理的空間７ｃ（たとえば、自宅またはオフィス）におり、３Ｄコンテンツをレンダリングすることが可能な第３のユーザデバイス２ｃを有する。たとえば、第３のユーザデバイス２ｃは、たとえば、眼鏡またはスマートフォンの形態の、ＸＲデバイスであり得る。第３の参加者５ｃの３Ｄ画像をキャプチャするために、第３の３Ｄイメージングデバイス４ｃが提供される。随意に、第３の３Ｄイメージングデバイス４ｃは、第３のユーザデバイス２ｃの部位（図示せず）を形成する。第３のユーザデバイス２ｃと第３の３Ｄイメージングデバイス４ｃとの各々が、（図示のように）直接、または、別のローカルデバイスを介して（たとえば、第３のユーザデバイス２ｃを介して）のいずれかで、通信ネットワーク６に接続される。
【0024】
３Ｄイメージングデバイス４ａ～４ｃは、好適な技術、たとえば、ライダー、レーダー、ステレオイメージングなどのいずれか１つまたはそれらの組合せを使用して実装され得る。３Ｄイメージングデバイス４ａ～４ｃからの出力は、任意の好適なフォーマット、たとえば、ポイントクラウド、ＲＧＢ（赤緑青）深度、メッシュなどであり得る。
【0025】
通信ネットワーク６に接続されたサーバ３が提供される。サーバ３は、クラウドサービスプロバイダによって提供されるクラウドサービスの部位を形成することができる。サーバ３は、単一のロケーションにおいてまたは複数のロケーションにわたって、単一の物理的コンピュータを使用してまたは複数のコンピュータを使用して実装される。
【0026】
図１において開示される構成要素を使用して、参加者５ａ、５ｂ、５ｃは、他の参加者の視覚３Ｄプレゼンテーションを提供する仮想会議をセットアップすることができる。
【0027】
図２は、図１に示される参加者のための仮想会議を示す概略図である。図２におけるビューは、第１の参加者５ａの第１の表現５ａ’と、第２の参加者５ｂの第２の表現５ｂ’と、第３の参加者５ｃの第３の表現５ｃ’とを用いた、仮想会議の３Ｄ環境の仮想斜視図である。それぞれのユーザデバイス２ａ、２ｂ、２ｃによる実際のレンダリングでは、ビューは、それぞれの表現５ａ’、５ｂ’、５ｃ’から見られるようにレンダリングされる。
【0028】
以下では、ある参加者の表現が説明される実施形態が提示される。この参加者は送信参加者と示され、送信参加者を閲覧する参加者は、受信参加者と呼ばれる。しかしながら、仮想会議のすべての参加者が、すべての他の参加者に、同様に表され得ることに留意されたい。言い換えれば、本明細書で提示される実施形態は、少なくとも１人の送信参加者を伴う、複数の参加者に適用され得る。言い換えれば、たとえば、送信参加者が講演をしている場合、送信参加者は、１人または複数の受信参加者のユーザデバイス上でレンダリングされ得る。代替または追加として、２人またはそれ以上の送信参加者が、他の参加者のユーザデバイス上でレンダリングされ得る。
【0029】
図３は、非リアルタイム３Ｄモデルが２Ｄカメラソースに基づく、３Ｄデータ組合せの実施形態を示す概略図である。これは、トレーニングされた非リアルタイム３Ｄモデルを部分的リアルタイム３Ｄデータと組み合わせることに基づく実施形態を示す。２Ｄカメラストリームが、非リアルタイム３Ｄモデルを構成するために使用され得る。たとえば、これは、本出願の出願時において、ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１８０３．０７８３５において利用可能な、２Ｄ画像に基づいて顔の３Ｄ形状を導出することを開示する、Ｆｅｎｇら、「Ｊｏｉｎｔ ３Ｄ Ｆａｃｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ａｎｄ Ｄｅｎｓｅ Ａｌｉｇｎｍｅｎｔ ｗｉｔｈ Ｐｏｓｉｔｉｏｎ Ｍａｐ Ｒｅｇｒｅｓｓｉｏｎ Ｎｅｔｗｏｒｋ」において説明される方法に基づき得る。
【0030】
さらに、図３の下側部分において、部分的リアルタイム３Ｄデータが、ネットワーク上で、参加者の現実的な３Ｄ表現を生成するために非リアルタイム３Ｄモデルを部分的リアルタイム３Ｄデータと組み合わせる、（サーバ３または受信参加者のユーザデバイス中で実装される）表現プロバイダ１に送信される。
【0031】
２Ｄカメラと３Ｄイメージングデバイス（たとえば、３Ｄカメラ）とは、画像キャプチャシステムを表し、１つのカメラにおいてコロケートされ得るか、または別個のデバイスにおいて提供され得ることに留意されたい。同じことが、本開示全体にわたって説明される他の実施形態に適用される。
【0032】
【0033】
図４は、非リアルタイム３Ｄモデルが３Ｄイメージングデバイスソースに基づく、３Ｄデータ組合せの実施形態を示す概略図である。この実施形態では、サーバ３は、参加者のフル３Ｄ表現を事前生成し、たとえば、エッジクラウドにおける、サーバに記憶する。生成される３Ｄ表現は、各参加者に固有であり得、仮想会議より前に生成され得る。これは、仮想会議中の帯域幅需要を低減する。サーバは、さらに、非リアルタイム３Ｄモデルを生成するために３Ｄカメラストリーム入力を最適化することができる（たとえば、背景削除）。事前生成された非リアルタイム３Ｄモデルは、たとえば、異なる角度から、参加者の３Ｄ表現をキャプチャすることができる。ランタイム中に、非リアルタイム３Ｄモデルは、仮想会議において参加者の現実的な３Ｄ表現を提供するために、３Ｄイメージングデバイスからの部分的リアルタイム３Ｄデータと組み合わせられる。組み合わせることは、表現プロバイダ１において行われ、表現プロバイダ１は、サーバ３中で、または、受信参加者のユーザデバイス中で実装され得る。
【0034】
図５は、非リアルタイム３Ｄモデルと部分的リアルタイム３Ｄデータとがサーバにおいて組み合わせられる、３Ｄモデリング実施形態のためのコールフローを示すシーケンス図である。すべてのシーケンス図について、「キャプチャシステム」が、送信参加者のユーザデバイスの部位を形成し、２Ｄカメラと３Ｄイメージングデバイスのいずれかまたは両方を備えることができることに留意されたい。
【0035】
図３に示されている実施形態では、トレーニングフェーズと実行フェーズとが示されている。トレーニングフェーズ中に、２Ｄおよび３Ｄカメラストリームが、ストリームの大きいデータセット、たとえば、深度およびテクスチャ画像を含むポイントクラウドを考慮することによって、非リアルタイム３Ｄモデルをトレーニングするために使用される。ポイントクラウドは、本開示で使用されるときはいつでも、３Ｄ空間における（たとえば、デカルト座標としての）ポイントのセットを含んでいる。ポイントクラウドは、多数のポイント、たとえば、最高数万ポイント、さらには数百万ポイント、を含んでいることがある。
【0036】
実行フェーズ中に、２Ｄカメラ画像が、トレーニングされた非リアルタイム３Ｄモデルに基づいて、３Ｄモデルを構成するために使用される。さらに、部分的リアルタイム３Ｄデータが、３Ｄイメージングデバイスからサーバに送信され、ここで、部分的リアルタイム３Ｄデータは、非リアルタイム３Ｄモデルと組み合わせられる。組み合わせられた３Ｄ表現は、受信側参加者のユーザデバイスに提供される。
【0037】
図６は、非リアルタイム３Ｄモデルと部分的リアルタイム３Ｄデータとが受信側ユーザデバイスによって組み合わせられる、３Ｄモデリング実施形態のためのコールフローを示すシーケンス図である。トレーニングの後に、得られた非リアルタイム３Ｄモデルがユーザデバイスに提供され、実行中に、２Ｄ画像と部分的リアルタイム３Ｄデータとがユーザデバイスに提供される。３Ｄモデルは、会議中のリアルタイム帯域幅需要を低減するために、実現可能な場合はいつでも、事前に、ユーザデバイスに転送され得る。この実施形態または本明細書で提示される任意の他の実施形態において、３Ｄモデルが転送されるときはいつでも、３Ｄモデルは、プライバシーを保護するために暗号化され得る。
【0038】
図７は、３Ｄ個人化モデルと部分的リアルタイム３Ｄデータとがサーバ３において組み合わせられる、３Ｄモデリング実施形態のためのコールフローを示すシーケンス図である。
【0039】
この実施形態は、図４の実施形態と組み合わせられ得る。トレーニングフェーズ中に、異なる角度からの将来の送信参加者を表す３Ｄストリームがサーバに提供され、サーバは、将来の送信参加者のための個人化３Ｄモデルリポジトリを構築する。実行フェーズ中に、正しい３Ｄモデルが、３Ｄイメージングデバイスの配向および送信参加者の識別情報に基づいて、サーバから選択される。モデルは、３Ｄイメージングデバイスから受信された部分的リアルタイム３Ｄデータと組み合わせられ、組み合わせられた３Ｄ表現は、ユーザデバイスに提供される。
【0040】
図８は、３Ｄ個人化モデルと部分的リアルタイム３Ｄデータとが受信側ユーザデバイスによって組み合わせられる、３Ｄモデリング実施形態のためのコールフローを示すシーケンス図である。組み合わせることは、受信参加者のユーザデバイスにおいて行われる。事前生成された非リアルタイム３Ｄモデルは、仮想会議の前に、ユーザデバイスに提供され得る。仮想会議中に、３Ｄイメージングデバイスの配向は、非リアルタイム３Ｄモデルを選択するためにユーザデバイスに提供され、部分的リアルタイム３Ｄデータは、ユーザデバイスに提供される。非リアルタイム３Ｄモデルと部分的リアルタイム３Ｄデータの両方を組み合わせることは、ユーザデバイスによって実行される。非リアルタイム３Ｄモデルは、リアルタイム帯域幅需要を低減するために、ユーザデバイスに転送される。
【0041】
図９は、２Ｄ画像入力に基づいて生成される３Ｄデータを示す。図９の上側部分は、２Ｄ画像入力に基づいて（サーバまたはユーザデバイス中の）表現プロバイダ１において生成され得る出力３Ｄモデルを示す。図９の下側部分は、毛髪および首を伴う、コンピュータモデル化されたアバターの完全な頭部を示す。
【0042】
実際的な態様のために、参加者の頭部の表現は、首、顔および毛髪など、セクションに分割され得る。この実施形態を使用して、組み合わせられた３Ｄ表現はアニメーション化され得、必要な場合、回転が、部分的リアルタイム３Ｄデータに基づいて調節され得る。
【0043】
図１０は、顔と前側首と上側胴体とを示す、ポイントクラウドから導出された部分的３Ｄデータを示す。毛髪は、このポイントクラウドでは除外されることに留意されたい。
【0044】
図１１は、表現プロバイダからの視覚フィードバックに基づく、ライブストリームとの組み合わせられた３Ｄ表現の相互妥当性検証のためのコールフローを示すシーケンス図である。組み合わせられた３Ｄ表現は、表現プロバイダからの視覚フィードバックとして、キャプチャシステム、すなわち、送信参加者のユーザデバイスに提供され得る。組み合わせられた３Ｄ表現は、３Ｄイメージングデバイスからのライブストリームとの組み合わせられた３Ｄ表現の相互妥当性検証を行うために、送信参加者のユーザデバイスによって使用される。フィードバックが、表現デバイスに提供され得る。フィードバックは、相互妥当性検証の単純な確認応答であり得るか、またはストリームのいくつかのエリアにおけるエラー指示をも含むことができ、表現デバイスが、組み合わせられた３ｄ表現のその生成を改善することを可能にする。
【0045】
相互妥当性検証は、仮想会議の最初に、定期的に、または必要なとき、起こり得、たとえば、組合せにおけるエラーレベルが、あるしきい値を上回る場合、生成されたモデルが、相互妥当性検証のために送られる。相互妥当性検証は、本明細書で提示される任意の実施形態に適用され得ることに留意されたい。
【0046】
図１２Ａ～図１２Ｂは、仮想会議において送信参加者の３Ｄ表現を提供するための方法の実施形態を示すフローチャートである。本方法の実施形態は表現プロバイダ１において実施され、表現プロバイダ１は、受信参加者のユーザデバイス中で、またはサーバ中で実装され得る。
【0047】
随意の、非リアルタイム３Ｄモデルを生成するステップ４０において、表現プロバイダ１は、たとえば、上記で説明されたように、カメラデータに基づいて非リアルタイム３Ｄモデルを生成する。カメラデータは、２Ｄカメラからのまたは３Ｄイメージングデバイスからのデータを含む。非リアルタイム３Ｄモデルは、たとえば、会議の直前に、たとえば、セットアッププロセスの一部として、仮想会議に関連して適応され得る。これは、非リアルタイム３Ｄモデルが、たとえば、髪型、衣服、化粧、日焼け、光条件など、送信参加者の現在の外観に関して最新であることを保証することができる。
【0048】
非リアルタイム３Ｄモデルを取得するステップ４２において、表現プロバイダ１は、人の少なくとも部位の非リアルタイム３Ｄモデルを取得する。
【0049】
非リアルタイム３Ｄモデルは、送信参加者５ａに固有であるモデルであり得る。
【0050】
代替的に、非リアルタイム３Ｄモデルは、いくつかの異なる送信参加者について使用され得る一般的なモデルであるモデルである。そのような場合、非リアルタイム３Ｄモデルは、送信参加者５ａの特性、たとえば、性別、年齢などに基づいて、複数の非リアルタイム３Ｄモデルから選択され得る。
【0051】
部分的リアルタイム３Ｄデータを取得するステップ４４において、表現プロバイダ１は、仮想会議の送信参加者５ａの部分的リアルタイム３Ｄデータを取得する。部分的リアルタイム３Ｄデータは、送信参加者における３Ｄイメージングデバイスによってキャプチャされ、送信参加者を示す３Ｄデータを含んでいる。
【0052】
組み合わせるステップ４６において、表現プロバイダ１は、非リアルタイム３Ｄモデルを部分的リアルタイム３Ｄデータと組み合わせ、送信参加者５ａの組み合わせられた３Ｄ表現を生じる。
【0053】
リアルタイム部分的リアルタイム３Ｄデータが一時的に利用不可能であるとき、このステップは、非リアルタイム３Ｄモデルを、直近に受信された部分的リアルタイム３Ｄデータと組み合わせることと、利用不可能性を表す送信参加者の外観を生成することとを含むことができる。たとえば、組み合わせられた３Ｄ表現が生成され得、ここで、送信参加者は、脇見をしており、これは、送信参加者の非焦点を示す。参加者は、これが、直観的なおよび自然な様式で示された、ネットワーク問題の徴候であることを、経時的に学習することになる。
【0054】
随意に、表現プロバイダ１は、サーバ３の部位を形成する。この場合、随意の、組合せを受信側に送信するステップ４７において、表現プロバイダ１は、受信参加者のためのユーザデバイス２ａによってレンダリングするために、組み合わせられた３Ｄ表現を、受信参加者のそのユーザデバイス２ａに送信する。
【0055】
随意の、組合せをソースに送信するステップ４８において、表現プロバイダ１は、組み合わせられた３Ｄ表現を、送信参加者のユーザデバイス２ａに送信する。これは、送信参加者のユーザデバイスが、送信参加者のために、組み合わせられた表現をレンダリングすることを可能にし、送信参加者が、受信参加者から見られるように送信参加者の視覚表現を閲覧することを可能にする。視覚表現は、たとえば、ネットワーク品質の変動による、通信の効果を含む。たとえば、送信参加者は、受信参加者が送信参加者の利用不可能性にいつ気づくかがわかり得る。随意に、成功したレンダリングおよび／または成功した組み合わせられた３Ｄ表現の指示が、送信参加者のユーザデバイスに提供される。
【0056】
随意の、性能指示を受信するステップ５０において、表現プロバイダ１は、送信参加者のユーザデバイス２ａから性能指示（ｐｅｒｆｏｒｍａｎｃｅ ｉｎｄｉｃａｔｉｏｎ）を受信する。
【0057】
次に図１２Ｂを参照すると、これは、組み合わせるステップ４６の随意のサブステップを示すフローチャートである。
【0058】
随意の、非リアルタイム３Ｄモデル中の身体特徴を識別するサブステップ４６ａにおいて、表現プロバイダ１は、非リアルタイム３Ｄモデル中の少なくとも１つの身体特徴を識別する。そのような身体特徴は、たとえば、首、眼、唇、口の開き、顔、毛髪などのうちのいずれか１つまたは複数であり得る。
【0059】
随意の、リアルタイム３Ｄデータ中の身体特徴を識別するサブステップ４６ｂにおいて、表現プロバイダ１は、リアルタイム３Ｄデータ中の少なくとも１つの身体特徴を識別する。
【0060】
随意の、生成するサブステップ４６ｃにおいて、表現プロバイダ１は、非リアルタイム３Ｄモデルとリアルタイム３Ｄデータの両方に基づいて送信参加者５ａの組み合わせられた３Ｄ表現を生成する。この生成では、ここでは共通身体特徴と示される、非リアルタイム３Ｄモデルとリアルタイム３Ｄデータの両方の部位を形成する身体特徴について、さらなる考慮事項が、リアルタイム３Ｄデータに与えられる。これは、非リアルタイム３Ｄモデルとリアルタイム３Ｄデータとに異なる重みを適用することによって実装され得る。随意に、ネットワーク帯域幅が減少するとき、さらなる考慮事項が、リアルタイム３Ｄデータに適用される。
【0061】
共通身体特徴について、より高い重みが、リアルタイム３Ｄデータのために割り振られ得る（たとえば、顔の周りの重要な情報が、優先され得る）。
【0062】
重み付けは、部分的リアルタイム３Ｄデータの品質が極めて高いとき、部分的リアルタイム３Ｄデータのみがこれらのエリアのために使用され、品質が低いとき、または、アウテージ中に、部分的リアルタイム３Ｄデータが受信されないとき、部分的リアルタイム３Ｄデータがスキップまたは低減されるなど、部分的リアルタイム３Ｄデータの品質に基づくことも可能である。
【0063】
セクション、たとえば、身体部位のために、非リアルタイム３Ｄモデルのみが寄与する場合、非リアルタイム３Ｄモデルからのデータのみが、組み合わせられた３Ｄ表現を生成するために使用される。
【0064】
組み合わせるステップ４６において非リアルタイム３Ｄモデルと部分的リアルタイム３Ｄデータとを組み合わせることは、３Ｄモデルと部分的リアルタイム３Ｄデータの両方からポイントクラウド座標をオーバーレイすることなど、異なるやり方で起こり得る。これは、組み合わせることを改善するための、いくつかの随意のステップを含むことができる。
【0065】
一実施形態では、参加者の固有の身体特徴に対応する、部分的リアルタイム３Ｄデータ中のセクションが、サーバによってまたはカメラによって、前処理において識別される。そのようなセクションは、部分的リアルタイム３Ｄデータと一緒に、たとえば、補助データとして、詳述される。そのようなセクションは、たとえば、眼または口の周りのエリアなど、視覚体感のために極めて重要であると見なされるエリアに対応することができる。
【0066】
随意に、サーバにおいて実施されるとき、組合せは、受信ユーザのユーザデバイスへのコネクティビティにも基づく。たとえば、ネットワークコネクティビティが良好であるときは、共通および非共通部位に基づくフル３Ｄ表現が生成および送信されるが、ネットワーク条件がより悪いときは、組み合わせられた共通部位のみが送られる。
【0067】
組み合わせることがユーザデバイス上で行われるとき、組み合わせることは、ユーザデバイスの処理およびエネルギー要件に依存することがある。組み合わせることはまた、リアルタイム３Ｄデータ中のコンテンツの程度など、通信能力に依存することがある。
【0068】
組み合わせることは、たとえば、リアルタイムで実行され得る、トレーニングされた機械学習（ＭＬ）／人工知能（ＡＩ）モデルを採用することによって、自動化され得る。
【0069】
組み合わせられた３Ｄ表現は、受信参加者のユーザデバイス上に表示され、受信参加者が、リアルタイム３Ｄデータと非リアルタイム３Ｄモデルとの組合せで送信参加者を視覚化することを可能にする。
【0070】
上記で説明されたように、表現プロバイダは、受信参加者のユーザデバイスの部位として実装され得、上記で説明されたように、受信参加者のユーザデバイスは、ＸＲデバイスであり得る。
【0071】
本明細書で提示される実施形態を使用して、たとえば、ポイントクラウドを使用する、３Ｄキャプチャが、従来技術の広大な帯域幅要件の課題なしに展開され得る。その上、ポイントクラウド圧縮規格は、これらが、リアルタイム通信に好適でないので、使用されない。
【0072】
その上、本明細書で提示される実施形態のうちのいくつかは、送信参加者のキャプチャされた、リアルタイム３Ｄデータの最も関連する部位に基づく。そのようなソリューションは、２Ｄ－３Ｄ変換と比較して、大幅に改善された品質を生じる。
【0073】
図１３は、表現プロバイダ１の構成要素を示す概略図である。ホストデバイス（たとえば、サーバ３または受信ユーザデバイス２ｂ）の部位として実装されるとき、前述の構成要素のうちの１つまたは複数がホストデバイスと共有され得ることに留意されたい。プロセッサ６０は、メモリ６４に記憶されたソフトウェア命令６７を実行することが可能な、好適な中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、マルチプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）などのうちの１つまたは複数の任意の組合せを使用して提供され、これは、したがって、コンピュータプログラム製品であり得る。プロセッサ６０は、代替的に、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などを使用して実装され得る。プロセッサ６０は、上記で図１２Ａ～図１２Ｂを参照しながら説明された方法を実行するように設定され得る。
【0074】
メモリ６４は、ランダムアクセスメモリ（ＲＡＭ）および／または読取り専用メモリ（ＲＯＭ）の任意の組合せであり得る。メモリ６４はまた、たとえば、磁気メモリ、光メモリ、固体メモリ、さらにはリモートマウントメモリのうちのいずれか単独の１つまたは組合せであり得る、永続ストレージを備える。
【0075】
また、プロセッサ６０におけるソフトウェア命令の実行中にデータを読み取るおよび／または記憶するために、データメモリ６６が提供される。データメモリ６６は、ＲＡＭおよび／またはＲＯＭの任意の組合せであり得る。
【0076】
表現プロバイダ１は、外部および／または内部エンティティと通信するためのＩ／Ｏインターフェース６２をさらに備える。随意に、Ｉ／Ｏインターフェース６２はまた、ユーザインターフェースを含む。
【0077】
表現プロバイダ１の他の構成要素は、本明細書で提示される概念を不明瞭にしないために省略される。
【0078】
図１４は、一実施形態による、図１３の表現プロバイダ１の機能モジュールを示す概略図である。モジュールは、表現プロバイダ１において実行するコンピュータプログラムなどのソフトウェア命令を使用して実装される。代替または追加として、モジュールは、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または個別論理回路のうちのいずれか１つまたは複数など、ハードウェアを使用して実装される。モジュールは、図１２Ａおよび図１２Ｂに示されている方法におけるステップに対応する。
【0079】
非リアルタイム３Ｄモデル生成器７０がステップ４０に対応する。非リアルタイム３Ｄモデル取得器７２がステップ４２に対応する。部分的リアルタイム３Ｄデータ取得器７４がステップ４４に対応する。コンバイナ７６がステップ４６に対応する。３Ｄモデル身体特徴識別器７６ａがサブステップ４６ａに対応する。３Ｄデータ身体特徴識別器７６ｂがサブステップ４６ｂに対応する。生成器７６ｃがサブステップ４６ｃに対応する。受信側への組合せ送信機（ｃｏｍｂｉｎａｔｉｏｎ ｔｏ ｒｅｃｉｐｉｅｎｔ ｔｒａｎｓｍｉｔｔｅｒ）７７がステップ４７に対応する。ソースへの組合せ送信機（ｃｏｍｂｉｎａｔｉｏｎ ｔｏ ｓｏｕｒｃｅ ｔｒａｎｓｍｉｔｔｅｒ）７８がステップ４８に対応する。性能指示受信機８０がステップ５０に対応する。
【0080】
図１５は、コンピュータ可読手段を備えるコンピュータプログラム製品９０の一例を示す。このコンピュータ可読手段上に、コンピュータプログラム９１が記憶され得、そのコンピュータプログラムは、プロセッサに、本明細書で説明される実施形態に従って方法を実行させることができる。この例では、コンピュータプログラム製品は、リムーバブル固体メモリの形態のものであり、たとえば、ユニバーサルシリアルバス（ＵＳＢ）ドライブである。上記で説明されたように、図１３のコンピュータプログラム製品６４など、コンピュータプログラム製品はまた、デバイスのメモリにおいて具現化され得る。コンピュータプログラム９１は、ここでは、リムーバブル固体メモリのセクションとして概略的に示されるが、コンピュータプログラムは、別のタイプのリムーバブル固体メモリ、あるいは、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）またはＢｌｕ－Ｒａｙディスクなどの光ディスクなど、コンピュータプログラム製品に好適である任意のやり方で記憶され得る。
【0081】
本開示の態様が、主に、数個の実施形態を参照しながら上記で説明された。しかしながら、当業者によって直ちに諒解されるように、上記で開示された実施形態以外の実施形態が、添付の特許請求の範囲によって規定される本発明の範囲内で等しく可能である。したがって、様々な態様および実施形態が本明細書で開示されたが、他の態様および実施形態が当業者には明らかであろう。本明細書で開示される様々な態様および実施形態は、例示のためのものであり、限定するものではなく、真の範囲および趣旨は以下の特許請求の範囲によって示される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A-12B】
【図13】
【図14】
【図15】
【国際調査報告】