(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-24
(45)【発行日】2023-04-03
(54)【発明の名称】仮想現実システムおよび方法
(51)【国際特許分類】
G06F 3/04845 20220101AFI20230327BHJP
G06F 3/01 20060101ALI20230327BHJP
G06T 19/00 20110101ALI20230327BHJP
G09G 5/00 20060101ALI20230327BHJP
【FI】
G06F3/04845
G06F3/01 570
G06T19/00 A
G09G5/00 510G
G09G5/00 510V
G09G5/00 550C
G09G5/00 530D
G09G5/00 530M
G06F3/01 510
(21)【出願番号】P 2020546898
(86)(22)【出願日】2019-03-13
(86)【国際出願番号】 US2019022121
(87)【国際公開番号】W WO2019178276
(87)【国際公開日】2019-09-19
【審査請求日】2021-07-27
(32)【優先日】2018-03-13
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520337905
【氏名又は名称】ウィンストン ロナルド
(74)【代理人】
【識別番号】110000796
【氏名又は名称】弁理士法人三枝国際特許事務所
(72)【発明者】
【氏名】ウィンストン ロナルド
(72)【発明者】
【氏名】タイガー マイケル
【審査官】星野 裕
(56)【参考文献】
【文献】米国特許出願公開第2016/0341959(US,A1)
【文献】米国特許出願公開第2017/0243334(US,A1)
【文献】米国特許出願公開第2016/0217621(US,A1)
【文献】特開平11-096366(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/048
G06F 3/01
G06T 19/00
G09G 5/00
(57)【特許請求の範囲】
【請求項1】
少なくとも1人のユーザがVRヘッドセットを装着した2人以上のユーザ間の仮想現実(VR)相互作用を生成するための計算方法であって、
前記VRヘッドセットを装着していない少なくとも1人のユーザの顔の画像を、前記ユーザに瞳孔を移動させながら生成して、異なる視線の前記顔の画像のデータベースを作成する工程と、
1つ以上のセンサが搭載されたVRヘッドセットを装着している
前記ユーザの2次元(2D)画像を、カメラ装置を使用して生成する工程と、
前記1つ以上のセンサを使用して前記ユーザの瞳孔の動きを追跡する工程と、
前記データベースにより、前記動きに応じた視線の瞳孔画像を生成する工程と、
前記ヘッドセットを着用している前記ユーザの前記生成された2D画像からヘッドセット画像を削除する工程と、
他のユーザが、前記ユーザがヘッドセットを装着していないかのように前記ユーザのVR画像を見ることができるように、前
記瞳孔画像をスティッチングして、前記ユーザの前記生成された2D画像から前記ヘッドセット画像が削除された領域に重ね合わせる工程と、
を有する計算方法。
【請求項2】
前記2D画像はビデオカメラを使用して生成される、請求項1に記載の計算方法。
【請求項3】
前記カメラ装置は深度センサを有する、請求項1に記載の計算方法。
【請求項4】
前記1つ以上のセンサは赤外線LEDセンサを含む、請求項1に記載の計算方法。
【請求項5】
前記1つ以上のセンサは、ユーザの瞳孔の方向を記録するためのマイクロビデオカメラをさらに含む、請求項4に記載の計算方法。
【請求項6】
ユーザがリアルタイムで互いを見ることができる、請求項1に記載の方法。
【請求項7】
少なくとも1人のユーザがVRヘッドセットを装着した2人以上のユーザ間の仮想現実(VR)相互作用を生成するための装置であって、
1つ以上のセンサコンポーネントが搭載された少なくとも1つのVRヘッドセット装置と、
前記VRヘッドセット装置を着用しているユーザの画像を少なくとも取り込むためのカメラ装置と、
少なくとも1つの前記VRヘッドセット装置およびカメラ装置のそれぞれに通信可能に接続されたVRイメージング計算装置と、
を備え、
前記VRイメージング計算装置は、
メモリと、
ストレージ装置と、
前記メモリ
および前記ストレージ装置と通信するように設けられ、前記メモリに格納された複数の命令を実行するように構成されたプロセッサと、
を備え、
前記ストレージ装置には、前記VRヘッドセットを装着していない少なくとも1人のユーザの顔を、前記ユーザに瞳孔を移動させながら撮影することにより作成された、異なる視線の前記顔の画像のデータベースが記憶されており、
前記命令は、
1つ以上のセンサが搭載されたVRヘッドセットを装着している
前記ユーザの2次元(2D)画像を、カメラ装置を使用して生成し、
前記VRヘッドセットに搭載された前記1つ以上のセンサを使用して前記ユーザの瞳孔の動きを追跡し、
前記データベースにより、前記動きに応じた視線の瞳孔画像を生成し、
前記ヘッドセットを着用している前記ユーザの前記生成された2D画像からヘッドセット画像を削除し、
他のユーザが、前記ユーザがヘッドセットを装着していないかのように前記ユーザのVR画像を見ることができるように、前
記瞳孔画像をスティッチングして、前記ユーザの前記生成された2D画像から前記ヘッドセット画像が削除された領域に重ね合わせる、
ことを前記プロセッサに実行させる、装置。
【請求項8】
前記カメラ装置はビデオカメラである、請求項
7に記載の2人以上のユーザ間の仮想現実(VR)相互作用を生成するための装置。
【請求項9】
前記カメラ装置はスマートフォン装置と統合されている、請求項
7に記載の2人以上のユーザ間の仮想現実(VR)相互作用を生成するための装置。
【請求項10】
前記カメラ装置は深度センサを有する、請求項
7に記載の2人以上のユーザ間の仮想現実(VR)相互作用を生成するための装置。
【請求項11】
前記VRヘッドセットに搭載された前記1つ以上のセンサコンポーネントは、赤外線LEDセンサを含む、請求項
7に記載の2人以上のユーザ間の仮想現実(VR)相互作用を生成するための装置。
【請求項12】
前記VRヘッドセットに搭載された前記1つ以上のセンサコンポーネントは、ユーザの瞳孔の方向を記録するための少なくとも1つのマイクロビデオカメラを含む、請求項11に記載の2人以上のユーザ間の仮想現実(VR)相互作用を生成するための装置。
【請求項13】
ユーザがリアルタイムで互いを見ることができる、請求項7に記載の2人以上のユーザ間の仮想現実(VR)相互作用を生成するための装置。
【請求項14】
ユーザは、所定の画像を背景として見ることができる、請求項7に記載の2人以上のユーザ間の仮想現実(VR)相互作用を生成するための装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、2次元(2D)および3次元(3D)画像をキャプチャおよび処理するための方法および装置に関する。
【0002】
(関連出願の相互参照)
この出願は、2019年3月13日に提出された米国特許出願第62/642,488号の優先権を主張し、その全体が参照により本明細書に組み込まれる。
【背景技術】
【0003】
仮想現実(VR)は、非常に没頭させる体験を可能にし、世界を見る新しい方法と、現実と仮想の両方の新しい環境を探索する機能を提供する。ただし、VRヘッドセットでは、体験に参加している人々の全体像を作成することが難しいため、物理的な現実と比較して、これらの体験を他人と共有することは難しい。
【発明の概要】
【発明が解決しようとする課題】
【0004】
この分断の一部は、VRユーザの仮想コンテキストを2次元のビデオ形式で共有する関連メディアである複合現実(MR)によって緩和され、ユーザの仮想体験を他の視聴者が感じることを可能とする。MRは共有を容易にするが、ヘッドセットが表情と視線をブロックし続けるため、VRでの人間の完全に魅力的な体験と完全な視界に大きな障害をもたらす。
【課題を解決するための手段】
【0005】
以下に説明する例示の実施形態の目的および利点は、以下の詳細な説明に示され明らかになるであろう。例示された実施形態のさらなる利点は、明細書およびその特許請求の範囲、ならびに添付の図面から特に指摘された装置、システム、および方法によって実現、達成される。
【0006】
この研究の一般的な目的は、ライブVRチャット体験を提供することである。現在、VRチャットアプリケーションはアニメーション化されたアバターを利用している。本発明の目的は、ユーザの頭の(例えば、ユーザがヘッドセットを装着することなく以前に記録された)3Dモデルによって視覚的に置き換えられるユーザのヘッドセットの画像なしでアバターをライブビデオに置き換えることである。本発明の他の目的は、各ユーザが自分のリアリズムのレベルを調整することである(例えば、アバターからライブの3Dビデオ画像まで)。
【図面の簡単な説明】
【0007】
添付の付録および/または図面は、本開示による様々な非限定的で例示的な発明の態様を示している。
【0008】
【
図1】本明細書で説明される技術を実装するために使用することができるコンピュータ装置およびモバイル装置の例を示している。
【
図2】ヘッドセットを装着しているユーザ、および、ヘッドセットを装着しているユーザが他のヘッドセットを装着しているユーザを知覚する光景を示している。
【
図3】ヘッドセットが取り外されたかのように、ユーザからヘッドセットの画像を取り除いてユーザのVRを作成する工程を示している。
【
図4】下記実施形態における、ユーザ間のVRチャットを作成するための工程の一部を示している。
【
図5】下記実施形態における、ユーザ間のVRチャットを作成するための工程の一部を示している。
【
図6】下記実施形態における、ユーザ間のVRチャットを作成するための工程の一部を示している。
【
図7】下記実施形態における、ユーザ間のVRチャットを作成するための工程の一部を示している。
【発明を実施するための形態】
【0009】
記載された実施形態は、添付の図面を参照してより完全に説明され、同様の参照番号は同様の構造的/機能的特徴を識別する。以下に説明する例示の実施形態は単なる例示であり、当業者には理解されるように、様々な形態で実施することができるので、例示の実施形態は、決して例示のものに限定されない。したがって、本明細書に開示された構造的および機能的詳細は限定して解釈されるべきではなく、単に請求項の基礎として、および当業者が議論された実施形態を様々に使用することを教示するための表現として解釈されるべきである。さらに、本明細書で使用される用語および語句は、限定を意図するものではなく、例示された実施形態を理解可能とする説明を提供することを意図している。
【0010】
値の範囲が記載されている場合、文脈が明確に指示しない限り、その範囲の上限と下限、およびその述べられた範囲は、例示された実施形態に包含される。これらのより小さな範囲の上限および下限は、より小さな範囲に独立して含まれてもよく、記載された範囲内の具体的に除外された制限を条件として、例示された実施形態に包含される。述べられた範囲が制限の一方または両方を含む場合、それらの含まれた制限のいずれかを除外する範囲も、例示された実施形態に含まれる。
【0011】
他に定義されない限り、本明細書で使用されるすべての技術用語および科学用語は、本発明が属する技術分野の当業者によって一般に理解されるものと同じ意味を有する。本明細書に記載されるものと同様または同等の任意の方法および材料もまた、例示される実施形態の実施または試験において使用され得るが、例示的な方法および材料がここで記載される。本明細書で言及されるすべての刊行物は、刊行物が引用されることに関連する方法および/または材料を開示および説明するために、参照により本明細書に組み入れられる。
【0012】
本明細書および添付の特許請求の範囲で使用される場合、単数形「a」、「an」、および「the」は、文脈から明らかにそうでないと指示されない限り、複数の指示対象を含むことに留意されたい。したがって、例えば、「1つの刺激」への言及は、複数のそのような刺激を含み、「信号」への言及は、1つ以上の信号および当業者に既知のその等価物への言及などを含む。
【0013】
本明細書で論じられる刊行物は、本出願の出願日より前のそれらの開示のためにのみ提供される。本明細書中のいかなるものも、例示された実施形態が、先行発明のおかげでそのような刊行物に先行する権利を与えられないことの承認として解釈されるべきではない。さらに、記載された発行日は実際の発行日とは異なる場合があり、個別に確認する必要がある場合がある。
【0014】
以下に説明する例示の実施形態は、好ましくは、コンピュータプロセッサを有するマシン上での実行を可能にする制御ロジックを有するコンピュータ可読媒体に記憶されたソフトウェアアルゴリズム、プログラムまたはコードであることが理解されるべきである。装置は通常、コンピュータアルゴリズムまたはプログラムの実行からの出力を提供するように構成されたストレージ装置を含む。
【0015】
本明細書で使用する「ソフトウェア」という用語は、実装がハードウェア、ファームウェア、ディスク上で利用可能なソフトウェアコンピュータ製品、メモリストレージ装置またはリモート装置からのダウンロード用のいずれであるかに関係なく、ホストコンピュータのプロセッサ内にあるコードまたはプログラムと同義であることを意味する。本明細書で説明される実施形態は、上述の方程式、関係、およびアルゴリズムを実装するためのそのようなソフトウェアを含む。当業者は、上記の実施形態に基づいて、例示された実施形態のさらなる特徴および利点を理解するであろう。したがって、例示された実施形態は、添付の特許請求の範囲によって示される場合を除いて、特に示され説明されたものによって限定されるべきではない。本明細書で引用されるすべての刊行物および参考文献は、参照によりその全体が本明細書に明示的に組み込まれる。
【0016】
次に、いくつかの図を通して同様の参照文字が同様の要素を示す図面を説明的に参照する。
図1は、本明細書で説明する技術と共に使用できる例示的な汎用の計算システム600および汎用のモバイルコンピュータ装置650を示している。計算システム600およびモバイル装置650は、それらの1つまたは複数の構成要素が、本明細書に記載される本発明の例示された実施形態と共に使用され得る例示的な実施形態として理解されるべきである。
【0017】
計算装置600は、プロセッサ602と、メモリ604と、ストレージ装置606と、メモリ604および高速拡張ポート610に接続する高速インターフェース608と、低速バス614およびストレージ装置606に接続する低速インターフェース612とを含む。部材602、604、606、608、610、および612のそれぞれは、様々なバスを用いて相互接続され、必要に応じて、共通のマザーボードまたは他の方法で取り付けられてもよい。プロセッサ602は、メモリ604またはストレージ装置606に格納された命令を含む、計算装置600内で実行するための命令を処理して、高速インターフェース608に接続されたディスプレイ616などの外部入出力装置にGUIのグラフィック情報を表示することができる。他の実施態様では、複数のプロセッサおよび/または複数のバスを、必要に応じて、複数のメモリおよびメモリのタイプとともに使用することができる。さらに、複数の計算装置600を接続して、各装置が必要な動作の一部を提供してもよい(例えば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして)。
【0018】
メモリ604は、計算装置600内に情報を格納する。一実施態様では、メモリ604は、揮発性メモリユニットまたはユニットである。他の実装形態では、メモリ604は、1つまたは複数の不揮発性メモリユニットである。メモリ604は、磁気または光ディスクなどの他の形態のコンピュータ可読媒体であってもよい。
【0019】
ストレージ装置606は、計算装置600に大容量ストレージを提供することを可能とする。一実装形態では、ストレージ装置606は、フロッピーディスク装置、ハードディスク装置、光ディスク装置などのコンピュータ可読媒体であるか、または、テープ装置、フラッシュメモリまたは他の同様のソリッドステートメモリ装置、またはストレージエリアネットワーク内の装置や他の構成の装置を含み得る。コンピュータプログラム製品は、情報担体に具体的に実現することができる。また、コンピュータプログラム製品は、実行されると、上記のような1つまたは複数の方法を実行する命令を含むことができる。情報担体は、メモリ604、記憶装置606、またはプロセッサ602上のメモリなどのコンピュータまたは機械可読媒体である。
【0020】
高速コントローラ608は、計算装置600の帯域幅集約型動作を管理し、低速コントローラ612は、より低い帯域幅集約型動作を管理する。このような機能の割り当ては単なる例示である。一実装では、高速コントローラ608は、メモリ604、ディスプレイ616(例えば、グラフィックプロセッサまたはアクセラレータを介して)、および様々な拡張カード(図示せず)を受け入れることができる高速拡張ポート610に結合される。該実装において、低速コントローラ612は、ストレージ装置606および低速拡張ポート614に結合される。低速拡張ポートは、様々な通信ポート(例えば、USB、ブルートゥース(登録商標)、イーサネット(登録商標)、ワイヤレスイーサネット)を含むことができ、キーボード、ポインティング装置、スキャナーなどの1つ以上の入力/出力装置、またはスイッチやルーターなどのネットワーク装置に、たとえばネットワークアダプターを介して接続されている。
【0021】
計算装置600は、図に示されるように、いくつかの異なる形態で実装され得る。例えば、それは、標準的なサーバ620として、またはそのようなサーバのグループにおいて複数回実装されてもよい。それはまた、ラックサーバシステム624の一部として実装されてもよい。さらに、ラップトップコンピュータ622などのパーソナルコンピュータで実装されてもよい。あるいは、計算装置600からのコンポーネントは、モバイル装置内の他のコンポーネントと組み合わされてもよい(そのような装置のそれぞれは、計算装置600、650のうちの1つまたは複数を含むことができ、システム全体は、互いに通信する複数の計算装置600、650から構成することができる。
【0022】
計算装置650は、とりわけ、プロセッサ652と、メモリ664と、ディスプレイ654などの入出力装置と、通信インターフェース666と、トランシーバ668とを含む。装置650は、追加のストレージを提供するために、マイクロドライブまたは他の装置などのストレージ装置を備えることもできる。部材650、652、664、654、666および668のそれぞれは、様々なバスを用いて相互接続され、これらの部材のいくつかは、共通のマザーボードに、または必要に応じて他の方法で取り付けられてもよい。
【0023】
プロセッサ652は、メモリ664に格納された命令を含む、計算装置650内の命令を実行することができる。プロセッサは、別個の複数のアナログおよびデジタルプロセッサを含むチップのチップセットとして実装され得る。プロセッサは、たとえば、ユーザインターフェースの制御、装置650によって実行されるアプリケーション、および装置650によるワイヤレス通信など、装置650の他のコンポーネントの調整を提供することができる。
【0024】
プロセッサ652は、ディスプレイ654に結合された制御インターフェース658およびディスプレイインターフェース656を介してユーザと通信し得る。ディスプレイ654は、例えば、TFT LCD(薄膜トランジスタ液晶ディスプレイ)またはOLED(有機発光ダイオード)またはその他の適当なディスプレイ装置であることができる。ディスプレイインターフェース656は、ディスプレイ654を駆動してユーザにグラフィックおよび他の情報を提示するための適切な回路を備えることができる。制御インターフェース658は、ユーザからコマンドを受信し、それらをプロセッサ652へ提供するために変換することができる。さらに、外部インターフェース662は、装置650の他の装置との近距離通信を可能にするように、プロセッサ652と通信するように提供され得る。外部インターフェース662は、例えば、いくつかの実装における有線通信、または他の実装における無線通信を提供してもよく、複数のインターフェースも使用されてもよい。
【0025】
メモリ664は、計算装置650内の情報を格納する。メモリ664は、コンピュータ可読媒体または複数の揮発性メモリユニットまたは複数の不揮発性メモリユニットの1つまたは複数として実装することができる。拡張メモリ674も提供され、例えば、SIMM(シングルインラインメモリモジュール)カードインターフェースを含み得る拡張インターフェース672を介して装置650に接続され得る。そのような拡張メモリ674は、装置650に追加の記憶空間を提供することができ、または装置650のアプリケーションまたは他の情報も格納することができる。具体的には、拡張メモリ674は、上記の工程を実行または補足する命令を含み、安全な情報も含むことができる。したがって、例えば、拡張メモリ674は、装置650のセキュリティモジュールとして提供されてもよく、装置650の安全な使用を可能にする命令でプログラムされてもよい。さらに、SIMMカードにハッキングできない方法で識別情報を配置するなど、安全なアプリケーションが、追加の情報とともにSIMMカードを介して提供されてもよい。
【0026】
メモリは、例えば、以下で論じるように、フラッシュメモリおよび/またはNVRAMメモリを含むことができる。一実施態様では、コンピュータプログラム製品は、情報担体に有形に具体化される。コンピュータプログラム製品は、実行されると、上記のような1つまたは複数の方法を実行する命令を含む。情報担体は、メモリ664、拡張メモリ674、またはプロセッサ652上のメモリなどの、コンピュータまたは機械が読取可能な媒体であり、例えば、トランシーバ668または外部インターフェース662を介して受信することができる。
【0027】
装置650は、通信インターフェース666を介して無線で通信することができ、通信インターフェース666は、必要に応じてデジタル信号処理回路を含むことができる。通信インターフェース666は、とりわけ、GSM音声通話、SMS、EMS、またはMMSメッセージング、CDMA、TDMA、PDC、WCDMA(登録商標)、CDMA2000、またはGPRSなどの様々なモードまたはプロトコルの下で通信を提供することができる。そのような通信は、例えば、無線周波数トランシーバ668を介して行われ得る。さらに、ブルートゥース(登録商標)、Wi-Fi(登録商標)、または他のそのようなトランシーバ(図示せず)などを使用することにより、短距離通信が可能である。さらに、GPS(全地球測位システム)受信機モジュール670は、装置650上で実行されるアプリケーションによって適切に使用され得る、追加のナビゲーションおよびロケーション関連の無線データを装置650に提供し得る。
【0028】
また、装置650は、ユーザからの発話情報を受信し、発話情報を使用可能なデジタル情報に変換することができるオーディオコーデック660を用いて、可聴的に通信することができる。同様に、オーディオコーデック660は、例えば、装置650のハンドセット内のスピーカを介するなどして、ユーザのための可聴音を生成し得る。そのような音は、音声通話からの音を含むことができ、録音された音(例えば、音声メッセージ、音楽ファイルなど)や、装置650で動作するアプリケーションによって生成されたサウンドも含むことができる。
【0029】
計算装置650は、図に示されるように、いくつかの異なる形態で実装され得る。例えば、計算装置650は携帯電話680として実装されてもよい。また、計算装置650は、スマートフォン682、携帯情報端末、または他の同様のモバイル装置の一部として実装されてもよい。
【0030】
ここで説明するシステムと技術のさまざまな実装は、デジタル電子回路、集積回路、特別に設計されたASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、および/またはそれらの組み合わせで実現できる。これらのさまざまな実装には、少なくとも1つのプログラム可能なプロセッサを含むプログラム可能なシステムで実行および/または解釈可能な1つ以上のコンピュータプログラムでの実装が含まれる。当該プロセッサは、特別な又は一般的な目的で、データおよび命令を、ストレージシステム、少なくとも1つの入力装置、および少なくとも1つの出力装置に入出力するように組み合わされる。
【0031】
これらのコンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとも称する)には、プログラマブルプロセッサの機械語命令が含まれ、高水準の手続型および/またはオブジェクト指向のプログラミング言語、および/またはアセンブリ/機械言語で実装できる。本明細書で使用される場合、「機械可読媒体」「コンピュータ可読媒体」という用語は、機械命令および/またはデータを、プログラマブルプロセッサ(機械可読信号として機械命令を受信する機械可読媒体を含む)に提供するために用いられる、以下に使用される任意のコンピュータプログラム製品、機器および/または装置(例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジック装置(PLD))を指す。「機械可読信号」という用語は、プログラム可能なプロセッサに機械命令および/またはデータを提供するために使用される任意の信号を指す。
【0032】
ユーザとの対話を提供するために、本明細書で説明するシステムと技術は、ユーザに情報を表示するためのディスプレイ装置(CRT(陰極線管)やLCD(液晶ディスプレイ)モニタなど)(および他の適切なディスプレイ技術)、キーボード、ユーザがコンピュータに入力を提供できるポインティング装置(マウスやトラックボールなど)を備えたコンピュータに実装できる。他の種類の装置を使用して、ユーザとの対話を提供することもできる。例えば、ユーザに提供されるフィードバックは、あらゆる形態の感覚フィードバック(例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック)であり得る。また、ユーザからの入力は、音響、音声、または触覚入力を含む任意の形式で受け取ることができる。
【0033】
本明細書で説明するシステムおよび技術は、計算システムに実装することができる。該計算システムは、バックエンドコンポーネント(たとえば、データサーバとして)、またはミドルウェアコンポーネント(たとえば、アプリケーションサーバ)、またはフロントエンドコンポーネント(たとえば、ユーザが本明細書で説明するシステムと技術の実装とやり取りできるグラフィカルユーザインターフェイスまたはWebブラウザを備えたクライアントコンピュータ)、またはそのようなバックエンド、ミドルウェア、またはフロントエンドコンポーネントの任意の組み合わせを含む。該システムのコンポーネントは、デジタルデータ通信の任意の形式または媒体(通信ネットワークなど)で相互接続できる。通信ネットワークの例には、ローカルエリアネットワーク(「LAN」)、ワイドエリアネットワーク(「WAN」)、およびインターネットが含まれる。
【0034】
計算システムは、クライアントとサーバを含むことができる。クライアントとサーバは一般に互いにリモートであり、通常は通信ネットワークを介して対話する。クライアントとサーバの関係は、それぞれのコンピュータ上で実行され、互いにクライアント/サーバ関係を有するコンピュータプログラムによって生じる。
【0035】
図1に示す計算装置は、仮想現実(VRヘッドセット690)とインターフェースで接続されている。図示された実施形態では、あるユーザが他のユーザと対話するときにヘッドセット690の外観を仮想的に取り除くために、1つまたは複数のセンサがVRヘッドセットに含まれている。例えば、ヘッドセットセンサ690は、ユーザの瞳孔を追跡しながらユーザの目を照らす1つ以上のLED691と、ユーザの目/瞳孔を記録するための1つ以上のマイクロカメラ693とを含み得る。
【0036】
例えば、本発明の実施形態は、ヘッドセット690が着用されているときのユーザの隠された顔のプロキシとして、カメラ装置400を使用してヘッドセット690の無いユーザの顔704のモデルを作成する。このプロキシは、複合現実(MR)ビデオで顔を合成するために使用される。これにより、VR領域で他のユーザと対話しているときにヘッドセット690が削除されているような印象を与える。例えば、この初期較正ステップは、ユーザ704がカラー+深度カメラ400およびモニタの前に座り、次に、目でモニタ上のマーカを追跡することを必要とする場合がある。この較正手順は、ユーザ704の3D顔モデルを取得し、(センサ691および693を介して)外観画像(またはテクスチャ)を異なる視線方向および瞬きにマッピングするデータベースを作成する。前述の視線データベース(すなわち、好ましくは視線によってインデックスが付けられたテクスチャを備えた顔モデル)により、ユーザの顔の外観を動的に変化させて、所望の(かつリアルタイムの)視線を生成する。これにより、自然で生き生きとした合成された顔の外観を作成できる。顔の構成は、適切なワイヤフレームソフトウェア技術を使用することによって変更することができることを理解されたい。
【0037】
いくつかの実装形態では、計算装置(たとえば、マウス、キーボード)に加えて1つまたは複数の入力装置を、コンピュータ生成の3D環境でレンダリングすることができる。レンダリングされた入力装置(レンダリングされたマウス、レンダリングされたキーボードなど)は、VRスペースでレンダリングされたものとして使用して、VRスペースのオブジェクトを制御できる。
【0038】
計算装置600は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適当なコンピュータなど、様々な形態のデジタルコンピューターを表すことを意図している。計算装置650は、携帯情報端末、携帯電話、スマートフォン、および他の同様の計算装置などの様々な形態のモバイル装置を表すことが意図されている。本明細書に示されている部材、それらの接続および関係、およびそれらの機能は、例示のみを目的としており、この文書で説明および/またはクレームされている発明の実装を制限することを意図していない。
【0039】
以上のように、
図1を参照して、例示的な計算システム環境100を概略的に示して説明した。以下、
図2~
図7を参照して、様々な例示的な実施形態の実装を説明する。
【0040】
本発明の例示の実施形態の使用環境は、好ましくはライブビデオを用いたVRでのオンラインチャットを可能にするシステム600に関することを理解されたい。例示された実施形態を説明するために使用される以下で論じられる例では、ローカルユーザおよびリモートユーザの2人のライブチャットを想定していることを理解されたい(本発明がそれに限定されるものと理解されるべきではない)。例示的な実施形態は、Oculus Rift(商標)などのVRシステムと、ユーザごとの1つまたは複数のウェブカメラ400と、好ましくはグリーンバックとを含む、上述のシステム600の1つまたは複数のコンポーネントを含む。
図2を参照すると、図示の実施形態によるVRチャットセッション中、例えば、ヘッドセット690を装着したリモートユーザ700は、ローカルユーザ704が装着しているヘッドセット690を差し引いた他のユーザ702(ヘッドセット690を装着)のライブビデオがVRで見える。同様に、同じVRチャットセッション中に、ヘッドセット690を装着しているリモートユーザ702は、VRでローカルユーザが装着しているヘッドセット690を差し引いたユーザ700(ヘッドセット690を装着)のライブビデオがVRで見える。
【0041】
本発明の一態様によれば(および
図3を参照すると)、リモートユーザのヘッドセットの視覚は、ローカルユーザの頭の事前に記録された静止画像/ビデオを重ね合わせることによって置き換えられる。VRヘッドセットを装着しているときは、一般的に口と顔の下部が依然として見えるため、ユーザの頭の一部だけを重ねることが好ましい。好ましくは、ライブビデオ効果は、好ましくは標準の2Dウェブカメラ400(
図4)を使用して、クロマキー(「グリーンバック」)技術によって作成される。したがって、例示された実施形態によれば、各ユーザ704、706は、好ましくは、携帯用グリーンバック(402)の前に位置する。これは、特定のソフトウェア技術によって打ち消される場合があること、または3Dカメラを使用してグリーンバックなしでユーザの輪郭を決定できる場合があることを理解されたい。
【0042】
以下で説明するように、例示の実施形態によれば、2人以上のユーザ(704および706)が、各ユーザの場所で特別なウェブカメラ400を使用してライブオンラインチャットに参加することができる。各ユーザ(704、706)は、好ましくは、VRヘッドセット690(700、702)を着用し、それにより、各ユーザ(704、706)は、重ね合わせて事前に記録された他のユーザの頭(706、704)の画像を見る。放送画像は、好ましくは、ライブビデオと事前に記録された画像の合成である。ライブビデオは、好ましくは、ユーザの口領域(
図3)の真上まで(例えば、VRヘッドセット690が一般的に存在する場所)の身体を含む。したがって、記録された画像は、好ましくは、ユーザの鼻、目、および頭頂部である(704、706)。企業のテレビ会議など、3人以上とのライブチャットを実現できることを理解されたい。
【0043】
この記録された画像は、特殊な形式の写真測量を使用して事前に作成することもできる。これは、複数の2D画像をつなぎ合わせて処理し、3Dモデルとテクスチャを作成する手法である。現在、この工程は高価で時間がかかり、特別なハードウェアと複数のカメラが必要である。対照的に、本発明の実施形態によれば、それぞれが立体視または平面視のいずれかを有する、ユーザに面する2つのカメラからなる安価な立体カメラを利用することができる。たとえば、カメラがシーンを記録してキャプチャしている間、ユーザは椅子で回転する。立体視または平面視のカメラ出力の後処理を使用して、3Dモデルを生成する。
【0044】
図4~7を参照して、例示された実施形態によるVRセッションを可能にするための例示的な工程を説明する。まず、ヘッドセットなしの各ユーザ704(
図4)、706(
図5)の顔がウェブカメラ400によって撮影される。次に、
図6および7に示されるように、各ユーザ(704、706)は、ヘッドセット690を着用する。ヘッドセット690は、視線、動き、瞬きを検出する前述のLEDセンサ691および693を備えている。マイクロビデオカメラセンサ693がユーザの瞳孔を追跡している間、センサ691は、ヘッドセット690内のユーザの片方の目を照らして瞳孔の動きを追跡することが好ましい。処理チップ602は、好ましくはソフトウェアを介して瞳孔を「スティッチング」して、ヘッドセット690によって隠されている顔の画像を完成させることにより、動いている瞳孔を顔に復元するように構成され、動作可能であることが好ましい。したがって、ユーザ704および706の両方が、他方のユーザ704、706の顔が自分の前にあり、ヘッドセット690で覆い隠されていないかのように、リアルタイムで(それぞれのヘッドセット690を介して)互いの3D画像を見ることができる。
【0045】
さらに好ましくは、各ユーザの額および眉毛に配置された電気感応装置をさらに使用することにより、各ユーザ704、706の眉をひそめた表情も、処理チップ602上のソフトウェア処理を介して追跡され得る。
【0046】
要約すると、1または複数の例示された実施形態によれば、本発明は、ユーザのヘッドセットを除いた、ビデオチャットにおけるユーザのウェブカメラビデオストリームの仮想投影を可能にする。これは、写真測量などのモデリング手法を使用して、ユーザの頭を3Dでモデリングすることによって実現される。たとえば、ユーザの頭の上部はリアルタイムでこのモデルに置き換えられるため、他の参加ユーザには、参加ユーザの体、頭、顔、目からヘッドセット690を差し引いたものだけが見える。
【0047】
1つ以上の静止した立体3Dカメラ(たとえば、StereoLabs ZEDカメラ、Microsoft Kinect、Intel RealSenseラインの3Dカメラなど)を使用して、複数のユーザ(たとえば、3人以上のユーザ)を取り囲み、各ユーザをモデル化してもよいことを理解されたい。3Dカメラ技術は、ユーザの位置を追加で計算し、VRの協調的な相互作用を提供してもよい。たとえば、2人のユーザが火星でキャッチゲームをプレイしたり、2人が一緒にグランドキャニオンでバーチャルウォークをしたりすることができる。
【0048】
本発明の計算システム600およびヘッドセット690は、拡張現実(AR)設定での使用のために構成され、動作可能であることを理解されたい。ARは、コンピュータで生成された拡張機能を既存の現実の上に重ねて、それを操作する機能を通じてより意味のあるものにするための技術であると理解される。例示された実施形態は、アプリとして使用するために開発されているAR、および、好ましくは、デジタル要素および現実世界が互いに強調されるような方法で、デジタル要素を現実世界に混合するヘッドセット690を含む。例えば、本発明のヘッドセット690を着用した、各々が異なる場所にいる2人以上のユーザは、選択された設定(例えば、スカイダイビング)および/または場所(例えば、パリ)において、互いに隣り合うように見えるようにヘッドセット690を使用/操作することができる。これにより、彼らはリアルタイムで同じ設定(例えば、フランスのパリの通り)を想像するだけでなく、本明細書の教示に従って、ヘッドセット690が取り外されたかのように互いを見ることができる。
【0049】
さらに、計算システム600および/またはヘッドセット690の追加の実施形態は、好ましくは少なくとも2つの別個のビデオフィードおよび/または単一のビデオフィードを、好ましくは所定の静止フレーム画像キャッシュと組み合わせて使用するリアルタイム画像スティッチングを提供するように構成され得ることを理解されたい。ユーザの顔の「目の領域」は、VRディスプレイ装置により通常は覆い隠されるため、アイトラッキングは、初期の「セットアップ」フェーズ(画像キャッシュ)から取得され、画像スティッチングステップに用いられる、キャッシュされた画像および/または「混合された」画像のリアルタイム選択が可能なVRディスプレイ装置内に取り付けられたカメラを介して実行されることが好ましい。これにより、最終的な(合成/スティッチング)ビデオを使用してリアルタイムの3D顔追跡と再構成が提供される。リアルタイムの(ユーザを表す)デジタル作成顔を使用することにより、顔/結果が、リアルタイムのビデオおよび/またはユーザの深度抽出のいずれかに合成されることが好ましいことを理解されたい。ユーザの身体は、グリーンバック技術および/または深度抽出技術のいずれかを使用して、その背景から抽出されることが好ましいことを理解されたい。さらに、完全に再構成されたユーザは、360度ビデオ、VRチャットルーム、その他の適用可能なアプリケーション(これらに限定されない)などの多数のアプリケーションに合成される場合があることを理解されたい。さらに、現在使用および/または研究されている以下の種々の技術(例えば、SDK、APIなど)には、以下が含まれる(ただし、これらに限定されない):EmguCV、OpenCVおよびMATLAB(登録商標);SDK付きZEDカメラ;ARKit;主要なプログラミング言語:C#およびC++;Unity(ゲームエンジン);Oculusおよび/またはVive(VRディスプレイ装置)。
【0050】
上記の特定の例示的な実施形態では、本明細書で説明される様々な非限定的な実施形態は、特定の用途のために別々に組み合わせて、または選択的に組み合わせて実施できることを理解されたい。さらに、上記の非限定的な実施形態の様々な特徴のいくつかは、他の記載された対応する特徴なしで使用され得る。したがって、本明細書で提供される説明は、本発明の原理、教示、および例示的な実施形態の単なる例示と看做されるべきであり、それらを限定するものと看做されるべきではない。