特表 2024-504012 拡張現実デバイス及び仮想現実デバイスのための逆パスススルー眼鏡

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-30

(54)【発明の名称】拡張現実デバイス及び仮想現実デバイスのための逆パスススルー眼鏡

(51)【国際特許分類】

   H04N 13/307 20180101AFI20240123BHJP

   H04N 13/332 20180101ALI20240123BHJP

   H04N 13/275 20180101ALI20240123BHJP

   H04N 13/268 20180101ALI20240123BHJP

   H04N 5/222 20060101ALI20240123BHJP

   H04N 23/60 20230101ALI20240123BHJP

   G02B 27/02 20060101ALI20240123BHJP

   G02B 30/10 20200101ALI20240123BHJP

   G09G 5/00 20060101ALI20240123BHJP

   G09G 5/36 20060101ALI20240123BHJP

   G06T 19/00 20110101ALI20240123BHJP

【ＦＩ】

H04N13/307

H04N13/332

H04N13/275

H04N13/268

H04N5/222 400

H04N23/60

G02B27/02 Z

G02B30/10

G09G5/00 550C

G09G5/36 500

G09G5/00 510A

G06T19/00 F

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023538972

(86)(22)【出願日】2021-12-23

(85)【翻訳文提出日】2023-08-18

(86)【国際出願番号】 US2021065054

(87)【国際公開番号】W WO2022140658

(87)【国際公開日】2022-06-30

(31)【優先権主張番号】63/129,989

(32)【優先日】2020-12-23

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/142,458

(32)【優先日】2021-01-27

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/555,037

(32)【優先日】2021-12-17

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

２．ＪＡＶＡ

３．ＰＹＴＨＯＮ

(71)【出願人】

【識別番号】515046968

【氏名又は名称】メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー

【氏名又は名称原語表記】ＭＥＴＡ ＰＬＡＴＦＯＲＭＳ ＴＥＣＨＮＯＬＯＧＩＥＳ， ＬＬＣ

(74)【代理人】

【識別番号】110002974

【氏名又は名称】弁理士法人Ｗｏｒｌｄ ＩＰ

(72)【発明者】

【氏名】マツダ， ネイサン

(72)【発明者】

【氏名】ウィールライト， ブライアン

(72)【発明者】

【氏名】ヘグランド， ジョエル

(72)【発明者】

【氏名】サラギ， ジェーソン

(72)【発明者】

【氏名】ロンバルディ， スティーヴン アンソニー

(72)【発明者】

【氏名】サイモン クロイツ， トマス

(72)【発明者】

【氏名】齋藤 隼介

(72)【発明者】

【氏名】ソルフーファー， マイケル

(72)【発明者】

【氏名】ヘイズ， ジェームズ ヘンリー

(72)【発明者】

【氏名】ラジ， アミット

【テーマコード（参考）】

2H199

5B050

5C122

5C182

【Ｆターム（参考）】

2H199BA20

2H199BA48

2H199BA49

2H199BB02

2H199BB05

2H199CA02

2H199CA12

2H199CA42

2H199CA85

2H199CA92

2H199CA94

2H199CA97

5B050AA03

5B050BA09

5B050BA11

5B050BA12

5B050BA13

5B050CA07

5B050CA08

5B050DA04

5B050DA07

5B050EA04

5B050EA26

5B050FA02

5B050FA05

5B050FA06

5C122DA16

5C122DA30

5C122EA59

5C122FA18

5C122FK09

5C122HB01

5C182AA04

5C182AA31

5C182AB33

5C182AC46

5C182BA04

5C182BA14

5C182BA27

5C182BA55

5C182BA56

(57)【要約】

ヘッドセットディスプレイのユーザの逆パススルービューを見物人に提供するためのデバイスは、光学面の第１の側でユーザに画像を提供するように構成された光学面を備える接眼レンズを含む。デバイスはまた、第１の視野内の光学面から反射されたユーザの顔の一部の画像を収集するように構成された第１のカメラと、光学面に隣接し、ユーザの顔の画像を前方に投影するように構成されたディスプレイと、ディスプレイから光を受け、ユーザの顔の画像を見物人に提供するように構成されたスクリーンとを含む。
【選択図】図１Ｂ

【特許請求の範囲】

【請求項1】

デバイスであって、
対象に画像を提供するように構成されたニアアイディスプレイと、
前記対象の画像を収集するように構成されたアイイメージングシステムと、
前記対象の三次元モデルの自動立体視画像を見物人に提供するように構成されたライトフィールドディスプレイであって、前記自動立体視画像は、前記ライトフィールドディスプレイの視野内の複数の視点からの前記対象のパースペクティブ補正されたビューを含む、ライトフィールドディスプレイと
を備える、デバイス。

【請求項2】

前記ライトフィールドディスプレイは、画素アレイ及びマルチレンズレットアレイを含み、前記画素アレイは、前記対象のセグメント化されたビューを前記マルチレンズレットアレイに提供するように構成され、前記セグメント化されたビューは、選択された視点における前記ライトフィールドディスプレイの視野の複数の部分を含む、請求項１に記載のデバイス。

【請求項3】

前記アイイメージングシステムが、前記対象の両眼視界を収集するための２つのカメラを備える、請求項１又は２に記載のデバイス。

【請求項4】

１つ又は複数のプロセッサと、前記１つ又は複数のプロセッサによって実行されたときに前記対象の前記画像から前記対象の三次元表現を生成する命令を記憶するメモリとを更に備え、及び／又は好ましくは、前記ニアアイディスプレイは、前記見物人を含む環境の三次元表現を前記対象に提供する、請求項１～３のいずれか一項に記載のデバイス。

【請求項5】

前記アイイメージングシステムは、前記ライトフィールドディスプレイに隣接するダイクロイックミラーから反射モードで前記対象からの前記画像を受信する赤外線カメラを含む、請求項１～４のいずれか一項に記載のデバイス。

【請求項6】

ライトフィールドディスプレイは、前記見物人のために、２つの視点についての前記パースペクティブ補正されたビュー間のクロストークを回避するために、予め選択されたピッチを有する二次元パターンに配置された複数のマイクロレンズを有するマイクロレンズアレイを備える、請求項１～５のいずれか一項に記載のデバイス。

【請求項7】

前記ライトフィールドディスプレイは、マイクロレンズアレイに隣接するイマースストップを更に備え、前記イマースストップは複数の開口部を含み、各開口部が前記マイクロレンズアレイ内の各マイクロレンズの中心と位置合わせされる、請求項１～６のいずれか一項に記載のデバイス。

【請求項8】

前記ライトフィールドディスプレイは、複数のアクティブセグメントに分割された画素アレイを含み、前記画素アレイ内の各アクティブセグメントは、マルチレンズレットアレイ内の屈折要素の直径に対応する寸法を有し、及び／又は好ましくは、１つ又は複数のプロセッサと、前記１つ又は複数のプロセッサによって実行されたときに前記ライトフィールドディスプレイに、画素アレイを複数のアクティブセグメントに分割させる命令を記憶するメモリとを更に備え、各アクティブセグメントは、前記見物人のための選択された視点で前記ライトフィールドディスプレイの視野の一部を提供するように構成される、請求項１～７のいずれか一項に記載のデバイス。

【請求項9】

コンピュータ実装方法であって、
１つ又は複数のヘッドセットカメラから、ヘッドセットユーザである対象の少なくとも２つ以上の視野を有する複数の画像を受信することと、
学習可能な重みのセットを用いて前記画像から複数の画像特徴を抽出することと、
前記学習可能な重みのセットを用いて前記対象の三次元モデルを形成することと、
前記対象の前記三次元モデルを、前記対象の画像投影と見物人のための選択された観察点とを関連付ける自動立体視ディスプレイフォーマットにマッピングすることと、
デバイスディスプレイ上で、前記見物人が前記選択された観察点に位置するときに、前記対象の前記画像投影を提供することと
を含む、コンピュータ実装方法。

【請求項10】

画像特徴を抽出することは、前記画像の各々を収集するために用いられるヘッドセットカメラの固有の特性を抽出することを含む、請求項９に記載のコンピュータ実装方法。

【請求項11】

前記対象の前記三次元モデルを自動立体視ディスプレイフォーマットにマッピングすることは、第１の観察点に関連する特徴マップを第２の観察点に関連する特徴マップで補間することを含み、又は、好ましくは、前記対象の前記三次元モデルを自動立体視ディスプレイフォーマットにマッピングすることは、前記選択された観察点の方向に沿って複数の画素の前記画像特徴を集約することを含み、又は、好ましくは、前記対象の三次元モデルを自動立体視ディスプレイフォーマットにマッピングすることは、順列不変の組合せで前記ヘッドセットカメラの各々によって生成された複数の特徴マップを連結することを含み、前記ヘッドセットカメラの各々は固有の特性を有する、請求項９又は請求項１０に記載のコンピュータ実装方法。

【請求項12】

前記対象の前記画像投影を提供することは、前記見物人が第１の観察点から第２の観察点に移動する際に、前記デバイスディスプレイ上に第２の画像投影を提供することを含む、請求項９～１１のいずれか一項に記載のコンピュータ実装方法。

【請求項13】

複数の合成ビューを生成することを含む、仮想現実ヘッドセット内の自動立体視ディスプレイに対象のビューを提供するようにモデルを訓練することのためのコンピュータ実装方法であって、
複数のユーザの顔から、複数のグランドトゥルース画像を収集することと、
記憶され、較正された立体視画像のペアを用いて前記グランドトゥルース画像を修正することと、
前記対象の三次元モデルを、前記対象の画像投影と見物人のための選択された観察点とを関連付ける自動立体視ディスプレイフォーマットにマッピングすることと、
前記グランドトゥルース画像と前記対象の前記画像投影との間の差に基づいて損失値を決定することと、
前記損失値に基づいて前記対象の前記三次元モデルを更新することと
を含む、コンピュータ実装方法。

【請求項14】

複数の合成ビューを生成することは、選択された観測方向に沿って前記グランドトゥルース画像の各々から画像特徴を投影することと、順列不変の組合せにおいて前記グランドトゥルース画像の各々によって生成された複数の特徴マップを連結することとを含み、前記グランドトゥルース画像の各々は固有の特性を有し、及び／又は好ましくは、前記対象の前記三次元モデルを訓練することは、前記グランドトゥルース画像と前記対象の前記画像投影との間の前記差を示す損失関数の値に基づいて、複数の特徴のそれぞれについて学習可能な重みのセットのうちの少なくとも１つを更新することを含み、又は、好ましくは、前記対象の前記三次元モデルを訓練することは、前記複数のグランドトゥルース画像から投影された画素背景値に基づいて、前記グランドトゥルース画像内の複数の画素の各々について背景値を訓練することを含む、請求項１３に記載のコンピュータ実装方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ユーザの顔の特徴の現実的なビューを前方の見物人に提供する逆パススルー機能を含む拡張現実（ＡＲ）及び仮想現実（ＶＲ）デバイスに関する。より具体的には、本開示は、ＡＲ／ＶＲヘッドセットユーザの見物人のための自動立体視外部ディスプレイを提供する。

【背景技術】

【0002】

ＡＲ及びＶＲデバイスの分野では、デバイスのユーザに表示されている画像を見物人に提供する外向きディスプレイを含むデバイスもある。これらの構成は、ＡＲ又はＶＲデバイスのユーザが経験していることを見物人にとってより理解しやすくする一方で、ユーザがパススルーモードを使用して見物人に話しかけようとしており、それ以外の方法で仮想現実環境に参加していない場合など、ユーザの心理状態又はユーザの注意の的が何であるかを見物人が知らないままにしてしまう。更に、外向きディスプレイを有するこのようなデバイスの場合、このデバイスは、通常、従来の二次元ディスプレイであり、デバイス内のユーザの顔や頭部の正確な奥行きや距離を描写するなど、ユーザの顔や頭部の少なくとも一部の全身画像の現実的なビューが欠けている。

【発明の概要】

【0003】

本開示の第１の態様に従って、対象に画像を提供するように構成されたニアアイディスプレイと、対象の画像を収集するように構成されたアイイメージングシステムと、対象の三次元モデルの自動立体視画像を見物人に提供するように構成されたライトフィールドディスプレイとを備えたデバイスが提供されるが、自動立体視画像は、ライトフィールドディスプレイの視野内の複数の視点からの対象のパースペクティブ補正されたビューを含む。

【0004】

いくつかの実施形態において、ライトフィールドディスプレイは、画素アレイとマルチレンズレットアレイとを備え、画素アレイは、対象のセグメント化されたビューをマルチレンズレットアレイに提供するように構成され、セグメント化されたビューは、選択された視点におけるライトフィールドディスプレイの視野の複数の部分を含む。

【0005】

いくつかの実施形態では、アイイメージングシステムは、対象の両眼視界を収集するために２つのカメラを備える。

【0006】

いくつかの実施形態では、デバイスは、１つ又は複数のプロセッサと、１つ又は複数のプロセッサによって実行されたときに対象の画像から対象の三次元表現を生成する命令を記憶するメモリとを更に備える。

【0007】

いくつかの実施形態では、ニアアイディスプレイは、見物人を含む環境の三次元表現を対象に提供する。

【0008】

いくつかの実施形態では、アイイメージングシステムは、ライトフィールドディスプレイに隣接するダイクロイックミラーから反射モードで対象から画像を受信する赤外線カメラを含む。

【0009】

いくつかの実施形態では、ライトフィールドディスプレイは、見物人のために、２つの視点に対するパースペクティブ補正されたビュー間のクロストークを回避するために、予め選択されたピッチを有する二次元パターンに配置された複数のマイクロレンズを有するマイクロレンズアレイを備える。

【0010】

いくつかの実施形態では、ライトフィールドディスプレイは、マイクロレンズアレイに隣接するイマースストップを更に備え、イマースストップは、各開口部がマイクロレンズアレイ内の各マイクロレンズの中心と位置合わせされるように複数の開口部を含む。

【0011】

いくつかの実施形態では、ライトフィールドディスプレイは、複数のアクティブセグメントに分割された画素アレイを含み、画素アレイ内の各アクティブセグメントは、マルチレンズレットアレイ内の屈折素子の直径に対応する寸法を有する。

【0012】

いくつかの実施形態では、デバイスは、１つ又は複数のプロセッサと、１つ又は複数のプロセッサによって実行されたときにライトフィールドディスプレイに画素アレイを複数のアクティブセグメントに分割する命令を記憶するメモリとを更に備え、各アクティブセグメントは、見物人のための選択された視点でライトフィールドディスプレイの視野の一部を提供するように構成される。

【0013】

本開示の第２の態様に従って、１つ又は複数のヘッドセットカメラから、ヘッドセットユーザである対象の少なくとも２つ以上の視野を有する複数の画像を受信することと、学習可能な重みのセットを使用して、画像から複数の画像特徴を抽出することと、学習可能な重みのセットを使用して、対象の三次元モデルを形成することと、対象の三次元モデルを対象の画像投影と見物人のための選択された観察点とを関連付ける自動立体視ディスプレイフォーマットにマッピングすることと、見物人が選択された観察点に位置するときに対象の画像投影をデバイスのディスプレイに提供することとを含む、コンピュータ実装方法が提供される。

【0014】

いくつかの実施形態では、画像特徴を抽出することは、各画像を収集するために使用されるヘッドセットカメラの固有の特性を抽出することを含む。

【0015】

いくつかの実施形態では、対象の三次元モデルを自動立体視ディスプレイフォーマットにマッピングすることは、第１の観察点に関連付けられた特徴マップを第２の観察点に関連付けられた特徴マップで補間することを含む。

【0016】

いくつかの実施形態では、対象の三次元モデルを自動立体視ディスプレイフォーマットにマッピングすることは、選択された観察点の方向に沿って複数の画素の画像特徴を集約することを含む。

【0017】

いくつかの実施形態では、対象の三次元モデルを自動立体視ディスプレイフォーマットにマッピングすることは、順列不変の組合せで各ヘッドセットカメラによって生成された複数の特徴マップを連結することを含み、各ヘッドセットカメラは固有の特性を有する。

【0018】

いくつかの実施形態では、対象の画像投影を提供することは、デバイスディスプレイ上に、見物人が第１の観察点から第２の観察点に移動するときに第２の画像投影を提供することを含む。

【0019】

本開示の第３の態様によれば、仮想現実ヘッドセット内の自動立体視ディスプレイに対象のビューを提供するためにモデルを訓練するためのコンピュータ実装方法であって、複数のユーザの顔から複数のグランドトゥルース画像を収集することと、グランドトゥルース画像を、記憶され、較正された対の立体視画像を用いて修正することと、対象の三次元モデルを、対象の画像投影と見物人のための選択された観察点とを関連付ける自動立体視ディスプレイフォーマットにマッピングすることと、グランドトゥルース画像と対象の画像投影との間の差に基づいて損失値を決定することと、損失値に基づいて対象の三次元モデルを更新することとを含む、方法を提供する。

【0020】

いくつかの実施形態では、複数の合成ビューを生成することは、選択された観測方向に沿ってグランドトゥルース画像の各々から画像特徴を投影することと、各グランドトゥルース画像によって生成された複数の特徴マップを順列不変の組合せで連結することとを含み、各グランドトゥルース画像は固有の特性を有する。

【0021】

いくつかの実施形態では、対象の三次元モデルを訓練することは、グランドトゥルース画像と対象の画像投影との間の差を示す損失関数の値に基づいて、複数の特徴のそれぞれに対する学習可能な重みのセットのうちの少なくとも１つを更新することを含む。

【0022】

いくつかの実施形態では、対象の三次元モデルを訓練することは、複数のグランドトゥルース画像から投影された画素背景値に基づいて、グランドトゥルース画像内の複数の画素のそれぞれについて背景値を訓練することを含む。

【0023】

本開示の第４の態様によれば、命令を記憶する第１の手段と、方法を実施するために命令を実行する第２の手段とを含むシステムが提供され、本方法は、対象の少なくとも２つ以上の視野を有する複数の二次元画像を受信することと、学習可能な重みのセットを使用して二次元画像から複数の画像特徴を抽出することと、対象の三次元モデルと見物人のための選択された観察点との間の方向に沿って画像特徴を投影することと、見物人に対象の三次元モデルの自動立体視画像を提供することとを含む。

【0024】

本発明の１つ又は複数の態様又は実施形態への組込みに好適であるとして本明細書で説明される任意の特徴は、本開示の任意の及び全ての態様及び実施形態にわたって一般化可能であるものとすることが理解されよう。本開示の他の態様が、本開示の発明を実施するための形態、特許請求の範囲、及び図面に照らして当業者によって理解され得る。上記の概略的な説明及び以下の発明を実施するための形態は、例示的及び説明的なものにすぎず、特許請求の範囲を限定しない。

【図面の簡単な説明】

【0025】

【図1A】いくつかの実施形態による、自動立体視外部ディスプレイを含むＡＲ又はＶＲデバイスを示す。

【図1B】いくつかの実施形態による、前方の見物人から見たＡＲ又はＶＲデバイスのユーザを示す。

【図2】いくつかの実施形態による、ユーザの顔の逆パススルービューを前方の見物人に提供するように構成されたＡＲ又はＶＲデバイス用の接眼レンズの詳細図である。

【図3A】いくつかの実施形態による、ＡＲ又はＶＲデバイスユーザの逆パススルービューを前方の見物人に提供するために使用されるマイクロレンズアレイの異なる態様及び構成要素を示す。

【図3B】いくつかの実施形態による、ＡＲ又はＶＲデバイスユーザの逆パススルービューを前方の見物人に提供するために使用されるマイクロレンズアレイの異なる態様及び構成要素を示す。

【図3C】いくつかの実施形態による、ＡＲ又はＶＲデバイスユーザの逆パススルービューを前方の見物人に提供するために使用されるマイクロレンズアレイの異なる態様及び構成要素を示す。

【図3D】いくつかの実施形態による、ＡＲ又はＶＲデバイスユーザの逆パススルービューを前方の見物人に提供するために使用されるマイクロレンズアレイの異なる態様及び構成要素を示す。

【図4】いくつかの実施形態による、ＡＲ又はＶＲデバイスユーザの広角高解像度のビューを前方の見物人に提供するための、ライトフィールドディスプレイを通るレイトレーシングビューを示す。

【図5A】いくつかの実施形態による、ＡＲ又はＶＲデバイスのユーザの広角高解像度ビューを提供するために使用されるマイクロレンズアレイにおける分解能特性の異なる態様を示す。

【図5B】いくつかの実施形態による、ＡＲ又はＶＲデバイスのユーザの広角高解像度ビューを提供するために使用されるマイクロレンズアレイにおける分解能特性の異なる態様を示す。

【図5C】いくつかの実施形態による、ＡＲ又はＶＲデバイスのユーザの広角高解像度ビューを提供するために使用されるマイクロレンズアレイにおける分解能特性の異なる態様を示す。

【図5D】いくつかの実施形態による、ＡＲ又はＶＲデバイスのユーザの広角高解像度ビューを提供するために使用されるマイクロレンズアレイにおける分解能特性の異なる態様を示す。

【図6】いくつかの実施形態による、ＡＲ又はＶＲデバイスユーザの顔の一部の３Ｄレンディションを示す。

【図7】いくつかの実施形態による、ＶＲ／ＡＲヘッドセットユーザの顔の一部の３Ｄレンディションに使用されるモデルアーキテクチャのブロック図である。

【図8A】いくつかの実施形態による、仮想現実ヘッドセットの自動立体視ディスプレイにユーザの顔の一部のビューを提供するためにモデルを訓練する方法における要素及びステップを示す。

【図8B】いくつかの実施形態による、仮想現実ヘッドセットの自動立体視ディスプレイにユーザの顔の一部のビューを提供するためにモデルを訓練する方法における要素及びステップを示す。

【図8C】いくつかの実施形態による、仮想現実ヘッドセットの自動立体視ディスプレイにユーザの顔の一部のビューを提供するためにモデルを訓練する方法における要素及びステップを示す。

【図8D】いくつかの実施形態による、仮想現実ヘッドセットの自動立体視ディスプレイにユーザの顔の一部のビューを提供するためにモデルを訓練する方法における要素及びステップを示す。

【図9】いくつかの実施形態による、ＶＲ／ＡＲヘッドセットユーザの顔の自動立体視ビューを提供するための方法におけるフローチャートを示す。

【図10】ユーザの顔の一部の複数の二次元（２Ｄ）画像からユーザの顔の一部の三次元（３Ｄ）ビューをレンダリングするための方法におけるフローチャートを示す。

【図11】いくつかの実施形態による、ユーザの顔の一部の複数の二次元（２Ｄ）画像からユーザの顔の一部の三次元（３Ｄ）ビューをレンダリングするためにモデルを訓練する方法のフローチャートを示す。

【図12】いくつかの実施形態による、ＡＲ又はＶＲデバイスを使用するための方法の少なくともいくつかを実施するように構成されたコンピュータシステムを示す。

【発明を実施するための形態】

【0026】

図面では、特に明記しない限り、同様の要素にはその説明に従って同様のラベルを付している。

【0027】

以下の詳細な説明では、本開示の完全な理解を提供するため、多数の具体的な詳細が説明される。しかしながら、本開示の実施形態はこれらの具体的な詳細のいくつかがなくても実践できることが、当業者には明白となるであろう。他の例では、よく知られている構造及び技法については、本開示の妨げとならないよう、詳細には示していない。

【0028】

ＡＲ及びＶＲデバイス及びその使用の分野では、ユーザと環境との間に存在する断絶は、ユーザやその近くにいる他の人にとって危険ではないにしても、ユーザを取り囲む人々にとって煩わしい可能性がある。いくつかのシナリオでは、ユーザが会話又は注意のために１人又は複数の見物人に関与することが望ましい場合がある。現在のＡＲ及びＶＲデバイスには、見物人が関与し、ユーザの注目の的を確認する機能が欠けている。

【0029】

通常、広角視野ディスプレイや三次元ディスプレイを、奥行きのある焦点距離と調和させようとするディスプレイ用途では、ディスプレイの空間解像度を妥協する必要がある。１つの手法は、解像度を上げるためにディスプレイ内の画素のサイズを小さくすることであるが、現在の最先端技術での画素サイズは、可視光及び近赤外光の回折限界に達しつつあり、達成できる究極の解像度には限界がある。ＡＲ及びＶＲデバイスの場合、空間解像度と角度解像度の間のこの妥協は、これらのデバイスに関連するフォームファクタや角度寸法に関連する制限範囲を考えると、あまり厳しくはない。

【0030】

ＡＲ／ＶＲデバイスの望ましい特徴は、小さなフォームファクタを有することである。したがって、より薄いデバイスが望ましい。これを達成するために、マルチレンズレットアレイ（ＭＬＡ）ライトフィールドディスプレイは、作動距離が短く、ホログラフィックパンケーキレンズの簡易な設計を使用することによって、解像度損失を抑制しつつＶＲヘッドセットの薄い断面を提供する。

【0031】

ＡＲ／ＶＲデバイスの別の望ましい特徴は、高解像度を提供することである。これは焦点深度に制限を与えるが、複雑な風景を撮影するために使用される光学系では一般的なこの制限は、被写界深度が外部ディスプレイとユーザの顔との間のほとんど変化しない相対位置によって制限されるため、本明細書に開示される外部ディスプレイについてはあまり厳しくない。

【0032】

本明細書で開示される実施形態は、ＶＲヘッドセットを装着している１人又は複数の人々がＶＲヘッドセットを装着していない１人又は複数の人々と対話する多種多様な用途のために、ＶＲヘッドセットを使用した対面対話の品質を向上させる。本明細書で説明するような実施形態は、ＶＲユーザと見物人や他のＶＲユーザとの間の摩擦を取り除き、ＶＲとＡＲのギャップを埋め、これは、シースルーＡＲの共存の利点と、ＶＲシステムのより精巧でより高い没入感を実現する。したがって、本明細書に開示される実施形態は、魅力的でより自然なＶＲ体験を提供する。

【0033】

より一般的には、本明細書で開示される実施形態は、見物人には標準的なシースルー眼鏡のように見えるＡＲ／ＶＲヘッドセットを提供し、ＡＲ／ＶＲユーザと周囲環境とのより良い関わりを可能にする。これは、ＡＲ／ＶＲユーザが他の人々又は見物人と対話するシナリオにおいて非常に有用である。

【0034】

図１Ａは、いくつかの実施形態による、自動立体視外部ディスプレイ１１０Ａを含むヘッドセット１０Ａを示す。ヘッドセット１０Ａは、ユーザの頭部に装着されるように構成されたＡＲ又はＶＲデバイスであってもよい。ヘッドセット１０Ａは、ストラップ１５によって機械的に結合され、ユーザの頭部の後ろに電子部品２０を保持するための可撓性マウントを有する２つの接眼レンズ１００Ａを含む。フレックスコネクタ５は、接眼レンズ１００Ａを電子部品２０と電子的に結合することができる。接眼レンズ１００Ａの各々は、選択された視野（ＦＯＶ）内の光学面から反射されたユーザの顔の一部の画像を収集するように構成されたアイイメージングシステム１１５－１及び１１５－２（以下、総称して「アイイメージングシステム１１５」と呼ぶ）を含む。アイイメージングシステム１１５は、ユーザの顔の少なくとも一部の三次元立体視を生成するように、異なるＦＯＶでユーザの眼の２つの画像を収集するデュアルアイカメラを含むことができる。アイイメージングシステム１１５は、瞳孔の位置及び動きに関する情報を電子部品に提供することができる。接眼レンズ１００Ａはまた、光学面に隣接し、ユーザの顔の自動立体視画像をユーザから前方に投影するように構成された外部ディスプレイ１１０Ａ（例えば、ライトフィールドディスプレイ）を含むことができる。

【0035】

いくつかの実施形態では、電子部品２０は、命令を記憶するメモリ回路１１２と、命令を実行してアイイメージングシステム１１５からユーザの顔の一部の画像を受信し、ユーザの顔の自動立体視画像を外部ディスプレイ１１０Ａに提供するプロセッサ回路１２２とを含むことができる。更に、電子部品２０はまた、１つ又は複数のアイカメラからユーザの顔の一部からの画像を受信し、画像解析を応用して、外景又は仮想現実ディスプレイの態様に対するユーザの視線、輻輳、及び焦点を評価することもできる。いくつかの実施形態では、電子部品２０は、ネットワークと通信するように構成された通信モジュール１１８を含む。通信モジュール１１８は、メモリ１１２及びプロセッサ１２２を外部ネットワーク又は何らかの他のデバイスと無線通信するための無線周波数ソフトウェア及びハードウェアを含むことができる。したがって、通信モジュール１１８は、無線アンテナ、トランシーバ、及びセンサ、並びにＷｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離無線通信（ＮＦＣ）などの複数の無線プロトコルのいずれか１つによる信号処理するためのデジタル処理回路も含むことができる。更に、通信モジュール１１８はまた、ヘッドセット１０Ａと協働する他の入力ツール及びアクセサリ（例えば、ハンドルスティック、ジョイスティック、マウス、無線ポインタなど）と通信してもよい。

【0036】

いくつかの実施形態では、接眼レンズ１００Ａは、ユーザのためにシーンの正面図を撮影するための１つ又は複数の外部カメラ１２５－１及び１２５－２（以下、総称して「外部カメラ１２５」という）を含むことができる。外部カメラ１２５は、デュアルアイカメラによって提供されるユーザの顔の部分の画像から導出され得るユーザの視界の視線、輻輳、及び他の特徴に基づいて、ユーザが特に関心を持ち得る正面視界の態様に焦点を合わせるか、又は（例えば、プロセッサ１２２によって、）向けられ得る。

【0037】

図１Ｂは、いくつかの実施形態による、前方の見物人によって見られるヘッドセット１０Ｂを示す。いくつかの実施形態では、ヘッドセット１０Ｂは、「シュノーケル」構成のＡＲ又はＶＲデバイスであり得る。以下、ヘッドセット１０Ａ、１０Ｂを総称して「ヘッドセット１０」と呼ぶ。いくつかの実施形態では、バイザ１００Ｂは、ユーザ１０１のビューを見物人１０２に提供する単一の前方ディスプレイ１１０Ｂを含むことができる。ディスプレイ１１０Ｂは、ユーザ１０１の両眼、鼻の一部、眉毛、及びその他の顔の特徴を有する顔の一部を含む。更に、ユーザの顔の自動立体視画像１１１は、ユーザの眼の正確かつリアルタイムの位置などの詳細を含み、ユーザ１０１の視線方向及び輻輳、又は注意の的を示すことができる。これは、ユーザが発言された何かに、又はユーザの注意を引くことができる何らかの他の環境外乱又は感覚入力に、注意を向けているかどうか見物人１０２に対して示し得る。

【0038】

いくつかの実施形態では、自動立体視画像１１１は、ユーザの顔の３Ｄレンダリングを提供する。したがって、見物人１０２は、ユーザの顔、更にはユーザの頭の全身ビューを有し、見物人１０２が画角を変更するにつれて視点が変化する。いくつかの実施形態では、外向きに投影されたディスプレイ１１０Ｂは、ユーザの顔の一部の画像に追加の画像特徴を含めることができる。例えば、いくつかの実施形態では、外向きに投影されたディスプレイは、ユーザの顔の画像に重ね合わされた画像内の仮想要素（例えば、ユーザが実際に見ている仮想画像、又は環境内の実際の光源の反射又はグレア）を含むことができる。

【0039】

図２は、いくつかの実施形態による、前方の見物人（接眼レンズ１００Ａ及びシュノーケル式バイザ１００Ｂを参照）にユーザの顔の逆パススルービューを提供するように構成されたＡＲ又はＶＲデバイス用の接眼レンズ２００の詳細図を示す。接眼レンズ２００は、光学面２２０の第１の側（左側）のユーザに画像を提供するように構成された光学面２２０を含む。いくつかの実施形態では、ユーザへの画像は前方カメラ２２５によって提供されてもよく、光学面２２０は前方カメラ２２５に結合されたディスプレイを含んでもよい。いくつかの実施形態では、光学面２２０内の画像は、メモリ（例えば、ＶＲデバイスの場合、メモリ１１２及びプロセッサ１２２）に記憶された命令を実行するプロセッサによって提供される仮想画像であってもよい。いくつかの実施形態（例えば、ＡＲデバイスの場合）では、ユーザへの画像は、少なくとも部分的に、透明光学部品（例えば、レンズ、導波路、プリズムなど）を介して接眼レンズ２００の前面から送信された画像を含むことができる。

【0040】

接眼レンズ２００はまた、２つの異なるＦＯＶでユーザの顔の第１及び第２の画像（例えば、ユーザの眼）を収集するように構成された第１のアイカメラ２１５Ａ及び第２のアイカメラ２１５Ｂ（以下、総称して「アイカメラ２１５」と呼ぶ）を含む。いくつかの実施形態では、アイカメラ２１５は、ホットミラーアセンブリ２０５から反射モードでユーザの顔の画像を収集する赤外線カメラであってもよい。照明リング２１１は、アイカメラ２１５によって撮像されようとしているユーザの顔の部分に照明を当てることができる。したがって、光学面２２０は、アイカメラ２１５によって操作される光の波長（例えば、赤外線領域）では反射性であり、ユーザに画像を提供する光、例えば、赤色（Ｒ）、青色（Ｂ）、及び緑色（Ｇ）の画素を含む可視領域では透過性であるように構成され得る。前方ディスプレイ２１０Ｂは、ユーザの顔の自動立体視画像を見物人（図の右端）に投影する。

【0041】

図３Ａ～図３Ｄは、いくつかの実施形態による、ＡＲ又はＶＲデバイス内の、ユーザの逆パススルービューを前方の見物人に提供するためのスクリーンとして使用されるマイクロレンズアレイ３００の異なる態様及び構成要素を示す。いくつかの実施形態では、マイクロレンズアレイ３００は、画素アレイ３２０から光を受け、ユーザの顔の画像を見物人に提供する。いくつかの実施形態では、ユーザの顔の画像は、見物人の画角によるが、ユーザの顔の３Ｄレンディションの斜視図である。

【0042】

図３Ａは、マイクロレンズアレイ３００の詳細図であり、ピッチ３０５を有する二次元パターン３０２に配列された複数のマイクロレンズ３０１－１、３０１－２、３０１－３（以下、総称して「マイクロレンズ３０１」と呼ぶ）を含む。いくつかの実施形態では、開口部マスク３１５は、１つの開口部が各マイクロレンズ３０１と位置合わせされるように、マイクロレンズアレイに隣接して配置され、見物人の視点からの異なる画角のクロストークを回避することができる。

【0043】

例示のみを目的として、パターン３０２は、１ミリメートル未満（例えば、５００μｍ）のピッチ３０５を有するマイクロレンズ３０１の六角形の格子である。マイクロレンズアレイ３００は、マイクロレンズ３０１を形成する凹部を含む第１の面及び第２の面３１０を含むことができ、第１及び第２の面３１０は透過性基板３０７（例えば、Ｎ－ＢＫ７ガラス、プラスチックなど）によって分離されている。いくつかの実施形態では、透過性基板３０７は、約２００μｍの厚さを有することができる。

【0044】

図３Ｂは、いくつかの実施形態による、逆パススルーヘッドセットで使用するためのライトフィールドディスプレイ３５０の詳細図である。ライトフィールドディスプレイ３５０は、マイクロレンズアレイ（例えば、マイクロレンズアレイ３００）に隣接する画素アレイ３２０を含み、そのうちのマイクロレンズ３０１のみが例示を目的として示されている。画素アレイ３２０は、マイクロレンズ３０１に向けられる光ビーム３２３を生成する複数の画素３２１を含む。いくつかの実施形態では、画素アレイ３２０とマイクロレンズ３０１との間の距離３０３は、マイクロレンズ３０１の焦点距離にほぼ等しくなり得、したがって、出射光ビーム３２５は、出射画素３２１の特定の位置に応じて、異なる方向にコリメートされ得る。したがって、画素アレイ３２０内の異なる画素３２１は、見物人の位置に応じて、ユーザの顔の３Ｄ表現の異なる画角を提供することができる。

【0045】

図３Ｃは、マイクロレンズアレイ３００の平面図であり、ハニカムパターンを示す。

【0046】

図３Ｄは、開口部マスク３１５の開口部がマイクロレンズアレイ３００の中心になるように、開口部マスク３１５が隣接して配置されたマイクロレンズアレイ３００を示す。いくつかの実施形態では、開口部マスク３１５は、（図示のように）５００μｍのヘキサパックピッチにわたって約４００μｍの開口部を有するクロムを含むことができる。開口部マスク３１５は、マイクロレンズアレイ３００のいずれかの側、又は両方の側で、第１の面又は第２の面３１０と整列することができる。

【0047】

図４は、いくつかの実施形態による、ＡＲ／ＶＲデバイスのユーザの顔の逆パススルー画像を見物人に提供するためのライトフィールドディスプレイ４５０の光線追跡図を示す。ライトフィールドディスプレイ４５０は、いくつかの実施形態によれば、ＡＲ又はＶＲデバイスのユーザの顔の広角で高解像度のビューを前方の見物人に提供するために使用されるマイクロレンズアレイ４００を含む。マイクロレンズアレイ４００は、本明細書に開示されるように、二次元パターンに配置された複数のマイクロレンズ４０１を含む。画素アレイ４２０は、ＡＲ又はＶＲデバイスのユーザの顔の少なくとも一部の３Ｄレンディションを生成するためにマイクロレンズアレイ４００を透過する光線４２３を提供する複数の画素４２１を含むことができる。マイクロレンズアレイ４００は、開口部マスク４１５を含んでもよい。開口部マスク４１５は、マイクロレンズアレイ４００の各マイクロレンズの縁部付近に遮蔽要素を設ける。遮蔽要素は、見物人用にユーザの顔の正面図を形成する光線４２５Ａに対して光線４２５Ｂ及び４２５Ｃの量を減少させる。これにより、スクリーンの前に位置し、ユーザの顔の３Ｄレンディション（図４によると下向き）を見ている見物人のクロストーク及びゴースト効果が低減される。

【0048】

図５Ａ～図５Ｃは、いくつかの実施形態による、ＡＲ又はＶＲデバイスのユーザの顔の広角で高解像度のビューを提供するための、マイクロレンズアレイにおける分解能特性５００Ａ、５００Ｂ、及び５００Ｃ（以下、総称して「分解能特性５００」）の異なる態様を示す。分解能特性５００の横軸５２１（Ｘ軸）は、ユーザの顔（例えば、ユーザの眼）とマイクロレンズアレイとの間の画像距離（ｍｍ）を示す。分解能特性５００における縦座標５２２（Ｙ軸）は、ＡＲ又はＶＲデバイスを装着したユーザから約１メートル離れた位置にいる見物人が見たときの周波数値、例えば、ミリメートル当りのディスプレイ上の特徴サイクル（サイクル／ｍｍ）で与えられる、光ディスプレイ及びスクリーンを含む光学系の解像度である。

【0049】

図５Ａは、見物人がディスプレイと区別することができる最高周波数であるカットオフ値を含む分解能特性５００Ａを示す。曲線５０１－１Ａ及び５０１－２Ａ（以下、総称して「曲線５０１Ａ」と呼ぶ）は、２つの異なるヘッドセットモデル（それぞれ、モデル１及びモデル２と呼ぶ）に関連付けられる。具体的な解像度は、画像距離、及びマイクロレンズアレイのピッチ（例えば、ピッチ３０５）などのスクリーンに関する他のパラメータに依存する。一般に、ユーザの目と画面との間の距離が大きいほど、解像度カットオフは単調に減少する（横軸５２１に沿って右へ）。これは、曲線５０１－２Ａのカットオフ値５１０－２Ａ（約０．１サイクル／ｍｍ）と曲線５０１－１Ａのカットオフ値５１０－１Ａ（約０．２５サイクル／ｍｍ）との差によって示される。実際、曲線５０１－２Ａのヘッドセットモデルの画像距離は、曲線５０１－１Ａのヘッドセットモデル（ユーザの眼とディスプレイとの間は約５ｃｍ）よりも長い（ユーザの顔とディスプレイとの間は１０ｃｍに近い）。また、ピッチの広いマイクロレンズアレイ（モデル２、５００μｍピッチ）の場合、ピッチの狭いマイクロレンズアレイ（モデル１、２００μｍピッチ）と比較して、解像度カットオフが低下する。

【0050】

図５Ｂは、点５１０Ｂにおいて約５ｃｍの画像距離で約０．３サイクル／ｍｍの空間周波数を提供するライトフィールドディスプレイモデル（モデル３）の曲線５０１Ｂを含む分解能特性５００Ｂを示す。

【0051】

図５Ｃは、曲線５０１－１Ｃ、５０１－２Ｃ、５０１－３Ｃ、５０１－４Ｃ（以下、総称して「曲線５０１Ｃ」と呼ぶ）を含む分解能特性５００Ｃを示す。分解能特性５００Ｃの横軸５２１Ｃ（Ｘ軸）は、ヘッドセットの奥行き（例えば、ユーザの眼／顔とライトフィールドディスプレイとの間の距離に類似）を示し、縦軸５２２Ｃ（Ｙ軸）はライトフィールドディスプレイ内の画素アレイの画素ピッチ（ミクロン単位、μｍ）を示す。曲線５０１Ｃのそれぞれは、各ライトフィールドディスプレイモデルについてのサイクル数／ｍｍカットオフ解像度を示す。点５１０Ｂは、高密度画素充填（ピッチは１０μｍ未満）及び約２５ｍｍ（例えば、約１インチ以下）の接近したヘッドセットの奥行きを有するライトフィールドディスプレイモデル（モデル４）の点５１０Ｃで得られる、より良好な解像度と比較して示されている。

【0052】

図５Ｄは、ライトフィールドディスプレイモデルの各々について、見物人によるヘッドセットを着用しているユーザの画像５１０－１Ｄ及び５１０－２Ｄを示す。画像５１０－１Ｄはモデル３で得られ、画像５１０－２Ｄはモデル４で得られる（それぞれ、点５１０Ｂ及び５１０Ｃを参照）。モデル４の解像度性能は、モデル３よりも確実に優れており、本開示と矛盾することなく、モデル設計に関して他のトレードオフを考慮した上で、所望の解像度に対応する幅広い可能性があることを示している。

【0053】

図６は、いくつかの実施形態による、ＡＲ又はＶＲデバイスのユーザの顔の一部の３Ｄレンディション６２１Ａ及び６２１Ｂ（以下、総称して「３Ｄレンディション６２１」と呼ぶ）を示す。いくつかの実施形態では、３Ｄレンディション６２１は、ユーザの顔の少なくとも一部（例えば、眼）の複数の２Ｄ画像６１１上で動作するモデル６５０によって提供され、ＡＲ又はＶＲデバイス（アイイメージングシステム１１５及びアイカメラ２１５を参照）のアイイメージングシステムによって提供される。モデル６５０は、ニューラルネットワーク（ＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、機械学習（ＭＬ）モデル、及び人工知能（ＡＩ）モデルなどの線形及び／又は非線形アルゴリズムを含んでもよい。モデル６５０は、メモリ回路に記憶され、プロセッサ回路によって実行される命令を含む。メモリ回路及びプロセッサ回路は、ＡＲ又はＶＲデバイスの背面に格納されてもよい（例えば、電子部品２０内のメモリ１１２及びプロセッサ１２２）。したがって、複数の２Ｄ画像６１１がアイイメージングシステムから受信され、モデル６５０を作成、更新、及び改善する。複数の２Ｄ画像は、少なくとも２つの異なるＦＯＶを含み、例えば、アイイメージングシステム内の２つの異なる立体視カメラのそれぞれから来たものであり、モデル６５０は、３Ｄレンディション６２１を形成するために、どの画像がどのカメラから来たかを決定することができる。次いで、モデル６５０は、２Ｄ画像入力と、２つのアイカメラのＦＯＶ間の差の詳細な知識（例えば、カメラ方向ベクトル）とを使用して、ＡＲ又はＶＲデバイスのユーザの顔の少なくとも一部の３Ｄレンディション６２１を提供する。

【0054】

図７は、いくつかの実施形態による、ＶＲ／ＡＲヘッドセットユーザの顔部分の３Ｄレンディションに使用されるモデルアーキテクチャ７００のブロック図を示す。モデルアーキテクチャ７００は、画素整列ボリュメトリックアバター（ＰＶＡ）モデルである。ＰＶＡモデル７００は、複数の２Ｄ入力画像７０１－１、７０１－２、及び７０１－ｎ（以下、総称して「入力画像７０１」と呼ぶ）を生成する多視点画像コレクションから学習される。入力画像７０１のそれぞれは、その特定の画像に対するユーザの顔の視野方向を示すカメラビューベクトルｖ_ｉ（例えば、ｖ_１、ｖ_２及びｖ_ｎ）に関連付けられる。ベクトルｖ_ｉのそれぞれは、カメラ固有パラメータＫ_ｉ及び回転Ｒ_ｉ（例えば、｛Ｋ_ｉ、［Ｒ｜ｔ］_ｉ｝）に関連する既知の視点７１１である。カメラ固有のパラメータＫ_ｉは、輝度、カラーマッピング、センサ効率、及び他のカメラ依存パラメータを含むことができる。回転Ｒ_ｉは、カメラに対する対象の頭の向き（及び距離）を示す。カメラセンサが異なると、同じカメラモデルであるという事実にもかかわらず、同じ入射ラディアンスに対する応答がわずかに異なる。これに対処するために何も行われない場合、強度差は最終的にシーン表現Ｎに焼き付けられ、特定の視点から画像が不自然に明るくなったり暗くなったりする。これに対処するために、カメラごとのバイアス及びゲイン値を学習する。これにより、システムはデータのばらつきを説明する「より簡単な」方法を有することができる。

【0055】

「ｎ」の値は純粋に例示的なものであり、当業者であれば、任意の数のｎ個の入力画像７０１を使用できることを理解するであろう。ＰＶＡモデル７００は、ヘッドセットユーザのボリュメトリックレンディション７２１を生成する。ボリュメトリックレンディション７２１は、ターゲットの視点から対象の２Ｄ画像を生成するために使用することができる３Ｄモデル（例えば、「アバター」）である。この２Ｄ画像は、ターゲットの視点が変わると（例えば、見物人がヘッドセットユーザの周りを移動すると）変化する。

【0056】

ＰＶＡモデル７００は、畳み込みエンコーダ－デコーダ７１０Ａ、レイマーチングステージ７１０Ｂ、及びラディアンスフィールドステージ７１０Ｃ（以下、総称して「ＰＶＡステージ７１０」と呼ぶ）を含む。ＰＶＡモデル７００は、最急降下法を使用して、マルチアイデンティティ訓練コーパスから選択された入力画像７０１で訓練される。したがって、ＰＶＡモデル７００は、複数の対象からの予測画像と対応するグランドトゥルースとの間で定義される損失関数を含む。これにより、ＰＶＡモデル７００は、対象とは無関係に正確なボリュメトリックレンディション７２１をレンダリングすることができる。

【0057】

畳み込みエンコーダ－デコーダネットワーク７１０Ａは、入力画像７０１を取り込み、画素整列された特徴マップ７０３－１、７０３－２、及び７０３－ｎ（以下、総称して「特徴マップ７０３」と呼ぶ）を生成する。レイマーチングステージ７１０Ｂは、｛Ｋｊ、［Ｒ｜ｔ］ｊ｝によって定義されるターゲットのビューｊの光線に沿って各画素を追跡し、各点においてラディアンスフィールドステージ７１０Ｃによって生成された色、ｃ、及び光学濃度（「不透明度」）を累積する。ラディアンスフィールドステージ７１０Ｃ（Ｎ）は、３Ｄ位置と画素整列された特徴を色と不透明度に変換し、ラディアンスフィールド７１５（ｃ、σ）をレンダリングする。

【0058】

入力画像７０１は、方向ｖ_ｉに沿ってカメラで収集された２Ｄ画像に対応する高さ（ｈ）及び幅（ｗ）を有し、色画素Ｒ、Ｇ、Ｂごとに３層の深さを有する３Ｄオブジェクトである。特徴マップ７０３は、寸法がｈ×ｗ×ｄである３Ｄオブジェクトである。エンコーダ－デコーダネットワーク７１０Ａは、学習可能な重み７２１－１、７２１－２．．．７２１－ｎ（以下、総称して「学習可能な重み７２１」と呼ぶ）を使用して入力画像７０１を符号化する。レイマーチングステージ７１０Ｂは、ワールドからカメラへの投影７２３、バイリニア補間７２５、位置の符号化７２７、及び特徴の集約７２９を実施する。

【0059】

いくつかの実施形態では、コンディショニングビューｖ_ｉ∈Ｒ^{ｈ×ｗ×３}の場合、特徴マップ７０３は、以下のように関数として定義され得る。

【0060】

ここで、φ（Ｘ）：Ｒ^３→Ｒ^６×ｌは、２×ｌ個の異なる基底関数を有する点７３０（Ｘ∈Ｒ^３）の位置の符号化である。点７３０（Ｘ）は、対象の２Ｄ画像から特定の視点７３１、ｒ_０に向けられた光線に沿った点である。特徴マップ７０３（ｆ^（ｉ）∈Ｒ^{ｈ×ｗ×ｄ}）は、カメラ位置ベクトルｖ_ｉと関連付けられ、ここで、ｄは特徴チャネルの数、ｈ及びｗは画像の高さ及び幅、ｆ_Ｘ∈Ｒ^ｄは点Ｘと関連付けられた集約された画像特徴である。各特徴マップｆ^（ｉ）に対して、レイマーチングステージ７１０Ｂは、その特定の視点のカメラ固有（Ｋ）のパラメータ及び外部（Ｒ，ｔ）パラメータを使用して、光線に沿って３Ｄ点Ｘを投影することによってｆ_Ｘ∈Ｒ^ｄを得る。

【0061】

ここで、Πはカメラ画素座標への透視投影関数であり、Ｆ（ｆ、ｘ）は画素位置ｘにおけるｆのバイリニア補間７２５である。レイマーチングステージ７１０Ｂは、ラディアンスフィールドステージ７１０Ｃのために、複数の画像から画素整列された特徴ｆ^（ｉ） _Ｘを組み合わせる。

【0062】

カメラｉｎｔｒｉｎｓｉｃ関数Ｋ_ｊ、回転と平行移動Ｒ_ｊ、ｔ_ｊを有する所与の訓練画像ｖ_ｊに対して、カメラと中心７３１（ｒ_０）∈Ｒ^３の焦点面における所与の視点についての画素ｐ∈Ｒ^２の予測色は、「カメラから世界への投影行列」Ｐ^－１＝［Ｒ_ｉ｜ｔ_ｉ］^－１Ｋ^－１ _ｉを使用してシーンに光線（ｒａｙ）を行進（ｍａｒｃｈ）させることによって得られ、光線の方向は次式で与えられる。

【0063】

レイマーチングステージ７１０Ｂは、ｔ∈［ｔ_ｎｅａｒ、ｔ_ｆａｒ］に対してｒ（ｔ）＝ｒ_０＋ｔｄによって定義される光線７３５に沿って、以下のように、ラディアンスと不透明度の値を累積する。

【0064】

ここで、

【0065】

いくつかの実施形態では、レイマーチングステージ７１０Ｂは、ｎ_ｓ点の集合ｔ～［ｔ_ｎｅａｒ、ｔ_ｆａｒ］を均一にサンプリングする。Ｘ＝ｒ（ｔ）と設定することにより、求積規則を用いて積分６、７を近似することができる。関数Ｉ_α（ｐ）は、以下のように定義することができる。

【0066】

ここで、α_ｉ＝１－ｅｘｐ（－δ_ｉ・σ_ｉ）であり、δ_ｉは、光線７３５に沿ったｉ＋１番目とｉ番目のサンプル点との間の距離である。

【0067】

既知のカメラ視点ｖ_ｉと固定数のコンディショニングビューとを持つ多視点設定では、レイマーチングステージ７１０Ｂは、単純な連結によって特徴を集約する。具体的には、｛Ｒ_ｉ｝^ｎ _ｉ＝１と｛ｔｉ｝ｎｉ＝１で与えられる対応する回転行列と平行移動行列を有するｎ個のコンディショニング画像｛ｖ_ｉ｝^ｎ _ｉ＝１に対して、式（３）のように各点Ｘに対して特徴｛ｆ^（ｉ） _ｘ｝^ｎ _ｉ＝１を用いて、レイマーチングステージ７１０Ｂにより以下のように最終特徴が生成される。

【0068】

ここで、

は深度次元に沿った連結を表す。これは、視点からの特徴情報｛ｖｉ｝^ｎ _ｉ＝１を保存し、ＰＶＡモデル７００が最良の組合せを決定し、コンディショニング情報を採用するのに役立つ。

【0069】

いくつかの実施形態では、ＰＶＡモデル７００は、視点及びコンディショニングビューの数に依存しない。上記のような単純な連結は、この場合、コンディショニングビューの数が事前に分からず、推論時間中に異なる特徴寸法（ｄ）をもたらす可能性があるため、不十分である。多視点設定の特徴を要約すると、いくつかの実施形態は、任意の並べ替えψに対して、以下が成り立つように、順列不変関数Ｇ：Ｒ^ｎ×ｄ→Ｒ^ｄを含む。
Ｇ（ｆ^（１）．．．，ｆ^（ｎ））＝Ｇ（［ｆ^ψ（１），ｆ^ψ（２）．．．，ｆ^ψ（ｎ）］）

【0070】

特徴集約のための単純な順列不変関数は、サンプリングされた特徴マップ７０３の平均である。この集約手順は、訓練中に深度情報が利用可能な場合において望ましい可能性がある。しかしながら、深度の曖昧さがある場合（例えば、サンプリング前に特徴マップ７０３に投影された点の場合）、上記の集約はアーチファクトをもたらす可能性がある。これを回避するために、いくつかの実施形態は、ラディアンスフィールドステージ７１０Ｃにおける効果的なコンディショニングを含むようにカメラ情報を考慮する。したがって、いくつかの実施形態は、特徴ベクトルｆ^（ｉ） _Ｘ、及びカメラ情報（ｃｉ）を取り込み、カメラ要約特徴ベクトルｆ’^（ｉ） _Ｘを生成するコンディショニング関数ネットワークＮ_ｃｆ：Ｒ^ｄ＋７→Ｒ^ｄ’を含む。次いで、これらの修正されたベクトルは、以下のように複数又は全てのコンディショニングビューにわたって平均化される。

【0071】

この手法の利点は、特徴平均が実施される前に、カメラによって要約された特徴がオクルージョンの可能性を考慮できることである。カメラ情報は、４Ｄ回転クォータニオン及び３Ｄカメラ位置として符号化される。

【0072】

いくつかの実施形態はまた、シーン表現における背景の一部の学習を回避するために、背景推定ネットワークＮ_ｂｇを含めることもできる。背景推定ネットワークＮ_ｂｇは、Ｎ_ｂｇ：Ｒ^ｎｃ：→Ｒ^{ｈ×ｗ×３}と定義することができ、カメラごとに固定背景を学習する。いくつかの実施形態では、ラディアンスフィールドステージ７１０Ｃは、Ｎ_ｂｇを使用して、最終画像画素を以下のように予測することができる。
Ｉ_ｐ＝Ｉ_ｒｇｂ＋（１－Ｉα）・Ｉ_ｂｇ（１１）

【0073】

カメラｃ_ｉに対して

である。ここで、

はインペイントを用いて抽出された背景の初期推定値、Ｉ_αは式（８）で定義される通りである。これらの塗りつぶされた背景はしばしばノイズが多く、人の頭の周りに「ハロー」効果をもたらす。これを回避するために、Ｎ_ｂｇモデルは、インペイントされた背景に対する残差を学習する。これは、バックグラウンドを考慮するために大容量ネットワークを必要としないという利点を有する。

【0074】

ターゲットのグランドトゥルース画像ｖ_ｊについて、ＰＶＡモデル７００は、単純なフォトメトリック再構成損失を使用して、ラディアンスフィールドステージ７１０Ｃと特徴抽出ネットワークの両方を訓練する。

【0075】

図８Ａ～図８Ｄは、いくつかの実施形態による、仮想現実ヘッドセット内の自動立体視ディスプレイにユーザの顔の一部のビューを提供するようにモデルを訓練するための方法における要素及びステップを示す図である。接眼レンズ８００は、複数のユーザからの複数の訓練画像８１１で訓練される。画像の特徴８３３－１Ｂ、８３３－２Ｂ、及び８３３Ｃの細部を復元するために、テクスチャマップ及び深度マップ（以下、総称して「テクスチャ深度マップ８３３」と呼ぶ）を含む、各ユーザの３Ｄモデル８２１が作成される。３Ｄモデル８２１が生成されると、ユーザの顔の三次元再構成の自動立体視画像がライトフィールドディスプレイの画素アレイに提供される。ライトフィールドディスプレイは、アクティブ画素の複数のセグメントに分離され、各セグメントは、見物人のための選択された画角で３Ｄモデル８２１の視野の一部を提供する。

【0076】

図８Ａは、いくつかの実施形態による、複数の訓練画像８１１を接眼レンズ８００上に収集するためのセットアップ８５０を示す。訓練画像８１１は、ディスプレイによって提供され、接眼レンズがヘッドセット内に組み立てられたときにホットミラーがあるのと同じ位置に配置されたスクリーン８１２上に投影され得る。１つ又は複数の赤外線カメラ８１５は反射モードで訓練画像８１１を収集し、１つ又は複数のＲＧＢカメラ８２５は透過モードで訓練画像を収集する。セットアップ８５０は、全ての訓練画像８１１に対して固定された、画像ベクトル８０１－１、ＩＲカメラベクトル８０１－２、及びＲＧＢカメラベクトル８０１－３（以下、総称して「位置決めベクトル８０１」と呼ぶ）を有する。位置決めベクトル８０１は、３Ｄモデル８２１に関連するサイズ、距離、及び画角を正確に評価するためにアルゴリズムモデルによって使用される。

【0077】

図８Ｂは、いくつかの実施形態による、テクスチャ画像８３３－１Ｂ及び深度画像８３３－２Ｂを示す。ＲＧＢカメラ８２５を使用した訓練画像の撮影からテクスチャ画像８３３－１Ｂ取得してもよく、ＩＲカメラ８１５を使用した訓練画像から深度画像８３３－２Ｂを取得してもよい。

【0078】

図８Ｃは、いくつかの実施形態による、ＩＲカメラ８１５で収集された深度画像８３３Ｃを示す。図８Ｄは、いくつかの実施形態による、接眼レンズ８００に関連して形成された３Ｄモデル８２１を示す。

【0079】

図９は、いくつかの実施形態による、ＶＲ／ＡＲヘッドセットユーザの顔の自動立体視ビューを提供するための方法９００におけるフローチャートを示す。方法９００のステップは、メモリに記憶された命令を実行するプロセッサによって少なくとも部分的に実施されてもよく、プロセッサ及びメモリは、本明細書に開示されるヘッドセットの電子部品（例えば、メモリ１１２、プロセッサ１２２、電子部品２０、及びヘッドセット１０）の一部である。更に他の実施形態では、方法９００と一致する方法のステップのうちの少なくとも１つ又は複数は、メモリに記憶された命令を実行するプロセッサによって実施されてもよく、プロセッサ及びメモリのうちの少なくとも１つは、クラウドサーバ内に遠隔配置され、ヘッドセットデバイスは、ネットワークに結合された通信モジュール（通信モジュール１１８を参照）を介してクラウドサーバに通信可能に結合される。いくつかの実施形態では、方法９００は、本明細書で開示されるように（例えば、モデル６５０、モデルアーキテクチャ７００）、機械学習又は人工知能アルゴリズムにニューラルネットワークアーキテクチャを含むモデルを用いて実施することができる。いくつかの実施形態では、本開示と一致する方法は、異なる順序で、同時に、準同時に、又は時間的に重複して実施される、方法９００からの少なくとも１つ又は複数のステップを含むことができる。

【0080】

ステップ９０２は、ヘッドセットユーザである対象の少なくとも２つ以上の視野を有する複数の画像を１つ又は複数のヘッドセットカメラから受信することを含む。

【0081】

ステップ９０４は、学習可能な重みのセットを用いて画像から複数の画像特徴を抽出することを含む。いくつかの実施形態では、ステップ９０４は、走査線に沿って画像特徴を照合して、第１の解像度設定でコストボリュームを構築し、粗い視差推定を提供することを含む。いくつかの実施形態では、ステップ９０４は、第１の解像度設定よりも高い第２の解像度設定で、小さな細部や薄い構造を含む１つ又は複数の画像特徴を復元することを含む。いくつかの実施形態では、ステップ９０４は、画像特徴に基づいてユーザの顔の部分のテクスチャマップ及びユーザの顔の部分の深度マップを生成することを含み、テクスチャマップは画像特徴の色詳細を含み、深度マップは画像特徴の深度位置を含む。いくつかの実施形態では、ステップ９０４は、各画像を収集するために用いられるヘッドセットカメラの固有の特性を抽出することを含む。

【0082】

ステップ９０６は、学習可能な重みを用いて対象の三次元モデルを形成することを含む。

【0083】

ステップ９０８は、対象の三次元モデルを、対象の画像投影と見物人のための選択された観察点とを関連付ける自動立体視ディスプレイフォーマットにマッピングすることを含む。いくつかの実施形態では、ステップ９０８は、ライトフィールドディスプレイの１つのセグメントに、見物人のための選択された視点におけるユーザの顔の視野の一部を提供することを含む。いくつかの実施形態では、ステップ９０８は、１人又は複数の見物人を追跡して画角を特定し、１人又は複数の見物人のそれぞれに対して視野を最適化するライトフィールドディスプレイを修正することを更に含む。いくつかの実施形態では、ステップ９０８は、第１の観察点と関連付けられた特徴マップを、第２の観察点と関連付けられた特徴マップで補間することを含む。いくつかの実施形態では、ステップ９０８は、選択された観察点の方向に沿って複数の画素の画像特徴を集約することを含む。いくつかの実施形態では、ステップ９０８は、順列不変の組合せで各ヘッドセットカメラによって生成された複数の特徴マップを連結することを含み、各ヘッドセットカメラは固有の特性を有する。

【0084】

ステップ９１０は、見物人が選択された観察点に位置するときに対象の画像投影をディスプレイに提供することを含む。いくつかの実施形態では、ステップ９１０は、見物人が第１の観察点から第２の観察点に移動する際に、デバイスディスプレイ上に、第２の画像投影を提供することを含む。

【0085】

図１０は、ユーザの顔の一部の複数の二次元（２Ｄ）画像からユーザの顔の一部の三次元（３Ｄ）ビューをレンダリングするための方法１０００におけるフローチャートを示す。方法１０００のステップは、メモリに記憶された命令を実行するプロセッサによって少なくとも部分的に実施されてもよく、プロセッサ及びメモリは、本明細書に開示されるヘッドセットの電子部品（例えば、メモリ１１２、プロセッサ１２２、電子部品２０、及びヘッドセット１０）の一部である。更に他の実施形態では、方法１０００と一致する方法におけるステップのうちの少なくとも１つ又は複数は、メモリに記憶された命令を実行するプロセッサによって実施されてもよく、プロセッサ及びメモリのうちの少なくとも１つは、クラウドサーバ内に遠隔配置され、ヘッドセットデバイスは、ネットワークに結合された通信モジュール（通信モジュール１１８を参照）を介してクラウドサーバに通信可能に結合される。いくつかの実施形態では、方法１０００は、本明細書で開示されるように、機械学習又は人工知能アルゴリズムにニューラルネットワークアーキテクチャを含むモデル（例えば、モデル６５０、モデルアーキテクチャ７００）を用いて実施され得る。いくつかの実施形態では、本開示と一致する方法は、異なる順序で、同時に、準同時に、又は時間的に重複して実施される方法１０００からの少なくとも１つ又は複数のステップを含むことができる。

【0086】

ステップ１００２は、複数のユーザの顔から複数のグランドトゥルース画像を収集することを含む。

【0087】

ステップ１００４は、記憶され較正された立体視画像のペアを用いてグランドトゥルース画像を補正することを含む。いくつかの実施形態では、ステップ１００４は、学習可能な重みのセットを用いて二次元画像から複数の画像特徴を抽出することを含む。いくつかの実施形態では、ステップ１００４は、二次元画像を収集するために使用されるカメラの固有の特性を抽出することを含む。

【0088】

ステップ１００６は、対象の三次元モデルを、対象の画像投影と見物人のための選択された観察点とを関連付ける自動立体視ディスプレイフォーマットにマッピングすることを含む。いくつかの実施形態では、ステップ１００６は、対象の三次元モデルと見物人のための選択された観察点との間の方向に沿って画像特徴を投影することを含む。いくつかの実施形態では、ステップ１００６は、第１の方向に関連付けられた特徴マップを第２の方向に関連付けられた特徴マップで補間することを含む。いくつかの実施形態では、ステップ１００６は、対象の三次元モデルと選択された観察点との間の方向に沿った複数の画素について画像特徴を集約することを含む。いくつかの実施形態では、ステップ１００６は、複数のカメラの各々によって生成された複数の特徴マップを順列不変の組合せで連結することを含み、複数のカメラの各々は固有の特性を有する。

【0089】

ステップ１００８は、グランドトゥルース画像と対象の画像投影との間の差に基づいて損失値を決定することを含む。いくつかの実施形態では、ステップ１００８は、対象の三次元モデルの自動立体視画像を見物人に提供することを含む。いくつかの実施形態では、ステップ１００８は、対象の三次元モデルの自動立体視画像と対象のグランドトゥルース画像との間の差に基づいて損失関数を評価することと、損失関数に基づいて学習可能な重みのセットの少なくとも１つを更新することとを含む。

【0090】

ステップ１０１０は、損失値に基づいて対象の三次元モデルを更新することを含む。

【0091】

図１１は、いくつかの実施形態による、ユーザの顔の一部の複数の二次元（２Ｄ）画像からユーザの顔の一部の三次元（３Ｄ）ビューをレンダリングするモデルを訓練するための方法１１００におけるフローチャートを示す。方法１１００のステップは、メモリに記憶された命令を実行するプロセッサによって少なくとも部分的に実施されてもよく、プロセッサ及びメモリは、本明細書に開示されるヘッドセットの電子部品（例えば、メモリ１１２、プロセッサ１２２、電子部品２０、及びヘッドセット１０）の一部である。更に他の実施形態では、方法１１００と一致する方法におけるステップのうちの少なくとも１つ又は複数は、メモリに記憶された命令を実行するプロセッサによって実施されてもよく、プロセッサ及びメモリのうちの少なくとも１つは、クラウドサーバ内に遠隔配置され、ヘッドセットデバイスは、ネットワークに結合された通信モジュール（通信モジュール１１８を参照）を介してクラウドサーバに通信可能に結合される。いくつかの実施形態では、方法１１００は、本明細書で開示されるように、機械学習又は人工知能アルゴリズムにニューラルネットワークアーキテクチャを含むモデル（例えば、モデル６５０、モデルアーキテクチャ７００）を使用して実施することができる。いくつかの実施形態では、本開示と一致する方法は、異なる順序で、同時に、準同時に、又は時間的に重複して実施される方法１１００からの少なくとも１つ又は複数のステップを含むことができる。

【0092】

ステップ１１０２は、複数のユーザの顔から複数のグランドトゥルース画像を収集することを含む。

【0093】

ステップ１１０４は、記憶され較正された立体視画像のペアを用いてグランドトゥルース画像を補正することを含む。

【0094】

ステップ１１０６は、三次元顔モデルを用いて、対象の複数の合成ビューを生成することを含み、対象の合成ビューは、対象の複数のビューに対応する異なる方向に沿って投影された複数の特徴マップの補間を含む。いくつかの実施形態では、ステップ１１０６は、選択された観察方向に沿ってグランドトゥルース画像の各々から画像特徴を投影することと、順列不変の組合せでグランドトゥルース画像の各々によって生成された複数の特徴マップを連結することとを含み、グランドトゥルース画像の各々は固有の特性を有する。

【0095】

ステップ１１０８は、グランドトゥルース画像と対象の合成ビューとの間の差に基づいて三次元顔モデルを訓練することを含む。いくつかの実施形態では、ステップ１１０８は、グランドトゥルース画像と対象の合成ビューとの間の差を示す損失関数の値に基づいて、特徴マップ内の複数の特徴のそれぞれに対する学習可能な重みのセット内の少なくとも１つを更新することを含む。いくつかの実施形態では、ステップ１１０８は、複数のグランドトゥルース画像から投影された画素背景値に基づいて、グランドトゥルース画像内の複数の画素の各々の背景値を訓練することを含む。

【0096】

ハードウェアの概要
図１２は、ヘッドセット１０、並びに方法９００、１０００、及び１１００を実施することができる例示的なコンピュータシステム１２００を示すブロック図である。特定の態様では、コンピュータシステム１２００は、専用のサーバにあるか、別の実体に統合されているか、又は複数の実体に分散されているかのいずれかで、ハードウェア、又はソフトウェアとハードウェアの組合せを用いて実装され得る。コンピュータシステム１２００は、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、ファブレット、スマートフォン、フィーチャフォン、サーバコンピュータ、その他を含み得る。サーバコンピュータは、データセンタ内に遠隔配置されてもよく、又は、ローカルに格納されてもよい。

【0097】

コンピュータシステム１２００は、情報を通信するためのバス１２０８又は他の通信機構と、情報を処理するためにバス１２０８に結合されたプロセッサ１２０２（例えば、プロセッサ１２２）とを含む。例として、コンピュータシステム１２００は、１つ又は複数のプロセッサ１２０２を用いて実現され得る。プロセッサ１２０２は、汎用マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックデバイス（ＰＬＤ）、コントローラ、ステートマシン、ゲーテッド論理、ディスクリートハードウェア構成要素、又は計算もしくは情報の他の操作を実施することができる任意の他の適切な実体であってもよい。

【0098】

コンピュータシステム１２００は、ハードウェアに加えて、当該コンピュータプログラムの実行環境を作り出すコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステムを構成するコード、又はランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、読み出し専用メモリ（ＲＯＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ、又はプロセッサ１２０２によって実行される情報及び命令を記憶するためにバス１２０８と結合された任意の他の適切な記憶装置など、含まれるメモリ１２０４（例えば、メモリ１１２）に記憶されたコードのうちの１つ又は複数の組合せを含むことができる。プロセッサ１２０２及びメモリ１２０４は、専用論理回路によって補完されるか、又は専用論理回路に組み込まれ得る。

【0099】

命令は、メモリ１２０４に記憶され、１つ又は複数のコンピュータプログラム製品、例えば、コンピュータシステム１２００による実行のための、又はその動作を制御するためのコンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１つ又は複数のモジュールで実装されてもよく、データ指向言語（例えば、ＳＱＬ、ｄＢａｓｅ）、システム言語（例えば、Ｃ、Ｏｂｊｅｃｔｉｖｅ－Ｃ、Ｃ＋＋、アセンブリ）、アーキテクチャ言語（例えば、Ｊａｖａ、．ＮＥＴ）、及びアプリケーション言語（例えば、ＰＨＰ、Ｒｕｂｙ、Ｐｅｒｌ、Ｐｙｔｈｏｎ）などのコンピュータ言語を含むがこれらに限定されない、当業者に周知の任意の方法に従って実装されてもよい。命令はまた、アレイ言語、アスペクト指向言語、アセンブリ言語、オーサリング言語、コマンドラインインタフェース言語、コンパイル言語、並列言語、カーリーブラケット言語、データフロー言語、データ構造化言語、宣言型言語、難解言語、拡張言語、第四世代言語、機能言語、対話型モード言語、解釈型言語、反復型言語、リストベース言語、リトル言語、論理ベース言語、機械言語、マクロ言語、メタプログラミング言語、マルチパラダイム言語、数値解析、非英語ベース言語、オブジェクト指向クラスベース言語、オブジェクト指向プロトタイプベース言語、オフサイドルール言語、手続き型言語、反射型言語、ルールベース言語、スクリプト言語、スタックベース言語、同期型言語、構文処理言語、視覚型言語、ワースト言語、及びＸＭＬベース言語などのコンピュータ言語で実装されてもよい。メモリ１２０４はまた、プロセッサ１２０２によって実行される命令の実行中に一時変数又は他の中間情報を記憶するために使用されてもよい。

【0100】

本明細書で説明されるコンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するとは限らない。プログラムは、他のプログラム又はデータを保持するファイルの一部（例えば、マークアップ言語文書に記憶された１つ又は複数のスクリプト）、問題のプログラム専用の単一のファイル、又は複数の調整ファイル（例えば、１つ又は複数のモジュール、サブプログラム、又はコードの一部を記憶するファイル）に記憶することができる。コンピュータプログラムは、１台のコンピュータ上で実行されるか、又は１つのサイトに配置された、又は複数のサイトに分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することができる。本明細書で説明するプロセス及び論理フローは、１つ又は複数のコンピュータプログラムを実行する１つ又は複数のプログラマブルプロセッサによって実施され、入力データに対して動作し、出力を生成することによって機能を果たすことができる。

【0101】

コンピュータシステム１２００は、情報及び命令を記憶するためにバス１２０８と結合された、磁気ディスク又は光ディスクなどのデータ記憶装置１２０６を更に含む。コンピュータシステム１２００は、入力／出力モジュール１２１０を介して様々なデバイスに結合され得る。入力／出力モジュール１２１０は、任意の入力／出力モジュールであり得る。例示的な入力／出力モジュール１２１０は、ＵＳＢポートなどのデータポートを含む。入力／出力モジュール１２１０は、通信モジュール１２１２に接続するように構成される。例示的な通信モジュール１２１２は、イーサネットカード及びモデムなどのネットワーキングインタフェースカードを含む。特定の態様では、入力／出力モジュール１２１０は、入力デバイス１２１４及び／又は出力デバイス１２１６などの複数のデバイスに接続するように構成される。例示的な入力デバイス１２１４には、キーボードやポインティングデバイス、例えば、マウス又はトラックボールが含まれ、これにより消費者はコンピュータシステム１２００に入力を提供することができる。他の種類の入力デバイス１２１４も、触覚入力デバイス、視覚入力デバイス、音声入力デバイス、又は脳コンピュータインタフェースデバイスなど、消費者との対話を提供するために使用することができる。例えば、消費者に提供されるフィードバックは、例えば、視覚的フィードバック、聴覚的フィードバック、又は触覚的フィードバックなど、任意の形態の感覚フィードバックであり得、消費者からの入力を、音響入力、音声入力、触覚入力、又は脳波入力を含む任意の形態で受け取ることができる。例示的な出力デバイス１２１６には、消費者に情報を表示するためのＬＣＤ（液晶ディスプレイ）モニタなどの表示装置が含まれる。

【0102】

本開示の一態様によれば、ヘッドセット１０は、プロセッサ１２０２がメモリ１２０４に含まれる１つ又は複数の命令の１つ又は複数のシーケンスを実行することに応答して、少なくとも部分的にコンピュータシステム１２００を使用して実装され得る。このような命令は、データ記憶装置１２０６などの別の機械可読媒体からメモリ１２０４に読み込まれてもよい。メインメモリ１２０４に含まれる命令シーケンスの実行により、プロセッサ１２０２は本明細書で説明するプロセスステップを実施する。メモリ１２０４に含まれる命令シーケンスを実行するために、マルチ処理構成の１つ又は複数のプロセッサを採用することもできる。代替的な態様では、本開示の様々な態様を実施するために、ソフトウェア命令の代わりに、又はソフトウェア命令と組み合わせて、ハードワイヤード回路を使用することができる。したがって、本開示の態様は、ハードウェア回路とソフトウェアとの特定の組合せに限定されない。

【0103】

本明細書で説明する主題の様々な態様は、データサーバなどのバックエンド構成要素を含む、又はアプリケーションサーバなどのミドルウェア構成要素を含む、又はフロントエンド構成要素、例えば、消費者が本明細書で説明する主題の実装と対話することができるグラフィカル消費者インタフェース又はウェブブラウザを有するクライアントコンピュータを含むコンピューティングシステムで実装することができ、又は１つ又は複数のこのようなバックエンド、ミドルウェア、もしくはフロントエンド構成要素の任意の組合せで実装することができる。システムの構成要素は、任意の形態又は媒体のデジタルデータ通信、例えば、通信ネットワークによって相互接続することができる。通信ネットワークは、例えば、ＬＡＮ、ＷＡＮ、インターネットなどのうちのいずれか１つ又は複数を含むことができる。更に、通信ネットワークは、例えば、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スターバスネットワーク、ツリー又は階層ネットワークなどを含む、以下のネットワークトポロジのいずれか１つ又は複数を含むことができるが、これらに限定されない。通信モジュールは、例えば、モデムやイーサネットカードであり得る。

【0104】

コンピュータシステム１２００は、クライアント及びサーバを含むことができる。クライアント及びサーバは、一般に、互いに遠隔にあり、通常、通信ネットワークを介して対話する。クライアントとサーバとの関係は、それぞれのコンピュータ上で作動するコンピュータプログラムが互いにクライアント－サーバの関係を有することによって生じる。コンピュータシステム１２００は、例えば、限定はしないが、デスクトップコンピュータ、ラップトップコンピュータ、又はタブレットコンピュータであり得る。コンピュータシステム１２００はまた、例えば、限定するものではないが、携帯電話、ＰＤＡ、モバイルオーディオプレーヤ、全地球測位システム（ＧＰＳ）受信機、ビデオゲームコンソール、及び／又はテレビセットトップボックスなどの別のデバイスに組み込むこともできる。

【0105】

本明細書で使用される「機械可読記憶媒体」又は「コンピュータ可読媒体」という用語は、実行のためにプロセッサ１２０２に命令を提供することに関与する任意の１つ又は複数の媒体を指す。そのようなメディアは、不揮発性メディア、揮発性メディア、および送信メディアを含むがそれらには限定されない多くの形態を取ることが可能である。不揮発性媒体は、例えば、データ記憶装置１２０６などの光ディスク又は磁気ディスクを含む。揮発性媒体は、メモリ１２０４などのダイナミックメモリを含む。伝送媒体は、バス１２０８を形成するワイヤを含む、同軸ケーブル、銅線、及び光ファイバを含む。機械可読媒体の一般的な形態には、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、その他の任意の磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤ、その他の任意の光学媒体、パンチカード、紙テープ、孔のパターンを有するその他の任意の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ ＥＰＲＯＭ、その他の任意のメモリチップもしくはカートリッジ、又はコンピュータが読取り可能なその他の任意の媒体がある。機械可読記憶媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号に影響を及ぼす物質の組成物、又はそれらの１つもしくは複数の組合せであり得る。

【0106】

ハードウェアとソフトウェアの互換性を説明するために、様々な例示的なブロック、モジュール、構成要素、方法、動作、命令、及びアルゴリズムなどの項目は、これらの機能性の観点から一般的に説明してきた。このような機能性がハードウェア、ソフトウェア、又はハードウェアとソフトウェアの組合せとして実装されるかどうかは、特定の用途及びシステム全体に課される設計制約に依存する。当業者は、特定の用途ごとに様々な方法で説明された機能を実装することができる。

【0107】

本明細書で使用する場合、「及び」又は「又は」という用語で項目のいずれかを区切り、一連の項目に先行する「少なくとも１つ」という表現は、リストの各メンバー（例えば、各項目）ではなく、リスト全体を修飾する。「少なくとも１つの」という語句は、少なくとも１つの項目を選択することを要するのではなく、それよりもむしろ、この語句により、項目のいずれか１つの少なくとも１つ、及び／又は項目のいずれかの組合せの少なくとも１つ、及び／又は項目それぞれの少なくとも１つを含むという意味を可能にしている。例として、「Ａ、Ｂ、及びＣのうち少なくとも１つ」又は「Ａ、Ｂ、又はＣのうち少なくとも１つ」という語句はそれぞれ、Ａのみ、Ｂのみ、又はＣのみ、Ａ、Ｂ、及びＣの任意の組合せ、並びに／あるいはＡ、Ｂ、及びＣそれぞれのうち少なくとも１つを指す。

【0108】

「例示」という語句は、本明細書では、「例、実例、又は例示としての役割を果たす」ことを意味するのに使用される。本明細書において「例示」として記載されるあらゆる実施形態は、必ずしも他の実施形態よりも好ましいか又は有利なものとして解釈されるものではない。一態様、その態様、別の態様、いくつかの態様、１つ又は複数の態様、一実装、その実装、別の実装、いくつかの実装、１つ又は複数の実装、一実施形態、その実施形態、別の実施形態、いくつかの実施形態、１つ又は複数の実施形態、一構成、その構成、別の構成、いくつかの構成、１つ又は複数の構成、主題技術、開示、本開示、これらの他の変形などの語句は、便宜上のものであり、このような語句に関連する開示が主題技術に必須であること、又はこのような開示が主題技術の全ての構成に適用されることを意味するものではない。このような語句に関する開示は、全ての構成又は１つもしくは複数の構成に適用することができる。このような語句に関する開示は、１つ又は複数の例を提供することができる。１つの態様又はいくつかの態様などの語句は、１つ又は複数の態様を指すことができ、その逆も同様であり、これは他の前述の語句にも同様に適用される。

【0109】

単数形での要素の参照は、具体的に規定されていない限り、「唯１つのもの」であることを意味しようとするものではなく、「１つ又は複数」を意味する。「いくつかの」という用語は、１つ又は複数を指す。下線及び／又は斜体の見出し及び小見出しは、便宜上のみ使用されており、主題技術を限定するものではなく、主題技術の説明の解釈に関連して言及されるものではない。第１、第２などの関係用語は、ある実体や行為を別の実体や行為から区別するために使用されることがあるが、このような実体や行為間の実際のこのような関係や順序を必ずしも必要としたり、示唆したりするものではない。本開示を通じて説明される様々な構成の要素に対する構造的及び機能的等価物のうち、当業者に公知であるか、又は後に公知となるものは全て、本主題技術に包含される。更に、本明細書で開示されるものは、このような開示が上記の説明で明示的に述べられているか否かにかかわらず、一般に公開されることを意図したものではない。請求項のいかなる要素も、その要素が「のための手段（ｍｅａｎｓ ｆｏｒ）」という語句を使用して明示的に記載されていない限り、又は方法請求項の場合は、その要素が「のためのステップ（ｓｔｅｐ ｆｏｒ）」という語句を使用して記載されていない限り、３５Ｕ．Ｓ．Ｃ．§１１２の第６パラグラフの規定に基づいて解釈されない。

【0110】

本明細書には多くの詳細が含まれるが、これらは、説明され得る事項の範囲に対する制限として解釈されるべきではなく、むしろ主題の特定の実施態様の説明として解釈されるべきである。別個の実施形態の文脈において本明細書に記載される特定の特徴は、単一の実施形態において組合せで実現することもできる。逆に、単一の実施形態の文脈において記載される様々な特徴を、複数の実施形態において別個に、または任意の好適な下位の組合せで実現することもできる。更に、上記では、特徴が特定の組合せで作用するものとして説明され、当初はそのように説明されることさえあるが、場合によっては、説明された組合せからの１つ又は複数の特徴をその組合せから除外することができ、説明された組合せは、下位の組合せ又は下位の組合せの変形に向けられることがある。

【0111】

本明細書の主題を特定の態様について説明してきたが、他の態様も実施することができ、以下の特許請求の範囲内にある。例えば、動作は特定の順序で図面に示されるが、これは、所望の結果を達成するのに、かかる動作が図示される特定の順序又は連続順序で実施されること、あるいは図示される全ての動作が実施されることを要するものと理解されるべきではない。特許請求の範囲で列挙される行動は、異なる順序で実施し、かつ依然として望ましい結果を達成することができる。一例として、添付図面に示されるプロセスは、所望の結果を達成するのに、図示される特定の順序又は連続順序を必ずしも要するものではない。特定の状況では、マルチタスキング及び並列処理が有利であってもよい。更に、上述した態様における様々なシステム構成要素の分離は、全ての態様においてかかる分離を要するものと理解されるべきではなく、記載するプログラム構成要素及びシステムを、一般に、単一のソフトウェア製品で互いに統合するか、又は複数のソフトウェア製品にパッケージングすることができるものと理解されるべきである。

【0112】

表題、背景、図面の簡単な説明、要約、及び図面は、本明細書によって本開示に組み込まれ、限定的な説明としてではなく、本開示の例示的な例として提供される。特許請求の範囲又は意味を限定するために使用されないことを理解して提出される。更に、詳細な説明では、説明は例示的な例を提供し、様々な特徴は本開示を簡素化する目的で様々な実施態様で一緒にグループ化されることが分かる。本開示の方法は、説明された主題が各請求項に明示的に記載されているよりも多くの特徴を必要とするという意図を反映すると解釈されるべきではない。むしろ、特許請求の範囲が反映するように、本発明の主題は、開示された単一の構成又は動作の全ての特徴にあるわけではない。これにより、特許請求の範囲は詳細な説明に組み込まれ、各請求項は別個に説明される主題として独立して成立する。

【0113】

特許請求の範囲は、本明細書に記載された態様に限定されることを意図するものではなく、言語特許請求の範囲と一致する全範囲が与えられ、全ての法的同等物を包含するものとする。それにもかかわらず、特許請求の範囲のいずれも、適用される特許法の要件を満たさない主題を包含するものではなく、そのように解釈されるべきでもない。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図6】

【図7】

【図8A】

【図8B】

【図8C】

【図8D】

【図9】

【図10】

【図11】

【図12】

【国際調査報告】