特表 2022-522579 ウェアラブルヘッドマウントディスプレイのための装置、システム、および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-04-20

(54)【発明の名称】ウェアラブルヘッドマウントディスプレイのための装置、システム、および方法

(51)【国際特許分類】

   H04N 5/64 20060101AFI20220413BHJP

   G06F 3/01 20060101ALI20220413BHJP

   G02B 27/02 20060101ALI20220413BHJP

   H04N 5/225 20060101ALI20220413BHJP

   H04N 5/247 20060101ALI20220413BHJP

   H04N 5/232 20060101ALI20220413BHJP

【ＦＩ】

H04N5/64 511A

G06F3/01 510

G06F3/01 570

G02B27/02 Z

H04N5/225 800

H04N5/247

H04N5/232 290

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021533493

(86)(22)【出願日】2020-03-03

(85)【翻訳文提出日】2021-08-10

(86)【国際出願番号】 US2020020778

(87)【国際公開番号】W WO2020180859

(87)【国際公開日】2020-09-10

(31)【優先権主張番号】16/655,492

(32)【優先日】2019-10-17

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/814,249

(32)【優先日】2019-03-05

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．Ｂｌｕ－ｒａｙ

(71)【出願人】

【識別番号】515046968

【氏名又は名称】フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー

【氏名又は名称原語表記】ＦＡＣＥＢＯＯＫ ＴＥＣＨＮＯＬＯＧＩＥＳ， ＬＬＣ

(74)【代理人】

【識別番号】110002974

【氏名又は名称】特許業務法人Ｗｏｒｌｄ ＩＰ

(72)【発明者】

【氏名】リンデ， オスカー

【テーマコード（参考）】

2H199

5C122

5E555

【Ｆターム（参考）】

2H199CA04

2H199CA77

2H199CA92

2H199CA94

5C122EA63

5C122EA67

5C122FA18

5C122FH11

5C122FK24

5C122GE11

5C122HB01

5E555AA64

5E555BA02

5E555BA04

5E555BA87

5E555BB02

5E555BB04

5E555BB20

5E555BB38

5E555BC18

5E555BE17

5E555CA42

5E555CA44

5E555CB47

5E555CB66

5E555CB82

5E555CC01

5E555CC22

5E555DA08

5E555DA09

5E555DB02

5E555DB57

5E555DD05

5E555FA00

(57)【要約】

ウェアラブルヘッドマウントディスプレイのための装置が、ヘッドマウントディスプレイであって、（ｉ）（ａ）ヘッドマウントディスプレイの右側上に取り付けられたカメラと、（ｂ）ヘッドマウントディスプレイの左側上に取り付けられたカメラと、（ｃ）ヘッドマウントディスプレイの前面上に取り付けられ、ヘッドマウントディスプレイの前面の中央の右にあるカメラと、（ｅ）ヘッドマウントディスプレイの前面上に取り付けられ、ヘッドマウントディスプレイの前面の中央の左にあるカメラとを含む、４つの側方カメラと、（ｉｉ）ヘッドマウントディスプレイの前面上に取り付けられた１つの中央カメラと、（ｉｉｉ）ヘッドマウントディスプレイの装着者に視覚データを表示する少なくとも１つのディスプレイ表面とを含む、ヘッドマウントディスプレイを含み得る。様々な他の装置、システム、および方法も開示される。
【選択図】図４

【特許請求の範囲】

【請求項1】

ヘッドマウントディスプレイであって、
前記ヘッドマウントディスプレイの右側上に取り付けられたカメラと、
前記ヘッドマウントディスプレイの左側上に取り付けられたカメラと、
前記ヘッドマウントディスプレイの前面上に取り付けられ、前記ヘッドマウントディスプレイの前記前面の中央の右にあるカメラと、
前記ヘッドマウントディスプレイの前記前面上に取り付けられ、前記ヘッドマウントディスプレイの前記前面の中央の左にあるカメラと
を備える４つの側方カメラと、
前記ヘッドマウントディスプレイの前記前面上に取り付けられた１つの中央カメラと、
前記ヘッドマウントディスプレイの装着者に視覚データを表示する少なくとも１つのディスプレイ表面と
を備える、ヘッドマウントディスプレイ
を備える、装置。

【請求項2】

前記ヘッドマウントディスプレイの前記左側上に取り付けられた前記カメラが、前記ヘッドマウントディスプレイの前記前面上に取り付けられ、前記ヘッドマウントディスプレイの前記前面の中央の左にある前記カメラに対して、下向きに角度を付けられ、
前記ヘッドマウントディスプレイの前記右側上に取り付けられた前記カメラが、前記ヘッドマウントディスプレイの前記前面上に取り付けられ、前記ヘッドマウントディスプレイの前記前面の中央の右にある前記カメラに対して、下向きに角度を付けられる、
請求項１に記載の装置。

【請求項3】

前記中央カメラが、非剛性取付けを介して前記ヘッドマウントディスプレイ上に取り付けられ、任意選択的に、
前記４つの側方カメラが、少なくとも１つの剛性取付けを介して前記ヘッドマウントディスプレイ上に取り付けられ、
前記４つの側方カメラの視野が、前記中央カメラの視野と重複し、
前記ヘッドマウントディスプレイが、前記４つの側方カメラの前記視野からのデータを、前記中央カメラの前記視野と重複する前記４つの側方カメラの前記視野からの前記データを使用して、前記中央カメラの前記非剛性取付けによって引き起こされる視覚的外乱を補正するシステムに送る、請求項１に記載の装置。

【請求項4】

前記４つの側方カメラが、剛性取付けブラケットを介して前記ヘッドマウントディスプレイ上に取り付けられる、請求項１に記載の装置。

【請求項5】

前記ヘッドマウントディスプレイの前記ディスプレイ表面が、物理的環境内の前記ヘッドマウントディスプレイの位置に少なくとも部分的に基づいて、前記装着者に前記視覚データを表示し、
前記４つの側方カメラおよび前記中央カメラのうちの少なくとも１つが、前記物理的環境内の前記ヘッドマウントディスプレイの前記位置を示す視覚環境データをキャプチャする、
請求項１に記載の装置。

【請求項6】

前記４つの側方カメラおよび前記中央カメラのうちの少なくとも１つが、前記ヘッドマウントディスプレイの前記装着者によって操作されるコントローラの位置を追跡するか、または前記４つの側方カメラおよび前記中央カメラのうちの少なくとも１つが、前記ヘッドマウントディスプレイの前記装着者の少なくとも１つの手の位置を追跡する、請求項１に記載の装置。

【請求項7】

前記４つの側方カメラの各々が、前記カメラが取り付けられる前記ヘッドマウントディスプレイの表面に平行に取り付けられるか、または
前記ヘッドマウントディスプレイの前記前面が、前記ヘッドマウントディスプレイの前記装着者の顔を少なくとも部分的にカバーし、
前記ヘッドマウントディスプレイの前記右側が、前記ヘッドマウントディスプレイの前記前面に隣接し、
前記ヘッドマウントディスプレイの前記左側が、前記ヘッドマウントディスプレイの前記右側と反対側で前記ヘッドマウントディスプレイの前記前面に隣接する、請求項１に記載の装置。

【請求項8】

前記中央カメラが、前記ヘッドマウントディスプレイの前記前面上に取り付けられ、前記ヘッドマウントディスプレイの前記前面の中央の左にある前記カメラよりも高く、前記ヘッドマウントディスプレイの前記前面上に取り付けられる、請求項１に記載の装置。

【請求項9】

ヘッドマウントディスプレイであって、
前記ヘッドマウントディスプレイの右側上に取り付けられたカメラと、
前記ヘッドマウントディスプレイの左側上に取り付けられたカメラと、
前記ヘッドマウントディスプレイの前面上に取り付けられ、前記ヘッドマウントディスプレイの前記前面の中央の右にあるカメラと、
前記ヘッドマウントディスプレイの前面上に取り付けられ、前記ヘッドマウントディスプレイの前記前面の中央の左にあるカメラと
を備える４つの側方カメラと、
前記ヘッドマウントディスプレイの前面上に取り付けられた１つの中央カメラと
を備える５つのカメラと、
前記ヘッドマウントディスプレイの装着者に視覚データを表示する少なくとも１つのディスプレイ表面と
を備える、ヘッドマウントディスプレイと、
前記５つのカメラのうちの少なくとも１つから視覚データ入力を受信し、前記ヘッドマウントディスプレイの前記ディスプレイ表面に視覚データ出力を送る拡張現実システムと
を備える、システム。

【請求項10】

前記拡張現実システムが、前記５つのカメラのうちの前記少なくとも１つから前記視覚データ入力を受信し、
前記５つのカメラのうちのすべての５つから受信されたストリーミング視覚データ入力を組み合わせて、組み合わされた視覚データにすることと、
前記ヘッドマウントディスプレイの前記ディスプレイ表面上に、前記組み合わされた視覚データの少なくとも一部分を表示することと
によって、前記ヘッドマウントディスプレイの前記ディスプレイ表面に前記視覚データ出力を送る、請求項９に記載のシステム。

【請求項11】

前記拡張現実システムが、
前記視覚データ入力内のコントローラ装置を識別することと、
前記視覚データ入力内の少なくとも１つの視覚キューに基づいて、前記ヘッドマウントディスプレイの前記装着者に対する前記コントローラ装置の位置を決定することと、
前記ヘッドマウントディスプレイの前記装着者に対する前記コントローラ装置の前記位置に少なくとも部分的に基づいて、拡張現実アクションを実施することとを行うか、または前記拡張現実システムが、
前記５つのカメラのうちの少なくとも２つのカメラからの視覚データ入力内の物理的ロケーションキューを識別することと、
前記少なくとも２つのカメラからの前記視覚データ入力内の前記物理的ロケーションキューを三角測量することに少なくとも部分的に基づいて、前記ヘッドマウントディスプレイの前記装着者の物理的ロケーションを決定することと、
前記ヘッドマウントディスプレイの前記装着者の前記物理的ロケーションに少なくとも部分的に基づいて、拡張現実アクションを実施することとを行う、請求項９に記載のシステム。

【請求項12】

前記拡張現実システムが、
前記中央カメラから、前記中央カメラの非固定取付けにより視覚的外乱を含む視覚データを受信することと、
前記４つの側方カメラのうちの少なくとも１つから、前記４つの側方カメラのうちの前記少なくとも１つの固定取付けにより前記視覚的外乱を含まない視覚データを受信することと、
前記４つの側方カメラのうちの前記少なくとも１つからの前記視覚データを使用して、前記中央カメラからの前記視覚データにおける前記視覚的外乱を補正することと
によって、前記５つのカメラのうちの前記少なくとも１つから前記視覚データ入力を受信する、請求項９に記載のシステム。

【請求項13】

前記拡張現実システムが、
第１のコントローラ装置および第２のコントローラ装置を識別することと、
前記５つのカメラのうちの１つのカメラからの視覚データ入力において、前記第１のコントローラ装置が前記第２のコントローラ装置によって視覚的に遮られると決定することと、
前記５つのカメラのうちの異なるカメラからの視覚データ入力において、前記第１のコントローラ装置が前記第２のコントローラ装置によって視覚的に遮られないと決定することと、
前記異なるカメラからの視覚データに少なくとも部分的に基づいて、前記第１のコントローラ装置の位置を決定することと、
前記第１のコントローラ装置の前記位置に少なくとも部分的に基づいて、拡張現実アクションを実施することとを行う、請求項９に記載のシステム。

【請求項14】

前記５つのカメラ内の各カメラについて、前記カメラの視野が、前記５つのカメラ内の少なくとも１つのさらなるカメラの視野と少なくとも部分的に重複する、請求項９に記載のシステム。

【請求項15】

ヘッドマウントディスプレイを動き追跡するためのコンピュータ実装方法であって、前記方法の少なくとも一部分が、少なくとも１つのプロセッサを備えるコンピューティングデバイスによって実施され、前記方法が、
５つのカメラを備えるヘッドマウントディスプレイを識別することであって、前記５つのカメラのうちの１つが前記ヘッドマウントディスプレイの右側にアタッチされ、前記５つのカメラのうちの１つが前記ヘッドマウントディスプレイの左側にアタッチされ、前記５つのカメラのうちの１つが前記ヘッドマウントディスプレイの前面上の中央にアタッチされ、前記５つのカメラのうちの２つが前記ヘッドマウントディスプレイの前記前面上の側方にアタッチされる、ヘッドマウントディスプレイを識別することと、
前記５つのカメラのうちの少なくとも１つのカメラを介して、前記ヘッドマウントディスプレイの装着者の周囲の物理的環境の視覚データをキャプチャすることと、
前記少なくとも１つのカメラによってキャプチャされた前記物理的環境の前記視覚データに基づいて、前記物理的環境に対する前記ヘッドマウントディスプレイの前記装着者の位置を決定することと、
前記物理的環境に対する前記ヘッドマウントディスプレイの前記装着者の前記位置に基づいて、アクションを実施することとを含み、任意選択的に、
前記少なくとも１つのカメラによってキャプチャされた前記物理的環境の前記視覚データに基づいて、コントローラ装置の位置を決定することと、
前記コントローラ装置の前記位置に基づいて、アクションを実施することとをさらに含む、コンピュータ実装方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、その内容の全体がすべての目的のために参照により本明細書に組み込まれる、２０１９年３月５日に出願された米国出願第６２／８１４，２４９号、および２０１９年１０月１７日に出願された米国出願第１６／６５５，４９２号からの優先権を主張する。

【背景技術】

【0002】

仮想オブジェクトが現実のランドスケープ上に投影されるかまたはその上に重なる拡張現実体験、およびユーザが完全に仮想の世界に囲まれる仮想現実体験が、ますます普及しつつある。拡張現実体験および仮想現実体験のための１つの共通フォームファクタは、装着者に拡張世界または仮想世界を表示するスクリーンをもつウェアラブルヘッドセットである。拡張現実ヘッドセットおよび仮想現実ヘッドセットは、ユーザをそれらの環境において正確に配置し、正しいオブジェクトを表示し、ユーザのロケーションについての適正なキューをトリガするために、動き追跡を使用し得る。動き追跡の１つの方法は、ロケーションに対する視覚キューを識別するために、ならびにユーザによって保持された１つまたは複数のコントローラの移動を追跡するために、ヘッドセット上にカメラを配置することを伴う。

【0003】

残念ながら、動き追跡の旧来のシステムは、様々な欠陥を有する。多くのカメラ構成は、カメラにとってコントローラが見えることなしにユーザがコントローラを移動することができる、カメラカバレージのギャップを残す。一対のコントローラを位置決めするいくつかのやり方により、一方のコントローラが他方のコントローラを遮り、一時的に第２のコントローラを見えないようにすることがある。ヘッドセットにカメラを付けるいくつかのやり方は、不体裁であるか、または耐久性がないことがある。したがって、本開示は、ウェアラブルヘッドセットに関して、さらなるおよび改善されたカメラ構成の必要を識別し、その必要に対処する。さらに、本開示は、ウェアラブルヘッドセットなどの同じデバイスにアタッチされた複数のカメラからのデータの改善された送信の必要を識別し、その必要に対処する。

【発明の概要】

【0004】

以下でより詳細に説明されるように、本開示は、添付の特許請求の範囲による、ウェアラブルヘッドマウントディスプレイのための装置、システム、および方法について説明する。ウェアラブルヘッドマウントディスプレイのための装置、システム、および方法は、画像の形態で、帯域幅が制限された接続上で、ビデオストリームを送信するヘッドマウントディスプレイの様々な外表面上に取り付けられた５つのカメラを介して、動き追跡および／またはコントローラ追跡を提供する。

【0005】

いくつかの実施形態では、ウェアラブルヘッドマウントディスプレイのための装置が、ヘッドマウントディスプレイであって、（ｉ）（ａ）ヘッドマウントディスプレイの右側上に取り付けられたカメラと、（ｂ）ヘッドマウントディスプレイの左側上に取り付けられたカメラと、（ｃ）ヘッドマウントディスプレイの前面上に取り付けられ、ヘッドマウントディスプレイの前面の中央の右にあるカメラと、（ｅ）ヘッドマウントディスプレイの前面上に取り付けられ、ヘッドマウントディスプレイの前面の中央の左にあるカメラとを含む、４つの側方カメラ（ｌａｔｅｒａｌ ｃａｍｅｒａ）と、（ｉｉ）ヘッドマウントディスプレイの前面上に取り付けられた１つの中央カメラと、（ｉｉｉ）ヘッドマウントディスプレイの装着者に視覚データを表示する少なくとも１つのディスプレイ表面とを含む、ヘッドマウントディスプレイを含み得る。

【0006】

一実施形態では、ヘッドマウントディスプレイの左側上に取り付けられたカメラは、ヘッドマウントディスプレイの前面上に取り付けられ、ヘッドマウントディスプレイの前面の中央の左にあるカメラに対して、下向きに角度を付けられ得、および／またはヘッドマウントディスプレイの右側上に取り付けられたカメラは、ヘッドマウントディスプレイの前面上に取り付けられ、ヘッドマウントディスプレイの前面の中央の右にあるカメラに対して、下向きに角度を付けられ得る。いくつかの実施形態では、中央カメラは、ヘッドマウントディスプレイの前面上に取り付けられ、ヘッドマウントディスプレイの前面の中央の左にあるカメラよりも高く、ヘッドマウントディスプレイの前面上に取り付けられ得る。

【0007】

いくつかの実施形態では、中央カメラは、非剛性取付け（ｎｏｎ－ｒｉｇｉｄ ｍｏｕｎｔｉｎｇ）を介してヘッドマウントディスプレイ上に取り付けられ得る。一実施形態では、４つの側方カメラは、剛性取付けブラケット（ｒｉｇｉｄ ｍｏｕｎｔｉｎｇ ｂｒａｃｋｅｔ）を介してヘッドマウントディスプレイ上に取り付けられ得る。いくつかの例では、４つの側方カメラは、少なくとも１つの剛性取付け（ｒｉｇｉｄ ｍｏｕｎｔｉｎｇ）を介してヘッドマウントディスプレイ上に取り付けられ得、４つの側方カメラの視野が、中央カメラの視野と重複し得、ヘッドマウントディスプレイは、４つの側方カメラの視野からのデータを、中央カメラの視野と重複する４つの側方カメラの視野からのデータを使用して、中央カメラの非剛性取付けによって引き起こされる視覚的外乱を補正するシステムに送り得る。

【0008】

一例では、ヘッドマウントディスプレイのディスプレイ表面は、物理的環境内のヘッドマウントディスプレイの位置に少なくとも部分的に基づいて、装着者に視覚データを表示し得、４つの側方カメラおよび中央カメラのうちの少なくとも１つが、物理的環境内のヘッドマウントディスプレイの位置を示す視覚環境データをキャプチャし得る。いくつかの例では、４つの側方カメラおよび中央カメラのうちの少なくとも１つが、ヘッドマウントディスプレイの装着者によって操作されるコントローラの位置を追跡し得る。追加または代替として、４つの側方カメラおよび中央カメラのうちの少なくとも１つが、ヘッドマウントディスプレイの装着者の一方または両方の手の位置を追跡し得る。

【0009】

一実施形態では、４つの側方カメラの各々は、カメラが取り付けられるヘッドマウントディスプレイの表面に平行に取り付けられ得る。いくつかの実施形態では、ヘッドマウントディスプレイの前面は、ヘッドマウントディスプレイの装着者の顔を少なくとも部分的にカバーし得、ヘッドマウントディスプレイの右側は、ヘッドマウントディスプレイの前面に隣接し得、および／またはヘッドマウントディスプレイの左側は、ヘッドマウントディスプレイの右側と反対側でヘッドマウントディスプレイの前面に隣接し得る。

【0010】

いくつかの実施形態では、ウェアラブルヘッドマウントディスプレイのためのシステムが、ヘッドマウントディスプレイであって、（ｉ）（ａ）ヘッドマウントディスプレイの右側上に取り付けられたカメラと、（ｂ）ヘッドマウントディスプレイの左側上に取り付けられたカメラと、（ｃ）ヘッドマウントディスプレイの前面上に取り付けられ、ヘッドマウントディスプレイの前面の中央の右にあるカメラと、（ｄ）ヘッドマウントディスプレイの前面上に取り付けられ、ヘッドマウントディスプレイの前面の中央の左にあるカメラとを含む、４つの側方カメラと、（ｉｉ）ヘッドマウントディスプレイの前面上に取り付けられた１つの中央カメラとを含む、５つのカメラを含む、ヘッドマウントディスプレイを含み得る。いくつかの実施形態では、本システムは、ヘッドマウントディスプレイの装着者に視覚データを表示する少なくとも１つのディスプレイ表面と、５つのカメラのうちの少なくとも１つから視覚データ入力を受信し、ヘッドマウントディスプレイのディスプレイ表面に視覚データ出力を送る拡張現実システムとをも含み得る。

【0011】

いくつかの実施形態では、拡張現実システムは、５つのカメラのうちの少なくとも１つから視覚データ入力を受信し得、５つのカメラのうちのすべての５つから受信されたストリーミング視覚データ入力を組み合わせて、組み合わせられた視覚データにすることと、ヘッドマウントディスプレイのディスプレイ表面上に、組み合わせられた視覚データの少なくとも一部分を表示することとによって、ヘッドマウントディスプレイのディスプレイ表面に視覚データ出力を送る。いくつかの例では、拡張現実システムは、中央カメラから、中央カメラの非固定取付けにより視覚的外乱を含む視覚データを受信することと、４つの側方カメラのうちの少なくとも１つから、４つの側方カメラのうちの少なくとも１つの固定取付けにより視覚的外乱を含まない視覚データを受信することと、４つの側方カメラのうちの少なくとも１つからの視覚データを使用して、中央カメラからの視覚データにおける視覚的外乱を補正することとによって、５つのカメラのうちの少なくとも１つから視覚データ入力を受信し得る。

【0012】

一実施形態では、拡張現実システムは、視覚データ入力内のコントローラ装置を識別することと、視覚データ入力内の少なくとも１つの視覚キューに基づいて、ヘッドマウントディスプレイの装着者に対するコントローラ装置の位置を決定することと、ヘッドマウントディスプレイの装着者に対するコントローラ装置の位置に少なくとも部分的に基づいて、拡張現実アクションを実施することとを行い得る。追加または代替として、拡張現実システムは、５つのカメラのうちの少なくとも２つのカメラからの視覚データ入力内の物理的ロケーションキューを識別することと、少なくとも２つのカメラからの視覚データ入力内の物理的ロケーションキューを三角測量することに少なくとも部分的に基づいて、ヘッドマウントディスプレイの装着者の物理的ロケーションを決定することと、ヘッドマウントディスプレイの装着者の物理的ロケーションに少なくとも部分的に基づいて、拡張現実アクションを実施することとを行い得る。

【0013】

いくつかの例では、拡張現実システムは、（ｉ）第１のコントローラ装置および第２のコントローラ装置を識別することと、（ｉｉ）５つのカメラのうちの１つのカメラからの視覚データ入力において、第１のコントローラ装置が第２のコントローラ装置によって視覚的に遮られると決定することと、（ｉｉｉ）５つのカメラのうちの異なるカメラからの視覚データ入力において、第１のコントローラ装置が第２のコントローラ装置によって視覚的に遮られないと決定することと、（ｉｖ）異なるカメラからの視覚データに少なくとも部分的に基づいて、第１のコントローラ装置の位置を決定することと、（ｖ）第１のコントローラ装置の位置に少なくとも部分的に基づいて、拡張現実アクションを実施することとを行い得る。いくつかの実施形態では、５つのカメラ内の各カメラについて、カメラの視野が、５つのカメラ内の少なくとも１つのさらなるカメラの視野と少なくとも部分的に重複し得る。

【0014】

いくつかの実施形態では、ヘッドマウントディスプレイを動き追跡するためのコンピュータ実装方法は、（ｉ）５つのカメラを含むヘッドマウントディスプレイを識別することであって、５つのカメラのうちの１つがヘッドマウントディスプレイの右側にアタッチされ、５つのカメラのうちの１つがヘッドマウントディスプレイの左側にアタッチされ、５つのカメラのうちの１つがヘッドマウントディスプレイの前面上の中央にアタッチされ、５つのカメラのうちの２つがヘッドマウントディスプレイの前面上の側方にアタッチされる、ヘッドマウントディスプレイを識別することと、（ｉｉ）５つのカメラのうちの少なくとも１つのカメラを介して、ヘッドマウントディスプレイの装着者の周囲の物理的環境の視覚データをキャプチャすることと、（ｉｉｉ）少なくとも１つのカメラによってキャプチャされた物理的環境の視覚データに基づいて、物理的環境に対するヘッドマウントディスプレイの装着者の位置を決定することと、（ｉｖ）物理的環境に対するヘッドマウントディスプレイの装着者の位置に基づいて、アクションを実施することとを含み得る。

【0015】

いくつかの実施形態では、アクションを実施することは、ヘッドマウントディスプレイのディスプレイ表面上に仮想オブジェクトを表示することを含み得る。いくつかの例では、本方法は、少なくとも１つのカメラによってキャプチャされた物理的環境の視覚データに基づいて、コントローラ装置の位置を決定することと、コントローラ装置の位置に基づいて、アクションを実施することとをさらに含み得る。

【0016】

一例では、カメラからのデータを効率的に送信するためのコンピュータ実装方法が、（ｉ）異なるカメラによって各々生成されたビデオデータの少なくとも２つのストリームを識別することと、（ｉｉ）ビデオデータの少なくとも２つのストリームの各々からの厳密に１つのフレームを含むビデオデータの少なくとも２つのフレームのセットを受信することと、（ｉｉｉ）ビデオデータの少なくとも２つのストリームから受信されたビデオデータの少なくとも２つのフレームのセットを画像内に配置することと、（ｉｖ）単一の送信チャネルを介して、ビデオデータの少なくとも２つのストリームから受信されたビデオデータの少なくとも２つのフレームのセットを含む画像を送信することとを含み得る。

【0017】

一実施形態では、ビデオデータの少なくとも２つのフレームのセットを画像内に配置することは、ビデオデータのフレームの特性に少なくとも部分的に基づいて、ビデオデータの少なくとも２つのフレームのセット内のビデオデータの各フレームを画像内に構成することを含み得る。一例では、特性は、ビデオデータのフレームの読出し開始時間を含み得る。追加または代替として、特性は、ビデオデータのフレームの露出長を含み得る。一実施形態では、ビデオデータのフレームの特性に少なくとも部分的に基づいて、ビデオデータの各フレームを画像内に構成することは、画像内でのビデオデータの各フレームの垂直配置が特性に対応するように、ビデオデータの各フレームを、画像にわたって水平方向に並べて構成することを含み得る。

【0018】

一実施形態では、ビデオデータの少なくとも２つのフレームのセットを画像内に配置することは、画像内のビデオデータの少なくとも２つのフレームのセットについて説明するメタデータを符号化することを含み得る。いくつかの例では、メタデータを符号化することは、ビデオデータの少なくとも２つのフレームのセットからの各フレームのタイムスタンプを符号化することを含み得る。いくつかの例では、メタデータを符号化することは、ビデオデータの少なくとも２つのフレームのセットからの各フレームを作成するために使用される、少なくとも１つのカメラ設定を符号化することを含み得る。追加または代替として、メタデータを符号化することは、ビデオデータの少なくとも２つのフレームのセットからの各フレームについて、フレームを記録したカメラによって実施されている機能のタイプの識別子を符号化することを含み得る。

【0019】

一実施形態では、ビデオデータの少なくとも２つのストリームは、各々が異なる露出長を含む少なくとも２つのカメラによって生成され得る。いくつかの例では、単一の送信チャネルを介して画像を送信することは、制限された帯域幅を有する送信チャネルを介して画像を送信することを含み得る。いくつかの例では、単一の送信チャネルを介して画像を送信することは、ケーブルを介して画像を送信することを含み得る。

【0020】

一実施形態では、ビデオデータの少なくとも２つのストリームは、同じデバイスに結合されたカメラによって生成され得る。いくつかの例では、単一の送信チャネルを介して画像を送信することは、デバイスの第１の構成要素からデバイスの第２の構成要素に画像を送信することを含み得る。

【0021】

一実施形態では、ビデオデータの少なくとも２つのストリームから受信されたビデオデータの少なくとも２つのフレームのセットを画像内に配置することは、ビデオデータの少なくとも２つのストリームのうちの１つを生成したカメラ、または画像を処理するプロセッサのうちの少なくとも１つについて、デフォルト画像エンコーダを介して画像を符号化することを含み得る。

【0022】

一実施形態では、上記で説明された方法を実装するためのシステムは、少なくとも１つの物理プロセッサと、物理プロセッサによって実行されたとき、物理プロセッサに、（ｉ）異なるカメラによって各々生成されたビデオデータの少なくとも２つのストリームを識別することと、（ｉｉ）ビデオデータの少なくとも２つのストリームの各々からの厳密に１つのフレームを含むビデオデータの少なくとも２つのフレームのセットを受信することと、（ｉｉｉ）ビデオデータの少なくとも２つのストリームから受信されたビデオデータの少なくとも２つのフレームのセットを画像内に配置することと、（ｉｖ）単一の送信チャネルを介して、ビデオデータの少なくとも２つのストリームから受信されたビデオデータの少なくとも２つのフレームのセットを含む画像を送信することとを行わせるコンピュータ実行可能命令を含む物理メモリとを含み得る。

【0023】

いくつかの例では、上記で説明された方法は、非一時的コンピュータ可読媒体上のコンピュータ可読命令として符号化され得る。たとえば、コンピュータ可読媒体が、コンピューティングデバイスの少なくとも１つのプロセッサによって実行されたとき、コンピューティングデバイスに、（ｉ）異なるカメラによって各々生成されたビデオデータの少なくとも２つのストリームを識別することと、（ｉｉ）ビデオデータの少なくとも２つのストリームの各々からの厳密に１つのフレームを含むビデオデータの少なくとも２つのフレームのセットを受信することと、（ｉｉｉ）ビデオデータの少なくとも２つのストリームから受信されたビデオデータの少なくとも２つのフレームのセットを画像内に配置することと、（ｉｖ）単一の送信チャネルを介して、ビデオデータの少なくとも２つのストリームから受信されたビデオデータの少なくとも２つのフレームのセットを含む画像を送信することとを行わせ得る、１つまたは複数のコンピュータ実行可能命令を含み得る。

【0024】

上述の実施形態のいずれかからの特徴が、本明細書で説明される一般的な原理に従って、互いと組み合わせて使用され得る。これらおよび他の実施形態、特徴、および利点は、添付の図面および特許請求の範囲とともに以下の発明を実施するための形態を読むとより十分に理解されよう。

【0025】

添付の図面は、いくつかの例示的な実施形態を示し、本明細書の一部である。以下の説明とともに、これらの図面は、本開示の様々な原理を示し、それらの原理について説明する。

【図面の簡単な説明】

【0026】

【図1】２つの異なる例示的なヘッドマウントディスプレイのカバレージの２つの例示的なエリアの図である。

【図2】２つの異なる例示的な十分なヘッドマウントディスプレイのカバーされていないスペースの２つの例示的なエリアの図である。

【図3】例示的なヘッドマウントディスプレイの等角図である。

【図4】例示的なヘッドマウントディスプレイのさらなる等角図である。

【図5】例示的なヘッドマウントディスプレイの左側面図である。

【図6】例示的なヘッドマウントディスプレイの右側面図である。

【図7】例示的なヘッドマウントディスプレイの等角右側面である。

【図8】例示的なヘッドマウントディスプレイの正面図である。

【図9】例示的なヘッドマウントディスプレイの背面図である。

【図10】例示的なヘッドマウントディスプレイの上面図である。

【図11】例示的なヘッドマウントディスプレイの底面図である。

【図12】コンテキストにおける、例示的なヘッドマウントディスプレイの図である。

【図13】帯域幅が制限されたチャネル上での送信のためのビデオデータを処理するための例示的なシステムのブロック図である。

【図14】ウェアラブルヘッドマウントディスプレイについての視覚データを処理するための例示的なシステムのブロック図である。

【図15】ビデオストリームデータを効率的に送信するための例示的な方法の流れ図である。

【図16】ウェアラブルヘッドマウントディスプレイについての視覚データを処理するための例示的な方法の流れ図である。

【図17】カメラについての例示的な露出および読出しのブロック図である。

【図18】カメラフレームを含む例示的な画像のブロック図である。

【図19】ウェアラブルヘッドマウントディスプレイについての視覚データを処理するための例示的な方法の流れ図である。

【発明を実施するための形態】

【0027】

図面全体にわたって、同じ参照符号および記述は、同様であるが、必ずしも同じとは限らない、要素を指示する。本明細書で説明される例示的な実施形態は、様々な修正および代替形態が可能であるが、特定の実施形態が、図面において例として示されており、本明細書で詳細に説明される。しかしながら、本明細書で説明される例示的な実施形態は、開示される特定の形態に限定されるものではない。むしろ、本開示は、添付の特許請求の範囲内に入るすべての修正、均等物、および代替形態をカバーする。

【0028】

本開示は、概して、ウェアラブルヘッドマウントディスプレイのための装置、システム、および方法を対象とする。以下でより詳細に説明されるように、本開示の実施形態は、４つが側方に位置し、１つが中央に位置する５つのカメラをもつヘッドマウントディスプレイを構築することによって、ウェアラブルヘッドマウントディスプレイのための動き追跡および／またはコントローラ追跡の有効性を改善し得る。いくつかの実施形態では、（４つのカメラなど、より小さい数ではなく）５つのカメラをもつヘッドマウントディスプレイを構築することが、カメラのカバレージエリアを増加させ、および／またはカメラによってカバーされないデッドスペースを減少させ得る。いくつかの例では、２つまたはそれ以上のカメラの視野が重複するエリアを増加させることは、本明細書で説明されるシステムが、あるコントローラが他のコントローラのビューを遮り、および／またはいずれか１つのカメラからの供給における視覚的外乱の影響を低減し得る状況において、コントローラの追跡を改善することを可能にし得る。さらに、５つのカメラをもつヘッドマウントディスプレイを構築することは、カメラが、カメラが取り付けられる表面に面一（ｆｌｕｓｈ）に配置されることを可能にし、ヘッドマウントディスプレイの表面と面一でないコーナーおよび／または他の位置に付けられたカメラをもつヘッドマウントディスプレイに対して、ヘッドマウントディスプレイの耐久性および／または美しさを改善し得る。いくつかの例では、本明細書で説明される装置、システム、および方法は、ユーザおよび／またはコントローラの位置に基づいて、正確な拡張現実コンテンツを提供するために、ユーザおよび／またはコントローラの位置を特定するための拡張現実システムの能力を改善することによって、拡張現実の分野を改善し得る。さらに、本明細書で説明される装置、システム、および方法は、コンピューティングデバイスによって処理されるカバレージおよび／または視覚入力の品質を改善することによって、コンピューティングデバイスの働きを改善し得る。

【0029】

いくつかの実施形態では、ウェアラブルヘッドマウントディスプレイ上のカメラ、または複数のカメラをもつ他のデバイス（たとえば、他のウェアラブルデバイス、車両、ドローンなど）は、単一の通信チャネルを介して、同じデバイスの他の構成要素および／または他のデバイスにストリーミングビデオデータを送信し得る。いくつかの例では、この通信チャネルは、ワイヤレスリンクまたはユニバーサルサービスバスケーブルなど、制限された帯域幅を有し得る。複数のビデオストリームからのフレームを組み合わせて、メタデータをも含む単一の画像にし、次いでその画像を送信することによって、本明細書で説明されるシステムおよび方法は、帯域幅が制限されたチャネル上で、ビデオカメラによって記録されたデータをより効率的に送信し得る。いくつかの実施形態では、本明細書で説明されるシステムは、符号化され、標準的なデコーダによって復号され得る画像を作成し、相互運用性を改善し得る。さらに、本明細書で説明されるシステムは、フレームバッファを伴う方法と比較して、（エネルギー消費量などの）コンピューティングリソースの使用を低減し、ヘッドセットなどの低電力デバイスの働きを改善し得る。いくつかの例では、本明細書で説明されるシステムおよび方法は、より効率的にビデオデータを送信することによって、ビデオストリーミングの分野を改善し得る。さらに、本明細書で説明されるシステムおよび方法は、複数のビデオカメラによって記録されたデータを送信するために必要とされるリソースを低減することによって、コンピューティングデバイスの働きを改善し得る。

【0030】

図１は、２つの異なる例示的なヘッドマウントディスプレイのカバレージの２つの例示的なエリアの図である。本明細書で使用される「ヘッドマウントディスプレイ」という用語は、概して、装着者の頭部に装着され、装着者に視覚データを表示する少なくとも１つのディスプレイ表面を含む、任意のウェアラブルデバイスを指す。いくつかの実施形態では、ヘッドマウントディスプレイは、ヘッドマウントディスプレイの周りのスペースにおけるカメラカバレージエリアをまとめて生じる視野をもつ外表面上に取り付けられたカメラを含み得る。いくつかの例では、ヘッドマウントディスプレイカバレージエリア１００（ａ）は、４つのカメラをもつヘッドマウントディスプレイのカメラカバレージエリアを示し得る。一例では、ヘッドマウントディスプレイカバレージエリア１００（ａ）は、カメラカバレージエリア１０２、１０４、および／または１０６、ならびに／あるいはカメラカバレージエリア１０６と反対側のさらなるカメラカバレージエリアから構成され得る。いくつかの例では、ヘッドマウントディスプレイカバレージエリア１００（ａ）は、装着者の顔の前に、および／または装着者の肩の周りにギャップを有し得る。一例では、これらのカバレージギャップは、装着者が装着者の肩より上にコントローラを保持するとき、ヘッドマウントディスプレイがコントローラの動きを正確に追跡するのを妨げ得る。

【0031】

いくつかの実施形態では、ヘッドマウントディスプレイカバレージエリア１００（ｂ）は、カメラカバレージエリア１０８、１１０、１１２、および／または１１４、ならびに／あるいはカメラカバレージエリア１１２と反対側のさらなるカメラカバレージエリアを含み得る。いくつかの例では、ヘッドマウントディスプレイカバレージエリア１００（ｂ）は、装着者の肩および頭部の周りのエリアをカバーし、そのエリアに移動された任意のコントローラのロケーションを正確にキャプチャし得る。いくつかの実施形態では、ヘッドマウントディスプレイカバレージエリア１００（ｂ）を生成するヘッドマウントディスプレイなどの５つのカメラをもつヘッドマウントディスプレイは、ヘッドマウントディスプレイカバレージエリア１００（ａ）を生成するヘッドマウントディスプレイなどの４つのカメラをもつヘッドマウントディスプレイよりも、著しく改善されたカバレージを与え得る。

【0032】

図２は、２つの異なる例示的な十分なヘッドマウントディスプレイのカバーされていないスペースの２つの例示的なエリアの図である。一実施形態では、（図１中のヘッドマウントディスプレイカバレージエリア１００（ａ）を生成するディスプレイなどの）４つのカメラをもつヘッドマウントディスプレイは、カメラカバレージがないデッドスペース２０２のエリアを作り出し得る。いくつかの例では、デッドスペース２０２におけるコントローラ、環境特徴、および／または他のオブジェクトは、ヘッドマウントディスプレイのカメラによってキャプチャされず、拡張現実システムが、それらのオブジェクトおよび／または特徴の存在および／またはロケーションに正確に応答するのを妨げ得る。いくつかの実施形態では、（図１中のヘッドマウントディスプレイカバレージエリア１００（ｂ）を生成するディスプレイなどの）５つのカメラをもつヘッドマウントディスプレイは、デッドスペース２０４を作り出し得る。いくつかの例では、デッドスペース２０４は、（たとえば、そのスペースを占有する拡張現実システムに有意であるコントローラおよび／または他のオブジェクトの可能性に関して）デッドスペース２０２よりも、少ないスペースおよび／または重要でないスペースをカバーし得る。

【0033】

図３は、例示的なヘッドマウントディスプレイの図である。いくつかの実施形態では、ヘッドマウントディスプレイ３００は、カメラ３０２、３０４、３０６、３０８、および／または３１０、ならびに／あるいはディスプレイ表面３１２を含み得る。いくつかの実施形態では、カメラ３０２はヘッドマウントディスプレイ３００の右表面上に取り付けられ得、カメラ３０８はヘッドマウントディスプレイ３００の左表面上に取り付けられ得、カメラ３０４は前面の右側上に取り付けられ得、カメラ３０６は前面の左側上に取り付けられ得、および／またはカメラ３１０はヘッドマウントディスプレイ３００の前面上の中央に取り付けられ得る。いくつかの実施形態では、カメラ３０２、３０４、３０６、および／または３０８は、剛性取付けポイント上に取り付けられ得、カメラ３１０は、非剛性取付けポイント上に取り付けられ得る。一実施形態では、カメラ３０２、３０４、３０６、および／または３０８は、ヘッドマウントディスプレイ３００内に設置された金属ブラケットに取り付けられ得る。

【0034】

いくつかの実施形態では、カメラ３０２、３０４、３０６、３０８、および／または３１０は、各々、（ヘッドマウントディスプレイ３００から突出するのではなく）ヘッドマウントディスプレイ３００の表面と面一に取り付けられ得る。一実施形態では、カメラ３０２は、（ヘッドマウントディスプレイ３００の前面に対して）カメラ３０４の後ろに位置し得、および／または４５°下向きなどの下向きの角度で角度を付けられ得る。いくつかの実施形態では、カメラ３０２は、３０°、６０°、または任意の他の適切な角度など、異なる下向きの角度に位置し得る。同様に、カメラ３０８は、カメラ３０６の後ろに位置し得、および／または下向きの角度で角度を付けられ得る。いくつかの実施形態では、カメラ３０４、３０６、および３１０は、すべてヘッドマウントディスプレイの同じ表面上に取り付けられ得る。他の実施形態では、カメラ３０４および／または３０６は、ヘッドマウントディスプレイの１つの前面表面上に取り付けられ得、カメラ３１０は、ヘッドマウントディスプレイの別個の前面表面上に取り付けられ得る。

【0035】

図４は、上方および後ろから見たヘッドマウントディスプレイ３００の図である。図４に示されているように、いくつかの実施形態では、カメラ３１０は、カメラ３０４および／または３０６に対して垂直に、ヘッドマウントディスプレイ３００の前面の上部上に取り付けられ得る。一実施形態では、カメラ３０８は、ヘッドマウントディスプレイ３００の側面上に取り付けられ得る。いくつかの実施形態では、ディスプレイ表面３１２は、装着者の眼の両方に見える組み合わせられたディスプレイ表面であり得る。追加または代替として、ディスプレイ表面３１２は、ヘッドマウントディスプレイ３００の装着者の一方の眼の前に各々位置決めされた別個のレンズを含み得る。

【0036】

図５は、ヘッドマウントディスプレイ３００の左側面図である。図５に示されているように、カメラ３０８は、ヘッドマウントディスプレイ３００の左側上に取り付けられ得る。いくつかの実施形態では、カメラ３０８は、左側の下部のほうへ取り付けられ得、および／または下向きに角度を付けられ得る。

【0037】

図６は、ヘッドマウントディスプレイ３００の右側面図である。図６に示されているように、カメラ３０２は、ヘッドマウントディスプレイ３００の右側上に取り付けられ得る。いくつかの実施形態では、カメラ３０２は、右側の下部のほうへ取り付けられ得、および／または下向きに角度を付けられ得る。

【0038】

図７は、ヘッドマウントディスプレイ３００の等角右側面である。図７に示されているように、いくつかの実施形態では、カメラ３１０は、カメラ３０２に対して鈍角に、ヘッドマウントディスプレイ３００の上部上に取り付けられ得る。

【0039】

図８は、ヘッドマウントディスプレイ３００の正面図である。図８に示されているように、いくつかの実施形態では、カメラ３０４とカメラ３０６とは、ヘッドマウントディスプレイ３００の同じ前面表面上に取り付けられ得る。一実施形態では、カメラ３０４はヘッドマウントディスプレイ３００の（装着者による）右側のほうへ取り付けられ得、および／またはカメラ３０６はヘッドマウントディスプレイ３００の左側のほうへ取り付けられ得る。

【0040】

図９は、ヘッドマウントディスプレイ３００の背面図である。図９に示されているように、いくつかの実施形態では、ディスプレイ表面３１２は、ディスプレイ表面３１２（ａ）とディスプレイ表面３１２（ｂ）とに分割され得、ディスプレイ表面３１２の各部分が、装着者の眼の一方に画像を表示する。

【0041】

図１０はヘッドマウントディスプレイ３００の上面図である。図１０に示されているように、いくつかの実施形態では、カメラ３１０は、ディスプレイ表面３１２をも収容するヘッドマウントディスプレイ３００の構成要素の上部上に取り付けられ得る。

【0042】

図１１は、ヘッドマウントディスプレイ３００の底面図である。図１１に示されているように、いくつかの実施形態では、カメラ３０２および／またはカメラ３０８は、ヘッドマウントディスプレイ３００の下部のほうへ取り付けられ、および／または角度を付けられ得る。一実施形態では、カメラ３０４および／またはカメラ３０６は、カメラ３０２および／またはカメラ３０８に対して、ある角度で取り付けられ得る。

【0043】

図１２は、コンテキストにおける、例示的なヘッドマウントディスプレイの図である。いくつかの例では、装着者１２１２が、ヘッドマウントディスプレイ１２０２を装着し、ならびに／あるいはコントローラ１２０８（ａ）および／またはコントローラ１２０８（ｂ）を保持し得る。一例では、ヘッドマウントディスプレイ１２０２上のカメラは、物理的環境１２００内の装着者１２１２のロケーションを決定するために、ランドマーク１２０４および／またはランドマーク１２０６を識別し得る。いくつかの実施形態では、本明細書で説明されるシステムは、ランドマーク１２０４および／またはランドマーク１２０６のロケーションを三角測量するために、重複する視野をもつヘッドマウントディスプレイ１２０２上に取り付けられた２つまたはそれ以上のカメラを使用し得る。一例では、本明細書で説明されるシステムは、装着者１２１２のロケーションを三角測量するために、ランドマーク１２０４および／またはランドマーク１２０６を使用し得る。

【0044】

いくつかの例では、ヘッドマウントディスプレイ１２０２上のカメラは、コントローラ１２０８（ａ）および／またはコントローラ１２０８（ｂ）を動き追跡し得る。一例では、拡張現実システムが、ヘッドマウントディスプレイ１２０２のディスプレイ表面上に拡張現実オブジェクト１２１４を表示するために、装着者１２１２のロケーションならびに／あるいはコントローラ１２０８（ａ）および／または１２０８（ｂ）のロケーションに関する情報を使用し得る。いくつかの例では、拡張現実オブジェクト１２１４は、装着者１２１２にとって物理的環境１２００内にあるように見えることがあり、および／または、拡張現実システムは、ヘッドマウントディスプレイ１２０２のディスプレイ表面上に物理的環境１２００の一部分を表示するために、ヘッドマウントディスプレイ１２０２のカメラからの視覚入力データを使用し得る。他の例では、拡張現実オブジェクト１２１４は、物理的環境１２００にまったく関係しない仮想ランドスケープ内にあるように見えることがある。

【0045】

いくつかの例では、ヘッドマウントディスプレイ１２０２のディスプレイ表面は、物理的環境１２００内の装着者１２１２のロケーションに基づいて、装着者１２１２に異なる拡張現実オブジェクトを表示し得る。たとえば、ヘッドマウントディスプレイ１２０２は、装着者１２１２が拡張現実オブジェクト１２１４の位置の一定の半径内にいるときのみ、拡張現実オブジェクト１２１４を表示し得る。追加または代替として、ヘッドマウントディスプレイ１２０２は、コントローラ１２０８（ａ）および／または１２０８（ｂ）の相対位置を含む、コントローラ１２０８（ａ）および／または１２０８（ｂ）から受信された入力に基づいて、異なる拡張現実オブジェクトを表示し得る。たとえば、装着者１２１２は、仮想の剣を制御するために、剣のようにコントローラ１２０８（ａ）を振り、拡張現実システムは、（たとえば、装着者１２１２がドラゴンを殺したので）コントローラ１２０８（ａ）によって制御された仮想の剣が拡張現実オブジェクト１２１４と交差したことを検出したことに応答して、拡張現実オブジェクト１２１４を表示することを中止し得る。

【0046】

追加または代替として、ヘッドマウントディスプレイ１２０２は、装着者１２１２の１つまたは複数の手の位置に基づいて、異なる拡張現実オブジェクトおよび／または環境を表示し得る。いくつかの実施形態では、ヘッドマウントディスプレイ１２０２上のカメラのうちの１つまたは複数が、装着者１２１２に対して手の追跡を実施し得る。いくつかの実施形態では、ヘッドマウントディスプレイ１２０２の各側上の１つの側方カメラなどの特定のカメラが、手の追跡を実施するために使用される画像データを収集し得る。一実施形態では、ヘッドマウントディスプレイ１２０２の前面表面上に取り付けられた側方カメラは、手の追跡を実施するために使用される画像データを収集し得る。追加または代替として、異なるカメラが、異なる時間に手の追跡および／または他の機能を可能にし得る。いくつかの例では、本明細書で使用される「手の追跡」という用語は、概して、時間シーケンスにわたる（たとえば、カメラによってキャプチャされたビデオフィードから抽出された静止画像のシーケンスにわたる）手のポーズ推定を指し得る。追加または代替として、手の追跡は、手の３次元位置、手の配向、および／または手の指の構成を含む、ユーザの手の３次元ポーズを決定することを含み得る。いくつかの実施形態では、本明細書で説明されるシステムは、コントローラ追跡の代わりに手の追跡を実施し得る。追加または代替として、本明細書で説明されるシステムは、コントローラ追跡に加えて手の追跡を実施し得る。ある実施形態では、本明細書で説明されるシステムは、ヘッドマウントディスプレイ１２０２の１つまたは複数のカメラからデータを受信し、ニューラルネットワークなどの機械学習アルゴリズムを使用して、手モデル上の１つまたは複数の手特徴のロケーションを決定する、手の追跡モジュールを含み得る。いくつかの例では、本明細書で説明されるシステムは、装着者１２１２の手の位置を検出し、次いで、ヘッドマウントディスプレイ１２０２のスクリーン上に手の位置を表示し得る。追加または代替として、本明細書で説明されるシステムは、装着者１２１２の一方または両方の手の位置を決定したことに応答して、構成設定（たとえば、ボリューム）を変更し、仮想現実アクションを実施し、および／または他のアクションを実施し得る。

【0047】

図１３は、帯域幅が制限されたチャネル上での送信のためのビデオデータを画像に処理するための例示的なシステムのブロック図である。一実施形態では、デバイス１３０２は、カメラ１３０４、１３０６、および／または１３０８など、複数のカメラからのデータを含み、および／または受信し得る。いくつかの実施形態では、デバイス１３０２はヘッドマウントディスプレイであり得る。追加または代替として、デバイス１３０２は、別のタイプのウェアラブルデバイス、車両および／またはドローンであり得る。一実施形態では、ビデオ処理モジュール１３１０が、カメラ１３０４、１３０６、および／または１３０８からストリーミングビデオデータを受信し、各々が各カメラからのビデオデータの多くとも１つのフレームを含む、静止画像を生成し得る。いくつかの例では、ビデオ処理モジュール１３１０は、帯域幅が制限されたチャネルを介して静止画像を送信し得る画像送信モジュール１３１２にデータを送り得る。一例では、画像送信モジュール１３１２は、同じくデバイス１３０２上にホストされたデータ消費モジュール１３１４に画像を送信し得る。データ消費モジュール１３１４は、異なるカメラからの画像をもつ組み合わせられたビデオストリームを構築すること、および／または画像内に含まれている情報について決定を行うために画像を処理することなど、画像中に含まれるデータに関する様々なタスクを実施し得る。いくつかの実施形態では、画像送信モジュール１３１４は、制限された帯域幅で、物理的ケーブルを介して、データ消費モジュール１３１４に画像を送り得る。追加または代替として、画像送信モジュール１３１２は、デバイス１３０２に物理的に結合されていないデバイス１３２０に画像を送信し得る。いくつかの実施形態では、デバイス１３０２は、限定はしないが、ウェアラブルデバイス、サーバ、および／またはパーソナルコンピューティングデバイスを表し得る。一実施形態では、送信モジュール１３１２は、制限された帯域幅で、ワイヤレス接続を介して、画像を送信し得る。

【0048】

図１４は、ウェアラブルヘッドマウントディスプレイについての視覚データを処理するための例示的なシステムのブロック図である。本明細書で使用される「視覚データ」という用語は、概して、カメラによってキャプチャされ得る任意のデータを指す。いくつかの例では、視覚データは、ストリーミングビデオデータを含み得る。追加または代替として、視覚データは、記録されたビデオデータおよび／または静止画像を含み得る。図１４に示されているように、ヘッドマウントディスプレイ１４３０が、側方カメラ１４０２、中央カメラ１４１２、および／またはディスプレイ表面１４１４を含み得る。一実施形態では、側方カメラ１４０２は、カメラ１４０４、１４０６、１４０８、および／または１４１０を含み得る。一実施形態では、ビデオ処理モジュール１４３４が、カメラ１４０４、１４０６、１４０８、１４１０、および／または１４１２からストリーミングビデオデータを受信し得る。いくつかの実施形態では、ビデオ処理モジュール１４３４は、ストリーミングビデオデータを処理して、各カメラストリームからの多くとも１つのフレームを各々含む一連の画像にし得る。いくつかの例では、画像は、カメラフレームに関するメタデータをも含み得る。一例では、ビデオ処理モジュール１４３４は、次いで、画像送信モジュール１４３２に各画像を送り得、画像送信モジュール１４３２は画像を、ヘッドマウントディスプレイ１４３０内の他のモジュールおよび／または外部モジュールに送信する。

【0049】

いくつかの実施形態では、拡張現実システム１４４０がカメラ入力モジュール１４１６を含み得、カメラ入力モジュール１４１６は、画像送信モジュール１４３２からデータを受信し、そのデータを処理して関連情報（たとえば、ユーザロケーションおよび／またはコントローラ位置）を抽出し、および／または拡張現実モジュール１４２０にデータを送る。一実施形態では、拡張現実システムはコントローラ入力モジュール１４１８をも含み得、コントローラ入力モジュール１４１８は、コントローラ１４２４から入力を受信し、拡張現実モジュール１４２０にデータを送る。いくつかの実施形態では、拡張現実モジュール１４１０は視覚出力モジュール１４２２にデータを送り得、視覚出力モジュール１４２２は、ヘッドマウントディスプレイ１４３０のディスプレイ表面１４１４に視覚データを送る。いくつかの実施形態では、拡張現実システム１４４０の一部または全部は、ヘッドマウントディスプレイ１４３０内に位置するモジュール上にホストされ得る。追加または代替として、拡張現実システム１４４０一部または全部は、ローカルサーバ、ローカルゲーミングシステム、および／またはリモートサーバなど、別個のデバイス上にホストされ得る。

【0050】

いくつかの実施形態では、カメラ入力モジュール１４１６は、様々なやり方で入力データを処理し得る。たとえば、カメラ１４１２は非剛性取付け上に取り付けられ、これは、カメラ１４１２からの視覚データが、ぼやけること、（たとえば、カメラ１４１２のバウンスにより）異なる時間においてわずかに異なる角度から発生すること、および／または他の視覚的外乱を含むことを引き起こし得る。いくつかの例では、カメラ入力モジュール１４１６は、カメラ１４１２からのデータにおける視覚的外乱を補正するために、カメラ１４０４、１４０６、１４０８、および／または１４１０からの視覚データを使用し得る。たとえば、カメラ１４０４は、カメラ１４１２からの視野と重複する視野を有し得、カメラ入力モジュール１４１６は、カメラ１４０４の視野と重複するカメラ１４１２の視野の一部分から発生するカメラ１４１２からのデータにおける問題を補正するために、カメラ１４０４からのデータを使用し得る。

【0051】

図１５は、ウェアラブルヘッドマウントディスプレイについての視覚データを処理するための例示的な方法１５００の流れ図である。ステップ１５１０において、本明細書で説明されるシステムのうちの１つまたは複数は、５つのカメラを含むヘッドマウントディスプレイを識別し得、５つのカメラのうちの１つがヘッドマウントディスプレイの右側にアタッチされ、５つのカメラのうちの１つがヘッドマウントディスプレイの左側にアタッチされ、５つのカメラのうちの１つがヘッドマウントディスプレイの前面上の中央にアタッチされ、５つのカメラのうちの２つがヘッドマウントディスプレイの前面上の側方にアタッチされる。いくつかの実施形態では、５つのカメラは、重複する視野を有し、１つまたは複数のコントローラの動き追跡のために使用され、および／またはヘッドマウントディスプレイの装着者のロケーション追跡のために使用され得る。

【0052】

ステップ１５２０において、本明細書で説明されるシステムのうちの１つまたは複数は、５つのカメラのうちの少なくとも１つのカメラを介して、ヘッドマウントディスプレイの装着者の周囲の物理的環境の視覚データをキャプチャし得る。いくつかの実施形態では、本明細書で説明されるシステムは、物理的環境のビデオデータをキャプチャし得る。

【0053】

ステップ１５３０において、本明細書で説明されるシステムのうちの１つまたは複数は、少なくとも１つのカメラによってキャプチャされた物理的環境の視覚データに基づいて、物理的環境に対するヘッドマウントディスプレイの装着者の位置を決定し得る。追加または代替として、本明細書で説明されるシステムは、ヘッドマウントディスプレイの装着者に対する１つまたは複数のコントローラの位置を決定し得る。

【0054】

ステップ１５４０おいて、本明細書で説明されるシステムのうちの１つまたは複数は、物理的環境に対するヘッドマウントディスプレイの装着者の位置に基づいて、アクションを実施し得る。たとえば、本明細書で説明されるシステムは、１つまたは複数の拡張現実オブジェクト、ランドスケープ、および／またはランドスケープ特徴を表示することを始めるかまたは中止し得る。いくつかの例では、本明細書で説明されるシステムは、拡張現実効果をアクティブおよび／または非アクティブにする（たとえば、ゲーム内のロケーションの近接効果に基づいて、拡張現実ゲームキャラクターのスタッツを変更する）こと、オーディオデータを修正する（たとえば、音効果および／または音楽を再生ならびに／あるいは停止する）こと、ならびに／あるいは拡張現実システムに関係する任意の他の好適なアクションを実施することを行い得る。一例では、本明細書で説明されるシステムは、装着者の位置に基づいて、装着者が壁、階段吹抜け、および／または他の危険なオブジェクトにあまりに近いことを検出すると、警告を表示し得る。

【0055】

図１６は、ビデオカメラから受信されたデータを効率的に送信するための例示的な方法１６００の流れ図である。図１６に示されているように、ステップ１６１０において、本明細書で説明されるシステムのうちの１つまたは複数は、異なるカメラによって各々生成されたビデオデータの少なくとも２つのストリームを識別し得る。いくつかの例では、カメラは、ヘッドマウントディスプレイなどのウェアラブルデバイス上に取り付けられ得る。追加または代替として、カメラは、自動車、ドローン、および／または２つまたはそれ以上のカメラを有する任意の他のタイプのデバイスなど、別のタイプのデバイス上に取り付けられ得る。

【0056】

いくつかの実施形態では、ビデオカメラは、異なる露出長、読出し開始時間、および／または読出し終了時間を有し得る。たとえば、第２のカメラがフレームを記録し終える前に、第１のカメラがフレームを記録し終えるので、第１のカメラは、第２のカメラよりも短い露出長を有し、読出し開始時間および／または読出し終了時間の差をもたらし得る。ある実施形態では、異なるカメラは異なる機能を実施しているので、異なるカメラは異なる露出長を有し得る。たとえば、拡張現実ヘッドセットの装着者のロケーションを三角測量するためにランドマークを追跡しているカメラは、拡張現実システムのためのハンドヘルドコントローラの位置のより速い変化と比較した装着者のロケーションの比較的遅い変化により、コントローラの位置を追跡しているカメラよりも長い露出時間を有し得る。いくつかの例では、カメラは、より短い露出とより長い露出とを交互に行い得る。

【0057】

いくつかの例では、カメラは、時間的に中心を合わせられた露出を有し得る。たとえば、図１７に示されているように、カメラ１７０２が、短い露出と長い露出とを交互に行い得、各読出しが、露出の終了の直後に開始する。この例では、カメラ１７０４は、同様に、短い露出と長い露出とを交互に行い得るが、カメラ１７０２よりも短い長さの露出を有し得る。いくつかの例では、カメラ１７０２およびカメラ１７０４の長い露出は、各カメラがその露出持続時間の中間に同時に達するように、中心を合わせられ得る。複数のカメラの露出時間の中心を合わせることによって、本明細書で説明されるシステムは、単一の画像内に配置するための複数のカメラからのフレームをより効果的に収集し得、および／またはカメラカバレージの時間的ギャップを引き起こすことなしに、様々なカメラが露出を終了するのを待つ際の遅延を最小限に抑え得る。

【0058】

図１６に戻ると、ステップ１６２０において、本明細書で説明されるシステムのうちの１つまたは複数は、ビデオデータの少なくとも２つのストリームの各々からの厳密に１つのフレームを含むビデオデータの少なくとも２つのフレームのセットを受信し得る。いくつかの例では、本明細書で説明されるシステムは、３つ以上のカメラからデータを受信し得、および／または本明細書で説明されるシステムは、各カメラからのデータのフレームを各間隔で受信しないことがある。たとえば、１つのカメラが２つの他のカメラよりも著しく長い露出を有する場合、本明細書で説明されるシステムは、特定のフレーム収集間隔中に、より長い露出のカメラからのフレームを受信しないことがある。

【0059】

ステップ１６３０において、本明細書で説明されるシステムのうちの１つまたは複数は、ビデオデータの少なくとも２つのストリームから受信されたビデオデータの少なくとも２つのフレームのセットを画像内に配置し得る。いくつかの実施形態では、本明細書で説明されるシステムは、フレームの１つまたは複数の特性に基づいて、フレームを構成し得る。たとえば、本明細書で説明されるシステムは、露出持続時間ならびに／あるいはフレームの読出し開始時間および／または読出し終了時間に基づいてフレームを構成し得る。たとえば、図１８に示されているように、画像１８０２は、水平に並んで構成されたフレーム１８１４、１８１６、および／または１８１８を含み得、各フレームの垂直配置が読出し開始時間によって規定され、より早い読出し開始時間をもつフレームが、画像中でより高く配置される。いくつかの例では、本明細書で説明されるシステムはまた、関連するフレームの上に、および／または下に各々配置される画像中のピクセルのブロックとして、メタデータを符号化し得る。一例では、本明細書で説明されるシステムは、ピクセルの８×８ブロックとして、メタデータの各ビットを符号化し得る。たとえば、メタデータ１８０４、１８０６、および／または１８０８は各々、それぞれ、フレーム１８１４、１８１６、および／または１８１８に対応し得る。メタデータの例は、限定はしないが、露出持続時間、利得設定、タイムスタンプ、および／または他の好適なカメラ設定情報を含み得る。いくつかの実施形態では、メタデータは、フレームを記録しながらカメラによって実施されている機能（たとえば、装着者ロケーション追跡および／またはコントローラ追跡器）を示すフラグを含み得る。いくつかの実施形態では、画像は、ＪＰＥＧ、ビットマップ、および／またはＧＩＦなど、標準的なエンコーダを使用して符号化され得る。

【0060】

図１６に戻ると、ステップ１６４０において、本明細書で説明されるシステムのうちの１つまたは複数は、単一の送信チャネルを介して、ビデオデータの少なくとも２つのストリームから受信されたビデオデータの少なくとも２つのフレームのセットを含む画像を送信し得る。いくつかの実施形態では、本明細書で説明されるシステムは、ワイヤレスに画像を送信し得る。追加または代替として、本明細書で説明されるシステムは、ユニバーサルサービスバスケーブルなど、ワイヤード接続を介して、画像を送信し得る。いくつかの実施形態では、本明細書で説明されるシステムは、（ヘッドマウントディスプレイなどの）デバイスのある構成要素から、同じデバイスの別の構成要素に画像を送信し得る。追加または代替として、本明細書で説明されるシステムは、あるデバイスから別のデバイス（たとえば、サーバおよび／またはゲームコンソール）に画像を送信し得る。

【0061】

図１９は、ウェアラブルヘッドマウントディスプレイについての視覚データを処理するための例示的な方法１９００の流れ図である。いくつかの例では、ステップ１９１０において、本明細書で説明されるシステムは、拡張現実ヘッドセット上の異なる位置に取り付けられた５つのカメラから、ストリーミングビデオデータを受信し得る。いくつかの例では、異なるカメラは、異なる露出長を有し得、異なる角度で角度を付けられ得、および／または拡張現実ヘッドセットの異なる部分上に取り付けられ得る。ステップ１９２０において、本明細書で説明されるシステムは、ストリーミングビデオデータからのフレームを、５つのカメラの各々からのビデオデータの多くとも１つのフレームを各画像が含むように、画像中に配置し得る。いくつかの例では、本明細書で説明されるシステムは、露出長に基づいてフレームを構成し、および／または画像中にメタデータを含み得る。ステップ１９３０において、本明細書で説明されるシステムは、拡張現実ヘッドセットの装着者のロケーション、および／またはコントローラのロケーションを決定するために、画像を処理し得る。いくつかの例では、本明細書で説明されるシステムは、ビデオフレームを各々含む一連の画像からの１つまたは複数のビデオストリームを再アセンブルし得る。追加または代替として、本明細書で説明されるシステムは、画像内のフレームを分析し得る。ステップ１９４０において、本明細書で説明されるシステムは、拡張現実ヘッドセットの装着者またはコントローラのロケーションに基づいて、拡張現実アクションを実施し得る。たとえば、本明細書で説明されるシステムは、拡張現実オブジェクトを、見えるように、消えるように、移動するように、および／または変化するようにトリガし得る。

【0062】

上記で詳述されたように、本明細書で説明および／または示されるコンピューティングデバイスおよびシステムは、本明細書で説明されるモジュール内に含まれているものなど、コンピュータ可読命令を実行することが可能な任意のタイプまたは形態のコンピューティングデバイスまたはシステムを広く表す。それらの最も基本的な構成では、（１つまたは複数の）これらのコンピューティングデバイスは、各々、少なくとも１つのメモリデバイスと少なくとも１つの物理プロセッサとを含み得る。

【0063】

いくつかの例では、「メモリデバイス」という用語は、概して、データおよび／またはコンピュータ可読命令を記憶することが可能な、任意のタイプまたは形態の揮発性または不揮発性記憶デバイスまたは媒体を指す。一例では、メモリデバイスは、本明細書で説明されるモジュールのうちの１つまたは複数を記憶、ロード、および／または維持し得る。メモリデバイスの例は、限定はしないが、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、光ディスクドライブ、キャッシュ、上記のうちの１つまたは複数の変形形態または組合せ、あるいは任意の他の好適な記憶メモリを含む。

【0064】

いくつかの例では、「物理プロセッサ」という用語は、概して、コンピュータ可読命令を解釈および／または実行することが可能な任意のタイプまたは形態のハードウェア実装処理ユニットを指す。一例では、物理プロセッサは、上記で説明されたメモリデバイスに記憶された１つまたは複数のモジュールにアクセスし、および／またはそれらのモジュールを修正し得る。物理プロセッサの例は、限定はしないが、マイクロプロセッサ、マイクロコントローラ、中央処理ユニット（ＣＰＵ）、ソフトコアプロセッサを実装するフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、上記のうちの１つまたは複数の部分、上記のうちの１つまたは複数の変形形態または組合せ、あるいは任意の他の好適な物理プロセッサを含む。

【0065】

別個の要素として示されているが、本明細書で説明および／または示されるモジュールは、単一のモジュールまたはアプリケーションの部分を表し得る。さらに、いくつかの実施形態では、これらのモジュールのうちの１つまたは複数は、コンピューティングデバイスによって実行されたとき、コンピューティングデバイスに１つまたは複数のタスクを実行させ得る、１つまたは複数のソフトウェアアプリケーションまたはプログラムを表し得る。たとえば、本明細書で説明および／または示されるモジュールのうちの１つまたは複数は、本明細書で説明および／または示されるコンピューティングデバイスまたはシステムのうちの１つまたは複数上で稼働するように記憶および構成されたモジュールを表し得る。これらのモジュールのうちの１つまたは複数は、１つまたは複数のタスクを実施するように構成された１つまたは複数の専用コンピュータのすべてまたは部分をも表し得る。

【0066】

さらに、本明細書で説明されるモジュールのうちの１つまたは複数は、データ、物理デバイス、および／または物理デバイスの表現をある形態から別の形態に変換し得る。たとえば、本明細書で具陳されるモジュールのうちの１つまたは複数は、変換されるべき画像データを受信し、画像データをピクセルのアレイへの命令に変換し、ピクセルのアレイ上に画像を表示するために変換の結果を出力し、画像および／またはビデオを表示するために変換の結果を使用し、表示された画像および／またはビデオの記録を作成するために変換の結果を記憶し得る。追加または代替として、本明細書で具陳されるモジュールのうちの１つまたは複数は、コンピューティングデバイス上で実行すること、コンピューティングデバイスにデータを記憶すること、および／または場合によっては、コンピューティングデバイスと対話することによって、物理コンピューティングデバイスのプロセッサ、揮発性メモリ、不揮発性メモリ、および／または任意の他の部分をある形態から別の形態に変換し得る。

【0067】

いくつかの実施形態では、「コンピュータ可読媒体」という用語は、概して、コンピュータ可読命令を記憶または搬送することが可能な任意の形態のデバイス、キャリア、または媒体を指す。コンピュータ可読媒体の例は、限定はしないが、搬送波など、送信タイプ媒体、磁気記憶媒体など、非一時的タイプの媒体（たとえば、ハードディスクドライブ、テープドライブ、およびフロッピーディスク）、光記憶媒体（たとえば、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、およびＢＬＵ－ＲＡＹディスク）、電子記憶媒体（たとえば、ソリッドステートドライブおよびフラッシュメディア）、および他の配信システムを含む。

【0068】

本開示の実施形態は、人工現実システムを含むか、または人工現実システムとともに実装され得る。人工現実は、ユーザへの提示の前に何らかの様式で調整された形式の現実であり、これは、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいはそれらの何らかの組合せおよび／または派生物を含み得る。人工現実コンテンツは、完全に作り出されたコンテンツ、またはキャプチャされた（たとえば、現実世界の）コンテンツと組み合わせられた作り出されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る（観察者に３次元効果をもたらすステレオビデオなど）。加えて、いくつかの実施形態では、人工現実は、たとえば、人工現実におけるコンテンツを作成するために使用される、および／または人工現実において別様に使用される（たとえば、人工現実におけるアクティビティを実施する）アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せにも関連付けられ得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンＨＭＤ、モバイルデバイスまたはコンピューティングシステム、あるいは、１人または複数の観察者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。

【0069】

本明細書で説明および／または示されるステップのプロセスパラメータおよびシーケンスは、単に例として与えられ、必要に応じて変動させられ得る。たとえば、本明細書で示されるおよび／または説明されるステップは特定の順序で示されるかまたは説明され得るが、これらのステップは、必ずしも、示されるかまたは説明される順序で実施される必要がない。本明細書で説明および／または示される様々な例示的な方法はまた、本明細書で説明されるかまたは示されるステップのうちの１つまたは複数を省略するか、あるいは、開示されるものに加えて追加のステップを含み得る。

【0070】

先行する説明は、他の当業者が、本明細書で開示される例示的な実施形態の様々な態様を最も良く利用することを可能にするために提供された。この例示的な説明は、網羅的であること、または開示される正確な形態に限定することは意図されない。多くの修正および変形が、本開示の趣旨および範囲から逸脱することなく可能である。本明細書で開示される実施形態は、あらゆる点で、限定的ではなく例示的であると見なされるものとする。本開示の範囲を決定する際に、添付の特許請求の範囲およびそれらの均等物の参照が行われるべきである。

【0071】

別段に記載されていない限り、本明細書および特許請求の範囲において使用される「に接続された（ｃｏｎｎｅｃｔｅｄ ｔｏ）」および「に結合された（ｃｏｕｐｌｅｄ ｔｏ）」という用語（およびそれらの派生語）は、直接接続と間接接続（すなわち、他の要素または構成要素を介したもの）の両方を許容するものとして解釈されるべきである。さらに、本明細書および特許請求の範囲において使用される「１つの（ａ）」または「１つの（ａｎ）」という用語は、「少なくとも１つの」を意味するものとして解釈されるべきである。最後に、使いやすさのために、本明細書および特許請求の範囲において使用される「含む（ｉｎｃｌｕｄｉｎｇ）」および「有する（ｈａｖｉｎｇ）」という用語（およびそれらの派生語）は、「備える、含む（ｃｏｍｐｒｉｓｉｎｇ）」という単語と交換可能であり、その単語と同じ意味を有する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【国際調査報告】