(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024069276
(43)【公開日】2024-05-21
(54)【発明の名称】仮想および拡張現実のためのシステムおよび方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20240514BHJP
G06T 19/00 20110101ALI20240514BHJP
G02B 27/02 20060101ALN20240514BHJP
【ＦＩ】
G06F3/01 510
G06T19/00 A
G02B27/02 Z
【審査請求】有
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2024030016
(22)【出願日】2024-02-29
(62)【分割の表示】P 2021519567の分割
【原出願日】2019-10-08
(31)【優先権主張番号】62/743,492
(32)【優先日】2018-10-09
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】514108838
【氏名又は名称】マジック リープ， インコーポレイテッド
【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．
【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】アンドリュー ラビノビッチ
(72)【発明者】
【氏名】ジョン モノス
(57)【要約】
【課題】仮想コンパニオンを発生および表示するためのシステムおよび方法を提供すること
【解決手段】例示的方法では、ユーザの環境からの第１の入力が、頭部ウェアラブルデバイス上の第１のセンサを介して第１の時間に受信される。環境内のイベントの発生が、第１の入力に基づいて決定される。ユーザからの第２の入力が、頭部ウェアラブルデバイス上の第２のセンサを介して受信され、ユーザの情動反応が、第２の入力に基づいて識別される。関連付けが、情動反応とイベントとの間で決定される。環境のビューが、頭部ウェアラブルデバイスのシースルーディスプレイを介して第１の時間よりも後の第２の時間に提示される。刺激が、シースルーディスプレイを介して表示される仮想コンパニオンを介して第２の時間に提示され、刺激は、情動反応とイベントとの間の決定された関連付けに基づいて決定される。
【選択図】なし
【解決手段】例示的方法では、ユーザの環境からの第１の入力が、頭部ウェアラブルデバイス上の第１のセンサを介して第１の時間に受信される。環境内のイベントの発生が、第１の入力に基づいて決定される。ユーザからの第２の入力が、頭部ウェアラブルデバイス上の第２のセンサを介して受信され、ユーザの情動反応が、第２の入力に基づいて識別される。関連付けが、情動反応とイベントとの間で決定される。環境のビューが、頭部ウェアラブルデバイスのシースルーディスプレイを介して第１の時間よりも後の第２の時間に提示される。刺激が、シースルーディスプレイを介して表示される仮想コンパニオンを介して第２の時間に提示され、刺激は、情動反応とイベントとの間の決定された関連付けに基づいて決定される。
【選択図】なし
【特許請求の範囲】
【請求項1】
頭部ウェアラブルデバイスの１つ以上のプロセッサによって実行される方法であって、前記方法は、
前記１つ以上のプロセッサが、第１の時間に、前記頭部ウェアラブルデバイス上の第１のセンサを介して、ユーザの環境から第１の入力を受信することと、
前記１つ以上のプロセッサが、ネットワークを介して前記頭部ウェアラブルデバイスと通信するリモートリソースを介して、ユーザデータを受信することと、
前記１つ以上のプロセッサが、前記第１の入力および前記ユーザデータに基づいて、前記環境内のイベントの発生を決定することと、
前記１つ以上のプロセッサが、前記頭部ウェアラブルデバイス上の第２のセンサを介して、前記ユーザから第２の入力を受信することと、
前記１つ以上のプロセッサが、前記第２の入力に基づいて、前記ユーザの反応を識別することと、
前記１つ以上のプロセッサが、前記反応と前記イベントとの間の関連付けを決定することと、
前記１つ以上のプロセッサが、前記第１の時間の後の第２の時間に、前記第２のセンサを介して、前記ユーザから第３の入力を受信することと、
前記１つ以上のプロセッサが、前記第３の入力に基づいてクエリを構築することであって、前記クエリは、前記イベントと関連付けられている、ことと、
前記１つ以上のプロセッサが、前記第２の時間に、前記頭部ウェアラブルデバイスのシースルーディスプレイを介して、前記クエリに対する応答を提示することであって、前記応答は、前記反応と前記イベントとの間の前記決定された関連付けに基づいて決定される、ことと
を含む、方法。
前記１つ以上のプロセッサが、第１の時間に、前記頭部ウェアラブルデバイス上の第１のセンサを介して、ユーザの環境から第１の入力を受信することと、
前記１つ以上のプロセッサが、ネットワークを介して前記頭部ウェアラブルデバイスと通信するリモートリソースを介して、ユーザデータを受信することと、
前記１つ以上のプロセッサが、前記第１の入力および前記ユーザデータに基づいて、前記環境内のイベントの発生を決定することと、
前記１つ以上のプロセッサが、前記頭部ウェアラブルデバイス上の第２のセンサを介して、前記ユーザから第２の入力を受信することと、
前記１つ以上のプロセッサが、前記第２の入力に基づいて、前記ユーザの反応を識別することと、
前記１つ以上のプロセッサが、前記反応と前記イベントとの間の関連付けを決定することと、
前記１つ以上のプロセッサが、前記第１の時間の後の第２の時間に、前記第２のセンサを介して、前記ユーザから第３の入力を受信することと、
前記１つ以上のプロセッサが、前記第３の入力に基づいてクエリを構築することであって、前記クエリは、前記イベントと関連付けられている、ことと、
前記１つ以上のプロセッサが、前記第２の時間に、前記頭部ウェアラブルデバイスのシースルーディスプレイを介して、前記クエリに対する応答を提示することであって、前記応答は、前記反応と前記イベントとの間の前記決定された関連付けに基づいて決定される、ことと
を含む、方法。
【請求項2】
前記第１の入力は、物理的オブジェクトの画像およびオーディオ信号のうちの少なくとも一方を備える、請求項１に記載の方法。
【請求項3】
前記第２の入力は、前記ユーザからの発話を備え、前記反応を識別することは、前記発話の少なくとも一部に関する内容を決定することを含む、請求項１に記載の方法。
【請求項4】
前記第２の入力は、前記ユーザの眼移動を備え、前記反応を識別することは、前記眼移動に基づいて、前記ユーザに関する注視方向を決定することを含む、請求項１に記載の方法。
【請求項5】
前記第２の入力は、前記ユーザの視野を備え、前記反応を識別することは、前記視野内の少なくとも１つのオブジェクトを識別することを含む、請求項１に記載の方法。
【請求項6】
前記方法はさらに、前記１つ以上のプロセッサが、前記反応の強度を決定することを含み、前記クエリに対する前記応答は、前記強度にさらに基づいて決定される、請求項１に記載の方法。
【請求項7】
前記反応と前記イベントとの間の前記関連付けは、時間的関連付けおよび空間的関連付けのうちの少なくとも一方である、請求項１に記載の方法。
【請求項8】
前記イベントは、第１のイベントを備え、前記方法はさらに、前記１つ以上のプロセッサが、メモリグラフ内に前記反応と前記第１のイベントとの間の前記関連付けを記憶することを含み、前記メモリグラフは、前記第１のイベントと第２のイベントとの間の関連付けを備える、請求項１に記載の方法。
【請求項9】
システムであって、
頭部ウェアラブルデバイス上の第１のセンサと、
前記頭部ウェアラブルデバイス上の第２のセンサと、
前記頭部ウェアラブルデバイスのシースルーディスプレイと、
１つ以上のプロセッサであって、前記１つ以上のプロセッサは、
第１の時間に、頭部ウェアラブルデバイス上の第１のセンサを介して、ユーザの環境から第１の入力を受信することと、
ネットワークを介して前記頭部ウェアラブルデバイスと通信するリモートリソースを介して、ユーザデータを受信することと、
前記第１の入力および前記ユーザデータに基づいて、前記環境内のイベントの発生を決定することと、
前記頭部ウェアラブルデバイス上の第２のセンサを介して、前記ユーザから第２の入力を受信することと、
前記第２の入力に基づいて、前記ユーザの反応を識別することと、
前記反応と前記イベントとの間の関連付けを決定することと、
前記第１の時間の後の第２の時間に、前記第２のセンサを介して、前記ユーザから第３の入力を受信することと、
前記第３の入力に基づいてクエリを構築することであって、前記クエリは、前記イベントと関連付けられている、ことと、
前記第２の時間に、前記シースルーディスプレイを介して、前記クエリに対する応答を提示することであって、前記応答は、前記反応と前記イベントとの間の前記決定された関連付けに基づいて決定される、ことと
を含む方法を実行するように構成される、１つ以上のプロセッサと
を備える、システム。
頭部ウェアラブルデバイス上の第１のセンサと、
前記頭部ウェアラブルデバイス上の第２のセンサと、
前記頭部ウェアラブルデバイスのシースルーディスプレイと、
１つ以上のプロセッサであって、前記１つ以上のプロセッサは、
第１の時間に、頭部ウェアラブルデバイス上の第１のセンサを介して、ユーザの環境から第１の入力を受信することと、
ネットワークを介して前記頭部ウェアラブルデバイスと通信するリモートリソースを介して、ユーザデータを受信することと、
前記第１の入力および前記ユーザデータに基づいて、前記環境内のイベントの発生を決定することと、
前記頭部ウェアラブルデバイス上の第２のセンサを介して、前記ユーザから第２の入力を受信することと、
前記第２の入力に基づいて、前記ユーザの反応を識別することと、
前記反応と前記イベントとの間の関連付けを決定することと、
前記第１の時間の後の第２の時間に、前記第２のセンサを介して、前記ユーザから第３の入力を受信することと、
前記第３の入力に基づいてクエリを構築することであって、前記クエリは、前記イベントと関連付けられている、ことと、
前記第２の時間に、前記シースルーディスプレイを介して、前記クエリに対する応答を提示することであって、前記応答は、前記反応と前記イベントとの間の前記決定された関連付けに基づいて決定される、ことと
を含む方法を実行するように構成される、１つ以上のプロセッサと
を備える、システム。
【請求項10】
前記第１の入力は、物理的オブジェクトの画像およびオーディオ信号のうちの少なくとも一方を備える、請求項９に記載のシステム。
【請求項11】
前記第２の入力は、前記ユーザの発話を備え、前記反応を識別することは、前記発話の少なくとも一部に関する内容を決定することを含む、請求項９に記載のシステム。
【請求項12】
前記第２の入力は、前記ユーザの眼移動を備え、前記反応を識別することは、前記眼移動に基づいて、前記ユーザに関する注視方向を決定することを含む、請求項９に記載のシステム。
【請求項13】
前記第２の入力は、前記ユーザの視野を備え、前記反応を識別することは、前記視野内の少なくとも１つのオブジェクトを識別することを含む、請求項９に記載のシステム。
【請求項14】
前記方法はさらに、前記反応の強度を決定することを含み、前記クエリに対する前記応答は、前記強度にさらに基づいて決定される、請求項９に記載のシステム。
【請求項15】
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を記憶しており、前記命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
第１の時間に、頭部ウェアラブルデバイス上の第１のセンサを介して、ユーザの環境から第１の入力を受信することと、
ネットワークを介して前記頭部ウェアラブルデバイスと通信するリモートリソースを介して、ユーザデータを受信することと、
前記第１の入力および前記ユーザデータに基づいて、前記環境内のイベントの発生を決定することと、
前記頭部ウェアラブルデバイス上の第２のセンサを介して、前記ユーザから第２の入力を受信することと、
前記第２の入力に基づいて、前記ユーザの反応を識別することと、
前記反応と前記イベントとの間の関連付けを決定することと、
前記第１の時間の後の第２の時間に、前記第２のセンサを介して、前記ユーザから第３の入力を受信することと、
前記第３の入力に基づいてクエリを構築することであって、前記クエリは、前記イベントと関連付けられている、ことと、
前記第２の時間に、シースルーディスプレイを介して、前記クエリに対する応答を提示することあって、前記応答は、前記反応と前記イベントとの間の前記決定された関連付けに基づいて決定される、ことと
を含む方法を実行させる、非一過性コンピュータ可読媒体。
第１の時間に、頭部ウェアラブルデバイス上の第１のセンサを介して、ユーザの環境から第１の入力を受信することと、
ネットワークを介して前記頭部ウェアラブルデバイスと通信するリモートリソースを介して、ユーザデータを受信することと、
前記第１の入力および前記ユーザデータに基づいて、前記環境内のイベントの発生を決定することと、
前記頭部ウェアラブルデバイス上の第２のセンサを介して、前記ユーザから第２の入力を受信することと、
前記第２の入力に基づいて、前記ユーザの反応を識別することと、
前記反応と前記イベントとの間の関連付けを決定することと、
前記第１の時間の後の第２の時間に、前記第２のセンサを介して、前記ユーザから第３の入力を受信することと、
前記第３の入力に基づいてクエリを構築することであって、前記クエリは、前記イベントと関連付けられている、ことと、
前記第２の時間に、シースルーディスプレイを介して、前記クエリに対する応答を提示することあって、前記応答は、前記反応と前記イベントとの間の前記決定された関連付けに基づいて決定される、ことと
を含む方法を実行させる、非一過性コンピュータ可読媒体。
【請求項16】
前記第１の入力は、物理的オブジェクトの画像およびオーディオ信号のうちの少なくとも一方を備える、請求項１５に記載の非一過性コンピュータ可読媒体。
【請求項17】
前記第２の入力は、前記ユーザの発話を備え、前記反応を識別することは、前記発話の少なくとも一部に関する内容を決定することを含む、請求項１５に記載の非一過性コンピュータ可読媒体。
【請求項18】
前記第２の入力は、前記ユーザの眼移動を備え、前記反応を識別することは、前記眼移動に基づいて、前記ユーザに関する注視方向を決定することを含む、請求項１５に記載の非一過性コンピュータ可読媒体。
【請求項19】
前記第２の入力は、前記ユーザの視野を備え、前記反応を識別することは、前記視野内の少なくとも１つのオブジェクトを識別することを含む、請求項１５に記載の非一過性コンピュータ可読媒体。
【請求項20】
前記方法はさらに、前記反応の強度を決定することを含み、前記クエリに対する前記応答は、前記強度にさらに基づいて決定される、請求項１５に記載の非一過性コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、その内容が、参照することによってその全体として本明細書に組み込まれる、２０１８年１０月９日に出願された米国仮出願第６２／７４３，４９２号の優先権を主張する。
本願は、その内容が、参照することによってその全体として本明細書に組み込まれる、２０１８年１０月９日に出願された米国仮出願第６２／７４３，４９２号の優先権を主張する。
【0002】
本発明は、モバイルコンピューティングシステム、方法、および構成に関し、より具体的には、仮想および／または拡張現実動作のために利用され得る少なくとも１つのウェアラブルコンポーネントを特徴とするモバイルコンピューティングシステム、方法、および構成に関する。
【背景技術】
【0003】
人工知能、すなわち、「ＡＩ」の１つの目標は、これを実施する人間の能力を満たす、または超える方法においてであるが、人間によって定義されるタスクを実施することである。自動運転車、音楽推奨システム、および他の洗練されたコンピューティングシステムは、多くの人間が好み、享受する成功例にＡＩが大いに寄与する実施例であり得る。そのような人工知能システムは、人間の脳の機能を模倣し、多くの場合、いくつか例を挙げると、顔認識または情報読出のある側面等のあるタスクに対するその性能を上回るように構成され得る。人工知能は、人間が報酬として定義し得る結果を達成することを目標とする算出モデルであり得る（他の実施例は、ＪｅｏｐａｒｄｙゲームまたはＡｌｐｈａ Ｇｏゲームで勝つことを含む）。そのようなシステムは、「意識的」または「認識的」であり得ず、それらは、パターン合致機械として説明されることができる。
【0004】
人間中心人工知能システムまたは構成は、脳および心の両方を備えることができ、両方を捕捉する算出モデルを備えることができる。心は、脳および関与する自己認識の二重性であり得る。心は、人間の思考、感情、記憶、および／または経験と同義であり、人間の挙動の源であり得る。本二重性を捕捉することによって、本明細書に説明される実施形態は、主題のシステムおよびその構成を用いてＡＩを人間化し得る。有名なシェフであるＡｎｔｈｏｎｙ Ｂｏｕｒｄａｉｎの言葉を借りると、完璧な食事は、文脈の中で生じ、思い出を残し、これは、多くの場合、食べ物自体と殆ど関係がない。脳は、食べ物を処理し、心は、残りに関与する。心に留まる体験は、ユーザにとってより望ましく、記憶に残るものであり得る。
【発明の概要】
【課題を解決するための手段】
【0005】
本開示の実施例は、仮想コンパニオンを発生および表示するためのシステムおよび方法を説明する。例示的方法では、ユーザの環境からの第１の入力が、頭部ウェアラブルデバイス上の第１のセンサを介して第１の時間に受信される。環境内のイベントの発生が、第１の入力に基づいて決定される。ユーザからの第２の入力が、頭部ウェアラブルデバイス上の第２のセンサを介して受信され、ユーザの情動反応が、第２の入力に基づいて識別される。関連付けが、情動反応とイベントとの間で決定される。環境のビューが、頭部ウェアラブルデバイスのシースルーディスプレイを介して第１の時間よりも後の第２の時間に提示される。刺激が、シースルーディスプレイを介して表示される仮想コンパニオンを介して第２の時間に提示され、刺激は、情動反応とイベントとの間の決定された関連付けに
基づいて決定される。
本発明は、例えば、以下の項目を提供する。
（項目１）
方法であって、
第１の時間に、頭部ウェアラブルデバイス上の第１のセンサを介して、ユーザの環境から第１の入力を受信することと、
前記第１の入力に基づいて、前記環境内のイベントの発生を決定することと、
前記頭部ウェアラブルデバイス上の第２のセンサを介して、前記ユーザから第２の入力を受信することと、
前記第２の入力に基づいて、前記ユーザの情動反応を識別することと、
前記情動反応と前記イベントとの間の関連付けを決定することと、
前記第１の時間よりも後の第２の時間に、前記頭部ウェアラブルデバイスのシースルーディスプレイを介して、前記環境のビューを提示することと、
前記第２の時間に、前記シースルーディスプレイを介して表示される仮想コンパニオンを介して、刺激を提示することであって、前記刺激は、前記情動反応と前記イベントとの間の前記決定された関連付けに基づいて決定される、ことと
を含む、方法。
（項目２）
前記第１の入力は、物理的オブジェクトの画像を備える、項目１に記載の方法。
（項目３）
前記第１の入力は、オーディオ信号を備える、項目１に記載の方法。
（項目４）
前記第２の入力は、前記ユーザからの発話を備え、前記情動反応を識別することは、前記発話の少なくとも一部に関する内容を決定することを含む、項目１に記載の方法。
（項目５）
前記第２の入力は、前記ユーザの眼移動を備え、前記情動反応を識別することは、前記ユーザに関する注視方向を決定することを含む、項目１に記載の方法。
（項目６）
前記第２の入力は、前記ユーザの視野を備え、前記情動反応を識別することは、前記視野内の少なくとも１つのオブジェクトを識別することを含む、項目１に記載の方法。
（項目７）
前記方法はさらに、前記情動反応の強度を決定することを含み、前記刺激は、前記強度に基づいてさらに決定される、項目１に記載の方法。
（項目８）
前記情動反応と前記イベントとの間の前記関連付けは、時間的関連付けである、項目１に記載の方法。
（項目９）
前記情動反応と前記イベントとの間の前記関連付けは、空間的関連付けである、項目１に記載の方法。
（項目１０）
前記イベントは、第１のイベントであり、前記方法はさらに、メモリグラフ内に前記情動反応と前記第１のイベントとの間の前記関連付けを記憶することを含み、前記メモリグラフは、前記第１のイベントと第２のイベントとの間の関連付けを備える、項目１に記載の方法。
（項目１１）
システムであって、
頭部ウェアラブルデバイス上の第１のセンサと、
前記頭部ウェアラブルデバイス上の第２のセンサと、
前記頭部ウェアラブルデバイスのシースルーディスプレイと、
１つ以上のプロセッサであって、前記１つ以上のプロセッサは、
第１の時間に、頭部ウェアラブルデバイス上の前記第１のセンサを介して、ユーザの環境から第１の入力を受信することと、
前記第１の入力に基づいて、前記環境内のイベントの発生を決定することと、
前記頭部ウェアラブルデバイス上の前記第２のセンサを介して、前記ユーザから第２の入力を受信することと、
前記第２の入力に基づいて、前記ユーザの情動反応を識別することと、
前記情動反応と前記イベントとの間の関連付けを決定することと、
前記第１の時間よりも後の第２の時間に、前記頭部ウェアラブルデバイスのシースルーディスプレイを介して、前記環境のビューを提示することと、
前記第２の時間に、前記シースルーディスプレイを介して表示される仮想コンパニオンを介して、刺激を提示することであって、前記刺激は、前記情動反応と前記イベントとの間の前記決定された関連付けに基づいて決定される、ことと
を含む方法を実行するように構成される、１つ以上のプロセッサと
を備える、システム。
（項目１２）
前記第１の入力は、物理的オブジェクトの画像を備える、項目１１に記載のシステム。
（項目１３）
前記第１の入力は、オーディオ信号を備える、項目１１に記載のシステム。
（項目１４）
前記第２の入力は、前記ユーザからの発話を備え、前記情動反応を識別することは、前記発話の少なくとも一部に関する内容を決定することを含む、項目１１に記載のシステム。
（項目１５）
前記第２の入力は、前記ユーザの眼移動を備え、前記情動反応を識別することは、前記ユーザに関する注視方向を決定することを含む、項目１１に記載のシステム。
（項目１６）
前記第２の入力は、前記ユーザの視野を備え、前記情動反応を識別することは、前記視野内の少なくとも１つのオブジェクトを識別することを含む、項目１１に記載のシステム。
（項目１７）
前記方法はさらに、前記情動反応の強度を決定することを含み、前記刺激は、前記強度に基づいてさらに決定される、項目１１に記載のシステム。
（項目１８）
前記情動反応と前記イベントとの間の前記関連付けは、時間的関連付けである、項目１１に記載のシステム。
（項目１９）
前記情動反応と前記イベントとの間の前記関連付けは、空間的関連付けである、項目１１に記載のシステム。
（項目２０）
前記イベントは、第１のイベントであり、前記方法はさらに、メモリグラフ内に前記情動反応と前記第１のイベントとの間の前記関連付けを記憶することを含み、前記メモリグラフは、前記第１のイベントと第２のイベントとの間の関連付けを備える、項目１１に記載のシステム。
（項目２１）
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を記憶しており、前記命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
第１の時間に、頭部ウェアラブルデバイス上の第１のセンサを介して、ユーザの環境から第１の入力を受信することと、
前記第１の入力に基づいて、前記環境内のイベントの発生を決定することと、
前記頭部ウェアラブルデバイス上の第２のセンサを介して、前記ユーザから第２の入力を受信することと、
前記第２の入力に基づいて、前記ユーザの情動反応を識別することと、
前記情動反応と前記イベントとの間の関連付けを決定することと、
前記第１の時間よりも後の第２の時間に、前記頭部ウェアラブルデバイスのシースルーディスプレイを介して、前記環境のビューを提示することと、
前記第２の時間に、前記シースルーディスプレイを介して表示される仮想コンパニオンを介して、刺激を提示することあって、前記刺激は、前記情動反応と前記イベントとの間の前記決定された関連付けに基づいて決定される、ことと
を含む方法を実行させる、非一過性コンピュータ可読媒体。
（項目２２）
前記第１の入力は、物理的オブジェクトの画像を備える、項目２１に記載の非一過性コンピュータ可読媒体。
（項目２３）
前記第１の入力は、オーディオ信号を備える、項目２１に記載の非一過性コンピュータ可読媒体。
（項目２４）
前記第２の入力は、前記ユーザからの発話を備え、前記情動反応を識別することは、前記発話の少なくとも一部に関する内容を決定することを含む、項目２１に記載の非一過性コンピュータ可読媒体。
（項目２５）
前記第２の入力は、前記ユーザの眼移動を備え、前記情動反応を識別することは、前記ユーザに関する注視方向を決定することを含む、項目２１に記載の非一過性コンピュータ可読媒体。
（項目２６）
前記第２の入力は、前記ユーザの視野を備え、前記情動反応を識別することは、前記視野内の少なくとも１つのオブジェクトを識別することを含む、項目２１に記載の非一過性コンピュータ可読媒体。
（項目２７）
前記方法はさらに、前記情動反応の強度を決定することを含み、前記刺激は、前記強度に基づいてさらに決定される、項目２１に記載の非一過性コンピュータ可読媒体。
（項目２８）
前記情動反応と前記イベントとの間の前記関連付けは、時間的関連付けである、項目２１に記載の非一過性コンピュータ可読媒体。
（項目２９）
前記情動反応と前記イベントとの間の前記関連付けは、空間的関連付けである、項目２１に記載の非一過性コンピュータ可読媒体。
（項目３０）
前記イベントは、第１のイベントであり、前記方法はさらに、メモリグラフ内に前記情動反応と前記第１のイベントとの間の前記関連付けを記憶することを含み、前記メモリグラフは、前記第１のイベントと第２のイベントとの間の関連付けを備える、項目２１に記載の非一過性コンピュータ可読媒体。
基づいて決定される。
本発明は、例えば、以下の項目を提供する。
（項目１）
方法であって、
第１の時間に、頭部ウェアラブルデバイス上の第１のセンサを介して、ユーザの環境から第１の入力を受信することと、
前記第１の入力に基づいて、前記環境内のイベントの発生を決定することと、
前記頭部ウェアラブルデバイス上の第２のセンサを介して、前記ユーザから第２の入力を受信することと、
前記第２の入力に基づいて、前記ユーザの情動反応を識別することと、
前記情動反応と前記イベントとの間の関連付けを決定することと、
前記第１の時間よりも後の第２の時間に、前記頭部ウェアラブルデバイスのシースルーディスプレイを介して、前記環境のビューを提示することと、
前記第２の時間に、前記シースルーディスプレイを介して表示される仮想コンパニオンを介して、刺激を提示することであって、前記刺激は、前記情動反応と前記イベントとの間の前記決定された関連付けに基づいて決定される、ことと
を含む、方法。
（項目２）
前記第１の入力は、物理的オブジェクトの画像を備える、項目１に記載の方法。
（項目３）
前記第１の入力は、オーディオ信号を備える、項目１に記載の方法。
（項目４）
前記第２の入力は、前記ユーザからの発話を備え、前記情動反応を識別することは、前記発話の少なくとも一部に関する内容を決定することを含む、項目１に記載の方法。
（項目５）
前記第２の入力は、前記ユーザの眼移動を備え、前記情動反応を識別することは、前記ユーザに関する注視方向を決定することを含む、項目１に記載の方法。
（項目６）
前記第２の入力は、前記ユーザの視野を備え、前記情動反応を識別することは、前記視野内の少なくとも１つのオブジェクトを識別することを含む、項目１に記載の方法。
（項目７）
前記方法はさらに、前記情動反応の強度を決定することを含み、前記刺激は、前記強度に基づいてさらに決定される、項目１に記載の方法。
（項目８）
前記情動反応と前記イベントとの間の前記関連付けは、時間的関連付けである、項目１に記載の方法。
（項目９）
前記情動反応と前記イベントとの間の前記関連付けは、空間的関連付けである、項目１に記載の方法。
（項目１０）
前記イベントは、第１のイベントであり、前記方法はさらに、メモリグラフ内に前記情動反応と前記第１のイベントとの間の前記関連付けを記憶することを含み、前記メモリグラフは、前記第１のイベントと第２のイベントとの間の関連付けを備える、項目１に記載の方法。
（項目１１）
システムであって、
頭部ウェアラブルデバイス上の第１のセンサと、
前記頭部ウェアラブルデバイス上の第２のセンサと、
前記頭部ウェアラブルデバイスのシースルーディスプレイと、
１つ以上のプロセッサであって、前記１つ以上のプロセッサは、
第１の時間に、頭部ウェアラブルデバイス上の前記第１のセンサを介して、ユーザの環境から第１の入力を受信することと、
前記第１の入力に基づいて、前記環境内のイベントの発生を決定することと、
前記頭部ウェアラブルデバイス上の前記第２のセンサを介して、前記ユーザから第２の入力を受信することと、
前記第２の入力に基づいて、前記ユーザの情動反応を識別することと、
前記情動反応と前記イベントとの間の関連付けを決定することと、
前記第１の時間よりも後の第２の時間に、前記頭部ウェアラブルデバイスのシースルーディスプレイを介して、前記環境のビューを提示することと、
前記第２の時間に、前記シースルーディスプレイを介して表示される仮想コンパニオンを介して、刺激を提示することであって、前記刺激は、前記情動反応と前記イベントとの間の前記決定された関連付けに基づいて決定される、ことと
を含む方法を実行するように構成される、１つ以上のプロセッサと
を備える、システム。
（項目１２）
前記第１の入力は、物理的オブジェクトの画像を備える、項目１１に記載のシステム。
（項目１３）
前記第１の入力は、オーディオ信号を備える、項目１１に記載のシステム。
（項目１４）
前記第２の入力は、前記ユーザからの発話を備え、前記情動反応を識別することは、前記発話の少なくとも一部に関する内容を決定することを含む、項目１１に記載のシステム。
（項目１５）
前記第２の入力は、前記ユーザの眼移動を備え、前記情動反応を識別することは、前記ユーザに関する注視方向を決定することを含む、項目１１に記載のシステム。
（項目１６）
前記第２の入力は、前記ユーザの視野を備え、前記情動反応を識別することは、前記視野内の少なくとも１つのオブジェクトを識別することを含む、項目１１に記載のシステム。
（項目１７）
前記方法はさらに、前記情動反応の強度を決定することを含み、前記刺激は、前記強度に基づいてさらに決定される、項目１１に記載のシステム。
（項目１８）
前記情動反応と前記イベントとの間の前記関連付けは、時間的関連付けである、項目１１に記載のシステム。
（項目１９）
前記情動反応と前記イベントとの間の前記関連付けは、空間的関連付けである、項目１１に記載のシステム。
（項目２０）
前記イベントは、第１のイベントであり、前記方法はさらに、メモリグラフ内に前記情動反応と前記第１のイベントとの間の前記関連付けを記憶することを含み、前記メモリグラフは、前記第１のイベントと第２のイベントとの間の関連付けを備える、項目１１に記載のシステム。
（項目２１）
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を記憶しており、前記命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
第１の時間に、頭部ウェアラブルデバイス上の第１のセンサを介して、ユーザの環境から第１の入力を受信することと、
前記第１の入力に基づいて、前記環境内のイベントの発生を決定することと、
前記頭部ウェアラブルデバイス上の第２のセンサを介して、前記ユーザから第２の入力を受信することと、
前記第２の入力に基づいて、前記ユーザの情動反応を識別することと、
前記情動反応と前記イベントとの間の関連付けを決定することと、
前記第１の時間よりも後の第２の時間に、前記頭部ウェアラブルデバイスのシースルーディスプレイを介して、前記環境のビューを提示することと、
前記第２の時間に、前記シースルーディスプレイを介して表示される仮想コンパニオンを介して、刺激を提示することあって、前記刺激は、前記情動反応と前記イベントとの間の前記決定された関連付けに基づいて決定される、ことと
を含む方法を実行させる、非一過性コンピュータ可読媒体。
（項目２２）
前記第１の入力は、物理的オブジェクトの画像を備える、項目２１に記載の非一過性コンピュータ可読媒体。
（項目２３）
前記第１の入力は、オーディオ信号を備える、項目２１に記載の非一過性コンピュータ可読媒体。
（項目２４）
前記第２の入力は、前記ユーザからの発話を備え、前記情動反応を識別することは、前記発話の少なくとも一部に関する内容を決定することを含む、項目２１に記載の非一過性コンピュータ可読媒体。
（項目２５）
前記第２の入力は、前記ユーザの眼移動を備え、前記情動反応を識別することは、前記ユーザに関する注視方向を決定することを含む、項目２１に記載の非一過性コンピュータ可読媒体。
（項目２６）
前記第２の入力は、前記ユーザの視野を備え、前記情動反応を識別することは、前記視野内の少なくとも１つのオブジェクトを識別することを含む、項目２１に記載の非一過性コンピュータ可読媒体。
（項目２７）
前記方法はさらに、前記情動反応の強度を決定することを含み、前記刺激は、前記強度に基づいてさらに決定される、項目２１に記載の非一過性コンピュータ可読媒体。
（項目２８）
前記情動反応と前記イベントとの間の前記関連付けは、時間的関連付けである、項目２１に記載の非一過性コンピュータ可読媒体。
（項目２９）
前記情動反応と前記イベントとの間の前記関連付けは、空間的関連付けである、項目２１に記載の非一過性コンピュータ可読媒体。
（項目３０）
前記イベントは、第１のイベントであり、前記方法はさらに、メモリグラフ内に前記情動反応と前記第１のイベントとの間の前記関連付けを記憶することを含み、前記メモリグラフは、前記第１のイベントと第２のイベントとの間の関連付けを備える、項目２１に記載の非一過性コンピュータ可読媒体。
【図面の簡単な説明】
【0006】
【0007】
【0008】
【0009】
【0010】
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【発明を実施するための形態】
【0017】
本人間中心ＡＩの課題に対処する際に、対処するべき多くの問題および変形例が、存在し得る。例えば、特定の人間またはそのグループにとっての最良の体験とは何か？これについて、典型的に利用可能なシステム（前述の組み込まれる出願に説明されるもの、または人間相互作用のために構成される他の利用可能なコンピューティングシステム等）およびそのようなシステムの人間の使用、すなわち、２次元モニタ上でのテレビ視聴または従来のコンピューティング、ゲーム参加、ウェブブラウジング等の画面に関する使用に基づいて、いくつかの即答が、存在する。これらの体験は、図１に図示されるもの等のシステムを含む、任意の現代のコンピューティングプラットフォーム上で予期される。図１に図示されるもの等のシステムでは、その周囲の世界に関する多くの情報を集めるシステムを有するが、また、可能性としてより重要なこととして、そのようなシステムは、ユーザに関する多くの情報を集めるように構成されてもよい。ユーザは、多くの複合現実体験の中心に存在し得、世界は、これらの体験のための背景になることができる。最も魅力的な複合現実体験のうちのいくつかは、ユーザのために表示されるコンテンツが、「知的」であり、コンテキストに基づくものであり得る。言い換えると、そのような構成では、ユーザが何らかのことを行い、体験がその入力に応答する、原因および結果が、存在し得る。体験における「知性」は、体験自体から生じるだけではなく、また、プラットフォームからも生じることができる。例えば、環境内で人物が存在する場所、人物を囲繞するものまたは人物に関して、システムレベルにおいてある程度の情報／知識を有することは、非常に有用であり得る。本システムはまた、ユーザの情動および関連する関連付けに関する情報を推測または想起するように構成されてもよい。本システムは、発話している人物および話されている内容に関連する情報を集めるように構成されてもよい。これらは、人間中心ＡＩの課題の基礎的な問題であり得る。体験を開発するときに答えるべき１つの重要な質問は、「私たちが満たそうとしている需要は何か？」であり得る。種々の答えは、エンターテインメント、コミュニケーション、情報または知識の理解を含むことができる。これらの需要はそれぞれ、知覚、感情、および思考によって引き起こされ得る。ＡＩが非常に「機械のように」作用する多くの実施例が、存在する。多くは、大量のデータを取り込み、そのデータに基づいて、結果として生じるモデルを作成することが可能である。多くの場合、人間は、これが機能する方法を適正に理解していない。逆に、コンピュータは、概して、人間が機能する方法を「理解」していない。概して、ＡＩシステムは、それらを訓練したデータに基づいて、正確な答えに効率的に到達するように構成され得る。１つの課題は、コンピューティングシステムの豊富な出力と併せて機械学習を行い、複合現実体験において人間の需要を満たすためにそれらを使用することであり得る。ＡＩが見えなくなる、またはコンピューティングエンゲージメントに統合された状態になる方法でそのように行うことが、望ましくあり得る。したがって、人々によって容易に理解され得、またはより良好なこととして、人々に透過的な状態になり（例えば、ユーザが、本システムの存在に明示的に気付かないように、ユーザの体験に完全に統合され）、一般に、より良好な体験を提供することに焦点を当てるシステムを設計することが、目的である。
【0018】
複合現実または拡張現実接眼ディスプレイは、軽量であり、低費用であり、小さい形状因子を有し、広い仮想画像視野を有し、可能な限り透明であることが、望ましい。加えて、ある実施形態では、輻輳・開散運動／遠近調節不整合に関する許容可能範囲を超えることなく、多種多様なユースケースのために実践的であるために、複数の焦点面（例えば、２つ以上のもの）において仮想画像情報を提示する構成を有することが、望ましい。図１を参照すると、頭部装着視認コンポーネント（２）、ハンドヘルドコントローラコンポーネント（４）、およびユーザ上のベルトパックまたは同等物として装着されるように構成され得る、相互接続される補助コンピューティングまたはコントローラコンポーネント（６）を特徴とする、拡張現実システムが、図示される。これらのコンポーネントはそれぞれ、動作的に、相互に結合され（１０、１２、１４、１６、１７、１８）、かつＩＥＥＥ
８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）（ＲＴＭ）、および他のコネクティビティ規格および構成によって規定されるもの等の有線または無線通信構成を介して、クラウドコンピューティングまたはクラウド記憶リソース等の他の接続されるリソース（８）に結合されてもよい。例えば、米国特許出願第１４／５５５，５８５号、第１４／６９０，４０１号、第１４／３３１，２１８号、第１５／４８１，２５５号、および第６２／５１８，５３９号（そのそれぞれは、参照することによってその全体として本明細書に組み込まれる）に説明されるように、それを通してユーザが、拡張現実体験のために、関連付けられるシステムコンポーネントによって生成され得る視覚的コンポーネントとともに、その周囲の世界を見得る、２つの描写される光学要素（２０）の種々の実施形態等、そのようなコンポーネントの種々の側面が、説明される。ウェアラブルコンピューティングシステムにおける使用のために最適化される、非常に高機能なシステムおよびアセンブリの必要性が、存在する。ある実施形態では、そのようなシステムおよびサブシステムは、ある「人工知能」関連タスクのために構成され、そのために利用されてもよい。
８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）（ＲＴＭ）、および他のコネクティビティ規格および構成によって規定されるもの等の有線または無線通信構成を介して、クラウドコンピューティングまたはクラウド記憶リソース等の他の接続されるリソース（８）に結合されてもよい。例えば、米国特許出願第１４／５５５，５８５号、第１４／６９０，４０１号、第１４／３３１，２１８号、第１５／４８１，２５５号、および第６２／５１８，５３９号（そのそれぞれは、参照することによってその全体として本明細書に組み込まれる）に説明されるように、それを通してユーザが、拡張現実体験のために、関連付けられるシステムコンポーネントによって生成され得る視覚的コンポーネントとともに、その周囲の世界を見得る、２つの描写される光学要素（２０）の種々の実施形態等、そのようなコンポーネントの種々の側面が、説明される。ウェアラブルコンピューティングシステムにおける使用のために最適化される、非常に高機能なシステムおよびアセンブリの必要性が、存在する。ある実施形態では、そのようなシステムおよびサブシステムは、ある「人工知能」関連タスクのために構成され、そのために利用されてもよい。
【0019】
種々のコンポーネントは、拡張現実または複合現実体験をユーザに提供することに関連して使用されることができる。例えば、図１に図示されるように、シースルーウェアラブルディスプレイシステムは、知覚的に有意義な方法で、ユーザの視野内の組み合わせられた仮想コンテンツとともに、ユーザの周囲の物理的世界のビューの組み合わせをユーザに提示することが可能であり得る。同一のシステム（すなわち、図１に描写されるもの等）を用いて、空間コンピューティングプラットフォームが、環境および視認者に関連する種々の物理的側面に関する情報を同時に受信する、またはそれを「知覚する」ために使用されることができる。ウェアラブルコンピューティングディスプレイを、機械学習を原動力とする空間コンピューティングプラットフォームと組み合わせることによって、フィードバックループが、ユーザと体験との間に確立されることができる。
【0020】
複合現実環境
【0021】
全ての人々のように、複合現実システムのユーザは、実環境、すなわち、ユーザによって知覚可能である、「実世界」の３次元部分およびそのコンテンツ全ての中に存在している。例えば、ユーザは、その通常の人間感覚、すなわち、視覚、聴覚、触覚、味覚、嗅覚を使用して実環境を知覚し、実環境内でその自身の身体を移動させることによって実環境と相互作用する。実環境内の場所は、座標空間内の座標として説明されることができ、例えば、座標は、緯度、経度、および海面に対する高度、基準点からの３つの直交する次元における距離、または他の好適な値を含むことができる。同様に、ベクトルは、座標空間内の方向および大きさを有する量を説明することができる。
【0022】
コンピューティングデバイスは、例えば、本デバイスと関連付けられるメモリ内で、仮想環境の表現を維持することができる。本明細書に使用されるように、仮想環境は、３次元空間のコンピュータ表現である。仮想環境は、任意のオブジェクト、アクション、信号、パラメータ、座標、ベクトル、またはその空間と関連付けられる他の特性の表現を含むことができる。いくつかの実施例では、コンピューティングデバイスの回路（例えば、プロセッサ）は、仮想環境の状態を維持および更新することができ、すなわち、プロセッサは、第１の時間ｔ０に、仮想環境と関連付けられるデータおよび／またはユーザによって提供される入力に基づいて、第２の時間ｔ１における仮想環境の状態を決定することができる。例えば、仮想環境内のオブジェクトが、時間ｔ０に第１の座標に位置し、あるプログラムされた物理的パラメータ（例えば、質量、摩擦係数）を有し、ユーザから受信された入力が、力が、ある方向ベクトルにおいてオブジェクトに印加されるべきであると示す場合、プロセッサは、運動学の法則を適用し、基本的力学を使用して時間ｔ１におけるオブジェクトの場所を決定することができる。プロセッサは、仮想環境についての既知の任意の好適な情報および／または任意の好適な入力を使用し、時間ｔ１における仮想環境の状態を決定することができる。仮想環境の状態を維持および更新する際、プロセッサは、仮想環境内の仮想オブジェクトの作成および削除に関連するソフトウェア、仮想環境内の仮想オブジェクトまたはキャラクタの挙動を定義するためのソフトウェア（例えば、スクリプト）、仮想環境内の信号（例えば、オーディオ信号）の挙動を定義するためのソフトウェア、仮想環境と関連付けられるパラメータを作成および更新するためのソフトウェア、仮想環境内のオーディオ信号を発生させるためのソフトウェア、入力および出力を取り扱うためのソフトウェア、ネットワーク動作を実装するためのソフトウェア、アセットデータ（例えば、経時的に仮想オブジェクトを移動させるためのアニメーションデータ）を適用するためのソフトウェア、または多くの他の可能性を含む、任意の好適なソフトウェアを実行することができる。
【0023】
ディスプレイまたはスピーカ等の出力デバイスは、仮想環境の任意または全ての側面をユーザに提示することができる。例えば、仮想環境は、ユーザに提示され得る仮想オブジェクト（無生物オブジェクト、人物、動物、光等の表現を含み得る）を含んでもよい。プロセッサは、仮想環境のビュー（例えば、原点座標、視軸、および錐台を伴う「カメラ」に対応する）を決定し、ディスプレイに、そのビューに対応する仮想環境の視認可能な場面をレンダリングすることができる。任意の好適なレンダリング技術が、本目的のために使用されてもよい。いくつかの実施例では、視認可能な場面は、仮想環境内のいくつかの仮想オブジェクトのみを含み、ある他の仮想オブジェクトを除外してもよい。同様に、仮想環境は、１つ以上のオーディオ信号としてユーザに提示され得るオーディオ側面を含んでもよい。例えば、仮想環境内の仮想オブジェクトが、オブジェクトの場所座標から生じる音を発生させてもよい（例えば、仮想キャラクタが、発話する、または効果音を引き起こしてもよい）、または仮想環境は、特定の場所と関連付けられる場合とそうではない場合がある音楽的キューまたは周囲音と関連付けられてもよい。プロセッサが、「聴者」座標に対応するオーディオ信号、例えば、仮想環境内の音の複合物に対応し、聴者座標における聴者に聞こえるであろうオーディオ信号をシミュレートするために混合および処理されるオーディオ信号を決定し、１つ以上のスピーカを介してユーザにオーディオ信号を提示することができる。
【0024】
仮想環境は、コンピュータ構造としてのみ存在するため、ユーザは、その通常の感覚を使用して仮想環境を直接知覚することができない。代わりに、ユーザは、例えば、ディスプレイ、スピーカ、触覚出力デバイス等によって、ユーザに提示されるような仮想環境を間接的にのみ知覚することができる。同様に、ユーザは、仮想環境に直接触れる、それを操作する、または別様にそれと相互作用することができないが、入力デバイスまたはセンサを介して、仮想環境を更新するためにデバイスまたはセンサデータを使用し得るプロセッサに入力データを提供することができる。例えば、カメラセンサは、ユーザが仮想環境内のオブジェクトを移動させようとしていることを示す光学データを提供することができ、プロセッサは、そのデータを使用し、オブジェクトに仮想環境内でそれに応じて応答させることができる。
【0025】
複合現実システムは、例えば、透過性ディスプレイおよび／または１つ以上のスピーカ（例えば、ウェアラブル頭部デバイスに組み込まれ得る）を使用して、実環境および仮想環境の側面を組み合わせる複合現実環境（「ＭＲＥ」）をユーザに提示することができる。いくつかの実施形態では、１つ以上のスピーカは、頭部搭載型ウェアラブルユニットの外部にあってもよい。本明細書に使用されるように、ＭＲＥは、実環境および対応する仮想環境の同時表現である。いくつかの実施例では、対応する実および仮想環境は、単一の座標空間を共有し、いくつかの実施例では、実座標空間および対応する仮想座標空間は、変換行列（または他の好適な表現）によって相互に関連する。故に、単一の座標は（いくつかの実施例では、変換行列とともに）、実環境内の第１の場所、およびまた、仮想環境内の第２の対応する場所を定義することができ、逆もまた同様である。
【0026】
ＭＲＥでは、仮想オブジェクト（例えば、ＭＲＥと関連付けられる仮想環境内）は、実オブジェクト（例えば、ＭＲＥと関連付けられる実環境内）に対応することができる。例えば、ＭＲＥの実環境が、ある場所座標において実街灯柱（実オブジェクト）を備える場合、ＭＲＥの仮想環境は、対応する場所座標において仮想街灯柱（例えば、仮想オブジェクト）を備えてもよい。本明細書に使用されるように、その対応する仮想オブジェクトと組み合わせた実オブジェクトはともに、「複合現実オブジェクト」を構成する。仮想オブジェクトが、対応する実オブジェクトと完全に合致または整合することは、必要ではない。いくつかの実施例では、仮想オブジェクトは、対応する実オブジェクトの簡略化バージョンであり得る。例えば、実環境が、実街灯柱を含む場合、対応する仮想オブジェクトは、実街灯柱とほぼ同一の高さおよび半径の円筒（街灯柱が形状においてほぼ円筒形であり得ることを反映する）を備えてもよい。このように仮想オブジェクトを簡略化することは、算出効率化を可能にすることができ、そのような仮想オブジェクトに対して実施されるべき計算を簡略化することができる。さらに、ＭＲＥのいくつかの実施例では、実環境内の全ての実オブジェクトが、対応する仮想オブジェクトと関連付けられるわけではない場合がある。同様に、ＭＲＥのいくつかの実施例では、仮想環境内の全ての仮想オブジェクトが、対応する実オブジェクトと関連付けられるわけではない場合がある。すなわち、いくつかの仮想オブジェクトは、いかなる実世界対応物も伴わずに、ＭＲＥの仮想環境内で単独であってもよい。
【0027】
いくつかの実施例では、仮想オブジェクトは、対応する実オブジェクトのものと、時として、劇的に異なる特性を有してもよい。例えば、ＭＲＥ内の実環境が、緑色の２本の枝のあるサボテン、すなわち、針のある無生物オブジェクトを備え得る一方、ＭＲＥ内の対応する仮想オブジェクトは、人間の顔特徴および不機嫌な表情を伴う緑色の２本の枝のある仮想キャラクタの特性を有してもよい。本実施例では、仮想オブジェクトは、ある特性（色、枝の数）においてその対応する実オブジェクトに似ているが、他の特性（顔特徴、性格）において実オブジェクトと異なる。このように、仮想オブジェクトは、創造的、抽象的、誇張的、または空想的様式で実オブジェクトを表す、または挙動（例えば、人間の性格）をそうでなければ無生物の実オブジェクトに付与する潜在性を有する。いくつかの実施例では、仮想オブジェクトは、いかなる実世界対応物も伴わない純粋に空想的な創作物（例えば、おそらく、実環境内の空の空間に対応する場所における、仮想環境内の仮想モンスタ）であってもよい。
【0028】
実環境を不明瞭にしながら仮想環境をユーザに提示するＶＲシステムと比較して、ＭＲＥを提示する複合現実システムは、仮想環境が提示される間、実環境が知覚可能なままである利点を提供する。故に、複合現実システムのユーザは、対応する仮想環境を体験し、それと相互作用するために、実環境と関連付けられる視覚およびオーディオキューを使用することが可能である。実施例として、ＶＲシステムのユーザは、上記のように、ユーザが仮想環境を直接知覚する、またはそれと相互作用することができないため、仮想環境内に表示される仮想オブジェクトを知覚する、またはそれと相互作用することに苦労し得るが、ＭＲシステムのユーザは、ユーザ自身の実環境内の対応する実オブジェクトを見て、聞いて、触れることによって、仮想オブジェクトと相互作用することが直感的かつ自然であると見出し得る。本レベルの双方向性は、仮想環境へのユーザの没入、接続、および関与の感覚を高めることができる。同様に、実環境および仮想環境を同時に提示することによって、複合現実システムは、ＶＲシステムと関連付けられる否定的な心理的感覚（例えば、認知的不協和）および否定的な身体的感覚（例えば、乗り物酔い）を低減させることができる。複合現実システムはさらに、実世界の体験を拡張または改変し得る用途のための多くの可能性を提供する。
【0029】
図２Ａは、ユーザ２１０が複合現実システム２１２を使用する、例示的実環境２００を図示する。複合現実システム２１２は、例えば、下記に説明されるように、ディスプレイ（例えば、透過性ディスプレイ）と、１つ以上のスピーカと、１つ以上のセンサ（例えば、カメラ）とを備えてもよい。示される実環境２００は、ユーザ２１０が立っている、長方形部屋２０４Ａと、実オブジェクト２２２Ａ（ランプ）、２２４Ａ（テーブル）、２２６Ａ（ソファ）、および２２８Ａ（絵画）とを備える。部屋２０４Ａはさらに、実環境２００の原点と見なされ得る、場所座標２０６を備える。図２Ａに示されるように、点２０６（世界座標）においてその原点を伴う環境／世界座標系２０８（ｘ軸２０８Ｘと、ｙ軸２０８Ｙと、ｚ軸２０８Ｚとを備える）は、実環境２００に関する座標空間を定義することができる。いくつかの実施形態では、環境／世界座標系２０８の原点２０６は、複合現実システム２１２が電源投入された場所に対応してもよい。いくつかの実施形態では、環境／世界座標系２０８の原点２０６は、動作の間に再設定されてもよい。いくつかの実施例では、ユーザ２１０は、実環境２００内の実オブジェクトと見なされてもよく、同様に、ユーザ２１０の身体部分（例えば、手、足）も、実環境２００内の実オブジェクトと見なされてもよい。いくつかの実施例では、点２１５（例えば、ユーザ／聴者／頭部座標）においてその原点を伴うユーザ／聴者／頭部座標系２１４（ｘ軸２１４Ｘと、ｙ軸２１４Ｙと、ｚ軸２１４Ｚとを備える）は、複合現実システム２１２が位置するユーザ／聴者／頭部に関する座標空間を定義することができる。ユーザ／聴者／頭部座標系２１４の原点２１５は、複合現実システム２１２の１つ以上のコンポーネントに対して定義されてもよい。例えば、ユーザ／聴者／頭部座標系２１４の原点２１５は、複合現実システム２１２の初期較正の間に等、複合現実システム２１２のディスプレイに対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現が、ユーザ／聴者／頭部座標系２１４空間と環境／世界座標系２０８空間との間の変換を特徴付けることができる。いくつかの実施形態では、左耳座標２１６および右耳座標２１７が、ユーザ／聴者／頭部座標系２１４の原点２１５に対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現が、左耳座標２１６および右耳座標２１７とユーザ／聴者／頭部座標系２１４空間との間の変換を特徴付けることができる。ユーザ／聴者／頭部座標系２１４は、ユーザの頭部に対する、または頭部搭載型デバイスに対する、例えば、環境／世界座標系２０８に対する場所の表現を簡略化することができる。同時位置測定およびマッピング（ＳＬＡＭ）、ビジュアルオドメトリ、または他の技法を使用して、ユーザ座標系２１４と環境座標系２０８との間の変換が、リアルタイムで決定および更新されることができる。
【0030】
図２Ｂは、実環境２００に対応する、例示的仮想環境２３０を図示する。示される仮想環境２３０は、実長方形部屋２０４Ａに対応する仮想長方形部屋２０４Ｂと、実オブジェクト２２２Ａに対応する仮想オブジェクト２２２Ｂと、実オブジェクト２２４Ａに対応する仮想オブジェクト２２４Ｂと、実オブジェクト２２６Ａに対応する仮想オブジェクト２２６Ｂとを備える。仮想オブジェクト２２２Ｂ、２２４Ｂ、２２６Ｂと関連付けられるメタデータは、対応する実オブジェクト２２２Ａ、２２４Ａ、２２６Ａから導出される情報を含むことができる。仮想環境２３０は、加えて、実環境２００内のいかなる実オブジェクトにも対応しない、仮想モンスタ２３２を備える。実環境２００内の実オブジェクト２２８Ａは、仮想環境２３０内のいかなる仮想オブジェクトにも対応しない。点２３４（持続座標）においてその原点を伴う持続座標系２３３（ｘ軸２３３Ｘと、ｙ軸２３３Ｙと、ｚ軸２３３Ｚとを備える）は、仮想コンテンツに関する座標空間を定義することができる。持続座標系２３３の原点２３４は、実オブジェクト２２６Ａ等の１つ以上の実オブジェクトに対して／関して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現が、持続座標系２３３空間と環境／世界座標系２０８空間との間の変換を特徴付けることができる。いくつかの実施形態では、仮想オブジェクト２２２Ｂ、２２４Ｂ、２２６Ｂ、および２３２はそれぞれ、持続座標系２３３の原点２３４に対するその独自の持続座標点を有してもよい。いくつかの実施形態では、複数の持続座標系が、存在してもよく、仮想オブジェクト２２２Ｂ、２２４Ｂ、２２６Ｂ、および２３２はそれぞれ、１つ以上の持続座標系に対するその独自の持続座標点を有してもよい。
【0031】
図２Ａおよび２Ｂに関して、環境／世界座標系２０８は、実環境２００および仮想環境２３０の両方に関する共有座標空間を定義する。示される実施例では、座標空間は、点２０６においてその原点を有する。さらに、座標空間は、同一の３つの直交軸（２０８Ｘ、２０８Ｙ、２０８Ｚ）によって定義される。故に、実環境２００内の第１の場所および仮想環境２３０内の第２の対応する場所は、同一の座標空間に関して説明されることができる。これは、同一の座標が、両方の場所を識別するために使用されることができるため、実および仮想環境内の対応する場所を識別および表示することを簡略化する。しかしながら、いくつかの実施例では、対応する実および仮想環境は、共有座標空間を使用する必要はない。例えば、いくつかの実施例（図示せず）では、行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現が、実環境座標空間と仮想環境座標空間との間の変換を特徴付けることができる。
【0032】
図２Ｃは、複合現実システム２１２を介してユーザ２１０に実環境２００および仮想環境２３０の側面を同時に提示する、例示的ＭＲＥ２５０を図示する。示される実施例では、ＭＲＥ２５０は、同時に、ユーザ２１０に、（例えば、複合現実システム２１２のディスプレイの透過性部分を介して）実環境２００からの実オブジェクト２２２Ａ、２２４Ａ、２２６Ａ、および２２８Ａを提示し、（例えば、複合現実システム２１２のディスプレイのアクティブディスプレイ部分を介して）仮想環境２３０からの仮想オブジェクト２２２Ｂ、２２４Ｂ、２２６Ｂ、および２３２を提示する。上記のように、原点２０６は、ＭＲＥ２５０に対応する座標空間に関する原点として作用し、座標系２０８は、座標空間に関するｘ軸、ｙ軸、およびｚ軸を定義する。
【0033】
示される実施例では、複合現実オブジェクトは、座標空間２０８内の対応する場所を占有する、実オブジェクトおよび仮想オブジェクトの対応する対（すなわち、２２２Ａ／２２２Ｂ、２２４Ａ／２２４Ｂ、２２６Ａ／２２６Ｂ）を備える。いくつかの実施例では、実オブジェクトおよび仮想オブジェクトは両方とも、ユーザ２１０に同時に可視であってもよい。これは、例えば、仮想オブジェクトが、対応する実オブジェクトのビューを拡張するように設計される情報を提示する事例において（仮想オブジェクトが、古代の損傷した彫刻の欠落部分を提示する博物館用途において等）望ましくあり得る。いくつかの実施例では、仮想オブジェクト（２２２Ｂ、２２４Ｂ、および／または２２６Ｂ）は、対応する実オブジェクト（２２２Ａ、２２４Ａ、および／または２２６Ａ）をオクルージョン化するように（例えば、ピクセル化オクルージョンシャッタを使用するアクティブピクセル化オクルージョンを介して）表示されてもよい。これは、例えば、仮想オブジェクトが、対応する実オブジェクトに関する視覚的置換として作用する事例において（無生物の実オブジェクトが、「生きている」キャラクタになる双方向ストーリーテリング用途において等）望ましくあり得る。
【0034】
いくつかの実施例では、実オブジェクト（例えば、２２２Ａ、２２４Ａ、２２６Ａ）は、必ずしも仮想オブジェクトを構成するわけではない場合がある、仮想コンテンツまたはヘルパデータと関連付けられてもよい。仮想コンテンツまたはヘルパデータは、複合現実環境内の仮想オブジェクトの処理または取扱を促進することができる。例えば、そのような仮想コンテンツは、対応する実オブジェクトの２次元表現、対応する実オブジェクトと関連付けられるカスタムアセットタイプ、または対応する実オブジェクトと関連付けられる統計データを含み得る。本情報は、不必要な算出オーバーヘッドをもたらすことなく、実オブジェクトを伴う計算を可能にする、または促進することができる。
【0035】
いくつかの実施例では、上記に説明される提示はまた、オーディオ側面を組み込んでもよい。例えば、ＭＲＥ２５０では、仮想モンスタ２３２は、モンスタがＭＲＥ２５０の周囲を歩く際に発生される足音の効果音等の１つ以上のオーディオ信号と関連付けられ得る。下記にさらに説明されるように、複合現実システム２１２のプロセッサは、ＭＲＥ２５０内の全てのそのような音の混合および処理された複合物に対応するオーディオ信号を算出し、複合現実システム２１２内に含まれる１つ以上のスピーカおよび／または１つ以上の外部スピーカを介して、ユーザ２１０にオーディオ信号を提示することができる。
【0036】
例示的複合現実システム
【0037】
例示的複合現実システム２１２は、ディスプレイ（接眼ディスプレイであり得る、左および右透過性ディスプレイと、ディスプレイからユーザの眼に光を結合するための関連付けられるコンポーネントとを備え得る）と、左および右スピーカ（例えば、それぞれ、ユーザの左および右耳に隣接して位置付けられる）と、慣性測定ユニット（ＩＭＵ）（例えば、頭部デバイスのつるアームに搭載される）と、直交コイル電磁受信機（例えば、左つる部分に搭載される）と、ユーザから離れるように配向される、左および右カメラ（例えば、深度（飛行時間）カメラ）と、ユーザに向かって配向される、左および右眼カメラ（例えば、ユーザの眼移動を検出するため）とを備える、ウェアラブル頭部デバイス（例えば、ウェアラブル拡張現実または複合現実頭部デバイス）を含むことができる。しかしながら、複合現実システム２１２は、任意の好適なディスプレイ技術および任意の好適なセンサ（例えば、光学、赤外線、音響、ＬＩＤＡＲ、ＥＯＧ、ＧＰＳ、磁気）を組み込むことができる。加えて、複合現実システム２１２は、他の複合現実システムを含む、他のデバイスおよびシステムと通信するために、ネットワーキング特徴（例えば、Ｗｉ－Ｆｉ能力）を組み込んでもよい。複合現実システム２１２はさらに、バッテリ（ユーザの腰部の周囲に装着されるように設計されるベルトパック等の補助ユニット内に搭載され得る）と、プロセッサと、メモリとを含んでもよい。複合現実システム２１２のウェアラブル頭部デバイスは、ユーザの環境に対するウェアラブル頭部デバイスの座標のセットを出力するように構成される、ＩＭＵまたは他の好適なセンサ等の追跡コンポーネントを含んでもよい。いくつかの実施例では、追跡コンポーネントは、入力をプロセッサに提供し、同時位置特定およびマッピング（ＳＬＡＭ）および／またはビジュアルオドメトリアルゴリズムを実施してもよい。いくつかの実施例では、複合現実システム２１２はまた、下記にさらに説明されるように、ハンドヘルドコントローラ４００および／またはウェアラブルベルトパックであり得る補助ユニット４２０を含んでもよい。
【0038】
図３Ａ－３Ｄは、ＭＲＥ（ＭＲＥ２５０に対応し得る）または他の仮想環境をユーザに提示するために使用され得る、（複合現実システム２１２に対応し得る）例示的複合現実システム３００のコンポーネントを図示する。図３Ａは、例示的複合現実システム３００内に含まれる、ウェアラブル頭部デバイス２１０２の斜視図を図示する。図３Ｂは、ユーザの頭部２２０２上に装着される、ウェアラブル頭部デバイス２１０２の上面図を図示する。図３Ｃは、ウェアラブル頭部デバイス２１０２の正面図を図示する。図３Ｄは、ウェアラブル頭部デバイス２１０２の例示的接眼レンズ２１１０の端面図を図示する。図３Ａ－３Ｃに示されるように、例示的ウェアラブル頭部デバイス２１０２は、例示的左接眼レンズ（例えば、左透明導波管セット接眼レンズ）２１０８と、例示的右接眼レンズ（例えば、右透明導波管セット接眼レンズ）２１１０とを含む。各接眼レンズ２１０８および２１１０は、それを通して実環境が可視であり得る透過性要素、および実環境に重複する表示を（例えば、画像毎に変調された光を介して）提示するための表示要素を含むことができる。いくつかの実施例では、そのような表示要素は、画像毎に変調された光の流動を制御するための表面回折光学要素を含むことができる。例えば、左接眼レンズ２１０８は、左内部結合格子セット２１１２と、左直交瞳拡大（ＯＰＥ）格子セット２１２０と、左射出（出力）瞳拡大（ＥＰＥ）格子セット２１２２とを含むことができる。同様に、右接眼レンズ２１１０は、右内部結合格子セット２１１８と、右ＯＰＥ格子セット２１１４と、右ＥＰＥ格子セット２１１６とを含むことができる。画像毎に変調された光は、内部結合格子２１１２および２１１８、ＯＰＥ２１１４および２１２０、およびＥＰＥ２１１６および２１２２を介してユーザの眼に伝達されることができる。各内部結合格子セット２１１２、２１１８は、光をその対応するＯＰＥ格子セット２１２０、２１１４に向かって偏向させるように構成されることができる。各ＯＰＥ格子セット２１２０、２１１４は、光をその関連付けられるＥＰＥ２１２２、２１１６に向かって下に増分的に偏向させるように設計され、それによって、形成されている射出瞳を水平に延在させることができる。各ＥＰＥ２１２２、２１１６は、その対応するＯＰＥ格子セット２１２０、２１１４から受光された光の少なくとも一部を、接眼レンズ２１０８、２１１０の後方に画定されたユーザアイボックス位置（図示せず）へ外向きに増分的に再指向するように構成され、アイボックスにおいて形成される射出瞳を垂直に延在させることができる。代替として、内部結合格子セット２１１２および２１１８、ＯＰＥ格子セット２１１４および２１２０、およびＥＰＥ格子セット２１１６および２１２２の代わりに、接眼レンズ２１０８および２１１０は、ユーザの眼への画像毎に変調された光の結合を制御するための格子および／または屈折および反射特徴の他の配列を含むことができる。
【0039】
いくつかの実施例では、ウェアラブル頭部デバイス２１０２は、左つるアーム２１３０と、右つるアーム２１３２とを含むことができ、左つるアーム２１３０は、左スピーカ２１３４を含み、右つるアーム２１３２は、右スピーカ２１３６を含む。直交コイル電磁受信機２１３８は、左つる部分内に、またはウェアラブル頭部ユニット２１０２内の別の好適な場所に位置することができる。慣性測定ユニット（ＩＭＵ）２１４０は、右つるアーム２１３２内に、またはウェアラブル頭部デバイス２１０２内の別の好適な場所に位置することができる。ウェアラブル頭部デバイス２１０２はまた、左深度（例えば、飛行時間）カメラ２１４２と、右深度カメラ２１４４とを含むことができる。深度カメラ２１４２、２１４４は、より広い視野をともに網羅するように、異なる方向に好適に配向されることができる。
【0040】
図３Ａ－３Ｄに示される実施例では、画像毎に変調された光の左源２１２４は、左内部結合格子セット２１１２を通して左接眼レンズ２１０８に光学的に結合されることができ、画像毎に変調された光の右源２１２６は、右内部結合格子セット２１１８を通して右接眼レンズ２１１０に光学的に結合されることができる。画像毎に変調された光の源２１２４、２１２６は、例えば、光ファイバ走査装置、デジタル光処理（ＤＬＰ）チップまたはシリコン上の液晶（ＬＣｏＳ）変調器等の電子光変調器を含むプロジェクタ、または側面あたり１つ以上のレンズを使用して内部結合格子セット２１１２、２１１８に結合されるマイクロ発光ダイオード（μＬＥＤ）またはマイクロ有機発光ダイオード（μＯＬＥＤ）パネル等の発光ディスプレイを含むことができる。入力結合格子セット２１１２、２１１８は、画像毎に変調された光の源２１２４、２１２６からの光を接眼レンズ２１０８、２１１０に関する全内部反射（ＴＩＲ）のための臨界角を上回る角度に偏向させることができる。ＯＰＥ格子セット２１１４、２１２０は、ＴＩＲによって伝搬する光をＥＰＥ格子セット２１１６、２１２２に向かって下に増分的に偏向させる。ＥＰＥ格子セット２１１６、２１２２は、光を、ユーザの眼の瞳を含むユーザの顔に向かって増分的に結合する。
【0041】
いくつかの実施例では、図３Ｄに示されるように、左接眼レンズ２１０８および右接眼レンズ２１１０はそれぞれ、複数の導波管２４０２を含む。例えば、各接眼レンズ２１０８、２１１０は、それぞれ、個別の色チャネル（例えば、赤色、青色、および緑色）に専用の複数の個々の導波管を含むことができる。いくつかの実施例では、各接眼レンズ２１０８、２１１０は、そのような導波管の複数のセットを含むことができ、各セットは、異なる波面曲率を放出された光に付与するように構成される。波面曲率は、例えば、ユーザの正面のある距離に（例えば、波面曲率の逆数に対応する距離だけ）位置付けられる仮想オブジェクトを提示するために、ユーザの眼に対して凸状であってもよい。いくつかの実施例では、ＥＰＥ格子セット２１１６、２１２２は、各ＥＰＥを横断する出射光のポインティングベクトルを改変することによって凸状波面曲率をもたらすために、湾曲格子溝を含むことができる。
【0042】
いくつかの実施例では、表示されるコンテンツが３次元である知覚を作成するために、立体視的に調節された左および右眼画像が、画像毎光変調器２１２４、２１２６および接眼レンズ２１０８、２１１０を通してユーザに提示されることができる。３次元仮想オブジェクトの提示の知覚される現実性は、仮想オブジェクトが、立体視左および右画像によって示される距離に近似する距離において表示されるように、導波管（したがって、対応する波面曲率）を選択することによって向上されることができる。本技法はまた、立体視左および右眼画像によって提供される深度知覚キューと人間の眼の自律適応（例えば、オブジェクト距離依存焦点）との間の差異によって引き起こされ得る、一部のユーザが被る乗り物酔いを低減させ得る。
【0043】
図３Ｄは、例示的ウェアラブル頭部デバイス２１０２の右接眼レンズ２１１０の上部からの端面図を図示する。図３Ｄに示されるように、複数の導波管２４０２は、３つの導波管の第１のサブセット２４０４と、３つの導波管の第２のサブセット２４０６とを含むことができる。導波管の２つのサブセット２４０４、２４０６は、異なる波面曲率を出射光に付与するために、異なる格子線曲率を特徴とする異なるＥＰＥ格子によって区別されることができる。導波管のサブセット２４０４、２４０６のそれぞれの中で、各導波管は、異なるスペクトルチャネル（例えば、赤色、緑色、および青色スペクトルチャネルのうちの１つ）をユーザの右眼２２０６に結合するために使用されることができる。（図３Ｄに示されないが、左接眼レンズ２１０８の構造は、右接眼レンズ２１１０の構造に類似する。）
【0044】
図４Ａは、複合現実システム３００の例示的ハンドヘルドコントローラコンポーネント４００を図示する。いくつかの実施例では、ハンドヘルドコントローラ４００は、グリップ部分４４６と、上面４４８に沿って配置される、１つ以上のボタン４５０とを含む。いくつかの実施例では、ボタン４５０は、例えば、（複合現実システム３００の頭部ユニット（例えば、ウェアラブル頭部デバイス２１０２）内に搭載され得る）カメラまたは他の光学センサと併せて、ハンドヘルドコントローラ４００の６自由度（６ＤＯＦ）運動を追跡するために、光学追跡標的としての使用のために構成されてもよい。いくつかの実施例では、ハンドヘルドコントローラ４００は、ウェアラブル頭部デバイス２１０２に対する位置または配向等の位置または配向を検出するための追跡コンポーネント（例えば、ＩＭＵまたは他の好適なセンサ）を含む。いくつかの実施例では、そのような追跡コンポーネントは、ハンドヘルドコントローラ４００の取っ手内に位置付けられてもよい、および／またはハンドヘルドコントローラに機械的に結合されてもよい。ハンドヘルドコントローラ４００は、ボタンの押下状態、またはハンドヘルドコントローラ４００の位置、配向、および／または運動（例えば、ＩＭＵを介して）のうちの１つ以上のものに対応する、１つ以上の出力信号を提供するように構成されることができる。そのような出力信号は、複合現実システム３００のプロセッサへの入力として使用されてもよい。そのような入力は、ハンドヘルドコントローラの位置、配向、および／または移動に（かつ転じて、コントローラを保持するユーザの手の位置、配向、および／または移動に）対応し得る。そのような入力はまた、ユーザがボタン４５０を押下することに対応し得る。
【0045】
図４Ｂは、複合現実システム３００の例示的補助ユニット４２０を図示する。補助ユニット４２０は、システム３００を動作させるためのエネルギーを提供するために、バッテリを含むことができ、システム３００を動作させるためのプログラムを実行するためのプロセッサを含むことができる。示されるように、例示的補助ユニット４２０は、補助ユニット４２０をユーザのベルトに取り付けるため等、クリップ２１２８を含む。ユニットをユーザのベルトに搭載することを伴わない形状因子を含む、他の形状因子も、補助ユニット４２０のために好適であり、明白となるであろう。いくつかの実施例では、補助ユニット４２０は、例えば、電気ワイヤおよび光ファイバを含み得る、多導管ケーブルを通してウェアラブル頭部デバイス２１０２に結合される。補助ユニット４２０とウェアラブル頭部デバイス２１０２との間の無線接続もまた、使用されることができる。
【0046】
いくつかの実施例では、複合現実システム３００は、音を検出し、対応する信号を複合現実システムに提供するために、１つ以上のマイクロホンを含むことができる。いくつかの実施例では、マイクロホンは、ウェアラブル頭部デバイス２１０２に取り付けられる、またはそれと統合されてもよく、ユーザの音声を検出するように構成されてもよい。いくつかの実施例では、マイクロホンは、ハンドヘルドコントローラ４００および／または補助ユニット４２０に取り付けられる、またはそれと統合されてもよい。そのようなマイクロホンは、環境音、周囲雑音、ユーザまたは第三者の音声、または他の音を検出するように構成されてもよい。
【0047】
図５は、（図２Ａに関する複合現実システム２１２に対応し得る）上記に説明される複合現実システム３００等の例示的複合現実システムに対応し得る、例示的機能ブロック図を示す。図５に示されるように、例示的ハンドヘルドコントローラ５００Ｂ（ハンドヘルドコントローラ４００（「トーテム」）に対応し得る）は、トーテム／ウェアラブル頭部デバイス６自由度（６ＤＯＦ）トーテムサブシステム５０４Ａを含み、例示的ウェアラブル頭部デバイス５００Ａ（ウェアラブル頭部デバイス２１０２に対応し得る）は、トーテム／ウェアラブル頭部デバイス６ＤＯＦサブシステム５０４Ｂを含む。実施例では、６ＤＯＦトーテムサブシステム５０４Ａおよび６ＤＯＦサブシステム５０４Ｂは、協働し、ウェアラブル頭部デバイス５００Ａに対するハンドヘルドコントローラ５００Ｂの６つの座標（例えば、３つの平行移動方向におけるオフセットおよび３つの軸に沿った回転）を決定する。６自由度は、ウェアラブル頭部デバイス５００Ａの座標系に対して表されてもよい。３つの平行移動オフセットは、そのような座標系内におけるＸ、Ｙ、およびＺオフセット、平行移動行列、またはある他の表現として表されてもよい。回転自由度は、ヨー、ピッチ、およびロール回転のシーケンス、回転行列、四元数、またはある他の表現として表されてもよい。いくつかの実施例では、ウェアラブル頭部デバイス５００Ａ、ウェアラブル頭部デバイス５００Ａ内に含まれる１つ以上の深度カメラ５４４（および／または１つ以上の非深度カメラ）、および／または１つ以上の光学標的（例えば、上記に説明されるようなハンドヘルドコントローラ５００Ｂのボタン４５０またはハンドヘルドコントローラ５００Ｂ内に含まれる専用光学標的）は、６ＤＯＦ追跡のために使用されることができる。いくつかの実施例では、ハンドヘルドコントローラ５００Ｂは、上記に説明されるようなカメラを含むことができ、ウェアラブル頭部デバイス５００Ａは、カメラと併せた光学追跡のための光学標的を含むことができる。いくつかの実施例では、ウェアラブル頭部デバイス５００Ａおよびハンドヘルドコントローラ５００Ｂは、それぞれ、３つの直交して配向されるソレノイドのセットを含み、これは、３つの区別可能な信号を無線で送信および受信するために使用される。受信するために使用される、コイルのそれぞれの中で受信される３つの区別可能な信号の相対的大きさを測定することによって、ハンドヘルドコントローラ５００Ｂに対するウェアラブル頭部デバイス５００Ａの６ＤＯＦが、決定されてもよい。加えて、６ＤＯＦトーテムサブシステム５０４Ａは、ハンドヘルドコントローラ５００Ｂの高速移動に関する改良された正確度および／またはよりタイムリーな情報を提供するために有用である、慣性測定ユニット（ＩＭＵ）を含むことができる。
【0048】
いくつかの実施例では、例えば、座標系２０８に対するウェアラブル頭部デバイス５００Ａの移動を補償するために、座標をローカル座標空間（例えば、ウェアラブル頭部デバイス５００Ａに対して固定される座標空間）から慣性座標空間（例えば、実環境に対して固定される座標空間）に変換することが、必要になり得る。例えば、そのような変換は、ウェアラブル頭部デバイス５００Ａのディスプレイが、ディスプレイ上の固定位置および配向において（例えば、ディスプレイの右下隅における同一の位置において）ではなく、仮想オブジェクトを実環境に対する予期される位置および配向において提示し（例えば、ウェアラブル頭部デバイスの位置および配向にかかわらず、前方に向いた実椅子に着座している仮想人物）、仮想オブジェクトが、実環境内に存在する（かつ、例えば、ウェアラブル頭部デバイス５００Ａが、偏移および回転するにつれて、実環境内に不自然に位置付けられて現れない）という錯覚を保全するために必要であり得る。いくつかの実施例では、座標空間の間の補償変換が、座標系２０８に対するウェアラブル頭部デバイス５００Ａの変換を決定するために、ＳＬＡＭおよび／またはビジュアルオドメトリプロシージャを使用して深度カメラ５４４からの画像を処理することによって決定されることができる。図５に示される実施例では、深度カメラ５４４は、ＳＬＡＭ／ビジュアルオドメトリブロック５０６に結合され、画像をブロック５０６に提供することができる。ＳＬＡＭ／ビジュアルオドメトリブロック５０６実装は、本画像を処理し、次いで、頭部座標空間と別の座標空間（例えば、慣性座標空間）との間の変換を識別するために使用され得る、ユーザの頭部の位置および配向を決定するように構成される、プロセッサを含むことができる。同様に、いくつかの実施例では、ユーザの頭部姿勢および場所に関する情報の付加的源が、ＩＭＵ５０９から取得される。ＩＭＵ５０９からの情報は、ＳＬＡＭ／ビジュアルオドメトリブロック５０６からの情報と統合され、ユーザの頭部姿勢および位置の高速調節に関する改良された正確度および／またはよりタイムリーな情報を提供することができる。
【0049】
いくつかの実施例では、深度カメラ５４４は、ウェアラブル頭部デバイス５００Ａのプロセッサ内に実装され得る、手のジェスチャトラッカ５１１に、３Ｄ画像を供給することができる。手のジェスチャトラッカ５１１は、例えば、深度カメラ５４４から受信された３Ｄ画像を手のジェスチャを表す記憶されたパターンに合致させることによって、ユーザの手のジェスチャを識別することができる。ユーザの手のジェスチャを識別する他の好適な技法も、明白となるであろう。
【0050】
いくつかの実施例では、１つ以上のプロセッサ５１６は、ウェアラブル頭部デバイスの６ＤＯＦヘッドギヤサブシステム５０４Ｂ、ＩＭＵ５０９、ＳＬＡＭ／ビジュアルオドメトリブロック５０６、深度カメラ５４４、および／または手のジェスチャトラッカ５１１からのデータを受信するように構成されてもよい。プロセッサ５１６はまた、制御信号を６ＤＯＦトーテムシステム５０４Ａに送信し、それから受信することができる。プロセッサ５１６は、ハンドヘルドコントローラ５００Ｂがテザリングされない実施例等では、無線で、６ＤＯＦトーテムシステム５０４Ａに結合されてもよい。プロセッサ５１６はさらに、視聴覚コンテンツメモリ５１８、グラフィカル処理ユニット（ＧＰＵ）５２０、および／またはデジタル信号プロセッサ（ＤＳＰ）オーディオ空間化装置５２２等の付加的コンポーネントと通信してもよい。ＤＳＰオーディオ空間化装置５２２は、頭部関連伝達関数（ＨＲＴＦ）メモリ５２５に結合されてもよい。ＧＰＵ５２０は、画像毎に変調された光の左源５２４に結合される、左チャネル出力と、画像毎に変調された光の右源５２６に結合される、右チャネル出力とを含むことができる。ＧＰＵ５２０は、例えば、図３Ａ－３Ｄに関して上記に説明されるように、立体視画像データを画像毎に変調された光の源５２４、５２６に出力することができる。ＤＳＰオーディオ空間化装置５２２は、オーディオを左スピーカ５１２および／または右スピーカ５１４に出力することができる。ＤＳＰオーディオ空間化装置５２２は、プロセッサ５１９から、ユーザから仮想音源（例えば、ハンドヘルドコントローラ４２０を介して、ユーザによって移動され得る）への方向ベクトルを示す入力を受信することができる。方向ベクトルに基づいて、ＤＳＰオーディオ空間化装置５２２は、対応するＨＲＴＦを決定することができる（例えば、ＨＲＴＦにアクセスすることによって、または複数のＨＲＴＦを補間することによって）。ＤＳＰオーディオ空間化装置５２２は、次いで、決定されたＨＲＴＦを仮想オブジェクトによって発生された仮想音に対応するオーディオ信号等のオーディオ信号に適用することができる。これは、複合現実環境内の仮想音に対するユーザの相対的位置および配向を組み込むことによって、すなわち、その仮想音が、実環境内の実音である場合に聞こえるであろうもののユーザの予期に合致する仮想音を提示することによって、仮想音の信憑性および現実性を向上させることができる。
【0051】
図５に示されるもの等のいくつかの実施例では、プロセッサ５１６、ＧＰＵ５２０、ＤＳＰオーディオ空間化装置５２２、ＨＲＴＦメモリ５２５、およびオーディオ／視覚的コンテンツメモリ５１８のうちの１つ以上のものは、補助ユニット５００Ｃ（上記に説明される補助ユニット４２０に対応し得る）内に含まれてもよい。補助ユニット５００Ｃは、バッテリ５２７を含み、そのコンポーネントを給電する、および／または電力をウェアラブル頭部デバイス５００Ａまたはハンドヘルドコントローラ５００Ｂに供給してもよい。そのようなコンポーネントを、ユーザの腰部に搭載され得る、補助ユニット内に含むことは、ウェアラブル頭部デバイス５００Ａのサイズおよび重量を限定することができ、これは、ひいては、ユーザの頭部および頸部の疲労を低減させることができる。
【0052】
図５は、例示的複合現実システムの種々のコンポーネントに対応する要素を提示するが、これらのコンポーネントの種々の他の好適な配列も、当業者に明白となるであろう。例えば、補助ユニット５００Ｃと関連付けられるものとして図５に提示される要素は、代わりに、ウェアラブル頭部デバイス５００Ａまたはハンドヘルドコントローラ５００Ｂと関連付けられ得る。さらに、いくつかの複合現実システムは、ハンドヘルドコントローラ５００Ｂまたは補助ユニット５００Ｃを完全に無くしてもよい。そのような変更および修正は、開示される実施例の範囲内に含まれるものとして理解されるものである。
【0053】
人間中心ＡＩ
【0054】
より深い、かつ個人的なレベルで実世界を拡張し、それと相互作用するために、ユーザは、環境および自身についてのそのデータをプラットフォーム（ＭＲシステム２１２、３００に対応し得る）に公開することができる。種々の実施形態では、ユーザは、自身のデータを所有するが、少なくとも１つの重要な使用は、本システムを用いてユーザの体験を向上させることであり得、したがって、本システムは、ユーザが、本情報へのアクセスを得る人物およびそのときを制御することを可能にし、ユーザが、自身の仮想および物理データの両方を共有することを可能にするように構成されてもよい。
【0055】
図６を参照すると、種々の実施形態では、ウェアラブルコンピューティングのための人間中心ＡＩ構成が、３つの基礎的支柱、すなわち、ユーザ６０２、ユーザのためのＡＩコンパニオン６０４、およびユーザの周囲の環境または空間６０６（ＭＲＥであり得、ユーザの物理的環境およびユーザの仮想環境の両方を備え得る）の上に構築されてもよい。主題のＡＩシステムおよびその構成は、人間中心であり得るため、ユーザは、そのような構成のための主要な焦点であり得る。種々の実施形態では、ユーザは、その挙動、情動、選好、ソーシャルグラフ、気質、および身体的属性によって特徴付けられることができる。一実施形態では、仮想ＡＩコンパニオンは、これをより人間化「する」ために、類似する属性のセットによって特徴付けられてもよい。これらは、性格、記憶、知識、状態、アクション、および人間および機械（「Ｏｚ」と呼ばれ得、前述の組み込まれる参考文献に説明されるように、「パス可能な世界」またはその一部の概念と関連付けられ得る）と相互作用する能力を含んでもよい。さらに、「一般相対性理論によると、エーテルのない空間は考えられない」様子と同様に、ユーザとＡＩとの間の相互作用は、環境なしでは考えられないものであり得る。環境は、コンテキストを決定し、体験の境界を提供するために利用されてもよい。ユーザの周囲の環境は、３Ｄ再構成および場面理解、および人間およびその相互作用の理解によってパラメータ化されてもよい。これらの３つの前述の支柱の間の相互作用は、プラットフォームとしての人間中心ＡＩを促進する。
【0056】
メモリグラフ
【0057】
図７は、例示的メモリグラフ７０１を作成するための例示的システム７００を描写する。メモリグラフ７０１は、他のノードとの１つ以上の関連付けを有し得る、１つ以上のノード７１６を備えることができる。いくつかの実施形態では、メモリグラフ７０１は、ＭＲシステム（例えば、ＭＲシステム２１２、３００）によって捕捉されるユーザについての全ての情報を表すことができる。いくつかの実施形態では、メモリグラフ７０１は、少なくとも３つのソース、すなわち、環境観察モジュール７０２、ユーザ観察モジュール７０８、および外部リソース７１４から入力を受信することができる。
【0058】
例示的環境観察モジュール７０２は、１つ以上のセンサ入力７０４ａ－７０４ｎを受信することができる。センサ入力７０４ａ－７０４ｎは、ＳＬＡＭに関する入力を備えることができる。ＳＬＡＭは、物理的環境内の物理的特徴を識別し、物理的環境に対する、かつ相互に対するそれらの物理的特徴を位置特定するためにＭＲシステム（例えば、ＭＲシステム２１２、３００）によって使用されることができる。同時に、ＭＲシステム（例えば、ＭＲシステム２１２、３００）は、物理的環境内で、かつ物理的特徴に対してそれ自体を位置特定することができる。ＳＬＡＭは、ユーザの物理的環境の理解を構築することができ、これは、ＭＲシステム（例えば、ＭＲシステム２１２、３００）が、ユーザの物理的環境を尊重し、それと相互作用する仮想環境を作成することを可能にすることができる。例えば、ＭＲシステム（例えば、ＭＲシステム２１２、３００）がユーザの近傍に仮想ＡＩコンパニオンを表示するために、ＭＲシステムが、ユーザの物理的環境の物理的床を識別し、物理的床の上に立っているように仮想人間アバタを表示することが、望ましくあり得る。いくつかの実施形態では、ユーザが、部屋を歩き回るにつれて、仮想人間アバタは、ユーザとともに（物理的同伴者のように）移動することができ、仮想人間アバタが、テーブルを通り抜けるように見えないように、仮想人間アバタが、物理的障害物（例えば、テーブル）を認識することが、望ましくあり得る。いくつかの実施形態では、ユーザが、着座しているとき、仮想人間アバタが、着座しているように見えることが、望ましくあり得る。したがって、ＭＲシステム（例えば、ＭＲシステム２１２、３００）が、椅子に着座しているように仮想人間アバタを表示し得るように、ＳＬＡＭが、物理的オブジェクトを椅子として認識し、椅子の寸法を認識することが、有益であり得る。ユーザに表示される仮想環境をユーザの物理的環境と統合することは、ユーザが、物理的実体と相互作用しているかのように、ユーザに自然に感じられるシームレスな体験を作成することができる。
【0059】
ＳＬＡＭは、例えば、ビジュアルオドメトリを使用する１つ以上のカメラからの視覚的入力に依拠することができる。カメラは、ユーザの環境の画像を捕捉することができ、ＭＲシステム（例えば、ＭＲシステム２１２、３００）上に搭載されるカメラは、ユーザが見ている方向における画像を捕捉することができる。ＳＬＡＭカメラによって捕捉された画像は、コンピュータビジョンモジュールにフィードされることができ、これは、ＳＬＡＭカメラによって捕捉された特徴を識別することができる。識別された特徴は、物理的環境内の特徴の場所および特徴および／または物理的環境に対するユーザの場所および配向を決定するために、複数の画像を横断して追跡されることができる。各ＳＬＡＭカメラが、異なる視点からの画像を捕捉し得るように、相互に離れて位置する少なくとも２つのＳＬＡＭカメラを利用することが、有用であり得る。そのような立体視撮像は、物理的環境内の特徴の場所および配向に関する付加的深度情報を提供することができる。
【0060】
他のセンサ入力も、同様にＳＬＡＭを補助することができる。例えば、ＩＭＵからのセンサデータは、ビジュアル慣性オドメトリを使用するＳＬＡＭのために使用されることができる。ＩＭＵは、ＭＲシステム（例えば、ＭＲシステム２１２、３００）、および対応して、ＭＲシステムを装着するユーザの加速度および回転速度等の情報を提供することができる。ＩＭＵ情報は、物理的環境内の識別された特徴の位置および／または配向を決定するために、視覚情報と結合されることができる。例えば、ＩＭＵ情報および視覚情報は、物理的環境の構築されたマップを固定し得る、重力に関するベクトルを決定するために使用されることができる。ＩＭＵ情報はまた、ユーザが捕捉された視覚フレームの間で移動および／または回転した距離を決定し、物理的環境内の特徴を位置特定し、位置付けるための付加的情報を提供するために使用されることができる。ＳＬＡＭを補助し得る付加的センサ入力は、例えば、深度センサ、ＬＩＤＡＲセンサ、および／または飛行時間センサからの深度情報を含むことができる。これらのセンサは、物理的環境内の特徴を位置特定および配向するための付加的情報を提供することができる。深度情報は、視覚センサが、複数の画像を横断して追跡するために比較的に少ない特徴（例えば、開口部のない壁の画像）を捕捉するとき、特に有用であり得る。
【0061】
いくつかの実施例では、センサ入力７０４ａ－７０４ｎは、ユーザの環境のマップを作成するための他の方法を含むことができる。例えば、センサ入力７０４ａ－７０４ｎは、ＭＲシステム（例えば、ＭＲシステム２１２、３００）をジオロケートし得る、ＧＰＳセンサおよび／またはＷｉＦｉチップからの入力を備えることができる。ジオロケートされたＭＲシステムは、次いで、その場所情報に基づいて、サーバからその場所および環境についての既存の情報をダウンロードすることができる。例えば、ＭＲシステムは、その場所に基づいて、オンラインマッピングサービスから３Ｄマップをダウンロードすることができる。既存の情報は、センサ入力７０４ａ－７０４ｎからの観察に基づいて、修正または上書きされてもよい。具体的実施例が、使用されるが、ＭＲシステム（例えば、ＭＲシステム２１２、３００）によって捕捉され、ユーザの環境を決定するために使用され得る任意のセンサ入力が、本開示の範囲内であることが想定される。センサ入力７０４ａ－７０４ｎは、ブロック７０６においてユーザの物理的環境のマップを作成するために使用されることができ、本情報は、メモリグラフ７０１にフィードされることができる。
【0062】
例示的ユーザ観察モジュール７０８は、（センサ入力７０４ａ－７０４ｎに対応し得る）１つ以上のセンサ入力７１０ａ－７１０ｎを受信することができる。センサ入力７１０ａ－７１０ｎは、ユーザおよびＭＲＥ内の種々の刺激に対するユーザの応答についての情報を捕捉することができる。いくつかの実施形態では、センサ入力７１０ａ－７１０ｎは、ＭＲＥ内の種々の刺激に対するユーザの明示的応答を捕捉することができる。例えば、センサ入力７１０ａ－７１０ｎは、ＭＲシステム（例えば、ＭＲシステム２１２、３００）上の１つ以上のマイクロホンによって捕捉されるオーディオ信号を備えることができる。いくつかの実施形態では、ユーザは、声に出して「私はそれが好きだ」と言うことができ、これは、ＭＲシステム（例えば、ＭＲシステム２１２、３００）上の１つ以上のマイクロホンによって記録されることができる。１つ以上のマイクロホンは、オーディオ信号を処理し、ユーザの発話を転写することができ、本転写は、例えば、発話された言葉の背後の意味を決定するために、自然言語処理ユニットにフィードされることができる。いくつかの実施形態では、ＭＲシステム（例えば、ＭＲシステム２１２、３００）は、オーディオ信号が、ＭＲシステムを装着するユーザから生じたと決定することができる。例えば、オーディオ信号は、ユーザが、発話者であるかどうかを決定するために、処理され、ユーザの音声の１つ以上の以前の既知の記録と比較されることができる。他の実施形態では、ＭＲシステム（例えば、ＭＲシステム２１２、３００）上に位置付けられる２つのマイクロホンが、ユーザの口から等距離にあり得、２つのマイクロホンによって捕捉されたオーディオ信号は、したがって、ほぼ同一の振幅におけるほぼ同一の発話信号を含有することができ、本情報は、ユーザが、発話者であると決定するために使用されることができる。
【0063】
いくつかの実施形態では、センサ入力７１０ａ－７１０ｎは、１つ以上の刺激に対する応答を明示的に示すためにユーザが使用し得る他の方法を捕捉することができる。例えば、ユーザは、「親指を立てる」ジェスチャを実施することができ、ＭＲシステム（例えば、ＭＲシステム２１２、３００）は、１つ以上のカメラを介してこれを捕捉することができる。捕捉された画像は、ユーザが、親指を立てるジェスチャを実施したと決定するために、コンピュータビジョン方法を使用して処理されることができ、ＭＲシステム（例えば、ＭＲシステム２１２、３００）は、ユーザが、ジェスチャを通して承認を示していると決定することができる。ジェスチャは、本システムによってプロンプトされるか、プロンプトされないかのいずれかであり得る。プロンプトされるジェスチャは、本システムが、ユーザが、刺激を好む場合、ユーザが、特定のジェスチャを実施し得ることを示すことを含むことができる。別の実施例では、ユーザは、ＭＲシステム（例えば、ＭＲシステム２１２、３００）の一部であり得る、コントローラ上のボタンを押下することができる。別の実施例では、ユーザは、首肯することができる。ＭＲシステム（例えば、ＭＲシステム２１２、３００）は、例えば、カメラおよび／またはＩＭＵを使用して本情報を捕捉し、ユーザが、承認を示していると決定することができる。具体的実施例が、使用されるが、ＭＲシステム（例えば、ＭＲシステム２１２、３００）によって捕捉され得る任意の明示的応答が、本開示の範囲内であることが想定される。
【0064】
センサ入力７１０ａ－７１０ｎはまた、ＭＲＥ内の種々の刺激に対するユーザの暗示的応答を捕捉することができる。例えば、センサ入力７１０ａ－７１０ｎは、ユーザの注視についての情報を捕捉し、ユーザが着目している程度を決定することができる（例えば、眼追跡センサが、ユーザの注視に関する方向を決定する、ユーザが見ているオブジェクトを決定する、および／またはユーザの注視の持続時間を決定することができる）。センサ入力７１０ａ－７１０ｎは、ユーザの視野内の物理的オブジェクトに関する情報を捕捉し得る、ＭＲシステム（例えば、ＭＲシステム２１２、３００）上に搭載される１つ以上の外向きカメラからの入力を備えることができる。センサ入力７１０ａ－７１０ｎはさらに、ユーザの眼移動に関する情報を捕捉し得る、ＭＲシステム（例えば、ＭＲシステム２１２、３００）上に搭載される１つ以上の内向きカメラからの入力を備えることができる。これらの入力は、ユーザの注視およびユーザがＭＲＥ内で見ているもの（例えば、ユーザが見ている物理的および／または仮想オブジェクト）を決定するために組み合わせられることができる。いくつかの実施形態では、ＭＲシステム（例えば、ＭＲシステム２１２、３００）は、ユーザが物理的または仮想オブジェクトを見ている時間を決定し、着目レベルを決定することができる。例えば、ユーザが、長時間にわたって物理的または仮想オブジェクトを注視する場合、ＭＲシステム（例えば、ＭＲシステム２１２、３００）は、高い着目レベルを決定することができる。別の実施例では、ＭＲシステム（例えば、ＭＲシステム２１２、３００）上に搭載される１つ以上の内向きカメラは、ユーザの口移動に関する情報を捕捉することができる。ユーザが、微笑んでいる場合、ＭＲシステム（例えば、ＭＲシステム２１２、３００）は、ユーザの口移動に基づいて、親和性レベルを決定することができる。別の実施例では、ＭＲシステム（例えば、ＭＲシステム２１２、３００）上に搭載される１つ以上の内向きカメラは、ユーザの顔色に関する情報を捕捉することができる。ユーザの顔色が、赤色になる場合、ＭＲシステム（例えば、ＭＲシステム２１２、３００）は、情動強度レベルを決定することができ、適切な情動が、他のセンサ入力７１０ａ－７１０ｎを使用して決定されることができる（例えば、ユーザが、微笑んでいるかどうか、ユーザが話している内容およびユーザがしゃべっている声の大きさを含む、ユーザが、発話しているかどうか、および／またはユーザが、笑っているかどうか）。暗示的応答はまた、笑い声、喘ぎ声、呻き声等のユーザによって発せられる音を含むことができ、これは、センサ入力として捕捉され、ユーザの情動状態を決定するために解釈されることができる。具体的実施例が、使用されるが、ＭＲシステム（例えば、ＭＲシステム２１２、３００）によって捕捉され得る任意の暗示的応答が、本開示の範囲内であることが想定される。センサ入力７１０ａ－７１０ｎは、ブロック７１２においてユーザ応答を決定するために使用されることができ、本情報は、メモリグラフ７０１にフィードされることができる。
【0065】
外部リソース７１４は、さらなる情報をメモリグラフ７０１に提供することができる。例えば、外部リソース７１４は、既存のソーシャルグラフを備えることができる。ソーシャルグラフは、エンティティの間の関係を表すことができる。例えば、あるソーシャルグラフは、種々の文学作品を共通の著者にリンクし得、あるソーシャルグラフは、種々の音を共通のアーティストにリンクし得、あるソーシャルグラフは、人物をともに（例えば、同僚、友人、または家族として）リンクし得、あるソーシャルグラフは、画像をともに（例えば、ワシントン記念塔の全ての画像または犬の全ての画像として）リンクし得る。ソーシャルグラフは、ソーシャルメディアサイト、ウェブクロールアルゴリズム、または任意の利用可能な源から引用されることができる。ソーシャルグラフはまた、センサ入力（例えば、センサ入力７０４ａ－７０４ｎおよび／またはセンサ入力７１０ａ－７１０ｎ）を使用して、ＭＲシステム（例えば、ＭＲシステム２１２、３００）によって作成および／または修正されることができる。外部リソースはまた、他の形態の情報を備えることができる。例えば、外部リソース７１４は、ユーザの電子メールコンテンツへのアクセスを提供し得る、接続された電子メールアカウントを備えることができる。外部リソース７１４は、メモリグラフ７０１にフィードされることができる。
【0066】
環境観察モジュール７０２、ユーザ観察モジュール７０８、および外部リソース７１４は、図７に示されるように、例示的メモリグラフ７０１を作成するために使用されることができる。例示的メモリグラフ７０１は、１つ以上のノード７１６を備えることができる。ノード７１６は、物理的オブジェクト、仮想オブジェクト、イベント、アクション、音、ユーザ応答、および／または、概して、ユーザが遭遇し得る任意の体験を表すことができる。ノード７１６は、１つ以上のノードに接続されることができ、これらの接続は、ノードが相互にリンクされ得る任意の方法を表すことができる。接続は、空間的接続（例えば、テーブルおよび椅子が、相互に近傍に位置する）、時間的接続（例えば、雨が、止み、ユーザは、直後に走りに出かけた）、意味的接続（例えば、識別された人物が、ユーザの同僚である）、または任意の他の接続を表すことができる。
【0067】
メモリグラフは、ユーザについての全ての既知および／または学習された情報、およびその情報がそれ自体および他の情報に関連する様子を表すことができる。例えば、ノード７１６ｃは、ユーザ以前のＬｏｎｄｏｎでの休暇を表すことができる。ノード７１６ｃは、センサ入力７０４ａ－７０４ｎ（例えば、ＧＰＳセンサが、ＭＲシステムを装着するユーザがＬｏｎｄｏｎにいることを識別する、および／またはカメラが、バッキンガム宮殿のようなＬｏｎｄｏｎのランドマークを識別する）および／または外部リソース７１４（例えば、接続された電子メールアカウントが、Ｌｏｎｄｏｎへの、およびそこからのフライトを含む移動旅程および／またはＬｏｎｄｏｎでのホテル旅程を含有する）を使用して発生されることができる。ノード７１６ｅは、ユーザがユーザのＬｏｎｄｏｎ旅行の間に滞在したホテルを表すことができ、ノード７１６ｅは、空間的（例えば、ホテルは、Ｌｏｎｄｏｎに位置する）、時間的（例えば、ユーザが、Ｌｏｎｄｏｎを訪れている間、ユーザは、ホテルにいた）、意味的（例えば、ホテルは、その名称に「Ｌｏｎｄｏｎ」という単語を有していた）、および／または他の接続を介してノード７１６ｃに接続されることができる。ノード７１６ｄは、ユーザがユーザのＬｏｎｄｏｎへの旅行の間に参加したサッカーの試合を表すことができ、ノード７１６ｆは、サッカーの試合の間にプレーしたサッカーチームを表すことができる。ノード７１６ｄは、空間的（例えば、スタジアムは、Ｌｏｎｄｏｎに位置する）、時間的（例えば、ユーザが、Ｌｏｎｄｏｎを訪れている間、ユーザは、スタジアムにいた）、意味的、および／または他の接続を介してノード７１６ｃに接続されることができる。ノード７１６ｄは、空間的（例えば、チームは、Ｌｏｎｄｏｎにいた）、時間的（例えば、チームは、試合の間にＬｏｎｄｏｎにいた）、意味的（例えば、チームは、Ｌｏｎｄｏｎを拠点としている）、および／または他の接続を介してノード７１６ｆに接続されることができる。同様に、ノード７１６ｆは、空間的（例えば、ユーザは、チームとして同一の都市にいた）、時間的（例えば、ユーザが、Ｌｏｎｄｏｎを訪れている間、ユーザは、チームのプレーを見た）、意味的、および／または他の接続を介してノード７１６ｃに接続されることができる。
【0068】
各ノードは、センサ入力７１０ａ－７１０ｎから決定され得る、関連付けられるユーザ反応を有することができ、関連付けは、環境観察モジュール７０２および／または外部リソース７１４から発生されることができる。例えば、ＭＲシステム（例えば、ＭＲシステム２１２、３００）は、（例えば、内向きカメラを使用して）ユーザが微笑んだことを観察することができ、ユーザ観察モジュールは、ユーザ反応（例えば、ユーザが喜んでいること）を決定することができる。環境観察モジュール７０２および／または外部リソース７１４は、（例えば、ユーザがホテルにいることを決定するためにＧＰＳおよび／またはＷｉＦｉ情報を使用して、かつユーザが、ドア上の番号がユーザの電子メールに提供された部屋番号に合致する部屋に進入したことを決定するために視覚カメラを使用して）ユーザが自身のホテルの部屋に進入したことを観察することができる。ユーザ観察モジュール７０８によって提供される情報は、例えば、それらの時間的関係に基づいて、環境観察モジュール７０２および／または外部リソース７１４によって提供される情報と関連付けられることができる。ユーザが、自身の部屋に進入したとき、ユーザが、微笑んでいたと決定される場合、ユーザは、ホテルに満足していると決定されることができる。ユーザ反応とノードとの間の関連付けは、時間的関連付け（例えば、反応が、ノードによって表されるイベントに時間的に隣接して起こった）、空間的関連付け（例えば、反応が、ユーザが、ノードによって表される場所に物理的に隣接していたとき、またはユーザが、ノードによって表されるオブジェクトの物理的に近傍にいたときに起こった）、または任意の他の関連付けまたは関連付けの組み合わせであり得る。
【0069】
ノードの間の接続は、ノードが接続される程度に基づいて加重される、および／または関連付けられるノードに対するユーザの反応に基づいて加重されることができる。例えば、ユーザが、ノードによって表されるイベントを特に享受したと決定される場合、接続されたノードは、その接続をより高く加重されてもよい。いくつかの実施形態では、ユーザによる否定的反応は、１つ以上の関連付けられる接続が、より高く（例えば、仮想コンパニオンが、ユーザがあるオブジェクト／イベント／体験を回避することを推奨するために）、またはより低く（例えば、ユーザがあるオブジェクト／イベント／体験を試すことを推奨することを回避するために）加重された状態になることをもたらすことができる。
【0070】
ＭＲＥ内での仮想コンパニオンの提示
【0071】
図８は、ＭＲＥ内でユーザに仮想コンパニオンを提示するための例示的システム８００を図示する。ユーザに仮想コンパニオンを提示することは、データベース８０２、環境観察モジュール８０８（環境観察モジュール７０２に対応し得る）、および／またはユーザ観察モジュール８１４（ユーザ観察モジュール７０８に対応し得る）からの情報を使用することができる。ＭＲシステム（例えば、ＭＲシステム２１２、３００）からの情報を利用し、ユーザの物理的環境を尊重し、それに存在し、それと相互作用する、生きているような仮想コンパニオンを提示し、物理的コンテンツとの相互作用を再現する仮想コンテンツとのシームレスな相互作用を作成することが、望ましくあり得る。シームレス性は、ＭＲシステムの「常時オン」性質（例えば、ユーザは、ＭＲシステムがユーザおよびユーザの環境についての入力を受信するために、ＭＲシステムと意図的に相互作用する必要はない）と併せた、ＭＲシステム（例えば、ＭＲシステム２１２、３００）上に存在し得る大量かつ種々のセンサの結果であり得る。
【0072】
データベース８０２は、ＭＲＥ内に仮想コンパニオンを提示するために使用されることができ、データベース８０２は、種々の情報を備えることができる。例えば、データベース８０２は、メモリグラフ８０４ａ（メモリグラフ７０１に対応し得る）を備えることができ、メモリグラフ８０４ａは、ユーザについての全ての（または少なくとも一部の）既知および／または学習された情報を表すことができる。データベース８０２はまた、スクリプト化情報８０４ｂを備えることができる。スクリプト化情報８０４ｂは、仮想コンパニオンを人間アバタとしてレンダリングするためにＭＲシステム（例えば、ＭＲシステム２１２、３００）が使用し得る、スクリプト化アニメーションおよび／または姿勢を含むことができる。例えば、スクリプト化情報８０４ｂは、（例えば、メッシュアニメーションに）アニメーション化されている場合がある、人間の俳優が歩いている、着座している、および走っている記録を備えることができる。スクリプト化情報８０４ｂはまた、言語的基礎的要素に分解され、仮想コンパニオンに関する人間の音声を合成するために使用され得る、人間の俳優の音声記録を備えることができる。データベース８０２はまた、学習された情報８０４ｃを備えることができる。いくつかの実施形態では、学習された情報８０４ｃは、スクリプト化情報８０４ｂを補足および／または上書きすることができる。例えば、学習された情報８０４ｃは、ユーザが特定の自然言語で、および／または特定のアクセントで発話している情報を備えることができる。ＭＲシステム（例えば、ＭＲシステム２１２、３００）は、ユーザ発話のオーディオ記録を通して（例えば、機械学習を介して）本言語および／またはアクセントを学習することができ、適切な言語および／またはアクセントを伴う人間発話に合成するために、スクリプト化音声記録を修正する、および／または新しい音声記録を発生させてもよい。データベース８０２はさらに、ユーザプロンプト８０４ｄからの情報を備えることができる。ユーザプロンプト８０４ｄは、ユーザから直接取得された情報を備えることができる。例えば、仮想コンパニオンは、初期化プロセスの一部としてユーザに質問を行ってもよい（例えば、仮想コンパニオンは、ユーザに自己「紹介」し、紹介の典型であり得る質問を行うことができる）。いくつかの実施形態では、８０４ｂ－８０４ｄに含有される情報の一部または全てはまた、メモリグラフ８０４ａにおいて表されてもよい。
【0073】
データベース８０２内に記憶される情報は、大量の詳細かつ個人化された情報をユーザに提示するために使用されることができる。例えば、ユーザは、仮想コンパニオンに「私は去年Ｌｏｎｄｏｎに行ったときにどこに滞在したか？」と尋ねることができる。データベース８０２および／またはメモリグラフ８０４ａは、問い合わせられることができ、仮想コンパニオンは、ユーザに関して収集された情報に基づいて、ユーザが滞在したホテルをユーザに教えることができる。
【0074】
環境モジュール８０８はまた、仮想コンパニオンが、実環境内で実コンパニオンとして現れるように、シームレス様式でＭＲＥ内に仮想コンパニオンを提示するために使用されることができる。例えば、環境モジュール８０８は、ユーザの近傍の空の椅子の存在を決定することができる。ユーザが、着座すると、ＭＲシステム（例えば、ＭＲシステム２１２、３００）は、ユーザと同一の空間に存在し、空の椅子に同様に着座するように人間アバタを表示することができる。同様に、ユーザが、歩き回ると、人間アバタは、ユーザとともに移動するように表示されることができ、人間アバタは、椅子のような物理的障害物を回避し、概して、物理的環境を尊重する（例えば、階段を通り抜ける代わりに、それを上に横断する）ように表示されることができる。
【0075】
ユーザ観察モジュール８１４はまた、仮想コンパニオンの提示される情動状態が、ユーザからの明示的および／または暗示的キューに基づいて、上記に説明されるように決定される、ユーザのものをミラーリングする（または少なくともそれに近似する）ように、シームレスな様式でＭＲＥ内に仮想コンパニオンを提示するために使用されることができる。例えば、ユーザ観察モジュール８１４は、ユーザの一般的な気分を決定する（例えば、ユーザの微笑みについての情報を捕捉する内向きカメラに基づいて、ユーザが、喜んでいると決定する）ことができ、仮想コンパニオンは、ユーザの挙動をミラーリングすることができる（例えば、仮想コンパニオンもまた、微笑んでいるように表示されることができる）。
【0076】
いくつかの実施形態では、データベース８０２、環境観察モジュール８０８、およびユーザ観察モジュール８１４は、ユーザが存在するＭＲＥ内のシームレスな仮想コンパニオン体験を提示するために組み合わせられ得る情報を提供することができる。いくつかの実施形態では、ＭＲシステム（例えば、ＭＲシステム２１２、３００）上のセンサは、仮想コンパニオンが、いくつかの事例では、ユーザからいかなるプロンプトも要求することなく、ユーザのＭＲＥ内に情報を提示することを可能にする。例えば、ＭＲシステム（例えば、ＭＲシステム２１２、３００）は、ユーザが、別の人物とＬｏｎｄｏｎの宿泊施設について話し合っており（例えば、ＭＲシステム上のマイクロホンが、転写され、自然言語プロセッサに送信されるオーディオ信号を検出し、ＭＲシステム上のカメラが、ユーザの視野内の人物を検出および識別する）、ユーザが、情報を想起しようとしている（例えば、ＭＲシステム上の内向きカメラが、ユーザの眼が上を向いていることを検出する）と決定することができる。データベース８０２は、次いで、アクセスされ、コンテキスト情報が、ユーザが自身の以前のＬｏｎｄｏｎへの旅行の間に滞在したホテルを決定するために、環境観察モジュール８０８およびユーザ観察モジュール８１４から使用されることができる。本情報は、次いで、目立たない、かつアクセス可能な様式でリアルタイムで（例えば、ユーザに表示される仮想テキストバブルを介して、または仮想コンパニオンによって掲げられる情報カードを介して）ユーザに提示されることができる。他の実施形態では、仮想コンパニオンは、ユーザによる明示的プロンプトを通して、そのＭＲＥ内のユーザに（明示的および／または暗示的に学習された）情報を提示することができる（例えば、ユーザは、ユーザがＬｏｎｄｏｎで滞在した場所を仮想コンパニオンに尋ねてもよい）。
【0077】
いくつかの実施形態では、仮想コンパニオンは、ユーザおよびユーザのＭＲＥと相互作用することができる。例えば、仮想コンパニオンは、犬の仮想アバタとしてそれ自体を提示することができ、ユーザは、仮想コンパニオンとフェッチ遊びをすることができる。ユーザは、仮想または物理的スティックを投げることができ、仮想コンパニオンは、ユーザの存在する物理的環境内で移動し、（例えば、障害物の周囲を移動することによって）物理的環境内の障害物を尊重するように提示されることができる。別の実施例では、ＭＲシステム（例えば、ＭＲシステム２１２、３００）は、他のデバイス（例えば、スマート電球）に接続することができ、ユーザは、仮想コンパニオンがライトをオンにすることを要求することができる。ＭＲシステム（例えば、ＭＲシステム２１２、３００）によって提供されるデータにアクセスし得る仮想コンパニオンは、多くの利益を有する。例えば、情報は、（仮想コンパニオンが、現在表示されているかどうかにかかわらず）ユーザによる介入を伴わずにＭＲシステムによって連続的に記録されることができる。同様に、情報は、連続的に記録された情報に基づいて、ユーザ介入を伴わずにユーザに提示されることができる。
【0078】
仮想コンパニオンの実施例
【0079】
図９Ａを参照すると、人間ユーザ（「Ａｌｅｘ」）が、自身の実リビングルーム内のカウチ上に着座して示され、Ａｌｅｘは、ウェアラブルコンピューティングシステム（例えば、ＭＲシステム２１２、３００）を装着しており、本システムは、図９Ｂに示されるような自身の周囲の部屋およびオブジェクトのメッシュを作成する。また、図９Ｂを参照すると、仮想コンパニオン（「Ａｙａ」と名付けられ得る）が、現れ、描写される図示においてホログラムのように見える。図９Ｃ－９Ｅを参照すると、本実施形態では、Ａｙａは、（例えば、ＭＲシステム２１２、３００上のカメラを介して）部屋が異常に暗いことに気付き、Ａｌｅｘの選好の観察（例えば、メモリグラフ７０１、８０４ａ内に記憶され、関連付けられる観察）を利用し、（例えば、スマート電球への無線接続を介して）Ａｌｅｘの部屋内の実際の／物理的ライトを明るくする。Ａｙａは、（例えば、ＳＬＡＭおよびＭＲシステム２１２、３００上のセンサを使用して）環境を走査し、そのコンテキストを理解することに進む。場面は、セグメント化され、オブジェクトが、検出され、図９Ｃ－９Ｉの右に情報ノードの関連付けとして描写される、「Ｌｉｆｅｓｔｒｅａｍ」と呼ばれ得る、Ａｙａのメモリ内に記憶される。Ｌｉｆｅｓｔｒｅａｍは、メモリグラフ７０１、８０４ａに対応することができる。一実施形態では、Ｌｉｆｅｓｔｒｅａｍは、物理的および仮想観察および体験の両方を含む、人物の全体験フロー（例えば、生まれてから死ぬまで）を捕捉する理論的に完全なデータセットとして定義されてもよい。
【0080】
図９Ｆを参照すると、Ａｌｅｘは、Ａｙａを見て、「Ａｙａ、去年の夏のＰｉｎｋ Ｆｌｏｙｄのコンサートで演奏されていた私が好きだった曲は何？」と尋ねる。図９Ｇを参照すると、Ａｙａは、Ｌｉｆｅｓｔｒｅａｍに問い合わせ、コンサートのメモリを読み出し、Ａｙａは、「Ａｎｏｔｈｅｒ ｂｒｉｃｋ ｉｎ ｔｈｅ ｗａｌｌです」と返答する。図９Ｈを参照すると、Ａｌｅｘは、「ああ、それは驚いた！君の助けがなければ思い出せなかっただろうね。それをテレビで再生してくれない？」と述べる。Ａｙａは、室内の実際のテレビでミュージックビデオを流す、または代替として、Ａｌｅｘの拡張現実テレビを介してビデオを提示することができる。オーディオは、例えば、Ａｌｅｘのヘッドセットまたは他のスピーカを通してＡｌｅｘに提示されてもよい。
【0081】
図９Ｉを参照すると、その会話の後、別の実際の人物（「Ｅｒｉｃａ」）が、部屋に進入し、Ａｌｅｘに挨拶する。Ａｙａは、Ｅｒｉｃａの顔を走査し、Ｅｒｉｃａを認識する。Ａｙａは、ウェアラブルコンピュータシステムコンポーネント（例えば、ＭＲシステム２１２、３００）上のＡｌｅｘの眼に隣接して位置付けられるカメラを通してＥｒｉｃａに対するＡｌｅｘの反応を知覚し、ＡｌｅｘがＥｒｉｃａに会えて喜んでいることを「見る」。Ａｙａは、別のメモリスナップショットを作成し、Ｌｉｆｅｓｔｒｅａｍ内にこれを記憶する。
【0082】
図９Ｊを参照すると、ＡｌｅｘがＥｒｉｃａに挨拶した後、Ａｌｅｘは、ＡｙａがちょうどＰｉｎｋ ＦｌｏｙｄのコンサートでＡｌｅｘが好きだった曲をＡｌｅｘに思い出させてくれたことをＥｒｉｃａに知らせる。Ｅｒｉｃａは、自分もそれを聞きたいと返答し、したがって、Ａｌｅｘは、Ｅｒｉｃａもまた聞こえ得るように、室内の物理的スピーカを通して曲を再生するようにＡｙａに頼む。Ａｙａは、全員に聞こえるように曲をかけ、後で話そうとＪｏｈｎに伝え、姿を消す。
【0083】
図１０Ａおよび１０Ｂを参照すると、「Ｍｉｃａ」と呼ばれる、本明細書に強調される実施形態等の仮想、デジタル、および／または複合または拡張現実アシスタントまたはコンパニオンは、好ましくは、親しみやすさ、共感、理解、記憶、および表情等のある能力および特色を有するように構成可能である。照明および現実的な紅潮、現実的な歩行運動モデル、ユーザベースの反応モデル、および配慮モデル等の種々の因子が、入力をそのようなＡＩアシスタントまたはコンパニオンの提示に提供してもよい。コンピュータグラフィックス、アニメーション、捕捉、および操作システムが、生きているような仮想コンパニオンを作成することに対して重要であり得、徹底した細部が、説得力のある体験を達成するために要求され得る。種々の分野からの専門家が、密接に協力する必要があり得る。１つ間違えると、キャラクタは、よそよそしくなり得るが、正しく行うと、存在および働きを達成することができる。任意の他のタイプのキャラクタに対して、デジタル人間は、おそらく最も困難であるが、これはまた、ユーザが最も親しみ得るものであり、したがって、親しみやすいＡＩを開発するための最も充実した手段であり得る。映画と比較して、複合現実では、ハードルは、おそらくより高い。キャラクタとの相互作用は、スクリプト化されず、定義上、ユーザは、キャラクタが応答する方法に影響を及ぼすはずである。例えば、正確な合成眼表現システムを開発した後、キャラクタおよびＡＩシステムは、ユーザとともに注視を追跡するように設定されることができる。ユーザは、キャラクタに対して強い意見を有し、例えば、ユーザが人間を説明するであろうような方法で述べることができる。これは、ＡＩに対する人間中心インターフェースを開発するために重要であり得る。これらの開発では、重要な属性は、特に焦点を当てたＡＩ関連システムが設計され、進化することを要求し得る。上記のように、本システムが、親しみやすく、共感的で、持続性（すなわち、記憶を有し、Ｌｉｆｅｓｔｒｅａｍの概念を利用する）で、知識が豊富であり、有用であるペルソナをユーザに提示することが、望ましくあり得る。これらの開発は、ユーザにとってＡＩをあまりよそよそしくせず、より自然なものにするための入口になることができる。人間またはキャラクタを表すことの課題は、多いが、キャラクタの具現化はまた、全ての人物が有する知識および理解の微妙なニュアンスを引き出す。
【0084】
文脈、詳細、およびニュアンスが、重要であり得、知能は、隔絶状態において存在しない。ちょうど人間の知能のように、ＡＩは、１つのシステムからだけではなく、複数のコンポーネントおよびエージェントの相互作用から出現することができる。複合現実に対する人間中心ＡＩインターフェースのための重要なベンチマークとして主題のシステムおよびその構成を開発することが、望ましくあり得、作成者および開発者が人間中心体験を作成することに役立てるためのソフトウェアシステムを開発することもまた、望ましくあり得る。開発者が、人間化されたＡＩによって引き起こされる体験、すなわち、現実的な感情および情動を誘起し、情報およびコンピューティングシステムの非常に効率的な使用を促進する体験を作成および構築することに役立つことが、望ましくあり得る。
【0085】
本発明の種々の例示的実施形態が、本明細書に説明される。これらの実施例は、非限定的意味で参照される。それらは、本発明のより広く適用可能な側面を例証するために提供される。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、均等物が代用されてもよい。加えて、多くの修正が、特定の状況、材料、組成物、プロセス、プロセス作用、またはステップを本発明の目的、精神、または範囲に適合させるために行われてもよい。さらに、当業者によって理解されるであろうように、本明細書で説明および図示される個々の変形例はそれぞれ、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され得るか、またはそれらと組み合わせられ得る、離散コンポーネントおよび特徴を有する。全てのそのような修正は、本開示と関連付けられる請求項の範囲内であることが意図される。
【0086】
本発明は、主題のデバイスを使用して実施され得る方法を含む。本方法は、そのような好適なデバイスを提供する行為を含んでもよい。そのような提供は、エンドユーザによって実施されてもよい。換言すると、「提供する」行為は、単に、エンドユーザが、本主題の方法において必要なデバイスを取得する、それにアクセスする、それに接近する、それを位置付ける、それを設定する、それをアクティブ化する、それに電源を入れる、または別様にそれを提供するように作用することを要求する。本明細書に列挙される方法は、論理的に可能な列挙されたイベントの任意の順序およびイベントの列挙される順序で行なわれてもよい。
【0087】
本発明の例示的側面が、材料選択および製造に関する詳細とともに、上記に記載されている。本発明の他の詳細に関して、これらは、上記で参照された特許および刊行物に関連して理解され、概して、当業者によって公知である、または理解され得る。同じことが、一般的または論理的に採用されるような付加的行為の観点から、本発明の方法ベースの側面に関しても当てはまり得る。
【0088】
加えて、本発明は、随意に、種々の特徴を組み込む、いくつかの実施例を参照して説明されているが、本発明は、本発明の各変形例に関して検討されるように説明または図示されるものに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、均等物（本明細書に列挙されるか、またはある程度の簡潔目的のために含まれないかどうかにかかわらず）が、本発明の真の精神および範囲から逸脱することなく代用されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値および任意の他の述べられた値または述べられた範囲内の介在値が、本発明内に包含されるものと理解されたい。
【0089】
また、説明される本発明の変形例の任意の随意の特徴は、独立して、または本明細書に説明される特徴のうちの任意の１つ以上のものと組み合わせて、記載および請求され得ることが検討される。単数形項目の言及は、存在する複数の同一項目が存在する可能性を含む。より具体的には、本明細書および本明細書に関連付けられた請求項で使用されるように、単数形「ａ」、「ａｎ」、「ｓａｉｄ」、および「ｔｈｅ」は、別様に具体的に述べられない限り、複数の言及を含む。換言すると、冠詞の使用は、上記の説明および本開示と関連付けられる請求項における本主題の項目のうちの「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意の要素を除外するように起草され得ることに留意されたい。したがって、本文言は、請求項の要素の列挙と関連する「単に」、「のみ」、および同等物等の排他的専門用語の使用、または「消極的」限定の使用のための先行詞としての役割を果たすことが意図される。
【0090】
そのような排他的専門用語を使用しなければ、本開示と関連付けられる請求項における用語「～を備える」は、所与の数の要素がそのような請求項で列挙されるかどうかにかかわらず、任意の付加的要素の包含を可能にするものとする、または特徴の追加は、そのような請求項に記載される要素の性質を変換すると見なされ得る。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の正当性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるべきである。
【0091】
本発明の範疇は、提供される実施例および／または本明細書に限定されるものではなく、むしろ、本開示と関連付けられる請求項の用語の範囲のみによって限定されるものとする。
【図1】
【図2A】
【図2B】
【図2C】
【図3A】
【図3B】
【図3C】
【図3D】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図9D】
【図9E】
【図9F】
【図9G】
【図9H】
【図9I】
【図9J】
【図10A】
【図10B】
