(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024111071
(43)【公開日】2024-08-16
(54)【発明の名称】複合現実楽器
(51)【国際特許分類】
G10H 1/00 20060101AFI20240808BHJP
G10H 1/18 20060101ALI20240808BHJP
G10H 1/02 20060101ALN20240808BHJP
【ＦＩ】
G10H1/00 Z
G10H1/18 Z
G10H1/02
【審査請求】有
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2024096552
(22)【出願日】2024-06-14
(62)【分割の表示】P 2023047984の分割
【原出願日】2019-02-15
(31)【優先権主張番号】62/631,405
(32)【優先日】2018-02-15
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】514108838
【氏名又は名称】マジック リープ， インコーポレイテッド
【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．
【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】アナスタシア アンドレエヴナ タジク
(57)【要約】
【課題】複合現実楽器の提供。
【解決手段】ある方法が、開示され、本方法は、複合現実環境内の第１の実オブジェクトを識別するステップであって、複合現実環境は、ユーザを有する、ステップと、複合現実環境内の第２の実オブジェクトを識別するステップと、複合現実環境内において、第２の実オブジェクトに対応する第１の仮想オブジェクトを生成するステップと、複合現実環境内において、第１の実オブジェクトと第１の仮想オブジェクトとの間の衝突を識別するステップと、衝突と関連付けられた第１の属性を決定するステップと、第１の属性に基づいて、衝突に対応する第１のオーディオ信号を決定するステップと、ユーザに、１つ以上のスピーカを介して、第１のオーディオ信号を提示するステップとを含む。
【選択図】図９
【解決手段】ある方法が、開示され、本方法は、複合現実環境内の第１の実オブジェクトを識別するステップであって、複合現実環境は、ユーザを有する、ステップと、複合現実環境内の第２の実オブジェクトを識別するステップと、複合現実環境内において、第２の実オブジェクトに対応する第１の仮想オブジェクトを生成するステップと、複合現実環境内において、第１の実オブジェクトと第１の仮想オブジェクトとの間の衝突を識別するステップと、衝突と関連付けられた第１の属性を決定するステップと、第１の属性に基づいて、衝突に対応する第１のオーディオ信号を決定するステップと、ユーザに、１つ以上のスピーカを介して、第１のオーディオ信号を提示するステップとを含む。
【選択図】図９
【特許請求の範囲】
【請求項1】
方法であって、前記方法は、
複合現実環境内の第１のオブジェクトを識別することと、
前記複合現実環境内の第２のオブジェクトを識別することであって、前記第１のオブジェクトおよび前記第２のオブジェクトのうちの１つ以上は、仮想オブジェクトを含む、ことと、
ウェアラブル頭部デバイスのセンサを介して、ユーザに関連付けられた座標空間内の前記第２のオブジェクトの位置を決定することと、
前記複合現実環境内で、前記第１のオブジェクトと前記第２のオブジェクトとの間の衝突を決定することであって、前記衝突は、前記第２のオブジェクトの前記決定された位置に基づいて決定される、ことと、
前記衝突に関連付けられた属性を決定することと、
前記属性に基づいて、前記衝突に対応するオーディオ信号を決定することと
を含み、
前記オーディオ信号を決定することは、
前記属性に基づいて、ＭＩＤＩパラメータを生成することと、
音エンジンを介して、前記ＭＩＤＩパラメータに基づいて、前記オーディオ信号を決定することと、
スピーカを介して、前記オーディオ信号を前記ユーザに提示することと
を含む、方法。
複合現実環境内の第１のオブジェクトを識別することと、
前記複合現実環境内の第２のオブジェクトを識別することであって、前記第１のオブジェクトおよび前記第２のオブジェクトのうちの１つ以上は、仮想オブジェクトを含む、ことと、
ウェアラブル頭部デバイスのセンサを介して、ユーザに関連付けられた座標空間内の前記第２のオブジェクトの位置を決定することと、
前記複合現実環境内で、前記第１のオブジェクトと前記第２のオブジェクトとの間の衝突を決定することであって、前記衝突は、前記第２のオブジェクトの前記決定された位置に基づいて決定される、ことと、
前記衝突に関連付けられた属性を決定することと、
前記属性に基づいて、前記衝突に対応するオーディオ信号を決定することと
を含み、
前記オーディオ信号を決定することは、
前記属性に基づいて、ＭＩＤＩパラメータを生成することと、
音エンジンを介して、前記ＭＩＤＩパラメータに基づいて、前記オーディオ信号を決定することと、
スピーカを介して、前記オーディオ信号を前記ユーザに提示することと
を含む、方法。
【請求項2】
前記衝突は、前記第１のオブジェクトの位置と前記第１のオブジェクトの速度とにさらに基づいて決定される、請求項１に記載の方法。
【請求項3】
前記属性は、前記第１のオブジェクトおよび前記第２のオブジェクトのうちの１つ以上に関連付けられたピッチを含み、前記オーディオ信号は、前記ピッチにさらに基づいて決定される、請求項１に記載の方法。
【請求項4】
前記属性は、前記第１のオブジェクトおよび前記第２のオブジェクトのうちの１つ以上に関連付けられた材料を含み、前記オーディオ信号は、前記材料の音響性質にさらに基づいて決定される、請求項１に記載の方法。
【請求項5】
前記方法は、前記第１のオブジェクトのビューと前記第２のオブジェクトのビューとを同時に前記ウェアラブル頭部デバイスのディスプレイ上に提示することをさらに含む、請求項１に記載の方法。
【請求項6】
前記方法は、
前記複合現実環境内の第３のオブジェクトを識別することと、
前記複合現実環境内で、前記第３のオブジェクトに対応する第３の仮想オブジェクトを生成することと、
前記複合現実環境内で、前記第１のオブジェクトと前記第３のオブジェクトとの間の衝突を識別することと、
前記第１のオブジェクトと前記第３のオブジェクトとの間の前記衝突に関連付けられた第２の属性を決定することと、
前記第２の属性に基づいて、前記第１のオブジェクトと前記第３のオブジェクトとの間の前記衝突に対応する第２のオーディオ信号を決定することと、
前記スピーカを介して、前記第２のオーディオ信号を前記ユーザに提示することと
をさらに含む、請求項１に記載の方法。
前記複合現実環境内の第３のオブジェクトを識別することと、
前記複合現実環境内で、前記第３のオブジェクトに対応する第３の仮想オブジェクトを生成することと、
前記複合現実環境内で、前記第１のオブジェクトと前記第３のオブジェクトとの間の衝突を識別することと、
前記第１のオブジェクトと前記第３のオブジェクトとの間の前記衝突に関連付けられた第２の属性を決定することと、
前記第２の属性に基づいて、前記第１のオブジェクトと前記第３のオブジェクトとの間の前記衝突に対応する第２のオーディオ信号を決定することと、
前記スピーカを介して、前記第２のオーディオ信号を前記ユーザに提示することと
をさらに含む、請求項１に記載の方法。
【請求項7】
前記属性を決定することは、前記ウェアラブル頭部デバイスの前記センサの出力に基づいて前記属性を決定することを含む、請求項１に記載の方法。
【請求項8】
システムであって、前記システムは、
センサを含むウェアラブル頭部デバイスと、
スピーカと、
方法を実行するように構成されている１つ以上のプロセッサと
を備え、
前記方法は、
複合現実環境内の第１のオブジェクトを識別することと、
前記複合現実環境内の第２のオブジェクトを識別することであって、前記第１のオブジェクトおよび前記第２のオブジェクトのうちの１つ以上は、仮想オブジェクトを含む、ことと、
前記センサを介して、ユーザに関連付けられた座標空間内の前記第２のオブジェクトの位置を決定することと、
前記複合現実環境内で、前記第１のオブジェクトと前記第２のオブジェクトとの間の衝突を決定することであって、前記衝突は、前記第２のオブジェクトの前記決定された位置に基づいて決定される、ことと、
前記衝突に関連付けられた属性を決定することと、
前記属性に基づいて、前記衝突に対応するオーディオ信号を決定することと
を含み、
前記オーディオ信号を決定することは、
前記属性に基づいて、ＭＩＤＩパラメータを生成することと、
音エンジンを介して、前記ＭＩＤＩパラメータに基づいて、前記オーディオ信号を決定することと、
前記スピーカを介して、前記オーディオ信号を前記ユーザに提示することと
を含む、システム。
センサを含むウェアラブル頭部デバイスと、
スピーカと、
方法を実行するように構成されている１つ以上のプロセッサと
を備え、
前記方法は、
複合現実環境内の第１のオブジェクトを識別することと、
前記複合現実環境内の第２のオブジェクトを識別することであって、前記第１のオブジェクトおよび前記第２のオブジェクトのうちの１つ以上は、仮想オブジェクトを含む、ことと、
前記センサを介して、ユーザに関連付けられた座標空間内の前記第２のオブジェクトの位置を決定することと、
前記複合現実環境内で、前記第１のオブジェクトと前記第２のオブジェクトとの間の衝突を決定することであって、前記衝突は、前記第２のオブジェクトの前記決定された位置に基づいて決定される、ことと、
前記衝突に関連付けられた属性を決定することと、
前記属性に基づいて、前記衝突に対応するオーディオ信号を決定することと
を含み、
前記オーディオ信号を決定することは、
前記属性に基づいて、ＭＩＤＩパラメータを生成することと、
音エンジンを介して、前記ＭＩＤＩパラメータに基づいて、前記オーディオ信号を決定することと、
前記スピーカを介して、前記オーディオ信号を前記ユーザに提示することと
を含む、システム。
【請求項9】
前記衝突は、前記第１のオブジェクトの位置と前記第１のオブジェクトの速度とにさらに基づいて決定される、請求項８に記載のシステム。
【請求項10】
前記属性は、前記第１のオブジェクトおよび前記第２のオブジェクトのうちの１つ以上に関連付けられたピッチを含み、前記オーディオ信号は、前記ピッチにさらに基づいて決定される、請求項８に記載のシステム。
【請求項11】
前記属性は、前記第１のオブジェクトおよび前記第２のオブジェクトのうちの１つ以上に関連付けられた材料を含み、前記オーディオ信号は、前記材料の音響性質にさらに基づいて決定される、請求項８に記載のシステム。
【請求項12】
前記ウェアラブル頭部デバイスは、ディスプレイを備え、前記方法は、前記第１のオブジェクトのビューと前記第２のオブジェクトのビューとを同時に前記ディスプレイ上に提示することをさらに含む、請求項８に記載のシステム。
【請求項13】
前記方法は、
前記複合現実環境内の第３のオブジェクトを識別することと、
前記複合現実環境内で、前記第３のオブジェクトに対応する第３の仮想オブジェクトを生成することと、
前記複合現実環境内で、前記第１のオブジェクトと前記第３のオブジェクトとの間の衝突を識別することと、
前記第１のオブジェクトと前記第３のオブジェクトとの間の前記衝突に関連付けられた第２の属性を決定することと、
前記第２の属性に基づいて、前記第１のオブジェクトと前記第３のオブジェクトとの間の前記衝突に対応する第２のオーディオ信号を決定することと、
前記スピーカを介して、前記第２のオーディオ信号を前記ユーザに提示することと
をさらに含む、請求項８に記載のシステム。
前記複合現実環境内の第３のオブジェクトを識別することと、
前記複合現実環境内で、前記第３のオブジェクトに対応する第３の仮想オブジェクトを生成することと、
前記複合現実環境内で、前記第１のオブジェクトと前記第３のオブジェクトとの間の衝突を識別することと、
前記第１のオブジェクトと前記第３のオブジェクトとの間の前記衝突に関連付けられた第２の属性を決定することと、
前記第２の属性に基づいて、前記第１のオブジェクトと前記第３のオブジェクトとの間の前記衝突に対応する第２のオーディオ信号を決定することと、
前記スピーカを介して、前記第２のオーディオ信号を前記ユーザに提示することと
をさらに含む、請求項８に記載のシステム。
【請求項14】
前記属性を決定することは、前記センサの出力に基づいて前記属性を決定することを含む、請求項８に記載のシステム。
【請求項15】
命令を含む非一過性のコンピュータ読み取り可能な媒体であって、
前記命令は、１つ以上のプロセッサによって実行されると、方法を実行することを前記１つ以上のプロセッサに行わせ、
前記方法は、
複合現実環境内の第１のオブジェクトを識別することと、
前記複合現実環境内の第２のオブジェクトを識別することであって、前記第１のオブジェクトおよび前記第２のオブジェクトのうちの１つ以上は、仮想オブジェクトを含む、ことと、
ウェアラブル頭部デバイスのセンサを介して、ユーザに関連付けられた座標空間内の前記第２のオブジェクトの位置を決定することと、
前記複合現実環境内で、前記第１のオブジェクトと前記第２のオブジェクトとの間の衝突を決定することであって、前記衝突は、前記第２のオブジェクトの前記決定された位置に基づいて決定される、ことと、
前記衝突に関連付けられた属性を決定することと、
前記属性に基づいて、前記衝突に対応するオーディオ信号を決定することと
を含み、
前記オーディオ信号を決定することは、
前記属性に基づいて、ＭＩＤＩパラメータを生成することと、
音エンジンを介して、前記ＭＩＤＩパラメータに基づいて、前記オーディオ信号を決定することと、
スピーカを介して、前記オーディオ信号を前記ユーザに提示することと
を含む、非一過性のコンピュータ読み取り可能な媒体。
前記命令は、１つ以上のプロセッサによって実行されると、方法を実行することを前記１つ以上のプロセッサに行わせ、
前記方法は、
複合現実環境内の第１のオブジェクトを識別することと、
前記複合現実環境内の第２のオブジェクトを識別することであって、前記第１のオブジェクトおよび前記第２のオブジェクトのうちの１つ以上は、仮想オブジェクトを含む、ことと、
ウェアラブル頭部デバイスのセンサを介して、ユーザに関連付けられた座標空間内の前記第２のオブジェクトの位置を決定することと、
前記複合現実環境内で、前記第１のオブジェクトと前記第２のオブジェクトとの間の衝突を決定することであって、前記衝突は、前記第２のオブジェクトの前記決定された位置に基づいて決定される、ことと、
前記衝突に関連付けられた属性を決定することと、
前記属性に基づいて、前記衝突に対応するオーディオ信号を決定することと
を含み、
前記オーディオ信号を決定することは、
前記属性に基づいて、ＭＩＤＩパラメータを生成することと、
音エンジンを介して、前記ＭＩＤＩパラメータに基づいて、前記オーディオ信号を決定することと、
スピーカを介して、前記オーディオ信号を前記ユーザに提示することと
を含む、非一過性のコンピュータ読み取り可能な媒体。
【請求項16】
前記属性は、前記第１のオブジェクトおよび前記第２のオブジェクトのうちの１つ以上に関連付けられた材料を含み、前記オーディオ信号は、前記材料の音響性質にさらに基づいて決定される、請求項１５に記載の非一過性のコンピュータ読み取り可能な媒体。
【請求項17】
前記方法は、
前記複合現実環境内の第３のオブジェクトを識別することと、
前記複合現実環境内で、前記第３のオブジェクトに対応する第３の仮想オブジェクトを生成することと、
前記複合現実環境内で、前記第１のオブジェクトと前記第３のオブジェクトとの間の衝突を識別することと、
前記第１のオブジェクトと前記第３のオブジェクトとの間の前記衝突に関連付けられた第２の属性を決定することと、
前記第２の属性に基づいて、前記第１のオブジェクトと前記第３のオブジェクトとの間の前記衝突に対応する第２のオーディオ信号を決定することと、
前記スピーカを介して、前記第２のオーディオ信号を前記ユーザに提示することと
をさらに含む、請求項１５に記載の非一過性のコンピュータ読み取り可能な媒体。
前記複合現実環境内の第３のオブジェクトを識別することと、
前記複合現実環境内で、前記第３のオブジェクトに対応する第３の仮想オブジェクトを生成することと、
前記複合現実環境内で、前記第１のオブジェクトと前記第３のオブジェクトとの間の衝突を識別することと、
前記第１のオブジェクトと前記第３のオブジェクトとの間の前記衝突に関連付けられた第２の属性を決定することと、
前記第２の属性に基づいて、前記第１のオブジェクトと前記第３のオブジェクトとの間の前記衝突に対応する第２のオーディオ信号を決定することと、
前記スピーカを介して、前記第２のオーディオ信号を前記ユーザに提示することと
をさらに含む、請求項１５に記載の非一過性のコンピュータ読み取り可能な媒体。
【請求項18】
前記属性を決定することは、前記ウェアラブル頭部デバイスの前記センサの出力に基づいて前記属性を決定することを含む、請求項１５に記載の非一過性のコンピュータ読み取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【0001】
（分野）
本願は、参照することによって全体として本明細書に組み込まれる２０１８年２月１５日に出願された米国仮特許出願第６２／６３１，４０５号の３５ Ｕ．Ｓ．Ｃ§１１９（ｅ）のもとでの利益を主張する。
本願は、参照することによって全体として本明細書に組み込まれる２０１８年２月１５日に出願された米国仮特許出願第６２／６３１，４０５号の３５ Ｕ．Ｓ．Ｃ§１１９（ｅ）のもとでの利益を主張する。
【0002】
本開示は、概して、オーディオ信号を提示するためのシステムおよび方法に関し、特に、楽器に対応するオーディオ信号を複合現実環境内で提示するためのシステムおよび方法に関する。
【背景技術】
【0003】
（背景）
仮想環境は、コンピューティング環境において遍在しており、ビデオゲーム（仮想環境が、ゲーム世界を表し得る）、マップ（仮想環境が、ナビゲートされるべき地形を表し得る）、シミュレーション（仮想環境が、実環境をシミュレートし得る）、デジタルストーリーテリング（仮想キャラクタが、仮想環境内で相互に相互作用し得る）、および多くの他の用途において使用を見出している。現代のコンピュータユーザは、概して、快適に仮想環境を知覚し、それと相互作用する。しかしながら、仮想環境を伴うユーザの体験は、仮想環境を提示するための技術によって限定され得る。例えば、従来のディスプレイ（例えば、２Ｄディスプレイ画面）およびオーディオシステム（例えば、固定スピーカ）は、人を引き付け、現実的で、かつ没入型の体験を作成するように、仮想環境を実現することが不可能であり得る。
仮想環境は、コンピューティング環境において遍在しており、ビデオゲーム（仮想環境が、ゲーム世界を表し得る）、マップ（仮想環境が、ナビゲートされるべき地形を表し得る）、シミュレーション（仮想環境が、実環境をシミュレートし得る）、デジタルストーリーテリング（仮想キャラクタが、仮想環境内で相互に相互作用し得る）、および多くの他の用途において使用を見出している。現代のコンピュータユーザは、概して、快適に仮想環境を知覚し、それと相互作用する。しかしながら、仮想環境を伴うユーザの体験は、仮想環境を提示するための技術によって限定され得る。例えば、従来のディスプレイ（例えば、２Ｄディスプレイ画面）およびオーディオシステム（例えば、固定スピーカ）は、人を引き付け、現実的で、かつ没入型の体験を作成するように、仮想環境を実現することが不可能であり得る。
【0004】
仮想現実（「ＶＲ」）、拡張現実（「ＡＲ」）、複合現実（「ＭＲ」）、および関連技術（集合的に、「ＸＲ」）は、ＸＲシステムのユーザにコンピュータシステム内のデータによって表される仮想環境に対応する感覚情報を提示する能力を共有する。本開示は、ＶＲ、ＡＲ、およびＭＲシステム間の特異性を考慮する（但し、いくつかのシステムは、一側面（例えば、視覚的側面）では、ＶＲとしてカテゴリ化され、同時に、別の側面（例えば、オーディオ側面）では、ＡＲまたはＭＲとしてカテゴリ化され得る）。本明細書で使用されるように、ＶＲシステムは、少なくとも１つの側面においてユーザの実環境を置換する、仮想環境を提示する。例えば、ＶＲシステムは、ユーザに、仮想環境のビューを提示し得る一方、同時に、光遮断頭部搭載型ディスプレイ等を用いて、実環境のそのビューを不明瞭にする。同様に、ＶＲシステムは、ユーザに、仮想環境に対応するオーディオを提示し得る一方、同時に、実環境からのオーディオを遮断する（減衰させる）。
【0005】
ＶＲシステムは、ユーザの実環境を仮想環境と置換することから生じる、種々の短所を被り得る。１つの短所は、仮想環境内のユーザの視野が、（仮想環境ではなく）実環境内におけるその平衡および配向を検出する、その内耳の状態にもはや対応しなくなるときに生じ得る、乗り物酔いを感じることである。同様に、ユーザは、自身の身体および四肢（そのビューは、ユーザが実環境内において「地に足が着いている」と感じるために依拠するものである）が直接可視ではない場合、ＶＲ環境内において失見当識を被り得る。別の短所は、特に、ユーザを仮想環境内に没入させようとする、リアルタイム用途において、完全３Ｄ仮想環境を提示しなければならない、ＶＲシステムに課される算出負担（例えば、記憶、処理力）である。同様に、そのような環境は、ユーザが、仮想環境内のわずかな不完全性にさえ敏感である傾向にあって、そのいずれも、仮想環境内のユーザの没入感を破壊し得るため、没入していると見なされるために、非常に高水準の現実性に到達する必要があり得る。さらに、ＶＲシステムの別の短所は、システムのそのような用途が、実世界内で体験する、種々の光景および音等の実環境内の広範囲の感覚データを利用することができないことである。関連短所は、実環境内の物理的空間を共有するユーザが、仮想環境内で直接見る、または相互に相互作用することが不可能であり得るため、ＶＲシステムが、複数のユーザが相互作用し得る、共有環境を作成することに苦戦し得ることである。
【0006】
本明細書で使用されるように、ＡＲシステムは、少なくとも１つの側面において実環境に重複またはオーバーレイする、仮想環境を提示する。例えば、ＡＲシステムは、表示される画像を提示する一方、光が、ディスプレイを通してユーザの眼の中に通過することを可能にする、透過性頭部搭載型ディスプレイ等を用いて、ユーザに、実環境のユーザのビュー上にオーバーレイされる仮想環境のビューを提示し得る。同様に、ＡＲシステムは、ユーザに、仮想環境に対応するオーディオを提示し得る一方、同時に、実環境からのオーディオを混合させる。同様に、本明細書で使用されるように、ＭＲシステムは、ＡＲシステムと同様に、少なくとも１つの側面において実環境に重複またはオーバーレイする、仮想環境を提示し、加えて、ＭＲシステム内の仮想環境が、少なくとも１つの側面において実環境と相互作用し得ることを可能にし得る。例えば、仮想環境内の仮想キャラクタが、実環境内の照明スイッチを切り替え、実環境内の対応する電球をオンまたはオフにさせてもよい。別の実施例として、仮想キャラクタが、実環境内のオーディオ信号に反応してもよい（顔の表情等を用いて）。実環境の提示を維持することによって、ＡＲおよびＭＲシステムは、ＶＲシステムの前述の短所のうちのいくつかを回避し得る。例えば、ユーザにおける乗り物酔いは、実環境からの視覚的キュー（ユーザ自身の身体を含む）が、可視のままであり得、そのようなシステムが、没入型であるために、ユーザに、完全に実現された３Ｄ環境を提示する必要がないため、低減される。さらに、ＡＲおよびＭＲシステムは、実世界感覚入力（例えば、景色、オブジェクト、および他のユーザのビューおよび音）を利用して、その入力を拡張させる、新しい用途を作成することができる。
【0007】
ＸＲシステムは、ユーザに、仮想環境と相互作用するための種々の方法を提供し得る。例えば、ＸＲシステムは、ユーザの位置および配向、顔の表情、発話、ならびに他の特性を検出し、本情報を入力として仮想環境に提示するために、種々のセンサ（例えば、カメラ、マイクロホン等）を含んでもよい。いくつかのＸＲシステムは、仮想「マレット」、実マレット、接触センサ、指センサ、および同等物等のセンサ装備入力デバイスを組み込んでもよく、入力デバイスの位置、配向、または他の特性を検出するように構成されてもよい。
【0008】
ＸＲシステムは、仮想視覚およびオーディオキューと実光景および音を組み合わせることによって、一意の高度な没入感および現実性をもたらすことができる。故に、いくつかのＸＲシステムでは、対応する実環境を向上させる、改良する、または改変する、仮想環境を提示することが望ましい。本開示は、ユーザに、実環境内の実オブジェクトと仮想環境内の仮想オブジェクトとの間の相互作用に対応するオーディオ信号を提示する、楽器等の双方向仮想音源を組み込む、ＸＲシステムに関する。
【発明の概要】
【課題を解決するための手段】
【0009】
本開示の実施例は、オーディオ信号を複合現実環境のユーザに提示するためのシステムおよび方法を説明する。一実施例では、本方法は、複合現実環境内の第１の実オブジェクトおよび第２の実オブジェクトを識別することができる。本方法は、第２の実オブジェクトに対応する仮想オブジェクトを生成することができる。本方法は、次いで、複合現実環境内において、第１の実オブジェクトと仮想オブジェクトとの間の衝突を識別することができる。本方法は、衝突と関連付けられた第１の属性を決定し、第１の属性に基づいて、衝突に対応する第１のオーディオ信号を決定することができる。本方法は、次いで、ユーザに、１つ以上のスピーカを介して、第１のオーディオ信号を提示することができる。
例えば、本願は以下の項目を提供する。
（項目１）
方法であって、
複合現実環境内の第１の実オブジェクトを識別することであって、前記複合現実環境は、ユーザを有する、ことと、
前記複合現実環境内の第２の実オブジェクトを識別することと、
前記複合現実環境内において、前記第２の実オブジェクトに対応する第１の仮想オブジェクトを生成することと、
前記複合現実環境内において、前記第１の実オブジェクトと前記第１の仮想オブジェクトとの間の衝突を識別することと、
前記衝突と関連付けられた第１の属性を決定することと、
前記第１の属性に基づいて、前記衝突に対応する第１のオーディオ信号を決定することと、
ユーザに、第１のスピーカを介して、前記第１のオーディオ信号を提示することと
を含む、方法。
（項目２）
前記衝突を識別することは、前記第１の実オブジェクトの位置および前記第１の実オブジェクトの速度に基づいて、衝突を予測することを含む、項目１に記載の方法。
（項目３）
前記第１の属性は、前記仮想オブジェクトと関連付けられたピッチであり、第１のオーディオ信号を決定することは、前記ピッチに対応するオーディオ信号を生成することを含む、項目１に記載の方法。
（項目４）
前記第１の属性は、前記仮想オブジェクトと関連付けられた材料を含み、前記第１のオーディオ信号を決定することは、
オーディオ信号を生成することと、
前記材料の音響性質に基づいて、前記オーディオ信号を修正することと
を含む、項目１に記載の方法。
（項目５）
並行して、ディスプレイ上に、前記仮想オブジェクトと、前記第２の実オブジェクトのビューとを提示することをさらに含む、項目１に記載の方法。
（項目６）
前記第１の実オブジェクトは、センサを含み、前記衝突を識別することは、前記センサの出力に基づいて、衝突を予測することを含む、項目１に記載の方法。
（項目７）
前記第１のオーディオ信号を決定することは、
前記第１の属性に基づいて、ＭＩＤＩパラメータを生成することと、
音エンジンを使用して、前記ＭＩＤＩパラメータに基づいて、前記第１のオーディオ信号を生成することと
を含む、項目１に記載の方法。
（項目８）
方法であって、
複合現実環境内の第１の実オブジェクトを識別することであって、前記複合現実環境は、ユーザを有する、ことと、
前記複合現実環境内の第２の実オブジェクトを識別することと、
前記複合現実環境内において、前記第１の実オブジェクトに対応する第１の仮想オブジェクトを生成することと、
前記複合現実環境内において、前記第２の実オブジェクトに対応する第２の仮想オブジェクトを生成することと、
前記複合現実環境内において、前記第１の仮想オブジェクトと前記第２の仮想オブジェクトとの間の衝突を識別することと、
前記衝突と関連付けられた第１の属性を決定することと、
前記第１の属性に基づいて、前記衝突に対応する第１のオーディオ信号を決定することと、
ユーザに、第１のスピーカを介して、前記第１のオーディオ信号を提示することと
を含む、方法。
（項目９）
システムであって、
ウェアラブル頭部デバイスであって、
仮想環境を表示するためのディスプレイであって、前記ディスプレイは、それを通して実環境が可視である透過性接眼レンズを備える、ディスプレイと、
スピーカと
を含む、ウェアラブル頭部デバイスと、
１つ以上のプロセッサであって、
前記実環境内の第１の実オブジェクトを識別することと、
前記実環境内の第２の実オブジェクトを識別することと、
前記仮想環境内において、前記第２の実オブジェクトに対応する第１の仮想オブジェクトを生成することと、
前記仮想環境内において、前記第１の実オブジェクトと前記第１の仮想オブジェクトとの間の衝突を識別することと、
前記衝突と関連付けられた第１の属性を決定することと、
前記第１の属性に基づいて、前記衝突に対応する第１のオーディオ信号を決定することと、
前記ウェアラブル頭部デバイスのユーザに、前記スピーカを介して、前記第１のオーディオ信号を提示することと
を実施するように構成される、１つ以上のプロセッサと
を備える、システム。
（項目１０）
前記衝突を識別することは、前記第１の実オブジェクトの位置および前記第１の実オブジェクトの速度に基づいて、衝突を予測することを含む、項目９に記載のシステム。
（項目１１）
前記第１の属性は、前記仮想オブジェクトと関連付けられたピッチであり、第１のオーディオ信号を決定することは、前記ピッチに対応するオーディオ信号を生成することを含む、項目９に記載のシステム。
（項目１２）
前記第１の属性は、前記仮想オブジェクトと関連付けられた材料を含み、前記第１のオーディオ信号を決定することは、
オーディオ信号を生成することと、
前記材料の音響性質に基づいて、前記オーディオ信号を修正することと
を含む、項目９に記載のシステム。
（項目１３）
前記１つ以上のプロセッサはさらに、並行して、前記ディスプレイ上に、前記仮想オブジェクトと、前記第２の実オブジェクトのビューとを提示することを実施するように構成される、項目９に記載のシステム。
（項目１４）
前記第１の実オブジェクトは、センサを含み、前記衝突を識別することは、前記センサの出力に基づいて、衝突を予測することを含む、項目９に記載のシステム。
（項目１５）
前記第１のオーディオ信号を決定することは、
前記第１の属性に基づいて、ＭＩＤＩパラメータを生成することと、
音エンジンを使用して、前記ＭＩＤＩパラメータに基づいて、前記第１のオーディオ信号を生成することと
を含む、項目９に記載のシステム。
（項目１６）
前記ウェアラブル頭部デバイスはさらに、センサを含み、前記第１の属性は、前記センサの出力に基づいて決定される、項目９に記載のシステム。
（項目１７）
システムであって、
ウェアラブル頭部デバイスであって、
仮想環境を表示するためのディスプレイであって、前記ディスプレイは、それを通して実環境が可視である透過性接眼レンズを備える、ディスプレイと、
スピーカと、
を含む、ウェアラブル頭部デバイスと、
１つ以上のプロセッサであって、
前記実環境内の第１の実オブジェクトを識別することと、
前記実環境内の第２の実オブジェクトを識別することと、
前記仮想環境内において、前記第１の実オブジェクトに対応する第１の仮想オブジェクトを生成することと、
前記仮想環境内において、前記第２の実オブジェクトに対応する第２の仮想オブジェクトを生成することと、
前記仮想環境内において、前記第１の仮想オブジェクトと前記第２の仮想オブジェクトとの間の衝突を識別することと、
前記衝突と関連付けられた第１の属性を決定することと、
前記第１の属性に基づいて、前記衝突に対応する第１のオーディオ信号を決定することと、
前記ウェアラブル頭部デバイスのユーザに、前記スピーカを介して、前記第１のオーディオ信号を提示することと、
を実施するように構成される、１つ以上のプロセッサと
を備える、システム。
例えば、本願は以下の項目を提供する。
（項目１）
方法であって、
複合現実環境内の第１の実オブジェクトを識別することであって、前記複合現実環境は、ユーザを有する、ことと、
前記複合現実環境内の第２の実オブジェクトを識別することと、
前記複合現実環境内において、前記第２の実オブジェクトに対応する第１の仮想オブジェクトを生成することと、
前記複合現実環境内において、前記第１の実オブジェクトと前記第１の仮想オブジェクトとの間の衝突を識別することと、
前記衝突と関連付けられた第１の属性を決定することと、
前記第１の属性に基づいて、前記衝突に対応する第１のオーディオ信号を決定することと、
ユーザに、第１のスピーカを介して、前記第１のオーディオ信号を提示することと
を含む、方法。
（項目２）
前記衝突を識別することは、前記第１の実オブジェクトの位置および前記第１の実オブジェクトの速度に基づいて、衝突を予測することを含む、項目１に記載の方法。
（項目３）
前記第１の属性は、前記仮想オブジェクトと関連付けられたピッチであり、第１のオーディオ信号を決定することは、前記ピッチに対応するオーディオ信号を生成することを含む、項目１に記載の方法。
（項目４）
前記第１の属性は、前記仮想オブジェクトと関連付けられた材料を含み、前記第１のオーディオ信号を決定することは、
オーディオ信号を生成することと、
前記材料の音響性質に基づいて、前記オーディオ信号を修正することと
を含む、項目１に記載の方法。
（項目５）
並行して、ディスプレイ上に、前記仮想オブジェクトと、前記第２の実オブジェクトのビューとを提示することをさらに含む、項目１に記載の方法。
（項目６）
前記第１の実オブジェクトは、センサを含み、前記衝突を識別することは、前記センサの出力に基づいて、衝突を予測することを含む、項目１に記載の方法。
（項目７）
前記第１のオーディオ信号を決定することは、
前記第１の属性に基づいて、ＭＩＤＩパラメータを生成することと、
音エンジンを使用して、前記ＭＩＤＩパラメータに基づいて、前記第１のオーディオ信号を生成することと
を含む、項目１に記載の方法。
（項目８）
方法であって、
複合現実環境内の第１の実オブジェクトを識別することであって、前記複合現実環境は、ユーザを有する、ことと、
前記複合現実環境内の第２の実オブジェクトを識別することと、
前記複合現実環境内において、前記第１の実オブジェクトに対応する第１の仮想オブジェクトを生成することと、
前記複合現実環境内において、前記第２の実オブジェクトに対応する第２の仮想オブジェクトを生成することと、
前記複合現実環境内において、前記第１の仮想オブジェクトと前記第２の仮想オブジェクトとの間の衝突を識別することと、
前記衝突と関連付けられた第１の属性を決定することと、
前記第１の属性に基づいて、前記衝突に対応する第１のオーディオ信号を決定することと、
ユーザに、第１のスピーカを介して、前記第１のオーディオ信号を提示することと
を含む、方法。
（項目９）
システムであって、
ウェアラブル頭部デバイスであって、
仮想環境を表示するためのディスプレイであって、前記ディスプレイは、それを通して実環境が可視である透過性接眼レンズを備える、ディスプレイと、
スピーカと
を含む、ウェアラブル頭部デバイスと、
１つ以上のプロセッサであって、
前記実環境内の第１の実オブジェクトを識別することと、
前記実環境内の第２の実オブジェクトを識別することと、
前記仮想環境内において、前記第２の実オブジェクトに対応する第１の仮想オブジェクトを生成することと、
前記仮想環境内において、前記第１の実オブジェクトと前記第１の仮想オブジェクトとの間の衝突を識別することと、
前記衝突と関連付けられた第１の属性を決定することと、
前記第１の属性に基づいて、前記衝突に対応する第１のオーディオ信号を決定することと、
前記ウェアラブル頭部デバイスのユーザに、前記スピーカを介して、前記第１のオーディオ信号を提示することと
を実施するように構成される、１つ以上のプロセッサと
を備える、システム。
（項目１０）
前記衝突を識別することは、前記第１の実オブジェクトの位置および前記第１の実オブジェクトの速度に基づいて、衝突を予測することを含む、項目９に記載のシステム。
（項目１１）
前記第１の属性は、前記仮想オブジェクトと関連付けられたピッチであり、第１のオーディオ信号を決定することは、前記ピッチに対応するオーディオ信号を生成することを含む、項目９に記載のシステム。
（項目１２）
前記第１の属性は、前記仮想オブジェクトと関連付けられた材料を含み、前記第１のオーディオ信号を決定することは、
オーディオ信号を生成することと、
前記材料の音響性質に基づいて、前記オーディオ信号を修正することと
を含む、項目９に記載のシステム。
（項目１３）
前記１つ以上のプロセッサはさらに、並行して、前記ディスプレイ上に、前記仮想オブジェクトと、前記第２の実オブジェクトのビューとを提示することを実施するように構成される、項目９に記載のシステム。
（項目１４）
前記第１の実オブジェクトは、センサを含み、前記衝突を識別することは、前記センサの出力に基づいて、衝突を予測することを含む、項目９に記載のシステム。
（項目１５）
前記第１のオーディオ信号を決定することは、
前記第１の属性に基づいて、ＭＩＤＩパラメータを生成することと、
音エンジンを使用して、前記ＭＩＤＩパラメータに基づいて、前記第１のオーディオ信号を生成することと
を含む、項目９に記載のシステム。
（項目１６）
前記ウェアラブル頭部デバイスはさらに、センサを含み、前記第１の属性は、前記センサの出力に基づいて決定される、項目９に記載のシステム。
（項目１７）
システムであって、
ウェアラブル頭部デバイスであって、
仮想環境を表示するためのディスプレイであって、前記ディスプレイは、それを通して実環境が可視である透過性接眼レンズを備える、ディスプレイと、
スピーカと、
を含む、ウェアラブル頭部デバイスと、
１つ以上のプロセッサであって、
前記実環境内の第１の実オブジェクトを識別することと、
前記実環境内の第２の実オブジェクトを識別することと、
前記仮想環境内において、前記第１の実オブジェクトに対応する第１の仮想オブジェクトを生成することと、
前記仮想環境内において、前記第２の実オブジェクトに対応する第２の仮想オブジェクトを生成することと、
前記仮想環境内において、前記第１の仮想オブジェクトと前記第２の仮想オブジェクトとの間の衝突を識別することと、
前記衝突と関連付けられた第１の属性を決定することと、
前記第１の属性に基づいて、前記衝突に対応する第１のオーディオ信号を決定することと、
前記ウェアラブル頭部デバイスのユーザに、前記スピーカを介して、前記第１のオーディオ信号を提示することと、
を実施するように構成される、１つ以上のプロセッサと
を備える、システム。
【図面の簡単な説明】
【0010】
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【発明を実施するための形態】
【0023】
実施例の以下の説明では、本明細書の一部を形成し、例証として、実践され得る具体的実施例が示される、付随の図面を参照する。他の実施例も、使用されることができ、構造変更が、開示される実施例の範囲から逸脱することなく、行われることができることを理解されたい。
【0024】
複合現実環境
【0025】
全ての人々と同様に、複合現実システムのユーザは、実環境内に存在する、すなわち、「実世界」の３次元部分と、そのコンテンツの全てとが、ユーザによって知覚可能である。例えば、ユーザは、通常の人間の感覚、すなわち、光景、音、感触、味、臭いを使用して、実環境を知覚し、実環境内で自身の身体を移動させることによって、実環境と相互作用する。実環境内の場所は、座標空間内の座標として説明されることができる。例えば、座標は、緯度、経度、および海抜に対する高度、基準点からの３つの直交次元における距離、または他の好適な値を含むことができる。同様に、ベクトルは、座標空間内の方向および大きさを有する、量を説明することができる。
【0026】
コンピューティングデバイスは、例えば、デバイスと関連付けられたメモリ内に、仮想環境の表現を維持することができる。本明細書で使用されるように、仮想環境は、３次元空間の算出表現である。仮想環境は、任意のオブジェクトの表現、アクション、信号、パラメータ、座標、ベクトル、またはその空間と関連付けられた他の特性を含むことができる。いくつかの実施例では、コンピューティングデバイスの回路（例えば、プロセッサ）は、仮想環境の状態を維持および更新することができる。すなわち、プロセッサは、第１の時間ｔ０において、仮想環境と関連付けられたデータおよび／またはユーザによって提供される入力に基づいて、第２の時間ｔ１における仮想環境の状態を決定することができる。例えば、仮想環境内のオブジェクトが、時間ｔ０において、第１の座標に位置し、あるプログラムされた物理的パラメータ（例えば、質量、摩擦係数）を有し、ユーザから受信された入力が、力がある方向ベクトルにおいてオブジェクトに印加されるべきであることを示す場合、プロセッサは、運動学の法則を適用し、基本力学を使用して、時間ｔ１におけるオブジェクトの場所を決定することができる。プロセッサは、仮想環境について既知の任意の好適な情報および／または任意の好適な入力を使用して、時間ｔ１における仮想環境の状態を決定することができる。仮想環境の状態を維持および更新する際、プロセッサは、仮想環境内の仮想オブジェクトの作成および削除に関連するソフトウェア、仮想環境内の仮想オブジェクトまたはキャラクタの挙動を定義するためのソフトウェア（例えば、スクリプト）、仮想環境内の信号（例えば、オーディオ信号）の挙動を定義するためのソフトウェア、仮想環境と関連付けられたパラメータを作成および更新するためのソフトウェア、仮想環境内のオーディオ信号を生成するためのソフトウェア、入力および出力をハンドリングするためのソフトウェア、ネットワーク動作を実装するためのソフトウェア、アセットデータ（例えば、仮想オブジェクトを経時的に移動させるためのアニメーションデータ）を適用するためのソフトウェア、または多くの他の可能性を含む、任意の好適なソフトウェアを実行することができる。
【0027】
ディスプレイまたはスピーカ等の出力デバイスは、仮想環境のいずれかまたは全ての側面をユーザに提示することができる。例えば、仮想環境は、ユーザに提示され得る、仮想オブジェクト（無生物オブジェクト、人々、動物、光等の表現を含み得る）を含んでもよい。プロセッサは、仮想環境のビュー（例えば、原点座標、視軸、および錐台を伴う、「カメラ」に対応する）を決定し、ディスプレイに、そのビューに対応する仮想環境の視認可能場面をレンダリングすることができる。任意の好適なレンダリング技術が、本目的のために使用されてもよい。いくつかの実施例では、視認可能場面は、仮想環境内のいくつかの仮想オブジェクトのみを含み、ある他の仮想オブジェクトを除外してもよい。同様に、仮想環境は、ユーザに１つ以上のオーディオ信号として提示され得る、オーディオ側面を含んでもよい。例えば、仮想環境内の仮想オブジェクトは、オブジェクトの場所座標から生じる音を生成してもよい（例えば、仮想キャラクタが、発話する、または音効果を生じさせ得る）、または仮想環境は、特定の場所と関連付けられる場合とそうではない場合がある、音楽キューまたは周囲音と関連付けられてもよい。プロセッサは、「聴取者」座標に対応するオーディオ信号、例えば、仮想環境内の音の合成に対応し、聴取者座標において聴取者によって聞こえるであろうオーディオ信号をシミュレートするように混合および処理される、オーディオ信号を決定し、ユーザに、１つ以上のスピーカを介して、オーディオ信号を提示することができる。
【0028】
仮想環境は、算出構造としてのみ存在するため、ユーザは、直接、通常の感覚を使用して、仮想環境を知覚することができない。代わりに、ユーザは、例えば、ディスプレイ、スピーカ、触覚的出力デバイス等によって、ユーザに提示されるように、間接的にのみ、仮想環境を知覚することができる。同様に、ユーザは、直接、仮想環境に触れる、それを操作する、または別様に、それと相互作用することができないが、入力データを、入力デバイスまたはセンサを介して、デバイスまたはセンサデータを使用して、仮想環境を更新し得る、プロセッサに提供することができる。例えば、カメラセンサは、ユーザが仮想環境のオブジェクトを移動させようとしていることを示す、光学データを提供することができ、プロセッサは、そのデータを使用して、仮想環境内において、適宜、オブジェクトを応答させることができる。
【0029】
複合現実システムは、ユーザに、例えば、透過性ディスプレイおよび／または１つ以上のスピーカ（例えば、ウェアラブル頭部デバイスの中に組み込まれ得る）を使用して、実環境および仮想環境の側面を組み合わせる、複合現実環境（「ＭＲＥ」）を提示することができる。いくつかの実施形態では、１つ以上のスピーカは、頭部搭載ウェアラブル頭部ユニットの外部にあってもよい。本明細書で使用されるように、ＭＲＥは、実環境および対応する仮想環境の同時表現である。いくつかの実施例では、対応する実および仮想環境は、単一座標空間を共有する。いくつかの実施例では、実座標空間および対応する仮想座標空間は、変換行列（または他の好適な表現）によって相互に関連する。故に、単一座標（いくつかの実施例では、変換行列とともに）は、実環境内の第１の場所と、また、仮想環境内の第２の対応する場所とを定義し得、その逆も同様である。
【0030】
ＭＲＥでは、（例えば、ＭＲＥと関連付けられた仮想環境内の）仮想オブジェクトは、（例えば、ＭＲＥと関連付けられた実環境内の）実オブジェクトに対応し得る。例えば、ＭＲＥの実環境が、実街灯柱（実オブジェクト）をある場所座標に含む場合、ＭＲＥの仮想環境は、仮想街灯柱（仮想オブジェクト）を対応する場所座標に含んでもよい。本明細書で使用されるように、実オブジェクトは、その対応する仮想オブジェクトと組み合わせて、ともに「複合現実オブジェクト」を構成する。仮想オブジェクトが対応する実オブジェクトに完璧に合致または整合することは、必要ではない。いくつかの実施例では、仮想オブジェクトは、対応する実オブジェクトの簡略化されたバージョンであることができる。例えば、実環境が、実街灯柱を含む場合、対応する仮想オブジェクトは、実街灯柱と概ね同一高さおよび半径の円筒形を含んでもよい（街灯柱が略円筒形形状であり得ることを反映する）。仮想オブジェクトをこのように簡略化することは、算出効率を可能にすることができ、そのような仮想オブジェクト上で実施されるための計算を簡略化することができる。さらに、ＭＲＥのいくつかの実施例では、実環境内の全ての実オブジェクトが、対応する仮想オブジェクトと関連付けられなくてもよい。同様に、ＭＲＥのいくつかの実施例では、仮想環境内の全ての仮想オブジェクトが、対応する実オブジェクトと関連付けられなくてもよい。すなわち、いくつかの仮想オブジェクトが、任意の実世界対応物を伴わずに、ＭＲＥの仮想環境内にのみ存在し得る。
【0031】
いくつかの実施例では、仮想オブジェクトは、特性（時として著しく異なり、対応する実オブジェクトのものと異なる）を有してもよい。例えば、ＭＲＥ内の実環境は、緑色の２本の枝が延びたサボテン、すなわち、とげだらけの無生物オブジェクトを含み得るが、ＭＲＥ内の対応する仮想オブジェクトは、人間の顔特徴および無愛想な態度を伴う、緑色の２本の腕の仮想キャラクタの特性を有してもよい。本実施例では、仮想オブジェクトは、ある特性（色、腕の数）において、その対応する実オブジェクトに類似するが、他の特性（顔特徴、性格）において、実オブジェクトと異なる。このように、仮想オブジェクトは、創造的、抽象的、誇張された、または架空の様式において、実オブジェクトを表す、または挙動（例えば、人間の性格）をそうでなければ無生物である実オブジェクトに付与する潜在性を有する。いくつかの実施例では、仮想オブジェクトは、実世界対応物を伴わない、純粋に架空の創造物（例えば、おそらく、実環境内の虚空に対応する場所における、仮想環境内の仮想モンスター）であってもよい。
【0032】
ユーザに、実環境を不明瞭にしながら、仮想環境を提示する、ＶＲシステムと比較して、ＭＲＥを提示する、複合現実システムは、仮想環境が提示される間、実環境が知覚可能なままであるであるという利点をもたらす。故に、複合現実システムのユーザは、実環境と関連付けられた視覚的およびオーディオキューを使用して、対応する仮想環境を体験し、それと相互作用することが可能である。実施例として、ＶＲシステムのユーザは、上記に述べられたように、ユーザは、直接、仮想環境を知覚する、またはそれと相互作用することができないため、仮想環境内に表示される仮想オブジェクトを知覚する、またはそれと相互作用することに苦戦し得るが、ＭＲシステムのユーザは、その自身の実環境内の対応する実オブジェクトが見え、聞こえ、触れることによって、仮想オブジェクトと相互作用することが直感的および自然であると見出し得る。本レベルの相互作用は、ユーザの仮想環境との没入感、つながり、および関与の感覚を向上させ得る。同様に、実環境および仮想環境を同時に提示することによって、複合現実システムは、ＶＲシステムと関連付けられた負の心理学的感覚（例えば、認知的不協和）および負の物理的感覚（例えば、乗り物酔い）を低減させることができる。複合現実システムはさらに、実世界の我々の体験を拡張または改変し得る用途に関する多くの可能性をもたらす。
【0033】
図１Ａは、ユーザ１１０が複合現実システム１１２を使用する、例示的実環境１００を図示する。複合現実システム１１２は、ディスプレイ（例えば、透過性ディスプレイ）および１つ以上のスピーカと、例えば、下記に説明されるような１つ以上のセンサ（例えば、カメラ）とを備えてもよい。示される実環境１００は、その中にユーザ１１０が立っている、長方形の部屋１０４Ａと、実オブジェクト１２２Ａ（ランプ）、１２４Ａ（テーブル）、１２６Ａ（ソファ）、および１２８Ａ（絵画）とを備える。部屋１０４Ａはさらに、場所座標１０６を備え、これは、実環境１００の原点と見なされ得る。図１Ａに示されるように、その原点を点１０６（世界座標）に伴う、環境／世界座標系１０８（ｘ－軸１０８Ｘ、ｙ－軸１０８Ｙ、およびｚ－軸１０８Ｚを備える）は、実環境１００のための座標空間を定義し得る。いくつかの実施形態では、環境／世界座標系１０８の原点１０６は、複合現実システム１１２の電源がオンにされた場所に対応してもよい。いくつかの実施形態では、環境／世界座標系１０８の原点１０６は、動作の間、リセットされてもよい。いくつかの実施例では、ユーザ１１０は、実環境１００内の実オブジェクトと見なされ得る。同様に、ユーザ１１０の身体部分（例えば、手、足）は、実環境１００内の実オブジェクトと見なされ得る。いくつかの実施例では、その原点を点１１５（例えば、ユーザ／聴取者／頭部座標）に伴う、ユーザ／聴取者／頭部座標系１１４（ｘ－軸１１４Ｘ、ｙ－軸１１４Ｙ、およびｚ－軸１１４Ｚを備える）は、その上に複合現実システム１１２が位置する、ユーザ／聴取者／頭部のための座標空間を定義し得る。ユーザ／聴取者／頭部座標系１１４の原点１１５は、複合現実システム１１２の１つ以上のコンポーネントに対して定義されてもよい。例えば、ユーザ／聴取者／頭部座標系１１４の原点１１５は、複合現実システム１１２の初期較正等の間、複合現実システム１１２のディスプレイに対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現が、ユーザ／聴取者／頭部座標系１１４空間と環境／世界座標系１０８空間との間の変換を特性評価することができる。いくつかの実施形態では、左耳座標１１６および右耳座標１１７が、ユーザ／聴取者／頭部座標系１１４の原点１１５に対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現が、左耳座標１１６および右耳座標１１７とユーザ／聴取者／頭部座標系１１４空間との間の変換を特性評価することができる。ユーザ／聴取者／頭部座標系１１４は、ユーザの頭部または頭部搭載型デバイスに対する、例えば、環境／世界座標系１０８に対する場所の表現を簡略化することができる。同時位置特定およびマッピング（ＳＬＡＭ）、ビジュアルオドメトリ、または他の技法を使用して、ユーザ座標系１１４と環境座標系１０８との間の変換が、リアルタイムで決定および更新されることができる。
【0034】
図１Ｂは、実環境１００に対応する、例示的仮想環境１３０を図示する。示される仮想環境１３０は、実長方形部屋１０４Ａに対応する仮想長方形部屋１０４Ｂと、実オブジェクト１２２Ａに対応する仮想オブジェクト１２２Ｂと、実オブジェクト１２４Ａに対応する仮想オブジェクト１２４Ｂと、実オブジェクト１２６Ａに対応する仮想オブジェクト１２６Ｂとを備える。仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂと関連付けられたメタデータは、対応する実オブジェクト１２２Ａ、１２４Ａ、１２６Ａから導出される情報を含むことができる。仮想環境１３０は、加えて、仮想モンスター１３２を備え、これは、実環境１００内のいかなる実オブジェクトにも対応しない。実環境１００内の実オブジェクト１２８Ａは、仮想環境１３０内のいかなる仮想オブジェクトにも対応しない。その原点を点１３４（持続的座標）に伴う、持続的座標系（ｐｅｒｓｉｓｔｅｎｔ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ）１３３（ｘ－軸１３３Ｘ、ｙ－軸１３３Ｙ、およびｚ－軸１３３Ｚを備える）は、仮想コンテンツのための座標空間を定義し得る。持続的座標系１３３の原点１３４は、実オブジェクト１２６Ａ等の１つ以上の実オブジェクトと相対的に／それに対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現は、持続的座標系１３３空間と環境／世界座標系１０８空間との間の変換を特性評価することができる。いくつかの実施形態では、仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２はそれぞれ、持続的座標系１３３の原点１３４に対するその自身の持続的座標点を有してもよい。いくつかの実施形態では、複数の持続的座標系が存在してもよく、仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２はそれぞれ、１つ以上の持続的座標系に対するそれら自身の持続的座標点を有してもよい。
【0035】
図１Ａおよび１Ｂに関して、環境／世界座標系１０８は、実環境１００および仮想環境１３０の両方のための共有座標空間を定義する。示される実施例では、座標空間は、その原点を点１０６に有する。さらに、座標空間は、同一の３つの直交軸（１０８Ｘ、１０８Ｙ、１０８Ｚ）によって定義される。故に、実環境１００内の第１の場所および仮想環境１３０内の第２の対応する場所は、同一座標空間に関して説明されることができる。これは、同一座標が両方の場所を識別するために使用され得るため、実および仮想環境内の対応する場所を識別および表示するステップを簡略化する。しかしながら、いくつかの実施例では、対応する実および仮想環境は、共有座標空間を使用する必要がない。例えば、いくつかの実施例では（図示せず）、行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現は、実環境座標空間と仮想環境座標空間との間の変換を特性評価することができる。
【0036】
図１Ｃは、同時に、実環境１００および仮想環境１３０の側面をユーザ１１０に複合現実システム１１２を介して提示する、例示的ＭＲＥ１５０を図示する。示される実施例では、ＭＲＥ１５０は、同時に、ユーザ１１０に、実環境１００からの実オブジェクト１２２Ａ、１２４Ａ、１２６Ａ、および１２８Ａ（例えば、複合現実システム１１２のディスプレイの透過性部分を介して）と、仮想環境１３０からの仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２（例えば、複合現実システム１１２のディスプレイのアクティブディスプレイ部分を介して）とを提示する。上記のように、原点１０６は、ＭＲＥ１５０に対応する座標空間のための原点として作用し、座標系１０８は、座標空間のためのｘ－軸、ｙ－軸、およびｚ－軸を定義する。
【0037】
示される実施例では、複合現実オブジェクトは、座標空間１０８内の対応する場所を占有する、対応する対の実オブジェクトおよび仮想オブジェクト（すなわち、１２２Ａ／１２２Ｂ、１２４Ａ／１２４Ｂ、１２６Ａ／１２６Ｂ）を備える。いくつかの実施例では、実オブジェクトおよび仮想オブジェクトは両方とも、同時に、ユーザ１１０に可視であってもよい。これは、例えば、仮想オブジェクトが対応する実オブジェクトのビューを拡張させるように設計される情報を提示する、インスタンスにおいて望ましくあり得る（仮想オブジェクトが古代の損傷された彫像の欠けた部分を提示する、博物館用途等）。いくつかの実施例では、仮想オブジェクト（１２２Ｂ、１２４Ｂ、および／または１２６Ｂ）は、対応する実オブジェクト（１２２Ａ、１２４Ａ、および／または１２６Ａ）をオクルードするように、表示されてもよい（例えば、ピクセル化オクルージョンシャッタを使用する、アクティブピクセル化オクルージョンを介して）。これは、例えば、仮想オブジェクトが対応する実オブジェクトのための視覚的置換として作用する、インスタンスにおいて望ましくあり得る（無生物実オブジェクトが「生きている」キャラクタとなる、双方向ストーリーテリング用途等）。
【0038】
いくつかの実施例では、実オブジェクト（例えば、１２２Ａ、１２４Ａ、１２６Ａ）は、必ずしも、仮想オブジェクトを構成するとは限らない、仮想コンテンツまたはヘルパデータと関連付けられてもよい。仮想コンテンツまたはヘルパデータは、複合現実環境内の仮想オブジェクトの処理またはハンドリングを促進することができる。例えば、そのような仮想コンテンツは、対応する実オブジェクトの２次元表現、対応する実オブジェクトと関連付けられたカスタムアセットタイプ、または対応する実オブジェクトと関連付けられた統計的データを含み得る。本情報は、不必要な算出オーバーヘッドを被ることなく、実オブジェクトに関わる計算を可能にする、または促進することができる。
【0039】
いくつかの実施例では、上記に説明される提示はまた、オーディオ側面を組み込んでもよい。例えば、ＭＲＥ１５０では、仮想モンスター１３２は、モンスターがＭＲＥ１５０の周囲を歩き回るにつれて生成される、足音効果等の１つ以上のオーディオ信号と関連付けられ得る。下記にさらに説明されるように、複合現実システム１１２のプロセッサは、ＭＲＥ１５０内の全てのそのような音の混合および処理された合成に対応するオーディオ信号を算出し、複合現実システム１１２内に含まれる１つ以上のスピーカおよび／または１つ以上の外部スピーカを介して、オーディオ信号をユーザ１１０に提示することができる。
【0040】
例示的複合現実システム
【0041】
例示的複合現実システム１１２は、ディスプレイ（接眼ディスプレイであり得る、左および右透過性ディスプレイと、ディスプレイからの光をユーザの眼に結合するための関連付けられたコンポーネントとを備え得る）と、左および右スピーカ（例えば、それぞれ、ユーザの左および右耳に隣接して位置付けられる）と、慣性測定ユニット（ＩＭＵ）（例えば、頭部デバイスのつるのアームに搭載される）と、直交コイル電磁受信機（例えば、左つる部品に搭載される）と、ユーザから離れるように配向される、左および右カメラ（例えば、深度（飛行時間）カメラ）と、ユーザに向かって配向される、左および右眼カメラ（例えば、ユーザの眼移動を検出するため）とを備える、ウェアラブル頭部デバイス（例えば、ウェアラブル拡張現実または複合現実頭部デバイス）を含むことができる。しかしながら、複合現実システム１１２は、任意の好適なディスプレイ技術および任意の好適なセンサ（例えば、光学、赤外線、音響、ＬＩＤＡＲ、ＥＯＧ、ＧＰＳ、磁気）を組み込むことができる。加えて、複合現実システム１１２は、ネットワーキング特徴（例えば、Ｗｉ－Ｆｉ能力）を組み込み、他の複合現実システムを含む、他のデバイスおよびシステムと通信してもよい。複合現実システム１１２はさらに、バッテリ（ユーザの腰部の周囲に装着されるように設計されるベルトパック等の補助ユニット内に搭載されてもよい）と、プロセッサと、メモリとを含んでもよい。複合現実システム１１２のウェアラブル頭部デバイスは、ユーザの環境に対するウェアラブル頭部デバイスの座標セットを出力するように構成される、ＩＭＵまたは他の好適なセンサ等の追跡コンポーネントを含んでもよい。いくつかの実施例では、追跡コンポーネントは、入力をプロセッサに提供し、同時位置特定およびマッピング（ＳＬＡＭ）および／またはビジュアルオドメトリアルゴリズムを実施してもよい。いくつかの実施例では、複合現実システム１１２はまた、ハンドヘルドコントローラ３００、および／または下記にさらに説明されるように、ウェアラブルベルトパックであり得る補助ユニット３２０を含んでもよい。
【0042】
図２Ａ－２Ｄは、ＭＲＥ（ＭＲＥ１５０に対応し得る）または他の仮想環境をユーザに提示するために使用され得る、例示的複合現実システム２００（複合現実システム１１２に対応し得る）のコンポーネントを図示する。図２Ａは、例示的複合現実システム２００内に含まれるウェアラブル頭部デバイス２１０２の斜視図を図示する。図２Ｂは、ユーザの頭部２２０２上に装着されるウェアラブル頭部デバイス２１０２の上面図を図示する。図２Ｃは、ウェアラブル頭部デバイス２１０２の正面図を図示する。図２Ｄは、ウェアラブル頭部デバイス２１０２の例示的接眼レンズ２１１０の縁視図を図示する。図２Ａ－２Ｃに示されるように、例示的ウェアラブル頭部デバイス２１０２は、例示的左接眼レンズ（例えば、左透明導波管セット接眼レンズ）２１０８と、例示的右接眼レンズ（例えば、右透明導波管セット接眼レンズ）２１１０とを含む。各接眼レンズ２１０８および２１１０は、それを通して実環境が可視となる、透過性要素と、実環境に重複するディスプレイ（例えば、画像毎に変調された光を介して）を提示するためのディスプレイ要素とを含むことができる。いくつかの実施例では、そのようなディスプレイ要素は、画像毎に変調された光の流動を制御するための表面回折光学要素を含むことができる。例えば、左接眼レンズ２１０８は、左内部結合格子セット２１１２と、左直交瞳拡張（ＯＰＥ）格子セット２１２０と、左出射（出力）瞳拡張（ＥＰＥ）格子セット２１２２とを含むことができる。同様に、右接眼レンズ２１１０は、右内部結合格子セット２１１８と、右ＯＰＥ格子セット２１１４と、右ＥＰＥ格子セット２１１６とを含むことができる。画像毎に変調された光は、内部結合格子２１１２および２１１８、ＯＰＥ２１１４および２１２０、およびＥＰＥ２１１６および２１２２を介して、ユーザの眼に転送されることができる。各内部結合格子セット２１１２、２１１８は、光をその対応するＯＰＥ格子セット２１２０、２１１４に向かって偏向させるように構成されることができる。各ＯＰＥ格子セット２１２０、２１１４は、光をその関連付けられたＥＰＥ２１２２、２１１６に向かって下方に漸次的に偏向させ、それによって、形成されている射出瞳を水平に延在させるように設計されることができる。各ＥＰＥ２１２２、２１１６は、その対応するＯＰＥ格子セット２１２０、２１１４から受信された光の少なくとも一部を、接眼レンズ２１０８、２１１０の背後に定義される、ユーザアイボックス位置（図示せず）に外向きに漸次的に再指向し、アイボックスに形成される射出瞳を垂直に延在させるように構成されることができる。代替として、内部結合格子セット２１１２および２１１８、ＯＰＥ格子セット２１１４および２１２０、およびＥＰＥ格子セット２１１６および２１２２の代わりに、接眼レンズ２１０８および２１１０は、ユーザの眼への画像毎に変調された光の結合を制御するための格子および／または屈折および反射性特徴の他の配列を含むことができる。
【0043】
いくつかの実施例では、ウェアラブル頭部デバイス２１０２は、左つるのアーム２１３０と、右つるのアーム２１３２とを含むことができ、左つるのアーム２１３０は、左スピーカ２１３４を含み、右つるのアーム２１３２は、右スピーカ２１３６を含む。直交コイル電磁受信機２１３８は、左こめかみ部品またはウェアラブル頭部ユニット２１０２内の別の好適な場所に位置することができる。慣性測定ユニット（ＩＭＵ）２１４０は、右つるのアーム２１３２またはウェアラブル頭部デバイス２１０２内の別の好適な場所に位置することができる。ウェアラブル頭部デバイス２１０２はまた、左深度（例えば、飛行時間）カメラ２１４２と、右深度カメラ２１４４とを含むことができる。深度カメラ２１４２、２１４４は、好適には、ともにより広い視野を網羅するように、異なる方向に配向されることができる。
【0044】
図２Ａ－２Ｄに示される実施例では、画像毎に変調された光２１２４の左源は、左内部結合格子セット２１１２を通して、左接眼レンズ２１０８の中に光学的に結合されることができ、画像毎に変調された光２１２６の右源は、右内部結合格子セット２１１８を通して、右接眼レンズ２１１０の中に光学的に結合されることができる。画像毎に変調された光２１２４、２１２６の源は、例えば、光ファイバスキャナ、デジタル光処理（ＤＬＰ）チップまたはシリコン上液晶（ＬＣｏＳ）変調器等の電子光変調器を含むプロジェクタ、または側面あたり１つ以上のレンズを使用して、内部結合格子セット２１１２、２１１８の中に結合される、マイクロ発光ダイオード（μＬＥＤ）またはマイクロ有機発光ダイオード（μＯＬＥＤ）パネル等の発光型ディスプレイを含むことができる。入力結合格子セット２１１２、２１１８は、画像毎に変調された光２１２４、２１２６の源からの光を、接眼レンズ２１０８、２１１０のための全内部反射（ＴＩＲ）に関する臨界角を上回る角度に偏向させることができる。ＯＰＥ格子セット２１１４、２１２０は、伝搬する光をＴＩＲによってＥＰＥ格子セット２１１６、２１２２に向かって下方に漸次的に偏向させる。ＥＰＥ格子セット２１１６、２１２２は、ユーザの眼の瞳孔を含む、ユーザの顔に向かって、光を漸次的に結合する。
【0045】
いくつかの実施例では、図２Ｄに示されるように、左接眼レンズ２１０８および右接眼レンズ２１１０はそれぞれ、複数の導波管２４０２を含む。例えば、各接眼レンズ２１０８、２１１０は、複数の個々の導波管を含むことができ、それぞれ、個別の色チャネル（例えば、赤色、青色、および緑色）専用である。いくつかの実施例では、各接眼レンズ２１０８、２１１０は、複数のセットのそのような導波管を含むことができ、各セットは、異なる波面曲率を放出される光に付与するように構成される。波面曲率は、例えば、ユーザの正面のある距離（例えば、波面曲率の逆数に対応する距離）に位置付けられる仮想オブジェクトを提示するように、ユーザの眼に対して凸面であってもよい。いくつかの実施例では、ＥＰＥ格子セット２１１６、２１２２は、各ＥＰＥを横断して出射する光のＰｏｙｎｔｉｎｇベクトルを改変することによって凸面波面曲率をもたらすために、湾曲格子溝を含むことができる。
【0046】
いくつかの実施例では、表示されるコンテンツが３次元である知覚を作成するために、立体視的に調節される左および右眼画像は、画像毎に光変調器２１２４、２１２６および接眼レンズ２１０８、２１１０を通して、ユーザに提示されることができる。３次元仮想オブジェクトの提示の知覚される現実性は、仮想オブジェクトが立体視左および右画像によって示される距離に近似する距離に表示されるように、導波管（したがって、対応する波面曲率）を選択することによって向上されることができる。本技法はまた、立体視左および右眼画像によって提供される深度知覚キューと人間の眼の自動遠近調節（例えば、オブジェクト距離依存焦点）との間の差異によって生じ得る、一部のユーザによって被られる乗り物酔いを低減させ得る。
【0047】
図２Ｄは、例示的ウェアラブル頭部デバイス２１０２の右接眼レンズ２１１０の上部からの縁視図を図示する。図２Ｄに示されるように、複数の導波管２４０２は、３つの導波管２４０４の第１のサブセットと、３つの導波管２４０６の第２のサブセットとを含むことができる。導波管２４０４、２４０６の２つのサブセットは、異なる波面曲率を出射する光に付与するために異なる格子線曲率を特徴とする、異なるＥＰＥ格子によって区別されることができる。導波管２４０４、２４０６のサブセットのそれぞれ内において、各導波管は、異なるスペクトルチャネル（例えば、赤色、緑色、および青色スペクトルチャネルのうちの１つ）をユーザの右眼２２０６に結合するために使用されることができる。（図２Ｄには図示されないが、左接眼レンズ２１０８の構造は、右接眼レンズ２１１０の構造に類似する。）
【0048】
図３Ａは、複合現実システム２００の例示的ハンドヘルドコントローラコンポーネント３００を図示する。いくつかの実施例では、ハンドヘルドコントローラ３００は、把持部分３４６と、上部表面３４８に沿って配置される、１つ以上のボタン３５０とを含む。いくつかの実施例では、ボタン３５０は、例えば、カメラまたは他の光学センサ（複合現実システム２００の頭部ユニット（例えば、ウェアラブル頭部デバイス２１０２）内に搭載され得る）と併せて、ハンドヘルドコントローラ３００の６自由度（６ＤＯＦ）運動を追跡するための光学追跡標的として使用するために構成されてもよい。いくつかの実施例では、ハンドヘルドコントローラ３００は、ウェアラブル頭部デバイス２１０２に対する位置または配向等の位置または配向を検出するための追跡コンポーネント（例えば、ＩＭＵまたは他の好適なセンサ）を含む。いくつかの実施例では、そのような追跡コンポーネントは、ハンドヘルドコントローラ３００のハンドル内に位置付けられてもよく、および／またはハンドヘルドコントローラに機械的に結合されてもよい。ハンドヘルドコントローラ３００は、ボタンの押下状態、またはハンドヘルドコントローラ３００の位置、配向、および／または運動（例えば、ＩＭＵを介して）のうちの１つ以上のものに対応する、１つ以上の出力信号を提供するように構成されることができる。そのような出力信号は、複合現実システム２００のプロセッサへの入力として使用されてもよい。そのような入力は、ハンドヘルドコントローラの位置、配向、および／または移動（さらに言うと、コントローラを保持するユーザの手の位置、配向、および／または移動）に対応し得る。そのような入力はまた、ユーザがボタン３５０を押下したことに対応し得る。
【0049】
図３Ｂは、複合現実システム２００の例示的補助ユニット３２０を図示する。補助ユニット３２０は、エネルギーを提供し、システム２００を動作するためのバッテリを含むことができ、プログラムを実行し、システム２００を動作させるためのプロセッサを含むことができる。示されるように、例示的補助ユニット３２０は、補助ユニット３２０をユーザのベルトに取り付ける等のためのクリップ２１２８を含む。他の形状因子も、補助ユニット３２０のために好適であって、ユニットをユーザのベルトに搭載することを伴わない、形状因子を含むことも明白となるであろう。いくつかの実施例では、補助ユニット３２０は、例えば、電気ワイヤおよび光ファイバを含み得る、多管式ケーブルを通して、ウェアラブル頭部デバイス２１０２に結合される。補助ユニット３２０とウェアラブル頭部デバイス２１０２との間の無線接続もまた、使用されることができる。
【0050】
いくつかの実施例では、複合現実システム２００は、１つ以上のマイクロホンを含み、音を検出し、対応する信号を複合現実システムに提供することができる。いくつかの実施例では、マイクロホンは、ウェアラブル頭部デバイス２１０２に取り付けられる、またはそれと統合されてもよく、ユーザの音声を検出するように構成されてもよい。いくつかの実施例では、マイクロホンは、ハンドヘルドコントローラ３００および／または補助ユニット３２０に取り付けられる、またはそれと統合されてもよい。そのようなマイクロホンは、環境音、周囲雑音、ユーザまたは第三者の音声、または他の音を検出するように構成されてもよい。
【0051】
図４は、上記に説明される複合現実システム２００（図１に関する複合現実システム１１２に対応し得る）等の例示的複合現実システムに対応し得る、例示的機能ブロック図を示す。図４に示されるように、例示的ハンドヘルドコントローラ４００Ｂ（ハンドヘルドコントローラ３００（「トーテム」）に対応し得る）は、トーテム／ウェアラブル頭部デバイス６自由度（６ＤＯＦ）トーテムサブシステム４０４Ａを含み、例示的ウェアラブル頭部デバイス４００Ａ（ウェアラブル頭部デバイス２１０２に対応し得る）は、トーテム／ウェアラブル頭部デバイス６ＤＯＦサブシステム４０４Ｂを含む。実施例では、６ＤＯＦトーテムサブシステム４０４Ａおよび６ＤＯＦサブシステム４０４Ｂは、協働し、ウェアラブル頭部デバイス４００Ａに対するハンドヘルドコントローラ４００Ｂの６つの座標（例えば、３つの平行移動方向におけるオフセットおよび３つの軸に沿った回転）を決定する。６自由度は、ウェアラブル頭部デバイス４００Ａの座標系に対して表されてもよい。３つの平行移動オフセットは、そのような座標系内におけるＸ、Ｙ、およびＺオフセット、平行移動行列、またはある他の表現として表されてもよい。回転自由度は、ヨー、ピッチ、およびロール回転のシーケンス、回転行列、四元数、またはある他の表現として表されてもよい。いくつかの実施例では、ウェアラブル頭部デバイス４００Ａ、ウェアラブル頭部デバイス４００Ａ内に含まれる、１つ以上の深度カメラ４４４（および／または１つ以上の非深度カメラ）、および／または１つ以上の光学標的（例えば、上記に説明されるようなハンドヘルドコントローラ４００Ｂのボタン３５０またはハンドヘルドコントローラ４００Ｂ内に含まれる専用光学標的）は、６ＤＯＦ追跡のために使用されることができる。いくつかの実施例では、ハンドヘルドコントローラ４００Ｂは、上記に説明されるようなカメラを含むことができ、ウェアラブル頭部デバイス４００Ａは、カメラと併せた光学追跡のための光学標的を含むことができる。いくつかの実施例では、ウェアラブル頭部デバイス４００Ａおよびハンドヘルドコントローラ４００Ｂはそれぞれ、３つの直交して配向されるソレノイドのセットを含み、これは、３つの区別可能な信号を無線で送信および受信するために使用される。受信するために使用される、コイルのそれぞれ内で受信される３つの区別可能な信号の相対的大きさを測定することによって、ハンドヘルドコントローラ４００Ｂに対するウェアラブル頭部デバイス４００Ａの６ＤＯＦが、決定され得る。加えて、６ＤＯＦトーテムサブシステム４０４Ａは、改良された正確度および／またはハンドヘルドコントローラ４００Ｂの高速移動に関するよりタイムリーな情報を提供するために有用である、慣性測定ユニット（ＩＭＵ）を含むことができる。
【0052】
いくつかの実施例では、例えば、座標系１０８に対するウェアラブル頭部デバイス４００Ａの移動を補償するために、座標をローカル座標空間（例えば、ウェアラブル頭部デバイス４００Ａに対して固定される座標空間）から慣性座標空間（例えば、実環境に対して固定される座標空間）に変換することが必要になり得る。例えば、そのような変換は、ウェアラブル頭部デバイス４００Ａのディスプレイが、ディスプレイ上の固定位置および配向（例えば、ディスプレイの右下角における同一位置）ではなく仮想オブジェクトを実環境に対する予期される位置および配向に提示し（例えば、ウェアラブル頭部デバイスの位置および配向にかかわらず、前方に面した実椅子に着座している仮想人物）、仮想オブジェクトが実環境内に存在する（かつ、例えば、ウェアラブル頭部デバイス４００Ａが偏移および回転するにつれて、実環境内に不自然に位置付けられて現れない）という錯覚を保存するために必要であり得る。いくつかの実施例では、座標空間間の補償変換が、座標系１０８に対するウェアラブル頭部デバイス４００Ａの変換を決定するために、ＳＬＡＭおよび／またはビジュアルオドメトリプロシージャを使用して、深度カメラ４４４からの画像を処理することによって決定されることができる。図４に示される実施例では、深度カメラ４４４は、ＳＬＡＭ／ビジュアルオドメトリブロック４０６に結合され、画像をブロック４０６に提供することができる。ＳＬＡＭ／ビジュアルオドメトリブロック４０６実装は、本画像を処理し、次いで、頭部座標空間と別の座標空間（例えば、慣性座標空間）との間の変換を識別するために使用され得る、ユーザの頭部の位置および配向を決定するように構成される、プロセッサを含むことができる。同様に、いくつかの実施例では、ユーザの頭部姿勢および場所に関する情報の付加的源が、ＩＭＵ４０９から取得される。ＩＭＵ４０９からの情報は、ＳＬＡＭ／ビジュアルオドメトリブロック４０６からの情報と統合され、改良された正確度および／またはユーザの頭部姿勢および位置の高速調節に関する情報をよりタイムリーに提供することができる。
【0053】
いくつかの実施例では、深度カメラ４４４は、ウェアラブル頭部デバイス４００Ａのプロセッサ内に実装され得る、手のジェスチャトラッカ４１１に、３Ｄ画像を供給することができる。手のジェスチャトラッカ４１１は、例えば、深度カメラ４４４から受信された３Ｄ画像を手のジェスチャを表す記憶されたパターンに合致させることによって、ユーザの手のジェスチャを識別することができる。ユーザの手のジェスチャを識別する他の好適な技法も、明白となるであろう。
【0054】
いくつかの実施例では、１つ以上のプロセッサ４１６は、ウェアラブル頭部デバイスの６ＤＯＦヘッドギヤサブシステム４０４Ｂ、ＩＭＵ４０９、ＳＬＡＭ／ビジュアルオドメトリブロック４０６、深度カメラ４４４、および／または手のジェスチャトラッカ４１１からのデータを受信するように構成されてもよい。プロセッサ４１６はまた、制御信号を６ＤＯＦトーテムシステム４０４Ａに送信し、そこから受信することができる。プロセッサ４１６は、ハンドヘルドコントローラ４００Ｂがテザリングされない実施例等では、無線で、６ＤＯＦトーテムシステム４０４Ａに結合されてもよい。プロセッサ４１６はさらに、視聴覚コンテンツメモリ４１８、グラフィカル処理ユニット（ＧＰＵ）４２０、および／またはデジタル信号プロセッサ（ＤＳＰ）オーディオ空間化装置４２２等の付加的コンポーネントと通信してもよい。ＤＳＰオーディオ空間化装置４２２は、頭部関連伝達関数（ＨＲＴＦ）メモリ４２５に結合されてもよい。ＧＰＵ４２０は、画像毎に変調された光４２４の左源に結合される、左チャネル出力と、画像毎に変調された光４２６の右源に結合される、右チャネル出力とを含むことができる。ＧＰＵ４２０は、例えば、図２Ａ－２Ｄに関して上記に説明されるように、立体視画像データを画像毎に変調された光４２４、４２６の源に出力することができる。ＤＳＰオーディオ空間化装置４２２は、オーディオを左スピーカ４１２および／または右スピーカ４１４に出力することができる。ＤＳＰオーディオ空間化装置４２２は、プロセッサ４１９から、ユーザから仮想音源（例えば、ハンドヘルドコントローラ３２０を介して、ユーザによって移動され得る）への方向ベクトルを示す入力を受信することができる。方向ベクトルに基づいて、ＤＳＰオーディオ空間化装置４２２は、対応するＨＲＴＦを決定することができる（例えば、ＨＲＴＦにアクセスすることによって、または複数のＨＲＴＦを補間することによって）。ＤＳＰオーディオ空間化装置４２２は、次いで、決定されたＨＲＴＦを仮想オブジェクトによって生成された仮想音に対応するオーディオ信号等のオーディオ信号に適用することができる。これは、複合現実環境内の仮想音に対するユーザの相対的位置および配向を組み込むことによって、すなわち、その仮想音が実環境内の実音である場合に聞こえるであろうもののユーザの予期に合致する仮想音を提示することによって、仮想音の信憑性および現実性を向上させることができる。
【0055】
図４に示されるようないくつかの実施例では、プロセッサ４１６、ＧＰＵ４２０、ＤＳＰオーディオ空間化装置４２２、ＨＲＴＦメモリ４２５、およびオーディオ／視覚的コンテンツメモリ４１８のうちの１つ以上のものは、補助ユニット４００Ｃ（上記に説明される補助ユニット３２０に対応し得る）内に含まれてもよい。補助ユニット４００Ｃは、バッテリ４２７を含み、そのコンポーネントを給電し、および／または電力をウェアラブル頭部デバイス４００Ａまたはハンドヘルドコントローラ４００Ｂに供給してもよい。そのようなコンポーネントを、ユーザの腰部に搭載され得る、補助ユニット内に含むことは、ウェアラブル頭部デバイス４００Ａのサイズおよび重量を限定することができ、これは、ひいては、ユーザの頭部および頸部の疲労を低減させることができる。
【0056】
図４は、例示的複合現実システムの種々のコンポーネントに対応する要素を提示するが、これらのコンポーネントの種々の他の好適な配列も、当業者に明白となるであろう。例えば、補助ユニット４００Ｃと関連付けられているような図４に提示される要素は、代わりに、ウェアラブル頭部デバイス４００Ａまたはハンドヘルドコントローラ４００Ｂと関連付けられ得る。さらに、いくつかの複合現実システムは、ハンドヘルドコントローラ４００Ｂまたは補助ユニット４００Ｃを完全に無くしてもよい。そのような変更および修正は、開示される実施例の範囲内に含まれるものとして理解されるべきである。
【0057】
複合現実楽器
【0058】
本発明は、ＭＲＥを使用して、楽器であるかのように実オブジェクトと相互作用するステップに関する。すなわち、本発明によると、ユーザが、吹鳴またはその手で（または楽器打具等のオブジェクトを用いて）叩打する等によって、ＭＲＥ内の実オブジェクトと物理的に相互作用するとき、ＭＲＥは、ユーザに、実オブジェクトの音波応答に対応しないが、楽器の音波特性に対応する、オーディオ信号を提示する。本双方向挙動は、例えば、ゲーム、作曲、教育、およびソーシャル相互作用に関連する用途において有益であり得る。そのような実オブジェクトは、ユーザが、例えば、自然オブジェクト（例えば、木の枝または岩）、人工オブジェクト（例えば、調理鍋、ゴムバンド）、２次元図面（例えば、紙上の木琴のスケッチ）、または生物もしくは身体部分（例えばユーザの腕または脚を含む、腕または脚）と相互作用し得る、任意の好適な実オブジェクトを含んでもよい。同様に、楽器は、打楽器（例えば、ドラム、木琴）、弦楽器（例えば、ギターだけではなく、ピアノ等の鍵打インターフェースを伴う弦楽器も含む）、金管または木管楽器（例えば、チューバ、クラリネット）、または電子楽器（例えば、アナログシンセサイザ）等、音を生成する、任意の好適な楽器を含み得る。いくつかの実施例では、楽器はまた、機械類（例えば、オートバイのエンジン）または動物（例えば、鳴鳥）等、従来、楽器と見なされない、音発生器を含み得る。
【0059】
我々の日常の生活の中の多くの実オブジェクトは、すでに、楽器に対して、ある類似点を持っている、またはある特性を共有している。例えば、ドラムは、円筒形形状である傾向にあり、ドラムを演奏することは、ひっくり返されたバケツ等の任意の他の円筒形オブジェクトの表面を叩打する場合のように、ドラムヘッドを叩打することを伴い、ドラムシェルおよびドラムヘッドの振動によって生成される、ドラムの音は、同様にバケツの振動によって生成される、バケツを叩打する音に類似し得る。同様に、ギターの弦を弾くことは、ゴムバンドを引っ張ることと同一運動を伴い得、木琴は、視覚的に、一連の木の板に類似し得る。さらに、ピアノの鍵盤は、視覚的に、紙上に描かれた鍵盤のスケッチに類似し得る。本発明は、日常のオブジェクトと楽器との間のこれらの類似性を利用する。例えば、細長い箱を叩打し、木琴の音が聞こえることに応じて、ユーザは、２つの間の視覚的および物理的類似性のため、直ちに、その頭の中で、木琴の音と細長い箱を叩打することを結び付け得る。結果として生じる効果は、直感的かつ没入的であって、実際の木琴を演奏する体験を喚起し得る。さらに、いくつかの実施例では、本発明は、実オブジェクトの１つ以上の実際の物理的特性（形状、寸法、材料等）を利用して、それらの物理的特性によって影響される音を生成してもよい。代替として、複合現実楽器の実コンポーネントは、複合現実楽器の仮想コンポーネントと殆ど類似点を持っていなくてもよい。例えば、仮想コンポーネントは、木琴であることができ、実コンポーネントは、テーブルの表面であることができる。ある実装では、複合現実楽器の実コンポーネントは、触覚的フィードバックを楽器打具（例えば、マレット、ドラムスティック、スネアブラシ）を振るうユーザに提供する有益な機能を果たす。加えて、本発明は、実オブジェクトとの相互作用のパラメータ、例えば、それを用いてユーザがオブジェクトを叩打する場所または速度を利用して、音をそれらのパラメータに対応するように変調させてもよい。これらの特徴は、ＭＲＥに従事するとき、没入感およびつながりをさらに向上させる。
【0060】
下記にさらに説明されるように、ＭＲＥ内で仮想楽器に対応するオーディオ信号を提示することは、３つのプロセス、すなわち、仮想コンポーネントおよび実オブジェクトコンポーネントを含む、複合現実楽器を作成する第１のプロセスと、複合現実楽器とのユーザ相互作用を検出および処理する第２のプロセスと、複合現実楽器とのユーザ相互作用に基づいて、オーディオを生成する第３のプロセスとを含むことができる。
【0061】
複合現実楽器を作成する
【0062】
図５は、ＭＲＥ（例えば、図１に関して上記に説明されるＭＲＥ１５０）内の実オブジェクトに対応する仮想楽器を作成する例示的プロセス５００を図示する。段階５２０では、実オブジェクトが、例えば、深度カメラ１４２、１４４を使用して、検出されることができる。いくつかの実施形態では、実オブジェクトは、複合現実システムの外部の１つ以上のカメラ（例えば、深度カメラ、ＲＧＢカメラ、ＲＧＢＤカメラ等）を介して、検出されてもよい。１つ以上のカメラは、例えば、カメラリグ上にあってもよい。段階５４０では、仮想オブジェクトが、作成され（例えば、複合現実システム１１２のプロセッサおよび／またはメモリ等の回路によって）、実オブジェクトに対応させることができる。段階５６０では、１つ以上の楽器パラメータは、仮想オブジェクトと関連付けられることができる。楽器パラメータは、オーディオ信号を生成または処理するために使用され得る、仮想楽器としての仮想オブジェクトの挙動を定義し得る。いくつかの実施例では、段階５８０において、仮想オブジェクトの視覚的表現が、ＭＲＥのユーザに提示されることができる。プロセス５００の段階５２０、５４０、５６０、および５８０は、下記により詳細に説明される。
【0063】
図６Ａ－６Ｃは、図５に関して上記に説明される例示的プロセス５００に従ってＭＲＥ内の実オブジェクトに対応する仮想楽器を作成する実施例を図示する。図６Ａは、複合現実システム６１２のユーザ６１０（それぞれ、図１における、ユーザ１１０および複合現実システム１１２に対応し得る）を示す。ユーザ６１０は、実オブジェクト６２０Ａ（切株６２２Ａ、切株６２４Ａ、キノコ６２６Ａ、およびキノコ６２８Ａを含む）等の実オブジェクトを含む、実環境６００（例えば、森）内に存在する。複合現実システム１００に関して上記に説明されるように、ユーザ６１０が、実環境６００内に存在する間、複合現実システム６１２は、ユーザ６１０（例えば、ディスプレイおよび／または１つ以上のスピーカを介して）に、実環境６００を組み込むＭＲＥを提示してもよい。示される実施例では、実環境６００は、１つ以上のカメラ（または他の好適なセンサ）によって検出されることができる。いくつかの実施形態では、１つ以上のカメラは、複合現実システム６１２の一部であってもよく、視野６１４を有してもよい。いくつかの実施形態では、１つ以上のカメラは、複合現実システム６１２の外部にあってもよい。示される実施例では、複合現実システム６１２は、ユーザ６１０が実環境６００内で実オブジェクト６２０Ａに遭遇する前に、それらの事前「知識」を有していなくてもよい。（しかしながら、いくつかの実施例では、複合現実システム６１２は、実オブジェクト６２０Ａの何らかの事前知識を有してもよい。例えば、デバイスのメモリは、実オブジェクト６２０Ａの場所を事前にプログラムされてもよい。）上記に説明されるように、ユーザ６１０は、それらが楽器であるかのように、実オブジェクト６２０Ａと相互作用することを所望し得る。例えば、ユーザ６１０は、打楽器（例えば、１つ以上のドラムを備える、ドラムセット）であるかのように、切株６２２Ａおよび６２４Ａならびにキノコ６２６Ａおよび６２８Ａを叩打することを所望し得る。複合現実システム６１２は、ユーザ６１０に、オーディオ信号および／または視覚的キューを提示し、ユーザ６１０が、通常のオブジェクトではなく、実際のドラムと相互作用しているという錯覚を作成することによって、実オブジェクト６２０Ａとの本例示的相互作用を向上させることができる。例えば、下記に説明されるように、ユーザ６１０が、実オブジェクト６２０Ａのうちの１つを叩打するにつれて、複合現実システム６１２は、並行して、ユーザ６１０に、実オブジェクトに基づいて、仮想ドラムに対応するオーディオ信号を提示することができる。
【0064】
図６Ｂは、（例えば、プロセス５００の段階５２０において）複合現実システム６１２によって検出され得るような視野６１４に対応する、実環境６００の例示的ビューを示す。図６Ｂに示されるように、複合現実システム６１２は、実環境６００内の実オブジェクト６２０Ａを検出することができる。いくつかの実施例では、複合現実システム６１２は、１つ以上のカメラを利用して、実オブジェクト６２０Ａの画像を検出することができる。しかしながら、上記に説明されるように、１つ以上のセンサの任意の好適な組み合わせが、実オブジェクト６２０Ａを検出するために使用されることができる。例えば、複合現実システム６１２は、ＬＩＤＡＲユニット、加速度計、音響センサ、赤外線センサ、ＧＰＳユニット、または任意の他の好適なセンサを利用することができる。いくつかの実施形態では、実オブジェクト６２０Ａを検出するために使用されるセンサは、複合現実システム６１２の外部にあってもよい。
【0065】
実オブジェクト６２０Ａを検出後、複合現実システム６１２は、ＭＲＥの仮想環境内の１つ以上の仮想オブジェクトを生成することができる（例えば、プロセス５００の段階５４０において）。これらの仮想オブジェクトは、実オブジェクト６２０Ａに対応し、それを表し得る。複合現実システム６１２は、上記に説明されるように、ＭＲＥの状態を維持および更新してもよい。プロセス５００の段階５６０等に関して上記に説明されるように、複合現実システム（例えば、プロセッサまたは他の回路を介して）は、１つ以上のパラメータ（例えば、位置、配向、形状）と仮想オブジェクトを関連付けることができ、ＭＲＥ内の仮想オブジェクトに対する１つ以上の動作を実施することができる。実施例として、複合現実システム６１２は、ＭＲＥ内の仮想オブジェクトに指向される入力を受信し（例えば、仮想オブジェクトとのユーザ相互作用を感知する）、仮想オブジェクト間の相互作用を識別し、ＭＲＥ内の仮想オブジェクトに対応するディスプレイ（例えば、ポリゴンモデルおよび／または１つ以上のテクスチャ）を生成および／または提示し、ＭＲＥ内の仮想オブジェクトに対応するオーディオ信号を生成および／または提示することができる。複合現実システム６１２はさらに、ソフトウェア（例えば、スクリプト言語で書かれたスクリプト）を実行し、ＭＲＥ内の仮想オブジェクトに影響を及ぼす動作を実施してもよい。故に、複合現実システム６１２は、ユーザが、対応する実オブジェクトに触れる、または別様に、それと相互作用することを識別すること等によって、双方向品質を仮想オブジェクトに与えることができる。
【0066】
図６Ｃは、座標空間６１６（図１Ａ－１Ｃに関して上記に説明される座標空間１０８に対応し得、好適には、実環境６００の慣性基準フレーム内に固定される）を有する、ＭＲＥ６０１内の実オブジェクト６２０Ａに対応する、例示的仮想オブジェクト６２０Ｂを示す。仮想オブジェクト６２２Ｂ、６２４Ｂ、６２６Ｂ、および６２８Ｂ（集合的に、６２０Ｂ）は、それぞれ、実オブジェクト６２２Ａ、６２４Ａ、６２６Ａ、および６２８Ａ（集合的に、６２０Ａ）に対応する。仮想オブジェクト（例えば、仮想オブジェクト６２２Ｂ）は、対応する実オブジェクト（例えば、切株６２２Ａ）に基づいて、１つ以上のパラメータを有することができる。そのようなパラメータは、ＭＲＥの座標空間内の空間性質（例えば、位置、配向、形状、寸法）、視覚的性質（例えば、色、透明度、反射率）、物理的性質（例えば、密度、弾性、引張強度、温度、平滑度、湿潤度、共鳴、電気伝導性）、またはオブジェクトの他の好適な性質を含むことができる。複合現実システム６１２は、そのようなパラメータを決定し、故に、任意の好適な方法を使用して、それらのパラメータを有する、仮想オブジェクト６２０Ｂを生成することができる。例えば、複合現実システム６１２は、カメラデータとＬＩＤＡＲデータの組み合わせを使用し、切株６２２Ａの基点が位置する（ＭＲＥ内の）位置座標と、ＭＲＥ内の切株６２２Ａの配向に対応する配向ベクトルとを識別し得る。付加的実施例として、複合現実システム６１２は、センサデータ（例えば、カメラデータ、ＬＩＤＡＲデータ）に適用される従来の形状認識方法を使用し、切株６２２Ａが、略円筒形形状であって、切株６２２Ａが、概して、半径１６．５インチおよび高さ２８．０インチの円筒形に対応し得、切株６２２Ａが、不透明かつ茶色である（例えば、＜１４０，７０，２０，０＞のＲＧＢＡベクトルに対応する）ことを識別し得る。同様に、いくつかの実施例では、複合現実システム６１２は、切株６２２Ａと関連付けられた材料（例えば、オーク材）を識別してもよい。複合現実システム６１２は、故に、仮想オブジェクト６２２Ｂを作成し、その仮想オブジェクトと関連付けられたパラメータ（例えば、下記に説明される一般的パラメータ７１０）を設定し、これらの値に対応させることができる。図６Ｃに示されるように、仮想オブジェクト６２０Ｂ（仮想オブジェクト６２２Ｂを含む）はそれぞれ、個別の高さおよび半径を有する、円筒形として表され、これは、その対応する実オブジェクト６２０Ａの略円筒形形状に対応し得る。さらに、仮想オブジェクト６２０Ｂはそれぞれ、その個別の実オブジェクト６２０Ａに対応する位置および配向において、座標空間６１６内に位置する。
【0067】
図７は、実オブジェクト６２２Ａに対応する、例示的仮想オブジェクト６２２Ｂと関連付けられた、上記に説明されるパラメータ等のパラメータの例示的データ表現７００を示す。いくつかの実施例では、データ表現７００は、クラス（例えば、楽器を定義し、より一般的仮想オブジェクトを説明するクラスから継承する、クラス）のインスタンスに対応してもよい。しかしながら、データ表現７００の任意の好適な実装が、使用されてもよい。示される実施例では、一般的パラメータ７１０（仮想オブジェクトの一般的パラメータに対応し得る）は、仮想オブジェクト６２２Ｂが、円筒形形状、１６．５インチの半径、２８．０インチの高さ、（例えば、座標空間６１６内の）＜２１０．１，１８０．４，１．６＞の位置座標、＜０．０，０．０，１．０＞の配向ベクトル、およびオーク材と関連付けられることを示す。一般的パラメータ７１０はまた、示されない付加的パラメータを含んでもよい。
【0068】
図７に示されるようないくつかの実施例では、１つ以上の楽器パラメータ７２０は、仮想オブジェクト６２２Ｂ等の仮想オブジェクトと関連付けられてもよい。楽器パラメータは、下記に説明されるように、仮想オブジェクトと関連付けられたオーディオ信号を生成または修正するために使用されてもよい。いくつかの実施形態では、ユーザは、仮想オブジェクトと関連付けられた１つ以上の楽器パラメータ７２０を選択および調節してもよい。図７では、楽器パラメータ７２０は、仮想オブジェクトが、「ドラム」の楽器タイプ、「Ｆｌｏｏｒ Ｔｏｍ」の楽器サブタイプ、「オーク材」のシェル材料タイプ、６９．３Ｈｚのピッチ（音符２Ｃ＃に対応する）、１４．０インチの半径、および１８．０インチの深度に対応することを示す。
【0069】
いくつかの実施例では、複合現実システム６１２は、一般的パラメータ７１０から、（例えば、カメラまたはマイクロホンから検出された）センサデータから、および／またはユーザ入力からの楽器パラメータ７２０のうちの１つ以上のものを導出することができる。例えば、複合現実システム６１２は、仮想オブジェクト６２２Ｂの形状に関連する一般的パラメータ７１０（例えば、仮想オブジェクト６２２Ｂが、円筒形であって、オーク材材料を有し、垂直に配向される）から、仮想オブジェクト６２２ＢがＦｌｏｏｒ Ｔｏｍタイプドラムに最近似する（例えば、他の楽器と比較して）ことを決定し得る。故に、複合現実システム６１２は、楽器パラメータを設定し、仮想オブジェクト６２２Ｂが、「ドラム」の楽器タイプを有し、「Ｆｌｏｏｒ Ｔｏｍ」のサブタイプおよび「オーク材」のシェル材料を伴うことを反映させ得る。同様に、複合現実システム６１２は、一般的パラメータ７１０から、仮想オブジェクト６２２Ｂが、１４．１インチの半径および１７．８インチの高さを有し、仮想オブジェクト６２２Ｂが、１４．０インチの半径および１８．０インチの深度を有する、ドラムに対応し得る（１４．０インチおよび１８．０インチは、Ｆｌｏｏｒ Ｔｏｍ半径および深度に関する標準サイズであって、複合現実システム６１２は、これらが仮想オブジェクト６２２Ｂの寸法に最も近い標準Ｆｌｏｏｒ Ｔｏｍサイズであることを決定し得る）ことを示すことを決定することができる。さらに、複合現実システム６１２は、例えば、仮想オブジェクト６２２Ｂに対応する寸法および材料に基づいて、ドラムとして演奏される場合、仮想オブジェクト６２２Ｂが、６９．３Ｈｚのベース／基本周波数（ピッチ）で共鳴し得ることを決定することができる。複合現実システム６１２は、故に、楽器パラメータ７２０を設定し、これらの決定された値を反映させることができる。
【0070】
上記の実施例では、パラメータ７００は、離散値（例えば、６９．３Ｈｚのピッチ）として示される。しかしながら、いくつかの実施例では、パラメータ７００は、離散値ではなく、関数を含んでもよい。例えば、いくつかの仮想楽器（例えば、ドラムに対応する）は、固定ピッチを生成するが、他の仮想楽器（例えば、ピアノ）は、１つ以上の入力パラメータ（例えば、どのピアノキーが押下されるか）に依存する、ピッチを生成する。そのような楽器に関する楽器パラメータは、それらの入力パラメータの関数として、ピッチを表し、その仮想楽器と関連付けられたピッチがそれらの入力パラメータに依存するであろうことを反映させ得る。
【0071】
上記の実施例では、仮想オブジェクト６２２Ｂに関する楽器パラメータ７２０は、近似の一般的パラメータ７１０として選択された（ひいては、対応する実オブジェクトの特性に近似するように選択され得る）。しかしながら、いくつかの実施例では、楽器パラメータ７２０は、意図的に、一般的パラメータ７１０から、または対応する実オブジェクト６２２Ａの特性から逸脱するように選定されることができる。例えば、実オブジェクト６２２Ａの寸法は、Ｆｌｏｏｒ Ｔｏｍドラムに最近似し得るが、複合現実システム６１２は、楽器パラメータ７２０を選択し、コンガドラム等の異なるタイプのドラム、またはクラッシュシンバル等の完全に異なる楽器に対応させ得る。
【0072】
いくつかの実施例では、楽器パラメータ７２０は、少なくとも部分的に、（例えば、グラフィカルまたは発話駆動型ユーザインターフェースを介して）ユーザによって提供される情報に基づいて、またはデータベース（例えば、楽器タイプおよびパラメータのデータベース）からの情報に基づいて、決定されてもよい。例えば、ユーザは、インターフェースを使用して、実オブジェクト６２２ＡがＭＲＥ内でボンゴドラムとして挙動すべきであることを選択してもよい、またはデータベースが、実オブジェクト６２２Ａ（または類似寸法を有するオブジェクト）がＭＲＥ内でＦｌｏｏｒ Ｔｏｍドラムに対応すべきであることを示し得る。いくつかの実施例では、複合現実システム６１２は、センサデータを使用して、楽器パラメータ７２０を決定することができる。例えば、複合現実システム６１２のマイクロホンは、実オブジェクト６２２Ａを叩打するユーザによって生成された実音に対応するオーディオ信号を検出し、そのオーディオ信号を分析し、その実音に対応する、楽器パラメータ７２０を決定し得る。例えば、実オブジェクト６２２Ａを叩打することは、高信号ピーク、短過渡、および高速フォールオフを伴う、音を生産し得る。複合現実システム７２０は、故に、対応する仮想オブジェクト６２２Ｂが、類似特性を有する音を生産する、ドラムに対応する楽器パラメータを有するべきであることを決定し得る。
【0073】
図５に示されるプロセス５００に戻って参照すると、いくつかの実施例では、段階５８０において、仮想オブジェクトが、例えば、複合現実システム６１２のディスプレイを使用して、ユーザ６１０に視覚的に提示されてもよい。仮想オブジェクトの視覚的提示は、ＭＲＥ内の没入感またはその環境との相互作用の感覚を向上させ得る。例えば、仮想オブジェクトが仮想楽器として挙動する実施例では、仮想楽器の視覚的提示は、ユーザ６１０が、単に、仮想模写ではなく、実際の楽器と相互作用しているという錯覚を持続させることに役立ち得る。
【0074】
図８は、実環境６００と同時に提示される、それぞれ、仮想オブジェクト６２２Ｂ、６２４Ｂ、６２６Ｂ、および６２８Ｂに対応する、視覚的表現６２２Ｃ、６２４Ｃ、６２６Ｃ、および６２８Ｃの例示的ビューを図示する。図８に示されるビューは、複合現実システム６１２のディスプレイ上でユーザ６１０に可視のビューであってもよい。上記に説明されるように、複合現実システムは、仮想環境のビューを実環境のビューと同時に提示し、実環境のビューに対応するように（例えば、仮想オブジェクトが、それに対してそれらが対応する実オブジェクトの上に現れるように）、仮想環境のディスプレイを整合させることが可能である、ディスプレイを含んでもよい。例えば、図８では、視覚的表現６２２Ｃ、６２４Ｃ、６２６Ｃ、および６２８Ｃは、それぞれ、その対応する実オブジェクト６２２Ａ、６２４Ａ、６２６Ａ、および６２８Ａと重複し、それらの実オブジェクトをオクルードし得る（例えば、複合現実システム６１２のディスプレイによるアクティブピクセルオクルージョンを介して）。いくつかの複合現実システムでは、本提示は、従来のピクセルディスプレイ上で仮想環境のビューと同時に表示するために、実環境の画像を捕捉し、実環境の画像を仮想コンテンツで拡張させる、カメラを使用して達成されてもよい。いくつかの複合現実システムでは、デバイスは、ディスプレイが、仮想環境のビューを提示し得る一方、実環境も、同時に、透明要素を介してユーザに可視であるように、透明要素を伴うディスプレイを組み込む。表示されるコンテンツからの離脱感を伝達し得る、従来のピクセルディスプレイを使用するデバイスと比較して、透明ディスプレイを組み込む、デバイスは、ユーザをＭＲＥ内により完全に没入させることができる。
【0075】
パラメータ７００等の仮想オブジェクトと関連付けられたパラメータは、ＭＲＥ内の仮想オブジェクトの視覚的外観を識別するために使用されることができる。図８では、視覚的表現６２２Ｃ、６２４Ｃ、６２６Ｃ、および６２８Ｃは、仮想オブジェクト６２２Ｂ、６２４Ｂ、６２６Ｂ、および６２８Ｂと関連付けられ得る、種々のタイプのドラムの外観を有する。例えば、仮想オブジェクト６２２Ｂが、図７に示されるように、Ｆｌｏｏｒ Ｔｏｍドラムとして識別するパラメータと関連付けられる場合、Ｆｌｏｏｒ Ｔｏｍに対応するアートアセット（例えば、ポリゴンメッシュ、テクスチャ、粒子効果、アニメーションデータ）が、識別され（例えば、複合現実システム６１２のメモリ内で）、視覚的表現６２２Ｃに実際のＦｌｏｏｒ Ｔｏｍの外観を与えるように、仮想オブジェクト６２２Ｂの視覚的表現６２２Ｃと関連付けられることができる。同様に、視覚的表現６２２Ｃは、ユーザの位置および配向（ＭＲＥ内のカメラ原点および軸に対応し得る）を組み込むビュー内において、仮想オブジェクト６２２Ｂの位置および配向に対応する（ひいては、実オブジェクト６２２Ａの位置および配向に対応する）、ＭＲＥ内の位置および配向に提示されることができる。さらに、視覚的表現６２２Ｃは、その色および透明度または物理的寸法（例えば、半径、高さ）等、仮想オブジェクト６２２Ｂと関連付けられた他のパラメータに基づいてもよい。オーディオ信号処理または生成のために使用される仮想オブジェクト６２２Ｂの同一パラメータ上で視覚的表現６２２Ｃの特性をバイアスすることによって、視覚的表現６２２Ｃは、仮想オブジェクト６２２Ｂと関連付けられたオーディオ信号と一致する視覚的特性をとり得る。例えば、仮想オブジェクト６２２Ｂのパラメータが、図７におけるように、半径１４．０インチを伴うＦｌｏｏｒ Ｔｏｍとして識別する場合、そのオブジェクトは、半径１４．０インチを伴うＦｌｏｏｒ Ｔｏｍの外観をとることができる。同様に、仮想オブジェクト６２２Ｂのパラメータが、ユーザが、物理的に触れ、相互作用し得る、対応する実オブジェクト６２２Ａの物理的特性に基づく場合、視覚的表現６２２Ｃは、それらの同一物理的特性と一致することができる。種々の感覚、すなわち、光景、音、および触覚を横断した本一貫性は、ユーザをＭＲＥ内により完全に没入させ、いくつかの複合現実環境のユーザによって被られる認知的不協和効果を低減させることに役立ち得る。
【0076】
複合現実楽器のためのオーディオ信号を生成および提示する
【0077】
図９は、ユーザからの入力を検出し、入力を仮想楽器に適用し、オーディオ信号を決定し、オーディオ信号をユーザに提示するための例示的プロセス９００を示す。プロセス９００は、例えば、上記に説明される複合現実システム６１２等の複合現実システムによって実装され得る。プロセス９００の段階９１０、９２０、９３０、および９４０は、複合現実システム６１２が、オブジェクト（実際または仮想）が、ＭＲＥ内の仮想オブジェクト（例えば、仮想楽器）と衝突または衝突しそうであるかどうかを決定する、ループを備えてもよい。そのような衝突が、検出される場合、衝突パラメータ（仮想オブジェクトの識別を含む）が、決定されることができる（段階９５０）。オーディオパラメータが、衝突パラメータおよび仮想オブジェクトのパラメータに基づいて決定されることができ（段階９６０）、オーディオ信号が、オーディオパラメータに従って生成されることができる（段階９７０）。最後に、オーディオ信号が、段階９８０において、例えば、１つ以上のスピーカを使用して、ユーザ６１０に提示されることができる。いくつかの実施形態では、１つ以上のスピーカは、複合現実システム６１２内に含まれてもよい。いくつかの実施形態では、１つ以上のスピーカは、複合現実システム６１２の外部にあってもよい。これらの段階は、下記にさらに詳細に説明される。
【0078】
プロセス９００の段階９１０では、複合現実システム６１２が、１つ以上のセンサからのデータを受信する。本データは、複合現実システム６１２と関連付けられた任意のセンサ（図３に関して上記に説明されるハンドヘルドコントローラ３００等の複合現実システム６１２のハンドヘルドコントローラを含む）からのデータを含み得る。いくつかの実施形態では、本データは、複合現実システム６１２の外部のセンサからのデータを含んでもよい。そのようなセンサは、カメラ、ＬＩＤＡＲユニット、加速度計、音響センサ、赤外線センサ、ＧＰＳユニット、または任意の他の好適なセンサを含むことができる。本データは、実環境６００内の実オブジェクトの位置、配向、および／または運動を示し得る。そのような実オブジェクトは、ユーザ６１０の四肢またはユーザ６１０によって保持されるオブジェクト（例えば、ハンドヘルドコントローラ３００）を含んでもよい。
【0079】
いくつかの実施例では、プロセス９００は、能動的に生じる衝突を検出するには不十分である（例えば、段階９３０において）。これは、多くのシステムが、衝突を検出し、対応するオーディオ信号を生成および提示することによって、そのような衝突に応答する際、待ち時間を呈するためである。本待ち時間が、人間の検出能力の閾値（例えば、約１０ミリ秒）を超える場合、ユーザ６１０は、実環境内のアクションとＭＲＥ内のオーディオ応答との間の不自然な遅延を知覚し得る。そのような遅延されたオーディオ応答は、実世界挙動から逸脱し、したがって、ＭＲＥ内のユーザの没入感を損なわせ得る。故に、段階９２０では、複合現実システム６１２は、ＭＲＥ内のオブジェクトの状態および段階９１０において受信されたセンサデータに基づいて、予測時間インターバルにわたって、実環境６００内の実オブジェクトの将来的軌道を予測することができる。これらの軌道は、差し迫った衝突を予測するために使用されることができる。予測時間インターバルの長さは、オーディオ信号を生成および提示する際の待ち時間の程度に依存し得る。本待ち時間が長いほど、予測時間インターバルは、遅延されるオーディオ応答を回避するために、より長くある必要があり得る。待ち時間の程度は、ひいては、複合現実システム６１２の全体的処理力、ＭＲＥのサイズおよび複雑性、ならびにネットワーク待ち時間またはハンドヘルドコントローラ３００と関連付けられた待ち時間等の通信待ち時間等の要因に依存し得る。
【0080】
実環境６００内の実オブジェクトの位置および配向は、従来の技法を使用して識別されることができる。例えば、そのような位置および配向は、複合現実システム６１２のプロセッサ（図４に関して上記に説明されるように）によって、カメラ、ＧＰＳユニット、および赤外線センサ等のセンサからのデータを入力として使用して、決定されることができる。例えば、いくつかの実施例では、カメラからの視覚的データが、従来のマシンビジョン技法を使用して、縁および表面を検出するために使用されることができる。さらに、いくつかの実施例では、ＧＰＳデータは、インデックスを、近傍の地形またはオブジェクトを識別するマップデータ等のマップデータの中に提供することができる。複数の時点における位置および配向を識別することによって、速度および加速等の高次運動特性が、計算され、古典的力学に基づく従来の軌道計算への入力として使用されることができる。実オブジェクトの軌道を予測する他の好適な方法は、周知であろう。
【0081】
いくつかの実施例では、段階９２０において予測される軌道はまた、実環境６００内の実オブジェクトと関連付けられた仮想オブジェクト等の仮想オブジェクトの軌道を含んでもよい。例えば、仮想「マレット」オブジェクトが、ユーザが保持するハンドヘルドコントローラ３００と関連付けられ得る。例えば、仮想マレットの位置および／または配向が、ハンドヘルドコントローラ３００の位置および／または配向（例えば、図３に関して上記に説明されるように、ハンドヘルドコントローラ３００のセンサを使用して決定され得る）にリンクされ得る。ハンドヘルドコントローラ３００を移動および回転させることによって、ユーザは、仮想マレットを使用して、ＭＲＥ内の実オブジェクト６２２Ａ等の実オブジェクトを「叩打」してもよい。代替として、マレットの代わりに、ドラムスティックまたはシンバルブラシ等の別のタイプの手で保持される楽器打具が、提供されてもよい。いくつかの実施形態では、段階９２０において予測される軌道はまた、ハンドヘルドコントローラ３００の代わりに、取り付けられる、または使用される、実オブジェクト等、実オブジェクトの軌道を含んでもよい。実オブジェクトは、例えば、実マレット、接触センサ、指センサ、および同等物を含んでもよい。いくつかの実施例では、実マレットが、ハンドヘルドコントローラ３００に取り付けられる場合、実マレットの位置および／または配向が、ハンドヘルドコントローラ３００の位置および／または配向にリンクされる。実マレットの位置および／または配向は、実マレットの１つ以上のセンサを使用して、および／または実マレットとハンドヘルドコントローラ３００との間の既知の関係を通して、決定されてもよい。いくつかの実施例では、実マレットが、ハンドヘルドコントローラ３００の代わりに使用される場合、実マレットの位置および／または配向は、実マレットの１つ以上のセンサを使用して決定されてもよい。
【0082】
段階９３０では、複合現実システム６１２が、段階９２０において決定された予測される軌道に基づいて、ＭＲＥ内のオブジェクト（実際または仮想）と仮想オブジェクトとの間の衝突が差し迫っている（例えば、衝突が予測時間インターバル以内に生じるであろう）かどうかを決定する。本決定は、予測される軌道がＭＲＥ内の仮想オブジェクトと交差するかどうかを決定するため等、従来の技法を使用して実施されてもよい。
【0083】
図１０Ａ－１０Ｃは、プロセス９００の側面に従って、複合現実楽器との衝突を決定する実施例を図示する。図１０Ａは、実環境６００内のユーザ６１０と、実オブジェクト６２２Ａとを示す。ユーザ６１０は、実オブジェクト１０１０（例えば、スティック）を担持し、実オブジェクト１０１０を実オブジェクト６２２Ａに向かって方向１０２０に揺動させる。図１０Ｂは、ユーザ６１０がハンドヘルドコントローラ１０１２（図３に関して上記に説明されるハンドヘルドコントローラ３００に対応し得る）を担持する、変形例を示す。図１０Ｂでは、ハンドヘルドコントローラ１０１２は、ＭＲＥ内のハンドヘルドコントローラ１０１２に空間的にリンクされ、したがって、ハンドヘルドコントローラ１０１２に従って、ＭＲＥ内で移動する、仮想オブジェクト１０１４（仮想マレットを表し得る）に対応する。図１０Ｂでは、ユーザ６１０は、ハンドヘルドコントローラ１０１２およびリンクされた仮想オブジェクト１０１４の両方を実オブジェクト１０１０に向かって方向１０２０に揺動させる。
【0084】
図１０Ａに示されるようないくつかの実施例では、実オブジェクト１０１０は、実オブジェクト１０１０と実オブジェクト６２２Ａ等の別の実オブジェクトとの間の衝突に対応する信号を出力するように構成される、衝撃検出器１０１６を含んでもよい。衝撃検出器１０１６は、実オブジェクト１０１０との衝突に対応する信号を出力する、任意の好適なスイッチまたはセンサであってもよい。いくつかの実施例では、衝撃検出器１０１６は、スイッチの状態（例えば、開放／閉鎖）に対応する信号を出力する、スイッチ（例えば、単極／単投電気スイッチ）であることができる。例えば、実オブジェクト１０１０が、別の実オブジェクトと衝突する場合、衝突は、スイッチを閉鎖し、故に、信号を出力し得る。いくつかの実施例では、衝撃検出器１０１６は、実オブジェクト１０１０の加速を検出するための加速度計等のセンサを含むことができ、加速は、実オブジェクト１０１０と別の実オブジェクトの衝突に対応し得る。いくつかの実施例では、衝撃検出器１０１６は、衝撃検出器１０１６のセンサの出力が所定の閾値を超えるときを検出し、故に、信号を出力するように構成される、回路を含むことができる。
【0085】
図１０Ｃは、ＭＲＥ６０１内の実オブジェクト６２２Ａに対応する、仮想オブジェクト６２２Ｂとの衝突を決定する、複合現実システム６１２等の複合現実システムを図示する。プロセス９００の段階９１０に関して上記に説明されるように、複合現実システム６１２は、ユーザ６１０、実オブジェクト１０１０（またはハンドヘルドコントローラ１０１２および対応する仮想マレット１０１４）の位置、配向、および運動を識別する、センサデータを受信することができる。例えば、複合現実システム６１２は、カメラデータを使用して（例えば、縁および表面を検出するためのマシンビジョンアルゴリズムの中への入力として）、実オブジェクト１０１０が、方向１０２０に特定の速度において移動しており、したがって、場所１０３０において、方向ベクトル１０４０を伴って、仮想オブジェクト６２２Ｂと衝突することが予期され得ることを識別することができる。（同様に、複合現実システム６１２は、ハンドヘルドコントローラ１０１２からの加速度計データ、ＩＭＵデータ、または光学追跡データを使用して、仮想マレット１０１４が、方向１０２０に特定の速度で移動しており、特定の場所において、特定の方向ベクトルを伴って、仮想オブジェクト６２２Ｂと衝突することが予期され得ることを識別することができる。）複合現実システム６１２は、同様に、予期される衝撃力およびモーメンタム等の他の衝突パラメータも識別することができる。さらに、いくつかの実施例では、上記に説明されるように、実オブジェクト１０１０は、実オブジェクト１０１０と実オブジェクト６２２Ａ等の別の実オブジェクトとの間の衝突に対応する信号を生成するように構成される、衝撃検出器１０１６を含むことができる。
【0086】
プロセス９００に戻って参照すると、段階９４０において、段階９３０における衝突が差し迫っていないことの決定に従って、プロセス９００は、段階９１０に戻ってもよく、そこで、更新されたセンサデータ入力が、受信されるであろう。段階９４０における衝突が差し迫っていることの決定に従って、プロセス９００は、段階９５０に進んでもよく、そこで、衝突パラメータ（例えば、推測される衝撃時間、衝撃点、衝撃の力ベクトル、衝突するオブジェクトの質量）が、上記に説明されるような衝突に関して決定されてもよい。これらの衝突パラメータは、１つ以上の実または仮想オブジェクトの識別と、衝突の際に関わるそれと関連付けられたパラメータとを含むことができる。例えば、図１０Ａ－１０Ｃを参照すると、衝突パラメータは、ＭＲＥ内の衝撃点１０３０の場所、方向ベクトル１０４０、実オブジェクト１０１０および／または実オブジェクト６２２Ａに対応する物理的パラメータ（例えば、質量、寸法）、ならびに／もしくは仮想マレット１０１４に対応する仮想パラメータ（例えば、質量、寸法）を含み得る。
【0087】
段階９６０では、オーディオパラメータは、段階９５０において識別された衝突パラメータに基づいて、および衝突されている仮想オブジェクトと関連付けられたパラメータ（例えば、上記に説明されるパラメータ７００）に基づいて、決定されることができる。これらのオーディオパラメータは、段階９７０において、仮想オブジェクトのためのオーディオ信号を生成するために使用されることができる。段階９６０において決定されたオーディオパラメータは、オーディオ信号の生成に関連する任意のパラメータを含むことができる。使用される具体的オーディオパラメータは、それによってオーディオ信号が生成されることになる、手段に依存するであろう。例えば、そのようなオーディオパラメータは、ピッチ、速度、および音色（例えば、オーディオ信号が音エンジンを使用して生成される）、１つ以上のベーストーンおよびエンベロープパラメータの識別（例えば、オーディオ信号が波形合成装置を使用して生成される）、１つ以上のオーディオサンプルの識別（例えば、オーディオ信号がサンプルを再生することによって生成される）を含んでもよい。オーディオパラメータは、加えて、利得ベースの信号処理を実施するための利得および減衰パラメータ、周波数ベースの信号処理を実施するための等化曲線、人工反響およびエコー効果を適用するための反響音パラメータ、および時間ベースの変調効果を適用するための電圧制御発振器（ＶＣＯ）パラメータ等、オーディオ信号を処理するための種々のパラメータを含んでもよい。
【0088】
オーディオパラメータは、段階９６０において、任意の好適な技法を使用して決定されてもよい。いくつかのオーディオパラメータは、ＭＲＥのユーザおよびＭＲＥ内のオーディオ信号の源（例えば、それに対してオーディオ信号が対応する、実または仮想オブジェクト）の相対的位置および配向に基づいて決定されてもよい。例えば、オーディオ信号の全音量に対応するオーディオパラメータが、ユーザと仮想オブジェクトとの間の距離に基づいて決定されることができる（聴取者と源との間の距離が増加するにつれて、オーディオ信号の知覚される音量が減少することを反映させる）。オーディオパラメータは、典型的には、ＭＲＥ内のオーディオ信号の源に対するＭＲＥ内のユーザの位置および配向において聴取者によって聞こえるであろう、オーディオ信号をシミュレートするように決定されるであろう。
【0089】
オーディオパラメータは、加えて、図７に示される楽器パラメータ７２０等の楽器パラメータから生成されてもよい。例えば、楽器パラメータ７２０は、仮想オブジェクト６２２Ｂが、オーク材シェルを伴うＦｌｏｏｒ Ｔｏｍタイプドラムに対応することを示す。複合現実システム６１２は、故に、オーク材シェルを伴うＦｌｏｏｒ Ｔｏｍタイプドラムの音響性質に対応する、オーディオパラメータ（例えば、音色等化曲線）を決定し得る。同様に、楽器パラメータ７２０は、仮想オブジェクト６２２Ｂが、６９．３Ｈｚのピッチを有することを示す。複合現実システム６１２は、故に、その特定のピッチに対応するピッチオーディオパラメータを決定し得る。実オブジェクトはまた、オーディオパラメータに影響を及ぼし得る。例えば、仮想ドラムは、それを用いて叩打する、実オブジェクトの特性（例えば、材料）に応じて、異なるトーンを生成することができる。
【0090】
オーディオパラメータはさらに、衝突パラメータから生成されてもよい。例えば、オーディオ信号の開始時間を規定する、オーディオパラメータは、衝突が生じることが予測される、時間と対応すべきである。加えて、オーディオ信号の振幅は、それを用いてユーザが仮想楽器を叩打する、速度に依存し得る（例えば、カメラ１４２および１４４等のセンサによって決定されるように）。同様に、オーディオ信号のピッチは、ユーザが仮想楽器に触れる場所（例えば、図１０Ｃにおける場所１０３０）に依存し得、オーディオ信号の音色は、ユーザが仮想楽器に触れる方向ベクトルに依存し得る。いくつかの衝突パラメータは、上記に説明されるように、複合現実システム６１２のセンサ（例えば、カメラ）から識別されることができる。例えば、カメラが、マシンビジョンアルゴリズムへの入力として使用され、仮想楽器との衝突の場所、方向、および速度を決定することができる。いくつかの実施形態では、いくつかの衝突パラメータは、複合現実システム６１２の外部のセンサから識別されてもよい。オーディオパラメータ（例えば、振幅、ピッチ、音色）は、故に、これらの値から生成されることができる。いくつかの実施例では、オーディオパラメータは、衝突パラメータに依存する、楽器パラメータから生成されてもよい。例えば、仮想ピアノからの音符のピッチは、ユーザによって打鍵される具体的場所（例えば、具体的ピアノキー）に依存し得、例えば、接触センサ、指センサ、および同等物に基づいて決定されてもよい。
【0091】
段階９７０では、オーディオ信号が、段階９６０において決定されたオーディオパラメータに従って生成されることができる。任意の好適な技法が、オーディオ信号を生成するために使用されることができる。いくつかの実施例では、音エンジンが、例えば、ピッチおよび速度のためのオーディオパラメータならびに信号生成において使用されるべきＭＩＤＩ楽器を識別するオーディオパラメータに従って、オーディオ信号を生成するために使用されてもよい。いくつかの実施例では、波形合成エンジンが、従来のオーディオ合成技法を使用して、ピッチ、エンベロープパラメータ、および１つ以上のベーストーンの識別等のオーディオパラメータに基づいて、オーディオ信号を生成するために使用されてもよい。いくつかの実施例では、オーディオ信号は、オーディオサンプルのデータベースの中へのインデックスとしての役割を果たし得る、オーディオパラメータ（例えば、ピッチ、音色）に基づいて、１つ以上の事前に記録されるオーディオサンプルを演奏することによって生成されてもよい。
【0092】
いくつかの実施例では、段階９７０において、生成されたオーディオ信号は、１つ以上の楽器パラメータに従って、例えば、リアルタイムで、さらに処理されることができる。例えば、フィルタ（例えば、低域通過フィルタ）に対応するオーディオパラメータが、そのようなフィルタを生成されたオーディオ信号に適用するために使用され得る。同様に、オーディオパラメータは、処理または効果（例えば、上記に説明されるように、利得ベースの信号処理、周波数ベースの信号処理（例えば、フィルタリング）、人工反響および時間遅延（例えば、エコー）効果、ならびに時間ベースの変調効果）に対応してもよく、そのような処理または効果を生成されたオーディオ信号に適用するために使用されてもよい。
【0093】
いくつかの実施例では、段階９７０において、生成されたオーディオ信号はさらに、ＭＲＥ内のユーザ、仮想楽器、または他の実および仮想オブジェクトの位置または配向を考慮するように処理されることができる。例えば、ユーザが、ＭＲＥ内のオーディオ信号の源から離れるように配向される、またはＭＲＥ内の実もしくは仮想オブジェクトの背後に屈む場合、フィルタが、オーディオ信号に適用され、オーディオ信号が、故に、異なる周波数特性を有するべきであることを反映させてもよい。加えて、空間化が、オーディオ信号に適用されてもよい。空間化は、頭部関連伝達関数（ＨＲＴＦ）を使用することによって適用されてもよい。ＨＲＴＦは、角度または角度＋ユーザに対する音源の半径方向（球状）座標に依存する、左および右フィルタ関数を含む。別個のコンポーネント（例えば、ドラムセット内のドラム）または別個の鍵（例えば、木琴の鍵）は、ユーザに対する異なる角度座標を有し得、異なるＨＲＴＦが、故に、異なるコンポーネントまたは鍵のために選択されることができる。
【0094】
最後に、段階９８０では、生成および／または処理されたオーディオ信号が、１つ以上のスピーカを介して、ユーザ６１０に提示されることができる。いくつかの実施形態では、１つ以上のスピーカは、複合現実システム６１２内に含まれてもよい。いくつかの実施形態では、１つ以上のスピーカは、複合現実システム６１２の外部にあってもよい。いくつかの実施例では、複合現実システム６１２は、オーディオ信号とＭＲＥからの他のオーディオ信号を混合するための機能性を含んでもよい。
【0095】
例示的プロセス９００を含む、本開示全体を通して、オーディオ信号は、モノオーディオ信号だけではなく、また、ステレオ（および他のマルチチャネル）オーディオ信号を含むように検討される。例えば、複合現実システム６１２が、左および右スピーカ（それぞれ、ユーザ６１２の左および右耳の近傍に位置付けられる）を特徴とする実施例では、左チャネルおよび右チャネルを備える、ステレオオーディオ信号が、左耳に提示される（左スピーカを介して）左チャネルおよび右耳に提示される右チャネル（右スピーカを介して）とともに生成されてもよい。同様に、左および右スピーカが、複合現実システム６１２の外部にある実施例では、左チャネルおよび右チャネルを含む、ステレオオーディオ信号が、左スピーカに提示される左チャネルおよび右スピーカに提示される右チャネルとともに生成されてもよい。
【0096】
本開示のいくつかの実施例は、方法であって、複合現実環境内の第１の実オブジェクトを識別するステップであって、複合現実環境は、ユーザを有する、ステップと、複合現実環境内の第２の実オブジェクトを識別するステップと、複合現実環境内において、第２の実オブジェクトに対応する第１の仮想オブジェクトを生成するステップと、複合現実環境内において、第１の実オブジェクトと第１の仮想オブジェクトとの間の衝突を識別するステップと、衝突と関連付けられた第１の属性を決定するステップと、第１の属性に基づいて、衝突に対応する第１のオーディオ信号を決定するステップと、ユーザに、第１のスピーカを介して、第１のオーディオ信号を提示するステップとを含む、方法を対象とする。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、衝突を識別するステップは、第１の実オブジェクトの位置および第１の実オブジェクトの速度に基づいて、衝突を予測するステップを含む。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、第１の属性は、仮想オブジェクトと関連付けられたピッチであって、第１のオーディオ信号を決定するステップは、ピッチに対応するオーディオ信号を生成するステップを含む。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、第１の属性は、仮想オブジェクトと関連付けられた材料を含み、第１のオーディオ信号を決定するステップは、オーディオ信号を生成するステップと、材料の音響性質に基づいて、オーディオ信号を修正するステップとを含む。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、本方法はさらに、並行して、ディスプレイ上に、仮想オブジェクトと、第２の実オブジェクトのビューとを提示するステップを含む。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、第１の実オブジェクトは、センサを含み、衝突を識別するステップは、センサの出力に基づいて、衝突を予測するステップを含む。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、第１のオーディオ信号を決定するステップは、第１の属性に基づいて、ＭＩＤＩパラメータを生成するステップと、音エンジンを使用して、ＭＩＤＩパラメータに基づいて、第１のオーディオ信号を生成するステップとを含む。
【0097】
本開示のいくつかの実施例は、方法であって、複合現実環境内の第１の実オブジェクトを識別するステップであって、複合現実環境は、ユーザを有する、ステップと、複合現実環境内の第２の実オブジェクトを識別するステップと、複合現実環境内において、第１の実オブジェクトに対応する第１の仮想オブジェクトを生成するステップと、複合現実環境内において、第２の実オブジェクトに対応する第２の仮想オブジェクトを生成するステップと、複合現実環境内において、第１の仮想オブジェクトと第２の仮想オブジェクトとの間の衝突を識別するステップと、衝突と関連付けられた第１の属性を決定するステップと、第１の属性に基づいて、衝突に対応する第１のオーディオ信号を決定するステップと、ユーザに、第１のスピーカを介して、第１のオーディオ信号を提示するステップとを含む、方法を対象とする。
【0098】
本開示のいくつかの実施例は、システムであって、ウェアラブル頭部デバイスであって、該ウェアラブル頭部デバイスは、仮想環境を表示するためのディスプレイであって、それを通して実環境が可視である、透過性接眼レンズを備える、ディスプレイと、スピーカとを含む、ウェアラブル頭部デバイスと、１つ以上のプロセッサであって、該１つ以上のプロセッサは、実環境内の第１の実オブジェクトを識別するステップと、実環境内の第２の実オブジェクトを識別するステップと、仮想環境内において、第２の実オブジェクトに対応する第１の仮想オブジェクトを生成するステップと、仮想環境内において、第１の実オブジェクトと第１の仮想オブジェクトとの間の衝突を識別するステップと、衝突と関連付けられた第１の属性を決定するステップと、第１の属性に基づいて、衝突に対応する第１のオーディオ信号を決定するステップと、ウェアラブル頭部デバイスのユーザに、スピーカを介して、第１のオーディオ信号を提示するステップとを実施するように構成される、１つ以上のプロセッサとを備える、システムを対象とする。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、衝突を識別するステップは、第１の実オブジェクトの位置および第１の実オブジェクトの速度に基づいて、衝突を予測するステップを含む。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、第１の属性は、仮想オブジェクトと関連付けられたピッチであって、第１のオーディオ信号を決定するステップは、ピッチに対応するオーディオ信号を生成するステップを含む。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、第１の属性は、仮想オブジェクトと関連付けられた材料を含み、第１のオーディオ信号を決定するステップは、オーディオ信号を生成するステップと、材料の音響性質に基づいて、オーディオ信号を修正するステップとを含む。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、１つ以上のプロセッサはさらに、並行して、ディスプレイ上に、仮想オブジェクトと、第２の実オブジェクトのビューとを提示するように構成される。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、第１の実オブジェクトは、センサを含み、衝突を識別するステップは、センサの出力に基づいて、衝突を予測するステップを含む。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、第１のオーディオ信号を決定するステップは、第１の属性に基づいて、ＭＩＤＩパラメータを生成するステップと、音エンジンを使用して、ＭＩＤＩパラメータに基づいて、第１のオーディオ信号を生成するステップとを含む。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、ウェアラブル頭部デバイスはさらに、センサを含み、第１の属性は、センサの出力に基づいて決定される。
【0099】
本開示のいくつかの実施例は、システムであって、ウェアラブル頭部デバイスであって、該ウェアラブル頭部デバイスは、仮想環境を表示するためのディスプレイであって、それを通して実環境が可視である、透過性接眼レンズを備える、ディスプレイと、スピーカとを含む、ウェアラブル頭部デバイスと、１つ以上のプロセッサであって、該１つ以上のプロセッサは、実環境内の第１の実オブジェクトを識別するステップと、実環境内の第２の実オブジェクトを識別するステップと、仮想環境内において、第１の実オブジェクトに対応する第１の仮想オブジェクトを生成するステップと、仮想環境内において、第２の実オブジェクトに対応する第２の仮想オブジェクトを生成するステップと、仮想環境内において、第１の仮想オブジェクトと第２の仮想オブジェクトとの間の衝突を識別するステップと、衝突と関連付けられた第１の属性を決定するステップと、第１の属性に基づいて、衝突に対応する第１のオーディオ信号を決定するステップと、ウェアラブル頭部デバイスのユーザに、スピーカを介して、第１のオーディオ信号を提示するステップとを実施するように構成される、１つ以上のプロセッサとを備える、システムを対象とする。
【0100】
開示される実施例は、付随の図面を参照して完全に説明されたが、種々の変更および修正が、当業者に明白となるであろうことに留意されたい。例えば、１つ以上の実装の要素は、組み合わせられ、削除され、修正され、または補完され、さらなる実装を形成してもよい。そのような変更および修正は、添付の請求項によって定義されるような開示される実施例の範囲内に含まれるものとして理解されるべきである。
【図1A】
【図1B】
【図1C】
【図2A】
【図2B】
【図2C】
【図2D】
【図3A】
【図3B】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図10C】
