(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-21
(45)【発行日】2024-08-29
(54)【発明の名称】複合現実仮想反響音
(51)【国際特許分類】
G06T 19/00 20110101AFI20240822BHJP
G06F 3/0346 20130101ALI20240822BHJP
G06F 3/0485 20220101ALI20240822BHJP
G06F 3/16 20060101ALI20240822BHJP
H04S 7/00 20060101ALI20240822BHJP
【ＦＩ】
G06T19/00 600
G06F3/0346 422
G06F3/0485
G06F3/16 650
H04S7/00 300
【請求項の数】
25
(21)【出願番号】P 2020543327
(86)(22)【出願日】2019-02-15
(65)【公表番号】
(43)【公表日】2021-06-03
(86)【国際出願番号】 US2019018368
(87)【国際公開番号】W WO2019161313
(87)【国際公開日】2019-08-22
【審査請求日】2022-02-10
【審判番号】
【審判請求日】2023-11-08
(31)【優先権主張番号】62/631,418
(32)【優先日】2018-02-15
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】514108838
【氏名又は名称】マジック リープ， インコーポレイテッド
【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．
【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】タジク， アナスタシア アンドレエヴナ
(72)【発明者】
【氏名】ジョット， ジャン－マルク
【合議体】
【審判長】伊藤 隆夫
【審判官】樫本 剛
【審判官】圓道 浩史
(56)【参考文献】
【文献】英国特許出願公開第２５３６０２０（ＧＢ，Ａ）
【文献】米国特許出願公開第２０１６／０２１２５３８（ＵＳ，Ａ１）
【文献】特開２０１６－２０１８１７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
H04S 1/00 - 7/00
(57)【特許請求の範囲】
【請求項1】
オーディオ信号を複合現実環境のユーザに提示する方法であって、前記方法は、前記複合現実環境内の第１のオーディオ信号を検出することであって、前記第１のオーディオ信号は、実オーディオ信号である、ことと、
前記複合現実環境内の前記第１のオーディオ信号によって交差される仮想オブジェクトを識別することと、
ウェアラブル頭部デバイスの１つ以上の慣性測定ユニットを介して、前記複合現実環境内の前記ユーザの位置を識別することであって、前記１つ以上の慣性測定ユニットは、前記ユーザの頭部姿勢の６自由度追跡のために構成されている、ことと、
前記ユーザの位置に基づいて、前記ユーザに関連付けられている聴取者座標を識別することであって、前記聴取者座標は、前記ユーザの識別された位置から空間的にオフセットされている、ことと、
前記仮想オブジェクトおよび前記聴取者座標を使用して、伝達関数を決定することと、
前記伝達関数を前記第１のオーディオ信号に適用することにより、第２のオーディオ信号を生成することと、
前記第２のオーディオ信号を前記ユーザに提示することと
を含む、方法。
【請求項2】
前記第１のオーディオ信号を検出することは、前記ユーザによって生成された音声信号を検出することを含む、請求項１に記載の方法。
【請求項3】
前記方法は、前記複合現実環境内の前記ユーザの配向を識別することをさらに含み、前記伝達関数は、前記ユーザの配向を使用して決定される、請求項１に記載の方法。
【請求項4】
前記第１のオーディオ信号は、ユーザ生成信号である、請求項１に記載の方法。
【請求項5】
前記方法は、前記第１のオーディオ信号が前記仮想オブジェクトと交差する角度を決定することをさらに含み、前記伝達関数は、前記角度を使用して決定される、請求項１に記載の方法。
【請求項6】
前記第１のオーディオ信号は、前記複合現実環境内の方向に関連付けられており、前記伝達関数は、前記方向を使用して決定される、請求項１に記載の方法。
【請求項7】
前記仮想オブジェクトは、材料に関連付けられており、前記伝達関数は、前記材料を使用して決定される、請求項１に記載の方法。
【請求項8】
前記伝達関数は、時間、周波数、利得、位相のうちの１つ以上のものの関数を含む、請求項１に記載の方法。
【請求項9】
前記伝達関数は、頭部関連伝達関数を含む、請求項１に記載の方法。
【請求項10】
前記方法は、前記複合現実環境内の前記第２のオーディオ信号の原点および方向を決定することをさらに含み、前記伝達関数は、前記第２のオーディオ信号の原点および方向を使用して決定される、請求項１に記載の方法。
【請求項11】
前記第１のオーディオ信号は、前記ユーザによって装着される前記ウェアラブル頭部デバイスに関連付けられているマイクロホンを使用して検出される、請求項１に記載の方法。
【請求項12】
前記方法は、ディスプレイを介して、前記仮想オブジェクトを前記ユーザに提示することをさらに含む、請求項１に記載の方法。
【請求項13】
システムであって、前記システムは、ウェアラブル頭部デバイスと１つ以上のプロセッサとを備え、
前記ウェアラブル頭部デバイスは、
複合現実環境をユーザに表示するためのディスプレイであって、前記ディスプレイは、それを通して実環境が可視となる透過性接眼レンズを備える、ディスプレイと、
マイクロホンと、
スピーカと、
１つ以上の慣性測定ユニット（ＩＭＵ）と、
前記複合現実環境内の前記ウェアラブル頭部デバイスの配向を検出するように構成されているセンサと
を含み、
前記１つ以上のプロセッサは、
前記マイクロホンを介して、前記複合現実環境内の第１のオーディオ信号を検出することであって、前記第１のオーディオ信号は、実オーディオ信号である、ことと、
前記複合現実環境内の前記第１のオーディオ信号によって交差される仮想オブジェクトを識別することと、
前記ディスプレイを介して、前記仮想オブジェクトを前記ユーザに提示することと、
前記１つ以上の慣性測定ユニットを介して、前記複合現実環境内の前記ウェアラブル頭部デバイスの位置を識別することであって、前記１つ以上の慣性測定ユニットは、前記ユーザの頭部姿勢の６自由度追跡のために構成されている、ことと、
前記ウェアラブル頭部デバイスの位置を使用して、聴取者座標を識別することであって、前記聴取者座標は、前記ウェアラブル頭部デバイスの識別された位置から空間的にオフセットされている、ことと、
前記仮想オブジェクトおよび前記聴取者座標を使用して、伝達関数を決定することと、
前記伝達関数を前記第１のオーディオ信号に適用することにより、第２のオーディオ信号を生成することと、
前記スピーカを介して、前記第２のオーディオ信号を前記ユーザに提示することと
を実行するように構成されている、システム。
【請求項14】
前記マイクロホンを介して、前記第１のオーディオ信号を検出することは、前記マイクロホンを介して、前記ユーザによって生成された音声信号を検出することを含む、請求項１３に記載のシステム。
【請求項15】
前記１つ以上のプロセッサは、前記センサを介して、前記複合現実環境内の前記ウェアラブル頭部デバイスの配向を識別することを実行するようにさらに構成されており、前記伝達関数は、前記ウェアラブル頭部デバイスの配向を使用して決定される、請求項１３に記載のシステム。
【請求項16】
前記１つ以上のプロセッサは、前記複合現実環境内の前記ユーザの位置を識別することを実行するようにさらに構成されており、前記ユーザに関連付けられている前記聴取者座標は、前記位置に基づいて識別される、請求項１３に記載のシステム。
【請求項17】
前記第１のオーディオ信号を検出することは、前記ユーザによって生成された音声信号を検出することを含む、請求項１３に記載のシステム。
【請求項18】
前記１つ以上のプロセッサは、前記複合現実環境内の前記ユーザの配向を識別することを実行するようにさらに構成されており、前記伝達関数は、前記ユーザの配向を使用してさらに決定される、請求項１３に記載のシステム。
【請求項19】
前記第１のオーディオ信号は、ユーザ生成信号である、請求項１４に記載のシステム。
【請求項20】
前記１つ以上のプロセッサは、前記第１のオーディオ信号が前記仮想オブジェクトと交差する角度を決定することを実行するようにさらに構成されており、前記伝達関数は、前記角度を使用して決定される、請求項１３に記載のシステム。
【請求項21】
前記第１のオーディオ信号は、前記複合現実環境内の方向に関連付けられており、前記伝達関数は、前記方向を使用して決定される、請求項１３に記載のシステム。
【請求項22】
前記仮想オブジェクトは、材料に関連付けられており、前記伝達関数は、前記材料を使用して決定される、請求項１３に記載のシステム。
【請求項23】
前記伝達関数は、時間、周波数、利得、位相のうちの１つ以上のものの関数を含む、請求項１３に記載のシステム。
【請求項24】
前記伝達関数は、頭部関連伝達関数を含む、請求項１３に記載のシステム。
【請求項25】
前記１つ以上のプロセッサは、前記複合現実環境内の前記第２のオーディオ信号の原点および方向を決定することを実行するようにさらに構成されており、前記伝達関数は、前記第２のオーディオ信号の原点および方向を使用して決定される、請求項１３に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、参照することによって全体として本明細書に組み込まれる、２０１８年２月１５日に出願された、米国仮特許出願第６２／６３１，４１８号の利益を主張する。
本願は、参照することによって全体として本明細書に組み込まれる、２０１８年２月１５日に出願された、米国仮特許出願第６２／６３１，４１８号の利益を主張する。
【0002】
本開示は、概して、オーディオ信号を提示するためのシステムおよび方法に関し、特に、反射オーディオ信号を複合現実環境のユーザに提示するためのシステムおよび方法に関する。
【背景技術】
【0003】
仮想環境は、コンピューティング環境において遍在しており、ビデオゲーム（仮想環境が、ゲーム世界を表し得る）、マップ（仮想環境が、ナビゲートされるべき地形を表し得る）、シミュレーション（仮想環境が、実環境をシミュレートし得る）、デジタルストーリーテリング（仮想キャラクタが、仮想環境内で相互に相互作用し得る）、および多くの他の用途において使用を見出している。現代のコンピュータユーザは、概して、快適に仮想環境を知覚し、それと相互作用する。しかしながら、仮想環境を伴うユーザの体験は、仮想環境を提示するための技術によって限定され得る。例えば、従来のディスプレイ（例えば、２Ｄディスプレイ画面）およびオーディオシステム（例えば、固定スピーカ）は、人を引き付け、現実的で、かつ没入型の体験を作成するように、仮想環境を実現することが不可能であり得る。
【0004】
仮想現実（「ＶＲ」）、拡張現実（「ＡＲ」）、複合現実（「ＭＲ」）、および関連技術（集合的に、「ＸＲ」）は、ＸＲシステムのユーザにコンピュータシステム内のデータによって表される仮想環境に対応する感覚情報を提示する能力を共有する。本開示は、ＶＲ、ＡＲ、およびＭＲシステム間の特異性を考慮する（但し、いくつかのシステムは、一側面（例えば、視覚的側面）では、ＶＲとしてカテゴリ化され、同時に、別の側面（例えば、オーディオ側面）では、ＡＲまたはＭＲとしてカテゴリ化され得る）。本明細書で使用されるように、ＶＲシステムは、少なくとも１つの側面においてユーザの実環境を置換する、仮想環境を提示する。例えば、ＶＲシステムは、ユーザに、仮想環境のビューを提示し得る一方、同時に、光遮断頭部搭載型ディスプレイ等を用いて、実環境のそのビューを不明瞭にする。同様に、ＶＲシステムは、ユーザに、仮想環境に対応するオーディオを提示し得る一方、同時に、実環境からのオーディオを遮断する（減衰させる）。
【0005】
ＶＲシステムは、ユーザの実環境を仮想環境と置換することから生じる、種々の短所を被り得る。１つの短所は、仮想環境内のユーザの視野が、（仮想環境ではなく）実環境内におけるその平衡および配向を検出する、その内耳の状態にもはや対応しなくなるときに生じ得る、乗り物酔いを感じることである。同様に、ユーザは、自身の身体および四肢（そのビューは、ユーザが実環境内において「地に足が着いている」と感じるために依拠するものである）が直接可視ではない場合、ＶＲ環境内において失見当識を被り得る。別の短所は、特に、ユーザを仮想環境内に没入させようとする、リアルタイム用途において、完全３Ｄ仮想環境を提示しなければならない、ＶＲシステムに課される算出負担（例えば、記憶、処理力）である。同様に、そのような環境は、ユーザが、仮想環境内のわずかな不完全性にさえ敏感である傾向にあって、そのいずれも、仮想環境内のユーザの没入感を破壊し得るため、没入していると見なされるために、非常に高水準の現実性に到達する必要があり得る。さらに、ＶＲシステムの別の短所は、システムのそのような用途が、実世界内で体験する、種々の光景および音等の実環境内の広範囲の感覚データを利用することができないことである。関連短所は、実環境内の物理的空間を共有するユーザが、仮想環境内で直接見る、または相互に相互作用することが不可能であり得るため、ＶＲシステムが、複数のユーザが相互作用し得る、共有環境を作成することに苦戦し得ることである。
【0006】
本明細書で使用されるように、ＡＲシステムは、少なくとも１つの側面において実環境に重複またはオーバーレイする、仮想環境を提示する。例えば、ＡＲシステムは、表示される画像を提示する一方、光が、ディスプレイを通してユーザの眼の中に通過することを可能にする、透過性頭部搭載型ディスプレイ等を用いて、ユーザに、実環境のユーザのビュー上にオーバーレイされる仮想環境のビューを提示し得る。同様に、ＡＲシステムは、ユーザに、仮想環境に対応するオーディオを提示し得る一方、同時に、実環境からのオーディオを混合させる。同様に、本明細書で使用されるように、ＭＲシステムは、ＡＲシステムと同様に、少なくとも１つの側面において実環境に重複またはオーバーレイする、仮想環境を提示し、加えて、ＭＲシステム内の仮想環境が、少なくとも１つの側面において実環境と相互作用し得ることを可能にし得る。例えば、仮想環境内の仮想キャラクタが、実環境内の照明スイッチを切り替え、実環境内の対応する電球をオンまたはオフにさせてもよい。別の実施例として、仮想キャラクタが、実環境内のオーディオ信号に反応してもよい（顔の表情等を用いて）。実環境の提示を維持することによって、ＡＲおよびＭＲシステムは、ＶＲシステムの前述の短所のうちのいくつかを回避し得る。例えば、ユーザにおける乗り物酔いは、実環境からの視覚的キュー（ユーザ自身の身体を含む）が、可視のままであり得、そのようなシステムが、没入型であるために、ユーザに、完全に実現された３Ｄ環境を提示する必要がないため、低減される。さらに、ＡＲおよびＭＲシステムは、実世界感覚入力（例えば、景色、オブジェクト、および他のユーザのビューおよび音）を利用して、その入力を拡張させる、新しい用途を作成することができる。
【0007】
ＸＲシステムは、ユーザに、仮想環境と相互作用するための種々の方法を提供し得る。例えば、ＸＲシステムは、ユーザの位置および配向、顔の表情、発話、および他の特性を検出し、本情報を入力として仮想環境に提示するために、種々のセンサ（例えば、カメラ、マイクロホン等）を含んでもよい。いくつかのＸＲシステムは、仮想「マレット」等のセンサ装備入力デバイスを組み込んでもよく、入力デバイスの位置、配向、または他の特性を検出するように構成されてもよい。
【0008】
ＸＲシステムは、仮想視覚およびオーディオキューと実光景および音を組み合わせることによって、特有の高度な没入感および現実性をもたらすことができる。例えば、自身の感覚体験の側面、特に、微細な側面を模倣するように、オーディオキューをＸＲシステムのユーザに提示することが望ましくあり得る。本発明は、ユーザに、複合現実環境内の仮想オブジェクトに対する実音波（例えば、ユーザ自身の音声）の反射をシミュレートする、反射オーディオ信号を提示することを対象とする。仮想オブジェクトに対するユーザの位置および配向および仮想オブジェクトの属性（その材料性質等）を考慮することによって、反射オーディオ信号は、仮想オブジェクトがユーザの環境内の実オブジェクトであった場合にユーザによって聞こえるであろう、反射をシミュレートすることができる。仮想オブジェクトを使用して、音波が実世界内で挙動する方法に忠実である、オーディオキューを提示することによって、ユーザは、複合現実環境内のそのような仮想オブジェクトの高度な認知を体験し得る。
【0009】
使用の一実施例では、近傍の仮想オブジェクト（例えば、ユーザの顔から２０センチメートルに保持された仮想書籍）からのユーザ自身の音声の初期に到着した反射が、合成される。このように、複合現実環境内の仮想コンテンツの現実性は、向上されることができる。仮想状態では、書籍は、ユーザの音声をユーザの耳に戻るように物理的に反射させることができない。しかし、書籍が実際のものである場合に発生させられるであろう反射オーディオ波が、算出され、例えば、複合現実ウェアラブル頭部デバイスに結合される、１つ以上のスピーカを介して、出力されることができる。
【発明の概要】
【課題を解決するための手段】
【0010】
本開示の実施例は、オーディオ信号を複合現実環境のユーザに提示するためのシステムおよび方法を説明する。一実施例では、本方法は、複合現実環境内の第１のオーディオ信号を検出するステップであって、第１のオーディオ信号は、実オーディオ信号である、ステップと、複合現実環境内の第１のオーディオ信号によって交差される仮想オブジェクトを識別するステップと、ユーザと関連付けられた聴取者座標を識別するステップと、仮想オブジェクトおよび聴取者座標を使用して、伝達関数を決定するステップと、伝達関数を第１のオーディオ信号に適用し、第２のオーディオ信号を発生させるステップと、ユーザに、第２のオーディオ信号を提示するステップとを含む。
本発明は、例えば、以下を提供する。
（項目１）
オーディオ信号を複合現実環境のユーザに提示する方法であって、前記方法は、
前記複合現実環境内の第１のオーディオ信号を検出することであって、前記第１のオーディオ信号は、実オーディオ信号である、ことと、
前記複合現実環境内の第１のオーディオ信号によって交差される仮想オブジェクトを識別することと、
前記ユーザと関連付けられた聴取者座標を識別することと、
前記仮想オブジェクトおよび前記聴取者座標を使用して、伝達関数を決定することと、
前記伝達関数を前記第１のオーディオ信号に適用し、第２のオーディオ信号を発生させることと、
ユーザに、前記第２のオーディオ信号を提示することと
を含む、方法。
（項目２）
前記複合現実環境内の前記ユーザの位置を識別することをさらに含み、前記ユーザと関連付けられた前記聴取者座標は、前記位置に基づいて識別される、項目１に記載の方法。
（項目３）
前記第１のオーディオ信号を検出することは、前記ユーザによって生成された音声信号を検出することを含む、項目１に記載の方法。
（項目４）
前記複合現実環境内の前記ユーザの配向を識別することをさらに含み、前記伝達関数は、前記ユーザの配向を使用して決定される、項目１に記載の方法。
（項目５）
前記第１のオーディオ信号は、ユーザ生成信号である、項目１に記載の方法。
（項目６）
前記第１のオーディオ信号が前記仮想オブジェクトと交差する角度を決定することをさらに含み、前記伝達関数は、前記角度を使用して決定される、項目１に記載の方法。
（項目７）
前記第１のオーディオ信号は、前記複合現実環境内の方向と関連付けられ、前記伝達関数は、前記方向を使用して決定される、項目１に記載の方法。
（項目８）
前記仮想オブジェクトは、材料と関連付けられ、
前記伝達関数は、前記材料を使用して決定される、
項目１に記載の方法。
（項目９）
前記伝達関数は、時間、周波数、利得、および位相のうちの１つ以上のものの関数を含む、項目１に記載の方法。
（項目１０）
前記伝達関数は、頭部関連伝達関数を含む、項目１に記載の方法。
（項目１１）
前記複合現実環境内の前記第２のオーディオ信号の原点および方向を決定することをさらに含み、前記伝達関数は、前記第２のオーディオ信号の原点および方向を使用して決定される、項目１に記載の方法。
（項目１２）
前記第１のオーディオ信号は、ユーザによって装着されるウェアラブル頭部デバイスと関連付けられたマイクロホンを使用して検出される、項目１に記載の方法。
（項目１３）
ユーザに、ディスプレイを介して、前記仮想オブジェクトを提示することをさらに含む、項目１に記載の方法。
（項目１４）
システムであって、
ウェアラブル頭部デバイスであって、
複合現実環境をユーザに表示するためのディスプレイであって、前記ディスプレイは、それを通して実環境が可視となる透過性接眼レンズを備える、ディスプレイと、
マイクロホンと、
スピーカと、
前記複合現実環境内の前記ウェアラブル頭部デバイスの位置および配向のうちの１つ以上のものを検出するように構成されるセンサと
を含む、ウェアラブル頭部デバイスと、
１つ以上のプロセッサであって、
前記マイクロホンを介して、前記複合現実環境内の第１のオーディオ信号を検出することであって、前記第１のオーディオ信号は、実オーディオ信号である、ことと、
前記複合現実環境内の第１のオーディオ信号によって交差される仮想オブジェクトを識別することと、
ユーザに、前記ディスプレイを介して、前記仮想オブジェクトを提示することと、
前記センサを介して、前記複合現実環境内の前記ウェアラブル頭部デバイスの位置を識別することと、
前記ウェアラブル頭部デバイスの位置を使用して、聴取者座標を識別することと、
前記仮想オブジェクトおよび前記聴取者座標を使用して、伝達関数を決定することと、
前記伝達関数を前記第１のオーディオ信号に適用し、第２のオーディオ信号を発生させることと、
ユーザに、前記スピーカを介して、前記第２のオーディオ信号を提示することと
を実施するように構成される、１つ以上のプロセッサと
を備える、システム。
（項目１５）
前記マイクロホンを介して、前記第１のオーディオ信号を検出することは、前記マイクロホンを介して、前記ユーザによって生成された音声信号を検出することを含む、項目１４に記載のシステム。
（項目１６）
前記１つ以上のプロセッサはさらに、前記センサを介して、前記複合現実環境内の前記ウェアラブル頭部デバイスの配向を識別することを実施するように構成され、前記伝達関数は、前記ウェアラブル頭部デバイスの配向を使用して決定される、項目１４に記載のシステム。
（項目１７）
前記１つ以上のプロセッサはさらに、前記複合現実環境内の前記ユーザの位置を識別することを実施するように構成され、前記ユーザと関連付けられた前記聴取者座標は、前記位置に基づいて識別される、項目１４に記載のシステム。
（項目１８）
前記第１のオーディオ信号を検出することは、前記ユーザによって生成された音声信号を検出することを含む、項目１４に記載のシステム。
（項目１９）
前記１つ以上のプロセッサはさらに、前記複合現実環境内の前記ユーザの配向を識別することを実施するように構成され、前記伝達関数はさらに、前記ユーザの配向を使用して決定される、項目１４に記載のシステム。
（項目２０）
前記第１のオーディオ信号は、ユーザ生成信号である、項目１４に記載のシステム。
（項目２１）
前記１つ以上のプロセッサはさらに、前記第１のオーディオ信号が前記仮想オブジェクトと交差する角度を決定することを実施するように構成され、前記伝達関数は、前記角度を使用して決定される、項目１４に記載のシステム。
（項目２２）
前記第１のオーディオ信号は、前記複合現実環境内の方向と関連付けられ、前記伝達関数は、前記方向を使用して決定される、項目１４に記載のシステム。
（項目２３）
前記仮想オブジェクトは、材料と関連付けられ、
前記伝達関数は、前記材料を使用して決定される、
項目１４に記載のシステム。
（項目２４）
前記伝達関数は、時間、周波数、利得、および位相のうちの１つ以上のものの関数を含む、項目１４に記載のシステム。
（項目２５）
前記伝達関数は、頭部関連伝達関数を含む、項目１４に記載のシステム。
（項目２６）
前記１つ以上のプロセッサはさらに、前記複合現実環境内の前記第２のオーディオ信号の原点および方向を決定することを実施するように構成され、前記伝達関数は、前記第２のオーディオ信号の原点および方向を使用して決定される、項目１４に記載のシステム。
本発明は、例えば、以下を提供する。
（項目１）
オーディオ信号を複合現実環境のユーザに提示する方法であって、前記方法は、
前記複合現実環境内の第１のオーディオ信号を検出することであって、前記第１のオーディオ信号は、実オーディオ信号である、ことと、
前記複合現実環境内の第１のオーディオ信号によって交差される仮想オブジェクトを識別することと、
前記ユーザと関連付けられた聴取者座標を識別することと、
前記仮想オブジェクトおよび前記聴取者座標を使用して、伝達関数を決定することと、
前記伝達関数を前記第１のオーディオ信号に適用し、第２のオーディオ信号を発生させることと、
ユーザに、前記第２のオーディオ信号を提示することと
を含む、方法。
（項目２）
前記複合現実環境内の前記ユーザの位置を識別することをさらに含み、前記ユーザと関連付けられた前記聴取者座標は、前記位置に基づいて識別される、項目１に記載の方法。
（項目３）
前記第１のオーディオ信号を検出することは、前記ユーザによって生成された音声信号を検出することを含む、項目１に記載の方法。
（項目４）
前記複合現実環境内の前記ユーザの配向を識別することをさらに含み、前記伝達関数は、前記ユーザの配向を使用して決定される、項目１に記載の方法。
（項目５）
前記第１のオーディオ信号は、ユーザ生成信号である、項目１に記載の方法。
（項目６）
前記第１のオーディオ信号が前記仮想オブジェクトと交差する角度を決定することをさらに含み、前記伝達関数は、前記角度を使用して決定される、項目１に記載の方法。
（項目７）
前記第１のオーディオ信号は、前記複合現実環境内の方向と関連付けられ、前記伝達関数は、前記方向を使用して決定される、項目１に記載の方法。
（項目８）
前記仮想オブジェクトは、材料と関連付けられ、
前記伝達関数は、前記材料を使用して決定される、
項目１に記載の方法。
（項目９）
前記伝達関数は、時間、周波数、利得、および位相のうちの１つ以上のものの関数を含む、項目１に記載の方法。
（項目１０）
前記伝達関数は、頭部関連伝達関数を含む、項目１に記載の方法。
（項目１１）
前記複合現実環境内の前記第２のオーディオ信号の原点および方向を決定することをさらに含み、前記伝達関数は、前記第２のオーディオ信号の原点および方向を使用して決定される、項目１に記載の方法。
（項目１２）
前記第１のオーディオ信号は、ユーザによって装着されるウェアラブル頭部デバイスと関連付けられたマイクロホンを使用して検出される、項目１に記載の方法。
（項目１３）
ユーザに、ディスプレイを介して、前記仮想オブジェクトを提示することをさらに含む、項目１に記載の方法。
（項目１４）
システムであって、
ウェアラブル頭部デバイスであって、
複合現実環境をユーザに表示するためのディスプレイであって、前記ディスプレイは、それを通して実環境が可視となる透過性接眼レンズを備える、ディスプレイと、
マイクロホンと、
スピーカと、
前記複合現実環境内の前記ウェアラブル頭部デバイスの位置および配向のうちの１つ以上のものを検出するように構成されるセンサと
を含む、ウェアラブル頭部デバイスと、
１つ以上のプロセッサであって、
前記マイクロホンを介して、前記複合現実環境内の第１のオーディオ信号を検出することであって、前記第１のオーディオ信号は、実オーディオ信号である、ことと、
前記複合現実環境内の第１のオーディオ信号によって交差される仮想オブジェクトを識別することと、
ユーザに、前記ディスプレイを介して、前記仮想オブジェクトを提示することと、
前記センサを介して、前記複合現実環境内の前記ウェアラブル頭部デバイスの位置を識別することと、
前記ウェアラブル頭部デバイスの位置を使用して、聴取者座標を識別することと、
前記仮想オブジェクトおよび前記聴取者座標を使用して、伝達関数を決定することと、
前記伝達関数を前記第１のオーディオ信号に適用し、第２のオーディオ信号を発生させることと、
ユーザに、前記スピーカを介して、前記第２のオーディオ信号を提示することと
を実施するように構成される、１つ以上のプロセッサと
を備える、システム。
（項目１５）
前記マイクロホンを介して、前記第１のオーディオ信号を検出することは、前記マイクロホンを介して、前記ユーザによって生成された音声信号を検出することを含む、項目１４に記載のシステム。
（項目１６）
前記１つ以上のプロセッサはさらに、前記センサを介して、前記複合現実環境内の前記ウェアラブル頭部デバイスの配向を識別することを実施するように構成され、前記伝達関数は、前記ウェアラブル頭部デバイスの配向を使用して決定される、項目１４に記載のシステム。
（項目１７）
前記１つ以上のプロセッサはさらに、前記複合現実環境内の前記ユーザの位置を識別することを実施するように構成され、前記ユーザと関連付けられた前記聴取者座標は、前記位置に基づいて識別される、項目１４に記載のシステム。
（項目１８）
前記第１のオーディオ信号を検出することは、前記ユーザによって生成された音声信号を検出することを含む、項目１４に記載のシステム。
（項目１９）
前記１つ以上のプロセッサはさらに、前記複合現実環境内の前記ユーザの配向を識別することを実施するように構成され、前記伝達関数はさらに、前記ユーザの配向を使用して決定される、項目１４に記載のシステム。
（項目２０）
前記第１のオーディオ信号は、ユーザ生成信号である、項目１４に記載のシステム。
（項目２１）
前記１つ以上のプロセッサはさらに、前記第１のオーディオ信号が前記仮想オブジェクトと交差する角度を決定することを実施するように構成され、前記伝達関数は、前記角度を使用して決定される、項目１４に記載のシステム。
（項目２２）
前記第１のオーディオ信号は、前記複合現実環境内の方向と関連付けられ、前記伝達関数は、前記方向を使用して決定される、項目１４に記載のシステム。
（項目２３）
前記仮想オブジェクトは、材料と関連付けられ、
前記伝達関数は、前記材料を使用して決定される、
項目１４に記載のシステム。
（項目２４）
前記伝達関数は、時間、周波数、利得、および位相のうちの１つ以上のものの関数を含む、項目１４に記載のシステム。
（項目２５）
前記伝達関数は、頭部関連伝達関数を含む、項目１４に記載のシステム。
（項目２６）
前記１つ以上のプロセッサはさらに、前記複合現実環境内の前記第２のオーディオ信号の原点および方向を決定することを実施するように構成され、前記伝達関数は、前記第２のオーディオ信号の原点および方向を使用して決定される、項目１４に記載のシステム。
【図面の簡単な説明】
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【発明を実施するための形態】
【0019】
実施例の以下の説明では、本明細書の一部を形成し、例証として、実践され得る具体的実施例が示される、付随の図面を参照する。他の実施例も、使用されることができ、構造変更が、開示される実施例の範囲から逸脱することなく、行われることができることを理解されたい。
【0020】
複合現実環境
【0021】
全ての人々と同様に、複合現実システムのユーザは、実環境内に存在する、すなわち、「実世界」の３次元部分と、そのコンテンツの全てとが、ユーザによって知覚可能である。例えば、ユーザは、通常の人間の感覚、すなわち、光景、音、感触、味、臭いを使用して、実環境を知覚し、実環境内で自身の身体を移動させることによって、実環境と相互作用する。実環境内の場所は、座標空間内の座標として説明されることができる。例えば、座標は、緯度、経度、および海抜に対する高度、基準点からの３つの直交次元における距離、または他の好適な値を含むことができる。同様に、ベクトルは、座標空間内の方向および大きさを有する、量を説明することができる。
【0022】
コンピューティングデバイスは、例えば、デバイスと関連付けられたメモリ内に、仮想環境の表現を維持することができる。本明細書で使用されるように、仮想環境は、３次元空間の算出表現である。仮想環境は、任意のオブジェクトの表現、アクション、信号、パラメータ、座標、ベクトル、またはその空間と関連付けられた他の特性を含むことができる。いくつかの実施例では、コンピューティングデバイスの回路（例えば、プロセッサ）は、仮想環境の状態を維持および更新することができる。すなわち、プロセッサは、第１の時間ｔ０において、仮想環境と関連付けられたデータおよび／またはユーザによって提供される入力に基づいて、第２の時間ｔ１における仮想環境の状態を決定することができる。例えば、仮想環境内のオブジェクトが、時間ｔ０において、第１の座標に位置し、あるプログラムされた物理的パラメータ（例えば、質量、摩擦係数）を有し、ユーザから受信された入力が、力がある方向ベクトルにおいてオブジェクトに印加されるべきであることを示す場合、プロセッサは、運動学の法則を適用し、基本力学を使用して、時間ｔ１におけるオブジェクトの場所を決定することができる。プロセッサは、仮想環境について既知の任意の好適な情報および／または任意の好適な入力を使用して、時間ｔ１における仮想環境の状態を決定することができる。仮想環境の状態を維持および更新する際、プロセッサは、仮想環境内の仮想オブジェクトの作成および削除に関連するソフトウェア、仮想環境内の仮想オブジェクトまたはキャラクタの挙動を定義するためのソフトウェア（例えば、スクリプト）、仮想環境内の信号（例えば、オーディオ信号）の挙動を定義するためのソフトウェア、仮想環境と関連付けられたパラメータを作成および更新するためのソフトウェア、仮想環境内のオーディオ信号を生成するためのソフトウェア、入力および出力をハンドリングするためのソフトウェア、ネットワーク動作を実装するためのソフトウェア、アセットデータ（例えば、仮想オブジェクトを経時的に移動させるためのアニメーションデータ）を適用するためのソフトウェア、または多くの他の可能性を含む、任意の好適なソフトウェアを実行することができる。
【0023】
ディスプレイまたはスピーカ等の出力デバイスは、仮想環境のいずれかまたは全ての側面をユーザに提示することができる。例えば、仮想環境は、ユーザに提示され得る、仮想オブジェクト（無生物オブジェクト、人々、動物、光等の表現を含み得る）を含んでもよい。プロセッサは、仮想環境のビュー（例えば、原点座標、視軸、および錐台を伴う、「カメラ」に対応する）を決定し、ディスプレイに、そのビューに対応する仮想環境の視認可能場面をレンダリングすることができる。任意の好適なレンダリング技術が、本目的のために使用されてもよい。いくつかの実施例では、視認可能場面は、仮想環境内のいくつかの仮想オブジェクトのみを含み、ある他の仮想オブジェクトを除外してもよい。同様に、仮想環境は、ユーザに１つ以上のオーディオ信号として提示され得る、オーディオ側面を含んでもよい。例えば、仮想環境内の仮想オブジェクトは、オブジェクトの場所座標から生じる音を生成してもよい（例えば、仮想キャラクタが、発話する、または音効果を生じさせ得る）、または仮想環境は、特定の場所と関連付けられる場合とそうではない場合がある、音楽キューまたは周囲音と関連付けられてもよい。プロセッサは、「聴取者」座標に対応するオーディオ信号、例えば、仮想環境内の音の合成に対応し、聴取者座標において聴取者によって聞こえるであろうオーディオ信号をシミュレートするように混合および処理される、オーディオ信号を決定し、ユーザに、１つ以上のスピーカを介して、オーディオ信号を提示することができる。
【0024】
仮想環境は、算出構造としてのみ存在するため、ユーザは、直接、通常の感覚を使用して、仮想環境を知覚することができない。代わりに、ユーザは、例えば、ディスプレイ、スピーカ、触覚的出力デバイス等によって、ユーザに提示されるように、間接的にのみ、仮想環境を知覚することができる。同様に、ユーザは、直接、仮想環境に触れる、それを操作する、または別様に、それと相互作用することができないが、入力データを、入力デバイスまたはセンサを介して、デバイスまたはセンサデータを使用して、仮想環境を更新し得る、プロセッサに提供することができる。例えば、カメラセンサは、ユーザが仮想環境のオブジェクトを移動させようとしていることを示す、光学データを提供することができ、プロセッサは、そのデータを使用して、仮想環境内において、適宜、オブジェクトを応答させることができる。
【0025】
複合現実システムは、ユーザに、例えば、透過性ディスプレイおよび／または１つ以上のスピーカ（例えば、ウェアラブル頭部デバイスの中に組み込まれ得る）を使用して、実環境および仮想環境の側面を組み合わせる、複合現実環境（「ＭＲＥ」）を提示することができる。いくつかの実施形態では、１つ以上のスピーカは、ウェアラブル頭部デバイスの外部にあってもよい。本明細書で使用されるように、ＭＲＥは、実環境および対応する仮想環境の同時表現である。いくつかの実施例では、対応する実および仮想環境は、単一座標空間を共有する。いくつかの実施例では、実座標空間および対応する仮想座標空間は、変換行列（または他の好適な表現）によって相互に関連する。故に、単一座標（いくつかの実施例では、変換行列とともに）は、実環境内の第１の場所と、また、仮想環境内の第２の対応する場所とを定義し得、その逆も同様である。
【0026】
ＭＲＥでは、（例えば、ＭＲＥと関連付けられた仮想環境内の）仮想オブジェクトは、（例えば、ＭＲＥと関連付けられた実環境内の）実オブジェクトに対応し得る。例えば、ＭＲＥの実環境が、実街灯柱（実オブジェクト）をある場所座標に含む場合、ＭＲＥの仮想環境は、仮想街灯柱（仮想オブジェクト）を対応する場所座標に含んでもよい。本明細書で使用されるように、実オブジェクトは、その対応する仮想オブジェクトと組み合わせて、ともに「複合現実オブジェクト」を構成する。仮想オブジェクトが対応する実オブジェクトに完璧に合致または整合することは、必要ではない。いくつかの実施例では、仮想オブジェクトは、対応する実オブジェクトの簡略化されたバージョンであることができる。例えば、実環境が、実街灯柱を含む場合、対応する仮想オブジェクトは、実街灯柱と概ね同一高さおよび半径の円筒形を含んでもよい（街灯柱が略円筒形形状であり得ることを反映する）。仮想オブジェクトをこのように簡略化することは、算出効率を可能にすることができ、そのような仮想オブジェクト上で実施されるための計算を簡略化することができる。さらに、ＭＲＥのいくつかの実施例では、実環境内の全ての実オブジェクトが、対応する仮想オブジェクトと関連付けられなくてもよい。同様に、ＭＲＥのいくつかの実施例では、仮想環境内の全ての仮想オブジェクトが、対応する実オブジェクトと関連付けられなくてもよい。すなわち、いくつかの仮想オブジェクトが、任意の実世界対応物を伴わずに、ＭＲＥの仮想環境内にのみ存在し得る。
【0027】
いくつかの実施例では、仮想オブジェクトは、特性（時として著しく異なり、対応する実オブジェクトのものと異なる）を有してもよい。例えば、ＭＲＥ内の実環境は、緑色の２本の枝が延びたサボテン、すなわち、とげだらけの無生物オブジェクトを含み得るが、ＭＲＥ内の対応する仮想オブジェクトは、人間の顔特徴および無愛想な態度を伴う、緑色の２本の腕の仮想キャラクタの特性を有してもよい。本実施例では、仮想オブジェクトは、ある特性（色、腕の数）において、その対応する実オブジェクトに類似するが、他の特性（顔特徴、性格）において、実オブジェクトと異なる。このように、仮想オブジェクトは、創造的、抽象的、誇張された、または架空の様式において、実オブジェクトを表す、または挙動（例えば、人間の性格）をそうでなければ無生物である実オブジェクトに付与する潜在性を有する。いくつかの実施例では、仮想オブジェクトは、実世界対応物を伴わない、純粋に架空の創造物（例えば、おそらく、実環境内の虚空に対応する場所における、仮想環境内の仮想モンスター）であってもよい。
【0028】
ユーザに、実環境を不明瞭にしながら、仮想環境を提示する、ＶＲシステムと比較して、ＭＲＥを提示する、複合現実システムは、仮想環境が提示される間、実環境が知覚可能なままであるであるという利点をもたらす。故に、複合現実システムのユーザは、実環境と関連付けられた視覚的およびオーディオキューを使用して、対応する仮想環境を体験し、それと相互作用することが可能である。実施例として、ＶＲシステムのユーザは、上記に述べられたように、ユーザは、直接、仮想環境を知覚する、またはそれと相互作用することができないため、仮想環境内に表示される仮想オブジェクトを知覚する、またはそれと相互作用することに苦戦し得るが、ＭＲシステムのユーザは、その自身の実環境内の対応する実オブジェクトが見え、聞こえ、触れることによって、仮想オブジェクトと相互作用することが直感的および自然であると見出し得る。本レベルの相互作用は、ユーザの仮想環境との没入感、つながり、および関与の感覚を向上させ得る。同様に、実環境および仮想環境を同時に提示することによって、複合現実システムは、ＶＲシステムと関連付けられた負の心理学的感覚（例えば、認知的不協和）および負の物理的感覚（例えば、乗り物酔い）を低減させることができる。複合現実システムはさらに、実世界の我々の体験を拡張または改変し得る用途に関する多くの可能性をもたらす。
【0029】
図１Ａは、ユーザ１１０が複合現実システム１１２を使用する、例示的実環境１００を図示する。複合現実システム１１２は、ディスプレイ（例えば、透過性ディスプレイ）および１つ以上のスピーカと、例えば、下記に説明されるような１つ以上のセンサ（例えば、カメラ）とを備えてもよい。示される実環境１００は、その中にユーザ１１０が立っている、長方形の部屋１０４Ａと、実オブジェクト１２２Ａ（ランプ）、１２４Ａ（テーブル）、１２６Ａ（ソファ）、および１２８Ａ（絵画）とを備える。部屋１０４Ａはさらに、場所座標１０６を備え、これは、実環境１００の原点と見なされ得る。図１Ａに示されるように、その原点を点１０６（世界座標）に伴う、環境／世界座標系１０８（ｘ－軸１０８Ｘ、ｙ－軸１０８Ｙ、およびｚ－軸１０８Ｚを備える）は、実環境１００のための座標空間を定義し得る。いくつかの実施形態では、環境／世界座標系１０８の原点１０６は、複合現実システム１１２の電源がオンにされた場所に対応してもよい。いくつかの実施形態では、環境／世界座標系１０８の原点１０６は、動作の間、リセットされてもよい。いくつかの実施例では、ユーザ１１０は、実環境１００内の実オブジェクトと見なされ得る。同様に、ユーザ１１０の身体部分（例えば、手、足）は、実環境１００内の実オブジェクトと見なされ得る。いくつかの実施例では、その原点を点１１５（例えば、ユーザ／聴取者／頭部座標）に伴う、ユーザ／聴取者／頭部座標系１１４（ｘ－軸１１４Ｘ、ｙ－軸１１４Ｙ、およびｚ－軸１１４Ｚを備える）は、その上に複合現実システム１１２が位置する、ユーザ／聴取者／頭部のための座標空間を定義し得る。ユーザ／聴取者／頭部座標系１１４の原点１１５は、複合現実システム１１２の１つ以上のコンポーネントに対して定義されてもよい。例えば、ユーザ／聴取者／頭部座標系１１４の原点１１５は、複合現実システム１１２の初期較正等の間、複合現実システム１１２のディスプレイに対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現が、ユーザ／聴取者／頭部座標系１１４空間と環境／世界座標系１０８空間との間の変換を特性評価することができる。いくつかの実施形態では、左耳座標１１６および右耳座標１１７が、ユーザ／聴取者／頭部座標系１１４の原点１１５に対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現が、左耳座標１１６および右耳座標１１７とユーザ／聴取者／頭部座標系１１４空間との間の変換を特性評価することができる。ユーザ／聴取者／頭部座標系１１４は、ユーザの頭部または頭部搭載型デバイスに対する、例えば、環境／世界座標系１０８に対する場所の表現を簡略化することができる。同時位置特定およびマッピング（ＳＬＡＭ）、ビジュアルオドメトリ、または他の技法を使用して、ユーザ座標系１１４と環境座標系１０８との間の変換が、リアルタイムで決定および更新されることができる。
【0030】
図１Ｂは、実環境１００に対応する、例示的仮想環境１３０を図示する。示される仮想環境１３０は、実長方形部屋１０４Ａに対応する仮想長方形部屋１０４Ｂと、実オブジェクト１２２Ａに対応する仮想オブジェクト１２２Ｂと、実オブジェクト１２４Ａに対応する仮想オブジェクト１２４Ｂと、実オブジェクト１２６Ａに対応する仮想オブジェクト１２６Ｂとを備える。仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂと関連付けられたメタデータは、対応する実オブジェクト１２２Ａ、１２４Ａ、１２６Ａから導出される情報を含むことができる。仮想環境１３０は、加えて、仮想モンスター１３２を備え、これは、実環境１００内のいかなる実オブジェクトにも対応しない。実環境１００内の実オブジェクト１２８Ａは、仮想環境１３０内のいかなる仮想オブジェクトにも対応しない。その原点を点１３４（持続的座標）に伴う、持続的座標系（ｐｅｒｓｉｓｔｅｎｔ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ）１３３（ｘ－軸１３３Ｘ、ｙ－軸１３３Ｙ、およびｚ－軸１３３Ｚを備える）は、仮想コンテンツのための座標空間を定義し得る。持続的座標系１３３の原点１３４は、実オブジェクト１２６Ａ等の１つ以上の実オブジェクトと相対的に／それに対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現は、持続的座標系１３３空間と環境／世界座標系１０８空間との間の変換を特性評価することができる。いくつかの実施形態では、仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２はそれぞれ、持続的座標系１３３の原点１３４に対するその自身の持続的座標点を有してもよい。いくつかの実施形態では、複数の持続的座標系が存在してもよく、仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２はそれぞれ、１つ以上の持続的座標系に対するそれら自身の持続的座標点を有してもよい。
【0031】
図１Ａおよび１Ｂに関して、環境／世界座標系１０８は、実環境１００および仮想環境１３０の両方のための共有座標空間を定義する。示される実施例では、座標空間は、その原点を点１０６に有する。さらに、座標空間は、同一の３つの直交軸（１０８Ｘ、１０８Ｙ、１０８Ｚ）によって定義される。故に、実環境１００内の第１の場所および仮想環境１３０内の第２の対応する場所は、同一座標空間に関して説明されることができる。これは、同一座標が両方の場所を識別するために使用され得るため、実および仮想環境内の対応する場所を識別および表示するステップを簡略化する。しかしながら、いくつかの実施例では、対応する実および仮想環境は、共有座標空間を使用する必要がない。例えば、いくつかの実施例では（図示せず）、行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現は、実環境座標空間と仮想環境座標空間との間の変換を特性評価することができる。
【0032】
図１Ｃは、同時に、実環境１００および仮想環境１３０の側面をユーザ１１０に複合現実システム１１２を介して提示する、例示的ＭＲＥ１５０を図示する。示される実施例では、ＭＲＥ１５０は、同時に、ユーザ１１０に、実環境１００からの実オブジェクト１２２Ａ、１２４Ａ、１２６Ａ、および１２８Ａ（例えば、複合現実システム１１２のディスプレイの透過性部分を介して）と、仮想環境１３０からの仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２（例えば、複合現実システム１１２のディスプレイのアクティブディスプレイ部分を介して）とを提示する。上記のように、原点１０６は、ＭＲＥ１５０に対応する座標空間のための原点として作用し、座標系１０８は、座標空間のためのｘ－軸、ｙ－軸、およびｚ－軸を定義する。
【0033】
示される実施例では、複合現実オブジェクトは、座標空間１０８内の対応する場所を占有する、対応する対の実オブジェクトおよび仮想オブジェクト（すなわち、１２２Ａ／１２２Ｂ、１２４Ａ／１２４Ｂ、１２６Ａ／１２６Ｂ）を備える。いくつかの実施例では、実オブジェクトおよび仮想オブジェクトは両方とも、同時に、ユーザ１１０に可視であってもよい。これは、例えば、仮想オブジェクトが対応する実オブジェクトのビューを拡張させるように設計される情報を提示する、インスタンスにおいて望ましくあり得る（仮想オブジェクトが古代の損傷された彫像の欠けた部分を提示する、博物館用途等）。いくつかの実施例では、仮想オブジェクト（１２２Ｂ、１２４Ｂ、および／または１２６Ｂ）は、対応する実オブジェクト（１２２Ａ、１２４Ａ、および／または１２６Ａ）をオクルードするように、表示されてもよい（例えば、ピクセル化オクルージョンシャッタを使用する、アクティブピクセル化オクルージョンを介して）。これは、例えば、仮想オブジェクトが対応する実オブジェクトのための視覚的置換として作用する、インスタンスにおいて望ましくあり得る（無生物実オブジェクトが「生きている」キャラクタとなる、双方向ストーリーテリング用途等）。
【0034】
いくつかの実施例では、実オブジェクト（例えば、１２２Ａ、１２４Ａ、１２６Ａ）は、必ずしも、仮想オブジェクトを構成するとは限らない、仮想コンテンツまたはヘルパデータと関連付けられてもよい。仮想コンテンツまたはヘルパデータは、複合現実環境内の仮想オブジェクトの処理またはハンドリングを促進することができる。例えば、そのような仮想コンテンツは、対応する実オブジェクトの２次元表現、対応する実オブジェクトと関連付けられたカスタムアセットタイプ、または対応する実オブジェクトと関連付けられた統計的データを含み得る。本情報は、不必要な算出オーバーヘッドを被ることなく、実オブジェクトに関わる計算を可能にする、または促進することができる。
【0035】
いくつかの実施例では、上記に説明される提示はまた、オーディオ側面を組み込んでもよい。例えば、ＭＲＥ１５０では、仮想モンスター１３２は、モンスターがＭＲＥ１５０の周囲を歩き回るにつれて生成される、足音効果等の１つ以上のオーディオ信号と関連付けられ得る。下記にさらに説明されるように、複合現実システム１１２のプロセッサは、ＭＲＥ１５０内の全てのそのような音の混合および処理された合成に対応するオーディオ信号を算出し、複合現実システム１１２内に含まれる１つ以上のスピーカおよび／または１つ以上の外部スピーカを介して、オーディオ信号をユーザ１１０に提示することができる。
【0036】
例示的複合現実システム
【0037】
例示的複合現実システム１１２は、ディスプレイ（接眼ディスプレイであり得る、左および右透過性ディスプレイと、ディスプレイからの光をユーザの眼に結合するための関連付けられたコンポーネントとを備え得る）と、左および右スピーカ（例えば、それぞれ、ユーザの左および右耳に隣接して位置付けられる）と、慣性測定ユニット（ＩＭＵ）（例えば、頭部デバイスのつるのアームに搭載される）と、直交コイル電磁受信機（例えば、左つる部品に搭載される）と、ユーザから離れるように配向される、左および右カメラ（例えば、深度（飛行時間）カメラ）と、ユーザに向かって配向される、左および右眼カメラ（例えば、ユーザの眼移動を検出するため）とを備える、ウェアラブル頭部デバイス（例えば、ウェアラブル拡張現実または複合現実頭部デバイス）を含むことができる。しかしながら、複合現実システム１１２は、任意の好適なディスプレイ技術および任意の好適なセンサ（例えば、光学、赤外線、音響、ＬＩＤＡＲ、ＥＯＧ、ＧＰＳ、磁気）を組み込むことができる。加えて、複合現実システム１１２は、ネットワーキング特徴（例えば、Ｗｉ－Ｆｉ能力）を組み込み、他の複合現実システムを含む、他のデバイスおよびシステムと通信してもよい。複合現実システム１１２はさらに、バッテリ（ユーザの腰部の周囲に装着されるように設計されるベルトパック等の補助ユニット内に搭載されてもよい）と、プロセッサと、メモリとを含んでもよい。複合現実システム１１２のウェアラブル頭部デバイスは、ユーザの環境に対するウェアラブル頭部デバイスの座標セットを出力するように構成される、ＩＭＵまたは他の好適なセンサ等の追跡コンポーネントを含んでもよい。いくつかの実施例では、追跡コンポーネントは、入力をプロセッサに提供し、同時位置特定およびマッピング（ＳＬＡＭ）および／またはビジュアルオドメトリアルゴリズムを実施してもよい。いくつかの実施例では、複合現実システム１１２はまた、ハンドヘルドコントローラ３００、および／または下記にさらに説明されるように、ウェアラブルベルトパックであり得る補助ユニット３２０を含んでもよい。
【0038】
図２Ａ－２Ｄは、ＭＲＥ（ＭＲＥ１５０に対応し得る）または他の仮想環境をユーザに提示するために使用され得る、例示的複合現実システム２００（複合現実システム１１２に対応し得る）のコンポーネントを図示する。図２Ａは、例示的複合現実システム２００内に含まれるウェアラブル頭部デバイス２１０２の斜視図を図示する。図２Ｂは、ユーザの頭部２２０２上に装着されるウェアラブル頭部デバイス２１０２の上面図を図示する。図２Ｃは、ウェアラブル頭部デバイス２１０２の正面図を図示する。図２Ｄは、ウェアラブル頭部デバイス２１０２の例示的接眼レンズ２１１０の縁視図を図示する。図２Ａ－２Ｃに示されるように、例示的ウェアラブル頭部デバイス２１０２は、例示的左接眼レンズ（例えば、左透明導波管セット接眼レンズ）２１０８と、例示的右接眼レンズ（例えば、右透明導波管セット接眼レンズ）２１１０とを含む。各接眼レンズ２１０８および２１１０は、それを通して実環境が可視となる、透過性要素と、実環境に重複するディスプレイ（例えば、画像毎に変調された光を介して）を提示するためのディスプレイ要素とを含むことができる。いくつかの実施例では、そのようなディスプレイ要素は、画像毎に変調された光の流動を制御するための表面回折光学要素を含むことができる。例えば、左接眼レンズ２１０８は、左内部結合格子セット２１１２と、左直交瞳拡張（ＯＰＥ）格子セット２１２０と、左出射（出力）瞳拡張（ＥＰＥ）格子セット２１２２とを含むことができる。同様に、右接眼レンズ２１１０は、右内部結合格子セット２１１８と、右ＯＰＥ格子セット２１１４と、右ＥＰＥ格子セット２１１６とを含むことができる。画像毎に変調された光は、内部結合格子２１１２および２１１８、ＯＰＥ２１１４および２１２０、およびＥＰＥ２１１６および２１２２を介して、ユーザの眼に転送されることができる。各内部結合格子セット２１１２、２１１８は、光をその対応するＯＰＥ格子セット２１２０、２１１４に向かって偏向させるように構成されることができる。各ＯＰＥ格子セット２１２０、２１１４は、光をその関連付けられたＥＰＥ２１２２、２１１６に向かって下方に漸次的に偏向させ、それによって、形成されている射出瞳を水平に延在させるように設計されることができる。各ＥＰＥ２１２２、２１１６は、その対応するＯＰＥ格子セット２１２０、２１１４から受信された光の少なくとも一部を、接眼レンズ２１０８、２１１０の背後に定義される、ユーザアイボックス位置（図示せず）に外向きに漸次的に再指向し、アイボックスに形成される射出瞳を垂直に延在させるように構成されることができる。代替として、内部結合格子セット２１１２および２１１８、ＯＰＥ格子セット２１１４および２１２０、およびＥＰＥ格子セット２１１６および２１２２の代わりに、接眼レンズ２１０８および２１１０は、ユーザの眼への画像毎に変調された光の結合を制御するための格子および／または屈折および反射性特徴の他の配列を含むことができる。
【0039】
いくつかの実施例では、ウェアラブル頭部デバイス２１０２は、左つるのアーム２１３０と、右つるのアーム２１３２とを含むことができ、左つるのアーム２１３０は、左スピーカ２１３４を含み、右つるのアーム２１３２は、右スピーカ２１３６を含む。直交コイル電磁受信機２１３８は、左こめかみ部品またはウェアラブル頭部デバイス２１０２内の別の好適な場所に位置することができる。慣性測定ユニット（ＩＭＵ）２１４０は、右つるのアーム２１３２またはウェアラブル頭部デバイス２１０２内の別の好適な場所に位置することができる。ウェアラブル頭部デバイス２１０２はまた、左深度（例えば、飛行時間）カメラ２１４２と、右深度カメラ２１４４とを含むことができる。深度カメラ２１４２、２１４４は、好適には、ともにより広い視野を網羅するように、異なる方向に配向されることができる。
【0040】
図２Ａ－２Ｄに示される実施例では、画像毎に変調された光２１２４の左源は、左内部結合格子セット２１１２を通して、左接眼レンズ２１０８の中に光学的に結合されることができ、画像毎に変調された光２１２６の右源は、右内部結合格子セット２１１８を通して、右接眼レンズ２１１０の中に光学的に結合されることができる。画像毎に変調された光２１２４、２１２６の源は、例えば、光ファイバスキャナ、デジタル光処理（ＤＬＰ）チップまたはシリコン上液晶（ＬＣｏＳ）変調器等の電子光変調器を含むプロジェクタ、または側面あたり１つ以上のレンズを使用して、内部結合格子セット２１１２、２１１８の中に結合される、マイクロ発光ダイオード（μＬＥＤ）またはマイクロ有機発光ダイオード（μＯＬＥＤ）パネル等の発光型ディスプレイを含むことができる。入力結合格子セット２１１２、２１１８は、画像毎に変調された光２１２４、２１２６の源からの光を、接眼レンズ２１０８、２１１０のための全内部反射（ＴＩＲ）に関する臨界角を上回る角度に偏向させることができる。ＯＰＥ格子セット２１１４、２１２０は、伝搬する光をＴＩＲによってＥＰＥ格子セット２１１６、２１２２に向かって下方に漸次的に偏向させる。ＥＰＥ格子セット２１１６、２１２２は、ユーザの眼の瞳孔を含む、ユーザの顔に向かって、光を漸次的に結合する。
【0041】
いくつかの実施例では、図２Ｄに示されるように、左接眼レンズ２１０８および右接眼レンズ２１１０はそれぞれ、複数の導波管２４０２を含む。例えば、各接眼レンズ２１０８、２１１０は、複数の個々の導波管を含むことができ、それぞれ、個別の色チャネル（例えば、赤色、青色、および緑色）専用である。いくつかの実施例では、各接眼レンズ２１０８、２１１０は、複数のセットのそのような導波管を含むことができ、各セットは、異なる波面曲率を放出される光に付与するように構成される。波面曲率は、例えば、ユーザの正面のある距離（例えば、波面曲率の逆数に対応する距離）に位置付けられる仮想オブジェクトを提示するように、ユーザの眼に対して凸面であってもよい。いくつかの実施例では、ＥＰＥ格子セット２１１６、２１２２は、各ＥＰＥを横断して出射する光のＰｏｙｎｔｉｎｇベクトルを改変することによって凸面波面曲率をもたらすために、湾曲格子溝を含むことができる。
【0042】
いくつかの実施例では、表示されるコンテンツが３次元である知覚を作成するために、立体視的に調節される左および右眼画像は、画像毎に光変調器２１２４、２１２６および接眼レンズ２１０８、２１１０を通して、ユーザに提示されることができる。３次元仮想オブジェクトの提示の知覚される現実性は、仮想オブジェクトが立体視左および右画像によって示される距離に近似する距離に表示されるように、導波管（したがって、対応する波面曲率）を選択することによって向上されることができる。本技法はまた、立体視左および右眼画像によって提供される深度知覚キューと人間の眼の自動遠近調節（例えば、オブジェクト距離依存焦点）との間の差異によって生じ得る、一部のユーザによって被られる乗り物酔いを低減させ得る。
【0043】
図２Ｄは、例示的ウェアラブル頭部デバイス２１０２の右接眼レンズ２１１０の上部からの縁視図を図示する。図２Ｄに示されるように、複数の導波管２４０２は、３つの導波管２４０４の第１のサブセットと、３つの導波管２４０６の第２のサブセットとを含むことができる。導波管２４０４、２４０６の２つのサブセットは、異なる波面曲率を出射する光に付与するために異なる格子線曲率を特徴とする、異なるＥＰＥ格子によって区別されることができる。導波管２４０４、２４０６のサブセットのそれぞれ内において、各導波管は、異なるスペクトルチャネル（例えば、赤色、緑色、および青色スペクトルチャネルのうちの１つ）をユーザの右眼２２０６に結合するために使用されることができる。（図２Ｄには図示されないが、左接眼レンズ２１０８の構造は、右接眼レンズ２１１０の構造に類似する。）
【0044】
図３Ａは、複合現実システム２００の例示的ハンドヘルドコントローラコンポーネント３００を図示する。いくつかの実施例では、ハンドヘルドコントローラ３００は、把持部分３４６と、上部表面３４８に沿って配置される、１つ以上のボタン３５０とを含む。いくつかの実施例では、ボタン３５０は、例えば、カメラまたは他の光学センサ（複合現実システム２００の頭部デバイス（例えば、ウェアラブル頭部デバイス２１０２）内に搭載され得る）と併せて、ハンドヘルドコントローラ３００の６自由度（６ＤＯＦ）運動を追跡するための光学追跡標的として使用するために構成されてもよい。いくつかの実施例では、ハンドヘルドコントローラ３００は、ウェアラブル頭部デバイス２１０２に対する位置または配向等の位置または配向を検出するための追跡コンポーネント（例えば、ＩＭＵまたは他の好適なセンサ）を含む。いくつかの実施例では、そのような追跡コンポーネントは、ハンドヘルドコントローラ３００のハンドル内に位置付けられてもよく、および／またはハンドヘルドコントローラに機械的に結合されてもよい。ハンドヘルドコントローラ３００は、ボタンの押下状態、またはハンドヘルドコントローラ３００の位置、配向、および／または運動（例えば、ＩＭＵを介して）のうちの１つ以上のものに対応する、１つ以上の出力信号を提供するように構成されることができる。そのような出力信号は、複合現実システム２００のプロセッサへの入力として使用されてもよい。そのような入力は、ハンドヘルドコントローラの位置、配向、および／または移動（さらに言うと、コントローラを保持するユーザの手の位置、配向、および／または移動）に対応し得る。そのような入力はまた、ユーザがボタン３５０を押下したことに対応し得る。
【0045】
図３Ｂは、複合現実システム２００の例示的補助ユニット３２０を図示する。補助ユニット３２０は、エネルギーを提供し、システム２００を動作するためのバッテリを含むことができ、プログラムを実行し、システム２００を動作させるためのプロセッサを含むことができる。示されるように、例示的補助ユニット３２０は、補助ユニット３２０をユーザのベルトに取り付ける等のためのクリップ２１２８を含む。他の形状因子も、補助ユニット３２０のために好適であって、ユニットをユーザのベルトに搭載することを伴わない、形状因子を含むことも明白となるであろう。いくつかの実施例では、補助ユニット３２０は、例えば、電気ワイヤおよび光ファイバを含み得る、多管式ケーブルを通して、ウェアラブル頭部デバイス２１０２に結合される。補助ユニット３２０とウェアラブル頭部デバイス２１０２との間の無線接続もまた、使用されることができる。
【0046】
いくつかの実施例では、複合現実システム２００は、１つ以上のマイクロホンを含み、音を検出し、対応する信号を複合現実システムに提供することができる。いくつかの実施例では、マイクロホンは、ウェアラブル頭部デバイス２１０２に取り付けられる、またはそれと統合されてもよく、ユーザの音声を検出するように構成されてもよい。いくつかの実施例では、マイクロホンは、ハンドヘルドコントローラ３００および／または補助ユニット３２０に取り付けられる、またはそれと統合されてもよい。そのようなマイクロホンは、環境音、周囲雑音、ユーザまたは第三者の音声、または他の音を検出するように構成されてもよい。
【0047】
図４は、上記に説明される複合現実システム２００（図１に関する複合現実システム１１２に対応し得る）等の例示的複合現実システムに対応し得る、例示的機能ブロック図を示す。図４に示されるように、例示的ハンドヘルドコントローラ４００Ｂ（ハンドヘルドコントローラ３００（「トーテム」）に対応し得る）は、トーテム／ウェアラブル頭部デバイス６自由度（６ＤＯＦ）トーテムサブシステム４０４Ａを含み、例示的ウェアラブル頭部デバイス４００Ａ（ウェアラブル頭部デバイス２１０２に対応し得る）は、トーテム／ウェアラブル頭部デバイス６ＤＯＦサブシステム４０４Ｂを含む。実施例では、６ＤＯＦトーテムサブシステム４０４Ａおよび６ＤＯＦサブシステム４０４Ｂは、協働し、ウェアラブル頭部デバイス４００Ａに対するハンドヘルドコントローラ４００Ｂの６つの座標（例えば、３つの平行移動方向におけるオフセットおよび３つの軸に沿った回転）を決定する。６自由度は、ウェアラブル頭部デバイス４００Ａの座標系に対して表されてもよい。３つの平行移動オフセットは、そのような座標系内におけるＸ、Ｙ、およびＺオフセット、平行移動行列、またはある他の表現として表されてもよい。回転自由度は、ヨー、ピッチ、およびロール回転のシーケンス、回転行列、四元数、またはある他の表現として表されてもよい。いくつかの実施例では、ウェアラブル頭部デバイス４００Ａ、ウェアラブル頭部デバイス４００Ａ内に含まれる、１つ以上の深度カメラ４４４（および／または１つ以上の非深度カメラ）、および／または１つ以上の光学標的（例えば、上記に説明されるようなハンドヘルドコントローラ４００Ｂのボタン３５０またはハンドヘルドコントローラ４００Ｂ内に含まれる専用光学標的）は、６ＤＯＦ追跡のために使用されることができる。いくつかの実施例では、ハンドヘルドコントローラ４００Ｂは、上記に説明されるようなカメラを含むことができ、ウェアラブル頭部デバイス４００Ａは、カメラと併せた光学追跡のための光学標的を含むことができる。いくつかの実施例では、ウェアラブル頭部デバイス４００Ａおよびハンドヘルドコントローラ４００Ｂはそれぞれ、３つの直交して配向されるソレノイドのセットを含み、これは、３つの区別可能な信号を無線で送信および受信するために使用される。受信するために使用される、コイルのそれぞれ内で受信される３つの区別可能な信号の相対的大きさを測定することによって、ハンドヘルドコントローラ４００Ｂに対するウェアラブル頭部デバイス４００Ａの６ＤＯＦが、決定され得る。加えて、６ＤＯＦトーテムサブシステム４０４Ａは、改良された正確度および／またはハンドヘルドコントローラ４００Ｂの高速移動に関するよりタイムリーな情報を提供するために有用である、慣性測定ユニット（ＩＭＵ）を含むことができる。
【0048】
いくつかの実施例では、例えば、座標系１０８に対するウェアラブル頭部デバイス４００Ａの移動を補償するために、座標をローカル座標空間（例えば、ウェアラブル頭部デバイス４００Ａに対して固定される座標空間）から慣性座標空間（例えば、実環境に対して固定される座標空間）に変換することが必要になり得る。例えば、そのような変換は、ウェアラブル頭部デバイス４００Ａのディスプレイが、ディスプレイ上の固定位置および配向（例えば、ディスプレイの右下角における同一位置）ではなく仮想オブジェクトを実環境に対する予期される位置および配向に提示し（例えば、ウェアラブル頭部デバイスの位置および配向にかかわらず、前方に面した実椅子に着座している仮想人物）、仮想オブジェクトが実環境内に存在する（かつ、例えば、ウェアラブル頭部デバイス４００Ａが偏移および回転するにつれて、実環境内に不自然に位置付けられて現れない）という錯覚を保存するために必要であり得る。いくつかの実施例では、座標空間間の補償変換が、座標系１０８に対するウェアラブル頭部デバイス４００Ａの変換を決定するために、ＳＬＡＭおよび／またはビジュアルオドメトリプロシージャを使用して、深度カメラ４４４からの画像を処理することによって決定されることができる。図４に示される実施例では、深度カメラ４４４は、ＳＬＡＭ／ビジュアルオドメトリブロック４０６に結合され、画像をブロック４０６に提供することができる。ＳＬＡＭ／ビジュアルオドメトリブロック４０６実装は、本画像を処理し、次いで、頭部座標空間と別の座標空間（例えば、慣性座標空間）との間の変換を識別するために使用され得る、ユーザの頭部の位置および配向を決定するように構成される、プロセッサを含むことができる。同様に、いくつかの実施例では、ユーザの頭部姿勢および場所に関する情報の付加的源が、ＩＭＵ４０９から取得される。ＩＭＵ４０９からの情報は、ＳＬＡＭ／ビジュアルオドメトリブロック４０６からの情報と統合され、改良された正確度および／またはユーザの頭部姿勢および位置の高速調節に関する情報をよりタイムリーに提供することができる。
【0049】
いくつかの実施例では、深度カメラ４４４は、ウェアラブル頭部デバイス４００Ａのプロセッサ内に実装され得る、手のジェスチャトラッカ４１１に、３Ｄ画像を供給することができる。手のジェスチャトラッカ４１１は、例えば、深度カメラ４４４から受信された３Ｄ画像を手のジェスチャを表す記憶されたパターンに合致させることによって、ユーザの手のジェスチャを識別することができる。ユーザの手のジェスチャを識別する他の好適な技法も、明白となるであろう。
【0050】
いくつかの実施例では、１つ以上のプロセッサ４１６は、ウェアラブル頭部デバイスの６ＤＯＦヘッドギヤサブシステム４０４Ｂ、ＩＭＵ４０９、ＳＬＡＭ／ビジュアルオドメトリブロック４０６、深度カメラ４４４、および／または手のジェスチャトラッカ４１１からのデータを受信するように構成されてもよい。プロセッサ４１６はまた、制御信号を６ＤＯＦトーテムシステム４０４Ａに送信し、そこから受信することができる。プロセッサ４１６は、ハンドヘルドコントローラ４００Ｂがテザリングされない実施例等では、無線で、６ＤＯＦトーテムシステム４０４Ａに結合されてもよい。プロセッサ４１６はさらに、視聴覚コンテンツメモリ４１８、グラフィカル処理ユニット（ＧＰＵ）４２０、および／またはデジタル信号プロセッサ（ＤＳＰ）オーディオ空間化装置４２２等の付加的コンポーネントと通信してもよい。ＤＳＰオーディオ空間化装置４２２は、頭部関連伝達関数（ＨＲＴＦ）メモリ４２５に結合されてもよい。ＧＰＵ４２０は、画像毎に変調された光４２４の左源に結合される、左チャネル出力と、画像毎に変調された光４２６の右源に結合される、右チャネル出力とを含むことができる。ＧＰＵ４２０は、例えば、図２Ａ－２Ｄに関して上記に説明されるように、立体視画像データを画像毎に変調された光４２４、４２６の源に出力することができる。ＤＳＰオーディオ空間化装置４２２は、オーディオを左スピーカ４１２および／または右スピーカ４１４に出力することができる。ＤＳＰオーディオ空間化装置４２２は、プロセッサ４１９から、ユーザから仮想音源（例えば、ハンドヘルドコントローラ３２０を介して、ユーザによって移動され得る）への方向ベクトルを示す入力を受信することができる。方向ベクトルに基づいて、ＤＳＰオーディオ空間化装置４２２は、対応するＨＲＴＦを決定することができる（例えば、ＨＲＴＦにアクセスすることによって、または複数のＨＲＴＦを補間することによって）。ＤＳＰオーディオ空間化装置４２２は、次いで、決定されたＨＲＴＦを仮想オブジェクトによって生成された仮想音に対応するオーディオ信号等のオーディオ信号に適用することができる。これは、複合現実環境内の仮想音に対するユーザの相対的位置および配向を組み込むことによって、すなわち、その仮想音が実環境内の実音である場合に聞こえるであろうもののユーザの予期に合致する仮想音を提示することによって、仮想音の信憑性および現実性を向上させることができる。
【0051】
図４に示されるようないくつかの実施例では、プロセッサ４１６、ＧＰＵ４２０、ＤＳＰオーディオ空間化装置４２２、ＨＲＴＦメモリ４２５、およびオーディオ／視覚的コンテンツメモリ４１８のうちの１つ以上のものは、補助ユニット４００Ｃ（上記に説明される補助ユニット３２０に対応し得る）内に含まれてもよい。補助ユニット４００Ｃは、バッテリ４２７を含み、そのコンポーネントを給電し、および／または電力をウェアラブル頭部デバイス４００Ａまたはハンドヘルドコントローラ４００Ｂに供給してもよい。そのようなコンポーネントを、ユーザの腰部に搭載され得る、補助ユニット内に含むことは、ウェアラブル頭部デバイス４００Ａのサイズおよび重量を限定することができ、これは、ひいては、ユーザの頭部および頸部の疲労を低減させることができる。
【0052】
図４は、例示的複合現実システムの種々のコンポーネントに対応する要素を提示するが、これらのコンポーネントの種々の他の好適な配列も、当業者に明白となるであろう。例えば、補助ユニット４００Ｃと関連付けられているような図４に提示される要素は、代わりに、ウェアラブル頭部デバイス４００Ａまたはハンドヘルドコントローラ４００Ｂと関連付けられ得る。さらに、いくつかの複合現実システムは、ハンドヘルドコントローラ４００Ｂまたは補助ユニット４００Ｃを完全に無くしてもよい。そのような変更および修正は、開示される実施例の範囲内に含まれるものとして理解されるべきである。
【0053】
仮想反射
【0054】
上記に説明されるように、（複合現実システム、例えば、上記に説明される複合現実システム２００を介して体験されるような）ＭＲＥは、ＭＲＥのユーザに、ＭＲＥ内に原点座標を伴う音源において生じ、ＭＲＥ内の配向ベクトルの方向に進行するように現れる、オーディオ信号を提示することができる。すなわち、ユーザは、それらが、音源の原点座標から生じ、配向ベクトルに沿って進行する、実オーディオ信号であるかのように、これらのオーディオ信号を知覚し得る。
【0055】
ある場合には、オーディオ信号は、それらが、仮想環境の算出信号に対応し、必ずしも、実環境内の実音に対応しないという点で、仮想と見なされ得る。しかしながら、仮想オーディオ信号は、人間の耳によって検出可能な実オーディオ信号として、例えば、図２Ａ－２Ｄにおけるウェアラブル頭部デバイス２１０２のスピーカ２１３４および２１３６を介して生成されたものとして、ユーザに提示されることができる。
【0056】
音源は、実オブジェクトおよび／または仮想オブジェクトに対応してもよい。例えば、仮想オブジェクト（例えば、図１Ｃの仮想モンスター１３２）は、ＭＲＥ内でオーディオ信号を放出することができ、これは、ＭＲＥ内で仮想オーディオ信号として表され、ユーザに実オーディオ信号として提示される。例えば、図１Ｃの仮想モンスター１３２は、モンスターの発話（例えば、対話）または音効果に対応する、仮想音を放出することができる。同様に、実オブジェクト（例えば、図１Ｃの実オブジェクト１２２Ａ）は、ＭＲＥ内に仮想音を放出するように現れるようにされることができ、これは、ＭＲＥ内で仮想オーディオ信号として表され、ユーザに実オーディオ信号として提示される。例えば、実ランプ１２２Ａは、ランプが実環境内でオンまたはオフに切り替えられない場合でも、ランプがオンまたはオフに切り替えられる音効果に対応する、仮想音を放出することができる。仮想音は、音源（実際または仮想かどうかにかかわらず）の位置および配向に対応し得る。例えば、仮想音が、ユーザに実オーディオ信号として提示される（例えば、スピーカ２１３４および２１３６を介して）場合、ユーザは、音源の位置から生じ、音源の配向の方向に進行するものとして、仮想音を知覚し得る。音源は、本明細書では、見掛け上音を放出するようにされる下層オブジェクト自体が、上記に説明されるような実オブジェクトに対応し得る場合でも、「仮想音源」と称される。
【0057】
いくつかの仮想または複合現実環境は、環境が現実または本物であるように感じられないという知覚に悩まされる。本知覚の１つの理由は、オーディオおよび視覚的キューが、常時、仮想環境内で相互に合致しないことである。例えば、ユーザが、ＭＲＥ内で大きな煉瓦壁の背後に位置付けられる場合、ユーザは、煉瓦壁の背後から生じる音がユーザのすぐ隣から生じる音より静かかつよりこもっていることを予期し得る。本予期は、音が大きな稠密オブジェクトの存在によって改変され得る（例えば、静かかつこもった状態になり得る）という、実世界内の自身の聴覚的体験に基づくものである。例えば、ユーザが、煉瓦壁の背後から生じるとされるが、こもっておらず、かつ完全音量で提示される、オーディオ信号を提示されるとき、ユーザが煉瓦壁の背後に居る、または音がその背後にから生じているという、錯覚は、損なわれる。仮想体験全体が、部分的に、実世界相互作用に基づく自身の予期に適合しないため、偽物であって、かつ本物ではないように感じ得る。さらに、ある場合には、仮想体験と実体験との間のわずかな差異さえ、不快感の感覚を生じさせ得る、「不気味の谷」問題が生じる。ＭＲＥ内において、わずかな点においてさえ、ユーザの環境内のオブジェクトと現実的に相互作用するように現れる、オーディオ信号を提示することによって、ユーザの体験を改良することが望ましい。そのようなオーディオ信号が、実世界体験に基づく自身の予期により一貫するほど、ユーザのＭＲＥ体験は、より没入型かつ魅力のあるものとなるであろう。
【0058】
知覚科学からの教訓が、ここでは有用であり得る。人々が自身の周囲の環境を知覚および理解する、１つの方法は、オーディオキューを通してである。実世界では、我々に聞こえる実オーディオ信号は、それらのオーディオ信号が生じる場所、それらのオーディオ信号が進行する方向、およびそのオーディオ信号が相互作用するオブジェクトによって影響される。例えば、全ての他の要因が等しいとして、聴取者から遠い距離で生じる音（例えば、遠くで吠えているイヌ）は、短距離から生じる同一音（例えば、聴取者と同一部屋内で吠えているイヌ）より静かに現れるであろう。聴取者は、したがって、その吠の知覚される音量に基づいて、実環境内のイヌの場所を識別することができる。同様に、全ての他の要因が等しいとして、聴取者から離れるように進行する音（例えば、聴取者から外方に面した人物の音声）は、ユーザに向かって進行する同一音（例えば、聴取者に向かって面した人物の音声）ほど明瞭ではなく、かつよりこもって（すなわち、低域通過フィルタリングされる）現れるであろう。聴取者は、したがって、その人物の音声の知覚される周波数特性に基づいて、実環境内の人物の配向を識別することができる。
【0059】
実オーディオ信号の我々の知覚はまた、オーディオ信号が相互作用する、環境内のオブジェクトの存在によって影響され得る。すなわち、聴取者は、音源によって生成されたオーディオ信号だけではなく、また、近傍の物理的オブジェクトに対するそのオーディオ信号の反響音（「反響」）も知覚し得る。例えば、人物が、近接壁を伴う小部屋内で発話する場合、それらの壁は、人物の音声が壁から反射するため、短い自然な反響された信号を生じさせ得る。聴取者は、それらの反響から、近接壁を伴う小部屋内に居ることを推測し得る。同様に、大きなコンサートホールまたは大聖堂は、より長い反響音を生じさせ得、そこから、聴取者は、大きくて広い部屋内に居ることを推測し得る。同様に、オーディオ信号の反響音は、それに対してそれらの信号が反射する表面の位置または配向またはそれらの表面の材料に基づいて、種々の音波特性をとり得る。例えば、洗面所のタイルに対する反響音は、煉瓦、カーペット、乾燥壁、または他の材料に対する反響音と異なる音であろう。これらの反響特性は、聴取者によって使用され、その近傍のオブジェクトの場所、配向、および材料を推測することができる。
【0060】
上記の実施例は、オーディオキューが我々の知覚に周囲の環境を知らせ得る方法を図示する。これらのキューは、視覚的キューと組み合わせて作用することができる。例えば、遠くにイヌが見える場合、我々は、そのイヌの吠の音がその距離と一致することを予期する（そうではない場合、いくつかの仮想環境におけるように、当惑する、または失見当識を感じ得る）。低光量環境内または視覚障害ユーザに関して等、いくつかの実施例では、視覚的キューは、限定される、または利用不可能であり得る。そのような場合、オーディオキューが、特に重要となり得、その環境を理解するユーザの一次手段としての役割を果たし得る。
【0061】
いくつかの環境では、現実、仮想、複合、または別様であるかどうかにかかわらず、オーディオキューの重要な源は、ユーザ自身の音声である。すなわち、その環境内のユーザ自身の音声の音が、その環境を理解するための特に重要なオーディオキューとなり得る。１つの理由は、ユーザが、発話するにつれて、その自身の音声がどのように聞こえるであろうかに非常に慣れていることであって、その予期からの逸脱は、環境に対する手掛かりとして特に有用であり得る。別の理由は、人々が、種々の物理的環境、すなわち、小部屋、広々とした部屋、タイル貼りの洗面所等において発話する実質的体験を有し得、本体験から、それらの部屋がどのようにその自身の音声の音に影響を及ぼすであろうかを直感的に理解することである。
【0062】
ユーザが、これらのオーディオ信号をキューとして使用して、いくつかのＭＲＥのユーザが苦戦する問題である、仮想オブジェクトを識別し得るように、ＭＲＥ内の仮想オブジェクトに基づいて、現実的反響音効果を組み込む様式において、ＭＲＥ内でオーディオ信号をユーザに提示することが望ましい。そのような反響音効果を組み込むことはさらに、実世界反響音をシミュレートすることによって、オーディオ信号をより現実的で真実味のある品質にするために望ましい。これは、ＭＲＥ内のオーディオ信号があまり正しくないように思われる場合（前述の不気味の谷問題）等、ＭＲＥ内のユーザの聴覚的体験と実世界内のユーザの聴覚的体験との間の準最適不協和音を低減させ得る。さらに、ＭＲＥにとって、そのような効果をユーザ自身の音声に適用することは、上記の理由から、特に望ましくあり得る。従来の反響システムと比較して、本発明は、オーディオ信号および環境に対するユーザの位置、配向、および他の特性を考慮することによって、オーディオ信号のより微妙かつ真実味のある提示を可能にすることができる。ＭＲＥのユーザに、我々の日常生活のオーディオ体験を喚起する、オーディオ体験を提示することによって、ＭＲＥは、ＭＲＥに従事するとき、ユーザの没入感およびつながりを向上させることができる。
【0063】
図５Ａおよび５Ｂは、それぞれ、例示的複合現実環境５００（図１Ｃの複合現実環境１５０に対応し得る）の斜視図および上面図を描写する。ＭＲＥ５００では、ユーザ５０１は、マイクロホン５１２を含む、ウェアラブル頭部デバイス５１０を装着している。ウェアラブル頭部デバイス５１０は、図２Ａ－２Ｄに関して上記に説明されるウェアラブル頭部デバイス２１０２に対応し得、これは、ひいては、図４に関して上記に説明されるウェアラブル頭部デバイス４００Ａに対応し得る。マイクロホン５１２は、ユーザの音声がＭＲＥ５００の中に適切に統合され得るように、ユーザ５０１の音声信号を入力として複合現実システム１１２に提供するように構成される。
【0064】
例示的ＭＲＥ５００では、ユーザ５０１の発話は、ユーザ５０１によって放出される指向性オーディオ信号（例えば、それに沿って音響エネルギーが進行する、音線）を表し、ＭＲＥ５００の座標系内の位置および配向を有し得る、実オーディオ信号５２０を含む、１つ以上の実オーディオ信号を発生させる。実施例では、実オーディオ信号５２０は、ユーザ５０１（例えば、ユーザ５０１の口）と関連付けられた原点座標５２２において生じ、ユーザ５０１と関連付けられたベクトル５２４に沿って進行する。ベクトル５２４は、ユーザ５０１によって放出される任意の実オーディオ信号の伝搬を表すことができる。実オーディオ信号５２０は、マイクロホン５１２によって検出され、入力としてＭＲＥ５００に提供されてもよい。
【0065】
例示的ＭＲＥ５００は、平面表面を伴う壁として図５Ａおよび５Ｂに描写される、仮想オブジェクト５３０を含む。示される実施例では、実オーディオ信号５２０は、例示的交点５２６において、交点５２６における仮想オブジェクトの法線５２７に対して角度５２８で、仮想オブジェクト５３０と交差する。いくつかの実施例では、仮想オブジェクト５３０は、サイズ、形状、質量、または材料等の１つ以上の仮想物理的パラメータと関連付けられてもよい。これらのパラメータは、仮想オブジェクト５３０の表面によって、オーディオ信号（実オーディオ信号５２０等）のシミュレートされた反射に影響を及ぼし得る。そのようなパラメータは、ＭＲＥの座標空間内の空間性質（例えば、位置、配向、形状、寸法）、物理的性質（例えば、密度、弾性、引張強度、温度、平滑度、共鳴）、またはオブジェクトの他の好適な性質を含むことができる。仮想オブジェクト５３０は、視覚的性質（例えば、色、透明度、反射率）等の音響反射に関連しない付加的パラメータ、および他の物理的パラメータ（例えば、湿潤度、電気伝導性）と関連付けられてもよい。複合現実システムは、そのようなパラメータを決定し、故に、任意の好適な方法を使用して、それらのパラメータを有する仮想オブジェクトを生成することができる。
【0066】
いくつかの実施例では、仮想オーディオ信号が交差する、仮想オブジェクトは、実オブジェクトに対応してもよい（例えば、実オブジェクト１２２Ａ、１２４Ａ、および１２６Ａは、図１Ｃにおける仮想オブジェクト１２２Ｂ、１２４Ｂ、および１２６Ｂに対応する）。いくつかのそのような実施例では、ユーザは、音響的にシールされた環境（例えば、シールされたヘッドホン）内に設置され、実オブジェクトに対する反射によって生じ得る、望ましくないオーディオ信号を減衰させてもよい。いくつかの実施例では、そのような仮想オブジェクトは、実オブジェクトに対応しなくてもよい（例えば、図１Ｃにおける仮想モンスター１３２等）。仮想オブジェクトが実オブジェクトに対応する場合、仮想オブジェクトは、それらの実オブジェクトの性質に対応する、パラメータ（例えば、寸法、材料）を有してもよい。
【0067】
例示的ＭＲＥ５００では、例示的反射オーディオ信号５４０が、実オーディオ信号５２０が仮想オブジェクト５３０と交差するときに生じる。反射オーディオ信号５４０は、原点座標５４２を有し、ベクトル５４４に沿って伝搬する。実施例では、原点座標５４２は、仮想オブジェクト５３０の表面上にあって、ベクトル５４４は、原点座標５４２において、表面の法線に対して角度５４８にある。典型的には、必ずしもではないが、座標５４２は、座標５２６と同一座標であって、角度５４８は、角度５２８と等しい。
【0068】
反射オーディオ信号５４０は、仮想オブジェクト５３０からの実オーディオ信号５２０のシミュレートされた音響反響音を表してもよい。したがって、反射オーディオ信号５４０は、実オーディオ信号５２０の音響的に修正されたバージョンとして説明され得る。例えば、反射オーディオ信号５４０は、減衰され、フィルタリングされ（例えば、低域通過フィルタリングされ）、および／または位相偏移され、スピーカ４１２、４１４、２１３４、２１３６を介して出力された、実オーディオ信号５２０のバージョンとして説明され得る。いくつかの実施例では、仮想オブジェクト５３０は、反射オーディオ信号５４０の周波数スペクトルに影響を及ぼす、回折効果を生じさせる。さらに、反射オーディオ信号５４０は、例えば、自然反響効果をシミュレートするために、反響処理技法によって取得される２つ以上の信号の合成（例えば、一時的に、記憶され、ある遅延後に出力される、実オーディオ信号５２０のバージョン）であってもよい。反射オーディオ信号５４０を生成するための実オーディオ信号５２０に対する調節は、１つ以上の伝達関数が、実オーディオ信号５２０に適用されると、反射オーディオ信号５４０をもたらすように、１つ以上の伝達関数（例えば、伝達関数Ｈ（ｔ））であると見なされ得る。
【0069】
例示的反射オーディオ信号５４０は、ＭＲＥのユーザによって直接知覚可能ではないが、実オーディオ信号がユーザによって聞こえ得る、１つ以上のスピーカ（例えば、スピーカ２１３４および／または２１３６）によって、実オーディオ信号に変換され得る、仮想オーディオ信号であってもよい。例えば、反射オーディオ信号５４０は、例えば、ＭＲＥと関連付けられたプロセッサおよび／またはメモリによって、（例えば、図４のＤＳＰオーディオ空間化装置４２２の一部としての）デジタル－オーディオコンバータを介して、アナログ信号に変換され、次いで、増幅され、スピーカを駆動し、聴取者によって知覚可能な音を発生させるために使用され得る、デジタルオーディオデータの算出表現であってもよい。そのような算出表現は、例えば、反射オーディオ信号が生じるＭＲＥ内の座標、それに沿って反射オーディオ信号が伝搬する、ＭＲＥ内のベクトル、反射オーディオ信号が生じる時間、反射オーディオ信号が伝搬する、速度、または他の好適な特性を備えることができる。レイトレーシング等の種々の技法が、オーディオ源（例えば、ユーザの発声器）から、仮想オブジェクト上の反射点へ、そこからユーザの耳に戻る、伝搬をモデル化するために使用されることができる。一実施例として、仮想オブジェクトの平坦表面に面したユーザの場合、オーディオ源（「画像源」）の仮想画像は、平坦表面までの距離の２倍（すなわち、平坦表面までの最短経路の長さの２倍）であって、平坦表面と垂直なセグメントに沿って、ユーザの口から離間されることができる。ユーザの音声の反射された音響波経路は、オーディオ源の仮想画像から聴取者位置までの音響波伝搬としてモデル化されることができる。（本実施例では、仮想反射が存在するために、仮想平坦表面の範囲は、仮想画像から聴取者位置までの経路が平坦表面を通して通過するように、十分に大きくなければならない。）多数の平坦表面を含む、仮想オブジェクトのポリゴン表現は、視聴覚コンテンツメモリ４１８内に維持されることができる。
【0070】
ＭＲＥは、それぞれ、反射オーディオ信号が知覚され得る、座標系内の場所（「聴取者」）に対応する、１つ以上の聴取者座標（例えば、図５Ａおよび５Ｂでは、座標５１６）の表現を含んでもよい。いくつかの実施例では、ＭＲＥはまた、１つ以上の聴取者ベクトルの表現を含んでもよく、これは、聴取者の配向を表すことができる。聴取者座標５１６は、ウェアラブル頭部デバイス５１０の１つ以上のセンサを使用して決定され得るようなユーザ５０１の位置との空間関係を有することができる。例えば、聴取者座標５１６は、ユーザ５０１の位置に対して固定または可変空間オフセットを有してもよい。示される例示的ＭＲＥ５００では、聴取者座標５１６は、原点座標５２２（ユーザの頭部の中心）に対応し、これは、実施例では、実オーディオ信号５２０の原点である。しかしながら、いくつかの実施例では、聴取者座標は、実オーディオ信号５２０の原点に対応する必要はなく、ユーザの耳の場所、ウェアラブル頭部デバイス５１０のスピーカの場所、または別の好適な場所に対応することができる。さらに、聴取者ベクトルは、ユーザが面している方向に対応し得る。いくつかの実施例では、聴取者座標および／または聴取者ベクトルは、ユーザによって装着されるウェアラブル頭部デバイスの位置および／または配向を使用して決定されることができる。例えば、聴取者座標５１６は、ウェアラブル頭部デバイスの検出された位置からのオフセットとして定義されることができる。ある場合には、聴取者座標および聴取者ベクトルは、ウェアラブル頭部デバイス５１０に関して上記に説明される１つ以上のセンサ（例えば、ＩＭＵ、ＧＰＳユニット、加速度計、音響センサ、カメラ、レーダ等）または任意の他の好適なセンサを介して検出されることができる。いくつかの実施例では、ＭＲＥは、それぞれ、ＭＲＥの座標系内のユーザの左および右耳の場所に対応する、左および右聴取者座標を含むことができる。その原点（画像源）から聴取者座標まで反射オーディオ信号のベクトルを決定することによって、人間聴取者が、その座標における耳で、反射オーディオ信号を知覚するであろう方法に対応する、実オーディオ信号が、決定されることができる。本オーディオ信号は、次いで、例えば、ウェアラブル頭部デバイス５１０の１つ以上のスピーカ（例えば、２１３４、２１３６）を介して、ユーザ５０１にレンダリングされることができる。
【0071】
いくつかの実施例では、反射オーディオ信号５４０は、ベース音データ（例えば、メモリ内のデジタルデータ、オーディオ波形を表すデータ）と、そのベース音データに適用され得る、１つ以上のパラメータを備える、伝達関数とを備える。そのようなパラメータは、ベース音の減衰（例えば、音量降下）、ベース音のフィルタリング（例えば、低域通過フィルタ）、ベース音の時間遅延（例えば、位相偏移）、または他の好適なパラメータに対応してもよい。いくつかの実施例では、そのようなパラメータは、ＭＩＤＩエンジンまたは人工反響およびエコー効果を適用するための人工反響エンジンのための入力パラメータを含んでもよい。
【0072】
いくつかの実施例では、伝達関数は、聴取者座標と反射オーディオ信号の関係をモデル化することができる。例えば、伝達関数は、実オーディオ信号の振幅を、聴取者座標から反射オーディオ源（画像源）の原点までの距離の減少関数であると定義し得る、すなわち、反射された信号の利得は、聴取者から原点までの距離が増加するにつれて減少する。別の実施例として、伝達関数は、反射オーディオ信号に適用される低域通過フィルタを、聴取者座標（および／または聴取者ベクトルの角度）から反射オーディオ信号の伝搬ベクトルまでの距離の関数であると定義し得る。例えば、反射オーディオ信号から遠く離れた聴取者は、信号により近い聴取者ほど高くない信号の周波数電力を知覚し得る。さらなる実施例として、伝達関数は、時間遅延（例えば、位相偏移）を、聴取者座標と反射オーディオ信号の原点との間の距離に基づいて適用されると定義し得る。いくつかの実施例では、ユーザの頭部と反射オーディオ信号の関係の１つ以上の特性は、選択され（例えば、ユーザの頭部に対する仮想オブジェクト５３０の座標に基づいて）、実オーディオ信号に適用され得る、頭部関連伝達関数（ＨＲＴＦ）内に組み込まれことができる。いくつかの実施例では、図４のＤＳＰオーディオ空間化装置４２２は、ＨＲＴＦを利用して、ユーザの頭部の位置および配向を組み込む、オーディオ信号を提示することができる。
【0073】
実オーディオ信号５２０に適用される（したがって、仮想反射オーディオ信号５４０に影響を及ぼす）、伝達関数のいくつかの特性は、仮想オブジェクト５３０によって決定または影響され得る。例えば、伝達関数は、仮想オブジェクト５３０の、パラメータ（例えば、材料または寸法）に基づく、実オーディオ信号の減衰を備え得る（聴取者により静かに現れる、対応する反射オーディオ信号をもたらす）。伝達関数はまた、仮想オブジェクト５３０のパラメータに基づいて、高周波数成分がロールオフされるにつれて、実オーディオ信号に適用され、よりこもって現れる、反射オーディオ信号をもたらす、低域通過フィルタを備え得る。これは、反射オーディオ信号５４０が、仮想オブジェクト５３０に対する実オーディオ信号５２０の音響反射が聞こえるはずであるユーザの予期を満たすことを可能にすることができる。例えば、ユーザは、あるタイプの仮想オブジェクト（例えば、仮想厚手カーテン）が、仮想ガラス壁等の他のタイプの仮想オブジェクトより大きい程度の減衰または低域通過フィルタリングをもたらすことを予期するであろう。ある場合には、反射オーディオ信号５４０は、仮想オブジェクト５３０とユーザとの間の距離に基づいて、実オーディオ信号５２０に対して遅延されてもよい。これは、ユーザから、反射側オブジェクトまで進行し、再び、ユーザに戻る、オーディオ信号の経過時間によって生じる自然遅延をシミュレートすることができる。ある場合には、仮想オブジェクトは、位相偏移または他の効果を実オーディオ信号に適用してもよい。いくつかの実施例では、仮想オブジェクトは、波長依存回折効果をもたらし得、これは、反射オーディオ信号の周波数スペクトルを改変し得る。これらの回折効果は、例えば、実オーディオ信号と交差する表面の角度およびサイズに基づいてもよい。ある場合には、仮想オブジェクトが実オーディオ信号に及ぼす効果は、仮想オブジェクトの物理的モデル化によって決定されることができ、例えば、仮想オブジェクトが、特定の材料（例えば、煉瓦、アルミニウム、水）に対応する場合、伝達関数は、実世界内のその材料を通したオーディオ信号の伝送の既知の密度および速度を組み込み得る。
【0074】
図６は、反射オーディオ信号を複合現実システム１１２のユーザ等のＭＲＥのユーザに提示するための例示的プロセス６００を示す。例示的プロセス６００は、ウェアラブル頭部デバイス５１０の１つ以上のプロセッサ（例えば、図４のプロセッサ４１６に対応する）および／またはＤＳＰモジュール（例えば、図４のＤＳＰオーディオ空間化装置４２２に対応する）によって、または任意の他の好適な回路によって実装されてもよい。例示的プロセス６００のステップは、任意の好適な順序で実施されてもよいことに留意されたい。本開示は、示される実施例に描写されるステップの特定のシーケンスに限定されない。
【0075】
プロセス６００の段階６１０では、実オーディオ信号（例えば、実オーディオ信号５２０）が、マイクロホン５１２等の１つ以上のマイクロホンによって検出される。実オーディオ信号は、ユーザ５０１によって生成された音（例えば、ユーザ５０１の音声または身体移動によって生成された音）に対応してもよいが、そうである必要はない。いくつかの実施形態では、実オーディオ信号は、ユーザ５０１によって生成されない音に対応してもよい。マイクロホン５１２は、実オーディオ信号を、例えば、Ａ／Ｄコンバータを介して、プロセッサ（例えば、図４のプロセッサ４１６）および／またはメモリ（例えば、図４のメモリ４１８）または実オーディオ信号に対応するデジタルデータを記憶し得る、偏移レジスタ等の他の記憶要素に入力するために使用されてもよい。事前処理（例えば、フィードバックキャンセル、アンチエイリアシング、増幅）が実オーディオ信号に適用され、付加的処理のために、実オーディオ信号を調整してもよい。
【0076】
プロセス６００の段階６２０では、ユーザ５０１またはウェアラブル頭部デバイス５１０の１つ以上の位置および／または配向が、例えば、上記に説明されるように、ウェアラブル頭部デバイス５１０のセンサおよび／またはＩＭＵを使用して、決定されることができる。位置および配向は、リアルタイムで、例えば、ユーザの頭部がＭＲＥ５００内で移動および回転するにつれて、更新されることができる。段階６２０において決定された位置は、ユーザの頭部の位置（例えば、ユーザの頭部の中心）、ユーザの耳の位置、ユーザの口の位置、または頭部搭載型デバイスの位置に対応してもよい。段階６２０において決定された配向は、ユーザが面している方向に対応してもよい。
【0077】
プロセス６００の段階６３０では、実オーディオ信号（段階６１０において検出された）に対応する、原点座標（例えば、座標５２２）および方向ベクトル（例えば、ベクトル５２４）が、決定される。方向ベクトルは、配向ベクトルと、いくつかの実施例では、方向性パターンとを備えることができる。いくつかの実施例では、原点座標は、段階６２０において決定されたユーザの位置と同じであってもよい。実オーディオ信号が、ユーザの音声の音に対応する場合等のいくつかの実施例では、原点座標は、ユーザの口の位置（例えば、ウェアラブル頭部デバイス５１０と関連付けられたセンサを使用して検出される、またはウェアラブル頭部デバイス５１０に対する固定オフセットにあると仮定される）に対応してもよい。実オーディオ信号がユーザの音声に対応する場合等のいくつかの実施例では、方向ベクトルは、段階６２０において決定されたユーザの配向（例えば、ユーザが面している方向）に対応してもよい。これは、いくつかの実施例では、ウェアラブル頭部デバイス５１０に関して上記に説明されるセンサ等の１つ以上の好適なセンサ（例えば、ＩＭＵ、加速度計）を使用して、または外部ソース（例えば、データベース）から決定されることができる。いくつかの実施例では、２つ以上のマイクロホンまたは他のセンサが、実オーディオ信号が進行している方向を識別するために使用されてもよい（例えば、信号が２つのマイクロホンのそれぞれに到達するときの間の時間遅延を測定することによって）。
【0078】
プロセス６００の段階６４０では、ＭＲＥ５００内の１つ以上の仮想オブジェクト（例えば、仮想オブジェクト５３０）が、識別される。そのような識別は、位置、配向、形状、境界、および仮想オブジェクトに関して上記に説明される任意のパラメータ（例えば、材料タイプ）のうちの１つ以上のものを含むことができる。いくつかの実装では、仮想オブジェクトは、実オブジェクト（例えば、手コントローラ）に対してオーバーレイまたは固定されることができ、仮想オブジェクトの計算された音響反射は、実オブジェクトと関連付けられた音響反射より強くてもよい。そのような実施例では、仮想オブジェクトの音響反射は、本明細書に説明されるように、システム１１２によって合成されることができる。いくつかの実施例では、仮想オブジェクト（例えば、仮想モンスター１３２）は、任意の実オブジェクトに対応しなくてもよい。そのような実施例では、仮想オブジェクトは、ＭＲＥ５００内の仮想オブジェクトのリストを通して反復し、ＭＲＥ５００内のユーザ５０１からの閾値距離内にあるリスト内の仮想オブジェクトを識別し、それらの仮想オブジェクトと関連付けられた関連情報（例えば、位置、配向）を識別する等によって、任意の好適な様式において識別されることができる。
【0079】
段階６５０では、段階６１０において検出され、段階６３０において識別された原点座標において生じ、段階６３０において識別された方向に進行する、実オーディオ信号が、反射オーディオ信号（例えば、反射オーディオ信号５４０）をもたらすべきであるかどうかが、決定されることができる。すなわち、実オーディオ信号が、反射オーディオ信号をユーザに提示することが望ましいように、ＭＲＥ５００内の仮想オブジェクトの表面と交差するかどうかが、決定されることができる。（ある場合には、例えば、反射オーディオ信号が、ユーザにとって知覚的に有意ではないであろう場合、または不十分な算出リソースが存在する場合、そのような反射オーディオ信号を提示しないことが望ましくあり得る。）本決定は、ベクトル（例えば、実オーディオ信号の進行方向を説明する、ベクトル）が３次元座標系（例えば、座標系１０８）内の表面と交差するかどうかを決定するための任意の好適な方法を使用することによって、実施されることができる。反射オーディオ信号をユーザに提示することが望ましいであろうことが決定される場合、段階６５０において、任意の好適な方法を使用して、実オーディオ信号が仮想オブジェクトの表面と交差する座標（例えば、座標５２６）および角度（例えば、実オーディオ信号の方向ベクトルと交点座標における表面に対する法線のとの間の角度５２８等の角度）が、さらに決定されることができる。いくつかの実施例では、二次反射が、実オーディオ信号が複数の仮想オブジェクトと交差する場合、生じ得る。例えば、第１の反射オーディオ信号自体が仮想オブジェクトと交差する場合、二次反射オーディオ信号を作成する（プロセス６００を再帰的に使用して決定されることができる）。さらに、いくつかの実施例では、仮想オブジェクトと交差する実オーディオ信号は、２つ以上の反射オーディオ信号をもたらし得る（例えば、異なる音響周波数が異なる強度を伴って異なる角度で反射され得る、波回折の場合）。
【0080】
いくつかの実施例では、段階６５０において、仮想オブジェクト上に入射するオーディオ波が、決定されることができる。決定は、源（例えば、ユーザの発声器）の周波数依存方向性を考慮し、したがって、仮想オブジェクトにおける周波数依存入射波振幅を決定し得る。ユーザの頭部の位置および配向および任意の仮想オブジェクト表面の位置および配向が、入射波を決定する際に使用されることができる。いくつかの実施例では、プログラムされた距離限界が存在してもよく、それを超えると、ユーザ生成音の反射は、生成されないであろう。
【0081】
段階６６０では、段階６５０において、実オーディオ信号が、仮想オブジェクトと交差し、反射オーディオ信号を作成することが決定された場合、その反射オーディオ信号のための原点座標（例えば、座標５４２）および方向ベクトル（例えば、ベクトル５４８）が、決定されることができる。多くの場合、原点は、実オーディオ信号と仮想オブジェクトの交点と同じであろう。さらに、多くの場合、反射オーディオ信号の方向ベクトルは、単に、交点において交差される表面の法線に対して反射された、実オーディオ信号の方向ベクトルとなるであろう。しかしながら、いくつかのオーディオ信号および仮想オブジェクト（例えば、有意な波回折を生じさせる、仮想オブジェクト）に関して、反射オーディオ信号の原点および／または方向は、実オーディオ信号とより複雑な幾何学的関係を持つ場合がある。
【0082】
いくつかの実施例では、段階６６０において、仮想オブジェクトからユーザに戻るように反射された波が、決定されることができる。仮想オブジェクトは、与えられた（例えば、事前にプログラムされた）鏡面音響性質を有し得、その場合、反射された波は、単純なレイトレーシングによって、またはいくつかの実施例では、回折分析によって決定されることができる。いくつかの実施例では、仮想オブジェクトはまた、反射された波の拡散伝播が考慮され得るように、与えられた拡散特性を有してもよい。いくつかの実施例では、回折および拡散の波長依存性または周波数依存性が、反射された波を決定する際に利用されることができる。
【0083】
段階６７０では、実オーディオ信号に適用されると、所望の音波特性を伴う反射オーディオ信号、すなわち、ユーザが聴取者座標５１６において（かつ、いくつかの実施例では、特定の聴取者配向において）聞こえることを予期するであろう、反射オーディオ信号を発生させるであろう、１つ以上の伝達関数が、決定されることができる。上記に説明されるように、これらの伝達関数は、減衰、フィルタリング、時間遅延、位相偏移、または他の好適な効果のうちの１つ以上のものを組み込むことができる。伝達関数は、入力として、段階６１０において検出された実オーディオ信号、段階６２０において決定されたユーザの位置および／または配向を備える、１つ以上のパラメータ、聴取者座標５１６（ユーザの位置と等しくてもよい）、聴取者配向（ユーザの配向と等しくてもよい）、段階６３０において決定された実オーディオ信号の原点および／または方向、段階６６０において決定された反射オーディオ信号の原点および／または方向、ＭＲＥのパラメータ（例えば、音波がＭＲＥ内を伝搬する速度）、および／または段階６５０において識別された仮想オブジェクトのパラメータ（例えば、材料、密度、厚さ、共鳴、または上記に説明されるような任意の他の好適なパラメータ）を受け取ることができる。
【0084】
いくつかの実施例では、伝達関数の大きさは、波長依存であってもよい。特定の周波数に対応する波長が、波散乱オブジェクト（例えば、仮想オブジェクト）のサイズに匹敵する、またはより大きい場合、散乱パターン（例えば、散乱された波の方向性）は、典型的には、回折によってモデル化されることができる。より長い波長は、より広い角度分布の中に回折される。表面テクスチャもまた、オブジェクトによって散乱された音の角度分布に影響を及ぼし得る。表面テクスチャが、音の特定の周波数帯域に対応する波長よりはるかに小さい、スケールを有する場合、表面テクスチャに起因する散乱効果は、無視可能であり得る。しかしながら、波長が表面テクスチャスケールに匹敵する周波数に関して、表面テクスチャの散乱効果は、有意となり得る。種々の表面テクスチャの音響散乱の経験的モデルが、実験データから取得されてもよい。仮想オブジェクトによってユーザ生成音の反射を合成するとき、周波数（波長）依存散乱パターンが、ユーザに戻るユーザ生成音の反射を説明する、周波数特有の伝達関数を決定するために使用されてもよい。そのような散乱パターンは、サイズ、形状、またはテクスチャに関連する、回折効果に基づいてもよい。伝達関数は、仮想オブジェクトに起因し得る、音響波散乱の物理的モデル化に基づいてもよいが、そうである必要はない。いくつかの実施例では、種々の距離および入射角に関する仮想オブジェクトのための伝達関数（例えば、オブジェクトがユーザに対して配置される様式に応じて）が、事前に算出され、リアルタイム拡張現実相互作用の過程において使用するために記憶されてもよい。
【0085】
オブジェクト表面上の波の入射角は、波の伝搬方向と、表面の面法線とによって決定されることができる。ユーザの頭部に十分に近い（例えば、特定のオーディオ周波数に関して、２波長以内の）仮想オブジェクトは、オーディオ波が平面であると仮定されない、近距離ゾーン（または近視野）内にあると言える。近傍ゾーンでは、入射角が適用不可能であり得る場合でも、波伝搬分析は、依然として、例えば、仮想オブジェクトのサイズ、形状、および機械的性質に基づく周波数の関数として、反射された波の特性を取得するために使用され得る。機械的性質は、仮想オブジェクトに与えられた材料（例えば、ガラス、水）と関連付けられ得る。反射された波の特性は、周波数依存伝達関数をユーザによって生成されたオリジナルオーディオに適用することによって決定されることができる。いくつかの実施例では、伝達関数は、厳格な波伝搬分析ではなく、近似に基づいてもよい。
【0086】
段階６７０では、減衰に関して、出力反射オーディオ信号が正しい利得レベルで提示されるように、入力実オーディオ信号を減衰させる、伝達関数が、決定されることができる。典型的には、反射オーディオ信号の利得は、聴取者座標５１６と反射オーディオ信号原点５４２との間の距離が増加するにつれて、減少するであろう（したがって、減衰は、増加するであろう）。減衰は、直接、距離に伴って変動し得る、距離に伴って指数関数的に変動し得る、または距離とのある他の関係を持ち得る。加えて、減衰は、実オーディオ信号と仮想オブジェクトの交差表面の法線との間の角度（例えば、５２８）に依存し得る。すなわち、角度が、小さく、実オーディオ信号の大成分が表面と垂直であることを示す場合、減衰は、角度が大きい場合より低くなり得る。これは、直接表面の中に進行する、オーディオ信号が、概して、主に表面と平行に進行する信号より大きい反響音をもたらす（信号の音響エネルギーが殆ど、表面に伝達されないように）ためである。減衰はまた、仮想オブジェクトのパラメータに依存し得る。例えば、仮想オブジェクトの共鳴特性は、共鳴周波数において、より高いまたはより低い減衰をもたらし得る。減衰はまた、ＭＲＥの周囲媒体（例えば、水、空気）のパラメータに依存し得る。伝達関数によってモデル化され得る、減衰に及ぼされる他の効果も、明白となるであろう。
【0087】
段階６７０では、フィルタリングに関して、出力反射オーディオ信号が適切な周波数スペクトルを保有するように、入力実オーディオ信号の具体的周波数をフィルタリングする、伝達関数が、決定されることができる。典型的には、高周波数は、聴取者座標５１６と反射オーディオ信号原点５４２との間の距離が増加するにつれて、ロールオフする（例えば、低域通過フィルタリングされた状態になる）であろう。本低域通過フィルタリングのパラメータは、距離に伴って変動し得る。さらに、フィルタリングは、聴取者座標５１６に対する反射オーディオ信号の方向に依存し得る。例えば、低域通過フィルタリングは、反射オーディオ信号が聴取者座標から離れるように進行する場合、聴取者座標に向かって進行する場合より強くなり得る。フィルタリングはまた、実オーディオ信号と仮想オブジェクトの交差表面の法線との間の角度（例えば、５２８）に依存し得る。例えば、いくつかの表面に関して、角度が、小さく、実オーディオ信号の大成分が表面と垂直であることを示す場合、フィルタリング（例えば、低域通過フィルタリング）は、角度が大きい場合より強くなり得る。これは、直接表面の中に進行するオーディオ信号が、主に表面と平行に進行する信号の反響音と異なる音波特性の反響音をもたらし得ることを反映する。さらに、実オーディオ信号と交差表面との間の斜角は、オーディオ信号の回折をもたらし得る。フィルタリングはまた、仮想オブジェクトのパラメータに依存し得る。例えば、フィルタ特性は、仮想オブジェクトの材料（例えば、ガラス、金属）によって影響され得る。さらに特定の共鳴特性と関連付けられた、仮想オブジェクトは、実オーディオ信号の共鳴周波数のより多いまたはより少ない減衰をもたらし得る。フィルタリングはまた、ＭＲＥのパラメータに依存し得る。例えば、フィルタリングは、ＭＲＥと関連付けられた材料（例えば、水、空気）に依存し得る。伝達関数によってモデル化され得る、他の周波数依存効果も、明白となるであろう。
【0088】
段階６７０では、時間遅延および位相偏移効果に関して、出力反射オーディオ信号が正しい時間にユーザに提示されるように、入力実オーディオ信号を偏移させる、伝達関数が、決定されることができる。典型的には、反射オーディオ信号の偏移は、聴取者座標５１６と反射オーディオ信号原点５４２との間の距離が増加するにつれて、増加するであろう。これは、音波が、聴取者座標に到達するために、より遠くにかつより長く進行しなければならないことを反映する。偏移は、典型的には、距離に伴って線形に変動するであろうが、いくつかの実施例では、距離とのある他の関係を持ち得る。いくつかの実施例では、時間遅延は、周波数に依存し得る。時間遅延または位相偏移はまた、仮想オブジェクトの表面と関連付けられた材料等の仮想オブジェクトのパラメータに依存し得る。時間遅延および位相偏移はまた、ＭＲＥのパラメータに依存し得る。例えば、時間遅延および位相偏移は、ＭＲＥと関連付けられた材料（例えば、水、空気）に依存し得る。伝達関数によってモデル化され得る、時間遅延および位相偏移に及ぼされる他の効果も、明白となるであろう。同様に、変調効果も、同じように、伝達関数によってモデル化されることができる（例えば、発振の周波数は、上記に説明されるパラメータのうちの１つ以上のものに依存する）。
【0089】
いくつかの実施例では、段階６７０において決定された１つ以上の伝達関数は、ＨＲＴＦを備えてもよい。ＨＲＴＦは、ＭＲＥ５００に対するユーザの頭部の位置および／または配向に従って、実オーディオ信号（段階６１０において検出されるようなもの、または段階６７０において決定された１つ以上の伝達関数によって修正されるようなもののいずれか）を処理してもよい。適切なＨＲＴＦは、段階６７０において、ＤＳＰオーディオ空間化装置（例えば、図４のＤＳＰオーディオ空間化装置４２２）によって選択されてもよい。
【0090】
段階６８０では、段階６７０において識別された１つ以上の伝達関数が、任意の好適な方法を使用して、段階６１０における実オーディオ信号入力に適用され、反射オーディオ信号を出力として生成することができる。例えば、伝達関数が、グローバル減衰を備える場合、その減衰は、実オーディオ信号の振幅を利得係数によって乗算することによって、適用されることができる。伝達関数が、周波数フィルタを備える場合、フィルタは、実オーディオ信号を時間ドメイン内のフィルタで畳み込む、または実オーディオ信号を周波数ドメイン内のフィルタで乗算することによって、実オーディオ信号に適用されることができる。伝達関数が、時間遅延および／または位相偏移を備える場合、時間遅延および／または位相偏移は、偏移レジスタ、巡回バッファ、または他の好適な記憶要素を使用して、適用されることができ、オーディオデータは、所望の時間遅延および／または位相偏移に従って、記憶要素内で偏移される。いくつかの実施例では、伝達関数は、伝達関数の第１の出力が、第２の出力を発生させるであろう、伝達関数への入力として提供されるように、実オーディオ信号に再帰的に適用されてもよい。伝達関数を実オーディオ信号に適用する他の好適な方法も、明白となるであろう。例えば、ＭＩＤＩエンジンおよび／または反響エンジンが、実オーディオ信号および１つ以上のパラメータを入力として供給されてもよく、これは、所望の反射オーディオ信号を出力するであろう。
【0091】
段階６９０では、段階６８０から出力された反射オーディオ信号は、ユーザ５０１に、１つ以上のオーディオ信号として提示されることができる。段階６９０は、任意の好適な混合技法を組み込み、これらのオーディオ信号を生成することができる。いくつかの実施例では、システム１１２は、非オクルード式スピーカを含むことができ、これは、必然的に、反射オーディオ信号出力に加え、環境からの実音も提示するであろう。しかしながら、いくつかの実施例では、システム１１２は、環境からの実音をオクルードする、オクルード式スピーカ（例えば、耳掛けヘッドホン、ノイズキャンセリングヘッドホン、またはシリコーンシールを伴うイヤーバッド）を含むことができる。そのような実施例では、そのような実音は、マイクロホンを介して、入力されることができ、反射オーディオ信号は、例えば、反射オーディオ信号および実オーディオ信号の相対的利得が、ユーザの予期と一致する２つの信号の平衡を発生させるように、実オーディオ信号と混合されることができる。
【0092】
いくつかの実施例では、反射オーディオ信号は、混合された実オーディオ信号の有無にかかわらず、ＭＲＥ５００の他の音と合成される。いくつかの実施例では、反射オーディオ信号の利得または周波数スペクトルは、ＭＲＥ５００のイベントまたは条件に基づいて調節されてもよい。例えば、ＭＲＥ５００は、グローバル反響レベルのプログラム調節をもたらす、スクリプトを実行してもよく、これは、段階６９０において反射オーディオ信号に適用される、利得係数をもたらし得る。ステレオオーディオを伴う実施例では、異なるオーディオ信号が、別個の左および右チャネルのために決定されることができる。モノオーディオを伴う実施例では、オーディオ信号は、両耳に提示される、単一モノ信号の中に混合されることができる。混合されたオーディオ信号は、増幅され、それぞれ、左および右スピーカ２１３４および２１３６に提示される、左および右アナログ信号（例えば、Ｄ／Ａコンバータおよび／または図４のＤＳＰオーディオ空間化装置４２２によって）に変換されることができる。
【0093】
図７は、上記に説明される例示的プロセス６００の側面を実装するための機能コンポーネント（例えば、ウェアラブル頭部デバイス５１０および／またはＭＲＥ５００のコンポーネント）の例示的使用を描写する。図示されるコンポーネントは、図４に関して上記に説明されるコンポーネント（例えば、プロセッサ４１６、ＧＰＵ４２０、ＤＳＰオーディオ空間化装置４２２、ＨＲＴＦメモリ４２５、視聴覚コンテンツメモリ４１８）等の任意の好適なハードウェアコンポーネント内に実装されてもよい。コンポーネントはさらに、ウェアラブル頭部デバイス４００Ａ、ハンドヘルドコントローラ４００Ｂ、および／または補助ユニット４００Ｃの任意の好適な組み合わせ上に実装されてもよい。図７は、上記に説明される仮想オブジェクト５３０等の１つ以上の仮想オブジェクトと、上記に説明されるような座標系１０８とを備え得る、仮想コンテンツ７０２を伴う、例示的ゲームエンジン７００を描写する。ゲームエンジン７００および／または仮想コンテンツ７０２は、上記に説明されるＭＲＥ５００等の複合現実環境の仮想コンポーネントを備えてもよく、上記に説明されるウェアラブル頭部デバイス２１０２等のウェアラブル頭部デバイスを介して、記憶され、実行され、および／またはユーザに提示されてもよい。
【0094】
図７では、マイクロホン７０８（マイクロホン５１２に対応し得る）は、例示的プロセス６００の段階６１０におけるように、実オーディオ信号を検出するように構成されることができる。段階６１０に関して上記に説明されるように、マイクロホンによって入力された信号は、Ａ／Ｄ変換（７１０）およびフィードバックキャンセル（７１２）を介して、事前処理を受けてもよい。フィードバックキャンセルは、入力信号と１つ以上の以前に出力されたオーディオ信号との間の差異を算出することによって実施されてもよい（例えば、スピーカ／マイクロホン伝達関数７１４、および総和器７１６を介して処理されるように）。事前処理されたオーディオ信号は、偏移レジスタ７１８内にデジタル的に記憶されることができ、これは、任意の好適な数のビット（したがって、オーディオサンプル）を記憶するように構成されてもよい。いくつかの実施例では、偏移レジスタの機能は、メモリを使用して実装されてもよい。
【0095】
図７では、ゲームエンジン７００は、複合現実環境の一部として、例示的プロセス６００に関して上記に説明されるように、ステップ６２０、６３０、６４０、６５０、および６６０を実施するように構成されることができる。例えば、ゲームエンジン７００は、ウェアラブル頭部デバイス２１０２のセンサおよび追跡ハードウェアを使用して、ユーザ５０１等のユーザの６自由度追跡７０４（すなわち、３つの平行移動度および３つの回転度を備える）を実施してもよい。これは、上記に説明されるように、ユーザの位置（例えば、原点５２２）および／または配向（ステップ６２０）および実オーディオ信号の原点および方向（例えば、５２４）（ステップ６３０）を決定するために使用される入力を提供し得る。ゲームエンジン７００はさらに、仮想コンテンツ７０２の１つ以上の仮想オブジェクトを識別し（ステップ６４０）、実オーディオ信号が任意のそのような仮想オブジェクトと交差するかどうか（およびその範囲）を決定してもよい（ステップ６５０）。該当する場合、ゲームエンジン７００は、結果として生じる反射オーディオ信号の原点（例えば、５４２）および方向（５４４）を決定してもよい（ステップ６６０）。
【0096】
ゲームエンジン７００は、実オーディオ信号が交差する仮想オブジェクト等の仮想コンテンツ７０２を備える、仮想オブジェクトに対応する、１つ以上のパラメータを出力してもよい。ゲームエンジン７００はまた、仮想コンテンツ７０２の仮想オブジェクトに対するユーザの位置および／または配向を出力してもよい。ゲームエンジン７００はまた、その仮想オブジェクトに対するユーザの距離および／または角度等、仮想オブジェクトに対するユーザに関連する他の空間情報を出力してもよい。
【0097】
ゲームエンジン７００は、単独で、または他のコンポーネントと併せて、プロセス６００のステップ６７０に従って、伝達関数を決定してもよい。例えば、ゲームエンジン７００は、仮想オブジェクト反射利得設定装置７２０と併せて、ステップ６７０に関して上記に説明されるように、実オーディオ信号に適用されるために、減衰のレベルを決定してもよい。加えて、ゲームエンジン７００は、実オーディオ信号に適用されるためのＨＲＴＦ７２２を識別してもよい。ステップ６７０において伝達関数を決定する他の側面も、上記に説明されるように、ゲームエンジン７００によって実施されてもよい。
【0098】
図７は、プロセス６００の段階６８０に関して上記に説明されるように、伝達関数を実オーディオ信号に適用し、反射オーディオ信号を取得するために使用され得る、種々の機能コンポーネントを示す。例えば、伝達関数の時間遅延側面を実装するために、ゲームエンジン７００は、ルックアップテーブル７２４を利用して、時間遅延を実オーディオ信号に適用することができる。ルックアップテーブル７２４内に記憶される時間遅延は、ユーザからマイクロホン７０８までの伝搬遅延を考慮するように、値が減少されることができる。ゲームエンジン７００は、例えば、聴取者座標から仮想オブジェクトまでの距離を入力としてルックアップテーブル７２４に提供することができ、ルックアップテーブルは、次いで、１つ以上の制御信号をマルチプレクサ７２６に出力し得る。マルチプレクサ７２６は、ひいては、制御信号を使用して、偏移レジスタ７１８から、所望の時間遅延量に対応するデータを選択し得る。
【0099】
同様に、伝達関数の減衰側面を実装するために、マルチプレクサ７２６の出力は、可変利得段階７２８に提供され得、減衰のレベルは、上記に説明されるように、仮想オブジェクト反射利得設定装置７２０によって設定される。本減衰は、可変利得段階７２８において、減衰のレベルに対応する単純乗算器をマルチプレクサ７２６の出力に適用することによって提供されてもよい。
【0100】
同様に、伝達関数のフィルタリング側面を実装するために、可変利得段階の出力は、例えば、高速フーリエ変換７３０および対応する逆変換７３３を使用して、周波数帯域別によって分離されてもよい。いくつかの実施例では、時間ドメインフィルタリング（例えば、移動平均、有限インパルス応答（ＦＩＲ）フィルタ、または無限インパルス応答（ＩＩＲ）フィルタ）が、使用されてもよい。適切なレベルの減衰（例えば、仮想オブジェクト反射利得設定装置７２０によって選択されるように）が、次いで、周波数依存利得段階７３２において、例えば、各周波数帯域を決定された減衰のレベルによって乗算することによって、周波数帯域毎に適用されてもよい。
【0101】
例えば、上記に説明されるように、ゲームエンジン７００によって選択される、ＨＲＴＦ７２２は、周波数依存利得段階７３２によって出力された信号に適用されることができ、ＨＲＴＦ７２２と周波数依存利得の組み合わせは、全体的周波数依存利得を決定するために使用されることができる。
【0102】
プロセス６００の段階６９０に関して上記に説明されるように、ＨＲＴＦ７２２によって出力された反射オーディオ信号は、段階７３４において、ユーザへの提示に備えて、混合されることができる。例えば、段階７３４は、ＨＲＴＦ７２２の出力をゲームエンジン７００と関連付けられた他のオーディオ信号（例えば、仮想コンテンツ７０２に対応する）とともに総和することによって、１つ以上の合成オーディオ信号（例えば、単一モノオーディオ信号または左／右ステレオオーディオ信号）を作成することができる。これらのオーディオ信号は、仮想オーディオプロセッサ７３６によって提供されてもよく、これは、ＨＲＴＦ７２２の出力と合成されるように、オーディオ出力を段階７３４に送信し得る。段階７３８では、合成オーディオ信号は、Ｄ／Ａコンバータ７３８によって処理され、段階７４０において増幅され、スピーカ７４２（例えば、スピーカ２１３４および２１３６に対応する）を駆動し、これは、最終的には、結果として生じるオーディオ信号をユーザに提示する。
【0103】
図７に示される例示的機能ブロック図の要素は、任意の好適な順序で配列されることができることに留意されたい。例えば、時間遅延マルチプレクサ７２６、可変利得段階７２８、周波数依存利得段階７３２、高速フーリエ変換７３０、逆高速フーリエ変換７３３、およびＨＲＴＦ７２２は、必ずしも、示される順序ではなく、任意の好適な順序で設置されてもよい。本開示は、実施例に示される機能コンポーネントの任意の特定の順序または配列に限定されない。
【0104】
本開示のいくつかの実施例は、オーディオ信号を複合現実環境のユーザに提示する方法であって、複合現実環境内の第１のオーディオ信号を検出するステップであって、第１のオーディオ信号は、実オーディオ信号である、ステップと、複合現実環境内の第１のオーディオ信号によって交差される仮想オブジェクトを識別するステップと、ユーザの位置に対応する聴取者座標を識別するステップと、仮想オブジェクトおよび聴取者座標を使用して、伝達関数を決定するステップと、伝達関数を第１のオーディオ信号に適用し、第２のオーディオ信号を発生させるステップと、ユーザに、第２のオーディオ信号を提示するステップとを含む、方法を対象とする。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、本方法はさらに、複合現実環境内のユーザの位置を識別するステップを含み、ユーザと関連付けられた聴取者座標は、位置に基づいて識別される。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、第１のオーディオ信号を検出するステップは、ユーザによって生成された音声信号を検出するステップを含む。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、本方法はさらに、複合現実環境内のユーザの配向を識別するステップを含み、伝達関数は、ユーザの配向を使用して決定される。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、第１のオーディオ信号は、ユーザ生成信号である。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、本方法はさらに、第１のオーディオ信号が仮想オブジェクトと交差する角度を決定するステップを含み、伝達関数は、角度を使用して決定される。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、第１のオーディオ信号は、複合現実環境内の方向と関連付けられ、伝達関数は、方向を使用して決定される。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、仮想オブジェクトは、材料と関連付けられ、伝達関数は、材料を使用して決定される。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、伝達関数は、時間、周波数、利得、および位相のうちの１つ以上のものの関数を含む。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、伝達関数は、頭部関連伝達関数を含む。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、本方法はさらに、複合現実環境内の第２のオーディオ信号の原点および方向を決定するステップを含み、伝達関数は、第２のオーディオ信号の原点および方向を使用して決定される。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、第１のオーディオ信号は、ユーザによって装着されるウェアラブル頭部デバイスと関連付けられたマイクロホンを使用して検出される。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、本方法はさらに、ユーザに、ディスプレイを介して、仮想オブジェクトを提示するステップを含む。
【0105】
本開示のいくつかの実施例は、システムであって、複合現実環境をユーザに表示するためのディスプレイであって、それを通して実環境が可視となる、透過性接眼レンズを備える、ディスプレイと、マイクロホンと、スピーカと、複合現実環境内のウェアラブル頭部デバイスの位置および配向のうちの１つ以上のものを検出するように構成される、センサとを含む、ウェアラブル頭部デバイスと、マイクロホンを介して、複合現実環境内の第１のオーディオ信号を検出するステップであって、第１のオーディオ信号は、実オーディオ信号である、ステップと、複合現実環境内の第１のオーディオ信号によって交差される仮想オブジェクトを識別するステップと、ユーザに、ディスプレイを介して、仮想オブジェクトを提示するステップと、センサを介して、複合現実環境内のウェアラブル頭部デバイスの位置を識別するステップと、ウェアラブル頭部デバイスの位置を使用して、聴取者座標を識別するステップと、仮想オブジェクトおよび聴取者座標を使用して、伝達関数を決定するステップと、伝達関数を第１のオーディオ信号に適用し、第２のオーディオ信号を発生させるステップと、ユーザに、スピーカを介して、第２のオーディオ信号を提示するステップとを実施するように構成される、１つ以上のプロセッサとを備える、システムを対象とする。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、マイクロホンを介して、第１のオーディオ信号を検出するステップは、マイクロホンを介して、ユーザによって生成された音声信号を検出するステップを含む。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、１つ以上のプロセッサはさらに、センサを介して、複合現実環境内のウェアラブル頭部デバイスの配向を識別するステップを実施するように構成され、伝達関数は、ウェアラブル頭部デバイスの配向を使用して決定される。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、１つ以上のプロセッサはさらに、複合現実環境内のユーザの位置を識別するステップを実施するように構成され、ユーザと関連付けられた聴取者座標は、位置に基づいて識別される。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、第１のオーディオ信号を検出するステップは、ユーザによって生成された音声信号を検出するステップを含む。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、１つ以上のプロセッサはさらに、複合現実環境内のユーザの配向を識別するステップを実施するように構成され、伝達関数はさらに、ユーザの配向を使用して決定される。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、第１のオーディオ信号は、ユーザ生成信号である。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、１つ以上のプロセッサはさらに、第１のオーディオ信号が仮想オブジェクトと交差する角度を決定するステップを実施するように構成され、伝達関数は、角度を使用して決定される。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、第１のオーディオ信号は、複合現実環境内の方向と関連付けられ、伝達関数は、方向を使用して決定される。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、仮想オブジェクトは、材料と関連付けられ、伝達関数は、材料を使用して決定される。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、伝達関数は、時間、周波数、利得、および位相のうちの１つ以上のものの関数を含む。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、伝達関数は、頭部関連伝達関数を含む。上記に開示される実施例のうちの１つ以上のものに加えて、またはその代替として、いくつかの実施例では、１つ以上のプロセッサはさらに、複合現実環境内の第２のオーディオ信号の原点および方向を決定するステップを実施するように構成され、伝達関数は、第２のオーディオ信号の原点および方向を使用して決定される。
【0106】
開示される実施例は、付随の図面を参照して完全に説明されたが、種々の変更および修正が、当業者に明白となるであろうことに留意されたい。例えば、１つ以上の実装の要素は、組み合わせられ、削除され、修正され、または補完され、さらなる実装を形成してもよい。そのような変更および修正は、添付の請求項によって定義されるような開示される実施例の範囲内に含まれるものとして理解されるべきである。
【図1A】
【図1B】
【図1C】
【図2A】
【図2B】
【図2C】
【図2D】
【図3A】
【図3B】
【図4】
【図5A】
【図5B】
【図6】
【図7】
