(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-09
(45)【発行日】2024-01-17
(54)【発明の名称】近接場オーディオレンダリング
(51)【国際特許分類】
H04S 7/00 20060101AFI20240110BHJP
H04R 1/00 20060101ALI20240110BHJP
【FI】
H04S7/00 300
H04R1/00 318Z
(21)【出願番号】P 2022196982
(22)【出願日】2022-12-09
(62)【分割の表示】P 2021518639の分割
【原出願日】2019-10-04
【審査請求日】2022-12-09
(32)【優先日】2018-10-05
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2019-03-01
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】514108838
【氏名又は名称】マジック リープ, インコーポレイテッド
【氏名又は名称原語表記】Magic Leap,Inc.
【住所又は居所原語表記】7500 W SUNRISE BLVD,PLANTATION,FL 33322 USA
(74)【代理人】
【識別番号】100078282
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】レミ サミュエル オードフレイ
(72)【発明者】
【氏名】ジャン-マルク ジョット
(72)【発明者】
【氏名】サミュエル チャールズ ディッカー
(72)【発明者】
【氏名】マーク ブランドン ハーテンスタイナー
(72)【発明者】
【氏名】ジャスティン ダン マシュー
(72)【発明者】
【氏名】アナスタシア アンドレエヴナ タジク
(72)【発明者】
【氏名】ニコラス ジョン ラマルティナ
【審査官】金子 秀彦
(56)【参考文献】
【文献】特開2008-228155(JP,A)
【文献】特開2017-221554(JP,A)
【文献】米国特許出願公開第2016/0227338(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04S 7/00
H04R 1/00
(57)【特許請求の範囲】
【請求項1】
ウェアラブル頭部デバイスのユーザにオーディオ信号を提示する方法であって、前記方法は、
前記オーディオ信号に対応する源場所を識別することと、
前記オーディオ信号に対応する音響軸を決定することと、
基準点を決定することと、
前記ユーザの個別の左耳および右耳のそれぞれに関して、
前記音響軸と個別の耳との間の角度を決定することと、
仮想スピーカアレイの、前記源場所および前記個別の耳の位置と実質的に同一線上の仮想スピーカ位置を決定することであって、前記仮想スピーカアレイは、複数の仮想スピーカ位置を備え、前記複数の仮想スピーカ位置の各仮想スピーカ位置は、前記基準点と同心の球体の表面上に位置し、前記球体は、第1の半径を有する、ことと、
前記仮想スピーカ位置および前記個別の耳に対応する頭部関連伝達関数(HRTF)を決定することと、
前記決定された角度に基づいて、源放射フィルタを決定することと、
前記オーディオ信号を処理し、前記個別の耳に関する出力オーディオ信号を発生させることであって、前記オーディオ信号を処理することは、前記HRTFおよび前記源放射フィルタを前記オーディオ信号に適用することを含む、ことと、
前記源場所と前記個別の耳との間の距離に基づいて、前記オーディオ信号を減衰させることであって、前記距離は、最小値においてクランピングされる、ことと、
前記ウェアラブル頭部デバイスと関連付けられる1つ以上のスピーカを介して、前記ユーザの前記個別の耳に前記出力オーディオ信号を提示することと
を含み、
前記基準点を決定することは、
前記ウェアラブル頭部デバイスのセンサに基づいて前記ウェアラブル頭部デバイスの位置を決定することと、
前記ウェアラブル頭部デバイスと前記ユーザの頭部との間の空間関係に基づいて前記ウェアラブル頭部デバイスの前記決定された位置に変換を適用することと
を含む、方法。
【請求項2】
前記源場所は、前記第1の半径を下回る距離だけ前記基準点から分離される、請求項1に記載の方法。
【請求項3】
前記源場所は、前記第1の半径を上回る距離だけ前記基準点から分離される、請求項1に記載の方法。
【請求項4】
前記源場所は、前記第1の半径に等しい距離だけ前記基準点から分離される、請求項1に記載の方法。
【請求項5】
両耳間時間差を前記オーディオ信号に適用することをさらに含む、請求項1に記載の方法。
【請求項6】
前記仮想スピーカ位置に対応する前記HRTFを決定することは、複数のHRTFから前記HRTFを選択することを含み、前記複数のHRTFの各HRTFは、聴者と、前記第1の半径に実質的に等しい距離だけ前記聴者から分離されるオーディオ源との間の関係を記述する、請求項1に記載の方法。
【請求項7】
前記ウェアラブル頭部デバイスは、前記1つ以上のスピーカを備える、請求項1に記載の方法。
【請求項8】
システムであって、
ウェアラブル頭部デバイスと、
1つ以上のスピーカと、
1つ以上のプロセッサであって、前記1つ以上のプロセッサは、
オーディオ信号に対応する源場所を識別することと、
前記オーディオ信号に対応する音響軸を決定することと、
基準点を決定することと、
前記ウェアラブル頭部デバイスのユーザの個別の左耳および右耳のそれぞれに関して、
前記音響軸と個別の耳との間の角度を決定することと、
仮想スピーカアレイの、前記源場所および前記個別の耳の位置と実質的に同一線上の仮想スピーカ位置を決定することであって、前記仮想スピーカアレイは、複数の仮想スピーカ位置を備え、前記複数の仮想スピーカ位置の各仮想スピーカ位置は、前記基準点と同心の球体の表面上に位置し、前記球体は、第1の半径を有する、ことと、
前記仮想スピーカ位置および前記個別の耳に対応する頭部関連伝達関数(HRTF)を決定することと、
前記決定された角度に基づいて、源放射フィルタを決定することと、
前記オーディオ信号を処理し、前記個別の耳に関する出力オーディオ信号を発生させることであって、前記オーディオ信号を処理することは、前記HRTFおよび前記源放射フィルタを前記オーディオ信号に適用することを含む、ことと、
前記源場所と前記個別の耳との間の距離に基づいて、前記オーディオ信号を減衰させることであって、前記距離は、最小値においてクランピングされる、ことと、
前記1つ以上のスピーカを介して、前記ユーザの前記個別の耳に前記出力オーディオ信号を提示することと
を含む方法を実施するように構成される、1つ以上のプロセッサと
を備え、
前記基準点を決定することは、
前記ウェアラブル頭部デバイスのセンサに基づいて前記ウェアラブル頭部デバイスの位置を決定することと、
前記ウェアラブル頭部デバイスと前記ユーザの頭部との間の空間関係に基づいて前記ウェアラブル頭部デバイスの前記決定された位置に変換を適用することと
を含む、システム。
【請求項9】
前記源場所は、前記第1の半径を下回る距離だけ前記基準点から分離される、請求項8に記載のシステム。
【請求項10】
前記源場所は、前記第1の半径を上回る距離だけ前記基準点から分離される、請求項8に記載のシステム。
【請求項11】
前記源場所は、前記第1の半径に等しい距離だけ前記基準点から分離される、請求項8に記載のシステム。
【請求項12】
前記方法は、両耳間時間差を前記オーディオ信号に適用することをさらに含む、請求項8に記載のシステム。
【請求項13】
前記仮想スピーカ位置に対応する前記HRTFを決定することは、複数のHRTFから前記HRTFを選択することを含み、前記複数のHRTFの各HRTFは、聴者と、前記第1の半径に実質的に等しい距離だけ前記聴者から分離されるオーディオ源との間の関係を記述する、請求項8に記載のシステム。
【請求項14】
前記ウェアラブル頭部デバイスは、前記1つ以上のスピーカを備える、請求項8に記載のシステム。
【請求項15】
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を記憶しており、前記命令は、1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサに、オーディオ信号をウェアラブル頭部デバイスのユーザに提示する方法を実施させ、前記方法は、
前記オーディオ信号に対応する源場所を識別することと、
前記オーディオ信号に対応する音響軸を決定することと、
基準点を決定することと、
前記ユーザの個別の左耳および右耳のそれぞれに関して、
前記音響軸と個別の耳との間の角度を決定することと、
仮想スピーカアレイの、前記源場所および前記個別の耳の位置と実質的に同一線上の仮想スピーカ位置を決定することであって、前記仮想スピーカアレイは、複数の仮想スピーカ位置を備え、前記複数の仮想スピーカ位置の各仮想スピーカ位置は、前記基準点と同心の球体の表面上に位置し、前記球体は、第1の半径を有する、ことと、
前記仮想スピーカ位置および前記個別の耳に対応する頭部関連伝達関数(HRTF)を決定することと、
前記決定された角度に基づいて、源放射フィルタを決定することと、
前記オーディオ信号を処理し、前記個別の耳に関する出力オーディオ信号を発生させることであって、前記オーディオ信号を処理することは、前記HRTFおよび前記源放射フィルタを前記オーディオ信号に適用することを含む、ことと、
前記源場所と前記個別の耳との間の距離に基づいて、前記オーディオ信号を減衰させることであって、前記距離は、最小値においてクランピングされる、ことと、
前記ウェアラブル頭部デバイスと関連付けられる1つ以上のスピーカを介して、前記ユーザの前記個別の耳に前記出力オーディオ信号を提示することと
を含み、
前記基準点を決定することは、
前記ウェアラブル頭部デバイスのセンサに基づいて前記ウェアラブル頭部デバイスの位置を決定することと、
前記ウェアラブル頭部デバイスと前記ユーザの頭部との間の空間関係に基づいて前記ウェアラブル頭部デバイスの前記決定された位置に変換を適用することと
を含む、非一過性コンピュータ可読媒体。
【請求項16】
前記源場所は、前記第1の半径を下回る距離だけ前記基準点から分離される、請求項15に記載の非一過性コンピュータ可読媒体。
【請求項17】
前記源場所は、前記第1の半径を上回る距離だけ前記基準点から分離される、請求項15に記載の非一過性コンピュータ可読媒体。
【請求項18】
前記源場所は、前記第1の半径に等しい距離だけ前記基準点から分離される、請求項15に記載の非一過性コンピュータ可読媒体。
【請求項19】
前記方法は、両耳間時間差を前記オーディオ信号に適用することをさらに含む、請求項15に記載の非一過性コンピュータ可読媒体。
【請求項20】
前記仮想スピーカ位置に対応する前記HRTFを決定することは、複数のHRTFから前記HRTFを選択することを含み、前記複数のHRTFの各HRTFは、聴者と、前記第1の半径に実質的に等しい距離だけ前記聴者から分離されるオーディオ源との間の関係を記述する、請求項15に記載の非一過性コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本願は、その内容が、参照することによってその全体として本明細書に組み込まれる、2018年10月5日に出願された米国仮出願第62/741,677号および2019年3月1日に出願された米国仮出願第62/812,734号の優先権を主張する。
【0002】
本開示は、概して、オーディオ信号処理のためのシステムおよび方法に関し、特に、複合現実環境内でオーディオ信号を提示するためのシステムおよび方法に関する。
【背景技術】
【0003】
拡張現実および複合現実システムは、ユーザへの両耳オーディオ信号の提示に対する特有の要求を課す。一方では、現実的様式での、例えば、ユーザの予期と一貫する様式でのオーディオ信号の提示が、没入感および信憑性がある拡張または複合現実環境を作成するために重要である。他方では、そのようなオーディオ信号を処理する算出費用は、特に、限定された処理能力およびバッテリ容量を特徴とし得るモバイルシステムに関して、法外であり得る。
【0004】
1つの特定の課題は、近接場オーディオ効果のシミュレーションである。近接場効果は、音源がユーザの頭部に非常に近接する印象を再現するために重要である。近接場効果は、頭部関連伝達関数(HRTF)のデータベースを使用して算出されることができる。しかしながら、典型的なHRTFデータベースは、ユーザの頭部から遠方場の単一の距離(例えば、ユーザの頭部から1メートルを上回る)において測定されるHRTFを含み、近接場効果のために好適な距離におけるHRTFが欠如し得る。また、HRTFデータベースが、ユーザの頭部からの異なる距離(例えば、ユーザの頭部から1メートルを下回る)に関する測定またはシミュレートされたHRTFを含んでいる場合であっても、リアルタイムオーディオレンダリング用途のために多数のHRTFを直接使用することは、算出的に高価であり得る。故に、算出的に効率的な様式で遠方場HRTFを使用して近接場オーディオ効果をモデル化するためのシステムおよび方法が、所望される。
【発明の概要】
【課題を解決するための手段】
【0005】
本開示の実施例は、オーディオ信号をウェアラブル頭部デバイスのユーザに提示するためのシステムおよび方法を説明する。例示的方法によると、オーディオ信号に対応する源場所が、識別される。オーディオ信号に対応する音響軸が、決定される。ユーザの個別の左耳および右耳のそれぞれに関して、音響軸と個別の耳との間の角度が、決定される。ユーザの個別の左耳および右耳のそれぞれに関して、仮想スピーカアレイの仮想スピーカ位置が、決定され、仮想スピーカ位置は、源場所と、そして個別の耳の位置と同一線上にある。仮想スピーカアレイは、複数の仮想スピーカ位置を備え、複数の仮想スピーカ位置の各仮想スピーカ位置は、ユーザの頭部と同心の球体の表面上に位置し、球体は、第1の半径を有する。ユーザの個別の左耳および右耳のそれぞれに関して、仮想スピーカ位置および個別の耳に対応する頭部関連伝達関数(HRTF)が、決定され、源放射フィルタが、決定された角度に基づいて決定され、オーディオ信号は、個別の耳に関する出力オーディオ信号を発生させるために処理され、出力オーディオ信号は、ウェアラブル頭部デバイスと関連付けられる1つ以上のスピーカを介して、ユーザの個別の耳に提示される。オーディオ信号を処理するステップは、HRTFおよび源放射フィルタをオーディオ信号に適用するステップを含む。
本発明は、例えば、以下を提供する。
(項目1)
ウェアラブル頭部デバイスのユーザにオーディオ信号を提示する方法であって、前記方法は、
前記オーディオ信号に対応する源場所を識別することと、
前記オーディオ信号に対応する音響軸を決定することと、
前記ユーザの個別の左耳および右耳のそれぞれに関して、
前記音響軸と個別の耳との間の角度を決定することと、
仮想スピーカアレイの、前記源場所および前記個別の耳の位置と同一線上の仮想スピーカ位置を決定することであって、前記仮想スピーカアレイは、複数の仮想スピーカ位置を備え、前記複数の仮想スピーカ位置の各仮想スピーカ位置は、前記ユーザの頭部と同心の球体の表面上に位置し、前記球体は、第1の半径を有する、ことと、
前記仮想スピーカ位置および前記個別の耳に対応する頭部関連伝達関数(HRTF)を決定することと、
前記決定された角度に基づいて、源放射フィルタを決定することと、
前記オーディオ信号を処理し、前記個別の耳に関する出力オーディオ信号を発生させることであって、前記オーディオ信号を処理することは、前記HRTFおよび前記源放射フィルタを前記オーディオ信号に適用することを含む、ことと、
前記ウェアラブル頭部デバイスと関連付けられる1つ以上のスピーカを介して、前記ユーザの個別の耳に前記出力オーディオ信号を提示することと
を含む、方法。
(項目2)
前記源場所は、前記第1の半径を下回る距離だけ前記ユーザの頭部の中心から分離される、項目1に記載の方法。
(項目3)
前記源場所は、前記第1の半径を上回る距離だけ前記ユーザの頭部の中心から分離される、項目1に記載の方法。
(項目4)
前記源場所は、前記第1の半径に等しい距離だけ前記ユーザの頭部の中心から分離される、項目1に記載の方法。
(項目5)
前記オーディオ信号を処理することはさらに、前記源場所と前記ユーザとの間の距離に基づいて、前記オーディオ信号を減衰させることを含む、項目1に記載の方法。
(項目6)
前記オーディオ信号を処理することはさらに、両耳間時間差を前記オーディオ信号に適用することを含む、項目1に記載の方法。
(項目7)
前記仮想スピーカ位置に対応する前記HRTFを決定することは、複数のHRTFから前記HRTFを選択することを含み、前記複数のHRTFの各HRTFは、聴者と、前記第1の半径に実質的に等しい距離だけ前記聴者から分離されるオーディオ源との間の関係を記述する、項目1に記載の方法。
(項目8)
前記オーディオ信号を処理することはさらに、前記ユーザと前記源場所との間の距離に基づいて、前記オーディオ信号を減衰させることを含む、項目1に記載の方法。
(項目9)
前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径を下回る、項目1に記載の方法。
(項目10)
前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径を上回る、項目1に記載の方法。
(項目11)
前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径に実質的に等しい、項目1に記載の方法。
(項目12)
前記角度は、方位角および高度角のうちの1つ以上のものを含む、項目1に記載の方法。
(項目13)
前記ウェアラブル頭部デバイスは、前記1つ以上のスピーカを備える、項目1に記載の方法。
(項目14)
前記ウェアラブル頭部デバイスは、前記1つ以上のスピーカを備えていない、項目1に記載の方法。
(項目15)
前記1つ以上のスピーカは、前記ユーザによって装着されるヘッドホンと関連付けられる、項目1に記載の方法。
(項目16)
システムであって、
ウェアラブル頭部デバイスと、
1つ以上のスピーカと、
1つ以上のプロセッサであって、前記1つ以上のプロセッサは、
オーディオ信号に対応する源場所を識別することと、
前記オーディオ信号に対応する音響軸を決定することと、
前記ウェアラブル頭部デバイスのユーザの個別の左耳および右耳のそれぞれに関して、
前記音響軸と個別の耳との間の角度を決定することと、
仮想スピーカアレイの、前記源場所および前記個別の耳の位置と同一線上の仮想スピーカ位置を決定することであって、前記仮想スピーカアレイは、複数の仮想スピーカ位置を備え、前記複数の仮想スピーカ位置の各仮想スピーカ位置は、前記ユーザの頭部と同心の球体の表面上に位置し、前記球体は、第1の半径を有する、ことと、
前記仮想スピーカ位置および前記個別の耳に対応する頭部関連伝達関数(HRTF)を決定することと、
前記決定された角度に基づいて、源放射フィルタを決定することと、
前記オーディオ信号を処理し、前記個別の耳に関する出力オーディオ信号を発生させることであって、前記オーディオ信号を処理することは、前記HRTFおよび前記源放射フィルタを前記オーディオ信号に適用することを含む、ことと、
前記1つ以上のスピーカを介して、前記ユーザの個別の耳に前記出力オーディオ信号を提示することと
を含む方法を実施するように構成される、1つ以上のプロセッサと、
を備える、システム。
(項目17)
前記源場所は、前記第1の半径を下回る距離だけ前記ユーザの頭部の中心から分離される、項目16に記載のシステム。
(項目18)
前記源場所は、前記第1の半径を上回る距離だけ前記ユーザの頭部の中心から分離される、項目16に記載のシステム。
(項目19)
前記源場所は、前記第1の半径に等しい距離だけ前記ユーザの頭部の中心から分離される、項目16に記載のシステム。
(項目20)
前記オーディオ信号を処理することはさらに、前記源場所と前記ユーザとの間の距離に基づいて、前記オーディオ信号を減衰させることを含む、項目16に記載のシステム。
(項目21)
前記オーディオ信号を処理することはさらに、両耳間時間差を前記オーディオ信号に適用することを含む、項目16に記載のシステム。
(項目22)
前記仮想スピーカ位置に対応する前記HRTFを決定することは、複数のHRTFから前記HRTFを選択することを含み、前記複数のHRTFの各HRTFは、聴者と、前記第1の半径に実質的に等しい距離だけ前記聴者から分離されるオーディオ源との間の関係を記述する、項目16に記載のシステム。
(項目23)
前記オーディオ信号を処理することはさらに、前記ユーザと前記源場所との間の距離に基づいて、前記オーディオ信号を減衰させることを含む、項目16に記載のシステム。
(項目24)
前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径を下回る、項目16に記載のシステム。
(項目25)
前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径を上回る、項目16に記載のシステム。
(項目26)
前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径に実質的に等しい、項目16に記載のシステム。
(項目27)
前記角度は、方位角および高度角のうちの1つ以上のものを含む、項目16に記載のシステム。
(項目28)
前記ウェアラブル頭部デバイスは、前記1つ以上のスピーカを備える、項目16に記載のシステム。
(項目29)
前記ウェアラブル頭部デバイスは、前記1つ以上のスピーカを備えていない、項目15に記載のシステム。
(項目30)
前記1つ以上のスピーカは、前記ユーザによって装着されるヘッドホンと関連付けられる、項目16に記載のシステム。
(項目31)
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を記憶しており、前記命令は、1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサに、オーディオ信号をウェアラブル頭部デバイスのユーザに提示する方法を実施させ、前記方法は、
前記オーディオ信号に対応する源場所を識別することと、
前記オーディオ信号に対応する音響軸を決定することと、
前記ユーザの個別の左耳および右耳のそれぞれに関して、
前記音響軸と個別の耳との間の角度を決定することと、
仮想スピーカアレイの、前記源場所および前記個別の耳の位置と同一線上の仮想スピーカ位置を決定することであって、前記仮想スピーカアレイは、複数の仮想スピーカ位置を備え、前記複数の仮想スピーカ位置の各仮想スピーカ位置は、前記ユーザの頭部と同心の球体の表面上に位置し、前記球体は、第1の半径を有する、ことと、
前記仮想スピーカ位置および前記個別の耳に対応する頭部関連伝達関数(HRTF)を決定することと、
前記決定された角度に基づいて、源放射フィルタを決定することと、
前記オーディオ信号を処理し、前記個別の耳に関する出力オーディオ信号を発生させることであって、前記オーディオ信号を処理することは、前記HRTFおよび前記源放射フィルタを前記オーディオ信号に適用することを含む、ことと、
前記ウェアラブル頭部デバイスと関連付けられる1つ以上のスピーカを介して、前記ユーザの個別の耳に前記出力オーディオ信号を提示することと
を含む、非一過性コンピュータ可読媒体。
(項目32)
前記源場所は、前記第1の半径を下回る距離だけ前記ユーザの頭部の中心から分離される、項目31に記載の非一過性コンピュータ可読媒体。
(項目33)
前記源場所は、前記第1の半径を上回る距離だけ前記ユーザの頭部の中心から分離される、項目31に記載の非一過性コンピュータ可読媒体。
(項目34)
前記源場所は、前記第1の半径に等しい距離だけ前記ユーザの頭部の中心から分離される、項目31に記載の非一過性コンピュータ可読媒体。
(項目35)
前記オーディオ信号を処理することはさらに、前記源場所と前記ユーザとの間の距離に基づいて、前記オーディオ信号を減衰させることを含む、項目31に記載の非一過性コンピュータ可読媒体。
(項目36)
前記オーディオ信号を処理することはさらに、両耳間時間差を前記オーディオ信号に適用することを含む、項目31に記載の非一過性コンピュータ可読媒体。
(項目37)
前記仮想スピーカ位置に対応する前記HRTFを決定することは、複数のHRTFから前記HRTFを選択することを含み、前記複数のHRTFの各HRTFは、聴者と、前記第1の半径に実質的に等しい距離だけ前記聴者から分離されるオーディオ源との間の関係を記述する、項目31に記載の非一過性コンピュータ可読媒体。
(項目38)
前記オーディオ信号を処理することはさらに、前記ユーザと前記源場所との間の距離に基づいて、前記オーディオ信号を減衰させることを含む、項目31に記載の非一過性コンピュータ可読媒体。
(項目39)
前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径を下回る、項目31に記載の非一過性コンピュータ可読媒体。
(項目40)
前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径を上回る、項目31に記載の非一過性コンピュータ可読媒体。
(項目41)
前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径に実質的に等しい、項目31に記載の非一過性コンピュータ可読媒体。
(項目42)
前記角度は、方位角および高度角のうちの1つ以上のものを含む、項目31に記載の非一過性コンピュータ可読媒体。
(項目43)
前記ウェアラブル頭部デバイスは、前記1つ以上のスピーカを備える、項目31に記載の非一過性コンピュータ可読媒体。
(項目44)
前記ウェアラブル頭部デバイスは、前記1つ以上のスピーカを備えていない、項目31に記載の非一過性コンピュータ可読媒体。
(項目45)
前記1つ以上のスピーカは、前記ユーザによって装着されるヘッドホンと関連付けられる、項目31に記載の非一過性コンピュータ可読媒体。
【図面の簡単な説明】
【0006】
【
図1】
図1は、本開示のいくつかの実施形態による、例示的ウェアラブルシステムを図示する。
【0007】
【
図2】
図2は、本開示のいくつかの実施形態による、例示的ウェアラブルシステムと併せて使用され得る、例示的ハンドヘルドコントローラを図示する。
【0008】
【
図3】
図3は、本開示のいくつかの実施形態による、例示的ウェアラブルシステムと併せて使用され得る、例示的補助ユニットを図示する。
【0009】
【
図4】
図4は、本開示のいくつかの実施形態による、例示的ウェアラブルシステムに関する例示的機能ブロック図を図示する。
【0010】
【
図5】
図5は、本開示のいくつかの実施形態による、両耳レンダリングシステムを図示する。
【0011】
【
図6A】
図6A-6Cは、本開示のいくつかの実施形態による、仮想音源からのオーディオ効果をモデル化する例示的幾何学形状を図示する。
【
図6B】
図6A-6Cは、本開示のいくつかの実施形態による、仮想音源からのオーディオ効果をモデル化する例示的幾何学形状を図示する。
【
図6C】
図6A-6Cは、本開示のいくつかの実施形態による、仮想音源からのオーディオ効果をモデル化する例示的幾何学形状を図示する。
【0012】
【
図7】
図7は、本開示のいくつかの実施形態による、点音源によって放出される音が進行する距離を算出する実施例を図示する。
【0013】
【
図8A】
図8A-8Cは、本開示のいくつかの実施形態による、聴者の耳に対する音源の実施例を図示する。
【
図8B】
図8A-8Cは、本開示のいくつかの実施形態による、聴者の耳に対する音源の実施例を図示する。
【
図8C】
図8A-8Cは、本開示のいくつかの実施形態による、聴者の耳に対する音源の実施例を図示する。
【0014】
【
図9A】
図9A-9Bは、本開示のいくつかの実施形態による、例示的頭部関連伝達関数(HRTF)の大きさ応答を図示する。
【
図9B】
図9A-9Bは、本開示のいくつかの実施形態による、例示的頭部関連伝達関数(HRTF)の大きさ応答を図示する。
【0015】
【
図10】
図10は、本開示のいくつかの実施形態による、音源の音響軸に対するユーザの源放射角を図示する。
【0016】
【
図11】
図11は、本開示のいくつかの実施形態による、ユーザの頭部の内側にパンニングされる音源の実施例を図示する。
【0017】
【
図12】
図12は、本開示のいくつかの実施形態による、遠方場において音源をレンダリングするために実装され得る、例示的信号フローを図示する。
【0018】
【
図13】
図13は、本開示のいくつかの実施形態による、近接場において音源をレンダリングするために実装され得る、例示的信号フローを図示する。
【0019】
【
図14】
図14は、本開示のいくつかの実施形態による、近接場において音源をレンダリングするために実装され得る、例示的信号フローを図示する。
【0020】
【
図15A】
図15A-15Dは、本開示のいくつかの実施形態による、ユーザに対応する頭部座標系およびデバイスに対応するデバイス座標系の実施例を図示する。
【
図15B】
図15A-15Dは、本開示のいくつかの実施形態による、ユーザに対応する頭部座標系およびデバイスに対応するデバイス座標系の実施例を図示する。
【
図15C】
図15A-15Dは、本開示のいくつかの実施形態による、ユーザに対応する頭部座標系およびデバイスに対応するデバイス座標系の実施例を図示する。
【
図15D】
図15A-15Dは、本開示のいくつかの実施形態による、ユーザに対応する頭部座標系およびデバイスに対応するデバイス座標系の実施例を図示する。
【発明を実施するための形態】
【0021】
実施例の以下の説明では、本明細書の一部を形成し、例証として、実践され得る具体的実施例が示される、付随の図面が、参照される。他の実施例も、使用され得、構造変更が、開示される実施例の範囲から逸脱することなく、行われ得ることを理解されたい。
【0022】
例示的ウェアラブルシステム
【0023】
図1は、ユーザの頭部上に装着されるように構成される、例示的ウェアラブル頭部デバイス100を図示する。ウェアラブル頭部デバイス100は、頭部デバイス(例えば、ウェアラブル頭部デバイス100)、ハンドヘルドコントローラ(例えば、下記に説明されるハンドヘルドコントローラ200)、および/または補助ユニット(例えば、下記に説明される補助ユニット300)等の1つ以上のコンポーネントを含む、より広範なウェアラブルシステムの一部であってもよい。いくつかの実施例では、ウェアラブル頭部デバイス100は、仮想現実、拡張現実、または複合現実システムまたはアプリケーションのために使用されることができる。ウェアラブル頭部デバイス100は、ディスプレイ110Aおよび110B(左および右透過性ディスプレイと、直交瞳拡大(OPE)格子セット112A/112Bおよび射出瞳拡大(EPE)格子セット114A/114B等、ディスプレイからユーザの眼に光を結合するための関連付けられるコンポーネントとを含み得る)等の1つ以上のディスプレイと、スピーカ120Aおよび120B(それぞれ、つるアーム122Aおよび122B上に搭載され、ユーザの左耳および右耳に隣接して位置付けられ得る)等の左および右音響構造と、赤外線センサ、加速度計、GPSユニット、慣性測定ユニット(IMU、例えば、IMU126)、音響センサ(例えば、マイクロホン150)等の1つ以上のセンサと、直交コイル電磁受信機(例えば、左つるアーム122Aに搭載されるように示される受信機127)と、ユーザから離れるように配向される、左および右カメラ(例えば、深度(飛行時間)カメラ130Aおよび130B)と、ユーザに向かって配向される、左および右眼カメラ(例えば、ユーザの眼移動を検出するため)(例えば、眼カメラ128Aおよび128B)とを含むことができる。しかしながら、ウェアラブル頭部デバイス100は、本開示の範囲から逸脱することなく、任意の好適なディスプレイ技術およびセンサまたは他のコンポーネントの任意の好適な数、タイプ、または組み合わせを組み込むことができる。いくつかの実施例では、ウェアラブル頭部デバイス100は、ユーザの音声によって発生されるオーディオ信号を検出するように構成される、1つ以上のマイクロホン150を組み込んでもよく、そのようなマイクロホンは、ユーザの口に隣接して位置付けられてもよい。いくつかの実施例では、ウェアラブル頭部デバイス100は、他のウェアラブルシステムを含む、他のデバイスおよびシステムと通信するために、ネットワーキング特徴(例えば、Wi-Fi能力)を組み込んでもよい。ウェアラブル頭部デバイス100はさらに、バッテリ、プロセッサ、メモリ、記憶ユニット、または種々の入力デバイス(例えば、ボタン、タッチパッド)等のコンポーネントを含んでもよい、または1つ以上のそのようなコンポーネントを備えるハンドヘルドコント
ローラ(例えば、ハンドヘルドコントローラ200)または補助ユニット(例えば、補助ユニット300)に結合されてもよい。いくつかの実施例では、センサは、ユーザの環境に対する頭部搭載型ユニットの座標のセットを出力するように構成されてもよく、入力をプロセッサに提供し、同時位置特定およびマッピング(SLAM)プロシージャおよび/またはビジュアルオドメトリアルゴリズムを実施してもよい。いくつかの実施例では、ウェアラブル頭部デバイス100は、下記にさらに説明されるように、ハンドヘルドコントローラ200および/または補助ユニット300に結合されてもよい。
【0024】
図2は、例示的ウェアラブルシステムの例示的モバイルハンドヘルドコントローラコンポーネント200を図示する。いくつかの実施例では、ハンドヘルドコントローラ200は、ウェアラブル頭部デバイス100および/または下記に説明される補助ユニット300と有線または無線通信してもよい。いくつかの実施例では、ハンドヘルドコントローラ200は、ユーザによって保持されるべき取っ手部分220と、上面210に沿って配置される1つ以上のボタン240とを含む。いくつかの実施例では、ハンドヘルドコントローラ200は、光学追跡標的としての使用のために構成されてもよく、例えば、ウェアラブル頭部デバイス100のセンサ(例えば、カメラまたは他の光学センサ)は、ハンドヘルドコントローラ200の位置および/または配向を検出するように構成されることができ、これは、転じて、ハンドヘルドコントローラ200を保持するユーザの手の位置および/または配向を示し得る。いくつかの実施例では、ハンドヘルドコントローラ200は、プロセッサ、メモリ、記憶ユニット、ディスプレイ、または上記に説明されるもの等の1つ以上の入力デバイスを含んでもよい。いくつかの実施例では、ハンドヘルドコントローラ200は、1つ以上のセンサ(例えば、ウェアラブル頭部デバイス100に関して上記に説明されるセンサまたは追跡コンポーネントのうちのいずれか)を含む。いくつかの実施例では、センサは、ウェアラブル頭部デバイス100に対する、またはウェアラブルシステムの別のコンポーネントに対するハンドヘルドコントローラ200の位置または配向を検出することができる。いくつかの実施例では、センサは、ハンドヘルドコントローラ200の取っ手部分220内に位置付けられてもよい、および/またはハンドヘルドコントローラに機械的に結合されてもよい。ハンドヘルドコントローラ200は、例えば、ボタン240の押下状態、またはハンドヘルドコントローラ200の位置、配向、および/または運動(例えば、IMUを介して)に対応する、1つ以上の出力信号を提供するように構成されることができる。そのような出力信号は、ウェアラブル頭部デバイス100のプロセッサへの、補助ユニット300への、またはウェアラブルシステムの別のコンポーネントへの入力として使用されてもよい。いくつかの実施例では、ハンドヘルドコントローラ200は、音(例えば、ユーザの発話、環境音)を検出し、ある場合には、検出された音に対応する信号をプロセッサ(例えば、ウェアラブル頭部デバイス100のプロセッサ)に提供するために、1つ以上のマイクロホンを含むことができる。
【0025】
図3は、例示的ウェアラブルシステムの例示的補助ユニット300を図示する。いくつかの実施例では、補助ユニット300は、ウェアラブル頭部デバイス100および/またはハンドヘルドコントローラ200と有線または無線通信してもよい。補助ユニット300は、ウェアラブル頭部デバイス100および/またはハンドヘルドコントローラ200(ディスプレイ、センサ、音響構造、プロセッサ、マイクロホン、および/またはウェアラブル頭部デバイス100またはハンドヘルドコントローラ200の他のコンポーネントを含む)等のウェアラブルシステムの1つ以上のコンポーネントを動作させるためのエネルギーを提供するために、バッテリを含むことができる。いくつかの実施例では、補助ユニット300は、プロセッサ、メモリ、記憶ユニット、ディスプレイ、1つ以上の入力デバイス、および/または上記に説明されるもの等の1つ以上のセンサを含んでもよい。いくつかの実施例では、補助ユニット300は、補助ユニットをユーザ(例えば、ユーザによって装着されるベルト)に取り付けるためのクリップ310を含む。ウェアラブルシステムの1つ以上のコンポーネントを格納するために補助ユニット300を使用する利点は
、そのように行うことが、大きいまたは重いコンポーネントが、(例えば、ウェアラブル頭部デバイス100内に格納される場合)ユーザの頭部に搭載される、または(例えば、ハンドヘルドコントローラ200内に格納される場合)ユーザの手によって担持されるのではなく、大きく重い物体を支持するために比較的に良好に適しているユーザの腰部、胸部、または背部の上に担持されることを可能にし得ることである。これは、バッテリ等の比較的に重いまたは嵩張るコンポーネントに関して特に有利であり得る。
【0026】
図4は、上記に説明される、例示的ウェアラブル頭部デバイス100と、ハンドヘルドコントローラ200と、補助ユニット300とを含み得る等、例示的ウェアラブルシステム400に対応し得る、例示的機能ブロック図を示す。いくつかの実施例では、ウェアラブルシステム400は、仮想現実、拡張現実、または複合現実用途のために使用され得る。
図4に示されるように、ウェアラブルシステム400は、ここでは「トーテム」と称される(および上記に説明されるハンドヘルドコントローラ200に対応し得る)例示的ハンドヘルドコントローラ400Bを含むことができ、ハンドヘルドコントローラ400Bは、トーテム/ヘッドギヤ6自由度(6DOF)トーテムサブシステム404Aを含むことができる。ウェアラブルシステム400はまた、(上記に説明されるウェアラブル頭部デバイス100に対応し得る)例示的ヘッドギヤデバイス400Aを含むことができ、ヘッドギヤデバイス400Aは、トーテム/ヘッドギヤ6DOFヘッドギヤサブシステム404Bを含む。実施例では、6DOFトーテムサブシステム404Aおよび6DOFヘッドギヤサブシステム404Bは、協働し、ヘッドギヤデバイス400Aに対するハンドヘルドコントローラ400Bの6つの座標(例えば、3つの平行移動方向におけるオフセットおよび3つの軸に沿った回転)を決定する。6自由度は、ヘッドギヤデバイス400Aの座標系に対して表されてもよい。3つの平行移動オフセットは、そのような座標系内におけるX、Y、およびZオフセット、平行移動行列、またはある他の表現として表されてもよい。回転自由度は、ヨー、ピッチ、およびロール回転のシーケンス、ベクトル、回転行列、四元数、またはある他の表現として表されてもよい。いくつかの実施例では、ヘッドギヤデバイス400A内に含まれる1つ以上の深度カメラ444(および/または1つ以上の非深度カメラ)および/または1つ以上の光学標的(例えば、上記に説明されるようなハンドヘルドコントローラ200のボタン240またはハンドヘルドコントローラ内に含まれる専用光学標的)は、6DOF追跡のために使用されることができる。いくつかの実施例では、ハンドヘルドコントローラ400Bは、上記に説明されるようなカメラを含むことができ、ヘッドギヤデバイス400Aは、カメラと併せた光学追跡のための光学標的を含むことができる。いくつかの実施例では、ヘッドギヤデバイス400Aおよびハンドヘルドコントローラ400Bは、それぞれ、3つの直交して配向されるソレノイドのセットを含み、これは、3つの区別可能な信号を無線で送信および受信するために使用される。受信するために使用される、コイルのそれぞれの中で受信される3つの区別可能な信号の相対的大きさを測定することによって、ヘッドギヤデバイス400Aに対するハンドヘルドコントローラ400Bの6DOFが、決定されてもよい。いくつかの実施例では、6DOFトーテムサブシステム404Aは、ハンドヘルドコントローラ400Bの高速移動に関する改良された正確度および/またはよりタイムリーな情報を提供するために有用である、慣性測定ユニット(IMU)を含むことができる。
【0027】
拡張現実または複合現実用途を伴ういくつかの実施例では、座標をローカル座標空間(例えば、ヘッドギヤデバイス400Aに対して固定される座標空間)から慣性座標空間に、または環境座標空間に変換することが、望ましくあり得る。例えば、そのような変換は、ヘッドギヤデバイス400Aのディスプレイが、ディスプレイ上の固定位置および配向において(例えば、ヘッドギヤデバイス400Aのディスプレイにおける同一の位置において)ではなく、仮想オブジェクトを実環境に対する予期される位置および配向において提示する(例えば、ヘッドギヤデバイス400Aの位置および配向にかかわらず、前方に向いた実椅子に着座している仮想人物)ために必要であり得る。これは、仮想オブジェク
トが、実環境内に存在する(かつ、例えば、ヘッドギヤデバイス400Aが、偏移および回転するにつれて、実環境内に不自然に位置付けられて現れない)という錯覚を維持することができる。いくつかの実施例では、座標空間の間の補償変換が、慣性または環境座標系に対するヘッドギヤデバイス400Aの変換を決定するために、(例えば、同時位置特定およびマッピング(SLAM)および/またはビジュアルオドメトリプロシージャを使用して)深度カメラ444からの画像を処理することによって決定されることができる。
図4に示される実施例では、深度カメラ444は、SLAM/ビジュアルオドメトリブロック406に結合されることができ、画像をブロック406に提供することができる。SLAM/ビジュアルオドメトリブロック406実装は、本画像を処理し、次いで、頭部座標空間と実座標空間との間の変換を識別するために使用され得る、ユーザの頭部の位置および配向を決定するように構成される、プロセッサを含むことができる。同様に、いくつかの実施例では、ユーザの頭部姿勢および場所に関する情報の付加的源が、ヘッドギヤデバイス400AのIMU409から取得される。IMU409からの情報は、SLAM/ビジュアルオドメトリブロック406からの情報と統合され、ユーザの頭部姿勢および位置の高速調節に関する改良された正確度および/またはよりタイムリーな情報を提供することができる。
【0028】
いくつかの実施例では、深度カメラ444は、ヘッドギヤデバイス400Aのプロセッサ内に実装され得る、手のジェスチャトラッカ411に、3D画像を供給することができる。手のジェスチャトラッカ411は、例えば、深度カメラ444から受信された3D画像を手のジェスチャを表す記憶されたパターンに合致させることによって、ユーザの手のジェスチャを識別することができる。ユーザの手のジェスチャを識別する他の好適な技法も、明白となるであろう。
【0029】
いくつかの実施例では、1つ以上のプロセッサ416は、ヘッドギヤサブシステム404B、IMU409、SLAM/ビジュアルオドメトリブロック406、深度カメラ444、マイクロホン450、および/または手のジェスチャトラッカ411からデータを受信するように構成されてもよい。プロセッサ416はまた、制御信号を6DOFトーテムシステム404Aに送信し、それから受信することができる。プロセッサ416は、ハンドヘルドコントローラ400Bがテザリングされない実施例等では、無線で、6DOFトーテムシステム404Aに結合されてもよい。プロセッサ416はさらに、視聴覚コンテンツメモリ418、グラフィカル処理ユニット(GPU)420、および/またはデジタル信号プロセッサ(DSP)オーディオ空間化装置422等の付加的コンポーネントと通信してもよい。DSPオーディオ空間化装置422は、頭部関連伝達関数(HRTF)メモリ425に結合されてもよい。GPU420は、画像毎に変調された光の左源424に結合される、左チャネル出力と、画像毎に変調された光の右源426に結合される、右チャネル出力とを含むことができる。GPU420は、立体視画像データを画像毎に変調された光の源424、426に出力することができる。DSPオーディオ空間化装置422は、オーディオを左スピーカ412および/または右スピーカ414に出力することができる。DSPオーディオ空間化装置422は、プロセッサ419から、ユーザから仮想音源(例えば、ハンドヘルドコントローラ400Bを介して、ユーザによって移動され得る)への方向ベクトルを示す入力を受信することができる。方向ベクトルに基づいて、DSPオーディオ空間化装置422は、対応するHRTFを決定することができる(例えば、HRTFにアクセスすることによって、または複数のHRTFを補間することによって)。DSPオーディオ空間化装置422は、次いで、決定されたHRTFを仮想オブジェクトによって発生された仮想音に対応するオーディオ信号等のオーディオ信号に適用することができる。これは、複合現実環境内の仮想音に対するユーザの相対的位置および配向を組み込むことによって、すなわち、その仮想音が、実環境内の実音である場合に聞こえるであろうもののユーザの予期に合致する仮想音を提示することによって、仮想音の信憑性および現実性を向上させることができる。
【0030】
図4に示されるもの等のいくつかの実施例では、プロセッサ416、GPU420、DSPオーディオ空間化装置422、HRTFメモリ425、およびオーディオ/視覚的コンテンツメモリ418のうちの1つ以上のものは、補助ユニット400C(上記に説明される補助ユニット300に対応し得る)内に含まれてもよい。補助ユニット400Cは、バッテリ427を含み、そのコンポーネントを給電する、および/または電力をヘッドギヤデバイス400Aおよび/またはハンドヘルドコントローラ400Bに供給してもよい。そのようなコンポーネントを、ユーザの腰部に搭載され得る、補助ユニット内に含むことは、ヘッドギヤデバイス400Aのサイズおよび重量を限定することができ、これは、ひいては、ユーザの頭部および頸部の疲労を低減させることができる。
【0031】
図4は、例示的ウェアラブルシステム400の種々のコンポーネントに対応する要素を提示するが、これらのコンポーネントの種々の他の好適な配列も、当業者に明白となるであろう。例えば、補助ユニット400Cと関連付けられるものとして
図4に提示される要素は、代わりに、ヘッドギヤデバイス400Aまたはハンドヘルドコントローラ400Bと関連付けられ得る。さらに、いくつかのウェアラブルシステムは、ハンドヘルドコントローラ400Bまたは補助ユニット400Cを完全に無くしてもよい。そのような変更および修正は、開示される実施例の範囲内に含まれるものとして理解されるものである。
【0032】
オーディオレンダリング
【0033】
下記に説明されるシステムおよび方法は、上記に説明されるもの等の拡張現実または複合現実システムにおいて実装されることができる。例えば、拡張現実システムの1つ以上のプロセッサ(例えば、CPU、DSP)が、オーディオ信号を処理するために、または下記に説明されるコンピュータ実装方法のステップを実装するために使用されることができ、拡張現実システムのセンサ(例えば、カメラ、音響センサ、IMU、LIDAR、GPS)が、本システムのユーザまたはユーザの環境内の要素の位置および/または配向を決定するために使用されることができ、拡張現実システムのスピーカが、オーディオ信号をユーザに提示するために使用されることができる。いくつかの実施形態では、外部オーディオ再生デバイス(例えば、ヘッドホン、イヤホン)が、本システムのスピーカの代わりに、オーディオ信号をユーザの耳に送達するために使用され得る。
【0034】
上記に説明されるもの等の拡張現実または複合現実システムでは、1つ以上のプロセッサ(例えば、DSPオーディオ空間化装置422)は、1つ以上のスピーカ(例えば、上記に説明される左および右スピーカ412/414)を介したウェアラブル頭部デバイスのユーザへの提示のために、1つ以上のオーディオ信号を処理することができる。オーディオ信号の処理は、知覚されるオーディオ信号の真正性、例えば、複合現実環境内のユーザに提示されるオーディオ信号が、オーディオ信号が実環境内で聞こえるであろう方法のユーザの予期に合致する程度と、オーディオ信号を処理する際に伴う算出オーバーヘッドとの間のトレードオフを要求する。
【0035】
近接場オーディオ効果をモデル化することは、ユーザのオーディオ体験の真正性を向上させることができるが、算出的に法外であり得る。いくつかの実施形態では、統合された解決策は、算出的に効率的なレンダリングアプローチを耳毎の1つ以上の近接場効果と組み合わせてもよい。耳毎の1つ以上の近接場効果は、例えば、耳毎の音入射のシミュレーションにおける視差角、物体位置および人体計測データに基づく両耳間時間差(ITD)、距離に起因する近接場レベル変化、および/またはユーザの頭部への近接に起因する大きさ応答変化および/または視差角に起因する源放射変動を含み得る。いくつかの実施形態では、統合された解決策は、算出費用を過剰に増加させないように、算出的に効率的であり得る。
【0036】
遠方場では、音源が、ユーザにより近接して、またはユーザからより遠くに移動するにつれて、ユーザの耳における変化は、耳毎に同一であり得、音源に関する信号の減衰であり得る。近接場では、音源が、ユーザにより近接して、またはユーザからより遠くに移動するにつれて、ユーザの耳における変化は、耳毎に異なり得、音源に関する信号の単なる減衰以上のものであり得る。いくつかの実施形態では、近接場および遠方場境界は、条件が変化する場所であり得る。
【0037】
いくつかの実施形態では、仮想スピーカアレイ(VSA)は、ユーザの頭部の中心に心合される球体上の位置の離散セットであってもよい。球体上の位置毎に、HRTFの対(例えば、左右対)が、提供される。いくつかの実施形態では、近接場は、VSAの内側の領域であってもよく、遠方場は、VSAの外側の領域であってもよい。VSAにおいて、近接場アプローチまたは遠方場アプローチのいずれかが、使用されてもよい。
【0038】
ユーザの頭部の中心からVSAまでの距離は、HRTFが取得された距離であってもよい。例えば、HRTFフィルタは、測定される、またはシミュレーションから合成されてもよい。VSAからユーザの頭部の中心までの測定/シミュレートされた距離は、「測定距離」(MD)と称され得る。仮想音源からユーザの頭部の中心までの距離は、「源距離」(SD)と称され得る。
【0039】
図5は、いくつかの実施形態による、両耳レンダリングシステム500を図示する。
図5の例示的システムでは、モノ入力オーディオ信号501(仮想音源を表し得る)が、エンコーダ503の両耳間時間遅延(ITD)モジュール502によって、左信号504および右信号506に分割される。いくつかの実施例では、左信号504および右信号506は、ITDモジュール502によって決定されるITD(例えば、ミリ秒単位)だけ異なり得る。実施例では、左信号504は、左耳VSAモジュール510に入力され、右信号506は、右耳VSAモジュール520に入力される。
【0040】
実施例では、左耳VSAモジュール510は、HRTFフィルタバンク540内の左耳HRTFフィルタ550のセット(L1, … LN)にそれぞれフィードする、N個のチャネルのセットにわたって左信号504をパンニングすることができる。左耳HRTFフィルタ550は、実質的に遅延がないものであってもよい。左耳VSAモジュールのパンニング利得512(gL1, … gLN)は、左入射角(angL)の関数であってもよい。左入射角は、ユーザの頭部の中心から正面方向に対する音の入射方向を示し得る。図では、ユーザの頭部に対して上から下への視点から示されるが、左入射角は、3次元における角度を含むことができ、すなわち、左入射角は、方位角および/または高度角を含むことができる。
【0041】
同様に、実施例では、右耳VSAモジュール520は、HRTFフィルタバンク540内の右耳HRTFフィルタ560のセット(R1, … RM)にそれぞれフィードする、M個のチャネルのセットにわたって右信号506をパンニングすることができる。右耳HRTFフィルタ550は、実質的に遅延がないものであってもよい。(1つのみのHRTFフィルタバンクが、図に示されるが、分散システムを横断して記憶されるものを含む、複数のHRTFフィルタバンクが、想定される。)右耳VSAモジュールのパンニング利得522(gR1, … gRM)は、右入射角(angR)の関数であってもよい。右入射角は、ユーザの頭部の中心から正面方向に対する音の入射方向を示し得る。上記のように、右入射角は、3次元における角度を含むことができ、すなわち、右入射角は、方位角および/または高度角を含むことができる。
【0042】
示されるもの等のいくつかの実施形態では、左耳VSAモジュール510は、N個のチ
ャネルにわたって左信号504をパンニングしてもよく、右耳VSAモジュールは、M個のチャネルにわたって右信号をパンニングしてもよい。いくつかの実施形態では、NおよびMは、等しくてもよい。いくつかの実施形態では、NおよびMは、異なってもよい。これらの実施形態では、上記に説明されるように、左耳VSAモジュールは、左耳HRTFフィルタのセット(L1, … LN)にフィードしてもよく、右耳VSAモジュールは、右耳HRTFフィルタのセット(R1, … RM)にフィードしてもよい。さらに、これらの実施形態では、上記に説明されるように、左耳VSAモジュールのパンニング利得(gL1, … gLN)は、左耳入射角(angL)の関数であってもよく、右耳VSAモジュールのパンニング利得(gR1, … gRM)は、右耳入射角(angR)の関数であってもよい。
【0043】
例示的システムは、単一のエンコーダ503および対応する入力信号501を図示する。入力信号は、仮想音源に対応し得る。いくつかの実施形態では、本システムは、付加的エンコーダおよび対応する入力信号を含んでもよい。これらの実施形態では、入力信号は、仮想音源に対応し得る。すなわち、各入力信号は、仮想音源に対応し得る。
【0044】
いくつかの実施形態では、いくつかの仮想音源を同時にレンダリングするとき、本システムは、仮想音源毎にエンコーダを含んでもよい。これらの実施形態では、混合モジュール(例えば、
図5の530)が、エンコーダのそれぞれから出力を受信し、受信された信号を混合し、混合された信号をHRTFフィルタバンクの左および右HRTFフィルタに出力する。
【0045】
図6Aは、いくつかの実施形態による、仮想音源からのオーディオ効果をモデル化するための幾何学形状を図示する。仮想音源610からユーザの頭部の中心620までの距離630(例えば、「源距離」(SD))は、VSA650からユーザの頭部の中心までの距離640(例えば、「測定距離」(MD))に等しい。
図6Aに図示されるように、左入射角652(ang
L)および右入射角654(ang
R)は、等しい。いくつかの実施形態では、ユーザの頭部の中心620から仮想音源610までの角度が、パンニング利得(例えば、g
L1, …, g
LN, g
R1, …, g
RN)を算出するために直接使用されてもよい。示される実施例では、仮想音源位置610は、左耳パンニングおよび右耳パンニングを算出するための位置(612/614)として使用される。
【0046】
図6Bは、いくつかの実施形態による、仮想音源からの近接場オーディオ効果をモデル化するための幾何学形状を図示する。示されるように、仮想音源610から基準点(例えば、「源距離」(SD))までの距離630は、VSA650からユーザの頭部の中心620までの距離640(例えば、「測定距離」(MD))を下回る。いくつかの実施形態では、基準点は、ユーザの頭部の中心(620)であってもよい。いくつかの実施形態では、基準点は、ユーザの2つの耳の間の中間点であってもよい。
図6Bに図示されるように、左入射角652(ang
L)は、右入射角654(ang
R)を上回る。各耳に対する角度(例えば、左入射角652(ang
L)および右入射角654(ang
R))は、MD640におけるものと異なる。
【0047】
いくつかの実施形態では、左耳信号パンニングを算出するために使用される左入射角652(angL)は、ユーザの左耳から仮想音源610の場所を通して通る線およびVSA650を含有する球体の交差部を算出することによって導出されてもよい。パンニング角度組み合わせ(方位角および高度角)が、ユーザの頭部の中心620から交点までの球座標角度として3D環境に関して算出されてもよい。
【0048】
同様に、いくつかの実施形態では、左耳信号パンニングを算出するために使用される右入射角654(angL)は、ユーザの右耳から仮想音源610の場所を通して通る線お
よびVSA650を含有する球体の交差部を算出することによって導出されてもよい。パンニング角度組み合わせ(方位角および高度角)が、ユーザの頭部の中心620から交点までの球座標角度として3D環境に関して算出されてもよい。
【0049】
いくつかの実施形態では、線と球体との間の交差部は、例えば、線を表す方程式および球体を表す方程式を組み合わせることによって算出されてもよい。
【0050】
図6Cは、いくつかの実施形態による、仮想音源からの遠方場オーディオ効果をモデル化するための幾何学形状を図示する。仮想音源610からユーザの頭部の中心620までの距離630(例えば、「源距離」(SD))は、VSA650からユーザの頭部の中心620までの距離640(例えば、「測定距離」(MD))を上回る。
図6Cに図示されるように、左入射角612(ang
L)は、右入射角614(ang
R)を下回る。各耳に対する角度(例えば、左入射角(ang
L)および右入射角(ang
R))は、MDにおけるものと異なる。
【0051】
いくつかの実施形態では、左耳信号パンニングを算出するために使用される左入射角612(angL)は、ユーザの左耳から仮想音源610の場所を通して通る線およびVSA650を含有する球体の交差部を算出することによって導出されてもよい。パンニング角度組み合わせ(方位角および高度角)が、ユーザの頭部の中心620から交点までの球座標角度として3D環境に関して算出されてもよい。
【0052】
同様に、いくつかの実施形態では、左耳信号パンニングを算出するために使用される右入射角614(angR)は、ユーザの右耳から仮想音源610の場所を通して通る線およびVSA650を含有する球体の交差部を算出することによって導出されてもよい。パンニング角度組み合わせ(方位角および高度角)が、ユーザの頭部の中心620から交点までの球座標角度として3D環境に関して算出されてもよい。
【0053】
いくつかの実施形態では、線と球体との間の交差部は、例えば、線を表す方程式および球体を表す方程式を組み合わせることによって算出されてもよい。
【0054】
いくつかの実施形態では、レンダリングスキームは、左入射角612および右入射角614を区別しない場合があり、代わりに、左入射角612および右入射角614が等しいと仮定する。しかしながら、左入射角612および右入射角614が等しいと仮定することは、
図6Bに関して説明されるような近接場効果および/または
図6Cに関して説明されるような遠方場効果を再現するときに適用可能または許容可能ではない場合がある。
【0055】
図7は、いくつかの実施形態による、(点)音源710によってユーザの耳712に放出される音が進行する距離を算出するための幾何学的モデルを図示する。
図7に図示される幾何学的モデルでは、ユーザの頭部は、球形であると仮定される。同一のモデルが、各耳(例えば、左耳および右耳)に適用される。各耳への遅延が、(点)音源710によってユーザの耳712に放出される音が進行する距離(例えば、
図7の距離A+B)をユーザの環境(例えば、空気)内の音速で除算することによって算出され得る。両耳間時間差(ITD)は、ユーザの2つの耳の間の遅延の差異であり得る。いくつかの実施形態では、ITDは、ユーザの頭部および音源710の場所に対する対側の耳にのみ適用されてもよい。いくつかの実施形態では、
図7に図示される幾何学的モデルは、任意のSD(例えば、近接場または遠方場)のために使用されてもよく、ユーザの頭部上の耳の位置および/またはユーザの頭部の頭部サイズを考慮しない場合がある。
【0056】
いくつかの実施形態では、
図7に図示される幾何学的モデルは、音源710から各耳までの距離に起因する減衰を算出するために使用されてもよい。いくつかの実施形態では、
減衰は、距離の比を使用して算出されてもよい。近接場源に関するレベルの差異は、所望の源位置に関する源から耳までの距離と、(例えば、
図6A-6Cに図示されるような)パンニングのために算出されるMDおよび角度に対応する源に関する源から耳までの距離との比を評価することによって算出されてもよい。いくつかの実施形態では、耳からの最小距離が、例えば、算出的に高価であり得る、および/または数値のオーバーフローをもたらし得る、非常に小さい数での除算を回避するために使用されてもよい。これらの実施形態では、より小さい距離は、クランピングされてもよい。
【0057】
いくつかの実施形態では、距離は、クランピングされてもよい。クランピングは、例えば、ある閾値を下回る距離値を別の値に限定するステップを含んでもよい。いくつかの実施形態では、クランピングは、算出のために、実際の距離値の代わりに、限定された距離値(クランピングされた距離値と称される)を使用するステップを含んでもよい。ハードクランピングは、ある閾値を下回る距離値をその閾値に限定するステップを含んでもよい。例えば、ある閾値が、5ミリメートルである場合、その閾値未満の距離値は、その閾値に設定され、その閾値は、その閾値未満である実際の距離値の代わりに、算出のために使用されてもよい。ソフトクランピングは、距離値が、ある閾値に接近する、またはそれを下回るにつれて、それらが、その閾値に漸近的に接近するように、距離値を限定するステップを含んでもよい。いくつかの実施形態では、クランピングの代わりに、またはそれに加えて、距離値は、距離値が、所定の量を決して下回らないように、所定の量だけ増加されてもよい。
【0058】
いくつかの実施形態では、聴者の耳からの第1の最小距離が、利得を算出するために使用されてもよく、聴者の耳からの第2の最小距離が、例えば、HRTFフィルタ、両耳間時間差、および同等物を算出するために使用される角度等の他の音源位置パラメータを算出するために使用されてもよい。いくつかの実施形態では、第1の最小距離および第2の最小距離は、異なり得る。
【0059】
いくつかの実施形態では、利得を算出するために使用される最小距離は、音源の1つ以上の性質の関数であってもよい。いくつかの実施形態では、利得を算出するために使用される最小距離は、音源のレベル(例えば、いくつかのフレームにわたる信号のRMS値)、音源のサイズ、または音源の放射性質、および同等物の関数であってもよい。
【0060】
図8A-8Cは、いくつかの実施形態による、聴者の右耳に対する音源の実施例を図示する。
図8Aは、音源810が、第1の最小距離822および第2の最小距離824を上回る、聴者の右耳820からの距離812にある場合を図示する。本実施形態では、シミュレートされた音源と聴者の右耳820との間の距離812は、利得および他の音源位置パラメータを算出するために使用され、クランピングされない。
【0061】
図8Bは、シミュレートされた音源810が、第1の最小距離822を下回り、第2の最小距離824を上回る、聴者の右耳820からの距離812にある場合を示す。本実施形態では、距離812は、利得算出のためにクランピングされるが、例えば、方位角および高度角または両耳間時間差等の他のパラメータを算出するためにはクランピングされない。言い換えると、第1の最小距離822は、利得を算出するために使用され、シミュレートされた音源810と聴者の右耳820との間の距離812は、他の音源位置パラメータを算出するために使用される。
【0062】
図8Cは、シミュレートされた音源810が、第1の最小距離822および第2の最小距離824の両方よりも耳に近接する場合を示す。本実施形態では、距離812は、利得算出のために、そして他の音源位置パラメータを算出するためにクランピングされる。言い換えると、第1の最小距離822は、利得を算出するために使用され、第2の最小距離
824は、他の音源位置パラメータを算出するために使用される。
【0063】
いくつかの実施形態では、距離から算出される利得が、利得を算出するために使用される最小距離を限定する代わりに、直接限定されてもよい。言い換えると、利得は、第1のステップとして、距離に基づいて算出されてもよく、第2のステップにおいて、利得は、所定の閾値を超えないようにクランピングされてもよい。
【0064】
いくつかの実施形態では、音源が、聴者の頭部により近接するにつれて、音源の大きさ応答が、変化し得る。例えば、音源が、聴者の頭部により近接するにつれて、同側の耳における低周波数は、増幅され得る、および/または対側の耳における高周波数は、減衰され得る。大きさ応答の変化は、両耳間レベル差(ILD)の変化につながり得る。
【0065】
図9Aおよび9Bは、いくつかの実施形態による、それぞれ、水平面内の(点)音源に関する耳におけるHRTF大きさ応答900Aおよび900Bを図示する。HRTF大きさ応答は、方位角の関数として、球形頭部モデルを使用して算出されてもよい。
図9Aは、遠方場(例えば、ユーザの頭部の中心から1メートル)における(点)音源に関する大きさ応答900Aを図示する。
図9Bは、近接場(例えば、ユーザの頭部の中心から0.25メートル)における(点)音源に関する大きさ応答900Bを図示する。
図9Aおよび9Bに図示されるように、ILDの変化は、低周波数において最も顕著であり得る。遠方場では、低周波数成分に関する大きさ応答は、一定(例えば、源方位角の角度から独立する)であり得る。近接場では、低周波数成分の大きさ応答は、ユーザの頭部/耳の同一側上の音源に関して増幅され得、これは、低周波数においてより高いILDにつながり得る。近接場では、高周波数成分の大きさ応答は、ユーザの頭部の対向する側上の音源に関して減衰され得る。
【0066】
いくつかの実施形態では、大きさ応答の変化は、例えば、両耳レンダリングにおいて使用されるHRTFフィルタを考慮することによって考慮されてもよい。VSAの場合では、HRTFフィルタは、(例えば、
図6Bおよび
図6Cに図示されるような)右耳パンニングを算出するために使用される位置および左耳パンニングを算出するために使用される位置に対応するHRTFとして近似されてもよい。いくつかの実施形態では、HRTFフィルタは、直接MD HRTFを使用して算出されてもよい。いくつかの実施形態では、HRTFフィルタは、パンニングされた球形頭部モデルHRTFを使用して算出されてもよい。いくつかの実施形態では、補償フィルタが、視差HRTF角度から独立して算出されてもよい。
【0067】
いくつかの実施形態では、視差HRTF角度が、算出され、次いで、より正確な補償フィルタを算出するために使用されてもよい。例えば、
図6Bを参照すると、左耳パンニングを算出するために使用される位置が、左耳に関する合成フィルタを算出するために仮想音源位置と比較されてもよく、右耳パンニングを算出するために使用される位置が、右耳に関する合成フィルタを算出するために仮想音源位置と比較されてもよい。
【0068】
いくつかの実施形態では、いったん距離に起因する減衰が、考慮されると、大きさの差異が、付加的信号処理を用いて捕捉されてもよい。いくつかの実施形態では、付加的信号処理は、各耳信号に適用されるべき利得、低シェルビングフィルタ、および高シェルビングフィルタから成ってもよい。
【0069】
いくつかの実施形態では、広帯域利得が、例えば、以下の方程式1に従って、最大120度の角度に関して算出され得る。
【化1】
【0070】
式中、
【化2】
は、例えば、ユーザの耳の位置に対する、MDにおける対応するHRTFの角度であり得る。いくつかの実施形態では、120度以外の角度も、使用されてもよい。これらの実施形態では、方程式1は、使用される角度毎に修正されてもよい。
【0071】
いくつかの実施形態では、広帯域利得が、例えば、以下の方程式2に従って、120度を上回る角度に関して算出され得る。
【化3】
【0072】
いくつかの実施形態では、120度以外の角度も、使用されてもよい。これらの実施形態では、方程式2は、使用される角度毎に修正されてもよい。
【0073】
いくつかの実施形態では、低シェルビングフィルタ利得が、例えば、以下の方程式3に従って算出され得る。
【化4】
【0074】
いくつかの実施形態では、他の角度も、使用されてもよい。これらの実施形態では、方程式3は、使用される角度毎に修正されてもよい。
【0075】
いくつかの実施形態では、高シェルビングフィルタ利得が、例えば、以下の方程式4に従って、110度よりも大きい角度に関して算出され得る。
【化5】
【0076】
式中、
【化6】
は、ユーザの耳の位置に対する源の角度であり得る。いくつかの実施形態では、110度以外の角度も、使用されてもよい。これらの実施形態では、方程式4は、使用される角度毎に修正されてもよい。
【0077】
前述の効果(例えば、利得、低シェルビングフィルタ、および高シェルビングフィルタ
)は、距離の関数として減衰され得る。いくつかの実施形態では、距離減衰係数が、例えば、以下の方程式5に従って算出され得る。
【化7】
【0078】
式中、HRは、頭部半径であり、MDは、測定距離であり、
【化8】
は、少なくとも頭部半径と同程度に大きくなるようにクランピングされた源距離である。
【0079】
図10は、いくつかの実施形態による、音源1010の音響軸1015に対するユーザの軸外れ角度(または源放射角)を図示する。いくつかの実施形態では、源放射角は、例えば、源放射性質に基づいて、直接経路の大きさ応答を評価するために使用されてもよい。いくつかの実施形態では、軸外れ角度は、源が、ユーザの頭部により近接して移動するにつれて、耳毎に異なり得る。図では、源放射角1020は、左耳に対応し、源放射角1030は、頭部の中心に対応し、源放射角1040は、右耳に対応する。耳毎に異なる軸外れ角度は、耳毎に別個の直接経路処理につながり得る。
【0080】
図11は、いくつかの実施形態による、ユーザの頭部の内側にパンニングされる音源1110を図示する。頭部内効果を作成するために、音源1110は、両耳レンダリングとステレオレンダリングとの間のクロスフェードとして処理されてもよい。いくつかの実施形態では、両耳レンダリングは、ユーザの頭部上またはその外側に位置する源1112に関して作成されてもよい。いくつかの実施形態では、音源1112の場所は、ユーザの頭部の中心1120からシミュレートされた音位置1110を通して通る線とユーザの頭部の表面1130との交差部として定義されてもよい。いくつかの実施形態では、ステレオレンダリングは、振幅および/または時間ベースのパンニング技法を使用して作成されてもよい。いくつかの実施形態では、時間ベースのパンニング技法は、例えば、ITDを対側の耳に適用することによって、各耳においてステレオ信号および両耳信号を時間的に整合させるために使用されてもよい。いくつかの実施形態では、ITDおよびILDは、音源が、ユーザの頭部の中心1120に接近するにつれて(すなわち、源距離1150が、ゼロに接近するにつれて)、ゼロに縮小されてもよい。いくつかの実施形態では、両耳とステレオとの間のクロスフェードは、例えば、SDに基づいて算出されてもよく、ユーザの頭部のおおよその半径1140によって正規化されてもよい。
【0081】
いくつかの実施形態では、フィルタ(例えば、EQフィルタ)が、ユーザの頭部の中心に位置する音源に関して適用されてもよい。EQフィルタは、音源がユーザの頭部を通して移動する際の急激な音色変化を低減させるために使用されてもよい。いくつかの実施形態では、EQフィルタは、シミュレートされた音源が、ユーザの頭部の中心からユーザの頭部の表面に移動する際、ユーザの頭部の表面における大きさ応答に合致し、したがって、音源がユーザの頭部の内外に移動するときの急激な大きさ応答変化のリスクをさらに低減させるために、スケーリングされてもよい。いくつかの実施形態では、等化信号と未処理信号との間のクロスフェードが、ユーザの頭部の中心とユーザの頭部の表面との間の音源の位置に基づいて、使用されてもよい。
【0082】
いくつかの実施形態では、EQフィルタは、ユーザの頭部の表面上の源をレンダリングするために使用されるフィルタの平均として自動的に算出されてもよい。EQフィルタは
、調整可能/構成可能パラメータのセットとしてユーザに公開されてもよい。いくつかの実施形態では、調整可能/構成可能パラメータは、制御周波数および関連付けられる利得を含んでもよい。
【0083】
図12は、いくつかの実施形態による、遠方場において音源をレンダリングするために実装され得る、信号フロー1200を図示する。
図12に図示されるように、遠方場距離減衰1220が、上記に説明されるもの等の入力信号1210に適用されることができる。共通EQフィルタ1230(例えば、源放射フィルタ)が、音源放射をモデル化するために、結果に適用されてもよく、フィルタ1230の出力は、分割され、別個の左および右チャネルに送信され、遅延(1240A/1240B)およびVSA(1250A/1250B)機能が、
図5に関して上記に説明されるもの等の各チャネルに適用され、左耳および右耳信号1290A/1290Bをもたらすことができる。
【0084】
図13は、いくつかの実施形態による、近接場において音源をレンダリングするために実装され得る、信号フロー1300を図示する。
図13に図示されるように、遠方場距離減衰1320が、上記に説明されるもの等の入力信号1310に適用されることができる。出力は、左/右チャネルに分割されることができ、別個のEQフィルタが、上記に説明されるもの等の音源放射および近接場ILD効果をモデル化するために、各耳(例えば、左耳に関する左耳近接場および源放射フィルタ1330Aおよび右耳に関する右耳近接場および源放射フィルタ1330B)に適用されてもよい。フィルタは、左耳および右耳信号が、分離された後、耳毎に1つとして実装されることができる。この場合では、両耳に適用される任意の他のEQが、付加的処理を回避するために、それらのフィルタ(例えば、左耳近接場および源放射フィルタおよび右耳近接場および源放射フィルタ)に折畳され得ることに留意されたい。遅延(1340A/1340B)およびVSA(1350A/1350B)機能は、次いで、
図5に関して上記に説明されるもの等の各チャネルに適用され、左耳および右耳信号1390A/1390Bをもたらすことができる。
【0085】
いくつかの実施形態では、算出リソースを最適化するために、システムは、例えば、レンダリングされるべき音源が、遠方場にあるか、または近接場にあるかどうかに基づいて、信号フロー1200および1300の間で自動的に切り替えてもよい。いくつかの実施形態では、フィルタ状態が、処理アーチファクトを回避するために、遷移の間にフィルタ(例えば、源放射フィルタ、左耳近接場および源放射フィルタ、および右耳近接場および源放射フィルタ)の間でコピーされる必要があり得る。
【0086】
いくつかの実施形態では、上記に説明されるEQフィルタは、その設定が、0dB利得を伴う平坦な大きさ応答に知覚的に同等であるとき、バイパスされてもよい。応答が、平坦であるが、ゼロと異なる利得を伴う場合、広帯域利得が、所望の結果を効率的に達成するために使用されてもよい。
【0087】
図14は、いくつかの実施形態による、近接場において音源をレンダリングするために実装され得る、信号フロー1400を図示する。
図14に図示されるように、遠方場距離減衰1420が、上記に説明されるもの等の入力信号1410に適用されることができる。左耳近接場および源放射フィルタ1430が、出力に適用されることができる。1430の出力は、左/右チャネルに分割されることができ、第2のフィルタ1440(例えば、右-左耳近接場および源放射差フィルタ)が、次いで、右耳信号を処理するために使用されることができる。第2のフィルタは、右および左耳近接場および源放射効果の間の差異をモデル化する。いくつかの実施形態では、差分フィルタが、左耳信号に適用されてもよい。いくつかの実施形態では、差分フィルタが、音源の位置に依存し得る、対側の耳に適用されてもよい。遅延(1450A/1450B)およびVSA(1460A/1460B)機能は、
図5に関して上記に説明されるもの等の各チャネルに適用され、左耳およ
び右耳信号1490A/1490Bをもたらすことができる。
【0088】
頭部座標系が、オーディオオブジェクトから聴者の耳への音響伝搬を算出するために使用されてもよい。デバイス座標系が、聴者の頭部の位置および配向を追跡するために、追跡デバイス(上記に説明されるもの等の拡張現実システムにおけるウェアラブル頭部デバイスの1つ以上のセンサ等)によって使用されてもよい。いくつかの実施形態では、頭部座標系およびデバイス座標系は、異なり得る。聴者の頭部の中心が、頭部座標系の原点として使用されてもよく、聴者に対するオーディオオブジェクトの位置の基準とするために使用され、頭部座標系の前方方向は、聴者の頭部の中心から聴者の正面の視野を通るものとして定義されてもよい。いくつかの実施形態では、空間内の恣意的点が、デバイス座標系の原点として使用されてもよい。いくつかの実施形態では、デバイス座標系の原点は、追跡デバイスの視覚投影システムの光学レンズの間に位置する点であってもよい。いくつかの実施形態では、デバイス座標系の前方方向は、追跡デバイス自体を基準とし、聴者の頭部上の追跡デバイスの位置に依存し得る。いくつかの実施形態では、追跡デバイスは、頭部座標系の水平面に対して非ゼロピッチを有し(すなわち、上または下に傾斜され)、頭部座標系の前方方向とデバイス座標系の前方方向との間の不整合につながり得る。
【0089】
いくつかの実施形態では、頭部座標系とデバイス座標系との間の差異は、聴者の頭部に対するオーディオオブジェクトの位置に変換を適用することによって補償されてもよい。いくつかの実施形態では、頭部座標系およびデバイス座標系の原点の差異は、聴者の頭部に対するオーディオオブジェクトの位置を、3次元(例えば、x、y、およびz)における頭部座標系の原点とデバイス座標系基準点の原点との間の距離に等しい量だけ平行移動させることによって補償されてもよい。いくつかの実施形態では、頭部座標系軸とデバイス座標系軸との間の角度の差異は、聴者の頭部に対するオーディオオブジェクトの位置に回転を適用することによって補償されてもよい。例えば、追跡デバイスが、N度だけ下向きに傾斜される場合、オーディオオブジェクトの位置は、聴者に関するオーディオ出力をレンダリングすることに先立って、N度だけ下向きに回転され得る。いくつかの実施形態では、オーディオオブジェクト回転補償は、オーディオオブジェクト平行移動補償の前に適用されてもよい。いくつかの実施形態では、補償(例えば、回転、平行移動、スケーリング、および同等物)は、全ての補償(例えば、回転、平行移動、スケーリング、および同等物)を含む単一の変換においてともに行われてもよい。
【0090】
図15A-15Dは、実施形態による、ユーザに対応する頭部座標系1500および上記に説明されるような頭部搭載型拡張現実デバイス等のデバイス1512に対応するデバイス座標系1510の実施例を図示する。
図15Aは、頭部座標系1500とデバイス座標系1510との間の正面平行移動オフセット1520が存在する実施例の上面図を図示する。
図15Bは、頭部座標系1500とデバイス座標系1510との間の正面平行移動オフセット1520および垂直軸の周囲の回転1530が存在する実施例の上面図を図示する。
図15Cは、頭部座標系1500とデバイス座標系1510との間の正面平行移動オフセット1520および垂直平行移動オフセット1522の両方が存在する実施例の側面図を図示する。
図15Dは、頭部座標系1500とデバイス座標系1510との間の正面平行移動オフセット1520および垂直平行移動オフセット1522の両方および左/右水平軸の周囲の回転1530が存在する実施例の側面図を示す。
【0091】
図15A-15Dに描写されるものにおいて等のいくつかの実施形態では、本システムは、頭部座標系1500とデバイス座標系1510との間のオフセットを算出し、それに応じて補償してもよい。本システムは、センサデータ、例えば、1つ以上の光学センサからの眼追跡データ、1つ以上の慣性測定ユニットからの長期重力データ、1つ以上の屈曲/頭部サイズセンサからの屈曲データ、および同等物を使用してもよい。そのようなデータは、上記に説明されるもの等の拡張現実システムの1つ以上のセンサによって提供され
ることができる。
【0092】
本開示の種々の例示的実施形態が、本明細書に説明される。これらの実施例は、非限定的意味で参照される。それらは、本開示のより広く適用可能な側面を例証するために提供される。種々の変更が、説明される本開示に行われてもよく、本開示の真の精神および範囲から逸脱することなく、均等物が代用されてもよい。加えて、多くの修正が、特定の状況、材料、組成物、プロセス、プロセス作用、またはステップを本開示の目的、精神、または範囲に適合させるために行われてもよい。さらに、当業者によって理解されるであろうように、本明細書で説明および図示される個々の変形例はそれぞれ、本開示の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され得るか、またはそれらと組み合わせられ得る、離散コンポーネントおよび特徴を有する。全てのそのような修正は、本開示と関連付けられる請求項の範囲内であることが意図される。
【0093】
本開示は、主題のデバイスを使用して実施され得る方法を含む。本方法は、そのような好適なデバイスを提供する行為を含んでもよい。そのような提供は、エンドユーザによって実施されてもよい。換言すると、「提供する」行為は、単に、エンドユーザが、本主題の方法において必要なデバイスを取得する、それにアクセスする、それに接近する、それを位置付ける、それを設定する、それをアクティブ化する、それに電源を入れる、または別様にそれを提供するように作用することを要求する。本明細書に列挙される方法は、論理的に可能な列挙されたイベントの任意の順序およびイベントの列挙される順序で行なわれてもよい。
【0094】
本開示の例示的側面が、材料選択および製造に関する詳細とともに、上記に記載されている。本開示の他の詳細に関して、これらは、上記で参照された特許および刊行物に関連して理解され、概して、当業者によって公知である、または理解され得る。同じことが、一般的または論理的に採用されるような付加的行為の観点から、本開示の方法ベースの側面に関しても当てはまり得る。
【0095】
加えて、本開示は、随意に、種々の特徴を組み込む、いくつかの実施例を参照して説明されているが、本開示は、開示の各変形例に関して検討されるように説明または図示されるものに限定されるものではない。種々の変更が、説明される本開示に行われてもよく、均等物(本明細書に列挙されるか、またはある程度の簡潔目的のために含まれないかどうかにかかわらず)が、本開示の真の精神および範囲から逸脱することなく代用されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値および任意の他の述べられた値または述べられた範囲内の介在値が、本開示内に包含されるものと理解されたい。
【0096】
また、説明される本発明の変形例の任意の随意の特徴は、独立して、または本明細書に説明される特徴のうちの任意の1つ以上のものと組み合わせて、記載および請求され得ることが検討される。単数形項目の言及は、存在する複数の同一項目が存在する可能性を含む。より具体的には、本明細書および本明細書に関連付けられた請求項で使用されるように、単数形「a」、「an」、「said」、および「the」は、別様に具体的に述べられない限り、複数の言及を含む。換言すると、冠詞の使用は、上記の説明および本開示と関連付けられる請求項における本主題の項目のうちの「少なくとも1つ」を可能にする。さらに、そのような請求項は、任意の随意の要素を除外するように起草され得ることに留意されたい。したがって、本文言は、請求項の要素の列挙と関連する「単に」、「のみ」、および同等物等の排他的専門用語の使用、または「消極的」限定の使用のための先行詞としての役割を果たすことが意図される。
【0097】
そのような排他的専門用語を使用しなければ、本開示と関連付けられる請求項における用語「~を備える」は、所与の数の要素がそのような請求項で列挙されるかどうかにかかわらず、任意の付加的要素の包含を可能にするものとする、または特徴の追加は、そのような請求項に記載される要素の性質を変換すると見なされ得る。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の正当性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるべきである。
【0098】
本開示の範疇は、提供される実施例および/または本明細書に限定されるものではなく、むしろ、本開示と関連付けられる請求項の用語の範囲のみによって限定されるものとする。