特許 7604405 触覚コンテンツを制御するための方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-13

(45)【発行日】2024-12-23

(54)【発明の名称】触覚コンテンツを制御するための方法およびシステム

(51)【国際特許分類】

   H04R 3/00 20060101AFI20241216BHJP

   H04R 1/00 20060101ALI20241216BHJP

   G06F 3/01 20060101ALI20241216BHJP

   G01C 21/26 20060101ALI20241216BHJP

【ＦＩ】

H04R3/00 310

H04R1/00 317

G06F3/01 560

G06F3/01 510

G01C21/26 P

【請求項の数】 13

(21)【出願番号】P 2021577046

(86)(22)【出願日】2020-08-08

(65)【公表番号】

(43)【公表日】2022-11-22

(86)【国際出願番号】 US2020045543

(87)【国際公開番号】W WO2021061291

(87)【国際公開日】2021-04-01

【審査請求日】2023-05-16

(31)【優先権主張番号】16/580,544

(32)【優先日】2019-09-24

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】515046968

【氏名又は名称】メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー

【氏名又は名称原語表記】ＭＥＴＡ ＰＬＡＴＦＯＲＭＳ ＴＥＣＨＮＯＬＯＧＩＥＳ， ＬＬＣ

(74)【代理人】

【識別番号】110002974

【氏名又は名称】弁理士法人Ｗｏｒｌｄ ＩＰ

(72)【発明者】

【氏名】ヴァレリオ パリーゼ， チェザーレ

(72)【発明者】

【氏名】カレギメーボディ， モルテザ

(72)【発明者】

【氏名】ロビンソン， フィリップ

(72)【発明者】

【氏名】ゴットリーブ， ピーター

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特表２０１７－５３１９３０（ＪＰ，Ａ）

【文献】特表２０１９－５２３４９８（ＪＰ，Ａ）

【文献】特開２００６－１９９０９４（ＪＰ，Ａ）

【文献】国際公開第２０１８／２０４７４５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｒ ３／００

Ｈ０４Ｒ １／００

Ｇ０６Ｆ ３／０１

Ｇ０１Ｃ ２１／２６

(57)【特許請求の範囲】

【請求項1】

ユーザにオーディオコンテンツを提示しながら、トランスデューサアレイ中の少なくとも１つのトランスデューサの作動を介して前記ユーザに与えられる触覚コンテンツを制御するように構成されたコントローラと、
前記ユーザに前記触覚コンテンツを伴う前記オーディオコンテンツを提示するように構成された前記トランスデューサアレイと
を備え、
前記コントローラが、前記触覚コンテンツを使用して前記ユーザにナビゲーション命令を提供するようにさらに構成され、
前記少なくとも１つのトランスデューサが、複数の軟骨伝導トランスデューサとして実装され、前記複数の軟骨伝導トランスデューサのうちの少なくとも１つの軟骨伝導トランスデューサが、前記ユーザの対応する耳に取り付けられ、
前記コントローラが、前記ユーザに前記ナビゲーション命令を提供するために、前記少なくとも１つの軟骨伝導トランスデューサを介して前記対応する耳に前記触覚コンテンツを選択的に適用するようにさらに構成された、
オーディオシステム。

【請求項2】

前記コントローラが、前記触覚コンテンツを制御することによって、前記ユーザに提示される前記オーディオコンテンツについての音声了解度を増加させるようにさらに構成され、および／または前記コントローラが、前記触覚コンテンツを制御することによって、定義されたレベルの近接場効果を伴う前記オーディオコンテンツを生成するようにさらに構成された、請求項１に記載のオーディオシステム。

【請求項3】

前記コントローラが、
知覚モデルに基づいて、入力オーディオ信号のスペクトルコンテンツを変えることによって前記オーディオコンテンツを生成するときに前記触覚コンテンツを制御する
ようにさらに構成された、請求項１に記載のオーディオシステム。

【請求項4】

前記トランスデューサアレイによって作り出された音を検出するように構成されたセンサーアレイ
をさらに備え、
前記コントローラが、検出された前記音に少なくとも部分的に基づいて前記知覚モデルを生成するようにさらに構成された、
請求項３に記載のオーディオシステム。

【請求項5】

前記コントローラは、
前記ユーザへの提示のために前記オーディオコンテンツを生成するときにオーディオ信号の周波数スペクトルの一部分を拡張することによって前記触覚コンテンツを制御すること、および／または
前記触覚コンテンツを制御することによって、音ソースを拡張することであって、前記音ソースが、前記ユーザからリモートにあるロケーションに位置し、随意に、前記音ソースが仮想音ソースである、音ソースを拡張すること
を行うようにさらに構成された、請求項１に記載のオーディオシステム。

【請求項6】

前記コントローラが、
前記ユーザへの提示のために前記触覚コンテンツを伴う前記オーディオコンテンツを作成するためにオーディオ信号に対して触覚拡張を実施する
ようにさらに構成された、請求項１に記載のオーディオシステム。

【請求項7】

前記少なくとも１つのトランスデューサによって作り出された音を検出するように構成されたセンサーアレイ
をさらに備え、
前記コントローラが、
検出された前記音の劣化のレベルを検出することと、
検出された前記劣化のレベルに基づいて、前記ユーザへの提示のために前記オーディオコンテンツ中の音響コンテンツの劣化を軽減するようにオーディオ信号を処理することと
を行うようにさらに構成された、請求項１に記載のオーディオシステム。

【請求項8】

前記トランスデューサアレイが、１つまたは複数の軟骨伝導トランスデューサを含むか、または、前記トランスデューサアレイが、１つまたは複数の空気伝導トランスデューサと、１つまたは複数の骨伝導トランスデューサと、１つまたは複数の軟骨伝導トランスデューサと、のうちの少なくとも１つを含む、請求項１に記載のオーディオシステム。

【請求項9】

前記オーディオシステムがヘッドセットの一部である、請求項１に記載のオーディオシステム。

【請求項10】

方法であって、
ユーザにオーディオコンテンツを提示しながら、トランスデューサアレイ中の少なくとも１つのトランスデューサの作動を介して前記ユーザに与えられるべき触覚コンテンツの量を制御することと、
前記トランスデューサアレイに、前記ユーザに前記オーディオコンテンツを提示するように命令することであって、前記オーディオコンテンツが前記触覚コンテンツを含む、前記ユーザに前記オーディオコンテンツを提示するように命令することと、
前記触覚コンテンツを使用して前記ユーザにナビゲーション命令を提供することと
を含み、
前記少なくとも１つのトランスデューサが、複数の軟骨伝導トランスデューサとして実装され、前記複数の軟骨伝導トランスデューサのうちの少なくとも１つの軟骨伝導トランスデューサが、前記ユーザの対応する耳に取り付けられ、
前記方法が、
前記ユーザに前記ナビゲーション命令を提供するために、前記少なくとも１つの軟骨伝導トランスデューサを介して前記対応する耳に前記触覚コンテンツを選択的に適用すること
をさらに含む、方法。

【請求項11】

前記オーディオコンテンツ内の前記触覚コンテンツを制御することによって、前記ユーザに提示される前記オーディオコンテンツについての音声了解度を増加させることと、
前記オーディオコンテンツ内の前記触覚コンテンツを制御することによって、定義されたレベルの近接場効果を伴う前記オーディオコンテンツを生成することと
のうちの少なくとも１つをさらに含む、請求項１０に記載の方法。

【請求項12】

知覚モデルに基づいて、入力オーディオ信号のスペクトルコンテンツを変えることによって前記オーディオコンテンツを生成するときに前記触覚コンテンツを制御すること、または
前記ユーザへの提示のために前記オーディオコンテンツを生成するときにオーディオ信号の周波数スペクトルの一部分を拡張することによって前記触覚コンテンツを制御すること
をさらに含む、請求項１０に記載の方法。

【請求項13】

命令が符号化された非一時的コンピュータ可読記憶媒体を備えるコンピュータプログラム製品であって、前記命令は、１つまたは複数のプロセッサによって実行されたとき、前記１つまたは複数のプロセッサに、請求項１０から１２のいずれか一項に記載の方法を実施させる、
コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、人工現実システムに関し、より詳細には、オーディオシステムのユーザへの提示のために触覚コンテンツ（ｔａｃｔｉｌｅ ｃｏｎｔｅｎｔ）を制御するように構成されたオーディオシステムに関する。

【背景技術】

【0002】

人工現実システムにおけるヘッドマウントディスプレイは、しばしば、ヘッドマウントディスプレイのユーザにオーディオコンテンツを提供するためのスピーカーまたはパーソナルオーディオデバイスなどの特徴を含む。いくつかの事例では、従来のヘッドマウントディスプレイは、ユーザにオーディオコンテンツを提供するために骨伝導および／または軟骨伝導を使用し得る。しかしながら、ある周波数および振幅においては、オーディオコンテンツを聞くことに加えて、オーディオコンテンツは、触覚刺激として（たとえば、組織中に埋め込まれた機械受容器（ｍｅｃｈａｎｏｒｅｃｅｐｔｏｒ）を介して）ユーザによって知覚され得る。

【発明の概要】

【0003】

本開示の実施形態は、添付の特許請求の範囲による、コンテンツをユーザ、たとえば、ヘッドセットの装着者に提供するためのオーディオシステム、方法、およびコンピュータ可読媒体をサポートする。オーディオシステムは、トランスデューサアレイと、コントローラとを含む。コントローラは、トランスデューサアレイ中の少なくとも１つのトランスデューサの作動を介してユーザに与えられる触覚コンテンツを制御するように構成される。トランスデューサアレイは、ユーザに触覚コンテンツを提示するように構成される。オーディオシステムは、ヘッドセットの一部として組み込まれ得る。

【0004】

本発明の一態様では、オーディオシステムが、ユーザにオーディオコンテンツを提示しながら、トランスデューサアレイ中の少なくとも１つのトランスデューサの作動を介してユーザに与えられる触覚コンテンツを制御するように構成されたコントローラを備え得、トランスデューサアレイは、ユーザに触覚コンテンツを伴うオーディオコンテンツを提示するように構成される。

【0005】

本発明によるシステムの一実施形態では、コントローラは、触覚コンテンツを使用してユーザにナビゲーション命令を提供するようにさらに構成され得る。さらに、少なくとも１つのトランスデューサは、複数の軟骨伝導トランスデューサとして実装され得、軟骨伝導トランスデューサのうちの少なくとも１つが、ユーザの対応する耳に取り付けられ、コントローラは、ユーザにナビゲーション命令を提供するために、少なくとも１つの軟骨伝導トランスデューサを介して、対応する耳に触覚コンテンツを選択的に適用するようにさらに構成され得る。

【0006】

本発明によるシステムの一実施形態では、コントローラは、触覚コンテンツを制御することによって、ユーザに提示されるオーディオコンテンツについての音声了解度を増加させるようにさらに構成される。

【0007】

本発明によるシステムの一実施形態では、コントローラは、触覚コンテンツを制御することによって、定義されたレベルの近接場効果（ｎｅａｒ ｆｉｅｌｄ ｅｆｆｅｃｔ）を伴うオーディオコンテンツを生成するようにさらに構成され得る。

【0008】

本発明によるシステムの一実施形態では、コントローラは、知覚モデルに基づいて、入力オーディオ信号のスペクトルコンテンツを変えることによってオーディオコンテンツを生成するときに触覚コンテンツを制御するようにさらに構成され得る。さらに、システムは、トランスデューサアレイによって作り出された音を検出するように構成されたセンサーアレイをさらに備え得、コントローラは、検出された音に少なくとも部分的に基づいて知覚モデルを生成するようにさらに構成され得る。

【0009】

本発明によるシステムの一実施形態では、コントローラは、ユーザへの提示のためにオーディオコンテンツを生成するときにオーディオ信号の周波数スペクトルの一部分を拡張することによって触覚コンテンツを制御するようにさらに構成され得る。

【0010】

本発明によるシステムの一実施形態では、コントローラは、触覚コンテンツを制御することによって音ソースを拡張するようにさらに構成され得、音ソースは、ユーザからリモートにあるロケーションに位置する。さらに、音ソースは仮想音ソースであり得る。

【0011】

本発明によるシステムの一実施形態では、コントローラは、ユーザへの提示のために触覚コンテンツを伴うオーディオコンテンツを作成するためにオーディオ信号に対して触覚拡張を実施するようにさらに構成され得る。

【0012】

本発明によるシステムの一実施形態では、本システムは、少なくとも１つのトランスデューサによって作り出された音を検出するように構成されたセンサーアレイをさらに備え得、コントローラは、検出された音の劣化のレベルを検出することと、劣化の検出されたレベルに基づいて、ユーザへの提示のためにオーディオコンテンツ中の音響コンテンツの劣化を軽減するためにオーディオ信号を処理することとを行うようにさらに構成され得る。

【0013】

本発明によるシステムの一実施形態では、トランスデューサアレイは、１つまたは複数の軟骨伝導トランスデューサを含み得る。

【0014】

本発明によるシステムの一実施形態では、トランスデューサアレイは、１つまたは複数の空気伝導トランスデューサと、１つまたは複数の骨伝導トランスデューサと、１つまたは軟骨伝導トランスデューサとのうちの少なくとも１つを含み得る。

【0015】

本発明によるシステムの一実施形態では、オーディオシステムはヘッドセットの一部であり得る。

【0016】

一態様では、本発明は、ユーザにオーディオコンテンツを提示しながら、トランスデューサアレイ中の少なくとも１つのトランスデューサの作動を介してユーザに与えられるべき触覚コンテンツの量を制御することと、トランスデューサアレイに、ユーザにオーディオコンテンツを提示するように命令することであって、オーディオコンテンツが触覚コンテンツを含む、ユーザにオーディオコンテンツを提示するように命令することとを含む方法を対象とする。

【0017】

本発明による方法の一実施形態では、本方法は、触覚コンテンツを使用してユーザにナビゲーション命令を提供することと、オーディオコンテンツ内の触覚コンテンツを制御することによって、ユーザに提示されるオーディオコンテンツについての音声了解度を増加させることと、オーディオコンテンツ内の触覚コンテンツを制御することによって、定義されたレベルの近接場効果を伴うオーディオコンテンツを生成することとのうちの少なくとも１つをさらに含み得る。さらに、本方法は、さらに含み得る

【0018】

本発明による方法の一実施形態では、本方法は、知覚モデルに基づいて、入力オーディオ信号のスペクトルコンテンツを変えることによってオーディオコンテンツを生成するときに触覚コンテンツを制御することをさらに含み得る。

【0019】

本発明による方法の一実施形態では、本方法は、ユーザへの提示のためにオーディオコンテンツを生成するときにオーディオ信号の周波数スペクトルの一部分を拡張することによって触覚コンテンツを制御することをさらに含み得る。

【0020】

一態様では、本発明は、命令が符号化された非一時的コンピュータ可読記憶媒体を備えるコンピュータプログラム製品であって、命令は、１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに、本発明による方法を実施させるか、または、ユーザにオーディオコンテンツを提示しながら、トランスデューサアレイ中の少なくとも１つのトランスデューサの作動を介してユーザに与えられるべき触覚コンテンツの量を制御することと、トランスデューサアレイに、ユーザにオーディオコンテンツを提示するように命令することであって、オーディオコンテンツが触覚コンテンツを含む、ユーザにオーディオコンテンツを提示するように命令することとを行わせる、コンピュータプログラム製品を対象とする。

【図面の簡単な説明】

【0021】

【図1A】１つまたは複数の実施形態による、アイウェアデバイスとして実装されるヘッドセットの斜視図である。

【図1B】１つまたは複数の実施形態による、ヘッドマウントディスプレイとして実装されるヘッドセットの斜視図である。

【図2A】１つまたは複数の実施形態による、オーディオシステムのブロック図である。

【図2B】１つまたは複数の実施形態による、周波数の関数としての、図２Ａのオーディオシステムにおけるトランスデューサの作動についての触覚性（ｔａｃｔｉｌｉｔｙ）しきい値レベルを示す例示的なグラフである。

【図3】１つまたは複数の実施形態による、オーディオコンテンツを提示しながら、触覚コンテンツのレベルを調整するためのプロセスを示すフローチャートである。

【図4】１つまたは複数の実施形態による、ユーザに提示される触覚コンテンツを制御するためのプロセスを示すフローチャートである。

【図5】１つまたは複数の実施形態による、ヘッドセットを含むシステムの図である。

【発明を実施するための形態】

【0022】

図は、単に例示の目的で様々な実施形態を示す。本明細書で説明される原理から逸脱することなく、本明細書で示される構造および方法の代替実施形態が採用され得ることを、当業者は以下の説明から容易に認識されよう。

【0023】

外耳の近傍に置かれたトランスデューサが、人によって音として知覚され得る耳道内の音響圧力波を（たとえば、ある組織を励起することによって）作成することができる。ある周波数において、励起レベルが増加するとき、人は、（たとえば、組織中に埋め込まれた機械受容器を介して）触覚感覚（すなわち、タッチの感覚）を検知することを開始し得る。本開示の実施形態は、オーディオシステムのユーザに提示される触覚コンテンツのレベルを制御および調整するオーディオシステムに関する。

【0024】

提示されたコンテンツのモダリティ（すなわち、オーディオのみ、触覚のみまたはオーディオ／触覚の組合せ）を制御するためのオーディオシステムが本明細書に同封される。オーディオシステムは、トランスデューサアレイと、センサーアレイと、オーディオコントローラとを含む。トランスデューサアレイは、たとえば、軟骨伝導、骨伝導、空気伝導、またはそれらの何らかの組合せを介してユーザにコンテンツを提示する。センサーアレイは、トランスデューサアレイによって作り出された音を検出する。センサーアレイは、少なくとも１つの音響センサーおよび／または少なくとも１つの振動センサー（すなわち、加速度計）を含み得る。オーディオコントローラは、検出された音に基づいて、コンテンツを提示しながら、トランスデューサアレイ中の１つまたは複数のトランスデューサの作動を介してユーザに与えられ得る触覚フィードバックのレベルを調整するように、トランスデューサアレイを制御し得る。いくつかの実施形態では、オーディオコントローラは、ユーザがいかなる触覚コンテンツをも知覚しないように、触覚フィードバックのレベルを調整する。オーディオコントローラは、たとえば、ユーザに固有であり、較正プロセスを介して取得され得る、知覚モデルを使用して、触覚フィードバックのレベルを調整し得る。いくつかの実施形態では、オーディオコントローラは、トランスデューサアレイ中の１つまたは複数のトランスデューサの作動を介してユーザに与えられる触覚コンテンツを制御するようにトランスデューサアレイを制御する。１つまたは複数の実施形態では、トランスデューサアレイ中の少なくとも１つのトランスデューサが、触覚感覚（たとえば、タッチ）として感じられるのに十分に強い組織振動（たとえば、皮膚振動）を誘起するように構成される。ユーザによって知覚されるように意図的に制御された触覚コンテンツは、たとえば、ユーザにナビゲーション命令を提供すること、音声了解度を増加させること、近接場効果を提供すること、それらの何らかの組合せなどを行うために利用され得る。

【0025】

本明細書で提示されるオーディオシステムは、ヘッドセットの一部であり得る。ヘッドセットは、たとえば、ニアアイディスプレイ（ＮＥＤ）、ヘッドマウントディスプレイ（ＨＭＤ）、または何らかの他のタイプのヘッドセットであり得る。ヘッドセットは、人工現実システムの一部であり得る。ヘッドセットは、ディスプレイと光学アセンブリとをさらに含む。ヘッドセットのディスプレイは、画像光を放出するように構成される。ヘッドセットの光学アセンブリは、画像光を、ユーザの眼のロケーションに対応するヘッドセットのアイボックス（ｅｙｅ ｂｏｘ）に向けるように構成される。いくつかの実施形態では、画像光は、ヘッドセットの周囲のローカルエリアについての深度情報を含み得る。代替または追加として、本明細書で提示されるオーディオシステムは、（１つまたは複数の）軟骨伝導アクチュエータおよび／または（１つまたは複数の）骨伝導アクチュエータを有するスマートヘッドフォンのセットとともに動作し得る。

【0026】

本明細書で提示されるオーディオシステムは、オーディオシステムのユーザに提示される触覚コンテンツのレベルを制御および調整する。触覚コンテンツは、しばしば、迷惑なものと見なされることがある。本明細書で提示されるオーディオシステムは、触覚コンテンツをユーザにとって有用な情報にするように構成される。本明細書で提示されるオーディオシステムは、触覚コンテンツがユーザによって知覚されないように触覚コンテンツを軽減するようにも構成され得る。

【0027】

本発明の実施形態は、人工現実システムを含むか、または人工現実システムに関連して実装され得る。人工現実は、ユーザへの提示の前に何らかの様式で調整された形式の現実であり、これは、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいはそれらの何らかの組合せおよび／または派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされた（たとえば、現実世界の）コンテンツと組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る（観察者に３次元効果をもたらすステレオビデオなど）。さらに、いくつかの実施形態では、人工現実は、人工現実におけるコンテンツを作成するために使用される、および／または人工現実において別様に使用される、アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せにも関連し得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたウェアラブルデバイス（たとえば、ヘッドセット）、独立型ウェアラブルデバイス（たとえば、ヘッドセット）、モバイルデバイスまたはコンピューティングシステム、あるいは、１人または複数の観察者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。

【0028】

図１Ａは、１つまたは複数の実施形態による、アイウェアデバイスとして実装されるヘッドセット１００の斜視図である。いくつかの実施形態では、アイウェアデバイスはＮＥＤである。概して、ヘッドセット１００は、コンテンツ（たとえば、メディアコンテンツ）が、ディスプレイアセンブリおよび／またはオーディオシステムを使用して提示されるように、ユーザの顔に装着され得る。しかしながら、ヘッドセット１００はまた、メディアコンテンツが異なる様式でユーザに提示されるように使用され得る。ヘッドセット１００によって提示されるメディアコンテンツの例は、１つまたは複数の画像、ビデオ、オーディオ、またはそれらの何らかの組合せを含む。ヘッドセット１００は、フレームを含み、構成要素の中でも、１つまたは複数のディスプレイ要素１２０を含むディスプレイアセンブリと、深度カメラアセンブリ（ＤＣＡ）と、オーディオシステムと、位置センサー１９０とを含み得る。図１Ａは、ヘッドセット１００上の例示的なロケーションにおけるヘッドセット１００の構成要素を示すが、構成要素は、ヘッドセット１００上の他の場所に、ヘッドセット１００とペアリングされた周辺デバイス上に、またはそれらの何らかの組合せで位置し得る。同様に、図１Ａに示されているものよりも多いまたは少ない構成要素がヘッドセット１００上にあり得る。

【0029】

フレーム１１０は、ヘッドセット１００の他の構成要素を保持する。フレーム１１０は、１つまたは複数のディスプレイ要素１２０を保持する前面部と、ユーザの頭部に付けるためのエンドピース（たとえば、テンプル）とを含む。フレーム１１０の前面部は、ユーザの鼻の上をまたいでいる。エンドピースの長さは、異なるユーザにフィットするように調整可能（たとえば、調整可能なテンプルの長さ）であり得る。エンドピースはまた、ユーザの耳の後ろ側で湾曲する部分（たとえば、テンプルの先端、イヤピース）を含み得る。

【0030】

１つまたは複数のディスプレイ要素１２０は、ヘッドセット１００を装着しているユーザに光を提供する。図１Ａに示されているように、ヘッドセット１００は、ユーザの各眼のためのディスプレイ要素１２０を含む。いくつかの実施形態では、ディスプレイ要素１２０は、ヘッドセット１００のアイボックスに提供される画像光を生成する。アイボックスは、ヘッドセット１００を装着している間にユーザの眼が占有する空間中のロケーションである。たとえば、ディスプレイ要素１２０は導波路ディスプレイであり得る。導波路ディスプレイは、光ソース（たとえば、２次元ソース、１つまたは複数の線ソース、１つまたは複数の点ソースなど）と、１つまたは複数の導波路とを含む。光ソースからの光は、１つまたは複数の導波路中に内部結合され、１つまたは複数の導波路は、ヘッドセット１００のアイボックス中に瞳複製（ｐｕｐｉｌ ｒｅｐｌｉｃａｔｉｏｎ）があるような様式で光を出力する。１つまたは複数の導波路からの光の内部結合および／または外部結合が、１つまたは複数の回折格子を使用して行われ得る。いくつかの実施形態では、導波路ディスプレイは、光ソースからの光が１つまたは複数の導波路中に内部結合されるときにその光を走査する走査要素（たとえば、導波路、ミラーなど）を含む。いくつかの実施形態では、ディスプレイ要素１２０の一方または両方が不透明であり、ヘッドセット１００の周りのローカルエリアからの光を透過しないことに留意されたい。ローカルエリアは、ヘッドセット１００の周囲のエリアである。たとえば、ローカルエリアは、ヘッドセット１００を装着しているユーザが中にいる部屋であり得、または、ヘッドセット１００を装着しているユーザは外にいることがあり、ローカルエリアは外のエリアである。このコンテキストでは、ヘッドセット１００はＶＲコンテンツを生成する。代替的に、いくつかの実施形態では、ＡＲおよび／またはＭＲコンテンツを作り出すために、ローカルエリアからの光が１つまたは複数のディスプレイ要素からの光と組み合わせられ得るように、ディスプレイ要素１２０の一方または両方は少なくとも部分的に透明である。

【0031】

いくつかの実施形態では、ディスプレイ要素１２０は、画像光を生成せず、代わりに、ローカルエリアからの光をアイボックスに透過するレンズである。たとえば、ディスプレイ要素１２０の一方または両方は、補正なしのレンズ（非処方）であるか、または、ユーザの視力の欠損を補正するのを助けるための処方レンズ（たとえば、単焦点、二焦点、および三焦点、または累進多焦点（ｐｒｏｇｒｅｓｓｉｖｅ））であり得る。いくつかの実施形態では、ディスプレイ要素１２０は、太陽からユーザの眼を保護するために、偏光および／または色付けされ得る。

【0032】

いくつかの実施形態では、ディスプレイ要素１２０は追加の光学ブロック（図示せず）を含み得ることに留意されたい。光学ブロックは、ディスプレイ要素１２０からの光をアイボックスに向ける１つまたは複数の光学要素（たとえば、レンズ、フレネルレンズなど）を含み得る。光学ブロックは、たとえば、画像コンテンツの一部または全部における収差を補正するか、画像の一部または全部を拡大するか、あるいはそれらの何らかの組合せを行い得る。

【0033】

ＤＣＡは、ヘッドセット１００の周囲のローカルエリアの一部分についての深度情報を決定する。ＤＣＡは、１つまたは複数のイメージングデバイス１３０と、ＤＣＡコントローラ（図１Ａに図示せず）とを含み、照明器１４０をも含み得る。いくつかの実施形態では、照明器１４０は、ローカルエリアの一部分を光で照明する。光は、たとえば、赤外線（ＩＲ）における構造化光（たとえば、ドットパターン、バーなど）、飛行時間についてのＩＲフラッシュなどであり得る。いくつかの実施形態では、１つまたは複数のイメージングデバイス１３０は、照明器１４０からの光を含むローカルエリアの一部分の画像をキャプチャする。図示のように、図１Ａは、単一の照明器１４０と２つのイメージングデバイス１３０とを示す。代替実施形態では、照明器１４０がなく、少なくとも２つのイメージングデバイス１３０がある。

【0034】

ＤＣＡコントローラは、キャプチャされた画像と１つまたは複数の深度決定技法とを使用して、ローカルエリアの一部分についての深度情報を算出する。深度決定技法は、たとえば、直接飛行時間（ＴｏＦ）深度検知、間接ＴｏＦ深度検知、構造化光、パッシブステレオ分析、アクティブステレオ分析（照明器１４０からの光によってシーンに追加されたテクスチャを使用する）、シーンの深度を決定するための何らかの他の技法、またはそれらの何らかの組合せであり得る。

【0035】

オーディオシステムはオーディオコンテンツを提供する。オーディオシステムは、トランスデューサアレイと、センサーアレイと、オーディオコントローラ１５０とを含む。ただし、他の実施形態では、オーディオシステムは、異なるおよび／または追加の構成要素を含み得る。同様に、いくつかの場合には、オーディオシステムの構成要素に関して説明される機能性は、ここで説明されるものとは異なる様式で構成要素の間で分散され得る。たとえば、オーディオコントローラ１５０の機能の一部または全部が、リモートサーバによって実施され得る。

【0036】

トランスデューサアレイは、ユーザに音を提示する。トランスデューサアレイは、複数のトランスデューサを含む。トランスデューサは、スピーカー１６０または組織トランスデューサ１７０（たとえば、骨伝導トランスデューサまたは軟骨伝導トランスデューサ）であり得る。図１Ａに示されているように、スピーカー１６０は、フレーム１１０に囲まれ得る。いくつかの実施形態では、各耳のための個々のスピーカーの代わりに、ヘッドセット１００は、たとえば、ビームフォーミングアレイ処理を使用して、提示されたオーディオコンテンツの方向性を改善するためにフレーム１１０に組み込まれた複数のスピーカーを備えるスピーカーアレイを含む。組織トランスデューサ１７０は、ユーザの頭部に結合し、ユーザの組織（たとえば、骨または軟骨）を直接振動させて、音を生成する。トランスデューサの数および／またはロケーションは、図１Ａに示されているものとは異なり得る。

【0037】

センサーアレイは、ヘッドセット１００のローカルエリア内の音を検出する。いくつかの実施形態では、センサーアレイは、複数の音響センサー１８０を含む。音響センサー１８０は、ローカルエリア（たとえば、部屋）中の１つまたは複数の音ソースから発せられた音をキャプチャする。各音響センサーは、音を検出し、検出された音を電子フォーマット（アナログまたはデジタル）に変換するように構成される。音響センサー１８０は、音響波センサー、マイクロフォン、音トランスデューサ、または音を検出するのに好適である同様のセンサーであり得る。

【0038】

いくつかの実施形態では、１つまたは複数の音響センサー１８０は、各耳の耳道中に置かれ得る（たとえば、バイノーラルマイクロフォンとして働く）。いくつかの実施形態では、音響センサー１８０は、ヘッドセット１００の外面上に置かれるか、ヘッドセット１００の内面上に置かれるか、ヘッドセット１００とは別個（たとえば、何らかの他のデバイスの一部）であるか、またはそれらの何らかの組合せであり得る。音響センサー１８０の数および／またはロケーションは、図１Ａに示されているものとは異なり得る。たとえば、収集されたオーディオ情報の量ならびにその情報の感度および／または精度を増加させるために、音響検出ロケーションの数が増加され得る。音響検出ロケーションは、マイクロフォンが、ヘッドセット１００を装着しているユーザの周囲の広範囲の方向における音を検出することが可能であるように、配向され得る。

【0039】

いくつかの他の実施形態では、センサーアレイは、複数の振動センサー、たとえば、加速度計を含む。加速度計は、音信号の振幅レベルを制御および／または調整するために使用される振動の加速度に関する情報をキャプチャする。加速度計は、フレーム１１０に埋め込まれ得る。代替的に、加速度計は、トランスデューサ、たとえば、組織トランスデューサ１７０の近傍において組織と接触しているように配置され得る。さらに、組織トランスデューサ１７０（たとえば、軟骨伝導トランスデューサ）が適切なロケーションにあることを保証するために近接度センサーも使用され得る。

【0040】

オーディオコントローラ１５０は、センサーアレイによって検出された音を表す、センサーアレイからの情報を処理する。オーディオコントローラ１５０は、プロセッサとコンピュータ可読記憶媒体とを備え得る。オーディオコントローラ１５０は、到来方向（ＤＯＡ）推定値を生成するか、音響伝達関数（たとえば、アレイ伝達関数および／または頭部伝達関数）を生成するか、音ソースのロケーションを追跡するか、音ソースの方向にビームを形成するか、音ソースを分類するか、スピーカー１６０のための音フィルタを生成するか、またはそれらの何らかの組合せを行うように構成され得る。

【0041】

いくつかの実施形態では、オーディオコントローラ１５０は、たとえば、ユーザにオーディオコンテンツを提示しながら、トランスデューサ（たとえば、組織トランスデューサ１７０）のうちの少なくとも１つの作動を介してヘッドセット１００を装着しているユーザに与えられる触覚コンテンツのレベルを調整するようにトランスデューサアレイを制御する。触覚コンテンツは、概して、オーディオコンテンツの副産物であり、オーディオを作り出す（１つまたは複数の）同じトランスデューサが、触覚コンテンツをも作り出すことができる。オーディオコントローラ１５０は、ユーザへの提示のために異なるモダリティのコンテンツを生成するように構成され得る。オーディオコントローラ１５０は、オーディオのみ、触覚のみ、またはオーディオと触覚との組合せであるコンテンツを生成するように構成され得る。さらに、オーディオコントローラ１５０は、コンテンツがユーザに提示されないように、オーディオコンテンツと触覚コンテンツの両方を軽減するように構成され得る。

【0042】

オーディオコントローラ１５０は、トランスデューサのうちの少なくとも１つの１つまたは複数の作動パラメータを調整することによって、触覚コンテンツを調整し得る。トランスデューサのための作動パラメータは、トランスデューサを作動させるために使用される信号（たとえば、機械的または電気的）であり得る。作動パラメータは、たとえば、電圧、電流、機械的圧力、何らかの他の作動信号、またはそれらの何らかの組合せであり得る。オーディオコントローラ１５０は、触覚性しきい値レベルに対する周波数帯域についての少なくとも１つのトランスデューサの作動パラメータを調整し得る。しきい値レベルを下回る作動パラメータの値は、周波数帯域についての触覚コンテンツの一部分がユーザによって知覚されない作動の範囲に対応し、しきい値レベルにあるかまたはそれを上回る値は、触覚コンテンツの一部分がユーザによって知覚される範囲に対応する。音響センサー１８０は、トランスデューサアレイ、たとえば、組織トランスデューサ１７０および／またはスピーカー１６０によって作り出された音を検出し得る。オーディオコントローラ１５０は、周波数帯域内の検出された音の一部分に基づいて、周波数帯域についての組織トランスデューサ１７０の作動パラメータについての触覚性しきい値レベルを導出し得る。オーディオコントローラ１５０は、次いで、周波数帯域内の触覚コンテンツの一部分の提示のために組織トランスデューサ１７０を作動させるとき、触覚性しきい値レベルを下回るように作動パラメータを調整し得る。

【0043】

いくつかの実施形態では、オーディオコントローラ１５０は、制御された触覚コンテンツがある時間においてユーザによって知覚されるように、ユーザにオーディオコンテンツを提示しながら、トランスデューサ（たとえば、組織トランスデューサ１７０）のうちの少なくとも１つの作動を介してヘッドセット１００を装着しているユーザに与えられる触覚コンテンツを制御する。そのような場合、トランスデューサアレイは、ユーザにオーディオコンテンツおよび制御された触覚コンテンツを提示する。１つまたは複数の実施形態では、オーディオコントローラ１５０は、ユーザにナビゲーション命令を提供するために、制御された触覚コンテンツを使用する。たとえば、オーディオコントローラ１５０は、ユーザにナビゲーション命令を提供するために、ユーザの対応する耳に取り付けられた対応する組織トランスデューサ１７０（たとえば、軟骨伝導トランスデューサ）に触覚コンテンツを適用する。別の実施形態では、オーディオコントローラ１５０は、ユーザに提示されるオーディオコンテンツについての音声了解度を増加させるように触覚コンテンツを制御する。また別の実施形態では、オーディオコントローラ１５０は、定義されたレベルの近接場効果を伴うオーディオコンテンツを生成するように触覚コンテンツを制御する。オーディオシステムのオーディオコントローラ１５０および他の構成要素の動作に関する追加の詳細は、図２Ａ、図３および図４に関して以下で提供される。

【0044】

位置センサー１９０は、ヘッドセット１００の運動に応答して１つまたは複数の測定信号を生成する。位置センサー１９０は、ヘッドセット１００のフレーム１１０の一部分に位置し得る。位置センサー１９０は、慣性測定ユニット（ＩＭＵ）を含み得る。位置センサー１９０の例は、１つまたは複数の加速度計、１つまたは複数のジャイロスコープ、１つまたは複数の磁力計、運動を検出する別の好適なタイプのセンサー、ＩＭＵの誤差補正のために使用されるタイプのセンサー、またはそれらの何らかの組合せを含む。位置センサー１９０は、ＩＭＵの外部に、ＩＭＵの内部に、またはそれらの何らかの組合せで位置し得る。

【0045】

いくつかの実施形態では、ヘッドセット１００は、ヘッドセット１００の位置のための同時位置特定およびマッピング（ＳＬＡＭ）と、ローカルエリアのモデルの更新とを提供し得る。たとえば、ヘッドセット１００は、カラー画像データを生成するパッシブカメラアセンブリ（ＰＣＡ）を含み得る。ＰＣＡは、ローカルエリアの一部または全部の画像をキャプチャする１つまたは複数のＲＧＢカメラを含み得る。いくつかの実施形態では、ＤＣＡのイメージングデバイス１３０の一部または全部が、ＰＣＡとしても機能し得る。ＰＣＡによってキャプチャされた画像と、ＤＣＡによって決定された深度情報とは、ローカルエリアのパラメータを決定するか、ローカルエリアのモデルを生成するか、ローカルエリアのモデルを更新するか、またはそれらの何らかの組合せを行うために使用され得る。さらに、位置センサー１９０は、部屋内のヘッドセット１００の位置（たとえば、ロケーションおよび姿勢）を追跡する。ヘッドセット１００の構成要素に関する追加の詳細は、図５に関して以下で説明される。

【0046】

図１Ｂは、１つまたは複数の実施形態による、ＨＭＤとして実装されるヘッドセット１０５の斜視図である。ＡＲシステムおよび／またはＭＲシステムについて説明する実施形態では、ＨＭＤの前側の部分は、可視帯域（約３８０ｎｍ～７５０ｎｍ）内で少なくとも部分的に透明であり、ＨＭＤの前側とユーザの眼との間にあるＨＭＤの部分は、少なくとも部分的に透明である（たとえば、部分的に透明な電子ディスプレイ）。ＨＭＤは、前面剛体１１５とバンド１７５とを含む。ヘッドセット１０５は、図１Ａを参照しながら上記で説明された同じ構成要素の多くを含むが、ＨＭＤフォームファクタと一体化するように修正される。たとえば、ＨＭＤは、ディスプレイアセンブリと、ＤＣＡと、オーディオシステムと、位置センサー１９０とを含む。図１Ｂは、照明器１４０と、複数のスピーカー１６０と、複数のイメージングデバイス１３０と、複数の音響センサー１８０と、位置センサー１９０とを示す。

【0047】

図２Ａは、１つまたは複数の実施形態による、オーディオシステム２００のブロック図である。図１Ａまたは図１Ｂ中のオーディオシステムは、オーディオシステム２００の一実施形態であり得る。オーディオシステム２００は、ユーザのための１つまたは複数の音響伝達関数を生成する。オーディオシステム２００は、次いで、ユーザのためのオーディオコンテンツを生成するために１つまたは複数の音響伝達関数を使用し得る。図２Ａの実施形態では、オーディオシステム２００は、トランスデューサアレイ２１０と、センサーアレイ２２０と、オーディオコントローラ２３０とを含む。オーディオシステム２００のいくつかの実施形態は、ここで説明されるものとは異なる構成要素を有する。同様に、いくつかの場合には、機能は、ここで説明されるものとは異なる様式で構成要素の間で分散され得る。

【0048】

トランスデューサアレイ２１０は、コンテンツを提示するように構成される。提示されたコンテンツは、オーディオコンテンツ、触覚コンテンツ、またはそれらの何らかの組合せであり得る。トランスデューサアレイ２１０は、複数のトランスデューサを含む。トランスデューサは、コンテンツ、たとえば、オーディオコンテンツ、触覚コンテンツ、またはそれらの何らかの組合せを提供するデバイスである。トランスデューサは、たとえば、スピーカー（たとえば、スピーカー１６０）、組織トランスデューサ（たとえば、組織トランスデューサ１７０）、コンテンツを提供する何らかの他のデバイス、またはそれらの何らかの組合せであり得る。組織トランスデューサは、骨伝導トランスデューサまたは軟骨伝導トランスデューサとして機能するように構成され得る。トランスデューサアレイ２１０は、空気伝導を介して（たとえば、１つまたは複数のスピーカーを介して）、骨伝導を介して（１つまたは複数の骨伝導トランスデューサを介して）、軟骨伝導オーディオシステムを介して（１つまたは複数の軟骨伝導トランスデューサを介して）、またはそれらの何らかの組合せでコンテンツを提示し得る。いくつかの実施形態では、トランスデューサアレイ２１０は、周波数範囲の異なる部分をカバーするための１つまたは複数のトランスデューサを含み得る。たとえば、周波数範囲の第１の部分をカバーするために圧電トランスデューサが使用され得、周波数範囲の第２の部分をカバーするために可動コイルトランスデューサが使用され得る。

【0049】

骨伝導トランスデューサは、ユーザの頭部における骨／組織を振動させることによって音響圧力波を生成する。骨伝導トランスデューサは、ヘッドセットの一部分に結合され得、耳介の後ろでユーザの頭蓋骨の一部分に結合されるように構成され得る。骨伝導トランスデューサは、オーディオコントローラ２３０から振動命令を受信し、受信された命令に基づいてユーザの頭蓋骨の一部分を振動させる。骨伝導トランスデューサからの振動は、鼓膜を迂回して、ユーザの蝸牛のほうへ伝搬する組織伝搬音響圧力波を生成する。

【0050】

軟骨伝導トランスデューサは、ユーザの耳の耳介軟骨の１つまたは複数の部分を振動させることによって音響圧力波を生成する。軟骨伝導トランスデューサは、ヘッドセットの一部分に結合され得、耳の耳介軟骨の１つまたは複数の部分に結合されるように構成され得る。たとえば、軟骨伝導トランスデューサは、ユーザの耳の耳介の背面に結合し得る。軟骨伝導トランスデューサは、外耳の周りの耳介軟骨に沿ったどこか（たとえば、耳殻、耳珠、耳介軟骨の何らかの他の部分、またはそれらの何らかの組合せ）に位置し得る。耳介軟骨の１つまたは複数の部分を振動させることは、耳道外の空気伝搬音響圧力波、耳道のいくつかの部分を振動させ、それにより、耳道内に空気伝搬音響圧力波を生成させる、組織伝搬音響圧力波、またはそれらの何らかの組合せを生成し得る。生成された空気伝搬音響圧力波は、耳道に沿って鼓膜のほうへ伝搬する。

【0051】

トランスデューサアレイ２１０は、オーディオコントローラ２３０からの命令に従ってコンテンツを生成する。いくつかの実施形態では、コンテンツが空間化される。空間化されたコンテンツは、特定の方向および／またはターゲット領域（たとえば、ローカルエリア中のオブジェクトおよび／または仮想オブジェクト）から発生するように思われるコンテンツである。たとえば、空間化されたコンテンツは、オーディオシステム２００のユーザから部屋の向こうの仮想歌手から音が発生しているように思わせることができる。トランスデューサアレイ２１０は、ウェアラブルデバイス（たとえば、ヘッドセット１００またはヘッドセット１０５）に結合され得る。代替実施形態では、トランスデューサアレイ２１０は、ウェアラブルデバイスとは別個である（たとえば、外部コンソールに結合された）複数のスピーカーであり得る。

【0052】

センサーアレイ２２０は、センサーアレイ２２０の周囲のローカルエリア内の音を検出する。センサーアレイ２２０は、各々音波の空気圧力変動を検出し、検出された音を電子フォーマット（アナログまたはデジタル）に変換する、複数の音響センサーを含み得る。複数の音響センサーは、ヘッドセット（たとえば、ヘッドセット１００および／またはヘッドセット１０５）上に、ユーザ上に（たとえば、ユーザの耳道中に）、ネックバンド上に、またはそれらの何らかの組合せで配置され得る。音響センサーは、たとえば、マイクロフォン、振動センサー、加速度計、またはそれらの任意の組合せであり得る。いくつかの実施形態では、センサーアレイ２２０は、複数の音響センサーのうちの少なくともいくつかを使用して、トランスデューサアレイ２１０によって生成されたオーディオコンテンツを監視するように構成される。センサーの数を増加させることは、トランスデューサアレイ２１０によって作り出された音場および／またはローカルエリアからの音を表す情報（たとえば、方向性）の精度を改善し得る。いくつかの実施形態では、センサーアレイ２２０の少なくとも１つのセンサーが、機械受容器がアクティブであるときにニューロンの発火を検知するように構成された非侵襲性電極またはユーザの組織内のインプラントとして実装され得る。センサーアレイ２２０の（１つまたは複数の）そのような実装されたセンサーは、ユーザからのいかなる手動フィードバックもなしに、ユーザの触覚感覚を検出することができる。

【0053】

オーディオコントローラ２３０は、オーディオシステム２００の動作を制御する。図２Ａの実施形態では、オーディオコントローラ２３０は、データストア２３５と、ＤＯＡ推定モジュール２４０と、伝達関数モジュール２５０と、追跡モジュール２６０と、ビームフォーミングモジュール２７０と、音フィルタモジュール２８０と、触覚性制御モジュール２８５とを含む。オーディオコントローラ２３０は、いくつかの実施形態では、ヘッドセット内に位置し得る。オーディオコントローラ２３０のいくつかの実施形態は、ここで説明されるものとは異なる構成要素を有する。同様に、機能は、ここで説明されるものとは異なる様式で構成要素の間で分散され得る。たとえば、コントローラのいくつかの機能が、ヘッドセットの外部で実施され得る。

【0054】

データストア２３５は、オーディオシステム２００による使用のためのデータを記憶する。データストア２３５中のデータは、オーディオシステム２００のローカルエリアにおいて録音された音、コンテンツ（すなわち、オーディオコンテンツ、触覚コンテンツ、またはそれらの組合せ）、頭部伝達関数（ＨＲＴＦ）、１つまたは複数のセンサーのための伝達関数、音響センサーのうちの１つまたは複数のためのアレイ伝達関数（ＡＴＦ）、音ソースロケーション、ローカルエリアの仮想モデル、到来方向推定値、音フィルタ、１つまたは複数の知覚モデル、作動パラメータ、およびオーディオシステム２００による使用のために関連する他のデータ、またはそれらの任意の組合せを含み得る。

【0055】

トランスデューサアレイ２１０を介してユーザにコンテンツを提示するとき、触覚コンテンツのレベルを調整するために、データストア２３５に記憶された知覚モデルが、たとえば、触覚性制御モジュール２８５によって使用され得る。知覚モデルは、トランスデューサアレイ２１０中の１つまたは複数のトランスデューサを作動させるための周波数（または周波数帯域）の関数としての少なくとも１つの作動パラメータ（たとえば、入力電圧、入力電流など）についての触覚性しきい値レベルに関する情報を含み得る。周波数帯域についてのしきい値レベルを下回る作動パラメータの値は、周波数帯域についての触覚コンテンツの一部分がユーザによって知覚されない作動の範囲に対応し、しきい値レベルにあるかまたはそれを上回る値は、触覚コンテンツの一部分がユーザによって知覚される範囲に対応する。データストア２３５中の各知覚モデルが、特定のユーザおよび／または特定の音響環境（たとえば、屋内環境、屋外環境、空の部屋、占有された部屋など）について固有であり得る。代替的に、データストア２３５中の単一の知覚モデルが、複数のユーザおよび／または複数の音響環境について共通であり得る。いくつかの実施形態では、オーディオシステム２００が位置する特定のユーザおよび／または特定の音響環境についてトランスデューサアレイ２１０の較正を実施することによって、データストア２３５中の知覚モデルが、たとえば、触覚性制御モジュール２８５によって取得され得る。

【0056】

ＤＯＡ推定モジュール２４０は、センサーアレイ２２０からの情報に部分的に基づいて、ローカルエリアにおける音ソースの位置を特定するように構成される。位置特定は、オーディオシステム２００のユーザに対して音ソースがどこに位置するかを決定するプロセスである。ＤＯＡ推定モジュール２４０は、ローカルエリア内の１つまたは複数の音ソースの位置を特定するためにＤＯＡ分析を実施する。ＤＯＡ分析は、音が発生した方向を決定するために、センサーアレイ２２０において、各音の強度、スペクトル、および／または到来時間を分析することを含み得る。いくつかの場合には、ＤＯＡ分析は、オーディオシステム２００が位置する周囲音響環境を分析するための任意の好適なアルゴリズムを含み得る。

【0057】

たとえば、ＤＯＡ分析は、センサーアレイ２２０から入力信号を受信し、入力信号にデジタル信号処理アルゴリズムを適用して、到来方向を推定するように設計され得る。これらのアルゴリズムは、たとえば、入力信号がサンプリングされ、サンプリングされた信号の得られた重み付けおよび遅延されたバージョンが、ＤＯＡを決定するために一緒に平均化される、遅延和アルゴリズムを含み得る。適応フィルタを作成するために、最小２乗平均（ＬＭＳ：ｌｅａｓｔ ｍｅａｎ ｓｑｕａｒｅｄ）アルゴリズムも実装され得る。この適応フィルタは、次いで、たとえば信号強度の差、または到来時間の差を識別するために使用され得る。これらの差は、次いで、ＤＯＡを推定するために使用され得る。別の実施形態では、ＤＯＡは、入力信号を周波数ドメインに変換し、処理すべき時間周波数（ＴＦ）ドメイン内の特定のビンを選択することによって決定され得る。各選択されたＴＦビンは、そのビンが、直接経路オーディオ信号をもつオーディオスペクトルの一部分を含むかどうかを決定するために、処理され得る。直接経路信号の一部分を有するビンは、次いで、センサーアレイ２２０が直接経路オーディオ信号を受信した角度を識別するために、分析され得る。決定された角度は、次いで、受信された入力信号についてのＤＯＡを識別するために使用され得る。上記に記載されていない他のアルゴリズムも、ＤＯＡを決定するために、単独でまたは上記のアルゴリズムと組み合わせて使用され得る。

【0058】

いくつかの実施形態では、ＤＯＡ推定モジュール２４０は、ローカルエリア内のオーディオシステム２００の絶対位置に関するＤＯＡをも決定し得る。センサーアレイ２２０の位置は、外部システム（たとえば、ヘッドセット、人工現実コンソール、マッピングサーバ、位置センサー（たとえば、位置センサー１９０）などの何らかの他の構成要素）から受信され得る。外部システムは、ローカルエリアとオーディオシステム２００の位置とがマッピングされる、ローカルエリアの仮想モデルを作成し得る。受信された位置情報は、オーディオシステム２００の一部または全部（たとえば、センサーアレイ２２０）のロケーションおよび／または配向を含み得る。ＤＯＡ推定モジュール２４０は、受信された位置情報に基づいて、推定されたＤＯＡを更新し得る。

【0059】

伝達関数モジュール２５０は、１つまたは複数の音響伝達関数を生成するように構成される。概して、伝達関数は、各可能な入力値についての対応する出力値を与える数学関数である。検出された音のパラメータに基づいて、伝達関数モジュール２５０は、オーディオシステムに関連する１つまたは複数の音響伝達関数を生成する。音響伝達関数は、アレイ伝達関数（ＡＴＦ）、頭部伝達関数（ＨＲＴＦ）、他のタイプの音響伝達関数、またはそれらの何らかの組合せであり得る。ＡＴＦは、マイクロフォンが空間中の点からどのように音を受信するかを特徴づける。

【0060】

ＡＴＦは、音とセンサーアレイ２２０中の音響センサーによって受信された対応する音との間の関係を特徴づけるいくつかの伝達関数を含む。したがって、音ソースについて、センサーアレイ２２０中の音響センサーの各々についての対応する伝達関数がある。また、まとめて、伝達関数のセットはＡＴＦと呼ばれる。音ソースは、たとえば、ローカルエリアにおける音を生成する誰かまたは何か、ユーザ、あるいはトランスデューサアレイ２１０の１つまたは複数のトランスデューサであり得ることに留意されたい。センサーアレイ２２０に対する特定の音ソースロケーションについてのＡＴＦは、音が人の耳に進むときに音に影響を及ぼす人の解剖学的構造（たとえば、耳形状、肩など）により、ユーザによって異なり得る。したがって、センサーアレイ２２０のＡＴＦは、オーディオシステム２００の各ユーザのために個人化される。

【0061】

いくつかの実施形態では、伝達関数モジュール２５０は、オーディオシステム２００のユーザのための１つまたは複数のＨＲＴＦを決定する。ＨＲＴＦは、耳が空間中の点からどのように音を受信するかを特徴づける。人に対する特定のソースロケーションについてのＨＲＴＦは、音が人の耳に進むときに音に影響を及ぼす人の解剖学的構造（たとえば、耳形状、肩など）により、人の各耳に固有である（および人に固有である）。いくつかの実施形態では、伝達関数モジュール２５０は、較正プロセスを使用してユーザのためのＨＲＴＦを決定し得る。いくつかの実施形態では、伝達関数モジュール２５０は、ユーザに関する情報をリモートシステムに提供し得る。リモートシステムは、たとえば、機械学習を使用して、ユーザにカスタマイズされたＨＲＴＦのセットを決定し、ＨＲＴＦのカスタマイズされたセットをオーディオシステム２００に提供する。

【0062】

追跡モジュール２６０は、１つまたは複数の音ソースのロケーションを追跡するように構成される。追跡モジュール２６０は、現在のＤＯＡ推定値を比較し、それらを、前のＤＯＡ推定値の記憶された履歴と比較し得る。いくつかの実施形態では、オーディオシステム２００は、１秒当たり１回、または１ミリ秒当たり１回など、周期的スケジュールでＤＯＡ推定値を再計算し得る。追跡モジュールは、現在のＤＯＡ推定値を前のＤＯＡ推定値と比較し得、音ソースについてのＤＯＡ推定値の変化に応答して、追跡モジュール２６０は、音ソースが移動したと決定し得る。いくつかの実施形態では、追跡モジュール２６０は、ヘッドセットまたは何らかの他の外部ソースから受信された視覚情報に基づいてロケーションの変化を検出し得る。追跡モジュール２６０は、経時的に１つまたは複数の音ソースの移動を追跡し得る。追跡モジュール２６０は、各時点において音ソースの数と各音ソースのロケーションとについての値を記憶し得る。音ソースの数またはロケーションの値の変化に応答して、追跡モジュール２６０は、音ソースが移動したと決定し得る。追跡モジュール２６０は、位置特定分散（ｌｏｃａｌｉｚａｔｉｏｎ ｖａｒｉａｎｃｅ）の推定値を計算し得る。位置特定分散は、移動の変化の各決定についての信頼性レベルとして使用され得る。

【0063】

ビームフォーミングモジュール２７０は、あるエリア内の音ソースからの音を選択的に強調するが、他のエリアからの音を強調しないように、１つまたは複数のＡＴＦを処理するように構成される。センサーアレイ２２０によって検出された音を分析する際に、ビームフォーミングモジュール２７０は、ローカルエリアの特定の領域からの関連する音を強調するが、領域の外側からのものである音を強調しないために、異なる音響センサーからの情報を組み合わせ得る。ビームフォーミングモジュール２７０は、たとえば、ＤＯＡ推定モジュール２４０および追跡モジュール２６０からの異なるＤＯＡ推定値に基づいて、ローカルエリアにおける他の音ソースから、特定の音ソースからの音に関連するオーディオ信号を切り離し得る。したがって、ビームフォーミングモジュール２７０は、ローカルエリアにおける個別の音ソースを選択的に分析し得る。いくつかの実施形態では、ビームフォーミングモジュール２７０は、音ソースからの信号を拡張し得る。たとえば、ビームフォーミングモジュール２７０は、いくつかの周波数を上回る信号、それらを下回る信号、またはそれらの間の信号を除去する、音フィルタを適用し得る。信号拡張は、センサーアレイ２２０によって検出された他の音に対して所与の識別された音ソースに関連する音を拡張するように働く。

【0064】

音フィルタモジュール２８０は、トランスデューサアレイ２１０のための音フィルタを決定する。いくつかの実施形態では、音フィルタは、オーディオコンテンツがターゲット領域から発生するように思われるように、オーディオコンテンツが空間化されることを引き起こす。音フィルタモジュール２８０は、音フィルタを生成するためにＨＲＴＦおよび／または音響パラメータを使用し得る。音響パラメータは、ローカルエリアの音響プロパティを表す。音響パラメータは、たとえば、残響時間、残響レベル、室内インパルス応答などを含み得る。いくつかの実施形態では、音フィルタモジュール２８０は、音響パラメータのうちの１つまたは複数を計算する。いくつかの実施形態では、音フィルタモジュール２８０は、（たとえば、図５に関して以下で説明されるように）マッピングサーバに音響パラメータを要求する。

【0065】

音フィルタモジュール２８０は、トランスデューサアレイ２１０に音フィルタを提供する。いくつかの実施形態では、音フィルタは、周波数に応じて音の正または負の増幅を引き起こし得る。

【0066】

いくつかの実施形態では、触覚性制御モジュール２８５は、トランスデューサアレイ２１０を介してユーザにコンテンツを提示しながら、トランスデューサアレイ２１０中の少なくとも１つのトランスデューサ（たとえば、軟骨伝導トランスデューサ）の作動を介してユーザに与えられる触覚コンテンツのレベルを調整するようにトランスデューサアレイ２１０を制御する。コンテンツは、オーディオコンテンツのみ、触覚コンテンツのみ、またはオーディオコンテンツと触覚コンテンツとの組合せを含むことができる。オーディオコンテンツのみを配信するために、触覚性制御モジュール２８５は、周波数帯域についての触覚コンテンツの一部分がユーザによって知覚されないように、周波数帯域についての少なくとも１つのトランスデューサの作動パラメータ（たとえば、入力信号レベル）を触覚性しきい値レベルを下回るように調整し得る。触覚性しきい値レベルを下回る作動パラメータの値は、周波数帯域についての触覚コンテンツの一部分がユーザによって知覚されない作動の範囲に対応し、触覚性しきい値レベルにあるかまたはそれを上回る値は、触覚コンテンツの一部分がユーザによって知覚される範囲に対応することに留意されたい。

【0067】

１つまたは複数の実施形態では、触覚性制御モジュール２８５は、たとえば、トランスデューサ感度に基づいて、固定作動しきい値手法を適用することによって触覚コンテンツのレベルを調整する。トランスデューサ感度は、トランスデューサを介してユーザに配信される音圧波の複数の周波数帯域についての作動パラメータ（すなわち、入力電圧など、作動入力信号のレベル）と出力音圧との間の伝達関数として定義され得る。オーディオのみのコンテンツの場合、周波数帯域は、たとえば、ほぼ２０Ｈｚから２０，０００Ｈｚの間の、人間的に知覚される音響スペクトルをカバーする一般的な周波数帯域である。触覚のみのコンテンツの場合、周波数帯域は、機械受容器が、主に、たとえば、５００Ｈｚを下回る周波数について敏感であるので、低い周波数、たとえば、ほぼ５００Ｈｚを下回る周波数に限定される。トランスデューサアレイ２１０中のトランスデューサの感度が、経時的におよび複数のユーザにわたって（たとえば、経時的におよび複数のユーザにわたって）一定である場合、触覚性制御モジュール２８５は、たとえば、人間によって知覚される音響スペクトルをカバーする複数の周波数帯域の各定義された周波数帯域における作動パラメータ（たとえば、作動信号）についての固定触覚性しきい値レベルを導出し得る。触覚性制御モジュール２８５は、導出された触覚性しきい値レベルに関連する特定の周波数帯域についての触覚性感覚を回避するために、トランスデューサアレイ２１０中の少なくとも１つのトランスデューサの作動のための作動パラメータのレベルが、導出された触覚性しきい値レベルを下回ることを保証するために、たとえば、標準ダイナミックレンジ圧縮方式を適用し得る。

【0068】

いくつかの実施形態では、センサーアレイ２２０は、トランスデューサアレイ２１０中の少なくとも１つのトランスデューサが、周波数帯域のセットについての初期値のセットを有する作動パラメータを介して作動させられたとき、トランスデューサアレイ２１０によって作り出された音（すなわち、オーディオ／触覚を含むコンテンツ）を検出する。触覚性制御モジュール２８５は、周波数帯域内の検出された音の一部分に基づいて、そのセット中の各周波数帯域についての作動パラメータについての触覚性しきい値レベルを導出し得る。周波数帯域内の検出されたコンテンツの部分は、（たとえば、周波数帯域についての作動パラメータの初期値およびユーザの知覚に応じて）周波数帯域についてユーザによって知覚されるのに十分である触覚コンテンツの最小レベルよりも大きいかまたはそれよりも小さくなり得るある量の触覚性コンテンツを含み得る。触覚性制御モジュール２８５は、たとえば、周波数帯域についての作動パラメータの初期値に対して作動パラメータのレベルを調整することによって、周波数帯域についてのトランスデューサアレイ２１０によって作り出されたコンテンツの一部分が、ほぼ最小レベルの触覚コンテンツを含むように、周波数帯域についての作動パラメータについての触覚性しきい値レベルを決定し得る。触覚性制御モジュール２８５は、次いで、ユーザにコンテンツ（すなわち、オーディオのみ、触覚のみ、またはオーディオと触覚との組合せ）を提示しながら少なくとも１つのトランスデューサを作動させるとき、触覚性しきい値レベルに対して作動パラメータを調整し得る。作動パラメータが触覚性しきい値レベルにあるかまたはそれを上回るとき、周波数帯域についての触覚コンテンツの一部分がユーザによって知覚される。そうではなく、作動パラメータが触覚性しきい値レベルよりも低い場合、周波数帯域についての触覚コンテンツの一部分がユーザによって知覚されない。

【0069】

触覚性制御モジュール２８５は、データストア２３５からの知覚モデルを使用することによって、触覚性しきい値レベルに対する周波数帯域についての少なくとも１つのトランスデューサの作動パラメータを調整することによって触覚コンテンツのレベルを調整し得る。知覚モデルは、複数のユーザおよび／または音響環境について共通であり得る。代替的に、データストア２３５中の各知覚モデルが、各ユーザおよび／または音響環境について固有であり得る。代替的に、知覚モデルが、人々の特定のグループについて固有であり得、たとえば、ある知覚モデルが高齢者に好適であり得、別の知覚モデルが若者に好適であり得る。触覚性制御モジュール２８５は、トランスデューサアレイ２１０中の少なくとも１つのトランスデューサを較正することによって、特定のユーザおよび／または音響環境のための知覚モデルを生成し得る。較正中に、触覚性制御モジュール２８５は、周波数帯域の各々についての触覚コンテンツの知覚されるレベルに関するユーザからのフィードバック応答に基づいて、複数の周波数帯域についての触覚性しきい値レベルを決定する。たとえば、ユーザは、知覚モデルが生成される特定の音響環境中に位置し得る。１つまたは複数の実施形態では、知覚された触覚コンテンツに関するユーザの手動フィードバックに依拠する代わりに、触覚性感覚が、たとえば、ユーザのニューロンの発火を検知することが可能な、非侵襲性電極および／またはユーザの組織内のインプラントとして実装される、センサーアレイ２２０の１つまたは複数のセンサーによって自動的に検出され得る。

【0070】

いくつかの実施形態では、触覚性制御モジュール２８５は、定義されたしきい値周波数を下回る周波数帯域内のセンサーアレイ２２０によって検出された音の一部分に基づいて、ユーザのためのトランスデューサアレイ２１０中の最小１つのトランスデューサの感度のレベルを推定する。触覚性制御モジュール２８５は、次いで、周波数帯域についての推定されたトランスデューサ感度に基づいて、周波数帯域についての少なくとも１つのトランスデューサの作動パラメータについての触覚性しきい値レベル（たとえば、入力電圧または何らかの他の作動信号のレベル）を導出し得る。触覚性制御モジュール２８５は、たとえば、周波数帯域についての触覚コンテンツの一部分がユーザによって知覚されないように、触覚性しきい値レベルを下回るように作動パラメータを調整する。代替的に、触覚性制御モジュール２８５は、周波数帯域についての触覚コンテンツの特定のレベルがユーザによって知覚されるように、触覚性しきい値レベルにあるかまたはそれを上回るように作動パラメータを調整する。

【0071】

触覚コンテンツのレベルを調整するためのこの特定の手法は、入力電圧しきい値が、たとえば、ユーザごとにおよび／または経時的に変動することがある推定されたトランスデューサ感度に基づいて調整されるので、適応入力電圧しきい値手法と呼ばれることがある。１つまたは複数の実施形態では、トランスデューサアレイ２１０中の少なくとも１つのトランスデューサの感度が、ユーザごとに変動するが、経時的に変動しないとき、触覚性制御モジュール２８５は、定義された周波数帯域についてのトランスデューサ感度、すなわち、各周波数帯域についての出力音圧と入力電圧との間の関数関係を測定するために、たとえば、インイヤーマイクロフォンを利用することによって、各ユーザについてワンタイム較正を適用し得る。測定されたトランスデューサ感度に基づいて、触覚性制御モジュール２８５は、次いで、周波数帯域についての触覚コンテンツの一部分を知覚するようにまたは知覚しないように、少なくとも１つのトランスデューサを作動させるための作動パラメータについての触覚性しきい値レベルを導出し得る。トランスデューサアレイ２１０中の少なくとも１つのトランスデューサの感度が同様に経時的に変動する場合、触覚性制御モジュール２８５は、特定の周波数帯域についての触覚性しきい値レベルを更新するために、定義された時間期間中に特定の回数、較正プロセスを繰り返すように構成され得る。

【0072】

１つまたは複数の他の実施形態では、インイヤーマイクロフォンの代わりに、軟骨伝導トランスデューサのいくつかの固有のプロパティが、眼鏡のフレーム上のマイクロフォン、たとえば、図１Ａのフレーム１１０上に付けられた音響センサー１８０を使用して較正を実施するために活用され得る。たとえば、説明されるように、トランスデューサアレイ２１０中の１つまたは複数のトランスデューサが軟骨伝導トランスデューサとして実装され得る。触覚性感覚は、一般に、低周波数帯域中で生じる。軟骨伝導トランスデューサが、たとえば、ユーザの耳の耳介軟骨との良好な接触を有する場合、空気中の音響圧力波の放射パターンは、主に指向性である。しかしながら、軟骨伝導トランスデューサと耳介軟骨との間の直接接触がない場合、空気中の音響圧力波の放射パターンは、むしろ全方向性であり得る。したがって、触覚性制御モジュール２８５は、トランスデューサアレイ２１０の軟骨伝導トランスデューサの両側上のマイクロフォン（たとえば、音響センサー１８０）からの信号を比較することによって、低周波数帯域中のトランスデューサ感度を推定することが可能であり得る。

【0073】

いくつかの実施形態では、感度ベース較正の代わりに、触覚性制御モジュール２８５は、異なる入力信号（たとえば、電圧）における触覚性感覚に関するユーザのフィードバックに基づいて、周波数の範囲についての入力信号しきい値曲線を測定するように構成され得る。ユーザの手動フィードバックの代わりに、触覚性感覚が、たとえば、非侵襲性電極および／またはユーザの組織内のインプラントとして実装され、機械受容器がアクティブであるときにニューロンの発火を検知するように構成された、センサーアレイ２２０の１つまたは複数のセンサーによって検出され得る。触覚性制御モジュール２８５は、ユーザにおいて検出された触覚性感覚に基づいて、周波数の範囲についてのトランスデューサアレイ２１０中の少なくとも１つのトランスデューサの作動パラメータについての触覚性しきい値レベルを導出し得る。触覚性制御モジュール２８５は、触覚コンテンツの少なくとも一部分がユーザによって知覚されないように、少なくとも１つのトランスデューサについての作動パラメータをしきい値レベルを下回るように調整し得る。

【0074】

いくつかの実施形態では、センサーアレイ２２０の少なくとも１つのセンサー（たとえば、マイクロフォンおよび／または加速度計）が、ユーザにオーディオ信号を提示するとき、トランスデューサアレイ２１０中の少なくとも１つのトランスデューサによって生成された音圧および／または加速度を監視する。触覚性制御モジュール２８５は、次いで、特定の周波数についてのオーディオコンテンツの振幅がしきい値レベルを下回るように、音圧および加速度の少なくとも一方または両方に基づいて、ユーザに提示されたオーディオコンテンツを制御し得る。（触覚性）しきい値レベルを下回る振幅の値は、周波数についての触覚コンテンツの一部分がユーザによって知覚されないオーディオコンテンツに対応し、しきい値レベルにあるかまたはそれを上回る値は、触覚コンテンツの一部分がユーザによって知覚されるオーディオコンテンツに対応する。したがって、そのような場合、触覚性制御モジュール２８５は、センサーアレイ２２０とともに、触覚なしオーディオコンテンツを達成するためにトランスデューサアレイ２１０のアクティブ制御を実施する。一実施形態では、周波数（または周波数帯域）についての触覚性感覚についてのしきい値レベルが、たとえば、平均触覚性しきい値曲線が対象のグループについて取得されたユーザスタディから取得され得る。別の実施形態では、ユーザが、たとえば、聴覚およびオーディオメーター適用例と実質的に同様の、それ自身のカスタム触覚性しきい値曲線を作成することができる適用例を使用して、周波数（または周波数帯域）についての触覚性感覚についてのしきい値レベルが取得され得る。

【0075】

本開示のいくつかの実施形態によれば、オーディオシステム２００の１つの目的は、触覚刺激を通してオーディオ体験を増補することであり得る。オーディオ信号を配信するための、耳の耳殻における１つまたは複数の軟骨伝導トランスデューサをもつトランスデューサアレイ２１０を有するオーディオシステム２００の場合、１つまたは複数の軟骨伝導トランスデューサは、触覚感覚をも作り出し得る。触覚感覚は、オーディオ配信の副産物であり得る。代替的に、触覚感覚は、触覚のみの信号、たとえば、定義されたしきい値を下回る振幅をもつ信号としてアクティブに制御され得る。

【0076】

いくつかの実施形態では、触覚性制御モジュール２８５は、視覚を混乱させることなしに、または他のオーディオコンテンツ、たとえば、通話を中断することなしに、ナビゲーション信号を配信するために、トランスデューサアレイ２１０中の少なくとも１つのトランスデューサの作動を介してユーザに与えられる触覚コンテンツを制御する。ナビゲーション情報を伴う制御された触覚コンテンツは、ユーザに配信される唯一のコンテンツであり得るか、またはオーディオコンテンツとともに配信され得る。１つまたは複数の実施形態では、運転者の対応する耳に結合された少なくとも１つの軟骨伝導に適用される触覚信号が、適切なナビゲーション命令を提供することができる。たとえば、右耳上の鳴動が、右折命令を伝え得、左耳上の鳴動が、左折命令を伝え得、両方の耳上の鳴動が、「直進運転」命令を伝え得る。鳴動は、間欠的または連続的であり得る。一実施形態では、鳴動は、弱く開始し、ユーザが、曲がるべきである交差点のより近くに移動するにつれて、より強くなり得る。対応する耳に適用される（たとえば、経時的に弱くなる）断続する鳴動は、ユーザが曲がり損ねたという情報を伝え得る。触覚性制御モジュール２８５は、たとえば、ユーザのモバイルデバイス上で利用可能なサードパーティナビゲーションアプリからのユーザロケーションおよび移動方向に関する情報を有し得る。代替的に、触覚性制御モジュール２８５は、ロケーションを活用し、マッピングサーバからマッピングし得、マッピングサーバは、触覚コンテンツを適宜に制御する触覚性制御モジュール２８５へのナビゲーション命令を生成し、提供し得る。

【0077】

いくつかの他の実施形態では、触覚性制御モジュール２８５は、たとえば、オーディオコンテンツとともに、ユーザに提示される触覚コンテンツを制御することによって音声了解度を拡張する。たとえば、触覚刺激が、「ｂ」および「ｐ」のような無気音音節（ｎｏｎ－ａｓｐｉｒａｔｅｄ ｓｙｌｌａｂｌｅ）の聴覚を改善するために配信され得る。そのような場合、触覚刺激は、たとえば、聴覚を増補するための振動触覚インターフェースによって配信され得る。

【0078】

いくつかの他の実施形態では、アクティブに制御される触覚信号は、近接場効果を作り出すために使用され得る。触覚性制御モジュール２８５は、触覚コンテンツを制御することによって、定義されたレベルの近接場効果を伴うオーディオコンテンツを生成するように構成され得る。一実施形態では、触覚性制御モジュール２８５は、耳の周りでブンブン飛ぶ仮想蚊のより現実的な知覚対象（ｐｅｒｃｅｐｔ）としての近接場効果を作り出すように触覚コンテンツを制御し得る。別の実施形態では、触覚性制御モジュール２８５は、ユーザの耳の近くでささやく誰か、たとえば、何らかの他の人または仮想アシスタントの呼吸としての近接場効果を作り出すように触覚コンテンツを制御し得る。

【0079】

一般に、聴力（すなわち、聞く行為）は、音声知覚のためにタッチと統合される。たとえば、「ｂ」のような無気音音節は、首または手首上の空気パフ（ａｉｒ－ｐｕｆｆ）と同期されたとき、有気音（ａｓｐｉｒａｔｅｄ）「ｐ」として聞かれる可能性が高くなる。現実のシナリオでは、聴覚を増補するために、触覚刺激が、空気パフの代わりに振動触覚インターフェースによって配信され得る。雑音が多い環境では、たとえば、音声知覚を改善するために、慎重に配信された触覚刺激が使用され得る。したがって、好ましいレベルの触覚刺激を配信するために、触覚性制御モジュール２８５は、ユーザが注意を払っている音声信号を復号するために自然言語処理（ＮＬＰ）を実施し得る。次いで、触覚性制御モジュール２８５は、復号された音声信号に基づいて適宜に触覚刺激を調節し得る。

【0080】

いくつかの実施形態では、触覚刺激は、聴力のために設計されたデバイスによっても配信され得る。たとえば、トランスデューサアレイ２１０中の軟骨および骨伝導トランスデューサが、触覚感覚を誘起する（たとえば、特に周波数スペクトルのローエンドにおける）振動を配信し得る。そのような寄生信号は、音声知覚を増補するためにも活用され得る。触覚性制御モジュール２８５は、触覚感覚の強度を増加させるかまたは低減するために、たとえば、スペクトルのローエンドを、「ｐ」をより理解可能にするために高め、それを「ｂ」のために低減するために、特定の音響信号のスペクトルコンテンツを変えることによって、ユーザへの提示のために触覚コンテンツを制御し得る。１つまたは複数の実施形態では、触覚性制御モジュール２８５は、たとえば、データストア２３５に記憶され、センサーアレイ２２０によって検出された音に少なくとも部分的に基づいて生成された、知覚モデルに基づいて、スペクトルコンテンツを変えることを実施する。

【0081】

１つまたは複数の他の実施形態では、触覚性制御モジュール２８５は、オーディオ信号の周波数スペクトルの一部分を拡張することによって、ユーザへの提示のために触覚コンテンツを制御する。耳における接触トランスデューサ（たとえば、組織トランスデューサ１７０）をもつ頭部装着型ＡＲ眼鏡の場合、マイクロフォンアレイ（たとえば、音響センサー１８０のアレイ）によってキャプチャされた信号が、音響コンテンツと触覚コンテンツとの定義された組合せを用いて自然音ソース（たとえば、別の話者）を補強するために触覚性制御モジュール２８５によって使用され得る。代替的に、触覚性制御モジュール２８５は、自然音ソースを補強するために１つのモダリティのみ（音響または触覚）を通して周波数スペクトルの一部分の選択的拡張を実施し得る。

【0082】

いくつかの実施形態では、触覚性制御モジュール２８５は、触覚コンテンツを制御することによって、たとえば、テレプレゼンスにおいて音ソースを拡張する。たとえば、触覚性制御モジュール２８５は、（現実のささやきは触覚感覚を誘起しないことがあるが）ささやきを知覚的により没入型および現実的にするように触覚コンテンツを制御し得る。触覚性制御モジュール２８５によって拡張された音ソースは、ユーザからリモートにあるロケーションに位置し得る。音ソースは、仮想音ソース、たとえば、ユーザの肩上の仮想アシスタントまたは仮想の飛んでいる虫であり得る。代替的に、音ソースは、ユーザに方向性情報を提供するための触覚鳴動など、抽象的であり得る。

【0083】

いくつかの実施形態では、触覚性制御モジュール２８５は、ユーザへの提示のために触覚コンテンツを伴うオーディオコンテンツを生成するためにオーディオ信号に対して触覚拡張を実施する。第１に、音響信号が（たとえば、センサーアレイ２２０によって）記録されるか、または（たとえば、触覚性制御モジュール２８５によって）生成され得る。その後、触覚性制御モジュール２８５は、たとえば、音声セグメンテーション、周波数選択性フィルタ処理、特徴抽出、何らかの他の処理技法、またはそれらの組合せを適用することによって、触覚拡張のために音響信号を処理し得る。触覚性制御モジュール２８５は、次いで、処理された音響信号に基づいて触覚刺激を作成し得る。代替的に、触覚性制御モジュール２８５は、オーディオコンテンツがユーザに配信されるとき、触覚感覚を作り出すためにオーディオ信号をフィルタ処理し得る。触覚信号が、音響信号とともに、たとえば、耳珠または耳殻に結合された軟骨伝導トランスデューサによって、または骨伝導トランスデューサによって、耳の近くに位置するトランスデューサアレイ２１０の接触トランスデューサを介して配信され得る。

【0084】

いくつかの実施形態では、センサーアレイ２２０は、ユーザにオーディオコンテンツを提示するときにトランスデューサアレイ２１０中の少なくとも１つのトランスデューサ（たとえば、軟骨伝導トランスデューサ）によって作り出された音を検出する。触覚性制御モジュール２８５は、たとえば、音響圧力波の軟骨伝導により、検出された音の劣化のレベルを検出し得る。触覚性制御モジュール２８５は、次いで、劣化の検出されたレベルに基づいて、オーディオ信号中の音響コンテンツの劣化を軽減するためにオーディオ信号を処理し得る。いくつかの実施形態では、触覚性制御モジュール２８５は、分類器をトレーニングするために、検出された音に対して機械学習を実施する。触覚性制御モジュール２８５は、検出された音のタイプおよび特徴に基づいて、検出された音を異なるクラス（すなわち、劣化の異なるタイプ）に分類するために、トレーニングされた分類器を適用し得る。触覚性制御モジュール２８５はまた、特定のタイプの劣化がしきい値レベルを上回る場合、ユーザにアラートし得る。

【0085】

図２Ｂは、１つまたは複数の実施形態による、周波数の関数としての、たとえば、オーディオシステム２００中のトランスデューサアレイ２１０のトランスデューサについての平均触覚性しきい値レベルを示す例示的なグラフ２９０である。図２Ｂに示されている曲線２９５が、触覚コンテンツの周波数の関数としての（たとえば、音圧レベル（ＳＰＬ）として表される）平均触覚性しきい値レベルを表す。グラフ２９０は、提示されたコンテンツの可聴性と触覚感覚の両方についてのしきい値レベルを示す。曲線２９５を下回るＳＰＬの値は、特定の周波数についての触覚コンテンツの一部分が「平均ユーザ」によって知覚されない場合に対応する。曲線２９５にあるかまたはそれを上回るＳＰＬの値は、触覚コンテンツの一部分が「平均ユーザ」によって知覚される場合に対応する。たとえば、グラフ２９０は、２００Ｈｚにおいて、軟骨伝導トランスデューサによって作成されるＳＰＬがほぼ８０ｄＢを上回る場合、「平均ユーザ」がオーディオと触覚の両方を同時に知覚する、すなわち、そのユーザが、聞くだけでなく感覚を感じることを示す。

【0086】

触覚性しきい値曲線２９５は、ユーザのグループのための触覚性しきい値を平均化することによってユーザのグループのために収集された触覚性しきい値データに基づく。示されている実施形態では、ＳＰＬのｄＢレベルによって表される触覚性しきい値データは、各ユーザの耳上の同じロケーションに置かれた固有の（たとえば、カスタムメイドの）軟骨伝導トランスデューサを使用して取得される。また、軟骨伝導トランスデューサについての励起レベルが、知覚されるオーディオがバイモーダルになるまで、すなわち、オーディオコンテンツと触覚コンテンツとを含むまで、増分的に増加される。たとえば、各ユーザの皮膚と空中とに送信されたエネルギーの量に基づいて、異なる軟骨伝導トランスデューサを利用することによって、図２Ｂの触覚性しきい値曲線とは異なる触覚性しきい値曲線が生成され得ることに留意されたい。さらに、ＳＰＬと触覚性感覚との間の関係は、ＳＰＬが、異なるトランスデューサデバイスを使用して測定されるとき、変動し得る。

【0087】

図２Ｂの触覚性しきい値曲線２９５は、より低い周波数において、より高い周波数の場合よりも、触覚ドメイン中にある確率がより高いことを示す。グラフ２９０に示されている触覚性しきい値データは、たとえば、耳道への入口に置かれたマイクロフォンを使用して取得される。耳殻と接触している加速度計が使用される場合、同様のしきい値曲線が取得され得る。そのような場合、触覚性しきい値データは、コンテンツが聞かれ得るとともに感じられ得るときについての加速度しきい値を表すことになる。加速度しきい値は、（たとえば、積分によって）速度に関する情報にまたは（たとえば、二重積分によって）組織の変位に関する情報に変換され得ることに留意されたい。（図２Ｂに示されていない）他の実施形態では、同様の曲線が骨伝導および空気伝導について取得され得る。

【0088】

図３は、１つまたは複数の実施形態による、オーディオコンテンツを提示しながら、触覚コンテンツのレベルを調整するための方法３００のフローチャートである。図３に示されているプロセスは、オーディオシステム（たとえば、オーディオシステム２００）の構成要素によって実施され得る。他のエンティティが、他の実施形態において図３中のステップの一部または全部を実施し得る。実施形態は、異なるおよび／または追加のステップを含むか、あるいは異なる順序でステップを実施し得る。オーディオシステムは、ヘッドセットの一部であり得る。

【0089】

オーディオシステムは、３１０において、トランスデューサアレイのトランスデューサによって作り出された音を（たとえば、センサーアレイ２２０を介して）検出する。オーディオシステムは、たとえば、ユーザの組織に結合されたまたはユーザの組織に配置された１つまたは複数のセンサーを介して、ユーザの組織内の触覚性感覚を検出し得る。代替または追加として、オーディオシステムは、ユーザにオーディオを提示するときにトランスデューサによって生成された音圧および／または加速度を監視し得る。オーディオシステムは、定義された周波数についてのオーディオコンテンツの振幅が触覚性しきい値レベルを下回るように、監視された音圧および／または加速度に基づいて、ユーザに提示されたオーディオを制御し得る。しきい値レベルを下回る振幅の値は、周波数についての触覚コンテンツの一部分がユーザによって知覚されないオーディオに対応し、しきい値レベルにあるかまたはそれを上回る値は、触覚コンテンツの一部分がユーザによって知覚されるオーディオに対応する。

【0090】

オーディオシステムは、３２０において、周波数帯域内の検出された音の一部分に基づいて、周波数帯域についてのトランスデューサの作動パラメータについての触覚性しきい値レベルを導出する。触覚性しきい値レベルを下回る作動パラメータの値は、周波数帯域についての触覚コンテンツの一部分がユーザによって知覚されない作動の範囲に対応し、しきい値レベルにあるかまたはそれを上回る値は、触覚コンテンツの一部分がユーザによって知覚される範囲に対応する。いくつかの実施形態では、オーディオシステムは、定義されたしきい値周波数を下回る周波数帯域中の検出された音の一部分に基づいて、ユーザのためのトランスデューサの感度のレベルを推定する。オーディオシステムは、感度の推定されたレベルに基づいて、作動パラメータについてのしきい値レベルを導出する。いくつかの他の実施形態では、オーディオシステムは、たとえば、ユーザの組織内に位置するセンサーアレイ２２０の１つまたは複数のセンサーによって、検出された触覚性感覚に基づいて、作動パラメータについてのしきい値レベルを導出する。

【0091】

いくつかの実施形態では、配信された触覚コンテンツの複数の周波数帯域についての特定のユーザおよび／または音響環境についての検出された触覚性感覚に基づいて、オーディオシステムは、知覚モデルを生成するために較正される。知覚モデルは、トランスデューサを作動させるための周波数帯域（または周波数）の関数としての作動パラメータ（たとえば、入力電圧）についての触覚性しきい値レベルに関する情報を含み得る。知覚モデルは、複数のユーザおよび／または複数の音響環境について同等であり得る。代替的に、知覚モデルは、特定のユーザおよび／または特定の音響環境について固有であり得る。

【0092】

オーディオシステムは、３３０において、ユーザにオーディオコンテンツを提示しながら、トランスデューサアレイ中のトランスデューサの作動を介してユーザに与えられるべき触覚コンテンツのレベルを（たとえば、触覚性制御モジュール２８５を介して）調整する。オーディオシステムは、特定の周波数帯域についての触覚性しきい値レベルに対してトランスデューサの作動パラメータ（すなわち、電圧または電流など、作動信号のレベル）を調整することによって触覚コンテンツのレベルを調整し得る。いくつかの実施形態では、オーディオシステムは、特定の周波数帯域についての触覚コンテンツの一部分がユーザによって知覚されないように、トランスデューサを作動させるとき、触覚性しきい値レベルを下回るように作動パラメータを調整する。オーディオシステムは、知覚モデルに基づいて触覚コンテンツのレベルを調整し得る。

【0093】

オーディオシステムは、３４０において、トランスデューサに、ユーザにオーディオコンテンツを提示するように命令し、オーディオコンテンツは、触覚コンテンツの調整されたレベルを含む。オーディオシステム（たとえば、触覚性制御モジュール２８５）は、ユーザが周波数帯域についてのいかなる触覚感覚をも知覚しないように、周波数帯域についての作動パラメータのレベル（たとえば、入力電圧レベル）を、周波数帯域についての触覚性しきい値レベルを下回るトランスデューサのアクチュエータに適用し得る。

【0094】

図４は、１つまたは複数の実施形態による、ユーザに提示される触覚コンテンツを制御するための方法４００のフローチャートである。図４に示されているプロセスは、オーディオシステム（たとえば、オーディオシステム２００）の構成要素によって実施され得る。他のエンティティが、他の実施形態において図４中のステップの一部または全部を実施し得る。実施形態は、異なるおよび／または追加のステップを含むか、あるいは異なる順序でステップを実施し得る。オーディオシステムは、ヘッドセットの一部であり得る。

【0095】

オーディオシステムは、４１０において、ユーザにオーディオコンテンツを提示しながら、トランスデューサアレイ中の少なくとも１つのトランスデューサの作動を介してユーザに与えられるべき触覚コンテンツの量を（たとえば、触覚性制御モジュール２８５を介して）制御する。オーディオシステムは、制御された触覚コンテンツを使用することによってナビゲーション情報を提供し得る。さらに、オーディオシステムは、提示されるオーディオコンテンツ内の触覚コンテンツの量を制御することによって、ユーザに提示されるオーディオコンテンツについての音声了解度を増加させ得る。代替または追加として、オーディオシステムは、提示されるオーディオコンテンツ内の触覚コンテンツの量を制御することによって、定義されたレベルの近接場効果を伴うオーディオコンテンツを生成し得る。

【0096】

いくつかの実施形態では、オーディオシステムは、（たとえば、データストア２３５において記憶された）知覚モデルに基づいて、入力オーディオ信号のスペクトルコンテンツを変えることによってオーディオコンテンツを生成するときに触覚コンテンツの量を制御する。オーディオシステムは、トランスデューサアレイによって作り出された音を（たとえば、センサーアレイを介して）検出し得る。オーディオシステムは、触覚コンテンツのレベルを調整するために、検出された音に関する情報を知覚モデルに入力し得る。いくつかの他の実施形態では、オーディオシステムは、ユーザへの提示のためにオーディオコンテンツを生成するときにオーディオ信号の周波数スペクトルの一部分を拡張することによって触覚コンテンツを制御する。またいくつかの他の実施形態では、オーディオシステムは、触覚コンテンツを制御することによって音ソースを拡張し、音ソース（たとえば、仮想音ソース）は、ユーザからリモートにあるロケーションに位置する。

【0097】

いくつかの実施形態では、オーディオコントローラは、ユーザへの提示のために触覚コンテンツを伴うオーディオコンテンツを作成するために入力オーディオ信号に対して触覚拡張を実施する。いくつかの他の実施形態では、オーディオシステムは、少なくとも１つの軟骨伝導トランスデューサを含むトランスデューサアレイによって作り出された音を（たとえば、センサーアレイを介して）検出する。オーディオシステムは、たとえば、音響圧力波の軟骨伝導により、検出された音の劣化のレベルを検出し得る。オーディオシステムは、劣化の検出されたレベルに基づいて、ユーザへの提示のためにオーディオコンテンツ中の音響コンテンツの劣化を軽減するためにオーディオ信号を処理し得る。

【0098】

オーディオシステムは、４２０において、トランスデューサアレイに、ユーザにオーディオコンテンツを提示するように命令し、オーディオコンテンツは、触覚コンテンツを含む。いくつかの実施形態では、オーディオシステムは、触覚コンテンツを使用してユーザにナビゲーション命令を提供する。トランスデューサアレイは、複数の軟骨伝導トランスデューサを含み得、軟骨伝導トランスデューサのうちの少なくとも１つが、ユーザの対応する耳に取り付けられる。オーディオシステムは、たとえば、ユーザにナビゲーション命令を提供するために、少なくとも１つの軟骨伝導トランスデューサを介して対応する耳に触覚コンテンツを適用する。

【0099】

システム環境
図５は、１つまたは複数の実施形態による、ヘッドセット５０５を含むシステム５００である。いくつかの実施形態では、ヘッドセット５０５は、図１Ａのヘッドセット１００または図１Ｂのヘッドセット１０５であり得る。システム５００は、人工現実環境（たとえば、仮想現実環境、拡張現実環境、複合現実環境、またはそれらの何らかの組合せ）において動作し得る。図５によって示されているシステム５００は、ヘッドセット５０５と、コンソール５１５に結合された入出力（Ｉ／Ｏ）インターフェース５１０と、ネットワーク５２０と、マッピングサーバ５２５とを含む。図５は、１つのヘッドセット５０５と１つのＩ／Ｏインターフェース５１０とを含む例示的なシステム５００を示すが、他の実施形態では、任意の数のこれらの構成要素が、システム５００中に含まれ得る。たとえば、各々が、関連するＩ／Ｏインターフェース５１０を有する、複数のヘッドセットがあり得、各ヘッドセットおよびＩ／Ｏインターフェース５１０はコンソール５１５と通信する。代替構成では、異なるおよび／または追加の構成要素が、システム５００中に含まれ得る。さらに、図５に示されている構成要素のうちの１つまたは複数に関して説明される機能性は、いくつかの実施形態では、図５に関して説明されるものとは異なる様式で構成要素の間で分散され得る。たとえば、コンソール５１５の機能性の一部または全部がヘッドセット５０５によって提供され得る。

【0100】

ヘッドセット５０５は、ディスプレイアセンブリ５３０と、光学ブロック５３５と、１つまたは複数の位置センサー５４０と、ＤＣＡ５４５とを含む。ヘッドセット５０５のいくつかの実施形態は、図５に関して説明されるものとは異なる構成要素を有する。さらに、図５に関して説明される様々な構成要素によって提供される機能性は、他の実施形態ではヘッドセット５０５の構成要素の間で別様に分散されるか、またはヘッドセット５０５からリモートにある別個のアセンブリにおいて取り込まれ得る。

【0101】

ディスプレイアセンブリ５３０は、コンソール５１５から受信されたデータに従ってユーザにコンテンツを表示する。ディスプレイアセンブリ５３０は、１つまたは複数のディスプレイ要素（たとえば、ディスプレイ要素１２０）を使用してコンテンツを表示する。ディスプレイ要素は、たとえば、電子ディスプレイであり得る。様々な実施形態では、ディスプレイアセンブリ５３０は、単一のディスプレイ要素または複数のディスプレイ要素（たとえば、ユーザの各眼のためのディスプレイ）を備える。電子ディスプレイの例は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、アクティブマトリックス有機発光ダイオードディスプレイ（ＡＭＯＬＥＤ）、導波路ディスプレイ、何らかの他のディスプレイ、またはそれらの何らかの組合せを含む。いくつかの実施形態では、ディスプレイ要素１２０は光学ブロック５３５の機能性の一部または全部をも含み得ることに留意されたい。

【0102】

光学ブロック５３５は、電子ディスプレイから受光された画像光を拡大し得、画像光に関連する光学誤差を補正し、補正された画像光をヘッドセット５０５の一方または両方のアイボックスに提示する。様々な実施形態では、光学ブロック５３５は、１つまたは複数の光学要素を含む。光学ブロック５３５中に含まれる例示的な光学要素は、アパーチャ、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、反射面、または画像光に影響を及ぼす任意の他の好適な光学要素を含む。その上、光学ブロック５３５は、異なる光学要素の組合せを含み得る。いくつかの実施形態では、光学ブロック５３５中の光学要素のうちの１つまたは複数は、部分反射コーティングまたは反射防止コーティングなど、１つまたは複数のコーティングを有し得る。

【0103】

光学ブロック５３５による画像光の拡大および集束は、電子ディスプレイが、より大きいディスプレイよりも、物理的により小さくなり、重さが減じ、少ない電力を消費することを可能にする。さらに、拡大は、電子ディスプレイによって提示されるコンテンツの視野を増加させ得る。たとえば、表示されるコンテンツの視野は、表示されるコンテンツが、ユーザの視野のほとんどすべて（たとえば、対角約１１０度）、およびいくつかの場合にはすべてを使用して提示されるようなものである。さらに、いくつかの実施形態では、拡大の量は、光学要素を追加することまたは取り外すことによって調整され得る。

【0104】

いくつかの実施形態では、光学ブロック５３５は、１つまたは複数のタイプの光学誤差を補正するように設計され得る。光学誤差の例は、たる形ひずみまたは糸巻き形ひずみ、縦色収差、あるいは横色収差を含む。他のタイプの光学誤差は、球面収差、色収差、またはレンズ像面湾曲による誤差、非点収差、または任意の他のタイプの光学誤差をさらに含み得る。いくつかの実施形態では、表示のために電子ディスプレイに提供されるコンテンツは予歪され、光学ブロック５３５が、そのコンテンツに基づいて生成された画像光を電子ディスプレイから受光したとき、光学ブロック５３５はそのひずみを補正する。

【0105】

位置センサー５４０は、ヘッドセット５０５の位置を示すデータを生成する電子デバイスである。位置センサー５４０は、ヘッドセット５０５の運動に応答して１つまたは複数の測定信号を生成する。位置センサー１９０は、位置センサー５４０の一実施形態である。位置センサー５４０の例は、１つまたは複数のＩＭＵ、１つまたは複数の加速度計、１つまたは複数のジャイロスコープ、１つまたは複数の磁力計、運動を検出する別の好適なタイプのセンサー、またはそれらの何らかの組合せを含む。位置センサー５４０は、並進運動（前／後、上／下、左／右）を測定するための複数の加速度計と、回転運動（たとえば、ピッチ、ヨー、ロール）を測定するための複数のジャイロスコープとを含み得る。いくつかの実施形態では、ＩＭＵは、測定信号を迅速にサンプリングし、サンプリングされたデータからヘッドセット５０５の推定位置を計算する。たとえば、ＩＭＵは、加速度計から受信された測定信号を経時的に積分して速度ベクトルを推定し、その速度ベクトルを経時的に積分して、ヘッドセット５０５上の基準点の推定位置を決定する。基準点は、ヘッドセット５０５の位置を表すために使用され得る点である。基準点は、概して空間中の点として定義され得るが、実際には、基準点は、ヘッドセット５０５内の点として定義される。

【0106】

ＤＣＡ５４５は、ローカルエリアの一部分についての深度情報を生成する。ＤＣＡは、１つまたは複数のイメージングデバイスとＤＣＡコントローラとを含む。ＤＣＡ５４５は照明器をも含み得る。ＤＣＡ５４５の動作および構造は、図１Ａに関して上記で説明された。

【0107】

オーディオシステム５５０は、ヘッドセット５０５のユーザにオーディオコンテンツを提供する。オーディオシステム５５０は、上記で説明するオーディオシステム２００と実質的に同じである。オーディオシステム５５０は、１つまたは音響センサーと、１つまたは複数のトランスデューサと、オーディオコントローラとを備え得る。オーディオシステム５５０は、空間化されたオーディオコンテンツをユーザに提供し得る。いくつかの実施形態では、オーディオシステム５５０は、ネットワーク５２０を介してマッピングサーバ５２５に音響パラメータを要求し得る。音響パラメータは、ローカルエリアの１つまたは複数の音響プロパティ（たとえば、室内インパルス応答、残響時間、残響レベルなど）を表す。オーディオシステム５５０はまた、マッピングサーバ５２５にナビゲーション命令を要求し得る。たとえば、ヘッドセット５０５を装着しているユーザが、宛先情報を提供し得、マッピングサーバ５２５は、ユーザロケーションと、提供された宛先と、エリアのモデルとを使用して、ナビゲーション命令を生成し得る。オーディオシステム５５０は、たとえば、ＤＣＡ５４５からのローカルエリアの少なくとも一部分を表す情報、および／または位置センサー５４０からのヘッドセット５０５についてのロケーション情報を提供し得る。オーディオシステム５５０は、マッピングサーバ５２５から受信された音響パラメータの１つまたは複数を使用して、１つまたは複数の音フィルタを生成し、音フィルタを使用して、ユーザにオーディオコンテンツを提供し得る。

【0108】

いくつかの実施形態では、オーディオシステム５５０は、たとえば、ユーザにオーディオコンテンツを提示しながら、１つまたは複数のトランスデューサの作動を介してユーザに与えられる触覚コンテンツのレベルを調整するように１つまたは複数のトランスデューサを制御する。オーディオシステム５５０は、しきい値レベルに対する周波数帯域についての１つまたは複数のトランスデューサの作動パラメータを調整することによって、触覚コンテンツのレベルを調整し得る。しきい値レベルを下回る作動パラメータの値は、周波数帯域についての触覚コンテンツの一部分がユーザによって知覚されない作動の範囲に対応し、しきい値レベルにあるかまたはそれを上回る値は、触覚コンテンツの一部分がユーザによって知覚される範囲に対応する。

【0109】

いくつかの他の実施形態では、オーディオシステム５５０は、トランスデューサアレイ中の少なくとも１つのトランスデューサの作動を介してユーザに与えられる触覚コンテンツを制御する。オーディオシステム５５０は、たとえば、１つまたは複数のトランスデューサを介して、ユーザに、制御された触覚コンテンツを提示する。オーディオシステム５５０は、たとえば、耳に取り付けられた少なくとも１つの軟骨伝導トランスデューサを介してユーザの対応する耳に触覚コンテンツを適用することによって、触覚コンテンツを使用してユーザにナビゲーション命令を提供し得る。オーディオシステム５５０はまた、触覚コンテンツを制御することによって、ユーザに提示されるオーディオコンテンツについての音声了解度を増加させ得る。代替または追加として、オーディオシステム５５０は、触覚コンテンツを制御することによって、定義されたレベルの近接場効果を伴うオーディオコンテンツを生成し得る。

【0110】

Ｉ／Ｏインターフェース５１０は、ユーザがアクション要求を送り、コンソール５１５から応答を受信することを可能にするデバイスである。アクション要求は、特定のアクションを実施するための要求である。たとえば、アクション要求は、画像データまたはビデオデータのキャプチャを開始または終了するための命令、あるいはアプリケーション内で特定のアクションを実施するための命令であり得る。Ｉ／Ｏインターフェース５１０は、１つまたは複数の入力デバイスを含み得る。例示的な入力デバイスは、キーボード、マウス、ゲームコントローラ、またはアクション要求を受信し、そのアクション要求をコンソール５１５に通信するための任意の他の好適なデバイスを含む。Ｉ／Ｏインターフェース５１０によって受信されたアクション要求は、コンソール５１５に通信され、コンソール５１５は、そのアクション要求に対応するアクションを実施する。いくつかの実施形態では、Ｉ／Ｏインターフェース５１０は、Ｉ／Ｏインターフェース５１０の初期位置に対するＩ／Ｏインターフェース５１０の推定位置を示す較正データをキャプチャするＩＭＵを含む。いくつかの実施形態では、Ｉ／Ｏインターフェース５１０は、コンソール５１５から受信された命令に従って、ユーザに触覚フィードバックを提供し得る。たとえば、アクション要求が受信されたときに触覚フィードバックが提供されるか、または、コンソール５１５がアクションを実施するときに、コンソール５１５が、Ｉ／Ｏインターフェース５１０に命令を通信して、Ｉ／Ｏインターフェース５１０が触覚フィードバックを生成することを引き起こす。

【0111】

コンソール５１５は、ＤＣＡ５４５とヘッドセット５０５とＩ／Ｏインターフェース５１０とのうちの１つまたは複数から受信された情報に従って処理するためのコンテンツをヘッドセット５０５に提供する。図５に示されている例では、コンソール５１５は、アプリケーションストア５５５と、追跡モジュール５６０と、エンジン５６５とを含む。コンソール５１５のいくつかの実施形態は、図５に関して説明されるものとは異なるモジュールまたは構成要素を有する。同様に、以下でさらに説明される機能は、図５に関して説明されるものとは異なる様式でコンソール５１５の構成要素の間で分散され得る。いくつかの実施形態では、コンソール５１５に関して本明細書で説明される機能性は、ヘッドセット５０５、またはリモートシステムにおいて実装され得る。

【0112】

アプリケーションストア５５５は、コンソール５１５が実行するための１つまたは複数のアプリケーションを記憶する。アプリケーションは、プロセッサによって実行されたとき、ユーザへの提示のためのコンテンツを生成する命令のグループである。アプリケーションによって生成されたコンテンツは、ヘッドセット５０５またはＩ／Ｏインターフェース５１０の移動を介してユーザから受信された入力に応答したものであり得る。アプリケーションの例は、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の好適なアプリケーションを含む。

【0113】

追跡モジュール５６０は、ＤＣＡ５４５からの情報、１つまたは複数の位置センサー５４０からの情報、またはそれらの何らかの組合せを使用して、ヘッドセット５０５またはＩ／Ｏインターフェース５１０の移動を追跡する。たとえば、追跡モジュール５６０は、ヘッドセット５０５からの情報に基づいて、ローカルエリアのマッピングにおいてヘッドセット５０５の基準点の位置を決定する。追跡モジュール５６０は、オブジェクトまたは仮想オブジェクトの位置をも決定し得る。さらに、いくつかの実施形態では、追跡モジュール５６０は、ヘッドセット５０５の将来のロケーションを予測するために、位置センサー５４０からのヘッドセット５０５の位置を示すデータの部分ならびにＤＣＡ５４５からのローカルエリアの表現を使用し得る。追跡モジュール５６０は、ヘッドセット５０５またはＩ／Ｏインターフェース５１０の推定または予測された将来の位置をエンジン５６５に提供する。

【0114】

エンジン５６５は、アプリケーションを実行し、追跡モジュール５６０から、ヘッドセット５０５の位置情報、加速度情報、速度情報、予測された将来の位置、またはそれらの何らかの組合せを受信する。受信された情報に基づいて、エンジン５６５は、ユーザへの提示のためにヘッドセット５０５に提供すべきコンテンツを決定する。たとえば、受信された情報が、ユーザが左を見ていることを示す場合、エンジン５６５は、仮想ローカルエリアにおいて、またはローカルエリアを追加のコンテンツで拡張するローカルエリアにおいて、ユーザの移動をミラーリングする、ヘッドセット５０５のためのコンテンツを生成する。さらに、エンジン５６５は、Ｉ／Ｏインターフェース５１０から受信されたアクション要求に応答して、コンソール５１５上で実行しているアプリケーション内でアクションを実施し、そのアクションが実施されたというフィードバックをユーザに提供する。提供されるフィードバックは、ヘッドセット５０５を介した視覚または可聴フィードバック、あるいはＩ／Ｏインターフェース５１０を介した触覚フィードバックであり得る。

【0115】

ネットワーク５２０は、ヘッドセット５０５および／またはコンソール５１５をマッピングサーバ５２５に結合する。ネットワーク５２０は、ワイヤレス通信システムおよび／またはワイヤード通信システムの両方を使用する、ローカルエリアネットワークおよび／またはワイドエリアネットワークの任意の組合せを含み得る。たとえば、ネットワーク５２０は、インターネット、ならびに携帯電話網を含み得る。一実施形態では、ネットワーク５２０は、標準通信技術および／またはプロトコルを使用する。したがって、ネットワーク５２０は、イーサネット、８０２．１１、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス（ＷｉＭＡＸ）、２Ｇ／３Ｇ／４Ｇモバイル通信プロトコル、デジタル加入者回線（ＤＳＬ）、非同期転送モード（ＡＴＭ）、ＩｎｆｉｎｉＢａｎｄ、ＰＣＩ Ｅｘｐｒｅｓｓアドバンストスイッチングなどの技術を使用するリンクを含み得る。同様に、ネットワーク５２０上で使用されるネットワーキングプロトコルは、マルチプロトコルラベルスイッチング（ＭＰＬＳ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキストトランスポートプロトコル（ＨＴＴＰ）、簡易メール転送プロトコル（ＳＭＴＰ）、ファイル転送プロトコル（ＦＴＰ）などを含むことができる。ネットワーク５２０を介して交換されるデータは、２進形式（たとえばポータブルネットワークグラフィックス（ＰＮＧ））の画像データ、ハイパーテキストマークアップ言語（ＨＴＭＬ）、拡張可能マークアップ言語（ＸＭＬ）などを含む、技術および／またはフォーマットを使用して表され得る。さらに、リンクの全部または一部は、セキュアソケットレイヤ（ＳＳＬ）、トランスポートレイヤセキュリティ（ＴＬＳ）、仮想プライベートネットワーク（ＶＰＮ）、インターネットプロトコルセキュリティ（ＩＰｓｅｃ）など、従来の暗号化技術を使用して暗号化され得る。

【0116】

マッピングサーバ５２５は、複数の空間を表す仮想モデルを記憶するデータベースを含み得、仮想モデル中の１つのロケーションが、ヘッドセット５０５のローカルエリアの現在の構成に対応する。マッピングサーバ５２５は、ヘッドセット５０５からネットワーク５２０を介して、ローカルエリアおよび／またはローカルエリアについてのロケーション情報の少なくとも一部分を表す情報を受信する。マッピングサーバ５２５は、受信された情報および／またはロケーション情報に基づいて、ヘッドセット５０５のローカルエリアに関連する仮想モデル中のロケーションを決定する。マッピングサーバ５２５は、仮想モデル中の決定されたロケーションおよび決定されたロケーションに関連する任意の音響パラメータに部分的に基づいて、ローカルエリアに関連する１つまたは複数の音響パラメータを決定する（たとえば、取り出す）。マッピングサーバ５２５は、ローカルエリアのロケーションおよびローカルエリアに関連する音響パラメータの任意の値をヘッドセット５０５に送信し得る。マッピングサーバ５２５は、オーディオシステム５５０にナビゲーション命令を提供し得る。マッピングサーバ５２５は、ユーザロケーションと、ユーザによって提供された宛先と、エリアのモデルとを使用して、ナビゲーション命令を生成し得る。

【0117】

追加の構成情報
実施形態の上記の説明は、説明のために提示されており、網羅的であること、または開示される正確な形態に特許権を限定することは意図されない。当業者は、上記の開示を考慮して多くの修正および変形が可能であることを諒解することができる。

【0118】

本明細書のいくつかの部分は、情報に関する動作のアルゴリズムおよび記号表現に関して実施形態について説明する。これらのアルゴリズム説明および表現は、データ処理技術分野の当業者が、他の当業者に自身の仕事の本質を効果的に伝えるために通常使用される。これらの動作は、機能的に、算出量的に、または論理的に説明されるが、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実装されることが理解される。さらに、一般性の喪失なしに、動作のこれらの仕組みをモジュールと呼ぶことが時々好都合であることも証明された。説明される動作およびそれらの関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組合せにおいて具現され得る。

【0119】

本明細書で説明されるステップ、動作、またはプロセスのいずれも、１つまたは複数のハードウェアまたはソフトウェアモジュールで、単独でまたは他のデバイスとの組合せで実施または実装され得る。一実施形態では、ソフトウェアモジュールは、コンピュータプログラムコードを含んでいるコンピュータ可読媒体を備えるコンピュータプログラム製品で実装され、コンピュータプログラムコードは、いずれかまたはすべての説明されるステップ、動作、またはプロセスを実施するためにコンピュータプロセッサによって実行され得る。

【0120】

実施形態はまた、本明細書の動作を実施するための装置に関し得る。この装置は、必要とされる目的のために特別に構築され得、および／あるいは、この装置は、コンピュータに記憶されたコンピュータプログラムによって選択的にアクティブ化または再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、非一時的有形コンピュータ可読記憶媒体、または電子命令を記憶するのに好適な任意のタイプの媒体に記憶され得、それらの媒体はコンピュータシステムバスに結合され得る。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含み得るか、または増加された算出能力のために複数のプロセッサ設計を採用するアーキテクチャであり得る。

【0121】

実施形態はまた、本明細書で説明されるコンピューティングプロセスによって製造される製品に関し得る。そのような製品は、コンピューティングプロセスから生じる情報を備え得、その情報は、非一時的有形コンピュータ可読記憶媒体に記憶され、本明細書で説明されるコンピュータプログラム製品または他のデータ組合せの任意の実施形態を含み得る。

【0122】

最終的に、本明細書において使用される言い回しは、主に読みやすさおよび教育目的で選択されており、本明細書において使用される言い回しは、特許権を定めるかまたは制限するように選択されていないことがある。したがって、特許権の範囲はこの詳細な説明によって限定されるのではなく、むしろ、詳細な説明に基づく適用例に関して生じる請求項によって限定されることが意図される。したがって、実施形態の開示は、以下の特許請求の範囲に記載される特許権の範囲を例示するものであり、限定するものではない。

【図1A】

【図1B】

【図2A】

【図2B】

【図3】

【図4】

【図5】