特表 2023-534154 個別化された音プロファイルを使用するオーディオシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-08-08

(54)【発明の名称】個別化された音プロファイルを使用するオーディオシステム

(51)【国際特許分類】

   H04R 3/00 20060101AFI20230801BHJP

   H04S 7/00 20060101ALI20230801BHJP

   G10K 11/178 20060101ALI20230801BHJP

【ＦＩ】

H04R3/00 320

H04S7/00 340

H04R3/00 310

G10K11/178 100

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022580755

(86)(22)【出願日】2021-06-05

(85)【翻訳文提出日】2023-02-24

(86)【国際出願番号】 US2021036053

(87)【国際公開番号】W WO2022015427

(87)【国際公開日】2022-01-20

(31)【優先権主張番号】63/052,016

(32)【優先日】2020-07-15

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/945,388

(32)【優先日】2020-07-31

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】515046968

【氏名又は名称】メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー

【氏名又は名称原語表記】ＭＥＴＡ ＰＬＡＴＦＯＲＭＳ ＴＥＣＨＮＯＬＯＧＩＥＳ， ＬＬＣ

(74)【代理人】

【識別番号】110002974

【氏名又は名称】弁理士法人Ｗｏｒｌｄ ＩＰ

(72)【発明者】

【氏名】ブリミジョイン， ウィリアム オーウェン

(72)【発明者】

【氏名】ルンナー， トーマス フリーティオフ ニルス

(72)【発明者】

【氏名】ロビンソン， フィリップ

(72)【発明者】

【氏名】メーラ， ラビッシュ

【テーマコード（参考）】

5D061

5D162

5D220

【Ｆターム（参考）】

5D061FF02

5D162AA04

5D162CA26

5D162CD01

5D162EG06

5D220AA05

5D220BA30

(57)【要約】

ユーザにオーディオコンテンツを提示するためのシステム。システムは、ヘッドセット（１００）のフレーム（１１０）に結合された１つまたは複数のマイクロフォン（２１０）を備える。１つまたは複数のマイクロフォン（２１０）は、ローカルエリアから音をキャプチャする。システムは、ヘッドセット（１００）に組み込まれ、かつユーザによって装着されたインイヤデバイス（１８５）に通信可能に結合されたオーディオコントローラ（１５０）をさらに備える。オーディオコントローラ（１５０）は、キャプチャされた音に基づいてローカルエリア中の１つまたは複数の音ソースを識別する。オーディオコントローラ（１５０）は、さらに、１つまたは複数の音ソースのうちのターゲット音ソースを決定し、キャプチャされた音における、ターゲット音ソースに関連する音信号に適用すべき１つまたは複数のフィルタを決定する。オーディオコントローラ（１５０）は、さらに、音信号に１つまたは複数のフィルタを適用することによって拡張音信号を生成し、ユーザへの提示のために拡張音信号をインイヤデバイス（１８５）に提供する。
【選択図】図４

【特許請求の範囲】

【請求項1】

１つまたは複数のマイクロフォンによって、ローカルエリアから音をキャプチャすることと、
前記キャプチャされた音に基づいて前記ローカルエリア中の１つまたは複数の音ソースを識別することと、
前記１つまたは複数の音ソースのうちのターゲット音ソースを決定することと、
前記キャプチャされた音における、前記ターゲット音ソースに関連する音信号に適用すべき１つまたは複数のフィルタを決定することと、
前記音信号に前記１つまたは複数のフィルタを適用することによって拡張音信号を生成することと、
ユーザへの提示のために前記拡張音信号をスピーカーアセンブリに提供することと
を含む、方法。

【請求項2】

前記ターゲット音ソースが前記ローカルエリア中の異なる音ソースからしきい値距離内にあることを検出することと、
前記ターゲット音ソースと前記異なる音ソースとの間の空間分離を、少なくとも、前記しきい値距離よりも大きい分離距離になるように増加させるために、前記１つまたは複数のフィルタのうちの少なくとも１つを更新することと
をさらに含み、
前記ユーザに提示される前記拡張音信号は、音が前記ターゲット音ソースから発生すると思われ、前記異なる音ソースからの音が、前記ターゲット音ソースから少なくとも前記分離距離のところにある、前記ローカルエリア中のロケーションから発生すると思われるようなものである、請求項１に記載の方法。

【請求項3】

前記１つまたは複数のフィルタが前記ユーザの音プロファイルに部分的に基づき、前記音プロファイルが少なくともユーザオーディオグラムを含み、前記方法が、
ユーザフィードバックに基づいて前記ユーザの前記音プロファイルを更新すること
をさらに含む、請求項１または２に記載の方法。

【請求項4】

前記１つまたは複数のフィルタが、前記ローカルエリア中の前記ユーザのロケーション、前記ローカルエリア中の前記１つまたは複数の音ソースの各々のロケーション、前記ローカルエリアの１つまたは複数の音響パラメータ、および前記ローカルエリア中の音ソースのタイプ、のうちの１つまたは複数に部分的に基づく、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記キャプチャされた音における、前記ターゲット音ソースに関連する前記音信号に適用すべき前記１つまたは複数のフィルタを決定することは、
複数のワイドダイナミックレンジ圧縮フィルタから、前記ターゲット音ソースに対応するワイドダイナミックレンジ圧縮フィルタを選択することであって、前記複数のワイドダイナミックレンジ圧縮フィルタの各々が、前記複数の音ソースのうちの異なるそれぞれの音ソースに対応する、ワイドダイナミックレンジ圧縮フィルタを選択すること
を含む、請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記ユーザへの提示のために前記拡張音信号を前記スピーカーアセンブリに提供することが、
前記拡張音信号を、前記ユーザによって装着されたインイヤデバイスのスピーカーアセンブリに提供すること
を含む、請求項１から５のいずれか一項に記載の方法。

【請求項7】

１つまたは複数のマイクロフォンによって、前記ローカルエリアから音をキャプチャすることは、
ヘッドセットのフレームに結合された１つまたは複数のマイクロフォンによって、前記ローカルエリアから音をキャプチャすることであって、前記ヘッドセットが、前記インイヤデバイスとは別個であり、かつ前記インイヤデバイスに通信可能に結合された、音をキャプチャすること
を含む、請求項６に記載の方法。

【請求項8】

１つまたは複数のマイクロフォンによって、前記インイヤデバイスから漏れ信号をキャプチャすることと、
前記漏れ信号を実質的に防ぐための緩和信号を決定することであって、前記緩和信号が前記漏れ信号に対して位相外れである、緩和信号を決定することと、
前記緩和信号を、ヘッドセットに結合された別個のスピーカーアセンブリに出力信号として提供することと
をさらに含む、請求項６または７に記載の方法。

【請求項9】

前記ターゲット音ソースを決定することが、前記ユーザの視線に部分的に基づく、請求項１から８のいずれか一項に記載の方法。

【請求項10】

前記ターゲット音ソースを決定することが、前記ユーザによって提供された口頭キューに部分的に基づく、請求項１から９のいずれか一項に記載の方法。

【請求項11】

前記ターゲット音ソースを決定することは、
前記ユーザによって実施されるジェスチャーの画像をキャプチャすることと、
前記ジェスチャーが音ソースの選択に対応していると決定することと、
前記音ソースを前記ターゲット音ソースとして選択することと
を含む、請求項１から１０のいずれか一項に記載の方法。

【請求項12】

ヘッドセットのフレームに結合された１つまたは複数のマイクロフォンであって、ローカルエリアから音をキャプチャするように構成された、１つまたは複数のマイクロフォンと、
前記ヘッドセットに組み込まれ、ユーザによって装着されたインイヤデバイスに通信可能に結合されたオーディオコントローラと
を備えるシステムであって、前記オーディオコントローラが、
前記キャプチャされた音に基づいて前記ローカルエリア中の１つまたは複数の音ソースを識別することと、
前記１つまたは複数の音ソースのうちのターゲット音ソースを決定することと、
前記キャプチャされた音における、前記ターゲット音ソースに関連する音信号に適用すべき１つまたは複数のフィルタを決定することと、
前記音信号に前記１つまたは複数のフィルタを適用することによって拡張音信号を生成することと、
ユーザへの提示のために前記拡張音信号を前記インイヤデバイスに提供することと
を行うように構成された、
システム。

【請求項13】

前記オーディオコントローラは、
前記ターゲット音ソースが前記ローカルエリア中の異なる音ソースからしきい値距離内にあることを検出することと、
前記ターゲット音ソースと前記異なる音ソースとの間の空間分離を、少なくとも、前記しきい値距離よりも大きい分離距離になるように増加させるために、前記１つまたは複数のフィルタのうちの少なくとも１つを更新することと
を行うようにさらに構成され、
前記ユーザに提示される前記拡張音信号は、音が前記ターゲット音ソースから発生すると思われ、前記異なる音ソースからの音が、前記ターゲット音ソースから少なくとも前記分離距離のところにある、前記ローカルエリア中のロケーションから発生すると思われるようなものである、請求項１２に記載のシステム。

【請求項14】

前記キャプチャされた音における、前記ターゲット音ソースに関連する前記音信号に適用すべき前記１つまたは複数を決定することが、複数のワイドダイナミックレンジ圧縮フィルタから、前記ターゲット音ソースに対応するワイドダイナミックレンジ圧縮フィルタを選択することであって、前記複数のワイドダイナミックレンジ圧縮フィルタの各々が、前記複数の音ソースのうちの異なるそれぞれの音ソースに対応する、ワイドダイナミックレンジ圧縮フィルタを選択することを含む、請求項１２または１３に記載のシステム。

【請求項15】

前記１つまたは複数のマイクロフォンが、前記インイヤデバイスから漏れ信号をキャプチャし、前記オーディオコントローラは、
前記漏れ信号を実質的に防ぐための緩和信号を決定することであって、前記緩和信号が前記漏れ信号に対して位相外れである、緩和信号を決定することと、
前記緩和信号を、前記ヘッドセットに結合された別個のスピーカーアセンブリに出力信号として提供することと
を行うようにさらに構成された、請求項１２から１４のいずれか一項に記載のシステム。

【請求項16】

前記１つまたは複数のフィルタが、前記ローカルエリア中の前記ユーザのロケーション、前記ローカルエリア中の前記１つまたは複数の音ソースの各々のロケーション、前記ローカルエリアの１つまたは複数の音響パラメータ、および前記ローカルエリア中の音ソースのタイプ、のうちの１つまたは複数に部分的に基づく、請求項１２から１５のいずれか一項に記載のシステム。

【請求項17】

前記ターゲット音ソースが、前記ユーザの視線に部分的に基づいて前記オーディオコントローラによって決定される、請求項１２から１６のいずれか一項に記載のシステム。

【請求項18】

命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令は、１つまたは複数のプロセッサによって実行されたとき、前記１つまたは複数のプロセッサに、
１つまたは複数のマイクロフォンによって、ローカルエリアから音をキャプチャすることと、
前記キャプチャされた音に基づいて前記ローカルエリア中の１つまたは複数の音ソースを識別することと、
前記１つまたは複数の音ソースのうちのターゲット音ソースを決定することと、
前記キャプチャされた音における、前記ターゲット音ソースに関連する音信号に適用すべき１つまたは複数のフィルタを決定することと、
前記音信号に前記１つまたは複数のフィルタを適用することによって拡張音信号を生成することと、
ユーザへの提示のために前記拡張音信号をスピーカーアセンブリに提供することと
を含む動作を実施させる、非一時的コンピュータ可読記憶媒体。

【請求項19】

前記命令は、前記１つまたは複数のプロセッサに、
前記ターゲット音ソースが前記ローカルエリア中の異なる音ソースからしきい値距離内にあることを検出することと、
前記ターゲット音ソースと前記異なる音ソースとの間の空間分離を、少なくとも、前記しきい値距離よりも大きい分離距離になるように増加させるために、前記１つまたは複数のフィルタのうちの少なくとも１つを更新することと
をさらに含む動作をさらに実施させ、
前記ユーザに提示される前記拡張音信号は、音が前記ターゲット音ソースから発生すると思われ、前記異なる音ソースからの音が、前記ターゲット音ソースから少なくとも前記分離距離のところにある、前記ローカルエリア中のロケーションから発生すると思われるようなものである、請求項１８に記載の非一時的コンピュータ可読媒体。

【請求項20】

前記キャプチャされた音における、前記ターゲット音ソースに関連する前記音信号に適用すべき前記１つまたは複数のフィルタを決定することは、
複数のワイドダイナミックレンジ圧縮フィルタから、前記ターゲット音ソースに対応するワイドダイナミックレンジ圧縮フィルタを選択することであって、前記複数のワイドダイナミックレンジ圧縮フィルタの各々が、前記複数の音ソースのうちの異なるそれぞれの音ソースに対応する、ワイドダイナミックレンジ圧縮フィルタを選択すること
を含む、請求項１８または１９に記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、オーディオコンテンツを生成することに関し、より詳細には、それぞれのユーザに個別化された音プロファイルを使用するオーディオシステムに関する。

【背景技術】

【0002】

複数の音ソースをもつ環境では、聴き手は、他の音ソースからの音を聞こえなくし（ｔｕｎｅ ｏｕｔ）ながら特定の音ソースを聞く（ｔｕｎｅ ｉｎｔｏ）のに苦労し得る。たとえば、複数の人々が同時に話しているにぎやかな部屋では、聴き手が、その部屋中の他の話者の音よりも特定の話者の言葉を判別することは、困難であり得る。この現象は、カクテルパーティー問題として知られている。カクテルパーティー問題は、部分的な聴覚損失をもつ人々について、より深刻な問題を提起し得る。聴覚損失は、老化、外傷、および遺伝的欠陥などの要因に起因し得る。聴覚損失をもつ人々は、その人にとって関心のある音ソースに干渉する音ソースがあるとき、より著しく影響を及ぼされる。

【発明の概要】

【0003】

ヘッドセット上のオーディオシステムが、オーディオコンテンツがユーザに提示されるより前にオーディオコンテンツに適用すべき１つまたは複数のフィルタを生成する。１つまたは複数のフィルタは、ユーザの音プロファイルに基づいて生成され得る。ユーザの音プロファイルは、ユーザが異なる周波数における音をどのくらい良く聴取するかを記述する、ユーザに関する個人化された音情報である。また、いくつかの場合には、ユーザはある程度の聴覚損失を有し得、これはユーザの音プロファイルにおいてキャプチャされる。ユーザの聴覚損失の一部または全部を埋め合わせるために、音ソース（すなわち、ターゲット音ソース）によって放出されたオーディオコンテンツにおける音信号が、拡張音信号（ａｕｇｍｅｎｔｅｄ ｓｏｕｎｄ ｓｉｇｎａｌ）を作成するために１つまたは複数のフィルタによって強調され得る。いくつかの実施形態では、ヘッドセットは、（たとえば、ヘッドセット上のスピーカーアセンブリを介して）ユーザに拡張音信号を提示する。いくつかの実施形態では、ヘッドセットは、ヘッドセットに通信可能に結合された１つまたは複数のインイヤデバイスに拡張音信号を提供し、１つまたは複数のインイヤデバイスは、拡張音信号をユーザに提示する。いくつかの実施形態では、ヘッドセットは、１つまたは複数のインイヤデバイスに１つまたは複数のフィルタを提供し、１つまたは複数のインイヤデバイスは、１つまたは複数のフィルタを音信号に適用して、拡張音信号を生成し、次いで、拡張音信号をユーザに提示する。

【0004】

いくつかの実施形態では、１つまたは複数のフィルタは、音を抑制するために生成され得る。たとえば、１つまたは複数のフィルタは、ローカルエリア中の１つまたは複数の音ソース（たとえば、ファン、ターゲット音ソースではない人々など）からのオーディオコンテンツを抑制するために使用され得る。また、いくつかの実施形態では、１つまたは複数のフィルタは、インイヤデバイスからの漏れ信号（ローカルエリアに漏れ出た拡張音信号）を抑制するために使用され得る。

【0005】

いくつかの実施形態では、ユーザへの提示のために音信号を拡張するための方法が説明される。本方法は、（たとえば、ヘッドセット上に配置された）１つまたは複数のマイクロフォンによって、ローカルエリアから音をキャプチャすることを含む。本方法は、キャプチャされた音に基づいてローカルエリア中の１つまたは複数の音ソースを識別することをさらに含む。本方法は、１つまたは複数の音ソースのうちのターゲット音ソースを決定することをさらに含む。本方法は、キャプチャされた音における、ターゲット音ソースに関連する音信号に適用すべき１つまたは複数のフィルタを決定することをさらに含む。本方法は、音信号に１つまたは複数のフィルタを適用することによって拡張音信号を生成することをさらに含む。本方法は、ユーザへの提示のために拡張音信号をスピーカーアセンブリに提供することをさらに含む。いくつかの実施形態では、スピーカーアセンブリはヘッドセット上にある。他の実施形態では、スピーカーアセンブリは１つまたは複数のインイヤデバイス上にある。

【0006】

いくつかの実施形態では、ユーザへの提示のために音信号を拡張するシステムが説明される。本システムは、ヘッドセットのフレームに結合された１つまたは複数のマイクロフォンを備える。１つまたは複数のマイクロフォンは、ローカルエリアから音をキャプチャするように構成される。本システムは、ヘッドセットに組み込まれ、ユーザによって装着されたインイヤデバイスに通信可能に結合されたオーディオコントローラをさらに備える。オーディオコントローラは、キャプチャされた音に基づいてローカルエリア中の１つまたは複数の音ソースを識別するように構成される。オーディオコントローラは、１つまたは複数の音ソースのうちのターゲット音ソースを決定するようにさらに構成される。オーディオコントローラは、キャプチャされた音における、ターゲット音ソースに関連する音信号に適用すべき１つまたは複数のフィルタを決定するようにさらに構成される。オーディオコントローラは、音信号に１つまたは複数のフィルタを適用することによって拡張音信号を生成するようにさらに構成される。オーディオコントローラは、ユーザへの提示のために拡張音信号をインイヤデバイスに提供するようにさらに構成される。本開示の方法を実施するための命令を記憶するように構成された非一時的コンピュータ可読記憶媒体の実施形態も説明される。

【0007】

本開示の第１の態様によれば、
１つまたは複数のマイクロフォンによって、ローカルエリアから音をキャプチャすることと、
キャプチャされた音に基づいてローカルエリア中の１つまたは複数の音ソースを識別することと、
１つまたは複数の音ソースのうちのターゲット音ソースを決定することと、
キャプチャされた音における、ターゲット音ソースに関連する音信号に適用すべき１つまたは複数のフィルタを決定することと、
音信号に１つまたは複数のフィルタを適用することによって拡張音信号を生成することと、
ユーザへの提示のために拡張音信号をスピーカーアセンブリに提供することと
を含む、方法が提供される。
本方法は、
ターゲット音ソースがローカルエリア中の異なる音ソースからしきい値距離内にあることを検出することと、
ターゲット音ソースと異なる音ソースとの間の空間分離を、少なくとも、しきい値距離よりも大きい分離距離になるように増加させるために、１つまたは複数のフィルタのうちの少なくとも１つを更新することと
をさらに含み得、
ユーザに提示される拡張音信号は、音がターゲット音ソースから発生するように思われ、異なる音ソースからの音が、ターゲット音ソースから少なくとも分離距離のところにある、ローカルエリア中のロケーションから発生するように思われるようなものである。
１つまたは複数のフィルタはユーザの音プロファイルに部分的に基づき得、音プロファイルは少なくともユーザオーディオグラムを含み、本方法は、
ユーザフィードバックに基づいてユーザの音プロファイルを更新すること
をさらに含む。
１つまたは複数のフィルタは、ローカルエリア中のユーザのロケーション、ローカルエリア中の１つまたは複数の音ソースの各々のロケーション、ローカルエリアの１つまたは複数の音響パラメータ、およびローカルエリア中の音ソースのタイプのうちの１つまたは複数に部分的に基づき得る。
キャプチャされた音における、ターゲット音ソースに関連する音信号に適用すべき１つまたは複数のフィルタを決定することは、
複数のワイドダイナミックレンジ圧縮フィルタから、ターゲット音ソースに対応するワイドダイナミックレンジ圧縮フィルタを選択することであって、複数のワイドダイナミックレンジ圧縮フィルタの各々が、複数の音ソースのうちの異なるそれぞれの音ソースに対応する、ワイドダイナミックレンジ圧縮フィルタを選択すること
を含み得る。
ユーザへの提示のために拡張音信号をスピーカーアセンブリに提供することは、
拡張音信号を、ユーザによって装着されたインイヤデバイスのスピーカーアセンブリに提供すること
を含み得る。
１つまたは複数のマイクロフォンによって、ローカルエリアから音をキャプチャすることは、
ヘッドセットのフレームに結合された１つまたは複数のマイクロフォンによって、ローカルエリアから音をキャプチャすることであって、ヘッドセットが、インイヤデバイスとは別個であり、インイヤデバイスに通信可能に結合された、音をキャプチャすること
を含み得る。
本方法は、
１つまたは複数のマイクロフォンによって、インイヤデバイスから漏れ信号をキャプチャすることと、
漏れ信号を実質的に防ぐための緩和信号を決定することであって、緩和信号が漏れ信号に対して位相外れ（ｏｕｔ－ｏｆ－ｐｈａｓｅ）である、緩和信号を決定することと、
緩和信号を、ヘッドセットに結合された別個のスピーカーアセンブリに出力信号として提供することと
をさらに含み得る。
ターゲット音ソースを決定することは、ユーザの視線に部分的に基づき得る。
ターゲット音ソースを決定することは、ユーザによって提供された口頭キュー（ｖｅｒｂａｌ ｃｕｅ）に部分的に基づき得る。
ターゲット音ソースを決定することは、
ユーザによって実施されるジェスチャーの画像をキャプチャすることと、
ジェスチャーが音ソースの選択に対応すると決定することと、音ソースをターゲット音ソースとして選択することと
を含み得る。
本方法は、コンピュータ実装され得る。
本開示の第２の態様によれば、
ヘッドセットのフレームに結合された１つまたは複数のマイクロフォンであって、１つまたは複数のマイクロフォンが、ローカルエリアから音をキャプチャするように構成された、１つまたは複数のマイクロフォンと、
ヘッドセットに組み込まれ、ユーザによって装着されたインイヤデバイスに通信可能に結合されたオーディオコントローラと
を備えるシステムであって、オーディオコントローラが、
キャプチャされた音に基づいてローカルエリア中の１つまたは複数の音ソースを識別することと、
１つまたは複数の音ソースのうちのターゲット音ソースを決定することと、
キャプチャされた音における、ターゲット音ソースに関連する音信号に適用すべき１つまたは複数のフィルタを決定することと、
音信号に１つまたは複数のフィルタを適用することによって拡張音信号を生成することと、
ユーザへの提示のために拡張音信号をインイヤデバイスに提供することと
を行うように構成された、システムが提供される。
オーディオコントローラは、
ターゲット音ソースがローカルエリア中の異なる音ソースからしきい値距離内にあることを検出することと、
ターゲット音ソースと異なる音ソースとの間の空間分離を、少なくとも、しきい値距離よりも大きい分離距離になるように増加させるために、１つまたは複数のフィルタのうちの少なくとも１つを更新することと
を行うようにさらに構成され得、
ユーザに提示される拡張音信号は、音がターゲット音ソースから発生するように思われ、異なる音ソースからの音が、ターゲット音ソースから少なくとも分離距離のところにある、ローカルエリア中のロケーションから発生するように思われるようなものである。
キャプチャされた音における、ターゲット音ソースに関連する音信号に適用すべき１つまたは複数を決定することは、複数のワイドダイナミックレンジ圧縮フィルタから、ターゲット音ソースに対応するワイドダイナミックレンジ圧縮フィルタを選択することであって、複数のワイドダイナミックレンジ圧縮フィルタの各々が、複数の音ソースのうちの異なるそれぞれの音ソースに対応する、ワイドダイナミックレンジ圧縮フィルタを選択することを含み得る。
１つまたは複数のマイクロフォンは、インイヤデバイスから漏れ信号をキャプチャし得、オーディオコントローラは、
漏れ信号を実質的に防ぐための緩和信号を決定することであって、緩和信号が漏れ信号に対して位相外れである、緩和信号を決定することと、
緩和信号を、ヘッドセットに結合された別個のスピーカーアセンブリに出力信号として提供することと
を行うようにさらに構成され得る。
１つまたは複数のフィルタは、ローカルエリア中のユーザのロケーション、ローカルエリア中の１つまたは複数の音ソースの各々のロケーション、ローカルエリアの１つまたは複数の音響パラメータ、およびローカルエリア中の音ソースのタイプのうちの１つまたは複数に部分的に基づき得る。
ターゲット音ソースは、ユーザの視線に部分的に基づいてオーディオコントローラによって決定され得る。
本開示の第３の態様によれば、命令を記憶する非一時的コンピュータ可読記憶媒体であって、命令は、１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに、
１つまたは複数のマイクロフォンによって、ローカルエリアから音をキャプチャすることと、
キャプチャされた音に基づいてローカルエリア中の１つまたは複数の音ソースを識別することと、
１つまたは複数の音ソースのうちのターゲット音ソースを決定することと、
キャプチャされた音における、ターゲット音ソースに関連する音信号に適用すべき１つまたは複数のフィルタを決定することと、
音信号に１つまたは複数のフィルタを適用することによって拡張音信号を生成することと、
ユーザへの提示のために拡張音信号をスピーカーアセンブリに提供することと
を含む動作を実施させる、非一時的コンピュータ可読記憶媒体が提供される。
命令は、１つまたは複数のプロセッサに、
ターゲット音ソースがローカルエリア中の異なる音ソースからしきい値距離内にあることを検出することと、
ターゲット音ソースと異なる音ソースとの間の空間分離を、少なくとも、しきい値距離よりも大きい分離距離になるように増加させるために、１つまたは複数のフィルタのうちの少なくとも１つを更新することと
をさらに含む動作をさらに実施させ得、
ユーザに提示される拡張音信号は、音がターゲット音ソースから発生するように思われ、異なる音ソースからの音が、ターゲット音ソースから少なくとも分離距離のところにある、ローカルエリア中のロケーションから発生するように思われるようなものである。
キャプチャされた音における、ターゲット音ソースに関連する音信号に適用すべき１つまたは複数のフィルタを決定することは、
複数のワイドダイナミックレンジ圧縮フィルタから、ターゲット音ソースに対応するワイドダイナミックレンジ圧縮フィルタを選択することであって、複数のワイドダイナミックレンジ圧縮フィルタの各々が、複数の音ソースのうちの異なるそれぞれの音ソースに対応する、ワイドダイナミックレンジ圧縮フィルタを選択すること
を含み得る。

【図面の簡単な説明】

【0008】

【図1A】１つまたは複数の実施形態による、アイウェアデバイスとして実装されるヘッドセットの斜視図である。

【図1B】１つまたは複数の実施形態による、ヘッドマウントディスプレイとして実装されるヘッドセットの斜視図である。

【図2】１つまたは複数の実施形態による、オーディオシステムのブロック図である。

【図3】１つまたは複数の実施形態による、１つまたは複数の音ソースを含むローカルエリアの一例の図である。

【図4】１つまたは複数の実施形態による、ユーザへの提示のために音信号を拡張するためのプロセスを示すフローチャートである。

【図5】１つまたは複数の実施形態による、ヘッドセットと１つまたは複数のインイヤデバイスとを含むシステムの図である。

【発明を実施するための形態】

【0009】

図は、単に例示の目的で様々な実施形態を示す。本明細書で説明される原理から逸脱することなく、本明細書で示される構造および方法の代替実施形態が採用され得ることを、当業者は以下の説明から容易に認識されよう。

【0010】

ヘッドセット上のオーディオシステムが、オーディオコンテンツがユーザに提示されるより前にオーディオコンテンツに適用すべき１つまたは複数のフィルタを生成する。オーディオコンテンツは、ヘッドセットの周囲のローカルエリアからの再ブロードキャストされたキャプチャされた音、ヘッドセットによって提供される仮想音、モバイルデバイス（たとえば、モバイルフォン）によって提供される音楽および／または（たとえば、通話からの）オーディオ、あるいはそれらの何らかの組合せを含み得る。音は１つまたは複数の音信号を含み、ここで、各音信号は音ソースに関連する。音ソースは、ユーザ、人、ヘッドセットを装着している人、動物、スピーカー（たとえば、インイヤデバイスのスピーカー）、機械デバイス、またはヘッドセットの周囲のローカルエリア中の音を放出する任意の他の現実世界のオブジェクトなどの現実世界の音ソース、ローカルエリア中のユーザに提示される仮想オブジェクトなどの仮想音ソース、あるいは、ローカルエリア中の音を放出するモバイルフォンスピーカー、タブレットスピーカー、または任意の他のモバイルデバイススピーカーなどのモバイルデバイス音ソースであり得る。いくつかの実施形態では、オーディオシステムは、特定の音ソース（すなわち、ターゲット音ソース）によって放出された音信号に適用されるべき１つまたは複数のフィルタ（たとえば、ローパス、ハイパス、ダイナミックレンジ圧縮フィルタなど）を生成する。音信号に適用される１つまたは複数のフィルタは、たとえば、音信号のいくつかの周波数（たとえば、１０ｋＨｚよりも大きい周波数）を増幅し、（ワイドダイナミックレンジ圧縮フィルタを使用して）特定の利得を音信号に適用し、音信号を空間化し、音信号のいくつかの周波数を減衰させ、いくつかの周波数の強度を等化し、いくつかの他の調整を音信号に適用し、いくつかの周波数にマルチバンドリミッタを適用し、またはそれらの何らかの組合せを行い得る。いくつかの実施形態では、オーディオシステムは、（１つまたは複数の）他の音ソースによって放出された（１つまたは複数の）他の音信号に適用されるべき１つまたは複数のフィルタを生成する。（１つまたは複数の）他の音信号に適用される１つまたは複数のフィルタは、それらの音信号の特定の周波数を減少させるかまたはなくし得る。オーディオコンテンツが経時的に変化するにつれて、フィルタのいずれかまたはすべてが動的に調整され得る。

【0011】

オーディオシステムは、ローカルエリアのモデルに記憶された暗黙的ユーザフィードバック（たとえば、視標追跡情報）に部分的に基づいてターゲット音ソースを識別し得る。ローカルエリアのモデルは、ローカルエリア中の（ユーザを含む）各音ソースについての位置、移動、および音響効果を追跡し、ローカルエリアを記述する音響パラメータを記憶する。いくつかの実施形態では、オーディオシステムは、明示的なユーザ入力に基づいてターゲット音ソースを識別し得る。

【0012】

オーディオシステムによって生成された１つまたは複数のフィルタは、ユーザの音プロファイルに基づき得る。ユーザの音プロファイルは、ユーザが異なる周波数における音をどのくらい良く聴取するかを記述する、ユーザに関する個人化された音情報である。音プロファイルは、オーディオグラム、ラウドネス不快感レベル（ｌｏｕｄｎｅｓｓ ｄｉｓｃｏｍｆｏｒｔ ｌｅｖｅｌ）テスト結果、雑音中音声（ｓｐｅｅｃｈ－ｉｎ－ｎｏｉｓｅ）テスト結果、スペクトル－時間弁別（ｓｐｅｃｔｒｏ－ｔｅｍｐｏｒａｌ ｄｉｓｃｒｉｍｉｎａｔｉｏｎ）結果、時間微細構造（ｔｅｍｐｏｒａｌ ｆｉｎｅ－ｓｔｒｕｃｔｕｒｅ）テスト結果、認知パフォーマンス（ｃｏｇｎｉｔｉｖｅ ｐｅｒｆｏｒｍａｎｃｅ）テスト結果、自己報告聴力（ｓｅｌｆ－ｒｅｐｏｒｔｅｄ ｈｅａｒｉｎｇ ａｂｉｌｉｔｙ）、何らかの他の聴覚テスト結果、またはそれらの何らかの組合せを含み得る。いくつかの場合には、ユーザはある程度の聴覚損失を有し得、これはユーザの音プロファイルにおいてキャプチャされる。ユーザの聴覚損失の一部または全部を埋め合わせるために、ターゲット音ソースによって放出された音信号は、拡張音信号を作成するために１つまたは複数のフィルタによって強調され得る。いくつかの実施形態では、より良い音質をユーザに提示するために、ターゲット音ソースによって放出された音信号は、音信号をより良く空間化するために拡張され得るか、またはフィードバックを低減するために拡張され得る。いくつかの実施形態では、他の音ソースによって放出されたオーディオコンテンツにおける１つまたは複数の他の音信号は、１つまたは複数のフィルタによって抑制され得る。いくつかの実施形態では、オーディオシステムによって生成された１つまたは複数のフィルタは、ローカルエリアのモデルに基づき得る。

【0013】

いくつかの実施形態では、オーディオシステムが、識別されたターゲット音ソースによって放出された音信号に１つまたは複数のフィルタを適用し得る。別の実施形態では、インイヤデバイスが、音信号に１つまたは複数のフィルタを適用する。音信号にフィルタを適用することによって、拡張音信号が生成される。いくつかの実施形態では、ヘッドセットは、（たとえば、ヘッドセット上のスピーカーアセンブリを介して）ユーザに拡張音信号を提示する。いくつかの実施形態では、ヘッドセットは、ヘッドセットに通信可能に結合された１つまたは複数のインイヤデバイスに拡張音信号を提供し、１つまたは複数のインイヤデバイスは、拡張音信号をユーザに提示する。いくつかの実施形態では、ヘッドセットは、１つまたは複数のインイヤデバイスに１つまたは複数のフィルタを提供し、１つまたは複数のインイヤデバイスは、１つまたは複数のフィルタを音信号に適用して、拡張音信号を生成し、次いで、拡張音信号をユーザに提示する。

【0014】

現在のオーディオ強調技術は、効果的にカクテルパーティー問題を解決することができない。たとえば、従来の補聴器は極めて小さいフォームファクタを有し、したがって、それらは大きいマルチマイクロフォンアレイのための余地を有しない。その上、小さいフォームファクタは、処理負荷および電力消費に関する制限を課す。上記を念頭におくと、従来の補聴器が、概して、たとえば混雑したレストラン中で、なぜ音ソースからの音をうまく切り離し、強調することができない（すなわち、カクテル問題を実際に緩和しない）かは明らかである。対照的に、本明細書で説明されるオーディオシステムは、はるかに大きいフォームファクタを有するヘッドセットの一部であり、はるかに大きいマイクロフォンアレイと、より大きい電源と、より強力な処理能力とを含むことができる。したがって、本明細書で説明されるオーディオシステムは、インイヤデバイスが極めて単純な設計を有することを潜在的に可能にすることができる。大きいマイクロフォンアレイは、カクテルパーティー問題を大幅に緩和し、いくつかの事例では解決することが可能であるオーディオシステムの処理能力と組み合わせた、（従来の補聴器に対して）ローカルエリア内の音ソースロケーションを解決するはるかに改善された能力を可能にする。その上、オーディオシステムは、ユーザのためのオーディオコンテンツを生成するためにユーザの音プロファイルを使用することによってユーザの聴覚損失を埋め合わせることができる。

【0015】

本発明の実施形態は、人工現実システムを含むか、または人工現実システムとともに実装され得る。人工現実は、ユーザへの提示の前に何らかの様式で調整された形式の現実であり、これは、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいはそれらの何らかの組合せおよび／または派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされた（たとえば、現実世界の）コンテンツと組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る（観察者に３次元効果をもたらすステレオビデオなど）。さらに、いくつかの実施形態では、人工現実は、人工現実におけるコンテンツを作成するために使用される、および／または人工現実において別様に使用される、アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せにも関連し得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたウェアラブルデバイス（たとえば、ヘッドセット）、独立型ウェアラブルデバイス（たとえば、ヘッドセット）、モバイルデバイスまたはコンピューティングシステム、あるいは、１人または複数の観察者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。

【0016】

図１Ａは、１つまたは複数の実施形態による、アイウェアデバイスとして実装されるヘッドセット１００の斜視図である。いくつかの実施形態では、アイウェアデバイスは、ニアアイディスプレイ（ＮＥＤ）である。概して、ヘッドセット１００は、コンテンツ（たとえば、メディアコンテンツ）が、ヘッドセット１００のディスプレイアセンブリおよび／またはオーディオシステムを使用して提示されるように、ユーザの顔に装着され得る。メディアコンテンツの例は、１つまたは複数の画像、ビデオ、オーディオ、またはそれらの何らかの組合せを含む。しかしながら、ヘッドセット１００はまた、メディアコンテンツが異なる様式でユーザに提示されるように使用され得る。たとえば、オーディオコンテンツは、ユーザによって装着されたインイヤデバイス１８５の一方または両方を使用して提示され得る。ヘッドセット１００は、フレーム１１０を含み、構成要素の中でも、１つまたは複数のディスプレイ要素１２０を含むディスプレイアセンブリと、１つまたは複数のイメージングデバイス１３０と、深度カメラアセンブリ（ＤＣＡ）と、位置センサー１９０と、パッシブカメラアセンブリ（ＰＣＡ）と、視標追跡システムと、オーディオシステムとを含み得る。図１Ａは、ヘッドセット１００上の例示的なロケーションにおけるヘッドセット１００の構成要素を示すが、構成要素は、ヘッドセット１００上の他の場所に、ヘッドセット１００とペアリングされた周辺デバイス上に、またはそれらの何らかの組合せで位置し得る。同様に、図１Ａに示されているものよりも多いまたは少ない構成要素がヘッドセット１００上にあり得る。

【0017】

フレーム１１０は、ヘッドセット１００の他の構成要素を保持する。フレーム１１０は、１つまたは複数のディスプレイ要素１２０を保持する前面部と、ユーザの頭部に取り付けるためのエンドピース（たとえば、テンプル）とを含む。フレーム１１０の前面部は、ユーザの鼻の上をまたいでいる。エンドピースの長さは、異なるユーザにフィットするように調整可能（たとえば、調整可能なテンプルの長さ）であり得る。エンドピースはまた、ユーザの耳の後ろ側で湾曲する部分（たとえば、テンプルの先端、イヤピース）を含み得る。

【0018】

１つまたは複数のディスプレイ要素１２０は、ヘッドセット１００を装着しているユーザに光を提供する。図示のように、ヘッドセットは、ユーザの各眼のためのディスプレイ要素１２０を含む。いくつかの実施形態では、ディスプレイ要素１２０は、ヘッドセット１００のアイボックスに提供される画像光を生成する。アイボックスは、ヘッドセット１００を装着している間にユーザの眼が占有する空間中のロケーションである。たとえば、ディスプレイ要素１２０は導波路ディスプレイであり得る。導波路ディスプレイは、光ソース（たとえば、２次元ソース、１つまたは複数の線ソース、１つまたは複数の点ソースなど）と、１つまたは複数の導波路とを含む。光ソースからの光は、１つまたは複数の導波路中に内部結合され、１つまたは複数の導波路は、ヘッドセット１００のアイボックス中に瞳複製（ｐｕｐｉｌ ｒｅｐｌｉｃａｔｉｏｎ）があるような様式で光を出力する。１つまたは複数の導波路からの光の内部結合および／または外部結合が、１つまたは複数の回折格子を使用して行われ得る。いくつかの実施形態では、導波路ディスプレイは、光ソースからの光が１つまたは複数の導波路中に内部結合されるときにその光を走査する走査要素（たとえば、導波路、ミラーなど）を含む。いくつかの実施形態では、ディスプレイ要素１２０の一方または両方が不透明であり、ヘッドセット１００の周りのローカルエリアからの光を透過しないことに留意されたい。ローカルエリアは、ヘッドセット１００の周囲のエリアである。たとえば、ローカルエリアは、ヘッドセット１００を装着しているユーザが中にいる部屋であり得、または、ヘッドセット１００を装着しているユーザは外にいることがあり、ローカルエリアは外のエリアである。このコンテキストでは、ヘッドセット１００はＶＲコンテンツを生成する。代替的に、いくつかの実施形態では、ＡＲおよび／またはＭＲコンテンツを作り出すために、ローカルエリアからの光が１つまたは複数のディスプレイ要素からの光と組み合わせられ得るように、ディスプレイ要素１２０の一方または両方は少なくとも部分的に透明である。

【0019】

いくつかの実施形態では、ディスプレイ要素１２０は、画像光を生成せず、代わりに、ローカルエリアからの光をアイボックスに透過するレンズである。たとえば、ディスプレイ要素１２０の一方または両方は、補正なしのレンズ（非処方）であるか、または、ユーザの視力の欠損を補正するのを助けるための処方レンズ（たとえば、単焦点、二焦点、および三焦点、または累進多焦点（ｐｒｏｇｒｅｓｓｉｖｅ））であり得る。いくつかの実施形態では、ディスプレイ要素１２０は、太陽からユーザの眼を保護するために、偏光および／または色付けされ得る。

【0020】

いくつかの実施形態では、ディスプレイ要素１２０は追加の光学ブロック（図示せず）を含み得ることに留意されたい。光学ブロックは、ディスプレイ要素１２０からの光をアイボックスに向ける１つまたは複数の光学要素（たとえば、レンズ、フレネルレンズなど）を含み得る。光学ブロックは、たとえば、画像コンテンツの一部または全部における収差を補正するか、画像の一部または全部を拡大するか、あるいはそれらの何らかの組合せを行い得る。

【0021】

いくつかの実施形態では、ヘッドセット１００は、ヘッドセット１００の周囲のローカルエリアについての視覚情報をキャプチャする１つまたは複数のイメージングデバイス１３０を含み得る。いくつかの実施形態では、イメージングデバイス１３０は、深度カメラアセンブリ（ＤＣＡ）によって利用される。ＤＣＡは、ヘッドセット１００の周囲のローカルエリアの一部分についての深度情報を決定する。ＤＣＡは、１つまたは複数のイメージングデバイス１３０と、ＤＣＡコントローラ（図１Ａに図示せず）とを含み、照明器１４０をも含み得る。いくつかの実施形態では、照明器１４０は、ローカルエリアの部分を光で照明する。光は、たとえば、赤外線（ＩＲ）における構造化光（たとえば、ドットパターン、バーなど）、飛行時間についてのＩＲフラッシュなどであり得る。いくつかの実施形態では、１つまたは複数のイメージングデバイス１３０は、照明器１４０からの光を含むローカルエリアの部分の画像をキャプチャする。図示のように、図１Ａは、単一の照明器１４０と２つのイメージングデバイス１３０とを示す。代替実施形態では、照明器１４０がなく、少なくとも２つのイメージングデバイス１３０がある。

【0022】

ＤＣＡコントローラは、キャプチャされた画像と１つまたは複数の深度決定技法とを使用して、ローカルエリアの一部分についての深度情報を算出する。深度決定技法は、たとえば、直接飛行時間（ＴｏＦ）深度検知、間接ＴｏＦ深度検知、構造化光、パッシブステレオ分析、アクティブステレオ分析（照明器１４０からの光によってシーンに追加されたテクスチャを使用する）、シーンの深度を決定するための何らかの他の技法、またはそれらの何らかの組合せであり得る。

【0023】

位置センサー１９０は、１つまたは複数の測定信号を生成し、ヘッドセット１００に関する位置情報を推定する。位置情報は、ローカルエリア中のヘッドセット１００の位置、ヘッドセット１００の配向、ヘッドセット１００の速度、またはそれらの何らかの組合せを含み得る。ユーザによって装着されたヘッドセット１００の位置情報は、ユーザの頭部に関する位置情報に対応する。位置センサー１９０は、ヘッドセット１００のフレーム１１０の一部分に位置し得る。位置センサー１９０は、慣性測定ユニット（ＩＭＵ）を含み得る。位置センサー１９０の例は、１つまたは複数の加速度計、１つまたは複数のジャイロスコープ、１つまたは複数の磁力計、運動を検出する別の好適なタイプのセンサー、ＩＭＵの誤差補正のために使用されるタイプのセンサー、またはそれらの何らかの組合せを含む。位置センサー１９０は、ＩＭＵの外部に、ＩＭＵの内部に、またはそれらの何らかの組合せで位置し得る。

【0024】

いくつかの実施形態では、ヘッドセット１００は、ヘッドセット１００の位置のための同時位置特定およびマッピング（ＳＬＡＭ）と、ローカルエリアのモデルの更新とを提供し得る。たとえば、ヘッドセット１００は、カラー画像データを生成するパッシブカメラアセンブリ（ＰＣＡ）を含み得る。ＰＣＡは、ローカルエリアの一部または全部の画像をキャプチャする１つまたは複数のイメージングデバイス１３０（たとえば、ＲＧＢカメラ）を含み得る。ＰＣＡによってキャプチャされた画像と、ＤＣＡによって決定された深度情報とは、ローカルエリア中の１つまたは複数の音ソースに関する位置情報を決定すること（すなわち、各音ソースがローカルエリア内に位置する場合）、各音ソースの位置を含むローカルエリアのモデルを生成すること、経時的にローカルエリアのモデルを更新する（すなわち、１つまたは複数の音ソースが位置を変更するにつれてモデルを更新する）こと、またはそれらの何らかの組合せを行うために使用され得る。さらに、位置センサー１９０は、ローカルエリアのモデル中のヘッドセット１００の位置（たとえば、ロケーション、配向、および速度）を追跡する。いくつかの実施形態では、ローカルエリアのモデルは、（たとえば、オーディオシステム中の）ヘッドセットに、外部システム（たとえば、マッピングサーバ）に、モバイルデバイスに、またはそれらの任意の組合せに記憶される。

【0025】

いくつかの実施形態では、ＰＣＡは、ローカルエリア中の各現実世界の音ソースについて音ソースのタイプを識別するために、オブジェクト認識モデルを使用し得る。音ソースのタイプは、ローカルエリア中の音を放出するエンティティの分類である。たとえば、ＰＣＡは、現実世界の音ソースのタイプを識別するためにオブジェクト認識を使用し得る。現実世界の音ソースは、たとえば、人、ヘッドセットを装着している人、スピーカー、動物、機械デバイス、ローカルエリア中の音を放出する何らかの他の現実世界のエンティティ、またはそれらの何らかの組合せであり得る。ＰＣＡは、各音ソースのタイプを含むようにローカルエリアのモデルを更新し得る。ＰＣＡはまた、各人またはヘッドセットを装着している人によって実施されるジェスチャーを追跡することによってローカルエリアのモデルを更新し得る。ジェスチャーは、しゃべること、手を振ること、手を上げること、現実世界のオブジェクトをユーザに手渡すこと、あるいは人またはヘッドセットを装着している人によって実施される何らかの他のジェスチャーを含み得る。

【0026】

いくつかの実施形態では、ＰＣＡは、ユーザの画像をキャプチャし得る。ユーザのＰＣＡによってキャプチャされた画像は、ユーザによって実施されるジェスチャーでローカルエリアのモデルを更新するために使用され得る。ジェスチャーは、コマンド（すなわち、暗黙的ユーザ入力）を示すユーザによって実施される何らかの移動である。ユーザによって実施されるジェスチャーは、たとえば、ユーザの（１つまたは複数の）手、（１つまたは複数の）指、（１つまたは複数の）腕を用いたポインティングジェスチャー、コマンドを示すユーザによって実施される何らかの他の移動、またはそれらの何らかの組合せを含み得る。

【0027】

いくつかの実施形態では、ヘッドセット１００は、ヘッドセット１００を装着しているユーザの（１つまたは複数の）眼の１つまたは複数の画像をキャプチャする１つまたは複数のイメージングデバイス１３０を含み得る。いくつかの実施形態では、イメージングデバイス１３０は、キャプチャされた画像に基づいてユーザの眼に関連する視標追跡情報を決定するために視標追跡システムによって利用される。視標追跡システムはまた、ＩＲ光で眼を照明する１つまたは複数の光ソース（図示せず）を含み得る。光ソースは、たとえば、レーザーを放出する垂直キャビティ、発光ダイオード（ＬＥＤ）、マイクロＬＥＤ、赤外光ＩＲの何らかの他のソース、またはそれらの何らかの組合せであり得る。視標追跡システムによって利用される１つまたは複数のイメージングデバイス１３０は、１つまたは複数の光ソースからのＩＲ光で照明される眼の一方または両方の画像をキャプチャするように構成される。

【0028】

視標追跡システムは、キャプチャされた画像と深度決定技法とを使用してユーザの眼の一方または両方についての視標追跡情報を決定し得る。深度決定技法は、たとえば、構造化光、飛行時間、ステレオイメージング、当業者になじみのある何らかの他の深度決定方法などを含み得る。いくつかの実施形態では、視標追跡センサーは、キャプチャされた画像とユーザの眼のモデルとに基づいて視標追跡情報を決定する。視標追跡システムによって決定された視標追跡情報は、たとえば、視線情報、瞳孔測定情報、またはそれらの何らかの組合せを含み得る。ユーザの視線は、ユーザが見ている方向（たとえば、ユーザの眼配向）である。ユーザの瞳孔測定情報は、瞳孔サイズおよび瞳孔反応性である。視線情報および瞳孔測定情報の一方または両方は、ユーザがユーザの注意をどこに向けているか（たとえば、暗黙的ユーザ入力）を決定するために使用され得る。

【0029】

視標追跡システムによって決定された視標追跡情報は、ユーザの視線を決定するために、（たとえば、位置センサー１９０を使用して決定されるような）ヘッドセット１１０の決定された位置と組み合わせられ得る。たとえば、（ユーザの頭部に対するユーザの眼の配向を示す）ユーザの眼配向に対応するベクトルは、（ローカル環境においてユーザが見ている方向を示す）ユーザの視線に対応するベクトルを決定するために、（ローカルエリア内のヘッドセットのロケーションおよび配向を示す）ヘッドセットの位置に対応するベクトルに追加され得る。ローカルエリアのモデルは、ユーザの視線ベクトルを含み得る。いくつかの実施形態では、ローカルエリアのモデルは、ユーザのためのマッピングされた視線ベクトルの履歴を含み得る。ユーザの視線を決定することによって、ローカルエリア中でユーザが見ている方向が識別され、その方向は、（たとえば、オーディオシステムによって決定されるような）ローカルエリア中の他の音ソースの位置の知識の組合せにおいて、ユーザが音ソースのうちのどれのほうを見ているかに関する決定を可能にすることができる。

【0030】

いくつかの実施形態では、視標追跡システムは、ＰＣＡによって利用される１つまたは複数のイメージングデバイス１３０の視野内のローカルエリアを示す１つまたは複数の画像をＰＣＡから受信し得、決定された視線を受信された画像内のロケーションにマッピングする。ローカルエリアのモデルは、視線を含むように更新され得る。

【0031】

オーディオシステムは、ヘッドセット１００を介しておよび／またはインイヤデバイス１８５を介してオーディオコンテンツをユーザに提供する。オーディオシステムは、マイクロフォンアレイと、オーディオコントローラ１５０と、トランスデューサアレイとを含む。ただし、他の実施形態では、オーディオシステムは、異なるおよび／または追加の構成要素を含み得る。同様に、いくつかの場合には、オーディオシステムの構成要素に関して説明される機能性は、ここで説明されるものとは異なる様式で構成要素の間で分散され得る。たとえば、コントローラの機能の一部または全部が、リモートサーバによって実施され得る。

【0032】

マイクロフォンアレイは、ヘッドセット１００のローカルエリア内の音を検出する。マイクロフォン１８０は、ローカルエリア（たとえば、部屋）中の１つまたは複数の現実世界の音ソースから放出された音をキャプチャする。マイクロフォンアレイは、複数のマイクロフォン１８０を含む。マイクロフォン１８０は、音響波センサー、音トランスデューサ、または音を検出するのに好適である同様のセンサーであり得る。マイクロフォン１８０の数および／またはロケーションは、図１Ａに示されているものとは異なり得る。たとえば、収集されたオーディオ情報の量ならびにその情報の感度および／または精度を増加させるために、マイクロフォンロケーションの数が増加され得る。マイクロフォンロケーションは、マイクロフォン１８０が、ヘッドセット１００を装着しているユーザの周囲の広範囲の方向における音を検出することが可能であるように、配向され得る。各マイクロフォン１８０は、音を検出し、検出された音を電子フォーマット（アナログまたはデジタル）に変換するように構成される。いくつかの実施形態では、マイクロフォン１８０は、ヘッドセット１００の外面上に置かれるか、ヘッドセット１００の内面上に置かれるか、ヘッドセット１００とは別個（たとえば、何らかの他のデバイスの一部）であるか、またはそれらの何らかの組合せであり得る。

【0033】

一実施形態では、マイクロフォンアレイは、インイヤデバイス１８５から放出された漏れ信号をキャプチャする。他の実施形態では、マイクロフォンアレイは、ヘッドセット１００のオーディオシステムのトランスデューサアレイから放出された漏れ信号をキャプチャし得る。漏れ信号は、インイヤデバイス１８５を介してまたはヘッドセット１００のオーディオシステムを介してユーザにオーディオコンテンツとして提示される拡張音信号と同相である音信号である。漏れ信号は、ローカルエリア中で他の人によって聴取されるかまたは他のヘッドセットデバイスによってキャプチャされ得る。

【0034】

ヘッドセット１００のトランスデューサアレイは、オーディオコントローラ１５０からの命令に従って１つまたは複数の音信号をユーザに提供し得る。たとえば、ヘッドセット１００のトランスデューサアレイは、オーディオコントローラからの命令に従ってユーザに拡張音信号を提示し得る。トランスデューサアレイは、複数のトランスデューサを含む。トランスデューサは、スピーカー１６０または組織トランスデューサ１７０（たとえば、骨伝導トランスデューサまたは軟骨伝導トランスデューサ）であり得る。スピーカー１６０の数および／またはロケーションは、図１Ａに示されているものとは異なり得る。たとえば、スピーカー１６０は、ヘッドセット１００のフレーム１１０に囲まれ得る。いくつかの実施形態では、各耳のための個々のスピーカーの代わりに、ヘッドセット１００は、提示されたオーディオコンテンツの方向性を改善するためにフレーム１１０に組み込まれた複数のスピーカーを備えるスピーカーアレイを含む。組織トランスデューサ１７０は、ユーザの頭部に結合し、ユーザの組織（たとえば、骨または軟骨）を直接振動させて、音を生成する。トランスデューサの数および／またはロケーションは、図１Ａに示されているものとは異なり得る。

【0035】

トランスデューサアレイは、オーディオコントローラ１５０からの命令に従って緩和信号を出力し得る。緩和信号は、遠距離場におけるインイヤデバイス１８５によって放出された漏れ信号を実質的に消去し、したがって、ローカルエリア中の他の人またはヘッドセットは、遠距離場における漏れ信号を聴取またはキャプチャしないことがある。

【0036】

オーディオコントローラ１５０は、オーディオシステムの動作を制御する。オーディオコントローラ１５０は、プロセッサとコンピュータ可読記憶媒体とを備え得る。オーディオコントローラ１５０は、ローカルエリア中の音ソース（現実世界の音ソースまたは仮想音ソース）をターゲット音ソースとして識別し得る。いくつかの実施形態では、オーディオコントローラ１５０は、ローカルエリアのモデルに記憶された暗黙的ユーザ入力に基づいてターゲット音ソースを識別する。いくつかの実施形態では、オーディオコントローラ１５０は、明示的なユーザ入力（たとえば、ユーザによって提供された口頭キュー）に基づいてターゲット音ソースを識別する。

【0037】

オーディオコントローラ１５０は、ユーザの音プロファイルに基づいて、マイクロフォンアレイによってキャプチャされた１つまたは複数の音信号に適用すべき１つまたは複数のフィルタを生成し得る。１つまたは複数のフィルタは、たとえば、ターゲット音ソースによって放出された音に対応する音信号、他の音ソースによって放出された音に対応する音信号、またはそれらの何らかの組合せに適用され得る。いくつかの実施形態では、オーディオコントローラ１５０は、ローカルエリアのモデルを使用して１つまたは複数のフィルタを生成し得る。いくつかの実施形態では、１つまたは複数のフィルタは、ターゲット音ソースによって放出された音に対応する音信号を（たとえば、いくつかの周波数を増幅することによって、オーディオを等化することによってなど）強調し得る。いくつかの実施形態では、オーディオコントローラ１５０は、ターゲット音ソースによって放出された音に対応する音信号に１つまたは複数のフィルタを適用することによって、拡張信号を生成する。いくつかの実施形態では、オーディオコントローラ１５０は、拡張信号を生成するために音信号に１つまたは複数のフィルタを適用するようにとの命令をインイヤデバイス１８５に提供する。

【0038】

オーディオコントローラ１５０は、ローカルエリア中の（１つまたは複数の）他の音ソースによって放出された音に対応する（１つまたは複数の）音信号を（たとえば、いくつかの周波数をフィルタで除去することによって）抑制する１つまたは複数のフィルタを生成し得る。一実施形態では、オーディオコントローラ１５０は緩和信号を決定する。緩和信号は、インイヤデバイス１８５によって放出された漏れ信号に対して位相外れである音信号である。漏れ信号は、ローカルエリア中で、他の人によって聴取され、および／または他のデバイス（たとえば、ヘッドセット）によってキャプチャされ得、これは、ユーザのプライバシーを阻害する。いくつかの実施形態では、漏れ信号は、マイクロフォンアレイによってキャプチャされ得る。オーディオコントローラは、漏れ信号の周波数をフィルタで除去するフィルタを生成する。オーディオコントローラは、緩和信号を生成するために、漏れ信号にこのフィルタを適用する。緩和信号は、オーディオコントローラ１５０によってトランスデューサアレイに出力信号として提供される。緩和信号は、遠距離場における漏れ信号を抑制し、したがって、ユーザのためのさらなるプライバシーを提供する。

【0039】

いくつかの実施形態では、オーディオコントローラ１５０は、ターゲット音ソースでないと決定された音ソースによって放出された音に対応する音信号を抑制する１つまたは複数のフィルタを生成し得る。他の音ソースによって放出された音に対応する音信号の抑制は、カクテルパーティー問題を解決するのを助ける。たとえば、他の音ソース（たとえば、群衆中の複数の人々）に関連する音信号の周波数を抑制することによって、オーディオコントローラ１５０は、ターゲット音ソース（たとえば、ユーザが会話している人）に関連する音信号にフィルタを適用することさえなしに、ターゲット音ソースによって放出された音を強調し得る。別の例では、他の音ソースに関連する音信号における周波数を抑制し、ターゲット音ソースに関連する音信号における周波数を強調することによって、オーディオコントローラ１５０は、カクテルパーティー問題を解決し得る。いくつかの実施形態では、オーディオコントローラ１５０は、１つまたは複数の他の音ソースに関連する１つまたは複数の音信号における周波数が、ターゲット音ソースに関連する音信号における周波数と同様であり得ると決定し得る。この実施形態では、オーディオコントローラ１５０は、他の音ソースに関連する音信号を強調しないことと、ターゲット音ソースに関連する音信号のみを強調することとを決定し得る。

【0040】

いくつかの実施形態では、インイヤデバイス１８５は、オーディオコントローラ１５０からの命令に従って拡張音信号をユーザに提供する。インイヤデバイス１８５は、通信ユニット（図示せず）とスピーカー１６５とを含み得る。インイヤデバイス１８５は、ユーザによって装着され（たとえば、ユーザのそれぞれの耳道中に置かれ）、スピーカー１６５を介してユーザに拡張音信号を提示し得る。いくつかの実施形態では、インイヤデバイス１８５は、ヘッドセット１００に通信可能に結合された補聴器である。いくつかの実施形態では、インイヤデバイス１８５は、オーディオコントローラ１５０からの命令に従って、拡張音信号を生成するために、音信号に１つまたは複数のフィルタを適用する。インイヤデバイス１８５は、次いで、スピーカー１６５を介してユーザに拡張音信号を提示し得る。図１Ａは、ユーザの各耳のためのインイヤデバイス１８５を示すが、他の実施形態では、ただ、一方の耳のための単一のインイヤデバイス１８５があり、他方の耳のためのインイヤデバイスがないことがある。

【0041】

オーディオシステムに関する追加の詳細が図２において以下で説明され、ヘッドセット１００の構成要素に関する追加の詳細が図５に関して以下で説明される。

【0042】

図１Ｂは、１つまたは複数の実施形態による、ＨＭＤとして実装されるヘッドセット１０５の斜視図である。ＡＲシステムおよび／またはＭＲシステムについて説明する実施形態では、ＨＭＤの前側の部分は、可視帯域（約３８０ｎｍ～７５０ｎｍ）内で少なくとも部分的に透明であり、ＨＭＤの前側とユーザの眼との間にあるＨＭＤの部分は、少なくとも部分的に透明である（たとえば、部分的に透明な電子ディスプレイ）。ＨＭＤは、前面剛体１１５とバンド１７５とを含む。ヘッドセット１０５は、図１Ａを参照しながら上記で説明された同じ構成要素の多くを含むが、ＨＭＤフォームファクタと一体化するように修正される。たとえば、ＨＭＤは、１つまたは複数のイメージングデバイス１３０と、深度カメラアセンブリ（ＤＣＡ）と、位置センサー１９０と、パッシブカメラアセンブリ（ＰＣＡ）と、視標追跡システムと、オーディオシステムとを含む。図１Ｂは、照明器１４０と、複数のスピーカー１６０と、複数のマイクロフォン１８０と、スピーカー１６５をもつインイヤデバイス１８５とを示す。図１Ｂはインイヤデバイス１８５を示すが、他の実施形態では、各耳について１つずつ、２つのインイヤデバイス１８５があり得る。

【0043】

図２は、１つまたは複数の実施形態による、オーディオシステム２００のブロック図である。図１Ａまたは図１Ｂ中のオーディオシステムは、オーディオシステム２００の一実施形態であり得る。図２の実施形態では、オーディオシステム２００は、マイクロフォンアレイ２１０と、トランスデューサアレイ２２０と、オーディオコントローラ２３０とを含む。いくつかの実施形態では、オーディオシステム２００は、インイヤデバイス２７０をも含む。オーディオシステム２００のいくつかの実施形態は、ここで説明されるものとは異なる構成要素を有する。同様に、いくつかの場合には、機能は、ここで説明されるものとは異なる様式で構成要素の間で分散され得る。オーディオシステム２００の少なくとも一部分が、ヘッドセットに組み込まれ、いくつかの場合には、オーディオシステム２００は、インイヤデバイス２７０をも含み得る。さらに、図２に示されている構成要素のうちの１つまたは複数に関して説明される機能性は、１つまたは複数の外部構成要素の間で分散され得る。たとえば、オーディオコントローラ２３０の機能性の一部または全部は、接続されたモバイルデバイス（たとえば、モバイルフォン）によって実施され得る。

【0044】

マイクロフォンアレイ２１０は、マイクロフォンアレイ２１０の周囲のローカルエリア内の音をキャプチャする。マイクロフォンアレイ２１０は、各々音波の空気圧力変動を検出し、検出された音を電子フォーマット（アナログまたはデジタル）に変換する、複数の音響センサーを含み得る。複数の音響センサーは、ヘッドセット（たとえば、ヘッドセット１００および／またはヘッドセット１０５）上に、インイヤデバイス２７０上に、何らかの他の接続されたデバイス（たとえば、モバイルフォン）上に、あるいはそれらの何らかの組合せで配置され得る。音響センサーは、たとえば、マイクロフォン、振動センサー、加速度計、またはそれらの任意の組合せであり得る。音響センサーの数を増加させることによって、音ソースのいずれかによって作り出された音場を記述する情報（たとえば、方向性）の精度が改善され得る。

【0045】

一実施形態では、マイクロフォンアレイは、ローカルエリア内の１つまたは複数の現実世界の音ソースによって放出された音をキャプチャし得る。キャプチャされた音は、複数の音信号（すなわち、各音ソースについての音信号）を含み得る。音信号は、ユーザにオーディオコンテンツとして音信号を提示するより前に少なくとも１つの音信号を強調し得る１つまたは複数のフィルタの決定など、さらなる処理のために、オーディオコントローラ２３０に提供される。いくつかの実施形態では、キャプチャされた音は、インイヤデバイス２７０のトランスデューサ（たとえば、内部トランスデューサ２７５）によって、またはトランスデューサアレイ２２０中の１つまたは複数のトランスデューサによって放出された漏れ信号を含み得る。

【0046】

いくつかの実施形態では、トランスデューサアレイ２２０は、１つまたは複数の音信号をユーザに提供する。トランスデューサアレイ２２０は、複数のトランスデューサを含む。トランスデューサは、たとえば、スピーカー（たとえば、スピーカー１６０）、組織トランスデューサ（たとえば、組織トランスデューサ１７０）、ユーザに音信号を提示する何らかの他のデバイス、またはそれらの何らかの組合せであり得る。組織トランスデューサは、骨伝導トランスデューサまたは軟骨伝導トランスデューサとして機能するように構成され得る。トランスデューサアレイ２２０は、空気伝導を介して（たとえば、１つまたは複数のスピーカーを介して）、骨伝導を介して（１つまたは複数の骨伝導トランスデューサを介して）、軟骨伝導オーディオシステムを介して（１つまたは複数の軟骨伝導トランスデューサを介して）、またはそれらの何らかの組合せでオーディオコンテンツを提示し得る。いくつかの実施形態では、トランスデューサアレイ２２０は、周波数範囲の異なる部分をカバーするための１つまたは複数のトランスデューサを含み得る。たとえば、周波数範囲の第１の部分をカバーするために圧電トランスデューサが使用され得、周波数範囲の第２の部分をカバーするために可動コイルトランスデューサが使用され得る。

【0047】

骨伝導トランスデューサは、ユーザの頭部における骨／組織を振動させることによって音響圧力波を生成する。骨伝導トランスデューサは、ヘッドセットの一部分に結合され得、耳介の後ろでユーザの頭蓋骨の一部分に結合されるように構成され得る。骨伝導トランスデューサは、オーディオコントローラ２３０から振動命令を受信し、受信された命令に基づいてユーザの頭蓋骨の一部分を振動させる。骨伝導トランスデューサからの振動は、鼓膜を迂回して、ユーザの蝸牛のほうへ伝搬する組織伝搬音響圧力波を生成する。

【0048】

軟骨伝導トランスデューサは、ユーザの耳の耳介軟骨の１つまたは複数の部分を振動させることによって音響圧力波を生成する。軟骨伝導トランスデューサは、ヘッドセットの一部分に結合され得、耳の耳介軟骨の１つまたは複数の部分に結合されるように構成され得る。たとえば、軟骨伝導トランスデューサは、ユーザの耳の耳介の背面に結合し得る。軟骨伝導トランスデューサは、外耳の周りの耳介軟骨に沿ったどこか（たとえば、耳殻、耳珠、耳介軟骨の何らかの他の部分、またはそれらの何らかの組合せ）に位置し得る。耳介軟骨の１つまたは複数の部分を振動させることは、耳道外の空気伝搬音響圧力波、耳道のいくつかの部分を振動させ、それにより、耳道内に空気伝搬音響圧力波を生成させる、組織伝搬音響圧力波、またはそれらの何らかの組合せを生成し得る。生成された空気伝搬音響圧力波は、耳道に沿って鼓膜のほうへ伝搬する。

【0049】

いくつかの実施形態では、トランスデューサアレイ２２０は、オーディオコントローラ２３０によって提供された命令に従って、ユーザにオーディオコンテンツとして拡張音信号を提示し得る。オーディオコンテンツがヘッドセットのトランスデューサアレイ２２０のみによって提供されている、これらの実施形態では、トランスデューサアレイは、漏れ信号を緩和するために１つまたは複数のダイポールスピーカーアセンブリを含み得る。ダイポールスピーカーアセンブリ構造および動作は、たとえば、その内容全体が参照により本明細書に組み込まれる、２０２０年１月８日に出願された米国特許出願第１６／７３７，３１６号、２０１９年８月２９日に出願された米国特許出願第１６／５５５，０５８号、および２０２０年２月１３日に出願された米国特許出願第１６／７９０，６１３号においてさらに説明される。他の実施形態では、トランスデューサアレイ２２０は、緩和信号を出力するようにとの命令をオーディオコントローラ２３０から受信し得る。これらの実施形態では、オーディオコンテンツは、インイヤデバイス２７０のみによって提供されている。

【0050】

いくつかの実施形態では、インイヤデバイス２７０は、オーディオコントローラ２３０によって提供された命令に従って、ユーザにオーディオコンテンツとして拡張音信号を提示し得る。インイヤデバイス２７０は、図１Ａまたは図１Ｂ中のインイヤデバイス１８５の実施形態であり得る。各インイヤデバイス２７０は、少なくとも、通信ユニット２７３と内部トランスデューサ２７５とを含む。いくつかの実施形態では、１つまたは複数のインイヤデバイス２７０は、バッテリー、外部トランスデューサ、インイヤオーディオコントローラ、外部マイクロフォン、内部マイクロフォン、ここで説明されないいくつかの他の構成要素、またはそれらの何らかの組合せを含み得る。いくつかの実施形態では、インイヤデバイス２７０のうちの１つまたは複数は、たとえば、オーディオシステム２００に通信可能に結合されたイヤバッドであり得る。通信ユニット２７３は、受信機を含み、いくつかの実施形態では、送信機をも含み得る。いくつかの実施形態では、通信ユニット２７３は、外部マイクロフォンおよび／または内部マイクロフォンによってキャプチャされた音をオーディオコントローラ２３０に提供し得る。通信ユニット２７３は、オーディオコントローラ２３０から命令を受信し得る。命令は、ターゲット音ソースによって放出された音信号および／または拡張音信号に適用すべき１つまたは複数のフィルタを含み得る。いくつかの実施形態では、インイヤオーディオコントローラは、拡張音信号を生成するために、音信号に１つまたは複数のフィルタを適用し得る。内部トランスデューサ２７５は、ユーザに拡張音信号を提示する。各インイヤデバイス２７０は、各インイヤデバイス２７０が耳道を少なくとも部分的に閉塞するようにユーザの耳道内にフィットするように構成される。

【0051】

ユーザへの拡張音信号の提示中に、インイヤデバイス２７０は漏れ信号を放出し得る。漏れ信号は、ローカルエリア中で、他の人によって聴取され、および／または他のデバイス（たとえば、ヘッドセット）によってキャプチャされ得、これは、ユーザのプライバシーを阻害する。いくつかの実施形態では、漏れ信号は、マイクロフォンアレイ２１０によって監視され、トランスデューサアレイ２２０によって出力された緩和信号によって遠距離場において大幅に緩和され得る。これは、図１Ａにおいてさらに詳細に説明される。

【0052】

オーディオコントローラ２３０は、オーディオシステム２００の動作を制御する。図２の実施形態では、オーディオコントローラ２３０は、データストア２３５と、較正モジュール２３７と、ＤＯＡ推定モジュール２４０と、伝達関数モジュール２４５と、追跡モジュール２５０と、ソース識別モジュール２５５と、音フィルタモジュール２６０と、通信モジュール２６５とを含む。オーディオコントローラ２３０は、いくつかの実施形態では、ヘッドセット内に位置し得る。オーディオコントローラ２３０のいくつかの実施形態は、ここで説明されるものとは異なる構成要素を有する。同様に、機能は、ここで説明されるものとは異なる様式で構成要素の間で分散され得る。たとえば、オーディオコントローラ２３０のいくつかの機能が、ヘッドセットの外部で実施され得る。

【0053】

データストア２３５は、オーディオシステム２００による使用のためのデータを記憶する。データストア２３５中のデータは、オーディオシステム２００のローカルエリアにおいて記録された音、到来方向（ＤＯＡ）推定値、音ソースロケーション、ターゲット音ソース、頭部伝達関数（ＨＲＴＦ）、１つまたは複数のセンサーのための伝達関数、音響センサーのうちの１つまたは複数のためのアレイ伝達関数（ＡＴＦ）、ローカルエリアのモデル、ユーザ入力、ユーザの１つまたは複数のオーディオグラム、ユーザのための雑音中音声テスト結果、ユーザのためのスペクトル－時間弁別結果、ユーザの音プロファイル、音フィルタ、音信号、オーディオシステム２００による使用のための関連する他のデータ、またはそれらの任意の組合せを含み得る。

【0054】

ローカルエリアのモデルは、ローカルエリア中の（ユーザを含む）各音ソースの位置、移動、および音響効果を追跡し、ローカルエリアを記述する音響パラメータを記憶する。ローカルエリアのモデルは、ユーザに関する位置情報（たとえば、ローカルエリア中のユーザのロケーション、配向、および／または速度）と、ユーザに関する移動情報（たとえば、ユーザに関する視標追跡情報および／またはユーザによって実施されるジェスチャー）と、ユーザに関する音響情報（たとえば、ユーザによって放出された音を強調または抑制するための１つまたは複数のフィルタ）とを含み得る。ローカルエリアのモデルは、音ソースに関する位置情報（たとえば、ローカルエリア中の各音ソースのロケーション）と、音ソースの一部または全部に関するタイプ情報（たとえば、音ソースは人である、音ソースは仮想オブジェクトであるなど）とをも含み得、ローカルエリアのモデルは、ローカルエリアを記述する音響パラメータ（たとえば、残響時間）をも含み得る。いくつかの実施形態では、オーディオシステムは、経時的に、ユーザに関する更新された情報および／または音ソースに関する更新された情報および／またはローカルエリアに関する更新された情報で、ローカルエリアのモデルを更新する。

【0055】

較正モジュール２３７はユーザの音プロファイルを生成する。音プロファイルは、ユーザが異なる周波数における音をどのくらい良く聴取するかを記述する、ユーザに関する個人化された音情報である。音プロファイルは、１つまたは複数のオーディオグラム、ラウドネス不快感レベルテスト結果、雑音中音声テスト結果、スペクトル－時間弁別結果、時間微細構造テスト結果、認知パフォーマンステスト結果、自己報告聴力、何らかの他の聴覚テスト結果、またはそれらの何らかの組合せからの情報を含み得る。いくつかの実施形態では、音プロファイルは、ユーザの１つまたは複数のＥＥＧテスト結果、瞳孔測定、心臓活動パラメータ、またはユーザの何らかの他の生体信号テスト結果からの情報を含み得る。いくつかの実施形態では、較正モジュール２３７は、トランスデューサアレイ２２０および／またはインイヤデバイス２７０を介してユーザにオーディオコンテンツを提示することによって、音プロファイルを生成する。オーディオコンテンツは、（たとえば、純粋なトーンを使用して）異なる周波数において提示され、ユーザは、ユーザがオーディオコンテンツを聴取したかどうか／いつ聴取したかに関するフィードバックを提供する。いくつかの実施形態では、オーディオコンテンツは、より複雑なスペクトル時間的に（ｓｐｅｃｔｒｏｔｅｍｐｏｒａｌｌｙ）変動する信号を使用して提示される。いくつかの実施形態では、フィードバックは、オーディオシステム２００に通信可能に結合されたＩ／Ｏインターフェースを介して、ユーザによって提供され得る。他の実施形態では、ユーザは、ユーザがオーディオコンテンツを聴取したかどうか／いつ聴取したか示す、ヘッドセットのＰＣＡによってキャプチャされるジェスチャー（たとえば、親指を立てる）を実施し得る。いくつかの実施形態では、ユーザは、マイクロフォンアレイ２１０によってキャプチャされるフィードバックとして口頭キューを提供し得る。いくつかの実施形態では、較正モジュール２３７は、Ｉ／Ｏインターフェースを介して、またはオーディオシステム２００に通信可能に結合された何らかの他の外部システムを介して、ユーザからおよび／またはオーディオロジスト（ａｕｄｉｏｌｏｇｉｓｔ）から音プロファイルを収集する。

【0056】

較正モジュール２３７は、経時的に、必要に応じてユーザの音プロファイルを更新し得る。たとえば、オーディオシステム２００の動作中に、較正モジュールは、ヘッドセットおよび／またはインイヤデバイス２７０の性能に関係するフィードバックをユーザから受信し得る。ユーザフィードバックは、提示されたオーディオコンテンツに関係するフィードバック（たとえば、ジェスチャーまたは口頭キュー）を含み得る。受信されたフィードバックに基づいて、較正モジュール２３７は、それに応じてユーザの音プロファイルを更新し得る。いくつかの実施形態では、ユーザフィードバックは、あまり明白でないことがある。たとえば、ユーザは、提示されているオーディオコンテンツが特定の周波数帯域中に（たとえば、より高い周波数に）あるとき、ボリュームを上げる傾向を有し得る。経時的に、較正モジュール２３７は、このパターンを識別し、特定の周波数帯域における聴覚損失を反映するように音プロファイルを調整し得る。別の例では、ユーザは、提示されているオーディオコンテンツが特定の周波数帯域中にあるとき、ユーザの頭部および／または眼をより頻繁に動かし得る。経時的に、較正モジュール２３７は、このパターンを識別し、特定の周波数帯域における聴覚損失を反映するように音プロファイルを調整し得る。更新された音プロファイルは、次いで、特定の周波数帯域における聴覚損失を相殺するフィルタを生成するために使用され得る。

【0057】

ＤＯＡ推定モジュール２４０は、マイクロフォンアレイ２１０からのキャプチャされた音に部分的に基づいて、ローカルエリア中の音ソースの位置を特定するように構成される。位置特定は、オーディオシステム２００のユーザに対して音ソースがどこに位置するかを決定するプロセスである。ＤＯＡ推定モジュール２４０は、ローカルエリア内の１つまたは複数の音ソースの位置を特定し、それに応じてローカルエリアのモデルを更新するために、ＤＯＡ分析を実施する。ＤＯＡ分析は、音が発生した方向を決定するために、マイクロフォンアレイ２１０において、各音の強度、スペクトル、および／または到来時間を分析することを含み得る。いくつかの場合には、ＤＯＡ分析は、オーディオシステム２００が位置する周囲音響環境を分析するための任意の好適なアルゴリズムを含み得る。

【0058】

たとえば、ＤＯＡ分析は、マイクロフォンアレイ２１０から入力信号を受信し、入力信号にデジタル信号処理アルゴリズムを適用して、到来方向を推定するように設計され得る。これらのアルゴリズムは、たとえば、入力信号がサンプリングされ、サンプリングされた信号の得られた重み付けおよび遅延されたバージョンが、ＤＯＡを決定するために一緒に平均化される、遅延和アルゴリズムを含み得る。適応フィルタを作成するために、最小２乗平均（ＬＭＳ：ｌｅａｓｔ ｍｅａｎ ｓｑｕａｒｅｄ）アルゴリズムも実装され得る。この適応フィルタは、次いで、たとえば信号強度の差、または到来時間の差を識別するために使用され得る。これらの差は、次いで、ＤＯＡを推定するために使用され得る。別の実施形態では、ＤＯＡは、入力信号を周波数ドメインに変換し、処理すべき時間周波数（ＴＦ）ドメイン内の特定のビンを選択することによって決定され得る。各選択されたＴＦビンは、そのビンが、直接経路オーディオ信号をもつオーディオスペクトルの一部分を含むかどうかを決定するために、処理され得る。直接経路信号の一部分を有するビンは、次いで、マイクロフォンアレイ２１０が直接経路オーディオ信号を受信した角度を識別するために、分析され得る。決定された角度は、次いで、受信された入力信号についてのＤＯＡを識別するために使用され得る。上記に記載されていない他のアルゴリズムも、ＤＯＡを決定するために、単独でまたは上記のアルゴリズムと組み合わせて使用され得る。

【0059】

伝達関数モジュール２４５は、１つまたは複数の音響伝達関数を生成するように構成される。概して、伝達関数は、各可能な入力値についての対応する出力値を与える数学関数である。検出された音のパラメータに基づいて、伝達関数モジュール２４５は、オーディオシステムに関連する１つまたは複数の音響伝達関数を生成する。音響伝達関数は、アレイ伝達関数（ＡＴＦ）、頭部伝達関数（ＨＲＴＦ）、他のタイプの音響伝達関数、またはそれらの何らかの組合せであり得る。ＡＴＦは、マイクロフォン（たとえば、マイクロフォンアレイ２１０のマイクロフォンおよび／またはインイヤデバイス２７０の外部マイクロフォン）が空間中の点からどのように音を受信するかを特徴づける。

【0060】

ＡＴＦは、音ソースとマイクロフォンアレイ２１０中の音響センサーによって受信された対応する音との間の関係を特徴づけるいくつかの伝達関数を含む。したがって、音ソースについて、マイクロフォンアレイ２１０中の音響センサーの各々についての対応する伝達関数がある。また、まとめて、伝達関数のセットはＡＴＦと呼ばれる。したがって、各音ソースについて、対応するＡＴＦがある。マイクロフォンアレイ２１０に対する特定の音ソースロケーションについてのＡＴＦは、音が人の耳に進むときに音に影響を及ぼす人の解剖学的構造（たとえば、耳形状、肩など）により、ユーザによって異なり得る。したがって、マイクロフォンアレイ２１０のＡＴＦは、オーディオシステム２００の各ユーザのために個人化される。

【0061】

いくつかの実施形態では、伝達関数モジュール２４５は、オーディオシステム２００のユーザのための１つまたは複数のＨＲＴＦを決定する。ＨＲＴＦは、耳が空間中の点からどのように音を受信するかを特徴づける。人に対する特定の音ソースロケーションについてのＨＲＴＦは、音が人の耳に進むときに音に影響を及ぼす人の解剖学的構造（たとえば、耳形状、肩など）により、人の各耳に固有である（および人に固有である）。いくつかの実施形態では、伝達関数モジュール２４５は、較正プロセスを使用してユーザのためのＨＲＴＦを決定し得る。いくつかの実施形態では、伝達関数モジュール２４５は、ユーザに関する情報をリモートシステムに提供し得る。リモートシステムは、たとえば、機械学習を使用して、ユーザにカスタマイズされたＨＲＴＦのセットを決定し、ＨＲＴＦのカスタマイズされたセットをオーディオシステム２００に提供する。

【0062】

追跡モジュール２５０は、１つまたは複数の音ソースのロケーションを追跡するように構成される。追跡モジュール２５０は、現在のＤＯＡ推定値を比較し、それらを、前のＤＯＡ推定値の記憶された履歴と比較し得る。いくつかの実施形態では、オーディオシステム２００は、１秒当たり１回、または１ミリ秒当たり１回など、周期的スケジュールでＤＯＡ推定値を再計算し得る。追跡モジュール２５０は、現在のＤＯＡ推定値を前のＤＯＡ推定値と比較し得、音ソースについてのＤＯＡ推定値の変化に応答して、追跡モジュール２５０は、音ソースが移動したと決定し得る。いくつかの実施形態では、追跡モジュール２５０は、（たとえば、ＤＣＡおよび／またはＰＣＡからの）ヘッドセットまたは何らかの他の外部ソースから受信された視覚情報に基づいてロケーションの変化を検出し得る。追跡モジュール２５０は、経時的に１つまたは複数の音ソースの移動を追跡し得る。追跡モジュール２５０は、ローカルエリアのモデルに、各時点における音ソースの数と各音ソースのロケーションとについての値を記憶し得る。音ソースの数またはロケーションの値の変化に応答して、追跡モジュール２５０は、音ソースが移動したと決定し得、ローカルエリアのモデルは、それに応じて更新される。追跡モジュール２５０は、位置特定分散（ｌｏｃａｌｉｚａｔｉｏｎ ｖａｒｉａｎｃｅ）の推定値を計算し得る。位置特定分散は、移動の変化の各決定についての信頼性レベルとして使用され得る。

【0063】

ソース識別モジュール２５５は、所与の時間にユーザにとって関心のある、ローカルエリア中の複数の音ソースのうちの音ソース（たとえば、ターゲット音ソース）を決定するように構成される。ターゲット音ソースは、現実世界の音ソースまたは仮想音ソースであり得る。一実施形態では、ソース識別モジュール２５５は、ローカルエリアのモデルに記憶された暗黙的ユーザ入力および／またはユーザによって直接提供された明示的なユーザ入力に部分的に基づいて、ターゲット音ソースを決定する。たとえば、ローカルエリアのモデルは、ユーザに関する位置情報と、音ソースに関する位置情報と、ユーザのための視標追跡情報とを含む。マッピングされた視線ベクトル（すなわち、暗黙的ユーザ入力）に基づいて、ソース識別モジュール２５５は、ターゲット音ソースが、ユーザが見ている音ソースであると決定する。いくつかの実施形態では、ユーザの視線は、ローカルエリアのモデルにおいて経時的に追跡され、ターゲット音ソースは、ユーザがしきい値時間量の間（たとえば、３秒間、５秒間など）見ている音ソースである。別の例では、ローカルエリアのモデルは、ユーザに関するジェスチャー情報（すなわち、暗黙的ユーザ入力）を含む。ユーザによって実施された識別されるジェスチャー（たとえば、指を指すこと）に基づいて、ソース識別モジュール２５５は、ターゲット音ソースが、ユーザが指している音ソースであると決定する。いくつかの実施形態では、ソース識別モジュール２５５は、明示的なユーザ入力に基づいてターゲット音ソースを決定する。たとえば、ユーザは、マイクロフォンアレイによってキャプチャされた（たとえば、どの音ソースがターゲット音ソースであるべきであるかを述べる）口頭キューを提供し得る。ユーザ入力に基づいて、ソース識別モジュール２５５は、ターゲット音ソースが、ユーザによって示された音ソースであると決定する。

【0064】

音フィルタモジュール２６０は、１つまたは複数の音信号に適用すべき１つまたは複数のフィルタを決定する。音信号は、ターゲット音ソースによって放出された音および／または他の音ソースによって放出された音（たとえば、インイヤデバイス２７０によって放出された漏れ音）に対応し得る。いくつかの実施形態では、１つまたは複数の音フィルタは、ターゲット音ソースに関連する音信号を強調させ得る。いくつかの実施形態では、音フィルタモジュール２６０は、ローカルエリア中の他の音ソースに関連する音をフィルタで除去する（すなわち、減少させるかまたはなくす）１つまたは複数の音フィルタを決定する。いくつかの実施形態では、音フィルタモジュール２６０は、ターゲット音ソースによって放出された音信号がフィルタ（たとえば、伝達関数モジュール２４５によって決定された１つまたは複数のＨＲＴＦ）で空間化される必要があり得ると決定し得る。いくつかの実施形態では、音フィルタモジュール２６０は、特定の周波数における高音圧レベルに関連する不快感を防ぐための１つまたは複数のフィルタ（たとえば、マルチバンドリミッタ）を決定し得る。いくつかの実施形態では、音フィルタモジュール２６０は、フィードバックを抑制するための１つまたは複数のフィルタを識別し得る。たとえば、すべてのまたはいくつかの周波数帯域を特定の量だけ（たとえば、５Ｈｚ、２０Ｈｚ、５０Ｈｚなどだけ）転位する周波数転位（ｆｒｅｑｕｅｎｃｙ ｔｒａｎｓｐｏｓｉｔｉｏｎ）フィルタが識別され得る。

【0065】

音フィルタモジュール２６０は、ユーザの音プロファイルに基づいて１つまたは複数のフィルタを決定し得る。たとえば、音フィルタモジュール２６０は、ユーザが聴取するのに苦労するいくつかの周波数に関する情報を含んだユーザの音プロファイルに基づいて、いくつかの周波数を増幅するフィルタを選択し得る。別の例では、音フィルタモジュール２６０は、ユーザが音を聴取するために、その音がどのくらい強い必要があるかに関する情報を含んだユーザの音プロファイルに基づいて、複数のワイドダイナミックレンジ圧縮フィルタからワイドダイナミックレンジ圧縮フィルタを選択し得る。ワイドダイナミックレンジ圧縮フィルタは、音信号に非線形利得を適用する。たとえば、ワイドダイナミックレンジ圧縮フィルタは、ソフトな音（すなわち、低強度音）を大きい量だけ増幅し、中程度の音（すなわち、中域強度音）を中等度の量だけ増幅し、大きい音（すなわち、高強度音）を小さい量だけ増幅し得る。別の例では、ワイドダイナミックレンジ圧縮フィルタは、ユーザに提示された音を等化するために、ａｎにおける周波数に基づいて音信号を増幅し得る。各固有の音信号は、それ自体の固有のワイドダイナミックレンジ圧縮フィルタを有し得る。音フィルタモジュール２６０は、どれが、ターゲット音ソースに関連する音信号に適用すべき適切なワイドダイナミックレンジ圧縮フィルタであるかを決定する。

【0066】

いくつかの実施形態では、音フィルタモジュール２６０は、ローカルエリアのモデルに基づいてフィルタを生成する。ローカルエリアのモデルは、ローカルエリア中の音ソースのタイプを含み得る。たとえば、少なくとも、ローカルエリア中の音ソース（すなわち、ターゲット音ソースでない）は、機械デバイスであり得る。音フィルタモジュール２６０は、機械デバイスによって放出された音の周波数を減少させるかまたはなくすための音フィルタを決定し得る。ローカルエリアのモデルは、ローカルエリアの音響特性を記述する音響パラメータを含み得る。音響パラメータは、たとえば、残響時間、残響レベル、室内インパルス応答などを含み得る。いくつかの実施形態では、音フィルタモジュール２６０は、音響パラメータのうちの１つまたは複数を計算し、それらのパラメータをローカルエリアのモデルに記憶する。いくつかの実施形態では、音フィルタモジュール２６０は、（たとえば、図５に関して以下で説明されるように）マッピングサーバに音響パラメータを要求し、それらのパラメータをローカルエリアのモデルに記憶する。音フィルタモジュール２６０は、ローカルエリアの高残響時間に基づいて、他の音ソースによって放出された音（すなわち、ターゲット音ソースによって放出された音でない）の周波数を減少させるかまたはなくす、１つまたは複数の音フィルタを決定し得る。

【0067】

音フィルタモジュール２６０は、識別されたターゲットソースがローカルエリア中の異なる音ソースからしきい値距離内にあることを検出し得る。たとえば、音フィルタモジュール２６０は、識別されたターゲットソースが異なる音ソースからしきい値距離内にあるかどうかを決定するために、１つまたは複数の決定された音ソースロケーションとローカルエリアのモデルとを利用し得る。しきい値距離は、各音ソースについて固有であり得る。たとえば、音ソースについてのしきい値距離は、たとえば、音ソースによって放出された音の周波数に基づく、音ソースによって放出された音の強度に基づく、ユーザの音プロファイルに基づく、またはそれらの何らかの組合せであり得る。たとえば、いくつかの周波数および／またはいくつかの強度は、ユーザがそれらを聴取するために、さらに離れて離間している必要があり得る。音フィルタモジュール２６０は、ターゲット音ソースと異なる音ソースとの間の空間分離を、少なくとも、しきい値距離よりも大きい分離距離になるように増加させるために、（たとえば、ＨＲＴＦを更新することによって）１つまたは複数のフィルタのうちの少なくとも１つを更新する。この実施形態では、拡張音信号は、音がターゲット音ソースから発生するように思われ、異なる音ソースからの音が、ターゲット音ソースから少なくとも分離距離のところにある、ローカルエリア中のロケーションから発生するように思われるようなものである。この実施形態は、図３においてさらに詳細に説明される。

【0068】

音フィルタモジュール２６０は、拡張音信号を生成するために、音信号に１つまたは複数のフィルタを適用し得る。いくつかの実施形態では、拡張音信号は、ユーザへの提示のためにトランスデューサアレイ３２０に提供され得る。他の実施形態では、拡張音信号は、通信モジュール２７０に提供され得る。いくつかの実施形態では、インイヤデバイス２７０は、音信号に１つまたは複数のフィルタを適用する。

【0069】

通信モジュール２６５は、オーディオシステム２００に通信可能に結合された１つまたは複数の外部システムと通信する。通信モジュール２６５は、受信機（たとえば、アンテナ）と送信機とを含み得る。外部システムは、たとえば、ヘッドセットの何らかの他の構成要素、人工現実コンソール、Ｉ／Ｏインターフェース、マッピングサーバ、インイヤデバイス２７０などを含み得る。通信モジュール２６５は、マッピングサーバと、ローカルエリアのモデルに関係するデータを送り、受信し得る。通信モジュール２６５は、インイヤデバイス２７０の通信ユニット２７３と、データ（たとえば、１つまたは複数のフィルタ、拡張音信号）を送り、データ（たとえば、キャプチャされた音）を受信し得る。通信モジュール２６５は、外部システム（たとえば、Ｉ／Ｏインターフェース）からデータ（たとえば、ユーザの音プロファイル、ユーザフィードバック）を受信し得る。

【0070】

オーディオコントローラ２３０によって実施される処理および算出は、ユーザに提示されるオーディオコンテンツに対するより良い強調を可能にする。たとえば、聴覚損失という問題があるユーザは、オーディオコントローラ２３０が、ユーザが聴取するのが困難である周波数において音を放出するターゲット音ソースを識別することと、音のそれらの特定の周波数を強調する（増幅する）、ターゲット音ソースによって放出された音に適用すべき１つまたは複数のフィルタを生成することとから恩恵を受ける。ローカルエリア中に位置する音ソースはヘッドセットのマイクロフォンアレイ２１０によってより良く追跡され、これはターゲット音ソースのより良い識別を可能にする。また、オーディオコントローラ２３０によって実施される処理および算出は、インイヤデバイス２７０が、ユーザに、より個別化され、強調されたオーディオコンテンツを提示することを可能にする。

【0071】

図３は、１つまたは複数の実施形態による、１つまたは複数の音ソースを含むローカルエリア３００の一例である。ローカルエリア３００は、複数の音ソース（たとえば、現実世界の音ソース３４０、現実世界の音ソース３５０、現実世界の音ソース３６０、および仮想音ソース３９０）に近接している、ヘッドセット３２０を装着しているユーザ３１０を含む。現実世界の音ソース３４０は機械デバイスとして示されており、現実世界の音ソース３５０は人として示されており、現実世界の音ソース３６０は別の人として示されており、仮想音ソース３９０は地球外生物として示されている。いくつかの実施形態では、ヘッドセット３２０は、図１Ａのヘッドセット１００または図１Ｂのヘッドセット１０５であり得る。一実施形態では、ユーザ３１０はまた、図１Ａおよび図１Ｂのインイヤデバイス１８５の一実施形態であり得るインイヤデバイス（図示せず）を装着し得る。複数の音ソースは、ある程度の聴覚損失をもつユーザ３１０について、一度にすべて聴かれたときに非干渉性であり得る音をまとめて作り出し得る。いくつかの実施形態では、現実世界の音ソース３５０によって作り出された音は、（聴覚損失をもつまたはもたない）ユーザ３１０にとって、現実世界の音ソース３６０によって作り出された音と区別不可能であり得る。オーディオシステムは、ユーザ３１０に提示されるオーディオコンテンツを強調するための、音ソース３４０、３５０、３６０、３９０のいずれかまたはすべてによって放出された音に適用すべき１つまたは複数のフィルタを生成し得る。

【0072】

ヘッドセット３２０のオーディオシステム（たとえば、オーディオシステム２００）は、ローカルエリア３００のモデルに基づいて、または図２を参照しながら上記で説明されたようにユーザ入力に基づいて、ターゲット音ソース（たとえば、音ソース３５０）を識別する。図３の図示の実施形態では、オーディオシステムは、ローカルエリア３００のモデルに含まれる、ユーザによって提供される暗黙的フィードバックに基づいて（たとえば、視線ベクトル３３０に基づいて）、ターゲット音ソースを決定し得る。視線ベクトル３３０は、現実世界の音ソース３５０の位置のほうへ向けられると決定され、オーディオシステムは、現実世界の音ソース３５０をターゲット音ソースであると識別する。ヘッドセット３２０のオーディオシステムは、ヘッドセット３２０によって提示され、および／またはユーザ３１０によって装着されたインイヤデバイス（図示せず）によって提示されるオーディオコンテンツに適用され得る１つまたは複数のフィルタを決定する。オーディオシステムは、ユーザ３１０の音プロファイル、ローカルエリア３００のモデル、またはその両方に基づいてフィルタを決定する。

【0073】

オーディオシステムは、ターゲット音ソースによって放出された音のより良い空間化を提供するために、１つまたは複数のフィルタのうちの少なくとも１つを更新し得る。図示の実施形態では、しきい値距離３７０が示されている。しきい値距離３７０は、現実世界の音ソース３５０（すなわち、この例ではターゲット音ソース）の中心から外側に測定された所定の球状距離である。しきい値距離３７０は、たとえば、現実世界の音ソース３５０によって放出された音の周波数、現実世界の音ソース３５０によって放出された音の振幅、ユーザ３１０の音プロファイル、またはそれらの何らかの組合せに依存し得る。オーディオシステムは、現実世界の音ソース３６０がターゲット音ソース（すなわち、現実世界の音ソース３５０）からしきい値距離３７０内にあることを検出し得る。オーディオシステムは、ターゲット音ソースと現実世界の音ソース３６０との間の空間分離を、少なくとも、しきい値距離３７０よりも大きい分離距離３８０になるように増加させるために、（たとえば、ＨＲＴＦを更新することによって）１つまたは複数のフィルタのうちの少なくとも１つを更新する。いくつかの実施形態では、更新されたフィルタは、オーディオシステムによって、ターゲット音ソースに関連する音信号に適用され得る。他の実施形態では、更新されたフィルタは、インイヤデバイスによって、ターゲット音ソースに関連する音信号に適用され得る。拡張音信号（すなわち、フィルタ適用の後の音信号）は、音がターゲット音ソースから発生するように思われ、現実世界の音ソース３６０からの音が、調整された音ソース３６５に対応するローカルエリア中のロケーションから発生するように思われるようなものである。ユーザ３１０は、今や、２つの現実世界の音ソース３５０、３６０を区別することが可能であり得、いくつかの実施形態では、現実世界の音ソース３５０をより容易に聴取し得る。

【0074】

図４は、１つまたは複数の実施形態による、ユーザへの提示のために音信号を拡張するためのプロセス４００を示すフローチャートである。図４に示されているプロセスは、オーディオシステム（たとえば、オーディオシステム２００）の構成要素によって実施され得る。他のエンティティが、他の実施形態において図４中のステップの一部または全部を実施し得る。実施形態は、異なるおよび／または追加のステップを含むか、あるいは異なる順序でステップを実施し得る。

【0075】

オーディオシステムは、ローカルエリアから音をキャプチャする４１０。一実施形態では、オーディオシステムは、ユーザによって装着されたヘッドセットのフレームに結合された１つまたは複数のマイクロフォンを使用して音をキャプチャする。

【0076】

オーディオシステムは、キャプチャされた音に基づいてローカルエリア中の１つまたは複数の音ソースを識別する４２０。マイクロフォンによって収集されたキャプチャされた音と、ヘッドセットのＤＣＡおよび／またはＰＣＡによって収集されたキャプチャされた画像とは、ローカルエリアのモデルを決定するために組み合わせられ得る。ローカルエリアのモデルは、１つまたは複数の音ソースの位置を示す。

【0077】

オーディオシステムは、１つまたは複数の音ソースのうちのターゲット音ソースを決定する４３０。いくつかの実施形態では、オーディオシステムは、ローカルエリアのモデルに記憶された暗黙的ユーザ入力および／またはユーザによって直接提供された明示的なユーザ入力に基づいて、ターゲット音ソースを決定する。たとえば、ローカルエリアのモデルは、ターゲット音ソースの決定においてオーディオシステムによって利用されるマッピングされた視線ベクトル（すなわち、暗黙的ユーザ入力）を含み得る。マッピングされた視線ベクトルは、ヘッドセットの視標追跡システムによって決定されていることがある。いくつかの実施形態では、オーディオシステムは、明示的なユーザ入力（たとえば、ターゲット音ソースを指定するユーザからの口頭キュー）を利用し得る。口頭キューは、マイクロフォンによってキャプチャされ得る。

【0078】

オーディオシステムは、ターゲット音ソースに関連する音信号に適用すべき１つまたは複数のフィルタを決定する４４０。いくつかの実施形態では、オーディオシステムは、ユーザの音プロファイルに基づいて１つまたは複数のフィルタを決定する。音プロファイルは、ユーザが異なる周波数における音をどのくらい良く聴取するかを記述する、ユーザに関する個人化された音情報である。音プロファイルは、オーディオシステムに記憶され得る。音プロファイルに基づいて、オーディオシステムは、ターゲット音ソースに関連する音信号を強調するフィルタを適用することを決定し得る。いくつかの実施形態では、オーディオシステムは、ローカルエリアのモデルに基づいてターゲット音ソースに関連する音信号をより良く空間化するフィルタを適用することを決定し得る。いくつかの実施形態では、オーディオシステムは、ローカルエリア中に位置する他の音ソースに関連する他の音に適用すべき１つまたは複数のフィルタを決定し得る。

【0079】

オーディオシステムは、音信号に１つまたは複数のフィルタを適用することによって拡張音信号を生成する４５０。一実施形態では、拡張音信号は、ターゲット音ソースから発生するように思われる音が、ローカル中の他の音ソースによって放出された音と区別可能であるようなものである。たとえば、拡張音信号は、音がターゲット音ソースから発生するように思われ、異なる音ソースからの音が、ターゲット音ソースから少なくとも分離距離のところにある、ローカルエリア中のロケーションから発生するように思われるようなものである。

【0080】

オーディオシステムは、ユーザへの提示のために拡張音信号をスピーカーアセンブリに提供する４６０。一実施形態では、拡張音信号は、ユーザによって装着されたインイヤデバイスのスピーカーアセンブリに提供される。別の実施形態では、拡張音信号は、ヘッドセットのスピーカーアセンブリに提供される。

【0081】

いくつかの実施形態では、オーディオシステムは、１つまたは複数のフィルタをインイヤデバイスに提供する。インイヤデバイスは、音信号に１つまたは複数のフィルタを適用することによって拡張音信号を生成する。

【0082】

オーディオシステムによって実施される処理および算出（たとえば、ターゲット音ソースの識別、ターゲット音ソースによって放出された音に適用すべき１つまたは複数のフィルタの生成など）は、ユーザに提示されるオーディオコンテンツに対するより良い強調を可能にする。たとえば、聴覚損失という問題があるユーザは、オーディオコントローラ２３０が、ユーザが聴取するのが困難である周波数において音を放出するターゲット音ソースを識別することと、音のそれらの特定の周波数を強調する（増幅する）、ターゲット音ソースによって放出された音に適用すべき１つまたは複数のフィルタを生成することとから恩恵を受ける。ローカルエリア中に位置する音ソースはヘッドセットのマイクロフォンアレイ２１０によってより良く追跡され、これはターゲット音ソースのより良い識別を可能にする。また、オーディオシステムによって実施される処理および算出は、インイヤデバイスが、現在の補聴デバイスと比較して、ユーザに、より個別化され、強調されたオーディオコンテンツを提示することを可能にする。

【0083】

図５は、１つまたは複数の実施形態による、ヘッドセット５０５と１つまたは複数のインイヤデバイス５８０とを含むシステム５００である。いくつかの実施形態では、ヘッドセット５０５は、図１Ａのヘッドセット１００または図１Ｂのヘッドセット１０５であり得る。システム５００は、人工現実環境において動作し得る。図５によって示されているシステム５００は、ヘッドセット５０５と、コンソール５１５に結合された入出力（Ｉ／Ｏ）インターフェース５１０と、ネットワーク５２０と、マッピングサーバ５２５と、インイヤデバイス５８０とを含む。図５は、１つのヘッドセット５０５と１つのＩ／Ｏインターフェース５１０と１つのインイヤデバイス５８０とを含む例示的なシステム５００を示すが、他の実施形態では、任意の数のこれらの構成要素が、システム５００中に含まれ得る。たとえば、関連するヘッドセットと通信する２つのインイヤデバイスがあり得る。別の例では、各々が、関連するＩ／Ｏインターフェース５１０を有する、複数のヘッドセットがあり得、各ヘッドセットおよびＩ／Ｏインターフェース５１０はコンソール５１５と通信する。代替構成では、異なるおよび／または追加の構成要素が、システム５００中に含まれ得る。さらに、図５に示されている構成要素のうちの１つまたは複数に関して説明される機能性は、いくつかの実施形態では、図５に関して説明されるものとは異なる様式で構成要素の間で分散され得る。たとえば、コンソール５１５の機能性の一部または全部がヘッドセット５０５によって提供され得る。

【0084】

ヘッドセット５０５は、ディスプレイアセンブリ５３０と、光学ブロック５３５と、１つまたは複数の位置センサー５４０と、ＤＣＡ５４５と、ＰＣＡ５５０と、視標追跡システム５５５と、オーディオシステム５６０とを含む。ヘッドセット５０５のいくつかの実施形態は、図５に関して説明されるものとは異なる構成要素を有する。さらに、図５に関して説明される様々な構成要素によって提供される機能性は、他の実施形態ではヘッドセット５０５の構成要素の間で別様に分散されるか、またはヘッドセット５０５からリモートにある別個のアセンブリにおいて取り込まれ得る。

【0085】

ディスプレイアセンブリ５３０は、コンソール５１５から受信されたデータに従ってユーザにコンテンツを表示する。ディスプレイアセンブリ５３０は、１つまたは複数のディスプレイ要素（たとえば、ディスプレイ要素１２０）を使用してコンテンツを表示する。ディスプレイ要素は、たとえば、電子ディスプレイであり得る。様々な実施形態では、ディスプレイアセンブリ５３０は、単一のディスプレイ要素または複数のディスプレイ要素（たとえば、ユーザの各眼のためのディスプレイ）を備える。電子ディスプレイの例は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、アクティブマトリックス有機発光ダイオードディスプレイ（ＡＭＯＬＥＤ）、導波路ディスプレイ、何らかの他のディスプレイ、またはそれらの何らかの組合せを含む。いくつかの実施形態では、ディスプレイ要素は光学ブロック５３５の機能性の一部または全部をも含み得ることに留意されたい。

【0086】

光学ブロック５３５は、電子ディスプレイから受光された画像光を拡大し得、画像光に関連する光学誤差を補正し、補正された画像光をヘッドセット５０５の一方または両方のアイボックスに提示する。様々な実施形態では、光学ブロック５３５は、１つまたは複数の光学要素を含む。光学ブロック５３５中に含まれる例示的な光学要素は、アパーチャ、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、反射面、または画像光に影響を及ぼす任意の他の好適な光学要素を含む。その上、光学ブロック５３５は、異なる光学要素の組合せを含み得る。いくつかの実施形態では、光学ブロック５３５中の光学要素のうちの１つまたは複数は、部分反射コーティングまたは反射防止コーティングなど、１つまたは複数のコーティングを有し得る。

【0087】

光学ブロック５３５による画像光の拡大および集束は、電子ディスプレイが、より大きいディスプレイよりも、物理的により小さくなり、重さが減じ、少ない電力を消費することを可能にする。さらに、拡大は、電子ディスプレイによって提示されるコンテンツの視野を増加させ得る。たとえば、表示されるコンテンツの視野は、表示されるコンテンツが、ユーザの視野のほとんどすべて（たとえば、対角約１１０度）、およびいくつかの場合にはすべてを使用して提示されるようなものである。さらに、いくつかの実施形態では、拡大の量は、光学要素を追加することまたは取り外すことによって調整され得る。

【0088】

いくつかの実施形態では、光学ブロック５３５は、１つまたは複数のタイプの光学誤差を補正するように設計され得る。光学誤差の例は、たる形ひずみまたは糸巻き形ひずみ、縦色収差、あるいは横色収差を含む。他のタイプの光学誤差は、球面収差、色収差、またはレンズ像面湾曲による誤差、非点収差、または任意の他のタイプの光学誤差をさらに含み得る。いくつかの実施形態では、表示のために電子ディスプレイに提供されるコンテンツは予歪され、光学ブロック５３５が、そのコンテンツに基づいて生成された画像光を電子ディスプレイから受光したとき、光学ブロック５３５はそのひずみを補正する。

【0089】

位置センサー５４０は、ヘッドセット５０５に関する位置情報を示すデータを生成する電子デバイスである。位置センサー５４０は、ヘッドセット５０５の運動に応答して１つまたは複数の測定信号を生成し得る。位置センサー５４０は、位置センサー１９０の一実施形態である。位置センサー５４０の例は、１つまたは複数のＩＭＵ、１つまたは複数の加速度計、１つまたは複数のジャイロスコープ、１つまたは複数の磁力計、運動を検出する別の好適なタイプのセンサー、またはそれらの何らかの組合せを含む。位置センサー５４０は、並進運動（前／後、上／下、左／右）を測定するための複数の加速度計と、回転運動（たとえば、ピッチ、ヨー、ロール）を測定するための複数のジャイロスコープとを含み得る。いくつかの実施形態では、ＩＭＵは、測定信号を迅速にサンプリングし、サンプリングされたデータからヘッドセット５０５の推定された位置を計算する。たとえば、ＩＭＵは、加速度計から受信された測定信号を経時的に積分して速度ベクトルを推定し、その速度ベクトルを経時的に積分して、ヘッドセット５０５上の基準点の推定された位置を決定する。基準点は、ヘッドセット５０５の位置を表すために使用され得る点である。基準点は、概して空間中の点として定義され得るが、実際には、基準点は、ヘッドセット５０５内の点として定義される。位置センサー５４０のさらなる動作は、図１Ａに関して上記で説明された。

【0090】

ＤＣＡ５４５は、ローカルエリアの一部分についての深度情報を生成する。ＤＣＡは、１つまたは複数のイメージングデバイスとＤＣＡコントローラとを含む。ＤＣＡ５４５は照明器をも含み得る。ＤＣＡ５４５の動作および構造は、図１Ａに関して上記で説明された。

【0091】

ＰＣＡ５５０は、ローカルエリアについてのカラー画像データを生成する。ＰＣＡは、ローカルエリアの一部または全部の画像をキャプチャする１つまたは複数のイメージングデバイスを含み得る。いくつかの実施形態では、ＰＣＡ５５０は、ローカルエリア中の（ユーザを含む）１つまたは複数の音ソースの画像をキャプチャし得る。ＰＣＡ５５０の動作および構造に関するさらなる説明は、図１Ａに関して上記で説明された。

【0092】

視標追跡システム５５５は、ヘッドセット５０５を装着しているユーザの眼に関連する視標追跡情報を決定する。視標追跡システム５５５によって決定された視標追跡情報は、たとえば、視線情報を含み得る。いくつかの実施形態では、視標追跡システム５５５は、瞳孔サイズおよび反応性など、瞳孔測定情報を決定する。視線情報および／または瞳孔測定情報は、ユーザがどこを見ているかを決定するために使用され得る。視標追跡システム５５５は、ユーザの（１つまたは複数の）眼を追跡するために１つまたは複数のイメージングデバイスを利用し得る。視標追跡システムのさらなる動作は、図１Ａに関して上記で説明された。

【0093】

オーディオシステム５６０は、音信号に適用すべき１つまたは複数のフィルタを生成する。オーディオシステム５６０は、上記で説明されたオーディオシステム２００と実質的に同じである。オーディオシステム５６０は、１つまたは複数のマイクロフォンと、１つまたは複数のトランスデューサと、オーディオコントローラとを備え得る。いくつかの実施形態では、オーディオシステムは、ローカルエリアのモデルに記憶された暗黙的ユーザフィードバックおよび／または明示的ユーザフィードバックに基づいて、ローカルエリア中のターゲット音ソースを識別し得る。いくつかの実施形態では、オーディオシステムは、ターゲット音ソースに関連する音信号に適用すべき１つまたは複数のフィルタを生成する。いくつかの実施形態では、オーディオシステムは、ローカルエリア中の他の音ソースに関連する音信号に適用すべき１つまたは複数のフィルタを生成する。

【0094】

Ｉ／Ｏインターフェース５１０は、ユーザが、コンソール５１５に情報を提供し、アクション要求を送り、コンソール５１５から応答を受信することを可能にするデバイスである。ユーザは、オーディオシステム５６０に記憶されるべき情報（たとえば、ユーザの音プロファイル）を提供し得る。アクション要求は、特定のアクションを実施するための要求である。たとえば、アクション要求は、画像データまたはビデオデータのキャプチャを開始または終了するための命令、あるいはアプリケーション内で特定のアクションを実施するための命令であり得る。Ｉ／Ｏインターフェース５１０は、１つまたは複数の入力デバイスを含み得る。例示的な入力デバイスは、キーボード、マウス、ゲームコントローラ、またはアクション要求を受信し、そのアクション要求をコンソール５１５に通信するための任意の他の好適なデバイスを含む。Ｉ／Ｏインターフェース５１０によって受信されたアクション要求は、コンソール５１５に通信され、コンソール５１５は、そのアクション要求に対応するアクションを実施する。いくつかの実施形態では、Ｉ／Ｏインターフェース５１０は、Ｉ／Ｏインターフェース５１０の初期位置に対するＩ／Ｏインターフェース５１０の推定された位置を示す較正データをキャプチャするＩＭＵを含む。いくつかの実施形態では、Ｉ／Ｏインターフェース５１０は、コンソール５１５から受信された命令に従って、ユーザに触覚フィードバックを提供し得る。たとえば、アクション要求が受信されたときに触覚フィードバックが提供されるか、または、コンソール５１５がアクションを実施するときに、コンソール５１５が、Ｉ／Ｏインターフェース５１０に命令を通信して、Ｉ／Ｏインターフェース５１０が触覚フィードバックを生成することを引き起こす。

【0095】

コンソール５１５は、ＤＣＡ５４５とヘッドセット５０５とＩ／Ｏインターフェース５１０とのうちの１つまたは複数から受信された情報に従って処理するためのコンテンツをヘッドセット５０５に提供する。図５に示されている例では、コンソール５１５は、アプリケーションストア５６５と、追跡モジュール５７０と、エンジン５７５とを含む。コンソール５１５のいくつかの実施形態は、図５に関して説明されるものとは異なるモジュールまたは構成要素を有する。同様に、以下でさらに説明される機能は、図５に関して説明されるものとは異なる様式でコンソール５１５の構成要素の間で分散され得る。いくつかの実施形態では、コンソール５１５に関して本明細書で説明される機能性は、ヘッドセット５０５、またはリモートシステムにおいて実装され得る。

【0096】

アプリケーションストア５６５は、コンソール５１５が実行するための１つまたは複数のアプリケーションを記憶する。アプリケーションは、プロセッサによって実行されたとき、ユーザへの提示のためのコンテンツを生成する命令のグループである。アプリケーションによって生成されたコンテンツは、ヘッドセット５０５またはＩ／Ｏインターフェース５１０の移動を介してユーザから受信された入力に応答したものであり得る。アプリケーションの例は、ゲーミングアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の好適なアプリケーションを含む。

【0097】

追跡モジュール５７０は、１つまたは複数の位置センサー５４０からの情報を使用してヘッドセット５０５の移動を追跡する。たとえば、追跡モジュール５７０は、ヘッドセット５０５からの情報に基づいて、ローカルエリアのマッピングにおいてヘッドセット５０５の基準点の位置を決定する。さらに、いくつかの実施形態では、追跡モジュール５７０は、ヘッドセット５０５の将来のロケーションを予測するために、位置センサー５４０からのヘッドセット５０５の位置を示すデータの部分ならびにＤＣＡ５４５からのローカルエリアの表現を使用し得る。追跡モジュール５７０は、ヘッドセット５０５の推定または予測された将来の位置をエンジン５７５に提供する。

【0098】

エンジン５７５は、アプリケーションを実行し、追跡モジュール５７０から、ヘッドセット５０５の位置情報、加速度情報、速度情報、予測された将来の位置、またはそれらの何らかの組合せを受信する。受信された情報に基づいて、エンジン５７５は、ユーザへの提示のためにヘッドセット５０５に提供すべきコンテンツを決定する。たとえば、受信された情報が、ユーザが左を見ていることを示す場合、エンジン５７５は、仮想ローカルエリアにおいて、またはローカルエリアを追加のコンテンツで拡張するローカルエリアにおいて、ユーザの移動をミラーリングする、ヘッドセット５０５のためのコンテンツを生成する。さらに、エンジン５７５は、Ｉ／Ｏインターフェース５１０から受信されたアクション要求に応答して、コンソール５１５上で実行しているアプリケーション内でアクションを実施し、そのアクションが実施されたというフィードバックをユーザに提供する。提供されるフィードバックは、ヘッドセット５０５を介した視覚または可聴フィードバック、あるいはＩ／Ｏインターフェース５１０を介した触覚フィードバックであり得る。

【0099】

ネットワーク５２０は、ヘッドセット５０５および／またはコンソール５１５をマッピングサーバ５２５に結合する。ネットワーク５２０は、ワイヤレス通信システムおよび／またはワイヤード通信システムの両方を使用する、ローカルエリアネットワークおよび／またはワイドエリアネットワークの任意の組合せを含み得る。たとえば、ネットワーク５２０は、インターネット、ならびに携帯電話網を含み得る。一実施形態では、ネットワーク５２０は、標準通信技術および／またはプロトコルを使用する。したがって、ネットワーク５２０は、イーサネット、８０２．１１、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス（ＷｉＭＡＸ）、２Ｇ／３Ｇ／４Ｇモバイル通信プロトコル、デジタル加入者回線（ＤＳＬ）、非同期転送モード（ＡＴＭ）、ＩｎｆｉｎｉＢａｎｄ、ＰＣＩ Ｅｘｐｒｅｓｓアドバンストスイッチングなどの技術を使用するリンクを含み得る。同様に、ネットワーク５２０上で使用されるネットワーキングプロトコルは、マルチプロトコルラベルスイッチング（ＭＰＬＳ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキストトランスポートプロトコル（ＨＴＴＰ）、簡易メール転送プロトコル（ＳＭＴＰ）、ファイル転送プロトコル（ＦＴＰ）などを含むことができる。ネットワーク５２０を介して交換されるデータは、２進形式（たとえばポータブルネットワークグラフィックス（ＰＮＧ））の画像データ、ハイパーテキストマークアップ言語（ＨＴＭＬ）、拡張可能マークアップ言語（ＸＭＬ）などを含む、技術および／またはフォーマットを使用して表現され得る。さらに、リンクの全部または一部は、セキュアソケットレイヤ（ＳＳＬ）、トランスポートレイヤセキュリティ（ＴＬＳ）、仮想プライベートネットワーク（ＶＰＮ）、インターネットプロトコルセキュリティ（ＩＰｓｅｃ）など、従来の暗号化技術を使用して暗号化され得る。

【0100】

マッピングサーバ５２５は、複数の空間を表すモデルを記憶するデータベースを含み得、モデル中の１つのロケーションが、ヘッドセット５０５のローカルエリアの現在の構成に対応する。マッピングサーバ５２５は、ヘッドセット５０５からネットワーク５２０を介して、ローカルエリアおよび／またはローカルエリアについてのロケーション情報の少なくとも一部分を表す情報を受信する。マッピングサーバ５２５は、受信された情報および／またはロケーション情報に基づいて、ヘッドセット５０５のローカルエリアに関連するモデル中のロケーションを決定する。マッピングサーバ５２５は、モデル中の決定されたロケーションおよび決定されたロケーションに関連する任意の音響パラメータに部分的に基づいて、ローカルエリアに関連する１つまたは複数の音響パラメータを決定する（たとえば、取り出す）。マッピングサーバ５２５は、ローカルエリアのロケーションおよびローカルエリアに関連する音響パラメータの任意の値をヘッドセット５０５に送信し得る。

【0101】

実施形態の上記の説明は、説明のために提示されており、網羅的であること、または開示される正確な形態に特許権を限定することは意図されない。当業者は、上記の開示を考慮して、多くの修正および変形が可能であることを諒解することができる。

【0102】

本明細書のいくつかの部分は、情報に関する動作のアルゴリズムおよび記号表現に関して実施形態について説明する。これらのアルゴリズム説明および表現は、データ処理技術分野の当業者が、他の当業者に自身の仕事の本質を効果的に伝えるために通常使用される。これらの動作は、機能的に、算出量的に、または論理的に説明されるが、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実装されることが理解される。さらに、一般性の喪失なしに、動作のこれらの仕組みをモジュールと呼ぶことが時々好都合であることも証明された。説明される動作およびそれらの関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組合せにおいて具現され得る。

【0103】

本明細書で説明されるステップ、動作、またはプロセスのいずれも、１つまたは複数のハードウェアまたはソフトウェアモジュールで、単独でまたは他のデバイスとの組合せで実施または実装され得る。一実施形態では、ソフトウェアモジュールは、コンピュータプログラムコードを含んでいるコンピュータ可読媒体を備えるコンピュータプログラム製品で実装され、コンピュータプログラムコードは、説明されるいずれかまたはすべてのステップ、動作、またはプロセスを実施するためにコンピュータプロセッサによって実行され得る。

【0104】

実施形態はまた、本明細書の動作を実施するための装置に関し得る。この装置は、必要とされる目的のために特別に構築され得、および／あるいは、この装置は、コンピュータに記憶されたコンピュータプログラムによって選択的にアクティブ化または再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、非一時的有形コンピュータ可読記憶媒体、または電子命令を記憶するのに好適な任意のタイプの媒体に記憶され得、それらの媒体はコンピュータシステムバスに結合され得る。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含み得るか、または増加された算出能力のために複数のプロセッサ設計を採用するアーキテクチャであり得る。

【0105】

実施形態はまた、本明細書で説明されるコンピューティングプロセスによって作り出される製品に関し得る。そのような製品は、コンピューティングプロセスから生じる情報を備え得、その情報は、非一時的有形コンピュータ可読記憶媒体に記憶され、本明細書で説明されるコンピュータプログラム製品または他のデータ組合せの任意の実施形態を含み得る。

【0106】

最終的に、本明細書において使用される言い回しは、主に読みやすさおよび教育目的で選択されており、本明細書において使用される言い回しは、特許権を定めるかまたは制限するように選択されていないことがある。したがって、特許権の範囲はこの詳細な説明によって限定されるのではなく、むしろ、本明細書に基づく出願に関して生じる請求項によって限定されることが意図される。したがって、実施形態の開示は、以下の特許請求の範囲に記載される特許権の範囲を例示するものであり、限定するものではない。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】