特表2022-539493組織伝導オーディオシステムにおけるクロストークを緩和すること
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-09-12
(54)【発明の名称】組織伝導オーディオシステムにおけるクロストークを緩和すること
(51)【国際特許分類】
H04S 1/00 20060101AFI20220905BHJP
H04R 1/00 20060101ALI20220905BHJP
H04R 25/00 20060101ALI20220905BHJP
H04R 1/10 20060101ALI20220905BHJP
【ＦＩ】
H04S1/00 500
H04R1/00 317
H04R1/00 327
H04R25/00 F
H04R1/10 101A
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021570856
(86)(22)【出願日】2020-07-07
(85)【翻訳文提出日】2022-01-26
(86)【国際出願番号】 US2020041038
(87)【国際公開番号】W WO2021007227
(87)【国際公開日】2021-01-14
(31)【優先権主張番号】16/509,023
(32)【優先日】2019-07-11
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】515046968
【氏名又は名称】メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー
【氏名又は名称原語表記】ＭＥＴＡ ＰＬＡＴＦＯＲＭＳ ＴＥＣＨＮＯＬＯＧＩＥＳ， ＬＬＣ
(74)【代理人】
【識別番号】110002974
【氏名又は名称】弁理士法人Ｗｏｒｌｄ ＩＰ
(72)【発明者】
【氏名】カレギメーボディ， モルテザ
(72)【発明者】
【氏名】ドンリー， ジェイコブ ライアン
【テーマコード（参考）】
5D017
5D162
【Ｆターム（参考）】
5D017AB13
5D162AA15
5D162CA26
5D162CC34
5D162CD26
5D162DA02
5D162DA04
(57)【要約】
ヘッドセット上のオーディオシステムが、組織伝導を介してユーザの第１の耳の内耳にオーディオコンテンツを提示する。本システムは、ヘッドセット上の１つまたは複数のセンサーを介して、提示されたオーディオコンテンツに関するデータを監視する。１つまたは複数のセンサーは、ユーザの第２の耳における提示されたオーディオコンテンツに関するデータをキャプチャするように構成された少なくとも１つのセンサーを含む。本システムは、データに関連するアレイ伝達関数（ＡＴＦ）を推定し、推定されたＡＴＦを使用して、トランスデューサアレイのための音フィルタを生成する。本システムは、音フィルタに部分的に基づいて、調整されたオーディオコンテンツを提示する。調整されたオーディオコンテンツは、第１の耳における調整されたオーディオコンテンツの振幅が第２の耳においてよりも高い振幅を有するように、第２の耳における減衰領域を有する。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
組織伝導を介してユーザの第１の耳の内耳にオーディオコンテンツを提示するトランスデューサアレイを介して、オーディオコンテンツを提示することと、ヘッドセット上の１つまたは複数のセンサーを介して、提示された前記オーディオコンテンツに関するデータを監視することであって、前記１つまたは複数のセンサーが、前記ユーザの第２の耳における提示された前記オーディオコンテンツに関するデータをキャプチャするように構成された少なくとも１つのセンサーを含む、提示された前記オーディオコンテンツに関するデータを監視することと、
前記データに関連するアレイ伝達関数（ＡＴＦ）を推定することと、
推定された前記ＡＴＦを使用して、前記トランスデューサアレイのための音フィルタを生成することと、
前記トランスデューサアレイを介して、前記音フィルタに部分的に基づいて、調整されたオーディオコンテンツを提示することであって、前記調整されたオーディオコンテンツは、前記第１の耳における前記調整されたオーディオコンテンツの振幅が前記第２の耳においてよりも高い振幅を有するように、前記第２の耳における減衰領域を有する、調整されたオーディオコンテンツを提示することと
を含む、方法。
【請求項2】
前記組織伝導が、軟骨伝導と骨伝導とのうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項3】
前記トランスデューサアレイが、トランスデューサの第１のグループとトランスデューサの第２のグループとを含み、トランスデューサの前記第１のグループが前記第１の耳に近接しており、トランスデューサの前記第２のグループが前記第２の耳に近接している、請求項１または２に記載の方法。
【請求項4】
前記１つまたは複数のセンサーが、センサーの第１のグループとセンサーの第２のグループとを含み、センサーの前記第１のグループが前記第１の耳に近接しており、センサーの前記第２のグループが前記第２の耳に近接しており、前記少なくとも１つのセンサーを含み、好ましくは、前記ヘッドセット上の前記１つまたは複数のセンサーを介して、前記提示されたオーディオコンテンツに関するデータを監視することが、センサーの前記第１のグループとセンサーの前記第２のグループとのうちの少なくとも１つを使用して、前記提示されたオーディオコンテンツに関するデータを監視すること
を含む、請求項１から３のいずれか一項に記載の方法。
【請求項5】
推定された前記ＡＴＦを使用して、前記トランスデューサアレイのための前記音フィルタを生成することは、前記音フィルタを生成するために、前記推定されたＡＴＦに最適化アルゴリズムを適用することであって、前記最適化アルゴリズムが１つまたは複数の制約を受け、好ましくは、前記１つまたは複数の制約が、前記第１の耳がブライトゾーンとして指定されることと、前記第２の耳がクワイエットゾーンとして指定されることとを含む、最適化アルゴリズムを適用すること
を含む、請求項１から４のいずれか一項に記載の方法。
【請求項6】
組織伝導を介して第２の耳の内耳に第２のオーディオコンテンツを提示する前記トランスデューサアレイを介して、前記第２のオーディオコンテンツを提示することと、前記ヘッドセット上の少なくとも１つのセンサーを介して、提示された前記第２のオーディオコンテンツに関する第２のデータを監視することであって、前記少なくとも１つのセンサーが、前記第２の耳における提示された前記第２のオーディオコンテンツに関する第２のデータをキャプチャするように構成された少なくとも１つのセンサーを含む、提示された前記第２のオーディオコンテンツに関する第２のデータを監視することと、
前記第２のデータに関連する第２のアレイ伝達関数（ＡＴＦ）を推定することと、
推定された前記第２のＡＴＦを使用して、前記トランスデューサアレイのための第２の音フィルタを生成することと、
前記トランスデューサアレイを介して、前記第２の音フィルタに部分的に基づいて、調整された第２のオーディオコンテンツを提示することであって、前記調整されたオーディオコンテンツは、前記第１の耳における前記調整されたオーディオコンテンツの振幅が前記第２の耳においてよりも高い振幅を有するように、前記第１の耳における減衰領域を有し、好ましくは、調整されたオーディオコンテンツを提示することと、調整された第２のオーディオコンテンツを提示することとが、様々な期間にわたって行われる、調整された第２のオーディオコンテンツを提示することと
をさらに含む、請求項１から５のいずれか一項に記載の方法。
【請求項7】
組織伝導を介してユーザの第１の耳の内耳にオーディオコンテンツを提示するように構成されたトランスデューサアレイと、提示された前記オーディオコンテンツに関するデータを監視するように構成されたヘッドセット上の１つまたは複数のセンサーであって、前記１つまたは複数のセンサーが、第２の耳における提示された前記オーディオコンテンツに関するデータをキャプチャするように構成された少なくとも１つのセンサーを含む、１つまたは複数のセンサーと、
前記データに関連するアレイ伝達関数（ＡＴＦ）を推定することと、
推定された前記ＡＴＦを使用して、前記トランスデューサアレイのための音フィルタを生成することと、
前記音フィルタに部分的に基づいて、調整されたオーディオコンテンツを提示するように前記トランスデューサアレイに命令することであって、前記調整されたオーディオコンテンツは、前記第１の耳における前記オーディオコンテンツの振幅が前記第２の耳においてよりも高い振幅を有するように、前記第２の耳における減衰領域を有する、調整されたオーディオコンテンツを提示するように前記トランスデューサアレイに命令することと
を行うように構成されたコントローラと
を備えるオーディオシステム。
【請求項8】
前記組織伝導が、軟骨伝導と骨伝導とのうちの少なくとも１つを含む、請求項７に記載のオーディオシステム。
【請求項9】
前記トランスデューサアレイが、トランスデューサの第１のグループとトランスデューサの第２のグループとを含み、トランスデューサの前記第１のグループが前記第１の耳に近接しており、トランスデューサの前記第２のグループが前記第２の耳に近接している、請求項８に記載のオーディオシステム。
【請求項10】
前記１つまたは複数のセンサーが、センサーの第１のグループとセンサーの第２のグループとを含み、センサーの前記第１のグループが前記第１の耳に近接しており、センサーの前記第２のグループが前記第２の耳に近接しており、前記少なくとも１つのセンサーを含む、請求項８または９に記載のオーディオシステム。
【請求項11】
前記コントローラは、前記音フィルタを生成するために、推定された前記ＡＴＦに最適化アルゴリズムを適用することであって、前記最適化アルゴリズムが１つまたは複数の制約を受け、好ましくは、前記１つまたは複数の制約が、前記第１の耳がブライトゾーンとして指定されることと、前記第２の耳がクワイエットゾーンとして指定されることとを含む、最適化アルゴリズムを適用すること
を行うようにさらに構成された、請求項８から１０のいずれか一項に記載のオーディオシステム。
【請求項12】
組織伝導を介して前記ユーザの第２の耳の内耳に第２のオーディオコンテンツを提示するように構成された前記トランスデューサアレイと、前記提示されたオーディオコンテンツに関する第２のデータを監視するように構成されたヘッドセット上の１つまたは複数のセンサーであって、前記１つまたは複数のセンサーが、前記第２の耳における前記提示されたオーディオコンテンツに関する第２のデータをキャプチャするように構成された少なくとも１つのセンサーを含む、１つまたは複数のセンサーと、
前記第２のデータに関連する第２のアレイ伝達関数（ＡＴＦ）を推定することと、
推定された前記第２のＡＴＦを使用して、前記トランスデューサアレイのための第２の音フィルタを生成することと、
前記第２の音フィルタに部分的に基づいて、調整された第２のオーディオコンテンツを提示するように前記トランスデューサアレイに命令することであって、前記調整されたオーディオコンテンツは、前記第２の耳における前記調整されたオーディオコンテンツの振幅が前記第１の耳においてよりも高い振幅を有するように、前記第１の耳における減衰領域を有し、好ましくは、調整されたオーディオコンテンツを提示することと、調整された第２のオーディオコンテンツを提示することとが、様々な期間にわたって行われる、調整された第２のオーディオコンテンツを提示するように前記トランスデューサアレイに命令することと
を行うように構成された前記コントローラと
をさらに備える、請求項７から１１のいずれか一項に記載のオーディオシステム。
【請求項13】
プログラムコード命令を記憶するように構成された非一時的コンピュータ可読媒体であって、前記命令は、プロセッサによって実行されたとき、前記プロセッサに、組織伝導を介してユーザの第１の耳の内耳にオーディオコンテンツを提示するトランスデューサアレイを介して、オーディオコンテンツを提示することと、
ヘッドセット上の１つまたは複数のセンサーを介して、提示された前記オーディオコンテンツに関するデータを監視することであって、前記１つまたは複数のセンサーが、前記ユーザの第２の耳における提示された前記オーディオコンテンツに関するデータをキャプチャするように構成された少なくとも１つのセンサーを含む、提示された前記オーディオコンテンツに関するデータを監視することと、
前記データに関連するアレイ伝達関数（ＡＴＦ）を推定することと、
推定された前記ＡＴＦを使用して、前記トランスデューサアレイのための音フィルタを生成することと、
前記トランスデューサアレイを介して、前記音フィルタに部分的に基づいて、調整されたオーディオコンテンツを提示することであって、前記調整されたオーディオコンテンツは、前記第１の耳における前記調整されたオーディオコンテンツの振幅が前記第２の耳においてよりも高い振幅を有するように、前記第２の耳における減衰領域を有する、調整されたオーディオコンテンツを提示することと
を含むステップを実施させる、非一時的コンピュータ可読媒体。
【請求項14】
組織伝導を介して第２の耳の内耳に第２のオーディオコンテンツを提示する前記トランスデューサアレイを介して、前記第２のオーディオコンテンツを提示することと、前記ヘッドセット上の少なくとも１つのセンサーを介して、提示された前記第２のオーディオコンテンツに関する第２のデータを監視することであって、前記少なくとも１つのセンサーが、前記第２の耳における提示された前記第２のオーディオコンテンツに関する第２のデータをキャプチャするように構成された少なくとも１つのセンサーを含む、提示された前記第２のオーディオコンテンツに関する第２のデータを監視することと、
前記第２のデータに関連する第２のアレイ伝達関数（ＡＴＦ）を推定することと、
推定された前記第２のＡＴＦを使用して、前記トランスデューサアレイのための第２の音フィルタを生成することと、
前記トランスデューサアレイを介して、前記第２の音フィルタに部分的に基づいて、調整された第２のオーディオコンテンツを提示することであって、前記調整されたオーディオコンテンツは、前記第１の耳における前記調整されたオーディオコンテンツの振幅が前記第２の耳においてよりも高い振幅を有するように、前記第１の耳における減衰領域を有する、調整された第２のオーディオコンテンツを提示することと
を行うようにさらに構成された、請求項１３に記載の非一時的コンピュータ可読媒体。
【請求項15】
前記組織伝導が、軟骨伝導と骨伝導とのうちの少なくとも１つを含む、請求項１３または１４に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、組織伝導オーディオシステムに関し、詳細には、組織伝導オーディオシステムにおけるクロストークの緩和に関する。
【背景技術】
【0002】
仮想および／または拡張情報をユーザに提示するために、ヘッドマウントディスプレイ（ＨＭＤ）が使用され得る。たとえば、拡張現実／仮想現実をシミュレートするために、拡張現実（ＡＲ）ヘッドセットまたは仮想現実（ＶＲ）ヘッドセットが使用され得る。従来、ＡＲ／ＶＲヘッドセットのユーザは、コンピュータ生成された音、ビデオ、および触覚を受信するかまたは場合によっては体験するためにヘッドフォンを装着する。しかしながら、ヘッドフォンを装着することは、現実世界の環境からの音を抑制し、これは、ユーザを予想外の危険にさらし、また、ユーザを環境から非意図的に切り離し得る。その上、外部ケーシングまたはＨＭＤのストラップから分離されたヘッドフォンは、審美的に魅力に欠けることがあり、使用によって損傷を受けることがある。
【発明の概要】
【0003】
組織伝導オーディオシステムにおけるクロストークを緩和するための方法。本方法は、ヘッドセットのトランスデューサアレイを介して、組織伝導（たとえば、骨伝導および／または軟骨伝導）を介してユーザの第１の耳にオーディオコンテンツを提示する。ヘッドセットのセンサーアレイが、ユーザの第１の耳と第２の耳の両方における、提示されたオーディオコンテンツに関するデータを監視する。オーディオコンテンツに関連するアレイ伝達関数（ＡＴＦ：ａｒｒａｙ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ）が、センサーデータに基づいて推定される。音フィルタが、推定されたＡＴＦを使用して生成される。音フィルタは、トランスデューサアレイからのトランスデューサ信号に適用され、これは、ユーザの耳に調整されたオーディオコンテンツを提示する。第１の耳における調整されたオーディオコンテンツの振幅は、第２の耳における減衰領域における調整されたオーディオコンテンツの振幅よりも高い。いくつかの実施形態では、第２の耳における調整されたオーディオコンテンツの振幅は、第１の耳における減衰領域における調整されたオーディオコンテンツの振幅よりも高い。いくつかの実施形態では、一時的コンピュータ可読媒体が、プログラムコード命令を記憶するように構成される。コード命令は、プロセッサによって実行されたとき、プロセッサに方法のステップを実施させる。
【0004】
いくつかの実施形態では、オーディオシステムは、ヘッドセット（たとえば、ニアアイディスプレイ、ヘッドマウントディスプレイ）の一部である。オーディオシステムは、トランスデューサアレイと、１つまたは複数のセンサーと、コントローラとを含む。トランスデューサアレイは、組織伝導を介してユーザの第１の耳の内耳にオーディオコンテンツを提示するように構成される。ヘッドセット上の１つまたは複数のセンサーは、提示されたオーディオコンテンツに関するデータを監視するように構成され、１つまたは複数のセンサーは、第２の耳における提示されたオーディオコンテンツに関するデータをキャプチャするように構成された少なくとも１つのセンサーを含む。コントローラは、データに関連するアレイ伝達関数（ＡＴＦ）を推定し、推定されたＡＴＦを使用して、トランスデューサアレイのための音フィルタを生成するように構成される。コントローラは、音フィルタに部分的に基づいて、調整されたオーディオコンテンツを提示するようにトランスデューサアレイに命令し、調整されたオーディオコンテンツは、第１の耳におけるオーディオコンテンツの振幅が第２の耳においてよりも高い振幅を有するように、第２の耳における減衰領域を有する。
【0005】
本発明の第１の態様によれば、組織伝導を介してユーザの第１の耳の内耳にオーディオコンテンツを提示するトランスデューサアレイを介して、オーディオコンテンツを提示することと、ヘッドセット上の１つまたは複数のセンサーを介して、提示されたオーディオコンテンツに関するデータを監視することであって、１つまたは複数のセンサーが、ユーザの第２の耳における提示されたオーディオコンテンツに関するデータをキャプチャするように構成された少なくとも１つのセンサーを含む、提示されたオーディオコンテンツに関するデータを監視することと、データに関連するアレイ伝達関数（ＡＴＦ）を推定することと、推定されたＡＴＦを使用して、トランスデューサアレイのための音フィルタを生成することと、トランスデューサアレイを介して、音フィルタに部分的に基づいて、調整されたオーディオコンテンツを提示することであって、調整されたオーディオコンテンツは、第１の耳における調整されたオーディオコンテンツの振幅が第２の耳においてよりも高い振幅を有するように、第２の耳における減衰領域を有する、調整されたオーディオコンテンツを提示することとを含む方法が提供される。
【0006】
いくつかの実施形態では、組織伝導は、軟骨伝導と骨伝導とのうちの少なくとも１つを含み得る。
【0007】
いくつかの実施形態では、トランスデューサアレイは、トランスデューサの第１のグループとトランスデューサの第２のグループとを含み得、トランスデューサの第１のグループは第１の耳に近接しており、トランスデューサの第２のグループは第２の耳に近接している。
【0008】
いくつかの実施形態では、１つまたは複数のセンサーは、センサーの第１のグループとセンサーの第２のグループとを含み得、センサーの第１のグループは第１の耳に近接しており、センサーの第２のグループは第２の耳に近接しており、少なくとも１つのセンサーを含む。
【0009】
いくつかの実施形態では、ヘッドセット上の１つまたは複数のセンサーを介して、提示されたオーディオコンテンツに関するデータを監視することは、センサーの第１のグループとセンサーの第２のグループとのうちの少なくとも１つを使用して、提示されたオーディオコンテンツに関するデータを監視することを含み得る。
【0010】
いくつかの実施形態では、推定されたＡＴＦを使用して、トランスデューサアレイのための音フィルタを生成することは、音フィルタを生成するために、推定されたＡＴＦに最適化アルゴリズムを適用することであって、最適化アルゴリズムが１つまたは複数の制約を受ける、最適化アルゴリズムを適用することを含み得る。
【0011】
いくつかの実施形態では、１つまたは複数の制約は、第１の耳がブライトゾーン（ｂｒｉｇｈｔ ｚｏｎｅ）として指定されることと、第２の耳がクワイエットゾーン（ｑｕｉｅｔ ｚｏｎｅ）として指定されることとを含み得る。
【0012】
いくつかの実施形態では、本方法は、組織伝導を介して第２の耳の内耳に第２のオーディオコンテンツを提示するトランスデューサアレイを介して、第２のオーディオコンテンツを提示することと、ヘッドセット上の少なくとも１つのセンサーを介して、提示された第２のオーディオコンテンツに関する第２のデータを監視することであって、少なくとも１つのセンサーが、第２の耳における提示された第２のオーディオコンテンツに関する第２のデータをキャプチャするように構成された少なくとも１つのセンサーを含む、提示された第２のオーディオコンテンツに関する第２のデータを監視することと、第２のデータに関連する第２のアレイ伝達関数（ＡＴＦ）を推定することと、推定された第２のＡＴＦを使用して、トランスデューサアレイのための第２の音フィルタを生成することと、トランスデューサアレイを介して、第２の音フィルタに部分的に基づいて、調整された第２のオーディオコンテンツを提示することであって、調整されたオーディオコンテンツは、第１の耳における調整されたオーディオコンテンツの振幅が第２の耳においてよりも高い振幅を有するように、第１の耳における減衰領域を有する、調整された第２のオーディオコンテンツを提示することとをさらに含み得る。
【0013】
いくつかの実施形態では、調整されたオーディオコンテンツを提示することと、調整された第２のオーディオコンテンツを提示することとは、様々な期間にわたって行われ得る。
【0014】
本発明の第２の態様によれば、組織伝導を介してユーザの第１の耳の内耳にオーディオコンテンツを提示するように構成されたトランスデューサアレイと、提示されたオーディオコンテンツに関するデータを監視するように構成されたヘッドセット上の１つまたは複数のセンサーであって、１つまたは複数のセンサーが、第２の耳における提示されたオーディオコンテンツに関するデータをキャプチャするように構成された少なくとも１つのセンサーを含む、１つまたは複数のセンサーと、データに関連するアレイ伝達関数（ＡＴＦ）を推定することと、推定されたＡＴＦを使用して、トランスデューサアレイのための音フィルタを生成することと、音フィルタに部分的に基づいて、調整されたオーディオコンテンツを提示するようにトランスデューサアレイに命令することであって、調整されたオーディオコンテンツは、第１の耳におけるオーディオコンテンツの振幅が第２の耳においてよりも高い振幅を有するように、第２の耳における減衰領域を有する、調整されたオーディオコンテンツを提示するようにトランスデューサアレイに命令することとを行うように構成されたコントローラとを備えるオーディオシステムが提供される。
【0015】
いくつかの実施形態では、組織伝導は、軟骨伝導と骨伝導とのうちの少なくとも１つを含み得る。
【0016】
いくつかの実施形態では、トランスデューサアレイは、トランスデューサの第１のグループとトランスデューサの第２のグループとを含み得、トランスデューサの第１のグループは第１の耳に近接しており、トランスデューサの第２のグループは第２の耳に近接している。
【0017】
いくつかの実施形態では、１つまたは複数のセンサーは、センサーの第１のグループとセンサーの第２のグループとを含み得、センサーの第１のグループは第１の耳に近接しており、センサーの第２のグループは第２の耳に近接しており、少なくとも１つのセンサーを含む。
【0018】
いくつかの実施形態では、コントローラは、音フィルタを生成するために、推定されたＡＴＦに最適化アルゴリズムを適用することであって、最適化アルゴリズムが１つまたは複数の制約を受ける、最適化アルゴリズムを適用することを行うようにさらに構成され得る。
【0019】
いくつかの実施形態では、１つまたは複数の制約は、第１の耳がブライトゾーンとして指定されることと、第２の耳がクワイエットゾーンとして指定されることとを含み得る。
【0020】
いくつかの実施形態では、本オーディオシステムは、組織伝導を介してユーザの第２の耳の内耳に第２のオーディオコンテンツを提示するように構成されたトランスデューサアレイと、提示されたオーディオコンテンツに関する第２のデータを監視するように構成されたヘッドセット上の１つまたは複数のセンサーであって、１つまたは複数のセンサーが、第２の耳における提示されたオーディオコンテンツに関する第２のデータをキャプチャするように構成された少なくとも１つのセンサーを含む、１つまたは複数のセンサーと、第２のデータに関連する第２のアレイ伝達関数（ＡＴＦ）を推定することと、推定された第２のＡＴＦを使用して、トランスデューサアレイのための第２の音フィルタを生成することと、第２の音フィルタに部分的に基づいて、調整された第２のオーディオコンテンツを提示するようにトランスデューサアレイに命令することであって、調整されたオーディオコンテンツは、第２の耳における調整されたオーディオコンテンツの振幅が第１の耳においてよりも高い振幅を有するように、第１の耳における減衰領域を有する、調整された第２のオーディオコンテンツを提示するようにトランスデューサアレイに命令することとを行うように構成されたコントローラとをさらに備え得る。
【0021】
いくつかの実施形態では、調整されたオーディオコンテンツを提示することと、調整された第２のオーディオコンテンツを提示することとは、様々な期間にわたって行われ得る。
【0022】
本発明の第３の態様によれば、プログラムコード命令を記憶するように構成された非一時的コンピュータ可読媒体であって、命令は、プロセッサによって実行されたとき、プロセッサに、組織伝導を介してユーザの第１の耳の内耳にオーディオコンテンツを提示するトランスデューサアレイを介して、オーディオコンテンツを提示することと、ヘッドセット上の１つまたは複数のセンサーを介して、提示されたオーディオコンテンツに関するデータを監視することであって、１つまたは複数のセンサーが、ユーザの第２の耳における提示されたオーディオコンテンツに関するデータをキャプチャするように構成された少なくとも１つのセンサーを含む、提示されたオーディオコンテンツに関するデータを監視することと、データに関連するアレイ伝達関数（ＡＴＦ）を推定することと、推定されたＡＴＦを使用して、トランスデューサアレイのための音フィルタを生成することと、トランスデューサアレイを介して、音フィルタに部分的に基づいて、調整されたオーディオコンテンツを提示することであって、調整されたオーディオコンテンツは、第１の耳における調整されたオーディオコンテンツの振幅が第２の耳においてよりも高い振幅を有するように、第２の耳における減衰領域を有する、調整されたオーディオコンテンツを提示することとを含むステップを実施させる、非一時的コンピュータ可読媒体が提供される。
【0023】
いくつかの実施形態では、本非一時的コンピュータ可読媒体は、組織伝導を介して第２の耳の内耳に第２のオーディオコンテンツを提示するトランスデューサアレイを介して、第２のオーディオコンテンツを提示することと、ヘッドセット上の少なくとも１つのセンサーを介して、提示された第２のオーディオコンテンツに関する第２のデータを監視することであって、少なくとも１つのセンサーが、第２の耳における提示された第２のオーディオコンテンツに関する第２のデータをキャプチャするように構成された少なくとも１つのセンサーを含む、提示された第２のオーディオコンテンツに関する第２のデータを監視することと、第２のデータに関連する第２のアレイ伝達関数（ＡＴＦ）を推定することと、推定された第２のＡＴＦを使用して、トランスデューサアレイのための第２の音フィルタを生成することと、トランスデューサアレイを介して、第２の音フィルタに部分的に基づいて、調整された第２のオーディオコンテンツを提示することであって、調整されたオーディオコンテンツは、第１の耳における調整されたオーディオコンテンツの振幅が第２の耳においてよりも高い振幅を有するように、第１の耳における減衰領域を有する、調整された第２のオーディオコンテンツを提示することとを行うようにさらに構成され得る。
【0024】
いくつかの実施形態では、組織伝導は、軟骨伝導と骨伝導とのうちの少なくとも１つを含み得る。
【0025】
第１の態様、第２の態様または第３の態様への組込みに好適であるものとして本明細書で説明される特徴は、本発明のすべての態様および実施形態にわたって一般化可能であるものとすることが諒解されよう。
【図面の簡単な説明】
【0026】
【図1】１つまたは複数の実施形態による、ヘッドセットの図である。
【図2】１つまたは複数の実施形態による、ヘッドセットの一部分の側面図である。
【図3A】１つまたは複数の実施形態による、クロストーク緩和より前の音場を示す図である。
【図3B】１つまたは複数の実施形態による、クロストーク緩和の後の音場を示す図である。
【図4】１つまたは複数の実施形態による、例示的なオーディオシステムのブロック図である。
【図5】１つまたは複数の実施形態による、組織伝導オーディオシステムにおけるクロストークを緩和するためのプロセスの図である。
【図6】１つまたは複数の実施形態による、例示的な人工現実システムのブロック図である。
【発明を実施するための形態】
【0027】
図は、単に例示の目的で様々な実施形態を示す。本明細書で説明される原理から逸脱することなく、本明細書で示される構造および方法の代替実施形態が採用され得ることを、当業者は以下の説明から容易に認識されよう。
【0028】
組織伝導オーディオシステムは、骨伝導と軟骨伝導の一方または両方を使用して、オーディオコンテンツをユーザに提示する。組織伝導は、軟骨伝導および／または骨伝導を使用して、ユーザにオーディオコンテンツを与える。組織伝導は、音響圧力波を生成するために骨および／または軟骨を振動させる骨伝導および／または軟骨伝導を介して行われ得る。
【0029】
骨伝導オーディオシステムは、ユーザの耳道をふさがっていない状態に保ちながら、ユーザの耳にオーディオコンテンツを提供するために骨伝導を使用する。骨伝導オーディオシステムは、乳様突起などの骨を含むユーザの頭部における組織を振動させることによって、オーディオコンテンツに対応する組織伝搬音響圧力波を生成するトランスデューサアセンブリを含む。組織は、たとえば、骨、軟骨、筋肉、皮膚などを含み得る。骨伝導について、生成された音響圧力波のための主な経路は、頭部の骨を通って（鼓膜を迂回して）直接蝸牛に至るものである。骨伝導において、音響圧力波は、空気伝導経路を迂回して、ただ骨を通って進んで、蝸牛に達し得る。蝸牛は、組織伝搬音響圧力波を、脳が音として知覚する信号に変える。
【0030】
軟骨伝導オーディオシステムは、ユーザの耳にオーディオコンテンツを提供するために軟骨伝導を使用する。軟骨伝導オーディオシステムは、外耳の周りの耳介軟骨の１つまたは複数の部分（たとえば、耳殻、耳珠、耳介軟骨の何らかの他の部分、またはそれらの何らかの組合せ）に結合されたトランスデューサアセンブリを含む。トランスデューサアセンブリは、耳介軟骨の１つまたは複数の部分を振動させることによって、オーディオコンテンツに対応する空気伝搬音響圧力波を生成する。この空気伝搬音響圧力波は、耳道の入口のほうへ伝搬し得、空気伝搬音響圧力波は鼓膜によって検出されることになる。ただし、軟骨伝導オーディオシステムは、様々なやり方で音響圧力波を生成するマルチパスシステムである。たとえば、耳介軟骨の１つまたは複数の部分を振動させることは、耳道を通って進む空気伝搬音響圧力波、耳道のいくつかの部分を振動させ、それにより、耳道内に空気伝搬音響圧力波を生成させる、組織伝搬音響圧力波、またはそれらの何らかの組合せを生成し得る。
【0031】
組織伝導システムは、少なくとも、組織伝導システムがユーザの組織（骨、軟骨など）を振動させることによって空気伝搬音響波を生成することができるという理由で、空気伝搬オーディオシステム（たとえば、従来のスピーカー）とは異なることに留意されたい。組織の振動は、音響圧力波が組織、骨、空気、またはそれらの組合せを通って進み得るような、いくつかの音響経路を作成する。対照的に、一般的な空気伝搬オーディオシステムは、空気伝搬音響波を生成するために、空気を直接変位させる振動膜（ｖｉｂｒａｔｉｎｇ ｍｅｍｂｒａｎｅ）をもつスピーカーを使用する。
【0032】
オーディオシステムは、ヘッドセット（たとえば、ニアアイディスプレイまたはヘッドマウントディスプレイ）の一部であり得る。オーディオシステムは、トランスデューサアレイと、センサーと、コントローラとを含む。トランスデューサアレイは、組織伝導を介してヘッドセットユーザの内耳にオーディオコンテンツを提示する。センサーは、ヘッドセットユーザの両方の耳における最初に提示されたオーディオコンテンツに関するデータをキャプチャする。コントローラは、各耳において提示されたオーディオコンテンツに関連するアレイ伝達関数（ＡＴＦ）を推定し、推定されたＡＴＦを使用して、音フィルタを生成する。ＡＴＦは、トランスデューサアレイによって作り出されたオーディオコンテンツが、センサーアレイによってどのように受信されるかを特徴づける伝達関数の集合を含む。伝達関数は、音の音源ロケーション、すなわち、トランスデューサにおいて作り出される音と、その音が検出される場所、すなわち、センサーにおいて作り出される音との間の関係を定義する。関係を定義するのを助けるパラメータは、特に、周波数、振幅、時間、位相、持続時間、到来方向（ＤｏＡ）推定を含み得る。いくつかの実施形態では、伝達関数を決定するために、固有値分解（Ｅｉｇｅｎ ｖａｌｕｅ ｄｅｃｏｍｐｏｓｉｔｉｏｎ）が使用される。他の実施形態では、伝達関数を決定するために、特異値分解（ｓｉｎｇｕｌａｒ－ｖａｌｕｅ ｄｅｃｏｍｐｏｓｉｔｉｏｎ）が使用される。トランスデューサアレイは、組織伝導によって引き起こされたクロストークが緩和されるように、生成された音フィルタによって部分的に調整されたオーディオコンテンツを両方の耳に提示する。コントローラは、「ブライトゾーン」として第１の耳を指定し、減衰された「クワイエットゾーン」として第２の耳を指定する。調整されたオーディオコンテンツは、ブライトゾーンにおいてよりもクワイエットゾーンにおいてより低い振幅を有し、いくつかの場合には、クワイエットゾーンにおける音場中にヌル（ｎｕｌｌ）があり得、オーディオコンテンツは知覚できない。
【0033】
組織伝導トランスデューサを介してオーディオコンテンツを提示することは、たとえば、振動を伝達するための共通媒体としてのユーザの頭骨の共有による、クロストークを生じ得る。クロストークが知覚され得る領域において音を減衰させることによって、本明細書で説明されるオーディオシステムは、組織伝導から生じるクロストークの少なくとも一部を緩和する。
【0034】
本発明の実施形態は、人工現実システムを含むか、または人工現実システムに関連して実装され得る。人工現実は、ユーザへの提示の前に何らかの様式で調整された形式の現実であり、これは、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいはそれらの何らかの組合せおよび／または派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされた（たとえば、現実世界の）コンテンツと組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る（観察者に３次元効果をもたらすステレオビデオなど）。さらに、いくつかの実施形態では、人工現実は、たとえば、人工現実におけるコンテンツを作成するために使用される、および／または人工現実において別様に使用される（たとえば、人工現実におけるアクティビティを実施する）アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せにも関連し得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンＨＭＤ、モバイルデバイスまたはコンピューティングシステム、あるいは、１人または複数の観察者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。
【0035】
システムの全体像
図１は、１つまたは複数の実施形態による、ヘッドセット１００の図である。ヘッドセット１００は、メディアをユーザに提示する。ヘッドセット１００は、オーディオシステムと、フレーム１１０とを含む。概して、ヘッドセットは、コンテンツが、ヘッドセットを使用して提示されるように、ユーザの顔に装着され得る。コンテンツは、それぞれ、オーディオシステムおよびディスプレイを介して提示される、オーディオメディアコンテンツおよび視覚メディアコンテンツを含み得る。いくつかの実施形態では、ヘッドセットは、オーディオコンテンツをヘッドセットを介してユーザに提示するにすぎないことがある。フレーム１１０は、ヘッドセット１００がユーザの顔に装着されることを可能にし、オーディオシステムの構成要素を格納する。一実施形態では、ヘッドセット１００は、ヘッドマウントディスプレイ（ＨＭＤ）であり得る。
図１は、１つまたは複数の実施形態による、ヘッドセット１００の図である。ヘッドセット１００は、メディアをユーザに提示する。ヘッドセット１００は、オーディオシステムと、フレーム１１０とを含む。概して、ヘッドセットは、コンテンツが、ヘッドセットを使用して提示されるように、ユーザの顔に装着され得る。コンテンツは、それぞれ、オーディオシステムおよびディスプレイを介して提示される、オーディオメディアコンテンツおよび視覚メディアコンテンツを含み得る。いくつかの実施形態では、ヘッドセットは、オーディオコンテンツをヘッドセットを介してユーザに提示するにすぎないことがある。フレーム１１０は、ヘッドセット１００がユーザの顔に装着されることを可能にし、オーディオシステムの構成要素を格納する。一実施形態では、ヘッドセット１００は、ヘッドマウントディスプレイ（ＨＭＤ）であり得る。
【0036】
オーディオシステムは、オーディオコンテンツをヘッドセットのユーザに提示する。オーディオシステムは組織伝導システムである。オーディオシステムは、構成要素の中でも、トランスデューサアレイと、センサーアレイと、コントローラ１７０とを含む。オーディオシステムは、組織伝導を介してオーディオコンテンツを提供し、また、その動作の副産物として、あるレベルのクロストークを生成し得る。たとえば、ユーザの第１の内耳に放出された音は、第１の耳の近くの組織への振動がユーザの頭骨を通ってユーザの他方の内耳に伝達することにより、ユーザの他方の内耳によっても受信され得る。いくつかの実施形態では、音響波は、頭骨以外の組織を通って送信され得る。オーディオシステムに関する追加の詳細が、図２～図６に関して以下で説明される。
【0037】
トランスデューサアレイは、コントローラ１７０からの振動命令に従って、オーディオコンテンツ（すなわち、音響圧力波）を生成する。いくつかの実施形態では、オーディオコンテンツは基準オーディオ信号を含み得る。たとえば、基準オーディオ信号は、音楽、音声、または他のユーザの好ましいコンテンツなど、ユーザからのコンテンツであり得る。他の実施形態では、基準オーディオ信号は、最大長シーケンス、擬似ランダムピンクノイズ、擬似ランダムホワイトノイズ、線形正弦波掃引、対数正弦波掃引、またはそれらの何らかの組合せなど、大きい周波数範囲をカバーし得る。トランスデューサアレイはまた、オーディオコンテンツがコントローラの命令通りに調整された後に、フィルタ処理されたオーディオコンテンツをユーザに提示する。トランスデューサアレイは、図３Ａ～図３Ｂに関してさらに説明される。
【0038】
トランスデューサアレイは、音響圧力波を生成するために、組織（たとえば、骨、皮膚、軟骨など）を直接振動させる。トランスデューサアセンブリは、１つまたは複数のトランスデューサを含み得る。（組織伝導トランスデューサとも呼ばれる）トランスデューサは、骨伝導トランスデューサまたは軟骨伝導トランスデューサとして機能するように構成され得る。いくつかの実施形態では、各トランスデューサアレイは、周波数範囲の異なる部分をカバーするための１つまたは複数のトランスデューサを含み得る。たとえば、周波数範囲の第１の部分をカバーするために圧電トランスデューサが使用され得、周波数範囲の第２の部分をカバーするために可動コイルトランスデューサが使用され得る。いくつかの実施形態では、トランスデューサアレイは、人工内耳（ｃｏｃｈｌｅａｒ ｉｍｐｌａｎｔ）など、医療用インプラントとして働くトランスデューサを含み得る。
【0039】
骨伝導トランスデューサは、ユーザの頭部における骨／組織を振動させることによって音響圧力波を生成する。骨伝導トランスデューサは、フレーム１１０のエンドピースに結合され、耳介の後ろでユーザの頭蓋骨の一部分に結合されるように構成され得る。骨伝導トランスデューサは、コントローラ１７０から振動命令を受信し、受信された命令に基づいてユーザの頭蓋骨の一部分を振動させる。骨伝導トランスデューサからの振動は、鼓膜を迂回して、ユーザの蝸牛のほうへ伝搬する組織伝搬音響圧力波を生成する。
【0040】
軟骨伝導トランスデューサは、ユーザの耳の耳介軟骨の１つまたは複数の部分を振動させることによって音響圧力波を生成する。軟骨伝導トランスデューサは、フレーム１１０のテンプルアームに結合され、耳の耳介軟骨の１つまたは複数の部分に結合されるように構成され得る。たとえば、軟骨伝導トランスデューサは、ユーザの耳の耳介の背面に結合し得る。軟骨伝導トランスデューサは、外耳の周りの耳介軟骨に沿ったどこか（たとえば、耳殻、耳珠、耳介軟骨の何らかの他の部分、またはそれらの何らかの組合せ）に位置し得る。耳介軟骨の１つまたは複数の部分を振動させることは、耳道外の空気伝搬音響圧力波、耳道のいくつかの部分を振動させ、それにより、耳道内に空気伝搬音響圧力波を生成させる、組織伝搬音響圧力波、またはそれらの何らかの組合せを生成し得る。生成された空気伝搬音響圧力波は、耳道に沿って鼓膜のほうへ伝搬する。
【0041】
センサーアレイは、トランスデューサアレイによって放出されたオーディオコンテンツを監視する。センサーアレイは、複数のセンサーを含む。図示の実施形態では、センサーアレイは、センサー１４０Ａとセンサー１４０Ｂとを含む。センサー１４０Ａ、１４０Ｂは、たとえば、マイクロフォン、加速度計、他の音響センサー、またはそれらの何らかの組合せであり得る。センサーアレイは、センサー１４０Ａ、１４０Ｂからのデータを使用して、トランスデューサアレイによって提供されたオーディオコンテンツを監視する。センサーアレイは、監視されたオーディオコンテンツに基づいて、センサーデータを生成する。監視されたオーディオコンテンツは、センサーによってキャプチャされるより前にユーザの頭部を通って伝搬していることがあることに留意されたい。たとえば、トランスデューサ１２０Ａによって提供されたオーディオコンテンツは、センサー１４０Ｂにおいて検出され得る。
【0042】
いくつかの実施形態では、トランスデューサ１２０Ａ～１２０Ｄおよびセンサー１４０Ａ～１４０Ｂは、フレーム１１０内のおよび／またはフレーム１１０上の、図１において提示されたものとは異なるロケーションに配置され得る。たとえば、いくつかの実施形態では、センサー１４０Ａ～１４０Ｂは、ユーザの耳内にフィットするように構成されたマイクロフォンであり得る。ヘッドセットは、図１に示されているものとは数および／またはタイプが異なる、トランスデューサおよび／またはセンサーを含み得る。
【0043】
コントローラ１７０は、組織伝導システムを制御する。コントローラ１７０は、ユーザへの提示のために、ローカルメモリまたは何らかの外部エンティティ（たとえば、コンソール、リモートサーバなど）からオーディオデータ（たとえば、音楽）を受信し得る。コントローラ１７０は、受信されたオーディオデータに基づいて、振動命令を生成し、振動命令をトランスデューサアレイに提供する。いくつかの実施形態では、振動命令は、トランスデューサアレイが基準オーディオ信号を生成するようなものである。
【0044】
コントローラ１７０は、センサーアレイからのセンサーデータを使用して、ＡＴＦを生成する。ＡＴＦは、上記で説明されたように、オーディオコンテンツ（たとえば、オーディオ基準信号）がセンサーアレイによって受信されるやり方を特徴づけるいくつかの伝達関数（たとえば、各センサーについての伝達関数）を含む。コントローラ１７０は、音フィルタを生成するためにＡＴＦを使用する。トランスデューサアレイによって提示されたオーディオコンテンツを調整するために、オーディオデータに適用される音フィルタ。図３Ａ～図６に関して以下でより詳細に説明されるように、調整されたオーディオコンテンツは、トランスデューサアレイによって提示されたオーディオコンテンツ中のクロストークを緩和する。コントローラ１７０の動作は、図３Ａ、図３Ｂ、および図４に関して、以下で詳細に説明される。
【0045】
図２は、１つまたは複数の実施形態による、ヘッドセット２０５の一部分の側面図２００である。ヘッドセット２０５は、ヘッドセット１００の一実施形態である。ヘッドセット２０５は、組織伝導性オーディオシステムによって、オーディオコンテンツをユーザに提示する。ヘッドセット２０５は、ヘッドセット２０５がユーザの耳の耳殻２１０に近接していることがあるように、ユーザの耳に部分的に載っている。ヘッドセット２０５は、構成要素の中でも、トランスデューサアレイと、センサーアレイとを含む。トランスデューサアレイは、トランスデューサ２３０Ａ、２３０Ｂのグループを含み、センサーアレイは、センサー２４５を含むセンサーのグループを含む。トランスデューサ２３０Ａ、２３０Ｂは、トランスデューサ１２０Ａ、１２０Ｃの実施形態であり、センサー２４５は、センサー１４０Ａの一実施形態である。
【0046】
トランスデューサ２３０Ａ、２３０Ｂは、ユーザの一方または両方の耳にオーディオコンテンツを提供する。トランスデューサ２３０Ａ、２３０Ｂは、ユーザの耳の上のまたはユーザの耳の近くの様々な組織に近接しており、および／または結合される。結合は、トランスデューサ２３０Ａ、２３０Ｂの一部または全部と、ユーザの組織との間の間接的接触および／または直接的接触があるようなものであり得る。たとえば、トランスデューサ２３０Ａは、ユーザの耳の耳殻の背面または耳殻２１０の上部に結合する軟骨伝導トランスデューサであり得る。トランスデューサ２３０Ｂは、耳の近くの骨の一部分に結合する骨伝導トランスデューサであり得る。トランスデューサ２３０Ａ、２３０Ｂは、それらが結合された組織を振動させ、ユーザの内耳の蝸牛（図２に図示せず）によって音として検出される範囲の音響圧力波を生成する。
【0047】
いくつかの実施形態では、ヘッドセット２０５は、１つまたは複数の骨伝導トランスデューサおよび軟骨伝導トランスデューサの組合せを含み得る。いくつかの実施形態では、ヘッドセット２０５は、１つまたは複数の空気伝導トランスデューサ（図示せず）を含み、空気伝導と組織伝導との組合せによって、ユーザにオーディオコンテンツを提供し得る。
【0048】
センサー２４５は、トランスデューサアレイによって提示されたオーディオコンテンツを監視する。センサー２４５は、センサー１４０Ａの一実施形態である。センサー２４５は、伝導トランスデューサ２３０Ａ～Ｂおよび／または他の組織伝導トランスデューサ（たとえば、ユーザの他方の耳の近くに位置するもの）によって作り出された音響圧力波を検出するために、ヘッドセット上に配置される。いくつかの実施形態では、センサー２４５は耳道内に配置される。センサー２４５は、ヘッドセット上にまたはヘッドセットの近くに配置されたセンサーアレイの一部であり得、センサーアレイは複数のセンサーを含む。センサーアレイは、オーディオデータを測定すること以外の用途のために指定されたセンサーに加えて、センサー２４５と同様の複数の音響センサーを含み得る。他のセンサー、センサーアレイは、慣性測定ユニット（ＩＭＵ）、ジャイロスコープ、位置センサー、加速度計、またはそれらの組合せを含み得る。ユーザの他方の耳において、オーディオシステムは、それぞれ、ヘッドセットのトランスデューサアレイおよびセンサーアレイ中に含まれる、トランスデューサの別のグループおよび少なくとも別のセンサーを含む。
【0049】
クロストーク緩和
図３Ａは、１つまたは複数の実施形態による、クロストーク緩和より前の音場３００を示す。オーディオシステムは、音場３００を生成することによって、ヘッドセットのユーザにオーディオコンテンツを提供する。オーディオシステムは、ヘッドセット（たとえば、ヘッドセット１００）の一部であり得る。音場３００は、少なくとも、音源領域３１０および３２０と、トランスデューサグループ３５０Ａおよび３５０Ｂと、センサーグループ３６０Ａおよび３６０Ｂとを含む。図４に関してさらに詳細に説明されるように、トランスデューサグループ３５０Ａおよび３５０Ｂは、トランスデューサアレイの一部であり、センサーグループは、センサーアレイの一部である。
図３Ａは、１つまたは複数の実施形態による、クロストーク緩和より前の音場３００を示す。オーディオシステムは、音場３００を生成することによって、ヘッドセットのユーザにオーディオコンテンツを提供する。オーディオシステムは、ヘッドセット（たとえば、ヘッドセット１００）の一部であり得る。音場３００は、少なくとも、音源領域３１０および３２０と、トランスデューサグループ３５０Ａおよび３５０Ｂと、センサーグループ３６０Ａおよび３６０Ｂとを含む。図４に関してさらに詳細に説明されるように、トランスデューサグループ３５０Ａおよび３５０Ｂは、トランスデューサアレイの一部であり、センサーグループは、センサーアレイの一部である。
【0050】
音場３００は、トランスデューサグループ３５０Ａ、３５０Ｂの一方または両方からのオーディオコンテンツが伝搬する領域である。音場３００は、簡単のために矩形ジオメトリを有するものとして示されていることに留意されたい。実際には、音場３００は、ユーザの頭部に対応することになる。音源領域３１０および３２０は、たとえば、ユーザの内耳、鼓膜、耳道、またはそれらの何らかの組合せを含むことになる音場３１０内の領域である。たとえば、音源領域３１０は、ユーザの右耳についての内耳に対応し得、音源領域３２０は、ユーザの左耳についての内耳に対応し得る。
【0051】
トランスデューサグループ３５０Ａ、３５０Ｂは、音場３００を生成し、それにより、オーディオコンテンツを、それぞれ、音源領域３１０および音源領域３２０に提供する。トランスデューサグループ３５０Ａ、３５０Ｂは、図２に示されているトランスデューサ２３０Ａ、２３０Ｂなど、いくつかのトランスデューサを含み得る。トランスデューサアレイは、トランスデューサグループ３５０Ａ、３５０Ｂの集合を含む。図示の実施形態では、音場３００は、音源領域３２０ではなく、音源領域３１０に提示されるように意図されている。音場３００はユーザの頭部内にあるので、組織伝導トランスデューサを介してオーディオコンテンツを提示することは、たとえば、振動を伝達するための共通媒体としてのユーザの頭骨の共有による、クロストークを生じ得ることに留意されたい。したがって、オーディオコンテンツを単一の音源領域に（たとえば、音源領域３２０にではなく、音源領域３１０に、またはその逆に）選択的に向けることは困難であり得る。図３Ａに示されているように、たとえば、音源領域３１０において、トランスデューサグループ３５０Ａが音場３００中のオーディオコンテンツを作り出した場合、音場３００は音源領域３２０にも達し、それにより、クロストークが生じる。また、簡単のために、クロストークは、音場３００が音源領域３２０と重複することとして示されている。
【0052】
センサーアレイは、音場３００中のオーディオコンテンツを監視する。センサーアレイは、センサーグループ３６０Ａ、３６０Ｂを介して、トランスデューサグループ３５０Ａおよび／またはトランスデューサグループ３５０Ｂによって作り出されたオーディオコンテンツを監視する。センサーグループ３６０Ａ、３６０Ｂは、各音源領域が、指定されたセンサーグループによって監視されるように、それぞれ、音源領域３１０および音源領域３２０と一致する。センサーグループ３６０Ａ、３６０Ｂは、各々、図２に示されているセンサー２４５など、１つまたは複数のセンサーを含む。センサーグループ３６０Ａは、音源領域３１０におけるオーディオコンテンツを監視するように構成され、センサーグループ３６０Ｂは、音源領域３２０におけるオーディオコンテンツを監視するように構成される。
【0053】
いくつかの実施形態では、トランスデューサグループは、ユーザの第１の耳の上におよび／または第１の耳の近くに配置され、別のトランスデューサグループは、ユーザの第２の耳の上におよび／または第２の耳の近くに配置される。同様に、センサーグループは第１の耳に近接して配置され、別のセンサーグループは第２の耳に近接して配置される。
【0054】
オーディオシステムのコントローラ（図示せず）が、音フィルタを生成するために、センサーグループ３６０Ａ、３６０Ｂによってキャプチャされた音データを処理する。音フィルタは、クロストークを緩和するように働くトランスデューサアレイを介して、調整されたオーディオコンテンツを提示するために使用される。これは、図３Ｂおよび図４に関して以下でさらに説明される。
【0055】
図３Ｂは、１つまたは複数の実施形態による、クロストーク緩和の後の音場３１５を示す。音場３１５は、オーディオシステムによって生成される。音場３１５は、図３Ａで説明された音場３００と実質的に同様であるが、減衰領域３７０を含むように変更された。減衰領域３７０は、トランスデューサグループ３５０Ａ、３５０Ｂ中のトランスデューサによって作り出されたクロストークの少なくとも一部を緩和するのを助ける。
【0056】
トランスデューサグループ３５０Ａおよび／またはトランスデューサグループ３５０Ｂは、コントローラ（図示せず）からの命令に従って、調整されたオーディオコンテンツを周囲で作り出す。図示の実施形態では、調整されたオーディオコンテンツは、減衰領域３７０が音場３１５中に形成されるようなものである。図３Ａに関して説明されるように、音場３００は、クロストークにより音源領域３２０に達し得る。音源領域３２０、すなわち、内耳において知覚される音を減衰させることによって、オーディオシステムは、音源領域３２０において知覚されている音を緩和し、それにより、クロストークを低減することができる。
【0057】
図示の実施形態では、音源領域３２０は、「クワイエットゾーン」として指定される。クワイエットゾーンは、減衰領域によって囲まれた音源領域である。減衰領域は、減衰領域に接する音場の部分に対してオーディオコンテンツが実質的に低減される、音場中のロケーションである。減衰領域は、音場の一部である減衰領域外の音からのしきい値レベルを下回る音響振幅を有するものとして定義され得る。いくつかの実施形態では、減衰領域に接する音場と、しきい値レベルとの間の勾配が、指数関数的に低下し得る。勾配は、特定の音場の波長または波数にひも付けられ得る。減衰領域のサイズは、受信された音の波長に基づいて決定され得、これは、ＡＴＦにおいて符号化され、音フィルタのために使用される。
【0058】
いくつかの実施形態では、減衰領域はヌルであり得る。ヌルは、振幅が基本的に０である、音場中のロケーションである。したがって、音源領域３２０は減衰領域３２０内にあるので、音源領域３２０において知覚されたオーディオコンテンツは実質的に低減され、いくつかの場合には、そのオーディオコンテンツは、ユーザの左耳によって知覚できないように十分に低い。
【0059】
図示の実施形態では、音源領域３１０は、「ブライトゾーン」として指定される。ブライトゾーンは、減衰領域内にない音場の音源領域である。いくつかの実施形態では、ブライトゾーンはまた、音場の何らかの増幅を含み得ることに留意されたい。たとえば、ブライトゾーンは、ブライトゾーンに接する音場の部分に対してオーディオコンテンツの振幅が増加されるようなものであり得る。
【0060】
コントローラは、センサーアレイによってキャプチャされたデータを使用して、トランスデューサアレイによって再生された音と、センサーアレイによって受信された音との間の関係を特徴づける１つまたは複数のＡＴＦを推定する。コントローラは、推定された１つまたは複数のＡＴＦに基づいて、音フィルタを生成する。音フィルタは、トランスデューサアレイによって作り出されたオーディオ出力を調整する。たとえば、減衰領域３７０において、音フィルタは、減じられた振幅をもつオーディオコンテンツを生じ得る。ＡＴＦを推定し、音フィルタを生成するプロセスが、図４に関してさらに詳細に説明される。コントローラは、音源領域３１０、３２０において、フィルタ処理された、およびそれにより調整されたオーディオコンテンツを提示するように、トランスデューサグループ３５０Ａ、３５０Ｂに命令する。
【0061】
クワイエットゾーンにおいて、トランスデューサグループ３５０Ｂは、フィルタ処理されたオーディオコンテンツを音源領域３２０に提示する。減衰領域３７０の近くのユーザの内耳、すなわち、音源領域３２０は、音源領域３１０の近くの、ブライトゾーンにおいて作り出された音よりも低い振幅をもつ音を知覚する。図３Ａにおいてクロストークが知覚された、音源領域３２０においてオーディオコンテンツを減衰させることは、ユーザによって聴取されるクロストークの少なくとも一部の緩和を生じる。いくつかの実施形態では、オーディオコンテンツのある部分は、音源領域３２０における内耳が知覚するように、音源３２０において作り出され得る。減衰領域３７０において減衰させる量は、音源３２０において作り出されるべきオーディオコンテンツを考慮し得る。たとえば、その内耳において知覚されるクロストークは、内耳に向けられたオーディオコンテンツが知覚できるように、減衰され得る。
【0062】
図４は、１つまたは複数の実施形態による、例示的なオーディオシステム４００のブロック図である。オーディオシステム４００は、オーディオコンテンツをユーザに提供するヘッドセット（たとえば、ヘッドセット１００）の構成要素であり得る。オーディオシステム４００は、トランスデューサアレイ４１０と、センサーアレイ４２０と、コントローラ４３０とを含む。図１～図３Ｂで説明されたオーディオシステムは、オーディオシステム４００の実施形態である。オーディオシステム４００のいくつかの実施形態は、ここで説明される構成要素以外の他の構成要素を含む。同様に、構成要素の機能は、ここで説明されるものとは異なって分散され得る。たとえば、一実施形態では、コントローラ４３０は、ヘッドセット内に組み込まれるのではなく、ヘッドセットの外部にあり得る。
【0063】
トランスデューサアレイ４１０は、オーディオコンテンツをユーザに提供する。トランスデューサアレイ４１０は、いくつかのトランスデューサグループ（たとえば、トランスデューサグループ３５０Ａ、３５０Ｂ）を含み得る。各トランスデューサグループは、オーディオコンテンツをユーザに提供するために使用され得る１つまたは複数のトランスデューサ（たとえば、トランスデューサ１２０Ａ、１２０Ｂ、１２０Ｃ、および１２０Ｄ）を含む。トランスデューサは、骨伝導トランスデューサ、軟骨伝導トランスデューサ、またはそれらの何らかの組合せなど、組織伝導トランスデューサであり得る。いくつかの実施形態では、トランスデューサは、１つまたは複数の空気トランスデューサ（すなわち、スピーカー）をも含み得ることに留意されたい。トランスデューサアレイ４１０は、周波数の総範囲上でオーディオコンテンツをユーザに提供する。たとえば、周波数の総範囲は、概して人間の聴覚の平均範囲の周りの、２０Ｈｚ～２０ｋＨｚである。トランスデューサアレイ４１０中のトランスデューサは、周波数の様々な範囲上で振動するように構成される。一実施形態では、トランスデューサアレイ４１０中の各トランスデューサは、周波数の総範囲上で動作する。別の実施形態では、１つまたは複数のトランスデューサは、低サブレンジ（たとえば、２０Ｈｚ～５００Ｈｚ）上で動作し、トランスデューサの第２のセットは、高サブレンジ（たとえば、５００Ｈｚ～２０ｋＨｚ）上で動作する。いくつかの実施形態では、周波数の様々な範囲は、部分的に重複し得る。
【0064】
トランスデューサアレイ４１０中の組織伝導トランスデューサは、コントローラ４３０によって受信された命令に従って音響圧力波を生成する。トランスデューサは、軟骨または骨など、ユーザの耳の近くの組織に結合され、音波を作り出すためにその組織を振動させる。音響圧力波は、蝸牛においてなど、ユーザの鼓膜および／または内耳によって検出される。別の実施形態では、トランスデューサは、耳の近くの組織ではなく、ユーザの顎または頭蓋骨に結合される。いくつかの実施形態では、トランスデューサアレイ４１０は、ユーザの耳の蝸牛によって知覚できる空気伝搬音響圧力波を生成するために振動する空気伝導トランスデューサを含み得る。
【0065】
センサーアレイ４２０は、トランスデューサアレイ４１０によって作り出された音を検出する。センサーアレイ４２０は、１つまたは複数のセンサーグループ（たとえば、センサーグループ３６０Ａ、３６０Ｂ）を含み得る。センサーグループは、１つまたは複数のセンサー（たとえば、センサー２４５）を含む。センサーは、たとえば、マイクロフォン、振動センサー、加速度計、またはそれらの任意の組合せであり得る。いくつかの実施形態では、センサーは、補聴器または人工内耳の構成要素であり得る。センサーアレイ４２０は、１つまたは複数のセンサーグループ中のセンサーを使用して、トランスデューサアレイ４１０によって生成されたオーディオコンテンツを監視するように構成される。センサーの数を増加させることは、トランスデューサアレイ４１０によって作り出された音場を表す情報の精度を改善し得る。各センサーは、音を検出し、検出された音を電子フォーマットに変換するように構成される。
【0066】
コントローラ４３０（たとえば、コントローラ３６５）は、オーディオシステム４００の動作を制御する。いくつかの実施形態では、コントローラ４３０は、オーディオシステム４００によって作り出されたクロストークを緩和するように構成される。コントローラ４３０は、データストア４４０と、伝達関数モジュール４５０と、最適化モジュール４６０と、音フィルタモジュール４７０とを含む。コントローラ４３０は、いくつかの実施形態では、ヘッドセット内に位置し得る。コントローラ４３０のいくつかの実施形態は、ここで説明されるものとは異なる構成要素を有する。同様に、機能は、ここで説明されるものとは異なる様式で構成要素の間で分散され得る。たとえば、コントローラのいくつかの機能が、ヘッドセットの外部で実施され得る。
【0067】
データストア４４０は、オーディオシステム４００による使用のためのデータを記憶する。データストア４４０中のデータは、ヘッドセットのローカルエリアにおいて記録された音、オーディオコンテンツ、基準信号などのプリセットオーディオコンテンツ、頭部伝達関数（ＨＲＴＦ）、１つまたは複数のセンサーおよび／またはトランスデューサのための伝達関数、センサーおよび／またはトランスデューサのためのアレイ伝達関数（ＡＴＦ）、最適化制約、音フィルタ、ユーザの頭部のためのモデル、ならびにオーディオシステム４００による使用のための関連する他のデータ、あるいはそれらの任意の組合せを含み得る。ヘッドセットのローカルエリアにおいて記録された音は、センサーアレイ４２０によって収集されたデータを含み得る。データストア４４０は、いくつかの実施形態では、コントローラ４３０がどの音源領域（たとえば、耳）をブライトゾーンおよびクワイエットゾーンとして指定するかに関するデータを含む。
【0068】
伝達関数モジュール４５０は、センサーアレイ４２０中の複数のセンサーグループによってキャプチャされたデータを使用して、アレイ伝達関数（ＡＴＦ）を推定する。センサーグループは、１つまたは複数のセンサーを含む。各センサーグループは、特定の音源領域を監視するように構成される。たとえば、一実施形態では、右耳に関連する音源領域においてオーディオコンテンツを監視するセンサーグループと、左耳に関連する音源領域においてオーディオコンテンツを監視する第２のセンサーグループとがある。
【0069】
上記で説明されたように、ＡＴＦは、トランスデューサアレイ４１０中のトランスデューサによって作り出された音と、センサーアレイ４２０中のセンサーによって受信された対応する音との間の関係を特徴づけるいくつかの伝達関数を含む。トランスデューサまたはセンサーのセットのための複数の伝達関数が、アレイ伝達関数と呼ばれる。いくつかの実施形態では、伝達関数を決定するために、固有値分解が使用される。いくつかの実施形態では、伝達関数を決定するために、特異値分解が使用される。所与のトランスデューサおよび／またはセンサーについて、センサーアレイ中のセンサーのすべてについての伝達関数の集合が、ＡＴＦと呼ばれる。ＡＴＦは、センサーアレイ４２０がトランスデューサからどのように音を受信するかを特徴づけ、トランスデューサアレイ４１０がどのように音を作り出すかを特徴づける。ＡＴＦはまた、トランスデューサのロケーションにおける音のパラメータと、センサーアレイ４２０が音を検出したパラメータとの間の関係を定義する。いくつかの実施形態では、相対伝達関数（ＲＴＦ）が、センサーアレイ４２０上の任意のセンサーによって正規化された別のタイプのＡＴＦである。ＲＴＦは、トランスデューサアレイ４１０上の任意のトランスデューサによって正規化され得る。
【0070】
最適化モジュール４６０は、トランスデューサアレイ４１０中のトランスデューサに適用されるべき１つまたは複数の音フィルタを作り出す。最適化モジュール４６０は、伝達関数モジュール４５０によって推定されたＡＴＦを入力として取り入れ、最適化アルゴリズムをＡＴＦに適用する。最適化アルゴリズムは、データストア４４０に記憶された１つまたは複数の制約を受けることがあり、それに応じて音フィルタを出力する。制約は、特に、ブライトゾーンまたはクワイエットゾーンとしての左耳の指定、ブライトゾーンまたはクワイエットゾーンとしての右耳の指定、音がユーザに伝達された伝導のタイプ（たとえば、空気、軟骨、および／または骨）、あるいはそれらの何らかの組合せを含み得る。いくつかの制約は、頭部伝達関数、ユーザの頭部のモデル、ユーザの写真、人口統計学的情報に依存する制約、またはそれらの何らかの組合せなど、ヘッドセットのユーザに関し得る。他の制約は、ユーザの組織および／または骨を通した再現された波の伝搬の方向、ユーザの組織および／または骨を通って作り出された音場の形状、あるいはそれらの何らかの組合せを含み得る。最適化アルゴリズムは、線形制約され、たとえば、線形制約最小分散（ＬＣＭＶ：ｌｉｎｅａｒｌｙ ｃｏｎｓｔｒａｉｎｅｄ ｍｉｎｉｍｕｍ ｖａｒｉａｎｃｅ）アルゴリズム、帝国主義競争アルゴリズム（ｉｍｐｅｒｉａｌｉｓｔ ｃｏｍｐｅｔｉｔｉｖｅ ａｌｇｏｒｉｔｈｍ）、または主成分分析を使用するアルゴリズムであり得る。最適化アルゴリズムは、本明細書で述べられないアルゴリズムであり得る。最適化モジュール４６０によって出力された音フィルタは、音フィルタモジュール４７０に入力される。音フィルタは、トランスデューサのうちの１つまたは複数によって提示された音響圧力波を増幅するかまたは減じ得、特定の周波数範囲を別様にターゲットにし、あるいはそれらの何らかの組合せを行い得る。音フィルタは、特に、ローパスフィルタと、ハイパスフィルタと、バンドパスフィルタとを含み得る。
【0071】
いくつかの実施形態では、最適化モジュール４６０は、１つまたは複数の音フィルタの第１のセットを生成するために、ブライトゾーンである第１の耳、およびクワイエットゾーンであるものとしての第２の耳について、最適化アルゴリズムを適用する。最適化モジュール４６０はまた、１つまたは複数の音フィルタの第２のセットを生成するために、ブライトゾーンである第２の耳、およびクワイエットゾーンであるものとしての第１の耳について、最適化アルゴリズムを適用する。上記のプロセスは、並行してまたは連続して行われ得る。
【0072】
音フィルタモジュール４７０は、トランスデューサアレイ４１０に音フィルタを提供する。トランスデューサアレイ４１０によって適用され、音フィルタは、ブライトゾーンとして指定された他方の耳にオーディオコンテンツを提供しながら、クワイエットゾーンとして指定された耳において（たとえば、ヌルであり得る）減衰された領域があるように、オーディオコンテンツを調整する。クロストークが知覚され得る領域において音を減衰させることによって、本明細書で説明されるオーディオシステム４００は、組織伝導から生じるクロストークの少なくとも一部を緩和する。
【0073】
図５は、１つまたは複数の実施形態による、組織伝導オーディオシステムにおけるクロストークを緩和するためのプロセス５００である。図５に示されているプロセスは、オーディオシステム（たとえば、オーディオシステム４００）の構成要素によって実施され得る。他のエンティティが、他の実施形態において図５中のステップの一部または全部を実施し得る。実施形態は、異なるおよび／または追加のステップを含むか、あるいは異なる順序でステップを実施し得る。
【0074】
オーディオシステム４００は、ヘッドセット（たとえば、ヘッドセット１００）を装着しているユーザの第１の耳をブライトゾーンとして、およびユーザの第２の耳をクワイエットゾーンとして指定する５１０。
【0075】
オーディオシステム４００は、トランスデューサアレイ（たとえば、トランスデューサアレイ４１０）を介してユーザの第１の耳にオーディオコンテンツを提示する５２０。オーディオコンテンツは、たとえば、音楽、ボイスなどであり得る。いくつかの実施形態では、オーディオコンテンツは基準オーディオ信号を含み得る。トランスデューサアレイは、組織伝導を介してユーザの耳の内耳にオーディオコンテンツを提示する。オーディオコンテンツは組織伝導を介して提示されるので、オーディオコンテンツの一部は、ユーザの第２の耳においても受信され得る（すなわち、クロストーク）。
【0076】
オーディオシステム４００は、１つまたは複数のセンサーを使用して、提示されたオーディオコンテンツに関するデータを監視する５３０。１つまたは複数のセンサーは、センサーアレイ（たとえば、センサーアレイ４２０）の一部であり得る。１つまたは複数のセンサーは、ユーザの他方の耳における提示されたオーディオコンテンツに関するデータをキャプチャするように構成された少なくとも１つのセンサーを含む。キャプチャされたデータは、第１の耳を対象とするが、第２の耳において検出された、オーディオコンテンツを表すデータを含む（すなわち、クロストーク）。
【0077】
オーディオシステム４００は、提示されたオーディオコンテンツに関連するアレイ伝達関数（ＡＴＦ）を推定する５４０。コントローラ（たとえば、コントローラ４３０）によって推定されたＡＴＦは、１つまたは複数のセンサーによってキャプチャされたデータを使用して（たとえば、固有値分解を介して）計算される。ＡＴＦは、トランスデューサアレイ４１０中の各トランスデューサについて計算される。
【0078】
オーディオシステム４００は、推定されたＡＴＦを使用して、トランスデューサアレイのための音フィルタを生成する５５０。オーディオシステム４００は、オーディオシステム４００のコントローラ（たとえば、コントローラ４３０）を使用して、音フィルタを生成し得る。
【0079】
オーディオシステム４００は、トランスデューサアレイを介して、音フィルタに部分的に基づいて、調整されたオーディオコンテンツを提示する５６０。調整されたオーディオコンテンツは、第１の耳における調整されたオーディオコンテンツの振幅が第２の耳においてよりも高い振幅を有するように、第２の耳における減衰領域を有する。したがって、調整されたオーディオコンテンツは、通常ならば第２の耳において発生するであろうクロストークをフィルタで除去し得る。
【0080】
上記のプロセスは、第２の耳とのクロストークを緩和する様式で、第１の耳にコンテンツを提供することについて説明されることに留意されたい。オーディオシステム４００は、第１の耳とのクロストークを緩和しながら、第２の耳にオーディオコンテンツを提供するために、同様のプロセスを実施するが、どちらの耳がブライトゾーンにあるか、およびどちらの耳がクワイエットゾーンにあるかを逆にし得る。各耳のための音フィルタは、それらの音フィルタが、調整されたオーディオコンテンツの持続時間内に生成されるように、互いに並行しておよび／または連続して生成され得る。しかしながら、各耳は、オーディオコンテンツを並行して受信する。
【0081】
人工現実システムの例
図６は、１つまたは複数の実施形態による、例示的な人工現実システム６００のブロック図である。人工現実システム６００は、ユーザに人工現実環境、たとえば、仮想現実、拡張現実、複合現実環境、またはそれらの何らかの組合せを提示する。システム６００は、その両方がコンソール６１０に結合された、ヘッドセット６０５と入出力（Ｉ／Ｏ）インターフェースとを備える。ヘッドセット６０５は、ヘッドセット１００の一実施形態であり得る。図６は、１つのヘッドセットと１つのコンソールと１つのＩ／Ｏインターフェースとをもつ例示的なシステムを示すが、他の実施形態では、任意の数のこれらの構成要素が、システム６００中に含まれ得る。
図６は、１つまたは複数の実施形態による、例示的な人工現実システム６００のブロック図である。人工現実システム６００は、ユーザに人工現実環境、たとえば、仮想現実、拡張現実、複合現実環境、またはそれらの何らかの組合せを提示する。システム６００は、その両方がコンソール６１０に結合された、ヘッドセット６０５と入出力（Ｉ／Ｏ）インターフェースとを備える。ヘッドセット６０５は、ヘッドセット１００の一実施形態であり得る。図６は、１つのヘッドセットと１つのコンソールと１つのＩ／Ｏインターフェースとをもつ例示的なシステムを示すが、他の実施形態では、任意の数のこれらの構成要素が、システム６００中に含まれ得る。
【0082】
ヘッドセット６０５は、コンピュータ生成された要素（たとえば、２次元（２Ｄ）または３次元（３Ｄ）画像、２Ｄまたは３Ｄビデオ、音など）を用いた物理的な現実世界環境の拡張ビューを備えるコンテンツをユーザに提示する。ヘッドセット６０５は、アイウェアデバイスまたはヘッドマウントディスプレイであり得る。いくつかの実施形態では、提示されるコンテンツは、オーディオシステム４００を介して提示されるオーディオコンテンツを含み、オーディオシステム４００は、ヘッドセット６０５、コンソール６１０、またはその両方からオーディオ情報（たとえば、オーディオ信号）を受信し、そのオーディオ情報に基づいてオーディオコンテンツを提示する。ヘッドセット６０５は、人工現実コンテンツをユーザに提示する。ヘッドセット６０５は、オーディオシステム４００と、深度カメラアセンブリ（ＤＣＡ）６３０と、電子ディスプレイ６３５と、光学ブロック６４０と、１つまたは複数の位置センサー６４５と、慣性測定ユニット（ＩＭＵ）６５０とを含む。いくつかの実施形態では、ヘッドセット６０５は、ここで説明されるものとは異なる構成要素を含む。さらに、様々な構成要素の機能性は、ここで説明されるものとは異なって分散され得る。
【0083】
オーディオシステム４００は、オーディオコンテンツをヘッドセット６０５のユーザに提供する。図１～図５を参照しながら上記で説明されたように、オーディオシステム４００は、トランスデューサアレイ４１０を介して、オーディオコンテンツを提示し、センサーアレイ４２０を介して、提示されたオーディオコンテンツに関するデータをキャプチャする。オーディオシステム４００は、組織伝導によって作り出されたクロストークを緩和する様式で、オーディオコンテンツを調整する音フィルタを決定する。
【0084】
ＤＣＡ６３０は、ヘッドセット６０５の一部または全部の周囲のローカル環境の深度情報を表すデータをキャプチャする。ＤＣＡ６３０は、光生成器（たとえば、構造化光および／または飛行時間についてのフラッシュ）、１つまたは複数のイメージングデバイス、ＤＣＡコントローラ、またはそれらの何らかの組合せを含み得る。光生成器は、たとえば、ＤＣＡコントローラによって生成された放射命令に従って、照明光を用いてローカルエリアを照明する。ＤＣＡコントローラは、放射命令に基づいて、たとえば、ローカルエリアを照明する照明光の強度およびパターンを調整するように、光生成器のいくつかの構成要素の動作を制御するように構成される。いくつかの実施形態では、照明光は、構造化光パターン、たとえば、ドットパターン、ラインパターンなどを含み得る。いくつかの実施形態では、照明光は、２つまたはそれ以上のイメージングデバイスを介して、アクティブステレオイメージングのための追加のテクスチャを提供するために使用され得る。
【0085】
１つまたは複数のイメージングデバイスは、各々、ローカルエリア中の１つまたは複数の物体の１つまたは複数の画像をキャプチャする。いくつかの実施形態では、複数のイメージングデバイスがあり、深度は決定されたステレオである。いくつかの実施形態では、１つまたは複数の物体は、照明光を用いて照明される。これらの事例では、ＤＣＡコントローラは、たとえば、構造化光深度処理技法、ＴｏＦ深度処理技法、アクティブステレオ深度処理技法、ステレオ深度処理技法、またはそれらの何らかの組合せを使用して、深度情報を決定し得る。ＤＣＡ６３０は、コンソール６１０などの別のデバイスに深度情報を送り得る。いくつかの実施形態では、ＤＣＡ６３０は、キャプチャされた画像をコンソール６１０に提供し得、コンソール６１０は深度情報を決定する。
【0086】
電子ディスプレイ６３５は、コンソール６１０から受信されたデータに従ってユーザに２Ｄ画像または３Ｄ画像を表示する。様々な実施形態では、電子ディスプレイ６３５は、単一の電子ディスプレイまたは複数の電子ディスプレイ（たとえば、ユーザの各眼のためのディスプレイ）を備える。電子ディスプレイ６３５の例は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、アクティブマトリックス有機発光ダイオードディスプレイ（ＡＭＯＬＥＤ）、導波路ディスプレイ、何らかの他のディスプレイ、またはそれらの何らかの組合せを含む。
【0087】
いくつかの実施形態では、光学ブロック６４０は、電子ディスプレイ６３５から受光された画像光を拡大し、画像光に関連する光学誤差を補正し、補正された画像光をヘッドセット６０５のユーザに提示する。様々な実施形態では、光学ブロック６４０は、１つまたは複数の光学要素を含む。光学ブロック６４０中に含まれる例示的な光学要素は、導波路、開口、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、反射面、または画像光に影響を及ぼす任意の他の好適な光学要素を含む。その上、光学ブロック６４０は、様々な光学要素の組合せを含み得る。いくつかの実施形態では、光学ブロック６４０中の光学要素のうちの１つまたは複数は、部分反射コーティングまたは反射防止コーティングなど、１つまたは複数のコーティングを有し得る。
【0088】
光学ブロック６４０による画像光の拡大および集束は、電子ディスプレイ６３５が、より大きいディスプレイよりも、物理的により小さくなり、重さが減じ、少ない電力を消費することを可能にする。さらに、拡大は、電子ディスプレイ６３５によって提示されるコンテンツの視野を増加させ得る。たとえば、表示されるコンテンツの視野は、表示されるコンテンツが、ユーザの視野のほとんどすべて（たとえば、対角約１１０度）、およびいくつかの場合にはすべてを使用して提示されるようなものである。さらに、いくつかの実施形態では、拡大の量は、光学要素を追加することまたは取り外すことによって調整され得る。
【0089】
いくつかの実施形態では、光学ブロック６４０は、１つまたは複数のタイプの光学誤差を補正するように設計され得る。光学誤差の例は、たる形ひずみまたは糸巻き形ひずみ、縦色収差、あるいは横色収差を含む。他のタイプの光学誤差は、球面収差、色収差、またはレンズ像面湾曲による誤差、非点収差、または任意の他のタイプの光学誤差をさらに含み得る。いくつかの実施形態では、表示のために電子ディスプレイ６３５に提供されるコンテンツは予歪され、光学ブロック６４０が、そのコンテンツに基づいて生成された画像光を電子ディスプレイ６３５から受光したとき、光学ブロック６４０はそのひずみを補正する。
【0090】
ＩＭＵ６５０は、位置センサー６４５のうちの１つまたは複数から受信された測定信号に基づいて、ヘッドセット６０５の位置を指示するデータを生成する電子デバイスである。位置センサー６４５は、ヘッドセット６０５の運動に応答して１つまたは複数の測定信号を生成する。位置センサー６４５の例は、１つまたは複数の加速度計、１つまたは複数のジャイロスコープ、１つまたは複数の磁力計、運動を検出する別の好適なタイプのセンサー、ＩＭＵ６５０の誤差補正のために使用されるタイプのセンサー、またはそれらの何らかの組合せを含む。位置センサー６４５は、ＩＭＵ６５０の外部に、ＩＭＵ６５０の内部に、またはそれらの何らかの組合せで位置し得る。１つまたは複数の実施形態では、ＩＭＵ６５０および／または位置センサー６４５は、オーディオコンテンツ４００によって提示されるオーディオコンテンツに関するデータをキャプチャするように構成された、センサーアレイ４２０中のセンサーであり得る。
【0091】
１つまたは複数の位置センサー６４５からの１つまたは複数の測定信号に基づいて、ＩＭＵ６５０は、ヘッドセット６０５の初期位置に対するヘッドセット６０５の推定現在位置を指示するデータを生成する。たとえば、位置センサー６４５は、並進運動（前／後、上／下、左／右）を測定するための複数の加速度計と、回転運動（たとえばピッチ、ヨー、およびロール）を測定するための複数のジャイロスコープとを含む。いくつかの実施形態では、ＩＭＵ６５０は、測定信号を迅速にサンプリングし、サンプリングされたデータからヘッドセット６０５の推定現在位置を計算する。たとえば、ＩＭＵ６５０は、加速度計から受信された測定信号を経時的に積分して速度ベクトルを推定し、その速度ベクトルを経時的に積分して、ヘッドセット６０５上の基準点の推定現在位置を決定する。代替的に、ＩＭＵ６５０は、サンプリングされた測定信号をコンソール６１０に提供し、コンソール６１０は、誤差を低減するようにデータを解釈する。基準点は、ヘッドセット６０５の位置を表すために使用され得る点である。基準点は、概して、アイウェアデバイス６０５の配向および位置に関係する空間中の点、または位置として定義され得る。
【0092】
Ｉ／Ｏインターフェース６５５は、ユーザがアクション要求を送り、コンソール６１０から応答を受信することを可能にするデバイスである。アクション要求は、特定のアクションを実施するための要求である。たとえば、アクション要求は、画像データまたはビデオデータのキャプチャを開始または終了するための命令、あるいはアプリケーション内で特定のアクションを実施するための命令であり得る。Ｉ／Ｏインターフェース６５５は、１つまたは複数の入力デバイスを含み得る。例示的な入力デバイスは、キーボード、マウス、ハンドコントローラ、またはアクション要求を受信し、そのアクション要求をコンソール６１０に通信するための任意の他の好適なデバイスを含む。Ｉ／Ｏインターフェース６５５によって受信されたアクション要求は、コンソール６１０に通信され、コンソール６１０は、そのアクション要求に対応するアクションを実施する。いくつかの実施形態では、Ｉ／Ｏインターフェース５１５は、上記でさらに説明されたように、Ｉ／Ｏインターフェース６５５の初期位置に対するＩ／Ｏインターフェース６５５の推定位置を指示する較正データをキャプチャするＩＭＵ６５０を含む。いくつかの実施形態では、Ｉ／Ｏインターフェース６５５は、コンソール６１０から受信された命令に従って、ユーザに触覚フィードバックを提供し得る。たとえば、アクション要求が受信されたときに触覚フィードバックが提供されるか、または、コンソール６１０がアクションを実施するときに、コンソール６１０が、Ｉ／Ｏインターフェース６５５に命令を通信して、Ｉ／Ｏインターフェース６５５が触覚フィードバックを生成することを引き起こす。Ｉ／Ｏインターフェース６５５は、オーディオコンテンツの知覚される起点方向および／または知覚される起点ロケーションを決定する際に使用するためにユーザからの１つまたは複数の入力応答を監視し得る。
【0093】
コンソール６１０は、ヘッドセット６０５とＩ／Ｏインターフェース６５５とのうちの１つまたは複数から受信された情報に従って、処理するためのコンテンツをヘッドセット６０５に提供する。図６に示されている例では、コンソール６１０は、アプリケーションストア６２０と、追跡モジュール６２５と、エンジン６１５とを含む。コンソール６１０のいくつかの実施形態は、図６に関して説明されるものとは異なるモジュールまたは構成要素を有する。同様に、以下でさらに説明される機能は、図６に関して説明されるものとは異なる様式でコンソール６１０の構成要素の間で分散され得る。
【0094】
アプリケーションストア６２０は、コンソール６１０が実行するための１つまたは複数のアプリケーションを記憶する。アプリケーションは、プロセッサによって実行されたとき、ユーザへの提示のためのコンテンツを生成する命令のグループである。アプリケーションによって生成されたコンテンツは、ヘッドセット６０５またはＩ／Ｏインターフェース６５５の移動を介してユーザから受信された入力に応答したものであり得る。アプリケーションの例は、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の好適なアプリケーションを含む。
【0095】
追跡モジュール６２５は、１つまたは複数の較正パラメータを使用してシステム環境６００を較正し、ヘッドセット６０５またはＩ／Ｏインターフェース６５５の位置を決定する際の誤差を低減するように、１つまたは複数の較正パラメータを調整し得る。また、追跡モジュール６２５によって実施される較正は、ヘッドセット６０５中のＩＭＵ６５０および／またはＩ／Ｏインターフェース６５５中に含まれるＩＭＵ６５０から受信された情報を考慮する。さらに、ヘッドセット６０５の追跡が失われた場合、追跡モジュール６２５は、システム環境６００の一部または全部を再較正し得る。
【0096】
追跡モジュール６２５は、１つまたは複数の位置センサー６４５、ＩＭＵ６５０、ＤＣＡ６３０、またはそれらの何らかの組合せからの情報を使用して、ヘッドセット６０５またはＩ／Ｏインターフェース６５５の移動を追跡する。たとえば、追跡モジュール６２５は、ヘッドセット６０５からの情報に基づいて、ローカルエリアのマッピングにおいてヘッドセット６０５の基準点の位置を決定する。追跡モジュール６２５はまた、ヘッドセット６０５の基準点の位置、またはＩ／Ｏインターフェース６５５の基準点の位置を、それぞれ、ヘッドセット６０５の位置を指示するＩＭＵ６５０からのデータを使用して、またはＩ／Ｏインターフェース６５５の位置を指示するＩ／Ｏインターフェース６５５中に含まれるＩＭＵ６５０からのデータを使用して決定し得る。さらに、いくつかの実施形態では、追跡モジュール６２５は、位置またはヘッドセット６０５を指示するＩＭＵ６５０からのデータの部分を使用して、ヘッドセット６０５の将来の位置を予測し得る。追跡モジュール６２５は、ヘッドセット６０５またはＩ／Ｏインターフェース６５５の推定または予測された将来の位置をエンジン６１５に提供する。いくつかの実施形態では、追跡モジュール６２５は、音フィルタを生成する際に使用するためにオーディオシステム４００に追跡情報を提供し得る。
エンジン６１５はまた、システム環境６００内でアプリケーションを実行し、追跡モジュール６２５から、ヘッドセット６０５の位置情報、加速度情報、速度情報、予測された将来の位置、またはそれらの何らかの組合せを受信する。受信された情報に基づいて、エンジン６１５は、ユーザへの提示のためにヘッドセット６０５に提供すべきコンテンツを決定する。たとえば、受信された情報が、ユーザが左を見ていることを指示する場合、エンジン６１５は、仮想環境において、またはローカルエリアを追加のコンテンツで拡張する環境において、ユーザの移動を反映する、ヘッドセット６０５のためのコンテンツを生成する。さらに、エンジン６１５は、Ｉ／Ｏインターフェース６５５から受信されたアクション要求に応答して、コンソール６１０上で実行しているアプリケーション内でアクションを実施し、そのアクションが実施されたというフィードバックをユーザに提供する。提供されるフィードバックは、ヘッドセット６０５を介した視覚または可聴フィードバック、あるいはＩ／Ｏインターフェース６５５を介した触覚フィードバックであり得る。
エンジン６１５はまた、システム環境６００内でアプリケーションを実行し、追跡モジュール６２５から、ヘッドセット６０５の位置情報、加速度情報、速度情報、予測された将来の位置、またはそれらの何らかの組合せを受信する。受信された情報に基づいて、エンジン６１５は、ユーザへの提示のためにヘッドセット６０５に提供すべきコンテンツを決定する。たとえば、受信された情報が、ユーザが左を見ていることを指示する場合、エンジン６１５は、仮想環境において、またはローカルエリアを追加のコンテンツで拡張する環境において、ユーザの移動を反映する、ヘッドセット６０５のためのコンテンツを生成する。さらに、エンジン６１５は、Ｉ／Ｏインターフェース６５５から受信されたアクション要求に応答して、コンソール６１０上で実行しているアプリケーション内でアクションを実施し、そのアクションが実施されたというフィードバックをユーザに提供する。提供されるフィードバックは、ヘッドセット６０５を介した視覚または可聴フィードバック、あるいはＩ／Ｏインターフェース６５５を介した触覚フィードバックであり得る。
【0097】
追加の構成情報
本開示の実施形態の上記の説明は、説明の目的で提示されており、網羅的であること、または開示される正確な形態に本開示を限定することは意図されない。当業者は、上記の開示に照らして多くの修正および変形が可能であることを諒解することができる。
本開示の実施形態の上記の説明は、説明の目的で提示されており、網羅的であること、または開示される正確な形態に本開示を限定することは意図されない。当業者は、上記の開示に照らして多くの修正および変形が可能であることを諒解することができる。
【0098】
本明細書のいくつかの部分は、情報に関する動作のアルゴリズムおよび記号表現に関して本開示の実施形態について説明する。これらのアルゴリズム説明および表現は、データ処理技術分野の当業者が、他の当業者に自身の仕事の本質を効果的に伝えるために通常使用される。これらの動作は、機能的に、計算量的に、または論理的に説明されるが、製造プロセスに関して、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実装されることが理解される。さらに、一般性の喪失なしに、動作のこれらの仕組みをモジュールと呼ぶことが時々好都合であることも証明された。説明される動作およびそれらの関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組合せにおいて具現され得る。
【0099】
本明細書で説明されるステップ、動作、またはプロセスのいずれも、１つまたは複数のハードウェアまたはソフトウェアモジュールで、単独でまたは他のデバイスとの組合せで実施または実装され得る。一実施形態では、ソフトウェアモジュールは、コンピュータプログラムコードを含んでいるコンピュータ可読媒体を備えるコンピュータプログラム製品で実装され、コンピュータプログラムコードは、（たとえば、製造プロセスに関して）説明されるステップ、動作、またはプロセスのいずれかまたはすべてを実施するためにコンピュータプロセッサによって実行され得る。
【0100】
本開示の実施形態はまた、本明細書の動作を実施するための装置に関し得る。この装置は、必要とされる目的のために特別に構築され得、および／あるいは、この装置は、コンピュータに記憶されたコンピュータプログラムによって選択的にアクティブ化または再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、非一時的有形コンピュータ可読記憶媒体、または電子命令を記憶するのに好適な任意のタイプの媒体に記憶され得、それらの媒体はコンピュータシステムバスに結合され得る。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含み得るか、または増加された算出能力のために複数のプロセッサ設計を採用するアーキテクチャであり得る。
【0101】
最終的に、本明細書において使用される言い回しは、主に読みやすさおよび教育目的で選択されており、本明細書において使用される言い回しは、本発明の主題を定めるかまたは制限するように選択されていないことがある。したがって、本開示の範囲はこの詳細な説明によって限定されるのではなく、むしろ、本明細書に基づく出願に関して生じる請求項によって限定されることが意図される。したがって、実施形態の開示は、以下の特許請求の範囲に記載される本開示の範囲を例示するものであり、限定するものではない。
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【国際調査報告】