(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-10-07
(54)【発明の名称】ヒアスルーオーディオシステムのためのイヤプラグアセンブリ
(51)【国際特許分類】
H04R 1/10 20060101AFI20220930BHJP
H04R 25/02 20060101ALI20220930BHJP
H04R 3/00 20060101ALI20220930BHJP
H04R 25/00 20060101ALI20220930BHJP
G02B 27/02 20060101ALN20220930BHJP
【FI】
H04R1/10 104B
H04R25/02 C
H04R3/00 320
H04R25/00 L
G02B27/02 Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021571316
(86)(22)【出願日】2020-07-28
(85)【翻訳文提出日】2022-01-28
(86)【国際出願番号】 US2020043922
(87)【国際公開番号】W WO2021030050
(87)【国際公開日】2021-02-18
(32)【優先日】2019-08-09
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】515046968
【氏名又は名称】メタ プラットフォームズ テクノロジーズ, リミテッド ライアビリティ カンパニー
【氏名又は名称原語表記】META PLATFORMS TECHNOLOGIES, LLC
(74)【代理人】
【識別番号】110002974
【氏名又は名称】弁理士法人World IP
(72)【発明者】
【氏名】カレギメーボディ, モルテザ
(72)【発明者】
【氏名】ファウンデス ホフマン, パブロ フランシスコ
(72)【発明者】
【氏名】大石 哲郎
(72)【発明者】
【氏名】ング, アラン
(72)【発明者】
【氏名】ユー, ゴンキアン
(72)【発明者】
【氏名】ミラー, アントニオ ジョン
(72)【発明者】
【氏名】チャオ, チュミング
【テーマコード(参考)】
2H199
5D220
【Fターム(参考)】
2H199CA04
2H199CA42
2H199CA43
2H199CA91
2H199CA92
2H199CA93
5D220BC01
(57)【要約】
イヤプラグアセンブリが、オーディオコンテンツをユーザの耳道に提示する。オーディオコンテンツは、ユーザの周囲のローカルエリア中の音に部分的に基づき得る。イヤプラグアセンブリは、1つまたは複数の音響センサーを介して、ユーザの周りのエリア中の音を検出する。音波は、イヤプラグアセンブリの本体中の開口を通って進み、1つまたは複数の音響センサーへの導波路に伝搬される。イヤプラグアセンブリは、検出された音データをコントローラにおいて処理し、コントローラは、検出された音データに部分的に基づいてオーディオコンテンツを提示するようにスピーカーアセンブリに命令する。検出された音は、スピーカーアセンブリによって提示されたとき、増幅、減衰、フィルタ処理、および/または拡張され得る。
【選択図】
図1
【特許請求の範囲】
【請求項1】
ユーザの耳道の内部に少なくとも部分的にフィットするように構成された本体であって、前記本体が、前記耳道の入口に近接して位置する開口を有するように構成され、前記開口が、前記ユーザの周囲のローカルエリアからの音を前記本体内の領域に誘導する音響導波路への入口である、本体と、
前記本体内の前記領域内に位置する音響センサーであって、前記音響センサーが、前記ローカルエリアからの音を検出するように構成された、音響センサーと、
前記本体の部分に結合されたスピーカーであって、前記スピーカーが、前記ローカルエリアから検出された前記音に部分的に基づいて前記耳道内でオーディオコンテンツを提示するように構成された、スピーカーと
を備える、イヤプラグアセンブリ。
【請求項2】
前記本体が、前記耳道の形状にフィットし、前記耳道に接して密閉する可撓性カバー内に部分的に囲まれた、請求項1に記載のイヤプラグアセンブリ。
【請求項3】
前記開口がマイクロフォンと前記スピーカーとの間に配置され、前記スピーカーに結合された前記本体の前記部分が、前記耳道内にあるように構成された、請求項1または2に記載のイヤプラグアセンブリ。
【請求項4】
前記開口が第1の側と第2の側とを含み、前記本体の中心軸に対して測定された前記第1の側と前記第2の側との間の角度が少なくとも280度である、請求項1から3のいずれか一項に記載のイヤプラグアセンブリ。
【請求項5】
前記本体が追加の開口をさらに備え、前記追加の開口が前記音響導波路への追加の入口である、請求項1から4のいずれか一項に記載のイヤプラグアセンブリ。
【請求項6】
前記ローカルエリアからの音を受信する追加の音響センサーをさらに備え、前記音響センサーが前記本体の表面上に配置された、請求項1から5のいずれか一項に記載のイヤプラグアセンブリ。
【請求項7】
前記耳道内にフィットするように構成された前記本体の領域内に位置する追加の音響センサーをさらに備え、好ましくは、前記追加の音響センサーが、前記本体の表面に沿った開口に隣接して位置し、前記開口が、前記耳道内にフィットするように構成された前記本体の前記領域中に位置する、請求項1から6のいずれか一項に記載のイヤプラグアセンブリ。
【請求項8】
音が、前記耳道内にフィットするように構成された前記本体の前記領域中に位置する前記開口を通って前記音響導波路に伝搬し、前記音が前記ユーザの内耳に提示される、請求項1から7のいずれか一項に記載のイヤプラグアセンブリ。
【請求項9】
前記本体が第1の部分および第2の部分から構成され、前記第1の部分が、前記ユーザの前記耳道の内部に少なくとも部分的にフィットするように構成され、前記第2の部分が、前記耳道の外部に位置するように構成され、前記イヤプラグアセンブリは、
前記本体の前記第2の部分内に位置する追加の音響センサーと、
前記本体の前記第1の部分と前記第2の部分の両方の内に位置する追加の音響導波路であって、前記耳道内の音が、前記追加の音響導波路を通って前記追加の音響センサーに伝搬する、追加の音響導波路と
をさらに備える、請求項1から8のいずれか一項に記載のイヤプラグアセンブリ。
【請求項10】
前記スピーカーが前記本体の表面上に配置された、請求項1から9のいずれか一項に記載のイヤプラグアセンブリ。
【請求項11】
前記スピーカーを前記本体の前記表面に沿った開口に結合する導波路をさらに備え、前記スピーカーからの前記音が、前記導波路を通って伝搬し、前記開口を出て前記耳道に入り、好ましくは、前記開口が、前記耳道内にフィットするように構成された前記本体の部分中に位置する、請求項1から10のいずれか一項に記載のイヤプラグアセンブリ。
【請求項12】
どんなオーディオコンテンツが前記スピーカーによって提示されるかを制御するように構成されたコントローラをさらに備える、請求項1から11のいずれか一項に記載のイヤプラグアセンブリ。
【請求項13】
イヤプラグアセンブリを介してユーザの周囲のローカルエリアからの音を検出することと、
前記ローカルエリアから検出された前記音を使用して音フィルタを生成することと、
前記イヤプラグアセンブリを介して、前記音フィルタに部分的に基づいて調整されたオーディオコンテンツを前記ユーザの耳道に提示することと
を含む方法であって、前記イヤプラグアセンブリは、
前記ユーザの前記耳道の内部に少なくとも部分的にフィットするように構成された本体であって、前記本体が、前記耳道の入口に近接して位置する開口を有するように構成され、前記開口が、前記ローカルエリアからの音を前記本体内の領域に誘導する音響導波路への入口である、本体と、
前記本体内の前記領域内に位置する音響センサーであって、前記音響センサーが前記ローカルエリアからの前記音を検出するように構成された、音響センサーと、
前記本体の部分に結合されたスピーカーであって、前記スピーカーが、前記ローカルエリアから検出された前記音に部分的に基づいて前記耳道内で前記調整されたオーディオコンテンツを提示するように構成された、スピーカーと
を備える、方法。
【請求項14】
前記本体が、前記耳道の形状にフィットし、前記耳道に接して密閉する可撓性カバー内に部分的に囲まれ、および/または、好ましくは、前記開口がマイクロフォンと前記耳道の前記入口との間に配置され、および/または、好ましくは、前記開口が第1の側と第2の側とを含み、前記本体の中心軸に対して測定された前記第1の側と前記第2の側との間の角度が少なくとも280度であり、および/または、好ましくは、前記本体が追加の開口をさらに備え、前記追加の開口が前記音響導波路への追加の入口である、請求項13に記載の方法。
【請求項15】
音が、前記耳道内にフィットするように構成された前記本体の領域中に位置する前記開口を通って前記音響導波路に伝搬し、前記音が前記ユーザの内耳に提示される、請求項13または14に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、ヘッドセットにおけるオーディオシステムに関し、詳細には、ヒアスルーオーディオシステムにおけるイヤプラグアセンブリに関する。
【背景技術】
【0002】
ヘッドセットは、しばしば、ヘッドセットのユーザにオーディオコンテンツを提供するためのオーディオシステムなどの特徴を含む。従来、ヘッドセットのユーザは、コンピュータ生成された音を受信するかまたは場合によっては体験するためにヘッドフォンを装着する。しかしながら、ヘッドフォンを装着することは、現実世界の環境からの音を抑制し、これは、ユーザを予想外の危険にさらし、また、ユーザを環境から非意図的に切り離し得る。
【発明の概要】
【0003】
イヤプラグアセンブリが、改善されたオーディオコンテンツをユーザに提示するように構成されたインイヤデバイスである。イヤプラグアセンブリは、ユーザの耳道の内部に少なくとも部分的にフィットするように構成される。イヤプラグアセンブリは、本体と、1つまたは複数の開口と、1つまたは複数の音響センサーと、スピーカーとを含む。1つまたは複数の開口のうちの少なくとも1つは、ユーザがイヤプラグアセンブリを装着している間、耳道への入口に位置するか、または耳道への入口に実質的に近接して位置する。耳道の入口にあるかまたは耳道の入口に実質的に近接している開口のロケーションは、空間キューを維持するのを助ける。1つまたは複数の開口は、ユーザの周りのローカルエリアからの音を本体内に位置する1つまたは複数の音響センサーに誘導する1つまたは複数の音響導波路への入口である。1つまたは複数の音響センサーは、音を検出する。1つまたは複数のスピーカーは、本体の部分に結合され、検出された音に基づいて、ユーザの耳道内でオーディオコンテンツを提示する。
【0004】
本発明の第1の態様によれば、ユーザの耳道の内部に少なくとも部分的にフィットするように構成された本体であって、本体が、耳道の入口に近接して位置する開口を有するように構成され、開口が、ユーザの周囲のローカルエリアからの音を本体内の領域に誘導する音響導波路への入口である、本体と、本体内の領域内に位置する音響センサーであって、音響センサーが、ローカルエリアからの音を検出するように構成された、音響センサーと、本体の部分に結合されたスピーカーであって、スピーカーが、ローカルエリアから検出された音に部分的に基づいて耳道内でオーディオコンテンツを提示するように構成された、スピーカーとを備える、イヤプラグアセンブリが提供される。
【0005】
いくつかの実施形態では、本体は、耳道の形状にフィットし、耳道に接して密閉する(seal)可撓性カバー内に部分的に囲まれる。
【0006】
いくつかの実施形態では、開口はマイクロフォンとスピーカーとの間に配置され、スピーカーに結合された本体の部分は、耳道内にあるように構成される。
【0007】
いくつかの実施形態では、開口は第1の側と第2の側とを含み、本体の中心軸に対して測定された第1の側と第2の側との間の角度が少なくとも280度である。
【0008】
いくつかの実施形態では、本体は追加の開口をさらに備え、追加の開口は音響導波路への追加の入口である。
【0009】
いくつかの実施形態では、本アセンブリは、ローカルエリアからの音を受信する追加の音響センサーをさらに備え、音響センサーは本体の表面上に配置される。
【0010】
いくつかの実施形態では、本アセンブリは、耳道内にフィットするように構成された本体の領域内に位置する追加の音響センサーをさらに備える。
【0011】
いくつかの実施形態では、追加の音響センサーは、本体の表面に沿った開口に隣接して位置し、開口は、耳道内にフィットするように構成された本体の領域中に位置する。
【0012】
いくつかの実施形態では、音は、耳道内にフィットするように構成された本体の領域中に位置する開口を通って音響導波路に伝搬し、音はユーザの内耳に提示される。
【0013】
いくつかの実施形態では、本体は第1の部分および第2の部分から構成され、第1の部分は、ユーザの耳道の内部に少なくとも部分的にフィットするように構成され、第2の部分は、耳道の外部に位置するように構成され、イヤプラグアセンブリは、本体の第2の部分内に位置する追加の音響センサーと、本体の第1の部分と第2の部分の両方の内に位置する追加の音響導波路であって、耳道内の音が、追加の音響導波路を通って追加の音響センサーに伝搬する、追加の音響導波路とをさらに備える。
【0014】
いくつかの実施形態では、スピーカーは本体の表面上に配置される。
【0015】
いくつかの実施形態では、本アセンブリは、スピーカーを本体の表面に沿った開口に結合する導波路をさらに備え、スピーカーからの音は、導波路を通って伝搬し、開口を出て耳道に入る。
【0016】
いくつかの実施形態では、開口は、耳道内にフィットするように構成された本体の部分中に位置する。
【0017】
いくつかの実施形態では、本アセンブリは、どんなオーディオコンテンツがスピーカーによって提示されるかを制御するように構成されたコントローラをさらに備える。
【0018】
いくつかの実施形態では、イヤプラグアセンブリを介して、調整されたオーディオコンテンツを提示するための方法が開示される。本方法は、イヤプラグアセンブリを介してユーザの周囲のエリアからの音を検出することと、ローカルエリアから検出された音を使用して音フィルタを生成することと、イヤプラグアセンブリを介して、音フィルタに部分的に基づいて調整されたオーディオコンテンツをユーザの耳道に提示することとを含む。
【0019】
本発明の第2の態様によれば、イヤプラグアセンブリを介してユーザの周囲のローカルエリアからの音を検出することと、ローカルエリアから検出された音を使用して音フィルタを生成することと、イヤプラグアセンブリを介して、音フィルタに部分的に基づいて調整されたオーディオコンテンツをユーザの耳道に提示することとを含む方法が提供され、イヤプラグアセンブリは、ユーザの耳道の内部に少なくとも部分的にフィットするように構成された本体であって、本体が、耳道の入口に近接して位置する開口を有するように構成され、開口が、ローカルエリアからの音を本体内の領域に誘導する音響導波路への入口である、本体と、本体内の領域内に位置する音響センサーであって、音響センサーが、ローカルエリアからの音を検出するように構成された、音響センサーと、本体の部分に結合されたスピーカーであって、スピーカーが、ローカルエリアから検出された音に部分的に基づいて耳道内で調整されたオーディオコンテンツを提示するように構成された、スピーカーとを備える。
【0020】
いくつかの実施形態では、本体は、耳道の形状にフィットし、耳道に接して密閉する可撓性カバー内に部分的に囲まれる。
【0021】
いくつかの実施形態では、開口はマイクロフォンと耳道の入口との間に配置される。
【0022】
いくつかの実施形態では、開口は第1の側と第2の側とを含み、本体の中心軸に対して測定された第1の側と第2の側との間の角度が少なくとも280度である。
【0023】
いくつかの実施形態では、本体は追加の開口をさらに備え、追加の開口は音響導波路への追加の入口である。
【0024】
いくつかの実施形態では、音は、耳道内にフィットするように構成された本体の領域中に位置する開口を通って音響導波路に伝搬し、音はユーザの内耳に提示される。
【0025】
本発明の1つまたは複数の態様または実施形態への組込みに好適であるものとして本明細書で説明される任意の特徴は、本開示の任意のおよびすべての態様および実施形態にわたって一般化可能であるものとすることが諒解されよう。
【図面の簡単な説明】
【0026】
【
図1】1つまたは複数の実施形態による、ユーザの耳道内のイヤプラグアセンブリの断面図である。
【
図2A】1つまたは複数の実施形態による、イヤプラグアセンブリの斜視図である。
【
図2B】1つまたは複数の実施形態による、
図2Aのイヤプラグアセンブリの断面側面図である。
【
図2C】1つまたは複数の実施形態による、
図2Aのイヤプラグアセンブリのトップダウン断面図である。
【
図2D】1つまたは複数の実施形態による、内部音響センサーが外部音響センサーに隣接して配置されたイヤプラグアセンブリの別の実施形態の断面側面図である。
【
図2E】1つまたは複数の実施形態による、スピーカー前面キャップとノズルとをもつイヤプラグアセンブリの別の実施形態の断面側面図である。
【
図3】1つまたは複数の実施形態による、イヤプラグアセンブリのブロック図である。
【
図4A】1つまたは複数の実施形態による、アイウェアデバイスとして実装されるヘッドセットの斜視図である。
【
図4B】1つまたは複数の実施形態による、ヘッドマウントディスプレイとして実装されるヘッドセットの斜視図である。
【
図5】1つまたは複数の実施形態による、イヤプラグアセンブリを含む例示的な人工現実システム環境のブロック図である。
【発明を実施するための形態】
【0027】
図は、単に例示の目的で様々な実施形態を示す。本明細書で説明される原理から逸脱することなく、本明細書で示される構造および方法の代替実施形態が採用され得ることを、当業者は以下の説明から容易に認識されよう。
【0028】
イヤプラグアセンブリは、ヒアスルーオーディオシステムとして機能することによってオーディオコンテンツをユーザに提示する。イヤプラグアセンブリは、ユーザの周囲のローカルエリアからの音を検出し、それらをユーザに再ブロードキャストする。
【0029】
イヤプラグアセンブリは、本体に結合され得るいくつかの構成要素を備える。本体に加えて、イヤプラグアセンブリは、構成要素の中でも、1つまたは複数の音響センサーと、スピーカーと、導波路とを備える。イヤプラグアセンブリは、コントローラと電力アセンブリとをも含む。イヤプラグアセンブリは、ユーザの耳道の内部に少なくとも部分的にフィットするように構成される。本体は、ユーザの耳道に隣接して位置するか、またはユーザの耳道の近くに位置し、遮られていない開口を有するように構成され、それにより、ローカルエリアからの音は、開口を通過して音響導波路に入る。音響導波路は、音を本体内の音響センサーに誘導し、音響センサーはローカルエリアからの音を検出する。音はコントローラによって処理され、コントローラは、オーディオコンテンツをユーザの耳道にブロードキャストするようにスピーカーに命令する。オーディオコンテンツは、ローカルエリアから検出された音に部分的に基づき得る。いくつかの実施形態では、コントローラは、フィルタ処理されたおよび/または拡張されたオーディオコンテンツを耳道に提示するようにスピーカーに命令し得る。
【0030】
イヤプラグアセンブリは、モノーラル(monoaural)空間キューおよびバイノーラル空間キューを維持するオーディオシステムとして機能する。イヤプラグアセンブリは、ユーザの耳道に近接して配置された、ポート付き音響センサーを介して空間キューを維持する。雑音はマイクロフォンについてのサイズに反比例してスケーリングすることに留意されたい。イヤプラグアセンブリは、従来のヒアスルーシステム中の音響センサーよりも大きい音響センサーのための十分な空間をも含み、それにより、より少ない雑音が生成され、ユーザによって知覚される。従来のヒアスルーシステムとは対照的に、いくつかの実施形態では、イヤプラグアセンブリは、ユーザの耳道に近い本体の部分内に配置された1つまたは複数の内部音響センサーをも含む。イヤプラグアセンブリの小さいフォームファクタが、ユーザについて維持されたモノーラル空間キューおよびバイノーラル空間キューの帯域幅を増加させる。ローカルエリアからの音は、ユーザに再ブロードキャストされたとき、増幅、減衰、拡張、および/またはフィルタ処理され得る。
【0031】
本発明の実施形態は、人工現実システムを含むか、または人工現実システムに関連して実装され得る。人工現実は、ユーザへの提示の前に何らかの様式で調整された形式の現実であり、これは、たとえば、仮想現実(VR)、拡張現実(AR)、複合現実(MR)、ハイブリッド現実、あるいはそれらの何らかの組合せおよび/または派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされた(たとえば、現実世界の)コンテンツと組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る(観察者に3次元効果をもたらすステレオビデオなど)。さらに、いくつかの実施形態では、人工現実は、たとえば、人工現実におけるコンテンツを作成するために使用される、および/または人工現実において別様に使用される(たとえば、人工現実におけるアクティビティを実施する)アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せにも関連付けられ得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドセット(たとえば、ヘッドマウントディスプレイ(HMD)および/またはニアアイディスプレイ(NED))、独立型ヘッドセット、モバイルデバイスまたはコンピューティングシステム、あるいは、1人または複数の観察者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。
【0032】
システムの全体像
図1は、1つまたは複数の実施形態による、ユーザの耳道110内のイヤプラグアセンブリ105の断面
図100である。イヤプラグアセンブリ105は、ユーザの周りのローカルエリアからの音を検出し、ローカルエリアからの音に部分的に基づいてオーディオコンテンツをユーザに提示する。断面
図100は、耳道110、鼓膜115、および耳介120を含む、ユーザの耳の構成要素を含む。イヤプラグアセンブリ105は、本体125と、可撓性カバー130と、開口135と、外部音響センサー140と、スピーカー150と、コントローラ155と、電力アセンブリ160とを含む。いくつかの実施形態では、イヤプラグアセンブリ105は、内部音響センサー145を含む。イヤプラグアセンブリ105の一部分は、ユーザの耳の耳道110内にフィットし、それにより、スピーカー150は、耳道110内のオーディオコンテンツを鼓膜115に提示することが可能である。
【0033】
本体125は、イヤプラグアセンブリのいくつかの他の構成要素に結合する。本体125は、耳道110内に少なくとも部分的にフィットするように構成され、外部音響センサー140、スピーカー150、およびいくつかの実施形態では内部音響センサー145に結合する。本体125の少なくとも一部分はユーザの耳の耳道110内にフィットし、本体125の残りの部分は閉塞されていない(unoccluded)。いくつかの実施形態では、ユーザの耳の耳道110内にフィットする本体125の部分は、ノズルのような形であり得る。ノズルは、特に高周波音の場合、ユーザに提示される音の品質を改善する。ノズルはまた、可撓性カバー130に結合し、ユーザの耳により良くフィットするための可撓性カバー130のカスタマイゼーションを可能にし得る。本体125は、音を減衰させる1つまたは複数の材料から形成され得、これは、ユーザがスピーカーによって作り出されたオーディオコンテンツをより良く聞くことが可能であることを保証する。たとえば、本体125は、フォーム、シリコーン、プラスチック、ゴム、またはそれらの何らかの組合せから構成され得る。本体125は、中心軸を中心として回転対称であり得る。
図1では、本体125は、丸い端部をもつ実質的に円筒形であるが、他の実施形態では、本体は他の幾何学的形状のものであり得る。
【0034】
本体125は、可撓性カバー130によって部分的に囲まれ得る。可撓性カバー130は、耳道110内でスピーカー150によって提示されるオーディオコンテンツの漏れを防ぐ。可撓性カバー130は、耳道110内にフィットする本体125の部分を密閉し、耳道の形状にフィットする。可撓性カバー130は、フォーム、シリコーン、またはそれらの何らかの組合せなど、何らかの遮音材料から構成され得る。可撓性カバー130は、一般的なイヤプラグに似ている形態を有し得る。いくつかの実施形態では、可撓性カバー130は、ユーザの耳道の形状についてカスタマイズされ、それにより、外部の大きい雑音など、不要な音の減衰を向上させ得る。カスタマイズされた可撓性カバー130は、ユーザの耳内のイヤプラグアセンブリのフィットおよび安定性を改善し得る。いくつかの実施形態では、可撓性カバー130の一部分は、アルミニウム、鋼、またはそれらの何らかの組合せなど、金属から構成され得る。より重い可撓性カバー130は、背景雑音を低減し、ユーザの耳の鼓膜115に与えられる信号対雑音比を増加させることによって、不要な音の減衰の改善を生じる。したがって、より重い可撓性カバー130は、ユーザに提示される音の品質を改善し、より納得のいくヒアスルー体験を与える。
【0035】
開口135は、本体内の音響導波路への入口である。音響導波路(
図1に図示せず)は、ローカルエリアからの音を外部音響センサー140に誘導する。開口135は、耳道の入口に近接して配置され、開口135の少なくとも一部分は遮られない。たとえば、開口135は、本体125の閉塞されていない部分中に配置され得、それにより、それは、開口135によって示されるように、外部音響センサー140と耳道の入口との間にある。開口135は本体125の表面上に位置する。開口135は、本体125の表面上に第1の側および第2の側を有し、そのような第1の側は、本体125の中心軸に対して第2の側から少なくとも280度離れている。いくつかの実施形態では、本体125は、開口135と同様の複数の開口を含み得、各々が少なくとも1つの音響導波路への追加の入口として働く。
【0036】
外部音響センサー140は、ローカルエリアからの音を監視し、検出する。外部音響センサー140は、開口135に近接した、イヤプラグアセンブリの本体125の閉塞されていない部分内に配置される。したがって、ローカルエリアからの音は、開口135を通過し、音響導波路を通って外部音響センサー140に伝搬する。外部音響センサー140は、たとえば、マイクロフォン、加速度計、他の音響センサー、またはそれらの何らかの組合せを含み得る。いくつかの実施形態では、本体125は複数の音響センサーを含み、そのうちの少なくとも1つは本体125の表面上に置かれ得る。外部音響センサー140は、マイクロフォン、加速度計、または音響圧力波を検出する別のセンサーであり得る。外部音響センサー140は、外部音響センサー140が検出した音響データをイヤプラグアセンブリ105のコントローラ155に伝達し得る。
【0037】
いくつかの実施形態では、本体125は内部音響センサー145を含み、内部音響センサー145は、ローカルエリアからの音と、組織伝導を介して伝達された音とを検出する。たとえば、イヤプラグアセンブリ105に加えて、ユーザは、組織伝導を介してオーディオコンテンツを提供するオーディオシステムをもつヘッドセットを装着していることがある。したがって、内部音響センサー145は、ユーザの頭蓋骨の近くの組織への振動によって生成された音響コンテンツを検出し得る。内部音響センサー145は、ユーザ自身の音声をも検出し得る。ユーザ自身の音声は、イヤプラグアセンブリ105による耳道110の閉塞により増幅され得る。内部音響センサー145は、マイクロフォン、加速度計、または音響圧力波を検出する別のセンサーであり得る。
【0038】
外部音響センサー140および内部音響センサー145に加えて、イヤプラグアセンブリ105は、オーディオデータを測定すること以外の用途のために指定された複数のセンサー、ならびに/または本明細書で説明される外部音響センサー140および内部音響センサー145と実質的に同様の複数の音響センサーを含み得る。たとえば、イヤプラグアセンブリ105内の他のセンサーは、初期測定ユニット(IMU)、ジャイロスコープ、位置センサー、またはそれらの組合せを含み得る。
【0039】
スピーカー150は、コントローラ155によって受信された命令に従って、ユーザの耳道110内でオーディオコンテンツを提示する。スピーカー150は、外部音響センサー140によって検出されたユーザの周りのローカルエリアからの音に部分的に基づいて、オーディオコンテンツを提示し得る。いくつかの実施形態では、スピーカー150は、内部音響センサー145によって検出された音、すなわち、組織伝導を介して伝達された音に部分的に基づいて、オーディオコンテンツを提示し得る。いくつかの実施形態では、コントローラ155は、ユーザのローカルエリアから検出された音を増幅、減衰、拡張、および/またはフィルタ処理するようにスピーカー150に命令し得る。たとえば、スピーカー150は、VRおよびARヘッドセットにおいて使用するために、拡張されたオーディオコンテンツをユーザに提示し得る。スピーカー150は、耳道110内でオーディオコンテンツを提示し、それにより、音は、鼓膜115を振動させ、ユーザの耳の中耳の耳小骨連鎖を通過してユーザの内耳の蝸牛に至る。ユーザの蝸牛は、振動をオーディオコンテンツとして知覚する。スピーカー150は、空気伝導を介してオーディオコンテンツを提示し得る。空気伝導では、スピーカー150は、空気伝搬(airborne)音響圧力波を作成し、それらをユーザの鼓膜に送り、これは振動し、ユーザの蝸牛によって検出される。組織伝導は、骨または軟骨など、ユーザの耳の中のおよび/またはユーザの耳の近くの組織を振動させ、蝸牛によって検出される組織伝搬(tissue borne)音響圧力波を生成することを伴う。
【0040】
スピーカー150は、ユーザの耳の鼓膜115に近接して、本体125内に位置する。スピーカー150は、本体125の部分に結合され得る。結合は、スピーカー150と本体125との間の間接的および/または直接的接触があるようなものであり得る。いくつかの実施形態では、スピーカーは、イヤプラグアセンブリの本体125の表面上に配置される。
【0041】
コントローラ155は、外部音響センサー140および内部音響センサー145など、イヤプラグアセンブリ105内の音響センサーによって検出された音データを受信し、処理する。コントローラ155は、ユーザの耳道110内にフィットするように構成された本体125の部分内など、本体125内に配置され得る。電力アセンブリ160は、たとえば、バッテリーを介して、イヤプラグアセンブリ105中のセンサーおよびスピーカーに電力供給し得る。イヤプラグアセンブリは、他の電子的構成要素(
図1に図示せず)を含み得る。
【0042】
コントローラ155は、外部音響センサー140によって検出されたローカルエリアからの音と、内部音響センサー145によって検出された、組織伝導を介して伝達された音とに部分的に基づいて、オーディオコンテンツを提示するように、スピーカー150に命令し得る。たとえば、コントローラ155はローカルエリアからの音を増幅し得、これにより、スピーカー150がユーザの耳道内でローカルエリアからのより大きい音を提示する。別の実施形態では、コントローラ155は、大きい帯域幅からローカルエリアからの音を提示するようにスピーカー150に命令し得、これは、ユーザが聞くことが可能である周波数の範囲の増加を生じる。人工現実アプリケーションにおいて使用するために、コントローラ155は、ローカルエリアから検出された音を拡張するための音フィルタを含み得る。たとえば、音フィルタは、ユーザに提示されている仮想オブジェクトから音が発生するように思われるように音を空間化しながら、また、ユーザのローカルエリアからの音を再ブロードキャストするために使用され得る。コントローラ155はまた、内部音響センサー145によって検出された音を減衰させ得る。たとえば、内部音響センサー145は、増幅されているユーザの音声の音を、それらのスピーチ(speech)からの音響圧力波がユーザの組織および/または骨を通って伝達されるとき、検出し得る。ユーザの音声は、イヤプラグアセンブリ105がユーザの耳道110を閉塞することにより、増幅され得る。コントローラ155は、その後、オーディオコンテンツを提示するときにユーザ自身の音声の音を減衰させるようにスピーカー150に命令し得る。したがって、ユーザは、より明快におよびより自然にユーザ自身の音声を知覚しながら、提示されたオーディオコンテンツをも知覚し得る。別の実施形態では、コントローラ155は、周波数の範囲内に入るローカルエリアから検出された音を増幅および/または減衰させ得る。たとえば、駅の近くの雑音の多い環境において、スピーカー150は、オーディオコンテンツをユーザの耳道に提示するときに高周波汽笛を減衰させ得る。
【0043】
電力アセンブリ160は、イヤプラグアセンブリ105に電力を提供する。電力は、イヤプラグアセンブリ105中のコントローラ155、外部音響センサー140、内部音響センサー145、およびスピーカー150に電力供給するために使用され得る。電力アセンブリ160は、たとえば、バッテリーであり得る。いくつかの実施形態では、イヤプラグアセンブリ105の構成要素の一部または全部について1つまたは複数の電力アセンブリ165がある。いくつかの場合には、電力アセンブリ160は充電式バッテリーである。
【0044】
図2Aは、1つまたは複数の実施形態による、イヤプラグアセンブリ105の斜視
図200である。斜視
図200は、本体225が本体125に、開口235が開口135に、外部音響センサー240が外部音響センサー140に、スピーカー250がスピーカー150に、内部音響センサー245が内部音響センサー145に、コントローラ255がコントローラ155に、電力アセンブリ260が電力アセンブリ160に対応するように、
図1に示されたイヤプラグアセンブリ105の構成要素を示す。
図2は、本体225に結合された、導波路275A、導波路275B、および開口265をも示す。本体225は、中心軸230を中心として回転対称である。可撓性カバー130は簡単のために図から省略されたことに留意されたい。
【0045】
導波路275A、275Bは、音波をイヤプラグアセンブリ200の本体225内の領域に誘導する。導波路275Aは、開口235に入る音響圧力波が外部音響センサー240に誘導されるように、開口235に隣接しておよび/または開口235に近接して配置され得る。開口235に入る音響圧力波は、ユーザの周囲のローカルエリアからのものであり得る。
【0046】
導波路275Bは、スピーカー220によって作り出された音がユーザの耳道(たとえば、耳道110)に提示されるように、スピーカー220によって作り出された音波を開口265に誘導し得る。導波路275Bはまた、組織伝導を介して伝達された音波を内部音響センサー245に誘導し得る。たとえば、追加の導波路が開口265に近接しており、音を内部音響センサー245に伝搬し得る。導波路275A、275Bは、各々、管、チャネル、またはそれらの何らかの組合せであり得る。
【0047】
開口265は、導波路275Bを通過する音波がユーザの耳道に出ることを可能にする。開口265は、ユーザの耳道内にフィットする本体225の部分内にある。開口265は、幾何学的形状において開口235と実質的に同様であり得る。
【0048】
図2Bは、1つまたは複数の実施形態による、イヤプラグアセンブリ105の断面側面
図205である。ラインB’は、
図2Cが提示される位置を示す。
【0049】
図2Cは、1つまたは複数の実施形態による、イヤプラグアセンブリ105のトップダウン断面
図210である。トップダウン断面
図210は、
図2B中のラインB’からのイヤプラグアセンブリ105を示す。
図2Cは、開口235および導波路275Aを示す。開口235は、中心軸230に対して、第1の側と第2の側との間で、角度θに及ぶ。いくつかの実施形態では、角度θは少なくとも280度であり得る。
【0050】
図2Dは、1つまたは複数の実施形態による、内部音響センサーが外部音響センサーに隣接して配置されたイヤプラグアセンブリの別の実施形態の断面側面
図215である。
図2D中のイヤプラグアセンブリは、
図2D中のイヤプラグアセンブリが追加の導波路275Cに結合された内部音響センサー245を含むことを除いて、
図2Bに示されているイヤプラグアセンブリと実質的に同様である。
図2Cでは、内部音響センサー245は、ユーザの耳道の外部に配置された本体225の部分中に配置される。いくつかの実施形態では、内部音響センサー245は、外部音響センサー240に隣接し得る。内部音響センサー245は、追加の導波路275Cに結合し得る。内部音響センサー245の配置は、イヤプラグアセンブリ105のより小さいサイズの部分がユーザの耳道にフィットすることを可能にする。したがって、ユーザの周りのローカルエリアからの空間キューを維持しながら、ユーザの快適さが向上され得る。追加の導波路275Cは、導波路275A、275Bと実質的に同様であり得る。追加の導波路275Cは、ユーザの頭蓋骨の近くの組織への振動および/またはユーザの音声によって生成された音波を内部音響センサー245に誘導する。いくつかの実施形態では、追加の導波路275Cは、導波路275Bとは別個であり、および/または導波路275Bに結合されないことがある。音は、開口265とは別個の本体225の開口を通って入って、追加の導波路275Cを通って進み、内部音響センサー245に達し得る。いくつかの実施形態では、追加の導波路275Cは反響し得、これは、内部音響センサー245によって検出された音波中にヌル(null)を生じる。内部音響センサー245によって検出されたヌルを平滑化するために、内部音響センサー245の前にメッシュが位置し得る。いくつかの実施形態では、メッシュは内部音響センサー245に結合され得、他の実施形態では、メッシュは内部音響センサー245からある距離離れて位置し得る。
【0051】
図2Eは、1つまたは複数の実施形態による、スピーカー前面キャップとノズルとをもつイヤプラグアセンブリの別の実施形態の断面側面
図220である。
図2E中のイヤプラグアセンブリは、
図2D中のイヤプラグアセンブリがスピーカー前面キャップ280とノズル285とを含むことを除いて、
図2Bに示されているイヤプラグアセンブリと実質的に同様である。スピーカー前面キャップ280は、スピーカー250から、少なくとも0.6mmなどのある距離に位置し得る。いくつかの実施形態では、スピーカー前面キャップ280は、スピーカー250から、0.1mm~0.2mmの範囲内などのより短い距離に位置し得る。スピーカー250からのスピーカー前面キャップ280のより短い距離は、ユーザに提示される音の品質の改善を生じ得る。ユーザは、スピーカー前面キャップ280とスピーカー250との間の距離が低減されたとき、ローカルエリアからの音のより広い周波数帯域幅をも知覚し得る。
【0052】
いくつかの実施形態では、
図2Dに示されているイヤプラグアセンブリは、ノズル285を含む。ノズル285は、導波路275Bに結合し得る。ノズル285は1.5mmの直径をもつシリンダーであり得、その端部に開口265があり得る。ノズル285は、可撓性カバー(たとえば、可撓性カバー130)に容易に結合し得、これは、イヤプラグアセンブリがユーザの耳道により良くおよびより快適にフィットすることを可能にする。
【0053】
図3は、1つまたは複数の実施形態による、イヤプラグアセンブリ300のブロック図である。イヤプラグアセンブリ300は、(たとえば、
図4に関して以下で説明されるように)ユーザにオーディオコンテンツを提供するオーディオシステムの構成要素であり得る。イヤプラグアセンブリ300は、音響センサーアセンブリ310と、スピーカーアセンブリ320と、コントローラ330と、電力アセンブリ340とを含む。前の図で説明されたイヤプラグアセンブリは、イヤプラグアセンブリ300の実施形態である。イヤプラグアセンブリ300のいくつかの実施形態は、本明細書で説明される構成要素以外の構成要素を含む。
【0054】
音響センサーアセンブリ310は音を検出する。音響センサーアセンブリ310は1つまたは複数の音響センサーを含み得、1つまたは複数の音響センサーは、マイクロフォン、加速度計、音響圧力波を検出する別のセンサー、またはそれらの何らかの組合せであり得る。イヤプラグアセンブリ300の閉塞されていない部分中に配置された、音響センサーアセンブリ310の外部音響センサーが、ユーザの周りのローカルエリアからの音を検出し得る。ユーザの耳道内にフィットするイヤプラグアセンブリ300の一部分中に配置された、音響センサーアセンブリ310の内部音響センサーが、組織伝導によってユーザに提示された音を検出し得る。音響センサーは、音響圧力波を検出し、検出された圧力波を電気フォーマット(アナログまたはデジタル)に変換するように構成される。
【0055】
スピーカーアセンブリ320は、コントローラ330からの命令に従ってオーディオコンテンツをユーザに提示する。スピーカーアセンブリ320は、音響センサーアセンブリ310によって検出された音に部分的に基づいて、オーディオコンテンツをユーザの耳道に提示する。検出された音は、スピーカーアセンブリ320によって提示されたとき、フィルタ処理、拡張、増幅、または減衰され得る。スピーカーアセンブリ320は、
図2A~
図2C中のスピーカー220など、1つまたは複数のスピーカーから構成され、空気伝搬音響圧力波を介して音を提示し得る。スピーカーアセンブリ320は、概して人間の聴覚の平均範囲の周りの、20Hz~20kHzなどの周波数の範囲にわたってオーディオコンテンツを提示するように構成され得る。
【0056】
コントローラ330は、検出された音データを処理し、スピーカーアセンブリ320に、オーディオコンテンツを提示するように命令する。コントローラ330は、ユーザのローカルエリアからの音を再ブロードキャストするようにスピーカーアセンブリ320に命令し得、それにより、ユーザは、ユーザの周りのローカルエリアにおいて提示された音から、音および空間キューのより大きい帯域幅を知覚する。音響圧力波データは、音響センサーアセンブリ310によって検出され、その後、コントローラ330に送られる。コントローラ330は、音データを処理し、スピーカーアセンブリ320に、オーディオコンテンツを提示するように命令する。スピーカーアセンブリ320に対するコントローラ330の命令は、ローカルエリアからのフィルタ処理された音を提示するようにとの命令を含み得る。たとえば、コントローラ330は、周波数の特定の範囲をターゲットにする音フィルタを生成し得る。これらの周波数における音は、増幅、減衰、または拡張され得、スピーカーアセンブリ520は、それに応じてオーディオコンテンツを提示する。音フィルタの例は、特に、ローパスフィルタ、ハイパスフィルタ、およびバンドパスフィルタを含む。いくつかの実施形態では、いくつかの周波数範囲が増幅され得、これは、空間キューを維持し、それらの周波数範囲において聴力を喪失しているユーザがユーザの環境をより良く聞くのを助ける。他の実施形態では、コントローラ330は、音響センサーアセンブリ310中の音響センサーによって生成された雑音をフィルタで除去し得る。音響センサーはサイズが小さいので、音響センサーは雑音を作り出す可能性がより高い。いくつかの実施形態では、ユーザの音声は、イヤプラグアセンブリ300による耳道の閉塞により増幅され得る。コントローラ330は、ユーザがスピーカーアセンブリ310によって提示されたオーディオコンテンツを聞くことが可能になるように、ユーザの音声の振幅を減衰させ得る。
【0057】
電力アセンブリ340は、イヤプラグアセンブリ300に電力を提供する。いくつかの実施形態では、イヤプラグアセンブリ300の構成要素の一部または全部について1つまたは複数の電力ユニットがある。電力アセンブリ340は、たとえば、音響センサーアセンブリ310、スピーカーアセンブリ320、およびデータ転送アセンブリ330の構成要素の一部または全部に電力を提供し得る。電力ユニットはバッテリーである。いくつかの場合には、電力ユニットは充電式バッテリーである。いくつかの実施形態では、電力ユニットは、ワイヤレスに(たとえば、誘導的に)電力供給され得る。これらの実施形態では、電力アセンブリ340は、電力を受信するための1つまたは複数の受信コイルを含み得る。
【0058】
イヤプラグアセンブリ300は、ユーザにオーディオコンテンツを提供するために使用され得る。いくつかの実施形態では、イヤプラグアセンブリ300は、
図4A~
図4Bによって説明されるものなど、人工現実ヘッドセットとともに動作し得る。たとえば、イヤプラグアセンブリ300は、人工現実ヘッドセットのオーディオシステムを較正するために使用され得る。
【0059】
図4Aは、1つまたは複数の実施形態による、アイウェアデバイスとして実装されるヘッドセット400の斜視図である。いくつかの実施形態では、アイウェアデバイスは、ニアアイディスプレイ(NED)である。概して、ヘッドセット400は、コンテンツ(たとえば、メディアコンテンツ)が、ディスプレイアセンブリおよび/またはオーディオシステムを使用して提示されるように、ユーザの顔に装着され得る。しかしながら、ヘッドセット400はまた、メディアコンテンツが異なる様式でユーザに提示されるように使用され得る。ヘッドセット400によって提示されるメディアコンテンツの例は、1つまたは複数の画像、ビデオ、オーディオ、またはそれらの何らかの組合せを含む。ヘッドセット400は、フレームを含み、構成要素の中でも、1つまたは複数のディスプレイ要素420を含むディスプレイアセンブリと、深度カメラアセンブリ(DCA)と、オーディオシステムと、位置センサー490とを含み得る。
図4Aは、ヘッドセット400上の例示的なロケーションにおけるヘッドセット400の構成要素を示すが、構成要素は、ヘッドセット400上の他の場所に、ヘッドセット400とペアリングされた周辺デバイス上に、またはそれらの何らかの組合せで位置し得る。同様に、
図4Aに示されているものよりも多いまたは少ない構成要素がヘッドセット400上にあり得る。フレーム410は、ヘッドセット400の他の構成要素を保持する。フレーム410は、1つまたは複数のディスプレイ要素420を保持する前面部と、ユーザの頭部に付けるためのエンドピース(たとえば、テンプル)とを含む。フレーム410の前面部は、ユーザの鼻の上をまたいでいる。エンドピースの長さは、異なるユーザにフィットするように調整可能(たとえば、調整可能なテンプルの長さ)であり得る。エンドピースはまた、ユーザの耳の後ろ側で湾曲する部分(たとえば、テンプルの先端、イヤピース)を含み得る。
【0060】
1つまたは複数のディスプレイ要素420は、ヘッドセット400を装着しているユーザに光を提供する。図示のように、ヘッドセットは、ユーザの各眼のためのディスプレイ要素420を含む。いくつかの実施形態では、ディスプレイ要素420は、ヘッドセット400のアイボックスに提供される画像光を生成する。アイボックスは、ヘッドセット400を装着している間にユーザの眼が占有する空間中のロケーションである。たとえば、ディスプレイ要素420は導波路ディスプレイであり得る。導波路ディスプレイは、光ソース(たとえば、2次元ソース、1つまたは複数の線ソース、1つまたは複数の点ソースなど)と、1つまたは複数の導波路とを含む。光ソースからの光は、1つまたは複数の導波路中に内部結合され(in-coupled)、1つまたは複数の導波路は、ヘッドセット400のアイボックス中に瞳複製(pupil replication)があるような様式で光を出力する。1つまたは複数の導波路からの光の内部結合(in-coupling)および/または外部結合(outcoupling)が、1つまたは複数の回折格子を使用して行われ得る。いくつかの実施形態では、導波路ディスプレイは、光ソースからの光が1つまたは複数の導波路中に内部結合されるときにその光を走査する走査要素(たとえば、導波路、ミラーなど)を含む。いくつかの実施形態では、ディスプレイ要素420の一方または両方が不透明であり、ヘッドセット400の周りのローカルエリアからの光を透過しないことに留意されたい。ローカルエリアは、ヘッドセット400の周囲のエリアである。たとえば、ローカルエリアは、ヘッドセット400を装着しているユーザが中にいる部屋であり得、または、ヘッドセット400を装着しているユーザは外にいることがあり、ローカルエリアは外のエリアである。このコンテキストでは、ヘッドセット400はVRコンテンツを生成する。代替的に、いくつかの実施形態では、ARおよび/またはMRコンテンツを作り出すために、ローカルエリアからの光が1つまたは複数のディスプレイ要素からの光と組み合わせられ得るように、ディスプレイ要素420の一方または両方は少なくとも部分的に透明である。いくつかの実施形態では、ディスプレイ要素420は、画像光を生成せず、代わりに、ローカルエリアからの光をアイボックスに透過するレンズである。たとえば、ディスプレイ要素420の一方または両方は、補正なしのレンズ(非処方)であるか、または、ユーザの視力の欠損を補正するのを助けるための処方レンズ(たとえば、単焦点、二焦点、および三焦点、または累進多焦点(progressive))であり得る。いくつかの実施形態では、ディスプレイ要素420は、太陽からユーザの眼を保護するために、偏光および/または色付けされ得る。
【0061】
いくつかの実施形態では、ディスプレイ要素420は追加の光学ブロック(図示せず)を含み得ることに留意されたい。光学ブロックは、ディスプレイ要素420からの光をアイボックスに向ける1つまたは複数の光学要素(たとえば、レンズ、フレネルレンズなど)を含み得る。光学ブロックは、たとえば、画像コンテンツの一部または全部における収差を補正するか、画像の一部または全部を拡大するか、あるいはそれらの何らかの組合せを行い得る。
【0062】
DCAは、ヘッドセット400の周囲のローカルエリアの一部分についての深度情報を決定する。DCAは、1つまたは複数のイメージングデバイス430と、DCAコントローラ(
図4Aに図示せず)とを含み、照明器440をも含み得る。いくつかの実施形態では、照明器440は、ローカルエリアの一部分を光で照明する。光は、たとえば、赤外線(IR)における構造化光(たとえば、ドットパターン、バーなど)、飛行時間についてのIRフラッシュなどであり得る。いくつかの実施形態では、1つまたは複数のイメージングデバイス430は、照明器440からの光を含むローカルエリアの一部分の画像をキャプチャする。図示のように、
図4Aは、単一の照明器440と2つのイメージングデバイス430とを示す。代替実施形態では、照明器440がなく、少なくとも2つのイメージングデバイス430がある。
【0063】
DCAコントローラは、キャプチャされた画像と1つまたは複数の深度決定技法とを使用して、ローカルエリアの一部分についての深度情報を計算する。深度決定技法は、たとえば、直接飛行時間(ToF)深度検知、間接ToF深度検知、構造化光、パッシブステレオ分析、アクティブステレオ分析(照明器440からの光によってシーンに追加されたテクスチャを使用する)、シーンの深度を決定するための何らかの他の技法、またはそれらの何らかの組合せであり得る。
【0064】
オーディオシステムはオーディオコンテンツを提供する。オーディオシステムは、トランスデューサアレイと、センサーアレイと、オーディオコントローラ450とを含む。ただし、他の実施形態では、オーディオシステムは、異なるおよび/または追加の構成要素を含み得る。同様に、いくつかの場合には、オーディオシステムの構成要素に関して説明される機能性は、ここで説明されるものとは異なる様式で構成要素の間で分散され得る。たとえば、コントローラの機能の一部または全部が、リモートサーバによって実施され得る。
【0065】
トランスデューサアレイは、ユーザに音を提示する。トランスデューサアレイは、複数のトランスデューサを含む。トランスデューサは、スピーカー460または組織トランスデューサ470(たとえば、骨伝導トランスデューサまたは軟骨伝導トランスデューサ)であり得る。スピーカー460はフレーム410の外部に示されているが、スピーカー460はフレーム410に囲まれ得る。いくつかの実施形態では、各耳のための個々のスピーカーの代わりに、ヘッドセット400は、提示されたオーディオコンテンツの方向性を改善するためにフレーム410に組み込まれた複数のスピーカーを備えるスピーカーアレイを含む。組織トランスデューサ470は、ユーザの頭部に結合し、ユーザの組織(たとえば、骨または軟骨)を直接振動させて、音を生成する。トランスデューサの数および/またはロケーションは、
図4Aに示されているものとは異なり得る。
【0066】
センサーアレイは、ヘッドセット400のローカルエリア内の音を検出する。センサーアレイは、複数の音響センサー480を含む。音響センサー480は、ローカルエリア(たとえば、部屋)中の1つまたは複数の音ソースから発せられた音をキャプチャする。各音響センサーは、音を検出し、検出された音を電子フォーマット(アナログまたはデジタル)に変換するように構成される。音響センサー480は、音響波センサー、マイクロフォン、音トランスデューサ、または音を検出するのに好適である同様のセンサーであり得る。
【0067】
いくつかの実施形態では、1つまたは複数の音響センサー480は、各耳の耳道中に置かれ得る(たとえば、バイノーラルマイクロフォンとして働く)。いくつかの実施形態では、音響センサー480は、ヘッドセット400の外面上に置かれるか、ヘッドセット400の内面上に置かれるか、ヘッドセット400とは別個(たとえば、何らかの他のデバイスの一部)であるか、またはそれらの何らかの組合せであり得る。音響センサー480の数および/またはロケーションは、
図4Aに示されているものとは異なり得る。たとえば、収集されたオーディオ情報の量ならびにその情報の感度および/または精度を増加させるために、音響検出ロケーションの数が増加され得る。音響検出ロケーションは、マイクロフォンが、ヘッドセット400を装着しているユーザの周囲の広範囲の方向における音を検出することが可能であるように、配向され得る。
【0068】
オーディオコントローラ450は、センサーアレイによって検出された音を表す、センサーアレイからの情報を処理する。オーディオコントローラ450は、プロセッサとコンピュータ可読記憶媒体とを備え得る。オーディオコントローラ450は、到来方向(DOA)推定値を生成するか、音響伝達関数(たとえば、アレイ伝達関数および/または頭部伝達関数)を生成するか、音ソースのロケーションを追跡するか、音ソースの方向にビームを形成するか、音ソースを分類するか、スピーカー460のための音フィルタを生成するか、またはそれらの何らかの組合せを行うように構成され得る。
【0069】
位置センサー490は、ヘッドセット400の運動に応答して1つまたは複数の測定信号を生成する。位置センサー490は、ヘッドセット400のフレーム410の一部分に位置し得る。位置センサー490は、慣性測定ユニット(IMU)を含み得る。位置センサー490の例は、1つまたは複数の加速度計、1つまたは複数のジャイロスコープ、1つまたは複数の磁力計、運動を検出する別の好適なタイプのセンサー、IMUの誤差補正のために使用されるタイプのセンサー、またはそれらの何らかの組合せを含む。位置センサー490は、IMUの外部に、IMUの内部に、またはそれらの何らかの組合せで位置し得る。
【0070】
いくつかの実施形態では、ヘッドセット400は、ヘッドセット400の位置のための同時位置特定およびマッピング(SLAM)と、ローカルエリアのモデルの更新とを提供し得る。たとえば、ヘッドセット400は、カラー画像データを生成するパッシブカメラアセンブリ(PCA)を含み得る。PCAは、ローカルエリアの一部または全部の画像をキャプチャする1つまたは複数のRGBカメラを含み得る。いくつかの実施形態では、DCAのイメージングデバイス430の一部または全部が、PCAとしても機能し得る。PCAによってキャプチャされた画像と、DCAによって決定された深度情報とは、ローカルエリアのパラメータを決定するか、ローカルエリアのモデルを生成するか、ローカルエリアのモデルを更新するか、またはそれらの何らかの組合せを行うために使用され得る。さらに、位置センサー490は、部屋内のヘッドセット400の位置(たとえば、ロケーションおよび姿勢)を追跡する。
【0071】
図4Bは、1つまたは複数の実施形態による、HMDとして実装されるヘッドセット405の斜視図である。ARシステムおよび/またはMRシステムについて説明する実施形態では、HMDの前側の部分は、可視帯域(約380nm~750nm)内で少なくとも部分的に透明であり、HMDの前側とユーザの眼との間にあるHMDの部分は、少なくとも部分的に透明である(たとえば、部分的に透明な電子ディスプレイ)。HMDは、前面剛体415とバンド475とを含む。ヘッドセット405は、
図4Aを参照しながら上記で説明された同じ構成要素の多くを含むが、HMDフォームファクタと一体化するように修正される。たとえば、HMDは、ディスプレイアセンブリと、DCAと、オーディオシステムと、位置センサー490とを含む。
図4Bは、照明器440と、複数のスピーカー460と、複数のイメージングデバイス430と、複数の音響センサー480と、位置センサー490とを示す。
【0072】
イヤプラグアセンブリ300など、ヒアスルーイヤプラグアセンブリは、ヘッドセット400および/またはヘッドセット405とともに動作し得る。いくつかの実施形態では、ヘッドセット400および/またはヘッドセット405のいくつかの構成要素は、イヤプラグアセンブリ300の構成要素を兼ね得る。たとえば、オーディオコントローラ450は、イヤプラグアセンブリ300のコントローラ330として働き得る。いくつかの実施形態では、ユーザは、イヤプラグアセンブリ300に加えてヘッドセット400および/またはヘッドセット405を装着し得る。別の実施形態では、ヘッドセット400および/または405は、ディスプレイ要素420を介して、イヤプラグアセンブリ300によって提示されるオーディオコンテンツを再ブロードキャストするために対応する視覚コンテンツをユーザに提示し得る。
【0073】
人工現実システムの例
【0074】
図5は、1つまたは複数の実施形態による、ヘッドセット505を含むシステム500である。いくつかの実施形態では、ヘッドセット505は、
図4Aのヘッドセット400または
図4Bのヘッドセット405であり得る。システム500は、人工現実環境(たとえば、仮想現実環境、拡張現実環境、混合現実環境、またはそれらの何らかの組合せ)において動作し得る。
図5によって示されているシステム500は、ヘッドセット505と、コンソール515に結合された入出力(I/O)インターフェース510と、ネットワーク520と、マッピングサーバ525とを含む。
図5は、1つのヘッドセット505と1つのI/Oインターフェース510とを含む例示的なシステム500を示すが、他の実施形態では、任意の数のこれらの構成要素が、システム500中に含まれ得る。たとえば、各々が、関連するI/Oインターフェース510を有する、複数のヘッドセットがあり得、各ヘッドセットおよびI/Oインターフェース510はコンソール515と通信する。代替構成では、異なるおよび/または追加の構成要素が、システム500中に含まれ得る。さらに、
図5に示されている構成要素のうちの1つまたは複数に関して説明される機能性は、いくつかの実施形態では、
図5に関して説明されるものとは異なる様式で構成要素の間で分散され得る。たとえば、コンソール515の機能性の一部または全部がヘッドセット505によって提供され得る。
【0075】
ヘッドセット505は、ディスプレイアセンブリ530と、光学ブロック535と、1つまたは複数の位置センサー540と、DCA545とを含む。ヘッドセット505のいくつかの実施形態は、
図5に関して説明されるものとは異なる構成要素を有する。さらに、
図5に関して説明される様々な構成要素によって提供される機能性は、他の実施形態ではヘッドセット505の構成要素の間で別様に分散されるか、またはヘッドセット505からリモートにある別個のアセンブリにおいて取り込まれ得る。
【0076】
ディスプレイアセンブリ530は、コンソール515から受信されたデータに従ってユーザにコンテンツを表示する。ディスプレイアセンブリ530は、1つまたは複数のディスプレイ要素(たとえば、ディスプレイ要素120)を使用してコンテンツを表示する。ディスプレイ要素は、たとえば、電子ディスプレイであり得る。様々な実施形態では、ディスプレイアセンブリ530は、単一のディスプレイ要素または複数のディスプレイ要素(たとえば、ユーザの各眼のためのディスプレイ)を備える。電子ディスプレイの例は、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)ディスプレイ、アクティブマトリックス有機発光ダイオードディスプレイ(AMOLED)、導波路ディスプレイ、何らかの他のディスプレイ、またはそれらの何らかの組合せを含む。いくつかの実施形態では、ディスプレイ要素120は光学ブロック535の機能性の一部または全部をも含み得ることに留意されたい。
【0077】
光学ブロック535は、電子ディスプレイから受光された画像光を拡大し得、画像光に関連する光学誤差を補正し、補正された画像光をヘッドセット505の一方または両方のアイボックスに提示する。様々な実施形態では、光学ブロック535は、1つまたは複数の光学要素を含む。光学ブロック535中に含まれる例示的な光学要素は、アパーチャ、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、反射面、または画像光に影響を及ぼす任意の他の好適な光学要素を含む。その上、光学ブロック535は、異なる光学要素の組合せを含み得る。いくつかの実施形態では、光学ブロック535中の光学要素のうちの1つまたは複数は、部分反射コーティングまたは反射防止コーティングなど、1つまたは複数のコーティングを有し得る。
【0078】
光学ブロック535による画像光の拡大および集束は、電子ディスプレイが、物理的により小さくなり、重さが減じ、より大きいディスプレイよりも少ない電力を消費することを可能にする。さらに、拡大は、電子ディスプレイによって提示されるコンテンツの視野を増加させ得る。たとえば、表示されるコンテンツの視野は、表示されるコンテンツが、ユーザの視野のほとんどすべて(たとえば、対角約110度)、およびいくつかの場合にはすべてを使用して提示されるようなものである。さらに、いくつかの実施形態では、拡大の量は、光学要素を追加することまたは取り外すことによって調整され得る。
【0079】
いくつかの実施形態では、光学ブロック535は、1つまたは複数のタイプの光学誤差を補正するように設計され得る。光学誤差の例は、たる形ひずみまたは糸巻き形ひずみ、縦色収差、あるいは横色収差を含む。他のタイプの光学誤差は、球面収差、色収差、またはレンズ像面湾曲による誤差、非点収差、または任意の他のタイプの光学誤差をさらに含み得る。いくつかの実施形態では、表示のために電子ディスプレイに提供されるコンテンツは予歪され、光学ブロック535が、そのコンテンツに基づいて生成された画像光を電子ディスプレイから受光したとき、光学ブロック535はそのひずみを補正する。
【0080】
位置センサー540は、ヘッドセット505の位置を示すデータを生成する電子デバイスである。位置センサー540は、ヘッドセット505の運動に応答して1つまたは複数の測定信号を生成する。位置センサー190は、位置センサー540の一実施形態である。位置センサー540の例は、1つまたは複数のIMU、1つまたは複数の加速度計、1つまたは複数のジャイロスコープ、1つまたは複数の磁力計、運動を検出する別の好適なタイプのセンサー、またはそれらの何らかの組合せを含む。位置センサー540は、並進運動(前/後、上/下、左/右)を測定するための複数の加速度計と、回転運動(たとえば、ピッチ、ヨー、ロール)を測定するための複数のジャイロスコープとを含み得る。いくつかの実施形態では、IMUは、測定信号を迅速にサンプリングし、サンプリングされたデータからヘッドセット505の推定位置を算出する。たとえば、IMUは、加速度計から受信された測定信号を経時的に積分して速度ベクトルを推定し、その速度ベクトルを経時的に積分して、ヘッドセット505上の基準点の推定位置を決定する。基準点は、ヘッドセット505の位置を表すために使用され得る点である。基準点は、概して空間中の点として定義され得るが、実際には、基準点は、ヘッドセット505内の点として定義される。
【0081】
DCA545は、ローカルエリアの一部分についての深度情報を生成する。DCAは、1つまたは複数のイメージングデバイスとDCAコントローラとを含む。DCA545は照明器をも含み得る。DCA545の動作および構造は、
図1Aに関して上記で説明された。
【0082】
オーディオシステム550は、ヘッドセット505のユーザにオーディオコンテンツを提供する。オーディオシステム550は、上記で説明するオーディオシステム200と実質的に同じである。オーディオシステム550は、1つまたは音響センサーと、1つまたは複数のトランスデューサと、オーディオコントローラとを備え得る。オーディオシステム550は、空間化されたオーディオコンテンツをユーザに提供し得る。いくつかの実施形態では、オーディオシステム550は、ネットワーク520を介してマッピングサーバ525に音響パラメータを要求し得る。音響パラメータは、ローカルエリアの1つまたは複数の音響プロパティ(たとえば、室内インパルス応答、残響時間、残響レベルなど)を表す。オーディオシステム550は、たとえば、DCA545からのローカルエリアの少なくとも一部分を表す情報、および/または位置センサー540からのヘッドセット505についてのロケーション情報を提供し得る。オーディオシステム550は、マッピングサーバ525から受信された音響パラメータの1つまたは複数を使用して、1つまたは複数の音フィルタを生成し、音フィルタを使用して、ユーザにオーディオコンテンツを提供し得る。
【0083】
オーディオシステム550はまた、オーディオコンテンツをヘッドセット505のユーザに提示する。いくつかの実施形態では、イヤプラグアセンブリ300は、オーディオシステム550の構成要素であり得る。いくつかの実施形態では、オーディオシステム550は、較正のためにイヤプラグアセンブリ300を使用し得る。たとえば、オーディオシステム550は、ユーザの周りのローカルエリア中の音に基づいて、ローカルエリアからの音のイヤプラグアセンブリ300のフィルタ処理に従って空間キューを維持するオーディオコンテンツをユーザに提示し得る。オーディオシステム550は、空気伝導および/または組織伝導を介してオーディオコンテンツをユーザに提示し得る。組織伝導では、ユーザの耳の中および/またはユーザの耳の周りの組織が振動されて、ユーザの耳の蝸牛によって音として知覚される音響圧力波を作り出す。
【0084】
I/Oインターフェース510は、ユーザがアクション要求を送り、コンソール515から応答を受信することを可能にするデバイスである。アクション要求は、特定のアクションを実施するための要求である。たとえば、アクション要求は、画像データまたはビデオデータのキャプチャを開始または終了するための命令、あるいはアプリケーション内で特定のアクションを実施するための命令であり得る。I/Oインターフェース510は、1つまたは複数の入力デバイスを含み得る。例示的な入力デバイスは、キーボード、マウス、ゲームコントローラ、またはアクション要求を受信し、そのアクション要求をコンソール515に通信するための任意の他の好適なデバイスを含む。I/Oインターフェース510によって受信されたアクション要求は、コンソール515に通信され、コンソール515は、そのアクション要求に対応するアクションを実施する。いくつかの実施形態では、I/Oインターフェース510は、I/Oインターフェース510の初期位置に対するI/Oインターフェース510の推定位置を示す較正データをキャプチャするIMUを含む。いくつかの実施形態では、I/Oインターフェース510は、コンソール515から受信された命令に従って、ユーザに触覚フィードバックを提供し得る。たとえば、アクション要求が受信されたときに触覚フィードバックが提供されるか、または、コンソール515がアクションを実施するときに、コンソール515が、I/Oインターフェース510に命令を通信して、I/Oインターフェース510が触覚フィードバックを生成することを引き起こす。
【0085】
コンソール515は、DCA545とヘッドセット505とI/Oインターフェース510とのうちの1つまたは複数から受信された情報に従って処理するためのコンテンツをヘッドセット505に提供する。
図5に示されている例では、コンソール515は、アプリケーションストア555と、追跡モジュール560と、エンジン565とを含む。コンソール515のいくつかの実施形態は、
図5に関して説明されるものとは異なるモジュールまたは構成要素を有する。同様に、以下でさらに説明される機能は、
図5に関して説明されるものとは異なる様式でコンソール515の構成要素の間で分散され得る。いくつかの実施形態では、コンソール515に関して本明細書で説明される機能性は、ヘッドセット505、またはリモートシステムにおいて実装され得る。
【0086】
アプリケーションストア555は、コンソール515が実行するための1つまたは複数のアプリケーションを記憶する。アプリケーションは、プロセッサによって実行されたとき、ユーザへの提示のためのコンテンツを生成する命令のグループである。アプリケーションによって生成されたコンテンツは、ヘッドセット505またはI/Oインターフェース510の移動を介してユーザから受信された入力に応答したものであり得る。アプリケーションの例は、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の好適なアプリケーションを含む。
【0087】
追跡モジュール560は、DCA545からの情報、1つまたは複数の位置センサー540からの情報、またはそれらの何らかの組合せを使用して、ヘッドセット505またはI/Oインターフェース510の移動を追跡する。たとえば、追跡モジュール560は、ヘッドセット505からの情報に基づいて、ローカルエリアのマッピングにおいてヘッドセット505の基準点の位置を決定する。追跡モジュール560は、オブジェクトまたは仮想オブジェクトの位置をも決定し得る。さらに、いくつかの実施形態では、追跡モジュール560は、ヘッドセット505の将来のロケーションを予測するために、位置センサー540からのヘッドセット505の位置を示すデータの部分ならびにDCA545からのローカルエリアの表現を使用し得る。追跡モジュール560は、ヘッドセット505またはI/Oインターフェース510の推定または予測された将来位置をエンジン565に提供する。
【0088】
エンジン565は、アプリケーションを実行し、追跡モジュール560から、ヘッドセット505の位置情報、加速度情報、速度情報、予測された将来の位置、またはそれらの何らかの組合せを受信する。受信された情報に基づいて、エンジン565は、ユーザへの提示のためにヘッドセット505に提供すべきコンテンツを決定する。たとえば、受信された情報が、ユーザが左を見ていることを示す場合、エンジン565は、仮想ローカルエリアにおいて、またはローカルエリアを追加のコンテンツで拡張するローカルエリアにおいて、ユーザの移動をミラーリングする、ヘッドセット505のためのコンテンツを生成する。さらに、エンジン565は、I/Oインターフェース510から受信されたアクション要求に応答して、コンソール515上で実行しているアプリケーション内でアクションを実施し、そのアクションが実施されたというフィードバックをユーザに提供する。提供されるフィードバックは、ヘッドセット505を介した視覚または可聴フィードバック、あるいはI/Oインターフェース510を介した触覚フィードバックであり得る。
【0089】
イヤプラグアセンブリ300は、ユーザにオーディオコンテンツを提供する。イヤプラグアセンブリ300は、
図1~
図3に関して説明されたように、音響センサーアセンブリ310を介してローカルエリアからの音を検出し、コントローラ330を介して音データを処理し、スピーカーアセンブリ320を介して、検出された音に部分的に基づいてオーディオコンテンツを提示する。イヤプラグアセンブリ300は、電力アセンブリ340によって電力供給される。イヤプラグアセンブリ300は、単独でおよび/またはオーディオシステム550と組み合わせて使用され、イヤプラグアセンブリ300によって検出されたローカルエリアからの音に部分的に基づいてヘッドセットのユーザにオーディオコンテンツを提供し得る。いくつかの実施形態では、ユーザは、2つのイヤプラグアセンブリ300、すなわち、各耳に1つずつ、を使用し得る。各イヤプラグアセンブリ300は、コントローラ330によって命令されるオーディオコンテンツの一部分を提供し得る。
【0090】
追加の構成情報
本開示の実施形態の上記の説明は、説明の目的で提示されており、網羅的であること、または開示される正確な形態に本開示を限定することは意図されない。当業者は、上記の開示に照らして多くの修正および変形が可能であることを諒解することができる。
【0091】
本明細書のいくつかの部分は、情報に関する動作のアルゴリズムおよび記号表現に関して本開示の実施形態について説明する。これらのアルゴリズム説明および表現は、データ処理技術分野の当業者が、他の当業者に自身の仕事の本質を効果的に伝えるために通常使用される。これらの動作は、機能的に、計算量的に、または論理的に説明されるが、製造プロセスに関して、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実装されることが理解される。さらに、一般性の喪失なしに、動作のこれらの仕組みをモジュールと呼ぶことが時々好都合であることも証明された。説明される動作およびそれらの関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組合せにおいて具現され得る。
【0092】
本明細書で説明されるステップ、動作、またはプロセスのいずれも、1つまたは複数のハードウェアまたはソフトウェアモジュールで、単独でまたは他のデバイスとの組合せで実施または実装され得る。一実施形態では、ソフトウェアモジュールは、コンピュータプログラムコードを含んでいるコンピュータ可読媒体を備えるコンピュータプログラム製品で実装され、コンピュータプログラムコードは、(たとえば、製造プロセスに関して)説明されるステップ、動作、またはプロセスのいずれかまたはすべてを実施するためにコンピュータプロセッサによって実行され得る。
【0093】
本開示の実施形態はまた、本明細書の動作を実施するための装置に関し得る。この装置は、必要とされる目的のために特別に構築され得、および/あるいは、この装置は、コンピュータに記憶されたコンピュータプログラムによって選択的にアクティブ化または再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、非一時的有形コンピュータ可読記憶媒体、または電子命令を記憶するのに好適な任意のタイプの媒体に記憶され得、それらの媒体はコンピュータシステムバスに結合され得る。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含み得るか、または増加された計算能力のために複数のプロセッサ設計を採用するアーキテクチャであり得る。
【0094】
最終的に、本明細書において使用される言い回しは、主に読みやすさおよび教育目的で選択されており、本明細書において使用される言い回しは、本発明の主題を定めるかまたは制限するように選択されていないことがある。したがって、本開示の範囲はこの詳細な説明によって限定されるのではなく、むしろ、本明細書に基づく出願に関して生じる請求項によって限定されることが意図される。したがって、実施形態の開示は、以下の特許請求の範囲に記載される本開示の範囲を例示するものであり、限定するものではない。
【国際調査報告】