(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-12-05
(54)【発明の名称】認識モード自動レベラーを有するオーディオデバイス
(51)【国際特許分類】
H04R 3/00 20060101AFI20241128BHJP
G10K 11/178 20060101ALI20241128BHJP
【FI】
H04R3/00 310
H04R3/00 320
G10K11/178 110
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024534093
(86)(22)【出願日】2022-12-06
(85)【翻訳文提出日】2024-07-26
(86)【国際出願番号】 US2022051928
(87)【国際公開番号】W WO2023107426
(87)【国際公開日】2023-06-15
(32)【優先日】2021-12-07
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2022-12-06
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】591009509
【氏名又は名称】ボーズ・コーポレーション
【氏名又は名称原語表記】BOSE CORPORATION
(74)【代理人】
【識別番号】100108453
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】ダニエル・エム・ゴウジャー
(72)【発明者】
【氏名】マーク・レイモンド・ブレウェット
(72)【発明者】
【氏名】クリストファー・ビー・アイクラー
【テーマコード(参考)】
5D061
5D220
【Fターム(参考)】
5D061FF02
5D220AA02
5D220AB01
5D220AB08
5D220BA01
5D220BC08
(57)【要約】
様々な実装形態は、ANRオーディオデバイスにおいて強化認識モード機能を提供するためのシステムを含む。特定の実装形態では、方法は、ウェアラブルオーディオデバイスに関連付けられたマイクロフォンから周囲騒音信号を受信することと、周囲騒音信号の音圧レベル(SPL)に基づいて利得値を決定することと、利得値を周囲騒音信号に適用することによって利得調整された周囲騒音信号を生成することと、利得調整された周囲騒音信号を騒音低減周囲信号に加算することによって総外部マイクロフォン信号を生成することと、利得調整された周囲騒音信号に基づいてソースオーディオ信号を選択的に調整することによって拡張オーディオ信号を生成することと、拡張オーディオ信号を総外部マイクロフォン信号と結合して音響トランスデューサに出力することとを含む。
【特許請求の範囲】
【請求項1】
方法であって、
ウェアラブルオーディオデバイスに関連付けられたマイクロフォンから周囲騒音信号を受信することと、
前記周囲騒音信号の音圧レベル(SPL)に基づいて利得値を決定することと、
前記利得値を前記周囲騒音信号に適用することによって利得調整された周囲騒音信号を生成することと、
前記利得調整された周囲騒音信号を騒音低減周囲信号に加算することによって総外部マイクロフォン信号を生成することと、
前記利得調整された周囲騒音信号に基づいてソースオーディオ信号を選択的に調整することによって、拡張オーディオ信号を生成することと、
前記拡張オーディオ信号を前記総外部マイクロフォン信号と結合して音響トランスデューサに出力することとを含む、方法。
【請求項2】
前記ソースオーディオ信号及び前記利得調整された周囲騒音信号から信号対騒音比(SNR)を決定することを更に含み、
前記拡張オーディオ信号を生成することは、前記SNRに基づいて前記ソースオーディオ信号を選択的に調整することを含む、請求項1に記載の方法。
【請求項3】
前記ソースオーディオ信号を調整して前記拡張オーディオ信号を生成することが、前記利得調整された周囲騒音信号と残留音成分との結合に基づき、前記残留音成分が前記周囲騒音信号の前記SPLに基づく、請求項1に記載の方法。
【請求項4】
前記利得値が、SPL対利得値の対応関係を有するルックアップテーブルを用いて決定され、前記ルックアップテーブルが、
それを下回ると前記利得値が1に設定される第1のSPL閾値と、
それを上回ると前記利得値が0に設定される第2のSPL閾値と、
前記利得値が1と0との間で変動する、前記第1のSPL閾値と前記第2のSPL閾値との間のSPL範囲とを含む、請求項1に記載の方法。
【請求項5】
前記拡張オーディオ信号を生成することが、前記ソースオーディオ信号の複数の異なる周波数帯域の各々についてSPLを選択的に調整することを含む、請求項1に記載の方法。
【請求項6】
前記ソースオーディオ信号及び前記利得調整された周囲騒音信号から信号対騒音比(SNR)を決定することを更に含み、
前記SNRを決定することが、前記異なる周波数帯域の各々についてサブSNRを決定することを含み、
前記ソースオーディオ信号の前記異なる周波数帯域の各々の前記SPLを選択的に調整することが、関連付けられたサブSNRに基づく、請求項5に記載の方法。
【請求項7】
前記オーディオ信号の前記異なる周波数帯域が、低周波数帯域、中周波数帯域、及び高周波数帯域を含む、請求項5に記載の方法。
【請求項8】
前記低周波数帯域の前記SPLが、前記SNRが第1の閾値を満たすことに応答して増加され、
前記低周波数帯域及び前記中周波数帯域の前記SPLが、前記SNRが第2の閾値を満たすことに応答して増加され、
前記低周波数帯域、前記中周波数帯域、及び前記高周波数帯域の前記SPLが、前記SNRが第3の閾値を満たすことに応答して増加され、
前記第3の閾値が前記第2の閾値よりも大きく、前記第2の閾値が前記第1の閾値よりも大きい、
請求項7に記載の方法。
【請求項9】
ウェアラブルオーディオデバイスであって、
音響トランスデューサと、
マイクロフォンと、
以下の動作を実行する信号処理システムであって、前記動作が、
ウェアラブルオーディオデバイスに関連付けられたマイクロフォンから周囲騒音信号を受信することと、
前記周囲騒音信号の音圧レベル(SPL)に基づいて利得値を決定することと、
前記利得値を前記周囲騒音信号に適用することによって利得調整された周囲騒音信号を生成することと、
前記利得調整された周囲騒音信号を騒音低減周囲信号に加算することによって総外部マイクロフォン信号を生成することと、
前記利得調整された周囲騒音信号に基づいてソースオーディオ信号を選択的に調整することによって、拡張オーディオ信号を生成することと、
前記拡張オーディオ信号を前記総外部マイクロフォン信号と結合して、音響トランスデューサに出力することとを含む、信号処理システムとを備える、ウェアラブルオーディオデバイス。
【請求項10】
前記ソースオーディオ信号と前記利得調整された周囲騒音信号とから信号対騒音比(SNR)を決定することを更に含み、
前記拡張オーディオ信号を生成することが、前記SNRに基づいて前記ソースオーディオ信号を選択的に調整することを含む、請求項9に記載のデバイス。
【請求項11】
前記ソースオーディオ信号を調整して前記拡張オーディオ信号を生成することが、前記利得調整された周囲騒音信号と残留音成分との結合に基づき、前記残留音成分が前記周囲騒音信号の前記SPLに基づく、請求項9に記載のデバイス。
【請求項12】
前記利得値が、SPL対利得値の対応関係を有するルックアップテーブルを用いて決定され、前記ルックアップテーブルが、
それを下回ると前記利得値が1に設定される第1のSPL閾値と、
それを上回ると前記利得値が0に設定される第2のSPL閾値と、
前記利得値が1と0との間で変動する、前記第1のSPL閾値と前記第2のSPL閾値との間のSPL範囲とを含む、請求項9に記載のデバイス。
【請求項13】
前記ソースオーディオ信号と前記利得調整された周囲騒音信号とから信号対騒音比(SNR)を決定することを更に含み、
前記SNRを決定することが、前記異なる周波数帯域の各々についてサブSNRを決定することを含み、
前記ソースオーディオ信号の前記異なる周波数帯域の各々の前記SPLを選択的に調整することが、関連付けられたサブSNRに基づく、請求項9に記載のデバイス。
【請求項14】
前記オーディオ信号の前記異なる周波数帯域が、低周波数帯域、中周波数帯域、及び高周波数帯域を含み、
前記低周波数帯域の前記SPLが、前記SNRが第1の閾値を満たすことに応答して増加され、
前記低周波数帯域及び前記中周波数帯域の前記SPLが、前記SNRが第2の閾値を満たすことに応答して増加され、
前記低周波数帯域、前記中周波数帯域、及び前記高周波数帯域の前記SPLが、前記SNRが第3の閾値を満たすことに応答して増加され、
前記第3の閾値が前記第2の閾値よりも大きく、前記第2の閾値が前記第1の閾値よりも大きい、請求項13に記載のデバイス。
【請求項15】
方法であって、
ソースオーディオ信号及び周囲騒音信号を取得することと、
前記周囲騒音信号を予め定義された聴力閾値と比較することと、
前記比較に応答して有効騒音信号を生成することと、
前記有効騒音信号に基づいて前記ソースオーディオ信号の音圧レベルを選択的に調整することによって、拡張オーディオ信号を生成することと、
前記拡張オーディオ信号を使用してヘッドフォンの音響トランスデューサを駆動することとを含む、方法。
【請求項16】
前記ソースオーディオ信号及び前記有効騒音信号に基づいて信号対騒音比(SNR)を決定することを更に備え、
前記拡張オーディオ信号を生成することが、前記SNRに基づいて前記ソースオーディオ信号の前記音圧レベルを選択的に調整することを含む、請求項15に記載の方法。
【請求項17】
前記周囲騒音信号を前記聴力閾値と比較することが、前記周囲騒音信号と前記聴力閾値との間の予め定義されたセットの周波数帯域の各々からのエネルギーレベルを比較することを含む、請求項16に記載の方法。
【請求項18】
前記有効騒音信号を生成することが、
前記予め定義されたセットの周波数帯域の異なる周波数帯域の各々について、前記周囲騒音信号と前記聴力閾値との間の最大値を決定することと、
前記有効騒音信号を提供するために、前記予め定義されたセットの周波数帯域の各々の最大値を使用することとを含む、請求項17に記載の方法。
【請求項19】
前記ソースオーディオ信号が、低周波数帯域、中周波数帯域、及び高周波数帯域を含み、
前記低周波数帯域の前記SPLが、前記SNRが第1の閾値を満たすことに応答して増加され、
前記低周波数帯域及び前記中周波数帯域の前記SPLが、前記SNRが第2の閾値を満たすことに応答して増加され、
前記低周波数帯域、前記中周波数帯域、及び前記高周波数帯域の前記SPLが、前記SNRが第3の閾値を満たすことに応答して増加され、
前記第3の閾値が前記第2の閾値よりも大きく、前記第2の閾値が前記第1の閾値よりも大きい、請求項16に記載の方法。
【請求項20】
前記拡張オーディオ信号を生成することが、
前記ソースオーディオ信号及び前記有効騒音信号のための異なる周波数帯域毎にサブ信号対騒音比(サブSNR)を決定することと、
前記サブSNRに基づいて、前記オーディオ信号の異なる周波数帯域の音圧レベル(SPL)を選択的に上昇させることとを含む、請求項15に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
優先権の主張
本出願は、2021年12月7日に出願された米国特許仮出願第63/286,659号、及び2022年12月6日に出願された米国特許出願第18/062,108号に対する優先権を主張し、これらの各々は、その全体が参照により本明細書に組み込まれる。
【0002】
本開示は、概して、強化認識モード機能を提供する能動騒音低減(ANR)デバイスに関する。
【背景技術】
【0003】
ヘッドフォンなどの音響デバイスは、周囲騒音の少なくとも部分がユーザの耳に到達するのを阻止する能動騒音低減(ANR)機能を含み得る。したがって、ANRデバイスは、ユーザを少なくとも部分的に環境から隔離する音響隔離効果を生成する。そのような隔離の影響を軽減するために、ANR機能を有するいくつかの音響デバイスは、音響デバイス上で再生されるソースオーディオとともに周囲の音をユーザの耳に送る「認識モード」を含むことができる。
【発明の概要】
【0004】
下記で言及される全ての実施例及び特徴は、任意の技術的に可能な方式で組み合わせることができる。
【0005】
強化認識モード機能を有する能動騒音低減デバイスを対象とするシステム及びアプローチが開示される。いくつかの実装形態は、ウェアラブルオーディオデバイスに関連付けられたマイクロフォンから周囲騒音信号を受信することと、周囲騒音信号の音圧レベル(SPL)に基づいて利得値を決定することと、利得値を周囲騒音信号に適用することによって利得調整された周囲騒音信号を生成することと、利得調整された周囲騒音信号を騒音低減周囲信号に加算することによって総外部マイクロフォン信号を生成することと、利得調整された周囲騒音信号に基づいてソースオーディオ信号を選択的に調整することによって拡張オーディオ信号を生成することと、拡張オーディオ信号を総外部マイクロフォン信号と結合して音響トランスデューサに出力することとを含む、方法を提供する。
【0006】
追加の特定の実装形態では、音響トランスデューサとマイクロフォンと、以下の動作を実行する信号処理システムとを含むウェアラブルオーディオデバイスが提供され、動作は、ウェアラブルオーディオデバイスに関連付けられたマイクロフォンから周囲騒音信号を受信することと、周囲騒音信号の音圧レベルに基づいて利得値を決定することと、利得値を周囲騒音信号に適用することによって利得調整された周囲騒音信号を生成することと、利得調整された周囲騒音信号を騒音低減周囲信号に加算することによって総外部マイクロフォン信号を生成することと、利得調整された周囲騒音信号に基づいてソースオーディオ信号を選択的に調整することによって拡張オーディオ信号を生成することと、拡張オーディオ信号を総外部マイクロフォン信号と結合して音響トランスデューサに出力することとを含む。
【0007】
更なる実装形態では、方法は、ソースオーディオ信号及び周囲騒音信号を取得することと、周囲騒音信号を予め定義された聴力閾値と比較することと、比較に応答して有効騒音信号を生成することと、有効騒音信号に基づいてソースオーディオ信号の音圧レベルを選択的に調整することによって拡張オーディオ信号を生成することと、拡張オーディオ信号を使用してヘッドフォンの音響トランスデューサを駆動することとを含む。
【0008】
更に他のアプローチでは、方法は、ウェアラブルオーディオデバイスに関連付けられたマイクロフォンから周囲騒音信号を受信することと、周囲騒音信号の音圧レベルに基づいて利得値を決定することと、利得値を周囲騒音信号に適用することによって利得調整された周囲騒音信号を生成することと、利得調整された周囲騒音信号を騒音低減周囲信号に加算することによって総外部マイクロフォン信号を生成することと、騒音制御信号に基づいてソースオーディオ信号を選択的に調整することによって拡張オーディオ信号を生成することと、拡張オーディオ信号を総外部マイクロフォン信号と結合して音響トランスデューサに出力することとを含む。
【0009】
実装形態は、以下の特徴のうちの1つ、又はそれらの任意の組み合わせを含み得る。
【0010】
様々な実装形態では、ソースオーディオ信号及び利得調整された周囲騒音信号から信号対騒音比(SNR)が決定され、拡張オーディオ信号を生成することは、SNRに基づいてソースオーディオ信号を選択的に調整することを含む。
【0011】
場合によっては、騒音制御信号を生成することは、周囲騒音信号のSPLに基づいて残留音成分を生成することと、残留音成分を利得調整された周囲騒音信号に加算することとを含む。
【0012】
特定の場合には、利得値は、SPL対利得値の対応関係を有するルックアップテーブルを用いて決定され、ルックアップテーブルは、それを下回ると利得値が1に設定される第1のSPL閾値と、それを上回ると利得値が0に設定される第2のSPL閾値と、利得値が1と0との間で変動する、第1のSPL閾値と第2のSPL閾値との間のSPL範囲とを含む。
【0013】
いくつかの例では、拡張オーディオ信号を生成することは、ソースオーディオ信号の複数の異なる周波数帯域の各々についてSPLを選択的に調整することを含む。
【0014】
他の例では、本方法は、ソースオーディオ信号及び利得調整された周囲騒音信号から信号対騒音比(SNR)を決定することを更に含み、SNRを決定することは、異なる周波数帯域の各々についてサブSNRを決定することを含み、ソースオーディオ信号の各異なる周波数帯域のSPLを選択的に調整することは、関連付けられたサブSNRに基づき、拡張オーディオ信号を生成することは、SNRに基づいて又は知覚マスキングのモデルに従って、ソースオーディオ信号を選択的に調整することを含む。いくつかの態様では、ソースオーディオ信号の各異なる周波数帯域のSPLを選択的に調整することは、より低い周波数帯域のためのサブSNRと重み付け方式で組み合わせられた関連するサブSNRに基づく。
【0015】
いくつかの例では、オーディオ信号の異なる周波数帯域は、低周波数帯域、中周波数帯域、及び高周波数帯域を含む。
【0016】
いくつかの態様では、低周波数帯域のSPLは、SNRが第1の閾値を満たすことに応答して増加される。低周波数帯域及び中周波数帯域のSPLは、SNRが第2の閾値を満たすことに応じて増加され、低周波数帯域、中周波数帯域、及び高周波数帯域のSPLは、SNRが第3の閾値を満たすことに応じて増加され、第3の閾値は第2の閾値よりも大きく、第2の閾値は第1の閾値よりも大きい。
【0017】
特定の態様では、周囲騒音信号を聴力閾値と比較することは、周囲騒音信号と聴力閾値との間の予め定義されたセットの周波数帯域の各々からのエネルギーレベルを比較することを含む。
【0018】
他の場合には、有効騒音信号を生成することは、予め定義されたセットの周波数帯域の異なる周波数帯域の各々について周囲騒音信号と聴力閾値との間の最大値を決定することと、予め定義されたセットの周波数帯域の各々の最大値を使用して有効騒音信号を提供することとを含む。
【0019】
本概要の項に記載される特徴を含む、本開示に記載される2つ以上の特徴は、本明細書に具体的に記載されていない実装形態を形成するために組み合わされ得る。
【0020】
1つ以上の実装形態の詳細が、添付図面及び以下の説明において記載される。他の特徴、目的、及び利点は、本説明及び図面から、並びに特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【0021】
【
図1】様々な実装形態による、オーディオレベリングを提供する、認識モード及びオーディオレベリング特徴を有する、ウェアラブルオーディオデバイスのブロック図である。
【
図2】様々な実装形態による、認識モードオーディオデバイスのブロック図である。
【
図3】様々な実装形態による、ヒアスルー特性グラフを示す。
【
図4】様々な実装形態による、ウェアラブルオーディオデバイスにおいて利用されるエキスパンダのブロック図である。
【
図5】様々な実装形態による、認識モードオーディオデバイスにおいて利用される強化エキスパンダのブロック図である。
【
図6】様々な実装形態による、認識モードオーディオデバイスの例示的なフォームファクタを示す。
【0022】
様々な実装形態の図面は、必ずしも縮尺どおりではないことに留意されたい。図面は、本開示の典型的な態様のみを示すことを意図するものであり、したがって、実装形態の範囲を限定するものとみなされるべきではない。図面において、同様の番号付けは、図面間の同様の要素を表す。
【発明を実施するための形態】
【0023】
様々な実装形態は、音響デバイスにおける能動騒音低減(ANR)の使用を可能にすると同時に、本明細書では「認識モード」と呼ばれる、ユーザが周囲の音を認識することを可能にする解決策を説明する。ANRヘッドフォンなどのウェアラブルANRデバイスは、ユーザの近くの環境騒音及び音(本明細書では「周囲騒音」と呼ばれる)の影響を低減することによって、潜在的に没入型のリスニング体験を提供するために使用される。しかしながら、周囲騒音の影響を遮断することによって、ANRデバイスは、環境から音響隔離を生成する可能性があり、これはいくつかの条件では望ましくない場合がある。例えば、空港で待機しているユーザは、ANRヘッドフォンを使用している間にフライトアナウンスを認識したい場合がある。別の例では、ANRヘッドフォンを使用して飛行中の機内の騒音を相殺する一方で、ユーザは、ヘッドフォンを外す必要なく、客室乗務員と通信できるようにしたい場合がある。
【0024】
周囲騒音の種類及び量が、デバイスが使用されている間に変化し得るという事実を含む、認識モードオーディオデバイスには、様々な技術的課題が存在する。バランスのとれたユーザ体験を提供するために、騒音低減の量は、周囲騒音を所望のレベルに保つように増加又は減少される必要があり得る。加えて、周囲騒音レベルが上昇するにつれて、ソースオーディオコンテンツは、ユーザの耳に到達する過剰な周囲騒音を補償するためにブーストされる必要があり得る。本明細書で説明されるアプローチは、バランスのとれたユーザ体験を提供するために、騒音消去の量及びブーストの量の両方を自動的に調整する認識モード自動レベラーを提供することによって、これら及び他の技術的課題に対処する。
【0025】
本明細書に開示される解決策は、多種多様なANRベースのウェアラブルオーディオデバイス、すなわち、ユーザの少なくとも一方の耳の近くでユーザによって少なくとも部分的に装着されて、少なくとも一方の耳に対するANR機能を提供するように構造化されたデバイスに適用可能であることが意図されることが理解される。ANR処理は、フィードバックベースのANR及びフィードフォワードベースのANRのいずれか又は両方を含み得る。例示的なウェアラブルオーディオデバイスは、ヘッドフォン、双方向通信ヘッドセット、イヤフォン、イヤバッド、補聴器、オーディオ眼鏡、無線ヘッドセット(「イヤセット」としても知られる)、及びイヤプロテクタを含み得る。
【0026】
更に、本明細書に開示される解決策は、双方向オーディオ通信、一方向オーディオ通信(すなわち、別のデバイスによって電子的に提供されるオーディオの音響出力)、又は通信なしを提供するウェアラブルオーディオデバイスに適用可能である。更に、本明細書に開示されることは、他のデバイスに無線で接続される、電気的及び/又は光学的に導電性のケーブルを介して他のデバイスに接続される、又はいずれの他のデバイスにも接続されていないウェアラブルオーディオデバイスに適用可能である。これらの教示は、1つ若しくは2つのイヤピース付きヘッドフォン、オーバーヘッドヘッドフォン、ビハインドネックヘッドフォン、通信マイクロフォン(例えば、ブームマイクロフォン)付きヘッドセット、インイヤ若しくはビハインドイヤ補聴器、無線ヘッドセット(すなわち、イヤセット)、オーディオ眼鏡、単独イヤフォン若しくは一対のイヤフォンだけでなく、帽子、ヘルメット、衣服、又は1つ若しくは2つのイヤピースを組み込んでオーディオ通信及び/又は耳保護を可能にする任意の物理的構造を含むが、それらに限定されない、ユーザの片耳又は両耳のいずれかの近くに着用されるように構成された物理的構造を有するウェアラブルオーディオデバイスに適用可能である。特定の実装形態の提示は、例の使用を通して理解を容易にするように意図されており、開示の範囲又は特許請求の範囲の適用範囲のいずれかを限定するものとして解釈されるべきではない。
【0027】
図1は、認識モード機能を適応的に管理するための自動レベラーを提供するANRベースのオーディオデバイス(「オーディオデバイス」)10の例示的な実装形態を示す。図示されるように、オーディオデバイス10は、ソースオーディオ信号18及び周囲騒音信号16を受信し、処理する。ソースオーディオ信号18は、任意の種類のオーディオコンテンツ、例えば、ストリーミング音楽、電話通信、オーディオビジュアルソースからのオーディオフィード、ストリーミングポッドキャスト、オーディオ録音などを含み得る。周囲騒音信号16は、例えば、ANRフィードフォワード(すなわち、外部)マイクロフォン、又はユーザの近くの周囲騒音を補足するように適応された任意の他のマイクロフォン若しくはマイクロフォンのアレイによって補足された任意の種類の環境騒音を含み得る。いくつかの実装形態では、オーディオデバイス10は、(1)本明細書で「総外部マイクロフォン信号」34と呼ばれる結果信号である周囲騒音信号16の一部又は全部を適応的に送る第1の処理システム12と、(2)ソースオーディオ信号18を適応的にブーストして拡張騒音信号36を生成する第2の処理システム14とを含む。第1の処理システム12及び第2の処理システム14は共に動作して、変化する周囲騒音条件下でバランスのとれたユーザ体験を提供する自動レベラーを適応的に実装する。
図1に示される例示的デバイス10では、生成された総外部マイクロフォン信号34、拡張騒音信号36、及びフィードバックバック信号33(ANRフィードバックフィルタK
fb32及び関連付けられたANRフィードバックマイクロフォン31によって生成される)は結合され、音響トランスデューサ20に出力される。この結果、オーディオデバイス10は、ユーザが周囲の認識、聴覚的快適さ、及びメディアの楽しさの望ましいバランスを達成することを可能にする。
【0028】
いくつかの例示的なアプローチでは、第1の処理システム12は、騒音低減経路21を介して騒音低減周囲信号17を生成するANRフィルタ(Knc)22と、パススルー信号経路23を介して利得調整された周囲騒音信号25を生成する変調器24とを含む。いくつかのアプローチでは、パススルー信号経路23を介して周囲騒音信号16に適用される利得の量は、周囲騒音信号16の音圧レベル(SPL)に基づく。図示の例では、利得調整された周囲騒音信号25は、フィルタKfb32によって提供されるフィードバックベースのANRと協調して動作するように外部マイクロフォン信号を整形するパススルーフィルタ(Kaw)26によって更に処理される。いくつかの態様では、Kaw26は、例えば、信号16が遮られておらず、ユーザがヘッドセットを装着していないかのように自然に聞こえるように、周囲騒音信号16のスペクトルを等化する。Kaw26はまた、ドライバ20から周囲騒音信号16を受信する外部マイクロフォンまでの任意の音響経路について安定性基準が満たされることを確実にする。
【0029】
結果として生じる騒音低減された周囲信号17及び利得調整された周囲騒音信号25は、結合されて総外部マイクロフォン信号34を生成する。
【0030】
図2は、利得調整された周囲騒音信号25を生成するための例示的な変調器24を示し、変調器24は、計算された利得値46に基づいて周囲騒音信号16を調整する可変利得増幅器48を含む。いくつかのアプローチでは、利得値46は、(1)例えば、A重み付けを使用して周囲騒音信号16のSPLを測定するエネルギー計算器40と、(2)対応するSPLに基づいて利得レベルを決定する利得ルックアップテーブル42と、(3)例えば、ルックアップテーブルから得られた利得レベルを平滑化することによって利得値46を生成するフィルタ44とを用いて決定される。フィルタ44は、利得信号の弾道を制御して、認識モード信号が急速に上下にジャンプしないように確保し、長い時定数での滑らかな変化を可能にする。
【0031】
いくつかの実装形態では、変調器24は、1つ以上の閾値条件に従って増幅器48を制御するように構成することができる。閾値条件は、予め設定するか、又はユーザ入力に応じて設定することができる。いくつかの実装形態では、変調器24が、周囲騒音信号16が特定の閾値を下回ると決定した場合、利得値46は、パススルー信号経路23の利得が実質的に1に等しくなるように増幅器48を制御する。これにより、ユーザは周囲の音をほとんど又は全く減衰させずに聞くことができる。いくつかの実装形態では、変調器24が、周囲騒音信号16が特定の閾値以上であると決定した場合、利得値46は、パススルー信号経路23の全体利得が1未満であり、ANRフィルタ22(
図1)の出力が耳において周囲騒音信号16の減衰をもたらすように、増幅器48を制御するように構成することができる。これにより、ユーザは、騒音が閾値を下回るときに環境騒音及び音を認識することができるが、騒音が閾値を超えたときにデバイス10のANR機能を利用して、例えば、車両音、サイレン又は機械音などの大きな音が不快に大きくならないようにすることができる。
【0032】
図3は、周囲騒音信号16の関数として利得調整された周囲信号25のレベルを示す例示的なグラフを示す。この場合、利得調整された周囲信号25は、周囲騒音信号16の2つの閾値レベル64、66に基づいて利得調整された周囲信号25の量を変更する変調器24によって制御される。周囲騒音信号16が第1の閾値64を下回ると、利得調整された周囲信号25は、周囲騒音信号16に実質的に低減が適用されずに送られる(例えば、利得値が1に設定される)。周囲騒音信号16が第1の閾値64を上回るが、第2の閾値66を下回るとき、利得調整された周囲信号25は、実質的に一定のレベルに保持される、すなわち、周囲騒音信号16が増加されるにつれて、利得は低減され、耳において実質的に一定の音圧レベルを維持する(例えば、利得値は、1と0との間で変動する)。周囲騒音信号16が第2の閾値66を上回るとき、利得調整された周囲信号25は最小に設定される(例えば、利得値は0に設定される)。代替的なアプローチでは、曲線62は、第1の閾値64と第2の閾値66との間の傾きが0よりも大きくなり得る圧縮機で達成され得ることに留意されたい。
【0033】
第1の処理システム12に関する態様は、2019年5月2日に公開された米国特許出願公開第2019/0130928号「Compressive Hear-Through In Personal Acoustic Devices」に更に記載されており、その全体が参照により本明細書に組み込まれる。
【0034】
本明細書で述べたように、特定の実装形態では、第1の処理システム12の1つの目的は、聴取者に送られるべき周囲騒音の量を決定することである。
図1及び
図2で説明したものに対する代替的アプローチでは、パススルー経路23における利得値46を制御するのではなく(又はそれに加えて)、フィードフォワードフィルタK
nc22及び/又はフィードバックフィルタK
fb32を変化させることによって騒音低減の量を制御することができる。このように騒音消去信号を減少させることによって、K
aw26は、全ての能動騒音低減成分を克服する必要はなく、小さな受動騒音低減成分(複数可)のみを克服する必要がある。
【0035】
再び
図1及び
図2を参照すると、総外部マイクロフォン信号34を生成することに加えて、第1の処理システム12はまた、騒音制御信号27を第2の処理システム14に出力する。特定のアプローチでは、第2の処理システム14は、ソースオーディオ信号18と周囲騒音信号16(又はそこから導出される信号)のSPLとの比較に少なくとも部分的に基づいて、ソースオーディオ信号18のSPLを自動的に調整して、拡張オーディオ信号36を生成する。このようにして、周囲騒音がより大きくなると、オーディオデバイス10のオーディオ出力は自動的により大きくなるように調整される。周囲騒音が、例えばより低いSPLを有するより静かな環境に変化すると、オーディオ出力の音量が低減される。様々なアプローチでは、騒音制御信号27は、どのくらいの周囲騒音が環境内に存在するかを反映し、どのくらいのSPL拡張がソースオーディオ信号18に適用されるべきかを決定するために利用される。場合によっては、第2の処理システム14はまた、ソースオーディオ信号18を最初に処理する、例えば、システムによって処理された後に耳において何らかの標的に当たるように周波数応答を調整するイコライザ(Keq)28を含む。
【0036】
いくつかの例では、騒音制御信号27は、変調器24によって生成された利得調整された周囲騒音信号25に基づく。
図2に示される例示的な変調器24では、騒音制御信号27は、利得調整された周囲騒音信号25と、K
TIG50によって生成される残留音成分(RSC)52との組合せである。特定の場合には、K
TIG50は、全ANRであっても耳に届く残留音をモデル化するために外部音を減衰させるフィルタである。この場合、利得調整された周囲騒音信号25は0であり、騒音低減周囲信号17は非0である。したがって、合計、すなわち総外部マイクロフォン信号34は0にはならない。したがって、RSC52は、音が実際に外部で大きく、総外部マイクロフォン信号34が本質的に遮断されるときに耳で受信されるSPLを提供する。他のアプローチでは、フィルタとして実装されるのではなく、K
TIG50を単にスカラー利得として実装して、RSC52を提供することができる。
【0037】
図4は、信号対騒音比(SNR)計算器70が、適応可能オーディオエキスパンダ72を制御するためのサイドチェーン入力74を生成するために利用されるエキスパンダ30の例示的な実施形態を示す。特定の場合では、SNR計算器70は、ソースオーディオ信号18と騒音制御信号27(場合によっては、利得調整された周囲騒音信号25を少なくとも部分的に含む)の両方を受信し、SNR値を計算し、サイドチェーン入力74を出力する。サイドチェーン入力74は、計算されたSNR値自体、又はSNR値から導出された値から構成され得る。SNR計算器70は、騒音信号に対してソースオーディオ信号を評価し、例えば、比、差、1つ以上の導出値などを含み得るサイドチェーン値74を出力するための任意のシステムを含み得る。それにもかかわらず、適応可能オーディオエキスパンダ72は、ソースオーディオ信号18の拡張を制御するために、すなわち、拡張オーディオ信号36を生成する際に、サイドチェーン入力74を使用する。特定の場合には、SNR値が高いほど、適応可能オーディオエキスパンダ72によってより多くのSPLブーストが提供される。
【0038】
上記の実装形態では、騒音制御信号27は、少なくとも部分的に、利得調整された周囲騒音信号25を含む。代替的アプローチでは、利得調整された周囲騒音信号25を使用してSNR値(
図1)を計算するのではなく、騒音制御信号27は、周囲騒音信号16の1つ以上のスペクトル特性を捕捉又は予測する計算値を含むことができる。特定の場合には、周囲騒音信号16及び/又は総外部マイクロフォン信号34から導出されるSPL又は他の情報は、例えば、予め計算されたメトリックの表を使用する信号プロセッサ、音響環境を評価する機械学習システムなどによって分析され、1つ以上のスペクトル特性値を生成することができる。結果として生じる値(複数可)は、次に、適応可能なオーディオエキスパンダ72に直接送ることができ、適応可能なオーディオエキスパンダ72は、その値(複数可)を利用して、ソースオーディオ信号18を適応的にブーストすることができる。したがって、騒音制御信号27は、環境内の周囲騒音の量を捕捉、予測、予想などを行う任意の種類の情報又は信号を含むことができる。
【0039】
様々な実装形態によれば、エキスパンダ30によって提供されるSPL拡張の量又は種類は、いくつかの要因に基づき得る。場合によっては、拡張は、サイドチェーン入力74の閾値レベルに基づく。特定の場合には、SPLにおける異なる量のブーストが、任意の数の異なる周波数帯域に適用される。一例では、異なるブーストが、低(すなわち、低周波数)、中(すなわち、中周波数)、及び/又は高(すなわち、高周波数)帯域に適用される。一例では、低周波数帯域は、100Hz未満のより低い周波数を指し、中周波数帯域は、100Hzと4kHzとの間の周波数を指し、高周波数帯域は、4kHzを超えるより高い周波数を指す。様々な実装形態によれば、低帯域周波数に適用されるSPLブーストは、中帯域周波数に適用されるSPLブーストよりも大きく、中帯域周波数に適用されるSPLブーストは、高帯域周波数に適用されるSPLブーストよりも大きい。
【0040】
場合によっては、低周波数帯域のSPLは、SNRが第1の閾値を満たすことに応答して増加される。低周波数帯域及び中周波数帯域のSPLは、SNRが第2の閾値を満たすことに応じて増加され、低周波数帯域、中周波数帯域、及び高周波数帯域のSPLは、SNRが第3の閾値を満たすことに応じて増加され、第3の閾値は第2の閾値よりも大きく、第2の閾値は第1の閾値よりも大きい。
【0041】
表1は、周波数範囲に基づいて音楽オーディオに適用されるdB単位の例示的なSPLブースト値を提供する。音楽は、ユーザの耳において推定される70dBの一定のSPLを有する。周囲騒音(騒音制御信号27から得られる)は、5dB刻みで50dBから65dBまで増加する。フィードバック経路がないか又は実質的にないので、周波数範囲毎に適用されるSPLブーストは、ユーザの耳における推定音楽SPLの増加(又は実質的な増加)をもたらさない。SPLの増減は、周波数範囲毎に独立して制御される。表1に示すように、低帯域周波数のSPLは中帯域周波数のSPLよりもブーストされており、中帯域周波数のSPLは高帯域周波数のSPLよりもブーストされている。それに対応して、周囲騒音が例えば65dBから50dBに減少する(すなわち、SNRが増加する)とき、低帯域周波数のSPLは、中帯域周波数のSPLよりも減少し、中帯域周波数のSPLは、高帯域周波数のSPLよりも減少する。更に、各帯域における最大許容利得にいくつかの制限を設けることができる。
【0042】
【0043】
いくつかのアプローチでは、サブSNRは、SNR計算器70によって周囲騒音信号及び利得調整された周囲騒音信号から異なる周波数帯域について決定される。したがって、例えば、サブSNRは、3つのサイドチェーン入力値74を生成するために、低帯域、中帯域、及び高帯域について決定され得る。次いで、ソースオーディオ信号18の各異なる周波数帯域のSPLは、関連するサブSNRに基づいて、適応可能なオーディオエキスパンダ72によって選択的に調整される。
【0044】
エキスパンダを実装するための関連する態様は、2020年5月7日に公開された「Ambient Volume Control in Open Audio Devices」と題する米国特許出願公開第2020/0143790号に記載されており、その内容は、参照によりその全体が本明細書に組み込まれる。
【0045】
図5を参照すると、拡張オーディオ信号38をソースオーディオ信号18から生成するための強化エキスパンダ80が示されている。このアプローチでは、SNR計算器70は、比較器82によって生成された有効騒音信号86を利用して、オーディオエキスパンダ72へのサイドチェーン入力74を決定する。特定のアプローチでは、比較器82は、周囲騒音信号16のエネルギーレベルを、ユーザの予め定義された聴力閾値84の聴力図と比較し、2つの最大値を有効騒音信号86として使用する。予め定義された聴力閾値84を使用することによって、ユーザは、十分に音が大きい場合のみ(すなわち、周波数に応じて)コンテンツを聞き、(この場合も周波数に応じて)音は騒音によってマスクされない。したがって、聴力損失又は周囲の音によるマスキングは等価であり、聴取者が全スペクトル音を知覚することを確実にするために同じ方法を使用することができる。
【0046】
場合によっては、比較器82は、周波数帯域の予め定義されたセット又は範囲全体のエネルギーレベルを比較する。予め定義された周波数帯域が比較される特定の場合では、周波数帯域の予め定義されたセットの各々の比較の最大値は、有効騒音信号86を提供するために組み合わされる。予め定義された周波数帯域が比較される他の場合には、周波数帯域の予め定義されたセットの各々の比較の最大値を使用して、SNR計算器70によってサブSNRを決定することができる。結果として生じるサブSNRは、個々の周波数帯域の拡張を制御するために、オーディオエキスパンダ72によって使用することができる。(様々な場合において、最大値は、所与の範囲内又はドメイン全体のいずれかにおける信号の最大値である)。
【0047】
強化エキスパンダ80は、第1の処理システム12(
図1)とは別個に実装されてもよいし、第1の処理システム12と一体化されてもよいことが理解される。エキスパンダ80が第1の処理システム12と一体化される場合、周囲騒音信号16は、利得調整された周囲騒音信号25、又は周囲騒音信号16から導出された他の騒音制御信号27を含み得る。別個に実装されるとき、周囲騒音信号16は、例えば、任意の外部マイクロフォンから取得され得る。
【0048】
様々な実装形態に従って図示され記載されるデバイス10は、ユーザの耳のうちの少なくとも一方の近傍にオーディオ出力を提供するためにユーザによって装着されるように構造化され得ると理解されたい。デバイス10は、ユーザの片耳のみにオーディオを提供するために単一のイヤピースを組み込んだ構成、ユーザの両耳にオーディオを提供するための一対のイヤピースを組み込んだ他の構成、ユーザの周囲の環境にオーディオを提供するために1つ以上のスタンドアロンスピーカを組み込んだ他の構成など、いくつかのフォームファクタのうちのいずれかを有し得る。
【0049】
図6は、2つのイヤフォン112A及び112Bを有するインイヤウェアラブルオーディオデバイス100の一実施例のブロック図であり、各イヤフォンはユーザの耳に向けて音を伝えるように構成されている。(「A」又は「B」と付けられた参照番号は、2つのイヤフォンのうちの特定の1つと確認された機能が一致していることを示す。しかしながら、簡略化のために文字表示は以下の説明から省略されており、例えば、イヤピース112は、イヤピース112A及びイヤピース112Bのいずれか又は両方を指す)。各イヤピース112は、ユーザにオーディオ信号を出力するための電気音響トランスデューサ128を収容する空洞116を画定するケース114を含む。加えて、少なくとも1つの内側マイクロフォン118も空洞116内に配置される。ウェアラブルオーディオデバイス100が耳に装着可能である実装形態では、ケース114に取り付けられたイヤカップリング120(例えば、イヤチップ又はイヤクッション)が、空洞116への開口部を取り囲む。通路122が、イヤカップリング120を貫通して形成され、開口部で空洞116に連通する。様々な実装形態では、1つ以上の外側マイクロフォン124が、ケース112の外部の環境への音響結合を可能にする方法でケース上に配置されている。
【0050】
ソースオーディオ信号及び総外部マイクロフォン信号の両方を含む、変換器128によるオーディオ出力は、本明細書に説明される第1及び第2の処理システム12、14を組み込む、オーディオ処理システム130によって実装される。オーディオ処理システム130は、一方又は両方のイヤピース112に統合されてもよく、又は外部システムによって実装されてもよい。オーディオ処理システム130が外部システムによって実装される場合、各イヤピース112は、有線構成又は無線構成のいずれかでオーディオ処理システム130に結合され得る。様々な実装形態では、オーディオ処理システム130は、例えば、電源、増幅、入力/出力、ネットワークインターフェース、ユーザ制御機能、ANR、信号処理、データ記憶、データ処理、音声検出などを提供することを含む、ウェアラブルオーディオデバイス100の動作をサポートするための様々な特徴を提供するためのハードウェア、ファームウェア、及び/又はソフトウェアを含み得る。
【0051】
オーディオ信号を強化するためのANRを含む実装形態では、内側マイクロフォン118はフィードバックマイクロフォンとして機能し得、外側マイクロフォン124はフィードフォワードマイクロフォンとして機能し得る。そのような実装形態では、各イヤフォン112は、内側マイクロフォン118及び外側マイクロフォン124と通信するANR回路を利用し得る。ANR回路は、内側マイクロフォン118が生成した内部信号及び外側マイクロフォン124が生成した外部信号を受信し、対応するイヤフォン112に対してANR処理を行う。このプロセスは、空洞116内に配置された電気音響トランスデューサ(例えばスピーカ)128に信号を供給して、イヤフォン112の外部にある1つ以上の音響騒音源からの音を低減させ、又はその音がユーザに聞こえないように実質的に防止する騒音防止音響信号を生成することを含む。
【0052】
記載されるシステムの機能のうちの1つ以上は、ハードウェア及び/又はソフトウェアとして実装され得、様々な構成要素は、任意の従来の手段(例えば、有線及び/又は無線接続)によって構成要素を接続する通信経路を含み得ることが理解される。例えば、1つ以上の不揮発性デバイス(例えば、フラッシュメモリデバイスなどの集中型又は分散型デバイス)は、1つ以上の記載されたデバイスのシステムのプログラム、アルゴリズム、及び/又はパラメータを記憶及び/又は実行することができる。また、本明細書に記載される機能性又はその部分、及びその様々な修正(以下「機能」)は、少なくとも部分的にコンピュータプログラム製品(例えば、1つ以上のデータ処理装置(例えば、プログラム可能プロセッサ、コンピュータ、複数のコンピュータ、及び/又はプログラム可能論理構成要素など)の動作による実行のための、又はその動作を制御するための、1つ以上の非一時的機械可読媒体などの情報担体において有形に具現化されたコンピュータプログラム)を介して実装され得る。
【0053】
コンピュータプログラムは、コンパイル型言語又はインタプリタ型言語を含む任意の形態のプログラム言語で書き得るが、それは、独立型プログラムとして、又はコンピューティング環境での使用に好適なモジュール、構成要素、サブルーチン若しくは他のユニットとして含む任意の形態で配設され得る。コンピュータプログラムは、1つのコンピュータ上で、若しくは1つの設置先における複数のコンピュータ上で実行されるように配設され得るか、又は複数の設置先にわたって配信されて、ネットワークによって相互接続され得る。
【0054】
機能の全部又は一部を実行することと関連付けられたアクションは、機能を実施するために1つ以上のコンピュータプログラムを実行する1つ以上のプログラム可能なプロセッサによって実施され得る。機能の全部又は一部は、特殊目的論理回路、例えば、FPGA(field programmable gate array、フィールドプログラマブルゲートアレイ)及び/又はASIC(application-specific integrated circuit、特定用途向け集積回路)として実装され得る。コンピュータプログラムの実行に好適なプロセッサとしては、例として、汎用マイクロプロセッサ及び特殊目的マイクロプロセッサの両方並びに任意の種類のデジタルコンピュータの任意の1つ以上のプロセッサが挙げられる。一般に、プロセッサは、読み出し専用メモリ、ランダムアクセスメモリ、又はそれらの両方から命令及びデータを受信し得る。コンピュータの構成要素は、命令を実行するためのプロセッサ並びに命令及びデータを記憶するための1つ以上のメモリデバイスを含む。
【0055】
本明細書で説明される実装形態は、入力信号を収集するためにマイクロフォンシステムを利用するが、任意のタイプのセンサ、例えば、加速度計、温度計、光学センサ、カメラなどが、入力信号を収集するためにマイクロフォンシステムとは別個に又はそれに加えて利用され得ることが理解されることに留意されたい。
【0056】
更に、本明細書に記載の機能の全て又は一部を実装することに関連付けられたアクションは、1つ以上のネットワーク化されたコンピューティングデバイスによって実行され得る。ネットワーク化コンピューティングデバイスは、ネットワーク、例えば、ローカルエリアネットワーク(local area network、LAN)、広域ネットワーク(wide area network、WAN)、パーソナルエリアネットワーク(personal area network、PAN)、インターネット接続デバイス、及び/又はネットワークなどの1つ以上の有線及び/又は無線ネットワーク、及び/又はクラウドベースのコンピューティング(例えば、クラウドベースのサーバ)を介して接続することができる。
【0057】
様々な実装形態では、「連結された」と記載される電子構成要素は、これらの電子構成要素が互いにデータを通信することができるように、従来の有線及び/又は無線手段を介してリンクさせることができる。更に、所与の構成要素内の下位構成要素は、従来の経路を介してリンクされていると考えることができるが、必ずしも図示されない。
【0058】
複数の実装形態を説明してきた。それにもかかわらず、本明細書に記載される本発明の概念の範囲から逸脱することなく追加の改変を行うことができ、したがって、他の実装形態も以下の特許請求の範囲の範疇にあることが理解される。
【符号の説明】
【0059】
10 デバイス
12 第1の処理システム
14 第2の処理システム
16 周囲騒音信号
17 騒音低減周囲信号
18 ソースオーディオ信号
20 音響トランスデューサ
20 ドライバ
21 騒音低減経路
22 ANRフィルタ
23 パススルー信号経路
24 変調器
25 周囲騒音信号
26 パススルーフィルタ(Kaw)
27 騒音制御信号
28 イコライザ(Keq)
30 エキスパンダ
31 ANRフィードバックマイクロフォン
33 フィードバックバック信号
34 総外部マイクロフォン信号
36 拡張オーディオ信号
38 拡張オーディオ信号
40 エネルギー計算器
42 利得ルックアップテーブル
44 フィルタ
46 利得値
48 増幅器
52 残留音成分(RSC)
62 曲線
64 第1の閾値
66 第2の閾値
70 SNR計算器
72 適応可能オーディオエキスパンダ
74 サイドチェーン入力
80 エキスパンダ
82 比較器
84 聴力閾値
86 有効騒音信号
100 インイヤウェアラブルオーディオデバイス
112 イヤピース
114 ケース
116 空洞
118 内側マイクロフォン
120 イヤカップリング
122 通路
124 外側マイクロフォン
128 電気音響トランスデューサ
130 オーディオ処理システム
【国際調査報告】