(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024167206
(43)【公開日】2024-12-03
(54)【発明の名称】アクティブノイズ低減デバイスのための計算アーキテクチャ
(51)【国際特許分類】
G10K 11/178 20060101AFI20241126BHJP
H04R 1/10 20060101ALI20241126BHJP
【FI】
G10K11/178 110
H04R1/10 101Z
H04R1/10 104Z
【審査請求】有
【請求項の数】20
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2024124926
(22)【出願日】2024-07-31
(62)【分割の表示】P 2022548768の分割
【原出願日】2021-02-10
(31)【優先権主張番号】16/788,365
(32)【優先日】2020-02-12
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.ブルートゥース
(71)【出願人】
【識別番号】591009509
【氏名又は名称】ボーズ・コーポレーション
【氏名又は名称原語表記】BOSE CORPORATION
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】リカルド・フェデリコ・カレーラス
(72)【発明者】
【氏名】マイケル・ピー・オコンネル
(72)【発明者】
【氏名】クリストファー・ジェイ・ムルハーン
(72)【発明者】
【氏名】ジョセフ・エイチ・キャッテル
(57)【要約】 (修正有)
【課題】異なるアクティブノイズ低減(ANR)処理機能を効率的に処理するためのANR計算アーキテクチャを提供する。
【解決手段】ANRデバイス10は、通信インターフェースであるブルートゥースシステム12と、音響ドライバ26と、マイクロホンシステム28と、DSPシステム14と、を含む。DSPシステムは、音声ストリーム32及びマイクロホンシステムからの信号を受信し、パラメータのセットに従ってANRを実行し、処理された音声ストリーム34を出力する第1のDSP20と、ソース音声ストリームの分析、マイクロホンシステムからの信号及び処理された音声ストリームの分析に応答して状態データを生成し、第1のDSP上の動作パラメータを変更する第2のDSP22と、制御信号40をブルートゥースシステムと通信し、第2のDSPからの状態データを処理し、第1のDSP上のパラメータを変更する汎用プロセッサ24を含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
個人用アクティブノイズ低減(ANR)デバイスであって、
ソース音声ストリーム及び制御信号を受信するように構成された通信インターフェースと、
ドライバと、
マイクロホンシステムと、
ANR計算アーキテクチャであって、
前記マイクロホンシステムから前記ソース音声ストリーム及び信号を受信するように構成された第1のDSPプロセッサであって、前記第1のDSPプロセッサに導入された動作パラメータのセットに従って、前記ソース音声ストリーム上でANRを実行し、処理された音声ストリームを前記ドライバに出力する、第1のDSPプロセッサと、
前記ソース音声ストリーム、前記マイクロホンシステムからの信号、及び前記処理された音声ストリームのうちの少なくとも1つの分析に応答して、状態データを生成し、前記第1のDSPプロセッサ上の前記動作パラメータのセットを変更するように構成された、第2のDSPプロセッサと、
を備える、ANR計算アーキテクチャと、
前記第1のDSPプロセッサ及び前記第2のDSPプロセッサに動作可能に結合された汎用プロセッサであって、前記通信インターフェースと制御信号を通信し、前記第2のDSPプロセッサからの状態データを処理し、前記第1のDSPプロセッサ上の前記動作パラメータのセットを変更するように構成された、汎用プロセッサと、
を備える、個人用ANRデバイス。
【請求項2】
前記動作パラメータが、フィルタ係数、圧縮器設定、信号ミキサ、ゲイン条件、及び信号ルーティングオプションからなる群から選択される、請求項1に記載の個人用ANRデバイス。
【請求項3】
前記第2のDSPプロセッサによって生成された前記状態データが、前記処理された音声ストリームで検出されたエラー状況を含む、請求項1に記載の個人用ANRデバイス。
【請求項4】
前記第2のDSPプロセッサによって生成された前記状態データが、前記処理された音声ストリームで検出された周波数領域過負荷状況を含む、請求項1に記載の個人用ANRデバイス。
【請求項5】
前記第2のDSPプロセッサによって生成された前記状態データが、前記マイクロホンシステム及び処理された音声ストリームから検出された音圧レベル(SPL)情報を含む、請求項1に記載の個人用ANRデバイス。
【請求項6】
前記汎用プロセッサが、電力を節約するためのスリープモードを含み、前記スリープモードが、前記第1のDSPプロセッサ、第2のDSPプロセッサ、及び前記通信インターフェースのうちの少なくとも1つによって起動されるように構成されている、請求項1に記載の個人用ANRデバイス。
【請求項7】
前記汎用プロセッサが、前記第2のDSPプロセッサから受信された前記状態データに機械学習を適用するように更に構成されている、請求項1に記載の個人用ANRデバイス。
【請求項8】
前記汎用プロセッサが、時間ベースの信号に機械学習を適用するように更に構成されている、請求項7に記載の個人用ANRデバイス。
【請求項9】
前記動作パラメータが、フィルタ係数を含み、前記汎用プロセッサが、前記第1のDSPプロセッサに更新されたフィルタ係数を計算及びインストールするように更に構成されている、請求項1に記載の個人用ANRデバイス。
【請求項10】
前記汎用プロセッサが、前記状態データを評価して、前記個人用ANRの損傷状態を特定するように更に構成されている、請求項1に記載の個人用ANRデバイス。
【請求項11】
アクティブノイズ低減(ANR)計算アーキテクチャであって、
ソース音声ストリームを受信し、第1のDSPプロセッサに導入された動作パラメータのセットに従って、前記ソース音声ストリーム上でANRを実行し、処理された音声ストリームを出力する、ように構成された第1のDSPプロセッサと、
前記ソース音声ストリーム、マイクロホン入力、及び前記処理された音声ストリームのうちの少なくとも1つの分析に応答して、状態データを生成し、前記第1のDSP内の前記動作パラメータのセットを変更するように構成された、第2のDSPプロセッサと、
前記第1のDSPプロセッサ及び前記第2のDSPプロセッサに動作可能に結合された汎用プロセッサであって、通信インターフェースと制御信号を通信し、前記第2のDSPプロセッサからの状態データを処理し、前記第1のDSPプロセッサ内の前記動作パラメータのセットを変更するように構成された、汎用プロセッサと、
を備える、ANR計算アーキテクチャ。
【請求項12】
前記動作パラメータが、フィルタ係数、圧縮器設定、信号ミキサ、ゲイン条件、及び信号ルーティングオプションからなる群から選択される、請求項11に記載のANR計算アーキテクチャ。
【請求項13】
前記第2のDSPプロセッサによって生成された前記状態データが、前記マイクロホン入力及び処理された音声ストリームで検出されたエラー状況を含む、請求項11に記載のANR計算アーキテクチャ。
【請求項14】
前記第2のDSPプロセッサによって生成された前記状態データが、前記処理された音声ストリームで検出された周波数領域過負荷状況を含む、請求項11に記載のANR計算アーキテクチャ。
【請求項15】
前記第2のDSPプロセッサによって生成された前記状態データが、前記処理された音声ストリームから検出された音圧レベル(SPL)情報を含む、請求項11に記載のANR計算アーキテクチャ。
【請求項16】
前記汎用プロセッサが、電力を節約するためのスリープモードを含み、前記スリープモードが、前記第1のDSPプロセッサ、第2のDSPプロセッサ、及び前記通信インターフェースのうちの少なくとも1つによって起動されるように構成されている、請求項11に記載のANR計算アーキテクチャ。
【請求項17】
前記汎用プロセッサが、前記第2のDSPプロセッサから受信された前記状態データに機械学習を適用するように更に構成されている、請求項11に記載のANR計算アーキテクチャ。
【請求項18】
前記汎用プロセッサが、時間ベースの信号に機械学習を適用するように更に構成されている、請求項17に記載のANR計算アーキテクチャ。
【請求項19】
前記汎用プロセッサが、前記第1のDSPプロセッサに更新されたフィルタ係数を計算及びインストールするように更に構成されている、請求項11に記載のANR計算アーキテクチャ。
【請求項20】
前記汎用プロセッサが、状態データを評価して、損傷状態を特定し、前記通信インターフェースを介して前記損傷状態を外部デバイスに通信するように更に構成されている、請求項11に記載のANR計算アーキテクチャ。
【発明の詳細な説明】
【技術分野】
【0001】
(優先権の主張)
本出願は、2020年2月12日に出願された米国特許出願第16/788,365号に対する優先権を主張し、この特許出願は、その全体が参照により本明細書に組み込まれる。
【0002】
(発明の分野)
本開示は、概して、個人用アクティブノイズ低減(ANR)デバイスに関する。より具体的には、本開示は、異なるANR処理機能を効率的に処理するための計算アーキテクチャに関する。
【背景技術】
【0003】
ユーザの耳を不要な環境音から隔離する目的で、ユーザの耳の周りに装着される個人用ANRデバイスのヘッドホン及び他の物理的構成が一般的になっている。ANRヘッドホンは、ノイズ防止信号のアクティブな生成によって不要な環境ノイズに対抗する。これらのANRヘッドホンは、ユーザの耳を環境ノイズから物理的に隔離するだけのパッシブノイズ低減(PNR)ヘッドセットとは対照的である。ユーザにとって特に関心が高いのは、音声リスニング機能を組み込むことによって、不要な環境ノイズを侵入させずに、ユーザが電子的に提供された音声(例えば、録音された音声又は別のデバイスから受信された音声の再生)を聴くことを可能にするANRヘッドホンである。
【0004】
ANRデバイスがより普及するにつれて、性能を高め、より堅牢な特徴を追加する需要が、より複雑な計算要件の必要性を高める。例えば、最先端の信号処理を提供することに加えて、ANRデバイスには、強化された特徴、例えば、複数のI/Oポート(例えば、ブルートゥース、USBなど)、高品質の電話サービス、ノイズレベル制御管理、イベント処理、ユーザ体験コマンド処理などを提供するタスクが課せられる。計算要件の増加と共に、より複雑なハードウェアがANRデバイスに追加されるため、コスト及び電力消費の両方が増加する。
【発明の概要】
【課題を解決するための手段】
【0005】
下記で言及される全ての例及び特徴は、任意の技術的に可能な方式で組み合わせることができる。
【0006】
ANRデバイスの異なるANR処理機能を効率的に処理するための計算アーキテクチャを説明するシステム及び方法が開示される。
【0007】
いくつかの実装形態では、記載される計算アーキテクチャは少なくとも3つの別個のプロセッサを含み、各プロセッサが個々のプロセッサに適した計算機能のセットを実行するように構成されている。このような場合、アーキテクチャは、タスクの要件(例えば、優先度、速度、メモリリソース)と整合するプロセッサによって、様々なタイプの要求される機能を処理することを可能にする。異なるプロセッサの間で機能を分割することにより、計算効率が得られ、消費電力が低減される。
【0008】
一態様は、個人用アクティブノイズ低減(ANR)デバイスであって、ソース音声ストリーム及び制御信号を受信するように構成された通信インターフェースと、ドライバと、マイクロホンシステムと、ANR計算アーキテクチャと、を含む、ANRデバイスを提供する。
【0009】
特定の実装形態では、ANR計算アーキテクチャは、マイクロホンシステムからソース音声ストリーム及び信号を受信するように構成された第1のDSPプロセッサであって、第1のDSPプロセッサに導入された動作パラメータのセットに従って、ソース音声ストリーム上でANRを実行し、処理された音声ストリームをドライバに出力する、第1のDSPプロセッサと、ソース音声ストリーム、マイクロホンシステムからの信号、及び処理された音声ストリームのうちの少なくとも1つの分析に応答して状態データを生成し、第1のDSPプロセッサ上で動作パラメータのセットを変更する第2のDSPプロセッサと、第1のDSPプロセッサ及び第2のDSPプロセッサに動作可能に結合された汎用プロセッサであって、通信インターフェースと制御信号を通信し、第2のDSPプロセッサからの状態データを処理し、第1のDSPプロセッサ上の動作パラメータセットを変更するように構成されている、汎用プロセッサと、を含む。
【0010】
実装形態は、以下の特徴のうちの1つ、又はそれらの任意の組み合わせを含み得る。
【0011】
特定の態様では、動作パラメータは、フィルタ係数、圧縮器設定、信号ミキサ、ゲイン条件、及び信号ルーティングオプションからなる群から選択される。
【0012】
他の態様では、第2のDSPプロセッサによって生成された状態データは、処理された音声ストリームで検出されたエラー状況を含む。
【0013】
更なる態様では、第2のDSPプロセッサによって生成された状態データは、処理された音声ストリームで検出された周波数領域過負荷状況を含む。
【0014】
いくつかの実装形態では、第2のDSPによって生成された状態データは、マイクロホンシステム及び処理された音声ストリームから検出された音圧レベル(SPL)情報を含む。
【0015】
更なる実装形態では、通信インターフェースは、ブルートゥースシステムを含む。
【0016】
特定の場合では、汎用プロセッサは、電力を節約するためのスリープモードを含み、スリープモードは、第1のDSPプロセッサ、第2のDSPプロセッサ、及び通信インターフェースのうちの少なくとも1つによって起動されるように構成されている。
【0017】
特定の態様では、汎用プロセッサは、第2のDSPプロセッサから受信した状態データに機械学習を適用するように更に構成されている。
【0018】
特定の実装形態では、汎用プロセッサは、時間ベースの信号に機械学習を適用するように更に構成されている。場合によっては、時間ベースの信号は、マイクロホンシステムから、及び/又はブルートゥースシステムを介して受信した生の音声データのブロックを含む。
【0019】
他の態様では、動作パラメータは、フィルタ係数を含み、汎用プロセッサは、第1のDSPプロセッサに更新されたフィルタ係数を計算及びインストールするように更に構成されている。
【0020】
場合によっては、汎用プロセッサは、状態データを評価して、個人用ANRの損傷状態を特定するように更に構成されている。
【0021】
本概要の項に記載される特徴を含む、本開示に記載される特徴の2つ以上は、特に本明細書に記載されない実装形態を形成するために組み合わされ得る。
【0022】
1つ以上の実装形態の詳細が、添付図面及び以下の説明において述べられる。他の特徴、目的、及び利点は、本説明及び図面から、並びに特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【0023】
【
図1】様々な実装形態による階層計算アーキテクチャを有するANRデバイスのブロック図である。
【
図2】様々な実装形態による計算アーキテクチャの詳細図を示す。
【
図3】様々な実装による例示的な個人用ANRウェアラブルを示す。
【0024】
様々な実装形態の図面は必ずしも縮尺どおりではないことに留意されたい。図面は、本開示の典型的な態様のみを示すことを意図するものであり、したがって、実装の範囲を限定するものと見なされるべきではない。図面において、同様の番号付けは、図面間の同様の要素を表す。
【発明を実施するための形態】
【0025】
本開示の様々な実装形態は、それぞれが個々のプロセッサに適した一組の計算機能を実行するように構成された少なくとも3つの別個のプロセッサを含む、アクティブノイズ低減(ANR)デバイスのための計算アーキテクチャを記載する。したがって、アーキテクチャは、要求される各機能が、タスクの要件(例えば、優先度、速度、メモリリソース)と整合するプロセッサによって処理されることを可能にする。異なるプロセッサの間で機能を分割することにより、計算効率が得られ、電力消費が低減され得る。
【0026】
本開示は、ANRを採用するヘッドホンなどのデバイスのアーキテクチャを提供するが、ANRの網羅的な説明は、簡潔化のために省略される。必要に応じて、例示的なANRシステムは、例えば、2012年10月2日にJoho et al.に対して発行された「Binaural Feedforward-based ANR」と題された米国特許第8,280,066号、及び2012年5月22日にCarreras et al.に対して発行された「ANR Signal Processing Topology」と題された米国特許第8,184,822号に記載されており、これらの両特許の内容は、参照により本明細書に組み込まれる。
【0027】
本明細書に開示される解決策は、多種多様な個人用ANRデバイス、すなわち、ユーザの少なくとも一方の耳の近くでユーザによって少なくとも部分的に装着されて、少なくとも一方の耳に対するANR機能を提供するように構造化されたデバイスに適用可能であることが意図される。個人用ANRデバイスの様々な特定の実装形態は、ヘッドホン、双方向通信ヘッドセット、イヤホン、イヤバッド、音声眼鏡、無線ヘッドセット(「イヤセット」としても知られる)、及びイヤプロテクタを含むことができるが、特定の実装形態の提示は、実施例の使用による理解を容易にすることを意図しており、本開示の範囲又は請求範囲の範囲を限定するものとして解釈されるべきではないことに留意されたい。
【0028】
更に、本明細書に開示される解決策は、双方向音声通信、一方向音声通信(すなわち、別のデバイスによって電子的に提供される音声の音響出力)、又は通信なしを提供する個人用ANRデバイスに適用可能である。更に、本明細書に開示されることは、他のデバイスに無線で接続される、電気的及び/又は光学的に導電性のケーブルを介して他のデバイスに接続される、又はいずれの他のデバイスにも接続されていない個人用ANRデバイスに適用可能である。これらの教示は、1つ又は2つのイヤピース付きヘッドホン、オーバーヘッドヘッドホン、ビハインドネックヘッドホン、通信マイクロホン(例えば、ブームマイクロホン)付きヘッドセット、無線ヘッドセット(すなわち、ヘッドセット)、音声眼鏡、単独イヤホン若しくは一対のイヤホンだけでなく、帽子、ヘルメット、衣服、又は1つ又は2つのイヤピースを組み込んで音声通信及び/又は耳保護を可能にする任意の物理的構造を含むが、それらに限定されない、ユーザの片耳又は両耳のいずれかの近くに着用されるように構成された物理的構造を有する個人用ANRデバイスに適用可能である。
【0029】
個人用ANRデバイス以外では、本明細書に開示及び請求されることは、電話ボックスや自動車のキャビンなどを含むがそれらに限定されない、人物が座る又は立つことができる比較的小さな空間におけるANRの提供にも適用可能であることを意味する。
【0030】
図1は、個人用ANRデバイス10のブロック図であり、個人用ANRデバイスは、一実施例では、ユーザによって着用されて、ユーザの少なくとも一方の耳の近くでアクティブノイズ低減(ANR)を提供するように構成され得る。個人用ANRデバイス10は、ユーザの片耳のみにANRを提供するために単一のイヤピースを組み込んだ構成、ユーザの両耳にANRを提供するための一対のイヤピースを組み込んだ他の構成、ユーザの周囲の環境にANRを提供するために1つ以上のスタンドアロンスピーカを組み込んだ他の構成など、いくつかの物理的構成のうちの任意の構成を有し得る。しかしながら、説明を簡単にするために、単一のデバイス10のみが
図1に関連して図示及び説明されることに留意されたい。更に詳細に説明されるように、個人用ANRデバイス10は、通過音声を更に提供できることに加えて、フィードバックベースのANR及びフィードフォワードベースのANRのいずれか又は両方を提供し得る機能を組み込む。
【0031】
図1の例示的な実施形態では、ANRデバイス10は、スマートホン、ウェアラブルスマートデバイス、ラップトップ、タブレット、サーバなどの音声ゲートウェイデバイス(又は単にゲートウェイデバイス)30との通信を提供する無線通信インターフェース、この場合、ブルートゥースシステム12を含む。ブルートゥースシステム12は、例えば、ブルートゥースシステムオンチップ(SoC)、ブルートゥース低エネルギー(BLE)モジュールとして、又は任意の他の方法で実装され得る。ANRデバイス10は、ブルートゥースシステム12を使用して、無線通信を提供するように示されているが、その代わりに任意のタイプの無線技術(例えば、Wi-Fiダイレクト、携帯電話など)で使用することができることに留意されたい。ANRデバイス10との通信はまた、ブルートゥースシステム12とインターフェースする第1のユニバーサルシリアルバス(USB)ポート16、及び/又は汎用(GP)プロセッサ24とインターフェースする第2のUSBポート18を介して行われ得る。GPプロセッサ24は、ANRデバイス10に実装された少なくとも3つのプロセッサのうちの1つであり、他のプロセッサは、第1のデジタル信号処理(DSP)プロセッサ20及び第2のDSPプロセッサ22であり、その2つは、DSPシステム14を形成する。
【0032】
典型的な用途では、ソース音声ストリーム32は、ゲートウェイデバイス30からブルートゥースシステム12を介して受信され、DSPシステム14に送られ、そこで第1のDSPプロセッサ20が、ANRを実行し、処理された音声ストリーム34を生成し、次いで、音響ドライバ26(すなわち、スピーカ)を介して配信される。マイクロホンシステム28は、DSPシステム14に提供される環境ノイズ音を捕捉し、例えば、ANRのためのノイズ防止音を生成する参照信号を提供する。例えば、捕捉された音を使用して、ノイズ防止信号が、周囲環境内の望ましくないノイズ音と音響的に相互作用するように計算された振幅及び時間シフトで、音響ドライバ26によって計算され出力される。マイクロホンシステム28はまた、電話アプリケーションなどで、出力音声ストリーム36を介してブルートゥースシステム12に、次いでゲートウェイデバイス30に通信することができるユーザの声を捕捉するために使用され得る。マイクロホンシステム28内の個々のマイクロホンの数及び位置は、ANRデバイス10の特定の要件に依存することが理解される。更に、上述したように、ゲートウェイデバイス30と通信するためにブルートゥースシステム12を使用するのではなく、任意のタイプの通信インターフェース、例えば、USBポート16、18、又は他の通信ポート及びプロトコル(図示せず)を実装することができる。
【0033】
音声ストリームに加えて、制御信号40はまた、ゲートウェイデバイス30とGPプロセッサ24との間で通信され得る。制御信号40は、例えば、(例えば、制御可能なノイズキャンセル(CNC)レベルを更新するための)ゲートウェイデバイス30からのデータパケット、(例えば、一対のイヤバッド間の調整を提供するための)ゲートウェイデバイス30に通信されるANRデバイス生成データパケット、(例えば、次の曲にスキップ、電話に出る、CNCレベルを設定するなどのための)ユーザ生成制御信号を含むことができる。更に、本明細書で更に詳細に説明されるように、GPプロセッサ24は、ゲートウェイデバイス30及び/又はクラウドプラットフォーム31などのリモートサービスに報告され得るフィードバック42(例えば、製品使用特性、故障検出など)を生成することができる。フィードバック42は、例えば、ANRデバイス10がどのように使用されるかに関する詳細を提供する、エラー状況を報告するなどによって、ユーザ体験を強化するために使用され得る。
【0034】
ANRデバイス10は、概して、簡潔化のために省略されている、例えば、電源、GUI及び/又はLEDインジケータなどの視覚的入力/出力、触覚入力/出力、電力及び制御スイッチ、追加のメモリ、容量入力、センサなどを含む追加の構成要素を含む。
【0035】
前述のように、ANRデバイス10の計算アーキテクチャは、ANRデバイス10に関連付けられた機能を実施するためのモジュール式の階層動作プラットフォームを提供する少なくとも3つの別個のプロセッサを利用する。このアーキテクチャを使用して、各プロセッサの処理能力は、システムの効率を高めるために特定のタスクと整合される。一般に、第1のDSPプロセッサ20は、音声ストリーム32にアクティブノイズ低減を提供するように設計されたコアANRアルゴリズム50のセットを提供する。第2のDSPプロセッサ22は、ANR動作を分析し、動作特性、故障などの状態データを提供し、ANRデバイス10内の任意の利用可能な信号に応答してANRアルゴリズム50内のパラメータを自動的に調節するように設計された信号分析(SA)アルゴリズム52のセットを提供し、GPプロセッサ24は、ユーザコントロールの管理、I/O処理の提供、DSPシステム14によって生成されたイベントの処理などの高レベル機能54のセットを提供する。
【0036】
図2は、プロセッサ階層及び特性をより詳細に示す。この例示的な実施形態では、第1のDSPプロセッサ20及び第2のDSPプロセッサ22の両方が、GPプロセッサ24、マイクロホンシステム28、音声ストリームなどにアクセスするように共通バス21を共有する。本明細書に記載されるように、第1のDSPプロセッサ20は、例えば、フィードバックループ処理、補償処理、フィードフォワードループ処理、及び音声等化を含む、入力された音声ストリーム32(
図1)を処理するコアANRアルゴリズム50のセットを含む。コアANRアルゴリズム50は、例えば、フィルタ係数、圧縮器設定、信号ミキサ、ゲイン条件、信号ルーティングオプションなどを指示する動作ANRパラメータを含むことができる。コアANRアルゴリズム50は、一般に、ストリーム処理優先であり、高レベルのプロセッサ性能を必要とするが、複雑さが比較的低いプロセスとして特徴付けられ得る。特に、コアANRアルゴリズム50によって実行される機能は、最小限の量の処理オプション及び記憶要件で非常に迅速に動作することが意図されている。これらのタイプのストリーム処理機能の場合、例えば、1~10マイクロ秒程度の非常に短い待ち時間しか必要としない。更に、第1のDSPプロセッサ20は、コアANR機能を提供するため、ANRデバイス10が動作中である限り、第1のDSPプロセッサ20は、連続的に電力供給されなければならない。したがって、第1のDSPプロセッサ20は、可能な限り少ない電力を使用して、ANRアルゴリズム50の計算を実行するように調整される。
【0037】
第2のDSPプロセッサ22は、ANR処理を直接提供しないが、代わりに信号を分析し、例えば、ANRデバイス10内の信号を特徴付ける状態データを生成する信号分析アルゴリズム52のセットを含み、ANR処理は第1のDSPプロセッサ20によって実行される。状態データは、例えば、故障情報、不安定性検出、性能特性、エラー状況、周波数領域過負荷状況、音圧レベル(SPL)情報などを含み得る。信号分析アルゴリズム52は、閾値及び規則を用い得る異なるタイプの分析を実行する。例えば、一連の周波数特性が予想範囲から逸脱する場合、故障をトリガして、対応する「イベント」をGPプロセッサ24に出力し、次いで、是正措置を講じることができる。
【0038】
信号を分析するように適合された任意のプロセスは、第2のDSPプロセッサ22に配備することができる。非限定的な例示的な信号分析アルゴリズム52は、例えば、2019年3月26日に発行された「Real-time detection of feedback instability」と題された(例えば、不安定性検出を説明する)米国特許第10,244,306号、「Parallel Compensation in Active Noise Reduction Devices」と題された米国特許出願公開第2018/0286374号、「Active Noise Reduction Devices」と題された米国特許出願公開第2018/0286373号「Automatic Gain Control in Active Noise Reduction(ANR)Signal Flow Path」と題された(例えば、過負荷状況を説明する)米国特許出願公開第2018/0286375号、「Compressive Hear-through in Personal Acoustic Devices」と題された(例えば、耳での最大音量を生成するANRの制御を説明する)米国特許出願公開第2019/0130928号に記載されており、その全体が参照により本明細書に組み込まれる。
【0039】
本明細書に記載されるように、第2のDSPプロセッサ22はまた、第1のDSPプロセッサ20の動作(すなわち、ANR)パラメータを直接変更することができる。例えば、特定の場合では、信号分析アルゴリズム52は、ANRパラメータ(すなわち、コアANRアルゴリズム50内)を自動的に調節して、アルゴリズム50、52から、GPプロセッサ24から、マイクロホン28のいずれかから、入力音声ストリーム32から、及び/又は制御信号40から捕捉した内部信号に基づいて、所望の体験を達成するように導入される。例えば、特定の実装形態では、ANRパラメータは、マイクロホン(複数可)28によって受信される外部音圧レベル(SPL)特性などのアルゴリズム52によって監視される外部信号を使用して調節される。
【0040】
第2のDSPプロセッサ22は、コアANRサービスを直接実施しないため、比較的少ない量の性能が必要であるが、比較的大きい量の計算の複雑さが提供される。例えば、特定の場合において、第2のDSPプロセッサ22によって実行されるタスクは、例えば、約100マイクロ秒~10ミリ秒のより長い待ち時間を許容し得る。第1のDSPプロセッサ20と同様に、デバイス10の動作中、第2のDSPプロセッサにも連続的に電力が供給される。特定の実装形態では、第2のDSPプロセッサ22は、ストリーム及びブロック処理の両方を実行するように構成され、有効に分析タスクを実行するための中程度の量のデータストレージ及びプログラミング性を含む。
【0041】
GPプロセッサ24は、第1のDSPプロセッサ20によって実行されるANR処理から更に1レベル取り除かれた高レベル機能54のセットを含む。GPプロセッサ24によって実施される特定の機能54は、ANRデバイス10の要件に依存し得る。例示的な機能のセットを
図2に示す。特定の例示的な実装形態では、通信アルゴリズム56は、I/O及びコマンド処理機能を処理する。場合によっては、通信アルゴリズム56は、異なる通信プロトコル(例えば、USB対ブルートゥース)を共通のプロトコルに変換するための統一メッセージングインターフェースを含む。統一メッセージングインターフェースは、コマンドを解釈するためのコマンドを単一の位置(すなわち、GPプロセッサ24)に記憶及び実装することを可能にし、したがって、全てのコマンドを処理のためにGPプロセッサ24にルーティングすることを可能にする。
【0042】
GPプロセッサ24には、一般に、より多くかつより複雑な計算を扱うタスクが課せられる。いくつかの実装形態では、GPプロセッサ24は、製品が頭部にどのようにフィットするかに基づいて、個々のユーザに対してカスタマイズされた「ワンタイム」フィルタ係数を計算する。特定の実装形態では、ユーザ体験アルゴリズム64は、例えば、制御信号40及びフィードバック42に基づいてユーザのフィット性を分析し、通信アルゴリズム56は、フィッティングアルゴリズムに応答してデバイス10のフィット性を調節するようにユーザに通知する。
【0043】
様々な実装形態では、GPプロセッサ24は、DSPシステム14から受信したイベントに応答して、又はゲートウェイデバイス30から受信した制御信号40に応答して、第1のDSPプロセッサ20の動作パラメータを更新するANR制御アルゴリズム58を更に含む(
図1)。場合によっては、制御アルゴリズム58は、CNC(制御可能なノイズキャンセル)特徴などを実装する。
【0044】
前述のように、GPプロセッサ24は、例えば、米国特許第10,244,306号(参照により本明細書に予め組み込まれる)に記載されている技術を使用して検出される不安定性又はいくつかの他の問題を示す「イベント」を、第2のDSPプロセッサ22から受信し得る。1つ以上の受信されたイベントに基づいて不安定性を軽減するために即座の変更が必要とされる場合、第2のDSPプロセッサ22は、典型的には、第1のDSPプロセッサ20内のANRパラメータを変更する役割を担う。即座の変更が必要であるかどうかに関係なく、GPプロセッサ24は、イベントがローカルメモリで生成されたイベントを記録し、ブルートゥースシステム12を介してイベント(複数可)を報告することができる(
図1)。
【0045】
一連のイベントを収集した後、GPプロセッサ24は、そのアルゴリズムのうちの1つ以上を利用して、状況を特定する、及び/又は状況に対処することができる。例えば、複数の不安定性イベントが検出される場合、システム健全性アルゴリズム62は、より重度の問題が存在するかどうか(例えば、ANRデバイス10の動作不良)を判定するために導入される。動作不良が特定される場合、システム健全性アルゴリズム62は、動作不良を特徴付けるように構成され、動作不良の性質に基づいて、システム健全性アルゴリズム62は、DSPプロセッサ20でANRパラメータ変更を直接開始する。他の場合には、システム健全性アルゴリズム62は、イベントデータを分析する、ゲートウェイデバイス30へ分析を報告する、機械学習を適用して動作不良の原因を判定するなどの他の動作を行う。記載されるように、ANRデバイス10の損傷状況は、ANRデバイス10が動作不良であることをデバイスユーザ(又は別のユーザ)に通知するために、ゲートウェイデバイス30に報告される。
【0046】
一例として、例えば、米国特許第10,244,306号(参照により本明細書に予め組み込まれる)に記載されている技術を使用して、不安定性イベントが検出される場合、GPプロセッサ24は、イベントを記録する。検出された不安定性イベントの数が所定の閾値を超える場合、GPプロセッサ24は、デバイス10が動作不良であるらしいという通知を(例えば、デバイスユーザ又は別のユーザに)提供するように構成されている。同様に、ユーザの頭部に製品がどのようにフィットするかに基づいて、個々のユーザに対してカスタマイズされたフィルタ係数を計算するときに測定されたデータが異常(例えば、フィードバック対フィードフォワードマイクロホン信号の予期せぬ差によって特徴付けられる不良なフィット性)を示す場合、GPプロセッサ24は、例えば、フィット性のために、ユーザにデバイスを調節するように指示するフィードバックを提供する。
【0047】
他の場合、調整アルゴリズム60は、一対のイヤホン(例えば、イヤバッド、オーバーイヤ音声デバイスなど)間の性能を調整するように導入される。例えば、第1のイヤホンが(例えば、検出された障害に起因して)低ANR性能レベルで動作していることを検出したことに応答して、調整アルゴリズム60は、第2のイヤホンに第1のイヤホンのANR性能レベルを一致させて、性能の不一致を回避し、より良好なユーザ体験を確保する。
【0048】
様々な実施形態では、ユーザ体験アルゴリズム64は、音量、等化などのユーザ制御を提供し、電話、音楽聴取などの異なる動作モードを実装するために導入される。ユーザ体験アルゴリズム64は、センサデータを分析して、ANRデバイス10を自動的に制御する(例えば、飛行機に乗っているときに特別な設定を提供する)、遠隔で分析することができるフィードバックを収集し提供する、などのために実装することができる。他の場合には、アルゴリズム64は、ANRデバイス10が十分にフィットしていない(例えば、ユーザの外耳道との適切な封止が検出されない)という状態データに応答し、(例えば、デバイスユーザ又は別のユーザに)警告を出力する。
【0049】
追加の実装形態では、GPプロセッサ24は、機械学習モデル又はイベント分類器を実装するように構成されている。いくつかの実施例では、GPプロセッサ24は、第2のDSPプロセッサ22から受信された状態データに機械学習を適用するように構成されている。より具体的な実施例では、GPプロセッサ24は、第2のDSPプロセッサ22から受信した状態データに、及び生の音声データのブロックなどの時間ベースの信号に機械学習を適用するように構成されている。場合によっては、時間ベースの信号(生又は未処理の音声データを含むことができる)は、(例えば、音声ストリーム32として)マイクロホンシステム28及び/又はブルートゥースシステム12を介して受信される。信号処理を伴う例示的な機械学習技術は、2019年5月29日に出願された「Automatic Active Noise Reduction(ANR)Control」と題された米国特許出願第16/425,550号、及び2019年11月21日に出願された「Active Transit Vehicle Classification」と題された米国特許出願第16/690,675号に記載されており、その全文を参照により本明細書に組み込む。
【0050】
更なる実装形態では、GPプロセッサ24上の様々な機能54をインスタンス化するために、軽量オペレーティングシステム(OS)及び/又は機能ライブラリ66を実装することができ、これにより、アルゴリズム及びルーチンを容易にアクセス、追加、及び除去することができ、ソフトウェアの更新を実行することができ、ストレージへのアクセスを提供し、より高いレベルのスクリプト及び/又はプログラミング言語などの使用を提供する。
【0051】
GPプロセッサ24は、任意の時間制約型信号処理サービスを実行しないため、GPプロセッサ24は、比較的低い性能で実装することができるが、広範な機能を提供するために比較的多量の計算複雑性を必要とする。待ち時間は、機能を実行するとき、例えば、約100ミリ秒~10秒と比較的高くなる可能性がある。更に、その機能性は常に必要であるとは限らないため、GPプロセッサ24は、必要でない場合(例えば、イベントが検出されない場合、又は分析を必要とする場合)低電力モード又はスリープモードに置かれるように構成される。スリープモードは、第1のDSPプロセッサ20、第2のDSPプロセッサ22、及び/又は通信インターフェースのうちの1つから受信された制御信号のうちの少なくとも1つによって起動されるように構成される。一般に、GPプロセッサ24は、任意のストリーム処理を処理する必要はなく、標準的なメモリ構成を使用してブロックとしてデータを処理する。データストレージは、例えば、必要に応じて、内部ストレージ及び/又はフラッシュドライブを使用して実装することができる。
【0052】
図3は、
図1のANRデバイス10を含む例示的なウェアラブル音声デバイス70の概略図である。この実施例では、ウェアラブル音声デバイス70は、2つのイヤホン(例えば、「イヤバッド」とも呼ばれるインイヤヘッドホン)72、74を含む音声ヘッドセットである。イヤホン72、74は、「真の」無線構成(すなわち、イヤホン72、74間のテザリングなし)で示されているが、追加の実装形態では、音声ヘッドセット70は、テザリングされた無線構成(それによって、イヤホン72、74は、無線接続で電話線を介して再生デバイス接続される)、又は有線構成(それによって、イヤホン72、74のうちの少なくとも1つは、再生デバイスへの有線接続を有する)を含む。図示される各イヤホン72、74は、1つ以上のプラスチック又は複合材料で形成されたケーシングを含むことができる本体76を含む。本体76は、ユーザの外耳道入口に挿入するためのノズル78と、ユーザの耳内の静止位置にノズル78を保持するための支持部材80と、を含むことができる。各イヤホン72、74は、本明細書に記載の様々な機能の一部又は全部を実施するためのANRデバイス10を含む。他のウェアラブルデバイス形態は、同様に、アラウンドイヤ型ヘッドホン、音声眼鏡、オープンイヤ音声デバイスなどのアナログデバイス10を用いて実装することができる。
【0053】
ANRデバイス10の機能の1つ以上は、ハードウェア及び/又はソフトウェアとして実装されてもよく、各種構成要素は、任意の従来の手段(例えば、有線及び/又は無線接続)によって構成要素を接続する通信経路を含んでもよいと理解される。例えば、1つ以上の非揮発性デバイス(例えば、フラッシュメモリデバイス(複数可)などの集中型又は分散型デバイス)は、ANRデバイス10内の1つ以上のシステム(例えば、ブルートゥースシステム12、DSPシステム14、GP24など)のプログラム、アルゴリズム、及び/又はパラメータを記憶及び/又は実行することができる。また、本明細書に記載される機能性又はその部分、及びその様々な修正(以下「機能」)は、少なくとも部分的にコンピュータプログラム製品(例えば、1つ以上のデータ処理装置(例えば、プログラム可能プロセッサ、コンピュータ、複数のコンピュータ、及び/又はプログラム可能論理構成要素など)の動作による実行のための、又はその動作を制御するための、1つ以上の非一時的機械可読媒体などの情報担体において有形に具現化されたコンピュータプログラム)を介して実装され得る。
【0054】
コンピュータプログラムは、コンパイラ型言語又はインタープリタ型言語を含む任意の形態のプログラム言語で書くことができ、それは、スタンドアローンプログラムとして、又はコンピューティング環境での使用に好適なモジュール、構成要素、サブルーチン、若しくは他のユニットとして含む任意の形態で配備され得る。コンピュータプログラムは、1つのコンピュータ上で、若しくは1つのサイトにおける複数のコンピュータ上で実行されるように配備されるか、又は複数のサイトにわたって配信されて、ネットワークによって相互接続され得る。
【0055】
機能の全部又は一部を実行することに関連付けられたアクションは、機能を実施するために1つ以上のコンピュータプログラムを実行する1つ以上のプログラム可能なプロセッサによって実施され得る。機能の全部又は一部は、特殊目的論理回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)及び/又はASIC(特定用途向け集積回路)として実装され得る。コンピュータプログラムの実行に好適なプロセッサとしてはまた、例として、一般的及び特殊目的マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータの任意の1つ以上のプロセッサが挙げられる。一般に、プロセッサは、読み出し専用メモリ、ランダムアクセスメモリ、又はそれらの両方から命令及びデータを受信し得る。コンピュータの構成要素は、命令を実行するためのプロセッサ、並びに命令及びデータを記憶するための1つ以上のメモリデバイスを含む。
【0056】
更に、本明細書に記載の機能の全て又は一部を実装することに関連付けられたアクションは、1つ以上のネットワーク化されたコンピューティングデバイスによって実行され得る。ネットワーク化コンピューティングデバイスは、ネットワーク、例えば、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、パーソナルエリアネットワーク(PAN)、インターネット接続デバイス、及び/又はネットワークなどの1つ以上の有線及び/又は無線ネットワーク、及び/又はクラウドベースのコンピューティング(例えば、クラウドベースのサーバ)を介して接続することができる。
【0057】
様々な実装形態では、「連結された」と記載される電子構成要素は、これらの電子構成要素が互いにデータを通信することができるように、従来の有線及び/又は無線手段を介してリンクすることができる。更に、所与の構成要素内の下位構成要素は、従来の経路を介してリンクされていると考えることができるが、必ずしも図示されない。
【0058】
複数の実装形態を説明してきた。それにもかかわらず、本明細書に記載される本発明の概念の範囲から逸脱することなく追加の改変を行うことができ、したがって、他の実装形態も以下の特許請求の範囲の範疇にあることが理解される。
【符号の説明】
【0059】
10 ANRデバイス
12 ブルートゥースシステム
14 DSPシステム
16 USBポート
18 USBポート
20 第1のDSPプロセッサ
21 共通バス
22 第2のDSPプロセッサ
24 汎用(GP)プロセッサ
26 音響ドライバ
28 マイクロホン
30 ゲートウェイデバイス
31 クラウドプラットフォーム
32 音声ストリーム
34 処理された音声ストリーム
36 出力音声ストリーム
40 制御信号
42 フィードバック
50 ANRアルゴリズム
52 SAアルゴリズム
54 機能
56 通信アルゴリズム
58 ANR制御アルゴリズム
60 調整アルゴリズム
62 システム健全性アルゴリズム
64 ユーザ体験アルゴリズム
66 軽量OS及びライブラリ
70 ウェアラブル音声デバイス
72 イヤホン
74 イヤホン
76 本体
78 ノズル
80 支持部材
【手続補正書】
【提出日】2024-08-28
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
個人用アクティブノイズ低減(ANR)デバイスであって、
ソース音声ストリーム及び制御信号を受信するように構成された通信インターフェースと、
ドライバと、
マイクロホンシステムと、
ANR計算アーキテクチャであって、
前記マイクロホンシステムから前記ソース音声ストリーム及び信号を受信するように構成された第1のDSPプロセッサであって、前記第1のDSPプロセッサに導入された動作パラメータのセットに従って、前記ソース音声ストリーム上でANRを実行し、処理された音声ストリームを前記ドライバ及び第2のDSPプロセッサに出力する、第1のDSPプロセッサと、
前記処理された音声ストリームの分析に応答して、状態データを生成し、前記第1のDSPプロセッサ上の前記動作パラメータのセットを変更するように構成された、前記第2のDSPプロセッサと、
を備える、ANR計算アーキテクチャと、
前記第1のDSPプロセッサ及び前記第2のDSPプロセッサに動作可能に結合された汎用プロセッサであって、前記通信インターフェースと制御信号を通信し、前記第2のDSPプロセッサからの状態データを処理し、前記第1のDSPプロセッサ上の前記動作パラメータのセットを変更するように構成された、汎用プロセッサと、
を備え、
前記第1のDSPプロセッサと前記第2のDSPプロセッサは共通バスを共有し、
前記第2のDSPプロセッサは、前記第1のDSPプロセッサと比較して、比較的長い待ち時間を提供するが、比較的大きい量の計算の複雑さを提供するように構成される、
個人用ANRデバイス。
【請求項2】
前記動作パラメータが、フィルタ係数、圧縮器設定、信号ミキサ、ゲイン条件、及び信号ルーティングオプションからなる群から選択される、請求項1に記載の個人用ANRデバイス。
【請求項3】
前記第2のDSPプロセッサによって生成された前記状態データが、前記処理された音声ストリームで検出されたエラー状況を含む、請求項1に記載の個人用ANRデバイス。
【請求項4】
前記第2のDSPプロセッサによって生成された前記状態データが、前記処理された音声ストリームで検出された周波数領域過負荷状況を含む、請求項1に記載の個人用ANRデバイス。
【請求項5】
前記第2のDSPプロセッサによって生成された前記状態データが、前記マイクロホンシステム及び処理された音声ストリームから検出された音圧レベル(SPL)情報を含む、請求項1に記載の個人用ANRデバイス。
【請求項6】
前記汎用プロセッサが、電力を節約するためのスリープモードを含み、前記スリープモードが、前記第1のDSPプロセッサ、第2のDSPプロセッサ、及び前記通信インターフェースのうちの少なくとも1つによって起動されるように構成されている、請求項1に記載の個人用ANRデバイス。
【請求項7】
前記汎用プロセッサが、前記第2のDSPプロセッサから受信された前記状態データに機械学習を適用するように更に構成されている、請求項1に記載の個人用ANRデバイス。
【請求項8】
前記汎用プロセッサが、時間ベースの信号に機械学習を適用するように更に構成されている、請求項7に記載の個人用ANRデバイス。
【請求項9】
前記動作パラメータが、フィルタ係数を含み、前記汎用プロセッサが、前記第1のDSPプロセッサに更新されたフィルタ係数を計算及びインストールするように更に構成されている、請求項1に記載の個人用ANRデバイス。
【請求項10】
前記汎用プロセッサが、前記状態データを評価して、前記個人用ANRの損傷状態を特定するように更に構成されている、請求項1に記載の個人用ANRデバイス。
【請求項11】
アクティブノイズ低減(ANR)計算アーキテクチャであって、
ソース音声ストリームを受信し、第1のDSPプロセッサに導入された動作パラメータのセットに従って、前記ソース音声ストリーム上でANRを実行し、処理された音声ストリームを第2のDSPプロセッサに出力する、ように構成された第1のDSPプロセッサと、
前記処理された音声ストリームの分析に応答して、状態データを生成し、前記第1のDSPプロセッサ内の前記動作パラメータのセットを変更するように構成された、前記第2のDSPプロセッサと、
前記第1のDSPプロセッサ及び前記第2のDSPプロセッサに動作可能に結合された汎用プロセッサであって、通信インターフェースと制御信号を通信し、前記第2のDSPプロセッサからの状態データを処理し、前記第1のDSPプロセッサ内の前記動作パラメータのセットを変更するように構成された、汎用プロセッサと、
を備え、
前記第1のDSPプロセッサと前記第2のDSPプロセッサは共通バスを共有し、
前記第2のDSPプロセッサは、前記第1のDSPプロセッサと比較して、比較的長い待ち時間を提供するが、比較的大きい量の計算の複雑さを提供するように構成される、
ANR計算アーキテクチャ。
【請求項12】
前記動作パラメータが、フィルタ係数、圧縮器設定、信号ミキサ、ゲイン条件、及び信号ルーティングオプションからなる群から選択される、請求項11に記載のANR計算アーキテクチャ。
【請求項13】
前記第2のDSPプロセッサによって生成された前記状態データが、マイクロホン入力及び処理された音声ストリームで検出されたエラー状況を含む、請求項11に記載のANR計算アーキテクチャ。
【請求項14】
前記第2のDSPプロセッサによって生成された前記状態データが、前記処理された音声ストリームで検出された周波数領域過負荷状況を含む、請求項11に記載のANR計算アーキテクチャ。
【請求項15】
前記第2のDSPプロセッサによって生成された前記状態データが、前記処理された音声ストリームから検出された音圧レベル(SPL)情報を含む、請求項11に記載のANR計算アーキテクチャ。
【請求項16】
前記汎用プロセッサが、電力を節約するためのスリープモードを含み、前記スリープモードが、前記第1のDSPプロセッサ、第2のDSPプロセッサ、及び前記通信インターフェースのうちの少なくとも1つによって起動されるように構成されている、請求項11に記載のANR計算アーキテクチャ。
【請求項17】
前記汎用プロセッサが、前記第2のDSPプロセッサから受信された前記状態データに機械学習を適用するように更に構成されている、請求項11に記載のANR計算アーキテクチャ。
【請求項18】
前記汎用プロセッサが、時間ベースの信号に機械学習を適用するように更に構成されている、請求項17に記載のANR計算アーキテクチャ。
【請求項19】
前記汎用プロセッサが、前記第1のDSPプロセッサに更新されたフィルタ係数を計算及びインストールするように更に構成されている、請求項11に記載のANR計算アーキテクチャ。
【請求項20】
前記汎用プロセッサが、状態データを評価して、損傷状態を特定し、前記通信インターフェースを介して前記損傷状態を外部デバイスに通信するように更に構成されている、請求項11に記載のANR計算アーキテクチャ。
【外国語明細書】