特許 7467422 メディア補償パススルーデバイスにおける動的環境オーバレイ不安定性の検出と抑制

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-05

(45)【発行日】2024-04-15

(54)【発明の名称】メディア補償パススルーデバイスにおける動的環境オーバレイ不安定性の検出と抑制

(51)【国際特許分類】

   H04R 3/02 20060101AFI20240408BHJP

   H04R 3/04 20060101ALI20240408BHJP

【ＦＩ】

H04R3/02

H04R3/04

【請求項の数】 25

(21)【出願番号】P 2021512774

(86)(22)【出願日】2019-09-09

(65)【公表番号】

(43)【公表日】2021-12-27

(86)【国際出願番号】 US2019050241

(87)【国際公開番号】W WO2020051593

(87)【国際公開日】2020-03-12

【審査請求日】2022-07-20

(31)【優先権主張番号】62/728,284

(32)【優先日】2018-09-07

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/855,800

(32)【優先日】2019-05-31

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ディキンズ，グレン エヌ．

(72)【発明者】

【氏名】ランドー，ジョシュア ブランドン

(72)【発明者】

【氏名】ジャスパー，アンディ

(72)【発明者】

【氏名】ブラウン，シー．フィリップ

(72)【発明者】

【氏名】ウィリアムズ，フィリップ

【審査官】菊池 智紀

(56)【参考文献】

【文献】特開２００３－０３２７８０（ＪＰ，Ａ）

【文献】国際公開第２０１７／２１８６２１（ＷＯ，Ａ１）

【文献】浦威史 他，"ハウリング制御のための信号処理に関する研究"，日本音響学会講演論文集－春Ｉ－，1999年03月10日，pp.457-458

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｒ ３／００－３／１４

(57)【特許請求の範囲】

【請求項1】

音声デバイスであって、
インタフェースシステムと、
少なくとも１つのヘッドホンマイクロホンを含むマイクロホンシステムと、
少なくとも１つのヘッドホンスピーカを含むスピーカシステムと、
制御システムであって、
前記インタフェースシステムを介して、メディアストリームに対応するメディア入力音声データを受信するステップと、
前記インタフェースシステムを介して、前記マイクロホンシステムからマイクロホン入力音声データを受信するステップと、
前記メディア入力音声データの複数の周波数帯域に対するメディア音声ゲインを決定するステップと、
前記マイクロホン入力音声データの複数の周波数帯域に対するマイクロホン音声ゲインを決定するステップと、
前記メディア入力音声データの前記複数の周波数帯域で前記メディア入力音声データに前記メディア音声ゲインを適用することによってメディア出力音声データを生成するステップと、
前記マイクロホン入力音声データの前記複数の周波数帯域で前記マイクロホン入力音声データに前記マイクロホン音声ゲインを適用することによってマイクロホン出力音声データを生成するステップと、
前記メディア出力音声データと、前記マイクロホン出力音声データとを混合して、混合音声データを生成する、ステップと、
前記混合音声データを前記スピーカシステムに提供するステップと、
のために構成されている制御システムと、を備え、
前記制御システムはさらに、
前記マイクロホン入力音声データの少なくとも１つの周波数帯域に対して、前記マイクロホンシステムのうちの少なくとも１つのヘッドホンマイクロホンと、前記スピーカシステムのうちの少なくとも１つのヘッドホンスピーカとの間のフィードバックのリスクに対応するフィードバックリスク制御値を決定するステップと、
前記フィードバックリスク制御値に少なくとも部分的に基づいて、前記マイクロホン入力音声データの少なくとも１つの周波数帯域に対して、前記マイクロホン音声ゲインを決定するステップと、
のために構成されており、
前記制御システムはさらに、
時間Ｔにおいて受信されるマイクロホン音声データの少なくとも一部に予測フィルタを適用して、時間Ｔ＋Ｎに対する予測マイクロホン音声データを生成するステップと、
予測マイクロホン音声データ及び実際のマイクロホン音声データの複数のインスタンスに基づいて、現在フィードバックリスク傾向を決定するステップと、
前記現在フィードバックリスク傾向と先行するフィードバックリスク傾向との間の差分を決定するステップと、
前記現在フィードバックリスク傾向と前記先行するフィードバックリスク傾向との間の差分に少なくとも部分的に基づいて、前記フィードバックリスク制御値を決定するステップと、
のために構成されている、
音声デバイス。

【請求項2】

前記フィードバックリスク制御値を決定するステップは、
前記少なくとも１つの周波数帯域における前記マイクロホン入力音声データの振幅の増加を検出するステップを含み、
前記振幅の増加はフィードバックリスク閾値以上である、
請求項１記載の音声デバイス。

【請求項3】

前記フィードバックリスク制御値を決定するステップは、
フィードバック時間窓内での振幅の増加を検出するステップを含む、
請求項２記載の音声デバイス。

【請求項4】

前記フィードバックリスク制御値を決定するステップは、
音声デバイス取り外し表示を受信するステップと、
前記音声デバイス取り外し表示に少なくとも部分的に基づいて音声デバイス取り外しリスク値を決定するステップと、を含み、
前記音声デバイス取り外しリスク値は、前記音声デバイスがユーザの頭部から少なくとも部分的に取り外しされたか又は取り外しされるリスクに対応する、
請求項１乃至３いずれか１項記載の音声デバイス。

【請求項5】

前記音声デバイス取り外し表示は、
前記音声デバイスの加速度を示す慣性センサデータ、
前記音声デバイスの位置変更を示す慣性センサデータ、
前記音声デバイスとの接触を示すタッチセンサデータ、
前記音声デバイスとの起こり得る接触を示す近接センサデータ、及び
前記音声デバイスの取り外しに対応するユーザ入力データ、
からなるファクタのリストから選択される１つ以上のファクタに少なくとも部分的に基づく、
請求項４記載の音声デバイス。

【請求項6】

前記音声デバイス取り外し表示は、
前記音声デバイスの左側ヘッドホンスピーカによって再生される音声に対応する、前記音声デバイスの左側外部ヘッドホンマイクロホンからのマイクロホン音声データ、
前記音声デバイスの右側ヘッドホンスピーカによって再生される音声に対応する、前記音声デバイスの右側外部ヘッドホンマイクロホンからのマイクロホン音声データ、
前記音声デバイスの右側ヘッドホンスピーカによって再生される音声に対応する、前記音声デバイスの左側内部ヘッドホンマイクロホンからのマイクロホン音声データ、
前記音声デバイスの左側ヘッドホンスピーカによって再生される音声に対応する、前記音声デバイスの右側内部ヘッドホンマイクロホンからのマイクロホン音声データ、
からなるファクタのリストから選択される１つ以上のファクタに少なくとも部分的に基づく、
請求項４記載の音声デバイス。

【請求項7】

前記フィードバックリスク制御値を決定するステップは、
不適切な位置決め表示を受信するステップと、
前記不適切な位置決め表示に少なくとも部分的に基づいて不適切な位置決めリスク値を決定するステップと、を含み、
前記不適切な位置決めリスク値は、前記音声デバイスがユーザの頭部に不適切に位置決めされるリスクと対応する、
請求項１乃至３いずれか１項記載の音声デバイス。

【請求項8】

前記不適切な位置決め表示は、
前記音声デバイスの左側ヘッドホンスピーカによって再生される音声に対応する、前記音声デバイスの左側外部ヘッドホンマイクロホンからのマイクロホン音声データ、
前記音声デバイスの右側ヘッドホンスピーカによって再生される音声に対応する、前記音声デバイスの右側外部ヘッドホンマイクロホンからのマイクロホン音声データ、
前記音声デバイスの右側ヘッドホンスピーカによって再生される音声に対応する、前記音声デバイスの左側内部ヘッドホンマイクロホンからのマイクロホン音声データ、
前記音声デバイスの左側ヘッドホンスピーカによって再生される音声に対応する、前記音声デバイスの右側内部ヘッドホンマイクロホンからのマイクロホン音声データ、
からなるファクタのリストから選択される１つ以上のファクタに少なくとも部分的に基づく、
請求項７記載の音声デバイス。

【請求項9】

前記制御システムはさらに、
前記時間Ｔ＋Ｎに対する前記先行するマイクロホン音声データと前記時間Ｔ＋Ｎに受信される実際のマイクロホン音声データとの間の最新の誤差を決定するステップと、
前記最新の誤差に基づいて、前記時間Ｔ＋Ｎに対する前記予測マイクロホン音声データも決定するステップと、
のために構成されている、
請求項１乃至８いずれか１項記載の音声デバイス。

【請求項10】

前記制御システムはさらに、
マイクロホン音声データをバッファ内に格納するステップと、
前記時間Ｔにおいて受信されるマイクロホン音声データ、及び、前記時間Ｔ＋Ｎにおいて受信される前記マイクロホン音声データを受信するステップ
のために構成されている、
請求項１乃至９いずれか１項記載の音声デバイス。

【請求項11】

前記制御システムはさらに、
前記マイクロホン音声データをバッファに格納するステップの前に、前記マイクロホン音声データの前記複数の周波数帯域のうちの少なくとも１つをダウンサンプリングするステップ、
のために構成されている、
請求項１０記載の音声デバイス。

【請求項12】

前記制御システムはさらに、
アンチエイリアシングフィルタを適用することなく、前記マイクロホン音声データの前記複数の周波数帯域のうちの少なくとも１つをダウンサンプリングするステップ、
のために構成されている、
請求項１１記載の音声デバイス。

【請求項13】

Ｎは２００ミリ秒以下である、
請求項１乃至１２いずれか１項記載の音声デバイス。

【請求項14】

前記制御システムはさらに、
前記現在フィードバックリスク傾向と前記先行するフィードバックリスク傾向との間の差分を決定するステップの前に、前記予測マイクロホン音声データ及び前記実際のマイクロホン音声データを平滑化するステップと、
のために構成されている、
請求項１乃至１２いずれか１項記載の音声デバイス。

【請求項15】

前記制御システムはさらに、
前記予測マイクロホン音声データのパワー及び前記実際のマイクロホン音声データのパワーを決定するステップのため、及び、
決定された前記予測マイクロホン音声データのパワー、及び、決定された前記実際のマイクロホン音声データのパワーに少なくとも部分的に基づいて、前記現在フィードバックリスク傾向を決定するステップのため、
に構成されている、
請求項１乃至１４いずれか１項記載の音声デバイス。

【請求項16】

前記制御システムはさらに、
前記現在フィードバックリスク傾向と、前記先行するフィードバックリスク傾向との間の差分に少なくとも部分的に基づいて、生のフィードバックリスクスコアを決定するステップのため、
減衰平滑化関数を前記生のフィードバックリスクスコアに適用して、平滑化されたフィードバックリスクスコアを生成する、ステップのため、及び
前記平滑化されたフィードバックリスクスコアに少なくとも部分的に基づいて、前記フィードバックリスク制御値を決定するステップのため、
に構成されている、
請求項１乃至１５いずれか１項記載の音声デバイス。

【請求項17】

前記制御システムはさらに、
前記マイクロホン音声データをバッファに格納するステップの前に、重み付けファクタを前記マイクロホン音声データの１つ以上の周波数帯域に適用するステップ、及び
前記重み付けファクタを適用した後に、マイクロホン音声データの前記１つ以上の周波数帯域を合計するステップ、
のために構成されている、
請求項１０乃至１６いずれか１項記載の音声デバイス。

【請求項18】

前記重み付けファクタは、一部の周波数帯域に対しては１、他の周波数帯域に対してはゼロである、
請求項１７記載の音声デバイス。

【請求項19】

前記制御システムはさらに、
前記マイクロホン音声データをバッファに格納するステップの前に、強調フィルタを前記マイクロホン音声データに適用するステップであって、前記強調フィルタは、１つ以上の周波数帯域内で１つ以上の周波数レンジを強調するように構成されている、ステップ、
のために構成されている、
請求項１０乃至１８いずれか１項記載の音声デバイス。

【請求項20】

前記マイクロホン音声ゲインを決定するステップは、
第１ゲイン値セットと第２ゲイン値セットとの間を補間するステップを含み、
前記補間は、前記フィードバックリスク制御値に少なくとも部分的に基づき、
前記第１ゲイン値セットは、前記マイクロホン入力音声データの前記複数の周波数帯域のうちの各周波数帯域に対する最小ゲイン値を含み、
前記第２ゲイン値セットは、前記マイクロホン入力音声データの前記複数の周波数帯域のうちの各周波数帯域に対する最大ゲイン値を含む、
請求項１乃至１９いずれか１項記載の音声デバイス。

【請求項21】

前記音声デバイスはヘッドホン又はイヤーバッドを含む、
請求項１乃至２０いずれか１項記載の音声デバイス。

【請求項22】

音声処理方法であって、
インタフェースシステムを介して、メディアストリームに対応するメディア入力音声データを受信するステップと、
前記インタフェースシステムを介して、少なくとも１つのヘッドホンマイクロホンを含むマイクロホンシステムからマイクロホン入力音声データを受信するステップと、
制御システムを介して、前記メディア入力音声データの複数の周波数帯域に対するメディア音声ゲインを決定するステップと、
前記制御システムを介して、前記マイクロホン入力音声データの複数の周波数帯域に対するマイクロホン音声ゲインを決定するステップと、
前記制御システムを介して、前記メディア入力音声データの前記複数の周波数帯域で前記メディア入力音声データに前記メディア音声ゲインを適用することによってメディア出力音声データを生成するステップと、
前記制御システムを介して、前記マイクロホン入力音声データの前記複数の周波数帯域で前記マイクロホン入力音声データに前記マイクロホン音声ゲインを適用することによってマイクロホン出力音声データを生成するステップと、
前記制御システムを介して、前記メディア出力音声データと、前記マイクロホン出力音声データとを混合して、混合音声データを生成する、ステップと、
前記混合音声データを少なくとも１つのヘッドホンスピーカを含むスピーカシステムに提供するステップと、
を含み、
前記音声処理方法はさらに、
前記制御システムを介して、前記マイクロホン入力音声データの少なくとも１つの周波数帯域に対して、前記マイクロホンシステムのうちの少なくとも１つのヘッドホンマイクロホンと、前記スピーカシステムのうちの少なくとも１つのヘッドホンスピーカとの間のフィードバックのリスクに対応するフィードバックリスク制御値を決定するステップと、
前記制御システムを介して、前記マイクロホン入力音声データの少なくとも１つの周波数帯に対して、前記フィードバックリスク制御値に少なくとも部分的に基づいて、前記マイクロホン音声ゲインを決定するステップと、
時間Ｔにおいて受信されるマイクロホン音声データの少なくとも一部に予測フィルタを適用して、時間Ｔ＋Ｎに対する予測マイクロホン音声データを生成するステップと、
予測されるマイクロホン音声データ及び実際のマイクロホン音声データの複数のインスタンスに基づいて、現在フィードバックリスク傾向を決定するステップと、
前記現在フィードバックリスク傾向と先行するフィードバックリスク傾向との間の差分を決定するステップと、
前記現在フィードバックリスク傾向と前記先行するフィードバックリスク傾向との間の差分に少なくとも部分的に基づいて、前記フィードバックリスク制御値を決定するステップと、
を含む、音声処理方法。

【請求項23】

前記フィードバックリスク制御値を決定するステップは、
前記少なくとも１つの周波数帯域における前記マイクロホン入力音声データの振幅の増加を検出するステップを含み、
前記振幅の増加はフィードバックリスク閾値以上である、
請求項２２記載の音声処理方法。

【請求項24】

前記フィードバックリスク制御値を決定するステップは、
フィードバック時間ウインドウ内での振幅の増加を検出するステップを含む、
請求項２３記載の音声処理方法。

【請求項25】

ソフトウェアが格納された１つ以上の非一時的媒体であって、前記ソフトウェアは、請求項２２乃至２４のいずれか１項による音声処理方法を実行する１つ以上のデバイスを制御するための命令を含む、非一時的記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１９年５月３１日に出願された米国仮出願第６２／８５５，８００号、及び、２０１８年９月７日に出願された米国仮出願第６２／７２８，２８４号の優先権を主張するものであり、その全体を本明細書に参照援用する。

【0002】

技術分野
本開示は、音声データの処理に関する。特に、本開示は、メディアストリームに対応するメディア入力音声データ及び少なくとも１つのマイクロホンから入力されたマイクロホン音声データの処理に関する。

【背景技術】

【0003】

ヘッドホンやイヤホンなどの音声デバイスの使用は非常に一般的になっている。かかる音声デバイスは、少なくとも部分的に外部からの音を遮断することができる。一部のヘッドホンは、ヘッドホンスピーカと鼓膜との間に実質的に閉じたシステムを作ることができ、このシステムでは、外界からの音が大幅に減衰される。ヘッドホンやその他の音声デバイスを介して外界からの音を減衰させることには、歪みの除去、フラットなイコライゼーションの提供など、様々な潜在的な利点がある。しかしながら、かかる音声デバイスを装着すると、ユーザは、接近する車の音や友人の声の音など、聞くのに有利な音が外界から聞こえなくなることがある。

【発明の概要】

【0004】

本明細書で使用する、１つ又は複数の「ヘッドホン」という用語は、少なくとも１つのスピーカを耳の近くに配置するように構成されたイヤホンデバイスを指し、そのスピーカは、ヘッドホンを装着しているユーザの周囲に生じる音からの音響経路を少なくとも部分的に遮断する物理的形態（本明細書では「ヘッドホンデバイス」と称される）で取り付けられている。一部のヘッドホンユニットは、外界からの音を著しく減衰させるように構成されたイヤカップであってもよく、かかる音は本明細書では「環境」音と称され得る。本明細書で使用される「ヘッドホン」は、ヘッドホンユニット間のヘッドバンド又は他の物理的接続を含まないことがある。メディア補償パススルー（ＭＣＰ）ヘッドホンは、ヘッドホンデバイスの外側に少なくとも１つのヘッドホンマイクロホンを含んでもよい。かかるヘッドホンマイクロホンは、本明細書では「環境」マイクロホンとも称され得る。かかるマイクロホンからの信号は、ヘッドホンユニットが着用時に環境音を著しく減衰させても、ユーザに環境音を提供することができるからである。ＭＣＰヘッドホンは、混合されると、環境マイクロホン信号がメディア信号の上で可聴になるように、マイクロホン信号とメディア信号の両方を処理するように構成され得る。

【0005】

環境マイクロホン信号及びＭＣＰヘッドホンのメディア信号の適切なゲインを決定することは、困難であり得る。環境マイクロホン信号及びメディア信号の両方が、それらの信号レベルと周波数コンテンツを、時には急速に変化させることがある。環境マイクロホン信号の信号レベル及び／又は周波数内容の急激な変化は、外部マイクロホン及びヘッドホンスピーカとの間のフィードバック等の「環境オーバレイ不安定性」をもたらす可能性がある。

【0006】

いくつかの開示された実装は、環境オーバレイ不安定性を緩和するように設計されている。いくつかの実装形態では、本明細書に開示される装置は、インタフェースシステム、少なくとも１つのヘッドホンマイクロホンを含むヘッドホンマイクロホンシステム、少なくとも１つのヘッドホンスピーカを含むヘッドホンスピーカシステム、及び制御システムを含み得る。制御システムは、インタフェースシステムを介して、メディアストリームに対応するメディア入力音声データを受信するステップと、ヘッドホンマイクロホンシステムからのヘッドホンマイクロホン入力音声データを受信するステップと、のために構成され得る。制御システムは、メディア入力音声データの複数の周波数帯域のうちの少なくとも１つに対するメディア音声ゲインを決定するステップと、ヘッドホンマイクロホン入力音声データの複数の周波数帯域のうちの少なくとも１つに対するヘッドホンマイクロホン音声ゲインを決定するステップと、のために構成され得る。

【0007】

ヘッドホンマイクロホン音声ゲインを決定するステップは、ヘッドホンマイクロホンシステムの少なくとも１つの外部マイクロホンと少なくとも１つのヘッドホンスピーカとの間のヘッドホンフィードバックのリスクに対応する、複数の周波数帯域のうちの少なくとも１つについてのフィードバックリスク制御値を決定するステップを含み得る。ヘッドホンマイクロホン音声ゲインを決定するステップはまた、フィードバックリスク制御値に少なくとも部分的に基づいて、複数の周波数帯域のうちの少なくとも１つにおける実際の又は潜在的なヘッドホンフィードバックを緩和するヘッドホンマイクロホン音声ゲインを決定することを含み得る。

【0008】

制御システムは、複数の周波数帯域のうちの少なくとも１つでメディア入力音声データにメディア音声ゲインを適用することによってメディア出力音声データを生成するために構成されている。制御システムは、メディア出力音声データと、ヘッドホンマイクロホン出力音声データとを混合して、混合音声データを生成するため、及び混合音声データをヘッドホンスピーカシステムに提供するために構成されている。

【0009】

いくつかの開示された実装は潜在的な利点を有する。いくつかの実施例では、制御システムは、増大したフィードバックリスクを検出するように構成され得、最大ヘッドホンマイクロホン信号の低減を引き起こし得る。いくつかの実装では、環境オーバレイ不安定性は、一般に、１つ以上の特定の周波数帯域で発生し得る。周波数帯域は、特定の設計に依存する。制御システムが、１つ以上の周波数帯域の音声レベルが上昇し始めていると決定する場合、制御システムは、この状態がフィードバックリスクの表示であると決定することができる。いくつかの実装は、ヘッドホンがユーザの頭部から取り外されていること、又はユーザの頭部から間もなく取り外されることの検出された表示に少なくとも部分的に基づいて、フィードバックリスク制御値を決定することを含み得る。

【0010】

本明細書に記載されている主題の１つ以上の実装の詳細は、添付の図面及び以下の説明に記載されている。他の特徴、態様、及び利点は、明細書、図面、及び特許請求の範囲から明らかになる。以下の図の相対的な寸法は、縮尺通りに描かれない場合があることに留意されたい。

【図面の簡単な説明】

【0011】

【図1】図１は、ヘッドホンドライバから環境マイクロホンへのリーク応答の実施例を示すグラフである。

【図2A】図２Ａは、ＭＣＰマイクロホンからの信号がブーストされ、その後ヘッドホンスピーカドライバにフィードバックされたときの、メディア補償パススルー（ＭＣＰ）ヘッドホン応答の実施例を示す。

【図2B】図２Ｂは、図２Ａに示された各実施例の周波数応答を示す。

【図3】図３は、本開示の様々な態様を実施可能な装置の構成要素の実施例を示すブロック図である。

【図4】図４は、図３に示すような装置によって実施することができる方法の一実施例を概説するフロー図である。

【図5A】図５Ａは、いくつかの実施例によるＭＣＰプロセスのブロックを含むブロック図である。

【図5B】図５Ｂは、図５Ａの入力コンプレッサブロックによって作成され得る伝達関数の一実施例を示す。

【図5C】図５Ｃは、図５Ａのメディア及びマイクロホンゲイン調整ブロックによって適用され得るダッキングゲインの一実施例を示す。

【図6】図６は、図５Ａのフィードバックリスク検出ブロックの詳細な実施例を示すブロック図である。

【0012】

様々な図面での同様の参照符号と名称は、同様の要素を示す。

【発明を実施するための形態】

【0013】

以下の説明は、本開示のいくつかの革新的な態様を説明する目的のための特定の実装、並びにこれらの革新的な態様が実装され得るコンテキストの実施例を対象としている。しかしながら、本明細書の教示は、様々な異なる方法で適用することができる。例えば、種々の実装が特定の適用及び環境に関して説明されるが、本明細書の教示は、他の既知の適用及び環境に広く適用可能である。さらに、上述の実装は、少なくとも部分的に、ハードウェア、ソフトウェア、ファームウェア、クラウドベースのシステムなどの、種々のデバイス及びシステムに実装され得る。したがって、本開示の教示は、図面及び／又は本明細書に記載される実装に限定されることを意図するものではなく、その代わりに、広範な適用可能性を有する。

【0014】

上述したように、ある程度の音響閉塞（ｓｏｕｎｄ ｏｃｃｌｕｓｉｏｎ）を提供する音声デバイスは、音声品質を制御する改善された能力等の様々な潜在的な利点を提供する。他の利点は、外界からの迷惑となる可能性のある、又は気を散らすような音の減衰を含む。しかしながら、かかる音声デバイスのユーザは、接近する車の音、カークラクション、公共のアナウンスメント等の、聞くことが有利である外界からの音を聞くことができない。

【0015】

したがって、１つ以上のタイプの音響閉塞管理が望ましい。本明細書に記載される種々の実装は、ユーザがヘッドホン、イヤホン、又は他のかかる音声デバイスを介して音声データのメディアストリームを聴いている間の音声閉塞管理を含む。本明細書で使用する「メディアストリーム」、「メディア信号」及び「メディア入力音声データ」という用語は、音楽、ポッドキャスト、ムービーサウンドトラックなどに対応する音声データ、並びに電話会話の一部として再生のために受信される音に対応する音声データを指すために使用することができる。イヤホン型実装等のいくつかの実装では、ユーザは、メディアストリームに対応する音声データを聴きながらも、外部の世界からかなりの音量を聴くことができる。しかし、一部の音声デバイス（ヘッドホン等）は、外界からの音を大幅に減衰させることができる。したがって、いくつかの実装は、ユーザにマイクロホンデータを提供することも含み得る。マイクロホンデータは、外界からの音を提供し得る。

【0016】

ヘッドホン等の音声デバイスの外部の音に対応するマイクロホン信号はメディア信号と混合され、ヘッドホンのスピーカを通して再生される場合、メディア信号は、しばしばマイクロホン信号をマスクキングし、ユーザに、外部音を聞き取れなく、又は分かりにくくする。したがって、混合された場合、マイクロホン信号がメディア信号の上で可聴であり（ａｕｄｉｂｌｅ ａｂｏｖｅ）、処理されたマイクロホン信号とメディア信号の両方が知覚的に自然な音響（ｐｅｒｃｅｐｔｕａｌｌｙ ｎａｔｕｒａｌ－ｓｏｕｎｄｉｎｇ）のままであるように、マイクロホン信号とメディア信号の両方を処理することが望ましい。この効果を達成するために、「Ｍｅｄｉａ－Ｃｏｍｐｅｎｓａｔｅｄ Ｐａｓｓ－Ｔｈｒｏｕｇｈ ａｎｄ Ｍｏｄｅ－Ｓｗｉｔｃｈｉｎｇ（メディア補償パススルー及びモードスイッチング）」と題される国際公開第ＷＯ ２０１７／２１７６２１号に開示されているような知覚音量（ｐｅｒｃｅｐｔｕａｌ ｌｏｕｄｎｅｓｓ）及び部分的音量のモデルを検討することは有用である。

【0017】

いくつかの方法は、メディア入力音声データの複数の周波数帯域のうちの少なくとも１つの第１レベルを決定するステップ、及びマイクロホン入力音声データの複数の周波数帯域のうちの少なくとも１つの第２レベルを決定するステップを含む。かかる方法の中には、第１及び第２の複数の周波数帯域のうちの１つ以上のレベルを調整することによって、メディア出力音声データ及びマイクロホン出力音声データを生成することを含み得る。例えば、いくつかの方法は、メディア出力音声データの存在下でのマイクロホン出力音声データの知覚音量とマイクロホン入力音声データの知覚音量（ｐｅｒｃｅｉｖｅｄ ｌｏｕｄｎｅｓｓ）との間の第１差分が、メディア入力音声データの存在下でのマイクロホン入力音声データの知覚音量とマイクロホン入力音声データの知覚音量との間の第２差分より小さくなるように、レベルを調整することを含み得る。かかる方法は、メディア出力音声データと、マイクロホン出力音声データとを混合して、混合音声データを生成する、ステップを含み得る。いくつかの実施例は、ヘッドセット又はイヤホン等の音声デバイスのスピーカに混合音声データを提供するステップを含み得る。

【0018】

いくつかの実施態様では、調整するステップは、マイクロホン入力音声データの複数の周波数帯域のうちの１つ以上のレベルをブーストするステップのみを含み得る。しかしながら、いくつかの実施例では、調整するステップは、マイクロホン入力音声データの複数の周波数帯域のうちの１つ以上のレベルをブーストするステップと、メディア入力音声データの複数の複数の周波数帯域のうちの１つ以上のレベルを減衰させるステップとの両方を含み得る。いくつかの実施例において、メディア出力音声データの存在下でのマイクロホン出力音声データの知覚された大きさは、マイクロホン入力音声データの知覚された大きさと実質的に等しい。
いくつかの実施例によれば、
メディア及びマイクロホン出力音声データの合計音量は、メディア及びマイクロホン入力音声データの合計音量と、メディア及びマイクロホン出力音声データの合計音量との間の範囲であり得る。しかしながら、場合によっては、メディア及びマイクロホン出力音声データの合計音量は、メディア及びマイクロホン入力音声データの合計音量に実質的に等しいか、あるいはメディア及びマイクロホン出力音声データの合計音量に実質的に等しいことがある。

【0019】

いくつかの実装は、モードスイッチング表示を受信し（又は決定し）、少なくとも部分的に、モードスイッチング表示に基づいて、１つ以上のプロセスを修正することを含み得る。例えば、いくつかの実装は、少なくとも部分的に、モードスイッチング表示に基づいて、受信（ｒｅｃｅｉｖｉｎｇ）、決定（ｄｅｔｅｒｍｉｎｉｎｇ）、生成（ｐｒｏｄｕｃｉｎｇ）、又は混合（ｍｉｘｉｎｇ）プロセスのうちの少なくとも１つを変更することを含み得る。いくつかの例では、変更は、メディア出力音声データの音量に対して、マイクロホン出力音声データの相対的な音量を増加させることを含み得る。いくつかのかかる実施例によれば、マイクロホン出力音声データの相対的な音量を増加させることは、メディア入力音声データを抑制すること、又はメディアストリームを一時停止することを含み得る。いくつかのかかる実装は、１つ以上のタイプのパススルーモードを提供する。パススルーモードでは、メディア信号はボリュームが小さくなり、ユーザと他の人々（又は、マイクロホン信号によって示されるユーザの関心のある他の外部音声）との会話が、ユーザに提供される音声信号に混合される。いくつかの実施例では、メディア信号は一時的にサイレンシングされ得る。

【0020】

上記の方法は、国際公開第ＷＯ ２０１７／２１７６２１号に開示されている他の関連方法と共に、本明細書では、ＭＣＰ （メディア補償パススルー）方法と称することができる。上述のように、いくつかのＭＣＰ方法は、ヘッドホンの外側又はその近傍に配置されたマイクロホン（ここでは、環境マイクロホン又はＭＣＰマイクロホンと称され得る）からの音声を取り込み、環境マイクロホンからの信号を潜在的にブーストし、ヘッドホンスピーカを介して環境マイクロホン信号を再生することを含む。いくつかの実施態様では、ヘッドホンの設計及び物理的形状因子は、環境マイクロホンによってピックアップされるヘッドホンスピーカを通して再生される信号のある量を導く。この現象は、本明細書では「漏れ」又は「エコー」と称することができる。ヘッドホンが取り外されるとき、又は物体が環境マイクロホンの近くにあるとき（本明細書では「カッピング」と称することができる現象）に変化することがあり、一般的に悪化する。現在のリークパスのループゲインとＭＣＰループ内の任意の処理の瞬間的なゲインの合計が１を超えると、環境オーバレイが不安定になる。

【0021】

図１は、ヘッドホンドライバから環境マイクロホンへのリーク応答の実施例を示すグラフである。図１では、横軸は可聴周波数の対数目盛を表し、縦軸はリーク応答をデシベルで表す。図１に示すように、リーク応答は周波数に大きく依存し、比較的小さな周波数範囲では２０デシベルを超える変動があり、リーク応答は６００Ｈｚ以下で急激に低下する。

【0022】

図２Ａは、ＭＣＰマイクロホンからの信号がブーストされ、その後ヘッドホンスピーカドライバにフィードバックされたときのＭＣＰヘッドホン応答の実施例を示す。これらの例では、環境マイクロホン信号は、少なくとも５．０ｄＢ及び９．６ｄＢまでブーストされた。時間は横軸に、振幅は縦軸に表示される。図２Ｂは、図２Ａに示された各実施例の周波数応答を示す。

【0023】

図１、２Ａ及び２Ｂに示される実施例に基づいて、いくつかの結論を下すことができる。（５．０ｄＢ、８．０ｄＢ、９．０ｄＢのゲインの例で示されているように）本質的に安定した状態から（９．２ｄＢの利得の例で示されているように）壊滅的な状態への移行は、２ｄＢ未満で発生することがわかります。また、環境オーバレイ不安定性は、図１に示されているリーク応答曲線の最大で生じることが分かる。これは、「環境オーバレイ不安定性周波数」と称され得る。いくつかの実装では、複数の潜在的な環境オーバレイ不安定性周波数が存在し得る。誤差のマージンは非常に小さく、環境オーバレイ不安定性は、完全なループ応答ピークが０ｄＢを超えるとすぐにほぼ確実になる。

【0024】

これらの実施例では、電話機の内側又は外側の環境オーバレイ不安定性周波数において、メディア信号又は過剰信号が存在する必要はない。環境オーバレイ不安定性はループゲインの出現である。

【0025】

図２Ａ及び２Ｂに示す例では、ゲインは固定されているので、トーンは指数関数的に増加する。上述したように、ＭＣＰヘッドホンの通常動作中のいくつかのＭＣＰ方法によれば、全体的な信号ゲインは、メディア信号と環境マイクロホンから受信される外部音に対応する信号との両方に依存する。ループゲインは、メディアが再生されるにつれて増加し得る。このゲインが高すぎると、環境オーバレイの不安定性が始まる可能性がある。しかしながら、外部環境マイク信号が増加するにつれて、外部音がメディアの上で聞こえる場合、いくつかのＭＣＰ方法は外部環境マイク信号ゲインを減少させる。従って、環境オーバレイ不安定性は、指数関数的に増大するのではなく、（少なくともある場合には）外部音がメディアの上で確実に聴取されるレベルで安定する傾向がある。

【0026】

図３は、本開示の様々な態様を実施可能な装置の構成要素の実施例を示すブロック図である。いくつかの実施態様では、デバイス３００は、一対のヘッドホンユニットであり得るか、又はこれを含み得る。この例では、装置３００は、インタフェースシステム３０５及び制御システム３１０を含む。インタフェースシステム３０５は、１つ以上のネットワークインタフェース及び／又は１つ以上の外部デバイスインタフェース（１つ以上のユニバーサルシリアルバスインタフェースなど）を含み得る。いくつかの例では、インタフェースシステム３０５は、図３に示されるオプションのメモリシステム３１５などの、制御システム３１０とメモリシステムとの間の１つ以上のインタフェースを含み得る。しかしながら、制御システム３１０はメモリシステムを含み得る。

【0027】

制御システム３１０は、例えば、汎用のシングル又はマルチチッププロセッサ、デジタル信号プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）若しくは他のプログラマブルロジックデバイス、個別ゲート若しくはトランジスタロジック、及び／又は個別ハードウェアコンポーネントを含み得る。いくつかの実装において、制御システム３１０は、少なくとも部分的に、本明細書に開示された方法を実行することができる。

【0028】

本明細書に記載された方法のいくつか又は全ては、非一時的媒体に記憶された命令（例えば、ソフトウェア）にしたがって、１つ以上のデバイスによって実施され得る。かかる非一時的媒体は、ランダムアクセスメモリ（ＲＡＭ）デバイス、読出し専用メモリ（ＲＯＭ）デバイスなどを含むが、これらに限定されず、本明細書に記載されたようなメモリデバイスを含み得る。非一時的媒体は、例えば、図３に示す任意のメモリシステム３１５及び／又は制御システム３１０内に存在し得る。したがって、従って、本開示に記載された主題の種々の革新的な態様は、ソフトウェアを格納した非一時的媒体で実施することができる。ソフトウェアは、例えば、音声データを処理するために少なくとも１つのデバイスを制御するための命令を含み得る。ソフトウェアは、例えば、図３の制御システム３１０等の制御システムの１つ以上のコンポーネントによって実行可能であり得る。

【0029】

この実施例では、装置３００は、マイクロホンシステム３２０を含む。この例では、マイクロホンシステム３２０は、１つ以上のヘッドホンユニットの外部部分など、装置３００の外部部分に属するか、又はその近くにある１つ以上のマイクロホンを含む。

【0030】

この実装によれば、装置３００は、１つ以上のスピーカを有するスピーカシステム３２５を含む。いくつかの実施例では、スピーカシステム３２５の少なくとも一部は、一対のヘッドホンユニット内又はその上に存在してもよい。

【0031】

この実施例では、デバイス３００は、１つ以上のセンサを有するオプションのセンサシステム３３０を含む。センサシステム３３０は、例えば、１つ以上の加速度計又はジャイロスコープを含み得る。センサシステム３３０及びインタフェースシステム３０５は、図３では別個の要素として示されているが、いくつかの実施形態では、インタフェースシステム３０５は、センサシステム３００の少なくとも一部を組み込んだユーザインタフェースシステムを含み得る。例えば、ユーザインタフェースシステムは、１つ以上のタッチ及び／又はジェスチャ検出センサシステム、１つ以上の慣性センサデバイスなどを含み得る。ユーザインタフェースシステムは、ユーザからの入力を受信するように構成され得る。

【0032】

いくつかの実装形態では、ユーザインタフェースシステムは、ユーザにフィードバックを提供するように構成されてもよい。いくつかの例によれば、ユーザインタフェースシステムは、モータ、バイブレータ等のような触覚フィードバックを提供するデバイスを含み得る。いくつかの実施態様では、マイクロホンシステム３２０、スピーカシステム３２５及び／又はセンサシステム３３０及び制御システム３１０の少なくとも一部は、異なるデバイス内に存在してもよい。例えば、制御システム３１０の少なくとも一部は、スマートホン、家庭娯楽システムのコンポーネントなど、装置３００と通信するように構成されたデバイス内に属し得る。

【0033】

図４は、図３に示されるような装置によって実施され得る方法の一実施例を概説するフロー図である。方法４００のブロックは、本明細書に記載される他の方法と同様に、必ずしも示される順序で実施されるわけではない。さらに、そのような方法は、図示及び／又は記載されているよりも多い又は少ないブロックを含み得る。

【0034】

この例では、ブロック４０５は、メディアストリームに対応するメディア入力音声データを受信することを含む。ブロック４０５は、例えば、インタフェースシステム（図３のインタフェースシステム３０５など）を介してメディア入力音声データを受信する制御システム（図３の制御システム３１０など）を含み得る。

【0035】

この例によれば、ブロック４１０は、ヘッドホンマイクロホンシステムからヘッドホンマイクロホン入力音声データを受信することを含む。いくつかの実施例では、ヘッドホンマイクロホンシステムは、図３を参照して上述したヘッドホンマイクロホンシステム３２０であり得る。

【0036】

この実施例では、ヘッドホンマイクロホンシステムは、少なくとも１つのヘッドホンマイクロホンを含む。この実施例によれば、（複数の）ヘッドホンマイクロホンは、少なくとも１つの外部ヘッドホンマイクロホンを含む。この実装では、ブロック４１５は、（例えば制御システムによって）メディア入力音声データの複数の周波数帯域のうちの少なくとも１つに対するメディア音声ゲインを決定することを含む。いくつかのかかる実施例では、ブロック４１５（又は方法４００の別の部分）は、メディア入力音声データを時間ドメインから周波数ドメインに変換することを含み得る。また、方法４００は、メディア入力信号を個別の周波数帯域（ｄｉｓｃｒｅｔｅ ｆｒｅｑｕｅｎｃｙ ｂａｎｄｓ）に分解するフィルタバンクを適用することを含み得る。

【0037】

この実施例によれば、ブロック４２０は、（例えば、制御システムによって）ヘッドホンマイクロホン入力音声データの複数の周波数帯域のうちの少なくとも１つに対するヘッドホンマイクロホン音声ゲインを決定することを含む。したがって、方法４００は、ヘッドホンマイクロホン入力信号を時間ドメインから周波数ドメインに変換し、ヘッドホンマイクロホン信号を周波数帯域に分解するフィルタバンクを適用することを含み得る。いくつかの実施例において、ブロック４１５及び４２０は、「Ｍｅｄｉａ－Ｃｏｍｐｅｎｓａｔｅｄ Ｐａｓｓ－Ｔｈｒｏｕｇｈ ａｎｄ Ｍｏｄｅ－Ｓｗｉｔｃｈｉｎｇ（メディア補償パススルー及びモードスイッチング）」と題する国際公開第２０１７／２１７６２１号公報に開示されているようなＭＣＰ方法を適用することを含み得る。

【0038】

この実施例によれば、ブロック４２０は、複数の周波数帯のうちの少なくとも１つに対するフィードバックリスク制御値を決定することを含む。この例では、フィードバックリスク制御値は、環境オーバレイ不安定性のリスクに対応し、特に、ヘッドホンマイクロホンシステムの少なくとも１つの外部マイクロホンとヘッドホンスピーカシステムの少なくとも１つのヘッドホンスピーカとの間のヘッドホンフィードバックのリスクに対応する。ヘッドホンスピーカシステムは、１つ又は複数のヘッドホンユニットに配置された１つ又は複数のヘッドホンスピーカを含み得る。

【0039】

この例では、ブロック４２０は、フィードバックリスク制御値に少なくとも部分的に基づいて、複数の周波数帯域のうちの少なくとも１つにおける実際の又は潜在的なヘッドホンフィードバックを緩和し得るヘッドホンマイクロホン音声ゲインを決定することを含む。種々の例を以下に記載する。

【0040】

この実装では、ブロック４２５は、ヘッドホンマイクロホン音声ゲインを複数の周波数帯域の少なくとも１つにおいてヘッドホンマイク入力音声データに適用することによって、ヘッドホンマイク出力音声データを生成することを含む。ここで、ブロック４３０は、メディア出力音声データと、ヘッドホンマイクロホン出力音声データとを混合して、混合音声データを生成することを含む。この実施態様によれば、ブロック４３５は、混合音声データをヘッドホンスピーカシステムに提供することを含む。ブロック４２５、４３０及び４３５は、制御システムによって実行されてもよい。

【0041】

いくつかの実施例では、ブロック４２０は、既知の環境オーバレイ不安定性周波数、例えば、特定のヘッドホン実装に関連することが知られている環境オーバレイ不安定性周波数を含む少なくとも１つの周波数帯域に対するフィードバックリスク制御値を決定することを含み得る。かかる周波数帯域は、本明細書では「フィードバック周波数帯域」と称され得る。

【0042】

いくつかのかかる実施例によれば、フィードバックリスク制御値を決定することは、フィードバック周波数帯域における振幅の増加を検出することを含むことができる。振幅の増加は、例えば、フィードバックリスク閾値以上であり得る。いくつかの実施例において、フィードバックリスク制御値を決定することは、フィードバックリスク時間ウィンドウ内の振幅の増加を検出することを含み得る。いくつかの実装によれば、フィードバックリスク制御値を決定することは、ヘッドホン取り外し表示を受信し、ヘッドホン取り外し表示に少なくとも部分的に基づいてヘッドホン取り外しリスク値を決定することを含み得る。ヘッドホン取り外しリスク値は、ヘッドホンスピーカシステム及びヘッドホンマイクロホンシステムを含むヘッドホンのセットが、ユーザの頭部から少なくとも部分的に取り外しされる、又は、間もなく取り外しされるリスクに対応し得る。

【0043】

いくつかの実装において、装置３００が上述のセンサシステム３３０を含み、ヘッドホン取り外し表示（ｈｅａｄｐｈｏｎｅ ｒｅｍｏｖａｌ ｉｎｄｉｃａｔｉｏｎ）は、少なくとも部分的に、センサシステム３３０からの入力に基づき得る。例えば、ヘッドホン取り外し表示は、少なくとも部分的に、ヘッドホン加速度を示す慣性センサデータ、ヘッドホン位置変化を示す慣性センサデータ、ヘッドホンとの接触を示すタッチセンサデータ、及び／又はヘッドホンとの差し迫った接触の可能性を示す近接センサデータに基づくことができる。

【0044】

いくつかの実施例によれば、ヘッドホン取り外し表示は、少なくとも部分的に、ヘッドホンの取り外しに対応するユーザ入力データに基づくことができる。例えば、少なくとも１つのヘッドホンユニットは、ユーザがヘッドホンを取り外そうとしているときにユーザが相互作用し得るユーザインタフェース（例えば、タッチセンサ又はジェスチャセンサシステム、ボタンなど）を含み得る。

【0045】

いくつかの実装では、ヘッドホン取り外し表示は、少なくとも部分的に、１つ以上のヘッドホンマイクロホンからの入力に基づき得る。例えば、ユーザがヘッドホンを取り外すと、左側ヘッドホンユニットのスピーカによって再生された音声が、右側ヘッドホンユニットのマイクロホンによって検出され得る。あるいは又はされに、右側ヘッドホンユニットのスピーカによって再生された音声は、左側ヘッドホンユニットのマイクロホンによって検出され得る。マイクロホンは、内部又は外部マイクロホンであり得る。ヘッドホン制御システムは、ヘッドホンユニットのスピーカからの音声データが、少なくとも部分的に、他のヘッドホンユニットからのマイクロホンデータに対応すると決定することができる。いくつかのかかる実装によれば、ヘッドホン取り外し表示は、少なくとも部分的には、左側ヘッドホンスピーカによって再生される音声に対応する左側外部ヘッドホンマイクロホンデータ、右側ヘッドホンスピーカによって再生される音声に対応する右外部ヘッドホンマイクロホンデータ、右側ヘッドホンスピーカによって再生される音声に対応する左側内部ヘッドホンマイクロホンデータ、及び／又は左側ヘッドホンスピーカによって再生される音声に対応する右側内部ヘッドホンマイクロホンデータに基づくことができる。

【0046】

いくつかの実施例において、フィードバックリスク制御値を決定することは、不適切なヘッドホン位置表示を受信することを含み得る。いくつかのかかる実施例は、不適切なヘッドホン位置決め表示に少なくとも部分的に基づいて不適切なヘッドホン位置決めリスク値を決定することを含み得る。不適切なヘッドホン位置決めリスク値は、ヘッドホンスピーカシステム及びヘッドホンマイクシステムを含むヘッドホンのセットがユーザの頭部上に不適切に位置決めされるリスクと対応し得る。

【0047】

いくつかの実施例によれば、不適切なヘッドホン位置表示は、センサシステムからの入力、例えば、１つ以上のヘッドホンユニットの位置が変化したことを示す加速度計又はジャイロスコープからの入力に基づき得る。いくつかのかかる実施例において、不適切なヘッドホン位置決めリスク値は、センサデータによって示される変化の大きさ（例えば、加速度の大きさ）に対応し得る。

【0048】

あるいは又はさらに、不適切なヘッドホン位置決め表示は、少なくとも部分的に、左側ヘッドホンスピーカによって再生された音声に対応する左側外部ヘッドホンマイクデータ、右側ヘッドホンスピーカによって再生された音声に対応する右側外部ヘッドホンマイクデータ、右側ヘッドホンスピーカによって再生された音声に対応する左側内部ヘッドホンマイクデータ、及び／又は左側ヘッドホンスピーカによって再生された音声に対応する右側内部ヘッドホンマイクデータに基づき得る。

【0049】

図５Ａは、いくつかの実施例によるメディア補償パススルー（ＭＣＰ）プロセスのブロックを含むブロック図である。図６は、図５Ａのフィードバックリスク検出ブロック５２０の詳細な実施例を示すブロック図である。本明細書に開示されている他の図と同様に、図５及び図６に示されている詳細は、図示の値、ブロックの数及びタイプなどを含むが、これらに限定されない。いくつかの実装では、図５及び図６のブロックは、例えば、図３の制御システム３１０によって制御システムによって実装され得る。あるいは又はさらに、図５及び図６のブロックの少なくともいくつかは、１つ以上の非一時的媒体に格納されたソフトウェアによって実装され得る。ソフトウェアは、これらのブロックの記述された機能を実行するために１つ以上のデバイスを制御するための命令を含み得る。

【0050】

図５Ａに示される例では、ＭＣＰシステム５００は、環境マイクロホン信号５０５及びメディア入力信号５１０に対応する出力信号のレベルを決定し、これらの信号を混合し、出力信号を提供するように構成される。この実施例によれば、環境マイクロホン信号に適用されるゲインは、フィードバックリスク検出ブロック５２０からの入力にしたがって制御され得る。いくつかの実装によれば、四角５０１内の要素を除き、ＭＣＰシステム５００は、「Ｍｅｄｉａ－Ｃｏｍｐｅｎｓａｔｅｄ Ｐａｓｓ－Ｔｈｒｏｕｇｈ ａｎｄ Ｍｏｄｅ－Ｓｗｉｔｃｈｉｎｇ（メディア補償パススルー及びモードスイッチング）」と題する国際公開第２０１７／２１７６２１号公報に開示されているように機能し得る。しかしながら、他の実施形態は、本明細書に記載されるフィードバックリスク検出及び軽減技術を他のＭＣＰ方法論に適用してもよい。

【0051】

この実施例では、環境マイクロホン信号５０５はフィルタバンク／パワー計算ブロック５１５ａに供給され、メディア入力信号５１０はフィルタバンク／パワー計算ブロック５１５ｂに供給される。メディア入力信号５１０は、例えば、スマートホン、テレビ又は家庭娯楽システムの他のデバイスなどから受信され得る。この実施例では、環境マイクロホン信号５０５は、ヘッドホンの１つ以上の環境マイクロホンから受信される。環境マイクロホン信号５０５及びメディア入力信号５１０は、この実施例では３２サンプルブロック内のフィルタバンク／パワー計算ブロック５１５ａ及び５１５ｂに供給されるが、他の実施例では、環境マイクロホン信号５０５及びメディア入力信号５１０は、異なるサンプル数を有するブロックを介して供給され得る。

【0052】

フィルタバンク／パワー計算ブロック５１５ａ及び５１５ｂは、時間ドメイン内の入力音声データを周波数ドメイン内の帯域音声データ（ｂａｎｄｅｄ ａｕｄｉｏ ｄａｔａ）に変換するように構成される。この実施例では、フィルタバンク／パワー計算ブロック５１５ａ及び５１５ｂは、８つの周波数帯域において周波数領域の音声データを出力するように構成されているが、他の実施例では、フィルタバンク／パワー計算ブロック５１５ａ及び５１５ｂは、周波数領域の音声データをより少ない周波数帯域において出力するように構成され得る。いくつかの実施例によれば、フィルタバンク／パワー計算ブロック５１５ａ及び５１５ｂの各々は、２８の二次セクションを介して実施される、四次ローパスフィルタ、四次ハイパスフィルタ、及び６つの八次バンドバスフィルタとして実施されてもよい。いくつかのかかる実施例は、参照により本明細書に組み込まれている、Ａ． Ｆａｖｒｏｔ及びＣ． Ｆａｌｌｅｒによる「Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｎ－Ｂａｎｄ ＩＩＲ Ｆｉｌｔｅｒｂａｎｋ Ｂａｓｅｄ ｏｎ ２－Ｂａｎｄ Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｆｉｌｔｅｒｓ（２バンド相補フィルタに基づく相補ＮバンドＩＩＲフィルタバンク ）」 １２ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ａｃｏｕｓｔｉｃ Ｓｉｇｎａｌ Ｅｎｈａｎｃｅｍｅｎｔ （Ｔｅｌ－Ａｖｉｖ－Ｊａｆｆａ ２０１０）、に記載されている、フィルタバンク設計技術にしたがって実装される。

【0053】

この実施例によれば、フィルタバンク／パワー計算ブロック５１５ａは、帯域周波数領域マイクロホン音声データ５１７ａをフィードバックリスク検出ブロック５２０及びミキサブロック５５０に出力する。フィードバックリスク検出ブロック５２０は、例えば、図４を参照して上述したように、フィードバックリスク制御値を決定するように構成することができる。

【0054】

ここで、フィルタバンク／パワー計算ブロック５１５ａは、帯域化された周波数ドメインマイクロホン音声データ５１７ａの書く周波数帯域におけるパワーを示す、帯域マイクロホンパワーデータ（ｂａｎｄｅｄ ｍｉｃｒｏｐｈｏｎｅ ｐｏｗｅｒ ｄａｔａ）５１９ａを、平滑化／ローパスフィルタブロック５３０ａに出力する。平滑化／ローパスフィルタブロック５３０ａは、平滑化／ローパスフィルタリングされたマイクロホンパワーデータ５３２、５３２ａを適応ノイズゲートブロック５３５に出力する。

【0055】

この実施例では、フィルタバンク／パワー計算ブロック５１５ｂは、帯域周波数ドメインメディア音声データ５１７ｂをミキサブロック５５０に出力し、帯域周波数ドメインメディア音声データ５１７ｂの各周波数帯域におけるパワーを示す帯域メディアパワーデータ５１９ｂを平滑化／ローパスフィルタブロック５３０ｂに出力する。平滑化／ローパスフィルタブロック５３０ｂは、適応ノイズゲートブロック５３５及びメディアダッキング／マイクロホンゲイン調整ブロック５４５に平滑化／ローパスフィルタメディアパワーデータ（ｓｍｏｏｔｈｅｄ／ｌｏｗ－ｐａｓｓ ｆｉｌｔｅｒｅｄ ｍｅｄｉａ ｐｏｗｅｒ ｄａｔａ ）５３４、５３２ｂを出力する。

【0056】

この実施例によれば、この例によれば、適応ノイズゲートブロック５３５は、マイクロホン信号が、ブーストされるべきではないバックグラウンドノイズ等の関心のないメディア又は何かに対して、レベルをブーストされるべき人間の声等のユーザの関心があり得る音声に対応するかどうか決定するように構成されている。いくつかの実装では、適応ノイズゲートブロック５３５は、「Ｍｅｄｉａ－Ｃｏｍｐｅｎｓａｔｅｄ Ｐａｓｓ－Ｔｈｒｏｕｇｈ ａｎｄ Ｍｏｄｅ－Ｓｗｉｔｃｈｉｎｇ（メディア補償パススルー及びモードスイッチング）」と題される国際公開第ＷＯ ２０１７／２１７６２１号に開示されているようなモードスイッチング方法及び／又はマイクロホン信号処理方法を適用することができる。

【0057】

いくつかの実施例において、適応ノイズゲートブロック５３５は、バックグラウンドノイズ信号と非ノイズ信号とを区別するように構成することができる。これは、ＭＣＰヘッドホンにおいて重要である。なぜならば、潜在的な関心のあるマイクロホン信号が処理されたのと同じようにバックグラウンドノイズが処理された場合、ＭＣＰヘッドホンは、バックグラウンドノイズ信号をメディア信号よりも高いレベルにブーストするからである。これは、非常に望ましくない効果である。

【0058】

いくつかの実装によれば、フィルタバンク／パワー計算ブロック５１５ａは、マルチ帯域アルゴリズムを実装する。フィルタバンク／パワー計算ブロック５１５ａは、いくつかの実施例では、フィルタバンク／パワー計算ブロック５１５ａによって生成された各周波数帯域上で独立して動作し得る。いくつかのかかる実装では、適応ノイズゲートブロック５３５は、各周波数帯域に対して２つの出力値（５３７）を生成することができ、これはノイズ包絡線の推定値を記述することができる。各周波数帯域に対する２つの出力値（５３７）は、本明細書では、以下により詳細に説明されるように、「ノイズゲート開始」及び「ノイズゲート停止」と称され得る。かかる実装では、所与の帯域でノイズゲート停止より上のレベルに上昇するレベルを有するマイクロホン入力信号は、ノイズではない（換言すると、メディア信号レベルより上にブーストされるべき関心ある信号である）として扱うことができる。

【0059】

いくつかの実施例では、「波高率（ｃｒｅｓｔ ｆａｃｔｏｒ）」は適応ノイズゲートブロック５３５への重要な入力である。波高率は、マイクロホン信号から導出される。いくつかの実施例によれば、波高率が低い場合、マイクロホン信号はノイズであると考えられる。いくつかのかかる実装では、マイクロホン信号において高い波高率が検出される場合、そのマイクロホン信号は関心のあるものであると考えられる。

【0060】

いくつかの実装によれば、各帯域に対する波高率は、フィルタバンク／パワー計算ブロック５１５ａからの比較的短い時間間隔（例えば、２０ｍｓ）にわたって平滑化された出力パワーと、同じ出力パワーの、比較的長い時間間隔（例えば、２秒）にわたって平滑化されたバージョンとの差として計算され得る。これらの時間間隔は単なる例である。他の実装は、平滑化された出力パワー及び／又は波高率を計算するために、より短い又はより長い時間間隔を使用し得る。いくつかのかかる実施例では、各帯域について計算された波高率は、その後上部４つの帯域について正規化される。これらの上部４つの帯域の波高率のいずれかが正で先行する帯域の波高率が低い場合は、先行する帯域の波高率が代わりに使用される。この技術は、周波数が高くなるにつれて波高率が増加するヒューという音（ｓｗｉｓｈｉｎｇ ｓｏｕｎｄｓ）がノイズゲートから「飛び出す（ｐｏｐｐｉｎｇ ｏｕｔ）」ことを防止する。

【0061】

いくつかのの実施例において、適応ノイズゲートブロック５３５は、ノイズに「追従」するように構成され得る。そかかる実施例によれば、適応ノイズゲートブロック５３５は、計算された、マイクロホン信号の波高率によって導かれる（ｄｒｉｖｅｎ）２つの動作モードを有している場合がある。かかる実施例では、波高率が特定の閾値を下回った場合に第１動作モードが呼び出され得る。かかる場合、マイクロホン信号は、主にノイズとみなされる。第１動作モードの例では、ノイズゲートの底部（「ノイズゲート開始」）は、最小マイクロホンレベルをちょうど下回るように設定される。ノイズゲートの頂部（「ノイズゲート停止」）は、例えば、平均メディアレベルとノイズゲートの底部との中間に設定される。これにより、ノイズゲートからノイズが少しずれて飛び出るのを防ぎます。

【0062】

いくつかのかかる実施例によれば、波高率が特定の閾値を上回るときに、第２動作モードが呼び出され得る。かかる状況下では、いくつかの例において、マイクロホン信号は、関心あるものと考えられる（例えば、主にバックグラウンドノイズではない）。いくつかのかかる実施例では、「ミニマムフォロア」は、ノイズゲートの底部が関心部分の間に信号を追跡することを防止し得る。かかる実装によれば、ノイズゲートのトップは、遅い移動平均のマイクロホンレベルとボトムノイズゲートとの間の中間に設定され得る。それに応じてピークはブーストされ得る。かかる実装は、低ＳＮＲバックグラウンドの状況（例えば騒がしいカフェ）において、ゲートを通して比較的大きな音を許容し得る。かかる実装は、メディアレベルがバックグラウンドよりもいくらか（例えば、８～１０ｄｂ）大きい場合にのみ、滑らかな遷移を提供し得る。いくつかのかかる実装によれば、他の全ての状況において、ノイズゲートのトップは、高い波高率が検出されると、非常に低いレベルにスナップダウンする。

【0063】

したがって、適応ノイズゲートブロック５３５は、マイクロホン信号が関心のあり得る音に対応するか否かに関する決定に対応するコンプレッサパラメータ５３７を出力し得る。例えば、出力パラメータ５３７は、例えば前述のように、ノイズゲートのトップ及びボトムに基づいた帯域ごとの値であってもよい。図５Ａに示す例では、出力パラメータ５３７は入力コンプレッサブロック５４０に渡される。

【0064】

図５Ａに示す実施例によれば、入力コンプレッサブロック５４０は、マイクロホンゲイン５４２を決定し、マイクロホンゲイン５４２をメディア及びマイクロホンゲイン調整ブロック５４５に出力する。いくつかのかかる実施例では、入力コンプレッサブロック５４０は、帯域毎の信号で動作する。いくつかのかかる実施例によれば、入力コンプレッサブロック５４０は、ノイズゲート値及びメディアレベルに基づく動的圧縮伝達関数を生成する。この圧縮伝達関数は、入力マイク信号に適用され得る。

【0065】

図５Ｂは、図５Ａの入力コンプレッサブロックによって作成され得る伝達関数の一実施例を示す。この実施例では、入力マイクロホンレベルが「ノイズゲート開始」レベル以上であれば、マイクロホンレベルがブーストされるが、この実施例では、それは－７０ｄＢである。入力マイクロホンレベル５６０と出力マイクロホンレベル５６５との垂直方向の分離によってマイクレベルがブーストされる程度が示される。この実施例では、「ノイズゲート停止」レベルと、最大信号対雑音比（ＳＮＲ）レベルとの間で、マイクレベルが比較的小さくブーストされ、それ以上では入力マイクロホンレベルはブーストされない。いくつかのかかる実装では、結果として生じる帯域毎のゲインは、個々の帯域が誤って動作するのを防ぐために、近くの帯域のエネルギレベルにしたがって重み付けされる場合がある。これらのゲイン５４２は、メディア及びマイクロホンのゲイン調整ブロック５４５に渡される。

【0066】

メディア及びマイクロホンゲイン調整ブロック５４５は、ミキサブロック５５０に出力されるメディア及び環境マイクロホン音声データのゲイン値を決定する。例えば、いくつかの方法は、メディア出力音声データの存在下でのマイクロホン出力音声データの知覚音量とマイクロホン入力音声データの知覚音量との間の差分が、メディア入力音声データの存在下でのマイクロホン入力音声データの知覚音量とマイクロホン入力音声データの知覚音量との間の差分より小さくなるようにレベルを調整することを含み得る。いくつかの実施態様では、調整することは、マイクロホン入力音声データの複数の周波数帯域のうちの１つ以上のレベルをブーストすることのみを含み得る。しかしながら、いくつかの実施例では、調整することは、マイクロホン入力音声データの複数の周波数帯域のうちの１つ以上のレベルをブーストすること、メディア入力音声データの複数の複数の周波数帯域のうちの１つ以上のレベルを減衰させることの両方を含み得る。いくつかの実施例において、メディア出力音声データの存在下でのマイクロホン出力音声データの知覚された音量は、マイクロホン入力音声データの知覚された音量と実質的に等しい。いくつかの実施例によれば、メディア及びマイクロホン出力音声データの合計音量は、メディア及びマイクロホン入力音声データの合計音量と、メディア及びマイクロホン出力音声データの合計音量との間の範囲であり得る。しかしながら、場合によっては、メディア及びマイクロホン出力音声データの合計音量は、メディア及びマイクロホン入力音声データの合計音量に実質的に等しいか、あるいはメディア及びマイクロホン出力音声データの合計音量に実質的に等しいことがある。

【0067】

いくつかの実施例では、メディア及びマイクロホンゲイン調整ブロック５４５は、メディアダッカ又は減衰器を実装し得る。いくつかのかかる実施例によれば、メディア及びマイクロホンゲイン調整ブロック５４５は、圧縮されたマイクロホン信号にメディア信号を加えたものが、メディア信号のみよりも大きくならないようにするために必要な入力混合エネルギレベルを決定するように構成され得る。メディアダッカは、個々のフィルタバンク信号上で動作することができる。かかる実施例の１つによれば、総入力エネルギｉｎｐｕｔ＿ｅｎｅｒｇｙは、
ｉｎｐｕｔ＿ｅｎｅｒｇｙ＝｜ｍｉｃ＿ｉｎ｜＋｜ｍｅｄｉａ＿ｉｎ｜
であり、マイクがブーストされた後のエネルギレベルは、
ｏｕｔｐｕｔ＿ｅｎｅｒｇｙ＝｜ｍｉｃ＿ｏｕｔ｜＋｜ｍｅｄｉａ＿ｉｎ｜
であり、メディア及びマイクロホンゲイン調整ブロック５４５は、例えば、以下のように、混合出力に適用されるダッキングゲインを計算するために、入出力エネルギの比を使用するように構成され得る：
ｍｉｘ＿ｏｕｔ＝（ｍｉｃ＿ｏｕｔ＋ｍｅｄｉａ＿ｉｎ）＊ｉｎｐｕｔ＿ｅｎｅｒｇｙ／ｏｕｔｐｕｔ＿ｅｎｅｒｇｙ

【0068】

いくつかの実施例によれば、メディア及びマイクロホンゲイン調整ブロック５４５は、帯域ごとにダッキングゲインを適用するように構成され得る。

【0069】

図５Ｃは、図５Ａのメディア及びマイクロホンゲイン調整ブロックによって適用され得るダッキングゲインの一実施例を示す。図５Ｃに示されるメディアレベル５７０ｂは、ダッキングゲインの効果を示す。図５Ｂに示されるメディアレベル５７０ａと図５Ｃに示されるメディアレベル５７０ｂとを比較することによって、この実施例で適用されたメディアダッキングの量を見ることができる。

【0070】

この実施例によれば、ミキサブロック５５０がフィードバックマイクロホンゲインリミッタブロック５２５から受信し得る入力（例えば、マイクロホンゲイン制限５２７）にしたがうことを条件として、ミキサブロック５５０は、メディア及びマイクロホンゲイン調整ブロック５４５から受け取ったマイクロホン及びメディアゲインを、帯域周波数ドメインマイクロホン音声データ５１７ａ及び帯域周波数ドメインメディア音声データ５１７ｂに適用して、出力信号５５５を生成する。

【0071】

いくつかの実施例では、マイクロホンゲイン制限５２７は、フィードバックマイクロホンゲインリミッタブロック５２５がフィードバックリスク検出ブロック５２０から受け取るフィードバックリスク制御値５２２に基づき得る。いくつかの実施態様によれば、フィードバックマイクロホンゲイン制限ブロック５２５は、少なくとも部分的にフィードバックリスク制御値に基づいて、ゲイン値の第１セットとゲイン値の第２セットとの間を補間するように構成され得る。

【0072】

いくつかのかかる実装では、ゲイン値の第１セットは、複数の周波数帯域のうちの各周波数帯域に対する最小ゲイン値のセットであり得る。いくつかの実施例では、第２ゲイン値セットは、複数の周波数帯域のうちの各周波数帯域に対する最大ゲイン値を含み得る。いくつかの実装では、フィードバックのオンセットが検出されると、環境マイクロホン信号ゲインは、ゲイン値の第１セットに設定される。最大ゲイン値は、例えば、経験的観察に基づいて、フィードバックをトリガすることなく環境マイクロホン信号に安全に適用され得る最高レベルのゲインに対応するゲイン値のセットであり得る。いくつかの実施例によれば、マイクロホンゲイン制限５２７は、以下に説明されるフィードバックリスクスコア減衰平滑化プロセスにしたがって、最小ゲイン値から最大ゲイン値まで徐々に「解放（ｒｅｌｅａｓｅｄ）」され得る。

【0073】

図６は、フィードバックリスク検出ブロック５２０の詳細な実施例を示す。上述したように、フィードバックリスク検出器のいくつかの実装は、図６に示されているよりも多くの又は少ないブロックを含み得る。この実施例によれば、フィルタバンク／パワー計算ブロック５１５ａは、帯域周波数ドメインマイクロホン音声データ５１７ａをフィードバックリスク検出ブロック５２０の帯域重み付けブロック（ｂａｎｄ ｗｅｉｇｈｔｉｎｇ ｂｌｏｃｋ）６０５に出力する。

【0074】

いくつかの例では、帯域重み付けブロック６０５は、１つ以上の環境オーバレイ不安定性周波数の事前知識に基づく重み付けファクタを適用するように構成されてもよい。各帯域に対する重み付けファクタは、例えば、テスト中のヘッドホンの観測された環境オーバレイ不安定性に基づいて選択され得る。重み付けファクタは、観察された不安定性のレベルと相関するように選択され得る。重み付けファクタは、１つ以上の環境オーバレイ不安定周波数に対応する１つ以上の周波数帯域のマイクロホン音声データを強調するように、及び／又は他の周波数帯域のマイクロホン音声データを強調しない（ｄｅ－ｅｍｐｈａｓｉｚｅ）ように設計され得る。１つの単純な例では、重み付けファクタは、周波数帯については単一の値（例えば、１）、強調されない周波数帯についてはゼロであってもよい。しかしながら、いくつかの例では、他のタイプの重み付けファクタが実装され得る。８つの周波数帯を含むいくつかの例において、各帯域に対する重みは、［０．１、０．３、０．６、０．８、１．０、．９、０．８、０．５］、［０．１、０．２、０．４、０．７、１．０、．９、０．７、０．４］、［０．１５、０．３５、０．５５、０．８５、１．０、１．０、０．８５、０．５５］、［０．０５、０．１５、０．３５、０．６５、．８５、．９、０．６５、０．４］、［０．１、０．２、０．４５、０．７、０．９、０．９、０．７、０．４５］、［０．１、０．３５、０．６、０．８、１．０、０．８、０．６、０．３５］、［０．０、０．２５、０．５、０．７５、１．０、１．０、０．７５、０．５］、［０．０５、０．３、０．５５、０．８、１．０、１．０、０．８、０．５５］、［０．０、０．２０、０．４、０．６５、０．９、１．０、０．６５、０．４］、［０．１、０．３、０．６、０．８５、１．０、１．０、０．８５、０．６］又は［０．１、０．３５、０．６、０．８５、１．０、１．０、０．８５、０．６］であり得る。

【0075】

この実施例では、重み付けされた帯域は加算ブロック６１０に加算され、重み付けされた帯域の合計は強調フィルタ６１５に提供される。強調フィルタ６１５は、１つ以上の環境オーバレイ不安定性周波数に対応する周波数帯域をさらに分離するように構成され得る。強調フィルタ６１５は、１つ以上の環境オーバレイ不安定性周波数に対応する（複数の）周波数帯域内の周波数の１つ以上の範囲を強調するように構成され得る。強調フィルタの（複数の）帯域幅は、不安定性を引き起こす周波数を含むように設計することができ、強調フィルタの大きさ（ｍａｇｎｉｔｕｄｅ）は、不安定性の相対的なレベルに対応することができる。いくつかの例によれば、強調フィルタの帯域幅は、１００Ｈｚ～４００Ｈｚの範囲であり得る。強調フィルタ６１５は、ピーキングフィルタであるか又はピーキングフィルタを含み得る。ピーキングフィルタは、１つ以上のピークを有し得る。各ピークは、不安定性を引き起こす周波数を目標とするように選択することができる。いくつかの例において、ピーキングフィルタは、ピーク当たり１０ｄＢの目標ゲインを有することができる。しかしながら、他の例は、より高い目標ゲイン又はより低い目標ゲインを有し得る。いくつかの例によれば、複数のピークを有するピーキングフィルタの中心周波数は、フィルタがオーバーラップするように互いに近接し得る。かかる場合には、いくつかの領域におけるピークゲインは、特定のピークに対する目標ゲインのゲインを超えることができ、例えば、１０ｄＢを超えることができる。いくつかの実施態様では、フィードバックリスク検出ブロック５２０は、帯域重み付けブロック６０５又は強調フィルタ６１５を含み得るが、両方を含んではならない。

【0076】

図６に示す実施形態では、フィードバックリスク検出ブロック５２０は、ヘッドホンマイクロホン音声データの複数の周波数帯域のうちの少なくとも１つをダウンサンプリングし、ダウンサンプリングされたヘッドホンマイクロホン音声データを生成するために、及び、ダウンサンプリングされたヘッドホンマイクロホン音声データをバッファ６２５に格納するために構成されている。この例では、ダウンサンプリングブロック６２０は、強調フィルタ６１５から出力されるフィルタリングされたヘッドホンマイクロホン音声データを受信し、フィルタリングされたヘッドホンマイクロホン音声データをダウンサンプリングして、ダウンストリーム処理の複雑さを低減する。いくつかの実施態様では、ダウンサンプリングブロック６２０は、フィルタリングされたヘッドホンマイクロホン音声データを係数４によってダウンサンプリングする。いくつかのかかる実装では、４でデシメートすることはダウンストリームのＭＩＰＳが１６分の１に減少することを意味する。なぜなら、サンプル数が４分の１に低下し、フィルタ内のタップ数が４分の１に低下するためである。他の実装は、ダウンサンプリング量の減少又は増加を含み得る。

【0077】

いくつかの実施態様では、ダウンサンプリングブロック６２０は、アンチエイリアスフィルタを適用することなく、フィルタリングされたヘッドホンマイクロホン音声データをダウンサンプリングし得る。かかる実装は、計算効率を提供し得るが、いくつかの周波数特有の情報の損失を生じ得る。いくつかのかかる実施態様では、フィードバックリスク検出ブロック５２０は、（フィードバックリスク制御値で表される）ヘッドホンフィードバックのリスクを決定するために構成されるが、フィードバックリスクを引き起こしている特定の周波数帯域を決定するためには構成されない。しかしながら、アンチエイリアスフィルタが使用されないためにシステムが周波数をエイリアスするとしても、システムのいくつかの実装は、それにもかかわらず、特定の周波数で効果を探すように構成され得る。システムが別の周波数にエイリアスされたトーンを探している場合、システムは、例えば、エイリアスされた周波数に対応する周波数範囲におけるフィードバックリスクを検出するように構成され得る。例えば、特定のイヤーデバイスが周波数帯域１において環境オーバレイ不安定性を全く経験しない場合であっても、帯域Ｎ（より高い周波数帯域）から帯域１へのエイリアスがより高い周波数帯域から下がることがあるため、システムは、周波数帯域１において環境オーバレイ不安定性を探すように構成され得る。図６に示す例によれば、ダウンサンプリングブロック６２０からダウンサンプリングされたヘッドホンマイクロホン音声データは、バッファ６２５の最新のサンプルとして提供される。

【0078】

いくつかの実施態様では、フィードバックリスク検出ブロック５２０は、ダウンサンプリングされたヘッドホンマイクロホン音声データの少なくとも一部に予測フィルタを適用して、予測ヘッドホンマイクロホン音声データを生成するように構成される。かかる実施例において、フィードバックリスク検出ブロック５２０は、バッファ６２５から時間Ｔにおいて受信されるダウンサンプリングされたヘッドホンマイクロホン音声データを読み出す（ｒｅｔｒｉｅｖｉｎｇ）ため、及び時間Ｔにおいて受信されたヘッドホンマイクロホン音声データに予測フィルタを適用して、時間Ｔ＋Ｎに対する予測ヘッドホンマイクロホン音声データを生成するために構成され得る。

【0079】

いくつかの実施形態では、フィードバックリスク検出ブロック５２０は、バッファから時間Ｔ＋Ｎにおいて受信されるダウンサンプリングされたヘッドホンマイクロホン音声データを読み出すため、及び時間Ｔ＋Ｎに対する先行するヘッドホンマイクロホン音声データと、時間Ｔ＋Ｎに受信される実際のダウンサンプリングされたヘッドホンマイクロホン音声データとの間のエラーを決定するために構成され得る。いくつかの実装では、Ｎは２００ミリ秒以下である。

【0080】

図６に示される例では、予測フィルタ６３０は、バッファ６２５内の最も古いサンプル上で動作するように構成される。この実施態様によれば、予測フィルタ６３０は、最小二乗平均フィルタである。予測フィルタ６３０は、いくつかの例では、電流信号の前に１００ミリ秒、１５０ミリ秒、２００ミリ秒などを受信していてもよい、バッファ６２５内の最も古いサンプルに基づいて電流信号を推定するように構成される。

【0081】

図６に示される例では、予測フィルタ６３０は、現在信号（ｃｕｒｒｅｎｔ ｓｉｇｎａｌ）の予測Ｐを作成し、信号を誤差計算ブロック６３５に供給するように構成される。この実施例では、誤差計算ブロック６３５は、予測Ｐからバッファ６２５内の最新サンプルの値Ｙを減算することによって誤差Ｅを決定する。大きな誤差Ｅは、フィードバックリスクの表示であり得る。いくつかの実装では、誤差計算ブロック６３５は、予測Ｐ（例えば、最新の４つのサンプル）からバッファ６２５内の最新のサンプルのブロックに対応する値を減算することによって、誤差Ｅを決定し得る。この実施例によれば、予測フィルタ６３０は、バッファ内の最も古いサンプルのみならず、誤差計算ブロック６３５から受信した最新の誤差Ｅにも基づいて予測Ｐを決定する。

【0082】

いくつかの実施例によれば、フィードバックリスク検出ブロック５２０は、予測されるヘッドホンマイクロホン音声データ及び実際のダウンサンプリングされたヘッドホンマイクロホン音声データの複数のインスタンスに基づいて、現在フィードバックリスク傾向を決定するように構成され得る。いくつかのかかる実施例では、フィードバックリスク検出ブロック５２０は、現在フィードバックリスク傾向と先行するフィードバックリスク傾向との間の差分を決定するように構成され得る。フィードバックリスク制御値は、前記差分に基づく。

【0083】

いくつかのかかる実施例において、フィードバックリスク検出ブロック５２０は、差分を決定する前に、予測ヘッドホンマイクロホン音声データ及び実際のダウンサンプリングされたヘッドホンマイクロホン音声データを平滑化するように構成され得る。いくつかの実装では、フィードバックリスク検出ブロック５２０は、予測ヘッドホンマイクロホン音声データパワー及び実際のダウンサンプリングされたヘッドホンマイクロホン音声データパワーを決定するために構成され得る。現在のフィードバックリスク傾向及び先行するフィードバックリスク傾向は、少なくとも部分的に、予測ヘッドホンマイク音声データパワー及び実際のダウンサンプリングされたヘッドホンマイクロホン音声データパワーに基づき得る。いくつかのかかる実装によれば、フィードバックリスク検出ブロック５２０は、差分に少なくとも部分的に基づいて、生フィードバックリスクスコアを決定するために、及び、減衰平滑化関数を生フィードバックリスクスコアに適用して、平滑化されたフィードバックリスクスコアを生成するために構成され得る。フィードバックリスク制御値は、平滑化されたフィードバックリスクスコアに少なくとも部分的に基づき得る。

【0084】

図６に示す実施例では、予測フィルタ６３０は、予測信号Ｐの振幅をブロック６４０ａに出力し、ブロック６４０ａは、予測信号Ｐの振幅に基づいて予測信号Ｐのパワー（本明細書では、「予測ヘッドホンマイクロホン音声データパワー」とも称される）を決定するように構成される。この例では、ブロック６４０ａは、予測ヘッドホンマイクロホン音声データパワーに平滑化フィルタを適用して、ブロック６４０ａがブロック６４５に供給する、平滑化された予測ヘッドホンマイクロホン音声データパワー値を決定するように構成される。平滑化フィルタを適用することは、例えば、特定の実装に応じて、加重平均であってもなくてもよい、平均平滑化予測ヘッドホンマイクロホン音声データパワー値を計算することによって、例えば、予測信号Ｐの現在パワー値と最近計算されたパワー値の両方を使用して、平滑化された予測ヘッドホンマイクロホン音声データパワー値を決定する、ことを含み、

【0085】

図６に示される実施例において、ブロック６４０ｂは、バッファ６２５から読み出される実際のダウンサンプリングされたヘッドホンマイクロホン音声信号Ｘのパワーを決定するように構成される。いくつかの実施例において、ダウンサンプリングされたヘッドホンマイクロホン音声信号Ｘは、バッファ６２５内の最も古いサンプルの後のサンプル（換言すると、バッファ６２５が最も古いサンプルの後に受け取ったサンプル）であり得る。いくつかの例では、ダウンサンプリングされたヘッドホンマイクロホン音声信号Ｘは、バッファ６２５内の最も古いサンプルのブロックの後（例えば、最も古い４つ又は５つのサンプルのブロックの後）のサンプルであり得る。この例によれば、ブロック６４０ｂはまた、平滑化フィルタを実際のダウンサンプリングされたヘッドホンマイクロホン音声信号Ｘのパワーに適用して、ブロック６４０ｂがブロック６４５に提供する、平滑化された実際のダウンサンプリングされたヘッドホンマイクロホン音声信号パワー値を決定するように構成される。平滑化フィルタを適用することは、例えば、実際のダウンサンプリングされたヘッドホンマイクロホンオーディオ信号Ｘの現在パワー値と、最近計算されたパワー値の両方を使用して、例えば、特定の実装に応じて、加重平均であることも、そうでないこともあり得る、ダウンサンプリングされたヘッドホンマイクロホン音声信号パワー値の平均を計算することによって、平滑化された実際のダウンサンプリングされたヘッドホンマイクロホン音声信号パワー値を決定する、こと、を含む。

【0086】

ブロック６４５は、バッファ６２５内の最も古いサンプルに基づいて予測されたフィードバック傾向に対して、バッファ６２５内の最新のサンプルの現在の実際のフィードバック傾向を比較するように構成され得る。この実施例によれば、ブロック６４５は、ブロック６４０ａからの入力をブロック６４０ｂからの対応する入力と比較するように構成される。この実装では、平滑化された予測ヘッドホンマイクロホン音声データパワー値を、対応する平滑化された実際のダウンサンプリングされたヘッドホンマイクロホン音声信号パワー値と比較することによって、ブロック６４５は、バッファ６２５内の最新のサンプルに基づいて予測されたフィードバックトレンドに対応するメトリックを、バッファ６２５内の最新のサンプルの現在の実際のフィードバックトレンドに対応するメトリックと比較するように構成される。いくつかの実施例によれば、ブロック６４５は、予測値を上回るマイクロホン信号の音調（ｔｏｎａｌｉｔｙ）のレベル（ｄＢ）を計算するように構成され得る。この計算されたレベルが十分に大きい場合（例えば、フィードバックリスクスコア計算ブロック６５５によって参照される開始値よりも大きい場合）、リスク値はゼロよりも高くなる（例えば、下記の式２を参照）。

【0087】

この例によれば、フィードバックリスクスコア計算ブロック６５５は、少なくとも部分的にブロック６４５からの入力に基づいて、生フィードバックリスクスコア６５７を決定する。いくつかの例によれば、フィードバックリスクスコア計算ブロック６５５は、ブロック６５０によって提供され得る１つ以上の調整可能なパラメータに少なくとも部分的に基づいて、生フィードバックリスクスコア６５７を決定する。図６に示される例において、フィードバックリスクスコア計算ブロック６５５は、ブロック６５０を介して提供される調整可能なＳｅｎｓｉｔｉｖｉｔｙ、Ｏｎｓｅｔ、及びＳｃａｌｅパラメータに少なくとも部分的に基づいて、生フィードバックリスクスコア６５７を決定する。

【0088】

一実施例において、フィードバックリスクスコア計算ブロック６５５は、以下の方程式に従ってフィードバック値を最初に決定することによって、生フィードバックリスクスコア６５７を決定する：
Ｆ＝１０Ｌｏｇ１０（（Ｐｓｍｏｏｔｈ）／（Ｘｓｍｏｏｔｈ＋Ｓｅｎｓｉｔｉｖｉｔｙ）） 式（１）

【0089】

式（１）において、Ｆは、フィードバック値を表し、Ｐｓｍｏｏｔｈは、（ブロック６４０ａによって決定され得る）平滑化された予測ヘッドホンマイクロホン音声データパワー値を表し、Ｘｓｍｏｏｔｈは、（ブロック６４０ｂによって決定され得る）平滑化された実際のダウンサンプリングされたヘッドホンマイクロホン音声信号パワー値を表し、Ｓｅｎｓｉｔｉｖｉｔｙは、ブロック６５０を介して提供され得るパラメータを表す。この実施例では、Ｓｅｎｓｉｔｉｖｉｔｙは、例えばデシベルで測定され得るフィードバック認識のための閾値である。Ｓｅｎｓｉｔｉｖｉｔｙパラメータは、例えば、算出されたリスクがゼロでないリスク値を保証するほど十分に大きくない信号に対してゼロであるように、環境入力のレベルに下限／閾値を提供し得る。いくつかの例によれば、Ｓｅｎｓｉｔｉｖｉｔｙは、－４０ｄＢから－８０ｄＢの範囲、例えば、－５５ｄＢ、－６０ｄＢ又は－６５ｄＢであり得る。いくつかの実施例では、負のＦ値が相対的に大きいことは、フィードバックの可能性が相対的に高いことを示しているが、正の値はフィードバックのリスクがないことを示している。

【0090】

いくつかのかかる実施例によれば、フィードバックリスクスコア計算ブロック６５５は、フィードバック値に部分的に基づいた生フィードバックリスクスコア６５７を、例えば、以下の方程式にしたがって決定する：
スコア＝分（最大（Ｆ ― Ｏｎｓｅｔ（０））、Ｓｃａｌｅ）／Ｓｃａｌｅ 式（２）

【0091】

式（２）において、スコアは、生フィードバックリスクスコア６５７を表し、Ｏｎｓｅｔ及びＳｃａｌｅは、ブロック６５０を介して提供され得るパラメータを表す。この実施例では、Ｏｎｓｅｔはフィードバック検出をトリガする最小（相対）レベルを表し、Ｓｃａｌｅはオンセットを上回るフィードバックレベルの範囲を表す。いくつかの実施例において、Ｏｎｓｅｔは、－５ｄＢから－１５ｄＢの範囲、例えば－８ｄＢ、－１０ｄＢ又は－１２ｄＢの値を有し得る。いくつかの実施例によれば、Ｓｃａｌｅは、０．０～１．０の値の範囲などの、値の範囲にマップし得る。いくつかの例では、Ｓｃａｌｅは、２ｄＢ～６ｄＢの範囲の値、例えば、３ｄＢ、４ｄＢ又は５ｄＢを有することがある。

【0092】

図６に示す例では、ブロック６６０は、フィードバックリスクスコア計算ブロック６５５から生フィードバックリスクスコア６５７を受信し、平滑化関数を適用して、平滑化されたフィードバックリスクスコア５２２をフィードバックマイクロホンゲインリミッタブロック５２５に出力する。ブロック６６０は、例えば、ローパスフィルタを生フィードバックリスクスコア６５７に適用し得る。いくつかの実施例において、ブロック６６０は、例えば、フィードバックリスクの閾値レベルが検出された後に、減衰平滑化関数を生フィードバックリスクスコア６５７に適用し得る。減衰平滑化関数は、環境マイク信号があまり急激に増加しないように、環境マイク信号のゲインを制限し得る。

【0093】

いくつかの実装によれば、平滑化されたフィードバックリスクスコア５２２は、環境マイクロホン信号に対するゲイン値の最小セットとゲイン値の最大セットとの間を補間するために使用され得る。そのような実装では、平滑化されたフィードバックリスクスコア５２２を使用して、ゲイン値の最小セットとゲイン値の最大セットとの間で線形補間することができるが、他の実装では、補間は非線形であり得る。

【0094】

いくつかの実施例において、ブロック５５０は、以下の通りに減衰平滑化関数を適用し得る：
Ｓｍｏｏｔｈｅｄ Ｆｅｅｄｂａｃｋ Ｒｉｓｋ＝ｍａｘ（０，ｍａｘ（（Ｐｒｅｖｉｏｕｓ Ｆｅｅｄｂａｃｋ Ｒｉｓｋ Ｓｃｏｒｅ－Ｆｅｅｄｂａｃｋ Ｒｉｓｋ Ｄｅｃａｙ），Ｃｕｒｒｅｎｔ Ｆｅｅｄｂａｃｋ Ｒｉｓｋ Ｓｃｏｒｅ）） 式（３）

【0095】

式（３）において、Ｆｅｅｄｂａｃｋ Ｒｉｓｋ Ｄｅｃａｙは、フィードバックリスクスコアリリースの減衰係数を表す。いくつかの実施例において、Ｆｅｅｄｂａｃｋ Ｒｉｓｋ Ｄｅｃａｙは、０．０００００５～０．００００２の範囲、例えば、０．００００１であり得る。いくつかの実施例によれば、減衰平滑化は、サブサンプリングレート（例えば、サブサンプリング後に４）で、サンプル毎に行われ得る。かかる一実施例では、減衰係数０．００００１は、最大リスクスコア（例えば１．０）から最小リスクスコア（例えば０．０）への減衰時間を意味し、Ｆｓ＝４８ｋＨｚでは（１／０．００００１）／（Ｆｓ／４）＝～８秒となる。

【0096】

本開示に記載された実装に対する種々の変更は、当業者には容易に明らかとなり得る。本明細書で定義される原則は、本開示の範囲から逸脱することなく、他の実施形態に適用され得る。したがって、特許請求の範囲は、本明細書に示されている実施形態に限定されることを意図するものではなく、本開示、原理及び本明細書に開示されている新たな特徴と一致する最も広い範囲に与えられるべきである。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6】