(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-19
(45)【発行日】2022-07-27
(54)【発明の名称】ノイズ低減のためのオーディオ信号処理
(51)【国際特許分類】
G10L 21/0264 20130101AFI20220720BHJP
G10L 21/0208 20130101ALI20220720BHJP
G10L 21/0272 20130101ALI20220720BHJP
H04R 3/00 20060101ALI20220720BHJP
【ＦＩ】
G10L21/0264 A
G10L21/0208 100B
G10L21/0272 100A
H04R3/00 320
【請求項の数】
20
【外国語出願】
(21)【出願番号】P 2021027423
(22)【出願日】2021-02-24
(62)【分割の表示】P 2019551657の分割
【原出願日】2018-03-19
(65)【公開番号】P2021089441
(43)【公開日】2021-06-10
【審査請求日】2021-02-25
(31)【優先権主張番号】15/463,368
(32)【優先日】2017-03-20
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】591009509
【氏名又は名称】ボーズ・コーポレーション
【氏名又は名称原語表記】ＢＯＳＥ ＣＯＲＰＯＲＡＴＩＯＮ
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】アラガナンダン・ガネシュクマール
(72)【発明者】
【氏名】シアン－アーン・ヨー
(72)【発明者】
【氏名】メフメト・エルゲゼル
【審査官】西村 純
(56)【参考文献】
【文献】特開２０１１－０３００２２（ＪＰ，Ａ）
【文献】国際公開第２００９／０７８１０５（ＷＯ，Ａ１）
【文献】特開平０５－０６４２８４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｒ １／００－３１／００
Ｇ１０Ｌ ２１／００－２１／０３８８
(57)【特許請求の範囲】
【請求項1】
ヘッドフォンであって、複数の信号を提供するように１つ以上のイヤピースに連結された複数のマイクロフォンと、
１つ以上のプロセッサであって、
前記複数の信号を受信することと、
第１のアレイ処理技法を使用して前記複数の信号を処理して、選択された方向からの応答を増強して、一次信号を提供することと、
第２のアレイ処理技法を使用して前記複数の信号を処理して、前記選択された方向からの応答を増強して、二次信号を提供することと、
前記一次信号と前記二次信号とを比較することと、
前記一次信号、前記二次信号、及び前記比較に基づいて、選択された信号を提供することと、を行うように構成された１つ以上のプロセッサと、を備える、ヘッドフォン。
【請求項2】
前記１つ以上のプロセッサが、信号エネルギーによって前記一次信号と前記二次信号とを比較するように更に構成されている、請求項１に記載のヘッドフォン。
【請求項3】
前記１つ以上のプロセッサが、信号エネルギーの閾値比較を行うように更に構成されており、前記閾値比較は、前記一次信号又は前記二次信号のうちの一方が、他方の信号エネルギーの閾値量未満の信号エネルギーを有するかどうかの判定である、請求項１又は２に記載のヘッドフォン。
【請求項4】
前記１つ以上のプロセッサが、閾値比較によって、前記選択された信号として提供される、より小さい信号エネルギーを有する、前記一次信号及び前記二次信号のうちの前記一方を選択するように更に構成されている、請求項３に記載のヘッドフォン。
【請求項5】
前記１つ以上のプロセッサが、信号エネルギーを比較する前に、前記一次信号及び前記二次信号のうちの少なくとも一方に等化を適用するように更に構成されている、請求項１～４のいずれか一項に記載のヘッドフォン。
【請求項6】
前記１つ以上のプロセッサが、前記比較に基づいて、風状態を示すように更に構成されている、請求項１～５のいずれか一項に記載のヘッドフォン。
【請求項7】
前記第１のアレイ処理技法が、超指向性ビーム形成技法であり、前記第２のアレイ処理技法が、遅延和技法であり、前記１つ以上のプロセッサは、閾値信号エネルギーを超える前記一次信号の信号エネルギーに基づいて、前記風状態が存在すると判定するように更に構成されており、前記閾値信号エネルギーが、前記二次信号の信号エネルギーに基づいている、請求項６に記載のヘッドフォン。
【請求項8】
前記１つ以上のプロセッサが、前記複数の信号を処理して、前記選択された方向からの応答を低減して、基準信号を提供するように、かつ前記選択された信号から、前記基準信号に相関している成分を減算するように更に構成されている、請求項１～７のいずれか一項に記載のヘッドフォン。
【請求項9】
ヘッドフォンユーザの発話を増強する方法であって、前記方法が、複数のマイクロフォン信号を受信することと、
第１のアレイ技法によって前記複数の信号をアレイ処理して、前記ユーザの口の方向からの音響応答を増強して、一次信号を生成することと、
第２のアレイ技法によって前記複数の信号をアレイ処理して、前記ユーザの口の方向からの音響応答を増強して、二次信号を生成することと、
前記一次信号を前記二次信号と比較することと、
前記一次信号、前記二次信号、及び前記比較に基づいて、選択された信号を提供することと、を含む、方法。
【請求項10】
前記一次信号を前記二次信号と比較することが、前記一次信号と前記二次信号の信号エネルギーとを比較することを含む、請求項９に記載の方法。
【請求項11】
前記比較に基づいて前記選択された信号を提供することが、前記一次信号及び前記二次信号のうちの選択された一方を提供することを含み、前記選択された一方が、前記一次信号及び前記二次信号のうちの他方の閾値量未満の信号エネルギーを有する、請求項９又は１０に記載の方法。
【請求項12】
信号エネルギーを比較する前に、前記一次信号及び前記二次信号のうちの少なくとも１つを等化することを更に含む、請求項９～１１のいずれか一項に記載の方法。
【請求項13】
前記比較に基づいて風状態が存在すると判定することと、前記風状態が存在するというインジケータを設定することと、を更に含む、請求項９～１２のいずれか一項に記載の方法。
【請求項14】
前記第１のアレイ技法が、超指向性ビーム形成技法であり、前記第２のアレイ技法が、遅延和技法であり、風状態が存在すると判定することは、前記一次信号の信号エネルギーが閾値信号エネルギーを超えていると判定することを含み、前記閾値信号エネルギーが、前記二次信号の信号エネルギーに基づいている、請求項１３に記載の方法。
【請求項15】
前記複数の信号をアレイ処理して、前記ユーザの口の方向からの音響応答を低減して、ノイズ基準信号を生成することと、前記ノイズ基準信号をフィルタリングして、ノイズ推定信号を生成することと、前記選択された信号から前記ノイズ推定信号を減算することと、を更に含む、請求項９～１４のいずれか一項に記載の方法。
【請求項16】
ヘッドフォンシステムであって、複数の左信号を提供するように左イヤピースに連結された複数の左マイクロフォンと、
複数の右信号を提供するように右イヤピースに連結された複数の右マイクロフォンと、
１つ以上のプロセッサであって、
前記複数の左信号を結合して、ユーザの口の方向からの音響応答を増強して、第１のアレイ技法によって左一次信号を生成することと、
前記複数の左信号を結合して、前記ユーザの口の方向からの音響応答を増強して、第２のアレイ技法によって左二次信号を生成することと、
前記複数の右信号を結合して、前記ユーザの口の方向からの音響応答を増強して、前記第１のアレイ技法によって右一次信号を生成することと、
前記複数の右信号を結合して、前記ユーザの口の方向からの音響応答を増強して、前記第２のアレイ技法によって右二次信号を生成することと、
前記左一次信号と前記左二次信号とを比較することと、
前記右一次信号と前記右二次信号とを比較することと、
前記左一次信号、前記左二次信号、及び前記左一次信号と前記左二次信号との比較に基づいて、左信号を提供することと、
前記右一次信号、前記右二次信号、及び前記右一次信号と前記右二次信号との比較に基づいて、右信号を提供することと、を行うように構成された１つ以上のプロセッサと、を備える、ヘッドフォンシステム。
【請求項17】
前記１つ以上のプロセッサが、信号エネルギーによって前記左一次信号と前記左二次信号とを比較するように、かつ信号エネルギーによって前記右一次信号と前記右二次信号とを比較するように更に構成されている、請求項１６に記載のヘッドフォンシステム。
【請求項18】
前記１つ以上のプロセッサが、信号エネルギーの閾値比較を行うように更に構成され、閾値比較は、第１の信号が第２の信号の信号エネルギーの閾値量未満の信号エネルギーを有するかどうかの判定である、請求項１６又は１７に記載のヘッドフォンシステム。
【請求項19】
前記閾値比較が、信号エネルギーを比較する前に、前記第１の信号及び前記第２の信号のうちの少なくとも１つを等化することを含む、請求項１８に記載のヘッドフォンシステム。
【請求項20】
前記１つ以上のプロセッサが、前記比較のうちの少なくとも１つに基づいて、左側又は右側のいずれかにおける風状態を示すように更に構成されている、請求項１６～１９のいずれか一項に記載のヘッドフォンシステム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本出願は、２０１７年３月２０日に出願され、「ＡＵＤＩＯ ＳＩＧＮＡＬ ＰＲＯＣＥＳＳＩＮＧ ＦＯＲ ＮＯＩＳＥ ＲＥＤＵＣＴＩＯＮ」と題された、同時係属中の米国特許出願第１５／４６３，３６８号のＰＣＴ第８条下の優先権の利益を主張し、その全体が全ての目的のために参照により本明細書に組み込まれる。
本出願は、２０１７年３月２０日に出願され、「ＡＵＤＩＯ ＳＩＧＮＡＬ ＰＲＯＣＥＳＳＩＮＧ ＦＯＲ ＮＯＩＳＥ ＲＥＤＵＣＴＩＯＮ」と題された、同時係属中の米国特許出願第１５／４６３，３６８号のＰＣＴ第８条下の優先権の利益を主張し、その全体が全ての目的のために参照により本明細書に組み込まれる。
【背景技術】
【0002】
ヘッドフォンシステムは、多くの環境で及び様々な目的のために使用され、環境及び目的のいくつかの例としては、ゲームをすること又は音楽を聴くことなどの娯楽目的、電話通話などの生産的な目的、及び航空通信又はサウンドスタジオ監視などの職業上の目的が挙げられる。異なる環境及び目的は、忠実度、ノイズ分離、ノイズ低減、音声ピックアップなどの異なる要件を有し得る。いくつかの環境では、産業機器、航空操作、及びスポーツイベントを伴う環境などの、高い背景ノイズにもかかわらず正確な通信が必要とされる。いくつかの用途では、通信用音声認識、例えば、ショートメッセージサービス（ＳＭＳ）の音声認識、すなわち、発話テキスト化、又は仮想パーソナルアシスタント（ＶＰＡ）アプリケーションを含む、音声通信及び音声認識などの他のノイズから、ユーザの音声がより明確に分離又は隔離されたときに向上した性能が示される。
【0003】
したがって、いくつかの環境では、及びいくつかの用途では、ユーザの音声に起因しない信号成分を低減するために、ヘッドフォン又はヘッドセットの近傍の他の音響源の中からユーザの音声の捕捉又はピックアップを増強することが望ましい場合がある。
【発明の概要】
【0004】
態様及び実施例は、ユーザの発話活動をピックアップし、かつ背景ノイズ及び他の会話者などの他の音響成分を低減して、他の音響成分よりもユーザの発話成分を増強するヘッドフォンシステム及び方法に関する。ユーザは、ヘッドフォンセットを着用し、システム及び方法は、ユーザの発話に起因するものではない可聴音を除去することによって、ユーザの音声の増強された分離を提供する。ノイズ低減された音声信号は、音声録音、通信、音声認識システム、仮想パーソナルアシスタント（ＶＰＡ）などに有益に適用され得る。本明細書に開示される態様及び実施例は、ヘッドフォンがユーザの音声をピックアップ及び増強することを可能にし、このため、ユーザは、改善された性能を伴って、及び／又はノイズの多い環境において、このような用途を使用することができる。
【0005】
一態様によれば、ヘッドフォンユーザの発話を増強する方法が提供され、ヘッドフォンに連結された第１の複数のマイクロフォンから導出された第１の複数の信号を受信することと、第１の複数の信号をアレイ処理して、ユーザの口の方向へ向けてビームをステアリングして、第１の一次信号を生成することと、１つ以上のマイクロフォンから導出された基準信号を受信することであって、基準信号が、背景音響ノイズに相関している、受信することと、第１の一次信号をフィルタリングして、基準信号に相関している成分を第１の一次信号から除去することによって音声推定信号を提供することと、を含む。
【0006】
いくつかの実施例は、第１の複数の信号をアレイ処理して、ユーザの口に向けてヌルをステアリングすることによって、第１の複数の信号から基準信号を導出することを含む。
【0007】
いくつかの実施例では、第１の一次信号をフィルタリングすることは、基準信号をフィルタリングして、ノイズ推定信号を生成することと、第１の一次信号からノイズ推定信号を減算することと、を含む。方法は、ノイズ推定信号に基づいて、音声推定信号のスペクトル振幅を増強して、出力信号を提供することを含んでもよい。基準信号をフィルタリングすることは、フィルタ係数を適応的に調整することを含んでもよい。いくつかの実施例では、フィルタ係数は、ユーザが発話しないときに適応的に調整される。いくつかの実施例では、フィルタ係数は、背景プロセスによって適応的に調整される。
【0008】
いくつかの実施例は、第１の複数のマイクロフォンとは異なる位置でヘッドフォンに連結された第２の複数のマイクロフォンから導出された第２の複数の信号を受信することと、第２の複数の信号をアレイ処理して、ユーザの口の方向へ向けてビームをステアリングして、第２の一次信号を生成することと、第１の一次信号及び第２の一次信号を結合して、結合された一次信号を提供することと、結合された一次信号をフィルタリングして、基準信号に相関している成分を結合された一次信号から除去することによって、音声推定信号を提供することと、を更に含む。
【0009】
基準信号は、第１の基準信号と、第２の基準信号と、を含んでもよく、方法は、第１の複数の信号を処理して、ユーザの口に向けてヌルをステアリングして、第１の基準信号を生成することと、第２の複数の信号を処理してユーザの口に向けてヌルをステアリングして、第２の基準信号が生成することと、を更に含んでもよい。
【0010】
第１の一次信号及び第２の一次信号を結合することは、第１の一次信号を第２の一次信号と比較することと、比較に基づいて、第１の一次信号及び第２の一次信号のうちの１つに重み付けすることと、を含んでもよい。
【0011】
特定の実施例では、第１の複数の信号をアレイ処理して、ユーザの口に向けてビームをステアリングすることは、超指向性近距離ビーム形成器を使用することを含む。
【0012】
いくつかの実施例では、方法は、遅延和技法によって、１つ以上のマイクロフォンから基準信号を導出することを含む。
【0013】
別の態様によれば、ヘッドフォンシステムが提供され、左イヤピースに連結された複数の左マイクロフォンと、右イヤピースに連結された複数の右マイクロフォンと、１つ以上のアレイプロセッサと、左一次信号及び右一次信号の結合として、結合された一次信号を提供するための第１の結合器と、左基準信号及び右基準信号の結合として、結合された基準信号を提供するための第２の結合器と、結合された一次信号及び結合された基準信号を受信し、かつ音声推定信号を提供するように構成された適応フィルタと、を含む。１つ以上のアレイプロセッサは、複数の左マイクロフォンから導出された複数の左信号を受信して、複数の左信号に作用するアレイ処理技法によって、左一次信号を提供するようにビームをステアリングし、かつ複数の左信号に作用するアレイ処理技法によって、左基準信号を提供するようにヌルをステアリングするように構成されている。１つ以上のアレイプロセッサはまた、複数の右マイクロフォンから導出された複数の右信号を受信して、複数の右信号に作用するアレイ処理技法によって、右一次信号を提供するようにビームをステアリングし、かつ複数の右信号に作用するアレイ処理技法によって、右基準信号を提供するようにヌルをステアリングするように構成されている。
【0014】
特定の実施例では、適応フィルタは、結合された基準信号をフィルタリングしてノイズ推定信号を生成することと、結合された一次信号からノイズ推定信号を減算することと、によって、結合された一次信号をフィルタリングするように構成されている。ヘッドフォンシステムは、ノイズ推定信号に基づいて、音声推定信号のスペクトル振幅を増強して、出力信号を提供するように構成されたスペクトル増強器を含んでもよい。結合された基準信号をフィルタリングすることは、フィルタ係数を適応的に調整することを含んでもよい。フィルタ係数は、ユーザが発話しないときに適応的に調整されてもよい。フィルタ係数は、背景プロセスによって適応的に調整されてもよい。
【0015】
いくつかの実施例では、ヘッドフォンシステムは、複数の左信号及び複数の右信号を１つ以上のサブ帯域に分離するように構成された１つ以上のサブ帯域フィルタを含んでもよく、１つ以上のアレイプロセッサ、第１の結合器、第２の結合器、及び適応フィルタは、各々、１つ以上のサブ帯域で動作して、複数の音声推定信号を提供し、複数の音声推定信号の各々は、１つ以上のサブ帯域のうちの１つの成分を有する。ヘッドフォンシステムは、複数の音声推定信号の各々を受信し、かつ音声推定信号の各々をスペクトル的に増強して、複数の出力信号を提供するように構成されたスペクトル増強器を含んでもよく、出力信号の各々は、１つ以上のサブ帯域のうちの１つの成分を有する。合成器が含まれ、複数の出力信号を単一の出力信号に結合するように構成されてもよい。
【0016】
特定の実施例では、第２の結合器は、左基準信号と右基準信号との間の差として、結合された基準信号を提供するように構成されている。
【0017】
いくつかの実施例では、左及び右一次信号を提供するためのアレイ処理技法は、超指向性近距離ビーム処理技法である。
【0018】
いくつかの実施例では、左及び右基準信号を提供するためのアレイ処理技法は、遅延和技法である。
【0019】
別の態様によれば、ヘッドフォンが提供され、１つ以上のイヤピースに連結された複数のマイクロフォンを含み、複数のマイクロフォンから導出された複数の信号を受信して、複数の信号に作用するアレイ処理技法によって、一次信号を提供するようにビームをステアリングするように、及び複数の信号に作用するアレイ処理技法によって、基準信号を提供するようにヌルをステアリングするように構成された、１つ以上のアレイプロセッサを含み、かつ一次信号及び基準信号を受信して音声推定信号を提供するように構成された適応フィルタを含む。
【0020】
いくつかの実施例では、適応フィルタは、基準信号をフィルタリングして、ノイズ推定信号を生成するように、かつ第１の一次信号からノイズ推定信号を減算して、音声推定信号を提供するように構成されている。ヘッドフォンは、ノイズ推定信号に基づいて、音声推定信号のスペクトル振幅を増強して出力信号を提供するように構成されたスペクトル増強器を含んでもよい。基準信号をフィルタリングすることは、フィルタ係数を適応的に調整することを含んでもよい。フィルタ係数は、ユーザが発話しないときに適応的に調整されてもよい。フィルタ係数は、背景プロセスによって適応的に調整されてもよい。
【0021】
いくつかの実施例では、ヘッドフォンは、複数の信号を１つ以上のサブ帯域に分離するように構成された１つ以上のサブ帯域フィルタを含んでもよく、１つ以上のアレイプロセッサ及び適応フィルタは、各々、１つ以上のサブ帯域で動作して、複数の音声推定信号を提供し、複数の音声推定信号の各々は、１つ以上のサブ帯域のうちの１つの成分を有する。ヘッドフォンは、複数の音声推定信号の各々を受信するように、かつ音声推定信号の各々をスペクトル的に増強して、複数の出力信号を提供するように構成されたスペクトル増強器を含んでもよく、出力信号の各々は、１つ以上のサブ帯域のうちの１つの成分を有する。ヘッドフォンはまた、複数の出力信号を単一の出力信号に結合するように構成された合成器を含んでもよい。
【0022】
特定の実施例では、一次信号を提供するためのアレイ処理技法は、超指向性近距離ビーム処理技法である。
【0023】
いくつかの実施例では、基準信号を提供するアレイ処理技法は、遅延和技法である。
【0024】
別の態様によれば、ヘッドフォンであって、複数の信号を提供するように１つ以上のイヤピースに連結された複数のマイクロフォンと、１つ以上のプロセッサであって、複数の信号を受信することと、第１のアレイ処理技法を使用して複数の信号を処理して、選択された方向からの応答を増強して、一次信号を提供することと、第２のアレイ処理技法を使用して複数の信号を処理して、選択された方向からの応答を増強して、二次信号を提供することと、一次信号と二次信号とを比較することと、一次信号、二次信号、及び比較に基づいて、選択された信号を提供することと、を行うように構成された１つ以上のプロセッサと、を含む、ヘッドフォンが提供される。
【0025】
いくつかの実施例では、１つ以上のプロセッサが、信号エネルギーによって一次信号と二次信号とを比較するように更に構成されている。１つ以上のプロセッサは、信号エネルギーの閾値比較を行うように更に構成されてもよく、閾値比較は、一次信号又は二次信号のうちの一方が、他方の信号エネルギーの閾値量未満の信号エネルギーを有するかどうかの判定である。１つ以上のプロセッサは、閾値比較によって選択された信号として提供される、より小さい信号エネルギーを有する、一次信号及び二次信号のうちの一方を選択するように更に構成されてもよい。
【0026】
特定の実施例では、１つ以上のプロセッサは、信号エネルギーを比較する前に、一次信号及び二次信号のうちの少なくとも一方に等化を適用するように更に構成されている。
【0027】
様々な実施例では、１つ以上のプロセッサは、比較に基づいて風状態を示すように更に構成されている。特定の実施例では、第１のアレイ処理技法は、超指向性ビーム形成技法であり、第２のアレイ処理技法は、遅延－和技法であり、１つ以上のプロセッサは、閾値信号エネルギーを超える一次信号の信号エネルギーに基づいて、風状態が存在すると判定するように更に構成され、閾値信号エネルギーは、二次信号の信号エネルギーに基づいている。
【0028】
いくつかの実施例では、１つ以上のプロセッサは、複数の信号を処理して、選択された方向からの応答を低減して、基準信号を提供するように、かつ選択された信号から基準信号に相関している成分を減算するように更に構成されている。
【0029】
別の態様によれば、ヘッドフォンユーザの発話を増強する方法が提供され、複数のマイクロフォン信号を受信することと、第１のアレイ技法によって複数の信号をアレイ処理して、ユーザの口の方向からの音響応答を増強して、第１の一次信号を生成することと、第２のアレイ技法によって複数の信号をアレイ処理して、ユーザの口の方向からの音響応答を増強して、第２の一次信号を生成することと、第１の一次信号を第２の一次信号と比較することと、第１の一次信号、第２の一次信号、及び比較に基づいて、選択された一次信号を提供することと、を含む。
【0030】
様々な実施例では、第１の一次信号を第２の一次信号と比較することは、第１の一次信号と第２の一次信号の信号エネルギーとを比較することを含む。
【0031】
いくつかの実施例では、比較に基づいて選択された一次信号を提供することは、第１の一次信号及び第２の一次信号のうちの選択された一方を提供することを含み、選択された一方が、第１の一次信号及び第２の一次信号のうちの他方の閾値量未満の信号エネルギーを有する。
【0032】
特定の実施例は、信号エネルギーを比較する前に、第１の一次信号及び第２の一次信号のうちの少なくとも１つを等化することを含む。
【0033】
いくつかの実施例は、比較に基づいて風状態が存在すると判定することと、風状態が存在するインジケータを設定することと、を含む。特定の実施例では、第１のアレイ技法は、超指向性ビーム形成技法であり、第２のアレイ技法は、遅延和技法であり、風状態が存在すると判定することは、第１の一次信号の信号エネルギーが閾値信号エネルギーを超えていると判定することを含み、閾値信号エネルギーは、第２の一次信号の信号エネルギーに基づいている。
【0034】
様々な実施例は、複数の信号をアレイ処理して、ユーザの口の方向からの音響応答を低減して、ノイズ基準信号を生成することと、ノイズ基準信号をフィルタリングしてノイズ推定信号を生成することと、選択された一次信号からノイズ推定信号を減算することと、を含む。
【0035】
別の態様によれば、ヘッドフォンシステムであって、複数の左信号を提供するように左イヤピースに連結された複数の左マイクロフォンと、複数の右信号を提供するように右イヤピースに連結された複数の右マイクロフォンと、１つ以上のプロセッサであって、複数の左信号を結合して、ユーザの口の方向からの音響応答を増強して、左一次信号を生成することと、複数の左信号を結合して、ユーザの口の方向からの音響応答を増強して、左二次信号を生成することと、複数の右信号を結合して、ユーザの口の方向からの音響応答を増強して、右一次信号を生成することと、複数の右信号を結合して、ユーザの口の方向からの音響応答を増強して、右二次信号を生成することと、左一次信号と左二次信号とを比較することと、右一次信号と右二次信号とを比較することと、左一次信号、左二次信号、及び左一次信号と左二次信号との比較に基づいて、左信号を提供することと、右一次信号、右二次信号、及び右一次信号と右二次信号との比較に基づいて、右信号を提供することと、を行うように構成された１つ以上のプロセッサと、を含む、ヘッドフォンシステムが提供される。
【0036】
いくつかの実施例では、１つ以上のプロセッサは、信号エネルギーによって左一次信号と左二次信号とを比較し、かつ信号エネルギーによって右一次信号と右二次信号とを比較するように更に構成されている。
【0037】
特定の実施例では、１つ以上のプロセッサは、信号エネルギーの閾値比較を行うように更に構成され、閾値比較は、第１の信号が第２の信号の信号エネルギーの閾値量未満の信号エネルギーを有するかどうかの判定である。いくつかの実施例では、閾値比較は、信号エネルギーを比較する前に、第１の信号及び第２の信号のうちの少なくとも１つを等化することを含む。
【0038】
様々な実施例では、１つ以上のプロセッサは、比較のうちの少なくとも１つに基づいて、左側又は右側のいずれかに風状態を示すように更に構成されてもよい。
【0039】
別の態様によれば、ヘッドフォンシステムであって、複数の左信号を提供するように左イヤピースに連結された複数の左マイクロフォンと、複数の右信号を提供するように右イヤピースに連結された複数の右マイクロフォンと、１つ以上のプロセッサであって、複数の左信号又は複数の右信号のうちの１つ以上を結合して、選択された位置の方向における増強された音響応答を有する一次信号を提供することと、複数の左信号を結合して、選択された位置からの低減された音響応答を有する左基準信号を提供することと、複数の右信号を結合して、選択された位置からの低減された音響応答を有する右基準信号を提供することと、を行うように構成された１つ以上のプロセッサと、左基準信号をフィルタリングして、左推定ノイズ信号を提供するように構成された左フィルタと、右基準信号をフィルタリングして、右推定ノイズ信号を提供するように構成された右フィルタと、一次信号から左推定ノイズ信号及び右推定ノイズ信号を減算するように構成された結合器と、を含む、ヘッドフォンシステムが提供される。
【0040】
いくつかの実施例は、ユーザが会話しているかどうかを示すように構成された音声行動検出器を含み、左フィルタ及び右フィルタの各々は、音声行動検出器が、ユーザが会話していないことを示す時間期間中に適応するように構成された適応フィルタである。
【0041】
いくつかの実施例は、風状態が存在するかどうかを示すように構成された風検出器を含み、１つ以上のプロセッサは、風検出器が、風状態が存在することを示すときに、モノラル動作に移行するように構成されている。風検出器は、第１のアレイ処理技法を使用する複数の左信号及び複数の右信号のうちの１つ以上の第１の結合を、第２のアレイ処理技法を使用する複数の左信号及び複数の右信号のうちの１つ以上の第２の結合と比較するように、かつ比較に基づいて風状態が存在するかどうかを示すように構成されてもよい。
【0042】
いくつかの実施例は、左イヤピース又は右イヤピースのうちの少なくとも１つが、ユーザの頭部の付近から除去されているかどうかを示すように構成されたオフヘッド検出器を含み、１つ以上のプロセッサは、オフヘッド検出器が、左イヤピース又は右イヤピースのうちの少なくとも一方がユーザの頭部の付近から除去されていることを示すときに、モノラル動作に移行するように構成されている。
【0043】
特定の実施例では、１つ以上のプロセッサは、遅延減算技法によって複数の左信号を結合して、左基準信号を提供するように、かつ遅延減算技法によって複数の右信号を結合して、右基準信号を提供するように構成されている。
【0044】
特定の実施例は、左右の均衡を完全に左又は右に重み付けすることによって、ヘッドフォンシステムをモノラル動作に移行させるように構成された１つ以上の信号混合器を含む。
【0045】
別の態様によれば、ヘッドフォンユーザの発話を増強する方法が提供される。方法は、複数の左マイクロフォン信号を受信することと、複数の右マイクロフォン信号を受信することと、複数の左及び右マイクロフォン信号のうちの１つ以上を結合して、選択された位置の方向における増強された音響応答を有する一次信号を提供することと、複数の左マイクロフォン信号を結合して、選択された位置からの低減された音響応答を有する左基準信号を提供することと、複数の右マイクロフォン信号を結合して、選択された位置からの低減された音響応答を有する右基準信号を提供することと、左基準信号をフィルタリングして、左推定ノイズ信号を提供することと、右基準信号をフィルタリングして、右推定ノイズ信号を提供することと、一次信号から左推定ノイズ信号及び右推定ノイズ信号を減算することと、を含む。
【0046】
いくつかの実施例は、ユーザが会話しているかどうかの指標を受信することと、ユーザが会話していない時間期間中に、左及び右基準信号をフィルタリングすることに関連付けられている１つ以上のフィルタを適応させることと、含む。
【0047】
いくつかの実施例は、風状態が存在するかどうかの指標を受信することと、風状態が存在するときに、モノラル動作に移行することと、を含む。更なる実施例は、第１のアレイ処理技法を使用する複数の左及び右マイクロフォン信号のうちの１つ以上の第１の結合を、第２のアレイ処理技法を使用する複数の左及び右マイクロフォン信号のうちの１つ以上の第２の結合と比較することによって、風状態が存在するかどうかの指標を提供することと、比較に基づいて、風状態が存在するかどうかを示すことと、を含んでもよい。
【0048】
いくつかの実施例は、オフヘッド状態の指標を受信することと、オフヘッド状態が存在するときに、モノラル動作に移行することと、を含む。
【0049】
特定の実施例では、複数の左マイクロフォン信号を結合して、左基準信号を提供すること、及び複数の右マイクロフォン信号を結合して右側基準信号を提供することの各々は、遅延減算技法を含む。
【0050】
様々な実施例は、ヘッドフォンをモノラル動作に遷移させるために、左右の均衡を重み付けすることを含む。
【0051】
別の態様によれば、ヘッドフォンシステムであって、複数の左信号を提供するための複数の左マイクロフォンと、複数の右信号を提供するための複数の右マイクロフォンと、１つ以上のプロセッサであって、複数の左信号を結合して、ユーザの口の方向における増強された音響応答を有する左一次信号を提供することと、複数の右信号を結合して、ユーザの口の方向における増強された音響応答を有する右一次信号を提供することと、左一次信号及び右一次信号を結合して、音声推定信号を提供することと、複数の左信号を結合して、ユーザの口の方向における低減された音響応答を有する左基準信号を提供することと、複数の右信号を結合して、ユーザの口の方向における低減された音響応答を有する右基準信号を提供することと、を行うように構成された１つ以上のプロセッサと、左基準信号をフィルタリングして、左推定ノイズ信号を提供するように構成された左フィルタと、右基準信号をフィルタリングして、右推定ノイズ信号を提供するように構成された右フィルタと、音声推定信号から左推定ノイズ信号及び右推定ノイズ信号を減算するように構成された結合器と、を含む、ヘッドフォンシステムが提供される。
【0052】
特定の実施例は、ユーザが会話しているかどうかを示すように構成された音声行動検出器を含み、左フィルタ及び右フィルタの各々は、音声行動検出器が、ユーザが会話していないことを示す時間期間中に適応するように構成された適応フィルタである。
【0053】
特定の実施例は、風状態が存在するかどうかを示すように構成された風検出器を含み、１つ以上のプロセッサは、風検出器が、風状態が存在することを示すときに、モノラル動作に移行するように構成されている。いくつかの実施例では、風検出器は、第１のアレイ処理技法を使用する複数の左信号及び複数の右信号のうちの１つ以上の第１の結合を、第２のアレイ処理技法を使用する複数の左信号及び複数の右信号のうちの１つ以上の第２の結合と比較するように、かつ比較に基づいて風状態が存在するかどうかを示すように構成されてもよい。
【0054】
特定の実施例は、左イヤピース又は右イヤピースのうちの少なくとも１つが、ユーザの頭部の付近から除去されているかどうかを示すように構成されたオフヘッド検出器を含み、１つ以上のプロセッサは、オフヘッド検出器が、左イヤピース又は右イヤピースのうちの少なくとも一方がユーザの頭部の付近から除去されていることを示すときに、モノラル動作に移行するように構成されている。
【0055】
いくつかの実施例では、１つ以上のプロセッサは、遅延減算技法によって複数の左信号を結合して、左基準信号を提供するように、かつ遅延減算技法によって複数の右信号を結合して、右基準信号を提供するように構成されている。
【0056】
これらの例示的態様及び例に関する更なる他の態様、例、及び利点を、以下で詳細に考察する。本明細書で開示する例は、本明細書に開示される原理の少なくとも１つと整合する任意の方法で、他の例と組み合わせることができ、「一例（an example）」、「いくつかの実施例（some examples）」、「代替例（an alternate example）」、「様々な実施例（various examples）」、「１つの例（one example）」等への言及は、必ずしも互いに独占的ではなく、説明される特定の特徴、構造、又は特性は、少なくとも１つの例に含まれ得ることを示すよう意図する。本明細書におけるこうした用語の出現は、必ずしも全てが同じ例を示すわけではない。
【図面の簡単な説明】
【0057】
少なくとも１つの例に関する様々な態様を、添付図面を参照して、以下で考察するが、これらの図面は、縮尺とおりに描かれることを意図しない。これらの図は、様々な態様と例の図示、及び更なる理解を提供するために含まれ、本明細書に組み込まれ、本明細書の一部を構成するが、本発明を制約する境界であることを意図していない。図において、様々な図で図示される同一の、又は略同一の構成要素は、同様の数字で表記され得る。説明を明瞭にするために、全ての図において、構成要素全てが、必ずしも符号付けされていない場合がある。
【図1】例示的なヘッドフォンセットの斜視図である。
【図2】例示的なヘッドフォンセットの左側面図である。
【図3】他の音響信号間のユーザの音声信号を増強するための例示的なシステムの概略図である。
【図4】ユーザの音声を増強するための別の例示的なシステムの概略図である。
【図5】ユーザの音声を増強するための別の例示的なシステムの概略図である。
【図6】ユーザの音声を増強するための別の例示的なシステムの概略図である。
【図7A】ユーザの音声を増強するための別の例示的なシステムの概略図である。
【図8A】ユーザの音声を増強するための別の例示的なシステムの概略図である。
【図9】ユーザの音声を増強するための別の例示的なシステムの概略図である。
【図10】ユーザの音声を増強するための別の例示的なシステムの概略図である。
【発明を実施するための形態】
【0058】
本開示の態様は、ヘッドフォンのユーザ（例えば、着用者）の音声信号をピックアップする一方で、ユーザの音声に関連付けられていない他の信号成分を低減又は除去するヘッドフォンシステム及び方法に関する。ノイズ成分が低減されたユーザの音声信号を達成することは、ヘッドフォンセット、又は通信システム（セルラー、無線、航空）、娯楽システム（ゲーム）、音声認識アプリケーション（発話テキスト化、仮想パーソナルアシスタント）、並びにオーディオ、特に発話又は音声を処理する他のシステム及びアプリケーションなどの、他の関連機器の一部として利用可能な音声ベースの特徴若しくは機能を増強し得る。本明細書に開示される実施例は、有線又は無線手段を介して、他のシステムに連結されるか、若しくはそれと接続して配置されてもよく、又は他のシステム若しくは機器から独立していてもよい。
【0059】
本明細書に開示されるヘッドフォンシステムとして、いくつかの実施例では、航空ヘッドセット、電話ヘッドセット、メディアヘッドフォン、及びネットワークゲームヘッドフォン、又はこれら若しくは他の任意の組み合わせを挙げることができる。本開示全体を通して、用語「ヘッドセット」、「ヘッドフォン」、及び「ヘッドフォンセット」は互換的に使用され、文脈上そうでないことを明確に示していない限り、ある用語を別の用語に使用することによって区別されることを意味しない。加えて、本明細書に開示されるものと一致する態様及び実施例は、いくつかの状況では、イヤホンフォームファクタ（例えば、インイヤートランスデューサ、イヤホン）、及び／又はオフイヤー音響デバイス、例えば、着用者の耳の近傍に装着されたデバイス、首着用フォームファクタ、又は頭部若しくは身体、例えば、肩の他のフォームファクタ、あるいは着用者の頭部又は耳（複数可）に隣接する連結なしに着用者の耳（複数可）に向けて概して方向付けられる、１つ以上のドライバ（例えば、ラウドスピーカ）を含むフォームファクタに適用されてもよい。このようなフォームファクタ及び同様のものは全て、「ヘッドセット」、「ヘッドフォン」、及び「ヘッドフォンセット」という用語によって企図される。したがって、任意のパーソナル音響デバイスのオンイヤー、インイヤー、オーバーイヤー、又はオフイヤーのフォームファクタは、「ヘッドセット」、「ヘッドフォン」、及び「ヘッドフォンセット」によって含まれることが意図される。用語「イヤピース」及び／又は「イヤカップ」は、ユーザの耳のうちの少なくとも１つに近接して動作することを意図した、そのようなフォームファクタの任意の部分を含んでもよい。
【0060】
本明細書で開示する例は、本明細書に開示される原理の少なくとも１つと整合する任意の方法で、他の例と組み合わせることができ、「一例（an example）」、「いくつかの実施例（some examples）」、「代替例（an alternate example）」、「様々な実施例（various examples）」、「１つの例（one example）」等への言及は、必ずしも互いに独占的ではなく、説明される特定の特徴、構造、又は特性は、少なくとも１つの例に含まれ得ることを示すよう意図する。本明細書におけるこうした用語の出現は、必ずしも全てが同じ例を示すわけではない。
【0061】
本明細書で考察される方法と機器の例は、以下の説明に記載されるか、又は添付の図面で図示される構成の詳細、並びに、構成要素の配置に適用することに限定されないことが、理解されよう。本発明の方法及び機器は、他の例で実装可能であり、様々な方法で実施又は遂行可能である。具体的な実装の例は、例示目的のみのために本明細書で提供され、限定を意図するものではない。また、本明細書で使用される表現及び用語は、説明目的のみを目的としており、限定的であるとみなされるべきではない。本明細書における「含む（including）」、「含む（comprising）」、「有する（having）」、「含有する（containing）」、「伴う（involving）」、並びに、それらの変形形態の使用は、以下で列挙する項目とその等価物、並びに、他の項目を包含することを意味する。「又は（or）」への言及は、「又は（or）」で記載された全ての用語が、記載された用語の単一、複数、及び、全ての用語のいずれかを示せるよう、包括的であると解釈され得る。前後、右左、上下、上下、及び縦横への言及は、説明の便宜のためであり、本システムと方法、あるいは、それらの構成要素を、いずれの１つの位置的か、又は空間的方向に限定するものではない。
【0062】
図１は、ヘッドフォンセットの一例を示す。ヘッドフォン１００は、右ヨークアセンブリ１０８及び左ヨークアセンブリ１１０にそれぞれ連結され、ヘッドバンド１０６により相互連結された２つのイヤピース、すなわち右イヤカップ１０２及び左イヤカップ１０４を含む。右イヤカップ１０２及び左イヤカップ１０４は、右円形クッション１１２及び左円形クッション１１４をそれぞれ含む。例示的なヘッドフォン１００は、ユーザの耳の周囲又は耳の上にフィットする円形クッションを有するイヤピースで示されているが、他の実施例では、クッションは、耳の上に着座してもよく、又はユーザの外耳道の一部分内に突出するイヤホン部分を含んでもよく、又は代替の物理的な配置を含んでもよい。以下でより詳細に考察されるように、イヤカップ１０２、１０４のいずれか又は両方は、１つ以上のマイクロフォンを含んでもよい。図１に示される例示的なヘッドフォン１００は、２つのイヤピースを含むが、いくつかの実施例は、頭部の片側のみに使用するための単一のイヤピースのみを含んでもよい。加えて、図１に示される例示的なヘッドフォン１００は、ヘッドバンド１０６を含むが、他の実施例は、ユーザの耳に近接して１つ以上のイヤピース（例えば、イヤカップ、インイヤー構造体など）を維持するための異なる支持構造体を含んでもよく、例えば、イヤホンは、ユーザの耳の一部分内にイヤホンを保持するように構成された形状及び／若しくは材料を含んでもよく、又はパーソナルスピーカシステムは、ユーザの耳、肩などの近くで音響ドライバ（複数可）を支持及び維持するためのネックバンドを含んでもよい。
【0063】
図２は、左側からのヘッドフォン１００を示し、イヤカップの前縁２０４により近くてもよい一対の前マイクロフォン２０２と、イヤカップの後縁２０８により近くてもよい後マイクロフォン２０６と、を含む左イヤカップ１０４の詳細を示す。右イヤカップ１０２は、追加的又は代替的に、前及び後マイクロフォンの同様の配置を有してもよいが、実施例では、２つのイヤカップは、マイクロフォンの数又は配置において異なる配置を有してもよい。加えて、様々な実施例は、より多くの又は少ない前マイクロフォン２０２を有してもよく、かつより多くの又はより少ない後マイクロフォン２０６を有してもよく、又は全く有さなくてもよい。マイクロフォンは、様々な図に示され、参照番号２０２、２０６などの参照番号で符号付けされているが、図に示される視覚的要素は、いくつかの実施例では、音響ポートを表し、音響信号が、最終的に、内部にあり、外部から物理的に視認可能でなくてもよいマイクロフォン２０２、２０６に到達する。実施例では、マイクロフォン２０２、２０６のうちの１つ以上は、音響ポートの内部にすぐ隣接していてもよく、又は音響ポートから一定の距離だけ除去されていてもよく、音響ポートと関連するマイクロフォンとの間に音響導波管を含んでもよい。
【0064】
マイクロフォンからの信号はアレイ処理と結合されて、一例では、ユーザの音声を最大化して一次信号を提供し、別の例では、ユーザの音声を最小化して基準信号を提供する方法で、ビーム及びヌルを有利にステアリングする。基準信号は周囲環境ノイズと相関しており、適応フィルタに対する基準として提供される。適応フィルタは、一次信号を修正して、基準信号、例えば、ノイズ相関信号と相関している成分を除去し、適応フィルタは、ユーザの音声信号に近似する出力信号を提供する。より詳細に後で考察されるように、追加の処理が行われてもよく、またより詳細に後で考察されるように、右及び左の両側からの（すなわち、バイノーラルの）マイクロフォン信号が結合されてもよい。更に、信号は、異なるサブ帯域で有利に処理されて、ノイズ低減、すなわち、ノイズに対するユーザの発話の増強の有効性を増強し得る。本明細書では、概して、ユーザの音声成分が増強される一方、他の成分が低減される信号の生成を、音声ピックアップ、音声選択、音声分離、発話増強などと呼ぶ。本明細書で使用するとき、用語「音声」、「発話」、「会話」、及びそれらの変形形態は、このような発話が声帯の使用を含むかどうかに関係なく交換可能に使用される。
【0065】
ユーザの音声をピックアップする実施例は、環境、音響、声帯特性、及び使用の固有の態様、例えば、音声が検出されるユーザの頭部の両側に装着又は配置されたイヤピースの様々な原理で動作し、又はそれらに応じて異なってもよい。例えば、ヘッドセット環境では、ユーザの音声は、概して、ヘッドセットの右側及び左側に対称な点で発生し、実質的に同じ位相で実質的に同時に実質的に同じ振幅で、右マイクロフォン及び左マイクロフォンの両方に到達することになるが、他の人々からの発話を含む背景ノイズは、振幅、位相、及び時間の変動を有する、右と左との間で非対称である傾向があるであろう。
【0066】
図３は、マイクロフォン信号を処理して、背景ノイズ及び他の会話者に対して増強されたユーザの音声成分を含む出力信号を生成する例示的な信号処理システム３００のブロック図である。複数のマイクロフォン３０２のセットは、音響エネルギーを電子信号３０４に変換し、かつ２つのアレイプロセッサ３０６、３０８の各々に信号３０４を提供する。信号３０４は、アナログ形態であってもよい。代替的に、１つ以上のアナログデジタル変換器（analog-to-digital converters、ＡＤＣ）（図示せず）は、信号３０４がデジタル形式になるように、最初にマイクロフォン出力を変換してもよい。
【0067】
アレイプロセッサ３０６、３０８は、フェーズドアレイ、遅延和技法などのアレイ処理技法を適用し、かつ最小分散無歪応答（minimum variance distortionless response、ＭＶＤＲ）及び線形制約最小分散（linear constraint minimum variance、ＬＣＭＶ）技法を利用して、マイクロフォン３０２のセットの応答性を適応させて、様々な方向から音響信号を増強又は拒否してもよい。ビーム形成は、特定の方向又は方向の範囲から音響信号を増強する一方で、ヌルステアリングは、特定の方向又は方向の範囲からの音響信号を低減又は拒否する。
【0068】
第１のアレイプロセッサ３０６は、ユーザの口の方向（例えば、イヤカップの前及びわずかに下に向けられた方向）におけるマイクロフォン３０２のセットの音響応答を最大化するように機能するビーム形成器であり、かつ一次信号３１０を提供する。ビーム形成アレイプロセッサ３０６のため、一次信号３１０は、個々のマイクロフォン信号３０４のいずれよりもユーザの音声に起因する、より高い信号エネルギーを含む。
【0069】
第２のアレイプロセッサ３０８は、ユーザの口に向けてヌルをステアリングし、かつ基準信号３１２を提供する。基準信号３１２は、ユーザの口に方向付けられたヌルのために、ユーザの音声に起因する最小の信号エネルギーを、もしあれば含む。したがって、基準信号３１２は、ユーザの音声に起因しない背景ノイズ及び音響源に起因する成分から実質的に構成されており、すなわち、基準信号３１２は、ユーザの音声なしで音響環境に相関している信号である。
【0070】
特定の実施例では、アレイプロセッサ３０６は、ユーザの口の方向における音響応答を増強する超指向性近距離ビーム形成器であり、アレイプロセッサ３０８は、ヌルをステアリングする、すなわちユーザの口の方向における音響応答を低減する、遅延和アルゴリズムである。
【0071】
一次信号３１０は、ユーザの音声成分を含み、かつノイズ成分（例えば、背景、他の会話者など）を含む一方、基準信号３１２は、実質的にノイズ成分のみを含む。基準信号３１２が一次信号３１０のノイズ成分と略同一である場合、一次信号３１０のノイズ成分は、単に一次信号３１０から基準信号３１２を減算することによって除去され得る。しかしながら、実際には、一次信号３１０及び基準信号３１２のノイズ成分は同一ではない。その代わりに、基準信号３１２は、当業者に理解されるであろうように、一次信号３１０のノイズ成分と相関しており、したがって、適応フィルタリングを使用して、ノイズ成分と相関している基準信号３１２を使用することによって、一次信号３１０からノイズ成分の少なくともいくつかを除去してもよい。
【0072】
一次信号３１０及び基準信号３１２は、ユーザの音声に関連付けられていない成分を一次信号３１０から除去しようとする適応フィルタ３１４に提供され、これによって受信される。具体的には、適応フィルタ３１４は、基準信号３１２に相関している成分を除去しようとする。当該技術分野において既知の多数の適応フィルタは、基準信号に相関している成分を除去するように設計されている。例えば、特定の例としては、正規化最小二乗平均（normalized least mean square、ＮＬＭＳ）適応フィルタ、又は再帰的最小二乗（recursive least squares、ＲＬＳ）適応フィルタが挙げられる。適応フィルタ３１４の出力は、ユーザの音声信号の近似を表す、音声推定信号３１６である。
【0073】
例示的な適応フィルタ３１４は、様々な適応技法、例えば、ＮＬＭＳ、ＲＬＳを組み込む様々なタイプを含んでもよい。適応フィルタは、一般に、一次信号の不要な成分に相関している基準信号を受信するデジタルフィルタを含む。デジタルフィルタは、基準信号から一次信号の不要な成分の推定値を生成することを試みる。一次信号の不要な成分は、定義により、ノイズ成分である。ノイズ成分のデジタルフィルタの推定値は、ノイズ推定値である。デジタルフィルタが良好なノイズ推定値を生成する場合、ノイズ成分は、単純にノイズ推定値を減算することによって、一次信号から効果的に除去され得る。一方、デジタルフィルタがノイズ成分の良好な推定値を生成しない場合、このような減算は無効であり得、又は一次信号を劣化させ、例えば、ノイズを増加させ得る。したがって、適応アルゴリズムは、デジタルフィルタと並行して動作し、例えば、重み付け又はフィルタ係数を変更する形態で、デジタルフィルタに調整を行う。特定の実施例では、適応アルゴリズムは、ノイズ成分のみを有することが分かっているとき、すなわち、ユーザが会話していないときに、一次信号を監視して、その瞬間にノイズ成分のみを含む一次信号と一致するノイズ推定値を生成するようにデジタルフィルタを適応させてもよい。
【0074】
適応アルゴリズムは、ユーザが様々な手段によって会話していないときを知ることができる。少なくとも１つの実施例では、システムは、発話増強をトリガーした後に、一時停止又は静止期間を強制する。例えば、ユーザは、ボタンを押し、ウェイクアップコマンドを発話してから、システムがユーザに準備ができたことを示すまで一時停止することが必要な場合がある。必要な一時停止の間、適応アルゴリズムは、任意のユーザ発話を含まない一次信号を監視し、フィルタを背景ノイズに適応させる。その後、ユーザが発話したときに、デジタルフィルタは、良好なノイズ推定値を生成し、これは、一次信号から減算されて、音声推定値、例えば、音声推定信号３１６を生成する。
【0075】
いくつかの実施例では、適応アルゴリズムは、デジタルフィルタを実質的に連続的に更新してもよく、ユーザが会話していることが検出されたときに、フィルタ係数、例えば、一時停止適応を中止してもよい。代替的に、発話増強が必要とされるまで適応アルゴリズムを無効化し、次いで、ユーザが会話していないことが検出されたときに、フィルタ係数を更新するだけでもよい。ユーザが会話しているかどうかを検出するシステムのいくつかの例は、２０１７年３月２０日に出願された「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＯＦ ＤＥＴＥＣＴＩＮＧ ＳＰＥＥＣＨ ＡＣＴＩＶＩＴＹ ＯＦ ＨＥＡＤＰＨＯＮＥ ＵＳＥＲ」と題された、同時係属中の米国特許出願第１５／４６３，２５９号に記載されており、その全体が参照により本明細書に組み込まれる。
【0076】
特定の実施例では、適応フィルタによって適用される重み及び／又は係数は、並行又は背景プロセスによって確立又は更新されてもよい。例えば、追加の適応フィルタは、適応フィルタ３１４と並行して動作し、背景でその係数を連続的に更新してもよく、すなわち、追加の適応フィルタがより良好な音声推定信号を提供するときまで、図３の例示的システム３００に示されるアクティブ信号処理に影響を与えない。追加の適応フィルタは、背景又は並行適応フィルタと呼ばれることもあり、並行適応フィルタがより良好な音声推定値を提供する場合、並行適応フィルタで使用される重み及び／又は係数は、アクティブな適応フィルタ、例えば、適応フィルタ３１４にコピーされてもよい。
【0077】
特定の実施例では、基準信号３１２などの基準信号は、他の方法によって、又は上で考察されるもの以外の他の構成要素によって導出されてもよい。例えば、基準信号は、後ろ向きのマイクロフォン、例えば、後部マイクロフォン２０６などのユーザの音声への応答性が低減された１つ以上の別々のマイクロフォンから導出されてもよい。代替的に、基準信号は、ビーム形成技法を使用してマイクロフォン３０２のセットから導出されて、ブロードビームをユーザの口から離れる方向に方向付けてもよく、又はアレイ若しくはビーム形成技法なしで結合されて、概して、中に含まれるユーザの音声成分に関連することなく、音響環境に応答してもよい。
【0078】
例示的なシステム３００は、有利には、ヘッドフォンシステム、例えば、ヘッドフォン１００に有利に適用されて、ユーザの音声を増強し、かつ背景ノイズを低減する方法でユーザの音声をピックアップしてもよい。例えば、より詳細に後で考察されるように、マイクロフォン２０２（図２）からの信号は、例示的システム３００によって処理されて、背景ノイズに対して増強された音声成分を有する音声推定信号３１６を提供してもよく、音声成分は、ユーザからの、すなわち、ヘッドフォン１００の着用者からの発話を表している。上で考察されるように、特定の実施例では、アレイプロセッサ３０６は、ユーザの口の方向における音響応答を増強する超指向性近距離ビーム形成器であり、アレイプロセッサ３０８は、ヌルをステアリングする、すなわちユーザの口の方向における音響応答を低減する、遅延和アルゴリズムである。例示的なシステム３００は、マイクロフォンの１つのアレイ３０２からのモノラル発話増強のためのシステム及び方法を示す。より詳細に後で考察されるのは、少なくとも、マイクロフォンの２つのアレイ（例えば、右及び左アレイ）のバイノーラル処理、スペクトル処理による更なる発話増強、並びにサブ帯域による信号の別々の処理を含むシステム３００の変形形態である。
【0079】
図４は、背景ノイズ及び他の会話者に対して増強されたユーザの音声成分を含む出力信号を生成するための信号処理システム４００の更なる例のブロック図である。図４は、図３と同様であるが、適応フィルタ３１４の出力で実施されるスペクトル増強動作４０４を更に含む。
【0080】
上で考察されるように、例示的な適応フィルタ３１４は、ノイズ推定値、例えば、ノイズ推定信号４０２を生成してもよい。図４に示すように、音声推定信号３１６及びノイズ推定信号４０２は、発話の短時間スペクトル振幅（short-time spectral amplitude、ＳＴＳＡ）を増強し、それによって出力信号４０６におけるノイズを更に低減する、スペクトル増強器４０４に提供され、それによって受信されてもよい。スペクトル増強器４０４に実装され得るスペクトル増強の例としては、スペクトル減算技法、最小平均二乗誤差技法、及びウィーナーフィルタ技法を挙げることができる。適応フィルタ３１４は、スペクトル増強器４０４を介した音声推定信号３１６のスペクトル増強におけるノイズ成分を低減する一方、出力信号４０６の音声対ノイズ比を更に改善し得る。例えば、適応フィルタ３１４は、より少ないノイズ源で、又はノイズが静止している、例えば、ノイズ特性は実質的に一定であるときに、より良好に実施され得る。スペクトル増強は、より多くのノイズ源が存在し、又はノイズ特性を変化させるときに、システム性能を更に改善し得る。適応フィルタ３１４がノイズ推定信号４０２及び音声推定信号３１６を生成するため、スペクトル増強器４０４は、それらのスペクトル成分を使用して、２つの推定信号上で動作し、出力信号４０６のユーザの音声成分を更に増強し得る。
【0081】
上で考察されるように、例示的なシステム３００、４００は、デジタル領域で動作してもよく、かつアナログ－デジタル変換器（図示せず）を含んでもよい。加えて、例示的なシステム３００、４００に含まれる成分及びプロセスは、広帯域信号の代わりに狭帯域信号上で動作するときに、より良好な性能を達成し得る。したがって、特定の実施例は、例示的なシステム３００、４００による１つ以上のサブ帯域の処理を可能にするサブ帯域フィルタリングを含んでもよい。例えば、ビーム形成、ヌルステアリング、適応フィルタリング、及びスペクトル増強は、個々のサブ帯域上で動作するときに、増強された機能性を示す場合がある。サブ帯域は、例示的なシステム３００、４００の動作後に一緒に合成されて、単一の出力信号を生成してもよい。特定の実施例では、信号３０４をフィルタリングして、人間の発話の典型的なスペクトル外の成分を除去してもよい。代替的に又は追加的に、例示的なシステム３００、４００は、サブ帯域で動作するために用いられてもよい。このようなサブ帯域は、人間の発話に関連付けられているスペクトル内にあり得る。追加的に又は代替的に、例示的なシステム３００、４００は、人間の発話に関連付けられているスペクトル外のサブ帯域を無視するように構成されてもよい。加えて、例示的なシステム３００、４００は、特定の実施例では、マイクロフォン３０２の単一セットのみを参照して上で考察されているが、追加のマイクロフォンのセット、例えば、左側のセット及び右側の別のセットが存在してもよく、これに例示的なシステム３００、４００の更なる態様及び実施例を適用し、かつ組み合わせて、改善された音声増強を提供してもよく、そのうちの少なくとも１つの実施例が、図５を参照してより詳細に考察される。
【0082】
図５は、右マイクロフォンアレイ５１０と、左マイクロフォンアレイ５２０と、サブ帯域フィルタ５３０と、右ビームプロセッサ５１２と、右ヌルプロセッサ５１４と、左ビームプロセッサ５２２と、左ヌルプロセッサ５２４と、適応フィルタ５４０と、結合器５４２と、結合器５４４と、スペクトル増強器５５０と、サブ帯域合成器５６０と、重み付け計算機５７０と、を含む、例示的な信号処理システム５００のブロック図である。右マイクロフォンアレイ５１０は、例えば、ユーザの右側の音響信号に応答するヘッドフォン１００のセット（図１～図２を参照）の右イヤカップ１０２に連結された複数のマイクロフォンをユーザの右側に含む。左マイクロフォンアレイ５２０は、例えば、ユーザの左側の音響信号に応答するヘッドフォン１００のセット（図１～図２参照）の左イヤカップ１０４に連結された複数のマイクロフォンをユーザの左側に含む。右及び左マイクロフォンアレイ５１０、５２０の各々は、図２に示される一対のマイクロフォン２０２と同等である、単一対のマイクロフォンを含んでもよい。他の実施例では、３つ以上のマイクロフォンを各々のイヤピースに提供して使用してもよい。
【0083】
図５に示される実施例では、本明細書に開示する態様及び実施例による、発話増強のために使用される各マイクロフォンは、サブ帯域フィルタ５３０に信号を提供し、この信号は、各マイクロフォンのスペクトル成分を複数のサブ帯域に分離する。各マイクロフォンからの信号は、アナログ形式で処理されてもよいが、好ましくは、各マイクロフォンに関連付けられている、若しくはサブ帯域フィルタ５３０に関連付けられている１つ以上のＡＤＣによってデジタル形式に変換されてもよく、又は別の方法で、マイクロフォンとサブ帯域フィルタ５３０との間、又は他の場所の各マイクロフォンの出力信号に作用する。したがって、特定の実施例では、サブ帯域フィルタ５３０は、マイクロフォンの各々から導出されたデジタル信号に作用するデジタルフィルタである。ＡＤＣ、サブ帯域フィルタ５３０、及び例示的なシステム５００の他の構成要素のいずれも、デジタル信号プロセッサ（digital signal processor、ＤＳＰ）を構成及び／又はプログラミングして、図示若しくは考察される構成要素のいずれかの機能を実施し、又はこのような構成要素として作用することによって、ＤＳＰ内に実装されてもよい。
【0084】
右ビームプロセッサ５１２は、ユーザの口に向けて、例えば、ユーザの右耳の下及び前に方向付けられた音響的に応答するビームを形成する方法で、右マイクロフォンアレイ５１０からの信号に作用して、右一次信号５１６を提供する（これはいわゆる、ユーザの口に方向付けられたビームに起因して増加したユーザ音声成分を含むため）ビーム形成器である。右ヌルプロセッサ５１４は、ユーザの口に向けて方向付けられた音響的に無応答のヌルを形成する方法で、右マイクロフォンアレイ５１０からの信号に作用して、右基準信号５１８を提供する（これはいわゆる、ユーザの口に方向付けられたヌルに起因して低減されたユーザ音声成分を含むため）。同様に、左ビームプロセッサ５２２は、左マイクロフォンアレイ５２０から左一次信号５２６を提供し、左ヌルプロセッサ５２４は、左マイクロフォンアレイ５２０から左基準信号を提供する。右一次及び基準信号５１６、５１８は、図３及び図４の例示的なシステム３００、４００に関して上で考察される一次及び基準信号と同等である。同様に、左一次及び基準信号５２６、５２８は、図３及び図４の例示的なシステム３００、４００に関して上で考察される一次及び基準信号と同等である。
【0085】
例示的なシステム５００は、一次及び基準信号の左及び右のバイノーラルセットを処理し、これは、モノラルのシステム３００、４００の例よりも性能を改善し得る。より詳細に後で考察されるように、重み付け計算機５７０は、信号の左又は右セットのうちの１つのみを提供する程度でさえ、左又は右の一次及び基準信号の各々が適応フィルタ５４０に提供される量に影響を及ぼすことがあり、その場合、システム５００の動作は、例示的なシステム３００、４００と同様に、モノラルの場合に低減される。
【0086】
結合器５４２は、バイノーラル一次信号、すなわち、右一次信号５１６及び左一次信号５２６を、例えばそれらを一緒に加算することによって結合して、結合された一次信号５４６を提供する。右一次信号５１６及び左一次信号５２６の各々は、少なくとも、右及び左マイクロフォンアレイ５１０、５２０がユーザの口に対して略対称かつ等距離であるため、ユーザが発話しているときのユーザの音声を示す、同等の音声成分を有する。この物理的対称性により、ユーザの口からの音響信号は、実質的に同じ時間、及び実質的に同じ位相で、実質的に等しいエネルギーで、右及び左マイクロフォンアレイ５１０、５２０の各々に到達する。したがって、右及び左一次信号５１６、５２６内のユーザの音声成分は、互いに実質的に対称であり、結合された一次信号５４６において互いに補強され得る。様々な他の音響信号、例えば、背景ノイズ及び他の会話者は、ユーザの頭部に関して左右対称にならない傾向があり、結合された一次信号５４６において互いに補強されない。明確にするために、右及び左一次信号５１６、５２６内のノイズ成分は、結合された一次信号５４６に伝達されるが、ユーザの音声成分が行い得る方法では互いに補強されない。したがって、ユーザの音声成分は、右及び左一次信号５１６、５２６の個々のいずれかにおけるものよりも、結合された一次信号５４６において、より実質的であり得る。加えて、重み付け計算機５７０によって適用される重み付けは、右及び左一次信号５１６、５２６の各々の中のノイズ及び音声成分が、結合された一次信号５４６において多かれ少なかれ表されるかどうかに影響を及ぼし得る。
【0087】
結合器５４４は、右基準信号５１８と左基準信号５２８とを結合して、結合された基準信号５４８を提供する。実施例では、結合器５４４は、例えば、一方を他方から減算することによって、右基準信号５１８と左基準信号５２８との間の差を取って、結合された基準信号５４８を提供してもよい。左及び右ヌルプロセッサ５１４、５２４のヌルステアリング動作に起因して、左及び右基準信号５１８、５２８の各々におけるユーザ音声成分は、存在する場合、最小である。したがって、結合された基準信号５４８には、存在する場合、最小のユーザ音声成分が存在する。例えば、結合器５４４が減算器である実施例では、上で考察されるように、右及び左基準信号５１８、５２８の各々に存在する何らのユーザ音声成分も、ユーザの音声成分の相対対称性に起因する減算によって低減される。したがって、結合された基準信号５４８は、ユーザ音声成分を実質的に有さず、その代わりに、実質的に完全にノイズ、例えば、背景ノイズ、他の会話者から構成される。上記のように、重み付け計算機５７０によって適用される重み付けは、左又は右のノイズ成分が、結合された基準信号５４８で多かれ少なかれ表されるかどうかに影響を及ぼし得る。
【0088】
適応フィルタ５４０は、図３及び図４の適応フィルタ３１４と同等である。適応フィルタ５４０は、結合された一次信号５４６及び結合された基準信号５４８を受信し、かつ適応係数を有するデジタルフィルタを適用して、音声推定信号５５６及びノイズ推定信号５５８を提供する。上で考察されるように、適応係数は、強制的な一時停止中に確立されてもよく、ユーザが発話しているときはいつでも中止されてもよく、ユーザが発話していないときはいつでも適応的に更新されてもよく、又は背景若しくは並行プロセスによって間隔をおいて更新されてもよく、又はこれらの任意の組み合わせによって確立若しくは更新されてもよい。
【0089】
また、上で考察されるように、基準信号、例えば、結合された基準信号５４８は、一次信号に存在するノイズ成分（複数可）、例えば、結合された一次信号５４６に必ずしも等しくはないが、一次信号におけるノイズ成分（複数可）と実質的に相関している。適応フィルタ５４０の動作は、最良のデジタルフィルタ係数を適応又は「学習」して、基準信号を、一次信号におけるノイズ成分（複数可）と実質的に同様のノイズ推定信号に変換することである。次いで、適応フィルタ５４０は、一次信号からノイズ推定信号を減算して、音声推定信号を提供する。例示的なシステム５００では、適応フィルタ５４０によって受信された一次信号は、右及び左のビーム形成された一次信号（５１６、５２６）から導出される結合された一次信号５４６であり、適応フィルタ５４０によって受信された基準信号は、右及び左のヌルステアリングされた基準信号（５１８、５２８）から導出される結合された基準信号５４８である。適応フィルタ５４０は、結合された一次信号５４６及び結合された基準信号５４８を処理して、音声推定信号５５６及びノイズ推定信号５５８を提供する。
【0090】
上で考察されるように、適応フィルタ５４０は、より少ない及び／又は静止したノイズ源が存在する場合、より良好な音声推定信号５５６を生成し得る。しかしながら、ノイズ推定信号５５８は、ノイズ源がより多いか又は変化している場合でも、環境ノイズのスペクトル成分を実質的に表すことができ、システム５００の更なる改善は、スペクトル増強によって得ることができる。したがって、図５に示す例示的なシステム５００は、図４の例示的なシステム４００に関してより詳細に上で考察されるものと同じ方式で、音声推定信号５５６及びノイズ推定信号５５８をスペクトル増強器５５０に提供し、これは、改善された音声増強を提供し得る。
【0091】
上で考察されるように、例示的なシステム５００では、マイクロフォンからの信号は、サブ帯域フィルタ５３０によってサブ帯域に分割される。図５に示す例示的なシステム５００の後続の成分の各々は、複数のこのような成分を論理的に表して、複数のサブ帯域を処理する。例えば、サブ帯域フィルタ５３０は、特定の範囲に限定された周波数を提供するようにマイクロフォン信号を処理してもよく、その範囲内では、組み合わせて全範囲を包含する複数のサブ帯域を提供し得る。特定の一実施例では、サブ帯域フィルタは、０～８，０００Ｈｚの周波数範囲にわたって、各々１２５Ｈｚをカバーする６４個のサブ帯域を提供し得る。アナログ－デジタルサンプリングレートは、対象とする最高周波数に対して選択されてもよく、例えば、１６ｋＨｚサンプリングレートは、最大８ｋＨｚの周波数範囲のナイキストシャノンサンプリング定理を満たす。
【0092】
したがって、図５に示す例示的なシステム５００の各成分が複数のこのような成分を表すことを示すために、特定の実施例では、サブ帯域フィルタ５３０は、各々１２５Ｈｚをカバーする６４個のサブ帯域を提供し得、これらのサブ帯域のうちの２つは、第１のサブ帯域、例えば、１，５００Ｈｚ～１，６２５Ｈｚの周波数と、第２のサブ帯域、例えば、１，６２５Ｈｚ～１，７５０Ｈｚの周波数と、を含み得ると考えられる。第１の右ビームプロセッサ５１２は、第１のサブ帯域に作用することになり、第２の右ビームプロセッサ５１２は、第２のサブ帯域に作用することになる。第１の右ヌル処理者５１４は、第１のサブ帯域に作用することになり、第２の右ヌルプロセッサ５１４は、第２のサブ帯域に作用することになる。同じことが全ての成分について言え、これは、全てのサブ帯域を単一の音声出力信号５６２に再結合するように作用する、サブ帯域フィルタ５３０の出力からサブ帯域合成器５６０の入力までの図５に示されている。したがって、少なくとも１つの実施例では、右ビームプロセッサ５１２、右ヌルプロセッサ５１４、左ビームプロセッサ５２２、左ヌルプロセッサ５２４、適応フィルタ５４０、結合器５４２、結合器５４４、及びスペクトル増強器５５０が各々６４個存在する。他の実施例は、より多くの若しくはより少ないサブ帯域を含んでもよく、又は、例えばサブ帯域フィルタ５３０及びサブ帯域合成器５６０を含めないことによって、サブ帯域で動作しなくてもよい。任意のサンプリング周波数、周波数範囲、及びサブ帯域の数は、様々なシステム要件、動作パラメータ、及びアプリケーションに適合するように実装されてもよい。加えて、それにもかかわらず、複数の各成分は、単一のデジタル信号プロセッサ若しくは他の回路、又は１つ以上のデジタル信号プロセッサ及び／若しくは他の回路の組み合わせで実装されてもよく、又はそれらによって実施されてもよい。
【0093】
重み付け計算機５７０は、例示的なシステム５００の性能を有利に改善することができ、又は様々な実施例では完全に省略されてもよい。重み付け計算機５７０は、どの程度の左又は右信号が、結合された一次信号５４６又は結合された基準信号５４８、又はその両方に、どのように因数分解されるかを制御し得る。重み付け計算機５７０は、結合器５４２及び結合器５４４によって適用される係数を確立する。例えば、結合器５４２は、デフォルトで、右一次信号５１６を左一次信号５２６に直接、すなわち、等しい重み付けで追加してもよい。代替的に、結合器５４２は、右一次信号５１６のより小さい部分及び左一次信号５２６からのより大きい部分から形成される結合として、結合された一次信号５４６を提供してもよい。例えば、結合器５４２は、４０％が右一次信号５１６から形成され、６０％が左一次信号５２６から形成されるような結合、又は他の任意の好適な等しくない結合として、結合された一次信号５４６を提供してもよい。重み付け計算機５７０は、右マイクロフォン５１０及び左マイクロフォン５２０のうちの１つ以上などの、マイクロフォン信号のいずれかを監視及び分析してもよく、又は右一次信号５１６及び左一次信号５２６並びに／又は右基準信号５１８及び左基準信号５２８などの、一次又は基準信号のいずれかを監視及び分析して、結合器５４２、５４４のいずれか又は両方に対する適切な重み付けを判定してもよい。
【0094】
特定の実施例では、重み付け計算機５７０は、右及び左信号のいずれかの総信号振幅又はエネルギーを分析し、より低い総振幅又はエネルギーを有するいずれかの側に、より強く重み付けする。例えば、片側の振幅が実質的に大きい場合、これは、その側のマイクロフォンアレイに影響する風又は他のノイズ源が存在することを示している可能性がある。したがって、その側の一次信号の重みを、結合された一次信号５４６に低減すると、ノイズが効果的に低減し、例えば、結合された一次信号５４６の音声対ノイズ比が増加し、システムの性能が改善され得る。同様の方式で、重み付け計算機５７０は、右又は左基準信号５１８、５２８のうちの１つが、結合された基準信号５４８に、より大きく影響するように、結合器５４４に同様の重み付けを適用してもよい。
【0095】
音声出力信号５６２は、様々な他の構成要素、デバイス、特徴部、又は機能に提供されてもよい。例えば、少なくとも１つの実施例では、音声出力信号５６２は、音声認識及び／又は発話テキスト化処理を含む更なる処理のための仮想パーソナルアシスタントに提供され、これは、インターネット検索、カレンダー管理、パーソナル通信などのために更に提供され得る。音声出力信号５６２は、電話通話又は無線送信などの直接通信目的のために提供されてもよい。特定の実施例では、音声出力信号５６２は、デジタル形式で提供されてもよい。他の実施例では、音声出力信号５６２は、アナログ形式で提供されてもよい。特定の実施例では、音声出力信号５６２は、スマートフォン又はタブレットなどの別のデバイスに無線で提供されてもよい。無線接続は、Ｂｌｕｅｔｏｏｔｈ（登録商標）又は近距離通信（ＮＦＣ）規格、又は様々な形態で音声データを転送するのに十分な他の無線プロトコルによってでもよい。特定の実施例では、音声出力信号５６２は、有線接続によって伝達されてもよい。本明細書に開示される態様及び実施例は、ヘッドセット、ヘッドフォン、イヤホンなどを装着しているユーザから、他の会話者、機械及び機器、航空及び航空機のノイズ、又は任意の他の背景ノイズ源などの、追加の音響源を有し得る環境の発話が増強された音声出力信号を提供するために有利に適用されてもよい。
【0096】
上で考察される例示的なシステム３００、４００、５００において、かつ後で考察される更なる例示的なシステムにおいて、一次信号には、ビーム形成技法を使用することによって、部分的に増強されたユーザ音声成分が提供される。特定の実施例では、ビーム形成器（複数可）（例えば、アレイプロセッサ３０６、５１２、５２２）は、ヘッドフォンアプリケーション内のユーザの口に向けてビームをステアリングするために、超指向性近距離ビーム形成を使用する。ヘッドフォン環境は、ヘッドフォンフォームファクタ上に多数のマイクロフォンを有することから、典型的には多くの余地が存在しないため、部分的に困難である。マイクロフォンの数がノイズ源の数より１多い場合、ビーム形成技法を用いて他の源、例えばノイズ源を効果的に分離することが必要であり、又は最適に機能することが従来から知られている。しかしながら、ヘッドフォンフォームファクタは、典型的に多数のノイズ源を含むノイズ環境において、この従来の条件を満たすために十分なマイクロフォン用の余地を可能にすることができない。したがって、本明細書の例示的なシステムで考察されているビーム形成器の特定の例は、超指向性技法を実装し、ユーザの音声の近距離の態様、例えば、ユーザの発話の直接経路が、より遠く離れて支配的ではない傾向があるノイズ源とは対照的に、ユーザの口の近接性に起因して、（比較的少ない、例えば、いくつかの場合には２つ）のマイクロフォンによって受信される信号の主要な成分であることを活用する。また、上で考察されるように、特定の実施例は、様々なヌルステアリング成分（例えば、アレイプロセッサ３０８、５１４、５２４）の遅延和の実装を含む。更に、ヘッドフォンアプリケーションにおける従来のシステムは、風ノイズの存在下で適切な結果を提供することができない。本明細書における特定の実施例は、（例えば、結合器５４２、５４４に作用する重み付け計算機５７０によって）バイノーラル重み付けを組み込み、必要に応じて側面間で重み付けを変更し、これは部分的に風状態に適合し、これを補償し得る。したがって、本明細書で提供される特定の態様及び実施例は、超指向性近距離ビーム形成、遅延和ヌルステアリング、バイノーラル重み係数、又はこれらの任意の組み合わせのうちの１つ以上を使用することによって、ヘッドフォン／ヘッドセットアプリケーションにおいて増強された性能を提供する。
【0097】
図６は、図５のシステム５００と実質的に同等である更なる例示的なシステム６００を示す。図６では、右ビームプロセッサ５１２及び左ビームプロセッサ５２２は、単一のブロック、例えば、ビームプロセッサ６０２として示されている。同様に、右ヌルプロセッサ５１４及び左ヌルプロセッサ５２４は、単一のブロック、例えば、ヌルプロセッサ６０４として示されている。例示における変形形態は、以下の図を含む、図の便宜上及び簡略化のためのものである。右及び左一次信号５１６、５２６を生成するためのビームプロセッサ６０２の機能性は、先で考察されるものと実質的に同じであってもよい。同様に、右及び左基準信号５１８、５２８を生成するためのヌルプロセッサ６０４の機能性は、先で考察されるものと実質的に同じであってもよい。図６は、結合器５４２、５４４を有する重み付け計算機５７０の協働的性質を更に示し、これらは共に混合器６０６を形成する。混合器６０６の機能性は、その構成要素、例えば、重み付け計算機５７０及び結合器５４２、５４４に関して前述したものと実質的に同じであってもよい。
【0098】
図７Ａは、複数の基準信号入力、例えば、右基準入力及び左基準入力に適合する、適応フィルタ５４０ａを有するシステム５００、６００と実質的に同様の更なる例示的なシステム７００を示す。右及び左基準信号５１８、５２８は、ユーザの音声を含まない音響環境を主に表し、例えば前述したように、信号は、ユーザの音声成分を低減又は抑制しているが、いくつかの実施例では、右及び左音響環境は、風又は他の源の場合、一方又は他方がより強いなど、大幅に異なる場合がある。したがって、適応フィルタ５４０ａは、いくつかの実施例では、ノイズ低減性能を増強するために、混合することなく、２つの基準信号（例えば、右及び左基準信号５１８、５２８）に明確に適合することができる。
【0099】
いくつかの実施例では、多基準適応フィルタ５４０ａは、前述のように、ノイズ推定値（例えば、ノイズ推定信号５５８と同等である）をスペクトル増強器５５０に提供してもよい。他の実施例では、スペクトル増強器５５０は、図７Ａに示すように、結合された基準信号５４８（例えば、ノイズ基準信号）を混合器６０６から受信してもよい。他の実施例では、ノイズ推定値はスペクトル増強器５５０に様々な他の方法で提供されてもよく、これは、左及び右基準信号５１８、５２８、結合された基準信号５４８、適応フィルタ５４０ａにより提供されるノイズ推定信号、及び／又は他の信号の様々な組み合わせを含んでもよい。
【0100】
また図７Ａは、ノイズ推定信号ではなくノイズ基準信号（図示のとおり）がスペクトル増強器５５０に提供されるときなど、様々な実施例に含まれ得る等化ブロック７０２も示している。等化ブロック７０２は、結合された基準信号５４８で音声推定信号５５６を等化するように構成されている。上で考察されるように、音声推定信号５５６は、様々なアレイ処理技法（例えば、いくつかの実施例では、ＭＶＤＲ又は遅延和処理であり得る、図１０のＡ又はＢのビーム形成）によって影響を受け得る結合された一次信号５４６から適応フィルタ５４０ａによって提供されてもよく、結合された基準信号５４８は、混合器６０６から来てもよく、そのため、スペクトル増強器５５０によって受信された音声推定及びノイズ基準信号が、異なる周波数応答及び／又は異なるサブ帯域に適用される異なる利得を有し得る。特定の実施例では、等化ブロック７０２の設定（例えば、係数）は、ユーザが発話しないときに計算（選択、適応など）されてもよい。
【0101】
例えば、ユーザが発話していないときに、音声推定信号５５６及び結合された基準信号５４８の各々は、実質的に同等の（例えば、周囲の）音響成分を表し得るが、異なる処理に起因する異なる周波数応答を有することにより、この時間中に計算された等化設定（ユーザの発話なし）は、スペクトル増強器５５０の動作を改善し得る。したがって、いくつかの実施例では、音声活動検出器が、ヘッドフォンユーザが発話していないことを示す場合（例えば、ＶＡＤ＝０）、等化ブロック７０２の設定を計算することができる。ユーザが会話を開始したときに（例えば、ＶＡＤ＝１）、等化ブロック７０２の設定を中止することができ、ユーザが発話する間にその時間までに計算された何らかの等化設定が使用される。いくつかの実施例では、等化ブロック７０２は、異常な等化を回避するために、及び／又は過度の等化の適用を回避するために、異常値拒否、例えば、異常と思われるデータの破棄を組み込んでもよく、かつ１つ以上の最大又は最小等化レベルを実施してもよい。
【0102】
複数の基準入力に適合するための適応フィルタ５４０ａの少なくとも１つの例を図７Ｂに示す。右及び左基準信号５１８、５２８は、右及び左フィルタ７１０、７２０によってそれぞれフィルタリングされてもよく、これらの出力は、結合器７３０によって結合されてノイズ推定信号７３２を提供する。ノイズ推定信号７３２（前述のノイズ推定信号５５８と同等である）は、結合された一次信号５４６から減算されて、音声推定信号５５６を提供する。音声推定信号５５６は、１つ以上の適応アルゴリズム（複数可）（例えば、ＮＬＭＳ）へのエラー信号として提供され、右及び左フィルタ７１０、７２０のフィルタ係数を更新してもよい。
【0103】
様々な実施例では、音声活動検出器（voice activity detector、ＶＡＤ）は、ユーザが発話しているときを示すフラグを提供してもよく、適応フィルタ５４０ａは、ＶＡＤフラグを受信してもよく、いくつかの実施例では、ユーザが会話しているときに、及び／又はユーザが会話を開始した直後に、適応フィルタ５４０ａは、（例えば、フィルタ７１０、７２０の）適応を一時停止又は凍結してもよい。
【0104】
様々な実施例では、遠端音声活動検出器が提供されてもよく、遠隔の人物（例えば、話し相手）が会話しているときを示すフラグを提供してもよく、適応フィルタ５４０ａは、フラグを受信してもよく、いくつかの実施例では、適応フィルタ５４０ａは、遠隔の人物が会話しているときに、及び／又は会話を開始した直後に、（例えば、フィルタ７１０、７２０の）適応を一時停止又は中止してもよい。
【0105】
いくつかの実施例では、１つ以上の遅延が１つ以上の信号経路に含まれてもよい。特定の実施例では、このような遅延は、ＶＡＤがユーザ音声活動を検出するための時間遅延に適合し、そのため例えば、ユーザ音声成分（複数可）を含む信号部分を処理する前に、適応中の一時停止が発生する場合がある。特定の実施例では、このような遅延は、２つの信号間の処理の差に適合するように、様々な信号を整列させ得る。例えば、結合された一次信号５４６は、混合器６０６による処理の後に、適応フィルタ５４０ａによって受信される一方、右及び左基準信号５１８、５２８は、ヌルプロセッサ６０４から適応フィルタ５４０ａによって受信される。したがって、信号５４６、５１８、５２８が適切な（例えば、整列された）時間に適応フィルタ５４０ａによって各々処理されるように、適応フィルタ５４０ａに到達する前に、信号５４６、５１８、５２８のいずれか又は全てに遅延を含めてもよい。
【0106】
様々な実施例では、風検出機能が提供されてもよく（その例は、更に詳細に後で考察される）、適応フィルタ５４０ａ（及び／若しくは混合器６０６）に１つ以上のフラグ（例えば、インジケータ信号）を提供してもよく、適応フィルタ５４０ａは、例えば、左側若しくは右側をより重く重み付けすること、モノラル動作に切り替えること、並びに／又はフィルタの適応を中止することによって、風の指標に応答してもよい。
【0107】
いくつかの音響環境では、特定の方向からの音響応答を増強する様々な形態が、他の形態よりも良好に機能し得る。したがって、ビーム形成器６０２の１つ以上の形態は、特定の環境において、及び／又は別の形態よりも特定の条件下で、より好適であり得る。例えば、強風状態では、遅延和手法は、超指向性近距離ビーム形成よりも、ユーザ音声成分のより良好な増強を提供し得る。したがって、いくつかの実施例では、様々な形態のビームプロセッサ６０２が提供されてもよく、様々な実施例では、様々なビーム形成出力信号を分析、選択、及び／又は混合してもよい。
【0108】
用語に関して、「遅延和」とは、一般に、信号成分を増強するか低減するかを問わず、信号を時間内に整列させ、かつ信号を結合する任意の形態を指す。信号の整列とは、例えば、１つ以上の信号を遅延させて、音響源からのマイクロフォンの距離の差に適合し、音響信号がマイクロフォンの各々に同時に到達したかのように、マイクロフォン信号を整列させて、音響源から各マイクロフォンまでの異なる伝搬遅延に適合することなどを意味し得る。整列された信号を結合することは、整列された成分を増強するためにそれらを追加することを含んでもよく、かつ／又は整列された成分を抑制若しくは低減するためにそれらを減算することを含んでもよい。したがって、遅延和は、様々な実施例における応答を増強又は低減するために使用されてもよく、したがって、例えば、本明細書に記載のビームプロセッサ６０２及びヌルプロセッサ６０４に関して、ビームステアリング又はヌルステアリングに使用されてもよい。いくつかの実施例では、整列された信号成分が低減される場合（例えば、ユーザ音声成分を低減するためのヌルステアリング）、「遅延減算」の用語が使用され得る。
【0109】
図８Ａは、複数のビーム形成された出力をセレクタ８３６に提供するビームプロセッサ６０２ａを含む、図６のシステム６００と同様の更なる例示的なシステム８００を示す。例えば、ビーム形成器６０２ａは、先で考察されるように、最小分散無歪応答（ＭＶＤＲ）などの特定の形態のアレイ処理を使用して、右及び左一次信号５１６、５２６を提供してもよく、また遅延和などの異なる形態のアレイ処理により、右及び左二次信号８１６、８２６を提供してもよい。右及び左一次信号５１６、５２６及び二次信号８１６、８２６の各々は、増強された音声成分を含んでもよいが、様々な音響環境及び／又は使用事例では、一次信号５１６、５２６は、二次信号８１６、８２６よりも高い品質の音声成分及び／又は音声対ノイズ比を提供し得る一方、他の音響環境では、二次信号８１６、８２６は、より高い品質の音声成分及び／又は音声対ノイズ比を提供し得る。
【0110】
強風状態では、ＭＶＤＲ応答信号が飽和する（例えば、大きさが大きい）場合があるが、遅延和応答信号は、風状態に、より適合する場合がある。風が弱い場合、遅延和応答信号は、ＭＶＤＲ応答信号よりも大きさが大きい場合がある。したがって、いくつかの実施例では、信号の大きさ（又は信号エネルギーレベル）の比較は、異なる形態のアレイ処理により提供される２つの信号の間で行われて、強風状態が存在するかどうかを判定し、かつ／又は、更なる処理のためにどの信号が好ましい音声成分を有し得るかを判定してもよい。
【0111】
引き続き図８Ａを参照すると、一次信号５１６、５２６（例えば、ＭＶＤＲのような第１のアレイ技法から形成される）のうちの１つ以上は、セレクタ８３６によって二次信号８１６、８２６（第２のアレイ技法、例えば、遅延和から形成される）のうちの一方又は他方と比較されてもよく、これは、一次又は二次信号（又は一次又は二次信号のブレンド又は混合物）のいずれかを判定して、混合器６０６に提供してもよく、かつ右側又は左側のいずれか又は両方に風状態が存在するかどうかを判定してもよく、そして風状態の判定を示すために風フラグ８４８を提供してもよい。セレクタ８３６によって混合器６０６に提供される右及び左信号は、図８Ａの参照番号８４６によって集合的に識別される。
【0112】
セレクタ８３６の少なくとも１つの例の更なる詳細は、図８Ｂを参照して示される。右信号を参照すると、右一次信号５１６（第１のアレイ処理技法によって右マイクロフォンアレイ５１０から形成される）を、比較ブロック８４０Ｒによって右二次信号８１６と比較して、どちらがより高い（及び／又は大きさの）信号エネルギーを有するかを判定してもよい。いくつかの実施例では、信号エネルギー比較は、強風状態を検出するために、比較ブロック８４０Ｒによって実施されてもよい。例えば、一次信号５１６がＭＶＤＲ技法によって提供され、二次信号８１６が遅延和技法によって提供される場合、いくつかの場合には、一次信号５１６は、風レベルがいくらかの閾値を超えたときに、二次信号８１６と比較して比較的高い信号レベルを有し得る。したがって、一次信号５１６（ＥＭＶＤＲ）の信号エネルギーは、二次信号８１６（ＥＰ）の信号エネルギーと比較されてもよい（いくつかの実施例では、遅延和技法は、圧力マイクロフォン信号と同様であると考えられる信号を提供し得る）。一次信号５１６のエネルギーが二次信号８１６のエネルギーの閾値を超える場合（例えば、ＥＭＶＤＲ＞Ｔｈ×ＥＰ、ここで、Ｔｈは閾値因子である）、比較ブロック８４０Ｒは、右側で強風状態を示してもよく、システムの他の構成要素に風フラグ８４８Ｒを提供してもよい。いくつかの実施例では、信号エネルギーの相対比較は、風状態がどの程度強く存在するかを示してもよく、例えば、比較ブロック８４０Ｒは、いくつかの場合には、複数の閾値を適用して、無風、弱風、平均風、強風などを検出してもよい。
【0113】
様々な実施例において、比較ブロック８４０Ｒはまた、一次若しくは二次信号５１６、８１６のいずれか、又は２つの混合が、更なる処理のために出力信号８４６Ｒとして混合器６０６に提供されるかを制御する。したがって、比較ブロック８４０Ｒは、出力信号８４６Ｒを提供するために、一次信号５１６及び二次信号８１６のどれだけが結合され得るかに関して、結合器８４４Ｒに影響を与える重み係数αを判定してもよい。例えば、一次信号５１６のエネルギーが二次信号に対して低い場合、このようなことは、風が存在しない（又は比較的軽い）ことを示してもよく、いくつかの実施例では、一次信号５１６が形成されるアレイ処理は、風が強くない状態においてより良好な性能を有すると考えることができ、したがって、重み係数は、１、α＝１に設定されて、結合器８４４Ｒに、出力信号８４６Ｒとして一次信号５１６を提供させ、かつ二次信号８１６を拒否させてもよい。強風状態が検出されたときに、いくつかの実施例では、風が強い状態が検出されたときに、重み係数をゼロ、α＝０に設定して、結合器８４４Ｒに、出力信号８４６Ｒとして二次信号８１６を提供させ、かつ一次信号５１６を拒否させてもよい。
【0114】
いくつかの実施例では、１つ以上の追加の閾値が比較ブロック８４０Ｒによって適用されてもよく、重み係数αを、０又は１の間のいくつかの中間値、０≦α≦１に設定してもよい。いくつかの実施例では、時定数又は他の平滑化動作を比較ブロック８４０Ｒによって適用して、信号エネルギーが閾値に近い（例えば、閾値を上回りかつ下回る）ときに、システムパラメータ（例えば、風フラグ８４８Ｒ、重み係数、α）の繰り返される切り替えを防ぐことができる。いくつかの実施例では、信号エネルギーが閾値を上回るとき、比較ブロック８４０Ｒは、最終的に新たな値に到達するために、重み係数αを徐々に調整して、出力信号８４６Ｒの急激な変化を防ぐことができる。いくつかの実施例では、結合器８４４Ｒによる混合は、他の混合パラメータによって制御されてもよい。いくつかの実施例では、セレクタ８３６は、受信したそれぞれの一次及び二次信号よりも大きい大きさの（例えば、増幅された）右及び左出力信号８４６を提供してもよい。
【0115】
より詳細に上で考察されるように、記載されるシステムのいずれかにおける処理は、サブ帯域によって分割されてもよい。したがって、様々な実施例では、セレクタ８３６は、サブ帯域によって一次及び二次信号を処理してもよい。いくつかの実施例では、比較ブロック８４０Ｒは、一次信号５１６をサブ帯域のサブセット内の二次信号８１６と比較してもよい。例えば、強風状態は、特定のサブ帯域、又はサブ帯域の範囲に（例えば、特に低周波数で）、より顕著に影響を及ぼす可能性があり、比較ブロック８４０Ｒは、それらのサブ帯域における信号エネルギーを比較し、他のサブ帯域では比較しなくてもよい。
【0116】
更に、異なるアレイ処理技法は、二次信号８１６に対して一次信号５１６に反映され得る異なる周波数応答を有してもよい。したがって、いくつかの実施例は、ＥＱ ８４２Ｒによって図８Ｂに示されるように、一次信号５１６及び／又は二次信号８１６のいずれか（又は両方）に等化を適用して、これらの信号を互いに等化してもよい。
【0117】
特定の実施例では、上で考察されるように、様々な閾値因子（サブ帯域によって分離される可能性がある）は、等化パラメータと連携して動作して、風が示され得る条件、並びに混合パラメータが選択及び適用され得る条件を確立してもよい。したがって、セレクタ８３６を用いて広範囲の動作の柔軟性を達成することができ、このようなパラメータの様々な選択及び／又はプログラミングにより、設計者が広範囲の動作条件に適合し、及び／又は変化するシステム基準及び／又は用途に適合することを可能にし得る。
【0118】
引き続き図８Ｂを参照すると、上で考察されるような右信号に関する様々な構成要素及び説明は、図示されるように、左信号を処理するための構成要素のセットに等しく適用してもよい。したがって、様々な実施例では、セレクタ８３６は、右出力信号８４６Ｒ及び左出力信号８４６Ｌを提供してもよい。いくつかの実施例では、比較ブロック８４０は、右側及び左側の両方に単一の重み係数α、又は他の混合パラメータを適用するように協働的に動作してもよい。他の実施例では、右及び左出力信号８４６は、それらのそれぞれの一次及び二次信号の、潜在的にいくつかの制限内で、異なる混合物を含んでもよい。
【0119】
特定の実施例では、一方又は他方の側でより一般的であると検出された風状態は、システム全体をモノラルモードに切り替えるように、例えば、音声出力信号５６２の提供のために弱風側で信号を処理するように構成されてもよい。
【0120】
先で考察されるように、風フラグ８４８は、例えば、風状態に応答して適応を中止し得る、適応フィルタ５４０（又は５４０ａ）に提供され、かつこれによって使用されてもよい。加えて、風フラグ８４８は、いくつかの実施例では、風状態に応答してＶＡＤ処理を変更し得る音声活動検出器に提供されてもよい。
【0121】
図９は、図７Ａのシステム７００のものと同様の多基準適応フィルタ５４０ａを含み、かつ図８Ａのシステム８００のものと同様のマルチビームプロセッサ６０２ａ及びセレクタ８３６を含む、例示的なシステム９００を示す。したがって、システム９００は、上で考察されるように、システム７００、８００と同様に動作し、それらの利点を提供する。
【0122】
図１０は、セレクタ８３６及び混合器６０６の動作が協働して、アレイ処理された信号の重み付けされた混合物を選択及び提供するように協働するため、したがっていくつかの実施例では、同様の「混合」目的及び／又は動作を有すると考えることができる、図９のものと同様であるが、単一の混合ブロック１０１０（例えば、マイクロフォン混合器）としてセレクタ８３６及び混合器６０６を示す、更なる例示的なシステム１０００を示す。
【0123】
いくつかの実施例では、ビームプロセッサ６０２、ヌルプロセッサ６０４、及び混合ブロック１０１０は、マイクロフォンアレイ５１０、５２０から信号を集合的に受信し、かつ一次信号及びノイズ基準信号をノイズキャンセラ（例えば、適応フィルタ５４０ａ）に提供し、かつ任意に、スペクトル増強に適用され得る１つ以上の風フラグ８４８、及び／又はノイズ推定信号を提供する、処理ブロック１０２０であると集合的にみなすことができる。
【0124】
上述の例示的なシステムによれば、風フラグ８４８は、風を検出するための様々な処理によって（例えば、いくつかの実施例では、セレクタ８３６の比較ブロック８４０によって）提供され、かつ音声活動検出器、適応フィルタ、及びスペクトル増強器などの様々な他のシステム構成要素に提供されてもよい。加えて、このような音声活動検出器は、適応フィルタ及びスペクトル増強器にＶＡＤフラグを更に提供してもよい。いくつかの実施例では、音声活動検出器はまた、適応フィルタ及びスペクトル増強器に過剰なノイズが存在するときを示し得る、ノイズフラグを提供してもよい。様々な実施例では、遠隔検出器によって、及び／又は遠隔端からのローカル検出器処理信号によって、遠端の音声活動フラグが提供されてもよく、遠端の音声活動フラグは、適応フィルタ及びスペクトル増強器に提供されてもよい。様々な実施例では、風、ノイズ、及び音声活動のフラグを適応フィルタとスペクトル増強器によって使用すること、それらの処理を変更すること、例えば、モノラル処理に切り替えること、フィルタ適応（複数可）を中止すること、等化を計算することなどを行ってもよい。
【0125】
様々な実施例では、バイノーラルシステム（例えば、例示的なシステム５００、６００、７００、８００、９００、１０００）は、１つ以上の右及び左マイクロフォン（例えば、右マイクロフォンアレイ５１０、左マイクロフォンアレイ５２０）からの信号を処理して、様々な一次、基準、音声推定、ノイズ推定信号などを提供する。左及び右処理の各々は、様々な実施例において独立して動作してもよく、様々な実施例は、それに応じて、並行に動作する２つのモノラルシステムとして動作してもよく、これらのいずれかは、いずれかの時点で動作を終了して、モノラル処理システムをもたらすように制御されてもよい。少なくとも１つの実施例では、モノラル動作は、混合器６０６が右側又は左側のいずれかに１００％の重みを付けることによって達成され得る（例えば、図６を参照して、結合器５４２、５４４は、それぞれの右信号のみ、又は左信号のみ受け入れる、又は通過させる）。他の実施例では、エネルギーを節約し、かつ／又は不安定性（例えば、イヤカップが頭部から除去されたときの、例えば、過度のフィードバック）を回避するために、側部のうちの１つ（右又は左）の更なる処理が終了される場合がある。
【0126】
モノラル動作に切り替えるための条件としては、片側での風の検出、片側でのより弱い風の検出、イヤピース又はイヤカップがユーザの頭部から除去されたことの検出（例えば、より詳細に後述されるようなオフヘッド検出）、片側での誤動作の検出、１つ以上のマイクロフォンの高ノイズの検出、不安定な伝達関数の検出、及び／又は１つ以上のマイクロフォン若しくは処理ブロックによるフィードバック、又は他の様々な条件のうちのいずれかを挙げることができるが、これらに限定されない。加えて、特定の実施例は、例えば、頭部の片側で使用するために、又はモノラル音声ピックアップ処理を有するモバイル、携帯型、例えば、若しくはパーソナルオーディオデバイスとして使用するために、設計によるモノラル処理のみを有し、又は本質的にモノラルのみであるシステムを含んでもよい。上記の実施例では、図中の「左」又は「右」構成要素のうちの１つを無視することによって、モノラル動作又はモノラルシステムの例を得てもよく、図又は説明は、別の方法で左及び右を含む。
【0127】
特定の実施例では、バイノーラルシステムは、ヘッドフォンセットの片側又は両側がユーザの耳又は頭部の付近から除去されたか、例えば、外されたの装着されたか（又はいくつかの場合には不適切に位置決めされた）どうか、を検出するためのオンヘッド／オフヘッド検出を含んでもよく、片側がオフヘッドである（例えば、除去され、又は不適切に配置されている）場合には、バイノーラルシステムは、モノラル動作に切り替わり得る（例えば、図３及び図４と同様に、任意に、異なるアレイ処理技法を比較するための、及び／若しくは単一のオンヘッド側の風を検出するためのセレクタ８３６を含み、かつ／又はモノラル動作と互換性のある様々な図の他の構成要素を含む）。オフヘッド又は不適切な配置状態の検出は、様々な技法を含み得る。例えば、物理的な検出としては、イヤピースが載置位置にあること（例えば、イヤホンが、磁石を介してシステムの一部であるネックウェアに「載置された」）、又はケースに格納されていること（例えば、左及び右イヤピースが、ワイヤレスに区別されている場合）を検出することを挙げることができる。他の物理的な検出としては、ユーザの頭部及び／又は載置位置との位置又は接触を感知するための機械的捕捉又は電気的接触によってトリガーされるスイッチ式感知を挙げることができる。いくつかの実施例では、イヤピース又はイヤカップの除去は、ノイズ低減（ＡＮＲ）システムの変動又は不安定性を引き起こす場合があり、これは、不安定性を示す振動又は音を検出することを含む様々な方法で検出され得る。更に、イヤピース又はイヤカップを除去すると、ドライバを内部マイクロフォン（例えば、フィードバックＡＮＲ）及び／又は外部マイクロフォン（例えば、フィードフォワードＡＮＲ）に連結する際の周波数応答が変化する場合がある。例えば、除去により、ドライバと外部マイクロフォンとの間の音響連結が増加し、ドライバと内部マイクロフォンとの間の音響連結が減少する場合がある。したがって、このような連結の変化を検出することは、イヤピース又はイヤカップが、装着された、若しくは外された、又は装着されている、若しくは外されていることを示し得る。いくつかの場合には、このような伝達関数の直接測定又は監視は困難であり得るため、いくつかの実施例では、フィードバックループの挙動の変化を観察することによって、伝達関数の変化を間接的に監視することができる。パーソナル音響デバイスの位置を検出する様々な方法は、容量感知、磁気感知、赤外線（infrared、ＩＲ）感知、又は他の技法を含んでもよい。いくつかの実施例では、両側、例えばヘッドフォンセット全体がオフヘッドであることを検出することによって、省電力モード及び／又はシステムシャットダウン（任意に、遅延タイマーを使用）がトリガーされてもよい。
【0128】
１つ以上のオフヘッド検出システムの更なる態様は、「ＯＮ／ＯＦＦ ＨＥＡＤ ＤＥＴＥＣＴＩＯＮ ＯＦ ＰＥＲＳＯＮＡＬ ＡＣＯＵＳＴＩＣ ＤＥＶＩＣＥ」と題された、米国特許第９，８６０，６２６号、「ＰＥＲＳＯＮＡＬ ＡＣＯＵＳＴＩＣ ＤＥＶＩＣＥ ＰＯＳＩＴＩＯＮ ＤＥＴＥＲＭＩＮＡＴＩＯＮ」と各々題された、同第８，２３８，５６７号、同第８，６９９，７１９号、同第８，２４３，９４６号、及び同第８，２３８，５７０号、並びに「ＯＦＦ－ＨＥＡＤ ＤＥＴＥＣＴＩＯＮ ＯＦ ＩＮ－ＥＡＲ ＨＥＡＤＳＥＴ」と題された、米国特許第９，８９４，４５２号に見出すことができる。
【0129】
特定の実施例は、適応フィルタ５４０、５４０ａによって提供されるノイズキャンセル（例えば、低減）に加えて、エコーキャンセルを含んでもよい。音響ドライバとマイクロフォンのいずれかとの間の連結に起因して、エコー成分が１つ以上のマイクロフォン信号に含まれてもよい。１つ以上の再生信号は、オーディオプログラムの再生のための、及び／又は遠端の話し相手の会話を聞くためなどの１つ以上の音響ドライバに提供されてもよく、再生信号の成分は、例えば、音響又は直接連結によってマイクロフォン信号に注入されてもよく、かつエコー成分と呼ばれてもよい。したがって、このようなエコー成分の低減は、例えば、適応フィルタ５４０、５４０ａ（例えば、ノイズキャンセラ）による処理の前又は後に、本明細書に記載される様々なシステム内の信号上で動作し得るエコーキャンセラによって提供されてもよい。いくつかの実施例では、第１のエコーキャンセラは右信号で動作してもよく、第２のエコーキャンセラは左信号で動作してもよい。いくつかの実施例では、１つ以上のエコーキャンセラは、エコー基準信号として再生信号を受信してもよく、推定エコー信号を生成するためにエコー基準信号を適応的にフィルタリングしてもよく、かつ推定エコー信号を一次及び／又は音声推定信号から減算してもよい。いくつかの実施例では、１つ以上のエコーキャンセラは、エコー基準信号を事前にフィルタリングして、第１の推定エコー信号を提供し、次いで、第１の推定エコー信号を適応的にフィルタリングして、最終推定エコー信号を提供してもよい。このような事前フィルタは、音響ドライバと１つ以上のマイクロフォン、又はマイクロフォンのアレイとの間の公称伝達関数をモデル化し得、このような適応フィルタは、公称伝達関数のそれらからの実際の伝達関数の変動に適合し得る。いくつかの実施例では、公称伝達関数の事前フィルタリングは、事前構成されたフィルタ係数を適応フィルタにロードすることを含んでもよく、事前構成されたフィルタ係数は公称伝達関数を表す。本明細書に記載されたバイノーラルノイズ低減システムへの統合を伴うエコーキャンセルの更なる詳細は、本明細書と同日に出願された「ＥＣＨＯ ＣＯＮＴＲＯＬ ＩＮ ＢＩＮＡＵＲＡＬ ＡＤＡＰＴＩＶＥ ＮＯＩＳＥ ＣＡＮＣＥＬＬＡＴＩＯＮ ＳＹＳＴＥＭＳ ＩＮ ＨＥＡＤＳＥＴＳ」と題された、米国特許出願第１５／９２５，１０２号を参照して得ることができ、その全体が参照により本明細書に組み込まれる。
【0130】
特定の実施例としては、エネルギー消費を低減し、かつ／又は電池などのエネルギー源の寿命を延長するための低電力又はスタンバイモードを挙げることができる。例えば、上で考察されるように、ユーザは、ボタン（例えば、プッシュツートーク（Push-to-Talk、ＰＴＴ））、又は会話前のウェイクアップコマンドを言う必要があり得る。このような場合、例示的なシステムは、ボタンが押される、又はウェイクアップコマンドが受信されるまで、無効、スタンバイ、又は低電力状態のままであってもよい。システムが、増強された音声（例えば、ボタン押圧又はウェイクアップコマンド）を提供することが必要とあれるという指標を受信すると、例示的なシステムの様々な構成要素は、電源投入されるか、オンにされるか、又は別の方法で起動されてもよい。また先で考察されるように、背景ノイズ（例えば、ユーザの声なし）に基づいて適応フィルタの重み及び／若しくはフィルタ係数を確立するために、並びに／又は、様々な因子、例えば、右側若しくは左側からの風若しくは高ノイズに基づいて、例えば、重み付け計算機５７０又は混合器６０６、８３６、１０１０によってバイノーラル重み付けを確立するために、短時間の一時停止が実施されてもよい。追加の例としては、簡単に上で考察されるように、音声活動検出モジュールなどを用いて音声活動が検出されるまで、無効、スタンバイ、又は低電力状態のままである様々な構成要素が挙げられる。
【0131】
上述のシステム及び方法のうちの１つ以上は、様々な実施例及び組み合わせにおいて、ヘッドフォンユーザの音声を捕捉し、背景ノイズ、エコー、及び他の会話者に対してユーザの音声を分離又は増強するために使用され得る。上述のシステム及び方法のいずれか、並びにその変形形態は、例えば、マイクロフォン品質、マイクロフォン配置、音響ポート、ヘッドフォンフレーム設計、閾値、適応、スペクトル、及び他のアルゴリズムの選択、重み係数、窓サイズなど、並びに様々なアプリケーション及び動作パラメータに適合し得る他の基準に基づいて、様々なレベルの信頼性で実装され得る。
【0132】
本明細書に開示されるシステムの方法及び構成要素の機能のいずれも、デジタル信号プロセッサ（digital signal processor、ＤＳＰ）、マイクロプロセッサ、論理コントローラ、論理回路など、又はこれらの任意の組み合わせで実装又は実行されてもよく、かつ任意の特定の実装に関して、アナログ回路構成要素及び／又は他の構成要素を含んでもよいことを理解されたい。ファームウェアなどを含む任意の好適なハードウェア及び／又はソフトウェアは、本明細書に開示された態様及び実施例の構成要素を実行又は実装するように構成されてもよい。
【0133】
少なくとも１つの実施例に関するいくつかの態様について述べてきたが、当業者であれば、様々な変更、修正、並びに、改良が容易に思い付くことは、理解されているであろう。こうした変更、修正、及び改善は、本開示の一部であり、本発明の範囲内であることが意図される。したがって、前述の説明及び図面は、例に過ぎず、本発明の範囲は、添付の特許請求の範囲の適切な構成、並びに、その等価物から判定されるはずである。
【符号の説明】
【0134】
１００ ヘッドフォン
１０２ 右イヤカップ
１０４ 左イヤカップ
１０６ ヘッドバンド
１０８ 右ヨークアセンブリ
１１０ 左ヨークアセンブリ
１１２ 右円形クッション
１１４ 左円形クッション
２０２ マイクロフォン
２０４ 前縁
２０６ マイクロフォン
２０８ 後縁
３００ 信号処理システム
３０２ マイクロフォン
３０４ 信号
３０６ アレイプロセッサ
３０８ アレイプロセッサ
３１２ 基準信号
３１４ 適応フィルタ
３１６ 音声推定信号
４００ 信号処理システム
４０２ ノイズ推定信号
４０４ スペクトル増強器
４０６ 出力信号
５００ 信号処理システム
５１０ 右マイクロフォンアレイ
５１２ 右ビームプロセッサ
５１４ 右ヌルプロセッサ
５１６ 右一次信号
５１８ 右基準信号
５２０ 左マイクロフォンアレイ
５２２ 左ビームプロセッサ
５２４ 左ヌルプロセッサ
５２６ 左一次信号
５２８ 左基準信号
５３０ 若しくはサブ帯域フィルタ
５３０ サブ帯域フィルタ
５４０ 適応フィルタ
５４２ 結合器
５４４ 結合器
５４６ 結合された一次信号
５４８ 結合された基準信号
５５０ スペクトル増強器
５５６ 音声推定信号
５５８ ノイズ推定信号
５６０ サブ帯域合成器
５６２ 音声出力信号
５７０ 重み付け計算機
６００ システム
６０２ ビームプロセッサ
６０４ ヌルプロセッサ
６０６ 混合器
７００ システム
７０２ 等化ブロック
７１０ フィルタ
７２０ フィルタ
７３０ 結合器
７３２ ノイズ推定信号
８００ システム
８１６ 二次信号
８２６ 二次信号
８３６ セレクタ
８４０ 比較ブロック
８４４ 結合器
８４６ 更なる処理のために出力信号
８４６ 出力信号
８４８ 風フラグ
９００ システム
１０００ システム
１０１０ 混合器
１０２０ 処理ブロック
１０２ 右イヤカップ
１０４ 左イヤカップ
１０６ ヘッドバンド
１０８ 右ヨークアセンブリ
１１０ 左ヨークアセンブリ
１１２ 右円形クッション
１１４ 左円形クッション
２０２ マイクロフォン
２０４ 前縁
２０６ マイクロフォン
２０８ 後縁
３００ 信号処理システム
３０２ マイクロフォン
３０４ 信号
３０６ アレイプロセッサ
３０８ アレイプロセッサ
３１２ 基準信号
３１４ 適応フィルタ
３１６ 音声推定信号
４００ 信号処理システム
４０２ ノイズ推定信号
４０４ スペクトル増強器
４０６ 出力信号
５００ 信号処理システム
５１０ 右マイクロフォンアレイ
５１２ 右ビームプロセッサ
５１４ 右ヌルプロセッサ
５１６ 右一次信号
５１８ 右基準信号
５２０ 左マイクロフォンアレイ
５２２ 左ビームプロセッサ
５２４ 左ヌルプロセッサ
５２６ 左一次信号
５２８ 左基準信号
５３０ 若しくはサブ帯域フィルタ
５３０ サブ帯域フィルタ
５４０ 適応フィルタ
５４２ 結合器
５４４ 結合器
５４６ 結合された一次信号
５４８ 結合された基準信号
５５０ スペクトル増強器
５５６ 音声推定信号
５５８ ノイズ推定信号
５６０ サブ帯域合成器
５６２ 音声出力信号
５７０ 重み付け計算機
６００ システム
６０２ ビームプロセッサ
６０４ ヌルプロセッサ
６０６ 混合器
７００ システム
７０２ 等化ブロック
７１０ フィルタ
７２０ フィルタ
７３０ 結合器
７３２ ノイズ推定信号
８００ システム
８１６ 二次信号
８２６ 二次信号
８３６ セレクタ
８４０ 比較ブロック
８４４ 結合器
８４６ 更なる処理のために出力信号
８４６ 出力信号
８４８ 風フラグ
９００ システム
１０００ システム
１０１０ 混合器
１０２０ 処理ブロック
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8A】
【図8B】
【図9】
【図10】