(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-01
(45)【発行日】2022-09-09
(54)【発明の名称】複数のマイクロホンを使用する音声感知
(51)【国際特許分類】
H04R 3/00 20060101AFI20220902BHJP
H04R 1/10 20060101ALI20220902BHJP
G10K 11/178 20060101ALI20220902BHJP
【ＦＩ】
H04R3/00 320
H04R1/10 101Z
G10K11/178 120
【請求項の数】
10
【外国語出願】
(21)【出願番号】P 2020037884
(22)【出願日】2020-03-05
(62)【分割の表示】P 2017548137の分割
【原出願日】2016-03-07
(65)【公開番号】P2020102867
(43)【公開日】2020-07-02
【審査請求日】2020-04-02
(31)【優先権主張番号】14/657,604
(32)【優先日】2015-03-13
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】591009509
【氏名又は名称】ボーズ・コーポレーション
【氏名又は名称原語表記】ＢＯＳＥ ＣＯＲＰＯＲＡＴＩＯＮ
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】ダニエル・エム・ゴウジャー
(72)【発明者】
【氏名】ヤーン・ドミトリ・アイクフェルド
(72)【発明者】
【氏名】ステファン・アッシュ・イザベル
(72)【発明者】
【氏名】ジョン・アレン・ルール
【審査官】冨澤 直樹
(56)【参考文献】
【文献】特開２０１３－１２１１０５（ＪＰ，Ａ）
【文献】特開２０１３－１０２３７０（ＪＰ，Ａ）
【文献】特開２０１３－１２１１０６（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１４／０２７０２３１（ＵＳ，Ａ１）
【文献】特開２０１２－２３１４６８（ＪＰ，Ａ）
【文献】特開平０８－０７９８７３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｒ ３／００
Ｈ０４Ｒ １／１０
Ｇ１０Ｋ １１／１７８
(57)【特許請求の範囲】
【請求項1】
雑音消去ヘッドホンであって、第1のフィードフォワードマイクロホンと、
第2のフィードフォワードマイクロホンと、
第1のフィードバックマイクロホンと、
第2のフィードバックマイクロホンと、
前記第1のフィードフォワードマイクロホンから第1のフィードフォワード補償フィルタを介して第1のフィードフォワード耐雑音信号を受け取るとともに前記第1のフィードバックマイクロホンから第1のフィードバック補償フィルタを介して第1のフィードバック耐雑音信号を受け取るように構成された第1の出力ドライバと、
前記第2のフィードフォワードマイクロホンから第2のフィードフォワード補償フィルタを介して第2のフィードフォワード耐雑音信号を受け取るとともに前記第2のフィードバックマイクロホンから第2のフィードバック補償フィルタを介して第2のフィードバック耐雑音信号を受け取るように構成された第2の出力ドライバと、を備え、
前記ヘッドホンのユーザの音声信号は、前記第1のフィードバックマイクロホン、前記第2のフィードバックマイクロホン、前記第1のフィードフォワードマイクロホン、および前記第2のフィードフォワードマイクロホンからの入力を使用して生成され、
前記ヘッドホンのユーザの音声信号は、前記第1のフィードバックマイクロホンおよび前記第2のフィードバックマイクロホンからの入力を組み合わせ、次いで等化することによって、かつ前記第1のフィードフォワードマイクロホンおよび前記第2のフィードフォワードマイクロホンからの入力を組み合わせ、次いで等化することによって生成される、雑音消去ヘッドホン。
【請求項2】
前記ヘッドホンのユーザの音声信号は、追加の外部マイクロホンからの入力をさらに使用することによって生成される、請求項1に記載のヘッドホン。
【請求項3】
前記第1および第2のフィードフォワードマイクロホンからの入力および前記追加の外部マイクロホンからの入力は、関係する信号対雑音比および/または関係する音声対雑音比を改善するためにアレイ処理を使用して組み合わされる、請求項2に記載のヘッドホン。
【請求項4】
前記ヘッドホンのユーザの音声信号は、1つまたは複数の加速度計からの入力をさらに使用することによって生成される、請求項1に記載のヘッドホン。
【請求項5】
前記ヘッドホンのユーザの音声信号は、前記第1のフィードバックマイクロホン、前記第2のフィードバックマイクロホン、前記第1のフィードフォワードマイクロホン、および前記第2のフィードフォワードマイクロホンにおける相対レベルを動的に使用して、あるタイプの言語音を前記ユーザが作っているときを検出することによって生成される、請求項1に記載のヘッドホン。
【請求項6】
第1のフィードフォワードマイクロホン、第2のフィードフォワードマイクロホン、第1のフィードバックマイクロホン、および第2のフィードバックマイクロホンを含む雑音消去ヘッドホンの作動方法であって、第1の出力ドライバにおいて、前記第1のフィードフォワードマイクロホンから第1のフィードフォワード補償フィルタを介して第1のフィードフォワード耐雑音信号を受け取るとともに前記第1のフィードバックマイクロホンから第1のフィードバック補償フィルタを介して第1のフィードバック耐雑音信号を受け取るステップと、
第2の出力ドライバにおいて、前記第2のフィードフォワードマイクロホンから第2のフィードフォワード補償フィルタを介して第2のフィードフォワード耐雑音信号を受け取るとともに前記第2のフィードバックマイクロホンから第2のフィードバック補償フィルタを介して第2のフィードバック耐雑音信号を受け取るステップと、
前記第1のフィードバックマイクロホン、前記第2のフィードバックマイクロホン、前記第1のフィードフォワードマイクロホン、および前記第2のフィードフォワードマイクロホンからの入力を使用して前記ヘッドホンのユーザの音声信号を生成するステップと、を備え、
前記ヘッドホンのユーザの音声信号を生成するステップは、前記第1のフィードバックマイクロホンおよび前記第2のフィードバックマイクロホンからの入力を組み合わせ、次いで等化し、前記第1のフィードフォワードマイクロホンおよび前記第2のフィードフォワードマイクロホンからの入力を組み合わせ、次いで等化するステップを含む、方法。
【請求項7】
前記ヘッドホンのユーザの音声信号を生成するステップは、追加の外部マイクロホンからの入力を使用するステップをさらに含む、請求項6に記載の方法。
【請求項8】
前記第1および第2のフィードフォワードマイクロホンからの入力および前記追加の外部マイクロホンからの入力は、関係する信号対雑音比および/または関係する音声対雑音比を改善するためにアレイ処理を使用して組み合わされる、請求項7に記載の方法。
【請求項9】
前記ヘッドホンのユーザの音声信号を生成するステップは、1つまたは複数の加速度計からの入力をさらに含む、請求項6に記載の方法。
【請求項10】
前記ヘッドホンのユーザの音声信号を生成するステップは、前記第1のフィードバックマイクロホン、前記第2のフィードバックマイクロホン、前記第1のフィードフォワードマイクロホン、および前記第2のフィードフォワードマイクロホンにおける相対レベルを動的に使用して、あるタイプの言語音を前記ユーザが作っているときを検出するステップを含む、請求項6に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は音声感知に関し、特に、システムのユーザの音声を検出するために能動雑音低減システムのマイクロホンを使用することに関する。
【背景技術】
【0002】
参照により本明細書に組み込まれている、Annunziatoらによる米国特許第8,682,001号では、フィードバックベースの能動雑音低減(ANR:active noise reduction)を提供するために音響システムの内側に1つと、フィードフォワードベースのANRを提供するために音響システムの外側に1つの、各小型イヤホンに2つのマイクロホンを含むインイヤ式ANRヘッドセットが説明されている。その特許出願を具現化した商品においては、第5のマイクロホンであるBose(登録商標) QC(登録商標) 20 Acoustic Noise Cancelling(登録商標)ヘッドホンが、通信用途に使用するためのユーザの音声を捉えるためにヘッドホンケーブルのケーブルジョイントハウジング内に提供された。他のインイヤ式ヘッドホン製品は、多くのオンイヤおよびアラウンドイヤヘッドホンが通信マイクロホンを含むように、小型イヤホン内よりもヘッドホンケーブル内のどこかに通信マイクロホンも含む傾向がある。
【0003】
ヘッドホンのユーザの音声を検出することは、少なくとも2つの理由で有用である。第一に、それは通信相手に送信するために近端音声を提供する。第二に、ヘッドホン、特にANRヘッドホンは、ユーザが話しているときの自分自身の音声がどのように聞こえるかを歪ませる傾向があり、それをわれわれは自己音声と称する。われわれが側音と称する、ヘッドホン内のユーザ自身の音声を再生すると、ユーザは自分の音声を聞くことが可能になり、それを電子通信相手とのまたは対面でのいずれかで会話をするために適正に変調することが可能になる。正確な側音を提供するには、良好な音声検出が必要である。
【発明の概要】
【発明が解決しようとする課題】
【0004】
ANRヘッドセットを着用した雑音の多い環境において電話通信または無線通信を可能にするために、雑音除去に優れたマイクロホンが必要とされる。マイクロホンの雑音除去は、明瞭度および快適さを提供し、側音なしで存在するよりも顕著に多くの環境雑音を導入することなく側音を介して自然な自己音声をユーザに提供するために、通信相手に十分に高いSNRを可能にするくらいに十分であるべきである。この標準的な解決策は、実用的である限り唇に近接して位置決めされた、双極子または他の勾配マイクロホンをブーム上で使用することである。しかし、着用するのが快適なインイヤ式ヘッドセットの場合、そのようなブームをつるすことは難題である。本発明は、ブームを必要とせずに、良好な音声ピックアップを提供する。適用例には、航空機用のヘッドセット、騒々しい大集団内の携帯電話通信、産業用通信ヘッドセットおよび戦術的な軍用ヘッドセットが含まれる。これらの適用例において、音声は、完全な忠実性が期待されないので、完全に自然な音を出す必要はない。
【課題を解決するための手段】
【0005】
概して、一態様において、インイヤ式雑音消去ヘッドセットが、第1のイヤピースと第2のイヤピースとを含み、各イヤピースは、それぞれのフィードバックマイクロホンと、それぞれのフィードフォワードマイクロホンと、それぞれの出力ドライバとを含む。第1のフィードバックフィルタが、少なくとも第1のフィードバックマイクロホンから入力を受け取り、第1のフィルタリングされたフィードバック信号を生成する。第1のフィードフォワードフィルタが、少なくとも第1のフィードフォワードマイクロホンから入力を受け取り、第1のフィルタリングされたフィードフォワード信号を生成する。第1の加算器が、第1のフィルタリングされたフィードバック信号と、第1のフィルタリングされたフィードフォワード信号とを組み合わせ、第1の出力信号を生成する。出力インターフェースが、第1の出力信号をヘッドセットからの出力として提供する。
【0006】
実装形態は、以下のうちの1つまたは複数を任意の組合せで含むことができる。第2のフィードバックフィルタが、第2のフィードバックマイクロホンから入力を受け取り、第2のフィルタリングされたフィードバック信号を生成することができる。第1の加算器は、第1のフィルタリングされたフィードバック信号を第2のフィルタリングされたフィードバック信号と組み合わせる。第2のフィードフォワードフィルタが、第2のフィードフォワードマイクロホンから入力を受け取り、第2のフィルタリングされたフィードフォワード信号を生成することができる。第1の加算器は、第1のフィルタリングされたフィードフォワード信号を第2のフィルタリングされたフィードフォワード信号と組み合わせる。第2の加算器が、第1のフィードバックマイクロホン入力と、第2のフィードバックマイクロホン入力とを組み合わせ、合計されたフィードバックマイクロホン信号を第1のフィードバックフィルタに提供することができる。第2の加算器が、第1のフィードフォワードマイクロホン入力と、第2のフィードフォワードマイクロホン入力とを組み合わせ、合計されたフィードフォワードマイクロホン信号を第1のフィードフォワードフィルタに提供することができる。第2のフィードバックフィルタが、第2のフィードバックマイクロホンから入力を受け取り、第2のフィルタリングされたフィードバック信号を生成することができるが、その一方で、第2のフィードフォワードフィルタが、第2のフィードフォワードマイクロホンから入力を受け取り、第2のフィルタリングされたフィードフォワード信号を生成する。第2の加算器が、第2のフィルタリングされたフィードバック信号を第2のフィルタリングされたフィードフォワード信号と組み合わせて、第2の出力信号を生成する。
【0007】
少なくとも第1のイヤピースは、追加の外部マイクロホンを含むことができ、第1のフィードフォワードフィルタは、第1または第2のフィードフォワードマイクロホンおよび追加の外部マイクロホンから入力を受け取るフィードフォワードアレイ処理フィルタを含むことができ、アレイフィルタリングされた信号を生成することができる。第1の加算器は、出力信号を生成するためにアレイフィルタリングされた信号を少なくとも第1のフィードバックフィルタリングされた信号と組み合わせる。ジョイントハウジングをイヤピースから通じるコードに接続することができ、ジョイントハウジングは、マイクロホンのアレイを含み、アレイ処理フィルタが、マイクロホンのアレイならびに第1および第2のフィードフォワードマイクロホンから入力を受け取ることができ、アレイフィルタリングされた信号を生成することができる。第1の加算器は、アレイフィルタリングされた信号を少なくとも第1のフィードバックフィルタリングされた信号と組み合わせて、出力信号を生成する。
【0008】
第2の加算器が、第1のフィードバックマイクロホン入力と、第2のフィードバックマイクロホン入力とを組み合わせ、合計されたフィードバックマイクロホン信号を比較器に提供することができるが、その一方で、第3の加算器が、第1のフィードフォワードマイクロホン入力と、第2のフィードフォワードマイクロホン入力とを組み合わせ、合計されたフィードフォワードマイクロホン信号を比較器に提供し、比較器の出力が、合計されたフィードバックマイクロホン信号と合計されたフィードフォワードマイクロホン信号との比較に基づいて第1のフィードバックフィルタおよび第1のフィードフォワードフィルタの動作を制御する。合計されたフィードバックマイクロホン信号が、500Hzを超える合計されたフィードフォワードマイクロホン信号よりも少ない信号内容を有することを比較が示すとき、比較器の出力が、第1のフィードバックフィルタの動作を停止させることができる。合計されたフィードバックマイクロホン信号が、150Hzから500Hzの間の合計されたフィードフォワードマイクロホン信号よりも多い信号内容を有することを比較が示すとき、比較器の出力が、第1のフィードフォワードフィルタの動作を停止させることができる。
【0009】
概して、一態様において、インイヤ式雑音消去ヘッドセットが、フィードバックマイクロホンと出力ドライバとを含むイヤピースを含む。フィードバックループが、フィードバックマイクロホンから第1の信号を受け取り、第1の信号に基づいて耐雑音信号を出力ドライバに提供する。フィードバックループは、第1の信号を受け取り、耐雑音信号を生成するフィードバック補償フィルタを含む。ヘッドセットの着用者によって生成された声音が閉塞された外耳道内で増幅される傾向がある周波数において、フィードバック補償フィルタは、それ以外に声音を消去することなくそのような増幅に対抗するように選択されたレベルで耐雑音を生成する。出力インターフェースが、少なくとも第1の信号をヘッドセットから出力された音声通信信号として提供する。
【0010】
実装形態は、以下のうちの1つまたは複数を任意の組合せで含むことができる。フィードフォワードマイクロホンを、イヤピースの外側の空間に結合することができ、フィードフォワードループが、フィードフォワードマイクロホンから第2の信号を受け取り、第2の信号に基づいて第2の耐雑音信号をフィードフォワード補償フィルタを介して出力ドライバに提供し、音声回路が、第1の信号と第2の信号とを受け取り、フィルタを第2の信号に適用し、フィルタリングされた第2の信号を第1の信号と組み合わせて、音声通信信号を発生させる。フィードフォワードマイクロホンを、イヤピースの外側の空間に結合することができ、フィードフォワードマイクロホンとは別個の音声マイクロホンを、やはりイヤピースの外側の空間に結合することができ、フィードフォワードループが、フィードフォワードマイクロホンから第2の信号を受け取り、第2の信号に基づいて第2の耐雑音信号をフィードフォワード補償フィルタを介して出力ドライバに提供するが、その一方で、音声回路が、第1の信号と第3の信号とを音声マイクロホンから受け取り、フィルタを第3の信号に適用し、フィルタリングされた第3の信号を第1の信号と組み合わせて、音声通信信号を発生させる。第1および第2のフィードフォワードマイクロホンは、イヤピースの外側の空間に結合することができ、フィードフォワードループが、第1のフィードフォワードマイクロホンからの第2の信号と、第2のフィードフォワードマイクロホンからの第3の信号との合計を受け取り、合計に基づいて第2の耐雑音信号をフィードフォワード補償フィルタを介して出力ドライバに提供するが、その一方で、音声回路が、第2の信号と第3の信号との差を受け取り、フィルタを差に適用し、フィルタリングされた差信号を第1の信号と組み合わせて、音声通信信号を発生させる。
【0011】
利点には、ユーザの音声を検出すること、ならびにそれを同じユーザまたは通信相手に、追加の音声マイクロホンを使用せずに、より明確で明瞭なやり方で、および専用の音声マイクロホンを使用する従来の解決策よりも優れた明瞭度で提供することが含まれる。
【0012】
上述のすべての例および特徴は、任意の技術的に可能なやり方で組み合わせることができる。他の特徴および利点は、説明および特許請求の範囲から明らかであろう。
【図面の簡単な説明】
【0013】
【図1A】インイヤ式能動雑音低減ヘッドホンおよび着用者の頭部の一部分の断面図である。
【図1B】インイヤ式能動雑音低減ヘッドホンの組の外観斜視図である。
【図2】人が話したとき音が耳までにとる異なる経路の概略図である。
【図3】ヘッドホン内の信号の流れの構成図である。
【図4】ヘッドホン内の信号の流れの構成図である。
【図5】ヘッドホン内の信号の流れの構成図である。
【図6】ヘッドホン内の信号の流れの構成図である。
【図7】ヘッドホン内の信号の流れの構成図である。
【図8】ヘッドホン内の信号の流れの構成図である。
【図9】ヘッドホン内の信号の流れの構成図である。
【図10】ヘッドホン内の信号の流れの構成図である。
【図11】ヘッドホン内の信号の流れの構成図である。
【発明を実施するための形態】
【0014】
図1Aに示すように、能動雑音低減(ANR)ヘッドホン100が、各小型イヤホン102に取り付けられた2つのマイクロホンを含む。フィードバックマイクロホン104が、小型イヤホン102の音響構造106の内側に配置され、ユーザの外耳道108の内側の音圧、すなわち、ユーザに聞こえる音に非常に類似した、音響構造の内側の音圧を検出する。フィードフォワードマイクロホン110が、小型イヤホンの音響構造の外側に配置され、耳に達する音圧をそれが小型イヤホンの機械構造中を通過する前に検出する。フィードフォワードマイクロホンは、フィルタリングされた雑音消去信号を出力変換器112に提供するためにフィードフォワード雑音消去経路内に使用される。変換器112によって出力された信号は、外耳道に入る音を消去する。フィードバックマイクロホンは、外側から空気経路を通るのではなく頭部の内側から外耳道に入る音を含めて、フィードフォワード消去後に依然として存在する、外耳道内の音を検出し消去するためにフィードバックループ内に使用される。いくつかの例において、フィードフォワード消去経路またはフィードバック消去経路のうちの一方だけが提供される。
【0015】
図1Bに示される商用実装形態など、典型的な商用実装形態において、2つのそろいの小型イヤホン102aおよび102bが提供され、それぞれ、それらに内蔵された、それぞれのフィードバックマイクロホンおよびフィードフォワードマイクロホンと出力変換器とを有する。2つの小型イヤホンは、コード120aおよび120bを介してモジュール122に接続される。モジュール122は、ヘッドホン、および接続されたデバイスとの通話または他の音声対話をする際に使用するための追加のマイクロホン126を制御するためにボタン124を設けることができる。場合によっては、マイクロホン126は、音声通信と雑音低減との異なる性能要件により、小型イヤホンにANRを提供するのに使用されるマイクロホン104および110と異なるタイプである。図1Bの例において、モジュール122は、ヘッドホンのジョイントハウジングとしても働き、単一のコード128が、信号処理回路または音源回路(図示せず)などの外部デバイスに接続するために出ている。他の例において、ボタンとマイクロホンとを有するモジュール122は、ジョイントハウジングと別個であることができ、しばしば、2つのコード120aまたは120bのうちの一方に沿って、または単一のコード128のずっと先に配置される。いくつかの例において、外部通信用無線インターフェースを含めて、処理回路のすべては、小型イヤホンまたはモジュール122に内蔵され、外部デバイスへのコード128は省略され、ジョイントハウジングを有する主な理由がなくなる。オンイヤまたはアラウンドイヤヘッドホンが、同じ構成要素を有するが、それらのイヤピースが構成要素に対してより多くのスペースを有するので一般により広々と配列される。ただし、外耳道にそれほど密封をもたらさないこともある。
【0016】
多くの場合において、ジョイントハウジングもコードの一方に沿った位置も良質の音声信号を捉えるための理想的な配置を実現しない。この理由には、口からの距離、およびその距離の変動性、口に対する話者の向き、およびその変動性、ならびにマイクロホンが衣類によって塞がれることがある可能性が含まれる。いくつかの例において、コードは頭部の背面に経路設定され、単純に小型イヤホン自体よりも口に近接しない。
【0017】
マイクロホン126をモジュール122内に使用する代わりに、ユーザの音声は、フィードバックマイクロホンおよびフィードフォワードマイクロホンからの信号内で識別することができる。フィードバックマイクロホンも、フィードフォワードマイクロホンもそれら自体で高品質の音声通信信号を提供しないが、ユーザの音声を正確に表す単一の信号を作り出すために別個のマイクロホン信号をフィルタリングし、組み合わせることができる。
【0018】
人が話したとき、その人には自分自身の音声が空気および自分自身の頭部の両方を通して聞こえる。閉塞するイヤホンは、ユーザの口からのより高い周波数の音が空気経路を通ってユーザの耳に達するのを妨害するが、その一方で、閉塞効果によりユーザの頭部を通過する低い周波数の音の増加を生じる。その結果、図2に例示するように、異なる言語音は、それらの生成の場所からANRマイクロホンの位置に異なって結合する。有声音(咽頭210を通して空気を動かすことによって生成された音)は、矢印202で示されるように、頭部を通って閉塞するイヤホンの内側のフィードバックマイクロホンにうまく結合する。無声音とも呼ばれる摩擦音(唇および歯を通り越して空気を動かすことによって生成された音、矢印204)、および口212から出る他の音は、フィードバックマイクロホンとうまく結合しない。
【0019】
フィードフォワードマイクロホンは、空気経路を通って両方のタイプの言語音にさらされるが、矢印204および206参照、通信ヘッドホンとしてそれら自体で有用であるほどの十分な感度でそのような音を検出するのに一般にうまく位置決めされていない。しかし、フィードフォワードマイクロホンは、フィードバックマイクロホンとのギャップを埋めるのに使用することができ、かなり明瞭な音声信号の再構築が可能になる。
【0020】
図1A、図1B、および図2に示すBose(登録商標) CorporationのQuietComfort(登録商標) 20 Acoustic Noise Canceling(登録商標)ヘッドホンなどのフィードバック/フィードフォワード雑音消去ヘッドホンの組は、上記のように、合計4つの利用可能なマイクロホンを有する。図2に示すように、これらのヘッドホンは、参照により本明細書に組み込まれている、Monahanらによる米国特許第8,737,669号に説明されているように、外耳道108の入口をただ密封するように設計されたイヤチップ114を有する。外耳道の入口を密封すると、およびより深くではないと、外耳道内の体導声音202のレベルを最大にする効果を有し、その場合、フィードバックマイクロホンは、それらを小型イヤホンの前部空洞を介して検出することができる。
【0021】
フィードバックマイクロホン信号とフィードフォワードマイクロホン信号とは、改善された音声信号を発生させるために、いくつかのやり方で組み合わせることができる。
【0022】
一例において、図3に示すように、4つのマイクロホン信号は、音声出力信号を発生させるために、それぞれ、線形的に等化され、次いで互いに混合される。次いで、音声出力信号は、追加の処理要素、図示せず、に提供され、または有線もしくは無線インターフェース、図示せず、を経てヘッドセットから出力される。別個の等化302、304、306、308を、4つの信号のそれぞれに適用することができ、等化された信号は合計される310。他のフィルタが、フィードバックベースおよびフィードフォワードベースの雑音消去、図示せず、を実装するのに使用される。他の例において、図4に示すように、2つのフィードバックマイクロホン信号および2つのフィードフォワード信号は、それぞれ、組み合わせて312、314から等化316、318が、信号が本質的に両側で同じであるとの仮定の下に適用されるが、その一方で、両側からの信号を使用することにより、信号対雑音比が3dBだけ改善される。合計された信号を等化することにより、回路内の資源を節約することができる。
【0023】
いくつかの例において、フィードバック信号の等化302、308、または316は、体導有声音に対応する、圧倒的により低い周波数の音を通過させる。フィードフォワード信号の等化304、306、または318は、体導信号から欠けている空気伝導無声音に対応する、圧倒的により高い周波数の音を通過させる。それぞれの場合において、等化は、単純に利得整形をマイクロホン信号に適用することができるが、頭部を通るおよび頭部の周りの空気を通る異なる音速を補償するために遅延または非最小位相項を含んで、信号経路が最良の効果まで混合し、すなわち、最も自然な音声を実現することを確実にすることもできる。別の例において、図5に示すように、図3の場合と同じ等化のトポロジーが使用されるが、マイクロホンの左右の組は、両耳用音声信号を生成するために、独立して合計される320、322。等化は本明細書では例として示されるが、実際には、任意の適切なフィルタリングをマイクロホン信号のそれぞれに適用することができる。加算は、均一または加重であることができ、または加重はフィルタリング段と組み合わせることができる。図に示す個別の要素は、例示だけのためであり、実際には、処理のすべてをデジタル信号プロセッサなどの単一のデバイスで扱うことができる。
【0024】
さらに信号処理機能が利用可能である場合、単純に信号をフィルタリングし、合計するよりも多くのことを行うことができる。例えば、図3のトポロジーにおいて、例えば、当技術分野でよく知られた雑音抑制技法を個々のマイクロホン信号に適用し、次いで4つの推定値を平均化によって組み合わせることによって音声信号の4つの推定値を発生させることができる。
【0025】
フィードフォワードマイクロホン110R、110Lによって提供される信号は、図6に示すように、追加の外部マイクロホン324R、324Lを加えることによってさらに改善することができる。フィードフォワードおよび追加の外部マイクロホンからの信号は、フィードフォワードアレイ処理段326R、326Lにおいて組み合わせて、信号対雑音比(SNR:signal to noise ratio、または同等に、音声対雑音比)を改善し、それによって、着用者の音声を周囲雑音よりも強く感知する。マイクロホンの各対は、頭部の各側に1つ、アレイを提供し、メインローブを口の方に向けられる。8の字パターンなどの一次勾配受領パターンが、近接効果により、音声対雑音比を増加させる。アレイを各側に設け、それらを一緒に加えることにより(328)、音声対雑音比がさらに増加する。次いで、左右フィードバック信号がフィードフォワードアレイ信号と合計される329。あるいは、合計328および329は、組み合わせることができ、または図4の場合のように、フィードバック信号を組み合わせてから、単一のフィルタ中を通過させ、次いで、アレイ処理信号と組み合わせることができる。
【0026】
別の手法である、図7に示すトポロジーは、少なくとも2つのマイクロホン330、332をジョイントハウジング内に配置して、着用者の口の方に上方に向いたエンドファイアアレイを作り出すことである。ジョイントハウジングは、典型的には、着用者の胸の中央近くでつるされ、または留められる。アレイのメインローブは、依然として着用者の音声に大いに感受性がありながらジョイントハウジングが留められる可能性のある変動する角度に対応すべきである。この手法の利点は、アレイが上方を向いて、着用者の音声を感知するが、除去すべき雑音源が典型的には着用者の周り(例えば、他の人々)に水平に配置されることである。ジョイントハウジングマイクロホン信号は、単一の信号を生成するために組み合わされ、等化される334。ジョイントハウジングアレイ処理からの信号は、アレイ処理336するために、小型イヤホンフィードフォワードマイクロホン信号とさらに組み合わされる(図6の場合のように、それら自体アレイ信号であり得る)。これは、空気伝導音声のSNR感知を、それを体導信号と組み合わせる前にさらに改善することができる。
【0027】
別の例において、図8に示すように、フィードバックマイクロホンとフィードフォワードマイクロホンとにおける相対レベルを動的に使用して、あるタイプの言語音を着用者が作っているときを検出することによって音声対周囲SNRおよび音声自然性の一層の改善を得ることができる。これは、より自然な発音結果を実現するために、フィードバックおよびフィードフォワード音声信号経路をオンおよびオフする、または、より一般に、フレームごとに適用された(音素ごとに近似させる)等化を変更するのに使用することができる。本質的に、これは堅固な音声活動検出器(VAD)をもたらす。図8のトポロジー例において、2つのフィードバック信号は組み合わされ350、2つのフィードフォワード信号は組み合わされ352、2つの組み合わされた信号は比較される354。比較の結果は等化器356、358、360、362に提供され、比較354からの制御入力が異なる等化器をオンまたはオフに切り替え、またはそれらの等化特性を変更する。この技法は、上記の他の信号の流れトポロジーのいずれかと組み合わせることができる。図3のトポロジーは参考だけに使用される。
【0028】
現在の言語音の決定は、広帯域レベルに基づいて、または、好ましくは、スペクトルの部分を見ることによって行うことができる。例えば、フィードフォワードマイクロホンに対するフィードバックマイクロホンにおける150～500Hzの高い信号レベルは、有声音が作られていることを意味し、フィードバックマイクロホンを、場合によりフィードフォワードマイクロホンからのある小さな寄与を用いて使用すべきである。逆に、フィードバックマイクロホンに対するフィードフォワードマイクロホンにおける500Hzを超える高い信号レベルは、無声音に対応し、フィードフォワードマイクロホン信号が好まれる。単純に生の信号を見るのではなく、フィードバックマイクロホン信号をフィードフォワードマイクロホン信号と比較することにより、残留外部音が外耳道内に漏れ、フィードバックマイクロホンに達したとき、音声処理が作動するのが防止される。
【0029】
いくつかの例において、異なる等化経路の起動または変更は、周波数領域まで拡大され、2進マスキング手法が、マイクロホン信号のそれぞれを、ヘッドセットを着用したとき典型的な人間の音声を表す所定の相対的大きさ/位相関係に基づいて周波数ビンごとに変更するのに使用される。例えば、すべて参照により本明細書に組み込まれている、KatzerおよびHartungによる米国特許第8,218,783号、ShortおよびWaltersによる米国特許第8,611,554号、ならびにShortによる米国特許第8,767,975号を参照されたい。
【0030】
上記のシステムは、近接場音声信号の帯域幅拡大処理を改善するのに使用することもできる。「帯域幅拡大」により、われわれは、信号が何もない、または良好な信号を得るには不十分なSNRがある帯域において音を合成することによって音声信号の帯域幅を人工的に拡大することを指す。閉塞されたセンサおよび自由空気センサの両方を使用することにより、有声音声と無声音声との区別が行われる。次いで、最新技術よりも有効である帯域幅拡大モデルを生成するために、それらの入力を組み合わせる。加えて、加速度計などの他のセンサタイプの組合せも、より有効な帯域幅拡大モデルを生じることもできる。フィードバックマイクロホンにおける音声信号は、ANRおよび閉塞効果により、高い音声SNRであるが、より高い周波数の音声内容に欠けている。フィードバックマイクロホンによって受け取られた音声の帯域幅を人工的に拡大することによって、音声内容の全帯域、高いSNR近似値を作り出すことができる。当技術分野で知られた帯域幅拡大の方法には、高調波拡張、線形予測、エンベロープ推定、および特徴マッピングが含まれる。これらのおよび他の方法は、全帯域の、より低いSNRのフィードフォワードマイクロホンからの信号を使用することによっても拡大することができる。一例において、フィードフォワードマイクロホンとフィードバックマイクロホンとの間のより高い周波数のスペクトルにおける平均二乗誤差が最小になるように、高調波がフィードバックマイクロホン信号に加えられる。第2の例において、帯域幅拡大の先験的なモデルが、フィードバックマイクロホン信号の帯域幅拡大された、より高い周波数の音声エンベロープと、フィードフォワードマイクロホン信号の帯域幅拡大された、より高い周波数の音声エンベロープとの間の誤差を最小にするために、コードブックから選ばれる。第3の例において、音声は、フィードフォワードマイクロホンとフィードバックマイクロホンとの間の相対的音声エネルギーを比較することによって有声または無声のいずれかと特徴づけられ、次いで、それによって、帯域幅拡大モデルをフィードバックマイクロホン信号に適用すべきか(無声音声の場合)または適用すべきでないか(有声音声の場合)が決定される。上記の例のすべてにおいて、フィードフォワードマイクロホンの使用は、音声活動検出器によって検出されたときに音声が存在する場合に限定することができる。
【0031】
改善された帯域幅拡大モデルにより、拡大された帯域幅は、より本物そっくりに音を出し、および/またはより大きい帯域幅に対応することができる。帯域幅拡大を近接場音声受領に適用する際にいくつかの利益がある。より高い周波数の音声内容は、少なくとも高いSNRを有する、小型イヤホンを取り付けたフィードフォワードマイクロホンにおいて捉えるのは、口とマイクロホンとの指向性により、非常に困難なことがある。それは結果として音声帯域幅の制限またはより高い周波数における低いSNR信号の導入のいずれかになるが、信号は、それらの周波数への帯域幅拡大を改善するのに依然として使用することができる。まず、低域通過フィルタが信号全体に適用され、次いで、上記で論じたように、合成信号がより高い周波数で導入される。合成信号は、元の高い周波数の信号よりも高いSNRを有し、好ましいスペクトルを生成するために等化することができる。いくつかの例において、測定された信号および帯域幅拡大された信号は、音声明瞭度を支援するために選択的に混合される。帯域幅拡大は、マイクロホンSNRが不十分である場合、例えば、話者がより低い周波数の音声内容をマスクする顕著に低い周波数の雑音の存在下にある場合、より低い周波数においても有用である。
【0032】
すでに述べたように、図1A、図1B、および図2の小型イヤホン102は、音響構造106を外耳道108に密封するイヤチップ114を含む。これは外部音が外耳道に入るのを受動的に妨げることによってヘッドホンの雑音低減機能を改善するが、閉塞効果ももたらす。これは口からの、頭部の周りの、および耳内への空気伝導音の遮断および咽頭から外耳道内への体導音の捕獲の両方から生じる。体導音のエネルギーの一部は、音が外耳道を通って耳から出るので、通常、失われる。音声スペクトルのより低い周波数側にある傾向がある体導音を外耳道の内側に捕獲することにより、ユーザの音声に低音ブーストがもたらされる。その一方で、空気伝導音は、より高い周波数範囲となる傾向があり、したがって、その経路を遮断することにより、ユーザの音声のより高い側がカットされ、ユーザに自分自身の音声がどのように聞こえるかをさらに歪ませる。これは、音声信号を再構築するのに上記で使用されるフィードバックマイクロホンとフィードフォワードマイクロホンとの間の信号内容の差の発生源であるが、それにより、ユーザの音声がユーザ自身に不自然にも聞こえる。
【0033】
所望であれば、フィードフォワード信号経路フィルタは、ユーザの音声がフィードフォワード雑音消去経路中を通過するのが可能になるように調整することができ、したがって、ユーザには依然として自分の音声の空気伝導部分が聞こえる。同様に、フィードバック経路は、外耳道の入口がヘッドホンによって塞がれ、したがって鼓膜によって検出された声音全体が正しく音を出すとき、外耳道内で増幅されるユーザの音声の部分を低減するように改変することもできる。そのような技法は、参照により本明細書に組み込まれている、Gaugerらによる米国特許第8,798,283号に説明されている。
【0034】
ユーザに自分自身の音声が聞こえることを可能にするように雑音消去経路を調整することは、ANR回路の機能により、自然に聞こえる自己音声をユーザに提供するのに十分であり得る。フィードバックマイクロホンによって検出されたときの外耳道内の残留音声信号は、上記の技法の補足としてまたは上記の技法の代わりに、通信用に出力音声信号として使用することもできる。遠端ユーザの音声は、ヘッドホンの話者によって再生されたとき、フィードバックマイクロホンによって検出され、局部的なユーザの音声であるかのように遠端ユーザに送り返され、したがって、エコーが遠端において可能であるが、これはインイヤ式システムの知られている伝達関数に基づいて遠端信号を近端音声信号から除去する従来のエコー消去技法を使用して解決することができる。
【0035】
場合によっては、周囲音のフィードフォワード雑音消去を提供しながら閉塞の効果を消去するようにフィードバック経路を調整することにより、自然な自己音声体験がもたされ得ることが分かっている。フィードバック雑音低減によって提供される体導音声の部分的消去は、フィードフォワード雑音低減により、より高い周波数の空気伝導音声成分がないことは、気を散らさないくらいに十分に自己音声知覚を改善し、不要な外部雑音なしで好ましい残留音声信号を外耳道内に残す。フィードバックマイクロホンによって検出されたこの残留音声信号が、特にフィードフォワードマイクロホンによって検出されたより高い周波数の音声成分によって補足されたとき、アウトバウンド音声通信にも良好であることがある。
【0036】
これらの特徴の両方を提供するシステムを図9に示す。フィードバックマイクロホン104Rおよび104Lは、対応するフィードバック補償フィルタ402および404に入力を提供し、フィードバック補償フィルタ402および404は、フィードバック耐雑音信号を出力ドライバ112Rおよび112Lに提供する。フィードフォワードマイクロホン110Rおよび110Lは、フィードフォワードフィルタ408および410に入力を提供し、フィードフォワードフィルタ408および410は、フィードフォワード耐雑音を出力ドライバに提供する(これは雑音消去を上記に示すシステムのそれぞれにおいてユーザに提供するのに使用されるのと同じシステムである)。2つのタイプの耐雑音は、参照により本明細書に組み込まれている、JohoおよびCarrerasによる米国特許第8,073,150号に説明されるように、システムトポロジーにおける異なる箇所において合計し、入力音声信号(図示せず)と組み合わせることができる。ドライバとの接続は、単に最終信号の流れを表すに過ぎない。
【0037】
フィードフォワードマイクロホン信号は、フィードバックマイクロホンによって検出された残留音声から欠けている空気伝導音声の成分を提供するためにフィルタ412および414によってフィルタリングもされる。これらのフィルタリングされたフィードフォワード信号は、合計ノード416におけるフィードバックマイクロホンからの信号と組み合わされる。この構成は、上記の様々なトポロジーと組み合わせることができ、例えば、対応するマイクロホンは、合計してからフィルタリングし、単一のフィードフォワードフィルタおよび/またはフィードバックフィルタだけを両方の耳におよび/またはアウトバウンド音声に使用することができる。いくつかの例において、フィードフォワードマイクロホン信号は、フィードバックマイクロホンでユーザの音声をより良く捉えるようにフィードバックループを適応的に調整するために静寂の瞬間に使用することができる。
【0038】
他の例において、図10に示すように、フィードバックマイクロホンをアウトバウンド音声の主マイクロホンとして使用するこの方法は、周囲雑音を捉えることなくユーザの音声の、欠けている高周波数の内容を提供するために無指向性フィードフォワード雑音消去マイクロホン110R、110Lの代わりに従来の指向性音声マイクロホン420と組み合わせる。音声フィルタ422は、フィードフォワードマイクロホンが音声内容を提供するとき、またはわずかに異なり得るとき使用されるフィルタ412と同じであり得る。
【0039】
さらに別の例において、図11に示すように、第2の無指向性マイクロホン424が少なくとも一方の側に加えられ、その(または各)側のフィードフォワードマイクロホンの対は、合計されて、耐雑音フィルタ408の入力を生成し、互いから減算されて、2つのマイクロホンの指向性アレイを形成し、それによって、入力を音声フィルタ428に提供して、所望の音声内容を隔離する。同じ配列を他方の側で繰り返すことができ、第4の無指向性マイクロホン426を左側フィードフォワードフィルタ410への入力として左側フィードフォワードマイクロホン110Lと合計し、減算して、第2の音声フィルタ430への指向性マイクロホン入力を作り出す。
【0040】
上記のシステムおよび方法の実施形態は、当業者には明らかである、コンピュータ構成要素とコンピュータ実装ステップとを含むことができる。例えば、信号プロセッサ実装ステップをコンピュータ実行可能命令として、例えば、フロッピーディスク、ハードディスク、光ディスク、フラッシュROM、不揮発性ROM、およびRAMなどのコンピュータ可読媒体上に記憶することができることが当業者によって理解されるはずである。さらに、信号プロセッサ実行可能命令を、例えば、マイクロプロセッサ、デジタル信号プロセッサ、ゲートアレイなどの様々なプロセッサ上で実行できることが当業者によって理解されるはずである。説明を容易にするために、上記のシステムおよび方法のあらゆるステップまたは要素がコンピュータ化されたシステムの一部として本明細書に説明されてはいないが、各ステップまたは要素は対応するコンピュータシステムまたはソフトウェア構成要素を有することができることを当業者は認識するであろう。したがって、そのようなコンピュータシステムおよび/またはソフトウェア構成要素は、それらの対応するステップまたは要素(すなわち、それらの機能)を説明することによって有効とされ、本開示の範囲内にある。
【0041】
いくつかの実装形態を説明してきた。それにもかかわらず、本明細書に説明した本発明概念の範囲から逸脱することなく追加の変更を加えることができ、したがって、他の実施形態は、以下の特許請求の範囲内にあることが理解されよう。
【符号の説明】
【0042】
100 能動雑音低減(ANR)ヘッドホン
102 小型イヤホン
102a、102b 小型イヤホン
104、104R、104L フィードバックマイクロホン
106 音響構造
108 外耳道
110 フィードフォワードマイクロホン
110R、110L フィードフォワードマイクロホン、無指向性フィードフォワード雑音消去マイクロホン
112 出力変換器
112R、112L 出力ドライバ
114 イヤチップ
120a、120b コード
122 モジュール
124 ボタン
126 追加のマイクロホン
128 単一のコード
202 矢印、外耳道内の体導声音
204 矢印
206 矢印
210 咽頭
212 口
302、304、306、308 等化
310 合計される
312、314 組み合わせる
316、318 等化
320、322 合計される
324R、324L 追加の外部マイクロホン
326R、326L フィードフォワードアレイ処理段
328 一緒に加える、合計
329 合計される、合計
330、332 マイクロホン
334 等化される
336 アレイ処理
350、352 組み合わされる
354 比較される
356、358、360、362 等化器
402、404 フィードバック補償フィルタ
408、410 フィードフォワードフィルタ、耐雑音フィルタ
412、414 フィルタ
416 合計ノード
420 指向性音声マイクロホン
422 音声フィルタ
424 第2の無指向性マイクロホン
426 第4の無指向性マイクロホン
428 音声フィルタ
430 第2の音声フィルタ
102 小型イヤホン
102a、102b 小型イヤホン
104、104R、104L フィードバックマイクロホン
106 音響構造
108 外耳道
110 フィードフォワードマイクロホン
110R、110L フィードフォワードマイクロホン、無指向性フィードフォワード雑音消去マイクロホン
112 出力変換器
112R、112L 出力ドライバ
114 イヤチップ
120a、120b コード
122 モジュール
124 ボタン
126 追加のマイクロホン
128 単一のコード
202 矢印、外耳道内の体導声音
204 矢印
206 矢印
210 咽頭
212 口
302、304、306、308 等化
310 合計される
312、314 組み合わせる
316、318 等化
320、322 合計される
324R、324L 追加の外部マイクロホン
326R、326L フィードフォワードアレイ処理段
328 一緒に加える、合計
329 合計される、合計
330、332 マイクロホン
334 等化される
336 アレイ処理
350、352 組み合わされる
354 比較される
356、358、360、362 等化器
402、404 フィードバック補償フィルタ
408、410 フィードフォワードフィルタ、耐雑音フィルタ
412、414 フィルタ
416 合計ノード
420 指向性音声マイクロホン
422 音声フィルタ
424 第2の無指向性マイクロホン
426 第4の無指向性マイクロホン
428 音声フィルタ
430 第2の音声フィルタ
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】