IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ シェンツェン・ヴォックステック・カンパニー・リミテッドの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-24
(45)【発行日】2024-10-02
(54)【発明の名称】オープン型音響装置
(51)【国際特許分類】
   G10K 11/178 20060101AFI20240925BHJP
   H04R 1/10 20060101ALI20240925BHJP
   H04R 3/00 20060101ALI20240925BHJP
   H04R 1/40 20060101ALI20240925BHJP
   H04R 1/00 20060101ALN20240925BHJP
【FI】
G10K11/178 110
H04R1/10 101B
H04R3/00 320
H04R1/40 320A
H04R1/00 327
H04R1/00 317
【請求項の数】 15
(21)【出願番号】P 2022578903
(86)(22)【出願日】2022-02-25
(65)【公表番号】
(43)【公表日】2023-12-27
(86)【国際出願番号】 CN2022078037
(87)【国際公開番号】W WO2023087565
(87)【国際公開日】2023-05-25
【審査請求日】2022-12-20
(31)【優先権主張番号】202111399590.6
(32)【優先日】2021-11-19
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】521080118
【氏名又は名称】シェンツェン・ショックス・カンパニー・リミテッド
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】▲張▼ 承乾
(72)【発明者】
【氏名】▲鄭▼ 金波
(72)【発明者】
【氏名】肖 ▲楽▼
(72)【発明者】
【氏名】廖 ▲風▼云
(72)【発明者】
【氏名】▲齊▼ 心
【審査官】佐久 聖子
(56)【参考文献】
【文献】米国特許第08611552(US,B1)
【文献】米国特許出願公開第2021/0044882(US,A1)
【文献】中国特許出願公開第113421540(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G10K 11/178
H04R 1/00- 1/46
H04R 3/00- 3/14
(57)【特許請求の範囲】
【請求項1】
オープン型音響装置であって、
前記音響装置を、ユーザの耳の近傍にあり、かつユーザの外耳道を塞がない位置に固定するように構成される固定構造と、
環境ノイズをピックアップするように構成される第1マイクロホンアレイと、
前記環境ノイズに基づいて、前記第1マイクロホンアレイと前記ユーザの外耳道との間の一次経路伝達関数を決定し、
前記環境ノイズ及び前記一次経路伝達関数に基づいて、前記ユーザの外耳道におけるノイズ信号を推定し、そして
前記ユーザの外耳道におけるノイズ信号に基づいて、ノイズ低減信号を生成するように構成される信号プロセッサと、
前記ユーザの外耳道における前記ノイズ信号を除去するためのノイズ低減音波を前記ノイズ低減信号に基づいて出力するように構成されるスピーカーと、
環境ノイズ及び前記ノイズ低減音波をピックアップするように構成される第2マイクロホンアレイと、を含み、
前記信号プロセッサは、前記第2マイクロホンアレイによりピックアップされた環境ノイズ及び前記ノイズ低減音波に基づいて、前記第2マイクロホンアレイのうちのいずれか1つのマイクロホンよりもユーザの外耳道に近い第1空間位置におけるノイズを推定し、そして
前記第1空間位置におけるノイズに基づいて、前記ノイズ低減信号を更新するようにさらに構成される、オープン型音響装置。
【請求項2】
周波数が150Hz~2000Hzの範囲内にある場合、前記オープン型音響装置のノイズ低減深さは、5dB~25dBである、請求項1に記載のオープン型音響装置。
【請求項3】
前記環境ノイズに基づいて、前記第1マイクロホンアレイと前記ユーザの外耳道との間の一次経路伝達関数を決定することは、
前記環境ノイズに基づいて、ノイズ源の方向を推定することと、
前記環境ノイズ、前記ノイズ源の方向、及び前記第1マイクロホンアレイと前記ユーザの外耳道との位置情報に基づいて、前記一次経路伝達関数を決定することと、を含む、請求項1又は請求項2に記載のオープン型音響装置。
【請求項4】
前記第1マイクロホンアレイと前記ユーザの外耳道との位置情報は、前記第1マイクロホンアレイと前記ユーザの外耳道との間の距離を含み、前記環境ノイズ、前記ノイズ源の方向、及び前記第1マイクロホンアレイと前記ユーザの外耳道との位置情報に基づいて、一次経路伝達関数を決定することは、
前記環境ノイズの周波数、前記ノイズ源の方向、及び前記第1マイクロホンアレイと前記ユーザの外耳道との間の距離に基づいて、前記一次経路伝達関数を決定することを含む、請求項3に記載のオープン型音響装置。
【請求項5】
前記環境ノイズに基づいて、前記ノイズ源の方向を推定することは、
ビームフォーミングアルゴリズム、超解像空間スペクトル推定アルゴリズム、及び到達時間差アルゴリズムのうちの1種以上により前記ノイズ源の方向を推定することを含む、請求項3又は請求項4に記載のオープン型音響装置。
【請求項6】
オープン型音響装置であって、
前記音響装置を、ユーザの耳の近傍にあり、かつユーザの外耳道を塞がない位置に固定するように構成される固定構造と、
環境ノイズをピックアップするように構成される第1マイクロホンアレイと、
前記環境ノイズに基づいて、前記第1マイクロホンアレイと前記ユーザの外耳道との間の一次経路伝達関数を決定し、
前記環境ノイズ及び前記一次経路伝達関数に基づいて、前記ユーザの外耳道におけるノイズ信号を推定し、そして
前記ユーザの外耳道におけるノイズ信号に基づいて、ノイズ低減信号を生成するように構成される信号プロセッサと、
前記ユーザの外耳道における前記ノイズ信号を除去するためのノイズ低減音波を前記ノイズ低減信号に基づいて出力するように構成されるスピーカーと、
境ノイズ及び前記ノイズ低減音波をピックアップするように構成される第2マイクロホンアレイと、を含み、
前記信号プロセッサは、前記第2マイクロホンアレイによりピックアップされた音声信号に基づいて、前記スピーカーと前記ユーザの外耳道との間の全体二次経路伝達関数を決定するように構成され、
前記ユーザの外耳道におけるノイズ信号に基づいて、ノイズ低減信号を生成することは、
前記ユーザの外耳道におけるノイズ信号及び前記全体二次経路伝達関数に基づいて、前記ノイズ低減信号を推定することを含む、オープン型音響装置。
【請求項7】
前記ユーザの外耳道におけるノイズ信号及び前記全体二次経路伝達関数に基づいて、前記ノイズ低減信号を推定することは、
前記ユーザの外耳道におけるノイズ信号に基づいて、前記ユーザの外耳道におけるノイズ低減音波を推定することと、
前記ユーザの外耳道におけるノイズ低減音波及び前記全体二次経路伝達関数に基づいて、前記ノイズ低減信号を生成することと、を含む、請求項に記載のオープン型音響装置。
【請求項8】
前記第2マイクロホンアレイによりピックアップされた音声信号に基づいて、全体二次経路伝達関数を決定することは、
前記スピーカーから出力されたノイズ低減音波と、前記第2マイクロホンアレイによりピックアップされた音声信号とに基づいて、前記スピーカーと前記第2マイクロホンアレイとの間の第1二次経路伝達関数を決定することと、
前記第1二次経路伝達関数に基づいて、前記全体二次経路伝達関数を決定することと、を含む、請求項又は請求項に記載のオープン型音響装置。
【請求項9】
前記スピーカーから出力されたノイズ低減音波と、前記第2マイクロホンアレイによりピックアップされた音声信号とに基づいて、第1二次経路伝達関数を決定することは、
前記第2マイクロホンアレイによりピックアップされた音声信号に基づいて、前記第2マイクロホンアレイによりピックアップされたノイズ低減音波を取得することと、
前記スピーカーから出力されたノイズ低減音波と、前記第2マイクロホンアレイによりピックアップされたノイズ低減音波とに基づいて、前記第1二次経路伝達関数を決定することと、を含む、請求項に記載のオープン型音響装置。
【請求項10】
前記第1二次経路伝達関数に基づいて、全体二次経路伝達関数を決定することは、
前記第1二次経路伝達関数に基づいて、前記第2マイクロホンアレイと前記ユーザの外耳道との間の第2二次経路伝達関数を決定することと、
前記第1二次経路伝達関数及び前記第2二次経路伝達関数に基づいて、前記全体二次経路伝達関数を決定することと、を含む、請求項又は請求項に記載のオープン型音響装置。
【請求項11】
前記第1二次経路伝達関数に基づいて、第2二次経路伝達関数を決定することは、
前記第1二次経路伝達関数を取得することと、
トレーニングが完了した機械学習モデル又は予め設定されたモデルにより、前記第1二次経路伝達関数に基づいて前記第2二次経路伝達関数を決定することと、を含む、請求項10に記載のオープン型音響装置。
【請求項12】
前記機械学習モデルは、混合ガウスモデル又はディープニューラルネットワークモデルを含む、請求項11に記載のオープン型音響装置。
【請求項13】
第1マイクロホンアレイによりピックアップされた環境ノイズに基づいて、前記第1マイクロホンアレイとユーザの外耳道との間の一次経路伝達関数を決定するステップと、
前記環境ノイズ及び前記一次経路伝達関数に基づいて、前記ユーザの外耳道におけるノイズ信号を推定するステップと、
前記ユーザの外耳道におけるノイズ信号に基づいて、ノイズ低減信号を生成するステップと、
前記ユーザの外耳道における前記ノイズ信号を除去するためのノイズ低減音波を前記ノイズ低減信号に基づいて出力するステップと、
第2マイクロホンアレイによりピックアップされた環境ノイズ及び前記ノイズ低減音波に基づいて、前記第2マイクロホンアレイのうちのいずれか1つのマイクロホンよりもユーザの外耳道に近い第1空間位置におけるノイズを推定するステップと、
前記第1空間位置におけるノイズに基づいて、前記ノイズ低減信号を更新するステップと、を含む、ノイズ低減方法。
【請求項14】
前記環境ノイズに基づいて、前記第1マイクロホンアレイと前記ユーザの外耳道との間の一次経路伝達関数を決定するステップは、
前記環境ノイズに基づいて、ノイズ源の方向を推定するステップと、
前記環境ノイズ、前記ノイズ源の方向、及び前記第1マイクロホンアレイと前記ユーザの外耳道との位置情報に基づいて、前記一次経路伝達関数を決定するステップと、を含む、請求項13に記載のノイズ低減方法。
【請求項15】
第1マイクロホンアレイによりピックアップされた環境ノイズに基づいて、前記第1マイクロホンアレイとユーザの外耳道との間の一次経路伝達関数を決定するステップと、
前記環境ノイズ及び前記一次経路伝達関数に基づいて、前記ユーザの外耳道におけるノイズ信号を推定するステップと、
前記ユーザの外耳道におけるノイズ信号に基づいて、ノイズ低減信号を生成するステップと、
前記ユーザの外耳道における前記ノイズ信号を除去するための、スピーカーを用いたノイズ低減音波を前記ノイズ低減信号に基づいて出力するステップと、を含み、
前記ユーザの外耳道におけるノイズ信号に基づいて、ノイズ低減信号を生成するステップは、
第2マイクロホンアレイによりピックアップされた音声信号に基づいて、前記スピーカーと前記ユーザの外耳道との間の全体二次経路伝達関数を決定するステップと、
前記ユーザの外耳道におけるノイズ信号及び前記全体二次経路伝達関数に基づいて、前記ノイズ低減信号を推定するステップを含む、ノイズ低減方法。
【発明の詳細な説明】
【技術分野】
【0001】
(優先権情報)
本願は、2021年11月19日に出願された中国出願第202111399590.6号の優先権を主張するものであり、その内容は、参照により本願に組み込まれるものとする。
【0002】
本明細書は、音響の分野に関し、特にオープン型音響装置に関する。
【背景技術】
【0003】
音響装置は、ユーザが、オーディオコンテンツを聴取し、ボイス通話を行うとともに、ユーザとのインタラクティブコンテンツのプライバシーを保証し、かつ聴取時に周囲の人々の邪魔にならないことを可能にする。音響装置は、一般的に、カナル型とオープン型の2種類に分けることができる。カナル型音響装置は、使用過程において、ユーザの外耳道内に位置する構造があるため、ユーザの耳を塞ぐことになり、ユーザが長時間装着すると不快感が生じやすい。これに対して、オープン型音響装置は、上記問題を解決することができ、オープン型音響装置は、ユーザの耳を塞がないため、長時間装着することに役立つ。しかしながら、オープン型音響出力装置における、外部環境ノイズを収集するマイクロホンと、ノイズ低減音波を発するスピーカーは、ユーザの耳の近傍(例えば、耳介の前側の顔領域)に位置し、ユーザの外耳道との間に一定の距離があるため、マイクロホンによりピックアップされた環境ノイズをユーザの外耳道におけるノイズとしてノイズ低減を直接的に行うと、多くの場合、オープン型音響出力装置によるノイズ低減効果が不十分になることにより、ユーザの聴覚体験を低下させる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
したがって、ユーザの両耳をオープンにするとともに、良好なノイズ低減能力を有することにより、ユーザの聴覚体験を向上させることができるオープン型音響装置を提供することが望まれる。
【課題を解決するための手段】
【0005】
本明細書の実施例に係るオープン型音響装置は、前記音響装置を、ユーザの耳の近傍にあり、かつユーザの外耳道を塞がない位置に固定するように構成される固定構造と、環境ノイズをピックアップするように構成される第1マイクロホンアレイと、前記環境ノイズに基づいて、前記第1マイクロホンアレイと前記ユーザの外耳道との間の一次経路伝達関数を決定し、前記環境ノイズ及び前記一次経路伝達関数に基づいて、前記ユーザの外耳道におけるノイズ信号を推定し、そして前記ユーザの外耳道におけるノイズ信号に基づいて、ノイズ低減信号を生成するように構成される信号プロセッサと、前記ユーザの外耳道における前記ノイズ信号を除去するためのノイズ低減音波を前記ノイズ低減信号に基づいて出力するように構成されるスピーカーと、を含む。
【0006】
本明細書の実施例に係るノイズ低減方法は、第1マイクロホンアレイによりピックアップされた環境ノイズに基づいて、前記第1マイクロホンアレイと前記ユーザの外耳道との間の一次経路伝達関数を決定するステップと、前記環境ノイズ及び前記一次経路伝達関数に基づいて、前記ユーザの外耳道におけるノイズ信号を推定するステップと、前記ユーザの外耳道におけるノイズ信号に基づいて、ノイズ低減信号を生成するステップと、前記ユーザの外耳道における前記ノイズ信号を除去するためのノイズ低減音波を前記ノイズ低減信号に基づいて出力するステップと、を含む。
【0007】
例示的な実施例によって本明細書をさらに説明し、これらの例示的な実施例を、図面を参照して詳細に説明する。これらの実施例は、限定的なものではなく、これらの実施例では、同じ符号は同じ構造を示す。
【図面の簡単な説明】
【0008】
図1】本明細書のいくつかの実施例に係るオープン型音響装置の例示的なブロック構成図である。
図2】本明細書のいくつかの実施例に係るオープン型音響装置のノイズ低減原理を示す図である。
図3】本明細書のいくつかの実施例に係る信号プロセッサの例示的な概略構成図である。
図4】本明細書のいくつかの実施例に係るノイズ低減過程の例示的なフローチャートである。
図5】本明細書のいくつかの実施例に係る、例示的なオープン型音響装置による環境ノイズの伝達の概略図である。
図6】本明細書のいくつかの実施例に係る、第1マイクロホンアレイとユーザの外耳道との間の一次経路伝達関数を決定する例示的なフローチャートである。
図7】本明細書のいくつかの実施例に係る、第1マイクロホンアレイから外耳道への一次経路伝達関数を決定する概略図である。
図8】本明細書のいくつかの実施例に係る、第2マイクロホンアレイが動作する場合の例示的なフローチャートである。
図9】本明細書のいくつかの実施例に係る、第2マイクロホンアレイが動作する場合の他の例示的なフローチャートである。
図10】本明細書のいくつかの実施例に係る、ノイズ低減信号を推定する例示的なフローチャートである。
図11】本明細書のいくつかの実施例に係る、全体二次経路伝達関数を決定する例示的なフローチャートである。
図12】本明細書のいくつかの実施例に係る、第1二次経路伝達関数を決定する例示的なフローチャートである。
図13A】本明細書のいくつかの実施例に係るマイクロホンアレイの分布の概略図である。
図13B】本明細書のいくつかの実施例に係る他のマイクロホンアレイの分布の概略図である。
図13C】本明細書のいくつかの実施例に係る別のマイクロホンアレイの分布の概略図である。
図13D】本明細書のいくつかの実施例に係るさらに別のマイクロホンアレイの分布の概略図である。
図14A】本明細書のいくつかの実施例に係る、ユーザがオープン型音響装置を装着する場合のマイクロホンアレイの配列の概略図である。
図14B】本明細書のいくつかの実施例に係る、ユーザがオープン型音響装置を装着する場合の他のマイクロホンアレイの配列の概略図である。
【発明を実施するための形態】
【0009】
本明細書の実施例の技術手段をより明確に説明するために、以下、実施例の説明に必要な図面を簡単に説明する。明らかに、以下に説明される図面は、本明細書のいくつかの例又は実施例に過ぎず、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて本明細書を他の類似するシナリオに適用することができる。特に言語環境から明らかではないか又は明記されていない限り、図面において同じ符号は同じ構造又は操作を示す。
【0010】
本明細書で使用される「システム」、「装置」、「ユニット」及び/又は「モジュール」が、レベルの異なる様々なアセンブリ、素子、部品、部分又は組立体を区別する方法であることを理解されたい。しかしながら、他の用語が同じ目的を達成することができれば、上記用語の代わりに他の表現を用いることができる。
【0011】
本明細書及び特許請求の範囲に示すように、文脈が明確に別段の指示をしない限り、「1つ」、「1個」、「1種」及び/又は「該」などの用語は、特に単数形を意味するものではなく、複数形を含んでもよい。一般的に、用語「含む」及び「含有」は、明確に特定されたステップ及び要素を含むことを提示するものに過ぎず、これらのステップ及び要素は、排他的な羅列ではなく、方法又は機器は、また他のステップ又は要素を含む可能性がある。
【0012】
本明細書では、フローチャートを使用して、本明細書の実施例に係るシステムが実行する操作を説明する。先行又は後続の操作が必ずしも順序で正確に実行されるわけではないことを理解されたい。その代わりに、各ステップを、逆の順序で、又は同時に処理してもよい。また、他の操作をこれらの過程に追加してもよく、これらの過程から1つ以上の操作を除去してもよい。
【0013】
オープン型音響装置は、オープン型イヤホンなどの音響機器を含んでもよい。オープン型音響装置は、ユーザの外耳道の位置を塞ぐことなく、固定構造(例えば、耳掛け、頭掛け、テンプルなど)によりスピーカーをユーザの耳の近傍に固定してもよい。ユーザがオープン型音響装置を使用する場合、外部環境ノイズがユーザに聞こえてもよいため、ユーザの聴覚体験が悪い。例えば、外部環境ノイズが大きい場所(例えば、街路、観光地など)では、ユーザがオープン型音響装置を使用して音楽を再生する場合、外部環境ノイズがユーザの外耳道に直接的に入ることにより、ユーザが大きい環境ノイズを聞き、環境ノイズは、ユーザが音楽を聴取する体験を妨害する。また例えば、ユーザがオープン型音響装置を装着して通話を行う場合、マイクロホンは、ユーザ自身の発話音声をピックアップするだけでなく、環境ノイズもピックアップするため、ユーザの通話体験が悪い。
【0014】
上記問題に鑑みて、本明細書の実施例において、オープン型音響装置について説明する。いくつかの実施例において、該音響装置は、固定構造、第1マイクロホンアレイ、信号プロセッサ及びスピーカーを含んでもよい。固定構造は、音響装置を、ユーザの耳の近傍にあり、かつユーザの外耳道を塞がない位置に固定するように構成される。第1マイクロホンアレイは、環境ノイズをピックアップするように構成される。いくつかの実施例において、信号プロセッサは、環境ノイズに基づいて、第1マイクロホンアレイとユーザの外耳道との間の一次経路伝達関数を決定するように構成されてもよい。一次経路伝達関数とは、第1マイクロホンアレイにおける環境ノイズをユーザの外耳道に伝達する位相周波数応答を指す。さらに、信号プロセッサは、環境ノイズ及び一次経路伝達関数に基づいて、ユーザの外耳道におけるノイズ信号を推定し、ユーザの外耳道におけるノイズ信号に基づいて、ノイズ低減信号を生成してもよい。いくつかの実施例において、スピーカーは、ユーザの外耳道におけるノイズ信号を除去することができるノイズ低減音波をノイズ低減信号に基づいて出力するように構成されてもよい。本明細書の実施例に係るオープン型音響装置において、第1マイクロホンアレイは、複数のマイクロホンを含んでもよく、信号プロセッサは、複数のマイクロホンによりピックアップされた環境ノイズによりノイズ源の方向を決定してもよく、信号プロセッサは、環境ノイズのパラメータ情報(例えば、周波数)、ノイズ源の方向、及び第1マイクロホンアレイのうちのマイクロホンとユーザの外耳道との位置情報に基づいて、一次経路伝達関数を決定し、信号プロセッサは、環境ノイズのパラメータ情報(位相情報、周波数情報、振幅情報など)及び一次経路伝達関数に基づいて、ユーザの外耳道におけるノイズ信号を推定してもよく、さらに、信号プロセッサは、推定されたユーザの外耳道におけるノイズ信号に基づいて、ノイズ低減信号を生成し、スピーカーは、ユーザの外耳道におけるノイズを相殺するように、ノイズ低減信号に基づいてノイズ低減音波を生成する。本明細書の実施例に係るオープン型音響装置は、周波数範囲の異なるノイズに対してノイズ低減を行って、特定のノイズ低減効果を示すことができる。例えば、150Hz~2000Hzの周波数範囲内で、5dB~25dBのノイズ低減深さを有するため、オープン型音響装置の該周波数範囲内でのノイズ低減効果を顕著に向上させることができる。
【0015】
図1は、本明細書のいくつかの実施例に係るオープン型音響装置100の例示的なブロック構成図である。図1に示すように、オープン型音響装置100は、固定構造120、第1マイクロホンアレイ130、信号プロセッサ140及びスピーカー150を含んでもよい。いくつかの実施例において、固定構造120により、オープン型音響装置100を、ユーザの耳の近傍にあり、かつユーザの外耳道を塞がない位置に固定してもよい。第1マイクロホンアレイ130は、環境ノイズをピックアップしてもよい。信号プロセッサ140は、第1マイクロホンアレイ130及びスピーカー150に結合(例えば、電気的に接続)されてもよく、信号プロセッサ140は、第1マイクロホンアレイ130からの信号を受信してもよく、信号プロセッサ140は、さらに信号をスピーカー150に送信してもよい。例えば、信号プロセッサ140は、第1マイクロホンアレイ130から伝達された環境ノイズから変換された電気信号を受信して処理して、環境ノイズのパラメータ情報(例えば、振幅情報、位相情報など)を取得してもよい。いくつかの実施例において、第1マイクロホンアレイ130は、複数のマイクロホンを含んでもよく、信号プロセッサ140は、複数のマイクロホンによりピックアップされた環境ノイズに基づいて、ノイズ源の方位を決定してもよい。いくつかの実施例において、信号プロセッサ140は、環境ノイズのパラメータ情報(例えば、周波数)、ノイズ源の方位、及び第1マイクロホンアレイ130とユーザの外耳道との位置情報に基づいて、第1マイクロホンアレイ130とユーザの外耳道との間の一次経路伝達関数を決定してもよく、信号プロセッサ140は、さらに、環境ノイズ及び一次経路伝達関数に基づいて、ユーザの外耳道におけるノイズ信号を推定してもよい。該ノイズ低減信号のパラメータ情報は、環境ノイズのパラメータ情報に対応し、例えば、ノイズ低減信号の振幅の大きさは、環境ノイズの振幅の大きさとほぼ等しく、ノイズ低減信号の位相と環境ノイズの位相とは、ほぼ逆である。信号プロセッサ140は、生成したノイズ低減信号をスピーカー150に伝達してもよく、スピーカー150は、ノイズ低減信号に基づいてノイズ低減音波を出力してもよく、該ノイズ低減音波と、ユーザの外耳道の位置における環境ノイズとが相殺することにより、オープン型音響装置100のアクティブなノイズ低減を実現し、ユーザがオープン型音響装置100を使用する過程における聴覚体験を向上させることができる。
【0016】
第1マイクロホンアレイ130は、環境ノイズをピックアップするように構成されてもよい。いくつかの実施例において、環境ノイズとは、ユーザが位置する環境における複数種の外部音声の組み合わせを指す。いくつかの実施例において、環境ノイズは、交通ノイズ、工業ノイズ、建築工事ノイズ、社会ノイズなどのうちの1種以上を含んでもよい。いくつかの実施例において、交通ノイズは、自動車の走行ノイズ、クラクションノイズなどを含んでもよいが、これらに限定されない。工業ノイズは、工場の動力機械の運転ノイズなどを含んでもよいが、これらに限定されない。建築工事ノイズは、動力機械の掘削ノイズ、穿孔ノイズ、撹拌ノイズなどを含んでもよいが、これらに限定されない。社会生活環境ノイズは、大衆集会ノイズ、娯楽宣伝ノイズ、人々の騒々しいノイズ、家庭用電気器具のノイズなどを含んでもよいが、これらに限定されない。いくつかの実施例において、第1マイクロホンアレイ130は、ユーザの外耳道の近傍位置に設置されて、ユーザの外耳道に伝達された環境ノイズをピックアップしてもよく、第1マイクロホンアレイ130は、ピックアップされた環境ノイズ信号を電気信号に変換し、かつ信号処理のために信号プロセッサ140に伝達してもよい。いくつかの実施例において、環境ノイズは、ユーザが話している音声を含んでもよい。例えば、オープン型イヤホン100が非通話状態にある場合、ユーザ自身が話している音声は、環境ノイズと見なされてもよく、第1マイクロホンアレイ130は、ユーザ自身が話している音声及び他の環境ノイズをピックアップし、ユーザが話している音声信号及び他の環境ノイズを電気信号に変換し、かつ信号処理のために信号プロセッサ140に伝達してもよい。いくつかの実施例において、第1マイクロホンアレイ130は、ユーザの左耳又は右耳に分布してもよい。いくつかの実施例において、第1マイクロホンアレイ130は、さらにユーザの左耳及び右耳に位置してもよい。例えば、第1マイクロホンアレイ130は、第1サブマイクロホンアレイ及び第2サブマイクロホンアレイを含んでもよく、第1サブマイクロホンアレイは、ユーザの左耳に位置し、第2サブマイクロホンアレイは、ユーザの右耳に位置し、第1サブマイクロホンアレイと第2サブマイクロホンアレイは、同時に動作状態に入ってもよく、両者のうちの1つは、動作状態に入ってもよい。
【0017】
いくつかの実施例において、環境ノイズは、ユーザが話している音声を含んでもよい。例えば、第1マイクロホンアレイ130は、オープン型音響装置100の通話状態に応じて、環境ノイズをピックアップしてもよい。オープン型音響装置100が非通話状態にある場合、ユーザ自身が話している音声は、環境ノイズと見なされてもよく、第1マイクロホンアレイ130は、ユーザ自身が話している音声と他の環境ノイズを同時にピックアップしてもよい。オープン型音響装置100が通話状態にある場合、ユーザ自身が話している音声は、環境ノイズと見なされなくてもよく、第1マイクロホンアレイ130は、ユーザ自身が話している音声以外の環境ノイズをピックアップしてもよい。例えば、第1マイクロホンアレイ130は、第1マイクロホンアレイ130から一定の距離(例えば、0.5メートル、1メートル)離れたノイズ源が発するノイズをピックアップしてもよい。
【0018】
いくつかの実施例において、第1マイクロホンアレイ130は、2つ以上のマイクロホンを含んでもよい。第1マイクロホンアレイ130は、空気伝導マイクロホン及び/又は骨伝導マイクロホンを含んでもよい。いくつかの実施例において、第1マイクロホンアレイ130は、2つ以上の空気伝導マイクロホンを含んでもよい。例えば、ユーザがオープン型音響装置100を使用して音楽を聴取する場合、空気伝導マイクロホンは、外部環境ノイズとユーザが話すときの音声を同時に取得し、かつそれを環境ノイズとして電気信号に変換して、処理のために信号プロセッサ140に伝送してもよい。いくつかの実施例において、第1マイクロホンアレイ130は、さらに2つ以上の骨伝導マイクロホンを含んでもよい。いくつかの実施例において、骨伝導マイクロホンは、ユーザの頭部の皮膚に直接的に接触してもよく、ユーザが話すときに顔の骨格又は筋肉による振動信号は、直接的に骨伝導マイクロホンに伝達されてもよく、さらに、骨伝導マイクロホンは、振動信号を電気信号に変換し、かつ信号処理のために電気信号を信号プロセッサ140に伝達する。いくつかの実施例において、骨伝導マイクロホンは、人間に直接的に接触しなくてもよく、ユーザが話すときに顔の骨格又は筋肉による振動信号は、まずハウジング構造に伝達され、次にハウジング構造から骨伝導マイクロホンに伝達されてもよく、骨伝導マイクロホンは、さらに、該人体振動信号を、ボイス情報を含む電気信号に変換する。例えば、ユーザが通話状態にある場合、信号プロセッサ140は、空気伝導マイクロホンが収集した音声信号を環境ノイズとしてノイズ低減処理を行い、骨伝導マイクロホンが収集した音声信号をボイス信号として残すことにより、ユーザが通話するときの通話品質を保証することができる。
【0019】
いくつかの実施例において、マイクロホンの動作原理に基づいて分類すると、第1マイクロホンアレイ130は、可動コイル式マイクロホン、リボンマイクロホン、コンデンサマイクロホン、エレクトレットマイクロホン、電磁式マイクロホン、カーボンマイクロホンなど、又はそれらの任意の組み合わせを含んでもよい。いくつかの実施例において、第1マイクロホンアレイ130のアレイ配列方式は、線形アレイ(例えば、直線状、曲線状)、平面アレイ(例えば、十字形、円形、環状、多角形、網状などの規則的な形状及び/又は不規則な形状)、又は立体アレイ(例えば、円柱状、球状、半球状、多面体など)であってもよく、第1マイクロホンアレイ130の配列方式については、具体的に本明細書の図13A図13D図14A図14B及びそれらの関連する内容を参照することができる。
【0020】
信号プロセッサ140は、環境ノイズに基づいて、第1マイクロホンアレイ130とユーザの外耳道との間の一次経路伝達関数を決定し、環境ノイズ及び一次経路伝達関数に基づいて、ユーザの外耳道におけるノイズ信号を推定し、かつ、ユーザの外耳道におけるノイズ信号に基づいて、ノイズ低減信号を生成するように構成される。一次経路伝達関数とは、第1マイクロホンアレイ130からユーザの外耳道への経路伝達関数を指す。いくつかの実施例において、信号プロセッサ140は、環境ノイズに基づいて、ノイズ源の方向を推定し、かつ、環境ノイズのパラメータ情報(例えば、周波数)、ノイズ源の方向、及び第1マイクロホンアレイ130とユーザの外耳道との位置情報に基づいて、一次経路伝達関数を決定してもよい。いくつかの実施例において、信号プロセッサ140は、環境ノイズのパラメータ情報(位相情報、周波数情報、振幅情報など)及び一次経路伝達関数に基づいて、ユーザの外耳道におけるノイズ信号を推定してもよく、さらに、信号プロセッサ140は、推定されたユーザの外耳道におけるノイズ信号に基づいて、ノイズ低減信号を生成してもよい。
【0021】
いくつかの実施例において、オープン型音響装置100は、さらに第2マイクロホンアレイを含む。信号プロセッサ140は、第2マイクロホンアレイによりピックアップされた環境ノイズ及びノイズ低減音波に基づいて、外耳道におけるノイズを推定してもよく、さらに、信号プロセッサ140は、外耳道における音声信号に基づいて、ノイズ低減信号を更新してもよい。いくつかの実施例において、信号プロセッサ140は、さらに、第2マイクロホンアレイによりピックアップされた音声信号に基づいて、第2マイクロホンアレイによりピックアップされたノイズ低減音波を取得してもよく、信号プロセッサ140は、スピーカー150から出力されたノイズ低減音波と、第2マイクロホンアレイによりピックアップされたノイズ低減音波とに基づいて、第1二次経路伝達関数(第1二次経路は、音声信号をスピーカー150から第2マイクロホンアレイへ伝播する伝播経路である)を決定してもよく、信号プロセッサ140は、トレーニングが完了した機械学習モデル又は予め設定されたモデルにより、第1二次経路伝達関数に基づいて第2二次経路伝達関数(第2二次経路は、音声信号を第2マイクロホンアレイから外耳道へ伝播する伝播経路である)を決定してもよく、信号プロセッサ140は、第1二次経路伝達関数及び第2二次経路伝達関数に基づいて、全体二次経路伝達関数(全体二次経路は、音声信号をスピーカー150から外耳道へ伝播する伝播経路である)を決定してもよい。信号プロセッサ140は、ユーザの外耳道におけるノイズ信号に基づいて、ユーザの外耳道におけるノイズ低減音波を推定し、かつ、ユーザの外耳道におけるノイズ低減音波及び全体二次経路伝達関数に基づいて、ノイズ低減信号を更新してもよい。
【0022】
いくつかの実施例において、信号プロセッサ140は、ハードウェアモジュール及びソフトウェアモジュールを含んでもよい。単なる例として、ハードウェアモジュールは、デジタル信号処理(Digital Signal Processor、DSP)チップ及び先進的縮小命令セットコンピュータマシン(Advanced RISC Machines、ARM)を含んでもよく、ソフトウェアモジュールは、アルゴリズムモジュールを含んでもよい。信号プロセッサ140のさらなる説明については、後続の図3及びその対応する説明を参照することができる。
【0023】
スピーカー150は、ノイズ低減信号に基づいてノイズ低減音波を出力するように構成されてもよい。該ノイズ低減音波は、ユーザの外耳道(例えば、鼓膜、基底膜)に伝達された環境ノイズを低減するか又は除去するためのものであってもよい。単なる例示的な説明として、信号プロセッサ140は、ユーザの外耳道におけるノイズ信号とは振幅の大きさがほぼ等しく、位相がほぼ逆であるノイズ低減音波を出力して、ユーザの外耳道におけるノイズ信号を相殺するようにスピーカー150を制御する。いくつかの実施例において、ユーザがオープン型音響装置100を装着する場合、スピーカー150は、ユーザの耳の近傍位置に位置してもよい。いくつかの実施例において、スピーカーの動作原理に基づいて、スピーカー150は、動電型スピーカー(例えば、可動コイル式スピーカー)、磁気スピーカー、イオンスピーカー、静電式スピーカー(又はコンデンサスピーカー)、圧電式スピーカーなどのうちの1種以上を含んでもよい。いくつかの実施例において、スピーカーから出力された音声の伝播方式に基づいて、スピーカー150は、空気伝導スピーカー及び/又は骨伝導スピーカーを含んでもよい。いくつかの実施例において、スピーカー150の数は、1つ以上であってもよい。スピーカー150の数が1つである場合、該スピーカー150は、環境ノイズを除去するようにノイズ低減音波を出力し、かつユーザが聴取する必要がある音声情報(例えば、機器メディアオーディオ、通話遠端オーディオ)をユーザに伝達してもよい。例えば、スピーカー150は、数が1つであり、かつ空気伝導スピーカーである場合、該空気伝導スピーカーは、環境ノイズを除去するようにノイズ低減音波を出力してもよい。このような場合、ノイズ低減音波は、音波信号(すなわち、空気の振動)であってもよく、該音波信号は、空気を介して目標空間位置(例えば、ユーザの外耳道)に伝達されて、環境ノイズと相殺されてもよい。それとともに、該空気伝導スピーカーは、さらに、ユーザが聴取する必要がある音声情報をユーザに伝達してもよい。また例えば、スピーカー150は、数が1つであり、かつ骨伝導スピーカーである場合、該骨伝導スピーカーは、環境ノイズを除去するようにノイズ低減音波を出力してもよい。このような場合、ノイズ低減音波は、振動信号(例えば、スピーカーハウジングの振動)であってもよく、該振動信号は、骨格又は組織を介してユーザの基底膜に伝達されて、ユーザの基底膜で環境ノイズと相殺されてもよい。それとともに、該骨伝導スピーカーは、さらに、ユーザが聴取する必要がある音声情報をユーザに伝達してもよい。スピーカー150の数が複数である場合、複数のスピーカー150のうちの一部は、環境ノイズを除去するようにノイズ低減音波を出力してもよく、別の一部は、ユーザが聴取する必要がある音声情報(例えば、機器メディアオーディオ、通話遠端オーディオ)をユーザに伝達してもよい。例えば、スピーカー150は、数が複数であり、かつ骨伝導スピーカー及び空気伝導スピーカーを含む場合、空気伝導スピーカーは、環境ノイズを低減するか又は除去するように音波を出力してもよく、骨伝導スピーカーは、ユーザが聴取する必要がある音声情報をユーザに伝達してもよい。空気伝導スピーカーに比べると、骨伝導スピーカーは、機械的振動を直接的にユーザの身体(例えば、骨格、皮膚組織など)を介してユーザの聴覚神経に伝達してもよく、この過程において環境ノイズをピックアップする空気伝導マイクロホンへの干渉が小さい。
【0024】
なお、スピーカー150は、独立した機能デバイスであってもよく、複数の機能を実現できる単一のデバイスの一部であってもよい。単なる例として、スピーカー150は、信号プロセッサ140と一体に集積され、及び/又は一体に形成されてもよい。いくつかの実施例において、スピーカー150の数が複数である場合、複数のスピーカー150の配列方式は、線形アレイ(例えば、直線状、曲線状)、平面アレイ(例えば、十字形、網状、円形、環状、多角形などの規則的な形状及び/又は不規則な形状)、立体アレイ(例えば、円柱状、球状、半球状、多面体など)など、又はそれらの任意の組み合わせを含んでもよく、本明細書において限定されない。いくつかの実施例において、スピーカー150は、ユーザの左耳及び/又は右耳に設置されてもよい。例えば、スピーカー150は、第1サブスピーカー及び第2サブスピーカーを含んでもよい。第1サブスピーカーは、ユーザの左耳に位置してもよく、第2サブスピーカーは、ユーザの右耳に位置してもよい。第1サブスピーカーと第2サブスピーカーは、同時に動作状態に入ってもよく、両者のうちの1つは、動作状態に入ってもよい。いくつかの実施例において、スピーカー150は、指向性音場を有するスピーカーであってもよく、そのメインローブは、ユーザの外耳道に向けられる。
【0025】
いくつかの実施例において、信号ピックアップの一致性を保証するために、第1マイクロホンアレイ130のうちのすべてのマイクロホンは、いずれも、オープン型音響装置100におけるスピーカー150の影響を受けないか又は受けにくい位置に位置する。いくつかの実施例において、スピーカー150は、少なくとも1組の音響双極子を形成してもよい。例えば、スピーカー150の振動膜の前面と振動膜の背面は、2つの音源と見なされてもよく、位相がほぼ逆であり、振幅がほぼ同じである1組の音声信号を出力してもよい。該2つの音源は、音響双極子又は類似の音響双極子を構成してもよく、それらから外部へ放出された音声は、明らかな指向性を有する。理想的には、2つの点音源を結んだ線が位置する直線方向において、スピーカーから放出された音声が大きく、他の方向に放出された音声が明らかに小さくなり、2つの点音源を結んだ線の垂直二等分線(又は垂直二等分線の近傍)の領域においてスピーカー150から放出された音声が最も小さいため、第1マイクロホンアレイ130のうちのすべてのマイクロホンを、スピーカー150の音圧レベルが最も小さい領域、すなわち2つの点音源を結んだ線の垂直二等分線(又は垂直二等分線の近傍)の領域に配置してもよい。
【0026】
いくつかの実施例において、オープン型音響装置100は、第2マイクロホンアレイ160を含んでもよい。いくつかの実施例において、第2マイクロホンアレイ160は、2つ以上のマイクロホンを有してもよく、マイクロホンは、骨伝導マイクロホン及び空気伝導マイクロホンを含んでもよい。いくつかの実施例において、第2マイクロホンアレイ160は、少なくとも部分的に第1マイクロホンアレイ130と区別される。例えば、第2マイクロホンアレイ160のうちのマイクロホンと第1マイクロホンアレイ130のうちのマイクロホンは、数、種類、位置、配列方式などのうちの1種以上が異なる。例えば、いくつかの実施例において、第1マイクロホンアレイ130のうちのマイクロホンの配列方式は、線状であってもよく、第2マイクロホンアレイ160のうちのマイクロホンの配列方式は、円形であってもよい。また例えば、第2マイクロホンアレイ160のうちのマイクロホンは、空気伝導マイクロホンのみを含んでもよく、第1マイクロホンアレイ130は、空気伝導マイクロホン及び骨伝導マイクロホンを含んでもよい。いくつかの実施例において、第2マイクロホンアレイ160のうちのマイクロホンは、第1マイクロホンアレイ130に含まれるいずれか1つ以上のマイクロホンであってもよく、第2マイクロホンアレイ160のうちのマイクロホンは、第1マイクロホンアレイ130のうちのマイクロホンから独立してもよい。第2マイクロホンアレイ160は、環境ノイズ及びノイズ低減音波をピックアップするように構成されてもよい。第2マイクロホンアレイ160によりピックアップされた環境ノイズ及びノイズ低減音波は、信号プロセッサ140に伝達されてもよい。いくつかの実施例において、信号プロセッサ140は、第2マイクロホンアレイ160によりピックアップされた音声信号に基づいて、ノイズ低減信号を更新してもよい。いくつかの実施例において、信号プロセッサ140は、第2マイクロホンアレイ160によりピックアップされた音声信号に基づいて、スピーカー150とユーザの外耳道との間の全体二次経路伝達関数を決定し、かつ、ユーザの外耳道におけるノイズ信号及び全体二次経路伝達関数に基づいて、ノイズ低減信号を推定してもよい。第2マイクロホンアレイ160によりピックアップされた音声信号に基づいてノイズ低減信号を更新する具体的な内容については、本明細書の図8図12及びそれらの関連する説明を参照することができる。
【0027】
いくつかの実施例において、オープン型音響装置100は、固定構造120を含んでもよい。固定構造120は、オープン型音響装置100を、ユーザの耳の近傍にあり、かつユーザの外耳道を塞がない位置に固定するように構成されてもよい。いくつかの実施例において、固定構造120は、オープン型音響装置100のハウジング構造に物理的に接続(例えば、係止、ネジ接続など)されてもよい。いくつかの実施例において、オープン型音響装置100のハウジング構造は、固定構造120の一部であってもよい。いくつかの実施例において、固定構造120は、オープン型音響装置100をユーザの耳の近傍位置によりよく固定し、ユーザの使用中に落下することを防止することができるように、耳掛け、後掛け、弾性バンド、テンプルなどを含んでもよい。例えば、固定構造120は、耳掛けであってもよく、耳掛けは、耳領域の周りに装着されるように構成されてもよい。いくつかの実施例において、耳掛けは、連続的なフック状物であってもよく、弾性的に引っ張られてユーザの耳に装着されてもよく、同時に、耳掛けは、さらに、ユーザの耳介に圧力を印加することにより、オープン型音響装置100をユーザの耳又は頭部の特定の位置にしっかりと固定してもよい。いくつかの実施例において、耳掛けは、不連続的な帯状物であってもよい。例えば、耳掛けは、剛性部分及び可撓性部分を含んでもよい。剛性部分は、剛性材料(例えば、プラスチック又は金属)で製造されてもよく、剛性部分は、物理的な接続(例えば、係止、ネジ接続など)の方式でオープン型音響装置100のハウジング構造に固定されてもよい。可撓性部分は、弾性材料(例えば、布地、複合材料又は/及びクロロプレンゴム)で製造されてもよい。また例えば、固定構造120は、首/肩領域の周りに装着されるように構成されるネックバンドであってもよい。また例えば、固定構造120は、テンプルであってもよく、メガネの一部として、ユーザの耳に掛けられる。
【0028】
いくつかの実施例において、オープン型音響装置100は、ハウジング構造を含んでもよい。ハウジング構造は、オープン型音響装置100の他の部品(例えば、第1マイクロホンアレイ130、信号プロセッサ140、スピーカー150、第2マイクロホンアレイ160など)を支持するように構成されてもよい。いくつかの実施例において、ハウジング構造は、内部が中空の密閉式又は半密閉式構造であってもよく、オープン型音響装置100の他の部品は、ハウジング構造内又は上に位置する。いくつかの実施例において、ハウジング構造の形状は、直方体、円柱体、円錐台などの規則的な形状又は不規則な形状の立体構造であってもよい。ユーザがオープン型音響装置100を装着する場合、ハウジング構造は、ユーザの耳の近傍に位置してもよい。例えば、ハウジング構造は、ユーザの耳介の周側(例えば、前側又は後側)に位置してもよい。また例えば、ハウジング構造は、ユーザの耳に位置してもよいが、ユーザの外耳道を塞がないか又はカバーしない。いくつかの実施例において、オープン型音響装置100は、骨伝導イヤホンであってもよく、ハウジング構造の少なくとも一側は、ユーザの皮膚に接触してもよい。骨伝導イヤホン内の音響ドライバ(例えば、振動スピーカー)は、オーディオ信号を機械的振動に変換し、該機械的振動は、ハウジング構造及びユーザの骨格を介してユーザの聴覚神経に伝達されてもよい。いくつかの実施例において、オープン型音響装置100は、空気伝導イヤホンであってもよく、ハウジング構造の少なくとも一側は、ユーザの皮膚に接触してもよく、接触しなくてもよい。ハウジング構造の側壁に少なくとも1つの音導孔が含まれ、空気伝導イヤホンにおけるスピーカーは、オーディオ信号を空気伝導音声に変換し、該空気伝導音声は、音導孔を介してユーザの耳の方向に放出されてもよい。
【0029】
いくつかの実施例において、オープン型音響装置100は、さらに1つ以上のセンサを含んでもよい。1つ以上のセンサは、オープン型音響装置100の他の部品(例えば、信号プロセッサ140)に電気的に接続されてもよい。1つ以上のセンサは、オープン型音響装置100の物理的位置及び/又は運動情報を取得してもよい。単なる例として、1つ以上のセンサは、慣性測定ユニット(Inertial Measurement Unit、IMU)、全地球測位システム(Global Position System、GPS)、レーダなどを含んでもよい。運動情報は、運動軌跡、運動方向、運動速度、運動加速度、運動角速度、運動に関連する時間情報(例えば、運動開始時間、終了時間)など、又はそれらの任意の組み合わせを含んでもよい。IMUを例とすると、IMUは、微小電気機械システム(Microelectro Mechanical System、MEMS)を含んでもよい。該微小電気機械システムは、多軸加速度計、ジャイロスコープ、磁力計など、又はそれらの任意の組み合わせを含んでもよい。IMUは、物理的位置及び/又は運動情報に基づいて音響装置100を制御することを可能にするように、オープン型音響装置100の物理的位置及び/又は運動情報を検出してもよい。
【0030】
いくつかの実施例において、オープン型音響装置100は、信号送受信機を含んでもよい。信号送受信機は、オープン型音響装置100の他の部品(例えば、信号プロセッサ140)に電気的に接続されてもよい。いくつかの実施例において、信号送受信機は、ブルートゥース(登録商標)、アンテナなどを含んでもよい。オープン型音響装置100は、信号送受信機を介して他の外部機器(例えば、携帯電話、タブレットパーソナルコンピュータ、スマートウォッチ)と通信してもよい。例えば、オープン型音響装置100は、ブルートゥース(登録商標)を介して他の機器と無線通信を行ってもよい。
【0031】
いくつかの実施例において、オープン型音響装置100は、ノイズ低減音波の音圧を調整するインタラクティブモジュールをさらに含んでもよい。いくつかの実施例において、インタラクティブモジュールは、ボタン、ボイスアシスタント、ジェスチャセンサなどを含んでもよい。ユーザは、インタラクティブモジュールを制御することにより、オープン型音響装置100のノイズ低減モードを調整することができる。具体的には、ユーザは、インタラクティブモジュールを制御することにより、ノイズ低減信号の振幅情報を調整(例えば、増幅又は減衰)して、スピーカー150から発するノイズ低減音波の音圧を変更し、さらに異なるノイズ低減効果を達成することができる。単なる例として、ノイズ低減モードは、強いノイズ低減モード、中程度のノイズ低減モード、弱いノイズ低減モードなどを含んでもよい。例えば、ユーザが室内でオープン型音響装置100を装着する場合、外部環境ノイズが小さく、ユーザは、インタラクティブモジュールにより、オープン型音響装置100のノイズ低減モードをオフにしたり、弱いノイズ低減モードに調整したりしてもよい。また例えば、ユーザが街路などの公共の場所を歩行するときにオープン型音響装置100を装着する場合、ユーザは、オーディオ信号(例えば、音楽、ボイス情報)を聴取するとともに、周囲環境に対する一定の感知能力を保持することにより、突発的な状況に対処する必要があり、このとき、ユーザは、インタラクティブモジュール(例えば、ボタン又はボイスアシスタント)により中程度のノイズ低減モードを選択して、周囲環境ノイズ(例えば、警報音、衝突音、自動車のクラクション音など)を残してもよい。また例えば、ユーザが地下鉄又は飛行機などの乗り物に乗る場合、ユーザは、インタラクティブモジュールにより強いノイズ低減モードを選択して、さらに周囲環境ノイズを低減してもよい。いくつかの実施例において、信号プロセッサ140は、さらに、環境ノイズの強度範囲に基づいて、オープン型音響装置100又はオープン型音響装置100に通信接続された端末機器(例えば、携帯電話、スマートウォッチなど)に報知情報を送信することにより、ユーザにノイズ低減モードを調整するように注意してもよい。
【0032】
図2は、本明細書のいくつかの実施例に係るオープン型音響装置100のノイズ低減原理を示す図である。図2に示すように、x(n)は、第1マイクロホンアレイ130が受信した一次ノイズ信号(環境ノイズ信号)であり、P(z)は、一次ノイズ信号が第1マイクロホンアレイ130から外耳道へ伝播される一次経路であり、d(n)は、第2マイクロホンアレイ160へ伝播された一次ノイズ信号であり、W(z)は、アクティブなノイズ低減適応フィルタであり、y(n)は、適応フィルタの出力信号であり、S(z)は、二次音源(ノイズ低減音波)がスピーカー150から外耳道に伝播される全体二次経路であり、y’(n)は、ノイズ低減音波が全体二次経路を経て外耳道に到達する音声であり、e(n)は、ユーザの外耳道における音声である。オープン型音響装置100によるノイズ低減の目的は、外耳道における音声e(n)を最小に低減し、例えば、e(n)=0にすることである。第1マイクロホンアレイ130が信号x(n)を受信する具体的な内容については、後続の図5の関連する説明を参照し、ここでは説明を省略する。いくつかの実施例において、オープン型音響装置100(の信号プロセッサ140)は、第1マイクロホンアレイ130とユーザの外耳道との間の一次経路P(z)と、第1マイクロホンアレイ130が受信した一次ノイズ信号x(n)とに基づいて、ユーザの外耳道におけるノイズ信号を推定することにより、対応するノイズ低減信号を生成してもよく、スピーカー150は、該ノイズ低減信号に基づいてノイズ低減音波を生成する。しかしながら、スピーカー150とユーザの外耳道との間に一定の距離があるため、ユーザの外耳道で受信されたノイズ低減音波とスピーカー150から発するノイズ低減音波との間に差異があり、ノイズ低減効果を低下させる。いくつかの実施例において、オープン型音響装置100は、第2マイクロホンアレイ160によりピックアップされたノイズ低減音波及び環境ノイズに基づいて、スピーカー150と外耳道との間の全体二次経路伝達関数S(z)を決定することにより、全体二次経路伝達関数S(z)に基づいてノイズ低減信号を決定して、ユーザの外耳道で受信されたスピーカー150から発するノイズ低減音波の、ユーザの外耳道におけるノイズに対するノイズ低減能力を向上させ、ユーザの外耳道における音声e(n)を最小に低減することができる。
【0033】
なお、以上の図1及び図2についての説明は、説明の目的で提供されるものにすぎず、本明細書の範囲を限定することを意図するものではない。当業者であれば、本明細書の示唆で様々な変更及び修正を行うことができる。しかしながら、これらの変更及び修正は、本明細書の範囲から逸脱しない。例えば、オープン型音響装置100における1つ以上の素子(例えば、固定構造など)を省略してもよい。いくつかの実施例において、1つの素子は、類似する機能を実現できる他の素子で置き換えられてもよい。例えば、いくつかの実施例において、オープン型音響装置100は、固定構造を含まなくてもよく、オープン型音響装置100のハウジング構造は、ハウジング構造がユーザの耳の近傍に掛けることができるように、円環状、楕円形、(規則的な又は不規則な)多角形、U字形、V字形、半円形などの人間の耳に合わせる形状を有するハウジング構造であってもよい。いくつかの実施例において、1つの素子は、複数のサブ素子に分割されてもよく、複数の素子は、単一の素子に統合されてもよい。
【0034】
図3は、本明細書のいくつかの実施例に係る信号プロセッサ140の例示的な概略構成図である。図3に示すように、信号プロセッサ140は、アナログ-デジタル変換ユニット210、ノイズ推定ユニット220、振幅位相補償ユニット230及びデジタル-アナログ変換ユニット240を含んでもよい。
【0035】
いくつかの実施例において、アナログ-デジタル変換ユニット210は、第1マイクロホンアレイ130又は第2マイクロホンアレイ160から入力された信号をデジタル信号に変換するように構成されてもよい。例えば、第1マイクロホンアレイ130は、環境ノイズをピックアップし、かつピックアップされた環境ノイズを電気信号に変換して信号プロセッサ140に伝達してもよい。第1マイクロホンアレイ130から送信された環境ノイズの電気信号を受信した後、アナログ-デジタル変換ユニット210は、電気信号をデジタル信号に変換してもよい。いくつかの実施例において、アナログ-デジタル変換ユニット210は、第1マイクロホンアレイ130に電気的に接続され、さらに信号プロセッサ140の他の部品(例えば、ノイズ推定ユニット220)に電気的に接続されてもよい。さらに、アナログ-デジタル変換ユニット210は、変換された環境ノイズのデジタル信号をノイズ推定ユニット220に伝達してもよい。
【0036】
いくつかの実施例において、ノイズ推定ユニット220は、受信された環境ノイズのデジタル信号に基づいて、環境ノイズを推定するように構成されてもよい。例えば、ノイズ推定ユニット220は、受信された環境ノイズのデジタル信号に基づいて、目標空間位置(例えば、ユーザの外耳道)における環境ノイズの関連パラメータを推定してもよい。単なる例として、上記パラメータは、目標空間位置(例えば、ユーザの外耳道)におけるノイズ源の方向、振幅、位相など、又はそれらの任意の組み合わせを含んでもよい。いくつかの実施例において、ノイズ推定ユニット220は、第1マイクロホンアレイ130が受信した環境ノイズのデジタル信号に基づいて、ノイズ源の方向を推定し、環境ノイズ(例えば、周波数)、ノイズ源の方向、及び第1マイクロホンアレイ130とユーザの外耳道との位置情報に基づいて、一次経路伝達関数を決定し、次に、環境ノイズ及び一次経路伝達関数に基づいて、ユーザの外耳道におけるノイズ信号を推定してもよい。いくつかの実施例において、ノイズ推定ユニット220は、第2マイクロホンアレイ160によりピックアップされた環境ノイズ及びノイズ低減音波に基づいて、ユーザの外耳道におけるノイズを推定し、かつ、ユーザの外耳道における音声信号に基づいて、ノイズ低減信号を更新してもよい。いくつかの実施例において、ノイズ推定ユニット220は、第2マイクロホンアレイ160によりピックアップされた音声信号に基づいて、スピーカー150とユーザの外耳道との間の全体二次経路伝達関数を決定し、かつ、ユーザの外耳道におけるノイズ信号及び全体二次経路伝達関数に基づいて、ノイズ低減信号を更新してもよい。いくつかの実施例において、ノイズ推定ユニット220は、さらに、第1マイクロホンアレイ130を用いて目標空間位置(例えば、ユーザの外耳道)における音場を推定するように構成されてもよい。いくつかの実施例において、ノイズ推定ユニット220は、信号プロセッサ140の他の部品(例えば、振幅位相補償ユニット230)に電気的に接続されてもよい。さらに、ノイズ推定ユニット220は、推定された環境ノイズの関連パラメータ及び目標空間位置における音場を振幅位相補償ユニット230に伝達してもよい。
【0037】
いくつかの実施例において、振幅位相補償ユニット230は、目標空間位置における音場に基づいて、推定された環境ノイズの関連パラメータを補償するように構成されてもよい。例えば、振幅位相補償ユニット230は、ユーザの外耳道における音場に基づいて、環境ノイズの振幅及び位相を補償してもよく、信号プロセッサ140は、振幅位相補償ユニット230により補償された環境ノイズに基づいて、デジタルノイズ低減信号を生成する。いくつかの実施例において、振幅位相補償ユニット230は、環境ノイズの振幅を調整し、かつ環境ノイズの位相に対して逆補償を行ってもよく、信号プロセッサ140は、振幅位相補償ユニット230により補償された環境ノイズに基づいて、デジタルノイズ低減信号を生成する。デジタルノイズ低減信号の振幅は、環境ノイズに対応するデジタル信号の振幅とほぼ等しくてもよく、デジタルノイズ低減信号の位相は、環境ノイズに対応するデジタル信号の位相とほぼ逆であってもよい。いくつかの実施例において、振幅位相補償ユニット230は、信号プロセッサ140の他の部品(例えば、デジタル-アナログ変換ユニット240)に電気的に接続されてもよい。さらに、振幅位相補償ユニット230は、デジタルノイズ低減信号をデジタル-アナログ変換ユニット240に伝達してもよい。
【0038】
いくつかの実施例において、デジタル-アナログ変換ユニット240は、デジタルノイズ低減信号をアナログ信号に変換してノイズ低減信号(例えば、電気信号)を取得するように構成されてもよい。単なる例として、デジタル-アナログ変換ユニット240は、パルス幅変調(Pulse Width Modulation、PMW)を含んでもよい。いくつかの実施例において、デジタル-アナログ変換ユニット240は、オープン型音響装置100の他の部品(例えば、スピーカー150)に電気的に接続されてもよい。さらに、デジタル-アナログ変換ユニット240は、ノイズ低減信号をスピーカー150に伝達してもよい。
【0039】
いくつかの実施例において、信号プロセッサ140は、信号増幅ユニット250を含んでもよい。信号増幅ユニット250は、入力された信号を増幅するように構成されてもよい。例えば、信号増幅ユニット250は、第1マイクロホンアレイ130から入力された信号を増幅してもよい。単なる例として、オープン型音響装置100が通話状態にある場合、信号増幅ユニット250は、第1マイクロホンアレイ130から入力された、ユーザが話している音声を増幅してもよい。いくつかの実施例において、信号増幅ユニット250は、オープン型音響装置100又は信号プロセッサ140の他の部品(例えば、第1マイクロホンアレイ130、ノイズ推定ユニット220、振幅位相補償ユニット230)に電気的に接続されてもよい。
【0040】
なお、以上の図3についての説明は、説明の目的で提供されるものにすぎず、本明細書の範囲を限定することを意図するものではない。当業者であれば、本明細書の示唆で様々な変更及び修正を行うことができる。いくつかの実施例において、信号プロセッサ140における1つ以上の部品(例えば、信号増幅ユニット250)を省略してもよい。いくつかの実施例において、信号プロセッサ140における1つの部品は、複数のサブ部品に分割されてもよく、複数の部品は、単一の部品に統合されてもよい。例えば、ノイズ推定ユニット220及び振幅位相補償ユニット230は、ノイズ推定ユニット220及び振幅位相補償ユニット230の機能を実現する1つの部品に統合されてもよい。これらの変更及び修正は、本明細書の範囲から逸脱しない。
【0041】
図4は、本明細書のいくつかの実施例に係るノイズ低減過程の例示的なフローチャートである。図4に示すように、プロセス400は、以下のステップ410~ステップ450を含んでもよい。
【0042】
ステップ410では、環境ノイズをピックアップする。
【0043】
いくつかの実施例において、該ステップは、第1マイクロホンアレイ130により実行されてもよい。
【0044】
上記図1図2の関連する説明から分かるたように、環境ノイズとは、ユーザが位置する環境における複数種の外部音声(例えば、交通ノイズ、工業ノイズ、建築工事ノイズ、社会ノイズ)の組み合わせを指してもよい。いくつかの実施例において、第1マイクロホンアレイ130は、ユーザの外耳道の近傍位置に位置してもよく、環境ノイズが第1マイクロホンアレイ130に伝達された場合、第1マイクロホンアレイ130のうちの各マイクロホンは、それぞれピックアップされた環境ノイズ信号を電気信号に変換し、かつ信号処理のために信号プロセッサ140に伝達してもよい。
【0045】
ステップ420では、環境ノイズに基づいて、第1マイクロホンアレイ130とユーザの外耳道との間の一次経路伝達関数を決定する。
【0046】
いくつかの実施例において、該ステップは、信号プロセッサ140により実行されてもよい。
【0047】
第1マイクロホンアレイ130は、ピックアップされた、異なる方向及び異なる種類の環境ノイズを電気信号に変換して信号プロセッサ140に伝達してもよく、信号プロセッサ140は、環境ノイズに対応する電気信号を分析することにより、第1マイクロホンアレイ130からユーザの外耳道への一次経路伝達関数を計算してもよい。一次経路伝達関数は、環境ノイズを第1マイクロホンアレイ130からユーザの外耳道に伝達する位相周波数応答を含んでもよい。信号プロセッサ140は、第1マイクロホンアレイ130が受信しした環境ノイズ及び一次経路伝達関数に基づいて、ユーザの外耳道におけるノイズを決定してもよい。一次経路伝達関数の例については、図5の説明を参照する。図5は、本明細書のいくつかの実施例に係る、例示的なオープン型音響装置による環境ノイズの伝達の概略図である。図5に示すように、いくつかの実施例において、第1マイクロホンアレイ130は、2つ以上のマイクロホンを有してもよく、ユーザがオープン型音響装置を装着する場合、オープン型音響装置100は、ユーザの耳の近傍(例えば、ユーザの耳介の前側の顔領域、ユーザの耳介又はユーザの耳介の後側など)に位置してもよく、それに対応して、このとき、第1マイクロホンアレイ130のうちの2つ以上のマイクロホンは、ユーザの耳の近傍(例えば、ユーザの耳介の前側の顔領域、ユーザの耳介又はユーザの耳介の後側など)に位置してもよく、第1マイクロホンアレイ130は、様々な方向からの環境ノイズをピックアップしてもよい。図5に示される1、2、及び3は、第1マイクロホンアレイ130のうちの3つのマイクロホンを示し、黒丸は、外耳道を示し、実線矢印は、異なる方向からの環境ノイズ信号を示す。破線矢印は、第1マイクロホンアレイ130から外耳道への一次経路伝達関数を示す。図5から分かるように、異なる方向からの2つの環境ノイズ信号(図5に示される信号1と信号2)がマイクロホン3に到達するときに信号が同じであっても、外耳道に到達した信号が異なり、例えば、信号1と信号2の外耳道における位相が異なる。第1マイクロホンアレイ130とユーザの外耳道との間の一次経路伝達関数を決定することにより、第1マイクロホンアレイ130によりピックアップされた環境ノイズをユーザの外耳道口におけるノイズに変換して、ユーザの外耳道口におけるノイズ低減をより正確に実現してもよい。一次経路伝達関数を決定する具体的な内容については、後続の図6図7及びそれらの関連する説明を参照する。
【0048】
ステップ430では、環境ノイズ及び一次経路伝達関数に基づいて、ユーザの外耳道におけるノイズ信号を推定する。
【0049】
いくつかの実施例において、該ステップは、信号プロセッサ140により実行されてもよい。
【0050】
ユーザの外耳道におけるノイズ信号とは、環境ノイズのユーザの外耳道における音場を指す。いくつかの実施例において、外耳道における音場とは、音波の外耳道口又は外耳道口の近傍での分布及び変化(例えば、経時変化、位置に伴う変化)を指してもよい。音場を説明するための物理量は、音圧、音声の周波数、音声の振幅、音声の位相、音源の振動速度、又は媒質(例えば、空気)の密度などを含んでもよい。いくつかの実施例において、音場の物理量は、位置と時間の関数であってもよい。オープン型音響出力装置は、ユーザの外耳道の近傍に位置し、外耳道を塞がないため、外部環境ノイズの伝播経路は、まず第1マイクロホンアレイ130のうちのマイクロホンにより収集し、次にユーザの外耳道に伝達するものと見なされてもよい。ユーザの外耳道におけるノイズ信号を正確に決定するために、いくつかの実施例において、第1マイクロホンアレイ130によりピックアップされた環境ノイズ及び一次経路伝達関数に基づいて、ユーザの外耳道におけるノイズ信号を推定してもよい。具体的には、信号プロセッサ140は、第1マイクロホンアレイ130によりピックアップされた環境ノイズの関連パラメータ(例えば、振幅、位相など)と、第1マイクロホンアレイ130を経て外耳道に伝達された一次経路伝達関数とに基づいて、外耳道口におけるノイズ信号を推定してもよい。
【0051】
ステップ440では、ユーザの外耳道におけるノイズ信号に基づいて、ノイズ低減信号を生成する。
【0052】
いくつかの実施例において、該ステップは、信号プロセッサ140により実行されてもよい。
【0053】
いくつかの実施例において、信号プロセッサ140は、ステップ430において取得された外耳道におけるノイズ信号に基づいて、ノイズ低減信号を生成してもよい。オープン型音響装置のノイズ低減効果を保証するために、いくつかの実施例において、ノイズ低減信号の位相がユーザの外耳道におけるノイズ信号の位相と逆であるか又はほぼ逆であり、ノイズ低減信号の振幅が外耳道口におけるノイズの振幅と等しいか又はほぼ等しく、これにより、スピーカーがノイズ低減信号に基づいて出力したノイズ低減音波は、ユーザの外耳道における環境ノイズと相殺されてもよい。いくつかの実施例において、ユーザは、さらに、使用シナリオに応じてノイズ低減信号のパラメータ情報(例えば、位相、振幅など)を手動で調整してもよい。単なる例示的な説明として、いくつかの実施例において、ノイズ低減信号の位相と外耳道におけるノイズ信号の位相との位相差の絶対値は、予め設定された位相範囲内にあってもよい。いくつかの実施例において、予め設定された位相範囲は、90~180度の範囲内にあってもよい。ノイズ低減信号の位相と外耳道におけるノイズ信号の位相との位相差の絶対値は、ユーザの需要に応じて該範囲内で調整されてもよい。例えば、ユーザは、周囲環境の音声によって邪魔されることを望まない場合、該位相差の絶対値は、大きい値、例えば180度であってもよく、すなわち、ノイズ低減信号の位相は、外耳道口におけるノイズの位相と逆である。また例えば、ユーザは、周囲環境に対する感受性を保持することを望む場合、例えば、ユーザが大通りを横切るか又はサイクリング状態にある場合、該位相差の絶対値は、小さい値、例えば90度であってもよい。なお、ユーザが受信したい周囲環境の音声が多いほど、該位相差の絶対値が90度に近くてもよく、位相差の絶対値が90度に近いほど、ノイズ低減信号とユーザの外耳道におけるノイズ信号との相殺及び重畳効果がいずれも低くなることにより、ユーザは、ユーザの外耳道に聞こえるノイズ信号の音量を増加させることなく、多い周囲環境の音声を受信することができる。ユーザが受信したい周囲環境の音声が少ないほど、該位相差の絶対値は、180度に近くてもよい。いくつかの実施例において、ノイズ低減信号の位相と外耳道口におけるノイズの位相が一定の条件(例えば、位相が逆であること)を満たす場合、外耳道口におけるノイズの振幅と該ノイズ低減信号の振幅との差は、予め設定された振幅範囲内にあってもよい。例えば、ユーザは、周囲環境の音声によって邪魔されることを望まない場合、該振幅差は、小さい値、例えば0dBであってもよく、すなわち、ノイズ低減信号の振幅は、外耳道口におけるノイズの振幅と等しい。また例えば、ユーザは、周囲環境に対する感受性を保持することを望む場合、該振幅差は、大きい値であってもよく、例えば、外耳道口におけるノイズの振幅とほぼ等しい。なお、ユーザが受信したい周囲環境の音声が多いほど、該振幅差が外耳道におけるノイズの振幅に近くてもよく、ユーザが受信したい周囲環境の音声が少ないほど、該振幅差が0dBに近くてもよい。
【0054】
ステップ450では、ノイズ低減音波をノイズ低減信号に基づいて出力する。
【0055】
いくつかの実施例において、該ステップは、スピーカー150により実行されてもよい。
【0056】
いくつかの実施例において、スピーカー150は、スピーカー150における振動アセンブリによりノイズ低減信号(例えば、電気信号)をノイズ低減音波に変換してもよく、該ノイズ低減音波は、ユーザの外耳道における環境ノイズと相殺されてもよい。例えば、環境ノイズが第1環境ノイズである場合、環境ノイズは、該第1環境ノイズのユーザの外耳道における音場である。また例えば、環境ノイズが複数ある場合、環境ノイズは、第1環境ノイズ及び第2環境ノイズを含み、環境ノイズとは、第1環境ノイズ及び第2環境ノイズのユーザの外耳道における音場を指す。いくつかの実施例において、スピーカー150は、ノイズ低減信号に基づいて、ユーザの外耳道における音場に対応する目標信号を出力してもよい。いくつかの実施例において、外耳道におけるノイズが複数の環境ノイズである場合、スピーカー150は、ノイズ低減信号に基づいて、複数の環境ノイズに対応するノイズ低減音波を出力してもよい。例えば、複数の環境ノイズが第1環境ノイズ及び第2環境ノイズを含む場合、スピーカー150は、第1環境ノイズを相殺するように、第1環境ノイズとはノイズ位相がほぼ逆であり、振幅がほぼ等しい第1ノイズ低減音波を出力し、第2環境ノイズを相殺するように、第2環境ノイズとはノイズ位相がほぼ逆であり、振幅がほぼ等しい第2ノイズ低減音波を出力してもよい。いくつかの実施例において、スピーカー150が空気伝導スピーカーである場合、ノイズ低減音波と環境ノイズが相殺する位置は、外耳道の近傍の位置であってもよい。外耳道の近傍の位置とユーザの外耳道との間の間隔が小さく、外耳道口の近傍におけるノイズは、近似的にユーザの外耳道の位置におけるノイズと見なされてもよいため、ノイズ低減音波と外耳道の近傍におけるノイズとの相殺は、ユーザの外耳道に伝達された環境ノイズの除去と近似してもよく、これにより、オープン型音響装置100のアクティブなノイズ低減を実現する。いくつかの実施例において、スピーカー150が骨伝導スピーカーである場合、ノイズ低減音波と環境ノイズが相殺する位置は、基底膜であってもよい。ノイズ低減音波がユーザの基底膜で環境ノイズと相殺されることにより、オープン型音響装置100のアクティブなノイズ低減を実現する。
【0057】
いくつかの実施例において、信号プロセッサ140は、さらに、ユーザによる手動入力に基づいてノイズ低減信号を更新してもよい。例えば、ユーザは、騒々しい外部環境でオープン型音響装置100を装着して音楽を再生する場合、ユーザ自身の聴覚体験効果が理想的ではないと、ユーザは、自身の聴覚効果に基づいて、ノイズ低減信号のパラメータ情報(例えば、周波数情報、位相情報、振幅情報)を手動で調整してもよい。また例えば、特別なユーザ(例えば、聴力に障害のあるユーザ又は高齢ユーザ)がオープン型音響装置100を使用する過程において、特別なユーザの聴力と一般ユーザの聴力との間に差異があるため、オープン型音響装置100自体が生成したノイズ低減信号は、特別なユーザの需要を満たすことができず、特別なユーザの聴覚体験が悪くなる。このような場合、いくつかのノイズ低減信号のパラメータ情報のための調整倍数を予め設定してもよく、特別なユーザは、自身の聴覚効果と、予め設定されたノイズ低減信号のパラメータ情報のための調整倍数とに基づいて、ノイズ低減信号を調整することにより、ノイズ低減信号を更新して特別なユーザの聴覚体験を向上させることができる。いくつかの実施例において、ユーザは、オープン型音響装置100上のキーによりノイズ低減信号を手動で調整してもよい。別の実施例において、ユーザは、端末機器によりノイズ低減信号を調整してもよい。具体的には、オープン型音響装置100、又はオープン型音響装置100に通信接続された外部機器(例えば、携帯電話、タブレットパーソナルコンピュータ、コンピュータ)に、ユーザに提案するためのノイズ低減信号のパラメータ情報を表示してもよく、ユーザは、自身の聴覚体験状況に応じてパラメータ情報の微調整を行ってもよい。
【0058】
なお、上記プロセス400についての説明は、例示及び説明のためのものにすぎず、本明細書の適用範囲を限定するものではない。当業者であれば、本明細書の示唆でプロセス400に対して様々な修正及び変更を行うことができる。例えば、プロセス400のステップを追加したり、省略したり、組み合わせたりしてもよい。また例えば、さらに環境ノイズに対して信号処理(例えば、フィルタリング処理など)を行ってもよい。しかしながら、これらの修正及び変更は、依然として本明細書の範囲内にある。
【0059】
図6は、本明細書のいくつかの実施例に係る、第1マイクロホンアレイ130とユーザの外耳道との間の一次経路伝達関数を決定する例示的なフローチャートである。いくつかの実施例において、ステップ420は、図6に示されるプロセスにより実現されてもよい。図6に示すように、プロセス600は、以下のステップ610及びステップ620を含んでもよい。
【0060】
ステップ610では、環境ノイズに基づいて、ノイズ源の方向を推定する。
【0061】
いくつかの実施例において、該ステップは、信号プロセッサ140により実行されてもよい。
【0062】
第1マイクロホンアレイ130は、ピックアップされた、異なる方向及び異なる種類の環境ノイズを電気信号に変換して信号プロセッサ140に伝達してもよく、信号プロセッサ140は、環境ノイズに対応する電気信号を分析し、ノイズ定位アルゴリズムによりノイズ源の方向を推定してもよい。
【0063】
いくつかの実施例において、ノイズ定位アルゴリズムは、ビームフォーミングアルゴリズム、超解像空間スペクトル推定アルゴリズム、到達時間差アルゴリズム(時間遅延推定アルゴリズムと呼ばれてもよい)などのうちの1種以上を含んでもよい。ビームフォーミングアルゴリズムは、最大出力電力に基づくステアリングビームフォーミングの音源定位方法である。単なる例として、ビームフォーミングアルゴリズムは、ステアリング応答電力位相変換(Steering Response Power-Phase Transform、SRP-PHAT)アルゴリズム、遅延和ビームフォーミング(delay-and-sum beamforming)、差動マイクロホンアルゴリズム、一般化サイドローブキャンセラ(Generalized Sidelobe Canceller、GSC)アルゴリズム、最小分散無歪応答(Minimum Variance Distortionless Response、MVDR)アルゴリズムなどを含んでもよい。超解像空間スペクトル推定アルゴリズムは、自己回帰ARモデル、最小分散スペクトル推定(MV)及び固有値分解方法(例えば、多重信号分類(Multiple Signal Classification、MUSIC)アルゴリズム)などを含んでもよく、これらの方法は、いずれも、マイクロホンアレイによりピックアップされた環境ノイズを取得することにより空間スペクトルの相関行列を計算し、かつ環境ノイズ源の方向を効果的に推定することができる。到達時間差アルゴリズムは、まず音声の到達時間差を推定し、かつ当該到達時間差からマイクロホンアレイのうちのマイクロホンの間の音声遅延(Time Difference Of Arrival、TDOA)を取得し、次に、取得された音声の到達時間差を使用し、既知のマイクロホンアレイの空間位置と組み合わせて、環境ノイズ源の方向をさらに定位することができる。
【0064】
例えば、時間遅延推定アルゴリズムは、環境ノイズ信号がマイクロホンアレイのうちの異なるマイクロホンに伝達された時間差を計算することにより、さらに幾何学的関係によりノイズ源の位置を決定することができる。また例えば、SRP-PHATアルゴリズムは、各ノイズ源の方向にビームフォーミングを行うことにより、ビームエネルギーが最も強い方向を近似的にノイズ源の方向として考えることができる。また例えば、MUSICアルゴリズムは、マイクロホンアレイによりピックアップされた環境ノイズ信号の共分散行列に対して固有値分解を行うことで、環境ノイズ信号の部分空間を取得することにより、環境ノイズの方向を分離することができる。また例えば、いくつかの実施例において、信号プロセッサ140は、ピックアップされた環境ノイズを、特定の周波数帯域幅(例えば、500Hz毎に1つの周波数帯域とする)に従って、異なる周波数範囲にそれぞれ対応できる複数の周波数帯域に分割し、かつ少なくとも1つの周波数帯域上で該周波数帯域に対応する環境ノイズを決定してもよい。例えば、信号プロセッサ140は、環境ノイズを分割した周波数帯域に対して信号分析を行って、各周波数帯域に対応する環境ノイズのパラメータ情報を取得してもよい。また例えば、信号プロセッサ140は、ノイズ定位アルゴリズムにより、各周波数帯域に対応する環境ノイズを決定してもよい。
【0065】
ノイズ源の定位原理をより明確に説明するために、以下、ビームフォーミングアルゴリズムを例として、ノイズ源の定位をどのように実現するかを具体的に説明する。マイクロホンアレイが直線状アレイであることを例として、ノイズ源は、遠距離音場音源であってもよく、このとき、ノイズ源がマイクロホンアレイに入射した入射音波が平行であると考えられる。平行な音場において、ノイズ源の入射音波の入射角度がマイクロホンアレイ(例えば、第1マイクロホンアレイ130又は第2マイクロホンアレイ160)におけるマイクロホン平面と垂直である場合、入射音波は、同時にマイクロホンアレイ(例えば、第1マイクロホンアレイ130又は第2マイクロホンアレイ160)のうちの各マイクロホンに到達してもよい。いくつかの実施例において、平行な音場におけるノイズ源の入射音波の入射角度がマイクロホンアレイ(例えば、第1マイクロホンアレイ130又は第2マイクロホンアレイ160)におけるマイクロホン平面と垂直ではない場合、入射音波は、マイクロホンアレイ(例えば、第1マイクロホンアレイ130又は第2マイクロホンアレイ160)のうちの各マイクロホンに到達するときに遅延があり、該遅延は、入射角度により決定されてもよい。いくつかの実施例において、入射角度が異なる場合、重畳後のノイズ波形強度が異なる。例えば、入射角度が0°である場合、ノイズ信号強度が弱く、入射角度が45°である場合、ノイズ信号強度が最も強い。入射角度が異なる場合、ノイズ波形が重畳された後の波形重畳強度が異なるため、マイクロホンアレイが極性を有することにより、マイクロホンアレイの極性パターンを取得することができる。いくつかの実施例において、マイクロホンアレイ(例えば、第1マイクロホンアレイ130又は第2マイクロホンアレイ160)は、指向性アレイであってもよく、該指向性アレイの指向性は、時間領域アルゴリズム又は周波数領域位相遅延アルゴリズム、例えば、遅延、重畳などによって実現されてもよい。いくつかの実施例において、異なる遅延を制御することにより、異なる方向の指向性を実現してもよい。いくつかの実施例において、指向性アレイの指向性制御は、空間フィルタに相当し、まずノイズ定位領域に対してメッシュ分割を行い、次に各メッシュポイントの遅延時間により各マイクロホンに対して時間領域遅延を行い、最終的に各マイクロホンの時間領域遅延を重畳し、各メッシュの音圧を計算することにより、各メッシュの相対音圧を取得して、最終的にノイズ源の定位を実現する。
【0066】
ステップ620では、環境ノイズ、ノイズ源の方向、及び第1マイクロホンアレイ130とユーザの外耳道との位置情報に基づいて、一次経路伝達関数を決定する。
【0067】
いくつかの実施例において、該ステップは、信号プロセッサ140により実行されてもよい。
【0068】
いくつかの実施例において、第1マイクロホンアレイ130とユーザの外耳道との位置情報とは、第1マイクロホンアレイ130のうちのいずれか1つのマイクロホンとユーザの外耳道との間の距離を指す。例えば、第1マイクロホンアレイ130は、第1マイクロホン及び第2マイクロホンを含んでもよく、第1マイクロホンアレイ130とユーザの外耳道との位置情報とは、第1マイクロホンとユーザの外耳道との間の距離を指してもよい。第1マイクロホンは、ユーザの外耳道に最も近いマイクロホン、又は他の位置におけるマイクロホンであってもよい。いくつかの実施例において、環境ノイズ、ノイズ源の方向、及び第1マイクロホンアレイ130とユーザの外耳道との位置情報に基づいて、一次経路伝達関数を決定することは、環境ノイズの周波数、ノイズ源の方向、及び第1マイクロホンアレイとユーザの外耳道との間の距離に基づいて、一次経路伝達関数を決定することを含んでもよい。一次経路伝達関数を決定する具体的な内容については、図7及びその関連する説明を参照する。図7は、本明細書のいくつかの実施例に係る、第1マイクロホンアレイ130から外耳道口への一次経路伝達関数を決定する概略図である。図7に示すように、第1マイクロホンアレイ130は、マイクロホン710、マイクロホン720及びマイクロホン730を含んでもよく、マイクロホン710、マイクロホン720及びマイクロホン730は、ユーザの外耳道の近傍に位置する。第1マイクロホンアレイ130と外耳道口との間の距離は、マイクロホン710とユーザの外耳道口との間の距離dと見なされてもよい。環境ノイズの伝達方向Xの、マイクロホン710と外耳道を結んだ線に対する角度は、θであり、第1マイクロホンアレイ130のうちのマイクロホン710によりピックアップされた環境ノイズの音声信号は、周波数がωであり、振幅がAである場合、第1マイクロホンアレイ130のうちのマイクロホン710を経て外耳道口に伝達された伝達関数は、P(z)=Aexp(-i*2πdcosθ/ω)として表されてもよい。ここで、第1マイクロホンアレイ130のうちのマイクロホン710により、環境ノイズ源の方向などの情報に基づいて、一次経路伝達関数を計算してもよい。なお、一次経路伝達関数を計算する過程において、第1マイクロホンアレイ130のうちのマイクロホン710とそのピックアップしたノイズ信号に限定されず、さらにマイクロホン720又はマイクロホン730とそのピックアップしたノイズ信号であってもよい。
【0069】
なお、上記プロセス600についての説明は、例示及び説明のためのものにすぎず、本明細書の適用範囲を限定するものではない。当業者であれば、本明細書の示唆でプロセス600に対して様々な修正及び変更を行うことができる。しかしながら、これらの修正及び変更は、依然として本明細書の範囲内にある。
【0070】
いくつかの実施例において、スピーカーがノイズ低減信号に基づいて出力したノイズ低減音波がユーザの外耳道口に伝達された後、ノイズ低減音波のパラメータ情報(例えば、位相情報、振幅情報など)が変化するため、ノイズ低減音波は、ユーザの外耳道口におけるノイズと完全に相殺することができない。オープン型音響装置のノイズ低減効果を向上させるために、いくつかの実施例において、オープン型音響装置は、さらに第2マイクロホンアレイを含んでもよい。第2マイクロホンアレイは、環境ノイズ及びノイズ低減音波をピックアップしてもよく、信号プロセッサは、第2マイクロホンアレイによりピックアップされた環境ノイズ及びノイズ低減音波に基づいて、第1空間位置におけるノイズを推定してもよく、信号プロセッサは、さらに第1空間位置における音声信号に基づいてノイズ低減信号を更新する。第1空間位置は、等価的にユーザの外耳道又はユーザの外耳道の近傍の位置と見なされてもよい。いくつかの実施例において、第1空間位置は、第2マイクロホンアレイのうちのいずれか1つのマイクロホンよりもユーザの外耳道に近い。
【0071】
図8は、本明細書のいくつかの実施例に係る、第2マイクロホンアレイ160が動作する場合の例示的なフローチャートである。図8に示すように、プロセス800は、以下のステップ810及びステップ820を含んでもよい。
【0072】
ステップ810では、第2マイクロホンアレイ160によりピックアップされた環境ノイズ及びノイズ低減音波に基づいて、第1空間位置におけるノイズを推定する。
【0073】
いくつかの実施例において、該ステップは、信号プロセッサ140により実行されてもよい。
【0074】
いくつかの実施例において、第1空間位置とは、ユーザの外耳道から特定の距離がある空間位置を指し、該第1空間位置は、第2マイクロホンアレイ160のうちのいずれか1つのマイクロホンよりもユーザの外耳道に近い。ここでの特定の距離は、固定距離、例えば、0.5cm、1cm、2cm、3cmなどであってもよい。いくつかの実施例において、第1空間位置は、第2マイクロホンアレイ160のうちの各マイクロホンのユーザの耳に対する分布位置及び数に関連し、第2マイクロホンアレイ160のうちの各マイクロホンのユーザの耳に対する分布位置及び/又は数を調整することにより、第1空間位置を調整してもよい。例えば、第2マイクロホンアレイ160のうちのマイクロホンの数を増加させることにより、第1空間位置をユーザの外耳道により近くしてもよい。
【0075】
信号プロセッサ140は、第2マイクロホンアレイ160によりピックアップされた環境ノイズ及びノイズ低減音波に基づいて、第1空間位置におけるノイズを推定してもよい。第2マイクロホンアレイ160によりピックアップされた環境ノイズは、異なる方位及び異なる種類の空間ノイズ源からのものであってもよいため、各空間ノイズ源に対応するパラメータ情報(例えば、位相情報、振幅情報)は、異なる。いくつかの実施例において、信号プロセッサ140は、異なる種類のノイズの異なる次元(例えば、空間領域、時間領域、周波数領域など)での統計的分布及び構造化特徴に基づいて、第1空間位置におけるノイズに対して信号の分離及び抽出を行うことにより、異なる種類(例えば、異なる周波数、異なる位相など)のノイズを推定し、かつ各ノイズに対応するパラメータ情報(例えば、振幅情報、位相情報など)を推定してもよい。いくつかの実施例において、信号プロセッサ140は、さらに、第1空間位置における異なる種類のノイズに対応するパラメータ情報に基づいて、第1空間位置におけるノイズの全体パラメータ情報を決定してもよい。いくつかの実施例において、ピックアップされた環境ノイズに基づいて第1空間位置におけるノイズを推定することは、ピックアップされた環境ノイズに関連する1つ以上の空間ノイズ源を決定し、空間ノイズ源に基づいて第1空間位置におけるノイズを推定することをさらに含んでもよい。例えば、ピックアップされた環境ノイズを複数のサブバンドに分割し、各サブバンドは、異なる周波数範囲に対応し、少なくとも1つのサブバンド上で、それに対応する空間ノイズ源を決定する。なお、ここでサブバンドにより推定された空間ノイズ源は、外部の実際のノイズ源に対応する仮想ノイズ源である。
【0076】
オープン型音響装置100は、ユーザの外耳道を塞がず、外耳道にマイクロホンを設置する方式により環境ノイズを取得することができないため、オープン型音響装置100は、第2マイクロホンアレイ160により外耳道における音源を再構成して、第1空間位置における仮想センサを形成することができ、すなわち仮想センサは、第1空間位置にマイクロホンを設置した後に該マイクロホンが収集したオーディオデータを表示するか又はシミュレーションすることができる。仮想センサにより得られたオーディオデータは、第1空間位置に物理センサが配置された後に該物理センサが収集したオーディオデータと近似したり、それと等価であったりしてもよい。第1空間位置は、第2マイクロホンアレイ160により構築された、ユーザの外耳道の位置をシミュレートするための空間領域であり、ユーザの外耳道に伝達された環境ノイズをより正確に推定するために、いくつかの実施例において、第1空間位置は、第2マイクロホンアレイ160のうちのいずれか1つのマイクロホンよりもユーザの外耳道に近い。いくつかの実施例において、第1空間位置は、第2マイクロホンアレイ160のうちの各マイクロホンのユーザの耳に対する分布位置及び数に関連し、第2マイクロホンアレイ160のうちの各マイクロホンのユーザの耳に対する分布位置又は数を調整することにより、第1空間位置を調整してもよい。例えば、第2マイクロホンアレイ160のうちのマイクロホンの数を増加させることにより、第1空間位置をユーザの外耳道により近くしてもよい。また例えば、さらに、第2マイクロホンアレイ160のうちの各マイクロホンの間隔を減少させることにより、第1空間位置をユーザの外耳道により近くしてもよい。また例えば、さらに、第2マイクロホンアレイ160のうちの各マイクロホンの配列方式を変更することにより、第1空間位置をユーザの外耳道により近くしてもよい。
【0077】
信号プロセッサ140は、第2マイクロホンアレイ160によりピックアップされた環境ノイズ及びノイズ低減音波のパラメータ情報(例えば、周波数情報、振幅情報、位相情報など)に基づいて、第1空間位置におけるノイズのパラメータ情報を推定することにより、第1空間位置におけるノイズを推定してもよい。例えば、いくつかの実施例において、ユーザの身体の前方と後方にそれぞれ1つの空間ノイズ源があり、信号プロセッサ140は、前方の空間ノイズ源の周波数情報、位相情報又は振幅情報に基づいて、前方の空間ノイズ源が第1空間位置に伝達された場合の前方の空間ノイズ源の周波数情報、位相情報又は振幅情報を推定してもよい。信号プロセッサ140は、後方の空間ノイズ源の周波数情報、位相情報又は振幅情報に基づいて、後方の空間ノイズ源が第1空間位置に伝達された場合の後方の空間ノイズ源の周波数情報、位相情報又は振幅情報を推定する。信号プロセッサ140は、前方の空間ノイズ源の周波数情報、位相情報又は振幅情報と、後方の空間ノイズ源の周波数情報、位相情報又は振幅情報とに基づいて、第1空間位置におけるノイズ情報を推定することにより、第1空間位置におけるノイズを推定する。いくつかの実施例において、特徴抽出方法により、第2マイクロホンアレイ160によりピックアップされた音声信号の周波数応答曲線から音声信号のパラメータ情報を抽出してもよい。いくつかの実施例において、音声信号のパラメータ情報を抽出する方法は、主成分分析(Principal Components Analysis、PCA)、独立成分分析(Independent Component Algorithm、ICA)、線形判別分析(Linear Discriminant Analysis、LDA)、特異値分解(Singular Value Decomposition、SVD)などを含んでもよいが、これらに限定されない。
【0078】
いくつかの実施例において、ピックアップされた環境ノイズに関連する1つ以上の空間ノイズ源は、ノイズ定位方法(例えば、ビームフォーミングアルゴリズム、超解像空間スペクトル推定アルゴリズム、到達時間差アルゴリズムなど)により決定されてもよい。ノイズ定位アルゴリズムによりノイズ源を定位する具体的な内容については、図6の関連する説明を参照することができ、ここで説明を省略する。
【0079】
ステップ820では、第1空間位置における音声信号に基づいて、ノイズ低減信号を更新する。
【0080】
いくつかの実施例において、該ステップは、信号プロセッサ140により実行されてもよい。
【0081】
いくつかの実施例において、信号プロセッサ140は、ステップ810において得られた第1空間位置におけるノイズ(音場)のパラメータ情報に基づいて、ノイズ低減信号のパラメータ情報(例えば、周波数情報、振幅情報及び/又は位相情報)を調整して、更新後のノイズ低減信号の振幅情報及び周波数情報とユーザの外耳道における環境ノイズの振幅情報及び周波数情報とをより一致させ、かつ更新後のノイズ低減信号の位相情報とユーザの外耳道における環境ノイズの逆位相情報とをより一致させることにより、更新後のノイズ低減信号により環境ノイズをより正確に除去することができる。第2マイクロホンアレイ160は、ノイズ低減信号と環境ノイズとが相殺した後のユーザの外耳道における音場を監視する必要があり、信号プロセッサ140は、第2マイクロホンアレイ160によりピックアップされたノイズ低減音波及び環境ノイズに基づいて、第1空間位置(例えば、外耳道)における音声信号を推定することにより、外耳道におけるノイズ低減音波と環境ノイズとが完全に相殺するか否かを判断することができ、信号プロセッサ140は、第2マイクロホンアレイ160によりピックアップされた音声信号により外耳道における音場を推定してノイズ低減信号を更新して、ノイズ低減効果及びユーザの聴覚体験をさらに向上させることができる。
【0082】
なお、上記プロセス800についての説明は、例示及び説明のためのものにすぎず、本明細書の適用範囲を限定するものではない。当業者であれば、本明細書の示唆でプロセス800に対して様々な修正及び変更を行うことができる。しかしながら、これらの修正及び変更は、依然として本明細書の範囲内にある。
【0083】
オープン型音響装置のスピーカーは、ユーザの外耳道の近傍に位置し、スピーカーがノイズ低減信号に基づいて出力したノイズ低減音波の伝達経路は、スピーカーからユーザの外耳道へ伝達するもの(すなわち、全体二次経路)である。具体的には、スピーカーからユーザの外耳道へ伝達する具体的な経路は、スピーカーから第2マイクロホンアレイへ伝達する第1二次伝達経路と第2マイクロホンアレイからユーザの外耳道へ伝達する第2二次伝達経路とに分けられてもよい。スピーカーがノイズ低減信号(外耳道におけるノイズ信号に基づいて生成したノイズ低減信号)に基づいて生成したノイズ低減音波がユーザの外耳道口に伝達された後、ノイズ低減音波のパラメータ情報(例えば、位相情報、振幅情報など)が変化するため、ノイズ低減音波は、ユーザの外耳道口におけるノイズと完全に相殺することができない。オープン型音響装置のノイズ低減効果を向上させるために、いくつかの実施例において、信号プロセッサは、第2マイクロホンアレイによりピックアップされた音声信号に基づいて、スピーカーとユーザの外耳道との間の全体二次経路伝達関数を決定し、かつスピーカーが生成したノイズ低減音波が外耳道口に伝達された場合にユーザの外耳道口におけるノイズと完全に相殺できるように、全体二次経路伝達関数及びユーザの外耳道におけるノイズに基づいて、ノイズ低減信号を生成してもよい。ユーザの外耳道におけるノイズ信号に基づいてノイズ低減信号を生成する具体的な内容については、図9図12及びそれらの関連する内容を参照することができる。
【0084】
図9は、本明細書のいくつかの実施例に係る、第2マイクロホンアレイ160が動作する場合の他の例示的なフローチャートである。図9に示すように、プロセス900は、以下のステップ910及びステップ920を含んでもよい。
【0085】
ステップ910では、第2マイクロホンアレイ160によりピックアップされた音声信号に基づいて、スピーカー150とユーザの外耳道との間の全体二次経路伝達関数を決定する。
【0086】
いくつかの実施例において、該ステップは、信号プロセッサ140により実行されてもよい。いくつかの実施例において、音声信号をスピーカー150から外耳道へ伝播する伝播経路は、全体二次経路と呼ばれる。全体二次経路伝達関数S(z)とは、音声信号(例えば、スピーカー150から発するノイズ低減音波)をスピーカー150からユーザの外耳道へ伝達する位相周波数応答を指し、全体二次経路の音声信号への影響を反映する。信号プロセッサ140は、全体二次経路伝達関数S(z)及びユーザの外耳道における音声信号に基づいて、ノイズ低減信号を推定してもよい。全体二次経路伝達関数S(z)の具体的な内容については、図11、プロセス1100及びそれらの関連する説明を参照し、ここで説明を省略する。
【0087】
いくつかのノイズ低減シナリオでは、全体二次経路の音声信号への影響を考慮しなければ、スピーカー150から発するノイズ低減音波によるノイズ低減効果が低く、外耳道でスピーカー150から出力されたノイズ低減音波信号が外耳道における環境ノイズ信号と完全に相殺できないことを引き起こす。この問題を改善するために、全体二次経路伝達関数S(z)を計算することにより、スピーカー150から発するノイズ低減音波を補償して、スピーカー150から発するノイズ低減音波によるユーザの外耳道におけるノイズ低減効果を増強する。
【0088】
ステップ920では、ユーザの外耳道におけるノイズ信号及び全体二次経路伝達関数S(z)に基づいて、ノイズ低減信号を推定する。
【0089】
いくつかの実施例において、該ステップは、信号プロセッサ140により実行されてもよい。
【0090】
いくつかの実施例において、信号プロセッサ140は、最終的にスピーカーから発するノイズ低減音波が全体二次経路伝達関数により調整された後に外耳道における環境ノイズと相殺できるように、ステップ910において計算された全体二次経路伝達関数S(z)に基づいてノイズ低減信号を補償してもよい。例えば、信号プロセッサ140は、外耳道における環境ノイズ信号(例えば、音圧、音声の周波数、音声の振幅、音声の位相、音源の振動速度、又は媒質(例えば、空気)の密度など)に基づいて、ノイズ低減信号のパラメータ情報(例えば、周波数情報、振幅情報、位相情報)を調整してもよい。
【0091】
いくつかの実施例において、ステップ920は、ステップ440に含まれてもよい。
【0092】
なお、上記プロセス900についての説明は、例示及び説明のためのものにすぎず、本明細書の適用範囲を限定するものではない。当業者であれば、本明細書の示唆でプロセス900に対して様々な修正及び変更を行うことができる。しかしながら、これらの修正及び変更は、依然として本明細書の範囲内にある。
【0093】
図10は、本明細書のいくつかの実施例に係るノイズ低減信号を推定する例示的なフローチャートであり、すなわち、図10は、ステップ920の例示的なフローチャートを示す。図10に示すように、プロセス1000(ステップ920)は、以下のステップ1010及びステップ1020を含んでもよい。
【0094】
ステップ1010では、ユーザの外耳道におけるノイズ信号に基づいて、ユーザの外耳道におけるノイズ低減音波を推定する。
【0095】
いくつかの実施例において、該ステップは、信号プロセッサ140により実行されてもよい。
【0096】
いくつかの実施例において、ステップ440と類似する方式で実行することにより、ユーザの外耳道におけるノイズ低減信号を推定することにより、ユーザの外耳道におけるノイズ低減音波を推定してもよい。
【0097】
ステップ1020では、ユーザの外耳道におけるノイズ低減音波及び全体二次経路伝達関数S(z)に基づいて、ノイズ低減信号を生成する。
【0098】
いくつかの実施例において、該ステップは、信号プロセッサ140により実行されてもよい。
【0099】
いくつかの実施例において、信号プロセッサ140は、推定されたユーザの外耳道におけるノイズ低減音波(例えば、音圧、音声の周波数、音声の振幅、音声の位相、音源の振動速度、又は媒質(例えば、空気)の密度など)に基づいて、ノイズ低減信号のパラメータ情報(例えば、周波数情報、振幅情報、位相情報)を調整してもよい。
【0100】
なお、上記プロセス1000についての説明は、例示及び説明のためのものにすぎず、本明細書の適用範囲を限定するものではない。当業者であれば、本明細書の示唆でプロセス1000に対して様々な修正及び変更を行うことができる。しかしながら、これらの修正及び変更は、依然として本明細書の範囲内にある。
【0101】
図11は、本明細書のいくつかの実施例に係る全体二次経路伝達関数S(z)を決定する例示的なフローチャートであり、すなわち、図11は、ステップ910の例示的なフローチャートを示す。図11に示すように、プロセス1100(ステップ910)は、以下のステップ1110及びステップ1120を含んでもよい。
【0102】
ステップ1110では、スピーカー150から出力されたノイズ低減音波と、第2マイクロホンアレイ160によりピックアップされた音声信号とに基づいて、スピーカー150と第2マイクロホンアレイ160との間の第1二次経路伝達関数を決定する。
【0103】
いくつかの実施例において、該ステップは、信号プロセッサ140により実行されてもよい。具体的には、音声信号(例えば、スピーカー150から出力されたノイズ低減音波)をスピーカー150から第2マイクロホンアレイ160へ伝播する伝播経路は、第1二次経路と呼ばれる。第1二次経路伝達関数S(z)とは、音声信号(例えば、スピーカー150から発するノイズ低減音波)をスピーカー150から第2マイクロホンアレイ160へ伝達する位相周波数応答を指し、第1二次経路の音声信号への影響を反映する。人の顔は、音波を反射させるため、異なる人への装着方式は、第1二次経路伝達関数に影響を与え、いくつかの実施例において、スピーカー150と第2マイクロホンアレイ160は、それぞれ、出力されたノイズ低減音声信号と、ピックアップされた音声信号を電気信号に変換して信号プロセッサ140に伝達してもよく、信号プロセッサ140は、2つの電気信号を処理し、第1二次経路伝達関数S(z)を計算してもよい。例えば、第1二次経路伝達関数S(z)は、第2マイクロホンアレイ160によりピックアップされた音声信号と、スピーカー150から出力されたノイズ低減音声信号との比として表されてもよい。
【0104】
ステップ1120では、第1二次経路伝達関数に基づいて、全体二次経路伝達関数を決定する。
【0105】
いくつかの実施例において、該ステップは、信号プロセッサ140により実行されてもよい。いくつかの実施例において、信号プロセッサ140は、第1二次経路伝達関数S(z)に基づいて、全体二次経路伝達関数S(z)を計算して決定するように構成される。いくつかの実施例において、第1二次経路伝達関数に基づいて、全体二次経路伝達関数を決定することは、第1二次経路伝達関数に基づいて、第2マイクロホンアレイとユーザの外耳道との間の第2二次経路伝達関数を決定することと、第1二次経路伝達関数及び第2二次経路伝達関数に基づいて、全体二次経路伝達関数を決定することとを含んでもよい。音声信号を第2マイクロホンアレイ160からユーザの外耳道へ伝播する伝播経路は、第2二次経路と呼ばれる。第2二次経路伝達関数S(z)とは、音声信号(例えば、スピーカー150から発するノイズ低減音波)を第2マイクロホンアレイ160からユーザの外耳道へ伝達する位相周波数応答を指し、第2二次経路の音声信号への影響を反映する。第1二次経路伝達関数S(z)と第2二次経路伝達関数S(z)との間に一定の関係(例えば、第2二次経路伝達関数S(z)=f(S(z)))があり、かつ第1二次経路伝達関数S(z)により第2二次経路伝達関数S(z)を決定することができる。いくつかの実施例において、トレーニングが完了した機械学習モデル又は予め設定されたモデルにより、第1二次経路伝達関数に基づいて第2二次経路伝達関数を決定してもよい。具体的には、トレーニングが完了した機械学習モデル又は予め設定されたモデルに第1二次経路伝達関数S(z)を入力することにより、第2二次経路伝達関数S(z)を出力してもよい。いくつかの実施例において、機械学習モデルは、混合ガウスモデル及びディープニューラルネットワークモデルなどのうちのいずれか1種を含んでもよいが、これらに限定されない。
【0106】
いくつかの実施例において、予め設定されたモデルは、手動でテストして統計することにより得られてもよく、このとき、第2二次経路伝達関数S(z)は、第1二次経路伝達関数S(z)により決定されなくてもよい。いくつかの実施例において、ユーザの外耳道を塞ぐことなくユーザの両耳をオープンにするという目的を達成するために、第2マイクロホンアレイ160は、ユーザの外耳道の位置に設置できないため、オープン型音響装置100における第2二次経路伝達関数S(z)は、固定されない。このとき、まず、製品をデバッグする段階において、第2マイクロホンアレイ160の位置に1つ以上の信号発生装置を設置し、外耳道に1つ以上のセンサを設置し、次に、外耳道に設置された1つ以上のセンサにより、信号発生装置から発する音声信号を受信し、最後に、信号発生装置から出力された音声信号と、外耳道に設置された1つ以上のセンサによりピックアップされた音声信号とをそれぞれ電気信号に変換して信号プロセッサ140に伝達してもよく、信号プロセッサ140は、2つの電気信号を分析し、第2二次経路伝達関数S(z)を計算してもよい。さらに、信号プロセッサ140は、第2二次経路伝達関数S(z)と第1二次経路伝達関数S(z)との間の関係S(z)=f(S(z))を計算してもよい。
【0107】
いくつかの実施例において、第1二次経路伝達関数S(z)及び第2二次経路伝達関数S(z)に基づいて、全体二次経路伝達関数S(z)を計算してもよい。例えば、全体二次経路伝達関数、第1二次経路伝達関数S(z)及び第2二次経路伝達関数S(z)がいずれもオープン型音響装置100の周囲環境(例えば、オープン型音響装置100を装着する人の顔)の影響を受けることを考慮すると、全体二次経路伝達関数、第1二次経路伝達関数S(z)及び第2二次経路伝達関数S(z)は、一定の関数関係(例えば、S(z)=f(S(z),S(z)))を満たし、信号プロセッサ140は、該関数関係を呼び出すことにより、実際の使用過程における全体二次経路伝達関数を取得してもよい。
【0108】
なお、上記プロセス1100についての説明は、例示及び説明のためのものにすぎず、本明細書の適用範囲を限定するものではない。当業者であれば、本明細書の示唆でプロセス1100に対して様々な修正及び変更を行うことができる。しかしながら、これらの修正及び変更は、依然として本明細書の範囲内にある。
【0109】
図12は、本明細書のいくつかの実施例に係る、スピーカー150から出力されたノイズ低減音波と、第2マイクロホンアレイ160によりピックアップされた音声信号とに基づいて第1二次経路伝達関数を決定する例示的なフローチャートであり、すなわち、図12は、ステップ1110の例示的なフローチャートを示す。図12に示すように、プロセス1200(ステップ1110)は、以下のステップ1210及びステップ1220を含んでもよい。
【0110】
ステップ1210では、第2マイクロホンアレイ160によりピックアップされた音声信号に基づいて、第2マイクロホンアレイ160によりピックアップされたノイズ低減音波を取得する。
【0111】
いくつかの実施例において、該ステップは、信号プロセッサ140により実行されてもよい。いくつかの実施例において、信号プロセッサ140は、第2マイクロホンアレイ160によりピックアップされた音声信号に基づいて、第2マイクロホンアレイ160によりピックアップされたノイズ低減音波を決定してもよい。ステップ1210の実行方式は、ステップ1010の実行方式と類似するため、ここで説明を省略する。
【0112】
ステップ1220では、スピーカー150から出力されたノイズ低減音波と、第2マイクロホンアレイ160によりピックアップされたノイズ低減音波とに基づいて、第1二次経路伝達関数S(z)を決定する。
【0113】
いくつかの実施例において、該ステップは、信号プロセッサ140により実行されてもよい。信号プロセッサ140は、スピーカー150から発するノイズ低減音波と、第2マイクロホンアレイ160によりピックアップされたノイズ低減音波とに基づいて、スピーカー150から第2マイクロホンアレイ160への第1二次経路伝達関数S(z)を計算してもよい。具体的には、例えば、スピーカー150は、標準音声を再生してもよく、第2マイクロホンアレイ160は、スピーカー150から発する該標準音声信号をピックアップし、信号プロセッサ140は、スピーカー150から発する音声信号の関連パラメータ(例えば、周波数情報、振幅情報、位相情報)と第2マイクロホンアレイ160が受信した該音声信号の関連パラメータ(例えば、周波数情報、振幅情報、位相情報)とを比較することにより、スピーカー150から第2マイクロホンアレイ160への第1二次経路伝達関数S(z)を計算してもよい。いくつかの実施例において、スピーカー150は、第1二次経路伝達関数S(z)を取得するように、報知音を再生してもよく、超低周音波などの、ユーザの注意を喚起しにくい音声信号を再生してもよい。
【0114】
なお、上記プロセス1200についての説明は、例示及び説明のためのものにすぎず、本明細書の適用範囲を限定するものではない。当業者であれば、本明細書の示唆でプロセス1200に対して様々な修正及び変更を行うことができる。しかしながら、これらの修正及び変更は、依然として本明細書の範囲内にある。
【0115】
図13A図13Dは、本明細書のいくつかの実施例に係るマイクロホンアレイ(例えば、第1マイクロホンアレイ130)の例示的な配列方式の概略図である。いくつかの実施例において、マイクロホンアレイの配列方式は、規則的な幾何学的形状であってもよい。図13Aに示すように、マイクロホンアレイは、線形アレイであってもよい。いくつかの実施例において、マイクロホンアレイの配列方式は、他の形状であってもよい。例えば、図13Bに示すように、マイクロホンアレイは、十字形アレイであってもよい。また例えば、図13Cに示すように、マイクロホンアレイは、円形アレイであってもよい。いくつかの実施例において、マイクロホンアレイの配列方式は、不規則な幾何学的形状であってもよい。例えば、図13Dに示すように、マイクロホンアレイは、不規則なアレイであってもよい。なお、マイクロホンアレイの配列方式は、図13A図13Dに示される線形アレイ、十字形アレイ、円形アレイ、及び不規則なアレイに限定されず、他の形状のアレイ、例えば、三角形アレイ、螺旋状アレイ、平面アレイ、立体アレイ、放射型アレイなどであってもよく、本明細書では限定されない。
【0116】
いくつかの実施例において、図13A図13Dにおける各短い実線は、1つのマイクロホン又は1組のマイクロホンと見なされてもよい。各短い実線が1組のマイクロホンと見なされる場合、各組のマイクロホンの数は、同じであっても異なってもよく、各組のマイクロホンの種類は、同じであっても異なってもよく、各組のマイクロホンの向きは、同じであっても異なってもよい。マイクロホンの種類、数及び向きは、実際の適用状況に応じて適応的に調整されてもよく、本明細書では限定されない。
【0117】
いくつかの実施例において、マイクロホンアレイのうちのマイクロホンは、均一に分布してもよい。ここでの均一な分布とは、マイクロホンアレイのうちの任意の隣接する2つのマイクロホンの間の間隔が同じであることを指してもよい。いくつかの実施例において、マイクロホンアレイのうちのマイクロホンは、不均一に分布してもよい。ここでの不均一な分布とは、マイクロホンアレイのうちの任意の隣接する2つのマイクロホンの間の間隔が異なることを指してもよい。マイクロホンアレイのうちのマイクロホンの間の間隔は、実際の状況に応じて適応的に調整されてもよく、本明細書では限定されない。
【0118】
図14A及び図14Bは、本願のいくつかの実施例に係るマイクロホンアレイ(例えば、第1マイクロホンアレイ130)の例示的な配列方式の概略図である。図14Aに示すように、ユーザがマイクロホンアレイを有する音響装置を装着する場合、マイクロホンアレイは、半円形に配列する配列方式で人の耳又はその周囲に設置され、図14Bに示すように、マイクロホンアレイは、線状に配列する配列方式で人の耳に設置される。なお、マイクロホンアレイの配列方式は、図14A及び図14Bに示される半円形及び線状に限定されず、マイクロホンアレイの設置位置も、図14A及び図14Bに示される位置に限定されず、ここでの半円形及び線状とマイクロホンアレイの設置位置は、説明のためのものにすぎない。
【0119】
上記で基本概念を説明してきたが、当業者にとっては、上記詳細な開示は、単なる例として提示されているものに過ぎず、本明細書を限定するものではないことは明らかである。本明細書において明確に記載されていないが、当業者は、本明細書に対して様々な変更、改良及び修正を行うことができる。これらの変更、改良及び修正は、本明細書によって示唆されることが意図されているため、本明細書の例示的な実施例の精神及び範囲内にある。
【0120】
さらに、本明細書の実施例を説明するために、本明細書において特定の用語が使用されている。例えば、「1つの実施例」、「一実施例」、及び/又は「いくつかの実施例」は、本明細書の少なくとも1つの実施例に関連した特定の特徴、構造又は特性を意味する。したがって、本明細書の様々な部分における「一実施例」又は「1つの実施例」又は「1つの代替的な実施例」の2つ以上の言及は、必ずしもすべてが同一の実施例を指すとは限らないことを強調し、理解されたい。また、本明細書の1つ以上の実施例における特定の特徴、構造又は特性は、適切に組み合わせられてもよい。
【0121】
また、当業者には理解されるように、本明細書の各態様は、任意の新規かつ有用なプロセス、機械、製品又は物質の組み合わせ、又はそれらへの任意の新規かつ有用な改良を含む、いくつかの特許可能なクラス又はコンテキストで、例示及び説明され得る。よって、本明細書の各態様は、完全にハードウェアによって実行されてもよく、完全にソフトウェア(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)によって実行されてもよく、ハードウェアとソフトウェアの組み合わせによって実行されてもよい。以上のハードウェア又はソフトウェアは、いずれも「データブロック」、「モジュール」、「エンジン」、「ユニット」、「アセンブリ」又は「システム」と呼ばれてもよい。また、本明細書の各態様は、コンピュータ可読プログラムコードを含む1つ以上のコンピュータ可読媒体に具現化されたコンピュータプログラム製品の形態を取ることができる。
【0122】
コンピュータ記憶媒体は、コンピュータプログラムコードを搬送するための、ベースバンド上で伝播されるか又は搬送波の一部として伝播される伝播データ信号を含んでもよい。該伝播信号は、電磁気信号、光信号又は適切な組み合わせ形態などの様々な形態を含んでもよい。コンピュータ記憶媒体は、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよく、該媒体は、命令実行システム、装置又は機器に接続されることにより、使用されるプログラムの通信、伝播又は伝送を実現することができる。コンピュータ記憶媒体上のプログラムコードは、無線、ケーブル、光ファイバケーブル、RF若しくは類似の媒体、又は上記媒体の任意の組み合わせを含む任意の適切な媒体を介して伝播されてもよい。
【0123】
また、特許請求の範囲に明確に記載されていない限り、本明細書に記載の処理要素又はシーケンスの列挙した順序、英数字の使用、又は他の名称の使用は、本明細書のプロセス及び方法の順序を限定するものではない。上記開示において、発明の様々な有用な実施例であると現在考えられるものを様々な例を通して説明しているが、そのような詳細は、単に説明の目的のためであり、添付の特許請求の範囲は、開示される実施例に限定されないが、逆に、本明細書の実施例の趣旨及び範囲内にあるすべての修正及び等価な組み合わせをカバーするように意図されることを理解されたい。例えば、上述したシステムアセンブリは、ハードウェアデバイスにより実装されてもよいが、ソフトウェアのみのソリューション、例えば、既存のサーバ又はモバイルデバイスに説明されたシステムをインストールすることにより実装されてもよい。
【0124】
同様に、本明細書の実施例の前述の説明では、本明細書を簡略化して、1つ以上の発明の実施例への理解を助ける目的で、様々な特徴が1つの実施例、図面又はその説明にまとめられることがあることを理解されたい。しかしながら、このような開示方法は、特許請求される主題が各請求項で列挙されるよりも多くの特徴を必要とするという意図を反映するものとして解釈されるべきではない。実際に、実施例の特徴は、上記開示された単一の実施例のすべての特徴よりも少ない場合がある。
【0125】
いくつかの実施例において、成分及び属性の数を説明する数字が使用されており、このような実施例を説明するための数字は、いくつかの例において修飾語「約」、「ほぼ」又は「実質的」によって修飾されるものであることを理解されたい。特に明記しない限り、「約」、「ほぼ」又は「実質的」は、上記数字が説明する値の±20%の変動が許容されることを意味する。よって、いくつかの実施例において、明細書及び特許請求の範囲に使用されている数値パラメータは、いずれも特定の実施例に必要な特性に応じて変化し得る近似値である。いくつかの実施例において、数値パラメータについては、規定された有効桁数を考慮すると共に、通常の丸め手法を適用するべきである。本明細書のいくつかの実施例において、その範囲を決定するための数値範囲及びパラメータは近似値であるにもかかわらず、具体的な実施例において、このような数値は可能な限り正確に設定される。
【0126】
本明細書において参照されているすべての特許、特許出願、公開特許公報、及び、論文、書籍、仕様書、刊行物、文書などの他の資料は、本明細書の内容と一致しないか又は矛盾する出願経過文書、及び(現在又は後に本明細書に関連する)本明細書の請求項の最も広い範囲に関して限定的な影響を有し得る文書を除いて、その全体が参照により本明細書に組み込まれる。なお、本明細書の添付資料における説明、定義、及び/又は用語の使用が本明細書に記載の内容と一致しないか又は矛盾する場合、本明細書における説明、定義、及び/又は用語の使用を優先するものとする。
【0127】
最後に、本明細書に記載の実施例は、単に本明細書の実施例の原理を説明するものであることを理解されたい。他の変形例も本明細書の範囲内にある可能性がある。したがって、限定するものではなく、例として、本明細書の実施例の代替構成は、本明細書の教示と一致するように見なされてもよい。よって、本明細書の実施例は、本明細書において明確に紹介して説明された実施例に限定されない。
【符号の説明】
【0128】
100 オープン型音響装置
120 固定構造
130 第1マイクロホンアレイ
140 信号プロセッサ
150 スピーカー
160 第2マイクロホンアレイ
210 アナログ-デジタル変換ユニット
220 ノイズ推定ユニット
230 振幅位相補償ユニット
240 デジタル-アナログ変換ユニット
250 信号増幅ユニット
710、720、730 マイクロホン
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13A
図13B
図13C
図13D
図14A
図14B