IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ シェンチェン ヴォックステック カンパニー リミテッドの特許一覧

特表2024-527782音響装置及びその伝達関数の決定方法
<>
  • 特表-音響装置及びその伝達関数の決定方法 図1
  • 特表-音響装置及びその伝達関数の決定方法 図2
  • 特表-音響装置及びその伝達関数の決定方法 図3
  • 特表-音響装置及びその伝達関数の決定方法 図4
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-07-26
(54)【発明の名称】音響装置及びその伝達関数の決定方法
(51)【国際特許分類】
   G10K 11/178 20060101AFI20240719BHJP
   H04R 1/10 20060101ALI20240719BHJP
【FI】
G10K11/178 100
H04R1/10 101B
H04R1/10 104E
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024502215
(86)(22)【出願日】2022-03-03
(85)【翻訳文提出日】2024-01-15
(86)【国際出願番号】 CN2022079000
(87)【国際公開番号】W WO2023087572
(87)【国際公開日】2023-05-25
(31)【優先権主張番号】202111408329.8
(32)【優先日】2021-11-19
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】521104171
【氏名又は名称】シェンチェン ショックス カンパニー リミテッド
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】ジェン ジンボ
(72)【発明者】
【氏名】ジャン チェンチアン
(72)【発明者】
【氏名】シアオ ロー
(72)【発明者】
【氏名】リャオ フォンユン
(72)【発明者】
【氏名】チー シン
【テーマコード(参考)】
5D005
5D061
【Fターム(参考)】
5D005BB04
5D061FF02
(57)【要約】
本開示の実施形態は、音響装置及びその伝達関数の決定方法を開示する。前記音響装置は、発音ユニット、第1の検出器、プロセッサ及び固定構造を含む。前記発音ユニットは、ノイズ低減制御信号に基づいて、第1の音声信号を生成する。前記第1の検出器は、第1の残留信号をピックアップする。前記第1の残留信号は、前記第1の検出器において環境ノイズと前記第1の音声信号とが重畳された残留ノイズ信号を含む。前記プロセッサは、前記第1の音声信号及び前記第1の残留信号に基づいて、目標空間位置における第2の残留信号を推定し、前記第2の残留信号に基づいて、前記ノイズ低減制御信号を更新する。前記固定構造は、前記音響装置を、前記目標空間位置が前記第1の検出器よりもユーザの外耳道に近いように、前記ユーザの耳の近傍の、かつ前記ユーザの外耳道を塞がない位置に固定する。
【特許請求の範囲】
【請求項1】
音響装置であって、発音ユニット、第1の検出器、プロセッサ及び固定構造を含み、
前記発音ユニットは、ノイズ低減制御信号に基づいて、第1の音声信号を生成し、
前記第1の検出器は、前記第1の検出器において環境ノイズと前記第1の音声信号とが重畳された残留ノイズ信号を含む第1の残留信号をピックアップし、
前記プロセッサは、前記第1の音声信号及び前記第1の残留信号に基づいて、目標空間位置における第2の残留信号を推定し、前記第2の残留信号に基づいて、前記ノイズ低減制御信号を更新し、
前記固定構造は、前記音響装置を、前記目標空間位置が前記第1の検出器よりもユーザの外耳道に近いように、前記ユーザの耳の近傍の、かつ前記ユーザの外耳道を塞がない位置に固定する、音響装置。
【請求項2】
前記第1の音声信号及び前記第1の残留信号に基づいて、目標空間位置における第2の残留信号を推定することは、
前記発音ユニットと前記第1の検出器との第1の伝達関数、前記発音ユニットと前記目標空間位置との第2の伝達関数、環境ノイズ源と前記第1の検出器との第3の伝達関数、及び前記環境ノイズ源と前記目標空間位置との第4の伝達関数を取得することと、
前記第1の伝達関数、前記第2の伝達関数、前記第3の伝達関数、前記第4の伝達関数、前記第1の音声信号及び前記第1の残留信号に基づいて、前記目標空間位置における前記第2の残留信号を推定することと、を含む、請求項1に記載の音響装置。
【請求項3】
前記発音ユニットと前記第1の検出器との第1の伝達関数、前記発音ユニットと前記目標空間位置との第2の伝達関数、環境ノイズ源と前記第1の検出器との第3の伝達関数、及び前記環境ノイズ源と前記目標空間位置との第4の伝達関数を取得することは、
前記第1の伝達関数を取得することと、
前記第1の伝達関数、並びに、前記第1の伝達関数と前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数との各マッピング関係に基づいて、前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数を決定することと、を含む、請求項2に記載の音響装置。
【請求項4】
前記第1の伝達関数と前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数との各マッピング関係は、前記音響装置の異なる装着シーンにおけるテストデータに基づいて生成される、請求項3に記載の音響装置。
【請求項5】
前記発音ユニットと前記第1の検出器との第1の伝達関数、前記発音ユニットと前記目標空間位置との第2の伝達関数、環境ノイズ源と前記第1の検出器との第3の伝達関数、及び前記環境ノイズ源と前記目標空間位置との第4の伝達関数を取得することは、
前記第1の伝達関数を取得することと、
前記第1の伝達関数をトレーニングされたニューラルネットワークに入力し、前記トレーニングされたニューラルネットワークの出力を前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数として取得することと、を含む、請求項2に記載の音響装置。
【請求項6】
前記第1の伝達関数を取得することは、
前記ノイズ低減制御信号及び前記第1の残留信号に基づいて、前記第1の伝達関数を算出することを含む、請求項2~5のいずれか1項に記載の音響装置。
【請求項7】
前記音響装置から前記ユーザの耳までの距離を検出する距離センサをさらに含み、
前記プロセッサは、さらに、前記距離に基づいて、前記第1の伝達関数、前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数を決定する、請求項2に記載の音響装置。
【請求項8】
前記第1の音声信号及び前記第1の残留信号に基づいて、目標空間位置における第2の残留信号を推定することは、
前記発音ユニットと前記第1の検出器との第1の伝達関数、前記発音ユニットと前記目標空間位置との第2の伝達関数、並びに環境ノイズ源、前記第1の検出器及び前記目標空間位置の間の関係を反映する第5の伝達関数を取得することと、
前記第1の伝達関数、前記第2の伝達関数、前記第5の伝達関数、前記第1の音声信号及び前記第1の残留信号に基づいて、前記目標空間位置における前記第2の残留信号を推定することと、を含む、請求項1に記載の音響装置。
【請求項9】
前記第1の伝達関数と前記第2の伝達関数とは、第1のマッピング関係を有し、
前記第5の伝達関数と前記第1の伝達関数とは、第2のマッピング関係を有する、請求項8に記載の音響装置。
【請求項10】
前記第1の音声信号及び前記第1の残留信号に基づいて、目標空間位置における第2の残留信号を推定することは、
前記発音ユニットと前記第1の検出器との第1の伝達関数を取得することと、
前記第1の伝達関数、前記第1の音声信号及び前記第1の残留信号に基づいて、前記目標空間位置における前記第2の残留信号を推定することと、を含む、請求項1に記載の音響装置。
【請求項11】
前記目標空間位置は、前記ユーザの鼓膜位置である、請求項1~10のいずれか1項に記載の音響装置。
【請求項12】
音響装置の伝達関数を決定する方法であって、前記音響装置は、発音ユニット、第1の検出器、プロセッサ及び固定構造を含み、前記固定構造は、前記音響装置を、被験者の耳の近傍の、かつ前記被験者の外耳道を塞がない位置に固定し、前記方法は、
環境ノイズがないシーンにおいて、前記発音ユニットがノイズ低減制御信号に基づいて発した第1の信号と、前記第1の検出器によりピックアップされた第2の信号であって前記第1の信号により前記第1の検出器に伝達された残留ノイズ信号を含む第2の信号と、を取得するステップと、
前記第1の信号及び前記第2の信号に基づいて、前記発音ユニットと前記第1の検出器との第1の伝達関数を決定するステップと、
前記第1の検出器よりも前記被験者の外耳道に近い目標空間位置に設置された第2の検出器によりピックアップされた第3の信号であって前記第1の信号により前記目標空間位置に伝達された残留ノイズ信号を含む前記第3の信号を取得するステップと、
前記第1の信号及び前記第3の信号に基づいて、前記発音ユニットと前記目標空間位置との第2の伝達関数を決定するステップと、
前記環境ノイズがあり、かつ前記発音ユニットが何の信号も送信しないシーンにおいて、前記第1の検出器によりピックアップされた第4の信号と、前記第2の検出器によりピックアップされた第5の信号と、を取得するステップと、
前記環境ノイズ及び前記第4の信号に基づいて、環境ノイズ源と前記第1の検出器との第3の伝達関数を決定するステップと、
前記環境ノイズ及び前記第5の信号に基づいて、前記環境ノイズ源と前記目標空間位置との第4の伝達関数を決定ステップと、を含む方法。
【請求項13】
異なる装着シーン又は異なる被験者に対して複数組の伝達関数を決定するステップであって、各組の伝達関数が、対応する第1の伝達関数、第2の伝達関数、第3の伝達関数及び第4の伝達関数を含む、ステップと、
前記複数組の伝達関数に基づいて、前記第1の伝達関数、前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数の間のマッピング関係を決定するステップと、をさらに含む、請求項12に記載の方法。
【請求項14】
前記複数組の伝達関数に基づいて、前記第1の伝達関数、前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数の間のマッピング関係を決定するステップは、
前記複数組の伝達関数をトレーニングサンプルとして、ニューラルネットワークをトレーニングするステップと、
トレーニングされたニューラルネットワークを前記第1の伝達関数、前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数の間のマッピング関係とするステップと、を含む、請求項13に記載の方法。
【請求項15】
前記第1の伝達関数、前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数の間のマッピング関係は、
前記第1の伝達関数と前記第2の伝達関数との第1のマッピング関係と、
前記第3の伝達関数と前記第4の伝達関数との比と、前記第1の伝達関数との第2のマッピング関係と、を含む、請求項13又は14に記載の方法。
【請求項16】
前記第1の伝達関数は、前記第2の信号と前記第1の信号との比と、正の相関を有し、
前記第2の伝達関数は、前記第3の信号と前記第1の信号との比と、正の相関を有し、
前記第3の伝達関数は、前記第4の信号と前記環境ノイズとの比と、正の相関を有し、
前記第4の伝達関数は、前記第5の信号と前記環境ノイズとの比と、正の相関を有する、請求項12~15のいずれか1項に記載の方法。
【請求項17】
前記複数組の伝達関数に基づいて、前記第1の伝達関数、前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数の間のマッピング関係を決定するステップは、
前記異なる装着シーン又は前記異なる被験者に対して、前記音響装置から対応する前記被験者の耳までの距離を取得するステップと、
前記距離及び前記複数組の伝達関数に基づいて、前記第1の伝達関数、前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数の間のマッピング関係を決定するステップと、を含む、請求項13に記載の方法。
【請求項18】
前記目標空間位置は、前記被験者の鼓膜位置である、請求項12に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、音響の技術分野に関し、特に音響装置及びその伝達関数の決定方法に関する。
【0002】
[参照による援用]
本願は、2021年11月19日に提出された出願番号202111408329.8の中国特許出願の優先権を主張するものであり、その全ての内容は、参照により本明細書に組み込まれるものとする。
【背景技術】
【0003】
従来のイヤホンは、動作時に、アクティブノイズ低減に使用されるフィードバックマイクロホンと目標空間位置(例えば、人の耳の鼓膜)が圧力場に位置し、音場の各位置の音圧分布が均一であると考えられるため、フィードバックマイクロホンにより収集された信号は、人の耳に聞こえる音声を直接的に反映することができる。しかしながら、開放型イヤホンの場合、フィードバックマイクロホンと目標空間位置(例えば、人の耳の鼓膜)が位置する環境は圧力場環境ではないため、フィードバックマイクロホンにより受信された信号は、目標空間位置(例えば、人の耳の鼓膜)における信号を直接的に反映することができなくなり、さらに、スピーカーから発する、アクティブノイズ低減を行うための逆方向音波信号を正確に推定することができず、アクティブノイズ低減の効果が低下し、さらにユーザの聴覚体験を低下させる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
したがって、ユーザの両耳を開放してユーザの聴覚体験を向上させることができる音響装置を提供することが望まれている。
【課題を解決するための手段】
【0005】
本開示の実施形態は、音響装置であって、発音ユニット、第1の検出器、プロセッサ及び固定構造を含み、前記発音ユニットは、ノイズ低減制御信号に基づいて、第1の音声信号を生成し、前記第1の検出器は、前記第1の検出器において環境ノイズと前記第1の音声信号とが重畳された残留ノイズ信号を含む第1の残留信号をピックアップし、前記プロセッサは、前記第1の音声信号及び前記第1の残留信号に基づいて、目標空間位置における第2の残留信号を推定し、前記第2の残留信号に基づいて、前記ノイズ低減制御信号を更新し、前記固定構造は、前記音響装置を、前記目標空間位置が前記第1の検出器よりもユーザの外耳道に近いように、前記ユーザの耳の近傍の、かつ前記ユーザの外耳道を塞がない位置に固定する、音響装置を提供する。
【0006】
いくつかの実施形態において、前記第1の音声信号及び前記第1の残留信号に基づいて、目標空間位置における第2の残留信号を推定することは、前記発音ユニットと前記第1の検出器との第1の伝達関数、前記発音ユニットと前記目標空間位置との第2の伝達関数、環境ノイズ源と前記第1の検出器との第3の伝達関数、及び前記環境ノイズ源と前記目標空間位置との第4の伝達関数を取得することと、前記第1の伝達関数、前記第2の伝達関数、前記第3の伝達関数、前記第4の伝達関数、前記第1の音声信号及び前記第1の残留信号に基づいて、前記目標空間位置における前記第2の残留信号を推定することと、を含む。
【0007】
いくつかの実施形態において、前記発音ユニットと前記第1の検出器との第1の伝達関数、前記発音ユニットと前記目標空間位置との第2の伝達関数、環境ノイズ源と前記第1の検出器との第3の伝達関数、及び前記環境ノイズ源と前記目標空間位置との第4の伝達関数を取得することは、前記第1の伝達関数を取得することと、前記第1の伝達関数、並びに、前記第1の伝達関数と前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数との各マッピング関係に基づいて、前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数を決定することと、を含む。
【0008】
いくつかの実施形態において、前記第1の伝達関数と前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数との各マッピング関係は、前記音響装置の異なる装着シーンにおけるテストデータに基づいて生成される。
【0009】
いくつかの実施形態において、前記発音ユニットと前記第1の検出器との第1の伝達関数、前記発音ユニットと前記目標空間位置との第2の伝達関数、環境ノイズ源と前記第1の検出器との第3の伝達関数、及び前記環境ノイズ源と前記目標空間位置との第4の伝達関数を取得することは、前記第1の伝達関数を取得することと、前記第1の伝達関数をトレーニングされたニューラルネットワークに入力し、前記トレーニングされたニューラルネットワークの出力を前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数として取得することと、を含む。
【0010】
いくつかの実施形態において、前記第1の伝達関数を取得することは、前記ノイズ低減制御信号及び前記第1の残留信号に基づいて、前記第1の伝達関数を算出することを含む。
【0011】
いくつかの実施形態において、前記音響装置は、前記音響装置から前記ユーザの耳までの距離を検出する距離センサをさらに含み、前記プロセッサは、さらに、前記距離に基づいて、前記第1の伝達関数、前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数を決定する。
【0012】
いくつかの実施形態において、前記第1の音声信号及び前記第1の残留信号に基づいて、目標空間位置における第2の残留信号を推定することは、前記発音ユニットと前記第1の検出器との第1の伝達関数、前記発音ユニットと前記目標空間位置との第2の伝達関数、並びに環境ノイズ源、前記第1の検出器及び前記目標空間位置の間の関係を反映する第5の伝達関数を取得することと、前記第1の伝達関数、前記第2の伝達関数、前記第5の伝達関数、前記第1の音声信号及び前記第1の残留信号に基づいて、前記目標空間位置における前記第2の残留信号を推定することと、を含む。
【0013】
いくつかの実施形態において、前記第1の伝達関数と前記第2の伝達関数とは、第1のマッピング関係を有し、前記第5の伝達関数と前記第1の伝達関数とは、第2のマッピング関係を有する。
【0014】
いくつかの実施形態において、前記第1の音声信号及び前記第1の残留信号に基づいて、目標空間位置における第2の残留信号を推定することは、前記発音ユニットと前記第1の検出器との第1の伝達関数を取得することと、前記第1の伝達関数、前記第1の音声信号及び前記第1の残留信号に基づいて、前記目標空間位置における前記第2の残留信号を推定することと、を含む。
【0015】
いくつかの実施形態において、前記目標空間位置は、前記ユーザの鼓膜位置である。
【0016】
また、本開示の実施形態は、音響装置の伝達関数を決定する方法であって、前記音響装置は、発音ユニット、第1の検出器、プロセッサ及び固定構造を含み、前記固定構造は、前記音響装置を、被験者の耳の近傍の、かつ前記被験者の外耳道を塞がない位置に固定し、前記方法は、環境ノイズがないシーンにおいて、前記発音ユニットがノイズ低減制御信号に基づいて発した第1の信号と、前記第1の検出器によりピックアップされた第2の信号であって前記第1の信号により前記第1の検出器に伝達された残留ノイズ信号を含む第2の信号と、を取得するステップと、前記第1の信号及び前記第2の信号に基づいて、前記発音ユニットと前記第1の検出器との第1の伝達関数を決定するステップと、前記第1の検出器よりも前記被験者の外耳道に近い目標空間位置に設置された第2の検出器によりピックアップされた第3の信号であって前記第1の信号により前記目標空間位置に伝達された残留ノイズ信号を含む前記第3の信号を取得するステップと、前記第1の信号及び前記第3の信号に基づいて、前記発音ユニットと前記目標空間位置との第2の伝達関数を決定するステップと、前記環境ノイズがあり、かつ前記発音ユニットが何の信号も送信しないシーンにおいて、前記第1の検出器によりピックアップされた第4の信号と、前記第2の検出器によりピックアップされた第5の信号と、を取得するステップと、前記環境ノイズ及び前記第4の信号に基づいて、環境ノイズ源と前記第1の検出器との第3の伝達関数を決定するステップと、前記環境ノイズ及び前記第5の信号に基づいて、前記環境ノイズ源と前記目標空間位置との第4の伝達関数を決定ステップと、を含む方法を提供する。
【0017】
いくつかの実施形態において、前記方法は、異なる装着シーン又は異なる被験者に対して複数組の伝達関数を決定するステップであって、各組の伝達関数が、対応する第1の伝達関数、第2の伝達関数、第3の伝達関数及び第4の伝達関数を含む、ステップと、前記複数組の伝達関数に基づいて、前記第1の伝達関数、前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数の間のマッピング関係を決定するステップと、をさらに含む。
【0018】
いくつかの実施形態において、前記複数組の伝達関数に基づいて、前記第1の伝達関数、前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数の間のマッピング関係を決定するステップは、前記複数組の伝達関数をトレーニングサンプルとして、ニューラルネットワークをトレーニングするステップと、トレーニングされたニューラルネットワークを前記第1の伝達関数、前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数の間のマッピング関係とするステップと、を含む。
【0019】
いくつかの実施形態において、前記第1の伝達関数、前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数の間のマッピング関係は、前記第1の伝達関数と前記第2の伝達関数との第1のマッピング関係と、前記第3の伝達関数と前記第4の伝達関数との比と、前記第1の伝達関数との第2のマッピング関係と、を含む。
【0020】
いくつかの実施形態において、前記第1の伝達関数は、前記第2の信号と前記第1の信号との比と、正の相関を有し、前記第2の伝達関数は、前記第3の信号と前記第1の信号との比と、正の相関を有し、前記第3の伝達関数は、前記第4の信号と前記環境ノイズとの比と、正の相関を有し、前記第4の伝達関数は、前記第5の信号と前記環境ノイズとの比と、正の相関を有する。
【0021】
いくつかの実施形態において、前記複数組の伝達関数に基づいて、前記第1の伝達関数、前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数の間のマッピング関係を決定するステップは、前記異なる装着シーン又は前記異なる被験者に対して、前記音響装置から対応する前記被験者の耳までの距離を取得するステップと、前記距離及び前記複数組の伝達関数に基づいて、前記第1の伝達関数、前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数の間のマッピング関係を決定するステップと、を含む。
【0022】
いくつかの実施形態において、前記目標空間位置は、前記被験者の鼓膜位置である。
【0023】
本開示の付加的な特徴の一部は、以下の説明において説明することができる。以下の説明及び対応する図面の研究、又は実施形態の製造若しくは動作に対する理解により、本開示の付加的な特徴の一部は、当業者にとって明らかになるであろう。本開示の特徴は、以下の詳細な例に説明される方法、ツール及び組み合わせの様々な態様を実施又は使用することにより実現し、達成することができる。
【0024】
本開示は、例示的な実施形態によってさらに説明され、これらの例示的な実施形態は、図面を参照して詳細に説明される。これらの実施形態は、限定的なものではなく、これらの実施形態において、同じ符号は、同じ構造を表す。
【図面の簡単な説明】
【0025】
図1】本開示のいくつかの実施形態に係る例示的な音響装置の概略構成図である。
図2】本開示のいくつかの実施形態に係る音響装置の装着状態の概略図である。
図3】本開示のいくつかの実施形態に係る音響装置の例示的なノイズ低減方法のフローチャートである。
図4】本開示のいくつかの実施形態に係る音響装置の伝達関数の決定方法の例示的なフローチャートである。
【発明を実施するための形態】
【0026】
本開示の実施形態の技術手段をより明確に説明するために、以下、実施形態の説明に必要な図面を簡単に説明する。明らかに、以下に説明される図面は、本開示のいくつかの例又は実施形態に過ぎず、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて本開示を他の類似するシナリオに適用することができる。これらの例示的な実施形態は、当業者が本開示をよりよく理解して実施することを可能にするためのものに過ぎず、全く本開示の範囲を限定するものではないことを理解されたい。言語環境から明らかではないか又は別に説明しない限り、図中の同じ番号は、同じ構造又は動作を示す。
【0027】
本開示で使用される「システム」、「装置」、「ユニット」及び/又は「モジュール」は、レベルの異なる様々なコンポーネント、エレメント、パーツ、セクション又はアセンブリを区別するための手段であることを理解されたい。しかしながら、他の用語が同じ目的を達成することができれば、上記用語の代わりに他の表現を用いることができる。
【0028】
本開示及び特許請求の範囲に示すように、文脈が明確に別段の指示をしない限り、「1つ」、「1個」、「1種」及び/又は「該」という言葉は、特に単数形を意味するものではなく、複数形を含んでもよい。一般的には、用語「含む」及び「含有する」は、明記されたステップ及び要素を含むことを提示するものに過ぎず、これらのステップ及び要素は、排他的な羅列ではなく、また、方法又は装置も、他のステップ又は要素を含み得る。用語「基づく」は、「少なくとも部分的に基づく」ことを意味する。用語「1つの実施形態」は、「少なくとも1つの実施形態」を示す。用語「別の実施形態」は、「少なくとも1つの別の実施形態」を示す。
【0029】
本開示の説明では、用語「第1」、「第2」、「第3」、「第4」などは、説明の目的のみに用いられるものであり、相対的な重要性を示したり示唆したり、又は示された技術的特徴の数量を黙示的に指定したりするものと理解すべきではない。そのため、「第1」、「第2」、「第3」、「第4」で限定される特徴は、該特徴を少なくとも1つ含むことを明示的又は黙示的に示すことができる。本開示の説明において、別に明確かつ具体的な限定がない限り、「複数」は、少なくとも2つを意味し、例えば2つ、3つなどである。
【0030】
本開示において、別に明確な規定及び限定がない限り、用語「接続」、「固定」などは、広義に理解されるべきである。例えば、別に明確な限定がない限り、用語「接続」は、固定接続、取り外し可能な接続、又は一体的な接続であってもよく、機械的な接続、又は電気的な接続であってもよく、直接的な接続、中間媒体を介した間接的な接続、2つの要素の内部の連通、又は2つの要素の相互作用であってもよい。当業者であれば、具体的な状況に応じて本開示における上記用語の具体的な意味を理解することができる。
【0031】
本開示では、フローチャートを用いて本開示の実施形態に係るシステムが実行する動作を説明する。先行又は後続の動作が必ずしも順序に従って正確に実行されるとは限らないことを理解されたい。その代わりに、各ステップを逆の順序で、又は同時に処理してもよい。また、他の動作をこれらのプロセスに追加してもよく、これらのプロセスから1つ以上のステップを除去してもよい。
【0032】
開放型音響装置(例えば、開放型音響イヤホン)は、ユーザの耳を開放可能な音響装置である。開放型音響装置は、固定構造(例えば、耳掛けや頭掛け、テンプルなど)により、ユーザの耳の近傍の、かつユーザの外耳道を塞がない位置にスピーカーを固定することができる。ユーザが開放型音響装置を使用する場合、外部環境ノイズもユーザに聞こえるため、ユーザの聴覚体験が悪い。例えば、外部環境ノイズが大きい場所(例えば、街路や観光地など)では、ユーザが開放型音響装置を使用して音楽を再生する場合、外部環境ノイズがユーザの外耳道に直接的に入ることにより、ユーザに大きい環境ノイズが聞こえ、環境ノイズは、ユーザの音楽鑑賞体験を妨げる。
【0033】
アクティブノイズ低減により、ユーザが音響装置を使用する過程における聴覚体験を向上させることができる。しかしながら、開放型音響装置の場合、フィードバックマイクロホンと目標空間位置(例えば、人の耳の鼓膜や基底膜など)が位置する環境は圧力場環境ではないため、フィードバックマイクロホンにより受信された信号は、目標空間位置における信号を直接的に反映することができなくなり、さらに、スピーカーから発する逆方向音波信号を正確にフィードバック制御することができず、アクティブノイズ低減機能をうまく実現することができない。
【0034】
上記課題を解決するために、本開示の実施形態は、音響装置を提供する。前記音響装置は、発音ユニット、第1の検出器、及びプロセッサを含む。発音ユニットは、ノイズ低減制御信号に基づいて、第1の音声信号を生成する。第1の検出器は、第1の残留信号をピックアップする。前記第1の残留信号は、前記第1の検出器において環境ノイズと第1の音声信号とが重畳された残留ノイズ信号を含んでもよい。プロセッサは、第1の音声信号及び第1の残留信号に基づいて、目標空間位置における第2の残留信号を推定し、第2の残留信号に基づいて、発音ユニットの発音を制御するための前記ノイズ低減制御信号を更新する。固定構造は、前記音響装置を、前記目標空間位置が前記第1の検出器よりも前記ユーザの外耳道に近いように、ユーザの耳の近傍の、かつユーザの外耳道を塞がない位置に固定する。
【0035】
本開示の実施形態において、プロセッサは、発音ユニット、第1の検出器、環境ノイズ源及び目標空間位置の間の伝達関数及び/又は各伝達関数の間のマッピング関係を用いて、目標空間位置における第2の残留信号を正確に推定することができる。さらに、プロセッサは、発音ユニットによるノイズ低減信号の生成を正確に制御し、ユーザの外耳道(例えば、目標空間位置)における環境ノイズを効果的に低減し、音響装置のアクティブノイズ低減を実現し、該音響装置を使用する過程におけるユーザの聴覚体験を向上させることができる。
【0036】
以下、図面を参照しながら本開示の実施形態に係る音響装置及びその伝達関数の決定方法を詳細に説明する。
【0037】
図1は、本開示のいくつかの実施形態に係る例示的な音響装置の概略構成図である。いくつかの実施形態において、音響装置100は、外部ノイズへのアクティブノイズ低減を実現できる開放型音響装置であってもよい。いくつかの実施形態において、音響装置100として、イヤホンやメガネ、拡張現実(Augmented Reality、AR)デバイス、仮想現実(Virtual Reality、VR)デバイスなどが挙げられる。図1に示すように、音響装置100は、発音ユニット110、第1の検出器120及びプロセッサ130を含んでもよい。いくつかの実施形態において、発音ユニット110は、ノイズ低減制御信号に基づいて、第1の音声信号を生成してもよい。第1の検出器120は、第1の検出器120において環境ノイズと第1の音声信号とが重畳された第1の残留信号をピックアップし、ピックアップした第1の残留信号を電気信号に変換し、それを処理のためにプロセッサ130に伝達してもよい。プロセッサ130は、第1の検出器120及び発音ユニット110に結合(例えば、電気的に接続)されてもよい。プロセッサ130は、第1の検出器120から伝達された電気信号を受信し処理してもよい。例えば、プロセッサ130は、第1の音声信号及び第1の残留信号に基づいて、目標空間位置における第2の残留信号を推定し、次に第2の残留信号に基づいて、発音ユニット110の発音を制御するためのノイズ低減制御信号を更新してもよい。発音ユニット110は、更新されたノイズ低減制御信号に応答して、更新されたノイズ低減信号を生成することにより、アクティブノイズ低減を実現する。
【0038】
発音ユニット110は、音声信号を出力するように構成されてもよい。例えば、発音ユニット110は、ノイズ低減制御信号に基づいて、第1の音声信号を出力してもよい。また、他の例として、発音ユニット110は、ボイス制御信号に基づいて、ボイス信号を出力してもよい。いくつかの実施形態において、発音ユニット110がノイズ低減制御信号に基づいて生成した音声信号(例えば、第1の音声信号や更新された第1の音声信号など)をノイズ低減信号として称してもよい。発音ユニット110により生成されたノイズ低減信号により、目標空間位置(例えば、鼓膜や基底膜などのユーザの外耳道のある位置)に伝達された環境ノイズを低減又は相殺することができ、音響装置100のアクティブノイズ低減を実現し、それにより該音響装置100を使用する過程におけるユーザの聴覚体験を向上させることができる。
【0039】
本開示において、ノイズ低減信号は、環境ノイズと逆位相又は実質的に逆位相の音声信号であってもよく、ノイズ低減信号の音波が環境ノイズの音波の一部又は全部を相殺することにより、アクティブノイズ低減を実現する。理解できるように、ユーザは、実際のニーズに応じてアクティブノイズ低減の程度を選択することができる。例えば、ノイズ低減信号の振幅を調整することにより、アクティブノイズ低減の程度を調整することができる。いくつかの実施形態において、ノイズ低減信号の位相と目標空間位置における環境ノイズの位相との位相差の絶対値は、予め設定された位相範囲内にあってもよい。該予め設定された位相範囲は、90~180の範囲にあってもよい。ノイズ低減信号の位相と目標空間位置における環境ノイズの位相との位相差の絶対値は、ユーザのニーズに応じて該範囲内で調整されてもよい。例えば、ユーザは、周囲環境の音声によって妨害されたくない場合、該位相差の絶対値は、180度などの大きな値であってもよく、すなわち、ノイズ低減信号の位相を目標空間位置における環境ノイズの位相と逆にする。また、他の例として、ユーザは、周囲環境に対して敏感でありたい場合、該位相差の絶対値は、90度などの小さな値に設定してもよい。なお、ユーザが収音したい周囲環境の音声(すなわち、環境ノイズ)が多いほど、該位相差の絶対値を90度に近く、ユーザが収音したい周囲環境の音声が少ないほど、該位相差の絶対値を180度に近いとしてもよい。いくつかの実施形態において、ノイズ低減信号の位相と目標空間位置における環境ノイズの位相が一定の条件(例えば、位相が逆である)を満たす場合、目標空間位置における環境ノイズの振幅と該ノイズ低減信号の振幅との振幅差は、予め設定された振幅範囲にあってもよい。例えば、ユーザは、周囲環境の音声によって妨害されたくない場合、該振幅差は、0dBなどの小さな値であってもよく、すなわち、ノイズ低減信号の振幅は、目標空間位置における環境ノイズの振幅と等しい。また、他の例として、ユーザは、周囲環境に対して敏感でありたい場合、該振幅差は、大きな値であってもよく、例えば、目標空間位置における環境ノイズの振幅とほぼ等しい。なお、ユーザが収音したい周囲環境の音声が多いほど、該振幅差が目標空間位置における環境ノイズの振幅に近いように設定し、ユーザが収音したい周囲環境の音声が少ないほど、該振幅差が0dBに近いとしてもよい。
【0040】
いくつかの実施形態において、ユーザが音響装置100を装着している場合、発音ユニット110は、ユーザの耳の近傍位置に位置してもよい。いくつかの実施形態において、発音ユニット110の動作原理に基づいて、発音ユニット110は、動電型スピーカー(例えば、可動コイル型スピーカー)や、磁気スピーカー、イオンスピーカー、静電式スピーカー(又はコンデンサスピーカー)、圧電式スピーカーなどのうちの1種以上を含んでもよい。いくつかの実施形態において、発音ユニット110が出力した音声の伝播方式により、発音ユニット110は、空気伝導スピーカー及び/又は骨伝導スピーカーを含んでもよい。いくつかの実施形態において、発音ユニット110が骨伝導スピーカーである場合、目標空間位置は、ユーザの基底膜位置であってもよい。発音ユニット110が空気伝導スピーカーである場合、目標空間位置は、音響装置100が高いアクティブノイズ低減効果を有するように、ユーザの鼓膜位置であってもよい。
【0041】
いくつかの実施形態において、発音ユニット110の数は、1つ以上であってもよい。発音ユニット110の数が1つである場合、該発音ユニット110は、環境ノイズを除去するためにノイズ低減信号を出力し、かつユーザが聴取する必要がある音声情報(例えば、機器メディアオーディオ、通話遠端オーディオ)をユーザに伝達してもよい。例えば、発音ユニット110は、数が1つであり、かつ空気伝導スピーカーである場合、該空気伝導スピーカーは、環境ノイズを除去するためにノイズ低減信号を出力してもよい。この場合、ノイズ低減信号は、音波(すなわち、空気の振動)であってもよく、該音波は、空気を介して目標空間位置に伝達されて、目標空間位置において環境ノイズと互いに相殺することができる。それとともに、該空気伝導スピーカーは、さらに、ユーザが聴取する必要がある音声情報をユーザに伝達してもよい。また、他の例として、発音ユニット110は、数が1つであり、かつ骨伝導スピーカーである場合、該骨伝導スピーカーは、環境ノイズを除去するためにノイズ低減信号を出力してもよい。このような場合、ノイズ低減信号は、振動信号(例えば、スピーカーハウジングの振動)であってもよく、該振動信号は、骨格又は組織を介してユーザの基底膜に伝達されて、ユーザの基底膜において環境ノイズと相殺されてもよい。それとともに、該骨伝導スピーカーは、さらに、ユーザが聴取する必要がある音声情報をユーザに伝達してもよい。発音ユニット110の数が複数である場合、複数の発音ユニット110のうちの一部は、環境ノイズを除去するためにノイズ低減信号を出力し、別の一部は、ユーザが聴取する必要がある音声情報(例えば、機器メディアオーディオ、通話遠端オーディオ)をユーザに伝達してもよい。例えば、発音ユニット110は、数が複数であり、かつ骨伝導スピーカー及び空気伝導スピーカーを含む場合、空気伝導スピーカーが、環境ノイズを低減するか又は除去するために音波を出力し、骨伝導スピーカーが、ユーザが聴取する必要がある音声情報をユーザに伝達してもよい。空気伝導スピーカーに比べて、骨伝導スピーカーは、機械的振動を直接的にユーザの身体(例えば、骨格や皮膚組織など)を介してユーザの聴覚神経に伝達することができ、この過程において、環境ノイズをピックアップする空気伝導マイクロホンへの干渉が小さい。
【0042】
なお、発音ユニット110は、独立した機能デバイスであってもよく、複数の機能を実現できる単一のデバイスの一部であってもよい。単なる例として、発音ユニット110は、プロセッサ130と一体に集積され、及び/又は一体に形成されてもよい。いくつかの実施形態において、発音ユニット110の数が複数である場合、複数の発音ユニット110の配列方式は、線形アレイ(例えば、直線状、曲線状)や、平面アレイ(例えば、十字形や網状、円形、環状、多角形などの規則的な形状及び/若しくは不規則な形状)、立体アレイ(例えば、円柱状や球状、半球状、多面体など)など、又はそれらの任意の組み合わせを含んでもよく、本開示において限定されない。いくつかの実施形態において、発音ユニット110は、ユーザの左耳及び/又は右耳に設置されてもよい。例えば、発音ユニット110は、第1のサブスピーカー及び第2のサブスピーカーを含んでもよい。第1のサブスピーカーがユーザの左耳に位置し、第2のサブスピーカーがユーザの右耳に位置してもよい。第1のサブスピーカーと第2のサブスピーカーは、同時に動作状態に入ってもよく、両方の一方のみが動作状態に入るように制御してもよい。いくつかの実施形態において、発音ユニット110は、指向性音場を有するスピーカーであってもよく、そのメインローブは、ユーザの外耳道に指向する。
【0043】
第1の検出器120は、音声信号をピックアップするように構成されてもよい。例えば、第1の検出器120は、ユーザのボイス信号をピックアップしてもよい。また、他の例として、第1の検出器120は、第1の残留信号をピックアップしてもよい。いくつかの実施形態において、第1の残留信号は、第1の検出器120において環境ノイズと発音ユニット110により生成された第1の音声信号(すなわち、ノイズ低減信号)とが重畳された残留ノイズ信号を含んでもよい。言い換えれば、第1の検出器120は、環境ノイズと、発音ユニット110が発したノイズ低減信号とを同時にピックアップすることができる。さらに、第1の検出器120は、第1の残留信号を電気信号に変換して、処理のためにプロセッサ130に伝送することができる。
【0044】
本開示において、環境ノイズとは、ユーザが位置する環境における様々な外部音声の組み合わせを指す。単なる例として、環境ノイズは、交通ノイズや工業ノイズ、建設ノイズ、社会生活ノイズなどのうちの1種以上を含んでもよい。いくつかの実施形態において、交通ノイズは、自動車の走行ノイズやクラクションノイズなどを含んでもよいが、これらに限定されない。工業ノイズは、工場の動力機械の運転ノイズなどを含んでもよいが、これらに限定されない。建設ノイズは、動力機械の掘削ノイズや穿孔ノイズ、撹拌ノイズなどを含んでもよいが、これらに限定されない。社会生活環境ノイズは、群衆ノイズや娯楽宣伝ノイズ、群衆の騒音ノイズ、家庭用電気器具のノイズなどを含んでもよいが、これらに限定されない。
【0045】
いくつかの実施形態において、環境ノイズは、ユーザが話す音声を含んでもよい。例えば、第1の検出器120は、音響装置100の通話状態に応じて、環境ノイズをピックアップしてもよい。音響装置100が非通話状態にある場合、ユーザ自身が話す音声を環境ノイズと見なし、第1の検出器120が、ユーザ自身が話す音声と他の環境ノイズを同時にピックアップしてもよい。音響装置100が通話状態にある場合、ユーザ自身が話す音声を環境ノイズと見なせず、第1の検出器120が、ユーザ自身が話す音声以外の環境ノイズをピックアップしてもよい。例えば、第1の検出器120は、第1の検出器120から一定の距離(例えば、0.5メートル、1メートル)以上離れたノイズ源から発されたノイズをピックアップしてもよい。また、他の例として、第1の検出器120は、自身が話す音声との差異が大きい(例えば、周波数、音量又は音圧の差が特定の閾値よりも大きい)ノイズをピックアップしてもよい。
【0046】
いくつかの実施形態において、第1の検出器120は、ユーザの外耳道に伝達された環境ノイズ及び/又は第1の音声信号をピックアップするために、ユーザの外耳道の近傍に設置されてもよい。例えば、ユーザが音響装置100を装着している場合、第1の検出器120は、(図2において、第1の検出器220及び発音ユニット210が示すように)発音ユニット110のユーザの外耳道に向かう側に位置してもよい。いくつかの実施形態において、第1の検出器120は、ユーザの左耳及び/又は右耳に設置されてもよい。いくつかの実施形態において、第1の検出器120は、1つ以上の空気伝導マイクロホン(フィードバックマイクロホンと称してもよい)を含んでもよい。例えば、第1の検出器120は、第1のサブマイクロホン(又はマイクロホンアレイ)及び第2のサブマイクロホン(又はマイクロホンアレイ)を含んでもよい。第1のサブマイクロホン(又はマイクロホンアレイ)がユーザの左耳に位置し、第2のサブマイクロホン(又はマイクロホンアレイ)がユーザの右耳に位置してもよい。第1のサブマイクロホン(又はマイクロホンアレイ)と第2のサブマイクロホン(又はマイクロホンアレイ)は、同時に動作状態に入ってもよく、両方の一方のみが動作状態に入るように制御してもよい。
【0047】
いくつかの実施形態において、マイクロホンの動作原理により、第1の検出器120は、可動コイル型マイクロホンや、リボンマイクロホン、コンデンサマイクロホン、エレクトレットマイクロホン、電磁型マイクロホン、カーボンマイクロホンなど、又はそれらの任意の組み合わせを含んでもよい。いくつかの実施形態において、第1の検出器120の配列方式は、線形アレイ(例えば、直線状、曲線状)や、平面アレイ(例えば、十字形や円形、環状、多角形、網状などの規則的な形状及び/若しくは不規則な形状)、立体アレイ(例えば、円柱状や球状、半球状、多面体など)など、又はそれらの任意の組み合わせを含んでもよい。
【0048】
プロセッサ130は、発音ユニット110が発したノイズ低減信号がユーザに聞こえる環境ノイズを低減又は相殺して、アクティブノイズ低減を実現するように、外部のノイズ信号に基づいて発音ユニット110のノイズ低減信号を推定するように構成されてもよい。具体的には、プロセッサ130は、発音ユニット110により生成された第1の音声信号と、第1の検出器120によりピックアップされた第1の残留信号(第1の検出器120において環境ノイズと第1の音声信号とが重畳された残留ノイズ信号を含む)とに基づいて、目標空間位置における第2の残留信号を推定することができる。プロセッサ130は、さらに第2の残留信号に基づいて、発音ユニット110の発音を制御するためのノイズ低減制御信号を更新してもよい。発音ユニット110は、更新されたノイズ低減制御信号に応答して新たなノイズ低減信号を生成することにより、ノイズ低減信号のリアルタイムな修正を実現し、高いアクティブノイズ低減効果を実現することができる。
【0049】
本開示において、目標空間位置は、ユーザの鼓膜から近い特定の距離内の空間位置を指してもよい。該目標空間位置は、第1の検出器120よりもユーザの外耳道(例えば、鼓膜)に近くてもよい。ここでの特定の距離は、例えば、0cm、0.5cm、1cm、2cm、3cmなどの固定距離であってもよい。いくつかの実施形態において、目標空間位置は、外耳道内であってもよく、外耳道外であってもよい。例えば、目標空間位置は、耳膜位置、基底膜位置又は外耳道外の他の位置であってもよい。いくつかの実施形態において、第1の検出器120におけるマイクロホンの数、ユーザの外耳道に対する分布位置は、目標空間位置に関連してもよい。目標空間位置に基づいて、第1の検出器120におけるマイクロホンの数及び/又はユーザの外耳道の分布位置を調整することができる。例えば、目標空間位置がユーザの外耳道により近い場合、第1の検出器120におけるマイクロホンの数を増加させてもよい。また、他の例として、目標空間位置がユーザの外耳道により近い場合、第1の検出器120における各マイクロホンの間隔を小さくしてもよい。また、さらに他の例として、目標空間位置がユーザの外耳道により近い場合、第1の検出器120における各マイクロホンの配列方式を変更してもよい。
【0050】
いくつかの実施形態において、プロセッサ130は、発音ユニット110と第1の検出器120との第1の伝達関数、発音ユニット110と目標空間位置との第2の伝達関数、環境ノイズ源と第1の検出器120との第3の伝達関数、及び環境ノイズ源と目標空間位置との第4の伝達関数をそれぞれ取得してもよい。プロセッサ130は、第1の伝達関数、第2の伝達関数、第3の伝達関数、第4の伝達関数、第1の音声信号及び第1の残留信号に基づいて、目標空間位置における第2の残留信号を推定してもよい。いくつかの実施形態において、プロセッサ130は、第3の伝達関数及び第4の伝達関数をそれぞれ取得する必要がなく、第4の伝達関数と第3の伝達関数との比を取得するだけで第2の残留信号を決定してもよい。このような場合、プロセッサ130は、発音ユニット110と第1の検出器120との第1の伝達関数、発音ユニット110と目標空間位置との第2の伝達関数、及び環境ノイズ源と、第1の検出器120、目標空間位置との関係を反映する第5の伝達関数(例えば、第4の伝達関数と第3の伝達関数との比)を取得することができる。プロセッサ130は、第1の伝達関数、第2の伝達関数、第5の伝達関数、第1の音声信号及び第1の残留信号に基づいて、目標空間位置における第2の残留信号を推定してもよい。いくつかの実施形態において、プロセッサ130は、発音ユニット110と第1の検出器120との第1の伝達関数だけを取得し、第1の伝達関数、第1の音声信号及び第1の残留信号に基づいて、目標空間位置における第2の残留信号を推定してもよい。プロセッサ130が目標空間位置における第2の残留信号を推定するより多くの詳細については、本説明の他の位置(例えば、図3の部分及び関連する論述)を参照することができ、ここでは詳しい説明を省略する。
【0051】
いくつかの実施形態において、プロセッサ130は、ハードウェアモジュール及びソフトウェアモジュールを含んでもよい。単なる例として、ハードウェアモジュールは、デジタル信号処理(Digital Signal Processor、DSP)チップ及び先進的縮小命令セットコンピュータマシン(Advanced RISC Machines、ARM)を含んでもよく、ソフトウェアモジュールは、アルゴリズムモジュールを含んでもよい。
【0052】
いくつかの実施形態において、音響装置100は、1つ以上の第3の検出器(図示せず)をさらに含んでもよい。いくつかの実施形態において、第3の検出器は、フィードフォワードマイクロホンと称してもよい。第3の検出器は、第1の検出器120よりも目標空間位置から離れてもよく、すなわち、フィードフォワードマイクロホンは、フィードバックマイクロホンよりもノイズ源に近い。第3の検出器は、第3の検出器に伝達された環境ノイズをピックアップし、ピックアップした環境ノイズを電気信号に変換し、それを処理のためにプロセッサ130に伝達するように構成されてもよい。プロセッサ130は、第3の検出器により取得された環境ノイズ及び前述の目標空間位置における推定信号に基づいて、ノイズ低減制御信号を決定してもよい。具体的には、プロセッサ130は、第3の検出器により伝達された、環境ノイズから変換された電気信号を受信し、それを処理して目標空間位置における環境ノイズ信号(例えば、ノイズの振幅や位相など)を推定してもよい。プロセッサ130は、さらに目標空間位置における推定されたノイズ信号に基づいて、ノイズ低減制御信号を生成してもよい。さらに、プロセッサ130は、ノイズ低減制御信号を発音ユニット110に送信してもよい。発音ユニット110は、該ノイズ低減制御信号に応答して新たなノイズ低減信号を生成してもよい。該ノイズ低減信号のパラメータ(例えば、振幅や位相など)は、環境ノイズのパラメータに対応してもよい。単なる例として、ノイズ低減信号は、振幅が環境ノイズの振幅とほぼ等しく、位相が環境ノイズの位相とほぼ逆であってもよく、それにより発音ユニット110が発したノイズ低減信号が高いアクティブノイズ低減効果を有することを保証する。
【0053】
いくつかの実施形態において、第3の検出器は、ユーザの左耳及び/又は右耳に設置されてもよい。例えば、第3の検出器の数が1つであってもよく、ユーザが該音響装置100を使用している場合、該第3の検出器は、ユーザの左耳に位置してもよい。また、他の例として、第3の検出器の数が複数であってもよく、ユーザが該音響装置100を使用している場合、第3の検出器は、音響装置100が異なる側から伝達された空間ノイズをよりよく収音できるように、ユーザの左耳及び右耳に分布してもよい。いくつかの実施形態において、第3の検出器は、音響装置100の各位置に分布してもよく、ユーザが該音響装置100を使用している場合、複数の第3の検出器は、ユーザの左耳、右耳に位置してもよいし、ユーザの頭部を取り囲むように設置されてもよい。
【0054】
いくつかの実施形態において、第3の検出器は、発音ユニット110から受信する干渉信号が最小であるように、目標領域に設置されてもよい。発音ユニット110が骨伝導スピーカーである場合、干渉信号は、骨伝導スピーカーの音漏れ信号及び振動信号を含んでもよく、目標領域は、第3の検出器に伝達された骨伝導スピーカーの音漏れ信号と振動信号の合計エネルギーが最小となる領域であってもよい。発音ユニット110が空気伝導スピーカーである場合、目標領域は、空気伝導スピーカーの放射音場の音圧レベルが最小の領域であってもよい。
【0055】
いくつかの実施形態において、第3の検出器は、1つ以上の空気伝導マイクロホンを含んでもよい。例えば、ユーザが音響装置100を使用して音楽を聞く場合、空気伝導マイクロホンは、外部環境ノイズとユーザ発話音声を同時に取得し、取得した外部環境ノイズ及びユーザ発話音声を共に環境ノイズとしてもよい。いくつかの実施形態において、第3の検出器は、1つ以上の骨伝導マイクロホンを含んでもよい。骨伝導マイクロホンは、ユーザの皮膚に直接的に接触し、ユーザ発話時に骨格又は筋肉により生成された振動信号が骨伝導マイクロホンに直接的に伝達され、さらに、骨伝導マイクロホンは、振動信号を電気信号に変換し、処理のために電気信号をプロセッサ130に伝達してもよい。いくつかの実施形態において、骨伝導マイクロホンは、人体に直接的に接触せず、ユーザ発話時に骨格又は筋肉により生成された振動信号が音響装置100のハウジング構造に伝達されてから、ハウジング構造により骨伝導マイクロホンに伝達されてもよい。いくつかの実施形態において、ユーザが通話状態にある場合、プロセッサ130は、空気伝導マイクロホンにより収集された音声信号を環境ノイズとして該環境ノイズを用いてノイズ低減を行い、骨伝導マイクロホンにより収集された音声信号をボイス信号として端末装置に伝送することができ、それによりユーザ通話時の通話品質(すなわち、音響装置100の現在のユーザと通話する相手と現在のユーザの発話音声品質)を保証する。
【0056】
いくつかの実施形態において、プロセッサ130は、音響装置100の動作状態に基づいて、第3の検出器における骨伝導マイクロホン及び/又は空気伝導マイクロホンのスイッチ状態を制御してもよい。音響装置100の動作状態とは、ユーザが音響装置100を装着している場合の使用状態を指してもよい。単なる例として、音響装置100の動作状態は、通話状態や、非通話状態(例えば、音楽再生状態)、ボイスメッセージ送信状態などを含んでもよいが、これらに限定されない。いくつかの実施形態において、第3の検出器が環境ノイズ及びボイス信号をピックアップする場合、第3の検出器における骨伝導マイクロホンのスイッチ状態及び空気伝導マイクロホンのスイッチ状態は、音響装置100の動作状態に応じて決定されてもよい。例えば、ユーザが音響装置100を装着して音楽を再生する場合、骨伝導マイクロホンのスイッチ状態が待機状態であり、空気伝導マイクロホンのスイッチ状態が動作状態であってもよい。また、他の例として、ユーザが音響装置100を装着してボイスメッセージを送信する場合、骨伝導マイクロホンのスイッチ状態が動作状態であり、空気伝導マイクロホンのスイッチ状態が動作状態であってもよい。いくつかの実施形態において、プロセッサ130は、制御信号を送信することにより第3の検出器におけるマイクロホン(例えば、骨伝導マイクロホン、空気伝導マイクロホン)のスイッチ状態を制御してもよい。
【0057】
いくつかの実施形態において、音響装置100の動作状態が非通話状態(例えば、音楽再生状態)である場合、プロセッサ130は、第3の検出器における骨伝導マイクロホンを待機状態に、空気伝導マイクロホンを動作状態に制御してもよい。音響装置100が非通話状態にある場合、ユーザ自身が話す音声信号は、環境ノイズと見なされてもよい。この場合、空気伝導マイクロホンがピックアップした環境ノイズに含まれるユーザ自身が話す音声信号は、環境ノイズの一部として、発音ユニット110が出力したノイズ低減信号と相殺されるように、フィルタリングされなくてもよい。音響装置100の動作状態が通話状態である場合、プロセッサ130は、第3の検出器における骨伝導マイクロホン及び空気伝導マイクロホンをいずれも動作状態に制御してもよい。音響装置100が通話状態にある場合、ユーザ自身が話す音声信号を保留する必要がある。この場合、プロセッサ130は、制御信号を送信して骨伝導マイクロホンを動作状態に制御し、骨伝導マイクロホンがユーザ発話音声信号をピックアップすることができる。プロセッサ130は、ユーザ自身が話す音声信号が、発音ユニット110が出力したノイズ低減信号と相殺されないように、空気伝導マイクロホンがピックアップした環境ノイズから、骨伝導マイクロホンがピックアップしたユーザ発話音声信号を除去して、ユーザの正常な通話状態を保証する。
【0058】
いくつかの実施形態において、音響装置100の動作状態が通話状態である場合、環境ノイズの音圧が予め設定された閾値よりも大きい時、プロセッサ130は、第3の検出器における骨伝導マイクロホンが動作状態を保持するように制御してもよい。環境ノイズの音圧は、環境ノイズの強度を反映することができる。ここでの予め設定された閾値は、音響装置100に予め記憶された、50dB、60dB、70dBなどの任意の数値であってもよい。環境ノイズの音圧が予め設定された閾値よりも大きい時、環境ノイズは、ユーザの通話品質に影響を与える。プロセッサ130は、制御信号を送信することにより、骨伝導マイクロホンが動作状態を保持するように制御することができ、骨伝導マイクロホンは、外部環境ノイズをほとんどピックアップせずに、ユーザが話す時の顔の筋肉の振動信号を取得することができ、この場合、骨伝導マイクロホンがピックアップした振動信号を通話時のボイス信号として、ユーザの正常な通話を保証する。
【0059】
いくつかの実施形態において、音響装置100の動作状態が通話状態である場合、環境ノイズの音圧が予め設定された閾値よりも小さければ、プロセッサ130は、骨伝導マイクロホンを動作状態から待機状態に切り替えるように制御してもよい。環境ノイズの音圧が予め設定された閾値よりも小さい時、環境ノイズの音圧は、ユーザ発話による音声信号の音圧よりも小さい。この場合、第1の音響経路を介してユーザの耳に伝送されたユーザ発話音声は、発音ユニット110が出力した、第2の音響経路を介してユーザの耳に伝送されたノイズ低減信号によって一部相殺された後、残りのユーザ発話音声は、依然としてユーザの正常な通話を保証することに十分である(例えば、ノイズ低減信号によって相殺されたユーザ発話音声を通話のボイス信号とし、それを電気信号に変換して他方の音響装置に伝送し、該音響装置における発音ユニットにより音声信号に変換して、通話時の相手ユーザにローカルユーザの発話音声を聞かせることができる)。この場合、プロセッサ130は、制御信号を送信することにより、第3の検出器における骨伝導マイクロホンを動作状態から待機状態に切り替えるように制御し、さらに信号処理の複雑さ及び音響装置100の電力損失を低減することができる。なお、発音ユニット110が空気伝導スピーカーである場合、ノイズ低減信号と環境ノイズとが互いに相殺し合う特定の位置は、鼓膜位置(すなわち、目標空間位置)など、ユーザの外耳道又はその近傍であってもよい。第1の音響経路は、環境ノイズがノイズ源から目標空間位置まで伝送された経路であってもよく、第2の音響経路は、ノイズ低減信号が空気伝導スピーカーから空気を介して目標空間位置に伝送された経路であってもよい。発音ユニット110が骨伝導スピーカーである場合、ノイズ低減信号と環境ノイズとが互いに相殺し合う特定の位置は、ユーザの基底膜であってもよい。第1の音響経路は、環境ノイズがノイズ源からユーザの外耳道及び鼓膜を介してユーザの基底膜まで伝送された経路であってもよく、第2の音響経路は、ノイズ低減信号が骨伝導スピーカーからユーザの骨格又は組織を介してユーザの基底膜まで伝送された経路であってもよい。
【0060】
いくつかの実施形態において、音響装置100は、1つ以上のセンサ140を含んでもよい。1つ以上のセンサ140は、音響装置100の他のコンポーネント(例えば、プロセッサ130)に電気的に接続されてもよい。1つ以上のセンサ140は、音響装置100の物理的位置及び/又は運動情報を取得してもよい。単なる例として、1つ以上のセンサ140は、慣性測定ユニット(Inertial Measurement Unit、IMU)や、全地球測位システム(Global Position System、GPS)、レーダなどを含んでもよい。運動情報は、運動軌跡や、運動方向、運動速度、運動加速度、運動角速度、運動に関連する時間情報(例えば、運動開始時間、終了時間)など、又はそれらの任意の組み合わせを含んでもよい。IMUを例とすると、IMUは、微小電気機械システム(Microelectro Mechanical System、MEMS)を含んでもよい。該微小電気機械システムは、多軸加速度計やジャイロスコープ、磁力計など、又はそれらの任意の組み合わせを含んでもよい。IMUは、物理的位置及び/又は運動情報に基づいて音響装置100を制御するために、音響装置100の物理的位置及び/又は運動情報を検出してもよい。
【0061】
いくつかの実施形態において、1つ以上のセンサ140は、距離センサを含んでもよい。距離センサは、音響装置100からユーザの耳までの距離(例えば、発音ユニット110と目標空間位置との距離)を検出し、該距離に基づいて音響装置100の現在の装着姿勢又は使用シーンを判定し、発音ユニット110、第1の検出器120及び目標空間位置の3者の間の伝達関数をさらに決定してもよい。距離に基づいて伝達関数を決定するより多くの内容については、図3又は図4及びその説明を参照することができ、ここでは説明を省略する。
【0062】
いくつかの実施形態において、音響装置100は、メモリ150を含んでもよい。メモリ150は、データ、命令及び/又は他の任意の情報を記憶することができる。例えば、メモリ150は、異なるユーザ及び/又は異なる装着姿勢に対応する、発音ユニット110、第1の検出器120及び目標空間位置の間の伝達関数を記憶してもよい。また、他の例として、メモリ150は、異なるユーザ及び/又は異なる装着姿勢に対応する、発音ユニット110、第1の検出器120及び目標空間位置の間の伝達関数間のマッピング関係を記憶してもよい。また、さらに他の例として、メモリ150は、図3に示されるフロー300を実装するために使用されるデータ及び/又はコンピュータプログラムを記憶してもよい。また、さらに他の例として、メモリ150は、トレーニングされたニューラルネットワークを記憶してもよい。なお、ユーザによって、その組織の形態が異なり(例えば、頭部の大きさが異なり、筋肉組織や脂肪組織、骨格などの人体組織の構成が異なり)、対応する第1の伝達関数、第2の伝達関数、第3の伝達関数及び第4の伝達関数は、異なり得る。装着姿勢が異なるとは、ユーザが音響装置100を装着する時の装着位置や、音響装置100の装着方向、音響装置100とユーザとの作用力などが異なることであり、対応する第1の伝達関数、第2の伝達関数、第3の伝達関数及び第4の伝達関数も異なり得る。
【0063】
いくつかの実施形態において、メモリ150は、大容量メモリやリムーバブルメモリ、揮発性読み書きメモリ、読み取り専用メモリ(ROM)など、又はそれらの任意の組み合わせを含んでもよい。メモリ150は、プロセッサ130と信号接続されてもよい。ユーザが音響装置100を装着している場合、プロセッサ130は、ユーザの組織形態や装着姿勢などに基づいて、メモリ150から対応する第1の伝達関数、第2の伝達関数、第3の伝達関数及び第4の伝達関数を取得することができる。プロセッサ130は、対応する第1の伝達関数、第2の伝達関数、第3の伝達関数及び第4の伝達関数に基づいて、目標空間位置(例えば、鼓膜)における第2の残留信号を推定して、より正確なノイズ低減制御信号を生成することができ、それにより発音ユニット110がノイズ低減制御信号に応答して発する逆音波は、より高いアクティブノイズ低減効果を有する。
【0064】
いくつかの実施形態において、音響装置100は、信号送受信機160を含んでもよい。信号送受信機160は、音響装置100の他のコンポーネント(例えば、プロセッサ130)に電気的に接続されてもよい。いくつかの実施形態において、信号送受信機160は、ブルートゥース(登録商標)やアンテナなどを含んでもよい。音響装置100は、信号送受信機160を介して他の外部機器(例えば、携帯電話、タブレットパーソナルコンピュータ、スマートウォッチ)と通信してもよい。例えば、音響装置100は、ブルートゥース(登録商標)を介して他の機器と無線通信を行ってもよい。
【0065】
いくつかの実施形態において、音響装置100は、ハウジング構造170を含んでもよい。ハウジング構造170は、音響装置100の他のコンポーネント(例えば、発音ユニット110や第1の検出器120、プロセッサ130、距離センサ140、メモリ150、信号送受信機160など)が載せられるように構成されてもよい。いくつかの実施形態において、ハウジング構造170は、音響装置100の他のコンポーネントがハウジング構造内又はハウジング構造上に位置する、内部が中空の密閉型又は半密閉型構造であってもよい。いくつかの実施形態において、ハウジング構造170の形状は、直方体や円柱体、円錐台などの規則的な形状又は不規則な形状の立体構造であってもよい。ユーザが音響装置100を装着している場合、ハウジング構造170は、ユーザの耳の近傍に位置してもよい。例えば、ハウジング構造170は、ユーザの耳介の周側(例えば、前側又は後側)に位置してもよい。また、他の例として、ハウジング構造170は、ユーザの外耳道を塞がないか又は覆わないように、ユーザの耳に位置してもよい。いくつかの実施形態において、音響装置100は、骨伝導イヤホンであって、ハウジング構造の少なくとも一側がユーザの皮膚に接触してもよい。骨伝導イヤホン内の音響ドライバ(例えば、振動スピーカー)は、オーディオ信号を機械的振動に変換し、該機械的振動は、ハウジング構造及びユーザの骨格を介してユーザの聴覚神経に伝達することができる。いくつかの実施形態において、音響装置100は、空気伝導イヤホンであって、ハウジング構造の少なくとも一側がユーザの皮膚に接触してもよく、接触しなくてもよい。ハウジング構造の側壁に少なくとも1つの音導孔が含まれ、空気伝導イヤホンにおけるスピーカーは、オーディオ信号を空気伝導音声に変換し、該空気伝導音声は、音導孔を介してユーザの耳の方向に放出されてもよい。
【0066】
いくつかの実施形態において、音響装置100は、固定構造180を含んでもよい。固定構造180は、音響装置100を、ユーザの耳の近傍の、かつユーザの外耳道を塞がない位置に固定するように構成されてもよい。いくつかの実施形態において、固定構造180は、音響装置100のハウジング構造170に物理的に接続(例えば、係着やネジ接続など)されてもよい。いくつかの実施形態において、音響装置100のハウジング構造170は、固定構造180の一部であってもよい。いくつかの実施形態において、固定構造180は、音響装置100をユーザの耳の近傍によりよく固定し、ユーザの使用時に落下することを防止できるように、耳掛けや後掛け、弾性バンド、テンプルなどを含んでもよい。例えば、固定構造180は、耳掛けであってもよく、耳掛けは、耳部領域の周りに装着するように構成されてもよい。いくつかの実施形態において、耳掛けは、弾性的に引っ張られてユーザの耳部に装着される連続的なフック状物であってもよく、同時に、ユーザの耳介に圧力を印加することにより、音響装置100をユーザの耳部又は頭部の特定の位置にしっかりと固定することができる。いくつかの実施形態において、耳掛けは、連続しない帯状物であってもよい。例えば、耳掛けは、剛性部及び可撓性部を含んでもよい。剛性部は、剛性材料(例えば、プラスチック又は金属)で製造され、物理的な接続(例えば、係着やネジ接続など)の方式で音響装置100のハウジング構造170に固定されてもよい。可撓性部は、弾性材料(例えば、布地、複合材料又は/及びクロロプレンゴム)で製造されてもよい。また、他の例として、固定構造180は、首/肩領域の周りに装着するように構成されたネックバンドであってもよい。さらに例えば、固定構造180は、メガネの一部として、ユーザの耳部に掛けられるテンプルであってもよい。
【0067】
いくつかの実施形態において、音響装置100は、ノイズ低減信号の音圧を調整するインタラクティブモジュール(図示せず)をさらに含んでもよい。いくつかの実施形態において、インタラクティブモジュールは、ボタンやボイスアシスタント、ジェスチャセンサなどを含んでもよい。ユーザは、インタラクティブモジュールを制御することにより、音響装置100のノイズ低減モードを調整することができる。具体的には、ユーザは、インタラクティブモジュールを制御することにより、ノイズ低減信号の振幅情報を調整(例えば、増幅又は減衰)することで、発音ユニット110が発したノイズ低減信号の音圧を変更し、さらに異なるノイズ低減効果を達成することができる。単なる例として、ノイズ低減モードは、強いノイズ低減モードや、中程度のノイズ低減モード、弱いノイズ低減モードなどを含んでもよい。例えば、ユーザが室内で音響装置100を装着している場合、外部環境ノイズが小さく、ユーザは、インタラクティブモジュールにより音響装置100のノイズ低減モードをオフにするか、弱いノイズ低減モードに調整することができる。また、他の例として、ユーザが街路などの公共の場所を歩行する時に音響装置100を装着している場合、ユーザは、オーディオ信号(例えば、音楽、ボイス情報)を聴取するとともに、周囲環境に対する一定の感知能力を保持することにより、突発的な状況に対処する必要があり、この場合、ユーザは、インタラクティブモジュール(例えば、ボタン又はボイスアシスタント)により中程度のノイズ低減モードを選択して、周囲環境ノイズ(例えば、警報音や衝突音、自動車のクラクション音など)を残すことができる。さらに、例えば、ユーザが地下鉄又は飛行機などの乗り物に乗っている場合、ユーザは、インタラクティブモジュールにより強いノイズ低減モードを選択して、さらに周囲環境ノイズを低減することができる。いくつかの実施形態において、プロセッサ130は、さらに、環境ノイズの強度範囲に基づいて、音響装置100又は音響装置100に通信接続された端末装置(例えば、携帯電話やスマートウォッチなど)に報知情報を送信することにより、ユーザにノイズ低減モードを調整するよう注意してもよい。
【0068】
なお、図1に関する以上の説明は、説明の目的のためのものに過ぎず、本開示の範囲を限定することを意図するものではない。当業者であれば、本開示の説明に基づいて様々な変更及び修正を行うことができる。いくつかの実施形態において、音響装置100における1つ以上のコンポーネント(例えば、距離センサ140や信号送受信機160、固定構造180、インタラクティブモジュールなど)は、省略されてもよい。いくつかの実施形態において、音響装置100の1つ以上のコンポーネントは、類似する機能を実現することができる他の要素により代替されてもよい。例えば、音響装置100は、固定構造180を含まなくてもよい。ハウジング構造170又はその一部は、ハウジング構造をユーザの耳の近傍に掛けることができるように、人体の耳に合わせた形状(例えば、円環状、楕円形、(規則的又は不規則的な)多角形、U字形、V字形、半円形)を有するハウジング構造であってもよい。いくつかの実施形態において、音響装置100の1つのコンポーネントは、複数のサブコンポーネントに分割されてもよく、複数のコンポーネントは、単一のコンポーネントとなるように統合されてもよい。これらの変更及び修正は、本開示の範囲から逸脱しない。
【0069】
図2は、本開示のいくつかの実施形態に係る音響装置の装着状態の概略図である。図2に示すように、ユーザが音響装置200を装着している場合、音響装置200は、ユーザの耳230(又は頭部)の近傍の、かつユーザの外耳道を塞がない位置に固定されてもよい。音響装置200は、発音ユニット210及び第1の検出器220を含んでもよい。
【0070】
いくつかの実施形態において、第1の検出器220は、発音ユニット210のユーザの外耳道に向かう側に位置してもよい。いくつかの実施形態において、第1の検出器220から目標空間位置Aまでの音響経路と、第1の検出器220から発音ユニット210までの音響経路との比は、0.5~20にあってもよい。いくつかの実施形態において、第1の検出器220と目標空間位置Aとの音響経路は、5mm~50mmであってもよい。いくつかの実施形態において、第1の検出器220と目標空間位置Aとの音響経路は、15mm~40mmであってもよい。いくつかの実施形態において、第1の検出器220と目標空間位置Aとの音響経路は、25mm~35mmであってもよい。いくつかの実施形態において、第1の検出器220と目標空間位置Aとの音響経路に基づいて、第1の検出器220におけるマイクロホンの数及び/又はユーザの外耳道に対する分布位置を調整してもよい。
【0071】
音響装置200が開放型音響装置(例えば、開放型イヤホン)であるため、第1の検出器220と目標空間位置A(例えば、ユーザの外耳道に近く、かつ鼓膜と特定の距離を有する位置)が位置する環境は、圧力場環境ではない。したがって、第1の検出器220は、目標空間位置Aにおける信号と完全に等しい信号を受信することができない。この場合、第1の検出器220における音声信号と目標空間位置Aにおける音声信号との対応関係を取得してから、目標空間位置Aにおける音声信号を決定することにより、目標空間位置Aに対してより正確にノイズ低減することができる。
【0072】
なお、図2に示す音響装置の装着状態の概略図は、例示的な説明に過ぎず、本開示の実施形態において、第1の検出器220、目標空間位置A及び発音ユニット210の相対位置関係は、図2に示す場合に限定されない。例えば、いくつかの実施形態において、発音ユニット210、第1の検出器220及び目標空間位置Aの三者は、同一直線上になくてもよい。また、例えば、いくつかの実施形態において、第1の検出器220は、発音ユニット210の目標空間位置Aから離れた側に位置してもよく、第1の検出器220から目標空間位置Aまでの距離は、発音ユニット210から目標空間位置Aまでの距離よりも大きくてもよい。
【0073】
図3は、本開示のいくつかの実施形態に係る音響装置の例示的なノイズ低減方法のフローチャートである。いくつかの実施形態において、フロー300は、音響装置100により実行されてもよい。
【0074】
ステップ310において、プロセッサは、発音ユニット110がノイズ低減制御信号に基づいて生成した第1の音声信号を取得することができる。いくつかの実施形態において、ステップ310は、プロセッサ130により実行されてもよい。
【0075】
いくつかの実施形態において、ノイズ低減制御信号は、第3の検出器(すなわち、フィードフォワードマイクロホン)がピックアップした環境ノイズに基づいて生成されたものであってもよい。プロセッサ130は、第3の検出器がピックアップした環境ノイズに基づいて、ノイズ低減電気信号(第1の音声信号における情報を含む)を生成し、ノイズ低減電気信号に基づいて、ノイズ低減制御信号を生成してもよい。さらに、プロセッサ130は、ノイズ低減制御信号を発音ユニット110に伝送してそれに第1の音声信号を生成させてもよい。なお、プロセッサ130が第1の音声信号を取得することは、プロセッサ130がノイズ低減電気信号を取得することとして理解されてもよい。ノイズ低減電気信号と第1の音声信号とは、表現が異なるのみであり、前者は、電気信号であり、後者は、振動信号である。いくつかの実施形態において、発音ユニット110は、さらに、更新されたノイズ低減制御信号に基づいて、更新された第1の音声信号を生成してもよい。
【0076】
ステップ320において、プロセッサは、第1の検出器120がピックアップした第1の残留信号を取得することができる。第1の残留信号は、第1の検出器120において環境ノイズと第1の音声信号とが重畳された残留ノイズ信号を含んでもよい。いくつかの実施形態において、ステップ320は、プロセッサ130により実行されてもよい。
【0077】
上記図1の関連する説明から分かるたように、環境ノイズとは、ユーザが位置する環境における複数種の外部音声(例えば、交通ノイズ、工業ノイズ、建設ノイズ、社会生活ノイズ)の組み合わせを指してもよい。いくつかの実施形態において、第1の検出器120は、ユーザの外耳道に伝達された第1の残留信号をピックアップするために、ユーザの外耳道の近傍に設置されてもよい。さらに、第1の検出器120は、ピックアップした第1の残留信号を電気信号に変換して、処理のためにプロセッサ130に伝達することができる。
【0078】
ステップ330において、プロセッサは、第1の音声信号及び第1の残留信号に基づいて、目標空間位置における第2の残留信号を推定することができる。いくつかの実施形態において、ステップ330は、プロセッサ130により実行されてもよい。
【0079】
第2の残留信号は、目標空間位置において環境ノイズと第1の音声信号とが重畳された残留ノイズ信号を含んでもよい。なお、音響装置100が開放型音響装置であり、第1の検出器120(すなわち、フィードバックマイクロホン)及び目標空間位置(例えば、鼓膜)が位置する環境が圧力場環境ではないため、第1の検出器120が受信するノイズ信号は、目標空間位置におけるノイズ信号を直接的に反映することができない。したがって、プロセッサ130は、発音ユニット110、第1の検出器120、環境ノイズ源及び目標空間位置の間の少なくとも1つの伝達関数に基づいて、第2の残留信号を決定することができる。いくつかの実施形態において、発音ユニット110、第1の検出器120、環境ノイズ源及び目標空間位置のうちの任意の両者の間の伝達関数は、該両者の対応する位置の音声信号間の関係を表すことができ、例えば、一方により生成された音声信号を他方に伝送する伝送過程における伝送品質、又は一方により取得された音声信号と他方により生成された音声信号との関係を反映することができる。例えば、発音ユニット110と第1の検出器120との伝達関数は、発音ユニット110により生成された第1の音声信号が第1の検出器120に伝送される伝送過程における伝送品質、又は第1の検出器120によりピックアップされた第1の残留信号と発音ユニット110により生成された第1の音声信号との関係を表すことができる。また、他の例として、環境ノイズ源と第1の検出器120との伝達関数は、環境ノイズが環境ノイズ源から第1の検出器120に伝達される伝送過程における伝送品質、又は第1の検出器120によりピックアップ取得された第1の残留信号と環境ノイズ源により生成された環境ノイズとの関係を表すことができる。
【0080】
いくつかの実施形態において、発音ユニット110が発した第1の音声信号(ノイズ低減信号とも呼ばれる)はS、環境ノイズ信号はNであってもよく、この場合、第1の検出器120における信号(すなわち、第1の残留信号)Mと、目標空間位置における信号(すなわち、第2の残留信号)Dは、それぞれ式(1)と式(2)で表すことができる。
【0081】
【数1】
【0082】
ここで、HSMは、発音ユニット110と第1の検出器120の間の第1の伝達関数を表し、HSDは、発音ユニット110と目標空間位置との第2の伝達関数を表し、HNMは、環境ノイズ源と第1の検出器120の間の第3の伝達関数を表し、HNDは、環境ノイズ源と目標空間位置との第4の伝達関数を表す。
【0083】
アクティブノイズ低減の目標を達成するために、目標空間位置における第2の残留信号Dを推定する必要がある。目標空間位置における第2の残留信号Dは、アクティブノイズ低減後にユーザに聞こえるノイズの大きさ(例えば、ユーザの鼓膜が受信できる信号)と見なすことができる。この場合、上記式(1)及び(2)を以下の式(3)に簡略化することができる。
【0084】
【数2】
【0085】
いくつかの実施形態において、プロセッサ130は、発音ユニット110と第1の検出器120との第1の伝達関数HSM、発音ユニット110と目標空間位置との第2の伝達関数HSD、環境ノイズ源と第1の検出器120との第3の伝達関数HNM、及び環境ノイズ源と目標空間位置との第4の伝達関数HNDを直接的に取得してもよい。さらに、プロセッサ130は、該第1の伝達関数、第2の伝達関数、第3の伝達関数、第4の伝達関数、前述の第1の音声信号S及び第1の残留信号Mを基に、式(3)に基づいて、目標空間位置における第2の残留信号Dを推定してもよい。いくつかの実施形態において、第1の伝達関数、第2の伝達関数、第3の伝達関数及び第4の伝達関数は、ユーザカテゴリに関連してもよい。プロセッサ130は、現在のユーザカテゴリ(例えば、大人又は子供)に基づいて、メモリ150から対応する第1の伝達関数、第2の伝達関数、第3の伝達関数及び第4の伝達関数を直接的に呼び出すことができる。
【0086】
いくつかの実施形態において、第1の伝達関数、第2の伝達関数、第3の伝達関数及び第4の伝達関数は、音響装置100の装着姿勢に関連してもよい。プロセッサ130は、メモリ150から、現在の装着姿勢に対応する第1の伝達関数、第2の伝達関数、第3の伝達関数及び第4の伝達関数を直接的に呼び出すことができる。例えば、音響装置100は、1つ以上のセンサ、例えば、距離センサや位置センサなどを含んでもよい。センサは、音響装置100からユーザの耳までの距離及び/又は音響装置100とユーザの耳との相対位置を検出することができる。音響装置100の異なる装着姿勢は、音響装置100からユーザの耳までの異なる距離及び/又は音響装置100とユーザの耳との異なる相対位置に対応することができる。プロセッサ130は、センサにより取得された距離データ及び/又は位置データに基づいて、音響装置100の現在の装着姿勢を決定し、さらに現在の装着姿勢に対応する第1の伝達関数、第2の伝達関数、第3の伝達関数及び第4の伝達関数を決定することができる。
【0087】
いくつかの実施形態において、プロセッサ130は、センサのセンシングデータ(例えば、音響装置100とユーザの耳との間の相対位置関係や距離関係など)に基づいて、音響装置100に対応する第1の伝達関数、第2の伝達関数、第3の伝達関数及び第4の伝達関数を直接的に決定してもよい。具体的には、音響装置100からユーザの耳までの異なる距離及び/又は音響装置100とユーザの耳との異なる相対位置は、異なる第1の伝達関数、第2の伝達関数、第3の伝達関数及び第4の伝達関数に対応することができる。プロセッサ130は、センサにより取得された距離データ及び/又は位置データに対応する第1の伝達関数、第2の伝達関数、第3の伝達関数及び第4の伝達関数を直接的に呼び出すことができる。
【0088】
いくつかの実施形態において、第1の伝達関数と第2の伝達関数、第3の伝達関数及び第4の伝達関数とは、それぞれマッピング関係があってもよい。プロセッサ130は、第1の伝達関数を取得し、第1の伝達関数と第2の伝達関数、第3の伝達関数及び第4の伝達関数とのマッピング関係に基づいて、第2の伝達関数、第3の伝達関数及び第4の伝達関数をそれぞれ決定し、それにより目標空間位置における第2の残留信号Dを決定してもよい。いくつかの実施形態において、第1の伝達関数と第2の伝達関数、第3の伝達関数及び第4の伝達関数とのマッピング関係は、トレーニングされたニューラルネットワークにより決定されてもよい。具体的には、プロセッサ130は、第1の音声信号(第1の音声信号を生成するためのノイズ制御信号)と第1の残留信号との関係に基づいて、発音ユニット110と第1の検出器120の間の第1の伝達関数を決定することができる。例えば、ユーザが音響装置100を装着している場合、ノイズがない状況で、第1の伝達関数は、以下の式(4)により決定することができる。
【0089】
【数3】
【0090】
さらに、プロセッサ130は、第1の伝達関数をトレーニングされたニューラルネットワークに入力し、該トレーニングされたニューラルネットワークの出力を取得して、第2の伝達関数、第3の伝達関数及び/又は第4の伝達関数を得ることができる。
【0091】
いくつかの実施形態において、第1の伝達関数と第2の伝達関数、第3の伝達関数及び第4の伝達関数のそれぞれとのマッピング関係は、音響装置100の異なる装着シーン(又は異なる装着姿勢)におけるテストデータに基づいて生成され、メモリ150に記憶されてもよい。プロセッサ130は、それらを直接的に呼び出して使用することができる。なお、異なる装着シーン又は使用状態において、音響装置100は、異なる第1の伝達関数、第2の伝達関数、第3の伝達関数及び第4の伝達関数に対応することができる。また、第1の伝達関数と第2の伝達関数、第3の伝達関数及び第4の伝達関数とは、異なるマッピング関係を有してもよく、そのマッピング関係は、装着シーン(又は装着姿勢)などの変化に伴って変化し得る。第1の伝達関数と第2の伝達関数、第3の伝達関数及び第4の伝達関数とのマッピング関係のより多くの詳細については、図4及びその説明を参照することができ、ここでは説明を省略する。
【0092】
いくつかの実施形態において、プロセッサ130は、第1の伝達関数と第2の伝達関数、第3の伝達関数及び第4の伝達関数のそれぞれとのマッピング関係に基づいて、第2の残留信号と第1の伝達関数、第1の音声信号及び第1の残留信号との関係を決定してもよい。言い換えれば、第2の残留信号は、第1の伝達関数を変数とする関数とみなすことができる。第1の伝達関数を決定した後、プロセッサ130は、該関数、発音ユニット110により生成された第1の音声信号、及び第1の検出器120により受信された第1の残留信号に基づいて、目標空間位置における第2の残留信号を推定することができる。
【0093】
【0094】
いくつかの実施形態において、第2の伝達関数と第1の伝達関数とは、第1のマッピング関係を有し、第5の伝達関数と第1の伝達関数とは、第2のマッピング関係を有してもよい。第1の伝達関数を決定した後、プロセッサ130は、第1の伝達関数と、第1の伝達関数と第2の伝達関数との第1のマッピング関係とに基づいて、第2の伝達関数を決定し、第4の伝達関数と第3の伝達関数との比と、第1の伝達関数との第2のマッピング関係に基づいて、第5の伝達関数(すなわち、第4の伝達関数と第3の伝達関数との比)を決定することができる。第1のマッピング関係及び第2のマッピング関係に関するより多くの説明については、図4及びその説明を参照することができ、ここでは説明を省略する。
【0095】
いくつかの実施形態において、音響装置100は、調整ボタンをさらに含んでもよく、或いはユーザ端末のアプリケーションプログラム(APP)によって調整されてもよい。調整ボタン又はユーザ端末上のAPPによって、ユーザは、ユーザが必要とする、音響装置100に関連する伝達関数又は伝達関数の間のマッピング関係を選択することができる。例えば、ユーザは、調整ボタン又はユーザ端末上のAPPによって音響装置100からユーザの耳(又は顔部)までの距離を選択(すなわち、装着姿勢を調整)してもよい。プロセッサ130は、音響装置100からユーザの耳(又は顔部)までの距離に基づいて、対応する第1の伝達関数、第2の伝達関数、第3の伝達関数及び第4の伝達関数、又は、第1の伝達関数、第2の伝達関数、第3の伝達関数及び/若しくは第4の伝達関数の間のマッピング関係を取得することができる。さらに、プロセッサ130は、取得された伝達関数又は伝達関数の間のマッピング関係、発音ユニット110の第1の音声信号S、及び第1の検出器120により検出された第1の残留信号Mに基づいて、目標空間位置における第2の残留信号Dを推定することができる。言い換えれば、ユーザは、調整ボタン又はユーザ端末上のAPPによって音響装置100のアクティブノイズ低減性能、例えば、完全ノイズ低減又は部分ノイズ低減を調整することができる。
【0096】
ステップ340において、プロセッサは、目標空間位置における第2の残留信号に基づいて、発音ユニット110のノイズ制御信号を更新することができる。いくつかの実施形態において、ステップ340は、プロセッサ130により実行されてもよい。
【0097】
いくつかの実施形態において、プロセッサ130は、ステップ330において推定された第2の残留信号Dに基づいて、対応する新たなノイズ低減電気信号を生成し、新たなノイズ低減電気信号に基づいて、新たなノイズ低減制御信号を生成してもよい。或いは、プロセッサ130は、音声を発生させるように発音ユニット110を制御するノイズ低減制御信号を更新してもよい。具体的には、いくつかの実施形態において、完全アクティブノイズ低減を実現する必要がある場合、目標空間位置における第2の残留信号Dは、基本的に0とみなすことができ、すなわち、音響装置100は、基本的に、外部のノイズを除去し、ユーザに外部からのノイズが聞こえないようにし、高いアクティブノイズ低減効果を実現することができる。この場合、発音ユニット110が発した第1の音声信号Sは、以下のように簡略化されてもよい。
【0098】
【数4】
【0099】
言い換えれば、プロセッサ130は、発音ユニット110と第1の検出器120との第1の伝達関数HSM、発音ユニット110と目標空間位置との第2の伝達関数HSD、環境ノイズ源と第1の検出器120との第3の伝達関数HNM、環境ノイズ源と目標空間位置との第4の伝達関数HND、及び第1の検出器120における第1の残留信号Mに基づいて、発音ユニット110が発する必要のあるノイズ低減信号の大きさを算出することで、従来の発音ユニット110が発したノイズ低減信号を修正し、発音ユニット110のノイズ低減信号のリアルタイム修正を実現し、発音ユニット110が発したノイズ低減信号が高いアクティブノイズ低減効果を実現できることを保証することができる。
【0100】
なお、前記フロー300に関する説明は、例示及び説明のためのものに過ぎず、本開示の適用範囲を限定するものではない。当業者であれば、本開示の説明に基づいて、フロー300に対して様々な修正及び変更を行うことができる。これらの修正及び変更は、依然として本開示の範囲内にある。例えば、いくつかの実施形態において、音響装置100は、密閉型の音響装置であって、すなわち、第1の検出器120及び目標空間位置が圧力音場に位置してもよい。この場合、HNM=NDであり、HSD=SMであり、式(3)から分かるように、第1の検出器120における信号M(すなわち、第1の残留信号)と目標空間位置における信号D(すなわち、第2の残留信号)とは、同じである。発音ユニット110が発したノイズ低減信号S(すなわち、第1の音声信号)は、以下の関係を満たすことができる。
【0101】
【数5】
【0102】
この場合、プロセッサ130は、発音ユニット110と第1の検出器120との第1の伝達関数HSM、環境ノイズ源と第1の検出器120との第3の伝達関数HNM、並びに第1の検出器120における取得された信号M及び環境ノイズ信号Nに基づいて、発音ユニット110が発する必要のあるノイズ低減信号を推定することで、従来の発音ユニット110が発したノイズ低減信号を修正し、ノイズ低減信号のリアルタイムな修正を実現し、高いアクティブノイズ低減効果を実現することができる。
【0103】
いくつかの実施形態において、音響装置100が密閉型音響装置であり、かつ完全アクティブノイズ低減を実現する必要がある場合、目標空間位置における第2の残留信号D及び第1の検出器120における第1の残留信号Mは、基本的に0と見なしてもよい。この場合、発音ユニット110が発したノイズ低減信号S(すなわち、第1の音声信号)は、以下の関係を満たすことができる。
【0104】
【数6】
【0105】
この場合、外部ノイズは、発音ユニット110が発したノイズ低減信号により完全に除去されることができる。プロセッサ130は、既知の発音ユニット110と第1の検出器120との第1の伝達関数HSM、環境ノイズ源と第1の検出器120との第3の伝達関数HNM、及び環境ノイズ信号Nに基づいて、発音ユニット110が発する必要のあるノイズ低減信号の大きさを推定することで、従来の発音ユニット110が発したノイズ低減信号を修正し、それにより発音ユニット110が発したノイズ低減信号のリアルタイムな修正を実現し、発音ユニット110が発したノイズ低減信号が高いアクティブノイズ低減効果を達成できることを保証することができる。
【0106】
なお、前記フロー300に関する説明は、例示及び説明のためのものに過ぎず、本開示の適用範囲を限定するものではない。当業者であれば、本開示の説明に基づいて、フロー300に対して様々な修正及び変更を行うことができる。これらの修正及び変更は、依然として本開示の範囲内にある。いくつかの実施形態において、フロー300は、コンピュータ命令の形態でコンピュータ可読記憶媒体に記憶されてもよい。該コンピュータ命令が実行されると、上記ノイズ低減方法を実現することができる。
【0107】
図4は、本開示のいくつかの実施形態に係る音響装置の伝達関数の決定方法の例示的なフローチャートである。いくつかの実施形態において、該音響装置は、少なくとも発音ユニット、第1の検出器、プロセッサ及び固定構造を含む。ユーザが該音響装置を装着している場合、固定構造は、該音響装置を、目標空間位置(例えば、ユーザの鼓膜又は基底膜)が第1の検出器よりもユーザの外耳道に近いように、ユーザの耳の近傍の、かつユーザの外耳道を塞がない位置に固定することができる。発音ユニットや第1の検出器、プロセッサ、目標空間位置などのより多くの詳細については、図1における音響装置100に関連する説明を参照することができるため、ここでは、説明を省略する。いくつかの実施形態において、フロー400におけるステップは、音響装置100におけるプロセッサ130又はプロセッサ130以外の他の処理デバイスによって呼び出され及び/又は実行されてもよい。
【0108】
ステップ410において、プロセッサ130は、環境ノイズがないシーンにおいて発音ユニット110がノイズ低減制御信号に基づいて発した第1の信号、及び第1の検出器がピックアップした第2の信号を取得することができる。
【0109】
具体的には、プロセッサ130は、被験者が音響装置100を装着した後、発音ユニット110にノイズ低減制御信号を入力することができる。発音ユニット110は、ノイズ低減制御信号の受信に応答して、第1の信号Sを出力することができる。さらに、発音ユニット110が出力した第1の信号Sは、第1の検出器120に伝達され、それによりピックアップされることができる。なお、第1の信号の伝達過程においてエネルギー損失が存在し、信号と被験者及び/又は音響装置100との間に反射が存在し、環境にノイズなどが存在するため、第1の検出器120がピックアップした信号M(例えば、第2の信号)は、第1の信号Sと異なり得る。なお、被験者によって、その身体組織形態が異なり(例えば、頭部の大きさが異なり、筋肉組織や脂肪組織、骨格などの人体組織の構成が異なり)、それにより該音響装置を装着している装着姿勢(例えば、装着位置、被験者との接触力が異なる)は、異なり得る。いくつかの実施形態において、同じ被験者であっても、音響装置100を装着する装着姿勢(例えば、装着位置)は異なり得る。装着姿勢が異なる場合、発音ユニット100が発した信号が第1の検出器120に伝達される過程において、発音ユニット110と第1の検出器120との相対位置の変わりがなくても、被験者の装着姿勢が異なるため、発音ユニット110が発した信号の伝達過程における伝送条件が変化する(例えば、信号の反射状況が異なる)。したがって、装着姿勢によって、該音響装置100の発音ユニット110と第1の検出器120との第1の伝達関数は異なり得る。
【0110】
いくつかの実施形態において、被験者は、実験室におけるヘッドモデルであってもよく、ユーザであってもよい。例えば、音響装置100がヘッドモデルに装着されている場合、音響装置100の第1の検出器120及び発音ユニット110は、ヘッドモデルの外耳道の近傍に位置してもよい。いくつかの実施形態において、制御信号は、任意の音声信号を含む電気信号であってもよい。なお、本開示において、音声信号(例えば、第1の信号や第2の信号など)は、周波数情報や振幅情報、位相情報などのパラメータ情報を含んでもよい。いくつかの実施形態において、第1の信号及び/又は第2の信号は、音声信号又は音声信号を変換して得られた電気信号であってもよい。
【0111】
ステップ420において、プロセッサ130は、第1の信号及び第2の信号に基づいて、発音ユニット110と第1の検出器120との第1の伝達関数を決定することができる。
【0112】
環境ノイズが存在しないシーンにおいて、第1の検出器120によって検出された第2の信号Mはすべて、発音ユニット110から伝達されたものであることが理解され得る。第1の検出器120がピックアップした第2の信号Mと発音ユニット110が出力した第1の信号Sとの比は、発音ユニット110によって生成された第1の信号が発音ユニット110から第1の検出器120に伝送される伝送過程における伝送品質又は伝達効率を直接的に反映することができる。いくつかの実施形態において、第1の伝達関数HSMは、第2の信号Mと第1の信号Sとの比と、正の相関を有する。単なる例として、第1の伝達関数HSMと第1の信号S及び第2の信号Mとの関係は、以下を満たすことができる。
【0113】
【数7】
【0114】
ステップ430において、プロセッサ130は、第2の検出器がピックアップした第3の信号を取得することができる。第2の検出器は、人の耳の鼓膜(又は基底膜)をシミュレートして音声信号をピックアップするように、目標空間位置に設置されてもよい。目標空間位置は、第1の検出器120よりも被験者の外耳道に近い。いくつかの実施形態において、目標空間位置は、被験者の外耳道、鼓膜又は基底膜位置であってもよい。例えば、発音ユニット110が空気伝導スピーカーである場合、目標空間位置は、被験者の鼓膜位置又は近傍であってもよい。発音ユニット110が骨伝導スピーカーである場合、目標空間位置は、被験者の基底膜位置又は近傍であってもよい。いくつかの実施形態において、第2の検出器は、ユーザの外耳道に入って外耳道の内部で音声を収集できるマイクロマイクロホン(例えば、MEMSマイクロホン)であってもよい。
【0115】
具体的には、発音ユニット110が出力した第1の信号Sは、目標空間位置に伝達され、目標空間位置における第2の検出器によりピックアップされてもよい。第1の信号が第1の検出器120に伝達されることと同様に、第1の信号の伝達過程においてエネルギー損失が存在し、信号と被験者及び/又は音響装置100との間に反射が存在し、環境にノイズなどが存在するため、第2の検出器がピックアップした信号D(例えば、第3の信号)は、第1の信号Sと異なり得る。また、装着姿勢によって、該音響装置100の発音ユニット110と目標空間位置(第2の検出器)との第2の伝達関数は異なり得る。
【0116】
ステップ440において、プロセッサ130は、第1の信号及び第3の信号に基づいて、発音ユニット110と目標空間位置との第2の伝達関数を決定することができる。
【0117】
環境ノイズが存在しないシーンにおいて、第2の検出器によって検出された第3の信号Dはすべて、発音ユニット110から伝達されたものであることが理解され得る。第2の検出器がピックアップした第3の信号Dと発音ユニット110が出力した第1の信号Sとの比は、発音ユニット110によって生成された第1の信号が発音ユニット110から第2の検出器(すなわち、目標空間位置)に伝送される伝送過程における伝送品質又は伝達効率を直接的に反映することができる。いくつかの実施形態において、第2の伝達関数HSDは、第3の信号D第1の信号Sとの比と、正の相関を有してもよい。単なる例として、第2の伝達関数HSDと第1の信号S及び第3の信号Dとの関係は、以下を満たすことができる。
【0118】
【数8】
【0119】
ステップ450において、プロセッサ130は、環境ノイズがあり、かつ発音ユニット110が何の信号も発しないシーンにおいて、第1の検出器120がピックアップした第4の信号、及び第2の検出器がピックアップした第5の信号を取得することができる。環境ノイズは、1つ以上の環境ノイズ源により生成されてもよい。テスト過程において、環境ノイズ源は、発音ユニット以外の任意の音源であってもよい。例えば、環境ノイズNは、テスト環境における他の発音デバイスによりシミュレートして取得することができる。
【0120】
【0121】
ステップ460において、プロセッサ130は、環境ノイズ及び第4の信号に基づいて、環境ノイズ源と第1の検出器120との第3の伝達関数を決定することができる。
【0122】
【0123】
【数9】
【0124】
ステップ470において、プロセッサ130は、環境ノイズ及び第5の信号に基づいて、環境ノイズ源と目標空間位置との第4の伝達関数を決定することができる。
【0125】
【0126】
【数10】
【0127】
いくつかの実施形態において、あるカテゴリの被験者(例えば、成人、子供)に対して測定した第1の伝達関数、第2の伝達関数、第3の伝達関数及び第4の伝達関数をメモリ150に記憶してもよい。ユーザが該音響装置100を装着している場合に、プロセッサ130は、ある典型的な被験者に対して測定した第1の伝達関数、第2の伝達関数、第3の伝達関数及び第4の伝達関数を直接的に呼び出して、目標空間位置(例えば、ユーザの鼓膜における)の第2の残留信号を大まかに推定して、発音ユニットのノイズ低減信号を大まかに推定し、アクティブノイズ低減を実現することができる。例えば、成人男性については、1組の第1の伝達関数、第2の伝達関数、第3の伝達関数及び第4の伝達関数に対応することができる。子供については、他の1組の第1の伝達関数、第2の伝達関数、第3の伝達関数及び第4の伝達関数に対応することができる。ユーザが子供である場合、プロセッサ130は、子供に対応する1組の第1の伝達関数、第2の伝達関数、第3の伝達関数及び第4の伝達関数を呼び出すことができる。
【0128】
いくつかの実施形態において、プロセッサ130は、異なる装着シーン(例えば、異なる装着位置)又は異なる被験者に対して、前記ステップ410~ステップ470を繰り返し、音響装置100の異なる装着姿勢下での複数組の伝達関数を決定し、異なる装着姿勢に対応する複数組の伝達関数をメモリ150に記憶して、呼び出しに備えることができる。各組の伝達関数は、対応する第1の伝達関数、第2の伝達関数、第3の伝達関数及び第4の伝達関数を含んでもよい。ユーザが該音響装置100を装着している場合、プロセッサ130は、音響装置100の装着姿勢に基づいて、装着姿勢に対応する第1の伝達関数、第2の伝達関数、第3の伝達関数及び第4の伝達関数を呼び出すことができる。さらに、プロセッサ130は、呼び出した伝達関数、発音ユニット110の第1の音声信号、及び第1の検出器120がピックアップした第1の残留信号に基づいて、目標空間位置における第2の残留信号を推定し、第2の残留信号に基づいて、発音ユニット110の発音を制御するためのノイズ低減制御信号を更新することができる。伝達関数に基づいて第2の残留信号を決定することに関するより多くの説明については、図3及びその説明を参照することができ、ここでは説明を省略する。
【0129】
いくつかの実施形態において、伝達関数が音響装置100の装着姿勢に応じて変化するため、ユーザが音響装置100を装着している場合、プロセッサ130は、発音ユニット110が出力した第1の音声信号及び第1の検出器120により検出された第1の残留信号に基づいて、第1の伝達関数を直接的に決定することができるが、第2の伝達関数、第3の伝達関数及び第4の伝達関数を直接的に得ることができない。この場合、プロセッサ130は、第1の伝達関数、第1の伝達関数と第2の伝達関数、第3の伝達関数及び第4の伝達関数のそれぞれとの関係に基づいて、それぞれ第2の伝達関数、第3の伝達関数及び第4の伝達関数を決定してもよい。具体的には、プロセッサ130は、異なる装着姿勢に対応する複数組の伝達関数に基づいて、第1の伝達関数と、第2の伝達関数、第3の伝達関数及び第4の伝達関数との関係をそれぞれ決定し、メモリ150に記憶して、呼び出しに備えることができる。いくつかの実施形態において、プロセッサ130は、統計により、第1の伝達関数と、第2の伝達関数、第3の伝達関数及び第4の伝達関数のそれぞれとの関係を決定してもよい。いくつかの実施形態において、プロセッサ130は、複数組のサンプル伝達関数をトレーニングサンプルとして、ニューラルネットワークをトレーニングしてもよい。各組のサンプル伝達関数は、音響装置100の異なる装着状態でテスト信号により実際に測定されたものであってもよい。プロセッサ130は、トレーニングされたニューラルネットワークを、第1の伝達関数と、第2の伝達関数、第3の伝達関数及び第4の伝達関数のそれぞれとの関係とすることができる。例えば、第1の伝達関数と第2の伝達関数との関係について、プロセッサ130は、各組のサンプル伝達関数の中の第1のサンプル伝達関数を第1のニューラルネットワークの入力とし、該組のサンプル伝達関数の中の第2のサンプル伝達関数を第1のニューラルネットワークの出力として、第1のニューラルネットワークをトレーニングすることができる。プロセッサ130は、トレーニングされた第1のニューラルネットワークを第1の伝達関数と第2の伝達関数との関係とすることができる。具体的には、応用時にプロセッサ130は、第1の伝達関数をトレーニングされた第1のニューラルネットワークに入力して、第2の伝達関数を決定することができる。
【0130】
いくつかの実施形態において、式(3)から分かるように、第3の伝達関数HNMと第4の伝達関数HNDとの比は、全体として見なしてもよく、この場合、第3の伝達関数HNMと第4の伝達関数HNDを単独で取得することなく第2の残留信号を決定することができる。この場合、プロセッサ130は、異なる装着姿勢に対応する複数組の伝達関数に基づいて、第1の伝達関数HSMと第2の伝達関数HSDとの第1のマッピング関係、第3の伝達関数HNMと第4の伝達関数HNDとの比と第1の伝達関数HSMとの第2のマッピング関係を決定し、第1のマッピング関係及び第2のマッピング関係をメモリ150に記憶して、呼び出しに備えることができる。例示的に、第1のマッピング関係と第2のマッピング関係は、それぞれ以下のように表される。
【0131】
【数11】
【0132】
ユーザが音響装置100を装着している場合、プロセッサ130は、第1の伝達関数及び上記第1のマッピング関係に基づいて、第2の伝達関数を決定し、第1の伝達関数及び上記第2のマッピング関係に基づいて、第4の伝達関数と第3の伝達関数との比を決定することができる。さらに、プロセッサ130は、第1の伝達関数、第2の伝達関数、第4の伝達関数と第3の伝達関数との比、発音ユニット110が発した第1の音声信号、及び第1の検出器120により検出された第1の残留信号に基づいて、目標空間位置における第2の残留信号を推定し、目標空間位置における第2の残留信号に基づいて、ノイズ制御信号を更新することができる。発音ユニット110は、該更新されたノイズ制御信号に応答して新たな第1の音声信号(すなわち、ノイズ低減信号)を生成する。
【0133】
いくつかの実施形態において、プロセッサ130は、複数組のサンプル伝達関数をトレーニングサンプルとして、ニューラルネットワークをトレーニングし、トレーニングされたニューラルネットワークを得て、トレーニングされたニューラルネットワークを第2のマッピング関係としてもよい。具体的には、プロセッサ130は、各組のサンプル伝達関数の中の第1のサンプル伝達関数を第2のニューラルネットワークの入力とし、該組のサンプル伝達関数の中の第4のサンプル伝達関数と第3のサンプル伝達関数との比を第2のニューラルネットワークの出力として、第2のニューラルネットワークをトレーニングすることができる。プロセッサ130は、トレーニングされた第2のニューラルネットワークを第2のマッピング関係とすることができる。応用時に、プロセッサ130は、第1の伝達関数をトレーニングされた第2のニューラルネットワークに入力して、第4の伝達関数と第3の伝達関数との比を決定することができる。
【0134】
いくつかの実施形態において、音響装置100は、1つ以上のセンサ(第4の検出器と称してもよい)、例えば、距離センサや位置センサなどを有してもよい。センサは、音響装置100とユーザの耳(又は顔部)との距離及び/又は音響装置100のユーザの耳に対する相対位置を検出することができる。説明を容易にするために、本開示は、距離センサを例としてセンサについて説明する。いくつかの実施形態において、異なる装着姿勢は、音響装置100とユーザの耳(又は顔部)との異なる距離に対応してもよい。プロセッサ130は、異なる距離に対応する第1の伝達関数、第2の伝達関数、第3の伝達関数及び第4の伝達関数をメモリ150に記憶して、呼び出しに備えることができる。いくつかの実施形態において、プロセッサ130は、音響装置100の異なる装着姿勢と、対応する距離及び伝達関数をメモリ150に記憶してもよい。ユーザが音響装置100を装着している場合、プロセッサ130は、まず距離センサ(すなわち、第4の検出器)により検出された音響装置100とユーザの耳との距離によって、音響装置100の装着姿勢を決定してもよい。プロセッサ130は、さらに装着姿勢に基づいて、第1の伝達関数、第2の伝達関数、第3の伝達関数及び第4の伝達関数を決定してもよい。或いは、プロセッサ130は、距離センサ(すなわち、第4の検出器)により検出された音響装置100とユーザの耳との距離に基づいて、第1の伝達関数、第2の伝達関数、第3の伝達関数及び第4の伝達関数を直接的に決定してもよい。いくつかの実施形態において、プロセッサ130は、距離センサにより検出された音響装置100とユーザの耳との距離、第1の伝達関数に基づいて、第1の伝達関数、第2の伝達関数、第3の伝達関数及び第4の伝達関数の間のマッピング関係を決定してもよい。
【0135】
いくつかの実施形態において、プロセッサ130は、距離センサにより取得された距離データを(又は該距離データを第1の伝達関数とともに)、トレーニングされた第3のニューラルネットワークの入力として第2の伝達関数、第3の伝達関数及び/又は第4の伝達関数を取得してもよい。具体的には、プロセッサ130は、距離センサにより取得されたサンプル距離を(又はサンプル距離と、対応する1組のサンプル伝達関数の中の第1のサンプル伝達関数とともに)第3のニューラルネットワークの入力とし、該組のサンプル伝達関数の中の第2のサンプル伝達関数、第3のサンプル伝達関数及び/又は第4のサンプル伝達関数を第3のニューラルネットワークの出力として、第3のニューラルネットワークをトレーニングすることができる。応用時に、プロセッサ130は、距離センサにより取得された距離データを(又は該距離データを、第1の伝達関数とともに)トレーニングされた第3のニューラルネットワークに入力し、第2の伝達関数、第3の伝達関数及び/又は第4の伝達関数を決定してもよい。
【0136】
なお、前記フロー400についての説明は、例示及び説明のためのものに過ぎず、本開示の適用範囲を限定するものではない。当業者であれば、本開示の示唆でフロー400に対して様々な修正及び変更を行うことができる。これらの修正及び変更は、依然として本開示の範囲内にある。例えば、いくつかの実施形態において、テスト過程において、先に第2の信号を取得してもよいし、先に第3の信号を取得してもよく、或いは第2の信号及び第3の信号を同時に取得してもよい。いくつかの実施形態において、フロー400は、コンピュータ命令の形態でコンピュータ可読記憶媒体に記憶されてもよい。該コンピュータ命令が実行されると、上記した伝達関数のテスト方法を実現することができる。
【0137】
以上、基本概念を説明してきたが、当業者にとっては、上記の詳細な開示は、単なる例に過ぎず、本開示を限定するものではないことは明らかである。本開示において明確に記載されていないが、当業者は、本開示に対して様々な変更、改良及び修正を行うことができる。これらの変更、改良及び修正は、本開示によって示唆されることが意図されているため、本開示の例示的な実施形態の精神及び範囲にある。
【0138】
さらに、本開示の実施形態を説明するために、本開示において特定の用語が使用されている。例えば、「1つの実施形態」、「一実施形態」、及び/又は「いくつかの実施形態」は、本開示の少なくとも1つの実施形態に関連した特定の特徴、構造又は特性を意味する。したがって、本開示の様々な部分における「一実施形態」又は「1つの実施形態」又は「1つの代替的な実施形態」の2つ以上の言及は、必ずしもすべてが同一の実施形態を指すとは限らないことを強調し、理解されたい。また、本開示の1つ以上の実施形態における特定の特徴、構造又は特性は、適切に組み合わせられてもよい。
【0139】
また、当業者には理解されるように、本開示の各態様は、任意の新規かつ有用なプロセス、機械、製品又は物質の組み合わせ、又はそれらへの任意の新規かつ有用な改善を含む、いくつかの特許可能なクラス又はコンテキストで、例示及び説明され得る。よって、本開示の各態様は、完全にハードウェアによって実行されてもよく、完全にソフトウェア(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)によって実行されてもよく、ハードウェアとソフトウェアの組み合わせによって実行されてもよい。以上のハードウェア又はソフトウェアは、いずれも「データブロック」、「モジュール」、「エンジン」、「ユニット」、「アセンブリ」又は「システム」と呼ばれてもよい。また、本開示の各態様は、コンピュータ可読プログラムコードを含む1つ以上のコンピュータ可読媒体に具現化されたコンピュータプログラム製品の形態を取ることができる。
【0140】
コンピュータ記憶媒体は、コンピュータプログラムコードを搬送するための、ベースバンド上で伝播されるか又は搬送波の一部として伝播される伝播データ信号を含んでもよい。該伝播信号は、電磁気信号、光信号又は適切な組み合わせ形態などの様々な形態を含んでもよい。コンピュータ記憶媒体は、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよく、該媒体は、命令実行システム、装置又は機器に接続されることにより、使用されるプログラムの通信、伝播又は伝送を実現することができる。コンピュータ記憶媒体上のプログラムコードは、無線、ケーブル、光ファイバケーブル、RF若しくは類似の媒体、又は上記媒体の任意の組み合わせを含む任意の適切な媒体を介して伝播することができる。
【0141】
また、特許請求の範囲に明確に記載されていない限り、本開示に記載の処理要素又はシーケンスの列挙した順序、英数字の使用、又は他の名称の使用は、本開示の手順及び方法の順序を限定するものではない。上記開示において、発明の様々な有用な実施形態であると現在考えられるものを様々な例を通して説明しているが、そのような詳細は、単に説明のためであり、添付の特許請求の範囲は、開示される実施形態に限定されないが、逆に、本開示の実施形態の趣旨及び範囲内にある全ての修正及び同等の組み合わせをカバーするように意図されることを理解されたい。例えば、上述したシステムアセンブリは、ハードウェアデバイスにより実装されてもよいが、ソフトウェアのみのソリューション、例えば、既存のサーバ又はモバイルデバイスに説明されたシステムをインストールすることにより実装されてもよい。
【0142】
同様に、本開示の実施形態の前述の説明では、本開示を簡略化して、1つ以上の発明の実施形態への理解を助ける目的で、様々な特徴が1つの実施形態、図面又はその説明にまとめられることがあることを理解されたい。しかしながら、このような開示方法は、特許請求される主題が各請求項で列挙されるよりも多くの特徴を必要とするという意図を反映するものと解釈されるべきではない。実際に、実施形態の特徴は、上記開示された単一の実施形態の全ての特徴よりも少ない場合がある。
【0143】
いくつかの実施形態において、成分及び属性の数を説明する数字が使用されており、このような実施形態を説明するための数字は、いくつかの例において修飾語「約」、「ほぼ」又は「概ね」によって修飾されるものであることを理解されたい。特に明記しない限り、「約」、「ほぼ」又は「概ね」は、上記した数字が±20%の変動が許容されることを示す。よって、いくつかの実施形態において、本開示及び特許請求の範囲において使用されている数値パラメータは、いずれも個別の実施形態に必要な特性に応じて変化し得る近似値である。いくつかの実施形態において、数値パラメータについては、規定された有効桁数を考慮すると共に、通常の丸め手法を適用すべきである。本開示のいくつかの実施形態において、その範囲を決定するための数値範囲及びパラメータは、近似値であるが、具体的な実施形態において、このような数値は、可能な限り正確に設定される。
【0144】
本開示において参照されているすべての特許、特許出願、公開特許公報、及び、論文、書籍、仕様書、刊行物、文書などの他の資料は、本開示の内容と一致しないか又は矛盾する出願経過文書、及び(現在又は後に本開示に関連する)本開示の請求項の最も広い範囲に関して限定的な影響を与え得る文書を除いて、その全体が参照により本開示に組み込まれる。なお、本開示の添付資料における説明、定義、及び/又は用語の使用が本開示に記載の内容と一致しないか又は矛盾する場合、本開示における説明、定義、及び/又は用語の使用を優先するものとする。
【0145】
最後に、本願に記載の実施形態は、単に本開示の実施形態の原理を説明するものであることを理解されたい。他の変形例も本開示の範囲内にある可能性がある。したがって、限定するものではなく、例として、本開示の実施形態の代替構成は、本開示の教示と一致するように見なされてもよい。よって、本開示の実施形態は、本願において明確に紹介して説明された実施形態に限定されない。
【符号の説明】
【0146】
100 音響装置
110 発音ユニット
120 第1の検出器
130 プロセッサ
140 センサ
150 メモリ
160 信号送受信機
170 ハウジング構造
180 固定構造
200 音響装置
210 発音ユニット
220 第1の検出器
図1
図2
図3
図4
【手続補正書】
【提出日】2024-01-15
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
音響装置であって、発音ユニット、第1の検出器、プロセッサ及び固定構造を含み、
前記発音ユニットは、ノイズ低減制御信号に基づいて、第1の音声信号を生成し、
前記第1の検出器は、前記第1の検出器において環境ノイズと前記第1の音声信号が重畳された残留ノイズ信号を含む第1の残留信号をピックアップし、
前記プロセッサは、前記第1の音声信号及び前記第1の残留信号に基づいて、目標空間位置における第2の残留信号を推定し、前記第2の残留信号に基づいて、前記ノイズ低減制御信号を更新し、
前記固定構造は、前記音響装置を、前記目標空間位置が前記第1の検出器よりもユーザの外耳道に近いように、前記ユーザの耳の近傍の、かつ前記ユーザの外耳道を塞がない位置に固定する、音響装置。
【請求項2】
前記第1の音声信号及び前記第1の残留信号に基づいて、目標空間位置における第2の残留信号を推定することは、
前記発音ユニットと前記第1の検出器との第1の伝達関数、前記発音ユニットと前記目標空間位置との第2の伝達関数、環境ノイズ源と前記第1の検出器との第3の伝達関数、及び前記環境ノイズ源と前記目標空間位置との第4の伝達関数を取得することと、
前記第1の伝達関数、前記第2の伝達関数、前記第3の伝達関数、前記第4の伝達関数、前記第1の音声信号及び前記第1の残留信号に基づいて、前記目標空間位置における前記第2の残留信号を推定することと、を含む、請求項1に記載の音響装置。
【請求項3】
前記発音ユニットと前記第1の検出器との第1の伝達関数、前記発音ユニットと前記目標空間位置との第2の伝達関数、環境ノイズ源と前記第1の検出器との第3の伝達関数、及び前記環境ノイズ源と前記目標空間位置との第4の伝達関数を取得することは、
前記第1の伝達関数を取得することと、
前記第1の伝達関数、並びに、前記第1の伝達関数と前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数との各マッピング関係に基づいて、前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数を決定することと、を含む、請求項2に記載の音響装置。
【請求項4】
前記第1の伝達関数と前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数との各マッピング関係は、前記音響装置の異なる装着シーンにおけるテストデータに基づいて生成される、請求項3に記載の音響装置。
【請求項5】
前記発音ユニットと前記第1の検出器との第1の伝達関数、前記発音ユニットと前記目標空間位置との第2の伝達関数、環境ノイズ源と前記第1の検出器との第3の伝達関数、及び前記環境ノイズ源と前記目標空間位置との第4の伝達関数を取得することは、
前記第1の伝達関数を取得することと、
前記第1の伝達関数をトレーニングされたニューラルネットワークに入力し、前記トレーニングされたニューラルネットワークの出力を前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数として取得することと、を含む、請求項2に記載の音響装置。
【請求項6】
前記第1の伝達関数を取得することは、
前記ノイズ低減制御信号及び前記第1の残留信号に基づいて、前記第1の伝達関数を算出することを含む、請求項2~5のいずれか1項に記載の音響装置。
【請求項7】
前記音響装置から前記ユーザの耳までの距離を検出する距離センサをさらに含み、
前記プロセッサは、さらに、前記距離に基づいて、前記第1の伝達関数、前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数を決定する、請求項2に記載の音響装置。
【請求項8】
前記第1の音声信号及び前記第1の残留信号に基づいて、目標空間位置における第2の残留信号を推定することは、
前記発音ユニットと前記第1の検出器との第1の伝達関数、前記発音ユニットと前記目標空間位置との第2の伝達関数、並びに環境ノイズ源、前記第1の検出器及び前記目標空間位置の間の関係を反映する第5の伝達関数を取得することと、
前記第1の伝達関数、前記第2の伝達関数、前記第5の伝達関数、前記第1の音声信号及び前記第1の残留信号に基づいて、前記目標空間位置における前記第2の残留信号を推定することと、を含む、請求項1に記載の音響装置。
【請求項9】
前記第1の伝達関数と前記第2の伝達関数とは、第1のマッピング関係を有し、
前記第5の伝達関数と前記第1の伝達関数とは、第2のマッピング関係を有する、請求項8に記載の音響装置。
【請求項10】
前記第1の音声信号及び前記第1の残留信号に基づいて、目標空間位置における第2の残留信号を推定することは、
前記発音ユニットと前記第1の検出器との第1の伝達関数を取得することと、
前記第1の伝達関数、前記第1の音声信号及び前記第1の残留信号に基づいて、前記目標空間位置における前記第2の残留信号を推定することと、を含む、請求項1に記載の音響装置。
【請求項11】
前記目標空間位置は、前記ユーザの鼓膜位置である、請求項1~のいずれか1項に記載の音響装置。
【請求項12】
音響装置の伝達関数を決定する方法であって、前記音響装置は、発音ユニット、第1の検出器、プロセッサ及び固定構造を含み、前記固定構造は、前記音響装置を、被験者の耳の近傍の、かつ前記被験者の外耳道を塞がない位置に固定し、前記方法は、
環境ノイズがないシーンにおいて、前記発音ユニットがノイズ低減制御信号に基づいて発した第1の信号と、前記第1の検出器によりピックアップされた第2の信号であって前記第1の信号により前記第1の検出器に伝達された残留ノイズ信号を含む第2の信号と、を取得するステップと、
前記第1の信号及び前記第2の信号に基づいて、前記発音ユニットと前記第1の検出器との第1の伝達関数を決定するステップと、
前記第1の検出器よりも前記被験者の外耳道に近い目標空間位置に設置された第2の検出器によりピックアップされた第3の信号であって前記第1の信号により前記目標空間位置に伝達された残留ノイズ信号を含む第3の信号を取得するステップと、
前記第1の信号及び前記第3の信号に基づいて、前記発音ユニットと前記目標空間位置との第2の伝達関数を決定するステップと、
前記環境ノイズがあり、かつ前記発音ユニットが何の信号も送信しないシーンにおいて、前記第1の検出器によりピックアップされた第4の信号と、前記第2の検出器によりピックアップされた第5の信号と、を取得するステップと、
前記環境ノイズ及び前記第4の信号に基づいて、環境ノイズ源と前記第1の検出器との第3の伝達関数を決定するステップと、
前記環境ノイズ及び前記第5の信号に基づいて、前記環境ノイズ源と前記目標空間位置との第4の伝達関数を決定ステップと、を含む方法。
【請求項13】
異なる装着シーン又は異なる被験者に対して複数組の伝達関数を決定するステップであって、各組の伝達関数が、対応する第1の伝達関数、第2の伝達関数、第3の伝達関数及び第4の伝達関数を含む、ステップと、
前記複数組の伝達関数に基づいて、前記第1の伝達関数と前記第2の伝達関数、前記第3の伝達関数、及び前記第4の伝達関数とのマッピング関係を決定するステップと、をさらに含む、請求項12に記載の方法。
【請求項14】
前記複数組の伝達関数に基づいて、前記第1の伝達関数、前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数の間のマッピング関係を決定するステップは、
前記複数組の伝達関数をトレーニングサンプルとして、ニューラルネットワークをトレーニングするステップと、
トレーニングされたニューラルネットワークを前記第1の伝達関数、前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数の間のマッピング関係とするステップと、を含む、請求項13に記載の方法。
【請求項15】
前記複数組の伝達関数に基づいて、前記第1の伝達関数、前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数の間のマッピング関係を決定するステップは、
前記異なる装着シーン又は前記異なる被験者に対して、前記音響装置から対応する前記被験者の耳までの距離を取得するステップと、
前記距離及び前記複数組の伝達関数に基づいて、前記第1の伝達関数、前記第2の伝達関数、前記第3の伝達関数及び前記第4の伝達関数の間のマッピング関係を決定するステップと、を含む、請求項13に記載の方法。
【国際調査報告】