【文献】
SORENSEN, Charlotte et al.,SEMI-NON-INTRUSIVE OBJECTIVE INTELLIGIBILITY MEASURE USING SPATIAL FILTERING IN HEARING AIDS,2016 24th European Signal Processing Conference(EUSIPCO),IEEE,2016年09月02日,pp.1358-1362,ISSN:2076-1465
【文献】
JENSEN, Jesper Rindom et al.,STATISTICALLY EFFICIENT METHODS FOR PITCH AND DOA ESTIMATION,2013 IEEE International Conference on Acoustics, Speech and Signal Processing,IEEE,2013年05月31日,pp.3900-3904,ISBN:978-1-4799-0356-6
(58)【調査した分野】(Int.Cl.,DB名)
前記音声明瞭度推定器は、前記マイクロフォン入力信号の高調波モデルパラメータを提供するために前記ピッチ推定器に動作可能に接続されている高調波モデル推定器を備えており、
前記ピッチパラメータは、前記高調波モデルパラメータに基づく、請求項1から3のいずれか一項に記載の聴覚装置。
前記音声明瞭度インジケータが第1判定基準を満たす場合に、第1処理スキームを選択し、前記第1処理スキームを前記マイクロフォン入力信号に適用するように構成されている、請求項1から5のいずれか一項に記載の聴覚装置。
前記音声明瞭度インジケータが第1判定基準を満たさない場合に、既に適用されているのと同じ処理スキームを引き続き前記マイクロフォン入力信号に適用するように構成されている、請求項1から7のいずれか一項に記載の聴覚装置。
前記音声明瞭度インジケータが第2判定基準を満たす場合に、第2処理スキームを選択し、前記第2処理スキームを前記第1マイクロフォン入力信号に適用するように構成されている、請求項1から10のいずれか一項に記載の聴覚装置。
【発明を実施するための形態】
【0010】
関連するときは図面を参照しつつ、本明細書で以下に種々の例示的な実施形態及び詳細を記載する。図面は、縮尺通りに描かれていてもよく、描かれていなくてもよく、同様の構造又は機能をもつ要素は、図面全体で同様の参照番号によって表されることを注記しておくべきである。図面は、実施形態の説明を容易にすることだけを意図していることも注記しておくべきである。図面は、発明の包括的な記載であることは意図しておらず、又は、発明の範囲を限定するものであることは意図していない。これに加え、図示されている実施形態は、示されている全ての態様又は利点を有する必要はない。特定の実施形態と関連して記載される態様又は利点は、必ずしもその実施形態に限定されず、図示されていない場合であっても、又は、そのように明確に記載されていない場合であっても、任意の他の実施形態で実施することができる。
【0011】
音声強調スキームを、評価済みの聞き取り環境の音声明瞭度に基づいて評価することができ、それによって、音声強調スキームが必要な場合にのみ適用されるために、聞き取り環境の自動的な明瞭度評価が、聴覚装置のユーザによって有益になり得ることが本願発明者らによって見出された。従って、本願発明者らは、聴覚装置の処理に音声明瞭度インジケータを使用することに利点を見出した。音声明瞭度を評価するために、短期客観的明瞭度(STOI)測定及び正規化共分散基準値(NCM)のような許容され得る信頼性を有しつつ音声明瞭度を予測する種々の煩わしい方法が存在する。
【0012】
しかしながら、STOI法及びNCM法は、煩わしい。即ち、これらの方法は全て、「きれいな」音声信号をリファレンス音声信号として入手する必要がある。「きれいな」音声信号は、リファレンス音声信号であり、音源から発せられる信号と同様の特性(例えば、音声明瞭度についての十分な情報)を示す信号である。「きれいな」音声信号は、例えば、音源が、スパウスマイクロフォン器具に取り付けられたとき、その音源によって提供され得る。しかし、大部分の実生活の状況(例えば、カクテルパーティ)では、リファレンス音声信号として「きれいな」音声信号を入手することは、ほとんどできない。
【0013】
EP3057335A1号には、ユーザの左耳及び右耳に、又は、ユーザの左耳の中及び右耳の中に配置されるように適合された左耳用及び右耳用の聴覚装置と、出力刺激にさらされた時に、左耳用及び右耳用のそれぞれの聴覚装置の信号処理ユニットから処理された信号yl(t)、yr(t)に基づいて、ユーザの予測される音声明瞭度の両耳用SI測定値を提供するための両耳用音声明瞭度予測ユニットと、を備える両耳用システムが記載されている。
【0014】
しかしながら、EP3057335A1号のシステムも、左耳用聴覚装置から、処理された音声信号をリファレンス音声信号として入手する必要があるという点で煩わしい。音声明瞭度の予測において、EP3057335A1号の両耳用システムは、1個の聴覚装置からの処理された信号であって、リファレンス音声信号として使用される処理された信号に依存する。このような技術は、片耳用聴覚システムには適用することができない。片耳用聴覚システムでは、別の聴覚装置から、処理された信号を得ることができず、片耳用聴覚システムではリファレンス音声信号を容易に入手することができないためである。さらに、EP3057335A1号のシステムは、例えば、左耳用聴覚装置からの処理された信号が、右耳用聴覚装置からの信号と同じ音声明瞭度の欠陥を有し易く、それによって、信頼性の高いリファレンス音声信号とすることができないので、最善には及ばない音声明瞭度の推定を提供する。
【0015】
本開示は、聞き取り環境において、マイクロフォン入力信号及び音源のピッチパラメータに基づいて、音声明瞭度インジケータを推定することによって、聞き取り環境の音声明瞭度を煩わしくなく推定する聴覚装置を提供する。本開示は、推定された音声明瞭度インジケータを使用し、マイクロフォン入力信号の処理を制御することを目的とする。
【0016】
本開示の利点は、音声明瞭度インジケータを推定するために、リファレンス音声信号にアクセスする必要がないことである。本開示は、ピッチパラメータ及びマイクロフォン入力信号に基づいて、リファレンス音声信号(即ち、音声信号の明瞭度を表すリファレンス音声信号)を再構築することができる聴覚装置、方法、及び、聴覚システムを提案する。本開示は、マイクロフォン入力信号、ピッチパラメータ、及び、到来方向を活用することによって、リファレンス音声信号を入手することができないか、又は、リファレンス音声信号にアクセスにすることができないという問題を克服する。
【0017】
聴覚装置が、本明細書に開示される。聴覚装置は、補聴器であってもよく、プロセッサは、ユーザの聴力損失を補償するように構成されていてもよい。聴覚装置は、補聴器、例えば、耳掛(BTE)型、耳穴(ITE)型、耳道(ITC)型、耳道レシーバ(RIC)型、又は、耳穴レシーバ(RITE)型の補聴器であってもよい。
【0018】
聴覚装置は、セットのマイクロフォンを備えている。セットのマイクロフォンは、1個以上のマイクロフォンを備えていてもよい。セットのマイクロフォンは、第1マイクロフォン入力信号を提供するための第1マイクロフォン及び/又は第2マイクロフォン入力信号を提供するための第2マイクロフォンを備える。セットのマイクロフォンは、N個のマイクロフォン信号を与えるためのN個のマイクロフォンを備えていてもよい。ここで、Nは、1〜10の範囲の整数である。1個以上の例示的な聴覚装置において、マイクロフォンの数であるNは、2、3、4、5、又は、それよりも大きい。セットのマイクロフォンは、第3マイクロフォン入力信号を提供するための第3マイクロフォンを備えていてもよい。
【0019】
聴覚装置は、入力信号、例えばマイクロフォン入力信号を処理するためのプロセッサを備えている。プロセッサは、プロセッサへの入力信号に基づいて、電気出力信号を提供する。プロセッサの入力端子は、任意的に、マイクロフォンのそれぞれの出力端子に接続される。プロセッサの1個以上のマイクロフォン入力端子は、マイクロフォンの1個以上のマイクロフォン出力端子のそれぞれに接続されていてもよい。プロセッサは、ユーザの聴力損失を補償し、入力信号に基づいて、電気出力信号を提供するように構成されていてもよい。
【0020】
聴覚装置は、電気出力信号をオーディオ出力信号に変換するためのレシーバを備えている。レシーバは、電気出力信号を、聴覚装置のユーザの鼓膜に向かって進むオーディオ出力信号に変換するように構成されていてもよい。
【0021】
聴覚装置は、1個以上の無線入力信号、例えば、第1無線入力信号及び/又は第2無線入力信号をアンテナ出力信号に変換するためのアンテナを、任意的に備えている。無線入力信号は、例えば、スパウスマイクロフォン器具、無線のTVオーディオ送信機及び/又は無線送信機と関連する分散したマイクロフォンアレイといった外部の音源に由来する。
【0022】
聴覚装置は、アンテナ出力信号をトランシーバ入力信号に変換するためにアンテナに連結されている無線トランシーバを、任意的に備えている。異なる外部音源からの無線信号は、トランシーバでトランシーバ入力信号に多重化されてもよいし、又は、分離された複数のトランシーバ入力信号として、無線トランシーバの複数のトランシーバ入力端子に提供されてもよい。聴覚装置は、複数のアンテナを備えていてもよいし、及び/又は、アンテナは、1つ又は複数のアンテナモードで動作するように構成されていてもよい。トランシーバ入力信号は、第1外部音源からの第1無線信号の代表例である第1トランシーバ入力信号を備える。
【0023】
聴覚装置は、コントローラを備えている。コントローラは、第1マイクロフォン及びプロセッサに動作可能に接続されていてもよい。コントローラは、第2マイクロフォンが存在する場合には、第2マイクロフォンに動作可能に接続されていてもよい。コントローラは、1個以上のマイクロフォン入力信号に基づいて、音声明瞭度の指標となる音声明瞭度インジケータを推定するための音声明瞭度推定器を備えていてもよい。コントローラは、1個以上のマイクロフォン入力信号に基づいて、音声明瞭度の指標となる音声明瞭度インジケータを推定するように構成されていてもよい。コントローラは、音声明瞭度インジケータに基づいて、プロセッサを制御するように構成されている。
【0024】
音声明瞭度推定器は、第1音源のピッチパラメータを推定するためのピッチ推定器を備えていてもよい。音声明瞭度インジケータは、ピッチパラメータと、第1音源の方向と、に基づく。第1音源の方向は、例えば、第1音源からマイクロフォンで受信したマイクロフォン入力信号が到来した方向である。例えば、コントローラ又は音声明瞭度推定器は、ピッチパラメータと第1音源の方向とに基づいて、音声明瞭度インジケータを推定するように構成されていてもよい。異なる言い方をすると、音声明瞭度インジケータは、ピッチパラメータと第1音源の方向とに基づいて、コントローラ又は音声明瞭度推定器によって予測される。この方向は、既知であってもよいし(例えば、ユーザの鼻が向いている正面の方向と仮定する)、又は、本開示のピッチパラメータと合わせて推定されてもよい。
【0025】
1つ以上の例示的な聴覚装置において、プロセッサは、コントローラを備えている。1つ以上の例示的な聴覚装置において、コントローラは、プロセッサと併設されている。
【0026】
1つ以上の例示的な聴覚装置において、音声明瞭度推定器は、ピッチパラメータに基づいて、再構築された音声信号を生成するためのスピーチシンセサイザを備えている。音声明瞭度インジケータは、再構築された音声信号に基づいていてもよい。再構築された音声信号は、マイクロフォン入力信号の明瞭度を表すリファレンス音声信号と認識してもよい。異なる言い方をすると、スピーチシンセサイザは、ピッチパラメータに基づいて、音声信号を再構築し、再構築された音声信号を合成するように構成されている。例えば、コントローラ又は音声明瞭度推定器は、ピッチパラメータに基づいて、再構築された音声信号を生成し、再構築された音声信号、ピッチパラメータ、及び、第1音源の方向に基づいて、音声明瞭度インジケータを推定するように構成されていてもよい。合成され、再構築された音声信号に基づいて、コントローラ又は音声明瞭度推定器によって音声明瞭度インジケータが予測されることが理解されるであろう。再構築された音声信号は、再構築されたリファレンス音声信号とされてもよい。第1音源の方向(すなわち、空間的な手掛かり)とピッチパラメータ(すなわち、時間的な手掛かり)を組み合わせることは、開示される技術が、例えば反響又は競合する話者に起因する曖昧さを解決するように、リファレンス音声信号の再構築の正確性を向上させる。
【0027】
1つ以上の例示的な聴覚装置において、音声明瞭度推定器は、短期客観的明瞭度(STOI)推定器を備えている。短期客観的明瞭度推定器は、再構築された音声信号と、1個以上のマイクロフォン入力信号に基づくベース音声信号と、を比較するように構成されていてもよい。短期客観的明瞭度推定器は、この比較に基づく音声明瞭度インジケータを提供するように構成されていてもよい。ベース音声信号は、1個以上のマイクロフォンから取得され、レシーバに提供される騒がしい音声信号を参照する。ベース音声信号は、1個のマイクロフォンによって捕捉されてもよいし(全方向性)、又は、(例えば、ビームフォーミングを用いて)複数のマイクロフォンによって捕捉されてもよい。例えば、音声明瞭度インジケータは、コントローラ又は音声明瞭度推定器が再構築された音声信号とベース音声とを比較すること、例えばSTOI推定器を用いて、再構築された音声信号とベース音声とを比較することによって予測されてもよい。
【0028】
1つ以上の例示的な聴覚装置において、音声明瞭度推定器は、マイクロフォン入力信号の高調波モデルパラメータを提供するためにピッチ推定器に動作可能に接続されている高調波モデル推定器を備えている。ピッチパラメータは、高調波モデルパラメータに基づいていてもよい。高調波モデルパラメータは、例えば、基本周波数、サンプリング周波数、到来方向を提供する信号であって、第1音源から1個以上のマイクロフォンへの信号の遅れ、第1音源からの信号の減衰、振幅(例えば、複素振幅)、高調波の数、高調波の実際の振幅、及び/又は、高調波の位相を備える。
【0029】
1つ以上の例示的な聴覚装置において、高調波モデル推定器は、マルチチャンネル信号の高調波モデルの構造に基づいて、マイクロフォン入力信号の高調波モデルパラメータを提供するように構成されており、チャンネルはマイクロフォンに対応する。高調波モデルの構造は、空間−時間的な高調波モデルの構造とされてもよい。第1音源は、所望の音源であると考えられてもよく、周期的であると仮定されてもよい。例えば、再構築された音声は、第1音源から多くの狭帯域信号として受信したマイクロフォン入力信号と、空間−時間的な高調波モデルを用い、高調波として関連するキャリア周波数とを考慮することに基づいて、信号特性を推定することによって生成される。
【0030】
1つ以上の例示的な聴覚装置において、ピッチ推定器は、高調波モデルパラメータを受信し、高調波モデルパラメータ及び対数尤度関数に基づいて、ピッチパラメータを推定するように構成されている。
【0031】
1つ以上の例示的な聴覚装置において、ピッチ推定器は、対数尤度関数及び高調波モデルパラメータに基づいて、ピッチパラメータを推定するための最大尤度推定器を備えている。
【0032】
開示される技術が適用される実例において、STOI推定器に対する入力として再構築された音声信号を生成するために、マルチチャンネルの空間−時間的な高調波モデルが適用される。この実例では、フレーム長Nにおける妨害音源とバックグラウンドノイズとが合わさったものに加えられる所望のマイクロフォン入力信号を取得するために、K個のマイクロフォンが使用することが仮定される。k番目のマイクロフォンについて、このマイクロフォンから得られるマイクロフォン入力信号は、データベクトルx
k=[x
k(0) x
k(1) … x
k(N-1)]
T(k=0, … ,K-1)によって表すことができる。所望の音源は、周期的であると仮定され、この仮定は、有音音声の短いセグメントに対して適切な仮定である。このように、データベクトルx
kは、以下のようにモデル化することができる。
【0037】
e
kは、記録されたノイズと干渉の合計を示し;
ω
0は、基本周波数であり、fsは、サンプリング周波数であり;
τ
kは、到来方向(DOA)を与える0番目のマイクロフォンとk番目のマイクロフォンとの間の入力信号の遅れであり;
β
kは、k番目のマイクロフォンでのマイクロフォン入力信号の減衰であり、
α=[α
1… α
L]
Tは、l番目の複素振幅であるα=A
le
jφlによって与えられる複素振幅であり;
Lは、高調波の数であり;
A
l>0及びφ
lは、それぞれ、l番目の高調波の実際の振幅及び位相である。
【0038】
開示される技術が適用される実例において、それぞれのマイクロフォン又はそれぞれのマイクロフォンのチャンネルにおいて、ノイズは、分散σ
k2を有する補正されていない白色ガウスであると仮定され、複素データベクトルx
kの対数尤度関数は、(2)のように記述することができる。
【0040】
Ψは、x
kの信号パラメータを含むベクトルを示す。この例では、白色ガウスノイズ分布は、ノイズのエントロピーを最大にし、そのため、ノイズの確率密度関数の良好な選択肢である。ピッチは、振幅α^、減衰因子β
k、及び、ノイズの分散σ
k2のそれぞれに関する微分によって、対数尤度関数を最大にすることによって、推定することができる。これらのパラメータは、互いに依存している。従って、最初に、β
k及びσ
k2を1に設定し、式(3)、(4)及び(5)の式の計算を繰り返すことによって推定される。推定された複素振幅は、式(3)によって表わされる。
【0042】
k番目のマイクロフォンでの所望の音源の減衰の推定は、式(4)として取得することができる。
【0044】
さらに、ノイズの分散は、式(5)として見出すことができる。
【0047】
次いで、ピッチパラメータは、最大尤度推定器を用い、式(6)として推定することができる。
【0049】
Ω
0は、可能なピッチパラメータ候補のセットである。この例では、第1音源の方向は、既知であると仮定されるために、ピッチパラメータの推定が、一次元探索で行われる。このことは、さらに、計算の複雑性を抑え、他の方向からの強い干渉する高調波源に対してロバスト性のある技術を提供する。k番目のマイクロフォンの再構築された音声信号は、与えられたピッチω
0及び遅れτ
kの推定値から取得することができる。
【0051】
射影行列Π
A=A (A
HA)
-1A
Hが用いられている。
【0052】
次いで、短期客観的明瞭度推定器への入力として使用される再構築された音声信号は、全てのマイクロフォンチャンネルについて再構築された音声信号を合計することによって得られる。
【0054】
これに代えて、又はこれに加えて、式(5)の分散の推定値を使用し、再構築された音声信号の重み推定を生成することができる。
【0055】
1つ以上の例示的な聴覚装置において、セットのマイクロフォンは、第2マイクロフォン入力信号を提供するための第2マイクロフォンを備える。音声明瞭度推定器は、第1マイクロフォン入力信号及び第2マイクロフォン入力信号に基づいて、第1音源の方向を推定するための方向推定器を備えていてもよい。音声明瞭度インジケータは、第1音源の方向に基づいていてもよい。例えば、ピッチパラメータ及び第1音源の方向(例えば、マイクロフォン入力信号の到来方向)は、音声明瞭度推定器又はコントローラが、1つ以上のマイクロフォンによって受信される所望の周期的なマイクロフォン入力信号について、空間−時間的な高調波モデルを利用することによって、一緒に推定される。
【0056】
1つ以上の例示的な聴覚装置において、聴覚装置は、音声明瞭度インジケータが第1判定基準を満たす場合に、第1処理スキームを選択し、第1処理スキームをマイクロフォン入力信号に適用するように構成されている。例えば、音声明瞭度インジケータが第1判定基準を満たす(例えば、音声明瞭度インジケータが、音声明瞭度が十分ではないことを示す)場合に、第1処理スキームが、音声明瞭度を向上させるようにマイクロフォン入力信号に適用される必要がある。第1処理スキームは、1つ以上の音声強調処理スキームを備えてもよい。第1処理スキームは、ユーザの聴力損失を補償するように構成された1個以上の音声強調処理を備えてもいてもよい。例えば、コントローラは、プロセッサに音声明瞭度インジケータを提供してもよく、音声明瞭度インジケータが第1判定基準を満たす場合に、第1処理スキームを選択し、第1処理スキームをマイクロフォン入力信号に適用するように構成されていてもよい。1つ以上の例示的な聴覚装置において、コントローラは、音声明瞭度インジケータが第1判定基準を満たす場合に、第1処理スキームを選択し、第1処理スキームをマイクロフォン入力信号に適用するように構成されていてもよい。
【0057】
1つ以上の例示的な聴覚装置において、聴覚装置は、音声明瞭度インジケータが第1判定基準を満たさない場合に、既に適用されている処理スキームと同じ処理スキームを引き続きマイクロフォン入力信号に適用するように構成されている。例えば、音声明瞭度インジケータが第1判定基準を満たさない(即ち、音声明瞭度インジケータが、音声明瞭度が十分であることを示す)場合に、既に適用されている処理スキームと同じ処理スキームを変える必要はなく、聴覚装置又はプロセッサは、同じ処理スキームを引き続きマイクロフォン入力信号に適用してもよい。
【0058】
第1判定基準は、第1明瞭度閾値に基づいていてもよい。1つ以上の例示的な聴覚装置において、音声明瞭度インジケータが第1明瞭度閾値より小さいときに、音声明瞭度インジケータが第1判定基準を満たす。例えば、第1明瞭度閾値は、75〜95%の範囲、例えば、80%、85%であってもよい。例えば、音声明瞭度インジケータが85%より小さいときに、聴覚装置は、第1処理スキーム(例えば、ビームフォーミングスキーム)を選択し、適用する。音声明瞭度インジケータが85%以上である場合、聴覚装置は、既に適用されている処理スキームと同じスキームの適用に進む。
【0059】
1つ以上の例示的な聴覚装置において、聴覚装置は、音声明瞭度インジケータが第2判定基準を満たす場合に、第2処理スキームを選択し、第2処理スキームを第1マイクロフォン入力信号に適用するように構成されている。第2判定基準は、第2明瞭度閾値及び第3明瞭度閾値に基づいていてもよい。例えば、第2明瞭度閾値は、60〜75%の範囲、例えば、65%、70%であってもよい。例えば、第3明瞭度閾値は、77〜84%の範囲、例えば、80%、84%であってもよい。例えば、音声明瞭度インジケータが第2明瞭度閾値と第3明瞭度閾値の間にある場合、音声明瞭度インジケータは、第2判定基準を満たす。例えば、音声明瞭度インジケータが、70%以上であるが、80%を超えない場合、音声明瞭度インジケータは、第2判定基準を満たす。別の例は、音声明瞭度インジケータが第3判定基準を満たす場合であり、このとき、第3判定基準は、ゼロ閾値に基づく。例えば、音声明瞭度インジケータが0%に達したら、さらに狭いビームフォーミング(もっと大きな指向指数を有する)が選択され、適用される。
【0060】
いずれの処理スキームが選択され、マイクロフォン入力信号に適用されるべきかを特定するために、聴覚装置によって種々の判定基準(例えば、第1判定基準、第2判定基準、第3判定基準、第4判定基準・・・)が使用されてもよいことが想定されるであろう。
【0061】
第1処理スキーム及び/又は第2処理スキームは、ビームフォーミングスキーム、ノイズ低減スキーム、ゲイン制御スキーム、及び、圧縮スキームのうちの1個以上のスキームを備えていてもよい。例えば、音声明瞭度インジケータに基づいて聴覚装置によって選択される第1処理スキームは、ビームフォーミングスキームとノイズ低減スキームの組み合わせを備えていてもよい。
【0062】
1つ以上の例示的な聴覚装置において、第1処理スキーム及び/又は第2処理スキームは、第1のセットのビームフォーミング係数を備える第1ビームフォーミングスキーム及び/又は第2のセットのビームフォーミング係数を備える第2ビームフォーミングスキームを備えていてもよい。
【0063】
1つ以上の例示的な聴覚装置において、第1処理スキーム及び/又は第2処理スキームは、改善された信号ノイズ比を生じる1個以上のノイズ低減機能を提供するノイズ低減スキームを備えていてもよい。
【0064】
1つ以上の例示的な聴覚装置において、第1処理スキーム及び/又は第2処理スキームは、圧縮スキーム及び/又はゲイン制御スキームを備えていてもよい。マイクロフォン入力信号に適用されるゲインは、聴力損失補償に基づいて制御される。本開示は、聴覚装置の動作方法に関する。この方法は、聴覚装置又は聴覚システムで行われてもよい。この方法は、音声を、第1マイクロフォン入力信号を含む1個以上のマイクロフォン入力信号に変換するステップを備える。この方法は、第1マイクロフォン入力信号に関連する音声明瞭度の指標となる音声明瞭度インジケータを取得するステップを備える。音声明瞭度インジケータを取得することは、第1音源のピッチパラメータを取得するステップを備える。音声明瞭度インジケータは、ピッチパラメータと、第1音源の方向とに基づく。この方法は、音声明瞭度インジケータに基づいて、聴覚装置を制御するステップを備える。
【0065】
1つ以上の例示的な方法において、第1音源のピッチパラメータを取得するステップは、ピッチパラメータを推定することを備える。音声明瞭度インジケータを取得するステップは、1個以上のマイクロフォン入力信号に基づいて、音声明瞭度インジケータを推定するステップを備えていてもよい。
【0066】
1つ以上の例示的な方法において、音声明瞭度インジケータを取得するステップは、ピッチパラメータに基づいて、再構築された音声信号を生成するステップと、再構築された音声信号に基づいて、音声明瞭度インジケータを決定するステップと、を備える。音声明瞭度インジケータを取得するステップは、例えば、短期客観的明瞭度推定器を用い、再構築された音声信号とベース音声信号を比較するステップを備えていてもよい。音声明瞭度インジケータを取得するステップは、マイクロフォン入力信号の高調波モデルパラメータを取得するステップと、高調波モデルパラメータに基づいて、ピッチパラメータを導出するステップと、を備えていてもよい。音声明瞭度インジケータを取得するステップは、マイクロフォン入力信号に基づいて、第1音源の方向を推定するステップを備えていてもよい。
【0067】
1つ以上の例示的な方法において、音声明瞭度インジケータに基づいて、聴覚装置を制御するステップは、音声明瞭度インジケータが第1判定基準を満たす場合に、第1処理スキームを選択し、第1処理スキームをマイクロフォン入力信号に適用するステップを備える。第1判定基準は、第1明瞭度閾値に基づいていてもよい。第1処理スキームは、ビームフォーミングスキーム、ノイズ低減スキーム、ゲイン制御スキーム、及び、圧縮スキームのうち1個以上のスキームを備えていてもよい。
【0068】
1つ以上の例示的な方法において、第1音源のピッチパラメータを取得するステップは、外部装置(例えば、付属装置)からピッチパラメータを受信するステップを備えていてもよい。音声明瞭度インジケータの推定が、外部装置(例えば、オンライン)で行われることが想定されてもよく、聴覚装置は、外部装置から音声明瞭度を取得するために、外部装置にマイクロフォン入力信号を提供するように構成される。
【0069】
音声明瞭度インジケータの推定と、音声明瞭度インジケータに従ったマイクロフォン入力信号の処理は、外部装置(例えば、オンライン)で行われることが想定されてもよく、聴覚装置は、処理された(例えば、ノイズが低減された)マイクロフォン入力信号又はビームフォーミングパラメータを取得するために、外部装置にマイクロフォン入力信号を提供するように構成される。
【0070】
本開示は、プロセッサ、インターフェース及びメモリを含む付属装置と、聴覚装置とを備える聴覚システムに関する。聴覚システムは、聴覚装置内に設けられ、第1マイクロフォン入力信号を提供するための第1マイクロフォンを含むセットのマイクロフォンと、入力信号を処理し、入力信号に基づいて、電気出力信号を提供するためのプロセッサと、を備えている。聴覚システムは、聴覚装置内に設けられ、電気出力信号をオーディオ出力信号に変換するためのレシーバと、セットのマイクロフォンに動作可能に接続されているコントローラと、を備えている。コントローラは、音声明瞭度インジケータに基づいてプロセッサを制御するように構成されている。聴覚システムは、1個以上のマイクロフォン入力信号に基づいて、音声明瞭度の指標となる音声明瞭度インジケータを推定するように構成されている。聴覚システムは、第1音源のピッチパラメータを推定するように構成されている。音声明瞭度インジケータは、ピッチパラメータと、第1音源の方向と、に基づく。
【0071】
付属装置は、聴覚装置の付属品であってもよい。付属装置は、聴覚装置とペアリングされていてもよく、その他の様式で聴覚装置に無線接続されていてもよい。聴覚システムは、聴覚装置のユーザが保持し、聴覚装置のユーザによって制御されてもよい。付属装置は、スマートフォン、スマートウォッチ又はタブレット型コンピュータであってもよい。
【0072】
1つ以上の例示的な聴覚システムにおいて、付属装置は、コントローラを備えており、このコントローラは、聴覚装置のプロセッサによって遠隔からアクセスされ、音声明瞭度の推定は、聴覚装置から遠隔で、例えば、付属装置で行われる。
【0073】
本明細書に開示される聴覚装置、システム、及び、方法によって、音声明瞭度インジケータを予測し、予測された音声明瞭度インジケータに従って、入力信号に適用される処理の調節が可能になる。
【0074】
図面は、明確さのための略図であり、単純化されており、図面は、本発明の理解にとって不可欠な詳細を単に示すものであり、他の詳細は省略される。全体的に、同一又は対応する部分には、同じ参照番号が使用される。
【0075】
図1は、本開示の例示的な聴覚装置2のブロック図である。聴覚装置2は、セットのマイクロフォンを備えている。セットのマイクロフォンは、1個以上のマイクロフォンを備えていてもよい。セットのマイクロフォンは、第1マイクロフォン入力信号9を提供するための第1マイクロフォン8、及び/又は、第2マイクロフォン入力信号11を提供するための第2マイクロフォン10を備える。
【0076】
聴覚装置2は、第1外部音源(
図1に示さない)の第1無線入力信号5をアンテナ出力信号に変換するためのアンテナ4を、任意的に備えている。聴覚装置2は、アンテナ出力信号を1個以上のトランシーバ入力信号に変換するために、アンテナ4に接続されており、かつ、第1マイクロフォン入力信号9及び第2マイクロフォン入力信号11のそれぞれを提供するために、第1マイクロフォン8及び任意的に第2マイクロフォン10を備えるセットのマイクロフォンに接続されている無線トランシーバ7を、任意的に備えている。
【0077】
聴覚装置2は、入力信号(例えば、マイクロフォン入力信号)を処理するためのプロセッサ14を備えている。プロセッサ14は、プロセッサ14に対する入力信号に基づいて、電気出力信号を提供する。
【0078】
聴覚装置は、電気出力信号をオーディオ出力信号に変換するためのレシーバ16を備えている。
【0079】
聴覚装置は、コントローラ12を備えている。コントローラ12は、第1マイクロフォン8及びプロセッサ14に動作可能に接続されている。コントローラ12は、第2マイクロフォン10に動作可能に接続されていてもよい。コントローラ12は、1個以上のマイクロフォン入力信号に基づいて、音声明瞭度の指標となる音声明瞭度インジケータを推定するように構成される。コントローラ12は、1個以上のマイクロフォン入力信号に基づいて、音声明瞭度の指標となる音声明瞭度インジケータを推定するための音声明瞭度推定器12aを備えている。コントローラ12は、音声明瞭度インジケータに基づいて、プロセッサ14を制御するように構成されている。
【0080】
音声明瞭度推定器12aは、第1音源のピッチパラメータを推定するためのピッチ推定器12aaを備えている。音声明瞭度インジケータは、ピッチパラメータと、第1音源の方向とに基づく。音声明瞭度推定器12aは、ピッチパラメータ及び第1音源の方向に基づいて、音声明瞭度インジケータを推定するように構成されている。
【0081】
プロセッサ14は、ユーザの聴力損失を補償し、入力信号に基づいて、電気出力信号15を提供するように構成されている。レシーバ16は、電気出力信号15を、聴覚装置のユーザの鼓膜に向かって進むオーディオ出力信号に変換する。
【0082】
音声明瞭度推定器12aは、ピッチパラメータに基づいて、再構築された音声信号を生成するためのスピーチシンセサイザ12abを備えていてもよい。音声明瞭度推定器12aは、スピーチシンセサイザによって取得される再構築された音声信号に基づいて、音声明瞭度インジケータを推定するように構成されていてもよい。
【0083】
音声明瞭度推定器12aは、短期客観的明瞭度(STOI)推定器12acを備えていてもよい。短期客観的明瞭度推定器12acは、1個以上のマイクロフォン入力信号に基づいて、再構築された音声信号とベース音声信号とを比較し、この比較に基づいて、音声明瞭度インジケータを提供するように構成されている。例えば、短期客観的明瞭度推定器12acは、再構築された音声信号(例えば、再構築されたリファレンス音声信号)と、マイクロフォン入力信号に基づいて取得されるベース音声信号(例えば、騒がしい音声信号)と、を比較する。異なる言い方をすると、短期客観的明瞭度推定器12acは、再構築された音声信号とベース音声との相関関係を評価し、評価された相関関係を使用して、音声明瞭度インジケータをコントローラ12又はプロセッサ14に提供する。
【0084】
音声明瞭度推定器12aは、マイクロフォン入力信号の高調波モデルパラメータを提供するために、ピッチ推定器12aaに動作可能に接続される高調波モデル推定器12adを備えていてもよい。ピッチ推定器12aaは、高調波モデルパラメータと、任意的に、対数尤度関数を用いて、ピッチパラメータを導出するように構成されていてもよい。
【0085】
1つ以上の例示的な聴覚装置において、セットのマイクロフォン8、10は、第2マイクロフォン入力信号11を提供するための第2マイクロフォン10を備える。音声明瞭度推定器12aは、第1マイクロフォン入力信号9及び第2マイクロフォン入力信号11に基づいて、第1音源の方向を推定するための方向推定器12aeを備えていてもよい。音声明瞭度推定器12aは、第1音源の方向に基づいて、音声明瞭度インジケータを導出するように構成されていてもよい。例えば、ピッチパラメータ及び第1音源の方向(例えば、マイクロフォン入力信号の到来方向)は、1個のマイクロフォンによって受信される所望のマイクロフォン入力信号のための空間−時間的な高調波モデルを利用することによって、音声明瞭度推定器12aで一緒に推定される。
【0086】
1つ以上の例示的な聴覚装置において、聴覚装置2は、音声明瞭度インジケータが第1判定基準を満たす場合に、聴覚装置が、第1処理スキームを選択し、第1処理スキームをマイクロフォン入力信号9、11に適用するように構成されている。その反対に、音声明瞭度インジケータが第1判定基準を満たさない場合に、聴覚装置2は、既に適用されているのと同じ処理スキームを引き続きマイクロフォン入力信号に適用するように構成されている。第1判定基準は、第1明瞭度閾値に基づいていてもよい。例えば、音声明瞭度インジケータが第1明瞭度閾値より小さいときに、音声明瞭度インジケータは、第1判定基準を満たす。音声明瞭度インジケータが第1明瞭度閾値と等しいか、又は、第1明瞭度閾値より大きいときに、音声明瞭度インジケータが第1判定基準を満たすことが想定されてもよい。
【0087】
1つ以上の例示的な聴覚装置において、音声明瞭度インジケータが第2判定基準を満たす場合に、聴覚装置2が、第2処理スキームを選択し、第2処理スキームを第1マイクロフォン入力信号に適用するように構成されていてもよい。1つ以上の例示的な聴覚装置において、第1処理スキーム及び/又は第2処理スキームは、ビームフォーミングスキーム、ノイズ低減スキーム、ゲイン制御スキーム、及び、圧縮スキームのうちの1個以上のスキームを備える。
【0088】
聴覚装置2は、プロセッサ14及び/又はコントローラ12を用いて、第1処理スキーム及び/又は第2処理スキームを選択し、第1マイクロフォン入力信号9に適用するように構成されていてもよい。
【0089】
図2は、本開示の聴覚装置を動作させる例示的な方法のフロー図である。聴覚装置の動作方法100は、本開示の聴覚装置又は聴覚システムで行われてもよい。方法100は、音を、第1マイクロフォン入力信号を備える1個以上のマイクロフォン入力信号に変換するステップ102を備える。この方法は、第1マイクロフォン入力信号に関連する音声明瞭度の指標となる音声明瞭度インジケータを取得するステップ104を備える。音声明瞭度インジケータを取得するステップ104は、第1音源のピッチパラメータと、任意的に、第1音源の方向を取得するステップ104aを備える。音声明瞭度インジケータは、ピッチパラメータと、第1音源の方向とに基づく。この方法は、音声明瞭度インジケータに基づいて、聴覚装置を制御するステップ106を備える。
【0090】
1つ以上の例示的な方法において、第1音源のピッチパラメータを取得するステップ104aは、ピッチパラメータを推定するステップ104aaを備える。音声明瞭度インジケータを取得するステップ104は、1個以上のマイクロフォン入力信号、ピッチパラメータ及び第1音源の方向に基づいて、音声明瞭度インジケータを推定するステップ104bを備えていてもよい。
【0091】
1つ以上の例示的な方法において、音声明瞭度インジケータを取得するステップ104は、ピッチパラメータに基づいて、再構築された音声信号を生成するステップ104cと、再構築された音声信号に基づいて、音声明瞭度インジケータを決定するステップ104dと、を備える。音声明瞭度インジケータを取得するステップ104は、例えば、短期客観的明瞭度推定器を用いて、再構築された音声信号とベース音声信号を比較するステップ104eを備えていてもよい。
【0092】
音声明瞭度インジケータを取得するするステップ104は、マイクロフォン入力信号の高調波モデルパラメータを取得するステップと、高調波モデルパラメータに基づいて、ピッチパラメータを導出するステップと、を備えていてもよい。音声明瞭度インジケータを取得するステップ104は、マイクロフォン入力信号に基づいて、第1音源の方向を推定するステップを備えていてもよい。
【0093】
1つ以上の例示的な方法において、音声明瞭度インジケータに基づいて、聴覚装置を制御するステップ106は、音声明瞭度インジケータが第1判定基準を満たす場合に、第1処理スキームを選択し、第1処理スキームをマイクロフォン入力信号に適用するステップを含む。第1判定基準は、第1明瞭度閾値に基づいていてもよい。第1処理スキームは、ビームフォーミングスキーム、ノイズ低減スキーム、ゲイン制御スキーム及び圧縮スキームのうち1個以上のスキームを備えていてもよい。
【0094】
1つ以上の例示的な方法において、第1音源のピッチパラメータを取得するステップ104aは、外部装置(例えば、付属装置)からピッチパラメータを受信するステップを含んでいてもよい。音声明瞭度インジケータの推定が、外部装置(例えば、オンライン)で行われることが想定されていてもよく、聴覚装置は、外部装置から音声明瞭度を取得するために、外部装置にマイクロフォン入力信号を提供するように構成される。
【0095】
音声明瞭度インジケータの推定と、音声明瞭度インジケータに従ったマイクロフォン入力信号の処理は、外部装置(例えば、オンライン)で行われることが想定されていてもよく、聴覚装置は、処理された(例えば、ノイズが低減された)マイクロフォン入力信号又はビームフォーミングパラメータを取得するために、外部装置にマイクロフォン入力信号を提供するように構成される。
【0096】
図3は、本開示の例示的な聴覚システム200のブロック図である。聴覚システム200は、プロセッサ204、インターフェース206及びメモリ208を含む付属装置202と、聴覚装置210とを備える。
【0097】
聴覚システム200は、聴覚装置内に配置され、第1マイクロフォン入力信号を提供するための第1マイクロフォン212(及び任意的に第2マイクロフォン214)を備えるセットのマイクロフォンと、入力信号を処理し、入力信号に基づいて、電気出力信号を提供するためのプロセッサ216と、を備える。聴覚システムは、聴覚装置内に配置され、電気出力信号をオーディオ出力信号に変換するためのレシーバ218と、セットのマイクロフォン212、214に動作可能に接続されているコントローラ12と、を備えている。コントローラ12は、
図1に関連して開示される音声明瞭度インジケータに基づいてプロセッサを制御するように構成されている。
図3のコントローラ12は、聴覚装置210内に配置されている。1つ以上の例示的な聴覚システムにおいて、コントローラ12は、付属装置202に配置されていてもよい。
【0098】
聴覚システム200は、1個以上のマイクロフォン入力信号に基づいて、音声明瞭度の指標となる音声明瞭度インジケータを推定するように構成されている。例えば、聴覚装置210は、コントローラ12を用い、1個以上のマイクロフォン入力信号に基づいて、音声明瞭度の指標となる音声明瞭度インジケータを推定するように構成されていてもよい。1つ以上の例示的な聴覚システムにおいて、付属装置202は、聴覚装置210によって送信されたマイクロフォン入力信号を(例えば、アンテナ222及び無線トランシーバ224を介し、通信リンク230を利用して)受信するように構成されており、付属装置に配置されたコントローラ12によって、1個以上のマイクロフォン入力に基づいて、音声明瞭度の指標となる音声明瞭度インジケータを推定するように構成されていてもよい。
【0099】
聴覚システム200は、第1音源のピッチパラメータを推定するように構成されている。音声明瞭度インジケータは、ピッチパラメータと、第1音源の方向と、に基づく。例えば、聴覚装置210は、コントローラ12を用い、第1音源のピッチパラメータを推定し、ピッチパラメータと方向とに基づいて、音声明瞭度を導出するように構成されていてもよい。
【0100】
1つ以上の例示的な聴覚システムにおいて、付属装置202は、聴覚装置210によって送信されたマイクロフォン入力信号を(例えば、アンテナ222及び無線トランシーバ224を介し、通信リンク230を利用して)受信し、コントローラ12を用いて、第1音源のピッチパラメータを推定し、ピッチパラメータと方向とに基づいて、音声明瞭度を導出するように構成されていてもよい。
【0101】
「第1」、「第2」、「第3」及び「第4」などの用語の使用は、任意の特定の順序を暗示するものではなく、個々の要素を特定するために含まれている。さらに、第1、第2などの用語の使用は、任意の順序又は重要性を示すものではなく、むしろ、ある要素を別の要素と区別するために使用される。第1及び第2との用語は、単なる標識のためにこの部分及び他の箇所で使用され、任意の特定の空間的な順序又は時間的な順序を示すことを意図したものではない。さらに、第1要素との標識は、第2の要素の存在を暗示するものではなく、その逆に、第2要素との標識は、第1の要素の存在を暗示するものではない。
【0102】
特定の特徴を示し、記載してきたが、これらの特徴は、特許請求の範囲に記載された発明を限定することを意図していないことが理解され、特許請求の範囲に記載された発明の精神及び範囲から逸脱することなく種々の変更及び改変が行われてもよいことが当業者に明らかになるだろう。従って、明細書及び図面は、限定するという観点ではなく、実例であると考えるべきである。特許請求の範囲に記載された発明は、全ての代替例、改変及び均等物を包含することを意図している。