知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024132950
(43)【公開日】2024-10-01
(54)【発明の名称】ハンズフリー通信のための音源分類
(51)【国際特許分類】
G10L 21/0224 20130101AFI20240920BHJP
G10L 21/0208 20130101ALI20240920BHJP
【ＦＩ】
G10L21/0224
G10L21/0208 100A
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024035522
(22)【出願日】2024-03-08
(31)【優先権主張番号】18/185,977
(32)【優先日】2023-03-17
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】502161508
【氏名又は名称】シナプティクス インコーポレイテッド
(74)【代理人】
【識別番号】100205350
【弁理士】
【氏名又は名称】狩野 芳正
(74)【代理人】
【識別番号】100117617
【弁理士】
【氏名又は名称】中尾 圭策
(72)【発明者】
【氏名】アッシャー、ジョン
(57)【要約】 （修正有）
【課題】音源分類のためにマルチチャンネル音声信号を用いる発話強調のための方法、装置及びシステムを提供する。
【解決手段】発話者フォーカスシステム７００は、適応フィルタと、特徴抽出器と、混合ガウスモデル（ＧＭＭ）分類器と、を含む。適応フィルタは、少なくとも第１マイクロホン及び第２マイクロホンを介してマルチチャンネル音声信号７０２（１）、７０２（２）を受信し、マルチチャンネル音声信号に基づいて該マイクロホンの間の相対インパルス応答（ＲｅＩＲ）７０４を決定する。特徴抽出器は、ＲｅＩＲのピークに少なくとも部分的に基づいてＲｅＩＲから特徴７０６のセットを抽出する。ＧＭＭ分類器は、混合ガウスモデルに基づいて、特徴のセットが対象音源又は擾乱音源に関連しているとして分類する。
【選択図】図７
【解決手段】発話者フォーカスシステム７００は、適応フィルタと、特徴抽出器と、混合ガウスモデル（ＧＭＭ）分類器と、を含む。適応フィルタは、少なくとも第１マイクロホン及び第２マイクロホンを介してマルチチャンネル音声信号７０２（１）、７０２（２）を受信し、マルチチャンネル音声信号に基づいて該マイクロホンの間の相対インパルス応答（ＲｅＩＲ）７０４を決定する。特徴抽出器は、ＲｅＩＲのピークに少なくとも部分的に基づいてＲｅＩＲから特徴７０６のセットを抽出する。ＧＭＭ分類器は、混合ガウスモデルに基づいて、特徴のセットが対象音源又は擾乱音源に関連しているとして分類する。
【選択図】図７
【特許請求の範囲】
【請求項1】
複数のマイクロホンを介して第１マルチチャンネル音声信号を受信することと、
前記第１マルチチャンネル音声信号のフレームに基づいて前記複数のマイクロホンの間の第１相対インパルス応答を決定することと、
前記第１相対インパルス応答のピークに少なくとも部分的に基づいて前記第１相対インパルス応答から第１の特徴のセットを抽出することと、
前記第１の特徴のセットを、混合ガウスモデル（ＧＭＭ）に基づいて分類することと、
前記第１の特徴の分類に少なくとも部分的に基づいて前記第１マルチチャンネル音声信号の少なくとも第１チャンネルを処理することと、
を含む
発話強調の方法。
前記第１マルチチャンネル音声信号のフレームに基づいて前記複数のマイクロホンの間の第１相対インパルス応答を決定することと、
前記第１相対インパルス応答のピークに少なくとも部分的に基づいて前記第１相対インパルス応答から第１の特徴のセットを抽出することと、
前記第１の特徴のセットを、混合ガウスモデル（ＧＭＭ）に基づいて分類することと、
前記第１の特徴の分類に少なくとも部分的に基づいて前記第１マルチチャンネル音声信号の少なくとも第１チャンネルを処理することと、
を含む
発話強調の方法。
【請求項2】
前記第１相対インパルス応答が、正規化最小二乗平均（ＮＬＭＳ）フィルタに基づいて決定される
請求項１に記載の方法。
請求項１に記載の方法。
【請求項3】
前記第１の特徴のセットが、前記第１相対インパルス応答のテール部分の尖度を含み、
前記テール部分が、前記ピークから始まる閾値期間に渡っている、
請求項１に記載の方法。
前記テール部分が、前記ピークから始まる閾値期間に渡っている、
請求項１に記載の方法。
【請求項4】
前記第１の特徴のセットが、前記ピークに対して正規化された前記第１相対インパルス応答のプレリング部分の二乗平均平方根（ＲＭＳ）を含み、
前記プレリング部分が、前記ピークで終了する閾値期間に渡っている
請求項１に記載の方法。
前記プレリング部分が、前記ピークで終了する閾値期間に渡っている
請求項１に記載の方法。
【請求項5】
前記複数のマイクロホンを介して第２マルチチャンネル音声信号を受信することと、
前記第２マルチチャンネル音声信号のフレームに基づいて前記複数のマイクロホンの間の第２相対インパルス応答を決定することと、
前記第２相対インパルス応答のピークに少なくとも部分的に基づいて前記第２相対インパルス応答から第２の特徴のセットを抽出することと、
前記第２の特徴のセットに少なくとも部分的に基づいて前記ＧＭＭを訓練することと、
を更に含む、
請求項１に記載の方法。
前記第２マルチチャンネル音声信号のフレームに基づいて前記複数のマイクロホンの間の第２相対インパルス応答を決定することと、
前記第２相対インパルス応答のピークに少なくとも部分的に基づいて前記第２相対インパルス応答から第２の特徴のセットを抽出することと、
前記第２の特徴のセットに少なくとも部分的に基づいて前記ＧＭＭを訓練することと、
を更に含む、
請求項１に記載の方法。
【請求項6】
前記第１マルチチャンネル音声信号と前記第２マルチチャンネル音声信号とが同一のユーザからの発話を伝送する、
請求項５に記載の方法。
請求項５に記載の方法。
【請求項7】
前記ＧＭＭが、対象クラスタと擾乱クラスタとを含む２つの非共変クラスタを決定するように訓練される
請求項１に記載の方法。
請求項１に記載の方法。
【請求項8】
前記第１の特徴のセットを分類することが、前記第１の特徴のセットを前記対象クラスタと前記擾乱クラスタの一方にマッピングすることを含む
請求項７に記載の方法。
請求項７に記載の方法。
【請求項9】
前記マルチチャンネル音声信号の前記第１チャンネルを処理することが、
前記第１の特徴のセットが前記対象クラスタにマッピングされるか前記擾乱クラスタにマッピングされるかに基づいて前記第１チャンネルに関連するゲインを調節することを含む、
請求項８に記載の方法。
前記第１の特徴のセットが前記対象クラスタにマッピングされるか前記擾乱クラスタにマッピングされるかに基づいて前記第１チャンネルに関連するゲインを調節することを含む、
請求項８に記載の方法。
【請求項10】
前記ゲインを調節することにより、前記第１の特徴のセットが前記擾乱クラスタにマッピングされるとき、前記第１の特徴のセットが前記対象クラスタにマッピングされる場合よりも前記第１チャンネルの減衰が大きくなる
請求項９に記載の方法。
請求項９に記載の方法。
【請求項11】
発話強調システムであって、
処理システムと、
前記処理システムによって実行されたときに、前記発話強調システムに、
複数のマイクロホンを介して第１マルチチャンネル音声信号を受信させ、
前記第１マルチチャンネル音声信号のフレームに基づいて前記複数のマイクロホンの間の第１相対インパルス応答を決定させ、
前記第１相対インパルス応答のピークに少なくとも部分的に基づいて前記第１相対インパルス応答から第１の特徴のセットを抽出させ、
混合ガウスモデルに基づいて前記第１の特徴のセットを分類させ、
前記第１の特徴のセットの分類に少なくとも部分的に基づいて前記第１マルチチャンネル音声信号の少なくとも第１チャンネルを処理させる命令を格納するメモリと、
を備える
発話強調システム。
処理システムと、
前記処理システムによって実行されたときに、前記発話強調システムに、
複数のマイクロホンを介して第１マルチチャンネル音声信号を受信させ、
前記第１マルチチャンネル音声信号のフレームに基づいて前記複数のマイクロホンの間の第１相対インパルス応答を決定させ、
前記第１相対インパルス応答のピークに少なくとも部分的に基づいて前記第１相対インパルス応答から第１の特徴のセットを抽出させ、
混合ガウスモデルに基づいて前記第１の特徴のセットを分類させ、
前記第１の特徴のセットの分類に少なくとも部分的に基づいて前記第１マルチチャンネル音声信号の少なくとも第１チャンネルを処理させる命令を格納するメモリと、
を備える
発話強調システム。
【請求項12】
前記複数のマイクロホンが、電話通信デバイスの受話器マイクロホンと前記電話通信デバイスのハンズフリーマイクロホンとを含む、
請求項１１に記載の発話強調システム。
請求項１１に記載の発話強調システム。
【請求項13】
前記第１マルチチャンネル音声信号が、前記電話通信デバイスがハンズフリー通信モードで動作している間に受信される
請求項１２に記載の発話強調システム。
請求項１２に記載の発話強調システム。
【請求項14】
前記第１相対インパルス応答が、正規化最小二乗平均（ＮＬＭＳ）フィルタに基づいて決定される
請求項１１に記載の発話強調システム。
請求項１１に記載の発話強調システム。
【請求項15】
前記第１の特徴のセットが、前記第１相対インパルス応答のテール部分の尖度を含み、
前記テール部分が、前記ピークから始まる閾値期間に渡っている
請求項１１に記載の発話強調システム。
前記テール部分が、前記ピークから始まる閾値期間に渡っている
請求項１１に記載の発話強調システム。
【請求項16】
前記第１の特徴のセットが、前記ピークに対して正規化された前記第１相対インパルス応答のプレリング部分の二乗平均平方根（ＲＭＳ）を含み、
前記プレリング部分が、前記ピークで終了する閾値期間に渡っている
請求項１１に記載の発話強調システム。
前記プレリング部分が、前記ピークで終了する閾値期間に渡っている
請求項１１に記載の発話強調システム。
【請求項17】
前記命令の実行が、更に、前記発話強調システムに、
前記複数のマイクロホンを介して第２マルチチャンネル音声信号を受信させ、
前記第２マルチチャンネル音声信号のフレームに基づいて前記複数のマイクロホンの間の第２相対インパルス応答を決定させ、
前記第２相対インパルス応答のピークに少なくとも部分的に基づいて前記第２相対インパルス応答から第２の特徴のセットを抽出させ、
前記第２の特徴のセットに少なくとも部分的に基づいて前記ＧＭＭを訓練させる
請求項１１に記載の発話強調システム。
前記複数のマイクロホンを介して第２マルチチャンネル音声信号を受信させ、
前記第２マルチチャンネル音声信号のフレームに基づいて前記複数のマイクロホンの間の第２相対インパルス応答を決定させ、
前記第２相対インパルス応答のピークに少なくとも部分的に基づいて前記第２相対インパルス応答から第２の特徴のセットを抽出させ、
前記第２の特徴のセットに少なくとも部分的に基づいて前記ＧＭＭを訓練させる
請求項１１に記載の発話強調システム。
【請求項18】
前記第１マルチチャンネル音声信号と前記第２マルチチャンネル音声信号とが同一のユーザからの発話を伝送する、
請求項１７に記載の発話強調システム。
請求項１７に記載の発話強調システム。
【請求項19】
前記ＧＭＭが、対象クラスタと擾乱クラスタとを含む２つの非共変クラスタを決定するように訓練され
前記第１の特徴のセットを分類することが、前記第１の特徴のセットを前記対象クラスタと前記擾乱クラスタの一方にマッピングすることを含む、
請求項１１に記載の発話強調システム。
前記第１の特徴のセットを分類することが、前記第１の特徴のセットを前記対象クラスタと前記擾乱クラスタの一方にマッピングすることを含む、
請求項１１に記載の発話強調システム。
【請求項20】
前記マルチチャンネル音声信号の第１チャンネルを処理することが、前記第１の特徴のセットが前記対象クラスタにマッピングされるか前記擾乱クラスタにマッピングされるかに基づいて前記第１チャンネルに関連するゲインを調節することを含む、
請求項１９に記載の発話強調システム。
請求項１９に記載の発話強調システム。
【発明の詳細な説明】
【技術分野】
【0001】
本実装は、全体としては信号処理に関しており、具体的には、ハンズフリー通信のための音源分類に関している。
【背景技術】
【0002】
電話通信装置は、受信デバイスに通信チャンネルを介して伝送可能な音声信号に音波を変換するように構成されたマイクロホンを備えている。音声信号は、しばしば、（例えば、通信デバイスに向けて話すユーザからの）対象発話成分と、（例えば、その背後で発話する人々からの）ノイズ成分とを含んでいる。発話強調は、対象発話成分を歪ませずに、受信した音声信号のノイズ成分を抑制しようとする信号処理技術である。マルチチャンネル発話強調は、マイクロホンのアレイを介して受信した音声信号（「マルチチャンネル音声信号」ともいう）における空間ダイバーシティに依拠してノイズ成分から発話成分を分離する。それに対し、単一チャンネル発話強調では、単一のマイクロホンを介して受信した音声信号（「単一チャンネル音声信号」ともいう）におけるノイズ成分を追尾しなければならない。
【0003】
（ボイスオーバーインターネットプロトコル（ＶｏＩＰ）電話機のような）電話通信デバイスには、特定の動作モードで選択的にアクティブにすることができる複数のマイクロホンを備えているものがある。例えば、多くのＶｏＩＰ電話機は、（音声信号が本体内のマイクロホンを介して受信される）「ハンズフリー通話」に使用可能な本体と、（受話器内のマイクロホンを介して音声信号が受信される）「受話器通話」のために本体から分離可能な、着脱可能な受話器とを備えている。大半の受話器は、該電話がハンズフリー通話に使用されているときに本体に（例えば「受け台」に）置かれるように設計される。受け台にある間、受話器のマイクロホンは、しばしば、本体によって塞がれる。従って、多くの既存の電話通信デバイスは、ハンズフリー通話に関し、単一チャンネル音声信号のみに依拠している。
【発明の概要】
【0004】
本概要は、「発明を実施するための形態」において以下で更に説明されている概念の選択を、簡略化した形式で紹介するために提供される。本概要は、請求された主題の主要な特徴又は本質的な特徴を特定することを意図したものではなく、請求された主題の技術的範囲を限定することを意図したものでもない。
【0005】
本開示の主題の一の革新的な態様は、発話強調の方法において実施可能である。該方法は、複数のマイクロホンを介してマルチチャンネル音声信号を受信するステップと、マルチチャンネル音声信号のフレームに基づいて複数のマイクロホンの間の相対インパルス応答を決定するステップと、相対インパルス応答のピークに少なくとも部分的に基づいて相対インパルス応答から特徴のセットを抽出するステップと、混合ガウスモデル（ＧＭＭ）に基づいて特徴のセットを分類するステップと、該特徴のセットの分類に少なくとも部分的に基づいてマルチチャンネル音声信号を処理するステップとを含む。
【0006】
本開示の主題の他の革新的な態様は、処理システムとメモリとを備える発話強調システムにおいて実施可能である。該メモリは、処理システムによって実行されたときに、発話強調システムに、複数のマイクロホンを介してマルチチャンネル音声信号を受信させ、マルチチャンネル音声信号のフレームに基づいて複数のマイクロホンの間の相対インパルス応答を決定させ、相対インパルス応答のピークに少なくとも部分的に基づいて相対インパルス応答から特徴のセットを抽出させ、混合ガウスモデルに基づいて特徴のセットを分類させ、特徴のセットの分類に少なくとも部分的に基づいてマルチチャンネル音声信号を処理させる命令を格納している。
【図面の簡単な説明】
【0007】
本実施形態は例として示されており、添付図面の図によって限定されることを意図していない。
【0008】
【0009】
【0010】
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【発明を実施するための形態】
【0019】
以下の記載においては、本開示の深い理解を提供するために、具体的なコンポーネント、回路及び処理の例のような、多くの具体的詳細が提示されている。本明細書において「結合された」という用語は、直接に接続されていること、又は、一以上の介在するコンポーネント又は回路を介して接続されていることを意味している。「電子システム」及び「電子デバイス」という用語は、電子的に情報を処理することが可能な任意のシステムをいうために同義的に使用されることがある。また、以下の記載において、説明の目的で、本開示の態様の深い理解を提供するために特定の術語体系が提示されている。しかしながら、これらの具体的な詳細が、例示的な実施形態を実施するために必要とされないことがあることは、当業者には自明であろう。他の例として、周知の回路及びデバイスは、本開示を曖昧にすることを避けるためにブロック図の形態で図示される。下記の、発明を実施するための形態のいくつかの部分は、手順、論理ブロック及びコンピュータメモリ内のデータビットへの操作の他の記号による表現の形態で提示される。
【0020】
これらの記述や表現は、データ処理技術の当業者が、その仕事の内容を他の当業者に最も効果的に伝えるために用いる手段である。本開示において、手順、論理ブロック、処理等は、所望の結果に至るステップ又は命令の自己一貫性のあるシーケンスであると考えられる。該ステップは、物理量の物理的操作を要求するようなものである。必ずしもそうではないが、通常、これらの量は、コンピュータシステム内で格納され、転送され、結合され、比較され、又は、他の態様で操作されることが可能な電気的又は磁気的信号の形態をとる。しかしながら、これらの用語及び類似の用語の全ては、適切な物理量に関連付けられるべきものであり、これらの量に適用される便宜的なラベルに過ぎないことに留意すべきである。
【0021】
特に異なると述べられていない限り、下記の議論から自明であるように、本出願の全体に渡り、「アクセスする」、「受信する」、「送信する」、「用いる」、「選択する」、「決定する」、「正規化する」、「乗算する」、「平均化する」、「監視する」、「比較する」、「適用する」、「更新する」、「測定する」、「導き出す」等の用語を用いた議論は、コンピュータシステムのレジスタ及びメモリ内の（電子的な）物理量として表現されたデータを操作してコンピュータシステムのメモリ又はレジスタ又は他のそのような情報を格納、伝送又は表示するデバイス内で物理量として同様に表現される他のデータに変換するコンピュータシステム又は類似の電子的計算デバイスの動作又は処理をいう。
【0022】
図において、単一のブロックが一の機能又は複数の機能を実行すると記載されることがある。しかしながら実際の実施においては、そのブロックによって実施される該一の機能又は複数の機能は、単一のコンポーネントにおいて実施され得るものであり、また、複数のコンポーネントに渡って実施され得るものであり、及び／又は、ハードウェアを用いて、ソフトウェアを用いて、又はハードウェアとソフトウェアの組み合わせを用いて実施され得るものである。このハードウェアとソフトウェアの互換性を明確に図示するために、様々な例示的なコンポーネント、ブロック、モジュール、回路及びステップが、下記では、一般に、その機能の観点で説明されている。このような機能がハードウェアとして実装されるかソフトウェアとして実装されるかは、全体システムに課せられる個別の応用及び設計の制約に依存している。当業者は、説明された機能を、各個別の応用のために様々な方法で実装し得るが、このような実装上の決定が、本開示の範囲からの乖離を生じさせるとして解釈すべきではない。また、例示的な入力装置は、プロセッサ、メモリ等のような周知のコンポーネントを含む、図示されているもの以外のコンポーネントを備えることがある。
【0023】
本明細書に記載された技術は、特定の態様で実装されると特に記載されていない限り、ハードウェア、ソフトウェア、ファームウェア又はそれらの任意の組み合わせにおいて実装され得る。また、モジュール又はコンポーネントとして記載されている任意の特徴は、集積論理デバイスに纏めて実装されることがあり、また、別々の、しかしながら、協働可能な論理デバイスとして分離して実装されることがある。ソフトウェアに実装される場合、当該技術は、実行されたときに上述された方法の一以上を実施する命令を含む非一時的プロセッサ読み取り可能記録媒体によって少なくとも部分的に実現され得る。該非一時的プロセッサ読み取り可能記録媒体は、包装材を含むことがある、コンピュータプログラム製品の一部を構成することがある。
【0024】
非一時的プロセッサ読み取り可能記録媒体は、同期型ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）のようなランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的消去可能プログラム可能読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、及び、他の公知の記憶媒体等を備えることがある。当該技術は、加えて、又は、その代わりに、コンピュータ又は他のプロセッサによってアクセスされ、読み出され、及び／又は実行可能な命令又はデータ構造の形態のコードを伝搬又は通信するプロセッサ読み出し可能通信媒体によって少なくとも部分的に実現され得る。
【0025】
本明細書に開示された実施形態に関連して記載された様々な例示的な論理ブロック、モジュール、回路及び命令は、一以上のプロセッサ（又は処理システム）によって実行され得る。本明細書でいう「プロセッサ」という用語は、メモリに格納された一以上のソフトウェアプログラムのスクリプト又は命令を実行可能な任意の汎用プロセッサ、特別用途プロセッサ、従来のプロセッサ、コントローラ、マイクロコントローラ及び／又はステートマシンをいうことがある。
【0026】
上述のように、（例えばボイスオーバーインターネットプロトコル（ＶｏＩＰ）電話機のような）電話通信デバイスには、特定の動作モードについて選択的にアクティブにすることが可能な複数のマイクロホンを備えるものがある。例えば、多くのＶｏＩＰ電話機は、（音声信号が本体内のマイクロホンを介して受信される）「ハンズフリー通話」に使用可能な本体と、（受話器内のマイクロホンを介して音声信号が受信される）「受話器通話」のために本体から分離可能な、着脱可能な受話器とを備えている。大半の受話器は、該電話がハンズフリー通話に使用されているときに本体に（例えば「受け台」に）置かれるように設計される。受け台にある間、受話器のマイクロホンは、しばしば、本体によって塞がれる。
【0027】
しかしながら、本開示の態様は、電話通信デバイスがハンズフリー通話に使用され（たとえ、音波が本体によって妨害され）ていてもなお、受話器のマイクロホンが、使用可能な音声信号を生成可能であることを認識している。より具体的には、受話器のマイクロホンを介して受信された音声信号（「受話器音声信号」ともいう）は、例えば、（通信デバイスのユーザのような）対象音源に由来する音声信号の部分と、（例えば、その背後で発話する人々や、様々な他のノイズ源のような）擾乱音源に由来する音声信号の部分とを判別するために使用可能なマルチチャンネル音声信号を生成するために、本体のマイクロホンを介して受信された音声信号（「ハンズフリー音声信号」ともいう）と組み合わされ得る。
【0028】
様々な態様が全体としては音声信号処理に関しており、特に、マルチチャンネル音声信号を音源分類のために使用する発話強調技術に関している。いくつかの態様では、発話強調システムが、適応フィルタと、特徴抽出器と、特徴分類器とを含むことがある。適応フィルタは、少なくとも第１マイクロホン及び第２マイクロホンを介してマルチチャンネル音声信号を受信し、該マルチチャンネル音声信号に基づいてマイクロホンの間の相対インパルス応答（relative impulse response：ＲｅＩＲ）を決定するように構成されている。特徴抽出器は、ＲｅＩＲのピークに少なくとも部分的に基づいて、ＲｅＩＲから特徴のセットを抽出するように構成されている。いくつかの実装では、特徴のセットが、ＲｅＩＲのテール部分の尖度を含むことがある。ここで、テール部分は、ピークから始まる閾値期間に渡っている。他のいくつかの実装では、特徴のセットは、ピークに対して正規化されたＲｅＩＲのプレリング部分の二乗平均平方根（root mean square：ＲＭＳ）を含んでいることがある。ここで、プレリング部分は、ピークで終了する閾値期間に渡っている。特徴分類器は、混合ガウスモデル（ＧＭＭ）に基づいて、特徴のセットを、対象音源に関連するとして、又は、擾乱音源に関連するとして分類するように構成されている。
【0029】
本開示で記述される主題の特定の実装は、下記の潜在的な利点の一つ以上を実現するように実装可能である。ハンズフリー通信のために複数のマイクロホンを使うことによって、本開示の態様は、受信した音声信号における空間ダイバーシティを活用してハンズフリー通信のユーザ体験又は音質を向上することができる。例えば、発話強調システムは、特徴分類器の出力に基づいてハンズフリー音声信号にゲインを適用することによって対象音源に「焦点を合わせる」ことがある。より具体的には、該システムは、高いゲインを適用することで対象音源の分類を有する音声信号の部分を強調又は増幅することがあり、低いゲインを適用することで擾乱音源の分類を有する音声信号の部分を抑制又は減衰することがある。従って、本実装の音声強調技術の発話強調技術は、「ハンズフリー発話者フォーカス（handsfree speaker focus：ＨＳＦ）」ということがある。受話器と本体を有する電話通信システムを参照して具体的な例を説明するが、本実装の音源分類技術は、複数のマイクロホンを備える任意の音声通信システムにおける発話強調の様々な他の形態のために使用され得る。
【0030】
図１は、発話強調が実施される例示的な環境１００を図示している。例示的な環境１００は、電話通信デバイス１１０と、通信デバイス１１０のユーザ１２０（「対象音声源」又は「対象音源」ともいう）と、その背後の発話者１３０（「擾乱音声源」又は「擾乱音源」ともいう）とを含む。態様によっては、電話通信デバイス１１０は、受話器１１２と本体（通信デバイスの残部として示されている）とを備えることがある。より具体的には、受話器１１２が受話器マイクロホン１１４を備えており、本体が本体マイクロホン１１６を備えている。
【0031】
図１の例では、電話通信デバイス１１０は、受話器１１２が本体上の受け台に置かれている状態で「ハンズフリーモード」で動作するように図示されている。実装によっては、電話通信デバイス１１０が、ハンズフリーモードで動作するときに、受話器マイクロホン１１４と本体マイクロホン１１６とを作動させ、さもなければアクティブにするように構成されることがある。従って、マイクロホン１１４、１１６のそれぞれは、対象発話１２２とノイズ１３２とを含む、環境１００を伝搬する音波を検出することがある。例えば、対象発話１２２は、ユーザ１２０によって生成された任意の音を含み得る。それに対して、ノイズ１３２は、背後の発話者１３０又は背景ノイズの任意の他の音源（簡潔性のために図示されていない）によって生成された任意の音を含み得る。
【0032】
マイクロホン１１４、１１６のそれぞれは、検出された音波を、音響波形を表す電気信号（「音声信号」ともいう）に変換することがある。従って、各音声信号は、（対象発話１２２を表す）発話成分と（ノイズ１３２を表す）ノイズ成分とを含み得る。マイクロホン１１４及び１１６の空間的位置取りにより、マイクロホン１１４又は１１６の一方によって検出される音は、他方のマイクロホンによって検出される音に対して遅延し得る。言い換えれば、マイクロホン１１４及び１１６は、変化する位相オフセットを持つ複数の音声信号を生成し得る。実装によっては、受話器マイクロホン１１４によって検出される音は、受話器１１２の本体上の位置により、本体マイクロホン１１６によって検出される音と比較すると、減衰され、そうでなくとも歪みが有り得る。
【0033】
本開示の態様は、ハンズフリー通話の間、受話器マイクロホン１１４を介して受信された音声信号（「受話器音声信号」ともいう）が、本体マイクロホン１１６を介して受信された音声信号（「ハンズフリー音声信号」ともいう）の質を向上するために使用可能であることを認識している。実装によっては、電話通信デバイス１１０は、ハンズフリー音声信号と受話器音声信号との間の空間ダイバーシティを活用して対象発話１２２を含む音声信号の部分とノイズ１３２のみを含む音声信号の部分とを判別することがある。電話通信デバイス１１０は、更に、例えば対象発話１２２を含む音声信号の部分をノイズ１３２のみを含む音声信号の部分とは異なる態様で処理することにより、ハンズフリー音声信号における発話の質を向上することがある。
【0034】
図２は、発話強調をサポートする音声レシーバ２００の例を図示している。音声レシーバ２００は、複数のマイクロホン２１０（１）、２１０（２）と、発話者フォーカスコンポーネント２２０と、発話強調コンポーネント２３０とを備えている。実装によっては、音声レシーバ２００が、図１の電話通信デバイス１１０の一例であり得る。例えば図１を参照すると、第１マイクロホン２１０（１）が受話器マイクロホン１１４の一例であり得るし、第２マイクロホン２１０（２）が本体マイクロホン１１６の一例であり得る。
【0035】
マイクロホン２１０（１）、２１０（２）は、（例えば、図１の音波のような）一連の音波２０１を、それぞれ、音声信号２０２（１）、２０２（２）に変換するように構成されている。実装によっては、音波２０１が、（例えばノイズ１３２のような）背景ノイズ又は干渉と混ざった（例えば対象発話１２２のような）ユーザ発話を含むことがある。従って、音声信号２０２（１）、２０２（２）のそれぞれは、発話成分とノイズ成分とを含むことがある。より具体的には、音声信号２０２（１）、２０２（２）のそれぞれは、マルチチャンネル音声信号の各チャンネルを表していることがある。マイクロホン２１０（１）、２１０（２）の空間的位置取りのために、音声信号２０２（２）が、音声信号２０２（１）の遅延したバージョンである場合がある。いくつかの他の実装では、音声信号２０２（１）が音声信号２０２（２）の遅延したバージョンであり得る。更にまた、いくつかの実装では、音声信号２０２（１）、２０２（２）の間に遅延が無いこともあり得る。
【0036】
発話者フォーカスコンポーネント２２０は、マルチチャンネル音声信号の各フレームに基づいて、各音源分類２０４を決定するように構成されている。例えば、音源分類２０４は、マルチチャンネル音声信号の各フレームが対象発話を含むのか、ノイズのみしか含まないのかを示すことがある。態様によっては、発話者フォーカスコンポーネント２２０は、音声信号２０２（１）、２０２（２）に基づいてマイクロホン２１０（１）、２１０（２）の間の相対インパルス応答を決定することがある。実装によっては、発話者フォーカスコンポーネント２２０は、相対インパルス応答の一以上の特性に基づいて音源分類２０４を決定することがある。例えば、発話者フォーカスコンポーネント２２０は、相対インパルス応答から特徴のセットを抽出し、該特徴のセットを、（例えばユーザ１２０のような）対象音源に由来しているとして分類し、又は、（例えば背景発話者１３０のような）擾乱音源に由来しているとして分類することがある。実装によっては、発話者フォーカスコンポーネント２２０が、混合ガウスモデル（ＧＭＭ）２２２に少なくとも部分的に基づいて特徴分類を実行することがある。
【0037】
発話強調コンポーネント２３０は、音声信号２０２（２）と音源分類２０４とに基づいて強調音声信号２０６を生成するように構成されている。より具体的には、発話強調コンポーネント２３０は、音源分類２０４に少なくとも部分的に基づいて、ノイズを抑制又は減衰し、そうでなくとも音声信号２０２（２）の信号対ノイズ比（ＳＮＲ）を増大することによって音声信号２０２（２）における発話の質を向上することがある。態様によっては、発話強調コンポーネント２３０が、音源分類２０４に基づいて音声信号２０２（２）にゲインを適用することがある。いくつかの実装では、発話強調コンポーネント２３０が、音声信号２０２（２）の所与のフレームが対象発話を含むことを音源分類２０４が示しているとき、より高いゲインを適用することで該フレームを通過させ、又は増幅することがある。いくつかの他の実装では、発話強調コンポーネント２３０は、音声信号２０２（２）の所与のフレームにノイズしか含まれないことを音源分類２０４が示しているとき、より低いゲインを適用して該フレームを抑制又は減衰することがある。
【0038】
図３は、いくつかの実装による、混合ガウスモデル（ＧＭＭ）訓練システム３００の例のブロック図である。ＧＭＭ訓練システム３００は、相対インパルス応答から抽出された特徴を分類するために使用可能なＧＭＭ３０８を訓練し、そうでなければＧＭＭ３０８を生成するように構成されている。例えば図２を参照すると、ＧＭＭ３０８は、ＧＭＭ２２２の一例であり得る。いくつかの実装では、ＧＭＭ訓練システム３００は、発話者フォーカスコンポーネント２２０の一例であり得る。このような実装では、発話者フォーカスコンポーネント２２０は、音声レシーバ２００のユーザからの発話に基づいてＧＭＭ２２２を訓練することがある。
【0039】
態様によっては、ＧＭＭ訓練システム３００が、各マイクロホン（簡潔性のために図示されていない）を介して受信された音声信号３０２（１）、３０２（２）に基づいてＧＭＭ３０８を訓練することがある。例えば図２を参照すると、音声信号３０２（１）は、音声信号２０２（１）の一例である場合があり、音声信号３０２（２）は、音声信号２０２（２）の一例である場合がある。実装によっては、遅延３０１が音声信号３０２（１）に加えられることがある。
【0040】
いくつかの他の実装では、その代わりに、音声信号３０２（１）ではなく音声信号３０２（２）に遅延が加えられることがある。更にまた、いくつかの実装では、音声信号３０２（１）、３０２（２）のいずれにも遅延が加えられないことがある。実装によっては、音声信号３０２（１）、３０２（２）のそれぞれが、各音声信号を少なくとも２つのサブバンド（簡潔性のために図示されない）に分離する直交ミラーフィルタ（quadrature mirror filter：ＱＭＦ）を介して処理されることがある。このような実装では、ＧＭＭ訓練システム３００は、サブバンドのそれぞれを個別に（分離された入力音声信号として）処理することがある。
【0041】
ＧＭＭ訓練システム３００は、適応フィルタ３１０と、特徴抽出器３２０と、ＧＭＭ生成器３３０とを備えている。適応フィルタ３１０は、受信した音声信号３０２（１）、３０２（２）に基づいてマイクロホンの間の相対インパルス応答（ＲｅＩＲ）３０４を決定するように構成されている。適切な適応フィルタ技術の例としては、周波数ドメイン正規化最小二乗平均（normalized least mean squares：ＮＬＭＳ）、時間ドメインＮＬＭＳ、アフィン投影、再帰的最小二乗平均（ＬＭＳ）等が挙げられる。
【0042】
実装によっては、適応フィルタ３１０が、周波数ドメインＮＬＭＳフィルタに基づいてＲｅＩＲ３０４を決定することがある。例えば、適応フィルタ３１０は、（例えば高速フーリエ変換（ＦＦＴ）を用いて）音声信号３０２（１）、３０２（２）の各フレームを時間ドメインから周波数ドメインに変換し、音声信号３０２（１）のフレームを音声信号３０２（２）の各フレームにマッチさせるＮＬＭＳフィルタを決定する。結果として得られるＮＬＭＳフィルタは、音声信号３０２（１）、３０２（２）の音源についてのマイクロホンの間の（時間ドメインに変換されたときの）ＲｅＩＲ３０４を表す機械音響伝達関数である。
【0043】
特徴抽出器３２０は、（例えばＲｅＩＲ３０４の振幅が最も高い場所である）ＲｅＩＲ３０４のピークの位置に少なくとも部分的に基づいてＲｅＩＲ３０４から特徴３０６のセットを抽出するように構成されている。例えば、ＲｅＩＲ３０４のピークの位置は、遅延３０１のタイミングに整合していることがある。実装によっては、遅延３０１が、ＮＬＭＳフィルタのサイズの４分の１に等しいことがある。態様によっては、特徴抽出器３２０が、ＲｅＩＲ３０４の一以上の統計的特性に基づいて特徴３０６のセットを決定することがある。適切な統計的特性の例としては、ＲｅＩＲ３０４の尖度、ＲｅＩＲ３０４の二乗平均平方根（root mean square：ＲＭＳ）、ＲｅＩＲ３０４のスキュー又は高さ（level）等が挙げられる。
【0044】
実装によっては、特徴抽出器３２０がテール尖度コンポーネント３２２を備えることがある。テール尖度コンポーネント３２２は、ＲｅＩＲ３０４のテール部分の尖度（「テール尖度」ともいう）を決定するように構成されている。例えば、ランダム変数（Ｘ）の尖度は、
として定義される。ここで、μ４は、４次中心モーメントであり、σは標準偏差である。ＲｅＩＲ３０４のテール部分は、ＲｅＩＲ３０４のピークから始まる閾値期間に渡っている。実装によっては、ＲｅＩＲ３０４のテール部分が、ＲｅＩＲ３０４の残部（ＲｅＩＲ３０４のピークからＲｅＩＲ３０４の末尾まで）を含むことがある。
【数1】
【0045】
実装によっては、特徴抽出器３２０が正規化プレリングコンポーネント３２４を備えることがある。正規化プレリングコンポーネント３２４は、ＲｅＩＲ３０４のピークに対して正規化されたＲｅＩＲ３０４のプレリング部分（「正規化プレリング」ともいう）のＲＭＳを決定するように構成されている。例えば、期間Ｔ１≦ｔ≦Ｔ２に対して定義された波形（ｆ（ｔ））のＲＭＳは、
である。ＲｅＩＲ３０４のプレリング部分は、ＲｅＩＲ３０４のピークで終わる（又は直前で終わる）閾値期間に渡っている。実装によっては、ＲｅＩＲ３０４のプレリング部分が、ＲｅＩＲ３０４の開始から、ＲｅＩＲ３０４のピークの１以上のサンプル（例えば５サンプル）前までのＲｅＩＲ３０４の部分に渡っていることがある。
【数2】
【0046】
特徴３０６のセットは、ＲｅＩＲ３０４のテール尖度、ＲｅＩＲ３０４の正規化プレリング、又はそれらの任意の組み合わせを含んでいることがある。実装によっては、特徴３０６のセットが、ＲｅＩＲ３０４の他の統計的特性（簡潔性のために図示しない）を含むことがある。適切な統計的特性の例としては、ＲｅＩＲ３０４の全体のスキュー又は高さ、又は、ＲｅＩＲ３０４の一部（例えば、プレリング部分又はテール部分）のスキュー又は高さ等が挙げられ得る。
【0047】
ＧＭＭ生成器３３０は、音声信号３０２（１）、３０２（２）の閾値数（Ｎ）のフレームに渡って特徴３０６を蓄積し、蓄積された特徴３０６に基づいてＧＭＭ３０８を生成する。実装によっては、ユーザは、蓄積期間の間、（例えばマイクロホンの方向に話すことによって）対象発話のサンプルを提供するように指示されることがある。Ｎセットの特徴３０６が蓄積された後、ＧＭＭ生成器３３０は、蓄積された特徴３０６の一以上のクラスタにフィッティングされたＧＭＭを決定することがある。例えば、ＧＭＭ生成器３３０が、期待値最大化（expectation-maximization：ＥＭ）アルゴリズムを用いてフィッティングを行うことがある。
【0048】
実装によっては、ＧＭＭ生成器３３０が、多変量モデルの信頼楕円を描き、ベイズ情報量基準を計算して蓄積された特徴３０６に関連するクラスタの数を算定することがある。クラスタのうちの少なくとも一つが（対象音源に対応する）対象クラスタとラベリングされ、クラスタのうちの少なくとも一つが（擾乱音源に対応する）擾乱クラスタとラベリングされることがある。いくつかの他の実装では、ＧＭＭ生成器３３０が、対象クラスタと擾乱クラスタとを含む２つの非共変クラスタを決定するように調整、さもなければ構成されることがある。いくつかの態様では、各クラスタの平均及び分散がＧＭＭ３０８として格納されることがある。他のいくつかの態様では、ＧＭＭ３０８は、各クラスタについての共分散を含むことがある。
【0049】
図４は、一対のマイクロホンの間の相対インパルス応答（ＲｅＩＲ）４００の例を示すタイミング図を図示している。実装によっては、ＲｅＩＲ４００が、一対のマイクロホンを介してそれぞれに受信された一対の音声信号に基づいて（例えば、図３の適応フィルタ３１０のような）適応フィルタによって生成されることがある。図４の例では、ＲｅＩＲ４００の振幅が、時間（Ｔ）と共に示されている。より具体的には、ＲｅＩＲ４００は、時間Ｔ＝０から時間Ｔ＝２５６までの期間に渡っており、時間Ｔ＝６３の辺りで発生しているピーク４０１を有する。実装によっては、ＲｅＩＲ４００の期間が、プレリング部分４０２とテール部分４０４に更に分割されることがある。プレリング部分４０２は、ＲｅＩＲ４００の開始から始まり、ピーク４０１において、又は、ピーク４０１の直前で終了する期間に渡っている。テール部分４０４は、ピーク４０１から始まり、ＲｅＩＲ４００の末尾で終了する期間に渡っている。
【0050】
図５は、対象音源及び擾乱音源についてのＲｅＩＲの例を示すタイミング図５０１～５０６を図示している。実装によっては、ＲｅＩＲ５０１～５０６のそれぞれが、一対のマイクロホンを介してそれぞれに受信された一対の音声信号に基づいて、（例えば図３の適応フィルタ３１０のような）適応フィルタによって生成されることがある。図５の例では、ＲｅＩＲ５０１～５０３が、対象発話を含む音声フレームに基づいて決定されている。従って、ＲｅＩＲ５０１～５０３は、対象音源に由来していると言われる。それに対して、ＲｅＩＲ５０４～５０６は、ノイズしか含まない音声フレームに基づいて決定されている。従って、ＲｅＩＲ５０４～５０６は、擾乱音源に由来していると言われる。
【0051】
本開示の態様は、マイクロホンからより遠い音源（例えば擾乱音源）に由来するＲｅＩＲが、マイクロホンにより近い音源（例えば対象音源）に由来するＲｅＩＲよりもノイズが多いテールを有している傾向があることを認識している。図５に示されているように、擾乱音源に由来するＲｅＩＲ５０４～５０６のテール部分は、一般に、対象音源に由来するＲｅＩＲ５０１～５０３のテール部分よりもノイズが多い。例えば、ＲｅＩＲ５０４～５０６のそれぞれは、３に近いテール尖度（これは、ランダムノイズの尖度である）を有することがある。それに対して、ＲｅＩＲ５０１～５０３のそれぞれは、３よりずっと高いテール尖度を有している。従って、より高いテール尖度は、ＲｅＩＲが対象音源に由来している可能性がより高いことを示すことがあり、より低いテール尖度は、ＲｅＩＲが擾乱音源に由来している可能性がより高いことを示すことがある。
【0052】
本開示の態様は、また、マイクロホンからより遠い音源（例えば、擾乱音源）に由来するＲｅＩＲが、マイクロホンにより近い音源（例えば、対象音源）に由来するＲｅＩＲよりも多くのプレリンギングを発現する傾向があることを認識している。図５に図示されているように、擾乱音源に由来するＲｅＩＲ５０４～５０６のプレリング部分は、一般に、対象音源に由来するＲｅＩＲ５０１～５０３のプレリング部分よりも多くのリンギングを発現する。従って、ＲｅＩＲ５０４～５０６のそれぞれは、相対的に高い正規化プレリングを有し得る。それに対して、ＲｅＩＲ５０１～５０３のそれぞれは、相対的に低い正規化プレリングを有し得る。従って、より高い正規化プレリングは、ＲｅＩＲが擾乱音源に由来している可能性がより高いことを示すことがあり、一方で、より低い正規化プレリングは、ＲｅＩＲが対象音源に由来している可能性が高いことを示すことがある。
【0053】
図６は、ＲｅＩＲから抽出された特徴のセットから生成可能なＧＭＭ６００の例を図示している。実装によっては、ＧＭＭ６００が、ＲｅＩＲから抽出された特徴に基づいて（例えば図３のＧＭＭ生成器３３０のような）ＧＭＭ生成器によって生成されることがある。図６の例では、ＧＭＭ６００が、それぞれがデータ点の各クラスタにフィッティングされた一対の楕円６１０、６２０として示されている。各データ点は、各ＲｅＩＲから抽出された特徴のセットを表している。より具体的には、各特徴のセットは、ＲｅＩＲのテール尖度（垂直軸に沿ってマッピングされている）と、ＲｅＩＲの正規化プレリング（水平軸に沿ってマッピングされている）とを含んでいる。
【0054】
図６に図示されているように、第１クラスタ６１０に属するデータ点は、相対的に高いテール尖度と相対的に低い正規化プレリングとを有している。それに対して、第２クラスタ６２０に属するデータ点は、相対的に低いテール尖度と相対的に高い正規化プレリングとを有している。図５を参照して説明したように、より高いテール尖度はＲｅＩＲが対象音源に由来している可能性がより高いことを示していることがあり、一方、より高い正規化プレリングは、ＲｅＩＲが擾乱音源に由来している可能性がより高いことを示していることがある。従って、いくつかの実装では、第１クラスタ６１０が「対象クラスタ」とラベリングされることがあり、第２クラスタ６２０が「擾乱クラスタ」とラベリングされることがある。言い換えれば、対象クラスタ６１０に属するデータ点は、対象音源に由来すると特定されているＲｅＩＲを表している。それに対して、擾乱クラスタ６２０は、擾乱音源に由来すると特定されているＲｅＩＲを表している。
【0055】
図７は、いくつかの実装による発話者フォーカスシステム７００の例のブロック図である。実装によっては、発話者フォーカスシステム７００が、図２の発話者フォーカスコンポーネント２２０の一例であり得る。より具体的には、発話者フォーカスシステム７００は、マルチチャンネル音声信号の各フレームに基づいて、それぞれの音源分類７０８を決定するように構成されている。
【0056】
図７の例において、マルチチャンネル音声信号は、各マイクロホン（簡潔性のために図示されない）を介して受信される音声信号７０２（１）、７０２（２）を含んでいることがある。例えば図２を参照すると、音声信号７０２（１）は音声信号２０２（１）の一例である場合があり、音声信号７０２（２）は音声信号２０２（２）の一例である場合がある。いくつかの実装では、遅延７０１が音声信号７０２（１）に加えられることがある。
【0057】
他のいくつかの実装では、遅延が、音声信号７０２（１）ではなく、むしろ音声信号７０２（２）に加えられることがある。更にまた、いくつかの実装では、音声信号７０２（１）、７０２（２）のいずれにも遅延が加えられないことがある。実装によっては、音声信号７０２（１）、７０２（２）のそれぞれが、各音声信号を少なくとも２つのサブバンド（簡潔性のために図示されない）に分離するＱＭＦフィルタを介して処理されてもよい。このような実装では、発話者フォーカスシステム７００が、サブバンドのそれぞれを個別に（別々の入力音声信号として）処理してもよい。
【0058】
発話者フォーカスシステム７００は、適応フィルタ７１０と、特徴抽出器７２０と、ＧＭＭ分類器７３０とを備えている。適応フィルタ７１０は、受信した音声信号７０２（１）、７０２（２）に基づいてマイクロホンの間のＲｅＩＲ７０４を決定するように構成される。適切な適応フィルタリング技術の例としては、周波数ドメインＮＬＭＳ、時間ドメインＮＬＭＳ、アフィン投影、再帰的ＬＭＳ等が挙げられる。
【0059】
実装によっては、適応フィルタ３１０が、周波数ドメインＮＬＭＳフィルタに基づいてＲｅＩＲ７０４を決定することがある。例えば、適応フィルタ７１０は、音声信号７０２（１）、７０２（２）の各フレームを（例えばＦＦＴを用いて）時間ドメインから周波数ドメインに変換し、音声信号７０２（１）のフレームを音声信号７０２（２）の各フレームにマッチさせるＮＬＭＳフィルタを決定することがある。結果として得られるＮＬＭＳフィルタは、音声信号７０２（１）及び７０２（２）の音源についてのマイクロホンの間の（時間ドメインに変換されたときの）ＲｅＩＲ７０４を表す機械音響伝達関数である。
【0060】
特徴抽出器７２０は、ＲｅＩＲ７０４のピークの位置に少なくとも部分的に基づいてＲｅＩＲ７０４から特徴７０６のセットを抽出するように構成されている。例えば、ＲｅＩＲ７０４のピークの位置は、遅延７０１のタイミングに整合していることがある。実装によっては、遅延７０１が、ＮＬＭＳフィルタのサイズの４分の１に等しいことがある。態様によっては、特徴抽出器７２０が、ＲｅＩＲ７０４の一以上の統計的特性に基づいて特徴７０６のセットを決定することがある。適正な統計的特性の例としては、ＲｅＩＲ７０４の尖度、ＲｅＩＲ７０４のＲＭＳ、及び、ＲｅＩＲ７０４のスキュー又は高さ等が挙げられる。
【0061】
実装によっては、特徴抽出器７２０がテール尖度コンポーネント７２２を備えていることがある。テール尖度コンポーネント７２２は、（例えば図３を参照して説明した）ＲｅＩＲ７０４のテール部分の尖度を決定するように構成されている。例えば、ランダム変数（Ｘ）の尖度は、式（１）に定義されている。ＲｅＩＲ７０４のテール部分は、ＲｅＩＲ７０４のピークから始まる閾値期間に渡っている。実装によっては、ＲｅＩＲ７０４のテール部分が、（ＲｅＩＲ７０４のピークからＲｅＩＲ７０４の末尾までの）ＲｅＩＲ７０４の残部を含んでいることがある。
【0062】
実装によっては、特徴抽出器７２０が正規化プレリングコンポーネント７２４を備えることがある。正規化プレリングコンポーネント７２４は、（例えば図３を参照して説明したように）ＲｅＩＲ７０４のピークに対して正規化されたＲｅＩＲ７０４のプレリング部分のＲＭＳを決定するように構成されている。例えば、期間Ｔ１≦ｔ≦Ｔ２に対して定義された波形（ｆ（ｔ））のＲＭＳが、式（２）に示されている。ＲｅＩＲ７０４のプレリング部分は、ＲｅＩＲ７０４のピークで終了する（又は直前で終了する）閾値期間に渡っている。実装によっては、ＲｅＩＲ７０４のプレリング部分が、ＲｅＩＲ７０４の開始からＲｅＩＲ７０４のピークの１又は複数のサンプル前（例えば、５サンプル前）までの部分に渡っていることがある。
【0063】
特徴７０６のセットは、ＲｅＩＲ７０４のテール尖度、ＲｅＩＲ７０４の正規化プレリング、又は、これらの任意の組み合わせを含んでいることがある。実装によっては、特徴７０６のセットが、ＲｅＩＲ７０４の他の統計的特性（簡潔性のために図示されない）を含んでいることがある。適切な統計的特性の例としては、ＲｅＩＲ７０４全体のスキュー又は高さ、（例えば、ＲｅＩＲ７０４のプレリング部分又はテールのような）ＲｅＩＲ７０４の特定の部分のスキュー又は高さ等が挙げられ得る。
【0064】
ＧＭＭ分類器７３０は、特徴７０６のセットに基づいて音源分類７０８を決定するように構成されている。より具体的には、ＧＭＭ分類器７３０は、訓練済みＧＭＭ７０７に基づいて特徴７０６を分類することがある。実装によっては、訓練済みＧＭＭ７０７が、図３のＧＭＭ３０８の一例であり得る。例えば、ＧＭＭ分類器７３０は、特徴７０６のセットが（例えば図６の対象クラスタ６１０のような）対象クラスタにマッピングされる尤度又は確率と、特徴７０６のセットが（例えば図６の擾乱クラスタ６２０のような）擾乱クラスタにマッピングされる尤度又は確率とを決定してもよい。
【0065】
実装によっては、ＧＭＭ分類器７３０が、最も確率が高いクラスタを音源分類７０８として選択してもよい。言い換えれば、音源分類７０８は、特徴７０６のセットが対象クラスタ又は擾乱クラスタのいずれに対応している可能性がより高いかを示すことがある。特徴７０６のセットが対象クラスタ又は擾乱クラスタに位置づけられる尤度が同じであるいくつかの実装では、ＧＭＭ分類器７３０が、（例えば対象発話を誤って抑制することを避けるために）対象クラスタを音源分類７０８として選択してもよい。
【0066】
図２を参照して説明したように、音源分類７０８は、音声信号における発話の質を向上するために（例えば発話強調コンポーネント２３０のような）発話強調コンポーネントによって使用されてもよい。例えば、発話強調コンポーネントは、音源分類７０８が対象クラスタを示しているとき、音声信号の所与のフレームを通過させ又は増幅するように、より高いゲインを適用してもよい。一方、発話強調コンポーネントは、音源分類７０８が擾乱クラスタを示しているとき、音声信号の所与のフレームを抑制又は減衰するように、より低いゲインを適用してもよい。
【0067】
図８Ａは、一対のマイクロホンの間のＲｅＩＲ８００の例を示す他のタイミング図である。実装によっては、ＲｅＩＲ８００が、それぞれマイクロホンの対を介して受信された一対の音声信号に基づいて（例えば図７の適応フィルタ７１０のような）適応フィルタによって生成されてもよい。図８Ａの例では、ＲｅＩＲ８００の振幅が、時間（Ｔ）と共に示されている。より具体的には、ＲｅＩＲ８００は、時間Ｔ＝０からＴ＝５１０までの期間に渡っており、時間Ｔ＝１３５の辺りで発生するピークを有している。図８Ａに図示されているように、（例えば時間Ｔ＝１３５からＴ＝５１０までのような）ＲｅＩＲ８００のテール部は非常にノイズが多く、（例えば時間Ｔ＝０からＴ＝１３５までのような）ＲｅＩＲ８００のプレリング部分は相当なリンギングを発現している。従って、ＲｅＩＲ８００は、相対的に低いテール尖度と相対的に高い正規化プレリングとを有しているかもしれない。図５を参照して説明したように、低いテール尖度と高い正規化プレリングは、ＲｅＩＲ８００が擾乱音源に由来している可能性が高いことを示している。
【0068】
図８Ｂは、図８ＡのＲｅＩＲ８００から抽出された特徴８１３のセットの訓練済みＧＭＭへのマッピング８１０の例を図示している。より具体的には、特徴８１３のセットは、ＲｅＩＲ８００の（垂直軸に沿ってマッピングされる）テール尖度とＲｅＩＲ８００の（水平軸に沿ってマッピングされる）正規化プレリングとを含んでいる。実装によっては、マッピング８１０が、（例えば図７のＧＭＭ分類器７３０のような）ＧＭＭ分類器によって実施されてもよい。例えば図７を参照して、該訓練済みＧＭＭは、訓練済みＧＭＭ７０７の一例であり得る。図８Ｂの例では、訓練済みＧＭＭが、それぞれ対象クラスタ及び擾乱クラスタを表す一対の楕円８１１、８１２として示されている。図８Ｂに図示されているように、特徴セット８１３の位置は、擾乱クラスタを表す楕円８１２によって境界が付けられている。従って、いくつかの実装では、ＧＭＭ分類器が、特徴８１３のセットを擾乱クラスタ８１２に属している（又はマッピングされる）として分類することがある。
【0069】
図９は、いくつかの実装による、発話強調システム９００の例の他のブロック図を図示している。より具体的には、発話強調システム９００は、マルチチャンネル音声信号を受信し、受信した音声信号におけるノイズをフィルタリング又は抑制することによって強調音声信号を生成するように構成されてもよい。実装によっては、発話強調システム９００は、図２の音声レシーバ２００の一例であり得る。
【0070】
発話強調システム９００は、デバイスインタフェース９１０と、処理システム９２０と、メモリ９３０とを備えている。デバイスインタフェース９１０は、（例えば図２のマイクロホン２０１（１）、２０１（２）のような）音声レシーバの様々なコンポーネントと通信するように構成されている。実装によっては、デバイスインタフェース９１０が、複数のマイクロホンを介してマルチチャンネル音声信号を受信するように構成されたマイクロホンインタフェース（Ｉ／Ｆ）９１２を備えていてもよい。例えば、マイクロホンインタフェース９１２は、発話強調システム９００に関連するフレームホップで音声信号の個々のフレームをサンプリングし、又は、受信することがある。フレームホップは、アプリケーションが発話強調システム９００から強調音声フレームを受け取ることを要求する、さもなければ期待する頻度を表すことがある。
【0071】
メモリ９３０は、音声フレームデータ格納部９３１とＧＭＭデータ格納部９３２とを備えることがある。音声フレームデータ格納部９３１は、マルチチャンネル音声信号の一以上のフレームを格納すると共に、（例えば、ＲｅＩＲやＲｅＩＲから抽出された様々な特徴のような）発話強調動作を実行した結果として発話強調システム９００によって生成されることがある任意の中間情報を格納するように構成されている。ＧＭＭデータ格納部９３２は、特徴分類に使用可能な（例えば図３のＧＭＭ３０８や図７の訓練済みＧＭＭ７０７のような）訓練済みＧＭＭを格納するように構成されている。
【0072】
メモリ９３０は、下記のソフトウェア（ＳＷ）モジュールを少なくとも格納することがある（例えばＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ハードドライバ等のような一以上の不揮発性メモリ要素を含む）非一時的コンピュータ読み取り可能媒体も備えることがある。
・マルチチャンネル音声信号のフレームに基づいて複数のマイクロホンの間の相対インパルス応答を決定する適応フィルタリングＳＷモジュール９３３、
・相対インパルス応答のピークに少なくとも部分的に基づいて相対インパルス応答から特徴のセットを抽出する特徴抽出ＳＷモジュール９３４、
・訓練済みＧＭＭに基づいて特徴のセットを分類する特徴分類ＳＷモジュール９３５、及び、
・特徴のセットの分類に少なくとも部分的に基づいてマルチチャンネル音声信号の少なくとも第１チャンネルを処理する発話強調ＳＷモジュール９３６
各ソフトウェアモジュールは、処理システム９２０によって実行されたときに、対応する機能を発話強調システム９００に実行させる命令を含んでいる。
・マルチチャンネル音声信号のフレームに基づいて複数のマイクロホンの間の相対インパルス応答を決定する適応フィルタリングＳＷモジュール９３３、
・相対インパルス応答のピークに少なくとも部分的に基づいて相対インパルス応答から特徴のセットを抽出する特徴抽出ＳＷモジュール９３４、
・訓練済みＧＭＭに基づいて特徴のセットを分類する特徴分類ＳＷモジュール９３５、及び、
・特徴のセットの分類に少なくとも部分的に基づいてマルチチャンネル音声信号の少なくとも第１チャンネルを処理する発話強調ＳＷモジュール９３６
各ソフトウェアモジュールは、処理システム９２０によって実行されたときに、対応する機能を発話強調システム９００に実行させる命令を含んでいる。
【0073】
処理システム９２０は、発話強調システム９００に（例えばメモリ９３０に）格納された一以上のソフトウェアプログラムのスクリプト又は命令を実行可能な一以上の適切なプロセッサを含んでいることがある。例えば、処理システム９２０は、適応フィルタリングＳＷモジュール９３３を実行して、マルチチャンネル音声信号のフレームに基づいてマイクロホンの間の相対インパルス応答を決定することがある。処理システム９２０は、特徴抽出ＳＷモジュール９３４を実行して、相対インパルス応答のピークに少なくとも部分的に基づいて相対インパルス応答から特徴のセットを抽出することもある。更に、処理システム９２０は、特徴分類ＳＷモジュール９３５を実行して、訓練済みＧＭＭに基づいて該特徴のセットを分類することがある。更にまた、処理システム９２０は、発話強調ＳＷモジュール９３６を実行して、特徴のセットの分類に少なくとも部分的に基づいてマルチチャンネル音声信号の少なくとも第１チャンネルを処理することがある。
【0074】
図１０は、いくつかの実装による、音声信号を処理するための例示的な動作１０００の例を示す説明フローチャートを図示している。実装によっては、例示的な動作１０００が、（例えば図２の音声レシーバ２００や図９の発話強調システム９００のような）発話強調システムによって実行され得る。
【0075】
発話強調システムは、複数のマイクロホンを介して第１マルチチャンネル音声信号を受信する（１０１０）。発話強調システムは、第１マルチチャンネル音声信号のフレームに基づいて該複数のマイクロホンの間の第１相対インパルス応答を決定する（１０２０）。発話強調システムは、第１相対インパルス応答のピークに少なくとも部分的に基づいて第１相対インパルス応答から第１の特徴のセットを抽出する（１０３０）。発話強調システムは、ＧＭＭに基づいて第１の特徴のセットを分類する（１０４０）。更に、発話強調システムは、第１の特徴のセットの分類に少なくとも部分的に基づいて第１マルチチャンネル音声信号の少なくとも第１チャンネルを処理する（１０５０）。
【0076】
実装によっては、第１相対インパルス応答がＮＬＭＳフィルタに基づいて決定されてもよい。いくつかの実装では、第１の特徴のセットが、第１相対インパルス応答のテール部分の尖度を含んでいることがある。ここで、テール部分は、ピークから始まる閾値期間に渡っている。他のいくつかの実装では、第１の特徴のセットが、該ピークに対して正規化された第１相対インパルス応答のプレリング部分のＲＭＳを含んでいることがある。ここで、プレリング部分は、該ピークにおいて終了する閾値期間に渡っている。
【0077】
態様によっては、発話強調システムが、更に、複数のマイクロホンを介して第２マルチチャンネル音声信号を受信し、第２マルチチャンネル音声信号のフレームに基づいて該複数のマイクロホンの間の第２相対インパルス応答を決定し、第２相対インパルス応答のピークに少なくとも部分的に基づいて第２相対インパルス応答から第２の特徴のセットを抽出し、該第２の特徴のセットに少なくとも部分的に基づいてＧＭＭを訓練することがある。実装によっては、第１マルチチャンネル音声信号及び第２マルチチャンネル音声信号が、同一のユーザからの発話を伝送してもよい。
【0078】
態様によっては、ＧＭＭが、対象クラスタと擾乱クラスタとを含む２つの非共変クラスタを決定するように訓練されることがある。実装によっては、第１の特徴のセットを分類することが、該第１の特徴のセットを対象クラスタ又は擾乱クラスタの一方にマッピングすることを含むことがある。実装によっては、マルチチャンネル音声信号の第１チャンネルを処理することが、第１の特徴のセットが対象クラスタにマッピングされるか、擾乱クラスタにマッピングされるかに基づいて第１チャンネルに関連するゲインを調節することを含むことがある。実装によっては、ゲインを調節することにより、第１の特徴のセットが擾乱クラスタにマッピングされるとき、第１の特徴のセットが対象クラスタにマッピングされる場合よりも第１チャンネルの減衰が大きくなってもよい。
【0079】
当業者は、情報及び信号が、様々の異なる技術又はテクニックの任意のものを用いて表現され得ると理解するであろう。例えば、上記の説明に渡って参照されることがあるデータ、命令、コマンド、情報、信号、ビット、シンボル及びチップは、電圧、電流、電磁波、磁界又は磁性粒子、光学場又は光子、又は、それらの任意の組み合わせによって表現され得る。
【0080】
更に、当業者は、本明細書に開示された態様に関連して説明された様々な例示的な論理ブロック、モジュール、回路及びアルゴリズムのステップが、電子ハードウェア、コンピュータソフトウェア又は両者の組み合わせとして実装され得ることを理解するであろう。ハードウェアとソフトウェアのこの互換性を明確に図示するために、様々な例示的なコンポーネント、ブロック、モジュール、回路及びステップは、上記において、一般に、その機能の観点で説明されている。このような機能がハードウェアとして実装されるかソフトウェアとして実装されるかは、全体システムに課せられる個別の応用及び設計の制約に依存している。当業者は、記述された機能を、各個別の応用のために様々な方法で実装し得るが、このような実装上の決定が、本開示の技術的な範囲からの乖離を生じさせるとして解釈すべきではない。
【0081】
本明細書に開示された態様と関連して説明されている方法、シーケンス又はアルゴリズムは、直接にハードウェアで具現化されてもよく、プロセッサによって実行されるソフトウェアで具現化されてもよく、それら２つの組み合わせで具現化されてもよい。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ－ＲＯＭ、又は、本技術で知られる他の形態の記憶媒体に存在し得る。例示的な記憶媒体は、当該プロセッサが該記憶媒体から情報を読み取り、該記録媒体に情報を書き込むことができるようにプロセッサに結合される。その代わりに、記憶媒体がプロセッサと一体であってもよい。
【0082】
前述の明細書において、実施形態が、その具体的な例を参照して説明されている。しかしながら、添付の特許請求の範囲に提示されているような開示のより広い範囲から逸脱することなく、様々な修正及び変更がなされ得ることは、明らかであろう。従って、明細書及び図面は、限定的な意味ではなく、例示的な意味で考慮されるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【外国語明細書】