特表2024-510225音声活動検出方法、システム、音声強調方法及びシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-06
(54)【発明の名称】音声活動検出方法、システム、音声強調方法及びシステム
(51)【国際特許分類】
G10L 25/78 20130101AFI20240228BHJP
H04R 3/00 20060101ALI20240228BHJP
G10L 25/27 20130101ALI20240228BHJP
G10L 21/0208 20130101ALI20240228BHJP
G10L 21/0232 20130101ALI20240228BHJP
【ＦＩ】
G10L25/78
H04R3/00 320
G10L25/27
G10L21/0208 100B
G10L21/0232
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023555859
(86)(22)【出願日】2021-12-20
(85)【翻訳文提出日】2023-09-12
(86)【国際出願番号】 CN2021139747
(87)【国際公開番号】W WO2023115269
(87)【国際公開日】2023-06-29
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
(71)【出願人】
【識別番号】514156013
【氏名又は名称】深▲セン▼市韶音科技有限公司
【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮ ＳＨＯＫＺ ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】Ｆｌｏｏｒｓ １－４，Ｆａｃｔｏｒｙ Ｂｕｉｌｄｉｎｇ ２６，Ｓｈａｎｃｈｅｎｇ Ｉｎｄｕｓｔｒｉａｌ Ｐａｒｋ，Ｓｈｉｙａｎ Ｓｔｒｅｅｔ，Ｂａｏ’ａｎ Ｄｉｓｔｒｉｃｔ，Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８１０８，ＣＨＩＮＡ
(74)【代理人】
【識別番号】100205936
【弁理士】
【氏名又は名称】崔 海龍
(74)【代理人】
【識別番号】100132805
【弁理士】
【氏名又は名称】河合 貴之
(72)【発明者】
【氏名】肖 楽
(72)【発明者】
【氏名】張 承乾
(72)【発明者】
【氏名】廖 風云
(72)【発明者】
【氏名】齊 心
【テーマコード（参考）】
5D220
【Ｆターム（参考）】
5D220BA06
5D220BB04
(57)【要約】
本明細書による音声活動検出方法、システム、音声強調方法及びシステムは、マイクロホン信号が所在する信号部分空間とターゲット音声信号が所在するターゲット部分空間との線形相関を計算することによって、マイクロホン信号にターゲット音声信号が存在する音声存在確率を確定する。前記音声強調方法及びシステムは、音声存在確率に基づいてフィルタリング係数を計算することによって、マイクロホン信号に対して音声強調を行うことができる。前記方法及びシステムは、音声存在確率の計算精度を向上させることによって、音声強調効果を向上させることができる。
【選択図】図３
【選択図】図３
【特許請求の範囲】
【請求項1】
音声活動検出方法であって、予め設定されたアレイ形状に分布しているＭ個のマイクロホンに用いられ、前記Ｍは１より大きい整数であり、前記Ｍ個のマイクロホンにより出力されたマイクロホン信号を取得することと、
前記マイクロホン信号に基づいて、前記マイクロホン信号により構成される信号部分空間を確定することと、
ターゲット音声信号により構成されるターゲット部分空間を確定することと、
前記信号部分空間と前記ターゲット部分空間との線形相関に基づいて、前記マイクロホン信号に前記ターゲット音声信号が存在する音声存在確率を確定し出力することとを含む、ことを特徴とする音声活動検出方法。
【請求項2】
前記の、前記マイクロホン信号に基づいて、前記マイクロホン信号により構成される信号部分空間を確定することは、前記マイクロホン信号に基づいて、前記マイクロホン信号のサンプリング共分散行列を確定することと、
前記サンプリング共分散行列に対して固有値分解を行い、前記サンプリング共分散行列の複数の固有ベクトルを確定することと、
前記複数の固有ベクトルのうちの少なくとも一部の固有ベクトルからなる行列を前記信号部分空間の基本行列とすることとを含む、ことを特徴とする請求項１に記載の音声活動検出方法。
【請求項3】
前記の、前記マイクロホン信号に基づいて、前記マイクロホン信号により構成される信号部分空間を確定することは、前記マイクロホン信号に基づいて、ＤＯＡ推定方法及び空間スペクトル推定方法のうちの少なくとも一つを含む空間推定方法で前記マイクロホン信号における信号源の方位角を確定することによって、前記マイクロホン信号の信号ステアリングベクトルを確定することと、
前記信号ステアリングベクトルが前記信号部分空間の基本行列であることを確定することとを含む、ことを特徴とする請求項１に記載の音声活動検出方法。
【請求項4】
前記の、ターゲット音声信号により構成されるターゲット部分空間を確定することは、前記ターゲット音声信号に対応する、予め設定されたターゲットステアリングベクトルが前記ターゲット部分空間の基本行列であることを確定することを含む、ことを特徴とする請求項１に記載の音声活動検出方法。
【請求項5】
前記の、前記信号部分空間と前記ターゲット部分空間との線形相関に基づいて、前記マイクロホン信号に前記ターゲット音声信号が存在する音声存在確率を確定し出力することは、前記信号部分空間と前記ターゲット部分空間との体積相関関数を確定することと、
前記体積相関関数に基づいて、前記信号部分空間と前記ターゲット部分空間との線形相関係数を確定することであって、ここで、前記線形相関係数が前記体積相関関数と負の相関があることと、
前記線形相関係数を前記音声存在確率として出力することとを含む、ことを特徴とする請求項１に記載の音声活動検出方法。
【請求項6】
前記の、前記体積相関関数に基づいて、前記信号部分空間と前記ターゲット部分空間との線形相関係数を確定することは、前記体積相関関数が第１の閾値より大きいと確定し、前記線形相関係数が０であると確定するケース、
前記体積相関関数が第２の閾値より小さいと確定し、前記線形相関係数が１であると確定し、ここで、前記第２の閾値が前記第１の閾値より小さいケース、
前記体積相関関数が前記第１の閾値と前記第２の閾値との間にあると確定し、前記線形相関係数が０～１であり、前記線形相関係数が、前記体積相関関数と負の相関がある関数であると確定するケースのうちの一つを含む、ことを特徴とする請求項５に記載の音声活動検出方法。
【請求項7】
音声活動検出システムであって、音声活動検出のための少なくとも一つの命令セットが記憶されている少なくとも一つの記憶媒体と、
前記少なくとも一つの記憶媒体と通信接続される少なくとも一つのプロセッサとを含み、
ここで、前記音声活動検出システムが作動する場合、前記少なくとも一つのプロセッサは、前記少なくとも一つの命令セットを読み取り、請求項１～６のいずれか一項に記載の音声活動検出方法を実施する、ことを特徴とする音声活動検出システム。
【請求項8】
音声強調方法であって、予め設定されたアレイ形状に分布しているＭ個のマイクロホンに用いられ、前記Ｍは１より大きい整数であり、前記Ｍ個のマイクロホンにより出力されたマイクロホン信号を取得することと、
請求項１～６のいずれか一項に記載の音声活動検出方法に基づいて、前記マイクロホン信号に前記ターゲット音声信号が存在する音声存在確率を確定することと、
前記音声存在確率に基づいて、前記マイクロホン信号に対応するフィルタリング係数ベクトルを確定することと、
前記フィルタリング係数ベクトルに基づいて、前記マイクロホン信号を統合し、ターゲットオーディオ信号を得て出力することとを含む、ことを特徴とする音声強調方法。
【請求項9】
前記の、前記音声存在確率に基づいて、前記マイクロホン信号に対応するフィルタリング係数ベクトルを確定することとは、前記音声存在確率に基づいて、前記マイクロホン信号のノイズ共分散行列を確定することと、
ＭＶＤＲ方法及び前記ノイズ共分散行列に基づいて、前記フィルタリング係数ベクトルを確定することとを含む、ことを特徴とする請求項８に記載の音声強調方法。
【請求項10】
前記の、前記音声存在確率に基づいて、前記マイクロホン信号に対応するフィルタリング係数ベクトルを確定することは、前記音声存在確率を、前記マイクロホン信号のうちのターゲットマイクロホン信号に対応するフィルタリング係数とすることであって、前記ターゲットマイクロホン信号が、前記マイクロホン信号のうちの、信号対ノイズ比が最も高い１ウェイマイクロホン信号を含むことと、
前記マイクロホン信号のうちの前記ターゲットマイクロホン信号以外の他のマイクロホン信号に対応するフィルタリング係数が０であることを確定することとを含み、
前記フィルタリング係数ベクトルは、前記ターゲットマイクロホン信号に対応するフィルタリング係数及び前記他のマイクロホン信号に対応するフィルタリング係数からなるベクトルを含む、ことを特徴とする請求項８に記載の音声強調方法。
【請求項11】
音声強調システムであって、音声強調を行うための少なくとも一つの命令セットが記憶されている少なくとも一つの記憶媒体と、
前記少なくとも一つの記憶媒体と通信接続される少なくとも一つのプロセッサとを含み、
ここで、前記音声強調システムが作動する場合、前記少なくとも一つのプロセッサは、前記少なくとも一つの命令セットを読み取り、請求項８～１０のいずれか一項に記載の音声強調方法を実施する。ことを特徴とする音声強調システム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書は、ターゲット音声信号処理技術分野に関し、特に音声活動検出方法、システム、音声強調方法及びシステムに関する。
【背景技術】
【0002】
ビームフォーミングアルゴリズムに基づく音声強調技術、特に最小分散無歪応答（Ｍｉｎｉｍｕｍ Ｖａｒｉａｎｃｅ Ｄｉｓｔｏｒｔｉｏｎｌｅｓｓ Ｒｅｓｐｏｎｓｅ、ＭＶＤＲと略称される）の適応ビームフォーミングアルゴリズムにおいて、異なるマイクロホン間のノイズの統計的特性の関係を記述するパラメータ－－ノイズ共分散行列をどのように解くことは極めて重要である。従来技術における主要な方法は音声存在確率の方法に基づいてノイズ共分散行列を計算し、例えば、音声活動検出方法（Ｖｏｉｃｅ Ａｃｔｉｖｉｔｙ Ｄｅｔｅｃｔｉｏｎ、ＶＡＤと略称される）により音声存在確率を推定し、さらにノイズ共分散行列を計算する。しかし、従来技術における音声存在確率の推定正確率が十分ではなく、それによりノイズ共分散行列の推定精度が低く、さらにＭＶＤＲアルゴリズムの音声強調効果が低い。特にマイクロホンの数が少なく、例えば、５個未満である場合、効果は急激に低下する。そのため、従来技術におけるＭＶＤＲアルゴリズムは、携帯電話、スマートスピーカーなどのマイクロホンの数が多く、間隔が大きいマイクロホンアレイ機器に用いられることが多いが、イヤホンのようなマイクロホンの数が少なく、間隔が小さい機器では音声強調効果が低い。
【0003】
そのため、精度のより高い音声活動検出方法、システム、音声強調方法及びシステムを提供する必要がある。
【発明の概要】
【0004】
本明細書は、精度のより高い音声活動検出方法、システム、音声強調方法及びシステムを提供する。
【0005】
第１の態様によれば、本明細書は、音声活動検出方法を提供し、予め設定されたアレイ形状に分布しているＭ個のマイクロホンに用いられ、前記Ｍは１より大きい整数であり、前記方法は、前記Ｍ個のマイクロホンにより出力されたマイクロホン信号を取得することと、前記マイクロホン信号に基づいて、前記マイクロホン信号により構成される信号部分空間を確定することと、ターゲット音声信号により構成されるターゲット部分空間を確定することと、前記信号部分空間と前記ターゲット部分空間との線形相関に基づいて、前記マイクロホン信号に前記ターゲット音声信号が存在する音声存在確率を確定し出力することとを含む。
【0006】
いくつかの実施例において、前記の、前記マイクロホン信号に基づいて、前記マイクロホン信号により構成される信号部分空間を確定することは、前記マイクロホン信号に基づいて、前記マイクロホン信号のサンプリング共分散行列を確定することと、前記サンプリング共分散行列に対して固有値分解を行い、前記サンプリング共分散行列の複数の固有ベクトルを確定することと、前記複数の固有ベクトルのうちの少なくとも一部の固有ベクトルからなる行列を前記信号部分空間の基本行列とすることとを含む。
【0007】
いくつかの実施例において、前記の、前記マイクロホン信号に基づいて、前記マイクロホン信号により構成される信号部分空間を確定することは、前記マイクロホン信号に基づいて、ＤＯＡ推定方法及び空間スペクトル推定方法のうちの少なくとも一つを含む空間推定方法で前記マイクロホン信号における信号源の方位角を確定することによって、前記マイクロホン信号の信号ステアリングベクトルを確定することと、前記信号ステアリングベクトルが前記信号部分空間の基本行列であることを確定することとを含む。
【0008】
いくつかの実施例において、前記の、ターゲット音声信号により構成されるターゲット部分空間を確定することは、前記ターゲット音声信号に対応する、予め設定されたターゲットステアリングベクトルが前記ターゲット部分空間の基本行列であることを確定することを含む。
【0009】
いくつかの実施例において、前記、前記信号部分空間と前記ターゲット部分空間との線形相関に基づいて、前記マイクロホン信号に前記ターゲット音声信号が存在する音声存在確率を確定し出力することは、前記信号部分空間と前記ターゲット部分空間との体積相関関数を確定することと、前記体積相関関数に基づいて、前記信号部分空間と前記ターゲット部分空間との線形相関係数を確定することであって、ここで、前記線形相関係数が前記体積相関関数と負の相関があることと、前記線形相関係数を前記音声存在確率として出力することとを含む。
【0010】
いくつかの実施例において、前記の、前記体積相関関数に基づいて、前記信号部分空間と前記ターゲット部分空間との線形相関係数を確定することは、前記体積相関関数が第１の閾値より大きいと確定し、前記線形相関係数が０であると確定するケース、前記体積相関関数が第２の閾値より小さいと確定し、前記線形相関係数が１であると確定し、ここで、前記第２の閾値が前記第１の閾値より小さいケース、前記体積相関関数が前記第１の閾値と前記第２の閾値との間にあると確定し、前記線形相関係数が０～１であり、前記線形相関係数が、前記体積相関関数と負の相関がある関数であると確定するケースのうちの一つを含む。
【0011】
第２の態様によれば、本明細書は、音声活動検出システムをさらに提供し、前記システムは、少なくとも一つの記憶媒体と少なくとも一つのプロセッサとを含み、前記少なくとも一つの記憶媒体には、音声活動検出のための少なくとも一つの命令セットが記憶されており、前記少なくとも一つのプロセッサは、と、前記少なくとも一つの記憶媒体と通信接続され、ここで、前記音声活動検出システムが作動する場合、前記少なくとも一つのプロセッサは、前記少なくとも一つの命令セットを読み取り、本明細書の第１の態様に記載の音声活動検出方法を実施する。
【0012】
第３の態様によれば、本明細書は、音声強調方法をさらに提供し、予め設定されたアレイ形状に分布しているＭ個のマイクロホンに用いられ、前記Ｍは１より大きい整数であり、前記方法は、前記Ｍ個のマイクロホンにより出力されたマイクロホン信号を取得することと、本明細書の第１の態様に記載の音声活動検出方法に基づいて、前記マイクロホン信号に前記ターゲット音声信号が存在する音声存在確率を確定することと、前記音声存在確率に基づいて、前記マイクロホン信号に対応するフィルタリング係数ベクトルを確定することと、前記フィルタリング係数ベクトルに基づいて、前記マイクロホン信号を統合し、ターゲットオーディオ信号を得て出力することとを含む。
【0013】
いくつかの実施例において、前記の、前記音声存在確率に基づいて、前記マイクロホン信号に対応するフィルタリング係数ベクトルを確定することは、前記音声存在確率に基づいて、前記マイクロホン信号のノイズ共分散行列を確定することと、ＭＶＤＲ方法及び前記ノイズ共分散行列に基づいて、前記フィルタリング係数ベクトルを確定することとを含む。
【0014】
いくつかの実施例において、前記の、前記音声存在確率に基づいて、前記マイクロホン信号に対応するフィルタリング係数ベクトルを確定することは、前記音声存在確率を、前記マイクロホン信号のうちのターゲットマイクロホン信号に対応するフィルタリング係数とすることであって、前記ターゲットマイクロホン信号が、前記マイクロホン信号のうちの、信号対ノイズ比が最も高い１ウェイマイクロホン信号を含むことと、前記マイクロホン信号のうちの前記ターゲットマイクロホン信号以外の他のマイクロホン信号に対応するフィルタリング係数が０であることを確定することとを含み、前記フィルタリング係数ベクトルは、前記ターゲットマイクロホン信号に対応するフィルタリング係数及び前記他のマイクロホン信号に対応するフィルタリング係数からなるベクトルを含む。
【0015】
第４の態様によれば、本明細書は、音声強調システムをさらに提供し、前記システムは、少なくとも一つの記憶媒体と少なくとも一つのプロセッサとを含み、前記少なくとも一つの記憶媒体には、音声強調を行うための少なくとも一つの命令セットが記憶されており、前記少なくとも一つのプロセッサは、前記少なくとも一つの記憶媒体と通信接続され、ここで、前記音声強調システムが作動する場合、前記少なくとも一つのプロセッサは、前記少なくとも一つの命令セットを読み取り、本明細書の第２の態様に記載の音声強調方法を実施する。
【0016】
以上の技術案から分かるように、本明細書による音声活動検出方法、システム、音声強調方法及びシステムは、複数のマイクロホンからなるマイクロホンアレイに用いられる。ここで、マイクロホンアレイは、ノイズ信号を収集することもできるし、ターゲット音声信号を収集し、マイクロホン信号を出力することもできる。ターゲット音声信号とノイズ信号とは、クロスリンクのない二種類の信号である。ターゲット音声信号が所在するターゲット部分空間とノイズ信号が所在するノイズ部分空間とは、クロスリンクのない二つの部分空間である。マイクロホン信号にターゲット音声信号が存在しない場合、マイクロホン信号にはノイズ信号のみが含まれる。この場合、マイクロホン信号が所在する信号部分空間とターゲット音声信号が所在するターゲット部分空間とは、クロスリンクのない二つの部分空間であり、信号部分空間とターゲット部分空間との線形相関が低い。マイクロホン信号にターゲット音声信号が存在する場合、マイクロホン信号にはターゲット音声信号とノイズ信号の両方が含まれる。この場合、マイクロホン信号が所在する信号部分空間とターゲット音声信号が所在するターゲット部分空間とは、クロスリンクのある二つの部分空間であり、信号部分空間とターゲット部分空間との線形相関が高い。そのため、本明細書による音声活動検出方法及びシステムは、マイクロホン信号が所在する信号部分空間とターゲット音声信号が所在するターゲット部分空間との線形相関を計算することによって、マイクロホン信号にターゲット音声信号が存在する音声存在確率を確定することができる。前記音声強調方法及びシステムは、音声存在確率に基づいてフィルタリング係数を計算することによって、マイクロホン信号に対して音声強調を行うことができる。前記方法及びシステムは、音声存在確率の計算精度を向上させることによって、音声強調効果を向上させることができる。
【0017】
本明細書による音声活動検出方法、システム、音声強調方法及びシステムの他の機能は、以下に続く説明で部分的に記述される。説明によれば、以下の数字及び例に示される内容は、当業者にとって自明である。本明細書による音声活動検出方法、システム、音声強調方法及びシステムの創造的な態様は、以下の詳細な例に記載の方法、装置及び組み合わせの実践又は使用によって十分に解釈され得る。
【図面の簡単な説明】
【0018】
本明細書の実施例における技術案をより明確に説明するために、以下では、実施例の説明で使用する必要がある図面を簡単に説明するが、明らかなことに、以下の説明における図面は、本明細書の一部の実施例に過ぎず、当業者にとっては、創造的な労力を払うことなく、これらの図面に基づいて他の図面を入手することができる。
【図1】本明細書の実施例による音声活動検出システムのハードウェア概略図である。
【図2A】本明細書の実施例による電子機器の分解構造概略図である。
【図2B】本明細書の実施例による第１のケースの正面図である。
【図2C】本明細書の実施例による第１のケースの平面図である。
【図2D】本明細書の実施例による第２のケースの正面図である。
【図2E】本明細書の実施例による第２のケースの底面図である。
【図3】本明細書の実施例による音声活動検出方法のフローチャートである。
【図4】本明細書の実施例による信号部分空間の基本行列の確定のフローチャートである。
【図5】本明細書の実施例による信号部分空間の基本行列の確定の別のフローチャートである。
【図6】本明細書の実施例による音声存在確率の計算のフローチャートである。
【図7】本明細書の実施例によるなす正準角の概略図である。
【図8】本明細書の実施例による音声強調方法のフローチャートである。
【発明を実施するための形態】
【0019】
以下の説明は、当業者が本明細書における内容を作成及び使用することを可能にするために、本明細書の特定の適用シーンと要件を提供した。開示された実施例に対する様々な部分的な修正は、当業者にとって明らかであり、且つここで定義された一般原理は、本明細書の精神及び範囲から逸脱することなく、他の実施例及び用途に適用され得る。そのため、本明細書は、示された実施例に限定されるものではなく、請求項と一致する最も広い範囲である。
【0020】
ここで使用される用語は、特定の例示的な実施例を説明する目的のためだけのものであり、限定するものではない。例えば、文脈が別途明確に指示しない限り、ここで使用される単数形「一」、「一つ」及び「該」は、複数形を含むものでもあり得る。本明細書で使用される場合、「含む」、「包含」及び／又は「含有」という用語は、関連する整数、ステップ、動作、要素及び／又はコンポーネントの存在を意味するが、一つ又は複数の他の特徴、整数、ステップ、動作、要素、コンポーネント及び／又はグループの存在を排除するものではなく、又は該システム／方法に他の特徴、整数、ステップ、動作、要素、コンポーネント及び／又はグループが追加されてもよい。
【0021】
以下の説明を考慮すると、本明細書のこれらの特徴及び他の特徴、並びに構造の関連素子の動作及び機能、並びに部品の組み合わせ及び製造の経済性を明らかに向上させることができる。図面を参照すると、その全ては本明細書の一部を形成する。しかしながら、図面は、例示及び説明のみを目的とし、本明細書の範囲を限定することを意図していないことが明確に理解されるべきである。図面は縮尺どおりに描かれていないことも理解されるべきである。
【0022】
本明細書で使用されるフローチャートは、本明細書のいくつかの実施例によるシステム実現の動作を示す。フローチャートの動作は順序を違えて実現され得ることが明確に理解されるべきである。逆に、動作は、逆順で、又は同時に実現され得る。なお、フローチャートに一つ又は複数の他の動作を追加してもよい。フローチャートから一つ又は複数の動作を除去してもよい。
【0023】
説明を容易にするために、まず、本明細書に現れる用語を以下のように説明する。
＜最小分散無歪応答（Ｍｉｎｉｍｕｍ Ｖａｒｉａｎｃｅ Ｄｉｓｔｏｒｔｉｏｎｌｅｓｓ Ｒｅｓｐｏｎｓｅ、ＭＶＤＲと略称される）＞
最大信号対干渉雑音比（ＳＩＮＲ）基準に基づく適応ビームフォーミングアルゴリズムであり、ＭＶＤＲアルゴリズムは、適応的に、アレイ出力の所望の方向におけるパワーを最小にするとともに、信号対干渉雑音比を最大にすることができる。記録信号の分散を最小化することを目標とする。ノイズ信号と所望の信号とが相関しなければ、記録信号の分散は所望の信号及びノイズ信号の分散の和となる。そのため、ＭＶＤＲソリューションは、該総和を最小化することによって、ノイズ信号の影響を軽減することを求めている。その原理は、所望の信号に歪みがないという制約条件の下で、適切なフィルタ係数を選択し、アレイ出力の平均パワーを最小化することである。
＜最小分散無歪応答（Ｍｉｎｉｍｕｍ Ｖａｒｉａｎｃｅ Ｄｉｓｔｏｒｔｉｏｎｌｅｓｓ Ｒｅｓｐｏｎｓｅ、ＭＶＤＲと略称される）＞
最大信号対干渉雑音比（ＳＩＮＲ）基準に基づく適応ビームフォーミングアルゴリズムであり、ＭＶＤＲアルゴリズムは、適応的に、アレイ出力の所望の方向におけるパワーを最小にするとともに、信号対干渉雑音比を最大にすることができる。記録信号の分散を最小化することを目標とする。ノイズ信号と所望の信号とが相関しなければ、記録信号の分散は所望の信号及びノイズ信号の分散の和となる。そのため、ＭＶＤＲソリューションは、該総和を最小化することによって、ノイズ信号の影響を軽減することを求めている。その原理は、所望の信号に歪みがないという制約条件の下で、適切なフィルタ係数を選択し、アレイ出力の平均パワーを最小化することである。
【0024】
＜音声活動検出＞
ターゲット音声信号から発話音声区間と非発話区間を分割する処理手順である。
ターゲット音声信号から発話音声区間と非発話区間を分割する処理手順である。
【0025】
＜ガウス分布＞
正規分布（Ｎｏｒｍａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ）であり、「定常分布」とも呼ばれ、別名ガウス分布（Ｇａｕｓｓｉａｎ ｄｉｓｔｒｉｂｕｔｉｏｎ）であり、正規曲線は、ベル型であり、両端が低く、中央が高く、左右対称であり、その曲線がベル型を呈するため、しばしばベル曲線と呼ばれる。ランダム変数Ｘは、期待値がμであり、方差がσ２である正規分布に従う場合、Ｎ（μ，σ２）と記される。確率密度関数が正規分布であるその所望値μによりその位置が決定され、その標準偏差σにより分布の振幅が決定された。μ＝０であり、σ＝１である場合の正規分布は標準正規分布である。
正規分布（Ｎｏｒｍａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ）であり、「定常分布」とも呼ばれ、別名ガウス分布（Ｇａｕｓｓｉａｎ ｄｉｓｔｒｉｂｕｔｉｏｎ）であり、正規曲線は、ベル型であり、両端が低く、中央が高く、左右対称であり、その曲線がベル型を呈するため、しばしばベル曲線と呼ばれる。ランダム変数Ｘは、期待値がμであり、方差がσ２である正規分布に従う場合、Ｎ（μ，σ２）と記される。確率密度関数が正規分布であるその所望値μによりその位置が決定され、その標準偏差σにより分布の振幅が決定された。μ＝０であり、σ＝１である場合の正規分布は標準正規分布である。
【0026】
図１は、本明細書の実施例による音声活動検出システムのハードウェア概略図を示した。音声活動検出システムは、電子機器２００に用いることができる。
【0027】
いくつかの実施例において、電子機器２００は、無線イヤホン、有線イヤホン、スマートウェアラブルデバイス、例えば、スマートグラス、スマートヘルメット又はスマートウォッチなどの、オーディオ処理機能を有する機器であってもよい。電子機器２００はまた、モバイル機器、タブレットコンピュータ、ノートパソコン、自動車の内蔵装置もしくは類似のもの、又はそれらの任意の組み合わせであってもよい。いくつかの実施例において、モバイル機器は、スマートホーム機器、スマートモバイル機器もしくは類似の機器、又はそれらの任意の組み合わせを含んでもよい。例えば、前記スマートモバイル機器は、携帯電話、パーソナルデジタルアシスタント、ゲーム機器、ナビゲーション機器、ウルトラモバイルパーソナルコンピュータ（Ｕｌｔｒａ－ｍｏｂｉｌｅ Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ、ＵＭＰＣ）など、又はそれらの任意の組み合わせを含んでもよい。いくつかの実施例において、前記スマートホーム装置は、スマートテレビ、デスクトップコンピュータなど、又は任意の組み合わせを含んでもよい。いくつかの実施例において、自動車の内蔵装置は、車載コンピュータ、車載テレビなどを含んでもよい。
【0028】
本明細書において、本発明者らは、電子機器２００がイヤホンであることを例として説明する。前記イヤホンは、無線イヤホンであってもよいし、有線イヤホンであってもよい。図１に示すように、電子機器２００は、マイクロホンアレイ２２０と計算装置２４０とを含んでもよい。
【0029】
マイクロホンアレイ２２０は、電子機器２００のオーディオ収集機器であってもよい。マイクロホンアレイ２２０は、ローカルオーディオを取得し、マイクロホン信号、つまりオーディオ情報付きの電子信号を出力するように構成されてもよい。マイクロホンアレイ２２０は、予め設定されたアレイ形状に分布しているＭ個のマイクロホン２２２を含んでもよい。ここで、前記Ｍは１より大きい整数である。Ｍ個のマイクロホン２２２は、均一に分布してもよいし、不均一に分布してもよい。Ｍ個のマイクロホン２２２は、マイクロホン信号を出力することができる。Ｍ個のマイクロホン２２２は、Ｍ個のマイクロホン信号を出力することができる。各マイクロホン２２２は、一つのマイクロホン信号に対応する。前記Ｍ個のマイクロホン信号は、前記マイクロホン信号と総称される。いくつかの実施例において、Ｍ個のマイクロホン２２２は線形に分布してもよい。いくつかの実施例において、Ｍ個のマイクロホン２２２は、他の形状のアレイ、例えば、円形アレイ、矩形アレイなどとして分布してもよい。説明を容易にするために、以下の説明では、本発明者らは、Ｍ個のマイクロホン２２２が線形に分布することを例として説明する。いくつかの実施例において、Ｍは、１より大きい任意の整数であってもよく、例えば、２、３、４、５、又はそれ以上である。いくつかの実施例において、空間的制約により、Ｍは、例えば、イヤホンなどの製品において、１より大きく５以下の整数であってもよい。電子機器２００がイヤホンである場合、Ｍ個のマイクロホン２２２のうちの隣接するマイクロホン２２２の間隔は２０ｍｍ～４０ｍｍであってもよい。いくつかの実施例において、隣接するマイクロホン２２２の間隔は、１０ｍｍ～２０ｍｍのように、より小さくてもよい。
【0030】
いくつかの実施例において、マイクロホン２２２は、人体振動信号を直接収集する骨伝導マイクロホンであってもよい。骨伝導マイクロホンは、振動センサ、例えば、光学式振動センサ、加速度センサなどを含んでもよい。前記振動センサは、機械的振動信号（例えば、ユーザが話している時に皮膚又は骨格により生成される振動による信号）を収集し、該機械的振動信号を電気信号に変換することができる。ここでいう機械的振動信号とは、主に固体を介して伝播する振動を指す。骨伝導マイクロホンは、前記振動センサ又は前記振動センサに接続される振動部品を介してユーザの皮膚又は骨格に接触することによって、ユーザが音声を発した時に皮膚又は骨格により生成される振動信号を収集し、振動信号を電気信号に変換する。いくつかの実施例において、前記振動センサは、機械的振動に敏感であるが空気振動に敏感でない装置であってもよい（即ち機械的振動に対する前記振動センサの応答能力は、空気振動に対する前記振動センサの応答能力を上回る）。骨伝導マイクロホンは、発声部位の振動信号を直接収音することができるため、環境ノイズの影響を低減ことができる。
【0031】
いくつかの実施例において、マイクロホン２２２は、空气振動信号を直接収集する空気伝導マイクロホンであってもよい。空気伝導マイクロホンは、ユーザが音声を発した時に生じる空気振動信号を収集し、空気振動信号を電気信号に変換する。
【0032】
いくつかの実施例において、Ｍ個のマイクロホン２２２は、Ｍ個の骨伝導マイクロホンであってもよい。いくつかの実施例において、Ｍ個のマイクロホン２２２は、Ｍ個の空気伝導マイクロホンであってもよい。いくつかの実施例において、Ｍ個のマイクロホン２２２は、骨伝導マイクロホンを含んでもよいし、空気伝導マイクロホンを含んでもよい。無論、マイクロホン２２２は、他のタイプのマイクロホンであってもよい。例えば、光学式マイクロホン、筋電位信号を受信するマイクロホンなどである。
【0033】
計算装置２４０は、マイクロホンアレイ２２０と通信接続されてもよい。前記通信接続は、情報を直接又は間接的に受信できる任意の形の接続を指す。いくつかの実施例において、計算装置２４０は、無線通信接続を介してマイクロホンアレイ２２０と互いにデータを通信することができ、いくつかの実施例において、計算装置２４０は、電線によってマイクロホンアレイ２２０に直接接続されて互いにデータを通信することもでき、いくつかの実施例において、計算装置２４０はまた、電線によって他の回路に直接接続されてマイクロホンアレイ２２０との間接的な接続を確立することによって、互いの間のデータ通信を実現することができる。本明細書において、計算装置２４０が電線によってマイクロホンアレイ２２０に直接接続されることを例として説明する。
【0034】
計算装置２４０は、データ情報処理機能を有するハードウェア機器であってもよい。いくつかの実施例において、音声活動検出システムは、計算装置２４０を含んでもよい。いくつかの実施例において、音声活動検出システムは、計算装置２４０に用いることができる。即ち音声活動検出システムは、計算装置２４０上で作動することができる。音声活動検出システムは、データ情報処理機能を有するハードウェア機器と、該ハードウェア機器の動作を駆動するために必要なプログラムとを含んでもよい。無論、音声活動検出システムは、データ処理機能を有するハードウェア機器のみであってもよく、又は、ハードウェア機器で作動するプログラムのみであってもよい。
【0035】
音声活動検出システムは、本明細書に記述されている音声活動検出方法を実行するデータ又は命令を記憶することができ、前記データ及び／又は命令を実行することもできる。音声活動検出システムが計算装置２４０上で作動する場合、音声活動検出システムは、前記通信接続に基づいてマイクロホンアレイ２２０から前記マイクロホン信号を取得し、本明細書に記述されている音声活動検出方法の数据又は命令を実行し、前記マイクロホン信号にターゲット音声信号が存在する音声存在確率を計算することができる。前記音声活動検出方法は、本明細書の他の部分で紹介される。例えば、前記音声活動検出方法は、図３～図８の説明において紹介されている。
【0036】
図１に示すように、計算装置２４０は、少なくとも一つの記憶媒体２４３と、少なくとも一つのプロセッサ２４２とを含んでもよい。いくつかの実施例において、電子機器２００は、通信ポート２４５と、内部通信バス２４１とをさらに含んでもよい。
【0037】
内部通信バス２４１は、記憶媒体２４３と、プロセッサ２４２と、通信ポート２４５とを含む異なるシステムコンポーネントに接続されてもよい。
【0038】
通信ポート２４５は、計算装置２４０と外部とのデータ通信に用いることができる。例えば、計算装置２４０は、通信ポート２４５を介してマイクロホンアレイ２２０から前記マイクロホン信号を取得することができる。
【0039】
少なくとも一つの記憶媒体２４３は、データ記憶装置を含んでもよい。前記データ記憶装置は、非一時的な記憶媒体であってもよいし、一時的な記憶媒体であってもよい。例えば、前記データ記憶装置は、磁気ディスク、読み取り専用記憶媒体（ＲＯＭ）又はランダムアクセス記憶媒体（ＲＡＭ）のうちの一つ又は複数を含んでもよい。音声活動検出システムが計算装置２４０上で作動可能である場合、記憶媒体２４３は、前記データ記憶装置に記憶されている、前記マイクロホン信号に対して音声活動検出を行うための少なくとも一つの命令セットをさらに含んでもよい。前記命令は、コンピュータプログラムコードであり、前記コンピュータプログラムコードは、本明細書による音声活動検出方法を実行するプログラム、ルーチン、オブジェクト、コンポーネント、データ構造、プロセス、モジュールなどを含んでもよい。
【0040】
少なくとも一つのプロセッサ２４２は、内部通信バス２４１を介して、少なくとも一つの記憶媒体２４３と通信接続することができる。前記通信接続は、情報を直接又は間接的に受信できる任意の形の接続を指す。少なくとも一つのプロセッサ２４２は、上記少なくとも一つの命令セットを実行するためのものである。音声活動検出システムが計算装置２４０上で作動可能である場合、少なくとも一つのプロセッサ２４２は、前記少なくとも一つの命令セットを読み取り、且つ前記少なくとも一つの命令セットの指示に従って本明細書による音声活動検出方法を実行する。プロセッサ２４２は、音声活動検出方法に含まれる全てのステップを実行することができる。プロセッサ２４２は、一つ又は複数のプロセッサの形態であってもよく、いくつかの実施例において、プロセッサ２４２は、一つ又は複数のハードウェアプロセッサ、例えば、マイクロコントローラ、マイクロプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）、専用集積回路（ＡＳＩＣ）、特定用途向け命令セットプロセッサ（ＡＳＩＰ）、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、物理処理ユニット（ＰＰＵ）、マイクロコントローラユニット、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、アドバンスドＲＩＳＣマシン（ＡＲＭ）、プログラマブルロジックデバイス（ＰＬＤ）、一つ又は複数の機能を実行できる任意の回路もしくはプロセッサなど、又はそれらの任意の組み合わせを含んでもよい。単に問題を説明するために、本明細書では、計算装置２４０には一つのプロセッサ２４２のみが説明されている。しかしながら、注意すべきこととして、本明細書における計算装置２４０は、複数のプロセッサ２４２をさらに含んでもよく、そのため、本明細書に開示された動作及び／又は方法ステップは、本明細書に記載されるように一つのプロセッサによって実行されてもよいし、複数のプロセッサによって共同で実行されてもよい。例えば、本明細書において、計算装置２４０のプロセッサ２４２がステップＡ及びステップＢを実行する場合、理解すべきこととして、ステップＡ及びステップＢは、二つの異なるプロセッサ２４２によって共同で又は別々に実行されてもよい（例えば、第１のプロセッサがステップＡを実行し、第２のプロセッサがステップＢを実行し、又は第１の及び第２のプロセッサがステップＡ及びＢを共同で実行する）。
【0041】
図２Ａは、本明細書の実施例による電子機器２００の分解構造概略図を示した。図２Ａに示すように、電子機器２００は、マイクロホンアレイ２２０、計算装置２４０、第１のケース２６０及び第２のケース２８０を含んでもよい。
【0042】
第１のケース２６０は、マイクロホンアレイ２２０の実装基材であってもよい。マイクロホンアレイ２２０は１のケース２６０の内部に実装されてもよい。第１のケース２６０の形状は、マイクロホンアレイ２２０の分布形状に応じて適応的に設計されてもよく、本明細書はこれについてあまり限定しない。第２のケース２８０は、計算装置２４０の実装基材であってもよい。計算装置２４０は第２のケース２８０の内部に実装されてもよい。第２のケース２８０の形状は、計算装置２４０の形状に応じて適応的に設計されてもよく、本明細書はこれについてあまり限定しない。電子機器２００がイヤホンである場合、第２のケース２８０は着用部位に接続されてもよい。第２のケース２８０は第１のケース２６０に接続されてもよい。前述のように、マイクロホンアレイ２２０は計算装置２４０に電気的に接続されてもよい。具体的には、マイクロホンアレイ２２０は、第１のケース２６０と第２のケース２８０との接続を通じて、計算装置２４０との電気的接続を実現することができる。
【0043】
いくつかの実施例において、第１のケース２６０は、一体成形、溶接、かしめ接続、接着などの方式で第２のケース２８０に固定接続されてもよい。いくつかの実施例において、第１のケース２６０は、第２のケース２８０に取り外し可能に接続されてもよい。計算装置２４０は、異なるマイクロホンアレイ２２０と通信接続されてもよい。具体的には、異なるマイクロホンアレイ２２０は、マイクロホンアレイ２２０におけるマイクロホン２２２の数、アレイ形状、マイクロホン２２２の間隔、マイクロホンアレイ２２０の第１のケース２６０での実装角度、マイクロホンアレイ２２０の第１のケース２６０での実装位置などが異なっていてもよい。着用者は、応用シナリオの違いに応じて、対応するマイクロホンアレイ２２０を交換して、電子機器２００をより広いシナリオに適用することができる。例えば、応用シナリオにおいて着用者と電子機器２００との距離が短い場合、着用者は、間隔のより小さいマイクロホンアレイ２２０に交換することができる。さらに例えば、応用シナリオにおいて着用者と電子機器２００との距離が長い場合、着用者は、間隔のより大きい、より多くの数のマイクロホンアレイ２２０に交換することができる、などが挙げられる。
【0044】
前記取り外し可能な接続は、任意の形態の物理的接続、例えば、ネジ接続、スナップ式接続、磁気吸着式接続などであってもよい。いくつかの実施例において、第１のケース２６０と第２のケース２８０との間は磁気吸着接続されてもよい。即ち第１のケース２６０と第２のケース２８０との間は、磁気装置の吸着力によって取り外し可能に接続される。
【0045】
図２Ｂは、本明細書の実施例による第１のケース２６０の正面図を示し、図２Ｃは、本明細書の実施例による第１のケース２６０の平面図を示した。図２Ｂ及び図２Ｃに示すように、第１のケース２６０は第１のインターフェース２６２を含んでもよい。いくつかの実施例において、第１のケース２６０はタッチポイント２６６をさらに含んでもよい。いくつかの実施例において、第１のケース２６０は角度センサ（図２Ｂ及び図２Ｃに図示されていない）をさらに含んでもよい。
【0046】
第１のインターフェース２６２は、第１のケース２６０及び第２のケース２８０の実装インターフェースであってもよい。いくつかの実施例において、第１のインターフェース２６２は円形であってもよい。第１のインターフェース２６２は第２のケース２８０に回転可能に接続されてもよい。第１のケース２６０が第２のケース２８０上に実装される場合、第１のケース２６０を第２のケース２８０に対して回転させ、第１のケース２６０の第２のケース２８０に対する角度を調整することによって、マイクロホンアレイ２２０の角度を調整することができる。
【0047】
第１のインターフェース２６２上には、第１の磁気装置２６３が設置されていてもよい。第１の磁気装置２６３は、第１のインターフェース２６２の第２のケース２８０に近い位置に設置されてもよい。第１の磁気装置２６３は、磁気吸着力を発生させることによって、第２のケース２８０との取り外し可能な接続を実現することができる。第１のケース２６０が第２のケース２８０に接近すると、前記吸着力によって、第１のケース２６０が第２のケース２８０に迅速に接続される。いくつかの実施例において、第１のケース２６０が第２のケース２８０に接続された後、第１のケース２６０が依然として第２のケース２８０に対して回転することができ、それによりマイクロホンアレイ２２０の角度を調整する。前記吸着力の作用により、第１のケース２６０が第２のケース２８０に対して回転しても、第１のケース２６０と第２のケース２８０との接続を維持することができる。
【0048】
いくつかの実施例において、第１のインターフェース２６２にはさらに第１の位置決め装置（図２Ｂ及び図２Ｃに図示されていない）が設置されていてもよい。前記第１の位置決め装置は、外側に突起する位置決め段部であってもよいし、内側に延伸する位置決め孔であってもよい。前記第１の位置決め装置は、第２のケース２８０と係合して、第１のケース２６０と第２のケース２８０の迅速な実装を実現することができる。
【0049】
図２Ｂ及び図２Ｃに示すように、いくつかの実施例において、第１のケース２６０はタッチポイント２６６をさらに含んでもよい。タッチポイント２６６は、第１のインターフェース２６２位置に実装されてもよい。タッチポイント２６６は、第１のインターフェース２６２位置から外側に突出することができる。タッチポイント２６６は、第１のインターフェース２６２に弾性的に接続されてもよい。タッチポイント２６６は、マイクロホンアレイ２２０におけるＭ個のマイクロホン２２２と通信接続することができる。タッチポイント２６６は、データ伝送を実現するために、弾性のある金属で製造されてもよい。第１のケース２６０が第２のケース２８０に接続される場合、マイクロホンアレイ２２０は、タッチポイント２６６を介して計算装置２４０との通信接続を実現することができる。いくつかの実施例において、タッチポイント２６６は円形に分布してもよい。第１のケース２６０が第２のケース２８０に接続された後、第１のケース２６０が第２のケース２８０に対して回転する時、タッチポイント２６６も第２のケース２８０に対して回転することができ、計算装置２４０との通信接続を維持する。
【0050】
いくつかの実施例において、第１のケース２６０上にはさらに、角度センサ（図２Ｂ及び図２Ｃに図示されていない）が設置されていてもよい。前記角度センサは、タッチポイント２６６と通信接続することによって、計算装置２４０との通信接続を実現することができる。前記角度センサは、第１のケース２６０の角度データを収集することによって、マイクロホンアレイ２２０が位置する角度を確定し、後続の音声存在確率の計算のために基準データを提供することができる。
【0051】
図２Ｄは、本明細書の実施例による第２のケース２８０の正面図を示し、図２Ｅは、本明細書の実施例による第２のケース２８０の底面図を示した。図２Ｄ及び図２Ｅに示すように、第２のケース２８０は第２のインターフェース２８２を含んでもよい。いくつかの実施例において、第２のケース２８０はガイドレール２８６をさらに含んでもよい。
【0052】
第２のインターフェース２８２は、第２のケース２８０及び第１のケース２６０の実装インターフェースであってもよい。いくつかの実施例において、第２のインターフェース２８２は円形であってもよい。第２のインターフェース２８２は、第１のケース２６０の第１のインターフェース２６２に回転可能に接続されてもよい。第１のケース２６０が第２のケース２８０上に実装される場合、第１のケース２６０を第２のケース２８０に対して回転させ、第１のケース２６０の第２のケース２８０に対する角度を調整することによって、マイクロホンアレイ２２０の角度を調整することができる。
【0053】
第２のインターフェース２８２上には、第２の磁気装置２８３が設置されていてもよい。第２の磁気装置２８３は、第２のインターフェース２８２の第１のケース２６０に近い位置に設置されてもよい。第２の磁気装置２８３は、磁気吸着力を発生させることによって、第１のインターフェース２６２との取り外し可能な接続を実現することができる。第２の磁気装置２８３は、第１の磁気装置２６３と係合して使用され得る。第１のケース２６０が第２のケース２８０に接近すると、第２の磁気装置２８３と第１の磁気装置２６３との間の吸着力によって、第１のケース２６０を第２のケース２８０上に迅速に実装することができる。第１のケース２６０が第２のケース２８０上に実装される場合、第２の磁気装置２８３は、第１の磁気装置２６３の位置と対向する。いくつかの実施例において、第１のケース２６０が第２のケース２８０に接続された後、第１のケース２６０が依然として第２のケース２８０に対して回転することができ、それによりマイクロホンアレイ２２０の角度を調整する。前記吸着力の作用により、第１のケース２６０が第２のケース２８０に対して回転しても、第１のケース２６０と第２のケース２８０との接続を維持することができる。
【0054】
いくつかの実施例において、第２のインターフェース２８２上にはさらに、第２の位置決め装置（図２Ｄ及び図２Ｅに図示されていない）が設置されていてもよい。前記第２の位置決め装置は、外側に突起する位置決め段部であってもよいし、内側に延伸する位置決め孔であってもよい。前記第２の位置決め装置は、第１のケース２６０の第１の位置決め装置と係合して、第１のケース２６０と第２のケース２８０との迅速な実装を実現することができる。前記第１の位置決め装置が前記位置決め段部である場合、前記第２の位置決め装置は前記位置決め孔であってもよい。前記第１の位置決め装置が前記位置決め孔である場合、前記第２の位置決め装置は前記位置決め段部であってもよい。
【0055】
図２Ｄ及び図２Ｅに示すように、いくつかの実施例において、第２のケース２８０はガイドレール２８６をさらに含んでもよい。ガイドレール２８６は、第２のインターフェース２８２位置に実装されてもよい。ガイドレール２８６は、計算装置２４０と通信接続することができる。ガイドレール２８６は、データ伝送を実現するために、金属材料で製造されてもよい。第１のケース２６０が第２のケース２８０に接続された場合、タッチポイント２６６がガイドレール２８６に接触して通信接続を形成することができ、それによってマイクロホンアレイ２２０と計算装置２４０との通信接続を実現して、データ伝送を実現する。前述のように、タッチポイント２６６は、第１のインターフェース２６２に弾性的に接続されてもよい。そのため、第１のケース２６０が第２のケース２８０に接続された後、前記弾性的接続の弾力作用により、タッチポイント２６６をガイドレール２８６に完全に接触させて、確実な通信接続を実現することができる。いくつかの実施例において、ガイドレール２８６は円形に分布してもよい。第１のケース２６０が第２のケース２８０に接続された後、第１のケース２６０が第２のケース２８０に対して回転する時、タッチポイント２６６もガイドレール２８６に対して回転することができ、ガイドレール２８６との通信接続を維持する。
【0056】
図３は、本明細書の実施例による音声活動検出方法Ｐ１００のフローチャートを示した。前記方法Ｐ１００は、前記マイクロホン信号にターゲット音声信号が存在する音声存在確率を計算することができる。具体的には、プロセッサ２４２は前記方法Ｐ１００を実行することができる。
【0057】
図３に示すように、前記方法Ｐ１００は、
Ｓ１２０：Ｍ個のマイクロホン２２２により出力されたマイクロホン信号を取得することを含んでもよい。
Ｓ１２０：Ｍ個のマイクロホン２２２により出力されたマイクロホン信号を取得することを含んでもよい。
【0058】
前述のように、各マイクロホン２２２は、いずれも対応するマイクロホン信号を出力することができる。Ｍ個のマイクロホン２２２はＭ個のマイクロホン信号に対応する。前記方法Ｐ１００は、前記マイクロホン信号にターゲット音声信号が存在する音声存在確率を計算する場合、Ｍ個のマイクロホン信号のうちの全てのマイクロホン信号に基づいて計算してもよいし、一部のマイクロホン信号に基づいて計算してもよい。そのため、前記マイクロホン信号は、Ｍ個のマイクロホン２２２に対応するＭ個のマイクロホン信号又は一部のマイクロホン信号を含んでもよい。本明細書の以下の説明において、前記マイクロホン信号がＭ個のマイクロホン２２２に対応するＭ個のマイクロホン信号を含み得ることを例として説明する。
【0059】
いくつかの実施例において、前記マイクロホン信号は時間領域信号であってもよい。説明を容易にするために、本発明者らは、時刻ｔのマイクロホン信号をｘ（ｔ）と標識する。マイクロホン信号ｘ（ｔ）は、Ｍ個のマイクロホン信号からなる信号ベクトルであってもよい。この場合、マイクロホン信号ｘ（ｔ）は以下の式で表されてもよい。
【数1】
【0060】
マイクロホン信号ｘ（ｔ）は時間領域信号である。いくつかの実施例において、ステップＳ１２０において、計算装置２４０はさらに、前記マイクロホン信号ｘ（ｔ）に対してスペクトル分析を行うことができる。具体的には、計算装置２４０は、マイクロホン信号の時間領域信号ｘ（ｔ）に基づいてフーリエ変換を行って、前記マイクロホン信号の周波数領域信号ｘｆ，ｔを取得することができる。以下の説明では、周波数領域におけるマイクロホン信号ｘｆ，ｔを例として説明する。マイクロホン信号ｘｆ，ｔは、Ｍ個のマイクロホン信号からなるＭ次元の信号ベクトルであってもよい。この場合、マイクロホン信号ｘｆ，ｔは以下の式で表されてもよい。
【数2】
【0061】
前述のように、マイクロホン２２２は、周囲環境のノイズを収集しノイズ信号を出力することができ、ターゲットユーザの音声を収集し前記ターゲット音声信号を出力することもできる。ターゲットユーザが音声を発していない場合、前記マイクロホン信号は前記ノイズ信号のみを含む。ターゲットユーザが音声を発した場合、前記マイクロホン信号は、前記ターゲット音声信号と前記ノイズ信号とを含む。マイクロホン信号ｘｆ，ｔは以下の式で表されてもよい。
【数3】
【0062】
ここで、ｓｆ，ｔは、前記ターゲット音声信号の複素振幅である。Ｐは前記ターゲット音声信号のターゲットステアリングベクトルである。ｄｆ，ｔはマイクロホン信号ｘｆ，ｔにおけるノイズ信号である。Ｑは前記ノイズ信号のノイズステアリングベクトルである。
【0063】
ｓｆ，ｔはターゲット音声信号の複素振幅である。いくつかの実施例において、マイクロホン２２２の周囲に一つのターゲット音声信号源が存在する。いくつかの実施例において、マイクロホン２２２の周囲にＬ個のターゲット音声信号源が存在する。この場合、ｓｆ，ｔはＬ×１次元のベクトルであってもよい。ｓｆ，ｔは以下の式で表されてもよい。
【数4】
【0064】
ターゲットステアリングベクトルＰはＭ×Ｌ次元の行列である。ターゲットステアリングベクトルＰは以下の式で表されてもよい。
【数5】
【0065】
ここで、ｆ０はキャリア周波数である。ｄは隣接するマイクロホン２２２の間の距離である。ｃは音速である。θ１、・・・・・・、θＬは、それぞれＬ個のターゲット音声信号源とマイクロホン２２２との間の入射角度である。いくつかの実施例において、ターゲット音声信号源ｓｆ，ｔの角度は、通常、特定の角度範囲内に分布する。そのため、θ１、・・・・・・、θＬは既知である。計算装置２４０には、Ｍ個のマイクロホン２２２の相対距離又は相対座標のような相対位置関係が予め記憶されている。即ち計算装置２４０には、隣接するマイクロホン２２２の間の距離ｄが予め記憶されている。つまり、計算装置２４０には、ターゲットステアリングベクトルＰが予め記憶されていてもよい。
【0066】
ノイズ信号ｄｆ，ｔは、Ｍ個のマイクロホン２２２により収集されるＭ次元の信号ベクトルであってもよい。ノイズ信号ｄｆ，ｔは以下の式で表されてもよく、ｄｆ，ｔはノイズ信号の複素振幅である。いくつかの実施例において、マイクロホン２２２の周囲にＮ個のノイズ信号源が存在する。この場合、ｄｆ，ｔはＮ×１次元のベクトルであってもよい。ｄｆ，ｔは以下の式で表されてもよい。
【数6】
【0067】
前記ノイズステアリングベクトルＱはＭ×Ｎ次元の行列である。ノイズ信号の不規則性のため、ノイズ信号ｄｆ，ｔ及びノイズステアリングベクトルＱは未知である。
【0068】
いくつかの実施例において、式（３）はさらに、以下の式で表されてもよい。
【数7】
【0069】
ここで、［Ｐ，Ｑ］は、マイクロホン信号ｘｆ，ｔの信号ステアリングベクトルである。
【0070】
前述のように、マイクロホン２２２は、ターゲット音声信号ｓｆ，ｔを収集することもできるし、ノイズ信号ｄｆ，ｔを収集することもできる。ターゲット音声信号ｓｆ，ｔとノイズ信号ｄｆ，ｔとは、クロスリンクのない二種類の信号である。そのため、ターゲット音声信号ｓｆ，ｔが所在するターゲット部分空間とノイズ信号ｄｆ，ｔが所在するノイズ部分空間とは、クロスリンクのない二つの部分空間である。そのため、マイクロホン信号ｘｆ，ｔにターゲット音声信号ｓｆ，ｔが存在しない場合、マイクロホン信号ｘｆ，ｔにはノイズ信号ｄｆ，ｔのみが含まれる。この場合、マイクロホン信号ｘｆ，ｔが所在する信号部分空間とターゲット音声信号ｓｆ，ｔが所在するターゲット部分空間とは、クロスリンクのない二つの部分空間であり、前記信号部分空間と前記ターゲット部分空間との線形相関が低いか又はゼロである。マイクロホン信号ｘｆ，ｔにターゲット音声信号ｓｆ，ｔが存在する場合、マイクロホン信号ｘｆ，ｔにはターゲット音声信号ｓｆ，ｔとノイズ信号ｄｆ，ｔの両方が含まれる。この場合、マイクロホン信号ｘｆ，ｔが所在する信号部分空間とターゲット音声信号ｓｆ，ｔが所在するターゲット部分空間とは、クロスリンクのある二つの部分空間であり、前記信号部分空間と前記ターゲット部分空間との線形相関が高い。そのため、計算装置２４０は、マイクロホン信号ｘｆ，ｔが所在する信号部分空間とターゲット音声信号ｓｆ，ｔが所在するターゲット部分空間との線形相関を計算することによって、マイクロホン信号ｘｆ，ｔにターゲット音声信号ｓｆ，ｔが存在する音声存在確率を確定することができる。説明を容易にするために、本発明者らは、信号部分空間をｓｐａｎ（Ｕｓ）として定義し、ターゲット部分空間をｓｐａｎ（Ｕｔ）として定義する。
【0071】
図３に示すように、前記方法Ｐ１００は、
Ｓ１４０：前記マイクロホン信号ｘｆ，ｔに基づいて、前記マイクロホン信号ｘｆ，ｔにより構成される信号部分空間ｓｐａｎ（Ｕｓ）を確定することをさらに含んでもよい。
Ｓ１４０：前記マイクロホン信号ｘｆ，ｔに基づいて、前記マイクロホン信号ｘｆ，ｔにより構成される信号部分空間ｓｐａｎ（Ｕｓ）を確定することをさらに含んでもよい。
【0072】
いくつかの実施例において、前記信号部分空間ｓｐａｎ（Ｕｓ）の確定は、前記信号部分空間ｓｐａｎ（Ｕｓ）の基本行列Ｕｓを確定することを指す。いくつかの実施例において、計算装置２４０は、マイクロホン信号ｘｆ，ｔのサンプリング共分散行列に基づいて、前記信号部分空間ｓｐａｎ（Ｕｓ）の基本行列Ｕｓを確定することができる。説明を容易にするために、本発明者らは、サンプリング共分散行列をＭｘとして定義する。図４は、本明細書の実施例による信号部分空間ｓｐａｎ（Ｕｓ）の基本行列Ｕｓの確定のフローチャートを示した。図４に示すステップは、計算装置２４０が、マイクロホン信号ｘｆ，ｔのサンプリング共分散行列Ｍｘに基づいて、前記信号部分空間ｓｐａｎ（Ｕｓ）の基本行列Ｕｓを確定することに対応する。図４に示すように、ステップＳ１４０は以下を含んでもよい。
【0073】
Ｓ１４２：マイクロホン信号ｘｆ，ｔに基づいて、マイクロホン信号ｘｆ，ｔのサンプリング共分散行列Ｍｘを確定する。
【0074】
サンプリング共分散行列Ｍｘは以下の式で表されてもよい。
【数8】
【0075】
Ｓ１４４：サンプリング共分散行列Ｍｘに対して固有値分解を行い、サンプリング共分散行列Ｍｘの複数の固有ベクトルを確定する。
【0076】
さらに、サンプリング共分散行列Ｍｘに対して固有値分解を行い、サンプリング共分散行列Ｍｘの複数の特徴量を得る。サンプリング共分散行列ＭｘはＭ×Ｍ次元の行列である。サンプリング共分散行列Ｍｘの特徴量の数はＭであり、Ｍ個の特徴量は以下の式で表されてもよい。
ここで、１≦ｑ≦Ｍである。
【数9】
【0077】
Ｍ個の特徴量はＭ個の固有ベクトルに対応する。説明を容易にするために、本発明者らは、Ｍ個の固有ベクトルをｕ１，ｕ２，・・・，ｕｑ，ｕｑ＋１，・・・，ｕＭとして定義する。ここで、Ｍ個の特徴量は、Ｍ個の固有ベクトルと一対一に対応する。
【0078】
Ｓ１４６：前記複数の固有ベクトルのうちの少なくとも一部の固有ベクトルからなる行列を、前記信号部分空間ｓｐａｎ（Ｕｓ）の基本行列Ｕｓとする。
【0079】
いくつかの実施例において、計算装置２４０は、Ｍ個の固有ベクトルからなる行列を、前記信号部分空間ｓｐａｎ（Ｕｓ）の基本行列Ｕｓとしてもよい。いくつかの実施例において、計算装置２４０は、Ｍ個の固有ベクトルのうちの一部の固有ベクトルからなる行列を、前記信号部分空間ｓｐａｎ（Ｕｓ）の基本行列Ｕｓとしてもよい。λｑ＝λｑ＋１＝・・・＝λＭのため、計算装置２４０は、ｑ個の異なる特徴量λ１，λ２，・・・，λｑに対応するｑ個の固有ベクトルｕ１，ｕ２，・・・，ｕｑからなる行列を、前記信号部分空間ｓｐａｎ（Ｕｓ）の基本行列Ｕｓとしてもよい。前記信号部分空間ｓｐａｎ（Ｕｓ）の基本行列ＵｓはＭ×ｑの列フルランク行列である。
【0080】
いくつかの実施例において、計算装置２４０は、マイクロホン信号ｘｆ，ｔの信号ステアリングベクトル［Ｐ，Ｑ］に基づいて、前記信号部分空間ｓｐａｎ（Ｕｓ）の基本行列Ｕｓを確定することができる。図５は、本明細書の実施例による信号部分空間ｓｐａｎ（Ｕｓ）の基本行列Ｕｓの確定の別のフローチャートを示した。図５に示すステップは、計算装置２４０が、マイクロホン信号ｘｆ，ｔの信号ステアリングベクトル［Ｐ，Ｑ］に基づいて、前記信号部分空間ｓｐａｎ（Ｕｓ）の基本行列Ｕｓを確定することに対応する。図５に示すように、ステップＳ１４０は以下を含んでもよい。
【0081】
Ｓ１４８：マイクロホン信号ｘｆ，ｔに基づいて、イクロホン信号ｘｆ，ｔにおける信号源の方位角を空間推定方法で確定することによって、マイクロホン信号ｘｆ，ｔの信号ステアリングベクトル［Ｐ，Ｑ］を確定する。
【0082】
前述のように、ターゲットステアリングベクトルＰは計算装置２４０に予め記憶されてもよく、ノイズステアリングベクトルＱは未知である。計算装置２４０は、空間推定方法に基づいて、ノイズステアリングベクトルＱを推定することによって、信号ステアリングベクトル［Ｐ，Ｑ］を確定することができる。前記空間推定方法は、ＤＯＡ推定方法（Ｄｉｒｅｃｔｉｏｎ Ｏｆ Ａｒｒｉｖａｌ、ＤＯＡと略称され、到来方向推定とも呼ばれる）及び空間スペクトル推定方法のうちの少なくとも一つを含んでもよい。前記ＤＯＡ推定方法は、線スペクトル推定（例えば、ピリオドグラム方法など）、最尤スペクトル推定法、最大エントロピー法、ＭＵＳＩＣアルゴリズム（Ｍｕｌｔｉｐｌｅ Ｓｉｇｎａｌ Ｃｌａｓｓｉｆｉｃａｔｉｏｎアルゴリズム、多重信号分類アルゴリズムとも呼ばれる）、ＥＳＰＲＩＴアルゴリズム（Ｅｓｔｉｍａｔｉｎｇ ｓｉｇｎａｌ ｐａｒａｍｅｔｅｒｓ ｖｉａｒｏｔａｔｉｏｎａｌ ｉｎｖａｒｉａｎｃｅ ｔｅｃｈｎｉｑｕｅｓ、回転不変性法とも呼ばれる）などを含んでもよいが、それらに限らない。
【0083】
Ｓ１４９：信号ステアリングベクトル［Ｐ，Ｑ］が信号部分空間ｓｐａｎ（Ｕｓ）の基本行列Ｕｓであることを確定する。
【0084】
この場合、信号部分空間ｓｐａｎ（Ｕｓ）の基本行列Ｕｓは、Ｍ×（Ｌ＋Ｎ）次元の列フルランク行列である。
【0085】
図３に示すように、前記方法Ｐ１００は、
Ｓ１６０：ターゲット音声信号により構成されるターゲット部分空間ｓｐａｎ（Ｕｔ）を確定することをさらに含んでもよい。
Ｓ１６０：ターゲット音声信号により構成されるターゲット部分空間ｓｐａｎ（Ｕｔ）を確定することをさらに含んでもよい。
【0086】
いくつかの実施例において、ターゲット部分空間ｓｐａｎ（Ｕｔ）の確定は、前記ターゲット部分空間ｓｐａｎ（Ｕｔ）の基本行列Ｕｔを確定することを指す。前述のように、計算装置には、ターゲットステアリングベクトルＰが予め記憶されていてもよい。ステップＳ１６０は、計算装置２４０により、前記ターゲット音声信号に対応する、予め設定されたターゲットステアリングベクトルＰが前記ターゲット部分空間ｓｐａｎ（Ｕｔ）の基本行列Ｕｔであることを確定することであってもよい。ここで、前記ターゲット部分空間ｓｐａｎ（Ｕｔ）の基本行列Ｕｔは、Ｍ×Ｌ次元の列フルランク行列である。
【0087】
図３に示すように、前記方法Ｐ１００は、
Ｓ１８０：信号部分空間ｓｐａｎ（Ｕｓ）とターゲット部分空間ｓｐａｎ（Ｕｔ）との線形相関に基づいて、マイクロホン信号ｘｆ，ｔに前記ターゲット音声信号が存在する音声存在確率λを確定し出力することをさらに含んでもよい。
Ｓ１８０：信号部分空間ｓｐａｎ（Ｕｓ）とターゲット部分空間ｓｐａｎ（Ｕｔ）との線形相関に基づいて、マイクロホン信号ｘｆ，ｔに前記ターゲット音声信号が存在する音声存在確率λを確定し出力することをさらに含んでもよい。
【0088】
いくつかの実施例において、計算装置２４０は、信号部分空間ｓｐａｎ（Ｕｓ）とターゲット部分空間ｓｐａｎ（Ｕｔ）との体積相関関数を計算することによって、信号部分空間ｓｐａｎ（Ｕｓ）とターゲット部分空間ｓｐａｎ（Ｕｔ）との線形相関を計算することができる。図６は、本明細書の実施例による音声存在確率λの計算のフローチャートを示した。図６に示されるのはＳ１８０である。
【0089】
図６に示すように、ステップＳ１８０は、
Ｓ１８２：信号部分空間ｓｐａｎ（Ｕｓ）とターゲット部分空間ｓｐａｎ（Ｕｔ）との体積相関関数を確定することを含んでもよい。
Ｓ１８２：信号部分空間ｓｐａｎ（Ｕｓ）とターゲット部分空間ｓｐａｎ（Ｕｔ）との体積相関関数を確定することを含んでもよい。
【0090】
信号部分空間ｓｐａｎ（Ｕｓ）とターゲット部分空間ｓｐａｎ（Ｕｔ）との体積相関関数は、信号部分空間ｓｐａｎ（Ｕｓ）の基本行列Ｕｓとターゲット部分空間ｓｐａｎ（Ｕｔ）の基本行列Ｕｔとの体積相関関数ｖｃｃ（Ｕｓ，Ｕｔ）であってもよい。
【0091】
信号部分空間ｓｐａｎ（Ｕｓ）の基本行列Ｕｓが、マイクロホン信号ｘｆ，ｔのサンプリング共分散行列Ｍｘに基づいて確定されたＭ×ｑ次元の列フルランク行列である場合、体積相関関数ｖｃｃ（Ｕｓ，Ｕｔ）は以下の式で表されてもよい。
【数10】
【0092】
ここで、ｖｏｌｑ（Ｕｓ）はＭ×ｑ次元の基本行列Ｕｓのｑ次元の体積関数を表す。ｖｏｌＬ（Ｕｔ）はＭ×Ｌ次元の基本行列ＵｔのＬ次元の体積関数を表す。ｖｏｌｑ（Ｕｓ）は以下の式で表されてもよい。
【数11】
【0093】
ここで、γｓ，ｉは、Ｕｓの特異値であり、ｉ＝１，・・・，ｍｉｎ｛Ｍ，ｑ｝である。γｓ，１≧γｓ，２≧・・・≧γｓ，ｍｉｎ｛Ｍ，ｑ｝≧０である。ｖｏｌｑ（Ｕｓ）は、Ｕｓの各列のベクトルで張られる多面体の体積と見なされてもよい。
【0094】
ｖｏｌＬ（Ｕｔ）は以下の式で表されてもよい。
【数12】
【0095】
ここで、γｔ，ｊは、Ｕｔの特異値であり、ｊ＝１，・・・，ｍｉｎ｛Ｍ，Ｌ｝である。γｔ，１≧γｔ，２≧・・・≧γｔ，ｍｉｎ｛Ｍ，Ｌ｝≧０である。ｖｏｌＬ（Ｕｔ）は、Ｕｔの各列のベクトルで張られる多面体の体積と見なされてもよい。
【0096】
ｖｏｌｑ＋Ｌ（［Ｕｓ，Ｕｔ］）は以下の式で表されてもよい。
【数13】
【0097】
ここで、０≦θ１≦θ２≦・・・≦θｍｉｎ｛ｑ，Ｌ｝≦π／２である。θｐは、Ｕｔで張られるターゲット部分空間ｓｐａｎ（Ｕｔ）とＵｓで張られる信号部分空間ｓｐａｎ（Ｕｓ）とのなす正準角を表す。
【0098】
式（９）及び式（１２）から分かるように、体積相関関数ｖｃｃ（Ｕｓ，Ｕｔ）は、実際には、二つの部分空間（ターゲット部分空間ｓｐａｎ（Ｕｔ）と信号部分空間ｓｐａｎ（Ｕｓ））のなす正準角の正弦の積である。図７は、本明細書の実施例によるなす正準角の概略図を示した。図７に示すように、三次元空間において、交差する二つの平面（平面１と平面２）は、共通の基底ベクトル３を有する。そのため、その第１の正準角θ１は０である。第２の正準角θ２は、それぞれの別の基底ベクトル（基底ベクトル４と基底ベクトル５）の夾角に等しい。そのため、平面１と平面２との体積相関関数は０である。
【0099】
信号部分空間ｓｐａｎ（Ｕｓ）の基本行列Ｕｓが信号ステアリングベクトル［Ｐ，Ｑ］である場合、体積相関関数ｖｃｃ（Ｕｓ，Ｕｔ）の計算は上記方法と類似しており、本明細書ではこれ以上説明しない。
【0100】
上記分析に基づいて、体積相関関数ｖｃｃ（Ｕｓ，Ｕｔ）が以下の性質を有することを発見した：基本行列Ｕｓ及び基本行列Ｕｔでそれぞれ張られる二つの部分空間（信号部分空間ｓｐａｎ（Ｕｓ）及びターゲット部分空間ｓｐａｎ（Ｕｔ））が線形相関を持ち、即ち信号部分空間ｓｐａｎ（Ｕｓ）とターゲット部分空間ｓｐａｎ（Ｕｔ）にゼロベクトル以外の他の共通基底ベクトルが存在する場合、θ１，θ２，・・・，θｍｉｎ｛ｑ，Ｌ｝には、正弦値が０であるなす正準角が少なくとも一つ存在し、この場合に体積相関関数ｖｃｃ（Ｕｓ，Ｕｔ）は０である。二つの部分空間が線形独立であり、即ち信号部分空間ｓｐａｎ（Ｕｓ）とターゲット部分空間ｓｐａｎ（Ｕｔ）との共通基底ベクトルがゼロベクトルのみである場合、θ１，θ２，・・・，θｍｉｎ｛ｑ，Ｌ｝における全てのなす正準角の正弦値はいずれも０より大きく、この場合に体積相関関数ｖｃｃ（Ｕｓ，Ｕｔ）は０より大きい。いくつかの実施例において、二つの部分空間が直交する場合、θ１，θ２，・・・，θｍｉｎ｛ｑ，Ｌ｝における全てのなす正準角の正弦値はいずれも最大値の１であり、この場合に体積相関関数ｖｃｃ（Ｕｓ，Ｕｔ）は最大値の１に達した。
【0101】
上記分析に基づいて、体積相関関数ｖｃｃ（Ｕｓ，Ｕｔ）は、二つの基本行列Ｕｓ及びＵｔでそれぞれ張られる信号部分空間ｓｐａｎ（Ｕｓ）とターゲット部分空間ｓｐａｎ（Ｕｔ）との間の線形相関に対する尺度を提供した。これにより、ターゲット部分空間ｓｐａｎ（Ｕｔ）と、信号部分空間ｓｐａｎ（Ｕｓ）との間の固有の幾何学的構造を利用して、マイクロホン信号ｘｆ，ｔに対する音声活動検出問題を、信号部分空間ｓｐａｎ（Ｕｓ）及びターゲット部分空間ｓｐａｎ（Ｕｔ）の二つの基本行列Ｕｓ及びＵｔの体積相関関数ｖｃｃ（Ｕｓ，Ｕｔ）問題に変換することができる。
【0102】
Ｓ１８４：体積相関関数ｖｃｃ（Ｕｓ，Ｕｔ）に基づいて、信号部分空間ｓｐａｎ（Ｕｓ）とターゲット部分空間ｓｐａｎ（Ｕｔ）との線形相関係数ｒを確定する。
【0103】
体積相関関数ｖｃｃ（Ｕｓ，Ｕｔ）の定義及び性質から分かるように、体積相関関数ｖｃｃ（Ｕｓ，Ｕｔ）値が１に近づくほど、信号部分空間ｓｐａｎ（Ｕｓ）とターゲット部分空間ｓｐａｎ（Ｕｔ）との一致度が低くなり、直交に近づくことになり、信号部分空間ｓｐａｎ（Ｕｓ）とターゲット部分空間ｓｐａｎ（Ｕｔ）との線形相関係数が低くなることを示し、この場合に、マイクロホン信号ｘｆ，ｔにおける信号がノイズ信号からのものである可能性が高いくなり、これらの成分は可能な限り抑制されるべきである。逆に、体積相関関数ｖｃｃ（Ｕｓ，Ｕｔ）の値が０に近づくほど、信号部分空間ｓｐａｎ（Ｕｓ）とターゲット部分空間ｓｐａｎ（Ｕｔ）との一致度が高くなり、信号部分空間ｓｐａｎ（Ｕｓ）とターゲット部分空間ｓｐａｎ（Ｕｔ）との線形相関係数が高くなることを示し、この場合に、マイクロホン信号ｘｆ，ｔにおいてターゲット音声信号が支配的になる可能性が高くなり、これらの成分は保持してもよい。そのため、線形相関係数ｒと体積相関関数ｖｃｃ（Ｕｓ，Ｕｔ）とは負の相関がある。
【0104】
具体的には、ステップＳ１８４は、
体積相関関数ｖｃｃ（Ｕｓ，Ｕｔ）が第１の閾値ａより大きいと確定し、線形相関係数ｒ＝０であると確定するケース、体積相関関数ｖｃｃ（Ｕｓ，Ｕｔ）が第２の閾値ｂより小さいと確定し、線形相関係数ｒ＝１であると確定するケース、体積相関関数ｖｃｃ（Ｕｓ，Ｕｔ）が第１の閾値ａと第２の閾値ｂとの間にあると確定し、線形相関係数ｒが０～１であり、線形相関係数ｒが、体積相関関数ｖｃｃ（Ｕｓ，Ｕｔ）と負の相関がある関数であると確定するケースのうちの一つを含んでもよい。ここで、第２の閾値ｂは前記第１の閾値ａより小さい。
体積相関関数ｖｃｃ（Ｕｓ，Ｕｔ）が第１の閾値ａより大きいと確定し、線形相関係数ｒ＝０であると確定するケース、体積相関関数ｖｃｃ（Ｕｓ，Ｕｔ）が第２の閾値ｂより小さいと確定し、線形相関係数ｒ＝１であると確定するケース、体積相関関数ｖｃｃ（Ｕｓ，Ｕｔ）が第１の閾値ａと第２の閾値ｂとの間にあると確定し、線形相関係数ｒが０～１であり、線形相関係数ｒが、体積相関関数ｖｃｃ（Ｕｓ，Ｕｔ）と負の相関がある関数であると確定するケースのうちの一つを含んでもよい。ここで、第２の閾値ｂは前記第１の閾値ａより小さい。
【0105】
具体的には、線形相関係数ｒは以下の式で表されてもよい。
【数14】
【0106】
ここで、ｆ（ｖｃｃ（Ｕｓ，Ｕｔ））は、ｖｃｃ（Ｕｓ，Ｕｔ）と負の線形相関がある関数であってもよい。いくつかの実施例において、ｆ（ｖｃｃ（Ｕｓ，Ｕｔ））は以下の式で表されてもよい。
【数15】
【0107】
Ｓ１８６：前記線形相関係数ｒを前記音声存在確率λとして出力する。
【0108】
以上のように、本明細書による音声活動検出システム及び方法Ｐ１００において、計算装置２４０は、基本行列ＵｓとＵｔの体積相関関数ｖｃｃ（Ｕｓ，Ｕｔ）を計算することによって、信号部分空間ｓｐａｎ（Ｕｓ）とターゲット部分空間ｓｐａｎ（Ｕｔ）との線形相関を計算することができる。体積相関関数ｖｃｃ（Ｕｓ，Ｕｔ）が高いほど、信号部分空間ｓｐａｎ（Ｕｓ）とターゲット部分空間ｓｐａｎ（Ｕｔ）との線形相関が低くなることを示し、そうであれば信号部分空間ｓｐａｎ（Ｕｓ）とターゲット部分空間ｓｐａｎ（Ｕｔ）との一致度が低くなり、この場合に、つまりマイクロホン信号ｘｆ，ｔとターゲット音声信号との一致度が低くなり、この場合に、マイクロホン信号ｘｆ，ｔにターゲット音声信号が存在する音声存在確率λが低くなる。体積相関関数ｖｃｃ（Ｕｓ，Ｕｔ）が低いほど、信号部分空間ｓｐａｎ（Ｕｓ）とターゲット部分空間ｓｐａｎ（Ｕｔ）との線形相関が高くなることを示し、そうであれば信号部分空間ｓｐａｎ（Ｕｓ）とターゲット部分空間ｓｐａｎ（Ｕｔ）との一致度が高くなり、この場合に、つまりマイクロホン信号ｘｆ，ｔとターゲット音声信号との一致度が高くなり、この場合に、マイクロホン信号ｘｆ，ｔにターゲット音声信号が存在する音声存在確率λが高くなる。本明細書による音声活動検出システム及び方法Ｐ１００は、音声活動検出の正確性及び音声強調効果を向上させることができる。
【0109】
本明細書は、音声強調システムをさらに提供する。音声強調システムも電子機器２００に用いることができる。いくつかの実施例において、音声強調システムは、計算装置２４０を含んでもよい。いくつかの実施例において、音声強調システムは、計算装置２４０に用いることができる。即ち音声強調システムは、計算装置２４０上で作動することができる。音声強調システムは、データ情報処理機能を有するハードウェア機器と、該ハードウェア機器の動作を駆動するために必要なプログラムとを含んでもよい。無論、音声強調システムはまた、データ処理機能を有するハードウェア機器のみであってもよく、又は、ハードウェア機器で作動するプログラムのみであってもよい。
【0110】
音声強調システムは、本明細書に記述されている音声強調方法を実行するデータ又は命令を記憶することができ、前記データ及び／又は命令を実行することもできる。音声強調システムが計算装置２４０上で作動する場合、音声強調システムは、前記通信接続に基づいてマイクロホンアレイ２２０から前記マイクロホン信号を取得し、本明細書に記述されている音声強調方法のデータ又は命令を実行することができる。前記音声強調方法は、本明細書の他の部分で紹介される。例えば、前記音声強調方法は、図８の説明において紹介されている。
【0111】
音声強調システムが計算装置２４０上で作動する場合、前記音声強調システムはマイクロホンアレイ２２０と通信接続される。記憶媒体２４３は、前記データ記憶装置に記憶されている、前記マイクロホン信号に対して音声強調計算を行うための少なくとも一つの命令セットをさらに含んでもよい。前記命令は、コンピュータプログラムコードであり、前記コンピュータプログラムコードは、本明細書による音声強調方法を実行するプログラム、ルーチン、オブジェクト、コンポーネント、データ構造、プロセス、モジュールなどを含んでもよい。プロセッサ２４２は、前記少なくとも一つの命令セットを読み取り、且つ前記少なくとも一つの命令セットの指示に従って本明細書による音声強調方法を実行することができる。プロセッサ２４２は、音声強調方法に含まれる全てのステップを実行することができる。
【0112】
図８は、本明細書の実施例による音声強調方法Ｐ２００のフローチャートを示した。前記方法Ｐ２００は、前記マイクロホン信号に対して音声強調を行うことができる。具体的には、プロセッサ２４２は前記方法Ｐ２００を実行することができる。
【0113】
図８に示すように、前記方法Ｐ２００は以下を含んでもよい。
Ｓ２２０：前記Ｍ個のマイクロホンにより出力されたマイクロホン信号ｘｆ，ｔを取得する。
Ｓ２２０：前記Ｍ個のマイクロホンにより出力されたマイクロホン信号ｘｆ，ｔを取得する。
【0114】
ステップＳ１２０に記載されているとおりであり、ここでは説明を省略する。
【0115】
Ｓ２４０：前記音声活動検出方法Ｐ１００に基づいて、マイクロホン信号ｘｆ，ｔにターゲット音声信号が存在する音声存在確率λを確定する。
【0116】
Ｓ２６０：音声存在確率λに基づいて、マイクロホン信号ｘｆ，ｔに対応するフィルタリング係数ベクトルωｆ，ｔを確定する。
【0117】
フィルタリング係数ベクトルωｆ，ｔは、Ｍ×１次元のベクトルであってもよい。フィルタリング係数ベクトルωｆ，ｔは以下の式で表されてもよい。
【数16】
【0118】
ここで、Ｍ番目のマイクロホン２２２に対応するフィルタリング係数はωｍ，ｆ，ｔである。ｍ＝１，２，・・・，Ｍである。
【0119】
いくつかの実施例において、計算装置２４０は、ＭＶＤＲの方法に基づいて、フィルタリング係数ベクトルωｆ，ｔを確定することができる。具体的には、ステップＳ２６０は、音声存在確率λに基づいて、マイクロホン信号ｘｆ，ｔのノイズ共分散行列Ｍｆ，ｔ
ｎを確定することと、ＭＶＤＲ方法及びノイズ共分散行列Ｍｆ，ｔ
ｎに基づいて、フィルタリング係数ベクトルωｆ，ｔを確定することとを含んでもよい。ノイズ共分散行列Ｍｆ，ｔ
ｎは以下の式で表されてもよい。
【数17】
【0120】
フィルタリング係数ベクトルωｆ，ｔは以下の式で表されてもよい。
ここで、Ｐは予め設定されたターゲットステアリングベクトルである。
【数18】
【0121】
いくつかの実施例において、計算装置２４０は、固定ビームの方法に基づいて、フィルタリング係数ベクトルωｆ，ｔを確定することができる。具体的には、ステップＳ２６０は、音声存在確率λを、マイクロホン信号ｘｆ，ｔのうちのターゲットマイクロホン信号ｘｋ，ｆ，ｔに対応するフィルタリング係数ωｋ，ｆ，ｔとすることと、マイクロホン信号ｘｆ，ｔのうちのターゲットマイクロホン信号ｘｋ，ｆ，ｔ以外の他のマイクロホン信号に対応するフィルタリング係数が０であることを確定することとを含んでもよい。ここで、ｋ＝１，２，・・・，Ｍである。フィルタリング係数ベクトルωｆ，ｔは、ターゲットマイクロホン信号ｘｋ，ｆ，ｔに対応するフィルタリング係数ωｋ，ｆ，ｔ及び他のマイクロホン信号に対応するフィルタリング係数からなるベクトルを含む。フィルタリング係数ベクトルωｆ，ｔは以下の式で表されてもよい。
【数19】
【0122】
いくつかの実施例において、ターゲットマイクロホン信号ｘｋ，ｆ，ｔは、マイクロホン信号ｘｆ，ｔのうちの、信号対ノイズが最も高い１ウェイのマイクロホン信号を含んでもよい。いくつかの実施例において、ターゲットマイクロホン信号ｘｋ，ｆ，ｔは、ターゲット音声信号源（例えば、口）に最も近い１ウェイのマイクロホン信号であってもよい。いくつかの実施例において、ｋは、計算装置２４０に予め記憶されていてもよい。
【0123】
Ｓ２８０：前記フィルタリング係数ベクトルωｆ，ｔに基づいてマイクロホン信号ｘｆ，ｔを統合し、ターゲットオーディオ信号ｙｆ，ｔを得て出力する。
【0124】
ターゲットオーディオ信号ｙｆ，ｔは以下の式で表されてもよい。
【数20】
【0125】
以上のように、本明細書による音声活動検出システム及び方法Ｐ１００、音声強調システム及び方法Ｐ２００は、複数のマイクロホン２２２からなるマイクロホンアレイ２２０に用いられる。前記音声活動検出システム及び方法Ｐ１００、音声強調システム及び方法Ｐ２００は、マイクロホンアレイ２２０により収集されたマイクロホン信号ｘｆ，ｔを取得することができる。マイクロホン信号ｘｆ，ｔは、ノイズ信号を含んでもよいし、ターゲット音声信号を含んでもよい。ターゲット音声信号とノイズ信号とは、クロスリンクのない二種類の信号である。ターゲット音声信号が所在するターゲット部分空間ｓｐａｎ（Ｕｔ）とノイズ信号が所在するノイズ部分空間とは、クロスリンクのない二つの部分空間である。マイクロホン信号ｘｆ，ｔにターゲット音声信号が存在しない場合、マイクロホン信号ｘｆ，ｔにはノイズ信号のみが含まれる。この場合、マイクロホン信号ｘｆ，ｔが所在する信号部分空間ｓｐａｎ（Ｕｓ）とターゲット音声信号が所在するターゲット部分空間ｓｐａｎ（Ｕｔ）とは、クロスリンクのない二つの部分空間であり、信号部分空間ｓｐａｎ（Ｕｓ）とターゲット部分空間ｓｐａｎ（Ｕｔ）との線形相関が低い。マイクロホン信号ｘｆ，ｔにターゲット音声信号が存在する場合、マイクロホン信号ｘｆ，ｔにはターゲット音声信号とノイズ信号の両方が含まれる。この場合、マイクロホン信号ｘｆ，ｔが所在する信号部分空間ｓｐａｎ（Ｕｓ）とターゲット音声信号が所在するターゲット部分空間ｓｐａｎ（Ｕｔ）とは、クロスリンクのある二つの部分空間であり、信号部分空間ｓｐａｎ（Ｕｓ）とターゲット部分空間ｓｐａｎ（Ｕｔ）との線形相関が高い。そのため、本明細書による音声活動検出方法Ｐ１００及びシステムは、マイクロホン信号ｘｆ，ｔが所在する信号部分空間ｓｐａｎ（Ｕｓ）とターゲット音声信号が所在するターゲット部分空間ｓｐａｎ（Ｕｔ）との線形相関を計算することによって、マイクロホン信号ｘｆ，ｔにターゲット音声信号が存在する音声存在確率λを確定することができる。前記音声強調方法Ｐ２００及びシステムは、音声存在確率λに基づいてフィルタリング係数ベクトルωｆ，ｔを計算することによって、マイクロホン信号ｘｆ，ｔに対して音声強調を行うことができる。以上のように、本明細書による音声活動検出システム及び方法Ｐ１００、音声強調システム及び方法Ｐ２００は、音声存在確率λの計算精度を向上させ、音声強調効果を向上させることができる。
【0126】
本明細書の別の態様は、非一時的な記憶媒体を提供し、音声活動検出のための実行可能な命令の少なくとも一つのセットが記憶されており、前記実行可能な命令は、プロセッサにより実行される場合、本明細書に記載の音声活動検出方法Ｐ１００のステップを実施するように前記プロセッサに指示する。いくつかの可能な実施形態において、本明細書の各態様はさらに、プログラムコードを含むプログラムプロダクトの形態で実現され得る。前記プログラムプロダクトが計算機器（例えば、計算装置２４０）上で作動する場合、前記プログラムコードは、本明細書に記述されている音声活動検出ステップを計算機器に実行させるためのものである。上記方法を実現するためのプログラムプロダクトは、携帯型コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）を用いてもよく、プログラムコードを含み、計算機器上で作動可能である。しかしながら、本明細書のプログラムプロダクトは、これに限定されるものではなく、本明細書では、可読記憶媒体は、プログラムを含むか又は記憶する任意の有形媒体であってもよく、該プログラムは、命令実行システム（例えば、プロセッサ２４２）によって使用されてもよく、又はそれと組み合わせて使用されてもよい。前記プログラムプロダクトは、一つ又は複数の可読媒体の任意の組み合わせを用い得る。可読媒体は、可読信号媒体又は可読記憶媒体であってもよい。可読記憶媒体は、例えば、電気、磁気、光学、電磁、赤外線、又は半導体のシステム、装置もしくはデバイス、又は以上の任意の組み合わせであってもよいが、これらに限定されない。可読記憶媒体は、更なる具体例として、一つ又は複数の導線を有する電気接続、携帯型ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯型コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、光学メモリデバイス、磁気メモリデバイス、又はこれらの任意の適切な組み合わせを含む。前記コンピュータ可読記憶媒体は、ベースバンドで又は搬送波の一部として伝搬され、可読性のプログラムコードが搭載されるデータ信号を含んでもよい。このように伝搬されるデータ信号は、電磁信号、光信号、又はこれらの任意の適切な組み合わせなどの様々な形態をとることができるが、これらに限定されない。可読記憶媒体はさらに、可読記憶媒体以外の任意の可読媒体であってもよく、該可読媒体は、命令実行システム、装置又はデバイスにより使用され、又はそれらと組み合わせて使用されるプログラムを送信、伝搬又は伝送することができる。可読記憶媒体に含まれるプログラムコードは、任意の好適な媒体で伝送することができ、無線、有線、光ケーブル、ＲＦなど、又は上記の任意の適切な組み合わせを含むが、これらに限定されない。本明細書の動作を実行するためのプログラムコードは、Ｊａｖａ、Ｃ＋＋などのようなオブジェクト指向プログラミング言語、「Ｃ」言語などのような一般的な手続き型プログラミング言語又は類似のプログラミング言語を含む一つ又は複数のプログラミング言語の任意の組み合わせで記述され得る。プログラムコードは、全部が計算機器上で実行され、一部が計算機器上で実行され、独立したソフトウェアパケットとして実行され、一部が計算機器上で一部がリモート計算機器上で実行され、又は全部がリモート計算機器上で実行され得る。
【0127】
以上、本明細書の特定の実施例について説明した。他の実施例は、添付の特許請求の範囲内にある。いくつかの場合に、特許請求の範囲に記載される動作又はステップは、実施例とは異なる順序で実行されてもよく、且つ依然として所望の結果を実現することができる。また、図面に示されるプロセスは、所望の結果を実現するために、必ずしも特定の順序又は連続的な順序を示す必要はない。いくつかの実施形態において、マルチタスク処理及び並列処理も可能であり、又は有利であり得る。
【0128】
以上のように、本詳細な開示内容を読めば、当業者であれば分かるように、前記の詳細な開示内容は、単なる例として提示され得、且つ限定的なものではなくてもよい。ここでは明記されていないが、当業者であれば理解できるように、本明細書は、実施例に対する様々な合理的な変更、改良、及び修正を網羅する必要がある。これらの変更、改良、及び修正は、本明細書によって提示されることを意図しており、且つ本明細書の例示的な実施例の精神及び範囲内にある。
【0129】
なお、本明細書におけるいくつかの用語は、本明細書の実施例を説明するために用いられている。例えば、「一実施例」、「実施例」及び／又は「いくつかの実施例」は、該実施例に関連して説明された特定の特徴、構造又は特性が、本明細書の少なくとも一つの実施例に含まれ得ることを意味する。そのため、本明細書の各部分において、「実施例」又は「一実施例」又は「代替実施例」に対する二つ以上の引用が必ずしも同じ実施例を指すとは限らないことは、強調され理解されるべきである。なお、特定の特徴、構造又は特性は、本明細書の一つ又は複数の実施例において好適に組み合わされてもよい。
【0130】
理解すべきこととして、本明細書の実施例の前記の説明において、一つの特徴の理解を容易にするために、本明細書は、本明細書を簡略化する目的で、様々な特徴を単一の実施例、図面又はそれらの説明に組み合わせる。しかしながら、これらの特徴の組み合わせが必須であるとは言えず、当業者は、本明細書を読む時に、そのうちの一部の特徴を抽出して単独の実施例として理解することが十分に可能である。つまり、本明細書における実施例は、複数の二次的実施例の統合として理解され得る。各二次的実施例の内容は、前述の開示された単一の実施例の全ての特徴よりも少ない場合にも成立する。
【0131】
本明細書に引用される各特許、特許出願、特許出願の刊行物、及び他の資料、例えば、記事、書籍、明細書、刊行物、文書、物品などは、参照によりここに組み込まれ得る。あらゆる目的のための全ての内容は、それに関連する任意の訴求書履歴、本文書と一致しないかもしくは矛盾する任意の同一の訴求書履歴、又は請求項の最も広い範囲に対する制限効果を有する任意の同一の訴求書履歴を除いて、現在又は今後、本文書と関連付けられる。例えば、含まれる任意の資料に関連する用語の説明、定義及び／又は使用が、本文書の関連する用語の説明、定義及び／又は使用の間にいずれかの不一致又は矛盾が存在する場合には、本文書における用語が優先して適用するものとする。
【0132】
最後に、本明細書に開示された出願の実施形態は、本明細書の実施形態の原理についての説明であることを理解されたい。他の修正された実施例も本明細書の範囲内にある。そのため、本明細書に開示された実施例は、単なる例に過ぎず、限定するものではない。当業者は、本明細書における実施例に基づいて、代替的な構成を用いて本明細書における出願を実現することができる。そのため、本明細書の実施例は、出願において正確に説明された実施例に限定されない。
【図1】
【図2A】
【図2B】
【図2C】
【図2D】
【図2E】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【国際調査報告】