(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2021-12-13
(45)【発行日】2022-01-13
(54)【発明の名称】集音方法、装置及び媒体
(51)【国際特許分類】
G10L 21/0232 20130101AFI20220105BHJP
H04R 3/00 20060101ALI20220105BHJP
H04R 1/40 20060101ALI20220105BHJP
【ＦＩ】
G10L21/0232
H04R3/00 320
H04R1/40 320A
【請求項の数】
12
(21)【出願番号】P 2019563221
(86)(22)【出願日】2019-10-15
(65)【公表番号】
(43)【公表日】2022-01-04
(86)【国際出願番号】 CN2019111322
(87)【国際公開番号】W WO2021027049
(87)【国際公開日】2021-02-18
【審査請求日】2019-11-14
(31)【優先権主張番号】201910754717.8
(32)【優先日】2019-08-15
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】516180667
【氏名又は名称】北京小米移動軟件有限公司
【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｘｉａｏｍｉ Ｍｏｂｉｌｅ Ｓｏｆｔｗａｒｅ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】Ｎｏ．０１８， Ｆｌｏｏｒ ８， Ｂｕｉｌｄｉｎｇ ６， Ｙａｒｄ ３３， Ｍｉｄｄｌｅ Ｘｉｅｒｑｉ Ｒｏａｄ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】竜 韜臣
(72)【発明者】
【氏名】侯 海寧
【審査官】渡部 幸和
(56)【参考文献】
【文献】国際公開第２０１８／１２７４４７（ＷＯ，Ａ１）
【文献】Wei Ma et al.，Compression computional grid based on functional beamforming for acoustic source localization，Applied Acoustics，134巻，pp.75-87，2018年02月09日
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１０Ｌ ２１／００－２１／１８
Ｈ０４Ｒ １／００－３／１４
(57)【特許請求の範囲】
【請求項1】
Ｍ個の集音装置により収集されたＭ個の時間領域信号をＭ個の元の周波数領域信号に変換するステップと、Ｎ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られるステップと、
前記Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、前記Ｋ個の周波数点を含み、且つ各周波数点で前記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相であるステップと、
前記合成周波数領域信号を合成時間領域信号に変換するステップと、を含み、
ここで、Ｍ、Ｎ、Ｋは２以上の整数である
ことを特徴とする集音方法。
【請求項2】
前記Ｎ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られるステップは、前記Ｍ個の集音装置の希望の収集範囲内で、異なる方向のＮ個の予定の格子点を選択するステップと、
各予定の格子点で、前記Ｍ個の集音装置とこの予定の格子点との位置関係に基づき、各周波数点に関連するステアリングベクトルを決定するステップと、
各予定の格子点で、前記各周波数点でのステアリングベクトルに基づき、前記Ｍ個の元の周波数領域信号をビームフォーミングして、この予定の格子点に対応するビームフォーミング周波数領域信号を取得するステップと、を含む
ことを特徴とする請求項１に記載の集音方法。
【請求項3】
前記各予定の格子点で、前記Ｍ個の集音装置とこの予定の格子点との位置関係に基づき、各周波数点に関連するステアリングベクトルを決定するステップは、この予定の格子点から前記Ｍ個の集音装置までの距離ベクトルを取得するステップと、
この予定の格子点から前記Ｍ個の集音装置までの距離ベクトル、及びこの予定の格子点から基準集音装置までの距離に基づき、この予定の格子点からＭ個の集音装置までの基準遅延ベクトルを決定するステップと、
前記基準遅延ベクトルに基づき、各周波数点でのこの予定の格子点のステアリングベクトルを決定するステップと、を含む
ことを特徴とする請求項２に記載の集音方法。
【請求項4】
前記各予定の格子点で、前記各周波数点でのステアリングベクトルに基づき、前記Ｍ個の元の周波数領域信号をビームフォーミングして、この予定の格子点に対応するビームフォーミング周波数領域信号を取得するステップは、前記各周波数点のステアリングベクトル、及び各周波数点のノイズ共分散行列に基づき、各周波数点に対応するビームフォーミング重み係数を決定するステップと、
ビームフォーミング重み係数、及び前記Ｍ個の元の周波数領域信号に基づき、各予定の格子点に対応するビームフォーミング周波数領域信号を決定するステップと、を含む
ことを特徴とする請求項２に記載の集音方法。
【請求項5】
前記Ｎ個の予定の格子点は、前記Ｍ個の集音装置により形成されるアレイ座標系の水平面内の１つの円上に均等に配列されることを特徴とする請求項１に記載の集音方法。
【請求項6】
Ｍ個の集音装置により収集されたＭ個の時間領域信号をＭ個の元の周波数領域信号に変換する信号変換モジュールと、Ｎ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られる信号処理モジュールと、
前記Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、前記Ｋ個の周波数点を含み、且つ各周波数点で前記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相である信号合成モジュールと、
前記合成周波数領域信号を合成時間領域信号に変換する信号出力モジュールと、を備え、
ここで、Ｍ、Ｎ、Ｋは２以上の整数である
ことを特徴とする集音装置。
【請求項7】
前記信号処理モジュールによりＮ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られることは、前記Ｍ個の集音装置の希望の収集範囲内で、異なる方向のＮ個の予定の格子点を選択することと、
各予定の格子点で、前記Ｍ個の集音装置とこの予定の格子点との位置関係に基づき、各周波数点に関連するステアリングベクトルを決定することと、
各予定の格子点で、前記各周波数点でのステアリングベクトルに基づき、前記Ｍ個の元の周波数領域信号をビームフォーミングして、この予定の格子点に対応するビームフォーミング周波数領域信号を取得することと、を含む
ことを特徴とする請求項６に記載の集音装置。
【請求項8】
前記信号処理モジュールにより各予定の格子点で、前記Ｍ個の集音装置とこの予定の格子点との位置関係に基づき、各周波数点に関連するステアリングベクトルを決定することは、この予定の格子点から前記Ｍ個の集音装置までの距離ベクトルを取得することと、
この予定の格子点から前記Ｍ個の集音装置までの距離ベクトル、及びこの予定の格子点から基準集音装置までの距離に基づき、この予定の格子点からＭ個の集音装置までの基準遅延ベクトルを決定することと、
前記基準遅延ベクトルに基づき、各周波数点でのこの予定の格子点のステアリングベクトルを決定することと、を含む
ことを特徴とする請求項７に記載の集音装置。
【請求項9】
前記各予定の格子点で、前記各周波数点でのステアリングベクトルに基づき、前記Ｍ個の元の周波数領域信号をビームフォーミングして、この予定の格子点に対応するビームフォーミング周波数領域信号を取得することは、前記各周波数点のステアリングベクトル、及び各周波数点のノイズ共分散行列に基づき、各周波数点に対応するビームフォーミング重み係数を決定することと、
ビームフォーミング重み係数、及び前記Ｍ個の元の周波数領域信号に基づき、各予定の格子点に対応するビームフォーミング周波数領域信号を決定することと、を含む
ことを特徴とする請求項７に記載の集音装置。
【請求項10】
前記Ｎ個の予定の格子点は、前記Ｍ個の集音装置により形成されるアレイ座標系の水平面内の１つの円上に均等に配列されることを特徴とする請求項６に記載の集音装置。
【請求項11】
プロセッサーと、プロセッサーで実行可能な指令を記憶するためのメモリ、とを備え、
前記プロセッサーは、
Ｍ個の集音装置により収集されたＭ個の時間領域信号をＭ個の元の周波数領域信号に変換し、
Ｎ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られ、
前記Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、前記Ｋ個の周波数点を含み、且つ各周波数点で前記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相であり、
前記合成周波数領域信号を合成時間領域信号に変換するように構成され、
ここで、Ｍ、Ｎ、Ｋは２以上の整数である
ことを特徴とする集音装置。
【請求項12】
非一時的コンピュータ読み取り可能な記録媒体であって、前記記録媒体における命令が端末のプロセッサーにより実行されると、端末が集音方法を実行するようにし、前記方法は、Ｍ個の集音装置により収集されたＭ個の時間領域信号をＭ個の元の周波数領域信号に変換するステップと、
Ｎ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られるステップと、
前記Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、前記Ｋ個の周波数点を含み、且つ各周波数点で前記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相であるステップと、
前記合成周波数領域信号を合成時間領域信号に変換するステップと、を含み、
ここで、Ｍ、Ｎ、Ｋは２以上の整数である
非一時的コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、集音分野に関し、特に集音方法、装置及び媒体に関する。
【背景技術】
【0002】
モノのインターネット、ＡＩの時代で、人工知能のコア技術の１つであるインテリジェント音声は、人間とコンピュータのインタラクションモードを効果的に改善し、スマート製品を使用する利便性を大幅に改善することができる。関連技術では、スマート製品デバイスは集音にマイクアレイを多く採用し、マイクアレイビームフォーミング技術を適用して音声信号処理品質を向上し、これにより、実際の環境での音声認識率を向上させる。現在のマイクアレイのビームフォーミング技術には、以下のような２つの難点がある。１．ノイズを推定し難い。２．強い干渉下での音声方向が不明である。音声の方向探知の問題の場合、現在の方向探知アルゴリズムは静かな場面では比較的正確であるが、干渉の強い場面では方向探知アルゴリズムが失効されることがあり、これは、方向探知アルゴリズム自体の制約によって決定される。したがって、当技術分野では、今までも干渉の強い場面での音声の方向探知の問題を十分に解決することができない。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明は、関連技術に存在する問題を克服するための、集音方法、装置及び媒体を提供する。
【課題を解決するための手段】
【0004】
本発明の実施例の第１の態様によれば、集音方法が提供され、前記方法は、
Ｍ個の集音装置により収集されたＭ個の時間領域信号をＭ個の元の周波数領域信号に変換するステップと、
Ｎ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られるステップと、
前記Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、前記Ｋ個の周波数点を含み、且つ各周波数点で前記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相であるステップと、
前記合成周波数領域信号を合成時間領域信号に変換するステップと、を含み、
ここで、Ｍ、Ｎ、Ｋは２以上の整数である。
前記Ｎ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られるステップは、
前記Ｍ個の集音装置の希望の収集範囲内で、異なる方向のＮ個の予定の格子点を選択するステップと、
各予定の格子点で、前記Ｍ個の集音装置とこの予定の格子点との位置関係に基づき、各周波数点に関連するステアリングベクトルを決定するステップと、
各予定の格子点で、前記各周波数点でのステアリングベクトルに基づき、前記Ｍ個の元の周波数領域信号をビームフォーミングして、この予定の格子点に対応するビームフォーミング周波数領域信号を取得するステップと、を含む。
前記各予定の格子点で、前記Ｍ個の集音装置とこの予定の格子点との位置関係に基づき、各周波数点に関連するステアリングベクトルを決定するステップは、
この予定の格子点から前記Ｍ個の集音装置までの距離ベクトルを取得するステップと、
この予定の格子点から前記Ｍ個の集音装置までの距離ベクトル、及びこの予定の格子点から基準集音装置までの距離に基づき、この予定の格子点からＭ個の集音装置までの基準遅延ベクトルを決定するステップと、
前記基準遅延ベクトルに基づき、各周波数点でのこの予定の格子点のステアリングベクトルを決定するステップと、を含む。
前記各予定の格子点で、前記各周波数点でのステアリングベクトルに基づき、前記Ｍ個の元の周波数領域信号をビームフォーミングして、この予定の格子点に対応するビームフォーミング周波数領域信号を取得するステップは、
前記各周波数点のステアリングベクトル、及び各周波数点のノイズ共分散行列に基づき、各周波数点に対応するビームフォーミング重み係数を決定するステップと、
ビームフォーミング重み係数、及び前記Ｍ個の元の周波数領域信号に基づき、各予定の格子点に対応するビームフォーミング周波数領域信号を決定するステップと、を含む。
前記Ｎ個の予定の格子点は、前記Ｍ個の集音装置により形成されるアレイ座標系の水平面内の１つの円上に均等に配列される。
Ｍ個の集音装置により収集されたＭ個の時間領域信号をＭ個の元の周波数領域信号に変換するステップと、
Ｎ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られるステップと、
前記Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、前記Ｋ個の周波数点を含み、且つ各周波数点で前記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相であるステップと、
前記合成周波数領域信号を合成時間領域信号に変換するステップと、を含み、
ここで、Ｍ、Ｎ、Ｋは２以上の整数である。
前記Ｎ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られるステップは、
前記Ｍ個の集音装置の希望の収集範囲内で、異なる方向のＮ個の予定の格子点を選択するステップと、
各予定の格子点で、前記Ｍ個の集音装置とこの予定の格子点との位置関係に基づき、各周波数点に関連するステアリングベクトルを決定するステップと、
各予定の格子点で、前記各周波数点でのステアリングベクトルに基づき、前記Ｍ個の元の周波数領域信号をビームフォーミングして、この予定の格子点に対応するビームフォーミング周波数領域信号を取得するステップと、を含む。
前記各予定の格子点で、前記Ｍ個の集音装置とこの予定の格子点との位置関係に基づき、各周波数点に関連するステアリングベクトルを決定するステップは、
この予定の格子点から前記Ｍ個の集音装置までの距離ベクトルを取得するステップと、
この予定の格子点から前記Ｍ個の集音装置までの距離ベクトル、及びこの予定の格子点から基準集音装置までの距離に基づき、この予定の格子点からＭ個の集音装置までの基準遅延ベクトルを決定するステップと、
前記基準遅延ベクトルに基づき、各周波数点でのこの予定の格子点のステアリングベクトルを決定するステップと、を含む。
前記各予定の格子点で、前記各周波数点でのステアリングベクトルに基づき、前記Ｍ個の元の周波数領域信号をビームフォーミングして、この予定の格子点に対応するビームフォーミング周波数領域信号を取得するステップは、
前記各周波数点のステアリングベクトル、及び各周波数点のノイズ共分散行列に基づき、各周波数点に対応するビームフォーミング重み係数を決定するステップと、
ビームフォーミング重み係数、及び前記Ｍ個の元の周波数領域信号に基づき、各予定の格子点に対応するビームフォーミング周波数領域信号を決定するステップと、を含む。
前記Ｎ個の予定の格子点は、前記Ｍ個の集音装置により形成されるアレイ座標系の水平面内の１つの円上に均等に配列される。
【0005】
本発明の実施例の第２の態様によれば、集音装置が提供され、前記装置は、
Ｍ個の集音装置により収集されたＭ個の時間領域信号をＭ個の元の周波数領域信号に変換する信号変換モジュールと、
Ｎ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られる信号処理モジュールと、
前記Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、前記Ｋ個の周波数点を含み、且つ各周波数点で前記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相である信号合成モジュールと、
前記合成周波数領域信号を合成時間領域信号に変換する信号出力モジュールと、を備え、
ここで、Ｍ、Ｎ、Ｋは２以上の整数である。
前記信号処理モジュールによりＮ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られることは、
前記Ｍ個の集音装置の希望の収集範囲内で、異なる方向のＮ個の予定の格子点を選択することと、
各予定の格子点で、前記Ｍ個の集音装置とこの予定の格子点との位置関係に基づき、各周波数点に関連するステアリングベクトルを決定することと、
各予定の格子点で、前記各周波数点でのステアリングベクトルに基づき、前記Ｍ個の元の周波数領域信号をビームフォーミングして、この予定の格子点に対応するビームフォーミング周波数領域信号を取得することと、を含む。
前記信号処理モジュールにより各予定の格子点で、前記Ｍ個の集音装置とこの予定の格子点との位置関係に基づき、各周波数点に関連するステアリングベクトルを決定することは、
この予定の格子点から前記Ｍ個の集音装置までの距離ベクトルを取得することと、
この予定の格子点から前記Ｍ個の集音装置までの距離ベクトル、及びこの予定の格子点から基準集音装置までの距離に基づき、この予定の格子点からＭ個の集音装置までの基準遅延ベクトルを決定することと、
前記基準遅延ベクトルに基づき、各周波数点でのこの予定の格子点のステアリングベクトルを決定することと、を含む。
前記各予定の格子点で、前記各周波数点でのステアリングベクトルに基づき、前記Ｍ個の元の周波数領域信号をビームフォーミングして、この予定の格子点に対応するビームフォーミング周波数領域信号を取得することは、
前記各周波数点のステアリングベクトル、及び各周波数点のノイズ共分散行列に基づき、各周波数点に対応するビームフォーミング重み係数を決定することと、
ビームフォーミング重み係数、及び前記Ｍ個の元の周波数領域信号に基づき、各予定の格子点に対応するビームフォーミング周波数領域信号を決定することと、を含む。
前記Ｎ個の予定の格子点は、前記Ｍ個の集音装置により形成されるアレイ座標系の水平面内の１つの円上に均等に配列される。
Ｍ個の集音装置により収集されたＭ個の時間領域信号をＭ個の元の周波数領域信号に変換する信号変換モジュールと、
Ｎ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られる信号処理モジュールと、
前記Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、前記Ｋ個の周波数点を含み、且つ各周波数点で前記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相である信号合成モジュールと、
前記合成周波数領域信号を合成時間領域信号に変換する信号出力モジュールと、を備え、
ここで、Ｍ、Ｎ、Ｋは２以上の整数である。
前記信号処理モジュールによりＮ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られることは、
前記Ｍ個の集音装置の希望の収集範囲内で、異なる方向のＮ個の予定の格子点を選択することと、
各予定の格子点で、前記Ｍ個の集音装置とこの予定の格子点との位置関係に基づき、各周波数点に関連するステアリングベクトルを決定することと、
各予定の格子点で、前記各周波数点でのステアリングベクトルに基づき、前記Ｍ個の元の周波数領域信号をビームフォーミングして、この予定の格子点に対応するビームフォーミング周波数領域信号を取得することと、を含む。
前記信号処理モジュールにより各予定の格子点で、前記Ｍ個の集音装置とこの予定の格子点との位置関係に基づき、各周波数点に関連するステアリングベクトルを決定することは、
この予定の格子点から前記Ｍ個の集音装置までの距離ベクトルを取得することと、
この予定の格子点から前記Ｍ個の集音装置までの距離ベクトル、及びこの予定の格子点から基準集音装置までの距離に基づき、この予定の格子点からＭ個の集音装置までの基準遅延ベクトルを決定することと、
前記基準遅延ベクトルに基づき、各周波数点でのこの予定の格子点のステアリングベクトルを決定することと、を含む。
前記各予定の格子点で、前記各周波数点でのステアリングベクトルに基づき、前記Ｍ個の元の周波数領域信号をビームフォーミングして、この予定の格子点に対応するビームフォーミング周波数領域信号を取得することは、
前記各周波数点のステアリングベクトル、及び各周波数点のノイズ共分散行列に基づき、各周波数点に対応するビームフォーミング重み係数を決定することと、
ビームフォーミング重み係数、及び前記Ｍ個の元の周波数領域信号に基づき、各予定の格子点に対応するビームフォーミング周波数領域信号を決定することと、を含む。
前記Ｎ個の予定の格子点は、前記Ｍ個の集音装置により形成されるアレイ座標系の水平面内の１つの円上に均等に配列される。
【0006】
本発明の実施例の第３の態様によれば、集音装置が提供され、前記装置は、
プロセッサーと、
プロセッサーで実行可能な指令を記憶するためのメモリと、を備え、
前記プロセッサーは、
Ｍ個の集音装置により収集されたＭ個の時間領域信号をＭ個の元の周波数領域信号に変換し、
Ｎ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られ、
前記Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、前記Ｋ個の周波数点を含み、且つ各周波数点で前記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相であり、
前記合成周波数領域信号を合成時間領域信号に変換するように構成され、
ここで、Ｍ、Ｎ、Ｋは２以上の整数である。
プロセッサーと、
プロセッサーで実行可能な指令を記憶するためのメモリと、を備え、
前記プロセッサーは、
Ｍ個の集音装置により収集されたＭ個の時間領域信号をＭ個の元の周波数領域信号に変換し、
Ｎ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られ、
前記Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、前記Ｋ個の周波数点を含み、且つ各周波数点で前記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相であり、
前記合成周波数領域信号を合成時間領域信号に変換するように構成され、
ここで、Ｍ、Ｎ、Ｋは２以上の整数である。
【0007】
本発明の実施例の第４の態様によれば、非一時的コンピュータ読み取り可能な記録媒体が提供され、前記記録媒体における命令が端末のプロセッサーにより実行されると、端末が集音方法を実行するようにし、前記方法は、
Ｍ個の集音装置により収集されたＭ個の時間領域信号をＭ個の元の周波数領域信号に変換するステップと、
Ｎ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られるステップと、
前記Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、前記Ｋ個の周波数点を含み、且つ各周波数点で前記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相であるステップと、
前記合成周波数領域信号を合成時間領域信号に変換するステップと、を含み、
ここで、Ｍ、Ｎ、Ｋは２以上の整数である。
Ｍ個の集音装置により収集されたＭ個の時間領域信号をＭ個の元の周波数領域信号に変換するステップと、
Ｎ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られるステップと、
前記Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、前記Ｋ個の周波数点を含み、且つ各周波数点で前記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相であるステップと、
前記合成周波数領域信号を合成時間領域信号に変換するステップと、を含み、
ここで、Ｍ、Ｎ、Ｋは２以上の整数である。
【発明の効果】
【0008】
本発明に提供された技術案によれば、以下のような技術効果が奏される。
多方向ビームフォーミング戦略を採用して、多方向ビームを合計し、これにより、ビームパターンが干渉方向ではヌルを形成し、他の方向では正常に出力される効果を達成し、強い干渉下での方向探知アルゴリズムの不正確により、集音効果が悪化し、又は集音が不正確な難題を巧妙に避けた。
なお、前記一般的な記載及び後述の詳細な記載は、単なる例示的で解釈的な記載であり、本発明を限定しない。
多方向ビームフォーミング戦略を採用して、多方向ビームを合計し、これにより、ビームパターンが干渉方向ではヌルを形成し、他の方向では正常に出力される効果を達成し、強い干渉下での方向探知アルゴリズムの不正確により、集音効果が悪化し、又は集音が不正確な難題を巧妙に避けた。
なお、前記一般的な記載及び後述の詳細な記載は、単なる例示的で解釈的な記載であり、本発明を限定しない。
【図面の簡単な説明】
【0009】
ここの図面は、明細書に組み入れて本明細書の一部分を構成し、本発明に該当する実施例を例示するとともに、明細書とともに本発明の原理を解釈する。
【図1】一例示的な実施例に係る集音方法を示すフローチャートである。
【図2】一例示的な実施例に係る集音方法により予定の格子点を確立する模式図である。
【図3】本発明の実施例に係る集音方法が適用されるマイクアレイのシミュレーションビームパターンを示す。
【図4】一例示的な実施例に係る集音装置を示すブロック図である。
【図5】一例示的な実施例に係る装置を示すブロック図である。
【発明を実施するための形態】
【0010】
以下、例示的な実施例を詳しく説明し、その例示を図面に示す。以下の記載が図面に関わる場合、特に別の説明がない限り、異なる図面における同一符号は、同じ又は類似する要素を示す。以下の例示的な実施形態に記載の実施例は、本発明と一致する全ての実施例を代表するものではない。即ち、それらは、特許請求の範囲に記載の本発明のある側面に一致する装置及び方法の例に過ぎない。
【0011】
本発明の実施例に係る集音方法は、集音装置アレイに使用され、集音装置アレイは、空間内の異なる位置に位置する複数の集音装置が、一定の形状規則に従って配置して形成されるアレイであり、空間内で伝播する音信号を空間サンプリングするための装置であり、収集される信号には、その空間位置情報が含まれる。集音装置のトポロジーによれば、アレイは、１次元アレイ、２次元平面アレイであってもよいし、球状等の３次元アレイであってもよい。
【0012】
【0013】
ステップＳ１１において、Ｍ個の集音装置により収集されたＭ個の時間領域信号をＭ個の元の周波数領域信号に変換し、ここで、Ｍは２以上の整数である。本発明の方法を実施するためには、２つ以上の集音装置を使用して、異なる方向から音信号を収集する必要があり、集音装置の数が多いほど、干渉を抑制する効果がよい。Ｍ個の集音装置の配列は、線形アレイ、平面アレイ、又は当業者が想到し得る他の任意の配列方式であってもよい。
【0014】
一例では、
で集音装置アレイ内のｍ番目の集音装置の１フレームウィンドウ化信号を表す（ｍ＝１、２……Ｍ）。時間領域信号
をフーリエ変換した後、対応する元の周波数領域信号
が得られる。例示的に、１フレームの長さは、１０ｍｓ～３０ｍｓの範囲、例えば２０ｍｓに設定することができる。そして、ウィンドウ化処理は、フレーム化後の信号を連続させるためのもので、例示的に、オーディオ信号処理にハミングウィンドウを追加することができる。
【数1】
【数2】
【数3】
【0015】
ステップＳ１２において、Ｎ個の予定の格子点のそれぞれで、Ｍ個の元の周波数領域信号をビームフォーミングして、Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られ、ここで、Ｎは２以上の整数である。
【0016】
予定の格子点とは、希望の収集空間内で推定音源位置又は方向を複数の格子点に分割し、即ち、集音装置アレイ（複数の集音装置を含む）を中心とする希望の収集空間をグリッド処理することである。具体的に、この処理のプロセスは、下記のとおりである。集音装置アレイ幾何中心を格子中心とし、格子中心からのある長さを半径として２次元空間内の円形グリッド又は３次元空間内の球形グリッドを行い、また例えば、集音装置アレイ幾何中心を格子中心とし、格子中心を正方形中心とし、ある長さを辺の長さとして２次元空間内の正方形グリッドを行い、又は、格子中心を立方体中心とし、ある長さを辺の長さとして３次元空間内の立方体グリッドを行う。
【0017】
なお、予定の格子点は、本実施例でビームフォーミングのために使用される仮想点にすぎず、実際の音源点又は音源収集点ではない。予定の格子点の数Ｎの値が大きいほど、選択される方向が多く、より多くの方向でビームフォーミングすることができ、最終的に実現効果もよい。それとともに、複数の方向でサンプリングするために、Ｎ個の予定の格子点は可能な限り異なる方向に分散されるべきである。
【0018】
一例では、Ｎ個の予定の格子点を同じ平面に設定し、この平面内の各方向に分散させる。さらに、説明を簡単にするために、Ｎ個の予定の格子点は３６０度内で均等に分散され、計算を簡単にするとともに、より良い効果を奏することができる。なお、本発明のＮ個の予定の格子点の配列方式は、これに限定されない。
【0019】
ステップＳ１３において、Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、前記Ｋ個の周波数点を含み、且つ各周波数点で上記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相である。ここで、基準集音装置は、上記ステップＳ１２におけるビームフォーミングプロセス、具体的に、ビームフォーミングプロセスにおける基準遅延を決定するための１つの集音装置に関連する。以下、ビームフォーミングプロセスをさらに詳しく説明する。また、前記Ｋ個の周波数点は、ステップＳ１１における元の周波数領域信号に関連し、例えば、フーリエ変換により音信号を時間領域から周波数領域に変換した後、周波数領域信号に基づいてそれに含まれる複数の周波数点を決定することができる。
【0020】
ステップＳ１４において、合成周波数領域信号を合成時間領域信号に変換する。この合成時間領域信号は、干渉除去後の強化音声信号であり、集音装置の後続の処理のために使用され、したがって、ノイズを抑制する目的を達成することができる。
【0021】
以下、集音方法のステップＳ１２について詳しく説明する。一実施例では、ステップＳ１２は、ステップＳ１２１～Ｓ１２３を含んでもよい。
【0022】
ステップＳ１２１において、Ｍ個の集音装置の希望の収集範囲内で、異なる方向のＮ個の予定の格子点を選択する。
【0023】
複数の方向でサンプリングするために、Ｎ個の予定の格子点は可能な限り異なる方向に分散されるべきである。実施を簡単にするために、Ｎ個の予定の格子点を同じ平面内で選択し、この平面内の各方向に分散させることができる。もちろん、本発明の方法をより簡単に実施するために、Ｎ個の予定の格子点は３６０度内で均等に分散されてもよい。
【0024】
ステップＳ１２２において、各予定の格子点で、Ｍ個の集音装置とこの予定の格子点との位置関係に基づき、各周波数点に関連するステアリングベクトルを決定する。
【0025】
例えば、一例では、ステップＳ１２２は、Ｍ個の集音装置のアレイ座標系原点を中心として、前記Ｍ個の集音装置の座標、及び前記Ｎ個の予定の格子点の座標を決定し、Ｍ個の集音装置の座標に基づき、各予定の格子点のために各周波数点でステアリングベクトルを確立し、各周波数点でのＮ個の予定の格子点のステアリングベクトルを得られるように実現されてもよい。
【0026】
一実施例では、ステップＳ１２２は、下記のステップを含んでもよい。
ステップＳ１２２１において、各予定の格子点からＭ個の集音装置までの距離ベクトルを取得する。
ステップＳ１２２１において、各予定の格子点からＭ個の集音装置までの距離ベクトルを取得する。
【0027】
ステップＳ１２２２において、この予定の格子点からＭ個の集音装置までの距離ベクトル、及びこの予定の格子点から基準集音装置までの距離に基づき、この予定の格子点からＭ個の集音装置までの基準遅延ベクトルを決定する。
【0028】
ステップＳ１２２３において、基準遅延ベクトルに基づき、各周波数点でのこの予定の格子点のステアリングベクトルを決定する。
【0029】
一例では、ある予定の格子点を例として、この予定の格子点がｎ番目の予定の格子点であるものとすると（ｎ＝１、２…Ｎ）、表現を簡単にするために、
でこの点の座標を表し、座標値は
である。また、Ｍ個の集音装置があるため、Ｍ個の集音装置の座標があり、それぞれ
、
…
である。それに対応する座標値は、それぞれ
、
…
であり、そして、Ｐで全ての集音装置の座標行列を表し、
である。
【数4】
【数5】
【数6】
【数7】
【数8】
【数9】
【数10】
【数11】
であり、そして、Ｐで全ての集音装置の座標行列を表し、
【数12】
【0030】
まず、この予定の格子点から基準集音装置までの距離を求める。例として、ここで、Ｍ個の集音装置のうちの第１の集音装置が基準集音装置として機能するものとする。なお、実際には、集音方法全体の実行中に、この基準集音装置がそのまま維持される限り、Ｍ個の集音装置のうちのいずれかの集音装置でも、基準集音装置として指定されることができる。したがって、この例では、この予定の格子点から基準集音装置までの距離は、
である。そして、この予定の格子点からＭ個の集音装置までの距離ベクトルを求めることができ、
であり、ここで、Ｐは上記で表わされる全ての集音装置の座標行列である。なお、実際には、予定の格子点から基準集音装置までの距離
は、予定の格子点からＭ個の集音装置までの距離ベクトルｄｉｓｔのうちの１つの値であり、したがって、
及びｄｉｓｔの計算順序は制限されない。
【数13】
【数14】
【数15】
【数16】
【0031】
この予定の格子点
からＭ個の集音装置までの距離ベクトルに基づき、この予定の格子点
からＭ個の集音装置までの遅延ベクトルを計算し、ｔａｕで表すと、
であり、即ち、ｄｉｓｔベクトルの２乗を行ごとに合計した後、根号を外す。
【数17】
【数18】
【数19】
【0032】
この予定の格子点からＭ個の集音装置までの遅延ベクトルから、この予定の格子点から基準集音装置までの遅延を減算した後、音速で除算し、基準遅延ｔａｕｔが得られ、
である。ここで、ｔａｕは、この予定の格子点からＭ個の集音装置までの遅延ベクトルであり、
は、この予定の格子点から指定された基準集音装置までの遅延であり、
であり、ｃは音速である。
【数20】
【数21】
【数22】
【0033】
基準遅延ベクトルｔａｕｔをステアリングベクトル式に代入すると、
であり、Ｋ個の周波数点でのこの予定の格子点のステアリングベクトルを求めることができ、ここで、ｅは自然基底、ｊは虚数単位、Ｋは、フーリエ変換により得られる周波数点数であり（値の範囲は０からＮｆｆｔ－１である）、
であり、ここで、
は採用率、Ｎｆｆｔはフーリエ変換の点数、
は音速である。同様に、各周波数点での他の予定の格子点のステアリングベクトルを求めることができ、ここでは列挙しない。
【数23】
【数24】
【数25】
【数26】
【0034】
次に、ステップＳ１２３において、各予定の格子点で、各周波数点でのステアリングベクトルに基づき、Ｍ個の元の周波数領域信号をビームフォーミングし、各予定の格子点に対応するビームフォーミング周波数領域信号を取得する。
【0035】
一例では、ステップＳ１２３は、ステップＳ１２３１～Ｓ１２３２を含んでもよい。
ステップＳ１２３１において、各周波数点のステアリングベクトル、及び各周波数点のノイズ共分散行列に基づき、各周波数点に対応するビームフォーミング重み係数を決定し、
である。ここで、
は各周波数点でのこの予定の格子点のステアリングベクトル、
は各周波数点でのノイズ共分散行列であり、いずれかのアルゴリズムで推定されるノイズ共分散行列であってもよく、
は
の逆、
はステアリングベクトルの共役転置である。
ステップＳ１２３１において、各周波数点のステアリングベクトル、及び各周波数点のノイズ共分散行列に基づき、各周波数点に対応するビームフォーミング重み係数を決定し、
【数27】
【数28】
【数29】
【数30】
【数31】
【数32】
【0036】
ステップＳ１２３２において、各周波数点のビームフォーミング重み係数、及びＭ個の元の周波数領域信号に基づき、各予定の格子点の各周波数点にそれぞれ対応するビームフォーミング周波数領域信号を決定する。具体的に、１つの予定の格子点について、各周波数点のビームフォーミング重み係数、及びＭ個の元の周波数領域信号のうちのこの周波数点に対応するＭ個の周波数成分に基づき、この周波数点に対応するビームフォーミング周波数成分を決定することができ、そして、Ｋ個のビームフォーミング周波数成分からこの予定の格子点のビームフォーミング周波数領域信号を合成する。
である。ここで、
であり、
は
の共役転置である。
【数33】
【数34】
【数35】
【数36】
【0037】
各予定の格子点に対応して、１つのビームフォーミング周波数領域信号が取得され、Ｎ個の予定の格子点を選択すると、Ｎ個のビームフォーミング周波数領域信号を取得することができ、それぞれ
、
、…
として表される。
【数37】
【数38】
【数39】
【0038】
一実施例では、ステップＳ１３において、前記Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、前記Ｋ個の周波数点を含み、且つ各周波数点で前記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相である。
【0039】
一例では、取得されたＮ個のビームフォーミング周波数領域信号
、
、…
について、ある周波数点での周波数成分の振幅は、
、
、…
として表され、ｋ番目の周波数点でのＮ個全てのビームフォーミング周波数領域信号の平均振幅が得られ、
である。基準集音装置により収集された周波数領域信号の位相を取得し、基準集音装置により収集された周波数領域信号は、
として表され、その位相は
である。Ｋ個の周波数点を含み、且つ各周波数点で対応する周波数点の平均振幅を振幅とし、基準集音装置の元の周波数領域信号のうちの対応する周波数点の位相を位相とする合成周波数領域信号を合成し、
である。
【数40】
【数41】
【数42】
【数43】
【数44】
【数45】
【数46】
【数47】
【数48】
【数49】
【0040】
集音方法のステップＳ１４に戻り、このステップでは、合成周波数領域信号を逆フーリエ変換し、合成時間領域信号が取得され、
である。ここで、この合成時間領域信号は、即ち、干渉除去後の強化音信号である。本発明の実施例に係る集音方法を適用することで、マイクアレイにより収集される元の時間領域信号における干渉方向のノイズが十分に抑制され、これにより、強化された時間領域信号が得られる。
【数50】
【0041】
一実施例では、ステップＳ１２１において、Ｎ個の予定の格子点は、Ｍ個の集音装置により形成されるアレイ座標系の水平面内の１つの円上に均等に配列される。例示的に、この円の半径は、約１ｍから５ｍの間であってもよい。計算を簡単にするとともに、効果もよい。
【0042】
本発明の技術手段をよりよく理解するために、これから例を挙げて説明する。
図２に示すように、スマートスピーカを例として、スピーカは、６つのマイクを含み、６つのマイクのアレイ座標系原点を中心として、６つのマイクで構成されるアレイ水平面上で、半径がｒの１つの円を選択し、半径ｒは１～１．５ｍであってもよく、通常の状況下で、人とスマートスピーカとがインタラクションする距離である。円上の０°～３６０°の範囲内で６０°の等間隔で６つの点を選択し、例えば、１°、６１°、１２１°、１８１°、２４１°、３０１°に対応する点を予定の格子点として選択する。また、９０°方向の位置の集音装置を基準集音装置として指定し、後続の計算では、常にこの集音装置を基準集音装置とし、もちろん、他の集音装置を基準集音装置として指定してもよい。
図２に示すように、スマートスピーカを例として、スピーカは、６つのマイクを含み、６つのマイクのアレイ座標系原点を中心として、６つのマイクで構成されるアレイ水平面上で、半径がｒの１つの円を選択し、半径ｒは１～１．５ｍであってもよく、通常の状況下で、人とスマートスピーカとがインタラクションする距離である。円上の０°～３６０°の範囲内で６０°の等間隔で６つの点を選択し、例えば、１°、６１°、１２１°、１８１°、２４１°、３０１°に対応する点を予定の格子点として選択する。また、９０°方向の位置の集音装置を基準集音装置として指定し、後続の計算では、常にこの集音装置を基準集音装置とし、もちろん、他の集音装置を基準集音装置として指定してもよい。
【0043】
次に、アレイ座標系の原点を中心として、６つのマイクの座標を取得し、それぞれ
、
…
である。それに対応する座標値は、それぞれ
、
…
であり、そして、Ｐで全ての集音装置の座標行列を表し、
であり、
及び、６つの予定の格子点の座標は、
、
…
である。
【数51】
、
【数52】
【数53】
【数54】
【数55】
【数56】
【数57】
及び、６つの予定の格子点の座標は、
【数58】
【数59】
【数60】
【0044】
６１°の位置の予定の格子点を例として、この点は、２番目の予定の格子点であり、この点の座標は
、座標値は
である。
【数61】
【数62】
【0045】
まず、この予定の格子点と基準集音装置（例示的に、ここでは第１の集音装置を例とする）との間の距離を求め、
である。そして、この予定の格子点
からＭ個の集音装置までの距離ベクトルを求めることができ、
である。
【数63】
【数64】
【数65】
【0046】
この予定の格子点
からＭ個の集音装置までの距離ベクトルに基づき、この予定の格子点
からＭ個の集音装置までの遅延ベクトルを計算し、ｔａｕで表すと、
であり、即ち、ｄｉｓｔの２乗を行ごとに合計した後、根号を外す。
【数66】
【数67】
【数68】
【0047】
この予定の格子点
からＭ個のマイクで構成されるアレイまでの遅延ベクトルから、この予定の格子点
から基準集音装置までの遅延を減算した後、音速で除算し、基準遅延ｔａｕｔが得られ、
である。ここで、ｔａｕは、この予定の格子点
からＭ個の集音装置までの遅延ベクトルであり、
は、この予定の格子点
から指定された基準集音装置までの遅延であり、ｃは音速である。
【数69】
【数70】
【数71】
【数72】
【数73】
【数74】
【0048】
基準遅延ベクトルｔａｕｔをステアリングベクトル式に代入すると、
であり、Ｋ個の周波数点でのこの予定の格子点
のステアリングベクトルを求めることができ、
として表される。ここで、ｅは自然基底、ｊは虚数単位、Ｋは、フーリエ変換により得られる周波数点数であり（値の範囲は０からＮｆｆｔ－１である）、
であり、ここで、
は採用率、Ｎｆｆｔはフーリエ変換の点数、
は音速である。
【数75】
【数76】
【数77】
【数78】
【数79】
【数80】
【0049】
上記方法により、各周波数点での他の予定の格子点のステアリングベクトルを取得することができる。
【0050】
６つの集音装置により収集された６つの時間領域信号を６つの元の周波数領域信号に変換し、
、
、…
である。
【数81】
【数82】
【数83】
【0051】
６つの予定の格子点のそれぞれで、６つの元の周波数領域信号をビームフォーミングし、
依然として２番目の予定の格子点
を例として、この点のビームフォーミング重み係数を計算し、
であり、ここで、
は各周波数点での第２の予定の格子点のステアリングベクトルであり、
はノイズ共分散行列であり、いずれかのアルゴリズムで推定されるノイズ共分散行列であってもよく、
は
の逆、
はステアリングベクトルの共役転置である。
依然として２番目の予定の格子点
【数84】
【数85】
【数86】
【数87】
【数88】
【数89】
【数90】
【0052】
第２の予定の格子点
で、６つの集音装置の元の周波数領域信号をビームフォーミングし、第２の予定の格子点に対応するビームフォーミング周波数領域信号が得られ、
である。ここで、
である。
【数91】
【数92】
【数93】
【0053】
他の予定の格子点について、同じ方法を採用して、総６つのビームフォーミング周波数領域信号が得られ、
、
、…
である。
【数94】
【数95】
【数96】
【0054】
上記６つのビームフォーミング周波数領域信号に対応して、ある周波数点に、この周波数点での周波数に対応する６つの周波数成分があり、ｋ番目の周波数点を例として、この周波数点に対応する周波数で、６つの周波数成分は、それぞれ
、
、…
である。ｋ番目の周波数点での６つのビームフォーミング周波数領域信号の平均振幅が得られ、
である。
【数97】
【数98】
【数99】
【数100】
【0055】
基準集音装置により収集された周波数領域信号の位相を取得し、基準集音装置により収集された周波数領域信号は、
として表され、その位相は
である。
【数101】
【数102】
【0056】
各周波数点で平均振幅を振幅とし、基準集音装置の元の周波数領域信号の位相を位相とする合成周波数領域信号を合成し、
である。
【数103】
【0057】
合成周波数領域信号を逆フーリエ変換し、合成時間領域信号を取得し、
である。合成時間領域信号を出力信号とする。
【数104】
【0058】
図３は、本発明の実施例に係る集音方法が適用されるマイクアレイのシミュレーションビームパターンを示す。
【0059】
ビームパターンの横軸は、上記予定の格子点が位置する方位である。シミュレーションプロセスでは、いずれかの方位上に干渉源を設定することができる。シミュレーションプロセス及びビームパターンを描画する具体的なプロセスは、当業者に知られており、ここでは詳細な説明を省略する。
【0060】
本発明の実施例に係る集音方法を適用することにより、干渉方向の信号利得が最小、つまり、干渉信号が抑制され、他の方向の音信号は大きく影響されなかったことを確認することができ。図３に示すように、干渉方向に非常に深いヌルが形成され、干渉が抑制されるとともに、他の方向の音信号が保護される。この実施例から分かるように、本発明の方法によれば、任意の方向の干渉を抑制し、ノイズ干渉を抑制する目的を達成することができる。
【0061】
図４は、一例示的な実施例に係る集音装置を示すブロック図である。図４を参照すると、この装置は、信号変換モジュール４０１、信号処理モジュール４０２、信号合成モジュール４０３及び信号出力モジュール４０４を備える。
【0062】
この信号変換モジュール４０１は、Ｍ個の集音装置により収集されたＭ個の時間領域信号をＭ個の元の周波数領域信号に変換するように構成される。
【0063】
この信号処理モジュール４０２は、Ｎ個の予定の格子点のそれぞれで、Ｍ個の元の周波数領域信号をビームフォーミングして、Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られるように構成される。
【0064】
この信号合成モジュール４０３は、Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、Ｋ個の周波数点を含み、且つ各周波数点で前記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相であるように構成される。
【0065】
この信号出力モジュール４０４は、合成周波数領域信号を合成時間領域信号に変換するための信号出力モジュールとして構成される。
ここで、Ｍ、Ｎ、Ｋは２以上の整数である。
ここで、Ｍ、Ｎ、Ｋは２以上の整数である。
【0066】
信号処理モジュールによりＮ個の予定の格子点のそれぞれで、Ｍ個の元の周波数領域信号をビームフォーミングして、Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られることは、
Ｍ個の集音装置の希望の収集範囲内で、異なる方向のＮ個の予定の格子点を選択することと、
各予定の格子点で、Ｍ個の集音装置と予定の格子点との位置関係に基づき、各周波数点に関連するステアリングベクトルを決定することと、
各予定の格子点で、各周波数点でのステアリングベクトルに基づき、Ｍ個の元の周波数領域信号をビームフォーミングし、この予定の格子点に対応するビームフォーミング周波数領域信号を取得することと、を含む。
Ｍ個の集音装置の希望の収集範囲内で、異なる方向のＮ個の予定の格子点を選択することと、
各予定の格子点で、Ｍ個の集音装置と予定の格子点との位置関係に基づき、各周波数点に関連するステアリングベクトルを決定することと、
各予定の格子点で、各周波数点でのステアリングベクトルに基づき、Ｍ個の元の周波数領域信号をビームフォーミングし、この予定の格子点に対応するビームフォーミング周波数領域信号を取得することと、を含む。
【0067】
信号処理モジュールにより各予定の格子点で、Ｍ個の集音装置と予定の格子点との位置関係に基づき、各周波数点に関連するステアリングベクトルを決定することは、
この予定の格子点から前記Ｍ個の集音装置までの距離ベクトルを取得することと、
この予定の格子点から前記Ｍ個の集音装置までの距離ベクトル、及びこの予定の格子点から基準集音装置までの距離に基づき、この予定の格子点からＭ個の集音装置までの基準遅延ベクトルを決定することと、
基準遅延ベクトルに基づき、各周波数点でのこの予定の格子点のステアリングベクトルを決定することと、を含む。
この予定の格子点から前記Ｍ個の集音装置までの距離ベクトルを取得することと、
この予定の格子点から前記Ｍ個の集音装置までの距離ベクトル、及びこの予定の格子点から基準集音装置までの距離に基づき、この予定の格子点からＭ個の集音装置までの基準遅延ベクトルを決定することと、
基準遅延ベクトルに基づき、各周波数点でのこの予定の格子点のステアリングベクトルを決定することと、を含む。
【0068】
各予定の格子点で、各周波数点でのステアリングベクトルに基づき、Ｍ個の元の周波数領域信号をビームフォーミングし、この予定の格子点に対応するビームフォーミング周波数領域信号を取得することは、
各周波数点のステアリングベクトル、及び各周波数点のノイズ共分散行列に基づき、各周波数点に対応するビームフォーミング重み係数を決定することと、
ビームフォーミング重み係数、及び前記Ｍ個の元の周波数領域信号に基づき、各予定の格子点に対応するビームフォーミング周波数領域信号を決定することと、を含む。
各周波数点のステアリングベクトル、及び各周波数点のノイズ共分散行列に基づき、各周波数点に対応するビームフォーミング重み係数を決定することと、
ビームフォーミング重み係数、及び前記Ｍ個の元の周波数領域信号に基づき、各予定の格子点に対応するビームフォーミング周波数領域信号を決定することと、を含む。
【0069】
Ｎ個の予定の格子点は、前記Ｍ個の集音装置により形成されるアレイ座標系の水平面内の１つの円上に均等に配列される。
【0070】
上記実施例の装置において、各モジュールが操作を行う具体的な方法は、すでに関連方法の実施例で詳しく説明しており、ここで詳細な説明を省略する。
【0071】
図５は、一例示的な実施例に係る集音装置５００を示すブロック図である。例えば、装置５００は、携帯電話、コンピュータ、デジタルブロードキャスト端末、メッセージ送受信機、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、ＰＤＡ等のものであってもよい。
【0072】
図５を参照すると、装置５００は、処理ユニット５０２、メモリ５０４、電源ユニット５０６、マルチメディアユニット５０８、オーディオユニット５１０、入力／出力（Ｉ／Ｏ）インタフェース５１２、センサーユニット５１４、及び通信ユニット５１６からなる群から選ばれる少なくとも１つを備えてもよい。
【0073】
処理ユニット５０２は、一般的には、装置５００の全体の操作、例えば、表示、電話呼び出し、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理ユニット５０２は、上述した方法におけるステップの一部又は全部を実現できるように、命令を実行する少なくとも１つのプロセッサー５２０を備えてもよい。また、処理ユニット５０２は、他のユニットとのインタラクションを便利にさせるように、少なくとも１つのモジュールを備えてもよい。例えば、処理ユニット５０２は、マルチメディアユニット５０８とのインタラクションを便利にさせるように、マルチメディアモジュールを備えてもよい。
【0074】
メモリ５０４は、装置５００での操作をサポートするように、各種のデータを記憶するように配置される。これらのデータは、例えば、装置５００で何れのアプリケーション又は方法を操作するための命令、連絡先データ、電話帳データ、メッセージ、画像、ビデオ等を含む。メモリ５０４は、何れの種類の揮発性又は不揮発性メモリ、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｂｅｒ）、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクにより、或いはそれらの組み合わせにより実現することができる。
【0075】
電源ユニット５０６は、装置５００の各種ユニットに電力を供給するためのものであり、電源管理システム、１つ又は複数の電源、及び装置５００のために電力を生成、管理及び分配することに関連する他のユニットを備えてもよい。
【0076】
マルチメディアユニット５０８は、装置５００とユーザとの間に出力インタフェースを提供するスクリーンを備えてもよい。スクリーンは、例えば、液晶ディスプレイ（ＬＣＤ）やタッチパネル（ＴＰ）を備えてもよい。スクリーンは、タッチパネルを備える場合、ユーザからの入力信号を受信するように、タッチスクリーンになることができる。また、タッチパネルは、タッチや、スライドや、タッチパネル上の手振りを感知するように、少なくとも１つのタッチセンサーを有する。タッチセンサーは、タッチやスライド動作の境界を感知できるだけではなく、タッチやスライド操作と関連する持続時間や圧力も感知できる。幾つかの実施例では、マルチメディアユニット５０８は、フロントカメラ及び／又はバックカメラを有してもよい。装置５００が、例えば、撮影モードやビデオモードのような操作モードにあるとき、フロントカメラ及び／又はバックカメラが外部のマルチメディアデータを受信できる。フロントカメラ及びバックカメラのそれぞれは、固定の光学レンズ系であってもよいし、焦点距離及び光学ズーム能力を有するものであってもよい。
【0077】
オーディオユニット５１０は、オーディオ信号を出力及び／又は入力するように配置される。例えば、オーディオユニット５１０は、マイクロフォン（ＭｉＣ）を有してもよい。装置５００が、例えば、呼び出しモード、記録モード、又は音声認識モードのような操作モードにあるとき、マイクロフォンは、外部のオーディオ信号を受信するように配置される。受信したオーディオ信号は、メモリ５０４にさらに記憶されてもよいし、通信ユニット５１６を介して送信されてもよい。幾つかの実施例では、オーディオユニット５１０は、オーディオ信号を出力するためのスピーカをさらに備えてもよい。
【0078】
Ｉ／Ｏインタフェース５１２は、処理ユニット５０２と外部のインタフェースモジュールとの間にインタフェースを提供するためのものである。上記外部のインタフェースモジュールは、キーボードや、クリックホイールや、ボタン等であってもよい。これらのボタンは、ホームボタンや、音量ボタンや、スタートボタンや、ロックボタンであってもよいが、それらに限らない。
【0079】
センサーユニット５１４は、装置５００のために各方面の状態を評価する少なくとも１つのセンサーを備えてもよい。例えば、センサーユニット５１４は、装置５００のオン/オフ状態や、ユニットの相対的な位置を検出することができる。例えば、前記ユニットは、装置５００のディスプレイ及びキーパッドである。センサーユニット５１４は、装置５００又は装置５００の１つのユニットの位置の変化、ユーザによる装置５００への接触の有無、装置５００の方向又は加速/減速、装置５００の温度変化などを検出することができる。センサーユニット５１４は、何れの物理的な接触もない場合に付近の物体を検出するように配置される近接センサーを有してもよい。センサーユニット５１４は、イメージングアプリケーションに用いるための光センサー、例えば、ＣＭＯＳ又はＣＣＤ画像センサーを有してもよい。幾つかの実施例では、当該センサーユニット５１４は、加速度センサー、ジャイロスコープセンサー、磁気センサー、圧力センサー又は温度センサーをさらに備えてもよい。
【0080】
通信ユニット５１６は、装置５００と他の設備の間との無線又は有線通信を便利にさせるように配置される。装置５００は、通信標準に基づく無線ネットワーク、例えば、ＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組み合わせにアクセスできる。一例示的な実施例では、通信ユニット５１６は、ブロードキャストチャンネルを介して外部のブロードキャスト管理システムからのブロードキャスト信号又はブロードキャストに関する情報を受信する。一例示的な実施例では、前記通信ユニット５１６は、近距離通信を促進するために近距離無線通信（ＮＦＣ）モジュールをさらに備えてもよい。例えば、ＮＦＣモジュールは、無線周波数認識装置（ＲＦＩＤ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）技術、赤外線データ協会（ＩｒＤＡ：Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）技術、超広帯域無線（ＵＷＢ：Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）技術、ブルートゥース（登録商標）（ＢＴ：Ｂｌｕｅｔｏｏｔｈ）技術及び他の技術によって実現されてもよい。
【0081】
例示的な実施例では、装置５００は、上述した方法を実行するために、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサー（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、デジタル信号処理デバイス（ＤＳＰＤ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、書替え可能ゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサー、又は他の電子機器によって実現されてもよい。
【0082】
例示的な実施例では、命令を有する非一時的コンピュータ読み取り可能な記録媒体、例えば、命令を有するメモリ５０４をさらに提供する。前記命令は、装置５００のプロセッサー５２０により実行されて上述した方法を実現する。例えば、前記非一時的コンピュータ読み取り可能な記録媒体は、ＲＯＭ、ＲＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク及び光データメモリ等であってもよい。
【0083】
非一時的コンピュータ読み取り可能な記録媒体は、前記記録媒体における命令がモバイル端末のプロセッサーにより実行されると、モバイル端末が集音方法を実行するようにし、前記方法は、
Ｍ個の集音装置により収集されたＭ個の時間領域信号をＭ個の元の周波数領域信号に変換するステップと、
Ｎ個の予定の格子点のそれぞれで、Ｍ個の元の周波数領域信号をビームフォーミングして、Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られるステップと、
Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、前記Ｋ個の周波数点を含み、且つ各周波数点で前記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相であるステップと、
合成周波数領域信号を合成時間領域信号に変換するステップと、を含み、
ここで、Ｍ、Ｎ、Ｋは２以上の整数である。
Ｍ個の集音装置により収集されたＭ個の時間領域信号をＭ個の元の周波数領域信号に変換するステップと、
Ｎ個の予定の格子点のそれぞれで、Ｍ個の元の周波数領域信号をビームフォーミングして、Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られるステップと、
Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、前記Ｋ個の周波数点を含み、且つ各周波数点で前記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相であるステップと、
合成周波数領域信号を合成時間領域信号に変換するステップと、を含み、
ここで、Ｍ、Ｎ、Ｋは２以上の整数である。
【0084】
当業者は、明細書に対する理解、及び明細書に記載された発明に対する実施を介して、本発明の他の実施形態を容易に取得することができる。本発明は、本発明に対する任意の変形、用途、又は適応的な変化を含み、このような変形、用途、又は適応的な変化は、本発明の一般的な原理に従い、本発明で開示していない本技術分野の公知知識、又は通常の技術手段を含む。明細書及び実施例は、単に例示的なものであって、本発明の本当の範囲と主旨は、以下の特許請求の範囲によって示される。
【0085】
本発明は、上記で記述され、図面で図示した特定の構成に限定されず、その範囲を離脱しない状況で、様々な修正や変更を実施してもよい。本発明の範囲は、添付される特許請求の範囲のみにより限定される。
【0086】
本願は、出願番号が２０１９１０７５４７１７．８であって、出願日が２０１９年８月１５日である中国特許出願に基づき優先権を主張し、当該中国特許出願の内容のすべてを本願に援用する。
【図1】
【図2】
【図3】
【図4】
【図5】