(58)【調査した分野】(Int.Cl.,DB名)
前記補正量は、前記複数のマイクロホンのうちのあらかじめ定められた1つのマイクロホンで取得された前記入力信号の前記小信号パワーを基準とし、当該補正量で補正される前記入力信号の前記小信号パワーと前記基準とした小信号パワーに基づいて求められることを特徴とする請求項5に記載の集音装置の入力信号補正方法。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、マイクロホンに到来する音をマイクロホンで取得した信号に基づいて補正した場合、取得した音の音源と目的音の音源の位置が異なるなどの要因により、行った補正が目的音の集音に対して適切な補正であるとは限らない。また、目的音を取得した信号に基づいて補正を行おうとしても、誤って目的音ではない音を取得した信号に基づいて補正を行ってしまう可能性があり、このような場合にはやはり目的音の集音に対して適切な補正が行えるとは限らない。
このように従来のマイクロホンアレーを用いた集音装置は、集音対象の目的音に適さない補正をしてしまう可能性があるという問題があった。
【0006】
この発明は、上述のような問題を解決するためになされたものであり、マイクロホンアレーの複数のマイクロホンで取得した信号の補正をマイクロホンに到来する音を用いて行う、集音対象の音に対して適切でない補正をする可能性を低減した集音装置を得ることを目的とする。
【課題を解決するための手段】
【0007】
この発明の集音装置は、複数のマイクロホンで取得された複数の入力信号のそれぞれについて、規定される第1のしきい値よりも値の小さい入力信号のパワーをその入力信号の小信号パワーとする小信号パワー取得部と、複数の入力信号を補正するためのそれぞれの補正量をそれぞれの前記小信号パワーに基づいて求める補正量設定部と、複数の入力信号を補正するためのそれぞれの補正量に基づいて対応する入力信号をそれぞれ補正する補正部と、を備えるようにしたものである。
この発明の集音装置の入力信号補正方法は、複数のマイクロホンで取得された複数の入力信号から集音する対象の音の信号を生成する集音装置における入力信号の補正方法であって、規定されたしきい値よりも小さい入力信号のパワーをその入力信号の小信号パワーとするステップと、入力信号を補正するためのそれぞれの補正量を当該入力信号の小信号パワーに基づいて求めるステップと、入力信号のそれぞれをその入力信号を補正するための補正量に基づいて補正するステップと、を備えるようにしたものである。
この発明の移動機器情報システムは、複数のマイクロホンで取得された複数の入力信号のそれぞれについて、規定されるしきい値よりも値の小さい入力信号のパワーをその入力信号の小信号パワーとし、それぞれのこの小信号パワーに基づいて求めたその小信号パワーに対応する入力信号を補正するための補正量を求め、それぞれのこの補正量に基づいて前記複数の入力信号をそれぞれ補正した信号を用いて集音対象の音を強調した出力信号を生成する集音装置と、その集音装置が出力した出力信号の音声認識結果に基づいて処理を行う経路案内装置、または集音装置の出力信号を用いる通話装置、または集音装置の出力信号を用いる能動消音装置の少なくともいずれか一つを備えるようにしたものである。
【発明の効果】
【0008】
この発明の集音装置によれば、マイクロホンアレーを構成する各マイクロホンからの入力信号について、規定される第1のしきい値よりも小さいパワーをそれぞれの入力信号の小信号パワーとして、この小信号パワーに基づいてそれぞれの入力信号を補正するための補正量を求めて、各入力信号を求めた補正量で補正するようにしたので、集音対象の音に対して適切でない補正をする可能性を低減した集音装置を得ることができる。
この発明の集音装置の入力信号補正方法によれば、マイクロホンアレーを構成する各マイクロホンからの入力信号について、規定された第1のしきい値よりも小さいパワーをそれぞれの入力信号の小信号パワーとして、この小信号パワーに基づいてそれぞれの入力信号を補正するための補正量を求めて、各入力信号を求めた補正量で補正するようにしたので、集音対象の音に対して適切でない補正をする可能性を低減した補正をすることができる。
この発明の移動機器情報システムによれば、複数のマイクロホンで取得された複数の入力信号のそれぞれについて、規定されるしきい値よりも値の小さい入力信号のパワーをその入力信号の小信号パワーとし、それぞれのこの小信号パワーに基づいてその小信号パワーに対応する入力信号を補正するための補正量を求め、それぞれのこの補正量に基づいて複数の入力信号をそれぞれ補正した信号を用いて集音対象の音を強調した出力信号を集音装置が出力し、経路案内装置、通話装置または能動消音装置はこの良好な音の信号を用いることでより良好な性能で動作をすることができる。
【発明を実施するための形態】
【0010】
以下、この発明の実施の形態を、図面を参照して説明する。なお、参照する図面において同一もしくは相当する部分には同一の符号を付している。
【0011】
実施の形態1.
図1はこの発明の実施の形態に係る集音装置の構成を示すブロック図である。この実施の形態の集音装置は、マイクロホンアレー20を構成する複数のマイクロホン21
1〜21
N(Nは2以上の自然数)において取得された音の信号(入力信号)を補正する信号補正部1と信号補正部1で補正された信号を処理する信号処理部2を備えている。なお、以降の説明では例えば特定のマイクロホンを区別する必要が無い場合に単にマイクロホン21と記す場合がある。これは他のブロックおよび信号の表記においても同様である。
【0012】
図1において信号補正部1に入力される入力信号xin
1(n)〜xin
N(n)は、マイクロホン21
1〜21
Nが取得した音の電気信号を集音装置が備えるAD(アナログデジタル)変換器(図示せず)がデジタル化し、規定されたサンプリング周波数(例えば8kHz)でサンプリングして、規定された時間毎(例えば10ミリ秒毎)のフレームに分割した信号とする。ここで、nは分割された個々のフレームを識別するためのフレーム番号を示している。なお、以降の説明では(n)を省略して単にxin
1のように示す場合がある。
【0013】
図2は信号補正部1の構成の一例を示すブロック図である。信号補正部1は、小信号パワー取得部3
1〜3
N、補正量設定部4、補正部5
1〜5
Nとで構成されている。小信号パワー取得部3は入力された入力信号xinについて規定される第1のしきい値よりも値の小さい入力信号xinのパワーを小信号パワーPminと定めて出力する。補正量設定部4は小信号パワー取得部3が出力する小信号パワーPminに基づいてそれぞれに対応する入力信号xinを補正する補正量を決定する。補正部5は補正量設定部4で決定されたそれぞれの補正量に基づいて入力信号xinを補正する。なお、ここではN個の小信号パワー取得部3
1〜3
NをN個の入力信号xin
1〜xin
Nに対応して備えるようにしているが、1個のブロックが複数の入力信号を処理するように構成しても良い。これは補正部5
1〜5
N等についても同様である。
【0014】
図3は小信号パワー取得部3の内部構成の一例を示すブロック図である。小信号パワー取得部3は入力信号xinのパワーを計算するパワー計算部6、パワーの最小値の長期平均値を求める最小値追跡部7、パワーの最小値の長期平均値に基づいて第1のしきい値を計算するしきい値計算部8、入力信号xinのパワーと第1のしきい値を比較し小信号パワーPminを出力する比較部9で構成されている。なお、小信号パワー取得部3
1〜3
Nは同様の構成を有する。
【0015】
上述の信号補正部1および信号処理部2、また、信号補正部1を構成する小信号パワー取得部3、補正量設定部4、補正部5、小信号パワー取得部3を構成するパワー計算部6、最小値追跡部7、しきい値計算部8、比較部9は汎用プロセッサあるいはDSP(Digital Signal Processor)とRAM(Random Access Memory)などの周辺回路で構成されるハードウェアとプロセッサで実行されるソフトウェアで実現することが可能である。また、これらの各ブロックをASIC(Application Specific Integrated Circuit)等のハードウェアで実現することも可能である。
【0016】
次にこの実施の形態の集音装置の動作を説明する。
図4はこの実施の形態の集音装置の処理フローを示すフローチャートである。
【0017】
最初に信号補正部1がマイクロホンアレー20のマイクロホン21
1〜21
Nが取得した音声あるいは音楽などの目的音、および暗騒音などの目的音以外の雑音を含む入力音の入力信号xin
1(n)〜xin
N(n)を受信する(ST100)。
【0018】
信号補正部1に入力された入力信号xin
1(n)〜xin
N(n)を小信号パワー取得部3
1〜3
Nが処理して、入力信号xin
1(n)〜xin
N(n)のそれぞれの小信号パワーPmin
1(n)〜Pmin
N(n)を出力する。以下に
図3および
図4を参照して小信号パワー取得部3が行う処理の詳細を説明する。
【0019】
まず、小信号パワー取得部3のパワー計算部6が下式(1)により入力信号xin(n)から入力信号の現在のフレームのパワーを計算して、入力信号パワーPin(n)を出力する(ST101)。式(1)においてnはフレーム番号であり、tはフレーム内の離散時間を示す番号である。xin(n,t)は、入力信号xin(n)についてフレームnの時刻tの振幅を表している。なお、サンプリング周波数8kHz、10ミリ秒フレームである場合、M=80である。
【0021】
パワー計算部6が出力した入力信号パワーPin(n)を受信した最小値追跡部7は入力信号パワーPin(n)の最小値(最小パワー)をトラッキングし、最小値の長期平均値を算出する(ST102)。具体的には、最小値追跡部7は下式(2)に従って入力信号パワーPin(n)の最小値の長期平均値Ptr(n)を算出する。最小値追跡部7は算出した長期平均値Ptr(n)をしきい値計算部8に出力する。
【0023】
式(2)において、αは忘却のための時定数であり、例えば下式(3)で与えられる。式(3)においてPNPOW_THは予め規定しておくしきい値である。入力信号パワーPin(n)がPNPOW_THよりも大きい場合には、忘却係数αを大きい値にして忘却速度を緩やかにする。このようにすると、入力信号xin(n)に目的音である音声などの大きなパワーの成分が混入している場合に、入力信号パワーPin(n)の最小値の長期平均値Ptr(n)に目的音のパワーが影響することを抑制でき、入力信号パワーPin(n)の最小値のトラッキング精度を向上することができる。
【0025】
次に、しきい値計算部8が下式(4)に従って入力された長期平均値Ptr(n)に規定された数値PADD(n)を加算して、入力信号xin(n)の第1のしきい値である小信号パワーしきい値Pth(n)を規定して出力する(ST103)。この実施の形態における数値PADD(n)の好適な一例は固定値の3dBである。ただし、入力信号の補正が良好に行われるように、入力音の種類等に応じて例えばフレーム毎に適宜変更するようにしても良い。
【0027】
次に、比較部9が下式(5)に従って入力信号パワーPin(n)と小信号パワーしきい値Pth(n)とを比較し、入力信号xin(n)の小信号パワーPmin(n)を求めて出力する(ST104)。Pin(n)がPth(n)を下回る場合にはPin(n)をPmin(n)として出力する。一方、Pin(n)がPth(n)以上である場合には前フレームの値であるPmin(n−1)を出力する。
【0029】
なお、比較部9は出力した入力信号xin(n)の小信号パワーPmin(n)を次のフレームの処理において使用するために記憶する。
【0030】
この実施の形態における小信号パワー取得部3の動作原理を
図5および
図6に示すグラフを用いて説明する。
図5において(A)は音声を取得した入力信号xinの時間経過にともなう波形の変化を示し、(B)はその入力信号xinのパワーの時間経過にともなう変化を示したものである。
図5(B)において実線B1はパワー計算部6が算出した入力信号パワーPinを表している。また、太実線B2はしきい値計算部8が算出した小信号パワーしきい値Pthである。
図6は
図5の(B)の一部を縦軸方向に拡大したグラフである。
【0031】
図5、
図6に示した入力信号パワーPinが小信号パワーしきい値Pth以上である区間のフレームでは、入力信号パワーPinではなく前フレームの小信号パワーPminをそのフレームの小信号パワーPminとするので、目的音である音声が含まれた区間の入力信号パワーPinが小信号パワーPminに与える影響を抑制することができる。
【0032】
小信号パワー取得部3
1〜3
Nのそれぞれが出力する小信号パワーPmin
1(n)〜Pmin
N(n)を受信した補正量設定部4は、各マイクロホン21のゲインを補正するための補正量である補正ゲインg(n)を算出して求める(ST105)。ここでは補正量の算出の一例として、マイクロホン21
1を基準にする例を説明する。なお、マイクロホン21
1を基準にするのではなく他のマイクロホン21
2〜21
Nのいずれかを基準とするようにしても良い。例えば、あらかじめ目的音の音源の位置がわかっている場合に、もっとも音源に近いマイクロホン21を基準にすることが可能である。なお、いずれかのマイクロホン21を基準にすることで、補正量を求めるためのパワーの基準をあらかじめ定めておく必要をなくすことができる。
【0033】
補正量の算出について詳細を説明する。補正量設定部4はマイクロホン21
1に係る小信号パワーPmin
1(n)を基準にマイクロホン21
1〜21
Nに係る小信号パワーPmin
1(n)〜Pmin
N(n)のそれぞれが同じレベルになるように、下式(6)に従って補正ゲインg
m(n)を算出する。なお、mは1以上N以下の自然数である。
【0035】
補正量設定部4は算出した補正ゲインg
1(n)〜g
N(n)をそれぞれ補正部5
1〜5
Nに出力する。補正ゲインg
1(n)〜g
N(n)を受信した補正部5
1〜5
Nは下式(7)により入力信号xin
1(n)〜xin
N(n)を補正する(ST106)。ここでmは1以上N以下の自然数である。なお、マイクロホン21
1を基準とした場合、式(6)によって入力信号xin
1(n)に対する補正ゲインg
1(n)は1.0となるので、xin
1(n)=yin
1(n)である。補正部5は入力信号xin
1(n)〜xin
N(n)を補正した信号(補正信号と称す)yin
1(n)〜yin
N(n)を信号処理部2へ出力する。
【0037】
補正信号yin
1(n)〜yin
N(n)を受信した信号処理部2では、補正信号yin
1(n)〜yin
N(n)を用いて例えば遅延和法、最尤法などの公知の強調処理を行って出力信号を出力する(ST107)。
【0038】
上述のように、この実施の形態の集音装置によれば、マイクロホンアレーの各マイクロホンからのそれぞれの入力信号についてパワーの最小値をトラッキングしてそれぞれの入力信号のパワーの第1のしきい値である小信号パワーしきい値を規定し、この小信号パワーしきい値よりも値の小さい入力信号のパワーを小信号パワーと定め、小信号パワーに基づいて各マイクロホンからの入力信号を補正する補正量を算出するようにした。
これにより、規定のしきい値よりもパワーの小さい入力信号に基づいて入力信号の補正を行うことができるので、集音対象の音に対して適切でない補正をする可能性を低減して、マイクロホンで取得した入力信号の補正を行うことができる。これは、マイクロホンの特性の違いを小さくするための入力信号の補正には例えば暗騒音などのような無指向性の音が適しており、パワーの小さい入力信号は拡散した無指向性の音の信号とみなせるためである。
【0039】
また、マイクロホンからの入力信号のパワーの最小値をトラッキングして第1のしきい値を規定しているので、あらかじめこのしきい値を決定しておく必要が無く、集音装置の使用環境に柔軟に対応してマイクロホン間の特性の差を補正することが可能である。
【0040】
実施の形態2.
実施の形態1では、入力信号のパワーの最小値(最小パワー)に応じた制御を行っているが、入力信号の様態を分析して補正の精度を向上させることも可能である。
【0041】
図7は、この発明の実施の形態2に係る集音装置の信号補正部1bの構成を示すブロック図である。なお、実施の形態2の集音装置の全体の構成は実施の形態1と同様である。
図7において実施の形態1と異なるのは、入力信号を分析する信号判定部10を備え、信号判定部10の分析結果が小信号パワー取得部3bに入力されるようにしたことである。
なお、信号判定部10は他のブロックと同様にプロセッサおよびプロセッサで実行されるプログラムで実現したり、ASIC等のハードウェアで実現したりすることが可能である。
【0042】
この実施の形態の集音装置の動作を実施の形態1との差分を中心に説明する。信号補正部1bは実施の形態1と同様に入力信号xin
1(n)〜xin
N(n)を受信する。この実施の形態ではまず、信号判定部10が受信した入力信号xin
1(n)〜xin
N(n)を分析する。そして、信号判定部10は受信した入力信号xin
1が例えば音声か雑音かの判定を行い、その結果を判定情報として小信号パワー取得部3bに出力する。なお、入力信号xin
1(n)〜xin
N(n)を分析する方法としては例えば自己相関分析などの方法を用いれば良い。小信号パワー取得部3bでは、入力された判定情報に基づいて、例えば入力信号が雑音でない場合には最小パワーのトラッキングを停止し、雑音と判定された場合に最小パワーのトラッキングをするようにする。これ以外の処理は実施の形態1と同様である。
【0043】
この実施の形態によれば、入力信号の様態を分析した結果を用いて最小パワーのトラッキングの処理を制御することで、より精度の高いトラッキングが可能になり、精密なゲイン補正をすることが可能となる。これは、入力信号に音声が頻繁に混入したりする場合や、あるいはマイクロホンが叩かれるなどで高レベルの雑音が混入する場合などで特に有効である。
【0044】
実施の形態3.
実施の形態1では、入力信号の全周波数帯域の最小パワーに応じた制御を行っているが、入力信号を周波数領域に変換し、入力信号のスペクトル成分毎、あるいは帯域毎に補正を細分化することで、更にきめ細やかな補正を行うことも可能である。
【0045】
図8はこの発明の実施の形態3に係る集音装置の信号補正部1cの構成を示すブロック図である。なお、実施の形態3の集音装置の全体の構成は実施の形態1と同様である。
図8において実施の形態1と異なるのは、入力信号に対して高速フーリエ変換(FFT:Fast Fourier Transform)処理を行うFFT部(スペクトル変換部)11と、補正後の信号に対して逆FFT(IFFT:Inverse FFT)処理を行うIFFT部(スペクトル逆変換部)12を備えていることである。その他の構成については
図2と同様であるが、小信号パワー抽出部3c、補正量設定部4c、補正部5cはスペクトルを処理対象とする。
なお、FFT部11、IFFT部12は他のブロックと同様にプロセッサとプロセッサで実行されるプログラムで実現したり、ASIC等のハードウェアで実現したりすることが可能である。
【0046】
次にこの実施の形態の集音装置の動作を実施の形態1との差分を中心に説明する。なお、FFT処理およびIFFT処理は公知の技術であるので詳細な説明を省略する。この実施の形態の信号補正部1cでは、まずFFT部11が入力された入力信号xin(n)対してFFT処理を行う。具体的には下式(8)に示すFFT分析を行って入力信号xin(n)をパワースペクトルXin(n,k)に変換する。ここで、FFT(・)はFFT分析を表し、Kはこの処理によって求まるパワースペクトルの総数、kは求めたパワースペクトルに付される0からK−1までの番号(スペクトル番号)である。なお、
図8ではスペクトル番号の表記を省略している。
【0048】
小信号パワー取得部3cは、FFT部11が出力したパワースペクトルXin(n,k)を受信すると、前述の実施の形態1と同様の方法により、スペクトル毎に第2のしきい値であるパワースペクトルのしきい値を求めて、このしきい値に基づいて小信号パワースペクトルXmin(n,k)を定めて出力する。
【0049】
次に、補正量設定部4cは入力信号xin
1(n)〜xin
N(n)のそれぞれに対応する小信号パワースペクトルXmin
1(n,k)〜Xmin
N(n,k)を用いて、実施の形態1と同様の方法でスペクトル毎の補正量であるスペクトル補正ゲインG
1(n,k)〜G
N(n,k)を算出する。
【0050】
次に、補正部5cは対応する入力信号xin(n)のパワースペクトルXin(n,k)に対してスペクトル毎に下式(9)により補正を行う。ここで、mは1以上N以下の自然数である。
【0052】
そして、IFFT部12がそれぞれ対応する補正後のパワースペクトルYin
1(n,k)〜Yin
N(n,k)をIFFT処理により時間領域の信号に再変換して補正信号yin
1(n)〜yin
N(n)を信号処理部2へ出力する。以降の処理は実施の形態1と同様である。
【0053】
この実施の形態3によれば、入力信号xin(n)をFFT処理して求めたパワースペクトル毎に補正量を算出して補正を行うようにしたので、入力信号全体ではなくスペクトル成分毎あるいは帯域毎に周波数特性と振幅を揃えることができ、より精密な補正を行うことができる。
【0054】
また、上述の実施の形態3の変形例として、
図9に示すように実施の形態2と同様の入力信号の分析を入力信号のスペクトルに対して行う信号判定部10dを備えて、信号判定部10dが出力する判定情報を用いて小信号パワー取得部3dが実施の形態2と同様の処理をするように構成することも可能である。
【0055】
実施の形態4.
上述の実施の形態1から実施の形態3で説明した集音装置を、自動車や船舶等の移動機器に搭載される経路案内装置やあるいは通話装置などを備えた移動機器情報システムに組み込んだ実施の形態を説明する。なお、以下では車載情報システムを移動機器情報システムの例として説明する。
【0056】
図10はこの実施の形態に係る車載情報システムの構成の一例を示すブロック図である。この実施の形態の車載情報システムは、上述の実施の形態1から3のいずれかに係る集音装置100と、経路案内装置101、音声認識装置102、通話装置103、能動消音装置104、マイクロホンアレー20、表示装置105、通信装置106、スピーカ107を備えている。なお、
図10に示した構成は一例でありこの他にもさまざまな装置を組み合わせることが可能である。
【0057】
次にこの車載情報システムの動作を説明する。マイクロホンアレー20は取得した音の信号を集音装置100に入力する。集音装置100は実施の形態1から実施の形態3で説明したいずれかの動作を行い、出力信号を出力する。集音装置100が出力した出力信号を音声認識装置102、通話装置103、能動消音装置104が受信する。
【0058】
音声認識装置102は受信した集音装置100の出力信号について音声認識処理を行い利用者が発した指示等を経路案内装置101あるいは通話装置103に出力する。音声認識装置102からの指示を受信した経路案内装置101は指定された経路案内の処理を実施して、経路案内画像を表示装置105によって表示したり、経路案内音声等をスピーカ107から出力したりする。
【0059】
また、音声認識装置102からの指示を受信した通話装置103は通信装置106を制御する。例えば通話開始の指示であった場合、通話装置103は通信装置106が通信相手との通信回線を接続するように制御する。そして集音装置100から受信した出力信号を通信装置106に出力する。通信装置106は通信回線を介して通信相手と通信を行い、受信した信号を通話装置103に出力する。通話装置103は通信装置106から受信した信号をスピーカ107から出力する。
【0060】
また、能動消音装置104は、集音装置100から受信した出力信号を用いて車室内の環境騒音を予測し、その環境騒音を打ち消す音響信号を生成して、スピーカ107から出力し、車室内の騒音を低減させる。
【0061】
上述のようにこの実施の形態によれば、車載情報システムの集音装置100はマイクロホンに到来する音を用いて、集音対象の音に対して適切でない補正をする可能性を低減して、マイクロホンで取得した信号の補正を行うことができるので、良好な出力信号を得ることが可能である。これにより、車載情報システムが備える装置が行うマイクロホンで取得した音声などの音を用いて行う処理の性能を向上することができる。