特許第6624255号(P6624255)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 沖電気工業株式会社の特許一覧
<>
  • 特許6624255-収音装置、プログラム及び方法 図000010
  • 特許6624255-収音装置、プログラム及び方法 図000011
  • 特許6624255-収音装置、プログラム及び方法 図000012
  • 特許6624255-収音装置、プログラム及び方法 図000013
  • 特許6624255-収音装置、プログラム及び方法 図000014
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】6624255
(24)【登録日】2019年12月6日
(45)【発行日】2019年12月25日
(54)【発明の名称】収音装置、プログラム及び方法
(51)【国際特許分類】
   H04R 3/00 20060101AFI20191216BHJP
   H04R 1/40 20060101ALI20191216BHJP
   G10L 21/0232 20130101ALI20191216BHJP
   G10L 25/51 20130101ALI20191216BHJP
   G10L 21/0272 20130101ALI20191216BHJP
【FI】
   H04R3/00 320
   H04R1/40 320A
   G10L21/0232
   G10L25/51 400
   G10L21/0272 100A
【請求項の数】5
【全頁数】14
(21)【出願番号】特願2018-159891(P2018-159891)
(22)【出願日】2018年8月29日
【審査請求日】2018年8月29日
【国等の委託研究の成果に係る記載事項】(出願人による申告)国等の委託研究の成果に係る特許出願(平成21年度独立行政法人情報通信研究機構「高度通信・放送研究開発委託研究/革新的な三次元映像技術による超臨場感コミュニケーション技術の研究開発 課題オ 超臨場感コミュニケーションシステム」、産業技術力強化法第19条の適用を受ける特許出願)
(73)【特許権者】
【識別番号】000000295
【氏名又は名称】沖電気工業株式会社
(74)【代理人】
【識別番号】100180275
【弁理士】
【氏名又は名称】吉田 倫太郎
(74)【代理人】
【識別番号】100161861
【弁理士】
【氏名又は名称】若林 裕介
(72)【発明者】
【氏名】片桐 一浩
【審査官】 堀 洋介
(56)【参考文献】
【文献】 特開2017−183902(JP,A)
【文献】 特開2018−132737(JP,A)
【文献】 特開2016−127459(JP,A)
【文献】 特開2016−127457(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04R 3/00
G10L 21/0232
G10L 21/0272
G10L 25/51
H04R 1/40
(57)【特許請求の範囲】
【請求項1】
複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出する目的エリア音抽出手段と、
周波数毎に、それぞれの前記マイクロホンアレイを構成するそれぞれのマイクロホンの入力信号の成分を比較して、いずれかの前記マイクロホンの入力信号の成分を、混合信号の成分として選択する選択手段と、
前記目的エリア音抽出手段で抽出された目的エリア音成分に、前記選択手段で周波数ごとに選択された成分により構成される混合信号を混合する信号混合手段と、
前記選択手段が混合した混合後信号を出力する出力手段とを有し、
前記選択手段は、それぞれの前記マイクロホンアレイを構成するそれぞれの前記マイクロホンの入力信号の成分から最も振幅スペクトルが小さい入力信号の成分を混合信号の成分として選択する
ことを特徴とする収音装置。
【請求項2】
前記目的エリア音抽出手段は、いずれかの前記マイクロホンアレイのビームフォーマ出力を基準として目的エリア音を抽出する処理を行うことを特徴とする請求項1に記載の収音装置。
【請求項3】
前記目的エリア音抽出手段は、前記選択手段が選択した入力信号に係る前記マイクロホンアレイのビームフォーマ出力を基準として目的エリア音を抽出する処理を行うことを特徴とする請求項に記載の収音装置。
【請求項4】
コンピュータを、
複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出する目的エリア音抽出手段と、
周波数毎に、それぞれの前記マイクロホンアレイを構成するそれぞれのマイクロホンの入力信号の成分を比較して、いずれかの前記マイクロホンの入力信号の成分を、混合信号の成分として選択する選択手段と、
前記目的エリア音抽出手段で抽出された目的エリア音成分に、前記選択手段で周波数ごとに選択された成分により構成される混合信号を混合する信号混合手段と、
前記選択手段が混合した混合後信号を出力する出力手段として機能させ、
前記選択手段は、それぞれの前記マイクロホンアレイを構成するそれぞれの前記マイクロホンの入力信号の成分から最も振幅スペクトルが小さい入力信号の成分を混合信号の成分として選択する
ことを特徴とする収音プログラム。
【請求項5】
収音装置が行う収音方法において、
目的エリア音抽出手段、選択手段、信号混合手段、出力手段を備え、
前記目的エリア音抽出手段は、複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出し、
前記選択手段は、周波数毎に、それぞれの前記マイクロホンアレイを構成するそれぞれのマイクロホンの入力信号の成分を比較して、いずれかの前記マイクロホンの入力信号の成分を、混合信号の成分として選択し、
前記信号混合手段は、前記目的エリア音抽出手段で抽出された目的エリア音成分に、前記選択手段で周波数ごとに選択された成分により構成される混合信号を混合し、
前記出力手段は、前記選択手段が混合した混合後信号を出力し、
前記選択手段は、それぞれの前記マイクロホンアレイを構成するそれぞれの前記マイクロホンの入力信号の成分から最も振幅スペクトルが小さい入力信号の成分を混合信号の成分として選択する
ことを特徴とする収音方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、収音装置、プログラム及び方法に関し、例えば、特定のエリアの音を強調し、それ以外のエリアの音を抑制するシステムに適用し得る。
【背景技術】
【0002】
複数の音源が存在する環境下において、ある特定方向の音のみ分離し収音する技術として、マイクロホンアレイを用いたビームフォーマ(Beam Former;以下「BF」とも呼ぶ)がある。BFとは、各マイクロホンに到達する信号の時間差を利用して指向性を形成する技術である(非特許文献1参照)。
【0003】
従来、BFは、加算型と減算型の大きく2つの種類に分けられる。特に減算型BFは、加算型即に比べ、少ないマイクロホン数で指向性を形成できるという利点がある。
【0004】
図4は、マイクロホンMの数が2個の場合の減算型BF200に係る構成を示すブロック図である。
【0005】
図5は、2個のマイクロホンM1、M2を用いた減算型BF200により形成される指向性フィルタの例について示した説明図である。
【0006】
減算型BF200は、まず遅延器210により目的とする方向に存在する音(以下、「目的音」と呼ぶ)が各マイクロホンM1、M2に到来する信号の時間差を算出し、遅延を加えることにより目的音の位相を合わせる。上述の時間差は以下の(1)式により算出することができる。
【0007】
ここで、dはマイクロホンM1、M2間の距離、cは音速、τは遅延量である。またθは、各マイクロホンM(M1、M2)を結んだ直線に対する垂直方向から目的方向への角度である。
【0008】
また、ここで、死角がマイクロホンM1とM2の中心に対し、マイクロホンM1の方向に存在する場合、遅延器210は、マイクロホンM1の入力信号x(t)に対し遅延処理を行う。その後、減算型BF200では、以下の(2)式に従い処理(減算処理)を行う。
【0009】
減算型BF200の処理は周波数領域でも同様に行うことができ、その場合(2)式は以下の(3)のように変更される。
【数1】
【0010】
ここでθ=±π/2の場合、減算型BF200により形成される指向性は図5(a)に示すように、カージオイド型の単一指向性となる。また、「θ=0,π」の場合、減算型BF200により形成される指向性は、図5(b)のような8の字型の双指向性となる。
【0011】
以下では、入力信号から単一指向性を形成するフィルタを「単一指向性フィルタ」と呼び、双指向性を形成するフィルタを双指向性フィルタと呼ぶものとする。
【0012】
また、減算器220では、スペクトル減算法(Spectral Subtraction;以下、単に、「SS」とも呼ぶ)を用いることで、双指向性の死角に強い指向性を形成することもできる。SSによる指向性は、以下の(4)式に従い全周波数、もしくは指定した周波数帯域で形成される。
【0013】
以下の(4)式では、マイクロホンM1の入力信号Xを用いているが、マイクロホンM2の入力信号Xでも同様の効果を得ることができる。ここでβは、SSの強度を調節するための係数である。また、減算器220では、減算時に値がマイナスなった場合は、0または元の値を小さくした値に置き換えるフロアリング処理を行う。以上のような減算型BF200の処理方式では、双指向性の特性によって目的方向以外に存在する音(以下、「非目的音」と呼ぶ)を抽出し、抽出した非目的音の振幅スペクトルを入力信号の振幅スペクトルから減算することで、目的音を強調することができる。
【数2】
【0014】
ある特定のエリア内に存在する音(以下、「目的エリア音」と呼ぶ)だけを収音したい場合、減算型BFを用いるだけでは、そのエリアの周囲に存在する音源の音(以下、「非目的エリア音」と呼ぶ)も収音してしまう可能性がある。そこで、特許文献1では、複数のマイクロホンアレイを用い、それぞれ別々の方向から目的エリアヘ指向性を向けレ指向性を目的エリアで交差させることで目的エリア音を収音する手法(以下、「エリア収音」と呼ぶ)を提案している。エリア収音では、まず各マイクロホンアレイのBF出力に含まれる目的エリア音の振幅スペクトルの比率を推定し、それを補正係数とする。
【0015】
例えば、2つのマイクロホンアレイを使用する場合、目的エリア音振幅スペクトルの補正係数は、以下の(5)式及び(6)式の組み合わせ、又は以下の(7)式及び(8)式の組み合わせにより算出することができる。ここで、Y1k(n)は第1のマイクロホンアレイのBF出力の振幅スペクトルであり、Y2k(n)は第2のマイクロホンアレイのBF出力の振幅スペクトルであり、Nは周波数ビンの総数であり、kは周波数である。また、ここで、α(n)、α(n)は各BF出力に対する振幅スペクトル補正係数である。さらに、ここで、modeは最頻値を表し、medeianは中央値を表している。
【数3】
【0016】
以上の処理により、減算器220は、補正係数α(n)、α(n)を求め、求めた補正係数により各BF出力を補正し、SSすることで、目的エリア方向に存在する非目的エリア音を抽出する。さらに、減算器220は、抽出した非目的エリア音を各BFの出力からSSすることにより目的エリア音を抽出することができる。
【0017】
減算型BF200は、第1のマイクロホンアレイからみた目的エリア方向に存在する非目的エリア音N(n)を抽出際、例えば、(9)式に示すように、第1のマイクロホンアレイのBF出力Y(n)から第2のマイクロホンアレイのBF出力Y(n)に振幅スペクトル補正係数αを掛けたものをSSする。減算型BF200は、同様に、以下の(10)式に従い、第2のマイクロホンアレイからみた目的エリア方向に存在する非目的エリア音N(n)を抽出する。
【0018】
その後、減算型BF200は、以下の(11)式、又は(12)式に従い、各BF出力から非目的エリア音をSSして目的エリア音を抽出する。なお、以下の(11)式は、第1のマイクロホンアレイを基準として、目的エリア音を抽出する場合の処理を示している。また、以下の(12)式は、第2のマイクロホンアレイを基準として目的エリア音を抽出する場合の処理を示している。ここでγ(n)、γ(n)は、SS時の強度を変更するための係数である。
【数4】
【0019】
ところで、背景雑音や非目的エリア音の音量レベルが大きい場合、目的エリア音抽出の際に行うSSにより、目的エリア音が歪んだり、ミュージカルノイズという耳障りな異音が発生する可能性がある。
【0020】
そこで、特許文献3の手法では、背景雑音と非目的エリア音の大きさに応じて、マイクの入力信号と推定雑音の音量レベルをそれぞれ調節し、抽出した目的エリア音に混合している。
【0021】
目的エリア音を抽出する処理により発生するミュージカルノイズは、背景雑音と非目的エリア音の音量レベルが大きいほど強くなるため、特許文献3の手法では、混合する入力信号と推定雑音の総和の音量レベルも、背景雑音と非目的エリア音の音量レベルに比例して大きくしている。
【0022】
具体的には、特許文献3の手法において、背景雑音の音量レベルは、背景雑音を抑圧する過程で求める推定雑音から算出する。また、特許文献3の手法では、非目的エリア音の音量レベルは、目的エリア音を強調する過程で抽出する目的エリア方向に存在する非目的エリア音と、目的エリア方向以外に存在する非目的エリア音を合わせたものから算出する。さらに、特許文献3の手法では、混合する入力信号と推定雑音の比率は、推定雑音と非目的エリア音の音量レベルから決定する。
【0023】
目的エリアの近くに非目的エリア音が存在する場合、混合する入力信号の音量レベルが大きすぎると目的エリア音に非目的エリア音が混入し、どちらが目的エリア音なのかが分からなくなってしまう。そこで、特許文献3の手法では、非目的エリア音が大きいときは混合する入力信号の音量レベルを下げ、推定雑音の音量レベルを大きくして混合する。つまり、特許文献3の手法では、非目的エリア音が存在しないか音量レベルが小さい場合は入力信号の割合を多くし、逆に非目的エリア音の音量レベルが大きい場合推定雑音の割合を多くして混合する。
【0024】
このように特許文献3の手法を用いれば、目的エリア音に入力信号及び推定雑音を混合することにより、ミュージカルノイズをマスキングし、通常の背景雑音のように違和感なく聞かせることができる。さらに、特許文献3の手法では、マイク入力信号に含まれる目的エリア音の成分により、目的エリア音の歪みを補正し、音質を改善することができる。
【先行技術文献】
【特許文献】
【0025】
【特許文献1】特開2014−72708号公報
【特許文献2】特開2005−195955号公報
【特許文献3】特開2017−183902号公報
【非特許文献】
【0026】
【非特許文献1】浅野太著,“音響テクノロジーシリーズ16 音のアレイ信号処理−音源の定位・追跡と分離−”,日本音響学会編,コロナ社,2011年2月25日発行
【発明の概要】
【発明が解決しようとする課題】
【0027】
しかしながら、特許文献3の手法では、目的エリアの近くに非目的エリア音が存在する場合、混合する入力信号のレベルを下げるため、非目的エリア音の混入は抑えることができるが、目的エリア音の歪みを改善する効果は低くなってしまう。
【0028】
そのため、より少ない歪みの目的エリア音を収音する収音装置、プログラム及び方法が望まれている。
【課題を解決するための手段】
【0029】
第1の本発明の収音装置は、(1)複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出する目的エリア音抽出手段と、(2)周波数毎に、それぞれの前記マイクロホンアレイを構成するそれぞれのマイクロホンの入力信号の成分を比較して、いずれかの前記マイクロホンの入力信号の成分を、混合信号の成分として選択する選択手段と、(3)前記目的エリア音抽出手段で抽出された目的エリア音成分に、前記選択手段で周波数ごとに選択された成分により構成される混合信号を混合する信号混合手段と、(4)前記選択手段が混合した混合後信号を出力する出力手段とを有し、(5)前記選択手段は、それぞれの前記マイクロホンアレイを構成するそれぞれの前記マイクロホンの入力信号の成分から最も振幅スペクトルが小さい入力信号の成分を混合信号の成分として選択することを特徴とする。
【0030】
第2の本発明の収音プログラムは、コンピュータを、(1)複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出する目的エリア音抽出手段と、(2)周波数毎に、それぞれの前記マイクロホンアレイを構成するそれぞれのマイクロホンの入力信号の成分を比較して、いずれかの前記マイクロホンの入力信号の成分を、混合信号の成分として選択する選択手段と、(3)前記目的エリア音抽出手段で抽出された目的エリア音成分に、前記選択手段で周波数ごとに選択された成分により構成される混合信号を混合する信号混合手段と、(4)前記選択手段が混合した混合後信号を出力する出力手段として機能させ、(5)前記選択手段は、それぞれの前記マイクロホンアレイを構成するそれぞれの前記マイクロホンの入力信号の成分から最も振幅スペクトルが小さい入力信号の成分を混合信号の成分として選択することを特徴とする。
【0031】
第3の本発明は、収音装置が行う収音プログラムにおいて、(1)目的エリア音抽出手段、選択手段、信号混合手段、出力手段を備え、(2)前記目的エリア音抽出手段は、複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出し、(3)前記選択手段は、周波数毎に、それぞれの前記マイクロホンアレイを構成するそれぞれのマイクロホンの入力信号の成分を比較して、いずれかの前記マイクロホンの入力信号の成分を、混合信号の成分として選択し、(4)前記信号混合手段は、前記目的エリア音抽出手段で抽出された目的エリア音成分に、前記選択手段で周波数ごとに選択された成分により構成される混合信号を混合し、(5)前記出力手段は、前記選択手段が混合した混合後信号を出力し、(6)前記選択手段は、それぞれの前記マイクロホンアレイを構成するそれぞれの前記マイクロホンの入力信号の成分から最も振幅スペクトルが小さい入力信号の成分を混合信号の成分として選択することを特徴とする。
【発明の効果】
【0032】
本発明によれば、より少ない歪みの目的エリア音を収音する収音装置、プログラム及び方法を提供することができる。
【図面の簡単な説明】
【0033】
図1】第1の実施形態に係る収音装置の機能的構成について示したブロック図である。
図2】第1の実施形態の効果について示した説明図である。
図3】第2の実施形態に係る収音装置の機能的構成について示したブロック図である。
図4】従来のマイクロホン数が2個の場合の減算型BFに係る構成を示すブロック図である。
図5】従来の2個のマイクロホンを用いた減算型BFにより形成される指向特性を示す図である。
【発明を実施するための形態】
【0034】
(A)第1の実施形態
以下、本発明による収音装置、プログラム及び方法の第1の実施形態を、図面を参照しながら詳述する。
【0035】
(A−1)第1の実施形態の構成
図1は、この実施形態の収音装置100の機能的構成について示したブロック図である。
【0036】
収音装置100は、2つのマイクロホンアレイMA(MA1、MA2)を用いて、目的エリアの音源からの目的エリア音を収音する目的エリア音収音処理を行う。
【0037】
マイクロホンアレイMA1、MA2は、目的エリアが存在する空間の任意の場所に配置される。目的エリアに対するマイクロホンアレイMA1、MA2の位置は、指向性が目的エリアでのみ重なればどこでも良く、例えば目的エリアを挟んで対向に配置しても良い。各マイクロホンアレイMAは2つ以上のマイクロホンMから構成され、各マイクロホンMにより音響信号を収音する。この実施形態では、各マイクロホンアレイMAに、音響信号を収音する2つのマイクロホンM(M1、M2)が配置されるものとして説明する。すなわち、各マイクロホンアレイMAは、2chマイクロホンアレイを構成している。なお、マイクロホンアレイMAの数は2つに限定するものではなく、目的エリアが複数存在する場合、全てのエリアをカバーできる数のマイクロホンアレイMAを配置する必要がある。
【0038】
収音装置100は、信号入力部101、雑音抑圧部102、指向性形成部103、遅延補正部104、空間座標データ105、補正係数算出部106、目的エリア音抽出部107、混合成分選択部108、信号混合部109、及び信号出力部110を備える。
【0039】
収音装置100を構成する各機能ブロックの詳細処理については後述する。
【0040】
収音装置100は、全てハードウェア(例えば、専用チップ等)により構成するようにしてもよいし一部又は全部についてソフトウェア(プログラム)として構成するようにしてもよい。収音装置100は、例えば、プロセッサ及びメモリを有するコンピュータにプログラム(実施形態の判定プログラムや収音プログラムを含む)をインストールすることにより構成するようにしてもよい。
【0041】
(A−2)第1の実施形態の動作
次に、以上のような構成を有する第1の実施形態の収音装置100の動作(実施形態に係る収音方法)を説明する。
【0042】
信号入力部101は、各マイクロホンアレイで収音した音響信号をアナログ信号からデジタル信号に変換し入力する。その後、例えば高速フーリエ変換を用いて時間領域から周波数領域へ変換する。
【0043】
雑音抑圧部102は、信号入力部101で取得した信号に含まれる背景雑音の成分を推定し、抑圧する。雑音抑圧部102による雑音抑圧には、例えば、SSやウィーナーフィルタリング法(Wiener Filltering)などを用いることができる。
【0044】
指向性形成部103は、マイクロホンアレイ毎に雑音抑圧部により背景雑音を抑圧した信号に対し、(4)式に従いBFにより目的エリア方向に指向性を形成する。
【0045】
遅延補正部104は、目的エリアと各マイクロホンアレイの距離の違いにより発生する遅延を算出し、補正する。遅延補正部104は、まず空間座標データ105から目的エリアの位置と各マイクロホンアレイの位置を取得し、各マイクロホンアレイヘの目的エリア音の到達時間の差を算出する。次に最も目的エリアから遠い位置に配置されたマイクロホンアレイを基準として、全てのマイクロホンアレイに目的エリア音が同時に到達するように遅延を加える。
【0046】
空間座標データ105は、全ての目的エリアと各マイクロホンアレイと各マイクロホンアレイを構成するマイクロホンの位置情報を保持している。空間座標データ105が各マイクロホンアレイの各マイクロホンの位置情報を保持する方法や、空間座標データ105が保持する位置情報の具体的な形式は限定されないものであり、種々のデータ形式を適用することができる。
【0047】
補正係数算出部106は、各BF出力に含まれる目的エリア音成分の振幅スペクトルを同じにするための補正係数を(5)、(6)式または(7)、(8)式に従い算出する。
【0048】
目的エリア音抽出部107は、補正係数算出部106で算出した補正係数により補正した各BF出力データを(9)、もしくは(10)式に従いSSし、目的エリア方向に存在する非目的エリア音を抽出する。さらに、目的エリア音抽出部107は、抽出した雑音を各BFの出力から(11)、もしくは(12)式に従いSSすることにより目的エリア音を抽出する。
【0049】
混合成分選択部108は、各マイクロホンアレイ(MA1、MA2)を構成するマイクロホン(M1、M2)の入力信号の振幅スペクトルを周波数成分毎に比較し、最も振幅スペクトルが小さい周波数成分を、混合信号成分として選択する。2つの2chのマイクロホンアレイMA1、MA2を用いエリア収音を行う場合、混合成分選択部108では、混合信号の周波数成分XMIXk(n)は(13)式に従い選択されることになる。
【0050】
ここで、X11k(n)、X12k(n)は、それぞれマイクロホンアレイMA1を構成するマイクロホンM1、M2の入力信号X11(n)、X12(n)の各周波数の振幅スペクトルである。また、ここで、X21k(n)、X22k(n)は、それぞれマイクロホンアレイMA2を構成するマイクロホンM1、M2の入力信号X21(n)、X22(n)の各周波数の振幅スペクトルである。さらに、ここでkは、周波数(周波数成分の識別子)である。さらにまた、収音装置100(混合成分選択部108、信号混合部109)において、信号処理に用いる周波数の帯域(kの範囲)は、上限と下限を設けて制限しても良い。
【数5】
【0051】
なお、混合成分選択部108において、混合信号としてX11k(n)もしくはX12k(n)が選択された場合、(14)式に示すように、マイクロホンアレイMA1を構成するマイクロホンの入力信号成分の加算平均を混合信号成分としても良い。
【数6】
【0052】
信号混合部109は、目的エリア音抽出部107で抽出した目的エリア音の成分に、混合成分選択部108で周波数毎に選択した入力信号成分(周波数ごとに選択された入力信号成分により構成される信号;以下、「混合信号」と呼ぶ)を混合する。例えば、信号混合部109が、式(11)に従いマイクロホンアレイMA1を基準としてエリア収音を行う場合、最終的な出力W1k(n)は以下の(15)式に従い混合される。ここでμは、混合する信号(混合信号)の成分の大きさを調整するパラメータである。μは全周波数で一定でも良いし、周波数毎に変えても良い。
【数7】
【0053】
以上のように、信号混合部109は、混合を行った出力信号に位相を復元する際、位相情報は、目的エリア音抽出部において基準としたマイクロホンアレイを構成するマイクロホンの入力信号の加算平均、もしくはどれか1つのマイクロホンの入力信号を使用する。
【0054】
また、信号混合部109は、混合信号として選択した入力信号の位相を使用しても良い。例えば、(11)式を用いて目的エリア音が抽出された場合、信号混合部109は、マイクロホンアレイMA1を基準としているので、入力信号成分X11k(n)とX12k(n)の加算平均、又は、X11k(n)若しくはX12k(n)のどちらかの位相情報を用いて、出力信号に位相を復元する。
【0055】
さらに、信号混合部109において、信号の混合処理は、目的エリア音と混合信号の振幅スペクトルに、それぞれ位相情報を復元した後に行っても良い。この場合、信号混合部109では、位相復元に使用する情報は、目的エリア音と混合信号で別々にすることができる。例えば、信号混合部109において、目的エリア音には、目的エリア音抽出部において基準としたマイクロホンアレイを構成するマイクロホンの入力信号成分の加算平均、もしくはマイクロホンアレイを構成するマイクロホンの内どれか1つ入力信号成分を使用するようにしてもよい。また、信号混合部109において、混合信号には、混合信号成分として選択した入力信号成分の位相を使用するようにしてもよい。
【0056】
信号出力部110は、信号混合部109において処理した出力信号を、周波数領域から時間領域へ変換し、出力する。
【0057】
以上のように、第1の実施形態では、混合信号として、エリア収音に使用する全マイクロホンの入力信号の振幅スペクトルを周波数毎に比較し、最も振幅スペクトルが小さい周波数成分を選択する。さらに、第1の実施形態では、特定のエリアを収音する場合、マイクロホンアレイを収音エリアの周囲に設置することが望ましい。
【0058】
(A−3)第1の実施形態の効果
第1の実施形態によれば、以下のような効果を奏することができる。
【0059】
第1の実施形態の収音装置100では、各マイクロホンアレイの入力信号の周波数成分毎に、最も振幅スペクトルの小さいものを混合信号成分として選択することで、目的エリアの近くに非目的エリア音が存在する場合においても、混合後の非目的エリア音の混入を抑え、目的エリア音の歪みを改善することができる。
【0060】
ここで、例えば、第1の実施形態において、各マイクロホンアレイから収音エリアの中心までは等距離であるものとする。また、例えば、第1の実施形態において、目的エリア音は、各マイクロホンアレイを構成するマイクロホン全てに同じ音量で入力されるものとする(図2(a)参照)。一方、非目的エリア音が存在する位置は、各マイクロホンアレイからの距離が異なる。そのため、各マイクロホンアレイの信号に含まれる非目的エリア音の音量は、距離減衰によって違う大きさとなる。また1つのマイクロホンアレイを構成する各マイクロホンにおいても、非目的エリア音がマイクロホンアレイの正面以外に存在する場合、非目的エリア音と各マイクロホンとの距離が違うため、音量に差が生じる(図2(b)参照)。つまり、非目的エリア音から最も遠い位置にあるマイクロホンの入力信号は、含まれる非目的エリア音が最も小さくなる。そのため、目的エリア音は、全てのマイクロホンの信号に同じ音量で含まれているので、全マイクロホンの信号中で1番振幅スペクトルが小さい入力信号の周波数成分は、SN比が最も高いことになる。そのため、第1の実施形態では、目的エリアの近くに非目的エリア音が存在する場合においても、混合後の非目的エリア音の混入を抑え、目的エリア音の歪みを改善するという効果を奏することができる。
【0061】
(B)第2の実施形態
以下、本発明による収音装置、プログラム及び方法の第2の実施形態を、図面を参照しながら詳述する。
【0062】
(B−1)第2の実施形態の構成
図3は、第2の実施形態の収音装置100Aに係る機能的構成について示したブロック図であり、上述の図1と同一部分又は対応部分については同一符号又は対応符号を付している。
【0063】
以下では、第2の実施形態について第1の実施形態との差異を説明する。
【0064】
第2の実施形態の収音装置100Aでは、周波数別マイクロホンアレイ選択部11が追加されている点で第1の実施形態と異なっている。また、第2の実施形態の収音装置100Aでは、目的エリア音抽出部107が、目的エリア音抽出部107Aに置き換わっている点で第1の実施形態と異なっている。なお、第2の実施形態では、混合成分選択部108の処理結果が周波数別マイクロホンアレイ選択部111及び目的エリア音抽出部107Aに供給される点で第1の実施形態と異なっている。
【0065】
収音装置100Aを構成する各機能ブロックの詳細処理については後述する。
【0066】
(B−2)第2の実施形態の動作
次に、以上のような構成を有する第2の実施形態の収音装置100Aの動作(実施形態に係る収音方法)について、第1の実施形態との差異を中心に説明する。
【0067】
周波数別マイクロホンアレイ選択部111は、混合成分選択部108によって選択された混合信号成分によって、目的エリア音抽出部107において基準とするマイクロホンアレイを周波数毎に選択する。
【0068】
以下では、ある周波数pにおける各マイクロホンアレイ(MA1、MA2)の各マイクロホン(M1、M2)の入力信号(入力成分の成分)をそれぞれX11p(n)、X12p(n)、X21p(n)、X22p(n)と表すものとする。さらに、以下では、周波数pとは異なる周波数qにおける各マイクロホンアレイ(MA1、MA2)の各マイクロホン(M1、M2)の入力信号(入力成分の成分)をそれぞれX11q(n)、X12q(n)、X21q(n)、X22q(n)と表すものとする。
【0069】
例えば、ある周波数pにおいて、混合成分選択部108で混合信号としてマイクロホンアレイMA1を構成するマイクロホンM1の入力信号X11p(n)が選択された場合、目的エリア音抽出部107Aは、基準となるマイクロホンアレイとして、マイクロホンアレイMA1を選択し、(16)式に従って目的エリア音(周波数pの目的エリア音の成分)を抽出する。また、例えば、周波数qにおいて、混合成分選択部108で混合信号としてマイクロホンアレイMA2を構成するマイクロホンM2の入力信号X22q(n)が選択された場合、目的エリア音抽出部107Aは、基準となるマイクロホンアレイとしてマイクロホンアレイMA2を選択し、(17)式に従って目的エリア音(周波数qの目的エリア音の成分)を抽出する。
【数8】
【0070】
以上のように、目的エリア音抽出部107Aは、周波数ごとに、混合成分選択部108で選択された入力信号に応じたマイクロホンアレイを選択し、選択したマイクロホンアレイの入力信号を基準とした目的エリア音の抽出を行い、後段(信号混合部109)に供給する。
【0071】
(B−3)第2の実施形態の効果
第2の実施形態によれば、第1の実施形態と比較して以下のような効果を奏することができる。
【0072】
第2の実施形態では、目的エリア音抽出部107Aが、周波数ごと(成分ごと)に、混合成分選択部108によって選択された混合信号の供給元となるマイクロホンアレイ(周波数別マイクロホンアレイ選択部111が選択したマイクロホンアレイ)を基準とした目的エリア音の抽出処理を行う。これにより、第2の実施形態の収音装置100Aでは、混合信号と目的エリア音抽出処理で用いる信号の供給元(供給元のマイクロホンアレイ)が一致するため、目的エリア音の歪みをより改善するという効果を奏することができる。
【0073】
(C)他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
【0074】
(C−1)上記の各実施形態の収音装置では、収音に用いる各マイクロホンアレイMAのマイクロホンの数は2つであったが、3つ以上のマイクを用いて収音した音響信号に基づいて目的エリア方向の音を収音するようにしてもよい。上記の各実施形態において、適用するマイクロホンアレイMA毎のマイクロホンの数や目的音方向の音を収音する方式については、既存の種々の方式を適用することができる。
【符号の説明】
【0075】
100…収音装置、M1、M2…マイクロホン、MA1、MA2…マイクロホンアレイ、101…信号入力部、102…雑音抑圧部、103…指向性形成部、104…遅延補正部、105…空間座標データ、106…補正係数算出部、107…目的エリア音抽出部、108…混合成分選択部、109…信号混合部、110…信号出力部。
【要約】
【課題】 より少ない歪みの目的エリア音を収音する収音装置、プログラム及び方法を提供することができる。
【解決手段】 本発明は収音装置に関する。そして、本発明の収音装置は、複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれのマイクロホンアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出する目的エリア音抽出手段と、周波数毎に、それぞれのマイクロホンアレイを構成するそれぞれのマイクロホンの入力信号の成分を比較して、いずれかのマイクロホンの入力信号の成分を、混合信号の成分として選択する選択手段と、目的エリア音抽出手段で抽出された目的エリア音成分に、選択手段で周波数ごとに選択された成分により構成される混合信号を混合する信号混合手段と、選択手段が混合した混合後信号を出力する出力手段とを有することを特徴とする。
【選択図】 図1
図1
図2
図3
図4
図5