特許 6206003 音源分離装置、音源分離プログラム、収音装置及び収音プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6206003

(24)【登録日】2017年9月15日

(45)【発行日】2017年10月4日

(54)【発明の名称】音源分離装置、音源分離プログラム、収音装置及び収音プログラム

(51)【国際特許分類】

   H04R 3/00 20060101AFI20170925BHJP

   H04R 1/40 20060101ALI20170925BHJP

【ＦＩ】

   H04R3/00 320

   H04R1/40 320Z

【請求項の数】11

【全頁数】30

(21)【出願番号】特願2013-179886(P2013-179886)

(22)【出願日】2013年8月30日

(65)【公開番号】特開2015-50558(P2015-50558A)

(43)【公開日】2015年3月16日

【審査請求日】2016年5月17日

(73)【特許権者】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100090620

【弁理士】

【氏名又は名称】工藤 宣幸

(74)【代理人】

【識別番号】100161861

【弁理士】

【氏名又は名称】若林 裕介

(74)【代理人】

【識別番号】100180275

【弁理士】

【氏名又は名称】吉田 倫太郎

(72)【発明者】

【氏名】片桐 一浩

【審査官】 北原 昂

(56)【参考文献】

【文献】 特開２００８−１６０５８８（ＪＰ，Ａ）

【文献】 特開２００４−１８７２８３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００２／００６４２８７（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１２／００５１５４８（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｒ ３／００

Ｈ０４Ｒ １／４０

(57)【特許請求の範囲】

【請求項1】

直角二等辺三角形の頂点に配置した３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける双指向性を形成する双指向性形成手段と、
上記３個のマイクロホンのうち、目的方向と同じ方向に位置している２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける単一指向性を形成する単一指向性形成手段と、
上記目的方向に対して水平に位置する２個の上記マイクロホンにより収音された音響信号のいずれか一方の信号、又は、当該２個の上記マイクロホンにより収音された音響信号を平均した信号から、上記双指向性形成手段及び上記単一指向性形成手段からの全ての出力をスペクトル減算して、目的音を抽出する目的音抽出手段と
を備えることを特徴とする音源分離装置。

【請求項2】

正三角形の頂点に配置した３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける双指向性を形成する双指向性形成手段と、
上記３個のマイクロホンのうち、目的方向に対して、それぞれ±６０度の角度に位置している２個のマイクロホンの組み合わせにより収音された音響信号を用いて、それぞれ目的方向に対して±６０度に死角を向ける２個の単一指向性を形成する単一指向性形成手段と、
上記目的方向に対して水平に位置する２個の上記マイクロホンにより収音された音響信号のいずれか一方の信号、又は、当該２個の上記マイクロホンにより収音された音響信号を平均した信号から、上記双指向性形成手段及び上記単一指向性形成手段からの全ての出力をスペクトル減算して、目的音を抽出する目的音抽出手段と
を備えることを特徴とする音源分離装置。

【請求項3】

正三角形の頂点に配置した３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける双指向性を形成する双指向性形成手段と、
上記３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を平均した信号と、残りのマイクロホンにより収音された音響信号とを用い、目的方向に死角を向ける単一指向性を形成する単一指向性形成手段と、
上記目的方向に対して水平に位置する２個の上記マイクロホンにより収音された音響信号のいずれか一方の信号、又は、当該２個の上記マイクロホンにより収音された音響信号を平均した信号から、上記双指向性形成手段及び上記単一指向性形成手段からの全ての出力をスペクトル減算して、目的音を抽出する目的音抽出手段と
を備えることを特徴とする音源分離装置。

【請求項4】

上記双指向性形成手段の出力から上記単一指向性形成手段の出力をスペクトル減算することにより、又は、上記単一指向性形成手段の出力から上記双指向性形成手段の出力をスペクトル減算することにより、上記双指向性形成手段の出力と上記単一指向性形成手段の出力との間に重複している信号成分を消去する重複指向性消去手段を備え、
上記目的音抽出手段が、上記目的方向に対して水平に位置する２個の上記マイクロホンにより収音された音響信号のいずれか一方の信号、又は、当該２個の上記マイクロホンにより収音された音響信号を平均した信号から、上記重複指向性消去手段の出力をスペクトル減算して、目的音を抽出するものである
ことを特徴とする請求項１〜３のいずれかに記載の音源分離装置。

【請求項5】

コンピュータを、
直角二等辺三角形の頂点に配置した３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける双指向性を形成する双指向性形成手段と、
上記３個のマイクロホンのうち、目的方向と同じ方向に位置している２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける単一指向性を形成する単一指向性形成手段と、
上記目的方向に対して水平に位置する２個の上記マイクロホンにより収音された音響信号のいずれか一方の信号、又は、当該２個の上記マイクロホンにより収音された音響信号を平均した信号から、上記双指向性形成手段及び上記単一指向性形成手段からの全ての出力をスペクトル減算して、目的音を抽出する目的音抽出手段と
して機能させることを特徴とする音源分離プログラム。

【請求項6】

コンピュータを、
正三角形の頂点に配置した３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける双指向性を形成する双指向性形成手段と、
上記３個のマイクロホンのうち、目的方向に対して、それぞれ±６０度の角度に位置している２個のマイクロホンの組み合わせにより収音された音響信号を用いて、それぞれ目的方向に対して±６０度に死角を向ける２個の単一指向性を形成する単一指向性形成手段と、
上記目的方向に対して水平に位置する２個の上記マイクロホンにより収音された音響信号のいずれか一方の信号、又は、当該２個の上記マイクロホンにより収音された音響信号を平均した信号から、上記双指向性形成手段及び上記単一指向性形成手段からの全ての出力をスペクトル減算して、目的音を抽出する目的音抽出手段と
して機能させることを特徴とする音源分離プログラム。

【請求項7】

コンピュータを、
正三角形の頂点に配置した３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける双指向性を形成する双指向性形成手段と、
上記３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を平均した信号と、残りのマイクロホンにより収音された音響信号とを用い、目的方向に死角を向ける単一指向性を形成する単一指向性形成手段と、
上記目的方向に対して水平に位置する２個の上記マイクロホンにより収音された音響信号のいずれか一方の信号、又は、当該２個の上記マイクロホンにより収音された音響信号を平均した信号から、上記双指向性形成手段及び上記単一指向性形成手段からの全ての出力をスペクトル減算して、目的音を抽出する目的音抽出手段と
して機能させることを特徴とする音源分離プログラム。

【請求項8】

直角二等辺三角形又は正三角形の頂点に配置した３個のマイクロホンを有する複数のマイクロホンアレイと、
上記各マイクロホンアレイの出力のそれぞれに対し、ビームフォーマにより、目的エリアに対して上記各マイクロホンアレイの前方にのみ指向性を上記マイクロホンアレイ毎に形成するものであって、請求項１〜４のいずれかに記載の音源分離装置に相当する指向性形成手段と、
上記指向性形成手段からの上記マイクロホンアレイ毎の出力間で、ビームフォーマ出力の振幅スペクトルの比率を周波数毎に算出し、算出された振幅スペクトルの比率の最頻値又は中央値を、上記マイクロホンアレイ毎のビームフォーマ出力のパワーを補正する補正係数とするパワー補正係数算出手段と、
上記パワー補正係数算出手段で算出した補正係数を用い、上記指向性形成手段からの上記各マイクロホンアレイのビームフォーマ出力を補正し、補正後の上記各マイクロホンアレイのビームフォーマ出力をスペクトル減算して上記各マイクロホンアレイからみた目的エリア方向に存在する非目的エリア音を抽出し、抽出した非目的エリア音を上記指向性形成手段からの上記各マイクロホンアレイのビームフォーマ出力からスペクトル減算することにより目的エリア音を抽出する目的エリア音抽出手段と
を備えることを特徴とする収音装置。

【請求項9】

目的エリアと上記各マイクロホンアレイと上記各マイクロホンアレイを構成する上記マイクロホンの位置情報を保持する空間座標データ保持手段と、
選択された１又は複数の目的エリアに関する情報を取得するエリア取得手段と、
上記エリア取得手段からの上記１又は複数の目的エリアに関する情報に基づいて、上記各目的エリアと上記各マイクロホンアレイと上記各マイクロホンアレイを構成する上記マイクロホンの位置情報を上記空間座標データ保持手段から取得し、上記選択された１又は複数の目的エリアに向けて指向性を形成するために必要な上記マイクロホンアレイの組み合わせと、上記マイクロホンアレイにおける双指向性及び単一指向性を形成する上記マイクロホンの組み合わせを決定し、上記指向性形成手段へ入力される信号を制御するエリア切替手段と
を備えることを特徴とする請求項８に記載の収音装置。

【請求項10】

上記指向性形成手段からの上記マイクロホンアレイ毎の出力間で、目的エリア音の上記各マイクロホンアレイへの伝搬遅延時間の差を吸収する補正処理を行う遅延補正手段を備えることを特徴とする請求項８又は９に記載の収音装置。

【請求項11】

直角二等辺三角形又は正三角形の頂点に配置した３個のマイクロホンを備える複数のマイクロホンアレイを有するコンピュータを、
上記各マイクロホンアレイの出力のそれぞれに対し、ビームフォーマにより、目的エリアに対して上記各マイクロホンアレイの前方にのみ指向性を形成するものであって、請求項５〜７のいずれかに記載の音源分離プログラムの機能に相当する指向性形成手段と、
上記指向性形成手段からの上記マイクロホンアレイ毎の出力間で、ビームフォーマ出力の振幅スペクトルの比率を周波数毎に算出し、算出された振幅スペクトルの比率の最頻値又は中央値を、上記マイクロホンアレイ毎のビームフォーマ出力のパワーを補正する補正係数とするパワー補正係数算出手段と、
上記パワー補正係数算出手段で算出した補正係数を用い、上記指向性形成手段からの上記各マイクロホンアレイのビームフォーマ出力を補正し、補正後の上記各マイクロホンアレイのビームフォーマ出力をスペクトル減算して上記各マイクロホンアレイからみた目的エリア方向に存在する非目的エリア音を抽出し、抽出した非目的エリア音を上記指向性形成手段からの上記各マイクロホンアレイのビームフォーマ出力からスペクトル減算することにより目的エリア音を抽出する目的エリア音抽出手段と
して機能することを特徴とする収音プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音源分離装置、音源分離プログラム、収音装置及び収音プログラムに関し、例えば複数の音源が存在する環境下において、特定の方向の音源のみ分離し収音する音源分離装置、音源分離プログラム、収音装置及び収音プログラムに適用し得るものである。

【背景技術】

【0002】

複数の音源が存在する環境下において、ある特定の方向の音響（以下では、例えば音声、音響を含むものを音響と表現して説明する）のみを分離し収音する技術として、マイクロホンアレイを用いたビームフォーマ（以下、ＢＦともいう。）がある。ビームフォーマとは、各マイクロホンに到達する信号の時間差を利用して指向性を形成する技術である（非特許文献１参照）。ビームフォーマは加算型と減算型の大きく２つの種類に分けられる。特に減算型ＢＦは、加算型ＢＦに比べ、少ないマイクロホン数で指向性を形成できるという利点がある。

【0003】

図２は、マイクロホン数が２個の場合の減算型ＢＦに係る構成を示すブロック図である。減算型ＢＦは、まず目的とする方向に存在する音（以下、目的音と呼ぶ。）が各マイクロホン１及び２に到来し、遅延器９１がマイクロホン１及び２に到来した信号の時間差を算出し、いずれかのマイクロホンからの信号に遅延を加えることにより目的音の位相を合わせる。

【0004】

時間差は下記（１）式により算出される。ここで、ｄはマイクロホン間の距離、ｃは音速、τ_Ｌは遅延量である。またθ_Ｌは、各マイクロホン１及び２を結んだ直線に対する垂直方向から目的方向への角度である。

【0005】

τ_Ｌ＝（ｄｓｉｎθ_Ｌ）／ｃ （１）
ここで、死角方向がマイクロホン１と２の中心に対し、マイクロホン１の方向に存在する場合、マイクロホン１の入力信号ｘ_１（ｔ）に対し遅延処理を行う。その後、（２）式に従い減算器９２により処理を行う。

【0006】

α（ｔ）＝ｘ_２（ｔ）−ｘ_１（ｔ−τ_Ｌ） （２）
減算処理は周波数領域でも同様に行うことができ、その場合（２）式は以下のように変更される。

【0007】

Ａ（ω）＝Ｘ_２（ω）−ｅ^{−ｊωτＬ}Ｘ_１（ω） （３）
ここでθ_Ｌ＝±π／２の場合、形成される指向性は図３（Ａ）に示すように、カージオイド型の単一指向性となり、θ_Ｌ＝０、πの場合は、図３（Ｂ）のような８の字型の双指向性となる。ここでは、入力信号から単一指向性を形成するフィルタを単一指向性フィルタ、双指向性を形成するフィルタを双指向性フィルタと呼称する。

【0008】

また、スペクトル減算法（Ｓｐｅｃｔｒａｌ Ｓｕｂｔｒａｃｔｉｏｎ；以下ＳＳと呼ぶ。）を用いることで、双指向性の死角方向に強い指向性を形成することもできる。ＳＳによる指向性の形成は、下記（４）式に従う。

【0009】

｜Ｙ（ω）｜＝｜Ｘ_１（ω）｜−β｜Ａ（ω）｜ （４）
（４）式では、マイクロホン１の入力信号Ｘ_１を用いているが、マイクロホン２の入力信号Ｘ_２でも同様の効果を得ることができる。ここで、βはＳＳの強度を調節するための係数である。減算時に値がマイナスなった場合は、０または元の値を小さくした値に置き換えるフロアリング処理を行う。この方式は、双指向性フィルタにより目的方向以外に存在する音（以下、非目的音）を抽出し、抽出した非目的音の振幅スペクトルを入力信号の振幅スペクトルから減算することで、目的音を強調することができる。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】特開２００６−１９７５５２号公報

【非特許文献】

【0011】

【非特許文献1】浅野太著，“音響テクノロジーシリーズ１６ 音のアレイ信号処理−音源の定位・追跡と分離−”，日本音響学会編，コロナ社，２０１１年２月２５日発行

【発明の概要】

【発明が解決しようとする課題】

【0012】

しかしながら、実際に音源分離装置を通話や音声認識などに利用するためには、一方向にのみ指向性を形成し、かつ強い指向性を有することが求められる。単一指向性フィルタは図３（Ａ）のように、目的方向の反対側に死角を作ることができるが、目的方向の指向性は弱くなってしまうという問題が生じ得る。また、スペクトル減算法（ＳＳ）を用いたビームフォーマでは、目的方向に強い指向性を得ることはできるが、図３（Ｂ）のように、目的方向の反対側にも同様に指向性を形成してしまう問題が存在する。そこで、特許文献１では、マイクロホンの数を増やすことで、様々な方向に単一指向性と双指向性を形成し、それら複数の指向性フィルタの出力を利用して目的方向にのみ強い指向性を作る手法を提案している。

【0013】

しかし、特許文献１に記載の手法は、目的音を含む各指向性フィルタの出力を周波数毎に比較し、目的音成分か否かを判定することにより音を分離しているため、目的音成分の判定を間違うと分離後の目的音の音質が劣化してしまう可能性がある。さらに、分離時に目的音でないと判定した成分を０とするマスキングを行なっているため、非目的音が増えると急激に分離性能が悪化してしまうという問題が残っている。

【0014】

また、ある特定のエリア内に存在する音（以下、目的エリア音）だけを収音したい場合、減算型ＢＦを用いるだけでは、そのエリアの周囲に存在する音源（以下、非目的エリア音）も収音してしまう可能性がある。そこで、本願発明者は、参考文献（特願２０１２−２１７３１５）において、複数のマイクロホンアレイを用い、それぞれ別々の方向から目的エリアへ指向性を向け、指向性を目的エリアで交差させることで目的エリア音を収音する手法を提案している。

【0015】

しかし、残響が強い環境下、特に一時反射が大きい場合、収音性能が劣化する可能性がある。参考文献の手法は、各マイクロホンアレイの指向性に共通に含まれる成分は目的エリア音のみであり、非目的エリア音成分は異なっていることを前提としている。そのため、室内の隅や壁際に位置するエリアを収音する場合、非目的エリア音の一部が壁に反射して各マイクロホンアレイの指向性に同時に侵入してしまうと、非目的エリア音成分が目的エリア音成分とみなされ、抑圧されずに抽出されてしまうこととなる。

【0016】

そのため、目的方向にのみ鋭い指向性を形成することができ、音質劣化の少ない目的音を抽出することができる音源分離装置及びプログラムが求められている。また、目的エリアに対して前方にのみ指向性を形成し、エリア収音を行うことで、残響の影響を抑え、かつＳＮ比を向上させることができる収音装置及びプログラムが求められている。

【課題を解決するための手段】

【0017】

かかる課題を解決するために、第１の本発明は、（１）直角二等辺三角形の頂点に配置した３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける双指向性を形成する双指向性形成手段と、（２）３個のマイクロホンのうち、目的方向と同じ方向に位置している２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける単一指向性を形成する単一指向性形成手段と、（３）目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号のいずれか一方の信号、又は、当該２個の上記マイクロホンにより収音された音響信号を平均した信号から、双指向性形成手段及び単一指向性形成手段からの全ての出力をスペクトル減算して、目的音を抽出する目的音抽出手段とを備えることを特徴とする音源分離装置である。

【0018】

第２の本発明は、（１）正三角形の頂点に配置した３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける双指向性を形成する双指向性形成手段と、（２）３個のマイクロホンのうち、目的方向に対して、それぞれ±６０度の角度に位置している２個のマイクロホンの組み合わせにより収音された音響信号を用いて、それぞれ目的方向に対して±６０度に死角を向ける２個の単一指向性を形成する単一指向性形成手段と、（３）目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号のいずれか一方の信号、又は、当該２個のマイクロホンにより収音された音響信号を平均した信号から、双指向性形成手段及び単一指向性形成手段からの全ての出力をスペクトル減算して、目的音を抽出する目的音抽出手段とを備えることを特徴とする音源分離装置である。

【0019】

第３の本発明は、（１）正三角形の頂点に配置した３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける双指向性を形成する双指向性形成手段と、（２）３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を平均した信号と、残りのマイクロホンにより収音された音響信号とを用い、目的方向に死角を向ける単一指向性を形成する単一指向性形成手段と、（３）目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号のいずれか一方の信号、又は、当該２個のマイクロホンにより収音された音響信号を平均した信号から、双指向性形成手段及び単一指向性形成手段からの全ての出力をスペクトル減算して、目的音を抽出する目的音抽出手段とを備えることを特徴とする音源分離装置である。

【0020】

第４の本発明は、コンピュータを、（１）直角二等辺三角形の頂点に配置した３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける双指向性を形成する双指向性形成手段と、（２）３個のマイクロホンのうち、目的方向と同じ方向に位置している２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける単一指向性を形成する単一指向性形成手段と、（３）目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号のいずれか一方の信号、又は、当該２個のマイクロホンにより収音された音響信号を平均した信号から、双指向性形成手段及び単一指向性形成手段からの全ての出力をスペクトル減算して、目的音を抽出する目的音抽出手段として機能させることを特徴とする音源分離プログラムである。

【0021】

第５の本発明は、コンピュータを、（１）正三角形の頂点に配置した３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける双指向性を形成する双指向性形成手段と、（２）３個のマイクロホンのうち、目的方向に対して、それぞれ±６０度の角度に位置している２個のマイクロホンの組み合わせにより収音された音響信号を用いて、それぞれ目的方向に対して±６０度に死角を向ける２個の単一指向性を形成する単一指向性形成手段と、（３）目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号のいずれか一方の信号、又は、当該２個のマイクロホンにより収音された音響信号を平均した信号から、双指向性形成手段及び単一指向性形成手段からの全ての出力をスペクトル減算して、目的音を抽出する目的音抽出手段として機能させることを特徴とする音源分離プログラムである。

【0022】

第６の本発明は、コンピュータを、（１）正三角形の頂点に配置した３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を用いて、目的方向に死角を向ける双指向性を形成する双指向性形成手段と、（２）３個のマイクロホンのうち、目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号を平均した信号と、残りのマイクロホンにより収音された音響信号とを用い、目的方向に死角を向ける単一指向性を形成する単一指向性形成手段と、（３）目的方向に対して水平に位置する２個のマイクロホンにより収音された音響信号のいずれか一方の信号、又は、当該２個のマイクロホンにより収音された音響信号を平均した信号から、双指向性形成手段及び単一指向性形成手段からの全ての出力をスペクトル減算して、目的音を抽出する目的音抽出手段として機能させることを特徴とする音源分離プログラムである。

【0023】

第７の本発明は、（１）直角二等辺三角形又は正三角形の頂点に配置した３個のマイクロホンを有する複数のマイクロホンアレイと、（２）各マイクロホンアレイの出力のそれぞれに対し、ビームフォーマにより、目的エリアに対して各マイクロホンアレイの前方にのみ指向性をマイクロホンアレイ毎に形成するものであって、第１〜第３の本発明のいずれかに記載の音源分離装置に相当する指向性形成手段と、（３）指向性形成手段からのマイクロホンアレイ毎の出力間で、ビームフォーマ出力の振幅スペクトルの比率を周波数毎に算出し、算出された振幅スペクトルの比率の最頻値又は中央値を、マイクロホンアレイ毎のビームフォーマ出力のパワーを補正する補正係数とするパワー補正係数算出手段と、（４）パワー補正係数算出手段で算出した補正係数を用い、指向性形成手段からの各マイクロホンアレイのビームフォーマ出力を補正し、補正後の各マイクロホンアレイのビームフォーマ出力をスペクトル減算して各マイクロホンアレイからみた目的エリア方向に存在する非目的エリア音を抽出し、抽出した非目的エリア音を指向性形成手段からの各マイクロホンアレイのビームフォーマ出力からスペクトル減算することにより目的エリア音を抽出する目的エリア音抽出手段とを備えることを特徴とする収音装置である。

【0024】

第８の本発明は、直角二等辺三角形又は正三角形の頂点に配置した３個のマイクロホンを備える複数のマイクロホンアレイを有するコンピュータを、（１）各マイクロホンアレイの出力のそれぞれに対し、ビームフォーマにより、目的エリアに対して各マイクロホンアレイの前方にのみ指向性を形成するものであって、第４〜第６の本発明の音源分離プログラムの機能に相当する指向性形成手段と、（２）指向性形成手段からのマイクロホンアレイ毎の出力間で、ビームフォーマ出力の振幅スペクトルの比率を周波数毎に算出し、算出された振幅スペクトルの比率の最頻値又は中央値を、マイクロホンアレイ毎のビームフォーマ出力のパワーを補正する補正係数とするパワー補正係数算出手段と、（３）パワー補正係数算出手段で算出した補正係数を用い、指向性形成手段からの各マイクロホンアレイのビームフォーマ出力を補正し、補正後の各マイクロホンアレイのビームフォーマ出力をスペクトル減算して各マイクロホンアレイからみた目的エリア方向に存在する非目的エリア音を抽出し、抽出した非目的エリア音を指向性形成手段からの各マイクロホンアレイのビームフォーマ出力からスペクトル減算することにより目的エリア音を抽出する目的エリア音抽出手段として機能することを特徴とする収音プログラムである。

【発明の効果】

【0025】

本発明によれば、目的方向にのみ鋭い指向性を形成することができ、音質劣化の少ない目的音を抽出することができる。また、目的エリアに対して前方にのみ指向性を形成し、エリア収音を行うことで、残響の影響を抑え、かつＳＮ比を向上させることができる。

【図面の簡単な説明】

【0026】

【図1】第１の実施形態に係る音源分離装置の構成を示すブロック図である。

【図2】マイクロホン数が２個の場合の減算型ビームフォーマに係る構成を示すブロック図である。

【図3】２個のマイクロホンを用いて減算型ビームフォーマにより形成される指向特性を示す図である。

【図4】本発明に係る各指向性フィルタにより形成される指向特性の一例を説明する説明図である。

【図5】第２の実施形態に係る音源分離装置の構成を示すブロック図である。

【図6】第２の実施形態に係る各指向性フィルタにより形成される指向特性を説明する説明図である。

【図7】第３の実施形態に係る音源分離装置の構成を示すブロック図である。

【図8】第４の実施形態に係る収音装置の構成を示すブロック図である。

【図9】第４の実施形態に係る収音装置の指向性形成部の構成を示すブロック図である。

【図10】第４の実施形態に係る収音装置によるエリア収音のイメージを示すイメージ図である。

【図11】第４の実施形態に係る収音装置によるエリア収音の別のイメージを示すイメージ図である。

【図12】第５の実施形態に係る収音装置の構成を示すブロック図である。

【図13】第５の実施形態に係る３個のマイクロホンから構成されるマイクロホンアレイを２個用いて、２個のエリアを切り替えて収音する状況のイメージ例を示すイメージ図である。

【発明を実施するための形態】

【0027】

（Ａ）本発明の技術的思想の説明
以下では、まず、本発明の音源分離装置及びプログラムの技術的思想を説明する。

【0028】

本発明は、３個の全指向性のマイクロホンを用いて双指向性と単一指向性とを形成し、入力信号から各指向性フィルタの出力をまとめてスペクトル減算（ＳＳ）を行うことにより、目的方向にのみ鋭い指向性を形成する。

【0029】

図４は、本発明に係る各指向性フィルタにより形成される指向特性の一例を説明する説明図である。

【0030】

ここでは、例えば、マイクロホンは目的方向に対して水平に２個配置し、これらを第１のマイクロホンＭ１、第２のマイクロホンＭ２とする。さらに、第１のマイクロホンＭ１と第２のマイクロホンＭ２と結んだ直線と直交し、かつ、第１のマイクロホンＭ１若しくは第２のマイクロホンＭ２のいずれかのマイクロホン（ここでは、第２のマイクロホンＭ２）を通る直線上に第３のマイクロホンＭ３を配置する。この際、第３のマイクロホンＭ３と第２のマイクロホンＭ２との距離は、第１のマイクロホンＭ１と第２のマイクロホンＭ２との距離と同じとする。すなわち、３個のマイクロホンＭ１、Ｍ２、Ｍ３は、直角二等辺三角形の頂点となるようにする。

【0031】

まず、第１のマイクロホンＭ１及び第２のマイクロホンＭ２からの信号を双指向性フィルタに入力する。また、第２のマイクロホンＭ２及び第３のマイクロホンＭ３からの信号を目的方向に死角を向ける単一指向性フィルタに入力する。

【0032】

そうすると、図４に示す通り、２個の指向性はどちらも目的方向に死角を向けていることが分かる。この双指向性フィルタの出力は目的方向に対して左右方向に存在する非目的音となり、また単一指向性フィルタの出力は目的方向に対して後方に存在する非目的音となる。これら２つの指向性フィルタを用いることで、目的方向以外に存在する全ての非目的音を抽出することができる。最後に各指向性フィルタの出力を全て入力信号からＳＳし、目的音を抽出する。ここで、対象となる入力信号は、第１のマイクロホンＭ１若しくは第２のマイクロホンＭ２の入力信号、又は、第１のマイクロホンＭ１と第２のマイクロホンＭ２との入力信号を平均したものである。

【0033】

上記方式では、ＳＳを双指向性フィルタの出力信号と単一指向性フィルタの出力信号の２個を用いて行なっている。図４の斜線部分が示すように双指向性と単一指向性とは一部重なっており、そのままＳＳを行うと重複部分は２回減算することとなる。ＳＳは、個々の音成分が周波数領域で重なる確率が低いスパース性という性質を利用して目的音を抽出する手法である。

【0034】

しかし、ある音成分が単独で特定の周波数に存在するか否かは、音源の数と周波数の分解能に依存する。そのため、複数の音成分が同じ周波数に存在する状況が考えられる。そのような状況下でＳＳを複数回行うと、減算の度に目的音成分が削られて音質が劣化してしまう可能性がある。

【0035】

そこで、本発明は、ＳＳを行う前に予め双指向性と単一指向性の重なっている部分を消去する。双指向性フィルタで抽出した非目的音の振幅スペクトルから単一指向性フィルタで抽出した非目的音の振幅スペクトルを減算すると、双指向性フィルタで抽出した非目的音成分の内、単一指向性フィルタで抽出した非目的音成分と共通に含まれる成分が消去される。その後、単一指向性フィルタで抽出した非目的音成分と、重複成分を消去した双指向性フィルタで抽出した非目的音を入力信号からＳＳする。これにより、目的音成分の引き過ぎが起こらず、目的音の音質の劣化を防ぐことができる。

【0036】

（Ｂ）第１の実施形態
以下、本発明に係る音源分離装置及びプログラムの第１の実施形態を、図面を参照にしながら詳細に説明する。

【0037】

（Ｂ−１）第１の実施形態の構成
図１は、第１の実施形態に係る音源分離装置１０Ａの構成を示すブロック図である。マイクロホンを除く図１に示す部分は、ハードウェア的に各種回路を接続して構築されても良く、また、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する汎用的な装置若しくはユニットが所定のプログラムを実行することで該当する機能を実現するように構築されても良く、いずれの構築方法を採用した場合であっても機能的には、図１で表すことができる。

【0038】

図１において、第１の実施形態の音源分離装置１０Ａは、第１のマイクロホンＭ１、第２のマイクロホンＭ２、第３のマイクロホンＭ３、信号入力部１−１、１−２、１−３、信号加算部２、双指向性形成部３、単一指向性形成部４、重複指向性消去部５、目的信号抽出部６を備える。

【0039】

第１のマイクロホンＭ１、第２のマイクロホンＭ２、第３のマイクロホンＭ３は、全指向性マイクロホンである。

【0040】

第１のマイクロホンＭ１と第２のマイクロホンＭ２は、目的方向に対して水平に配置する。第３のマクロホンＭ３は、第１のマイクロホンＭ１及び第２のマイクロホンＭ２と同一平面上に存在し、第１のマイクロホンＭ１と第２のマイクロホンＭ２とを結んだ直線に直交し、かつ、第２のマイクロホンＭ２を通る直線上に配置する。

【0041】

このとき、第３のマイクロホンＭ３と第２のマイクロホンＭ２との距離は、第１のマイクロホンＭ１と第２のマイクロホンＭ３との距離と同じとなるようにする。これにより、第１のマイクロホンＭ１、第２のマイクロホンＭ２、第３のマイクロホンＭ３は、直角二等辺三角形の頂点となるようにする。

【0042】

なお、第１のマイクロホンＭ１、第２のマイクロホンＭ２、第３のマイクロホンＭ３は、空間における同一平面上で直角二等辺三角形の頂点に配置されていればよい。

【0043】

信号入力部１−１は、信号加算部２及び双指向性形成部３と接続しており、第１のマイクロホンＭ１が収音したアナログ信号の音響信号（音声信号、音響信号を含むもの）をデジタル信号に変換して入力し、信号加算部２及び双指向性形成部３に出力するものである。

【0044】

信号入力部１−２は、信号加算部２、双指向性形成部３及び単一指向性形成部４と接続しており、第２のマイクロホンＭ２が収音したアナログ信号の音響信号をデジタル信号に変換して入力し、信号加算部２、双指向性形成部３及び単一指向性形成部４に出力するものである。

【0045】

信号入力部１−３は、単一指向性形成部４と接続しており、第３のマイクロホンＭ３が収音したアナログ信号の音響信号（音声信号、音響信号）をデジタル信号に変換して入力し、単一指向性形成部４に出力するものである。

【0046】

図１において、信号入力部１−１、１−２、１−３は、入力信号を時間領域から周波数領域に変換するために、例えば高速フーリエ変換等を行う。

【0047】

信号加算部２は、信号入力部１−１及び信号入力部１−２から出力される信号を加算し、その加算した信号のパワーを１／２倍して目的信号抽出部６に出力する。信号加算部２の出力信号は、目的信号抽出部６におけるスペクトル減算法（ＳＳ）を行う際の入力信号となる。第１の実施形態では、信号加算部２が第１のマイクロホンＭ１及び第２のマイクロホンＭ２からの音響信号を平均した信号を目的信号抽出部６に出力する場合を例示するが、第１のマイクロホンＭ１又は第２のマイクロホンＭ２のいずれかの信号を目的信号抽出部６に出力するようにしても良い。

【0048】

双指向性形成部３は、信号入力部１−１及び信号入力部１−２からの出力（デジタル信号）に対するビームフォーマ（ＢＦ）により、目的方向に死角を向ける双指向性を形成する双指向性フィルタであり、形成した双指向性を重複指向性消去部５に出力する。

【0049】

単一指向性形成部４は、信号入力部１−２及び信号入力部１−３からの出力（デジタル信号）に対するビームフォーマにより、目的方向に死角を向ける単一指向性を形成する単一指向性フィルタであり、形成した単一指向性を重複指向性消去部５に出力する。

【0050】

重複指向性消去部５は、目的信号抽出部６においてスペクトル減算法（ＳＳ）を行う前に、双指向性と単一指向性との指向性重複部分を消去するため、双指向性形成部３の出力信号と単一指向性形成部４の出力信号とに共通に含まれる信号成分を消去するものである。

【0051】

目的信号抽出部６は、信号加算部２と重複指向性消去部５と接続しており、信号加算部２からの信号を入力信号として、この入力信号から重複指向性消去部５の出力信号をスペクトル減算することにより、目的音を抽出するものである。

【0052】

目的音を抽出するための処理では、全ての出力が周波数領域で表現されていることを要する。従って、上述したように、信号入力部１−１、１−２、１−３は、時間領域の信号を周波数領域の信号に変換する変換部を有している。

【0053】

（Ｂ−２）第１の実施形態の動作
次に、第１の実施形態に係る音源分離装置１０Ａにおける動作を説明する。

【0054】

第１のマイクロホンＭ１、第２のマイクロホンＭ２、第３のマイクロホンＭ３は、それぞれ直角二等辺三角形の頂点になるように配置される。例えば、第１のマイクロホンＭ１及び第２のマイクロホンＭ２の間隔と、第２のマイクロホンＭ２及び第３のマイクロホンＭ３の間隔とが例えば３ｃｍとなるように配置したものとする。

【0055】

目的とする音源が発した音（音声や音響）が第１のマイクロホンＭ１、第２のマイクロホンＭ２、第３のマイクロホンＭ３により収音（捕捉）される。

【0056】

第１のマイクロホンＭ１が捕捉して得た音響信号（アナログ信号）は、信号入力部１−１によりデジタル変換され、更に信号入力部１−１により、例えば高速フーリエ変換を用いて時間領域から周波数領域に変換されて信号加算部２及び双指向性形成部３に与えられる。

【0057】

また、第２のマイクロホンＭ２が捕捉して得た音響信号（アナログ信号）は、信号入力部１−２によりデジタル変換され、更に信号入力部１−２により、例えば高速フーリエ変換を用いて時間領域から周波数領域に変換されて信号加算部２、双指向性形成部３及び単一指向性形成部４に与えられる。

【0058】

さらに、第３のマイクロホンＭ３が捕捉して得た音響信号（アナログ信号）は、信号入力部１−３によりデジタル変換され、更に信号入力部１−３により、例えば高速フーリエ変換を用いて時間領域から周波数領域に変換されて単一指向性形成部４に与えられる。

【0059】

信号加算部２において、時間軸が揃えられた信号入力部１−１からの出力信号と信号入力部１−２からの出力信号とが加算され、この加算された信号のパワーが１／２倍されて、目的音成分が強調される。

【0060】

双指向性形成部３では、（１）式に従い、θ_Ｌ＝０として、第１のマイクロホンＭ１と第２のマイクロホンＭ２との間の距離ｄ（例えば３ｃｍ）に基づいて、第１のマイクロホンＭ１に到来した信号と第２のマイクロホンＭ２に到来した信号との時間差が算出される。更に、双指向性形成部３では、（３）式に従って、信号入力部１−１からの周波数領域の出力信号と、信号入力部１−２からの周波数領域の出力信号とに基づいて、目的方向に死角を向ける双指向性が形成される。

【0061】

つまり、双指向性形成部３により形成される双指向性は、図４に示す通り、目的方向に対して、第１のマイクロホンＭ１及び第２のマイクロホンＭ２を結んだ直線方向（図４における左右方向）に存在する非目的音となる。

【0062】

単一性形成部４では、（１）式に従い、θ_Ｌ＝−π／２とし、第２のマイクロホンＭ２と第３のマイクロホンＭ３との間の距離ｄ（例えば３ｃｍ）に基づいて、第２のマイクロホンＭ２に到来した信号と第３のマイクロホンＭ３に到来した信号との時間差が算出される。更に、単一指向性形成部４では、（３）式に従って、信号入力部１−２からの周波数領域の出力信号と、信号入力部１−３からの周波数領域の出力信号とに基づいて、目的方向に死角を向ける単一指向性が形成される。

【0063】

つまり、単一指向性形成部４により形成される単一指向性は、図４に示す通り、目的方向に対して後方（すなわち、目的方向の反対側）に存在する非目的音となる。

【0064】

重複指向性消去部５では、双指向性形成部３の出力の振幅スペクトルＮ_ＢＤと単一指向性形成部４の出力の振幅スペクトルＮ_ＵＤに共通に含まれる信号成分が消去される。

【0065】

ここで、重複指向性消去部５による重複する信号成分の消去方法は、（５）式に従って行なわれる。

【数1】

【0066】

ここで、Ｎ_ＵＤ１はＮ_ＵＤとＮ_ＢＤの重複成分を消去した出力信号の振幅スペクトルである。

【0067】

重複指向性消去部５による重複信号成分の減算の結果、Ｎ_ＵＤ１がマイナスの値になった場合、重複指向性消去部５はフロアリング処理を行う。また、この例では、重複指向性消去部５がＮ_ＵＤからＮ_ＢＤを減算しているが、逆にＮ_ＢＤからＮ_ＵＤを減算し、重複成分を消去した出力信号の振幅スペクトルＮ_ＢＤ１としても良い。なお、ＢＦによる指向性は、マイクロホン間隔により周波数毎のゲインが違ってくるが、Ｎ_ＢＤとＮ_ＵＤはともにゲイン補正を行なっているものとする。

【0068】

ビームフォーマ（ＢＦ）により指向性は、マイクロホンの間隔により周波数毎のゲインが違ってくるが、双指向性形成部３の出力の振幅スペクトルＮ_ＢＤと単一指向性形成部４の出力の振幅スペクトルＮ_ＵＤとは共にゲイン補正を行っているものとする。例えば、重複指向性消去部５が、時間軸が揃えられた双指向性形成部３の出力の振幅スペクトルＮ_ＢＤと単一指向性形成部４の出力の振幅スペクトルＮ_ＵＤとに基づいて、周波数毎の振幅スペクトルの比率を求め、出力パワーを揃えるための補正係数を用いてゲイン補正するようにしても良い。

【0069】

目的信号抽出部６には、信号加算部２から目的音としての出力の振幅スペクトルＸ_ＤＳと、重複指向性消去部５から非目的音としての出力の振幅スペクトルＮ_ＢＤ及び重複部分減算後の出力の振幅スペクトルＮ_ＵＤ１とが与えられる。

【0070】

そして、目的信号抽出部６では、信号加算部２の出力の振幅スペクトルＸ_ＤＳから、重複指向性消去部５の出力の振幅スペクトルＮ_ＢＤ及び重複部分減算後の出力の振幅スペクトルＮ_ＵＤ１を減算して、強調した目的音が抽出される。

【0071】

目的信号抽出部６による目的音の抽出は、(６)式に従って行なわれる。

【0072】

Ｙ＝Ｘ_ＤＳ−β_１Ｎ_ＢＤ−β_２Ｎ_ＵＤ１ （６）
ここで、β_１とβ_２はスペクトル減算による強度を調節するための係数である。

【0073】

（Ｂ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば、３個の全指向性マイクロホンにより収音された音響信号を用いて、単一指向性フィルタと双指向性フィルタにより非目的音を抽出し、抽出した非目的音を入力信号からＳＳすることにより、目的方向にのみ鋭い指向性を形成することができる。

【0074】

また、第１の実施形態によれば、目的方向の指向性の形成にＳＳしか使用していないため、雑音が増えたとしても音源分離性能が急激に悪化することはない。さらに、第１の実施形態によれば、双指向性と単一指向性の重複する指向性重複部分を予め消去してからＳＳを行うことで、重複部分の複数回の減算による目的音の音質の劣化を防ぐことができる。

【0075】

（Ｃ）第２の実施形態
次に、本発明に係る音源分離装置及びプログラムの第２の実施形態を、図面を参照しながら詳細に説明する。

【0076】

第１の実施形態では、３個のマイクロホンを直角二等辺三角形の頂点に配置する場合を例示したが、第２の実施形態では、正三角形の頂点に３個のマイクロホンを配置する場合を例示する。

【0077】

（Ｃ−１）第２の実施形態の構成
図５は、第２の実施形態に係る音源分離装置１０Ｂの構成を示すブロック図であり、第１の実施形態に係る図１との同一、対応部分には同一符号を付して示している。

【0078】

図５において、第２の実施形態に係る音源分離装置１０Ｂは、第１のマイクロホンＭ１、第２のマイクロホンＭ２、第３のマイクロホンＭ３、信号入力部１−１〜１−３、信号加算部２、双指向性形成部３、単一指向性形成部４−１及び４−２、重複指向性消去部５、目的信号抽出部６を備える。

【0079】

第１のマイクロホンＭ１と第２のマイクロホンＭ２は、目的方向に対して水平に配置する。第３のマクロホンＭ３は、第１のマイクロホンＭ１及び第２のマイクロホンＭ２と同一平面上であって、目的方向の反対側に位置するようにして、第１のマイクロホンＭ１、第２のマイクロホンＭ２及び第３のマイクロホンＭ３が正三角形の頂点になるように配置される。

【0080】

信号入力部１−１は、信号加算部２、双指向性形成部３及び単位値指向性形成部４−１と接続しており、出力信号を信号加算部２、双指向性形成部３及び単位値指向性形成部４−１に与える。

【0081】

信号入力部１−２は、信号加算部２及び単一指向性形成部４−２と接続しており、出力信号を信号加算部２及び単一指向性形成部４−２に与える。

【0082】

信号入力部１−３は、単一指向性形成部４−１及び４−２に接続しており、出力信号を単一指向性形成部４−１及び４−２に与える。

【0083】

単一指向性形成部４−１は、信号入力部１−１及び信号入力部１−３からの出力（デジタル信号）に対するビームフォーマにより、目的方向に対し＋６０°の角度に死角を向ける単一指向性を形成する単一指向性フィルタであり、形成した単一指向性を重複指向性消去部５に出力する。

【0084】

単一指向性形成部４−２は、信号入力部１−２及び信号入力部１−３からの出力（デジタル信号）に対するビームフォーマにより、目的方向に対し−６０°の角度に死角を向ける単一指向性を形成する単一指向性フィルタであり、形成した単一指向性を重複指向性消去部５に出力する。

【0085】

重複指向性消去部５は、双指向性形成部３と単一指向性形成部４−１及び４−２とのそれぞれの出力に共通に含まれる信号成分を消去するものである。

【0086】

（Ｃ−２）第２の実施形態の動作
第２の実施形態の音源分離装置１０Ｂにおける動作は、単一指向性形成部４−１及び４−２、重複指向性消去部５、目的信号抽出部６の動作が異なっているため、以下ではこれらの構成要素の動作を説明する。

【0087】

上述したように、第１のマイクロホンＭ１、第２のマイクロホンＭ２、第３のマイクロホンＭ３はそれぞれ、正三角形の頂点になるように配置される。

【0088】

第２の実施形態では、第１のマイクロホンＭ１及び第３のマイクロホンＭ３の音響信号に基づいて単一指向性を形成し、第２のマイクロホンＭ２及び第３のマイクロホンＭ３の音響信号に基づいて単一指向性を形成する。

【0089】

単一性形成部４−１では、（１）式に従い、θ_Ｌ＝−π／２とし、第１のマイクロホンＭ１と第３のマイクロホンＭ３との間の距離ｄ（例えば３ｃｍ）に基づいて、第１のマイクロホンＭ１に到来した信号と第３のマイクロホンＭ３に到来した信号との時間差が算出される。更に、単一指向性形成部４−１では、（３）式に従って、信号入力部１−１からの周波数領域の出力信号と、信号入力部１−３からの周波数領域の出力信号とに基づいて、目的方向に対し＋６０°に死角を向ける単一指向性が形成される。

【0090】

単一性形成部４−２では、（１）式に従い、θ_Ｌ＝−π／２とし、第２のマイクロホンＭ２と第３のマイクロホンＭ３との間の距離ｄ（例えば３ｃｍ）に基づいて、第２のマイクロホンＭ２に到来した信号と第３のマイクロホンＭ３に到来した信号との時間差が算出される。更に、単一指向性形成部４−２では、（３）式に従って、信号入力部１−２からの周波数領域の出力信号と、信号入力部１−３からの周波数領域の出力信号とに基づいて、目的方向に対し−６０°に死角を向ける単一指向性が形成される。

【0091】

重複指向性消去部５では、双指向性形成部３の出力と単一指向性形成部４−１及び４−２の出力とのそれぞれに共通に含まれる成分を消去する。

【0092】

図６は、第２の実施形態に係る各指向性フィルタにより形成される指向特性を説明する説明図である。

【0093】

図６に示すように、指向性の重複部分は、双指向性形成部３からの双指向性と単一指向性形成部４−１からの単一指向性との間、双指向性形成部３からの双指向性と単一指向性形成部４−２からの単一指向性との間に存在すると共に、単一指向性形成部４−１及び４−２からの単一指向性の間にも存在している。

【0094】

そこで、重複指向性消去部５による重複部分の消去方法は、（５）式を拡張した（７）式〜（９）式を使用する。

【数2】

【0095】

ここで、Ｎ_ＢＤは双指向性形成部３の出力の振幅スペクトル、Ｎ_ＵＤＬは単一指向性形成部４−１の出力の振幅スペクトル、Ｎ_ＵＤＲは単一指向性形成部４−２の出力の振幅スペクトルである。

【0096】

重複指向性消去部５では、双指向性形成部３の出力の振幅スペクトルＮ_ＢＤと単一指向性形成部４−１の出力の振幅スペクトルＮ_ＵＤＬに共通に含まれる信号成分が消去される。つまり、重複指向性消去部５では、（７）式に従って、単一指向性形成部４−１の出力の振幅スペクトルＮ_ＵＤＬから双指向性形成部３の出力の振幅スペクトルＮ_ＢＤを減算して、重複部分減算後の出力の振幅スペクトルＮ_ＵＤＬ１が求められる。

【0097】

また、重複指向性消去部５では、双指向性形成部３の出力の振幅スペクトルＮ_ＢＤと単一指向性形成部４−２の出力の振幅スペクトルＮ_ＵＤＲに共通に含まれる信号成分が消去される。つまり、重複指向性消去部５では、（８）式に従って、単一指向性形成部４−２の出力の振幅スペクトルＮ_ＵＤＲから双指向性形成部３の出力の振幅スペクトルＮ_ＢＤを減算して、重複部分減算後の出力の振幅スペクトルＮ_ＵＤＲ１が求められる。

【0098】

さらに、重複指向性消去部５では、Ｎ_ＢＤとの重複成分を消去した出力の振幅スペクトルＮ_ＵＤＬ１と、Ｎ_ＢＤとの重複成分を消去した出力の振幅スペクトルＮ_ＵＤＲ１とに共通に含まれる信号成分が消去される。つまり、重複指向性消去部５では、（９）式に従って、Ｎ_ＢＤとの重複成分を消去した出力の振幅スペクトルＮ_ＵＤＲ１から、Ｎ_ＢＤとの重複成分を消去した出力の振幅スペクトルＮ_ＵＤＬ１を減算して、重複部分減算後の出力の振幅スペクトルＮ_ＵＤＲ２が求められる。

【0099】

また、（７）式〜（９）式において、重複成分を消去する順番は、変更することができる。つまり、各振幅スペクトルを入れ替えて、Ｎ_ＵＤＬ２＝Ｎ_ＵＤＬ１−Ｎ_ＵＤＲ１や、Ｎ_ＢＤ１＝Ｎ_ＢＤ−Ｎ_ＵＤＬとして処理を進めても良い。

【0100】

なお、（７）式〜（９）式において、重複部分の減算後の出力の振幅スペクトルＮ_ＵＤＬ１、Ｎ_ＵＤＲ１、Ｎ_ＵＤＲ２の値がマイナスになった場合には、重複部分減算後の出力の振幅スペクトルＮ_ＵＤＬ１、Ｎ_ＵＤＲ１、Ｎ_ＵＤＲ２の値を０に置き換えるフロアリング処理がなされる。なお、フロアリング処理は、重複部分の減算後の出力の振幅スペクトルの元の値（直前の値）を小さくした値に置き換えるようにしても良い。

【0101】

また、第１の実施形態と同様に、ビームフォーマ（ＢＦ）により指向性は、マイクロホンの間隔により周波数毎のゲインが違ってくるため、出力の振幅スペクトルについて、周波数毎のゲイン補正を行うようにしても良い。

【0102】

目的信号抽出部６には、信号加算部２から目的音としての出力の振幅スペクトルＸ_ＤＳと、重複指向性消去部５から非目的音としての重複部分減算後の出力の振幅スペクトルＮ_ＵＤＬ１及び重複部分減算後の出力の振幅スペクトルＮ_ＵＤＲ２とが与えられる。

【0103】

そして、目的信号抽出部６では、（１０）式に従って、信号加算部２の出力の振幅スペクトルＸ_ＤＳから、重複部分減算後の出力の振幅スペクトルＮ_ＵＤＬ１及びＮ_ＵＤＲ２を減算して、強調した目的音が抽出される。ここで、β_１とβ_２、β_３はそれぞれＳＳの強度を調節するための係数である。

【0104】

Ｙ＝Ｘ_ＤＳ−β_１Ｎ_ＢＤ−β_２Ｎ_ＵＤＬ１−β_３Ｎ_ＵＤＲ２ （１０）
（Ｃ−３）第２の実施形態の効果
以上のように、第２の実施形態によれば、正三角形の頂点に３個の全指向性マイクロホンを配置した場合でも、第１の実施形態と同様の効果が得られる。

【0105】

（Ｄ）第３の実施形態
次に、本発明に係る音源分離装置及びプログラムの第３の実施形態を、図面を参照しながら詳細に説明する。

【0106】

上述した第２の実施形態では、第１のマイクロホンＭ１と第３のマイクロホンＭ３、第２のマイクロホンＭ２と第３のマイクロホンＭ３の２つの組合せでそれぞれ単一指向性を形成した。

【0107】

ここで、目的方向に存在する音源は、第１のマイクロホンＭ１と第２のマイクロホンＭ２に同時に到達するため、信号加算部２の出力を第１のマイクロホンＭ１と第２のマイクロホンＭ２の中間に位置するマイクロホンで収音した音響信号と擬似的にみなすことができる。

【0108】

そこで、第３の実施形態では、信号加算部２の出力と信号入力部１−３の出力とを用いて、目的方向に死角を向ける単一指向性を形成する場合を説明する。

【0109】

（Ｄ−１）第３の実施形態の構成
図７は、第３の実施形態に係る音源分離装置１０Ｃの構成を示すブロック図であり、第１及び第２の実施形態に係る図１及び図５との同一、対応部分には同一符号を付して示している。

【0110】

図７において、第３の実施形態に係る音源分離装置１０Ｃは、第１のマイクロホンＭ１、第２のマイクロホンＭ２、第３のマイクロホンＭ３、信号入力部１−１〜１−３、信号加算部２、双指向性形成部３、単一指向性形成部４、重複指向性消去部５、目的信号抽出部６を備える。

【0111】

信号入力部１−１は、第１の実施形態と同様に、信号加算部２及び双指向性形成部３と接続しており、出力信号を信号加算部２及び双指向性形成部３に与える。

【0112】

信号入力部１−２は、信号加算部２及び双指向性形成部３と接続しており、出力信号を信号加算部２及び双指向性形成部３に与える。

【0113】

信号入力部１−３は、単一指向性形成部４に接続しており、出力信号を単一指向性形成部４に与える。

【0114】

信号加算部２は、第１の実施形態と同様に、信号入力部１−１及び信号入力部１−２から出力される信号を加算し、その加算した信号のパワーを１／２倍して目的信号抽出部６及び単一指向性形成部４に出力する。

【0115】

単一指向性形成部４は、信号入力部１−３からの出力及び信号加算部２からの出力に対するビームフォーマにより、目的方向に死角を向ける単一指向性を形成する単一指向性フィルタであり、形成した単一指向性を重複指向性消去部５に出力する。

【0116】

双指向性形成部３、重複指向性消去部５及び目的信号抽出部６は、第１の実施形態と同様の構成である。

【0117】

（Ｄ−２）第３の実施形態の動作
第３の実施形態の音源分離装置１０Ｃにおける動作は、単一指向性形成部４の動作が異なっているため、以下では単一指向性形成部４の動作を説明する。

【0118】

信号加算部２において、信号入力部１−１及び信号入力部１−２から出力される信号を加算し、その加算した信号のパワーを１／２倍した信号が、単一指向性形成部４に出力される。

【0119】

この信号加算部２からの出力は、目的方向に対して水平に配置された信号入力部１−１及び１−２からの出力を平均しているため、第１のマイクロホンＭ１と第２のマイクロホンＭ２の中間に位置するマイクロホン（疑似的なマイクロホン）で収音した音響信号とみなすことができる。

【0120】

単一性形成部４では、（１）式に従い、θ_Ｌ＝−π／２とし、第３のマイクロホンＭ３の出力と、信号加算部２の出力との時間差を算出する。更に、単一指向性形成部４では、（３）式に従って、信号入力部１−３からの周波数領域の出力信号と、信号加算部２からの周波数領域の出力信号とに基づいて、目的方向に死角を向ける単一指向性が形成される。

【0121】

双指向性形成部３、重複指向性消去部５及び目的信号抽出部６の動作は、第１の実施形態と同様であり、目的信号抽出部６により強調された目的音が抽出される。

【0122】

（Ｄ−３）第３の実施形態の効果
以上のように、第３の実施形態によれば、正三角形の頂点に３個の全指向性マイクロホンを配置した場合でも、第１のマイクロホンＭ１と第２のマイクロホンＭ２に同時に到達するため、信号加算部２の出力を、第１のマイクロホンＭ１と第２のマイクロホンＭ２の中間に位置するマイクロホンで収音した音響信号とみなすことにより、第１及び第２の実施形態と同様の効果が得られる。

【0123】

（Ｅ）第４の実施形態
次に、本発明に係る音源分離装置、音源分離プログラム、収音装置及び収音プログラムの第４の実施形態を、図面を参照しながら詳細に説明する。

【0124】

第４の実施形態は、第１の実施形態で説明した３個の全指向性マイクロホンからなるマイクロホンアレイを用いて、ある特定のエリア内に存在する目的エリア音を収音する収音装置に本発明を適用する場合を例示する。

【0125】

（Ｅ−１）第４の実施形態の構成
図８は、第４の実施形態に係る収音装置２０Ａの構成を示すブロック図である。図８において、第１の実施形態に係る図１との同一、対応部分には同一符号を付して示している。

【0126】

マイクロホンを除く図８に示す部分は、ハードウェア的に各種回路を接続して構築されても良く、また、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する汎用的な装置若しくはユニットが所定のプログラムを実行することで該当する機能を実現するように構築されても良く、いずれの構築方法を採用した場合であっても機能的には、図８で表すことができる。

【0127】

図８において、第４の実施形態に係る収音装置２０Ａは、第１のマイクロホンアレイＭＡ１、第２のマイクロホンアレイＭＡ２、データ入力部１、指向性形成部２１、遅延補正部２２、空間座標データ保持部２３、目的エリア音パワー補正係数算出部２４、目的エリア音抽出部２５を備える。

【0128】

第１のマイクロホンアレイＭＡ１は、目的エリア（以下、ＴＡＲとも呼ぶ、図１０参照。）が存在する空間の、目的エリアＴＡＲを指向できる場所に配置される。

【0129】

第１のマイクロホンアレイＭＡ１は、図８に示すように、３個のマイクロホンＭ１、Ｍ２及びＭ３から構成されており、３個のマイクロホンＭ１、Ｍ２及びＭ３が直角二等辺三角形の頂点に配置されている。各マイクロホンＭ１、Ｍ２及びＭ３が収音（捕捉）して得た音響信号は当該収音装置２０Ａの本体に入力される。

【0130】

第２のマイクロホンアレイＭＡ２は、第１のマイクロホンアレイＭＡ１と同様に、３個のマイクロホンＭ１、Ｍ２及びＭ３が直角二等辺三角形の頂点に配置された構成であり、各マイクロホンＭ１、Ｍ２及びＭ３が収音（捕捉）して得た音響信号は当該収音装置２０Ａの本体に入力される。

【0131】

また、第２のマイクロホンアレイＭＡ２は、第１のマイクロホンアレイＭＡ１とは異なる、目的エリアＴＡＲを指向できる場所に配置されている。つまり、目的エリアＴＡＲに対する第１及び第２のマイクロホンアレイＭＡ１及びＭＡ２の位置は、各マイクロホンアレイＭＡ１及びＭＡ２の指向性が目的エリアＴＡＲでのみ重なっていればよく、例えば目的エリアＴＡＲを挟んで対向する位置にそれぞれが配置するようにしても良い。

【0132】

なお、マクロホンアレイの数は２個に限定されるものではなく、目的エリアＴＡＲが複数存在する場合、全ての目的エリアＴＡＲをカバーできる数のマイクロホンアレイを配置するようにしても良い。

【0133】

また、第１及び第２のマイクロホンアレイＭＡ１及びＭＡ２を構成するマイクロホンＭ１、Ｍ２及びＭ３は、直角二等辺三角形の頂点に配置されるものであっても良いし、正三角形の頂点に配置されるものであっても良い。

【0134】

データ入力部１は、第１及び第２のマイクロホンアレイＭＡ１、ＭＡ２で収音した音響信号をアナログ信号からデジタル信号に変換するものである。データ入力部１は、例えば高速フーリエ変換等を用いて、時間領域から周波数領域に変換して、指向性形成部２１に出力する。

【0135】

指向性形成部２２は、各マイクロホンアレイＭＡ１、ＭＡ２からの出力（デジタル信号）に対するビームフォーマにより、目的エリア方向に対して各マイクロホンアレイＭＡ１、ＭＡ２の前方に指向性を向けた指向性ビームを形成し、各マイクロホンアレイＭＡ１、ＭＡ２についてのビームフォーマ出力を得るものである。ビームフォーマ法は、加算型の遅延和法、減算型のスペクトル減算法など各種手法を使うことができる。また、ターゲットとする目的エリアＴＡＲの範囲に応じて指向性の強度を変更するようにしても良い。

【0136】

空間座標データ保持部２３は、目的エリアＴＡＲ（の中心）の位置情報や、各マイクロホンアレイＭＡ１、ＭＡ２の位置情報を保持しているものである。

【0137】

遅延補正部２２は、目的アリアＴＡＲと各マイクロホンアレイＭＡ１、ＭＡ２の距離の違いにより発生する遅延（伝搬遅延時間）の差を算出し、その差を吸収するように、各マイクロホンアレイＭＡ１、ＭＡ２についてのビームフォーマ出力の少なくとも１つを補正するものである。具体的な手順例は、まず、空間座標データ保持部２３から、目的エリアＴＡＲの位置と各マイクロホンアレイの位置を取得し、各マイクロホンアレイへの目的エリア音の到達時間（伝搬遅延時間）の差を算出する。目的エリアＴＡＲから最も遠い位置に配置されたマイクロホンアレイに目的エリア音が到達するタイミングを基準とし、全てのマイクロホンアレイに目的エリア音が同時に到達するように、基準のマイクロホンアレイ以外の他の全てのマイクロホンアレイのビームフォーマ出力に遅延を加える。

【0138】

なお、目的エリアＴＡＲが変更されることなく、かつ、その目的エリアＴＡＲと各マイクロホンアレイＭＡ１、ＭＡ２との距離が等しい場合には、遅延補正部２２及び空間座標データ保持部２３を省略することができる。

【0139】

目的エリア音パワー補正係数算出部２４は、各ビームフォーマ出力における目的エリア音のパワーを揃えるための補正係数を算出するものである。

【0140】

ここで、目的エリア音パワー補正係数算出部２４による補正係数の算出手法の一例として、各マイクロホンアレイのＢＦ出力に含まれる目的エリア音のパワーの比率を推定し、それを補正係数とする方法を使用できる。

【0141】

目的エリア音抽出部２５は、遅延補正部２２から出力された各ビームフォーマ出力と、目的エリア音パワー補正係数算出部２４から出力された補正係数とに基づいて、目的エリア音を抽出するものである。

【0142】

図９は、第４の実施形態に係る指向性形成部２１の内部構成を示すブロック図である。

【0143】

指向性形成部２１は、第１の実施形態で説明した音源分離装置１０Ａと同一、対応する構成を、マイクロホンアレイＭＡ１、ＭＡ２毎に備えており、対応する構成要素には、第１の実施形態の図１と同一符号を付している。

【0144】

つまり、指向性形成部２１は、マイクロホンアレイＭＡ１、ＭＡ２毎に、目的方向に対してマイクロホンアレイの前方を指向性方向とする指向性を形成するため、指向性形成部２１は、マイクロホンアレイＭＡ１又はＭＡ２毎に、図９に示す内部構成を有する。

【0145】

図９において、第４の実施形態の指向性形成部２１は、信号加算部２、双指向性形成部３、単一指向性形成部４、重複指向性消去部５、目的信号抽出部６を備える。

【0146】

（Ｅ−２）第４の実施形態の動作
次に、第４の実施形態に係る収音装置２０Ａの動作を説明する。

【0147】

目的エリアＴＡＲに位置している全ての音源が放音した音は、目的エリアＴＡＲを処理対象としている、全てのマイクロホンアレイＭＡ１、ＭＡ２のマイクロホンＭ１、Ｍ２及びＭ３によって捕捉される。なお、マイクロホンアレイＭＡ１及びＭＡ２のマイクロホンＭ１、Ｍ２及びＭ３は目的エリアＴＡＲ以外のエリアに存在する音源からの音も捕捉する。

【0148】

第１のマイクロホンアレイＭＡ１の全てのマイクロホンＭ１、Ｍ２及びＭ３が、収音（捕捉）して得た音響信号（アナログ信号）は、データ入力部１によってデジタル信号に変換されて指向性形成部２１に与えられる。同様に、第２のマイクロホンアレイＭＡ２の全てのマイクロホンＭ１、Ｍ２及びＭ３が、収音（捕捉）して得た音響信号（アナログ信号）は、データ入力部１によってデジタル信号に変換されて指向性形成部２１に与えられる。

【0149】

第１のマイクロホンアレイＭＡ１からのデジタル信号に変換された全ての音響信号に対し、指向性形成部２１によって、目的エリアＴＡＲの方向に対してマイクロホンアレイＭＡ１の前方を指向性方向とするビームフォーマ処理が施されて、ビームフォーマ出力が遅延補正部２２に与えられる。また、第２のマイクロホンアレイＭＡ２からのデジタル信号に変換された全ての音響信号に対し、指向性形成部２１によって、目的エリアＴＡＲの方向に対してマイクロホンアレイＭＡ１の前方を指向性方向とするビームフォーマ処理が施されて、ビームフォーマ出力が遅延補正部２２に与えられる。

【0150】

ここで、指向性形成部２１における詳細な動作を、図９を用いて説明する。

【0151】

第１のマイクロホンアレイＭＡ１の、目的方向に対して水平に位置するマイクロホンＭ１からの入力信号ｘ１１とマイクロホンＭ２からの入力信号ｘ１２が信号加算部２に与えられる。信号加算部２では、入力信号ｘ１１と入力信号ｘ１２を加算した後、加算した信号のパワーを１／２倍して、目的音成分を強調する。

【0152】

また、第１のマイクロホンアレイＭＡ１のマイクロホンＭ１及びＭ２の入力信号ｘ１１及びｘ１２が、双指向性形成部３に与えられる。双指向性形成部３では、入力信号ｘ１１と入力信号ｘ１２を用い、目的方向に死角を向ける双指向性フィルタを形成する。双指向性の形成は、第１の実施形態と同様にして、（１）と（３）式に従い、θ_Ｌ＝０として求められる。

【0153】

さらに、第１のマイクロホンアレイＭＡ１の、目的方向と同じ方向に位置するするマイクロホンＭ２及びＭ３の入力信号ｘ１２及び入力信号ｘ１３が単一指向性形成部４に与えられる。単一指向性形成部４では、目的方向と同じ方向に位置するするマイクロホンＭ２及びＭ３の入力である入力信号ｘ１２及び入力信号ｘ１３を用い、目的方向に死角を向ける単一指向性フィルタを形成する。双指向性の形成は、第１の実施形態と同様に、（１）と（３）式に従い、θ_Ｌ＝−π／２として求められる。

【0154】

重複指向性消去部５では、双指向性形成部３の出力の振幅スペクトルＮ_ＢＤと単一指向性形成部４の出力の振幅スペクトルＮ_ＵＤに共通に含まれる信号成分が消去される。つまり、重複指向性消去部５では、（５）式に従って、単一指向性形成部４の出力の振幅スペクトルＮ_ＵＤから双指向性形成部３の出力の振幅スペクトルＮ_ＢＤを減算して、重複部分減算後の出力の振幅スペクトルＮ_ＵＤ１が求められる。

【0155】

ここで、重複部分減算後の出力の振幅スペクトルＮ_ＵＤ１を求める際、重複部分減算後の出力の振幅スペクトルＮ_ＵＤ１の値がマイナスになった場合には、重複部分減算後の出力の振幅スペクトルＮ_ＵＤ１の値を０又は元の値を小さくした値に置き換えるフロアリング処理がなされる。なお、フロアリング処理は、重複部分減算後の出力の振幅スペクトルＮ_ＵＤ１の元の値（直前の値）を小さくした値に置き換えるようにしても良い。

【0156】

ビームフォーマ（ＢＦ）により指向性は、マイクロホンの間隔により周波数毎のゲインが違ってくるが、双指向性形成部３の出力の振幅スペクトルＮ_ＢＤと単一指向性形成部４の出力の振幅スペクトルＮ_ＵＤとは共にゲイン補正を行っているものとする。例えば、重複指向性消去部５が、時間軸が揃えられた双指向性形成部３の出力の振幅スペクトルＮ_ＢＤと単一指向性形成部４の出力の振幅スペクトルＮ_ＵＤとに基づいて、周波数毎の振幅スペクトルの比率を求め、出力パワーを揃えるための補正係数を用いてゲイン補正するようにしても良い。

【0157】

目的信号抽出部６には、信号加算部２から目的音としての出力の振幅スペクトルＸ_ＤＳと、重複指向性消去部５から非目的音としての出力の振幅スペクトルＮ_ＢＤ及び重複部分減算後の出力の振幅スペクトルＮ_ＵＤ１とが与えられる。そして、目的信号抽出部６では、（６）式に従って、信号加算部２の出力の振幅スペクトルＸ_ＤＳから、重複指向性消去部５の出力の振幅スペクトルＮ_ＢＤ及び重複部分減算後の出力の振幅スペクトルＮ_ＵＤ１を減算して、強調した目的音が抽出される。

【0158】

第２のマイクロホンアレイＭＡ２についても、マイクロホンＭ１、Ｍ２及びＭ３からの入力信号ｘ２１、ｘ２２及びｘ２３は指向性形成部２１に与えられ、第１のマイクロホンアレイＭＡ１の場合と同様にして、目的方向に対して第２のマイクロホンアレイＭＡ２の前方にのみ強調された目的音が抽出される。

【0159】

遅延補正部３では、空間座標データ保持部２３の保持データに基づいて、目的エリアＴＡＲと各マイクロホンアレイＭＡ１、ＭＡ２の距離の違いにより発生する目的エリアＴＡＲから第１のマイクロホンアレイＭＡ１への伝搬遅延時間と、目的エリアＴＡＲから第１のマイクロホンアレイＭＡ２への伝搬遅延時間との差が算出され、その時間差を吸収するように各マイクロホンアレイＭＡ１、ＭＡ２についてのビームフォーマ出力Ｘ_ｍａ１（ｔ）及びＸ_ｍａ２（ｔ−τ）の少なくとも１つの時間軸が補正される。

【0160】

以上のようにして時間軸が揃えられたビームフォーマ出力Ｘ_ｍａ１（ｔ）及びＸ_ｍａ２（ｔ−τ）が目的エリア音抽出部２５及び目的エリア音パワー補正係数算出部２４に与えられる。

【0161】

また、目的エリア音パワー補正係数算出部２４では、時間軸が揃えられたビームフォーマ出力Ｘ_ｍａ１（ｔ）及びＸ_ｍａ２（ｔ−τ）に基づいて、これらビームフォーマ出力Ｘ_ｍａ１（ｔ）及びＸ_ｍａ２（ｔ−τ）における目的エリア音のパワーを揃えるための補正係数が算出される。

【0162】

例えば２個のマイクロホンアレイＭＡ１、ＭＡ２を使用する場合、目的エリア音パワーの補正係数は、（１１）式、（１２）式、又は（１３）式、（１４）式により算出される。

【数3】

【0163】

ここで、Ｘ_１ｋ（ｎ）、Ｘ_２ｋ（ｎ）はマイクロホンアレイＭＡ１、ＭＡ２のビームフォーマ出力の振幅スペクトル、Ｎは周波数ビンの総数、ｋは周波数、α_１（ｎ）、α_２（ｎ）は各ビームフォーマ出力に対するパワー補正係数である。またｍｏｄｅは最頻値、ｍｅｄｉａｎは中央値を表している。

【0164】

目的エリア音抽出部２５は、目的エリア音パワー補正係数算出部２４からの補正係数α_１（ｎ）、α_２（ｎ）により補正した各ビームフォーマ出力データを、（１５）式、（１６）式に従ってスペクトル減算を行い、目的エリア方向に存在する雑音を抽出する。つまり、補正係数α_１（ｎ）、α_２（ｎ）により各ビームフォーマ出力を補正し、スペクトル減算を行うことで、目的エリア方向に存在する非目的エリア音を抽出する。

【0165】

Ｎ_１（ｎ）＝Ｘ_１（ｎ）−α_２（ｎ）Ｘ_２（ｎ） （１５）
Ｎ_２（ｎ）＝Ｘ_２（ｎ）−α_１（ｎ）Ｘ_１（ｎ） （１６）
マイクロホンアレイＭＡ１からみた目的エリア方向に存在する非目的エリア音Ｎ_１（ｎ）を抽出するには、（１５）式に示すように、マイクロホンアレイＭＡ１のビームフォーマ出力Ｘ_１（ｎ）からマイクロホンアレイＭＡ２のビームフォーマ出力Ｘ_２（ｎ）にパワー補正係数α_２を掛けたものをスペクトル減算する。同様に、（１６）式に従い、マイクロホンアレイＭＡ２からみた目的エリア方向に存在する非目的エリア音Ｎ_２（ｎ）を抽出する。

【0166】

さらに、目的エリア音抽出部２５は、抽出した雑音を各ビームフォーマ出力から（１７）式、（１８）式に従ってスペクトル減算することにより、目的エリア音を抽出する。ここで、γ_１（ｎ）、γ_２（ｎ）はスペクトル減算時の強度を変更するための係数である。

【0167】

Ｙ_１（ｎ）＝Ｘ_１（ｎ）−γ_１（ｎ）Ｎ_１（ｎ） （１７）
Ｙ_２（ｎ）＝Ｘ_２（ｎ）−γ_２（ｎ）Ｎ_２（ｎ） （１８）
図１０は、第４の実施形態に係る収音装置２０Ａによるエリア収音のイメージを示すイメージ図である。図１０の点線は、特願２０１２−２１７３１５で提案した従来の双指向性による減算型ＢＦの指向性を示しており、塗りつぶしてある部分が第４の実施形態の手法の指向性を示している。

【0168】

図１０に示すように、各マイクロホンアレイＭＡ１、ＭＡ２において、マイクロホンＭ１及びＭ２は目的方向に対して水平に配置し、さらにマイクロホンＭ１及びＭ２を結んだ直線と直交し、かつ、いずれかのマイクロホン（ここでは、マイクロホンＭ２）を通る直線上にマイクロホンＭ３を配置する。

【0169】

各マイクロホンアレイＭＡ１、ＭＡ２の指向性は前方にのみ形成されるため、後方から回りこむ残響の影響を抑えることができる。また、図１０の点線で示す各マイクロホンアレイＭＡ１、ＭＡ２の後方に位置する非目的エリア音１、２を予め抑圧することで、エリア収音のＳＮ比を改善することができる。

【0170】

従来のエリア収音手法は、各マイクロホンアレイＭＡ１、ＭＡ２の指向性が目的エリアでのみ重なる必要がある。そのため、従来の双指向性による減算型ＢＦは目的方向に鋭い指向性を形成できるが、図１０に示したように目的方向に対してマイクロホンアレイＭＡ１、ＭＡ２の前方だけでなく、後方にも直線的に指向性を形成する。そのため、２個のマイクロホンアレイＭＡ１、ＭＡ２に挟まれたエリアを収音しようとしても、各マイクロホンアレイＭＡ１、ＭＡ２の指向性が全て重なり、２個のマイクロホンアレイＭＡ１、ＭＡ２を結ぶ直線上に存在する全てのエリアを収音してしまうことになる。

【0171】

しかし、第４の実施形態の場合、マイクロホンアレイＭＡ１、ＭＡ２の指向性が目的エリアＴＡＲに対して前方にのみ形成されているため、２個のマイクロホンアレイＭＡ１、ＭＡ２に挟まれたエリアを収音することが可能である。

【0172】

図１１は、第４の実施形態に係る収音装置２０Ａによるエリア収音の別のイメージを示すイメージ図である。図１１では、目的エリアＴＡＲを挟んで対向する位置に、２個のマイクロホンアレイＭＡ１、ＭＡ２を配置している。

【0173】

この場合、２個のマイクロホンアレイＭＡ１、ＭＡ２のそれぞれ指向性を形成すると、マイクロホンアレイＭＡ１の指向性には目的エリア音と非目的エリア音２が含まれることになる。

【0174】

また、マイクロホンアレイＭＡ２の指向性には目的エリア音と非目的エリア音１が含まれることになる。

【0175】

各指向性に含まれる非目的エリア音成分は違うため、共通に含まれる目的エリア音のみ抽出することができる。このようなマイクロホンアレイＭＡ１、ＭＡ２の配置でエリア収音を行うと、残響の影響を更に抑えることができる。

【0176】

つまり、２個のマイクロホンアレイＭＡ１、ＭＡ２を用いてエリア収音する場合、特願２０１２−２１７３１５で提案した従来のエリア収音手法では、各マイクロホンアレイＭＡ１、ＭＡ２の指向性の織りなす角度は９０度であるのに対し、第４の実施形態の手法によれば１８０度となる。このため、反射した非目的エリア音が、各マイクロホンアレイＭＡ１、ＭＡ２の指向性に同時に侵入する確率は低くなり、エリア収音性能の劣化が起こり難くなる。

【0177】

（Ｅ−３）第４の実施形態の効果
以上のように、第４の実施形態によれば、３個の全指向性マイクロホンからなるマイクロホンアレイを用いることで、目的エリアに対して前方にのみ指向性を形成し、エリア収音を行うことで、残響の影響を抑え、かつＳＮ比を向上させることができる。

【0178】

（Ｆ）第５の実施形態
次に、本発明に係る音源分離装置、音源分離プログラム、収音装置及び収音プログラムの第５の実施形態を、図面を参照しながら詳細に説明する。

【0179】

３個のマイクロホンから構成されるマイクロホンアレイを用いる場合、双指向性や単一指向性を形成するマイクロホンの組み合わせを変えることで、指向性を形成する方向を変えることができる。

【0180】

そこで、第５の実施形態では、各マイクロホンアレイの指向性の方向を変えることで、マイクロホンアレイ自体を動かさずに別のエリアを収音することが可能となる実施形態を例示する。

【0181】

（Ｆ−１）第５の実施形態の構成
図１２は、第５の実施形態に係る収音装置２０Ｂの構成を示すブロック図であり、第４の実施形態に係る図１との同一、対応部分には同一符号を付して示している。

【0182】

図１２において、第５の実施形態に係る収音装置２０Ｂは、第１のマイクロホンアレイＭＡ１、第２のマイクロホンアレイＭＡ２、データ入力部１、指向性形成部２１、遅延補正部２２、空間座標データ保持部２３、目的エリア音パワー補正係数算出部２４、目的エリア音抽出部２５に加えて、エリア選択部２６、エリア切替部２７を備える。

【0183】

エリア選択部２６は、例えばＧＵＩなどを介してユーザが選択した目的エリアＴＡＲの情報を受け取り、エリア切替部８に与えるものである。目的エリアＴＡＲの数は、１個だけでなく、同時に複数選択することもできる。

【0184】

エリア切替部２７は、エリア選択部７から与えられた目的エリアＴＡＲの情報に基づいて、空間座標データ保持部２３から目的エリアＴＡＲと各マイクロホンアレイＭＡ１、ＭＡ２と各マイクロホンアレイＭＡ１、ＭＡ２を構成するマイクロホンＭ１、Ｍ２及びＭ３の位置情報を取得し、目的エリアＴＡＲに向けて指向性を形成するために必要なマイクロホンアレイとマイクロホンとの組み合わせを決定し、指向性形成部２１へ入力される信号を制御するものである。

【0185】

（Ｆ−２）第５の実施形態の動作
第５の実施形態に係る収音装置２０Ｂの動作は、エリア選択部２６及びエリア切替部２７の動作が第４の実施形態の収音装置２０Ａと異なるため、エリア選択部２６及びエリア切替部２７の動作を詳細に説明する。

【0186】

エリア選択部２６は、例えばＧＵＩなどを介してユーザが選択した１又は複数の目的エリアＴＡＲの情報を受け取り、エリア切替部２７に送信する。

【0187】

エリア切替部２７では、エリア選択部２６から送信された目的エリアの情報をもとに、空間座標データ保持部２３から選択された目的エリアＴＡＲの位置情報と、各マイクロホンアレイＭＡ１、ＭＡ２の位置情報と、各マイクロホンアレイを構成するマイクロホンＭ１、Ｍ２及びＭ３の位置情報を取得する。また、エリア切替部２７は、目的エリア向けて指向性を形成するために必要なマイクロホンアレイとマイクロホンの組み合わせを決定し、指向性形成部２１へ入力される信号を制御する。

【0188】

図１３は、第５の実施形態に係る３個のマイクロホンから構成されるマイクロホンアレイＭＡ１、ＭＡ２を２個用いて、２個のエリアを切り替えて収音する状況のイメージ例を示すイメージ図である。

【0189】

マイクロホンアレイＭＡ１は、マイクロホンＭ_１１、ＭＡ_１２及びＭＡ_１３から構成されており、マイクロホンアレイＭＡ２は、マイクロホンＭ_２１、ＭＡ_２２及びＭＡ_２３から構成されているものとする。

【0190】

例えば、ユーザにより目的エリアＡが選択されると、エリア選択部２６から目的エリアＡの選択情報がエリア切替部２７に与えられる。エリア切替部２７は、選択された目的エリアＡの位置情報を空間座標データ保持部２３から取得する。

【0191】

このとき、エリア選択部２６から目的エリアＡに指向性を形成できるマイクロホンアレイＭＡ１及びＭＡ２を選択し、マイクロホンアレイＭＡ１及びＭＡ２の位置情報と、マイクロホンアレイＭＡ１のマイクロホンＭ_１１、ＭＡ_１２及びＭＡ_１３及びマイクロホンアレイＭＡ２のマイクロホンＭ_２１、ＭＡ_２２及びＭＡ_２３の位置情報を空間座標データ保持部２３から取得する。マイクロホンアレイＭＡ１及びＭＡ２の選択方法としては、例えば、複数のマイクロホンアレイが配置されている場合に、任意の２個のマイクロホンアレイＭＡ１及びＭＡ２を選択するようにしても良いし、予め目的エリア毎に指向性を形成できるマイクロホンアレイＭＡ１及びＭＡ２を決めておくようにしても良い。

【0192】

次に、エリア切替部２７は、マイクロホンアレイＭＡ１のマイクロホンＭ_１２及びＭ_１３と、マイクロホンアレイＭＡ２のマイクロホンＭ_２２及びＭ_２３の組み合わせで双指向性を形成し、またマイクロホンアレイＭＡ１のマイクロホンＭ_１１及びＭ_１２、マイクロホンアレイＭＡ２のマイクロホンＭ_２１及びＭ_２２の組み合わせで単一指向性を形成するように指向性形成部２１への入力信号を制御する。

【0193】

指向性形成部２１は、エリア切替部２７からの指示に従って、データ入力部１からの入力信号を双指向性形成部３及び単一指向性形成部４に入力するようにして、双指向性及び単一指向性を形成する。

【0194】

一方、目的エリアＢが選択された場合は、マイクロホンアレイＭＡ１のマイクロホンＭ_１１及びＭ_１２、マイクロホンアレイＭＡ２のマイクロホンＭ_２１及びＭ_２２の組み合わせで双指向性を形成し、またマイクロホンアレイＭＡ１のマイクロホンＭ_１２及びＭ_１３、マイクロホンアレイＭＡ２のマイクロホンＭ_１２及びＭ_２３の組み合わせで単一指向性を形成するように指向性形成部２１への入力信号を制御することで収音エリアを切り替える。この場合も、指向性形成部２１は、エリア切替部２７からの指示に従って、データ入力部１からの入力信号を双指向性形成部３及び単一指向性形成部４に入力するようにして、双指向性及び単一指向性を形成する。

【0195】

また、目的エリアが目的エリアＡと目的エリアＢとが同時に選択された場合は、エリア切替部２７は、選択された目的エリア毎に、並列してマイクロホンアレイのマイクロホンの組み合わせを選択して指示する。こえにより、それぞれの選択された目的エリア毎の双指向性及び単一指向性を形成することができる。

【0196】

（Ｆ−３）第５の実施形態の効果
以上のように、第５の実施形態によれば、第４の実施形態の効果に加えて、各マイクロホンアレイの指向性の方向を変えることで、マイクロホンアレイ自体を動かさずに別のエリアを収音することが可能となる。

【0197】

（Ｇ）他の実施形態
上述した実施形態においても種々の変形実施形態を言及したが、さらに、以下に示すような変形実施形態を挙げることができる。

【0198】

上述した各実施形態において、信号加算部２を備えるものとして説明したが、目的信号抽出部６に与える入力信号を、マイクロホンＭ１又はＭ２が捕捉して得た信号とする場合には、信号加算部２を省略するようにしても良い。

【0199】

第４及び第５の実施形態では、３個のマイクロホンが直角二等辺三角形の頂点に配置されたマイクロホンアレイを用いる場合を例示したが、正三角形の頂点に配置されたマイクロホンアレイを使用するようにしても良い。この場合、指向性形成部２１は、第２又は第３の実施形態で説明した信号加算部２、双指向性形成部３、単一指向性形成部４（４−１、４−２）、重複指向性消去部５、目的信号抽出部６を備え、第２又は第３の実施形態で説明した動作により目的信号を抽出するようにしても良い。

【0200】

第４及び第５の実施形態では、マイクロホンアレイが２個のものを示したが、マイクロホンアレイが３つの以上であっても良い。例えば、マイクロホンアレイが３つの場合において、第１及び第２のマイクロホンアレイからの出力から、上述した第４及び第５の実施形態の方法によって得た目的エリア音、第２及び第３のマイクロホンアレイからの出力から上記各実施形態の方法によって得た目的エリア音の計３個の目的エリア音から出力する目的エリア音を定めるようにしても良い。

【0201】

上記各実施形態では、マイクロホンが捕捉して得た音響信号をリアルタイムに処理するものを示したが、マイクロホンが捕捉して得た音響信号を記憶媒体に記憶し、その後、記憶媒体から読み出して処理して目的音、目的エリア音の強調信号を得るようにしても良い。このように記憶媒体を利用する場合には、マイクロホンが設定されている場所と、目的音や目的エリア音の抽出処理する場所とが離れていても良い。同様に、リアルタイム処理をする場合でも、マイクロホンが設定されている場所と、目的音や目的エリア音の抽出処理する場所とが離れていても良く、通信により信号を遠隔地に供給するようにしても良い。

【0202】

以上のような記憶媒体や通信を利用したりする場合も、本発明の収音装置の概念に含まれる。

【符号の説明】

【0203】

１０Ａ、１０Ｂ、１０Ｃ…音源分離装置、Ｍ１、Ｍ２、Ｍ３…マイクロホン、１−１、１−２、１−３…信号入力部、２…信号加算部、３…双指向性形成部、４、４−１、４−２…単一指向性形成部、５…重複指向性消去部、６…目的信号抽出部、
２０Ａ、２０Ｂ…収音装置、ＭＡ１、ＭＡ２…マイクロホンアレイ、２１…指向性形成部、２２…遅延補正部、２３…空間座標データ保持部、２４…目的エリア音パワー補正係数算出部、２５…目的エリア音抽出部、２６…エリア選択部、２７…エリア切替部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】