特許 6763721 音源分離装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6763721

(24)【登録日】2020年9月14日

(45)【発行日】2020年9月30日

(54)【発明の名称】音源分離装置

(51)【国際特許分類】

   G10L 21/0272 20130101AFI20200917BHJP

   G10L 21/028 20130101ALI20200917BHJP

【ＦＩ】

   G10L21/0272 100B

   G10L21/028 B

【請求項の数】8

【全頁数】13

(21)【出願番号】特願2016-155083(P2016-155083)

(22)【出願日】2016年8月5日

(65)【公開番号】特開2018-22119(P2018-22119A)

(43)【公開日】2018年2月8日

【審査請求日】2019年7月23日

(73)【特許権者】

【識別番号】504202472

【氏名又は名称】大学共同利用機関法人情報・システム研究機構

(73)【特許権者】

【識別番号】000115636

【氏名又は名称】リオン株式会社

(74)【代理人】

【識別番号】100110881

【弁理士】

【氏名又は名称】首藤 宏平

(72)【発明者】

【氏名】小野 順貴

(72)【発明者】

【氏名】春原 政浩

(72)【発明者】

【氏名】春田 智穂

【審査官】 岩田 淳

(56)【参考文献】

【文献】 米国特許第０７２５１２７１（ＵＳ，Ｂ１）

【文献】 米国特許出願公開第２０１６／００２９１２０（ＵＳ，Ａ１）

【文献】 特開２００８−０３５２５９（ＪＰ，Ａ）

【文献】 特開２００５−０７９７８１（ＪＰ，Ａ）

【文献】 浅野 太，ICAによる音響信号の分離，電子情報通信学会誌，２００４年 ３月 １日，第87巻 第3号，第175-181ページ

【文献】 春原 政浩, 外3名，MMSE-STSA法を利用した補聴器のための雑音残響同時低減手法，日本音響学会 2016年春季研究発表会講演論文集, CD-ROM，２０１６年 ２月２４日，第667-668ページ

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ １９／００−９９／００

Ｈ０３Ｈ １７／００−１７／０８

(57)【特許請求の範囲】

【請求項1】

複数の音源の混合音から各音源の音を分離する音源分離装置であって、
前記複数の音源から伝搬する音を収集し、それぞれ電気信号に変換する複数のマイクロホンと、
前記複数のマイクロホンから時系列で出力される複数の観測信号を周波数領域の信号群に変換し、前記複数の音源を分離するための分離行列を前記周波数領域の信号群に基づいて更新し、更新された前記分離行列を時系列のフィルタ係数に変換して出力する分離行列処理部と、
前記時系列のフィルタ係数に含まれる因果成分と非因果成分のうち、前記因果成分は残しつつ、前記非因果成分は所定サンプル数を除き部分的に除去することにより、前記フィルタ係数を変換するフィルタ係数変換部と、
前記フィルタ係数変換部により変換された前記フィルタ係数を、前記複数の観測信号の畳み込み演算を行うフィルタ群に供給し、前記分離行列に対応して前記複数の観測信号から分離された複数の分離信号を生成する分離部と、
を備えることを特徴とする音源分離装置。

【請求項2】

前記分離部により生成された前記複数の分離信号をそれぞれ音に変換する複数のレシーバを更に備えることを特徴とする請求項１に記載の音源分離装置。

【請求項3】

前記分離行列処理部は、
前記複数の観測信号のそれぞれを前記周波数領域の信号群に変換する短時間フーリエ変換部と、
前記周波数領域の信号群に基づいて前記分離行列を更新する分離行列更新部と、
前記分離行列を時系列の前記フィルタ係数に変換する逆フーリエ変換部と、
を含むことを特徴とする請求項１に記載の音源分離装置。

【請求項4】

前記フィルタ係数変換部は、
前記分離行列処理部により生成された前記フィルタ係数に対する循環シフトを行う循環シフト部と、
前記循環シフトされた前記フィルタ係数の前記非因果成分のうち所定部分を除去するフィルタ係数除去部と、
を含むことを特徴とする請求項１に記載の音源分離装置。

【請求項5】

前記フィルタ係数除去部は、前記非因果成分のうち、時系列の中央近傍の所定サンプル数を除いた前記所定部分を除去することを特徴とする請求項４に記載の音源分離装置。

【請求項6】

前記所定サンプル数は、１０ｍｓを超えない時間に相当するサンプル数に設定されることを特徴とする請求項５に記載の音源分離装置。

【請求項7】

前記分離部は、
前記分離行列の要素に対応する複数のＦＩＲフィルタ部と、
前記分離行列による分離演算の加算に対応して、前記複数のＦＩＲフィルタ部の出力を加算する複数の加算部と、
を含むことを特徴とする請求項１に記載の音源分離装置。

【請求項8】

前記分離行列処理部は、前記分離行列更新部にて更新された前記分離行列に対してプロジェクションバックを適用した前記分離行列を生成するプロジェクションバック演算部を含み、
１対の前記分離信号を生成する１対の前記分離部を備える、
ことを特徴とする請求項３に記載の音源分離装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の音源の混合音から各音源の音を分離又は抽出する音源分離装置に関する。

【背景技術】

【0002】

一般に、多様な音源が存在する空間において、目的とする音源から到来する音のみを分離又は抽出するための音源分離技術が知られている。一般的な音源分離技術の場合、空間内に設置した複数のマイクロホンにより複数の音源の混合音をそれぞれ収集して得られた複数の観測信号を保存し、演算処理を行うことにより、目的音源を分離する手法が採用される。例えば、複数の観測信号に対し、独立ベクトル分析に基づき、オフラインで目的音源を分離するための分離行列を安定して求める技術が提案されている（例えば、特許文献１参照）。また例えば、過去の観測信号から、分離行列を更新する際の補助変数を推定することにより、目的音源をオンラインで分離する技術が提案されている（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３−６８９３８号公報

【特許文献2】特開２０１４−４１３０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記従来の音源分離技術は多様な用途があるが、例えば、一般的な補聴器に対して適用可能な音源分離技術が要望されている。補聴器の使用に際しては、外部の音がマイクロホンに到達してから、その音が耳介内のイヤホンから出力されるまでの時間遅れが問題となる。例えば、使用者が快適に補聴器を使用するには、前述の時間遅れの許容限界は１０ｍｓ程度が目安であると考えられる。しかし、上記特許文献１の技術は、前述したように、オフラインの演算処理を行うので、観測信号を入力してから分離信号を出力するまでの遅延時間の低減は考慮されていない。また、上記特許文献２の技術は、オンラインでリアルタイムに演算処理を行うことが可能であるが、観測信号の主たる経路にフーリエ変換処理と逆フーリエ変換処理が介在し、それによりトータルで数百ｍｓ程度の遅延時間が発生するため、補聴器への適用は困難である。

【0005】

本発明はこれらの問題を解決するためになされたものであり、目的音源を含む複数の音源の混合音を分離する際、音源の分離性能を保ちつつ、オンラインで音源分離を行う際の遅延時間を低減し得る音源分離装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明の音源分離装置（１）は、複数の音源の混合音から各音源の音を分離する音源分離装置であって、前記複数の音源から伝搬する音を収集し、それぞれ電気信号に変換する複数のマイクロホン（１０、１１）と、前記複数のマイクロホンから時系列で出力される複数の観測信号（ｘ１（ｎ）、ｘ２（ｎ））を周波数領域の信号群（ｘ１（ω）、ｘ２（ω））に変換し、前記複数の音源を分離するための分離行列（Ｗ（ω））を前記周波数領域の信号群に基づいて更新し、更新された前記分離行列を時系列のフィルタ係数（ｈａ（ｎ））に変換して出力する分離行列処理部（２０）と、前記時系列のフィルタ係数に含まれる因果成分と非因果成分のうち、前記因果成分は残しつつ、前記非因果成分は所定サンプル数を除き部分的に除去することにより、前記フィルタ係数を変換するフィルタ係数変換部（３０）と、前記フィルタ係数変換部により変換されたフィルタ係数（ｈ（ｎ））を、前記複数の観測信号の畳み込み演算を行うフィルタ群（４１〜４４）に供給し、前記分離行列に対応して前記複数の観測信号から分離された複数の分離信号（ｙ１（ｎ）、ｙ２（ｎ））を生成する分離部（４０）とを備えて構成される。

【0007】

本発明の音源分離装置によれば、複数のマイクロホンを介して得られた複数の観測信号はサイドブランチ側に分岐し、周波数領域で分離行列の更新処理が行われるとともに、更新後の分離行列に対応する時間領域のフィルタ係数は、その非因果成分を部分的に除去した上で分離部のフィルタ群に供給される。よって、複数の観測信号の主たる経路に位置する分離部では、分離行列の更新を直接行うことなく、かつ短縮されたフィルタ係数が用いられるので、分離性能を保ちつつ、信号伝搬の遅延時間を大幅に低減しつつオンラインの動作を行うことが可能となる。

【0008】

本発明において、前記分離部により生成された前記複数の分離信号をそれぞれ音に変換する複数のレシーバを設けることができる。例えば、一般的な補聴器を想定すると、使用者の外耳道に音を出力するレシーバを具備する補聴器に対して本発明の適用が可能である。

【0009】

本発明の分離行列処理部は、前記複数の観測信号のそれぞれを前記周波数領域の信号群に変換する短時間フーリエ変換部と、前記周波数領域の信号群に基づいて前記分離行列を更新する分離行列更新部と、前記分離行列を時系列の前記フィルタ係数に変換する逆フーリエ変換部とを含めて構成することができる。よって、短時間フーリエ変換部から逆フーリエ変換部に至る周波数領域において分離行列の更新を行うので、遅延時間への影響が少ない演算処理を実現することができる。

【0010】

本発明のフィルタ係数変換部は、前記分離行列処理部により生成された前記フィルタ係数に対する循環シフトを行う循環シフト部と、前記循環シフトされた前記フィルタ係数の前記非因果成分のうち所定部分を除去するフィルタ係数除去部とを含めて構成することができる。この場合、前記フィルタ係数除去部は、前記非因果成分のうちの時系列の中央近傍の所定サンプル数を除いた前記所定部分を除去することが望ましい。よって、分離性能に比較的寄与が少ない非因果成分の所定部分を選択的に除去することでフィルタ係数を短縮化し、分離部における遅延時間の確実な低減が可能となる。

【0011】

本前記非因果成分の所定部分から除かれる所定サンプル数は、１０ｍｓを超えない時間に相当するサンプル数に設定することが望ましい。一般的な補聴器における遅延時間の許容値上限は１０ｍｓ程度であると言われているため、本発明を補聴器に適用する場合の性能を確保するためである。

【0012】

本発明の分離部は、前記分離行列の要素に対応する複数のＦＩＲフィルタ部と、前記分離行列による分離演算の加算に対応して、前記複数のＦＩＲフィルタ部の出力を加算する複数の加算部とを含めて構成することができる。よって、Ｋ×Ｍの分離行列に対応して、Ｋ×Ｍ個のＦＩＲフィルタ部及びＭ個の加算部を設けることで時間領域の分離部を構成することが可能となる。なお、２×２の分離行列の場合には、分離部には４個のＦＩＲフィルタ部及び２個の加算部を設ければよい（図１参照）。

【発明の効果】

【0013】

以上説明したように本発明によれば、サイドブランチ側で周波数領域の分離演算を行うとともに、時間領域のフィルタ係数の非因果成分を部分的に除去した上で分離部のフィルタ群に供給するようにしたので、分離性能を劣化させることなく、信号伝搬の遅延時間を大幅に低減することが可能となる。よって、オンラインでリアルタイムに音源分離を行うことができ、補聴器等への適用に好適な音源分離装置を実現することできる。

【図面の簡単な説明】

【0014】

【図1】本発明を適用した一実施形態である音源分離装置の概略の構成例を示すブロック図である。

【図2】逆フーリエ変換部から出力されるフィルタ係数の波形例を示す図である。

【図3】循環シフト部から出力されるフィルタ係数の波形例を示す図である。

【図4】フィルタ係数除去部によって除去された後のフィルタ係数の波形例を示す図である。

【図5】本発明との対比のため、従来の構成を適用した音源分離装置によるシミュレーションの検証結果を示す比較例である。

【図6】本実施形態の音源分離装置による図５と同様のシミュレーションの検証結果を示す実施例である。

【図7】図５の比較例において用いられる従来の構成の概要を示す図である。

【図8】本実施形態の音源分離装置の変形例である。

【発明を実施するための形態】

【0015】

以下、本発明を適用した音源分離装置の実施形態について添付図面を参照しながら説明する。ただし、以下に述べる実施形態は本発明の技術思想を適用した形態の例であって、本発明が本実施形態の内容により限定されることはない。

【0016】

図１は、本発明を適用した一実施形態である音源分離装置１の概略の構成例を示すブロック図である。図１の音源分離装置１は、２つのマイクロホン１０、１１と、２つのレシーバ１２、１３と、短時間フーリエ変換部２１と、分離行列更新部２２と、逆フーリエ変換部２３と、循環シフト部３１と、フィルタ係数除去部３２と、４つのＦＩＲフィルタ部４１、４２、４３、４４と、２つの加算部４５、４６とを含んで構成される。このうち、短時間フーリエ変換部２１、分離行列更新部２２、逆フーリエ変換部２３は、分離行列処理部２０を構成し、循環シフト部３１及びフィルタ係数除去部３２は、フィルタ係数変換部３０を構成し、ＦＩＲフィルタ部４１、４２、４３、４４及び加算部４５、４６は、分離部４０を構成する。

【0017】

以上の構成において、マイクロホン１０、１１は、複数の音源が存在する空間内の異なる２つの観測位置にそれぞれ配置され、入力される音を収集して電気信号に変換する。図１においては、一方のマイクロホン１０が時系列の観測信号ｘ１（ｎ）を出力し、他方のマイクロホン１１が時系列の観測信号ｘ２（ｎ）を出力する。マイクロホン１０、１１から出力される観測信号ｘ１（ｎ）、ｘ２（ｎ）に対し、後述の分離部４０を介して、各音源の音を推定した信号である分離信号ｙ１（ｎ）、ｙ２（ｎ）が分離される。そして、一方のレシーバ１２は、分離信号ｙ１（ｎ）を音に変換して出力するとともに、他方のレシーバ１３は、分離信号ｙ２（ｎ）を音に変換して出力する。なお、レシーバ１２、１３を１つのレシーバと切替スイッチ（図示せず）で構成し、分離信号ｙ１（ｎ）、ｙ２（ｎ）をスイッチなどで切り替えてレシーバに出力し、このレシーバが、入力されるそれぞれの分離信号ｙ１（ｎ）、ｙ２（ｎ）を音に変換して出力してもよい。さらに、分離信号ｙ１（ｎ）、ｙ２（ｎ）を直接他の機器に取り込んで処理する場合には、図１の１対のレシーバ１２、１３を省略した構成を採用することもできる。

【0018】

ここで、図１に示すように、マイクロホン１０、１１からレシーバ１２、１３に至る主な経路には分離部４０のみが配置されるとともに、それと並列する経路（サイドブランチ）に分離行列処理部２０及びフィルタ係数変換部３０が配置されている。このような構成により、観測信号ｘ１（ｎ）、ｘ２（ｎ）に基づき分離信号ｙ１（ｎ）、ｙ２（ｎ）が得られるまでには、前述のサイドブランチにおける処理による時間遅れの影響を受けないため、遅延時間の短縮が可能である。なお、本実施形態の音源分離装置１の遅延時間について詳しくは後述する。

【0019】

図１に示すように、マイクロホン１０、１１から出力される観測信号ｘ１（ｎ）、ｘ２（ｎ）はサイドブランチ側に分岐し、短時間フーリエ変換部２１に入力される。短時間フーリエ変換部２１は、時系列の観測信号ｘ１（ｎ）、ｘ２（ｎ）をずらしながら所定の窓関数を乗じることで短時間フーリエ変換処理を施し、周波数領域の観測信号ｘ１（ω）、ｘ２（ω）を生成する。短時間フーリエ変換部２１では、観測信号ｘ１（ｎ）、ｘ２（ｎ）のうち連続する所定のサンプル数が一括して変換処理の対象となる。短時間フーリエ変換部２１により生成された観測信号ｘ１（ω）、ｘ２（ω）は、分離行列更新部２２に入力される。

【0020】

分離行列更新部２２は、観測信号ｘ１（ω）、ｘ２（ω）に基づいて分離信号ｙ１（ω）、ｙ２（ω）を生成するための分離行列Ｗ（ω）を更新する。図１の例では、分離行列Ｗ（ω）が２×２の行列で表され、周波数領域で観測信号ベクトルｘ（ω）及び分離信号ベクトルｙ（ω）との間で、次の（１）式の関係が成り立つ。

【数1】

ただし、Ｔは行列の転置を表す。

【0021】

分離行列更新部２２においては多様な分離アルゴリズムを適用可能であるが、例えば、周知の独立ベクトル分析を適用することができる。この独立ベクトル分析は、周波数領域における分離信号ベクトルが互いに統計的に独立になるように分離行列を更新する手法である。独立ベクトル分析によれば、原理上、各々の周波数帯域の分離信号を各音源に対応付けて並べ替えるというパーミュテーション問題を回避できるメリットがある。

【0022】

ここで、Ｋ個の音源とＭ個の観測点が存在する状況で独立ベクトル分析を適用することを想定すると、観測信号ベクトルｘ（ω）の要素数がＭ、かつ分離信号ベクトルｙ（ω）の要素数がＫで、Ｋ×Ｍの分離行列Ｗ（ω）が更新されることになる。この場合、図１は、Ｋ＝Ｍ＝２の場合に対応する構成例である。独立ベクトル分析による分離アルゴリズムは、次の（２）式に示す目的関数Ｊ（Ｗ）を最小化する処理に帰結する。

【数2】

ただし、
Ｗ：分離行列Ｗ（ω）の全周波数が集合した分離行列
Ｅ［・］：時刻ｔに関する期待値
Ｇ［・］：Ｇ（ｙ（ω））＝−logｑ（ｙ（ω））（音源の確率密度関数ｑ［・］を用いた関数）
ｙ_ｋ：全周波数の分離信号ベクトル
Ｎ_ω：周波数の上限

【0023】

（２）式の目的関数Ｊ（Ｗ）の最小化は、所定のステップサイズηを設定し、演算により得られた修正量ΔＷを用いて、次の（３）式によりＷを逐次更新することにより行うことができる。
Ｗ ← Ｗ−ηΔＷ （３）
なお、（２）式の目的関数Ｊ（Ｗ）を最小化するために演算アルゴリズムは多様であるが、例えば、収束速度の向上の観点から、補助関数法を用いることができる。補助関数法は、前述の目的関数Ｊ（Ｗ）に対して設定された補助関数を最小化することで、目的関数Ｊ（Ｗ）を小さくする分離行列Ｗを求める手法であり、収束が速い点が特徴である。

【0024】

次に図１に戻って、分離行列更新部２２により更新された分離行列Ｗ（ω）は、逆フーリエ変換部２３に入力される。逆フーリエ変換部２３は、分離行列Ｗ（ω）の各要素に対しそれぞれ逆フーリエ変換処理を施し、時間領域のフィルタ係数ｈａ（ｎ）を生成する。具体的には、２×２の分離行列Ｗ（ω）の要素であるＷ１１（ω）、Ｗ１２（ω）、Ｗ２１（ω）、Ｗ２２（ω）に基づき、時間領域の４つのフィルタ係数ｈａ１１（ｎ）、ｈａ１２（ｎ）、ｈａ２１（ｎ）、ｈａ２２（ｎ）が生成される。以下の説明では、単にフィルタ係数ｈａ（ｎ）と表記したときは、前述の４つのフィルタ係数ｈａ１１（ｎ）、ｈａ１２（ｎ）、ｈａ２１（ｎ）、ｈａ２２（ｎ）の各々を代表したものとする。

【0025】

次に、逆フーリエ変換部２３で生成されたフィルタ係数ｈａ（ｎ）は、循環シフト部３１に入力される。循環シフト部３１は、フィルタ係数ｈａ（ｎ）に対して、いわゆる循環シフトを行い、時間領域でシフトされたフィルタ係数ｈｂ（ｎ）を出力する。具体的には、Ｎサンプル（ｎ＝１〜Ｎ）相当の時系列のフィルタ係数ｈａ（１）〜ｈａ（Ｎ）に対し、次の（４）式で示す変換を順次行う。

【数3】

【0026】

ここで、図２には、逆フーリエ変換部２３から出力されるフィルタ係数ｈａ（ｎ）の波形例を示すとともに、図３には、循環シフト部３１から出力されるフィルタ係数ｈｂ（ｎ）の波形例を示している。図２及び図３では、横軸の全体のサンプル数をＮ＝４０９６としており、縦軸のレベルが−１〜１で規格化されている。なお、図２ではｎ＝０が表記されているが、この部分は実際にはデータが存在せず、以降の図についても同様である。まず、図２のフィルタ係数ｈａ（ｎ）は、インパルス信号の波形に類似しており、ｎ＝１及びｎ＝Ｎの付近に多くの成分が集中している。そして、循環シフト部３１によりフィルタ係数ｈａ（ｎ）が循環シフトされると、図２の右側の半分の部分が図２のｎ＝１の左側の部分に移る。その結果、図３に示すように、変換後のフィルタ係数ｈｂ（ｎ）の場合、ｎ＝１〜Ｎの範囲内の略中央に成分が集中する対称的な波形になる。この循環シフトは、後述の分離部４０で時間領域の畳み込み演算を行うのに先立って実行すべき処理である。

【0027】

次に、循環シフト部３１による循環シフト後のフィルタ係数ｈｂ（ｎ）は、フィルタ係数除去部３２に入力される。フィルタ係数除去部３２は、循環シフト後のフィルタ係数ｈｂ（ｎ）に対し、非因果成分のうち所定部分を除去して、サンプル数が減少したフィルタ係数ｈ（ｎ）を生成する。ここで、前述の図３には位置Ｐを示しており、図３の位置Ｐから左側の部分がフィルタ係数除去部３２により除去される。図４は、フィルタ係数除去部３２によって除去された後のフィルタ係数ｈ（ｎ）の波形例を示しており、縦軸及び横軸は図２及び図３と同様の表記に従っている。

【0028】

図３に戻って、フィルタ係数ｈｂ（ｎ）の中央（ｎ＝２０４８）のサンプルを時刻ｔ＝０のサンプルとみなした場合、時間領域の後半の範囲（中央から右側の範囲）は、フィルタ演算で時系列上の過去のサンプルが用いられることになるので、因果性を有する範囲であるということができる。一方、時間領域の前半の範囲（中央から左側の範囲）は、フィルタ演算で時系列上の未来のサンプルが用いられることになるので、非因果性を有する範囲であるということができる。本実施形態においては、フィルタ係数除去部３２により、入力されたフィルタ係数ｈｂ（ｎ）のうち非因果成分の所定サンプル数を除いた部分のサンプルを除去することで、演算処理に伴う遅延時間を低減できることが確認された。

【0029】

なお、フィルタ係数ｈｂ（ｎ）のうち全ての非因果成分の全てを除去することは、音源分離の性能劣化を招くことになるので、時系列の中央近傍の所定サンプル数の部分のみを残すものである。例えば、図４の例では、図３の位置Ｐの近傍の１６０サンプル相当の部分を残し、それよりも左側の範囲を除去するものである。この場合、全体のサンプル数がＮ＝４０９６であると仮定すると、除去対象のサンプル数が４０９６／２−１６０＝１８８８となり、その結果として、フィルタ係数ｈ（ｎ）のサンプル数が４０９６／２＋１６０＝２２０８となる。

【0030】

ここで、本実施形態の音源分離装置１を補聴器に適用する場合、前述の非因果成分のうちの残すべき所定サンプル数は、１０ｍｓを超えない時間に相当するサンプル数に設定することが望ましい。前述の所定サンプル数が時間換算で１０ｍｓを超える場合、マイクロホン１０、１１からレシーバ１２、１３に至る遅延時間も１０ｍｓを超えることになる。一般的な補聴器における遅延時間の許容値は、１０ｍｓを超えないことが知られている。すなわち、前述の所定サンプル数が１０ｍｓを超える時間に設定されると、本実施形態の音源分離装置１を適用した補聴器の使用者に違和感を与える要因になる。一方、前述の非因果成分のうちの残すべき所定サンプル数の下限値は分離性能に関連するが、補聴器の使用状況や分離性能などの条件に応じて適切に設定される。

【0031】

次に、フィルタ係数除去部３２で得られた変換後のフィルタ係数ｈ（ｎ）は、分離部４０に含まれるＦＩＲフィルタ部４１〜４４に供給される。具体的には、フィルタ係数ｈ１１（ｎ）がＦＩＲフィルタ部４１に供給され、フィルタ係数ｈ１２（ｎ）がＦＩＲフィルタ部４２に供給され、フィルタ係数ｈ２１（ｎ）がＦＩＲフィルタ部４３に供給され、フィルタ係数ｈ２２（ｎ）がＦＩＲフィルタ部４４に供給される。このうち、２つのＦＩＲフィルタ部４１、４３には時系列の観測信号ｘ１（ｎ）が入力され、２つのＦＩＲフィルタ部４２、４４には時系列の観測信号ｘ２（ｎ）が入力される。ＦＩＲフィルタ部４１〜４４の役割は、周波数領域における前述の（１）式に含まれる各々の積に対応して、時間領域での畳み込み演算を行うことである。

【0032】

続いて、ＦＩＲフィルタ部４１〜４４の後段には２つの加算部４５、４６が配置されている。一方の加算部４５は、２つのＦＩＲフィルタ部４１、４２の各出力を加算し、加算結果を分離信号ｙ１（ｎ）として出力する。他方の加算部４６は、２つのＦＩＲフィルタ部４３、４４の各出力を加算し、加算結果を分離信号ｙ２（ｎ）として出力する。加算部４５、４６の役割は、周波数領域における前述の（１）式に含まれる加算を時間領域で行うことである。ＦＩＲフィルタ部４１〜４４及び加算部４５、４６により得られた分離信号ｙ１（ｎ）、ｙ２（ｎ）のうち、一方の分離信号ｙ１（ｎ）がレシーバ１２を介して音に変換され、他方の分離信号ｙ２（ｎ）がレシーバ１３を介して音に変換される。

【0033】

分離部４０における分離演算は、観測信号ｘ１（ｎ）、ｘ２（ｎ）を入力とし、分離信号ｙ１（ｎ）、ｙ２（ｎ）を出力とし、タップ数をＴとしたとき、次の（５）式及び（６）式で表すことができる。

【数4】

【0034】

なお、図１の音源分離装置１は、２つの観測信号ｘ１（ｎ）、ｘ２（ｎ）と、２つの分離信号ｙ１（ｎ）、ｙ２（ｎ）と、２×２の分離行列Ｗ（ω）に対応する構成例を前提としているが、より一般的に、Ｍ個の観測信号ｘ（ｎ）と、Ｋ個の分離信号ｙ（ｎ）と、Ｋ×Ｍの分離行列Ｗとに基づく音源分離を行う音源分離装置に対しても本発明の適用が可能である。この場合には、図１の構成例において、Ｍ個のマイクロホン及びＫ個のレシーバを設けるとともに、分離部４０にはＫ×Ｍ個のＦＩＲフィルタ部とＫ個の加算部を設ける必要がある。

【0035】

次に、図５〜図７を参照して、本実施形態の音源分離装置１の効果について説明する。図５は、本発明との対比のため、従来の構成を適用した音源分離装置によるシミュレーションの検証結果を示す比較例であり、図６は、本実施形態の音源分離装置１による同様のシミュレーションの検証結果を示す実施例である。ここで、図７は、図５の比較例において用いられる従来の構成の概要を示している。すなわち、図１の構成と同様の２つのマイクロホン１０、１１及び２つのレシーバ１２、１３が設けられ、その間の主たる経路には順に、短時間フーリエ変換部１００と、分離行列演算部１０１と、逆短時間フーリエ変換部１０２が配置されている。

【0036】

図５及び図６のシミュレーションは、マイクロホン１０、１１に対して男声及び女声の混合音を入力し、マイクロホン１０の観測信号ｘ１（ｎ）及びマイクロホン１１の観測信号ｘ２（ｎ）に基づく分離演算の結果である２つの分離信号ｙ１（ｎ）、ｙ２（ｎ）を生成することにより実施した。図５及び図６には、０〜０．７ｓの時間範囲内で観測信号ｘ１（ｎ）及び分離信号ｙ１（ｎ）、ｙ２（ｎ）のそれぞれの波形を示している。なお、図５及び図６には、混合前の原信号の波形は示されないが、分離信号ｙ１（ｎ）、ｙ２（ｎ）の波形自体は、原信号に概ね忠実であり、主に遅延時間のみが問題となる。

【0037】

まず、従来の図５の比較例においては、観測信号ｘ１（ｎ）に対する分離信号ｙ１（ｎ）、ｙ２（ｎ）の遅延時間は、０．３ｓ（３００ｍｓ）程度であった。これに対し、本実施形態の図６によれば、観測信号ｘ１（ｎ）に対する分離信号ｙ１（ｎ）、ｙ２（ｎ）の遅延時間は極めて小さくなり、概ね０．０１ｓ（１０ｍｓ）程度であることが確認された。このような遅延時間の大幅な低減は、分離行列Ｗの更新をサイドブランチ側で行っているため主な経路の遅延が解消されることに加え、フィルタ係数変換部３０によりフィルタ係数ｈ（ｎ）の音源分離への寄与が比較的少ない非因果成分を除去したためである。従って、本実施形態の音源分離装置１の構成を採用することにより、オンラインの演算処理を行いつつ入出力間の時間遅れに伴う課題を解決でき、例えば補聴器への適用に適した音源分離装置１を実現することができる。

【0038】

次に図８は、本実施形態の音源分離装置１の変形例を示している。図８の変形例は、いわゆるプロジェクションバックの構成を想定したものであり、２つのマイクロホン１０、１１に収集された混合音を単に分離するだけではなく、ステレオ装置のように音源の定位情報を保持したまま分離する機能を有する。図８の変形例において、図１と異なる点は、分離行列処理部２０に、分離行列Ｗ（ω）に対してプロジェクションバックを適用するための周知の演算を施すプロジェクションバック演算部５０を追加した点と、分離部４０及び１対の分離信号ｙ１（ｎ）、ｙ２（ｎ）の経路のそれぞれを２系統にした点である。

【0039】

すなわち、２つの分離部４０ｐ、４０ｑはいずれも２つのマイクロホンからの２つの観測信号ｘ１（ｎ）、ｘ２（ｎ）を入力し、フィルタ係数変換部３０からそれぞれに対応するフィルタ係数ｈ（ｎ）が供給される。そして、一方の分離部４０ｐは２つの分離信号ｙ１ｐ（ｎ）、ｙ２ｐ（ｎ）を出力し、他方の分離部４０ｑは２つの分離信号ｙ１ｑ（ｎ）、ｙ２ｑ（ｎ）を出力する。このうち、１対の分離信号ｙ１ｐ（ｎ）、ｙ１ｑ（ｎ）により一方の音源の定位が得られ、１対の分離信号ｙ２ｐ（ｎ）、ｙ２ｑ（ｎ）により他方の音源の定位が得られる。

【0040】

以上、本実施形態により本発明を適用した音源分離装置１について説明したが、本発明は、多様な機器に適用することができる。すなわち、本発明の音源分離装置１を一般的な補聴器に適用できることは上述した通りであるが、それ以外のコンピュータや通信機器の一部として組み込んでもよい。また、本実施形態の図１の構成は同様の機能を有する限り適宜に変更でき、細部の処理内容の変更に加えて、各部材間の相互接続にネットワークや無線通信が介在してもよい。それ以外の点についても、本実施形態の内容に限定されず、多様な構成及び処理を採用可能である。

【符号の説明】

【0041】

１…音源分離装置
１０、１１…マイクロホン
１２、１３…レシーバ
２０…分離行列処理部
２１…短時間フーリエ変換部
２２…分離行列更新部
２３…逆フーリエ変換部
３０…フィルタ係数変換部
３１…循環シフト部
３２…フィルタ係数除去部
４０…分離部
４１、４２、４３、４４…ＦＩＲフィルタ部
４５、４６…加算部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】