(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6226885
(24)【登録日】2017年10月20日
(45)【発行日】2017年11月8日
(54)【発明の名称】音源分離方法、装置、及びプログラム
(51)【国際特許分類】
G10L 21/0272 20130101AFI20171030BHJP
G10L 21/0224 20130101ALI20171030BHJP
H04R 3/00 20060101ALI20171030BHJP
【FI】
G10L21/0272 100B
G10L21/0224
H04R3/00 320
【請求項の数】15
【全頁数】20
(21)【出願番号】特願2014-554164(P2014-554164)
(86)(22)【出願日】2013年1月25日
(86)【国際出願番号】JP2013051558
(87)【国際公開番号】WO2014103346
(87)【国際公開日】20140703
【審査請求日】2016年1月15日
(31)【優先権主張番号】PCT/JP2012/084216
(32)【優先日】2012年12月28日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】511218574
【氏名又は名称】共栄エンジニアリング株式会社
(74)【代理人】
【識別番号】100163500
【弁理士】
【氏名又は名称】片桐 貞典
(72)【発明者】
【氏名】本多 寧
(72)【発明者】
【氏名】後藤 晃
(72)【発明者】
【氏名】村山 好孝
【審査官】
上田 雄
(56)【参考文献】
【文献】
特開2009−135593(JP,A)
【文献】
特開2005−236407(JP,A)
【文献】
特開平02−188050(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G10L 21/00−21/18
H04R 3/00
(57)【特許請求の範囲】
【請求項1】
一対の入力信号に対して特定方向に指向性を形成する音源分離方法であって、
前記一対の入力信号の一方について特定時間の遅延を含むフィルタ処理を施すフィルタ処理ステップと、
前記フィルタ処理ステップを経た後、交換回路によって前記一対の入力信号を1サンプル毎に交互に入れ替えることで、一対の交換信号を生成する交換ステップと、
前記交換信号の片方に係数mを乗じた上で、前記交換信号の誤差信号を生成する生成ステップと、
前記誤差信号を含む係数mの漸化式を演算して係数mを1サンプル毎に更新する更新ステップと、
逐次更新された係数mを前記一対の入力信号に乗じて出力する出力ステップと、
を備え、
前記フィルタ処理ステップにおける特定時間は、前記特定方向からの音波が一対のマイクロフォンに到着する時間差に相当し、
前記フィルタ処理ステップでは、前記特定方向からの音波に由来する前記一対の入力信号を同振幅同位相に調整すること、
を特徴とする音源分離方法。
【請求項2】
前記フィルタ処理ステップでは、
入力信号を特定時間遅延させる伝達関数T1により、前記一対の入力信号の一方にフィルタ処理を施し、
前記伝達関数T1は、
前記特定方向から前記フィルタ処理される入力信号を出力したマイクロフォンまでの音波の伝達関数をC11、他方のマイクロフォンまでの音波の伝達関数をC12とすると、
T1×C11=C12を概略満たすこと、
を特徴とする請求項1記載の音源分離方法。
【請求項3】
他方の入力信号に対して、一対のマイクロフォンの離間距離を音波が進む所要時間以上の遅延時間を発生させる遅延処理ステップを更に備え、
前記フィルタ処理ステップでは、前記一方の入力信号に対して、前記遅延処理ステップの遅延時間と前記特定時間とを加算した時間の遅延を含むフィルタ処理を施すこと、
を特徴とする請求項1記載の音源分離方法。
【請求項4】
前記フィルタ処理ステップでは、入力信号を特定時間遅延させる伝達関数T1により、前記一対の入力信号の一方にフィルタ処理を施し、
前記遅延処理ステップでは、入力信号を前記遅延時間分遅延させる伝達関数D1により、前記一対の入力信号の他方を遅延させ、
前記伝達関数T1と前記伝達関数D1は、
前記特定方向から前記フィルタ処理される入力信号を出力したマイクロフォンまでの音波の伝達関数をC11、他方のマイクロフォンまでの音波の伝達関数をC12とすると、
T1×C11=D1×C12を概略満たすこと、
を特徴とする請求項3記載の音源分離方法。
【請求項5】
前記生成及び前記更新ステップでは、
1サンプル前に算出された過去の係数mの−1倍がセットされた第1の積算器に前記交換信号の片方を通し、
前記第1の積算器を経た後に、前記一対の交換信号を加算する第1の加算器を通し、
第1の加算器を経た後に、定数μがセットされた第2の積算器を通し、
前記第2の積算器を経た後に、前記過去の係数mが乗算される前の前記片方の交換信号がセットされた第3の積算器を通し、
前記第3の積算器を経た後に、1サンプル前に算出された過去の係数mがセットされた第2の加算器を通すことで、
前記係数mを1サンプル毎に更新すること、
を特徴とする請求項1乃至4の何れかに記載の音源分離方法。
【請求項6】
一対の入力信号に対して特定方向に指向性を形成する音源分離装置であって、
前記一対の入力信号の一方について特定時間の遅延を含むフィルタ処理を施すフィルタと、
前記フィルタを経た後、前記一対の入力信号を1サンプル毎に交互に入れ替えることで、一対の交換信号を生成する交換部と、
前記交換信号の片方に係数mを乗じた上で、前記交換信号の誤差信号を生成する誤差信号生成部と、
前記誤差信号を含む係数mの漸化式を演算して係数mを1サンプル毎に更新する漸化式演算部と、
逐次更新された係数mを前記一対の入力信号に乗じて出力する積算部と、
を備え、
前記フィルタ処理における特定時間は、前記特定方向からの音波が一対のマイクロフォンに到着する時間差に相当し、
前記フィルタ処理では、前記特定方向からの音波に由来する前記一対の入力信号を同振幅同位相に調整すること、
を特徴とする音源分離装置。
【請求項7】
前記フィルタは、
入力信号を特定時間遅延させる伝達関数T1により、前記一対の入力信号の一方にフィルタ処理を施し、
前記伝達関数T1は、
前記特定方向から前記フィルタ処理される入力信号を出力したマイクロフォンまでの音波の伝達関数をC11、他方のマイクロフォンまでの音波の伝達関数をC12とすると、
T1×C11=C12を概略満たすこと、
を特徴とする請求項6記載の音源分離装置。
【請求項8】
他方の入力信号に対して、一対のマイクロフォンの離間距離を音波が進む所要時間以上の遅延時間を発生させるディレイを更に備え、
前記フィルタは、前記一方の入力信号に対して、前記ディレイによる遅延時間と前記特定時間とを加算した時間の遅延を含むフィルタ処理を施すこと、
を特徴とする請求項6記載の音源分離装置。
【請求項9】
前記フィルタは、入力信号を特定時間遅延させる伝達関数T1により、前記一対の入力信号の一方にフィルタ処理を施し、
前記ディレイは、入力信号を前記遅延時間分遅延させる伝達関数D1により、前記一対の入力信号の他方を遅延させ、
前記伝達関数T1と前記伝達関数D1は、
前記特定方向から前記フィルタ処理される入力信号を出力したマイクロフォンまでの音波の伝達関数をC11、他方のマイクロフォンまでの音波の伝達関数をC12とすると、
T1×C11=D1×C12を概略満たすこと、
を特徴とする請求項8記載の音源分離装置。
【請求項10】
前記誤差信号生成部及び前記漸化式演算部は、
1サンプル前に算出された過去の係数mの−1倍がセットされた第1の積算器に前記交換信号の片方を通し、
前記第1の積算器を経た後に、前記一対の交換信号を加算する第1の加算器を通し、
第1の加算器を経た後に、定数μがセットされた第2の積算器を通し、
前記第2の積算器を経た後に、前記過去の係数mが乗算される前の前記片方の交換信号がセットされた第3の積算器を通し、
前記第3の積算器を経た後に、1サンプル前に算出された過去の係数mがセットされた第2の加算器を通すことで、
前記係数mを1サンプル毎に更新すること、
を特徴とする請求項6乃至9の何れかに記載の音源分離装置。
【請求項11】
コンピュータを、一対の入力信号に対して特定方向に指向性を形成するように機能させる音源分離プログラムであって、
前記コンピュータを、
前記一対の入力信号の一方について特定時間の遅延を含むフィルタ処理を施すフィルタと、
前記フィルタを経た後、前記一対の入力信号を1サンプル毎に交互に入れ替えることで、一対の交換信号を生成する交換部と、
前記交換信号の片方に係数mを乗じた上で、前記交換信号の誤差信号を生成する誤差信号生成部と、
前記誤差信号を含む係数mの漸化式を演算して係数mを1サンプル毎に更新する漸化式演算部と、
逐次更新された係数mを前記一対の入力信号に乗じて出力する積算部と、
として機能させ、
前記フィルタ処理における特定時間は、前記特定方向からの音波が一対のマイクロフォンに到着する時間差に相当し、
前記フィルタ処理では、前記特定方向からの音波に由来する前記一対の入力信号を同振幅同位相に調整させること、
を特徴とする音源分離プログラム。
【請求項12】
前記フィルタは、
入力信号を特定時間遅延させる伝達関数T1により、前記一対の入力信号の一方にフィルタ処理を施し、
前記伝達関数T1は、
前記特定方向から前記フィルタ処理される入力信号を出力したマイクロフォンまでの音波の伝達関数をC11、他方のマイクロフォンまでの音波の伝達関数をC12とすると、
T1×C11=C12を概略満たすこと、
を特徴とする請求項11記載の音源分離プログラム。
【請求項13】
前記コンピュータを、他方の入力信号に対して、一対のマイクロフォンの離間距離を音波が進む所要時間以上の遅延時間を発生させるディレイとして更に機能させ、
前記フィルタは、前記一方の入力信号に対して、前記ディレイによる遅延時間と前記特定時間とを加算した時間の遅延を含むフィルタ処理を施すこと、
を特徴とする請求項11記載の音源分離プログラム。
【請求項14】
前記フィルタは、入力信号を特定時間遅延させる伝達関数T1により、前記一対の入力信号の一方にフィルタ処理を施し、
前記ディレイは、入力信号を前記遅延時間分遅延させる伝達関数D1により、前記一対の入力信号の他方を遅延させ、
前記伝達関数T1と前記伝達関数D1は、
前記特定方向から前記フィルタ処理される入力信号を出力したマイクロフォンまでの音波の伝達関数をC11、他方のマイクロフォンまでの音波の伝達関数をC12とすると、
T1×C11=D1×C12を概略満たすこと、
を特徴とする請求項13記載の音源分離プログラム。
【請求項15】
前記誤差信号生成部及び前記漸化式演算部は、
1サンプル前に算出された過去の係数mの−1倍がセットされた第1の積算器に前記交換信号の片方を通し、
前記第1の積算器を経た後に、前記一対の交換信号を加算する第1の加算器を通し、
第1の加算器を経た後に、定数μがセットされた第2の積算器を通し、
前記第2の積算器を経た後に、前記過去の係数mが乗算される前の前記片方の交換信号がセットされた第3の積算器を通し、
前記第3の積算器を経た後に、1サンプル前に算出された過去の係数mがセットされた第2の加算器を通すことで、
前記係数mを1サンプル毎に更新すること、
を特徴とする請求項11乃至14の何れかに記載の音源分離プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音波信号に基づき、任意の方向にある音源に向けて指向性を形成する音源分離方法、装置、及びプログラムに関する。
【背景技術】
【0002】
目的音源の音波を精度よく分離し、雑音等の目的外音を抑制するには、一般的に、指向性マイクを用いたり、一定以上の間隔でそれらマイクロフォンを複数並べる必要があった。しかしながら、ICレコーダーのような小型な集音機器では、指向性マイクの搭載や間隔を広くとった複数マイクを用いた集音技術の適用は困難である。また、複数の音源から人工的にダウンミックス処理しておいた収録済みの音声について、これら集音技術を適用することによる精度の良い音源分離は困難である。
【0003】
そこで、音波の収録後、各マイクロフォンから出力される信号間の振幅差や位相差を解析し、解析結果に応じた信号処理を施すことで、目的音源を分離抽出する技術が多数提案されている。近年では、統計的解析、周波数解析、複素解析等が持ち出され、入力信号の波形構造の違いを検出し、その検出結果を音源分離処理に生かしている。
【0004】
例えば、入力信号を時間軸から周波数軸に変換し、周波数ごとに位相の差分を算出し、この差分を基に目的音源から入力された音波周波数帯を特定し、その周波数帯の音波を強調するように信号処理している(特許文献1参照。)。
【0005】
また、信号処理では、近接配置された2個のマイクロフォンの入力信号に基づいて入力された音波が目的方向にあるかを判断し、2個の入力信号の位相差の差分を補正し、目的方向に存在する音を強調している(特許文献2参照。)。2つの入力信号同士を互いに参照させ、得られた信号を利用して逐次フィルタを更新している(特許文献3参照)。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2007−318528号公報
【特許文献2】特表2009−135593号公報
【特許文献3】特開2009−027388号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
集音機器または集音機器を搭載する機器の小型化は、マイクロフォンの配置間隔の一層の近接化を伴い、そのため、信号間の振幅差や位相差は極小となり、これら振幅差や位相差の明瞭な特定に多大な労力が必要となっている。特に、2個のマイクロフォンの間隔に対して何十倍以上の長い波長をもつ低周波領域、及び2個のマイクロフォンに到達する音波の位相差が1周期以上となってしまう高周波領域において顕著である。
【0008】
近年では、特許文献1乃至3のように、波形構造の周波数解析、複素解析、又は統計的解析を複雑高度化することで、マイクロフォンの近接化に対応している。しかしながら、これら解析の複雑高度化は、周波数領域に変換する場合のフレーム長の長大化、遅延器の多数配置、長いフィルタ長、長いフィルタ係数等を招いてしまう結果となり、演算処理能力の都合上、リアルタイムに指向性を形成することが困難となってきた。演算処理の負荷軽減を図るためにはマイクロフォンの数を増加させればよいが、機器の限られたスペースにより、マイクロフォンの離間距離は更に短くなってしまう。
【0009】
本願発明は、上記のような従来技術の問題点を解決するために成されたものであり、その目的は、近接配置されたマイクロフォンを用いて、任意の方向から到来する音を、複雑高度な解析を必要とせず、少ない演算量で強調又は抑圧して出力することができる音源分離方法、装置、及びプログラムを提供することにある。
【課題を解決するための手段】
【0010】
上記の目的を達成するために、実施形態の音源分離方法は、一対の入力信号に対して特定方向に指向性を形成する音源分離方法であって、前記一対の入力信号の一方について特定時間の遅延を含むフィルタ処理を施すフィルタ処理ステップと、前記フィルタ処理ステップを経た後、交換回路によって前記一対の入力信号を1サンプル毎に交互に入れ替えることで、一対の交換信号を生成する交換ステップと、前記交換信号の片方に係数mを乗じた上で、前記交換信号の誤差信号を生成する生成ステップと、前記誤差信号を含む係数mの漸化式を演算して係数mを1サンプル毎に更新する更新ステップと、逐次更新された係数mを前記一対の入力信号に乗じて出力する出力ステップと、を備え、前記フィルタ処理ステップにおける特定時間は、前記特定方向からの音波が一対のマイクロフォンに到着する時間差に相当し、前記フィルタ処理ステップでは、前記特定方向からの音波に由来する前記一対の入力信号を同振幅同位相に調整すること、を特徴とする。
【0011】
前記フィルタ処理ステップでは、入力信号を特定時間遅延させる伝達関数T1により、前記一対の入力信号の一方にフィルタ処理を施し、前記伝達関数T1は、前記特定方向から前記フィルタ処理される入力信号を出力したマイクロフォンまでの音波の伝達関数をC11、他方のマイクロフォンまでの音波の伝達関数をC12とすると、T1×C11=C12を概略満たすようにしてもよい。
【0012】
他方の入力信号に対して、一対のマイクロフォンの離間距離を音波が進む所要時間以上の遅延時間を発生させる遅延処理ステップを更に備え、前記フィルタ処理ステップでは、前記一方の入力信号に対して、前記遅延処理ステップの遅延時間と前記特定時間とを加算した時間の遅延を含むフィルタ処理を施すようにしてもよい。
【0013】
前記フィルタ処理ステップでは、入力信号を特定時間遅延させる伝達関数T1により、前記一対の入力信号の一方にフィルタ処理を施し、前記遅延処理ステップでは、入力信号を前記遅延時間分遅延させる伝達関数D1により、前記一対の入力信号の他方を遅延させ、前記伝達関数T1と前記伝達関数D1は、前記特定方向から前記フィルタ処理される入力信号を出力したマイクロフォンまでの音波の伝達関数をC11、他方のマイクロフォンまでの音波の伝達関数をC12とすると、T1×C11=D1×C12を概略満たすようにしてもよい。
【0014】
前記生成及び前記更新ステップでは、1サンプル前に算出された過去の係数mの−1倍がセットされた第1の積算器に前記交換信号の片方を通し、前記第1の積算器を経た後に、前記一対の交換信号を加算する第1の加算器を通し、第1の加算器を経た後に、定数μがセットされた第2の積算器を通し、前記第2の積算器を経た後に、前記過去の係数mが乗算される前の前記片方の交換信号がセットされた第3の積算器を通し、前記第3の積算器を経た後に、1サンプル前に算出された過去の係数mがセットされた第2の加算器を通すことで、前記係数mを1サンプル毎に更新するようにしてもよい。
【0015】
また、上記の目的を達成するために、実施形態の音源分離装置は、一対の入力信号に対して特定方向に指向性を形成する音源分離装置であって、前記一対の入力信号の一方について特定時間の遅延を含むフィルタ処理を施すフィルタと、前記フィルタを経た後、前記一対の入力信号を1サンプル毎に交互に入れ替えることで、一対の交換信号を生成する交換部と、前記交換信号の片方に係数mを乗じた上で、前記交換信号の誤差信号を生成する誤差信号生成部と、前記誤差信号を含む係数mの漸化式を演算して係数mを1サンプル毎に更新する漸化式演算部と、逐次更新された係数mを前記一対の入力信号に乗じて出力する積算部と、を備え、前記フィルタ処理における特定時間は、前記特定方向からの音波が一対のマイクロフォンに到着する時間差に相当し、前記フィルタ処理では、前記特定方向からの音波に由来する前記一対の入力信号を同振幅同位相に調整すること、を特徴とする。
【0016】
前記フィルタでは、入力信号を特定時間遅延させる伝達関数T1により、前記一対の入力信号の一方にフィルタ処理を施し、前記伝達関数T1は、前記特定方向から前記フィルタ処理される入力信号を出力したマイクロフォンまでの音波の伝達関数をC11、他方のマイクロフォンまでの音波の伝達関数をC12とすると、T1×C11=C12を概略満たすようにしてもよい。
【0017】
他方の入力信号に対して、一対のマイクロフォンの離間距離を音波が進む所要時間以上の遅延時間を発生させるディレイを更に備え、前記フィルタでは、前記一方の入力信号に対して、前記
ディレイによる遅延時間と前記特定時間とを加算した時間の遅延を含むフィルタ処理を施すようにしてもよい。
【0018】
前記フィルタは、入力信号を特定時間遅延させる伝達関数T1により、前記一対の入力信号の一方にフィルタ処理を施し、前記ディレイは、入力信号を前記遅延時間分遅延させる伝達関数D1により、前記一対の入力信号の他方を遅延させ、前記伝達関数T
1と前記伝達関数D1は、前記特定方向から前記フィルタ処理される入力信号を出力したマイクロフォンまでの音波の伝達関数をC11、他方のマイクロフォンまでの音波の伝達関数をC12とすると、T1×C11=D1×C12を概略満たすようにしてもよい。
【0019】
前記誤差信号生成部及び前記漸化式演算部は、1サンプル前に算出された過去の係数mの−1倍がセットされた第1の積算器に前記交換信号の片方を通し、前記第1の積算器を経た後に、前記一対の交換信号を加算する第1の加算器を通し、第1の加算器を経た後に、定数μがセットされた第2の積算器を通し、前記第2の積算器を経た後に、前記過去の係数mが乗算される前の前記片方の交換信号がセットされた第3の積算器を通し、前記第3の積算器を経た後に、1サンプル前に算出された過去の係数mがセットされた第2の加算器を通すことで、前記係数mを1サンプル毎に更新するようにしてもよい。
【0020】
また、上記の目的を達成するために、実施形態の音源分離プログラムは、コンピュータを、一対の入力信号に対して特定方向に指向性を形成するように機能させる音源分離プログラムであって、前記コンピュータを、前記一対の入力信号の一方について特定時間の遅延を含むフィルタ処理を施すフィルタと、前記フィルタを経た後、前記一対の入力信号を1サンプル毎に交互に入れ替えることで、一対の交換信号を生成する交換部と、前記交換信号の片方に係数mを乗じた上で、前記交換信号の誤差信号を生成する誤差信号生成部と、前記誤差信号を含む係数mの漸化式を演算して係数mを1サンプル毎に更新する漸化式演算部と、逐次更新された係数mを前記一対の入力信号に乗じて出力する積算部と、として機能させ、前記フィルタ処理における特定時間は、前記特定方向からの音波が一対のマイクロフォンに到着する時間差に相当し、前記フィルタ処理では、前記特定方向からの音波に由来する前記一対の入力信号を同振幅同位相に調整させること、を特徴とする。
【0021】
前記フィルタは、入力信号を特定時間遅延させる伝達関数T1により、前記一対の入力信号の一方にフィルタ処理を施し、前記伝達関数T1は、前記特定方向から前記フィルタ処理される入力信号を出力したマイクロフォンまでの音波の伝達関数をC11、他方のマイクロフォンまでの音波の伝達関数をC12とすると、T1×C11=C12を概略満たすようにしてもよい。
【0022】
前記コンピュータを、他方の入力信号に対して、一対のマイクロフォンの離間距離を音波が進む所要時間以上の遅延時間を発生させるディレイとして更に機能させ、前記フィルタは、前記一方の入力信号に対して、前記
ディレイによる遅延時間と前記特定時間とを加算した時間の遅延を含むフィルタ処理を施すようにしてもよい。
【0023】
前記フィルタは、入力信号を特定時間遅延させる伝達関数T1により、前記一対の入力信号の一方にフィルタ処理を施し、前記ディレイは、入力信号を前記遅延時間分遅延させる伝達関数D1により、前記一対の入力信号の他方を遅延させ、前記伝達関数T
1と前記伝達関数D1は、前記特定方向から前記フィルタ処理される入力信号を出力したマイクロフォンまでの音波の伝達関数をC11、他方のマイクロフォンまでの音波の伝達関数をC12とすると、T1×C11=D1×C12を概略満たすようにしてもよい。
【0024】
前記誤差信号生成部及び前記漸化式演算部は、1サンプル前に算出された過去の係数mの−1倍がセットされた第1の積算器に前記交換信号の片方を通し、前記第1の積算器を経た後に、前記一対の交換信号を加算する第1の加算器を通し、第1の加算器を経た後に、定数μがセットされた第2の積算器を通し、前記第2の積算器を経た後に、前記過去の係数mが乗算される前の前記片方の交換信号がセットされた第3の積算器を通し、前記第3の積算器を経た後に、1サンプル前に算出された過去の係数mがセットされた第2の加算器を通すことで、前記係数mを1サンプル毎に更新するようにしてもよい。
【発明の効果】
【0025】
本発明によれば、目的音源とマイクロフォンとの物理的な配置に起因して生じる時間差に焦点をあてることで、時間差のない音を強調する簡便な手法を利用して、任意の方向に存在する目的音源の音を相対的に強調できるため、信号間の振幅や差分を特定する煩雑な解析を必要とせずに、演算数を大幅に削減しながらも、任意の方向から到来する音波信号を精度よく強調できる。
【図面の簡単な説明】
【0026】
【
図1】第1の実施形態に係る音源分離装置の構成を示すブロック図である。
【
図2】係数更新回路の一例を示すブロック図である。
【
図3】音源とマイクロフォンL、Rとの関係を示すモデルである。
【
図4】各音源に到達する同一音波の到達時間差を示すグラフである。
【
図5】各音源に到達する同一音波のうちの一方を遅延させた場合の到達時間差の変化を示すグラフである。
【
図6】80deg方向の音源からの時間差を解消させた場合に、80deg方向の音源からの入力信号を元に生成した係数m(k)の収束態様を示すグラフである。
【
図7】80deg方向の音源からの時間差を解消させた場合に、270deg方向の音源からの入力信号を元に生成した係数m(k)の収束態様を示すグラフである。
【
図8】80deg方向の音源からの時間差を解消させた場合に、0deg方向の音源からの入力信号を元に生成した係数m(k)の収束態様を示すグラフである。
【
図9】80deg方向の音源からの時間差を解消させた場合に、30deg方向の音源からの入力信号を元に生成した係数m(k)の収束態様を示すグラフである。
【
図10】交換回路の有無に応じた係数m(k)の収束速度を示すグラフである。
【
図11】第2の実施形態に係る音源分離装置の構成を示すブロック図である。
【
図12】ディレイによる到達時間差の変化を示すグラフである。
【
図13】ディレイ後のフィルタによる到達時間差の変化を示すグラフである。
【
図14】第3の実施形態に係る指向性の範囲を示す。
【
図15】第3の実施形態に係る音源分離装置の構成を示すブロック図である。
【
図16】その他の実施形態に係る音源分離装置の構成を示すブロック図である。
【発明を実施するための形態】
【0027】
以下、本発明に係る音源分離方法、装置、及びプログラムの実施形態について図面を参照しつつ詳細に説明する。
【0028】
(第1の実施形態)
(構成)
図1は、音源分離装置の構成を示すブロック図である。
図1に示すように、音源分離装置は、離間配置される一対のマイクロフォンL、Rに接続されており、マイクロフォンL、Rから入力信号InL(k)と入力信号InR(k)が入力される。音源分離装置は、この入力信号InL(k)と入力信号InR(k)を信号処理し、目的音源S1のある特定方向の音波を、他方向から到来する音波と比して相対的に強調する。本実施形態において、目的音源S1は、マイクロフォンL、Rの正面、又は正面から逸れて、マイクロフォンR寄りの特定方向に存在するものとする。
【0029】
この音源分離装置は、目的音源S1に近いマイクロフォンRの後段にフィルタ1aを備えている。フィルタ1aは、入力信号InR(k)の時間波形を、伝達関数T1が示す特定時間遅延させる。このフィルタ1aは、例えばFIRフィルタやIIRフィルタ等である。
【0030】
フィルタ1aの伝達関数T1は以下式(1)で表される。式中、C11は、特定方向にある目的音源S1からマイクロフォンRまでの経路の伝達関数である。C12は、特定方向にある目的音源S1からマイクロフォンLまでの経路の伝達関数である。
【0031】
この式(1)を満たす伝達関数T1により、フィルタ1aは、特定方向にある目的音源S1の音波を収録して得た入力信号InL(k)と入力信号InR(k)を同振幅同位相に揃える一方、特定方向から逸れた方向から到来する音波を収録して得た入力信号In(L)と入力信号In(R)については、特定方向から逸れるほど、時間差を付けていく。
すなわち、伝達関数T1は、伝達関数T1が示す遅延時間が、目的音源S1からの同一音波がマイクロフォンL、Rに到達する時間差に相当するよう調整されている。
【0032】
マイクロフォンRから入力されてフィルタ1aを経た入力信号InR(k)、及びマイクロフォンLから入力された入力信号InL(k)は、特性補正回路2aと交換回路2と係数更新回路3が直列に接続された経路と、合成回路4へ向かう経路とに分配される。そして、この音源分離装置は、これら交換回路2、係数更新回路3、及び合成回路4を用いて、マイクロフォンLから入力された入力信号InL(k)と、フィルタ1aから出力された入力信号InR(k)との時間差に基づく利得を、入力信号InL(k)と入力信号InR(k)に与える処理を行う。
【0033】
特性補正回路2aは、周波数特性補正フィルタと位相特性補正回路とを有する。周波数特性補正フィルタは、所望周波数帯の音波信号を抽出する。位相特性補正回路は、入力信号InL(k)と入力信号InR(k)に対するマイクロフォンL、Rの音響特性が与える影響を減少させる。
【0034】
交換回路2は、入力信号InL(k)と入力信号InR(k)を1サンプルおきに交互に入れ替えて出力する。すなわち、交換信号InA(k)及び交換信号InB(k)のデータ列は、k=1、2、3、4・・・において、以下のようになる。
InA(k)={InL(1) InR(2) InL(3) InR(4)・・・}
InB(k)={InR(1) InL(2) InR(3) InL(4)・・・}
【0035】
交換信号InA(k)及び交換信号InB(k)は、係数更新回路3に入力される。この係数更新回路3は、交換信号InA(k)と交換信号InB(k)との誤差を計算し、誤差に応じた係数m(k)を決定する。また、係数更新回路3は、過去の係数m(k−1)を参照して逐次的に係数m(k)を更新する。
【0036】
同着の交換信号InA(k)と交換信号InB(k)の誤差信号e(k)を以下式(2)のように定義する。
【0037】
この係数更新回路3は、誤差信号e(k)を係数m(k−1)の関数とし、誤差信号e(k)を含む係数m(k)の隣接二項間漸化式を演算することで、誤差信号e(k)が最小となる係数m(k)を探索する。係数更新回路3は、この演算処理により、入力信号InL(k)と入力信号InR(k)とに時間差が生じていればいるほど、係数m(k)を減少させる方向で更新し、時間差がなければ係数m(k)を1に近づけて出力する。
【0038】
係数m(k)は、入力信号InL(k)及び入力信号InR(k)と共に、合成回路4に入力される。合成回路4は、入力信号InL(k)と入力信号InR(k)とに任意の比率で係数m(k)を乗じ、任意の比率で足し合わせて、その結果として出力信号OutL(k)と信号OutR(k)を出力する。
【0039】
係数更新回路3の一例を更に説明する。
図2は、係数更新回路3の一例を示すブロック図である。
図2に示すように、係数更新回路3は、複数の積算器と加算器から構成され、隣接二項間漸化式を体現した回路であり、過去の係数m(k−1)を参照して係数m(k)を漸次更新するものである。係数更新回路3において、長いタップ数を有する適応フィルタは排除されている。
【0040】
この係数更新回路3において、交換信号InB(k)を参照信号として用いて誤差信号e(k)を生成する。すなわち、交換信号InA(k)は、積算器5に入力される。積算器5は、交換信号InA(k)に対して1サンプル前の係数m(k−1)の−1倍を掛け合わせる。積算器5の出力側には、加算器6が接続されている。この加算器6には、積算器5から出力された信号と交換信号InB(k)とが入力され、これら信号を加算することで、瞬時誤差信号e(k)を得る。この演算処理による誤差信号e(k)は以下式(3)の通りである。
【0041】
誤差信号e(k)は、入力信号をμ倍する積算器7に入力される。係数μは、1未満のステップサイズパラメータである。積算器7の出力側には、積算器8が接続される。積算器8には、交換信号InA(k)と積算器を経た信号μe(k)とが入力される。この積算器8は、交換信号InA(k)と信号μe(k)とを乗じ、以下式(4)で表される瞬時二乗誤差の微分信号∂E(m)
2/∂mを得る。
【0042】
積算器8には加算器9が接続されている。加算器9は、以下式(5)を演算することで係数m(k)を完成させ、入力信号InL(k)とInR(k)から出力信号OutL(k)とOutInR(k)を生成する合成回路4に係数m(k)をセットする。
すなわち、加算器9は微分信号∂E(m)
2/∂mに対して信号β・m(k−1)を加算することで係数m(k)を完成させる。
【0043】
信号β・m(k−1)は、加算器9の出力側に1サンプル分だけ信号を遅延させる遅延器10と定数βを積算する積算器11とが接続されており、1サンプル前の信号処理により更新された係数m(k−1)に対して積算器11で定数βを乗じることにより生成される。
【0044】
これにより、係数更新回路3では、以下の漸化式(6)の演算処理が実現し、係数m(k)を生成され、サンプリング毎に漸次更新していく。
【0045】
(作用)
図3に、各音源とマイクロフォンL、Rとの位置関係を示す。この位置関係を示すモデルは、x軸上に原点を中心にして4cm離したマイクロフォンL、Rを設置し、原点を中心に半径0.5mの円周上に多数の音源を配置している。各音源は、y軸正方向を0deg、x軸正方向を90degとして角度で特定する。
【0046】
音速を340m/sとして、各音源からマイクロフォンLまでの伝達時間をY1とする。また各音源からマイクロフォンRまでの伝達時間をY2とする。このとき、(Y1−Y2)で算出する時間差、すなわち、マイクロフォンRへ到達した音波がマイクロフォンLへ到達する遅延時間は、
図4に示すグラフとなる。
図4は、横軸が音源の位置、縦軸が遅延時間である。
【0047】
図4に示すように、0deg及び180degからの音波はマイクロフォンL、Rへ同着し、90deg及び270degからの音波は、マイクロフォンL、Rへ最大時間ずれて到着する。90degでは、マイクロフォンRへの到達が早い。270degでは、マイクロフォンRへの到達が遅くなる。また、80degからの音波は、マイクロフォンRへの到着から0.1159ms遅れてマイクロフォンLへ到着する。
【0048】
ここで、フィルタ1aにより、マイクロフォンRへ到達した入力信号InR(k)を遅延させる。伝達関数T1は、80degからの同一音波がマイクロフォンL、Rに到達する時間差である0.1159msだけ遅延させるように設定されているものとする。そうすると、
図5に示すように、80degからの音波を収録して得られた入力信号InL(k)と入力信号InR(k)の時間差はゼロとなる。
【0049】
すなわち、80degから到来してマイクロフォンL、Rから出力された入力信号InL(k)と入力信号InR(k)は、時間波形において同振幅同位相となって相対的な強調対象となる。
【0050】
このような伝達関数T1を有するフィルタ1aを通った場合の係数m(k)の収束例を
図6乃至9に示す。各図は、横軸をサンプリング数、縦軸を係数m(k)とし、係数m(0)を零に予め設定した場合の係数m(k)の収束態様を示している。マイクロフォンL、Rの間隔は40mmとする。尚、定数βは1.000であり、定数μは0.01であり、係数m(k)は平均処理によって平滑化されている。
【0051】
まず、
図6に示すように、80degからの音波を収録して得た入力信号InR(k)と入力信号InL(k)によると、係数m(k)は1に向けて収束する。一方、
図7に示すように、270deg方向に音源がある場合には、係数m(k)は、約0.1に向けて収束する。また、
図8に示すように、0deg方向に音源がある場合には、係数m(k)は、約0.75に向けて収束する。更に、
図9に示すように、30deg方向に音源がある場合には、係数m(k)は、約0.94に向けて収束する。
【0052】
これにより、出力信号OutL(k)と信号OutInR(k)には、音源の存在位置が80degの方向に近ければ近いほど、1に近い係数m(k)によって相対的に強調される利得が与えられる。一方、音源の存在位置が80degの方向から離れれば離れるほど、1未満の係数m(k)によって相対的に抑制される利得が与えられる。
【0053】
次に、交換回路の意義について説明する。交換回路を経ることによって、係数更新回路は、以下の数式(7)を交互に演算する。
【0054】
数式(7)において、信号の二乗の項は、ホワイトノイズ等の無相関成分を時間の経過とともに小さくなるように作用する。一方、その隣接項は、相関係数を逐次的に算出する以下の数式(8)の分子部分と同等であり、相関成分の影響を係数mに反映させていくこととなる。
【0055】
つまり、係数更新回路3が入力信号InL(k)に対して入力信号InR(k)を近似させようとしたときには、入力信号InL(k)の無相関成分は増幅方向となり、入力信号InR(k)の無相関成分は抑制方向となる。また、入力信号InR(k)に対して入力信号InL(k)を近似させようとしたときには、入力信号InR(k)の無相関成分は増幅方向となり、入力信号InL(k)の無相関成分は抑制方向となる。
【0056】
そこで、係数更新回路3の前に交換回路2を設置すると、入力信号InL(k)に対して入力信号InR(k)を近似させて同期加算しようとする働きと、入力信号InR(k)に対して入力信号InL(k)を近似させて同期加算しようとする働きとを交互に繰り返すこととなる。そのため、無相関成分を増幅及び抑制しようとする働きは、交互に打ち消し合うことになり、係数m(k)には相関成分の影響を濃く反映させていくことになる。
【0057】
尚、
図10は、交換回路2がある場合とない場合での係数m(k)の収束状態を示している。両収束状態は、共にセンター位置に音源を置き、マイクロフォンL、Rで集音したものである。
図10の曲線Fが示すように、交換回路2がある場合には約1000回目に係数m(k)が1に収束したが、曲線Gが示すように、更新回路2がない場合には、係数m(k)を10000回更新しても未だ1に収束することはなく、その開きは10倍であった。すなわち、交換回路2が存在する場合には、音源分離が速やかに完了することを示している。
【0058】
(効果)
以上のように、本実施形態に係る音源分離装置では、マイクロフォンL、Rから入力される一対の入力信号の一方について特定時間の遅延を含むフィルタ処理を施す。そして、フィルタ処理の後、交換回路2によってマイクロフォンL、Rから入力される一対の入力信号InL(k)とInR(k)を1サンプル毎に交互に入れ替えることで、一対の交換信号InA(k)とInB(k)を生成し、この交換信号InA(k)とInB(k)の片方に係数mを乗じた上で、交換信号InA(k)とInB(k)の誤差信号を生成する。更に、誤差信号を含む係数mの漸化式を演算して係数mを1サンプル毎に更新する。最後に、逐次更新された係数mを一対の入力信号に乗じて出力する。
【0059】
例えば、入力信号を特定時間遅延させる伝達関数T1を有するフィルタ1aを通すことで、一対の入力信号InL(k)とInR(k)の一方にフィルタ処理を施すようにする。この伝達関数T1は、目的音源S1からフィルタ処理される入力信号を出力したマイクロフォンまでの音波の伝達関数をC11、他方のマイクロフォンまでの音波の伝達関数をC12とすると、T1×C11=C12を概略満たすようにする。
【0060】
また、1サンプル前に算出された過去の係数mの−1倍がセットされた積算器5に交換信号の片方を通し、積算器5を経た後に、一対の交換信号を加算する加算器6を通し、加算器6を経た後に、定数μがセットされた積算器7を通し、積算器7を経た後に、過去の係数mが乗算される前の片方の交換信号がセットされた積算器8を通し、積算器8を経た後に、1サンプル前に算出された過去の係数mがセットされた加算器9を通すことで、係数mを1サンプル毎に更新する。
【0061】
これにより、本実施形態の音源分離装置は、目的音源S1とマイクロフォンL、Rとの物理的な配置に起因して生じる時間差に焦点をあて、煩雑な演算を回避でき、入力信号In(L)と入力信号In(R)との位相差や振幅差が極微小であっても、逆に1周期以上の時間差が生じていても、解析を必要とせず簡便に、マイクロフォンL、Rのセンター位置から逸れた特定方向の目的音源S1に指向性を形成することができる。
【0062】
更に、その指向性を形成するためにタップ数の多いフィルタ等に依ることはなく、交換回路と漸化式を演算する一つの係数更新回路によって実現できる。従って、演算数を大幅に削減でき、最終的な遅延は数十マイクロ秒〜数ミリ秒以内におさめることが可能となる。
【0063】
尚、本実施形態における指向性を形成する特定方向は例示である。言うまでもないが、伝達関数T1の調整及びフィルタ1aを設置するマイクロフォンL、Rの選択によって、特定方向は如何様にも設定可能である。
【0064】
(第2の実施形態)
(構成)
第2の実施形態に係る音源分離装置は、
図11に示すように、マイクロフォンRの後段に設けられたフィルタ1aの他、マイクロフォンLの後段にディレイ1bを備えている。ディレイ1bはLC回路等であり、入力信号InL(k)に対して一定の遅延時間を与える。
【0065】
ディレイ1bによる遅延時間は、マイクロフォンL、Rの離間距離を音波が進む所要時間以上とする。270degの方向に目的音源S1があると、マイクロフォンL、Rに到達する音波の到達時間差は最大となり、且つマイクロフォンLがマイクロフォンRに先立って音波を受信する。ディレイ1bは、入力信号InL(k)をこの最大時間以上遅延させる。すなわち、常に入力信号InR(k)を入力信号InL(k)よりも時間波形が進んだ状態にする。
【0066】
ディレイ1bの伝達関数D1とフィルタ1aの伝達関数T1は、以下式(9)を満たすように調整される。つまり、伝達関数T1は、ディレイ1bで入力信号InL(k)を遅らせたことを加味して、特定方向から到来する音波の時間差を解消するように調整されている。
【0067】
(作用)
図3の位置関係モデルを考える。第2の実施形態に係る音源分離装置では、ディレイ1bにより、マイクロフォンLが出力する入力信号InL(k)の時間波形が遅れるようにシフトする。シフト量は、270degからの同一音波がマイクロフォンL、Rに到達する時間差とする。
【0068】
そうすると、
図12に示すように、マイクロフォンRに同一音波が到達してから、その同一音波がマイクロフォンLに到達するまでの時間差は、必ずゼロ以上の正の値となる。つまり、目的音源S1が何れに位置しようとも、その音波の入力信号InR(k)は、その音波の入力信号InL(k)よりも時間波形でゼロ以上進んでいる。
【0069】
そこで、マイクロフォンRが出力する入力信号InR(k)の時間波形を遅らせるようにシフトする。シフト量は、例えば、目的音源S1が280degにあるものとし、280degからの音波がマイクロフォンL、Rに到達する時間差とする。そうすると、
図13に示すように、280degからの音波を収録して得られた入力信号InL(k)と入力信号InR(k)は時間差がゼロとなる。
【0070】
同じように、フィルタ1aの有する伝達関数T1が上記式(9)を満たす場合、280degから到来してマイクロフォンL、Rから出力されたInR(k)とInL(k)は、時間波形において同振幅同位相となるように調整され、時間差が消失し、相対的な強調対象となる。
【0071】
(効果)
以上のように、この音源分離装置では、入力信号の片側はフィルタ1aを通過させ、入力信号の他側はディレイ1bを通過させる。これにより、他側の入力信号には、マイクロフォンL、Rの離間距離を音波が進む所要時間以上の遅延時間を発生させる。そして、フィルタ1aでは、ディレイ1bによる遅延時間と目的音源Sからの音波が到達する時間差とを加算した時間の遅延を含むフィルタ処理を施す。具体的には、フィルタ1aの伝達関数T1とディレイ1bの伝達関数D1は、T1×C11=D1×C12を概略満たすようにすればよい。これにより、目的音源S1が何れに存在しようとも、その目的音源Sの音波を相対的に強調することが可能となる。
【0072】
尚、本実施形態における指向性を形成する特定方向は例示である。言うまでもないが、伝達関数T1及び伝達関数D1の調整及びフィルタ1a、ディレイ1bを設置するマイクロフォンL、Rの選択によって、特定方向は如何様にも設定可能である。
【0073】
(第3の実施形態)
第3の実施形態に係る音源分離装置は、第1の実施形態又は第2の実施形態に加えて、ノイズ源N1から到来した音波の時間及び振幅差を揃えて片側から差し引いた合成信号InC(k)を生成し、合成信号InC(k)を合成回路4によるゲイン処理に加味することで、特定方向の目的音源S1に対する感度を相対的に高め、この目的音源S1からの音波をより強調するものである。
【0074】
図14は、合成信号InC(k)に反映される指向性の範囲を示す。
図14に示すように、マイクロフォンL、Rから入力された入力信号InL(k)と入力信号InR(k)とを信号処理することによって、ノイズ源N1の方向を排除したカーディオイド型の指向性の範囲Dを形成する。
【0075】
この音源分離装置は、
図15に示すように、マイクロフォンL、Rのセンター位置から270deg側の音波を抑制したい場合、マイクロフォンLの後段に、ディレイ1bへの経路とは分岐させてフィルタ1cを備える。フィルタ1cとマイクロフォンRから出力された信号は、加算器1dを経て合成信号InC(k)として合成回路4に入力される。
【0076】
フィルタ1cの伝達関数H1は以下式(10)を満たしている。C21は、ノイズ源N1からマイクロフォンRまでの伝達関数であり、C22は、ノイズ源N1からマイクロフォンLまでの伝達関数である。
【0077】
式(10)に示すように、入力信号InL(k)がフィルタ1cを経ると、ノイズ源N1から到来した入力信号InL(k)と入力信号(R)は同位相で振幅の正負が反転した関係となる。そのため、加算器1dを経ると、これら入力信号InL(k)と入力信号(R)は、時間差が少なければ少ないほど相殺し合い、270deg方向の音波が抑制された合成信号InC(k)が生成される。
【0078】
合成信号InC(k)は設定した方向に対して感度の低い指向性を有する出力であり、合成信号InC(k)に任意の比率でm(k)を乗じることで、第1の実施形態および第2の実施形態と比較してさらに、強い指向性のある出力Outを得る事ができる。
【0079】
(その他の実施形態)
以上のように、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これら新規な実施形態は、そのほかの様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0080】
例えば、実施形態では、音源分離装置がICレコーダやPCや携帯端末等の収録機能を有する機器に搭載されることを前提に説明したが、その他のあらゆる音響機器に搭載することもでき、マイクロフォンに代えて、音波データを記憶したメモリから入力信号In(L)及びIn(R)の提供を受ければよい。すなわち、「一対のマイクロフォンから入力された一対の入力信号に対して、特定方向に指向性を形成する」とは、マイクロフォンからリアルタイムに入力された入力信号の他、音源分離装置に接続された一対のマイクロフォンで予め収録されて得られた入力信号、全く別の一対のマイクロフォンで予め収録されて得られた入力信号、コンピュータ等を用いて一対のマイクロフォンで収録された音波に見立てて擬似的に生成された入力信号に対して、特定方向に指向性を形成することを含む。
【0081】
また、
図16に示すように、係数更新回路は、交換信号の片方に係数mを乗じた上で、交換信号の誤差信号を生成し、この誤差信号を含む係数mの漸化式を演算して係数mを1サンプル毎に更新するようにすれば、上記実施形態に限定することなく、その他の態様で実現可能である。
【0082】
また、この音源分離装置は、CPUやDSPのソフトウェア処理として実現してもよいし、専用のデジタル回路で構成するようにしてもよい。ソフトウェア処理として実現する場合には、CPU、外部メモリ、RAMを備えるコンピュータにおいて、フィルタ1a、ディレイ1b、フィルタ1c、加算器1e、交換回路2、係数更新回路3、合成回路4と同一の処理内容を記述したプログラムをROMやハードディスクやフラッシュメモリ等の外部メモリに記憶させ、RAMに適宜展開し、CPUで其のプログラムに従って演算を行うようにすればよい。
【符号の説明】
【0083】
1a フィルタ
1b ディレイ
1c フィルタ
1e 加算器
2 交換回路
2a 特性補正回路
3 係数更新回路
4 合成回路
5 積算器
6 加算器
7 積算器
8 積算器
9 加算器
10 遅延器
11 積算器