特許 6163211 少なくとも二つの出力信号から少なくとも二つの個別信号を算出する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6163211

(24)【登録日】2017年6月23日

(45)【発行日】2017年7月12日

(54)【発明の名称】少なくとも二つの出力信号から少なくとも二つの個別信号を算出する方法

(51)【国際特許分類】

   G10L 21/028 20130101AFI20170703BHJP

   G10L 21/0272 20130101ALI20170703BHJP

【ＦＩ】

   G10L21/028 B

   G10L21/0272 100B

【請求項の数】19

【全頁数】21

(21)【出願番号】特願2015-548194(P2015-548194)

(86)(22)【出願日】2013年12月10日

(65)【公表番号】特表2016-504622(P2016-504622A)

(43)【公表日】2016年2月12日

(86)【国際出願番号】DE2013000788

(87)【国際公開番号】WO2014094709

(87)【国際公開日】20140626

【審査請求日】2015年9月14日

(31)【優先権主張番号】102012025016.9

(32)【優先日】2012年12月20日

(33)【優先権主張国】DE

(73)【特許権者】

【識別番号】515168950

【氏名又は名称】エイエスケイ・インダストリーズ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100173521

【弁理士】

【氏名又は名称】篠原 淳司

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100153419

【弁理士】

【氏名又は名称】清田 栄章

(72)【発明者】

【氏名】コトゥッラ・ダーニエール

【審査官】 菊池 智紀

(56)【参考文献】

【文献】 特開２００９−２８２５３６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００７／００７６９０２（ＵＳ，Ａ１）

【文献】 米国特許第０５８７０４８０（ＵＳ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ ２１／０２−２１／０３０８

(57)【特許請求の範囲】

【請求項1】

二つの源信号（１，２）から形成されている二つの、ステレオ信号の出力信号（Ｘ_１，Ｘ_２）から二つの個別信号（Ｓ^〜_１，Ｓ^〜_２）を算出する方法において、
ａ）前記出力信号（Ｘ_１，Ｘ_２）上での二つの源信号（１，２）の混合比率（Ｖ_１，Ｖ_２）が特定され、
ｂ）前記出力信号（Ｘ_１，Ｘ_２）に、前記混合比率（Ｖ_１，Ｖ_２）から形成された因子が掛け合わされ、減算信号（Ｘ＾_１，Ｘ＾_２）のそれぞれにおいて一つの源信号（１，２）が消去されるように、前記出力信号（Ｘ_１，Ｘ_２）から二つの減算信号（Ｘ＾_１，Ｘ＾_２）が算出され、
ｃ）前記減算信号（Ｘ＾_１，Ｘ＾_２）がフーリエ変換されることにより変換信号（Ｘ^〜_１，Ｘ^〜_２）が生じ、
ｄ）前記変換信号（Ｘ^〜_１，Ｘ^〜_２）から剰余信号（Ｘ^〜_３）が定められ、
ｅ）前記変換信号（Ｘ^〜_１，Ｘ^〜_２）及び前記剰余信号（Ｘ^〜_３）に基づいて、前記変換信号（Ｘ^〜_１，Ｘ^〜_２）と前記剰余信号（Ｘ^〜_３）内で、前記個別信号（Ｓ^〜_１，Ｓ^〜_２）を生成するために、各周波数ビン（４９）について、最小値が見出され、その最小値に代えて、各周波数ビン（４９）のうちの最大値が設定されるとともに、残りの値がゼロに設定されることで、二つの個別信号（Ｓ^〜_１，Ｓ^〜_２）が計算され、
ｆ）前記個別信号（Ｓ^〜_１，Ｓ^〜_２）が、逆フーリエ変換により、計算処理された源信号（Ｓ_１，Ｓ_２）に変換されることを特徴とする方法。

【請求項2】

請求項１に記載の方法において、
前記混合比率（Ｖ_１，Ｖ_２）の特定は、方向特定により行うことを特徴とする方法。

【請求項3】

請求項１又は２に記載の方法において、
前記混合比率（Ｖ_１，Ｖ_２）の特定は、
前記出力信号（Ｘ_１，Ｘ_２）をフーリエ変換するステップと、
前記フーリエ変換された出力信号（Ｘ^〜_{１，ｏｒｇ}，Ｘ^〜_{２，ｏｒｇ}）の振幅値を計算するステップと、
前記振幅値からヒストグラム（２１）を求めるか、又は、散布図（１４）における振幅値の直線（１７，１８）の傾きを特定するステップと、
を有していることを特徴とする方法。

【請求項4】

請求項３に記載の方法において、
前記ヒストグラム（２１）は、平坦化関数が掛け合わされることを特徴とする方法。

【請求項5】

請求項４に記載の方法において、
平坦化関数として、特に、

【数1】

のハニング窓が用いられることを特徴とする方法。

【請求項6】

請求項３乃至５のいずれか１項に記載の方法において、
前記ヒストグラム（２１）における角度間隔が１°であることを特徴とする方法。

【請求項7】

請求項３乃至６のいずれか１項に記載の方法において、
前記ヒストグラム（２１）の局所的な極値、特に局所的な最大（２２，２３，２４，２５）が特定されることを特徴とする方法。

【請求項8】

請求項７に記載の方法において、
絶対的な真の最大（２２）から始めて各最大（２２，２３，２４，２５）に一つの角度が割り当てられることを特徴とする方法。

【請求項9】

請求項８に記載の方法において、
前記角度の割り当ては、予め決められた数で終了するか、閾値を下回るときに終了することを特徴とする方法。

【請求項10】

請求項３乃至９のいずれか１項の記載の方法において、
ヒストグラム（２１）がローパスにより重み付けされることを特徴とする方法。

【請求項11】

請求項１０に記載の方法において、
前記ローパスは、時間的に以前に求められたヒストグラムから特定されることを特徴とする方法。

【請求項12】

請求項１乃至１１のいずれか１項に記載の方法において、
二つの出力信号（Ｘ_１，Ｘ_２）のときに減算信号（Ｘ＾_１，Ｘ＾_２）が算出され、前記混合比率が１より小さいときに、前記混合比率（Ｖ_Ｎ）が掛け合わされた第２の前記出力信号（Ｘ_２）が第１の前記出力信号（Ｘ_１）から引かれ、それ以外のときに、前記第１の出力信号（Ｘ_１）に前記混合比率の逆数（１／Ｖ_Ｎ）が掛け合わされてそれが前記第２の出力信号（Ｘ_２）から引かれることを特徴とする方法。

【請求項13】

請求項１乃至１２のいずれか１項に記載の方法において、
前記フーリエ変換のために、データポイントについて２のべき乗、特に１０２４，２０４８又は４０９６のデータポイントが用いられることを特徴とする方法。

【請求項14】

請求項１３のいずれか１項に記載の方法において、
前記フーリエ変換のための前記データポイントは、準連続的かつ重畳加算法にしたがって考慮されることを特徴とする方法。

【請求項15】

請求項１乃至１４のいずれか１項に記載の方法において、
前記変換信号の減算信号として剰余信号（Ｘ^〜_３）が定められることを特徴とする方法。

【請求項16】

請求項１乃至１５のいずれか１項に記載の方法において、
少なくとも一つの変換信号（Ｘ^〜_１，Ｘ^〜_２）及び／又は剰余信号（Ｘ^〜_３）の極値の特定により個別信号（Ｓ^〜_１，Ｓ^〜_２）が定められることを特徴とする方法。

【請求項17】

請求項１乃至１６のいずれか１項に記載の方法において、
前記個別信号（Ｓ^〜_１，Ｓ^〜_２）の周波数は、最小を特定することで識別されることを特徴とする方法。

【請求項18】

請求項１６又は１７に記載の方法において、
前記個別信号（Ｓ^〜_１，Ｓ^〜_２）の振幅値に対して、前記変換信号（Ｘ^〜_１，Ｘ^〜_２）の位相値が求められることを特徴とする方法。

【請求項19】

請求項１乃至１８のいずれか１項に記載の方法において、
前記計算すべき源信号（Ｓ_１，Ｓ_２）の数、及び／又は、一つ又は複数の前記源信号（１，２）そのものが予め与えられていることを特徴とする方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、請求項１の前提部分に記載の少なくとも二つの個別信号を算出する方法に関する。

【背景技術】

【0002】

二つ以上の音源を録音することでステレオ信号を生成できることが公知である。これには、レベル差や到達時間差が利用される。ステレオ信号を用いることで、立体的な音の感じが生まれることになる。

【0003】

公知のステレオ技術は、ＡＢ−法、ＸＹ−法やＭＳ−法の形式のインテンシティ・ステレオ並びにＯＲＴＦ−法やＯＳＳ−法のような折衷型の技術である。

【0004】

近年、二つよりも多くのスピーカを備えた音響システムが、市場において徐々にその数を増してきている。特に、このような音響システムは、例えば自動車の中には既に何年も前から在って、そのような自動車は、側方ドアの中に少なくとも二つのスピーカ、さらに、自動車の車内に二つのスピーカを有している。

【0005】

こういうわけで、ステレオの場合がそうであるように、二つよりも多くの個別信号を使えるようにするためにいくつかの方法が開発されている。この場合、概ね二つの異なるアプローチがある。

【0006】

先ず、多数の出力信号からそれぞれの源信号を算出できる方法が存在する。この場合、それぞれの楽器、それぞれの歌声や話し声が、源信号と解される。コーラスの場合や、複数人の歌手もまた、一つの源信号として捉えることができ、例えば２０人の女性歌手がいても、「ソプラノ」は例えば一つの歌声として把握することができる。

【0007】

総じて見れば、問題は、ステレオ信号において存在するような、二つの出力信号から、あるいはまた、それより多くの出力信号から、任意の数の源信号を抽出することにある。

【0008】

信号源分離のためのこのような方法は、いわゆる「ブラインド分離」のキャッチフレーズのもとに行われる。この方法には、大きく二種類の方法がある。その方法は、一方では、独立成分分析、主成分分析、最大事後確率法、最尤法等の統計学的な方法を用いて行われる。他方では、再帰最適化法を利用することもまた公知である。公知の方法は、その際、任意の源信号を、より少ない数の出力信号から高い計算コストを払って算出可能にするか、実時間計算のために源信号の数より多いか又は同じ数の出力信号を必要とする。

【発明の概要】

【発明が解決しようとする課題】

【0009】

したがって、本発明の課題は、請求項１の前提部分の特徴を有する方法を発展させ、源信号の数より少ない数の出力信号の場合でも実時間内で信号源分離を可能とすることにある。

【課題を解決するための手段】

【0010】

この課題は、請求項１の特徴部分によって解決される。本発明の有利な発展態様は、下位請求項から与えられる。

【0011】

本発明の核心は、出力信号から減算信号が算出され、当該減算信号がフーリエ変換され、このようにして得られた変換信号において個別信号が算出される点である。これにより、統計学的な方法及び再帰法は不要とされ、実時間内の個別信号の算出が達成される。ここで、実時間というのは、入って来るデータストリーム（Ｄａｔｅｎｓｔｒｏｍ）が、信号の最初のブロックを計算する際に生じる限界的な時間のずれを有しつつ再生すべき信号が中断なく提供され得ることを意味する。従って、例えば、録音から、或る特定の歌声と例えばピアノとを引き出して、選択すべき混合比率で特定のスピーカに割り当て、その際に出力信号が事前に処理されていなくてもよいようにできる。こうして、例えば、自動車の中でＣＤをセットし、歌および場合によっては引き出すべき信号の配分や引き出すべき信号そのものを決め、遅れを気付かせることなく歌やＣＤの再生を開始できるようになるはずである。

【0012】

出力信号上での源信号の混合比率は、方向を特定することで算出することができる。そのために、出力信号はフーリエ変換され、振幅値が計算される。これら振幅値は、一つのヒストグラムにまとめられる。そのために、フーリエ変換された出力信号からポイント対が作られ、その際に、ヒストグラムにおけるポイント対は、得られる角度によってまとめることができる。ポイント対の角度は、このとき、０°から９０°の間の値を取り、次のように求められる。

【0013】

【数1】

【0014】

ここで、Ｘ^〜_{１，ｏｒｇ}は、フーリエ変換された第１の出力信号Ｘ_１を、Ｘ^〜_{２，ｏｒｇ}は、フーリエ変換された第２の出力信号Ｘ_２を示し、ａ_ｘ及びａ_ｙは、ベクトルを示し、このベクトルには大きさが含まれる。綴りのｌは、出力信号Ｘ_１，Ｘ_２ないしフーリエ変換された出力信号Ｘ^〜_{１，ｏｒｇ}，Ｘ^〜_{２，ｏｒｇ}の項数インデックスであり、これに基づいてポイント対が突き止められる。フーリエ変換された出力信号Ｘ^〜_{１，ｏｒｇ}の第１の数値とフーリエ変換された出力信号Ｘ^〜_{２，ｏｒｇ}の第１の数値はベクトルに他ならないが、これらの第１の数値は、したがってｌ＝１の第１のポイント対を形成する。もちろん、項数インデックスｌは０から始まってもよく、その場合、項数インデックスはＬ−１まで続く。ここで、Ｌは、各出力信号Ｘ_１，Ｘ_２のフーリエ変換されたポイントの数（例えば４０９６点）を示す。θは、０°から９０°の間の角度であり、Ψ_ｌは、インデックスｌを持つポイント対の大きさである。

【0015】

ベクトルΨ_ｌは、ベクトルａ_ｘ及びａ_ｙの大きさの和を内容とする。

【0016】

【数2】

【0017】

フーリエ変換はブロックで実行される。入力信号として、それぞれ２のべき乗、つまり、２を累乗したものが用いられる。１０乗、１１乗又は１２乗、つまり、１０２４、２０４８又は４０９６のデータポイントが特に効率的であることが判明した。特に好ましくは、４０９６のデータポイントであり、その理由は、計算コストを考慮すると計算時間が最適であるからである。

【0018】

ヒストグラムの区分けは、好ましくは１°単位で行われる。すなわち、ヒストグラムは９０の区間を含む。角度θの値はこのとき、ヒストグラムの数値範囲を区切るために整数値に丸められる（ｇｅｒｕｎｄｅｔ）。

【0019】

最後に、ヒストグラムは、最大（複数の最大）が分かりやすくなるように平坦化される。平坦化関数として、次の関数が用いられる。

【0020】

【数3】

【0021】

パラメータＴは、整数であり、隣接ポイントが平坦化に幾つ組み込まれるかを与える。したがって、複数のデータポイントに亘る平均が行われる。Ｓ隣接ポイントが存在しないようなヒストグラムの端では、補足すべき相応の位置に０の値が用いられる。ヒストグラムの一番目の度数（Ｚａｈｌｅｎｗｅｒｔ）を計算する際には、したがって、片側では０の値を８回適用されるべきで、その一方、他側では既存の度数が用いられる。平坦化されたヒストグラムにおいて、全ての局所的な極値が特定され、度数の高さ、つまりは頻度により仕分けされる。ヒストグラムにおける各所は、上述のとおり一つの角度に対応しており、その結果、各極値に一つの角度が対応する。見出された最大（複数の最大）に対応する角度が特定され、予め設定された数の最大が用いられるか、又は、予め設定された閾値を頻度が超えるもの全ての最大が用いられる。

【0022】

平坦化されたヒストグラム‐ベクトルは、こうして次のようになる。

【0023】

【数4】

【0024】

ここで、ｉ＝０，…，９０である。ここで、生じ得る問題は、源信号は、出力信号における全ての期間に亘っては現れないということである。例えば、特定の楽器や歌声は休止する。この休止が、角度を特定する際のエラーを引き起こさないように、二つないしそれより多くのヒストグラムを求めた後、並びに、それに対応する角度を特定した後に、次のヒストグラムに、例えばローパスといった重み関数を掛け合わせることができる。ローパスは、次式で表すことができる。

【0025】

【数5】

【0026】

ここで、ａ＝０．１及びｂ＝０．９である。インデックスｎは、ヒストグラムのインデックスであり、具体的には、最初のヒストグラムないし最初の４０９６データポイントではｎ＝１である。ローパスを用いることで、ヒストグラムｈ_{ｇｌ＿ＴＰ}が得られる。

【0027】

この重み付けにより、角度の識別が安定化される。

【0028】

算出された角度をもとにして二つの源信号の混合比率が決まるが、その場合、角度として、

【0029】

【数6】

【0030】

が次式に代入される。

【0031】

【数7】

【0032】

ヒストグラムの最大が、例えば１８°のところにあるとすると、混合比率としてＶ＝０．３２５が得られる。

【0033】

混合比率をもとに、減算信号が計算され、二つの出力信号の場合には次のように与えられる。

【0034】

【数8】

【0035】

ここで、Ｎ＝１，２，…である。Ｎは、フィルターで取り去るべき（ａｕｓｚｕｆｉｌｔｅｒｎｄｅｎ）源信号のインデックスである。

【0036】

混合比率が１より大きいか小さいかに応じて、それに応じた減算信号が計算される。このとき、二つよりも多くの出力信号を用いることもできるが、しかしそれをすると単に計算コストが高くなるという結果になる。ステレオ信号の場合のように二つの出力信号だけでなく、それより多い出力信号が存在する場合、それゆえ好適には、源信号を抽出するために、源信号が最も強く表れているような二つの出力信号が選択される。

【0037】

このように算出された減算信号では、いずれにおいても一つの源信号が遮蔽されている。

【0038】

これらの減算信号は、次にフーリエ変換される。これはブロック式に行われ、その際に、後続するブロックは、常に、先に変換しているデータポイントの半分の大きさに相当する幅を有して始まる。このことはすなわち、一つのブロックの前半部分は、先行するブロックの第二部分として既にフーリエ変換済みであることを意味する。

【0039】

この方法は、連続的な信号処理を可能とし、重畳加算法の名で知られている。

【0040】

リーケージ効果を最小化するために、入力ブロックに窓（例えばハニング窓（Ｈａｎｎｉｎｇ−Ｆｅｎｓｔｅｒ））が掛け合わされる。Ｎのデータポイントのための窓関数ｆ（ｎ）は、以下のものである。

【0041】

【数9】

【0042】

フーリエ変換された減算信号Ｘ^〜（以下、「変換信号」と称する。）から、剰余信号が算出される。二つの変換信号Ｘ^〜に対し、剰余信号は、第１の変換信号から第２の変換信号を単純に減算したものとして与えられる。すなわち、

【0043】

【数10】

【0044】

以下においては、引き続き二つの変換信号Ｘ^〜_１，Ｘ^〜_２と一つの剰余信号Ｘ^〜_３からスタートして、これが全部で三つの信号を生じさせる。そのようなわけで、一つの個別信号を抽出するために、これら三つの信号が互いに比較される。

【0045】

信号Ｘ^〜_１，Ｘ^〜_２，Ｘ^〜_３の各データポイントについては、通常は、各信号が４０９６のデータポイントを有し、三つの信号の振幅から極値が計算される。

【0046】

３ｘ４０９６のデータポイントを持つアレイから開始される。数字の３が変換信号と剰余信号の数を示し、４０９６が一つのブロック内のフーリエ変換されたデータポイントの数を示している。ベクトルＸ^〜_１，Ｘ^〜_２，Ｘ^〜_３の最初の周波数ビンないし最初のデータポイントに注目すると、比較するための三つの度数が決まる。これら三つの値の最小の値のところで、他の二つの値のうち最大の方の値が設定されるとともに、他の値はゼロに設定される。

【0047】

このことをはっきり説明するために、数値例を示す。

【0048】

位置Ｘ^〜_１の第１の値が５、Ｘ^〜_２の第１の値が１０、そしてＸ^〜_３の第１の値が１５とする。すると、５のところに数値１５が設定されるとともに、Ｘ^〜_２及びＸ^〜_３の第１の数値が０に設定される。かくして、数値は、列ごとに検討される。４０９６の列と三つの行からなるアレイが得られ、このアレイでは、３分の２の値がゼロである。ゼロに等しくない値は、個別ベクトルに亘って不規則に配分されている。Ｘ^〜_１及びＸ^〜_２に対する個別ベクトルは、Ｓ^〜_１及びＳ^〜_２と称し、計算処理後の源信号Ｓ_１，Ｓ_２がフーリエ変換されたものである。出来た剰余信号Ｘ^〜_３のベクトルは、それ以上は重要でない。

【0049】

Ｓ^〜_１及びＳ^〜_２の算出は、次の式により与えられている。

【0050】

【数11】

【0051】

ここで、ｋは、データポイントないし周波数ビンの項数インデックスであり、データポイントの場合では値が１から２０４８に及ぶ。周波数ビンの半分しか及ばないはずであるのは、対称性の理由からフーリエ変換に伴ってデータポイントが二重に発生しているからである。上記の例ではｋ＝１であった。

【0052】

このように転換された行（これらは信号Ｘ^〜_１，Ｘ^〜_２に対応していたものである。）、つまりは個別信号Ｓ^〜_１，Ｓ^〜_２を用いると、これをもとに、計算処理された源信号Ｓ１，Ｓ２を逆フーリエ変換により算出することができる。位相として、信号Ｘ^〜_１，Ｘ^〜_２の位相もまたそのまま考慮することができる。Ｓ^〜_１及びＳ^〜_２にはしたがって、ベクトルＸ^〜_１，Ｘ^〜_２からの各位相が割り当てられる。この割り当ては、当然のことながら項数インデックスｋに基づいて行われる。

【0053】

個別信号Ｓ^〜_１，Ｓ^〜_２ないしフーリエ変換された個別信号Ｓ_１，Ｓ_２は、計算精度や計算誤差のために源信号とは少し異なったものになり得る。すなわち、源信号を完全に再生することは確かに達成されないものの、しかしその違いは僅かなもので、通常はその違いに気づくことはない程である。

【0054】

個別信号の分離を改善するために、以下の工程が可能である。

【0055】

最小を見分けるのに飛びがないようにするために、先に行った最小の見分けに応じて信号Ｘ^〜_１，Ｘ^〜_２，Ｘ^〜_３の最小を確定することが行われてもよい。例えば、条件付きのローパスフィルタ（ｂｅｄｉｎｇｔｅｒ Ｔｉｅｆｐａｓｓｆｉｌｔｅｒ）が用いられてもよい。

【0056】

【数12】

【0057】

Ｐ^ｔ_ｈｏｌｄ（ｋ）は、周波数ビンｋの注目対象の値であり、このｋはここでもまた項数インデックスである。パラメータｂは、０と１の間で自由に設定可能であり、ｂ＝０のときに周波数の感知は遮断されている。

【0058】

Ｓ^〜_１及びＳ^〜_２の算出は、次に以下の式により行われる。

【0059】

【数13】

【0060】

パラメータη（０≦η≦１）は、ローパスフィルタを通された信号がいかなる強度で個別信号Ｓ^〜_ｍ，ｍ＝１，２，３，…に入り込むかを与える。

【0061】

さらに、変換信号Ｘ^〜_ｍ，ｍ＝１，２，４，５，…の最小は、別々に剰余信号Ｘ^〜_３と比較することができ、つまりは、最小の特定Ｅ_ｍｉｎ（ｋ）、０又は列の最大値Ｅ_ｍａｘ（ｋ）をあてがあうこと等は、変換信号Ｘ^〜_ｍと剰余信号の間でそれぞれ実行される。このようにして、ベクトルＥ_ｍｉｎ１，Ｅ_ｍｉｎ２，Ｅ_ｍａｘ１，Ｅ_ｍａｘ２が算出される。最小値には、因子β（０≦β≦２）が掛け合わされる。因子の選択次第で、異なる効果が生じる。β＜１に関しては、望ましくない周波数は抑えられ、β＞１に関しては、調和した音調形成が得られる。

【0062】

個別信号は、以下のものとなる。

【0063】

【数14】

【0064】

加えて、信号は、位相状態をもとに分離することができる。変換信号Ｘ^〜_ｍ（ｋ）の振幅が略同じでかつ剰余信号Ｘ^〜_３（ｋ）に最小値があるときには、位相が考慮される。これらの位相が同じであると、最大値がＳ^〜_３（ｋ）に割り当てられ、そうでなければＳ^〜_１（ｋ）及びＳ^〜_２（ｋ）に割り当てられる。この考え方は、もちろん、各周波数ビンｋに対し別々に実行可能である。

【0065】

以下が適宜成り立つ。

【0066】

【数15】

【0067】

加えて、フーリエ変換された出力信号Ｘ^〜_{ｍ，ｏｒｇ}をさらに考慮することができる。最小値がＸ^〜_{１，ｏｒｇ}（ｋ）にあるとき、これらが、同じようにＳ^〜_１（ｋ）に割り振られる。

【0068】

【数16】

【0069】

本発明は、図面に記載された実施形態に基づいてより詳細に説明される。

【図面の簡単な説明】

【0070】

【図1】ステレオ信号に関する本願発明による方法のブロック図である。

【図2】第二の実施形態における本願発明による方法のブロック図である。

【図3】混合比率を特定するためのフロー図である。

【図4】信号源分離のためのフロー図である。

【図5】ステレオ信号を収録するための構成を示す図である。

【図6】データ対の散布図である。

【図7】ＦＴデータ対の散布図である。

【図8】ヒストグラムを示す図である。

【図9】重畳加算法を説明するための図である。

【図10】二つの変換信号と一つの剰余信号の３Ｄ振幅スペクトルを示す図である。

【図11】個別信号の３Ｄ振幅スペクトルを示す図である。

【図12】変換信号と個別信号をベクトル形式で示す図である。

【発明を実施するための形態】

【0071】

図５は、ステレオ信号を録音するための構成を示す。単なる一例として、ＸＹ−ステレオ法により源信号を収録するための構成が示されているのであって、基本的には、本発明による方法はしかし他の全てのステレオ技術において使用できるだけでなく、二つよりも多くの出力信号が生成されるような方法においても適用できる。

【0072】

図示されているのは四つの信号源であり、これら信号源がそれぞれ一つの源信号１，２，３，４を生成する。源信号１は、例えば単一の歌声、つまり一人の男性ないし女性歌手についてのものであり、源信号２は、大勢の男性ないし女性の歌い手からなるバックコーラスについてのもので、ただしコーラスでは同じ歌詞と同じ楽譜が演じられるものであり、源信号３は、楽器、例えばピアノについてのものであり、源信号４は、一群の楽器についてのもの、とはいえコーラス同様に同じ楽譜が演じられるものである。この場合の一例は、同じ旋律を奏でるバイオリンのユニットでもよい。この例が示しているのは、一つの源信号が、一人の単独の男性歌手や一人の単独の女性歌手から構成できたり、あるいは、単独の楽器から構成できたりするのではなく、歌手や楽器の多数から構成され得るということである。マイクロフォン５，６の広がりのある指向性により、源信号１，２，３，４は異なったレベルで収録され、そのために源信号１，２，３，４の混合比率は常に異なっている。

【0073】

源信号１，２，３，４から、かくしてステレオ信号の二つの出力信号が得られる。これらの出力信号が、まさに本願発明による方法の出発点となる信号であり、したがって元の源信号はそれ以上は使用されない。

【0074】

もちろん、もっと多くの源信号も出力信号Ｘ_ｍを生成するのに用いることができ、本方法を実行するには、有意義には、しかし少なくとも二つの源信号は必要である。

【0075】

以下において、二つの出力信号Ｘ_１，Ｘ_２が何度も引き合いに出される。しかし、本発明による方法は、ステレオ信号に限定されるものではなく、基本的には任意の多数の出力信号Ｘ_ｍ，ｍ＝１，２，３，…に使用できる。

【0076】

図１は、本願発明による方法の第一の実施形態によるブロック図を示す。本実施形態においては、二つの出力信号Ｘ_１，Ｘ_２が考慮されて、二つの源信号（例えば源信号１，２）に対する混合比率が特定される。混合比率を特定するための一つの可能な方法は、後に詳述する。源信号１について例えば混合比率Ｖ_１が生じ、源信号２について混合比率Ｖ_２が生じる。出力信号Ｘ_１，Ｘ_２から次に減算信号Ｘ＾_１，Ｘ＾_２が計算され、その際には、出力信号Ｘ_１，Ｘ_２が以下のようにして混合比率に基づき減算される：

【0077】

【数17】

【0078】

ここで、Ｎは源信号の各指標を表す。

【0079】

このように計算された減算信号Ｘ＾_１，Ｘ＾_２は、重畳加算法によりフーリエ変換される。

【0080】

出力信号Ｘ_１，Ｘ_２は、もちろんデジタルデータで、相応に数値やデータポイントが単に並んだものに対応する。出力信号は、数値を極めて多数（通常、数万個）持つベクトルとしても表現することができよう。このことは、減算信号に対しても同じように該当する。計算に対する要求を低く抑えるため、そして、とりわけ最初の個別信号が得られるまでの時間を短く保つため、出力信号Ｘ_１，Ｘ_２ないし減算信号は、ブロックにより後続の処理がなされる。フーリエ変換は、例えば減算信号Ｘ＾_１ないしＸ＾_２の最初の４０９６個のデータポイントに対して適用される。好適には、２のべき乗のデータポイントがフーリエ変換される。それは、本例では、高速フーリエ変換（ＦＦＴ）が適用できるからである。４０９６という数は、このとき、消費される計算時間と計算資源を考慮すると、理想的な数である。もっと小さいデータブロック又はもっと大きいデータブロック（例えば、１０２４ないし２０４８個のデータポイントのデータブロック）を採用することもできる。この場合、もちろん連続するデータポイントのことを常に意味する。減算信号Ｘ＾_１，Ｘ＾_２をフーリエ変換することにより、変換信号Ｘ^〜_１，Ｘ^〜_２が得られる。変換信号Ｘ^〜_１から変換信号Ｘ^〜_２を減算することにより、剰余信号Ｘ^〜_３が得られる。

【0081】

剰余信号Ｘ^〜_３は、変換信号Ｘ^〜_１，Ｘ^〜_２と同程度に多くのデータポイント（例えば、４０９６個のデータポイント）を含んでいる。これらのデータポイントは周波数ドメインにあるので、通常これらは周波数ビンとも呼ばれる。周波数ビンは、したがって変換信号ないし剰余信号のデータポイントである。具体的な場合では、各変換信号・剰余信号は、したがって４０９６個の周波数ビンを有している。

【0082】

次に、信号Ｘ^〜_１，Ｘ^〜_２，Ｘ^〜_３の中で最小が探されるが、これは、これらが遮蔽された信号と同じ意味を持つからである。そのために、各周波数ビンに関して、信号Ｘ^〜_１，Ｘ^〜_２，Ｘ^〜_３の振幅から最小が計算され、その最小のところで、それぞれの周波数ビンのうちの最大の値が設定され、これらの周波数ビンについての他の値がゼロに設定される。ゼロとは異なる値に対する位相を得て、かくして個別信号Ｓ^〜_１，Ｓ^〜_２を得る。これらの個別信号は、計算処理された源信号Ｓ_１，Ｓ_２を得るために、時間領域に逆変換されなければならない。

【0083】

図２は、計算された二つの源信号Ｓ_１，Ｓ_２よりも多くの源信号を算出するための実施形態を示す。本実施形態に関しては、出力信号Ｘ_１，Ｘ_２，Ｘ_３，Ｘ_４から二つよりも多くの混合比率が特定され、これにより、より多くの減算信号，それに伴いより多くの変換信号が得られる。このようにして得られた変換信号Ｘ^〜_１，Ｘ^〜_２，Ｘ^〜_４，Ｘ^〜_５及びこれらから算出される剰余信号Ｘ^〜_３においてもまた、最小を特定することが行なわれ、それにより個別信号Ｓ^〜_１，Ｓ^〜_２，Ｓ^〜_３，Ｓ^〜_４が算出され、これらから、計算された源信号Ｓ_１，Ｓ_２，Ｓ_３，Ｓ_４の計算が行なわれる。

【0084】

以下に、混合比率を特定するための一つの可能な方法を示す。基本的には、混合比率を特定するためにあらゆる方法を用いることができる。

【0085】

図３は、方向の特定に基づいて混合比率を特定するためのフロー図を示す。ここで、ステップＳ１では、出力信号Ｘ_１，Ｘ_２がフーリエ変換され、これにより変換された出力信号Ｘ^〜_{１，ｏｒｇ}，Ｘ^〜_{２，ｏｒｇ}が得られる。ステップＳ２では、フーリエ変換された出力信号Ｘ^〜_{１，ｏｒｇ}，Ｘ^〜_{２，ｏｒｇ}のそれぞれのデータポイントないし周波数ビンに対して以下の式に基づき振幅値が算出される。

【0086】

【数18】

【0087】

次のステップＳ３では、先に計算された値から角度θと大きさΨ_ｌの計算が行なわれる。このとき、フーリエ変換された出力信号Ｘ^〜_{１，ｏｒｇ}，Ｘ^〜_{２，ｏｒｇ}の大きさの計算は、データポイントにより、あるいは、ベクトルとして行なわれるが、いずれにしても、これから角度θと大きさΨ_ｌの値の対を算出することができる。

【0088】

ステップＳ４では、θ及びΨ_ｌの値の対からヒストグラムが計算され、このヒストグラムがステップＳ５では平坦化される。

【0089】

ステップＳ６では、予め決めておいた数だけ、あるいは閾値を超える全ての最大を取り上げることで、ヒストグラムの最大をいくつか特定することが行なわれる。

【0090】

これらの最大のそれぞれには、上の方で与えられた式により最大の値からそれぞれ計算される一つの角度が割り当てられている。ステップＳ７では、次に、算出された角度に基づいて、求められる混合比率の特定が行なわれる。

【0091】

図４は、信号源分離のためのフロー図を示す。変換信号Ｘ^〜_１，Ｘ^〜_２及び場合によってはさらにＸ^〜_４及びＸ^〜_５並びに剰余信号Ｘ^〜_３の場合に、それぞれの周波数ビンに対して最小と最大が計算される（ステップＳ８）。他の実施形態においては、さらにフーリエ変換された出力信号Ｘ^〜_{１，ｏｒｇ}，Ｘ^〜_{２，ｏｒｇ}及び場合によってはＸ^〜_{３，ｏｒｇ}及びＸ^〜_{４，ｏｒｇ}が考慮される。

【0092】

ステップＳ９では、上述したように、各周波数ビンにおいて、最小となるところに、周波数ビンないし各列の最大の値が設定され、他の全ての値には、ゼロ又はホールド値Ｐ^ｔ_ｈｏｌｄが割り当てられる。

【0093】

ステップ１０によれば、個別信号Ｓ^〜_１，Ｓ^〜_２，Ｓ^〜_４，Ｓ^〜_５のゼロと異なるそれぞれの値に対して、変換信号Ｘ^〜_１，Ｘ^〜_２，Ｘ^〜_４，Ｘ^〜_５のそれぞれの位相が割り当てられる。

【0094】

このとき、割り当ては、周波数ビンの番号付けに基づいて行なわれる。個別信号Ｓ^〜_１の周波数ビン２８がゼロとは異なる値を有するときには、個別信号は変換信号Ｘ^〜_１の周波数ビン２８の位相を得ることになる。各周波数ビンにおいて最小の値のところに最大の値を移して残りの値をゼロにするため、個別信号のどの値も、割り当てられた変換信号の値と同じにならない。それでも位相は引き継ぐことができる。

【0095】

最小ではないところでのゼロへの設定に代えて、ホールド値ηＰ_ｈｏｌｄを設定することもできる。これにより、個別信号に飛んだ箇所がないようにする。

【0096】

図６は、混合状態にある二つの出力信号Ｘ_１，Ｘ_２の振幅の散布図を示し、この例では、出力信号Ｘ_１，Ｘ_２は、互いにずれた正弦波信号である。散布図は、各々が値の対（２項目の値）を表し、このとき値の対は、データポイントの番号、いわばデータ−ビンの番号をもとに形成される。出力信号Ｘ_１のデータポイントの第１のポイントは、第１の振幅を有し、出力信号Ｘ_２の第１のデータポイントは、同じか又は別の振幅を有する。これら二つの振幅は、散布図９に一つの点をプロットするのに用いられる。出力信号Ｘ_１と出力信号Ｘ_２の各データポイントについて複数用いることで、同じだけの数のデータポイント対が生じる。このとき、軸１０に出力信号Ｘ_１の振幅が表示され、軸１１に出力信号Ｘ_２の振幅が表示されている。例えば出力信号Ｘ_１出力信号Ｘ_２上の４０９６のデータポイントを用いることで、４０９６のデータポイント対が得られる。これらは、散布図内にポイントクラウド１２を形成し、このポイントクラウドは、個々のデータポイント対から求められた複数の点１３から形成される。

【0097】

図７は、対応して形成された散布図１４を示すが、ただし出力信号Ｘ_１，Ｘ_２は、フーリエ変換された上に、信号の振幅は以下のように計算された。

【0098】

【数19】

【0099】

これに応じて、軸１５には、Ｘ^〜_{１，ｏｒｇ}の、つまりは出力信号Ｘ１がフーリエ変換されたものの振幅の大きさが表示され、軸１６には、Ｘ^〜_{２，ｏｒｇ}の振幅の大きさが表示されている。直線１７ないし１８の傾きを計算することにより、それぞれについて混合比率が得られる。

【0100】

このように単純なやり方で、実際の収録においてこうは完全でない正弦波信号のときだけはしかし混合比率が算出できる。散布図を作成して得られた直線の傾きを求める代わりに、出力信号Ｘ１，Ｘ２をフーリエ変換した後で、フーリエ変換された出力信号Ｘ^〜_{１，ｏｒｇ}，Ｘ^〜_{２，ｏｒｇ}のポイント対から、それぞれ角度θとベクトルΨが計算される。散布図の代わりに、角度θとベクトルΨからなる対からヒストグラムが求められ、そのヒストグラムで角度は整数値に縮められ、そこから角度における対応する頻度が算出される。各ポイント対から、ヒストグラムに関する個々の頻度が生じる。

【0101】

このヒストグラムは、平坦化関数を用いて平坦化されることで、局所的な最小の値及び最大の値の数が減らされる。平坦化関数としては、例えば、既に上述した以下の関数を当てることができる。

【0102】

【数20】

【0103】

このように平坦化されたヒストグラムが図８に示されている。軸１９には角度が度により示され、つまりは０°から９０°まで表示され、他方、軸２０には、それぞれ頻度が示されている。ヒストグラム２１は、絶対的な真の最大２２と、複数の局所的な最大２３，２４及び２５を有する。

【0104】

頻度の数にしたがって並べると、最大２２が最も大きな値を有し、その後に最大２５，２４及び２３が続く。これらの最大の中から、最も頻度の大きい最大について頭の方から予め決めた数だけ選択され、例えば二つの最大、最大２２及び２５が選択されるか、あるいはまた、頻度か閾値を超えている限り最大を選択し続けることもできる。この閾値を例えば１０に設定すると、その後の計算で最大２２，２５及び２４が該当するが、閾値を下回る最大２３は該当しない。

【0105】

それぞれの最大には一つの角度がある。最大２２は、例えば１８°であるし、最大２５は、７２°である。

【0106】

このとき、角度は以下の式により与えられる。

【0107】

【数21】

【0108】

このようにして特定された角度から、それぞれの角度に対してそれぞれ一つの混合比率が以下の式により得られる。

【0109】

【数22】

【0110】

Ｎは、引き抜くべき源信号のインデックスである。これにより、方向の情報に基づいた混合比率の特定は終了する。

【0111】

減算信号Ｘ＾_１，Ｘ＾_２の算出は、ずっと上の方で述べた式により行われる。特に、減算信号Ｘ＾_１，Ｘ＾_２は、ブロックで算出することもできる。したがってデータポイントについて予め決められたセットごとに行なうことができ、例えば出力信号Ｘ_１，Ｘ_２の４０９６のデータポイントのそれぞれが混合比率を用いることで減算信号Ｘ＾_１，Ｘ＾_２に計算される。減算信号Ｘ＾_１，Ｘ＾_２は、図９に示されているような重畳加算法によりフーリエ変換される。

【0112】

図示されているのは、それぞれ減算信号Ｘ＾_１ないしは減算信号Ｘ＾_２の２０４８のデータポイントからなるデータブロック２６，２７，２８，２９である。ここで、２０４８という数値は、フーリエ変換に使用されたデータポイントの半分であるところから出てくる。データブロック２６〜２９のデータポイントの数は、したがって、データブロック３０〜３３のデータポイントの数から出てくる。

【0113】

データブロック３０は、データブロック２６，２７から構成され、それに対応してデータブロック２６又は２７のデータポイントの２倍の数を有している。このデータブロック３０は、フーリエ変換されるデータブロックである。データブロック３１は、データブロック２７，２８からなり、データブロック３２は、データブロック２８とそれに続くデータブロックからなる。データブロック２７は、データブロック３０，３１に含まれ、データブロック２８は、データブロック３１，３２に含まれる。

【0114】

フーリエ変換に先立ち、データブロック３０，３１，３２，３３は、さらにハニング窓が掛け合わされる。これにより、フーリエ変換の際のリーケージ効果を最小限にすることができる。

【0115】

図１０は、変換信号Ｘ^〜_１，Ｘ^〜_２剰余信号Ｘ^〜_３の３Ｄ−振幅スペクトルを示す。軸３５上には、周波数ビンの各番号、つまり信号のベクトルにおける通し番号が付されたポイントが示されている一方、軸３６には大きさが表示されている。軸３７には、それぞれの大きさが表示されている。位置３８には信号｜Ｘ^〜_２｜が、位置３９には信号｜Ｘ^〜_３｜が、そして位置４０には信号｜Ｘ^〜_１｜がある。

【0116】

図１０に示された信号は、二つの純粋な正弦波信号から求められた。実際の信号では、多かれ少なかれ全ての周波数ビンが一杯になっているが、ただ見やすくするには、正弦波信号が特に適している。図１０に示されていることから直ぐに分かるように、信号｜Ｘ^〜_１｜，｜Ｘ^〜_２｜，｜Ｘ^〜_３｜はそれぞれたったの三つの異なる高さのピークしか持たず、他方それ以外ではただのゼロの状態しか持たない。

【0117】

図１１は、個別信号Ｓ^〜_１，Ｓ^〜_２剰余信号混合Ｓ^〜_３の３Ｄ−振幅スペクトルを示す。軸３５は、再び周波数ビンを表示し、軸３６は大きさを表示する。軸４２上には、これに対し、含まれる個別信号が与えられている。位置４３には、個別信号｜Ｓ^〜_１｜があり、位置４４には、剰余信号｜Ｓ^〜_３｜があり、そして位置４５には、個別信号｜Ｓ^〜_２｜がある。個別信号｜Ｓ^〜_１｜，｜Ｓ^〜_２｜を逆フーリエ変換できるようにするため、個別信号｜Ｓ^〜_１｜，｜Ｓ^〜_２｜のゼロとは異なる位置のそれぞれに、変換信号Ｘ^〜_１，Ｘ^〜_２からさらにそれぞれ位相を当てることができる。

【0118】

図１２は、変換信号Ｘ^〜_１，Ｘ^〜_２及び剰余信号Ｘ^〜_３から個別信号を取得する点を概略的に示す。ベクトル４６は、この例では、変換信号Ｘ^〜_１のものをここでも部分的に示しており、これに対応してベクトル４７は、変換信号Ｘ^〜_２の数値を、ベクトル４８は、剰余信号Ｘ^〜_３の値を、そしてベクトル４９は、対応する周波数ビンを示している。

【0119】

これらから、ベクトル５０に示された個別信号Ｓ^〜_１、ベクトル５１に示された個別信号Ｓ^〜_２、そしてベクトル５２に示された剰余信号Ｓ^〜_３が以下のようにして出てくる。

【0120】

周波数ビン１に関して、５及び７の数は１より大きいから最小はベクトル４８にある。周波数ビン１では、対応するベクトル５０，５１，５２は、したがって次の値が設定される。すなわち、最小値１の位置では、最大値７が設定される。この値は、したがってベクトル５２の周波数ビン１に設定されなければならない。周波数ビン１のその余の値、つまりベクトル５０，５１における値は、ゼロに設定される。最小を見ていくのは、こうして列ごとに、データポイントごとないし周波数ビンごとに、行なわれる。これらの表現は同じものである。

【0121】

相応して、周波数ビン２，３，４，５，等々に対する列の値が計算される結果、図１２に示された値がそれぞれ出てくる。

【0122】

ベクトル５０には、ベクトル４６に対する値ないし最小値が集められ、ベクトル５１には、ベクトル４７に対するものが、そして、ベクトル５２には、ベクトル４８に対するものが集められる。

【0123】

個別信号Ｓ^〜_１，Ｓ^〜_２のベクトル５０，５１に対しては、さらに続けてまだ変換信号Ｘ^〜_１，Ｘ^〜_２の位相が割り当てられる。この点を単に一例としてベクトル５０の周波数ビン４について述べる。ベクトル５０の周波数ビン４については、ベクトル４６から周波数ビン４の位相が取得される。これは、ベクトル５０がベクトル４６の最小を形成し、それゆえにそこに数値が存在しているからである。相応して、同じ周波数ビンの位相が受け渡される。

【0124】

図の全ての実施形態において、明示された上述の二つの出力信号、二つの変換信号あるいは個別信号に代えて、二つよりも多くの信号を用いることができ、さらに、明細書冒頭で述べた全ての実施形態も、図に関する記載に鑑み用いることができ、それゆえにこの点は明確には排除されていない。

【符号の説明】

【0125】

１ 源信号
２ 源信号
３ 源信号
４ 源信号
５ マイクロフォン
６ マイクロフォン
７ 混合比率特定
８ 信号分離
９ 散布図
１０ 軸
１１ 軸
１２ ポイントクラウド
１３ 点
１４ 散布図
１５ 軸
１６ 軸
１７ 直線
１８ 直線
１９ 軸
２０ 軸
２１ ヒストグラム
２２ 最大
２３ 最大
２４ 最大
２５ 最大
２６ データブロック
２７ データブロック
２８ データブロック
２９ データブロック
３０ データブロック
３１ データブロック
３２ データブロック
３３ データブロック
３４ ３Ｄ−振幅スペクトル
３５ 軸
３６ 軸
３７ 軸
３８ 位置
３９ 位置
４０ 位置
４１ ３Ｄ−振幅スペクトル
４２ 軸
４３ 位置
４４ 位置
４５ 位置
４６ ベクトル
４７ ベクトル
４８ ベクトル
４９ 周波数ビン
５０ ベクトル
５１ ベクトル
５２ ベクトル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】