知財求人 - 知財ポータルサイト「IP Force」
▶ フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオの特許一覧
特許5906312スペクトル重みジェネレータを使用する周波数領域処理を用いてステレオ録音を分解するための方法および装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5906312
(24)【登録日】2016年3月25日
(45)【発行日】2016年4月20日
(54)【発明の名称】スペクトル重みジェネレータを使用する周波数領域処理を用いてステレオ録音を分解するための方法および装置
(51)【国際特許分類】
H04S 5/02 20060101AFI20160407BHJP
G10L 19/008 20130101ALI20160407BHJP
G10L 19/02 20130101ALI20160407BHJP
【ＦＩ】
H04S5/02 K
G10L19/008 100
G10L19/02 150
【請求項の数】15
【全頁数】37
(21)【出願番号】特願2014-517773(P2014-517773)
(86)(22)【出願日】2012年7月3日
(65)【公表番号】特表2014-523174(P2014-523174A)
(43)【公表日】2014年9月8日
(86)【国際出願番号】EP2012062932
(87)【国際公開番号】WO2013004698
(87)【国際公開日】20130110
【審査請求日】2014年2月25日
(31)【優先権主張番号】61/504,588
(32)【優先日】2011年7月5日
(33)【優先権主張国】US
(31)【優先権主張番号】11186715.6
(32)【優先日】2011年10月26日
(33)【優先権主張国】EP
(73)【特許権者】
【識別番号】591037214
【氏名又は名称】フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ
(74)【代理人】
【識別番号】100079577
【弁理士】
【氏名又は名称】岡田 全啓
(74)【代理人】
【識別番号】100167966
【弁理士】
【氏名又は名称】扇谷 一
(72)【発明者】
【氏名】ウーレ クリスティアン
(72)【発明者】
【氏名】フィナウアー シュテファン
(72)【発明者】
【氏名】ガンプ パトリック
(72)【発明者】
【氏名】ヘルムート オリヴァー
(72)【発明者】
【氏名】プロカイン ペーター
(72)【発明者】
【氏名】シュテッケルマイアー クリスティアン
【審査官】
大野 弘
(56)【参考文献】
【文献】
特表２０１０−５４１３５０（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｓ ５／０２
Ｇ１０Ｌ １９／００８
Ｇ１０Ｌ １９／０２
(57)【特許請求の範囲】
【請求項1】
第１の入力チャンネルおよび第２の入力チャンネルを有するステレオ入力信号から第１のサイドチャンネルおよび第２のサイドチャンネルを有するステレオサイド信号を生成するための装置であって、
修正情報を生成するための修正情報ジェネレータ（１１０；６１０；７１０；８１０；９１０；１３１０）であって、前記修正情報ジェネレータ（１１０；６１０；７１０；８１０；９１０；１３１０）は、前記ステレオ入力信号のモノラルミッド信号およびモノラルサイド信号に基づいて第１のスペクトル重み付け係数を生成することによって前記修正情報を生成するためのスペクトル重みジェネレータ（１１６；６１５；７１５；８１５；９１５）を含む、修正情報ジェネレータ、および
前記第１のサイドチャンネルを得るために前記修正情報に基づいて前記第１の入力チャンネルを操作するように構成されさらに前記第２のサイドチャンネルを得るために前記修正情報に基づいて前記第２の入力チャンネルを操作するように構成される信号操作器（１２０；６２０；７２０；８２０；１３２０）を含む、装置。
修正情報を生成するための修正情報ジェネレータ（１１０；６１０；７１０；８１０；９１０；１３１０）であって、前記修正情報ジェネレータ（１１０；６１０；７１０；８１０；９１０；１３１０）は、前記ステレオ入力信号のモノラルミッド信号およびモノラルサイド信号に基づいて第１のスペクトル重み付け係数を生成することによって前記修正情報を生成するためのスペクトル重みジェネレータ（１１６；６１５；７１５；８１５；９１５）を含む、修正情報ジェネレータ、および
前記第１のサイドチャンネルを得るために前記修正情報に基づいて前記第１の入力チャンネルを操作するように構成されさらに前記第２のサイドチャンネルを得るために前記修正情報に基づいて前記第２の入力チャンネルを操作するように構成される信号操作器（１２０；６２０；７２０；８２０；１３２０）を含む、装置。
【請求項2】
前記信号操作器（１２０；６２０；７２０；８２０；１３２０）は、前記第２のサイドチャンネルを得るために修正情報として前記第１のスペクトル重み付け係数に基づいて前記第２の入力チャンネルを操作するように構成される、請求項１に記載の装置。
【請求項3】
前記修正情報ジェネレータ（１１０；６１０；７１０；８１０；９１０；１３１０）は、前記ステレオ入力信号の前記モノラルミッド信号および前記モノラルサイド信号に基づいて前記第１のスペクトル重み付け係数を生成することによって前記修正情報を生成するための前記スペクトル重みジェネレータ（１１６；６１５；７１５；８１５；９１５）を含み、
前記スペクトル重みジェネレータ（１１６；６１５；７１５；８１５；９１５）は、前記ステレオ入力信号の前記モノラルミッド信号および前記モノラルサイド信号に基づいて第２のスペクトル重み付け係数を生成するように構成され、
さらに、前記信号操作器（１２０；６２０；７２０；８２０；１３２０）は、前記第２のサイドチャンネルを得るために修正情報として前記第２のスペクトル重み付け係数に基づいて前記第２の入力チャンネルを操作するように構成される、請求項１または請求項２に記載の装置。
前記スペクトル重みジェネレータ（１１６；６１５；７１５；８１５；９１５）は、前記ステレオ入力信号の前記モノラルミッド信号および前記モノラルサイド信号に基づいて第２のスペクトル重み付け係数を生成するように構成され、
さらに、前記信号操作器（１２０；６２０；７２０；８２０；１３２０）は、前記第２のサイドチャンネルを得るために修正情報として前記第２のスペクトル重み付け係数に基づいて前記第２の入力チャンネルを操作するように構成される、請求項１または請求項２に記載の装置。
【請求項4】
前記修正情報ジェネレータ（１１０；６１０；７１０；８１０；９１０；１３１０）は、前記ステレオ入力信号の前記モノラルミッド信号および前記モノラルサイド信号に基づいて前記第１のスペクトル重み付け係数を生成することによって前記修正情報を生成するための前記スペクトル重みジェネレータ（１１６；６１５；７１５；８１５；９１５）を含み、
前記修正情報ジェネレータ（１１０；６１０；７１０；８１０；９１０；１３１０）は、大きさ決定器（９１２）をさらに含み、
前記大きさ決定器（９１２）は、スペクトル領域において表される前記モノラルミッド信号を受信するように構成され、さらに、前記大きさ決定器は、スペクトル領域において表される前記モノラルサイド信号を受信するように構成され、
前記大きさ決定器（９１２）は、大きさサイド値として前記モノラルサイド信号の大きさ値を決定するように構成され、さらに、前記大きさ決定器（９１２）は、大きさミッド値として前記モノラルミッド信号の大きさ値を決定するように構成され、
前記大きさ決定器（９１２）は、前記大きさサイド値および前記大きさミッド値を前記スペクトル重みジェネレータ（１１６；６１５；７１５；８１５；９１５）に送るように構成され、さらに
前記スペクトル重みジェネレータ（１１６；６１５；７１５；８１５；９１５）は、第１の数の第２の数に対する比率に基づいて前記第１のスペクトル重み付け係数を生成するように構成され、前記第１の数は、前記大きさサイド値に依存し、さらに、前記第２の数は、前記大きさミッド値および前記大きさサイド値に依存する、請求項１ないし請求項３のうちの１つに記載の装置。
前記修正情報ジェネレータ（１１０；６１０；７１０；８１０；９１０；１３１０）は、大きさ決定器（９１２）をさらに含み、
前記大きさ決定器（９１２）は、スペクトル領域において表される前記モノラルミッド信号を受信するように構成され、さらに、前記大きさ決定器は、スペクトル領域において表される前記モノラルサイド信号を受信するように構成され、
前記大きさ決定器（９１２）は、大きさサイド値として前記モノラルサイド信号の大きさ値を決定するように構成され、さらに、前記大きさ決定器（９１２）は、大きさミッド値として前記モノラルミッド信号の大きさ値を決定するように構成され、
前記大きさ決定器（９１２）は、前記大きさサイド値および前記大きさミッド値を前記スペクトル重みジェネレータ（１１６；６１５；７１５；８１５；９１５）に送るように構成され、さらに
前記スペクトル重みジェネレータ（１１６；６１５；７１５；８１５；９１５）は、第１の数の第２の数に対する比率に基づいて前記第１のスペクトル重み付け係数を生成するように構成され、前記第１の数は、前記大きさサイド値に依存し、さらに、前記第２の数は、前記大きさミッド値および前記大きさサイド値に依存する、請求項１ないし請求項３のうちの１つに記載の装置。
【請求項5】
【請求項6】
前記修正情報ジェネレータ（１１０；６１０；７１０；８１０；９１０；１３１０）は、前記ステレオ入力信号の前記モノラルミッド信号または前記ステレオ入力信号の前記モノラルサイド信号に基づいて前記修正情報を生成するように構成され、前記モノラルミッド信号は、前記第１および前記２の入力チャンネルを加算することから生じる和信号に依存し、さらに、前記モノラルサイド信号は、前記第１の入力チャンネルから前記第２の入力チャンネルを減算することから生じる差分信号に依存する、請求項２ないし請求項５のうちの１つに記載の装置。
【請求項7】
前記装置は、チャンネルジェネレータ（５６１、５６２）をさらに含み、前記チャンネルジェネレータは、前記第１および第２の入力チャンネルに基づいて前記モノラルミッド信号または前記モノラルサイド信号を生成するように構成される、請求項２ないし請求項６のうちの１つに記載の装置。
【請求項8】
前記装置は、
前記ステレオ入力信号の前記第１および第２の入力チャンネルを時間領域からスペクトル領域に変換するための変換ユニット（１３０５）、および
逆変換ユニット（１３２５）をさらに含み、
前記信号操作器（１２０；６２０；７２０；８２０；１３２０）は、前記スペクトル領域において表される前記ステレオサイド信号を得るために前記スペクトル領域において表される前記第１の入力チャンネルおよび前記スペクトル領域において表される前記第２の入力チャンネルを操作するように構成され、
さらに、前記逆変換ユニット（１３２５）は、前記スペクトル領域において表される前記ステレオサイド信号を前記スペクトル領域から前記時間領域に変換するように構成される、請求項２ないし請求項７のうちの１つに記載の装置。
前記ステレオ入力信号の前記第１および第２の入力チャンネルを時間領域からスペクトル領域に変換するための変換ユニット（１３０５）、および
逆変換ユニット（１３２５）をさらに含み、
前記信号操作器（１２０；６２０；７２０；８２０；１３２０）は、前記スペクトル領域において表される前記ステレオサイド信号を得るために前記スペクトル領域において表される前記第１の入力チャンネルおよび前記スペクトル領域において表される前記第２の入力チャンネルを操作するように構成され、
さらに、前記逆変換ユニット（１３２５）は、前記スペクトル領域において表される前記ステレオサイド信号を前記スペクトル領域から前記時間領域に変換するように構成される、請求項２ないし請求項７のうちの１つに記載の装置。
【請求項9】
請求項１ないし請求項８のうちの１つに記載の第１のサイドチャンネルおよび第２のサイドチャンネルを有するステレオサイド信号を生成するための装置（１５１０）であって、前記装置は、第１のアップミキサチャンネルとして前記第１のサイドチャンネルを生成するように構成され、さらに、前記装置は、第２のアップミキサチャンネルとして前記第２のサイドチャンネルを生成するように構成される、装置、
前記第１のステレオ入力チャンネルおよび前記第１のサイドチャンネル間の差分に基づいて第３のアップミキサチャンネルとして前記第１のミッドチャンネルを生成するための第１のミッドチャンネルジェネレータ（１５２０）、および
前記第２のステレオ入力チャンネルおよび前記第２のサイドチャンネル間の差分に基づいて第４のアップミキサチャンネルとして前記第２のミッドチャンネルを生成するための第２のミッドチャンネルジェネレータ（１５３０）を含む、アップミキサ。
前記第１のステレオ入力チャンネルおよび前記第１のサイドチャンネル間の差分に基づいて第３のアップミキサチャンネルとして前記第１のミッドチャンネルを生成するための第１のミッドチャンネルジェネレータ（１５２０）、および
前記第２のステレオ入力チャンネルおよび前記第２のサイドチャンネル間の差分に基づいて第４のアップミキサチャンネルとして前記第２のミッドチャンネルを生成するための第２のミッドチャンネルジェネレータ（１５３０）を含む、アップミキサ。
【請求項10】
第１の入力チャンネルおよび第２の入力チャンネルを有するステレオ入力信号から第１のミッドチャンネルおよび第２のミッドチャンネルを有するステレオミッド信号を生成するための装置であって、
修正情報を生成するための修正情報ジェネレータ（１０１０）であって、前記修正情報ジェネレータ（１０１０）は、前記ステレオ入力信号のモノラルミッド信号およびモノラルサイド信号に基づいて第１のスペクトル重み付け係数を生成することによって前記修正情報を生成するためのスペクトル重みジェネレータを含む、修正情報ジェネレータ、および
前記第１のミッドチャンネルを得るために前記修正情報に基づいて前記第１の入力チャンネルを操作するように構成されさらに前記第２のミッドチャンネルを得るために前記修正情報に基づいて前記第２の入力チャンネルを操作するように構成される信号操作器（１０２０）を含む、装置。
修正情報を生成するための修正情報ジェネレータ（１０１０）であって、前記修正情報ジェネレータ（１０１０）は、前記ステレオ入力信号のモノラルミッド信号およびモノラルサイド信号に基づいて第１のスペクトル重み付け係数を生成することによって前記修正情報を生成するためのスペクトル重みジェネレータを含む、修正情報ジェネレータ、および
前記第１のミッドチャンネルを得るために前記修正情報に基づいて前記第１の入力チャンネルを操作するように構成されさらに前記第２のミッドチャンネルを得るために前記修正情報に基づいて前記第２の入力チャンネルを操作するように構成される信号操作器（１０２０）を含む、装置。
【請求項11】
前記修正情報ジェネレータは、大きさ決定器をさらに含み、
前記大きさ決定器は、大きさサイド値としてスペクトル領域において表される前記モノラルサイド信号の大きさ値を決定するように構成され、さらに、前記大きさ決定器は、大きさミッド値としてスペクトル領域において表される前記モノラルミッド信号の大きさ値を決定するように構成され、
前記大きさ決定器は、前記大きさサイド値および前記大きさミッド値を前記スペクトル重みジェネレータに送るように構成され、さらに
前記スペクトル重みジェネレータは、第１の数の第２の数に対する比率に基づいて前記第１のスペクトル重み付け係数を生成するように構成され、前記第１の数は、前記大きさサイド値に依存し、さらに、前記第２の数は、前記大きさミッド値および前記大きさサイド値に依存する、請求項１０に記載の装置。
前記大きさ決定器は、大きさサイド値としてスペクトル領域において表される前記モノラルサイド信号の大きさ値を決定するように構成され、さらに、前記大きさ決定器は、大きさミッド値としてスペクトル領域において表される前記モノラルミッド信号の大きさ値を決定するように構成され、
前記大きさ決定器は、前記大きさサイド値および前記大きさミッド値を前記スペクトル重みジェネレータに送るように構成され、さらに
前記スペクトル重みジェネレータは、第１の数の第２の数に対する比率に基づいて前記第１のスペクトル重み付け係数を生成するように構成され、前記第１の数は、前記大きさサイド値に依存し、さらに、前記第２の数は、前記大きさミッド値および前記大きさサイド値に依存する、請求項１０に記載の装置。
【請求項12】
第１の入力チャンネルおよび第２の入力チャンネルを有するステレオ入力信号から第１のサイドチャンネルおよび第２のサイドチャンネルを有するステレオサイド信号を生成するための方法であって、
前記ステレオ入力信号のモノラルミッド信号およびモノラルサイド信号に基づいて第１のスペクトル重み付け係数を生成することによって修正情報を生成するステップ、
前記第１のサイドチャンネルを得るために前記修正情報に基づいて前記第１の入力チャンネルを操作するステップ、および
前記第２のサイドチャンネルを得るために前記修正情報に基づいて前記第２の入力チャンネルを操作するステップを含む、方法。
前記ステレオ入力信号のモノラルミッド信号およびモノラルサイド信号に基づいて第１のスペクトル重み付け係数を生成することによって修正情報を生成するステップ、
前記第１のサイドチャンネルを得るために前記修正情報に基づいて前記第１の入力チャンネルを操作するステップ、および
前記第２のサイドチャンネルを得るために前記修正情報に基づいて前記第２の入力チャンネルを操作するステップを含む、方法。
【請求項13】
第１の入力チャンネルおよび第２の入力チャンネルを有するステレオ入力信号から第１のミッドチャンネルおよび第２のミッドチャンネルを有するステレオミッド信号を生成するための方法であって、
前記ステレオ入力信号のモノラルミッド信号およびモノラルサイド信号に基づいて第１のスペクトル重み付け係数を生成することによって修正情報を生成するステップ、
前記第１のミッドチャンネルを得るために前記修正情報に基づいて前記第１の入力チャンネルを操作するステップ、および
前記第２のミッドチャンネルを得るために前記修正情報に基づいて前記第２の入力チャンネルを操作するステップを含む、方法。
前記ステレオ入力信号のモノラルミッド信号およびモノラルサイド信号に基づいて第１のスペクトル重み付け係数を生成することによって修正情報を生成するステップ、
前記第１のミッドチャンネルを得るために前記修正情報に基づいて前記第１の入力チャンネルを操作するステップ、および
前記第２のミッドチャンネルを得るために前記修正情報に基づいて前記第２の入力チャンネルを操作するステップを含む、方法。
【請求項14】
修正情報を生成する前記ステップは、
第１のスペクトル重み付け係数を生成することによって前記修正情報を生成するステップであって、前記第１のスペクトル重み付け係数は、前記ステレオ入力信号のモノラルミッド信号およびモノラルサイド信号に依存する、ステップ、
大きさサイド値としてスペクトル領域において表される前記モノラルサイド信号の大きさ値を決定するステップ、
大きさミッド値としてスペクトル領域において表される前記モノラルミッド信号の大きさ値を決定するステップ、
前記大きさサイド値および前記大きさミッド値を前記スペクトル重みジェネレータに送るステップ、および
第１の数の第２の数に対する比率に基づいて前記第１のスペクトル重み付け係数を生成するステップであって、前記第１の数は、前記大きさサイド値に依存し、さらに、前記第２の数は、前記大きさミッド値および前記大きさサイド値に依存する、ステップを含む、請求項１３に記載の方法。
第１のスペクトル重み付け係数を生成することによって前記修正情報を生成するステップであって、前記第１のスペクトル重み付け係数は、前記ステレオ入力信号のモノラルミッド信号およびモノラルサイド信号に依存する、ステップ、
大きさサイド値としてスペクトル領域において表される前記モノラルサイド信号の大きさ値を決定するステップ、
大きさミッド値としてスペクトル領域において表される前記モノラルミッド信号の大きさ値を決定するステップ、
前記大きさサイド値および前記大きさミッド値を前記スペクトル重みジェネレータに送るステップ、および
第１の数の第２の数に対する比率に基づいて前記第１のスペクトル重み付け係数を生成するステップであって、前記第１の数は、前記大きさサイド値に依存し、さらに、前記第２の数は、前記大きさミッド値および前記大きさサイド値に依存する、ステップを含む、請求項１３に記載の方法。
【請求項15】
コンピュータまたはプロセッサ上で実行され、請求項１２ないし請求項１４のうちの１つに記載の方法を実施するためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オーディオ処理に関し、特に周波数領域処理を用いてステレオ録音を分解するための方法および装置に関する。
【背景技術】
【0002】
オーディオ処理は、さまざまな点で進歩している。特に、サラウンドシステムは、ますます重要になっている。しかしながら、大部分の音楽録音は、まだ、符号化され、さらに、マルチチャンネル信号としてではなくステレオ信号として伝送される。サラウンドシステムは、複数のラウドスピーカ、例えば４つまたは５つのスピーカを含むので、利用可能な２つの入力信号しかないときに、どの信号が複数のラウドスピーカに提供されるべきであるかが多くの研究の課題となっている。
【0003】
これに関連して、サラウンドサウンドシステムを用いる再生のためのステレオ信号のフォーマット変換、すなわちアップミキシングが、重要な役割を果たす。用語「ｍからｎへのアップミキシング」は、ｍチャンネルオーディオ信号のｎチャンネルを有するオーディオ信号への変換を表し、ｎ＞ｍである。アップミキシングの２つの概念は、広く知られており、アップミックスプロセスを誘導する付加的な情報を用いるアップミキシングと、ここに焦点が置かれるいかなるサイド情報も用いない無誘導（「ブラインド」）アップミキシングとである。
【0004】
文献において、アップミックスプロセスのための２つの異なるアプローチが報告されている。これらの概念は、ダイレクト／アンビエントアプローチおよび「インザバンド（ｉｎ−ｔｈｅ−ｂａｎｄ）」アプローチである。ダイレクト／アンビエンスに基づく技術の核心は、マルチチャンネルサラウンドサウンド信号のリアチャンネルに送られるアンビエント信号の抽出である。アンビエントサウンドは、（仮想の）リスニング環境の印象を形成し、室内反響、観客音（例えば拍手）、環境音（例えば雨）、芸術的に意図された効果音（例えばビニルのパチパチという音）およびバックグラウンドノイズを含むものである。リアチャンネルを用いるアンビエンスの再生は、リスナーによって（「サウンドにおいて没頭する」）環境の印象を呼び起こす。さらに、ダイレクトサウンドソースは、ステレオパノラマにおいてそれらの位置に従ってフロントチャンネルに分配される。
【0005】
「インザバンド（Ｉｎ−ｔｈｅ−ｂａｎｄ）」アプローチは、すべての利用できるラウドスピーカを用いてリスナーの周囲にすべてのサウンド（ダイレクトサウンドおよびアンビエントサウンド）を配置することを目的とする。アップミックスされたフォーマットを再生するときに知覚されるサウンドソースの位置は、理想的には、ステレオ入力信号においてそれらの知覚された位置の関数である。このアプローチは、提案された信号処理を用いて実施することができる。
【0006】
周波数領域においてアップミキシングへのさまざまなアプローチが、従来において開発されている［９、１０］。それらは、入力信号の分解であってダイレクトおよびアンビエント信号成分への分解と、サウンドソースの空間位置に基づく分解とを試みる。アンビエント信号成分は、左右チャンネル間のチャンネル間コヒーレンスの測定に基づいて確認される。方向に基づく分解は、スペクトル係数の大きさの類似性に基づいて達成される。米国特許出願公開第２００９／００８０６６６号は、スペクトル重み付けを用いてアンビエント信号を抽出するための方法を記載している。
【0007】
米国特許出願公開第２０１０／００３０５６３号は、アップミキシングのアプリケーションのためのアンビエント信号を抽出するための方法を記載している。その方法は、スペクトル減算を用いる。時間周波数領域表現は、入力信号の時間周波数領域表現およびそれの圧縮バージョンの差分から得られ、好ましくは、非負値行列因子分解を用いて計算される。
【0008】
米国特許出願公開第２０１０／０２９６６７２号は、ベクトルに基づく信号分解を用いる周波数領域アップミックス方法を記載している。その分解は、ダイレクト／アンビエント信号分解とは対照的に、センターに置かれたチャンネルの抽出を目的とする［１３］。センターチャンネルのための出力信号が計算され、それは、左右入力チャンネル信号に共通するすべての情報を含む。入力信号の残差信号およびセンターチャンネル信号は、左右出力チャンネル信号のために計算される。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】米国特許出願公開第２００９／００８０６６６号
【特許文献2】米国特許出願公開第２０１０／００３０５６３号
【特許文献3】米国特許出願公開第２０１０／０２９６６７２号
【非特許文献】
【0010】
【非特許文献1】［９］ C. Avendano and J.-M. Jot, "A frequency-domain approach to multi-channel upmix", J. Audio Eng. Soc., vol. 52, 2004.
【非特許文献2】［１０］ C. Faller, "Multiple-loudspeaker playback of stereo signals", J. Audio Eng. Soc., vol. 54, 2006.
【非特許文献3】［１３］ E. Vickers, "Two-to-three channel upmix for center channel derivation", US Patent Application 2010/0296672, 2010.
【発明の概要】
【発明が解決しようとする課題】
【0011】
本発明の目的は、第１の入力チャンネルおよび第２の入力チャンネルを有するステレオ入力信号から付加的なチャンネルを生成するための改良された概念を提供することである。本発明の目的は、請求項１に記載のステレオサイド信号を生成するための装置、請求項１０に記載のステレオミッド信号を生成するための装置、請求項１２に記載のステレオサイド信号を生成するための方法、請求項１３に記載のステレオミッド信号を生成するための方法および請求項１５に記載のコンピュータプログラムによって解決される。
【課題を解決するための手段】
【0012】
第１の入力チャンネルおよび第２の入力チャンネルを有するステレオ入力信号から第１のサイドチャンネルおよび第２のサイドチャンネルを有するステレオサイド信号を生成するための装置が提供される。装置は、ミッドサイド情報に基づいて修正情報を生成するための修正情報ジェネレータを含む。さらに、装置は、第１のサイドチャンネルを得るために修正情報に基づいて第１の入力チャンネルを操作するように構成されさらに第２のサイドチャンネルを得るために修正情報に基づいて第２の入力チャンネルを操作するように構成される信号操作器を含む。
【0013】
操作情報ジェネレータは、モノラルミッド信号またはモノラルサイド信号および第１または第２の入力チャンネル間の差分を示す差分値を生成することによって修正情報を生成するためのスペクトル減算器を含み得る。または、修正情報ジェネレータは、ステレオ入力信号のモノラルミッド信号およびモノラルサイド信号に基づいて第１のスペクトル重み付け係数を生成することによって修正情報を生成するためのスペクトル重みジェネレータを含み得る。
【0014】
ミッドサイド情報は、ステレオ入力信号のモノラルミッド信号、ステレオ入力信号のモノラルサイド信号および／またはステレオ入力信号のモノラルミッド信号およびモノラルサイド信号間の関係であってもよい。実施形態において、修正情報ジェネレータは、ミッドサイド情報としてステレオ入力信号のモノラルミッド信号またはステレオ入力信号のモノラルサイド信号に基づいて修正情報を生成するように構成される。
【0015】
実施形態によれば、ステレオ録音は、サイドおよびミッド信号に分解され、それらは、従来のミッドサイド（ＭＳ）分解とは対照的に、両方ともステレオ信号である。信号分離は、周波数領域処理、すなわちスペクトル減算またはスペクトル重み付けと組み合わせて、従来のＭＳ処理と同様に位相キャンセルを用いて適用され得る。導き出された信号は、付加的な再生チャンネルを有するオーディオ信号の再生のために適用され得る。
【0016】
実施形態による装置は、２チャンネルステレオ録音をステレオサイド信号およびステレオミッド信号に分解する。ステレオサイド信号は、２つの主要な特徴を有する。第１に、それは、センターにパンされるもの以外のすべての信号成分を含む。この点において、それは、ステレオ信号のミッドサイド処理から知られるサイド信号と類似する。実際に、それは、従来のＭＳ分解によって導き出されるサイド信号と同じ信号成分を含む。
【0017】
従来のサイド信号と比較して提案されたステレオサイド信号の重要な違いは、ステレオ特性によって表され、ステレオサイド信号は、モノラルである従来のサイド信号とは対照的に、２チャンネルステレオ信号である。ステレオサイド信号の左チャンネルは、入力信号において左側にパンされたすべての信号成分を含む。ステレオ信号の右チャンネルは、右側にパンされたすべての信号成分を含む。
【0018】
ステレオミッド信号は、両方の入力チャンネルに存在するすべての成分を含むステレオ信号である。それは、２チャンネルステレオ信号であり、入力信号と比較してさらにステレオサイド信号と比較してより少ないステレオ情報を含むが、従来のミッド信号のようなモノラル信号ではない。それは、従来のミッド信号と同じ信号成分を含むが、もとのステレオ情報を有する。
【0019】
実施形態によれば、修正情報ジェネレータは、スペクトル減算器を含む。スペクトル減算器は、ステレオ入力信号のモノラルミッド信号またはモノラルサイド信号の大きさ値または重み付けられた大きさ値から第１または第２の入力チャンネルの大きさ値または重み付けられた大きさ値を減算することによって修正情報を生成するように構成され得る。または、スペクトル減算器は、第１または第２の入力チャンネルの大きさ値または重み付けられた大きさ値からステレオ入力信号のモノラルミッド信号またはモノラルサイド信号の大きさ値または重み付けられた大きさ値を減算することによって修正情報を生成するように構成され得る。
【0020】
さらに、修正情報ジェネレータは、大きさ決定器を含み得る。大きさ決定器は、受信された大きさ入力信号として、スペクトル領域において表される、第１の入力チャンネル、第２の入力チャンネル、モノラルミッド信号またはモノラルサイド信号のうちの少なくとも１つを受信するように構成され得る。さらに、大きさ決定器は、それぞれの受信された大きさ入力信号の少なくとも１つの大きさ値を決定するように構成され得り、さらに、それぞれの受信された大きさ入力信号の少なくとも１つの大きさ値をスペクトル減算器に送るように構成され得る。
【0021】
実施形態において、スペクトル減算器は、第１のスペクトル減算ユニットおよび第２のスペクトル減算ユニットを含み、大きさ決定器は、第１および第２の入力チャンネルとモノラルミッド信号とを受信するように構成され、大きさ決定器は、第１の入力チャンネルの第１の大きさ値、第２の入力チャンネルの第２の大きさ値およびモノラルミッド信号の第３の大きさ値を決定するように構成され、大きさ決定器は、第１、第２および第３の大きさ値をスペクトル減算器に送るように構成される。第１のスペクトル減算ユニットは、第１のステレオサイド信号の第１のステレオサイド大きさ値を得るために、第１の入力チャンネルの第１の大きさ値およびモノラルミッド信号の第３の大きさ値に基づいて第１のスペクトル減算を実行するように構成され得り、さらに、第２のスペクトル減算ユニットは、第２のステレオサイド信号の第２のステレオサイド大きさ値を得るために、第２の入力チャンネルの第２の大きさ値およびモノラルミッド信号の第３の大きさ値に基づいて第２のスペクトル減算を実行するように構成される。
【0022】
【0023】
実施形態において、信号操作器は、位相抽出器および結合器を含み得る。位相抽出器は、第１の入力チャンネルおよび第２の入力チャンネルを受信するように構成され得り、位相抽出器は、第１のステレオサイド位相値として第１の入力チャンネルの第１の位相値および第２のステレオサイド位相値として第２の入力チャンネルの第２の位相値を決定するように構成される。位相抽出器は、第１のステレオサイド位相値および第２のステレオサイド位相値を結合器に送るように構成され得り、第１のスペクトル減算ユニットは、第１のステレオサイド大きさ値を結合器に送るように構成され、第２のスペクトル減算ユニットは、第２のステレオサイド位相値を結合器に送るように構成される。結合器は、第１のサイドチャンネルの第１のスペクトルの第１の複素係数を得るために第１のステレオサイド大きさ値および第１のステレオサイド位相値を結合するように構成され得る。さらに、結合器は、第２のサイドチャンネルの第２のスペクトルの第２の複素係数を得るために第２のステレオサイド大きさ値および第２のステレオサイド位相値を結合するように構成され得る。
【0024】
実施形態によれば、修正情報ジェネレータは、第１のスペクトル重み付け係数を生成することによって修正情報を生成するためのスペクトル重みジェネレータを含み、第１のスペクトル重み付け係数は、ステレオ入力信号のモノラルミッド信号およびモノラルサイド信号に依存する。
【0025】
修正情報ジェネレータは、大きさ決定器をさらに含み得る。大きさ決定器は、スペクトル領域において表されるモノラルミッド信号を受信するように構成され得る。大きさ決定器は、スペクトル領域において表されるモノラルサイド信号を受信するように構成され得り、大きさ決定器は、大きさサイド値としてモノラルサイド信号の大きさ値を決定するように構成され、さらに、大きさ決定器は、大きさミッド値としてモノラルミッド信号の大きさ値を決定するように構成される。大きさ決定器は、大きさサイド値および大きさミッド値をスペクトル重みジェネレータに送るように構成され得る。スペクトル重みジェネレータは、第１の数の第２の数に対する比率に基づいて第１のスペクトル重み付け係数を生成するように構成され得り、第１の数は、大きさサイド値に依存し、さらに、第２の数は、大きさミッド値および大きさサイド値に依存する。
【0026】
【0027】
【0028】
実施形態によれば、修正情報ジェネレータは、ミッドサイド情報としてステレオ入力信号のモノラルミッド信号またはステレオ入力信号のモノラルサイド信号に基づいて修正情報を生成するように構成される。モノラルミッド信号は、第１および第２の入力チャンネルを加算することから生じる和信号に依存し得る。モノラルサイド信号は、第１の入力チャンネルから第２の入力チャンネルを減算することから生じる差分信号に依存し得る。
【0029】
さらに、装置は、チャンネルジェネレータをさらに含み得り、チャンネルジェネレータは、第１および第２の入力チャンネルに基づいてモノラルミッド信号またはモノラルサイド信号を生成するように構成される。
【0030】
さらに、装置は、ステレオ入力信号の第１および第２の入力チャンネルを時間領域からスペクトル領域に変換するための変換ユニットおよび逆変換ユニットをさらに含み得る。信号操作器は、スペクトル領域において表されるステレオサイド信号を得るためにスペクトル領域において表される第１の入力チャンネルおよびスペクトル領域において表される第２の入力チャンネルを操作するように構成され得る。逆変換ユニットは、スペクトル領域において表されるステレオサイド信号をスペクトル領域から時間領域に変換するように構成され得る。
【0031】
実施形態において、装置は、第１のミッドチャンネルおよび第２のミッドチャンネルを有するステレオミッド信号を生成するように構成され得る。第１のミッドチャンネルは、第１のステレオ入力チャンネルおよび第１のサイドチャンネル間の差分に基づいて生成され得る。第２のミッドチャンネルは、第２のステレオ入力チャンネルおよび第２のサイドチャンネル間の差分に基づいて生成され得る。
【0032】
別の実施形態によれば、第１の入力チャンネルおよび第２の入力チャンネルを有するステレオ入力信号から第１のミッドチャンネルおよび第２のミッドチャンネルを有するステレオミッド信号を生成するための装置が提供される。装置は、ミッドサイド情報に基づいて修正情報を生成するための修正情報ジェネレータと、第１のミッドチャンネルを得るために修正情報に基づいて第１の入力チャンネルを操作するように構成されさらに第２のミッドチャンネルを得るために修正情報に基づいて第２の入力チャンネルを操作するように構成される信号操作器とを含む。
【0033】
実施形態によれば、修正情報ジェネレータは、第１のスペクトル重み付け係数を生成することによって修正情報を生成するためのスペクトル重みジェネレータを含み得る。第１のスペクトル重み付け係数は、ステレオ入力信号のモノラルミッド信号およびモノラルサイド信号に依存し得る。修正情報ジェネレータは、大きさ決定器をさらに含み得り、大きさ決定器は、大きさサイド値としてスペクトル領域において表されるモノラルサイド信号の大きさ値を決定するように構成され、さらに、大きさ決定器は、大きさミッド値としてスペクトル領域において表されるモノラルミッド信号の大きさ値を決定するように構成される。大きさ決定器は、大きさサイド値および大きさミッド値をスペクトル重みジェネレータに送るように構成され得る。スペクトル重みジェネレータは、第１の数の第２の数に対する比率に基づいて第１のスペクトル重み付け係数を生成するように構成され得り、第１の数は、大きさサイド値に依存し、さらに、第２の数は、大きさミッド値および大きさサイド値に依存する。
【0034】
【0035】
本発明の実施形態が、添付図面に関して説明される。
【図面の簡単な説明】
【0036】
【発明を実施するための形態】
【0037】
背景
【0038】
本発明の好適な実施形態を記載する前に、特にＭＳ処理において、関連した概念が記載され、スペクトル減算およびスペクトル重み付けの基本が説明される。
【0039】
最初に、ミッドサイド処理が、さらに詳細に記載される。ステレオサイドおよびミッド信号が計算される方法を説明するために、従来のＭＳ処理の基本が簡単に見直される。２チャンネルステレオ信号ｘ（ｔ）は、それぞれ、時間インデックスｔを有する左右チャンネルのための２つの信号ｘl（ｔ）およびｘr（ｔ）によって表すことができる。左右という用語は、最終的には、これらの信号がそれぞれ（ラウドスピーカまたはヘッドホンを用いて）左右の耳に伝えられ、または、それぞれオーディオ再生システムにおいて左右のチャンネルによって再生されることを示す。
【0040】
【0041】
【0042】
下付き文字１は、これらの信号がモノラルであることを示すために用いられる。そのようなＭＳ信号は、さまざまなアプリケーションのために有利であり、サイドおよびミッド信号の両方は、別々に、処理され、符号化されまたは伝送される。そのようなアプリケーションは、録音、人工的なステレオイメージエンハンスメント、仮想ラウドスピーカ作製のためのオーディオ符号化、ラウドスピーカを通してのバイノーラル再生および４チャンネル作製である。
【0043】
【0044】
図１８において、ＭＳ分解が示される。
【0045】
両方の表現は、同じ情報を含む。式（５）および（６）における正規化重み０．５は任意であり、さらに、他の重みが可能であるが、ここに示される重みは、式（５）〜（８）を適用すると、入力信号と同一である信号を生じることを保証することに留意されたい。他の重みを用いると、同様のまたはスケールされた信号を生じることができる。
【0046】
信号モデルと式（３）および（４）とから、信号ｓ1（ｔ）は、センターを外れてパンされる信号成分（それらのいくつかが逆位相を有する）だけを含み、さらに、モノラル信号であることになる。ミッド信号ｍ1（ｔ）は、ｓ1（ｔ）におけるもの以外のすべての信号を含む。Ｍｉｃｈａｅｌ Ｇｅｒｚｏｎの言葉で記載すると、「Ｍは、ステレオステージの中央に関する情報を含む信号であるが、Ｓは、サイドに関する情報だけを含む」。両方とも、モノラル信号である。振幅パンされたダイレクトサウンドは、ステレオパノラマにおいてそれらの位置に応じてサイド信号において減衰され、反響および他のアンビエント信号のような無相関の信号成分は、（０相関のために）３ｄＢだけミッド信号において減衰される。これらの減衰は、左右チャンネルにおいてサイド成分間の位相キャンセルによって生じる。
【0047】
以下において、スペクトル減算およびスペクトル重み付けが、さらに詳細に説明される。
【0048】
スペクトル減算は、スピーチエンハンスメントおよびノイズリダクションのためのよく知られた方法である。それは、スピーチ通信において付加ノイズの影響を低減するためにＢｏｌｌによって（おそらく最初に）提案されている［２］。処理は、周波数領域において実行され、入力信号の連続した（おそらく重なる）部分の短いフレームのスペクトルが処理される。
【0049】
基本的な原理は、入力信号の大きさスペクトルから干渉するノイズ信号の大きさスペクトルの推定を減算することであり、それは、所望のスピーチ信号および干渉するノイズ信号の混合であるとみなされる。
【0050】
【0051】
【0052】
重みは、それらが高いＳＮ比（ＳＮＲ）のための大きな大きさおよび小さいＳＮＲのための低い値を有するように、入力信号表現Ｘ（ｆ，ｋ）から計算される。重みＧ（ｆ，ｋ）を計算するために、典型的に時間および周波数に依存するＳＮＲの推定またはＮ（ｆ，ｋ）若しくはＳ（ｆ，ｋ）の推定が、必要とされる。スピーチ処理アプリケーションにおいて、ノイズの推定は、非スピーチアクティブの間［２、５］、または最小の統計を用いて［６］、すなわちそれぞれのサブバンドにおいて極小値の追跡に基づいて、またはノイズソースに近い第２のマイクロホンを用いることによって、計算される。
【0053】
重み付け演算Ｙ（ｆ，ｋ）の結果は、出力信号の周波数領域表現である。出力時間信号ｙ（ｔ）は、周波数領域変換の逆処理、例えば逆ＳＴＦＴ（Ｉｎｖｅｒｓ ＳＴＦＴ）を用いて計算される。
【0054】
【0055】
【0056】
スペクトル重み付けを用いるスペクトル減算が、これから説明される。
【0057】
【0058】
【0059】
【0060】
式（１５）は、上述のノイズ抑制ルールの一般化された式であり、α＝２、β＝２は、スペクトル減算に対応し、さらに、α＝２、β＝１は、ウィーナーフィルタリングに対応する。（エネルギーの代わりに）大きさのスペクトル減算は、α＝１、β＝１を設定することによって実現される。パラメータγは、ノイズの量を制御し、さらに、ノイズ推定方法の可能なバイアスを占めている。それは、推定されたＳＮＲまたは周波数インデックスに関連するように選択することができる。
【0061】
図２０において、典型的なスペクトル重みが、スピーチエンハスメントにおいて用いられるように、ＳＮＲの関数として示される。
【0062】
さまざまな他のゲインルールは、重みがサブバンドＳＮＲで単調に増加するという共通の特徴、例えばＥｐｈｒａｉｍおよびＭａｌａｈの推定器（Ｅｐｈｒａｉｍ−Ｍａｌａｈ ｅｓｔｉｍａｔｏｒ）［７］または軟決定／可変減衰アルゴリズム（Ｓｏｆｔ−Ｄｅｃｉｓｉｏｎ／Ｖａｒｉａｂｌｅ Ａｔｔｅｎｕａｔｉｏｎ ａｌｇｏｒｉｔｈｍ（ＳＤＶＡ））［８］で見つけることができる。
【0063】
実用的な実施態様において、スペクトル重みは、アーチファクトを低減するために、ゼロよりも大きい最小値によって典型的に制約される。異なるゲインルールは、異なる周波数範囲において適用することができる［４］。結果として生じるゲインは、アーチファクトを低減するために、時間軸および周波数軸の両方に沿って平滑化することができる。典型的に、１次ローパスフィルタ（漏洩積分器）は、時間軸に沿って平滑化のために用いられ、さらに、ゼロ位相ローパスフィルタは、周波数軸に沿って適用される。
【0064】
実施形態
【0065】
図１は、実施形態による第１の入力チャンネルＸl（ｆ）および第２の入力チャンネルＸr（ｆ）を有するステレオ入力信号から第１のサイドチャンネルＳl（ｆ）および第２のサイドチャンネルＳr（ｆ）を有するステレオサイド信号を生成するための装置を示す。装置は、ミッドサイド情報ｍｉｄＳｉｄｅＩｎｆに基づいて修正情報ｍｏｄＩｎｆを生成するための修正情報ジェネレータ１１０を含む。さらに、装置は、第１のサイドチャンネルＳl（ｆ）を得るために修正情報ｍｏｄＩｎｆに基づいて第１の入力チャンネルＸl（ｆ）を操作するように構成されさらに第２のサイドチャンネルＳr（ｆ）を得るために修正情報ｍｏｄＩｎｆに基づいて第２の入力チャンネルＸr（ｆ）を操作するように構成される信号操作器１２０を含む。
【0066】
例えば、修正情報ジェネレータ１１０は、ステレオ入力信号のモノラルミッド信号、ステレオ入力信号のモノラルサイド信号および／またはステレオ入力信号のモノラルミッド信号およびモノラルサイド信号間の関係に関連するミッドサイド情報ｍｉｄＳｉｄｅＩｎｆに基づいて修正情報ｍｏｄＩｎｆを生成するように構成され得る。
【0067】
【0068】
【0069】
図１ａは、実施形態によるステレオサイド信号を生成するための装置を示し、操作情報ジェネレータ１１０は、スペクトル減算器１１５を含む。スペクトル減算器１１５は、ステレオ入力信号のモノラルミッド信号またはモノラルサイド信号および第１または第２の入力チャンネル間の差分を示す差分値を生成することによって修正情報ｍｏｄＩｎｆを生成するように構成される。例えば、スペクトル減算器１１５は、ステレオ入力信号のモノラルミッド信号またはモノラルサイド信号の大きさ値または重み付けられた大きさ値から第１または第２の入力チャンネルの大きさ値または重み付けられた大きさ値を減算することによって修正情報ｍｏｄＩｎｆを生成するように構成され得る。または、スペクトル減算器１１５は、第１または第２の入力チャンネルの大きさ値または重み付けられた大きさ値からステレオ入力信号のモノラルミッド信号またはモノラルサイド信号の大きさ値または重み付けられた大きさ値を減算することによって修正情報ｍｏｄＩｎｆを生成するように構成され得る。
【0070】
図１ｂは、実施形態によるステレオサイド信号を生成するための装置を示し、修正情報ジェネレータ１１０は、ステレオ入力信号のモノラルミッド信号およびモノラルサイド信号に基づいて第１のスペクトル重み付け係数を生成することによって修正情報ｍｏｄＩｎｆを生成するためのスペクトル重みジェネレータ１１６を含む。
【0071】
図２は、実施形態によるスペクトル減算器２１０を示す。第１の入力チャンネルの第１の大きさスペクトル｜Ｘl（ｆ）｜、第２の入力チャンネルの第２の大きさスペクトル｜Ｘr（ｆ）｜およびステレオ入力信号のモノラルミッド信号の第３の大きさスペクトル｜Ｍ1（ｆ）｜が、スペクトル減算器２１０に送られる。
【0072】
【0073】
【0074】
【0075】
【0076】
チャンネルジェネレータ４０８は、生成されたミッド信号Ｍ1（ｆ）を、生成されたミッド信号Ｍ1（ｆ）から大きさ値を抽出する第１の大きさ抽出器４１１に送る。さらに、第１の入力チャンネルＸl（ｆ）は、変換ユニット４０５によって、第１の入力チャンネルＸl（ｆ）の大きさ値を抽出する第２の大きさ抽出器４１２に送られる。さらに、変換ユニット４０５は、第２の入力チャンネルＸr（ｆ）を、第２の入力チャンネルから大きさ値を抽出する第３の大きさ抽出器４１３に送る。また、変換ユニット４０５は、第１の入力チャンネルｘl（ｆ）を、第１の入力チャンネルＸl（ｆ）から位相値を抽出する第１の位相抽出器４２１に送る。さらに、変換ユニット４０５は、第２の入力チャンネルＸr（ｆ）を、第２の入力チャンネルから位相値を抽出する第２の位相抽出器４２２に送る。
【0077】
【0078】
【0079】
【0080】
【0081】
【0082】
【0083】
第１の結合器４４１は、スペクトル領域において表される生成された第１のサイド信号を逆変換ユニット４５０に送る。逆変換ユニット４５０は、第１の時間領域サイド信号を得るために、第１のスペクトル領域サイドチャンネルをスペクトル領域から時間領域に変換する。さらに、逆変換ユニット４５０は、第２の結合器４４２からスペクトル領域において表される第２のサイドチャンネルを受信する。逆変換ユニット４５０は、時間領域第２のサイドチャンネルを得るために、第２のスペクトル領域サイドチャンネルをスペクトル領域から時間領域に変換する。
【0084】
【0085】
【0086】
【0087】
ミッド信号が時間信号を減算することによって計算されるという事実は、２つの逆の周波数変換だけが必要とされる。パラメータｗは、好ましくは１に近くなるように選択されるが、周波数に依存することができる。
【0088】
図５は、これらの概念を使用する実施形態による装置を示す。
【0089】
装置は、第１のスペクトル領域入力チャンネルＸl（ｆ）を得るために第１の時間領域入力チャンネルｘl（ｔ）を時間領域からスペクトル領域に変換するように構成される第１の変換ユニット５０１と、第２のスペクトル領域入力チャンネルＸr（ｆ）を得るために第２の時間領域入力チャンネルｘr（ｔ）を時間領域からスペクトル領域に変換するように構成される第２の変換ユニット５０２とをさらに含む。
【0090】
装置は、チャンネルジェネレータ５０８と、第１、第２および第３の大きさ抽出器５１１、５１２および５１３と、第１および第２の位相抽出器５２１および５２２と、第１および第２の減算ユニット５３１および５３２と、第１および第２の結合器５４１および５４２とをさらに含み、それぞれ、図４の装置のチャンネルジェネレータ４０８と、第１、第２および第３の大きさ抽出器４１１、４１２および４１３と、第１および第２の位相抽出器４２１および４２２と、第１および第２の減算ユニット４３１および４３２と、第１および第２の結合器４４１および４４２とに対応し得る。
【0091】
さらに、装置は、第１の逆変換ユニット５５１を含む。第１の逆変換ユニット５５１は、第１の結合器５４１からスペクトル領域において表される生成された第１のサイドチャンネルを受信する。第１の逆変換ユニット５５１は、第１の時間領域サイドチャンネルｓl（ｔ）を得るために、生成された第１のスペクトル領域サイドチャンネルＳl（ｆ）をスペクトル領域から時間領域に変換する。
【0092】
さらに、装置は、第２の逆変換ユニット５５２を含む。第２の逆変換ユニット５５２は、第２の結合器５４２からスペクトル領域において表される生成された第２のサイドチャンネルを受信する。第２の逆変換ユニット５５２は、第２の時間領域サイドチャンネルｓr（ｔ）を得るために、第２のスペクトル領域サイドチャンネルＳr（ｆ）をスペクトル領域から時間領域に変換する。
【0093】
【0094】
【0095】
【0096】
上述の式は、スペクトル減算によって（ただし大部分がスペクトル重みを計算するための分割による大きい計算負荷によって）得られるように実際の重み付けによって同一の結果を生じるにもかかわらず、スペクトル重み付けアプローチは、それが同様の特徴によって異なる結果を導く処理をパラメータ化するためのより多くの可能性を提供するので、以下において記載されるような利点を有する。
【0097】
スペクトル重み付けを用いる信号分解が、これからさらに詳細に説明される。この実施形態による概念の理論的根拠は、左右チャンネル信号ｘl（ｔ）およびｘr（ｔ）にスペクトル重み付けを適用することであり、スペクトル重みは、ＭＳ成分から導き出される。ＭＳ分解の中間結果は、以下においてミッドサイド比率（ＭＳＲ）と呼ばれる、時間周波数タイルごとのミッドおよびサイド信号の比率である。このＭＳＲは、スペクトル重みを計算するために用いることができるが、重みがＭＳＲの概念なしに代替的に計算することができることに留意されたい。この場合、ＭＳＲは、主にその方法の基本的な考え方を説明する目的に役立つ。ステレオミッド信号ｍ（ｔ）＝［ｍl（ｔ） ｍr（ｔ）］を計算するために、重みは、それらがＭＳＲに単調に関連するように選択される。ステレオサイド信号ｓ（ｔ）＝［ｓl（ｔ） ｓr（ｔ）］を計算するために、重みは、それらがＭＳＲの逆に単調に関連するように選択される。
【0098】
実施形態において、修正情報ジェネレータは、スペクトル重みジェネレータを含む。図６は、そのような実施形態による装置を示す。装置は、修正情報ジェネレータ６１０および信号操作器６２０を含む。修正情報ジェネレータは、スペクトル重みジェネレータ６１５を含む。信号操作器６２０は、ステレオ信号の第１の入力チャンネルＸl（ｆ）を操作するための第１の操作ユニット６２１およびステレオ入力信号の第２の入力チャンネルＸr（ｆ）を操作するための第２の操作ユニット６２２を含む。図６のスペクトル重みジェネレータ６１５は、ステレオ入力信号のモノラルミッド信号Ｍ1（ｆ）およびモノラルサイド信号Ｓ1（ｆ）を受信する。スペクトル重みジェネレータ６１５は、ステレオ入力信号のモノラルミッド信号Ｍ1（ｆ）およびモノラルサイド信号Ｓ1（ｆ）に基づいてスペクトル重み付け係数Ｇs（ｆ）を決定するように構成される。そして、信号操作器６２０は、修正情報として生成されたスペクトル重み付け係数Ｇs（ｆ）を修正情報ジェネレータ６２０に送る。修正情報ジェネレータ６２０の第１の修正ユニット６２１は、ステレオサイド信号の第１のサイドチャンネルＳl（ｆ）を得るために、生成されたスペクトル重み付け係数Ｇs（ｆ）に基づいてステレオ入力信号の第１の入力チャンネルＸl（ｆ）を操作するように構成される。
【0099】
別の実施形態が、図７に示される。図６の装置のように、図７の装置は、修正情報ジェネレータ７１０および信号操作器７２０を含む。修正情報ジェネレータは、スペクトル重みジェネレータ７１５を含む。信号操作器７２０は、ステレオ信号の第１の入力チャンネルＸl（ｆ）を操作するための第１の操作ユニット７２１およびステレオ入力信号の第２の入力チャンネルＸr（ｆ）を操作するための第２の操作ユニット７２２を含む。図７の実施形態の信号操作器７２０は、ステレオサイド信号の第１および第２のサイドチャンネルＳl（ｆ）およびＳr（ｆ）を得るために同じ生成されたスペクトル重み付け係数Ｇs（ｆ）に基づいて第１の入力チャンネルＸl（ｆ）および第２の入力チャンネルＸr（ｆ）を操作するように構成される。
【0100】
さらなる実施形態が、図８に示される。図６の装置のように、図８の装置は、修正情報ジェネレータ８１０および信号操作器８２０を含む。修正情報ジェネレータは、スペクトル重みジェネレータ８１５を含む。信号操作器８２０は、ステレオ信号の第１の入力チャンネルＸl（ｆ）を操作するのための第１の操作ユニット８２１およびステレオ入力信号の第２の入力チャンネルＸr（ｆ）を操作するための第２の操作ユニット８２２を含む。スペクトル重みジェネレータ８１５は、２つ以上のスペクトル重み係数を生成するように構成される。さらに、修正情報ジェネレータ８２０の第１の操作ユニット８２１は、生成された第１のスペクトル重み付け係数に基づいて第１の入力チャンネルを操作するように構成される。修正情報ジェネレータ８２０の第２の操作ユニット８２２は、生成された第２のスペクトル重み付け係数に基づいて第２の入力チャンネルを操作するように構成される。
【0101】
図９は、実施形態による修正情報ジェネレータ９１０を示す。修正情報ジェネレータ９１０は、大きさ決定器９１２およびスペクトル重みジェネレータ９１５を含む。大きさ決定器９１２は、スペクトル領域において表されるモノラルミッド信号Ｍ1（ｆ）を受信するように構成される。さらに、大きさ決定器９１２は、スペクトル領域において表されるモノラルサイド信号Ｓ1（ｆ）を受信するように構成される。大きさ決定器９１２は、大きさサイド値としてモノラルサイド信号Ｓ1（ｆ）のスペクトル｜Ｓ1（ｆ）｜の大きさ値を決定するように構成される。さらに、大きさ決定器９１２は、大きさミッド値としてモノラルミッド信号Ｍ1（ｆ）のスペクトル｜Ｍ1（ｆ）｜の大きさ値を決定するように構成される。
【0102】
【0103】
【0104】
【0105】
付加的なパラメータδは、分解プロセスにおいてステレオサイド信号成分の影響を制御するために導入される。
【0106】
周波数変換だけが信号ペア［ｘl（ｔ） ｘr（ｔ）］または［ｍ（ｔ） ｓ（ｔ）］のために計算される必要があり、さらに、上側のペアは式（５）および（６）に従って加算および減算によって導き出されることに留意されたい。
【0107】
【0108】
図１０は、第１の入力チャンネルおよび第２の入力チャンネルを有するステレオ入力信号から第１のミッドチャンネルＭl（ｆ）および第２のミッドチャンネルＭr（ｆ）を有するステレオミッド信号を生成するための装置を示す。装置は、ミッドサイド情報ｍｉｄＳｉｄｅＩｎｆに基づいて修正情報ｍｏｄＩｎｆ２を生成するための修正情報ジェネレータ１０１０と、第１のミッドチャンネルＭl（ｆ）を得るために修正情報に基づいて第１の入力チャンネルＸl（ｆ）を操作するように構成されさらに第２のミッドチャンネルＭr（ｆ）を得るために修正情報ｍｏｄＩｎｆに基づいて第２の入力チャンネルＸr（ｆ）を操作するように構成される信号操作器１０２０とを含む。
【0109】
図１０ａは、実施形態によるステレオミッド信号を生成するための装置を示し、操作情報ジェネレータ１０１０は、スペクトル減算器１０１５を含む。スペクトル減算器１０１５は、ステレオ入力信号のモノラルミッド信号またはモノラルサイド信号および第１または第２の入力チャンネル間の差分を示す差分値を生成することによって修正情報ｍｏｄＩｎｆ２を生成するように構成される。例えば、スペクトル減算器１０１５は、ステレオ入力信号のモノラルミッド信号またはモノラルサイド信号の大きさ値または重み付けられた大きさ値から第１または第２の入力チャンネルの大きさ値または重み付けられた大きさ値を減算することによって修正情報ｍｏｄＩｎｆ２を生成するように構成され得る。または、スペクトル減算器１０１５は、第１または第２の入力チャンネルの大きさ値または重み付けられた大きさ値からステレオ入力信号のモノラルミッド信号またはモノラルサイド信号の大きさ値または重み付けられた大きさ値を減算することによって修正情報ｍｏｄＩｎｆ２を生成するように構成され得る。
【0110】
図１０ｂは、実施形態によるステレオミッド信号を生成するための装置を示し、修正情報ジェネレータ１０１０は、ステレオ入力信号のモノラルミッド信号およびモノラルサイド信号に基づいて第１のスペクトル重み付け係数を生成することによって修正情報ｍｏｄＩｎｆ２を生成するためのスペクトル重みジェネレータ１０１６を含む。
【0111】
【0112】
【0113】
【0114】
【0115】
【0116】
任意に、付加的な一定のスケーリング係数は、減算の前にゲイン関数のうちの１つに適用することができる。
【0117】
【0118】
スペクトル重みＧs（ｆ）は、最初に計算され、１．５ｄＢだけスケールされる。ステレオミッド信号のためのゲインは、Ｇm（ｆ）＝１―Ｇs（ｆ）として計算される。
【0119】
ゲイン関数は、図１１においてパニングパラメータａの関数として示される。図１１において、ステレオサイド信号（実線）およびステレオミッド信号（点線）のためのゲイン例が示される。ゲインが相補的であることが示され、すなわち、分離がダウンミックス互換性である。どちらかの一方にパンされる信号成分は、ステレオミッド信号において減衰され、さらに、センターにパンされる信号成分は、ステレオサイド信号において減衰される。間にパンされる信号成分は、両方の信号において現れる。ゲイン関数は、図１２においてパニングパラメータａの関数として示される。図１２は、左チャンネル（実線）および右チャンネル（点線）のステレオサイド信号（上側の図）およびステレオミッド信号（下側の図）のためのスペクトル重み付けの結果を示す。
【0120】
図１３は、さらなる実施形態によるステレオサイド信号を生成するための装置を示す。装置は、変換ユニット１２０３、修正情報ジェネレータ１３１０、信号操作器１３２０および逆変換ユニット１３２５を含む。ステレオ入力信号の第１の入力チャンネルｘl（ｔ）および第２の入力チャンネルｘr（ｔ）とステレオ入力信号のミッド信号ｍ1（ｔ）およびサイド信号ｓ1（ｔ）とが、変換ユニット１３０５に送られる。変換ユニットは、周波数バンドインデックスｆおよび時間インデックスｋを有する、複数の周波数バンドＸ（ｆ，ｋ）を有する信号表現を導き出すための短時間フーリエ変換ユニット（ＳＴＦＴユニット）、フィルタバンクまたは他のいかなる手段であってもよい。変換ユニットは、時間領域において表されるミッド信号ｍｉｄ1（ｔ）、サイド信号ｓ1（ｔ）、第１の入力チャンネルｘl（ｔ）および第２の入力チャンネルｘr（ｔ）を、スペクトル領域信号に、特に、スペクトル領域ミッド信号Ｍ1（ｆ）、スペクトル領域サイド信号Ｓ1（ｆ）、スペクトル領域第１の入力チャンネルＸl（ｆ）およびスペクトル領域第２の入力チャンネルＸr（ｆ）に変換する。スペクトル領域ミッド信号Ｍ1（ｆ）およびスペクトル領域サイド信号Ｓ1（ｆ）は、ミッドサイド情報として修正情報ジェネレータ１３１０に送られる。
【0121】
修正情報ジェネレータ１３１０は、スペクトル領域モノラルミッド信号Ｍ1（ｆ）およびモノラルサイド信号Ｓ1（ｆ）に基づいて修正情報ｍｏｄＩｎｆを生成する。図１３の修正情報ジェネレータは、点線の接続線１３１２および１３１４によって示されるように、第１の入力チャンネルＸl（ｆ）および／または第２の入力チャンネルＸr（ｆ）を考慮に入れ得る。例えば、修正情報ジェネレータ１３１０は、モノラルミッド信号Ｍ1（ｆ）、第１の入力チャンネルＸl（ｆ）および第２の入力チャンネルＸr（ｆ）に基づく修正情報を生成し得る。
【0122】
そして、修正ジェネレータ１３１０は、生成された修正情報ｍｏｄＩｎｆを信号操作器１３２０に伝える。さらに、変換ユニット１３０５は、第１のスペクトル領域入力チャンネルＸl（ｆ）および第２のスペクトル領域入力チャンネルＸr（ｆ）を信号操作器１３２０に送る。信号操作器１３２０は、信号操作器１３２０によって逆変換ユニット１３２５に送られる第１のスペクトル領域サイドチャンネルＳl（ｆ）および第２のスペクトル領域サイドチャンネルＳr（ｆ）を得るために修正情報ｍｏｄＩｎｆに基づいて第１の入力チャンネルを操作するように構成される。
【0123】
逆変換ユニット１３２５は、それぞれ、第１の時間領域サイドチャンネルｓl（ｔ）を得るために第１のスペクトル領域サイドチャンネルＳl（ｆ）を時間領域に変換しさらに第２の時間領域サイドチャンネルｓr（ｔ）を得るために第２のスペクトル領域サイドチャンネルＳr（ｆ）を時間領域に変換するように構成される。
【0124】
【0125】
【0126】
提案された方法の理論的根拠は、入力信号ｘ（ｔ）＝［ｘl（ｔ） ｘr（ｔ）］を処理し、さらに、ｍ1（ｔ）およびｓ1（ｔ）の周波数領域表現が所望の信号成分を含むという事実の利点をとることによって、所望の信号のすなわちｍ（ｔ）＝［ｍl（ｔ） ｍr（ｔ）］およびｓ＝［ｓl（ｔ） ｓr（ｔ）］の大きさスペクトルの推定を計算することである。
【0127】
実施形態において、スペクトル減算が使用される。入力信号のスペクトルは、モノラルミッド信号のスペクトルを用いて修正される。別の実施形態において、スペクトル重み付けが使用され、重みは、モノラルミッド信号およびモノラルサイド信号を用いて導き出される。
【0128】
実施形態によれば、信号は、ミッドおよびサイド信号と同様の特徴によって、しかし信号のそれぞれを別々に聞くときにステレオ信号を失わずに、計算されるべきである。これは、一実施形態におけるスペクトル減算を用いることによってさらに別の実施形態におけるスペクトル重み付けを用いることによって達成される。
【0129】
別の実施形態によれば、アップミキサは、２つのアップミキサ入力チャンネルを有するステレオ信号から少なくとも４つのアップミックスチャンネルを生成するために提供される。
【0130】
アップミキサは、第１のアップミックスチャンネルとして第１のサイドチャンネルを生成しさらに第２のアップミックスチャンネルとして第２のサイドチャンネルを生成するための上述の実施形態のうちの１つによるステレオサイド信号を生成する装置を含む。アップミキサは、第１の結合ユニットおよび第２の結合ユニットをさらに含む。第１の結合ユニットは、第３のアップミキサチャンネルとして第１のミッドチャンネルを得るために第１の入力チャンネルおよび第１のサイドチャンネルを結合するように構成される。さらに、第２の結合ユニットは、第４のアップミキサチャンネルとして第２の入力チャンネルおよび第２のサイドチャンネルを結合するように構成される。
【0131】
【0132】
【0133】
ステレオミッド信号Ｍl（ｆ）の第１のチャンネルおよびステレオミッド信号Ｍr（ｆ）の第２のチャンネルは、それぞれ、第３および第４のアップミキサチャンネルとして出力される。以上のように、ステレオミッド信号およびステレオサイド信号の存在は、サラウンドサウンドシステムを用いる再生のためのステレオ信号のアップミキシングのアプリケーションのために有利である。ステレオサイドおよびステレオミッド信号の１つの可能なアプリケーションは、図１６に示されるように４チャンネルサウンド再生である。それは、ステレオミッド信号およびステレオサイド信号に送られる４つのチャンネルを含む。
【0134】
上述のように４チャンネル再生の例示的なアプリケーションは、ステレオサイド信号およびステレオミッド信号の特徴のための良好な実例である。記載された処理が４チャンネルよりも異なるフォーマットを有するオーディオ信号を再生するためにさらに拡張することができることに留意されたい。より多くの出力チャンネル信号は、最初にステレオサイド信号およびステレオミッド信号を分離し、さらに、記載された処理をそれらの一方または両方に再び適用することによって計算される。例えば、ＩＴＵ−Ｒ ＢＳ．７７５［１］に従って５チャンネルを用いる再生のための信号は、入力信号としてステレオミッド信号を有する信号分解を繰り返すことによって導き出すことができる。
【0135】
図１７は、センターＣ、左Ｌ、右Ｒ、サラウンド左ＳＬおよびサラウンド右ＳＲのチャンネルを有する、５チャンネルを有する再生に適しているマルチチャンネル信号を生成する処理のブロック図を示す。
【0136】
上述の方法および装置は、ステレオ入力信号をステレオサイド信号および／またはステレオミッド信号に分解するために示されている。スペクトル減算またはスペクトル重み付けは、スペクトル分離のために適用される。ＭＳ分解は、それぞれの時間周波数タイルがステレオサイド信号およびステレオミッド信号のいずれかに貢献する度合いを計算するために必要である方向に基づく情報を生じる。そのような信号は、サラウンドサウンドシステムによって再生のためのステレオ信号のアップミキシングのアプリケーションのために用いられる。
【0137】
いくつかの態様が装置との関連で記載されているにもかかわらず、これらの態様は、対応する方法の説明も表すことが明らかであり、ブロックまたは装置は、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップとの関連で記載されている態様は、対応するブロック若しくはアイテムまたは対応する装置の特徴の説明も表す。
【0138】
本発明の分解された信号は、デジタル記憶媒体に保存することができ、または、例えば無線伝送媒体や例えばインターネットなどの有線伝送媒体などの伝送媒体で伝送することができる。
【0139】
特定の実施要件に応じて、本発明の実施形態は、ハードウェアにおいてまたはソフトウェアにおいて実施することができる。実施は、それぞれの方法が実行されるように、プログラム可能なコンピュータシステムと協働する（または協働することができる）電子的に可読の制御信号が格納される、デジタル記憶媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリを用いて実行することができる。
【0140】
本発明によるいくつかの実施形態は、ここに記載される方法のうちの１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる電子的に可読の制御信号を有する一時的でないデータキャリアを含む。
【0141】
一般的に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実施することができ、そのプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに、それらの方法のうちの１つを実行するために働く。プログラムコードは、例えば、機械可読のキャリアに格納されてもよい。
【0142】
他の実施形態は、機械可読のキャリアに格納される、ここに記載される方法のうちの１つを実行するためのコンピュータプログラムを含む。
【0143】
したがって、換言すれば、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、ここに記載される方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【0144】
したがって、本発明の方法のさらなる実施形態は、それに記録される、ここに記載される方法のうちの１つを実行するためのコンピュータプログラムを含むデータキャリア（またはデジタル記憶媒体またはコンピュータ可読の媒体）である。
【0145】
したがって、本発明の方法のさらなる実施形態は、ここに記載される方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリームまたは一連の信号である。データストリームまたは一連の信号は、例えば、データ通信接続を介して、例えばインターネットを介して、転送されるように構成されてもよい。
【0146】
さらなる実施形態は、ここに記載される方法のうちの１つを実行するように構成されまたは適している処理手段、例えばコンピュータまたはプログラム可能な論理デバイスを含む。
【0147】
さらなる実施形態は、ここに記載される方法のうちの１つを実行するためのコンピュータプログラムがインストールされているコンピュータを含む。
【0148】
いくつかの実施形態において、プログラム可能な論理デバイス（例えばフィールドプログラム可能なゲートアレイ）は、ここに記載される方法の機能のいくらかまたはすべてを実行するために用いられてもよい。いくつかの実施形態において、フィールドプログラム可能なゲートアレイは、ここに記載される方法のうちの１つを実行するために、マイクロプロセッサと協働してもよい。一般的に、その方法は、好ましくは、いかなるハードウェア装置によっても実行される。
【0149】
上述の実施形態は、本発明の原理のために単に例示するだけである。ここに記載される構成および詳細の修正および変更が他の当業者にとって明らかであるものと理解される。したがって、本発明は、特許請求の範囲によってだけ制限され、ここに実施形態の記述および説明として示される具体的な詳細によって制限されないと意図される。
【0150】
文献［１］ International Telecommunication Union, Radiocommunication Assembly, "Multichannel stereophonic sound system with and without accompanying picture", Recommendation ITU-R.BS.775-2, 2006, Geneva, Switzerland.
［２］ S. Boll, "Suppression of acoustic noise in speech using spectral subtraction", IEEE Trans. on Accoustics, Speech, and Signal Processing, vol. 27, no.2, pp. 113-120, 1979
［５］ M. Berouti, R. Schwartz, and J. Makhoul, "Enhancement of speech corrupted by acoustic noise", in Proc. of the IEEE Int. Conf. On Acoustics, Speech, and Signal Processing, ICASSP, 1979
［６］ R. Martin, "Spectral subtraction based on minimum statistics", in Proc. of EUSIPCO, Edinburgh, UK, 1994
［７］ Y. Ephraim and D. Malah, "Speech enhancement using a minimum mean-square error short-time spectral amplitude estimator", in Proc. of the IEEE Int. Conf. on Acoustics, Speech, and Signal Processing, ICASSP, 1984
［８］ E George, "Single-sensor speech enhancement using a soft-decision/variable attenuation algorithm", in Proc. Of the IEEE Int. Conf. on Acoustics, Speech, and Signal Processing, ICASSP, 1995.
［９］ C. Avendano and J.-M. Jot, "A frequency-domain approach to multi-channel upmix", J. Audio Eng. Soc., vol. 52, 2004.
［１０］ C. Faller, "Multiple-loudspeaker playback of stereo signals", J. Audio Eng. Soc., vol. 54, 2006.
［１１］ C. Uhle, J. Herre, S. Geyersberger, F. Ridderbusch, A. Walter and O. Moser, "Apparatus and method for extracting an ambient signal in an apparatus and method for obtaining weighting coefficients for extracting an ambient signal and computer program", US Patent Applicatin 2009/0080666, 2009.
［１２］ C. Uhle, J. Herre, A. Walther, O. Hellmuth, and C. Janssen, "Apparatus and method for generating an ambient signal from an audio signal, apparatus and method for deriving a multi-channel audio signal from an audio signal and computer program", US Patent Application 2010/0030563, 2010.
［１３］ E. Vickers, "Two-to-three channel upmix for center channel derivation", US Patent Application 2010/0296672, 2010.