(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6222704
(24)【登録日】2017年10月13日
(45)【発行日】2017年11月1日
(54)【発明の名称】マルチチャネル音声信号をダウンミックスする方法および装置
(51)【国際特許分類】
H04S 7/00 20060101AFI20171023BHJP
G10L 19/00 20130101ALI20171023BHJP
【FI】
H04S7/00 300
G10L19/00 400Z
【請求項の数】15
【全頁数】17
(21)【出願番号】特願2014-560324(P2014-560324)
(86)(22)【出願日】2013年3月5日
(65)【公表番号】特表2015-513262(P2015-513262A)
(43)【公表日】2015年4月30日
(86)【国際出願番号】EP2013054336
(87)【国際公開番号】WO2013131873
(87)【国際公開日】20130912
【審査請求日】2016年1月13日
(31)【優先権主張番号】TO2012A000193
(32)【優先日】2012年3月5日
(33)【優先権主張国】IT
(31)【優先権主張番号】TO2012A000886
(32)【優先日】2012年10月10日
(33)【優先権主張国】IT
(73)【特許権者】
【識別番号】511109386
【氏名又は名称】インスティテュート フューア ランドファンクテクニック ゲーエムベーハー
(74)【代理人】
【識別番号】110000877
【氏名又は名称】龍華国際特許業務法人
(72)【発明者】
【氏名】ゴーセンス、セバスチャン
(72)【発明者】
【氏名】グロー、ジェンズ
(72)【発明者】
【氏名】ハートマン、クリスチャン
(72)【発明者】
【氏名】クナッペ、ジョナス
【審査官】
渡邊 正宏
(56)【参考文献】
【文献】
特開2007−116365(JP,A)
【文献】
特開2008−072206(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G10L 13/00−13/10
G10L 19/00−19/26
G10L 21/00−21/18
G10L 25/00−25/93
G10L 99/00
H04S 1/00− 7/00
(57)【特許請求の範囲】
【請求項1】
mチャネル音声信号をnチャネル音声信号にダウンミックスする装置であって、mはm>nである整数であり、nはn≧2である整数であり、
前記mチャネル音声信号を受け取る入力と、
前記mチャネル音声信号を前記nチャネル音声信号に変換するダウンミックス回路と、
前記nチャネル音声信号を複数のスピーカに供給する出力と、
を備え、
前記ダウンミックス回路は、前記mチャネル音声信号を前記nチャネル音声信号にダウンミックスするのに先立って、前記mチャネル音声信号のフロントセンターサラウンド信号成分(C)を前処理する第1および第2信号前処理部を備え、
前記フロントセンターサラウンド信号成分に対する前記前処理は、それぞれ第1プレフィルタ処理機能H1および第2プレフィルタ処理機能H2に等価であって、前記第1プレフィルタ処理機能H1および前記第2プレフィルタ処理機能H2は、式
H(c−re)=H1*H(fr−re)および
H(c−le)=H2*H(fl−le)
を少なくとも実質的に満たし、
H(c−re)およびH(c−le)は、mチャネル再生状況における、フロントセンタースピーカの位置と、聞き手のそれぞれ右耳の位置および左耳の位置との間の伝達経路の周波数特性であり、
H(fr−re)は、nチャネル再生状況における、フロントライトスピーカの位置と、前記聞き手の前記右耳の前記位置との間の前記伝達経路の前記周波数特性であり、
H(fl−le)は、前記nチャネル再生状況における、フロントレフトスピーカの位置と、前記聞き手の前記左耳の前記位置との間の前記伝達経路の前記周波数特性である、装置。
【請求項2】
mチャネル音声信号をnチャネル音声信号にダウンミックスする装置であって、mはm>nである整数であり、nはn≧2である整数であり、
前記mチャネル音声信号を受け取る入力と、
前記mチャネル音声信号を前記nチャネル音声信号に変換するダウンミックス回路と、
前記nチャネル音声信号を複数のスピーカに供給する出力と、
を備え、
前記ダウンミックス回路は、前記mチャネル音声信号を前記nチャネル音声信号にダウンミックスするのに先立って、前記mチャネル音声信号のバックライトサラウンド信号成分(Rs)を前処理する第3信号前処理部および前記mチャネル音声信号のバックレフトサラウンド信号成分(Ls)を前処理する第4信号前処理部を備え、
前記バックライトサラウンド信号成分に対する前記前処理は第3プレフィルタ処理機能H3に等価であって、前記第3プレフィルタ処理機能H3は、式
H(br−re)=H3*H(fr−re)
を少なくとも実質的に満たし、
H(br−re)は、mチャネル再生状況における、バックライトスピーカの位置と、聞き手の右耳の位置との間の伝達経路の周波数特性であり、
H(fr−re)は、nチャネル再生状況における、フロントライトスピーカの位置と、前記聞き手の前記右耳の前記位置との間の前記伝達経路の前記周波数特性であり、
前記バックレフトサラウンド信号成分に対する前記前処理は第4プレフィルタ処理機能H4に等価であって、前記第4プレフィルタ処理機能H4は、式
H(bl−le)=H4*H(fl−le)
を少なくとも実質的に満たし、
H(bl−le)は、前記mチャネル再生状況における、バックレフトスピーカの位置と、前記聞き手の左耳の位置との間の前記伝達経路の前記周波数特性であり、
H(fl−le)は、前記nチャネル再生状況における、フロントレフトスピーカの位置と、前記聞き手の前記左耳の前記位置との間の前記伝達経路の前記周波数特性である、装置。
【請求項3】
前記ダウンミックス回路は、前記mチャネル音声信号を前記nチャネル音声信号にダウンミックスするのに先立って、前記mチャネル音声信号のフロントセンターサラウンド信号成分(C)を前処理する第1および第2信号前処理部をさらに備え、
前記フロントセンターサラウンド信号成分に対する前記前処理は、それぞれ第1プレフィルタ処理機能H1および第2プレフィルタ処理機能H2に等価であって、前記第1プレフィルタ処理機能H1および前記第2プレフィルタ処理機能H2は、式
H(c−re)=H1*H(fr−re)および
H(c−le)=H2*H(fl−le)
を少なくとも実質的に満たし、
H(c−re)およびH(c−le)は、前記mチャネル再生状況における、フロントセンタースピーカの位置と、前記聞き手のそれぞれ前記右耳の前記位置および前記左耳の前記位置との間の前記伝達経路の前記周波数特性であり、
H(fr−re)は、前記nチャネル再生状況における、フロントライトスピーカの位置と、前記聞き手の前記右耳の前記位置との間の前記伝達経路の前記周波数特性であり、
H(fl−le)は、前記nチャネル再生状況における、フロントレフトスピーカの位置と、前記聞き手の前記左耳の前記位置との間の前記伝達経路の前記周波数特性である、請求項2に記載の装置。
【請求項4】
前記ダウンミックス回路は、前記mチャネル音声信号を前記nチャネル音声信号にダウンミックスするのに先立って、前記mチャネル音声信号の側方右信号成分(Rss)を前処理する第5信号前処理部および前記mチャネル音声信号の側方左信号成分(Lss)を前処理する第6信号前処理部をさらに備え、
前記側方右信号成分に対する前記前処理は第5プレフィルタ処理機能H5に等価であって、前記第5プレフィルタ処理機能H5は、式
H(sr−re)=H5*H(fr−re)
を少なくとも実質的に満たし、
H(sr−re)は、前記mチャネル再生状況における、側方右スピーカの位置と、前記聞き手の前記右耳の前記位置との間の前記伝達経路の前記周波数特性であり、
H(fr−re)は、前記nチャネル再生状況における、前記フロントライトスピーカの前記位置と、前記聞き手の前記右耳の前記位置との間の前記伝達経路の前記周波数特性であり、
前記側方左信号成分に対する前記前処理は第6プレフィルタ処理機能H6と等価であって、前記第6プレフィルタ処理機能H6は、式
H(sl−le)=H6*H(fl−le)
を少なくとも実質的に満たし、
H(sl−le)は、前記mチャネル再生状況における、側方左スピーカの位置と、前記聞き手の前記左耳の前記位置との間の前記伝達経路の前記周波数特性であり、
H(fl−le)は、前記nチャネル再生状況における、前記フロントレフトスピーカの前記位置と、前記聞き手の前記左耳の前記位置との間の前記伝達経路の前記周波数特性である、請求項2に記載の装置。
【請求項5】
前記ダウンミックス回路は、前記mチャネル音声信号を前記nチャネル音声信号にダウンミックスするのに先立って、前記mチャネル音声信号のフロントセンターサラウンド信号成分(C)を前処理する第1および第2信号前処理部をさらに備え、
前記フロントセンターサラウンド信号成分に対する前記前処理は、それぞれ第1プレフィルタ処理機能H1および第2プレフィルタ処理機能H2に等価であって、前記第1プレフィルタ処理機能H1および前記第2プレフィルタ処理機能H2は、式
H(c−re)=H1*H(fr−re)および
H(c−le)=H2*H(fl−le)
を少なくとも実質的に満たし、
H(c−re)およびH(c−le)は、前記mチャネル再生状況における、フロントセンタースピーカの位置と、前記聞き手のそれぞれ前記右耳の前記位置および前記左耳の前記位置との間の前記伝達経路の前記周波数特性であり、
H(fr−re)は、前記nチャネル再生状況における、フロントライトスピーカの位置と、前記聞き手の前記右耳の前記位置との間の前記伝達経路の前記周波数特性であり、
H(fl−le)は、前記nチャネル再生状況における、フロントレフトスピーカの位置と、前記聞き手の前記左耳の前記位置との間の前記伝達経路の前記周波数特性である、請求項4に記載の装置。
【請求項6】
mチャネル音声信号をnチャネル音声信号にダウンミックスする装置であって、mはm>nである整数であり、nはn≧2である整数であり、
前記mチャネル音声信号を受け取る入力と、
前記mチャネル音声信号を前記nチャネル音声信号に変換するダウンミックス回路と、
前記nチャネル音声信号を複数のスピーカに供給する出力と、
を備え、
前記ダウンミックス回路は、前記mチャネル音声信号を前記nチャネル音声信号にダウンミックスするのに先立って、前記mチャネル音声信号の側方右信号成分(Rss)を前処理する第7信号前処理部および前記mチャネル音声信号の側方左信号成分(Lss)を前処理する第8信号前処理部を備え、
前記側方右信号成分に対する前記前処理は第7プレフィルタ処理機能H7と等価であって、前記第7プレフィルタ処理機能H7は、式
H(sr−re)=H7*H(br−re)
を少なくとも実質的に満たし、
H(sr−re)は、mチャネル再生状況における、側方右スピーカの位置と、聞き手の右耳の位置との間の伝達経路の周波数特性であり、
H(br−re)は、nチャネル再生状況における、バックライトスピーカの位置と、前記聞き手の前記右耳の前記位置との間の前記伝達経路の前記周波数特性であり、
前記側方左信号成分に対する前記前処理は第8プレフィルタ処理機能H8と等価であって、前記第8プレフィルタ処理機能H8は、式
H(sl−le)=H8*H(bl−le)
を少なくとも実質的に満たし、
H(sl−le)は、前記mチャネル再生状況における、側方左スピーカの位置と、前記聞き手の左耳の位置との間の前記伝達経路の前記周波数特性であり、
H(bl−le)は、前記nチャネル再生状況における、バックレフトスピーカの位置と、前記聞き手の前記左耳の前記位置との間の前記伝達経路の前記周波数特性である、装置。
【請求項7】
前記ダウンミックス回路は、前記mチャネル音声信号を前記nチャネル音声信号にダウンミックスするのに先立って、前記mチャネル音声信号のフロントセンターサラウンド信号成分(C)を前処理する第1および第2信号前処理部をさらに備え、
前記フロントセンターサラウンド信号成分に対する前記前処理は、それぞれ第1プレフィルタ処理機能H1および第2プレフィルタ処理機能H2に等価であって、前記第1プレフィルタ処理機能H1および前記第2プレフィルタ処理機能H2は、式
H(c−re)=H1*H(fr−re)および
H(c−le)=H2*H(fl−le)
を少なくとも実質的に満たし、
H(c−re)およびH(c−le)は、前記mチャネル再生状況における、フロントセンタースピーカの位置と、前記聞き手のそれぞれ前記右耳の前記位置および前記左耳の前記位置との間の前記伝達経路の前記周波数特性であり、
H(fr−re)は、前記nチャネル再生状況における、フロントライトスピーカの位置と、前記聞き手の前記右耳の前記位置との間の前記伝達経路の前記周波数特性であり、
H(fl−le)は、前記nチャネル再生状況における、フロントレフトスピーカの位置と、前記聞き手の前記左耳の前記位置との間の前記伝達経路の前記周波数特性である、請求項6に記載の装置。
【請求項8】
前記ダウンミックス回路は、前記nチャネル音声信号の右手チャネル成分(Ro)および左手チャネル成分(Lo)をそれぞれ
Ro=δ・R+β・H3・Rs+A(m)、および
Lo=δ・L+β・H4・Ls+B(m)
に従って生成し、
RおよびLは、それぞれ前記mチャネル音声信号のフロントライト信号成分およびフロントレフト信号成分であり、δおよびβは好ましくは≦1である乗算係数であり、A(m)はmに依存する式であり、B(m)はmに依存する式である、請求項2に記載の装置。
【請求項9】
m=4且つn=2の場合、A(m)=B(m)=0である請求項8に記載の装置。
【請求項10】
前記ダウンミックス回路は、前記nチャネル音声信号の右手チャネル成分(Ro)および左手チャネル成分(Lo)をそれぞれ
Ro=δ・R+β・H3・Rs+A(m)、および
Lo=δ・L+β・H4・Ls+B(m)
に従って生成し、
RおよびLは、それぞれ前記mチャネル音声信号のフロントライト信号成分およびフロントレフト信号成分であり、δおよびβは好ましくは≦1である乗算係数であり、A(m)はmに依存する式であり、B(m)はmに依存する式であり、
m=5且つn=2の場合、A(m)=α・H1・CおよびB(m)=α・H2・Cであり、Cは5チャネル音声信号の前記フロントセンターサラウンド信号成分であり、αは1よりも小さい乗算係数である、請求項3に記載の装置。
【請求項11】
前記ダウンミックス回路は、前記nチャネル音声信号の右手チャネル成分(Ro)および左手チャネル成分(Lo)をそれぞれ
Ro=δ・R+β・H3・Rs+A(m)、および
Lo=δ・L+β・H4・Ls+B(m)
に従って生成し、
RおよびLは、それぞれ前記mチャネル音声信号のフロントライト信号成分およびフロントレフト信号成分であり、δおよびβは好ましくは≦1である乗算係数であり、A(m)はmに依存する式であり、B(m)はmに依存する式であり、
m=7の場合、A(m)=α・H1・C+γ・H5・Rss、および、B(m)=α・H2・C+γ・H6・Lssであり、γは1よりも小さい乗算係数である、請求項5に記載の装置。
【請求項12】
n=2である請求項1から請求項5のいずれか1項に記載の装置。
【請求項13】
前記ダウンミックス回路は、フロントライト信号成分(Ro)、フロントレフト信号成分(Lo)、リアライト信号成分(Rso)、および、リアレフト信号成分(Lso)を有するnチャネル音声信号を生成し、
Ro=δ・R、
Lo=δ・L、
Rso=ε・Rs+ζ・H7・Rss、
Lso=ε・Ls+ζ・H8・Lss、
である、請求項6に記載の装置。
【請求項14】
前記ダウンミックス回路は、フロントライト信号成分(Ro)、フロントレフト信号成分(Lo)、リアライト信号成分(Rso)、およびリアレフト信号成分(Lso)を有するnチャネル音声信号を生成し、
Ro=δ・R+H1・C、
Lo=δ・L+H2・C、
Rso=ε・Rs+ζ・H7・Rss、
Lso=ε・Ls+ζ・H8・Lss、
である、請求項7に記載の装置。
【請求項15】
請求項1から請求項14のいずれか1項に記載の装置による、mチャネル音声信号をnチャネル音声信号にダウンミックスする方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はマルチチャネル音声信号のダウンミックスに向けた方法および装置に関する。
【背景技術】
【0002】
マルチチャネル音声信号を2チャネル信号に変換する技術が知られており、通常、ダウンミックス技術と呼ばれている。
【0003】
ダウンミックスを用いると、2つのチャネルと2つのスピーカキャビネットを有する通常のステレオ装置によって、オリジナルのマルチチャネル音声信号を再生することが可能である。
【0004】
よく知られたマルチチャネル音声信号の例は、いわゆるサラウンド音響システムである。サラウンドチャネル表現は、2つのフロントステレオチャネルLおよびRに加えて、追加のフロントセンターチャネルC、および2つのサラウンドリアチャネルLs、Rsを含む。
【0005】
例えば
図1に示されるように、再生の間、これらのサラウンド信号は、視聴室に位置された対応するスピーカへ供給され、位置P1に位置する聞き手によって知覚される。
【0006】
知られているように、オリジナルのサラウンド信号(L、R、C、Ls、Rs)をステレオ信号(Lo、Ro)にダウンミックスすることは、例えば次式によって与えられるように、オリジナルの信号の線形結合を実行することによって成される。
Lo=L+α・C+β・Ls
Ro=R+α・C+β・Rs
ここでαおよびβは定数であって、1よりも小さく、好ましくは共に0.7に等しい。
【0007】
2つのステレオ信号Lo、Roのそれぞれは、同じ側のフロント信号およびリア信号、並びにセンターチャネルCの線形結合によって与えられる。
【0008】
Lo信号およびRo信号は、再生用のステレオスピーカ配置において、聞き手に対する左スピーカおよび右スピーカに供給される。
図2を参照のこと。このように、たとえサラウンド信号がダウンミックスされた形で2つのスピーカLoおよびRoによって再生されるとしても、位置P2に位置する聞き手は、(擬似)サラウンド感覚を知覚する。
【0009】
しかしながら、そうすることによって、聞き手はダウンミックスされた信号中に歪みを認識する。
【0010】
Jean-Marc Jot等による"Binaural simulation of complex acoustic scenes for interactive audio"と題するProceedings of the AES, vol. 121, Jan 2006中の発表は、音響設定の両耳のシミュレーションに対する複雑な信号処理システムを開示していることに注意するべきである。これは、ヘッドホンを用いてその音を聞いている聞き手の"正しい"感覚が得られるように、具体的に選択された"特定の方向"から音が来ることができるようなシステムが提案されることを意味する。また、(2つ(
図8参照)または4つ(
図9参照)の)スピーカを用いた表現が開示されている。しかしながら、上記の発表において生成された、2つの側(左または右)のうちの一方の信号成分は、他方側(それぞれに対して右または左)からの成分を常に含むことに注意すべきである。これに反して本発明においては、2つの側は完全に分離されており、一方側(左または右)の信号成分は、他方側(それぞれに対して右または左)からの信号成分を含まない。これは、本出願においては、左側の位置と聞き手の右耳との間の伝達関数を利用せず、右側の位置と聞き手の左耳との間の伝達関数を利用しないことを意味する。これは、本発明に従ったシステムにおける信号処理を、より単純、安価、高速で、且つ聞き手の位置の変動の影響をあまり受けないものにしている。
【0011】
欧州特許出願公開第177790号明細書は、左側および右側のスピーカにより仮想センター音源を生成するためのカーオーディオ再生システムを開示していることにさらに注意すべきである。このシステムはやはり、左側の位置と聞き手の右耳との間の伝達関数、および、右側の位置と聞き手の左耳との間の伝達関数を利用している。やはりこれは本出願には反している。また、本出願は、欧州特許出願公開第1777902号明細書に記載される既知の回路に勝る同じ利点を開示する。
【発明の概要】
【0012】
従って、少なくとも部分的にそうした歪みを避けるダウンミックス方法および装置を提供することが本発明の主要な目的である。
【0013】
本発明の目的は、請求項1に従った、mチャネル音声信号(L、R、C、Ls、Rs、Rss、Lss)をnチャネル音声信号(Ro、Lo、Rso、Lso)にダウンミックスする方法である。ここで、mはm>nである整数であり、nはn≧2である整数であって、聞き手の一方側(右または左)における上記nチャネル音声信号のうちの一のnチャネル音声信号(Ro、Lo、Rso、Lso)を生成するステップを備える。これは、
−上記一方側と同じ側のみにおける上記mチャネル音声信号の一の信号成分(R、L、Rs、Ls)を含む第1項と、
−mに依存し、上記同じ側のみにおける上記mチャネル音声信号の一または複数の追加信号成分(C、Ls、Rs、Rss、Lss)を含み、少なくとも一の対応するフィルタ処理機能(H1、H2、H3、H4、H5、H6、H7、H8)によって乗算された第2項と、
の組み合わせによって成される。上記フィルタ処理機能は、
−mチャネル再生状況における、上記mチャネル音声信号の上記一または複数の追加信号成分のそれぞれの信号成分のスピーカの位置と、聞き手の対応する右耳または左耳の位置との間の伝達経路の周波数特性と、
−nチャネル再生状況における、ダウンミックスされた上記一のnチャネル音声信号(Ro、Lo、Rso、Lso)のスピーカの位置と、聞き手の対応する右耳または左耳の位置との間の伝達経路の周波数特性と、に依存する。本発明のさらなる目的は、請求項2に従った、mチャネル音声信号(L、R、C、Ls、Rs、Rss、Lss)をnチャネル音声信号(Ro、Lo)にダウンミックスする装置である。ここで、mはm>nである整数であり、nはn≧2である整数であり、
−上記mチャネルデジタル音声信号を受け取る入力と、
−上記mチャネル音声信号を上記nチャネルステレオ音声信号に変換するダウンミックス回路と、
−上記nチャネルステレオ音声信号を対応するスピーカに供給する出力とを備える。上記ダウンミックス回路は、聞き手の一方側(右または左)における上記nチャネル音声信号のうちの一のnチャネル音声信号(Ro、Lo、Rso、Lso)を、
−上記mチャネル音声信号の上記一方側と同じ側のみにおける一の信号成分(R、L、Rs、Ls)を含む第1項と、
−mに依存し、上記同じ側のみにおける上記mチャネル音声信号の一または複数の追加信号成分(C、Ls、Rs、Rss、Lss)を含み、少なくとも一の対応するフィルタ処理機能(H1、H2、H3、H4、H5、H6、H7、H8)によって乗算された第2項と、
の組み合わせによって生成する手段を備えることを特徴とする。上記フィルタ処理機能は、
−mチャネル再生状況における、上記mチャネル音声信号の上記一または複数の追加信号成分のそれぞれの信号成分のスピーカの位置と、聞き手の対応する右耳または左耳の位置との間の伝達経路の周波数特性と、
−nチャネル再生状況における、ダウンミックスされた上記一のnチャネル音声信号(Ro、Lo、Rso、Lso)のスピーカの位置と、聞き手の対応する右耳または左耳の位置との間の伝達経路の周波数特性と、に依存する
【0014】
組み合わせられた第1項および第2項についての請求項1および2における定義、すなわち、"同じ側(それぞれ左または右)のみのmチャネル音声信号の信号成分を含む第1項"および"mに依存し、mチャネル音声信号の同じ側(それぞれ左または右)のみにおける一または複数の追加信号成分を含む第2項"とは、第1項および第2項は、他方側(それぞれに対して右または左)からの信号成分を含まないことを意味することに注意すべきであり、これは、左側と右側との間が分離されているからである。しかしながら、これは、第1項または第2項が、フロントセンターチャネル(C)からの信号成分を含む可能性を残す。
【0015】
さらなる目的は、上記で定義される装置の特性に応じて、m=3、またはm=4、またはm=5、またはm=6、またはm=7であって、且つn=2またはn=4である装置である。
【0016】
これらの目的、およびさらなる目的は、本記載に欠くことのできない部分を形成する添付の請求項に記載されるように、マルチチャネル音声信号を2チャネル音声信号にダウンミックスするための装置および方法により実現される。
【0017】
発明は、例えばLs信号成分およびRs信号成分を、ダウンミックス処理において例えば左前方信号および右前方信号にそれぞれ結び付けると、これらのLs信号およびRs信号は、それぞれ"左前方"および"右前方"方向からのものとして今や知覚されるという認識に基づいている。これらは通常(5チャネル再生状況において)は、それぞれ"左後方"および"右後方"方向からのものとして知覚される。
【0018】
このため、知覚されるダウンミックスされた信号に歪みが生じることにより、オリジナルのマルチチャネル信号をマルチチャネル再生システムで再生すれば通常実現されるものである音の本当の物理的な由来を、聞き手は認識できない。請求されるプレフィルタ処理によって、ダウンミックス処理において"失われた"これらの位置からの信号を前処理することにより、聞き手の知覚を改善する再配置が得られる。その結果、ダウンミックス処理において"失われた"位置からの信号成分が、少なくとも実質的にそれらのオリジナルの位置からのものと知覚され得る。
【図面の簡単な説明】
【0019】
本発明は、添付の図面を参照しつつ、単なる例示且つ非限定的な例として与えられる以下の詳細な記載を読み取ることにより、完全に明瞭になるであろう。
【
図1】m=5の場合のサラウンド音響信号を再生するための5つのスピーカの配置例を示す。
【
図2】n=2の場合のダウンミックスされた2チャネル音響信号を再生するための2つのスピーカの配置例を示す。
【
図3】m=7の場合のmチャネル音響信号を再生するための7つのスピーカの配置例を示す。
【
図4】n=2且つm=3の場合の、本発明に従った装置の実施形態の例のブロック図を示す。
【
図5】n=2且つm=4の場合の、本発明に従った装置の実施形態の例のブロック図を示す。
【
図6】n=2且つm=5の場合の、本発明に従った装置の実施形態の例のブロック図を示す。
【
図7】n=2且つm=7の場合の、本発明に従った装置の実施形態の例のブロック図を示す。
【
図8】n=4の場合の、本発明に従った装置の実施形態のさらなる例のブロック図を示す。 図面中の同じ参照番号および文字は、同じまたは機能的に等価な要素を指定する。
【発明を実施するための形態】
【0020】
本発明の方法は、mチャネル信号成分をそれぞれLo信号およびRo信号に結合する前にmチャネル信号成分を前処理することにより、上記の歪みを補正することを目的としている。
【0021】
典型的な構成は、
図1および2にて参照する上記のもののように、(m=5であって)L、R、C、Ls、およびRsがそれぞれ、マルチチャネル音声信号のフロントレフト、フロントライト、センター、バックレフト、およびバックライト成分であり、既に上記したように、対応するスピーカによって再生される状況を提供する。
【0022】
入力マルチチャネル音声信号には、様々な数のチャネルが存在する多くの状況が可能である。すなわち、m=3の場合はR、L、C信号成分を有し、m=4ではR、L、Rs、Ls、m=5ではL、R、C、Ls、およびRs信号成分の全てを有し、より大きなmの値もある。
【0023】
いくつかの具体的な本発明の方法の実施形態の非限定的な例が、以下に記載されるであろう。
【0024】
本発明の第1の実施例は、m=3(L、R、C)且つn=2(Lo、Ro)であって、
図4に示されており、mチャネル音声信号をnチャネル音声信号にダウンミックスするのに先立つ、mチャネル音声信号のフロントセンターサラウンド信号成分Cの、第1信号前処理H1および第2信号前処理H2を提供する。フロントセンターサラウンド信号成分Cに対する前処理ステップは、少なくとも以下の式を実質的に満たすそれぞれ第1フィルタ処理機能H1および第2フィルタ処理機能H2によるプレフィルタ処理と等価である。
H(c−re)=H1*H(fr−re)、および、
H(c−le)=H2*H(fl−le)、
ここでH(c−re)およびH(c−le)は、mチャネルサラウンド再生状況における、フロントセンタースピーカの位置と、それぞれ聞き手の右耳の位置および左耳の位置との間の伝達経路の周波数特性である。H(fr−re)は、nチャネルステレオ再生状況における、"フロントライト"スピーカの位置と聞き手の右耳の位置との間の伝達経路の周波数特性である。H(fl−le)は、nチャネルステレオ再生状況における、"フロントレフト"スピーカの位置と聞き手の左耳の位置との間の伝達経路の周波数特性である。
【0025】
m=4(L、Ls、R、Rs)且つn=2(Lo、Ro)の場合の本発明の別の実施例が、
図5に示され、以下の前処理を提供する。
【0026】
より正確に言うと、第3フィルタ処理機能H3によってRsをプレフィルタ処理することによってRs信号は前処理される。第3フィルタは次式を満たす。
H(br−re)=H3*H(fr−re)
また、Lsは第4フィルタH4によってLsをプレフィルタ処理することによって前処理される。第4フィルタは次式を満たす。
H(bl−le)=H4*H(fl−le)
ここでH(bl−le)は、mチャネルサラウンド再生状況における、"バックレフト"スピーカの位置と聞き手の左耳の位置との間の伝達経路の周波数特性である。H(br−re)は、mチャネルサラウンド再生状況における、"バックライト"スピーカの位置と聞き手の右耳の位置との間の伝達経路の周波数特性である。H(fl−le)およびH(fr−re)は上記の通り定義されている。
【0027】
このようにすることにより、ステレオ再生状況(n=2)の場合、聞き手は自分の右耳で次のRs信号成分を受け取るであろう。
Rs・H3・β・H(fr−re)=Rs・H(br−re)/H(fr−re)・β・H(fr−re)=β・Rs・H(br−re)
これは、mチャネルサラウンド再生状況(m=5)において、聞き手の右耳が知覚したであろうものであり得る。
【0028】
一般に、H3に対する厳密な解を得ることは実現不可能なので、あるいは解は存在しないので、
H3'・H(fr−re)≒H(br−re)
である近似H3'が使用される。
【0029】
聞き手の左耳によるLs信号成分の知覚に対する等価な計算も、もちろん有効である。
Ls・H4・β・H(fl−le)=Ls・H(bl−le)/H(fl−le)・β・H(fl−le)=β・Ls・H(bl−le)
そして等価な近似は、
H4'・H(fl−le)≒H(bl−le)
である。
【0030】
一般的に、ダウンミックス方法は、nチャネル音声信号の右手チャネル成分(Ro)を次のように生成する。
Ro=δ・R+β・H3・Rs+A(m)
ここで、Rはmチャネル音声信号のフロントライト信号成分であり、δおよびβは好ましくは≦1である乗算係数であり、A(m)はmに依存する式である。
【0031】
同様に、ダウンミックス部は、nチャネル音声信号の左手チャネル成分(Lo)を次のように生成する。
Lo=δ・L+β・H4・Ls+B(m)
ここで、Lはmチャネル音声信号のフロントレフト信号成分であり、δおよびβは好ましくは≦1である乗算係数であり、B(m)はmに依存する式である。
【0032】
m=3(
図4の実施例)の場合、成分L、R、Cは存在するが、成分RsおよびLsは存在しておらず、従って次の式を得る。
Ro=δ・R+α・H1・C
Lo=δ・L+α・H2・C
ここで、A(m)=α・H1・CおよびB(m)=α・H2・Cであり、RsおよびLsに関連する寄与は存在しない。
【0033】
m=4(
図5の実施例)の場合、成分L、R、Ls、Rsが存在するが、成分Cは存在しない。従って、LoおよびRoの上式においてA(m)=B(m)=0を得る。
【0034】
m=5(
図6の実施例)の場合、成分L、R、C、Ls、Rsが存在し、Lo、Roの上式においてA(m)=α・H1・CおよびB(m)=α・H2・Cである。ここで、Cはm=5の場合のmチャネル音声信号において上記の通り定義されたセンター信号成分であり、αは1よりも小さい乗算係数であり、H1、H2は上記の通り定義された第1および第2フィルタである。
【0035】
本発明の方法のさらなる実施例(
図7参照)が、m=7の入力チャネルを有する入力マルチチャネル音声信号の状況に当てはまる。
【0036】
図3を参照すると、この場合、m=5のように、それぞれフロントレフト、フロントライト、センター、バックレフト、およびバックライトであるマルチチャネル音声信号の5つの成分L、R、C、Ls、およびRsを依然として有し、さらに、側方右Rssチャネルおよび側方左Lssチャネルで与えられる2つの付加的な成分を有する。
【0037】
m=7のこの場合、本発明の方法は、mチャネル音声信号をnチャネルステレオ音声信号にダウンミックスするのに先立って、mチャネル音声信号の側方右信号成分(Rss)を前処理するためのフィルタ処理機能(H5)による第5信号前処理を提供する。側方右信号成分に対する前処理ステップは、次の式を少なくとも実質的に満たすフィルタ処理機能H5であるプレフィルタ処理ステップと等価である。
H(sr−re)=H5*H(fr−re)
ここで、H(sr−re)は、7チャネルサラウンド再生状況における、"側方右"スピーカRssの位置と聞き手の右耳の位置との間の伝達経路の周波数特性である。H(fr−re)は、nチャネルステレオ再生状況における、"フロントライト"スピーカの位置と聞き手の右耳の位置との間の伝達経路について上記の通り定義された周波数特性である。
【0038】
さらに、本発明の方法は、mチャネル音声信号をnチャネルステレオ音声信号にダウンミックスするのに先立って、mチャネル音声信号の側方左信号成分(Lss)を前処理するためのフィルタ処理機能(H6)による第6信号前処理を提供する。側方左信号成分に対する前処理ステップは、次の式を少なくとも実質的に満たすフィルタ処理機能H6であるプレフィルタ処理ステップと等価である。
H(sl−le)=H6*H(fl−le)
ここで、H(sl−le)は、m=7の状況における、"側方左"スピーカLssの位置と聞き手の左耳の位置との間の伝達経路の周波数特性である。H(fl−le)は、nチャネルステレオ再生状況における、"フロントレフト"スピーカの位置と聞き手の左耳の位置との間の伝達経路について上記の通り定義された周波数特性である。
【0039】
m=7の場合、A(m)=α・H1・C+γ・H5・Rss、および、B(m)=α・H2・C+γ・H6・Lssである。
【0040】
本発明の方法のさらなる実施例は、mチャネル音声信号の"側方右"信号成分の信号と"側方左"信号成分の信号とが前処理され、続いて"バックライト"信号成分および"バックレフト"信号成分と結合され、nチャネル音声再生配置の右および左サラウンドスピーカへと供給されるような状況に対して当てはまる。これは
図8の実施例に示されている。これらの場合、本発明の方法は、mチャネル音声信号をnチャネル音声信号にダウンミックスするのに先立って、mチャネル音声信号の側方右信号成分(Rss)を前処理するためのフィルタ処理機能(H7)による第7信号前処理を提供する。側方右信号成分に対する前処理ステップは、次の式を少なくとも実質的に満たすフィルタ処理機能H7であるプレフィルタ処理ステップと等価である。
H(sr−re)=H7*H(br−re)
ここで、H(sr−re)は、mチャネルサラウンド再生状況における、"側方右"スピーカの位置と聞き手の右耳の位置との間の伝達経路の周波数特性である。H(br−re)は、nチャネル再生状況における、"バックライト"スピーカRsoの位置と聞き手の右耳の位置との間の伝達経路の周波数特性である。
【0041】
これらの場合、本発明の方法は、mチャネル音声信号をnチャネル音声信号にダウンミックスするのに先立って、mチャネル音声信号の側方左信号成分(Lss)を前処理するためのフィルタ処理機能(H8)による第8信号前処理をさらに提供する。側方左信号成分に対する前処理ステップは、次の式を少なくとも実質的に満たすフィルタ処理機能H8であるプレフィルタ処理ステップと等価である。
H(sl−le)=H8*H(bl−le)
ここで、H(sl−le)は、mチャネルサラウンド再生状況における、"側方左"スピーカの位置と聞き手の左耳の位置との間の伝達経路の周波数特性である。H(bl−le)は、nチャネル再生状況における、"バックレフト"スピーカLsoの位置と聞き手の左耳の位置との間の伝達経路の周波数特性である。
【0042】
上記の場合、nチャネル信号のさらなる成分が生成される。すなわち、
Rso=ε・Rs+ζ・H7・Rss、および、
Lso=ε・Ls+ζ・H8・Lss
である。ここで、Rsoはバックライトスピーカに適用された合成信号であり、Lsoはバックレフトスピーカに適用された合成信号であり、εおよびζは好ましくは≦1である乗算係数である。
【0043】
この場合、好ましくは
Ro=δ・R
Lo=δ・L
である。
【0044】
この実施例においては、側方左スピーカ信号および側方右スピーカ信号が、バックレフトスピーカおよびバックライトスピーカにそれぞれ加えられるようなダウンミックスである。そこで、m=6(R、Rs、Rss、L、Ls、Lss)を仮定すると、
図8に示されるように、ダウンミックスによってn=4(R、Rso、L、Lso)が生じる。
【0045】
前の実施例を出発点として、さらなる実施例においては、mチャネル信号中にセンター成分Cがさらに存在し、これは、それぞれ上述の係数H1、H2によって乗算されたnチャネル信号のRo成分およびLo成分に適用され、以下を得る。
Ro=δ・R+H1・C
Lo=δ・L+H2・C
【0046】
一般的に、様々な式中の乗算係数(α、β、δ、η、γ、ε、ζ)の存在は、オリジナルの音響成分の寄与を比例的に減じることにより、ダウンミックスされた信号によって生成される音の全体的なレベルを制御する必要性を考慮するものである。従って、これらのそれぞれは、1よりも小さな値に設定される。
【0047】
フィルタ処理機能H1、H2、H3、H4、H5、H6のフィルタ機能性を実現するための好ましい方法は、そのフィルタ係数が固定され、予め計算されている離散時間型有限インパルス応答(FIR)フィルタによって実行される。
【0048】
フィルタ係数は、フィルタに所望されるインパルス応答である、それぞれK1、K2、K3、K4、K5、K6から導出することができる。
【0049】
例えば、非再帰的直接型フィルタに対しては、係数ベクトルはインパルス応答関数と同一である。K1およびK2は後で記載されるように計算される。
【0050】
K1の計算は、伝達経路インパルス応答K(fr−re)およびK(br−re)に基づいている。これらは、対応する伝達経路周波数特性H(fr−re)、H(br−re)の時間領域の対応物である。
【0051】
H(fl−le)およびH(bl−le)に対応して、それぞれK(fl−le)およびK(bl−le)に基づいたK2の計算に対して同じことが当てはまる。
【0052】
K1およびK2の計算結果は、それぞれフィルタ処理機能H1およびH2の時間領域の対応物である。
【0053】
当該伝達経路インパルス応答を決定するための共通の方法は、部屋の中、好ましくは無響室の中に適切に配置されたスピーカとマイクロホンとを用いた測定用設定において、これらを直接記録することである。
【0054】
ダミーヘッドマイクロホンの使用は、一般的で、この場合、頭部インパルス応答(HRIR)を取得するための好ましい方法である。頭部インパルス応答は、頭部伝達関数(HRTF)の時間領域の対応物である。
【0055】
K1を計算するための好ましい方法は、入力信号によるフィルタの畳み込みを表し、出力信号によって特定される、一次方程式系の最小二乗近似の既知の概念を使用することである。
【0056】
この方法は、逆フィルタリングまたはデコンボリューションとしても知られている概念に属するものであり、以下において簡潔に記載される。
【0057】
ここで
K(fr−re)(*)K1=K(br−re)
を適用し、(*)はコンボリューションオペレータである(離散型コンボリューションを意味する)。
【0058】
行列型の方程式系に展開すると、左側の式は、K(fr−re)から形成され、K1と等価なベクトルによって乗算されたテプリッツ行列となり、右側の式はK(br−re)と等価なベクトルである。
【0059】
この一次方程式系に対して、既知の最小二乗近似解法の1つ、例えば特異値分解(SVD)が次いで実行される。これは、K1に対する適切な解を生じる。
【0060】
同じ計算が、K2に対してそれぞれ次式を用いて実行される。
K(fl−le)(*)K2=K(bl−le)
【0061】
装置のいくつかの例に関する限り、mチャネル音声信号をnチャネル音声信号に変換する本発明の方法を実施するために、以下を適用することができる。
【0062】
オリジナルのmチャネル信号の伝達の場合、本発明の方法は、本方法の実施用の手段を含むように適切に変更された、消費者用オーディオ装置中で実施することができる。
【0063】
図4、5、6、および7を参照すると、本発明に従った装置の実施形態の例の4つのブロック図が、n=2且つそれぞれm=3、4、5、7の場合について記載されている。
図8においては、m=6且つn=4である実施形態のさらなる例が示されている。
【0064】
本発明の方法は、コンピュータ用のプログラムによって有利に実施することができる。プログラムは、このプログラムをコンピュータ上で実行した場合に、本方法の一または複数のステップを実施するためのプログラムコーディング手段を有する。従って、保護の範囲はコンピュータ用のそのようなプログラム、さらに、その中に記憶されたメッセージを有するコンピュータ可読手段にまで及ぶものと理解される。当該コンピュータ可読手段は、このプログラムをコンピュータ上で実行した場合に、本方法の一または複数のステップを実施するためのプログラムコーディング手段を有する。
【0065】
発明の主題に対する多くの変更、修正、変化、およびその他の使途および用途が、その好ましい実施例を開示した明細書および添付の図面を考慮した後には、当業者にとって明らかとなるであろう。
【0066】
当業者であれば、上記の記載の教示から出発して、本発明を実行することが可能であるので、さらなる実施の詳細は記載されない。