特表 2024-528735 音響信号処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-30

(54)【発明の名称】音響信号処理方法

(51)【国際特許分類】

   H04S 5/00 20060101AFI20240723BHJP

【ＦＩ】

H04S5/00 500

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024505561

(86)(22)【出願日】2022-07-29

(85)【翻訳文提出日】2024-03-08

(86)【国際出願番号】 EP2022071342

(87)【国際公開番号】W WO2023006945

(87)【国際公開日】2023-02-02

(31)【優先権主張番号】BE2021/5604

(32)【優先日】2021-07-30

(33)【優先権主張国・地域又は機関】BE

(81)【指定国・地域】

(71)【出願人】

【識別番号】523345677

【氏名又は名称】アリール・ベスローテン・フェンノートシャップ

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100173565

【弁理士】

【氏名又は名称】末松 亮太

(74)【代理人】

【識別番号】100195408

【弁理士】

【氏名又は名称】武藤 陽子

(72)【発明者】

【氏名】ドムス，ピーテル

(72)【発明者】

【氏名】フォートマン，アルノ

【テーマコード（参考）】

5D162

【Ｆターム（参考）】

5D162BA07

5D162BA17

5D162CA01

5D162CA21

5D162CB12

5D162CC12

5D162CD03

5D162DA22

5D162DA28

5D162EE05

(57)【要約】

本発明は、入力音響ステレオ信号（Ｓ）を一組のマルチチャネル出力信号（Ｏ）にアップミックスするためのコンピュータ実装の音響信号処理方法に関する。
【選択図】図２

【特許請求の範囲】

【請求項1】

入力音響ステレオ信号（Ｓ）を複数の空間的に分散された擬似サラウンドチャネルにアップミックスして、ハイトレイヤを定義するためのコンピュータ実装の音響信号処理方法であって、前記方法は、
少なくとも１つの入力音響ステレオ信号（Ｓ）を受信するステップと、
前記入力音響ステレオ信号（Ｓ）に対して前処理工程を実行するステップであって、前記前処理工程が、
Ｍｉｄ－Ｓｉｄｅデコーディングを実行して、少なくとも１つのＳｕｍ（ＳＵＭ）信号および少なくとも１つのＤｉｆｆｅｒｅｎｃｅ（ＤＩＦＦ）信号を生成するステップと、
前記少なくとも１つのＤｉｆｆｅｒｅｎｃｅ（ＤＩＦＦ）信号に対して極性反転を実行するステップと、
前記少なくとも１つのＤｉｆｆｅｒｅｎｃｅ（ＤＩＦＦ）信号に対して、少なくとも２つ、好ましくは少なくとも４つの（ＰＦ）フィルタリングバンクによるフィルタリングを実行するステップと
を含む、前処理工程を実行するステップと、
前記フィルタリングバンク（ＰＦ）から少なくとも２つ、好ましくは少なくとも４つの信号を再構成して、アップミックスされた出力信号（Ｏ）を得るステップと、
少なくとも１つのアップミックスされた出力信号（Ｏ）に対して、好ましくはすべてのアップミックスされた出力信号（Ｏ）に対して、ハイパスフィルタリングを実行するステップと、
少なくとも１つのアップミックスされた出力信号（Ｏ）に対して、好ましくはすべてのアップミックスされた出力信号（Ｏ）に対して、レベル調整を実行するステップと、
前記アップミックスされた再構成音響信号（Ｏ）をオーディオスピーカチャネル（Ｃ）にルーティングして、Ｔｏｐ Ｃｈａｎｎｅｌ、例えば少なくともＴｏｐ Ｆｒｏｎｔ Ｌｅｆｔチャネル（ＴＦＬ）、Ｔｏｐ Ｆｒｏｎｔ Ｒｉｇｈｔチャネル（ＴＦＲ）、Ｔｏｐ Ｒｅａｒ Ｌｅｆｔチャネル（ＴＲＬ）およびＴｏｐ Ｒｅａｒ Ｒｉｇｈｔチャネル（ＴＲＲ）にフィードすることにより、前記ハイトレイヤを形成する空間的に分散したチャネルのマトリックスを定義するステップと
を含む、音響信号処理方法。

【請求項2】

前記フィルタリングバンク（ＰＦ）が、周波数ドメインにおいてリニアフェーズ応答を有するように構成される、請求項１に記載の方法。

【請求項3】

前記フィルタリングバンク（ＰＦ）が、フィルタサブバンド（ＰＳＢ）付近で動作するように構成され、これらのサブバンド（ＰＳＢ）の各々が、中心周波数Ｆ_ＳＢ－Ｃを有し、低域カットオフ周波数Ｆ_ＳＢ－Ｌより高い低周波音波の範囲、および高域カットオフ周波数Ｆ_ＳＢ－Ｕより低い高周波音波の範囲付近で動作するように構成される、請求項１または２に記載の方法。

【請求項4】

前記フィルタサブバンド（ＰＳＢ）の各々が、－３ｄＢ～－１５ｄＢ、好ましくは－６ｄＢ～－１２ｄＢの範囲、より好ましくは－９ｄＢより選択された前記サブバンド中心周波数Ｆ_ＳＢ－Ｃ付近の振幅を有するように構成される、請求項３に記載の方法。

【請求項5】

前記フィルタリングバンク（ＰＦ）のそれぞれが、１／９オクターブ～１オクターブの間の幅を有するように構成される、請求項１から４のいずれか１項に記載の方法。

【請求項6】

前記フィルタサブバンド（ＰＳＢ）の前記動作周波数範囲が、Ｆ_Ｌ～Ｆ_Ｕの周波数範囲内で動作するように構成され、Ｆ_Ｌ～Ｆ_Ｕが、３５０Ｈｚ～２０ｋＨｚ、好ましくは４００Ｈｚ～１０ｋＨｚ、より好ましくは５００Ｈｚ～９ｋＨｚである、請求項１から５のいずれか１項に記載の方法。

【請求項7】

振幅補償が、前記フィルタリングバンク（ＰＦ）の周波数サポートの外側で実行され、前記振幅補償が、Ｆ_ＬおよびＦ_Ｕにおける振幅レベルに対して実行され、前記振幅補償が、結果として生じるＦ_ＬおよびＦ_Ｕ付近の振幅レベルを伴い、前記振幅レベルが、－３ｄＢ～－１２ｄＢ、好ましくは６ｄＢ～－９ｄＢの範囲、より好ましくは－６ｄＢより選択される、請求項１から６のいずれか１項に記載の方法。

【請求項8】

ハイパスフィルタ（ＨＰＦ）を使用して、ハイトチャネルの各々でハイパスフィルタリング（ＨＰＦ）が実行され、そのようなハイパスフィルタ（ＨＰＦ）が、中心周波数Ｆ_ＨＦＣ＝５００Ｈｚで動作するように構成される、請求項１から７のいずれか１項に記載の方法。

【請求項9】

前記ハイパスフィルタが、ハイシェルフフィルタであり、周波数ドメインにおいてリニアフェーズ応答を有する、請求項８に記載の方法。

【請求項10】

レベル調整が、前記アップミックスされた出力音響信号の各々に対して実行される、請求項１から９のいずれか１項に記載の方法。

【請求項11】

処理時間がミリ秒のオーダーであり、好ましくは５ｍｓより短く、より好ましくは３ｍｓより短く、さらに好ましくは１ｍｓより短い、請求項１から１０のいずれか１項に記載の方法。

【請求項12】

前記Ｍｉｄ－Ｓｉｄｅデコーディングのステップで時間同期が実行され、Ｍｉｄ－Ｓｉｄｅデコーディングのステップの対象とならない入力チャネルに対してレイテンシ補償が実行される、請求項１から１１のいずれか１項に記載の方法。

【請求項13】

前記方法が、
少なくとも１つの（ＳＵＭ）信号に対して遅延調整（Ｄ－ＡＤＪ）を実行するステップと、
前記アップミックスされた再構成音響信号（Ｏ）をオーディオスピーカチャネル（Ｃ）にルーティングし、少なくともＣｅｎｔｅｒチャネル（ＣＥ）およびＬｏｗ Ｆｒｅｑｕｅｎｃｙ Ｅｆｆｅｃｔ（ＬＦＥ）チャネルにフィードすることにより、センターレイヤを形成する空間的に分散したチャネルのマトリックスを定義するステップと、
前記ＬＦＥチャネルに対してローパスフィルタリング（ＬＰＦ）を実行するステップと
をさらに含む、請求項１から１２のいずれか１項に記載の方法。

【請求項14】

前記方法が、前記得られたアップミックスされた出力信号（Ｏ）に対して補償フィルタリングを実行するようにさらに構成される、請求項１から１３のいずれか１項に記載の方法。

【請求項15】

前記補償フィルタが、ローおよび／またはハイシェルフフィルタであり、周波数ドメインにおいてリニアフェーズ応答を有する、請求項１４に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、入力音響ステレオ信号（Ｓ）を一組のマルチチャネル出力信号（Ｏ）にアップミックスするためのコンピュータ実装の音響信号処理方法に関する。

【背景技術】

【0002】

多くの用途では、ユーザの知覚を高めるために、複数の指向性音源を埋め込んで現実をシミュレートすることができる３次元サウンドスケープを生成することが望ましい。しかしながら、先行技術のほとんどの方法は、アーティキュレートされた多次元サウンドスケープの作成を試みるために、通常のステレオフィードに依拠するだけである。このような試みは、サウンドスケープ全体に散在するアーチファクトの内在的な存在により、音質が損なわれ、ユーザエクスペリエンスが低下する傾向がある。

【0003】

ステレオの登場以来、音楽およびメディア制作は、楽曲／録音の強化された空間的特性を促すために、サイド情報をフィード内に割り当てる傾向がある。しかしながら、先行技術のほとんどの方法は、アーティキュレートされたサウンドスケープを作り出すために、通常のステレオフィードに依拠する。既存のアップミキシング方法は、一般的にユーザエクスペリエンスの質を損なう。この範囲で、ユーザはハイトレイヤに含まれる過剰な情報に由来する相当な空間的方向差を経験することになり、ユーザエクスペリエンスの低下につながる。

【0004】

先行技術において提示されるほとんどの方法は、周波数ドメインでリニアフェーズ応答を実現しない処理フィルタに依拠しており、サウンドスケープ中に指向性のサウンドアーチファクトをもたらし、最終的にユーザエクスペリエンスを低下させてフィードの多次元性を損なう。この範囲で、非リニアフェーズ応答は、最終的なユーザには過剰に処理されたように聴こえるサウンドスケープをもたらす。加えて、先行技術において提示される方法のほとんどは、人間の可聴周波数サポートの外側にまたがる広い周波数範囲で動作する処理フィルタに依拠する。このことにより、周波数スペクトルの一部が所与の方向において振幅の点で不均等になり、音が空間内で不均一に分布しているように知覚されることで、ユーザエクスペリエンスが低下する。

【0005】

先行技術において提示される方法のほとんどは、Ｃｅｎｔｒｅチャネルの表現を実現するために、ＬｅｆｔとＲｉｇｈｔのステレオチャネルの間の関係に依拠するが、これは、Ｌｅｆｔ側およびＲｉｇｈｔ側に向かってユーザの知覚が分割される結果となる。より特には、この手法では、重要なサウンドアイテムがサウンドスケープ中で正確に位置付けされず、音色特性も保持されない可能性があり、それにより過剰に処理された感じをユーザにもたらす。結局、ボーカルのような重要なサウンドオブジェクトで、ユーザエクスペリエンスが劣ったものになる。

【0006】

既存のアップミキシング手法は、通常空間の感じを作り出すためにリバーブを使用する。これは、元の信号に人工的な情報を加えることで実現されるが、その代わりに元のサウンドはその鮮明さを失い、サウンドの空間的な存在が不自然に変化し、ユーザエクスペリエンスを妨げる。加えて、リバーブは限られた広さの空間でしか使用できず、大規模なライブセッティングには適さない。

【発明の概要】

【発明が解決しようとする課題】

【0007】

したがって、入力音響ステレオ信号を複数の空間的に分散された擬似サラウンドチャネルにレンダリングし、ユーザエクスペリエンスを向上させる方法が必要とされる。

【課題を解決するための手段】

【0008】

驚くべきことに、本発明者らは、これらの問題の１つまたは複数が、本発明およびその実施形態によって解決できることを見出した。本方法は、要求される高いサラウンド音基準に適合する、新たな洞察と特徴からなる詳細なプリセットを可能にする。本発明は、サウンドデザインの創造的なプロセスを尊重する。本発明は、空間の感じを作り出すためにリバーブを必要としないので、音楽の元の特性を維持することができる。音楽にエフェクトを加える必要はなく、空間的に（均等に）分散されるだけである。

【0009】

本発明は、入力音響ステレオ信号（Ｓ）を複数の空間的に分散された擬似サラウンドチャネルにアップミックスして、ハイトレイヤを定義するためのコンピュータ実装の音響信号処理方法を提供する。前記方法は、好ましくは、以下のステップを含む：
－ 少なくとも１つの入力音響ステレオ信号（Ｓ）を受信するステップと、
－ 入力音響ステレオ信号（Ｓ）に対して前処理工程を実行するステップであって、前記前処理工程は、
・Ｍｉｄ－Ｓｉｄｅデコーディングを実行して、少なくとも１つのＳｕｍ（ＳＵＭ）信号および少なくとも１つのＤｉｆｆｅｒｅｎｃｅ（ＤＩＦＦ）信号を生成するステップと、
・少なくとも１つのＤｉｆｆｅｒｅｎｃｅ（ＤＩＦＦ）信号に対して極性反転を実行するステップと、
・少なくとも１つのＤｉｆｆｅｒｅｎｃｅ（ＤＩＦＦ）信号に対して、少なくとも２つ、好ましくは少なくとも４つのフィルタリングバンク（ＰＦ）によるフィルタリングを実行するステップと
を含む、前処理工程を実行するステップと、
－ フィルタリングバンク（ＰＦ）から少なくとも２つ、好ましくは少なくとも４つの信号を再構成して、アップミックスされた出力信号（Ｏ）を得るステップと、
－ 少なくとも１つのアップミックスされた出力信号（Ｏ）に対して、好ましくはすべてのアップミックスされた出力信号（Ｏ）に対して、ハイパスフィルタリングを実行するステップと、
－ 少なくとも１つのアップミックスされた出力信号（Ｏ）に対して、好ましくはすべてのアップミックスされた出力信号（Ｏ）に対して、レベル調整を実行するステップと、
－ アップミックスされた再構成音響信号（Ｏ）をオーディオスピーカチャネル（Ｃ）にルーティングして、Ｔｏｐ Ｃｈａｎｎｅｌ、例えば少なくともＴｏｐ Ｆｒｏｎｔ Ｌｅｆｔチャネル（ＴＦＬ）、Ｔｏｐ Ｆｒｏｎｔ Ｒｉｇｈｔチャネル（ＴＦＲ）、Ｔｏｐ Ｒｅａｒ Ｌｅｆｔチャネル（ＴＲＬ）およびＴｏｐ Ｒｅａｒ Ｒｉｇｈｔチャネル（ＴＲＲ）にフィードすることにより、ハイトレイヤを形成する空間的に分散したチャネルのマトリックスを定義するステップ。

【0010】

いくつかの実施形態では、フィルタリングバンク（ＰＦ）は、周波数ドメインにおいてリニアフェーズ応答を有するように構成される。

【0011】

いくつかの実施形態では、フィルタリングバンク（ＰＦ）は、フィルタサブバンド（ＰＳＢ）付近で動作するように構成され、これらのサブバンド（ＰＳＢ）の各々は、中心周波数ＦＳＢ－Ｃを有し、低域カットオフ周波数ＦＳＢ－Ｌより高い低周波音波の範囲、および高域カットオフ周波数ＦＳＢ－Ｕより低い高周波音波の範囲付近で動作するように構成される。

【0012】

いくつかの実施形態では、フィルタサブバンド（ＰＳＢ）の各々は、－３ｄＢ～－１５ｄＢ、好ましくは－６ｄＢ～－１２ｄＢ、より好ましくは－９ｄＢの範囲で選択されたサブバンド中心周波数ＦＳＢ－Ｃ付近の振幅を有するように構成される。

【0013】

いくつかの実施形態では、フィルタリングバンク（ＰＦ）は、１／９オクターブ～１オクターブの間の幅を有するように構成される。

【0014】

いくつかの実施形態では、フィルタサブバンド（ＰＳＢ）の動作周波数範囲は、Ｆ_Ｌ～Ｆ_Ｕの周波数範囲内で動作するように構成され、Ｆ_Ｌ～Ｆ_Ｕは、３５０Ｈｚ～２０ｋＨｚ、好ましくは４００Ｈｚ～１０ｋＨｚ、より好ましくは５００Ｈｚ～９ｋＨｚである。

【0015】

いくつかの実施形態において、振幅補償は、フィルタリングバンク（ＰＦ）の周波数サポートの外側で実行され、前記振幅補償は、Ｆ_ＬおよびＦ_Ｕにおける振幅レベルに対して実行され、前記振幅補償は、結果として生じるＦ_ＬおよびＦ_Ｕ付近の振幅レベルを伴い、これらは、－３ｄＢ～－１２ｄＢ、好ましくは－６ｄＢ～－９ｄＢの範囲、より好ましくは－６ｄＢ内で選択される。

【0016】

いくつかの実施形態では、ハイパスフィルタ（ＨＰＦ）を使用して、ハイトチャネルの各々でハイパスフィルタリング（ＨＰＦ）が実行され、そのようなハイパスフィルタ（ＨＰＦ）は、中心周波数ＦＨＦＣ＝５００Ｈｚを有して動作するように構成される。

【0017】

いくつかの実施形態では、ハイパスフィルタは、ハイシェルフフィルタであり、周波数ドメインにおいてリニアフェーズ応答を有する。

【0018】

いくつかの実施形態では、レベル調整は、アップミックスされた出力音響信号の各々に対して実行される。

【0019】

いくつかの実施形態では、処理時間はミリ秒のオーダーであり、好ましくは５ｍｓより短く、より好ましくは３ｍｓより短く、さらに好ましくは１ｍｓより短い。

【0020】

いくつかの実施形態では、Ｍｉｄ－Ｓｉｄｅデコーディングのステップで同期が実行され、Ｍｉｄ－Ｓｉｄｅデコーディングのステップの対象とならない入力チャネルに対してレイテンシ補償が実行される。

【0021】

いくつかの実施形態において、この方法は、以下のステップをさらに含む：
－ 少なくとも１つの（ＳＵＭ）信号に対して遅延調整（Ｄ－ＡＤＪ）を実行するステップと、
－ アップミックスされた再構成音響信号（Ｏ）をオーディオスピーカチャネル（Ｃ）にルーティングし、少なくともＣｅｎｔｒｅチャネル（ＣＥ）およびＬｏｗ Ｆｒｅｑｕｅｎｃｙ Ｅｆｆｅｃｔ（ＬＦＥ）チャネルにフィードすることにより、センターレイヤを形成する空間的に分散したチャネルのマトリックスを定義するステップと、
－ ＬＦＥチャネルに対してローパスフィルタリング（ＬＰＦ）を実行するステップ。

【0022】

いくつかの実施形態において、前記方法は、得られたアップミックスされた出力信号（Ｏ）に対して補償フィルタリングを実行するようにさらに構成される。

【0023】

いくつかの実施形態では、補償フィルタは、ローおよび／またはハイシェルフフィルタであり、周波数ドメインにおいてリニアフェーズ応答を有する。

【図面の簡単な説明】

【0024】

【図1】本発明の好ましい一実施形態による、フィルタリングバンクを示すグラフである。

【図2】本発明の好ましい一実施形態による、ブロックスキームの図である。

【発明を実施するための形態】

【0025】

本発明を特定の実施形態に関して説明するが、本発明はこれに限定されるものではなく、特許請求の範囲によってのみ限定される。特許請求の範囲における参照符号は、その範囲を限定するものと解釈されてはならない。

【0026】

本明細書で使用される場合、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が明らかにそうではないと述べない限り、単数形と複数形の両方の参照対象を含む。

【0027】

本明細書で使用される用語「からなる、含む（ｃｏｍｐｒｉｓｉｎｇ）」、「からなる、含む（ｃｏｍｐｒｉｓｅｓ）」、および「からなる（ｃｏｍｐｒｉｓｅｄ ｏｆ）」は、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」、または「含む（ｃｏｎｔａｉｎｉｎｇ）」、「含む（ｃｏｎｔａｉｎｓ）」と同義であり、包括的またはオープンエンドであり、追加的な、列挙されない部材、要素、または方法ステップを除外するものではない。列挙された部材、要素または方法ステップに言及する場合の「からなる、含む（ｃｏｍｐｒｉｓｉｎｇ）」、「からなる、含む（ｃｏｍｐｒｉｓｅｓ）」、および「からなる（ｃｏｍｐｒｉｓｅｄ ｏｆ）」という用語には、前記列挙された部材、要素または方法ステップ「からなる（ｃｏｎｓｉｓｔ ｏｆ）」実施形態も含まれる。

【0028】

さらに、本明細書および特許請求の範囲における第１、第２、第３などの用語は、明記されない限り、類似の要素を区別するために使用され、必ずしも連続的または時系列的な順序を記述するために使用されるものではない。このように使用される用語は、適切な状況下では交換可能であり、本明細書に記載される本発明の実施形態は、本明細書に記載または図示される以外の順序で動作可能であることを理解されたい。

【0029】

本明細書において使用されるように、パラメータ、量、時間的持続時間などのような測定可能な値に言及する際の「約（ａｂｏｕｔ）」という用語は、開示される本発明において実行するのにそのような変動が適切な限りにおいて、規定値からの±１０％以下、好ましくは±５％以下、より好ましくは±１％以下、さらにより好ましくは±０．１％以下の変動を包含することを意図される。修飾語「約（ａｂｏｕｔ）」が指す値自体も、具体的に、また好ましくは開示されることを理解されたい。

【0030】

端点による数値範囲の記載は、記載される端点だけでなく、それぞれの範囲内に内包されるすべての数値と分数を含む。本明細書中で引用されるすべての文書は、参照によりその全体が本明細書に組み込まれる。別段の定義がない限り、技術用語および科学用語を含め、本発明を開示する際に使用されるすべての用語は、本発明が属する技術分野における当業者によって一般的に理解される意味を有する。

【0031】

さらなる指針として、本発明の教示をよりよく理解するために、本明細書で使用される用語の定義が含まれる。本明細書で使用される用語または定義は、本発明の理解を助けるためにのみ提供される。本明細書全体を通して「実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」または「一実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」に対する言及は、その実施形態に関連して記載される特定の特徴、構造、または特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。

【0032】

したがって、本明細書を通じて様々な箇所で「実施形態において（ｉｎ ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」または「一実施形態において（ｉｎ ａｎ ｅｍｂｏｄｉｍｅｎｔ）」という言い回しが現れるが、必ずしもすべてが同じ実施形態を指すわけではない。さらに、特定の特徴、構造または特性は、１つまたは複数の実施形態において、本開示から当業者に明らかとなるように、任意の適切な方法で組み合わせることができる。さらに、本明細書に記載されるいくつかの実施形態は、当業者には理解されるように、他の実施形態に含まれるいくつかの特徴を含むが、他の実施形態に含まれる他の特徴は含まず、その一方で異なる実施形態の特徴の組み合わせが、本発明の範囲内であり、異なる実施形態を形成することが意図される。例えば、以下の特許請求の範囲および説明において、特許請求されるまたは説明される実施形態のいずれかを任意の組み合わせで使用することができる。

【0033】

ハイトレイヤに注目する場合、実行されるいくつかの重要なステップがある。これらのステップのうち１つまたは複数を変更すると、ユーザは結果に大きな違いを体感するかもしれない。

【0034】

ハイトレイヤの作成のために、本発明はＭＳエンコーディングとして知られる技術を使用する。ステレオ信号をＭＳエンコードすることにより、もはや左右の信号は存在せず、モノ（ｍｏｎｏ）として知られる和（ｓｕｍ）と差分（サイド）とが存在する。音楽制作において、楽曲の幅または空間的な特性は、サイド情報の量によって定義される。例えば、人工的なステレオリバーブは、空間の感じを作り出すために多くのサイド情報を作り出す。そのため、多くのサイド情報を有するトラックは空間的に感じられるように作られているため、３Ｄアップミックスで本領を発揮するとも言える。したがって、差分チャネルにおけるＭＳエンコーダの情報は、ハイトレイヤにおいて完璧に利用される。

【0035】

本発明では、左右のステレオ信号から差分信号を生成するためにＭＳマトリックスを用いる。この差分信号を使ってハイトレイヤを作り出し、真の３Ｄアップミックスを実現する。ＭＳマトリクスがスキップされ、代わりに通常のステレオフィードを使ってハイトレイヤが作り出される場合、ハイトスピーカにはステレオセンター情報が多くなりすぎる。通常、音楽で最も重要なアイテムは、ステレオフィードのセンターに存在する。この情報をハイトレイヤに含めないことにより、本発明はこれらのアイテムが正しいフォーカスを維持できるようにする。

【0036】

元の左右信号のモノ（合計したもの）と差分（サイド）信号を作り出すために、ＭＳマトリクスを元のステレオ信号に適用することができる。モノの和（ｍｏｎｏ ｓｕｍ）は、左右の信号を単純に足し合わせることで作ることができる。差分信号は、左信号から右信号を減算することによって作られる。減算は、右信号の位相を反転させて負の右信号を作り、それを左信号に加算することで行うことが好ましい。その結果、左右の信号が同一ではない信号を含む差分信号が得られる。これらの信号は通常、ステレオトラックの「空間」情報を含む。リバーブ情報または極端なパノラマサウンドなどのサウンドは、この差分信号に含まれる。

【0037】

サウンドデザインでは、音楽トラックの最も重要な特徴はステレオイメージのセンターに配置される。このセンターは、ステレオフィードがＭＳマトリクスで処理される場合、「ｍｏｎｏ」と呼ばれる。差分は、ステレオセンター以外のすべての情報を含む。したがって、ステレオを使用してハイトレイヤを作成すると、リードボーカルなどの重要なサウンドが２Ｄだけでなく３Ｄに分割されることになる。この時、ユーザは楽曲における重要な特徴から大きすぎる広がりを体験することになる。そうなると、特定のサウンドにフォーカスすることが難しくなる。

【0038】

本発明では、センターチャネルの２Ｄ分割とモノフィードとの組み合わせは、３Ｄアップミックスされた信号の低域レイヤにおいて邪魔にならない。ハイトスピーカに差分信号を使うことで、重要なサウンドをさらに劣化させることがない。

【0039】

加えて、音楽制作において、楽曲が大きく聴こえるように作成される場合、差分信号には多くの情報が存在する。楽曲が小さく聴こえるように作成される場合、差分信号にはほんの少しの詳細しかない。その結果、ハイトレイヤは、楽曲ごとにデザインされた作成プロセスの延長になる。大きく壮大な曲は、まさにこの曲に意図された聴こえ方で、小さくこぢんまりとした曲よりも高さの感じを持つことになる。

【0040】

差分（サイド）信号は、ハイトレイヤを生成するために使用される信号である。左からＬｅｆｔ ＡとＬｅｆｔ Ｂへの処理と、Ｈｅｉｇｈｔ ＡおよびＨｅｉｇｈｔ Ｂを生成するために用いられる処理とでは、好ましくは１つの大きな違いがある。Ｈｅｉｇｈｔ ＡおよびＨｅｉｇｈｔ Ｂを生成するために用いられる処理では、好ましくは、処理範囲を超える領域（例えば９ｋＨｚ以上）に対してのみ補償フィルタが使用される。処理範囲より下の領域は、好ましくは、処理範囲の下側境界周波数でハイパスフィルタを導入することにより、ハイトスピーカから除去される。ほとんどの空間サウンドは低域周波数を含まないため、ハイトスピーカで低域周波数を発生させる必要はない。

【0041】

ハイトスピーカのレベルは、フロントスピーカとリアスピーカがマッチするように減衰させることが好ましい。レベルが高すぎると、ハイトスピーカへのフォーカスが大きくなりすぎて、結果として邪魔になるであろう。したがって、ハイトスピーカは好ましくは、例えば５ｄＢ減衰される。正確な量は、サラウンドセットアップに使用されるスピーカに応じたものであってよい。

【0042】

フロントスピーカとフロントハイトスピーカとの間で相互作用が大きくなりすぎることを回避するために、ハイトＢ信号はフロントハイトスピーカにルーティングされるのが好ましく、このフロントハイトスピーカはフロントスピーカによって生成されるＬｅｆｔ ＡおよびＲｉｇｈｔ Ａ信号と完璧に組み合わせることができる。

【0043】

差分信号は元のステレオ信号にも存在する信号であるため、ハイトスピーカとフロントスピーカとの間に望ましくない相互作用が現れる可能性がある。これを回避するために、ハイトスピーカにはＢ処理を、フロントスピーカにはＡ処理を適用することが好ましい。リアスピーカとリアハイトスピーカにも同様の処理が適用される。リアスピーカだけがＬｅｆｔ ＢおよびＲｉｇｈｔ Ｂの信号を有しているため、Ｈｅｉｇｈｔ Ａの信号はハイトリアチャネルに導入される。

【0044】

このような状況では、リアハイトスピーカは、フロントスピーカに向かって斜めに部分的に同一の信号を生成する。通常、これらのスピーカは互いに向かい合っているため、セットアップのセンターではスピーカ間の不快な相互作用が生じる可能性がある。この問題を解決するには、ハイトスピーカにルーティングされるすべての信号を極性反転させることが好ましい。これらの信号がフロントスピーカ信号と組み合わされると、減算される代わりに加算される。低域レイヤフロントスピーカと高域レイヤリアスピーカは（少量の）同一の信号を発生させるため、またこれらのスピーカは互いに向かい合っているため、ハイトチャネルに対して極性反転を行うことが特に好ましい。その結果、音質の劣化が生じない。

【0045】

したがって、いくつかの実施形態では、ハイトレイヤで使用される信号は、低域レイヤに向かって極性反転される。３Ｄアップミックスでは、低域レベルの正面スピーカで使用される処理フィルタは、ハイトリアスピーカで使用される処理フィルタと同一であることが好ましい。ＭＳマトリックスの差分チャネルから来る信号には、ステレオ信号がほんの少し含まれる。そのため、リアハイトスピーカとフロント低域レイヤスピーカは、互いに同一の信号を生成する。これらのスピーカは互いに向かい合っているため、サラウンドセットアップのセンターでは信号が減算され得る。ユーザは、座って聴くか、立って聴くかに応じて、サウンドおよび音質に大きな違いが出ることに気付くだろう。

【0046】

しかしながら、ハイトレイヤを極性反転させることによって、サラウンドのセンターで出会う信号が加算され、ユーザはＺ軸に沿ってより安定したサウンドエクスペリエンスを体験する。

【0047】

本発明では、ＬＡ、ＬＢ、ＲＡ、およびＲＢを作成するために設計されたのと同じ一連のフィルタを、ハイトスピーカに対して使用することが好ましいが、ハイトチャネルでは低周波数の必要性がないため、ハイトチャネルではローシェルフフィルタ（例えば５０２Ｈｚで開始）を（例えば５０２Ｈｚで）ハイパスフィルタに変更することが好ましいという違いがある。ハイトチャネル（ＡまたはＢ処理のいずれか）で使用される一連のフィルタは、低域レイヤで使用されるシリーズとは反対であることが好ましい。例えば、ハイトフロント左右チャネルは、Ｂシリーズのフィルタで処理されたサイド情報を生成する。したがって、低域レイヤと高域レイヤとは完璧に協力し合うことになる。このことはハイトリア左右チャネルにも当てはまり、これらのチャネルはＡシリーズのフィルタによって処理されたサイド情報を生成する。

【0048】

３Ｄアップミックスにおけるハイトレイヤは、２Ｄアップミックスよりも音楽に入り込んだ感覚と確実にステレオミックスを作り出す低域レイヤへの付加的なものである。しかしながら、ハイトレイヤは付加的なままであり、主要な音源にならないことが好ましい。したがって、ハイトレイヤに向かう信号は好ましくは減衰される。信号を減衰させない場合、ユーザは、通常の音楽制作におけるすべての主要な音を含む低域レイヤの信号が乱れを経験することがある。これは不快に聴こえ、期待に応えるものではない。しかしながら、好ましい実施形態に従ってハイトレイヤを減衰させると（例えば－３ｄＢ～－１２ｄＢの範囲で）、主要な音源は低域レイヤでフォーカスされたままとなり、ハイトレイヤはエクスペリエンスに対するより自然な付加のように感じられるようになる。

【0049】

いくつかの実施形態では、フィルタリングバンク（ＰＦ）は、周波数ドメインにおいてリニアフェーズ応答を有するように構成される。リニアフェーズの欠如は、過剰処理されたサウンドおよびサウンドアーチファクトにつながり、最終的なユーザの空間的知覚を劣化させる。本発明で望まれる品質レベルに達するには、リニアフェーズフィルタの使用が必要である。リニアフェーズフィルタの使用は、従来のフィルタで発生する位相シフトを防ぐことができる。信号の位相応答が変化しないため、過剰に処理されて聴こえる代わりに、相互作用が自然なものとなる。

【0050】

本発明の基本原理は、周波数を分割することによって１つの信号を２つの信号に分裂させることからなる。左信号はＬｅｆｔ ＡとＬｅｆｔ Ｂに分割される。左からＬｅｆｔ ＡとＬｅｆｔ Ｂへの分割は、一連の周波数フィルタによって行われ、より具体的には、本発明は、従来のフィルタによって引き起こされるスピーカ間の位相シフトを除去するために、リニアフェーズフィルタを採用する。使用されるフィルタは、振幅、周波数、および幅という、３つの具体的な特性を持つ。これらの特性のそれぞれは、他の特性と関連する。右チャネルは、左信号がＬｅｆｔ ＡとＬｅｆｔ Ｂに分割されるのと同一の方法で、Ｒｉｇｈｔ ＡとＲｉｇｈｔ Ｂに分割される。Ｌｅｆｔ Ａ信号はフロント左スピーカにルーティングされ、Ｒｉｇｈｔ Ａ信号はフロント右スピーカにルーティングされ、Ｌｅｆｔ Ｂ信号は左リアスピーカにルーティングされ、そしてＲｉｇｈｔ Ｂ信号は右リアスピーカにルーティングされる。

【0051】

好ましい例では、大きさ－９ｄｂが使われ、幅１／３オクターブが使われ、以下の例示の周波数が使われる：５０２Ｈｚ、６５２．６Ｈｚ、８４８．８Ｈｚ、１１０２．９Ｈｚ、１４３３．７Ｈｚ、１８６３．８Ｈｚ、２４２３Ｈｚ、３１４９．９Ｈ、４０９４．９Ｈｚ、５３２３．３Ｈｚ、６９２０．３Ｈｚ、８９９９．４Ｈｚ。本明細書で例示するように、周波数の間隔は好ましくは１／３オクターブである。これは使用されるフィルタ幅に直接関係する。フィルタ幅がさらに狭くなる場合、使用されるフィルタ幅に合わせて周波数の間隔を調整する必要がある。ただし、フィルタが小さくなりすぎること、または広くなりすぎたりすることは避けることが好ましい。いくつかの好ましい実施形態によると、フィルタリングバンク（ＰＦ）のそれぞれは、オクターブの１／９～１オクターブの間の幅を有するように構成される。

【0052】

いくつかの実施形態では、フィルタリングバンク（ＰＦ）は、フィルタサブバンド（ＰＳＢ）付近で動作するように構成され、Ｆ_Ｌ～Ｆ_Ｕにわたる動作周波数範囲内で動作するように構成され、Ｆ_Ｌ～Ｆ_Ｕは、好ましくは３５０Ｈｚ～２０ｋＨｚ、好ましくは４００Ｈｚ～１０ｋＨｚ、より好ましくは５００Ｈｚ～９ｋＨｚである。さらに、前記フィルタリングサブバンドは、フィルタリングバンクごとに少なくとも４（ＰＳＢ）サブバンド信号、好ましくは８（ＰＳＢ）サブバンド信号、より好ましくは１６（ＰＳＢ）サブバンド信号を抽出するように構成されてもよい。驚くべきことに、本発明者らは、オーディオフィードの再構成に使用される十分な数のサブバンド信号を抽出することで、ダイナミックレンジが向上し、改善された空間分解能を示す出力フィードが得られることを見出した。

【0053】

平均的な人は、空間中で５００Ｈｚ未満のエリアと９ｋＨｚより高いエリアを場所特定することができない。したがって、Ｌｅｆｔ ＡとＬｅｆｔ Ｂとの間の周波数を分割するために使用される処理は、この領域でのみアクティブであることが好ましい。フィルタリングが９ｋＨｚを上回って高くなると、これらの周波数に関連する開放音がリスニングエリアで不均等に分割され、その結果、「開放音」のカバレッジが満たされなくなる。フィルタリングが５００Ｈｚを下回って下がると、低周波数の総和がほとんどなくなってしまい、その結果、この低周波数総和に起因して柔らかな感じを持つアップミックスされた信号のサウンドが不良となる。

【0054】

いくつかの好ましい実施形態では、振幅補償は、サブバンドフィルタリングの動作帯域外で行われ、このような補償は、好ましくは－９ｄＢ～－３ｄＢ、より好ましくは約－６ｄＢの振幅を有する。いくつかの好ましい実施形態では、補償フィルタはローシェルフフィルタおよびハイシェルフフィルタである。ハイトレイヤの事例では、ローシェルフフィルタがハイパスフィルタになってもよい。

【0055】

フィルタがオーバラップすることもあるため、処理周波数範囲内で全体的な振幅減少がある場合がある。そのため、処理範囲の上下に補償フィルタを導入することが望ましい。これらのフィルタは、好ましくはローシェルフフィルタおよびハイシェルフフィルタであり、また好ましくはリニアフェーズタイプである。１／３幅と１／３間隔で大きさ－９ｄＢを使用する場合は、－６ｄＢの補償フィルタが好ましい。

【0056】

補償フィルタの周波数は、処理範囲の境界周波数である。上の列挙から分かるように、例示的な境界周波数は５０２Ｈｚと８９９９．４Ｈｚである。補償フィルタはこの周波数に設定されているため、その周波数で大きさを３ｄＢだけ低減させることになる。したがって、処理に使用される境界周波数フィルタの大きさは、両者の和の結果が－９ｄＢとなるように－６ｄＢに設定されることが好ましい。

【0057】

いくつかの実施形態では、センターの信号に（わずかな）遅延が導入される。スピーカセットアップがＩＴＵ－Ｒ ＢＳ．７７５規格に従って適切に行われている場合、センターの信号に対し遅延の必要はない。しかしながら、ほとんどの実用的なセットアップでは、フロント左、フロント右、およびセンターのスピーカは同一線上に物理的に配置される。この場合、わずかな遅延（例えば１ｍｓ～５ｍｓの範囲）により、フォーカスがすべてのスピーカに均等にではなく、センターチャネルに向かうことを妨げることができる。

【0058】

いくつかの実施形態では、Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｅｆｆｅｃｔチャネル（ＬＦＥ）もまた、ＭＳマトリックスからｍｏｎｏ ｓｕｍを受け取ることができる。センターチャネルの同じ原理をＬＦＥに適用することができる。レベルおよび遅延に加えて、ローパスフィルタを導入することもできる。これは、ＬＦＥが用途に対して高すぎる周波数を発生させるのを防ぐ。このフィルタの周波数は、例えば５．１．４セットアップで使用されるスピーカの周波数応答に依存する。周波数は６０Ｈｚ～２００Ｈｚで変化することができる。ＬＦＥ信号用のレベル使用は－９ｄＢが好ましいが、これもまたサラウンドセットアップに応じて変わってもよい。

【0059】

いくつかの好ましい実施形態では、本発明はダイナミックＥＱフィルタを使用する。これらのフィルタは、前のセクションで説明した周波数および帯域幅と同様に、固定された周波数と帯域幅を有する。ダイナミックフィルタは、大きさドメインでフィルタにフィードされた信号と相互作用する可能性がある。フィルタは、入力信号が上昇するにつれて大きさを減少させるようにセットアップされることが好ましい。好ましい実施形態では、２レイヤの一連のフィルタが使用される。第１のレイヤは、好ましくは、本明細書に記載された周波数と帯域幅を有する静的フィルタを含み、例えば大きさは－９ｄＢの代わりに－６ｄＢにセットされる。第２のレイヤは、好ましくは、例えば最大の大きさの範囲が－６ｄＢの一連のダイナミックフィルタを含む。

【0060】

この技法の利点は、本方法が楽曲から飛び出してくる特定のサウンドを分離して、空間内に配置できることである。サウンドが消え、レベルがダイナミックフィルタしきい値を下回って下がると、本方法はその静的な位置に戻る。その結果、音楽と相互作用する有機的なアップミックスが得られ、より創造的なアップミックス技術が生まれる。

【0061】

この技法の変形は、マルチバンドコンプレッションを用いて実現することができる。マルチバンドコンプレッサは、ダイナミックアップミックスの第２のレイヤに導入されるべきであり、ダイナミックフィルタを置き換えるべきである。マルチバンドコンプレッサを用いると、特定の周波数領域を圧縮（減衰）または拡大（増大）することができる。ほとんどのマルチバンドコンプレッサは、ダイナミックフィルタよりも動作する周波数領域が広い。本発明のダイナミックなアップミックスは、マルチバンドコンプレッサを使用して、例えば、リアスピーカで周波数領域を減衰させ、フロントスピーカでは同じ領域を増大させることができる。その結果、処理と音楽との間にダイナミックな相互作用が生じる。サウンドは音楽から飛び出すと、正面に投影され、そのサウンドが止まると、アップミックスはその静的な位置に戻る。

【0062】

本方法はライブセッティングでも使用することができる。本方法は、創造的なレベルで貢献するために音楽とライブ相互作用する可能性さえ持っており、それにより基本的な原理（例えば、リニアフェーズ、５００Ｈｚ～９ｋｈｚまでのフィルタリング）は同じままとなる。いくつかの実施形態では、周波数範囲はアルゴリズムから分離され、本方法は、処理を適用することなく分離された範囲のｍｏｎｏ ｓｕｍを含む。その結果、静的なアップミックスから分離されて音場内で移動させることができる、楽曲の特定の周波数範囲（例えば８００Ｈｚ～３ｋＨｚ）が得られ、これは以降では「オブジェクト」として説明され得る。この移動は、Ｖｅｃｔｏｒ／Ｉｎｔｅｎｓｉｔｙ／Ｌａｙｅｒ Ｂａｓｅｄ Ａｍｐｌｉｔｕｄｅ Ｐａｎｎｉｎｇタイプによって実施することができる。しかしながら、パン遅延ベースのシステムは、オブジェクトとアップミックスとの間に時間差を生じるため、使用しないことが好ましい。本方法は、オブジェクトの作成を有効または無効にすることができる。本方法は、オブジェクトの周波数範囲の幅を調整することができる。本方法は、音場を通じてオブジェクトを移動させることができる。本方法の使用は、これまでの既知のステレオエクスペリエンスをしのぎ、アップミックスアルゴリズムに別の創造的レイヤを加えるものである。

【0063】

いくつかの実施形態では、本方法は、デジタルサウンドプロセッサユニット（ＤＳＰ：ｄｉｇｉｔａｌ ｓｏｕｎｄ ｐｒｏｃｅｓｓｏｒ ｕｎｉｔ）上で、または代替的にフィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）上で使用される。

【0064】

いくつかの実施形態では、本方法は、Ｍｉｄ／Ｓｉｄｅエンコーディングの対象とならないオーディオチャネルに対し、遅延補償を使用する。本発明では、Ｎｏｎ Ｍｉｄ－Ｓｉｄｅエンコードのオーディオチャネルは、信号経路を処理／調整した結果として発生する遅延をもたらす調整信号経路の対象となる。本方法は、非Ｍｉｄ／Ｓｉｄｅエンコードの信号経路に対して遅延補償を導入し、Ｍｉｄ／Ｓｉｄｅエンコードの信号経路との時間同期を確立する。補償遅延は０．１ｍｓ～２．０ｍｓの範囲内で選択される。
［実施例］
現在の方法とその実施形態では、２Ｄサラウンドフォーマットからハイトレイヤを作成することも可能である。例えば、５．１ミックスから５．１．４ミックスを作ることが可能である。

【0065】

ハイトレイヤは、ＭＳマトリックスを使用することで実現する。例えば、フロントハイトスピーカは、５．１ミックスのフロント左とフロント右の信号に配置されたＭＳマトリックスによって生成された信号を受け取る。差分信号はハイトに使用される。Ｆｒｏｎｔ Ｈｅｉｇｈｔ ＡとＦｒｏｎｔ Ｈｅｉｇｈｔ Ｂを作り出すために、差分信号に対してＡおよびＢのフィルタ処理が適用される。Ｆｒｏｎｔ Ｈｅｉｇｈｔ Ａ信号はフロントハイト左スピーカにフィードされ、Ｆｒｏｎｔ Ｈｅｉｇｈｔ Ｂ信号はフロントハイト右スピーカにフィードされる。

【0066】

センターチャネルでは、５．１．４のセットアップで存在感が出過ぎないように、しかしフロント左右のスピーカ同士のギャップを縮めるのに十分な程度で、レベルを減衰させることが好ましい。例示したセットアップでは、信号は１０ｄＢだけ減衰される。このレベルは、使用される音楽／コンテンツに応じて異なっていてもよい。

【0067】

２Ｄサラウンドフォーマットを３Ｄにアップミキシングする場合、位相反転の問題は必ずしも生じない。ハイトリアは、低レベルのフロントスピーカと同一の情報を少量生成するわけではないため、ハイトレイヤを位相反転させる必要がない場合がある。しかしながら、フロントハイト左とフロントハイト右はまさに同一の信号を生成するため、前述の処理をフロントハイト信号に適用することが好ましい。この結果、フロントハイトスピーカ用に２つの別個のチャネルが得られる。

【0068】

映画のサウンドデザインでは、デザイナは、例えば声または重要なサウンドの幅を広げるために、フロント左右のスピーカを使うことが多い。そうすると、そのサウンドはフロント左右の両方の信号に等しく存在することになる。本方法ではハイトレイヤにＭＳ技術を使用しているため、この重要なサウンドは手付かずのまま残り、３Ｄにはアップミックスされない。一方、映画のサウンドデザイナが空間の感じを作り出したい場合は、人工的なリバーブを使って空間の感じを作り出す。リバーブは主に、差分信号がＭＳマトリックスで処理されるとき差分信号内に存在する。そのため、リバーブは３Ｄにアップミックスされ、それにより意図された空間の感じがさらに良くなる。これらの基本原則を念頭に置けば、多様な２Ｄから３Ｄへのアップミックスが可能である。例えば、フロント左／右のスピーカをアップミキシングすることで、７．１から７．１．２を作ることができる。

【図1】

【図2】

【国際調査報告】