(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-04
(45)【発行日】2024-01-15
(54)【発明の名称】低音マネジメントのための方法及び装置
(51)【国際特許分類】
H04S 3/00 20060101AFI20240105BHJP
H04R 3/14 20060101ALI20240105BHJP
H04S 7/00 20060101ALI20240105BHJP
【FI】
H04S3/00 200
H04R3/14
H04S7/00 310
(21)【出願番号】P 2020546495
(86)(22)【出願日】2019-10-16
(86)【国際出願番号】 US2019056523
(87)【国際公開番号】W WO2020081674
(87)【国際公開日】2020-04-23
【審査請求日】2022-10-13
(32)【優先日】2018-10-16
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ロビンソン,チャールズ キュー.
(72)【発明者】
【氏名】トーマス,マーク アール. ピー.
(72)【発明者】
【氏名】スミザーズ,マイケル ジェイ.
【審査官】中嶋 樹理
(56)【参考文献】
【文献】特表2016-524883(JP,A)
【文献】特開平10-042400(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04S 3/00
H04R 3/14
H04S 7/00
(57)【特許請求の範囲】
【請求項1】
オーディオ処理方法であって、当該方法は、
複数のオーディオオブジェクトを有するオーディオデータを受信し、前記オーディオオブジェクトは、オーディオデータ及び関連付けられたメタデータを含み、前記メタデータはオーディオオブジェクト位置データを含み、
再生環境内の1つ以上の再生スピーカを指し示すインジケーションと、前記再生環境内の前記1つ以上の再生スピーカの位置を指し示すインジケーションと、を有する再生スピーカレイアウトデータを受信し、前記再生スピーカレイアウトデータは、前記再生環境の
2つ以上の低周波対応(LFC)再生スピーカに対応するLFCスピーカ位置データと、前記再生環境の1つ以上のメイン再生スピーカに対応するメインスピーカ位置データとを含み、
前記関連付けられたメタデータ及び前記再生スピーカレイアウトデータに少なくとも部分的に基づいて、前記複数のオーディオオブジェクトを複数のスピーカフィード信号へとレンダリングし、各スピーカフィード信号が、再生環境内の1つ以上の再生スピーカに対応し、
前記複数のスピーカフィード信号のうちの少なくとも一部にハイパスフィルタを適用して、ハイパスフィルタリングされたスピーカフィード信号を生成し、
複数のオーディオオブジェクトの各々の前記オーディオデータにローパスフィルタを適用して、低周波(LF)オーディオオブジェクトを生成し、
前記LFCスピーカ位置データに少なくとも部分的に基づいて前記LFオーディオオブジェクトをパニングして、LFCスピーカフィード信号を生成し、
前記LFCスピーカフィード信号を前記再生環境の
前記2つ以上のLFCスピーカに出力し、且つ
前記ハイパスフィルタリングされたスピーカフィード信号を前記再生環境の1つ以上のメイン再生スピーカに提供する、
ことを有
し、
当該方法は更に、
前記複数のオーディオオブジェクトの各々の前記オーディオデータへの前記ローパスフィルタの適用の前に又は該適用の一部として、前記複数のオーディオオブジェクトのうちの1つ以上の前記オーディオデータを間引く、
ことを有する、
方法。
【請求項2】
前記オーディオオブジェクトの前記オーディオデータの信号レベルを決定し、該信号レベルを閾信号レベルと比較し、そして、前記オーディオデータの前記信号レベルが前記閾信号レベル以上であるオーディオオブジェクトのみに1つ以上の前記ローパスフィルタを適用する、ことを更に有する請求項
1に記載の方法。
【請求項3】
利得及びハイパスフィルタ特性に少なくとも部分的に基づいてパワー不足分を計算し、
前記パワー不足分に少なくとも部分的に基づいて前記ローパスフィルタを決定する、
ことを更に有する請求項1乃至
2のいずれか一項に記載の方法。
【請求項4】
前記複数のスピーカフィード信号のうちの少なくとも一部にハイパスフィルタを適用することは、2つ以上の異なるハイパスフィルタを適用することを有する、請求項1乃至
3のいずれか一項に記載の方法。
【請求項5】
前記複数のスピーカフィード信号のうちの少なくとも一部にハイパスフィルタを適用することは、第1の複数の前記スピーカフィード信号に第1のハイパスフィルタを適用して、第1のハイパスフィルタリングされたスピーカフィード信号を生成することと、第2の複数の前記スピーカフィード信号に第2のハイパスフィルタを適用して、第2のハイパスフィルタリングされたスピーカフィード信号を生成することとを含み、前記第1のハイパスフィルタは、前記第2のハイパスフィルタよりも低い周波数レンジを通過させるように構成される、請求項1乃至
4のいずれか一項に記載の方法。
【請求項6】
当該方法は更に、第1組のメイン再生スピーカに関する第1の再生スピーカ性能情報を受信し、且つ第2組のメイン再生スピーカに関する第2の再生スピーカ性能情報を受信する、ことを有し、
前記第1のハイパスフィルタは、前記第1の再生スピーカ性能情報に対応し、
前記第2のハイパスフィルタは、前記第2の再生スピーカ性能情報に対応し、
前記ハイパスフィルタリングされたスピーカフィード信号を前記1つ以上のメイン再生スピーカに提供することは、前記第1のハイパスフィルタリングされたスピーカフィード信号を前記第1組のメイン再生スピーカに提供し、且つ前記第2のハイパスフィルタリングされたスピーカフィード信号を前記第2組のメイン再生スピーカに提供することを有する、
請求項
5に記載の方法。
【請求項7】
前記メタデータは、前記複数のオーディオオブジェクトのうちの特定のオーディオオブジェクトに対応するスピーカフィード信号にハイパスフィルタを適用すべきかを指し示すインジケーションを含む、請求項1乃至
6のいずれか一項に記載の方法。
【請求項8】
前記LFオーディオオブジェクトを生成することは、2つ以上の異なるフィルタを適用することを有する、請求項1乃至
7のいずれか一項に記載の方法。
【請求項9】
前記LFオーディオオブジェクトを生成することは、
前記複数のオーディオオブジェクトのうちの少なくとも一部に、第1の周波数レンジを通過させるように構成されたローパスフィルタを適用して、第1のLFオーディオオブジェクトを生成し、且つ
前記第1のLFオーディオオブジェクトに、ミッドLF周波数レンジである第2の周波数レンジを通過させるように構成されたハイパスフィルタを適用して、第2のLFオーディオオブジェクトを生成する、
ことを有し、
前記LFCスピーカ位置データに少なくとも部分的に基づいて前記LFオーディオオブジェクトをパニングしてLFCスピーカフィード信号を生成することは、
前記第1のLFオーディオオブジェクトをパニングすることによって、第1のLFCスピーカフィード信号を生成し、且つ
前記第2のLFオーディオオブジェクトをパニングすることによって、第2のLFCスピーカフィード信号を生成する、
ことを有する、
請求項1乃至
8のいずれか一項に記載の方法。
【請求項10】
前記LFオーディオオブジェクトを生成することは、
第1の複数の前記オーディオオブジェクトに、第1の周波数レンジを通過させるように構成されたローパスフィルタを適用して、第1のLFオーディオオブジェクトを生成し、且つ
第2の複数の前記オーディオオブジェクトに、ミッドLF周波数レンジである第2の周波数レンジを通過させるように構成されたバンドパスフィルタを適用して、第2のLFオーディオオブジェクトを生成する、
ことを有し、
前記LFCスピーカ位置データに少なくとも部分的に基づいて前記LFオーディオオブジェクトをパニングしてLFCスピーカフィード信号を生成することは、
前記第1のLFオーディオオブジェクトをパニングすることによって、第1のLFCスピーカフィード信号を生成し、且つ
前記第2のLFオーディオオブジェクトをパニングすることによって、第2のLFCスピーカフィード信号を生成する、
ことを有する、
請求項1乃至
8のいずれか一項に記載の方法。
【請求項11】
前記LFCスピーカ位置データを受信することは、前記第2の周波数レンジ内のオーディオデータを再生することができる複数の非サブウーファー再生スピーカの各々の位置を指し示す非サブウーファー位置データを受信することを有し、前記第2のLFCスピーカフィード信号を生成することは、前記非サブウーファー位置データに少なくとも部分的に基づいて、前記第2のLFオーディオオブジェクトのうちの少なくとも一部をパニングして、非サブウーファースピーカフィード信号を生成することを有し、当該方法は更に、前記非サブウーファースピーカフィード信号を、前記再生環境の前記複数の非サブウーファー再生スピーカのうちの1つ以上に提供することを有する、請求項
9又は
10に記載の方法。
【請求項12】
前記LFCスピーカ位置データを受信することは、前記第2の周波数レンジ内のオーディオデータを再生することができる複数のミッドサブウーファー再生スピーカの各々の位置を指し示すミッドサブウーファー位置データを受信することを有し、前記第2のLFCスピーカフィード信号を生成することは、前記ミッドサブウーファー位置データに少なくとも部分的に基づいて、前記第2のLFオーディオオブジェクトのうちの少なくとも一部をパニングして、ミッドサブウーファースピーカフィード信号を生成することを有し、当該方法は更に、前記ミッドサブウーファースピーカフィード信号を、前記再生環境の前記複数のミッドサブウーファー再生スピーカのうちの1つ以上に提供することを有する、請求項
9又は
10に記載の方法。
【請求項13】
前記再生スピーカレイアウトデータは、前記再生環境内の再生スピーカの1つ以上のグループの位置のインジケーションを含む、請求項1乃至
12のいずれか一項に記載の方法。
【請求項14】
請求項1乃至
13のいずれか一項に記載の方法を実行するように構成された制御システム及びインタフェースシステムを有する装置。
【請求項15】
ソフトウェアを格納した1つ以上の非一時的な媒体であって、前記ソフトウェアは、請求項1乃至
13のいずれか一項に記載の方法を実行するように1つ以上のデバイスを制御するための命令を含む、非一時的な媒体。
【発明の詳細な説明】
【技術分野】
【0001】
この出願は、2018年10月16日に出願された米国仮特許出願第62/746,468号に対する優先権の利益を主張するものであり、その全体をここに援用する。
【0002】
この開示は、オーディオデータの処理及び再生に関する。特に、この開示は、オーディオデータの低音(bass)マネジメントに関する。
【背景技術】
【0003】
低音マネジメントは、オーディオプログラムの最低周波数部を効率的に再生するためにオーディオシステムにおいて使用されている方法である。メインスピーカの設計又は位置では、十分な、効率的な、又は均一な低周波音再生をサポートできないことがある。そのような場合、広帯域信号が2つ以上の周波数帯域に分割され、低周波数が、過度の歪みなしに低周波オーディオを再生することができるスピーカに向けられ得る。
【発明の概要】
【0004】
以下に限られないが低音マネジメント方法を含む様々なオーディオ処理方法がここに開示される。一部のそのような方法は、複数のオーディオオブジェクトを含み得るものであるオーディオデータを受信することを含み得る。オーディオオブジェクトは、オーディオデータ及び関連付けられたメタデータを含み得る。メタデータはオーディオオブジェクト位置データを含み得る。一部の方法は、再生環境内の1つ以上の再生スピーカを指し示すインジケーションと、再生環境内の1つ以上の再生スピーカの位置を指し示すインジケーションと、を含み得る再生スピーカレイアウトデータを受信することを含み得る。再生スピーカレイアウトデータは、一部の例において、再生環境の1つ以上の低周波対応(LFC)再生スピーカに対応するLFCスピーカ位置データと、再生環境の1つ以上のメイン再生スピーカに対応するメインスピーカ位置データとを含み得る。一部の例において、再生スピーカレイアウトデータは、再生環境内の再生スピーカの1つ以上のグループの位置のインジケーションを含んでもよい。
【0005】
一部のこのような方法は、関連付けられたメタデータ及び再生スピーカレイアウトデータに少なくとも部分的に基づいて、複数のオーディオオブジェクトを複数のスピーカフィード信号へとレンダリングすることを含み得る。各スピーカフィード信号が、再生環境内の1つ以上の再生スピーカに対応し得る。一部のこのような方法は、複数のスピーカフィード信号のうちの少なくとも一部にハイパスフィルタを適用して、ハイパスフィルタリングされたスピーカフィード信号を生成し、且つ複数のオーディオオブジェクトの各々のオーディオデータにローパスフィルタを適用して、低周波(LF)オーディオオブジェクトを生成することを含み得る。一部の方法は、LFCスピーカ位置データに少なくとも部分的に基づいてLFオーディオオブジェクトをパニングして、LFCスピーカフィード信号を生成することを含み得る。一部のこのような方法は、LFCスピーカフィード信号を再生環境の1つ以上のLFCスピーカに出力し、且つハイパスフィルタリングされたスピーカフィード信号を再生環境の1つ以上のメイン再生スピーカに提供することを含み得る。
【0006】
一部の実装によれば、方法は、複数のオーディオオブジェクトの各々のオーディオデータへのローパスフィルタの適用の前に又は該適用の一部として、複数のオーディオオブジェクトのうちの1つ以上のオーディオデータを間引くことを含み得る。一部の方法は、オーディオオブジェクトのオーディオデータの信号レベルを決定し、該信号レベルを閾信号レベルと比較し、そして、オーディオデータの信号レベルが閾信号レベル以上であるオーディオオブジェクトのみに1つ以上のローパスフィルタを適用することを含み得る。一部の方法は、利得及びハイパスフィルタ特性に少なくとも部分的に基づいてパワー不足分を計算し、且つパワー不足分に少なくとも部分的に基づいてローパスフィルタを決定することを含み得る。
【0007】
一部の例において、複数のスピーカフィード信号のうちの少なくとも一部にハイパスフィルタを適用することは、2つ以上の異なるハイパスフィルタを適用することを含み得る。一部の実装によれば、複数のスピーカフィード信号のうちの少なくとも一部にハイパスフィルタを適用することは、第1の複数のスピーカフィード信号に第1のハイパスフィルタを適用して、第1のハイパスフィルタリングされたスピーカフィード信号を生成することと、第2の複数のスピーカフィード信号に第2のハイパスフィルタを適用して、第2のハイパスフィルタリングされたスピーカフィード信号を生成することとを含み得る。第1のハイパスフィルタは、一部の例において、第2のハイパスフィルタよりも低い周波数レンジを通過させるように構成され得る。
【0008】
一部の方法は、第1組のメイン再生スピーカに関する第1の再生スピーカ性能情報を受信し、且つ第2組のメイン再生スピーカに関する第2の再生スピーカ性能情報を受信することを含み得る。一部のそのような例において、第1のハイパスフィルタは、第1の再生スピーカ性能情報に対応することができ、第2のハイパスフィルタは、第2の再生スピーカ性能情報に対応することができる。ハイパスフィルタリングされたスピーカフィード信号を1つ以上のメイン再生スピーカに提供することは、第1のハイパスフィルタリングされたスピーカフィード信号を第1組のメイン再生スピーカに提供し、且つ第2のハイパスフィルタリングされたスピーカフィード信号を第2組のメイン再生スピーカに提供することを含み得る。
【0009】
一部の実装において、メタデータは、複数のオーディオオブジェクトのうちの特定のオーディオオブジェクトに対応するスピーカフィード信号にハイパスフィルタを適用すべきかを指し示すインジケーションを含み得る。一部の例によれば、LFオーディオオブジェクトを生成することは、2つ以上の異なるフィルタを適用することを含み得る。
【0010】
一部の例において、LFオーディオオブジェクトを生成することは、複数のオーディオオブジェクトのうちの少なくとも一部にローパスフィルタを適用して第1のLFオーディオオブジェクトを生成することを含み得る。このローパスフィルタは、第1の周波数レンジを通過させるように構成され得る。一部のこのような方法は、第1のLFオーディオオブジェクトにハイパスフィルタを適用して第2のLFオーディオオブジェクトを生成することを含み得る。このハイパスフィルタは、ミッドLF周波数レンジである第2の周波数レンジを通過させるように構成され得る。LFCスピーカ位置データに少なくとも部分的に基づいてLFオーディオオブジェクトをパニングしてLFCスピーカフィード信号を生成することは、第1のLFオーディオオブジェクトをパニングすることによって、第1のLFCスピーカフィード信号を生成し、且つ第2のLFオーディオオブジェクトをパニングすることによって、第2のLFCスピーカフィード信号を生成することを含み得る。
【0011】
一部の例によれば、LFオーディオオブジェクトを生成することは、第1の複数のオーディオオブジェクトにローパスフィルタを適用して第1のLFオーディオオブジェクトを生成することを含み得る。このローパスフィルタは、第1の周波数レンジを通過させるように構成され得る。一部のこのような方法は、第2の複数のオーディオオブジェクトにバンドパスフィルタを適用して第2のLFオーディオオブジェクトを生成することを含み得る。このバンドパスフィルタは、ミッドLF周波数レンジである第2の周波数レンジを通過させるように構成され得る。LFCスピーカ位置データに少なくとも部分的に基づいてLFオーディオオブジェクトをパニングしてLFCスピーカフィード信号を生成することは、第1のLFオーディオオブジェクトをパニングすることによって、第1のLFCスピーカフィード信号を生成し、且つ第2のLFオーディオオブジェクトをパニングすることによって、第2のLFCスピーカフィード信号を生成することを含み得る。
【0012】
一部の例において、LFCスピーカ位置データを受信することは、第2の周波数レンジ内のオーディオデータを再生することができる複数の非サブウーファー再生スピーカの各々の位置を指し示す非サブウーファー位置データを受信することを含み得る。第2のLFCスピーカフィード信号を生成することは、非サブウーファー位置データに少なくとも部分的に基づいて、第2のLFオーディオオブジェクトのうちの少なくとも一部をパニングして、非サブウーファースピーカフィード信号を生成することを含み得る。一部のこのような方法はまた、非サブウーファースピーカフィード信号を、再生環境の複数の非サブウーファー再生スピーカのうちの1つ以上に提供することを含み得る。
【0013】
一部の実装によれば、LFCスピーカ位置データを受信することは、第2の周波数レンジ内のオーディオデータを再生することができる複数のミッドサブウーファー再生スピーカの各々の位置を指し示すミッドサブウーファー位置データを受信することを含み得る。一部のこのような実装において、第2のLFCスピーカフィード信号を生成することは、ミッドサブウーファー位置データに少なくとも部分的に基づいて、第2のLFオーディオオブジェクトのうちの少なくとも一部をパニングして、ミッドサブウーファースピーカフィード信号を生成することを含み得る。一部のこのような方法はまた、ミッドサブウーファースピーカフィード信号を、再生環境の複数のミッドサブウーファー再生スピーカのうちの1つ以上に提供することを含み得る。
【0014】
ここに記載される方法の一部又は全ては、1つ以上の非一時的な媒体に格納された命令(例えば、ソフトウェア)に従って、1つ以上のデバイスによって実行され得る。そのような非一時的な媒体は、例えばここに記載されるものなどのメモリデバイスを含むことができ、以下に限られないが、ランダムアクセスメモリ(RAM)デバイス、読み出し専用メモリ(ROM)デバイスなどを含む。従って、この開示にて説明される事項の様々な発明態様は、ソフトウェアを格納した非一時的な媒体にて実装されることができる。ソフトウェアは、例えば、オーディオデータを処理するように少なくとも1つのデバイスを制御するための命令を含み得る。ソフトウェアは例えば、ここに開示されるものなどの制御システムの1つ以上のコンポーネントによって実行可能であるとし得る。ソフトウェアは、例えば、ここに開示される方法のうちの1つ以上を実行するための命令を含み得る。
【0015】
本開示の少なくとも一部の態様は、装置によって実装され得る。例えば、1つ以上のデバイスが、少なくとも部分的に、ここに開示される方法を実行するように構成され得る。一部の実装において、装置は、インタフェースシステム及び制御システムを含み得る。インタフェースシステムは、1つ以上のネットワークインタフェース、制御システムとメモリシステムとの間の1つ以上のインタフェース、制御システムと別のデバイスとの間の1つ以上のインタフェース、及び/又は1つ以上の外部デバイスインタフェースを含み得る。制御システムは、汎用のシングルチップ若しくはマルチチッププロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、又は他のプログラマブルロジックデバイス、ディスクリートのゲート若しくはトランジスタロジック、又はディスクリートのハードウェアコンポーネント、のうちの少なくとも1つを含み得る。従って、一部の実装において、制御システムは、1つ以上のプロセッサと、該1つ以上のプロセッサに動作可能に結合された1つ以上の非一時な記憶媒体とを含み得る。制御システムは、ここに開示される方法の一部又は全てを実行するように構成され得る。
【0016】
この明細書に記載される事項の1つ以上の実装の詳細が、添付の図面及び以下の説明にて記述される。他の特徴、態様、及び利点が、明細書、図面、及び特許請求の範囲から明らかになる。なお、以下の図の相対的な寸法は、縮尺通りに描かれていないことがある。様々な図における似通った参照番号及び名称は、概して、同様の要素を指し示す。
【図面の簡単な説明】
【0017】
【
図1】ドルビーサラウンド5.1構成を持つ再生環境の一例を示している。
【
図2】ドルビーサラウンド7.1構成を持つ再生環境の一例を示している。
【
図3】ハマサキ22.2サラウンドサウンド構成を持つ再生環境の一例を示している。
【
図4A】仮想再生環境における様々な高さにあるスピーカゾーンを描写するグラフィカルユーザインタフェース(GUI)の一例を示している。
【
図5A】ここに開示される方法の少なくとも一部を実行するように構成され得る装置のコンポーネントの例を示すブロック図である。
【
図5B】スピーカ周波数レンジの幾つかの例を示している。
【
図6】一例に従った低音マネジメント方法のブロックを示すフロー図である。
【
図7】開示される一例に従った低音マネジメント方法のブロックを示している。
【
図8】開示される一例に従った代わりの低音マネジメント方法のブロックを示している。
【
図9】開示される一例に従った他の低音マネジメント方法のブロックを示している。
【
図10】開示される他の低音マネジメント方法を例示する機能ブロック図である。
【
図11】均一低音実装の一例を示す機能ブロック図である。
【
図12】開示される1つの低音マネジメント方法に従った間引きの一例を提供する機能ブロック図である。
【0018】
様々な図における似通った参照番号及び名称は同様の要素を指し示す。
【発明を実施するための形態】
【0019】
以下の記載は、この開示の一部の発明態様を説明する目的のための特定の実装、及びそれら発明態様が実装され得る状況の例に向けられる。しかしながら、ここでの教示は、様々な異なるやり方で適用されることができる。また、記載される実施形態は、多様なハードウェア、ソフトウェア、ファームウェアなどで実装され得る。例えば、本出願の態様は、少なくとも部分的に、装置、2つ以上のデバイスを含むシステム、方法、コンピュータプログラムプロダクトなどにて具現化され得る。従って、本出願の態様は、ハードウェア実施形態、ソフトウェア実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、及び/又はソフトウェア態様とハードウェア態様との双方を組み合わせた実施形態の形態をとり得る。そのような実施形態は、ここでは、“回路”、“モジュール”又は“エンジン”として参照されることもある。本出願の一部の態様は、コンピュータ読み取り可能プログラムコードを具現化した1つ以上の非一時的な媒体に具体化されたコンピュータプログラムプロダクトの形態をとり得る。そのような非一時的な媒体は、例えば、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能プログラム可能読み出し専用メモリ(EPROM又はフラッシュメモリ)、ポータブルなコンパクトディスク読み出し専用メモリ(CD-ROM)、光ストレージ装置、磁気ストレージ装置、又は以上の好適な組み合わせを含み得る。従って、この開示の教示は、図示され及び/又はここに記載される実装に限定されることは意図されず、代わりに、広範な適用可能性を有する。
【0020】
図1は、ドルビーサラウンド5.1構成を持つ再生環境の一例を示している。ドルビーサラウンド5.1は、1990年代に開発されたが、この構成は、シネマサウンドシステム環境において依然として広く展開されている。プロジェクタ105が、例えばシネマ用のビデオ映像をスクリーン150上に投影するように構成され得る。オーディオ再生データが、ビデオ映像と同期されて、サウンドプロセッサ110によって処理され得る。出力増幅器(パワーアンプ)115が、再生環境100のスピーカにスピーカフィード信号を提供し得る。
【0021】
ドルビーサラウンド5.1構成は、左サラウンドアレイ120、右サラウンドアレイ125を含み、これらの各々が、単一のチャンネルによって集団駆動される。ドルビーサラウンド5.1構成はまた、左スクリーンチャンネル130、中央スクリーンチャンネル135及び右スクリーンチャンネル140用の別々のチャンネルを含む。低周波エフェクト(low-frequency effects;LFE)のために、サブウーファー145用の別個のチャンネルが設けられる。
【0022】
2010年に、ドルビーは、ドルビーサラウンド7.1を発表することによってデジタルシネマサウンドに対するエンハンスメントをもたらした。
図2は、ドルビーサラウンド7.1構成を持つ再生環境の一例を示している。デジタルプロジェクタ205が、デジタルビデオデータを受信し、ビデオ映像をスクリーン150上に投影するように構成され得る。オーディオ再生データが、サウンドプロセッサ210によって処理され得る。パワーアンプ215が、再生環境200のスピーカにスピーカフィード信号を提供し得る。
【0023】
ドルビーサラウンド7.1構成は、左側方サラウンドアレイ220及び右側方サラウンドアレイ225を含み、これらの各々が、単一のチャンネルによって駆動され得る。ドルビーサラウンド5.1のように、ドルビーサラウンド7.1構成は、左スクリーンチャンネル230、中央スクリーンチャンネル235、右スクリーンチャンネル240、及びサブウーファー245用の別々のチャンネルを含む。しかしながら、ドルビーサラウンド7.1は、ドルビーサラウンド5.1の左右のサラウンドチャンネルを4つのゾーンに分割することによって、サラウンドチャンネルの数を増加させており、すなわち、左側方サラウンドアレイ220及び右側方サラウンドアレイ225に加えて、左後方サラウンドスピーカ224及び右後方サラウンドスピーカ226用の別個のチャンネルが含められている。再生環境200内のサラウンドゾーンの数を増加させることは、音の局在化を大幅に向上させることができる。
【0024】
よりいっそう没入できる環境を作り出そうと、一部の再生環境は、増加した数のチャンネルによって駆動される増加した数のスピーカで構成されることがある。また、一部の再生環境は、様々な高さに展開されたスピーカを含むことがあり、それらのうち一部が、再生環境の座席区域の上にあることがある。
【0025】
図3は、ハマサキ22.2サラウンドサウンド構成を持つ再生環境の一例を示している。ハマサキ22.2は、超高精細テレビジョンのサラウンドサウンドコンポーネントとして日本のNHK放送技術研究所で開発された。ハマサキ22.2は、3層に配置されたスピーカを駆動するために使用され得るものである24個のスピーカチャンネルを設けている。再生環境300の上部スピーカ層310は、9チャンネルによって駆動され得る。中間スピーカ層320は、10チャンネルによって駆動され得る。下部スピーカ層330は、うち2つがサブウーファー345a及び345b用である5チャンネルによって駆動され得る。
【0026】
従って、最新トレンドは、より多くのスピーカ及びより多くのチャンネルを含むだけでなく、異なる高さにもスピーカを含むことである。チャンネル数が増加し、スピーカレイアウトが2Dアレイから3Dアレイに移行するにつれて、音の位置決め及びレンダリングの作業がますます困難になる。
【0027】
例えば仮想再生環境404などの仮想再生環境を参照してここで使用されるとき、用語“スピーカゾーン”は、概して、実際の再生環境の再生スピーカと一対一の対応関係を持つ又は持たない論理構成を指す。例えば、“スピーカゾーン位置”は、シネマ再生環境の特定の再生スピーカ位置に対応してもよいし、対応しなくてもよい。その代わりに、用語“スピーカゾーン位置”は、概して、仮想再生環境のゾーンを指し得る。一部の実装において、仮想再生環境のスピーカゾーンは、例えば、一組の2チャンネルステレオヘッドフォンのセットを使用してリアルタイムで仮想サラウンドサウンド環境を作り出すものであるドルビーヘッドフォン(登録商標)(モバイルサラウンド(登録商標)と呼ばれることもある)などの仮想化技術の使用によって、仮想スピーカに対応し得る。GUI400においては、第1の高さの7つのスピーカゾーン402aと、第2の高さの2つのスピーカゾーン402bが存在し、仮想再生環境404内に合計9つのスピーカゾーンをなしている。この例では、スピーカゾーン1-3が、仮想再生環境404の前方領域405にある。前方領域405は、例えば、スクリーン150が置かれるシネマ再生環境の領域や、テレビジョンスクリーンが置かれる家庭の領域などに対応し得る。
【0028】
ここでは、スピーカゾーン4が、概して、仮想再生環境404の左領域410内のスピーカに対応し、スピーカゾーン5が右領域415内のスピーカに対応する。スピーカゾーン6が仮想再生環境404の左後方領域412に対応し、スピーカゾーン7が右後方領域414に対応する。スピーカゾーン8が上方領域420a内のスピーカに対応し、スピーカゾーン9が、例えば
図5D及び5Eに示される仮想天井520のエリアなどの仮想天井領域とし得るものである上方領域420b内のスピーカに対応する。従って、より詳細に後述するように、
図4Aに示されるスピーカゾーン1-9の位置は、実際の再生環境の再生スピーカの位置に対応してもよいし、対応しなくてもよい。また、他の実装は、より多数又は少数のスピーカゾーン及び/又は高さを含み得る。
【0029】
ここに記載される様々な実装では、例えばGUI400などのユーザインタフェースが、オーサリングツール及び/又はレンダリングツールの一部として使用され得る。一部の実装において、オーサリングツール及び/又はレンダリングツールは、1つ以上の非一時的な媒体に格納されたソフトウェアによって実装され得る。オーサリングツール及び/又はレンダリングツールは、例えば
図21を参照して後述するロジックシステム及び他のデバイスなどの、ハードウェア、ファームウェアなどによって(少なくとも部分的に)実装されてもよい。一部のオーサリング実装において、関連するオーサリングツールが、関連するオーディオデータのメタデータを作成するために使用され得る。メタデータは、例えば、三次元空間におけるオーディオオブジェクトの位置及び/又は軌道を示すデータや、スピーカゾーン制約データなどを含み得る。メタデータは、実際の再生環境の特定のスピーカレイアウトに関してではなく、仮想再生環境404のスピーカゾーン402に関して作成されてもよい。レンダリングツールが、オーディオデータ及び関連付けられたメタデータを受信し、再生環境のためのオーディオ利得及びスピーカフィード信号を計算し得る。そのようなオーディオ利得及びスピーカフィード信号は、再生環境内の位置Pから音が聞こえてくるという知覚を生み出すことができるものである振幅パニングプロセスに従って計算され得る。例えば、スピーカフィード信号が、再生環境の再生スピーカ1乃至Nに、次式:
x
i(t)=g
ix(t), i=1,…,N (式1)
に従って提供され得る。
【0030】
式1において、xi(t)は、スピーカiに与えられるスピーカフィード信号を表し、giは、対応するチャンネルの利得係数を表し、x(t)はオーディオ信号を表し、tは時間を表す。利得係数は、例えば、V.Pulkki,“Compensating Displacement of Amplitude-Panned Virtual Sources”(Audio Engineering Society (AES) International Conference on Virtual, Synthetic and Entertainment Audio)の第2節、第3-4頁に記載されている振幅パニング方法に従って決定されることができ、この文献をここに援用する。一部の実装では、利得は周波数依存であるとし得る。一部の実装では、x(t)をx(t-Δt)で置き換えることによって、時間遅延が導入され得る。
【0031】
一部のレンダリング実装において、スピーカゾーン402を参照して作成されたオーディオ再生データが、ドルビーサラウンド5.1構成、ドルビーサラウンド7.1構成、ハマサキ22.2構成、又は他の構成とし得る広範囲の再生環境のスピーカ位置にマッピングされ得る。例えば、
図2を参照するに、レンダリングツールは、スピーカゾーン4及び5のオーディオ再生データを、ドルビーサラウンド7.1構成を持つ再生環境の左側方サラウンドアレイ220及び右側方サラウンドアレイ225にマッピングし得る。スピーカゾーン1、2及び3用のオーディオ再生データが、それぞれ、左スクリーンチャンネル230、右スクリーンチャンネル240及び中央スクリーンチャンネル235にマッピングされ得る。スピーカゾーン6及び7用のオーディオ再生データが、左後方サラウンドスピーカ224及び右後方サラウンドスピーカ226にマッピングされ得る。
【0032】
図4Bは、他の再生環境の一例を示している。一部の実装において、レンダリングツールは、スピーカゾーン1、2及び3用のオーディオ再生データを、再生環境450の対応するスクリーンスピーカ455にマッピングし得る。レンダリングツールは、スピーカゾーン4及び5用のオーディオ再生データを、左側方サラウンドアレイ460及び右側方サラウンドアレイ465にマッピングするとともに、スピーカゾーン8及び9用のオーディオ再生データを、左頭上スピーカ470a及び右頭上スピーカ470bにマッピングし得る。スピーカゾーン6及び7用のオーディオ再生データは、左後方サラウンドスピーカ480a及び右後方サラウンドスピーカ480bにマッピングされ得る。しかしながら、代わりの実装において、再生環境450の少なくとも一部のスピーカは、
図4Bに示すようにはグループ化されなくてもよい。それに代えて、一部のそのような実装は、個々の側方スピーカ、天井スピーカ、サラウンドスピーカ及び/又はサブウーファーにオーディオ再生データをパニングすることを含み得る。一部のそのような実装によれば、少なくとも一部のオーディオオブジェクトに対応する低周波オーディオ信号が、例えば
図4Bに示されるサラウンドスピーカなどの、個々のサブウーファー位置に及び/又は他の低周波対応スピーカの位置にパニングされ得る。
【0033】
一部のオーサリング実装において、オーディオオブジェクトに関するメタデータを作成するためにオーサリングツールが使用され得る。ここで使用されるとき、用語“オーディオオブジェクト”は、例えば単旋律のオーディオデータなどのオーディオデータのストリームと、関連付けられたするメタデータとを指し得る。メタデータは典型的に、オーディオオブジェクトの二次元(2D)若しくは三次元(3D)位置、レンダリング制約、及びコンテンツタイプ(例えば、せりふ、エフェクト音など)を指し示す。実装に依存して、メタデータは、例えば幅データ、利得データ、軌道データなどの他のタイプのデータを含み得る。一部のオーディオオブジェクトが静止している一方で、他が移動してもよい。オーディオオブジェクトの細部が、とりわけ所与の時点における三次元空間内でのオーディオオブジェクトの位置を指し示し得るものである関連付けられたメタデータに従って加えられ又はレンダリングされ得る。オーディオオブジェクトが再生環境内でモニタされたり再生されたりするとき、オーディオオブジェクトは、例えばドルビー5.1及びドルビー7.1などの従来のチャンネルベースのシステムでの場合のように、所定の物理チャンネルに出力されるのではなく、再生環境内に存在する再生スピーカを使用して位置のメタデータに従ってレンダリングされ得る。
【0034】
図5Aは、ここに開示される方法の少なくとも一部を実行するように構成され得る装置のコンポーネントの例を示すブロック図である。一部の例において、装置5は、パーソナルコンピュータ、デスクトップコンピュータ、又はオーディオ処理を提供するように構成された他のローカルデバイスである、又はそれを含むとし得る。一部の例において、装置5は、サーバである又はそれを含むとし得る。一部の例によれば、装置5は、ネットワークインタフェースを介してサーバと通信するように構成されたクライアント装置であってもよい。装置5のコンポーネントは、ハードウェアによって、非一時的な媒体に格納されたソフトウェアによって、ファームウェアによって、及び/又はそれらの組み合わせによって実装され得る。
図5A及びここに開示される他の図に示されるコンポーネントのタイプ及び数は、単に例として示されるに過ぎない。代わる実装は、より多数の、より少数の、及び/又は異なるコンポーネントを含み得る。
【0035】
この例において、装置5は、インタフェースシステム10及び制御システム15を含んでいる。インタフェースシステム10は、1つ以上のネットワークインタフェース、制御システム15とメモリシステムとの間の1つ以上のインタフェース、及び/又は1つ以上の外部デバイスインタフェース(例えば、1つ以上のユニバーサルシリアルバス(USB)インタフェースなど)を含み得る。一部の実装において、インタフェースシステム10は、ユーザインタフェースシステムを含み得る。ユーザインタフェースシステムは、ユーザからの入力を受け取るように構成され得る。一部の形態において、ユーザインタフェースシステムは、ユーザにフィードバックを提供するように構成されてもよい。例えば、ユーザインタフェースシステムは、対応するタッチ及び/又はジェスチャ検出システムを備えた1つ以上のディスプレイを含み得る。一部の例において、ユーザインタフェースシステムは、1つ以上のマイクロフォン及び/又はスピーカを含み得る。一部の例によれば、ユーザインタフェースシステムは、例えばモータ、バイブレータなどの、触覚フィードバックを提供する装置を含んでいてもよい。制御システム15は、例えば、汎用のシングルチップ若しくはマルチチッププロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、又は、他のプログラマブルロジックデバイス、ディスクリートのゲート若しくはトランジスタロジック、及び/又はディスクリートのハードウェアコンポーネントを含み得る。
【0036】
一部の例において、装置5は、単一デバイスにて実装され得る。しかしながら、一部の実装では、装置5は、2つ以上のデバイスにて実装されてもよい。一部のそのような実装において、制御システム15の機能が、2つ以上のデバイスに含められてもよい。一部の例において、装置5は、他のデバイスのコンポーネントであってもよい。
【0037】
一部の低音マネジメント方法によれば、一部又は全てのメインチャンネルからのある周波数閾値未満の低周波情報は、1つ以上の低周波対応(low-frequency-capable;LFC)スピーカを通じて再生され得る。周波数閾値をここでは“クロスオーバー周波数”と称することがある。クロスオーバー周波数は、オーディオチャンネルを再生するのに使用される(1つ以上の)メインスピーカの能力によって決定され得る。一部のメインスピーカ(ここでは“非低周波対応”と称することがある)が、LF信号を、例えば150Hzなどの相対的に高いクロスオーバー周波数を持つ1つ以上のLFCスピーカにルーティングさせ得る。一部のメインスピーカ(ここでは“限られた低周波”と称することがある)が、LF信号を、例えば60Hzなどの相対的に低いクロスオーバー周波数を持つ1つ以上のLFCスピーカにルーティングさせ得る。
【0038】
図5Bは、スピーカ周波数レンジの幾つかの例を示している。
図5Bに示すように、一部のLFCスピーカは、人間の通常の聴覚範囲内の全ての周波数の再生に割り当てられるフルレンジスピーカとし得る。例えばサブウーファーなどの一部のLFCスピーカは、周波数閾値未満のオーディオの再生に専用とされ得る。例えば、一部のサブウーファーは、例えば60Hz又は80Hzなどの周波数よりも低いオーディオデータを再生することに専用とされ得る。他の例において、一部のサブウーファー(ここでは“ミッドサブウーファー”と称することがある)は、例えば、約60Hzと150Hzとの間、80Hzと160Hzとの間などの、相対的に高い周波数レンジ内のオーディオデータを再生することに専用とされてもよい。1つ以上のミッドサブウーファーを使用して、(1つ以上の)メインスピーカと(1つ以上の)サブウーファーとの間の周波数ハンドリング能力のギャップを埋めることができる。1つ以上のミッドサブウーファーを使用して、相対的に密な構成のメインスピーカと相対的に疎な構成のサブウーファーとの間の空間解像度のギャップを埋めることができる。例えば、
図5Bに示すように、ミッドサブウーファーに関して示された周波数レンジは、サブウーファーのそれと“限られた低周波”タイプのメインスピーカのそれとの間の周波数レンジにわたる。しかしながら、“制限低周波対応”タイプのメインスピーカは、ミッドサブウーファーの周波数レンジを含む周波数レンジを再生することができる。
【0039】
典型的に、サブウーファーの数は、メインチャンネルの数よりも遥かに少ない。結果として、低周波(LF)情報の空間的な手掛かりが弱められたり歪まされたりする。典型的な再生環境における低周波数において、この空間的歪みは、一般に、知覚的に受容可能であるか、感知不可能であることが見出される。何故なら、人間の聴覚システムは、特に音源位置特定に関して、音の周波数が低下するにつれて、空間キューを検出することがあまりできなくなるからである。
【0040】
低音マネジメントを用いることには数多くの利点が存在する。(LFオーディオコンポーネントを持たない)メインチャンネルを再生するのに使用される多数のスピーカは、より小さく、簡単に設置され、あまり煩わしくなく、且つ低コストであることができる。サブウーファー又は他のLFCスピーカの使用が、低周波音のより良い制御も可能にする。LFオーディオは、プログラムの残りの部分とは独立に処理されることができ、また、1つ以上のLFCラウドスピーカは、場合によりメインスピーカとは独立に、低音再生に最適な位置に配置されることができる。例えば、リスニングエリア内の座席間での周波数応答のバラつきを最小限に抑えることができる。
【0041】
クロスオーバー、電気回路又はデジタルオーディオアルゴリズムを使用して、オーディオ信号を、各々がある周波数帯域をカバーする2つ(又は、複数のクロスオーバーが組み合わされる場合には、それよりも多く)のオーディオ信号に分割することができる。クロスオーバーは典型的に、ローパスフィルタ及びハイパスフィルタに並列に入力信号を与えることによって実装される。帯域境界、すなわち、クロスオーバー周波数は、クロスオーバー設計の1つのパラメータである。別々の周波数帯域への完全な分離は実際には可能でなく、それらの帯域間には幾らかの重なりがある。この重なりの量及び性質は、クロスオーバー設計の別の1つのパラメータである。低音マネジメントシステムのための一般的なクロスオーバー周波数は80Hzであるが、システムコンポーネント及び設計目標に基づいて、より低い周波数及びより高い周波数がしばしば使用される。
【0042】
複数の音源をパニング及びミキシングすることによって、空間的なオーディオプログラムを作り出すことができる。上述のように、この文脈において個々の音源(例えば、声、トランペット、ヘリコプターなど)は、“オーディオオブジェクト”として参照され得る。従来のチャンネルベースのサラウンドオーディオプログラムでは、分配に先立って特定のチャンネル構成(例えば、5.1)用のチャンネル信号を作り出すために、パニング及びミキシング情報がオーディオオブジェクトに適用されている。
【0043】
オブジェクトベースのオーディオプログラムでは、個々のオーディオオブジェクトが、各オブジェクトに関連付けられたパン及びミックス情報と一緒になって、オーディオシーンを定め得る。次いで、オブジェクトベースのプログラムが分配され、特定の宛先で、パン及びミックス情報、再生機器構成(ヘッドフォン、ステレオ、5.1、7.1など)、及び可能性として再生環境におけるエンドユーザ制御(例えば、好みのダイアログレベル)に基づいてレンダリングされ得る。
【0044】
オブジェクトベースのプログラムは、低音マネジメントシステムの更なる制御を可能にすることができる。オーディオオブジェクトは、例えば、チャンネルベースのミックスの生成に先立って個別に処理され得る。
【0045】
これまでに実装された低音マネジメントの方法は欠点を有している。1つの一般的な問題は、オーディオ信号カップリングとも呼ばれる低音ビルドアップが関与している。マルチチャンネルプログラム(チャンネルベースの分配、又はチャンネルへのレンダリング後のオブジェクトベースの分配)は、音への変換に先立つ複数のオーディオ信号の電気的(アナログ処理)又は数学的(デジタル処理)相互作用によって影響を受ける。一般的な低音マネジメントシステム(サブウーファーよりも多数のソースメインスピーカを有するシステム)は、必要により、複数の低周波オーディオ信号を組み合わせて再生用の(1つ以上の)サブウーファーオーディオ信号を生成する。単一のスピーカによる再生のためにチャンネル信号を組み合わせるとき、入力チャンネル同士が独立であると仮定することが多く、また、離間された複数のスピーカによって信号が再生された場合に生じることになる音響結合をモデル化するために、べき乗則(2ノルム)が適用される。チャンネルベースの低音マネジメントシステムは典型的に、複数の入力チャンネルから低周波信号を作り出すときにこの慣例に従っている。
【0046】
しかしながら、オーディオ信号が独立しておらずに(換言すれば、オーディオ信号が完全に又は部分的にコヒーレントであって)足し合わされる場合(線形結合)、得られるレベルは、別々の離間されたスピーカ上で信号が再生された場合よりも高く(音量が大きく)なる。低音マネジメントの場合、離間されたメインスピーカ上で再生されるコヒーレント信号は、べき乗則の音響結合を持つ傾向がある一方で、(電気的又は数学的に)混合される低周波数は線形結合を持つことになる。これが、オーディオ信号の結合によって“低音ビルドアップ”をもたらし得る。
【0047】
低音ビルドアップはまた、音響結合によっても引き起こされ得る。マルチスピーカサウンド再生システムは、再生環境の音響空間内の複数の音源の相互作用によって影響を受ける。複数の異なるスピーカによって再生されるインコヒーレントオーディオ信号についての累積応答は、よく、周波数に依存しないべき乗和(2ノルム)を用いて近似される。複数の異なるスピーカによって再生されるコヒーレントオーディオ信号についての累積応答はもっと複雑である。スピーカが広い間隔にされ、且つ無響場(大きくて残響のない部屋、又は屋外)にある場合、べき乗和近似がよく成り立つ。それ以外の場合(近い間隔にされたスピーカや、小さくて残響がある部屋などの場合)、2つ以上のスピーカからのコヒーレントな音波が重なり合って結合し、建設的干渉及び相殺的干渉が、音源の相対的な位置、音の周波数、及び音場内での位置に依存するようにして発生することになる。オーディオ信号の結合と同様に、音響的な建設的干渉(これは、低周波及び近い間隔のスピーカで、より多く発生する)は、べき乗和というよりも、音源の線形和(1ノルム)に近づく傾向にある。これが、室内での音響的“低音ビルドアップ”をもたらし得る。チャンネルベースの低音マネジメント方法は、この効果を補償する能力において限られている。典型的に、この効果は、低音マネジメントシステムによって無視されている。
【0048】
低音マネジメントシステムは一般に、非常に低い周波数での空間情報(例えば、位置、幅及び/又は拡散)を効果的に見定めるために聴覚システムの限界を当てにしている。オーディオ周波数が高くなるにつれて、空間情報の損失がますます明らかになり、アーチファクトがより目立つもの且つ許容できないものとなる。
【0049】
前述の問題に鑑み、様々な開示される実装を開発してきた。一部の開示される例は、マルチバンド低音マネジメント方法を提供し得る。一部のそのような例は、低音マネジメントの目的のために複数のハイパス及びローパスフィルタ周波数を適用することを含み得る。一部の実装はまた、ウーファー用、又はミッドLFレンジのオーディオを再生することができる非サブウーファースピーカ用に、1つ以上のバンドパスフィルタを適用して“ミッドサブウーファー”用のミッドLFスピーカフィード信号を提供することを含み得る。ミッドLFレンジ、又は複数のミッドLFレンジは、特定の実装に応じて変わり得る。一部の例において、バンドパスフィルタによって通されるミッドLFレンジは、約60-140Hz、70-140Hz、80-140Hz、60-150Hz、70-150Hz、80-150Hz、60-160Hz、70-160Hz、80-160Hz、60-170Hz、70-170Hz、80-170Hzなどであり得る。メインスピーカの様々な能力(例えば、より低いパワーを取り扱う天井スピーカ vs. 側方サラウンドにいっそう対応したスピーカ)、ターゲットサブウーファーの様々な能力(例えば、LFEチャンネル再生に使用あれるサブウーファー vs. サラウンドサブウーファー)、室内音響、及び他のシステム特性が、システム内の最適なフィルタ周波数に影響を及ぼし得る。一部の開示されるマルチバンド低音マネジメント方法は、例えば、再生環境内のスピーカの能力に対応する1つ以上のローパス、バンドパス及びハイパスフィルタを設けることによって、これらの能力及び特性の一部又は全てに対処することができる。
【0050】
一部の例によれば、マルチバンド低音マネジメント方法は、複数の周波数帯域の各々に対して異なる低音マネジメントスピーカ構成を使用することを含み得る。例えば、各低音マネジメント周波数帯域について利用可能なターゲットスピーカの数が増加すると、信号の空間解像度が周波数と共に高くなり、それ故に、知覚される空間アーチファクトの導入を最小化し得る。
【0051】
一部の実装は、複数の周波数帯域の各々に対して異なる低音マネジメント処理方法を使用することを含み得る。例えば、一部の方法は、低音マネジメントなしで発生することになる音響結合にいっそう良好に一致するように、各バンドにおけるレベル正規化に異なる指数(pノルム)を使用し得る。最低周波数では、音響結合が線形加算になる傾向があり、1.0又はそれに近い指数(1ノルム)が使用され得る。中低周波では、音響結合がべき乗加算になる傾向があり、2.0又はそれに近い指数(2ノルム)が使用され得る。代わりに、あるいは加えて、スピーカ利得が、最低周波数での均一なカバレッジのための最適化、及びより高い周波数での空間解像度の最適化のために選定され得る。
【0052】
一部の実装において、信号レベルに基づいて動的に低音マネジメント帯域が有効化され得る。例えば、信号レベルが増すにつれて、使用される周波数帯域の数も増加し得る。
【0053】
一部の例において、プログラムは、オーディオオブジェクト及びチャンネルの両方を含んでもよい。一部の例によれば、プログラムチャンネル及びオーディオオブジェクトに対して異なる低音マネジメント方法が使用され得る。例えば、従来のチャンネルベースの方法がチャンネルに適用される一方で、ここに開示されるオーディオオブジェクトベースの方法のうちの1つ以上がオーディオオブジェクトに適用され得る。
【0054】
一部の開示される方法は、少なくとも一部のLF信号を、パニング可能なオーディオオブジェクトとして取り扱い得る。上述のように、オーディオ周波数が高くなるにつれて、空間情報の損失がますます明らかになり、従来の低音マネジメント方法によって生じるアーチファクトがより目立つもの且つ許容できないものとなる。マルチバンド低音マネジメント方法は、そのようなアーチファクトを減らすことができる。特にはミッドLF信号であるLF信号をパニング可能なオブジェクトとして取り扱うことも、そのようなアーチファクトを抑制することができる。従って、マルチバンド低音マネジメント方法を、少なくとも一部のLF信号をパニングすることを含む方法と組み合わせることが有利であり得る。しかしながら、一部の実装は、少なくとも一部のLF信号をパニングすること又はマルチバンド低音マネジメント方法を含み得るが、低周波オブジェクトパンニング及びマルチバンド低音マネジメントの両方は含まない。
【0055】
上述のように、フィルタリングがスピーカフィードに適用される従来の低音マネジメントのアプローチは、パニング原理がリスナー位置での音響べき乗和を仮定していることが多いので、最適にならないことが多い。逆に、複数のスピーカを同一サブウーファーに低音マネジメントすることは、電気的な振幅和を生み出し、電気的な低音ビルドアップにつながる。一部の開示される方法は、低周波と高周波とを別々にパニングすることによって、この潜在的な問題を回避する。ハイパスレンダリングに続いて、パワー‘オーディット’が、サブウーファー又は他の低周波対応(LFC)スピーカによって再生されるべき低周波‘不足分(deficit)’を決定し得る。
【0056】
従って、一部の開示される低音マネジメント方法は、低音マネジメントによって生じる低周波パワー不足分に基づいて、ミッドLFのためのローパスフィルタ(LPF)係数及び/又はバンドパスフィルタ係数を計算することを含み得る。様々な例について詳細に後述する。低周波パワー不足分に基づいてミッドLFのためのローパスフィルタ係数及び/又はバンドパスフィルタ係数を計算することを含む低音マネジメント方法は、低音ビルドアップを抑制することができる。このような方法は、具体的な実装に応じて、マルチバンド低音マネジメント方法及び/又は少なくとも一部のLF信号をパニングすることと組み合わせて実装されてもよいし、そうでなくてもよい。しかしながら、低周波パワー不足分に基づくローパスフィルタ係数(及び/又は、ミッドLF用のバンドパスフィルタ係数)の計算を含む方法を、ここに開示される他の低音マネジメント方法と組み合わせることが有利であり得る。
【0057】
図6は、一例に従った低音マネジメント方法のブロックを示すフロー図である。方法600は、例えば、1つ以上のプロセッサ及び1つ以上の非一時的なメモリデバイスを含む制御システム(例えば、制御システム15など)によって実装され得る。他の開示される方法と同様に、必ずしも方法600の全てのブロックが
図6に示される順序で実行される必要はない。また、代わりの方法は、より多数又は少数のブロックを含み得る。
【0058】
この例において、方法600は、オーディオオブジェクトに対応するLFオーディオ信号をパニングすることを含む。オーディオオブジェクトに対応するオーディオ信号上で動作するフィルタリング、パニング、及び他の処理は、単純さのために、ここでは、オーディオオブジェクト上で動作するものとして言及されることがある。例えば、オーディオオブジェクトのオーディオデータにフィルタを適用する処理は、ここでは、オーディオオブジェクトにフィルタを適用するものとして記述されることがある。オーディオオブジェクトのオーディオデータをパニングする処理は、ここでは、オーディオオブジェクトをパニングするものとして記述されることがある。
【0059】
この例によれば、ブロック605は、複数のオーディオオブジェクトを含むオーディオデータを受信することを含む。オーディオオブジェクトは、オーディオデータ(これは、単旋律のオーディオ信号とし得る)及び関連付けられたメタデータを含む。この例において、メタデータはオーディオオブジェクト位置データを含む。
【0060】
ここでは、ブロック610は、再生環境内の1つ以上の再生スピーカを指し示すインジケーションと、再生環境内の1つ以上の再生スピーカの位置を指し示すインジケーションと、を含む再生スピーカレイアウトデータを受信することを含む。一部の例において、位置は、例えば、“中央”、“前方左”、“前方右”、“左サラウンド”、“右サラウンド”など、再生環境内の1つ以上の他の再生スピーカの位置に対して相対的なものとし得る。一部の例によれば、再生スピーカレイアウトデータは、
図1-3又は4Bに示したもののような再生環境内の1つ以上の再生スピーカを指し示すインジケーションと、再生環境内のそれら1つ以上の再生スピーカの位置(例えば、相対位置など)を指し示すインジケーションとを含み得る。一部の実施態様によれば、再生スピーカレイアウトデータは、再生環境内の再生スピーカの1つ以上のグループの位置(これは相対位置とし得る)を指し示すインジケーションを含んでもよい。この例において、再生スピーカレイアウトデータは、再生環境の1つ以上の低周波対応(LFC)再生スピーカに対応するLFCスピーカ位置データを含む。
【0061】
一部の例において、LFC再生スピーカは、1つ以上のタイプのサブウーファーを含み得る。代わりに、あるいは加えて、LFC再生スピーカを含み得る再生環境は、LFオーディオデータの満足いく再生が可能な1つ以上のタイプのワイドレンジ及び/又はフルレンジのスピーカを含み得る。例えば、一部のそのようなLFC再生スピーカは、不快にさせ得るレベルの歪みなしでミッドLFオーディオデータ(例えば、80-150Hzのレンジ内のオーディオデータ)を再生することができながら、より高い周波数レンジ内のオーディオデータを再生することもできる。一部の例において、そのようなフルレンジLFC再生スピーカは、人間に可聴な周波数レンジの大部分又は全てを再生可能であり得る。一部のそのようなフルレンジLFC再生スピーカは、60Hz以上、70Hz以上、80Hz以上、90Hz以上、100Hz以上などのオーディオデータを再生するのに適し得る。
【0062】
従って、再生環境の一部のLFC再生スピーカは専用サブウーファーであることができ、また、再生環境の一部のLFC再生スピーカは、LFオーディオデータ及び非LFオーディオデータの両方を再生するのに使用されることができる。LFC再生スピーカは、一部の例において、前方スピーカ、中央スピーカ、及び/又は、例えば壁面サラウンドスピーカ及び/又は後方サラウンドスピーカなどのサラウンドスピーカを含み得る。例えば、
図4Bを参照するに、再生環境の一部のLFC再生スピーカ(例えば再生環境450の前方及び後方に示したサブウーファーなど)は専用サブウーファーとすることができ、また、再生環境の一部のLFC再生スピーカ(例えば再生環境450の側方及び後方に示したサラウンドスピーカなど)は、LFオーディオデータ及び非LFオーディオデータの両方を再生するのに使用されることができる。
【0063】
この例において、再生スピーカレイアウトデータはまた、再生環境の1つ以上のメイン再生スピーカに対応するメインスピーカ位置データを含む。メイン再生スピーカは、LFC再生スピーカと比較して相対的に小さいスピーカを含み得る。メイン再生スピーカは、具体的な実装に応じて、100Hz以上、120Hz以上、150Hz以上、180Hz以上、200Hz以上などのオーディオデータを再生するのに適し得る。メイン再生スピーカは、一部の例において、天井スピーカ及び/又は壁面スピーカを含み得る。再び
図4Bを参照するに、一部の実装において、天井スピーカの大部分又は全て、及び側面スピーカの一部が、メイン再生スピーカであるとし得る。
【0064】
図6に戻るに、この例において、ブロック615は、関連付けられたメタデータ及び再生スピーカレイアウトデータに少なくとも部分的に基づいて、複数のオーディオオブジェクトを複数のスピーカフィード信号へとレンダリングすることを含む。各スピーカフィード信号が、再生環境内の1つ以上の再生スピーカに対応する。
【0065】
この例によれば、ブロック620は、複数のスピーカフィード信号のうちの少なくとも一部にハイパスフィルタを適用して、ハイパスフィルタリングされたスピーカフィード信号を生成することを含む。一部の例において、ブロック620は、第1の複数のスピーカフィード信号に第1のハイパスフィルタを適用して、第1のハイパスフィルタリングされたスピーカフィード信号を生成することと、第2の複数のスピーカフィード信号に第2のハイパスフィルタを適用して、第2のハイパスフィルタリングされたスピーカフィード信号を生成することとを含み得る。第1のハイパスフィルタは、例えば、第2のハイパスフィルタよりも低い周波数レンジを通過させるように構成され得る。一部の例によれば、ブロック620は、2つ以上の異なるハイパスフィルタを適用して、2つ以上の異なる周波数レンジを持つハイパスフィルタリングされたスピーカフィード信号を生成することを含み得る。一部の例について後述する。
【0066】
ブロック620で適用される(1つ以上の)ハイパスフィルタは、再生環境内の再生スピーカの能力に対応し得る。方法600の一部の実装は、再生環境内の1つ以上のタイプのメイン再生スピーカに関する再生スピーカ性能情報を受信することを含み得る。
【0067】
一部のそのような実装は、第1組のメイン再生スピーカに関する第1の再生スピーカ性能情報を受信し、且つ第2組のメイン再生スピーカに関する第2の再生スピーカ性能情報を受信する、ことを含み得る。ブロック620で適用される第1のハイパスフィルタは、第1の再生スピーカ性能情報に対応することができ、ブロック620で適用される第2のハイパスフィルタは、第2の再生スピーカ性能情報に対応することができる。そのような実装は、第1のハイパスフィルタリングされたスピーカフィード信号を第1組のメイン再生スピーカに提供し、且つ第2のハイパスフィルタリングされたスピーカフィード信号を第2組のメイン再生スピーカに提供することを含み得る。
【0068】
一部の例において、ブロック620で適用される(1つ以上の)ハイパスフィルタは、オーディオオブジェクトに関連付けられたメタデータに少なくとも部分的に基づき得る。メタデータは、例えば、ブロック605で受信される複数のオーディオオブジェクトのうちの特定のオーディオオブジェクトに対応するスピーカフィード信号にハイパスフィルタを適用すべきかを指し示すインジケーションを含み得る。
【0069】
この例において、ブロック625は、複数のオーディオオブジェクトの各々にローパスフィルタを適用して、低周波(LF)オーディオオブジェクトを生成することを含む。上述のように、オーディオオブジェクトのオーディオデータ上で実行される動作は、ここでは、オーディオオブジェクト上で実行されるとして言及されることがある。従って、この例において、ブロック625は、複数のオーディオオブジェクトの各々のオーディオデータにローパスフィルタを適用することを含む。一部の例において、ブロック625は、2つ以上の異なるフィルタを適用することを含み得る。詳細に後述するように、ブロック625で適用されるフィルタは、ローパス、バンドパス、及び/又はハイパスフィルタを含んでもよい。
【0070】
一部の実装は、閾レベル以上であるオーディオ信号に対してのみ低音マネジメント方法を適用することを含み得る。閾レベルは、一部の例において、再生環境の1つ以上のタイプのメイン再生スピーカの能力に従って変わり得る。一部のそのような例によれば、方法600は、1つ以上のオーディオオブジェクトのオーディオデータの信号レベルを決定することを含み得る。そのような例は、信号レベルを閾信号レベルと比較することを含み得る。一部のそのような例は、オーディオデータの信号レベルが閾信号レベル以上であるオーディオオブジェクトのみに、1つ以上のローパスフィルタを適用することを含み得る。
【0071】
図6に示す例において、ブロック630は、LFCスピーカ位置データに少なくとも部分的に基づいてLFオーディオオブジェクトをパニングして、LFCスピーカフィード信号を生成することを含む。ここでは、オプションのブロック635が、再生環境の1つ以上のLFCスピーカにLFCスピーカフィード信号を出力することを含んでいる。オプションのブロック640が、再生環境の1つ以上のメイン再生スピーカに、ハイパスフィルタリングされたスピーカフィード信号を提供することを含んでいる。
【0072】
一部の実装において、ブロック630は、2つ以上のタイプのLFCスピーカフィード信号を生成することを含んでもよい。例えば、ブロック630は、相異なる周波数レンジを持つLFCスピーカフィード信号を生成することを含み得る。それら異なる周波数レンジは、再生環境の異なるLFCスピーカの能力に対応し得る。
【0073】
一部のそのような例によれば、ブロック625は、複数のオーディオオブジェクトのうちの少なくとも一部にローパスフィルタを適用して、第1のLFオーディオオブジェクトを生成することを含み得る。ローパスフィルタは、第1の周波数レンジを通過させるように構成され得る。第1の周波数レンジは、具体的な実装に従って変わり得る。一部の例において、ローパスフィルタは、60Hz未満の周波数、80Hz未満の周波数、100Hz未満の周波数、120Hz未満の周波数、150Hz未満の周波数などを通過させるように構成され得る。
【0074】
一部のそのような実装において、ブロック625は、第1のLFオーディオオブジェクトにハイパスフィルタを適用して、第2のLFオーディオオブジェクトを生成することを含み得る。ハイパスフィルタは、ミッドLF周波数レンジである第2の周波数レンジを通過させるように構成され得る。例えば、ハイパスフィルタは、80-150Hzのレンジ、60-150Hzのレンジ、60-120Hzのレンジ、80-120Hzのレンジ、100-150Hzのレンジ、60-150Hzのレンジなどの周波数を通過させるように構成され得る。
【0075】
代わりの実装において、ブロック625は、第2の複数のオーディオオブジェクトにバンドパスフィルタを適用して、第2のLFオーディオオブジェクトを生成することを含んでもよい。バンドパスフィルタは、ミッドLF周波数レンジである第2の周波数レンジを通過させるように構成され得る。例えば、バンドパスフィルタは、80-150Hzのレンジ、60-150Hzのレンジ、60-120Hzのレンジ、80-120Hzのレンジ、100-150Hzのレンジ、60-150Hzのレンジなどの周波数を通過させるように構成され得る。
【0076】
一部のそのような実装によれば、ブロック630は、第1のLFオーディオオブジェクトをパニングすることによって、第1のLFCスピーカフィード信号を生成し、且つ第2のLFオーディオオブジェクトをパニングすることによって、第2のLFCスピーカフィード信号を生成することを含み得る。第1及び第2のLFCスピーカフィード信号は、再生環境の異なるタイプのLFCスピーカに提供され得る。例えば、再び
図4Bを参照するに、一部のLFC再生スピーカ(例えば再生環境450の前方及び後方に示したサブウーファーなど)は専用のサブウーファーとすることができ、また、一部のLFC再生スピーカ(例えば再生環境450の側方及び後方に示したサラウンドスピーカなど)は、LFオーディオデータ及び非LFオーディオデータの両方を再生するのに使用され得る非サブウーファースピーカであることができる。
【0077】
一部のそのような例において、ブロック610でLFCスピーカ位置データを受信することは、第2の周波数レンジ(ミッドLFレンジ)内のオーディオデータを再生することができる複数の非サブウーファー再生スピーカの各々の相対位置を指し示す非サブウーファー位置データを受信することを含み得る。一部のそのような実装によれば、ブロック630は、非サブウーファー位置データに少なくとも部分的に基づいて第2のLFオーディオオブジェクトのうちの少なくとも一部をパニングして、非サブウーファースピーカフィード信号を生成することによって、第2のLFCスピーカフィード信号を生成することを含み得る。そのような実装はまた、ブロック635にて、非サブウーファースピーカフィード信号を、再生環境の複数の非サブウーファー再生スピーカのうちの1つ以上に提供することを含み得る。
【0078】
代わりに、あるいは加えて、再生環境の専用サブウーファーのうちの一部が、再生環境の他の専用サブウーファーと比較して、より低いレンジ内のオーディオ信号を再生することができるとし得る。後者は、ここでは“ミッドサブウーファー”と称されることがある。
【0079】
一部のそのような例において、ブロック610でLFCスピーカ位置データを受信することは、第2の周波数レンジ内のオーディオデータを再生することができる複数のミッドサブウーファー再生スピーカの各々の相対位置を指し示すミッドサブウーファー位置データを受信することを含み得る。一部のそのような実装によれば、ブロック630は、ミッドサブウーファー位置データに少なくとも部分的に基づいて第2のLFオーディオオブジェクトのうちの少なくとも一部をパニングして、ミッドサブウーファースピーカフィード信号を生成することによって、第2のLFCスピーカフィード信号を生成することを含み得る。そのような実装はまた、ブロック635にて、ミッドサブウーファースピーカフィード信号を、再生環境の前記複数のミッドサブウーファー再生スピーカのうちの1つ以上に提供することを含み得る。
【0080】
図7は、開示される一例に従った低音マネジメント方法のブロックを示している。この例によれば、ブロック705にて、オーディオオブジェクトが受信される。方法700はまた、再生スピーカレイアウトデータを受信すること、又は再生スピーカレイアウトデータをメモリから取り出すことを含む。この例において、再生スピーカレイアウトデータは、再生環境のLFC再生スピーカに対応するLFCスピーカ位置データを含んでいる。一例がLFC再生スピーカレイアウト730bに示されており、これは、再生環境の前方にあるLFC再生スピーカと、再生環境の左後方にある別のLFC再生スピーカと、再生環境の右後方にある別のLFC再生スピーカとを指し示している。しかしながら、これに代わる例は、より多くのLFC再生スピーカ、より少ないLFC再生スピーカ、及び/又は異なる位置のLFC再生スピーカを含み得る。
【0081】
この例において、再生スピーカレイアウトデータは、再生環境のメイン再生スピーカに対応するメインスピーカ位置データを含んでいる。一例がメイン再生スピーカレイアウト730aに示されており、これは、再生環境の側面に沿った、天井の、及び前方の、メイン再生スピーカの位置を指し示している。しかしながら、これに代わる例は、より多くのメイン再生スピーカ、より少ないメイン再生スピーカ、及び/又は異なる位置のメイン再生スピーカを含み得る。例えば、一部の再生環境は、再生環境の前方にメイン再生スピーカを含まないことがある。
【0082】
この実装では、受信されたオーディオオブジェクトに対応する入力オーディオ信号をローパスフィルタ(ブロック715)及びハイパスフィルタ(ブロック710)に並列に与えることによって、クロスオーバーフィルタが実装される。クロスオーバーフィルタは、例えば、
図5Aの制御システム15などの制御システムによって実装され得る。この例において、クロスオーバー周波数は80Hzであるが、これに代わる低音マネジメント方法は、より低い又はより高い周波数を持つクロスオーバーフィルタを適用し得る。クロスオーバー周波数は、システムコンポーネント(例えば再生環境の再生スピーカの能力など)及び設計目標に従って選定され得る。
【0083】
この実装によれば、ブロック710で生成されたハイパスフィルタリングされたオーディオオブジェクトは、ブロック720にて、オーディオオブジェクトに関連付けられたメタデータ及びメインスピーカ位置データに少なくとも部分的に基づいてスピーカフィード信号へとパニングされる。各スピーカフィード信号が、再生環境内の1つ以上のメイン再生スピーカに対応し得る。
【0084】
この例において、ブロック715で生成されたLFオーディオオブジェクトは、ブロック725にて、オーディオオブジェクトに関連付けられたメタデータ及びLFCスピーカ位置データに少なくとも部分的に基づいてスピーカフィード信号へとパニングされる。各スピーカフィード信号が、再生環境内の1つ以上のLFC再生スピーカに対応し得る。一部の例において、低音マネジメントされるオーディオオブジェクトは、式13を参照して後述するように表現され得る。
【0085】
2つ以上のLFC再生スピーカが利用可能である場合、低音マネジメントされるオーディオオブジェクトは、例えばデュアルバランス振幅パニングを使用して、LFC再生スピーカジオメトリに従ってパニングされることができる。
【0086】
図7に示す例において、オプションのブロック735は、ブロック715で生成されたLFオーディオオブジェクトに、それらLFオーディオオブジェクトがブロック725でスピーカフィード信号へとパニングされる前に、低周波不足分ファクタを適用することを含んでいる。低周波不足分ファクタは、ブロック710でハイパスフィルタを適用することによって生じる“パワー不足分”を少なくとも部分的に補償するために適用され得る。ハイパスフィルタリング及び/又はレンダリングの後に、パワー“オーディット”が、LFC再生スピーカによって再生されるべき低周波不足分ファクタを決定し得る。低周波不足分ファクタは、ハイパスフィルタリングされたスピーカフィード信号のパワー及びブロック710で適用されるハイパスフィルタの形状に基づき得る。
【0087】
しかしながら、これに代わる一部の例では、LFオーディオオブジェクトを生成するのに使用されるフィルタのうちの1つ以上が、少なくとも部分的にパワー不足分に基づき得る。例えば、
図6を参照するに、ブロック625で適用されるフィルタのうちの1つ以上が、パワー不足分に少なくとも部分的に基づき得る。一部のそのような例において、方法600は、ブロック620で生成されたハイパスフィルタリングされたスピーカフィード信号に少なくとも部分的に基づいてパワー不足分を計算することを含み得る。一部のそのような例によれば、ブロック625で適用される1つ以上のローパスフィルタの特性が、パワー不足分に少なくとも部分的に基づいて決定され得る。パワー不足分は、ハイパスフィルタリングされたスピーカフィード信号のパワー、及びブロック620で適用される(1つ以上の)ハイパスフィルタの形状に少なくとも部分的に基づき得る。
【0088】
スピーカm∈{1...M}に関するオブジェクトパニング利得をg
mとする。ただし、Mはフルレンジスピーカの総数である。この例において、パニングされるオーディオオブジェクトは、先ず、伝達関数F
H(ω;ω
m)を持つフィルタを用いて、カットオフ周波数ω
mでハイパスされる。バターワースフィルタの例では、伝達関数の振幅応答は、
【数1】
のように表され得る。
【0089】
式2において、nはフィルタの極数を表す。一部の例において、nは4とし得る。しかしながら、代わりの実装では、nは4よりも大きくても小さくてもよい。全周波数レンジにわたるパワーの和を仮定すると、低音マネジメントされるフルレンジスピーカから受け取られるリスナー位置でのパワーp(ω)は、
【数2】
のように表され得る。
【0090】
従って、パワー不足分は以下のように表される:
【数3】
のように表され得る。
【0091】
従って、理想的なLFC再生スピーカによって再生されるスペクトルは、
【数4】
のように表され得る。
【0092】
式5において、cは理想的なサブウーファースペクトルを表す。この実装によれば、ハイパス経路のものと同じ形態のバターワースフィルタを用いて低周波フィルタリングが適用される。残念ながら、理想的なLFC再生スピーカスペクトルは、ローパスバターワースフィルタの線形結合(加重和)によって正確にマッチングされることができない。このことは、マッチング問題を明示的に、
【数5】
と記述すると、よりよく理解される。
【0093】
式6において、h
mは、計算されて適用される重みを表す。ローパス伝達関数振幅F
L(ω;ω
m)を持つバターワースフィルタを用いて低周波フィードを生成する場合、ローパス伝達関数振幅は
【数6】
のように表され得る。
【0094】
離散的な周波数ω
k,k∈{1...K}でスペクトルωをサンプリングし、重みh
mに関する制約付き最小二乗解を求めることによって、最適な近似解を導出することができる。上で定義した変数から、以下のベクトル及び行列、すなわち、
【数7】
を導出することができ、故に、Fh=cである。式10において、cは、ベクトル形態でのサブウーファースペクトルを表し、c(ω
1) c(ω
2)...c(ω
K)は一組の離散周波数にて評価されるサブウーファースペクトルを表す。周波数の総数Kの選択は任意である。しかしながら、周波数ω
m、ω
m/2、及びω
m/4でのサンプリングが許容可能な結果を生み出すことが経験的に分かっている。重みが負でないように制約すると、この最適化問題は
【数8】
のように記述されることができる。
【0095】
オブジェクトi∈{1...N}及び固有カットオフ周波数インデックスj={1...J}についての最適重みをh
ijとする。一部の実装において、低音マネジメントされるオーディオオブジェクトは
【数9】
のように表され得る。
【0096】
式13において、*は線形畳み込みを表し、fj(t)はカットオフ周波数インデックスjにおけるローパスフィルタのインパルス応答を表す。
【0097】
最後の問題が、バターワースフィルタの位相応答で生じ、それは、4次フィルタのカットオフ周波数で180°である。遷移帯域が通過帯域と重なるフィルタの足し合わせは、2つのフィルタ応答が位相ずれであるときにディップを引き起こす。高いカットオフ周波数を持つフィルタを、それらのDC群遅延が、最も低いカットオフ周波数を持つフィルタの群遅延と一致するように、遅延させることによって、フィルタが180°の位相ずれである点が、あまり影響を持たないところである阻止帯域内に押し込まれ得る。
【0098】
図8は、開示される一例に従った代わりの低音マネジメント方法のブロックを示している。この例によれば、ブロック805にて、オーディオオブジェクトが受信される。方法800はまた、再生環境のメイン再生スピーカに対応するメインスピーカ位置データを含んだ再生スピーカレイアウトデータを受信すること(又は、再生スピーカレイアウトデータをメモリから取り出すこと)を含む。一例がメイン再生スピーカレイアウト830aに示されており、これは、再生環境の側面に沿った、天井の、及び前方の、メイン再生スピーカの位置を指し示している。しかしながら、これに代わる例は、より多くのメイン再生スピーカ、より少ないメイン再生スピーカ、及び/又は異なる位置のメイン再生スピーカを含み得る。例えば、一部の再生環境は、再生環境の前方にメイン再生スピーカを含まないことがある。
【0099】
この例において、再生スピーカレイアウトデータは、再生環境のLFC再生スピーカに対応するLFCスピーカ位置データも含んでいる。一例がLFC再生スピーカレイアウト830bに示されている。しかしながら、これに代わる例は、より多くのLFC再生スピーカ、より少ないLFC再生スピーカ、及び/又は異なる位置のLFC再生スピーカを含み得る。
【0100】
この実装によれば、少なくとも一部のオーディオオブジェクトが、ハイパスフィルタリングの前にスピーカフィード信号へとパニングされる。ここでは、低音マネジメントされるオーディオオブジェクトは、ハイパスフィルタが適用される前に、ブロック810にてスピーカフィード信号へとパニングされる。ブロック810のパニング処理は、オーディオオブジェクトに関連付けられたメタデータ及びメインスピーカ位置データに少なくとも部分的に基づき得る。各スピーカフィード信号が、再生環境内の1つ以上のメイン再生スピーカに対応し得る。
【0101】
この実装では、ブロック820にて第1のハイパスフィルタが適用され、ブロック822にて第2のハイパスフィルタが適用される。他の実装は、3つ以上の異なるハイパスフィルタを適用することを含み得る。この例によれば、第1のハイパスフィルタは60Hzハイパスフィルタであり、第2のハイパスフィルタは150Hzハイパスフィルタである。この例において、第1のハイパスフィルタは、再生環境の側方にある再生スピーカの能力に対応し、第2のハイパスフィルタは、再生環境の天井にある再生スピーカの能力に対応する。第1のハイパスフィルタ及び第2のハイパスフィルタは、例えば、格納された又は受信された再生スピーカ性能情報に少なくとも部分的に基づいて制御システムによって決定され得る。
【0102】
図8に示す例では、ブロック815でLFオーディオオブジェクトを生成するために使用される1つ以上のフィルタは、パワー不足分に少なくとも部分的に基づく。一部のそのような例において、方法800は、ブロック820及び822で生成されたハイパスフィルタリングされたスピーカフィード信号に少なくとも部分的に基づいてパワー不足分を計算することを含み得る。パワー不足分は、ハイパスフィルタリングされたスピーカフィード信号のパワー、及びブロック820及び822で適用されるハイパスフィルタの形状に少なくとも部分的に基づき得る。
【0103】
この例において、ブロック815で生成されたLFオーディオオブジェクトは、ブロック825にて、オーディオオブジェクトに関連付けられたメタデータ及びLFCスピーカ位置データに少なくとも部分的に基づいてスピーカフィード信号へとパニングされる。各スピーカフィード信号が、再生環境内の1つ以上のLFC再生スピーカに対応し得る。
【0104】
図9は、開示される一例に従った他の低音マネジメント方法のブロックを示している。この例によれば、ブロック905にて、オーディオオブジェクトが受信される。方法900はまた、再生環境のメイン再生スピーカに対応するメインスピーカ位置データを含んだ再生スピーカレイアウトデータを受信すること(又は、再生スピーカレイアウトデータをメモリから取り出すこと)を含む。一例がメイン再生スピーカレイアウト930aに示されており、これは、再生環境の側面に沿った、天井の、及び前方の、メイン再生スピーカの位置を指し示している。しかしながら、これに代わる例は、より多くのメイン再生スピーカ、より少ないメイン再生スピーカ、及び/又は異なる位置のメイン再生スピーカを含み得る。例えば、一部の再生環境は、再生環境の前方にメイン再生スピーカを含まないことがある。
【0105】
この例において、再生スピーカレイアウトデータは、再生環境のLFC再生スピーカに対応するLFCスピーカ位置データも含んでいる。例がLFC再生スピーカレイアウト930b及び930cに示されている。しかしながら、これに代わる例は、より多くのLFC再生スピーカ、より少ないLFC再生スピーカ、及び/又は異なる位置のLFC再生スピーカを含み得る。これらの例において、再生スピーカレイアウト930b内の暗い丸は、約60Hz以下のレンジ内のオーディオデータを再生することができるLFC再生スピーカの位置を指し示し、再生スピーカレイアウト930c内の暗い丸は、約60Hz-150Hzのレンジ内のオーディオデータを再生することができるLFC再生スピーカの位置を指し示す。この例によれば、再生スピーカレイアウト930bは、専用サブウーファーの位置を指し示し、再生スピーカレイアウト930cは、LFオーディオデータの満足いく再生が可能なワイドレンジ及び/又はフルレンジのスピーカの位置を指し示す。例えば、再生スピーカレイアウト930cに示されるLFC再生スピーカは、不快にさせ得るレベルの歪みなしでミッドLFオーディオデータ(例えば、80-150Hzのレンジ内のオーディオデータ)を再生することができながら、より高い周波数レンジ内のオーディオデータを再生することもでき得る。一部の例において、再生スピーカレイアウト930cに示されるLFC再生スピーカは、人間に可聴な周波数レンジの大部分又は全てを再生することができ得る。
【0106】
この実装によれば、低音マネジメントされるオーディオオブジェクトは、ハイパスフィルタが適用される前に、ブロック910にてスピーカフィード信号へとパニングされる。ブロック910のパニング処理は、オーディオオブジェクトに関連付けられたメタデータ及びメインスピーカ位置データに少なくとも部分的に基づき得る。各スピーカフィード信号が、再生環境内の1つ以上のメイン再生スピーカに対応し得る。
【0107】
この実装では、ブロック920にて第1のハイパスフィルタが適用され、ブロック922にて第2のハイパスフィルタが適用される。他の実装は、3つ以上の異なるハイパスフィルタを適用することを含み得る。この例によれば、第1のハイパスフィルタは60Hzハイパスフィルタであり、第2のハイパスフィルタは150Hzハイパスフィルタである。この例において、第1のハイパスフィルタは、再生環境の側方にある再生スピーカの能力に対応し、第2のハイパスフィルタは、再生環境の天井にある再生スピーカの能力に対応する。第1のハイパスフィルタ及び第2のハイパスフィルタは、例えば、格納された又は受信された再生スピーカ性能情報に少なくとも部分的に基づいて制御システムによって決定され得る。
【0108】
図9に示す例では、ブロック915及び935でLFオーディオオブジェクトを生成するために使用される1つ以上のフィルタは、パワー不足分に少なくとも部分的に基づく。一部のそのような例において、方法900は、ブロック920及び922で生成されたハイパスフィルタリングされたスピーカフィード信号に少なくとも部分的に基づいてパワー不足分を計算することを含み得る。パワー不足分は、ハイパスフィルタリングされたスピーカフィード信号のパワー、及びブロック920及び922で適用されるハイパスフィルタの形状に少なくとも部分的に基づき得る。
【0109】
この例において、ブロック915で生成されたLFオーディオオブジェクトは、ブロック925にて、オーディオオブジェクトに関連付けられたメタデータ及び再生スピーカレイアウト930bに対応するLFCスピーカ位置データに少なくとも部分的に基づいてスピーカフィード信号へとパニングされる。この例によれば、ブロック935で生成されたミッドLFオーディオオブジェクトは、ブロック940にて、オーディオオブジェクトに関連付けられたメタデータ及び再生スピーカレイアウト930cに対応するLFCスピーカ位置データに少なくとも部分的に基づいてスピーカフィード信号へとパニングされる。
【0110】
図10は、開示される他の低音マネジメント方法を例示する機能ブロック図である。
図10に示すブロックのうち少なくとも一部は、一部の例において、例えば
図5Aに示した制御システム15などの制御システムによって実装され得る。この例では、オーディオオブジェクトと低周波エフェクト(LFE)オーディオ信号1045とを含むものであるオーディオデータのビットストリーム1005が、ビットストリームパーサ1010によって受信される。この例によれば、ビットストリームパーサ1010は、受信したオーディオオブジェクトをパニング部1015及びローパスフィルタ1035に提供するように構成される。この例において、ビットストリームパーサ1010は、LFEオーディオ信号1045を加算ブロック1047に提供するように構成されている。
【0111】
この例によれば、パニング部1015によって出力されたスピーカフィード信号1020が、複数のハイパスフィルタ1025に提供される。ハイパスフィルタ1025の各々は、一部の実装において、再生環境1060のメイン再生スピーカの能力に対応し得る。
【0112】
この例によれば、フィルタ設計モジュール1030が、低音マネジメントから得られる計算されたパワー不足分に少なくとも部分的に基づいて、フィルタ1035の特性を決定するように構成される。この例において、フィルタ設計モジュール1030は、パニング部1015から受け取る利得情報と、ハイパスフィルタ1025から受け取るハイパスフィルタ周波数を含むハイパスフィルタ特性とに少なくとも部分的に基づいて、ローパスフィルタ1035の特性を決定するように構成される。一部の実装において、フィルタ1035はまた、例えばミッドLFオーディオ信号を通過させるように構成されたバンドパスフィルタなどの、バンドパスフィルタも含み得る。一部の例において、フィルタ1035はまた、例えばローパスフィルタリングされたオーディオ信号上で動作してミッドLFオーディオ信号を生成するように構成されたハイパスフィルタなどの、ハイパスフィルタも含み得る。一部のそのような実装によれば、フィルタ設計モジュール1030は、低音マネジメントから得られる計算されたパワー不足分に少なくとも部分的に基づいて、バンドパスフィルタ及び/又はハイパスフィルタの特性を決定するように構成され得る。
【0113】
この例によれば、フィルタ1035から出力されたLFオーディオオブジェクトがパニング部1040に提供され、パニング部1040がLFスピーカフィード信号1042を出力する。この実装では、加算ブロック1047が、LFスピーカフィード信号1042とLFEオーディオ信号1045とを足し合わせ、その結果(LF信号1049)を等化(イコライゼーション)ブロック1055に提供する。この例において、等化ブロック1055は、LF信号1049を等化するように構成され、また、1つ以上のタイプの利得、遅延などを適用するように構成され得る。この実装において、等化ブロック1055は、得られたLFスピーカフィード信号1057を再生環境1060のLFC再生スピーカに出力するように構成される。
【0114】
この例によれば、ハイパスフィルタ1025からのハイパスフィルタリングされたオーディオ信号1027が、等化ブロック1050に提供される。この例において、等化ブロック1050は、ハイパスフィルタリングされたオーディオ信号1027を等化するように構成され、また、1つ以上のタイプの利得、遅延などを適用するように構成され得る。ここでは、等化ブロック1050は、得られたハイパスフィルタリングされたスピーカフィード信号1052を、再生環境1060のメイン再生スピーカに出力する。
【0115】
これに代わる一部の実装は、LFオーディオオブジェクトのパニングを含まなくてもよい。一部のそのような代わりの実装は、低音を全てのサブウーファーに対して均一にパニングすることを含み得る。そのような実装は、フィルタリングの前にオーディオオブジェクトの加算を行うことを可能にし、それにより、計算の複雑さが節減される。一部のそのような例において、低音マネジメントされる信号は、
【数10】
のように表され得る。
【0116】
式14において、Nはオーディオオブジェクトの数を表し、Jはカットオフ周波数の数を表す。一部の実装において、得られたyBM(t)が、リスニング位置で知覚される低音振幅を保存するレベルで、全てのLFC再生スピーカに又は全てのサブウーファーに等しく供給され得る。
【0117】
図11は、均一低音実装の一例を示す機能ブロック図である。ブロック1115は、メインスピーカをターゲットとするパニング部(先の例でのハイのパニング部)を表しており、各メインスピーカ信号に独自に適用されるハイパスフィルタに続かれている。ブロック1130は、先の例の低周波パンニング及びフィルタリングの機能ブロックを置き換えるものである。パニングによる低音処理を、各固有のクロスオーバー周波数での単純な加算で置き換えることは、必要とされる計算を削減することとなり、低周波信号パンニングを計算する必要性を取り除くことに加えて、式を整理しなおして、J個のローパスフィルタのみがリアルタイムで走らされればよいようにすることができる。パニングされた低音の場合、JN個のフィルタが必要とされ、これは、リアルタイム実装では受け入れられないことがある。この例は、比較的低いクロスオーバー周波数を有した、LF空間精度をあまり必要としないシステムに最も適している。
【0118】
クロスオーバー周波数が約150Hzを超えて高くなると、遠いサブウーファーに対してスピーカが低音マネジメントされるときに、見かけの音響像におけるかなりのシフトが発生し得る。この問題は間引き(デシメーション)に適する。何故なら、LFC再生スピーカ周波数は一般に、サンプリング周波数と比較して非常に低いからである。狙いは、フィルタリング演算の計算コストを低減させて、相当なCPU負荷なしで各オーディオオブジェクトが独立に処理されることを可能にすることである。
【0119】
図12は、開示される1つの低音マネジメント方法に従った間引きの一例を提供する機能ブロック図である。この例によれば、パニング及びハイパスブロック1205が、先ず、オーディオオブジェクト位置データ及びメインスピーカレイアウトデータに従って振幅パニングを適用し、次いで、グラフ1210に示されるように、アクティブチャンネルの各々に対してハイパスフィルタを適用する。一部の例において、ハイパスフィルタはバターワースフィルタとし得る。これは、式7及び8を参照して上述したハイパス経路と等価である。
【0120】
この例によれば、間引きブロック1215が、入力オーディオオブジェクトのオーディオ信号を間引くように構成される。この例では、間引きブロック1215は64x間引きブロックである。一部のそのような例において、間引きブロック1215は、予め計算されたハーフバンドフィルタを用いる6段の1/2デシメータとし得る。一部の例において、ハーフバンドフィルタは、80dBの阻止帯域除去を有し得る。他の例において、間引きブロック1215は、オーディオデータを異なる程度まで間引いてもよく、及び/又は異なるタイプのフィルタ及び関連処理を使用してもよい。
【0121】
ハーフバンドフィルタには、以下の性質を持つ:
1. 係数のおよそ半分がゼロである。
2. 非ゼロの係数は対称である(線形位相、半倍)。
3. 遷移帯域がサンプリング周波数の約1/4に対して対称であり、それが各間引き段の後にバンドの頂部に向かってエイリアシングを発生させる。この理由のため、一部の実装は、残留エイリアシングを除去するために、より長い最終フィルタを使用する。
【0122】
性質3に関して、サブウーファーフィードの場合、約300Hzよりも上にエイリアシングが存在することを許すことが受け入れられ得る。例えば、150Hzの最大カットオフ周波数を規定する場合、サブウーファーフィードは300Hz近くで少なくとも-24dBであり、故に、これらの周波数でのエイリアシングはフルレンジスピーカフィードによってマスクされることになると仮定するのが合理的である。
【0123】
48kHzのサンプリング周波数では、最終段での実効サンプリング周波数は750Hzであり、375Hzのナイキスト周波数となる。従って、一部の実装において、300Hzを、エイリアシング成分を許容することができる最低周波数として規定することができる。
【0124】
この例によれば、LPフィルタモジュール1220が、LFオーディオデータを生成するためのフィルタを設計して適用するように構成される。この中の別の箇所で説明したように、LFオーディオデータを生成するために適用されるフィルタは、一部の実装においてバンドパス及びハイパスフィルタも含むことができる。この実装では、LPフィルタモジュール1220は、間引きブロック1215から受け取った間引かれたオーディオデータと、(グラフ1225に示されるような)低音パワー不足分とに少なくとも部分的に基づいてフィルタを設計するように構成される。LPフィルタモジュール1220は、上述の方法のうちの1つ以上に従ってパワー不足分を決定するように構成され得る。
【0125】
例えば、バターワースハイパスフィルタの解析的な振幅スペクトルを、上の不足分の式(式5)と組み合わせて、LFC再生スピーカフィードのスペクトルは、
【数11】
のように表され得る。
【0126】
フィルタc(ω)は、例えば、有限インパルス応答(FIR)フィルタとして設計されることができ、また、64xの間引き率で適用されることができる。
【0127】
この例において、LPフィルタモジュール1220はまた、設計されたフィルタによって生成されたLFオーディオデータをパニングするように構成される。この例によれば、LPフィルタモジュール1220によって生成されたLFスピーカフィード信号が、加算ブロック1230に提供される。加算ブロック1230によって生成された加算LFスピーカフィード信号が、元の入力サンプルレートでLFスピーカフィード信号を出力するように構成された補間ブロック1235に提供される。得られたLFスピーカフィード信号1237が、再生環境のLFC再生スピーカ1240に提供され得る。
【0128】
この例では、パニング及びハイパスブロック1205によって生成されたハイパススピーカフィード信号が、加算ブロック1250に提供される。加算ブロック1250によって生成された加算ハイパススピーカフィード信号1255が、再生環境のメイン再生スピーカ1260に提供される。
【0129】
この開示に記載された実施形態に対する様々な変更が、当業者に容易に明らかとなり得る。ここで規定された一般原理は、この開示の精神又は範囲から逸脱することなく、他の実装に適用され得る。従って、特許請求の範囲は、ここに示された実装に限定されることは意図されず、この開示、ここに開示された原理及び新規な特徴と一貫した最も広い範囲に一致すべきである。