特許 6082160 任意Ｎ角形のメッシュとして編成されたスピーカーを用いたオーディオレンダリング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6082160

(24)【登録日】2017年1月27日

(45)【発行日】2017年2月15日

(54)【発明の名称】任意Ｎ角形のメッシュとして編成されたスピーカーを用いたオーディオレンダリング

(51)【国際特許分類】

   H04R 3/12 20060101AFI20170206BHJP

   H04R 1/40 20060101ALI20170206BHJP

【ＦＩ】

   H04R3/12 Z

   H04R1/40 310

【請求項の数】8

【全頁数】27

(21)【出願番号】特願2016-505498(P2016-505498)

(86)(22)【出願日】2014年3月19日

(65)【公表番号】特表2016-518049(P2016-518049A)

(43)【公表日】2016年6月20日

(86)【国際出願番号】US2014031239

(87)【国際公開番号】WO2014160576

(87)【国際公開日】20141002

【審査請求日】2015年10月22日

(31)【優先権主張番号】61/805,977

(32)【優先日】2013年3月28日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】トウィンゴ，ニコラ エール

【審査官】 大石 剛

(56)【参考文献】

【文献】 特開２０１０−２５２２２０（ＪＰ，Ａ）

【文献】 Kenneth Faller II 他，Acoustic Performance of an Installed Real-Time Three-Dimensional Audio System，Proceedings of Meetings on Acoustics，米国，Acoustical Society of America，２０１０年 ９月１９日，[オンライン],[検索日 2016.12.21],インターネット：<URL：http://asa.scitation.org/doi/abs/10.1121/1.3580300>，ＵＲＬ，http://asa.scitation.org/doi/abs/10.1121/1.3580300

【文献】 Akio Ando 他，Sound Intensity-Based Three-Dimensional Panning，AES Convention 126，米国，Audio Engineering Society，２００９年 ５月 １日，paper number 7675，[オンライン],[検索日 2016.12.21],インターネット：<URL：http://www.aes.org/e-lib/browse.cfm?elib=14871>，ＵＲＬ，http://www.aes.org/e-lib/browse.cfm?elib=14871

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｒ １／４０

Ｈ０４Ｒ ３／１２

(57)【特許請求の範囲】

【請求項1】

少なくとも１つのソースを示すオーディオプログラムをレンダリングする方法であって、一連のソース配置を含む軌跡に沿って前記ソースをスピーカーのアレイにパンさせるためのスピーカーフィードを生成することを含み、当該方法は、
スピーカーの前記アレイのうちのスピーカーの配置の三角形分割を用いて初期メッシュを決定することであって、前記初期メッシュの面は三角形面であり、前記三角形面の頂点の位置はスピーカーの配置に対応する、ことと、
メッシュを決定することであって、前記メッシュの面Ｆ_ｉが凸状のＮ角形であり、前記Ｎ角形の頂点の位置がスピーカーの配置に対応し、ｉは範囲１≦ｉ≦Ｍの中のインデックスであり、Ｍは２より大きい整数であり、前記面Ｆ_ｉの各々は、Ｎ_ｉ個の辺を有する凸状の多角形であり、Ｎ_ｉは２より大きいいずれかの整数であり、Ｎ_ｉは前記面のうち少なくとも１つについて３より大きく、前記メッシュを決定することは、前記メッシュがより高い左右対称性を提示するように、かつ／あるいは前記メッシュの面が前記初期メッシュの面より細長くなくなるように、前記初期メッシュの三角形面のうち少なくとも２つを非三角形の凸状のＮ角形である少なくとも１つの置換面で置換し、これにより前記メッシュを生成することを含み、前記の置換することは、前記三角形面のうち少なくとも２つにより共有されているへりを除去することを含む、ことと、
前記一連のソース配置のうちの複数のソース配置の各々について、
前記メッシュの面上へのソース配置の投影を決定することと、
前記メッシュの面の頂点の位置に配置が対応するスピーカーのアレイのうちのスピーカーのサブセットについて、利得を決定することと、
スピーカーの前記サブセットについて、スピーカーフィードを生成することであって、スピーカーの前記サブセットについての前記利得を前記オーディオプログラムのオーディオサンプルに適用することを含む、ことと、
を含む、方法。

【請求項2】

前記メッシュの面は、少なくとも１つの三角形面と少なくとも１つの四角形面とを含む、請求項１に記載の方法。

【請求項3】

前記メッシュの面は、少なくとも１つの三角形面と少なくとも１つの平面の四角形面とを含む、請求項１又は請求項２に記載の方法。

【請求項4】

前記メッシュの面の各々は凸状の平面の多角形であり、前記一連のソース配置のうちの前記複数のソース配置の各々について、当該方法は、
ソース配置が投影される面の頂点に関して、前記メッシュの面上へのソース配置の投影の一般化された重心座標を決定すること
をさらに含む、請求項１乃至３のうちいずれか１項に記載の方法。

【請求項5】

スピーカーの前記アレイのうちのスピーカーの前記サブセットについての前記利得は、ソース配置が投影され且つスピーカーの前記アレイのうちのスピーカーの前記サブセットに対応する面の頂点に関して、前記メッシュの面上へのソース配置の投影の前記一般化された重心座標である、請求項４に記載の方法。

【請求項6】

前記メッシュの面は、第１の平面におけるスピーカーの前記アレイのうちのスピーカーの配置に対応し、スピーカーの前記アレイは、第２の平面におけるスピーカーをさらに含み、前記一連のソース配置のうちのソース配置のうち１又は複数について、当該方法は、
前記第２の平面におけるスピーカーの前記アレイのうちのスピーカーのサブセットについて、利得を決定することと、
前記第１の平面におけるスピーカーの前記アレイのうちのスピーカーの前記サブセットについての前記利得と前記第２の平面におけるスピーカーの前記アレイのうちのスピーカーの前記サブセットについての前記利得とをブレンドすることと、
前記第１の平面におけるスピーカーの前記サブセットと前記第２の平面におけるスピーカーの前記サブセットのブレンドについて、スピーカーフィードを生成することであって、前記のブレンドされた利得を前記オーディオプログラムのオーディオサンプルに適用することを含む、ことと、
をさらに含む、請求項１乃至５のうちいずれか１項に記載の方法。

【請求項7】

少なくとも１つのソースと該ソースについての軌跡とを示すオーディオプログラムをレンダリングするシステムであって、スピーカーのアレイを用いて前記軌跡に沿って前記ソースをパンするためのスピーカーフィードを生成することを含み、前記軌跡は一連のソース配置を含み、当該システムは、請求項１乃至６のうちいずれか１項に記載の方法を実行するように適合させた１又は複数のサブシステムを含む、システム。

【請求項8】

１又は複数のプロセッサにより実行されると請求項１乃至６のうちいずれか１項に記載の方法を装置に実施させるコンピュータ可読命令を含む非一時的記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１３年５月２８日に申請された米国仮特許出願第６１／８０５９７７号に対して優先を主張し、その全体を本明細書において参照により援用する。

【0002】

本発明は、スピーカーのアレイを用いてオーディオプログラムをレンダリングするシステム及び方法に関し、これにおいてスピーカーはメッシュとして編成されることが仮定され、メッシュの面は任意のＮ角形（多角形）であり、Ｎ角形の頂点がスピーカーの配置に対応する。典型的に、上記プログラムは少なくとも１つのソースを示すものであり、レンダリングすることは、スピーカーを用いて軌跡に沿ってソースをパンすることを含み、上記スピーカーはメッシュとして編成されることが仮定され、メッシュの面は任意のＮ角形であり、Ｎ角形の頂点はスピーカーの配置に対応する。

【背景技術】

【0003】

Ｋｅｎｎｅｔｈ Ｆａｌｌｅｒらの“Ａｃｏｕｓｔｉｃ Ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ａｎ Ｉｎｓｔａｌｌｅｄ Ｒｅａｌ‐Ｔｉｍｅ Ｔｈｒｅｅ‐Ｄｉｍｅｎｓｉｏｎａｌ Ａｕｄｉｏ Ｓｙｓｔｅｍ”、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｍｅｅｔｉｎｇｓ ｏｎ Ａｃｏｕｓｔｉｃｓ、ボリューム１１、２０１０年には、ベクトルベースの振幅パンニングを用いたオーディオシステムの実行が記載されている。Ａｋｉｏ Ａｎｄｏらの“Ｓｏｕｎｄ ｉｎｔｅｇｒｉｔｙ ｂａｓｅｄ ｔｈｒｅｅ‐ｄｉｍｅｎｓｉｏｎａｌ ｐａｎｎｉｎｇ”、Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ Ｃｏｎｖｅｎｔｉｏｎ Ｐａｐｅｒ、２００９年５月７‐１０日、ドイツ、ミュンヘンには、ベクトルベースの振幅パンニングを用いたオーディオシステムが記載されている。Ｖｉｌｌｅ Ｐｕｌｋｋｉの“Ｓｐａｔｉａｌ Ｓｏｕｎｄ Ｇｅｎｅｒａｔｉｏｎ ａｎｄ Ｐｅｒｃｅｐｔｉｏｎ ｂｙ Ａｍｐｌｉｔｕｄｅ Ｐａｎｎｉｎｇ Ｔｅｃｈｎｏｌｏｇｉｅｓ”、Ｈｅｌｓｉｎｋｉ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ、Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｔｅｃｈｎｉｃａｌ Ｐｈｙｓｉｃｓ、Ｄｉｓｓｅｒｔａｔｉｏｎ、２００１年１月１日には、ベクトルベースの振幅パンニングを用いたオーディオシステムが記載されている。
サウンドパンニングは、サウンドソースがラウドスピーカーのアレイによる再生のための軌跡に沿って移動することを示すオーディオレンダリングプロセスであり、通常のオーディオプログラムレンダリングの重要なコンポーネントである。一般的な場合、ラウドスピーカーは任意に位置づけることができる。ゆえに、ラウドスピーカーが広範なラウドスピーカー位置を有することができて、パンニングプロセスにおけるラウドスピーカー配置を正しく把握するやり方でサウンドパンニングを実施することが望ましい。理想的に、パンニングは、任意数の任意に位置づけられたスピーカーを含むいずれのラウドスピーカーアレイについてもラウドスピーカーの位置を正しく把握している。

【0004】

通常のパンニング実施において、ソース軌跡は、一組の時間的に変化する位置のメタデータによって、通常３次元（３Ｄ）空間において、例えばデカルト（ｘ，ｙ，ｚ）座標系を用いて定義される。ラウドスピーカー位置は、同じ座標系において表現することができる。通常、座標系は、基準の表面又はボリュームに対して正規化される。

【0005】

一組のラウドスピーカー位置と所望の知覚されるサウンドソース配置とを仮定すると、パンニングプロセスは、正しい知覚イメージを作り出すために（ラウドスピーカーの全部のアレイのうち）ラウドスピーカーのどのサブセットがパンの間の各瞬間に使用されることになるかを決定するステップを含み得る。このプロセスは、通常、一組の利得ｗ_ｉを計算するステップを含み、各サブセット（“ｉ”個の寄与するスピーカーを含むことが仮定され、ここで、ｉは何らかの正の整数である）のスピーカーは、サブセットのうち“ｉ”番目のスピーカーが下式に比例するスピーカーフィードにより駆動されるように、上記利得で重み付けされたソース信号Ｓのコピーを再生することになる。

【0006】

【数1】

利得は、ｐ＝１の場合は振幅保持（amplitude preserving）であり、ｐ＝２の場合は累乗保持（power preserving）である。

【0007】

いくつかの従来のオーディオプログラムレンダリング法は、プログラムを（例えば、パンの間のいずれかの瞬間に）再生することになるラウドスピーカーが、リスナー（例えば、スピーカーアレイの「スイートスポット」にいるリスナー）に対して名目上２次元（２Ｄ）空間に配列されていると仮定する。他のいくつかの従来のオーディオプログラムレンダリング法は、プログラムを（例えば、パンの間のいずれかの瞬間に）再生することになるラウドスピーカーが、リスナー（例えば、スピーカーアレイの「スイートスポット」にいるリスナー）に対して３次元（３Ｄ）空間に配列されていると仮定する。

【0008】

最も従来的なパンニングへのアプローチ（例えば、ベクトルベースの振幅パンニング、又は“ＶＢＡＰ”）は、利用可能ラウドスピーカーのアレイが、円形（スピーカーの一次元アレイ）に沿ったスピーカー、又はあり得るソース方向の球面を近似する３Ｄ三角形メッシュ（メッシュ面が三角形である３Ｄメッシュ）の頂点にあるスピーカーで構築されていると仮定する（例えば、図１３に示される「球面」であり、図１３に図示される６つのスピーカーの近似位置に合わせられている）。図１３のスピーカーの配置はデカルト座標系に関連して表現されており、図１３のスピーカーの１つがこうした座標系の原点“（０，０，０）”にある。あるいは、従来のパンニング法は、別のタイプの座標系に関連してスピーカー配置を表現することもある（そして、座標系の原点は、スピーカーのいずれかの位置に一致する必要はない）。

【0009】

本明細書において、ラウドスピーカーの「メッシュ」は、頂点、へり及び面の集合を表し、この集合は多面体構造の形状を表し（例えば、メッシュが３次元であるとき）、あるいはその外縁が多角形を定義する（例えば、メッシュが２次元であるとき）。ここで、頂点の各々は、ラウドスピーカーのうち異なる１つのラウドスピーカーの配置である。面の各々は多角形であり（多角形の外縁がメッシュのへりのサブセットであり）、へりの各々はメッシュのうちの２つの頂点間に伸びる。

【0010】

例えば、５つのスピーカー（例えば、図１においてスピーカー１、２、３、４及び５とラベル付けされたもの）の一次元アレイを含むサウンド再生システムを用いて従来の方向ベースの２Ｄサウンドパンニング（「ペアワイズパンニング」として知られる）を実施するためには、スピーカーは、仮定されるリスナーの配置（図１における配置“Ｌ”）を中心とした円形に沿って位置づけられるよう仮定されることがある。例えば、こうしたシステムは、図１のスピーカー１、２、３、４及び５がリスナー位置Ｌから少なくとも実質的に等距離にあるように位置づけられると仮定し得る。スピーカーから出されるサウンドがスピーカーの平面の中の（リスナーに対する）あるソース配置のオーディオソース（図１の配置「Ｓ」）から出ていると知覚されるようにオーディオプログラムを再生するために、ソース配置に及ぶ２つのスピーカー（すなわち、ソース配置に最も近い２つのスピーカーであり、その間にソース配置が存在する）を決定することができ、それから、これら２つのスピーカーのスピーカーフィードに適用すべき利得を、２つのスピーカーから出されるサウンドをソース配置から出ていると知覚させるように決定することができる。例えば、図１のスピーカー１及び２はソース配置Ｓに及んでおり、通常の従来法は、これらスピーカーから出されるサウンドをソース配置Ｓから出ていると知覚させるようにスピーカー１及び２のスピーカーフィードに適用すべき利得を決定するであろう。パンの間、ソース配置がリスナーに対して（仮定されるスピーカー配置により定義される円形に沿った軌跡に沿って）移動するとき、通常の従来法は、利用可能スピーカーの一連のペアの各々について、スピーカーフィードに適用すべき利得を決定し得る。

【0011】

別の例として、７つのスピーカー（例えば、図２においてスピーカー１０、１１、１２、１３、１５、１６及び１７とラベル付けされたもの）を含むサウンド再生システムを用いて通常タイプの従来の方向ベースの３Ｄサウンドパンニング（ベクトルベースの振幅パンニング、又は“ＶＢＡＰ”として知られる）を実施するためには、スピーカーは、凸状３Ｄメッシュとして構築され、該メッシュの面は三角形であると仮定され、仮定のリスナーの配置（図２における配置“Ｌ”）を囲んでいる。例えば、パンニング方法は、図２のスピーカー１０、１１、１２、１３、１５、１６及び１７が三角形のメッシュにおいて配列され、３つのスピーカーが図２に図示される三角形の各々の頂点にあると仮定し得る。スピーカーから出されるサウンドがスピーカーの平面の中の（リスナーに対する）あるソース配置のオーディオソース（図２の配置「Ｓ」）から出ていると知覚されるようにオーディオプログラムを再生するために、メッシュ上へのソース配置の投影（図２における配置“Ｓ１”）を含む三角形（すなわち、リスナー配置Ｌからソース配置Ｓへの線が交わる三角形）を決定することができる。それから、この三角形の頂点にある３つのスピーカーのスピーカーフィードに適用すべき利得を、これら３つのスピーカーから出されるサウンドをソース配置から出ていると知覚させるように決定することができる。例えば、図２のスピーカー１０、１１及び１２は、メッシュ上へのソース配置Ｓの投影（図２における配置“Ｓ１”）を含む三角形の頂点に配置され、こうした方法の一例では、スピーカー１０、１１及び１２から出されるサウンドがソース配置Ｓから出ていると知覚されるように、これらスピーカーのスピーカーフィードに適用すべき利得を決定するであろう。パンの間、ソース配置がリスナーに対して（メッシュ上に投影された軌跡に沿って）移動するとき、通常の従来法は、一連の三角形のうちの各三角形の頂点にあるスピーカーの三つ揃い（トリプレット）ごとに、スピーカーフィードに適用すべき利得を決定することができ、上記三角形は、メッシュ上へのソース配置の現在の投影を含む。

【0012】

しかしながら、従来の方向パンニング法は、多くのタイプのサウンドパンを実施するのに最適ではなく、リスニングボリューム又は領域の内側に任意に配置されたスピーカーをサポートしていない。他の従来のパンニング法、例えば距離ベースの振幅パンニング（ＤＢＡＰ）などは、位置ベースであり、各ラウドスピーカーと所望のソース配置との間の直線距離測定に依存してパンニング利得を計算する。従来の方法は、任意のスピーカーアレイとパンニング軌跡とをサポートすることができるが、非常に多くのスピーカーを同時に始動させる傾向があり、このことは音色劣化につながる。従来のＶＢＡＰパンニング法は、多くの共通軌跡のうちいずれかに沿ってソースが移動するパンを安定的に実施することができない。例えば、「スイートスポット」付近のソース軌跡（スピーカーのメッシュにより定義されるボリュームを横切るソース軌跡）は、（スイートスポットにおける仮定のリスナー位置に対するソース位置の）急な方向変化と、したがって突然の利得変動とを誘導する可能性がある。例えば、多くの通常のソース軌跡に沿ったパンの間、特にメッシュが細長いスピーカー三角形を含むとき、従来のＶＢＡＰ法は、パンの継続時間の少なくとも一部の間、スピーカーのペアを（すなわち、一時にスピーカーを２つだけ）駆動することがあり、かつ／あるいは、連続的に駆動されるスピーカーのペア又はトリプレットの位置が、パンの継続時間の少なくとも一部の間、リスナーにとって知覚可能であり気をそらされる突然の大きい変化を被ることがある。例えば、駆動される複数のスピーカーは、２つのスピーカーが短い距離で区切られ、それから別のスピーカーのペアがもっと長い距離で区切られ、それから別のスピーカーのペアが比較的短い距離で区切られるなどを立て続けに含むことがある。こうした不安定なパンニング実施（不安定であると知覚される実施）は、パンがリスナーに対して斜めのソース軌跡に沿うとき（例えばソースが、スピーカーとリスナーとを囲む部屋の、左及び／又は右と前方及び／又は後方との双方に移動する場合）、特に起こり得る。

【0013】

別のタイプのオーディオレンダリングが、２０１３年１月１０日に国際公開第ＷＯ２０１３／００６３３０ Ａ２号下で公開されているＰＣＴ国際出願第ＰＣＴ／ＵＳ２０１２／０４４３６３号に記載されており、本出願の譲受人に譲渡されている。このタイプのレンダリングは、種々の高さにおけるいくつかの２次元平面レイヤ（水平レイヤ）へと編成されたラウドスピーカーのアレイを仮定し得る。各水平レイヤのスピーカーは、軸に整列されいる（すなわち、各水平レイヤは、行及び列へと編成されたスピーカーを含み、この列は、リスニング環境のいくつかの特徴で整列されていて、例えば、列は環境の前方‐後方軸に平行である）。例えば、図３（又は、図４若しくは図５）のスピーカー２０、２１、２２、２３、２４、２５、２６、２７、２８、２９、３０及び３１は、こうしたアレイの一例の一水平レイヤのスピーカーである。（図３、図４又は図５の）スピーカー２０‐３１は、５つの行（例えば、ある行はスピーカー２０、２１及び２２を含み、別の行はスピーカー３１及び２３を含む）と５つの列（例えば、ある列はスピーカー２９、３０及び３１を含み、別の列はスピーカー２０及び２８を含む）とへ編成される。スピーカー２０、２１及び２３が部屋（例えば、シアター）の前方壁に沿って天井付近に位置づけられてよく、スピーカー２６、２７及び２８が部屋の後方壁に沿って（同様に天井付近に）位置づけられてよい。第２の組の１２個のスピーカーが、より低い水平レイヤに（例えば、部屋の床付近に）位置づけられてよい。こうして、図３−図５の例において、スピーカーの全体アレイ（各水平レイヤのスピーカーを含む）が、仮定されるリスナー（例えば、スピーカーアレイの「スイートスポット」にいると仮定されるリスナー）の位置を囲むスピーカーの長方形メッシュを定義する。

【0014】

（各水平レイヤのスピーカーを含む）スピーカーの全体アレイは、３スピーカーの（三角形の）スピーカーグループの従来の凸状３Ｄメッシュも定義し、このメッシュもまた、仮定されるリスナー位置（例えば「スイートスポット」）を囲み、メッシュの各面は、頂点が３つのスピーカーの位置に一致する三角形である。三角形のスピーカーグループから成るこうした従来の凸状３Ｄメッシュは、図２を参照して記載されたメッシュと同じタイプのものである。

【0015】

「遠距離場（far-field）」ソース配置と呼ばれることもある、スピーカーアレイの外側の（例えば、図３−図５のメッシュの外側の）ソース配置におけるオーディオソースをイメージさせるために、ＰＣＴ国際出願第ＰＣＴ／ＵＳ２０１２／０４４３６３号は、従来のＶＢＡＰパンニング法（又は従来の波動場合成法）の使用を教示している。こうした従来のＶＢＡＰ法は、図２を参照して記載されたタイプのものであり、（図２を参照して記載されたタイプの）三角形のスピーカーグループから成る従来の凸状３Ｄメッシュとしてスピーカーが編成されると仮定している。スピーカーから出されるサウンドが所望の遠距離場ソース配置におけるソースから出ていると知覚されるように（ソースを示す）オーディオプログラムをレンダリングするように、三角形メッシュ上へのソース配置の投影を含む三角形の面（三角形）が決定される。それから、この三角形の頂点にある３つのスピーカーのスピーカーフィードに適用すべき利得が、これら３つのスピーカーから出されるサウンドをソース配置から出ていると知覚させるように決定される。こうした遠距離場ソースは、３Ｄ三角形メッシュに投影された遠距離場軌跡に沿ってパンされるため、従来のＶＢＡＰ法によってイメージすることができる。別の代替法は、２Ｄレイヤの各１つにおいて２Ｄ方向ペアワイズパンニング法（例えば、図１を参照して言及されたものなど）を適用し、ソース高さ（ｚ座標）に応じて結果的なスピーカー利得を結合することである。

【0016】

ＰＣＴ国際出願第ＰＣＴ／ＵＳ２０１２／０４４３６３号はさらに、「近距離場（near-field）」ソース配置と呼ばれることがある、スピーカーアレイの内側の（例えば、図３−図５のメッシュの内側の）ソース配置においてオーディオソースをレンダリングする「デュアルバランス」パンニング法の実行を教示している。デュアルバランスパンニング法は、方向的なパンニングアプローチというよりも位置的なパンニングアプローチである。この方法は、仮定されるリスナー位置を囲む長方形のアレイ（スピーカーの水平レイヤを含む）においてスピーカーが編成されると仮定する。しかしながら、デュアルバランスパンニング法は、このアレイの長方形面上へのソース配置の投影を決定し、それからスピーカーから出されるサウンドをソース配置から出ていると知覚させるように上記面の頂点にあるスピーカーのスピーカーフィードに適用すべき利得を決定するものではない。

【0017】

むしろ、デュアルバランスパンニング法は、近距離場ソース配置ごとに、一組の左→右パンニング利得（すなわち、スピーカーアレイの水平レイヤのうち１つについてのスピーカーごとの左から右への利得）と一組の前→後パンニング利得（すなわち、上記アレイと同じ水平レイヤについてのスピーカーごとの前方から後方への利得）とを決定する。この方法は、（近距離場ソース配置ごとの）レイヤのスピーカーごとの前→後パンニング利得と（同じ近距離場ソース配置についての）スピーカーの左→右パンニング利得とを乗算して、水平レイヤのスピーカーごとの最終利得を（近距離場ソース配置ごとに）決定する。水平レイヤのスピーカーを駆動することによってソースのパンを実施するために、一連の最終利得がレイヤのスピーカーごとに決定され、最終利得の各々は、前→後パンニング利得の１つと対応する左→右パンニング利得の１つとの積である。

【0018】

１つの水平面の中のスピーカーを用いて一連の近距離場ソース配置を通じて任意的な水平パンをレンダリングするために（例えば、パンは、水平面に投影された任意的な近距離場軌跡、例えば、図５に図示されるソースＳの軌跡に沿った、リスナーに対するソース配置の移動を示す）、上記方法は、通常、水平面の中のスピーカーのスピーカーフィードに適用すべき一連の左→右パンニング利得（ソース配置ごとに１つの左→右パンニング利得）を決定するであろう。例えば、図３に図示されるソース位置Ｓの左→右パンニング利得は、（ソース位置の水平面の中の）スピーカーの各行のうち２つのスピーカーに関して計算されてよく、該各行は、ソース位置を囲む（平面の中のスピーカーのうちの）２つの列のスピーカーを含む（例えば、１行目のスピーカー２０及び２１と、２行目のスピーカー３１及び２３と、３行目のスピーカー３０及び２４と、４行目のスピーカー２９及び２５と、最後の行のスピーカー２８及び２７に関してであり、スピーカー２２及び２６の左→右パンニング利得はゼロに設定される）。上記方法は、通常、水平面の中のスピーカーのスピーカーフィードに適用すべき一連の前→後パンニング利得（ソース配置ごとに１つの前→後パンニング利得）をさらに決定するであろう。例えば、図４に図示されるソース位置Ｓの前→後パンニング利得は、ソース位置を囲む平面の中のスピーカーのうち２つの行の各々の２つのスピーカーに関して計算されてよい（例えば、左列のスピーカー３０及び３１に関してと右列のスピーカー２３及び２４に関してとであり、スピーカー２０、２１、２２、２５、２６、２７、２８及び２９の前→後パンニング利得はゼロに設定される）。それから、（任意的な水平パンをレンダリングするために）水平面の各スピーカーのスピーカーフィードに適用すべき一連の利得（「最終利得」）は、スピーカーの前→後パンニング利得にスピーカーの左→右パンニング利得を乗算することによって決定されることになる（したがって、一連の最終利得の中の各最終利得は、前→後パンニング利得の１つと対応する左→右パンニング利得の１つとの積である）。

【0019】

長方形メッシュのすべての水平面の中のスピーカーを用いて（長方形アレイ内のどこかで３Ｄ「近距離場」軌跡に沿って）任意的なパンをレンダリングするために（例えば、パンは、メッシュ内の任意的な近距離場軌跡に沿った、リスナーに対するソース配置の移動を示す）、メッシュの各水平面内のスピーカーのスピーカーフィードのための利得は、ソース軌跡の（水平面上への）投影について、これまでの段落に記載されたデュアルバランスパンニングによって決定されてもよい。それから、ソース軌跡の（垂直面上への）投影を用いて、一連の「高さ」重みが、各水平面のスピーカーのための利得に関して決定されることになる（したがって、例えば、垂直面上への軌跡の投影が水平面の中又は付近にあるとき、高さ重みは水平面に対して比較的高くなり、垂直面上への軌跡の投影が水平面から離れているとき、高さ重みは水平面に対して比較的小さくなる）。それから、（任意的な３Ｄパンをレンダリングするために）長方形メッシュの水平面の各々のスピーカーごとのスピーカーフィードに適用すべき一連の利得（「最終利得」）は、各レイヤの中のスピーカーの利得に高さ重みを乗算することによって決定されてよい。

【0020】

例えば、デュアルバランスパンニング法は、シアターにおける（最上水平面の）一組の「天井」スピーカーと少なくとも一組の低部（例えば、壁又は床）スピーカー（低部スピーカーの各組は、最上水平面より低い水平面に位置づけられる）とを含む（図３−図５を参照して記載されたタイプの）スピーカーの長方形アレイ内のどこかで３Ｄ「近距離場」軌跡に沿った任意的なパンをレンダリングすることができる。シアターの側壁に平行に垂直面においてパンするために、レンダリングシステムは、変曲点（ムービースクリーンから後方壁に向かって離れた一定の距離）に達するまで、天井スピーカーを通してパンし（すなわち、天井スピーカーだけの一連のサブセットを用いてサウンドをレンダリングし）てよい。それから、天井スピーカーと低部スピーカーとのブレンドが、パンを続けるのに使用されてよい（したがって、ソースは、シアターの後方に移動するにつれて、下方に下がっていると知覚される）。ベースと天井とにおけるブレンドは、スクリーンに対する距離によってではなく、ソースのＺ座標（及び、各２ＤレイヤのスピーカーのＺ座標）によって駆動される。

【0021】

記載されたデュアルバランスパンニング法は、ラウドスピーカーの特定配列（水平面において配列されたスピーカーであって、各水平面の中のスピーカーは行及び列において配列される）を仮定する。ゆえに、この方法は、ラウドスピーカーの軌跡アレイ（例えば、任意数の任意的に位置づけられたスピーカーを含むアレイ）を用いてサウンドパンニングを実施するのに最適ではない。さらに、デュアルバランスパンニング法は、スピーカーが多角形のメッシュとして編成されることを仮定せず、こうしたメッシュの面上へのソース配置（例えば、一連のソース配置の各々）の投影と、スピーカーから出されるサウンドをソース配置から出ていると知覚させるように上記の面の頂点にあるスピーカーのスピーカーフィードに適用すべき利得とを決定しない。（メッシュとして編成されたスピーカーアレイの）１つの多角形面の頂点にある各スピーカーについての利得だけの効率的な決定を実施し、１つのこうした面の頂点にあるスピーカーだけを（いずれかの瞬間に）駆動してソース配置におけるソースをイメージさせるのではなく、デュアルバランス法は、上記のアレイのスピーカーのうち少なくとも１つの水平面のすべてのスピーカーについての利得（前→後パンニング利得及び左→右パンニング利得）を決定し、前→後パンニング利得と左→右パンニング利得との双方が（いずれかの瞬間に）非ゼロであるすべてのスピーカーを駆動する。

【0022】

本発明のいくつかの実施形態は、オーディオオブジェクトコーディング（又は、オブジェクトベースのコーディング、若しくは「シーン記述」）と呼ばれる一種のオーディオコーディングによってエンコードされているオーディオプログラムをレンダリングするシステム及び方法に向けられている。これらは、各々の上記のオーディオプログラム（本明細書においてオブジェクトベースのオーディオプログラムと呼ばれる）が多数の種々のアレイのラウドスピーカーのいずれかによってレンダリングされ得ることを仮定する。こうしたオブジェクトベースのオーディオプログラムの各チャネルは、オブジェクトチャネルであり得る。オーディオオブジェクトコーディングにおいて、別々のサウンドソース（オーディオオブジェクト）に関連付けられたオーディオ信号は、別個のオーディオストリームとしてエンコーダに入力される。オーディオオブジェクトの例には（これらに限らないが）ダイアログトラック、単一の楽器、及びジェット機が挙げられる。各オーディオオブジェクトは空間パラメータと関係しており、それらは（これらに限らないが）ソース位置、ソース幅、及びソース速度及び／又は軌跡を含むことができる。オーディオオブジェクト及び関係するパラメータは、配給及び記憶のためにエンコードされる。最終的なオーディオオブジェクトミキシング及びレンダリングは、オーディオプログラム再生の一部として、オーディオ記憶及び／又は配給チェーンの受け取り側で、実行される。オーディオオブジェクトミキシング及びレンダリングのステップは、典型的には、プログラムを再生するために採用されるラウドスピーカーの実際の位置についての知識に基づく。

【0023】

典型的には、オブジェクトベースのオーディオプログラムを生成する間に、コンテンツ作成者は、ミックスの空間的意図（例えば、プログラムの各オブジェクトチャネルにより決定される各オーディオオブジェクトの軌跡）を、メタデータをプログラムに含めることによって埋め込む。メタデータは、プログラムの各オブジェクトチャネルにより決定される各オーディオオブジェクトの位置若しくは軌跡、並びに／又は各々のこうしたオブジェクトのサイズ、速度、タイプ（例えば、ダイアログ又は音楽）及び別の特性のうちの少なくとも１つを表すことができる。

【0024】

オブジェクトベースのオーディオプログラムをレンダリングする間に、各オブジェクトチャネルは、チャネルのコンテンツを表すスピーカーフィードを生成することにより、そしてスピーカーフィードを一組のラウドスピーカーに（ラウドスピーカーの各々の物理的位置がいかなる時点においても所望の位置と一致する場合もあり、一致しない場合もあるが）適用することにより、（所望の軌跡を有し時間的に変化する位置「で」）レンダリングすることができる。一組のラウドスピーカーについてのスピーカーフィードは、複数のオブジェクトチャネル（又は単一のオブジェクトチャネル）のコンテンツを表すことができる。レンダリングシステムは、典型的には、特定の再生システム（例えば、ホームシアターシステムのスピーカー構成であって、この場合にはレンダリングシステムはホームシアターシステムの一要素でもある）の正確なハードウェア構成と適合するように、スピーカーフィードを生成する。

【0025】

オブジェクトベースのオーディオプログラムがオーディオオブジェクトの軌跡を表す場合には、レンダリングシステムは、典型的には、上記軌跡を有するオーディオオブジェクトから出ていると知覚されるべく意図されている（そして、典型的には、知覚されることになる）サウンドを出すように、ラウドスピーカーのアレイを駆動するためのスピーカーフィードを生成することになる。例えば、プログラムは、楽器（オブジェクト）からのサウンドが左から右にパンするべきことを表すことができ、レンダリングシステムは、アレイのＬ（左前方）スピーカーからアレイのＣ（中央前方）スピーカーへ、それからアレイのＲ（右前方）スピーカーへパンしていると知覚されることになるサウンドを出すように、ラウドスピーカーの５．１アレイを駆動するためのスピーカーフィードを生成することができる。

【発明の概要】

【0026】

一分類の実施形態において、本発明は、少なくとも１つのソースを示すオーディオプログラムをレンダリングする方法であって、一連のソース配置を含む軌跡に沿ってソースをラウドスピーカーのアレイにパンさせるためのスピーカーフィードを生成することを含み、上記方法は、
（ａ）メッシュを決定するステップであって、該メッシュの面Ｆ_ｉが凸状のＮ角形であり、上記Ｎ角形の頂点の位置がラウドスピーカーの配置に対応し、ｉは範囲１≦ｉ≦Ｍの中のインデックスであり、Ｍは２より大きい整数であり、上記面Ｆ_ｉの各々は、Ｎ_ｉ個の辺を有する凸状の多角形であり、Ｎ_ｉは２より大きいいずれかの整数であり、Ｎ_ｉは上記面の少なくとも１つについて３より大きい、ステップと、
（ｂ）上記メッシュの一連の面上へのソース配置の一連の投影を決定し、上記一連の面のうちの上記メッシュの各面の頂点の位置に配置が対応するラウドスピーカーの各サブセットについて、一組の利得を決定するステップと、
を含む。

【0027】

いくつかの実施形態において、ステップ（ａ）は、面が三角形面である初期メッシュを決定するステップであって、三角形面の頂点の位置がラウドスピーカーの配置に対応する、ステップと、初期メッシュの三角形面のうち少なくとも２つを非三角形の凸状のＮ角形である少なくとも１つの置換面で置換するステップであって、これにより上記メッシュを生成する、ステップと、を含む。

【0028】

いくつかの実施形態において、ラウドスピーカー配置は一組の２Ｄレイヤであり、各ソース配置はメッシュの内側の「近距離場」配置であり、ステップ（ｂ）において決定される投影は、上記２Ｄレイヤ上への直接に直交する投影である。いくつかの実施形態において、各ソース配置は上記メッシュの外側の「遠距離場」配置であり、メッシュは、スピーカーの多角形化された（polygonized）「球面」であり、ステップ（ｂ）において決定される投影は、スピーカーの多角形化された球面上への直接の投影である。

【0029】

メッシュの凸状のＮ角形は、典型的に、凸状の平面のＮ角形であり、その頂点の位置はラウドスピーカーの配置に対応する（各頂点は、スピーカーのうち異なる１つの配置に対応する）。例えば、メッシュは、メッシュの面のうちいくつかが三角形でありメッシュの面のうちいくつかが四角形である２次元（２Ｄ）メッシュ又は３次元（３Ｄ）メッシュであってよい。メッシュ構造は、ユーザ定義されてもよく、あるいは自動的に計算されてもよい（例えば、スピーカー位置又はその凸包のドローネー三角分割法によって、面が三角形であるメッシュを決定し、その後、当初の三角形分割により決定された三角形面のいくつかを非三角形の凸状の（及び、典型的には平面の）Ｎ角形で置換する）。

【0030】

いくつかの実施形態において、本発明は、少なくとも１つのソースを示すオーディオプログラムをレンダリングする方法であって、メッシュとして編成されると仮定されたラウドスピーカーのアレイを用いて、一連のソース配置を含む軌跡に沿って上記ソースをパンすることを含み、上記メッシュの面Ｆ_ｉは凸状のＮ角形であり、上記Ｎ角形の頂点の位置はラウドスピーカーの配置に対応し、ｉは範囲１≦ｉ≦Ｍの中のインデックスであり、Ｍは２より大きい整数であり、面Ｆ_ｉの各々は、Ｎ_ｉ個の辺を有する凸状の多角形であり、Ｎ_ｉは２より大きいいずれかの整数であり、Ｎ_ｉは上記面のうち少なくとも１つについて３より大きく、上記方法は、
（ａ）ソース配置の各々について、メッシュ上へのソース配置の投影を含むメッシュの交差面を決定し、これにより各上記交差面について、交差面の頂点に位置が一致するスピーカーのサブセットを決定するステップと、
（ｂ）上記オーディオプログラムのオーディオサンプルに利得を適用することによりスピーカーフィードが生成され、かつスピーカーの上記サブセットが上記スピーカーフィードにより駆動されるとき、スピーカーの上記サブセットに対応するソース配置から出ていると知覚されるサウンドをスピーカーの上記サブセットが出すことになるように、スピーカーの各上記サブセットについて、上記利得を決定するステップと、
を含む。典型的に、上記方法は、スピーカーの各上記サブセットについての一組のスピーカーフィードを生成するステップをさらに含み、スピーカーのサブセットについてステップ（ｂ）において決定される利得を、上記オーディオプログラムのオーディオサンプルに適用することを含む。

【0031】

典型的に、Ｎ角形は平面の多角形であり、ステップ（ｂ）は、投影についての交差面の頂点に関して、ソース配置の各上記投影の一般化された重心座標を計算するステップを含む。いくつかの実施形態において、スピーカーの各上記サブセットについてステップ（ｂ）において決定される利得は、スピーカーの上記サブセットに対応する交差面の頂点に関する、ソース配置の投影の一般化された重心座標である。いくつかの実施形態において、スピーカーの各上記サブセットについてステップ（ｂ）において決定される利得は、スピーカーの上記サブセットに対応する交差面の頂点に関する、ソース配置の投影の一般化された重心座標から決定される。

【0032】

一分類の実施形態において、本発明は、少なくとも１つのソースを示すオーディオプログラムをレンダリングする方法であって、メッシュ（２Ｄ又は３Ｄメッシュ、例えば、凸状の３Ｄメッシュ）として編成されたスピーカーのアレイを用いて、一連のソース配置を含む軌跡に沿って上記ソースをパンすることを含み、上記メッシュの面は凸状の（及び、典型的に平面の）Ｎ角形であり、Ｎは面ごとに変動することができ、Ｎは上記メッシュの少なくとも１つの面について３より大きく、上記メッシュは仮定されるリスナー配置を囲み、上記方法は、
（ａ）ソース配置の各々について、上記メッシュ上へのソース配置の投影を含む上記メッシュの交差面を決定するステップであって、これにより各上記交差面について、交差面の頂点に位置が一致するスピーカーのサブセットを決定する、ステップと、
（ｂ）スピーカーの各上記サブセットについて、利得を決定するステップと、
（ｃ）スピーカーの上記サブセットがスピーカーフィードにより駆動されるとき、スピーカーの上記サブセットに対応するソース配置から出ていると知覚されるサウンドをスピーカーの上記サブセットが出すことになるように、スピーカーの各上記サブセットについて、一組のスピーカーフィードを生成するステップであって、スピーカーの上記サブセットについてステップ（ｂ）において決定された利得を上記オーディオプログラムのオーディオサンプルに適用することを含む、ステップと、
を含む。

【0033】

いくつかの実施形態において、スピーカーのアレイのメッシュ構造は、（スピーカー位置が三角形の頂点に一致する状態で）面が三角形である初期メッシュを決定するようにスピーカー位置（又は、その凸包）の三角形分割によって計算され、その後、スピーカー位置がＮ角形の頂点に一致する状態で初期メッシュの三角形面の少なくとも１つ（例えば、２つ以上）を非三角形の凸状の（及び、典型的に平面の）Ｎ角形（例えば、四角形）で置換することが続く。細長い三角形である初期メッシュの面は、典型的なパンニングにあまり適さず、近隣と共有されているへりを初期メッシュから除去することによって四角形へと崩されてもよく、より均一のパンニング領域がもたらされることになる。

【0034】

例えば、リスナーに対して斜めのソース軌跡に沿った、パンの不安定な実施（不安定であると知覚される実施）を回避するために（例えば、スピーカーとリスナーとが部屋の中にあり、パン軌跡が部屋の左（又は右）と部屋の後方（又は前方）との双方に向かって伸びている場合）、本発明のいくつかの実施形態は、スピーカーのアレイのメッシュ構造を下記のとおり決定する。スピーカーのアレイの初期メッシュ構造が、スピーカー位置（又はその凸包）の三角形分割によって計算される。初期メッシュの面は、頂点がスピーカー位置に一致する三角形である。それから、初期メッシュの三角形面の少なくともいくつかが、頂点がスピーカー位置に一致する凸状の非三角形のＮ角形（例えば、四角形）で置換される。例えば、非均一なようにパンニングエリア／ボリュームの左側及び右側をカバーする（初期メッシュの）三角形面は、より均一にパンニングエリア／ボリュームの左側及び右側をカバーする四角形面（又は、他の非三角形のＮ角形である面）へとマージされてもよい。例えば、初期メッシュの各三角形について、スイートスポット（例えば、メッシュ境界ボリュームの中心）の左に対する三角形のエリアが計算されて、スイートスポットの右に対する三角形のエリアと比較されてもよい。三角形が、スイートスポットの左側及び右側の双方に伸びていて、スイートスポットの左に対するそのエリアの部分が、スイートスポットの右に対するそのエリアの部分とはかなり異なる場合、この三角形は、スイートスポットに関してより均一である非三角形のＮ角形へと崩されてもよい。

【0035】

いくつかの実施形態において、スピーカーのアレイは、頂点がスピーカー配置に一致するメッシュとして編成されると仮定される（オーディオプログラムのレンダリングの間、各ソース配置について、メッシュ上へのソース配置の投影を含むメッシュの交差面を決定することを含む）が、メッシュの構造は、初期メッシュの変更によって決定されない。代わって、メッシュは、非三角形の凸状の（及び、典型的に平面の）Ｎ角形（例えば、四角形）である少なくとも１つの面を、Ｎ角形の頂点がスピーカー配置に一致する状態で含む初期メッシュである。

【0036】

本発明の典型的実施形態において、多角形（多角形面）のメッシュとして編成されたスピーカーのアレイを用いて一連の（２Ｄ又は３Ｄの）見かけ上のソース位置を通じてサウンドソースのパンをレンダリングするために、上記メッシュは、非三角形の凸状の（及び、典型的に平面の）Ｎ角形である少なくとも１つの面を含み（Ｎ角形の頂点は、スピーカー位置に一致し）、パンの間のいずれかの瞬間に寄与するＮ角形（上記の瞬間に駆動すべきメッシュの面）は、（例えば、テストすることによって）下記の基準を満たすメッシュの多角形であると決定される：仮定されるリスナー位置（例えば、スイートスポット）を（ある瞬間の）ターゲットソース位置につなぐ線が、寄与するＮ角形、又は寄与するＮ角形により囲まれた領域と交差する。典型的に、仮定されるリスナー位置をターゲットソース位置につなぐ線がある瞬間にメッシュの面のうち２つと交差する（すなわち、線が２つの面の間のへりと交差する）場合、上記面のうち一方だけがこの瞬間に寄与するＮ角形として選択される。

【0037】

寄与するＮ角形であると選択されたメッシュの各Ｎ角形の各頂点について（ゆえに、位置がこれら頂点の１つに一致する各スピーカーについて）、寄与するＮ角形が平面のＮ角形である場合、利得は、典型的に、ターゲットソースポイントについての寄与するＮ角形に関して（すなわち、リスナー位置からターゲットソースポイントへの線と、寄与するＮ角形又は寄与するＮ角形内のポイントとの交点について）、一般化された重心座標を計算することによって決定される。重心座標ｂ_ｉ（ここで、ｉは範囲１≦ｉ≦Ｎの中のインデックスである）、若しくはその累乗（例えば、ｂ_ｉ^２）、又は（累乗又は振幅を保持するような）これらの再正規化されたバージョンが、パンニング利得として使用されてもよい。別の例として、重心座標ｂ_ｉは本発明のいずれかの実施形態に従い各ターゲットソースポイントについて決定され、重心座標の変更されたバージョン（例えば、ｆ（ｂ_ｉ）であり、“ｆ（ｂ_ｉ）”は値ｂ_ｉの何らかの関数を表す）がパンニング利得として使用される。例えば、関数ｆ（ｂ_ｉ）は、ｆ（ｂ_ｉ）＝（ｂ_ｉ）^ｐであってもよく、ここで、ｐは何らかの数である（典型的に、ｐは１と２との間の範囲内であろう）。

【0038】

寄与するＮ角形が非平面のＮ角形（例えば、実質的に平面であるが正確には平面でない四角形）である場合、寄与するＮ角形の各頂点についての利得は、例えば、一般化された重心座標を計算する従来法のバリエーションによって、あるいは、非平面のＮ角形を平面のＮ角形へと分割し又は平面のＮ角形をそれに合わせてから平面のＮ角形についての一般化された重心座標を決定することによって、同様に決定される。

【0039】

本発明の態様は、本発明方法のいずれかの実施形態を実行するように構成された（例えば、プログラムされた）システムと、本発明方法のいずれかの実施形態を実施するためのコードを記憶したコンピュータ可読媒体（例えば、ディスク）とを含む。

【0040】

典型的な実施形態において、本発明システムは、本発明方法の実施形態を実行するようにソフトウェア（又はファームウェア）でプログラムされ、かつ／あるいはその他の方法で構成された汎用目的又は特別目的のプロセッサであり、あるいは該プロセッサを含む。いくつかの実施形態において、本発明システムは、入力オーディオを受信するように結合され、（本発明方法の実施形態を実行することによって）入力オーディオに応答して出力オーディオを生成するように（適切なソフトウェアを用いて）プログラムされた汎用目的プロセッサであり、あるいは該プロセッサを含む。他の実施形態において、本発明システムは、入力オーディオに応答してスピーカーフィード（及び／又は、スピーカーフィードを示すデータ）を生成するための利得値を生成するように動作可能な適切に構成された（例えば、プログラムされ、あるいはその他の方法で構成された）オーディオデジタルシグナルプロセッサ（ＤＳＰ）であり、あるいは該プロセッサを含む。

【図面の簡単な説明】

【0041】

【図1】２Ｄサウンドパンニングのための一従来法により仮定されるタイプの、円形に沿って編成されたスピーカーの一次元（１Ｄ）メッシュの図である。

【図2】３Ｄサウンドパンニングのための従来の方向ベースの一方法（例えば、従来の方向ベースのＶＢＡＰ法）により仮定されるタイプの、スピーカーの３次元（３Ｄ）三角形メッシュの図である。

【図3】３Ｄサウンドパンニングのための一従来法により仮定されるタイプの、スピーカーの３Ｄ長方形メッシュの１つの水平レイヤの図である。

【図4】３Ｄサウンドパンニングのための一従来法により仮定されるタイプの、スピーカーの３Ｄ長方形メッシュの１つの水平レイヤの図である。

【図5】３Ｄサウンドパンニングのための一従来法により仮定されるタイプの、スピーカーの３Ｄ長方形メッシュの１つの水平レイヤの図である。

【図6】３Ｄサウンドパンニングのための本発明方法の一実施形態により仮定されるスピーカーの３次元（３Ｄ）メッシュの図である。

【図7】サウンドパンニングのための一従来法により仮定されるスピーカーの三角形メッシュの図である。

【図8】サウンドパンニングのための本発明方法の一実施形態により仮定されるスピーカーのメッシュ（図７のメッシュの変更版）の図である。

【図8A】サウンドパンニングのための本発明方法の別の実施形態により仮定されるスピーカーのメッシュの図である。

【図9】サウンドパンニングのための一従来法により仮定されるスピーカーの三角形メッシュの図である。

【図10】サウンドパンニングのための本発明方法の一実施形態により仮定されるスピーカーのメッシュ（図９のメッシュの変更版）の図である。

【図11】（部屋の床上に位置づけられた）軸に整列されたスピーカー１００、１０１、１０２、１０３、１０４、１０５及び１０６と、（部屋の天井に位置づけられた）スピーカー１１０、１１１、１１２、１１３、１１４及び１１５とのアレイの図である。本発明の一実施形態に従い、スピーカー１１０‐１１５はスピーカーのメッシュとして編成され、該メッシュの面は三角形面Ｔ２０及びＴ２１と四角形面Ｑ１０とを含む。

【図12】一システムのブロック図であり、本発明方法の一実施形態を実行するように上記システムのプロセッサ５０１をプログラミングするコンピュータコードを記憶したコンピュータ可読記憶媒体５０４を含む。

【図13】サウンドパンニングのための一従来法（ＶＢＡＰ法）により仮定されるタイプの６つのスピーカーの３Ｄメッシュの図である。図１３に示される球面（「球面」）は、６つのスピーカーの近似位置に合わせられる。

【発明を実施するための形態】

【0042】

記法及び用語
請求項を含む本開示全体にわたって、信号又はデータ「上で」操作を行う（例えば、信号又はデータに対してフィルタリングする、スケーリングする、変換する、又は利得を適用する）という表現は広い意味において使用されて、信号又はデータに直接、あるいは信号又はデータの処理されたバージョンに（例えば、信号への操作の実行の前に予備的なフィルタリング又は前処理を受けている信号のバージョンに）操作を行うことを表す。

【0043】

請求項を含む本開示全体にわたって、表現「システム」は広い意味において使用されて、装置、システム又はサブシステムを表す。例えば、デコーダを実施するサブシステムはデコーダシステムと呼ばれることがあり、こうしたサブシステムを含むシステム（例えば、複数の入力に応答してＸ個の出力信号を生成するシステムにおいて、そのサブシステムが、入力のうちＭ個を生成し、他のＸ−Ｍ個の入力は外部ソースから受信される）がデコーダシステムと呼ばれることもある。

【0044】

請求項を含む本開示全体にわたって、用語「プロセッサ」は広い意味において使用されて、データ（例えば、オーディオ、又はビデオ若しくは他のイメージデータ）上での操作を実行するように（例えば、ソフトウェア又はファームウェアを用いて）プログラム可能又はその他の方法で構成可能なシステム又は装置を表す。プロセッサの例には、フィールドプログラマブルゲートアレイ（又は、他の構成可能な集積回路若しくはチップセット）と、オーディオ又は他のサウンドデータ上でパイプライン処理を実行するようにプログラムされ、かつ／あるいはその他の方法で構成されたデジタルシグナルプロセッサと、プログラム可能な汎用目的プロセッサ又はコンピュータと、プログラム可能マイクロプロセッサチップ又はチップセットとが挙げられる。

【0045】

請求項を含む本開示全体にわたって、表現「オーディオプロセッサ」及び「オーディオ処理ユニット」は、置き換え可能に、広い意味において使用されて、オーディオデータを処理するように構成されたシステムを表す。オーディオ処理ユニットの例には、これらに限らないが、エンコーダ（例えばトランスコーダ）、デコーダ、コーデック、前処理システム、後処理システム、及びビットストリーム処理システム（ビットストリーム処理ツールと呼ばれることがある）が挙げられる。

【0046】

請求項を含む本開示全体にわたって、表現「メタデータ」（例えば、「処理状態メタデータ」といった表現など）は、対応するオーディオデータ（メタデータを同様に含むビットストリームのオーディオコンテンツ）からの別個かつ異なるデータを指す。メタデータはオーディオデータに関連付けられており、オーディオデータの少なくとも１つの特徴又は特性を示す（例えば、オーディオデータ上でどのタイプの処理がすでに実行されているか、あるいは実行されるべきか）。メタデータのオーディオデータとの関連は、時間的に同期している。ゆえに、現在の（最も直近に受信され、あるいは更新された）メタデータは、対応するオーディオデータが同期間に指示された特徴を有し、かつ／あるいは指示されたタイプのオーディオデータ処理の結果を含むことを示すことができる。

【0047】

請求項を含む本開示全体にわたって、用語「結合する」又は「結合される」は、直接接続又は間接接続のいずれかを意味するように使用される。ゆえに、第１の装置が第２の装置に結合する場合、その接続は、直接接続によってか、あるいは他の装置及び接続を介した間接接続によってかであり得る。

【0048】

請求項を含む本開示全体にわたって、凸状平面Ｎ角形の中の（により囲まれた）ポイント又は凸状平面Ｎ角形上のポイントについての「重心座標」という表現は、周知の従来的な意味において使用される（例えば、Ｍｅｙｅｒらの“Ｇｅｎｅｒａｌｉｚｅｄ Ｂａｒｙｃｅｎｔｒｉｃ Ｃｏｏｒｄｉｎａｔｅｓ ｏｎ Ｉｒｒｅｇｕｌａｒ Ｐｏｌｙｇｏｎｓ”、Ｊｏｕｒｎａｌ ｏｆ Ｇｒａｐｈｉｃｓ Ｔｏｏｌｓ、ボリューム７、１版、２００２年１１月、頁１３‐２２に定義されるとおりである）。

【0049】

請求項を含む本開示全体にわたって、下記の表現は下記の定義を有する：
スピーカー及びラウドスピーカーは、同意語として使用されて何らかのサウンドを出す変換器を表す。この定義は、複数の変換器（例えば、ウーファ及びツイーター）として実施されたラウドスピーカーを含む；
スピーカーフィード：ラウドスピーカーに直接適用されるオーディオ信号、又は増幅器及びラウドスピーカーに直列に適用されるべきオーディオ信号；
チャネル（又は「オーディオチャネル」）：モノラルオーディオ信号。この信号は、典型的には、所望の位置又は名目的位置でラウドスピーカーに直接信号を印加することと等価な方法で、レンダリングされる。所望の位置は、物理的ラウドスピーカーと典型的に同様に静的であってもよく、動的であってもよい；
オーディオプログラム：一組の１つ又は複数のオーディオチャネル（少なくとも１つのスピーカーチャネル及び／又は少なくとも１つのオブジェクトチャネル）、さらに場合により、関連するメタデータ（例えば、所望の空間オーディオ表現を記述するメタデータ）；
スピーカーチャネル（又は「スピーカーフィードチャネル」）：指定されたラウドスピーカー（所望の位置又は名目的位置で）と関連する、又は、定義されたスピーカー構成内の指定されたスピーカーゾーンと関連するオーディオチャネル。スピーカーチャネルは、指定されたラウドスピーカー（所望の位置又は名目的位置で）、又は指定されたスピーカーゾーンのスピーカーに直接オーディオ信号を印加することと等価な方法で、レンダリングされる；
オブジェクトチャネル：オーディオソース（オーディオ「オブジェクト」と呼ばれることがある）によって出されるサウンドを表すオーディオチャネル。典型的には、オブジェクトチャネルは、パラメトリックオーディオソース記述を決定する。ソース記述は、（時間の関数としての）ソースにより出されるサウンドと、時間の関数としてのソースの見かけ上の位置（例えば、３Ｄ空間座標）と、さらに場合により、ソースを特徴付ける少なくとも１つの付加パラメータ（例えば、見かけ上のソースのサイズ又は幅）とを決定することができる；
オブジェクトベースのオーディオプログラム：一組の１つ又は複数のオブジェクトチャネル（さらに場合により、少なくとも１つのスピーカーチャネルを含む）と、さらに場合により、所望の空間オーディオ表現を記述する関連するメタデータと（例えば、オブジェクトチャネルによって示されるサウンドを出すオーディオオブジェクトの軌跡を表すメタデータ）を含むオーディオプログラム；
レンダリング：オーディオプログラムを１つ又は複数のスピーカーフィードに変換する処理、又はオーディオプログラムを１つ又は複数のスピーカーフィードに変換して、１つ又は複数のラウドスピーカーを用いてスピーカーフィードをサウンドに変換する処理（後者の場合、本明細書では、そのレンダリングをラウドスピーカー「による」レンダリングと呼ぶことがある）。所望の位置の物理的ラウドスピーカーに信号を直接印加することによって、オーディオチャネルを（所望の位置「で」）自明にレンダリングすることができる。あるいは、このような自明なレンダリングに（リスナーにとって）実質的に等価であるように設計された様々な仮想化技術の１つを用いて、１つ又は複数のオーディオチャネルをレンダリングすることができる。この後者の場合、各オーディオチャネルは、通常所望の位置とは異なる既知の位置にあるラウドスピーカーに適用すべき１つ又は複数のスピーカーフィードへと変換することができる。そうすると、フィードに応答してラウドスピーカーによって出されるサウンドは、所望の位置から出ていると知覚されることになる。このような仮想化技術の例は、ヘッドホン（例えば、ヘッドホン着用者に対して最高７．１チャネルのサラウンドサウンドをシミュレートするドルビーヘッドホン処理を用いる）を介したバイノーラルレンダリング及び波動場合成を含む。

【0050】

好適な実施形態の詳細な説明
本発明についての多くの実施形態が技術的に可能である。これらを実施する方法は、本開示から当業者に明らかになるであろう。本発明システム、方法及び媒体の実施形態は、図６、図７、図８、図９、図１０、図１１及び図１２を参照して記載される。

【0051】

一分類の実施形態において、本発明は、少なくとも１つのソースを示すオーディオプログラムをレンダリングする方法であって、凸状Ｎ角形（典型的には、凸状の平面のＮ角形）のメッシュ（例えば、２次元メッシュ又は３次元メッシュ）として編成されたラウドスピーカーのアレイを用いて、（仮定されるリスナー位置に対する）軌跡に沿ってソースをパンニングすることを含む。メッシュは面Ｆ_ｉを有し、ここでｉは範囲１≦ｉ≦Ｍの中のインデックスであり、Ｍは２より大きい整数である。各面Ｆ_ｉはＮ_ｉ個の辺を有する凸状の（及び、典型的に平面の）多角形であり、Ｎ_ｉは２より大きいいずれかの整数であり、数Ｎ_ｉは面ごとに変動してもよいが、面のうち少なくとも１つについて３より大きい。メッシュの頂点の各々が、ラウドスピーカーのうち異なる１つの配置に対応する。例えば、メッシュは、２次元（２Ｄ）メッシュ又は３次元（３Ｄ）メッシュであってよく、この場合、メッシュの面のいくつかが三角形であり、メッシュの面のいくつかが四角形である。メッシュ構造は、ユーザ定義されてもよく、あるいは、自動的に計算されてもよい（例えば、スピーカー位置又はその凸包のドローネー三角分割法によって、面が三角形であるメッシュを決定し、その後、（最初の三角形分割により決定された）三角形面のいくつかを非三角形の凸状の（及び、典型的には平面の）Ｎ角形で置換する）。

【0052】

一分類の実施形態において、本発明は、少なくとも１つのソースを示すオーディオプログラムをレンダリングする方法であって、面が凸状の（及び、典型的に平面の）Ｎ角形である２Ｄ又は３Ｄメッシュ（例えば、凸状３Ｄメッシュ）として編成されたスピーカーのアレイを用いて、一連のソース配置を含む軌跡に沿ってソースをパンニングすることを含み、（ここで、Ｎは面ごとに変動してもよく、Ｎは、上記メッシュの少なくとも１つの面について３より大きい）、上記メッシュは仮定されるリスナーの配置を囲み、上記方法は、
（ａ）ソース配置の各々について、上記メッシュ上へのソース配置の投影を含む上記メッシュの交差面を決定するステップであって、これにより、各上記交差面について、交差面の頂点に位置が一致するスピーカーのサブセットを決定する、ステップと、
（ｂ）スピーカーの上記サブセットから出されるサウンドを対応するソース配置から出ていると知覚させるように、スピーカーの各上記サブセットについてのスピーカーフィードに適用すべき利得を決定するステップと、
を含む。

【0053】

例えば、メッシュは、図７に図示される従来のメッシュの改良版であり得る。図７のメッシュは、三角形面Ｔ１、Ｔ２、Ｔ４及びＴ６の頂点において７つのスピーカーを編成している。図７の上端は、７つのスピーカーを含む部屋の前方に対応し、下端は部屋の後方に対応し、仮定されるリスナー位置（スイートスポット）は図７の中心（部屋の中心）である。しかしながら、パンを（例えば、部屋の前方右コーナーと部屋の後方左コーナーとの間で）実施するとき、このパンは、スピーカーが図７のメッシュに従い編成されていると仮定される場合、不安定であり得る。

【0054】

一般に、パンを実施するとき、下記の４つの望ましい基準の間にトレードオフが存在する：いかなる瞬間にも所望のソース配置に近接する最少数のスピーカーを始動すること（すなわち、駆動すること）、（スイートスポットにおける）安定度、広範囲の仮定されるリスナー位置にわたる（例えば、広いスイートスポットにわたる）安定度、及び、音色の忠実度。より多くのスピーカーが各瞬間に同時に始動される場合、パンはより安定することになるが、典型的には、より悪化した音色の忠実度と、広いスイートスポットにわたってより悪化した安定度とを有することになる。さらに、一貫した一組の左右対称なスピーカーをある領域にわたって始動することが望ましい。

【0055】

一般に、従来の、三角形分割アルゴリズムを実行することによる（パンの実施の間に仮定される）スピーカー位置のメッシュの決定は、非対称的な左右構成につながる可能性があり、このことは通常、望ましくない。例えば、図７の従来法で決定されたメッシュは三角形Ｔ１及びＴ２を含み、これら三角形は左右対称性を有していない。三角形Ｔ２の中のソースは、スイートスポットの右に対してより多くのスピーカーを始動することになり、三角形Ｔ１の中のソースは、左に対してより多くのスピーカーを始動することになる。ゆえに、（図７のメッシュを仮定し、従来の方法で実施される）部屋の前方右コーナーから後方左コーナーへのパンの間、スイートスポットの右に対してより多くのスピーカーが始動される（パンの間の）時間間隔とスイートスポットの左に対してより多くのスピーカーが始動される（パンの間の）時間間隔との間に、望ましくない突然の移行が存在することになる。

【0056】

ゆえに、本発明の一実施形態によれば、図７のメッシュにより編成されたのと同じ７つのスピーカーが（同じ部屋の中で）、図７のメッシュではなく、図８に図示されるメッシュに従い編成されると仮定される。図８のメッシュによれば、スピーカーは、三角形面Ｔ４、Ｔ５及びＴ６と平面の四角形面Ｑ１との頂点に編成される。図８の上端は、スピーカーを含む部屋の前方に対応し、下端は部屋の後方に対応し、仮定されるリスナー位置（スイートスポット）は図８の中心（部屋の中心）である。部屋の前方右コーナーと部屋の後方左コーナーとの間のパンを実施するとき、このパンは、図８のメッシュに従いスピーカーが編成されると（本発明の一実施形態に従い）仮定される場合、面がすべて三角形である従来のメッシュ（例えば、図７のもの）に従いスピーカーが編成されると仮定される場合よりも、より安定することになる。これはなぜならば、スピーカーが図８に従い編成されると仮定してパンが実施される場合、スイートスポットの右に対してより多くのスピーカーが始動される（パンの間の）時間間隔とスイートスポットの左に対してより多くのスピーカーが始動される（パンの間の）時間間隔との間に、望ましくない突然の移行が存在しないことになるからである。

【0057】

本発明の他の実施形態において、軸に整列されていない（及び、仮定されるリスナー位置に関して対称的に整列されていない）一組のスピーカーが、非三角形の少なくとも１つの面を有するメッシュに従い編成されると仮定される。例えば、１つのこうした実施形態において、軸に整列されていない（及び、仮定されるリスナー位置に関して対称的に整列されていない）一組の７つのスピーカーが、図８Ａに図示されるメッシュに従い編成されると仮定される。図８Ａのメッシュに従い、スピーカーは、三角形面Ｔ４０、Ｔ５０及びＴ６０と平面の四角形面Ｑ１０との頂点に編成される。図８Ａの上端は、スピーカーを含む部屋の前方に対応する必要はなく、下端は、部屋の後方に対応する必要はない。

【0058】

いくつかの実施形態において、スピーカーのアレイのメッシュ構造は、面が三角形である初期メッシュを（スピーカー位置が三角形の頂点に一致する状態で）決定するようにスピーカー位置（又はその凸包）を三角形分割し、その後、初期メッシュの三角形面の少なくとも１つ（例えば２つ以上）を非三角形の凸状の（及び、典型的には平面の）Ｎ角形（例えば、四角形）で、スピーカー位置がＮ角形の頂点に一致する状態で置換することによって、計算される。細長い三角形である初期メッシュの面は、典型的なパンニングにあまり適さず、近隣と共有されているへりを初期メッシュから除去することによって四角形へと崩されてもよく、より均一のパンニング領域がもたらされることになる。

【0059】

例えば、（図２の）スピーカー位置１０、１１、１２、１３、１５、１６及び１７についての上記の初期の三角形分割が、図２に図示される初期メッシュを決定してもよい。この初期メッシュの面は、スピーカー位置が三角形の頂点に一致している三角形から成っている。初期メッシュは、本発明の例示的一実施形態によれば、頂点１２、１５及び１６を有する三角形面と頂点１２、１５及び１７を有する三角形面とを平面の凸状の四角形で置換するように変更されてもよい。ゆえに、初期メッシュは、図６の本発明メッシュを決定するように変更されてもよく、図６のメッシュは、図２の（頂点１２、１５及び１６と頂点１２、１５及び１７とを有する）２つの言及された三角形面に代わって、頂点１２、１５、１６及び１７を有する平面の凸状の四角形を含む。図２及び図６のスピーカーアレイの頂点１２付近の配置と頂点１５付近の配置との間でパンを実施するとき、このパンは、スピーカーが図６のメッシュに従い編成されると仮定される場合、スピーカーが図２の従来のメッシュに従い編成されると仮定される場合よりも、より安定することになる。

【0060】

別の例として、図９に図示されるスピーカーの従来の三角形メッシュを考える。図９のメッシュは、三角形面Ｔ７、Ｔ８、Ｔ９、Ｔ１０、Ｔ１１、Ｔ１２、Ｔ１３、Ｔ１４及びＴ１５の頂点に９つのスピーカーを編成している。図９の上端は、９つのスピーカーを含む部屋の前方に対応し、下端は部屋の後方に対応し、仮定されるリスナー位置は図９の中心（部屋の中心）である。いくつかのパン（例えば、前方中央スピーカー６０の配置から部屋の後方壁に沿った配置６１へのパン）を実施するとき、このパンは、スピーカーが図９のメッシュに従い編成されると仮定される場合、不安定である可能性がある。対照的に、図９のメッシュは、本発明の一実施形態によれば、図１０のメッシュを決定するように変更されてもよい（例えば、いくらかの所定閾角度より小さい角度を有する各三角形面を隣接する三角形面と共に崩して四角形面を決定する。細長い三角形面は、多くの典型的なパンを実施するのにあまり適さず、一方、四角形面は、こうしたパンを実施するのによく適している）。図１０のメッシュは、三角形面Ｔ９、Ｔ１２及びＴ１４（同じ面が、図９において同一に番号付けされたものである）と平面の四角形面Ｑ２、Ｑ３及びＱ４との頂点に、（図９のメッシュにより編成された）同じ９つのスピーカーを編成している。図１０の上端は、９つのスピーカーを含む部屋の前方に対応し、下端は部屋の後方に対応し、仮定されるリスナー位置は図１０の中心（部屋の中心）である。図１０のメッシュの面はあまり細長くなく、より高い左右対称性を有するため、スピーカーが（従来の図９のメッシュではなく）図１０のメッシュとして編成されると仮定することによって、典型的なパンは改良された方法で実施することができる。

【0061】

例えば、リスナーに対して斜めのソース軌跡に沿った、パンの不安定な実施（不安定であると知覚される実施）を回避するために（例えば、スピーカーとリスナーとが部屋の中にあり、パン軌跡は部屋の左（又は右）と部屋の後方（又は前方）との双方に向かって伸びている場合）、本発明のいくつかの実施形態は、スピーカーのアレイのメッシュ構造を下記のとおり決定する。スピーカーのアレイの初期メッシュ構造が、スピーカー位置（又はその凸包）の三角形分割によって計算される。初期メッシュ（例えば、図２のメッシュ）の面は、頂点がスピーカー位置に一致する三角形である。それから、初期メッシュの三角形面の少なくともいくつかを、頂点がスピーカー位置に一致する凸状の非三角形のＮ角形（例えば、四角形）で置換することによって、変更されたメッシュ（例えば、図６のメッシュ）が初期メッシュから決定される。例えば、非均一なようにパンニングエリア／ボリュームの左側及び右側をカバーする（初期メッシュの）三角形面は、より均一にパンニングエリア／ボリュームの左側及び右側をカバーする四角形面（又は、他の非三角形のＮ角形である面）へとマージされてもよい。例えば、初期メッシュの各三角形について、スイートスポット（例えば、メッシュ境界ボリュームの中心）の左に対する三角形のエリアが計算されて、スイートスポットの右に対する三角形のエリアと比較されてもよい。三角形が、スイートスポットの左側及び右側の双方に伸びていて、スイートスポットの左に対するそのエリアの部分が、スイートスポットの右に対するそのエリアの部分とはかなり異なる場合、この三角形は、スイートスポットに関してより均一である非三角形のＮ角形へと崩されてもよい。

【0062】

いくつかの実施形態において、スピーカーのアレイは、頂点がスピーカー配置に一致するメッシュとして編成されると仮定される（オーディオプログラムのレンダリングの間、各ソース配置について、メッシュ上へのソース配置の投影を含むメッシュの交差面を決定することを含む）が、メッシュの構造は、初期メッシュの変更によって決定されない。代わって、メッシュは、非三角形の凸状の（及び、典型的に平面の）Ｎ角形（例えば、四角形）である少なくとも１つの面を、Ｎ角形の頂点がスピーカー配置に一致する状態で含む初期メッシュである。

【0063】

本発明の典型的実施形態において、多角形（多角形面）のメッシュとして編成されたスピーカーのアレイを用いて一連の（２Ｄ又は３Ｄの）見かけ上のソース位置を通じてサウンドソースのパンをレンダリングするために、上記メッシュは、非三角形の凸状の（及び、典型的に平面の）Ｎ角形である少なくとも１つの面を含み（Ｎ角形の頂点は、スピーカー位置に一致し）、パンの間のいずれかの瞬間に寄与するＮ角形（上記の瞬間に駆動すべきメッシュの面）は、（例えば、テストすることによって）下記の基準を満たすメッシュの多角形であると決定される：仮定されるリスナー位置（例えば、スイートスポット）を（ある瞬間の）ターゲットソース位置につなぐ線が、寄与するＮ角形、又は寄与するＮ角形により囲まれた領域と交差する。典型的に、仮定されるリスナー位置をターゲットソース位置につなぐ線がある瞬間にメッシュの面のうち２つと交差する（すなわち、線が２つの面の間のへりと交差する）場合、上記面のうち一方だけがこの瞬間に寄与するＮ角形として選択される。

【0064】

例えば、図６のスピーカーアレイを用いてサウンドソースのパンをレンダリングするために、スピーカーは、図６のメッシュとして編成されると仮定されてよい。スピーカーアレイから出されるサウンドが、リスナー（図６における配置“Ｌ”）に対してメッシュの外側のソース配置（例えば、図６における配置“Ｓ２”）のオーディオソースから出ていると知覚されるようにオーディオプログラムを再生するためには、メッシュ上へのソース配置の投影（例えば、図６における配置“Ｓ３”）を含むメッシュの面（例えば、リスナー配置Ｌからソース配置Ｓ２への線が交わる面）が、寄与するＮ角形であると決定されてもよい。それから、この面の頂点におけるスピーカー（例えば、図６のスピーカー１０、１１及び１２）についてのスピーカーフィードに適用すべき利得が、これらスピーカーから出されるサウンドを上記ソース配置から出ていると知覚させるように決定されてもよい。同様にして、スピーカーアレイから出されるサウンドが、リスナーに対してメッシュの内側のソース配置（例えば、図６における配置“Ｓ４”）におけるオーディオソースから出ていると知覚されるようにオーディオプログラムを再生するためには、メッシュ上へのソース配置の投影（例えば、図６における配置“Ｓ５”）を含むメッシュの面（例えば、リスナー配置Ｌからソース配置Ｓ４への線が交わる三角形）が、寄与するＮ角形であると決定されてもよい。それから、この面の頂点におけるスピーカー（例えば、図６のスピーカー１３、１５及び１６）についてのスピーカーフィードに適用すべき利得が、これらスピーカーから出されるサウンドを上記ソース配置から出ていると知覚させるように決定されてもよい。別法として、スピーカーアレイから出されるサウンドがリスナーに対してメッシュの内側のソース配置（又は、一連のソース配置）におけるオーディオソースから出ていると知覚されるようにオーディオプログラムを再生するために、図６のアレイのスピーカーの別のサブセット（又は、一連のサブセット）が、何らかの他の方法で決定されてもよく（例えば、ソース配置Ｓ４から出ていると知覚されるようにサウンドをレンダリングするために、スピーカー１３、１５、１６、１１、１２及び１７から成るサブセットが選択されてもよい）、それから、各々の選択されたスピーカーのサブセットについてのスピーカーフィードに適用すべき利得が決定されてもよい。

【0065】

寄与するＮ角形であると選択されたメッシュの各Ｎ角形の各頂点について（ゆえに、位置がこれら頂点の１つに一致する各スピーカーについて）、寄与するＮ角形が平面のＮ角形である場合、利得は、典型的に、ターゲットソースポイントについての寄与するＮ角形に関して（すなわち、リスナー位置からターゲットソースポイントへの線と、寄与するＮ角形又は寄与するＮ角形内のポイントとの交点について）、一般化された重心座標（generalized barycentric coordinates）を計算することによって決定される。重心座標ｂ_ｉ（ここで、ｉは範囲１≦ｉ≦Ｎの中のインデックスである）、若しくはその累乗（例えば、ｂ_ｉ^２）、又は（累乗又は振幅を保持するような）これらの再正規化されたバージョンが、パンニング利得として使用されてもよい。ゆえに、（レンダリングされるオブジェクトベースのオーディオプログラムの）オブジェクトチャネルが、各ターゲットソースポイントについての一連のオーディオサンプルを含む場合、Ｎ個のスピーカーフィードが、一連のオーディオサンプルから（ターゲットソースポイントから出ていると知覚されるオーディオをレンダリングするために）生成されてもよい。Ｎ個のスピーカーフィードの各々は、一連のオーディオサンプルに対してパンニング利得のうち異なる１つ（例えば、重心座標のうち異なる１つ、又はこれらのスケール変更されたバージョン）を適用することを含むプロセスによって生成されてもよい。

【0066】

平面のＮ角形に関してあるポイントの一般化された重心座標を計算する方法は、広く知られている。平面のＮ角形に関してのあるポイントの一組の一般化された重心座標は、（例えば）Ｍｅｙｅｒらの論文（“Ｇｅｎｅｒａｌｉｚｅｄ Ｂａｒｙｃｅｎｔｒｉｃ Ｃｏｏｒｄｉｎａｔｅｓ ｏｎ Ｉｒｒｅｇｕｌａｒ Ｐｏｌｙｇｏｎｓ”、Ｊｏｕｒｎａｌ ｏｆ Ｇｒａｐｈｉｃｓ Ｔｏｏｌｓ、ボリューム７、１版、２００２年１１月、頁１３‐２２）に記載されているとおり、良く知られたアフィン結合、平滑さ及び頂点結合要件を満たさなければならない。

【0067】

寄与するＮ角形が非平面のＮ角形（例えば、実質的に平面であるが正確には平面でない四角形）である場合、寄与するＮ角形の各頂点についての利得は、例えば、一般化された重心座標を計算する従来法のバリエーションによって、あるいは、非平面のＮ角形を平面のＮ角形へと分割し又は平面のＮ角形をそれに合わせてから平面のＮ角形についての一般化された重心座標を決定することによって、同様に決定される。好ましくは、各々の寄与するＮ角形を決定する計算は、寄与するＮ角形を正確な平面でなくするであろう小さい浮動小数点の／数学的な誤差に対して堅牢であることになる。

【0068】

図１１は、軸に整列されたスピーカー１００、１０１、１０２、１０３、１０４、１０５及び１０６のレイヤ（部屋の床上に位置づけられる）と、スピーカー１１０、１１１、１１２、１１３、１１４及び１１５（スピーカーの別レイヤとして、部屋の天井に位置づけられ、軸に整列されていない）とを含むスピーカーのアレイの図である。本発明の一実施形態によれば、スピーカー１１０‐１１５はスピーカーの凸状の３Ｄメッシュとして編成され、このメッシュの面は、三角形面Ｔ２０、Ｔ２１と、四角形面Ｑ１０と、他の面（図１１に図示せず）とを含む。

【0069】

本発明の例示的一実施形態において、図１１のスピーカーアレイを用いてサウンドソースのパンをレンダリングするために、スピーカーは、図１１のメッシュとして編成されると仮定されてもよい。スピーカーアレイから出されるサウンドが仮定されるリスナー位置に対してソース配置におけるオーディオソースから出ていると知覚されるようにオーディオプログラムを再生するために、メッシュのレイヤ上へのソース配置の投影を含むメッシュの各レイヤの面が、寄与するＮ角形であると決定されてもよい。それから、各々のこうした面の頂点におけるスピーカー（例えば、寄与する面がＴ２０である場合は図１１のスピーカー１１０、１１１及び１１２、あるいは、寄与する面がＱ１０である場合は図１１のスピーカー１１２、１１３、１１４及び１１５）についてのスピーカーフィードに適用すべき利得が、これらスピーカーから出されるサウンドを上記ソース配置から出ていると知覚させるように決定されてもよい。

【0070】

本発明の別の例示的実施形態において、図１１のスピーカーアレイを用いてサウンドソースのパンをレンダリングするために、スピーカーは、図１１のメッシュとして編成されると仮定されてもよい。図２、図３及び図４を参照して上記で記載されたタイプのデュアルバランスパンニング法が、スピーカー１００、１０１、１０２、１０３、１０４、１０５及び１０６の平面の中でサウンドソースのパンをレンダリングするのに採用されてもよい。スピーカー１１０、１１１、１１２、１１３、１１４及び１１５の平面の中でサウンドソースのパンをレンダリングするために、メッシュ上へのソース配置の投影を含む図１１のメッシュの面（例えば、仮定されるリスナー位置からソース配置への線が交わる面）が、寄与するＮ角形であると決定されてもよい。それから、この面の頂点におけるスピーカー（例えば、寄与する面がＴ２０の場合は図１１のスピーカー１１０、１１１及び１１２、あるいは、寄与する面がＱ１０の場合はスピーカー１１２、１１３、１１４及び１１５）についてのスピーカーフィードに適用すべき利得が、これらスピーカーから出されるサウンドが上記ソース配置から出ていると知覚させるように決定されてもよい。

【0071】

例示的一実施形態において、天井に沿った第１の部分とスピーカー１０４及び１０５をつなぐ床上のラインに向かうメッシュ内の任意的３Ｄパスである第２の部分とを有する図１１のメッシュ内の３Ｄ軌跡に沿ってパンをレンダリングするために、レンダリングシステムは、最初、変曲点（スピーカー１０１からスピーカー１０４と１０５とにおけるラインに向かって離れた特定距離）に達するまでは、これまでの段落に記載された方法で（すなわち、天井スピーカー１１０‐１１５だけの一連のサブセットを用いてサウンドをレンダリングするように）天井スピーカー１１０、１１１、１１２、１１３、１１４及び１１５のサブセットを通じてパンしてもよい。それから、パンするステップ（例えば、図３‐図５を参照して上記で記載された方法のバリエーション）が、パンを続けるために今度は天井スピーカー１１０‐１１５のサブセットとより低いスピーカー１００‐１０６のサブセットとの一連のブレンド（blends）を決定する一連の利得を決定するように実行されてもよい（したがって、ソースがスピーカー１０４及び１０５をつなぐ床上のラインへ移動するとき、ソースは下方に下がっていると知覚される）。

【0072】

別の分類の実施形態において、本発明は、少なくとも１つのソースを示すオーディオプログラムをレンダリングする方法であって、一連のソース配置を含む軌跡に沿ってソースをラウドスピーカーのアレイにパンさせるためのスピーカーフィードを生成することを含み、上記方法は、
（ａ）３Ｄメッシュを決定するステップであって、該メッシュの面Ｆ_ｉが凸状のＮ角形であり、Ｎ角形の頂点の位置がラウドスピーカーの配置に対応し、ｉは範囲１≦ｉ≦Ｍの中のインデックスであり、Ｍは２より大きい整数であり、面Ｆ_ｉの各々は、Ｎ_ｉ個の辺を有する凸状の多角形であり、Ｎ_ｉは２より大きいいずれかの整数であり、Ｎ_ｉは面の少なくとも１つについて３より大きい（上記の３Ｄメッシュは、頂点がスピーカーの配置に対応する多面体である）、ステップと、
（ｂ）３Ｄメッシュの頂点の一連の頂点サブセットを決定し（上記の頂点サブセットの各々は、面が凸状のＮ角形であって頂点がスピーカーのサブセットの配置に対応する多面体を決定するか、あるいは、３Ｄメッシュの多角形面の１つを決定する）、サブセットの各々は、ソース配置の１つを囲み（取り囲み）、あるいは仮定されるリスナー位置からソース配置の１つへの線が交わる多角形面であり又は該多角形面を含み、さらに、３Ｄメッシュの頂点の一連の頂点サブセットのうちの一頂点サブセットの頂点の位置に配置が対応するラウドスピーカーの各サブセットについての一組の利得を決定するステップと、
を含む。

【0073】

いくつかの実施形態において、ステップ（ａ）は、面が三角形面である初期メッシュを決定するステップであって、三角形面の頂点の位置がラウドスピーカーの配置に対応する、ステップと、初期メッシュの三角形面のうち少なくとも２つを非三角形の凸状のＮ角形である少なくとも１つの置換面で置換するステップであって、これにより３Ｄメッシュを生成する、ステップと、を含む。いくつかの実施形態において、ステップ（ｂ）においてラウドスピーカー（その配置は、一連の頂点サブセットのうちの一頂点サブセットの頂点の位置に対応する）の各サブセットについて決定される利得は、ソース配置の１つについての、対応する頂点サブセットの頂点に関する一般化された重心座標である。

【0074】

典型的な実施形態において、本発明システムは、本発明方法の実施形態を実行するようにソフトウェア（又はファームウェア）でプログラムされ、かつ／あるいはその他の方法で構成された汎用目的又は特別目的のプロセッサ（例えば、図１２の処理サブシステム５０１の実施）であり、あるいは該プロセッサを含む。他の実施形態において、本発明システムは、構成可能なオーディオデジタルシグナルプロセッサ（ＤＳＰ）を本発明方法の実施形態を実行するように適切に構成することによって（例えば、プログラムすることによって）実施される。オーディオＤＳＰは、入力オーディオデータ上で様々な操作のうちいずれかを実行するように構成可能な（例えば、適切なソフトウェア又はファームウェアによってプログラム可能な、あるいはその他の方法で制御データに応答して構成可能な）従来のオーディオＤＳＰであり得る。

【0075】

いくつかの実施形態において、本発明システムは、（オーディオプログラムを示す）入力オーディオデータを受信するように結合され、スピーカーアレイのスピーカーの位置を示すスピーカーアレイデータを受信するように結合され（あるいは記憶するように構成され）、さらに本発明方法の実施形態を実行することによって入力オーディオデータとスピーカーアレイデータとに応答して利得値及び／又はスピーカーフィードを示す出力データを生成するようにプログラムされた汎用目的プロセッサであり、あるいは該プロセッサを含む。プロセッサは、典型的には、本発明方法の実施形態を含む入力データ上での様々な操作のいずれかを実行するようにソフトウェア（又は、ファームウェア）を用いてプログラムされ、かつ／あるいはその他の方法で（例えば、制御データに応答して）構成される。典型的な実施において、図１２のシステムは、こうしたシステムの一例である。図１２のシステムは、本発明方法の実施形態を含む入力データ上での様々な操作のいずれかを実行するようにプログラムされた処理サブシステム５０１（一実施において、処理サブシステム５０１は汎用目的プロセッサである）を含む。入力オーディオデータは、オーディオプログラムを示す。典型的には、オーディオプログラムは、一組の１つ又は複数のオブジェクトチャネル（及び、場合により、少なくとも１つのスピーカーチャネル）を含むオブジェクトベースのオーディオプログラムであり、各々が、オーディオサンプルと、少なくとも１つのオブジェクトチャネルのオーディオサンプルにより示されるサウンドを出す少なくとも１つのオーディオオブジェクト（ソース）の少なくとも１つの軌跡を示すメタデータとを含む。

【0076】

図１２のシステムは、処理サブシステム５０１（プロセッサ５０１と呼ばれることがある）に結合された入力装置５０３（例えば、マウス及び／又はキーボード）と、プロセッサ５０１に結合された記憶媒体５０４と、プロセッサ５０１に結合されたディスプレイ装置５０５と、プロセッサ５０１に結合されたスピーカーフィード生成サブシステム５０６（図１２において「レンダリングシステム」と名付けられている）と、スピーカー５０７とをさらに含む。サブシステム５０６は、入力オーディオと、入力オーディオに応答してプロセッサ５０１により生成される一連の利得値とに応答して、（例えば、入力オーディオにより示される少なくとも１つのソースのパンを示すサウンドを出すように）スピーカー５０７を駆動するためのスピーカーフィード、又はこうしたスピーカーフィードを示すデータを生成するように構成される。

【0077】

例えば、入力オーディオが、（オブジェクトベースのオーディオプログラムのメタデータにより示される軌跡に沿った一連のソース位置のうちの）各ソース位置についての一連のオーディオサンプルを含むオブジェクトチャネルを含む、オブジェクトベースのオーディオプログラムを示す場合、サブシステム５０６は、ソース位置ごとの一連のオーディオサンプルから、（１つの上記のソースポイントから出ていると知覚されるサウンドを出すようにスピーカー５０７のＮスピーカーサブセットを駆動するための）Ｎ個のスピーカーフィードを生成するように構成されてもよい。サブシステム５０６は、ソース位置に対応するメッシュのＮ角形面（すなわち、仮定されるリスナー位置からソース位置への線が交わる面）について、プロセッサ５０１により決定されたＮ個の利得のうち異なる１つをソース位置の一連のオーディオサンプルに適用することを含む処理によって、（ソース位置ごとに）Ｎ個のスピーカーフィードの各々を生成するように構成されてもよい。いくつかの実施形態において、ソース位置ごとにプロセッサ５０１により決定されるＮ個の利得（一組のＮ個の利得値）は、ソース位置に対応するメッシュのＮ角形面の頂点に対する、ソース位置の重心座標（又は、重心座標のスケール変更されたバージョン）であってもよい。

【0078】

プロセッサ５０１は、スピーカー５０７が凸状の（及び、典型的に平面の）Ｎ角形のメッシュとして編成されるという仮定では、（サブシステム５０６に対するアサーションのための）利得値を生成するようにプログラムされて、サブシステム５０６がスピーカー５０７を駆動するためのスピーカーフィードを生成することを可能にする。プロセッサ５０１は、（本発明の一実施形態によれば、）スピーカー５０７の位置を示すデータと（スピーカー５０７の位置に対する）仮定されるリスナーの位置を示すデータとに応答して、凸状のＮ角形のメッシュを決定するようにプログラムされる。プロセッサ５０１は、入力装置５０３のユーザ操作により入れられる命令及びデータ（例えば、スピーカー５０７の位置を示すデータ）、並びに／又はプロセッサ５０１にその他の方法で提供される命令及びデータに応答して、本発明方法を実施するようにプログラムされる。プロセッサ５０１は、ＧＵＩ又は他のユーザインターフェースを実施してもよく、ディスプレイ装置５０５上への関連パラメータ（例えば、メッシュ記述）の表示を生成することを含んでもよい。いくつかの実施形態において、プロセッサ５０１は、スピーカー５０７の位置を示す入れられたデータに応答して、Ｎ角形のメッシュと（スピーカー５０７の位置に対する）仮定されるリスナー位置とを決定してもよい。

【0079】

いくつかの実施において、図１２のシステムの処理サブシステム５０１及び／又はサブシステム５０６は、スピーカーフィード、及び／又はスピーカーフィードを示すデータ、及び／又は入力オーディオ（及び、スピーカー５０７の位置を示すデータ）に応じたスピーカーフィードを生成するために利得値を生成するように動作可能なオーディオデジタルシグナルプロセッサ（ＤＳＰ）である。

【0080】

コンピュータ可読記憶媒体５０４（例えば、光ディスク、又は他の有形オブジェクト）は、本発明方法の実施形態を実行するようにプロセッサ５０１をプログラムするのに適したコンピュータコードを記憶させている。動作において、プロセッサ５０１は、コンピュータコードを実行して本発明に従って入力オーディオを示すデータ（及び、スピーカー５０７の位置を示すデータ）を処理して、サブシステム５０６により採用すべき利得を示す出力データを生成してスピーカー５０７を駆動するためのスピーカーフィードを生成して、（入力オーディオにより示される）少なくとも１つのサウンドソースを、例えば、入力オーディオの中に含むメタデータにより示される軌跡に沿ったソースパンとして、イメージさせる。

【0081】

本発明の態様には、本発明方法のいずれかの実施形態を実行するようにプログラムされたコンピュータシステムと、本発明方法のいずれかの実施形態を実施するためのコンピュータ可読コードを記憶したコンピュータ可読媒体とがある。

【0082】

本発明の特定の実施形態及び本発明の応用が本明細書に記載されているが、本明細書に記載され請求される本発明の範囲を逸脱することなく、本明細書に記載された実施形態及び応用の多くの変形が可能であることは、当業者にとって明らかであろう。本発明の特定の形式が図示され記載されているが、本発明は、記載され図示された特定の実施形態、又は記載された特定の方法に限定されないことが理解されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図8A】

【図9】

【図10】

【図11】

【図12】

【図13】