特表 2024-531541 空間的メタデータ出力を有する音楽シンセサイザー

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-29

(54)【発明の名称】空間的メタデータ出力を有する音楽シンセサイザー

(51)【国際特許分類】

   H04R 3/00 20060101AFI20240822BHJP

   G10H 1/00 20060101ALI20240822BHJP

【ＦＩ】

H04R3/00

G10H1/00 C

G10H1/00 Z

【審査請求】有

【予備審査請求】有

(21)【出願番号】P 2024513897

(86)(22)【出願日】2022-08-24

(85)【翻訳文提出日】2024-03-01

(86)【国際出願番号】 US2022041414

(87)【国際公開番号】W WO2023034099

(87)【国際公開日】2023-03-09

(31)【優先権主張番号】21194849.2

(32)【優先日】2021-09-03

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】63/240,383

(32)【優先日】2021-09-03

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100229448

【弁理士】

【氏名又は名称】中槇 利明

(72)【発明者】

【氏名】クーパー，デイヴィッド マシュー

【テーマコード（参考）】

5D220

5D478

【Ｆターム（参考）】

5D220EE25

5D220EE27

5D220EE31

5D220EE47

5D478DD00

(57)【要約】

オーディオ信号を生成および／または処理するための装置が記載される。ある装置は：オーディオ信号を取得するための第1のステージと；前記オーディオ信号によって表される音を整形するための一つまたは複数の制御信号に基づいて前記オーディオ信号を修正するための第2のステージと；修正されたオーディオ信号に関する空間的メタデータを、少なくとも部分的には前記一つまたは複数の制御信号に基づいて生成するための第3のステージと；前記修正されたオーディオ信号を、生成された空間的メタデータと一緒に出力するための出力ステージとを有する。対応する方法ならびに対応するプログラムおよびコンピュータ読み取り可能な記憶媒体も記載される。

【特許請求の範囲】

【請求項1】

オーディオ信号を生成または処理するための装置であって、当該装置は：
オーディオ信号を取得するための第1のステージと；
前記オーディオ信号によって表される音を整形するための一つまたは複数の制御信号に基づいて前記オーディオ信号を修正するための第2のステージと；
修正されたオーディオ信号に関する空間的メタデータを、少なくとも部分的には前記一つまたは複数の制御信号に基づいて生成するための第3のステージと；
前記修正されたオーディオ信号を、生成された空間的メタデータと一緒に出力するための出力ステージとを有する、
装置。

【請求項2】

前記一つまたは複数の制御信号は、時間依存である、請求項１に記載の装置。

【請求項3】

前記空間的メタデータは、前記修正されたオーディオ信号をどのようにレンダリングするかについて外部装置に命令するためのメタデータである、請求項１に記載の装置。

【請求項4】

前記第2のステージは、前記オーディオ信号に時間依存の修正を適用するように構成されており、該修正の時間依存性は、前記一つまたは複数の制御信号に依存する、請求項１に記載の装置。

【請求項5】

前記第2のステージは、前記オーディオ信号を修正するために：
フィルタ；
増幅器；
低周波発振器；
オーディオ遅延器；
ドライバー；および
フランジャー
のうちの少なくとも1つを有する、請求項１に記載の装置。

【請求項6】

前記第2のステージは、前記オーディオ信号にフィルタを適用するように適応されており、
前記フィルタの特性周波数は、前記一つまたは複数の制御信号によって制御される、
請求項１に記載の装置。

【請求項7】

前記フィルタの前記特性周波数はカットオフ周波数である、請求項６に記載の装置。

【請求項8】

前記第2のステージは、前記オーディオ信号に増幅器を適用するように適応されており、
前記増幅器の利得は、前記一つまたは複数の制御信号によって制御される、
請求項１に記載の装置。

【請求項9】

前記第2のステージは、前記増幅器を使用することによって前記オーディオ信号にエンベロープを適用するように適応されており、
前記第3のステージは、少なくとも部分的には前記エンベロープの形状に基づいて前記空間的メタデータを生成するように適応されている、
請求項８に記載の装置。

【請求項10】

前記オーディオ信号を取得することは、一つまたは複数の発振器を使用することによって前記オーディオ信号を生成することを含む、請求項１に記載の装置。

【請求項11】

前記オーディオ信号は、少なくとも部分的には前記一つまたは複数の制御信号に基づいて、前記一つまたは複数の発振器によって生成される、請求項１０に記載の装置。

【請求項12】

前記オーディオ信号を取得することは、前記オーディオ信号を受領することを含む、請求項１に記載の装置。

【請求項13】

前記一つまたは複数の制御信号は、少なくとも部分的にはユーザー入力に基づく、請求項１に記載の装置。

【請求項14】

前記出力ステージは、前記生成された空間的メタデータとともに、前記修正されたオーディオ信号に基づく一つまたは複数のオーディオ・ストリームを出力するように適応されている、請求項１に記載の装置。

【請求項15】

オーディオ信号を生成または処理する方法であって、当該方法は：
オーディオ信号を取得する段階と；
前記オーディオ信号によって表される音を整形するために構成された一つまたは複数の制御信号に基づいて前記オーディオ信号を修正する段階と；
修正されたオーディオ信号に関する空間的メタデータを、少なくとも部分的には前記一つまたは複数の制御信号に基づいて生成する段階と；
前記修正されたオーディオ信号を、生成された空間的メタデータと一緒に出力するための出力ステージとを含む、
方法。

【請求項16】

前記一つまたは複数の制御信号は、時間依存である、請求項１５に記載の方法。

【請求項17】

前記空間的メタデータは、前記修正されたオーディオ信号をどのようにレンダリングするかについて外部装置に命令するためのメタデータである、請求項１５に記載の方法。

【請求項18】

前記オーディオ信号を修正することは、前記オーディオ信号に時間依存の修正を適用することを含み、該修正の時間依存性は、前記一つまたは複数の制御信号に依存する、請求項１５に記載の方法。

【請求項19】

前記オーディオ信号を修正することは：フィルタ、増幅器、低周波発振器、オーディオ遅延器、ドライバー、およびフランジャーのうちの少なくとも1つによって前記オーディオ信号を修正することを含む、請求項１５に記載の方法。

【請求項20】

前記オーディオ信号を修正することは、前記オーディオ信号にフィルタを適用することを含み、前記フィルタの特性周波数は、前記一つまたは複数の制御信号によって制御される、請求項１５に記載の方法。

【請求項21】

前記フィルタの前記特性周波数はカットオフ周波数である、請求項２０に記載の方法。

【請求項22】

前記オーディオ信号を修正することは、前記オーディオ信号に増幅器を適用することを含み、前記増幅器の利得は、前記一つまたは複数の制御信号によって制御される、請求項１５に記載の方法。

【請求項23】

前記オーディオ信号を修正することは、前記増幅器を使用することによって前記オーディオ信号にエンベロープを適用することを含み、前記空間的メタデータを生成することは、少なくとも部分的には前記エンベロープの形状に基づく、請求項２２に記載の方法。

【請求項24】

前記オーディオ信号を取得することは、一つまたは複数の発振器を使用することによって前記オーディオ信号を生成することを含む、請求項１５に記載の方法。

【請求項25】

前記オーディオ信号は、少なくとも部分的には前記一つまたは複数の制御信号に基づいて、前記一つまたは複数の発振器によって生成される、請求項２４に記載の方法。

【請求項26】

前記オーディオ信号を取得することは、前記オーディオ信号を受領することを含む、請求項１５に記載の方法。

【請求項27】

前記一つまたは複数の制御信号は、少なくとも部分的にはユーザー入力に基づく、請求項１５に記載の方法。

【請求項28】

前記修正されたオーディオ信号を出力することは、前記生成された空間的メタデータとともに、前記修正されたオーディオ信号に基づく一つまたは複数のオーディオ・ストリームを出力することを含む、請求項１５に記載の方法。

【請求項29】

コンピュータ・プロセッサによって実行されると、前記コンピュータ・プロセッサに、請求項１５ないし２８のうちいずれか一項に記載の方法を実行させる命令を含むコンピュータ・プログラム。

【請求項30】

請求項２９に記載のコンピュータ・プログラムを記憶したコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
本願は、以下の優先権出願の優先権を主張する：2021年9月3日に出願された米国仮出願第63/240,383号（整理番号：D21053USP1）および2021年9月3日に出願された欧州出願第21194849.2号（整理番号：D21053EP）。これらはここに参照により組み込まれる。

【0002】

技術分野
本開示は、オーディオ信号を生成および／または処理するための方法および装置に関する。本開示はさらに、空間的メタデータ出力をもつ音を合成または処理するための技法を記述する。これらの技法は、たとえば、音楽シンセサイザーおよびオーディオ・プロセッサのために適用されうる。

【背景技術】

【0003】

シンセサイザーは、オーディオ信号を生成する電子楽器である。一般に、電子楽器は、しばしばユーザー入力に反応して、音を生成するために電子回路を使用する。最も広い意味では、これは、アナログ機器、専用ハードウェア上で、もしくは「仮想」機器としてコンピュータ上で実行されるDSPベースの機器、またはサンプル・ベースの機器を組み込むことができる。

【0004】

既存のシンセサイザーは、モノ、ステレオ、またはマルチチャネルであるオーディオ信号を生成する。これは、オブジェクト・ベースのプロダクション（たとえば、Dolby Atmos（登録商標）プロダクション）において使用されるとき、音生成プロセスとは別個の空間化プロセスが、シンセサイザー・オーディオ信号をオブジェクトとして表すために適用されることを意味する。現在、これは、まず、シンセサイザーの出力を特定のチャネル構成のためにレンダリングし、そのレンダリングされたオーディオをPro Toolなどのデジタル・オーディオ・ワークステーション（DAW）にインポートし、次いで、パンナーを用いて関連する空間的メタデータを生成することによって達成される。

【0005】

一般に、シンセサイザーによって生成される音信号のオブジェクト・ベースの生成のための、および／またはオーディオ・プロセッサによって処理される音信号のオブジェクト・ベースの生成のための改善された技法が必要である。

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記に鑑みて、本開示は、それぞれの独立請求項の特徴を有する、オーディオ信号を生成および／または処理するための装置、ならびに対応する方法、コンピュータ・プログラム、およびコンピュータ可読記憶媒体を提供する。

【課題を解決するための手段】

【0007】

本開示のある側面によれば、オーディオ信号を生成または処理するための装置が提供される。装置は、オーディオ信号を取得するための第1のステージを含みうる。装置は、オーディオ信号によって表される音を整形する（たとえば、修正する、変更する）ための一つまたは複数の制御信号に基づいてオーディオ信号を修正するための第2のステージをさらに含みうる。制御信号は、オーディオ信号がどのように修正されるかに影響を及ぼす一つまたは複数の変調器によって生成されうる。該一つまたは複数の変調器は、たとえば、低周波発振器（low frequency oscillator、LFO）および／またはエンベロープに関連してもよく、またはそれらを含んでいてもよい。装置は、前記一つまたは複数の制御信号に少なくとも部分的に基づいて、（修正された）オーディオ信号に関連する空間的メタデータを生成するための第3のステージをさらに含みうる。空間的メタデータは、修正されたオーディオ信号をどのようにレンダリングするかについて外部装置に命令するためのメタデータであってもよい。たとえば、空間的メタデータは、オブジェクト・ベースのレンダリングのためのメタデータであってもよい。それは、たとえば、オーディオ信号に関係する（たとえば、それによって表される）オーディオ・オブジェクトの位置（たとえば、3D空間におけるデカルト位置）および／またはサイズの指示を含みうる。装置は、修正されたオーディオ信号を、生成された空間的メタデータとともに出力するための出力ステージをさらに含んでいてもよい。いくつかの実装では、2つ以上のオーディオ信号（すなわち、複数のオーディオ信号）が装置によって並列に処理されてもよい。いくつかの他の実装では、2つ以上のオーディオ信号（すなわち、複数のオーディオ信号）がシリアルに処理されてもよい。たとえば、いくつかのそのような実装では、所与のオーディオ信号についての処理は、より以前のオーディオ信号および／またはそのメタデータに依存してもよい。別の例として、いくつかの実装では、処理は、第1のステージによって得られたオーディオ信号のすでに存在する空間的メタデータを修正することに関わっていてもよい。

【0008】

上記のように構成されて、提案された装置によって実装される技法は、オブジェクト・ベースのプロダクションにおいて利用可能な創造的なオプションの範囲を著しく広げ、サウンドデザイン・プロセスの統合された部分として空間化を扱うことを許容する。さらに、空間的メタデータの面倒な編集を回避することができ、オーディオ信号のための特定の整形動作につながった創造的な意図を空間的メタデータにおいて直接的かつ効率的に実装することができる。

【0009】

いくつかの実施形態では、第2のステージは、オーディオ信号に時間依存の修正を適用するように適応されてもよい。その場合、修正の時間依存性は、前記一つまたは複数の制御信号に依存してもよい。前記一つまたは複数の制御信号は、時間依存であってもよい。それにより、音源の意図された挙動の基礎となる時間依存性は、音源を記述／表現するオーディオ・オブジェクトの空間的特性を記述するために容易に使用できる。

【0010】

いくつかの実施形態では、第2のステージは、オーディオ信号を修正するために、フィルタ、増幅器、低周波発振器、オーディオ遅延器、ドライバー、およびフランジャーのうちの少なくとも1つを含みうる。

【0011】

いくつかの実施形態では、第2のステージは、オーディオ信号にフィルタを適用するように適応されてもよい。第2のステージは前記フィルタを含んでいてもよいことが理解される。フィルタは、たとえば、ハイパスフィルタ、ローパスフィルタ、バンドパスフィルタ、またはノッチフィルタのいずれかであってもよい。フィルタの特性周波数は、前記一つまたは複数の制御信号によって（たとえば、それに基づいて）制御されうる。よって、特性周波数は時間依存でありうる。フィルタの特性周波数は、たとえば、カットオフ周波数であってもよい。前記一つまたは複数の（時間依存の）制御信号は、たとえば、LFOによって生成されてもよい。それにより、特性周波数は、いくつかの実装では周期的に変化しうる。

【0012】

いくつかの実施形態では、第2のステージは、増幅器をオーディオ信号に適用するように適応されてもよい。第2のステージは前記増幅器を含んでいてもよいことが理解される。増幅器の利得は、前記一つまたは複数の制御信号によって（たとえば、それに基づいて）制御されうる。よって、利得は時間依存でありうる。前記一つまたは複数の制御信号は、たとえば、LFOによって生成されうる。それにより、利得は、いくつかの実装では周期的に変化しうる。

【0013】

いくつかの実施形態では、第2のステージは、増幅器を使用することによって、オーディオ信号にエンベロープを適用するように適応されてもよい。次いで、第3のステージは、エンベロープの形状に少なくとも部分的に基づいて前記空間的メタデータを生成するよう適応されていてもよい。たとえば、空間的メタデータは、オーディオ・オブジェクトの時間依存の位置を示してもよい。ここで、位置は、エンベロープの形状に従って変化する（たとえば、エンベロープがゼロでない利得を示す間に線形並進を経験する）。

【0014】

いくつかの実施形態では、オーディオ信号を取得することは、一つまたは複数の発振器を使用することによってオーディオ信号を生成することを含みうる。第1のステージが前記一つまたは複数の発振器を含んでいてもよいことが理解される。そのような装置は、たとえば音楽シンセサイザーのようなシンセサイザーに関連しうる。

【0015】

いくつかの実施形態では、オーディオ信号は、前記一つまたは複数の制御信号に少なくとも部分的に基づいて、前記一つまたは複数の発振器によって生成されてもよい。たとえば、前記一つまたは複数の発振器の周波数、パルス幅、および位相のうちの少なくとも1つが、前記一つまたは複数の制御信号によって（たとえば、それに基づいて）制御されてもよい。それにより、オーディオ信号（単数または複数）の生成に影響を及ぼす制御信号が、前記空間的メタデータを生成するための基礎として使用されることができる。これは、前記空間的メタデータを生成するときに芸術的意図を捕捉するための追加的な機能を提供する。

【0016】

代替的に、オーディオ信号を取得することは、オーディオ信号を受信することを含みうる。オーディオ信号は、たとえばサウンド・データベースのような外部ソースから受領されてもよい。そのような装置は、たとえばエフェクト・オーディオ・プロセッサなどのオーディオ・プロセッサに関連しうる。

【0017】

いくつかの実施形態では、前記一つまたは複数の制御信号は、ユーザー入力に少なくとも部分的に基づいていてもよい。

【0018】

いくつかの実施形態では、出力ステージは、生成された空間的メタデータとともに、修正されたオーディオ信号に基づいて一つまたは複数のオーディオ・ストリームを出力するよう適応されていてもよい。たとえば、それぞれの出力オーディオ・ストリームについて1つの空間的メタデータ・ストリームがあってもよい。さらに、2つ以上のオーディオ信号が装置によって並列に処理されるとき、それぞれの（修正された）オーディオ信号について1つの出力オーディオ・ストリームがあってもよい。代替的に、出力オーディオ・ストリームのうちの少なくとも1つは、2つ以上の（修正された）オーディオ信号を混合することによって生成されてもよい。

【0019】

本開示の別の側面によれば、オーディオ信号を生成または処理する方法が提供される。本方法は、オーディオ信号を取得することを含みうる。本方法は、オーディオ信号によって表される音を整形するために、一つまたは複数の制御信号に基づいてオーディオ信号を修正することをさらに含みうる。本方法はさらに、前記一つまたは複数の制御信号に少なくとも部分的に基づいて、前記（修正された）オーディオ信号に関係した空間的メタデータを生成することを含んでいてもよい。本方法はさらに、修正されたオーディオ信号を、生成された空間的メタデータとともに出力することを含んでいてもよい。

【0020】

いくつかの実施形態では、前記一つまたは複数の制御信号は、時間依存でありうる。

【0021】

いくつかの実施形態では、前記空間的メタデータは、修正されたオーディオ信号をどのようにレンダリングするかについて外部装置に命令するためのメタデータであってもよい。

【0022】

いくつかの実施形態では、オーディオ信号を修正することは、オーディオ信号に時間依存の修正を適用することを含みうる。その場合、修正の時間依存性は、前記一つまたは複数の制御信号に依存してもよい。

【0023】

いくつかの実施形態では、方法は、フィルタ、増幅器、低周波発振器、オーディオ遅延器、ドライバー、およびフランジャーのうちの少なくとも1つによってオーディオ信号を修正することをさらに含みうる。

【0024】

いくつかの実施形態では、オーディオ信号を修正することは、オーディオ信号にフィルタを適用することを含みうる。その場合、フィルタの特性周波数は、前記一つまたは複数の制御信号によって制御されてもよい。

【0025】

いくつかの実施形態では、フィルタの特性周波数はカットオフ周波数であってもよい。

【0026】

いくつかの実施形態では、オーディオ信号を修正することは、増幅器をオーディオ信号に適用することを含みうる。その場合、増幅器の利得は、前記一つまたは複数の制御信号によって制御されてもよい。

【0027】

いくつかの実施形態では、オーディオ信号を修正することは、増幅器を使用することによってオーディオ信号にエンベロープを適用することを含みうる。次いで、空間的メタデータを生成することは、エンベロープの形状に少なくとも部分的に基づいていてもよい。

【0028】

いくつかの実施形態では、オーディオ信号を取得することは、一つまたは複数の発振器を使用することによってオーディオ信号を生成することを含みうる。

【0029】

いくつかの実施形態では、オーディオ信号は、前記一つまたは複数の制御信号に少なくとも部分的に基づいて、前記一つまたは複数の発振器によって生成されてもよい。

【0030】

代替的に、オーディオ信号を取得することは、オーディオ信号を受領することを含んでいてもよい。

【0031】

いくつかの実施形態では、前記一つまたは複数の制御信号は、ユーザー入力に少なくとも部分的に基づいていてもよい。

【0032】

いくつかの実施形態では、修正されたオーディオ信号を出力することは、生成された空間的メタデータとともに、修正されたオーディオ信号に基づく一つまたは複数のオーディオ・ストリームを出力することを含みうる。

【0033】

別の側面によれば、コンピュータ・プログラムが提供される。コンピュータ・プログラムは、プロセッサ（たとえば、コンピュータ・プロセッサ、サーバープロセッサなど）によって実行されたときに、本開示を通じて説明される方法のすべてのステップをプロセッサに実行させる命令を含みうる。

【0034】

別の側面によれば、コンピュータ可読記憶媒体が提供される。コンピュータ可読記憶媒体は、上述のコンピュータ・プログラムを記憶していてもよい。

【0035】

さらに別の側面によれば、プロセッサと、該プロセッサに結合されたメモリとを含む装置が提供される。プロセッサは、本開示を通じて説明される方法のすべてのステップを実行するように適応されてもよい。この装置は、たとえば、コンピュータシステム、サーバー（たとえば、クラウドベースのサーバー）、またはサーバーのシステム（たとえば、クラウドベースのサーバーのシステム）に関連しうる。

【0036】

装置の特徴および方法のステップは、多くの仕方で交換されうることが理解されるであろう。特に、当業者が理解するように、開示される方法の詳細が、対応する装置によって実現されてもよく、その逆も同様である。さらに、方法（および、たとえば、そのステップ）に関してなされた上記の陳述のいずれも、対応する装置（および、たとえば、それらのブロック、ステージ、ユニットなど）に同様に当てはまり、逆もまた同様であることが理解される。

【図面の簡単な説明】

【0037】

本発明の例示的な実施形態を、添付の図面を参照して以下に説明する。

【図1】シンセサイザーの一例を概略的に示すブロック図である。

【図2】シンセサイザー、空間化モジュール、およびオブジェクト・ベースのレンダリング・モジュールを含むオーディオ処理チェーンを概略的に示すブロック図である。

【図3】本開示の実施形態によるシンセサイザーの一例を示すブロック図である。

【図4】本開示の実施形態による、オーディオ信号を生成および／または処理する方法の例を概略的に示すフローチャートである。

【図5】本発明の実施形態による方法を実行する装置のブロック図である。

【発明を実施するための形態】

【0038】

図面および以下の説明は、単に例示のための好ましい実施形態に関する。以下の説明から、本明細書に開示される構造および方法の代替的な実施形態が、特許請求されるものの原理から逸脱することなく採用されうる実行可能な代替形態として容易に認識されることに留意されたい。

【0039】

ここで、いくつかの実施形態を詳細に参照し、その例を添付の図面に示す。実行可能な場合はいつでも、類似または同様の参照番号が図中で使用されることがあり、類似または同様の機能を示しうることに留意されたい。図は、単に例示のために、開示された装置（または方法）の実施形態を示す。当業者は、本明細書に記載された原理から逸脱することなく、本明細書に示された構造および方法の代替的な実施形態が採用されうることを、以下の説明から容易に認識するであろう。

【0040】

本開示は、一般に、空間的メタデータ出力をもつ音楽シンセサイザー（およびオーディオ・プロセッサ）に関する。メタデータの生成は、直接／リテラル・ユーザー入力に関連する制御信号および／または内部変調信号によって駆動されてもよい。よって、制御信号は、典型的には、時間依存性である。

【0041】

大まかに言えば、シンセサイザーは、接続された音生成／整形要素および変調要素の集合体と考えることができる。音生成／整形要素は、オーディオ信号を生成するか、またはオーディオ信号に直接作用する。たとえば、発振器は、生のトーン／波形を生成することができ、次いで、フィルタがそれらの音色を整形することができ、増幅器が、レベル・ダイナミクスを導入することができる。生成される音をアニメートするために、これらの要素は、時間とともに変化するべきであり、これは、音自体を作る代わりに音生成／整形要素の挙動に影響する変調要素を適用することによって行われる。

【0042】

シンセサイザー100の簡単な例が図1に示されている。シンセサイザー100は、音生成ブロック（またはステージ、モジュールなど）110および音変調ブロック（またはステージ、モジュールなど）120を備える。音生成ブロック110は、たとえば一つまたは複数の発振器（発振器要素）112、一つまたは複数のフィルタ（たとえば、電圧制御フィルタ（VCF））114、および一つまたは複数の増幅器（たとえば、電圧制御増幅器（VCA））116を含む。音変調ブロック120は、発振器112によるオーディオ信号の実際の生成、および／または、たとえばフィルタ114もしくは増幅器116による音信号の任意の後続の整形を変調することができる。ここで、および以下で、オーディオ信号は、サウンド信号〔音信号〕の電子表現でありうることが理解される。また、音の整形は、音を表すオーディオ信号の修正／変更に対応することが理解される。

【0043】

たとえば、音変調ブロック120は、巡回的に可聴域以下の（たとえば、20Hz未満の）周波数出力を生成することができる低周波発振器（LFO）124を備えることができる。このLFO 124は、フィルタ（たとえば、フィルタ114）のカットオフ周波数、またはフィルタの任意の他の特性周波数を変調するために使用されうる。別の一般的な要素は、音生成ブロック110によって生成された音信号に対して（たとえば、増幅器116によって）1回限りの変調パターンを生成するエンベロープ126である。これらの変調要素は、しばしば、たとえばキーボードまたはシーケンサーなどのミュージシャンによって操作される制御面122と対にされる。よって、変調は、ユーザー入力に依存することができ、一般に、時間依存でありうる。

【0044】

音生成ブロック110および／または音変調ブロック120のこれらの上述の要素は、DSP、アナログ回路、デジタル回路、またはそれらの任意の組み合わせ（複数可）で実現されうる。

【0045】

シンセサイザー100の出力ステージ（図1には図示せず）は、内部オーディオ信号（および任意的には効果）を組み合わせる混合回路を備えることができ、その出力は一つまたは複数のオーディオ信号である。複数のオーディオ信号が出力されるとき、シンセサイザー100は、ステレオ信号またはマルチチャネル信号のような空間性の何らかの概念を有する信号セットを出力するように構成されることが可能である。さらに、LFO生成信号などの内部変調信号が、たとえばパン位置などの空間的品質に影響を及ぼすために使用できる。この場合、出力は効果的にレンダリングされる。出力ステージにおいて一緒に混合される内部信号は、音声信号〔ボイス信号〕、または（たとえば、マルチボイス・シンセサイザーにおいて）複数の音声信号を形成するよう混合されている発振器要素112出力であってもよく、それは、発振器、サンプル再生、または任意の他の適切なトーン生成技法に基づきうる。これらの信号は、混合される代わりに、シンセサイザー100から個別に出力されてもよい。

【0046】

よって、シンセサイザー100は、モノラルまたはステレオ、あるいはさらにはマルチチャネル出力（たとえば、3.1.2マルチチャネル出力、5.1マルチチャネル出力、5.1.2マルチチャネル出力、7.1.4マルチチャネル出力など）など、レンダリングされたチャネル出力に基づく。

【0047】

シンセサイザーにおいてステレオ出力を生成するために、いくつかの手法が実現可能である。モノラルからステレオを生成するための1つの手法は、コーラス、フランジャー、遅延、またはリバーブなどの効果を使用することによる。シンセサイザー・アーキテクチャーは、主にモノラルであり、モノラル入力を有し、次いで、ステレオ出力を作成するよう左および右信号を作成するために異なる処理を適用する最終ステージ・エフェクト・プロセッサを伴うことができる。場合によっては、最終ステージ・エフェクト・プロセッサは、コーラス・エフェクト出力ステージに関連してもよい。

【0048】

別の手法は、ユーザーがステレオ・フィールド内の音声をパンすることを許容することである。このパンニングは、完全に手動であってもよく、またはピッチなどの音の何らかの特性に結び付けられてもよく、または、たとえばLFOを用いて経時的に変調されてもよい。

【0049】

さらに、マルチ音色シンセサイザーは、一度に2つ以上のプログラムを同時に再生する能力を有する。これは、1つのプログラムを下パッチに割り当て、1つのプログラムを上パッチに割り当てることを許容する。これらの異なるプログラムまたはパッチは、ステレオ・フィールドにわたって配置されうる。

【0050】

シンセサイザー100のチャネル・レンダリングされた出力は、このレンダリングされた出力を取り、次いで、たとえばDolby Atmos（登録商標）Panner〔パンナー〕等の空間的メタデータを生成するための二次ツールを使用することによって、オブジェクト・ベースのワークフローで使用されることができる。

【0051】

よって、オブジェクト・ベース（たとえば、Dolby Atmos（登録商標））の制作においてシンセサイザーが使用される場合、出力は、まずレンダリングされ、次いで、第2のステップにおいて、空間化されなければならない。これは、出力を生成するために使用された内部変調信号が利用不能になった状態で、任意のサウンドデザイン決定が確定されることを意味する。これは、利用可能な創造的なオプションを制限し、サウンドデザイン・プロセスの統合された部分として空間化を考慮することを非常に困難にする。

【0052】

そのようなオブジェクト・ベースのサウンドデザイン・プロセスのための処理チェーン200の例が、図2のブロック図に示されている。処理チェーン200は、シンセサイザー205、空間化モジュール230、およびオブジェクト・ベースのレンダリング・モジュール（たとえば、ドルビー・アトモス・プロダクション・スイート）240を備える。シンセサイザー205は、上述したシンセサイザー100に対応してもよく、音生成ブロック210および音変調ブロック220を備えてもよい。シンセサイザー205の出力は、モノラルまたはステレオ、あるいはマルチチャネル構成（たとえば、3.1.2マルチチャネル出力、5.1マルチチャネル出力、5.1.2マルチチャネル出力、7.1.4マルチチャネル出力など）などの特定の（たとえば、あらかじめ定義された）チャネル構成にレンダリングされる。このレンダリングされたチャネル・ベースの出力は、次いで、空間化モジュール230に供給される。空間化モジュール230は、シンセサイザー205のチャネル・ベースの出力を処理して、そこからオブジェクト・ベースのオーディオ・コンテンツを作成する。空間化モジュール230によって生成されたオブジェクト・ベースのオーディオ・コンテンツは、次いで、オブジェクト・ベースのレンダリング・モジュール240による、（たとえば、意図されたスピーカー・レイアウトに依存する）所望の（原則として任意の）チャネル構成へのオブジェクト・ベースのレンダリングのために使用されうる。

【0053】

オブジェクト・ベースのレンダリングのために処理チェーン200を使用するときに発生しうる潜在的な問題を示す例が、次に説明される。この例によれば、LFOは、音生成ブロック210内のフィルタのフィルタ・カットオフ周波数をリズミカルに変更するために使用されうる。フィルタ・カットオフ周波数が高度〔エレベーション〕（elevation）と同期されるよう、LFOを用いて信号の空間的高度（elevation）にも影響を及ぼすことが望ましい場合がある。しかしながら、処理チェーン200を使用する場合、そうすることは困難である。すなわち、カットオフ周波数のリズミカルな変化は、音源の動き（たとえば、上下の動き）を意味するか、または該動きに従うために意図されることがありうる。シンセサイザー205のレンダリングされたチャネル・ベースの出力に基づいてこの動きを表現するための空間的メタデータを生成するとき、カットオフ周波数の適応を制御した内部変調信号はもはや利用可能ではない。その代わりに、意図された空間的動きは、チャネル・ベースの出力のチャネルから間接的に推測されることができるだけであり、それは、面倒、および／または不正確であることがある。シンセサイザー音声高度位置が一つまたは複数のLFOを用いて個々に変調される状況など、より複雑な例のための適切な空間的メタデータの生成は、これらの音声が一緒に混合されているであろうため、一層面倒であるか、または不可能でさえある。

【0054】

本開示による技法は、シンセサイザー（またはオーディオ・プロセッサ）アーキテクチャー内へのオブジェクト空間化の組み込みに関する。この変更は、音を整形するために使用されるシンセサイザーの内部制御信号（内部変調信号）が、空間化に影響を与えるためにも使用されることを許容する。その場合、シンセサイザーは、中間のレンダリング・ステップを必要とせずに、オーディオとともに空間的メタデータを直接生成することができるようになる。よって、本開示による技法は、一つまたは複数のオーディオ・ストリームおよび関連付けられた空間的メタデータの集合体を直接出力する。この信号の集合体は、次いで、レンダリングされ、またはさらに処理され、次いで、再生のためにレンダリングされうる。

【0055】

この手法は、オブジェクト出力を位置決めするために使用される内部制御信号またはGUI制御が、音生成の他の側面を調整するためにも使用されうることを意味する（またはその逆も同様である）。また、個々のオシレータがオブジェクトとして出力されることもできるし、個々のシンセサイザー音声がオブジェクトとして出力されることもできる。

【0056】

本開示は、シンセサイザー（たとえば、音楽シンセサイザー）に頻繁に言及することがあるが、提示される技法は、別段に示されない限り、オーディオ・プロセッサ（たとえば、オーディオ・エフェクト・プロセッサ）に同様に適用されうることを理解されたい。よって、本開示は、一般に、オーディオ信号（音信号）を生成または処理するための装置に関しうる。

【0057】

本開示による技術に沿ったシンセサイザー305を含むオーディオ処理チェーン300の例が、図3に概略的に示されている。処理チェーン300は、シンセサイザー305と、シンセサイザーの出力のオブジェクト・ベースのレンダリングのためのオブジェクト・ベースのレンダリング・モジュール340（シンセサイザーとは別個）とを備える。

【0058】

大まかにいうと、本開示は、出力されるべき各信号について、対応する空間的メタデータ・ストリーム（または一般に空間的メタデータ）を生成する空間的出力要素（たとえば、後述する第3のステージ）を組み込むことを提案する。ここで、空間的メタデータは、その信号をどのようにレンダリングするかについて外部レンダリング・ユニットに命令する。特に、メタデータ・ストリームは、時間を追った（たとえば3D空間における）デカルト位置および／またはサイズのようなその関連付けられたオーディオ信号の空間的属性を記述してもよい。このように、空間的メタデータは、オーディオ・オブジェクトのオブジェクト・ベースのレンダリングのためのメタデータであってもよい。ここで、オーディオ・オブジェクトのオーディオ・トラックはオーディオ信号によって与えられる。そのような空間的メタデータの一例は、Dolby Atmos（登録商標）メタデータである。一般に、この空間的メタデータは、直接的かつリテラルなユーザー入力によって生成されうる。しかし、同時に、関連付けられたオーディオ信号を生成および／または整形するためにも使用されうる変調信号（制御信号）からも導出されうる。さらに、この空間的メタデータは、直接およびリテラル・ユーザー入力の組み合わせによって生成され、関連付けられたオーディオ信号を生成および／または整形するためにも使用されうる変調信号（制御信号）から導出されうる。

【0059】

シンセサイザー305は、音生成ブロック310、音変調ブロック320、および空間化ブロック330を備える。シンセサイザーは、オーディオ信号／ストリームを関連する空間的メタデータと一緒に出力するための出力ステージ（図3には示されていない）をさらに含んでいてもよい。

【0060】

音生成ブロック310は、発振器、フィルタ、および／または増幅器など、シンセサイザー100の音生成ブロック110について上述した要素ならびに発振器によって生成された音を整形するための他の要素のうちの任意のものを備えうる。よって、音生成ブロック310による音生成は、上述の音生成ブロック110によるのと同じ仕方で進行しうる。これは、音生成ブロック310が追加的な要素を備えること、および／または上で説明されていない追加的な機能を有することを除外しない。音生成ブロック310の可能な要素のさらなる例を以下に示す。

【0061】

一般に、概念的に、音生成ブロック310は、オーディオ信号を取得するための第1のステージと、オーディオ信号を修正するための（たとえば、オーディオ信号によって表される音を整形するための）第2のステージとを実装するものと見なされうる。

【0062】

上記に沿って、図3のシンセサイザー305の第1のステージは、一つまたは複数の発振器（すなわち、音生成ブロック310の発振器）を備えうる。これらの一つまたは複数の発振器は、オーディオ信号を生成するために第1のステージによって使用されうる。たとえば、前記一つまたは複数の発振器のうちの個々の発振器は、アナログ式発振器、FM式発振器、またはウェーブテーブル式発振器であってもよい。それらの様式／実装に応じて、これらの発振器は、異なる動作パラメータ（たとえば、発振器パラメータ）を有しうる。たとえば、アナログ式発振器は、動作パラメータとして、周波数、パルス幅、および／または利得／レベルを有しうる。FM式発振器は、周波数、比、FMの深さ、および／または利得／レベルを動作パラメータとして有しうる。さらに、ウェーブテーブル式発振器は、周波数、ウェーブ・インデックス、バンク・インデックス、および／または利得／レベルを動作パラメータとして、有しうる。

【0063】

また、一つまたは複数の発振器によるオーディオ信号の生成は、一つまたは複数の制御信号に少なくとも部分的に基づいてもよい。たとえば、一つまたは複数の発振器の動作パラメータ（たとえば、周波数、パルス幅、および／または位相、および／または上述の動作パラメータの任意のもの）は、一つまたは複数の制御信号の制御下で変調されてもよい。

【0064】

第1のステージの上記の実装はシンセサイザー（たとえば、音楽シンセサイザー）に関するが、本開示は、第1のステージがオーディオ信号を受領する実装（図3には図示せず）にも関する。たとえば、オーディオ信号は、外部ソース（たとえば、オーディオ・データベース、サウンド・データベース）から受領されてもよい。そのような実装は、エフェクト・オーディオ・プロセッサなどのオーディオ・プロセッサに関連しうる。

【0065】

一般に、2つ以上のオーディオ信号（すなわち、複数のオーディオ信号）が、シンセサイザーまたはオーディオ・プロセッサ（すなわち、一般にオーディオ信号を生成または処理するための装置）によって並列に処理されてもよい。そのような実装については、オーディオ信号を（内部で）生成することと受領することの組み合わせ、たとえば、いくつかのオーディオ信号が発振器によって生成され、いくつかの（他の）オーディオ信号が外部ソースから受領される実装も実現可能でありうる。

【0066】

上記に沿って、意図された限定なしに、シンセサイザーが頻繁に言及されるが、本開示の実施形態は、オーディオ・プロセッサにも関する。これらの異なる実装の間の違いは、後に修正され、空間的メタデータで補足されるオーディオ信号が（内部的に）生成されるか、または受領されるかにある。記載されたシンセサイザーの任意の他の要素／機能が、同様にオーディオ・プロセッサに適用されることが理解される。すなわち、オーディオ信号がどのように取得されるか（すなわち、生成されるか、または受領されるか）とは別に、オーディオ・プロセッサが、本開示全体にわたって説明されるシンセサイザーと同じ機能を有していてもよい。

【0067】

上述のように、シンセサイザー305の第2のステージは、オーディオ信号を修正するための（たとえば、オーディオ信号によって表される音を整形するための）ステージである。オーディオ信号を修正することは、一つまたは複数の（内部）制御信号（たとえば、内部変調信号）に基づく。よって、制御信号は、オーディオ信号によって表される音を整形するための制御信号とも呼ばれうる。上述のように、制御信号は、時間依存であってもよい（すなわち、時間とともに変化してもよい）。よって、第2のステージは、オーディオ信号に時間依存の修正を適用するように適応されてもよい。修正の時間依存性は、一つまたは複数の制御信号に依存しうる。

【0068】

第2のステージは、フィルタ（たとえば、VCF）および／または増幅器（たとえば、VCA）を備えてもよい。一般に、第2のステージは、オーディオ信号を修正するための以下の要素のいずれか、いくつか、またはすべてを備えうる：一つまたは複数のフィルタ（たとえば、VCF）、一つまたは複数の増幅器（たとえば、VCA）、一つまたは複数のLFO、一つまたは複数のオーディオ遅延器、一つまたは複数のドライバー、および一つまたは複数のフランジャー。第2のステージは、たとえばコーラスおよびリバーブのようなサウンド整形要素を有してもよい。これらの要素はすべて、一つまたは複数の制御信号に従って修正／変更／変調されうるそれぞれの動作パラメータ（たとえば、シンセサイザー・パラメータ、またはオーディオ・プロセッサ・パラメータ）を有しうる。

【0069】

たとえば、増幅器は、動作パラメータとして利得を有しうる。フィルタは、動作パラメータとしてカットオフ周波数および／または共振（共振周波数）を有しうる。LFOは、動作パラメータとしてレートおよび／またはスケールを有しうる。遅延器（遅延効果）は、動作パラメータとして時間、ミックス、および／またはフィードバックを有しうる。ドライバー（ドライブ効果）は、動作パラメータとしてドライブおよび／またはミックスを有しうる。さらに、フランジャー（フランジャー効果）は、動作パラメータとして、中心、幅、レート、リジェネレーション、および／またはミックスを有しうる。

【0070】

修正されるそのような動作パラメータのそれぞれについて、この動作パラメータの修正／変調を制御するそれぞれの制御信号がありうる。制御信号は、それぞれの変調源によって生成されうる。変調源の例は、LFOおよび／またはエンベロープを含みうる。

【0071】

第1の非限定的な例では、第2のステージは、第1のステージから出力されたオーディオ信号に適用されうるフィルタ（たとえば、VCF）を備えるかまたは実装しうる。この場合、フィルタの特性周波数は、前記一つまたは複数の制御信号によって制御されうる。この意味で、フィルタの特性周波数は時間依存でありうる。それぞれの制御信号が周期的である（たとえば、LFOによって生成される）場合、特性周波数は周期的に変化しうる。上記に沿って、フィルタの特性周波数はカットオフ周波数であってもよい。あるいは、特性周波数は共振周波数であってもよい。

【0072】

第2の非限定的な例では、第2のステージは、第1のステージから出力されたオーディオ信号に適用されうる増幅器（たとえば、VCA）を備えうるか、または実装しうる。この場合、増幅器の利得は、前記一つまたは複数の制御信号によって制御されうる。この意味で、増幅器の利得は時間依存でありうる。それぞれの制御信号が周期的である（たとえば、LFOによって生成される）場合、利得は周期的に変化しうる。

【0073】

具体的には、第2の例では、第2のステージは、エンベロープ（たとえば、利得プロファイル）をオーディオ信号に適用するために増幅器を使用しうる。この場合、増幅器のための対応する制御信号は、エンベロープを表すことができる。

【0074】

制御信号は、上述のように、変調器（たとえば、LFOなど）によって生成されうる。いくつかの実装では、変調器のうちの少なくともいくつかは、それぞれの制御信号の制御下で、他の変調器によって変調されうる。さらに、同様に変調されるビルトイン効果が存在してもよい。

【0075】

シンセサイザー305の（内部）制御信号は、上述したシンセサイザー100の変調ブロック120と同じ要素を備えうる音声変調ブロック320によって生成されうる。よって、音変調320による音変調は、上述の音変調ブロック120によるのと同じ仕方で進行しうる。これは、音声変調ブロック320が、上述されていない追加的な要素を備えること、および／または追加的な機能を有することを除外しない。

【0076】

一般に、制御信号は、オーディオ信号がどのように修正されるかに影響を及ぼす一つまたは複数の変調器によって生成されうる。一つまたは複数の変調器は、たとえば、LFOに関連しうるか、またはLFOを含みうる。上述のように、一つまたは複数の変調器の動作パラメータは、それ自体が、適切な制御信号の制御下で時間依存変調を受けてもよい。図1に示される制御面（たとえば、キーボード、制御パネル）122によって例示されるように、一つまたは複数の制御信号はまた、少なくとも部分的にユーザー入力に基づいていてもよい。

【0077】

空間化ブロック330は、修正されたオーディオ信号に関係する空間的メタデータを生成するためのシンセサイザー305の第3のステージに関係するまたはそれを実装するものと見られてもよい。上述したように、これは、少なくとも部分的には一つまたは複数の制御信号に基づいて行われる。ここで、および以下では、空間的メタデータは、修正されたオーディオ信号をどのようにレンダリングするかについて外部装置（たとえばレンダラーまたはレンダリング・モジュール）に命令するためのメタデータであってもよいことが理解される。

【0078】

制御信号（たとえば、上述の制御信号）のいずれも、空間的メタデータを生成するための基礎として取られてもよいことが理解される。たとえば、これらの制御信号は、水平面における対応するオーディオ・オブジェクトの位置、対応するオーディオ・オブジェクトの高度およびオーディオ・オブジェクトのサイズのうちの少なくとも一つを決定するための基礎として使われてもよい。所与の平面（たとえば、水平面）におけるオーディオ・オブジェクトの位置が制御信号に基づいて決定される場合、線形並進のパラメータは、時間依存利得または利得プロファイルを表す制御信号のような制御信号から決定（たとえば、計算）されてもよい。同様に、所与の平面（たとえば、水平面）におけるオーディオ・オブジェクトの周期的な動き（たとえば、円形または楕円形の動き）のパラメータは、フィルタの特性周波数を制御する制御信号などの周期的な制御信号に基づいて決定（たとえば、計算）されてもよい。

【0079】

上述の第1の例では、中心位置のまわりを回転すると知覚されるオーディオ・オブジェクトのためのオーディオ信号は、オーディオ信号に適用されるフィルタの特性周波数（たとえば、カットオフ、共振）を周期的に変更することによって生成されうる。次いで、（適切なデカルト座標を導出するために使用されうる）オーディオ・オブジェクトの極角が、特性周波数を変調するために使用される制御信号に基づいて決定（たとえば、計算）されうる。これにより、空間的メタデータは、少なくとも部分的に、前記一つまたは複数の制御信号（具体的には、フィルタの特性周波数を変調する制御信号）に基づいて生成される。

【0080】

上述の第2の例では、たとえば部屋の中を移動するものとして知覚されるオーディオ・オブジェクトのためのオーディオ信号は、オーディオ信号にエンベロープを適用するための増幅器を使用することによって生成されてもよい。次いで、たとえば（適切なデカルト座標を導出するために使用されうる）オーディオ・オブジェクトの線形並進に対応する時間依存位置が、増幅器の利得を変調するために使用される制御信号に基づいて決定（たとえば、計算）されうる。具体的には、線形並進（または時間依存位置、または一般に空間的メタデータ）は、制御信号によって表わされるエンベロープ（利得プロファイル）の形状に基づいて生成されてもよい。それにより、ここでもまた、空間的メタデータは、少なくとも部分的に、前記一つまたは複数の制御信号（具体的には、増幅器の利得を変調する制御信号）に基づいて生成される。

【0081】

第3の例では、複数のオーディオ信号が複数の発振器によって生成されうる。次いで、発振器の関連するオーディオ・オブジェクトの相対的な（すなわち、互いに対する）空間位置は、それらの周波数を変調するためにも使用されるLFOによって変調されうる。たとえば、オーディオ信号に適用されるフィルタがLFOの制御下で巡回的に開閉すると、オブジェクトは巡回的に互いに向かって移動し、次いで互いから離れる。この相対的な動きは、複数の修正されたオーディオ信号についての生成されたメタデータに適切に反映されてもよい。ここでもまた、空間的メタデータは、少なくとも部分的に、一つまたは複数の制御信号（具体的には、LFOによって生成された制御信号）に基づいて生成される。

【0082】

第4の例では、複数のオーディオ信号が複数の発振器によって生成されうる。次いで、発振器の関連するオブジェクトの相対的な空間位置は、オーディオ信号に適用されるフィルタのカットオフも制御するエンベロープによって制御されうる。エンベロープは、たとえば付属のキーボード、またはユーザー入力を受領するための他の適切な手段によってトリガーされうる。たとえば、キーが最初に押されると、発振器の音は同じ空間位置から発するように感じられるが、キーが押下され続けると、音源は空間的に互いに離れるように感じられる。音源が互いからさらに遠ざかるにつれて、フィルタはより大きく開き、音をより明るくすることができる。この相対的な動きは、やはり、複数の修正されたオーディオ信号についての生成されたメタデータに適切に反映されてもよい。ここでもまた、空間的メタデータは、少なくとも部分的に、一つまたは複数の制御信号（具体的には、エンベロープによって生成された制御信号）に基づいて生成される。

【0083】

第5の例では、ランダムLFO形状が、オーディオ信号（すなわち、音声）を生成する発振器の音声位置とウェーブテーブルの両方を制御するために使用されうる。時間の経過とともに、音声オブジェクトはランダムな空間位置をとり、新しい位置のそれぞれは新しいウェーブテーブルに対応する。音声オブジェクトのランダムな動きは、オーディオ信号のための生成されたメタデータに適切に反映されうる。ここでもまた、空間的メタデータは、少なくとも部分的に、一つまたは複数の制御信号（具体的には、ランダムなLFO形状によって生成される制御信号）に基づいて生成される。

【0084】

シンセサイザーの出力段（第4のステージ）は、生成された空間的メタデータと一緒に、修正されたオーディオ信号を出力するための出力ステージである。具体的には、出力ステージは、修正されたオーディオ信号に基づく一つまたは複数のオーディオ・ストリームを、各オーディオ・ストリームについて、第3のステージによって生成された対応する空間的メタデータと一緒に出力するよう適応されてもよい。たとえば、各出力オーディオ・ストリームについて1つの空間的メタデータ・ストリームが存在してもよい。2つ以上のオーディオ信号がシンセサイザー305によって並列に処理されるとき、各（修正された）オーディオ信号について1つの出力オーディオ・ストリームが存在しうる。あるいはまた、修正されたオーディオ信号は、出力のためにオーディオ・ストリームに混合されてもよい。そのような場合、適切な空間的メタデータが、結果として生じるオーディオ・ストリームについて生成されてもよい。あるいはまた、出力オーディオ・ストリームのための空間的メタデータは、出力オーディオ・ストリームに混合される個々の修正されたオーディオ信号の空間的メタデータに基づいて生成されてもよい。

【0085】

代替的にまたは追加的に、2つ以上のオーディオ信号（すなわち、複数のオーディオ信号）がシンセサイザー305によってシリアルに処理されてもよい。たとえば、いくつかのそのような実装では、所与のオーディオ信号についての処理は、以前に処理されたオーディオ信号および／またはそのメタデータに依存してもよい。別の例として、いくつかの実装では、処理は、第1のステージによって得られたオーディオ信号の既存の空間的メタデータを修正することに関わっていてもよい。上記に沿って、既存のメタデータのこの修正は、内部制御信号（内部変調信号）に基づいてもよい。

【0086】

シンセサイザー305が、オブジェクト・ベースのオーディオ・コンテンツ（すなわち、生成された空間的メタデータと一緒の、修正されたオーディオ信号）を出力するものとして記述されているが、それはさらに、レンダリングされた（たとえばチャネル・ベースの）オーディオ・コンテンツの出力のために構成されていてもよい。たとえば、シンセサイザー305は、プレビューのために、または公共アナウンス・システムへの直接のマルチチャネル入力のために、バイノーラル出力をレンダリングすることが可能であってもよい。よって、シンセサイザーは、出力ステージに加えて、レンダリングされたオーディオ・コンテンツを生成するためのレンダリング・ステージ（またはレンダリング・ユニット、レンダリング・モジュール）をさらに備えうる。しかしながら、レンダリング・ステージは任意的であり、シンセサイザーは、典型的には、外部レンダリングのためのオブジェクト・ベースのオーディオ・コンテンツを提供しうることが理解されるべきである。

【0087】

オーディオ信号を生成または処理する対応する方法400が、図4のフローチャートに概略的に示されている。方法400は、ステップ／プロセスS410～S440を含む。

【0088】

ステップS410において、オーディオ信号が取得される。上述のように、これは、オーディオ信号を生成または受信することを含みうる。

【0089】

ステップS420において、オーディオ信号は、オーディオ信号によって表される音を整形するための一つまたは複数の制御信号に基づいて修正される。

【0090】

ステップS430において、修正されたオーディオ信号に関する空間的メタデータが、少なくとも部分的には一つまたは複数の制御信号に基づいて生成される。

【0091】

最後に、ステップS440において、修正されたオーディオ信号は、生成された空間的メタデータと一緒に出力される。

【0092】

ステップS410は、オーディオ信号を生成または処理するための上記の装置の第1のステージによって実行されてもよく、ステップS420は、第2のステージによって実行されてもよく、ステップS430は、第3のステージによって実行されてもよく、ステップS440は、出力ステージによって実行されてもよいことが理解される。それぞれのステージに関して上記でなされた任意の陳述は、それらの対応する方法ステップ／プロセスに同様に当てはまり、繰り返しの説明は、簡潔のため割愛されうることがさらに理解される。

【0093】

本開示は、同様に、本開示を通じて説明される方法および技法を実行するための装置（たとえば、シンセサイザー、オーディオ・プロセッサ）に関する。図5は、そのような装置500の例を示す。前記装置500は、プロセッサ510と、プロセッサ510に結合されたメモリ520とを備える。メモリ520は、プロセッサ510のための命令を記憶しうる。プロセッサ510は、任意的に、データベースなどの外部ソースから入力530を受領してもよい。入力530は、たとえば、音信号に関連してもよい。さらに、プロセッサ510は、たとえば、適切なインターフェース（たとえば、キーボード、制御パネルなど）を介して、ユーザー入力560を受領しうる。ユーザー入力は、上述のように、音生成または音整形を修正してもよい。プロセッサ510は、本開示を通じて説明される方法／技法を実行するように適応されてもよい。よって、プロセッサ510は、一つまたは複数の（修正された）音信号（オーディオストリーム）540および関連するメタデータ（メタデータ・ストリーム）550を出力してもよい。

【0094】

本開示は、同様に、コンピュータ・プロセッサによって実行されると、コンピュータ・プロセッサに、本開示を通じて説明される方法を実行させる命令を含むコンピュータ・プログラム、および前記コンピュータ・プログラムを記憶するコンピュータ可読記憶媒体に関する。

【0095】

本開示の実施形態は、オーディオ信号の生成および／または修正／整形を制御するために使用される（同じ）内部制御信号（内部変調信号）が、オーディオ信号のための空間的メタデータを生成するためにも使用されるという共通点を有しうる。制御信号が空間的メタデータを生成するために利用可能ではなく、オーディオ信号に適用される任意の以前の整形動作がチャネル・ベースの出力（たとえばモノ、ステレオまたは場合によってはマルチチャネル）に確定される場合と比較して、これは、創造的な意図を実装する際の追加的な柔軟性を許容し、空間的メタデータの面倒な手動の、潜在的には最善でない編集を回避するのに役立ちうる。

【0096】

解釈
本明細書に記載されるシステムの諸側面は、音信号を生成および／または処理するための適切なコンピュータベースの音処理システムにおいて実装されうる。コンポーネント、ブロック、プロセス、または他の機能コンポーネントのうちの一つまたは複数は、システムの一つまたは複数のプロセッサベースのコンピューティングデバイスの実行を制御する一つまたは複数のコンピュータ・プログラムを通じて実装されうる。本明細書で開示されるさまざまな機能は、ハードウェア、ファームウェアの任意の数の組み合わせを使用して、および／またはそれらの挙動、レジスタ転送、論理コンポーネント、および／または他の特性に関して、さまざまな機械可読媒体またはコンピュータ可読媒体において具現されるデータおよび／または命令として説明されうることにも留意されたい。そのようなフォーマットされたデータおよび／または命令が具現されうるコンピュータ可読媒体は、限定はしないが、光記憶媒体、磁気記憶媒体、または半導体記憶媒体などのさまざまな形の物理的（非一時的）な不揮発性媒体を含む。

【0097】

具体的には、実施形態は、ハードウェア、ソフトウェア、および電子コンポーネントまたはモジュールを含むことができ、これらは、説明の目的で、コンポーネントの大部分がハードウェアのみで実装されているかのように図示および説明されることがありうることを理解されたい。しかしながら、当業者は、この詳細な説明を読むことに基づいて、少なくとも1つの実施形態では、電子ベースの側面が、マイクロプロセッサおよび／または特定用途向け集積回路（「AS IC」）などの一つまたは複数の電子プロセッサによって実行可能な（たとえば、非一時的コンピュータ可読媒体に記憶された）ソフトウェアで実装されうることを認識するであろう。よって、複数のハードウェアおよびソフトウェアベースのデバイス、ならびに複数の異なる構造コンポーネントが、それらの実施形態を実装するために利用されうることに留意されたい。たとえば、本明細書に記載されたブロックまたはステージは、一つまたは複数の電子プロセッサ、一つまたは複数のコンピュータ可読媒体モジュール、一つまたは複数の入力／出力インターフェース、およびさまざまな構成要素を接続するさまざまな接続（たとえば、システムバス）を含むことができる。

【0098】

一つまたは複数の実施形態が、例として、特定の実施形態に関して説明されたが、一つまたは複数の実施形態は、開示された実施形態に限定されないことを理解されたい。むしろ、当業者には明白であろうさまざまな修正および同様の構成をカバーすることが意図されている。したがって、添付の特許請求の範囲は、そのような修正および同様の構成をすべて包含するように、最も広い解釈を与えられるべきである。

【0099】

また、本明細書で使用される表現および用語は、説明の目的のためであり、限定するものと見なされるべきではないことを理解されたい。「含む」、「備える」、または「有する」、およびそれらの変形の使用は、列挙される項目およびそれらの等価物、ならびに追加の項目を包含することが意図されている。別段の指定または限定がない限り、「取り付けられた」、「接続された」、「支持された」、および「結合された」という用語、ならびにそれらの変形は、広く使用され、直接および間接の両方の取り付け、接続、支持、および結合を包含する。

【0100】

箇条書き形式の例示的実施形態
本開示のさまざまな側面および実装は、特許請求の範囲ではない以下の箇条書き形式の例示的実施形態（enumerated example embodiment、EEE）からも理解されうる。
〔ＥＥＥ１〕オーディオ信号を生成または処理するための装置であって、当該装置は：オーディオ信号を取得するための第1のステージと；前記オーディオ信号によって表される音を整形するための一つまたは複数の制御信号に基づいて前記オーディオ信号を修正するための第2のステージと；修正されたオーディオ信号に関する空間的メタデータを、少なくとも部分的には前記一つまたは複数の制御信号に基づいて生成するための第3のステージと；前記修正されたオーディオ信号を、生成された空間的メタデータと一緒に出力するための出力ステージとを有する、装置。
〔ＥＥＥ２〕前記一つまたは複数の制御信号は、時間依存である、ＥＥＥ１に記載の装置。
〔ＥＥＥ３〕前記空間的メタデータは、前記修正されたオーディオ信号をどのようにレンダリングするかについて外部装置に命令するためのメタデータである、ＥＥＥ１または２に記載の装置。
〔ＥＥＥ４〕前記第2のステージは、前記オーディオ信号に時間依存の修正を適用するように適応されており、該修正の時間依存性は、前記一つまたは複数の制御信号に依存する、ＥＥＥ１ないし３のうちいずれか一項に記載の装置。
〔ＥＥＥ５〕前記第2のステージは、前記オーディオ信号を修正するために：フィルタ、増幅器、低周波発振器、オーディオ遅延器、ドライバー、およびフランジャーのうちの少なくとも1つを有する、ＥＥＥ１ないし４のうちいずれか一項に記載の装置。
〔ＥＥＥ６〕前記第2のステージは、前記オーディオ信号にフィルタを適用するように適応されており、前記フィルタの特性周波数は、前記一つまたは複数の制御信号によって制御される、ＥＥＥ１ないし５のうちいずれか一項に記載の装置。
〔ＥＥＥ７〕
前記フィルタの前記特性周波数はカットオフ周波数である、ＥＥＥ６に記載の装置。
〔ＥＥＥ８〕前記第2のステージは、前記オーディオ信号に増幅器を適用するように適応されており、前記増幅器の利得は、前記一つまたは複数の制御信号によって制御される、ＥＥＥ１ないし７のうちいずれか一項に記載の装置。
〔ＥＥＥ９〕
前記第2のステージは、前記増幅器を使用することによって前記オーディオ信号にエンベロープを適用するように適応されており、前記第3のステージは、少なくとも部分的には前記エンベロープの形状に基づいて前記空間的メタデータを生成するように適応されている、ＥＥＥ８に記載の装置。
〔ＥＥＥ１０〕前記オーディオ信号を取得することは、一つまたは複数の発振器を使用することによって前記オーディオ信号を生成することを含む、ＥＥＥ１ないし９のうちいずれか一項に記載の装置。
〔ＥＥＥ１１〕前記オーディオ信号は、少なくとも部分的には前記一つまたは複数の制御信号に基づいて、前記一つまたは複数の発振器によって生成される、ＥＥＥ１０に記載の装置。
〔ＥＥＥ１２〕
前記オーディオ信号を取得することは、前記オーディオ信号を受領することを含む、ＥＥＥ１ないし９のうちいずれか一項に記載の装置。
〔ＥＥＥ１３〕
前記一つまたは複数の制御信号は、少なくとも部分的にはユーザー入力に基づく、ＥＥＥ１ないし１２のうちいずれか一項に記載の装置。
〔ＥＥＥ１４〕
前記出力ステージは、前記生成された空間的メタデータとともに、前記修正されたオーディオ信号に基づく一つまたは複数のオーディオ・ストリームを出力するように適応されている、ＥＥＥ１ないし１３のうちいずれか一項に記載の装置。
〔ＥＥＥ１５〕オーディオ信号を生成または処理する方法であって、当該方法は：オーディオ信号を取得する段階と；前記オーディオ信号によって表される音を整形するための一つまたは複数の制御信号に基づいて前記オーディオ信号を修正する段階と；修正されたオーディオ信号に関する空間的メタデータを、少なくとも部分的には前記一つまたは複数の制御信号に基づいて生成する段階と；前記修正されたオーディオ信号を、生成された空間的メタデータと一緒に出力するための出力ステージとを含む、方法。
〔ＥＥＥ１６〕前記一つまたは複数の制御信号は、時間依存である、ＥＥＥ１５に記載の方法。
〔ＥＥＥ１７〕前記空間的メタデータは、前記修正されたオーディオ信号をどのようにレンダリングするかについて外部装置に命令するためのメタデータである、ＥＥＥ１５または１６に記載の方法。
〔ＥＥＥ１８〕前記オーディオ信号を修正することは、前記オーディオ信号に時間依存の修正を適用することを含み、該修正の時間依存性は、前記一つまたは複数の制御信号に依存する、ＥＥＥ１５ないし１７のうちいずれか一項に記載の方法。
〔ＥＥＥ１９〕前記オーディオ信号を修正することは：フィルタ、増幅器、低周波発振器、オーディオ遅延器、ドライバー、およびフランジャーのうちの少なくとも1つによって前記オーディオ信号を修正することを含む、ＥＥＥ１５ないし１８のうちいずれか一項に記載の方法。
〔ＥＥＥ２０〕前記オーディオ信号を修正することは、前記オーディオ信号にフィルタを適用することを含み、前記フィルタの特性周波数は、前記一つまたは複数の制御信号によって制御される、ＥＥＥ１５ないし１９のうちいずれか一項に記載の方法。
〔ＥＥＥ２１〕
前記フィルタの前記特性周波数はカットオフ周波数である、ＥＥＥ２０に記載の方法。
〔ＥＥＥ２２〕前記オーディオ信号を修正することは、前記オーディオ信号に増幅器を適用することを含み、前記増幅器の利得は、前記一つまたは複数の制御信号によって制御される、ＥＥＥ１５ないし２１のうちいずれか一項に記載の方法。
〔ＥＥＥ２３〕
前記オーディオ信号を修正することは、前記増幅器を使用することによって前記オーディオ信号にエンベロープを適用することを含み、前記空間的メタデータを生成することは、少なくとも部分的には前記エンベロープの形状に基づく、ＥＥＥ２２に記載の方法。
〔ＥＥＥ２４〕前記オーディオ信号を取得することは、一つまたは複数の発振器を使用することによって前記オーディオ信号を生成することを含む、ＥＥＥ１５ないし２３のうちいずれか一項に記載の方法。
〔ＥＥＥ２５〕前記オーディオ信号は、少なくとも部分的には前記一つまたは複数の制御信号に基づいて、前記一つまたは複数の発振器によって生成される、ＥＥＥ２４に記載の方法。
〔ＥＥＥ２６〕
前記オーディオ信号を取得することは、前記オーディオ信号を受領することを含む、ＥＥＥ１５ないし２３のうちいずれか一項に記載の方法。
〔ＥＥＥ２７〕
前記一つまたは複数の制御信号は、少なくとも部分的にはユーザー入力に基づく、ＥＥＥ１５ないし２６のうちいずれか一項に記載の方法。
〔ＥＥＥ２８〕
前記修正されたオーディオ信号を出力することは、前記生成された空間的メタデータとともに、前記修正されたオーディオ信号に基づく一つまたは複数のオーディオ・ストリームを出力することを含む、ＥＥＥ１５ないし２７のうちいずれか一項に記載の方法。
〔ＥＥＥ２９〕コンピュータ・プロセッサによって実行されると、前記コンピュータ・プロセッサに、ＥＥＥ１５ないし２８のうちいずれか一項に記載の方法を実行させる命令を含むコンピュータ・プログラム。
〔ＥＥＥ３０〕ＥＥＥ２９に記載のコンピュータ・プログラムを記憶したコンピュータ読み取り可能な記憶媒体。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】