特許 7136979 オーディオエフェクトを適用するための方法、装置、およびソフトウェア

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-05

(45)【発行日】2022-09-13

(54)【発明の名称】オーディオエフェクトを適用するための方法、装置、およびソフトウェア

(51)【国際特許分類】

   G10H 1/043 20060101AFI20220906BHJP

   G10K 15/02 20060101ALI20220906BHJP

   G11B 20/02 20060101ALI20220906BHJP

   G11B 20/10 20060101ALI20220906BHJP

   G11B 27/02 20060101ALI20220906BHJP

   G11B 27/036 20060101ALI20220906BHJP

   G11B 27/038 20060101ALI20220906BHJP

   H04R 3/00 20060101ALI20220906BHJP

【ＦＩ】

G10H1/043

G10H1/043 A

G10K15/02

G11B20/02 A

G11B20/10 321Z

G11B27/02

G11B27/036

G11B27/038

H04R3/00

【請求項の数】 21

【外国語出願】

(21)【出願番号】P 2021137938

(22)【出願日】2021-08-26

(65)【公開番号】P2022040079

(43)【公開日】2022-03-10

【審査請求日】2021-10-26

(31)【優先権主張番号】PCT/EP2020/074034

(32)【優先日】2020-08-27

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】PCT/EP2020/079275

(32)【優先日】2020-10-16

(33)【優先権主張国・地域又は機関】EP

【早期審査対象出願】

【前置審査】

(73)【特許権者】

【識別番号】521096289

【氏名又は名称】アルゴリディム ゲー・エム・ベー・ハー

【氏名又は名称原語表記】ａｌｇｏｒｉｄｄｉｍ ＧｍｂＨ

【住所又は居所原語表記】Ｋｏｅｎｉｇｉｎｓｔｒ． ３３， ８０５３９ Ｍｕｅｎｃｈｅｎ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】カリーム モルジー

【審査官】中野 和彦

(56)【参考文献】

【文献】特開２０１７－０９８９９９（ＪＰ，Ａ）

【文献】特開２０２０－０２５３４８（ＪＰ，Ａ）

【文献】特開２００１－１８８６００（ＪＰ，Ａ）

【文献】国際公開第２０１９／２２９１９９（ＷＯ，Ａ１）

【文献】特開２００８－２４２２８７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｈ １／０４３

Ｈ０４Ｒ ３／００

Ｇ１０Ｋ １５／０２

Ｇ１１Ｂ ２０／０２

Ｇ１１Ｂ ２０／１０

Ｇ１１Ｂ ２７／０２

Ｇ１１Ｂ ２７／０３６

Ｇ１１Ｂ ２７／０３８

(57)【特許請求の範囲】

【請求項1】

音楽オーディオデータを処理するための方法であって、
ａ．所定の音楽的音色のミクスチャを含む第１の音楽作品を表す入力オーディオデータを提供するステップと、
ｂ．前記入力オーディオデータを分解して、少なくとも、前記所定の音楽的音色から選択された第１の音楽的音色を表す第１のオーディオトラック、および前記所定の音楽的音色から選択された第２の音楽的音色を表す第２のオーディオトラックを生成するステップと、
ｃ．前記第１のオーディオトラックに所定の第１のオーディオエフェクトを適用するステップと、
ｄ．前記第２のオーディオトラックに、オーディオエフェクトを適用しないか、または前記第１のオーディオエフェクトとは異なる所定の第２のオーディオエフェクトを適用するステップと、
ｅ．前記第１のオーディオトラックと前記第２のオーディオトラックとを再結合して、再結合オーディオデータを取得するステップと、
を含み、
前記オーディオエフェクトは、前記入力オーディオデータに含まれるオーディオ信号の波形の形状を変更するか、または前記波形の少なくとも一部を変更するエフェクトであり、
前記第１の音楽的音色が、ハーモニックボーカル音色もしくはハーモニックインストゥルメント音色であり、かつ／または前記第２の音楽的音色が、非ハーモニックボーカル音色もしくはドラム音色であり、
前記入力オーディオデータを分解するステップｂが、訓練済みのニューラルネットワークを含むＡＩシステムにより前記入力オーディオデータを処理することを含み、
前記方法は、前記ステップcかつ／または前記ステップｄの動作をユーザが制御することを可能にするステップをさらに含む、
方法。

【請求項2】

前記第１のオーディオエフェクトが、前記第１のオーディオトラックのオーディオデータのピッチをその再生時間を維持しながら変更する、ピッチスケーリングエフェクトである、請求項１記載の方法。

【請求項3】

前記ピッチスケーリングエフェクトが、前記第１のオーディオトラックの前記オーディオデータの前記ピッチを所定の半音数だけ上下にシフトさせる、請求項２記載の方法。

【請求項4】

前記入力オーディオデータを分解するステップｂが、それらの和が前記入力オーディオデータに実質的に等しくなるような補完関係にある第１のオーディオトラックおよび第２のオーディオトラックを生成する、請求項１から３までのいずれか１項記載の方法。

【請求項5】

前記入力オーディオデータを分解するステップｂにおいて、前記第１のオーディオトラック、前記第２のオーディオトラック、および第３の音楽的音色を表す第３のオーディオトラックが生成されており、前記第１のオーディオトラック、前記第２のオーディオトラック、および前記第３のオーディオトラックは、それらの和が前記入力オーディオデータに実質的に等しくなるような補完関係にあり、
ステップｃにおいて、前記所定の第１のオーディオエフェクトが、前記第１のオーディオトラックに適用されるが、前記第２のオーディオトラックには適用されず、前記第３のオーディオトラックには適用されず、
ステップｄにおいて、前記第１のオーディオトラックと前記第２のオーディオトラックと前記第３のオーディオトラックとが、再結合されて、前記再結合オーディオデータを取得する、
請求項１から４までのいずれか１項記載の方法。

【請求項6】

前記再結合オーディオデータから取得された出力データが、さらに処理され、かつ／または再生ユニットによって再生され、かつ／または第２楽曲出力データとミキシングされる、請求項１から５までのいずれか１項記載の方法。

【請求項7】

前記再結合オーディオデータを取得することが、前記入力オーディオデータの分解の開始後５秒未満の時間内に実行される、請求項１から６までのいずれか１項記載の方法。

【請求項8】

前記方法が、
前記入力オーディオデータの前記第１の音楽作品の第１のキーを決定するステップと、
第２の音楽作品を表す第２楽曲入力オーディオデータを提供するステップと、
前記第２楽曲入力オーディオデータの前記第２の音楽作品の第２のキーを決定するステップと、
前記第１のキーおよび前記第２のキーに基づいてピッチシフト値を決定するステップと、
をさらに含み、
ステップｃにおいて、前記第１のオーディオトラックのピッチが、前記第２のオーディオトラックのピッチを維持しながら、前記ピッチシフト値によってシフトされ、
前記方法が、前記再結合オーディオデータから取得された出力データと前記第２楽曲入力オーディオデータから取得された第２楽曲出力データとをミキシングしてミキシング出力データを取得するステップをさらに含み、
前記方法が、前記ミキシング出力データから取得された再生データを再生するステップをさらに含む、
請求項１から７までのいずれか１項記載の方法。

【請求項9】

音楽オーディオデータを処理するための装置であって、
所定の音楽的音色のミクスチャを含む第１の音楽作品を表す入力オーディオデータを受信するための入力ユニットと、
前記入力ユニットから受信した前記入力オーディオデータを分解して、少なくとも、前記所定の音楽的音色から選択された第１の音楽的音色を表す第１のオーディオトラック、および前記所定の音楽的音色から選択された第２の音楽的音色を表す第２のオーディオトラックを生成するための分解ユニットと、
所定の第１のオーディオエフェクトを前記第１のオーディオトラックに適用するが、前記第２のオーディオトラックには適用しない、エフェクトユニットと、
前記第１のオーディオトラックと前記第２のオーディオトラックとを再結合して、再結合オーディオデータを取得するための再結合ユニットと、
前記エフェクトユニットの動作をユーザが制御することを可能にするように適合化されたエフェクト制御ユニットと、
を含み、
前記オーディオエフェクトは、前記入力オーディオデータに含まれるオーディオ信号の波形の形状を変更するか、または前記波形の少なくとも一部を変更するエフェクトであり、
前記第１の音楽的音色が、ハーモニックボーカル音色もしくはハーモニックインストゥルメント音色であり、かつ／または前記第２の音楽的音色が、非ハーモニックボーカル音色もしくはドラム音色であり、
前記分解ユニットが、訓練済みのニューラルネットワークを含むＡＩシステムを含み、前記ニューラルネットワークが、異なる音楽的音色のミクスチャを含むオーディオデータから所定の音楽的音色のオーディオデータを分離するように訓練されている、
装置。

【請求項10】

前記エフェクトユニットが、その再生期間を維持しながら、前記第１のオーディオトラックのオーディオデータのピッチを変更するためのピッチスケーリングユニットである、請求項９記載の装置。

【請求項11】

前記装置が、出力データを保存するように適合化されたストレージユニット、および／または前記出力データを再生するように適合化された再生ユニット、および／または前記出力データと第２楽曲出力データとをミキシングするように適合化されたミキシングユニットをさらに含む、請求項９または１０記載の装置。

【請求項12】

前記装置が、
前記入力オーディオデータの前記第１の音楽作品の第１のキーを決定するための第１のキー検出ユニットと、
第２の音楽作品を表す第２楽曲入力オーディオデータを提供するための第２楽曲入力ユニットと、
前記第２楽曲入力オーディオデータの前記第２の音楽作品の第２のキーを決定するための第２のキー検出ユニットと、
前記第１のキーおよび前記第２のキーに基づいてピッチシフト値を決定するためのピッチシフト計算ユニットと、
をさらに含み、
前記エフェクトユニットが、前記第２のオーディオトラックのピッチを維持しながら、前記第１のオーディオトラックの前記ピッチを前記ピッチシフト値だけシフトさせるように適合化されたピッチスケーリングユニットである、
請求項９から１１までのいずれか１項記載の装置。

【請求項13】

前記装置が、
前記再結合オーディオデータから取得された出力データと前記第２楽曲入力オーディオデータから取得された第２楽曲出力データとをミキシングして、ミキシング出力データを取得するように適合化されたミキシングユニットと、
前記ミキシング出力データから取得された再生データを再生するように適合化された再生ユニットと、
をさらに含む、請求項１２記載の装置。

【請求項14】

前記装置が、
第２の音楽作品を表す第２楽曲入力オーディオデータを提供するための第２楽曲入力ユニットと、
前記再結合オーディオデータから取得された出力データと前記第２楽曲入力オーディオデータから取得された第２楽曲出力データとをミキシングして、ミキシング出力データを取得するように適合化されたミキシングユニットと、
ユーザが操作して制御範囲内の制御位置を設定できるクロスフェードコントローラを有するクロスフェードユニットであって、前記クロスフェードユニットは、前記クロスフェードコントローラの前記制御位置に応じて、前記クロスフェードコントローラが前記制御範囲の一方の端点にあるときに前記出力データの第１の音量レベルが最大となりかつ前記第２楽曲出力データの第２の音量レベルが最小となり、前記クロスフェードコントローラが前記制御範囲のもう一方の端点にあるときに前記第１の音量レベルが最小となりかつ前記第２の音量レベルが最大となるように、前記第１の音量レベルおよび前記第２の音量レベルを設定する、クロスフェードユニットと、
をさらに含む、請求項９から１３までのいずれか１項記載の装置。

【請求項15】

前記エフェクトユニットの動作が、第１の分解オーディオトラックへの少なくとも前記第１のオーディオエフェクトの前記適用を含む、請求項９から１４までのいずれか１項記載の装置。

【請求項16】

前記エフェクトユニットが複数のオーディオエフェクトを制御し、前記エフェクト制御ユニットが、前記第１のオーディオトラックに適用される前記第１のオーディオエフェクトとして、ユーザが前記複数のオーディオエフェクトから少なくとも１つのオーディオエフェクトを選択することを可能にするように適合化されたエフェクト制御要素を含む、請求項９から１５までのいずれか１項記載の装置。

【請求項17】

前記エフェクト制御ユニットは、ユーザが前記第１のオーディオエフェクトの少なくとも１つのエフェクトパラメータを制御することを可能にするように適合化されたパラメータ制御要素を含む、請求項９から１６までのいずれか１項記載の装置。

【請求項18】

前記分解ユニットは、前記入力オーディオデータを分解して、それぞれが前記所定の音楽的音色から選択された異なる音色を表す複数の分解オーディオトラックを生成するように適合化されており、
前記エフェクト制御ユニットは、前記選択された分解オーディオトラックとして、ユーザが前記複数の分解オーディオトラックのうちの少なくとも１つを選択することを可能にするように適合化されたルーティング制御要素を含み、
前記エフェクトユニットが、オーディオエフェクトまたは前記選択されたオーディオエフェクトまたは前記第１のオーディオエフェクトを、前記少なくとも１つの選択された分解オーディオトラックに適用する、
請求項９から１７までのいずれか１項記載の装置。

【請求項19】

前記分解ユニットが、前記入力オーディオデータを分解して、少なくとも第１の分解オーディオトラックおよび第２の分解オーディオトラックを含む複数の分解オーディオトラックを生成するように適合化されており、前記複数の分解オーディオトラックの各々が、それぞれ、同じ音楽作品の前記所定の音楽的音色から選択された異なる音色を表し、
前記エフェクト制御ユニットが、少なくとも前記第１の分解オーディオトラックへの第１のオーディオエフェクトの適用を制御し、かつ前記第２の分解オーディオトラックへの前記第１のオーディオエフェクトとは異なる第２のオーディオエフェクトの適用を制御するように適合化されたコンボエフェクト制御要素を含む、
請求項９から１８までのいずれか１項記載の装置。

【請求項20】

前記装置が、マイクロプロセッサ、ストレージユニット、入力インタフェースおよび出力インタフェースを有するコンピュータを含み、少なくとも前記入力ユニット、前記分解ユニット、前記エフェクトユニット、および前記再結合ユニットが、前記コンピュータ上で実行されるソフトウェアプログラムによって形成されており、前記ソフトウェアプログラムが、請求項１から１０までのいずれか１項記載の方法を実行すべく前記コンピュータを制御するように適合化されている、請求項９から１４までのいずれか１項記載の装置。

【請求項21】

コンピュータ上で実行され、前記コンピュータを制御して、請求項１から８までのいずれか１項記載の方法を実行するように適合化された、ソフトウェア。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音楽オーディオデータを処理するための方法に関し、本方法は、所定の音楽的音色のミクスチャを含む音楽作品を表す入力オーディオデータを提供するステップと、入力オーディオデータにオーディオエフェクトを適用するステップと、を含む。さらに、本発明は、音楽オーディオデータを処理する装置と、コンピュータ上で実行してオーディオデータを処理するようにコンピュータを制御するのに適したソフトウェアとに関する。

【0002】

上記のタイプの方法、装置、およびソフトウェアは、音楽の制作および録音、ライブミキシング、ＤＪミキシング、音楽放送などの分野における種々の用途において従来から知られている。オーディオの処理は、多くの場合、１つ以上のオーディオエフェクトを適用することを意味する。これらのエフェクトは、音楽の特定のサウンドパラメータを変更して、音楽の構成自体を実質的に変更することなく、サウンドの特性を変更するものである。既知のオーディオエフェクトの例として、リバーブエフェクト、ディレイエフェクト、コーラスエフェクト、イコライザ、フィルタ、ピッチシフトまたはピッチスケーリングエフェクト、テンポシフト（タイムストレッチ／リサンプリング）が挙げられる。かかるオーディオエフェクトによりサウンドの特性が変化するため、オーディオエフェクトは、単なる音量変化とは異なっている。つまり、音量を変化させても、オーディオ信号の振幅が一定の係数でスケーリングされるだけでサウンドの特性は変わらないが、オーディオエフェクトは、通常、オーディオ信号の波形の形状を変更するものである。

【0003】

別のオーディオ処理アプリケーションは、デジタルオーディオワークステーション（ＤＡＷ）または同様のソフトウェアなどのサウンド編集環境であり、これにより、モノラルまたはステレオのミキシングオーディオファイルをインポートし、１つ以上のオーディオエフェクトを適用してオーディオファイルを編集することができる。かかるオーディオエフェクトには、タイムストレッチ、リサンプリング、ピッチシフト、リバーブ、ディレイ、コーラス、イコライザ（ＥＱ）などの編集エフェクトが含まれる。デジタルオーディオワークステーションは、プロデューサーまたはミキシング／マスタリングエンジニア、レコーディングスタジオ、ポストプロダクションスタジオなどによって使用される。

【0004】

多くのオーディオ処理アプリケーションでは、入力オーディオデータは、モノラルまたはステレオオーディオファイルであり、音楽作品の１つ（モノラル）または２つ（ステレオ）のミキシングオーディオトラックを含む。ミキシングオーディオトラックは、レコーディングスタジオにおいて、コンピュータ（ドラムコンピュータなど）でプログラムされた複数のソーストラック、または個々のインストゥルメントもしくはボーカルを直接に録音して取得された複数のソーストラックをミキシングすることにより作成されうる。その他の場合、ミキシングオーディオトラックは、コンサートのライブ録音から、または再生装置（ヴァイナルプレーヤなど）の出力を録音することで取得される。ミキシングオーディオトラックは、多くの場合、ストリーミングもしくはダウンロードを介して音楽配信業者によって配信されるか、またはラジオもしくはテレビ放送サービスによって放送される。

【0005】

オーディオエフェクトを適用すると、音楽のサウンドが自然に聞こえなくなったり、オーディオエフェクトの存在が必要以上に聞こえるようになるなど、サウンドの特性が歪む場合があることが判明している。特に、音響不足を修正する目的またはある楽曲のサウンドを別の楽曲のサウンドに合わせる目的でオーディオエフェクトが適用される場合、例えば、ある楽曲から別の楽曲へのスムーズなトランジションが望まれるＤＪ環境の場合には、一般的に、リスナーがエフェクトの存在を認識しないか、少なくとも音楽作品の特性が大きく変化したことを認識しないような手法でエフェクトを適用することが目的とされている。

【0006】

例えば、オーディオエフェクトは、オーディオデータのピッチをその再生時間を維持しながら変更する、ピッチスケーリングエフェクトでありうる。これは、ＤＪが、ある楽曲のキーを別の楽曲のキーに合わせて、２つの楽曲の間をスムーズに（異なるキーが衝突することなく）クロスフェードするような場合に望まれうる。従来のピッチスケーリングでは、ピッチが１半音または２半音以上シフトすると、音楽に不自然な歪みが生じる。その結果、ＤＪのクリエィティブな自由度が制限されている。

【0007】

したがって、本発明の目的は、ミキシングオーディオトラックに適用されるオーディオエフェクトの結果を改善し、オーディオエフェクトによる音楽の不自然な歪みを回避すること、またはオーディオエフェクトによって音楽作品の特性を変更するための新しい選択肢を提供することである。具体的には、本発明の目的は、音楽を不自然に歪ませることなく、１半音または２半音以上によるピッチスケーリングを可能にするオーディオデータを処理するための方法、装置、およびソフトウェアを提供することである。

【0008】

上記の目的を実現するために、本発明の第１の態様では、音楽オーディオデータを処理するための方法が提供され、当該方法は、（ａ）所定の音楽的音色のミクスチャを含む第１の音楽作品を表す入力オーディオデータを提供するステップと、（ｂ）入力オーディオデータを分解して、少なくとも、所定の音楽的音色から選択された第１の音楽的音色を表す第１のオーディオトラック、および所定の音楽的音色から選択された第２の音楽的音色を表す第２のオーディオトラックを生成するステップと、（ｃ）第１のオーディオトラックに所定の第１のオーディオエフェクトを適用するステップと、（ｄ）第２のオーディオトラックに、オーディオエフェクトを適用しないか、または第１のオーディオエフェクトとは異なる所定の第２のオーディオエフェクトを適用するステップと、（ｅ）（エフェクトを適用した）第１のオーディオトラックと第２のオーディオトラックとを再結合して、再結合オーディオデータを取得するステップと、を含む。

【0009】

したがって、本発明の重要な特徴によれば、入力オーディオデータが分解されて、異なる音楽的音色の少なくとも２つの異なるオーディオトラックが取得され、その２つのオーディオトラックのうちの１つのみに第１のオーディオエフェクトが適用され、その後、オーディオトラックが再結合されて、再結合オーディオデータが取得される。その結果、第１のオーディオエフェクトをより洗練されかつ差別化された手法で適用して、選択した音楽的音色のみに影響を与えることが可能になる。

【0010】

例えば、オーディオトラックのボーカル成分のみにリバーブエフェクトを適用し、ドラム成分には適用しないか、または強度を下げて適用することにより、リバーブエフェクトによって音楽作品のサウンドの特性を変える新しい選択肢を提供することができる。別の例では、音楽エンターテインメント用のＰＡシステムがＤＪによって制御される際、ドラムなどの特定のインストゥルメントが会場の特定の周囲または部屋で音響上の問題を引き起こすことが判明していれば、そのインストゥルメントにのみリバーブエフェクトを適用することが可能になる。

【0011】

第２のオーディオトラックは、オーディオエフェクトをまったく受信せず、変更されないままであってもよい。すなわち、ステップ（ｂ）での生成時およびステップ（ｅ）での再結合時の第２のオーディオトラックのオーディオデータは等しくてもよい。代替的に、第２のオーディオトラックは、第１のオーディオエフェクトとは異なる、所定の第２のオーディオエフェクトを受信してもよい。

【0012】

本発明の文脈において、入力オーディオデータは、好ましくは、モノラルまたはステレオオーディオファイルであり、音楽作品の１つ（モノラル）または２つ（ステレオ）のミキシングオーディオトラックを含む。ミキシングオーディオトラックは、レコーディングスタジオにおいて、コンピュータ（ドラムコンピュータなど）でプログラムされた複数のソーストラック、または個々のインストゥルメントもしくはボーカルを直接に録音して取得された複数のソーストラックをミキシングすることにより作成されうる。その他の場合、ミキシングオーディオトラックは、コンサートのライブ録音から、または再生装置（ヴァイナルプレーヤなど）の出力を録音することから取得される。ミキシングオーディオトラックは、多くの場合、ストリーミングもしくはダウンロードを介して音楽配信業者によって配信されるか、またはラジオもしくはテレビ放送サービスによって放送される。

【0013】

本開示では、オーディオエフェクトは、リバーブ、コーラス、ディレイ、ピッチスケーリング、テンポシフトなどのエフェクトタイプ、およびウェット／ドライパラメータ、コーラス強度、ディレイタイム／強度、ピッチシフト値（例えば、半音数またはセントアップ／ダウン）、テンポシフト値（例えば、サンプリングレート変化率）などの少なくとも１つのエフェクトパラメータによって定義される。さらに、本開示では、２つのオーディオエフェクトは、それらがエフェクトタイプまたは少なくとも１つのエフェクトパラメータにおいて異なる場合、異なるものとする。したがって、第２のオーディオエフェクトが第１のオーディオエフェクトと異なるという特徴には、第２のオーディオエフェクトが第１のオーディオエフェクトのエフェクトタイプとは異なるエフェクトタイプを有する場合、ならびに第１および第２のオーディオエフェクトのエフェクトタイプは同じであるが、エフェクトパラメータが異なる場合が含まれる。また、本開示では、一部のオーディオエフェクトは音量の変化を伴う場合があるが、単なる音量の変化はオーディオエフェクトとはみなされない。

【0014】

上記のように、本開示において、オーディオエフェクトは、通常、音楽オーディオデータに含まれるオーディオ信号の波形の形状を変更するか、またはその波形の少なくとも一部（特に時間間隔）を変更するエフェクトとして定義される。この点で、オーディオエフェクトは、波形の形状を変更せずに波形の振幅をスケーリングするだけの単純な音量変更とは区別される。

【0015】

本発明の意味におけるオーディオエフェクトは、パラメトリックイコライザ（例えば、低、中、高周波数帯域、もしくは他の任意の周波数帯域を有するＥＱ）、ハイパスフィルタ、ローパスフィルタ、フランジャ（フィードバックループで信号に導入されるディレイエフェクトを使用する周波数変調）、フェイザ（元のサウンドにミックスバックされた周波数変調サウンド、または信号の一部のフェーズシフトによって取得されたサウンド）、コーラス、ボコーダ、ハーモナイザ、ピッチシフタ、ゲート（閾値音量レベル未満の信号を減衰させるフィルタ）、リバーブエフェクト、ディレイエフェクト、エコーエフェクト、ビットクラッシャ（入力オーディオデータの解像度または帯域幅を小さくして歪みを発生させるオーディオエフェクト）、トレモロエフェクト、ループロールエフェクト、ビートロールエフェクト、ビートマッシャ、センサエフェクト、バックスピンエフェクト、スクラッチエフェクト（動的サンプリングレート変換および／または順方向および逆方向再生のバリエーション）、ならびにブレークエフェクトのうちの少なくとも１つを含みうる。さらに、オーディオエフェクトは、かかるオーディオエフェクトまたは他のオーディオエフェクトのうちの２つ以上を組み合わせることによって作成することができる。

【0016】

さらに、オーディオエフェクトは、エフェクトパラメータ、例えば、ビートパラメータまたはタイミングパラメータを有しうる。ここで、ビートまたはタイミングパラメータは、オーディオ信号に含まれる音楽のビートに応じて選択されてもよく、ビートは、既知のビート検出アルゴリズムによって決定されてもよく、またはオーディオデータのメタデータから取得されてもよい。タイミングエフェクトパラメータは、ビートまたはビートの分数もしくは倍数を表しうる。

【0017】

本発明による第１のオーディオエフェクトまたは任意のオーディオエフェクトは、オーディオトラック全体に、またはオーディオトラックの時間間隔にのみ適用されうることに留意されたい。また、演奏時間中にエフェクトパラメータを変更するエフェクトオートメーションも可能である。

【0018】

本発明の一実施形態では、本発明の第１の態様による方法は、楽曲の選択された音楽的音色にのみオーディオエフェクトを適用できるようにするため、または楽曲の異なる音楽的音色に異なるオーディオエフェクトを適用できるようにするために、ＤＪ機器（ＤＪソフトウェア、ＤＪ装置など）で使用することができる。

【0019】

本発明のさらなる実施形態では、本発明の第１の態様による方法は、デジタルオーディオワークステーション（ＤＡＷ）または同様のソフトウェアなどのサウンド編集環境で使用することができ、当該サウンド編集環境は、ミキシングされたモノラルまたはステレオオーディオファイルを入力オーディオデータとしてインポートし、１つ以上のオーディオエフェクトを適用して入力オーディオデータを編集する機能を有する。次に、分解された第１および第２のオーディオトラックは、タイムストレッチ、リサンプリング、ピッチシフト、リバーブ、ディレイ、コーラス、イコライザ（ＥＱ）などのオーディオエフェクトを適用する（または適用しない）ことによって、互いに異なる別々の編集を行うことができる。かかるデジタルオーディオワークステーションは、プロデューサーまたはミキシング／マスタリングエンジニアが、レコーディングスタジオ、ポストプロダクションスタジオなどで使用でき、ミキシングされたオーディオファイル（例えば、音楽配信サービスもしくはレコードレーベルから取得したミキシング楽曲、または様々なインストゥルメントもしくはその他の音源のミクスチャをライブ録音したもの）を処理することができる。したがって、ミキシング楽曲の特定の音楽的音色の個々のトラックが利用できない場合でも、ユーザは、より対象的で洗練された手法で所望のオーディオエフェクトを適用する目的で、特定の音楽的音色の個々のオーディオトラックへのアクセスを取得することができる。

【0020】

個々のオーディオトラック、特に第１のオーディオトラックに第１のオーディオエフェクトを適用した後、（第１のオーディオエフェクトが適用された）第１のオーディオトラックおよび（オーディオエフェクトが適用されていないか、または別のオーディオエフェクトが適用された）第２のオーディオトラックは、再び再結合されて単一のオーディオトラックを形成する。これは、記憶媒体に保存されるか、さらに処理または再生することができる。

【0021】

別の実施形態では、本方法には、元の入力オーディオデータが再生されるか、または入力オーディオデータを分解して取得された分解オーディオトラック（特に第１のオーディオトラックおよび第２のオーディオトラック）を全て再結合して取得された、つまり、オーディオエフェクトなしで、好ましくは個々の分解オーディオトラックに音量変更を適用せずに取得された再結合オーディオデータが再生される、第１の再生モードと、少なくとも１つの第１のオーディオエフェクトが分解オーディオトラックのうちの少なくとも１つに適用され、他の分解トラックは変更されない、第２の再生モードと、が含まれうる。適切なエフェクト制御要素の動作により、再生期間中の任意の所望の時点で、第１の再生モードから第２の再生モードへの切り替え、および／または第２の再生モードから第１の再生モードへの切り替えを行うことができる。その結果、連続的で途絶のない音楽作品の再生を確保しながら、少なくとも１つのオーディオエフェクトを所望の時間間隔内に所望の音色に挿入することができる。かかる第１および第２の再生モードは、オーディオエフェクトをその場（on the fly）でシームレスにオンおよびオフにすることができる本方法のＤＪアプリケーションにとって特に有利である。

【0022】

ＤＡＷプラグインなどのＤＡＷアプリケーションに特に有利でありうる別の実施形態では、本方法は、音楽作品内の時間間隔を表すユーザ入力（例えば、ユーザ選択）を受信するステップを含むことができ、第１のオーディオエフェクトは、第１の（分解された）オーディオトラックに適用される。ここで、本方法は、音楽作品の修正されたバージョンを表す出力データ（特に宛先オーディオファイル）を作成し、ストレージユニットに保存するように適合化されており、時間間隔外の再生位置では、出力データは入力オーディオデータに対応し、一方、時間間隔内の再生位置では、出力データは、第１のオーディオエフェクトが適用された第１のオーディオトラックと、第１のオーディオエフェクトが適用されていない少なくとも第２および／または残りの全ての分解オーディオトラックとの再結合に対応する。特に、出力データが入力オーディオデータに対応する時間間隔外の再生位置では、特に、出力データが、音楽作品の入力オーディオデータを分解して取得された全ての分解オーディオトラック（特に第１のオーディオトラックと第２のオーディオトラック）の再結合によって取得され、オーディオエフェクトなしで、好ましくは個々の分解オーディオトラックに音量変更を適用せずに取得される場合、出力データは、入力オーディオデータと実質的に等しくてもよく、または出力データのオーディオ信号は、入力オーディオデータのオーディオ信号と実質的に音声学的に等しくてもよい。

【0023】

本発明の好ましい実施形態では、第１のオーディオエフェクトは、第１のオーディオトラックのオーディオデータのピッチをその再生期間／速度を維持しながら変更する、ピッチスケーリングエフェクトである。本発明者らは、音楽作品の一部の音楽的音色にのみピッチスケーリングエフェクトを適用することで、極めて自然な結果が実現されることを発見した。例えば、ドラム音色には音楽的なピッチがないため、ピッチをシフトさせる必要がない。そのため、特にピッチを上下に１半音または２半音以上シフトさせる際には、ドラムの歪みは回避される。したがって、かかる例では、ハーモニックインストゥルメント音色（旋律成分を有するか、または音楽のキー／ハーモニーに応じて異なるピッチの実際の音を含む音色）のみをピッチシフトして、音楽作品のキーを所望のキーにシフトさせることができ、一方、ドラムなどの他の音色や、ラップミュージックなどの非旋律な話し言葉のボーカルなどは、ピッチに関して変更しなくてもよい。

【0024】

好ましい実施形態において、ピッチが２半音を超えて、より好ましくは５半音を超えて、さらにより好ましくは１１半音を超えてシフトされる場合、ピッチスケーリングに関する本発明の利点は特に顕著になる。特に、５半音以上または１１半音以上のピッチシフトにより、２つの異なる楽曲のキーを自由に合わせることができる。

【0025】

ピッチスケーリングエフェクトにより、第１のオーディオトラックのオーディオデータのピッチを、所定の半音数だけ上下にシフトさせることができる。これにより、楽曲を別のキーに移調するなど、音楽的な目的でピッチシフトを行うことができる。これは、ＤＪが、ある楽曲のキーを別の楽曲のキーに合わせて、複数の芸術的な理由で両方の楽曲を同時に再生できるようにする場合に役立つものであり、例えば２つの楽曲間のスムーズな（異なるハーモニーの衝突のない）クロスフェードなどに役立つ。

【0026】

本発明の別の実施形態では、第１のオーディオエフェクトは、時間シフトエフェクト、特に量子化エフェクトでありうる。これは、音楽作品のビートに合わせて特定の部分またはオーディオトラックをシフトさせるために、オーディオトラック内の選択された位置で、タイムストレッチまたはタイムコンプレッションを挿入したり、オーディオトラックの時間間隔をカットアウトするように適合化されている（タイミング補正）。例えば、音楽的音色のうちの１つのタイミングが正しくないことが判明した場合、または音色のうちの１つのタイミングを他の目的で変更する場合、ユーザは、他の音楽的音色のオーディオトラックのタイミングに作用を与えることなく、所望のオーディオトラック、例えば、第１のオーディオトラックに対して、かかるタイミング変更を行うことができる。この特徴は、本方法がデジタルオーディオワークステーションに実装されている場合に特に関連性がある。例えば、かかる方法により、伴奏部分のタイミング（楽曲の残りの音色または非ボーカル音色）を変更することなく、楽曲のボーカル部分のタイミングを修正または変更することが可能となる。概して、本発明では、ポストプロダクションの状況で、かかる元のオーディオトラックがユーザに利用できなくなった場合でも、ミキシング楽曲を構成する個々の音楽的音色（インストゥルメント、ボーカルなど）を表す元の（または元に近い）オーディオトラックへのアクセスを許可することによって、ミキシング楽曲のポストプロダクションが可能となる。

【0027】

好ましくは、オーディオデータを分解するステップｂは、それらの和が入力オーディオデータに実質的に等しくなるような補完関係にある第１のオーディオトラックおよび第２のオーディオトラックを生成する。これにより、第１および第２のオーディオトラックを再結合するステップ（ｅ）において、第１または第２のオーディオトラックにそれぞれ適用されるオーディオエフェクトを除去することにより、元の入力オーディオデータのオーディオ信号を容易に復元することができる。

【0028】

本発明のさらなる実施形態では、第１の音楽的音色は、ハーモニックボーカル音色（旋律成分を有するかまたは音楽のキー／ハーモニーに応じて異なるピッチの実際の音を含むボーカル音色）、またはハーモニックインストゥルメント音色（旋律成分を有するかまたは音楽のキー／ハーモニーに応じて異なるピッチの実際の音を含むインストゥルメント音色、例えばベース、ギター、ピアノ、弦などの少なくとも１つを含む音色）、または（旋律音色、例えばドラムおよびベースを除く全ての信号成分を含む音色として示される）ハーモニックボーカル音色とハーモニックインストゥルメント音色との組み合わせであり、かつ／あるいは第２の音楽的音色は、非ハーモニックボーカル音色もしくは非ハーモニックインストゥルメント音色、好ましくはドラム音色である。これにより、ハーモニック音色と非ハーモニック音色とにそれぞれ異なるオーディオエフェクト設定を適用できるため、ピッチスケーリングエフェクト、ハーモナイザエフェクト、フランジャーエフェクトなど、音楽作品のハーモニックパラメータに作用を与えるエフェクトの品質が向上する。残りの非ハーモニック音色には基本的にかかるエフェクトを適用しないか、または強度を下げてエフェクトを適用しながら、ギター、ボーカル、ベース、ピアノ、シンセサイザのサウンドなどの音楽のハーモニック音色のみに適用することで、かかるエフェクトタイプにより極めて自然な響きの結果が実現されることが発明者によって発見された。

【0029】

本発明のさらなる実施形態では、オーディオデータを分解するステップｂにおいて、第１のオーディオトラック、第２のオーディオトラック、および第３の音楽的音色を表す第３のオーディオトラックが生成されており、第１のオーディオトラック、第２のオーディオトラック、および第３のオーディオトラックは、それらの和が入力オーディオデータに実質的に等しくなるような補完関係にあり、ステップｃにおいて、所定の第１のオーディオエフェクトは、第１のオーディオトラックに適用されるが、第２のオーディオトラックには適用されず、第３のオーディオトラックには適用されず、ステップｄにおいて、第１のオーディオエフェクトが適用された第１のオーディオトラックと第２のオーディオトラックと第３のオーディオトラックとは、再結合されて、再結合オーディオデータが取得される。本実施形態では、入力オーディオデータは、異なる音楽的音色の３つのオーディオトラックに分離され、これにより、異なるエフェクト設定を音楽の３つの異なる成分に適用することができる。

【0030】

本発明の第１の態様による方法では、入力オーディオデータを分解して、異なる音楽的音色を含む第１および第２のオーディオトラックを取得するステップが使用される。複数の分解アルゴリズムおよびサービスは、それ自体が当技術分野で知られており、分解オーディオ信号を、ボーカル成分、ドラム成分、またはインストゥルメント成分などの様々な音色のうちの１つ以上の信号成分から分離することを可能にする。かかる分解信号および分解トラックは、過去に、楽曲からボーカルを除去して楽曲のカラオケバージョンを作成するなどの特定の人工的なエフェクトを作成するために使用されており、本発明の方法のステップ（ｂ）でも使用することができる。

【0031】

しかしながら、本発明の好ましい実施形態では、入力オーディオデータを分解するステップｂは、訓練済みのニューラルネットワークを含むＡＩシステムによって入力オーディオデータを処理することを含みうる。ＡＩシステムは、例えば、ボーカルトラック、ハーモニック／インストゥルメントトラック、およびボーカルトラックとハーモニック／インストゥルメントトラックとのミキシングを含む複数のデータセットによって訓練された、畳み込みニューラルネットワーク（ＣＮＮ）を実装することができる。歌声トラックなどのソーストラックをミキシングオーディオ信号から分離できる従来のＡＩシステムの例として、Pretet, “Singing Voice Separation: A study on training data”, Acoustics, Speech and Signal Processing (ICASSP), 2019, pages 506-510が挙げられ、当該Pretetの教示に基づいて音楽ストリーミング会社Deezerが提供するオープンソースツール「spleeter」、深層ニューラルネットワークに基づくボイスおよびソースのセパレータ「PhonicMind」（https://phonicmind.com）、周波数領域の深層ニューラルネットワークに基づく音楽ソースセパレータ「Open-Unmix」、または波形領域の深層ニューラルネットワークに基づく音楽ソースセパレータであるFacebook AI Researchの「Demucs」が挙げられる。これらのツールにより、標準的なフォーマット（ＭＰ３、ＷＡＶ、ＡＩＦＦなど）の音楽ファイルを受信し、楽曲を分解して、ボーカルトラック、ベーストラック、ドラムトラック、伴奏トラック、またはそれらのミクスチャなどの楽曲のトラックが分解／分離されて、提供される。

【0032】

本発明のさらに好ましい実施形態では、再結合オーディオデータから取得された出力データは、さらに処理され、好ましくはストレージユニットに保存され、かつ／または再生ユニットによって再生され、かつ／または第２楽曲出力データとミキシングされる。再結合オーディオデータを取得すること、および／または出力データをさらに処理することは、好ましくは、入力オーディオデータの分解の開始後５秒未満、好ましくは２００ミリ秒未満の時間内に実行される。これには、例えばＤＪのライブパフォーマンス中に、エフェクトが実際に必要なときに本方法を連続プロセスとして実行できるという利点がある。例えば、オーディオデータの分解からその後の処理までの時間が２００ミリ秒未満の場合、ＤＪはライブパフォーマンス中に基本的に速やかにピッチシフトを実行できる。

【0033】

本発明の別の実施形態では、本方法は、入力オーディオデータの第１の音楽作品の第１のキーを決定するステップと、第２の音楽作品を表す第２楽曲入力データを提供するステップと、第２楽曲オーディオデータの第２の音楽作品の第２のキーを決定するステップと、第１のキーおよび第２のキーに基づいてピッチシフト値を決定するステップと、をさらに含み、ステップ（ｃ）において、第１のオーディオトラックのピッチは、第２のトラックのピッチを維持しながら、ピッチシフト値によってシフトされ、本方法は、好ましくは、再結合オーディオデータから取得された出力データと第２楽曲入力データから取得された第２楽曲出力データとをミキシングして、ミキシング出力データを取得するステップをさらに含み、本方法は、好ましくは、ミキシング出力データから取得された再生データを再生するステップをさらに含む。かかる実施形態では、本方法は、例えばＤＪ機器において、２つの曲のキーを自動的に合わせて、２つの曲の間をスムーズに移行させるようなＤＪによる用途に特に適している。本発明の利点によれば、楽曲のキーが１半音または２半音以上だけシフトしても、サウンドのアーチファクトまたは歪みを回避するか、または実質的に低減することができる。

【0034】

本発明の第２の態様では、上記の目的は、音楽オーディオデータを処理するための装置であって、所定の音楽的音色のミクスチャを含む第１の音楽作品を表す入力オーディオデータを受信するための入力ユニットと、入力ユニットから受信した入力オーディオデータを分解して、少なくとも、所定の音楽的音色から選択された第１の音楽的音色を表す第１のオーディオトラック、および所定の音楽的音色から選択された第２の音楽的音色を表す第２のオーディオトラックを生成するための分解ユニットと、所定の第１のオーディオエフェクトを第１のオーディオトラックに適用し、第２のオーディオトラックに、オーディオエフェクトを適用しないか、または第１のオーディオエフェクトとは異なる所定の第２のオーディオエフェクトを適用する、エフェクトユニットと、第１のオーディオトラックと第２のオーディオトラックとを再結合して、再結合オーディオデータを取得するための再結合ユニットと、を含む装置によって実現される。

【0035】

第２の態様の装置は、マイクロプロセッサ、ストレージユニット、入力インタフェース、および出力インタフェースを有するコンピュータによって形成することができ、少なくとも入力ユニット、分解ユニット、エフェクトユニット、および再結合ユニットは、コンピュータ上で実行されるソフトウェアプログラムによって形成される。このようにして、コンピュータは、好ましくは、本発明の第１の態様による方法を実行するように適合化される。

【0036】

本発明の第２の態様の装置では、エフェクトユニットは、その再生期間または再生速度を維持しながら、第１のオーディオトラックのオーディオデータのピッチを変更するためのピッチスケーリングユニットでありうる。かかる装置は、あるキーから別のキーへの楽曲へ移調させることが望まれるＤＪ機器の一部を形成する際に、特定の利点を示しうる。ピッチスケーリングエフェクトを音楽作品に含まれる一部の音楽的音色にのみ適用することで、ピッチスケーリングによるサウンドの歪みを低減または回避できることが判明している。

【0037】

分解ユニットは、好ましくは、訓練済みのニューラルネットワークを含むＡＩシステムを含み、ニューラルネットワークは、異なる音楽的音色のミクスチャを含むオーディオデータから所定の音楽的音色のオーディオデータを分離するように訓練されている。上述したように、かかるＡＩシステムにより、楽曲の種々の音楽的音色を高品質で分離することができる。

【0038】

本発明の第２の態様の装置は、出力データを保存するように適合化されたストレージユニットをさらに含むことができ、これにより、例えば、任意の後の時点で、出力データのさらなる処理が可能となる。別の実施形態では、装置は、出力データを再生するように適合化された再生ユニットを有することができ、その場合、装置は、音楽プレーヤとして使用するか、またはＰＡシステムへの接続を介した音楽の公開オーディションのために使用されるように準備される。別の実施形態では、装置は、出力データと第２楽曲出力データとミキシングをするように適合化されたミキシングユニットを有することができ、これにより、装置をＤＪ機器として使用することができる。

【0039】

別の実施形態では、装置は、入力オーディオデータの第１の音楽作品の第１のキーを決定するための第１のキー検出ユニットと、第２の音楽作品を表す第２楽曲入力データを提供するための第２楽曲入力ユニットと、第２楽曲オーディオデータの第２の音楽作品の第２のキーを決定するための第２のキー検出ユニットと、第１のキーおよび第２のキーに基づいてピッチシフト値を決定するためのピッチシフト計算ユニットと、を含むことができ、エフェクトユニットは、第２のトラックのピッチを維持しながら、第１のオーディオトラックのピッチをピッチシフト値だけシフトさせるように適合化されたピッチスケーリングユニットである。このようにして、楽曲のキーが半音以上異なっていても、２つの楽曲のキーを自動的に合わせて、ピッチスケーリングによるサウンドの歪みを発生させることなく、ＤＪ環境で両方の楽曲またはその一部を同時に再生できるようにすることができる。

【0040】

本発明の一実施形態では、装置はＤＪ装置である。次に、装置は、ＤＪ装置として使用するために、再結合オーディオデータから取得された出力データと第２楽曲入力データから取得された第２楽曲出力データとをミキシングして、ミキシング出力データを取得するように適合化されたミキシングユニットと、好ましくは、ミキシング出力データから取得された再生データを再生するように適合化された再生ユニットと、をさらに含みうる。上記の自動ピッチスケーリングがそのまま特徴として利用可能である、完全に統合されたＤＪシステムを取得するために、装置は、第２の音楽作品を表す第２楽曲入力データを提供するための第２楽曲入力ユニットと、再結合オーディオデータから取得された出力データと第２楽曲入力データから取得された第２楽曲出力データとをミキシングして、ミキシング出力データを取得するように適合化されたミキシングユニットと、ユーザが操作して制御範囲内の制御位置を設定できるクロスフェードコントローラを有するクロスフェードユニットであって、クロスフェードユニットは、クロスフェードコントローラの制御位置に応じて、クロスフェードコントローラが制御範囲の一方の端点にあるときに、第１の音量レベルが最大となり、第２の音量レベルが最小となり、クロスフェードコントローラが制御範囲のもう一方の端点にあるときに、第１の音量レベルが最小となり、第２の音量レベルが最大となるように、出力データの第１の音量レベルおよび第２楽曲出力データの第２の音量レベルを設定する、クロスフェードユニットと、をさらに含みうる。

【0041】

本発明の別の実施形態では、装置は、ユーザがエフェクトユニットの操作を制御し、特に、少なくとも第１のオーディオエフェクトの適用を制御し、かつ／または少なくとも第１のオーディオエフェクトのエフェクトタイプおよび／またはエフェクトパラメータを制御できるように適合化されたエフェクト制御ユニットを含みうる。これにより、ユーザはアクティブにオン／オフの切り替えを行い、または少なくとも第１のオーディオエフェクトを変更することができる。この点で、エフェクトユニットは、第１のオーディオエフェクトを第１のオーディオトラックに適用するが、第２のオーディオトラックには適用しない第１の動作モードを有することができ、第１のオーディオエフェクトを第２のオーディオトラックに適用するが、第１のオーディオトラックには適用しない第２の動作モードを有することができることに留意されたい。さらに、エフェクトユニットが第１のオーディオエフェクトを第１のオーディオトラックおよび第２のオーディオトラックに適用する、別の動作モードが存在しうる。すなわち、第１および第２のオーディオトラックは、交換可能であり、または第１のオーディオエフェクトのルーティングは、分解ユニットから取得されたオーディオトラック間で変更可能である。

【0042】

好ましくは、エフェクトユニットは、複数のオーディオエフェクトを制御し、エフェクト制御ユニットは、第１のオーディオトラックに適用される第１のオーディオエフェクトとして、ユーザが複数のオーディオエフェクトから少なくとも１つのオーディオエフェクトを選択することを可能にするように適合化されたエフェクト制御要素を含む。さらに、エフェクト制御ユニットは、ユーザが第１のオーディオエフェクトの少なくとも１つのエフェクトパラメータを制御することを可能にするように適合化されたパラメータ制御要素を含みうる。これにより、ユーザは適切なオーディオエフェクトを選択できるだけでなく、選択したオーディオエフェクトを自分のニーズに合わせて調整することもできる。

【0043】

本発明のさらなる実施形態では、分解ユニットは、入力オーディオデータを分解して、それぞれが所定の音楽的音色から選択された異なる音色を表す複数の分解オーディオトラックを生成するように適合化され、エフェクト制御ユニットは、選択された分解オーディオトラックとして、ユーザが複数の分解オーディオトラックのうちの少なくとも１つを選択することを可能にするように適合化されたルーティング制御要素を含み、エフェクトユニットは、オーディオエフェクトまたは選択されたオーディオエフェクトまたは第１のオーディオエフェクトを、少なくとも１つの選択された分解オーディオトラックに適用する。ルーティング制御要素により、個々のオーディオエフェクトを個々の分解オーディオトラックに適用できるが、分解オーディオトラックごとに個別のエフェクトユニットを提供する必要はない。これにより、コストが削減され、ユーザのフレキシビリティが向上する。

【0044】

好ましくは、エフェクトユニットは、複数の異なるオーディオエフェクトを、単一の分解オーディオトラック、または（同じ音楽作品の）同じ入力オーディオデータの複数の異なる分解オーディオトラックのいずれかに同時に適用するように、すなわち、第１のオーディオエフェクトを第１の分解オーディオトラックに適用し、かつ第１のオーディオエフェクトとは異なる第２のオーディオエフェクトを第１の分解オーディオトラックとは異なる第２の分解オーディオトラックに適用するように構成され、ここで、ルーティング制御要素は、ユーザがどのオーディオエフェクトがどの分解オーディオトラックに適用されるかを制御できるように構成することができる。

【0045】

本発明の別の実施形態では、分解ユニットは、入力オーディオデータを分解して、少なくとも第１の分解オーディオトラックおよび第２の分解オーディオトラックを含む複数の分解オーディオトラックを生成するように適合化され、複数の分解オーディオトラックの各々が、それぞれ、同じ音楽作品の所定の音楽的音色から選択された異なる音色を表し、エフェクト制御ユニットは、好ましくは、ユーザの単一の制御操作によって、少なくとも第１のオーディオエフェクトの第１の分解オーディオトラックへの適用を制御し、かつ第１のオーディオエフェクトとは異なる第２のオーディオエフェクトの第２の分解オーディオトラックへの適用を制御するように適合化されたコンボエフェクト制御要素を含む。本実施形態のコンボエフェクト制御要素により、所定の分解オーディオトラックに適用された所定のエフェクトのセットに対するエフェクトユニットの制御が加速される。特に、単一の制御操作により、ユーザは、異なる分解オーディオトラックに、または異なる分解オーディオトラックから、複数の異なるエフェクトを適用または除去することができる。

【0046】

本発明のエフェクト制御ユニットは、２つ以上のエフェクト制御セクションを含むことができ、各エフェクト制御セクションは、少なくとも１つのオーディオエフェクトを制御するための１つ以上の制御要素を含む。これにより、２つ以上のオーディオエフェクトを制御して、入力オーディオデータに同時に適用することができる。特に、エフェクト制御セクションによって制御されるオーディオエフェクトは、異なる分解オーディオトラックに適用されてもよく、代替的に、同じ分解オーディオトラックにエフェクトチェーンとして、すなわち順次適用されてもよい（オーディオエフェクトの１つが特定の分解オーディオトラックに適用され、変更された分解オーディオトラックが、複数のオーディオエフェクトから第２のオーディオエフェクトに送信され、その後、任意に、１つ以上の追加のオーディオエフェクトに送信される）。エフェクト制御セクションに含まれる制御要素は、エフェクト制御要素および／またはパラメータ制御要素および／またはルーティング制御要素および／または上記のコンボエフェクト制御要素、またはそれらの任意の組み合わせでありうる。このようにエフェクト制御セクションを使用することで、実際に必要なオーディオエフェクト（ハードウェアまたはソフトウェアモジュール）の総数を減らしながら、複数のオーディオエフェクトを複数の分解オーディオトラックに適用することができる。

【0047】

本発明の別の実施形態では、第２の態様の装置は、デジタルオーディオワークステーション（ＤＡＷ）を実行するコンピュータでありうる。

【0048】

本発明の第３の態様では、本発明の上記の目的は、コンピュータ上で実行してコンピュータを制御して、本発明の第１の態様の方法を実行するように適合化されたソフトウェアによって実現される。かかるソフトウェアは、既知のオペレーティングシステムおよびプラットフォーム、特にコンピュータ、タブレット、およびスマートフォンで動作するｉＯＳ、ｍａｃＯＳ、Ａｎｄｒｏｉｄ、またはＷｉｎｄｏｗｓで実行／動作させることができる。ソフトウェアは、デジタルオーディオワークステーション（ＤＡＷ）またはＤＪソフトウェアでありうる。

【0049】

本発明は、添付の図面に示す特定の実施形態によってさらに説明される。

【図面の簡単な説明】

【0050】

【図1】本発明の第１の特定の実施形態による装置の機能図を示す図である。

【図2】特定の実施形態による装置のエフェクト制御ユニットのレイアウトを示す図である。

【図3】特定の実施形態による装置のコンボエフェクト制御要素のレイアウトを示す図である。

【図4】本発明の特定の実施形態で使用することができるＤＪ制御ユニットのレイアウトを示す図である。

【図5】本発明の第２の特定の実施形態による装置の機能図を示す図である。

【0051】

図１には、第１の実施形態による装置の構成要素が示されており、これらは全て、コンピュータ、例えば、タブレットコンピュータまたはスマートフォンにインストールされたハードウェアまたはソフトウェアモジュールとして統合されうる。代替的に、これらのハードウェアまたはソフトウェアモジュールは、スタンドアロン型ＤＪ装置の一部であってもよく、これには、装置の機能を制御するために制御ノブまたはスライダなどの制御要素が取り付けられたハウジングが含まれる。

【0052】

装置は、入力オーディオデータまたはオーディオ信号を受信するための入力インタフェース１２を含みうる。入力インタフェースは、ネットワークを介して、または記憶媒体からオーディオファイルなどのデジタルオーディオデータを受信するように適合化可能である。さらに、入力インタフェース１２は、オーディオデータが符号化または圧縮されたデータファイルとして受信されたときに、オーディオデータを復号または解凍するように構成されうる。代替的に、入力インタフェース１２は、アナログオーディオ入力（ヴァイナルプレーヤまたはマイクなど）から受信したアナログデータをサンプリングし、入力オーディオデータとしてデジタルオーディオデータを取得するアナログ－デジタル変換器を含んでもよい。

【0053】

次に、入力インタフェース１２によって提供される入力オーディオデータは、第１楽曲入力ユニット１６および第２楽曲入力ユニット１８を含む入力セクション１４にルーティングされ、第１楽曲入力ユニット１６および第２楽曲入力ユニット１８は、ユーザの選択に応じて２つの異なる楽曲のオーディオデータを提供するように適合化されている。特に、装置は、ユーザが楽曲データベースから楽曲を選択し、それを第１楽曲入力ユニット１６または第２楽曲入力ユニット１８にロードすることを可能にするために、ユーザ入力インタフェース、例えばタッチパネルを有しうる。選択した楽曲のオーディオファイルは、装置のローカルメモリに完全にロードされうるものであり、オーディオファイルの一部は、継続的に（例えば、リモート音楽配信プラットフォームからインターネット経由で）ストリーミングしてファイル全体を受信する前にさらに処理されうる。このようにして、第１楽曲入力ユニット１６は、ユーザが選択した第１の楽曲に応じて第１楽曲オーディオ入力データを提供し、第２楽曲入力ユニット１８は、ユーザが選択した第２の楽曲に応じて第２楽曲オーディオ入力データを提供する。

【0054】

次に、第１楽曲のオーディオ入力データは、第１の楽曲の第１のキーを検出するために第１のキー検出ユニット２０にルーティングされてもよく、一方、第２楽曲のオーディオ入力データは、第２の楽曲の第２のキーを検出するために第２のキー検出ユニット２２にルーティングされる。第１および第２のキー検出ユニット２０，２２は、好ましくは、モード（メジャーまたはマイナー）を含む半音階の１２の半音（例えば、Ｃ、Ｃシャープ、Ｄ、Ｄシャープ、Ｅ、Ｆ、Ｆシャープ、Ｇ、Ｇシャープ、Ａ、Ａシャープ、Ｂのいずれか）にしたがって、音楽作品のキーまたは根音または基音を検出するように配置される。従来のキー検出モジュールは、それぞれ第１および第２のキー検出ユニットとして使用することができる。さらに、第１および第２のキーは、同一のキー検出ユニットによって順次検出することができる。

【0055】

第１および第２のキーは、ピッチシフト計算ユニット２４に入力することができ、ピッチシフト計算ユニット２４は、２つのキー間の差に基づいてピッチシフト値を計算する。ピッチシフト値は、第２のキーに合わせるために第１のキーを上下にシフトさせる必要がある半音数でありうる。代替的に、ピッチシフト値は、第２のキーと５度だけ異なるキーを仮定するために、第１のキーを上下にシフトさせる必要がある半音数でありうる。両方の楽曲が同じキーにある場合、またはキーが５度異なる場合、例えば２つの楽曲間のクロスフェード中に、聴感上のハーモニックな干渉を起こすことなく、２つの楽曲をミキシングして同時に再生できることが判明している。

【0056】

キー検出ユニット２０を通過した後、第１楽曲オーディオ入力データは、第１楽曲オーディオ入力データを分解するように適合化された訓練済みのニューラルネットワークを有するＡＩシステムを含む分解ユニット２６にルーティングされ、少なくとも、第１の音楽的音色を表す第１のオーディオトラック、第２の音楽的音色を表す第２のオーディオトラック、および第３の音楽的音色を表す第３のオーディオトラックを生成する。例えば、本実施例では、第１の音楽的音色は、（例えば、ボーカル、ギター、キー、シンセサイザなどの和を含む）ハーモニック音色であってもよく、第２の音楽的音色は、パーカッション音色などの非ハーモニック音色であってもよく、第３の音楽的音色は、ドラム音色などの別の非ハーモニック音色であってもよい。

【0057】

次に、第１の音楽的音色を表す第１のオーディオトラックのみがピッチシフトユニット２８にルーティングされ、ピッチシフトユニット２８は、ピッチシフト計算ユニット２４から受信したピッチシフト値に基づいて、オーディオデータのピッチを所定の半音数だけ上下にシフトさせる。第２のオーディオトラックおよび第３のオーディオトラックは、ピッチシフトユニット２８にルーティングされず、むしろピッチシフトユニット２８をバイパスする。したがって、この例では、ハーモニック音色を含む第１のオーディオトラックのみがピッチシフトに送信され、非ハーモニック音色を含む第２および第３のトラックのピッチが維持される。

【0058】

次に、ピッチシフトを含む第１のオーディオトラック、第２のオーディオトラックおよび第３のオーディオトラックは、再結合ユニット３０にルーティングされ、それらは再結合ユニット３０で再び単一のオーディオトラック（モノラルまたはステレオトラック）に再結合される。再結合は、オーディオデータを単にミキシングすることによって実行することができる。

【0059】

再結合ユニット３０から取得された再結合オーディオデータは、その後、ハイパスもしくはローパスフィルタ、または必要に応じてＥＱフィルタなどの他のオーディオエフェクトを適用して、結果を第１楽曲出力データとして出力するために、第１楽曲エフェクトユニット３２を通過させることができる。

【0060】

他方、第２楽曲入力ユニット１８から取得された第２楽曲オーディオ入力データは、第１の実施形態について説明したものと同様に、任意の所望のエフェクトユニットにも渡すことができる。図示の例では、第２楽曲オーディオ入力データは、ハイパスもしくはローパスフィルタ、またはＥＱフィルタなどのオーディオエフェクトを適用して、結果を第２楽曲出力データとして出力するために、第２楽曲エフェクトユニット３４を通過する。

【0061】

次に、第１楽曲出力データおよび第２楽曲出力データは、テンポマッチングユニット３６を通過させることができ、このテンポマッチングユニット３６は、両方の楽曲のテンポ（ＢＰＭ値）を検出し、両方の楽曲が一致したテンポを有するように、２つの楽曲のうちの少なくとも１つのテンポを（ピッチを変えずに）変更する。テンポが一致するということは、２つの楽曲の一方のＢＰＭ値が、もう一方の楽曲のＢＰＭ値またはＢＰＭ値の倍数に等しいことを意味する。かかるテンポマッチングユニットは、当技術分野でそのようなものとして既知である。

【0062】

その後、第１楽曲出力データおよび第２楽曲出力データ（該当する場合、テンポが一致）は、ミキシングユニット３８にルーティングすることができ、それらはミキシングユニット３８で互いにミキシングされて、両方の信号の和を含むミキシング出力データ（モノラルまたはステレオ）が取得される。ミキシングユニット３８は、クロスフェーダを含むかまたはクロスフェーダに接続することができ、クロスフェーダは、ユーザが操作して制御範囲内の制御位置を設定することができ、クロスフェードフェーダは、クロスフェードコントローラの制御位置に応じて、クロスフェードコントローラが制御範囲の一方の端点にあるときに、第１の音量レベルが最大となり、第２の音量レベルが最小となり、クロスフェードコントローラが制御範囲のもう一方の端点にあるときに、第１の音量レベルが最小となり、第２の音量レベルが最大となるように、第１楽曲出力データの第１の音量レベルおよび第２楽曲出力データの第２の音量レベルを設定する。次に、ミキシングユニット３８は、第１の音量レベルおよび第２の音量レベルに従って、第１楽曲および第２楽曲出力データをそれぞれミキシング（合計）して、ミキシング出力データ（モノラルまたはステレオ）を取得する。

【0063】

次に、ミキシング出力データは、必要に応じて、追加のオーディオエフェクトを適用するために、合計エフェクトユニット４０を通過することができる。合計エフェクトユニット４０の出力は、再生データとして示すことができ、出力オーディオインタフェース４２によって再生されうる。出力オーディオインタフェース４２は、オーディオバッファと、サウンド信号を生成するためのデジタル－アナログ変換器と、を含みうる。代替的に、再生データは、再生、保存、またはさらなる処理のために別の装置に送信されうる。

【0064】

図２～図４は、本発明の第１の実施形態による装置の制御ユニットのレイアウトを示しており、これは、装置を制御するためにユーザによって操作されうる。当該レイアウトに示され、以下に説明される要素は、装置上で実行されているソフトウェアによって制御される装置の適切なディスプレイによって表示することができる。代替的に、または加えて、これらのレイアウトまたはその一部は、例えば、ＤＪ装置のハードウェア設計によって実現されてもよく、制御要素は、制御ノブ、スライダ、スイッチ等によって実現されてもよい。

【0065】

図２に見られるように、エフェクト制御ユニット５０は、複数のエフェクト制御セクション、例えば３つのエフェクト制御セクション５２－１，５２－２および５２－３を含みうる。各エフェクト制御セクションは、オーディオエフェクトのタイプ、パラメータ、およびルーティングを制御するための１つ以上の制御要素を含みうる。本実施形態では、第１のエフェクト制御セクション５２－１は、オン／オフ制御要素５４を含むことができ、オン／オフ制御要素５４は、ユーザによって、エフェクト制御セクション５２－１を交互にオンまたはオフにするために、特に、このエフェクト制御セクション５２－１に関連付けられたオーディオエフェクトをオンまたはオフに切り替えるために操作されうる。

【0066】

第１のエフェクト制御セクション５２－１はまた、ユーザが複数のオーディオエフェクトのうちの１つを選択することを可能にするように適合化されたエフェクト制御要素５６を含みうる。例えば、エフェクト制御要素５６は、ドロップダウン要素またはリスト選択要素などによって実装されてもよく、または特定のオーディオエフェクト（エフェクトタイプ）を選択できるエフェクトブラウザまたは同様のダイアログを開いてもよく、または前／次のコントロールボタンを使用して、使用可能なオーディオエフェクトのリストを１ステップずつ進行させ、各ステップでエフェクトを選択することで実現されてもよい。図２に示す例では、第１のエフェクト制御セクション５２－１のオーディオエフェクトとして、エコーエフェクトが選択されている。

【0067】

第１のエフェクト制御セクション５２－１は、パラメータ制御要素５８をさらに含むことができ、パラメータ制御要素５８は、ユーザがエフェクト制御要素５６によって選択されるオーディオエフェクトの少なくとも１つのエフェクトパラメータを設定または修正あるいは制御することを可能にするように適合化されている。図２に示す本実施例では、エフェクト制御要素５６によってエコーエフェクトが選択されており、パラメータ制御要素５８により、エコーのタイミング、すなわち、元のサウンドとエコーサウンドとの間の時間間隔を制御することができる。本実施形態の装置は、第１楽曲オーディオ入力データのビートを検出するビート検出ユニットを含みうる。次に、選択されたエフェクトのタイミング、例えばエコーエフェクトのタイミングは、ビートの持続時間の特定の分数または倍数として設定することができる。これにより、ユーザがオーディオエフェクトの適切なタイミングを探すのに必要な時間を短縮できる。

【0068】

第１のエフェクト制御セクション５２－１は、分解ユニット２６から取得された複数の分解オーディオトラックのうちの１つを選択することを可能にするルーティング制御要素６０をさらに含みうる。本実施形態では、ルーティング制御要素６０は、分解ユニット２６から取得された第１のオーディオトラック、第２のオーディオトラック、および第３のオーディオトラック（例えば、ボーカルトラック、ハーモニックトラックおよびドラムトラック）の間の選択を可能にしうる。３つの分解オーディオトラックのいずれかを選択すると、エフェクト制御要素５６によって選択され、パラメータ制御要素５８の設定によって任意手段として作用を受けるオーディオエフェクトは、選択された分解オーディオトラック（のみ）、例えば、ボーカルトラックまたはハーモニックトラックまたはドラムトラックのいずれかにルーティングされる。さらなる選択肢として、ルーティング制御要素６０は、別の選択肢である「複合」を有することができ、これは、選択されたオーディオエフェクトを全ての分解トラックに同時にルーティングするために選択されうる。

【0069】

第２のエフェクト制御セクション５２－２および／または第３の５２－３および／または任意のさらなるエフェクト制御セクションは、第１のエフェクト制御セクション５２－１について上述したものと同様の制御要素、すなわち、オン／オフ制御要素、エフェクト制御要素、パラメータ制御要素、および／またはルーティング制御要素を含みうる。したがって、複数のオーディオエフェクトをオーディオ入力データに同時に適用することができ、ユーザが容易に制御することができる。

【0070】

図３は、少なくとも１つのエフェクト制御セクション５２－１，５２－２または５２－３に加えて、またはその代替物として、エフェクト制御ユニット５０で使用されうるコンボエフェクト制御要素６２を示している。コンボエフェクト制御要素６２は、単一の制御操作によって複数のオーディオエフェクトの制御を可能にする。本実施例では、コンボエフェクト制御要素６２はプッシュ型ボタンであり、これは、交互のアクティブ化または非アクティブ化のためにユーザによって押すことができる。アクティブ化されると、コンボエフェクト制御要素６２により、２つ以上の異なる分解オーディオトラックに２つ以上のオーディオエフェクトが同時に適用される。図３に示す例では、コンボエフェクト制御要素６２を押すと、ボーカルトラックにエコーエフェクトが適用され、ハーモニックトラックにゲートエフェクトが適用され、ドラムトラックにリバーブエフェクトが適用される。ここで、全てのエフェクトは同時に適用され、プッシュボタンの次の操作で削除される。代替的に、エフェクトは、プッシュ型ボタンの操作と同時に適用されてもよく、ユーザがプッシュ型ボタンを押す限りアクティブ化のままであってもよく、プッシュ型ボタンが解放されると、エフェクトは削除される。

【0071】

図４は、本発明の第１の実施形態による装置、特に図１に概略的に示された装置を制御するのに適した装置制御ユニットのレイアウトを示している。第１楽曲入力ユニット１６および第２楽曲入力ユニット１８は、それぞれ、楽曲Ａおよび楽曲Ｂのグラフィック表示として図４に示されている。特に、楽曲Ａおよび楽曲Ｂの波形が表示されている。楽曲選択制御要素６２Ａおよび６２Ｂは、ユーザによって操作され、それぞれ、楽曲Ａを第１楽曲オーディオ入力データとして選択し、楽曲Ｂを第２楽曲オーディオ入力データとして選択することができる。楽曲Ａおよび楽曲Ｂは、外部オーディオソースから、またはインターネット経由でストリーミングするためのオンライン音楽配信サービスから、またはローカルデータストレージ装置から選択できる。

【0072】

装置制御ユニット６１は、楽曲Ａおよび楽曲Ｂの再生をそれぞれ開始または停止するための再生／停止制御要素６４Ａ，６４Ｂをさらに含みうる。

【0073】

さらに、装置制御ユニット６１は、楽曲Ａおよび／または楽曲Ｂの音量を制御するための少なくとも１つの音量制御要素を有しうる。音量制御要素は、クロスフェーダとして構成することができ、これにより、単一の制御要素（図４には図示せず）のみで楽曲ＡおよびＢの両方の音量を制御することができる。図４に示す本構成では、装置制御ユニット６１は、個々の分解トラックのための個々のクロスフェーダ、例えば、ボーカルクロスフェーダ６６Ｖおよび／またはハーモニッククロスフェーダ６６Ｈおよび／またはドラムクロスフェーダ６６Ｄ（および／またはさらなる選択肢として、ベースクロスフェーダ、図示せず）を有しうる。各分解トラックのクロスフェーダ６６Ｖ，６６Ｈ，６６Ｄは、２つの終了点間で制御されるように適合化されており、第１の終了点では、楽曲Ａの分解トラックの音量が最大で、楽曲Ｂの対応する分解トラックの音量が最小であり、一方、第２の終了点では、楽曲Ａの分解トラックの音量が最小で、楽曲Ｂの対応する分解トラックの音量が最大である。２つの終了点の間で分解トラックのクロスフェーダの一方を移動または操作すると、楽曲Ａおよび楽曲Ｂの分解トラックの音量がそれぞれ所定のトランジション機能または所定のトランジションカーブに従って変更される。この機能またはカーブは、個々の分解されたトラッククロスフェーダ６６Ｖ，６６Ｈ，６６Ｄにそれぞれ関連するカーブ制御要素６８Ｖ，６８Ｈ，６８Ｄの動作によって、複数の所定の機能もしくはカーブから変更されうるか、または選択されうる。ＤＪスタイルのクロスフェーダカーブの典型的な例として、インターミディエイト、ディップ、カット、コンスタントパワーなどが挙げられる。

【0074】

エフェクト制御ユニット５０および／または装置制御ユニット６１は、図１を参照して上記の１つ以上のユニット、特にピッチシフトユニット２８、再結合ユニット３０、または合計エフェクトユニット４０を制御するように構成することができる。特に、再結合ユニット３０は、オーディオトラックを再結合する前に、エフェクト制御ユニット５０の設定に従って、入力される第１から第３のオーディオトラックに１つ以上のオーディオエフェクトを適用するように適合化されたエフェクトユニットを含みうる。さらに、再結合ユニット３０内の再結合は、装置制御ユニット６１を介してユーザが制御する設定に基づいて、特に分解されたトラッククロスフェーダ６６Ｖ，６６Ｈ，６６Ｄのそれぞれの設定に基づいて実行されうる。

【0075】

次に、本発明の第２の実施形態を示す図５の機能図に関して、本発明による装置におけるエフェクト制御ユニット５０および装置制御ユニット６１の別の可能な統合形態について説明する。なお、第２の実施形態による装置は、第２の実施形態の装置が、異なる分解オーディオトラックへの異なるオーディオエフェクトの適用に関して、ユーザにさらに高いフレキシビリティまたは制御の選択肢を可能にするような手法での第１の実施形態の装置の変形例である。図１に示されているような第１の実施形態の装置の機能は、第２の実施形態の装置の１つの可能な動作モードとして実現することができるが、一方で、以下に説明するように、第２の実施形態の装置が追加の動作モードを提供することに留意されたい。第１の実施形態に関する相違点のみを詳細に説明し、他の全ての特徴および機能に関しては第１の実施形態の上記の説明を参照されたい。

【0076】

図５に示されているような第２の実施形態の装置では、入力インタフェース１１２は、入力オーディオデータまたはオーディオ信号を受信しており、これらは、入力セクション１１４に転送される。入力セクション１１４は、第１楽曲入力ユニット１１６を介して第１楽曲オーディオ入力データを受信し、第２楽曲入力ユニット１１８を介して第２楽曲オーディオ入力データを受信するように適合化されている。少なくとも第１楽曲のオーディオ入力データは、分解ユニット１２６にさらに転送され、分解ユニット１２６は、分解ユニット１２６内に統合された訓練済みのニューラルネットワークに基づいて入力データを分解するように適合化されており、例えば、第１のオーディオトラック、第２のオーディオトラック、および第３のオーディオトラック（例えば、ボーカルトラック、ハーモニックトラック、ドラムトラック）など、異なる音色の複数の分解されたオーディオトラックが取得される。

【0077】

本実施形態では、全ての分解トラックは、エフェクトユニット１２８に入力され、エフェクトユニット１２８は、エフェクト制御ユニット５０内でユーザによって行われた設定に応じて、受信された分解トラックの中から選択された分解トラックに１つ以上のオーディオエフェクトを適用するように構成される。したがって、分解トラックの各々は、オーディオエフェクトなし、１つのオーディオエフェクト、またはエフェクトタイプもしくはエフェクトパラメータのいずれかが異なる、複数の異なるオーディオエフェクトのいずれかを受信することができる。

【0078】

次に、エフェクトユニット１２８を通過した分解トラックは、再結合ユニット１３０にルーティングされ、これらは再結合ユニット１３０で一緒にミキシングされて、単一のミキシングオーディオ信号が取得される。再結合ユニット１３０内でこれらがミキシングされることに基づいた個々の分解トラックの音量レベルは、ソロ／ミュート、フェーダなどの制御要素を用いたユーザ制御を通じて設定することができる。具体的には、音量レベルは、図４を参照して上記で分解されたトラッククロスフェーダ６６Ｖ，６６Ｈ，６６Ｄを介して設定することができる。

【0079】

所望により、再結合ユニット１３０によって出力されたオーディオ信号は、少なくとも１つの追加のオーディオエフェクトを適用するために、第１楽曲エフェクトユニット１３２を通過することができる。その後、オーディオ信号は、第２楽曲オーディオ入力データとミキシングするために、クロスフェーダ／ミキシングユニット１３８に向けてルーティングされる。第２楽曲オーディオ入力データは、入力セクション１１４から直接に受信することができ、または第１楽曲出力データとミキシングする前に、少なくとも１つのオーディオエフェクトを適用するために第２楽曲エフェクトユニット１３４を通過させることができる。さらに、第１の実施形態についても上で説明したように、第１楽曲出力データおよび第２楽曲出力データは、２つの楽曲のテンポ／ビートを同期または一致させるためにテンポマッチングユニット１３６に入力されうるものであり、これにより、２つの楽曲のスムーズなミキシングが可能になる。クロスフェーダ／ミキシングユニット１３８から取得されたミキシング出力データは、必要に応じて、追加のオーディオエフェクトを適用するために、合計エフェクトユニット１４０をさらに通過させることができ、または出力のために、出力オーディオインタフェース１４２に直接に転送することができる。

【0080】

図５にさらに見られるように、装置制御ユニット６１は、装置のユニットを制御するために使用することができる。さらに、上述したように、第１の実施形態の装置および第２の実施形態の装置は、タブレットもしくはスマートフォンを含むコンピュータ上で、またはスタンドアロンのハードウェア装置上で実行できるＤＪ装置またはＤＪソフトウェアとして実装することができる。さらに、上述の要素および機能のうちの１つ以上、特に上述のユニットのうちの１つ以上は、ＤＪソフトウェアまたはデジタルオーディオワークステーションソフトウェア（ＤＡＷ）などの別のオーディオ処理ソフトウェアに統合するためのソフトウェアプラグインなどのソフトウェアモジュールとして実装することができる。

【0081】

本発明のさらなる態様は、以下の項目によって説明される。

【0082】

項目１
音楽オーディオデータを処理するための装置であって、
－所定の音楽的音色のミクスチャを含む第１の音楽作品を表す入力オーディオデータを受信するための入力ユニットと、
－前記入力ユニットから受信した前記入力オーディオデータを分解して、少なくとも、前記所定の音楽的音色から選択された第１の音楽的音色を表す第１のオーディオトラック、および前記所定の音楽的音色から選択された第２の音楽的音色を表す第２のオーディオトラックを生成するための分解ユニットと、
－所定の第１のオーディオエフェクトを前記第１のオーディオトラックに適用するが、前記第２のオーディオトラックには適用しない、第１のエフェクトユニットと、
－前記第１のオーディオトラックと前記第２のオーディオトラックとを再結合して、再結合オーディオデータを取得するための再結合ユニットと、
を含む、装置。

【0083】

項目２
前記第１のエフェクトユニットが、その再生期間を維持しながら、前記第１のオーディオトラックのオーディオデータのピッチを変更するためのピッチスケーリングユニットである、
項目１記載の装置。

【0084】

項目３
前記分解ユニットが、訓練済みのニューラルネットワークを含むＡＩシステムを含み、前記ニューラルネットワークが、異なる音楽的音色のミクスチャを含むオーディオデータから所定の音楽的音色のオーディオデータを分離するように訓練されている、
項目１または２記載の装置。

【0085】

項目４
前記装置が、出力データを保存するように適合化されたストレージユニット、および／または前記出力データを再生するように適合化された再生ユニット、および／または前記出力データと第２楽曲出力データとをミキシングするように適合化されたミキシングユニットをさらに含む、
項目１から３までの少なくとも１項記載の装置。

【0086】

項目５
前記装置が、
－前記入力オーディオデータの前記第１の音楽作品の第１のキーを決定するための第１のキー検出ユニットと、
－第２の音楽作品を表す第２楽曲入力データを提供するための第２楽曲入力ユニットと、
－第２楽曲オーディオデータの前記第２の音楽作品の第２のキーを決定するための第２のキー検出ユニットと、
－前記第１のキーおよび前記第２のキーに基づいてピッチシフト値を決定するためのピッチシフト計算ユニットと、
を含み、
前記第１のエフェクトユニットが、前記第２のトラックのピッチを維持しながら、前記第１のオーディオトラックの前記ピッチを前記ピッチシフト値だけシフトさせるように適合化されたピッチスケーリングユニットである、
項目１から４までの少なくとも１項記載の装置。

【0087】

項目６
前記装置が、前記再結合オーディオデータから取得された出力データと前記第２楽曲入力データから取得された第２楽曲出力データとをミキシングして、例えばミキシング出力データを取得するように適合化されたミキシングユニットと、好ましくは、前記ミキシング出力データから取得された再生データを再生するように適合化された再生ユニットと、をさらに含む、
項目５記載の装置。

【0088】

項目７
前記装置が、
－第２の音楽作品を表す第２楽曲入力データを提供するための第２楽曲入力ユニットと、
－前記再結合オーディオデータから取得された出力データと前記第２楽曲入力データから取得された第２楽曲出力データとをミキシングして、例えばミキシング出力データを取得するように適合化されたミキシングユニットと、
－ユーザが操作して制御範囲内の制御位置を設定できるクロスフェードコントローラを有するクロスフェードユニットであって、前記クロスフェードユニットは、前記クロスフェードコントローラの前記制御位置に応じて、前記クロスフェードコントローラが前記制御範囲の一方の端点にあるときに、前記第１の音量レベルが最大となり、前記第２の音量レベルが最小となり、前記クロスフェードコントローラが前記制御範囲のもう一方の端点にあるときに、前記第１の音量レベルが最小となり、前記第２の音量レベルが最大となるように、前記出力データの第１の音量レベルおよび前記第２楽曲出力データの第２の音量レベルを設定する、クロスフェードユニットと、
をさらに含む、
項目１から６までの少なくとも１項記載の装置。

【0089】

項目８
前記装置が、マイクロプロセッサ、ストレージユニット、入力インタフェースおよび出力インタフェースを有するコンピュータを含み、少なくとも前記入力ユニット、前記分解ユニット、前記第１のエフェクトユニット、および前記再結合ユニットが、前記コンピュータ上で実行されるソフトウェアプログラムによって形成されており、前記ソフトウェアが、好ましくは、本発明の第１の態様による方法を実行するように前記コンピュータを制御するように適合化されている、
項目１から７までの少なくとも１項記載の装置。

【図1】

【図2】

【図3】

【図4】

【図5】