特許 5759022 セマンティック・オーディオ・トラック・ミキサー

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5759022

(24)【登録日】2015年6月12日

(45)【発行日】2015年8月5日

(54)【発明の名称】セマンティック・オーディオ・トラック・ミキサー

(51)【国際特許分類】

   H04R 3/00 20060101AFI20150716BHJP

   G10L 15/10 20060101ALI20150716BHJP

   G10L 15/00 20130101ALI20150716BHJP

【ＦＩ】

   H04R3/00

   G10L15/10 500T

   G10L15/00 200G

【請求項の数】20

【全頁数】40

(21)【出願番号】特願2013-552146(P2013-552146)

(86)(22)【出願日】2012年1月11日

(65)【公表番号】特表2014-508460(P2014-508460A)

(43)【公表日】2014年4月3日

(86)【国際出願番号】EP2012050365

(87)【国際公開番号】WO2012104119

(87)【国際公開日】20120809

【審査請求日】2013年10月1日

(31)【優先権主張番号】11153211.5

(32)【優先日】2011年2月3日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】591037214

【氏名又は名称】フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ

(74)【代理人】

【識別番号】100079577

【弁理士】

【氏名又は名称】岡田 全啓

(74)【代理人】

【識別番号】100167966

【弁理士】

【氏名又は名称】扇谷 一

(72)【発明者】

【氏名】ウーレ クリスティアン

(72)【発明者】

【氏名】ヘレ ユールゲン

(72)【発明者】

【氏名】ポップ ハラルド

(72)【発明者】

【氏名】ファルコ リッダーブッシュ

【審査官】 下林 義明

(56)【参考文献】

【文献】 国際公開第２０１０／１１１３７３（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｒ ３／００ − ３／１４

Ｇ１０Ｌ １５／００ − １７／２６

Ｇ１１Ｂ ２７／００ − ２７／０６

Ｇ１０Ｈ １／００ − ７／００

(57)【特許請求の範囲】

【請求項1】

混合信号（ＭＳ）に複数のオーディオ・トラックを混合するためのオーディオミキサーであって、前記オーディオミキサーは、
前記複数のオーディオ・トラックを分析することによって、トラック情報を得るように構成されたセマンティック・オーディオ分析（４０）と、
セマンティック・ミキシング・コマンドを受信し、そして、前記セマンティック・ミキシング・コマンドから前記複数のオーディオ・トラックのための複数のミキシング・パラメータを導出するためのセマンティック・コマンド・インタプリタ（３０；３５）であって、ここで、前記トラック情報は、セマンティックからクリスプへの変換モジュール（６５）へ提供され、前記セマンティックからクリスプへの変換モジュール（６５）は、前記セマンティック・ミキシング・コマンドから導出された情報を受信し、前記セマンティックからクリスプへの変換モジュール（６５）は、前記トラック情報および前記セマンティック・ミキシング・コマンドから導出された前記情報に基づいて、前記複数のミキシング・パラメータを作成する、セマンティック・コマンド・インタプリタと、
前記複数のミキシング・パラメータに従って、前記複数のオーディオ・トラックを処理するためのオーディオ・トラック・プロセッサ（７０；７５）と、
前記オーディオ・トラック・プロセッサによって処理された前記複数のオーディオ・トラックを結合して前記混合信号（ＭＳ）を得るためのオーディオ・トラック・コンバイナ（７６）と、
を含む、オーディオミキサー。

【請求項2】

前記セマンティック・コマンド・インタプリタ（３０；３５）は、前記セマンティック・ミキシング・コマンドの範囲内において、セマンティックの表現を識別するための語彙データベース（３１）を含む、請求項１に記載のオーディオミキサー。

【請求項3】

前記複数のオーディオ・トラックの中のターゲット・オーディオ・トラックを識別するためのオーディオ・トラック識別器（４０；４３０）をさらに含み、前記ターゲット・オーディオ・トラックは、オーディオ・トラック識別表現によって前記セマンティック・ミキシング・コマンドの範囲内において表示される、請求項１または請求項２に記載のオーディオミキサー。

【請求項4】

前記オーディオ・トラック識別器（４０；４３０）は、
オーディオ・トラック・テンプレート・データベースから前記オーディオ・トラック識別表現に対応するデータ・レコードを取り出し、ここで、データ・レコードは、少なくとも１つの測定値およびサウンド・サンプルの形式における対応する音楽楽器についての情報を含み、
前記複数のオーディオ・トラックの中の少なくとも１つのオーディオ・トラックの音質、リズム構造、周波数帯域、サンプリング音および調和密度のうちの少なくとも１つの分析を実行し、
少なくとも１つのマッチングスコアを結果として得る前記データ・レコードを有する前記分析の結果を比較し、
前記少なくとも１つのオーディオ・トラックおよび前記データ・レコードの間の前記少なくとも１つのマッチングスコアに基づくターゲット・オーディオ・トラックを決定する、
ために構成される、請求項３に記載のオーディオミキサー。

【請求項5】

前記複数のオーディオ・トラックの範囲内において、ターゲット時間セクションを識別するための時間セクション識別器（４０；４６０）をさらに含み、前記ターゲット時間セクションは、時間セクション識別表現によって、前記セマンティック・ミキシング・コマンドの範囲内において表示される、請求項１ないし請求項４のいずれかに記載のオーディオミキサー。

【請求項6】

前記時間セクション識別器（４０；４６０）は、前記複数の時間セクションに前記複数のオーディオ・トラックを構築するように構成される、請求項５に記載のオーディオミキサー。

【請求項7】

前記時間セクション識別器（４０；４６０）は、前記複数のオーディオ・トラックによって表現されるオーディオ信号の固有性の変化が発生した時点における少なくとも１つの時刻を決定し、そして、２つの隣り合った時間セクションの間における少なくとも１つの境界として前記少なくとも１つの決定した時刻を使用するために、前記複数のオーディオ・トラックの分析を実行するために構成される、請求項５または請求項６に記載のオーディオミキサー。

【請求項8】

前記複数のオーディオ・トラックに関連するメタデータ（１２）を受信するためのメタデータ・インタフェース（４２：４８０）をさらに含み、前記メタデータ（１２）は、トラック名、トラック識別子、時間構造情報、強度情報、オーディオ・トラックの空間属性もしくはその一部、音質の特徴およびリズム特徴のうちの少なくとも１つを示す、請求項１ないし請求項７のいずれかに記載のオーディオミキサー。

【請求項9】

言語フォーマットにおいて前記セマンティック・ミキシング・コマンドを受信するためのコマンドインタフェースをさらに含む、請求項１ないし請求項８のいずれかに記載のオーディオミキサー。

【請求項10】

見本となる混合信号が、どの程度混合されるかに関連するユーザの選択に従って、前記見本となる混合信号として他の混合信号を受信するための見本インタフェース（２３；４９０）と、
前記見本となる混合信号を分析し、前記見本となる混合信号の前記分析に基づき前記セマンティック・ミキシング・コマンドを生成するための混合信号分析器（４９２）と、
をさらに含む、請求項１ないし請求項９のいずれかに記載のオーディオミキサー。

【請求項11】

前記セマンティック・コマンド・インタプリタ（３０；３５）は、前記混合信号の聴覚関連の特性の知覚モデル（６４）に従って、前記セマンティック・ミキシング・コマンドを前記複数のミキシング・パラメータに変換するための知覚プロセッサ（６３）を含む、請求項１ないし請求項１０のいずれかに記載のオーディオミキサー。

【請求項12】

前記セマンティック・コマンド・インタプリタ（３０；３５）は、前記セマンティック・コマンド・インタプリタによって前記セマンティック・ミキシング・コマンドから導出される少なくとも１つのファジールールを受信し、前記少なくとも１つのファジールールに基づいて前記複数のミキシング・パラメータを生成するためのファジー理論プロセッサを含む、請求項１ないし請求項１１のいずれかに記載のオーディオミキサー。

【請求項13】

前記ファジー理論プロセッサは、前記セマンティック・コマンド・インタプリタによって準備される少なくとも２つの同時に発生するファジールールを受信するように構成され、前記オーディオミキサーは、前記少なくとも２つの同時に発生するファジールールの中の１つの同時に発生するファジールールを選択するためのランダム選択器をさらに含む、請求項１２に記載のオーディオミキサー。

【請求項14】

前記セマンティック・コマンド・インタプリタ（３０；３５）は、
前記複数のオーディオ・トラックを含む少なくとも１つのマルチ・トラック信号の部分を選択するため、そして前記セマンティック・ミキシング・コマンドに基づき、少なくとも１つの適切な知覚的ターゲット記述子（ＰＴＤ）を少なくとも１つの前記マルチ・トラック信号の部分に割り当てるためのターゲット識別子割り当て装置（５０）と、
信号特性および人間の聴覚メカニズムを考慮することによって、前記少なくとも１つの知覚的ターゲット記述子により定義された知覚的な値を前記ミキシング・パラメータに変換するための知覚プロセッサ（６０）と、
を含む、請求項１ないし請求項１３のいずれかに記載のオーディオミキサー。

【請求項15】

混合信号に複数のオーディオ・トラックを混合するための方法であって、前記方法は、
セマンティック・ミキシング・コマンドを受信するステップと、
前記複数のオーディオ・トラックを分析することによって、トラック情報を得るステップと、
前記セマンティック・ミキシング・コマンドから前記複数のオーディオ・トラックのための複数のミキシング・パラメータを導出するステップであって、ここで、前記トラック情報は、セマンティックからクリスプへの変換モジュール（６５）へ提供され、前記セマンティックからクリスプへの変換モジュール（６５）は、前記セマンティック・ミキシング・コマンドから導出された情報を受信し、前記セマンティックからクリスプへの変換モジュール（６５）は、前記トラック情報および前記セマンティック・ミキシング・コマンドから導出された前記情報に基づいて、前記複数のミキシング・パラメータを作成する、複数のミキシング・パラメータを導出するステップと、
前記複数のミキシング・パラメータに従って、前記複数のオーディオ・トラックを処理するステップと、
前記混合信号を形成するために、前記複数のオーディオ・トラックの処理から結果として得る前記複数のオーディオ・トラックを結合するステップと、
を含む、方法。

【請求項16】

前記複数のオーディオ・トラックを含む少なくとも１つのマルチ・トラック信号の部分を選択し、そして、少なくとも１つの適切な知覚的ターゲット記述子（ＰＴＤ）を前記少なくとも１つの前記セマンティック・ミキシング・コマンドに基づく部分に割り当てるステップと、
信号特性および人間の聴覚メカニズムを考慮することによって、前記少なくとも１つの知覚的ターゲット記述子（ＰＴＤ）により定義された知覚的な値を前記ミキシング・パラメータに変換するステップと、
を含む、請求項１５に記載の方法。

【請求項17】

コンピュータに、請求項１５または請求項１６に記載の方法を実行するように指示するためのコンピュータ・プログラム。

【請求項18】

混合信号（ＭＳ）に複数のオーディオ・トラックを混合するためのオーディオミキサーであって、前記オーディオミキサーは、
セマンティック・ミキシング・コマンドを受信し、そして、前記セマンティック・ミキシング・コマンドから前記複数のオーディオ・トラックのための複数のミキシング・パラメータを導出するためのセマンティック・コマンド・インタプリタ（３０；３５）と、
前記複数のミキシング・パラメータに従って、前記複数のオーディオ・トラックを処理するためのオーディオ・トラック・プロセッサ（７０；７５）と、
前記オーディオ・トラック・プロセッサによって処理される前記複数のオーディオ・トラックを結合して前記混合信号（ＭＳ）を得るためのオーディオ・トラック・コンバイナ（７６）と、
前記複数のオーディオ・トラックの中のターゲット・オーディオ・トラックを識別するためのオーディオ・トラック識別器（４０；４３０）であって、前記ターゲット・オーディオ・トラックは、オーディオ・トラック識別表現によって前記セマンティック・ミキシング・コマンドの範囲内において表示され、前記オーディオ・トラック識別器は、前記ターゲット・オーディオ・トラックにマッチするように現れる１つまたはいくつかのオーディオ・トラックを決定するために、オーディオ・トラック・テンプレート・データベース（４３２）から前記オーディオ・トラック識別表現に対応するデータ・レコードを取り出し、前記オーディオ・トラックを分析し、そして、前記データ・レコードを有する前記オーディオ・トラックのオーディオ信号を比較するように構成され、前記データ・レコードは、少なくとも１つの測定値およびサウンド・サンプルの形式における対応する音楽楽器についての情報を含む、オーディオ・トラック識別器と、
を含む、オーディオミキサー。

【請求項19】

混合信号に複数のオーディオ・トラックを混合するための方法であって、前記方法は、
セマンティック・ミキシング・コマンドを受信するステップと、
前記セマンティック・ミキシング・コマンドから前記複数のオーディオ・トラックのための複数のミキシング・パラメータを導出するステップであって、前記複数のミキシング・パラメータは、ターゲット・オーディオ・トラックのためのミキシング・パラメータを含む、複数のミキシング・パラメータを導出するステップと、
オーディオ・トラック識別表現によって前記セマンティック・ミキシング・コマンドの範囲内において示されるターゲット・オーディオ・トラックを識別するステップと、
オーディオ・トラック・テンプレート・データベースからオーディオ・トラック識別表現に対応するデータ・レコードを取り出すステップであって、前記データ・レコードは、少なくとも１つの測定値およびサウンド・サンプルの形式における対応する音楽楽器についての情報を含む、データ・レコードを取り出すステップと、
前記ターゲット・オーディオ・トラックにマッチするように現れる１つまたはいくつかのオーディオ・トラックを決定するために、前記オーディオ・トラックのオーディオ信号を分析し、それらを前記データ・レコードと比較することによって、前記複数のオーディオ・トラックの中の前記ターゲット・オーディオ・トラックを識別するステップと、
前記複数のミキシング・パラメータに従って、前記複数のオーディオ・トラックを処理するステップと、
前記混合信号を形成するために、前記複数のオーディオ・トラックの処理から結果として得る前記複数のオーディオ・トラックを結合するステップと、
を含む、方法。

【請求項20】

コンピュータに、請求項１９に記載の方法を実行するように指示するためのコンピュータ・プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の技術分野は、ユーザの仕様にかかるマルチトラック信号の混合のためのオーディオミキサーに関する。特に、１組のユーザ定義の基準によるマルチトラック録音を混合する作業に関する。さらに、本発明の技術分野は、混合信号に複数のオーディオ・トラックを混合するための方法に関する。また、本発明の技術分野は、複数のオーディオ・トラックを混合するための方法を実行するようにコンピュータに指示するためのコンピュータ・プログラムに関する。

【背景技術】

【0002】

マルチメディア・コンテンツの絶えず成長する有用性は、ユーザが音楽を享受して、音楽と相互に作用する新規な方法をもたらす。これらの可能性は、ユーザをこの種の動作で援助するための道具を開発するために、チャレンジに伴って生じる。

【0003】

情報検索の見通しから、このチャレンジは１０年以上前から要している。そして、音楽情報検索および多数の商用アプリケーションの活気のある研究領域に至った。

【0004】

この程度まで対処されなかった異なる態様は、マルチトラック・フォーマットにおいて利用できるコンテンツを有する相互関係である。マルチトラック・フォーマットは、各サウンド・オブジェクトまたはオブジェクト（基語）のグループに対する個々に時間位置合わせした信号（別名、シングルトラック（ＳＴ））を構成する。１つの定義によれば、基語は、混合の個々の構成要素であり、リミックスにおける使用の目的のために、（通常ディスクまたはテープに）個々に保存される。

【0005】

音楽制作の従来の方法において、複数のシングルトラックは、それからエンドユーザに分配される混合信号（ＭＳ）に、高度な方法に組み込まれる。デジタルオーディオ技術（たとえば、パラメータのオブジェクト・ベース・オーディオのための新規な音声フォーマットの進展）の継続的な進化は、非常により大きい範囲に音楽を有する相互関係を可能にする。ユーザは、マルチトラック録音にアクセスし、ミキシング処理を能動的に制御しうる。一部のアーティストは、それらの曲のいくつかのための基語をし始めており、意図は、リスナーが音楽を自由にリミックスし、如何なる形にも音楽を再利用しうることである。

【0006】

マルチトラック・フォーマットにおいてリリースされる音楽またはオーディオのワークが多数の方法で使用されうる。ユーザは、異なるトラックのためにミキシング・パラメータを制御しうる。このように、他のトラックを減らすとともに、選択されたトラックを強調する。たとえば、１以上のトラックは、たとえば、カラオケまたはプレイアロングの目的のために、弱められうる。音響効果（たとえば、反響、残響、ゆがみ、コーラス等）は、他のトラックに影響を及ぼすことなく選択されたトラックに適用されうる。１以上のトラックは、マルチトラック・フォーマットから抜粋でありえ、他の音楽ワークまたは他のオーディオワーク（たとえば、オーディオブック、講義、ポッドキャスト等）のフォームにおいて使用されうる。以下の説明では、本願明細書において開示される技術のアプリケーションが、典型的な方法で記録された音楽ワークのマスタリングについて議論される。しかしながら、複数のシングル・オーディオ・トラックを混合することを伴っているいくつかの記録された音響の処理は、等しく述べられることを目的とし、本願明細書において開示される技術によってカバーされることを理解すべきである。

【0007】

自動ミキシングは、多くの研究プロジェクトの焦点である。２００９年に、ペレス・ゴンザレスらは、マルチトラック信号の自動等化のための方法を記載した（Ｅ.Ｐｅｒｅｚ−Ｇｏｎｚａｌｅｚ ｅｔ ａｌ ａｎｄ Ｊ.Ｒｅｉｓｓ，“Ａｕｔｏｍａｔｉｃ Ｅｑｕａｌｉｚａｔｉｏｎ ｏｆ Ｍｕｌｔｉ−Ｃｈａｎｎｅｌ Ａｕｄｉｏ Ｕｓｉｎｇ Ｃｒｏｓｓ−Ａｄａｐｔｉｖｅ Ｍｅｔｈｏｄｓ”，Ｐｒｏｃ． ｏｆ ｔｈｅ ＡＥＳ １２７^th Ｃｏｎｖ．，２００９）。著者らは、マルチトラック信号の各信号に対する減衰を自動的に設定する方法を提示する。ゲインは、各信号の音の大きさがすべての信号の平均音の大きさに等しくなるように、決定される。同じ著者による他の論文は、「Ａｕｔｏｍａｔｉｃ Ｇａｉｎ ａｎｄ Ｆａｄｅｒ Ｃｏｎｔｒｏｌ ｆｏｒ Ｌｉｖｅ Ｍｉｘｉｎｇ」で取り組まれ、ＷＡＳＰＡＡ，２００９の会報において公表された。

【0008】

セマンティックＨｉＦｉは、ヨーロッパのプロジェクト ＩＳＴ−５０７９１３（Ｈ．Ｖｉｎｅｔ ｅｔ ａｌ．，「Ｓｅｍａｎｔｉｃ ＨｉＦｉ Ｆｉｎａｌ Ｒｅｐｏｒｔ」，Ｆｉｎａｌ Ｒｅｐｏｒｔ ｏｆ ＩＳＴ−５０７９１３，２００６）の名前である。それは、マルチメディア・コンテンツの検索、ブラウジングおよびシェアリングに関する。これは、閲覧して、（バース−コーラスの識別のような構造分析を使用して）データベースのナビゲーション、プレイリスト生成、内部トラック・ナビゲーション、そして、メタデータ・シェアリングを含む。それも、相互関係／オーサリング／編集について取り組まれ、（音声信号を「連結している」マルチトラック信号を混合しない）同期、音声変形、リズム変形、音声で制御できる機器および効果を含む混合を生成する。

【0009】

他のプロジェクトは、表示「構造化オーディオ」または「ＭＰＥＧ４」として公知である。構造化オーディオは、低ビットレートおよび知覚的にベースの操作でのオーディオ信号の送信ならびに信号の記号的なおよびセマンティックな記述を使用して音のデータを可能にする（Ｂ．Ｌ． Ｖｅｒｃｏｅ ａｎｄ Ｗ．Ｇ． Ｇａｒｄｎｅｒ ａｎｄ Ｅ．Ｄ． Ｓｃｈｅｉｒｅｒ， “Ｓｔｒｕｃｔｕｒｅｄ Ａｕｄｉｏ： Ｃｒｅａｔｉｏｎ， Ｔｒａｎｓｍｉｓｓｉｏｎ， ａｎｄ Ｒｅｎｄｅｒｉｎｇ ｏｆ Ｐａｒａｍｅｔｒｉｃ Ｓｏｕｎｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ”， Ｐｒｏｃ． ｏｆ ＩＥＥＥ， ｖｏｌ． ８６， ｐｐ． ９２２−９４０， １９９８を参照）。複数のストリームをミキシング、および音響効果を加えるためのパラメトリックサウンドのポストプロダクションの記述を特徴とする。パラメータの記述は、音がどのように合成するかについて決定する。構造化オーディオは、オーディオ信号を合成することに関連がある。

【0010】

国際公開第２０１０／１１１３７３号に基づく国際特許公開公報において、コンテキストを意識した、音声制御インタフェースおよびシステムが開示される。スピーチに向けられたユーザインタフェースシステムは、オーディオ信号をユーザから導出するための少なくとも１つのスピーカとユーザの音声の発声を捕らえるための少なくとも１つのマイクロホンとを含む。インタフェース装置は、スピーカおよびマイクロホンと入出力を行い、そして、ユーザによって聞こえるために、スピーカに複数の音声信号を提供する。制御回路は、インタフェース装置と使用可能な状態で連結し、そして、スピーカを通じてユーザに配信するために、最前面のオーディオ信号として、複数のオーディオ信号のうちの少なくとも１つを選択するために構成される。制御回路は、ユーザの音声の発声を認識して、最前面のオーディオ信号の選択を制御するための認識された音声の発声をしようするために操作可能である。

【0011】

米国特許出願公開第２００２／００８７３１０号には、ユーザとともに音声対話を扱うためのコンピュータ実行方法およびシステムが開示されている。ユーザからの音声入力は、複数の概念に導かれる語を含む。ユーザ音声入力は、実行されるサービスの要請を含む。ユーザ音声入力の音声認識は、広く認められた語を生成するために使用される。ダイアログ・テンプレートは、広く認められた語に適用される。ダイアログ・テンプレートは、予め定められた概念と関係しているノードを有する。ノードは、情報を処理している異なる要請を含む。概念的領域は、どのノードが広く認められた語の概念にマッチする概念と関係しているかに基づくダイアログ・テンプレートの範囲内において確認される。ユーザの要請は、確認された概念的領域の範囲内において含まれるノードの情報を処理している要請を使用して処理される。

【0012】

論文「“Ｔｒａｎｓｉｅｎｔ Ｄｅｔｅｃｔｉｏｎ ｏｆ Ａｕｄｉｏ Ｓｉｇｎａｌｓ Ｂａｓｅｄ ｏｎ ａｎ Ａｄａｐｔｉｖｅ Ｃｏｍｂ Ｆｉｌｔｅｒ ｉｎ ｔｈｅ Ｆｒｅｑｕｅｎｃｙ Ｄｏｍａｉｎ”， Ｍ． Ｋｗｏｎｇ ａｎｄ Ｒ． Ｌｅｆｅｂｖｒｅ」は、音楽信号におけるリズム検出に適しているトランジェント検出アルゴリズムを提示する。多くの音声信号において、低エネルギーのトランジェントは、高エネルギーの定常音によってマスキングされる。高エネルギーおよびより可視的なトランジェントと同様に、これらのマスキングされたトランジェントは、音楽信号のリズムおよび時間セグメントにおける重要な情報を伝える。提案されたセグメンテーション・アルゴリズムは、音声信号の定常成分を取り除くために、周波数領域において、適応くし型フィルタと組み合わされたサイン波モデルを使用する。フィルタ後、残留信号の時間エンベロープは、トランジェント成分の位置を決めるために分析される。結果は、提案されたアルゴリズムが大部分の低エネルギーのトランジェントを正確に検出することができることを示す。

【0013】

一般的に、マルチトラック録音をミキシングすることは、たいてい、専門家（ミキシング・エンジニア）によってされるオーサリング作業である。インタラクティブ音声フォーマットのようなマルチメディアの現在の成果は、マルチトラック録音がオートメーション化した方法において、または素人によって導かれる半オートメーション化した方法において混合されることを必要とするアプリケーションをもたらす。自動的に導出された混合信号は、人間の専門家によって生成された混合信号に相当する主観的な音質を有することが要求される。

【先行技術文献】

【特許文献】

【0014】

【特許文献1】国際公開第２０１０／１１１３７３号

【特許文献2】米国特許出願公開第２００２／００８７３１０号明細書

【非特許文献】

【0015】

【非特許文献1】Ｂ．Ｌ． Ｖｅｒｃｏｅ ａｎｄ Ｗ．Ｇ． Ｇａｒｄｎｅｒ ａｎｄ Ｅ．Ｄ． Ｓｃｈｅｉｒｅｒ， “Ｓｔｒｕｃｔｕｒｅｄ Ａｕｄｉｏ： Ｃｒｅａｔｉｏｎ， Ｔｒａｎｓｍｉｓｓｉｏｎ， ａｎｄ Ｒｅｎｄｅｒｉｎｇ ｏｆ Ｐａｒａｍｅｔｒｉｃ Ｓｏｕｎｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ”， Ｐｒｏｃ． ｏｆ ＩＥＥＥ， ｖｏｌ． ８６， ｐｐ． ９２２−９４０， １９９８

【発明の概要】

【発明が解決しようとする課題】

【0016】

本願明細書において開示される教示は、この一般的な目的について述べる。その教示は、音声信号処理、特に、リスニングの（最終的な）目的のための一組のユーザ定義の記録基準に従って、マルチトラックをミキシングするタスクに関連がある。本願明細書において開示される教示に従って、オーディオミキサーおよび混合信号に複数のオーディオ・トラックを混合するための方法は、素人の実施的な美的考えおよび結果として得る混合信号の関係を定める。

【0017】

これらの目的および／または可能なほかの目的のうちの少なくとも１つは、請求項１または請求項１６に記載のオーディオミキサー、請求項１４または請求項１７に記載の複数のオーディオ・トラックを混合するための方法、および請求項１５または請求項１８に記載のコンピュータ・プログラムによって達成される。

【課題を解決するための手段】

【0018】

本願明細書において開示される教示によれば、混合信号に複数のオーディオ・トラックを混合するためのオーディオミキサーは、セマンティック・コマンド・インタプリタ、オーディオ・トラック・プロセッサおよびオーディオ・トラック・コンバイナを含む。セマンティック・コマンド・インタプリタは、セマンティック・ミキシング・コマンドを受信し、そして、セマンティック・ミキシング・コマンドから複数のオーディオ・トラックのための複数のミキシング・パラメータを導出するために構成される。オーディオ・トラック・プロセッサは、複数のミキシング・パラメータに従って、複数のオーディオ・トラックを処理するために構成される。オーディオ・トラック・コンバイナは、オーディオ・トラック・プロセッサによって処理される複数のオーディオ・トラックを結合して混合信号を得るために構成される。

【0019】

開示された教示にかかる混合信号に複数のオーディオ・トラックを混合する方法は、セマンティック・ミキシング・コマンドを受信するステップと、セマンティック・ミキシング・コマンドから複数のオーディオ・トラックのための複数のミキシング・パラメータを導出するステップと、複数のミキシング・パラメータに従って、複数のオーディオ・トラックを処理するステップと、混合信号を形成するために、複数のオーディオ・トラックの処理から結果として得る複数のオーディオ・トラックを結合するステップと、を含む。

【0020】

コンピュータ・プログラムは、複数のオーディオ・トラックを混合するための方法を実行するためのコンピュータまたはプロセッサを有効にするための命令を含むか、または表す。コンピュータ・プログラムは、請求項１４に列挙されるような方法をコンピュータに実行させる場合、実行するための格納されたその上に前記コンピュータ・プログラムを有するコンピュータに読み込み可能な媒体に具体化されうる。

【0021】

セマンティック・ミキシング・コマンドは、所望の結果として得る混合信号のセマンティックな記述を提供するユーザ定義の基準に基づきうる。本願明細書において開示される教示によれば、セマンティック・オーディオ分析、心理音響および音声信号処理は、セマンティックな記述に基づき、自動的に混合信号を導出するために、お互いに組み入れられうる。この処理は、「セマンティック・ミキシング」と称されうる。

【0022】

セマンティック・ミキシングは、ユーザにより与えられる仕様に従って記録するマルチトラックを混合するためのコンピュータを有効にする方法として考慮する。仕様は、一般的には、セマンティックな記述の形式で与えられる。このセマンティックな記述を与えられて、ミキシング・パラメータは、単一のトラックおよび人間の聴覚の特性を考慮することによって決定されうる。

【0023】

一般的に、このように本願明細書において開示される教示にかかるオーディオミキサーは、コンピュータもしくはプロセッサ、またはそれが、コンピュータ／プロセッサと相互に作用する。オーディオ・トラック・プロセッサおよびオーディオ・トラック・コンバイナは、単一ユニットとして結合されうる。

【0024】

セマンティック・ミキシング・コマンドからの複数のミキシング・パラメータの導出は、セマンティック・ミキシング・コマンド、またはその一部の意味を分析することを含みうる。セマンティック・ミキシング・コマンドの一部は、たとえば、語または一群の語のようなセマンティックの表現でありうる。そして、セマンティックの表現は、複数のオーディオ・トラックのための一組の特定のミキシング・パラメータに変換されうる。このように、セマンティック・ミキシング・コマンドは、セマンティック・ミキシング・コマンドの意味に対応する特定のミキシング・パラメータによって実施される。セマンティック・ミキシング・コマンドのトランスレートおよび／またはセマンティックの表現を構成しているそれの作用は、たとえば、トランスレート関数の評価またはルックアップテーブルの問い合わせを含みうる。トランスレート関数またはルックアップテーブルにおけるデータ・レコードは、一般的に、予め定義されており、たとえば、経験されるミキシング・エンジニアの専門知識の一群を表す。専門知識は、ミキシング・エンジニアによって実行される設定と同様に、彼または彼女のミキシング・エンジニアにアーティストまたは音楽制作者によって与えられる口頭の指示を記録することによって、時間とともに得られうる。このように、トランスレート関数および／またはルックアップテーブルは、専門のミキシング・エンジニアによってトレーニングされうる。

【0025】

本願明細書において開示される教示の実施の形態によれば、セマンティック・コマンド・インタプリタは、セマンティック・ミキシング・コマンドの範囲内において、セマンティックの表現を識別するための語彙データベースを含みうる。語彙データベースによって、セマンティック・コマンド・インタプリタは、たとえば、同義語を確認することができる。さらに、特定の値までセマンティック・ミキシング・コマンドに含まれる語または一群の語をマップすることを可能にしうる。たとえば、楽器（「ギター」）を確認するための語は、特有のチャンネル番号または識別子にマップされうる。そこに、楽器は記録されている。語彙データベースは、音楽の一部の特定の部分、たとえば、始め（たとえば、「イントロ」）、コーラス（「コーラス」）または最後（たとえば、「コーダ」または「終奏」）を確認するエントリをさらに含みうる。語彙データベースのさらに他の可能性は、表されるミキシング・パラメータまたはスタイル、たとえば、「大きな音」、「ソフト」、「明瞭」、「包まれた音」、「遠い」等を、セマンティックに認識し、割り当てる。

【0026】

本願明細書において開示される教示の実施の形態において、オーディオミキサーは、複数のオーディオ・トラックの中のターゲット・オーディオ・トラックを識別するためのオーディオ・トラック識別器をさらに含みうる。ターゲット・オーディオ・トラックは、オーディオ・トラック識別表現によってセマンティック・ミキシング・コマンドの範囲内において表示されうる。複数のオーディオ・トラックが、それらがどの部分または基語を含むかについて明確にマークされないか、または確認されない場合、オーディオ・トラック識別器は役立ちうる。たとえば、オーディオ・トラックは、「トラック１」，「トラック２」，・・・「トラックＮ」として単純に番号がつけられうる。オーディオ・トラック識別器は、トラック識別表現によって確認されるオーディオ・トラックにマッチするように見える、全くないか、１またはいくつかのオーディオ・トラックのいずれかを決定するための複数のオーディオ・トラックのそれぞれを分析しうる。

【0027】

オーディオ・トラック識別器は、オーディオ・トラック・テンプレート・データベースからオーディオ・トラック識別表現に対応するデータ・レコードを取り出し、複数のオーディオ・トラックの中の少なくとも１つのオーディオ・トラックのトラック名、トラック識別子、音質、リズム構造、周波数帯域、サンプリング音および調和密度のうちの少なくとも１つの分析を実行し、少なくとも１つのマッチングスコアを結果として得るデータ・レコードを有する分析の結果を比較し、少なくとも１つのオーディオ・トラックおよびデータ・レコードの間の少なくとも１つのマッチングスコアに基づくターゲット・オーディオ・トラックを決定するために構成されうる。オーディオ・トラック識別器によって実行されるタスクは、複数のオーディオ・トラックの中のターゲット・オーディオ・トラックを確認することである。ターゲット・オーディオ・トラックは、オーディオ・トラック識別子に対応する、すなわち、オーディオ・トラック識別子がオーディオ・トラック識別器によって成功した識別子に続く「ギター」である場合、ターゲット・オーディオ・トラックは、一般的に、音楽作品のギター・パートを含む。オーディオ・トラック・テンプレート・データベースは、楽器「ギター」に対応するデータ・レコードを含み、データ・レコード自身は、ギターに対する特徴である値および／または情報を含む。たとえば、データ・レコードは、一般的なギター音の周波数モデルおよび／または一般的なギター音のアタック・ディケイ・モデル（ａｔｔａｃｋ−ｄｅｃａｙ ｍｏｄｅｌ）を含む。データ・レコードは、オーディオ・トラック識別器によって類似性分析のために使用されうる。

【0028】

本願明細書において開示される教示の実施の形態によれば、オーディオミキサーは、複数のオーディオ・トラックの範囲内において、ターゲット時間セクションを識別するための時間セクション識別器をさらに含み、ターゲット時間セクションは、時間セクション識別表現によって、セマンティック・ミキシング・コマンドの範囲内において表示される。ユーザが、オーディオ信号の第２のセクションとは異なるそのオーディオ信号（たとえば、音楽作品）の第１のセクションを混合したい場合に備えて、オーディオミキサーは、一般的に、これらのオーディオ信号のセクションに特定のミキシング・パラメータを適用するために、様々なオーディオ信号のセクションが開始し、終了することを知られることを必要とする。

【0029】

時間セクション識別器は、複数のオーディオ・トラックを複数の時間セクションに構築するように構成される。特に、音楽作品は、しばしば、音楽の慣例、たとえば、バースおよびコーラスの交互のセクションを有する曲形式によって影響される特定の構造を有する。この知見は、最初に、複数のオーディオ・トラックによって表されるオーディオ信号が、特定の音楽の構造に従うかどうかを決定することによって、時間セクション識別器によって利用され、音楽の構造の時間セクションにオーディオ信号の時間セクションを割り当てるために利用される。この目的で、時間セクション識別器は、オーディオ信号の範囲内における繰り返しおよび／または類似の間ターンを認識するパターン・レコグナイザを含みうる。少し例を挙げれば、パターン認識は、メロディ分析、調和解析、およびリズム解析に基づきうる。

【0030】

時間セクション識別器は、複数のオーディオ・トラックによって表されるオーディオ信号の固有性の変化が発生する、少なくとも１つの時刻を決定するために、および２つの隣り合った時間セクションの間における少なくとも１つの境界として少なくとも１つの決定した時刻を使用するために、複数のオーディオ・トラックの分析を実行するために構成される。

【0031】

オーディオミキサーは、複数のオーディオ・トラックに関連するメタデータを受信するためのメタデータ・インタフェースをさらに含み、メタデータは、トラック名、トラック識別子、時間構造情報、強度情報、オーディオ・トラックの空間属性もしくはその一部、音質の特徴、およびリズム特徴のうちの少なくとも１つを示す。メタデータは、複数のオーディオ・トラックの製作者によって生成することができ、オーディオミキサー、または複数のオーディオ・トラックを混合するための方法のための有益な情報を提供しうる。メタデータの可能性は、様々なオーディオ・トラックおよび／または時間セクションを確認するために、オーディオ信号の広範囲な分析を実行しなければならないことから、オーディオミキサーまたは方法を確保する。メタデータ・インタフェースが、将来の再利用のための分析結果（楽器、時間構造・・・）を格納するために使用されうる。このように、複数のオーディオ・トラックの潜在的に冗長な分析は、一度だけ実行する必要がある。さらに、ユーザが何度も同じ問題を修正する必要がないように、自動的に決定された分析結果に対してする如何なる手動修正も格納されうる。手元に格納された分析結果を有しており、ユーザは、異なるミックスバージョンを同じメタデータを使用している同じ複数のオーディオ・トラックから作り出すことができる。

【0032】

本願明細書において開示される教示の実施の形態によれば、言語フォーマットにおいてセマンティック・ミキシング・コマンドを受信するためのコマンドインタフェースをさらに含む。言語フォーマットは、ユーザが通常の言語によって実質的にオーディオミキサーによって実行されるミキシングの結果に関して彼／彼女の要求を表明することができる。言語フォーマットにおけるセマンティック・ミキシング・コマンドは、マイクロホンを使用している話し言葉、または、たとえばキーボードを使用して言語として、オーディオミキサーに入力されうる。

【0033】

本願明細書において開示される教示の別の実施の形態では、典型的な混合信号を受信するための見本インタフェースと、典型的な混合信号を分析するためおよび見本となる混合信号の分析に基づきセマンティック・ミキシング・コマンドを生成するための混合信号分析器を含む。見本インタフェースを介して提供される見本となる混合信号を使用して、混合信号分析器は、どの特徴が見本となる混合信号を特徴づけるかについて決定しうる。たとえば、混合信号分析器は、（強く反復的な）ドラム・パートおよびベース・パートの強調を認識することができ、一方、メロディは、より強調されない。これらの検出特徴は、いわゆるダンス−ミックス（すなわち、ミキシングの特定のスタイル）を示唆する。この情報は、混合信号分析器からセマンティック・コマンド・インタプリタに提供されうる。この情報に基づいて、たとえば、セマンティック・コマンド・インタプリタは、他のパートと関連して、ドラム・パートおよびベース・パートの音量を増加しうる。セマンティック・コマンド・インタプリタは、ドラム・パートを、たとえば、所望のダンス−ミックススタイルのために典型的に使用される合成されたドラム・パートにまさに置き換えられる。

【0034】

見本インタフェースは、得られた見本となる混同信号から複数の見本のオーディオ・トラックを受信するように、さらに構成されうる。混合信号分析器は、典型的な混合信号を結果として得るために使用されたミキシング・パラメータを決定するために、見本オーディオ・トラックを見本となる混合信号と比較するように構成されうる。それらが、典型的な混合信号を形成するために一緒に混合される前に、混合信号分析器によって形成されるセマンティック・ミキシング・コマンドは、それから、どの程度見本オーディオ・トラックが修正されるかの記述を含む。たとえば、セマンティック・ミキシング・コマンドは、たとえば、「著しくより音の大きいドラム，適度により穏やかな、より遠くから、ハイパスフィルタによってフィルタされたボーカル」を含む。そして、セマンティック・ミキシング・コマンドは、このセマンティック・ミキシング・コマンドから複数のミキシング・パラメータを導出しうる。

【0035】

本願明細書において開示される教示の別の実施の形態では、セマンティック・コマンド・インタプリタは、混合信号の聴覚関連の特性の知覚モデルに従って、セマンティック・ミキシング・コマンドを複数のミキシング・パラメータに変換するための知覚プロセッサを含みうる。知覚モデルは、特定のミキシング・パラメータがリスナーのための所望の効果を達成するためにどのように選択されなければならないのかを記載する音響心理学的なルールを典型的には実施する。たとえば、距離についての印象を伝えるために、残響、周波数フィルタリングおよび減衰のような、いくつかの音の処理動作は、必要とされる。音響心理学的な知見に典型的に基づく知覚モデルは、所望の効果の実現のための適切なミキシング・パラメータの決定を容易にする。

【0036】

本願明細書において開示される教示の別の実施の形態では、セマンティック・コマンド・インタプリタは、セマンティック・コマンド・インタプリタによってセマンティック・ミキシング・コマンドから導出される少なくとも１つのファジールールを受信し、少なくとも１つのファジールールに基づいて複数のミキシング・パラメータを生成するためのファジー理論プロセッサを含む。ファジー理論プロセッサは、少なくとも１つのファジールールの形式でセマンティック・ミキシング・コマンドを処理するために、非常に適している。少なくとも１つのファジールールは、実質的にセマンティックな領域において、ファジー理論プロセッサの入力量をファジー理論プロセッサの出力量にマッピング（すなわち、第１のセマンティックフォーマットの量から第２のセマンティックフォーマットへのマッピング）する。

【0037】

ファジー理論プロセッサは、セマンティック・コマンド・インタプリタによって準備される少なくとも２つの同時に発生するファジールールを受信するように構成されうる。ここで、オーディオミキサーは、少なくとも２つの同時に発生するファジールールの中の１つの同時に発生するファジールールを選択するためのランダム選択器をさらに含む。２以上の同時に発生するファジールールからファジールールの選択をランダム化することによって、ミキシング・スタイルが関係している限りは、オーディオミキサーによってもたらされる混合信号が、一様に実質的に音を発する傾向がないように、芸術の自由のイリュージョンは引き起こされうる。そして、それは、オーディオミキサーがファジールールに関して、より固定したスキームに従う場合、他のケースがありうる。

【0038】

複数のオーディオ・トラックを混合するための方法に関して、セマンティック・ミキシング・コマンドの範囲内においてセマンティックの表現を確認するための語彙データベースが問い合わされる。

【0039】

方法、さらに、または代わりに、複数のオーディオ・トラックの中のターゲット・オーディオ・トラックの識別を含み、ターゲット・オーディオ・トラックは、オーディオ・トラック識別表現によってセマンティック・ミキシング・コマンドの範囲内において示される。この目的で、オーディオ・トラック・テンプレート・データベースからオーディオ・トラック識別表現に対応するデータ・レコードは、読み出されうる。それから、複数のオーディオ・トラックの中の少なくとも１つのオーディオ・トラックのトラック名、トラック識別子、音質、リズム構造、周波数帯域、サンプリング音および調和密度のうちの少なくとも１つの分析が実行されうる。分析の結果は、少なくとも１つのマッチングスコアを結果として得るデータ・レコードと比較されうる。そして、ターゲット・オーディオ・トラックは、少なくとも１つのオーディオ・トラックおよびデータ・レコードの間の少なくとも１つのマッチングスコアに基づいて決定されうる。

【0040】

方法は、複数のオーディオ・トラックの範囲内のターゲット時間セクションを確認するための作用も含み、ターゲット時間セクションは、時間セクション識別表現によってセマンティック・ミキシング・コマンドの範囲内において示される。ターゲット時間セクションを確認するための作用は、複数のオーディオ・トラックを複数の時間セクションに構築するように構成されうる。時間セクション識別は、複数のオーディオ・トラックによって表されるオーディオ信号の固有性の変化が発生し、少なくとも１つの時刻を決定するために、複数のオーディオ・トラックの分析を実行するステップ、および２つの隣り合った時間セクションの間における少なくとも１つの境界として少なくとも１つの決定した時刻の使用するステップを含む。

【0041】

本願明細書において開示される教示の別の実施の形態では、方法は、メタデータ・インタフェースで、複数のオーディオ・トラックに関連するメタデータを受信するステップを含む。メタデータは、トラック名、トラック識別子、時間構造情報、強度情報、オーディオ・トラックの空間属性もしくはその一部、音質の特徴およびリズム特徴のうちの少なくとも１つを示しうる。

【0042】

方法は、オーディオミキサーに対応するコマンドインタフェースでの言語フォーマットにおけるセマンティック・ミキシング・コマンドを受信するステップを、さらに含む。

【0043】

本願明細書において開示される教示の別の実施の形態では、方法は、見本インタフェースで見本となる混合信号を受信するステップと、混合信号分析器によって見本となる混合信号を分析するステップと、見本となる混合信号の分析に基づきセマンティック・ミキシング・コマンドを生成するステップと、をさらに含む。

【0044】

セマンティック・ミキシング・コマンドから複数のミキシング・パラメータを導出する作用は、混合信号の聴覚関連の特性の知覚モデルに従って、複数のミキシング・パラメータにセマンティック・ミキシング・コマンドを変換するステップを含む。

【0045】

本願明細書において開示される教示の実施の形態によれば、複数のミキシング・パラメータを導出する作用は、セマンティック・コマンド・インタプリタによってセマンティック・ミキシング・コマンドから導出される少なくとも１つのファジールールを受信するステップと、少なくとも１つのファジールールに基づいて複数のミキシング・パラメータを生成するステップとを含みうる。少なくとも１つのファジールールの受信および少なくとも１つのファジールールに基づく複数のミキシング・パラメータの生成は、ファジー理論プロセッサによって実行されうる。

【0046】

方法は、少なくとも２つの同時に発生するファジールールを受信するステップと、少なくとも２つの同時に発生するファジールールの中の１つの同時に発生するファジールールをランダムに選択するステップとを含む。

【0047】

本願明細書において開示される教示は、以下に記載するポイントにおいて上述された従来の発明とは異なる。
− ペレス−ゴンザレスら（Ｐｅｒｅｚ−Ｇｏｎｚａｌｅｚ ｅｔ ａｌ．）によって提案された方法は、処理を制御するために、セマンティックな記述を考慮に入れない。
− セマンティックＨｉＦｉプロジェクトは、マルチトラック・フォーマットの処理について対処しない。セマンティックな記述を実行する混合信号を計算するために必要となる知覚的な状況を、それは対処しない。
− 「構造化オーディオ」プロジェクトは、オーディオ信号を合成することに関連がある。対照的に、本願明細書（セマンティック・ミキシング）において開示される教示は、オーディオ信号を混合することに関連がある。

【0048】

簡潔に、本願明細書において開示される教示の中心的な実施の形態のいくつかを要約するために、マルチトラック録音のミキシングは、オーサリング・タスクである。セマンティック・ミキシングは、セマンティックな記述によって導かれるマルチトラック録音を混合するためのソリューションの開発を目指す。それは、セマンティックなオーディオ分析、心理音響および音声信号処理の技術を結合する。セマンティック・ミキシングは、音楽制作、ＳＡＯＣ（Ｓｐａｔｉａｌ Ｏｂｊｅｃｔ Ａｕｄｉｏ Ｃｏｄｉｎｇ）ホームビデオ・オーサリング、仮想現実感およびゲームのような様々なアプリケーションに適用できる。

【0049】

セマンティック・ミキシングは、手短に言えば、以下の（部分的に任意の）特徴を記載されうる。
− ユーザとの対話処理を提供する。
− セマンティック・ミキシングは、広い範囲で知覚的なコンポーネントに対処する。このことは、環境、再生装置およびユーザ選択への適応を含みうる。
− セマンティックな部分と心理音響学的な部分とを結合する。いかなるセマンティック処理も、知覚的な態様を考慮に入れることを必要とする。それは、セマンティックな分析（音楽情報検索、プレイリスト作成）の従来のアプリケーションというよりむしろ音声信号処理に焦点をあわせる。それは、コンテンツとの相互作用の新規な方法を目的とする。
− それは、マルチトラック録音の処理に関連がある。

【0050】

本願明細書において開示される教示は、とりわけ、ユーザの仕様に従ってマルチトラック信号の混合のための方法に関する。音声信号処理に関し、特に、一組のユーザ定義の基準に従ってマルチトラック録音を混合するタスクに関する。ユーザ定義の基準は、結果として得る混合信号のセマンティックな記述を提供する。本願明細書において開示される教示は、セマンティックな記述に基づいて、自動的に混合信号を導出するために、音声分析、心理音響および音声信号処理を組み込みうる。

【0051】

本願明細書において開示される教示の上記の特徴および他の特徴は、以下の説明から明らかである。そして、それは付随する略図に関して例として示される。

【図面の簡単な説明】

【0052】

【図1】図１は、オーディオミキサーの略ブロック図を示す。

【図2】図２は、ポピュラー音楽においてしばしば使用される歌構造の音楽作品の見本となる時間構造を例示する。

【図3】図３は、クラシック音楽において公知のソナタ形式の音楽作品の他の見本となる時間構造を例示する。

【図4】図４は、ポピュラー音楽録音の見本となるオーディオ・トラック配置を例示する。

【図5】図５は、本願明細書において開示される教示にかかるオーディオミキサーの略ブロック図を示す。

【図6】図６は、ファジー論理プロセッサの略ブロック図を例示する。

【図7】図７は、ファジー集合のための見本となるメンバシップ関数を例示する。

【図8】図８は、ファジー論理プロセッサを含むオーディオミキサーの略ブロック図を示す。

【図9】図９は、本願明細書において開示される教示にかかるオーディオミキサーの他の構成の略ブロック図を示す。

【図10】図１０は、本願明細書において開示される教示の実施の形態にかかるセマンティック・ミキシング・コマンドおよびその分解を例示する。

【図11】図１１は、本願明細書において開示される教示の実施の形態にかかる他のセマンティック・ミキシング・コマンドおよびその分解を例示する。

【図12】図１２は、本願明細書において開示される教示にかかるオーディオミキサーの更なる構成の略ブロック図を示す。

【図13】図１３は、音声トラック識別子を含む本願明細書において開示される教示にかかるオーディオミキサーの構成の略ブロック図を示す。

【図14】図１４は、時間セクション識別子を含む本願明細書において開示される教示にかかるオーディオミキサーの構成の略ブロック図を示す。

【図15】図１５は、メタデータ・インタフェースを含む本願明細書において開示される教示にかかるオーディオミキサーの構成の略ブロック図を示す。

【図16】図１６は、見本となる混合信号を受信するための見本インタフェースを含む本願明細書において開示される教示にかかるオーディオミキサーの構成の略ブロック図を示す。

【図17】図１７は、知覚プロセッサおよび知覚モデルを含む本願明細書において開示される教示にかかるオーディオミキサーの構成の略ブロック図を示す。

【図18】図１８は、本願明細書において開示される教示にかかる混合信号に複数のオーディオ・トラックを混合する方法の概略フローチャートを示す。

【発明を実施するための形態】

【0053】

図１は、オーディオミキサーの略ブロック図を示す。オーディオミキサーは、混合信号ＭＳが形成されるように、複数の単一のトラックＳＴを結合することを可能にし、典型的には、各単一のトラックを結合することを制御するために、個々の信号プロセッサに供給される。１つの単一のトラックのための個々の信号プロセッサは、たとえば、イコライザＥＱ、パニング制御ＰＡＮ、リバーブレータＲＥＶＥＲＢ、音量調節ＶＯＬおよび場合により更なる音響効果を含みうる。オーディオミキサーの中心的役割は、混合信号が複数の単一のトラックＳＴによって供給される音声信号のバランスのよい重ね合わせであるように、複数のうちの１つの単一のオーディオ・トラックＳＴのそれぞれの量を調整することである。単一のトラックＳＴの音響効果および音量の特定の設定がよくバランスのよい重ね合わせを構成する決定は、ミキシング・エンジニアによって典型的にはなされる。複数の個々の信号プロセッサは、複数のオーディオ・トラック信号を修正する。そして、修正されたオーディオ・トラック信号は、混合信号ＭＳを生成するために信号コンバイナΣにおいて結合される。

【0054】

図２は、ポピュラー音楽ジャンルに属する典型的な曲の時間構造を例示する。図２の中で、例えば、使用される曲は、序奏（ＩＮＴＲＯ）から始まり、その後に、バースセクション（ＶＥＲＳＥ １）、コーラス（ＣＨＯＲＵＳ）、実質的には同じ音楽で異なる歌詞を伴う第２のバース（ＶＥＲＳＥ ２）セクション、コーラスの繰り返し、ブリッジ（ＢＲＩＤＧＥ）、他のコーラスの繰り返し、およびコーダまたは終奏（ＯＵＴＲＯ）が続く。この基本的なスキームのバリエーションの多数が存在し、その上、大部分の人々のためのポピュラー音楽の様々なセクションを区別することがたいてい可能である。たとえば、コーラスは、リスナーによって容易に認識されうるように、実質的に同じ歌詞およびメロディをともなう曲の全体にわたって、様々な場所で典型的に繰り返される。

【0055】

図３は、ソナタ形式において作曲される音楽作品の時間構造を例示する。ソナタ形式は、クラッシック音楽の多数の作曲家により用いられている。名前が示唆するように、ソナタ形式は、ソナタ、典型的には、その第１楽章において広く使用される。その上、典型的には、多くのシンフォニの第１楽章は、ソナタ形式である。ソナタ形式の特徴的な部分は、特に、コード進行に関して、基本的に同じ音楽資料が様々な修正によって表される場合において、提示部、展開部および再現部である。任意に、序奏およびコーダは、それぞれ音楽作品の始まりおよび終わりを表す。ソナタ形式の様々な時間部分を区別することがいくらかの経験をすることができると同時に、それは人間のリスナーに一般に可能である。

【0056】

ミキシング・エンジニアは、異なる方法の音楽作品の異なる時間部分を処理したい場合もある。理由は、特定の芸術的な効果を達成するか、または複数のオーディオ・トラックの記録の間に生じうる潜在的な欠陥のための補正によって一様に混合信号ＭＳを生成したいという願望でありうる。音楽作品、または一般のオーディオ記録（たとえば、オーディオブック、講義、その他）の時間構造についての知見は、ミキシング・エンジニアが様々な時間部分の出発点および終点を記録で見つけるのをアシストしうる。

【0057】

図４は、ポピュラー音楽ジャンルにおける曲の記録の見本となるオーディオ・トラック配置を例示する。単一のオーディオ・トラックＳＴは、以下の楽器のために存在する：リードギター、リズムギター、ボーカル部分、ピアノおよびベースである。ドラムセットは、ドラムセットの様々なパートに対して、いくつかの単一のオーディオ・トラックを使用して録音されている：クラッシュシンバル、ライドシンバル、ハイハット、トムトム、スネアドラムおよびバスドラムである。単一のオーディオ・トラックが全体のドラムセットに対して使用されている場合よりも、ドラムセットの異なる部分のためのいくつかのオーディオ・トラックＳＴの使用は、ミキシング・エンジニアがよりよく、ドラム・パートのバランスをとることができる。

【0058】

手短の複数の単一のオーディオ・トラックについて、音楽作品は、演奏しているアーティストおよび／またはミキシング・エンジニアによって要望どおり習得されうる。特に、音楽作品の特徴または「モード」は、複数のオーディオ・トラックＳＴのために用いられるミキシング・パラメータを変更することによって、有効な方法で変更されうる。ミキシングのためのカスタマーに対する複数のオーディオ・トラックＳＴを提供することは、カスタマーに大きな自由度を用意する。しかしながら、特に、ミキシング・パラメータの間の複雑な相互接続および相互作用のために、多くのユーザは、適切にミキシング・パラメータを選択するための経験が欠如している。単一のオーディオ・トラックに影響を及ぼすように見える特定の効果を達成するために、いくつかのまたはすべてのオーディオ・トラックのミキシング・パラメータを調子するために必要でありうる。

【0059】

図５は、第１の可能な構成を有する本願明細書において開示される教示にかかるオーディオミキサーの略ブロック図を示す。

【0060】

典型的に、ユーザ（またはリスナー）は、混合信号がどのように音を出すのかのある考えがあるが、この考えを達成するために、ミキシング・パラメータがどのように調整すべきなのかはわからない。

【0061】

本願明細書において開示される教示にかかるオーディオミキサーは、ユーザの考えまたは簡潔な形式に記載するセマンティックな表現の間のリンクを構築し、そして、実際のミキシング・パラメータは、複数の単一のオーディオ・トラックを混合信号ＭＳに混合するために必要である。

【0062】

シンプルに、ミキシング・プロセスを導くセマンティックな記述の例は、以下に示すとおりである：「ギターソロの間、顕著にギターを混合し、そしてわずかにキーボードを背景に移動する」

【0063】

これを達成するために、少なくとも、典型的に、リストされる様々なサブタスクのいくつかが、対処されることを必要とする：
− ユーザによって与えられるセマンティックな記述は、適切なユーザ・インターフェースを使用して、捕らえられることを必要とする。
− ユーザ入力は、機械で読み取り可能な形式に変換されることを必要とする。
− 音楽的なオーディオ信号のセマンティックな分析は、（たとえば、ギター・トラックおよびキーボード・トラックを確認し、ギターソロの始まりおよび最後を見つける）演奏されることを必要とする。
− 物理的なミキシング・パラメータは、人間が視聴しているメカニズムを考慮に入れて決定されることを必要とする（たとえば、混合におけるギターの知覚された音の大きさがいくつかの他の楽器よりも大きいようなゲインを決定し、一方、あまり大きくないキーボードに対して、距離の所望の知覚のための残響効果に送信トラックのゲイン、遅延を決定する）。
− ミックスは、計算された物理的なミキシング・パラメータを使用して導出される。パラメータは、単一のオーディオ・トラックＳＴおよび出力チャンネルの各結合に対するゲイン係数および時間遅延を含む。さらにまた、物理的なミキシング・パラメータは、デジタル・オーディオ・エフェクト・プロセッサ（ＤＡＦｘ；ｄｉｇｉｔａｌ ａｕｄｉｏ ｅｆｆｅｃｔ ｐｒｏｃｅｓｓｏｒｓ）、たとえば、人工的な残響およびダイナミック・レンジ処理、を制御する。

【0064】

セマンティックな記述は、たとえば、
− 混合信号ＭＳにおいて、各音のオブジェクトＳＯの知覚される位置および音の大きさ、
− 各トラックに対するＤＡＦｘのパラメータ、
− 混合信号ＭＳ（たとえば、残響の量、ダイナミック・レンジ）のための特性、
を明確に述べる。

【0065】

本願明細書において開示される教示にかかるオーディオミキサーの可能な構成を示している図５の略ブロック図において、上記のサブタスクは、オーディオミキサーのモジュールによって達成される。オーディオミキサーは、ユーザ・インターフェース（ＵＩ）２０、コマンド・インタプリタ（ＣＩ）３０、セマンティック・オーディオ分析（ＳＡＡ）４０、ターゲット記述子割り当て装置（ＤＡＵ）５０、知覚プロセッサ６０および信号プロセッサ７０を含む。

【0066】

ユーザ・インターフェース２０は、オーディオミキサーのユーザからの入力を獲得するための機能を提供する。ユーザ・インターフェース２０の一部である複数のサブモジュールで例示されるように、ユーザ入力の実施のための異なるオプションが存在する。例は、以下の通りである。
− 一組のプレセットの１つのセクション（サブモジュール２２）；
− 一組のｎ次元のコントローラが、単一のトラックおよび結果として得る混合信号ＭＳの異なる特性に割り当てられる（サブモジュール２３）；
− 自然言語の入力（サブモジュール２４）；
− 混合信号ＭＳの例、または対応する混合信号ＭＳをともなうマルチトラックの例の入力（サブモジュール２３）。そして、与えられる例は、混合信号ＭＳに対して、セマンティックな記述を導出するように分析される。ユーザの入力のこのソートによって制御されるオーディオミキサーの動作モードは、次の記述において、「例によるミキシング」として言及される。

【0067】

コマンド・インタプリタ３０は、ユーザ・インターフェース２０に接続され、そして、（人間が読み取り可能であるかまたは例によって与えられる）入力を機械が読み取り可能なコマンドに変換される。これらのコマンドは、典型的には、語彙文法サブモジュール３１によって提供されおよび／または制御される語彙および周知の文法を制限している。

【0068】

コマンド・インタプリタ３０の実施のための例は、異なるユーザ・インターフェースの設計のため、表１において与えられる。

【0069】

【表1】

【0070】

ユーザ入力のほかに、オーディオミキサーは、入力として単一のオーディオ・トラックＳＴを含むデータ１０も受信する。データ１０が音楽作品のオーディオ・トラックに対応する場合に備えて、データ１０は、音楽コンテナ１１および任意のメタデータコンテナ１２を含みうる。データ１０は、適切なインターフェース（図５には表示せず）を介して、オーディオミキサーに提供されうる。

【0071】

データ１０は、セマンティック・オーディオ分析（ＳＡＡ）４０に取り入れられる。セマンティック・オーディオ分析４０は、典型的には、各オーディオ・トラックＳＴのための一組のメタデータを計算する自動工程である。マルチトラック、すなわち、複数のオーディオ・トラックを記載するメタデータが計算されうる（たとえば、音楽のジャンル）。メタデータは、オーディオ信号を特徴づけるセマンティック記述子である。

【0072】

セマンティック・オーディオ分析４０は、以下を含みうる。
− 楽器の識別
− 構造分析（バース、コーラスおよび各信号の他の部分のラベリング）
− 演奏スタイルの識別（ソロ、伴奏、旋律、ハーモニーおよびリズム・エントロピー）
− リズム分析（たとえば、ビート同期音響効果のためのビート・トラッキング）
− 旋律のおよびハーモニーの分析
− 音質の特徴（たとえば、輝度、粗さ、鮮明度）
− 単一のオーディオ・トラックＳＴの間の（音質、演奏スタイル形式に関する）類似点の特徴
− 音楽ジャンル

【0073】

これらのメタデータは、ミキシング・パラメータを介して、各単一のトラックＳＴに、適切な信号処理を割り当てるために使用されうる。

【0074】

セマンティック・オーディオ分析は、セマンティック・ミキシングの処理が実行されるたびに実行されうる。任意には、セマンティック・オーディオ分析は、（製造／オーサリングの間）１度実行され、そして、結果として得られるメタデータは、マルチメディア・アイテムとともに格納され、送信されうる。

【0075】

任意には、彼／彼女が、自動的に１以上の導出されたセマンティック・オーディオ分析の結果を満たさない場合、セマンティック・オーディオ分析４０は、ユーザ入力によって導かれ、すなわち、ユーザは、セマンティック・オーディオ分析４０をアシストし、または、彼／彼女がメタデータを入力しうる。セマンティック・オーディオ分析４０がユーザの選択に適応しうるように、すなわち、セマンティック・オーディオ分析４０がユーザの入力によって時間とともに訓練されうるように、これらの修正ユーザ入力は、次の分析の間に考慮されるためにセマンティック・オーディオ分析によって格納されうる。

【0076】

セマンティック・オーディオ分析４０は、複数のオーディオ・トラックＳＴにおいて含まれるオーディオ信号に基づくメタデータを計算するための第１のサブモジュール４１を含みうる。加えて、または、あるいは、セマンティック・オーディオ分析４０は、複数のオーディオ・トラックＳＴとともに提供されるメタデータを読み込むための第２のサブモジュール４２を含みうる。

【0077】

コマンド・インタプリタ３０およびセマンティック・オーディオ分析４０に対する連結は、ターゲット記述子割り当て装置（ＤＡＵ）５０である。コマンドはコマンド・インタプリタ３０により形成され、メタデータは、セマンティック・オーディオ分析４０から得られる場合、ターゲット記述子割り当て装置５０は、オーディオ信号（それは、コマンドが存在するサウンド・オブジェクトに対応するトラックならびに起動時間および停止時間を決定する）の部分を選択し、適切な知覚的ターゲット記述子（ＰＴＤ）をそれらに割り当てる。

【0078】

知覚的ターゲット記述子は、以下のように記載されうる：
− サウンド・オブジェクトの知覚される強さ（音の大きさ）
− サウンド・オブジェクトの空間属性（外側角、高さ、距離、拡散、幅）
− サウンド・オブジェクトに対する音質特性（たとえば、輝度、鮮明度、粗さ）
− デジタル・オーディオ・エフェクトに関する特性（ＤＡＦｘ）

【0079】

コマンドが、言語変数を使用することによって与えられる場合、ターゲット記述子割り当て装置５０は、クリスプ値に言語変数との間に変換されるためのファジー論理を使用しうる。

【0080】

知覚的ターゲット記述子を提供するターゲット記述子割り当て装置５０の出力は、知覚プロセッサ（ＰＰ）６０の入力に接続される。知覚プロセッサ６０は、混合するため、および割り当てられた知覚的ターゲット記述子を与えられる追加的な信号処理（たとえば、ＤＡＦｘ）のための物理パラメータ（ミキシング・パラメータ）を計算する。これは、典型的には、心理音響学６１および専門知識６２を考慮することを必要とする非常に厳しい作業である。

【0081】

これは、以下の例で例示される：たとえば、ギター・トラックである特定のオーディオ信号に対して、知覚的なレベルに対する記述子は、「高い」に設定される。シンプルなソリューションは、固定量、たとえば、６ｄＢによって、ギターのゲインを増加させることである。音の大きさの知覚は、非常に複雑な方法において処理されたオーディオ信号および混合信号ＭＳのスペクトルおよび時間的な特徴に依存するので、このシンプルなソリューションは、全ての場合において、所望の効果を有しない。

【0082】

たとえば、音の大きさおよび部分的な音の大きさの知覚モデルを用いて、リスナーによって知覚される混合におけるギターの音の大きさは、調整されるように、より良い結果は、すべてのレベルを設定することによって得られうる。部分的な音の大きさは、音の混合において示される信号の音の大きさであり、ここで、注目信号は、部分的にマスキングされる。

【0083】

典型的に、人間の聴覚および音の認識の異なる態様は、音の大きさの知覚に加えて対処されることを必要とする。これらは、残響、音の定位、および空間属性の知覚の量の知覚である。

【0084】

心理音響的な部分は、セマンティックな記述（これをわずかにより大きくする）を物理的パラメータ（たとえば、「４．５ｄＢによって高める」）に変換するために重要である。

【0085】

知覚プロセッサ６０は、信号プロセッサ７０の入力にその出力の１つを介して接続される。信号プロセッサ７０は、物理的なミキシング・パラメータ７１を処理するモジュール、１以上のデジタル・オーディオ・エフェクト７２およびフォーマットためのモジュール７３を含みうる。混合および信号処理のための物理パラメータとともに、信号プロセッサ７０は、混合信号ＭＳを計算する。

【0086】

コンベンションペーパー「“Ａｕｔｏｍａｔｉｃ Ｍｕｓｉｃ Ｐｒｏｄｕｃｔｉｏｎ Ｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｅｘｐｅｒｔ Ｓｙｓｔｅｍｓ”， Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ， ｐｒｅｓｅｎｔｅｄ ａｔ ｔｈｅ １２９ｔｈ Ｃｏｎｖｅｎｔｉｏｎ， ２０１０ Ｎｏｖｅｍｂｅｒ ４−７」において、著者であるＲ．ガングら（Ｒ．Ｇａｎｇ ｅｔ ａｌ．）らは、専門の音声工学の知識を組み込むために確率的なグラフィカル・モデルを使用することを提案し、そして、オーディオ・ファイルから得られる音楽の情報に基づいて、自動的な生産決定を推論する。確率的なグラフィカル・モデルとして表される生産パターンは、人間の音声エンジニアの動作データから学ぶことができ、または手動で特定分野の専門知識から構築されうる。知覚プロセッサ６０および／またはセマンティック・コマンド・インタプリタ３０は、このコンベンションペーパーにおいて提案される技術的特徴を実装することができる。前述のコンベンションペーパーの全体の内容は、本願明細書において言及することにより組み込まれる。

【0087】

マルチトラック記録を混合することは、以下を含む。
− レベルの調整および各単一のトラックに対するパニング位置（物理ミキシング・パラメータ７１を処理するためのモジュール）
− イコライゼーション（単一のトラックＳＴおよび混合信号ＭＳに対して）
− ダイナミック・レンジ処理（ＤＲＰ）（単一のトラックＳＴおよび混合信号ＭＳに対して）
− 人工的な残響
− 音響効果を適用すること（ＤＡＦｘ７２）

【0088】

知覚プロセッサ６０によって計算されるとき、これらの動作の各々は、物理パラメータによって制御される。

【0089】

フォーマット７３は、物理的な制約（たとえば、自動的なゲイン制御を適用している）およびフォーマット変換（音声コーディング／デコーディング）の処理をすることを任意に必要とする。

【0090】

以下のセクションは、処理ブロックの各々の見本となる実施を詳述する。

【0091】

ユーザ・インターフェース２０は、一組のプレセットとして実施されうる。各プレセットは、一組の特徴を有する「ミキシング・タイプ」を表す。これらの特性は、「ミキシング・ルール」の形式においてセマンティックな表現として与えられ、コマンド・インタプリタ３０に関連して、後述する。

【0092】

ミキシング・タイプは、たとえば「ダンス・ミックス」、「アンビエント・ミックス」「ロック・ギター・ミックス」その他でありうる。

【0093】

これらの名前は、高圧縮の方法においてターゲット混合信号ＭＳの記述を与える。それでも、ユーザは、それら（またはそれらのサブセット）を解釈しうる。プレセットの名前を解釈するユーザの能力は、慣例および広く使われている文体の分類に基づく。たとえば、ユーザは、特定の演奏しているスタイルおよび／またはあるアーティストの名前をともなう音と関連させうる。

【0094】

コマンド・インタプリタ３０との関連の範囲内において、一組のミキシング・ルールは、ルックアップテーブルを使用しているプレセットの各々に割り当てられる。ミキシング・ルールは、本願明細書において示されるように、ファジー論理（Ｊ．Ｍ． Ｍｅｎｄｅｌ， “Ｆｕｚｚｙ Ｌｏｇｉｃ Ｓｙｓｔｅｍｓ ｆｏｒ Ｅｎｇｉｎｅｅｒｉｎｇ： Ａ Ｔｕｔｏｒｉａｌ”， Ｐｒｏｃ． ｏｆ ＩＥＥＥ， ｖｏｌ． ８３， ｐｐ． ３４５−３７７， １９９５）において見られるようなＩＦ−ＴＨＥＮ−命令文の形式において論理的含意として表される。ここで、サウンド・オブジェクト記述子＜ＳＯＤ＞は、既述の事項であり、ミキシング動作記述子＜ＭＯＤ＞は、結果として生じる。

【0095】

ＩＦ ＜ＳＯＤ＞ ＴＨＥＮ ＜ＭＯＤ＞

ＩＦ−ＴＨＥＮ−命令文は、特定する。
− サウンド・オブジェクトＳＯは、ミキシング動作記述子（ＭＯＤ）として表現された混合信号ＭＳにおいてどのように現れるか。ＭＯＤは、サウンド・オブジェクト記述子（ＳＯＤ）によって与えられ、サウンド・オブジェクトの特徴に従って選択される。
− 混合信号ＭＳの特徴は、特定のミキシング動作記述子ＭＯＤから独立しており、混合信号ＭＳに対する動作のパラメータを特定する。

【0096】

サウンド・オブジェクト記述子ＳＯＤは、（データ）構造として表されうる。たとえば、
ＳＯ．ＩＤ サウンド・オブジェクト識別子、たとえば、行為者の名前
ＳＯ．ＩＮＳＴＲ サウンド・オブジェクトＳＯの楽器クラス
ＳＯ．ＢＲＩＧＨＴＮＥＳＳ サウンド・オブジェクトＳＯの知覚する輝度
ＳＯ．ＰＥＲＣＵＳＳＩＶＥＮＥＳＳ ＳＯの衝撃の限定作用素
ＳＯ．ＣＨＡＲＡＣＴＥＲＩＳＴＩＣ サウンド・オブジェクトＳＯの他の特徴

【0097】

ミキシング動作記述子ＭＯＤは、レベル（すなわち、ボリューム）、パニング位置、および混合信号ＭＳにおいて知覚されうるサウンド・オブジェクトの他の特徴を記述する。サウンド・オブジェクトに適用されるミキシング動作記述子ＭＯＤは、データ構造の範囲内においてＳＯ．ＭＯＤによって示されうる。ミキシング動作記述子ＭＯＤは、混合信号ＭＳにも適用されうる。これらのミキシング動作記述子ＭＯＤは、ＭＴ．ＭＯＤによって示される。典型的には、これらのミキシング動作記述子ＭＯＤは、全てのオーディオ信号または混合信号、たとえば、残響もしくはダイナミック・レンジ処理ＤＲＰに適用される信号処理を制御する。

【0098】

ミキシング動作記述子ＭＯＤは、知覚的な属性および知覚的な属性に割り当てられる値で構成される。ミキシング動作記述子は、言語変数として実施されうる。

【0099】

知覚的な属性のリストは、以下（他のほかにも）を含みうる。

【0100】

【表2】

【0101】

知覚的な属性は、言語変数でありうる。割り当てられた値は、以下のうちの１つでありうる：｛「非常に低い」「低い」「中間」「高い」「非常に高い」｝。

【0102】

ミキシング動作記述子ＭＯＤによって設定されない知覚的な属性は、デフォルトに設定される。

【0103】

そして、ミキシング・ルールは、このように見えうる：

【0104】

ＩＦ ＜ＳＯ．ＩＮＳＴＲ＝ｖａｌｕｅ＞ ＡＮＤ ＜ＳＯ．Ｃ１＝ｖａｌｕｅ＞ … ＡＮＤ ＜ＳＯ．Ｃｎ＝ｖａｌｕｅ＞
ＴＨＥＮ ＜ＳＯ．ＭＯＤ１＝ｖａｌｕｅ＞ ＡＮＤ ＜ＳＯ．ＭＯＤ２＝ｖａｌｕｅ＞ … ＡＮＤ ＜ＳＯ．ＭＯＤｎ＝ｖａｌｕｅ＞

【0105】

論理積（すなわち「ＡＮＤ」）の使用は満たしており、論理和（すなわち「ＯＲ」）は、分かれたルールとして表されうることに留意すべきである。

【0106】

典型的なルール集合：手元におけるユースケースに対する一組のミキシング・ルールは、たとえば、ダンス・ミックスに対して与えられる。

【0107】

これらのミキシング・ルールは、楽器クラスに対して特定される。

【0108】

１． ＩＦ ＜ＳＯ．ＩＮＳＴＲ＝”ｋｉｃｋ ｄｒｕｍ”＞
ＴＨＥＮ ＜ＳＯ．ＰＬＯＵＤＬＥＶＥＬ＝”ｈｉｇｈ”＞ ＡＮＤ ＜ＳＯ．ＬＡＴＥＲＡＬＤＩＳＰＬＡＣＥＭＥＮＴ＝”ｚｅｒｏ”＞ ＡＮＤ ＜ＳＯ．ＤＩＳＴＡＮＣＥ＝”ｎｅａｒ”＞
２． ＩＦ ＜ＳＯ．ＩＮＳＴＲ＝”ｂａｓｓ”＞
ＴＨＥＮ ＜ＳＯ．ＰＬＯＵＤＬＥＶＥＬ＝”ｈｉｇｈ”＞ ＡＮＤ ＜ＳＯ．ＬＡＴＥＲＡＬＤＩＳＰＬＡＣＥＭＥＮＴ＝”ｚｅｒｏ”＞ ＡＮＤ ＜ＳＯ．ＤＩＳＴＡＮＣＥ＝”ｎｅａｒ”＞
３． ＩＦ ＜ＳＯ．ＩＮＳＴＲ＝”ｐｅｒｃｕｓｓｉｏｎ”＞ ＡＮＤ ＜ＳＯ．ＥＮＴＲＯＰＹ＝”ｈｉｇｈ”＞
ＴＨＥＮ ＜ＳＯ．ＰＬＯＵＤＬＥＶＥＬ＝”ｈｉｇｈ”＞ ＡＮＤ ＜ＳＯ．ＦＸＬＥＶＥＬ＝”ｈｉｇｈ”＞
４． ＩＦ ＜ＳＯ．ＩＮＳＴＲ＝”ｐｅｒｃｕｓｓｉｏｎ”＞ ＡＮＤ ＜ＳＯ．ＥＮＴＲＯＰＹ＝”ｌｏｗ”＞
ＴＨＥＮ ＜ＳＯ．ＰＬＯＵＤＬＥＶＥＬ＝”ｌｏｗ”＞

【0109】

以下のミキシング・ルールは、それぞれの楽器クラスの特徴のために特定される。

【0110】

５． ＩＦ ＜ＳＯ．ＩＮＳＴＲ＝”＊”＞ ＡＮＤ ＜ＳＯ．ＥＮＴＲＯＰＹ＝”ｌｏｗ”＞
ＴＨＥＮ ＜ＳＯ．ＬＡＴＥＲＡＬＤＩＳＰＬＡＣＥＭＥＮＴ＝”ｆａｒ ｌｅｆｔ”＞
６． ＩＦ ＜ＳＯ．ＩＮＳＴＲ＝”＊”＞ ＡＮＤ ＜ＳＯ．ＣＲＥＳＴ＝”ｌｏｗ”＞
ＴＨＥＮ ＜ＳＯ．ＰＬＯＵＤＬＥＶＥＬ＝”ｌｏｗ”＞

【0111】

任意には、ミキシング・ルールは、混合信号ＭＳに対して特定されうる。それは、サウンド・オブジェクトＳＯの特徴との関連がない。サウンド・オブジェクトが、ミキシング・ルールのＩＦ部分において特定されない場合、結果として得られる動作は、すべてのサウンド・オブジェクトＳＯに適用される。

【0112】

７． ＩＦ ＊
ＴＨＥＮ ＜ＭＳ．ＲＥＶＥＲＢＬＥＶＥＬ＝”ｌｏｗ”＞
８． ＩＦ ＊
ＴＨＥＮ ＜ＭＳ．ＦＸ１ＬＥＶＥＬ＝”ｈｉｇｈ”＞

【0113】

さらに、ルールのＩＦ部分において、属性は、絶対値の代わりに相対値とも比較されうる。これは、１つのサウンド・オブジェクトＳＯの属性が、「最大」または「最小」のような動作を使用する全ての他のサウンド・オブジェクトの同じ属性と比較されうることを意味する。

【0114】

９． ＩＦ ＜ＳＯ．ＩＮＳＴＲ＝”＊”＞ ＡＮＤ ＜ＳＯ．ＥＮＴＲＯＰＹ＝”ｍａｘｉｍｕｍ”＞
ＴＨＥＮ ＜ＳＯ．ＦＸ２ＬＥＶＥＬ＝”ｈｉｇｈ”＞

【0115】

たとえば、上記の属性およびルールは例であり、特定のミキシング・プレセットのための完全セットであることを意味されない点に留意すべきである。

【0116】

本願明細書において開示される教示の実施の形態によれば、ルール集合のバリエーションは、実行されうる。特に、ルール集合は、そのルールが任意に選択される（ランダム化される）同時に発生しているルール（同じ既述の事項であるが、異なる結論を有するルール）を含むために実施されうる。これは、バリエーションを結果にもたらして、このことによりユーザ満足感を増加させる。それは、一様なルール集合が、ルール集合を生成する処理において同意されえない状況においても有益である。

【0117】

セマンティック・オーディオ分析４０の見本となる実行に、ここで戻って、セマンティック・オーディオ分析４０は、複数のオーディオ・トラックＳＴについて情報を収集するために適用されることを呼び出し、そして、おそらくマルチトラックは、ミキシング・パラメータが複数のオーディオ・トラックＳＴのうちの１つの各々のオーディオ・トラックに適用されるミキシング・パラメータを決定するために役立ちうる。セマンティック・オーディオ分析は、別々に複数のオーディオ・トラックの各々のオーディオ・トラックＳＴおよび加えて、マルチトラックＭＴの表現を処理する。マルチトラックＭＴの表現は、ユニットゲインとともにダウンミキシングの全てのオーディオ・トラックＳＴから導出される混合信号の形式において、たとえば、得られうる。

【0118】

結果は、（各配列要素が１つのオーディオ・トラックＳＴに対するメタデータを含む）構造の配列として表現され、そして、付加構造がマルチトラックのメタデータを含む。構造要素の変数のタイプは、ストリング（たとえば、楽器名のために）、スカラー値（テンポ、エントロピーのために）、または演奏スタイルの記述のための配列（たとえば、開始時間および停止時間）、またはそれ自身の専用の構造物（たとえば、音楽の部分の形を記述するための方法）でありうる。

【0119】

分析結果は、それぞれの結果の信頼性の程度を表す信頼基準に付随して生じうる。

【0120】

セマンティック・オーディオ分析４０によってもたらされる結果の表現に対する例：

【0121】

ＳＴ（１）．ＩＤ ＝ ”ＴＲ９０９”
ＳＴ（１）．ＩＮＳＴＲＵＭＥＮＴ ＝ ”ｋｉｃｋ ｄｒｕｍ”
ＳＴ（１）．ＩＮＳＴＲＵＭＥＮＴ＿ＣＯＮＦＩＤＥＮＣＥ ＝ ０．９３
ＳＴ（１）．ＥＮＴＲＯＰＹ ＝ ０．１２

ＳＴ（２）．ＩＤ ＝ ”ｌｅａｄ ｇｕｉｔａｒ”
ＳＴ（２）．ＩＮＳＴＲＵＭＥＮＴ ＝ ”ｇｕｉｔａｒ”
ＳＴ（２）．ＩＮＳＴＲＵＭＥＮＴ＿ＣＯＮＦＩＤＥＮＣＥ ＝ ０．６８
ＳＴ（２）．ＳＯＬＯ ＝ ［ ［１２３．４ ２３４．５］ ［５６７．７ ７８９．０］ ］

ＳＴ（３）．ＩＤ ＝ ”ｂａｃｋｇｒｏｕｎｄ ｖｏｃａｌｓ”
ＳＴ（３）．ＩＮＳＴＲＵＭＥＮＴ ＝ ”ｈｕｍａｎ ｓｉｎｇｉｎｇ”
ＳＴ（３）．ＩＮＳＴＲＵＭＥＮＴ＿ＣＯＮＦＩＤＥＮＣＥ ＝ ０．８
ＳＴ（３）．ＢＲＩＧＨＴＮＥＳＳ ＝ ０．１２

ＭＴ．ＴＥＭＰＯ＝”１２６”
ＭＴ．ＧＥＮＲＥ＝”ｅｌｅｃｔｒｏ”
ＭＴ．ＦＯＲＭ＝＜ｆｏｒｍ ｓｔｒｕｃｔｕｒｅ＞

【0122】

セマンティック・オーディオ分析４０は、独自の識別子をオーディオ・トラックＳＴにおよび音楽作品の様々な時間部分に割り当てることによって、提供されたマルチトラック・オーディオ材料を標準化するために役立ちうる。特に、典型的に、マルチトラック・オーディオ材料は、特定の仕様の定義済みフォーマットではない。換言すれば、オーディオミキサーは、特定のオーディオ・トラック（たとえば、「トラック１」）が常に特定の楽器（たとえば、「ギター」）を含むことに依存することはできない。しかしながら、セマンティック・オーディオ分析によりもたらされるメタデータは、構成についての実質的に標準化された情報およびそれらのそれぞれの作業を達成するため、オーディオミキサーの他のモジュールをアシストするマルチトラック信号の内容を提供しうる。セマンティック・オーディオ分析によってされる標準化は、役立つ。なぜなら、それは、マルチトラック・オーディオ信号の直面する状況に関連があるコマンド・インタプリタ３０によって提供されるミキシング・コマンドを認めるからである。このように、コマンド・インタプリタ３０およびセマンティック・オーディオ分析４０は、「同じ考え方をする」。

【0123】

ターゲット記述子割り当てユニットＤＡＵ６０は、複数のオーディオ・トラックＳＴまたはオーディオ・トラックＳＴのセグメントにミキシング動作記述子を割り当てるために、セマンティック・オーディオ分析４０によって提供されるメタデータおよびコマンド・インタプリタ３０からのミキシング・ルールを処理する。これらの記述子は、オーディオ・トラックＳＴのそれぞれのセグメントにおける属音である各サウンド・オブジェクトＳＯが、ターゲット混合信号ＭＳにおいて知覚される方法を述べる。

【0124】

各オーディオ・トラックＳＴにおいて、１つのサウンド・オブジェクトは１回優位であると仮定される。この仮定が与えられて、（各オーディオ・トラックＳＴのために計算される）セマンティック・オーディオ分析４０から導出される属性は、サウンド・オブジェクトＳＯのための属性として処理される。あるいは、オーディオ・トラックＳＴがマルチプル・サウンド・オブジェクトを含む場合、特に、いくつかのサウンド・オブジェクトＳＯが比較的容易に切り離されることを意味する、いくつかのサウンド・オブジェクトＳＯが時間的にオーディオ・トラックＳＴの範囲内おいてお互いに成功する場合、セマンティック・オーディオ分析は、各オーディオ・トラックＳＴに対して１つの属性構造を出力することができる。他の可能性は、第１のサウンド・オブジェクトＳＯ１がステレオ信号の左チャンネルにおいて主に示し、一方、第２のサウンド・オブジェクトＳＯ２が右チャンネルにおいて主に示すことである。さらに、他の可能性は、いくつかのサウンド・オブジェクトが、ローパス、ハイパスおよび／またはバンドパスフィルタによって、周波数領域において切り離されうることである。

【0125】

入力変数がクリスプ値である場合、ファジー論理が適用され、一方、ルール集合は、ファジー属性（たとえば、「低い」または「高い」）を使用して考案される。たとえば、楽器を演奏することにおける変化の程度は、０および１の間の範囲のスカラー値として表されうる。さらにまた、セマンティック・オーディオ分析４０は、推定されたメタデータが計算された信頼の程度を記載している確実性値（たとえば、確率）と共に、メタデータを出力することができる。

【0126】

ファジー理論は、複雑なタスクのモデリングのために許可し、しばしば、専門知識を組み込む。それはファジー集合を利用する。そして、それは直接的なメカニズムを前後に正確な値をファジー記述に変換するために提供する。

【0127】

ファジー論理システムとして実施される場合に処理する概要は、図６におけるブロック図に示される（メンデル；Ｍｅｎｄｅｌ，１９９５）。ファジー理論システムは、ファジー化するモジュール６２２、推定モジュール６２４、ルール集合６２６、および非ファジー化するモジュール６２８を含む。ファジー化するモジュール６２２は、たとえば、セマンティック・オーディオ分析４０からの一組のクリスプ入力を受信する。クリスプ入力を基礎として、ファジー化するモジュール６２２は、推定モジュール６２４に供給されるファジー入力集合をもたらす。推定モジュール６２４は、推定モジュール６２４に等しく供給されるルール集合６２６によってファジー入力集合を評価する。ルール集合６２６は、コマンド・インタプリタ３０によって提供されうる。推定モジュール６２４は、ファジー出力集合をもたらし、そして、非ファジー化するモジュール６２８にそれを供給する。非ファジー化モジュール６２８において、ファジー出力集合は、ミキシング・パラメータまたは中間量としてのクリスプ出力に変換される。

【0128】

さらに、詳細なファジー化に、ここで戻って、単一のオーディオ・トラックＳＴに対するミキシング動作記述子ＭＯＤの割り当ては、コマンド・インタプリタ３０によって決定されるルール集合のＩＦ部分において記述される基準に基づいて行われる。セマンティック・オーディオ分析４０を形成するそれぞれのメタデータが、実数としてまたは信頼値（たとえば、結果として得られる楽器クラス）とともにストリングスとして与えられる場合、実数は、ファジー化することを使用して言語変数に変換される。ファジー集合は、要素がメンバシップの度合いを有する設定である。メンバシップの度合いは、間隔［０、１］（メンバシップの度合いが０か１である古典的集合論とは対照的に）におけるいかなる実数でもありえる。

【0129】

見本となって図７に示されるように、ファジー化することは、ファジー集合のためのメンバシップ関数を使用して実行される。ファジー化することにおいて、各実数値の入力変数のために、対応するファジー集合（Ｉ．Ａ． Ｚａｄｅｈ， “Ｆｕｚｚｙ Ｓｅｔｓ”， Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｎｔｒｏｌ， ｖｏｌ． ８， ｐｐ． ３３８−３５３， １９６５）およびメンバシップの度合いは、決定される。たとえば、０．２５の輝度値が与えられ、対応するファジー集合は、メンバシップ０．５とともに「非常に低い」であり、そしてメンバシップ０．５とともに「低い」である。

【0130】

推定ステップまたはモジュール６２４において、入力変数に対するファジー集合は、ルール集合６２６を使用して出力変数に対するファジー集合をマップする。結果は、知覚属性のための（対応する信頼メンバシップの度合いと共に）一組の言語変数である。

【0131】

次のステップまたはモジュール、非ファジー化する６２８において、推定の結果は、それらに対応するファジー集合を使用して出力変数のためのクリスプ値に変換される。すなわち、知覚的な属性の上記の表にリストされる変数は、クリスプ値を有する対応物を有する。

【0132】

知覚プロセッサ６０に関して、コマンド・インタプリタ３０およびターゲット記述子割り当て装置５０の出力は、各サウンド・オブジェクトＳＯが混合信号ＭＳにおいてどのように現れるべきかを決定する。今までのところ、この仕様は、知覚的な値によって与えられる。

【0133】

知覚プロセッサ６０は、信号特性および人間の聴覚メカニズムを考慮に入れることによって、知覚的な値を物理ミキシング・パラメータに変換する。以下のパラグラフは、いくつかの知覚的な値、すなわち、サウンド・レベル、所与の横方向の角度、残響レベル、および時間遅延、ＤＡＦｘパラメータ、イコライゼーションおよびダイナミック・レンジ処理の処理を例示する。

【0134】

サウンド・オブジェクトＳＯのためのサウンド・レベルは、知覚的な音の大きさモデル、たとえば、グラスベルグ（２００２）（Ｇｌａｓｂｅｒｇ ｉｎ ２００２）により記載されるモデルを使用して計算されうる。

【0135】

あるいは、ムーア（１９９６）（Ｍｏｏｒｅ ｉｎ １９９６）により記載される音の大きさモデルは、音の信号のミクスチャの範囲内における音の信号の音の大きさを計算するために使用されうる（Ｂ．Ｃ．Ｊ． Ｍｏｏｒｅ ａｎｄ Ｂ．Ｒ． Ｇｌａｓｂｅｒｇ， “Ａ Ｒｅｖｉｓｉｏｎ ｏｆ Ｚｗｉｃｋｅｒ’ｓ Ｌｏｕｄｎｅｓｓ Ｍｏｄｅｌ”， Ａｃｕｓｔｉｃａ − Ａｃｔａ Ａｃｕｓｔｉｃａ， ｖｏｌ． ８２， ｐｐ． ３３５−３４５， １９９６）。

【0136】

オーディオ・トラックＳＴ（または混合信号ＭＳ）におけるサウンド・オブジェクトＳＯの知覚的な音の大きさが、ミキシング動作記述子ＭＯＤによって表されるようにセマンティックな記述とマッチするように、各オーディオ・トラックＳＴに対するゲイン係数が計算される。

【0137】

所与の横方向の角度のためのパニング係数：サウンド・オブジェクトＳＯの横方向の位置の知覚は、耳の入口での両耳間強度差（ＩＬＤ）および両耳間時間差（ＩＴＤ）によって決定される（Ｌｏｒｄ Ｒａｙｌｅｉｇｈ， “Ｏｎ ｏｕｒ ｐｅｒｃｅｐｔｉｏｎ ｏｆ Ｓｏｕｎｄ Ｄｉｒｅｃｔｉｏｎ”， Ｐｈｉｌｏｓｏｐｈｉｃａｌ Ｍａｇａｚｉｎｅ， ｖｏｌ． ６， ｐｐ． ２１４−２３２， １９０７）。知覚プロセッサ６０との関連の範囲内において、頭内定位の知覚が想起されるように、時間遅延およびレベル差は、プレイバック・チャンネル毎に決定される。

【0138】

残響レベルおよび時間遅延：残響の知覚される量がユーザによって決定されるセマンティックな記述にマッチするように、人工的な残響処理に対するレベルが決定される。残響レベルは、個々の各サウンド・オブジェクトおよび／または混合信号ＭＳに対して定義される。残響レベルは、特定のサウンド・オブジェクトＳＯに対する距離の知覚を想起するために、個々のサウンド・オブジェクト毎に調整されうる。距離感覚は、加えて、レベル、時間遅延、等化曲線および横方向の位置によって制御される。

【0139】

ＤＡＦｘパラメータ：デジタル・オーディオ・エフェクトのためのパラメータの設定は、特に、ＤＡＦｘプロセッサに依存する。ＤＡＦｘ処理された信号のレベルは、ラウドネスモデル（たとえば、ムーア；Ｍｏｏｒｅ，１９９６）を使用して計算される。

【0140】

等化：処理された信号がサウンド・オブジェクトまたは混合信号ＭＳの「輝度」に関連して知覚的な属性にマッチするように、等化のためのパラメータは、設定される。

【0141】

ダイナミック・レンジ処理：ダイナミック・レンジ処理ＤＲＰのためのパラメータは、ダイナミック・レンジのための知覚的な属性にマッチするように設定される。

【0142】

図８は、ファジープロセッサ３７を含むオーディオミキサーの一部の略ブロック図を示す。ファジープロセッサ３７の入力は、セマンティック・オーディオ分析４０に接続され、この接続を介してトラック分析を受信するように構成される。いずれのクリスプ値であるトラック分析の値は、言語変数である。ファジープロセッサ３７は、セマンティック・コマンド・インタプリタ３５からルールまたはルール集合を受信するための入力も有する。前述したように、ファジープロセッサ３７は、オーディオ・トラック・プロセッサ７５に提供されうるクリスプ・ミキシング・パラメータを結果として得るトラック分析を処理するためのルールを使用する。

【0143】

ルールは、ユーザによって提供されるセマンティック・ミキシング・コマンドに基づき、セマンティック・コマンド・インタプリタ３５によって構築される。

【0144】

知覚モデル６４は、ファジー化および非ファジー化パラメータをファジー論理プロセッサ３７に提供する。ファジー化および非ファジー化パラメータは、数値および対応するセマンティックな記述との間のつながりを構築する。たとえば、ファジー化および非ファジー化パラメータは、リスナーにソフト、ミディアム、またはラウドと思われるオーディオ信号のための音の大きさの範囲を特定することができる。

【0145】

さらにまた、知覚モデル６４は、特定の効果が要求される場合に、ミキシング・パラメータが含まれるように特定されうる。これらのミキシング・パラメータのための対応する値も、知覚モデル６４によって特定されうる。これらの仕様は、ガイドラインとしてセマンティック・コマンド・インタプリタ３５に提供されうる。ファジールールを構築する場合、セマンティック・コマンド・インタプリタ３５は、これらのガイドラインに従いうる。

【0146】

オーディオミキサーは、２つの同時に発生するファジールールがセマンティック・コマンド・インタプリタ３５によって構築され、そして、その一方が、ファジー論理プロセッサ３７によって実施されうる場合に使用される任意のランダム・ファジールール選択器３８を含みうる。ランダム性の中等度は、ミキシング処理がより自然なおよび「人間的」にみえるように、ユーザの満足感を増加しうる。結局、人間のミキシング・エンジニアは、時々、わずかにランダムに作動する。そしてそれは、ミキシング・エンジニアのクライアントによる「芸術」として知覚されうる。

【0147】

図９は、本願明細書において開示される教示にかかるオーディオミキサーの可能な基本的な構成の略ブロック図を示す。データ１０は、複数の単一のオーディオ・トラックＳＴの形式において提供される。オーディオミキサーは、セマンティック・コマンド・インタプリタ３５、オーディオ・トラック・プロセッサ７５およびオーディオ・トラック・コンバイナ（ＡＴ ＣＭＢ）７６を含む。

【0148】

セマンティック・コマンド・インタプリタ３５は、図５のコマンド・インタプリタ３０に全般的に見て対応する。さらにまた、セマンティック・コマンド・インタプリタ３５は、ターゲット記述子割り当てモジュール５０および知覚プロセッサ６０のいくつかの機能性を含みうる。セマンティック・コマンド・インタプリタ３５は、入力として、セマンティック・ミキシング・コマンドを受信し、そして、セマンティック・ミキシング・コマンドから１つのミキシング・パラメータまたは複数のミキシング・パラメータを導出する。複数のミキシング・パラメータは、オーディオ・トラック・プロセッサ７５に、または、より正確には、オーディオ・トラック・プロセッサ７５の個々のオーディオ・トラック・プロセッサＡＴＰ１，ＡＴＰ２，ＡＴＰ３，ＡＴＰ Ｎに提供される。ミキシング・パラメータは、典型的に、複数の個々のオーディオ・トラック・プロセッサＡＴＰ１からＡＴＰ Ｎによって直ちに実施されうるクリスプ値の形式である。

【0149】

複数の個々のオーディオ・トラック・プロセッサＡＴＰ１からＡＴＰ Ｎは、ミキシング・パラメータに従って、対応しているオーディオ・トラックＳＴ１からＳＴ Ｎのうちの１つによって提供されるオーディオ信号を修正する。

【0150】

修正された音声信号は、混合信号ＭＳを得るために、オーディオ・トラック・コンバイナ７６によって結合される。

【0151】

図９に示される構成において、セマンティック・コマンド・インタプリタ３５は、対応する個々のオーディオ・トラック・プロセッサＡＴＰ１からＡＴＰ Ｎに対して適したミキシング・パラメータにセマンティック・ミキシング・コマンドの範囲内における特定のセマンティックな内容を割り当てうる。セマンティック・コマンド・インタプリタ３５のこの能力は、セマンティック・コマンド・インタプリタ３５が、トラックがいずれの楽器に対応するかを知るように同意された標準に従って構成されるという事実に基づく。図１１から図１４において、オーディオミキサーの代替構造が示され、データそのものからマルチトラック録音の組織および／または記録された音楽作品の時間構造に関する情報を引き出すことができるこの説明の対応する部分に記載されている。

【0152】

図１０は、セマンティック・ミキシング・コマンドを例示する。セマンティック・ミキシング・コマンドは、英語の言語の形式における言語表現を含む。もちろん、他の言語も同様に使用しうる。文は、「ギターソロの間、顕著にギターを混合する」と書いてある。この文のセマンティックな分析は、文が３つの部分に分解しうることを示す。第１の部分は、「ギターソロの間」の表現を含み、セマンティック・ミキシング・コマンドに対するターゲット時間セクションを特定している表現として確認されうる。第２の部分は、「ギター」の表現を含み、ターゲット・トラックを特定している表現として確認されうる。第３の部分は、「顕著に（・・・）混合する」の表現を含み、そして、所望のミキシング動作を特定する表現として確認されうる。

【0153】

図１１は、セマンティック・ミキシング・コマンドの拡張された例を例示する。拡張されたミキシング・コマンドは、図１０からのセマンティック・ミキシング・コマンドに基づく。加えて、第２のターゲット・トラックに対する第２のミキシング動作が追加され、すなわち、「[・・・]は、わずかに背景へキーボードを移動する」。論理積は、第１のミキシング動作／第１のターゲット・トラックおよび第２のミキシング動作／第２のターゲット・トラックの間の関係を特定するために使用される。例示されるケースにおいて、第１のミキシング動作および第２のミキシング動作がそれらのそれぞれのターゲット・トラックにおいて両方同時に実行されるように、論理積は、語「ａｎｄ」である。

【0154】

図１２は、他の可能性のある構成にかかるオーディオミキサーの一部の略ブロック図を示す。特に、図１２は、複数のオーディオ信号ＳＴ１からＳＴ Ｎおよび初期値の混合信号ＭＴ（「マルチトラック」）によって提供されるデータが、トラック装置および／または音楽作品の時間構造について有益な情報を得るためにどのように使用されうるかについて示す。特に明記しない限り、複数のオーディオ・トラックの参照は、初期値の混合信号ＭＴの参照を含む。

【0155】

複数のオーディオ・トラックＳＴ１からＭＴは、セマンティック・オーディオ分析４０に提供される。複数のオーディオ・トラックを分析することによって、トラック情報および時間構造情報は、得られ、そして、それは、セマンティックからクリスプへの変換モジュール６５へ提供する。

【0156】

セマンティック・ミキシング・コマンドは、複数の表示を含み、各表示は、ターゲット時間セクション２６、ターゲット・トラック２７およびミキシング動作２８を特定することを含む。

【0157】

セマンティックからクリスプへの変換モジュール６５は、図５のターゲット記述子割り当て装置５０におよそ対応する。セマンティックからクリスプへの変換モジュール６５は、入力としてセマンティック・ミキシング・コマンドから情報も受信する。提供された入力に基づいて、セマンティックからクリスプへの変換モジュール６５は、１以上の知覚的ターゲット記述子ＰＴＤおよび対応するミキシング・パラメータを作成する。知覚的ターゲット記述子ＰＴＤは、影響を受けたオーディオ・トラックの時間セクションのみが、ミキシング・コマンドにより影響を受ける場合には、時間セクション情報と同様に、影響を受けたオーディオ・トラックＳＴ１からＳＴ Ｎのトラック識別子を含む。ミキシング・パラメータが後のステージにおいて分解されるクリスプ値か言語変数でもよいことに留意されたい。

【0158】

セマンティック・オーディオ分析４０が提供された仕様において特定の焦点を有する複数のオーディオ・トラックＳＴ１からＭＴを分析するように、セマンティック・オーディオ分析４０は、入力として、ターゲット時間セクションの仕様２６および／またはターゲット・トラックの仕様２７を任意に受信する。

【0159】

図１３は、本願明細書において開示される教示にかかるオーディオミキサーの他の可能な構成の略ブロック図を示す。この構成は、オーディオ・トラック識別器４３０を特徴とする。

【0160】

図１３に示される構成の基本構成は、実質的に図９のように同じことである；しかしながら、いくつかのパーツは、明確にするため省略されている。

【0161】

オーディオ・トラックＳＴ１からＳＴ Ｎが楽器またはボーカル部分を含むことが、必ずしも直ちに明らかでない場合、オーディオ・トラック識別器４３０は、この情報を決定するために使用される。オーディオ・トラック識別器４３０は、セマンティック・オーディオ分析４０の一部である。

【0162】

セマンティック・ミキシング・コマンドは、図１２と関連するターゲット・オーディオ・トラック識別表示２７を含む。ターゲット・オーディオ・トラック識別表示２７は、オーディオ・トラック・テンプレート・データベース４３２に提供される。オーディオ・トラック・テンプレート・データベース４３２は、ターゲット・オーディオ・トラック識別表示２７に対応する１以上のデータ・レコードを提供し、そして、それ（またはそれら）をオーディオ・トラック識別器４３０に提供する。データ・レコードは、たとえば、測定値、サウンド・サンプルなどの形式における楽器についての情報を含みうる。それから、オーディオ・トラック識別器４３０は、複数のオーディオ・トラックＳＴ１からＳＴ Ｎの内の１つ毎のオーディオ信号を有するデータ・レコードにおいて含まれる情報を比較しうる。この目的を達成するために、オーディオ・トラック識別器は、たとえば、オーディオ・トラック信号のショートセクションをデータ・レコードからのサウンド・サンプル相互相関を実行する。他のオプションは、オーディオ・トラック信号の倍音の位置および大きさを決定し、データ・レコードにおいて対応するデータを結果と比較することとである。さらにもう１つのオプションは、オーディオ・トラック信号のアタック−ディケイ−サスティン−リリースの振る舞いを分析し、比較することによって与えられる。

【0163】

オーディオ・トラック識別器は、オーディオ・トラック・プロセッサ７５が、たとえば、セマンティック・ミキシング・コマンドの範囲内における楽器名による表示にしたがって、各単一のオーディオ・トラックＳＴ１からＳＴ Ｎを処理しうるように、オーディオ・トラック・プロセッサ７５に提供されるトラック識別表示情報を生成する。

【0164】

図１４は、時間セクション識別器４６０が複数のオーディオ・トラックＳＴ１からＭＴから時間セクション情報を抽出するオーディオミキサーの他の可能な構成の略ブロック図を示す。時間セクション識別器４６０は、複数のオーディオ・トラックＳＴ１からＭＴに接続され、オーディオ・トラックＳＴ１からＭＴによって表される音楽作品の時間構造を分析するために構成される。特に、時間セクション識別器４６０は、音楽作品の範囲内において類似であるかまたは実質的に同一のセクションを探しうる。音楽作品が、ポピュラー音楽のジャンルに属する場合、これらの類似であるかまたは実質的に同一のセクションは、おそらく、曲のコーラスである。時間セクション識別器４６０は、時間セクション識別表示の精度を改善することができる音楽作品の拍子または小節をカウントも、しうる。

【0165】

時間セクション情報は、セクションの始めの時間値と終わりの時間値とを明確にするために、セマンティック・ミキシング・コマンドの範囲内において使用されるセマンティック時間セクションの表現を変換するために、それを使用したセマンティック・コマンド・インタプリタ３５に提供される。

【0166】

時間セクション識別器によって実行された音楽作品の時間構造の分析は、従来において様々な研究者によって提案された１以上の方法を使用する。それらの論文「Ａｕｔｏｍａｔｉｃ Ｍｕｓｉｃ Ｓｕｍｍａｒｉｚａｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｍｕｓｉｃ Ｓｔｒｕｃｔｕｒｅ Ａｎａｌｙｓｉｓ”， ＩＣＡＳＳＰ ２００５， Ｘｉ Ｓｈａｏ ｅｔ ａｌ．」において、参照されることによって本願明細書において引用した全体のコンテンツは、音楽構造分析に基づいて音楽の略説に対して新規な方法を示唆する。特に、音符の出だしが、最初に、曲の時間テンポを得るために、オーディオ信号から抽出される。音楽構造分析は、このテンポ情報に基づき実行されうる。音楽コンテンツが、序奏（イントロ）、バース、コーラス、エンディング（アウトロ）等のような異なる領域に構築された後、最終的な音楽の概要は、最終的な概要の所望の長さを得るために選択された前部または後部に含まれるコーラスおよび音楽フレーズを作成されうる。音楽構造分析は、メロディ・ベースの類似性領域（バース）およびコンテンツ・ベース類似性領域（コーラス）と区別する。

【0167】

「“Ｃｈｏｒｕｓ Ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ Ｃｏｍｂｉｎｅｄ Ｕｓｅ ｏｆ ＭＦＣＣ ａｎｄ Ｃｈｒｏｍａ Ｆｅａｔｕｒｅｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｆｉｌｔｅｒｓ”， Ｐｒｏｃ． ｏｆ ｔｈｅ １０ｔｈ Ｉｎｔ． Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｉｇｉｔａｌ Ａｕｄｉｏ Ｅｆｆｅｃｔｓ （ＤＡＦｘ−０７）， Ｂｏｒｄｅａｕｘ， Ｆｒａｎｃｅ， Ｓｅｐｔｅｍｂｅｒ １０−１５， ２００７」において、著者のアンティ・エロネン（Ａｎｔｔｉ Ｅｒｏｎｅｎ）は、ポピュラーロック音楽においてコーラスセクションを検出するための計算機的に効率的な方法を記載する。その方法は、メル周波数ケプストラム係数およびピッチの色度の特徴を使用して計算される２つの別々の距離マトリクスを合計することによって得られる距離マトリクスの表現を利用する。エロネンの論文の全体の内容は、参照することによって、本願明細書に引用される。

【0168】

マーク・レビーら（Ｍａｒｋ Ｌｅｖｙ ｅｔ ａｌ．）は、その全体において参照されることによって、本願明細書に引用される内容の論文「“Ｅｘｔｒａｃｔｉｏｎ ｏｆ Ｈｉｇｈ−Ｌｅｖｅｌ Ｍｕｓｉｃａｌ Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ａｕｄｉｏ Ｄａｔａ ａｎｄ ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｔｈｕｍｂｎａｉｌ Ｇｅｎｅｒａｔｉｏｎ”， ＩＣＡＳＳＰ ２００６」の著者である。この論文において、階層的な音質モデルを有する音楽オーディオのセグメント化のための方法が導かれる。新しい証拠は、音楽のセグメンテーションが音質特徴のクラスタリングとしての改作でありえ、新規なクラスタリングアルゴリズムであることが記載されることを示すように、提示される。

【0169】

「“Ａ Ｃｈｏｒｕｓ Ｓｅｃｔｉｏｎ Ｄｅｔｅｃｔｉｏｎ Ｍｅｔｈｏｄ ｆｏｒ Ｍｕｓｉｃａｌ Ａｕｄｉｏ Ｓｉｇｎａｌｓ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ ａ Ｍｕｓｉｃ Ｌｉｓｔｅｎｉｎｇ Ｓｔａｔｉｏｎ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ａｕｄｉｏ， Ｓｐｅｅｃｈ， ａｎｄ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， Ｖｏｌ． １４， Ｎｏ． ５， Ｓｅｐｔｅｍｂｅｒ ２００６」において、著者のマサタカ・ゴトーは、ポピュラー音楽のコンパクトディスク記録の繰り返されたコーラス（「フック」）セクションのリストを得るための方法を記載する。まず、伴奏の変化に関して強いクロマベクトルと呼ばれる１２次元の特徴ベクトルが入力信号の各フレームから抽出され、そして、これらのベクトルとの類似点が算出される。繰り返されたセクションであると確認されるセクションは、リスト化され、集積される。方法は、変調後の繰り返されたコーラスセクションの検出を可能にする知覚的に動機づけされた音響特性および類似性を導くことによって、変調されたコーラスセクションを検出することさえできる。論文の全体の内容は、参照することによって本願明細書に引用される。

【0170】

そして、周知の自動の音楽構造分析方法の概要は、彼の論文「“Ｓｔｒｕｃｔｕｒａｌ Ａｎａｌｙｓｉｓ ａｎｄ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｍｕｓｉｃ Ｓｉｇｎａｌｓ”， Ｕｎｉｖｅｒｓｉｔａｔ Ｐｏｍｐｅｕ Ｂａｒｃｅｌｏｎａ， ２００７， ＩＳＢＮ ９７８−８４−６９１−１７５６−９」において、Ｂｅｅ Ｓｕａｎｇ Ｏｎｇによって編集され、全体の内容は、参照することによって本願明細書に引用される。

【0171】

図１５は、マルチトラック信号とともに供給されるメタデータ１２を利用するために提供されるメタデータ・インタフェース４８０におけるオーディオミキサーのさらなる可能な構成の略ブロック図を示す。メタデータは、図１２および図１３に関連して述べたように、オーディオ・トラック構成または時間セクション情報についての情報を含みうる。

【0172】

ある場合、メタデータ１２は、オーディオミキサーをマルチトラック信号からオーディオ・トラック情報、時間セクション情報または他の有益な情報を決定しなければならないことからセーブする。この種の決定は、計算機的に強いデータ処理のタスクを含みうる。そして、それに比較的長い時間がかかることができる。さらに、オーディオミキサー自体によって実行される決定の結果は、提供されるメタデータよりも信頼性が高くなくてもよく、そして、マルチトラック・オーディオ信号の発信者によって提供される。

【0173】

メタデータ・インタフェース４８０は、マルチトラック録音のデータ１２からメタデータ１２を抽出するように構成される。出力側において、メタデータ・インタフェース４８０は、セマンティック・コマンド・インタプリタ３５の入力に接続される。図１５において示される構成において、セマンティック・コマンド・インタプリタ３５は、セマンティック・ミキシング・コマンドから複数のミキシング・パラメータを導出するための処理において、メタデータ・インタフェース４８０によって提供されるメタデータ１２を使用するように構成される。

【0174】

図１６は、見本インタフェース４９０および見本となる混合信号分析器４９２が見本となる混合信号に基づきセマンティック・ミキシング・コマンドを生成するために提供される、オーディオミキサーの他の可能な構成の略ブロック図２０を示す。

【0175】

見本インタフェース４９０は、見本となる混合信号を受信するように構成される。見本となる混合信号は、たとえば、メモリに保存されるか、またはネットワークを通じて読み出されうる。ユーザは、彼／彼女の好みに従って、見本となる混合信号のコレクションから見本となる混合信号を選択しうる。なぜなら、彼／彼女は、どのように特定の混合信号が混合されることを好むからである。一般に、いくつかのオーディオ信号は見本となる混合信号として使用されうる、しかし、見本となる混合信号はマルチトラック録音に類似する構造およびスタイルを有する場合、典型的には、よりよい結果が要求される。たとえば、見本となる混合信号の楽器がオーディオミキサーによって混合されたマルチトラック信号の楽器として実質的に同様である場合、それは役立ちうる。

【0176】

見本インタフェース４９０は、混合信号分析器４９２へ見本となる混合信号を転送する。混合信号分析器４９２は、見本となる混合信号における楽器およびボーカルの部分を確認するように構成されうる。さらに、混合信号分析器４９２は、全体として、相対的な音の大きさのレベル、および／または確認された楽器部分、確認されたボーカル部分および／または見本となる混合信号の頻度曲線を決定しうる。残響のような音響効果の量を決定も、しうる。決定された値に基づいて、混合信号分析器４９２は、見本となる混合信号および／またはセマンティック・ミキシング・コマンドの概略を構築しうる。たとえば、混合信号分析器４９２によって実行される分析は、見本となる混合信号のドラム・トラックおよびベース・トラックが比較的目立つことを示す一方、他のトラックよりソフトである。したがって、セマンティック・ミキシング・コマンドは、ドラム・トラックおよびベース・トラックがオーディオミキサーによってもたらされる混合信号ＭＳを通じて目立つ表現配置することを含みうる。

【0177】

見本インタフェース４９０は、見本となる混合信号とともに見本となるオーディオ・トラックも受信するように構成されうる。見本となるオーディオ・トラックは、図１６において、点線の長斜方形でマークされる「見本となるＳＴ」によって表される。見本となるオーディオ・トラックは、見本インタフェース４９０によって混合信号分析器４９２に提供される。見本となるオーディオ・トラックが見本となる混合信号を生成するために用いたという点で、見本となるオーディオ・トラックは見本となる混合信号に対応する。利用できる見本となるオーディオ・トラックについて、混合信号分析器４９２は、特定の見本となる混合信号がどのように見本となる混合信号に混合される前に修正されたかについて知るために、見本となる混合信号を見本となるオーディオ・トラックのそれぞれと比較することができる。このように、トラックに関連するミキシング・パラメータは、セマンティックの形式またはセミセマンティックの形式において、混合信号分析器４９２によって決定されうる。

【0178】

図１７は、知覚プロセッサ６３および知覚モデル６４がセマンティック・ミキシング・コマンドをミキシング・パラメータに変換する処理を使用するオーディオミキサーの他の可能な構成の略ブロック図を示す。知覚プロセッサ６３および知覚モデル６４は、図１７における構成においてセマンティック・コマンド・インタプリタ３５の部分として示される。上述したように、知覚プロセッサ６３は、信号特性および人間の聴覚メカニズムを考慮することによって、知覚的な値から物理ミキシング・パラメータに変換する。人間の聴覚メカニズムを記載しているパラメータは、知覚モデル６４によって提供される。聴覚モデル６４は、データベースまたは知識ベースとして体系付けられる。データベースの入力は、聴覚関連の現象および音響効果、音の大きさ、相対的な音の大きさ、周波数コンテンツ等のパラメータの形式における対応する実装のセマンティックな記述を含む。聴覚関連の現象は、たとえば、「遠い」、「近い」、「平らな」、「フル」、「明るい」、「低周波の方へ偏る」、「高周波の方へ偏る」等のような表現によって記載される。対応する実装は、複数のオーディオ・トラックＳＴの１以上に対するミキシング・パラメータが、所望の効果を達成するためにどのように選択されるかを示す数値を含みうる。セマンティックな記述からミキシング・パラメータの対応する値へのマッピングは、典型的には、専門知識および心理音響に基づく。専門知識および心理音響は、精巧な科学的な試験および研究の間、得られている。

【0179】

図８および図１１ないし図１６において示される構成は、いかなる結合の各々とも結合されうる。たとえば、図１２および図１３に示される構成を結合することによって、オーディオ・トラック識別器４３０および時間セクション識別器４６０を含むオーディオミキサーが提供される。

【0180】

図１８は、混合信号に複数のオーディオ信号を混合する方法の概略フローチャートを示す。１０２において、方法のスタートの後、ブロック１０４で示すように、セマンティック・ミキシング・コマンドが受信される。セマンティック・ミキシング・コマンドは、見本となる混合信号として１以上のパラメータを調整することによって複数のプレセットから選択されるように、キーボードを使用してテキスト形式でユーザによって、音声による指示として口頭で、または他の方法において、入力される。

【0181】

ブロック１０６によって表される働きで、複数のミキシング・パラメータは、セマンティック・ミキシング・コマンドから導出される。ミキシング・パラメータが、ユーザによって所望される結果に繋がるように、この働きは、専門知識および心理音響を含みうる。

【0182】

複数のオーディオ・トラックは、ブロック１０８により表される働きに関連してミキシング・パラメータに従って処理される。複数のオーディオ・トラックの処理は、設定音の大きさのレベル、パニング位置、音響効果、周波数フィルタリング（等化にする）および他の修正を含む。

【0183】

ブロック１１０により表される働きにおいて、ブロック１１２での方法終了の前に、処理から結果として得られるオーディオ・トラックは、混合信号を形成するために結合される。

【0184】

若干の態様が、装置に関連して記載されているが、これらの形態は対応する方法の記載も表すことは明らかである。ここで、１ブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応する。類似して、方法ステップに関連して記載されている形態は、対応するブロックまたは項目または対応する装置の特徴の説明を表す。方法のステップのいくつかまたは全てが、たとえば、マイクロプロセッサ、プログラミング可能なコンピュータ、または電子回路のようなハードウェア装置によって（または使用して）実行されうる。若干の実施の形態において、最も重要なステップの若干またはより多くは、そのような装置によって実行されうる。

【0185】

特定の実現要求に応じて、本発明の実施の形態は、ハードウェアにおいて、または、ソフトウェアにおいて、実行されうる。その実現態様は、それぞれの方法が実行されるように、プログラミング可能なコンピュータシステムと協働するか（または、協働することができる）、そこに格納された電子的に読み込み可能な制御信号を有するデジタル記憶媒体、たとえば、フロッピー（登録商標）ディスク、ＤＶＤ、ブルーレイディスク、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはＦＬＡＳＨメモリを使用して実行されうる。従って、デジタル記憶媒体は、コンピュータ読み込み可能でもよい。

【0186】

本発明による若干の実施の形態は、本願明細書において記載される方法のうちの１つが実行されるように、プログラミング可能なコンピュータシステムと協働することができる電子的に読み込み可能な信号を有するデータキャリアを含む。

【0187】

通常、本発明の実施の形態は、プログラム・コードを有するコンピュータ・プログラム製品として実施され、コンピュータ・プログラム製品がコンピュータ上で実行する場合、プログラム・コードは、方法のうちの１つを実行するために作動される。プログラム・コードは、機械可読キャリアに、たとえば、格納されうる。

【0188】

他の実施の形態は、機械可読キャリアに格納され、本願明細書において記載される方法のうちの１つを実行するためのコンピュータ・プログラムを含む。

【0189】

換言すれば、したがって、コンピュータ・プログラムがコンピュータ上で実行する場合、本発明の方法の実施の形態は、本願明細書において記載される方法のうちの１つを実行するためのプログラム・コードを有するコンピュータ・プログラムである。

【0190】

したがって、本発明の方法の更なる実施の形態は、その上に記録され、本願明細書において記載される方法のうちの１つを実行するためのコンピュータ・プログラムを含むデータキャリア（または、デジタル記憶媒体、またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体または記録された媒体は、一般的には、有形でありおよび／または、暫定的である。

【0191】

したがって、本発明の方法の更なる実施の形態は、本願明細書において記載される方法のうちの１つを実行するためのコンピュータ・プログラムを表しているデータストリームまたは一連の信号である。たとえば、データストリームまたは一連の信号は、データ通信接続、たとえば、インターネットを介して転送されるように構成されうる。

【0192】

更なる実施の形態は、本願明細書において記載される方法のうちの１つを実行するために構成され、または適応される処理手段、たとえば、コンピュータ、またはプログラミング可能な論理回路を含む。

【0193】

更なる実施の形態は、その上にインストールされ、本願明細書において記載される方法のうちの１つを実行するためのコンピュータ・プログラムを有するコンピュータを含む。

【0194】

本発明による更なる実施の形態は、レシーバに本願明細書に記載される方法のうちの１つを実行するためのコンピュータ・プログラムを（たとえば、電子的にまたは光学的に）転送するために構成される装置またはシステムを含む。レシーバは、たとえば、コンピュータ、モバイル機器、メモリ素子等でもよい。装置またはシステムは、例えば、レシーバにコンピュータ・プログラムを転送するためのファイルサーバを含む。

【0195】

いくつかの実施の形態において、プログラミング可能な論理回路（たとえば、現場でプログラム可能なゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ））が、本願明細書において記載されるいくつかまたは全ての機能を実行するために使用されうる。いくつかの実施の形態において、現場でプログラム可能なゲートアレイは、本願明細書において記載される方法の１つを実行するために、マイクロプロセッサと協働しうる。一般に、方法は、いくつかのハードウェア装置によって、好ましくは実行される。

【0196】

上述した実施の形態は、本発明の原理の例を表すだけである。本願明細書において記載される装置の修正および変更は、他の当業者にとって明らかであるものと理解される。したがって、間近に迫った特許請求の範囲だけによってのみ制限され、ならびに、本願発明の記述および説明によって表された明細書の詳細な記載によっては、制限されない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】