特開 2024-6206 音信号処理方法及び音信号処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024006206

(43)【公開日】2024-01-17

(54)【発明の名称】音信号処理方法及び音信号処理装置

(51)【国際特許分類】

   H04R 3/00 20060101AFI20240110BHJP

【ＦＩ】

H04R3/00

【審査請求】未請求

【請求項の数】24

【出願形態】ＯＬ

(21)【出願番号】P 2022106886

(22)【出願日】2022-07-01

(71)【出願人】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】弁理士法人 楓国際特許事務所

(72)【発明者】

【氏名】相馬 圭一郎

(72)【発明者】

【氏名】今井 新

(72)【発明者】

【氏名】野中 剛

(72)【発明者】

【氏名】岡林 昌明

(72)【発明者】

【氏名】高橋 祐

(72)【発明者】

【氏名】寺田 光太郎

(72)【発明者】

【氏名】石塚 健治

【テーマコード（参考）】

5D220

【Ｆターム（参考）】

5D220EE05

5D220EE21

5D220EE41

(57)【要約】

【課題】 ミキサエンジニアが手動でパラメータ調整を行う場合と同様のパラメータを、低計算負荷で自動的に求めることが出来る音信号処理方法、又は、ミキサエンジニアが、手動でチャンネル間の音量バランスを取る場合と同様のパラメータを自動的に求めることが出来る音信号処理方法を提供することを目的とする。
【解決手段】 一実施形態に係る音信号処理方法は、ミキシング装置に備わる複数のチャンネルの中から少なくとも１つの第１チャンネルを選択する操作を受け付けて、選択された第１チャンネルの音信号を入力し、入力された音信号に基づく時系列の音量データ、又は、複数のチャンネルのうち第１チャンネルとは異なる第２チャンネルに関するデータに基づいて、ミキシング装置に設定するためのセッティングデータを特定し、特定した前記セッティングデータを出力する。
【選択図】 図５

【特許請求の範囲】

【請求項1】

ミキシング装置に備わる複数のチャンネルの中から少なくとも１つの第１チャンネルを選択する操作を受け付けて、
選択された前記第１チャンネルの音信号を入力し、
入力された前記音信号に基づく時系列の音量データ、又は、前記複数のチャンネルのうち前記第１チャンネルとは異なる第２チャンネルに関するデータに基づいて、前記ミキシング装置に設定するためのセッティングデータを特定し、
特定した前記セッティングデータを出力する、
音信号処理方法。

【請求項2】

前記音信号のサンプリング周波数を低下する、又は、前記音信号の量子化ビット数を減少することで、前記時系列の音量データを取得する、
請求項１に記載の音信号処理方法。

【請求項3】

前記ミキシング装置は、前記時系列の音量データに基づいて前記入力された前記音信号のレベルを表示する表示器を備える、
請求項１又は請求項２に記載の音信号処理方法。

【請求項4】

前記複数のチャンネルのそれぞれの音信号に対して行う信号処理のパラメータをシーンデータとしてメモリに記憶し、
前記メモリに記憶されているシーンデータを読み出すシーンリコールを受け付けて、
前記シーンリコールを受け付けた場合に、読み出した前記シーンデータに基づいて前記セッティングデータを特定する、
請求項１又は請求項２に記載の音信号処理方法。

【請求項5】

前記第１チャンネルの音信号の音源の種別を識別し、
前記識別した音源の種別に応じて前記セッティングデータを特定する、
請求項１又は請求項２に記載の音信号処理方法。

【請求項6】

前記ミキシング装置は、ユーザの操作を受け付ける複数の操作子を備えており、
複数のチャンネルは、第１チャンネル群及び第２チャンネル群を含み、
前記複数の操作子に、前記第１チャンネル群を割り当て、
前記第２チャンネルは、前記複数の操作子に割り当てられていない前記第２チャンネル群のチャンネルを含んでいる、
請求項１又は請求項２に記載の音信号処理方法。

【請求項7】

前記ミキシング装置は、
前記複数のチャンネルに入力する音信号のゲイン調整を行うヘッドアンプと、
前記複数のチャンネルに入力した音信号のレベル調整量を受け付けるフェーダと、
を備えており、
前記セッティングデータは、前記ヘッドアンプのゲイン又はフェーダで受け付けるレベル調整量を含んでおり、
前記ヘッドアンプのゲインは、前記時系列の音量データに基づいて特定され、
前記レベル調整量は、前記第２チャンネルに関するデータに基づいて特定される、
請求項１又は請求項２に記載の音信号処理方法。

【請求項8】

ユーザから前記セッティングデータの調整を受け付けた場合、前記セッティングデータの出力を停止し、且つ、前記ユーザから受け付けた前記セッティングデータを前記ミキシング装置に設定する、
請求項１又は請求項２に記載の音信号処理方法。

【請求項9】

前記ユーザから前記セッティングデータの調整を受け付けていないと判定した場合、前記セッティングデータの出力を再開する、
請求項８に記載の音信号処理方法。

【請求項10】

出力した前記セッティングデータに基づいて、前記セッティングデータの内容を表示器に表示する、
請求項１又は請求項２に記載の音信号処理方法。

【請求項11】

前記セッティングデータの内容を表示した後、前記セッティングデータを設定するか否かの操作を受け付けて、
前記セッティングデータを設定する操作を受け付けた場合、前記セッティングデータを前記ミキシング装置に設定する、
請求項１０に記載の音信号処理方法。

【請求項12】

前記時系列の音量データと前記セッティングデータとの関係を学習済の第１学習済モデルを用いて、又は、前記第２チャンネルに関するデータと前記セッティングデータとの関係を学習済の第２学習済モデルを用いて前記セッティングデータを特定する、
請求項１又は請求項２に記載の音信号処理方法。

【請求項13】

複数のチャンネルの中から少なくとも１つの第１チャンネルを選択する操作を受け付け、
選択された前記第１チャンネルの音信号を入力し、
入力された前記音信号に基づく時系列の音量データ、又は、前記複数のチャンネルのうち前記第１チャンネルとは異なる第２チャンネルに関するデータに基づいて、自装置に設定するためのセッティングデータを特定し、
特定した前記セッティングデータを出力する、
処理を行うプロセッサを備えている、
音信号処理装置。

【請求項14】

前記プロセッサは、前記音信号のサンプリング周波数を低下する、又は、前記音信号の量子化ビット数を減少することで、前記時系列の音量データを取得する、
請求項１３に記載の音信号処理装置。

【請求項15】

前記時系列の音量データに基づいて前記入力された前記音信号のレベルを表示する表示器を更に備えている、
請求項１３又は請求項１４に記載の音信号処理装置。

【請求項16】

前記複数のチャンネルのそれぞれの音信号に対して行う信号処理のパラメータをシーンデータとして記憶するメモリを更に備えており、
前記プロセッサは、
前記メモリに記憶されているシーンデータを読み出すシーンリコールを受け付けて、
前記シーンリコールを受け付けた場合に、読み出した前記シーンデータに基づいて前記セッティングデータを特定する、
請求項１３又は請求項１４に記載の音信号処理装置。

【請求項17】

前記プロセッサは、
前記第１チャンネルの音信号の音源の種別を識別し、
前記識別した音源の種別に応じて前記セッティングデータを特定する、
請求項１３又は請求項１４に記載の音信号処理装置。

【請求項18】

ユーザの操作を受け付ける複数の操作子を更に備えており、
複数のチャンネルは、第１チャンネル群及び第２チャンネル群を含み、
前記プロセッサは、前記複数の操作子に、前記第１チャンネル群を割り当て、
前記第２チャンネルは、前記複数の操作子に割り当てられていない前記第２チャンネル群のチャンネルを含んでいる、
請求項１３又は請求項１４に記載の音信号処理装置。

【請求項19】

前記複数のチャンネルに入力する音信号のゲイン調整を行うヘッドアンプと、前記複数のチャンネルに入力した音信号のレベル調整量を受け付けるフェーダと、を更に備えており、
前記セッティングデータは、前記ヘッドアンプのゲイン又はフェーダで受け付けるレベル調整量を含んでおり、
前記プロセッサは、
前記ヘッドアンプのゲインを前記時系列の音量データに基づいて特定し、
前記レベル調整量を前記第２チャンネルに関するデータに基づいて特定する、
請求項１３又は請求項１４に記載の音信号処理装置。

【請求項20】

前記プロセッサは、ユーザから前記セッティングデータの調整を受け付けた場合、前記セッティングデータの出力を停止し、且つ、前記ユーザから受け付けた前記セッティングデータに基づいて設定を行う、
請求項１３又は請求項１４に記載の音信号処理装置。

【請求項21】

前記プロセッサは、前記ユーザから前記セッティングデータの調整を受け付けていないと判定した場合、前記セッティングデータの出力を再開する、
請求項２０に記載の音信号処理装置。

【請求項22】

表示器を更に備えており、
前記表示器は、出力した前記セッティングデータに基づいて前記セッティングデータの内容を表示する、
請求項１３又は請求項１４に記載の音信号処理装置。

【請求項23】

前記プロセッサは、
前記セッティングデータの内容を前記表示器に表示した後、前記セッティングデータを設定するか否かの操作を受け付けて、
前記セッティングデータを設定する操作を受け付けた場合、前記セッティングデータを設定する、
請求項２２に記載の音信号処理装置。

【請求項24】

前記プロセッサは、前記時系列の音量データと前記セッティングデータとの関係を学習済の第１学習済モデルを用いて、又は、前記第２チャンネルに関するデータと前記セッティングデータとの関係を学習済の第２学習済モデルを用いて前記セッティングデータを特定する、
請求項１３又は請求項１４に記載の音信号処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

この発明に係る一実施形態は、音信号処理方法及び音信号処理装置に関する。

【背景技術】

【0002】

特許文献１には、楽器から発せられる音を解析することによって当該楽器の種別を推測することと、推測した楽器を示すアイコンをタブレットの表示器に表示することと、が記載されている。

【0003】

特許文献２には、タブレット及びマイクが記載されている。タブレットは、マイクで入力したオーディオ信号を分析することによって楽器の種別を識別する。

【0004】

特許文献３には、イコライザ設定装置が記載されている。イコライザ設定装置は、イコライザにおける周波数特性の設定状態をグラフ表示する。イコライザ設定装置は、信号処理チャンネルに設定されているカテゴリに応じた音域を示す要素を表示する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１７－０７３６３１号公報

【特許文献2】特開２０２１－１２５７６０号公報

【特許文献3】特開２０１６－２０１７２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ミキシング装置の操作者が手動でパラメータ調整を行う場合と同様のパラメータを、低計算負荷で自動的に求めることが出来る音信号処理方法、又は、ミキサエンジニアが、手動でチャンネル間の音量バランスを取る場合と同様のパラメータを自動的に求めることが出来る音信号処理方法が望まれている。

【0007】

本発明の一実施形態は、ミキシング装置の操作者が手動でパラメータ調整を行う場合と同様のパラメータを、低い計算負荷で自動的に求めることが出来る音信号処理方法、又は、ミキシング装置の操作者が、手動でチャンネル間の音量バランスを取る場合と同様のパラメータを自動的に求めることが出来る音信号処理方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の一実施形態に係る音信号処理方法は、
ミキシング装置に備わる複数のチャンネルの中から少なくとも１つの第１チャンネルを選択する操作を受け付けて、
選択された前記第１チャンネルの音信号を入力し、
入力された前記音信号に基づく時系列の音量データ、又は、前記複数のチャンネルのうち前記第１チャンネルとは異なる第２チャンネルに関するデータに基づいて、前記ミキシング装置に設定するためのセッティングデータを特定し、
特定した前記セッティングデータを出力する。

【発明の効果】

【0009】

この発明の一実施形態に係る音信号処理方法によれば、ミキシング装置の操作者が、手動でパラメータ調整を行う場合と同様のパラメータを、低い計算負荷で自動的に求めることが出来る、又は、ミキシング装置の操作者が、手動でチャンネル間の音量バランスを取る場合と同様のパラメータを自動的に求めることが出来る。

【図面の簡単な説明】

【0010】

【図1】図１は、ミキシング装置１ａの構成を示すブロック図である。

【図2】図２は、ミキシング装置１ａの外観を示す図である。

【図3】図３は、ミキシング装置１ａで実行される信号処理のブロック図である。

【図4】図４は、入力パッチ２１ａ、入力チャンネル２２ａ、ミキシングバス２３ａ、出力チャンネル２４ａ及び出力パッチ２５ａの処理構成を示すブロック図である。

【図5】図５は、ミキシング装置１ａの処理の一例を示すフローチャートである。

【図6】図６は、第１実施形態の変形例１に係るミキシング装置１ｂの外観を示す図である。

【図7】図７は、第１実施形態の変形例２に係るミキシング装置１ｃの外観を示す図である。

【図8】図８は、第１実施形態の変形例３に係るミキシング装置１ｄの処理の一例を示すフローチャートである。

【図9】図９は、第２実施形態の変形例１に係るミキシング装置１ｆのスクリーン１６ａに表示された画像を示す図である。

【発明を実施するための形態】

【0011】

［第１実施形態］
以下、第１実施形態に係る音信号処理方法を実行するミキシング装置１ａについて図を参照して説明する。図１は、ミキシング装置１ａの構成を示すブロック図である。図２は、ミキシング装置１ａの外観を示す図である。

【0012】

ミキシング装置１ａは、音信号処理装置の一例である。ミキシング装置１ａは、音信号のレベル調整、又は、音信号のミックス等の信号処理を実行する。ミキシング装置１ａは、図１に示すように、オーディオインタフェース１１、ネットワークインタフェース１２、フラッシュメモリ１３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５、表示器１６、ユーザインタフェース１７、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１８及びバス１９を備えている。オーディオインタフェース１１、ネットワークインタフェース１２、フラッシュメモリ１３、ＲＡＭ１４、ＣＰＵ１５、表示器１６、ユーザインタフェース１７及びＤＳＰ１８は、互いにバス１９を介して接続されている。

【0013】

オーディオインタフェース１１は、例えば、オーディオケーブルを介してマイク又は電子楽器等のオーディオ機器から音信号を受信する。オーディオインタフェース１１は、例えば、オーディオケーブルを介して信号処理を施した音信号をスピーカ等のオーディオ機器に送信する。

【0014】

ネットワークインタフェース１２は、通信回線を介してミキシング装置１ａとは異なる他装置（例えば、ＰＣ等）と通信を行う。当該通信回線は、例えば、インターネット、又は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）である。ネットワークインタフェース１２と、ＰＣ等の他装置とは、無線又は有線によって通信を行う。なお、ネットワークインタフェース１２は、Ｄａｎｔｅ（登録商標）等の規格に準じて音信号をネットワーク経由で送受信してもよい。

【0015】

フラッシュメモリ１３は、種々のプログラムを記憶する。種々のプログラムとは、例えば、ミキシング装置１ａを動作させるプログラム、又は、本発明の音信号処理方法に係る音処理を実行するためのプログラムである。なお、フラッシュメモリ１３が、必ずしも、種々のプログラムを記憶しなくてよい。種々のプログラムは、例えば、サーバ等の他装置に記憶されていてもよい。この場合、ミキシング装置１ａは、サーバ等の他装置から種々のプログラムを受信する。

【0016】

ＲＡＭ１４は、フラッシュメモリ１３に記憶されたプログラムを読み出し、一時的に記憶する。

【0017】

ＣＰＵ１５（プロセッサの一例）は、フラッシュメモリ１３に記憶されたプログラムをＲＡＭ１４に読み出すことによって種々の処理を実行する。種々の処理とは、例えば、アナログの音信号をデジタルの音信号に変換する処理、本発明の音信号処理方法に係る音処理等である。ＣＰＵ１５は、予め設定されているサンプリング周波数及び量子化ビット数に基づいてアナログの音信号をデジタルの音信号に変換する。サンプリング周波数は、例えば、４８ｋＨｚであり、量子化ビット数は、例えば、２４ｂｉｔである。

【0018】

ＤＳＰ１８は、オーディオインタフェース１１又はネットワークインタフェース１２を介して受信する音信号に対して信号処理を施す。信号処理とは、ミキシング又はエフェクト等の音響処理である。ＤＳＰ１８は、ＲＡＭ１４に記憶されているカレントデータに基づいて信号処理を行う。カレントデータは、ＤＳＰ１８により実行される音信号処理（ゲイン調整、エフェクト処理及びミキシング処理等）の現在の各種パラメータ値である。各種パラメータ値は、ユーザインタフェース１７を介してユーザの操作により変更される。ＣＰＵ１５は、ユーザインタフェース１７を介してユーザの操作を受け付けたとき、カレントデータを更新する。信号処理後の音信号は、バス１９を介してオーディオインタフェース１１へ送信される。なお、ＤＳＰ１８は、複数のＤＳＰにより構成されていてもよい。

【0019】

表示器１６は、ＣＰＵ１５の制御に基づいて種々の情報を表示する。例えば、表示器１６は、音信号のレベルを表示する。表示器１６は、スクリーン１６ａ及びメーター１６ｂを含んでいる。メーター１６ｂは、チャンネルストリップ毎に複数設けられている。図２に示す例では、メーター１６ｂは、８個の入力チャンネルストリップに対応する８個のメーター１６ｂ１～１６ｂ８及び２個の出力チャンネルストリップに対応する２個のメーター１６ｂ９，１６ｂ１０を含んでいる。なお、チャンネルストリップの数及びメーター１６ｂの数は、１０個に限定されない。

【0020】

スクリーン１６ａは、例えば、液晶ディスプレイ等である。スクリーン１６ａは、ＣＰＵ１５の制御に基づいて画像を表示する。

【0021】

メーター１６ｂは、音信号のレベルを表示するための複数のＬＥＤからなる。ＣＰＵ１５は、音信号のレベルに基づいてメーター１６ｂの複数のＬＥＤを点灯又は消灯させる。例えば、図２に示す例において、メーター１６ｂ１～１６ｂ１０のそれぞれは、紙面上下方向に並ぶ１２個のＬＥＤによって構成されている。１２個のＬＥＤそれぞれには、対応するレベル値が割り当てられている。例えば、図２において、ＣＰＵ１５は、音信号のレベルが無音、つまり、－∞ｄＢであれば、１２個全てのＬＥＤを消灯させる。ＣＰＵ１５は、音信号のレベルが最大、つまり、０ｄＢであれば、１２個全てのＬＥＤを点灯させる。また、例えば、ＣＰＵ１５は、音信号のレベルが－１２ｄＢであれば、下から４個のＬＥＤを点灯させる。これにより、ユーザは、各入力チャンネルに入力される音信号のレベルを視覚的に知ることが出来る。なお、メーター１６ｂは、ＬＥＤに限らず、スクリーン１６ａに表示する画像であってもよい。

【0022】

ユーザインタフェース１７は、ミキシング装置１ａの使用者（以下、ユーザと称す）からミキシング装置１ａに対する操作を受け付ける複数の操作子の一例である。ユーザインタフェース１７は、例えば、図２に示すように、ノブ１７ａ、フェーダ１７ｂ、増減ボタン１７ｃ、ストアボタン１７ｄ、リコールボタン１７ｅ及びタッチパネル１７ｆ等を含んでいる。ノブ１７ａ及びフェーダ１７ｂは、チャンネルストリップ毎に設けられている。

【0023】

タッチパネル１７ｆは、スクリーン１６ａに積層される。タッチパネル１７ｆは、ユーザによるタッチパネル１７ｆへのタッチ操作等を受け付ける。

【0024】

ノブ１７ａは、複数のチャンネルに入力する音信号のゲインの調整を受け付ける。図２に示す例では、ノブ１７ａは、８個の入力チャンネルストリップに対応する８個のノブ１７ａ１～１７ａ８及び２個の出力チャンネルストリップに対応する２個のノブ１７ａ９，１７ａ１０を含んでいる。なお、ノブ１７ａの数は、１０個に限定されない。

【0025】

フェーダ１７ｂは、複数のチャンネルに入力した音信号のレベル調整量を受け付ける。ユーザは、フェーダ１７ｂをスライドさせることによって、各入力チャンネルから出力チャンネルへの音信号の送り量の調整を行う。図２に示す例では、フェーダ１７ｂは、８個の入力チャンネルストリップに対応する８個のフェーダ１７ｂ１～１７ｂ８及び２個の出力チャンネルストリップに対応する２個のフェーダ１７ｂ９，１７ｂ１０を含んでいる。なお、フェーダ１７ｂの数は、１０個に限定されない。

【0026】

ストアボタン１７ｄは、シーンメモリのデータ（シーンデータ）の記憶（ストア）を指示するボタンである。ユーザは、ストアボタン１７ｄを操作（押下）することによってカレントデータを１つのシーンデータとしてフラッシュメモリ１３に記憶させることが出来る。

【0027】

増減ボタン１７ｃは、複数のシーンメモリの中から保存及び呼び出しの対象とするシーンメモリを選択する操作を受け付けるボタンである。

【0028】

リコールボタン１７ｅは、フラッシュメモリ１３に記憶されているシーンデータをカレントデータとしてＲＡＭ１４に呼び出す指示（シーンリコール）を受け付けるボタンである。ユーザは、リコールボタン１７ｅを操作（押下）することで、必要なシーンメモリのデータを呼び出すことにより、各種パラメータの設定値を呼び出すことが出来る。

【0029】

なお、増減ボタン１７ｃ、ストアボタン１７ｄ及びリコールボタン１７ｅの機能は、タッチパネル１７ｆを用いたＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）によって構成されていてもよい。

【0030】

以下、ミキシング装置１ａで実行される信号処理について図を参照しながら説明する。図３は、ミキシング装置１ａで実行される信号処理のブロック図である。図４は、入力パッチ２１ａ、入力チャンネル２２ａ、ミキシングバス２３ａ、出力チャンネル２４ａ及び出力パッチ２５ａの処理構成を示すブロック図である。なお、図４では、入力チャンネル１における信号処理のみ記載し、入力チャンネル２－３２における信号処理についての記載は、省略している。

【0031】

図３に示すように、ミキシング装置１ａにおいて信号処理は、機能的に入力パッチ２１ａ、入力チャンネル２２ａ、ミキシングバス２３ａ、出力チャンネル２４ａ及び出力パッチ２５ａによって行われる。

【0032】

入力パッチ２１ａは、オーディオインタフェース１１における複数の入力ポート（例えば、アナログポート又はデジタルポート）から音信号を受け付ける。入力パッチ２１ａは、複数の入力ポートの内の１つのポートを、入力チャンネル２２ａに含まれている複数の入力チャンネル（例えば、入力チャンネル１－３２の計３２チャンネル）の内の少なくとも１つの入力チャンネルに割り当てる。これにより、入力パッチ２１ａは、音信号を入力チャンネル２２ａの各入力チャンネルに送信する。

【0033】

各入力チャンネルには、対応する操作子が任意に割り当てられる。ミキシング装置１ａは、例えば、８個のノブ１７ａ及び８個のフェーダ１７ｂを備えている場合、８個のノブ１７ａ及び８個のフェーダ１７ｂそれぞれに入力チャンネル１－８を割り当て出来る。例えば、入力チャンネル１には、図２における、ノブ１７ａ１及びフェーダ１７ｂ１が割り当てられる。この場合、ユーザは、ノブ１７ａ１を操作することによって、入力チャンネル１に入力される音信号のゲインを調整することが出来る。同様にして、ユーザは、フェーダ１７ｂ１を操作することによって、入力チャンネル１から出力される音信号の送り量の調整を行うことが出来る。

【0034】

以下、入力チャンネル１における信号処理を例に説明する。入力チャンネル１は、図４に示すように、ヘッドアンプ（ＨＡ）２２０、信号処理ブロック２２１、フェーダ部（ＦＡＤＥＲ）２２２、パン部（ＰＡＮ）２２３及び送り部（ＳＥＮＤ）２２４を機能的に含んでいる。

【0035】

ヘッドアンプ２２０は、入力チャンネル１に入力する音信号のゲイン調整を行う。ヘッドアンプ２２０は、ゲイン調整後の音信号を信号処理ブロック２２１に送信する。

【0036】

信号処理ブロック２２１は、ヘッドアンプ２２０でゲイン調整された音信号に対してイコライザ又はコンプレッサ等の信号処理を行う。

【0037】

フェーダ部２２２は、操作子であるフェーダ１７ｂで設定された送り量に基づいて、信号処理ブロック２２１で信号処理が行われた音信号のレベル調整を行う。

【0038】

ミキシングバス２３ａは、ステレオバス２３１及びＭＩＸバス２３２を含んでいる。ステレオバス２３１は、マスタ出力となる２チャンネルのバスである。パン部２２３は、ステレオバス２３１の２チャンネルそれぞれに供給する音信号のバランスを調整する。図４に示すように、パン部２２３は、バランス調整後の音信号をステレオバス２３１へ出力する。ステレオバス２３１は、出力チャンネル２４ａに接続されている。ステレオバス２３１は、パン部２２３から受信した音信号を、出力チャンネル２４ａへ送信する。

【0039】

ＭＩＸバス２３２は、複数のチャンネル（例えば、図３又は図４に示すように４８チャンネル）を含んでいる。送り部２２４は、ユーザの操作に基づいてＭＩＸバス２３２の各チャンネルに音信号を供給するか否かを切り替える。また、送り部２２４は、ＭＩＸバス２３２の各チャンネルに供給する音信号のレベルをユーザの設定した送り量に基づいて調整する。図４に示すように、送り部２２４は、レベル調整後の音信号をＭＩＸバス２３２へ出力する。ＭＩＸバス２３２は、出力チャンネル２４ａに接続されている。ＭＩＸバス２３２は、送り部２２４から入力した音信号を、出力チャンネル２４ａへ送信する。

【0040】

出力チャンネル２４ａは、複数のチャンネルを有する。出力チャンネル２４ａの各チャンネルは、ミキシングバス２３ａから受信した音信号に対して種々の信号処理を行う。出力チャンネル２４ａの各チャンネルは、信号処理後の音信号を出力パッチ２５ａへ送信する。

【0041】

出力パッチ２５ａは、複数の出力ポート（アナログ出力ポート又はデジタル出力ポート）の内の１つのポートを、出力チャンネル２４ａに含まれている複数チャンネルの内の少なくとも１つのチャンネルに割り当てる。これにより、信号処理後の音信号が、オーディオインタフェース１１に送信される。

【0042】

以上に示す入力パッチ２１ａ、入力チャンネル２２ａ、ミキシングバス２３ａ、出力チャンネル２４ａ及び出力パッチ２５ａによって行われる処理は、各種パラメータの値に基づいて行われる。

【0043】

上記の処理において、ＣＰＵ１５は、ヘッドアンプ２２０においてゲイン調整された音信号のレベル（ｄＢ）に基づいて入力チャンネル１に対応しているメーター１６ｂ１を点灯させる。ＣＰＵ１５は、予め設定された所定時間（例えば、１／６０秒等）における複数サンプルの音信号に基づいて、メーター１６ｂ１を制御するためのメーターデータを生成する。メーターデータは、時系列の音量データの一例である。ＣＰＵ１５は、メーターデータに基づいてメーター１６ｂ１を制御して音信号のレベルを表示する。

【0044】

一例として、音信号のサンプリング周波数は、４８ｋＨである一方で、メーターデータのサンプリング周波数は、音信号のサンプリング周波数よりも低い６０Ｈｚである。例えば、ＣＰＵ１５は、１／６０秒に対応する８００サンプルの音信号を取得する。ＣＰＵ１５は、例えば、８００サンプルの音信号を平均化することでサンプリング周波数を低下して、１サンプルのメーターデータを生成する。

【0045】

一例として、音信号の量子化ビット数は、２４ｂｉｔである一方で、メーターデータの量子化ビット数は、１２個のＬＥＤを点灯又は消灯させるために必要な４ｂｉｔであり、音信号の量子化ビット数よりも小さい。ＣＰＵ１５は、例えば、２４ｂｉｔ（約１６７７万階調）で量子化されている音信号の量子化ビット数を減少し、４ｂｉｔの１２階調のメーターデータに丸め込む。

【0046】

以下、音信号処理（以下、処理Ｐと称す）について図を参照しながら説明する。図５は、ミキシング装置１ａの処理の一例を示すフローチャートである。

【0047】

ミキシング装置１ａは、例えば、処理Ｐに係るプログラムを実行したときに、図５の動作を開始する（図５：ＳＴＡＲＴ）。

【0048】

処理Ｐの開始後、ＣＰＵ１５は、複数の入力チャンネルの内の１つのチャンネル（第１チャンネル）を選択する操作を受け付ける（図５：ステップＳ１１）。例えば、ＣＰＵ１５は、スクリーン１６ａに、入力チャンネル２２ａにおける入力チャンネル１－３２のうちの少なくとも１つに対応するボタン（以下、選択ボタンと称す）を表示する。ユーザは、例えば、入力チャンネル１に対応する選択ボタンをタッチして、入力チャンネル１を選択する。以下、入力チャンネル１が、選択された場合を説明する。

【0049】

次に、ＣＰＵ１５は、選択された入力チャンネル１（第１チャンネル）の音信号を入力する（図５：ステップＳ１２）。

【0050】

次に、ＣＰＵ１５は、ミキシング装置１ａに設定するためのセッティングデータの特定を行う（図５：ステップＳ１３）。本実施形態において、セッティングデータは、ヘッドアンプ２２０におけるゲインの値を含む。ＣＰＵ１５は、時系列の音量データに基づいてヘッドアンプ２２０に設定すべきゲインの値（セッティングデータの一例）を特定する。例えば、ＣＰＵ１５は、選択された入力チャンネルに入力する音にクリッピング等が発生しないようなヘッドアンプ２２０のゲインを特定する（例えば、入力する音信号のピークのレベルが－６ｄＢを超えないようにヘッドアンプ２２０のゲインを特定する）。

【0051】

本実施形態において、ＣＰＵ１５は、例えば、ニューラルネットワーク（ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等）の人工知能による処理によってセッティングデータを特定する。熟練のミキサエンジニアは、メーター１６ｂ１を見て、入力する音信号のピークのレベルが－６ｄＢを超えないようにヘッドアンプ２２０のゲインを設定する。つまり、熟練のミキサエンジニアは、メーターデータに基づいてヘッドアンプ２２０のゲインを設定する。従って、時系列の音量データと、ヘッドアンプ２２０のゲインと、の間には相関関係がある。このため、ＣＰＵ１５は、所定のモデルに対して、時系列の音量データとヘッドアンプ２２０のゲインとの関係を学習させることが可能である。ＣＰＵ１５は、時系列の音量データ（メーターデータ）とセッティングデータ（ヘッドアンプ２２０のゲイン）との関係を学習済の第１学習済モデルを用いてセッティングデータを特定する。

【0052】

熟練のミキサエンジニアは、例えば、３サンプル程度（１／６０ｓｅｃ×３サンプル≒５０ｍｓｅｃ程度）のメーターデータを見ることによってヘッドアンプ２２０のゲインを調整する。所定のモデルが時系列の音量データとヘッドアンプ２２０のゲインとの関係を学習した後、人工知能の実行段階においてＣＰＵ１５は、例えば、３サンプルのメーターデータを用いることによって（１／６０ｓｅｃ×３サンプル≒５０ｍｓｅｃの間、時系列の音量データを取得することによって）セッティングデータを特定することが可能である。

【0053】

なお、人工知能の実行段階において、ＣＰＵ１５は、ヘッドアンプ２２０のゲインの設定時に、熟練のミキサエンジニアが用いる音量の指標に応じたサンプル数を用いてもよい。熟練のミキサエンジニアは、例えば、ＶＵメータ又はラウドネスメータを指標として用いてヘッドアンプ２２０のゲインを調整する。ＶＵメータは、３００ｍｓｅｃの間における平均の音量を示す。ＣＰＵ１５は、例えば、３００ｍｓｅｃの間に複数サンプルのメーターデータを取得し、取得した複数サンプルのメーターデータを用いることによってセッティングデータを特定してもよい。ラウドネスメータは、４００ｍｓｅｃの間におけるラウドネスの値（モーメンタリーラウドネス）、又は、３ｓｅｃの間におけるラウドネスの値（ショートタームラウドネス）等を示す。ＣＰＵ１５は、例えば、４００ｍｓｅｃ又は３ｓｅｃの間に複数サンプルのメーターデータを取得し、取得した複数サンプルのメーターデータを用いることによってセッティングデータを特定してもよい。なお、ＶＵメータ及びラウドネスメータは音量の指標の一例であるため、ＶＵメータ及びラウドネスメータ以外のメータが、音量の指標であってもいい。

【0054】

上記に示すように、熟練のエンジニアは、ＶＵメータ又はラウドネスメータ等のメータを参考にして、適切な音量となるようにヘッドアンプ２２０のゲインを５０ｍｓｅｃ～３ｓｅｃ程度の間に調整している。ＣＰＵ１５は、このような熟練のミキサエンジニアの調整を再現し、適切な音量となるようにヘッドアンプ２２０のゲインを５０ｍｓｅｃ～３ｓｅｃ程度の間に調整する。これにより、ＣＰＵ１５は、熟練のミキサエンジニアが手動でゲイン調整を行う場合と同じ様に、自動的にヘッドアンプ２２０のゲイン調整を行うことが出来る。

【0055】

ＣＰＵ１５は、特定したセッティングデータ（ヘッドアンプ２２０のゲイン）をＲＡＭ１４に出力する（図５：ステップＳ１４）。ＣＰＵ１５は、ＲＡＭ１４のカレントデータのうちヘッドアンプ２２０のゲインの値を、特定したゲインの値で更新する。これにより、ＤＳＰ１８は、更新されたカレントデータに基づいて音信号に対して信号処理を行う。

【0056】

以上の、ステップＳ１１からステップＳ１４の処理が行われることによって、処理Ｐの実行が完了する（図５：ＥＮＤ）。

【0057】

［効果］
熟練のミキサエンジニアは、クリッピングを発生させないように、メーター１６ｂの表示に基づいてヘッドアンプ２２０のゲイン調整を行う。ミキシング装置１ａは、このような熟練のミキサエンジニアの調整方法を、例えば人工知能によって再現する。ミキシング装置１ａは、熟練のミキサエンジニアが手動でゲイン調整を行う場合と同じ様に、自動的にヘッドアンプ２２０のゲインを調整することが出来る。

【0058】

時系列の音量データは、複数サンプルの音信号であってもよいが、上記の様にメーターデータであることが好ましい。メーターデータのサンプリング周波数は、音信号のサンプリング周波数よりも著しく低い。また、メーターデータの量子化ビット数は、音信号の量子化ビット数よりも著しく低い。従って、ミキシング装置１ａは、メーターデータで学習段階及び実行段階を行うことによって、音信号を用いて所定のモデルの学習段階及び実行段階を行うよりも、著しく低い計算量でヘッドアンプ２２０のゲインを特定することが出来る。

【0059】

［第１実施形態の変形例１］
以下、第１実施形態の変形例１に係るミキシング装置１ｂについて図を参照しながら説明する。図６は、第１実施形態の変形例１に係るミキシング装置１ｂの外観を示す図である。

【0060】

ミキシング装置１ｂのスクリーン１６ａは、特定したヘッドアンプ２２０のゲインを表示する。例えば、ミキシング装置１ｂのＣＰＵ１５は、図６に示すように、ノブ１７ａを模した画像をスクリーン１６ａに表示する。例えば、ＣＰＵ１５は、特定したゲインを示すノブ４０の画像（ノブ１７ａ１を模した画像）と、特定したゲイン±α（αは任意の値）の範囲を示す画像とを、スクリーン１６ａに表示させる。ユーザは、スクリーン１６ａに表示されたノブ４０を参考にしてノブ１７ａ１を調整する。ユーザは、ヘッドアンプ２２０のゲインを学習済モデルによって特定されたヘッドアンプ２２０のゲインに設定するか否かを任意に決めることが出来る。

【0061】

なお、ＣＰＵ１５は、特定したゲイン±αの範囲を表示せずに、特定したヘッドアンプ２２０のゲインのみを示す画像を表示してもよい。例えば、特定したゲインの値を示すテキストメッセージ（例えば、「ノブ１７ａ１を－３ｄＢに設定して下さい」等のテキストメッセージ）を表示してもよい。

【0062】

［第１実施形態の変形例２］
以下、第１実施形態の変形例２に係るミキシング装置１ｃについて図を参照しながら説明する。図７は、第１実施形態の変形例２に係るミキシング装置１ｃの外観を示す図である。

【0063】

ミキシング装置１ｃのＣＰＵ１５は、特定したヘッドアンプ２２０のゲインを表示した後、当該ゲインをカレントデータに設定するか否かの操作を受け付ける。例えば、図７に示すように、ＣＰＵ１５は、特定したヘッドアンプ２２０のゲインをカレントデータに設定する操作を受け付けるボタンＹをスクリーン１６ａに表示する。ユーザは、スクリーン１６ａに表示されたヘッドアンプ２２０のゲインをカレントデータに設定したい場合、ボタンＹをタッチ操作する。この場合、ＣＰＵ１５は、特定したヘッドアンプ２２０のゲインでカレントデータを更新する。一方、ＣＰＵ１５は、スクリーン１６ａに表示されているボタンＮの操作を検出した場合、特定したヘッドアンプ２２０のゲインでカレントデータを更新しない。このように、ユーザは、特定したヘッドアンプ２２０のゲインの内容を確認した上で、当該ゲインに設定するか否かを決定出来る。

【0064】

［第１実施形態の変形例３］
以下、第１実施形態の変形例３に係るミキシング装置１ｄについて図を参照しながら説明する。図８は、第１実施形態の変形例３に係るミキシング装置１ｄの処理の一例を示すフローチャートである。

【0065】

ミキシング装置１ｄのＣＰＵ１５は、ユーザによる操作（例えば、ヘッドアンプ２２０のゲインの調整に係る操作）を受け付けているか否かを判定する（図８：ステップＳ２１）。ＣＰＵ１５は、ユーザからの操作を受け付けた場合（図８：ステップＳ２１ Ｙｅｓ）、特定したセッティングデータ（例えば、ヘッドアンプ２２０のゲイン）のＲＡＭ１４への出力を停止する（図８：ステップＳ２２）。そして、ＣＰＵ１５は、ユーザから受け付けた操作に基づくセッティングデータをミキシング装置１ｄに設定する（図８：ステップＳ２３）。これにより、ユーザによる各種のパラメータの手動調整が、ミキシング装置１ｄによる自動調整によって阻害されない。

【0066】

一方、ステップＳ２１において、ＣＰＵ１５は、ユーザからの操作を受け付けていない場合（図８：ステップＳ２１ Ｎｏ）、特定したセッティングデータの出力を再開する（図８：ステップＳ２４）。これにより、ミキシング装置１ｄは、ユーザによる操作がない場合は、自動でヘッドアンプ２２０のゲインの調整を行う。ミキシング装置１ｄは、ユーザの操作の有無に応じてヘッドアンプ２２０のゲインの調整を行うか否かを適切に切り替えることが出来る。

【0067】

［第２実施形態］
以下、第２実施形態に係るミキシング装置１ｅについて図２を準用して説明する。説明において、第１実施形態と同様にして、ユーザによって入力チャンネル１が選択された場合を例に説明する。

【0068】

ミキシング装置１ｅのＣＰＵ１５は、例えば、入力チャンネル１（第１チャンネル）とは異なる入力チャンネル２－３２（第２チャンネル）のフェーダ値（第２チャンネルに関するデータ）に基づいてセッティングデータ（第１チャンネルのフェーダ値）を特定する。本実施形態において、セッティングデータとは、フェーダ１７ｂで受け付けるレベル調整量である。例えば、ＣＰＵ１５は、入力チャンネル１－８のミキシングにおける音量バランスが適切となるように、入力チャンネル２－８のフェーダ値に基づいて入力チャンネル１のフェーダ値の調整を行う。

【0069】

本実施形態において、ＣＰＵ１５は、入力チャンネル２－３２（第２チャンネル）に関するデータ（フェーダの値）と、セッティングデータ（第１チャンネルのフェーダ値）と、の関係を学習済の第２学習済モデルを用いてセッティングデータを特定する。熟練のミキサエンジニアは、入力チャンネル２－３２のフェーダ１７ｂ２－１７ｂ８の値を見て、音量バランスを考えながら入力チャンネル１のフェーダ１７ｂ１の値を調整する。従って、入力チャンネル２－３２に関するデータ（フェーダ１７ｂ２－１７ｂ８の値）と、フェーダ１７ｂ１の値と、の間には相関関係がある。このため、ＣＰＵ１５は、所定のモデルに、入力チャンネル２－３２に関するデータと、フェーダ１７ｂ１の値と、の関係を学習させることが可能である。

【0070】

［効果］
例えば、熟練のミキサエンジニアは、フェーダ１７ｂ１の値を設定する場合に、他のフェーダ１７ｂ２－１７ｂ８の値を参考にして、音量バランスを考えながら調整する。ミキシング装置１ｅは、熟練のミキサエンジニアによって行われるチャンネル間の音量バランスの調整と同じ様な音量バランス調整（例えば、ＣＤ用の音源作成時の様な、熟練のミキサエンジニアによって時間をかけて行われる調整）を再現する。これにより、ミキシング装置１ｅは、熟練のミキサエンジニアが手動でチャンネル間の音量バランスを調整する場合と同じ様に、自動的にチャンネル間の音量バランスの調整を行うことが出来る。

【0071】

［第２実施形態の変形例１］
以下、第２実施形態の変形例１に係るミキシング装置１ｆについて、図を参照しながら説明する。図９は、第２実施形態の変形例１に係るミキシング装置１ｆのスクリーン１６ａに表示された画像を示す図である。

【0072】

本変形例において、入力チャンネル１とは異なる入力チャンネル２－３２に関するデータは、音源の種別（楽器名）に関するデータ（テキストデータ等）である。例えば、熟練のミキサエンジニアは、入力チャンネル１－３２それぞれに対応する楽器の種類に応じて、チャンネル間のバランス調整を行う場合がある。ＣＰＵ１５は、この様な、熟練のミキサエンジニアの調整を再現する。一例として、ＣＰＵ１５は、入力チャンネル１（音源：ボーカル）に係る音量が、入力チャンネル２（音源：ギター）に係る音量よりも大きくなるように、入力チャンネル１のフェーダ値を調整する。このように、ミキシング装置１ｅは、熟練のミキサエンジニアによるチャンネル間のバランス調整を再現することが出来る。

【0073】

［第２実施形態の変形例２］
以下、第２実施形態の変形例２に係るミキシング装置１ｇについて、図２を準用して説明する。ミキシング装置１ｇのＣＰＵ１５は、シーンリコールを実行したとき、読み出したシーンデータでカレントデータを更新する。このため、ＣＰＵ１５は、学習済モデルによるチャンネル間の音量バランスの調整をやり直すことが好ましい。従って、ＣＰＵ１５は、シーンリコールを受け付けた場合に（ユーザによって図２に示すリコールボタン１７ｅが押下された場合に）、読み出したシーンデータに基づいて入力チャンネル１のレベル調整量（セッティングデータ）を特定する。シーンデータは、楽器の情報等のチャンネル間の音量バランスの調整を行う上で、有用な情報を含んでいる。従って、ミキシング装置１ｅは、読み出したシーンデータを用いることで、熟練のミキサエンジニアによって行われるチャンネル間の音量バランスの調整を、更に正確に再現することが出来る。

【0074】

［第２実施形態の変形例３］
以下、第２実施形態の変形例３に係るミキシング装置１ｈについて図９を準用して説明する。ミキシング装置１ｈは、セッティングデータの特定において、操作子（ノブ１７ａ，フェーダ１７ｂ）が割り当てられていない入力チャンネルに関するデータを用いる。

【0075】

図９に示す例において、ミキシング装置１ｈのＣＰＵ１５は、操作子に入力チャンネル１－８（第１チャンネル群）を割り当てている。一方、ミキシング装置１ｈは、操作子に入力チャンネル９－３２（第２チャンネル群）を割り当てていない。この場合でも、ミキシング装置１ｈは、例えば、入力チャンネル２－３２の各フェーダ値に基づいて入力チャンネル１のフェーダ値の調整を行う。これにより、ミキシング装置１ｈは、表示されていないチャンネル（入力チャンネル９－３２）のフェーダ値を確認しなくても、該表示されていないフェーダ値を考慮してチャンネル間の音量バランスを調整することが出来る。

【0076】

ミキシング装置のチャンネル数が膨大な場合、操作子に割り当てられていない入力チャンネルの数が膨大となる。この場合、ユーザは、全ての入力チャンネルのフェーダ値を考慮することが困難となる。しかし、ミキシング装置１ｈは、選択した入力チャンネル１のフェーダ値を、全ての入力チャンネルのフェーダ値に基づいて自動で設定する。

【0077】

ミキシング装置１ｅは、入力チャンネル１－３２を第１信号処理系統である第１入力チャンネル１－１６（第１チャンネル群）と、第２信号処理系統である第２入力チャンネル１－１６とに分けるモード（スプリットモード）を有していてもよい。この場合、ミキシング装置１ｈのＣＰＵ１５は、例えば、第１信号処理系統の第１入力チャンネル１－１６の内の第１入力チャンネル１－８（第１チャンネル群）を操作子に割り当てる一方で、第１信号処理系統の第１入力チャンネル９－１６及び第２信号処理系統の第２入力チャンネル１－１６（第２チャンネル群）を操作子に割り当てない。このとき、ユーザは、例えば、第１信号処理系統の入力チャンネル１を選択する。ミキシング装置１ｈは、第１信号処理系統である第１入力チャンネル２－１６の各フェーダ値及び第２信号処理系統である第２入力チャンネル１－１６の各フェーダ値に基づいて、第１信号処理系統の第１入力チャンネル１のフェーダ値を特定する。但し、第１信号処理系統の第１入力チャンネル１に入力される音信号と、第２信号処理系統の第２入力チャンネル１に入力される信号とは、同じである。従って、ミキシング装置１ｈは、入力チャンネル１のフェーダ値の特定において、必ずしも、第２信号処理系統の第２入力チャンネル１のフェーダ値を用いなくてよい。

【0078】

なお、ミキシング装置１ａ～１ｈの構成を任意に組み合わせてもよい。

【符号の説明】

【0079】

１ａ～１ｈ：ミキシング装置
１１：オーディオインタフェース
１２：ネットワークインタフェース
１３：フラッシュメモリ
１４：ＲＡＭ
１５：ＣＰＵ
１６：表示器
１６ａ：スクリーン
１６ｂ，１６ｂ１，１６ｂ１－１６ｂ１０：メーター
１７：ユーザインタフェース
１７ａ，１７ａ１－１７ａ１０：ノブ
１７ｂ，１７ｂ１－１７ｂ１０：フェーダ
１８：ＤＳＰ
１９：バス
２１ａ：入力パッチ
２２ａ：入力チャンネル
２３ａ：ミキシングバス
２４ａ：出力チャンネル
２５ａ：出力パッチ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】