(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-01-06
(45)【発行日】2025-01-15
(54)【発明の名称】オーディオ信号処理装置、オーディオシステム及びオーディオ信号処理方法
(51)【国際特許分類】
H04R 3/00 20060101AFI20250107BHJP
【FI】
H04R3/00
(21)【出願番号】P 2020016882
(22)【出願日】2020-02-04
【審査請求日】2022-12-20
(73)【特許権者】
【識別番号】000004075
【氏名又は名称】ヤマハ株式会社
(74)【代理人】
【識別番号】110000970
【氏名又は名称】弁理士法人 楓国際特許事務所
(72)【発明者】
【氏名】岡林 昌明
【審査官】佐久 聖子
(56)【参考文献】
【文献】特開2017-073631(JP,A)
【文献】特開2012-205199(JP,A)
【文献】欧州特許出願公開第03018847(EP,A2)
【文献】米国特許出願公開第2016/0371051(US,A1)
【文献】特開2007-074094(JP,A)
【文献】特開2008-252368(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04R 3/00- 3/14
G10L 13/00-13/10
G10L 19/00-99/00
(57)【特許請求の範囲】
【請求項1】
複数チャンネルを有するミキシング装置の各チャンネルの番号と、前記複数チャンネルの各チャンネルのレベル設定操作を受け付けるためのレベル設定操作子と、前記複数チャンネルの少なくとも1つのチャンネルの選択操作を受け付けるためのチャンネル選択操作子と、をチャンネル毎に対応付けて表示する表示器と、
ユーザから、前記ミキシング装置の少なくとも1つのチャンネルを選択する前記選択操作を、前記チャンネル選択操作子を介して受け付ける操作受付部と、
前記操作受付部が受け付けた前記チャンネルに対応するオーディオ信号を入力するマイクと、
前記マイクが入力した前記オーディオ信号を分析して、前記操作受付部が受け付けた前記チャンネルに対応する前記オーディオ信号の音源の種別を識別する音源識別部と、
前記音源識別部が識別した前記音源の種別に応じたセッティングデータを取得するセッティングデータ取得部と、
前記ミキシング装置に対して、前記セッティングデータ取得部が取得した前記セッティングデータを、前記受け付けた前記チャンネルに設定させるセッティングデータ設定部と、
を備え、前記ミキシング装置に外部機器として接続されるオーディオ信号処理装置。
【請求項2】
前記音源の種別に対応するセッティングデータを検出するサーバと通信する通信部を備え、
前記通信部は、前記サーバに送信した前記音源の種別に対応するセッティングデータを前記サーバから受信する、
請求項1に記載のオーディオ信号処理装置。
【請求項3】
前記操作受付部は、前記セッティングデータが複数あった場合、前記ユーザから、複数の前記セッティングデータのなかから所望のセッティングデータを選択する選択操作を受け付け、
セッティングデータ設定部は、前記操作受付部が受け付けた前記所望のセッティングデータを、前記受け付けたチャンネルに設定させる、
請求項1又は2に記載のオーディオ信号処理装置。
【請求項4】
セッティングデータ設定部は、前記受け付けた前記チャンネルに、前記セッティングデータを対応付ける、
請求項1乃至3のいずれかに記載のオーディオ信号処理装置。
【請求項5】
前記表示器は、前記音源識別部が識別した前記音源の種別を前記チャンネルに対応付けて表示する、
請求項1乃至4のいずれかに記載のオーディオ信号処理装置。
【請求項6】
前記音源の種別は、楽器名を含む、
請求項1乃至5のいずれかに記載のオーディオ信号処理装置。
【請求項7】
前記音源の種別は、ボーカルを含む、
請求項1乃至6のいずれかに記載のオーディオ信号処理装置。
【請求項8】
前記セッティングデータは、複数のチャンネルからなるグループを定義するためのグループ定義データを含む、
請求項1乃至7のいずれかに記載のオーディオ信号処理装置。
【請求項9】
前記操作受付部は、ユーザから、演者データを選択する選択操作を受け付け、
セッティングデータ取得部は、前記演者データ及び前記音源の種別に応じたセッティングデータを取得する、
請求項1乃至8のいずれかに記載のオーディオ信号処理装置。
【請求項10】
前記操作受付部は、ユーザから、ユーザデータを選択する選択操作を受け付け、
前記セッティングデータ取得部は、前記ユーザデータ及び前記音源の種別に応じたセッティングデータを取得する、
請求項1乃至9のいずれかに記載のオーディオ信号処理装置。
【請求項11】
請求項1乃至10のいずれかに記載のオーディオ信号処理装置と、
チャンネル毎にセッティングデータを設定する前記ミキシング装置と、
を、備え、
前記オーディオ信号処理装置は、汎用のデータ処理装置であり、
前記オーディオ信号処理装置は、前記ミキシング装置に対して、前記選択操作を受け付けた前記チャンネルに前記セッティングデータを設定させ、
前記ミキシング装置は、前記オーディオ信号処理装置から設定された前記セッティングデータに応じて、前記選択操作で選択された前記チャンネルのオーディオ信号の処理を行なう、
オーディオシステム。
【請求項12】
複数チャンネルを有するミキシング装置に外部機器としてオーディオ信号処理装置を接続し、前記オーディオ信号処理装置において前記ミキシング装置の各チャンネルの番号と、前記複数チャンネルの各チャンネルのレベル設定操作を受け付けるためのレベル設定操作子と、前記複数チャンネルの少なくとも1つのチャンネルの選択操作を受け付けるためのチャンネル選択操作子と、をチャンネル毎に対応付けて前記オーディオ信号処理装置の表示器に表示し、
前記オーディオ信号処理装置において、ユーザから、前記ミキシング装置の少なくとも1つのチャンネルを選択する前記選択操作を、前記チャンネル選択操作
子を介して受け付け、
前記チャンネルに対応するオーディオ信号を前記オーディオ信号処理装置のマイクで入力し、
前記オーディオ信号処理装置において、前記マイクが入力した前記オーディオ信号を分析して、受け付けた前記チャンネルに対応する前記オーディオ信号の音源の種別を識別し、
前記オーディオ信号処理装置において、前記音源の種別に応じたセッティングデータを取得し、
前記ミキシング装置に対して、前記セッティングデータを、前記チャンネルに設定させる、
オーディオ信号処理方法。
【請求項13】
前記音源の種別に対応するセッティングデータを検出するサーバと通信し、
前記サーバに送信した前記音源の種別に対応するセッティングデータを前記サーバから受信する、
請求項12に記載のオーディオ信号処理方法。
【請求項14】
前記セッティングデータが複数あった場合、前記ユーザから、複数の前記セッティングデータのなかから所望のセッティングデータを選択する選択操作を受け付け、
前記所望のセッティングデータを、前記チャンネルに設定させる、
請求項12又は13に記載のオーディオ信号処理方法。
【請求項15】
前記チャンネルに、前記セッティングデータを対応付ける、
請求項12乃至14のいずれかに記載のオーディオ信号処理方法。
【請求項16】
前記音源の種別を前記チャンネルに対応付けて表示する、
請求項12乃至15のいずれかに記載のオーディオ信号処理方法。
【請求項17】
前記音源の種別は、楽器名及びボーカルを含む、
請求項12乃至16のいずれかに記載のオーディオ信号処理方法。
【請求項18】
前記セッティングデータは、複数のチャンネルからなるグループを定義するためのグループ定義データを含む、
請求項12乃至17のいずれかに記載のオーディオ信号処理方法。
【請求項19】
ユーザから、演者データを選択する選択操作を受け付け、
前記演者データが選択された場合、前記演者データ及び前記音源の種別に応じたセッティングデータを取得する、
請求項12乃至18のいずれかに記載のオーディオ信号処理方法。
【請求項20】
ユーザから、ユーザデータを選択する選択操作を受け付け、
前記ユーザデータが選択された場合、前記ユーザデータ及び前記音源の種別に応じたセッティングデータを取得する、
請求項12乃至19のいずれかに記載のオーディオ信号処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明の一実施形態は、オーディオ信号の信号処理に関する。
【背景技術】
【0002】
従来、オーディオ信号処理装置用設定プログラムが実行されるタブレット端末と、当該タブレット端末が接続されたミキサがあった(例えば、特許文献1)。
【0003】
特許文献1のミキサは、ユーザが選択した楽器等の音源のオーディオ信号に適したミキシング処理のミキシング情報をタブレット端末から受け取る。ユーザがタブレット端末を操作することで、タブレット端末に表示された楽器名(楽器アイコン)と、メンバ(チャンネル)とが対応付けられる。ミキサは、メンバに対応付けられた楽器のミキシング情報をアサインする。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1のプログラムは、ミキサの初心者ユーザ向けプログラムである。特許文献1のプログラムは、ユーザからチャンネルの選択を受け付けることはない。すなわち、特許文献1のプログラムは、ユーザの選択したチャンネル毎に、名称及び信号処理パラメータ等のミキシング情報(ミキシングデータ)を設定するものではない。
【0006】
そこで、この発明の一実施形態は、チャンネル毎のミキシングデータに係る設定時間の短縮を図ることを目的とする。
【課題を解決するための手段】
【0007】
本発明の一実施形態に係るオーディオ信号処理装置は、ユーザから、ミキシング装置のチャンネルを選択する選択操作を受け付ける操作受付部と、操作受付部が受け付けたチャンネルに対するオーディオ信号を入力するオーディオ信号入力部と、オーディオ信号入力部が入力したオーディオ信号を分析して、音源の種別を識別する音源識別部と、音源識別部が識別した音源の種別に応じたセッティングデータを取得するセッティングデータ取得部と、ミキシング装置に対して、セッティングデータ取得部が取得したセッティングデータを、受け付けたチャンネルに設定させるセッティングデータ設定部と、を備えている。
【発明の効果】
【0008】
本発明の一実施形態によれば、チャンネル毎のミキシングデータに係る設定時間の短縮を図ることができる。
【図面の簡単な説明】
【0009】
【
図1】オーディオシステムの主要な構成を示す構成図である。
【
図2】ミキサの主要な構成を示すブロック構成図である。
【
図3】タブレットの主要な構成を示すブロック構成図である。
【
図4】タブレットの表示器の画面の一例を示す説明図である。
【
図5】タブレットによるオーディオ信号処理の一例を示すフローチャートである。
【
図6】変形例1の複数のミキシングデータを選択するための画面を示す説明図である。
【
図7】ミキシングデータが複数ある場合におけるオーディオ信号処理のフローチャートである。
【
図8】変形例2の表示器が表示する画面の一例を示す説明図である。
【
図9】演者名からミキシングデータを選択するための画面を示す説明図である。
【
図10】ユーザ名からミキシングデータを選択するための画面を示す説明図である。
【
図11】変形例2のオーディオシステムの構成を示す構成図である。
【
図12】DCA(Digital Controlled Amplifier)機能を含む画面の一例を示す説明図である。
【
図13】変形例3のオーディオシステムの構成を示す構成図である。
【発明を実施するための形態】
【0010】
図1は、オーディオシステム100の主要な構成を示す構成図である。オーディオシステム100は、
図1に示すように、ミキサ(ミキシング装置)1と、タブレット端末(以下、単にタブレットと称す。)3と、を備えている。この例でいう、タブレット3は、本発明のオーディオ信号処理装置の一例である。
【0011】
図2は、ミキサ1の主要な構成を示すブロック図である。ミキサ1は、
図2に示すように、表示器11と、操作部12と、オーディオI/O(Input/Output)13と、信号処理部14と、PC_I/O15と、MIDI_I/O16と、その他(Other)_I/O17と、ネットワークI/F18と、CPU19と、フラッシュメモリ21と、RAM22と、を備えている。
【0012】
表示器11、操作部12、オーディオI/O13、信号処理部14、PC_I/O15、MIDI_I/O16、その他_I/O17、CPU19、フラッシュメモリ21、及びRAM22は、互いにバス25を介して接続されている。また、オーディオI/O13及び信号処理部14は、オーディオ信号を伝送するための波形バス27にも接続されている。
【0013】
オーディオI/O13は、信号処理部14で処理すべきオーディオ信号を受け付けるためのインタフェースである。オーディオI/O13には、音源2からのオーディオ信号を受け付けるアナログ入力ポート又はデジタル入力ポート等が設けられている。また、オーディオI/O13は、信号処理部14で処理された後のオーディオ信号を出力するためのインタフェースである。オーディオI/O13には、オーディオ信号を出力するアナログ出力ポート又はデジタル出力ポート等が設けられている。
【0014】
PC_I/O15、MIDI_I/O16、及びその他_I/O17は、それぞれ、種々の外部機器を接続し、入出力を行うためのインタフェースである。PC_I/O15には、例えば、パーソナルコンピュータ等のデータ処理装置が接続される。MIDI_I/O16には、例えば、フィジカルコントローラ又は電子楽器のようなMIDI対応機器が接続される。その他_I/O17には、例えばディスプレイが接続される。あるいは、その他_I/O17には、マウス又はキーボード等のUI(User Interface)デバイスが接続される。外部機器との通信に用いる規格は、イーサネット(登録商標)、又はUSB(Universal Serial Bus)等、任意のものを採用することができる。これらの接続態様は、有線でも無線のどちらでもよい。
【0015】
ネットワークI/F18は、ネットワークを介してタブレット3と通信する。ネットワークI/F18は、ネットワークを介してタブレット3から後述するミキシングデータを受信する。
【0016】
CPU19は、ミキサ1の動作を制御する制御部である。CPU19は、記憶部であるフラッシュメモリ21に記憶された所定のプログラムをRAM22に読み出すことにより各種の動作を行なう。なお、プログラムは、自装置のフラッシュメモリ21に記憶している必要はない。例えば、サーバ(図示せず)等の他装置から都度ダウンロードして、RAM22に読み出してもよい。
【0017】
表示器11は、CPU19の制御に従って種々のデータを表示する。表示器11は、例えば、LCD又は発光ダイオード(LED)等によって構成される。
【0018】
操作部12は、ユーザからミキサ1に対する操作を受け付ける。操作部12は、種々のキー、ボタン、ロータリーエンコーダ、又はフェーダ(スライダ)等によって構成される。また、操作部12は、表示器11であるLCDに積層したタッチパネルによって構成される。
【0019】
信号処理部14は、ミキシング又はエフェクト等の各種信号処理を行なうための1乃至複数のDSP(Digital Signal Processor)から構成される。信号処理部14は、オーディオI/O13から波形バス27を介して供給されるオーディオ信号に、ミキシング又はエフェクト等の信号処理を施す。信号処理部14は、信号処理後のデジタルオーディオ信号を、波形バス27を介して再びオーディオI/O13に出力する。
【0020】
ミキサ1は、ユーザからの操作を受け付けて、入力されたオーディオ信号に適宜信号処理を施す。また、ミキサ1は、タブレット3からチャンネル毎のミキシングデータを受信する。この例でいう、ミキシングデータは、本発明のセッティングデータに相当する。
【0021】
タブレット3について、図面を参照して説明する。
図3は、タブレット3の主要な構成を示すブロック図である。
図4は、タブレット3の表示器31の画面の一例である。
【0022】
タブレット3は、
図3に示すように、表示器31、マイク32、フラッシュメモリ33、RAM34、ネットワークI/F35、CPU36、及びタッチパネル37を備えている。表示器31、マイク32、フラッシュメモリ33、RAM34、ネットワークI/F35、CPU36、及びタッチパネル37は、バス39を介して互いに接続されている。なお、この例でいう、ネットワークI/F35は、本発明の通信部に相当する。また、この例でいう、マイク32は、本発明のオーディオ信号入力部の一例である。
【0023】
ネットワークI/F35は、ネットワークを介してミキサ1と通信する。ネットワークI/F35は、例えば、オーディオ信号に適したミキシングデータをミキサ1に送信する。
【0024】
表示器31は、CPU36の制御に従って種々のデータを表示する。表示器31は、例えばLCDで構成される。
図4で示される画面は、あるMIXバスに対する各入力チャンネルのセンドレベルを設定するための画面である。表示器31は、
図4に示すように、チャンネルボタン311、チャンネル名312及びチャンネル毎のフェーダ313を画面に表示する。表示器31は、チャンネル名として、例えば、「MAIN GUITAR」、「SUB GUITAR」等を表示する。また、表示器31は、チャンネル名312毎に対応するフェーダ313を表示する。フェーダ313は、「MAIN GUITAR」、「SUB GUITAR」等の各チャンネルのオーディオ信号をMIXバスに出力するセンドレベルを示す。
【0025】
タッチパネル37は、表示器31であるLCDに積層されて、GUI(Graphical User Interface)を構成する。タッチパネル37は、ユーザからの種々の操作を受け付ける。タッチパネル37は、例えば、ユーザがチャンネルボタン311を選択(押下)することで、チャンネルの選択操作を受け付ける。なお、この例でいうタッチパネル37は、本発明の操作受付部の一例である。
【0026】
マイク32は、音源2からのオーディオ信号を入力する。
【0027】
フラッシュメモリ33には、オーディオ信号処理を実現する種々のプログラムが記憶されている。
【0028】
また、フラッシュメモリ33には、音源の種別と音源の種別に対応するミキシングデータとが記憶されている。音源の種別は、例えば、楽器名(ボーカルを含む。)である。この例でいう、ミキシングデータは、チャンネル名又はオーディオ信号の処理に必要な信号処理データ等を含む。信号処理データは、例えば、各チャンネルで利用するエフェクトの種類を示すデータと、各チャンネルのゲインと、各チャンネルのオーディオ信号の送り先を示すデータ及びセンドレベルと、エフェクトのパラメータ(ディレイ)等の信号処理パラメータとの少なくとも1つを含む。
【0029】
また、フラッシュメモリ33には、予め、楽器の種別(楽器名)毎に、楽器の音色に関する特徴量(振幅波形、スペクトラム、及びケプストラム等)を示す特徴データを記憶している。
【0030】
CPU36は、フラッシュメモリ33に記憶されている動作用のOS及びアプリケーションプログラムをRAM34に読み出し、タブレット3を統括的に制御する。なお、CPU36が読み出すプログラムは、自装置内のフラッシュメモリ33に記憶されている必要はない。例えば、プログラムは、サーバ等の外部装置の記憶媒体に記憶されていてもよい。この場合、CPU36は、該サーバ(図示せず)から都度プログラムをRAM34に読み出して実行すればよい。
【0031】
CPU36は、音源識別部361と、ミキシングデータ取得部362と、ミキシングデータ設定部363とを備えている。CPU36は、アプリケーションプログラムを実行することで、フラッシュメモリ33から音源識別処理、ミキシングデータ取得処理及びミキシングデータ設定処理に関するプログラムをRAM22に読み出す。これにより、CPU36は、音源識別部361と、ミキシングデータ取得部362と、ミキシングデータ設定部363とを構成する。この例でいう、ミキシングデータ取得部362は、本発明のセッティングデータ取得部の一例である。また、この例でいう、ミキシングデータ設定部363は、セッティングデータ設定部の一例である。
【0032】
音源識別部361は、マイク32に入力されたオーディオ信号を分析して、入力された音源の種別、例えば、エレキギター、ドラム、ボーカル等の楽器名、を識別する。より詳細には、音源識別部361は、オーディオ信号が入力されると、オーディオ信号の波形分析及びパターンマッチング等の識別処理を行う。識別処理は、タブレット3に入力されたオーディオ信号を分析して、特徴データを生成する処理を含む。音源識別部361は、例えば、生成した特徴データと、フラッシュメモリ33内にある複数の特徴データのそれぞれとの相関値を算出する。音源識別部361は、複数の相関値のうち、所定の閾値よりも高い楽器の種別を、入力した音声データの楽器の種別として判定する。
【0033】
ミキシングデータ取得部362は、音源識別部361が識別した音源の種別に対応するミキシングデータをフラッシュメモリ33から読み出す。この例では、過去にユーザが設定した音源の種別(楽器名)毎のミキシングデータ(チャンネル名、ゲイン、送り先、及びセンドレベル等)がフラッシュメモリ33に記憶されている。ミキシングデータ取得部362は、例えば、音源識別部361が識別した音源の種別がエレキギターであれば、エレキギターに対応するチャンネル名(例えば、MAIN GUITAR)をフラッシュメモリ33から読み出して取得する。また、ミキシングデータ取得部362は、例えば、エレキギターに対応するゲイン、送り先、及びセンドレベル等のデータも取得する。
【0034】
ミキシングデータ設定部363は、タッチパネル部が受け付けた(ユーザが選択した)チャンネルに、ミキシングデータ取得部362が取得したミキシングデータを対応付ける。例えば、ミキシングデータ設定部363は、チャンネル1にMAIN GUITARのチャンネル名を対応付ける。また、ミキシングデータ設定部363は、チャンネル1に、ゲイン、送り先及びセンドレベル等のデータを対応付ける。その後、ミキシングデータ設定部363はチャンネル1に対応付けたミキシングデータ(チャンネル名を示すデータ、ゲインを示すデータ、送り先及びセンドレベルを示すデータ等)を、ミキサ1に対して、ネットワークI/F35を介して送信する。これにより、ミキシングデータ設定部363は、ミキサ1に対して、取得したミキシングデータ(例えばチャンネル名、ゲイン、送り先、及びセンドレベル等)を、タッチパネル37が受け付けたチャンネル(例えばチャンネル1)に設定させる。
【0035】
ここで、タブレット3によるオーディオ信号処理について、
図5を参照して説明する。
図5は、タブレット3によるオーディオ信号処理の一例を示すフローチャートである。
【0036】
タブレット3は、ユーザからタッチパネル37を介してチャンネルの選択操作(チャンネル1)を受け付けると(S11:Yes)、オーディオ信号をマイク32から入力する(S12)。ユーザ又は演者は、チャンネル1に対応する楽器を演奏する。マイク32は、当該演奏音を入力する。タブレット3は、入力されたオーディオ信号の音源の種別(楽器名)の識別を音源識別部361によって行う。言い換えると、タブレット3は、オーディオ信号の波形を分析して、分析した結果から楽器名を判定する(S13)。
【0037】
タブレット3は、入力されたオーディオ信号の楽器名に対応するミキシングデータ(チャンネル名、ゲイン、送り先、及びセンドレベル等のデータ)をフラッシュメモリ33から取得する(S14)。タブレット3は、フラッシュメモリ33から取得したミキシングデータを、ユーザが選択したチャンネルに対応付ける(S15)。タブレット3は、表示器31に、ユーザが選択したチャンネルに対応するチャンネル名312を表示させ、MIXバスへのセンドレベルに応じてフェーダ313の位置を変更する(S16)(
図4参照)。タブレット3は、ユーザが選択したチャンネルに対応付けられたミキシングデータをミキサ1に送信する(S17)。
【0038】
なお、上述の処理は一例であって、これに限定されるものではない。タブレット3は、S16とS17の処理を入れ替えてもよい。また、タブレット3は、マイク32を介してオーディオ信号を入力する例に限定されない。タブレット3は、例えば、オーディオ信号I/F(図示せず)を介して楽器から直接オーディオ信号を入力してもよい。
【0039】
従来、ユーザは、例えば、リハーサル前に、予め、各チャンネル(例えば、チャンネル1、チャンネル2)にチャンネル名等のミキシングデータを設定していた。この場合、ユーザは、各チャンネルに対応する音を聞いて楽器を判別し、判別した楽器に対応するチャンネル名を設定していた。しかし、リハーサル前に毎回、各チャンネルにチャンネル名等のミキシングデータを手動で入力するとなると、時間がかかり煩わしい。
【0040】
これに対して、本実施形態のタブレット3は、ユーザが一度、楽器名とミキシングデータとを対応付けて、メモリに記憶させておけば、その後、音源から音を入力するだけで、ミキサ1に対して、ユーザが選択したチャンネルに、ミキシングデータを自動的に設定させることができる。これにより、タブレット3は、ユーザがミキシングデータを手動で設定する必要がないので、チャンネル毎のミキシングデータに係る設定時間の短縮を図ることができる。
【0041】
[変形例1]
変形例1のタブレット3Aについて、
図6、及び
図7を参照して説明する。
図6は複数のミキシングデータを選択するための画面を示す説明図である。
図7は、ミキシングデータが複数ある場合におけるオーディオ信号処理のフローチャートである。なお、上述の実施形態のタブレット3と同じ構成に関しては、同じ符号を付し説明を省略する。
【0042】
ミキシングデータ取得部362が、楽器の種別(楽器名)に対応する複数のミキシングデータを取得した場合、ミキシングデータ設定部363は、ミキサ1に対して、ユーザが選択したミキシングデータを設定する。
【0043】
より詳細には、ミキシングデータ取得部362が、楽器の種別(楽器名)に対応する複数のミキシングデータを取得した場合、ミキシングデータ設定部363は、表示器31に、複数の選択肢(ミキシングデータの候補)(以下、候補リスト314と称す。)を表示する。ユーザは、表示された候補リスト314から、所望のミキシングデータを選択する。
【0044】
この例では、ユーザが過去に、1つの楽器名(例えばエレキギター)に対して2つの異なるチャンネル名(MAIN GUITAR及びSUB GUITAR)及びこれらのチャンネル名のそれぞれに対応する信号処理データを設定していたとする。この場合、1つのエレキギターの楽器名に対して、チャンネル名であるMAIN GUITAR及びSUB GUITAR及びこれらに対応する信号処理データがフラッシュメモリ33に記憶されている。
【0045】
表示器31は、
図6に示すように、例えば、フェーダ313の下にチャンネル名の候補リスト314を表示する。この場合、ミキシングデータ設定部363は、表示器31に表示された、MAIN GUITAR又はSUB GUITARのいずれかをユーザが押下することで、ユーザが押下したチャンネル名のみを表示器31に表示させる。ミキシングデータ設定部363は、ミキサ1に対し、ユーザが押下(選択)したチャンネル名のミキシングデータを、ユーザが選択したチャンネルに設定させる。
【0046】
楽器名に対応するミキシングデータが複数ある場合におけるオーディオ信号処理を、
図7を参照して説明する。
【0047】
タブレット3は、チャンネルの選択操作を受け付けて、オーディオ信号が入力されると(S11:Yes、S12:Yes)、オーディオ信号の音源の種別(楽器名)を識別する(S13)。タブレット3は、識別した楽器名に対応する複数のミキシングデータを取得すると(S21)、楽器名に対応する複数のチャンネル名を示す候補リスト314を画面に表示する(S22)。タブレット3は、ユーザからチャンネル名の選択操作を受け付けると(S23:Yes)、ユーザが選択したチャンネル名を、ユーザが選択したチャンネル(例えば、チャンネル1)のチャンネル名として決定する(S24)。タブレット3は、ユーザが選択したチャンネルに対応するチャンネル名312を表示器31に表示させ、センドレベルに応じてフェーダ313の位置を変更する(S16)。タブレット3は、ユーザが選択したミキシングデータをミキサ1に送信する(S17)。
【0048】
このように、変形例1のタブレット3は、1つの楽器の種別に対して、複数のミキシングデータを取得した場合、複数のミキシングデータのなかから、ユーザによって選択されたミキシングデータを決定する。これにより、タブレット3は、楽器の種別に応じてより適したミキシングデータをチャンネルに設定することができる。
【0049】
なお、上述の例ではエレキギターに対して複数のミキシングデータ(チャンネル名の候補)が存在する例で説明したが、これに限定されない。
【0050】
[変形例2]
変形例2では、楽器の種別(楽器名)及び演者データ(演者名)からミキシングデータを設定する例について、
図8及び
図9を参照して説明する。なお、上述の実施形態のタブレット3と同じ構成に関しては、同じ符号を付し説明を省略する。
【0051】
図8は、変形例2の表示器31が表示する画面の一例を示す説明図である。
図9は、演者名からミキシングデータを選択するための画面を示す説明図である。
【0052】
この例では、過去に識別した楽器名に加えて、ユーザが過去に入力した演者名(例えばJOHN)と、ミキシングデータとを対応づけてフラッシュメモリ33に記憶しておく。タブレット3は、識別した楽器名と入力を受け付けた演者名との組み合わせに対応するミキシングデータ(例えばチャンネル名(MAIN_VOCAL JOHN)、ゲイン、送り先、及びセンドレベル等)を設定する。
【0053】
音源識別部361は、マイク32に入力されたオーディオ信号の楽器名(VOCAL)を識別する。ユーザは、
図8に示された画面に表示された入力欄315に、所望の演者名(この例では、JOHN)を入力する。タッチパネル37は、ユーザが入力欄315に入力した演者名を受け付ける。ミキシングデータ取得部362は、識別した楽器名と受け付けた演者名との組み合わせに対応するミキシングデータをフラッシュメモリ33から読み出す。なお、表示器31は、ユーザの操作によって演者名が決定されるまで、一時的に楽器名をチャンネル名312に表示させてもよい。
【0054】
表示器31は、ミキシングデータが取得されると、チャンネル名を画面のチャンネル名312に表示する。この場合、チャンネル名は、楽器名(VOCAL)及び演者名(例えば、JOHN)を組みわせた「MAIN_VOCAL JOHN」等、過去にユーザが設定した名前になる。
【0055】
ミキシングデータは、楽器の種別が同じでも、該楽器を演奏する演者によって異なる。この例では、タブレット3は、ユーザが演者名を入力(選択)することで、入力されたオーディオ信号の楽器名だけでなく、楽器名とユーザが選択した演者名との組み合わせに対応するミキシングデータを取得する。タブレット3は、楽器名と演者名との組み合わせに対応するミキシングデータを取得することで、使用するチャンネル名及びパラメータの精度をより向上する。
【0056】
また、表示器31は、ユーザが過去に入力した1乃至複数の演者名を演者名リスト316として表示してもよい。入力された複数の演者名のそれぞれには、個別にミキシングデータが対応付けられている。この場合、ミキシングデータ取得部362は、例えば、音源識別部361が入力されたオーディオ信号の楽器名を識別した後、該楽器名に対応する演者名と、楽器名と該演者名との組み合わせに対応する複数のミキシングデータをフラッシュメモリ33から読み出す。
【0057】
ミキシングデータ設定部363は、読み出した楽器名と演者名との組み合わせに対応するミキシングデータが複数ある場合、演者名を選択することでユーザが所望のミキシングデータを選択するために、表示器31に演者名の演者名リスト316を表示させる。ユーザは、演者名リスト316のなかから、所望の演者名を選択する。ミキシングデータ設定部363は、ユーザが選択した演者名と楽器名との組み合わせに対応するミキシングデータを決定する。ミキシングデータ設定部363は、ミキサ1に対して、決定したミキシングデータを、ユーザが選択したチャンネルに設定させる。なお、表示器31は、楽器名が識別された後、ユーザによって演者名が選択されるまで、一時的に楽器名をチャンネル名312に表示してもよい。
【0058】
これにより、タブレット3は、ユーザの入力ミスを防げるができ、かつ設定に関して時間の短縮を図ることができる。
【0059】
図10は、ユーザ名からミキシングデータを選択するための画面を示す説明図である。
【0060】
タブレット3は、演者名の代わりにユーザ名を使用して、ミキサ1に対して、ミキシングデータを設定させてもよい。この場合、表示器31は、演者名のときと同様に、ユーザがユーザ名を入力するユーザ名入力欄(図示せず)を表示する。また、表示器31は、
図10に示すように、例えば、チャンネル名312の下にユーザ名のユーザ名リスト316Aを表示してもよい。タッチパネル37は、ユーザが入力又は選択したユーザ名を受け付ける。ミキシングデータ設定部363は、受け付けたユーザ名と楽器名との組み合わせに対応するミキシングデータを取得又は決定する。ミキシングデータ設定部363は、表示器31に取得又は決定したチャンネル名をチャンネル名312に表示させる。ミキシングデータ設定部363は、ミキサ1に対して、取得又は決定したミキシングデータを、ユーザが選択したチャンネルに設定させる。なお、表示器31は、楽器名が識別された後、ユーザがユーザ名を選択するまで、楽器名を一時的に表示してもよい。
【0061】
ミキシングデータは、楽器の種別が同じでも、ミキサ1を使用するユーザによって異なる。この例では、タブレット3は、ユーザがユーザ名を入力(選択)することで、入力されたオーディオ信号の楽器名だけでなく、楽器名とユーザが選択したユーザ名との組み合わせに対応するミキシングデータを取得する。タブレット3は、楽器名とユーザ名との組み合わせに対応するミキシングデータを取得することで、使用するチャンネル名及びパラメータの精度をより向上する。
【0062】
なお、変形例2のタブレット3は、演者データ、ユーザデータの他に、演奏場所、又はユーザが使用するタブレットデータ等をユーザが入力(選択)するように構成されてもよい。この場合、ユーザが過去に入力した演奏場所と、ミキシングデータとを対応づけてフラッシュメモリ33に記憶しておく。ミキシングデータ取得部362は、演奏場所と楽器名との組み合わせに対応するミキシングデータ又はタブレットデータと楽器名との組み合わせに対応するミキシングデータを取得する。
【0063】
また、ユーザが過去に入力したタブレットデータとミキシングデータとを対応付けてフラッシュメモリ33に記憶しておく。この場合、ミキシングデータ取得部362は、タブレットデータと楽器名との組み合わせに対応するミキシングデータを取得する。
【0064】
また、演者データ及びユーザデータは、名前に限定されず、顔写真等でもよい。この場合、演者又はユーザは、例えば、タブレット3の機能の1つであるカメラ機能を用いて顔写真を撮影する。タブレット3は、該顔写真とミキシングデータをミキサ1に設定する。この設定以後、ユーザが、演者又はユーザの顔写真をタブレット3を用いて撮影し、撮影した顔写真が過去にミキシングデータを設定したときの顔写真と一致すれば、タブレット3は、ミキサ1に対して、楽器名と顔写真との組み合わせに対応するミキシングデータを、ユーザが選択したチャンネルに、設定させる。
【0065】
[変形例3]
変形例3のタブレット3について説明する。変形例3のタブレット3は、ニューラルネットワーク等の所定のアルゴリズム(AI:Artificial-Intelligence)により、適切なミキシングデータを選択する。また、タブレット3は、アルゴリズムを構築するための学習機能を備える。
【0066】
タブレット3は、過去の履歴、あるいは利用者が予め入力した設定に基づいて、ミキシングデータを自動的に選択(生成)する。
【0067】
タブレット3は、ミキシングデータを選択するモデルを訓練する学習段階と、学習段階から得たモデル(学習済モデル)を用いてミキシングデータを選択する利用段階と、に分けて、学習段階及び利用段階のそれぞれに応じて動作を行う。
【0068】
以下、学習段階と利用段階とを使用した例を説明する。
【0069】
タブレット3が、音源識別部361が識別した楽器の種別に基づいて、ミキシングデータを選択する場合について説明する。学習段階において、タブレット3は、楽器の種別を入力データの要素として用いる。また、タブレット3は、ミキシングデータ(チャンネル名、ゲイン、送り先及びセンドレベル等)を出力データの要素として用いる。タブレット3は、これらの入力データ及び出力データを組み合わせたデータを教師データとして、ミキシングデータを選択するモデルを学習する。
【0070】
学習済モデルの利用段階において、ミキシングデータ取得部362は、音源識別部361が識別した楽器の種別を学習済モデルの入力データとして用いて、学習済モデルの出力データからミキシングデータを取得する。ミキシングデータ設定部363は、取得されたミキシングデータをミキサ1に送信する。
【0071】
学習に用いるモデルは、例えば、設定頻度に応じて重み付けするものであっても良い。タブレット3は、例えば、ある楽器の種別に対してあるミキシングデータの設定頻度をカウントしておき、設定頻度が高いミキシングデータを出力する。
【0072】
また、モデルには、サポートベクターマシンやニューラルネットワークも適用することができる。ニューラルネットワークとして、ディープニューラルネットワーク(DNN(Deep Neural Network))を使用することもできる。タブレット3は、DNNとして、畳み込みニューラルネットワーク(CNN(Convolutional Neural Network))や回帰的ニューラルネットワーク(RNN(Recurrent Neural Network))を使用してもよい。また、タブレット3は、RNNとして、LSTM(Long-Short Term Model)を使用してもよい。タブレット3は、CNNを使用した場合、モデルに入力する楽器の種別データとして、画像データを扱うことができる。これにより、タブレット3は、例えば、入力データとして、ユーザの手書きの文字、楽器のアイコン又は写真等の画像を扱うことができる。タブレット3は、RNNを使用した場合、モデルに入力する楽器の種別データとして、楽器名や楽器に関する解説文を扱うことができる。これにより、タブレット3は、モデルに適用するために、楽器名をラベルデータに変更する手間を省くことができる。また、タブレット3は、ユーザが知らない楽器名の楽器でもミキシングデータを選択することができる。
【0073】
フラッシュメモリ33は、過去にユーザが設定した多数の音源の種別(楽器名)毎のミキシングデータ(チャンネル名、ゲイン、送り先、及びセンドレベル等)を記憶している。タブレット3は、例えば、入力データの要素として、過去にユーザが設定した多数の音源の種別(楽器名)、及び出力データの要素としてミキシングデータを用いる。このような入力データ及び出力データが用いられることにより、生成済モデルは、タブレット3のユーザが過去に行ったミキシングデータの設定の傾向又は癖を考慮して、楽器名とミキシングデータとの対応関係(規則性)を学習する。
【0074】
一般に、例えば、バンド演奏の各演者は、ベースの音を重視して聴くことが多い。この場合、ユーザは、ベースの音が入力される入力チャンネルから各送り先(各演奏者の聴く音源となる各出力チャンネル)へのセンドレベルを高めに設定する。学習段階において、入力データをバンド演奏の音源種別、出力データを過去にユーザがバンド演奏のミキシング設定に使用したセンドレベルを用いると、利用段階において、学習済モデルは、センドレベルを高めに設定するミキシングデータを選択する。すなわち、タブレット3は、識別した楽器の種別がベースであれば、センドレベルを高めに設定するミキシングデータを選択する。
【0075】
また、タブレット3は、例えば、学習段階において、演者名、ユーザ名、及び演奏場所等の複数の条件を入力データとして入力する。タブレット3は、これらの複数の条件からミキシングデータを選択し、出力データとして出力する。この場合、学習済モデルは、演者名、ユーザ名、及び演奏者等の複数の条件に依存したものとなる。例えば、学習段階において、入力データとして演者名が入力されると、利用段階において、ミキシングデータ取得部362は、演者の演奏音が入力された入力チャンネルのエフェクタセッティングにおいて演者の癖を考慮したミキシングデータを取得する。また、ミキシングデータ取得部362は、演者の聴く出力チャンネルに、演者が所望するミキシングデータを取得する。また、例えば、学習段階において、入力データとしてユーザ名が入力されると、利用段階において、ミキシングデータ取得部362は、ユーザであるミキシングエンジニアが普段行っているミキシングデータを取得する。また、例えば、学習段階において、入力データとして演奏場所が入力されると、利用段階において、ミキシングデータ取得部362は、その演奏場所に特化した音場を再現するミキシングデータを取得する。ミキシングデータ取得部362は、例えば、演奏場所が特定の帯域がハウリングやうねりを起こしやすい場合、当該帯域に対してゲインを下げるようなイコライザ設定を含むミキシングデータを取得する。
【0076】
また、タブレット3は、音の特徴量に基づいて、ミキシングデータを選択してもよい。この場合、タブレット3は、学習段階において、チャンネルに入力された音を入力データの要素として用いる。また、タブレット3は、ミキシングデータ(チャンネル名、ゲイン、送り先、及びセンドレベル等)を出力データの要素として用いる。このように、タブレット3は、ミキシングデータを選択するモデルを学習する。学習済モデルの利用段階において、ミキシングデータ取得部362は、チャンネルに入力される音を学習済モデルの入力データとし、学習済モデルの出力データからミキシングデータを取得する。このような学習済モデルを用いることで、例えば、タブレット3は、エレキギターの音の特徴量を分析し、エレキギターに対応する複数のミキシングデータのなかから、最も適したミキシングデータを選択することができる。
【0077】
データベースに多くのミキシングデータが蓄積されると、ユーザは、多くのミキシングデータのなかから、音源の種別に適したミキシングデータを選択するのが難しくなる。そこで、タブレット3は、識別した音源の種別に対応するミキシングデータをAIにより自動で選択する。これにより、ユーザが音源の種別に適したミキシングデータを選択するのに迷わずにすむので、タブレット3は、ミキシングデータの設定に関する時間を短縮することができる。
【0078】
[変形例4]
変形例4のオーディオシステム100Aを、
図11及び
図12を参照して説明する。
図11は、変形例4のオーディオシステム100Aの構成を示す構成図である。
図12は、DCA(Digital Controlled Amplifier)機能を含む画面の一例を示す説明図である。なお、上述の実施形態のタブレット3と同じ構成に関しては、同じ符号を付し説明を省略する。
【0079】
DCAは、複数のチャンネルのレベルのバランスを保ちながら、複数のチャンネルのパラメータ(例えば、センドレベル)を一括して1つのフェーダで調節する機能である。この例では、DCA1を使用して、チャンネル1、チャンネル2及びチャンネル3のセンドレベルを一括操作する。
【0080】
ここでは、
図12に示すように、ドラムを構成する複数の楽器(ベースドラム、スネアドラム及びハイハット)のセンドレベルをDCA1のフェーダで一括操作する例で説明する。また、この例では、ミキシングデータは、複数のチャンネルからなるグループを定義するためのグループ定義データを含む。グループ定義データとは、チャンネル毎にどのDCAに属しているかを示すデータである。
【0081】
この例では、ユーザが過去に、ベースドラム、スネアドラム及びハイハットのセンドレベルをDCA1で一括操作するように、タブレット3で設定していたとする。この時、タブレット3は、ベースドラム、スネアドラム及びハイハットがDCA1に属していたとするグループ定義データを、ベースドラム、スネアドラム及びハイハットのそれぞれのミキシングデータの一部としてフラッシュメモリ33に記憶する。
【0082】
ミキシングデータ取得部362は、ミキシングデータに含まれた、音源2-1の楽器(ベースドラム)のグループ定義データを、フラッシュメモリ33から読み出す。ミキシングデータ設定部363は、ユーザが選択したチャンネル(この例ではチャンネル1)のデータ及びグループ定義データを含むミキシングデータをミキサ1に送信する。ミキサ1は、グループ定義データによって、チャンネル1(ベースドラム)がDCA1(DRUMS)に属するようにDCA1を設定する。
【0083】
また、上述と同様に、ミキシングデータ取得部362は、音源識別部361が音源2-2の楽器(スネアドラム)を識別した場合、DCA1に属していることを示すグループデータを含むミキシングデータを読み出す。ミキシングデータ設定部363は、ユーザが選択したチャンネル(ここではチャンネル2)及びグループ定義データを含むミキシングデータをミキサ1に送信する。ミキサ1は、グループ定義データによって、チャンネル2(スネアドラム)がDCA1(DRUMS)に属するようにDCA1を設定する。
【0084】
さらに、ミキシングデータ取得部362は、音源識別部361が音源2-3の楽器(ハイハット)を識別した場合、DCA1に属していることを示すグループデータを含むミキシングデータを読み出す。ミキシングデータ設定部363は、ユーザが選択したチャンネル(ここではチャンネル3)及びグループ定義データを含むミキシングデータをミキサ1に送信する。ミキサ1は、グループ定義データによって、チャンネル3(ハイハット)がDCA1(DRUMS)に属するようにDCA1を設定する。
【0085】
ミキサ1は、タブレット3から送信されたグループ定義データにより、チャンネル1(ベースドラム)、チャンネル2(スネアドラム)及びチャンネル3(ハイハット)を、DCA1に設定する。
【0086】
このように、変形例4では、タブレット3が、複数のチャンネルがDCAに属していることを示すグループ定義データをミキサ1に送信することで、ミキサ1がDCAを自動で設定する。すなわち、ユーザは、以前DCAに設定したチャンネルについて、新たにDCAを設定しなくてもよい。これにより、ユーザは、DCAの設定に関する手間が省け、効率よく、作業することができる。
【0087】
なお、変形例4について、変形例3で述べたタブレット3を利用する場合、この例では、学習段階において、入力データの要素としてチャンネルのチャンネル名が用いられる。タブレット3は、出力データから、対応する入力データ(チャンネル名)がDCAに属しているか否かを判定する。さらに、タブレット3は、出力データから、対応する入力データがDCAに属している場合、該DCAの番号を学習する。タブレット3は、利用段階において、学習済モデルの出力データからミキシングデータを取得する。この例では、変形例3に記載のとおり、モデルを同様に適用できる。
【0088】
なお、タブレット3は、予め(ユーザの利用前に)、グループ定義データを設定してもよい。例えば、ベースドラム、スネアドラム、及びハイハットの楽器は、DCA1に対応付けられる旨のミキシングデータを予めフラッシュメモリ33に記憶しておいてもよい。この場合、ユーザが最初にタブレット3を利用する時点で、ドラムに関わる楽器は同じDCAに設定される。
【0089】
[変形例5]
変形例5のオーディオシステム100Bを、
図13を参照して説明する。
図13は、タブレット3がネットワーク5を介してサーバ4と接続されている例を示す構成図である。
【0090】
ネットワークI/F35は、ネットワーク5を介して、サーバ4と種々のデータを送受信する。
【0091】
この例では、サーバ4は、複数の機器(パーソナルコンピュータ、ミキサ、及びタブレット等)と通信する。サーバ4は、複数の機器から楽器の種別(楽器名)を示すデータと、楽器名に対応付けられたミキシングデータを受信する。サーバ4は、楽器名と、楽器名に対応付けられたミキシングデータをデータベースに蓄積する。なお、データベースは、サーバ4に設けられていてもよいし、サーバ4と接続する外付けのメモリに構成されていてもよい。
【0092】
また、サーバ4は、学習機能が設けられている。サーバ4は、蓄積している複数の楽器名とミキシングデータとの対応関係を示すデータベースから機械学習又はディープラーニングにより規則性を学習し、該規則性によって構築した所定のアルゴリズムに基づいて、適したミキシングデータを選択する。ミキシングデータを選択するためのモデルの訓練方法(学習段階)と、モデルを用いたミキシングデータの生成方法(利用段階)とについては、変形例3のタブレット3の動作と同様であるため省略する。ただし、変形例3のタブレット3は、教師データとして主に当該タブレット3で過去に設定されたミキシングデータを使用する。これに対して、サーバ4は、教師データとしてサーバ4に接続された複数の機器で設定されたミキシングデータを教師データとする点が異なる。サーバ4は、学習モデルを膨大な教師データにより生成するため、変形例3のタブレット3よりも高精度でロバスト性の高いモデルを生成することが可能となる。
【0093】
サーバ4は、例えば、タブレット3から楽器名を示すデータを受信すると、該楽器名に対応するミキシングデータを、データベースのなかから検出する。アルゴリズムの一例としては、例えば、最近1か月間の間に最も頻繁に使用されたミキシングデータを検出する。そして、サーバ4は、楽器名を送信したタブレット3に、該楽器名に対応するミキシングデータを送信する。
【0094】
データベースは、多くの機器から多くのミキシングデータを蓄積しているので、個別のタブレット3に記憶されたミキシングデータから適したミキシングデータを選択する場合と比較して、検出アルゴリズムの精度が飛躍的に向上する。また、この例では、タブレット3は、自装置にミキシングデータの使用(設定)履歴が蓄積されていない状態でも、サーバ4から、精度よくミキシングデータを検出することができる。このように、タブレット3は、サーバ4と接続されていることで、より適したミキシングデータを取得することができる。
【0095】
なお、サーバ4は、楽器名に対応付けたミキシングデータを楽器名別に蓄積する例に限定されない。サーバ4は、タブレット3からオーディオ信号を受信して、受信したオーディオ信号の特徴量から、適したミキシングデータをデータベースから検出してもよい。この場合、サーバ4は、受信したオーディオ信号の特徴量を抽出し、近似の特徴量に対応するミキシングデータを検出する。
【0096】
また、サーバ4は、タブレット3が識別した音源の種別(楽器名)を用いて取得したチャンネル名を受信して、該チャンネル名からミキシングデータをデータベースから検出してもよい。
【0097】
本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲には、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0098】
1…ミキサ(ミキシング装置)
3…タブレット(オーディオ信号処理装置)
4…サーバ
31…表示器
32…マイク(オーディオ信号入力部)
35…ネットワークI/F(通信部)
37…タッチパネル(操作受付部)
361…音源識別部
362…ミキシングデータ取得部
363…ミキシングデータ設定部