特許 6915422 音処理装置及び表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6915422

(24)【登録日】2021年7月19日

(45)【発行日】2021年8月4日

(54)【発明の名称】音処理装置及び表示方法

(51)【国際特許分類】

   H04R 3/00 20060101AFI20210727BHJP

【ＦＩ】

   H04R3/00

【請求項の数】13

【全頁数】20

(21)【出願番号】特願2017-140323(P2017-140323)

(22)【出願日】2017年7月19日

(65)【公開番号】特開2019-22128(P2019-22128A)

(43)【公開日】2019年2月7日

【審査請求日】2020年5月26日

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】100077539

【弁理士】

【氏名又は名称】飯塚 義仁

(72)【発明者】

【氏名】斉藤康祐

【審査官】 西村 純

(56)【参考文献】

【文献】 特開２０１３−１７２２３１（ＪＰ，Ａ）

【文献】 特開２００４−０８８６０８（ＪＰ，Ａ）

【文献】 特表２０１４−５１０９６８（ＪＰ，Ａ）

【文献】 特開２０１１−２３９０１９（ＪＰ，Ａ）

【文献】 北谷 光浩、ほか２名，ミックスダウンの視覚化による支援シテムの開発，情報処理学会 インタラクション 2014，２０１４年 ２月２８日

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｓ １／００− ７／００

Ｈ０４Ｒ ３／００− ３／１４

(57)【特許請求の範囲】

【請求項1】

それぞれ、入力された音信号を信号処理する複数のチャンネルと、
前記複数のチャンネルで信号処理された音信号を混合して、混合後の混合音信号を出力するバスと、
前記チャンネル毎に、前記バスで混合される前の音信号の周波数帯域を示す周波数情報を取得する周波数情報取得手段と、
前記チャンネル毎に、前記バスで混合される前の音信号の定位を示す定位情報を取得する定位情報取得手段と、
前記取得した周波数情報及び定位情報に基づいて前記音信号の周波数及び定位の分布を示す表示物をディスプレイに表示する表示制御手段であって、前記複数のチャンネルのそれぞれに対応する複数の前記表示物を１つの表示画面内に表示する前記表示制御手段と、
前記バスで混合された音信号を信号処理し、処理結果を出力するバスチャンネル
を備え、
前記周波数情報取得手段は、更に、前記バスチャンネルの音信号の周波数情報を取得し、
前記定位情報取得手段は、更に、前記バスチャンネルの音信号の定位情報を取得し、
前記表示制御手段は、前記バスチャンネルの音信号の周波数情報及び定位情報に基づく該バスチャンネルの音信号の周波数及び定位分布を示す表示物を、前記チャンネル毎の表示物に重ねて表示することを特徴とする音処理装置。

【請求項2】

前記周波数情報取得手段は、前記チャンネル毎に、そのチャンネルの音信号に対する周波数分析処理を行うことにより、前記周波数情報を取得することを特徴とする請求項１に記載の音処理装置。

【請求項3】

前記周波数情報取得手段は、前記チャンネル毎に、そのチャンネルに入力されている音信号に対応する楽器種類を判別し、該判別した楽器種類に応じた前記周波数情報を取得することを特徴とする請求項１に記載の音処理装置。

【請求項4】

前記周波数情報取得手段は、そのチャンネルの音信号に対する楽器種類判別処理により、前記楽器種類の判別を行うことを特徴とする請求項３に記載の音処理装置。

【請求項5】

前記周波数情報取得手段は、そのチャンネルに設定されたチャンネル情報に基づいて前記楽器種類を判別することを特徴とする請求項３に記載の音処理装置。

【請求項6】

前記定位情報取得手段は、前記チャンネル毎の音信号の定位情報を、音量差により定位を決定するパンのパラメータ値に基づき取得することを特徴とする請求項１乃至５の何れかに記載の音処理装置。

【請求項7】

前記定位情報取得手段は、チャンネル毎の音信号の定位情報を、時間差により定位を決定する遅延パンのパラメータ値に基づき取得することを特徴とする請求項１乃至５の何れかに記載の音処理装置。

【請求項8】

前記表示制御手段は、更に、前記チャンネル毎の音信号の音量に応じて、そのチャンネルの表示物の大きさを調節することを特徴とする請求項１乃至７の何れかに記載の音処理装置。

【請求項9】

前記表示制御手段は、更に、前記チャンネル毎の音信号の音域に応じて、そのチャンネルの表示物の大きさを調節することを特徴とする請求項１乃至８の何れかに記載の音処理装置。

【請求項10】

前記表示制御手段は、前記表示物をチャンネル毎に異なる表示態様で表示することを特徴とする請求項１乃至９の何れかに記載の音処理装置。

【請求項11】

前記表示制御手段は、複数のチャンネルの表示物が重なる部分を、その他の部分とは異なる表示態様で表示することを特徴とする請求項１乃至１０の何れかに記載の音処理装置。

【請求項12】

前記表示制御手段は、前記バスへの出力がオフされているチャンネルの前記表示物を、同出力がオンされているときとは異なる表示態様で表示することを特徴とする請求項１乃至１１の何れかに記載の音処理装置。

【請求項13】

複数のチャンネルそれぞれで、入力された音信号を信号処理するステップと、
前記複数のチャンネルで信号処理された音信号をバスで混合して、該混合後の音信号を出力するステップと、
前記チャンネル毎に、前記バスで混合される前の音信号の周波数帯域を示す周波数情報を取得するステップと、
前記チャンネル毎に、前記バスで混合される前の音信号の定位を示す定位情報を取得するステップと、
前記取得した周波数情報及び定位情報に基づいて前記音信号の周波数及び定位の分布を示す表示物をディスプレイに表示するステップであって、前記複数のチャンネルのそれぞれに対応する複数の前記表示物を１つの表示画面内に表示する前記ステップと、
前記バスで混合された音信号をバスチャンネルに入力して信号処理するステップと、
前記バスチャンネルから出力される音信号の周波数情報を取得するステップと、
前記バスチャンネルから出力される音信号の定位情報を取得するステップと、
前記バスチャンネルから出力される音信号の周波数情報及び定位情報に基づく該バスチャンネルの音信号の周波数及び定位分布を示す表示物を、前記１つの表示画面内において前記チャンネル毎の表示物に重ねて表示するステップ
を備える表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、例えば複数のチャンネル（以下、「ｃｈ」と略記）を有するオーディオミキサなどに用いて好適な音処理装置及び表示方法に関する。

【0002】

オーディオミキサ（以下、単に「ミキサ」とも言う）は、基本的には、複数の入力ｃｈそれぞれにて、音源から入力された音信号に信号処理を施し、処理後の音信号をバスにて混合し、混合された混合音信号を出力ｃｈにて処理して、処理後の混合音信号を出力先に出力するように構成される。ユーザ（ミキサのオペレータ）は、各種パラメータの値を設定することによりミキサの動作を制御する。この明細書では、ミキサの動作を制御する各種パラメータの値を設定する操作を「ミキシング操作」という。

【0003】

ユーザは、ミキシング操作により複数の音源（例えば複数の楽器）の音信号の音量レベル、周波数特性、定位などを音源毎（入力ｃｈ毎）に調節し、混合音信号に含まれる個々の音源の音信号のバランスを整える。このミキシング操作において重要な点の１つに、個々の音源（例えば個々の楽器）の音が「粒立ち良く」聞こえるようにすることがある。この明細書において、「音の粒立ち」とは、聴取者が感じる、混合音信号に含まれる個々の音の分離感である。また、「音の分離感」とは、聴取者が音信号を聴いたときに、その音信号に含まれる複数の音源を、どの程度、個別に（分離して）聴取できるかを感覚的に示す表現である。例えば、音の分離感が良いとは、音の「粒立ち」が良いこと、すなわち、混合音信号に含まれる個々の音源の音が、聴取者にとって個別に分離して、明りょうに聞き取ることができる、ということを示す。

【0004】

分離感を作るためのミキシング操作には、例えば、ハイパスフィルタやイコライザにより周波数特性を調節して音信号の周波数軸上の干渉を防ぐこと、ゲートやコンプレッサにより音量を時間的に制御して無駄な余韻や残響が他の音を邪魔することを防ぐこと、或いは、パンにより定位を調節して音信号を空間的に分離することが含まれる。かかる音の分離感を作るためのミキシング操作は、通常は、ユーザの聴覚を頼りに行われる。聴覚を頼りに音の分離感を作り出すことは、ユーザの耳の良さや高度な技能を必要とする。

【0005】

一方で、従来、複数の音源の音を混合した混合音信号について、その混合音信号を複数の周波数帯域に分けて、周波数帯域毎の定位を視覚的に表示する技術がある。

【0006】

例えば、特許文献１には、例えば２ｃｈステレオ構成の音信号（「ステレオ信号」という）を複数の周波数帯域に分けて、周波数帯域毎の定位とレベル情報を算出し、定位と周波数との２軸からなる２次元平面に、算出された周波数帯域毎の定位を、レベル情報に対応する大きさあるいは色の図形により表示する特性表示装置が記載されている。

【0007】

また、特許文献２は、ステレオ音信号を複数の周波数帯域に分けて、各周波数帯域における定位角度毎の音量値を調査し、調査結果に基づいて、定位位置と周波数との２軸からなる２次元平面に、各周波数帯域における定位角度毎の音量値を表示し、更に、その２次元平面上で範囲を指定し、指定された範囲内に属する音信号の音量を調節する技術を開示している。

【0008】

また、引用文献３には、ステレオ音信号を複数の周波数帯域に分け、各周波数帯域の定位情報に基づいて、定位‐周波数平面上における各周波数帯域の表示位置を算出し、且つ、各表示位置に対応する周波数帯域のレベルを所定の分布を用いて展開して得られる第１のレベル分布を全ての周波数帯域について合算した第２のレベル分布を算出し、その算出した第２のレベル分布を、定位軸と周波数軸とレベル軸とから構成される三次元座標をレベル軸方向から見たものとして表示することが記載されている。

【0009】

しかし、上記の特許文献１〜３は、何れも、ステレオ信号にミキシングされた混合音信号（ステレオミキシングされた音楽作品など）を処理対象とし、混合音信号を複数の周波数帯域に分けて、帯域毎の定位分布を表示するに過ぎない。従って、上記の特許文献１〜３は、何れも、混合音信号に含まれる個々の音源を表示により区別することはできなかった。例えば、特許文献３は、混合音信号に含まれる個々の音源を表示により区別し得る旨を記載するが、それは、ユーザが、前記分割された周波数帯域毎の定位分布の表示を部分的に１つのグループとみなし、そのグループを例えばボーカル、ドラムス、或いは、ベースといった楽器種類に対応付けて認識し得ることに過ぎない。従って、例えば音源毎に独立した表示物で表現したり、或いは、音源毎に異なる表示色で表現したりすることはできない。また、上記の特許文献１〜３の従来技術は、何れも、混合前の入力ｃｈ毎の音信号の音作り（ミキシング操作）の場面での使用を考慮していない。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】特許第３９１２３８６号公報

【特許文献2】特許第４８９４３８６号公報

【特許文献3】特許第５６３９３６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0011】

この発明は、上述の点に鑑みてなされたもので、例えばオーディオミキサ等の音処理装置において、バスで混合する前の、複数のチャンネルの音信号の分離感を視覚化できるようにした音処理装置を提供することを目的とする。

【課題を解決するための手段】

【0012】

この発明は、それぞれ、入力された音信号を信号処理する複数のチャンネルと、前記複数のチャンネルで信号処理された音信号を混合して、混合後の混合音信号を出力するバスと、前記チャンネル毎に、前記バスで混合される前の音信号の周波数帯域を示す周波数情報を取得する周波数情報取得手段と、前記チャンネル毎に、前記バスで混合される前の音信号の定位を示す定位情報を取得する定位情報取得手段と、前記取得した周波数情報及び定位情報に基づいて前記音信号の周波数及び定位の分布を示す表示物をディスプレイに表示する表示制御手段であって、前記複数のチャンネルのそれぞれに対応する複数の前記表示物を１つの表示画面内に表示する前記表示制御手段と、前記バスで混合された音信号を信号処理し、処理結果を出力するバスチャンネルを備え、前記周波数情報取得手段は、更に、前記バスチャンネルの音信号の周波数情報を取得し、前記定位情報取得手段は、更に、前記バスチャンネルの音信号の定位情報を取得し、前記表示制御手段は、前記バスチャンネルの音信号の周波数情報及び定位情報に基づく該バスチャンネルの音信号の周波数及び定位分布を示す表示物を、前記チャンネル毎の表示物に重ねて表示することを特徴とする音処理装置である。

【0013】

この発明によれば、チャンネル毎に、バスで混合される前の音信号の周波数情報及び定位情報を取得し、その音信号の周波数及び定位の分布を示す表示物を表示画面に表示する。１つの表示画面に、複数のチャンネルそれぞれに対応する複数の表示物（チャンネル毎の音信号の周波数及び定位の分布）を表示することで、個々のチャンネルの音信号の周波数及び定位の分布を視覚化することができる。それらチャンネル毎の表示物の位置や相互関係は、前記バスの混合信号における個々の音信号の分離感を視覚的に表す。さらに、バスチャンネルの音信号の周波数情報及び定位情報に基づく該バスチャンネルの音信号の周波数及び定位分布を示す表示物が、前記チャンネル毎の表示物に重ねて表示される。

【0014】

また、この発明は、装置の発明として構成及び実施し得るのみならず、前記装置を構成する各構成要素を備える方法の発明として実施及び構成されてよい。

【発明の効果】

【0015】

この発明によれば、例えばオーディオミキサ等の音処理装置において、バスで混合する前の、複数のチャンネルの音信号の分離感を視覚化でき、さらに、バスチャンネルの音信号の周波数情報及び定位情報に基づく該バスチャンネルの音信号の周波数及び定位分布を示す表示物を重ねて表示することができる、という優れた効果を奏する。

【図面の簡単な説明】

【0016】

【図1】この発明に係る音処理装置の構成例を示す概念的ブロック図。

【図2】この発明の音処理装置の実施形態であるデジタルミキサのハードウェア構成を示すブロック図。

【図3】図２のミキサの信号処理構成を説明するブロック図。

【図4】図３の入力ｃｈの構成を説明するブロック図。

【図5】図３の出力ｃｈの構成を説明するブロック図。

【図6】図３に示したキューｃｈの構成を説明するブロック図。

【図7】周波数‐定位分布表示画面の一例を示す図。

【図8】周波数‐定位分布表示画面の表示処理全体を説明するフローチャート。

【図9】前記図８における周波数情報取得処理を示すフローチャート。

【図10】前記図８における定位情報取得処理を示すフローチャート。

【図11】前記図８における表示処理を示すフローチャート。

【図12】周波数‐定位分布の表示物の別の例を示す図。

【図13】前記図１２の表示を行なうための表示処理を示すフローチャート。

【図14】周波数‐定位分布の表示物の更に別の例を示す図。

【図15】前記図１４の表示を行なうための表示処理を示すフローチャート。

【図16】前記定位情報取得処理の変更例を示すフローチャート。

【図17】前記周波数情報取得処理の変更例を示すフローチャート。

【図18】前記周波数情報取得処理の別の変更例を示すフローチャート。

【図19】周波数‐定位分布の表示物の更に別の例であって、更に混合音信号の周波数‐定位分布を示す表示物を表示する例を示す図。

【発明を実施するための形態】

【0017】

以下、添付図面を参照して、この発明の一実施形態について詳細に説明する。

【0018】

図１は、この発明に係る音処理装置の構成例を説明する概念的ブロック図である。図１の音処理装置１は、それぞれ、入力する音信号を信号処理する複数のチャンネル（以下、「ｃｈ」と略記）１２０と、前記複数のチャンネル２による処理後の音信号を混合するバス１３０と、ｃｈ１２０毎に、バス１３０で混合される前の音信号に含まれる周波数帯域を示す周波数情報を取得する周波数情報取得手段２と、ｃｈ１２０毎に、バス１３０で混合される前の音信号の定位を示す定位情報を取得する定位情報取得手段３と、取得した周波数情報及び定位情報に基づいて音信号の周波数及び定位の分布を示す表示物をディスプレイ（図２の符号１８）に表示する表示制御手段４であって、複数のｃｈのそれぞれに対応する複数の表示物を１つの表示画面内に表示する表示制御手段４を備える。第１取得部２、第２取得部３及び表示制御手段４の動作は、プロセッサ（後述のＣＰＵ１１）がメモリ（１２）に記憶されたプログラムを実行することにより実現される。

【0019】

図１の音処理装置１は、例えば、オーディオミキサ等の音信号を扱う音響機器に適用され得る。以下の一実施形態は、音処理装置１をオーディオミキサ１０に適用した例について説明する。オーディオミキサ１０は、専らデジタル信号処理により音信号を処理するデジタルミキサ（以下単に「ミキサ」とも言う）とする。

【0020】

図２は、ミキサ１０は、ＣＰＵ（Central Processing Unit）１１、メモリ１２、表示器インタフェース（以下、インタフェースを「Ｉ／Ｆ」と記す）１３、操作子Ｉ／Ｆ１４、信号処理装置１５、及び、波形Ｉ／Ｆ１６を備え、これらが通信バス１７によって接続されている。また、表示Ｉ／Ｆ１３にはディスプレイ１８が、また、操作子Ｉ／Ｆ１４には操作子１９がそれぞれ接続されている。

【0021】

ＣＰＵ１１は、ミキサ１０の動作を統括制御する制御手段であり、メモリ１２に記憶された各種プログラムを実行することにより、表示Ｉ／Ｆ１３を介したディスプレイ１８の表示の制御、操作子Ｉ／Ｆ１４を介した検出された操作子１９の操作に応じた処理、信号処理装置１５における信号処理の制御等を行う。ＣＰＵ１１が行う、ディスプレイ１８の表示の制御は、後述図７の周波数‐定位分布を表示する処理を含む。

【0022】

メモリ１２は、フラッシュメモリ及びＲＡＭ（Random Access Memory）を含み、ＣＰＵ１１が実行する制御プログラム等を不揮発的に記憶したり、信号処理装置１５における信号処理に反映させるパラメータの値を記憶したり、ＣＰＵ１１のワークメモリとして使用したりする。

【0023】

表示Ｉ／Ｆ１３は、ディスプレイ１８を通信バス１７に接続して、ＣＰＵ１１からの指示に従ってその表示内容を制御するためのインタフェースである。ディスプレイ１８は、液晶ディスプレイ（ＬＣＤ）、有機ＥＬ、発光ダイオード等であり、ＣＰＵ１１からの指示に従って、各種画面やパラメータ値やレベル等を表示する。図１の表示部４は、表示器Ｉ／Ｆ１３及びディスプレイ１８を含む。

【0024】

操作子Ｉ／Ｆ１４は、操作子１９を通信バス１７に接続してＣＰＵ１１からの指示に従ってその操作内容を検出するためのインタフェースである。操作子１９は、ミキサの操作パネル上に配置された複数の操作子および関連するインタフェース回路等である。操作子１９には、チャンネルストリップ毎のフェーダ操作子、ロータリーエンコーダ及びキーを含む。

【0025】

信号処理装置１５は、例えばＤＳＰ（Digital Signal Processor）や、ＣＰＵ１１およびメモリ１２に記憶されたソフトウェアにより仮想的に実現された信号処理装置で構成される。信号処理装置１５は、信号処理用のプログラムを実行することにより、波形Ｉ／Ｆ１６から供給される音信号に対し、信号処理のパラメータの値に従った信号処理を施す。この信号処理は、メモリ１２に記憶されたパラメータの値に基づいて制御される。

【0026】

波形Ｉ／Ｆ１６は、ＡＤＣ（Analog to Digital Converter、アナログ-デジタル変換器）回路及びＤＡＣ（Digital to Analog Converter、デジタル-アナログ変換器）回路を含み、複数の入力ジャックを介して外部の入力機器（不図示）から入力するアナログ音信号をそれぞれデジタル音信号に変換して信号処理装置１５に供給する機能、及び、信号処理装置１５から複数チャンネルのデジタル音信号を受け取り、それぞれアナログ音信号に変換して、該音信号と対応付けられた出力ジャックから外部の出力機器（不図示）へ出力する機能を備える。

【0027】

図３、図４、図５及び図６は、信号処理装置１５で実行される信号処理の構成を示す。図３は信号処理の全体構成を示す。図３に示す通り、この信号処理は、入力パッチ１１０、１番目からＮ番目までのＮ（Ｎは整数）の入力ｃｈ１２０ａ、１２０ｂ・・・１２０ｎと、Ｍ（Ｍは整数）のバス１３０ａ、１３０ｂ・・・１３０ｍと、Ｍのバス１３０ａ、１３０ｂ・・・１３０ｍのそれぞれに対応するＭの出力ｃｈ１４０ａ、１４０ｂ・・・１４０ｍと、１のキューバス１５０と、該キューバス１５０に対応するキューｃｈ１６０と、出力パッチ１７０からなる。図１のｃｈ１２０には、Ｎの入力ｃｈ１２０ａ、１２０ｂ・・・１２０ｎの他、Ｍの出力ｃｈ１４０ａ、１４０ｂ・・・１４０ｍ及びキューｃｈ１６０も含まれる。また、図１のバス１３０には、Ｍのバス１３０ａ、１３０ｂ・・・１３０ｍの他、及びキューバス１５０も含まれる。明細書において、例えば入力ｃｈ１２０ａ、１２０ｂ・・・１２０ｎのように複数備わる要素については、符号にアルファベットを添えて個々の要素を区別しているが、個々の要素を区別する必要の無い場合は、例えば「入力ｃｈ１２０」という具合に、符号に添えたアルファベットを省略する。

【0028】

入力パッチ１１０は、１番目からＮ番目までの入力ｃｈ１２０のそれぞれに、波形入出力部１６に設けた入力ジャック１１１のいずれかをパッチ（結線）し、パッチされた入力ジャック１１１から受け取った音信号を、該パッチした入力ｃｈ１２０に供給する。

【0029】

図４は、１つの入力ｃｈ１２０の構成例を示す。入力ｃｈ１２０において、そのパッチされた入力ジャックから受け取った音信号に対して、アッテネータ（Ａｔｔ）１２１、ハイパスフィルタ（ＨＰＦ）１２２、イコライザ（ＥＱ）１２３、ダイナミクス１２４、フェーダ１２５、オン／オフスイッチ（オン／オフ）１２６及びパン（Ｐａｎ）１２７の各要素が、それぞれ対応するパラメータの値に従って、信号処理を順次施す。具体的には、ＡＴＴ１２１は音信号の入力レベルを調節する。ＨＰＦ１２２は設定値を超える周波数帯域を逓減する。ＥＱ１２３は音信号の周波数特性を変化させる。ダイナミクス１２４は、設定値を超えた音信号を圧縮する処理（コンプレッサ）や設定値より音量の大きい音信号のみを通す処理（ゲート）などを含む。フェーダ１２５は音信号の音量を調節する。オン／オフスイッチ１２６は、入力ｃｈ１２０からバス１３０への音信号の出力をオンまたはオフする。パン１２７は、２ｃｈステレオの左右ｃｈ間の音量差により音信号の定位を決定する。定位は、周知の通り、例えば２ｃｈステレオ等の多ｃｈ再生環境における音像（聴取位置における聴覚上の音源）の位置を表す。入力ｃｈ１２０は、要素１２１〜１２７により信号処理された音信号を、１番目からＭ番目までのバス１３０に送出する。

【0030】

また、各入力ｃｈ１２０のキュースイッチ１２８は、キューオンの場合、３箇所の取り出し位置Ｐ１〜Ｐ３のいずれかにつながる接点を選択し、これにより、選択した取り出し位置Ｐ１、Ｐ２又はＰ３から取り出した音信号が試聴用の音信号としてキューバス１５０に送出される。キューオフの場合、キュースイッチ１２８は、取り出し位置Ｐ１〜Ｐ３のいずれかとも接続されない接点を選択し、これにより、その入力ｃｈ１２０の音信号はキューバス１５０に送出されない。ユーザは、入力ｃｈ１２０毎にキューオン／オフを設定し、所望の１又は複数の入力ｃｈ１２０の音信号を、試聴用音信号としてキューバス１５０に供給できる。

【0031】

１番目からＭ番目までの各バス１３０では、複数の入力ｃｈ１２０から供給された複数の音信号が混合される。混合後の混合音信号は、対応する出力ｃｈ１４０に供給される。１番目からＭ番目までの各出力ｃｈ１４０では、図５に示す通り、対応するバスから供給された混合音信号に対し、ＥＱ１４３、ダイナミクス１４４、フェーダ１４５およびオン／オフスイッチ１４６の各要素が、対応するパラメータの値に従って、処理を順次施す。各出力ｃｈ１４０は、要素１４３〜１４６により信号処理された音信号を、出力パッチ１７０に供給する。

【0032】

キューバス１５０では、キューオンされている１以上の入力ｃｈ１２０から供給された試聴用の音信号が混合される。混合後の試聴用音信号は、キューｃｈ１６０に供給される。キューｃｈ１６０では、キューバス１５０から供給される試聴用音信号に対して、ＡＴＴ１６１、ＥＱ１６３、ダイナミクス１６４、フェーダ１６５及びオン／オフスイッチ１６６の各要素が、対応するパラメータの値に従って、処理を順次施す。キューｃｈ１６０は、要素１６１〜１６６により信号処理された試聴用音信号を出力パッチ１７０に供給する。

【0033】

出力パッチ１７０は、各出力ｃｈ１４０及びキューｃｈ１６０を、波形入出力部１６に設けた出力ジャック１７１にパッチし、各出力ｃｈ１４０及びキューｃｈ１６０の音信号を、パッチされた出力ジャック１７１に供給する。パッチ先の出力ジャック１７１には、メイン出力のための出力ジャックと、モニタ出力のための出力ジャックがある。メイン出力のための出力ジャックには、メインスピーカやウェッジスピーカ等が接続される。モニタ出力のための出力ジャックには、モニタ用スピーカやヘッドフォン等が接続される。一例として、何れの入力ｃｈ１２０もキューオフの場合、各出力ｃｈ１４０がメイン出力のための出力ジャック及びモニタ出力のための出力ジャックの両方にパッチされ、何れかの入力ｃｈ１２０がキューオンの場合、出力ｃｈ１４０がメイン出力のための出力ジャックにパッチされ、キューｃｈ１６０がモニタ出力のための出力ジャックにパッチされる。

【0034】

上記構成からなるミキサ１０は、各入力ジャック１１１に接続された複数の音源（例えば楽器）の音信号を、入力ｃｈ１２０毎に信号処理した後、バス１３０で例えば２ｃｈステレオ構成の混合音信号に混合し、その混合音信号を出力ｃｈ１４０で特性制御及びレベル調節した後にメイン出力のための出力ジャックやモニタ出力のための出力ジャックから出力したり、或いは、キューオンされた入力ｃｈ１２０の音信号をキューバス１５０で試聴用音信号に混合して、混合した試聴音信号をキューｃｈ１６０で処理した後にモニタ出力のための出力ジャックから出力したりできる。

【0035】

ミキサ１０のユーザは、操作パネル上の操作子１９を用いてミキシング操作（たとえば、音信号の経路の設定や、入力ｃｈ１２０の要素１２１〜１２７、出力ｃｈ１４０の要素１４３〜１４６或いはキューｃｈ１６０の要素１６１〜１６６の各種パラメータの値の調節）を行うことにより、ミキサ１０の動作を制御する。前述の通り、ミキシング操作において重要な作業の１つに、音信号の音量レベル、周波数特性或いは定位などを入力ｃｈ１２０毎に調節して、バス１３０又はキューバス１５０で混合された混合音信号（メイン出力又はモニタ出力から出力される混合音信号）に含まれる個々の音源の音信号のバランスを整え、「音の粒立ち」を作ることがある。前記の通り、「音の粒立ち」とは、聴取者の感じる個々の音の分離感であり、また、「音の分離感」とは、聴取者が音信号を聴いたときに、その音信号に含まれる複数の音源を、どの程度、個別に（分離して）聴取できるかを感覚的に示す表現である。この実施例に係るミキサ１０は、各入力ｃｈ１２０の音信号の周波数及び定位の分布（周波数‐定位分布）を示す表示物をディスプレイ１８に表示すること（図１の表示制御手段４の動作）により、混合音信号に含まれる各入力ｃｈ１２０の音信号の分離感を視覚化することで、ユーザのミキシング操作（特に音の分離感を作る操作）を視覚的に補助できるようにしたことに特徴がある。

【0036】

図７は、周波数‐定位分布を示す表示物を表示する表示処理全体の流れのフローチャートを示す。例えば、ユーザが、操作子１９を用いて周波数‐定位分布の表示指示を行うと、ＣＰＵ１１は、その表示指示に応じて、ディスプレイ１８に周波数‐定位分布表示画面（後述の図１０の符号２０）を立ち上げて、且つ、図８の処理を開始する。図７のフローチャートは、１つの（ｉ番目の）入力ｃｈ１２０に対する処理を示している。ＣＰＵ１１は、図７の処理を、１番目からＮ番目の各入力ｃｈ１２０に対して繰り返す。

【0037】

ステップＳ１において、ＣＰＵ１１は、ｉ番目の入力ｃｈ１２０から周波数情報を取得する。周波数情報は、その入力ｃｈ１２０の音信号の周波数帯域を示す。前記ステップＳ１の周波数情報取得処理の一例を、図８のフローチャートに示す。ステップＳ１０において、ＣＰＵ１１は、ｉ番目の入力ｃｈ１２０から音信号に対して高速フーリエ変換（ＦＦＴ、Fast Fourier Transform）による周波数分析処理を行うことにより、ｉ番目の入力ｃｈ１２０の周波数情報を取得する。周知の通り、ＦＦＴ処理により、処理対象の音信号を構成する周波数成分毎の強さ（振幅レベル）を調べることができる。ＣＰＵ１１は、音信号のＦＦＴ処理の結果を、その入力ｃｈ１２０の音信号の周波数帯域を示す周波数情報として利用する。ＦＦＴ処理対象の音信号は、例えばフェーダ１２５の直後（ポストフェーダ）から取得する音信号である。ＣＰＵ１１がメモリ１２に記憶されたプログラムに基づき前記ステップＳ１の処理を実行することが、図１の周波数情報取得手段２の動作に相当する。

【0038】

ステップＳ２において、ＣＰＵ１１は、ｉ番目の入力ｃｈ１２０から定位情報を取得する。定位情報は、その入力ｃｈ１２０の音信号の定位を示す。前記ステップＳ２の定位情報取得処理の一例を図９のフローチャートに示す。ＣＰＵ１１は、ステップＳ１１において、ｉ番目の入力ｃｈ１２０の定位情報として、ｉ番目の入力ｃｈ１２０のパン１２７の値をメモリ１２から取得する。ＣＰＵ１１がメモリ１２に記憶されたプログラムに基づき前記ステップＳ２の処理を実行することが、図１の定位情報取得手段３の動作に相当する。

【0039】

そして、ステップＳ３において、ＣＰＵ１１は、前記ステップＳ１で取得した周波数情報と前記ステップＳ２で取得した定位情報に基づいて、ｉ番目の入力ｃｈ１２０の周波数‐定位分布を示す表示物を、ディスプレイ１８上の周波数‐定位分布表示画面（後述の図１０）に表示する。

【0040】

ＣＰＵ１１は、図７のステップＳ１〜Ｓ３の処理を、１番目からＮ番目の各入力ｃｈ１２０に対して行うことにより、１番目からＮ番目の各入力ｃｈ１２０の周波数‐定位分布を示す表示物を、１つの表示画面（後述の図１０）上に表示する。ＣＰＵ１１がメモリ１２に記憶されたプログラムに基づき前記ステップＳ３の処理を実行し、ディスプレイ１３に表示物を表示することが、図１の表示制御手段４の動作に相当する。

【0041】

一例として、ＣＰＵ１１は、所定の表示更新周期毎に、１番目からＮ番目の各入力ｃｈ１２０に対する図７の処理を繰り返して、各入力ｃｈ１２０の表示物の表示を更新する。これにより、時々刻々入力される音信号に対応する表示物を略リアルタイムに描画することできる。一例として、表示更新に際して、直前の表示物を消去する処理の応答速度を遅くしてもよい。これにより、表示物を略リアルタイムに描画する実施形態において、表示物の残存時間を長くすることができるので、表示物の視認性が向上する。例えば、或る入力ｃｈ１２０の音信号が途絶えた後にも、その入力ｃｈ１２０の表示物が残存する。また、例えば、或る入力ｃｈ１２０の音信号の周波数特定や定位の変化後にも、その変化前の入力ｃｈ１２０の表示物が残存する。このように、表示物の消去を遅らせることは、ミキシング操作の補助にとって役に立つ。また、一例として、表示物の消去は、表示物を徐々に薄れさせる（フェードアウトする）ように行ってよい。

【0042】

図１０は、周波数‐定位分布の表示物の表示例を示す。図１０において、周波数‐定位分布表示画面２０は、周波数を示す縦軸（周波数軸）と定位を示す横軸（定位軸）との２軸の座標平面からなり、１つの周波数‐定位分布表示画面２０内に、それぞれ入力ｃｈ１２０の周波数‐定位分布を示す複数の表示物２１ａ、２１ｂ、２１ｃ、２１ｄ、２１ｅ及び２１ｆが表示される。なお、定位の「左」、「右」の表現は、２ｃｈステレオにおける左ｃｈ及び右ｃｈに対応する。表示物２１ａ〜２１ｆは、それぞれ１つの入力ｃｈ１２０に対応している。図１０の例では、各表示物２１ａ〜２１ｆは楕円形状を有し、その位置と大きさ（面積）により、対応する入力ｃｈ１２０の音信号の周波数‐定位分布を表す。具体的には、各表示物２１ａ〜２１ｆの周波数軸上の位置及び周波数軸方向の長さ（高さ）が対応する入力ｃｈ１２０の音信号の周波数の分布を表し、各表示物２１ａ〜２１ｆの定位軸上の位置が対応する入力ｃｈ１２０の音信号の定位の分布を表す。また、各表示物２１ａ〜２１ｆの幅は音信号の定位の広がり感を表す。例えば、表示物２１ｂは、対応する入力ｃｈ１２０ｂの音信号の周波数帯域が２００Ｈｚから１ＫＨｚであり、定位が略中央であることを示す。また、表示物２１ｂの幅は、例えば表示物２１ａの幅より広くなっており、このことは、表示物２１ｂに対応する入力ｃｈ１２０ｂの音信号は、表示物２１ａに対応する入力ｃｈ１２０ａの音信号よりも定位の広がり感が広いことを表す。なお、この明細書では、表示物２１の定位軸方向（左右方向）の長さを「幅」といい、表示物２１の周波数軸方向（上下方向）の長さを「高さ」という。

【0043】

図１１は、前記ステップＳ３の表示処理の一例であって、前記図１０の表示を行うための処理のフローチャートを示す。ステップＳ１２において、ＣＰＵ１１は、前記ステップＳ１で取得した周波数情報及び前記ステップＳ２で取得した定位情報に基づいて、ｉ番目の入力ｃｈ１２０の分布情報Ｇｉを取得する。分布情報Ｇｉは、周波数‐定位分布表示画面２０におけるｉ番目の入力ｃｈ１２０の表示物２１の位置、すなわち、ｉ番目の入力ｃｈ１２０の音信号の周波数の分布と定位の分布を表す。

【0044】

一例として、該ステップＳ１２において、ＣＰＵ１１は、所定値以下の振幅レベルしか持たない周波数成分については、その振幅レベルをゼロとみなして、分布情報Ｇｉから除外する。これにより、分布情報Ｇｉの示す周波数の分布は、当該ｉ番目の入力ｃｈ１２０の音信号に特徴的な周波数帯域のみを示すものとなり、従って、対応する表示物２１の高さは当該ｉ番目の入力ｃｈ１２０の音信号に特徴的な周波数帯域のみの分布を示す。

【0045】

ステップＳ１３において、ＣＰＵ１１は、ｉ番目の入力ｃｈ１２０の音信号の音量に応じて、その入力ｃｈ１２０の表示物の幅を決定する。ＣＰＵ１１は、例えば前記ステップＳ１０で得た周波数情報に含まれる振幅レベルに基づき音量を取得できる。別の例として、ＣＰＵ１１は、入力ｃｈ１２０毎の音量レベル表示用の音量計測値（フェーダ１２５直後の音量計測値）を取得し、取得した音量計測値に基づき表示物の幅を決定してよい。また、一例として、ＣＰＵ１１は、該ステップＳ１３において、音量が大きいほど、表示物の幅を広くする。音量に応じて幅を調節する処理は、例えば、適宜のテーブル或いはフィルタ等を用いて行うことができる。

【0046】

ステップＳ１４において、ＣＰＵ１１は、ｉ番目の入力ｃｈ１２０の音域の高低に応じて、その入力ｃｈ１２０の表示物の幅を調節する。一例として、ＣＰＵ１１は、該ステップＳ１４において、低域ほど表示物の幅を広げる。一例として、ＣＰＵ１１は、周波数情報に基づき、入力ｃｈ１２０の音域が、例えば低域、中域、高域の三つの音域の何れに該当するかを判定し、判定した音域に応じて、前記ステップＳ１３で決定した表示物の幅を調節する。音域に応じて表示物の幅を調節する処理は、例えば、適宜のテーブル或いはフィルタ等を用いて行うことができる。

【0047】

ステップＳ１５において、ＣＰＵ１１は、ｉ番目の入力ｃｈ１２０の表示物の色を決定する。一例として、各入力ｃｈ１２０の色は、ＣＰＵ１１が他のチャンネルの表示物の色と重複しない色を自動的に決定する。別の例として、ＣＰＵ１１は、ユーザが入力ｃｈ１２０毎に指定した色（ｃｈ色）に基づいて、その入力ｃｈ１２０の表示物の色を決定してよい。デジタルミキサは、一般的に、ｃｈ毎のｃｈ情報として、ｃｈ名やｃｈ色をユーザが指定できる。ＣＰＵ１１は、ｃｈ情報に指定されたｃｈ色を、表示物の色の決定に利用できる。なお、このステップＳ１５は、ｃｈ毎に表示色を異ならせることに限らず、例えばｃｈ毎に表示柄を異ならせることなど、ｃｈ毎に表示態様を異ならせることであればよい。

【0048】

ステップＳ１６において、ＣＰＵ１１は、前記ステップＳ１２で取得した分布情報Ｇｉに基づく位置に、前記ステップＳ１３及びＳ１４で決定及び調節した幅を持つ表示物を、前記ステップＳ１５で決定した色で表示する。

【0049】

一例として、前記ステップＳ１６において、ＣＰＵ１１は、更に、ｉ番目の入力ｃｈ１２０の表示物に他の表示物と重なる部分があるか否かを調べ、重なる部分がある場合、その部分を、その表示物の他の部分とは異なる表示形態で強調表示する。強調表示は、例えば、その表示物の他の部分とは異なる色で表示することである。強調表示の色は、例えば赤や黒など他と比べて目立つ色であるとよい。一例として、重なる部分の強調表示は、何れの表示物においても共通の表示態様（重なり合いを示す共通の強調色）で行う。強調色は、たとえば、各表示物２１の何れの通常の表示色（重なり合っていない部分の色）とも異なる色とする。例えば、図１０では、表示物２１ａと２１ｂの重なる部分、及び、表示物２１ｂと２１ｃの重なる部分が、それぞれ、共通の強調色（図１０では黒色塗りつぶし）で強調表示される。別の例として、強調表示は、表示色を濃くすること、あるいは、点滅表示などであってよい。

【0050】

また、一例として、前記ステップＳ１６において、ＣＰＵ１１は、更に、ｉ番目の入力ｃｈ１２０のバス１３０への出力のオン・オフを調べて、該出力がオフされている場合、その入力ｃｈ１２０の表示物２１を、同出力がオンされている場合とは異なる表示態様で表示する。例えば、その入力ｃｈ１２０のオンオフスイッチ１２６がオフの場合や、その入力ｃｈ１２０のミュートオンオフスイッチ（不図示）がオフの場合、或いは、その入力ｃｈ１２０のフェーダ１２５の値が下限値（−∞ｄＢ）の場合等に、その入力ｃｈ１２０からバス１３０への出力がオフになる。また、その入力ｃｈ１２０以外の入力ｃｈ１２０のソロオンオフスイッチ（不図示）がオン（つまり、その入力１２０以外の入力ｃｈ１２０がソロ）の場合も、その入力ｃｈ１２０からバス１３０への出力がオフになる。例えば、図１０では、表示物２１ｅと表示物２１ｆとはグレーアウト表示されている。別の例として、ＣＰＵ１１は、前記ステップＳ１６において、ｉ番目の入力ｃｈ１２０のキューバス１５０への出力のオン・オフを調べて、該出力がオフされている場合、その入力ｃｈ１２０の表示物２１を、グレーアウト表示してよい。なお、出力オフの場合の表示態様は、グレーアウトに限らず、表示色を薄めること、網掛け表示すること、或いは、非表示にすることなどであってもよい。

【0051】

前記図１１の処理により、１つの周波数‐定位分布表示画面２０内に、入力ｃｈ１２０の音信号の周波数‐定位分布を示す表示物２１ａ〜２１ｆを表示できる。各表示物２１ａ〜２１ｆがそれぞれ１つの入力ｃｈ１２０の音信号を表すので、例えば、入力ｃｈ１２０毎の音源（例えば個々の楽器の音）を別個の表示物２１ａ〜２１ｆで表現できる。各表示物２１ａ〜２１ｆの表示色を入力ｃｈ１２０毎に異ならせているので、ユーザは、入力ｃｈ１２０毎の周波数―定位分布を明確に識別できる。また、複数の入力ｃｈ１２０の間で周波数帯域及び定位が部分的に又は全体的に重なり合っていても、個々の入力ｃｈ１２０の音信号を明確に区別した表示を行うことができる。
これら表示物２１ａ〜２１ｆの位置や相互関係は、入力ｃｈ１２０の音信号を混合した後の混合音信号（つまりメイン出力又はモニタ出力から出力される混合音信号）における個々の音源（各入力ｃｈ１２０の音信号）の分離感を視覚的に表す。この表示により、ユーザのミキシング操作を視覚的に補助することができる。この視覚的補助により、誰にでも簡単に、適切なミキシング操作、特に音の分離感（“音の粒立ち”）を作る操作を行うことが可能となる。

【0052】

例えば、ユーザは、表示物２１ａ〜２１ｆを見ることで、どの入力ｃｈ１２０の音信号のどの帯域が他の入力ｃｈ１２０の音信号に干渉しているかを把握したり、その重なりを解消すべきか否かを判断したり、或いは、どのパラメータをどの程度調節するかを判断したりできる。複数の入力ｃｈ１２０での干渉が周波数‐定位平面上で視覚的に表現されているので、ユーザは、その表示内容に基づいて、適切なＥＱ１２３やパン１２７の調整を行うことができる。

【0053】

また、複数の表示物２１で重なり合っている部分、すなわち、複数の入力ｃｈ１２０の間で干渉している周波数帯域を、その表示物２１の他の部分とは異なる色で強調表示することで、ユーザのミキシング操作を効果的に補助できる。

【0054】

また、ｉ番目の入力ｃｈ１２０のバス１３０への出力がオフされている場合、その入力ｃｈ１２０の表示物２１を、同出力がオンされている場合とは異なる表示態様（例えばグレーアウト）で表示することにより、入力ｃｈ１２０毎のｃｈオン／オフ、キューオン・オフ、ミュート、ソロ等と連動した表示物の表示を行うことができる。

【0055】

また、時々刻々入力される音信号に対応する入力ｃｈ１２０毎の表示物２１ａ〜２１ｆを略リアルタイムに描画しているので、ユーザは、表示物２１ａ〜２１ｆの時間的変化から、例えば、或る入力ｃｈ１２０の音信号の無駄な余韻や残響が、他の入力ｃｈ１２０の音信号を邪魔していないかどうかを視認できる。そして、無駄な余韻や残響等の問題がある場合、ユーザは、表示内容に基づいて、問題となる入力ｃｈ１２０のダイナミクス１２４（ゲートやコンプレッサ）を適切に調節して、上記の無駄な余韻や残響を除去できる。

【0056】

また、音量に応じて表示物２１の幅を調節すること、具体的には音量が大きいほど表示物２１の幅を広げること（前記ステップＳ１３）により、音量に応じた定位の広がり感の違いを視覚化できる。また、音域に応じた表示物２１の幅の調節すること、具体的には低域ほど表示物２１の幅を広げること（前記ステップＳ１４）により、音域に応じた指向性（定位の広がり感）の違いを視覚化することができる。

【0057】

表示物２１の形状は、前記図１０のような楕円に限らない。図１２は、周波数‐定位分布を示す表示物の別の例を示す。図１２の例では、棒状の表示物３１ａ、３１ｂ、３１ｃ、３１ｄ、３１ｅ及び３１ｆが、音信号の周波数‐定位分布を示す。各表示物３１ａ〜３１ｆは、それぞれ、周波数軸上の位置（と当該表示物３１の高さ）により、対応する入力ｃｈ１２０の音信号の周波数分布を示す。図１３は、前記図１１表示処理の変形例であって、前記図１２のような棒状の表示物２１の表示を行うための処理を示すフローチャートを示す。なお、前記図１１と共通の事項の説明は省略する。この場合、ＣＰＵ１１は、表示物３１の幅の調節（前記ステップＳ１３及びＳ１４）を行わず、単に、ステップＳ２２で取得した分布情報Ｇｉの位置に、ステップＳ２３で決定した色の表示物３１を表示する（ステップＳ２４）だけでよい。各表示物３１ａ〜３１ｆは全て共通の所定幅で表示される。

【0058】

図１４は、周波数‐定位分布を示す表示物の更に別の例であって、表示物４１ａ〜４１ｆの幅を、周波数成分毎の音量に応じて調節する例を示す。この場合、各表示物４１ａ〜４１ｆは、単純な楕円形ではなく、周波数成分に対応する部分毎に、音量に応じた幅を持つ。図１５は、前記図１１表示処理の変形例であって、前記図１４のように周波数成分毎の音量に応じて幅を調整した表示物４１ａ〜４１ｆの表示を行うための処理を示すフローチャートを示す。なお、前記図１１と共通の事項の説明は省略する。ステップＳ３３において、ＣＰＵ１１は、ｉ番目の入力ｃｈ１２０の音信号を構成する周波数成分毎に幅を決定する。一例として、ＣＰＵ１１は、前記ステップＳ１０のＦＦＴ処理により得た周波数情報に基づいて、周波数成分毎の振幅レベルを定位軸方向（左右方向）に展開することで、周波数成分毎の定位の分布は、その振幅レベルに応じた広がり（定位軸方向の幅）を持つ値になる。この周波数成分毎の定位の分布が、周波数成分毎の振幅レベルに応じた表示物４１の幅を示す。定位の分布は、振幅レベルが大きいほど、左右方向に広く展開される。従って、振幅レベルが大きい周波数成分に対応する部分ほど、表示物４１の幅が広がる。周波数成分毎の振幅レベルを定位軸方向に展開する処理は、例えば階級関数を用いて行う。ステップＳ３４において、ＣＰＵ１１は、例えばフィルタ処理により、前記ステップＳ３３で取得した周波数成分毎の表示物４１の幅を音域に応じて調節する。音域に応じた調節は、例えば適宜のテーブル又はフィルタ処理により、周波数に応じて幅を拡張又は減縮するように（具体的には低域ほど表示物４１の幅を広げるように）行う。そして、ステップＳ３６において、ＣＰＵ１１は、ｉ番目の入力ｃｈ１２０の表示物を表示する。この場合、各表示物４１ａ、４１ｂ、４１ｃ、４１ｄ、４１ｅ及び４１ｆは、図１４に示すように、対応する入力ｃｈ１２０の音信号に含まれる各周波数成分に対応する部分が、それぞれの振幅レベルに応じた幅を持つ。従って、各表示物４１ａ〜４１ｆは、それぞれ対応する音信号に含まれる周波数成分毎の強さに応じた形状で表示される。従って、表示物４１ａ〜４１ｆの形状により、対応する入力ｃｈ１２０の音信号に含まれる各周波数成分の強さに応じた定位の広がり感が視覚化される。

【0059】

別の実施形態において、前記ステップＳ１０のＦＦＴ処理は、ダイナミクス１２４の直後（フェーダ１２５の前）から取り出した音信号（プリフェーダ信号）に対して行うようにしてもよい。分離感を作るための音作りにおいては、各入力ｃｈ１２０のＥＱ１２３とダイナミクス１２４が主要な役割を担う。従って、ダイナミクス１２４直後の音信号に対してＦＦＴ処理を行い、該ダイナミクス１２４直後の周波数情報を取得するのが、分離感の視覚化という点で好適である。この場合、ＣＰＵ１１は、表示物の幅を調節するために、例えば前記ステップＳ３の表示処理でｉ番目の入力ｃｈ１２０のフェーダ１２５直後の音量を取得し、取得した音量を表示幅の調節（前記ステップＳ１３等の処理）に利用するとよい。フェーダ１２５直後の音量を取得する方法としては、例えば、ＣＰＵ１１は、ｉ番目の入力ｃｈ１２０のフェーダ１２５の値を取得し、該フェーダ１２５の値と、前記ＦＦＴ処理の結果により得たダイナミクス１２４直後の周波数情報とに基づいて、フェーダ１２５直後の音量を算出できる。或いは、ＣＰＵ１１は、フェーダ１２５直後の音信号の音量計測値を取得してもよい。

【0060】

別の実施形態において、前記ステップＳ２の定位情報取得処理は、更に、パン１２７以外の定位を決定するパラメータの値を取得することを含んでよい。図１６は、該別の実施形態に係る定位情報取得処理のフローチャートを示す。なお、前記図９と共通の事項の説明は省略する。図１６において、ＣＰＵ１１は、ｉ番目の入力ｃｈ１２０からパン１２７のパラメータの値を取得すること（ステップＳ４１）に加えて、該ｉ番目の入力ｃｈ１２０から、パン１２７以外の定位を決定するパラメータの値を取得する（ステップＳ４２）。パン１２７以外の定位を決定するパラメータは、例えば、ステレオ２ｃｈ間の時間差（遅延量）により定位を決定する遅延パンのパラメータである。なお、遅延パンは、先行して音の聞こえる側に定位が偏って聴こえるという人間の聴覚の特性（Ｈａａｓ効果、ハース効果、先行音効果）を利用したものである。ステップＳ４３において、ＣＰＵ１１は、前記ステップＳ４１で取得したパン１２７の値と、前記ステップＳ４２で取得した遅延パンの値に基づいて、ｉ番目の入力ｃｈ１２０の定位情報を取得する。この場合、パン１２７以外の定位を決定するパラメータ（例えば遅延パン）も考慮した定位分布の表示を行うことができる。パン１２７以外の定位を決定するパラメータには、遅延パンのほか、バランスパラメータや、例えばステレオディレイやリバーブなどのエフェクタを制御用のパラメータに含まれるパンなどがある。

【0061】

また、変形例として、ＣＰＵ１１は、前記ステップＳ４１で取得したパン１２７の値、又は、前記ステップＳ４２で取得した遅延パン（パン１２７以外の定位を決定するパラメータ）の値のどちらか一方を、該定位情報として取得してよい。

【0062】

別の実施形態において、前記ステップＳ１の周波数情報を取得する処理は、入力ｃｈ１２０の音信号に対応する楽器種類を判別し、該判別した楽器種類に応じた周波数情報の規定値を取得する処理であってよい。図１７は、楽器種類に応じた周波数情報の規定値を取得する処理のフローチャートを示す。ステップＳ５０において、ＣＰＵ１１は、ｉ番目の入力ｃｈ１２０の音信号に対して楽器種類判定処理を行う。楽器種類は、例えば男性ボーカル、女性ボーカル、ピアノ、コーラス、ギター、ベース、ドラムス・・・等である。楽器種類判定処理は、例えば音信号に対する周波数分析処理により楽器種類を判定する処理である。なお、音信号に対する周波数分析処理等の信号処理によって楽器種類を判定する処理は、周知技術を用いて実現できる。処理対象の音信号を取り出す位置は、例えばフェーダ１２５の直後などであってよい。ステップＳ５１において、ＣＰＵ１１は、例えば適宜のテーブルに基づいて前記ステップＳ５０で判定した楽器種類に対応する周波数情報を取得する。取得する周波数情報は、例えば予め楽器種類に対応して設定された規定値である。この場合、各表示物２１ａ〜２１ｆ（３１ａ〜３１ｆ、４１ａ〜４１ｆ）は、それぞれ対応する入力ｃｈ１２０の実際の音信号の周波数分布ではなく、予め決められた楽器種類毎の周波数分布を示すものとなる。このような、楽器種類に応じた周波数分布を示す表示物２１ａ〜２１ｆ（３１ａ〜３１ｆ、４１ａ〜４１ｆ）であっても、ミキシング操作（特に音の分離感を作る操作）の視覚的な補助としては有効に利用できる。

【0063】

図１８は、楽器種類に応じた周波数情報の規定値を取得する処理の別の一例のフローチャートを示す。ステップＳ６０において、ＣＰＵ１１は、ｉ番目の入力ｃｈ１２０のｃｈ名の情報を取得し、該ｃｈ名に基づいて楽器種類を判定する。前述の通りデジタルミキサにおいて、ユーザは、ｃｈ毎に、ｃｈ名やｃｈ色等を含むｃｈ情報を設定できる。ｃｈ名は、一般に、ボーカル１、ボーカル２、リードギター、サイドギター、ピアノ、ベース、ドラムス・・・等、その入力ｃｈ１２０の楽器種類の名称である。従って、ｃｈ情報に含まれるｃｈ名は楽器種類の判定に利用できる。ステップＳ６１において、前記ステップＳ５０で判定した楽器種類に対応する周波数情報の規定値を取得する。この場合、音信号に対する信号処理を行わずに周波数情報を取得できるので、ＣＰＵ１１への処理負担がより少ない。

【0064】

別の実施形態においては、更に、メイン出力又はモニタ出力への出力用に２ｃｈステレオ音信号に混合された混合音信号の周波数‐定位分布の表示物が、入力ｃｈ１２０毎の表示物２１ａ〜２１ｆ（３１ａ〜３１ｆ、４１ａ〜４１ｆ）に重ねて表示されてもよい。その場合、ＣＰＵ１１は、先ず、前記ステップＳ１で、更に、メイン出力又はモニタ出力用の出力ｃｈ１４０若しくはキューｃｈ１６０の混合音信号の周波数情報を取得し、それから、前記ステップＳ２で、更に、該メイン出力又はモニタ出力用の出力ｃｈ１４０若しくはキューｃｈ１６０の混合音信号の定位情報を取得し、そして、前記ステップＳ３で、更に、該取得した周波数情報と定位情報に基づいて、該メイン出力又はモニタ出力用の出力ｃｈ１４０若しくはキューｃｈ１６０の混合音信号の周波数‐定位分布を示す表示物を、入力ｃｈ１２０毎の表示物２１ａ〜２１ｆ（３１ａ〜３１ｆ、４１ａ〜４１ｆ）に重ねて表示する。図１９は、前記図１０の周波数‐定位分布表示画面２０において、メイン出力又はモニタ出力用の出力ｃｈ１４０若しくはキューｃｈ１６０の混合音信号の周波数‐定位分布を示す表示物５０を重ねて表示する例を示す。一例として、混合音信号の表示物５０は、各入力ｃｈ１２０の表示物（図１０の符号２１ａ〜２１ｆ）の背後に表示される。これにより、ユーザは、例えば、各入力ｃｈ１２０の音信号が、混合後の混合音信号の中でどの位置に配置されるかなど、各入力ｃｈ１２０の音信号の位置（周波数軸及び定位軸上の位置）を混合後の混合音信号に対応付けて把握できる。これにより、ミキシング操作（特に音の分離感を作る操作）を効果的に補助できる。なお、混合音信号の定位情報は、例えば、メイン出力又はモニタ出力用の出力ｃｈ１４０若しくはキューｃｈ１６０の混合音信号に対する信号処理（例えば２ｃｈステレオの各ｃｈ毎の音量差を算出する処理）により取得してよい。

【0065】

更に別の実施形態において、周波数‐定位分布表示画面２０は、周波数方向軸（上下軸）及び定位方向軸（左右軸）に加えて、奥行き軸を持つ３次元座標からなってよい。この場合、ＣＰＵ１１は、前記ステップＳ３において、さらに、例えばｉ番目の入力ｃｈ１２０の音量に基づいて、ｉ番目の入力ｃｈ１２０の表示物の奥行きを決定し、該決定した奥行きを持つ表示物を表示する。この場合、各入力ｃｈ１２０の音量を、表示物の奥行きにより表現できる。音量の大小は、周波数‐定位分布に関しては、定位の広がり感に加えて、奥行き感にも影響する。従って、表示物の奥行きで音量を表すことで、定位の広がり感、更には、定位の奥行き感を視覚化することができる。定位の奥行き感の視覚化という点に関する別の例として、ＣＰＵ１１は、前記ステップＳ３において、さらに、例えばｉ番目の入力ｃｈ１２０のリバーブ等の空間系エフェクタのパラメータ値に基づいて、ｉ番目の入力ｃｈ１２０の表示物の奥行きを決定し、表示物の奥行きにより、定位の奥行き感を視覚化してもよい。

【0066】

また、別の実施形態において、前記ステップＳ１３、Ｓ１４などにおいて音量及び／又は音域に応じた定位の広がり感を視覚化する方法は、音量及び／又は音域に応じて表示物の幅を調節することに限らず、例えば表示物の大きさ（面積）を変えること、表示物の表示色の濃淡を変えることなど、音量及び／又は音域に応じた定位の広がり感の違いを視覚化できさえすれば、どのような方法であってもよい。

【0067】

なお、別の実施形態において、前記ステップＳ１３、Ｓ１４など表示物２１（３１、４１）の幅を決定（又は調節）する処理は、表示物２１（３１、４１）の幅を示す値を決定（又は調節）することに限らず、表示物２１（３１、４１）の幅に相当するパラメータ、すなわち分布情報Ｇｉに基づく定位の分布を音量や音域に応じて展開（拡張又は減縮）することであってよい。その場合、ＣＰＵ１１は、ステップＳ１６（Ｓ２４，Ｓ３６）の表示処理において、前記展開（拡張又は減縮）した定位の分布に応じた幅で表示物２１（３１、４１）を表示する。

【0068】

また、別の実施形態において、前記図７の処理対象は、１つの入力１２０に限らず、複数の入力ｃｈ１２０ａ〜１２０ｎのうち一部をグループにまとめた入力ｃｈグループであってもよい。この場合、例えば、前記図７の処理では、ＣＰＵ１１は、該入力ｃｈグループを構成する各入力１２０の周波数情報及び定位情報を取得し（前記ステップＳ１、Ｓ２）、該入力ｃｈグループを構成する各入力１２０の表示物を同じ色で表示する（前記ステップＳ３）。これにより、ユーザは、複数の表示物２１ａ〜２１ｆ（３１ａ〜３１ｆ、４１ａ〜４１ｆ）のうち、同じ色の複数の表示物２１（３１、４１）を、１つの入力ｃｈグループに属する各入力ｃｈ１２０に対応する表示物２１（３１、４１）として、識別できる。別の例として、前記図７の処理では、ＣＰＵ１１は、１つの入力ｃｈグループに属する各入力ｃｈ１２０の音信号を混合した結果（１つの入力ｃｈグループの混合音信号）に対して前記図７の処理を行い、１つの入力ｃｈグループに対応して１つの表示物２１（３１、４１）を表示するようにしてもよい。

【0069】

なお、別の実施形態として、ＣＰＵ１１は、ユーザからの表示指示に応じて、１回だけ１番目からＮ番目の各入力ｃｈ１２０に対する図７の処理を行うようにしてもよい。つまり、この場合、ＣＰＵ１１は、各入力ｃｈ１２０に入力される音信号の周波数‐定位分布を略リアルタイムで描画することは行わず、或るタイミング（例えばユーザの表示指示時）でのみ、周波数情報及び定位情報を取得し、該取得した周波数情報及び定位情報に基づく表示物２１ａ〜２１ｆ（３１ａ〜３１ｆ、４１ａ〜４１ｆ）の描画を行う。この場合、ＣＰＵ１１は、例えばパラメータの値操作毎に、１番目からＮ番目の各入力ｃｈ１２０に対する図７の処理を行い、各表示物２１ａ〜２１ｆ（３１ａ〜３１ｆ、４１ａ〜４１ｆ）の表示を更新してよい。一例として、ＥＱ１２３、ダイナミクス１２４あるいはパン１２７など、音信号の分離感に影響の大きい特定のパラメータ値操作があった場合にのみ、ＣＰＵ１１が表示更新を行うようにしてよい。

【0070】

以上、この発明の一実施形態を説明したが、この発明は上記実施形態に限定されるものではなく、特許請求の範囲、及び、明細書と図面に記載された技術的思想の範囲内において種々の変形が可能である。

【0071】

例えば、音処理装置１は、ミキサ１０に限らず、レコーダ、アンプ、プロセッサ等に適用できる。また、音処理装置１は、図１に示す各部２〜６の動作を実行するように構成された専用ハードウェア装置（集積回路等）からなっていてもよい。また、音処理装置１は、図１に示す各部２〜６の動作を行なうためのプログラムを実行する機能を持つプロセッサ装置により構成されてよい。

【0072】

また、本発明は、パーソナルコンピュータ上で実行される、Ｃｕｂａｓｅ（登録商標）、ＰｒｏＴｏｏｌｓ（登録商標）等のＤＡＷ（デジタル・オーディオ・ワークステーション）ソフトウェアアプリケーションや、或いは、ビデオ編集ソフトウェアアプリケーションに適用され得る。

【0073】

また、この発明は、図１の音処理装置１の動作を行うための表示方法の発明として、構成及び実施されてもよい。また、前記方法を構成する各ステップを、コンピュータに実行させるプログラムの発明として、構成及び実施されてもよい。

【符号の説明】

【0074】

１ 音処理装置、２ チャンネル、３ バス、４ 第１取得部、５ 第２取得部、６ 表示部、１０ デジタルミキサ、１１ ＣＰＵ、１２ メモリ、１３ 表示Ｉ／Ｆ、１４ 操作子Ｉ／Ｆ、１５ 信号処理装置、１６ 波形Ｉ／Ｆ、１７ 通信バス、１８ ディスプレイ、１９ 操作子、１１０ 入力パッチ、１２０ 入力チャンネル、１３０ バス、１４０ 出力チャンネル、１５０ キューバス、１６０ キュー出力チャンネル、１７０ 出力パッチ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】