特許 7275711 オーディオ信号の処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-10

(45)【発行日】2023-05-18

(54)【発明の名称】オーディオ信号の処理方法

(51)【国際特許分類】

   G10L 25/21 20130101AFI20230511BHJP

   G10L 25/27 20130101ALI20230511BHJP

   G10L 21/034 20130101ALI20230511BHJP

【ＦＩ】

G10L25/21

G10L25/27

G10L21/034

【請求項の数】 10

(21)【出願番号】P 2019052733

(22)【出願日】2019-03-20

(65)【公開番号】P2020154149

(43)【公開日】2020-09-24

【審査請求日】2022-01-21

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】100111763

【弁理士】

【氏名又は名称】松本 隆

(72)【発明者】

【氏名】石塚 健治

【審査官】岩田 淳

(56)【参考文献】

【文献】米国特許出願公開第２００５／０２３４３６６（ＵＳ，Ａ１）

【文献】特開２０１５－２００６８５（ＪＰ，Ａ）

【文献】特開２０１０－２５１９３７（ＪＰ，Ａ）

【文献】特表２００８－５４２８３５（ＪＰ，Ａ）

【文献】特表２０１６－５３６９１９（ＪＰ，Ａ）

【文献】LYKARTSIS, Athanasios，Evaluation of Accenet-Based Rhythmic Descriptors for Genre Classification of Musical Signals，Technische Universitat Berlin, Fachgebiet Audiokommunikation, Masterarbeit, [online]，2014年04月16日，pp. i-xv, 1-123，[2023年1月17日検索], <URL: http://www2.users.ak.tu-berlin.de/akgroup/ak_pub/abschlussarbeiten/2014/LykartsisAthanasiousMasA.pdf>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

入力されたオーディオ信号に含まれる各アタック区間の１乃至複数のレベル値を検出し、検出されるレベル値の変域を複数のレンジに分け、各レンジに属するレベル値の度数を分布として表したヒストグラムを生成するオーディオ信号の処理方法。

【請求項2】

前記検出では、前記オーディオ信号から検出されたフレーム毎のピークから前記各アタック区間の１つのレベル値を検出する請求項１に記載の処理方法。

【請求項3】

前記検出では、前記オーディオ信号から検出されたエンベロープに基づいて、前記各アタック区間の複数のレベル値を検出する請求項１に記載の処理方法。

【請求項4】

前記検出では、前記オーディオ信号から検出されたエンベロープに基づいて、前記各アタック区間の１つのレベル値を検出する請求項１に記載の処理方法。

【請求項5】

前記ヒストグラムを表示器に表示し、
ユーザ操作に応じて、オーディオ信号の処理のためのパラメータを調整する請求項１に記載の処理方法。

【請求項6】

前記ヒストグラムに基づいて、オーディオ信号の処理のためのパラメータを自動調整する請求項１に記載の処理方法。

【請求項7】

時間区間のユーザ指定を受け付け、
前記ユーザ指定された時間区間のオーディオ信号について、前記ヒストグラムを生成する請求項１に記載の処理方法。

【請求項8】

時間軸に沿って所定時間長の窓を移動し、
前記移動する窓に入るオーディオ信号について、前記ヒストグラムを生成する請求項１に記載の処理方法。

【請求項9】

入力されたオーディオ信号に含まれる各アタック区間の１乃至複数のレベル値を検出し、検出されるレベル値の変域を複数のレンジに分け、各レンジに属するレベル値の度数を分布として表したヒストグラムを生成する生成部を有するオーディオ信号の処理装置。

【請求項10】

コンピュータを、
入力されたオーディオ信号に含まれる各アタック区間の１乃至複数のレベル値を検出し、検出されるレベル値の変域を複数のレンジに分け、各レンジに属するレベル値の度数を分布として表したヒストグラムを生成する生成部と
して機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、オーディオ信号処理に係り、特にオーディオ信号の入力レベルの指標となる情報を生成する方法に関する。

【背景技術】

【0002】

オーディオ信号処理において入力レベル制御やダイナミクス制御を適切に行うためには、信号処理のパラメータを入力レベルに適した値に設定する必要がある。非特許文献１に開示の技術では、入力音波形の全区間における瞬時サンプル値のヒストグラムを入力レベルの指標としてユーザに提供する。

【先行技術文献】

【非特許文献】

【0003】

【文献】Loudness Maximizer, [２０１９年１月８日検索]、インターネット＜ＵＲＬ：http://help.izotope.com/docs/ozone4/pages/modules_loudness_maximizer.htm＞

【0004】

【文献】A Tutorial on Onset Detection in Musical Signals, IEEE Transactionson Speech and Audio Processing ( Volume: 13 , Issue: 5 ),２００５年８月１５日刊行

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、入力されたオーディオ信号の全区間の瞬時サンプル値には、例えば音が減衰していく区間や演奏されていない区間等の瞬時サンプル値も含まれるため、これから得られるヒストグラムは入力レベルやダイナミクスの制御のための信号レベルの適切な指標にならない。

【0006】

この発明は以上のような事情に鑑みてなされたものであり、入力されたオーディオ信号から信号レベルの適切な指標を取得する方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

この発明は、入力されたオーディオ信号に含まれる各音符の波形の立ち上がり部分の１乃至複数のレベル値を検出し、検出されたレベル値のヒストグラムを作成するオーディオ信号の処理方法を提供する。

【図面の簡単な説明】

【0008】

【図1】この発明の複数の実施形態に共通のオーディオ信号の処理装置の構成を示すブロック図である。

【図2】この発明におけるオンセット、オンセットピークを説明する図である。

【図3】この発明の第１実施形態におけるオンセットヒストグラムの生成部の構成例を示すブロック図である。

【図4】同実施形態の動作例を示す波形図である。

【図5】この発明の第２実施形態におけるオンセットヒストグラムの生成部の構成例を示すブロック図である。

【図6】同実施形態の動作例を示す波形図である。

【図7】この発明の第３実施形態におけるオンセットヒストグラムの生成部の構成例を示すブロック図である。

【図8】この発明の第４実施形態におけるオンセットヒストグラムの生成部の構成例を示すブロック図である。

【図9】この発明に係るオンセットヒストグラムの生成部を備えたオーディオ信号の処理装置のハードウェア構成を示すブロック図である。

【図10】同処理装置の動作を示すフローチャートである。

【図11】同処理装置の動作を示すフローチャートである。

【図12】同処理装置の動作の変形例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面を参照し、この発明の実施形態について説明する。

【0010】

＜複数の実施形態に共通の機能構成＞
図１に、後述する第１実施形態を始めとするこの発明の複数の実施形態に共通のオーディオ信号の処理装置１００の機能構成を示す。ここでは、処理装置１００にオーディオ信号を供給するマイク１０１と、処理装置１００から出力されるオーディオ信号を音として出力するパワードスピーカ１０２が、処理装置１００とともに示されている。処理装置１００は、例えば、オーディオミキサ、信号処理エンジン、カラオケ装置、電子楽器、ビデオカメラ、タブレット端末、スマートフォンなどの何れでもよい。

【0011】

オーディオ信号の処理装置１００は、ＡＤＣ（Analog Digital Converter）１と、信号処理部２と、ＤＡＣ（Digital Analog Converter）３と、オンセットヒストグラムの生成部４と、表示部５と、パラメータ推定部６と、入力部７とを有する。

【0012】

ＡＤＣ１は、マイク１０１から供給されるアナログのオーディオ信号をＡ／Ｄ変換し、デジタルの信号ＳＤとして出力する。信号処理部２は、信号ＳＤに対して、例えば入力レベルやダイナミクスの制御等のための信号処理を施して出力する。ＤＡＣ３は、信号処理部２から出力されるデジタルのオーディオ信号をＤ／Ａ変換して、アナログの信号としてパワードスピーカ１０２に出力する。

【0013】

オンセットヒストグラムの生成部４は、信号ＳＤにおいてオンセットから始まる波形の立ち上がり部分の１乃至複数のレベルを検出してヒストグラム化する装置である。ここで、オンセットは、入力オーディオ信号に含まれる各音符の波形の立ち上がり点である。非特許文献２によると、オンセットは、例えば図２のように、波形のエンベロープが増加するアタックの開始点である。なお、図２はオーディオ信号のエンベロープを模式的に示したものであり、オーディオ信号波形によってはアタックの区間内に複数のピークが発生する場合がある。図１の生成部４は、信号ＳＤにおいて、１乃至複数のオンセットを検出し、各オンセットから始まるアタック区間内に現れるピークをオンセットピークとして検出し、オンセットピークをヒストグラム化したヒストグラムを生成する。

【0014】

オンセットヒストグラムは表示部５に表示される。ユーザは、表示されたオンセットヒストグラムに基づいて、入力ゲイン等のパラメータを決定し、そのパラメータを入力部６から入力する。パラメータ推定部６は、ユーザによって入力されたパラメータを信号処理部２に設定する。また別の例として、パラメータ推定部６に、ＡＩ（Artificial Intelligence）の機能を備えてもよい。パラメータ推定部６は、予め、オーディオ信号のオンセットヒストグラムとその信号に適したパラメータとの対応関係を学習したＡＩを有しており、入力されたオーディオ信号のオンセットヒストグラムに応じて、その信号に適したパラメータを決定する。

【0015】

＜第１実施形態＞
生成部４の一例として、図３に、この発明の第１実施形態におけるオンセットヒストグラムの生成部４１の構成を示す。生成部４１は、整流部４１１と、真数／対数変換部４１２と、ピークの検出部４１３と、オンセットピークの検出部４１４と、度数のカウント部４１５とを有する。

【0016】

整流部４１１は、サンプリング周期ごとに、信号ＳＤの全波整流を行い、信号Ｓｒとして出力する。真数／対数変換部４１２は、信号Ｓｒのサンプル値を対数に変換し、サンプル値ＳＩとして出力する。

【0017】

ピークの検出部４１３は、サンプル値ＳＩを所定数ｎサンプリング周期に相当する一定時間長の時間フレームに区切り、時間フレーム毎に、サンプル値のピーク（最大値）を求める。

【0018】

オンセットピークの検出部４１４は、サンプル値ＳＩの列の中からオンセットを検出し、このオンセットに基づき、検出部４１３が検出した一連のピークの中からオンセットピークを検出する。

【0019】

なお、オンセットの検出は、非特許文献２に開示された以下の方法を含む、公知の如何なる方法により行ってもよい。
方法１：サンプル値ＳＩのエンベロープを求め、エンベロープが急激に立ち上がるタイミングをオンセットとする。
方法２：サンプル値ＳＩを一定時間長のフレームに分割し、フレーム毎にＳＴＦＴ係数を算出する。高域のＳＴＦＴ係数が顕著に変化するタイミングをオンセットとする。

【0020】

方法３：サンプル値ＳＩを一定時間長のフレームに分割し、フレーム毎にＳＴＦＴ係数を算出し、ＳＴＦＴ係数から位相情報を算出する。フレーム推移に伴う位相情報の変化の態様が顕著に変化するタイミングをオンセットとする。
方法４：サンプル値ＳＩを一定時間長のフレームに分割し、フレーム毎にウェーブレット係数を算出する。フレーム推移に伴ってウェーブレット係数が顕著に変化するタイミングをオンセットとする。

【0021】

方法５：サンプル値ＳＩが、２つのモデルAおよびＢのいずれかから発生していると考える。サンプル値ＳＩがモデルＡから発生している対数尤度と、サンプル値ＳＩがモデルＢから発生している対数尤度との大小関係が逆転するタイミングをオンセットとする。
方法６：過去のサンプル値ＳＩから現在のサンプル値ＳＩを予測する予測困難度を算出し、予測困難度が顕著に高まるタイミングをオンセットとする。

【0022】

検出部４１４は、例えば、次のような方法でオンセットピークを決定する。
例１：図４に例示するように、検出されたオンセットから所定時間Ｔａ（音符の立ち上がりの長さ。例えば、数百ミリ秒から１秒程度）をアタック区間として特定し、上記一連のピークうちのアタック区間の最大値Ｐｍａｘをオンセットピークとする。
例２：上記一連のピークに平滑化フィルタをかけ滑らかなカーブにして、そのカーブのアタック区間における最大値をオンセットピークにする。

【0023】

図３において、度数のカウント部４１５は、検出部４１４から出力されるオンセットピークの変域を複数のレンジに分け、各レンジに属するオンセットピークの度数をカウントすることによりオンセットヒストグラムを生成する。このようにして生成されたオンセットヒストグラムが図１の表示部５に表示され、或いは、パラメータ推定部６に供給される。ヒストグラム作成に使用するオンセットピーク検出の時間範囲は任意である。例えば、１ないし数曲の時間範囲、複数の各曲のクライマックスの時間範囲、直前の所定時間範囲、ユーザが指定した時間範囲など、それらの何れの時間範囲に検出されたオンセットピークでヒストグラムを作成してもよい。

【0024】

ここで、直前の所定時間範囲は、現在時刻を起点としてユーザが指定した時間幅遡った時刻から現在時刻までの、その指定された時間幅の窓の範囲である。生成部４（カウント部４１５）は、その窓を時間の経過につれて移動し、その窓の時間範囲に入るオーディオ信号に基づいてオンセットピークのヒストグラムを生成する。より具体的に、オンセットピークが検出されるごとに、そのオンセットピークの値が属するレンジの度数を増やす（＋１する）とともに、そのオンセットピーク値とその検出された時刻とを履歴として記憶する。そして、その時刻から所定時間経過したとき、履歴からそのオンセットピーク値を読み出し、その値が属するレンジの度数を減らす（－１する）。

【0025】

或いは、ユーザが、窓の時間幅を指定する代わりに、ヒストグラムの忘却速度（減衰率）を指定するようにしてもよい。生成部４（カウント部４１５）は、各レンジの度数を、オンセットピークが検出されるごとに増やすとともに、時間が経過するごとにその忘却速度に応じた速さで減少させる。

【0026】

また、ユーザが指定した時間範囲は、ユーザにより指定された開始時刻から終了時刻までの過去の時間範囲である。オンセットピークのヒストグラムは、リアルタイムに作成されるのではなく、指定された過去の時間範囲のオーディオ信号について、作成される。この場合、過去の時間範囲のオンセットピークを入手するため、後述する第３実施形態の記録部や、第４実施形態のレコーダに例示される、過去のオーディオ信号に関する何らかの情報を記憶する情報記憶部が必要となる。

【0027】

本実施形態によれば、オンセットから始まる一定時間長のアタック区間内に発生するオンセットピークのヒストグラムが生成されるので、入力レベルに関する適切な指標として利用可能である。

【0028】

＜第２実施形態＞
生成部４の一例として、図５に、この発明の第２実施形態であるオンセットヒストグラムの生成部４２の構成を示す。

【0029】

生成部４２において、前処理部４２１は、サンプリング周期ごとに、オーディオ信号のサンプルＳＤの全波整流を行い、さらに対数に変換して、サンプルＳＩとして出力する。

【0030】

減算部４２４と、乗算部４２５と、加算部４２６と、遅延部４２７と、比較部４２８と、時定数部４２９とは、エンベロープフォロワとして、サンプリング周期ごとに、前処理部４２１の出力するサンプルＳＩから、そのエンベロープＥｄを生成する。

【0031】

詳述すると、減算部４２４は、サンプルＳＩからエンベロープＥｄの現在値を減算し、減算結果を示すサンプルを出力する。比較部４２８は、サンプルＳＩとエンベロープＥｄの現在値とを比較し、比較結果を示す信号を出力する。時定数部４２９は、サンプルＳＩがエンベロープＥｄの現在値より大きいことを比較部４２８の出力信号が示すとき短い時定数に対応した係数α１を出力し、サンプルＳＩがエンベロープＥｄの現在値以下であることを比較部４２８の出力信号が示すとき長い時定数に対応した係数α２<α１を出力する。乗算部４２５は、減算部４２４によって出力されるサンプルに時定数部４２９から出力される係数を乗算して出力する。加算部４２６は、乗算部４２５が出力するサンプルとエンベロープＥｄの現在値とを加算し、サンプルＥｃとして出力する。遅延部４２７は、サンプルＥｃを１サンプリング周期だけ遅延させたサンプルをエンベロープＥｄの現在値として出力する。なお、減算部４２４の減算結果の符号を、比較部４２８の出力の代わりに使用し、比較部４２８を省略してもよい。

【0032】

以上の構成によれば、サンプルＳＩがエンベロープＥｄの現在値より大きい期間、エンベロープＥｄは、係数α１に対応する第１時定数で、オーディオ信号のサンプルＳＩの立ち上がりに急速に追従して立ち上がる。また、サンプルＳＩがエンベロープＥｄの現在値以下である期間、エンベロープＥｄは、係数α２に対応し第１時定数より長い第２時定数で、緩やかに立ち下がる。

【0033】

ラッチ４２２は、あるサンプリング周期においてサンプルＳＩがエンベロープＥｄの現在値より大きいこと、すなわちオーディオ信号が立ち上がり区間にあることを比較部４２８の出力信号が示す場合は、その時点におけるサンプルＳＩをピーク候補Ｐｃとしてラッチする。

【0034】

度数のカウント部４２３は、オンセットピークの変域を複数のレンジに分割し、各レンジに属するオンセットピークの度数をカウントする装置である。カウント部４２３は、ユーザの指示に応じて全度数をゼロリセットし、それ以降にオンセットピークを検出するごとに、そのオンセットピーク値が属するレンジの度数を増やす（＋１する）。さらに詳述すると、カウント部４２３は、あるサンプリング周期において立ち上がり区間と判定され、ラッチ４２２にピーク候補Ｐｃがラッチされた後、所定数ｍサンプリグ周期に相当する所定期間Ｔ０の間、次のピーク候補のラッチがなければ、その時点で、ラッチされたピーク候補ＰｃをオンセットピークＰｏと判断し、そのオンセットピークＰｏが属するレンジの度数を増やす。第２実施形態における各アタック区間は、所定期間Ｔ０より短い間欠を含みつつ、連続して立ち上がり区間に入ると判定された一連のサンプリング周期である。そして、各アタック区間における先頭のサンプリング周期が、そのアタック区間に対応するオンセットのタイミングと見做される。

【0035】

図６は生成部４２の動作例を示す波形図である。図６では、太線で示される立ち上がり区間における各サンプリング周期でサンプルＳＩがピーク候補Ｐｃとして順次ラッチされる。左から５番目の太線区間の最後のサンプリング周期でサンプルＳＩがラッチされた後、ＳＩ＞Ｅｄとなることなく時間Ｔ０が経過する。この時間Ｔ０が経過したサンプリング周期においてアタック区間が確定し、その時点でラッチされているサンプルＳＩがオンセットピークＰｏとして検出され、その値が属するレンジの度数が１だけカウントアップされる。

【0036】

本実施形態によれば、各アタック区間におけるオーディオ信号波形のピーク値がオンセットピークとして検出され、オンセットピークの分布を示すオンセットヒストグラムが生成される。このヒストグラムは、信号処理のパラメータ制御に有用な指標である。

【0037】

また、本実施形態によれば、音信号が立ち上がるアタック区間内のピークをオンセットピークとするため、アタック区間の長さに関わらず、適切にオンセットピークを検出できる。

【0038】

ここでは、ユーザによる度数リセットから現在までの時間範囲のオンセットピークでヒストグラムを生成したが、オンセットピーク検出の時間範囲は任意である。

【0039】

＜第２実施形態の変形例＞
本実施形態に関しては次の変形例が考えられる。
この変形例では、図６の太線で示される立ち上がり区間のサンプル全て、すなわち、ラッチ４２２にラッチされた全てのピーク候補Ｐｃをオンセットピークとして取り扱い、ヒストグラムを生成する。一般に、オーディオ信号は、アタック区間においてそのピークまで短時間に立ち上がるので、この方法で作成したヒストグラムは、第１実施形態や第２実施形態のような、アタック区間のピークだけをオンセットピークとして作成したヒストグラムに比較的近い形状となる。この変形例では、第２実施形態と比較して短期間のサンプルで、かつ、より簡単な構成で、オンセットピークのヒストグラムを生成できる。

【0040】

＜第３実施形態＞
生成部４の一例として、図７に、この発明の第３実施形態であるオンセットヒストグラムの生成部４３の構成を示す。前処理部４３１は、サンプリング周期ごとに、信号ＳＤの全波整流を行い、さらに対数に変換して、サンプルＳＩとして出力する。信号ＳＤからの一連のオンセットの検出も、この前処理部４３１が行う。ピークの検出部４３２は、前処理部４３１の出力するサンプルＳＩから、時間フレーム毎のピークを検出し、このピークの時系列を記録部４３３に記録する。これら前処理部４３１、検出部４３２、記録部４３３の処理は、処理装置１００（例えばオーディオミキサ）がオーディオ信号を処理（例えばミキシング処理）中に、そのバックグラウンドで行われる。

【0041】

オンセットピークの検出部４３４は、記録部４３３に記録されたピークの時系列の中から、検出範囲の指定部４３６により指定された時間範囲内のピークの時系列を選択し、検出条件の指定部４３７により指定された検出条件に従い、オンセットピークを検出する。ここで、ユーザは、後述するＵＩ部の表示器に表示されたピークの時系列（エンベロープ波形の形状）を見ながら、そのＵＩ部を用いて、所望の時間範囲を指定する。なお、この場合のオンセットピークの検出方法は第１実施形態と同様である。また、検出条件とは、例えばアタック期間の時間長Ｔａなどである。度数のカウント部４３５は、検出部４３４により検出されたオンセットピークの属するレンジの度数を増やす（＋１する）。

【0042】

本実施形態においても上記第１実施形態と同様な効果が得られる。また、本実施形態によれば、記録部４３３に記録したピークを用い、任意の時間範囲を指定して、或いは、検出条件を変えながら、オンセットピーク検出や度数カウントを実行できる。

【0043】

＜第４実施形態＞
図８は、この発明の第４実施形態におけるオンセットヒストグラムの生成部４４の構成を示すブロック図である。第４実施形態の処理装置１００は、図１において、ＡＤＣ１の直後にマルチトラックのレコーダ１０３（図示せず）を備える。処理装置１００（例えば、オーディオミキサ）がＡＤＣ１からの（複数チャンネルの）オーディオ信号を処理（例えば、ミキシング）しているとき、レコーダ１０３は、バックグラウンドでそのオーディオ信号を記憶媒体に記憶する。生成部４４は、レコーダ１０３の記録媒体に録音された（所望のチャンネルの）オーディオ信号に基づいて、オンセットヒストグラムを作成する。

【0044】

オンセット処理部４４２は、上記第１実施形態や第２実施形態と同種の方法を用い、レコーダからオーディオ信号からオンセットピークを検出する。

【0045】

読出部４４１は、検出範囲の指定部４４４により指定された時間範囲内のオーディオ信号のサンプルＳＤの時系列を記録媒体から読み出して出力する。ユーザは、表示器に表示されたサンプルＳＤの時系列（オーディオ波形の形状）を見ながら、ＵＩ部を用いて、所望の時間範囲を指定する。

【0046】

オンセット処理部４４２は、指定部４４５により指定された検出条件に従い、読出部４４１の出力するオーディオ信号からオンセットピークを検出する。その検出には、これまで説明した何れの方法を用いてもよい。カウント部４４３は、検出されたオンセットピークのヒストグラムを生成する。ここでの検出条件の自由度は第３実施形態より高く、例えば、オンセットの検出アルゴリズムや、オンセットピークの検出アルゴリズムなどを指定することもできる。

【0047】

本実施形態においても上記第１または第２実施形態と同様な効果が得られる。また、本実施形態では、記録媒体に記録された録音波形から、任意の時間範囲を指定して、或いは、検出条件をより自由に変えながら、オンセットピークを検出してヒストグラムを生成できる。

【0048】

＜複数の実施形態に共通のハード構成＞
図９は、この発明の複数の実施形態に共通するオーディオ信号の処理装置１００の構成を示す。処理装置１００は、制御部１１１と、ＵＩ部１１２と、記憶部１１３と、ＡＤＣ１１４と、信号処理部１１５と、ＤＡＣ１１６と、これらの各要素を接続するバス１１７とを有する。

【0049】

制御部１１１は、処理装置１００全体の制御回路であり、例えば、１乃至複数のＣＰＵにより構成される。ＵＩ部１１２は、ユーザの操作に応じて、その操作情報を制御部１１１に供給する操作部と、制御部１１１から受け取った情報を表示する表示部とを含む。記憶部１１３は、制御部１１１に実行される各種のプログラム、処理装置１００の制御に用いられる各種の制御情報を記憶するメモリである。ＡＤＣ１１４は、図示しないマイク等から供給されるアナログのオーディオ信号をＡ／Ｄ変換し、デジタルのオーディオ信号として出力する。

【0050】

信号処理部１１５は、２つの機能を有する。１つは、制御部１１１による制御の下、ＡＤＣ１１４などから供給されるデジタル信号に基づいてオンセットヒストグラムを作成する機能である。つまり、制御部１１１は、記憶部１１３内のプログラムを実行することにより、信号処理部１１５を図１の生成部４として機能させる。

【0051】

信号処理部１１５のもう１つの機能は、制御部１１１による制御の下、ＡＤＣ１１４などから供給されるデジタル信号に対し、信号処理を施し、その結果であるデジタル信号をＤＡＣ１１６に供給する機能である。つまり、制御部１１１は、信号処理部１１５を図１の信号処理部２として動作させる。

【0052】

ＤＡＣ１１６は、信号処理部１１５から出力されるデジタル信号をＤ／Ａ変換し、図９には図示しないスピーカ１０２等に出力する。

【0053】

次に本実施形態の動作を説明する。処理装置１００の電源が投入されると、制御部１１１は記憶部１１３に記憶されたメインルーチンを実行する。図１０はこのメインルーチンのフローチャートである。制御部１１１は、まず、初期設定を行う（Ｓ１０１）。この初期設定において、制御部１１１は、信号処理部１１５を図１の生成部４及び信号処理部２として機能させるプログラムを記憶部１１３から読み出し、信号処理部１１５に設定する。次に制御部１１１は、処理装置１００における種々のイベント（例えば、ＵＩ部１１２のユーザ操作など）の発生を検出する（Ｓ１０２）。次に制御部１１１は、Ｓ１０２において何らかのイベントが検出されたか否かを判断する（Ｓ１０３）。このＳ１０３の判断結果が「ＮＯ」である場合、制御部１１１は、イベントの検出（Ｓ１０２）およびイベントの有無の判断（Ｓ１０３）を繰り返す。Ｓ１０３の判断結果が「ＹＥＳ」である場合、制御部１１１は検出されたイベントに対応するイベント処理（Ｓ１０４）を実行し、その後、再びイベントの検出（Ｓ１０２）およびイベントの有無の判断（Ｓ１０３）を繰り返す。

【0054】

イベント処理（Ｓ１０４）では、Ｓ１０２において検出されたイベントの種類に応じた処理が実行される。第１、第２実施形態に関して、例えば、Ｓ１０３において、オンセットヒストグラムの作成開始を指示するユーザ操作が検出された場合、制御部１１１は、オンセットヒストグラムの作成開始を、信号処理部１１５に対して指示する。信号処理部１１５の生成部４は、この作成開始の指示に応じて、以降にＡＤＣ１１４から供給されるデジタルのオーディオ信号に基づくオンセットピークの検出およびオンセットヒストグラムの作成を開始する。

【0055】

また、Ｓ１０３において、オンセットヒストグラムの表示指示のユーザ操作が検出された場合、制御部１１１は、Ｓ１０４において、この表示指示に応じて、図１１に示すイベント処理を実行する。この表示指示は、例えば、オンセットヒストグラムのグラフ表示を含む、コンプレッサ等の設定画面を、ＵＩ部１１２の表示器に表示させる指示である。

【0056】

まず、制御部１１１は、その時点に作成済みのオンセットヒストグラムＯＨを、信号処理部１１５の生成部４から受け取る（Ｓ２０１）。次に制御部１１１は、オンセットヒストグラムＯＨを、ＵＩ部１１２の表示器に表示する（Ｓ２０２）。そして、このイベント処理を終了する。第３ないし第４実施形態についても、同様に、信号処理部１１５を、生成部４３ないし生成部４４として動作させてもよい。

【0057】

処理装置１００における、制御部１１１と信号処理部１１５との役割分担に関しては各種の変形例が考えられる。例えばオンセットヒストグラムＯＨの生成処理（生成部４）の全部ないし一部を、信号処理部１１５ではなく、制御部１１１が実行してもよい。図１２は、第４実施形態（ないし第３実施形態）に関して、オンセットヒストグラムの表示指示のユーザ操作が検出された場合に、制御部１１１が実行するイベント処理のフローチャートである。

【0058】

まず、制御部１１１は、信号処理部１１５がＡＤＣ１１４から取得したサンプル値ＳＤのうちオンセットヒストグラムの作成対象となる区間内のサンプル値を信号処理部１１５から受け取る（Ｓ３０１）。例えば、信号処理部１１５のレコーダ（ないし記録部４３３）から、指定された時間範囲内のオーディオ信号のサンプルＳＤ（ないし時間フレームごとのピーク）の時系列を受け取る。次に制御部１１１は、受け取ったサンプル値ＳＤ（またはピーク）の時系列に基づいて一連のオンセットピークＰｏを検出し、検出されたオンセットピークＰｏに応じてオンセットヒストグラムＯＨを作成する（Ｓ３０２）。次に制御部１１１は、オンセットヒストグラムＯＨをＵＩ部１１２の表示部に表示する（Ｓ３０３）。そして、このイベント処理を終了する。第１ないし第２実施形態に関しても、同様に、生成部４の処理の全部ないし一部を、制御部１１１が実行するようにしてもよい。

【0059】

以上、この発明の第１～第４実施形態について説明したが、この発明には他にも実施形態があり得る。例えば次の通りである。

【0060】

（１）上記各実施形態において、処理対象であるオーディオ信号は、１つの楽器の演奏音のオーディオ信号であってもよく、同じ又は異なる種類の複数の楽器の演奏音を混合したオーディオ信号でもよい。

【0061】

（２）オンセットピークの検出に用いるオンセットを、処理装置１００が、外部から取得してもよい。例えばＭＩＤＩ楽器がＭＩＤＩデータに基づいて演奏する演奏音など、オーディオ信号とタイミングが揃ったＭＩＤＩデータの時系列が取得できる場合、そのＭＩＤＩデータの時系列に含まれるノートオンイベントのタイミングを、オンセットのタイミングとしてオンセットピークの検出に用いることができる。

【0062】

（３）オンセットヒストグラムの生成部４の一部ないし全部を、制御部１１１の管理の下で処理装置１００に実装された生成部４以外の処理部と共用してもよい。例えば、コンプレッサ等のオーディオ信号のダイナミクス処理部はエンベロープフォロワを含む場合が多く、その場合、それを上記第２実施形態の生成部４のエンベロープフォロワとして使用できる。

【符号の説明】

【0063】

１００，１１０……オーディオ信号の処理装置、１０１……マイク、１０２……パワードスピーカ、１０３……マルチトラックのレコーダ、１１１……制御部、１１２……ＵＩ部、１１３……記憶部、１，１１４……ＡＤＣ、２，１１５……信号処理部、３，１１６……ＤＡＣ、４，４１，４２，４３，４４……オンセットヒストグラムの生成部、５……表示部、６……パラメータの推定部、７……入力部、４１１……整流部、４１２……真数／対数変換部、４１３，４３２……ピークの検出部、４１４，４３４……オンセットピークの検出部、４１５，４２３，４３５，４４３……度数のカウント部、４２１，４３１……前処理部、４２２……ラッチ、４２４……減算部、４２５……乗算部、４２６……加算部、４２７……遅延部、４２８……比較部、４２９……時定数部、４３３……記録部、４３６，４４４……検出範囲の指定部、４３７，４４５……検出条件の指定部、４４１……読出部、４４２……オンセットの処理部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】