特開 2025-3035 楽音処理装置、及び楽音処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025003035

(43)【公開日】2025-01-09

(54)【発明の名称】楽音処理装置、及び楽音処理方法

(51)【国際特許分類】

   G10H 1/06 20060101AFI20241226BHJP

   G10H 1/00 20060101ALI20241226BHJP

【ＦＩ】

G10H1/06

G10H1/00 C

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023103480

(22)【出願日】2023-06-23

(71)【出願人】

【識別番号】000116068

【氏名又は名称】ローランド株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】中山 直

(72)【発明者】

【氏名】久保 翔平

【テーマコード（参考）】

5D478

【Ｆターム（参考）】

5D478DE00

(57)【要約】

【課題】楽音信号に対する好適な効果音の信号を生成可能とする。
【解決手段】楽音処理装置は、楽音信号から得られた複数の処理単位の信号の夫々の周波数特性及び時間応答の少なくとも一方を変形した複数の第１の信号を生成する第１の生成部と、複数の処理単位の信号の１又は２以上と対応づけられた雑音信号の周波数特性及び時間応答の少なくとも一方が、対応づけられた第１の信号の周波数特性及び時間応答の少なくとも一方に置き換えられた第２の信号を生成する第２の生成部とを含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

楽音信号から得られた複数の処理単位の信号の夫々の周波数特性及び時間応答の少なくとも一方を変形した複数の第1の信号を生成する第１の生成部と、
前記複数の第１の信号中の１又は２以上の第１の信号と対応づけられた雑音信号の周波数特性及び時間応答の少なくとも一方が、前記１又は２以上の第１の信号の周波数特性及び時間応答の少なくとも一方に置き換えられた第２の信号を生成する第２の生成部と、
を含む楽音処理装置。

【請求項2】

前記第２の生成部によって生成された複数の第２の信号を合成する合成部をさらに含む請求項１に記載の楽音処理装置。

【請求項3】

前記合成部によって合成された信号に前記楽音信号が加算された信号を出力する加算部をさらに含む
請求項２に記載の楽音処理装置。

【請求項4】

前記雑音信号は、白色雑音信号、有色雑音信号、白色雑音信号及び有色雑音信号の双方の特徴を有する信号、及び帯域雑音信号の中から選ばれる１以上である
請求項１に記載の楽音処理装置。

【請求項5】

前記雑音信号は、定常的不規則なランダム信号、または擬似乱数列によるランダム信号の少なくとも一方を含む信号を含む
請求項１に記載の楽音処理装置。

【請求項6】

前記雑音信号は、時間とともに時間軸上の波形が変化するが周波数成分の各成分の比は一定である信号を含む
請求項１に記載の楽音処理装置。

【請求項7】

前記雑音信号は、非減衰信号であり半永久的に持続可能な信号を含む
請求項１に記載の楽音処理装置。

【請求項8】

前記複数の処理単位の信号が、前記楽音信号が帯域分割された複数の分割信号であり、
前記雑音信号が、前記複数の分割信号のうちの１又は２以上と対応づけ可能な複数の雑音信号である
請求項１に記載の楽音処理装置。

【請求項9】

前記複数の処理単位の信号が、前記楽音信号のウィンドウサイズに従った分割と、分割された信号の時間－周波数変換によって得られた複数の周波数領域の信号であり、
前記雑音信号が、前記複数の周波数領域の信号のうちの１又は２以上と対応づけ可能な複数の雑音信号である
請求項１に記載の楽音処理装置。

【請求項10】

前記第１の生成部が、前記複数の処理単位の信号の夫々の包絡線の変形を行う
請求項１に記載の楽音処理装置。

【請求項11】

前記第１の生成部が、処理単位の信号の包絡線のリリース時間を長くする
請求項１０に記載の楽音処理装置。

【請求項12】

前記第１の生成部が、前記複数の処理単位の信号に対する畳み込み処理を行う
請求項１に記載の楽音処理装置。

【請求項13】

情報処理装置が、
楽音信号から得られた複数の処理単位の信号の夫々の周波数特性及び時間応答の少なくとも一方を変形した複数の第1の信号を生成することと、
前記複数の第１の信号中の１又は２以上の第１の信号と対応づけられた雑音信号の周波数特性及び時間応答の少なくとも一方が、前記１又は２以上の第１の信号の周波数特性及び時間応答の少なくとも一方に置き換えられた第２の信号を生成することと
を実行する楽音処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、楽音処理装置、及び楽音処理方法に関する。

【背景技術】

【0002】

従来、シミュレートされたインパルス応答を使用して残響効果を作成する電子サウンドプロセッサがある。また、従来、リバーブ効果を与える技術として、シュレーダー型がある（例えば、非特許文献１参照）。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Natural Sounding Artificial Reverberation, M. R. SCHROEDR, Bell Telephone Laboratories, Incorporated, Murray Hill, New Jersey, JOURNAL OF THE AUDIO ENGINEERING SOCIETY, JULY 1962, VOLUME 10, NUMBER 3.

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、楽音信号に対する好適な効果音の信号を生成可能な楽音処理装置、及び楽音処理方法を提供することを目的とする。

【課題を解決するための手段】

【0005】

本発明の実施例の一つは、楽音信号から得られた複数の処理単位の信号の夫々の周波数特性及び時間応答の少なくとも一方を変形した複数の第１の信号を生成する第１の生成部と、
前記複数の処理単位の信号の１又は２以上と対応づけられた雑音信号の周波数特性及び時間応答の少なくとも一方が、対応づけられた第１の信号の周波数特性及び時間応答の少なくとも一方に置き換えられた第２の信号を生成する第２の生成部と、
を含む楽音処理装置である。

【0006】

本発明の実施例の一つは、情報処理装置が、楽音信号から得られた複数の処理単位の信号の夫々の周波数特性及び時間応答の少なくとも一方を変形した複数の第1の信号を生成
することと、前記複数の第１の信号中の１又は２以上の第１の信号と対応づけられた雑音信号の周波数特性及び時間応答の少なくとも一方が、前記１又は２以上の第１の信号の周波数特性及び時間応答の少なくとも一方に置き換えられた第２の信号を生成することとを実行する楽音処理方法である。

【図面の簡単な説明】

【0007】

【図1】図１は、楽音処理装置の構成例を示す。

【図2】図２は、楽音処理装置の説明図である。

【図3】図３は、図２に示した楽音処理装置の処理例を示すフローチャートである。

【図4】図４は、第１の構成例を示す説明図である。

【図5】図５は、第１の構成例に適用可能な第１の回路構成例を示す図である。

【図6】図６は、第１の構成例に適用可能な第２の回路構成例を示す図である。

【図7】図７は、第１の構成例における処理例を示すフローチャートである。

【図8】図８は、処理単位の信号と雑音信号との対応関係を示す図である。

【図9】図９は、包絡線の変形例を示す図である。

【図10】図１０は、包絡線の変形例を示す図である。

【図11】図１１Ａは、ＡＤＳＲの説明図であり、図１１Ｂは波形制御パラメータの例を示す。

【図12】図１２は、畳み込み部を有する楽音処理装置の構成例を示す図である。

【図13】図１３は、畳み込み部の説明図である。

【図14】図１４は、畳み込み部の説明図である。

【図15】図１５は、畳み込み部の説明図である。

【図16】図１６は、畳み込み部の説明図である。

【図17】図１７は、畳み込み部の作用説明例を示す図である。

【図18】図１８は、第２の構成例を示す説明図である。

【図19】図１９は、第２の構成例に適用可能な回路構成例を示す図である。

【図20】図２０は、第２の構成例における処理例を示すフローチャートである。

【発明を実施するための形態】

【0008】

以下、図面を用いて実施形態に関する楽音処理装置及び楽音処理方法が説明される。実施形態の構成は例示であり、実施形態の構成に限定されない。図１は、実施形態に係る楽音処理装置（楽音処理装置として動作する情報処理装置）の回路構成例を示す図である。楽音処理装置は、例えばエフェクタと呼ばれる、楽音から効果音を生成する装置である。但し、実施形態に係る構成は、エフェクタ以外の装置に実装されてもよい。

【0009】

図１において、楽音処理装置１０は、楽音処理装置１０の全体の動作を制御するＣＰＵ（Central Processing Unit）１１を有する。ＣＰＵ１１は、バス２を介して、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、ＤＳＰ（Digital Signal Processor）１５と接続されている。ＣＰＵ１１には、ユーザインタフェース（ＵＩ）
１６が接続されている。

【0010】

ＲＡＭ１３は、ＣＰＵ１１の作業領域、プログラムやデータの記憶領域として使用される。ＲＯＭ１２は、プログラムやデータの記憶領域として使用される。ＲＡＭ１３及びＲＯＭ１２は、記憶装置（記憶媒体）の一例である。ＣＰＵ１１はプロセッサの一例である。

【0011】

楽音処理装置１０は、楽音が入力されるインプット（INPUT）端子２１を有している。
端子２１には、楽音信号が入力される。楽音信号は、楽器の音を含む。楽音には、人の声が含まれてもよい。

【0012】

インプット端子２１に入力された楽音信号は、ＡＤＣ（アナログ・ディジタル・コンバータ）１７でアナログ-ディジタル変換され、ＤＳＰ１５に入力される。ＤＳＰ１５は、
ＡＤＣ１７から入力されたディジタル形式の楽音信号から、効果音の信号を生成し、楽音信号と効果音の信号とが加算された信号を出力する。ＤＳＰ１５から出力される楽音信号は、ＤＡＣ（ディジタル・アナログ・コンバータ）１８に入力されてアナログ信号に変換され、パワーアンプ１９に入力される。パワーアンプ１９は入力された信号を増幅してスピーカ２０に接続する。スピーカ２０からは、楽音信号に効果音が付与され音が放音される。

【0013】

ＵＩ１６は、ダイヤル、スイッチ、ボタン、キーなどの、楽音処理装置１０に対する複数の設定値（パラメータ）を入力又は設定する入力装置と、楽音処理装置１０の状態や設定内容を表示する表示器（ランプ、ＬＥＤ、ディスプレイなど）とを含む。

【0014】

ＣＰＵ１１は、記憶装置などに記憶されたプログラムを実行することによって、ＵＩ１６を用いて設定された効果音の作成に関するパラメータを記憶装置に記憶したり、ＤＳＰ１５に設定したりする処理を行う。ＤＳＰ１５は、プログラムの実行により、ＣＰＵ１１によって設定されたパラメータに従った効果音の信号を生成する。

【0015】

図２は、楽音処理装置１０の説明図である。ＤＳＰ１５は、プログラムの実行によって、変換部１５Ａ、第１の生成部１５Ｂ、第２の生成部１５Ｃ、合成及び加算部１５Ｄ、及び雑音信号生成部１５Ｅを備えた装置として動作する。また、ＣＰＵ１１は、プログラムの実行によって、ＤＳＰ１５（１５Ａ～１５Ｅ）の動作を制御する制御部（コントローラ）１１Ａとして動作する。

【0016】

変換部１５Ａは、入力された楽音信号を所定の複数の処理単位の信号に分割した複数の分割信号を生成する。第１の生成部１５Ｂは、変換部１５Ａから入力された複数の処理単位の信号の夫々の周波数特性及び時間応答の少なくとも一方を変形した複数の第1の信号
を生成する。

【0017】

第２の生成部１５Ｃには、複数の（処理単位毎の）第１の信号と、雑音信号とが入力される。雑音信号は、雑音信号生成部１５Ｅによって生成される。本明細書において、雑音信号は、波形が常に変化する信号を含む。雑音信号は、白色雑音信号（ホワイトノイズ）、有色雑音信号（ピンクノイズ、ブルーノイズなど）を含む。また、雑音信号は、白色雑音信号及び有色雑音信号の双方の特徴を有する信号を含んでもよい。また、雑音信号は、帯域雑音信号を含んでもよい。また、雑音信号は、定常的不規則なランダム信号、または擬似乱数列によるランダム信号（乱数）の少なくとも一方を含む信号を含んでもよい。また、雑音信号は、時間とともに時間軸上の波形が変化するが周波数成分の各成分の比は一定である信号を含んでもよい。また、雑音信号は、非減衰信号であり半永久的に持続可能な信号、或いは常に一定のパワーを持った信号を含んでもよい。

【0018】

第２の生成部１５Ｃは、複数の第１の信号中の１又は２以上の第１の信号と対応づけられた雑音信号の周波数特性及び時間応答の少なくとも一方が、上記１又は２以上の第１の信号の周波数特性及び時間応答の少なくとも一方に置き換えられた第２の信号を生成する。

【0019】

合成及び加算部１５Ｄは、第２の生成部１５Ｃによって生成された複数の第２の信号を合成した信号に楽音信号が加算された信号を出力する。合成及び加算部１５Ｄは、第２の信号を合成する合成部と、合成部によって生成された信号に楽音信号を加算する加算部とから構成されていてもよい。なお、合成部及び加算部はオプションであり、必ずしも必須の構成ではない。

【0020】

雑音信号生成部１５Ｅは、複数の処理単位の信号（第１の信号）との対応づけが可能な複数の雑音信号を生成することができる。

【0021】

図３は、図２に示した楽音処理装置の処理例を示すフローチャートである。ステップＳ１において、変換部１５Ａが、楽音信号を複数の処理単位の信号に変換する。ステップＳ２では、第１の生成部１５Ｂが、処理単位の信号の周波数特性、時間応答を変形した第１の信号を生成する。

【0022】

ステップＳ３では、第２の生成部１５Ｃが、処理単位の信号に対応する１又は２以上の雑音信号の周波数特性、時間応答を対応する第１の信号の周波数特性、時間応答に置き換えた第２の信号を生成する。

【0023】

ステップＳ４では、合成及び加算部１５Ｄが、第２の信号を合成し、合成された信号（効果音の信号）に楽音信号を加算して出力する（ステップＳ５）。これにより、楽音信号及び効果音が、放音される。

【0024】

図４は、第１の構成例を示す説明図である。以降の説明において、楽音信号を「信号Ａ」と呼び、雑音信号を「信号Ｓ」と呼ぶことがある。第１の構成例では、変換部１５Ａは、複数のバンドパスフィルタ（ＢＰＦ）を有する。変換部１５Ａは、複数のＢＰＦを用いて、入力された楽音信号に対する帯域分割を行い、楽音信号を複数の帯域信号（複数の分割信号）に変換（分離）する。複数の分割信号が、複数の処理単位の信号に相当する。

【0025】

また、第１の生成部１５Ｂは、複数の帯域信号の夫々に関して、その振幅の包絡線を検出し、包絡線を変形する処理を行う。包絡線は、信号の周波数特性及び時間応答の少なくとも一方を有するものである。例えば、第１の生成部１５Ｂは、エンベロープジェネレータ (Envelope Generator)を含み、包絡線のAttack（立ち上がり）、Decay（減衰）、Sustain（減衰後の保持）、Release（余韻）を制御することができる。例えば、効果音として残響音（リバーブ）を生成する場合、第１の生成部１５Ｂは、包絡線のリリース（余韻）の時間を長くする。このような、包絡線検出及び変形処理を経た信号が第１の信号となる。包絡線の変形処理は、必ずしも全ての分割信号に対して行う必要はなく、制御を要する１又は２以上の帯域に対して行われる。

【0026】

雑音信号生成部１５Ｅは、複数のＢＰＦを有する。雑音信号生成部１５Ｅに入力された１つの雑音信号を、複数の帯域の分割雑音信号に変換する。分割される帯域幅及び帯域数は、楽音信号に対する帯域数及び帯域幅と同じであっても異なっていてもよい。

【0027】

第２の生成部１５Ｃは、複数の電圧制御増幅器（Voltage Controlled Amplifier：VCA
）を含んでいる。各ＶＣＡには、雑音分割信号が入力信号として入力される。また、各ＶＣＡには、雑音分割信号と対応関係を有する第１の信号が制御信号として入力される。これによって、雑音分割信号の増幅の利得（大きさ）が、第１の信号の大きさによって制御される。すなわち、雑音分割信号の周波数特性又は時間応答の少なくとも一方が、対応する第１の信号の周波数特性又は時間応答の少なくとも一方に置き換えられる。

【0028】

各ＶＣＡからの出力信号は、合成及び加算部１５Ｄで合成される。合成及び加算部１５Ｄは、合成された信号にオリジナルの楽音信号を加算して出力する。これによって、楽音信号に残響音（効果音）が付加された音響がスピーカ２０から放音される。

【0029】

図５は、第１の構成例に適用可能な第１の回路構成例を示す図である。図５には、図４に示した動作を、左右の楽音信号に対して行う楽音処理装置の回路構成例が示されている。図５において、回路は、左側の楽音信号に対する系列と、右側の楽音信号に対する系列とを有している。両者は同じ構成を有している。

【0030】

「フィルタバンクＡ 左」、及び「フィルタバンクＡ 右」の夫々は、左右の変換部１５Ａに相当し、入力される楽音信号に対し、複数のＢＰＦを用いて上述した複数の分割信号への変換を行う。「包絡線検出処理、変形処理 左」及び「包絡線検出処理、変形処理
右」は、左右の第１の生成部１５Ｂに相当し、入力された各分割信号に対する包絡線を検出し、必要な包絡線の変形を行うことで、複数の第１の信号を生成する。

【0031】

「相関設定」、「フィルタバンクＳ 左」、及び「フィルタバンクＳ 右」は、左右の雑音信号生成部１５Ｅに相当する。「相関設定」は、二つの雑音信号（雑音信号１、雑音信号２）に対する相関（相違度）を設定する。「相関設定」により相関が設定された雑音信号１は、「フィルタバンクＳ 左」に入力され、雑音信号２は、「フィルタバンクＳ 右」に入力される。「フィルタバンクＳ 左」、及び「フィルタバンクＳ 右」の夫々は、入力された雑音信号を、所定数の雑音分割信号に変換する。

【0032】

「乗算 左」及び「乗算 右」は、左右の第２の生成部１５Ｃに相当し、対応するフィ
ルタバンクから入力される各雑音分割信号に対するＶＣＡとして動作する。「合成処理 左」及び「合成処理 右」は、左右の合成部に相当し、自身に入力される複数の第２の信号を合成した信号を生成する。左右の加算部は、対応する合成部から出力された合成信号とオリジナルの楽音信号（ダイレクト音）とを加算して出力する。これによって、左右のスピーカから、左右の楽音信号と効果音（例えば残響音）とが放音される。

【0033】

図６は、第１の構成例に適用可能な第２の回路構成例を示す図である。第１の回路構成例では、左右１つずつの雑音信号を分割して複数の雑音分割信号を得ていた。これに対し、第２の回路構成例では、左側の雑音分割信号に相当する複数の雑音信号（雑音信号１１、雑音信号２１、雑音信号３１・・・）を用意し、右側の雑音分割信号に相当する複数の雑音信号（雑音信号１２、雑音信号２２、雑音信号３２・・・）が用意される。複数の雑音信号は、相関が設定された後、ＶＣＡに対する入力信号として「乗算 左」或いは「乗算 右」に入力される。この点を除き、第２の回路構成例は、第１の回路構成例と同じである。なお、入力端子及び出力端子の夫々の数は２以上であってもよい。

【0034】

図５及び図６に示す回路は、実際の回路（ハードウェア）であってもよいが、本実施形態では、ＤＳＰ１５が、プログラムに従って、図５又は図６に示す回路として動作する。また、上述したＶＣＡは、制御信号に応じて利得を制御可能なものであれば、ＶＣＡ以外が採用されてもよい。例えば、利得制御装置、或いはＤＳＰ制御などを適用できる。なお、図５及び図６に示した回路構成例において、楽音信号は、端子２１から入力された楽音信号であっても、楽音処理装置１０内で再生される楽音信号であってもよい。また、予め帯域毎に分割された楽音信号が再生されるようにしてもよい。このように、帯域分割は必ずしも必須の要件ではない。また、雑音信号は、ノイズジェネレータ等を用いて楽音処理装置１０内部で生成されるものであっても、楽音処理装置１０が有する入力端子を用いて楽音処理装置１０の外部から入力されるものであってもよい。

【0035】

図７は、第１の構成例における処理例を示すフローチャートである。ステップＳ１１では、「フィルタバンクＡ 左」、及び「フィルタバンクＡ 右」の夫々は、帯域分離によって、複数の処理単位の信号への変換（複数の分割信号への分離）を行う。

【0036】

ステップＳ１２では、「包絡線出処理、変形処理 左」及び「包絡線出処理、変形処理
右」の夫々は、各帯域の分割信号の包絡線を検出し、包絡線を変形した（例えばリリース時間を長くした）第1の信号を得る。

【0037】

ステップＳ１３では、「乗算 左」及び「乗算 右」の夫々は、雑音信号を、対応する第1の信号の包絡線で振幅制御することによって第２の信号を生成する。ステップＳ１４
では、合成部によって、複数の第２の信号が合成される。ステップＳ１５では、加算部が、合成された信号と楽音信号とを加算して出力する。

【0038】

図８は、処理単位の信号と雑音信号との対応関係を示す図である。例えば、楽音信号（信号Ａ）と雑音信号（信号Ｓ）とは、同じ帯域同士が対応づけられ、同じ帯域について包絡線の置き換えが行われてもよい（図８Ａ）。信号Ａの帯域が、信号Ｓの異なる帯域と対応づけられていてもよい（図８Ｂ）。また、信号Ａと信号Ｓとは１：１で対応づけられていてもよく、図８Ｃに示すように楽音信号の帯域と雑音信号の帯域とは、１：ｎ（ｎは２以上の自然数）で対応づけられていてもよい。また、図８Ｄに示すように、楽音信号の帯域と雑音信号の帯域とは、ｎ：ｎ（ｎは２以上の自然数）で対応づけられていてもよい。還元すれば、１又は２以上の第１の信号の包絡線を用いて、１又は２以上の雑音信号の包絡線を制御することができる。

【0039】

雑音信号の複数の帯域を制御する場合、楽音信号の帯域と同じ帯域と、１オクターブ上
、または１オクターブ下の帯域を制御すると、Shimmer Reverbと呼ばれる効果にすることができる。また、楽音信号と同じ帯域と、その帯域の前後（両隣）の帯域とを同じタイミングで制御すると、サイドバンドを増やすことができる。また、雑音信号の帯域分割セットと全く異なる楽音信号の帯域分割セットを用いて雑音信号の包絡線を制御してもよい。

【0040】

図９は、包絡線の変形例を示す図である。左上の包絡線が楽音信号の元の包絡線である場合に、その右側に示すように、遅延させた包絡線を生成することができる。このとき、元の包絡線からその遅延包絡線に係数をかけたものを引き算することによって、ゲートリバーブ風の包絡線（音響効果）を得ることができる。すなわち、リリースの減衰特性がどの部分を切り取っても相似形なのを利用し、検出した楽音信号の包絡線を遅延させ係数をかけて引き算すると遅延時間後に包絡線の値を０にすることができる。帯域によって設定を変えると従来得られなかったような残響音を得ることができる。従来のゲートリバーブは入力の閾値を検出して動作させているため、単一の楽器音にしか掛けられない。これに対し、実施形態に係る方法では、複数の楽器音を入力しても処理単位毎に個別に動作するので自然な効果が得られる。また、残響音として知覚できないほどゲート時間を短くすると、これまでになかった音色を得ることができる。

【0041】

図１０は、包絡線の変形例を示す図である。図１０Ａに示すように、入力信号（楽音信号）の包絡線を検出するときの減衰係数を１に設定（フリーズオン）すると、その時点での残響音をフリーズする（フリーズがオフとなるまでその時点のレベルを維持）することができる。

【0042】

また、図１０Ｂに示すように、減衰時に時間のカウントを開始し、カウントされた値が設定時間を示すカウント値になるまで減衰係数を１に設定すると、自動的なフリーズ効果を得ることができる。

【0043】

また、フリーズ動作時の減衰係数を１より僅かに大きくすると逆回転風の残響音が得られる（図１０（Ｃ）参照）。また、フリーズ動作時の減衰係数を１より小さくすると、ゲートリバーブ風の効果を得ることができる（図１０（Ｄ）参照）。また、減衰係数の制御によって、２段階減衰、例えば、カウント開始から所定のカウント値に達するまでの間、所定の速度（傾き）で包絡線が減衰し、所定のカウント値に達すると、減衰が遅くなる（又は早くなる）ように制御することができる。

【0044】

包絡線の変形とフリーズ動作を組み合わせるとＡＤＳＲのような時間変化を作ることができる。図１１Ａは、ＡＤＳＲの説明図であり、図１１Ｂは波形制御パラメータの例を示す。図１１Ａに示すように、Attack（立ち上がり）は、入力振幅が大きくなった時、その振幅に到達するまでの時間を設定するパラメータである。０秒に設定すればいきなり入力振幅となる。Decay（減衰）は、Attackで到達した振幅から、Sustainに移行するまでの時間を設定するパラメータである。Sustain（減衰後の保持）は、レベルを保持する時間を
設定するパラメータである。Release（余韻）は、Sustain終了した時点から、音が鳴り終わるまでの時間を設定するパラメータである。

【0045】

図１１Ｂの表に示すように、制御部１１Ａ（ＣＰＵ１１）が設定するＤＳＰ１５に設定するパラメータとしては、効果（エフェクト）が残響音（リバーブ）である場合に、リバーブの音色の特徴を決めるキャラクタ選択、リバーブの長さ、アタックの速さ、リバーブの高域減衰がかかり始める周波数などがある。また、パラメータには、ゲートリバーブの有効・無効のスイッチなど、ゲートリバーブに係るパラメータを含むこともできる。このようなパラメータは、楽音信号の入力の前に、予め設定される。

【0046】

図１２は、処理単位の信号と雑音信号との対応関係を設定するための、畳み込み部を有
する楽音処理装置の構成例を示す図である。図１２に示す例では、楽音処理装置の変換部１５Ａは、複数のＢＰＦと、畳み込み部（Convolution）１５Ｆとを含む。第１の生成部
１５Ｂは、楽音信号の振幅の包絡線を検出し、必要な変形を行うエンベローパ（Enveloper）を含む。但し、畳み込み部１５Ｆは、第１の生成部１５Ｂの一部であってもよく、変
換部１５Ａ及び第１の生成部１５Ｂから独立した構成であってもよい。

【0047】

図１３に示すように、畳み込み部１５Ｆは、複数の入力端と、複数の出力端とを含み、複数の入力端と複数の出力端とが全結合（全ての要素をたたみ込む）されている。図１３において、乗算器の図は省略されている。入力端から伸びる複数のタップのうち、使用しないタップに対する係数（重み）を０とすることで、図１４に示すように、各入力端と各出力端とが１：１で接続された状態、すなわち、畳み込みが行われない（事実上、畳み込み部１５が存在しない）状態とすることができる。

【0048】

また、タップに対する係数０の設定により、図１５に示すように、帯域（バンド）を所望の出力端にシフトさせることができる。このようなシフトの構成は、オクターブシフト（オクターブの位置を上下に変更する）などにも適用可能である。

【0049】

また、両端の入力端が二つのタップを有し、両端の間の各入力端が三つのタップ（対応する出力端とその両隣のタップ）と結合されるようにして畳み込みを行うことで、ピークの強調を行うことができる。

【0050】

図１７の左側のグラフは、各帯域（ＢＰＦ）と各帯域のパワーとを示すグラフである。各帯域とその両隣の（隣接する）帯域の包絡線に相関を持たせ（図１７では、-０．５，
２．０，－０．５）、畳み込みを行った。右側のグラフは畳み込みの結果を示す。畳み込みによってピークが強調された状態、すなわち、出力結果にメリハリが出せる。なお、図１７に示す例では、帯域の両端部分（１番と２０番）では、片側の結果を流用した。

【0051】

このように、畳み込み部１５Ｆを設けることで、音色づくりなどが可能となる。また、係数の変更という簡易な操作で、畳み込み部１５Ｆが存在しない状態にすることができる。

【0052】

図１８は、楽音処理装置１０の第２の構成例を示す説明図である。第２の構成例では、入力信号（楽音信号）は、短時間フーリエ変換によって周波数領域の信号の時間変化に変換される。すなわち、窓関数処理によって、所定のウィンドウサイズに応じたフレームに分割され、各フレームに対するフーリエ変換（ＦＦＴ、時間－周波数変換）が行われ、各フレームが時間領域の信号から周波数領域の信号に変換される。このようにして、時間変化である複数の周波数領域の信号が得られる。

【0053】

分割したフレームの順に並べると、各スペクトラムの時間変化が観測される 。そして
、フレームごとに各スペクトラム（帯域）における振幅が検出され、検出された各スペクトラムの振幅の時間変化に対し、必要な変形が施される。各スペクトラム(帯域)の振幅をホワイトノイズ（雑音信号の一例）に与える。これにより、各スペクトラムの振幅が、変形された振幅を有するホワイトノイズが生成される。すなわち、発音元はホワイトノイズで、振幅が楽音信号について変形された振幅に応じたスペクトラムが生成される。全てのスペクトラムに対して振幅の変形がなされることは必ずしも必須ではない。複数のスペクトラムの中から所望の１又は２以上のスペクトラムに関して振幅の変形がなされればよい。

【0054】

このようなスペクトラムを有するホワイトノイズは、逆短時間フーリエによって全て時間領域の信号に変換される。すなわち、逆フーリエ変換（ＩＦＦＴ）が実行されることで
、フレーム単位の時間領域の信号が生成される。これらの時間領域の信号は、出力窓の関数に従って合成される。そして、合成された信号に、元の入力信号（楽音信号）が加算され、出力信号として出力される。

【0055】

図１９は、第２の構成例に適用可能な回路構成例を示す図である。図１９において、「フレーム分離/窓処理」（フレーム分離部１５１）及び「ＦＦＴ」（ＦＦＴ部１５２）は
、変換部１５Ａに該当する。また、図１９に示す「各フレーム振幅の包絡線検出/包絡線
変形」（包絡線検出部１５３）は、第１の生成部１５Ｂに該当する。また、「各周波数ビンの実数値、虚数値を雑音信号（例えばホワイトノイズ）で与える」（処理部１５４）及び「ＩＦＦＴ」（ＩＦＦＴ部１５５）は、第２の生成部１５Ｃに該当する。「窓処理/フ
レーム合成」（合成部１５６）及び加算器１５７は、合成及び加算部１５Ｄに相当する。

【0056】

図２０は、第２の構成例における処理例を示すフローチャートである。ステップＳ２１では、フレーム分離部１５１が、入力信号である楽音信号を、窓関数の使用によって、フレームの信号に変換する。

【0057】

ステップＳ２２では、ＦＦＴ部１５２が、各フレームに対するＦＦＴを行い、複数の処理単位に変換する。ステップＳ２３では、包絡線検出部１５３が、各フレームの振幅の包絡線を検出し、包絡線を変形した（例えば、リリースを長くした）第１の信号を生成する。

【0058】

ステップＳ２４では、処理部１５４が、雑音信号（例えばホワイトノイズ）の周波数ビンの振幅を対応する第１の信号の振幅に置き換えることによって第２の信号を生成する。ステップＳ２５では、ＩＦＦＴ部１５５が、各第２の信号にＩＦＦＴを行う。ステップＳ２６では、フレームの合成部１５６が、ＩＦＦＴによって得られた信号を出力窓（窓関数）を用いて合成する。ステップＳ２７では、加算器１５７が、合成された信号と元の楽音信号とを加算して出力する。

【0059】

なお、上述した実施形態では、楽音としたが自然音を用いても良い。また、実施形態において、変換部としてバンドパスフィルタバンクやＦＦＴを示したが、これら以外の方法を用いても良い。例えば「ウェーブレット解析」や「モード解析」を用いても良い。また、第１の生成部では、振幅のＡＤＳＲの全てを生成していたが、Ａ，Ｄ，Ｓ及びＲのうちのいずれか1つを生成することでも良い。ＡＤＳＲを複数組み合わせ、複雑な形の波形概
形を生成する目的のものであっても良い。

【0060】

実施形態に係る楽音処理装置１０によれば、第１の構成例、第２の構成例のいずれであっても、雑音信号の包絡線を変形した楽音信号の包絡線に置き換えた第２の信号を生成する。そして、第２の信号を合成した信号を元の楽音信号に加算して出力する。これによって、所望の効果音を得る。

【0061】

また、効果音の一例として、楽音信号の好適な残響音を生成することができる。実際の残響音は、壁面等の反射音に３次元空間の微妙な空気の揺らぎ（音速の変調）が多重に重なり合った結果であり時間的に統計的な振舞の側帯波が発生している。既存の残響音の生成方法では、上記の揺らぎ要素を無視したり、一瞬を切り取った特性のみで残響音を再現したりしている。このため、再現された残響音に別途揺らぎを付加したとしても、単調な側帯波しか得られない。

【0062】

楽音処理装置１０によれば、これまでに説明した構成で、楽音信号のリリース（余韻）を長くした包絡線を雑音信号の包絡線に置き換えた第２の信号を合成した信号を出力するため、従来より好適な残響音を出力させることができる。なお、第２の信号が合成された
信号が単独で（楽音信号から切り離された状態で）出力されてもよい。

【0063】

既存の残響音では、問題になりやすい、いわゆるパラパラ音が原理的に発生しない。各帯域のレベルや、入力信号の包絡線を検出する時のアタックタイム、リリースタイムを独立に設定することにより幅広い音作りが可能でその変形も容易である。このため、これまでに生成することが難しかった音色も実現しやすくなる。

【0064】

既存の方法では、同じ入力信号であれば必ず同じ出力信号となる。これに対し、実施形態に係る楽音処理装置１０では、雑音信号の波形は常に変化するため、同じ入力信号が入力された場合でも、雑音信号の変化に伴い出力信号は異なったものになる。実施形態の構成は、発明の目的を逸脱しない範囲で適宜組み合わせることができる。

【符号の説明】

【0065】

１１・・・ＣＰＵ
１２・・・ＲＯＭ
１３・・・ＲＡＭ
１５・・・ＤＳＰ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】