知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023062930
(43)【公開日】2023-05-09
(54)【発明の名称】楽音信号合成方法、楽音信号合成装置およびプログラム
(51)【国際特許分類】
G10H 7/08 20060101AFI20230427BHJP
【ＦＩ】
G10H7/08
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2021173119
(22)【出願日】2021-10-22
(71)【出願人】
【識別番号】000004075
【氏名又は名称】ヤマハ株式会社
(74)【代理人】
【識別番号】110003177
【氏名又は名称】弁理士法人旺知国際特許事務所
(72)【発明者】
【氏名】富永 英嗣
【テーマコード（参考）】
5D478
【Ｆターム（参考）】
5D478AA03
(57)【要約】
【課題】管楽器の高品質でリアルな楽音信号を、計算コストを低く抑えて合成する。
【解決手段】演奏情報に応じて、口腔が発音源に及ぼす圧力を示す第１情報と、発音源の変位を示す第２情報と、発音源が空気と本体とから成る線形連成系に及ぼす流量を示す第３情報と、当該線形連成系が発音源に及ぼす圧力を示す第４情報と、を算出する楽器運動算出部（１１２）と、第３情報に基づいて観測点における音圧を算出する楽音信号算出過程（１１３）と、を含み、当該線形連成系は、一般粘性減衰系モデルで表現され、当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、当該線形連成系の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、第４情報は、複素固有値および複素固有モードを用いて算出される。
【選択図】図３
【解決手段】演奏情報に応じて、口腔が発音源に及ぼす圧力を示す第１情報と、発音源の変位を示す第２情報と、発音源が空気と本体とから成る線形連成系に及ぼす流量を示す第３情報と、当該線形連成系が発音源に及ぼす圧力を示す第４情報と、を算出する楽器運動算出部（１１２）と、第３情報に基づいて観測点における音圧を算出する楽音信号算出過程（１１３）と、を含み、当該線形連成系は、一般粘性減衰系モデルで表現され、当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、当該線形連成系の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、第４情報は、複素固有値および複素固有モードを用いて算出される。
【選択図】図３
【特許請求の範囲】
【請求項1】
発音源と空気とが相互に作用し、前記空気と本体とが相互に作用する場合に、
コンピューターが、
演奏情報に応じて、前記空気中における任意の観測点での音圧を示す楽音信号を合成する楽音信号合成方法であって、
前記コンピューターが、前記演奏情報に応じて、
口腔が前記発音源に及ぼす圧力を示す第１情報と、
前記発音源の変位を示す第２情報と、
前記発音源が前記空気と前記本体とから成る線形連成系に及ぼす流量を示す第３情報と、
前記線形連成系が前記発音源に及ぼす圧力を示す第４情報と、
を算出する楽器運動算出過程と、
前記コンピューターが、前記第３情報に基づいて前記観測点における音圧を算出する楽音信号算出過程と、
を含み、
前記線形連成系は、一般粘性減衰系モデルで表現され、
当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、前記線形連成系の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、
前記第４情報は、前記複素固有値および前記複素固有モードを用いて算出される
楽音信号合成方法。
コンピューターが、
演奏情報に応じて、前記空気中における任意の観測点での音圧を示す楽音信号を合成する楽音信号合成方法であって、
前記コンピューターが、前記演奏情報に応じて、
口腔が前記発音源に及ぼす圧力を示す第１情報と、
前記発音源の変位を示す第２情報と、
前記発音源が前記空気と前記本体とから成る線形連成系に及ぼす流量を示す第３情報と、
前記線形連成系が前記発音源に及ぼす圧力を示す第４情報と、
を算出する楽器運動算出過程と、
前記コンピューターが、前記第３情報に基づいて前記観測点における音圧を算出する楽音信号算出過程と、
を含み、
前記線形連成系は、一般粘性減衰系モデルで表現され、
当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、前記線形連成系の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、
前記第４情報は、前記複素固有値および前記複素固有モードを用いて算出される
楽音信号合成方法。
【請求項2】
前記変位を、当該変位の時間に関する導関数で置き換えた
請求項１に記載の楽音信号合成方法。
請求項１に記載の楽音信号合成方法。
【請求項3】
前記モーダルパラメータの同定は、
前記コンピューターが演算の前処理として実行する
請求項１または２に記載の楽音信号合成方法。
前記コンピューターが演算の前処理として実行する
請求項１または２に記載の楽音信号合成方法。
【請求項4】
前記モーダルパラメータの同定は、
前記コンピューターが、前記線形連成系の周波数応答を算出する第１過程と、
前記コンピューターが、前記周波数応答の逆フーリエ変換をリファレンスとして、前記複素固有値を同定する第２過程と、
前記コンピューターが、前記周波数応答をリファレンスとして、前記線形連成系における加振点の複素固有モードを同定する第３過程と、
を含む請求項１乃至３のいずれかに記載の楽音信号合成方法。
前記コンピューターが、前記線形連成系の周波数応答を算出する第１過程と、
前記コンピューターが、前記周波数応答の逆フーリエ変換をリファレンスとして、前記複素固有値を同定する第２過程と、
前記コンピューターが、前記周波数応答をリファレンスとして、前記線形連成系における加振点の複素固有モードを同定する第３過程と、
を含む請求項１乃至３のいずれかに記載の楽音信号合成方法。
【請求項5】
前記第３過程の後に、
前記コンピューターが、前記周波数応答をリファレンスとして、前記線形連成系における前記加振点とは異なる応答点の複素固有モードを同定する第４過程と、
を含む請求項４に記載の楽音信号合成方法。
前記コンピューターが、前記周波数応答をリファレンスとして、前記線形連成系における前記加振点とは異なる応答点の複素固有モードを同定する第４過程と、
を含む請求項４に記載の楽音信号合成方法。
【請求項6】
発音源と空気とが相互に作用し、前記空気と本体とが相互に作用する場合に、
コンピューターが、
演奏情報に応じて、前記空気中における任意の観測点での音圧を示す楽音信号を合成するプログラムであって、
前記コンピューターが、前記演奏情報に応じて、
口腔が前記発音源に及ぼす圧力を示す第１情報と、
前記発音源の変位を示す第２情報と、
前記発音源が前記空気と前記本体とから成る線形連成系に及ぼす流量を示す第３情報と、
前記線形連成系が前記発音源に及ぼす圧力を示す第４情報と、
を算出する楽器運動算出過程と、
前記コンピューターが、前記第３情報に基づいて前記観測点における音圧を算出する楽音信号算出過程と、
を含み、
前記線形連成系は、一般粘性減衰系モデルで表現され、
当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、前記線形連成系の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、
前記第４情報は、前記複素固有値および前記複素固有モードを用いて算出される
プログラム。
コンピューターが、
演奏情報に応じて、前記空気中における任意の観測点での音圧を示す楽音信号を合成するプログラムであって、
前記コンピューターが、前記演奏情報に応じて、
口腔が前記発音源に及ぼす圧力を示す第１情報と、
前記発音源の変位を示す第２情報と、
前記発音源が前記空気と前記本体とから成る線形連成系に及ぼす流量を示す第３情報と、
前記線形連成系が前記発音源に及ぼす圧力を示す第４情報と、
を算出する楽器運動算出過程と、
前記コンピューターが、前記第３情報に基づいて前記観測点における音圧を算出する楽音信号算出過程と、
を含み、
前記線形連成系は、一般粘性減衰系モデルで表現され、
当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、前記線形連成系の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、
前記第４情報は、前記複素固有値および前記複素固有モードを用いて算出される
プログラム。
【請求項7】
発音源と空気とが相互に作用し、前記空気と本体とが相互に作用する場合に、
コンピューターが、
演奏情報に応じて、前記空気中における任意の観測点での音圧を示す楽音信号を合成する楽音信号合成装置であって、
前記コンピューターが、前記演奏情報に応じて、
口腔が前記発音源に及ぼす圧力を示す第１情報と、
前記発音源の変位を示す第２情報と、
前記発音源が前記空気と前記本体とから成る線形連成系に及ぼす流量を示す第３情報と、
前記線形連成系が前記発音源に及ぼす圧力を示す第４情報と、
を算出する楽器運動算出過程と、
前記コンピューターが、前記第３情報に基づいて前記観測点における音圧を算出する楽音信号算出過程と、
を含み、
前記線形連成系は、一般粘性減衰系モデルで表現され、
当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、前記線形連成系の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、
前記第４情報は、前記複素固有値および前記複素固有モードを用いて算出される
楽音信号合成装置。
コンピューターが、
演奏情報に応じて、前記空気中における任意の観測点での音圧を示す楽音信号を合成する楽音信号合成装置であって、
前記コンピューターが、前記演奏情報に応じて、
口腔が前記発音源に及ぼす圧力を示す第１情報と、
前記発音源の変位を示す第２情報と、
前記発音源が前記空気と前記本体とから成る線形連成系に及ぼす流量を示す第３情報と、
前記線形連成系が前記発音源に及ぼす圧力を示す第４情報と、
を算出する楽器運動算出過程と、
前記コンピューターが、前記第３情報に基づいて前記観測点における音圧を算出する楽音信号算出過程と、
を含み、
前記線形連成系は、一般粘性減衰系モデルで表現され、
当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、前記線形連成系の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、
前記第４情報は、前記複素固有値および前記複素固有モードを用いて算出される
楽音信号合成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、楽音信号合成方法、楽音信号合成装置およびプログラムに関する。
【背景技術】
【0002】
自然楽器の発音メカニズムを物理法則に基づいてモデル化し、シミュレートすることで、リアルな楽音を疑似的（仮想的）に合成する方法が知られている。例えば管楽器を例にとれば、非特許文献１には、発音源（唇あるいはリード）と管体内の空気との連成をシミュレートすることで楽音信号を合成する方法が記載されている。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】MoReeSC: A Framework for the Simulation and Analysis of Sound Production in Reed and Brass Instruments, ACTA ACOUSTICA UNITED WITH ACOUSTICA,Vol.100 (2014) p126-138
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、非特許文献１に記載された技術は、モデルが単純であるがゆえに、本体（管楽器の管体）やリードの詳細な設計仕様に応じたリアルな楽音信号を合成することができない、という課題がある。
【課題を解決するための手段】
【0005】
本開示の一態様に係る楽音信号合成方法は、発音源と空気とが相互に作用し、前記空気と本体とが相互に作用する場合に、コンピューターが、演奏情報に応じて、空気中における任意の観測点での音圧を示す楽音信号を合成する楽音信号合成方法であって、前記コンピューターが、前記演奏情報に応じて、口腔が前記発音源に及ぼす圧力を示す第１情報と、前記発音源の変位を示す第２情報と、前記発音源が前記空気と前記本体とから成る線形連成系に及ぼす流量を示す第３情報と、前記線形連成系が前記発音源に及ぼす圧力を示す第４情報と、を算出する楽器運動算出過程と、前記コンピューターが、前記第３情報に基づいて前記観測点における音圧を算出する楽音信号算出過程と、を含み、前記線形連成系は、一般粘性減衰系モデルで表現され、当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、前記線形連成系の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、前記第４情報は、前記複素固有値および前記複素固有モードを用いて算出される。
【図面の簡単な説明】
【0006】
【図1】物理モデルを説明するための図である。
【図2】楽音合成を生成するコンピューターの構成を示す図である。
【図3】コンピューターにおける機能的な構成を示すブロック図である。
【図4】楽音信号合成処理の動作を示すフローチャートである。
【図5】楽音信号合成処理におけるモーダルパラメータの同定処理を示すフローチャートである。
【図6】参照ＦＲとモード合成によるＦＲとがほぼ一致していることを示す図である。
【図7】参照ＦＲとモード合成によるＦＲとがほぼ一致していることを示す図である。
【図8】参照ＦＲとモード合成によるＦＲとがほぼ一致していることを示す図である。
【図9】参照ＦＲとモード合成によるＩＲとがほぼ一致していることを示す図である。
【図10】参照ＦＲとモード合成によるＩＲとがほぼ一致していることを示す図である。
【図11】参照ＦＲとモード合成によるＩＲとがほぼ一致していることを示す図である。
【発明を実施するための形態】
【0007】
以下、本開示の実施形態に係る楽音信号合成方法について図面を参照して説明する。
なお、各図において、各部の寸法および縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施の形態は、好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
なお、各図において、各部の寸法および縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施の形態は、好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
【0008】
まず、実際形態に係る楽音信号合成方法の原理について説明する。
管楽器が金管楽器（トランペット、トロンボーン、ホルンなど）であれば、当該金管楽器において楽音は、楽器本体の入口側に取り付けられたマウスピースに、演奏者が唇をつけて、自身の口腔内の貯め込んだ空気を放出して、唇を振動させることで発生する。
同様に、管楽器が木管楽器（クラリネット、サクソフォン、オーボエなど）であれば、当該木管楽器において楽音は、楽器本体の入口側に取り付けられたマウスピースを演奏者が口でくわえて、自身の口腔内の貯め込んだ空気を放出し、リードを振動させることで発生する。
このような発音メカニズムを模倣するため、本実施形態では、次のような物理モデルを用いる。
管楽器が金管楽器（トランペット、トロンボーン、ホルンなど）であれば、当該金管楽器において楽音は、楽器本体の入口側に取り付けられたマウスピースに、演奏者が唇をつけて、自身の口腔内の貯め込んだ空気を放出して、唇を振動させることで発生する。
同様に、管楽器が木管楽器（クラリネット、サクソフォン、オーボエなど）であれば、当該木管楽器において楽音は、楽器本体の入口側に取り付けられたマウスピースを演奏者が口でくわえて、自身の口腔内の貯め込んだ空気を放出し、リードを振動させることで発生する。
このような発音メカニズムを模倣するため、本実施形態では、次のような物理モデルを用いる。
【0009】
図１は、実施形態に係る楽音信号合成方法の前提となる各物理モデルと、これらの各物理モデル同士の連成を説明するための図である。物理モデルとは、管楽器の発音メカニズムをモデル化したものであり、本実施形態において、物理モデルは、発音源（唇またはリード）Ｌｐと、空気Ａｒと、本体Ｂｄとに大別される。各物理モデル同士の連成とは、２つの物理モデルが、相互に影響を及ぼし合うことを意味する。
【0010】
物理モデルのうち、発音源Ｌｐは、発音源（金管楽器であれば演奏者の唇、木管楽器であればリード）の運動を模倣するモデルである。本体Ｂｄとは、管楽器の管体の運動を模倣するモデルである。空気Ａｒは、発音源Ｌｐと本体Ｂｄの周辺に存在する空気の運動を模倣する。
【0011】
このような物理モデルでは、口腔Ｏｃが、発音源Ｌｐに圧力（１）を与えることで当該発音源Ｌｐに振動変位（２）が生じると同時に空気に流量（３）を与え、当該空気は当該発音源Ｌｐに圧力（４）を与える。
なお、本実施形態では、口腔内圧力（１）が第１情報で示され、変位（２）が第２情報で示され、流量（３）が第３情報で示され、圧力（４）が第４情報で示される。
なお、本実施形態では、口腔内圧力（１）が第１情報で示され、変位（２）が第２情報で示され、流量（３）が第３情報で示され、圧力（４）が第４情報で示される。
【0012】
マイクＭｃは、管楽器における物理モデルではないが、生成する楽音信号の観測位置を仮想的に示すために記載してある。換言すれば、本実施形態では、マイクＭｃが設けられる位置で観測される音圧の楽音信号を合成（生成）する。マイクＭｃは、本体Ｂｄが存在する空気中であれば、任意の位置に設けることが可能である。
【0013】
上記非特許文献１に記載された技術は単純なモデルである、と説明したが、ここでいう単純な、とは、次の３点である。詳細には、発音源（唇またはリード）の空間的分布を無視している第１の点、発音源（唇またはリード）と空気が１点で結合されている第２の点、および、複雑な３次元形状を有する管体と空気との連成を無視している第３の点である。
【0014】
そこで、本実施形態に係る楽音信号合成方法では、第１に、空気Ａｒと本体Ｂｄとの連成系を一般粘性減衰系モデルで表現することにした。詳細には、発音源と上記連成系との界面における応答圧力を「複素固有モードの重ね合わせ」として、より具体的には、「複素数のフィルタ係数を有する一次ＩＩＲフィルタの重ね合わせ」として表現することにした。
なお、本説明では、空気Ａｒと本体Ｂｄとの連成系を特に「線形連成系Ｌｃ」と呼ぶことにし、口腔Ｏｃと発音源Ｌｐとからなる「非線形連成系」、さらにはそれら全てを包含した「非線形連成系」と区別することにする。
なお、本説明では、空気Ａｒと本体Ｂｄとの連成系を特に「線形連成系Ｌｃ」と呼ぶことにし、口腔Ｏｃと発音源Ｌｐとからなる「非線形連成系」、さらにはそれら全てを包含した「非線形連成系」と区別することにする。
【0015】
本体Ｂｄと空気Ａｒとから成る線形連成系Ｌｃ、即ち、音響構造連成系を一般粘性減衰系モデルで表現できることの理論的根拠は、構造変位と空気速度ポテンシャルを「時間および空間に依存する変数」とした場合の有限要素法による音響構造連成運動方程式が、形式的に実対称の質量行列、減衰行列、剛性行列によって書き表せることにある。この３つの実対称行列から構成される運動方程式の形は、（比例粘性減衰ではない）一般的な粘性減衰を有する構造物のモデル、即ち一般粘性減衰系モデルの有限要素法による運動方程式の形と数学的に同じである。
なお、音響構造連成系を一般粘性減衰系モデルで表現することの利点は、このモデルの固有モードが広義の直交性を有することにある。このとき、モード合成法を用いた高速な時間領域シミュレーションが可能になるのである。
なお、音響構造連成系を一般粘性減衰系モデルで表現することの利点は、このモデルの固有モードが広義の直交性を有することにある。このとき、モード合成法を用いた高速な時間領域シミュレーションが可能になるのである。
【0016】
一般粘性減衰系モデルにおけるインパルス応答（Impulse Response）は、次式（１）のように示される。
また、一般粘性減衰系モデルにおける周波数応答（Frequency Response）は、次式（２）のように示される。
インパルス応答と周波数応答との間には、インパルス応答のフーリエ変換が周波数応答であり、周波数応答の逆フーリエ変換がインパルス応答であるという関係がある。
【数1】
インパルス応答と周波数応答との間には、インパルス応答のフーリエ変換が周波数応答であり、周波数応答の逆フーリエ変換がインパルス応答であるという関係がある。
【数2】
【0017】
式（１）または式（２）において、ｊは虚数単位であり、＊は複素共役であり、ｒはモード次数である。ｉは加振点のインデクッスであり、ｌは応答点のインデックスである。
λｒは複素固有値であり、λｒ＝－σｒ＋ｊωｄｒで示される。
σｒはモード減衰率であり、ωｄｒは減衰固有角振動数である。
λｒは複素固有値であり、λｒ＝－σｒ＋ｊωｄｒで示される。
σｒはモード減衰率であり、ωｄｒは減衰固有角振動数である。
【0018】
Ｒｒｉｌはモード留数であり、次式（３）で示される。
なお、式（３）において、
ｘｒｉは、加振点ｉにおける複素固有モードの実部であり、
ｙｒｉは、加振点ｉにおける複素固有モードの虚部である。
【数3】
ｘｒｉは、加振点ｉにおける複素固有モードの実部であり、
ｙｒｉは、加振点ｉにおける複素固有モードの虚部である。
【0019】
線形連成系Ｌｃを一般粘性減衰系モデルで表現する場合に重要となる点は、当該一般粘性減衰系モデルのモーダルパラメータをいかに精度よく決定することができるか、という点にある。
このため、本実施形態では、第２に「例えば高速多重極境界要素法を用いて多点加振多点参照（MIMO：Multi-Input Multi-Output）方式で算出した線形連成系の周波数応答」をリファレンス（参照）として、一般粘性減衰系モデルにフィットするようにモーダルパラメータである複素固有値と複素固有モードを同定することにした。
このため、本実施形態では、第２に「例えば高速多重極境界要素法を用いて多点加振多点参照（MIMO：Multi-Input Multi-Output）方式で算出した線形連成系の周波数応答」をリファレンス（参照）として、一般粘性減衰系モデルにフィットするようにモーダルパラメータである複素固有値と複素固有モードを同定することにした。
【0020】
図２は、本実施形態に係る楽音信号合成方法を実行するコンピューター１０のブロック図である。本実施形態に係る楽音信号合成方法は、コンピューターとソフトウェアとの協働により実現される。
コンピューター１０は、制御装置１１と記憶装置１２と演奏情報出力装置１３と放音装置１４とを含む。
コンピューター１０は、制御装置１１と記憶装置１２と演奏情報出力装置１３と放音装置１４とを含む。
【0021】
制御装置１１は、例えばＣＰＵ（Central Processing Unit）等の単数または複数の処理回路で構成され、コンピューター１０の各要素を統括的に制御する。なお、制御装置１１は、ＣＰＵのほか、ＤＳＰ（Digital Signal Processor）やＡＳＩＣ（Application Specific Integrated Circuit）等の回路によって構成されてもよい。
【0022】
記憶装置１２は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体で構成された単数または複数のメモリーであり、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する。なお、複数種の記録媒体の組合せにより記憶装置１２を構成してもよい。また、コンピューター１０に対して着脱可能な可搬型の記録媒体、または、コンピューター１０が通信網を介して通信可能な外部記録媒体（例えばオンラインストレージ）を、記憶装置１２として利用してもよい。
【0023】
演奏情報出力装置１３は、楽音信号の生成に必要な演奏情報を出力する。必要な演奏情報とは、例えば楽音信号の生成開始から生成終了までを指定する情報、生成する楽音信号の音高を示す情報、生成する楽音信号の大きさ（音量）を示す情報などである。このような演奏情報を出力するために、演奏情報出力装置１３は、鍵盤装置１３０を含む。
鍵盤装置１３０は、電子ピアノなどの鍵盤に相当し、複数の鍵（黒鍵１３１ｂ、白鍵１３１ｗ）が並べられた鍵盤を有する。また、鍵盤装置１３０における鍵１３１ｂ、１３１ｗには、各鍵が押し込まれると、その鍵の押込量を表す情報を出力する鍵位置センサー１３２ａ、および、押鍵速度を表す情報を出力する鍵速度センサー１３２ｂが設けられる。
鍵盤装置１３０は、電子ピアノなどの鍵盤に相当し、複数の鍵（黒鍵１３１ｂ、白鍵１３１ｗ）が並べられた鍵盤を有する。また、鍵盤装置１３０における鍵１３１ｂ、１３１ｗには、各鍵が押し込まれると、その鍵の押込量を表す情報を出力する鍵位置センサー１３２ａ、および、押鍵速度を表す情報を出力する鍵速度センサー１３２ｂが設けられる。
【0024】
鍵盤装置１３０は、鍵の押込量、押鍵速度、および、押し込まれた鍵を示す情報（例えば鍵番号）を、デジタル形式でバスＢを介して制御装置１１にサンプリング周期で定期的に出力する。
なお、口腔Ｏｃが発音源Ｌｐに及ぼす圧力は、制御装置１１において、鍵盤装置１３０から出力される鍵の押込量を示す情報または押鍵速度を示す情報に基づいて算出される。なお、押鍵速度については、鍵の押込量を微分演算すれば、鍵速度センサー１３２ｂを設けなくて済む。また、押鍵速度については、鍵の押込量を微分演算すれば、鍵速度センサー１３２ｂを設けなくて済む。鍵盤装置１３０から出力される情報には、押鍵の加速度を示す情報が含まれていてもよい。
なお、口腔Ｏｃが発音源Ｌｐに及ぼす圧力は、制御装置１１において、鍵盤装置１３０から出力される鍵の押込量を示す情報または押鍵速度を示す情報に基づいて算出される。なお、押鍵速度については、鍵の押込量を微分演算すれば、鍵速度センサー１３２ｂを設けなくて済む。また、押鍵速度については、鍵の押込量を微分演算すれば、鍵速度センサー１３２ｂを設けなくて済む。鍵盤装置１３０から出力される情報には、押鍵の加速度を示す情報が含まれていてもよい。
【0025】
楽音の発生は、押鍵によって生じるので、楽音信号の生成開始を指定する情報は、押鍵速度の情報および鍵の押込量を示す情報から求めることができる。楽音の終了は、離鍵によって生じるので、楽音信号の生成終了を指定する情報は、離鍵時の押込量を示す情報から求めることができる。
生成する楽音信号の音高を示す情報は、押し込まれた鍵を示す情報であり、また、生成する楽音信号の大きさを示す情報は、口腔Ｏｃが発音源Ｌｐに及ぼす圧力を示す情報である。
生成する楽音信号の音高を示す情報は、押し込まれた鍵を示す情報であり、また、生成する楽音信号の大きさを示す情報は、口腔Ｏｃが発音源Ｌｐに及ぼす圧力を示す情報である。
【0026】
このように鍵盤装置１３０から出力される情報と、当該情報に演算を施した情報とに基づいて、楽音信号の生成に必要な演奏情報を得ることができる。
【0027】
放音装置１４は、制御装置１１からの指示に応じた音響を再生する。例えばスピーカまたはヘッドホンが放音装置１４の典型例である。
なお、コンピューター１０としては、他に表示装置や操作パネル装置などが設けられるが、本件では重要ではないので、省略される。
なお、コンピューター１０としては、他に表示装置や操作パネル装置などが設けられるが、本件では重要ではないので、省略される。
【0028】
図３は、制御装置１１の機能的な構成を例示するブロック図である。制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、楽音信号を合成するための複数の要素（処理制御部１１０、前処理部１１１、楽器運動算出部１１２および楽音信号算出部）として機能する。
なお、制御装置１１における機能の一部を他の装置、例えばネットワークを介して接続されたサーバ装置に負担させる構成としてもよい。
なお、制御装置１１における機能の一部を他の装置、例えばネットワークを介して接続されたサーバ装置に負担させる構成としてもよい。
【0029】
次に、コンピューター１０において楽音信号を合成するまでの手順について説明する。
図４は、楽音信号合成処理の手順を例示するフローチャートである。
図４は、楽音信号合成処理の手順を例示するフローチャートである。
【0030】
コンピューター１０における処理制御部１１０は、前処理部１１１に対して次のステップＳ１１からステップＳ１４までの処理を実行させて、線形連成系Ｌｃを表す一般粘性減衰系モデルのモーダルパラメータを決定する。なお、ステップＳ１１からステップＳ１４までの処理は、演奏情報に応じて楽音信号を算出する前に実行されるので、前処理と表現される。
【0031】
まず、前処理部１１１は、本体Ｂｄを構成する材料についての弾性係数およびヒステリシス減衰係数の三次元直交異方性を考慮した上で、本体Ｂｄの三次元有限要素モデルを作成し、当該モデルの質量行列、減衰行列および剛性行列を算出する（ステップＳ１１）。
前処理部１１１は、ステップＳ１１により算出された質量行列および剛性行列をインプットとして、本体Ｂｄの三次元有限要素モデルが真空中に存在する場合の、即ち空気が存在しない場合の、当該三次元有限要素モデルの実固有値および実固有モードを固有値解析により算出する（ステップＳ１２）。
前処理部１１１は、ステップＳ１１で算出した減衰行列およびステップＳ１２で算出した実固有モードをインプットとして、当該本体Ｂｄの三次元有限要素モデルが真空中に存在する場合のモード減衰行列を算出する（ステップＳ１３）。
前処理部１１１は、ステップＳ１１により算出された質量行列および剛性行列をインプットとして、本体Ｂｄの三次元有限要素モデルが真空中に存在する場合の、即ち空気が存在しない場合の、当該三次元有限要素モデルの実固有値および実固有モードを固有値解析により算出する（ステップＳ１２）。
前処理部１１１は、ステップＳ１１で算出した減衰行列およびステップＳ１２で算出した実固有モードをインプットとして、当該本体Ｂｄの三次元有限要素モデルが真空中に存在する場合のモード減衰行列を算出する（ステップＳ１３）。
【0032】
次に、前処理部１１１は、線形連成系Ｌｃを一般粘性減衰系モデルとしてモデル化し、ステップＳ１２で算出した実固有値および実固有モードと、ステップＳ１３で算出したモード減衰行列とをインプットとして、当該一般粘性減衰系モデルのモーダルパラメータ（複素固有値および複素固有モード）を次のようにして同定する（ステップＳ１４）。
【0033】
図５は、図４におけるステップＳ１４の手順を詳細に例示するフローチャートである。
前処理部１１１は、ステップＳ１３までの処理で算出した真空中本体の実固有値、実固有モード、モード減衰行列をインプットとして、当該線形連成系Ｌｃの周波数応答を、例えば高速多重境界法（Fast Multipole Boundary Element Method）または有限要素法を用いて算出する（ステップＳ１４１）。
この解析で算出される周波数応答は、次の２種類であり、この２種類を区別する意味で周波数応答（ａ）および周波数応答（ｂ）と表記する。２種類のうち、１つ目の周波数応答（ａ）は、入力、即ち「発音源Ｌｐと線形連成系Ｌｃとの界面における流量」のフーリエ変換で、出力、即ち「発音源Ｌｐと線形連成系Ｌｃとの界面における圧力」のフーリエ変換を割ったものである。
前処理部１１１は、ステップＳ１３までの処理で算出した真空中本体の実固有値、実固有モード、モード減衰行列をインプットとして、当該線形連成系Ｌｃの周波数応答を、例えば高速多重境界法（Fast Multipole Boundary Element Method）または有限要素法を用いて算出する（ステップＳ１４１）。
この解析で算出される周波数応答は、次の２種類であり、この２種類を区別する意味で周波数応答（ａ）および周波数応答（ｂ）と表記する。２種類のうち、１つ目の周波数応答（ａ）は、入力、即ち「発音源Ｌｐと線形連成系Ｌｃとの界面における流量」のフーリエ変換で、出力、即ち「発音源Ｌｐと線形連成系Ｌｃとの界面における圧力」のフーリエ変換を割ったものである。
【0034】
ここでは、加振点ｉの総数をｍ個、応答点ｌの総数をｎ個とする。応答点ｌの集合は、加振点ｉの集合を含んでいるものとする。
２種類の周波数応答のうち、２つ目の周波数応答（ｂ）は、入力、即ち「発音源Ｌｐと線形連成系Ｌｃとの界面における流量」のフーリエ変換で、出力、即ち「空気中の任意観測点における音圧」のフーリエ変換を割ったものである。
２種類の周波数応答のうち、２つ目の周波数応答（ｂ）は、入力、即ち「発音源Ｌｐと線形連成系Ｌｃとの界面における流量」のフーリエ変換で、出力、即ち「空気中の任意観測点における音圧」のフーリエ変換を割ったものである。
【0035】
前処理部１１１は、算出した周波数応答（ａ）の逆高速フーリエ変換（Inverse Fast Fourier Transform）をリファレンスとして、線形連成系Ｌｃにおける複素固有値λｒ（＝－σｒ＋ｊωｄｒ）を例えばESPRIT（Estimation of Signal Parameters via Rotational Invariance Techniques）により同定する（ステップＳ１４２）。なお、複素固有値の同定に際し、例えば上記ｍ点における自己インパルス応答が参照される。また、複素固有値の同定についてはProny法を用いてもよいが、ESPRITに比べ同定精度が劣る傾向がある。
【0036】
前処理部１１１は、周波数応答（ａ）をリファレンスとして、線形連成系Ｌｃの加振点ｉにおける複素固有モードを、非線形最適化法を用いて同定する（ステップＳ１４３）。非線形最適化法の例としては、ＢＦＧＳアルゴリズム（Broyden Fletcher Goldfarb Shanno algorithm)を用いた（直線探索法を伴う）準ニュートン法、または、信頼領域法を伴う修正ガウスニュートン法（Levenberg-Marquardt法とも呼ばれる）が挙げられる。加振点ｉにおける複素固有モードの実部および虚部は、具体的には、後述する式（５）の右辺第１項におけるｘｒｉおよびｙｒｉで表される。なお、加振点ｉにおける複素固有モードの同定に際し、例えばｍ・（ｍ＋１）／２点における自己および相互周波数応答が参照される。
【0037】
前処理部１１１は、周波数応答（ａ）をリファレンスとして、線形連成系Ｌｃにおいて加振点ｉ以外の応答点ｌにおける複素固有モードを、線形最適化法を用いて同定する（ステップＳ１４４）。線形最適化法の例としては、ＱＲ分解法、または、特異値分解法が挙げられる。応答点ｌにおける複素固有モードの実部および虚部は、具体的には、後述する式（５）の右辺第１項におけるｘｒｌおよびｙｒｌで表される。なお、応答点ｌにおける複素固有モードの同定に際し、例えばｍ・（ｎ－ｍ）点における相互周波数応答が参照される。
なお、線形連成系Ｌｃの規模がそれほど大きくない場合、あるいは、固有モードを出力したい点がそれほど多くない場合は、ステップＳ１４１における周波数応答解析の計算コストがそれほど大きくならないため、ｎ＝ｍとしてもよい。この場合、ステップＳ１４４はスキップされる。
なお、線形連成系Ｌｃの規模がそれほど大きくない場合、あるいは、固有モードを出力したい点がそれほど多くない場合は、ステップＳ１４１における周波数応答解析の計算コストがそれほど大きくならないため、ｎ＝ｍとしてもよい。この場合、ステップＳ１４４はスキップされる。
【0038】
ステップＳ１４１～Ｓ１４４によって線形連成系を示す一般粘性減衰系モデルのモーダルパラメータ（複素固有値および複素固有モード）が同定されて、一次ＩＩＲのフィルタ係数が求められる。
【0039】
同定について、次の式（４）および式（５）を参照して説明する。
【数4】
【数5】
【0040】
同定とは、式（５）において左辺を、右辺第１項の 「モデルを用いて再合成した周波数応答」から右辺第２項の「リファレンスの周波数応答」を減じた残差、として表した場合に、式（４）の右辺で示されるように、当該残差の二乗和を最小とする値（実部、虚部）を求めることをいう。
【0041】
前処理部１１１によって一般粘性減衰系モデルのモーダルパラメータが同定されると、演奏情報に応じて楽音信号を合成する準備が整ったことになる。このため、処理制御部１１０は、演奏情報出力装置１３から演奏情報が出力されたとき、楽器運動算出部１１２に対してステップＳ１５の処理を実行させ、この後、楽器運動算出部１１２に対してステップＳ１６の処理を実行させる。
【0042】
楽器運動算出部１１２は、演奏情報出力装置１３から出力される演奏情報に基づいて、口腔内圧力（１）を示す第１情報、変位（２）を示す第２情報、流量（３）を示す第３情、および、圧力（４）を示す第４情報を算出する（ステップＳ１５）。
なお、ステップＳ１５における楽器運動算出のインプットとしては、「物理パラメータ」と「演奏情報」とがある。このうち、「物理パラメータ」は、「線形連成系Ｌｃのモーダルパラメータ（複素固有値、複素固有モード）」を含んでいる。「物理パラメータ」にはこれ以外に、「唇（またはリード）の物理パラメータ」などがあるが、図４では省略する。
「演奏情報」は「鍵盤のセンシング」から得られるリアルタイムデータでも良いし、記録済みのＭＩＤＩデータでも良い。なお、ＭＩＤＩデータとは、ＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠して演奏情報をデータ化したものである。
また、口腔内圧力（１）を示す第１情報、変位（２）を示す第２情報、流量（３）を示す第３情、および、圧力（４）を示す第４情報の算出には、流体力学におけるエネルギー保存則、即ちベルヌイの定理を考慮した上で、特許文献１に記載された技術を用いることができる。具体的には、楽器運動算出部１１２は、発音源の変位と線形連成系におけるモード座標上の圧力を未知数とする連立非線形代数方程式を離散時間軸上で逐次、数値的に解くことによって求める。
なお、ステップＳ１５における楽器運動算出のインプットとしては、「物理パラメータ」と「演奏情報」とがある。このうち、「物理パラメータ」は、「線形連成系Ｌｃのモーダルパラメータ（複素固有値、複素固有モード）」を含んでいる。「物理パラメータ」にはこれ以外に、「唇（またはリード）の物理パラメータ」などがあるが、図４では省略する。
「演奏情報」は「鍵盤のセンシング」から得られるリアルタイムデータでも良いし、記録済みのＭＩＤＩデータでも良い。なお、ＭＩＤＩデータとは、ＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠して演奏情報をデータ化したものである。
また、口腔内圧力（１）を示す第１情報、変位（２）を示す第２情報、流量（３）を示す第３情、および、圧力（４）を示す第４情報の算出には、流体力学におけるエネルギー保存則、即ちベルヌイの定理を考慮した上で、特許文献１に記載された技術を用いることができる。具体的には、楽器運動算出部１１２は、発音源の変位と線形連成系におけるモード座標上の圧力を未知数とする連立非線形代数方程式を離散時間軸上で逐次、数値的に解くことによって求める。
【0043】
楽音信号算出部１１３は、ステップＳ１５で算出された流量（３）を示す第３情報と周波数応答（ｂ）との高速畳み込み演算によって楽音信号を算出する（ステップＳ１６）。
【0044】
本実施形態では、ステップＳ１４において、一般粘性減衰系モデルのモーダルパラメータが同定されると、圧力（４）を示す第４情報の算出に必要な一次ＩＩＲの複素数のフィルタ係数が決定する。この係数を用いることで、ステップＳ１５が、低コストで、精度良く、逐次、計算されるので、次のステップＳ１６において必要な流量（３）を示す第３情報も、低コストで、精度良く、逐次、算出することができることになる。
したがって、本実施形態では、計算コストを低く抑えて、高品質でリアルな楽音信号を合成することが可能になる。
したがって、本実施形態では、計算コストを低く抑えて、高品質でリアルな楽音信号を合成することが可能になる。
【0045】
次に、本実施形態において一般粘性減衰系モデルにおいて同定されたモーダルパラメータが、どの程度までリファレンスに近づくか、について説明する。
【0046】
図６乃至図８は、異なる３点（point １～３）において、リファレンスとした周波数応答（実線）に対して、モード合成による周波数応答（○印）を示す図である。図６乃至図８では、周波数に対する位相および振幅の特性が左欄に、周波数に対する実部および虚部の特性が右欄に、それぞれ示される。
図６乃至図８に示されるように、リファレンスとした周波数応答に対して、モード合成による周波数応答が、ほぼ一致しており、高い精度で同定が成立していることが判る。
図６乃至図８に示されるように、リファレンスとした周波数応答に対して、モード合成による周波数応答が、ほぼ一致しており、高い精度で同定が成立していることが判る。
【0047】
図９乃至図１１は、上記３点（point １～３）において、リファレンスとした周波数応答のＩＦＦＴとしてのインパルス応答（実線）に対して、モード合成によるインパルス応答（○印）を示す図である。
図９乃至図１１に示されるように、リファレンスとしたインパルス応答に対して、モード合成によるインパルス応答が、ほぼ一致しており、高い精度で同定が成立していることが判る。
図９乃至図１１に示されるように、リファレンスとしたインパルス応答に対して、モード合成によるインパルス応答が、ほぼ一致しており、高い精度で同定が成立していることが判る。
【0048】
＜変形例＞
以上に例示した実施形態は多様に変形され得る。実施形態に適用され得る具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を、相互に矛盾しない範囲で併合してもよい。
以上に例示した実施形態は多様に変形され得る。実施形態に適用され得る具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を、相互に矛盾しない範囲で併合してもよい。
【0049】
楽音信号を合成するコンピューター１０の機能は、上述した通り、制御装置１１を構成する単数または複数のプロセッサと、記憶装置１２に記憶されたプログラムとの協働により実現される。
このプログラムは、コンピューター１０が読取可能な記録媒体に格納された形態で提供されてコンピューターにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ－ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、配信装置が通信網を介してプログラムを配信する構成では、当該配信装置においてプログラムを記憶する記憶装置１２が、前述の非一過性の記録媒体に相当する。
このプログラムは、コンピューター１０が読取可能な記録媒体に格納された形態で提供されてコンピューターにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ－ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、配信装置が通信網を介してプログラムを配信する構成では、当該配信装置においてプログラムを記憶する記憶装置１２が、前述の非一過性の記録媒体に相当する。
【0050】
上述したコンピューター１０では、楽音信号を演奏情報出力装置１３への演奏操作に応じてリアルタイムで合成したが、楽音信号の合成については非リアルタイムで合成する構成としてもよい。具体的には、実施形態のように物理モデルで合成した楽音信号をＰＣＭ（Pulse Code Modulation）でサンプリングして録音し、当該録音した信号を、演奏情報に応じて再生することで、楽音信号を合成する構成としてもよい。
従来のサンプリング録音では、アコースティック楽器の演奏やマイクの設置等のように多くの作業／工数が必要であったが、物理モデルで合成した楽音信号をＰＣＭでサンプリングして録音する構成では、当該サンプリング録音の作業がコンピューター１０での計算で済むので、作業の手間を大幅に削減することが可能になる。
また、従来のサンプリングでは、不要なノイズ（メカノイズ）も楽音とともに録音されてしまうので、後工程においてそれらのノイズを除去する必要になる。これに対して、物理モデルで合成した楽音信号をＰＣＭでサンプリングして録音する構成では、不要なノイズを含まない楽音を録音することが可能になる。
従来のサンプリング録音では、アコースティック楽器の演奏やマイクの設置等のように多くの作業／工数が必要であったが、物理モデルで合成した楽音信号をＰＣＭでサンプリングして録音する構成では、当該サンプリング録音の作業がコンピューター１０での計算で済むので、作業の手間を大幅に削減することが可能になる。
また、従来のサンプリングでは、不要なノイズ（メカノイズ）も楽音とともに録音されてしまうので、後工程においてそれらのノイズを除去する必要になる。これに対して、物理モデルで合成した楽音信号をＰＣＭでサンプリングして録音する構成では、不要なノイズを含まない楽音を録音することが可能になる。
【0051】
楽音信号を合成する実質的な主体である制御装置１１を、演奏情報を出力する演奏情報出力装置１３や放音装置１４とは別にして、クラウドに配置する構成としてもよい。詳細には、利用者が望む楽音の仕様を、クラウドに配置された制御装置１１を含むコンピューターに送信し、当該コンピューターが上記仕様を満たす精緻な物理モデルを用いたシミュレーションにより楽音信号を合成し、当該利用者に提供する構成としてもよい。物理モデルを用いたシミュレーションにより楽音信号を合成する場合、マイクＭ（スピーカー）の位置が任意であることから、サービスの提供を受ける利用者の再生装置に合わせた楽音信号を合成することができる。例えば１６チャンネルのスピーカ再生装置のような特殊な再生装置であっても、当該特殊な再生装置に合わせて楽音信号を合成することができる。
このように、利用者が望む仕様の楽音信号を、クラウドに配置されたコンピューターが合成する構成によれば、当該利用者の要求に応じてカスタマイズされや高音質の楽音信号を利用者に提供することが可能になる。
このように、利用者が望む仕様の楽音信号を、クラウドに配置されたコンピューターが合成する構成によれば、当該利用者の要求に応じてカスタマイズされや高音質の楽音信号を利用者に提供することが可能になる。
【0052】
物理モデルを用いたシミュレーションによる楽音信号の合成を、アコースティック楽器の設計支援に用いてもよい。具体的には、物理モデルの設計を変更し、変更した物理モデルを用いて楽音信号を合成することにより、試作前の楽器の楽音をシミュレーションにより聴くことができる。したがって、例えば新規な楽器を効率良く開発することができる。 このように、物理モデルを用いたシミュレーションにより楽音信号を合成すれば、アコースティック楽器の仕様（原因）と発生楽音（結果）との因果関係が明確化されるので、楽器の設計効率を向上させることが可能になる。
また、アコースティック楽器の製造時には、材料や製造のバラツキなど、様々な誤差因子が含まれ得る。これに対して、物理モデルを用いたシミュレーションでは、上記誤差因子を排除することができる。
また、アコースティック楽器の製造時には、材料や製造のバラツキなど、様々な誤差因子が含まれ得る。これに対して、物理モデルを用いたシミュレーションでは、上記誤差因子を排除することができる。
【0053】
＜付記＞
以上の記載から、例えば以下のように本発明の好適な態様が把握される。なお、各態様の理解を容易にするために、以下では、図面の符号を便宜的に括弧書で併記するが、本発明を図示の態様に限定する趣旨ではない。
以上の記載から、例えば以下のように本発明の好適な態様が把握される。なお、各態様の理解を容易にするために、以下では、図面の符号を便宜的に括弧書で併記するが、本発明を図示の態様に限定する趣旨ではない。
【0054】
本開示のひとつの態様（態様１）に係る楽音信号合成方法は、発音源（Ｌｐ）と空気（Ａｒ）とが相互に作用し、空気（Ａｒ）と本体（Ｂｄ）とが相互に作用する場合に、コンピューター（１０）が、演奏情報に応じて、空気（Ａｒ）中における任意の観測点（Ｍｃ）での音圧を示す楽音信号を合成する楽音信号合成方法であって、コンピューター（１０）が、演奏情報に応じて、口腔（Ｏｃ）が発音源（Ｌｐ）に及ぼす圧力を示す第１情報と、発音源（Ｌｐ）の変位を示す第２情報と、発音源（Ｌｐ）が空気（Ａｒ）と本体（Ｂｄ）とから成る線形連成系（Ｌｃ）に及ぼす流量を示す第３情報と、線形連成系（Ｌｃ）が発音源（Ｌｐ）に及ぼす圧力を示す第４情報と、を算出する楽器運動算出過程（ステップＳ１５）と、コンピューター（１０）が、第３情報に基づいて観測点（Ｍｃ）における音圧を算出する楽音信号算出過程（ステップＳ１６）と、を含み、線形連成系（Ｌｃ）は、一般粘性減衰系モデルで表現され、当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、線形連成系（Ｌｃ）の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、第４情報は、複素固有値および複素固有モードを用いて算出される。
この態様１によれば、線形連成系（Ｌｃ）の時間領域シミュレーションにモード合成法を適用できるため、高品質でリアルな楽音信号を、計算コストを低く抑えて合成することができる。
この態様１によれば、線形連成系（Ｌｃ）の時間領域シミュレーションにモード合成法を適用できるため、高品質でリアルな楽音信号を、計算コストを低く抑えて合成することができる。
【0055】
態様１の具体例（態様２）において、変位（２）を、当該変位の時間に関する導関数で置き換えたものとする。この態様２おいても、高品質でリアルな楽音信号を、計算コストを低く抑えて合成することができる。
【0056】
態様１または態様２の具体例（態様３）において、モーダルパラメータの同定は、コンピューター（１０）が演算の前処理として実行する。この態様３によれば、楽音信号算出過程（ステップＳ１６）を実行する際の計算コストを低く抑えることができる。
【0057】
態様１乃至３のいずれの具体例（態様４）において、モーダルパラメータの同定は、コンピューター（１０）が、線形連成系（Ｌｃ）の周波数応答を算出する第１過程と、コンピューター（１０）が、周波数応答の逆フーリエ変換をリファレンスとして、複素固有値を同定する第２過程と、コンピューター（１０）が、周波数応答をリファレンスとして、線形連成系（Ｌｃ）における加振点の複素固有モードを同定する第３過程と、を含む。
この態様４によれば、複素固有値の同定と複素固有モードの同定とが同時ではなく、分離して実行される。したがって、加振点を多数として、本体と空気との連成系への適用が容易となる。
この態様４によれば、複素固有値の同定と複素固有モードの同定とが同時ではなく、分離して実行される。したがって、加振点を多数として、本体と空気との連成系への適用が容易となる。
【0058】
態様４の具体例（態様５）において、第３過程の後に、コンピューター（１０）が、周波数応答をリファレンスとして、線形連成系（Ｌｃ）における加振点とは異なる応答点の複素固有モードを同定する第４過程とを含む。
この態様５によれば、複素固有値の同定と複素固有モードの同定とが同時ではなく、分離して実行される。したがって、加振点および応答点を多数として、本体と空気との連成系への適用が容易となる。
この態様５によれば、複素固有値の同定と複素固有モードの同定とが同時ではなく、分離して実行される。したがって、加振点および応答点を多数として、本体と空気との連成系への適用が容易となる。
【0059】
また、態様１に係る楽音信号合成方法は、次のようなプログラムとして把握することが可能である。すなわち、態様６に係るプログラムは、発音源（Ｌｐ）と空気（Ａｒ）とが相互に作用し、空気（Ａｒ）と本体（Ｂｄ）とが相互に作用する場合に、コンピューター（１０）に、演奏情報に応じて、空気中における任意の観測点（Ｍｃ）での音圧を示す楽音信号を合成させるプログラムであって、コンピューター（１０）に、演奏情報に応じて、口腔（Ｏｃ）が発音源（Ｌｐ）に及ぼす圧力を示す第１情報と、発音源（Ｌｐ）の変位を示す第２情報と、発音源（Ｌｐ）が空気（Ａｒ）と本体（Ｂｄ）とから成る線形連成系（Ｌｃ）に及ぼす流量を示す第３情報と、線形連成系（Ｌｃ）が発音源（Ｌｐ）に及ぼす圧力を示す第４情報と、を算出する楽器運動算出部（１１２）、および、第３情報に基づいて観測点（Ｍｃ）における音圧を算出する楽音信号算出部（１１３）、として機能させ、線形連成系（Ｌｃ）は、一般粘性減衰系モデルで表現され、当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、線形連成系（Ｌｃ）の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、第４情報は、複素固有値および複素固有モードを用いて算出される。
【0060】
なお、態様１に係る楽音信号合成方法は、次のような楽音信号合成装置として把握することが可能である。すなわち、態様７に係る楽音信号合成装置は、発音源（Ｌｐ）と空気（Ａｒ）とが相互に作用し、空気（Ａｒ）と本体（Ｂｄ）とが相互に作用する場合に、コンピューター（１０）が、演奏情報に応じて、空気中における任意の観測点（Ｍｃ）での音圧を示す楽音信号を合成する楽音信号合成装置であって、演奏情報に応じて、口腔
（Ｏｃ）が発音源（Ｌｐ）に及ぼす圧力を示す第１情報と、発音源（Ｌｐ）の変位を示す第２情報と、発音源（Ｌｐ）が空気（Ａｒ）と本体（Ｂｄ）とから成る線形連成系（Ｌｃ）に及ぼす流量を示す第３情報と、線形連成系（Ｌｃ）が発音源（Ｌｐ）に及ぼす圧力を示す第４情報と、を算出する楽器運動算出部（１１２）と、コンピューター（１０）が、第３情報に基づいて観測点（Ｍｃ）における音圧を算出する楽音信号算出部（１１３）と、を含み、線形連成系（Ｌｃ）は、一般粘性減衰系モデルで表現され、当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、線形連成系（Ｌｃ）の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、第４情報は、複素固有値および複素固有モードを用いて算出される。
（Ｏｃ）が発音源（Ｌｐ）に及ぼす圧力を示す第１情報と、発音源（Ｌｐ）の変位を示す第２情報と、発音源（Ｌｐ）が空気（Ａｒ）と本体（Ｂｄ）とから成る線形連成系（Ｌｃ）に及ぼす流量を示す第３情報と、線形連成系（Ｌｃ）が発音源（Ｌｐ）に及ぼす圧力を示す第４情報と、を算出する楽器運動算出部（１１２）と、コンピューター（１０）が、第３情報に基づいて観測点（Ｍｃ）における音圧を算出する楽音信号算出部（１１３）と、を含み、線形連成系（Ｌｃ）は、一般粘性減衰系モデルで表現され、当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、線形連成系（Ｌｃ）の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、第４情報は、複素固有値および複素固有モードを用いて算出される。
【符号の説明】
【0061】
１０…コンピューター、１１…制御装置、１２…記憶装置、１３…演奏情報出力装置、１４…放音装置、１１０…処理制御部、１１１…前処理部、１１２…楽器運動算出部、１１３…楽音信号算出部、Ｏc…口腔、Ｌｐ…発音源（唇またはリード）、Ｂｄ…本体、Ａｒ…空気、Ｌｃ…線形連成系。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】