特許 7574797 信号処理装置および方法、並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-21

(45)【発行日】2024-10-29

(54)【発明の名称】信号処理装置および方法、並びにプログラム

(51)【国際特許分類】

   G10H 1/053 20060101AFI20241022BHJP

   G10H 1/00 20060101ALI20241022BHJP

【ＦＩ】

G10H1/053 Z

G10H1/00 Z

【請求項の数】 13

(21)【出願番号】P 2021540738

(86)(22)【出願日】2020-08-11

(86)【国際出願番号】 JP2020030560

(87)【国際公開番号】W WO2021033593

(87)【国際公開日】2021-02-25

【審査請求日】2023-06-22

(31)【優先権主張番号】P 2019152123

(32)【優先日】2019-08-22

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】金 稀淳

【審査官】土井 悠生

(56)【参考文献】

【文献】特開平０６－０８３３４７（ＪＰ，Ａ）

【文献】特開平０９－２３７０８７（ＪＰ，Ａ）

【文献】特開平１０－０９７２４５（ＪＰ，Ａ）

【文献】特開２００６－２６７２２６（ＪＰ，Ａ）

【文献】国際公開第２０１７／０６１５７７（ＷＯ，Ａ１）

【文献】特開平０４－１２５６９３（ＪＰ，Ａ）

【文献】特開２０１１－２３７６６２（ＪＰ，Ａ）

【文献】特開平０９－０５４５７８（ＪＰ，Ａ）

【文献】特開昭５１－０３１２２３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｈ １／００－７／１２

(57)【特許請求の範囲】

【請求項1】

ユーザの身体の所定部位または器具の動きを示すセンシング値を取得し、
前記センシング値により示される動きの種類に応じて、前記センシング値からパラメータを得るための変換関数を選択し、前記変換関数を用いて前記センシング値に対応する前記パラメータを取得し、取得された前記パラメータに基づいて音響信号に対して非線形な音響処理を施す
ステップを含む処理をコンピュータに実行させるプログラム。

【請求項2】

前記パラメータは、前記センシング値に応じて非線形に変化する
請求項１に記載のプログラム。

【請求項3】

前記音響信号は、ユーザにより演奏された楽器の演奏音の信号である
請求項１に記載のプログラム。

【請求項4】

前記音響信号は、前記動きの種類に対して定められた信号である
請求項１に記載のプログラム。

【請求項5】

ユーザの身体の所定部位または器具の動きを示すセンシング値を取得する取得部と、
前記センシング値により示される動きの種類に応じて、前記センシング値からパラメータを得るための変換関数を選択し、前記変換関数を用いて前記センシング値に対応する前記パラメータを取得し、取得された前記パラメータに基づいて音響信号に対して非線形な音響処理を施す制御部と
を備える信号処理装置。

【請求項6】

信号処理装置が、
ユーザの身体の所定部位または器具の動きを示すセンシング値を取得し、
前記センシング値により示される動きの種類に応じて、前記センシング値からパラメータを得るための変換関数を選択し、前記変換関数を用いて前記センシング値に対応する前記パラメータを取得し、取得された前記パラメータに基づいて音響信号に対して非線形な音響処理を施す
信号処理方法。

【請求項7】

ユーザの身体の所定部位または器具の動きを示すセンシング値を取得し、
ユーザによる入力に基づいて生成された、前記センシング値からパラメータを得るための複数の変換関数のうち、ユーザにより選択された前記変換関数と、前記センシング値に応じて、前記パラメータを取得し、取得された前記パラメータに基づいて音響信号に対して非線形な音響処理を施す
ステップを含む処理をコンピュータに実行させるプログラム。

【請求項8】

ユーザの身体の所定部位または器具の動きを示すセンシング値を取得する取得部と、
ユーザによる入力に基づいて生成された、前記センシング値からパラメータを得るための複数の変換関数のうち、ユーザにより選択された前記変換関数と、前記センシング値に応じて、前記パラメータを取得し、取得された前記パラメータに基づいて音響信号に対して非線形な音響処理を施す制御部と
を備える信号処理装置。

【請求項9】

信号処理装置が、
ユーザの身体の所定部位または器具の動きを示すセンシング値を取得し、
ユーザによる入力に基づいて生成された、前記センシング値からパラメータを得るための複数の変換関数のうち、ユーザにより選択された前記変換関数と、前記センシング値に応じて、前記パラメータを取得し、取得された前記パラメータに基づいて音響信号に対して非線形な音響処理を施す
信号処理方法。

【請求項10】

ユーザの身体の所定部位または器具の動きを示すセンシング値を取得し、
前記センシング値の波形のピーク値に基づいてパラメータの初期値を求め、前記パラメータを前記初期値から変化させながら、前記パラメータに基づき音響信号に対して非線形な音響処理を施すことで、前記音響信号に対してアニメーション効果を付加する
ステップを含む処理をコンピュータに実行させ、
前記アニメーション効果が施されるアニメーション期間内の任意の時刻において、その前記時刻における前記ピーク値に応じた前記パラメータが、前記時刻における実際の前記パラメータよりも大きくなった場合、前記時刻における前記ピーク値に基づいて求められた前記初期値に基づいて、前記音響信号に対して新たに前記アニメーション効果が付加されるように前記音響処理を行う
プログラム。

【請求項11】

前記動きの種類に対して定められた前記アニメーション効果を前記音響信号に対して付加する
請求項１０に記載のプログラム。

【請求項12】

ユーザの身体の所定部位または器具の動きを示すセンシング値を取得する取得部と、
前記センシング値の波形のピーク値に基づいてパラメータの初期値を求め、前記パラメータを前記初期値から変化させながら、前記パラメータに基づき音響信号に対して非線形な音響処理を施すことで、前記音響信号に対してアニメーション効果を付加する制御部と
を備え、
前記制御部は、前記アニメーション効果が施されるアニメーション期間内の任意の時刻において、その前記時刻における前記ピーク値に応じた前記パラメータが、前記時刻における実際の前記パラメータよりも大きくなった場合、前記時刻における前記ピーク値に基づいて求められた前記初期値に基づいて、前記音響信号に対して新たに前記アニメーション効果が付加されるように前記音響処理を行う
信号処理装置。

【請求項13】

信号処理装置が、
ユーザの身体の所定部位または器具の動きを示すセンシング値を取得し、
前記センシング値の波形のピーク値に基づいてパラメータの初期値を求め、前記パラメータを前記初期値から変化させながら、前記パラメータに基づき音響信号に対して非線形な音響処理を施すことで、前記音響信号に対してアニメーション効果を付加する
ステップを含み、
前記アニメーション効果が施されるアニメーション期間内の任意の時刻において、その前記時刻における前記ピーク値に応じた前記パラメータが、前記時刻における実際の前記パラメータよりも大きくなった場合、前記時刻における前記ピーク値に基づいて求められた前記初期値に基づいて、前記音響信号に対して新たに前記アニメーション効果が付加されるように前記音響処理を行う
信号処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、信号処理装置および方法、並びにプログラムに関し、音に対する操作を直感的に行うことができるようにした信号処理装置および方法、並びにプログラムに関する。

【背景技術】

【0002】

従来、ユーザの身体の動きに合わせて、音に対する操作を行う技術が提案されている（例えば、特許文献１参照）。

【0003】

例えば特許文献１では、ユーザに装着されたセンサの出力波形に基づいてエフェクト処理が実行されるので、ユーザがセンサの装着部位を動かすと、その動きに合わせて再生される音が変化する。

【0004】

また、このような技術を用いれば、例えばＤＪが腕を上下に煽るように動かすことで、再生している音の音量等を変化させる、つまり音に対する操作を行うことができる。

【先行技術文献】

【特許文献】

【0005】

【文献】国際公開第２０１７／０６１５７７号

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上述した技術では、センサの出力波形をそのままパラメータに当てはめて音に対する操作を行っても、ユーザの意図を十分に音の操作に反映させることができないため、ユーザが直感的に音の操作を行うことは困難であった。

【0007】

本技術は、このような状況に鑑みてなされたものであり、音に対する操作を直感的に行うことができるようにするものである。

【課題を解決するための手段】

【0008】

本技術の第１の側面の信号処理装置は、ユーザの身体の所定部位または器具の動きを示すセンシング値を取得する取得部と、前記センシング値により示される動きの種類に応じて、前記センシング値からパラメータを得るための変換関数を選択し、前記変換関数を用いて前記センシング値に対応する前記パラメータを取得し、取得された前記パラメータに基づいて音響信号に対して非線形な音響処理を施す制御部とを備える。

【0009】

本技術の第１の側面の信号処理方法またはプログラムは、ユーザの身体の所定部位または器具の動きを示すセンシング値を取得し、前記センシング値により示される動きの種類に応じて、前記センシング値からパラメータを得るための変換関数を選択し、前記変換関数を用いて前記センシング値に対応する前記パラメータを取得し、取得された前記パラメータに基づいて音響信号に対して非線形な音響処理を施すステップを含む。

【0010】

本技術の第１の側面においては、ユーザの身体の所定部位または器具の動きを示すセンシング値が取得され、前記センシング値により示される動きの種類に応じて、前記センシング値からパラメータを得るための変換関数が選択され、前記変換関数が用いられて前記センシング値に対応する前記パラメータが取得され、取得された前記パラメータに基づいて音響信号に対して非線形な音響処理が施される。
本技術の第２の側面の信号処理装置は、ユーザの身体の所定部位または器具の動きを示すセンシング値を取得する取得部と、ユーザによる入力に基づいて生成された、前記センシング値からパラメータを得るための複数の変換関数のうち、ユーザにより選択された前記変換関数と、前記センシング値に応じて、前記パラメータを取得し、取得された前記パラメータに基づいて音響信号に対して非線形な音響処理を施す制御部とを備える。
本技術の第２の側面の信号処理方法またはプログラムは、ユーザの身体の所定部位または器具の動きを示すセンシング値を取得し、ユーザによる入力に基づいて生成された、前記センシング値からパラメータを得るための複数の変換関数のうち、ユーザにより選択された前記変換関数と、前記センシング値に応じて、前記パラメータを取得し、取得された前記パラメータに基づいて音響信号に対して非線形な音響処理を施すステップを含む。
本技術の第２の側面においては、ユーザの身体の所定部位または器具の動きを示すセンシング値が取得され、ユーザによる入力に基づいて生成された、前記センシング値からパラメータを得るための複数の変換関数のうち、ユーザにより選択された前記変換関数と、前記センシング値に応じて、前記パラメータが取得され、取得された前記パラメータに基づいて音響信号に対して非線形な音響処理が施される。
本技術の第３の側面の信号処理装置は、ユーザの身体の所定部位または器具の動きを示すセンシング値を取得する取得部と、前記センシング値の波形のピーク値に基づいてパラメータの初期値を求め、前記パラメータを前記初期値から変化させながら、前記パラメータに基づき音響信号に対して非線形な音響処理を施すことで、前記音響信号に対してアニメーション効果を付加する制御部とを備え、前記制御部は、前記アニメーション効果が施されるアニメーション期間内の任意の時刻において、その前記時刻における前記ピーク値に応じた前記パラメータが、前記時刻における実際の前記パラメータよりも大きくなった場合、前記時刻における前記ピーク値に基づいて求められた前記初期値に基づいて、前記音響信号に対して新たに前記アニメーション効果が付加されるように前記音響処理を行う。
本技術の第３の側面の信号処理方法またはプログラムは、ユーザの身体の所定部位または器具の動きを示すセンシング値を取得し、前記センシング値の波形のピーク値に基づいてパラメータの初期値を求め、前記パラメータを前記初期値から変化させながら、前記パラメータに基づき音響信号に対して非線形な音響処理を施すことで、前記音響信号に対してアニメーション効果を付加するステップを含み、前記アニメーション効果が施されるアニメーション期間内の任意の時刻において、その前記時刻における前記ピーク値に応じた前記パラメータが、前記時刻における実際の前記パラメータよりも大きくなった場合、前記時刻における前記ピーク値に基づいて求められた前記初期値に基づいて、前記音響信号に対して新たに前記アニメーション効果が付加されるように前記音響処理を行う。
本技術の第３の側面においては、ユーザの身体の所定部位または器具の動きを示すセンシング値が取得され、前記センシング値の波形のピーク値に基づいてパラメータの初期値が求められ、前記パラメータを前記初期値から変化させながら、前記パラメータに基づき音響信号に対して非線形な音響処理を施すことで、前記音響信号に対してアニメーション効果が付加される。また、前記アニメーション効果が施されるアニメーション期間内の任意の時刻において、その前記時刻における前記ピーク値に応じた前記パラメータが、前記時刻における実際の前記パラメータよりも大きくなった場合、前記時刻における前記ピーク値に基づいて求められた前記初期値に基づいて、前記音響信号に対して新たに前記アニメーション効果が付加されるように前記音響処理が行われる。

【図面の簡単な説明】

【0011】

【図1】音響再生システムの構成例を示す図である。

【図2】音響再生システムの構成例を示す図である。

【図3】情報端末装置の構成例を示す図である。

【図4】感度曲線の例を示す図である。

【図5】再生処理を説明するフローチャートである。

【図6】感度曲線の例を示す図である。

【図7】感度曲線の例を示す図である。

【図8】感度曲線の例を示す図である。

【図9】感度曲線の例を示す図である。

【図10】ユーザの動きと音響効果の例について説明する図である。

【図11】ユーザの動きと音響効果の例について説明する図である。

【図12】ユーザの動きと音響効果の例について説明する図である。

【図13】ユーザの動きと音響効果の例について説明する図である。

【図14】ユーザの動きの検出例について説明する図である。

【図15】ユーザの動きの検出例について説明する図である。

【図16】ユーザの動きと音響効果の例について説明する図である。

【図17】ユーザの動きと音響効果の例について説明する図である。

【図18】ユーザの動きと音響効果の例について説明する図である。

【図19】ユーザの動きと音響効果の例について説明する図である。

【図20】ユーザの動きと音響効果の例について説明する図である。

【図21】ユーザの動きと音響効果の例について説明する図である。

【図22】ユーザの動きと音響効果の例について説明する図である。

【図23】選択処理を説明するフローチャートである。

【図24】感度曲線の選択画面例を示す図である。

【図25】選択処理を説明するフローチャートである。

【図26】ユーザの動きと感度曲線の例を示す図である。

【図27】描画処理を説明するフローチャートである。

【図28】感度曲線入力画面例を示す図である。

【図29】アニメーション曲線の例を示す図である。

【図30】アニメーション曲線の例を示す図である。

【図31】再生処理を説明するフローチャートである。

【図32】アニメーション曲線の例を示す図である。

【図33】アニメーション曲線の例を示す図である。

【図34】再生処理を説明するフローチャートである。

【図35】コンピュータの構成例を示す図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して、本技術を適用した実施の形態について説明する。

【0013】

〈第１の実施の形態〉
〈音響再生システムの構成例〉
本技術は、ユーザの身体の動きに応じて音を変化させる場合に、ユーザの動きの検出結果に基づいて、再生対象の音響信号に対して非線形な音響処理を施すことで、ユーザが音に対する操作を直感的に行うことができるようにするものである。

【0014】

例えば、ＤＪが腕を上下に動かすことで音に対する操作を行う場合について考える。

【0015】

この場合、ＤＪから見て上方向の範囲、例えば腕を正面に突き出した状態（水平状態）から、その腕を上方向に動かした角度が45度以上となる範囲において、腕が最も頻繁かつ速く動かされることが多い。

【0016】

そのため、ＤＪの腕が上部にあるときには音の変化量が大きくなり、腕が下部にあるときには音の変化量が小さくなるようにすると、ＤＪは直感的に音に対する操作を行うことができるはずである。

【0017】

しかし、例えばＤＪの腕に装着したセンサの出力波形をそのままパラメータに当てはめて、そのパラメータに基づいて音響信号に対してエフェクト処理などの音響処理を施した場合、ＤＪの腕が上部にあるか下部にあるかによらず、ＤＪの腕の位置（高さ）の変化に対して線形に音が変化することになる。そうすると、ＤＪが腕を動かしたときに想像している音の変化と、実際の音の変化とにずれが生じてしまい、直感的な操作が困難となる。

【0018】

また、例えばＤＪの腕の位置に対して閾値処理を行い、その結果に応じて再生対象の音響信号に音響処理を施すことにより音を変化させる場合、音の変化が離散的になってしまい、直感的な操作が困難となるだけでなく、音の操作による表現に制約が生じてしまう。

【0019】

そこで、本技術では、ユーザの動きに応じて、再生対象の音響信号に対して非線形な音響処理を施すようにした。

【0020】

具体的には、例えば本技術ではユーザの動きのセンシング値を入力とし、そのセンシング値に対応する音の操作時の感度を出力とする特定の曲線または折れ線の関数が補間処理により予め求められ、その関数の出力値に対応するパラメータで音響処理が行われる。

【0021】

このようにすることで、ユーザの身体の部位の角度、位置、動きの速さや強さなどといったユーザの動きの大きさに応じて、操作する音の変化の度合い、すなわち音の操作の感度をダイナミックに変化させ、ユーザが音に対する操作を直感的に行うことができるようになる。換言すれば、ユーザは音の操作時に自身の意図を容易に反映させることができる。

【0022】

それでは、以下、本技術について、より具体的に説明する。

【0023】

まず、本技術を適用した音響再生システムについて説明する。

【0024】

本技術を適用した音響再生システムは、例えば図１に示すようにユーザが演奏する楽器１１と、ユーザの所定部位に装着されたウェアラブルデバイス１２、情報端末装置１３、スピーカ１４、およびオーディオインターフェース１５を有している。

【0025】

この例では、例えば楽器１１、情報端末装置１３、およびスピーカ１４がオーディオインターフェース１５により接続されており、ユーザが楽器１１を演奏すると、その演奏に応じた音がスピーカ１４により再生される。このとき、再生される演奏音がユーザの動きに応じて変化する。

【0026】

なお、楽器１１は、例えばピアノやキーボードなどの鍵盤楽器、ギターやバイオリンなどの弦楽器、ドラム等の打楽器、管楽器、トラックパッド等の電子楽器など、どのようなものであってもよい。

【0027】

また、ウェアラブルデバイス１２は、ユーザの腕などの任意の部位に装着可能な機器であり、加速度センサ、ジャイロセンサ、マイクロホン、筋電計、圧力センサ、曲げセンサなどの各種のセンサからなる。

【0028】

ウェアラブルデバイス１２は、ユーザの動き、より詳細にはユーザのウェアラブルデバイス１２の装着部位の動きをセンサにより検出し、その検出結果を示すセンシング値を無線または有線の通信により情報端末装置１３に供給する。

【0029】

なお、ここではウェアラブルデバイス１２によりユーザの動きを検出する例について説明する。しかし、これに限らず、カメラや赤外線センサなど、ユーザに装着されない状態でユーザの周囲に配置されたセンサによりユーザの動きが検出されるようにしてもよいし、そのようなセンサが楽器１１に設けられているようにしてもよい。

【0030】

また、そのようなユーザの周囲に配置されたセンサと、ウェアラブルデバイス１２とを組み合わせて、ユーザの動きを検出するようにしてもよい。

【0031】

情報端末装置１３は、例えばスマートホンやタブレットなどの信号処理装置である。なお、これに限らず、情報端末装置１３は、パーソナルコンピュータなど、どのような信号処理装置であってもよい。

【0032】

図１に示す音響再生システムでは、例えばユーザは、ウェアラブルデバイス１２を装着した状態で楽器１１を演奏しながら、その演奏に合わせて自身の表現したい音の変化を実現するための所望のモーション（動作）を行う。ここでいうモーションとは、例えば腕の上げ下げや手を揺らすなどの動きである。

【0033】

すると、楽器１１からは演奏音を再生するための音響信号が、オーディオインターフェース１５を介して情報端末装置１３に供給される。

【0034】

なお、ここではオーディオインターフェース１５が、演奏音を再生するための音響信号の入出力を行う通常のオーディオインターフェースであるものとして説明を行う。しかし、オーディオインターフェース１５は、演奏音の高さを表すMIDI信号の入出力を行うMIDIインターフェースなどであってもよい。

【0035】

また、ウェアラブルデバイス１２では、ユーザの演奏時における動きが検出され、その結果得られたセンシング値が情報端末装置１３に供給される。

【0036】

すると、情報端末装置１３は、ウェアラブルデバイス１２から供給されたセンシング値と、予め用意された感度曲線を表す変換関数とに基づいて、音響信号に施す音響処理の音響パラメータを算出する。この音響パラメータはセンシング値に対して非線形に変化する。

【0037】

情報端末装置１３は、得られた音響パラメータに基づいて、オーディオインターフェース１５を介して楽器１１から供給された音響信号に対して音響処理を施し、その結果得られた再生信号を、オーディオインターフェース１５を介してスピーカ１４に供給する。

【0038】

スピーカ１４は、オーディオインターフェース１５を介して情報端末装置１３から供給された再生信号に基づいて音を出力する。これにより、楽器１１の演奏音に対して、ユーザの動きに応じたエフェクト等の音響効果が付加された音が再生される。

【0039】

ここで、感度曲線とは、ユーザの動きにより演奏音に対する操作、すなわち音響効果の付加を行うときの感度特性を示す非線形な曲線または折れ線であり、その感度曲線を表す関数が変換関数である。

【0040】

この例では、例えばユーザの動きの検出結果を示すセンシング値が変換関数に代入されて演算が行われる。

【0041】

そして、その演算結果、つまり変換関数の出力値（以下、関数出力値と称する）として、ユーザの動きに対して付加される音響効果の強さ（大きさ）の度合い、すなわち感度を示す値が得られる。

【0042】

さらに情報端末装置１３では、関数出力値に基づいて音響パラメータが算出され、得られた音響パラメータに基づいて、音響効果を付加する音響処理が行われる。

【0043】

例えば音響信号に対して付加される音響効果とは、ディレイやピッチベンド、パニング、ゲイン補正による音量変化などの各種のエフェクトである。

【0044】

したがって、例えば音響効果としてピッチベンドを付加するときには、音響パラメータは、ピッチベンド時のピッチ（音高）のシフト量を示す値となる。

【0045】

音響処理では、非線形な感度曲線を表す変換関数の関数出力値から得られる音響パラメータを用いることで、非線形な音響処理を実現することができる。すなわち、ユーザの身体の動きに応じて動的に感度を変化させることができる。

【0046】

これにより、ユーザの意図を十分に反映させることができ、ユーザは楽器１１の演奏等を行いながら、直感的に音に対する操作、すなわち音響効果の付加を行うことができるようになる。

【0047】

なお、変換関数は予め用意されたものであってもよいし、ユーザが所望のモーションと、そのモーションに対応する新たな音響効果を付加する変換関数とを作成することができるようにしてもよい。

【0048】

そのような場合、例えば情報端末装置１３は、有線または無線のネットワークを介して、予め用意された所望の変換関数をサーバ等からダウンロードしたり、ユーザが作成した変換関数とモーションを示す情報とを対応付けたものをサーバ等にアップロードしたりするようにしてもよい。

【0049】

その他、本技術を適用した音響再生システムは、例えば図２に示す構成などとされてもよい。なお、図２において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

【0050】

図２に示す例では、楽器１１と情報端末装置１３とが無線、またはオーディオインターフェースやMIDIインターフェースなどの有線により接続されており、情報端末装置１３とウェアラブルデバイス１２は無線または有線により接続されている。

【0051】

この場合、例えば情報端末装置１３は、楽器１１から音響信号の供給を受けて、その音響信号に対して、ウェアラブルデバイス１２から供給されたセンシング値から得られる音響パラメータに基づいて音響処理を行い、再生信号を生成する。そして、情報端末装置１３は、生成した再生信号に基づいて音を再生する。

【0052】

その他、楽器１１側で音が再生されるようにしてもよい。そのような場合、例えば情報端末装置１３が再生信号に対応するMIDI信号を楽器１１に供給して音を再生させるようにしてもよいし、情報端末装置１３がセンシング値や音響パラメータなどを楽器１１に送信し、楽器１１側で音響処理が行われるようにしてもよい。

【0053】

なお、以下においては、情報端末装置１３が楽器１１から音響信号の供給を受けて、情報端末装置１３において再生信号に基づいて音を再生するものとして説明を行う。

【0054】

〈情報端末装置の構成例〉
続いて、図１や図２に示した情報端末装置１３の構成例について説明する。

【0055】

情報端末装置１３は、例えば図３に示すように構成される。

【0056】

図３に示す情報端末装置１３は、データ取得部２１、センシング値取得部２２、制御部２３、入力部２４、表示部２５、およびスピーカ２６を有している。

【0057】

データ取得部２１は、有線または無線により楽器１１に接続し、楽器１１から出力された音響信号を取得して制御部２３に供給する。

【0058】

なお、ここでは再生対象となる音響信号は、楽器１１の演奏音である場合を例として説明するが、これに限らず、任意の音の音響信号が再生対象としてデータ取得部２１により取得されるようにしてもよい。

【0059】

したがって、例えば予め記録された所定の楽曲等の音響信号がデータ取得部２１により取得された場合には、その音響信号に対して音響効果を付加する音響処理が行われ、音響効果が付加された楽曲等が再生される。

【0060】

その他、例えば再生対象となる音響信号が音響効果の音、つまり効果音（エフェクト音）そのものの信号であり、その効果音におけるエフェクト度合いが、ユーザの動きに応じて変化するようにしてもよい。さらに、楽器１１の演奏音とともに、ユーザの動きに応じてエフェクト（効果）の強さが変化する効果音を再生するようにしてもよい。

【0061】

センシング値取得部２２は、有線または無線によりウェアラブルデバイス１２に接続し、ウェアラブルデバイス１２から、ユーザにおけるウェアラブルデバイス１２の装着部位の動きを示すセンシング値を取得して制御部２３に供給する。

【0062】

なお、センシング値取得部２２が、ユーザが演奏する楽器１１等の器具に設けられたセンサから、その器具の動き、換言すれば器具を扱うユーザの動きを示すセンシング値を取得するようにしてもよい。

【0063】

制御部２３は、情報端末装置１３の全体の動作を制御する。また、制御部２３はパラメータ算出部３１を有している。

【0064】

パラメータ算出部３１は、センシング値取得部２２から供給されたセンシング値と、予め保持している変換関数とに基づいて音響パラメータを算出する。

【0065】

制御部２３は、データ取得部２１から供給された音響信号に対して、パラメータ算出部３１により算出された音響パラメータに基づく非線形な音響処理を施し、その結果得られた再生信号をスピーカ２６に供給する。

【0066】

入力部２４は、例えば表示部２５に重畳されたタッチパネル、ボタン、スイッチなどからなり、ユーザの操作に応じた信号を制御部２３に供給する。

【0067】

表示部２５は、例えば液晶表示パネルなどからなり、制御部２３の制御に従って各種の画像を表示する。スピーカ２６は、制御部２３から供給された再生信号に基づいて音を再生する。

【0068】

〈感度曲線について〉
ここで、音響パラメータの算出に用いられる変換関数、すなわち変換関数により表される感度曲線について説明する。

【0069】

例えば感度曲線は、図４に示すように非線形な曲線などとされる。なお、図４において横軸はユーザの動き、すなわちセンシング値を示しており、縦軸は感度、すなわち関数出力値を示している。

【0070】

特に、図４に示す例ではセンシング値が小さい範囲と、センシング値が大きい範囲において、センシング値の変化に対する感度の変化も大きくなっており、変換関数は非線形な関数となる。

【0071】

また、この例では、センシング値を変換関数に代入して得られる関数出力値は、０から１までの間の値となるようになされている。

【0072】

このような感度曲線は、例えば所定の点、すなわちセンシング値と、そのセンシング値に対応する感度（関数出力値）との組み合わせを２以上指定し、指定した点と特定のベジェ曲線に基づいて補間処理を行うことで得ることができる。すなわち、指定した点に対して定まる２以上の各点の間がベジェ曲線に基づいて補間され、感度曲線が得られる。

【0073】

したがって、このような感度曲線を表す変換関数を用いた場合には、この感度曲線に沿って非線形に音響パラメータが変化することになる。すなわち、ユーザの動きに応じて、楽器１１の演奏音の変化量を感度曲線に沿ってダイナミックに変化させることができる。

【0074】

例えば、センシング値としてとり得る値の範囲において、ユーザの動きに対する音の変化の感度を低くしたい範囲と、感度を高くしたい範囲とを接続するなどして、感度をシームレスに変化させることができる。

【0075】

しかも、感度曲線を用いれば、閾値処理により離散的に音を変化させる場合と異なり、非線形かつ連続的に音を変化させることができるので、ユーザの音楽表現の幅を広げることができる。

【0076】

〈再生処理の説明〉
次に、情報端末装置１３の動作について説明する。すなわち、以下、図５のフローチャートを参照して、情報端末装置１３による再生処理について説明する。

【0077】

この再生処理は、ウェアラブルデバイス１２を装着したユーザが、適宜、所望のモーションを行いながら楽器１１を演奏すると開始される。

【0078】

ステップＳ１１においてデータ取得部２１は、楽器１１から出力された音響信号を取得し、制御部２３に供給する。

【0079】

ステップＳ１２においてセンシング値取得部２２は、無線通信等によりウェアラブルデバイス１２からセンシング値を受信することで、ユーザの動き（モーション）を示すセンシング値を取得し、制御部２３に供給する。

【0080】

ステップＳ１３においてパラメータ算出部３１は、センシング値取得部２２から供給されたセンシング値を、予め保持している変換関数に代入して演算を行い、関数出力値を求める。

【0081】

なお、パラメータ算出部３１がユーザによる複数のモーションごとに、それらのモーションに対応する変換関数を保持するようにし、ステップＳ１３ではセンシング値により示されるモーションに対応する変換関数が用いられるようにしてもよい。

【0082】

その他、例えば予め保持されている複数の変換関数のうち、事前にユーザ等が入力部２４を操作することにより選択された変換関数が用いられて関数出力値が求められてもよい。

【0083】

ステップＳ１４においてパラメータ算出部３１は、ステップＳ１３で得られた関数出力値に基づいて、音響パラメータを算出する。

【0084】

例えばパラメータ算出部３１は、関数出力値を音響パラメータのスケールへとスケール変換することで、音響パラメータを算出する。したがって、音響パラメータはセンシング値に応じて非線形に変化する。

【0085】

この場合には、関数出力値は正規化された音響パラメータであるということができるので、変換関数は、ユーザの動き（動き量）を入力とし、音響効果による音の変化量、すなわち音響パラメータを出力とする関数であるということができる。

【0086】

ステップＳ１５において制御部２３は、ステップＳ１１で取得され、データ取得部２１から供給された音響信号に対して、ステップＳ１４で得られた音響パラメータに基づき非線形な音響処理を施すことで再生信号を生成する。

【0087】

ステップＳ１６において制御部２３は、ステップＳ１５で得られた再生信号をスピーカ２６に供給して音を再生させ、再生処理は終了する。

【0088】

スピーカ２６において再生信号に基づく音が出力されると、これにより、ユーザの動き（モーション）に応じて音響効果が付加された、楽器１１の演奏音が再生される。

【0089】

以上のようにして情報端末装置１３は、センシング値と非線形な感度曲線を表す変換関数とに基づいて音響パラメータを算出し、その音響パラメータに基づいて音響信号に対する非線形な音響処理を行う。このようにすることで、音の操作の感度をダイナミックに変化させることができ、ユーザは音に対する操作を直感的に行うことができる。

【0090】

〈感度曲線の他の例〉
なお、変換関数により表される感度曲線は、図４に示した例に限らず、非線形な曲線や折れ線であれば、他のどのようなものであってもよい。

【0091】

例えば感度曲線は、図６に示すような指数関数曲線とすることもできる。なお、図６において横軸はユーザの体の動き、すなわちセンシング値を示しており、縦軸は感度、すなわち関数出力値を示している。

【0092】

図６に示す感度曲線は、例えば図４に示した例と同様に、ベジェ曲線に基づく補間処理により得ることができるものであり、この例では感度曲線を表す変換関数は指数関数となっている。

【0093】

このような感度曲線では、ユーザの動きが小さくなるにつれて感度、すなわち関数出力値は小さくなり、逆にユーザの動きが大きくなるにつれて関数出力値は大きくなる。

【0094】

また、変換関数に入力されるユーザの身体の動き、すなわちセンシング値は、例えば３次元のｘｙｚ空間におけるユーザのｘ軸、ｙ軸、ｚ軸の各軸の方向の加速度や、それらの加速度の合成加速度、ユーザの動きの躍度、ｘ軸、ｙ軸、ｚ軸の各軸を回転軸とするユーザの回転角（傾き）などとすることができる。

【0095】

その他、センシング値は、ユーザの動きにより生じる空力音の音圧レベルや各周波数成分、空力音の主な周波数、ユーザの移動距離、筋電計により測定された筋肉の収縮状態、ユーザが鍵盤等を押したときの圧力などとすることができる。

【0096】

このようにして得られたユーザの回転や移動などの動きを示すセンシング値の大きさに応じて、感度が非線形に変化するようにベジェ曲線等の曲線を適宜、用いて補間処理を行うことで、感度曲線を示す非線形な変換関数を得ることができる。

【0097】

その他、ベジェ曲線に基づく補間処理により得られる感度曲線として、図７および図８に示すような曲線を用いるようにしてもよい。

【0098】

なお、図７および図８において、各曲線は感度曲線を表しており、それらの感度曲線の図中、下側には感度曲線とされる曲線の名称が記されている。また、各感度曲線において横方向（横軸）はユーザの動きを示しており、縦方向（縦軸）は感度を示している。

【0099】

このような図７や図８に示す感度曲線（変換関数）を利用することで、ユーザの動きに応じて、演奏音の変化量を曲線的（非線形）に変化させることができる。

【0100】

特に図７や図８に示す各感度曲線のうちの互いに形状が類似するものでも、それらの感度曲線におけるカーブ部分の角度などによって感度の変化のしかたが変わってくる。

【0101】

例えば曲線の名称に「easeIn」が含まれる、easeInと呼ばれる種類の曲線を感度曲線として用いると、ユーザの身体の動きが小さくなるにつれて音の変化量が小さくなり、ユーザの身体の動きが大きくなるにつれて音の変化量が大きくなる。

【0102】

逆に、例えば名称に「easeOut」が含まれる、easeOutと呼ばれる種類の曲線を用いると、ユーザの身体の動きが小さくなるにつれて音の変化量が大きくなり、ユーザの身体の動きが大きくなるにつれて音の変化量が小さくなる。

【0103】

このように形状が類似する曲線でもカーブ部分の角度や開始位置によって、感度が大きく変化する位置や変化量が異なる。

【0104】

また、easeInOutと呼ばれる種類の曲線を用いると、ユーザの身体の動きが小さい範囲では音の変化量も小さくなり、ユーザの身体の動きが中程度のときには音の変化量が急激に大きくなり、さらにユーザの身体の動きが大きい範囲では音の変化量が小さくなる。

【0105】

Elasticと呼ばれる種類の曲線を用いると、ユーザの身体の動きの変化に応じて、音を伸縮させるような表現が可能となり、Bounseと呼ばれる種類の曲線を用いると、ユーザの身体の動きの変化に応じて、音が跳ねる（弾む）ような表現が可能となる。

【0106】

その他、ベジェ曲線を用いた補間処理で得られる曲線以外でも、例えば図９に示す折れ線や曲線など、非線形な任意の曲線や折れ線を感度曲線として用いることができる。

【0107】

なお、図９において横軸はユーザの動き、すなわちセンシング値を示しており、縦軸は感度、すなわち関数出力値を示している。

【0108】

例えば矢印Q11に示す例では、感度曲線は三角波状の折れ線となっており、矢印Q12に示す例では、感度曲線は矩形波状の折れ線となっている。さらに、矢印Q13に示す例では、感度曲線は正弦波状の周期的な曲線となっている。

【0109】

〈モーションと音響効果の例〉
さらに、以上において説明したユーザの動き（モーション）と、その動きに応じて付加される音響効果の具体的な例について説明する。

【0110】

例えば図１０に示すように、ユーザであるＤＪが自身の手（腕）を上下方向、すなわち矢印W11に示す方向に動かすモーションを行ったときに、音響信号に基づく音が変化するようにすることができる。ユーザが腕を動かしたときの角度は、例えばウェアラブルデバイス１２に設けられたジャイロセンサなどにより検出（測定）することができる。

【0111】

この場合、例えば音響信号に施される音響効果を、ディレイフィルタにより実現されるやまびこ効果と呼ばれるディレイエフェクトや、カットオフフィルタを用いた低域カットにより実現されるフィルタ効果などとすることができる。

【0112】

そのような場合には、制御部２３では、ディレイフィルタやカットオフフィルタによるフィルタリング処理が非線形の音響処理として行われる。

【0113】

特に、この場合、図７や図８に示したeaseInのような感度曲線を表す変換関数を用いれば、ユーザが腕を動かす角度が小さくなるにつれて、すなわち腕の角度が水平状態に近くなるにつれて音のディレイなどの変化、つまり音響効果のかかり具合が小さくなる。換言すれば、いわゆるドライ成分が大きくなり、ウェット成分が少なくなる。逆に、ユーザの腕の角度が大きくなるにつれて音の変化が大きくなる。

【0114】

また、これとは逆に、ユーザの腕の角度が小さくなるにつれて音の変化が大きくなり、ユーザの腕の角度が大きくなるにつれて音の変化が小さくなるようにしてもよい。

【0115】

さらに、例えば図１１に示すように、ユーザであるＤＪが自身の手（腕）を左右方向、すなわち矢印W21に示す方向に動かすモーションを行ったときに、音響信号に基づく音が変化するようにしてもよい。

【0116】

このとき、例えばユーザの腕の左右方向における位置に応じて、音響信号に基づく音の音像位置を左右にパニングするエフェクトなどを音響効果として付加するようにしてもよい。特にこの場合、ユーザの腕の左右方向における角度が大きくなるにつれて、音源（音）を大きくパンさせる、すなわち音像位置を大きく移動させるようにすることが考えられる。また、それとは逆に、ユーザの腕の左右方向における角度が小さくなるにつれて、音を大きくパンさせるようにしてもよい。

【0117】

さらに、例えば図１２に示すように、ユーザが自身の指でスナップ動作をモーションとして行ったときに、音響信号に対してリバーブやディストーション、ピッチベンドなどのエフェクト、すなわち音響効果を付加するようにしてもよい。

【0118】

この場合、ユーザが手首等に装着したウェアラブルデバイス１２に対してスナップ動作時に加えられる振動、すなわち躍度をセンシングすることで、ユーザによるスナップ動作を検出することができる。

【0119】

そして、情報端末装置１３では、躍度のセンシング値に基づいて、リバーブ等のエフェクト（音響効果）の変化量が変化するように、エフェクトを付加するフィルタリング処理等の音響処理が行われる。

【0120】

その他、例えば図１３に示すように、ユーザが楽器１１としてピアノ等の鍵盤楽器を演奏しながら、自身の指や腕を左右方向、すなわち矢印W31に示す方向に揺らす動きをモーションとして行ったときに、ピッチベンドやビブラートなどのエフェクト（音響効果）を付加するようにしてもよい。

【0121】

この場合、例えばユーザの手首等に装着されたウェアラブルデバイス１２に設けられた加速度センサ等により、左右方向へと腕を揺らす動きを検出し、その検出結果として得られたセンシング値としての加速度の値に基づいて、音響効果が付加される。

【0122】

具体的には、例えばセンシング値としての加速度の値が大きくなるにつれて、音響効果としてのピッチベンドにおけるピッチのシフト量が大きくなり、逆に加速度の値が小さくなるにつれてピッチのシフト量が小さくなるようにすることができる。この例では、ピッチベンドにおけるピッチのシフト量が音響パラメータとされる。

【0123】

また、図１３の例においてモーションとしてのユーザの腕（指）の左右方向の揺れは、例えば図１４に示すように楽器１１としてのピアノの鍵盤KY11部分など、各鍵盤部分に設けられた圧力センサにより検出されるようにしてもよい。

【0124】

この場合、各鍵盤部分に設けられた圧力センサの出力値から、各時刻（タイミング）において、どの鍵盤が押されたかを特定することができ、その特定結果に基づいてユーザの腕の左右方向への揺れを検出することができる。

【0125】

その他、図１３の例においてモーションとしてのユーザの腕（指）の左右方向の揺れは、例えば図１５に示すように、楽器１１としてのピアノのユーザ正面の部分等に設けられたカメラや赤外線センサ等のセンサCA11によっても検出することができる。

【0126】

例えばセンサCA11としてのカメラによりユーザのモーションを検出する場合、楽器１１側またはセンシング値取得部２２において、カメラによって撮影された動画像から、ユーザの左右方向の揺れの大きさが求められ、その揺れの大きさを示す値がセンシング値として用いられる。

【0127】

さらに、例えば図１６に示すように、ユーザが楽器１１としてピアノ等の鍵盤楽器を演奏しながら、自身の腕を上下方向、すなわち矢印W41に示す方向に揺らす動きをモーションとして行ったときに音響効果を付加するようにしてもよい。

【0128】

この場合、例えばユーザの腕の上下方向の動き（揺れ）の大きさに応じて、音量レベルの変化や、ドライブ、ディストーション、レゾナンス（共鳴）などのエフェクトが音響効果として音響信号に基づく演奏音に付加されるようにしてもよい。このとき、検出された揺れの大きさに応じて、音の変化量、すなわち付加される音響効果の強さも変化する。

【0129】

また、例えば図１７に示すように、ユーザが楽器１１としてピアノ等の鍵盤楽器を演奏しているときに、鍵盤を指で押した状態で矢印W51や矢印W52に示すように腕を左や右に揺らす動きをモーションとして行った場合に音響効果が付加されるようにしてもよい。

【0130】

この場合、音響効果としてピッチベンドが付加されるようにされ、例えば矢印W51に示すようにユーザが腕を右側に動かすにつれて、ピッチベンドにより楽器１１の演奏音が高音にシフトし、逆に矢印W52に示すようにユーザが腕を左側に動かすにつれて、ピッチベンドにより演奏音が低音にシフトするようにされる。

【0131】

さらに、例えば図１８に示すように、ユーザが楽器１１としてピアノ等の鍵盤楽器を演奏しているときに、鍵盤を指で押した状態で矢印W61に示すように腕を左右に回転させる動きをモーションとして行った場合に音響効果が付加されるようにしてもよい。

【0132】

この場合、ユーザの腕の左右への回転角度がセンシング値として検出され、その回転角度に応じて、ピッチベンドなどのエフェクトが音響効果として演奏音に付加される。

【0133】

また、例えば図１９に示すように、ユーザが楽器１１としてギター等の弦楽器を演奏しているときに、そのギター等の弦やヘッド（ネック）を揺らす動きをモーションとして行った場合に、ビブラートやピッチベンドといった音響効果が付加されるようにしてもよい。

【0134】

この場合、例えば矢印W71に示すようにユーザが弦を押さえながら手や指を揺らしたり、矢印W72に示すようにヘッドを上下に揺らしたりする動きがモーションとして行われると、ギター等の演奏音に音響効果としてビブラートやピッチベンドが付加される。

【0135】

この場合、センシング値取得部２２は、例えば楽器１１としてのギター等に設けられたセンサから、そのギター等のヘッド部分の動きを示すセンシング値を取得してもよいし、ウェアラブルデバイス１２から出力されるセンシング値をヘッド部分の動きを示すセンシング値として取得してもよい。

【0136】

さらに、例えば図２０に示すように、ユーザが楽器１１としてのトラックパッドのパッド（鍵盤）や、ピアノ等の鍵盤楽器の鍵盤を押す動き、特にパッドや鍵盤を押す強さ（圧力）をモーションとして検出し、検出された圧力に応じて音響効果が付加されてもよい。

【0137】

この場合、ウェアラブルデバイス１２ではなく、楽器１１のパッド（鍵盤）部分に設けられた圧力センサによって、ユーザの動き（パッド等を押す強さ）が検出される。したがって、例えばユーザがパッド部分を押しながら手を揺らすと、その揺れに応じてパッド部分に加えられる圧力が変化するので、付加される音響効果の強さも変化する。

【0138】

同様に、例えば図２１に示すように、楽器１１としてドラム等の打楽器が叩かれるときの強さ（圧力）を、その打楽器に設けられた圧力センサ等により検出し、その検出結果に応じてエフェクト（音響効果）をドラム等の演奏音に付加してもよい。

【0139】

この場合、例えばマイクロホンによりドラム等の演奏音が収音され、その結果得られた音響信号がデータ取得部２１に取得されるようにすることができる。そうすれば、制御部２３では、ドラム等の演奏音の音響信号に対して、音響パラメータに基づく非線形な音響処理を施すことができる。なお、ドラム等の演奏音を収音せず、その演奏音とともに、音響パラメータに応じたエフェクトの強さの音響効果音をスピーカ２６から再生してもよい。

【0140】

さらに、例えば図２２に示すように、ユーザが楽器１１としての吹奏楽器を矢印W81に示す方向に傾ける動きをモーションとして検出し、その傾き度合いに応じて楽器１１の演奏音の音響信号に対して音響効果を付加するようにしてもよい。この場合、吹奏楽器の演奏音は、マイクロホンで収音することで得ることができる。また、吹奏楽器に限らず、ギター等の弦楽器においても、その弦楽器を傾ける動きをモーションとして検出することができる。

【0141】

〈感度曲線の選択について〉
また、パラメータ算出部３１において音響パラメータを算出するにあたり、複数の感度曲線、すなわち複数の変換関数を予め用意しておけば、それらのなかから所望の感度曲線を選択し、音響パラメータの算出に利用することができる。

【0142】

例えば複数の感度曲線が予め用意されている場合、デフォルトでプリセットされている感度曲線を利用する方法、複数の感度曲線からユーザが選択する方法、モーションの種類に応じた感度曲線を利用する方法などが考えられる。

【0143】

例えばモーションに対して、感度曲線がデフォルトでプリセットされている場合、ユーザが特定のモーションを行うと、パラメータ算出部３１は、そのモーションに応じたセンシング値の供給をセンシング値取得部２２から受ける。

【0144】

すると、パラメータ算出部３１は、ユーザが行ったモーションに対して予め定められている、すなわちプリセットされている感度曲線を表す変換関数と、供給されたセンシング値とに基づいて音響パラメータを算出する。

【0145】

したがって、この場合、ユーザが特定のモーション（動き）を行うと、ユーザから見れば自動的に、プリセットされた感度曲線に沿って楽器１１の演奏音が変化する。

【0146】

具体的には、例えばユーザが腕を揺らすモーションを行った際には、腕の揺れを示すセンシング値に対して、指数関数曲線を表す変換関数がプリセットされているとする。そのような場合、腕の揺れが小さいときには感度が低く、腕の揺れが大きくなるにつれて感度が自動的に高くなり、音の変化が大きくなる。

【0147】

〈選択処理の説明〉
また、複数の感度曲線からユーザが選択する場合、例えばユーザにより指示があったタイミングで、ユーザの指示に応じて感度曲線を選択する選択処理が行われる。

【0148】

以下、図２３のフローチャートを参照して、情報端末装置１３により行われる選択処理について説明する。

【0149】

ステップＳ４１において制御部２３は図示せぬメモリから画像データを読み出して表示部２５に供給することで、その画像データに基づくGUI（Graphical User Interface）である選択画面を表示させる。

【0150】

これにより、表示部２５には、例えば図２４に示す感度曲線（変換関数）の選択画面が表示される。

【0151】

図２４に示す例では、表示部２５には選択画面が表示されており、選択画面には、予めパラメータ算出部３１に保持されている複数の感度曲線と、それらの感度曲線の名称とが一覧表示されている。

【0152】

ユーザは、このように一覧表示された複数の感度曲線のなかから、所望の感度曲線を指でタッチするなどして指定（選択）する。

【0153】

この例では表示部２５に入力部２４としてのタッチパネルが重畳されており、ユーザが感度曲線が表示されている領域に対するタッチ操作を行うと、そのタッチ操作に応じた信号が入力部２４から制御部２３に供給される。なお、ユーザがモーションごとに感度曲線を選択することができるようにしてもよい。

【0154】

図２３のフローチャートの説明に戻り、ステップＳ４２において制御部２３は、入力部２４から供給された信号に基づいて、選択画面に表示した複数の感度曲線のなかから、ユーザにより指定された感度曲線を表す変換関数を、音響パラメータの算出に用いる変換関数として選択する。

【0155】

このようにして感度曲線、すなわち変換関数が選択されると、以降において行われる図５の再生処理のステップＳ１３では、図２３のステップＳ４２で選択された変換関数が用いられて関数出力値が求められる。

【0156】

制御部２３により変換関数が選択されて、その選択結果を示す情報が制御部２３のパラメータ算出部３１で記録されると、選択処理は終了する。

【0157】

以上のようにして情報端末装置１３は、選択画面を表示させ、ユーザの指示に応じて変換関数を選択する。このようにすることで、ユーザの嗜好や用途に応じて変換関数を切り替えることができるだけでなく、ユーザの所望する感度曲線に沿って音響効果を付加することができるようになる。

【0158】

〈選択処理の説明〉
さらに、複数の感度曲線のなかから、モーションの種類に応じた感度曲線を選択する場合、つまりユーザのモーションに応じて感度曲線が変更される場合、選択処理として図２５に示す選択処理が行われる。

【0159】

以下、図２５のフローチャートを参照して、情報端末装置１３により行われる選択処理について説明する。なお、図２５を参照して説明する選択処理は、図５を参照して説明した再生処理のステップＳ１２においてセンシング値が取得されると開始される。

【0160】

ステップＳ７１においてパラメータ算出部３１は、センシング値取得部２２から供給されたセンシング値に基づいて、ユーザの動き（モーション）の種類を特定する。

【0161】

例えば動きの種類は、センシング値の時間的な変化や、ウェアラブルデバイス１２からセンシング値とともに供給される、センシング値を得るために用いたセンサの種類を示す情報などに基づいて特定される。

【0162】

ステップＳ７２においてパラメータ算出部３１は、予め保持している複数の感度曲線の変換関数のなかから、ステップＳ７１において特定された動きの種類に対して定められた感度曲線の変換関数を選択し、選択処理は終了する。

【0163】

このようにして感度曲線の変換関数を選択すると、その後、図５の再生処理のステップＳ１３では、ステップＳ７２で選択された変換関数が用いられて関数出力値が求められる。

【0164】

なお、どの種類の動き（モーション）が行われたときに、どの感度曲線の変換関数が選択されるかは、予め定められているようにしてもよいし、ユーザにより指定可能なようにしてもよい。

【0165】

以上のようにして情報端末装置１３は、センシング値等からユーザの動きの種類を特定し、その特定結果に応じて感度曲線（変換関数）を選択する。このようにすることで、動きの種類ごとに、適切な感度で音響効果を付加することができる。

【0166】

例えば図２６の矢印Q31に示すように、ユーザが楽器１１としてのピアノを演奏しながら手を左右に揺らす動き（モーション）を行っているとする。

【0167】

この場合、例えばパラメータ算出部３１では、ステップＳ７２において感度曲線として「easeInExpo」と呼ばれる曲線の変換関数が選択される。換言すれば、変換関数としてeaseInExponential関数が選択される。

【0168】

この状態から、ユーザが演奏する手を左右に揺らす動きをやめて、例えば矢印Q32に示すように、ユーザが楽器１１としてのピアノを演奏する手を傾ける動き（モーション）を行ったとする。

【0169】

すると、新たに行われる図２５の選択処理のステップＳ７２では、感度曲線として「easeOutExpo」と呼ばれる曲線の変換関数が選択される。換言すれば、変換関数としてeaseOutExponential関数が選択される。

【0170】

これにより、ユーザの動きの種類の変化に応じて、変換関数がeaseInExponential関数から、easeOutExponential関数に切り替えられたことになる。

【0171】

このような図２６に示す例では、ユーザが手を揺らす動きを行っている間は、微小な揺れでは感度が低く、演奏音の変化が小さいが、手の揺れが大きくなると、次第に感度も高くなって演奏音の変化も大きくなる。

【0172】

逆に、ユーザが手を傾ける動き（モーション）を行うと、ユーザの手の傾きが小さくても感度が高く、演奏音は大きく変化するのに対して、手を大きく傾けていくと次第に感度が低くなり、演奏音の変化が緩やかになる。

【0173】

なお、ここではユーザのモーションの種類に応じて感度曲線が選択される例について説明したが、その他、楽器１１の種類や楽曲の種類（ジャンル）などに応じて感度曲線や音響効果が選択されるようにしてもよい。

【0174】

例えば楽器１１の種類は、制御部２３がデータ取得部２１を介して楽器１１と接続することにより、楽器１１から、その楽器１１の種類（種別）を示す情報を取得することにより特定してもよい。また、例えば制御部２３がセンシング値取得部２２から供給されるセンシング値から、ユーザの楽器１１の演奏時の動きを特定することにより、楽器１１の種類を特定してもよい。

【0175】

さらに、例えば再生対象の音響信号に基づく音、つまり楽曲の種類（ジャンル）は、制御部２３が、データ取得部２１から供給された音響信号に対して各種の解析処理を行うことで特定するようにしてもよいし、音響信号のメタデータ等から特定してもよい。

【0176】

〈選択処理の説明〉
その他、ユーザが予め用意された複数の感度曲線のなかから所望のものを選ぶのに加えて、ユーザが感度曲線を描くなどして入力することにより、所望の感度曲線を指定することができるようにしてもよい。

【0177】

そのような場合、情報端末装置１３では図２７に示す描画処理が行われる。以下、図２７のフローチャートを参照して、情報端末装置１３による描画処理について説明する。

【0178】

ステップＳ１０１において制御部２３は、表示部２５を制御して、表示部２５に感度曲線を入力させるための感度曲線入力画面を表示させる。

【0179】

これにより表示部２５には、例えば図２８に示す感度曲線入力画面が表示される。

【0180】

図２８に示す例では、ユーザが感度曲線入力画面上を指等でなぞることにより、横軸を動き（モーション）とし、縦軸を感度とする感度曲線を描画することで、任意の感度曲線を指定することができるようになされている。

【0181】

この例では表示部２５に入力部２４としてのタッチパネルが重畳されており、ユーザは感度曲線入力画面上を指等でなぞる操作を行うことで、非線形な曲線や折れ線など、所望の感度曲線を入力する。

【0182】

なお、感度曲線の入力方法は、これに限らずどのような方法であってもよい。また、例えば感度曲線入力画面上にプリセットされた感度曲線が表示され、ユーザがその感度曲線をタッチ操作等により変形させることで、所望の感度曲線を入力してもよい。

【0183】

図２７のフローチャートの説明に戻り、ステップＳ１０２においてパラメータ算出部３１は、ユーザの感度曲線の描画操作に応じて入力部２４から供給される信号に基づいて、ユーザにより入力された感度曲線を表す変換関数を生成し、記録する。ユーザにより描画された感度曲線の変換関数が記録されると、描画処理は終了する。

【0184】

以上のようにして情報端末装置１３は、ユーザが自由に描画した感度曲線を表す変換関数を生成し、記録する。

【0185】

これにより、ユーザは自身の動きに応じて音を操作するときの感度を細かく調整したりカスタマイズしたりして、自身の意図通りの感度曲線を指定することができ、さらに直感的に音に対する操作を行うことができるようになる。

【0186】

〈第２の実施の形態〉
〈アニメーション効果の付加について〉
ところで、以上においては情報端末装置１３において、楽器１１の演奏音に対してユーザの動きに応じた感度で音響効果を付加する例について説明した。

【0187】

しかし、これに限らず、例えばユーザが特定の動き（モーション）を行ったときに、その動きの種類に応じて、再生する音に対して一定時間をかけて音響効果としてアニメーション効果を付加してもよい。なお、以下では、ユーザの特定の動き（モーション）を、特にジェスチャとも称することとする。

【0188】

ここでアニメーション効果とは、例えばベジェ曲線に基づく補間処理により得られるアニメーション曲線に沿って、一定時間の間、再生対象の音に対してエフェクトを付加する音響効果である。

【0189】

アニメーション曲線は、例えば図２９に示すような曲線とすることができる。なお、図２９において縦軸は音の変化を示しており、横軸は時間を示している。

【0190】

例えば、時間とともに音量レベルを変化させるアニメーション効果であれば、アニメーション曲線の縦軸の値により示される音の変化は、音量レベルを示しているといえる。

【0191】

以下では、アニメーション曲線を表す関数をアニメーション関数と称することとする。したがって、アニメーション曲線の縦軸の値、すなわち音の変化を示す値はアニメーション関数の出力値（以下、関数出力値と称する）である。

【0192】

例えばアニメーション効果が、再生される音の音量レベルを変化させるものであるとすると、再生される音に対して図２９に示すアニメーション曲線に沿ってアニメーション効果を付加すると、再生される音の音量レベルは時間とともに低下していくことになる。

【0193】

ここで、アニメーション効果を付加させるときのジェスチャと、アニメーション効果の具体的な例について説明する。

【0194】

例えばセンシング値取得部２２において、センシング値に基づいてユーザの左右方向や上下方向への腕の振りをジェスチャとして検出し、そのジェスチャが検出されたときに、ジェスチャ、より詳細にはジェスチャの種類に対して予め定められた音源の音（以下、ジェスチャ音とも称する）が再生されるようにすることができる。

【0195】

このとき、ジェスチャ音の音量レベルが、例えば図３０に示すアニメーション曲線に沿って、時間とともに徐々に小さくなるようなアニメーション効果が付加される。なお、図３０において縦軸は音の変化、すなわちアニメーション関数の関数出力値を示しており、横軸は時間を示している。

【0196】

この場合、例えば制御部２３では、検出されたジェスチャに応じてアニメーション曲線と音響処理、すなわちアニメーション効果が選択されるようにすることができる。

【0197】

アニメーション曲線が選択されると、パラメータ算出部３１では、各時刻における関数出力値に基づいて、それらの各時刻における音響パラメータとしてのゲイン値が算出される。例えば関数出力値が音響パラメータのスケールへとスケール変換されて音響パラメータとされる。ここでは、音響パラメータとしてのゲイン値は、後の時刻（未来の時刻）のものほど小さい値となる。

【0198】

このようにして各時刻の音響パラメータが得られると、制御部２３では各時刻において、その時刻の音響パラメータに基づいて、音響処理としてゲイン補正がジェスチャ音の音響信号に対して施され、再生信号が生成される。

【0199】

このようにして得られた再生信号に基づいてスピーカ２６で音を再生すると、時間とともに音量レベルが小さくなっていくようにジェスチャ音が再生される。

【0200】

また、例えばユーザが楽器１１を演奏する動き（ジェスチャ）として、鍵盤を押す動きや、弦を鳴らす動きなどを検出し、楽器１１の演奏音に対して、ユーザの動きに応じたアニメーション曲線に沿って、所定時間の間、アニメーション効果が付加されてもよい。

【0201】

この場合、楽器１１の演奏音はそのまま演奏され、その演奏音とともに、ユーザの動きに応じてアニメーション効果が付加された効果音が再生されるようにしてもよい。

【0202】

〈再生処理の説明〉
さらに、例えばセンシング値取得部２２において、逐次、取得された各時刻のユーザの動きを示すセンシング値に基づいて、それらのセンシング値の時間波形のピーク値を検出し、検出されたピーク値に応じて音響パラメータの初期値を決定するようにしてもよい。

【0203】

そのような場合、例えば情報端末装置１３では、例えば図３１に示す再生処理が行われる。以下、図３１のフローチャートを参照して、情報端末装置１３による再生処理について説明する。

【0204】

ステップＳ１３１においてセンシング値取得部２２は、無線通信等によりウェアラブルデバイス１２からセンシング値を受信することで、ユーザの動き（モーション）を示すセンシング値を取得する。

【0205】

ステップＳ１３２においてセンシング値取得部２２は、これまでに取得したセンシング値に基づいて、ユーザにより特定のジェスチャが行われたかを検出する。

【0206】

ステップＳ１３３においてセンシング値取得部２２は、ステップＳ１３２での検出の結果として、ジェスチャが検出されたか否かを判定する。

【0207】

ステップＳ１３３においてジェスチャが検出されなかったと判定された場合、処理はステップＳ１３１に戻り、上述した処理が繰り返し行われる。

【0208】

これに対して、ステップＳ１３３においてジェスチャが検出されたと判定された場合、ステップＳ１３４においてセンシング値取得部２２は、これまでに取得した直近の所定期間のセンシング値に基づいて、センシング値の波形のピーク値を検出する。

【0209】

センシング値取得部２２は、このようにして検出されたジェスチャとピーク値を示す情報をパラメータ算出部３１に供給する。

【0210】

ステップＳ１３５においてパラメータ算出部３１は、センシング値取得部２２から供給された、検出されたジェスチャとピーク値を示す情報に基づいて、アニメーション効果、すなわちアニメーション曲線と音響処理を決定する。

【0211】

ここでは、例えばジェスチャ、すなわちユーザの動きの種類に対して予めアニメーション効果と、再生するジェスチャ音とが定められているとする。この場合、パラメータ算出部３１は、検出されたジェスチャに対して予め定められているアニメーション効果を、ジェスチャ音に付加するアニメーション効果として選択する。

【0212】

また、このとき制御部２３は、データ取得部２１を制御し、検出されたジェスチャに対して予め定められているジェスチャ音の音響信号を取得させる。

【0213】

なお、ここでは再生対象となる音が、ジェスチャに対して定められたジェスチャ音である場合について説明するが、これに限らず、楽器１１の演奏音など、任意の音に対してアニメーション効果が付加されるようにすることができる。

【0214】

ステップＳ１３６においてパラメータ算出部３１は、センシング値取得部２２から供給された、検出されたジェスチャとピーク値を示す情報に基づいて、音響パラメータを算出する。

【0215】

この場合、例えばパラメータ算出部３１は、センシング値のピーク値を音響パラメータのスケールへとスケール変換することで、音響パラメータの初期値を算出する。

【0216】

ここでいう音響パラメータの初期値とは、ジェスチャ音に付加するアニメーション効果の開始時点における音響パラメータの値である。

【0217】

また、パラメータ算出部３１は、音響パラメータの初期値と、ステップＳ１３５で決定したアニメーション効果を実現するためのアニメーション曲線とに基づいて、ジェスチャ音にアニメーション効果を付加する期間内の各時刻における音響パラメータを算出する。

【0218】

ここでは、音響パラメータの値が、アニメーション曲線に沿って初期値から徐々に変化していくように、音響パラメータの初期値と、アニメーション曲線を表すアニメーション関数の各時刻の関数出力値とに基づいて、各時刻の音響パラメータの値が算出される。

【0219】

なお、以下、アニメーション効果が付加される期間を、特にアニメーション期間とも称することとする。

【0220】

ステップＳ１３７において制御部２３は、ステップＳ１３６で算出した各時刻の音響パラメータに基づいて、ジェスチャ音の音響信号に対して、アニメーション効果を付加する音響処理を施すことで再生信号を生成する。

【0221】

すなわち、制御部２３は、音響パラメータの値を初期値から徐々にアニメーション曲線に沿って変化させながら、ジェスチャ音の音響信号に対して、音響パラメータに基づく音響処理を施すことで再生信号を生成する。

【0222】

したがって、この場合、音響パラメータが時間とともに変化するので、音響信号に対して非線形な音響処理が施されることになる。

【0223】

ステップＳ１３８において制御部２３は、ステップＳ１３７で得られた再生信号をスピーカ２６に供給して音を再生させ、再生処理は終了する。

【0224】

これにより、スピーカ２６では、ジェスチャに応じたアニメーション効果が付加されたジェスチャ音が再生される。

【0225】

以上のようにして情報端末装置１３は、センシング値のピーク値に基づいて音響パラメータを算出し、その音響パラメータに基づいて音響信号に対する非線形な音響処理を行う。

【0226】

このようにすることで、ユーザは所定のジェスチャを行うだけで、ジェスチャ音に所望のアニメーション効果を付加させることができる。したがって、ユーザは音に対する操作を直感的に行うことができる。

【0227】

ここで、以上において説明したジェスチャに応じたアニメーション効果の付加を行う場合の具体的な例について説明する。

【0228】

そのような例として、例えばユーザが腕を振るというジェスチャを行った場合に、ジェスチャ音に対して、ジェスチャ音の音量が徐々に減少していく、図３２に示すようなアニメーション曲線のBounceアニメーションを付加することが考えられる。

【0229】

なお、図３２において縦軸は音の変化、すなわちアニメーション関数の関数出力値を示しており、横軸は時間を示している。

【0230】

図３２に示すアニメーション曲線は、音が上下に変化しながら時間とともに徐々に小さくなっていくような曲線となっている。

【0231】

したがって、例えばセンシング値として、ユーザが腕を振ったときの躍度が取得されるとすると、センシング値取得部２２ではセンシング値としての躍度の波形のピーク値が検出される。

【0232】

また、パラメータ算出部３１では、躍度のピーク値に基づいて音響パラメータとしてのゲイン値、つまりジェスチャ音の再生時の音量の初期値が決定されるとともに、その音響パラメータが図３２に示すアニメーション曲線に沿って変化するように各時刻の音響パラメータが決定される。

【0233】

そして、制御部２３では、決定された各時刻の音響パラメータ、すなわちゲイン値に基づいて、ジェスチャ音の音響信号に対して、音響処理としてのゲイン補正が行われ、その結果、ジェスチャ音に対してBounceアニメーション効果が付加される。

【0234】

この場合、Bounceアニメーション効果により、ユーザのジェスチャ、つまり腕の振りに応じて発生した音がモノにあたって跳ね返り、バウンドするように変化しながら時間とともに徐々に音量が小さくなっていくようなジェスチャ音が再生される。

【0235】

その他、ジェスチャ音に対して、例えば図３３に示すようなアニメーション曲線のElasticアニメーションを付加するようにすることも考えられる。なお、図３３において縦軸は音の変化、すなわちアニメーション関数の関数出力値を示しており、横軸は時間を示している。

【0236】

このような図３３に示すアニメーション曲線に沿ってジェスチャ音の音量を変化させると、ジェスチャに応じて発生した音（ジェスチャ音）が、弾力をもって戻ってくるような効果をジェスチャ音に対して付加することができる。

【0237】

さらに、例えば楽器１１としての打楽器を叩いたときの振動を示す加速度等をセンシング値として取得し、振動波形を示すセンシング値のピーク値を用いて、上述の例と同様にして、リバーブやディレイなどの様々なエフェクトをアニメーションさせてもよい。

【0238】

そのような場合、楽器１１の演奏音等に付加されるリバーブやディレイなどの音響効果のかかり具合がアニメーション曲線に沿って時間とともに変化する。

【0239】

〈第２の実施の形態の変形例１〉
〈アニメーション効果の付加について〉
さらに、例えばユーザの動き（ジェスチャ）に応じてジェスチャ音を生成し、そのジェスチャ音、すなわち音の波形に対してアニメーション効果が付加されるようにしてもよい。

【0240】

例えば、ユーザの動きを示す加速度がセンシング値として検出され、そのセンシング値に応じて、サイン波などの特定周波数の音波形の音響信号がジェスチャ音の信号として生成されるとする。

【0241】

そのような場合に、上述の例と同様にして音響パラメータの初期値を決定し、所定のアニメーション曲線に沿って時間とともにエフェクトのかかり具合が変化するようなアニメーション効果がジェスチャ音に付加されるようにすることが考えられる。

【0242】

また、例えばユーザの動きによって発生した空力音に対して、特定波形のアニメーション効果を付加することも考えられる。

【0243】

そのような場合、例えば空力音の音圧等がセンシング値として検出され、そのセンシング値の波形のピーク値に基づいて音響パラメータの初期値が決定され、収音により得られた空力音の音響信号に対して各時刻の音響パラメータに基づく音響処理が施される。

【0244】

〈第２の実施の形態の変形例２〉
〈アニメーション効果の付加について〉
さらに、ユーザの動きに応じてアニメーション効果の付加を行う場合に、アニメーション終了前に、新たにユーザの大きな動きが検出されたときに、アニメーション効果を再度付加するようにしてもよい。

【0245】

例えば、ユーザのモーションを示すセンシング値のピーク値に応じて音響パラメータの初期値が決定され、その初期値とアニメーション曲線とに基づいてエフェクトのかかり具合を変化させるアニメーション効果が音響信号に対して付加されるとする。

【0246】

ここで、音響信号に基づく音は、楽器１１の演奏音や、ユーザのモーションに対して定められた効果音など、どのようなものであってもよいが、ここでは楽器１１の演奏音が再生されるものとする。

【0247】

このとき、例えばセンシング値として、ユーザの身体の所定部位の加速度が検出されるものとすると、その加速度のピーク値に基づいて音響パラメータの初期値が決定される。

【0248】

また、音響パラメータの初期値が決定されると、ユーザのモーション等に対して定まるアニメーション曲線に沿って音響パラメータの値が変化するように、その後の各時刻の音響パラメータの値が決定される。

【0249】

このようにして初期値を含む、各時刻の音響パラメータが決定されると、それらの各時刻の音響パラメータに基づいて、再生対象の音響信号に対する音響処理が行われ、再生信号が生成される。そして、そのようにして得られた再生信号に基づいて音が再生されると、楽器１１の演奏音に一定時間のアニメーション効果が付加されて再生されることになる。

【0250】

この場合、アニメーション期間が終了する前に、ユーザのモーションを示す加速度（センシング値）のピーク値に対して求まる音響パラメータが、現時刻における音響パラメータを超えた場合、そのピーク値に対して求まる音響パラメータが新たな初期値とされる。

【0251】

すなわち、アニメーション期間内の任意の時刻におけるピーク値から求まる音響パラメータが、その時刻の実際の音響パラメータよりも大きくなった場合、その時刻におけるピーク値に対して求まる音響パラメータが、新たな音響パラメータの初期値とされて、新たに楽器１１の演奏音に対してアニメーション効果が付加される。

【0252】

なお、ここでは楽器１１の演奏音に対してアニメーション効果を付加する例について説明したが、例えばユーザの動きによって発生した空力音に対してアニメーション効果を付加する場合など、他の場合においても同様のことが可能である。

【0253】

〈再生処理の説明〉
ここで、上述したように、ユーザの動きによって、適宜、音響パラメータの初期値が更新され、新たにアニメーション効果が付加される場合に行われる処理について説明する。

【0254】

すなわち、以下、図３４のフローチャートを参照して、情報端末装置１３による再生処理について説明する。

【0255】

なお、ここではユーザが所定のモーションを行ったときに、楽器１１の演奏音に対してアニメーション効果が付加される場合を例として説明する。

【0256】

ステップＳ１６１においてデータ取得部２１は、楽器１１から出力された音響信号を取得し、制御部２３に供給する。

【0257】

ステップＳ１６２においてセンシング値取得部２２は、無線通信等によりウェアラブルデバイス１２からセンシング値を受信することで、ユーザの動き（モーション）を示すセンシング値を取得する。

【0258】

ステップＳ１６３においてセンシング値取得部２２は、これまでに取得した直近の所定期間のセンシング値に基づいて、センシング値の波形のピーク値を検出する。

【0259】

センシング値取得部２２は、このようにして検出されたセンシング値のピーク値をパラメータ算出部３１に供給する。

【0260】

ステップＳ１６４においてパラメータ算出部３１は、センシング値取得部２２から供給されたピーク値に基づいて、音響パラメータを算出する。

【0261】

この場合、例えばパラメータ算出部３１は、センシング値のピーク値を音響パラメータのスケールへとスケール変換することで、音響パラメータの初期値を算出する。

【0262】

ステップＳ１６５においてパラメータ算出部３１は、ステップＳ１６４において算出された音響パラメータの初期値が、現時刻の音響パラメータよりも大きいか否かを判定する。

【0263】

例えば、ユーザが所定のモーションを行ったときに、楽器１１の演奏音に対して、そのモーションに対して予め定められたアニメーション効果が付加されるものとする。

【0264】

このとき、アニメーション期間でない場合、ステップＳ１６４で求められた音響パラメータの初期値が０より大きければ、ステップＳ１６５では現時刻の音響パラメータよりも大きいと判定される。

【0265】

また、アニメーション期間中である場合、ステップＳ１６４で求められた音響パラメータの初期値が、実際にアニメーション効果の付加に用いられている現時刻の音響パラメータより大きければ、ステップＳ１６５では現時刻の音響パラメータよりも大きいと判定される。

【0266】

ステップＳ１６５において現時刻の音響パラメータよりも大きくないと判定された場合、ステップＳ１６６乃至ステップＳ１６８の処理は行われず、その後、処理はステップＳ１６９へと進む。

【0267】

この場合、アニメーション期間でなければ、制御部２３は音響効果、すなわちアニメーション効果が付加されていない音響信号をそのまま再生信号としてスピーカ２６に供給し、楽器１１の演奏音を再生させる。

【0268】

また、アニメーション期間中であれば、現時刻の音響パラメータに基づいて音響信号に対して音響処理が行われ、得られた再生信号に基づいてスピーカ２６で音が再生される。この場合、アニメーション効果が付加された演奏音が再生されることになる。

【0269】

一方、ステップＳ１６５において現時刻の音響パラメータよりも大きいと判定された場合、その後、処理はステップＳ１６６へと進む。

【0270】

この場合、現時点で楽器１１の演奏音に対してアニメーション効果が付加されているか否か、つまりアニメーション期間中であるか否かによらず、ステップＳ１６４で算出された音響パラメータの初期値に基づいて、新たなアニメーション期間の各時刻の音響パラメータが算出され、楽器１１の演奏音に新たにアニメーション効果が付加される。

【0271】

ステップＳ１６６においてパラメータ算出部３１は、ステップＳ１６４で算出した音響パラメータの初期値と、ユーザのモーション等に対して定まるアニメーション曲線とに基づいて、アニメーション期間内の各時刻における音響パラメータを算出する。

【0272】

ここでは、音響パラメータの値が、アニメーション曲線に沿って初期値から徐々に変化していくように、音響パラメータの初期値と、アニメーション曲線を表すアニメーション関数の各時刻の関数出力値とに基づいて音響パラメータの値が算出される。

【0273】

ステップＳ１６７において制御部２３は、ステップＳ１６６で算出した各時刻の音響パラメータに基づいて、データ取得部２１により取得された音響信号に対して、アニメーション効果を付加する音響処理を施すことで再生信号を生成する。

【0274】

すなわち、制御部２３は、音響パラメータの値を初期値から徐々にアニメーション曲線に沿って変化させながら、音響信号に対して音響パラメータに基づく音響処理を施すことで再生信号を生成する。

【0275】

ステップＳ１６８において制御部２３は、ステップＳ１６７で得られた再生信号をスピーカ２６に供給して音を再生させる。これにより、新たなアニメーション期間が開始され、楽器１１の演奏音にアニメーション効果が付加されて再生される。

【0276】

ステップＳ１６８の処理が行われたか、またはステップＳ１６５において現時刻の音響パラメータよりも大きくないと判定されると、ステップＳ１６９において制御部２３は音響信号に基づく音の再生を終了するか否かを判定する。

【0277】

例えばステップＳ１６９ではユーザが楽器１１の演奏を終了した場合などに、再生を終了すると判定される。

【0278】

ステップＳ１６９において、まだ再生を終了しないと判定された場合、処理はステップＳ１６１に戻り、上述した処理が繰り返し行われる。

【0279】

これに対して、ステップＳ１６９において再生を終了すると判定された場合、情報端末装置１３の各部は行っている処理を停止し、再生処理は終了する。

【0280】

以上のようにして情報端末装置１３は、センシング値のピーク値に基づいて音響パラメータを算出し、その音響パラメータに基づいて音響信号に対する音響処理を行う。

【0281】

また、情報端末装置１３はアニメーション期間において、現時刻の音響パラメータよりも、音響パラメータの値が大きくなるようなユーザの動きがあったときには、その動きに応じて、楽器１１の演奏音に対して新たにアニメーション効果を付加する。

【0282】

このようにすることで、ユーザは自身の動きに応じて所望のアニメーション効果を付加させることができる。したがって、ユーザは音に対する操作を直感的に行うことができる。

【0283】

〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

【0284】

図３５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

【0285】

コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

【0286】

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

【0287】

入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

【0288】

以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

【0289】

コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

【0290】

コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

【0291】

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

【0292】

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0293】

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0294】

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0295】

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0296】

さらに、本技術は、以下の構成とすることも可能である。

【0297】

（１）
ユーザの身体の所定部位または器具の動きを示すセンシング値を取得する取得部と、
前記センシング値に応じて、音響信号に対して非線形な音響処理を施す制御部と
を備える信号処理装置。
（２）
前記制御部は、前記センシング値に応じて非線形に変化するパラメータに基づいて前記音響処理を行う
（１）に記載の信号処理装置。
（３）
前記制御部は、ユーザにより入力された非線形な曲線または折れ線の変換関数に基づいて、前記センシング値に応じた前記パラメータを算出する
（２）に記載の信号処理装置。
（４）
前記制御部は、前記センシング値から前記パラメータを得るための複数の変換関数のうち、ユーザにより選択された前記変換関数に基づいて前記パラメータを算出する
（２）に記載の信号処理装置。
（５）
前記制御部は、前記センシング値から前記パラメータを得るための複数の変換関数のなかから、前記動きの種類に対して定められた前記変換関数を選択し、選択した前記変換関数に基づいて前記パラメータを算出する
（２）に記載の信号処理装置。
（６）
前記制御部は、前記音響処理により前記音響信号に対してアニメーション効果を付加する
（１）に記載の信号処理装置。
（７）
前記制御部は、前記動きの種類に対して定められた前記アニメーション効果を前記音響信号に対して付加する
（６）に記載の信号処理装置。
（８）
前記制御部は、前記センシング値の波形のピーク値に基づいて前記音響処理のパラメータの初期値を求め、前記パラメータを前記初期値から変化させながら前記音響処理を行うことで、前記音響信号に対して前記アニメーション効果を付加する
（６）または（７）に記載の信号処理装置。
（９）
前記制御部は、前記アニメーション効果が施されるアニメーション期間内の任意の時刻において、その前記時刻における前記ピーク値に応じた前記パラメータが、前記時刻における実際の前記パラメータよりも大きくなった場合、前記時刻における前記ピーク値に基づいて求められた前記初期値に基づいて、前記音響信号に対して新たに前記アニメーション効果が付加されるように前記音響処理を行う
（８）に記載の信号処理装置。
（１０）
前記音響信号は、ユーザにより演奏された楽器の演奏音の信号である
（１）乃至（９）の何れか一項に記載の信号処理装置。
（１１）
前記音響信号は、前記動きの種類に対して定められた信号である
（１）乃至（９）の何れか一項に記載の信号処理装置。
（１２）
信号処理装置が、
ユーザの身体の所定部位または器具の動きを示すセンシング値を取得し、
前記センシング値に応じて、音響信号に対して非線形な音響処理を施す
信号処理方法。
（１３）
ユーザの身体の所定部位または器具の動きを示すセンシング値を取得し、
前記センシング値に応じて、音響信号に対して非線形な音響処理を施す
ステップを含む処理をコンピュータに実行させるプログラム。

【符号の説明】

【0298】

１１ 楽器， １２ ウェアラブルデバイス， １３ 情報端末装置， ２１ データ取得部， ２２ センシング値取得部， ２３ 制御部， ２４ 入力部， ２５ 表示部， ２６ スピーカ， ３１ パラメータ算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】