特許 6035785 音響解析装置および音響解析方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6035785

(24)【登録日】2016年11月11日

(45)【発行日】2016年11月30日

(54)【発明の名称】音響解析装置および音響解析方法

(51)【国際特許分類】

   G10L 21/14 20130101AFI20161121BHJP

   G10L 25/90 20130101ALI20161121BHJP

【ＦＩ】

   G10L21/14

   G10L25/90

【請求項の数】9

【全頁数】16

(21)【出願番号】特願2012-51634(P2012-51634)

(22)【出願日】2012年3月8日

(65)【公開番号】特開2013-186312(P2013-186312A)

(43)【公開日】2013年9月19日

【審査請求日】2015年1月22日

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】100125689

【弁理士】

【氏名又は名称】大林 章

(74)【代理人】

【識別番号】100121108

【弁理士】

【氏名又は名称】高橋 太朗

(72)【発明者】

【氏名】有元 慶太

(72)【発明者】

【氏名】リカルド・マークサー

(72)【発明者】

【氏名】ジョルディ・ジェイナー

(72)【発明者】

【氏名】近藤 多伸

【審査官】 大野 弘

(56)【参考文献】

【文献】 特開２０００−０６６６９４（ＪＰ，Ａ）

【文献】 特開平０５−２８９６８８（ＪＰ，Ａ）

【文献】 特開２０１０−０６０８８６（ＪＰ，Ａ）

【文献】 特開２００７−２３２７５０（ＪＰ，Ａ）

【文献】 特開平０９−０３４３５０（ＪＰ，Ａ）

【文献】 中野 倫靖、外２名，ＭｉｒｕＳｉｎｇｅｒ：歌を「歌って／聴いて／描いて」見る歌唱力向上支援インタフェース，インタラクション２００７予稿集，日本，社団法人情報処理学会，２００７年 ３月１５日

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ ２１／１４

Ｇ１０Ｌ ２５／４８

Ｇ１０Ｌ ２５／９０

(57)【特許請求の範囲】

【請求項1】

音響信号から特定されたピッチの時間変化を表現する複数の候補軌跡を周波数-時間領域に配置した解析画像を表示装置に表示させる表示制御手段と、
前記周波数-時間領域に対する指示軌跡の指定を利用者から受付ける指示受付手段と、
前記指示軌跡に対応した位置の前記候補軌跡に沿う選択軌跡を前記周波数-時間領域に表示させる軌跡設定手段とを具備し、
前記軌跡設定手段は、前記候補軌跡の端点の周辺領域に前記指示軌跡の端点が指定された場合に、当該候補軌跡の端点を端点として当該候補軌跡に沿う前記選択軌跡を設定する
音響解析装置。

【請求項2】

前記表示制御手段は、前記各候補軌跡のうち時間軸に平行な定常部分と前記定常部分以外の変動部分とを相異なる表示態様で表示する
請求項１の音響解析装置。

【請求項3】

音響信号から特定されたピッチの時間変化を表現する複数の候補軌跡を周波数-時間領域に配置した解析画像を表示装置に表示させる表示制御手段と、
前記周波数-時間領域に対する指示軌跡の指定を利用者から受付ける指示受付手段と、
前記指示軌跡に対応した位置の前記候補軌跡に沿う選択軌跡を前記周波数-時間領域に表示させる軌跡設定手段とを具備し、
前記表示制御手段は、前記各候補軌跡のうち時間軸に平行な定常部分と前記定常部分以外の変動部分とを相異なる表示態様で表示する
音響解析装置。

【請求項4】

前記軌跡設定手段は、既存の一の選択軌跡を周波数軸方向に移動することが利用者から指示された場合に、当該一の選択軌跡に対して倍音関係にある候補軌跡に沿う選択軌跡を設定する
請求項１から請求項３の何れかの音響解析装置。

【請求項5】

音響信号から特定されたピッチの時間変化を表現する複数の候補軌跡を周波数-時間領域に配置した解析画像を表示装置に表示させる表示制御手段と、
前記周波数-時間領域に対する指示軌跡の指定を利用者から受付ける指示受付手段と、
前記指示軌跡に対応した位置の前記候補軌跡に沿う選択軌跡を前記周波数-時間領域に表示させる軌跡設定手段とを具備し、
前記軌跡設定手段は、既存の一の選択軌跡を周波数軸方向に移動することが利用者から指示された場合に、当該一の選択軌跡に対して倍音関係にある候補軌跡に沿う選択軌跡を設定する
音響解析装置。

【請求項6】

前記選択軌跡に対応するピッチの分離信号を生成する音響処理手段
を具備する請求項１から請求項５の何れかの音響解析装置。

【請求項7】

コンピュータシステムが、
音響信号から特定されたピッチの時間変化を表現する複数の候補軌跡を周波数-時間領域に配置した解析画像を表示装置に表示させ、
前記周波数-時間領域に対する指示軌跡の指定を利用者から受付け、
前記指示軌跡に対応した位置の前記候補軌跡に沿う選択軌跡を前記周波数-時間領域に表示させ、
前記選択軌跡の表示では、前記候補軌跡の端点の周辺領域に前記指示軌跡の端点が指定された場合に、当該候補軌跡の端点を端点として当該候補軌跡に沿う前記選択軌跡を設定する
音響解析方法。

【請求項8】

コンピュータシステムが、
音響信号から特定されたピッチの時間変化を表現する複数の候補軌跡を周波数-時間領域に配置した解析画像を表示装置に表示させ、
前記周波数-時間領域に対する指示軌跡の指定を利用者から受付け、
前記指示軌跡に対応した位置の前記候補軌跡に沿う選択軌跡を前記周波数-時間領域に表示させ、
前記解析画像の表示では、前記各候補軌跡のうち時間軸に平行な定常部分と前記定常部分以外の変動部分とを相異なる表示態様で表示する
音響解析方法。

【請求項9】

コンピュータシステムが、
音響信号から特定されたピッチの時間変化を表現する複数の候補軌跡を周波数-時間領域に配置した解析画像を表示装置に表示させ、
前記周波数-時間領域に対する指示軌跡の指定を利用者から受付け、
前記指示軌跡に対応した位置の前記候補軌跡に沿う選択軌跡を前記周波数-時間領域に表示させ、
前記選択軌跡の表示では、既存の一の選択軌跡を周波数軸方向に移動することが利用者から指示された場合に、当該一の選択軌跡に対して倍音関係にある候補軌跡に沿う選択軌跡を設定する
音響解析方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音響信号を解析する技術に関する。

【背景技術】

【0002】

音響信号のピッチ（基本周波数）を検出する技術が従来から提案されている。例えば非特許文献１や特許文献１には、複数の音響が混合された音響信号を対象としてピッチを検出する技術が開示されている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】A.P.Klapuri, "Multiple fundamental frequency estimation based on harmonicity and spectral smoothness," IEEE Trans. Speech and Audio Proc., 11(6), 804-816, 2003

【特許文献】

【0004】

【特許文献1】特開２００１−１２５５６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

非特許文献１や特許文献１の技術では音響信号のピッチについて複数の候補が推定されるが、複数の候補から利用者が所望のピッチを選択する構成は提案されていない。したがって、誤検出されたピッチの音響成分を利用者からの指示に応じて補助的に除外したり、音響信号のうち利用者の所望の音響成分（例えば歌唱音や楽器音）を分離したりすることができないという問題がある。以上の事情を考慮して、本発明は、音響信号から特定されるピッチを利用者が容易に選択できるようにすることを目的とする。

【課題を解決するための手段】

【0006】

以上の課題を解決するために本発明が採用する手段を説明する。なお、本発明の理解を容易にするために、以下の説明では、本発明の要素と後述の実施形態の要素との対応を括弧書で付記するが、本発明の範囲を実施形態の例示に限定する趣旨ではない。

【0007】

本発明の音響解析装置は、音響信号（例えば音響信号Ｘ）から特定されたピッチの時間変化を表現する複数の候補軌跡（例えば候補軌跡Ｐ0）を周波数-時間領域に配置した解析画像を表示装置に表示させる表示制御手段（例えば表示制御部２４）と、周波数-時間領域に対する指示軌跡（例えば指示軌跡ＰA）の指定を利用者から受付ける指示受付手段（例えば指示受付部２６）と、指示軌跡に対応した位置の候補軌跡に沿う選択軌跡（例えば選択軌跡ＰB）を周波数-時間領域に表示させる軌跡設定手段（例えば軌跡設定部２８）とを具備する。以上の構成では、周波数-時間領域内に表示された候補軌跡に沿う選択軌跡が利用者からの指示（指示軌跡の指定）に応じて設定されるから、音響信号の特定の音響成分のピッチを利用者が直観的かつ容易に選択することが可能である。また、利用者が指定した指示軌跡に対応する位置の候補軌跡に沿う選択軌跡が設定されるから、候補軌跡に厳密に合致するように指示軌跡を指定しなくても適切な選択軌跡を選択できる。

【0008】

本発明の好適な態様に係る音響解析装置は、選択軌跡に対応するピッチの分離信号（例えば分離信号Ｙ）を生成する音響処理手段（例えば音響処理部３０）を具備する。以上の構成では、選択軌跡に対応するピッチの分離信号が生成されるから、利用者は、選択軌跡に対応する再生音を聴取しながら指示軌跡を指定することが可能である。具体的には、音響処理手段は、音響信号のうち選択軌跡に対応した音響成分を分離するための分離フィルタを当該音響信号に作用させることで分離信号を生成する。以上の構成では、選択軌跡に対応した音響成分について高音質な再生音を再生できるという利点がある。他の態様において、音響処理手段は、選択軌跡に対応した周波数の純音を示す分離信号を生成する。すなわち、音響処理手段は、音響信号とは独立に分離信号を生成する。以上の態様によれば、分離フィルタを音響信号に作用させる構成と比較して音響処理手段の処理負荷が軽減されるという利点がある。

【0009】

本発明の好適な態様において、表示制御手段は、音響信号から算定されたピッチ尤度（例えばピッチ尤度Ｌ(k,m)）の分布を、ピッチ尤度のピークの軌跡が候補軌跡となるように周波数-時間領域に表示し、軌跡設定手段は、指示軌跡上の各地点を包含する周波数軸方向の所定範囲（例えば範囲Ｒ）内でピッチ尤度が最大となる候補軌跡上の各地点の配列を選択軌跡として設定する。以上の態様によれば、簡易な処理で適切な選択軌跡を設定できるという利点がある。他の態様において、表示制御手段は、音響信号から算定されたピッチ尤度の分布を、ピッチ尤度のピークの軌跡が候補軌跡となるように周波数-時間領域に表示し、軌跡設定手段は、指示軌跡上の各地点に対して周波数軸方向に加重値の分布（例えば加重値ｗの分布Ｄ）を設定し、候補軌跡上の各地点のピッチ尤度に当該地点での加重値を付加した数値が最大となる候補軌跡上の各地点の配列を選択軌跡として設定する。以上の態様では、例えば候補軌跡のうちピッチ尤度が低い地点でも加重値が大きい場合には選択軌跡として選択されるから、利用者が指定した指示軌跡を充分に反映した選択軌跡を設定できるという利点がある。

【0010】

本発明の好適な態様に係る音響解析装置は、軌跡設定手段が設定した複数の選択軌跡を複数の軌跡グループに区分する軌跡分類手段（例えば軌跡分類部３２）を具備し、軌跡設定手段は、複数の選択軌跡の各々の表示態様を、軌跡分類手段が区分した軌跡グループ毎に相違させる。以上の態様では、軌跡グループ毎に個別の表示態様で各選択軌跡が表示されるから、所望の軌跡グループの選択軌跡を利用者が容易に把握できるという利点がある。なお、以上の態様の具体例は例えば第２実施形態として後述される。また、本明細書における画像の「表示態様」は、利用者が視覚的に区別できる画像の性状を意味し、画像の明度，色彩，色相等を典型例として包含する。

【0011】

本発明の好適な態様において、軌跡設定手段は、候補軌跡の端点（例えば端点ｅ0）の周辺領域（例えば領域Ｃ）に指示軌跡の端点（例えば端点ｅA）が指定された場合に、当該候補軌跡の端点を端点として当該候補軌跡に沿う選択軌跡を設定する。以上の態様では、候補軌跡の端点の周辺領域に指示軌跡の端点が指定された場合に、候補軌跡の端点を端点とする選択軌跡が設定されるから、音響信号の各音響成分の発音の始点または終点を端点とする選択軌跡を容易に設定できるという利点がある。なお、以上の態様の具体例は、例えば第３実施形態として後述される。

【0012】

本発明の好適な態様において、表示制御手段は、各候補軌跡のうち時間軸に平行な定常部分（例えば定常部分Ｑ1）と定常部分以外の変動部分（例えば変動部分Ｑ2）とを相異なる表示態様で表示する。以上の態様では、各候補軌跡の定常部分と変動部分とが相異なる表示態様で表示されるから、ピッチが変動し易い音響成分とピッチが変動し難い音響成分とを利用者が直観的に把握できるという利点がある。なお、以上の態様の具体例は例えば第４実施形態として後述される。また、特定の調波構造に対応する候補軌跡を表示制御手段が強調表示する構成によれば、例えば特定の楽器に対応する候補軌跡を利用者が直観的に把握できるという利点がある。以上の態様の具体例は、例えば第５実施形態として後述される。

【0013】

本発明の好適な態様において、軌跡設定手段は、既存の一の選択軌跡を周波数軸方向に移動することが利用者から指示された場合に、当該一の選択軌跡に対して倍音関係にある候補軌跡に沿う選択軌跡を設定する。以上の態様では、既存の選択軌跡に対して倍音関係にある候補軌跡に沿う選択軌跡が設定されるから、所望のピッチから１オクターブだけずれた周波数に設定された選択軌跡の修正や調波構造を構成する各周波数の選択を容易に実現することが可能である。以上の態様の具体例は、例えば第６実施形態として後述される。

【0014】

以上の各態様に係る音響解析装置は、音響信号の処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）等の汎用の演算処理装置とプログラムとの協働によっても実現される。本発明のプログラムは、音響信号から特定されたピッチの時間変化を表現する複数の候補軌跡を周波数-時間領域に配置した解析画像を表示装置に表示させる表示制御処理と、周波数-時間領域に対する指示軌跡の指定を利用者から受付ける指示受付処理と、指示軌跡に対応した位置の候補軌跡に沿う選択軌跡を周波数-時間領域に表示させる軌跡設定処理とをコンピュータに実行させる。以上のプログラムによれば、本発明の音響解析装置と同様の作用および効果が奏される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされるほか、通信網を介した配信の形態で提供されてコンピュータにインストールされる。

【図面の簡単な説明】

【0015】

【図1】本発明の第１実施形態に係る音響解析装置のブロック図である。

【図2】解析画像の模式図である。

【図3】軌跡設定部の動作の説明図である。

【図4】第２実施形態に係る音響解析装置のブロック図である。

【図5】第３実施形態における軌跡設定部の動作の説明図である。

【図6】第４実施形態における解析画像の模式図である。

【図7】第６実施形態における軌跡設定部の動作の説明図である。

【図8】変形例における軌跡設定部の動作の説明図である。

【発明を実施するための形態】

【0016】

＜第１実施形態＞
図１は、本発明の第１実施形態に係る音響解析装置１００のブロック図である。図１に示すように、音響解析装置１００は、演算処理装置１０と記憶装置１２と表示装置１４と入力装置１６と放音装置１８とを具備するコンピュータシステムで実現される。

【0017】

記憶装置１２は、演算処理装置１０が実行するプログラムＰGMや演算処理装置１０が使用する各種のデータを記憶する。第１実施形態の記憶装置１２は、音響信号Ｘを記憶する。音響信号Ｘは、ピッチ（基本周波数）が相違し得る複数の音響成分の混合音を示すサンプル系列である。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置１２として任意に採用される。第１実施形態の音響解析装置１００は、記憶装置１２に記憶された音響信号Ｘのピッチを解析する信号処理装置である。

【0018】

表示装置１４（例えば液晶表示パネル）は、演算処理装置１０から指示された画像を表示する。入力装置１６は、音響解析装置１００に対する利用者からの指示を受付ける機器であり、例えば利用者が操作する複数の操作子を含んで構成される。放音装置１８（スピーカやヘッドホン）は、演算処理装置１０が生成した分離信号Ｙに応じた音波を再生する。分離信号Ｙは、音響信号Ｘのうち特定の音響成分を強調（理想的には抽出）した信号である。なお、演算処理装置１０が生成した分離信号Ｙをデジタルからアナログに変換するＤ/Ａ変換器の図示は便宜的に省略した。

【0019】

演算処理装置１０は、記憶装置１２に記憶されたプログラムＰGMを実行することで、音響信号Ｘを解析するための複数の機能（解析処理部２２，表示制御部２４，指示受付部２６，軌跡設定部２８，音響処理部３０）を実現する。なお、演算処理装置１０の各機能を複数の装置に分散した構成や、演算処理装置１０の一部の機能を専用の電子回路（ＤＳＰ）が実現する構成も採用され得る。

【0020】

解析処理部２２は、周波数軸上の各周波数のピッチ尤度Ｌ(k,m)を時間軸上の単位期間毎（フレーム毎）に音響信号Ｘから算定する。記号ｋは、周波数軸上の任意の１個の周波数（周波数帯域）を意味し、記号ｍは、時間軸上の任意の１個の単位期間（フレーム）を意味する。１個のピッチ尤度Ｌ(k,m)は、第ｍ番目の単位期間にて周波数軸上の第ｋ番目の周波数が音響信号Ｘのピッチ（基本周波数）に該当する確度（尤度）に相当する。解析処理部２２によるピッチ尤度Ｌ(k,m)の算定には公知の技術（例えば非特許文献１や特許文献１の技術）が任意に採用され得る。

【0021】

表示制御部２４は、音響信号Ｘから推定されるピッチの時間変化を利用者が視認するための図２の画像（以下「解析画像」という）５０を表示装置１４に表示させる。図２に示すように、解析画像５０は、周波数-時間領域５２が配置されたＧＵＩ（Graphical User Interface）である。周波数-時間領域５２は、相互に交差する周波数軸ＡFと時間軸ＡTとが設定された座標平面である。

【0022】

表示制御部２４は、解析処理部２２による解析結果を周波数-時間領域５２内に表示する。すなわち、表示制御部２４は、図２に示すように、解析処理部２２が単位期間毎に算定する各ピッチ尤度Ｌ(k,m)の分布を周波数-時間領域５２内に表示させる。具体的には、利用者が周波数-時間領域５２内での各ピッチ尤度Ｌ(k,m)の高低を視覚的に把握できるように、周波数-時間領域５２内の各地点の表示態様（例えば明度，彩度，色相）がピッチ尤度Ｌ(k,m)に応じて可変に設定される。例えば、周波数-時間領域５２内でピッチ尤度Ｌ(k,m)が高い地点ほど高階調で表示される。したがって、図２から理解されるように、単位期間毎のピッチ尤度Ｌ(k,m)のピークを時間軸ＡTの方向に配列した軌跡（以下「候補軌跡」という）Ｐ0が、利用者により視覚的に識別可能な状態で周波数-時間領域５２内に表示される。音響信号Ｘは複数の音響成分の混合音の信号であるから、周波数軸ＡFの方向の位置と時間軸ＡTの方向の位置とが相違する複数の候補軌跡Ｐ0が周波数-時間領域５２内に配置される。各候補軌跡Ｐ0は時間軸ＡT上で相互に重複し得る。周波数軸ＡF上でピッチ尤度Ｌ(k,m)がピークとなる周波数（候補軌跡Ｐ0上の各周波数）は音響信号Ｘのピッチに該当する可能性が高い。

【0023】

表示制御部２４は、入力装置１６に対する利用者からの指示に応じて周波数-時間領域５２の表示倍率を可変に制御する。また、表示制御部２４は、音響信号Ｘのうち時間軸上の一部の区間に対応するピッチ尤度Ｌ(k,m)の分布を解析画像５０内に表示し、音響信号Ｘのうちピッチ尤度Ｌ(k,m)が解析画像５０内に表示される区間を、利用者からの指示に応じて変更（周波数-時間領域５２を時間軸ＡTの方向にスクロール）する。

【0024】

利用者は、周波数-時間領域５２内の各ピッチ尤度Ｌ(k,m)の分布（各候補軌跡Ｐ0）を参照しながら入力装置１６を適宜に操作することで、図３の部分(A)に示すように、周波数-時間領域５２内の任意の位置に所望の軌跡（以下「指示軌跡」という）ＰAを指定することが可能である。具体的には、利用者は、音響信号Ｘのうち分離対象となる所望の音響成分の周波数に近い候補軌跡Ｐ0に概略的に沿うように入力装置１６のマウスをドラッグすることで指示軌跡ＰAを指定する。利用者は、所望の候補軌跡Ｐ0に概略的に沿うように指示軌跡ＰAを指定すれば足り、候補軌跡Ｐ0に厳密に合致するように指示軌跡ＰAを指定する必要はない。図１の指示受付部２６は、周波数-時間領域５２に対する指示軌跡ＰAの指定を利用者から受付ける要素である。なお、図３の部分(A)では便宜的に指示軌跡ＰAを図示したが、実際の解析画像５０では指示軌跡ＰAは表示されない。ただし、指示軌跡ＰAを候補軌跡Ｐ0とともに表示することも可能である。

【0025】

図１の軌跡設定部２８は、表示装置１４に表示された各候補軌跡Ｐ0と指示受付部２６が利用者から受付けた指示軌跡ＰAとに応じた選択軌跡ＰBを設定して周波数-時間領域５２内に配置する。選択軌跡ＰBと候補軌跡Ｐ0とは、利用者が両軌跡を視覚的に区別できるように相異なる表示態様（例えば明度，彩度，色相）で表示される。

【0026】

第１実施形態の選択軌跡ＰBは、周波数-時間領域５２内で指示軌跡ＰAに対応した位置の候補軌跡Ｐ0に沿う軌跡（曲線または折線）である。第１実施形態の軌跡設定部２８は、図３の部分(B)に示すように、指示受付部２６が利用者から受付けた指示軌跡ＰA上の１個の地点ｐAを包含する周波数軸ＡFの方向の所定の範囲Ｒ内でピッチ尤度Ｌ(k,m)が最大となる候補軌跡Ｐ0上の地点ｐ0を、指示軌跡ＰA上の各地点ｐAについて配列した軌跡を、選択軌跡ＰBとして設定する。したがって、選択軌跡ＰBは、時間軸上で指示軌跡ＰAと同等の区間（指示軌跡ＰAの端点間の区間）にわたる。

【0027】

以上の説明から理解されるように、周波数-時間領域５２内に利用者が概略的に指定した指示軌跡ＰAが既定の候補軌跡Ｐ0にスナップされる。ただし、指示軌跡ＰA上の地点ｐAを含む範囲Ｒ内に候補軌跡Ｐ0が存在しない場合（指示軌跡ＰAが何れの候補軌跡Ｐ0からも離れている場合）には、軌跡設定部２８は、利用者が指定した指示軌跡ＰA自体を選択軌跡ＰBとして確定する。指示軌跡ＰAの指定毎に軌跡設定部２８が選択軌跡ＰBを設定することで、周波数-時間領域５２内には複数の選択軌跡ＰBが配置される。

【0028】

利用者は、周波数-時間領域５２内に配置された１個以上の選択軌跡ＰBを処理対象に選択して編集を指示することが可能である。具体的には、軌跡設定部２８は、利用者が選択した選択軌跡ＰBに対して、選択軌跡ＰBの延長（付足し）や短縮，削除，複製，貼付等の編集作業を実行する。なお、編集対象の選択軌跡ＰBを利用者からの指示に応じて選択する方法は任意である。例えば、周波数-時間領域５２のうち利用者がラバーバンド（矩形領域の対角線長を制御）やフリーハンドで指定した領域内の各選択軌跡ＰBを軌跡設定部２８が選択する構成が採用される。また、周波数軸ＡFや時間軸ＡTの軸上に利用者が指定した範囲内の各選択軌跡ＰBを軌跡設定部２８が選択する構成や、利用者が指定した数値範囲内の時間長の選択軌跡ＰBを軌跡設定部２８が選択する構成も好適である。また、入力装置１６の所定の操作子を押下しながら各選択軌跡ＰBを順次に指定することで複数の選択軌跡ＰBを選択することも可能である。

【0029】

利用者が入力装置１６を適宜に操作して選択軌跡ＰBの保存（エクスポート）を指示すると、軌跡設定部２８は、現段階で周波数-時間領域５２内に設定されている各選択軌跡ＰBを指定するファイル（以下「軌跡ファイル」という）を生成して記憶装置１２に格納する。他方、利用者が入力装置１６を操作して軌跡ファイルの読込（インポート）を指示すると、軌跡設定部２８は、記憶装置１２に記憶された軌跡ファイルで指定された各選択軌跡ＰBを周波数-時間領域５２内に配置する。なお、以上の説明では、解析処理部２２による解析結果に対して指定および保存（エクスポート）された軌跡ファイルの読込を例示したが、公知の各種のピッチ推定技術で特定されたピッチの時間軌跡を示す軌跡ファイル（すなわち、軌跡設定部２８が生成した軌跡ファイル以外の軌跡ファイル）を読込むことも可能である。

【0030】

図１の音響処理部３０は、軌跡設定部２８が設定した選択軌跡ＰBに対応するピッチの分離信号Ｙを生成する。具体的には、音響処理部３０は、利用者が入力装置１６の操作で音響信号Ｘの分離を音響解析装置１００に指示した場合に分離信号Ｙの生成を開始する。第１実施形態の分離信号Ｙは、音響信号Ｘのうち選択軌跡ＰBが示すピッチの音響成分を強調した音響信号である。

【0031】

具体的には、音響処理部３０は、各選択軌跡ＰBに対応した音響成分を強調するためのフィルタ（以下「分離フィルタ」という）を単位期間毎に生成して音響信号Ｘに順次に作用させることで分離信号Ｙを生成する。分離フィルタは、周波数軸上の相異なる周波数に対応する複数の係数値の系列である。第１実施形態の分離フィルタは、選択軌跡ＰBが示すピッチとその倍音周波数とに対応する係数値を１に設定するとともに残余の係数値を０に設定したバイナリマスクである。音響処理部３０は、音響信号Ｘの各単位期間の周波数スペクトルに分離フィルタを乗算して時間領域に変換することで分離信号Ｙを生成する。音響処理部３０が生成した分離信号Ｙが放音装置１８に供給されて音波として再生される。したがって、利用者は、自身が指定した指示軌跡ＰAに対応する選択軌跡ＰBのピッチの音響成分が強調された再生音を聴取することが可能である。

【0032】

他方、表示制御部２４は、図２に示すように、現在の再生地点を示す再生指示子（カーソル）５４を周波数-時間領域５２内に配置し、分離信号Ｙの再生の進行とともに再生指示子５４の時間軸上の位置を変化させる。利用者は、分離信号Ｙの再生音を聴取するとともに解析画像５０（各選択軌跡ＰBと再生指示子５４との関係）を視認することで、周波数-時間領域５２内の各候補軌跡Ｐ0や各選択軌跡ＰBと、音響信号Ｘの各音響成分の発音および消音の時点や音高との関係を直観的に把握することが可能である。また、分離信号Ｙの再生音の聴取や解析画像５０の視認に並行して、利用者は、各選択軌跡ＰBの編集や新規な選択軌跡ＰBの追加（指示軌跡ＰAの指定）を音響解析装置１００に指示することが可能である。

【0033】

以上に説明した第１実施形態では、周波数-時間領域５２内に配置された候補軌跡Ｐ0が利用者からの指示（指示軌跡ＰAの指定）に応じて選択軌跡ＰBとして選択されるから、音響信号Ｘの特定の音響成分のピッチを利用者が直観的かつ容易に選択することが可能である。第１実施形態では特に、利用者が指定した指示軌跡ＰAを候補軌跡Ｐ0にスナップすることで選択軌跡ＰBが設定されるから、所望の選択軌跡ＰBを利用者が容易に選択できるという効果は格別に顕著である。

【0034】

＜第２実施形態＞
本発明の第２実施形態を以下に説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同等である要素については、第１実施形態の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。

【0035】

図４は、第２実施形態における音響解析装置１００のブロック図である。図４に示すように、第２実施形態の音響解析装置１００は、第１実施形態に軌跡分類部３２を追加した構成である。軌跡分類部３２は、軌跡設定部２８が周波数-時間領域５２内に設定した複数の選択軌跡ＰBを複数のグループ（以下「軌跡グループ」という）Ｇに区分する。１個の軌跡グループＧには１個以上の選択軌跡ＰBが包含される。具体的には、軌跡分類部３２は、利用者が入力装置１６の操作で任意に指定した複数の選択軌跡ＰBをひとつの軌跡グループＧに分類する。例えば、利用者は、所望の楽器の音響成分に該当すると推定される複数の選択軌跡ＰB（例えば利用者の所望の楽器の音域内に存在する複数の選択軌跡ＰB）を１個の軌跡グループＧの要素として選択することが可能である。なお、各軌跡グループＧに分類される選択軌跡ＰBの選択には第１実施形態と同様の方法（例えば利用者が周波数-時間領域５２内にラバーバンドやフリーハンドで指定した領域内の選択軌跡ＰBを選択する構成）が採用され得る。

【0036】

表示制御部２４は、周波数-時間領域５２内に配置された複数の選択軌跡ＰBの各々の表示態様を軌跡グループＧ毎に相違させる。また、利用者は、各選択軌跡ＰBについて実行され得る処理の有無（有効／無効）を軌跡グループＧ毎に個別に指示することが可能である。具体的には、表示制御部２４は、選択軌跡ＰBの表示の有無を軌跡グループＧ毎に利用者からの指示に応じて制御する。したがって、例えば利用者が指示した軌跡グループＧの各選択軌跡ＰBのみが周波数-時間領域５２内に表示され、残余の軌跡グループＧの各選択軌跡ＰBは非表示に制御される。以上の説明から理解されるように、各選択軌跡ＰBの表示に着目すると、軌跡グループＧ毎に別個のレイヤが設定されるとも換言され得る。各軌跡グループＧの選択軌跡ＰBが配置された複数のレイヤを相互に重ねることで解析画像５０が形成される。また、音響処理部３０は、分離信号Ｙでの強調の有無を軌跡グループＧ毎に利用者からの指示に応じて制御する。例えば、音響処理部３０は、音響信号Ｘのうち利用者が指示した軌跡グループＧの各選択軌跡ＰBに対応する音響成分のみを選択的に強調することで分離信号Ｙを生成する。

【0037】

第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、各選択軌跡ＰBが複数の軌跡グループＧに分類されて軌跡グループＧ毎に相異なる表示態様で表示されるから、特定の軌跡グループＧの各選択軌跡ＰB（例えば特定の楽器の音響成分に対応する選択軌跡ＰB）のみを利用者が直観的に把握できるという利点がある。また、軌跡グループＧ毎に各種の処理の有無が個別に制御されるから、特定の軌跡グループＧの選択軌跡ＰBに対応する音響成分の再生音を聴取しながらその軌跡グループＧの選択軌跡ＰBのみを選択的に表示および編集するという具合に、多様かつ容易な操作が実現されるという利点もある。

【0038】

＜第３実施形態＞
図５は、第３実施形態における軌跡設定部２８の動作の説明図である。図５の部分(A)に示すように、第３実施形態の表示制御部２４は、音響信号Ｘの各ピッチ尤度Ｌ(k,m)に対応する候補軌跡Ｐ0の各端点ｅ0を特定する。端点ｅ0は、周波数-時間領域５２内でピッチ尤度Ｌ(k,m)が時間方向に不連続または急激に変化（増加または減少）する地点である。以上の説明から理解されるように、音響信号Ｘの各音響成分の発音の始点および終点が端点ｅ0に相当する。

【0039】

図５の部分(A)に示すように、候補軌跡Ｐ0の端点ｅ0の周辺領域（例えば端点ｅ0を中心とする所定径の円形領域）Ｃ内に利用者が指示軌跡ＰAの端点ｅAを指定した場合、軌跡設定部２８は、図５の部分(B)に示すように、候補軌跡Ｐ0の端点ｅ0を端点としてその候補軌跡Ｐ0に沿う選択軌跡ＰBを設定する。すなわち、利用者が指定した指示軌跡ＰAの端点ｅAが候補軌跡Ｐ0の端点ｅ0にスナップされる。なお、各候補軌跡Ｐ0の端点ｅ0の周辺領域Ｃの外側に指示軌跡ＰAの端点ｅAが指定された場合、指示軌跡ＰAの端点ｅAを端点とする選択軌跡ＰBが設定される。

【0040】

第３実施形態においても第１実施形態と同様の効果が実現される。また、第３実施形態では、選択軌跡ＰBの端点が候補軌跡Ｐ0の端点ｅ0に自動的に調整されるから、音響信号Ｘの各音響成分の発音の始点から終点までの選択軌跡ＰBを利用者が容易に設定できる。したがって、音響信号Ｘの各音響成分を発音の始点から終点まで分離信号Ｙにて高精度に強調できるという利点がある。なお、第３実施形態を第２実施形態に適用することも可能である。

【0041】

＜第４実施形態＞
図６は、第４実施形態における解析画像５０の模式図である。なお、図６では、選択軌跡ＰBの図示は便宜的に省略されている。図６に示すように、第４実施形態の表示制御部２４は、周波数-時間領域５２内の各候補軌跡Ｐ0のうち時間軸ＡTに略平行に延在する部分（以下「定常部分」という）Ｑ1と定常部分Ｑ1以外の部分（以下「変動部分」という）Ｑ2とを相異なる表示態様（図６では実線／破線）で表示する。具体的には、各候補軌跡Ｐ0の定常部分Ｑ1は変動部分Ｑ2に対して強調表示（例えば太線や高階調で表示）される。表示制御部２４が定常部分Ｑ1と変動部分Ｑ2とを区別する方法は任意であるが、例えば、候補軌跡Ｐ0のうち所定長にわたり連続して周波数が所定幅の帯域内に維持される区間を定常部分Ｑ1と判定する方法が好適である。利用者が指定した指示軌跡ＰAに応じて候補軌跡Ｐ0に沿った選択軌跡ＰBが設定される点は前述の各形態と同様である。

【0042】

各音響成分のピッチの時間変動の度合は音響成分毎（楽曲のパート毎）に相違する。例えば、歌唱曲の主旋律を担当する歌唱音はビブラートやポルタメント等によりピッチが変動し易いが、歌唱曲の伴奏を担当する楽器音（例えばピアノやギターやベース等の演奏音）は、１回の発音の間でピッチが変動し難いという概略的な傾向がある。第４実施形態では、定常部分Ｑ1（例えば伴奏の演奏音である可能性が高い部分）と変動部分Ｑ2（例えば主旋律の歌唱音である可能性が高い部分）とを利用者が視覚的に区別しながら指示軌跡ＰA（更には選択軌跡ＰB）を指定できるという利点がある。

【0043】

＜第５実施形態＞
第５実施形態の音響解析装置１００に対し、利用者は、入力装置１６を適宜に操作することで特定の調波構造を指定することが可能である。例えば、クラリネット等の閉管楽器の調波構造が指定され得る。

【0044】

表示制御部２４が表示装置１４に表示させる解析画像５０の周波数-時間領域５２内には、音響信号Ｘの各音響成分のピッチに対応する候補軌跡Ｐ0に加えて各ピッチの倍音周波数に対応する周波数軸ＡF上の位置にも候補軌跡Ｐ0が表示され得る。表示制御部２４は、周波数-時間領域５２内の複数の候補軌跡Ｐ0のうち利用者が指定した調波構造に対応する候補軌跡Ｐ0を強調表示する。例えば、閉管楽器の調波構造には、奇数次倍音が偶数次倍音と比較して顕著であるという傾向がある。したがって、利用者が閉管楽器の調波構造を指定した場合、表示制御部２４は、特定の候補軌跡Ｐ0（例えば選択軌跡ＰBが設定された候補軌跡Ｐ0）に対して奇数倍の周波数に位置する候補軌跡Ｐ0を強調表示する。また、オーボエ等の管楽器の調波構造には、低次側の倍音成分が基音成分と比較して顕著であるという傾向がある。したがって、利用者がオーボエ等の管楽器の調波構造を指定した場合、表示制御部２４は、低次側の倍音成分のピッチ尤度Ｌ(k,m)が基音成分のピッチ尤度Ｌ(k,m)と比較して高い関係にある各候補軌跡Ｐ0を強調表示する。

【0045】

第５実施形態においても第１実施形態と同様の効果が実現される。また、第５実施形態では、周波数-時間領域５２内の複数の候補軌跡Ｐ0のうち特定の調波構造に対応する候補軌跡Ｐ0が強調表示されるから、所望の調波構造に対応する選択軌跡ＰBを利用者が容易に選択できるという利点がある。なお、第５実施形態を第２実施形態から第４実施形態に適用することも可能である。

【0046】

＜第６実施形態＞
図７は、第６実施形態における軌跡設定部２８の動作の説明図である。利用者は、入力装置１６を操作することで、周波数-時間領域５２内の所望の選択軌跡ＰBについて周波数軸ＡF方向に対する移動を指示する（例えば既存の選択軌跡ＰBを入力装置１６のマウスでドラッグする）ことが可能である。

【0047】

図７の部分(A)に例示された選択軌跡ＰB[1]について周波数軸ＡF方向への移動が指示された場合、軌跡設定部２８は、図７の部分(B)に例示されるように、選択軌跡ＰB[1]に対して倍音関係（選択軌跡ＰB[1]が示すピッチの整数倍の関係）にある候補軌跡Ｐ0に沿う選択軌跡ＰB[2]を設定する。具体的には、軌跡設定部２８は、移動前の選択軌跡ＰB[1]が示すピッチの整数倍の各周波数に対応する複数の候補軌跡Ｐ0のうち、利用者が指定した移動先の近傍に位置する候補軌跡Ｐ0に沿うように選択軌跡ＰB[2]を設定する。すなわち、選択軌跡ＰB[1]が移動先の候補軌跡Ｐ0にスナップされるとも換言され得る。選択軌跡ＰB[2]の時間軸ＡT上の区間は選択軌跡ＰB[1]と同様である。ただし、第３実施形態と同様に、選択軌跡ＰB[2]の端点を移動先の候補軌跡Ｐ0の端点ｅ0に調整することも可能である。また、図７の部分(B)から理解されるように、移動先の選択軌跡ＰB[2]が設定されると移動元の選択軌跡ＰB[1]は消去される。なお、以上の例示では選択軌跡ＰB[1]を移動先の候補軌跡Ｐ0に自動的にスナップしたが、選択軌跡ＰB[1]を倍音関係の周波数に単純に平行移動させる構成（すなわち、選択軌跡ＰBの形状が移動の前後で変化しない構成）も採用され得る。

【0048】

第６実施形態においても第１実施形態と同様の効果が実現される。また、第６実施形態では、既存の選択軌跡ＰB[1]が倍音関係にある選択軌跡ＰB[2]に移動されるから、利用者の所望のピッチから１オクターブだけずれた周波数に選択軌跡ＰBが設定された場合（例えば、利用者が所望の音響成分のピッチから１オクターブずれた位置に指示軌跡ＰAを指定した場合）に、選択軌跡ＰBの位置を利用者の所望の周波数に容易に修正できるという利点がある。なお、第６実施形態を第２実施形態から第５実施形態に適用することも可能である。

【0049】

以上の例示では、移動前の選択軌跡ＰB[1]を消去する形式の移動を例示したが、移動前の選択軌跡ＰB[1]を維持したまま移動後の選択軌跡ＰB[2]を設定すること（複製）も可能である。また、選択軌跡ＰBの複製を複数回にわたり反復することで、基音成分と各倍音成分とに対応する選択軌跡ＰBを容易に設定することが可能である。また、第２実施形態の軌跡分類部３２が、選択軌跡ＰB[1]とこれを複製した各選択軌跡ＰB[2]とを１個の軌跡グループＧ（第２実施形態）に分類する構成も好適である。以上の説明から理解されるように、選択軌跡ＰBの「移動」は、操作前の選択軌跡ＰBが消去される狭義の「移動」と、移動前の選択軌跡ＰBが維持される「複製」との双方を包含する概念である。

【0050】

また、以上の例示では、選択軌跡ＰB[1]に対して任意の次数の倍音関係にある選択軌跡ＰB[2]を設定可能な構成を例示したが、選択軌跡ＰB[1]に対する倍音成分の次数毎に選択軌跡ＰB[1]の移動の可否を利用者からの指示に応じて設定可能な構成も採用され得る。例えば、クラリネット等の閉管楽器については、選択軌跡ＰB[1]の周波数に対して奇数次倍音の周波数の位置に移動後の選択軌跡ＰB[2]を設定することは許可されるが、偶数次倍音の周波数の位置に選択軌跡ＰB[2]を設定することは禁止されるという具合である。以上の構成によれば、特定の調波構造に対応する複数の選択軌跡ＰBを容易に設定できるという利点がある。

【0051】

＜変形例＞
以上に例示した各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から選択された２以上の態様は相互に矛盾しない範囲で適宜に併合され得る。

【0052】

（１）前述の各形態では、各選択軌跡ＰBに対応した分離フィルタを音響信号Ｘに作用させて分離信号Ｙを生成したが、音響処理部３０が分離信号Ｙを生成する方法は適宜に変更される。例えば、前述の各形態では、各係数値が２値に設定されたバイナリフィルタを分離フィルタとして例示したが、各係数値が多値的に設定されたフィルタ（例えばウィーナフィルタ）を分離フィルタとして利用することも可能である。

【0053】

また、選択軌跡ＰBに対応する周波数の純音（ビープ音）を示す分離信号Ｙを音響処理部３０が音響信号Ｘとは独立に生成する構成も採用される。選択軌跡ＰBに対応する周波数の純音とその倍音周波数の各純音との混合音の分離信号Ｙを音響処理部３０が音響信号Ｘとは独立に生成することも可能である。以上のように分離信号Ｙを簡易的に生成する構成（音響信号Ｘに対する音響処理を実行しない構成）によれば、分離フィルタを生成して音響信号Ｘに作用させる構成と比較して音響処理部３０の処理負荷が軽減されるという利点がある。また、分離フィルタを利用した分離信号Ｙの生成と純音の分離信号Ｙの簡易的な生成とを、利用者からの指示に応じて音響処理部３０が選択的に実行することも可能である。以上の説明から理解されるように、音響処理部３０は、選択軌跡ＰBに対応するピッチの分離信号Ｙを生成する要素として包括される。

【0054】

（２）前述の各形態では、図３を参照して説明した通り、利用者が指定した指示軌跡ＰA上の１個の地点ｐAを包含する範囲Ｒ内でピッチ尤度Ｌ(k,m)が最大となる候補軌跡Ｐ0上の各地点ｐ0の配列を選択軌跡ＰBとして設定したが、軌跡設定部２８が選択軌跡ＰBを設定する方法は以上の例示に限定されない。例えば、図８に示すように、指示軌跡ＰA上の各地点ｐAに対して周波数軸ＡF方向に加重値ｗ（ｗ[1]，ｗ[2]）の分布Ｄを設定し、周波数-時間領域５２内の各候補軌跡Ｐ0上の地点ｐ0のピッチ尤度Ｌ(k,m)に対して分布Ｄのうちその地点ｐ0での加重値ｗを付加（例えば乗算）した数値が最大となる候補軌跡Ｐ0上の地点ｐ0の配列を、軌跡設定部２８が選択軌跡ＰBとして設定することも可能である。

【0055】

例えば、図８に例示された候補軌跡Ｐ0[1]と候補軌跡Ｐ0[2]とに着目すると、候補軌跡Ｐ0[1]上の地点ｐ0のピッチ尤度Ｌ(k1,m)にその地点ｐ0での加重値ｗ[1]を乗算した数値ｗ[1]・Ｌ(k1,m)と、候補軌跡Ｐ0[2]上の地点ｐ0のピッチ尤度Ｌ(k2,m)にその地点ｐ0での加重値ｗ[2]を乗算した数値ｗ[2]・Ｌ(k2,m)とを比較して、大きい方に対応する地点ｐ0（候補軌跡Ｐ0[1]および候補軌跡Ｐ0[2]の一方の地点ｐ0）が選択軌跡ＰB上の地点として採択される。加重値ｗの分布Ｄは、指示軌跡ＰA上の地点ｐAで加重値ｗが最大となり、地点ｐAから離れるほど加重値ｗが小さい数値となるように選定される。例えば正規分布等の公知の確率分布が加重値の分布Ｄとして好適に採用され得る。以上の構成では、ピッチ尤度Ｌ(k,m)は低いが指示軌跡ＰA上の地点ｐAに近い候補軌跡Ｐ0が選択軌跡ＰBとして選択されるから、利用者の意図（指示軌跡ＰA）を充分に反映した選択軌跡ＰBを設定できるという利点がある。

【0056】

（３）周波数-時間領域５２内に設定された複数の選択軌跡ＰBの各々について分離信号Ｙを個別に生成して記憶装置１２に格納する構成が採用され得る。例えば、音響処理部３０は、音響信号Ｘのうち各選択軌跡ＰBに対応する区間にその選択軌跡ＰBに応じた分離フィルタを作用させることで選択軌跡ＰB毎に分離信号Ｙを生成して記憶装置１２に格納する。

【0057】

そして、音響処理部３０は、周波数-時間領域５２に対する利用者からの指示に応じて各選択軌跡ＰBの分離信号Ｙを放音装置１８に供給して再生する。例えば、周波数-時間領域５２内の指定点（例えばマウスポインタの位置やタッチパネルを入力装置１６として利用した場合のタッチ位置）を利用者が入力装置１６の操作で特定の選択軌跡ＰBに沿って移動させると、音響処理部３０は、その選択軌跡ＰBに対応した分離信号Ｙを指定点の移動速度に応じた再生速度で放音装置１８に供給する。なお、再生速度の制御には公知の技術が任意に採用され得るが、再生音のピッチが音響信号Ｘでのピッチに維持されるように再生速度を変化させる技術（例えばフェーズボコーダ）が好適である。以上の構成によれば、音響信号Ｘのうち利用者の所望の音響成分（例えば特定の楽器音）を任意の速度で再生できるという利点がある。

【0058】

また、分離信号Ｙの再生方向（順方向／逆方向）を指定点の移動方向に応じて制御することも可能である。例えば、音響処理部３０は、時間軸ＡTの下流側（時間が経過する方向）に指定点を移動させた場合には分離信号Ｙを順方向に再生し、時間軸ＡTの上流側（時間が遡及する方向）に指定点を移動させた場合には分離信号Ｙを逆方向に再生する。

【0059】

（４）前述の各形態では表示装置１４とは別体の入力装置１６を例示したが、表示装置１４と一体に構成されたタッチパネルを入力装置１６として採用することも可能である。例えば、利用者は、表示装置１４の表示面（操作面）に対するドラッグ操作（表示面を指でなぞる操作）で指示軌跡ＰAを指定することが可能である。ただし、表示面に対するドラッグ操作を周波数-時間領域５２のスクロールに割当てた場合、指示軌跡ＰAを指定するドラッグ操作と周波数-時間領域５２をスクロールさせるドラッグ操作とを区別する必要がある。例えば、周波数-時間領域５２に対して所定のタップ操作（例えばダブルタップやロングタップ）が付与された場合に指示軌跡ＰAの指定を受付ける受付状態に遷移し、指示受付部２６は、利用者によるドラッグ操作に応じた指示軌跡ＰAの指定を受付ける。受付状態では、各候補軌跡Ｐ0の表示態様を変化させる（例えば各候補軌跡Ｐ0を点滅させる）構成が好適である。また、周波数軸ＡFのうち表示面に接触した２本の指の間に対応する帯域内に限定して選択軌跡ＰBの設定（指示軌跡ＰAの指定）を許可することも可能である。表示面に接触した２本の指の間隔を変化させるピンチイン操作やピンチアウト操作に応じて表示制御部２４が周波数-時間領域５２の表示倍率を変化（ズームイン／ズームアウト）させる構成も好適である。

【0060】

また、周波数-時間領域５２内に設定された選択軌跡ＰBに対する所定のタッチ操作（例えばダブルタップやロングタップ）でその選択軌跡ＰBを選択状態に遷移させ、選択状態の選択軌跡ＰBに関連する処理を表示面に対するタッチ操作で指示することも可能である。例えば、選択状態の選択軌跡ＰBに対してタップ操作（表示面を指で叩く操作）が付与された場合にその選択軌跡ＰBの音響成分が再生される構成や、表示面に接触する２本の指の間隔に応じて選択状態の選択軌跡ＰBを時間軸ＡTの方向に伸縮する構成、あるいは、選択状態の選択軌跡ＰBに対してフリック操作（表示面に接触した指を弾く操作）が付与された場合にその選択軌跡ＰBを削除する構成が採用される。また、指２本でのドラッグ操作が選択軌跡ＰBに対して付与された場合にはその選択軌跡ＰBを移動し、指１本でのドラッグ操作が選択軌跡ＰBに対して付与された場合にはその選択軌跡ＰBを複製するという具合に、表示面に対するタッチ操作の種類に応じて選択状態の選択軌跡ＰBに対する編集内容を相違させることも可能である。なお、表示面に所定のタップ操作（例えば選択状態の選択軌跡ＰBから離れた位置のタップ操作）が付与された場合に選択軌跡ＰBの選択状態は解除される。

【0061】

周波数-時間領域５２内に設定された任意の選択軌跡ＰBを表示面に対するタッチ操作に応じて選択する構成も好適である。例えば、表示面に接触する２本の指を対角とする矩形領域（ラバーバンド）内の選択軌跡ＰBを選択する構成や、表示面に対する３個以上の接触点を通過する閉領域内の選択軌跡ＰBを選択する構成が採用される。

【0062】

（５）前述の各形態では、音響信号Ｘのうち選択軌跡ＰBに対応する音響成分を強調する構成を例示したが、音響信号Ｘのうち選択軌跡ＰBに対応する音響成分を抑圧することで分離信号Ｙを生成することも可能である。例えば、音響処理部３０は、相異なる周波数に対応する複数の係数値のうち選択軌跡ＰBが示すピッチとその倍音周波数とに対応する係数値を０に設定するとともに残余の係数値を１に設定した分離フィルタを音響信号Ｘに作用させる。

【0063】

（６）前述の各形態では、音響信号Ｘから算定されたピッチ尤度Ｌ(k,m)を周波数-時間領域５２内に表示したが、例えば公知のピッチ検出技術（単音ピッチ検出または複音ピッチ検出）を利用して音響信号Ｘから検出されたピッチの時間変化を周波数-時間領域５２内に候補軌跡Ｐ0として表示することも可能である。以上の説明から理解されるように、候補軌跡Ｐ0は、音響信号Ｘから特定（典型的には推定または検出）されたピッチの時間変化を表現する軌跡として包括される。

【0064】

（７）前述の各形態では、音響処理部３０を具備する音響解析装置１００を例示したが、周波数-時間領域５２内の各候補軌跡Ｐ0について利用者からの指示（指示軌跡ＰA）に応じた選択軌跡ＰBを設定するという機能のみに着目すると、音響処理部３０は省略され得る。また、ピッチ尤度Ｌ(k,m)が外部装置から通知される構成では解析処理部２２が省略される。

【符号の説明】

【0065】

１００……音響解析装置、１０……演算処理装置、１２……記憶装置、１４……表示装置、１６……入力装置、１８……放音装置、２２……解析処理部、２４……表示制御部、２６……指示受付部、２８……軌跡設定部、３０……音響処理部、３２……軌跡分類部、５０……解析画像、５２……周波数-時間領域、Ｐ0……候補軌跡、ＰA……指示軌跡、ＰB……選択軌跡。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】