特許 6737300 演奏解析方法、演奏解析装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6737300

(24)【登録日】2020年7月20日

(45)【発行日】2020年8月5日

(54)【発明の名称】演奏解析方法、演奏解析装置およびプログラム

(51)【国際特許分類】

   G10G 1/00 20060101AFI20200728BHJP

   G10H 1/00 20060101ALI20200728BHJP

   G10H 1/36 20060101ALI20200728BHJP

【ＦＩ】

   G10G1/00

   G10H1/00 B

   G10H1/00 102Z

   G10H1/36

【請求項の数】11

【全頁数】12

(21)【出願番号】特願2018-52863(P2018-52863)

(22)【出願日】2018年3月20日

(65)【公開番号】特開2019-164282(P2019-164282A)

(43)【公開日】2019年9月26日

【審査請求日】2020年3月18日

【早期審査対象出願】

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】100125689

【弁理士】

【氏名又は名称】大林 章

(74)【代理人】

【識別番号】100128598

【弁理士】

【氏名又は名称】高田 聖一

(74)【代理人】

【識別番号】100121108

【弁理士】

【氏名又は名称】高橋 太朗

(72)【発明者】

【氏名】前澤 陽

【審査官】 渡部 幸和

(56)【参考文献】

【文献】 特開２０１１−１８０５９０（ＪＰ，Ａ）

【文献】 特開２００９−０１４９７８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｇ １／００−３／０４

Ｇ１０Ｈ １／００−１／４６

(57)【特許請求の範囲】

【請求項1】

楽曲の演奏音を表す音響信号に対する解析処理で前記楽曲内の演奏位置を順次に推定し、
前記解析処理で推定された演奏位置を、時間軸上の第１時点において、前記第１時点から前方に離間した選択期間について前記解析処理で推定された演奏位置の時系列に応じた演奏位置に変更する
コンピュータにより実現される演奏解析方法。

【請求項2】

前記第１時点は、利用者からの指示に応じた時点である
請求項１の演奏解析方法。

【請求項3】

前記第１時点の後方における演奏位置の推移を利用者からの指示に応じて制御する
請求項１または請求項２の演奏解析方法。

【請求項4】

前記第１時点と当該第１時点の後方の第２時点との間の調整期間では、前記解析処理による前記演奏位置の推定を停止し、前記第２時点において、当該第２時点における演奏位置を起点として前記解析処理による前記演奏位置の推定を再開する
請求項３の演奏解析方法。

【請求項5】

前記変更後の演奏位置は、相異なる条件で特定された複数の暫定位置から特定される
請求項１から請求項４の何れかの演奏解析方法。

【請求項6】

楽曲の演奏音を表す音響信号に対する解析処理で前記楽曲内の演奏位置を順次に推定する推定部と、
前記解析処理で推定された演奏位置を、時間軸上の第１時点において、前記第１時点から前方に離間した選択期間について前記解析処理で推定された演奏位置の時系列に応じた演奏位置に変更する制御部と
を具備する演奏解析装置。

【請求項7】

前記第１時点は、利用者からの指示に応じた時点である
請求項６の演奏解析装置。

【請求項8】

前記制御部は、前記第１時点の後方における演奏位置の推移を利用者からの指示に応じて制御する
請求項６または請求項７の演奏解析装置。

【請求項9】

前記推定部は、前記第１時点と当該第１時点の後方の第２時点との間の調整期間では、
前記解析処理による前記演奏位置の推定を停止し、前記第２時点において、当該第２時点における演奏位置を起点として前記解析処理による前記演奏位置の推定を再開する
請求項８の演奏解析装置。

【請求項10】

前記変更後の演奏位置は、相異なる条件で特定された複数の暫定位置から特定される
請求項６から請求項９の何れかの演奏解析装置。

【請求項11】

楽曲の演奏音を表す音響信号に対する解析処理で前記楽曲内の演奏位置を順次に推定する推定部、および、
前記解析処理で推定された演奏位置を、時間軸上の第１時点において、前記第１時点から前方に離間した選択期間について前記解析処理で推定された演奏位置の時系列に応じた演奏位置に変更する制御部
としてコンピュータを機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、楽曲の演奏を解析する技術に関する。

【背景技術】

【0002】

楽曲のうち演奏者が演奏している位置を解析する技術が従来から提案されている。例えば特許文献１および特許文献２には、演奏者が実際に演奏した楽曲の演奏音から演奏位置を推定し、演奏位置の進行に同期するように伴奏パートの演奏音の再生を制御する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６−０９９５１２号公報

【特許文献2】国際公開第２０１８／０１６６３９号

【発明の概要】

【発明が解決しようとする課題】

【0004】

前述の技術のもとで推定される演奏位置には誤差が発生し得る。演奏位置に誤差が発生した場合、例えば利用者からの指示に応じて演奏位置を補正することが想定される。しかし、誤差が発生した時点で推定されている演奏位置を起点として以後の演奏位置を補正する構成では、演奏位置を迅速かつ簡便に適切な位置に補正することが難しい場合がある。以上の事情を考慮して、本発明の好適な態様は、演奏位置を迅速かつ簡便に適切な位置に補正することを目的とする。

【課題を解決するための手段】

【0005】

以上の課題を解決するために、本発明の好適な態様に係る演奏解析方法は、楽曲の演奏音を表す音響信号に対する解析処理で前記楽曲内の演奏位置を順次に推定し、前記解析処理で推定された演奏位置を、時間軸上の第１時点において、前記第１時点から前方に離間した選択期間について前記解析処理で推定された演奏位置の時系列に応じた演奏位置に変更する。

【0006】

本発明の好適な態様に係る演奏解析装置は、楽曲の演奏音を表す音響信号に対する解析処理で前記楽曲内の演奏位置を順次に推定する推定部と、前記解析処理で推定された演奏位置を、時間軸上の第１時点において、前記第１時点から前方に離間した選択期間について前記解析処理で推定された演奏位置の時系列に応じた演奏位置に変更する制御部とを具備する。

【図面の簡単な説明】

【0007】

【図1】本発明の第１実施形態に係る演奏システムの構成を例示するブロック図である。

【図2】情報処理装置の構成を例示するブロック図である。

【図3】情報処理装置の機能的な構成を例示するブロック図である。

【図4】演奏位置の時間的な変化を例示するグラフである。

【図5】情報処理装置の動作の手順を例示するフローチャートである。

【発明を実施するための形態】

【0008】

＜第１実施形態＞
図１は、本発明の第１実施形態に係る演奏システム１００の構成を例示するブロック図である。演奏システム１００は、演奏者Ｈ1が所在する音響ホール等の音響空間に設置されたコンピュータシステムである。演奏者Ｈ1は、例えば楽器を利用して楽曲を演奏する演奏者、または楽曲を歌唱する歌唱者である。以下の説明における「演奏」には、楽器の演奏のほかに歌唱も包含される。演奏システム１００は、演奏者Ｈ1による楽曲の演奏に並行して当該楽曲の自動演奏を実行する。図１に例示される通り、第１実施形態の演奏システム１００は、情報処理装置１１と演奏装置１２とを具備する。

【0009】

演奏装置１２は、情報処理装置１１による制御のもとで楽曲の自動演奏を実行する。具体的には、演奏装置１２は、駆動機構１２１と発音機構１２２とを具備する自動演奏楽器（例えば自動演奏ピアノ）である。発音機構１２２は、自然楽器の鍵盤楽器と同様に、鍵盤の各鍵の変位に連動して弦（発音体）を発音させる打弦機構を鍵毎に具備する。駆動機構１２１は、発音機構１２２を駆動することで対象楽曲の自動演奏を実行する。情報処理装置１１からの指示に応じて駆動機構１２１が発音機構１２２を駆動することで自動演奏が実現される。なお、情報処理装置１１を演奏装置１２に搭載してもよい。

【0010】

図２は、情報処理装置１１の構成を例示するブロック図である。情報処理装置１１は、例えばスマートフォンまたはタブレット端末等の可搬型の情報端末、またはパーソナルコンピュータ等の可搬型または据置型の情報端末である。図２に例示される通り、情報処理装置１１は、制御装置２１と記憶装置２２と収音装置２３と入力装置２４とを具備する。

【0011】

収音装置２３は、演奏者Ｈ1による演奏で発音された演奏音Ｍ1（例えば楽器音または歌唱音等の音響）を収音するマイクロホンである。収音装置２３は、演奏音Ｍ1の波形を表す音響信号Ｚを生成する。音響信号Ｚをアナログからデジタルに変換するＡ/Ｄ変換器の図示は便宜的に省略した。なお、情報処理装置１１が収音装置２３を具備する構成を図２では例示したが、情報処理装置１１とは別体の収音装置２３を情報処理装置１１に有線または無線で接続してもよい。また、電気弦楽器等の電気楽器から出力される音響信号Ｚを情報処理装置１１に供給してもよい。すなわち、収音装置２３は省略されてもよい。

【0012】

入力装置２４は、情報処理装置１１を使用する利用者Ｈ2からの指示を受付ける入力機器である。例えば、利用者Ｈ2が操作する複数の操作子、または利用者Ｈ2による接触を検知するタッチパネルが、入力装置２４として好適に利用される。利用者Ｈ2は、例えば演奏システム１００の管理者、または演奏者Ｈ1が出演する演奏会の運営者である。利用者Ｈ2は、図１に例示される通り、演奏者Ｈ1による演奏で発音された演奏音Ｍ1と、演奏装置１２による自動演奏で発音された演奏音Ｍ2とを聴取する。

【0013】

図２の制御装置２１は、例えばＣＰＵ（Central Processing Unit）等の処理回路であり、情報処理装置１１の各要素を統括的に制御する。記憶装置２２は、制御装置２１が実行するプログラムと制御装置２１が使用する各種のデータとを記憶するメモリである。例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せで記憶装置２２が構成される。なお、情報処理装置１１とは別体の記憶装置２２を用意し、制御装置２１が通信網を介して記憶装置２２に対する書込および読出を実行してもよい。すなわち、記憶装置２２を情報処理装置１１から省略してもよい。

【0014】

第１実施形態の記憶装置２２は楽曲データを記憶する。楽曲データは、楽曲を構成する音符の時系列を指定する。具体的には、楽曲データは、楽曲を構成する複数の音符の各々について音高と音量と発音期間とを指定する。例えば、ＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠した形式のファイル（ＳＭＦ：Standard MIDI File）が楽曲データとして好適である。

【0015】

図３は、情報処理装置１１の機能的な構成を例示するブロック図である。図３に例示される通り、制御装置２１は、記憶装置２２に記憶されたプログラムを実行することで、演奏者Ｈ1による演奏に応じて演奏装置１２の自動演奏を制御するための複数の機能（演奏解析部３１および演奏制御部３２）を実現する。なお、複数の処理回路の集合で制御装置２１の機能を実現してもよいし、制御装置２１の機能の一部または全部を専用の電子回路で実現してもよい。また、演奏装置１２が設置された音響空間から離間した位置にあるサーバ装置が、制御装置２１の一部または全部の機能を実現してもよい。

【0016】

演奏解析部３１は、収音装置２３から供給される音響信号Ｚを解析することで楽曲内の演奏位置Ｐを特定する。演奏位置Ｐは、楽曲のうち演奏者Ｈ1が現に演奏している時点である。演奏位置Ｐの特定は、演奏者Ｈ1による楽曲の演奏に並行して反復的に実行される。演奏解析部３１が特定する演奏位置Ｐは、時間の経過とともに楽曲内の後方に移動する。以上の説明から理解される通り、第１実施形態の情報処理装置１１は、音響信号Ｚの解析により演奏位置Ｐを特定する演奏解析装置として機能する。

【0017】

演奏制御部３２は、演奏者Ｈ1による楽曲の演奏に並行して演奏装置１２による自動演奏を制御する。演奏制御部３２は、演奏解析部３１が特定した演奏位置Ｐに応じて自動演奏を制御する。具体的には、演奏制御部３２は、演奏装置１２による自動演奏が演奏者Ｈ1の演奏に追従するように演奏位置Ｐに応じて自動演奏の進行を制御する。すなわち、演奏制御部３２は、楽曲データが演奏位置Ｐについて指定する演奏を演奏装置１２に対して指示する。例えば楽曲データで指定された音符の発音または消音の指示（例えばＭＩＤＩイベントデータ）が演奏制御部３２から演奏装置１２に出力される。

【0018】

図３に例示される通り、第１実施形態の演奏解析部３１は、推定部４１と演算部４２と制御部４３とを具備する。推定部４１は、収音装置２３が生成した音響信号Ｚを解析する所定の処理（以下「解析処理」という）で演奏位置Ｐxを順次に推定する。すなわち、時間軸上の相異なる時点について解析処理により演奏位置Ｐxが推定される。演奏位置Ｐxの推定（すなわち解析処理）には、例えば特許文献１または特許文献２等に開示された公知の音響解析技術（スコアアライメント）が任意に採用される。図３に例示される通り、推定部４１が順次に推定する演奏位置Ｐxの時系列は記憶装置２２に記憶される。すなわち、推定部４１による推定結果の履歴が記憶装置２２に保持される。

【0019】

制御部４３は、演奏位置Ｐを特定する。制御部４３が特定した演奏位置Ｐが演奏制御部３２に指示される。第１実施形態の制御部４３は、基本的には、推定部４１が推定した演奏位置Ｐxを演奏位置Ｐとして特定する。ただし、推定部４１が解析処理により推定する演奏位置Ｐxには誤差が発生する可能性がある。第１実施形態の制御部４３は、演奏位置Ｐxに誤差が発生した場合に、解析処理で推定された演奏位置Ｐxを、誤差が低減された演奏位置Ｐyに変更する。すなわち、演奏制御部３２に指示される演奏位置Ｐが、演奏位置Ｐxから演奏位置Ｐyに補正される。図３の演算部４２は、演奏位置Ｐの補正に利用される演奏位置Ｐyを特定する。

【0020】

図４は、演奏位置Ｐの時間的な変化を例示するグラフである。図４の誤差期間Ｅは、演奏位置Ｐxの誤差が経時的に増大する期間である。演奏位置Ｐxに誤差が発生した場合、利用者Ｈ2は、演奏者Ｈ1による楽器の演奏音Ｍ1と演奏装置１２による自動演奏の演奏音Ｍ2との間の時間的なズレを知覚することで、演奏位置Ｐxに誤差が発生したと判断することが可能である。演奏位置Ｐxに誤差が発生したと判断すると、利用者Ｈ2は、入力装置２４に対する操作で所定の指示（以下「第１指示」という）を付与する。図４の時点ｔ1（第１時点の例示）は、入力装置２４に対する第１指示に応じた時点である。例えば利用者Ｈ2が第１指示を付与した時点が時点ｔ1として設定される。以上の説明から理解される通り、時点ｔ1は、解析処理で推定された演奏位置Ｐxに誤差が発生している時点である。制御部４３は、利用者Ｈ2からの第１指示を契機として、時点ｔ1において、演奏位置Ｐを演奏位置Ｐxから演奏位置Ｐyに変更する。

【0021】

演算部４２は、時点ｔ1の前方に位置する選択期間Ｑについて推定部４１が過去の解析処理で推定した演奏位置Ｐxの時系列から演奏位置Ｐyを特定（具体的には外挿）する。選択期間Ｑは、始点ｑ1から終点ｑ2までの期間である。選択期間Ｑの始点ｑ1は終点ｑ2の前方の時点である。他方、選択期間Ｑの終点ｑ2は、第１指示に応じた時点ｔ1から所定の時間長δだけ時間軸上の前方に離間した時点である。時間長δは、演奏位置Ｐxに誤差が発生し始めてから利用者Ｈ2が第１指示を付与するまでに想定される時間長を上回る時間長に設定される。例えば選択期間Ｑの始点ｑ1は時点ｔ1の５秒前に設定され、終点ｑ2は時点ｔ1の２秒前に設定される。したがって、選択期間Ｑ内では、解析処理で推定された演奏位置Ｐxに誤差が発生していない可能性が高い。すなわち、選択期間Ｑは、誤差期間Ｅの始点よりも前方の期間である。第１実施形態の演算部４２は、以上に説明した選択期間Ｑ内の演奏位置Ｐxの時系列（すなわち誤差が発生していない演奏位置Ｐxの時系列）から、当該選択期間Ｑよりも後方の時点ｔ1での演奏位置Ｐyを特定する。

【0022】

演算部４２が選択期間Ｑ内の演奏位置Ｐxの時系列から時点ｔ1の演奏位置Ｐyを特定する処理（すなわち外挿）には、公知の時系列解析が任意に採用される。具体的には、線形予測、多項式予測またはカルマンフィルタ等の予測技術が演奏位置Ｐyの特定に好適に利用される。前述の通り、制御部４３は、演奏制御部３２に指示する演奏位置Ｐを、時点ｔ1において演奏位置Ｐxから演奏位置Ｐyに変更する。

【0023】

以上に例示した手順で演奏位置Ｐが補正されると、演奏者Ｈ1による楽器の演奏音Ｍ1と自動演奏の演奏音Ｍ2との間の時間的なズレが誤差期間Ｅと比較して低減される。演奏位置Ｐの誤差が解消したと判断すると、利用者Ｈ2は、入力装置２４に対する操作で所定の指示（以下「第２指示」という）を付与する。図４において時点ｔ1の後方に位置する時点ｔ2（第２時点の例示）は、入力装置２４に対する第２指示に応じた時点である。例えば利用者Ｈ2が第２指示を付与した時点が時点ｔ2として設定される。

【0024】

時点ｔ1と時点ｔ2との間の期間（以下「調整期間」という）Ａにおいて、利用者Ｈ2は、入力装置２４に対する操作で演奏位置Ｐを調整することが可能である。制御部４３は、調整期間Ａ内における演奏位置Ｐの推移を入力装置２４に対する利用者Ｈ2からの指示に応じて制御する。例えば、制御部４３は、利用者Ｈ2からの指示に応じた速度で演奏位置Ｐを進行させる。また、制御部４３は、利用者Ｈ2からの指示に応じて演奏位置Ｐの進行を停止させる。図４では、調整期間Ａ内において利用者Ｈ2が演奏位置Ｐを進行させた場合が例示されている。調整期間Ａにおける演奏位置Ｐは、当該調整期間Ａの始点（時点ｔ1）における変更後の演奏位置Ｐyを起点として設定される。推定部４１による推定の結果（演奏位置Ｐx）は、調整期間Ａ内では演奏位置Ｐに反映されない。以上の説明から理解される通り、調整期間Ａでは、演算部４２が特定した演奏位置Ｐyを初期値として、利用者Ｈ2からの指示に応じて演奏位置Ｐが調整される。

【0025】

推定部４１は、調整期間Ａ内において解析処理による演奏位置Ｐxの推定を停止する。すなわち、利用者Ｈ2による第１指示を契機として解析処理が停止される。他方、調整期間Ａが終了する時点ｔ2において、推定部４１は、解析処理による演奏位置Ｐxの推定を再開する。具体的には、推定部４１は、時点ｔ2について特定された演奏位置Ｐを起点（すなわち初期値）として時点ｔ2以降の演奏位置Ｐxの推定を再開する。制御部４３は、時点ｔ2以降（すなわち調整期間Ａの経過後）においては、推定部４１が解析処理により順次に推定する演奏位置Ｐxを、演奏位置Ｐとして演奏制御部３２に指示する。解析処理により推定された演奏位置Ｐxの時系列は、時点ｔ1以前と同様に記憶装置２２に記憶される。なお、調整期間Ａ以外の期間でも利用者Ｈ2による演奏位置Ｐの調整は許容される。ただし、調整期間Ａ以外では利用者Ｈ2による演奏位置Ｐの調整を禁止してもよい。

【0026】

図５は、制御装置２１が実行する処理の具体的な手順を例示するフローチャートである。例えば入力装置２４に対する所定の操作を契機として図５の処理が開始される。図５の処理を開始すると、推定部４１は、音響信号Ｚに対する解析処理により演奏位置Ｐxを推定する（Ｓ1）。推定部４１が推定した演奏位置Ｐxは、演奏位置Ｐとして演奏制御部３２に指示されるとともに（Ｓ2）、記憶装置２２に記憶される（Ｓ3）。制御部４３は、利用者Ｈ2から第１指示が付与されたか否かを判定する（Ｓ4）。解析処理による演奏位置Ｐxの推定（Ｓ1）と指示（Ｓ2）と記憶（Ｓ3）とは、第１指示が付与されるまで反復される（Ｓ4：NO）。

【0027】

利用者Ｈ2から第１指示が付与されると（Ｓ4：YES）、推定部４１による解析処理が停止される（Ｓ5）。演算部４２は、第１指示の時点ｔ1の前方を終点ｑ2とする選択期間Ｑ内の演奏位置Ｐxの時系列から演奏位置Ｐyを算定する（Ｓ6）。制御部４３は、演奏制御部３２に指示する演奏位置Ｐを、推定部４１が推定した最新の演奏位置Ｐxから、演算部４２が算定した演奏位置Ｐyに変更する（Ｓ7）。

【0028】

以上の手順により演奏制御部３２に対する演奏位置Ｐyの指示が開始されると、制御部４３は、演奏位置Ｐを調整する指示が利用者Ｈ2から付与されたか否かを判定する（Ｓ8）。制御部４３は、利用者Ｈ2からの指示に応じて演奏位置Ｐを調整する（Ｓ9）。利用者Ｈ2から調整の指示が付与されない場合（Ｓ8：NO）、演奏位置Ｐの調整は実行されない。

【0029】

制御部４３は、利用者Ｈ2から第２指示が付与されたか否かを判定する（Ｓ10）。利用者Ｈ2からの指示に応じた演奏位置Ｐの調整（Ｓ8，Ｓ9）は、第２指示が付与されるまで反復される（Ｓ10：NO）。利用者Ｈ2から第２指示が付与されると（Ｓ10：YES）、推定部４１による解析処理が再開される（Ｓ1）。

【0030】

以上に説明した通り、第１実施形態では、時間軸上の時点ｔ1において、解析処理で推定された演奏位置Ｐxが、当該時点ｔ1から前方に離間した選択期間Ｑについて推定された演奏位置Ｐxの時系列に応じた演奏位置Ｐyに変更される。したがって、解析処理で推定される演奏位置Ｐxについて時点ｔ1の直前（例えば選択期間Ｑの経過後）に誤差が発生した場合に、時点ｔ1以降の演奏位置Ｐを迅速かつ簡便に適切な位置に補正することができる。

【0031】

例えば、利用者Ｈ2が第１指示を付与する時点ｔ1では演奏位置Ｐxに既に誤差が発生しているから、当該時点ｔ1での演奏位置Ｐxを起点として以降の演奏位置Ｐを利用者Ｈ2が適切な位置に調整することが難しい場合がある。第１実施形態では、解析処理で推定された演奏位置Ｐが、誤差の発生前における演奏位置Ｐxの時系列に応じた演奏位置Ｐyに補正される。演奏位置Ｐyは、誤差が発生していないと仮定した場合の適切な演奏位置Ｐに近似する可能性が高い。すなわち、演奏位置Ｐの誤差の解消のために必要な演奏位置Ｐの調整量が削減される。したがって、利用者Ｈ2が演奏位置Ｐを調整する作業が簡素化されるという利点がある。

【0032】

また、第１実施形態では、入力装置２４に対する第１指示を契機として演奏位置Ｐが補正されるから、利用者Ｈ2が演奏位置Ｐの誤差を認識した直後に演奏位置Ｐを適切な位置に補正することが可能である。すなわち、利用者Ｈ2は所望の時点で演奏位置Ｐの制御に関与できる。また、時点ｔ1の後方における演奏位置Ｐの推移が入力装置２４に対する指示に応じて制御されるから、楽曲のうち演奏位置Ｐxの正確な推定が困難である期間について、利用者Ｈ2からの指示に応じて演奏位置Ｐを適切に推移させることができる。

【0033】

第１実施形態では、時点ｔ1と時点ｔ2との間の調整期間Ａ内において解析処理が停止されるから、調整期間Ａ内でも解析処理が継続される構成と比較して、調整期間Ａ内における推定部４１の処理負荷が軽減される。また、時点ｔ2における演奏位置Ｐを起点として解析処理による演奏位置Ｐxの推定が再開されるから、時点ｔ2以降についても演奏位置Ｐを適切に推移させることが可能である。

【0034】

＜第２実施形態＞
本発明の第２実施形態を説明する。なお、以下の各例示において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。

【0035】

第２実施形態では、演算部４２が演奏位置Ｐyを特定する処理（Ｓ6）の内容が第１実施形態とは相違する。具体的には、第２実施形態の演算部４２は、複数の暫定的な演奏位置（以下「暫定位置」という）から演奏位置Ｐyを算定する。複数の暫定位置の各々は、選択期間Ｑ内の演奏位置Ｐxの時系列から算定される。ただし、暫定位置を特定する条件が複数の暫定位置の各々について相違する。暫定位置の特定の条件としては、例えば以下の事項が例示される。
［１］暫定位置を特定する方法（線形予測／多項式予測／カルマンフィルタ）。
［２］選択期間Ｑの時間軸上の位置（始点ｑ1または終点ｑ2の時刻）および時間長。
［３］暫定位置の特定に利用される演奏位置Ｐxの個数。
以上に例示した条件を相違させた複数の場合の各々について演算部４２は暫定位置を特定する。したがって、複数の暫定位置の各々は相異なる位置となる。

【0036】

演算部４２は、複数の暫定位置から演奏位置Ｐyを特定する。例えば演算部４２は、複数の暫定位置の代表値（例えば平均値または中央値）を演奏位置Ｐyとして特定する。なお、複数の暫定位置から演奏位置Ｐyを特定する方法は任意である。例えば、複数の暫定位置のうち利用者Ｈ2が指定した位置に最も近い１個の暫定位置を演奏位置Ｐyとして特定してもよい。

【0037】

第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、相異なる条件で特定された複数の暫定位置から演奏位置Ｐyが特定されるから、時点ｔ1における演奏位置Ｐyを適切な位置に設定し易いという利点がある。例えば特定の条件のもとでは演奏位置Ｐxに誤差が発生する可能性が高い場合でも、相異なる条件に対応する複数の暫定位置を加味することで、誤差を低減した正確な演奏位置Ｐyを特定できる。

【0038】

＜変形例＞
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。

【0039】

（１）演奏位置Ｐxを特定する解析処理では、当該演奏位置Ｐxの信頼性の指標（以下「信頼度」という）を算定することが可能である。例えば、時間軸上の各時点が演奏位置に該当する確率（尤度）から演奏位置Ｐxを特定する解析処理を想定すると、演奏位置Ｐxにおける確率が信頼度として好適に利用される。時間軸上の各時点が演奏位置に該当する確率は、音響信号Ｚが観測された条件のもとで当該時点が演奏位置Ｐxである事後確率である。演奏位置Ｐxの誤差が小さいほど、当該演奏位置Ｐxの信頼度は大きい数値となる。以上に説明した各演奏位置Ｐxの信頼度を演奏位置Ｐyの特定に利用してもよい。

【0040】

例えば、演奏位置Ｐxの信頼度が所定の閾値を上回る一連の期間を選択期間Ｑとして演算部４２が演奏位置Ｐyを特定してもよい。すなわち、信頼度が閾値を上回る複数の演奏位置Ｐxから演奏位置Ｐyが特定される。また、所定の選択期間Ｑ内の複数の演奏位置Ｐxのうち信頼度が閾値を上回る２個以上の演奏位置Ｐxから演奏位置Ｐyを特定してもよい。

【0041】

（２）前述の各形態では、利用者Ｈ2による第１指示の時点を時点ｔ1として例示したが、時点ｔ1の設定方法は以上の例示に限定されない。例えば、演奏位置Ｐxの信頼度が所定の閾値を下回る数値まで低下した時点を時点ｔ1として設定してもよい。すなわち、演奏位置Ｐxの信頼度が閾値を下回ることを契機として演奏位置Ｐxが演奏位置Ｐyに変更される。以上の説明から理解される通り、利用者Ｈ2からの第１指示の受付を省略してもよい。

【0042】

（３）前述の各形態では、調整期間Ａ内において解析処理を停止したが、解析処理を停止させる動作を省略してもよい。例えば、時点ｔ1の直後から、推定部４１が、当該時点ｔ1での変更後の演奏位置Ｐを起点とした解析処理により演奏位置Ｐxを推定してもよい。すなわち、利用者Ｈ2による演奏位置Ｐの調整（調整期間Ａ）を省略してもよい。

【0043】

（４）前述の各形態では、推定部４１が解析処理により演奏位置Ｐxを推定したが、演奏位置Ｐxとともに演奏速度（テンポ）Ｔxを推定部４１が推定してもよい。同様に、演算部４２は、選択期間Ｑ内の演奏位置Ｐxの時系列から演奏位置Ｐyを算定する処理に加えて、選択期間Ｑ内の演奏速度Ｔxの時系列から時点ｔ1での演奏速度Ｔyを算定してもよい。制御部４３は、時点ｔ1の直後に演奏位置Ｐを演奏速度Ｔyで変化させる。

【0044】

（５）前述の形態に係る情報処理装置１１の機能は、コンピュータ（例えば制御装置２１）とプログラムとの協働により実現される。本発明の好適な態様に係るプログラムは、楽曲の演奏音Ｍ1を表す音響信号Ｚから楽曲内の演奏位置Ｐxを順次に推定する解析処理（Ｓ1）と、解析処理で推定された演奏位置Ｐxを、時間軸上の時点ｔ1において、選択期間Ｑについて解析処理で推定された演奏位置Ｐxの時系列に応じた演奏位置Ｐyに変更する制御処理（Ｓ7）とをコンピュータに実行させる。以上の形態に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされる。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を含む。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供してもよい。

【0045】

＜付記＞
以上に例示した形態から、例えば以下の構成が把握される。

【0046】

本発明の好適な態様（第１態様）に係る演奏解析方法は、楽曲の演奏音を表す音響信号に対する解析処理で前記楽曲内の演奏位置を順次に推定し、前記解析処理で推定された演奏位置を、時間軸上の第１時点において、前記第１時点から前方に離間した選択期間について前記解析処理で推定された演奏位置の時系列に応じた演奏位置に変更する。以上の態様では、時間軸上の第１時点において、解析処理で推定された演奏位置が、当該第１時点から前方に離間した選択期間について推定された演奏位置の時系列に応じた演奏位置に変更される。したがって、解析処理で推定される演奏位置について第１時点の直前（例えば選択期間の経過後）に誤差が発生した場合に、第１時点以降の演奏位置を迅速かつ簡便に適切な位置に補正することができる。

【0047】

第１態様の好適例（第２態様）において、前記第１時点は、利用者からの指示に応じた時点である。以上の態様では、利用者からの指示に応じた時点が第１時点とされるから、例えば利用者が演奏位置の誤差を認識した直後に演奏位置を適切な位置に補正することが可能である。

【0048】

第１態様または第２態様の好適例（第３態様）において、前記第１時点の後方における演奏位置の推移を利用者からの指示に応じて制御する。以上の態様では、第１時点の後方における演奏位置の推移が利用者からの指示に応じて制御されるから、楽曲内で演奏位置の正確な推定が困難である期間について、利用者からの指示に応じて演奏位置を適切に推移させることが可能である。

【0049】

第３態様の好適例（第４態様）において、前記第１時点と当該第１時点の後方の第２時点との間の調整期間では、前記解析処理による前記演奏位置の推定を停止し、前記第２時点において、当該第２時点における演奏位置を起点として前記解析処理による前記演奏位置の推定を再開する。以上の態様では、第１時点と第２時点との間の調整期間内において解析処理による演奏位置の推定が停止されるから、調整期間内における推定部の処理負荷が軽減される。また、第２時点における演奏位置を起点として解析処理による演奏位置の推定が再開されるから、第２時点以降についても演奏位置を適切に推移させることが可能である。

【0050】

第１態様から第４態様の何れかの好適例（第５態様）において、前記変更後の演奏位置は、相異なる条件で特定された複数の暫定位置から特定される。以上の態様では、相異なる条件で特定された複数の暫定位置から変更後の演奏位置が特定されるから、第１時点における演奏位置を適切な位置に設定し易いという利点がある。

【0051】

以上に例示した各態様の演奏解析方法を実行する演奏解析装置、または、以上に例示した各態様の演奏解析方法をコンピュータに実行させるプログラムとしても、本発明の好適な態様は実現される。

【符号の説明】

【0052】

１００…演奏システム、１１…情報処理装置、１２…演奏装置、１２１…駆動機構、１２２…発音機構、２１…制御装置、２２…記憶装置、２３…収音装置、２４…入力装置、３１…演奏解析部、３２…演奏制御部、４１…推定部、４２…演算部、４３…制御部。

【図1】

【図2】

【図3】

【図4】

【図5】