特許 6809112 演奏システム、自動演奏方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6809112

(24)【登録日】2020年12月14日

(45)【発行日】2021年1月6日

(54)【発明の名称】演奏システム、自動演奏方法およびプログラム

(51)【国際特許分類】

   G10H 1/00 20060101AFI20201221BHJP

   G10G 1/00 20060101ALI20201221BHJP

【ＦＩ】

   G10H1/00 Z

   G10G1/00

【請求項の数】8

【全頁数】12

(21)【出願番号】特願2016-200584(P2016-200584)

(22)【出願日】2016年10月12日

(65)【公開番号】特開2018-63315(P2018-63315A)

(43)【公開日】2018年4月19日

【審査請求日】2019年8月23日

【新規性喪失の例外の表示】特許法第３０条第２項適用 平成２８年４月１５日 ヤマハ株式会社 ニュースリリース 「音舞の調べ〜超越する時間と空間〜」への技術協力について （ＵＲＬ：ｈｔｔｐ：／／ｊｐ．ｙａｍａｈａ．ｃｏｍ／ｎｅｗｓ＿ｒｅｌｅａｓｅ／２０１６／ｐｄｆ／１６０４１５０１０１．ｐｄｆ） 平成２８年４月１８日 ヤマハ株式会社 Ｙ２ ＰＲＯＪＥＣＴ ウェブサイト 「人工知能演奏システム」による機械と人間との演奏コラボレーション （ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｙ２ｌａｂ．ｃｏｍ／ｐｒｏｊｅｃｔ／ｓｃｏｒｅ＿ａｌｉｇｎｍｅｎｔ／ｒｉｃｈｔｅｒ＿ｂｅｒｌｉｎｓｃｈａｒｏｕｎ＿ｅｎｓｅｍｂｌｅ．ｈｔｍｌ） 平成２８年５月１９日 「音舞の調べ〜超越する時間と空間〜」開催案内ポスター

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】100125689

【弁理士】

【氏名又は名称】大林 章

(74)【代理人】

【識別番号】100128598

【弁理士】

【氏名又は名称】高田 聖一

(74)【代理人】

【識別番号】100121108

【弁理士】

【氏名又は名称】高橋 太朗

(72)【発明者】

【氏名】山本 和彦

【審査官】 大野 弘

(56)【参考文献】

【文献】 特開２０００−０１０５６０（ＪＰ，Ａ）

【文献】 特開平０７−０６４５４８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｈ １／００

Ｇ１０Ｇ １／００

(57)【特許請求の範囲】

【請求項1】

楽曲の自動演奏を演奏装置に実行させる演奏制御部と、
前記自動演奏の進行を前記楽曲の実演奏の演奏者に視覚的に報知する動作を報知装置に実行させる報知制御部とを具備し、
前記動作は、前記楽曲の自動演奏の開始前から開始されて当該楽曲の開始点を報知する指示動作を含む
演奏システム。

【請求項2】

楽曲の自動演奏を演奏装置に実行させる演奏制御部と、
前記自動演奏の進行を前記楽曲の実演奏の演奏者に視覚的に報知する動作を報知装置に実行させる報知制御部とを具備し、
前記動作は、前記楽曲の自動演奏における休符後の再開前から開始されて当該楽曲の再開点を報知する指示動作を含む
演奏システム。

【請求項3】

前記報知装置は、複数の関節部と複数の可動要素とで構成されたロボットであり、
前記報知制御部は、前記自動演奏に並行して前記複数の関節部の各々を作動させる
請求項１または請求項２の演奏システム。

【請求項4】

コンピュータが、
楽曲の自動演奏を演奏装置に実行させ、
前記自動演奏の進行を前記楽曲の実演奏の演奏者に視覚的に報知する動作を報知装置に実行させる自動演奏方法であって、
前記動作は、前記楽曲の自動演奏の開始前から開始されて当該楽曲の開始点を報知する指示動作を含む
自動演奏方法。

【請求項5】

コンピュータが、
楽曲の自動演奏を演奏装置に実行させ、
前記自動演奏の進行を前記楽曲の実演奏の演奏者に視覚的に報知する動作を報知装置に実行させる自動演奏方法であって、
前記動作は、前記楽曲の自動演奏における休符後の再開前から開始されて当該楽曲の再開点を報知する指示動作を含む
自動演奏方法。

【請求項6】

前記報知装置は、複数の関節部と複数の可動要素とで構成されたロボットであり、
前記報知装置に前記動作を実行させる処理においては、前記自動演奏に並行して前記複数の関節部の各々を作動させる
請求項４または請求項５の自動演奏方法。

【請求項7】

楽曲の自動演奏を演奏装置に実行させる演奏制御部、および、
前記自動演奏の進行を前記楽曲の実演奏の演奏者に視覚的に報知する動作を報知装置に実行させる報知制御部、としてコンピュータを機能させるプログラムであって、
前記動作は、前記楽曲の自動演奏の開始前から開始されて当該楽曲の開始点を報知する指示動作を含む
プログラム。

【請求項8】

楽曲の自動演奏を演奏装置に実行させる演奏制御部、および、
前記自動演奏の進行を前記楽曲の実演奏の演奏者に視覚的に報知する動作を報知装置に実行させる報知制御部、としてコンピュータを機能させるプログラムであって、
前記動作は、前記楽曲の自動演奏における休符後の再開前から開始されて当該楽曲の再開点を報知する指示動作を含む
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自動演奏の技術に関する。

【背景技術】

【0002】

楽曲の演奏内容を表わす楽曲データを利用して鍵盤楽器等の楽器を発音させる各種の自動演奏技術が従来から提案されている。例えば特許文献１には、オーディオデータ再生装置によるオーディオデータの再生に同期して、楽曲データを利用した自動演奏をする構成が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００３−２７１１３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、自動演奏に並行して実際の演奏者が楽器を演奏（以下「実演奏」という）する場合、実演奏の演奏者は、自動演奏に同期するように実演奏をする必要がある。しかし、実演奏の演奏者は、自動演奏の演奏音を聴くことで自動演奏の進行を把握しなければならず、自動演奏の進行を適切に把握できないという問題がある。以上の事情を考慮して、本発明は、演奏装置による自動演奏の進行を実演奏の演奏者がより適切に把握することを目的とする。

【課題を解決するための手段】

【0005】

以上の課題を解決するために、本発明の好適な態様に係る演奏システムは、楽曲の自動演奏を演奏装置に実行させる演奏制御部と、前記自動演奏の進行を前記楽曲の実演奏の演奏者に視覚的に報知する動作を報知装置に実行させる報知制御部とを具備する。本発明の好適な態様に係る自動演奏方法は、コンピュータが、楽曲の自動演奏を演奏装置に実行させ、前記自動演奏の進行を前記楽曲の実演奏の演奏者に視覚的に報知する動作を報知装置に実行させる。

【図面の簡単な説明】

【0006】

【図1】本発明の実施形態に係る演奏システムの構成図である。

【図2】演奏データおよび動作データの説明図である。

【図3】報知画像の説明図である。

【図4】制御装置の動作のフローチャートである。

【発明を実施するための形態】

【0007】

図１は、本発明の好適な形態に係る演奏システム１００の構成図である。演奏システム１００は、複数の演奏者Ｐが楽器を演奏する音響ホール等の空間に設置される。具体的には、演奏システム１００は、複数の演奏者Ｐによる楽曲（以下「対象楽曲」という）の演奏に並行して対象楽曲の自動演奏を実行するとともに、自動演奏の進行を演奏者Ｐに視覚的に報知するコンピュータシステムである。

【0008】

本実施形態における演奏システム１００は、自動演奏の進行を視覚的に表現した画像（以下「報知画像」という）Ｇを、演奏者Ｐから見える場所（例えば演奏者Ｐがいるステージ上の床）に表示することで、自動演奏の進行を演奏者Ｐに報知する。なお、演奏者Ｐは、典型的には楽器の演奏者Ｐであるが、対象楽曲の歌唱者も演奏者Ｐであり得る。すなわち、本出願における「演奏」には、楽器の演奏だけでなく歌唱も包含される。また、実際には楽器の演奏を担当しない者（例えば、コンサート時の指揮者やレコーディング時の音響監督など）も、演奏者Ｐに含まれ得る。

【0009】

図１に例示される通り、演奏システム１００は、記憶装置２２と演奏装置２４と収音装置２６と制御装置２８と報知装置２９とを具備する。記憶装置２２と制御装置２８とは、例えばパーソナルコンピュータ等の情報処理装置で実現される。

【0010】

記憶装置２２は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体、あるいは複数種の記録媒体の組合せで構成され、制御装置２８が実行するプログラムと制御装置２８が使用する各種のデータとを記憶する。なお、演奏システム１００とは別体の記憶装置２２（例えばクラウドストレージ）を用意し、移動体通信網またはインターネット等の通信網を介して制御装置２８が記憶装置２２に対する書込および読出を実行することも可能である。すなわち、記憶装置２２は演奏システム１００から省略され得る。

【0011】

本実施形態の記憶装置２２は、楽曲ファイルＭを記憶する。楽曲ファイルＭは、図１に例示される通り、演奏データと動作データとを含む。例えばＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠した形式のファイル（ＳＭＦ：Standard MIDI File）が楽曲ファイルＭとして好適である。演奏データと動作データとは、同一の楽曲ファイルＭ内の相異なるチャンネルのデータである。

【0012】

図２は、演奏データおよび動作データの説明図である。演奏データは、演奏装置２４による対象楽曲の演奏内容を指定する。具体的には、演奏データは、図２に例示される通り、演奏内容を示すイベントデータＥ1と、当該イベントデータＥ1の発生時点を示す時間データＴ1とが配列された時系列データである。演奏データは、音高（ノートナンバ）と強度（ベロシティ）とを指定して発音および消音等の各種のイベントを指示する。時間データＴ1は、例えば相前後するイベントデータＥ1の間隔Δt（デルタタイム）を指定する。動作データの内容および使用については後述する。上述した通り、演奏データと動作データとが相異なるチャンネルとして１個の楽曲ファイルＭに含まれるので、演奏データと動作データとの各々が別個の楽曲ファイルに含まれる構成と比較して、演奏データと動作データとの取り扱いが容易になる。具体的には、演奏データと動作データとを共通のフォーマットで作成できるという利点がある。

【0013】

図１の演奏装置２４は、制御装置２８による制御のもとで対象楽曲の自動演奏を実行する。具体的には、対象楽曲を構成する複数の演奏パートのうち、複数の演奏者Ｐの演奏パート（例えば弦楽器）とは別個の演奏パートが、演奏装置２４により演奏される。本実施形態の演奏装置２４は、対象楽曲の自動演奏が可能な電子楽器であり、発音機構４２と駆動機構４４とを具備する鍵盤楽器（すなわち自動演奏ピアノ）である。発音機構４２は、自然楽器のピアノと同様に、鍵盤の各鍵の変位に連動して弦（すなわち発音体）を発音させる打弦機構である。具体的には、発音機構４２は、弦を打撃可能なハンマと、鍵の変位をハンマに伝達する複数の伝達部材（例えばウィペン，ジャック，レペティションレバー）とで構成されるアクション機構を鍵毎に具備する。駆動機構４４は、発音機構４２を駆動することで対象楽曲の演奏（つまり自動演奏）を実行する。具体的には、駆動機構４４は、各鍵を変位させる複数の駆動体（例えばソレノイド等のアクチュエータ）と、各駆動体を駆動する駆動回路とを含んで構成される。制御装置２８からの指示に応じて駆動機構４４が発音機構４２を駆動することで、対象楽曲の自動演奏が実現される。なお、演奏装置２４に制御装置２８または記憶装置２２を搭載することも可能である。

【0014】

収音装置２６は、複数の演奏者Ｐによる楽器の演奏で発音された音（例えば楽音または歌唱音）を収音して音響信号Ｓを生成する。音響信号Ｓは、音の波形を表す信号である。なお、電気弦楽器等の電気楽器から出力される音響信号Ｓを利用することも可能である。したがって、収音装置２６は省略され得る。報知装置２９は、制御装置２８（報知制御部６５）による制御のもとで各種の画像を表示する。例えばプロジェクタが報知装置２９の好適例である。

【0015】

制御装置２８は、例えばＣＰＵ（Central Processing Unit）等の処理回路であり、演奏システム１００の各要素を統括的に制御する。制御装置２８は、記憶装置２２に記憶されたプログラムを実行することで、演奏装置２４に自動演奏させるための複数の機能（演奏解析部６１，演奏制御部６３）と自動演奏の進行を報知するための機能（報知制御部６５）とを実現する。なお、制御装置２８の機能を複数の装置の集合（すなわちシステム）で実現した構成、または、制御装置２８の機能の一部または全部を専用の電子回路が実現した構成も採用され得る。また、演奏装置２４と収音装置２６と報知装置２９とが設置された音響ホール等の空間から離間した位置にあるサーバ装置が、制御装置２８の一部または全部の機能を実現することも可能である。

【0016】

図１の演奏解析部６１は、対象楽曲のうち複数の演奏者Ｐが現に演奏している時点（以下「演奏位置」という）Ｔを各演奏者Ｐによる演奏に並行して順次に推定する。具体的には、演奏解析部６１は、収音装置２６が生成した音響信号Ｓを解析することで演奏位置Ｔを推定する。演奏位置Ｔの推定は所定の周期で反復される。演奏位置Ｔの推定には、公知の音響解析技術（スコアアライメント）が任意に採用され得る。

【0017】

演奏制御部６３は、対象楽曲の自動演奏を演奏装置２４に実行させる。本実施形態の演奏制御部６３は、対象楽曲の実演奏の進行に同期するように実演奏に並行して演奏装置２４に自動演奏を実行させる。自動演奏の実行には、楽曲ファイルＭの演奏データが利用される。具体的には、演奏制御部６３は、自動演奏の開始を演奏装置２４に対して指示するとともに、演奏解析部６１が推定した演奏位置Ｔに対応する時点について演奏データが指定する演奏内容を演奏装置２４に指示する。すなわち、演奏制御部６３は、対象楽曲の演奏データに含まれる各イベントデータＥ1を演奏装置２４に対して順次に供給するシーケンサである。演奏装置２４は、演奏制御部６３からの指示に応じて対象楽曲の自動演奏を実行する。複数の演奏者Ｐによる演奏の進行とともに演奏位置Ｔは対象楽曲内の後方に移動するから、演奏装置２４による対象楽曲の自動演奏も演奏位置Ｔの移動とともに進行する。以上の説明から理解される通り、対象楽曲の各音の強度またはフレーズ表現等の音楽表現を演奏データで指定された内容に維持したまま、演奏のテンポと各音のタイミングとは複数の演奏者Ｐによる演奏に同期する（すなわち演奏データで指定された内容から変化する）ように、演奏制御部６３は演奏装置２４に自動演奏を指示する。

【0018】

報知制御部６５は、自動演奏の進行を演奏者Ｐに視覚的に報知する動作を報知装置２９に実行させる。本実施形態の報知制御部６５は、報知画像Ｇを報知装置２９に表示させ、自動演奏の進行とともに報知画像Ｇが変化するように報知装置２９を制御する。具体的には、報知制御部６５は、自動演奏の進行とともに変化する報知画像Ｇを表わす画像データを、演奏制御部６３による演奏装置２４の制御（あるいは演奏解析部６１が推定した演奏位置Ｔ）に応じて報知装置２９に出力する。報知装置２９は、報知制御部６５が出力した画像データが表わす報知画像Ｇを表示することで、自動演奏の進行を演奏者Ｐに報知する。

【0019】

図３は、報知画像Ｇの表示例である。報知画像Ｇは、図３に例示される通り、例えば仮想空間内において仮想的な演奏者（以下「仮想演奏者」という）Ｖが楽器を演奏している姿を模擬した画像である。本実施形態の報知画像Ｇは、動的に変化する動画像であり、複数の関節部Ａと、各関節部Ａにより連結された複数の要素（以下「可動要素」という）Ｃとを含む画像である。各可動要素Ｃは、例えば、仮想演奏者Ｖの身体の各部位（例えば頭Ｃ1、胴体Ｃ2、上腕Ｃ3、前腕Ｃ4、または手Ｃ5等）であり、関節部Ａは、仮想演奏者Ｖの身体の部位と部位とを連結する関節（例えば首関節Ａ1、肩関節Ａ2、肘関節Ａ3、または手根関節Ａ4等）である。関節部Ａが駆動されると、当該関節部Ａ自体が移動するとともに、関節部Ａにより連結された各可動要素Ｃが動く。例えば、肘関節Ａ3が駆動された場合、肘関節Ａ3自体が移動するとともに、肘関節Ａ3により連結された上腕Ｃ3および前腕Ｃ4が動く。複数の演奏者Ｐは、報知装置２９が表示する報知画像Ｇを、対象楽曲の演奏に並行して随時に視認することが可能である。なお、仮想演奏者Ｖが演奏している楽器の種類は、演奏装置２４の演奏音が表わす楽器と同じ種類が好適に採用され得る。

【0020】

本実施形態の報知制御部６５は、通常動作および指示動作を報知装置２９に実行させる。通常動作とは、対象楽曲の演奏中に継続する動作である。具体的には、通常動作は、楽器を演奏する通常の身体の動きを仮想演奏者Ｖが継続する様子が模擬されるように報知画像Ｇを変化させる動作である。例えば、報知画像Ｇが模擬する仮想演奏者Ｖが演奏している楽器がピアノの場合、通常動作は、仮想演奏者Ｖが自動演奏の演奏内容に応じてピアノの鍵盤を押鍵および離鍵するように報知画像Ｇを変化させる動作である。

【0021】

指示動作は、対象楽曲内の特定の区間内で発生する動作である。具体的には、指示動作は、対象楽曲の特定の区間における特殊な身体の動きを仮想演奏者Ｖが実行する様子が模擬されるように報知画像Ｇを変化させる動作であり、例えば、対象楽曲の開始点および長い休符からの再開点等の特定の区間における演奏タイミングを報知する。例えば、報知画像Ｇが模擬する仮想演奏者Ｖが演奏している楽器がピアノの場合、指示動作は、通常動作との差異を演奏者Ｐが視覚的に把握可能な動作であり、例えば上肢（上腕Ｃ3、前腕Ｃ4、および手Ｃ5）を高く上げるように報知画像Ｇを変化させる動作、または、上肢を高い位置から下げるように報知画像Ｇを変化させる動作である。なお、報知制御部６５は、通常動作および指示動作の双方において複数の可動要素Ｃの各々を動かすことで、体全体を使い、より自然にピアノを演奏している仮想演奏者Ｖを模擬する。以上の説明から理解される通り、報知装置２９が表示する報知画像Ｇを視認することで、各演奏者Ｐは、実際には存在しない演奏者による演奏の様子を恰も確認しているかのような感覚で自身の楽器を演奏することが可能である。

【0022】

報知制御部６５は、楽曲ファイルＭ内の演奏データに応じて通常動作を制御する。具体的には、報知制御部６５は、演奏装置２４による自動演奏の開始とともに通常動作を開始するとともに、自動演奏の継続中は演奏データに応じて関節部Ａを駆動することで報知装置２９に通常動作を実行させる。本実施形態の報知制御部６５は、図２の演奏データのイベントデータＥ1に応じて各関節部Ａを駆動することで各関節および各可動要素Ｃが動く報知画像Ｇを報知装置２９に表示させる。例えば、報知制御部６５は、イベントデータＥ1で指定される強度（ベロシティ）が高い場合、各関節部Ａに対して強い力を作用させることで、鍵盤を力強く押鍵および離鍵するように仮想演奏者Ｖが動く報知画像Ｇを報知装置２９に表示させる。他方、イベントデータＥ1で指定される強度が低い場合、各関節部Ａに対して弱い力を作用させることで、鍵盤を弱い力で押鍵および離鍵するように仮想演奏者Ｖが動く報知画像Ｇを報知装置２９に表示させる。一方で、報知制御部６５は、演奏装置２４による発音が停止している場合（つまりイベントデータＥ1で強度が指定されていない場合）は、仮想演奏者Ｖが演奏を停止した報知画像Ｇを報知装置２９に表示させる。以上の説明から理解される通り、報知制御部６５は、通常動作の制御において、演奏データのベロシティで指定される強度を、当該各関節部Ａに付与される力の大きさとして流用する。

【0023】

また、報知制御部６５は、楽曲ファイルＭに演奏データとともに含まれる動作データに応じて指示動作を制御する。ここで、動作データは、演奏データとは独立のデータであり、指示動作を指定する。指示動作は、演奏データとは別個の動作データにより指定されるから、通常動作とは独立に指示動作を指定できるという利点がある。

【0024】

具体的には、動作データは、図２に示す通り、指示内容を示すイベントデータＥ2と、当該イベントデータＥ2の発生時点を示す時間データＴ2とが配列された時系列データである。動作データは、仮想演奏者Ｖの特殊な動きの内容（以下「動作内容」という）とその動きの時間長とを指定する。例えば、動作内容はＭＩＤＩのノートナンバとして指定され、時間長はＭＩＤＩのベロシティとして指定される。時間データＴ2は、例えば相前後するイベントデータＥ2の間隔Δｔ（デルタタイム）を指定する。

【0025】

具体的には、報知制御部６５は、動作データに応じて関節部Ａを駆動することで報知装置２９に指示動作を実行させる。報知制御部６５は、図２の動作データで指定される動作内容と時間長とに応じて各関節部Ａを駆動することで、各関節部Ａおよび各可動要素Ｃが動く報知画像Ｇを報知装置２９に表示させる。報知制御部６５は、例えば、動作データにおいて、動作内容として「上げる」が指定され、時間長として「１秒間」が指定されている場合、「上げる」の動作内容について事前に設定された力を各関節部Ａに付与し、各関節部Ａを「１秒間」にわたり駆動することで、１秒間かけて上肢を高い位置に上げる報知画像Ｇを報知装置２９に表示させる。例えば対象楽曲の開始点および長い休符からの再開点において指示動作が完了するように、動作データの時間長は指定される。以上の説明から理解される通り、報知装置２９と報知制御部６５は、自動演奏の進行を演奏者Ｐに視覚的に報知する報知部７０として機能する。

【0026】

なお、指示動作は通常動作に並行して実行され得る。すなわち、演奏データに応じて各関節部Ａに付与される力に、動作データで指定される動作内容に対応した力が加算される。ここで、指示動作および通常動作を実現する構成としては、例えば指示動作による各関節部Ａの位置と通常動作による各関節部Ａの位置とを指定するデータを利用する構成（以下「対比例」という）も想定される。しかし、対比例では、通常動作の継続中に指示動作が開始した時点および指示動作が終了する時点で各関節部Ａの位置が不連続に移動する可能性がある。実施形態では、演奏データや動作データに応じた力が各関節部Ａに作用する様子が模擬されるから、通常動作の継続中に指示動作が発生した場合でも各関節部Ａおよび各可動要素Ｃの位置が連続的に変化する。したがって、仮想演奏者Ｖがより自然に動く報知画像Ｇが表示される。ただし、対比例の構成も本発明の範囲には包含され得る。

【0027】

図４は、制御装置２８の動作のフローチャートである。例えば、演奏装置２４に対して利用者から起動の指示が付与されたことを契機として、図４の処理が開始される。図４の処理を開始すると、報知制御部６５は、ピアノの演奏を開始する直前（例えば鍵盤に手を置いて静止している状態）の仮想演奏者Ｖを模擬した報知画像Ｇを報知装置２９に表示させる（Ｓ1）。報知制御部６５は、対象楽曲の開始を報知するための指示動作を報知装置２９に実行させる（Ｓ2）。複数の演奏者Ｐは、報知装置２９が実行する指示動作により変化する（仮想演奏者Ｖが上肢を高く上げる動きをする）報知画像Ｇを視認することで対象楽曲の演奏開始のタイミングを把握して、実演奏を開始する。

【0028】

演奏解析部６１は、収音装置２６から供給される音響信号Ｓの解析により演奏位置Ｔを推定する（Ｓ3）。演奏制御部６３は、演奏解析部６１が推定した演奏位置Ｔに応じた演奏内容を演奏装置２４に対して指示する（Ｓ4）。報知制御部６５は、通常動作および指示動作を報知装置２９に実行させる（Ｓ5）。具体的には、報知制御部６５は、仮想演奏者Ｖの複数の関節部Ａの各々を演奏データまたは動作データに応じて駆動することで報知画像Ｇが変化するように報知装置２９を制御する。自動演奏が終了しない場合（Ｓ6;ＮＯ）、つまり対象楽曲の演奏が継続している場合、ステップＳ3からステップＳ5までの処理が繰り返される。自動演奏が終了する場合（Ｓ6;ＹＥＳ）、例えば対象楽曲の全部の演奏が終了した場合、または、利用者が自動演奏の終了を指示した場合、図４の処理を終了する。

【0029】

以上に例示した実施形態では、演奏装置２４の自動演奏の進行が実演奏の演奏者Ｐに視覚的に報知される。したがって、演奏装置２４の自動演奏の進行が視覚的に報知されない構成、例えば演奏装置２４の演奏音を聴くことで演奏装置２４の自動演奏の進行を実演奏の演奏者が把握する構成と比較して、実演奏の演奏者Ｐは、演奏装置２４の自動演奏の進行を聴覚的にだけでなく視覚的にも確認することができる。ひいては、演奏装置２４による自動演奏の進行を実演奏の演奏者Ｐがより適切に把握することが可能である。

【0030】

また、本実施形態では、実演奏の進行に同期するように実演奏に並行して自動演奏がされる一方、報知画像Ｇが報知装置２９に表示されるので、実演奏の進行に同期する自動演奏の進行を演奏者Ｐが視覚的に確認して自身の演奏に反映させることが可能である。したがって、複数の演奏者Ｐによる演奏と演奏装置２４による自動演奏とが相互に作用し合う自然な合奏が実現される。

【0031】

＜変形例＞
以上に例示した態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。

【0032】

（１）前述の実施形態では、自然楽器と同様の発音機構４２を駆動機構４４により機械的に作動させることで対象楽曲を演奏する自動演奏を例示したが、指示された音を表す音響信号Ｓを生成する音源装置を電気的に駆動することで対象楽曲を演奏（例えばカラオケ演奏）する自動演奏にも本発明を適用することが可能である。

【0033】

（２）前述の実施形態では、報知制御部６５は、自動演奏の進行とともに変化する報知画像Ｇを報知装置２９に表示させることで、自動演奏の進行を報知する動作を実行させたが、報知装置２９に自動演奏の進行を報知する動作を実行させる方法は以上の例示に限定されない。例えば、複数の関節部と複数の可動要素とで構成されて人間の容姿および動作を模擬できるロボットを報知装置２９とし、報知制御部６５は、自動演奏の進行とともに報知装置２９の各関節部Ａを機械的に作動させることで、自動演奏の進行を報知する動作を実行させることも可能である。以上の説明から理解される通り、報知制御部６５は、自動演奏の進行を演奏者Ｐに視覚的に報知する動作を報知装置２９に実行させる要素として包括的に表現される。ただし、自動演奏の進行とともに変化する報知画像Ｇを報知装置２９に表示させる前述の形態によれば、演奏者Ｐは報知画像Ｇにより自動演奏の進行を把握することができる。

【0034】

（３）前述の実施形態では、報知制御部６５は、通常動作と指示動作とを報知装置２９に実行させたが、自動演奏の進行を演奏者Ｐに視覚的に報知する動作であれば動作内容は任意である。例えば、通常動作のみを演奏装置２４に実行させることも可能である。だたし、通常動作と指示動作とを報知装置２９に実行させる前述の形態によれば、通常動作のみを演奏装置２４に実行させる構成と比較して、楽曲の開始点および長い休符からの再開点等の特定の区間における演奏タイミングを指示動作により実演奏の演奏者Ｐに報知することが可能である。

【0035】

（４）前述の実施形態では、報知画像Ｇは、関節部Ａにより連結された複数の要素を含む画像であったが、報知画像Ｇの態様は任意である。例えば円または四角形等の抽象的な図形またはその組合せを報知画像Ｇとすることも可能である。ただし、関節部Ａにより連結された複数の要素を含む画像を報知画像Ｇとする前述の形態では、関節部Ａを介して各要素が運動する報知画像Ｇ（例えば人間等の生物を模擬した画像）により自動演奏の進行を直観的または視覚的に把握することができる。

【0036】

（５）前述の実施形態では、報知制御部６５は、演奏データに応じて通常動作を制御したが、演奏データとは別個のデータに応じて通常動作を制御することも可能である。だたし、演奏データに応じて通常動作を制御する前述の実施形態によれば、自動演奏を指示する演奏データが通常動作の制御に流用されるから、演奏データとは別個のデータで通常動作を制御する構成と比較して、演奏システム１００で使用されるデータが簡素化されるという利点がある。

【0037】

（６）前述の実施形態では、演奏制御部６３は、演奏位置Ｔに対応する時点について演奏データが指定する演奏内容を演奏装置２４に指示することで、実演奏の進行に同期するように実演奏に並行して対象楽曲の自動演奏を演奏装置２４に実行させたが、実演奏の進行に自動演奏を同期させる方法は以上の例示に限定されない。ここで、演奏制御部６３が演奏データの出力により演奏装置２４に自動演奏を指示してから演奏装置２４が実際に発音する（例えば発音機構４２のハンマが打弦する）までには数百ミリ秒程度の時間が必要である。すなわち、演奏制御部６３からの指示に対して演奏装置２４による実際の発音は不可避的に遅延する。そこで、演奏制御部６３が、対象楽曲のうち演奏解析部６１が推定した演奏位置Ｔに対して後方（未来）の時点の演奏を演奏装置２４に指示することも可能である。

【0038】

（７）前述の実施形態では、演奏制御部６３は、対象楽曲の実演奏の進行に同期するように当該実演奏に並行して対象楽曲の自動演奏を演奏装置２４に実行させたが、実演奏の進行に同期するように自動演奏を実行させる処理は必須ではない。

【0039】

（８）前述の実施形態で例示した通り、演奏システム１００は、制御装置２８とプログラムとの協働で実現される。本発明の好適な態様に係るプログラムは、対象楽曲の実演奏の進行に同期するように当該実演奏に並行して対象楽曲の自動演奏を演奏装置２４に実行させる演奏制御部６３、および、自動演奏の進行を実演奏の演奏者Ｐに視覚的に報知する動作を報知装置２９に実行させる報知制御部６５としてコンピュータを機能させる。以上に例示したプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。また、通信網を介した配信の形態でプログラムをコンピュータに配信することも可能である。

【0040】

（９）本発明の好適な態様は、前述の実施形態に係る演奏システム１００の動作方法（自動演奏方法）としても特定される。例えば、本発明の好適な態様に係る自動演奏方法は、コンピュータ（単体のコンピュータ、または複数のコンピュータで構成されるシステム）が、対象楽曲の実演奏の進行に同期するように当該実演奏に並行して対象楽曲の自動演奏を演奏装置２４に実行させ、自動演奏の進行を実演奏の演奏者Ｐに視覚的に報知する動作を報知装置２９に実行させる。

【0041】

（１０）前述の各形態に例示した構成は、以下のように表現され得る。
［態様１］
本発明の好適な態様（態様１）に係る演奏システム１００は、楽曲の自動演奏を演奏装置２４に実行させる演奏制御部６３と、自動演奏の進行を楽曲の実演奏の演奏者Ｐに視覚的に報知する動作を報知装置２９に実行させる報知制御部６５とを具備する。態様１では、演奏装置２４の自動演奏の進行が実演奏の演奏者Ｐに視覚的に報知される。したがって、演奏装置２４の自動演奏の進行が視覚的に報知されない構成、例えば演奏装置２４の演奏音を聴くことで演奏装置２４の自動演奏の進行を実演奏の演奏者Ｐが把握する構成と比較して、実演奏の演奏者Ｐは、演奏装置２４の自動演奏の進行を聴覚的にだけでなく視覚的にも確認することができる。ひいては、演奏装置２４による自動演奏の進行を実演奏の演奏者Ｐがより適切に把握することが可能である。

【0042】

［態様２］
態様１の好適例（態様２）において、演奏制御部６３は、実演奏の進行に同期するように当該実演奏に並行して自動演奏を演奏装置２４に実行させる。態様２では、楽曲の実演奏に同期した演奏装置２４の自動演奏の進行が実演奏の演奏者Ｐに視覚的に報知される。したがって、実演奏の演奏者Ｐは、実演奏の進行に同期した自動演奏の進行を視覚的に把握することができる。ひいては、実演奏と自動演奏とが相互に作用し合う自然な合奏が実現される。

【0043】

［態様３］
態様１または態様２の好適例（態様３）において、報知制御部６５は、楽曲の演奏中に継続する動作である通常動作と、楽曲内の特定の区間内で発生する動作である指示動作とを報知装置２９に実行させる。態様３では、楽曲の演奏中に継続する動作である通常動作と、楽曲内の特定の区間内で発生する動作である指示動作とにより自動演奏の進行が報知される。したがって、例えば楽曲の演奏中に継続する動作である通常動作のみで演奏装置２４の自動演奏の進行を報知する構成と比較して、楽曲の開始点および長い休符からの再開点等の特定の区間における演奏タイミングを指示動作により実演奏の演奏者Ｐに報知することか可能である。

【0044】

［態様４］
態様３の好適例（態様４）において、演奏制御部６３は、楽曲の演奏内容を指定する演奏データを利用して当該楽曲の自動演奏を演奏装置２４に実行させ、報知制御部６５は、演奏データに応じて通常動作を制御し、演奏データとは独立の動作データに応じて指示動作を制御する。態様４では、自動演奏を指示する演奏データが通常動作の制御に流用されるから、演奏データとは別個のデータで通常動作を制御する構成と比較して、演奏システム１００で使用されるデータが簡素化されるという利点がある。また、指示動作については、演奏データとは別個の動作データにより指定されるから、通常動作とは独立に指示動作を指定できる。

【0045】

［態様５］
態様４の好適例（態様５）において、演奏データと動作データは相異なるチャンネルとして１個の楽曲ファイルＭに含まれる。態様５では、演奏データと動作データとが相異なるチャンネルとして１個の楽曲ファイルＭに含まれる。したがって、演奏データと動作データとの各々が別個の楽曲ファイルＭに含まれる構成と比較して、演奏データと動作データとの取り扱いが容易になる。

【0046】

［態様６］
態様１から態様５の何れかの好適例（態様６）において、報知装置２９は、報知画像Ｇを表示し、報知制御部６５は、報知画像Ｇが自動演奏の進行とともに変化するように報知装置２９を制御する。態様６では、自動演奏の進行とともに変化する報知画像Ｇが表示される。したがって、実演奏の演奏者Ｐは報知画像Ｇにより自動演奏の進行を把握することができる。

【0047】

［態様７］
態様６の好適例（態様７）において、報知画像Ｇは、関節部Ａにより連結された複数の要素Ｃを含む画像であり、報知制御部６５は、自動演奏の進行とともに関節部Ａを駆動することにより報知画像Ｇが変化するように報知装置２９を制御する。態様７では、関節部Ａにより連結された複数の要素Ｃを含む報知画像Ｇが表示され、自動演奏とともに各関節部Ａを駆動することにより報知画像Ｇを変化させることで自動演奏の進行を報知する。したがって、実演奏の演奏者Ｐは、関節部Ａを介して各要素Ｃが運動する報知画像Ｇ（例えば人間等の生物を模擬した画像）により自動演奏の進行を直観的または視覚的に把握することができる。

【0048】

［態様８］
本発明の好適な態様（態様８）に係る自動演奏方法は、コンピュータが、楽曲の自動演奏を演奏装置２４に実行させ、自動演奏の進行を楽曲の実演奏の演奏者Ｐに視覚的に報知する動作を報知装置２９に実行させる。態様８によれば、態様１の演奏システム１００と同様の効果が実現される。

【符号の説明】

【0049】

１００…演奏システム、２２…記憶装置、２４…演奏装置、２６…収音装置、２８…制御装置、２９…報知装置、４２…発音機構、４４…駆動機構、６１…演奏解析部、６３…演奏制御部、６５…報知制御部、７０…報知部。

【図1】

【図2】

【図3】

【図4】