特開 2023-143736 演奏指導装置及び演奏指導方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023143736

(43)【公開日】2023-10-06

(54)【発明の名称】演奏指導装置及び演奏指導方法

(51)【国際特許分類】

   G09B 15/00 20060101AFI20230928BHJP

   G10G 1/00 20060101ALI20230928BHJP

   G10H 1/00 20060101ALI20230928BHJP

【ＦＩ】

G09B15/00 Z

G10G1/00

G10H1/00 102Z

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023017638

(22)【出願日】2023-02-08

(31)【優先権主張番号】P 2022050092

(32)【優先日】2022-03-25

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】311012169

【氏名又は名称】ＮＥＣパーソナルコンピュータ株式会社

(74)【代理人】

【識別番号】100112737

【弁理士】

【氏名又は名称】藤田 考晴

(74)【代理人】

【識別番号】100136168

【弁理士】

【氏名又は名称】川上 美紀

(74)【代理人】

【識別番号】100140914

【弁理士】

【氏名又は名称】三苫 貴織

(74)【代理人】

【識別番号】100172524

【弁理士】

【氏名又は名称】長田 大輔

(72)【発明者】

【氏名】諸岡（佐々木） 直美

(72)【発明者】

【氏名】中沢 利明

(72)【発明者】

【氏名】鈴木 直美

【テーマコード（参考）】

5D182

5D478

【Ｆターム（参考）】

5D182AD03

5D478FF04

(57)【要約】

【課題】ユーザの間違った演奏に対して改善策を提案すること。
【解決手段】演奏指導装置１は、楽譜データからユーザによって演奏された演奏データの音符を特定する音符特定部３５と、音符毎に、手本となる音データ及び誤った音データを含む評価音データセットが登録された評価音データベース３１から、音符特定部３５によって特定された音符に対応する評価音データセットを特定するデータセット特定部３６と、特定された評価音データセットに含まれる複数の音データと、ユーザによって演奏された音データとを照合することにより、特定された評価音データセットに含まれるいずれか一つの音データを特定する音データ特定部３７と、特定した音データが誤った音データである場合に、その誤った音データに予め関連付けられて登録されている指導データを特定する指導データ特定部３８と、特定された指導データをユーザに通知する通知部３９とを備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

ユーザが演奏をする楽譜データを取得する楽譜データ取得部と、
前記ユーザによって演奏された音データを含む演奏データを取得する演奏データ取得部と、
前記楽譜データに基づいて、前記演奏データを構成する各音データに対応する音符を特定する音符特定部と、
音符毎に、手本となる音データ及び誤った音データを含む評価音データセットが登録された評価音データベースから、前記音符特定部によって特定された音符に対応する評価音データセットを特定するデータセット特定部と、
特定された前記評価音データセットに含まれる複数の音データと、ユーザによって演奏された音データとを照合することにより、特定された前記評価音データセットに含まれるいずれか一つの音データを特定する音データ特定部と、
特定された前記音データが誤った音データである場合に、該誤った音データに予め関連付けられて登録されている指導データを特定する指導データ特定部と、
特定された前記指導データを前記ユーザに通知する通知部と
を具備する演奏指導装置。

【請求項2】

誤った前記音データには、手本の音データを演奏する場合と運指は同じであるが、音色が異なる音データが含まれている請求項１に記載の演奏指導装置。

【請求項3】

前記音データ特定部は、複数の前記音データの各々と、前記ユーザによって演奏された音データとの類似度を演算し、最も類似度の高い音データを特定する請求項１又は２に記載の演奏指導装置。

【請求項4】

前記演奏データには、前記ユーザの運指データが含まれ、
前記指導データには、手本となる運指データが含まれている請求項１又は２に記載の演奏指導装置。

【請求項5】

ユーザが演奏をする楽譜データを取得する工程と、
前記ユーザによって演奏された音データを含む演奏データを取得する工程と、
前記楽譜データに基づいて、前記演奏データを構成する各音データに対応する音符を特定する工程と、
音符毎に、手本となる音データ及び誤った音データを含む評価音データセットが登録された評価音データベースから、特定した前記音符に対応する評価音データセットを特定する工程と、
特定した前記評価音データセットに含まれる複数の音データと、ユーザによって演奏された音データとを照合することにより、特定された前記評価音データセットに含まれるいずれか一つの音データを特定する工程と、
特定した前記音データが誤った音データである場合に、該誤った音データに予め関連付けられて登録されている指導データを特定する工程と、
特定した前記指導データを前記ユーザに通知する工程と
をコンピュータが実行する演奏指導方法。

【請求項6】

各前記評価音データセットは、間違った音データに対して少なくとも一つの原因データが関連付けられており、
前記指導データ特定部は、前記音データ特定部によって特定された前記音データが誤った音データである場合に、該誤った音データに関連付けられた原因データを特定するとともに、特定した原因データに予め関連付けられて登録されている指導データを特定する請求項１に記載の演奏指導装置。

【請求項7】

前記評価音データベースには、音符毎に、複数の要素に対応する複数の前記評価音データセットが登録されているとともに、各前記評価音データセットは、間違った音データに対して少なくとも一つの原因データが関連付けられており、
前記データセット特定部は、前記音符特定部によって特定された音符に対応する複数の前記評価音データセットを特定し、
前記音データ特定部は、特定された各前記評価音データセットに含まれる複数の音データと、ユーザによって演奏された音データとを照合することにより、特定された前記評価音データセット毎にいずれか一つの音データを特定し、
前記指導データ特定部は、前記音データ特定部によって特定された各前記音データが誤った音データである場合に、該誤った音データに関連付けられた原因データを特定するとともに、特定した原因データに予め関連付けられて登録されている指導データを特定する請求項１に記載の演奏指導装置。

【請求項8】

同じ音符に関連付けられた複数の前記評価音データセットには、同一の原因が重複して登録されており、
前記指導データ特定部は、特定された前記音データが誤った音データである場合に、該誤った音データに関連付けられている原因データのうち最も数の多い原因データに対応する指導データを優先して特定する請求項７に記載の演奏指導装置。

【請求項9】

複数の前記要素は、音程、音量、運指、及び音価のうちの少なくとも２つを含んでいる請求項７に記載の演奏指導装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、演奏指導装置及び演奏指導方法に関するものである。

【背景技術】

【0002】

例えば、特許文献１には、ユーザの演奏と手本の演奏との差をわかりやすく伝える演奏表示装置が開示されている。特許文献１に記載の演奏表示装置は、ユーザ演奏者の演奏に基づく演奏表示と、手本演奏者の演奏に基づく演奏表示とを比較して表示させることにより、ユーザ演奏者の発音イベントが正しく行われているかをユーザに視認可能に提示する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００２－９１２９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示の演奏表示装置によれば、ユーザは手本の演奏に対してどのような間違い演奏をしたのかを確認することができる。しかしながら、その間違った演奏をどのように改善すればよいかがわからなかった。

【0005】

本発明は、このような事情に鑑みてなされたものであって、ユーザの間違った演奏に対して改善策を提案することのできる演奏指導装置及び演奏指導方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１態様に係る演奏指導装置は、ユーザが演奏をする楽譜データを取得する楽譜データ取得部と、前記ユーザによって演奏された音データを含む演奏データを取得する演奏データ取得部と、前記楽譜データに基づいて、前記演奏データを構成する各音データに対応する音符を特定する音符特定部と、音符毎に、手本となる音データ及び誤った音データを含む評価音データセットが登録された評価音データベースから、前記音符特定部によって特定された音符に対応する評価音データセットを特定するデータセット特定部と、特定された前記評価音データセットに含まれる複数の音データと、ユーザによって演奏された音データとを照合することにより、特定された前記評価音データセットに含まれるいずれか一つの音データを特定する音データ特定部と、特定した前記音データが誤った音データである場合に、該誤った音データに予め関連付けられて登録されている指導データを特定する指導データ特定部と、特定された前記指導データを前記ユーザに通知する通知部とを具備する。

【0007】

本発明の第２態様に係る演奏指導方法は、ユーザが演奏をする楽譜データを取得する工程と、前記ユーザによって演奏された音データを含む演奏データを取得する工程と、前記楽譜データに基づいて、前記演奏データを構成する各音データに対応する音符を特定する工程と、音符毎に、手本となる音データ及び誤った音データを含む評価音データセットが登録された評価音データベースから、特定した前記音符に対応する評価音データセットを特定する工程と、特定した前記評価音データセットに含まれる複数の音データと、ユーザによって演奏された音データとを照合することにより、特定された前記評価音データセットに含まれるいずれか一つの音データを特定する工程と、特定した前記音データが誤った音データである場合に、該誤った音データに予め関連付けられて登録されている指導データを特定する工程と、特定した前記指導データを前記ユーザに通知する工程とをコンピュータが実行する。

【発明の効果】

【0008】

本発明によれば、ユーザの間違った演奏に対して改善策を提案することができるという効果を奏する。

【図面の簡単な説明】

【0009】

【図1】本発明の第１実施形態に係る演奏指導システムの全体構成を概略的に示したシステム構成図である。

【図2】本発明の第１実施形態に係る演奏指導装置のハードウェア構成の一例を示した概略構成図である。

【図3】本発明の第１実施形態に係る生徒用端末のハードウェア構成の一例を示した概略構成図である。

【図4】本発明の第１実施形態に係る演奏指導装置が備える機能の一例を示した機能ブロック図である。

【図5】本発明の第１実施形態に係る演奏指導方法の処理手順の一例を示したフローチャートである。

【図6】本発明の第２実施形態に係る演奏指導装置が備える機能の一例を示した機能ブロック図である。

【図7】本発明の第２実施形態に係る評価音データベースに格納される評価音データセット群の一例を示した図である。

【図8】本発明の第２実施形態に係る指導データベースに格納されるデータの一例を示した図である。

【発明を実施するための形態】

【0010】

以下、本発明の第１実施形態に係る演奏指導装置及び演奏指導方法について、図を参照して説明する。
図１は、本発明の第１実施形態に係る演奏指導システム１００の全体構成を概略的に示したシステム構成図である。図１に示すように、演奏指導システム１００は、演奏指導装置１と、生徒用端末２とを備えている。以下の説明において、生徒用端末２は、例えば、演奏指導を受けたいユーザが使用する装置である。
図１において、１台の生徒用端末２が図示されているが、台数はこの例に限定されるものではない。

【0011】

生徒用端末２は、ネットワーク５を介して演奏指導装置１と互いに通信可能に接続され、情報の送受信が可能な構成とされている。ネットワーク５の一例としてインターネット回線が挙げられるが、他のネットワーク回線であってもよい。

【0012】

図２は、本発明の第１実施形態に係る演奏指導装置１のハードウェア構成の一例を示した概略構成図である。図２に示すように、演奏指導装置１は、例えば、ＣＰＵ１１、各プログラム実行時のワーク領域として機能するメインメモリ１２、ＣＰＵ１１が実行するプログラム及びこのプログラムにより参照されるデータ等を記憶するための記憶部１３、ネットワークに接続するための通信部１４を主な構成として備えている。更に、演奏指導装置１は、入力部１５、表示部１６等を備えていてもよい。これら各部は、例えば、バスを介して接続されている。記憶部１３の一例として、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの磁気ディスク、光磁気ディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の半導体メモリ等が挙げられる。

【0013】

生徒用端末２は、例えば、ノートＰＣ、デスクトップ型ＰＣ、タブレット端末、スマートフォン等の情報処理装置である。図３に生徒用端末２のハードウェア構成の一例を示す。

【0014】

図３に示すように、生徒用端末２は、例えば、ＣＰＵ２１、メインメモリ２２、記憶部２３、通信部２４、入力部２５、表示部２６、マイクロフォン（以下「マイク」という。）２７、カメラ２８等を備えている。これら各部は直接的にまたはバスを介して間接的に相互に接続されており互いに連携して各種処理を実行する。生徒用端末２が備える各種ハードウェア構成については、公知であるため、ここでの詳細な説明は省略する。

【0015】

ユーザは、生徒用端末２の入力部２５を操作することにより、ネットワーク５を介して演奏指導装置１に接続し、これから演奏する楽譜データや、自身が演奏した演奏データを送信する。
また、ユーザがグローブ３０を手にはめて演奏を行う場合には、その演奏の様子が生徒用端末２のカメラ２８によって撮像されることにより、ユーザの指運びの情報（運指データ）を取得することができる。

【0016】

図４は、本実施形態に係る演奏指導装置１が備える機能の一例を示した機能ブロック図である。後述する各種機能を実現するための一連の処理は、一例として、プログラム（例えば、演奏指導プログラム）の形式で記憶部１３に記憶されており、このプログラムをＣＰＵ１１がメインメモリ１２に読み出して、情報の加工・演算処理を実行することにより、各種機能が実現される。なお、プログラムは、記憶部１３に予めインストールされている形態や、他のコンピュータ読み取り可能な記憶媒体に記憶された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等が適用されてもよい。コンピュータ読み取り可能な記憶媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等である。

【0017】

図４に示すように、演奏指導装置１は、例えば、評価音データベース３１、指導データベース３２、楽譜データ取得部３３、演奏データ取得部３４、音符特定部３５、データセット特定部３６、音データ特定部３７、指導データ特定部３８、及び通知部３９を備えている。また、演奏指導装置１は、演奏指導を行う際に必要となるデータを格納するためのデータ記憶部４０を備えている。

【0018】

評価音データベース３１には、例えば、音符毎に、手本となる音データ及び誤った音データを含む評価音データセットが登録されている。手本となる音データは、一つの音符に対して、１又は複数登録されていてもよい。また、誤った音データは、手本から少し外れた音データであり、ユーザへの指導が必要と識別される音データである。例えば、誤った音データは、運指は正しいが音色として正しくない音データが含まれている。例えば、管楽器の場合、音色として正しくない音データには、裏返った音データ、強弱が正しくない音データ、及び手本から音色がずれた音データの少なくとも一つが含まれている。更に、誤った音データには、運指が正しくないために音色が異なる音データが含まれていてもよい。

【0019】

例えば、１オクターブ高い「レ」を例示すると、その「レ」の評価音データセットは、その「レ」の音符と、その「レ」の手本となる音データと、「レ」の誤った音色の音データとを含むこととなる。このように、評価音データベース３１には、その楽器、主に、管楽器によって発することのできる全ての音符の各々について、上述したそれぞれの評価音データセットが登録されている。

【0020】

指導データベース３２には、評価音データベース３１に登録されている誤った音データに関連付けられた指導データが登録されている。例えば、指導データベース３２には、評価音データベース３１に登録されている誤った音データに固有に割り当てられた識別情報に関連付けられて指導データが登録されている。指導データは、例えば、誤った音データの原因を改善するための指導内容を含んでいる。例えば、管楽器の場合、運指が正しくても息の出し方によって音が異なる。したがって、指導内容には、誤った音データを手本の音データに近づけるための吹き方のテクニックが指導データとして登録されていてもよい。一例として、「吐く息を少し多くしましょう。」、「もう少し長く息を吐きましょう」等が挙げられる。また、指導データには、手本となる運指データが含まれていてもよい。

【0021】

楽譜データ取得部３３は、ユーザが演奏をする楽譜データを取得する。例えば、生徒用端末２から電子化された楽譜データが送信された場合には、その楽譜データを受信することにより、楽譜データを取得する。また、生徒用端末２から楽譜データを特定するための楽譜識別情報を受信した場合には、楽譜データが蓄積された楽譜データベース（図示略）にアクセスし、生徒用端末２から受信した楽譜識別情報によって識別される楽譜データを取得することとしてもよい。このように、楽譜データの取得方法については特に限定されない。楽譜データ取得部３３によって取得された楽譜データは、データ記憶部４０に格納される。

【0022】

演奏データ取得部３４は、ユーザによって演奏された音データを含む演奏データを取得する。演奏データには、ユーザによって演奏された音データの他、例えば、運指データが含まれていてもよい。この運指データは、例えば、モーションキャプチャ用のグローブ３０をはめてユーザが演奏し、その演奏の様子を生徒用端末２のカメラ２８が撮影することにより、取得される情報である。

【0023】

音符特定部３５は、楽譜データ取得部３３によって取得された楽譜データに基づいて、ユーザによって演奏された演奏データを構成する各音データに対応する音符を特定する。例えば、音符特定部３５は、演奏データにおける各音データの発生タイミングに基づいて、楽譜データにおけるどの音符を演奏しているのかを特定する。このとき、音符特定部３５は、楽譜データに記載されている音階情報を更に用いてもよい。

【0024】

データセット特定部３６は、評価音データベース３１に登録されている複数の評価音データセットの中から、音符特定部３５によって特定された音符に対応する評価音データセットを特定する。例えば、音符特定部３５によって、１オクターブ高い「レ」の音符が特定された場合、データセット特定部３６は、その音符「レ」に関連付けられた評価音データセットを特定する。

【0025】

音データ特定部３７は、特定された評価音データセットに含まれる複数の音データと、ユーザによって演奏された音データとを照合することにより、いずれか一つの音データを特定する。例えば、音データ特定部３７は、評価音データセットに含まれる複数の音データの各々と、ユーザによって演奏された音データとの類似度を演算し、最も類似度の高い音データを特定してもよい。

【0026】

例えば、データセット特定部３６によって、１オクターブ高い「レ」の音符に関連付けられた評価音データセットが特定された場合、音データ特定部３７は、その評価音データセットに含まれる手本となる音データ及び誤った音データの各々と、ユーザによって演奏された「レ」の音データとを照合する。そして、「レ」の評価音データセットに含まれる複数の音データの中から、ユーザによって演奏された「レ」の音データと最も類似度の高い音データを特定する。

【0027】

指導データ特定部３８は、音データ特定部３７によって特定された音データが誤った音データである場合に、その誤った音データに予め関連付けられて登録されている指導データを特定する。例えば、指導データ特定部３８は、指導データベース３２に格納されている複数の指導データのうち、誤った音データの識別情報に関連付けられた指導データを特定する。

【0028】

通知部３９は、指導データ特定部３８によって特定された指導データを生徒用端末２に通知する。例えば、通知部３９は、楽譜データにおいて、誤った音として識別された音符に関連付けて指導データを貼付した指導データ付き楽譜データを作成し、作成した指導データ付き楽譜データを生徒用端末２に送信する。なお、通知の方法は上記態様に限られない。すなわち、ユーザが誤った演奏をした箇所とその改善方法が通知されれば、その通知の方法は特に限定されない。

【0029】

生徒用端末２は、指導データ付き楽譜データを受信すると、その楽譜データを表示部２６に表示させる。これにより、ユーザが演奏している、又は、演奏した楽譜データが表示されるとともに、更に、演奏者が間違った演奏をした音符に関連付けられた指導データが表示されることとなる。

【0030】

次に、本実施形態に係る演奏指導システム１００による演奏指導方法について説明する。図５は、本実施形態に係る演奏指導方法の処理手順の一例を示したフローチャートである。以下、説明の便宜上、ユーザは、管楽器（例えば、サックスフォン）を演奏する場合を例に挙げて説明する。

【0031】

演奏者であるユーザは、生徒用端末２の入力部２５を操作し、ネットワーク５を介して演奏指導装置１に接続し、所定の操作（例えば、ユーザＩＤ、パスワード等の入力操作等）を行うことでログインする。これにより、ユーザは、演奏指導装置１による演奏指導を受けることが可能な状態となる。演奏指導装置１との接続は、例えば、予めインストールされている所定のアプリケーションを起動することによって行うことが可能である。また、ＷＥＢブラウザを立ち上げ、ブラウザを介して演奏指導装置１に接続することとしてもよい。

【0032】

続いて、ユーザが生徒用端末２の入力部２５を操作し、これから演奏する楽譜データを特定して、送信作業を行う。これにより、演奏指導装置１に対して楽譜データが送信される。この楽譜データは、電子化された楽譜データが蓄積されている楽譜データベースからユーザが予め取得したデータであってもよいし、演奏指導装置１が備える楽譜データベース（図示略）からユーザが特定したデータであってもよい。

【0033】

演奏指導装置１は、生徒用端末２から楽譜データを受信することで取得する（ＳＡ１）。取得した楽譜データは、例えば、ログイン時に入力されたユーザＩＤと関連付けられてデータ記憶部４０に格納される。

【0034】

続いて、ユーザは、生徒用端末２の入力部２５を操作することにより、演奏を開始するための入力操作を行った上で、演奏を開始する。これにより、例えば、生徒用端末２のカメラ２８及びマイク２７が作動することにより、ユーザの演奏動画が生成される。演奏動画は演奏データとして、演奏指導装置１に送信される。本実施形態において、演奏データは、音データと画像データとを含むデータであるが、これに限られない。例えば、演奏データは、少なくとも音データを含んでいればよく、画像データは省略可能である。

【0035】

また、ユーザがモーションキャプチャ用のグローブ３０をはめて演奏を行う場合には、生徒用端末２のカメラ２８によって取得された動画から運指データが取得される。この場合、運指データも含む演奏動画、換言すると、音データ及び運指データを含む画像データが演奏データとして演奏指導装置１に送信される。

【0036】

上述した演奏データは、ユーザＩＤと関連付けられて生徒用端末２から演奏指導装置１に送信される。なお、演奏データは、ライブデータとしてリアルタイムで演奏指導装置１に送られてもよいし、全ての演奏が終了した後に、１つ又は複数のデータファイルとして演奏指導装置１に送信されてもよい。

【0037】

演奏指導装置１は、演奏データを受信することにより取得すると（ＳＡ２）、演奏データに基づく評価指導処理を行う。
例えば、演奏指導装置１は、取得した演奏データから時系列で一音ずつ音データを特定し、特定した各音データに対応する音符を特定する。具体的には、演奏指導装置１は、データ記憶部４０に格納されている当該ユーザＩＤに関連付けられる楽譜データを取得し、取得した楽譜データに基づいて、ユーザによって演奏された演奏データを構成する各音データに対応する音符を特定する（ＳＡ３）。

【0038】

続いて、演奏指導装置１は、特定した各音符に対応する評価音データセットを評価音データベース３１から特定する（ＳＡ４）。例えば、ある音データに対応する音符として一オクターブ高い「レ」の音符が特定された場合には、その音符に対応する評価音データセットを評価音データベース３１から特定する。

【0039】

続いて、演奏指導装置１は、特定した評価音データセットに含まれる複数の音データと、ユーザによって演奏された音データとを照合することにより、評価音データセットに含まれるいずれか一つの音データを特定する（ＳＡ５）。例えば、一オクターブ高い「レ」の音符に対応する評価音データセットが特定された場合、その評価音データセットに含まれる手本の音データ及び誤った音データのそれぞれと、一オクターブ高い「レ」としてユーザによって演奏された音データとを照合し、評価音データセットの中から、ユーザの音データに最も類似度の高い音データを特定する。

【0040】

続いて、演奏指導装置１は、特定した音データが誤った音データである場合には、その誤った音データに関連付けられた指導データを指導データベース３２に格納されている複数の指導データの中から特定する（ＳＡ６）。

【0041】

続いて、演奏指導装置１は、楽譜データの音符に紐づけて指導データを貼付し、指導データ付き音符データを作成する（ＳＡ７）。
そして、作成した指導データ付き楽譜データを生徒用端末２に送信する（ＳＡ８）。

【0042】

生徒用端末２は、演奏指導装置１から指導データ付き楽譜データを受信すると、その楽譜データを表示部２６に表示させる。これにより、演奏者は、楽譜データに貼付された指導データを確認することにより、どの音符を誤って演奏したのか及びその誤った演奏を改善させるための指導内容を得ることが可能となる。

【0043】

また、指導データには、正しい運指データの情報を含めてもよい。これにより、ユーザは運指についても確認することが可能となる。このとき、正しい運指とユーザが演奏したときの運指とを比較可能なように、ユーザが演奏したときの運指データについても指導データに添付して貼付することとしてもよい。

【0044】

以上説明してきたように、本実施形態に係る演奏指導装置１及び演奏指導方法によれば、ユーザが演奏した演奏データを構成する音データ毎に、ユーザが手本と同じ音を出しているか、あるいは、誤った音を出しているかを判定し、誤った音を出していると判定した場合には、その誤った箇所を通知するとともに、その誤った音を手本に近づけるように改善するための指導データをユーザに通知する。これにより、ユーザは、自身が誤って演奏した箇所と、その演奏の誤りを改善する方法を知ることができる。

【0045】

例えば、管楽器（吹奏楽器）は、正しい運指でも息の吹き方によって音色が異なる。本実施形態に係る演奏指導装置１及び演奏指導方法によれば、運指が同じでも音色が手本と異なる音データが誤った音データとして評価音データセットに含まれている。これにより、運指が同じで息の吹き方が手本と異なるような演奏をユーザがしている場合でも、適切な改善策を提案することが可能となる。換言すると、単に運指が異なることに起因する音の違い（例えば、「レ」の音を「ミ」と誤って演奏する等）だけでなく、ニュアンスが微妙に異なる音色についても指導を行うことが可能となる。

【0046】

次に、本発明の第２実施形態に係る演奏指導装置１ａ及び演奏指導方法について、図を参照して説明する。上述した第１実施形態に係る演奏指導装置１及び演奏指導方法は、ユーザが誤った音を出した場合に、その改善手法を指導データとして提供するものであった。本実施形態では、ユーザが誤った音を出した場合に、ミスの原因の特定を行い、そのミスの原因を改善するための指導データを提供する点で上述した第１実施形態と異なる。
以下、本実施形態に係る演奏指導装置１ａについて、上述した第１実施形態に係る演奏指導装置１と同一の構成については同一の符号を付して説明を省略し、異なる構成について主に説明する。

【0047】

図６は、本発明の第２実施形態に係る演奏指導装置１ａが備える機能の一例を示した機能ブロック図である。図６に示すように、演奏指導装置１ａは、例えば、評価音データベース３１ａ、指導データベース３２ａ、楽譜データ取得部３３、演奏データ取得部３４、音符特定部３５、データセット特定部３６ａ、音データ特定部３７ａ、指導データ特定部３８ａ、及び通知部３９を備えている。また、演奏指導装置１は、演奏指導を行う際に必要となるデータを格納するためのデータ記憶部４０を備えている。

【0048】

評価音データベース３１ａには、例えば、音符毎に、評価音データセット群Ｄが登録されている。評価音データセット群Ｄは、複数の要素に対応する複数の評価音データセットを含んでいる。複数の要素は、例えば、音程、音量、運指、音価（音の長さ）のうち、少なくとも２つを含んでいる。図７は、本実施形態に係る評価音データベース３１ａに格納される評価音データセット群Ｄの一例を示した図である。図７に示すように、評価音データベース３１ａには、各音符（図７では、「レ」を例示している）に関連付けて、音程に対応付けられた音程評価音データセットＤ１、音量に対応付けられた音量評価音データセットＤ２、運指に対応付けられた運指評価音データセットＤ３、及び音価に対応付けられた音価評価音データセットＤ４からなる４つの評価音データセットが登録されている。

【0049】

例えば、音程評価音データセットＤ１には、音符毎に、音程が正しい手本となる１つ以上の音データと、少なくとも１つの間違った音程の音データとが登録されている。また、間違った音程の音データは、手本から音程が少し外れた音データであり、ユーザへの指導が必要と識別される音程の音データである。また、間違った音程の音データには、少なくとも一つの原因データが関連付けられている。例えば、原因データとして、「原因Ａ：運指の間違い」、「原因Ｂ：吹き方が強い」、「原因Ｃ：吹き方が弱い」等が挙げられる。

【0050】

また、音量評価音データセットＤ２には、音符毎に、音量が正しい手本となる１つ以上の音データと、少なくとも１つの間違った音量の音データとが登録されている。また、間違った音量の音データは、手本から音量が外れた音データであり、ユーザへの指導が必要と識別される音量の音データである。また、間違った音量の音データには、少なくとも一つの原因が関連付けられている。例えば、原因データとして、「原因Ｂ：吹き方が強い」、「原因Ｃ：吹き方が弱い」等が挙げられる。

【0051】

また、運指評価音データセットＤ３には、音符毎に、運指が正しい手本となる１つ以上の音データと、少なくとも１つの間違った運指の音データとが登録されている。また、間違った運指の音データには、少なくとも一つの原因データが関連付けられている。例えば、原因データとして、「原因Ａ：運指の間違い」等が挙げられる。

【0052】

また、音価評価音データセットＤ４には、音符毎に、音価が正しい手本となる１つ以上の音データと、少なくとも１つの間違った音価の音データとが登録されている。また、間違った音価の音データには、少なくとも一つの原因データが関連付けられている。例えば、原因として、「原因Ｄ：吹き方が長い」、「原因Ｅ：吹き方が短い」等が挙げられる。

【0053】

このように、評価音データベース３１ａには、その楽器、主に、管楽器によって発することのできる全ての音符の各々について、上述したそれぞれの評価音データセット群Ｄが登録されている。また、同じ音符に関連付けられた複数の評価音データセット、すなわち、音程評価音データセットＤ１、音量評価音データセットＤ２、運指評価音データセットＤ３、及び音価評価音データセットＤ４には、同一の原因が重複して登録されていてもよい。

【0054】

指導データベース３２ａには、例えば、図８に示すように、各原因データと指導データとが関連付けられて登録されている。例えば、指導データベース３２ａには、評価音データベース３１ａに登録されている各原因データに固有に割り当てられた識別情報に関連付けられて指導データが登録されている。指導データは、その原因を改善するための指導内容を含んでいる。例えば、「原因Ａ：運指の間違い」には、「正しい運指に直しましょう」等の指導内容が、「原因Ｂ：吹き方が強い」には、「吹く息を少し少なくしましょう」等の指導内容が、「原因Ｃ：吹き方が弱い」には、「吹く息を少し多くしましょう」等の指導内容が、「原因Ｄ：吹き方が長い」には、「吐く息をもう少し短くしましょう」等の指導内容が、「原因Ｅ：吹き方が短い」には、「吐く息をもう少し長くしましょう」等の指導内容が関連付けられている。また、指導データには、手本となる運指データが含まれていてもよい。

【0055】

データセット特定部３６ａは、評価音データベース３１ａから、音符特定部３５によって特定された音符に対応する評価音データセット群Ｄを特定する。例えば、音符特定部３５によって、「レ」の音符が特定された場合、データセット特定部３６ａは、その音符「レ」に関連付けられた音程評価音データセットＤ１、音量評価音データセットＤ２、運指評価音データセットＤ３、及び音価評価音データセットＤ４を特定する。

【0056】

音データ特定部３７ａは、特定された評価音データセット毎に、その評価音データセットに含まれる複数の音データと、ユーザによって演奏された音データとを照合することにより、いずれか一つの音データを特定する。例えば、音データ特定部３７ａは、各評価音データセットに含まれる複数の音データの各々と、ユーザによって演奏された音データとの類似度を演算し、最も類似度の高い音データを特定してもよい。

【0057】

例えば、データセット特定部３６ａによって、「レ」の音符に関連付けられた音程評価音データセットＤ１、音量評価音データセットＤ２、運指評価音データセットＤ３、及び音価評価音データセットＤ４が特定された場合、音データ特定部３７ａは、音程評価音データセットＤ１に含まれる手本となる音データ及び誤った音データの各々と、ユーザによって演奏された「レ」の音データとを照合する。そして、「レ」の音程評価音データセットＤ１に含まれる複数の音データの中から、ユーザによって演奏された「レ」の音データと最も類似度の高い音データを特定する。

【0058】

音データ特定部３７ａは、音量評価音データセットＤ２、運指評価音データセットＤ３、及び音価評価音データセットＤ４についてもそれぞれ同様の処理を行うことにより、音量評価音データセットＤ２、運指評価音データセットＤ３、及び音価評価音データセットＤ４のそれぞれについて、ユーザによって演奏された「レ」の音データと最も類似度の高い音データをそれぞれ特定する。これにより、各評価音データセットにおいて、それぞれ一つずつ音データが特定されることとなる。

【0059】

指導データ特定部３８ａは、評価音データセット毎に特定された各音データが、誤った音データである場合に、その音データに関連付けられた原因データを特定するとともに、特定した原因データに予め関連付けられて登録されている指導データを指導データベース３２ａから特定する。このとき、音データ特定部３７ａによって特定された音データに複数の原因データが関連付けられていた場合には、指導データ特定部３８ａは、その音データに関連付けられている全ての原因データを特定する。また、指導データ特定部３８ａは、複数の原因データを特定した場合に、特定した全ての原因データに対応する指導データを特定してもよいし、その中で最も数の多い原因データに対応する指導データを優先して特定することとしてもよい。

【0060】

例えば、音程評価音データセットＤ１において「原因Ａ」、「原因Ｂ」が、音量評価音データセットＤ２において「原因Ａ」、「原因Ｃ」が、運指評価音データセットＤ３において「原因Ａ」が、音価評価音データセットＤ４において「原因Ｅ」が、それぞれ特定された場合、これら複数の原因データの中で「原因Ａ」の数が最も多いこととなる。この場合、指導データ特定部３８ａは、「原因Ａ」に関連付けられている指導データを他の原因に関連付けられた指導データよりも優先的にユーザに対して提示するように通知部３９に出力することとしてもよい。

【0061】

通知部３９は、指導データ特定部３８ａによって特定された指導データを生徒用端末２に通知する。例えば、通知部３９は、楽譜データにおいて、誤った音として識別された音符に関連付けて指導データを貼付した指導データ付き楽譜データを作成し、作成した指導データ付き楽譜データを生徒用端末２に送信する。また、譜面データには、間違った音の原因についても含めることとしてもよい。なお、通知の方法は上記態様に限られない。すなわち、ユーザが誤った演奏をした箇所とその改善方法、好ましくは、その原因が通知されれば、その通知の方法は特に限定されない。

【0062】

以上説明してきたように、本実施形態に係る演奏指導装置１ａ及び演奏指導方法によれば、評価音データセットには、間違った音データに対して少なくとも一つの原因データが関連付けられており、指導データ特定部３８ａは、音データ特定部３７ａによって特定された音データが誤った音データである場合に、該誤った音データに関連付けられた原因データを特定するとともに、特定した原因データに予め関連付けられて登録されている指導データを特定する。これにより、ミスの原因を特定することが可能となる。更に、そのミスを改善するための指導データもユーザに提供するので、より効果的な指導を行うことが可能となる。

【0063】

また、本実施形態において、評価音データベース３１ａには、音符毎に、複数の要素に対応する複数の評価音データセットが登録されている。そして、各評価音データセットに含まれる複数の音データと、ユーザによって演奏された音データとを照合することにより、評価音データセット毎にいずれか一つの音データを特定する。そして、特定した各音データが誤った音データである場合に、該誤った音データに関連付けられた原因データを特定するとともに、特定した原因データに予め関連付けられて登録されている指導データを特定する。このように、要素毎にそれぞれ評価音データセットを登録しておき、これら複数の評価音データセットから原因データをそれぞれ特定するので、複数の要素を総合的に勘案して誤った演奏ミスの原因を特定することが可能となる。

【0064】

更に、指導データ特定部３８ａは、複数の要素に応じた複数の評価音データセットにおいて特定した複数の原因データのうち、最も数の多い原因データに対応する指導データを優先して特定する。これにより、演奏ミスの原因特定を高い精度で行うことができるとともに、その演奏ミスを改善するための指導データをユーザに提供することが可能となる。

【0065】

以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。また、上記実施形態を適宜組み合わせてもよい。
また、上記実施形態で説明した演奏指導方法の処理の流れも一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

【0066】

例えば、上述した各実施形態では、楽譜データと、演奏データとが異なるタイミングで演奏指導装置１へ送信される場合を例示して説明したが、これに限られない。例えば、ユーザが演奏を完了した後に、演奏データを演奏指導装置１に送信する場合には、演奏データとともに楽譜データを送信することとしてもよい。

【0067】

また、指導データの通知タイミング、換言すると、指導データ付き楽譜データの通知タイミングも上記実施形態の例に限られない。例えば、リアルタイムで演奏データを取得する態様においては、誤った音データが特定される度に、指導データ付き楽譜データを生成して通知することとしてもよい。この場合、生徒用端末２の表示部２６には、演奏を間違える度に、表示部２６に表示された楽譜データにおいて、演奏を間違えた音符に対応して指導データが随時追加されることとなる。

【0068】

また、リアルタイムで演奏データを取得する場合でも、演奏が終了した後に、指導データ付き楽譜データを送信することとしてもよい。この場合には、演奏すべてを通じて、誤った箇所にそれぞれ指導データが貼付された楽譜データが生徒用端末２の表示部２６に表示されることとなる。

【0069】

また、上記各実施形態では、演奏指導装置１が評価音データベース３１及び指導データベース３２を備える場合について例示したが、必ずしもこれらデータベースを演奏指導装置１が備えている必要はない。例えば、演奏指導装置１は、これらのデータベースとネットワークを介して接続されており、ネットワークを介して情報の授受を行うこととしてもよい。

【0070】

また、評価音データベース３１ａと指導データベース３２ａとに分けてデータを格納していたが、この例に限られない。例えば、評価音データベース３１ａと指導データベース３２ａとを統合し、１つのデータベースに評価音データセット及び指導データ等が格納されるような構成としてもよい。

【0071】

また、第１実施形態において、各評価音データセットに含まれる間違った音データに対して少なくとも一つの原因データが関連付けられていてもよい。このようにすることで、指導データだけでなく、その演奏ミスの原因についてもユーザに提示することができる。

【符号の説明】

【0072】

１、１ａ ：演奏指導装置
２ ：生徒用端末
５ ：ネットワーク
１１ ：ＣＰＵ
１２ ：メインメモリ
１３ ：記憶部
１４ ：通信部
１５ ：入力部
１６ ：表示部
２１ ：ＣＰＵ
２２ ：メインメモリ
２３ ：記憶部
２４ ：通信部
２５ ：入力部
２６ ：表示部
２７ ：マイク
２８ ：カメラ
３０ ：グローブ
３１、３１ａ ：評価音データベース
３２、３２ａ ：指導データベース
３３ ：楽譜データ取得部
３４ ：演奏データ取得部
３５ ：音符特定部
３６、３６ａ ：データセット特定部
３７、３７ａ ：音データ特定部
３８、３８ａ ：指導データ特定部
３９ ：通知部
４０ ：データ記憶部
１００ ：演奏指導システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】