特許 7554887 演奏補助装置、演奏補助方法、及び、演奏補助プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-09-11

(45)【発行日】2024-09-20

(54)【発明の名称】演奏補助装置、演奏補助方法、及び、演奏補助プログラム

(51)【国際特許分類】

   G10H 1/00 20060101AFI20240912BHJP

   G10G 1/00 20060101ALI20240912BHJP

【ＦＩ】

G10H1/00 Z

G10G1/00

【請求項の数】 5

(21)【出願番号】P 2023126426

(22)【出願日】2023-08-02

【審査請求日】2023-08-02

【新規性喪失の例外の表示】特許法第３０条第２項適用 １．発行日令和４年８月３０日 細田真道、小林丈之、最知庸、阪内澄宇、内山匡、笹生恵理、山内竣平及び野口啓之が、第２１回情報科学技術フォーラム講演論文集（ＦＩＴ）Ｎｏ．Ｅ－０１５、第２４３頁－第２４６頁にて、細田真道及び小林丈之が発明したピアノフレーズ練習のＡＩ採点のための音特徴量比較方式について公開した。 ２．開催日令和４年９月１４日 細田真道、小林丈之、最知庸、阪内澄宇、内山匡、笹生恵理、山内竣平及び野口啓之が、ＦＩＴ２０２２ 第２１回情報科学技術フォーラムにて、細田真道及び小林丈之が発明したピアノフレーズ練習のＡＩ採点のための音特徴量比較方式について公開した。

(73)【特許権者】

【識別番号】399040405

【氏名又は名称】東日本電信電話株式会社

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(74)【代理人】

【識別番号】100170575

【弁理士】

【氏名又は名称】森 太士

(72)【発明者】

【氏名】細田 真道

(72)【発明者】

【氏名】小林 丈之

【審査官】大野 弘

(56)【参考文献】

【文献】特開２０１５－１９１１８８（ＪＰ，Ａ）

【文献】特開２０１９－０５３１７０（ＪＰ，Ａ）

【文献】特開２００７－２３３０７７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｈ １／００－１／４６

Ｇ１０Ｇ １／００－７／０２

(57)【特許請求の範囲】

【請求項1】

楽器演奏を補助する演奏補助装置において、
模範演奏及び間違い演奏の各楽譜データを記憶部に登録する登録部と、
楽器演奏の録音データを受け付ける受付部と、
前記模範演奏及び間違い演奏の各楽譜データと前記楽器演奏の録音データとを用いて、前記楽器演奏のミスをAIにより検出する検出部と、を備え、
前記検出部は、
前記楽器演奏の特徴量を表す時系列な第１特徴量データと前記模範演奏及び間違い演奏の各特徴量を表す時系列な各第２特徴量データとを抽出し、時系列データ同士の類似度を測るAIにより前記第１特徴量データと前記各第２特徴量データとの間の各距離の大きさを比較し、前記第１特徴量データに最も距離の近い第２特徴量データに係る模範演奏又は間違い演奏を検出することにより、前記楽器演奏での構成音ミスの有無及び構成音ミスがある場合には構成音ミスの位置を検出し、
前記楽器演奏の時系列な第１音圧データと前記模範演奏の時系列な第２音圧データとを抽出し、波形の形状を考慮して時系列データ同士の類似度を測るAIにより前記第１音圧データと前記第２音圧データとの間で対応関係にある音圧の各位置及び位置間の時間差を検出し、検出した前記楽器演奏での位置及び前記時間差が前記間違い演奏での位置及び時間差に該当するかを判定することにより、前記楽器演奏でのタイミングミスの有無及びタイミングミスがある場合にはタイミングミスの位置を検出する演奏補助装置。

【請求項2】

前記検出部は、
構成音ミスの楽譜データのみを用いて前記構成音ミスを検出し、タイミングミスの楽譜データのみを用いて前記タイミングミスを検出する請求項１に記載の演奏補助装置。

【請求項3】

前記時系列データ同士の類似度を測るAIは、
DTW（Dynamic Time Warping）であり、
前記波形の形状を考慮して時系列データ同士の類似度を測るAIは、
DDTW（Derivative DTW）である請求項１に記載の演奏補助装置。

【請求項4】

楽器演奏を補助する演奏補助方法において、
演奏補助装置が、
模範演奏及び間違い演奏の各楽譜データを記憶部に登録する第１ステップと、
楽器演奏の録音データを受け付ける第２ステップと、
前記模範演奏及び間違い演奏の各楽譜データと前記楽器演奏の録音データとを用いて、前記楽器演奏のミスをAIにより検出する第３ステップと、を行い、
前記第３ステップでは、
前記楽器演奏の特徴量を表す時系列な第１特徴量データと前記模範演奏及び間違い演奏の各特徴量を表す時系列な各第２特徴量データとを抽出し、時系列データ同士の類似度を測るAIにより前記第１特徴量データと前記各第２特徴量データとの間の各距離の大きさを比較し、前記第１特徴量データに最も距離の近い第２特徴量データに係る模範演奏又は間違い演奏を検出することにより、前記楽器演奏での構成音ミスの有無及び構成音ミスがある場合には構成音ミスの位置を検出し、
前記楽器演奏の時系列な第１音圧データと前記模範演奏の時系列な第２音圧データとを抽出し、波形の形状を考慮して時系列データ同士の類似度を測るAIにより前記第１音圧データと前記第２音圧データとの間で対応関係にある音圧の各位置及び位置間の時間差を検出し、検出した前記楽器演奏での位置及び前記時間差が前記間違い演奏での位置及び時間差に該当するかを判定することにより、前記楽器演奏でのタイミングミスの有無及びタイミングミスがある場合にはタイミングミスの位置を検出する演奏補助方法。

【請求項5】

請求項１に記載の演奏補助装置としてコンピュータを機能させる演奏補助プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、演奏補助装置、演奏補助方法、及び、演奏補助プログラムに関する。

【背景技術】

【0002】

ピアノ教室の生徒は、自宅でピアノ演奏を練習する場合には自分では演奏の間違いを認識することが困難である。そこで、演奏の間違いを検出して生徒に修正箇所としてアドバイスすることで、生徒の練習を補助する技術が求められている。その補助技術として、演奏をマイク録音して採点する技術がある（非特許文献１）。

【先行技術文献】

【非特許文献】

【0003】

【文献】“ソプラノリコーダー授業Plus”、ヤマハ株式会社、［online］、［令和5年7月10日検索］、＜URL: https://ses.yamaha.com/products/digital_soprano_plus/＞

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、ピアノのように複数の音程が同時に発音する可能性がある楽器においては、マイク録音からその構成音を認識し、演奏の間違いを検出することは困難であった。

【0005】

本開示は、上記に鑑みてなされたものであり、楽器演奏の構成音ミス及びタイミングミスの双方を高精度に検出可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の一態様の演奏補助装置は、楽器演奏を補助する演奏補助装置において、模範演奏及び間違い演奏の各楽譜データを記憶部に登録する登録部と、楽器演奏の録音データを受け付ける受付部と、前記模範演奏及び間違い演奏の各楽譜データと前記楽器演奏の録音データとを用いて、前記楽器演奏のミスをAIにより検出する検出部と、を備え、前記検出部は、前記楽器演奏の特徴量を表す時系列な第１特徴量データと前記模範演奏及び間違い演奏の各特徴量を表す時系列な各第２特徴量データとを抽出し、時系列データ同士の類似度を測るAIにより前記第１特徴量データと前記各第２特徴量データとの間の各距離の大きさを比較し、前記第１特徴量データに最も距離の近い第２特徴量データに係る模範演奏又は間違い演奏を検出することにより、前記楽器演奏での構成音ミスの有無及び構成音ミスがある場合には構成音ミスの位置を検出し、前記楽器演奏の時系列な第１音圧データと前記模範演奏の時系列な第２音圧データとを抽出し、波形の形状を考慮して時系列データ同士の類似度を測るAIにより前記第１音圧データと前記第２音圧データとの間で対応関係にある音圧の各位置及び位置間の時間差を検出し、検出した前記楽器演奏での位置及び前記時間差が前記間違い演奏での位置及び時間差に該当するかを判定することにより、前記楽器演奏でのタイミングミスの有無及びタイミングミスがある場合にはタイミングミスの位置を検出する。

【0007】

本開示の一態様の演奏補助方法は、楽器演奏を補助する演奏補助方法において、演奏補助装置が、模範演奏及び間違い演奏の各楽譜データを記憶部に登録する第１ステップと、楽器演奏の録音データを受け付ける第２ステップと、前記模範演奏及び間違い演奏の各楽譜データと前記楽器演奏の録音データとを用いて、前記楽器演奏のミスをAIにより検出する第３ステップと、を行い、前記第３ステップでは、前記楽器演奏の特徴量を表す時系列な第１特徴量データと前記模範演奏及び間違い演奏の各特徴量を表す時系列な各第２特徴量データとを抽出し、時系列データ同士の類似度を測るAIにより前記第１特徴量データと前記各第２特徴量データとの間の各距離の大きさを比較し、前記第１特徴量データに最も距離の近い第２特徴量データに係る模範演奏又は間違い演奏を検出することにより、前記楽器演奏での構成音ミスの有無及び構成音ミスがある場合には構成音ミスの位置を検出し、前記楽器演奏の時系列な第１音圧データと前記模範演奏の時系列な第２音圧データとを抽出し、波形の形状を考慮して時系列データ同士の類似度を測るAIにより前記第１音圧データと前記第２音圧データとの間で対応関係にある音圧の各位置及び位置間の時間差を検出し、検出した前記楽器演奏での位置及び前記時間差が前記間違い演奏での位置及び時間差に該当するかを判定することにより、前記楽器演奏でのタイミングミスの有無及びタイミングミスがある場合にはタイミングミスの位置を検出する。

【0008】

本開示の一態様の演奏補助プログラムは、上記演奏補助装置としてコンピュータを機能させる。

【発明の効果】

【0009】

本開示によれば、楽器演奏の構成音ミス及びタイミングミスの双方を高精度に検出可能な技術を提供できる。

【図面の簡単な説明】

【0010】

【図1】図１は、演奏音採点装置の機能ブロック構成を示す図である。

【図2】図２は、全体の処理フローを示す図である。

【図3】図３は、模範演奏の楽譜データの例を示す図である。

【図4】図４は、間違い演奏（構成音ミス）の楽譜データの例を示す図である。

【図5】図５は、間違い演奏（タイミングミス）の楽譜データの例を示す図である。

【図6】図６は、演奏ミスの検出処理フローを示す図である。

【図7】図７は、模範演奏の時系列な特徴量データの生成方法を示す図である。

【図8】図８は、間違い演奏の時系列な特徴量データの例を示す図である。

【図9】図９は、楽器演奏の時系列な特徴量データの生成方法を示す図である。

【図10】図１０は、模範演奏の特徴量データと正しい楽譜演奏の特徴量データとの間で検出されるパスのイメージを示す図である。

【図11】図１１は、演奏ミスの判定結果を示す図である。

【図12】図１２は、演奏ミスの検出処理フローを示す図である。

【図13】図１３は、タイミングミスの検出処理フローを示す図である。

【図14】図１４は、模範演奏と楽器演奏の音圧データの例を示す図である。

【図15】図１５は、タイミングミスの条件設定例を示す図である。

【図16】図１６は、演奏ミスの判定結果を示す図である。

【図17】図１７は、演奏音採点装置のハードウェア構成を示す図である。

【発明を実施するための形態】

【0011】

以下、本開示を実施する一実施形態について図面を用いて説明する。

【0012】

［概要］
ピアノ教室では、週１回、３０分程度のレッスンが行われ、ブルグミュラー等の教本の練習曲が進められる。生徒は、指導者から宿題を課され、自宅で毎日練習する。しかし、指導者が不在のため、生徒自ら演奏の良否を判断できない。初心者は誤った演奏に気づかないことが多く、自宅練習の効果が小さくなってしまう。

【0013】

そこで、本開示は自宅練習等での演奏を補助する技術を開示する。具体的には、自宅練習等での演奏の間違いをAIにより検出する。特に演奏の構成音ミス及びタイミングミスの双方を高精度に検出する。また、ピアノ等、電子楽器でないアコースティックな楽器の演奏の間違いを検出する。

【0014】

なお、ピアノは、楽器の例である。ピアノ教室は、本開示の適用ケースの例である。自宅練習は、演奏例である。本開示は、ピアノ、ピアノ教室、自宅練習に限らず、様々なケースに適用できる。例えば、ピアノではなくフルートにも適用できる。鍵盤楽器、打楽器、弦楽器、管楽器等、様々な楽器に適応できる。自宅ではなくカラオケ館でも適用できる。練習ではなく本番にも適用できる。

【0015】

［演奏音採点装置の構成］
図１は、本実施形態に係る演奏音採点装置１の機能ブロック構成を示す図である。

【0016】

演奏音採点装置１は、楽譜データ登録部１１と、楽譜データ記憶部１２と、録音データ受付部１３と、演奏ミス検出部１４と、演奏音採点部１５と、を備える。

【0017】

楽譜データ登録部１１と、楽譜データ記憶部１２と、録音データ受付部１３と、演奏ミス検出部１４とは、楽器演奏を補助する演奏補助装置である。

【0018】

楽譜データ登録部（登録部）１１は、模範演奏の楽譜データと間違い演奏の楽譜データを楽譜データ記憶部１２に登録する機能を備える。

【0019】

楽譜データ記憶部（記憶部）１２は、楽譜データ登録部１１により登録された模範演奏の楽譜データと間違い演奏の楽譜データを記憶する機能を備える。

【0020】

録音データ受付部（受付部）１３は、ユーザにより演奏された楽器演奏の録音データを受け付ける機能を備える。

【0021】

演奏ミス検出部１４（検出部）は、模範演奏の楽譜データと、間違い演奏の楽譜データと、楽器演奏の録音データとを用いて、ユーザによる楽器演奏のミスをAI（Artificial Intelligence）により検出する機能を備える。

【0022】

例えば、演奏ミス検出部１４は、時系列データ同士の類似度を測るAIにより、楽器演奏での構成音ミスの有無及び構成音ミスがある場合には構成音ミスの位置を検出する。演奏ミス検出部１４は、波形の形状を考慮して時系列データ同士の類似度を測るAIにより、楽器演奏のタイミングミスの有無及びタイミングミスがある場合にはタイミングミスの位置を検出する。

【0023】

演奏音採点部１５は、楽器演奏のミス（構成音ミス、タイミングミス）の検出結果を基に、楽器演奏の演奏音をAIにより採点する機能を備える。

【0024】

［演奏音採点装置の動作］
演奏音採点装置１の全体の動作を先に概説し、個々の動作を後で説明する。

【0025】

「時系列データ同士の類似度を測るAI」の例として、DP（Dynamic Programming）マッチングのDTW（Dynamic Time Warping）法を用いる。「波形の形状を考慮して時系列データ同士の類似度を測るAI」の例として、DDTW（Derivative DTW）法を用いる。

【0026】

図２は、演奏音採点装置１で行う全体の処理フローを示す図である。

【0027】

楽譜データ登録部１１は、ユーザにより入力された模範演奏の楽譜データと間違い演奏の楽譜データの登録を受け付け、受け付けた模範演奏の楽譜データと間違い演奏の楽譜データを楽譜データ記憶部１２に記憶させる（ステップＳ１０１）。

【0028】

次に、録音データ受付部１３は、模範演奏と同じ演奏曲についてユーザにより演奏された楽器演奏の録音データを受け付ける（ステップＳ１０２）。

【0029】

次に、演奏ミス検出部１４は、模範演奏の楽譜データと間違い演奏の楽譜データを楽譜データ記憶部１２から読み出し、それぞれの演奏と楽器演奏との時系列な各特徴量データをそれぞれ抽出し、互いの特徴量データをDPマッチングのDTW法により比較することで、ピアノ鍵盤等の押し間違いによる構成音ミスの有無及び構成音ミスがある場合には構成音ミスの位置を検出する（ステップＳ１０３）。

【0030】

次に、演奏ミス検出部１４は、模範演奏の楽譜データを楽譜データ記憶部１２から読み出し、模範演奏と楽器演奏との時系列な各音圧データをそれぞれ抽出し、互いの音圧データをDDTW法により比較してピアノ鍵盤等を押すタイミングの差分を検出し、そのタイミングの差分を間違い演奏のタイミングの差分と比較することで、ピアノ鍵盤等を押すタイミングが異なるタイミングミスの有無及びタイミングミスがある場合にはタイミングミスの位置を検出する（ステップＳ１０４）。

【0031】

最後に、演奏音採点部１５は、ステップＳ１０３で検出された楽器演奏の構成音ミスとステップＳ１０４で検出された楽器演奏のタイミングミスを基に、楽器演奏の演奏音をAIにより採点する（ステップＳ１０５）。

【0032】

例えば、演奏音採点部１５は、「弾けた」かどうか、どの位置をどのように間違えたか、修正アドバイス、次に練習すべき練習フレーズの推薦等を画面に表示する。

【0033】

図３は、模範演奏の楽譜データの例を示す図である。

【0034】

楽器演奏に対して模範（正解）となる模範演奏の楽器データが楽譜データ記憶部１２に記憶される。模範演奏に近い楽器演奏が行われた場合に備えて「弾けた！」という称賛フレーズが関連付けて記憶されている。

【0035】

図４と図５は、間違い演奏の楽譜データの例を示す図である。

【0036】

楽器演奏に対して典型的な間違い演奏の楽譜データと修正アドバイスフレーズが互いに関連付けて楽譜データ記憶部１２に記憶されている。

【0037】

図４に示したミスA～Cは、構成音ミスの楽譜データである。構成音ミスとは、模範演奏に対してピアノ鍵盤等の押し間違いのあるミスである。模範演奏の構成音に対して構成音が違う区間があり、音程ミス、和音タイミングのズレ、左右タイミングのズレ等を含む。

【0038】

図５に示したミスD～Fは、タイミングミスの楽譜データである。タイミングミスとは、模範演奏に対してピアノ鍵盤等の押す又は離すタイミングに間違いのあるミスである。構成音は全区間で正しいが、タイミングの伸び縮みがある。

【0039】

図３に例示した称賛フレーズと図４及び図５に例示した修正アドバイスフレーズは、演奏音採点部１６により楽器演奏の演奏音の採点結果が表示される際に利用される。

【0040】

模範演奏の楽譜データと間違い演奏の楽譜データの作成方法について補足する。

【0041】

練習曲の楽譜データを全て登録してもよいが、練習曲を課題要素に分解することが好ましい。容易なものから一つずつ継続的に達成感が得られるように、短い４～８小節程度等、課題要素毎、細かい段階的難易度毎に、練習フレーズを多数用意することが好ましい。間違い演奏は、１種類以上であればよい。このような楽譜データを生成することで、宿題の効果が高まり、効率よく練習曲を弾けるようになる。

【0042】

図６は、演奏ミス検出部１４で行う演奏ミスの検出処理フローを示す図である。

【0043】

演奏ミス検出部１４は、模範演奏の楽譜データと間違い演奏の楽譜データを楽譜データ記憶部１２から読み出し、それぞれについて、図７に示すように、楽譜データからSMF（Standard MIDI File）を機械的に生成し、SMFからWAV（Waveform Audio Format）を機械的に生成し、WAVから特徴量を抽出することにより、模範演奏モデルWAVの時系列な特徴量データと間違い演奏モデルWAVの時系列な特徴量データを生成する（ステップＳ２０１）。

【0044】

SMFとは、タイミング情報とともにMIDIメッセージ（打鍵：ノートON、離鍵：ノートOFF、音高：ノート番号、強さ：ベロシティ等の情報）が記録されたファイルである。WAVとは、音楽ファイルの一形式である。

【0045】

これにより、図７の最下段に例示する時系列な特徴量データが抽出される。この特徴量データは、一般にスペクトログラムと呼ばれ、音の時系列の周波数成分を示したものである。横軸は、時刻である。縦軸は、音高（音階、周波数を対数軸にしたもの）である。

【0046】

図７の例では、白い箇所は周波数成分が強い箇所を表し、黒い箇所は周波数成分が弱い箇所を表す。C4がピアノでいう中央のドであり、C3はC4より1オクターブ低いド（周波数はC4の半分）であり、C5はC4より1オクターブ高いド（周波数はC4の倍）である。図７に例示した特徴量データより、どの鍵盤をいつ打鍵していつ離鍵すべきかがわかる。

【0047】

図８は、ミスA（構成音ミス）の時系列な特徴量データを示す図である。矢印で示した箇所が、図７に示した模範演奏の特徴量データと異なる。

【0048】

なお、模範演奏モデルWAVの特徴量データと間違い演奏モデルWAVの特徴量データは、楽典やピアノ等指導の知識と経験がある指導者等なら容易に作成可能である。統計学や情報処理のリテラシー不要と言える。指導者等がこれらのモデルを作成した場合には、ステップＳ２０１は省略可能である。

【0049】

次に、演奏ミス検出部１４は、ユーザにより演奏された楽器演奏の録音データについて、図９に示すように、録音データからWAVを機械的に生成し、WAVから特徴量を抽出することにより、楽器演奏WAVの時系列な特徴量データを生成する（ステップＳ２０２）。

【0050】

なお、楽器演奏の録音データは、スマートフォンやタブレット端末等のマイクを用いて録音する。このように、楽器演奏の録音データを利用するので、MIDI非対応のアコースティックな楽器でも本開示を適用できる。

【0051】

また、楽器演奏の録音データは、プライバシーを考慮する必要性がある場合がある。そのため、クラウドで採点を行う場合には、録音から特徴量の抽出までをローカルで行い、音声等の復元が難しくなった特徴量データのみをクラウドへ送信して採点依頼する構成にすることが好ましい。

【0052】

次に、演奏ミス検出部１４は、楽器演奏WAVの特徴量データと模範演奏モデルWAV及び各間違い演奏モデルWAVの各特徴量データとの間のDTW距離をそれぞれ計算する（ステップＳ２０３）。

【0053】

具体的には、楽器演奏WAVの特徴量データと模範演奏モデルWAVの特徴量データとの間のDTW距離を計算する。同様に、楽器演奏WAVの特徴量データと間違い演奏モデルWAV（ミスA）の特徴量データとの間のDTW距離を計算する。ミスB～Fについても楽器演奏WAVの特徴量データとの間のDTW距離をそれぞれ計算する。

【0054】

DTWとは、DPマッチングの一種である。テンプレートマッチングやパターンマッチング等、時系列データ同士の類似度を測る際に用いられる。具体的には、第１の時系列データと第２の時系列データの２つの時系列データについて、第１の時系列データに含まれる各点と第２の時系列データに含まれる各点との間の距離を全て求め、第１の時系列データと第２の時系列データとの間で最短となるパスを検出する方法である。この最短となるパスの距離をDTW距離と呼ぶ。

【0055】

例えば、模範演奏モデルWAVの特徴量データと正しい楽譜演奏WAVの特徴量データとの関係については、図１０に示すようなパスが計算される。横軸は、模範演奏の楽譜の通りに演奏した正しい楽譜演奏WAVの時系列の特徴量データである。縦軸は、模範演奏モデルWAVの時系列の特徴量データである。互いの各ノートＯＮ時刻（打鍵時刻）はテンポの差はあるものの同じ比率で進行しているので、各打鍵時刻を経由するパスの傾きは一定となり距離は最短になる。

【0056】

次に、演奏ミス検出部１４は、計算した計７つのDTW距離を互いに比較し、最も近いDTW距離を判定することで、模範演奏及び間違い演奏の中から楽器演奏に最も近い演奏を判定する（ステップＳ２０４）。

【0057】

最後に、演奏ミス検出部１４は、判定した演奏を基に、楽器演奏のミスの有無を検出する（ステップＳ２０５）。

【0058】

具体的には、ミスAに一番近い場合には、楽器演奏はミスAと同様の構成音ミスがあったと検出し、ミスAの楽譜データに関連付けられた修正アドバイスフレーズを演奏音採点部１５へ渡す。ミスD～Fのタイミングミスについても同様に行う。模範演奏に一番近い場合には、ミスがなかったと検出し、模範演奏の楽譜データに関連付けられた称賛フレーズを演奏音採点部１５へ渡す。

【0059】

図１１は、演奏ミス検出部１４によるミスの判定結果を示す図である。

【0060】

楽器にはグランドピアノ、アップライトピアノ、電子ピアノ（重い鍵盤）、キーボード（軽い鍵盤）の４種類を用いた。Op.13248の楽譜について、模範演奏の楽譜データとミスA～Fの楽譜データの計７種類の楽譜データを用いた。種類の異なる複数のスマートフォンとタブレット端末を用いて４種類の楽器演奏を同時に録音した。図１１は、その評価結果の一部である。

【0061】

ミスA～Cの構成音ミスについては、正しい判定率が高く示された。一方、ミスD～Fのタイミングミスや正しい楽譜を演奏した場合については、正しい判定率が低いことが分かる。

【0062】

この点について検討する。タイミングミスの判定については、図１０に示したようなパスの傾きで判定可能とも考えられる。しかし、DTWはそもそも２つの時系列データ内の各点（ノートＯＮ時刻）の時間軸方向の伸縮やズレを許容しているため、時系列データ同士で対応する点同士の位置が前後にズレるので、パスの傾きでタイミングミスを判定することは困難である。つまり、DTWではタイミングミスを検出することは困難である。

【0063】

そこで、タイミングミスについては、時系列データの波形を考慮して対応関係を求める方法を用いる。具体的には、例えば、上述DDTW法、特徴量の時系列データを微分した後にDTWを行う方法を用いる。

【0064】

また、演奏ミスの検出を２段階で行う。具体的には、１段目では、ミスA～Cの楽譜データを用いてDTWにより構成音ミスを検出する。２段目では、ミスD～Fの楽譜データを用いてDDTW又は微分後のDTWによりタイミングミスを検出する。２段目の検出方法では時系列データの波形が考慮されているので、時系列データ同士で対応する点同士の位置が前後にズレることがなくなり、対応する打鍵時刻を判定できる。

【0065】

図１２は、演奏ミス検出部１４で行う演奏ミスの検出処理フローを示す図である。

【0066】

図６に示したステップＳ２０５を改良している。

【0067】

演奏ミス検出部１４は、１段目の処理において、ミスA～Cの楽譜データを用いてステップＳ２０１～Ｓ２０４を行い、ステップＳ２０４の判定の結果、楽器演奏に最も近い演奏が模範演奏であるか否かを判定する（ステップＳ３０１）。

【0068】

楽器演奏に最も近い演奏が模範演奏である場合には、演奏ミス検出部１４は、２段目の処理へ進み、ミスD～Fの楽譜データを用いてタイミングミスを検出する（ステップＳ３０２）。

【0069】

楽器演奏に最も近い演奏が模範演奏でない場合には、演奏ミス検出部１４は、最も近い間違い演奏（ミスA～Cのうちいずれかの構成音ミス）と同様の構成音ミスがあったと検出し、処理を終了する（ステップＳ３０３）。

【0070】

図１３は、演奏ミス検出部１４で行うタイミングミスの検出処理フローを示す図である。

【0071】

ステップＳ３０２の詳細である。

【0072】

演奏ミス検出部１４は、模範演奏モデルWAVから時系列な音圧データを抽出する（ステップＳ４０１）。

【0073】

次に、演奏ミス検出部１４は、楽器演奏WAVから時系列な音圧データを抽出する（ステップＳ４０２）。

【0074】

次に、演奏ミス検出部１４は、模範演奏モデルWAVの音圧データと楽器演奏WAVの音圧データをDDTWで比較し、対応関係にある音圧のピーク時刻（打鍵時刻）を検出し、１つ前の打鍵時刻との差分（打鍵時間間隔）を求める（ステップＳ４０３）。

【0075】

DDTWは、２つの時系列データ間の変化具合に着目した方法である。時系列データ同士で対応する点の時刻を検出できる。つまり、図１４に示すように、模範演奏モデルWAVに付与済みの既知の打鍵時刻が楽器演奏WAVのどの時刻に対応し、どの程度伸び縮みしたかを計算できる。

【0076】

次に、演奏ミス検出部１４は、ピーク検出した音圧の時刻（打鍵時刻）とその１つ前の打鍵時刻間の長さ（打鍵時間間隔）が、間違い演奏（ミスD～F）に表されたそれらに該当するか否かを判定する（ステップＳ４０４）。

【0077】

例えば、図１５に示すように、間違い演奏の楽譜データに対して、模範演奏の楽譜データとの間でミスのある打鍵位置とその打鍵時間間隔を予め設定しておく。そして、ステップＳ４０３で検出した打鍵時刻と打鍵時間間隔が、ミスD～Fに設定されたどの打鍵位置と打鍵時間間隔の伸び縮みの閾値の組み合わせに該当するかを判定する。

【0078】

この際に、楽器演奏WAVと模範演奏モデルWAVのテンポの違いを補正してもよい。いずれの演奏もテンポが一定であるとみなして、それぞれの最後の打鍵時刻と最初の打鍵時刻の差分を取って、その比率をテンポ比として打鍵時間間隔を補正してから閾値と比較する。

【0079】

間違い演奏（ミスD～F）の楽譜データのうちいずれかに該当する場合には、演奏ミス検出部１４は、該当するタイミングミスがあったことを検出し、該当する間違い演奏に関連付けられた修正アドバイスフレーズ（図５）を演奏音採点部１５へ渡す（ステップＳ４０５）。

【0080】

例えば、ミスFの判定条件を満たした場合には、楽器演奏はミスFと同様のタイミングミスがあったと検出し、ミスFに関連付けられたアドバイスフレーズを演奏音採点部１５へ渡す。

【0081】

間違い演奏（ミスD～F）の楽譜データのうちいずれにも該当しない場合、つまり、ミスD～Fのいずれの判定条件も満たさない場合には、演奏ミス検出部１４は、タイミングミスもなかったと検出し、模範演奏に関連付けられた称賛フレーズ（図３）を演奏音採点部１５へ渡す（ステップＳ４０６）。

【0082】

その後、演奏音採点部１５は、構成音ミス又はタイミングミスの有無の検出結果に基づいて楽器演奏の演奏音を採点し、その採点結果を画面に表示し、称賛フレーズ又は修正アドバイスフレーズを画面に表示する。

【0083】

図１６は、演奏ミス検出部１４による演奏ミスの判定結果を示す図である。正しい楽譜演奏やミスD～Fのタイミングミスについて、図１１に示した判定結果に比べて正しく判定した率が向上したことが分かる。

【0084】

［変形例］
本実施形態では、先に構成音ミスを検出したが、先にタイミングミスを検出してもよいし、タイミングミスと構成音ミスを同時に検出してもよい。

【0085】

［効果］
本実施形態によれば、演奏ミス検出部１４が、楽器演奏の特徴量を表す時系列な第１特徴量データと模範演奏及び間違い演奏の各特徴量を表す時系列な各第２特徴量データとを抽出し、時系列データ同士の類似度を測るAIにより第１特徴量データと各第２特徴量データとの間の各距離の大きさを比較し、第１特徴量データに最も距離の近い第２特徴量データに係る模範演奏又は間違い演奏を検出することにより、楽器演奏での構成音ミスの有無及び構成音ミスがある場合には構成音ミスの位置を検出し、楽器演奏の時系列な第１音圧データと模範演奏の時系列な第２音圧データとを抽出し、波形の形状を考慮して時系列データ同士の類似度を測るAIにより第１音圧データと第２音圧データとの間で対応関係にある音圧の各位置及び位置間の時間差を検出し、検出した楽器演奏での位置及び時間差が間違い演奏での位置及び時間差に該当するかを判定することにより、楽器演奏でのタイミングミスの有無及びタイミングミスがある場合にはタイミングミスの位置を検出するので、楽器演奏の構成音ミス及びタイミングミスの双方を高精度に検出できる。

【0086】

また、本実施形態によれば、楽器演奏の録音データを用いて楽器演奏のミスを検出するので、電子楽器でないアコースティックな楽器の演奏の間違いを検出できる。

【0087】

また、本実施形態によれば、演奏ミス検出部１４が、構成音ミスの楽譜データのみを用いて構成音ミスを検出し、タイミングミスの楽譜データのみを用いてタイミングミスを検出するので、楽器演奏の構成音ミス及びタイミングミスの双方をより高精度に検出できる。

【0088】

［その他］
本開示は、上記実施形態に限定されない。本開示は、本開示の要旨の範囲内で数々の変形が可能である。

【0089】

上記説明した本実施形態の演奏音採点装置１は、例えば、図１７に示すように、ＣＰＵ９０１と、メモリ９０２と、ストレージ９０３と、通信装置９０４と、入力装置９０５と、出力装置９０６と、を備えた汎用的なコンピュータシステムを用いて実現できる。メモリ９０２及びストレージ９０３は、記憶装置である。当該コンピュータシステムにおいて、ＣＰＵ９０１がメモリ９０２上にロードされた所定のプログラムを実行することにより、演奏音採点装置１の各機能が実現される。

【0090】

演奏音採点装置１は、１つのコンピュータで実装されてもよい。演奏音採点装置１は、複数のコンピュータで実装されてもよい。演奏音採点装置１は、コンピュータに実装される仮想マシンであってもよい。演奏音採点装置１用のプログラムは、ＨＤＤ、ＳＳＤ、ＵＳＢメモリ、ＣＤ、ＤＶＤ等のコンピュータ読取り可能な記録媒体に記憶できる。コンピュータ読取り可能な記録媒体とは、例えば、非一時的な記録媒体である。演奏音採点装置１用のプログラムは、通信ネットワークを介して配信することもできる。

【0091】

［付記］
本出願は、以下の発明を開示する。

【0092】

（付記１）
楽器演奏を補助する演奏補助装置において、
模範演奏及び間違い演奏の各楽譜データを記憶部に登録する登録部と、
楽器演奏の録音データを受け付ける受付部と、
前記模範演奏及び間違い演奏の各楽譜データと前記楽器演奏の録音データとを用いて、前記楽器演奏のミスをAIにより検出する検出部と、を備え、
前記検出部は、
前記楽器演奏の特徴量を表す時系列な第１特徴量データと前記模範演奏及び間違い演奏の各特徴量を表す時系列な各第２特徴量データとを抽出し、時系列データ同士の類似度を測るAIにより前記第１特徴量データと前記各第２特徴量データとの間の各距離の大きさを比較し、前記第１特徴量データに最も距離の近い第２特徴量データに係る模範演奏又は間違い演奏を検出することにより、前記楽器演奏での構成音ミスの有無及び構成音ミスがある場合には構成音ミスの位置を検出し、
前記楽器演奏の時系列な第１音圧データと前記模範演奏の時系列な第２音圧データとを抽出し、波形の形状を考慮して時系列データ同士の類似度を測るAIにより前記第１音圧データと前記第２音圧データとの間で対応関係にある音圧の各位置及び位置間の時間差を検出し、検出した前記楽器演奏での位置及び前記時間差が前記間違い演奏での位置及び時間差に該当するかを判定することにより、前記楽器演奏でのタイミングミスの有無及びタイミングミスがある場合にはタイミングミスの位置を検出する演奏補助装置。

【0093】

（付記２）
前記検出部は、
構成音ミスの楽譜データのみを用いて前記構成音ミスを検出し、タイミングミスの楽譜データのみを用いて前記タイミングミスを検出する付記１に記載の演奏補助装置。

【0094】

（付記３）
前記時系列データ同士の類似度を測るAIは、
DTW（Dynamic Time Warping）であり、
前記波形の形状を考慮して時系列データ同士の類似度を測るAIは、
DDTW（Derivative DTW）である付記１に記載の演奏補助装置。

【符号の説明】

【0095】

１ 演奏音採点装置（演奏補助装置を含む）
１１ 楽譜データ登録部（登録部）
１２ 楽譜データ記憶部（記憶部）
１３ 録音データ受付部（受付部）
１４ 演奏ミス検出部（検出部）
１５ 演奏音採点部
９０１：ＣＰＵ
９０２：メモリ
９０３：ストレージ
９０４：通信装置
９０５：入力装置
９０６：出力装置

【要約】

【課題】楽器演奏の構成音ミス及びタイミングミスの双方を高精度に検出可能な技術を提供する。
【解決手段】演奏ミス検出部１４は、楽器演奏の特徴量を表す時系列な第１特徴量データと模範演奏及び間違い演奏の各特徴量を表す時系列な各第２特徴量データとを抽出し、AIにより第１特徴量データと各第２特徴量データとの間の各距離の大きさを比較し、第１特徴量データに最も距離の近い第２特徴量データに係る模範演奏又は間違い演奏を検出することにより、楽器演奏での構成音ミスの有無及び位置を検出し、楽器演奏の時系列な第１音圧データと模範演奏の時系列な第２音圧データとを抽出し、AIにより第１音圧データと第２音圧データとの間で対応関係にある音圧の各位置及び位置間の時間差を検出し、検出した楽器演奏での位置及び時間差が間違い演奏での位置及び時間差に該当するかを判定することにより、楽器演奏でのタイミングミスの有無及び位置を検出する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】