特開 2023-182940 演奏モーション推定方法および演奏モーション推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023182940

(43)【公開日】2023-12-27

(54)【発明の名称】演奏モーション推定方法および演奏モーション推定装置

(51)【国際特許分類】

   G10G 1/00 20060101AFI20231220BHJP

   G10H 1/00 20060101ALI20231220BHJP

【ＦＩ】

G10G1/00

G10H1/00 A

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2022096219

(22)【出願日】2022-06-15

(71)【出願人】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】弁理士法人 楓国際特許事務所

(72)【発明者】

【氏名】竹本 拓真

(72)【発明者】

【氏名】藤島 琢哉

(72)【発明者】

【氏名】前澤 陽

(72)【発明者】

【氏名】植村 教裕

(72)【発明者】

【氏名】中村 吉就

(72)【発明者】

【氏名】山本 有樹

【テーマコード（参考）】

5D182

5D478

【Ｆターム（参考）】

5D182AA24

5D182AC10

5D478LL00

(57)【要約】

【課題】演奏者の演奏モーション推定の精度を向上させる演奏モーション推定方法を提供する。
【解決手段】本発明の一実施形態に係る演奏モーション推定方法は、楽器の演奏音に係る音信号を受け付けて、前記楽器に取り付けられた補助センサのセンサ信号を受け付けて、前記音信号および前記センサ信号に基づいて、演奏者の演奏モーションを推定する。
【選択図】図６

【特許請求の範囲】

【請求項1】

楽器の演奏音に係る音信号を受け付けて、
前記楽器に取り付けられた補助センサのセンサ信号を受け付けて、
前記音信号および前記センサ信号に基づいて、演奏者の演奏モーションを推定する、
演奏モーション推定方法。

【請求項2】

前記楽器はヘッドおよび弦を有する弦楽器であり、
前記補助センサは、前記ヘッドに取り付けられる、
請求項１に記載の演奏モーション推定方法。

【請求項3】

前記弦楽器はナットおよびペグを有し、
前記補助センサは、前記ナットから前記ペグの間の前記弦に取り付けられる、
請求項２に記載の演奏モーション推定方法。

【請求項4】

前記補助センサは、前記弦の内部を伝わる振動を検出する、
請求項３に記載の演奏モーション推定方法。

【請求項5】

前記補助センサは、前記楽器に着脱可能に取り付けられている、
請求項１乃至請求項４のいずれか１項に記載の演奏モーション推定方法。

【請求項6】

前記演奏モーションは、前記演奏者の右手および左手の演奏モーションを含む、
請求項１乃至請求項４のいずれか１項に記載の演奏モーション推定方法。

【請求項7】

演奏に関するイベントを示すイベントデータを取得し、
さらに、前記イベントデータに基づいて前記演奏モーションを推定する、
請求項１乃至請求項４のいずれか１項に記載の演奏モーション推定方法。

【請求項8】

前記補助センサは、前記楽器の位置または向きを検出するモーションセンサを含む、
請求項１乃至請求項４のいずれか１項に記載の演奏モーション推定方法。

【請求項9】

前記モーションセンサのセンサ信号に基づいて前記音信号の音響処理を行う、
請求項８に記載の演奏モーション推定方法。

【請求項10】

楽器の演奏音に係る音信号を受け付ける音信号受付部と、
前記楽器に取り付けられた補助センサのセンサ信号を受け付けるセンサ信号受付部と、
前記音信号および前記センサ信号に基づいて、演奏者の演奏モーションを推定する推定部と、
を備えた演奏モーション推定装置。

【請求項11】

前記楽器はヘッドおよび弦を有する弦楽器であり、
前記補助センサは、前記ヘッドに取り付けられる、
請求項１０に記載の演奏モーション推定装置。

【請求項12】

前記弦楽器はナットおよびペグを有し、
前記補助センサは、前記ナットから前記ペグの間の前記弦に取り付けられる、
請求項１１に記載の演奏モーション推定装置。

【請求項13】

前記補助センサは、前記弦の内部を伝わる振動を検出する、
請求項１２に記載の演奏モーション推定装置。

【請求項14】

前記補助センサは、前記楽器に着脱可能に取り付けられている、
請求項１０乃至請求項１３のいずれか１項に記載の演奏モーション推定装置。

【請求項15】

前記演奏モーションは、前記演奏者の右手および左手の演奏モーションを含む、
請求項１０乃至請求項１３のいずれか１項に記載の演奏モーション推定装置。

【請求項16】

演奏に関するイベントを示すイベントデータを取得するイベントデータ取得部をさらに備え、
前記推定部は、さらに、前記イベントデータに基づいて前記演奏モーションを推定する、
請求項１０乃至請求項１３のいずれか１項に記載の演奏モーション推定装置。

【請求項17】

前記補助センサは、前記楽器の位置または向きを検出するモーションセンサを含む、
請求項１０乃至請求項１３のいずれか１項に記載の演奏モーション推定装置。

【請求項18】

前記モーションセンサのセンサ信号に基づいて前記音信号の音響処理を行う音響処理部をさらに備えた、
請求項１７に記載の演奏モーション推定装置。

【発明の詳細な説明】

【技術分野】

【0001】

この発明の一実施形態は、演奏者の演奏モーションを推定する方法に関する。

【背景技術】

【0002】

特許文献１には、フレットセンサで指板と指の距離を検出し、フレットを突出させて演奏を補助する弦楽器が開示されている。

【0003】

特許文献２には、カメラで演奏者を撮影し、撮影結果に基づいて画像認識を用いてハーモニクス奏法を推定する撥弦楽器演奏評価装置が開示されている。

【0004】

特許文献３には、赤外線センサにより鍵盤楽器の演奏者の手をキャプチャし、ヘッドマウントディスプレイに演奏ガイドを表示する構成が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１０－８５６９２号公報

【特許文献2】特開２０１６－１９４６２９号公報

【特許文献3】特開２０１７－１８１８５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本開示のひとつの態様は、従来よりも演奏者の演奏モーション推定の精度を向上させる演奏モーション推定方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一実施形態に係る演奏モーション推定方法は、楽器の演奏音に係る音信号を受け付けて、前記楽器に取り付けられた補助センサのセンサ信号を受け付けて、前記音信号および前記センサ信号に基づいて、演奏者の演奏モーションを推定する。

【発明の効果】

【0008】

本発明の一実施形態によれば、演奏者の演奏モーション推定の精度を向上させることができる。

【図面の簡単な説明】

【0009】

【図1】演奏モーション推定システム１の構成を示す図である。

【図2】ギターアンプ１１の構成を示すブロック図である。

【図3】ユーザ端末１２の主要構成を示すブロック図である。

【図4】ＣＰＵ２０４の読み出すアプリケーションプログラムの機能ブロック図である。

【図5】アプリケーションプログラムの動作を示すフローチャートである。

【図6】エレキギター１０の一部拡大図である。

【図7】補助センサ１５の構成を示すブロック図である。

【図8】訓練段階におけるコンピュータ（サーバ）の動作を示すフローチャートである。

【図9】変形例１に係るＣＰＵ２０４の機能ブロック図である。

【図10】変形例５に係る補助センサ１５Ａの構成を示すブロック図である。

【発明を実施するための形態】

【0010】

図１は、演奏モーション推定システム１の一例を示す外観図である。演奏モーション推定システム１は、エレキギター１０、ギターアンプ１１、ユーザ端末１２、および補助センサ１５を有する。なお、本発明においてギターアンプ１１は必須ではない。エレキギター１０は、ギターアンプ１１を介さず、ユーザ端末１２に接続してもよい。

【0011】

エレキギター１０は、弦楽器の一例である。本実施形態では弦楽器の一例としてエレキギター１０を示すが、本発明の弦楽器は、他にも例えばエレキベースや、ヴァイオリン等のアコースティック楽器も含む。また、本発明の楽器は、弦楽器に限らない。本発明の楽器は、例えば、鍵盤楽器あるいは管楽器等の他の種類の楽器も含む。

【0012】

ギターアンプ１１は、オーディオケーブルを介してエレキギター１０に接続される。また、ギターアンプ１１は、一例としてＢｌｕｅｔｏｏｔｈ（登録商標）または無線ＬＡＮ等の無線通信によりユーザ端末１２に接続される。無論、ギターアンプ１１は、通信ケーブルを介してユーザ端末１２に接続してもよい。エレキギター１０は、演奏音に係るアナログ音信号をギターアンプ１１に出力する。なお、弦楽器がアコースティック楽器の場合、マイクあるいはマグネティックピックアップを用いてギターアンプ１１に音信号を入力する。

【0013】

図２はギターアンプ１１の構成を示すブロック図である。ギターアンプ１１は、表示器１０１、ユーザインタフェース（Ｉ／Ｆ）１０２、フラッシュメモリ１０３、ＣＰＵ１０４、ＲＡＭ１０５、ＤＳＰ１０６、通信Ｉ／Ｆ１０７、オーディオＩ／Ｆ１０８、Ａ／Ｄ変換器１０９、Ｄ／Ａ変換器１１０、アンプ１１１、およびスピーカ１１２を備えている。

【0014】

表示器１０１は、例えばＬＥＤ、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）またはＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等からなり、ギターアンプ１１の状態等を表示する。

【0015】

ユーザＩ／Ｆ１０２は、摘まみ、スイッチ、またはボタン等からなり、ユーザの操作を受け付ける。また、ユーザＩ／Ｆ１０２は、表示器１０１のＬＣＤに積層されるタッチパネルであってもよい。

【0016】

ＣＰＵ１０４は、記憶媒体であるフラッシュメモリ１０３に記憶されている各種プログラムをＲＡＭ１０５に読み出して、ギターアンプ１１を制御する。例えば、ＣＰＵ１０４は、ユーザＩ／Ｆ１０２を介して信号処理に係るパラメータを受け付けて、ＤＳＰ１０６およびアンプ１１１を制御する。

【0017】

通信Ｉ／Ｆ１０７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）または無線ＬＡＮ等を介して、例えばユーザ端末１２等の他装置に接続する。

【0018】

オーディオＩ／Ｆ１０８は、アナログオーディオ端子を有する。オーディオＩ／Ｆ１０８は、オーディオケーブルを介してエレキギター１０からアナログ音信号を受け付ける。

【0019】

Ａ／Ｄ変換器１０９は、オーディオＩ／Ｆ１０８で受け付けたアナログ音信号をデジタル音信号に変換する。

【0020】

ＤＳＰ１０６は、当該デジタル音信号にエフェクト等の各種の信号処理を施す。信号処理に係るパラメータは、ユーザＩ／Ｆ１０２を介して受け付ける。ＤＳＰ１０６は、信号処理を施した後のデジタル音信号をＤ／Ａ変換器１１０に出力する。

【0021】

ＣＰＵ１０４は、ＤＳＰ１０６で信号処理を施した後のデジタル音信号、または信号処理を施す前のデジタル音信号を、通信Ｉ／Ｆ１０７を介してユーザ端末１２に送信する。

【0022】

Ｄ／Ａ変換器１１０は、ＤＳＰ１０６から受け付けたデジタル音信号をアナログ音信号に変換する。アンプ１１１は、当該アナログ音信号を増幅する。増幅に係るパラメータは、ユーザＩ／Ｆ１０２を介して受け付ける。

【0023】

スピーカ１１２は、アンプ１１１で増幅されたアナログ音信号に基づいて、エレキギター１０の演奏音を出力する。

【0024】

図３はユーザ端末１２の構成を示すブロック図である。ユーザ端末１２は、パーソナルコンピュータまたはスマートフォン等の情報処理装置である。ユーザ端末１２は、表示器２０１、ユーザＩ／Ｆ２０２、フラッシュメモリ２０３、ＣＰＵ２０４、ＲＡＭ２０５、および通信Ｉ／Ｆ２０６を備えている。

【0025】

表示器２０１は、例えばＬＥＤ、ＬＣＤまたはＯＬＥＤ等からなり、種々の情報を表示する。ユーザＩ／Ｆ２０２は、表示器２０１のＬＣＤまたはＯＬＥＤに積層されるタッチパネルである。あるいは、ユーザＩ／Ｆ２０２は、キーボードまたはマウス等であってもよい。ユーザＩ／Ｆ２０２がタッチパネルである場合、該ユーザＩ／Ｆ２０２は、表示器２０１とともに、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成する。

【0026】

通信Ｉ／Ｆ２０６は、Ｂｌｕｅｔｏｏｔｈ（登録商標）または無線ＬＡＮ等の無線通信によりギターアンプ１１および補助センサ１５に接続される。ギターアンプ１１が通信ケーブルを介してユーザ端末１２に接続される場合、通信Ｉ／Ｆ２０６は、無線通信で補助センサ１５に接続され。ギターアンプ１１には通信ケーブルで接続される。

【0027】

ＣＰＵ２０４は、ユーザ端末１２の動作を制御する制御部である。ＣＰＵ２０４は、記憶媒体であるフラッシュメモリ２０３に記憶されたアプリケーションプログラム等の所定のプログラムをＲＡＭ２０５に読み出して実行することにより各種の動作を行なう。なお、プログラムは、サーバ（不図示）に記憶されていてもよい。ＣＰＵ２０４は、ネットワークを介してサーバからプログラムをダウンロードし、実行してもよい。ＣＰＵ２０４は、アプリケーションプログラムを実行することにより演奏モーション推定方法を実行する。

【0028】

図４は、ＣＰＵ２０４の読み出すアプリケーションプログラムの機能ブロック図である。ＣＰＵ２０４は、読み出したアプリケーションプログラムにより、音信号受付部５１、センサ信号受付部５２、推定部５３、および出力部５４を構成する。

【0029】

図５は、当該アプリケーションプログラムによる演奏モーション推定方法の動作を示すフローチャートである。音信号受付部５１は、通信Ｉ／Ｆ２０６を介して、ギターアンプ１１からエレキギター１０の演奏音に係るデジタル音信号を受け付ける（Ｓ１１）。また、センサ信号受付部５２は、通信Ｉ／Ｆ２０６を介して、補助センサ１５からセンサ信号を受け付ける（Ｓ１２）。

【0030】

図６は、エレキギター１０の一部拡大図である。図７は、補助センサ１５の構成を示すブロック図である。

【0031】

エレキギター１０は、ヘッド７１およびネック７２を有する。ヘッド７１には、ペグ７３が取り付けられている。ヘッド７１およびネック７２との境界部分には、ナット７４が取り付けられている。

【0032】

補助センサ１５は、ヘッド７１のうちナット７４からペグ７３の間に、例えばヘッド７１を表面側および裏面側を挟み込む様な状態で、着脱可能に取り付けられている。そのため、補助センサ１５は、演奏の邪魔になることはない。

【0033】

なお、補助センサ１５は、エレキギター１０のヘッド７１に埋め込まれていてもよいし、粘着剤等でヘッド７１に貼り付けてもよい。補助センサ１５は、粘着剤等でヘッド７１に貼り付ける、あるいはヘッドを挟み込む様に取り付ける場合、本実施形態のエレキギター１０に限らず、アコースティックギター等に取り付けることもできる。この様に補助センサ１５は、着脱可能に取り付けられることで、センサを内蔵していないギター等の楽器であっても取り付けることができ、どの様な楽器であっても演奏を阻害せずに本実施形態の演奏モーション推定方法を実行することができる。また、補助センサ１５は、ヘッド７１の裏面側の部分に取り付けてもよい。また、補助センサ１５は、ボディの裏面側に取り付けてもよい。これにより、補助センサ１５は、演奏の邪魔をせずにヘッド７１やボディの裏面側の振動を検出することもできる。

【0034】

補助センサ１５は、図７に示す様に、ピックアップ３０１、マイクロコントローラユニット（ＭＣＵ）３０２、バッテリ３０３、および通信Ｉ／Ｆ３０４を備えている。

【0035】

ピックアップ３０１は、ナット７４からペグ７３の間の弦振動に基づいた音信号を生成する。

【0036】

ＭＣＵ３０２は、メモリおよびプログラムを内蔵し、補助センサ１５の動作を制御する。ＭＣＵ３０２は、ピックアップ３０１で生成した音信号をセンサ信号として、通信Ｉ／Ｆ３０４を介してユーザ端末１２に送信する。

【0037】

通信Ｉ／Ｆ２０６は、Ｂｌｕｅｔｏｏｔｈ（登録商標）または無線ＬＡＮ等の無線通信により、センサ信号をユーザ端末１２に送信する。無論、補助センサ１５は、通信ケーブルを介してユーザ端末１２に接続してもよい。

【0038】

ユーザ端末１２の推定部５３は、補助センサ１５から受け付けたセンサ信号およびギターアンプ１１から受け付けた音信号に基づいて、演奏者の演奏モーションを推定する（Ｓ１３）。演奏モーションは、演奏者の右手および左手の演奏モーション情報を含む。

【0039】

例えば、右利きの演奏者は、左手でネック７２のフレットを押さえる。推定部５３は、左手の演奏モーションとして、エレキギター１０の第１弦から第６弦のそれぞれについて、押さえられているフレットの位置（運指情報）を推定する。

【0040】

また、右利きの演奏者は、右手で弦を弾く。演奏者は、第１弦側からまたは第６弦側から弦を弾く。推定部５３は、右手の演奏モーションとして、第１弦側から弾くアップストロークであるか、第６弦側から弾くダウンストロークであるか、推定する。推定部５３は、右手の演奏モーション情報として、ストローク情報を推定する。

【0041】

推定部５３は、エレキギター１０の演奏音と、補助センサ１５のセンサ信号と、演奏モーションと、の関係をＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）で訓練した訓練済モデル（ｔｒａｉｎｅｄ ｍｏｄｅｌ）に基づいて演奏モーションを推定する。訓練は、予め例えば楽器製造者の利用するコンピュータ（サーバ）で実行されるプログラムにより実現する。図８は、訓練段階におけるコンピュータ（サーバ）の動作を示すフローチャートである。

【0042】

訓練済モデルを生成するコンピュータは、訓練段階として、ある演奏を行った時の左右の手の演奏モーション情報と、エレキギター１０の演奏音と、センサ信号と、を含むデータセット（訓練用データ）を多数取得する（Ｓ２１）。コンピュータは、所定のモデルに、所定のアルゴリズムを用いてエレキギター１０の演奏音と、補助センサ１５のセンサ信号と、演奏モーション情報と、の関係を訓練させる（Ｓ２２）。

【0043】

本実施形態において、モデルを訓練させるためのアルゴリズムは限定されず、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）やＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の任意の機械訓練アルゴリズムを用いることができる。機械訓練アルゴリズムは、教師あり訓練、教師なし訓練、半教師訓練、強化訓練、逆強化訓練、能動訓練、あるいは転移訓練等であってもよい。また、推定部５３は、ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ：隠れマルコフモデル）やＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等の機械訓練モデルを用いてモデルを訓練させてもよい。

【0044】

ある特定の演奏モーションにより演奏を行った時の演奏音（エレキギター１０のボディ側の弦振動から取得した音信号）およびセンサ信号（ペグ７３およびナット７４の間の弦振動から取得した音信号）は一意に決まる。つまり、ある演奏モーションで演奏を行った時の左右の手の演奏モーション情報と、エレキギター１０の演奏音と、センサ信号と、は、相関関係を有する。したがって、コンピュータは、所定のモデルに、エレキギター１０の演奏音と、補助センサ１５のセンサ信号と、演奏モーション情報と、の関係を訓練させ、訓練済モデルを生成する（Ｓ２３）。

【0045】

推定部５３は、上記の訓練済モデルを、ネットワークを介してコンピュータ（例えば楽器製造者のサーバ）から取得する。推定部５３は、実行段階として、当該訓練済モデルにより、受け付けた現在の演奏音信号と、センサ信号と、を入力し、演奏モーション情報を推定する。より具体的には、推定部５３は、訓練済モデルにより、左手の運指情報と、右手のストローク情報と、を推定する。

【0046】

出力部５４は、推定部５３で推定した演奏モーションに係る情報を出力する（Ｓ１４）。演奏モーション情報は、例えば仮想空間内で仮想的に演奏を行う３Ｄモデルを動作させるための時系列のモーションデータに用いられる。

【0047】

本実施形態のユーザ端末１２のユーザは、エレキギター１０の演奏者である。エレキギター１０の演奏者は、自身の演奏音を配信するとともに仮想空間内で仮想的に演奏を行う自身の分身となる３Ｄモデルを動作させる。ただし、演奏音の配信を行うユーザと演奏者とは同じ人物である必要はない。ユーザ端末１２は、当該３Ｄモデルの動作を制御するためのモーションデータを生成する。ユーザ端末１２は、例えばモーションデータを生成するアプリケーションプログラムをフラッシュメモリ２０３からＲＡＭ２０５に読み出して実行する。

【0048】

モーションデータを生成するアプリケーションプログラムは、運指情報に基づいて、楽器の３Ｄモデルのネックの位置に、演奏者の３Ｄモデルの左手のボーンを配置するためのモーションデータを生成する。アプリケーションプログラムは、運指情報として例えばＣコード（Ｃの和音）を受け付けた場合、人差し指を第２弦の第１フレットに配置し、中指を第４弦の第２フレットに配置し、薬指を第５弦の第３フレットに配置するモーションデータを生成する。また、アプリケーションプログラムは、ストローク情報に基づいて、演奏者の３Ｄモデルの右手のボーンをアップストロークまたはダウンストロークで動作させるためのモーションデータを生成する。

【0049】

以上の様に、推定部５３は、音信号だけでなく、補助センサ１５のセンサ信号を用いて演奏モーションを推定することで、より高精度に演奏モーションを推定することができる。

【0050】

また、演奏者は、モーションキャプチャ用のセンサを身体に取り付ける必要なく、仮想空間内の演奏者の３Ｄモデルの動作を制御することができる。さらに、本実施形態の演奏モーション推定方法の利用者は、仮想空間内における仮想的な演奏をより臨場感を持って提供できるという顧客体験を享受できる。また、仮想的な演奏を試聴するリスナは、仮想空間内の３Ｄモデルをより臨場感を持って視聴できるという顧客体験を享受できる。

【0051】

（変形例１）
図９は、変形例１に係るＣＰＵ２０４の機能ブロック図である。ＣＰＵ２０４は、アプリケーションプログラムにより、音信号受付部５１、センサ信号受付部５２、推定部５３、出力部５４およびイベントデータ取得部５７を構成する。すなわち、変形例１のＣＰＵ２０４は、機能的に、さらにイベントデータ取得部５７を備えている。

【0052】

イベントデータ取得部５７は、イベントデータを取得する。イベントデータは、例えばＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）規格に準じた時系列のイベントデータであり、例えば曲毎の楽譜データに対応する。演奏者は、ユーザＩ／Ｆ２０２を介して演奏する曲を指定する。イベントデータ取得部５７は、指定された曲の楽譜データをサーバ（不図示）からダウンロードすることで、イベントデータを取得する。

【0053】

推定部５３は、音信号、センサ信号、およびイベントデータに基づいて演奏者の演奏モーションを推定する。イベントデータは、上記の様に楽譜データであり、演奏タイミングおよび音高を示す情報が含まれている。

【0054】

推定部５３は、演奏音、センサ信号、イベントデータ、および演奏モーションの関係を訓練した訓練済モデルに基づいて演奏モーションを推定する。これにより、推定部５３は、特に運指情報の推定精度を向上させることができる。

【0055】

（変形例２）
変形例２の推定部５３は、テーブルを参照して、演奏モーションを推定する。テーブルは、予め演奏音、センサ信号、および演奏モーションとの関係を規定している。当該テーブルは、予めユーザ端末１２のフラッシュメモリ２０３または不図示のサーバにおけるデータベースに登録されている。推定部５３は、演奏音およびセンサ信号でテーブルを参照して、対応する演奏モーションの情報を特定する。

【0056】

これにより、ユーザ端末１２は、人工知能アルゴリズムを用いることなく演奏モーションを推定することもできる。

【0057】

（変形例３）
上記実施形態では、補助センサ１５は、ヘッド７１のうちナット７４からペグ７３の間に取り付けられていた。しかし、補助センサ１５は、例えばネックとボディの境界部分、あるいはブリッジとピックアップの間等に取り付けてもよい。

【0058】

ただし、補助センサ１５は、ヘッド７１のうちナット７４からペグ７３の間に取り付けられることで、演奏の邪魔になることがない。

【0059】

（変形例４）
上記実施形態では、補助センサ１５は、マグネティックピックアップを有し、磁界変化に基づいて弦振動をセンサ信号として取得した。しかし、補助センサ１５は、マグネティックピックアップを備える例に限らない。例えば、補助センサ１５は、カメラにより、弦振動をセンサ信号として取得してもよい。あるいは、補助センサ１５は、左手および右手の映像をセンサ信号として取得してもよい。この場合も、カメラは、演奏を阻害しないために、エレキギター１０のヘッド７１に着脱可能に取り付ける、あるいは予め内蔵されていることが好ましい。

【0060】

この場合、推定部５３は、演奏音、カメラの映像、および演奏モーションの関係を訓練した訓練済モデルに基づいて演奏モーションを推定する。

【0061】

また、補助センサ１５は、ナット７４からペグ７３の間に配置されている弦に直接取り付けられてもよい。この場合、補助センサ１５は、例えば加速度センサである。補助センサ１５は、弦の加速度を検出し、センサ信号として出力する。また、補助センサ１５は、例えば圧電センサでもよい。この場合、補助センサ１５は、弦に直接接触して弦の微少な振動を検出し、センサ信号として出力する。これらの補助センサ１５は、弦自体に接触して弦内部に伝わる振動を取得する。これらの補助センサ１５は、複数の弦のそれぞれに取り付けられ、複数の弦のそれぞれの振動を検出する。この場合、補助センサ１５は、ナイロン弦等のマグネティックピックアップでは検出できない弦の振動を音信号として出力することができる。また、ヘッド７１のうちナット７４からペグ７３の間に配置されている弦に他の物体が直接接触しても、ボディ側のマグネティックピックアップで取得される演奏音に対する影響はほとんどない。したがって、補助センサ１５は、ナット７４からペグ７３の間に配置されている弦に直接取り付けられることで、演奏音を阻害せず、弦内部に伝わる振動を取得することができ、演奏モーションを推定するためのセンサ信号を適切に検出することができる。

【0062】

また、補助センサ１５は、ダイヤフラム型の振動検出センサであってもよい。この場合、補助センサ１５は、ヘッド７１またはボディ等に貼り付ける。補助センサ１５は、ヘッド７１やボディを伝わる弦の振動を検出することができる。

【0063】

（変形例５）
補助センサは、さらに楽器の位置または向きを検出するモーションセンサを含んでもよい。図１０は、変形例５に係る補助センサ１５Ａの構成を示すブロック図である。

【0064】

補助センサ１５Ａは、補助センサ１５の構成に加えて、さらに３軸加速度センサ３０５および位置センサ３０６を備えている。３軸加速度センサ３０５および位置センサ３０６は、それぞれモーションセンサの一例である。

【0065】

３軸加速度センサ３０５は、楽器の向きを検出する。位置センサ３０６は、楽器の位置を検出する。位置センサ３０６は、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）ビーコン等の屋内用の測位センサでもよいし、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等の屋外用測位センサでもよい。

【0066】

推定部５３は、３軸加速度センサ３０５で検出した楽器の向き、および位置センサ３０６で検出した楽器の位置を受け付けて、演奏モーションを推定する。ここで言う演奏モーションは、仮想空間内の楽器および演奏者の３Ｄモデルの位置および向きを制御するための情報を含む。

【0067】

出力部５４は、左手の運指情報、右手のストローク情報、楽器の位置情報、および楽器の向き情報を演奏モーション情報として出力する。ユーザ端末１２のモーションデータを生成するアプリケーションプログラムは、仮想空間内の楽器の３Ｄモデルの位置および向きを示す時系列のモーションデータを生成する。また、当該アプリケーションプログラムは、仮想空間内に配置した楽器の３Ｄモデルに合わせて演奏者の３Ｄモデルの位置および向きを示すモーションデータを生成する。例えば、アプリケーションプログラムは、配置したギターの３Ｄモデルの背面側に演奏者の３Ｄモデルを配置し、演奏者の左手のボーンをギターの３Ｄモデルのネック部分に配置する。また、アプリケーションプログラムは、演奏者の右手のボーンのうち肘に近い部分をギターのボディの上部に配置する。これにより、演奏者は、モーションキャプチャ用のセンサを身体に取り付ける必要なく、仮想空間内の楽器および演奏者３Ｄモデルの動作を制御することができる。

【0068】

（変形例６）
変形例６の推定部５３は、変形例５の様に３軸加速度センサ３０５で検出した楽器の向きおよび位置センサ３０６で検出した楽器の位置に加えて、演奏者の位置および向きを検出する。この場合、変形例５の様に３軸加速度センサ３０５および位置センサ３０６を演奏者が身につけて、推定部５３がこれらのセンサを用いて演奏者の位置および向きを検出してもよい。一方、変形例６の推定部５３は、楽器に取り付けられた３軸加速度センサ３０５および位置センサ３０６とは別のセンサ（例えばライブ会場に設置されたカメラ）を用いて演奏者の位置および向きを検出してもよい。例えば、推定部５３は、画像認識処理により、カメラで撮影した画像内の演奏者の位置および楽器の位置をそれぞれ検出する。推定部５３は、検出した演奏者の位置および楽器の位置に基づいて、演奏者と楽器の位置関係を推定する。出力部５４は、推定部５３で推定した演奏者と楽器の位置関係に基づいて、仮想空間内に配置した楽器の３Ｄモデルに対して、演奏者の３Ｄモデルの位置および向きを示すモーションデータを生成する。この場合も、演奏者は、モーションキャプチャ用のセンサを身体に取り付ける必要なく、仮想空間内の楽器および演奏者の３Ｄモデルの動作を制御することができる。

【0069】

（変形例７）
変形例７のユーザ端末１２は、上記のモーションセンサのセンサ信号に基づいて音信号に音響処理を施す。

【0070】

例えば、ユーザ端末１２は、エレキギター１０の演奏音に係る音信号にパニング処理等の音像定位処理を施す。ユーザ端末１２は、演奏音の音信号をＬチャンネルおよびＲチャンネルに分配し、楽器の位置に基づいてＬチャンネルおよびＲチャンネルの音量バランスを調整する。例えば、ユーザ端末１２は、センサ信号で示される楽器の位置情報が、仮想空間内の右側（リスナから向かって右側）にある場合には、Ｒチャンネルの音量を大きくし、Ｌチャンネルの音量を小さくする。これにより、演奏音は、リスナから向かって右側に定位する。したがって、演奏音のリスナは、仮想空間内の３Ｄモデルの位置に音像が定位する様に知覚することができる。

【0071】

また、例えば、ユーザ端末１２は、エレキギター１０の演奏音に係る音信号に頭部伝達関数（ＨＲＴＦ：Ｈｅａｄ－Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を畳み込むことで音像定位処理を施してもよい。頭部伝達関数は、音源の位置からリスナの右耳および左耳に至る伝達関数である。ユーザ端末１２は、楽器の位置情報に応じた頭部伝達関数をサーバ等から読み出して演奏音に係る音信号に畳み込む。これにより、リスナは、仮想空間内の３Ｄモデルの位置に音像が定位する様に知覚することができる。

【0072】

また、頭部伝達関数は、楽器の向きに応じて異なっていてもよい。ユーザ端末１２は、楽器の向き情報に応じた頭部伝達関数をサーバ等から読み出して演奏音に係る音信号に畳み込む。これにより、演奏音のリスナは、仮想空間内の３Ｄモデルの位置に音像が定位し、かつ楽器の向きによる音の変化も知覚することができる。

【0073】

これにより、リスナは、よりリアルな音像定位を体験することができ、従来では得られなかった顧客体験を得ることができる。

【0074】

（変形例８）
変形例８のユーザ端末１２は、訓練段階である訓練済モデルの生成と、実行段階である演奏モーションの推定と、を行う。つまり、モデルの訓練段階の動作と訓練済モデルの実行段階の動作は、１つの装置で行ってもよい。

【0075】

また、サーバが本発明の演奏モーション推定装置であってもよい。つまり、サーバは、モデルの訓練段階の動作と訓練済モデルの実行段階の動作を行ってもよい。この場合、ユーザ端末１２は、ネットワークを介して、演奏音に係る音信号およびセンサ信号の情報をサーバに送信し、サーバから演奏モーションを示す情報を受信する。

【0076】

また、ギターアンプ１１が本発明の演奏モーション推定装置であってもよい。ギターアンプ１１は、モデルの訓練段階の動作と訓練済モデルの実行段階の動作を行ってもよい。この場合、ギターアンプ１１は、演奏音に係る音信号およびセンサ信号を受け付けて、演奏モーションを示す情報を出力する。また、ギターアンプ１１のＤＳＰ１０６が変形例７で示した音響処理を行ってもよい。この場合、ＤＳＰ１０６が音響処理部として機能する。

【0077】

（変形例９）
上記実施形態の楽器はエレキギター１０であるため、左手の演奏モーションは運指情報であり、右手の演奏モーションは、ストローク情報であった。しかし、左手および右手の演奏モーションは、楽器の種類により異なる。例えば、楽器がベースである場合、右手の演奏モーションは、２フィンガー奏法の人差し指であるか、中指であるかを示す情報になる。あるいは、楽器がベースである場合、右手の演奏モーションは、スラップ奏法のサミングまたはプリングを示す情報になる。楽器が鍵盤楽器である場合、左手および右手の演奏モーションともに運指情報になる。

【0078】

（変形例１０）
上記実施形態で生成したモーションデータは、リアルタイムに配信する必要はない。例えば、生成したモーションデータは、ユーザ端末１２またはサーバ（不図示）等に記録してもよい。配信を行う利用者は、ユーザ端末１２またはサーバ（不図示）等に記録したモーションデータを用いて仮想空間内で仮想的に演奏を行う３Ｄモデルを動作させ、過去の演奏を再現した配信を行ってもよい。

【0079】

本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲は、特許請求の範囲と均等の範囲を含む。

【0080】

例えば、上記実施形態では、推定部５３は、エレキギター１０の演奏音と、補助センサ１５のセンサ信号と、演奏モーションと、の関係を訓練した訓練済モデルに基づいて演奏モーションを推定した。しかし、例えば、推定部５３は、補助センサ１５のセンサ信号と、演奏モーションと、の関係を訓練した訓練済モデルに基づいて演奏モーションを推定してもよい。この場合、推定部５３は、エレキギター１０の演奏音を入力することは必須ではない。

【0081】

また、上述した様に、本発明においてギターアンプ１１は必須ではない。ただし、ギターアンプ１１のＤＳＰを用いて演奏音にエフェクト等の信号処理を行うことで、ユーザ端末１２がこの様な信号処理を行う必要がなくなり、ユーザ端末１２の計算負荷を低減することができる。

【0082】

また、本実施形態の演奏モーション推定方法は、ユーザ端末１２ではなく補助センサ１５において行ってもよい。この場合、補助センサ１５は、推定した演奏モーション情報をユーザ端末１２に送信すればよい。

【符号の説明】

【0083】

１ ：演奏モーション推定システム
１０ ：エレキギター
１１ ：ギターアンプ
１２ ：ユーザ端末
１５，１５Ａ ：補助センサ
５１ ：音信号受付部
５２ ：センサ信号受付部
５３ ：推定部
５４ ：出力部
５７ ：イベントデータ取得部
７１ ：ヘッド
７２ ：ネック
７３ ：ペグ
７４ ：ナット
１０１ ：表示器
１０２ ：ユーザＩ／Ｆ
１０３ ：フラッシュメモリ
１０４ ：ＣＰＵ
１０５ ：ＲＡＭ
１０６ ：ＤＳＰ
１０７ ：通信Ｉ／Ｆ
１０８ ：オーディオＩ／Ｆ
１０９ ：Ａ／Ｄ変換器
１１０ ：Ｄ／Ａ変換器
１１１ ：アンプ
１１２ ：スピーカ
２０１ ：表示器
２０２ ：ユーザＩ／Ｆ
２０３ ：フラッシュメモリ
２０４ ：ＣＰＵ
２０５ ：ＲＡＭ
２０６ ：通信Ｉ／Ｆ
３０１ ：ピックアップ
３０３ ：バッテリ
３０４ ：通信Ｉ／Ｆ
３０５ ：３軸加速度センサ
３０６ ：位置センサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】