特開 2023-182939 モデルデータ制御方法およびモデルデータ制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023182939

(43)【公開日】2023-12-27

(54)【発明の名称】モデルデータ制御方法およびモデルデータ制御装置

(51)【国際特許分類】

   G06T 13/40 20110101AFI20231220BHJP

   G10H 1/00 20060101ALI20231220BHJP

   G06F 3/01 20060101ALI20231220BHJP

   G06F 3/04815 20220101ALI20231220BHJP

   G10H 1/18 20060101ALN20231220BHJP

【ＦＩ】

G06T13/40

G10H1/00 Z

G06F3/01 510

G06F3/04815

G10H1/18 Z

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2022096218

(22)【出願日】2022-06-15

(71)【出願人】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】弁理士法人 楓国際特許事務所

(72)【発明者】

【氏名】竹本 拓真

(72)【発明者】

【氏名】藤島 琢哉

(72)【発明者】

【氏名】前澤 陽

(72)【発明者】

【氏名】植村 教裕

(72)【発明者】

【氏名】中村 吉就

(72)【発明者】

【氏名】山本 有樹

【テーマコード（参考）】

5B050

5D478

5E555

【Ｆターム（参考）】

5B050AA08

5B050AA09

5B050BA08

5B050BA09

5B050BA13

5B050CA01

5B050DA01

5B050EA07

5B050EA10

5B050EA24

5B050EA26

5B050FA02

5B050FA10

5D478CC14

5D478CC22

5D478CC23

5E555AA27

5E555AA76

5E555BA02

5E555BA06

5E555BA90

5E555BB02

5E555BB06

5E555BB40

5E555BC01

5E555BE17

5E555CA42

5E555CA44

5E555CB19

5E555CB21

5E555CC22

5E555DA23

5E555DB53

5E555DC25

5E555DD07

5E555EA05

5E555EA07

5E555EA22

5E555FA00

(57)【要約】

【課題】演奏者と楽器のモデルデータをより自然に表現することができるモデルデータ制御方法を提供する。
【解決手段】モデルデータ制御方法は、演奏者の第１モデルデータと楽器の第２モデルデータとを受け付けて、前記演奏者または前記楽器のサイズに関連するキャリブレーションデータを受け付けて、前記演奏者のモーションデータを受け付けて、前記第１モデルデータまたは前記第２モデルデータのサイズを前記キャリブレーションデータで補正し、補正後の前記第１モデルデータおよび前記第２モデルデータをレンダリングし、前記モーションデータを用いて前記第１モデルデータを制御する。
【選択図】 図４

【特許請求の範囲】

【請求項1】

演奏者の第１モデルデータと楽器の第２モデルデータとを受け付けて、
前記演奏者または前記楽器のサイズに関連するキャリブレーションデータを受け付けて、
前記演奏者のモーションデータを受け付けて、
前記第１モデルデータまたは前記第２モデルデータを前記キャリブレーションデータで補正し、補正後の前記第１モデルデータおよび前記第２モデルデータをレンダリングし、前記モーションデータを用いて前記第１モデルデータを制御する、
モデルデータ制御方法。

【請求項2】

前記楽器の製品名に関する情報を受け付けて、
前記製品名に関する情報に基づいて、前記楽器のサイズに関連するキャリブレーションデータを求める、
請求項１に記載のモデルデータ制御方法。

【請求項3】

前記楽器を撮影した画像データを受け付けて、
前記画像データに基づいて前記製品名に関する情報を求める、
請求項２に記載のモデルデータ制御方法。

【請求項4】

前記演奏者が前記楽器を特定の演奏手法で演奏した時の特殊演奏音を受け付けて、
前記特殊演奏音に基づいて、前記演奏者のサイズに関連するキャリブレーションデータを求める、
請求項１乃至請求項３のいずれか１項に記載のモデルデータ制御方法。

【請求項5】

前記キャリブレーションデータに基づいて、前記第１モデルデータもしくは前記第２モデルデータのサイズ、または前記第１モデルデータおよび前記第２モデルデータの相対的な位置関係を補正する、
請求項１乃至請求項３のいずれか１項に記載のモデルデータ制御方法。

【請求項6】

前記第２モデルデータに基づいて前記楽器の放音位置および放音方向を推定し、
前記楽器の演奏音を受け付けて、
推定した前記放音位置および前記放音方向に基づいて前記演奏音に対して音信号処理を行う、
請求項１乃至請求項３のいずれか１項に記載のモデルデータ制御方法。

【請求項7】

前記音信号処理は、前記推定した前記放音位置に前記演奏音を定位させる定位処理を含む、
請求項６に記載のモデルデータ制御方法。

【請求項8】

前記モーションデータは、前記楽器の位置または向きを検出するモーションセンサで検出したデータを含み、
前記モーションデータを用いて前記第２モデルデータを制御する、
請求項１乃至請求項３のいずれか１項に記載のモデルデータ制御方法。

【請求項9】

演奏者の第１モデルデータと楽器の第２モデルデータと、前記演奏者または前記楽器のサイズに関連するキャリブレーションデータと、前記演奏者のモーションデータと、を受け付ける受付部と、
前記第１モデルデータまたは前記第２モデルデータのサイズを前記キャリブレーションデータで補正し、補正後の前記第１モデルデータおよび前記第２モデルデータをレンダリングし、前記モーションデータを用いて前記第１モデルデータを制御する制御部と、
を備えたモデルデータ制御装置。

【請求項10】

前記受付部は、前記楽器の製品名に関する情報を受け付けて、
前記制御部は、前記製品名に関する情報に基づいて、前記楽器のサイズに関連するキャリブレーションデータを求める、
請求項９に記載のモデルデータ制御装置。

【請求項11】

前記受付部は、前記楽器を撮影した画像データを受け付けて、
前記制御部は、前記画像データに基づいて前記製品名に関する情報を求める、
請求項１０に記載のモデルデータ制御装置。

【請求項12】

前記受付部は、前記演奏者が前記楽器を特定の演奏手法で演奏した時の特殊演奏音を受け付けて、
前記制御部は、前記特殊演奏音に基づいて、前記演奏者のサイズに関連するキャリブレーションデータを求める、
請求項９乃至請求項１１のいずれか１項に記載のモデルデータ制御装置。

【請求項13】

前記制御部は、前記キャリブレーションデータに基づいて、前記第１モデルデータもしくは前記第２モデルデータのサイズ、または前記第１モデルデータおよび前記第２モデルデータの相対的な位置関係を補正する、
請求項９乃至請求項１１のいずれか１項に記載のモデルデータ制御装置。

【請求項14】

前記制御部は、前記第２モデルデータに基づいて前記楽器の放音位置および放音方向を推定し、
前記受付部は、前記楽器の演奏音を受け付けて、
前記モデルデータ制御装置は、推定した前記放音位置および前記放音方向に基づいて前記演奏音に対して音信号処理を行う音信号処理部を備えた、
請求項９乃至請求項１１のいずれか１項に記載のモデルデータ制御装置。

【請求項15】

前記音信号処理部は、前記推定した前記放音位置に前記演奏音を定位させる定位処理を行う、
請求項１４に記載のモデルデータ制御装置。

【請求項16】

前記モーションデータは、前記楽器の位置または向きを検出するモーションセンサで検出したデータを含み、
前記制御部は、前記モーションデータを用いて前記第２モデルデータを制御する、
請求項９乃至請求項１１のいずれか１項に記載のモデルデータ制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の一実施形態は、モデルデータ制御方法およびモデルデータ制御装置に関する。

【背景技術】

【0002】

特許文献１には、ＭＩＤＩデータに基づいてモーションデータを時間的に圧縮または伸張させて音楽的タイミングを合わせる構成が開示されている。

【0003】

特許文献２には、音データに基づいて口のモーションデータの時間長を制御する構成が開示されている。

【0004】

特許文献３には、第１のモーションデータおよび第２のモーションデータをブレンドする場合に、スケルトンの第Ｍのボーンでは第２のモーションデータの個別ブレンド率を高くし、第Ｎのボーンでは第２のモーションデータの個別ブレンド率を低くする設定を行う構成が開示されている。

【0005】

特許文献４には、演奏者のモーションおよび身体情報に基づいて、演奏者の手の仮想画像にエフェクトを施す構成が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開平１０－３０７９３０号公報

【特許文献2】特開平９－１９８５２２号公報

【特許文献3】特開２００３－６７７７３号公報

【特許文献4】国際公開第２０１７－０２９９１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１乃至４に開示された構成は、いずれも、楽器のモデルデータの大きさ（サイズ）と演奏者のモデルデータのサイズを補正するものではない。楽器のモデルデータおよび演奏者のモデルデータの作成者が異なる場合、楽器のモデルデータおよび演奏者のモデルデータのサイズが異なる場合がある。そのため、仮想空間内の演奏者のモデルデータと楽器のモデルデータを見た視聴者が違和感を覚える場合がある。

【0008】

本発明の一実施形態は、演奏者と楽器のモデルデータをより自然に表現することができるモデルデータ制御方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の一実施形態に係るモデルデータ制御方法は、演奏者の第１モデルデータと楽器の第２モデルデータとを受け付けて、前記演奏者または前記楽器のサイズに関連するキャリブレーションデータを受け付けて、前記演奏者のモーションデータを受け付けて、前記第１モデルデータまたは前記第２モデルデータのサイズを前記キャリブレーションデータで補正し、補正後の前記第１モデルデータおよび前記第２モデルデータをレンダリングし、前記モーションデータを用いて前記第１モデルデータを制御する。

【発明の効果】

【0010】

本発明の一実施形態によれば、演奏者と楽器のモデルデータをより自然に表現することができる。

【図面の簡単な説明】

【0011】

【図1】モデルデータ制御システム１の構成を示すブロック図である。

【図2】ギターアンプ１１の構成を示すブロック図である。

【図3】ユーザ端末１２の構成を示すブロック図である。

【図4】アプリケーションプログラムの機能ブロック図である。

【図5】モデルデータ制御方法の動作を示すフローチャートである。

【図6】モデルデータの概略図である。

【図7】変形例２に係るユーザ端末１２Ａのブロック図である。

【発明を実施するための形態】

【0012】

図１は、モデルデータ制御システム１の一例を示す外観図である。モデルデータ制御システム１は、エレキギター１０、ギターアンプ１１、ユーザ端末１２、およびモーションセンサ１５を有する。なお、本発明においてギターアンプ１１は必須ではない。エレキギター１０は、ギターアンプ１１を介さず、ユーザ端末１２に接続してもよい。

【0013】

エレキギター１０は、弦楽器の一例である。本実施形態では楽器の一例としてエレキギター１０を示すが、本発明の楽器は、他にも例えばエレキベースや、ヴァイオリン等のアコースティック楽器も含む。また、本発明の楽器は、弦楽器に限らない。本発明の楽器は、例えば、鍵盤楽器あるいは管楽器等の他の種類の楽器も含む。

【0014】

ギターアンプ１１は、オーディオケーブルを介してエレキギター１０に接続される。また、ギターアンプ１１は、一例としてＢｌｕｅｔｏｏｔｈ（登録商標）または無線ＬＡＮ等の無線通信によりユーザ端末１２に接続される。無論、ギターアンプ１１は、通信ケーブルを介してユーザ端末１２に接続してもよい。エレキギター１０は、演奏音に係るアナログ音信号をギターアンプ１１に出力する。なお、弦楽器がアコースティック楽器の場合、マイクあるいはマグネティックピックアップを用いてギターアンプ１１に音信号を入力する。

【0015】

図２はギターアンプ１１の構成を示すブロック図である。ギターアンプ１１は、表示器１０１、ユーザインタフェース（Ｉ／Ｆ）１０２、フラッシュメモリ１０３、ＣＰＵ１０４、ＲＡＭ１０５、ＤＳＰ１０６、通信Ｉ／Ｆ１０７、オーディオＩ／Ｆ１０８、Ａ／Ｄ変換器１０９、Ｄ／Ａ変換器１１０、アンプ１１１、およびスピーカ１１２を備えている。

【0016】

表示器１０１は、例えばＬＥＤ、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）またはＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等からなり、ギターアンプ１１の状態等を表示する。

【0017】

ユーザＩ／Ｆ１０２は、摘まみ、スイッチ、またはボタン等からなり、ユーザの操作を受け付ける。また、ユーザＩ／Ｆ１０２は、表示器１０１のＬＣＤに積層されるタッチパネルであってもよい。

【0018】

ＣＰＵ１０４は、記憶媒体であるフラッシュメモリ１０３に記憶されている各種プログラムをＲＡＭ１０５に読み出して、ギターアンプ１１を制御する。例えば、ＣＰＵ１０４は、ユーザＩ／Ｆ１０２を介して信号処理に係るパラメータを受け付けて、ＤＳＰ１０６およびアンプ１１１を制御する。

【0019】

通信Ｉ／Ｆ１０７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）または無線ＬＡＮ等を介して、例えばユーザ端末１２等の他装置に接続する。

【0020】

オーディオＩ／Ｆ１０８は、アナログオーディオ端子を有する。オーディオＩ／Ｆ１０８は、オーディオケーブルを介してエレキギター１０からアナログ音信号を受け付ける。

【0021】

Ａ／Ｄ変換器１０９は、オーディオＩ／Ｆ１０８で受け付けたアナログ音信号をデジタル音信号に変換する。

【0022】

ＤＳＰ１０６は、当該デジタル音信号にエフェクト等の各種の信号処理を施す。信号処理に係るパラメータは、ユーザＩ／Ｆ１０２を介して受け付ける。ＤＳＰ１０６は、信号処理を施した後のデジタル音信号をＤ／Ａ変換器１１０に出力する。

【0023】

ＣＰＵ１０４は、ＤＳＰ１０６で信号処理を施した後のデジタル音信号、または信号処理を施す前のデジタル音信号を、通信Ｉ／Ｆ１０７を介してユーザ端末１２に送信する。

【0024】

Ｄ／Ａ変換器１１０は、ＤＳＰ１０６から受け付けたデジタル音信号をアナログ音信号に変換する。アンプ１１１は、当該アナログ音信号を増幅する。増幅に係るパラメータは、ユーザＩ／Ｆ１０２を介して受け付ける。

【0025】

スピーカ１１２は、アンプ１１１で増幅されたアナログ音信号に基づいて、エレキギター１０の演奏音を出力する。

【0026】

図３はユーザ端末１２の構成を示すブロック図である。ユーザ端末１２は、パーソナルコンピュータまたはスマートフォン等の情報処理装置である。ユーザ端末１２は、表示器２０１、ユーザＩ／Ｆ２０２、フラッシュメモリ２０３、ＣＰＵ２０４、ＲＡＭ２０５、および通信Ｉ／Ｆ２０６を備えている。

【0027】

本実施形態のユーザ端末１２のユーザは、エレキギター１０の演奏者である。エレキギター１０の演奏者は、ユーザ端末１２を用いて、自身の演奏音を配信するとともに仮想空間内で仮想的に演奏を行う自身の分身となる３Ｄモデルを動作させる。ユーザ端末１２は、当該３Ｄモデルの動作を制御するためのモーションデータを生成する。ユーザ端末１２は、演奏音の配信、モーションデータの生成、および３Ｄモデルを制御するためのアプリケーションプログラムをフラッシュメモリ２０３からＲＡＭ２０５に読み出して実行する。

【0028】

表示器２０１は、例えばＬＥＤ、ＬＣＤまたはＯＬＥＤ等からなり、種々の情報を表示する。ユーザＩ／Ｆ２０２は、表示器２０１のＬＣＤまたはＯＬＥＤに積層されるタッチパネルである。あるいは、ユーザＩ／Ｆ２０２は、キーボードまたはマウス等であってもよい。ユーザＩ／Ｆ２０２がタッチパネルである場合、該ユーザＩ／Ｆ２０２は、表示器２０１とともに、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成する。

【0029】

通信Ｉ／Ｆ２０６は、Ｂｌｕｅｔｏｏｔｈ（登録商標）または無線ＬＡＮ等の無線通信によりギターアンプ１１およびモーションセンサ１５に接続される。

【0030】

ＣＰＵ２０４は、ユーザ端末１２の動作を制御する制御部である。ＣＰＵ２０４は、記憶媒体であるフラッシュメモリ２０３に記憶されたアプリケーションプログラム等の所定のプログラムをＲＡＭ２０５に読み出して実行することにより各種の動作を行なう。なお、プログラムは、サーバ（不図示）に記憶されていてもよい。ＣＰＵ２０４は、ネットワークを介してサーバからプログラムをダウンロードし、実行してもよい。ＣＰＵ２０４は、アプリケーションプログラムを実行することによりモデルデータの制御方法を実行する。

【0031】

図４は、ＣＰＵ２０４の読み出すアプリケーションプログラムの機能ブロック図である。図５は、モデルデータ制御方法の動作を示すフローチャートである。ＣＰＵ２０４は、読み出したアプリケーションプログラムにより、受付部５１および制御部５２を構成する。

【0032】

受付部５１は、モデルデータ、モーションデータ、およびキャリブレーションデータを受け付ける（Ｓ１１、Ｓ１２、Ｓ１３）。モデルデータは、３Ｄモデルを構成するための画像データ等からなる。

【0033】

図６は、モデルデータの概略図である。モデルデータは、演奏者の第１モデルデータ５０１および楽器の第２モデルデータ５０２を含む。

【0034】

第１モデルデータ５０１は、不図示のサーバ（例えばクリエイタの利用するコンピュータ）等の他装置からダウンロードし、フラッシュメモリ２０３に記憶される。

【0035】

第１モデルデータ５０１は、例えば演奏者の顔、胴、腕、指、および脚等を構成するための複数のポリゴンデータおよびボーンデータを有する。複数のボーンデータは、複数の関節データによって結合されたリンク構造を有する。

【0036】

第１モデルデータ５０１の各ボーンデータの位置情報は、モーションデータにより定義される。

【0037】

第２モデルデータ５０２は、不図示のサーバ（例えば楽器製造者の利用するコンピュータ）等の他装置からダウンロードし、フラッシュメモリ２０３に記憶される。

【0038】

第２モデルデータ５０２は、例えばギターのボディ、ネック、および弦等を構成するための複数のポリゴンデータおよびボーンデータを有する。複数のボーンデータは、複数の関節データによって結合されたリンク構造を有する。ただし、ギターは、弦以外に可動域を有していないため、リンク構造は必須ではない。可動域を有する楽器の場合、第２モデルデータ５０２は、リンク構造を含むことが好ましい。

【0039】

モーションデータは、モーションセンサ１５から入力される。モーションセンサ１５は、演奏者のモーションをキャプチャするためのセンサであり、例えば光学式、慣性式、あるいは画像式等のセンサである。制御部５２は、モーションセンサ１５から受け付けたモーションデータに基づいて、第１モデルデータ５０１のボーンデータの位置情報を更新する。

【0040】

制御部５２は、第１モデルデータ５０１または第２モデルデータ５０２の大きさ（サイズ）をキャリブレーションデータで補正する（Ｓ１４）。上述したように、第１モデルデータ５０１は、例えばクリエイタの利用するコンピュータからダウンロードし、第２モデルデータ５０２は、楽器製造者の利用するコンピュータからダウンロードする。この様に第１モデルデータ５０１および第２モデルデータ５０２の作成者が異なる場合、第１モデルデータ５０１および第２モデルデータ５０２のサイズが異なる場合がある。そのため、仮想空間内の演奏者の３Ｄモデルと楽器の３Ｄモデルを見た視聴者が違和感を覚える場合がある。

【0041】

そこで、制御部５２は、キャリブレーションデータを用いて第１モデルデータ５０１または第２モデルデータ５０２のサイズを補正する。キャリブレーションデータは、演奏者および楽器のサイズに関連するデータである。例えば、ユーザ端末１２のユーザは、ユーザＩ／Ｆ２０２を介して、自身の身長およびエレキギター１０のネックの長さを入力する。制御部５２は、入力された身長およびネックの長さに応じて第１モデルデータ５０１および第２モデルデータ５０２のサイズを補正する。例えば、制御部５２は、入力された身長と第１モデルデータ５０１の身長の比で、第１モデルデータ５０１の各ボーンデータの長さを補正する。また、制御部５２は、第２モデルデータ５０２のネックの長さと、入力されたエレキギター１０のネックの長さの比で、第２モデルデータ５０２の各ボーンデータのサイズを補正する。

【0042】

なお、ユーザは、楽器のネックの長さを入力するだけでもよい。この場合、制御部５２は、ユーザの身長を一般的な身長（例えば成人男性または成人女性の平均身長）として受け付ける。

【0043】

最後に、制御部５２は、補正後の第１モデルデータ５０１および第２モデルデータ５０２をレンダリングし（Ｓ１５）、モーションデータを用いて第１モデルデータ５０１の各ボーンデータを制御する（Ｓ１６）。

【0044】

以上の様にして、本実施形態のモデルデータ制御方法は、第１モデルデータ５０１および第２モデルデータ５０２のサイズが異なる場合であっても、第１モデルデータ５０１および第２モデルデータ５０２のサイズを補正することで、演奏者と楽器のモデルデータをより自然に表現することができる。したがって、本実施形態のモデルデータ制御方法の利用者は、仮想空間内における仮想的な演奏をより臨場感を持って提供できるという顧客体験を享受できる。

【0045】

（変形例１）
上記実施形態では、ユーザ端末１２のユーザは、ユーザＩ／Ｆ２０２を介して、エレキギター１０のネックの長さを入力した。変形例１では、ユーザ端末１２のユーザは、ユーザＩ／Ｆ２０２を介して、エレキギター１０の製品名に関する情報を入力する。制御部５２は、ユーザの入力した楽器の製品名に関する情報を受け付ける。制御部５２は、製品名に関する情報に基づいて、楽器のサイズに関連するキャリブレーションデータを求める。例えば、制御部５２は、不図示のサーバ（楽器製造者の利用するコンピュータ）等の他装置に、製品名に関する情報を送信する。サーバは、各楽器の製品名とネックを含む部品のサイズ情報と、を対応付けたデータベースを有する。制御部５２は、当該サーバのデータベースから、製品名に対応する楽器のサイズに関連するデータ（例えばネックの長さの情報）を受信する。

【0046】

これにより、ユーザはエレキギター１０のネックの長さを測定して入力する必要なく、キャリブレーションデータを入力することができる。

【0047】

（変形例２）
図７は、変形例２に係るユーザ端末１２Ａのブロック図である。図３のユーザ端末１２と共通する構成は同一の符号を付し、説明を省略する。

【0048】

ユーザ端末１２Ａは、さらにカメラ２０７を備えている。ユーザは、ユーザ端末１２のカメラ２０７を用いてエレキギター１０を撮影する。

【0049】

制御部５２は、カメラ２０７で楽器を撮影した画像データに基づいて、対応する楽器の製品名に関する情報を求める。制御部５２は、例えば、楽器を撮影した画像データと、楽器の製品名に関する情報と、の関係をＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）で訓練した訓練済モデル（ｔｒａｉｎｅｄ ｍｏｄｅｌ）に基づいて楽器の製品名に関する情報を求める。訓練は、予め例えば楽器製造者の利用するコンピュータ（サーバ）で実行されるプログラムにより実現する。

【0050】

そして、制御部５２は、訓練済モデルを用いて求めた製品名に関する情報に基づいて、変形例１に示した様に、楽器のサイズに関連するキャリブレーションデータを求める。

【0051】

これにより、ユーザは楽器名を手動入力する必要もなく、カメラ２０７で楽器を撮影するだけでキャリブレーションデータを入力することができる。

【0052】

（変形例３）
変形例３に係るユーザ端末１２は、演奏音に係る音信号に基づいてキャリブレーションデータを求める。具体的には、演奏者であるユーザは、特定の演奏手法でエレキギター１０を演奏する。特定の演奏手法とは、例えば第６弦の第１フレットを左手の人差し指で押さえ、かつ左手の小指で届く範囲の第１弦のフレットを押さえ、右手で撥弦する演奏である。

【0053】

ユーザ端末１２は、当該特定の演奏手法で演奏した時の特殊演奏音を受け付ける。ユーザ端末１２は、受け付けた特殊演奏音に基づいて、演奏者のサイズに関連するキャリブレーションデータを求める。制御部５２は、例えば、特殊演奏音と、演奏者のサイズに関連するキャリブレーションデータと、の関係をＤＮＮで訓練した訓練済モデルに基づいてキャリブレーションデータを求める。訓練は、予め例えば楽器製造者の利用するコンピュータ（サーバ）で実行されるプログラムにより実現する。

【0054】

演奏者の手の大きさにより、左手の小指で届くフレット位置は異なる。例えば、第１弦の第１フレットまで届く演奏者よりも第１弦の第３フレットまで届く演奏者は、手の大きさが大きい。第１弦の第１フレットを演奏した時の音（Ｆ４の音程）に対する手の大きさと、第１弦の第３フレットを演奏した時の音（Ｇ４の音程）に対する手の大きさとは、それぞれ一意に対応付けることができる。つまり、特定の演奏手法で演奏した時の特殊演奏音と演奏者の手の大きさとは、相関関係を有する。よって、コンピュータは、所定のモデルに、特定の演奏手法で演奏した時の特殊演奏音と、演奏者の手の大きさ（演奏者のサイズに関連するキャリブレーションデータ）と、の関係を訓練させ、訓練済モデルを生成することができる。

【0055】

ユーザ端末１２の制御部５２は、訓練済モデルを用いて求めた演奏者の手の大きさをキャリブレーションデータとして求める。制御部５２は、演奏者の手の大きさの情報を用いて第１モデルデータ５０１または第２モデルデータ５０２のサイズを補正する。例えば、制御部５２は、訓練済モデルを用いて求めた演奏者の手の大きさと第１モデルデータ５０１の手の大きさの比で、第１モデルデータ５０１の各ボーンデータの長さを補正する。

【0056】

これにより、ユーザは特殊な演奏手法で演奏を行うだけで、キャリブレーションデータを入力することができる。

【0057】

（変形例４）
本実施形態のモデルデータ制御方法は、第１モデルデータまたは第２モデルデータのサイズをキャリブレーションデータで補正することは必須ではない。例えば、本実施形態のモデルデータ制御方法では、キャリブレーションデータに基づいて第１モデルデータまたは第２モデルデータの位置を補正してもよい。変形例４に係るユーザ端末１２は、キャリブレーションデータに基づいて、第１モデルデータ５０１および第２モデルデータ５０２の相対的な位置関係を補正する。具体的には、ユーザ端末１２は、第１モデルデータ５０１および第２モデルデータ５０２の相対的な位置関係に拘束条件を設定する。例えば、ユーザ端末１２は、ギターである第２モデルデータ５０２の背面側に必ず演奏者の第１モデルデータ５０１を配置する。また、ユーザ端末１２は、第１モデルデータ５０１の左手のボーンの位置を第２モデルデータ５０２のネック部分に配置する。また、ユーザ端末１２は、第１モデルデータ５０１の右手のボーンのうち肘に近い部分を第２モデルデータ５０２のボディの上部に配置する。

【0058】

より具体的には、例えばユーザ端末１２は、第１モデルデータの左手のボーンの指先を第２モデルデータ５０２のネック上のフレットに配置する。例えばボーンの指の長さが演奏者の実際の指の長さと全く異なる場合、演奏者が楽器のフレット位置に指先を置いても、モーションデータにより定義される指先の位置がフレットから外れる場合がある。しかし、ユーザ端末１２は、第１モデルデータ５０１の左手のボーンの指先を第２モデルデータ５０２のネック上のフレットに配置する拘束条件を設定することで、より自然な位置に第１モデルデータ５０１および第２モデルデータ５０２を配置することができる。

【0059】

これにより、ユーザ端末１２は、演奏者の第１モデルデータ５０１に対して、より自然な位置に楽器の第２モデルデータ５０２を配置することができる。

【0060】

なお、上述した様に、第１モデルデータ５０１の各ボーンデータの位置情報は、モーションデータにより定義される。変形例４に係るユーザ端末１２は、第１モデルデータ５０１および第２モデルデータ５０２の相対的な位置関係を補正する。したがって、第２モデルデータ５０２の位置情報も、モーションデータにより定義することができる。

【0061】

したがって、変形例４に係るユーザ端末１２は、楽器の位置または向きを検出するモーションセンサを用いることなく第２モデルデータ５０２の位置および向きを求めることもできる。

【0062】

（変形例５）
変形例５のユーザ端末１２は、第２モデルデータ５０２に基づいて楽器の放音位置および放音方向を推定し、楽器の演奏音を受け付けて、推定した放音位置および放音方向に基づいて演奏音に対して音信号処理を行う。

【0063】

変形例４で示したように、ユーザ端末１２は、例えば、第１モデルデータ５０１の位置情報に基づいて第２モデルデータ５０２の位置および向きを求めることができる。ユーザ端末１２は、例えば、第２モデルデータ５０２の位置に基づいて、演奏音に係る音信号にパニング処理等の音像定位処理を施す。

【0064】

例えば、ユーザ端末１２は、演奏音の音信号をＬチャンネルおよびＲチャンネルに分配し、楽器の位置に基づいてＬチャンネルおよびＲチャンネルの音量バランスを調整する。例えば、ユーザ端末１２は、第２モデルデータ５０２の位置情報が、仮想空間内の右側（リスナから向かって右側）にある場合には、Ｒチャンネルの音量を大きくし、Ｌチャンネルの音量を小さくする。これにより、演奏音は、リスナから向かって右側に定位する。したがって、演奏音のリスナは、仮想空間内の第２モデルデータ５０２の位置に音像が定位する様に知覚することができる。

【0065】

また、例えば、ユーザ端末１２は、演奏音に係る音信号に頭部伝達関数（ＨＲＴＦ：Ｈｅａｄ－Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を畳み込むことで音像定位処理を施してもよい。頭部伝達関数は、音源の位置からリスナの右耳および左耳に至る伝達関数である。ユーザ端末１２は、楽器の位置情報に応じた頭部伝達関数をサーバ等から読み出して演奏音に係る音信号に畳み込む。これにより、リスナは、仮想空間内の第２モデルデータ５０２の位置に音像が定位する様に知覚することができる。

【0066】

また、頭部伝達関数は、楽器の向きに応じて異なっていてもよい。ユーザ端末１２は、楽器の向き情報に応じた頭部伝達関数をサーバ等から読み出して演奏音に係る音信号に畳み込む。これにより、演奏音のリスナは、仮想空間内の第２モデルデータ５０２の位置に音像が定位し、かつ楽器の向きによる音の変化も知覚することができる。

【0067】

これにより、リスナは、よりリアルな音像定位を体験することができ、従来では得られなかった顧客体験を得ることができる。

【0068】

（変形例６）
モーションデータは、楽器の位置または向きを検出するモーションセンサで検出したデータを含んでもよい。ユーザ端末１２は、モーションセンサで検出したデータを用いて第２モデルデータ５０２を制御してもよい。モーションセンサは、３軸加速度センサおよび位置センサを含む。３軸加速度センサは、楽器の向きを検出する。位置センサは、楽器の位置を検出する。位置センサは、例えばＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）ビーコン等の屋内用の測位センサでもよいし、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等の屋外用測位センサでもよい。

【0069】

ユーザ端末１２は、３軸加速度センサで検出した楽器の向き、および位置センサで検出した楽器の位置を受け付けて、第２モデルデータ５０２の位置および向きを制御してもよい。この場合も、ユーザ端末１２は、変形例４で示した様に、第１モデルデータ５０１および第２モデルデータ５０２の相対的な位置関係に拘束条件を設定することが好ましい。ユーザ端末１２は、さらに自然な位置に演奏者の第１モデルデータ５０１および楽器の第２モデルデータ５０２を配置することができる。

【0070】

また、変形例５で示した様に、ユーザ端末１２は、３軸加速度センサで検出した楽器の向き、および位置センサで検出した楽器の位置を受け付けて、楽器の位置および向きに応じて、演奏音に対して音信号処理を行ってもよい。

【0071】

本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲は、特許請求の範囲と均等の範囲を含む。

【符号の説明】

【0072】

１ ：モデルデータ制御システム
１０ ：エレキギター
１１ ：ギターアンプ
１２ ：ユーザ端末
１２Ａ ：ユーザ端末
１５ ：モーションセンサ
５１ ：受付部
５２ ：制御部
１０１ ：表示器
１０２ ：ユーザＩ／Ｆ
１０３ ：フラッシュメモリ
１０４ ：ＣＰＵ
１０５ ：ＲＡＭ
１０６ ：ＤＳＰ
１０７ ：通信Ｉ／Ｆ
１０８ ：オーディオＩ／Ｆ
１０９ ：Ａ／Ｄ変換器
１１０ ：Ｄ／Ａ変換器
１１１ ：アンプ
１１２ ：スピーカ
２０１ ：表示器
２０２ ：ユーザＩ／Ｆ
２０３ ：フラッシュメモリ
２０４ ：ＣＰＵ
２０５ ：ＲＡＭ
２０６ ：通信Ｉ／Ｆ
２０７ ：カメラ
５０１ ：第１モデルデータ
５０２ ：第２モデルデータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】