特開 2024-136470 パフォーマンス情報生成方法、パフォーマンス情報生成装置、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024136470

(43)【公開日】2024-10-04

(54)【発明の名称】パフォーマンス情報生成方法、パフォーマンス情報生成装置、およびプログラム

(51)【国際特許分類】

   G10H 1/00 20060101AFI20240927BHJP

【ＦＩ】

G10H1/00 Z

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2023047591

(22)【出願日】2023-03-24

(71)【出願人】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】弁理士法人 楓国際特許事務所

(72)【発明者】

【氏名】甲斐 繁

(72)【発明者】

【氏名】中村 吉就

(72)【発明者】

【氏名】大谷 明央

(72)【発明者】

【氏名】井芹 大智

(72)【発明者】

【氏名】藤島 琢哉

(72)【発明者】

【氏名】松田 遼

(72)【発明者】

【氏名】山川 颯人

(72)【発明者】

【氏名】須山 明彦

(72)【発明者】

【氏名】密岡 稜大

(72)【発明者】

【氏名】原 貴洋

(72)【発明者】

【氏名】鈴木 裕和

(72)【発明者】

【氏名】鈴木 俊太朗

【テーマコード（参考）】

5D478

【Ｆターム（参考）】

5D478HH02

(57)【要約】

【課題】演奏が不得意な人を得意な人が補助したり、より高度な演奏を実現したりでき、かつ視聴者にはあたかも１人で演奏しているように見える新たなパフォーマンスを実現することができるパフォーマンス情報生成方法を提供する。
【解決手段】パフォーマンス情報生成方法は、第１演者のパフォーマンスに係る第１パフォーマンス情報と第２演者のパフォーマンスに係る第２パフォーマンス情報を取得し、取得した前記第１パフォーマンス情報および前記第２パフォーマンス情報を統合した第３パフォーマンス情報を生成し、生成した前記第３パフォーマンス情報を出力する。
【選択図】図２

【特許請求の範囲】

【請求項1】

第１演者のパフォーマンスに係る第１パフォーマンス情報と第２演者のパフォーマンスに係る第２パフォーマンス情報を取得し、
取得した前記第１パフォーマンス情報および前記第２パフォーマンス情報を統合した第３パフォーマンス情報を生成し、
生成した前記第３パフォーマンス情報を出力する、
パフォーマンス情報生成方法。

【請求項2】

前記第１パフォーマンス情報または前記第２パフォーマンス情報の少なくとも何れかは、演奏に関する情報を含み、
前記第３パフォーマンス情報は、前記演奏に関する情報を含む、
請求項１に記載のパフォーマンス情報生成方法。

【請求項3】

前記演奏に関する情報は、楽器の操作情報を含み、
前記楽器の操作情報に基づいて演奏音を生成する、
請求項２に記載のパフォーマンス情報生成方法。

【請求項4】

前記演奏に関する情報は、演奏音の情報を含み、
前記演奏音の情報に基づいて前記演奏音を出力する、
請求項２に記載のパフォーマンス情報生成方法。

【請求項5】

前記第１パフォーマンス情報または前記第２パフォーマンス情報の少なくとも何れかは、第１の演奏に関する情報を含み、
前記第３パフォーマンス情報は、前記第１の演奏に関する情報を含み、
前記第１の演奏に関する情報に基づいて演奏音を出力し、
第２の演奏に関する情報を取得し、
前記第２の演奏に関する情報を、ネットワークを介して他装置に送信する、
請求項１に記載のパフォーマンス情報生成方法。

【請求項6】

前記第１パフォーマンス情報および前記第２パフォーマンス情報は、それぞれ第１モーションデータおよび第２モーションデータを含み、
前記第３パフォーマンス情報は、前記第１モーションデータおよび前記第２モーションデータに基づいて生成される第３モーションデータを含む、
請求項１乃至請求項５のいずれか１項に記載のパフォーマンス情報生成方法。

【請求項7】

前記第１パフォーマンス情報または前記第２パフォーマンス情報の少なくとも何れかは、予め作成されて記録された情報を含む、
請求項１乃至請求項５のいずれか１項に記載のパフォーマンス情報生成方法。

【請求項8】

前記第１パフォーマンス情報または前記第２パフォーマンス情報の少なくとも何れかに対応する非代替性トークンを記録する、
請求項１乃至請求項５のいずれか１項に記載のパフォーマンス情報生成方法。

【請求項9】

前記第１演者または前記第２演者の演奏音に関する情報を取得し、
前記演奏音に関する情報と、前記第１パフォーマンス情報または前記第２パフォーマンス情報と、の関係を訓練した訓練済モデルに基づいて、前記第１パフォーマンス情報または前記第２パフォーマンス情報を取得する、
請求項１乃至請求項５のいずれか１項に記載のパフォーマンス情報生成方法。

【請求項10】

第１演者のパフォーマンスに係る第１パフォーマンス情報と第２演者のパフォーマンスに係る第２パフォーマンス情報を取得し、
取得した前記第１パフォーマンス情報および前記第２パフォーマンス情報を統合した第３パフォーマンス情報を生成し、
生成した前記第３パフォーマンス情報を出力する、
プロセッサを備えたパフォーマンス情報生成装置。

【請求項11】

前記第１パフォーマンス情報または前記第２パフォーマンス情報の少なくとも何れかは、演奏に関する情報を含み、
前記第３パフォーマンス情報は、前記演奏に関する情報を含む、
請求項１０に記載のパフォーマンス情報生成装置。

【請求項12】

前記演奏に関する情報は、楽器の操作情報を含み、
前記プロセッサは、前記楽器の操作情報に基づいて演奏音を生成する、
請求項１１に記載のパフォーマンス情報生成装置。

【請求項13】

前記演奏に関する情報は、演奏音の情報を含み、
前記プロセッサは、前記演奏音の情報に基づいて前記演奏音を出力する、
請求項１１に記載のパフォーマンス情報生成装置。

【請求項14】

前記第１パフォーマンス情報または前記第２パフォーマンス情報の少なくとも何れかは、第１の演奏に関する情報を含み、
前記第３パフォーマンス情報は、前記第１の演奏に関する情報を含み、
前記第１の演奏に関する情報に基づいて演奏音を出力し、
第２の演奏に関する情報を取得し、
前記第２の演奏に関する情報を、ネットワークを介して他装置に送信する、
請求項１０に記載のパフォーマンス情報生成装置。

【請求項15】

前記第１パフォーマンス情報および前記第２パフォーマンス情報は、それぞれ第１モーションデータおよび第２モーションデータを含み、
前記第３パフォーマンス情報は、前記第１モーションデータおよび前記第２モーションデータに基づいて生成される第３モーションデータを含む、
請求項１０乃至請求項１４のいずれか１項に記載のパフォーマンス情報生成装置。

【請求項16】

前記第１パフォーマンス情報または前記第２パフォーマンス情報の少なくとも何れかは、予め作成されて記録された情報を含む、
請求項１０乃至請求項１４のいずれか１項に記載のパフォーマンス情報生成装置。

【請求項17】

前記プロセッサは、前記第１パフォーマンス情報または前記第２パフォーマンス情報の少なくとも何れかに対応する非代替性トークンを記録する、
請求項１０乃至請求項１４のいずれか１項に記載のパフォーマンス情報生成装置。

【請求項18】

第１演者のパフォーマンスに係る第１パフォーマンス情報と第２演者のパフォーマンスに係る第２パフォーマンス情報を取得し、
取得した前記第１パフォーマンス情報および前記第２パフォーマンス情報を統合した第３パフォーマンス情報を生成し、
生成した前記第３パフォーマンス情報を出力する、
処理を情報処理装置に実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明の一実施形態は、パフォーマンス情報生成方法、パフォーマンス情報生成装置、およびプログラムに関する。

【背景技術】

【0002】

特許文献１には、第１ユーザに関連付けられる第１アバターと、第２ユーザに関連付けられる第２アバターとを、仮想空間に配置し、第２ユーザの動きに応じて、第２アバターに第１パフォーマンスを実行させ、第２アバターによる第２パフォーマンスの実行を前記第２ユーザにリクエストし、第２ユーザの動きに応じて、第２アバターに第２パフォーマンスを実行させる、情報処理装置が開示されている。

【0003】

特許文献２には、最高心拍数のパーセンテージの範囲として複数の心拍数ゾーンを定義し、心拍数ゾーンのそれぞれに色を割り当て、ユーザから心拍数情報を受け取り、心拍数情報のグラフィック表示を提供する心拍数情報提供方法において、グラフィック表示の部分領域の色は心拍数ゾーンの内の１つに割り当てられた色に対応することが開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－１９２１７３

【特許文献2】特開２０１０－２６７２６７

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示のひとつの態様は、演奏が不得意な人を得意な人が補助したり、より高度な演奏を実現したりでき、かつ視聴者にはあたかも１人で演奏しているように見える新たなパフォーマンスを実現することができるパフォーマンス情報生成方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一実施形態に係るパフォーマンス情報生成方法は、第１演者のパフォーマンスに係る第１パフォーマンス情報と第２演者のパフォーマンスに係る第２パフォーマンス情報を取得し、取得した前記第１パフォーマンス情報および前記第２パフォーマンス情報を統合した第３パフォーマンス情報を生成し、生成した前記第３パフォーマンス情報を出力する。

【発明の効果】

【0007】

本発明の一実施形態によれば、演奏が不得意な人を得意な人が補助したり、より高度な演奏を実現したりでき、かつ視聴者にはあたかも１人で演奏しているように見える新たなパフォーマンスを実現することができる。

【図面の簡単な説明】

【0008】

【図1】パフォーマンス情報生成装置１の構成を示すブロック図である。

【図2】ＰＣ１Ａの構成を示すブロック図である。

【図3】パフォーマンス情報生成方法の動作を示すフローチャートである。

【図4】変形例４に係るパフォーマンス情報生成システムの構成図である。

【図5】変形例６に係るパフォーマンス情報生成システムの構成図である。

【発明を実施するための形態】

【0009】

図１は、本実施形態に係るパフォーマンス情報生成システムの構成図である。パフォーマンス情報生成システムは、第１地点１０に設置されたＰＣ（パーソナルコンピュータ）１Ａ，第２地点２０に設置されたＰＣ１Ｂ、および第３地点３０に設置されたＰＣ１Ｃを備える。

【0010】

第１地点１０の第１演者３は、ＰＣ１Ａに楽器５およびモーションセンサ５０を接続する。第２地点２０の第２演者７は、ＰＣ１Ｂに楽器９およびモーションセンサ５１を接続する。モーションセンサ５０およびモーションセンサ５１は、演者の演奏モーションを検出するためのセンサであり、例えば光学式、慣性式、あるいは画像式等のセンサである。モーションセンサ５０は、第１演者３の左手のモーションを検出する。モーションセンサ５１は、第２演者７の右手のモーションを検出する。

【0011】

本実施形態では一例として、楽器５および楽器９はエレキギターである。第１演者３は、エレキギターの演奏に長けた演者であり、第２演者７は初心者である。第１演者３は楽器５を両手で演奏している。すなわち、第１演者３は、左手でフレットを押下し、右手でピッキングを行っている。第２演者７は右手でピッキングを行っているが、左手でフレットは押下していない。

【0012】

なお、本実施形態において、「演奏」とは楽器の演奏に限るものではなく、マイクを用いた歌唱も含む。

【0013】

図２は、ＰＣ１Ａの構成を示すブロック図である。ＰＣ１Ａは、汎用の情報処理装置である。ＰＣ１Ａ、ＰＣ１Ｂ、およびＰＣ１Ｃの主要構成は同じである。図２では代表してＰＣ１Ａの構成を示す。

【0014】

ＰＣ１Ａは、表示器３１、ユーザＩ／Ｆ３２、フラッシュメモリ３３、プロセッサ３４、ＲＡＭ３５、通信Ｉ／Ｆ３６、スピーカ（ＳＰ）３７、およびオーディオＩ／Ｆ３８を備えている。

【0015】

表示器３１は、例えばＬＥＤ、ＬＣＤまたはＯＬＥＤ等からなり、種々の情報を表示する。ユーザＩ／Ｆ３２は、表示器３１のＬＣＤまたはＯＬＥＤに積層されるタッチパネルである。あるいは、ユーザＩ／Ｆ３２は、キーボードまたはマウス等であってもよい。ユーザＩ／Ｆ３２がタッチパネルである場合、該ユーザＩ／Ｆ３２は、表示器３１とともに、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成する。

【0016】

通信Ｉ／Ｆ３６は、ネットワークインタフェースを含み、ルータ（不図示）を介してインターネット等のネットワークに接続される。また、通信Ｉ／Ｆ３６は、汎用通信インタフェースを含む。ＰＣ１Ａの通信Ｉ／Ｆ３６は、モーションセンサ５０に接続され、モーションセンサ５０から第１センサ信号を受け付ける。ＰＣ１Ｂの通信Ｉ／Ｆ３６は、モーションセンサ５１に接続され、モーションセンサ５１から第２センサ信号を受け付ける。

【0017】

オーディオＩ／Ｆ３８は、アナログオーディオ端子を有する。オーディオＩ／Ｆ３８は、オーディオケーブルを介して楽器またはマイク等の音響機器に接続され、アナログ音信号を受け付ける。本実施形態では、ＰＣ１ＡのオーディオＩ／Ｆ３８は、楽器５に接続され、楽器５から演奏音に係るアナログ音信号を受け付ける。ＰＣ１ＢのオーディオＩ／Ｆ３８は、楽器９に接続され、楽器９から演奏音に係るアナログ音信号を受け付ける。オーディオＩ／Ｆ３８は、受け付けたアナログ音信号をデジタル音信号に変換する。また、オーディオＩ／Ｆ３８は、デジタル音信号をアナログ音信号に変換する。ＳＰ３７は、当該アナログ音信号に基づく音を再生する。

【0018】

プロセッサ３４は、モーションセンサ５０から受け付けた第１センサ信号と、オーディオＩ／Ｆ３９から受け付けたデジタル音信号に基づいてパフォーマンス情報を生成する。本実施形態では、ＰＣ１Ａのプロセッサ３４は、第１センサ信号に基づく第１モーションデータと、受け付けたデジタル音信号に基づく演奏音の情報と、を含む第１パフォーマンス情報を生成する。ＰＣ１Ａのプロセッサ３４は、ネットワークを介して第１パフォーマンス情報をＰＣ１Ｃに送信する。また、ＰＣ１Ｂのプロセッサ３４は、第２センサ信号に基づく第２モーションデータを含む第２パフォーマンス情報を生成する。ＰＣ１Ｂのプロセッサ３４は、ネットワークを介して第２パフォーマンス情報をＰＣ１Ｃに送信する。

【0019】

図３は、パフォーマンス情報生成方法の動作を示すフローチャートである。本実施形態では、ＰＣ１Ｃのプロセッサ３４が図３に示すパフォーマンス情報生成方法を実行する。

【0020】

プロセッサ３４は、第１演者のパフォーマンスに係る第１パフォーマンス情報と第２演者のパフォーマンスに係る第２パフォーマンス情報を取得する（Ｓ１１）。つまり、ＰＣ１Ｃのプロセッサ３４は、ＰＣ１Ａからネットワークを介して第１パフォーマンス情報を受信し、ＰＣ１Ｂからネットワークを介して第２パフォーマンス情報を受信する。

【0021】

プロセッサ３４は、取得した第１パフォーマンス情報および第２パフォーマンス情報を統合した第３パフォーマンス情報を生成する（Ｓ１２）。第１パフォーマンス情報は、第１センサ信号に基づく第１モーションデータと、演奏音の情報と、を含む。本実施形態において第２パフォーマンス情報は、第２センサ信号に基づく第２モーションデータを含む。第１モーションデータは、第１演者３の左手の動きに対応する。第２モーションデータは、第２演者７の右手の動きに対応する。プロセッサ３４は、ある３Ｄモデルデータを制御するための第３モーションデータとして、左手のモデルを第１モーションデータで制御し、右手のモデルを第２モーションデータで制御する。つまり、プロセッサ３４は、第１モーションデータと第２モーションデータを統合した第３モーションデータを生成する。また、プロセッサ３４は、当該３Ｄモデルデータの演奏動作に同期する演奏音の情報として、第１パフォーマンス情報に含まれている演奏音の情報を用いて、第３パフォーマンス情報に含まれる演奏音の情報を生成する。

【0022】

この様にしてプロセッサ３４は、３Ｄモデルデータを制御するための第３モーションデータと、当該３Ｄモデルデータの演奏動作に同期する演奏音の情報と、を含む第３パフォーマンス情報を生成する。

【0023】

プロセッサ３４は、生成した第３パフォーマンス情報を出力する（Ｓ１３）。例えば、プロセッサ３４は、フラッシュメモリ３３に第３パフォーマンス情報を記録する。あるいは、プロセッサ３４は、生成した第３パフォーマンス情報を用いて、３Ｄモデルデータのレンダリングおよび演奏音の再生を行う。

【0024】

まず、プロセッサ３４は、第３パフォーマンス情報に含まれる第３モーションデータを用いて、指定された３Ｄモデルデータを制御する。３Ｄモデルデータは、ある演者（キャラクタ）のモデルデータおよびある楽器のモデルデータを含む。モデルデータは、不図示のサーバ（例えばクリエイタの利用するコンピュータ）等の他装置からダウンロードし、フラッシュメモリ３３に記憶される。演者のモデルデータは、例えば演者の顔、胴、腕、指、および脚等を構成するための複数のポリゴンデータおよびボーンデータを有する。複数のボーンデータは、複数の関節データによって結合されたリンク構造を有する。モデルデータの各ボーンデータの位置情報は、モーションデータにより定義される。楽器のモデルデータは、例えばギターのボディ、ネック、および弦等を構成するための複数のポリゴンデータおよびボーンデータを有する。楽器のモデルデータを構成する複数のボーンデータも、複数の関節データによって結合されたリンク構造を有する。ただし、ギターは、弦以外に可動域を有していないため、リンク構造は必須ではない。可動域を有する楽器の場合、モデルデータは、リンク構造を含むことが好ましい。

【0025】

プロセッサ３４は、演者のモデルデータの位置情報を、第３パフォーマンス情報に含まれる第３モーションデータに基づいて制御する。プロセッサ３４は、演者の３Ｄモデルデータをレンダリングし、該３Ｄモデルデータの位置情報を、第３パフォーマンス情報に含まれる第３モーションデータに基づいて制御する。プロセッサ３４は、レンダリングした３Ｄモデルデータに係る映像を表示器３１に表示する。

【0026】

これにより、表示器３１には、図１に示す様に、ある演者の３Ｄモデルデータ９０および楽器の３Ｄモデルデータ９１の映像が表示される。該３Ｄモデルデータ９０の右手は、第１演者３の右手のピッキングの動きに応じて動作し、３Ｄモデルデータ９０の左手は、第２演者７の左手のフレットの押下の動きに応じて動作する。

【0027】

また、プロセッサ３４は、第３パフォーマンス情報に含まれる演奏音の情報を再生して、演奏音に係る音信号を生成する。プロセッサ３４は、生成した音信号をＳＰ３７に出力し、演奏音を再生する。

【0028】

ＰＣ１Ｃの利用者は、表示器３１に表示された３Ｄモデルデータ９０の演者が３Ｄモデルデータ９１の楽器を演奏するパフォーマンスを視聴する。

【0029】

以上のようにして、本実施形態のパフォーマンス情報生成方法は、複数名（第１演者３および第２演者７）でパフォーマンスを行った場合でも、視聴者にはあたかも１人で演奏しているように見える新たなパフォーマンスを実現することができる。これにより、パフォーマンスを提供する第１演者３および第２演者７は、より高度な演奏を実現することできるという従来ではなし得なかった新たな顧客体験を得ることができる。また、本実施形態のパフォーマンス情報生成方法は、演奏の不得意な第２演者７を、演奏の得意な第１演者３が補助した場合でも、視聴者にはあたかも１人で演奏しているように見える新たなパフォーマンスを実現することができる。これにより、演奏の不得意な第２演者７でも、演奏の得意な第１演者３の助けを借りて、視聴者に対してより高度なパフォーマンスを提供することができるという新たな顧客体験を得ることができる。

【0030】

（変形例１）
上記実施形態では、第１パフォーマンス情報が、演奏に関する情報として楽器５から受け付けた演奏音に情報を含む例を示した。しかし、第２パフォーマンス情報が、演奏に関する情報として楽器９から受け付けた演奏音に関する情報を含んでいてもよい。この場合、ＰＣ１Ｃのプロセッサ３４は、第２パフォーマンス情報に含まれている演奏音の情報を用いて第３パフォーマンス情報を生成する。

【0031】

（変形例２）
変形例２では、第１パフォーマンス情報および第２パフォーマンス情報の両方が、演奏音に関する情報を含む。

【0032】

この場合、第１パフォーマンス情報は、第１演者３の演奏する楽器５に係る演奏音の音信号を含む。第２パフォーマンス情報は、第２演者７の右手のピッキングに係る情報を演奏音に関する情報として含む。

【0033】

第２演者７のピッキングに係る情報は、ＰＣ１Ｂのプロセッサ３４が検出する。プロセッサ３４は、例えば楽器９から受け付けた音信号の特徴量を抽出し、予め検出しておいたピッキングに係る特徴量と対比し、ピッキングのタイミングを示す情報を抽出する。特徴量とは、例えばスペクトル包絡、パワー、振幅スペクトル、基本周波数、フォルマント周波数、メルスペクトル包絡、メルスペクトル、またはケプストラム等である。プロセッサ３４は、ピッキング時に取得される音信号から特徴量を検出し、フラッシュメモリ３３等に記憶する。プロセッサ３４は、取得した音信号の特徴量でフラッシュメモリ３３を参照し、ピッキングのタイミングを示す情報を抽出する。

【0034】

また、プロセッサ３４は、例えば、音信号と、ピッキングのタイミングを示す情報と、の関係をＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等で訓練した訓練済モデルを用意して、当該訓練済モデルに音信号を入力することによりピッキングのタイミングを示す情報を求めてもよい。プロセッサ３４は、訓練段階として、例えば音信号と、ピッキングのタイミングを示す情報とのデータセットをサーバ等から取得する。あるいは、プロセッサ３４は、訓練段階として、モーションセンサ５１から第２センサ信号に基づく第２モーションデータを取得して、ピッキングのタイミングを示す情報（例えば、右手と弦が重なるタイミング）を抽出し、そのタイミングで受け付けた音信号を取得してもよい。プロセッサ３４は、取得した音信号およびピッキングのタイミングを示す情報に基づいて、所定のモデルに、音信号と、ピッキングのタイミングを示す情報と、の関係を訓練させる。プロセッサ３４は、実行段階として、楽器９から受け付けた音信号を訓練済モデルに入力し、ピッキングのタイミングを示す情報を取得する。

【0035】

あるいは、プロセッサ３４は、モーションセンサ５１のセンサ信号に基づいてピッキングのタイミングを示す情報を求めてもよい。例えばモーションセンサ５１が画像式のセンサである場合、プロセッサ３４は、第２演者の右手のピッキングの動きの画像に基づいて、ピッキングのタイミングを示す情報を求める。

【0036】

そして、プロセッサ３４は、第２モーションデータと、ピッキングのタイミングを示す情報と、を含む第２パフォーマンス情報を生成する。

【0037】

ＰＣ１Ｃのプロセッサ３４は、第２パフォーマンス情報に含まれるピッキングのタイミングを示す情報に基づいて、第１パフォーマンス情報に含まれている演奏音の情報を再生する。これにより、第１演者３の演奏する楽器５に係る演奏音が、第２演者７の右手のピッキングの動きに合わせて再生される。

【0038】

（変形例３）
上記実施形態では、演奏に関する情報は、演奏音（音信号）であった。変形例３の演奏に関する情報は、楽器の操作情報を含む。ＰＣ１Ｃのプロセッサ３４は、楽器の操作情報に基づいて演奏音を生成する。

【0039】

楽器の操作情報とは、例えばギターであれば、どのフレットを押下しているか示す情報、該フレットを押下したタイミング、離したタイミング、どの弦をピッキングしたかを示す情報、ピッキングのタイミング、ピッキングの速さ、あるいはミュート操作の有無、等である。また、楽器の操作情報とは、例えばシンセサイザー等の鍵盤楽器では、音高（ノートナンバー）、音色、アタック、ディケイ、サスティン、リリース等の時間パラメータ等である。

【0040】

これらの楽器の操作情報は、例えばモーションセンサ５０およびモーションセンサ５１のセンサ信号に基づいて取得される。モーションセンサ５０およびモーションセンサ５１が画像式のセンサである場合、プロセッサ３４は、第１演者３および第２演者７の手の画像から、楽器の操作情報を検出する。

【0041】

また、プロセッサ３４は、楽器に搭載されたセンサにより、楽器の操作情報を取得することも可能である。楽器に搭載されたセンサとは、例えばギターの場合には、フレット毎に取り付けられたフレットセンサである。プロセッサ３４は、フレット毎のセンサ信号を取得して楽器の操作情報を取得する。あるいはピッキングする弦がセンサに置き換えられた電子楽器である場合も、プロセッサ３４は、センサ信号を取得して楽器の操作情報を取得する。

【0042】

また、プロセッサ３４は、楽器から受け付けた音信号の特徴量を抽出し、予め検出しておいた操作情報に対応する特徴量と対比し、楽器の操作情報を取得してもよい。また、プロセッサ３４は、例えば、音信号と、楽器の操作情報と、の関係をＤＮＮ等で訓練した訓練済モデルを用意して、当該訓練済モデルに音信号を入力することにより楽器の操作情報を求めてもよい。プロセッサ３４は、訓練段階として、例えば音信号と、楽器の操作情報とのデータセットをサーバ等から取得する。あるいは、プロセッサ３４は、訓練段階として、フレット毎のセンサ信号を取得して楽器の操作情報を取得し、そのタイミングで受け付けた音信号を取得してもよい。プロセッサ３４は、取得した音信号および楽器の操作情報に基づいて、所定のモデルに、音信号と、楽器の操作情報と、の関係を訓練させる。プロセッサ３４は、実行段階として、楽器９から受け付けた音信号を訓練済モデルに入力し、楽器の操作情報を取得する。

【0043】

この様な楽器の操作情報は、音源の音を合成するためのパラメータに対応する。ＰＣ１Ａのプロセッサ３４は、第１演者３の右手の操作情報を取得し、ＰＣ１Ｂのプロセッサ３４は、第２演者７の左手の操作情報を取得する。ＰＣ１Ｃのプロセッサ３４は、第１演者３の右手の操作情報と、第２演者７の左手の操作情報を統合した操作情報を生成する。これにより、第１演者３の右手のピッキング動作と、第２演者７の左手のフレット押下動作を統合した演奏の操作情報が生成される。プロセッサ３４は、統合した操作情報に基づいて音源（本実施形態ではギター音源）の音を合成する。

【0044】

これにより、第１演者３の右手のピッキング動作と、第２演者７の左手のフレット押下動作を統合した演奏操作に基づく演奏音が再生される。

【0045】

（変形例４）
図４は、変形例４に係るパフォーマンス情報生成システムの構成図である。図１と共通する構成については同一の符号を付し、説明を省略する。

【0046】

変形例４に係るパフォーマンス情報生成システムは、第３地点３０に設置されたＰＣ１Ｃにマイク７５が接続されている。第３地点３０では、第３演者２が歌唱のパフォーマンスを行う。

【0047】

パフォーマンス情報生成システムは、第３パフォーマンス情報は、第１パフォーマンス情報または第２パフォーマンス情報の少なくとも何れかに係る、第１の演奏に関する情報を含む。この例では、第３パフォーマンス情報は、第１演者３の第１の演奏に係る演奏音を含む。第３演者２は、第１演者３の演奏音を聴く。また、第３演者２は、ＰＣ１Ｃの表示器３１に表示された３Ｄモデルデータ９０を視る。第３演者２は、当該３Ｄモデルデータ９０の演奏の姿を視て、かつ第１演者３の演奏音を聴き、歌唱を行う。

【0048】

ＰＣ１Ｃのプロセッサ３４は、マイク７５で取得した第３演者２の歌唱音に係る音信号を受け付ける。プロセッサ３４は、受け付けた音信号を、ネットワークを介して他装置（ＰＣ１AおよびＰＣ１Ｂ）に送信する。

【0049】

このようにして、第１地点１０の第１演者３、第２地点２０の第２演者７、および第３地点３０の第３演者２が遠隔合奏を行う。第３地点３０の第３演者２は、あたかも１人の演奏者と合奏を行っているように知覚できるという新たな顧客体験を得ることができる。また、第２地点２０の第２演者７は、左手のフレット押下動作だけで、第３演者２と合奏を行っているように知覚できるという新たな顧客体験を得ることができる。

【0050】

（変形例５）
上記実施形態では、第１モーションデータ（左手のモーションデータ）はモーションセンサ５０により取得され、第２モーションデータ（右手のモーションデータ）はモーションセンサ５１により取得される例を示した。しかし、第１モーションデータまたは第２モーションデータは、モーションセンサにより取得する例に限らない。

【0051】

例えば、プロセッサ３４は、演奏音の音信号と、演奏モーションと、の関係をＤＮＮで訓練した訓練済モデルに基づいて演奏モーションを推定してもよい。また、プロセッサ３４は、楽器に搭載されたセンサにより、演奏モーションを取得することも可能である。例えばプロセッサ３４は、フレット毎に取り付けられたフレットセンサにより、左手の運指に係る演奏モーションを取得してもよい。プロセッサ３４は、訓練段階として、例えば音信号と、演奏モーション（ギターであれば右手または左手のモーションデータ）とのデータセットをサーバ等から取得する。あるいは、プロセッサ３４は、訓練段階として、モーションセンサを用いて検出した演奏モーションを取得し、そのタイミングで受け付けた音信号を取得してもよい。プロセッサ３４は、取得した音信号および演奏モーションに基づいて、所定のモデルに、音信号と、演奏モーションと、の関係を訓練させる。プロセッサ３４は、実行段階として、楽器９から受け付けた音信号を訓練済モデルに入力し、演奏モーションを取得する。

【0052】

（変形例６）
変形例６に係るパフォーマンス情報生成システムでは、第１パフォーマンス情報または第２パフォーマンス情報の少なくとも何れかは、予め作成されて記録された情報を含む。

【0053】

図５は、変形例６に係るパフォーマンス情報生成システムの構成図である。図１と共通する構成については同一の符号を付し、説明を省略する。変形例６に係るパフォーマンス情報生成システムでは、ＰＣ１Ｂに代えて、サーバ１００を有する。サーバ１００は、図１においてＰＣ１Ｂで生成された第２パフォーマンス情報を記録している。サーバ１００は、記録した第２パフォーマンス情報を配信する。

【0054】

ＰＣ１Ｃのプロセッサ３４は、ＰＣ１Ａから第１パフォーマンス情報を取得し、サーバ１００から第２パフォーマンス情報を取得する。

【0055】

（変形例７）
変形例７のパフォーマンス情報生成システムは、第１パフォーマンス情報または第２パフォーマンス情報の少なくとも何れかに対応する非代替性トークン（Ｎｏｎ－Ｆｕｎｇｉｂｌｅ Ｔｏｋｅｎ：以下、ＮＦＴと称する。）をインターネット上のデジタル台帳に記録する。

【0056】

例えば、図１で示した第１演者３は、自身の第１パフォーマンス情報に対応するＮＦＴをデジタル台帳に記録する。これにより、第１演者３は、自身の第１パフォーマンス情報をＮＦＴで証明することができる。第１演者３は、例えばＮＦＴで証明した自身の第１パフォーマンス情報を販売し、対価を得ることができる。また、第１演者３は、例えば同じ第１演者３の第１パフォーマンス情報であっても、右手のピッキングの動きと、左手のフレット押下動作と、をそれぞれ別のパフォーマンス情報としてＮＦＴと対応付けて記録してもよい。この場合、第１演者３は、例えば、右手のピッキングの動きと、左手のフレット押下動作と、をそれぞれ異なる価格で販売することもできる。

【0057】

（その他の例）
上記実施形態では、パフォーマンス情報の例として、演奏操作を示した。しかしパフォーマンス情報は、例えば指揮者の指揮の動作、ダンサーのダンスの動作等も含まれる。例えば、第１のダンサーが上半身にモーションセンサを取り付け、第２のダンサーが下半身にモーションセンサを取り付けてもよい。プロセッサ３４は、第１のダンサーの上半身の動作と、第２のダンサーの下半身の動作を統合したモーションデータを生成してもよい。

【0058】

上記実施形態では、第１パフォーマンス情報は、第１演者３のギターの右手のピッキングの動きを示すモーションデータであり、第２パフォーマンス情報は、第２演者７の左手のフレット押下動作を示すモーションデータであった。しかし、例えば、第１パフォーマンス情報は、第１演者３の右手のピッキングの動きおよび左手のフレット押下動作の両方を示すモーションデータであってもよい。第２演者７は、演奏に直接関係ない動作（例えばダンス）を行い、第２パフォーマンス情報は、第２演者７のダンスの動作を示すモーションデータであってもよい。これにより、本実施形態のパフォーマンス情報生成方法は、演奏と演奏以外の動作（例えばダンス）を統合したモーションデータで３Ｄモデルデータを制御することができ、従来ではなし得なかった新たなパフォーマンスを実現することもできる。

【0059】

また、第２演者７は、ギターとは異なる演奏（例えば電子オルガンの演奏）を行い、第２パフォーマンス情報は、第２演者７の電子オルガンの動作のうち足の動きを示すモーションデータであってもよい。これにより、本実施形態のパフォーマンス情報生成方法は、ギター演奏を行いながら、電子オルガンの足の動きを統合したモーションデータで３Ｄモデルデータを制御することができ、従来ではなし得なかった新たなパフォーマンスを実現することもできる。

【0060】

また、第２演者７は、例えば、キーボードやマウス等のボタンを押すだけの動作を行い、第２パフォーマンス情報は、リズムに合わせて第２演者７のボタンの押下動作を示すモーションデータであってもよい。ＰＣ１Ｃのプロセッサ３４は、第２パフォーマンス情報に含まれるボタンの押下動作を示す情報に基づいて、第１パフォーマンス情報に含まれている演奏音の情報を再生する。これにより、第１演者３の演奏する楽器５に係る演奏音が、第２演者７のボタン押下動作に合わせて再生される。したがって、第２演者７は、リズムに合わせてボタンを押すだけで、高度なパフォーマンスを提供することができる。

【0061】

楽器は、ギターに限らず、ギター以外の弦楽器、管楽器、打楽器等も含んでいてもよい。

【0062】

本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲は、特許請求の範囲と均等の範囲を含む。

【符号の説明】

【0063】

１ ：パフォーマンス情報生成装置
２ ：第３演者
３ ：第１演者
５ ：楽器
７ ：第２演者
９ ：楽器
１０ ：第１地点
２０ ：第２地点
３０ ：第３地点
３１ ：表示器
３２ ：ユーザＩ／Ｆ
３３ ：フラッシュメモリ
３４ ：プロセッサ
３５ ：ＲＡＭ
３６ ：通信Ｉ／Ｆ
３８ ：オーディオＩ／Ｆ
３９ ：オーディオＩ／Ｆ
５０ ：モーションセンサ
５１ ：モーションセンサ
７５ ：マイク
９０ ：３Ｄモデルデータ
９１ ：３Ｄモデルデータ
１００ ：サーバ

【図1】

【図2】

【図3】

【図4】

【図5】