特開 2024-175446 演奏音生成方法、演奏音生成装置、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024175446

(43)【公開日】2024-12-18

(54)【発明の名称】演奏音生成方法、演奏音生成装置、およびプログラム

(51)【国際特許分類】

   G10H 7/02 20060101AFI20241211BHJP

   G10H 1/00 20060101ALI20241211BHJP

【ＦＩ】

G10H7/02

G10H1/00 Z

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2023093238

(22)【出願日】2023-06-06

(71)【出願人】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】弁理士法人 楓国際特許事務所

(72)【発明者】

【氏名】甲斐 繁

(72)【発明者】

【氏名】中村 吉就

(72)【発明者】

【氏名】大谷 明央

(72)【発明者】

【氏名】井芹 大智

(72)【発明者】

【氏名】藤島 琢哉

(72)【発明者】

【氏名】松田 遼

(72)【発明者】

【氏名】山川 颯人

(72)【発明者】

【氏名】須山 明彦

(72)【発明者】

【氏名】密岡 稜大

(72)【発明者】

【氏名】原 貴洋

(72)【発明者】

【氏名】鈴木 裕和

(72)【発明者】

【氏名】鈴木 俊太朗

【テーマコード（参考）】

5D478

【Ｆターム（参考）】

5D478AA34

5D478HH02

5D478KK01

(57)【要約】

【課題】利用者が任意の環境で楽器を演奏している様に知覚することができる演奏音生成方法を提供する。
【解決手段】演奏音生成方法は、第１楽器の画像情報と、該第１楽器の環境変化で変化する音響情報を取得し、利用者の演奏操作情報を取得し、前記画像情報に基づいて、前記第１楽器の画像をレンダリングし、前記演奏操作情報および前記音響情報に基づいて、前記第１楽器の演奏音を生成する。
【選択図】図２

【特許請求の範囲】

【請求項1】

第１楽器の画像情報と、該第１楽器の環境変化で変化する音響情報を取得し、
利用者の演奏操作情報を取得し、
前記画像情報に基づいて、前記第１楽器の画像をレンダリングし、
前記演奏操作情報および前記音響情報に基づいて、前記第１楽器の演奏音を生成する、
演奏音生成方法。

【請求項2】

前記演奏操作情報は、第２楽器に対する前記利用者の演奏操作により取得される、
請求項１に記載の演奏音生成方法。

【請求項3】

前記画像情報または前記音響情報は、時間の経過で変化する、
請求項２に記載の演奏音生成方法。

【請求項4】

前記第１楽器の演奏音を、ネットワークを介して前記利用者の利用する情報処理装置に送信し、
前記情報処理装置が、前記第１楽器の演奏音を、前記ネットワークを介して受信し、
前記第２楽器に対する前記利用者の演奏操作に応じて、前記第１楽器の演奏音を再生する、
請求項２または請求項３に記載の演奏音生成方法。

【請求項5】

さらに、再生環境に関する情報を取得し、
前記再生環境に関する情報に基づいて、生成した前記第１楽器の演奏音に信号処理を施す、
請求項１乃至請求項３のいずれか１項に記載の演奏音生成方法。

【請求項6】

前記第１楽器の前記画像情報および前記音響情報を、ネットワークを介して取得する、
請求項１乃至請求項３のいずれか１項に記載の演奏音生成方法。

【請求項7】

前記第１楽器の演奏音を再生する、
請求項１乃至請求項３のいずれか１項に記載の演奏音生成方法。

【請求項8】

前記画像情報および前記音響情報に対応する非代替性トークンを記録する、
請求項１乃至請求項３のいずれか１項に記載の演奏音生成方法。

【請求項9】

前記第１楽器の前記画像情報および前記音響情報を前記非代替性トークンで証明し、
証明された前記第１楽器の前記画像情報および前記音響情報を提供する、
請求項８に記載の演奏音生成方法。

【請求項10】

第１楽器の画像情報と、該第１楽器の環境変化で変化する音響情報を取得し、
利用者の演奏操作情報を取得し、
前記画像情報に基づいて、前記第１楽器の画像をレンダリングし、
前記演奏操作情報および前記音響情報に基づいて、前記第１楽器の演奏音を生成する、
処理を行うプロセッサを備えた演奏音生成装置。

【請求項11】

前記演奏操作情報は、第２楽器に対する前記利用者の演奏操作により取得される、
請求項１０に記載の演奏音生成装置。

【請求項12】

前記音響情報は、時間の経過で変化する、
請求項１１に記載の演奏音生成装置。

【請求項13】

前記画像情報は、３Ｄモデルデータを含む、
請求項１０乃至請求項１２のいずれか１項に記載の演奏音生成装置。

【請求項14】

前記画像情報は、センサによって取得される、
請求項１０乃至請求項１２のいずれか１項に記載の演奏音生成装置。

【請求項15】

前記演奏操作情報は、センサによって取得される、
請求項１０乃至請求項１２のいずれか１項に記載の演奏音生成装置。

【請求項16】

前記プロセッサは、前記画像情報および前記音響情報に対応する非代替性トークンを記録する、
請求項１０乃至請求項１２のいずれか１項に記載の演奏音生成装置。

【請求項17】

第１楽器の画像情報と、該第１楽器の環境変化で変化する音響情報を取得し、
利用者の演奏操作情報を取得し、
前記画像情報に基づいて、前記第１楽器の画像をレンダリングし、
前記演奏操作情報および前記音響情報に基づいて、前記第１楽器の演奏音を生成する、
処理を情報処理装置に実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明の一実施形態は、演奏音生成方法、演奏音生成装置、およびプログラムに関する。

【背景技術】

【0002】

特許文献１の楽器１００は、演奏操作を受け付ける操作部１１０と、該受け付けられた演奏操作を表す演奏情報を生成する生成部１２０と、携帯端末を検知する検知部１３０と、前記携帯端末が検出されると、前記生成部にて生成された演奏情報および当該演奏操作が行われている場面を撮影した映像のうち少なくともいずれか一つを、当該楽器および前記携帯端末の少なくともいずれかに記録する処理を開始する制御部１７０とを有する。

【0003】

特許文献２のピアノは、受け付けた演奏操作を示す演奏情報を生成して、その演奏操作がペダルが押されておらず、且つ、発生させた楽音が単音である場合には、その単音の楽音の発音状態（例えば楽音音波形データ）を検出する。この際、ピアノは、単音の直前の楽音の影響を受けないように、その楽音を発生させるための演奏操作の終了時点から、所定時間が経過した後の単音の発音状態を検出する。ピアノは、検出した発音状態を示す発音検出データと演奏情報とを含むログデータをサーバ装置へ送信出力する。サーバ装置は、ピアノから収集したログデータを解析して、ピアノの状態に関する通知（例えば調律の要否や調律推奨時期の通知）をするための通知情報を生成してピアノへ出力する。

【0004】

特許文献３のピアノ１０は、キーセンサ１５１によりキー情報を検出し、ペダルセンサ１５２によりペダル情報を検出し、ハンマセンサ１５３によりハンマ情報を検出し、プランジャ速度センサ１５４によりプランジャ速度情報を検出し、ＧＰＳセンサ１５５によりピアノ１０の位置情報を検出し、傾斜センサ１５６によりピアノ１０の傾斜情報を検出し、周辺温度センサ１５７により周辺温度情報を検出し、周辺湿度センサ１５８により周辺湿度情報を検出し、プランジャ温度センサ１５９によりプランジャ温度情報を検出し、これらの検出データを含むログデータをサーバ装置へ送信する。サーバ装置は、ログデータを解析してピアノ１０の状態を通知するための通知情報（例えば調律の要否や調律推奨時期の通知）を生成して、ピアノ１０へ送信する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１４－２２８７５０

【特許文献2】特開２０１４－２２８７５１

【特許文献3】特開２０１４－２２８７５２

【発明の概要】

【発明が解決しようとする課題】

【0006】

本開示のひとつの態様は、利用者が任意の環境で楽器を演奏している様に知覚することができる演奏音生成方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一実施形態に係る演奏音生成方法は、第１楽器の画像情報と、該第１楽器の環境変化で変化する音響情報を取得し、利用者の演奏操作情報を取得し、前記画像情報に基づいて、前記第１楽器の画像をレンダリングし、前記演奏操作情報および前記音響情報に基づいて、前記第１楽器の演奏音を生成する。

【発明の効果】

【0008】

本発明の一実施形態によれば、利用者が任意の環境で楽器を演奏している様に知覚することができる。

【図面の簡単な説明】

【0009】

【図1】演奏音生成システムの構成図である。

【図2】ＰＣ１の構成を示すブロック図である。

【図3】本実施形態の演奏音生成方法に係る動作を示すフローチャートである。

【図4】変形例２に係る演奏音生成システムの構成図である。

【図5】変形例３に係る演奏音生成システムの構成図である。

【図6】変形例５に係る演奏音生成システムの構成図である。

【図7】変形例６に係る演奏音生成システムの構成図である。

【発明を実施するための形態】

【0010】

図１は、本実施形態に係る演奏音生成システムの構成図である。本実施形態の演奏音生成システムは、第１地点１０に設置されたサーバ１００および第２地点２０に設置されたＰＣを備える。第１地点１０は、例えば楽器店の店舗である。第１地点１０は、販売用の第１楽器２を備える。第２地点２０は利用者である第１演者３の自宅である。

【0011】

第２地点２０の第１演者３は、ＰＣ１に第２楽器４を接続する。本実施形態では一例として、第１楽器２および第２楽器４はエレキギターである。なお、本実施形態において、「演奏」とは楽器の演奏に限るものではなく、マイクを用いた歌唱も含む。

【0012】

図２は、ＰＣ１の構成を示すブロック図である。本実施形態において、ＰＣ１は演奏音生成装置の一例である。

【0013】

ＰＣ１は、表示器３１、ユーザＩ／Ｆ３２、フラッシュメモリ３３、プロセッサ３４、ＲＡＭ３５、通信Ｉ／Ｆ３６、スピーカ（ＳＰ）３７、およびオーディオＩ／Ｆ３８を備えている。

【0014】

表示器３１は、例えばＬＥＤ、ＬＣＤまたはＯＬＥＤ等からなり、種々の情報を表示する。ユーザＩ／Ｆ３２は、表示器３１のＬＣＤまたはＯＬＥＤに積層されるタッチパネルである。あるいは、ユーザＩ／Ｆ３２は、キーボードまたはマウス等であってもよい。ユーザＩ／Ｆ３２がタッチパネルである場合、該ユーザＩ／Ｆ３２は、表示器３１とともに、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成する。

【0015】

通信Ｉ／Ｆ３６は、ネットワークインタフェースを含み、ルータ（不図示）を介してインターネット等のネットワークに接続される。また、通信Ｉ／Ｆ３６は、カメラ５０に接続される。

【0016】

カメラ５０は、第１演者３および第２楽器４の映像信号を取得する。プロセッサ３４は、カメラ５０から受け付けた映像信号に信号処理を施す。

【0017】

オーディオＩ／Ｆ３８は、アナログオーディオ端子を有する。オーディオＩ／Ｆ３８は、オーディオケーブルを介して楽器またはマイク等の音響機器に接続され、アナログ音信号を受け付ける。本実施形態では、ＰＣ１のオーディオＩ／Ｆ３８は、第２楽器４に接続され、第２楽器４から演奏音に係るアナログ音信号を受け付ける。オーディオＩ／Ｆ３８は、受け付けたアナログ音信号をデジタル音信号に変換する。また、オーディオＩ／Ｆ３８は、デジタル音信号をアナログ音信号に変換する。ＳＰ３７は、当該アナログ音信号に基づく音を再生する。

【0018】

プロセッサ３４は、ＣＰＵ，ＤＳＰ、あるいはＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）等からなり、記憶媒体であるフラッシュメモリ３３に記憶されているプログラムをＲＡＭ３５に読み出して、ＰＣ１の各構成を制御する。フラッシュメモリ３３は、本実施形態のプログラムを記憶している。

【0019】

プロセッサ３４は、オーディオＩ／Ｆ３８から受け付けたデジタル音信号に信号処理を施す。プロセッサ３４は、信号処理後のデジタル音信号をオーディオＩ／Ｆ３８に出力する。オーディオＩ／Ｆ３８は、信号処理後のデジタル音信号をアナログ音信号に変換する。

【0020】

ＳＰ３７は、オーディオＩ／Ｆ３８から出力されるアナログ音信号を再生し、第２楽器４の音を再生する。

【0021】

ＰＣ１のプロセッサ３４は、本実施形態の演奏音生成方法を実行する。図３は、本実施形態の演奏音生成方法に係る動作を示すフローチャートである。

【0022】

プロセッサ３４は、まず、第１楽器の画像情報と、該第１楽器の音響情報を取得する（Ｓ１１）。具体的には、プロセッサ３４は、サーバ１００から、第１楽器２の画像情報９０および音響情報９１を受信する。

【0023】

画像情報９０は、第１楽器２の３Ｄモデルデータである。第１楽器２のモデルデータは、例えば第１楽器２のボディ、ネック、および弦等を構成するための複数のポリゴンデータおよびボーンデータを有する。第１楽器２のモデルデータを構成する複数のボーンデータは、複数の関節データによって結合されたリンク構造を有していてもよい。特に可動域を有する楽器の場合、モデルデータは、リンク構造を含むことが好ましい。また、画像情報９０は、３Ｄモデルデータに限らない。画像情報９０は、２Ｄ画像データであってもよい。また、画像情報９０は、静止画に限らず動画であってもよい。

【0024】

このような画像情報９０は、サーバ１００に接続されたセンサの一例であるカメラ７０により取得される。第１楽器２の３Ｄモデルデータは予め作成されるが、カメラ７０は、現時点の第１楽器２の外観映像を取得する。サーバ１００は、カメラ７０で取得した現時点の第１楽器２の外観映像に基づいて、予め作成された３Ｄモデルデータを調整する。例えば、サーバ１００は、経年変化により生じる色の変化、金属部品の表面反射度の変化等を反映する。あるいはサーバ１００は、１日の中での昼と夜の外観の違いを反映してもよい。なお、サーバ１００は、カメラ７０で取得した第１楽器２の外観映像から第１楽器２を認識し、第１楽器２の種類、製品名等の識別情報を特定する。サーバ１００は、予め多数の楽器の外観映像と楽器の識別情報とを対応付けたデータベースを用意し、カメラ７０で撮影した第１楽器２の外観映像で、対応する第１楽器２の識別情報を取得する。また、サーバ１００は、例えば、第１楽器２の外観映像と、識別情報と、の関係をＤＮＮ等で訓練した訓練済モデルを用意して、当該訓練済モデルに外観映像を入力することにより識別情報を求めてもよい。この場合、サーバ１００は、訓練段階として、例えば楽器の外観映像と、識別情報とのデータセットを多数取得する。サーバ１００は、取得した外観映像および識別情報に基づいて、所定のモデルに、外観映像と、識別情報と、の関係を訓練させる。サーバ１００は、実行段階として、カメラ７０から受け付けた第１楽器２の外観映像を訓練済モデルに入力し、識別情報を取得する。これにより、サーバ１００は、Ｓ１１において第１楽器２の画像情報９０および音響情報９１を割り出してＰＣ１Ａに送信することができる。

【0025】

音響情報９１は、第１楽器２の音をデジタル音源としてモデリングしたデータを含む。第１楽器２の音は、環境変化に応じて変化する。例えばギターのボディにおける主たる素材である木の性質は、時間の経過により変化する。また、ピックアップに使われているマグネットも時間の経過により変化する。第１楽器２の音は、時間の経過により変化する。また、保存環境における温度、湿度等によっても、第１楽器２の音は変化する。音響情報９１は、新製品時の音をモデリングしただけでなく、これらの環境変化に応じて変化した音をモデリングしたデータを含み、時間の経過により変化する。

【0026】

なお、Ｓ１１の処理において、プロセッサ３４は、第１演者３から、どの時点（例えば現在、１年前、３年前等）の画像情報９０または音響情報９１を取得するか、受け付けてもよい。プロセッサ３４は、受け付けた時点に対応する画像情報９０または音響情報９１をサーバ１００から取得する。

【0027】

また、音響情報９１は、再生環境に関する情報を含んでいてもよい。再生環境に関する情報は、例えば第１楽器２に接続される音響機器（エフェクタ、アンプ、スピーカ等）に関する情報、および再生空間の響きに関する情報を含む。第１楽器２の音は、接続される音響機器および再生空間の響きによっても変化する。例えば、第１楽器２の音は、試奏室等のスタジオ環境、コンサートホール、屋外、等によって異なる。音響情報９１は、これらの様々な再生環境に関する情報を含んでいてもよい。

【0028】

次に、プロセッサ３４は、第１演者３の演奏操作情報を取得する（Ｓ１２）。演奏操作情報とは、例えばギターであれば、どのフレットを押下しているか示す情報、該フレットを押下したタイミング、離したタイミング、どの弦をピッキングしたかを示す情報、ピッキングのタイミング、ピッキングの速さ、あるいはミュート操作の有無、等である。また、演奏操作情報とは、例えばシンセサイザー等の鍵盤楽器では、音高（ノートナンバー）、音色、アタック、ディケイ、サスティン、リリース等の時間パラメータ等である。

【0029】

本実施形態では、演奏操作情報は、第２楽器４に対する第１演者３の演奏操作により取得される。

【0030】

プロセッサ３４は、演奏操作情報をカメラ５０の映像信号に基づいて取得する。あるいは、プロセッサ３４は、例えばモーションセンサにより演奏者のモーションデータを取得し、演奏操作情報を取得してもよい。

【0031】

また、プロセッサ３４は、楽器に搭載されたセンサにより、楽器の操作情報を取得することも可能である。楽器に搭載されたセンサとは、例えばギターの場合には、フレット毎に取り付けられたフレットセンサである。プロセッサ３４は、フレット毎のセンサ信号を取得して楽器の操作情報を取得する。あるいはピッキングする弦がセンサに置き換えられた電子楽器である場合も、プロセッサ３４は、センサ信号を取得して楽器の操作情報を取得する。

【0032】

また、プロセッサ３４は、オーディオＩ／Ｆ３８から受け付けたデジタル音信号（第２楽器４の音信号）の特徴量を抽出し、予め検出しておいた操作情報に対応する特徴量と対比し、演奏操作情報を取得してもよい。また、プロセッサ３４は、例えば、音信号と、演奏操作情報と、の関係をＤＮＮ等で訓練した訓練済モデルを用意して、当該訓練済モデルに音信号を入力することにより演奏操作情報を求めてもよい。プロセッサ３４は、訓練段階として、例えば音信号と、演奏操作情報とのデータセットをサーバ等から取得する。あるいは、プロセッサ３４は、訓練段階として、フレット毎のセンサ信号を取得して演奏操作情報を取得し、そのタイミングで受け付けた音信号を取得してもよい。プロセッサ３４は、取得した音信号および演奏操作情報に基づいて、所定のモデルに、音信号と、演奏操作情報と、の関係を訓練させる。プロセッサ３４は、実行段階として、第２楽器４から受け付けた音信号を訓練済モデルに入力し、演奏操作情報を取得する。

【0033】

そして、プロセッサ３４は、画像情報９０に基づいて第１楽器２の画像をレンダリングする（Ｓ１３）。より具体的には、プロセッサ３４は、演奏操作情報を用いて、画像情報９０に含まれる第１楽器２の３Ｄモデルデータを制御する。また、プロセッサ３４は、ある演者８０の３Ｄモデルデータを制御してもよい。演者８０のモデルデータは、例えば演者の顔、胴、腕、指、および脚等を構成するための複数のポリゴンデータおよびボーンデータを有する。複数のボーンデータは、複数の関節データによって結合されたリンク構造を有する。モデルデータの各ボーンデータの位置情報は、モーションデータにより定義される。プロセッサ３４は、演者８０のモデルデータの位置情報を、演奏者の演奏操作情報に基づいて制御する。プロセッサ３４は、演者８０の３Ｄモデルデータをレンダリングし、該３Ｄモデルデータの位置情報を、演奏操作情報に基づいて制御する。プロセッサ３４は、レンダリングした３Ｄモデルデータに係る映像（画像情報９０に含まれる第１楽器２の映像および演者８０の映像）を表示器３１に表示する。

【0034】

そして、プロセッサ３４は、演奏操作情報および音響情報９１に基づいて、第１楽器２の演奏音を生成する（Ｓ１４）。演奏操作情報は、音響情報９１の音源の音を合成するためのパラメータに対応する。プロセッサ３４は、第１演者３の演奏操作情報に基づいて音源（本実施形態では第１楽器２のギター音源）の音を合成する。

【0035】

プロセッサ３４は、音響情報９１に含まれる再生環境に関する情報に基づいて信号処理を施してもよい。例えば、音響情報９１に響きに関する情報が含まれている場合、プロセッサ３４は、再生環境の響きを再現する処理として、合成した音の音信号に対して、再生環境のインパルス応答データを畳み込む信号処理を行ってもよい。また、プロセッサ３４は、合成した音の音信号に対して、第１楽器２に接続される音響機器（エフェクタ、アンプ、スピーカ等）をシミュレートするフィルタ処理を施してもよい。具体的には、再生環境に関する情報は、第１楽器２に接続される各音響機器の入力に対する出力の特性をデジタルフィルタとしてシミュレートしたデジタル信号処理ブロックのパラメータを含む。プロセッサ３４は、合成した音の音信号に対して、音響機器に関する情報で示されたパラメータの信号処理を施す。これにより、プロセッサ３４は、合成した音に対して、第１楽器２に接続される音響機器（エフェクタ、アンプ、スピーカ等）の入出力特性を再現することができる。

【0036】

プロセッサ３４は、生成した第１楽器２の演奏音に係る音信号をオーディオＩ／Ｆ３８を介してスピーカ３７に出力する。これにより、スピーカ３７から、第１演者３の第２楽器４に対する演奏操作に対応して、第１楽器２の演奏音が再生される。なお、サーバ１００が図３のＳ１３およびＳ１４に示す動作を実行し、Ｓ１３およびＳ１４で生成した映像および音信号をＰＣ１に送信してもよい。この場合、ＰＣ１は、ネットワークを介して、サーバ１００から映像および音信号を受信して、第２楽器４に対する利用者の演奏操作に応じて、受信した第１楽器２の演奏音を再生する。

【0037】

このようにして、第１演者３は、自宅の自身の第２楽器４を用いて、自宅に居ながらにして、店舗にある第１楽器２を試奏し、第１楽器２の演奏音を聴くことができる。本実施形態の演奏音生成方法の利用者は、実際に触れている第２楽器４以外の好きな楽器を演奏するように知覚できるという顧客体験を得ることができる。より具体的には、本実施形態の演奏音生成方法の利用者は、遠隔でも好きな楽器を演奏することができるという顧客体験を得ることができる。

【0038】

（変形例１）
変形例１の演奏音生成システムは、画像情報９０および音響情報９１に対応する非代替性トークン（Ｎｏｎ－Ｆｕｎｇｉｂｌｅ Ｔｏｋｅｎ：以下、ＮＦＴと称する。）をインターネット上のデジタル台帳に記録する。

【0039】

例えば、図１の第１地点１０である楽器店は、ビンテージ品である第１楽器２の画像情報９０および音響情報９１に対応するＮＦＴをデジタル台帳に記録する。これにより、楽器店は、販売している楽器の外観に関する情報と音に関する情報をＮＦＴで証明し、対応付けることができる。楽器店は、例えばＮＦＴで証明したビンテージ品である第１楽器２の画像情報９０および音響情報９１を販売し、対価を得ることができる。楽器店は、例えば無償試用期間を設定してＮＦＴに対応していない画像情報９０および音響情報９１を提供し、課金を受けた後にＮＦＴで証明された画像情報９０および音響情報９１を提供してもよい。

【0040】

（変形例２）
図４は、変形例２に係る演奏音生成システムの構成図である。図１と共通する構成は同一の符号を付し、説明を省略する。

【0041】

変形例２に係る演奏音生成システムは、第２地点２０のＰＣ１と、第３地点３０に設置されたＰＣ１Ａと、がネットワークを介して接続されている。ＰＣ１Ａの構成は、図２に示したＰＣ１と同じ構成である。

【0042】

ＰＣ１Ａには、マイク８、カメラ５０およびカメラ７０が接続されている。第３地点３０では、第２演者７がマイク８を用いて歌唱を行う。ＰＣ１Ａは、マイク８で受け付けた歌唱音に係る音信号をＰＣ１に送信する。また、ＰＣ１Ａは、カメラ５０から受け付けた、第２演者７の映像信号をＰＣ１に送信する。

【0043】

ＰＣ１は、ＰＣ１から受信した第２演者７の歌唱音に係る音信号を再生する。ＰＣ１は、図３のＳ１３でレンダリングした３Ｄモデルデータに係る映像（画像情報９０に含まれる第１楽器２の映像および演者８０の映像）およびＰＣ１Ａから受信した第２演者７の映像を表示する。

【0044】

ＰＣ１は、図３のＳ１２で生成した演奏操作情報をＰＣ１Ａに送信する。ＰＣ１Ａは、受信した演奏操作情報に基づいて、図３のＳ１３およびＳ１４に示す動作を実行する。ＰＣ１Ａは、Ｓ１３でレンダリングした３Ｄモデルデータに係る映像（画像情報９０に含まれる第１楽器２の映像および演者８０の映像）およびカメラ５０から受け付けた、第２演者７の映像を表示する。また、ＰＣ１Ａは、Ｓ１４で生成した第１楽器２の演奏音に係る音信号を再生する。あるいは、ＰＣ１が図３のＳ１３およびＳ１４に示す動作を実行し、Ｓ１３およびＳ１４で生成した映像および第１楽器２の演奏音に係る音信号を、ネットワークを介してＰＣ１Ａに送信してもよい。ＰＣ１Ａは、受信した映像および音信号を再生する。

【0045】

このようにして、変形例２に係る演奏音生成システムは、第２地点２０の第１演者３および第３地点３０の第２演者７が遠隔合奏を行うことができる。変形例２に係る演奏音生成システムでは、第１演者３は、自宅の自身の第２楽器４を用いて、自宅に居ながらにして、スタジオである第３地点３０にある第１楽器２を演奏し、第２演者７と合奏を行うことができる。

【0046】

（変形例３）
図５は、変形例３に係る演奏音生成システムの構成図である。図４と共通する構成は同一の符号を付し、説明を省略する。

【0047】

変形例３に係る演奏音生成システムでは、第１楽器２は第１演者３の所有するエレキギターであり、第２楽器４は、スタジオである第３地点３０に設置されたエレキギターである。

【0048】

ＰＣ１には、カメラ７０が接続されている。ＰＣ１Ａには、マイク８、２つのカメラ５０が接続されている。

【0049】

ＰＣ１Ａは、図３に示すＳ１１～Ｓ１４の動作を実行する。ＰＣ１Ａは、Ｓ１３でレンダリングした３Ｄモデルデータに係る映像（画像情報９０に含まれる第１楽器２の映像および演者８０の映像）およびカメラ５０から受け付けた、第２演者７の映像を表示する。また、ＰＣ１Ａは、Ｓ１４で生成した第１楽器２の演奏音に係る音信号を再生する。

【0050】

変形例３に係る演奏音生成システムでは、第１演者３は、スタジオである第３地点３０の第２楽器４を用いながら、自宅にある第２地点２０の第１楽器２を演奏して、第２演者７と合奏を行うことができる。そのため、第１演者３は、所有するエレキギターを持ち運ぶことなく、どの場所でも所有するエレキギターの音で演奏を行うことができる。

【0051】

（変形例４）
複数の要素から構成される楽器の場合、画像情報９０および音響情報９１は、要素毎に設けられていてもよい。例えば、サックスの場合、本体・ネック・マウスピース・リガチャー・リード等の要素を有する。画像情報９０および音響情報９１は、これら本体・ネック・マウスピース・リガチャー・リード等の要素毎に設けられている。

【0052】

ＰＣ１は、図３のＳ１３の動作において、複数の画像情報９０の組み合わせに基づいてサックスの映像をレンダリングする。また、図３のＳ１４の動作において、複数の音響情報９１の組み合わせに基づいて演奏音を生成する。

【0053】

これにより、利用者は、楽器を構成する複数の要素の組み合わせにより、外観および音色が変えて演奏することができる。

【0054】

（変形例５）
図６は、変形例５に係る演奏音生成システムの構成図である。図１と共通する構成は同一の符号を付し、説明を省略する。

【0055】

変形例５に係る演奏音生成システムでは、第２地点２０に第１楽器２が設置されている。ＰＣ１には、カメラ５０およびカメラ７０が接続されている。

【0056】

ＰＣ１は、図３に示すＳ１１～Ｓ１４の動作を実行する。画像情報９０および音響情報９１は、ＰＣ１のフラッシュメモリ３３に記憶されていてもよいし、他装置（例えばサーバ１００）に記憶されていて、ＰＣ１が都度ダウンロードしてもよい。

【0057】

この場合も、利用者は、実際に触れている第２楽器４以外の好きな楽器（例えば第１楽器２）を演奏するように知覚できるという顧客体験を得ることができる。

【0058】

（変形例６）
図７は、変形例６に係る演奏音生成システムの構成図である。図６と共通する構成は同一の符号を付し、説明を省略する。

【0059】

変形例６に係る演奏音生成システムでは、第２地点２０に第１楽器２が設置されている。第１演者３は、第１楽器２を演奏する。ＰＣ１には、第１楽器２およびカメラ５０が接続されている。

【0060】

ＰＣ１は、図３に示すＳ１１～Ｓ１４の動作を実行する。画像情報９０および音響情報９１は、ＰＣ１のフラッシュメモリ３３に記憶されていてもよいし、他装置（例えばサーバ１００）に記憶されていて、ＰＣ１が都度ダウンロードしてもよい。

【0061】

変形例６では、第１演者３は、第１楽器２を演奏し、ＰＣ１は第１楽器２の画像および演者８０の３Ｄモデルデータをレンダリングする。また、ＰＣ１は、第１演者３は、第１楽器２を演奏し、音響情報９１に基づいて、第１楽器２の演奏音を生成する。

【0062】

これにより、利用者は、任意の環境で楽器を演奏している様に知覚することができるという新たな顧客体験を得ることができる。例えば、ＰＣ１は、新品時の第１楽器２の音をモデリングした音響情報９１を取得すれば、新品時の第１楽器２の演奏音を生成できる。したがって、利用者は、新品時の第１楽器２の演奏音を鳴らすことができる。あるいは逆に、例えば、ＰＣ１は、第１楽器２の過去の音をモデリングした音響情報９１を取得すれば、新品の第１楽器２であっても、過去の演奏音（ビンテージサウンド）を生成できる。

【0063】

また、ＰＣ１は、音響情報９１に響きに関する情報が含まれている場合、表示器３１に仮想的なコンサートホール等の映像を表示し、当該コンサートホール等の再生環境の響きを再現する処理を行ってもよい。これにより、利用者は、例えば現存しない、あこがれのライブハウスやコンサートホールでライブパフォーマンスをしているように知覚することができるという新たな顧客体験を得ることができる。

【0064】

本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲は、特許請求の範囲と均等の範囲を含む。

【0065】

例えば、本発明は、第１楽器の画像情報と、該第１楽器の音響情報と、を取得し、第２楽器に対する利用者の演奏操作情報を取得し、前記画像情報に基づいて、前記第１楽器の画像をレンダリングし、前記演奏操作情報および前記音響情報に基づいて、前記第１楽器の演奏音を生成する、演奏音生成方法であってもよい。

【0066】

この場合も、自宅等にある第２楽器を演奏することで、楽器店等の遠隔地に設置されている第１楽器の音を再現することができる。したがって、利用者は、遠隔でも好きな楽器を演奏することができる。

【0067】

図６または図７に示した様に、本発明においてネットワークの構成は必須ではない。画像情報９０および音響情報９１は、ネットワークを介して取得する必要はない。

【符号の説明】

【0068】

２ ：第１楽器
３ ：第１演者
４ ：第２楽器
７ ：第２演者
８ ：マイク
１０ ：第１地点
２０ ：第２地点
３０ ：第３地点
３１ ：表示器
３２ ：ユーザＩ／Ｆ
３３ ：フラッシュメモリ
３４ ：プロセッサ
３５ ：ＲＡＭ
３６ ：通信Ｉ／Ｆ
３７ ：スピーカ
３８ ：オーディオＩ／Ｆ
５０ ：カメラ
７０ ：カメラ
８０ ：演者
９０ ：画像情報
９１ ：音響情報
１００ ：サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】