特開 2024-175437 情報処理方法および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024175437

(43)【公開日】2024-12-18

(54)【発明の名称】情報処理方法および情報処理装置

(51)【国際特許分類】

   G10H 1/00 20060101AFI20241211BHJP

   G06F 3/01 20060101ALI20241211BHJP

   G06T 7/20 20170101ALI20241211BHJP

   G06V 40/20 20220101ALI20241211BHJP

【ＦＩ】

G10H1/00 Z

G06F3/01 570

G06T7/20 300A

G06V40/20

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2023093228

(22)【出願日】2023-06-06

(71)【出願人】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】弁理士法人 楓国際特許事務所

(72)【発明者】

【氏名】甲斐 繁

(72)【発明者】

【氏名】中村 吉就

(72)【発明者】

【氏名】大谷 明央

(72)【発明者】

【氏名】井芹 大智

(72)【発明者】

【氏名】藤島 琢哉

(72)【発明者】

【氏名】松田 遼

(72)【発明者】

【氏名】山川 颯人

(72)【発明者】

【氏名】須山 明彦

(72)【発明者】

【氏名】密岡 稜大

(72)【発明者】

【氏名】原 貴洋

(72)【発明者】

【氏名】鈴木 裕和

(72)【発明者】

【氏名】鈴木 俊太朗

【テーマコード（参考）】

5D478

5E555

5L096

【Ｆターム（参考）】

5D478CC22

5D478FF06

5D478FF07

5D478FF08

5D478FF24

5D478FF27

5D478HH12

5E555AA11

5E555AA61

5E555BA02

5E555BB02

5E555BC04

5E555BD06

5E555BE10

5E555CA02

5E555CA12

5E555CA18

5E555CA42

5E555CA47

5E555CB66

5E555DA21

5E555EA19

5E555FA00

5L096CA04

5L096HA04

5L096HA11

5L096JA11

5L096KA04

(57)【要約】

【課題】演奏等のパフォーマンスを阻害せずに遠隔地の演者間で高度なコミュニケーションを取ることができる情報処理方法を提供する。
【解決手段】情報処理方法は、第１演者の特定のジェスチャーを検出し、検出した前記特定のジェスチャーに基づいて、前記第１演者または第２演者のパフォーマンスに関連する関連情報を生成し、前記関連情報を前記第１演者の利用する第１端末から前記第２演者の利用する第２端末に送信する。
【選択図】図２

【特許請求の範囲】

【請求項1】

第１演者の特定のジェスチャーを検出し、
検出した前記特定のジェスチャーに基づいて、前記第１演者または第２演者のパフォーマンスに関連する関連情報を生成し、
前記関連情報を前記第１演者の利用する第１端末から前記第２演者の利用する第２端末に送信する、
情報処理方法。

【請求項2】

前記第１端末は、前記第１演者のパフォーマンスに係る第１信号を前記第２端末に送信し、
前記関連情報を前記第１信号よりも優先して前記第２端末に送信する、
請求項１に記載の情報処理方法。

【請求項3】

前記第１端末は、前記第１演者のパフォーマンスに係る第１信号を前記第２端末に送信し、
第３演者の利用する第３端末から前記第３演者のパフォーマンスに係る第３信号を前記第２端末に送信し、
前記第２端末において、前記関連情報に基づいて前記第１信号を優先して処理する、
請求項１に記載の情報処理方法。

【請求項4】

前記関連情報は、前記パフォーマンスのテンポに係るテンポ情報を含み、
前記テンポ情報を前記第１端末および前記第２端末で共有する、
請求項１に記載の情報処理方法。

【請求項5】

前記第１端末は、前記第１演者のパフォーマンスに係る第１信号を前記第２端末に送信し、
前記第２端末が、前記第１演者のジェスチャーを検出して前記関連情報を生成する、
請求項１に記載の情報処理方法。

【請求項6】

前記第１端末は、前記第１演者のパフォーマンスに係る第１信号を前記第２端末に送信し、
前記関連情報は、前記第２端末における前記第１信号の処理に関わる情報を含み、
前記第２端末は、前記関連情報に基づいて、前記第１信号を処理する、
請求項１に記載の情報処理方法。

【請求項7】

前記第１端末は、前記第１演者のパフォーマンスに係る第１信号を前記第２端末に送信し、
前記第２端末は、前記第２演者のパフォーマンスに係る第２信号を前記第１端末に送信し、
前記関連情報は、前記第１端末における前記第２信号の処理に関わる情報、および第２端末における前記第１信号の処理に関わる情報を含み、
前記第１端末は、前記関連情報に基づいて、前記第２信号を処理し、
前記第２端末は、前記関連情報に基づいて、前記第１信号を処理する、
請求項１に記載の情報処理方法。

【請求項8】

前記特定のジェスチャーは、前記第１演者の視線を含む、
請求項１乃至請求項７のいずれか１項に記載の情報処理方法。

【請求項9】

前記第１演者を撮影した画像を受け付けて、
前記画像から前記特定のジェスチャーを検出する、
請求項１乃至請求項７のいずれか１項に記載の情報処理方法。

【請求項10】

前記関連情報は、前記パフォーマンスの開始、停止、再開、または他の演者に対するアクションを含む、
請求項１乃至請求項７のいずれか１項に記載の情報処理方法。

【請求項11】

前記他の演者に対するアクションの案内情報を出力する、
請求項１０に記載の情報処理方法。

【請求項12】

前記パフォーマンスに係る映像または音をデータとして記録し、
前記関連情報は、記録した前記データの時間情報を含む、
請求項１乃至請求項７のいずれか１項に記載の情報処理方法。

【請求項13】

前記第１端末または前記第２端末は、楽器である、
請求項１乃至請求項７のいずれか１項に記載の情報処理方法。

【請求項14】

第１演者の特定のジェスチャーを検出し、
検出した前記特定のジェスチャーに基づいて、前記第１演者のパフォーマンスに関連する関連情報を生成し、
前記関連情報を前記第１演者の利用する第１端末から第２演者の利用する第２端末に送信する、
プロセッサを備えた情報処理装置。

【請求項15】

前記プロセッサは、前記第１演者のパフォーマンスに係る第１信号を前記第２端末に送信し、
前記関連情報を前記第１信号よりも優先して前記第２端末に送信する、
請求項１４に記載の情報処理装置。

【請求項16】

前記プロセッサは、前記第１演者のパフォーマンスに係る第１信号を前記第２端末に送信し、
第３演者の利用する第３端末のプロセッサは、前記第３演者のパフォーマンスに係る第３信号を前記第２端末に送信し、
前記第２端末のプロセッサは、前記関連情報に基づいて前記第１信号を優先して処理する、
請求項１４に記載の情報処理装置。

【請求項17】

前記関連情報は、前記パフォーマンスのテンポに係るテンポ情報を含み、
前記テンポ情報を前記第１端末および前記第２端末で共有する、
請求項１４に記載の情報処理装置。

【請求項18】

前記プロセッサは、前記第１演者のパフォーマンスに係る第１信号を前記第２端末に送信し、
前記第２端末のプロセッサは、前記第１演者のジェスチャーを検出して前記関連情報を生成する、
請求項１４に記載の情報処理装置。

【請求項19】

前記プロセッサは、前記第１演者のパフォーマンスに係る第１信号を前記第２端末に送信し、
前記関連情報は、前記第２端末における前記第１信号の処理に関わる情報を含み、
前記第２端末のプロセッサは、前記関連情報に基づいて、前記第１信号を処理する、
請求項１４に記載の情報処理装置。

【請求項20】

前記プロセッサは、前記第１演者のパフォーマンスに係る第１信号を前記第２端末に送信し、
前記第２端末のプロセッサは、前記第２演者のパフォーマンスに係る第２信号を前記第１端末に送信し、
前記関連情報は、前記第１端末における前記第２信号の処理に関わる情報、および第２端末における前記第１信号の処理に関わる情報を含み、
前記第１端末のプロセッサは、前記関連情報に基づいて、前記第２信号を処理し、
前記第２端末のプロセッサは、前記関連情報に基づいて、前記第１信号を処理する、
請求項１４に記載の情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

この発明の一実施形態は、情報処理方法および情報処理装置に関する。

【背景技術】

【0002】

特許文献１には、第１パフォーマンスにおける、演者の身体の動きを検出し、演者に関連付けられるアバターオブジェクトを仮想空間に配置し、検出した演者の身体の動きに応じて、アバターオブジェクトに、第２パフォーマンスを実行させることが記載されている。

【0003】

特許文献２には、不特定多数のユーザがプロジェクタ等を用いて共通情報を表示する時に、ユーザジェスチャーを検知して、表示された共有情報に関連し、ユーザごとに異なる情報を表示することが記載されている。

【0004】

特許文献３には、楽譜データを表示し、楽譜データの任意の小節領域上で右方向へのタッチ位置の移動を検出したら演奏開始シーケンス小節、楽譜データの任意の小節領域上で左方向へのタッチ位置の移動を検出したら演奏終了シーケンス小節に決定することが記載されている。

【0005】

特許文献４には、ユーザのジェスチャーまたは演奏情報を入力し、入力した動作情報を解釈した結果に基づいて制御情報及びフィードバック情報を生成する。そして、制御情報により電子音楽装置を制御し、フィードバック情報により、ユーザに対して聴覚的、視覚的乃至物理的なフィードバックを行うことが記載されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２０－４３８８

【特許文献2】特開２０１６－２０１０５０

【特許文献3】特開２０１５－１８４４２０

【特許文献4】特開２００７－４０７１

【発明の概要】

【発明が解決しようとする課題】

【0007】

演奏等のパフォーマンスでは、パフォーマンスに集中していて、手や口が離せないことがあり、コミュニケーションを取ることが難しい。

【0008】

演者が同じ空間に居る場合、目線、表情、ボディランゲージ等を用いて演奏者間でコミュニケーションを取る場合がある。しかし、遠隔地の演者間のセッションでは目線、表情、ボディランゲージ等を伝えるのは難しい。
本開示のひとつの態様は、演奏等のパフォーマンスを阻害せずに遠隔地の演者間で高度なコミュニケーションを取ることができる情報処理方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の一実施形態に係る情報処理方法は、第１演者の特定のジェスチャーを検出し、検出した前記特定のジェスチャーに基づいて、前記第１演者または第２演者のパフォーマンスに関連する関連情報を生成し、前記関連情報を前記第１演者の利用する第１端末から前記第２演者の利用する第２端末に送信する。

【発明の効果】

【0010】

本発明の一実施形態によれば、演奏等のパフォーマンスを阻害せずに遠隔地の演者間で高度なコミュニケーションを取ることができる。

【図面の簡単な説明】

【0011】

【図1】情報処理システムの構成を示すブロック図である。

【図2】ＰＣ１Ａの構成を示すブロック図である。

【図3】情報処理方法の動作を示すフローチャートである。

【図4】変形例９に係る情報処理システムの構成図である。

【発明を実施するための形態】

【0012】

図１は、本実施形態に係る情報処理システムの構成図である。情報処理システムは、第１地点１０に設置されたＰＣ（パーソナルコンピュータ）１Ａ、第２地点２０に設置されたＰＣ１Ｂ、および第３地点３０に設置されたＰＣ１Ｃを備える。

【0013】

第１地点１０の第１演者３は、ＰＣ１Ａに楽器４を接続する。第２地点２０の第２演者５は、ＰＣ１Ｂに楽器６を接続する。第３地点３０の第３演者７は、ＰＣ１Ｃにマイク８を接続する。

【0014】

本実施形態では一例として、楽器４はエレキギターであり、楽器６はエレキベースである。なお、本実施形態において、「演奏」とは楽器の演奏に限るものではなく、マイクを用いた歌唱も含む。

【0015】

図２は、ＰＣ１Ａの構成を示すブロック図である。ＰＣ１Ａは、汎用の情報処理装置である。ＰＣ１Ａ、ＰＣ１Ｂ、およびＰＣ１Ｃの主要構成は同じである。図２では代表してＰＣ１Ａの構成を示す。本実施形態において、ＰＣ１Ａは第１端末の一例であり、ＰＣ１ＢおよびＰＣ１Ｃは第２端末の一例として説明する。

【0016】

ＰＣ１Ａは、表示器３１、ユーザＩ／Ｆ３２、フラッシュメモリ３３、プロセッサ３４、ＲＡＭ３５、通信Ｉ／Ｆ３６、スピーカ（ＳＰ）３７、オーディオＩ／Ｆ３８、およびカメラ５０を備えている。

【0017】

表示器３１は、例えばＬＥＤ、ＬＣＤまたはＯＬＥＤ等からなり、種々の情報を表示する。ユーザＩ／Ｆ３２は、表示器３１のＬＣＤまたはＯＬＥＤに積層されるタッチパネルである。あるいは、ユーザＩ／Ｆ３２は、キーボードまたはマウス等であってもよい。ユーザＩ／Ｆ３２がタッチパネルである場合、該ユーザＩ／Ｆ３２は、表示器３１とともに、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成する。

【0018】

通信Ｉ／Ｆ３６は、ネットワークインタフェースを含み、ルータ（不図示）を介してインターネット等のネットワークに接続される。

【0019】

オーディオＩ／Ｆ３８は、アナログオーディオ端子を有する。オーディオＩ／Ｆ３８は、オーディオケーブルを介して楽器またはマイク等の音響機器に接続され、アナログ音信号を受け付ける。本実施形態では、ＰＣ１ＡのオーディオＩ／Ｆ３８は、楽器４に接続され、楽器４から演奏音に係るアナログ音信号を受け付ける。ＰＣ１ＢのオーディオＩ／Ｆ３８は、楽器６に接続され、楽器６から演奏音に係るアナログ音信号を受け付ける。ＰＣ１ＣのオーディオＩ／Ｆ３８は、マイク８に接続され、マイク８から歌唱音に係るアナログ音信号を受け付ける。オーディオＩ／Ｆ３８は、受け付けたアナログ音信号をデジタル音信号に変換する。また、オーディオＩ／Ｆ３８は、デジタル音信号をアナログ音信号に変換する。ＳＰ３７は、当該アナログ音信号に基づく音を再生する。

【0020】

カメラ５０は、演者のパフォーマンスに係る映像信号を取得する。

【0021】

プロセッサ３４は、ＣＰＵ，ＤＳＰ、あるいはＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）等からなり、記憶媒体であるフラッシュメモリ３３に記憶されているプログラムをＲＡＭ３５に読み出して、ＰＣ１Ａの各構成を制御する。フラッシュメモリ３３は、本実施形態のプログラムを記憶している。

【0022】

プロセッサ３４は、オーディオＩ／Ｆ３８から受け付けたデジタル音信号を、オーディオパケットにエンコードして通信Ｉ／Ｆ３６を介して他装置に送信する。また、プロセッサ３４は、カメラ５０から受け付けた映像信号を映像パケットにエンコードして通信Ｉ／Ｆ３６を介して他装置に送信する。

【0023】

また、プロセッサ３４は、通信Ｉ／Ｆ３６を介して他装置から受信したオーディオパケットをデコードし、デコードしたデジタル音信号をオーディオＩ／Ｆ３８に出力する。また、プロセッサ３４は、通信Ｉ／Ｆ３６を介して他装置から受信した映像パケットをデコードし、デコードした映像信号を表示器３１に出力する。

【0024】

例えば、ＰＣ１Ａのプロセッサ３４は、楽器４の音信号をＰＣ１ＢおよびＰＣ１Ｃに送信する。ＰＣ１Ａのプロセッサ３４は、カメラ５０で撮影した第１演者３に係る映像信号をＰＣ１ＢおよびＰＣ１Ｃに送信する。

【0025】

ＰＣ１Ｂのプロセッサ３４は、楽器６の音信号をＰＣ１ＡおよびＰＣ１Ｃに送信する。ＰＣ１Ｂのプロセッサ３４は、カメラ５０で撮影した第２演者５に係る映像信号をＰＣ１ＡおよびＰＣ１Ｃに送信する。

【0026】

ＰＣ１Ｃのプロセッサ３４は、マイク８の音信号をＰＣ１ＡおよびＰＣ１Ｂに送信する。ＰＣ１Ｃのプロセッサ３４は、カメラ５０で撮影した第３演者７の映像信号をＰＣ１ＡおよびＰＣ１Ｂに送信する。

【0027】

ＰＣ１Ａのプロセッサ３４は、ＰＣ１Ｂから楽器６の音信号を受信し、ＰＣ１Ｃからマイク８の音信号を受信する。ＰＣ１Ａのプロセッサ３４は、ＰＣ１Ｂから第２演者５に係る映像信号を受信し、ＰＣ１Ｃから第３演者７に係る映像信号を受信する。

【0028】

ＰＣ１Ｂのプロセッサ３４は、ＰＣ１Ａから楽器４の音信号を受信し、ＰＣ１Ｃからマイク８の音信号を受信する。ＰＣ１Ｂのプロセッサ３４は、ＰＣ１Ａから第１演者３に係る映像信号を受信し、ＰＣ１Ｃから第３演者７に係る映像信号を受信する。

【0029】

ＰＣ１Ｃのプロセッサ３４は、ＰＣ１Ａから楽器４の音信号を受信し、ＰＣ１Ｂから楽器６の音信号を受信する。ＰＣ１Ｃのプロセッサ３４は、ＰＣ１Ａから第１演者３に係る映像信号を受信し、ＰＣ１Ｂから第２演者５に係る映像信号を受信する。

【0030】

ＰＣ１ＡのＳＰ３７は、楽器６およびマイク８の音を再生する。ＰＣ１Ａの表示器３１は、第２演者５および第３演者７に係る映像を表示する。

【0031】

ＰＣ１ＢのＳＰ３７は、楽器４およびマイク８の音を再生する。ＰＣ１Ｂの表示器３１は、第１演者３および第３演者７に係る映像を表示する。

【0032】

ＰＣ１ＣのＳＰ３７は、楽器４および楽器６の音を再生する。ＰＣ１Ｃの表示器３１は、第１演者３および第２演者５に係る映像を表示する。

【0033】

また、ＰＣ１Ａ、ＰＣ１Ｂ、およびＰＣ１Ｃは、パフォーマンスの基準となる基準情報を送受信する。パフォーマンスの基準となる基準情報とは、例えばメトロノームの音である。あるいは、基準情報は、ドラム音等の、楽曲におけるリズムを担当する楽器（リズム楽器）の音である。メトロノームの音やリズム楽器の音は、演奏のタイミングに関係する音である。これらの音は、一例として、ＰＣ１Ａ、ＰＣ１Ｂ、およびＰＣ１Ｃのフラッシュメモリ３３に記憶されている。ＰＣ１Ａ、ＰＣ１Ｂ、およびＰＣ１Ｃは、メトロノームの音やリズム楽器の音を再生する。セッションでは、各演者はメトロノームの音やリズム楽器の音にタイミングを合わせて演奏を行う。第１演者３、第２演者５および第３演者７は、メトロノームの音やリズム楽器の音に合わせて演奏のパフォーマンスを行う。

【0034】

これにより、本実施形態の信号処理方法は、遠隔セッションを実現する。図３は、本実施形態の信号処理方法の動作を示すフローチャートである。図３では代表してＰＣ１Ａのプロセッサ３４の動作について説明する。

【0035】

プロセッサ３４は、第１演者の特定のジェスチャーを検出する（Ｓ１１）。ここで言う「第１演者」とは、各端末の利用者を意味する。ＰＣ１Ａの利用者は第１演者３であるため、ＰＣ１Ａのプロセッサ３４の動作における「第１演者」とは、第１演者３を意味する。ＰＣ１Ｂの利用者は第２演者５であるため、ＰＣ１Ｂのプロセッサ３４の動作における「第１演者」とは、第２演者５を意味する。ＰＣＣＢの利用者は第３演者７であるため、ＰＣ１Ｃのプロセッサ３４の動作における「第１演者」とは、第３演者７を意味する。

【0036】

特定のジェスチャーとは、例えば頭部または腕等の身体を上方に動かした後に下方に移動させる動きである。あるいは、例えばエレキギターの演者が楽器の一部（ネック部分）を上方に動かした後に下方に移動させる動きである。プロセッサ３４は、例えばカメラ５０で撮影した演者に係る映像信号に基づいて特定のジェスチャーを検出する。

【0037】

プロセッサ３４は、演者の画像を検出し、特定のジェスチャーに係る動きを含むか否かを判定する。プロセッサ３４は、例えば受け付けた映像信号の画像特徴量に基づいて、特定のジェスチャーに係る動きを含むか否かを判定する。画像特徴量とは、例えばＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄｅｄ－Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）、ＨｏＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）等の視覚特徴と時間軸方向の動き特徴とを含む多次元ベクトルである。プロセッサ３４は、例えば、特定のジェスチャーに係る動きの画像特徴量を蓄積したデータベースに、受け付けた映像信号の画像特徴量を入力して、対応する情報があるか否かを検索する。プロセッサ３４は、対応する情報がある場合に、受け付けた映像信号に特定のジェスチャーに係る動きを含むと判定する。あるいは、プロセッサ３４は、画像特徴量と特定のジェスチャーに係る動きを含むことを示す情報との対応関係を訓練した訓練済モデルを用いて、受け付けた映像信号に特定のジェスチャーに係る動きを含むか否かを判定してもよい。

【0038】

プロセッサ３４は、検出した特定のジェスチャーに基づいて、第１演者または第２演者のパフォーマンスに関連する関連情報を生成する（Ｓ１２）。パフォーマンスに関連する関連情報とは、例えば演奏の開始または演奏の停止指示を示す情報である。より具体的には、関連情報とは、例えば上記のメトロノームの音やドラムの音等の基準情報の再生を開始する、あるいは基準情報の再生を停止する、等の指示を示す情報である。プロセッサ３４は、演者の頭部、腕、または楽器等を上方に動かした後に下方に移動させる動作を検出したタイミングで関連情報を生成する。

【0039】

プロセッサ３４は、ジェスチャーと、関連情報と、の関係をＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）で訓練した訓練済モデル（ｔｒａｉｎｅｄ ｍｏｄｅｌ）に基づいて関連情報を生成する。プロセッサ３４は、訓練段階として、ジェスチャーと、該ジェスチャーに対応する関連情報と、を含むデータセット（訓練用データ）を多数取得する。プロセッサ３４は、所定のモデルに、所定のアルゴリズムを用いてジェスチャーと、関連情報と、の関係を訓練させる。本実施形態において、モデルを訓練させるためのアルゴリズムは限定されず、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）やＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の任意の機械訓練アルゴリズムを用いることができる。機械訓練アルゴリズムは、教師あり訓練、教師なし訓練、半教師訓練、強化訓練、逆強化訓練、能動訓練、あるいは転移訓練等であってもよい。また、推定部５３は、ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ：隠れマルコフモデル）やＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等の機械訓練モデルを用いてモデルを訓練させてもよい。

【0040】

ある特定のジェスチャーを行った時の関連情報は一意に決まる。例えば演者は、楽器を上方に動かした後に下方に移動させる動作で演奏の停止を表す。この場合、楽器を上方に動かした後に下方に移動させる動作と、演奏の停止と、は、相関関係を有する。したがって、プロセッサ３４は、所定のモデルに、ジェスチャーと、関連情報と、の関係を訓練させ、訓練済モデルを生成する。プロセッサ３４は、実行段階として、当該訓練済モデルにより、特定のジェスチャーに係る動きの情報を入力し、関連情報を生成する。

【0041】

プロセッサ３４は、関連情報を第１演者の利用する第１端末から第２演者の利用する第２端末に送信する（Ｓ１３）。例えば、ＰＣ１Ａの利用者である第１演者３が楽器４を上方に動かした後に下方に移動させる動作を行うと、ＰＣ１ＡはＰＣ１ＢおよびＰＣ１Ｃに関連情報としてメトロノームの音の再生開始指示を送信する。

【0042】

これにより、第１演者３は、特定のジェスチャーを行うことで、遠隔セッションを開始させることができる。具体的には、第１演者３は、エレキギター（楽器４）の演奏姿勢を維持したまま、頭や楽器を上下に振るだけで、遠隔セッションの開始を指示することができる。あるいは、第１演者３は、エレキギター（楽器４）の演奏姿勢を維持したまま、頭や楽器を上下に振るだけで、遠隔セッションの停止、終了、フェルマータ等を指示することができる。例えば、第１演者３は、ゆっくりとエレキギター（楽器４）のヘッドを上方向に上げることでフェルマータを指示することができる。ＰＣ１Ａのプロセッサ３４は、ゆっくりとエレキギター（楽器４）のヘッドを上方向に上げるジェスチャーを検出した場合に、メトロノーム音のテンポを下げる指示を送信する。あるいは、ＰＣ１Ａのプロセッサ３４は、表示器３１にフェルマータ記号を表示する指示を送信してもよい。第１演者３は、エレキギター（楽器４）のヘッドを上げた後に勢いよく下げることで、遠隔セッションの終了を指示することができる。ＰＣ１Ａのプロセッサ３４は、エレキギター（楽器４）のヘッドを下方向に下げるジェスチャーを検出した場合に、メトロノーム音の停止指示を送信する。この様なメトロノーム音のテンポ変更、停止、遠隔セッションの停止、終了、およびフェルマータの指示等は、第１演者および第２演者の両方のパフォーマンスに関連する関連情報に対応する。

【0043】

この様に、本実施形態の情報処理方法は、演奏等のパフォーマンスを阻害せず、演者が同じ空間に居る場合と同じ様に、目線、表情、ボディランゲージ等を用いて演奏者間でコミュニケーションを取ることができ、遠隔地の演者間で高度なコミュニケーションを取ることができる。したがって、利用者は、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。

【0044】

（変形例１）
変形例１の第１端末は、第１演者のパフォーマンスに係る第１信号を第２端末に送信し、関連情報を第１信号よりも優先して第２端末に送信する。この変形例に係る第１端末は、ＰＣ１Ａであり、第２端末はＰＣ１ＢおよびＰＣ１Ｃである。

【0045】

具体的には、ＰＣ１Ａのプロセッサ３４は、楽器４の音信号をＰＣ１ＢおよびＰＣ１Ｃに送信する。ＰＣ１Ａのプロセッサ３４は、カメラ５０で撮影した第１演者３に係る映像信号をＰＣ１ＢおよびＰＣ１Ｃに送信する。ＰＣ１Ａのプロセッサ３４は、ＰＣ１ＢおよびＰＣ１Ｃに対して、メトロノームの音の再生開始指示を優先的に送信する。優先的に送信するとは、例えば、音信号および映像信号に係るパケットデータよりも、関連情報のパケットデータを優先して送信することを意味する。

【0046】

このようにして、変形例１の情報処理方法は、セッションにおいて基準となる基準情報（例えばメトロノーム音）を優先的に処理する。そのため、基準情報は、どの地点においても大きなずれが無く、遠隔セッション時に遅延によるパフォーマンスへの影響を最小限に抑えることができる。これにより、変形例１の信号処理方法の利用者は、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。

【0047】

（変形例２）
変形例２の第１端末は、第１演者のパフォーマンスに係る第１信号を第２端末に送信し、第３演者の利用する第３端末から第３演者のパフォーマンスに係る第３信号を第２端末に送信し、第２端末において、関連情報に基づいて第１信号を優先して処理する。この変形例に係る第１端末はＰＣ１Ａであり、第２端末はＰＣ１Ｂであり、第３端末はＰＣ１Ｃである。

【0048】

具体的には、ＰＣ１Ａのプロセッサ３４は、楽器４のデジタル音信号をＰＣ１ＢおよびＰＣ１Ｃに送信する。ＰＣ１Ｂのプロセッサ３４は、ＰＣ１Ａから楽器４に係る音信号を受信し、ＰＣ１Ｃからマイク８に係る音信号を受信する。ＰＣ１Ｂのプロセッサ３４は、楽器４およびマイク８の音を再生する。

【0049】

ＰＣ１Ａのプロセッサ３４は、第１演者３のジェスチャーを検出して、ＰＣ１ＢおよびＰＣ１Ｃに対して、メトロノームの音の再生開始指示を送信する。ＰＣ１Ｂのプロセッサ３４は、ＰＣ１Ａから受信する楽器４の音信号を優先的に処理する。優先的に処理するとは、例えばＰＣ１Ａから受信するオーディオパケットに優先度を付与し、ＰＣ１ＡのオーディオパケットをＰＣ１Ｃのオーディオパケットよりも先にデコードすることを意味する。

【0050】

同様に、ＰＣ１Ｃのプロセッサ３４は、ＰＣ１Ａから受信するオーディオパケットに優先度を付与し、ＰＣ１ＡのオーディオパケットをＰＣ１Ｂのオーディオパケットよりも先にデコードすることを意味する。

【0051】

このようにして、変形例２の情報処理方法は、セッションを仕切る利用者（例えば第１演者３）のパフォーマンスに係る情報を優先的に処理する。そのため、セッションを仕切る第１演者３の楽器４の音は、どの地点においても大きなずれが無く、遠隔セッション時に遅延によるパフォーマンスへの影響を最小限に抑えることができる。これにより、変形例２の信号処理方法の利用者は、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。

【0052】

（変形例３）
変形例３の関連情報は、パフォーマンスのテンポに係るテンポ情報を含み、テンポ情報を第１端末および第２端末で共有する。

【0053】

上述の実施形態では、関連情報はメトロノームの音やドラムの音等の基準情報の再生を開始する、あるいは基準情報の再生を停止する、等の情報であった。しかし、関連情報は、演奏テンポを指定するテンポ情報であってもよい。より具体的にはテンポ情報は、メトロノームの音やドラムの音の拍数（ＢＰＭ）を示す情報である。

【0054】

ＰＣ１Ａのプロセッサ３４は、例えば受け付けた映像信号の画像特徴量に基づいて、テンポ情報を求める。ＰＣ１Ａのプロセッサ３４は、第１演者３が楽器４を上げ下げする動作の速度に応じて、テンポ情報を求める。あるいは、ＰＣ１Ａのプロセッサ３４は、第１演者３が膝から下を上げ下げする動作の速度に応じて、テンポ情報を求めてもよい。

【0055】

ＰＣ１Ａのプロセッサ３４は、求めたテンポ情報をＰＣ１ＢおよびＰＣ１Ｃに送信する。ＰＣ１Ａ、ＰＣ１Ｂ、およびＰＣ１Ｃは、テンポ情報に基づいて、メトロノームの音やリズム楽器の音の拍数を変更する。あるいは、ＰＣ１Ａ、ＰＣ１Ｂ、およびＰＣ１Ｃは、テンポ情報に基づいて、拍数の情報を表示器３１に表示し、ドラム音等のリズム楽器を演奏する演者が、表示された拍数の情報に合わせて演奏を行う。これにより、第１演者３は、セッション中に演奏をしながらテンポ変更を指示することができ、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。

【0056】

（変形例４）
変形例４では、第１端末は、第１演者のパフォーマンスに係る第１信号を第２端末に送信し、第２端末が、第１演者のジェスチャーを検出して関連情報を生成する。

【0057】

すなわち、上述の実施形態では、ＰＣ１Ａがカメラ５０で撮影した第１演者３に係る映像信号に基づいて特定のジェスチャーを検出したが、ＰＣ１ＢおよびＰＣ１Ｃが受信した第１演者３に係る映像信号に基づいて特定のジェスチャーを検出してもよい。

【0058】

また、不図示のサーバが、ＰＣ１Ａから第１演者３に係る映像信号を受信し、特定のジェスチャーを検出してもよい。この場合、不図示のサーバは、検出した第１演者のジェスチャーに基づいて関連情報を生成し、ＰＣ１ＢおよびＰＣ１Ｃに該関連情報を送信する。

【0059】

（変形例５）
変形例５では、第１端末は、第１演者のパフォーマンスに係る第１信号を第２端末に送信し、関連情報は、第２端末における第１信号の処理に関わる情報を含み、第２端末は、関連情報に基づいて、第１信号を処理する。

【0060】

具体的には、ＰＣ１Ａのプロセッサ３４は、楽器４の音信号をＰＣ１ＢおよびＰＣ１Ｃに送信する。ＰＣ１Ｂのプロセッサ３４は、ＰＣ１Ａから楽器４に係る音信号を受信し、ＰＣ１Ｃからマイク８に係る音信号を受信する。ＰＣ１Ｂのプロセッサ３４は、楽器４およびマイク８の音を再生する。

【0061】

ＰＣ１Ａのプロセッサ３４は、第１演者３のジェスチャーを検出して、関連情報として楽器４に係る音信号の処理（例えば信号処理パラメータ）を生成する。例えば、ＰＣ１Ａのプロセッサ３４は、第１演者３が顔を右方向に向けるジェスチャーを検出した場合、関連情報として楽器４に係る音信号の音量を大きくする信号処理パラメータを生成する。ＰＣ１Ｃのプロセッサ３４は、ＰＣ１ＢおよびＰＣ１Ｃに対して、当該信号処理パラメータを送信する。ＰＣ１Ｂのプロセッサ３４は、ＰＣ１Ａから受信する楽器４に係る音信号の音量を大きくする信号処理を行う。同様に、ＰＣ１Ｃのプロセッサ３４は、ＰＣ１Ａから受信する楽器４に係る音信号の音量を大きくする信号処理を行う。この様な第１演者３の楽器４に係る音信号の音量変更は、第１演者３のみのパフォーマンスに関連する関連情報に対応する。

【0062】

これにより、第１演者３は、演奏をしながら音量の変更等の信号処理パラメータの変更を指示することができ、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。

【0063】

（変形例６）
変形例６では、第１端末は、第１演者のパフォーマンスに係る第１信号を第２端末に送信し、第２端末は、第２演者のパフォーマンスに係る第２信号を第１端末に送信し、関連情報は、第１端末における第２信号の処理に関わる情報、および第２端末における第１信号の処理に関わる情報を含み、第１端末は、関連情報に基づいて、第２信号を処理し、第２端末は、関連情報に基づいて、第１信号を処理する。

【0064】

具体的には、ＰＣ１Ａのプロセッサ３４は、楽器４の音信号をＰＣ１ＢおよびＰＣ１Ｃに送信する。ＰＣ１Ｂのプロセッサ３４は、楽器６の音信号をＰＣ１ＡおよびＰＣ１Ｃに送信する。

【0065】

ＰＣ１Ａのプロセッサ３４は、第１演者３のジェスチャーを検出して、関連情報として楽器４に係る音信号の処理（例えば信号処理パラメータ）を生成する。例えば、ＰＣ１Ａのプロセッサ３４は、第１演者３が顔を右方向に向けるジェスチャーを検出した場合、関連情報として楽器４に係る音信号の音量を大きくする信号処理パラメータを生成する。ＰＣ１Ａのプロセッサ３４は、ＰＣ１ＢおよびＰＣ１Ｃに対して、当該信号処理パラメータを送信する。

【0066】

ＰＣ２Ａのプロセッサ３４は、第２演者５のジェスチャーを検出して、関連情報として楽器６に係る音信号の処理（例えば信号処理パラメータ）を生成する。例えば、ＰＣ１Ｂのプロセッサ３４は、第２演者５が顔を左方向に向けるジェスチャーを検出した場合、関連情報として楽器６に係る音信号の音量を小さくする信号処理パラメータを生成する。ＰＣ１Ｂのプロセッサ３４は、ＰＣ１ＡおよびＰＣ１Ｂに対して、当該信号処理パラメータを送信する。

【0067】

ＰＣ１Ａのプロセッサ３４は、ＰＣ１Ｂから受信する楽器６に係る音信号の音量を小さくする信号処理を行う。ＰＣ１Ｂのプロセッサ３４は、ＰＣ１Ａから受信する楽器４に係る音信号の音量を大きくする信号処理を行う。ＰＣ１Ｃのプロセッサ３４は、ＰＣ１Ａから受信する楽器４に係る音信号の音量を大きくし、ＰＣ１Ｂから受信する楽器６に係る音信号の音量を小さくする信号処理を行う。

【0068】

これにより、第１演者３および第２演者５は、それぞれ演奏をしながら音量の変更等の信号処理パラメータの変更を指示することができ、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。

【0069】

（変形例７）
変形例７では、特定のジェスチャーは、演者の視線を含む。ＰＣ１Ａのプロセッサ３４は、例えば受け付けた映像信号の画像特徴量に基づいて、視線情報を求める。例えば、ＰＣ１Ａのプロセッサ３４は、第１演者３が視線を右方向に向けるジェスチャーを検出した場合、関連情報として楽器４に係る音信号の音量を大きくする信号処理パラメータを生成する。ＰＣ１Ｃのプロセッサ３４は、ＰＣ１ＢおよびＰＣ１Ｃに対して、当該信号処理パラメータを送信する。ＰＣ１Ｂのプロセッサ３４は、ＰＣ１Ａから受信する楽器４に係る音信号の音量を大きくする信号処理を行う。同様に、ＰＣ１Ｃのプロセッサ３４は、ＰＣ１Ａから受信する楽器４に係る音信号の音量を大きくする信号処理を行う。

【0070】

これにより、第１演者３は、演奏をしながら視線を変更するだけで、音量の変更等の信号処理パラメータの変更を指示することができ、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。

【0071】

（変形例８）
変形例８では、関連情報は、他の演者に対するアクションを含む。第１演者３の他の演者とは、例えば第２演者５または第３演者７を意味する。第２演者５の他の演者とは、例えば第１演者３または第３演者７を意味する。第３演者７の他の演者とは、例えば第１演者３または第２演者５を意味する。例えば、ＰＣ１Ａのプロセッサ３４は、表示器３１に表示されている演者の画像と、変形例７の様に求めた視線情報に基づいて、第１演者３がどの他の演者に対するアクションを求めているか検出する。ＰＣ１Ａのプロセッサ３４は、例えば表示器３１の右側に第２演者５の画像が表示され、第１演者３の視線が右を向いていると判断した場合、第１演者３が第２演者５を注視していると判断する。そして、ＰＣ１Ａのプロセッサ３４は、第２演者５に対するアクションを求める。例えば、ＰＣ１Ａのプロセッサ３４は、第１演者３が顔を左方向に向けるジェスチャーを検出した場合、関連情報として楽器６に係る音信号の音量を小さくする信号処理パラメータを生成する。ＰＣ１Ａのプロセッサ３４は、ＰＣ１Ｂに対して、当該信号処理パラメータを送信する。すなわち、ＰＣ１Ａのプロセッサ３４は、第１演者３の特定のジェスチャーを検出し、検出した特定のジェスチャーに基づいて、第２演者５のパフォーマンスに関連する関連情報を生成し、関連情報を第１演者３の利用するＰＣ１Ａから第２演者５の利用するＰＣ１Ｂに送信する。ＰＣ１Ｂのプロセッサ３４は、ＰＣ１ＡおよびＰＣ１Ｃに送信する楽器６に係る音信号の音量を小さくする信号処理を行う。この様な第２演者５の楽器６に係る音信号の音量変更は、第２演者５のみのパフォーマンスに関連する関連情報に対応する。

【0072】

これにより、第１演者３は、演奏をしながら他の演者にアクションを行うことができ、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。

【0073】

（変形例９）
変形例９では、パフォーマンスに係る映像または音をデータとして記録し、関連情報は、記録したデータの時間情報を含む。図４は、変形例９に係る情報処理システムの構成図である。図１と共通する構成については同一の符号を付し、説明を省略する。変形例９に係る情報処理システムは、さらにサーバ１００を有する。

【0074】

サーバ１００は、ＰＣ１Ａ、ＰＣ１ＢおよびＰＣ１Ｃから受信した音信号および映像信号を映像データおよび音データとして記録している。また、サーバ１００は、記録した映像データおよび音データを配信する。

【0075】

ＰＣ１Ａの第１演者３、ＰＣ１Ｂの第２演者５、またはＰＣ１Ｃの第３演者７が特定のジェスチャーに係る動きを行うと、サーバ１００には映像データおよび音データに係る時間情報が記録される。

【0076】

例えば、変形例９では、ＰＣ１Ｃが第１端末に対応し、サーバ１００が第２端末に対応する。ＰＣ１Ｃは、第３演者７の特定のジェスチャー（例えば右手を上に上げる動作）を検出すると、関連情報として時間情報（時刻またはセッション開始からの経過時間）を生成する。ＰＣ１Ｃは、当該時間情報をサーバ１００に送信する。サーバ１００は、映像データおよび音データに対応して、ＰＣ１Ｃから受信した時間情報を記録する。

【0077】

そして、ＰＣ１Ｃのプロセッサ３４は、第３演者７の特定のジェスチャー（例えば右手を左に移動させる動作）を検出すると、関連情報としてプレイバック情報を生成する。ＰＣ１Ｃのプロセッサ３４は、当該プレイバック情報をサーバ１００に送信する。サーバ１００は、受信したプレイバック情報に対応して、直前に記録した時間情報から像データおよび音データを配信する。

【0078】

これにより、第３演者７は、歌唱を行いながら時間情報を記録することができ、直前の演奏を確認することもでき、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。

【0079】

（その他の例）
ＰＣ１Ａ、ＰＣ１Ｂ、またはＰＣ１Ｃは、関連情報に基づいて、パフォーマンスの開始、停止、再開、あるいはテンポ変更等の他の演者に対するアクションについて、表示器３１に案内情報を表示する、あるいはＳＰ３７から案内音声を出力してもよい。例えば、関連情報がテンポの変更（例えばテンポ１２０に変更する旨）を示す情報であれば、ＰＣ１Ａ、ＰＣ１Ｂ、またはＰＣ１Ｃは、「テンポ１２０に変更してください」等の案内情報を表示器３１に表示する、あるいは、ＳＰ３７から「テンポ１２０に変更してください」等の案内音声を出力する。この場合も、各演者は、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。

【0080】

上述の例では、本発明の端末の例として、ＰＣ１Ａ、ＰＣ１ＢおよびＰＣ１Ｃを示した。しかし、本発明の端末は、上述のＰＣ１Ａ、ＰＣ１ＢおよびＰＣ１Ｃに限らない。例えば、上述のユーザＩ／Ｆ３２、フラッシュメモリ３３、プロセッサ３４、ＲＡＭ３５、通信Ｉ／Ｆ３６、スピーカ（ＳＰ）３７、オーディオＩ／Ｆ３８、およびカメラ５０等の機能を備えた電子楽器も本発明の端末を構成することができる。電子楽器とは、例えば電子ピアノ、電子ドラム、電子バイオリン、電子管楽器、電子オルガン、シンセサイザー等は無論、エレキギターやエレキベース等も含む。

【0081】

ジェスチャーは、カメラ５０による画像式のセンサで検出したが、光学式または慣性式等の他のセンサを用いてもよい。例えば、慣性式のセンサを内蔵したギターの電子楽器が、当該慣性式のセンサの信号に基づいて特定の動きの検出し、ジェスチャーとして認識してもよい。

【0082】

本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲は、特許請求の範囲と均等の範囲を含む。

【符号の説明】

【0083】

３ ：第１演者
４ ：楽器
５ ：第２演者
６ ：楽器
７ ：第３演者
８ ：マイク
１０ ：第１地点
２０ ：第２地点
３０ ：第３地点
３１ ：表示器
３２ ：ユーザＩ／Ｆ
３３ ：フラッシュメモリ
３４ ：プロセッサ
３５ ：ＲＡＭ
３６ ：通信Ｉ／Ｆ
３８ ：オーディオＩ／Ｆ
５０ ：カメラ
１００ ：サーバ

【図1】

【図2】

【図3】

【図4】