特開 2024-175427 信号処理方法、信号処理システム、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024175427

(43)【公開日】2024-12-18

(54)【発明の名称】信号処理方法、信号処理システム、およびプログラム

(51)【国際特許分類】

   G10H 1/00 20060101AFI20241211BHJP

   G10G 1/00 20060101ALI20241211BHJP

【ＦＩ】

G10H1/00 Z

G10G1/00

【審査請求】未請求

【請求項の数】19

【出願形態】ＯＬ

(21)【出願番号】P 2023093215

(22)【出願日】2023-06-06

(71)【出願人】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】弁理士法人 楓国際特許事務所

(72)【発明者】

【氏名】中村 吉就

(72)【発明者】

【氏名】甲斐 繁

(72)【発明者】

【氏名】大谷 明央

(72)【発明者】

【氏名】井芹 大智

(72)【発明者】

【氏名】藤島 琢哉

(72)【発明者】

【氏名】松田 遼

(72)【発明者】

【氏名】山川 颯人

(72)【発明者】

【氏名】須山 明彦

(72)【発明者】

【氏名】密岡 稜大

(72)【発明者】

【氏名】原 貴洋

(72)【発明者】

【氏名】鈴木 裕和

(72)【発明者】

【氏名】鈴木 俊太朗

【テーマコード（参考）】

5D182

5D478

【Ｆターム（参考）】

5D182AD02

5D478HH00

(57)【要約】

【課題】遠隔セッション時に遅延によるパフォーマンスへの影響を最小限に抑える。
【解決手段】情報処理方法は、複数の地点のそれぞれの演者の第１端末から、それぞれの演者のパフォーマンスに係る複数の第１信号を送信し、第２端末において複数の前記第１信号を受信し、前記第２端末において、前記パフォーマンスの基準となる基準情報を取得し、該基準情報に基づいて、複数の前記第１信号のうちいずれかを優先的に処理する。
【選択図】図２

【特許請求の範囲】

【請求項1】

複数の地点のそれぞれの演者に用いられる複数の第１端末から、前記演者のパフォーマンスに係る複数の第１信号を送信し、
第２端末において複数の前記第１信号を受信し、
前記第２端末において、前記パフォーマンスの基準となる基準情報を取得し、該基準情報に基づいて、複数の前記第１信号のうちいずれかを優先的に処理する、
信号処理方法。

【請求項2】

前記基準情報は、演奏のタイミングに関係する演者の第１端末により送信される、
請求項１に記載の信号処理方法。

【請求項3】

前記第１信号は、演奏に係る音信号を含む、
請求項１または請求項２に記載の信号処理方法。

【請求項4】

前記音信号に基づいて前記基準情報を取得する、
請求項３に記載の信号処理方法。

【請求項5】

前記第１信号は、映像信号を含み、前記映像信号に基づいて前記基準情報を取得する、
請求項１または請求項２に記載の信号処理方法。

【請求項6】

前記優先的に処理することは、前記基準情報に基づいて、複数の前記第１信号のうち前記パフォーマンスの基準となる演者に対応する前記音信号に係るデータを他のデータよりも先にデコードすることを含む、
請求項１または請求項２に記載の信号処理方法。

【請求項7】

前記基準情報に基づいて、対応する前記第１信号の未来の成分を予測し、
予測した前記第１信号の未来の成分を優先的に処理する、
請求項１または請求項２に記載の信号処理方法。

【請求項8】

受け付けた音信号と、楽曲名と、の関係を訓練した訓練済モデルを用いて、当該訓練済モデルに音信号を入力することにより前記楽曲名を特定し、
特定した前記楽曲名のコンテンツデータを取得し、
前記基準情報および前記コンテンツデータに基づいて、現在の演奏位置を求めて、
前記音信号、前記コンテンツデータ、および前記現在の演奏位置に基づいて、前記未来の音信号の成分を予測する、
請求項７に記載の信号処理方法。

【請求項9】

前記第１端末および前記第２端末は、相対的に遅延の少ない第１の仮想ネットワークまたは相対的に遅延の多い第２の仮想ネットワークで接続され、
前記基準情報は、前記第１の仮想ネットワークで送信される、
請求項１または請求項２に記載の信号処理方法。

【請求項10】

前記第１の仮想ネットワークおよび前記第２の仮想ネットワークは、物理ネットワークを仮想的にスライシングされた複数の論理ネットワークであり、
前記基準情報に基づき、スライシングされた前記複数の論理ネットワークのうち使用する論理ネットワークを指定する、
請求項９に記載の信号処理方法。

【請求項11】

前記第１端末または前記第２端末は、楽器である、
請求項１または請求項２に記載の信号処理方法。

【請求項12】

複数の地点のそれぞれの演者の第１端末から、それぞれの演者のパフォーマンスに係る複数の第１信号を送信し、
第２端末において複数の前記第１信号を受信し、
前記第２端末において、前記パフォーマンスの基準となる基準情報を取得し、該基準情報に基づいて、複数の前記第１信号のうちいずれかを優先的に処理する、
信号処理システム。

【請求項13】

前記基準情報は、演奏のタイミングに関係する演者の第１端末により送信される、
請求項１２に記載の信号処理システム。

【請求項14】

前記第１信号は、演奏に係る音信号を含む、
請求項１２または請求項１３に記載の信号処理システム。

【請求項15】

前記音信号に基づいて前記基準情報を取得する、
請求項１４に記載の信号処理システム。

【請求項16】

前記第１信号は、映像信号を含み、
前記映像信号に基づいて前記基準情報を取得する、
請求項１２または請求項１３に記載の信号処理システム。

【請求項17】

前記基準情報に基づいて、対応する前記第１信号の未来の成分を予測し、
予測した前記第１信号の未来の成分を優先的に処理する、
請求項１２または請求項１３に記載の信号処理システム。

【請求項18】

前記第１端末および前記第２端末は、相対的に遅延の少ない第１の仮想ネットワークまたは相対的に遅延の多い第２の仮想ネットワークで接続され、
前記基準情報は、前記第１の仮想ネットワークで送信される、
請求項１２または請求項１３に記載の信号処理システム。

【請求項19】

複数の地点のそれぞれの演者の第１端末に、それぞれの演者のパフォーマンスに係る複数の第１信号を送信させ、
第２端末において複数の前記第１信号を受信させ、
前記第２端末において、前記パフォーマンスの基準となる基準情報を取得させ、該基準情報に基づいて、複数の前記第１信号のうちいずれかを優先的に処理させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明の一実施形態は、信号処理方法、信号処理システム、およびプログラムに関する。

【背景技術】

【0002】

特許文献１の情報処理装置は、演奏開始の時点から、基準端末から取得した音データを蓄積しておき、蓄積した音データからテンポを抽出する。そして、特許文献１の情報処理装置は、抽出したテンポがｎ回連続して、演奏開始時に設定したテンポを中心とした所定範囲内に属する場合、抽出したｎ個のテンポに基づいて基準タイミングデータを生成する。特許文献１の情報処理装置は、他の端末に対して基準タイミングデータを送信する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－２８６４９

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示のひとつの態様は、遠隔セッション時に遅延によるパフォーマンスへの影響を最小限に抑える情報処理方法を提供することを目的とする。

【課題を解決するための手段】

【0005】

本発明の一実施形態に係る情報処理方法は、複数の地点のそれぞれの演者の第１端末から、それぞれの演者のパフォーマンスに係る複数の第１信号を送信し、第２端末において複数の前記第１信号を受信し、前記第２端末において、前記パフォーマンスの基準となる基準情報を取得し、該基準情報に基づいて、複数の前記第１信号のうちいずれかを優先的に処理する。

【発明の効果】

【0006】

本発明の一実施形態によれば、遠隔セッション時に遅延によるパフォーマンスへの影響を最小限に抑えることができる。

【図面の簡単な説明】

【0007】

【図1】信号処理システムの構成図である。

【図2】ＰＣ１Ａの構成を示すブロック図である。

【図3】本実施形態の信号処理方法に係る動作を示すフローチャートである。

【図4】変形例１に係る信号処理システムの構成図である。

【図5】変形例４に係る信号処理システムの構成図である。

【図6】変形例５に係る信号処理システムの構成図である。

【発明を実施するための形態】

【0008】

図１は、本実施形態に係る信号処理システムの構成図である。本実施形態の信号処理システムは、第１地点１０に設置されたＰＣ（パーソナルコンピュータ）１Ａ，第２地点２０に設置されたＰＣ１Ｂ、および第３地点３０に設置されたＰＣ１Ｃを備える。

【0009】

第１地点１０の第１演者３は、ＰＣ１Ａに楽器４を接続する。第２地点２０の第２演者５は、ＰＣ１Ｂに楽器６を接続する。第３地点３０の第３演者７は、ＰＣ１Ｃに楽器８を接続する。

【0010】

本実施形態では一例として、楽器４はエレキギターであり、楽器６はエレキベースであり、楽器８は電子ドラムである。なお、本実施形態において、「演奏」とは楽器の演奏に限るものではなく、マイクを用いた歌唱も含む。

【0011】

図２は、ＰＣ１Ａの構成を示すブロック図である。ＰＣ１Ａは、汎用の情報処理装置である。ＰＣ１Ａ、ＰＣ１Ｂ、およびＰＣ１Ｃの主要構成は同じである。図２では代表してＰＣ１Ａの構成を示す。本実施形態において、ＰＣ１ＡおよびＰＣ１Ｃは第１端末の一例であり、ＰＣ１Ｂは第２端末の一例として説明する。

【0012】

ＰＣ１Ａは、表示器３１、ユーザＩ／Ｆ３２、フラッシュメモリ３３、プロセッサ３４、ＲＡＭ３５、通信Ｉ／Ｆ３６、スピーカ（ＳＰ）３７、およびオーディオＩ／Ｆ３８を備えている。

【0013】

表示器３１は、例えばＬＥＤ、ＬＣＤまたはＯＬＥＤ等からなり、種々の情報を表示する。ユーザＩ／Ｆ３２は、表示器３１のＬＣＤまたはＯＬＥＤに積層されるタッチパネルである。あるいは、ユーザＩ／Ｆ３２は、キーボードまたはマウス等であってもよい。ユーザＩ／Ｆ３２がタッチパネルである場合、該ユーザＩ／Ｆ３２は、表示器３１とともに、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成する。

【0014】

通信Ｉ／Ｆ３６は、ネットワークインタフェースを含み、ルータ（不図示）を介してインターネット等のネットワークに接続される。

【0015】

オーディオＩ／Ｆ３８は、アナログオーディオ端子を有する。オーディオＩ／Ｆ３８は、オーディオケーブルを介して楽器またはマイク等の音響機器に接続され、アナログ音信号を受け付ける。本実施形態では、ＰＣ１ＡのオーディオＩ／Ｆ３８は、楽器４に接続され、楽器４から演奏音に係るアナログ音信号を受け付ける。ＰＣ１ＢのオーディオＩ／Ｆ３８は、楽器６に接続され、楽器６から演奏音に係るアナログ音信号を受け付ける。ＰＣ１ＣのオーディオＩ／Ｆ３８は、楽器８に接続され、楽器８から演奏音に係るアナログ音信号を受け付ける。オーディオＩ／Ｆ３８は、受け付けたアナログ音信号をデジタル音信号に変換する。また、オーディオＩ／Ｆ３８は、デジタル音信号をアナログ音信号に変換する。ＳＰ３７は、当該アナログ音信号に基づく音を再生する。

【0016】

プロセッサ３４は、ＣＰＵ，ＤＳＰ、あるいはＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）等からなり、記憶媒体であるフラッシュメモリ３３に記憶されているプログラムをＲＡＭ３５に読み出して、ＰＣ１Ａの各構成を制御する。フラッシュメモリ３３は、本実施形態のプログラムを記憶している。

【0017】

オーディオＩ／Ｆ３８から受け付けたデジタル音信号を、オーディオパケットにエンコードして通信Ｉ／Ｆ３６を介して他装置に送信する。また、プロセッサ３４は、通信Ｉ／Ｆ３６を介して他装置から受信したオーディオパケットをデコードし、デコードしたデジタル音信号をオーディオＩ／Ｆ３８に出力する。例えば、ＰＣ１Ａのプロセッサ３４は、楽器４のデジタル音信号をＰＣ１ＢおよびＰＣ１Ｃに送信する。ＰＣ１Ｂのプロセッサ３４は、楽器６のデジタル音信号をＰＣ１ＡおよびＰＣ１Ｃに送信する。ＰＣ１Ｃのプロセッサ３４は、楽器８のデジタル音信号をＰＣ１ＡおよびＰＣ１Ｂに送信する。ＰＣ１Ａのプロセッサ３４は、ＰＣ１Ｂから楽器６のデジタル音信号を受信し、ＰＣ１Ｃから楽器８のデジタル音信号を受信する。ＰＣ１Ｂのプロセッサ３４は、ＰＣ１Ａから楽器４のデジタル音信号を受信し、ＰＣ１Ｃから楽器８のデジタル音信号を受信する。ＰＣ１Ｃのプロセッサ３４は、ＰＣ１Ａから楽器４のデジタル音信号を受信し、ＰＣ１Ｂから楽器６のデジタル音信号を受信する。

【0018】

ＰＣ１ＡのＳＰ３７は、楽器６および楽器８の音を再生する。ＰＣ１ＢのＳＰ３７は、楽器４および楽器８の音を再生する。ＰＣ１ＣのＳＰ３７は、楽器４および楽器６の音を再生する。

【0019】

これにより、本実施形態の信号処理方法は、遠隔セッションを実現する。

【0020】

ＰＣ１Ａ、ＰＣ１Ｂ、およびＰＣ１Ｃのプロセッサ３４は、本実施形態の信号処理方法を実行する。図３は、本実施形態の信号処理方法に係る動作を示すフローチャートである。

【0021】

本実施形態の信号処理方法は、まず、複数の地点のそれぞれの演者の第１端末から、それぞれの演者のパフォーマンスに係る複数の第１信号を送信する（Ｓ１１）。具体的には、第１端末であるＰＣ１Ａのプロセッサ３４は、第１演者３のパフォーマンスに係る第１信号として、楽器４の演奏音に係る音信号をＰＣ１Ｂに送信する。また、第１端末であるＰＣ１Ｃのプロセッサ３４は、第３演者７のパフォーマンスに係る第１信号として、楽器８の演奏音に係る音信号をＰＣ１Ｂに送信する。

【0022】

次に、本実施形態の信号処理方法は、第２端末において複数の第１信号を受信する（Ｓ１２）。具体的には、第２端末であるＰＣ１Ｂのプロセッサ３４は、楽器４の演奏音に係る音信号および楽器８の演奏音に係る音信号を受信する。

【0023】

そして、本実施形態の信号処理方法は、第２端末において、パフォーマンスの基準となる基準情報を取得し、該基準情報に基づいて、複数の第１信号のうちいずれかを優先的に処理する（Ｓ１３）。

【0024】

パフォーマンスの基準となる基準情報とは、例えばドラム音等の、楽曲におけるリズムを担当する楽器（リズム楽器）の音である。ドラムのようなリズム楽器の音は、演奏のタイミングに関係する音である。セッションでは、各演者は主にリズム楽器の音にタイミングを合わせて演奏を行う。つまり、リズム楽器の音に係る音信号は、パフォーマンスの基準となる基準情報の一例である。本実施形態では、基準情報は、演奏のタイミングに関係する第３演者７の第１端末であるＰＣ１Ｃにより送信される。

【0025】

ＰＣ１Ｂのプロセッサ３４は、音信号に基づいて基準情報を取得する。具体的には、プロセッサ３４は、受け付けたデジタル音信号がリズム楽器の音であるか否かを判定する。プロセッサ３４は、例えば受け付けたデジタル音信号の特徴量に基づいて、リズム楽器の音であるか否かを判定する。特徴量とは、例えばスペクトル包絡、パワー、振幅スペクトル、基本周波数、フォルマント周波数、メルスペクトル包絡、メルスペクトル、またはケプストラム等である。プロセッサ３４は、例えば、特徴量とリズム楽器の音とを対応付けたテーブルを参照し、受け付けたデジタル音信号の特徴量を入力して、対応するリズム楽器の音があるか否かを検索する。プロセッサ３４は、対応するリズム楽器の音がある場合に、受け付けたデジタル音信号がリズム楽器の音であると判定する。あるいは、プロセッサ３４は、特徴量とリズム楽器の音との対応関係を訓練した訓練済モデルを用いて、受け付けたデジタル音信号がリズム楽器の音であるか否かを判定してもよい。プロセッサ３４は、当該訓練済モデルに特徴量を入力する。プロセッサ３４は、当該訓練済モデルに入力した特徴量に対してリズム楽器の音であるとの結果を出力した場合に、受け付けたデジタル音信号がリズム楽器の音であると判定する。

【0026】

本実施形態では、第２端末であるＰＣ１Ｂのプロセッサ３４は、楽器４および楽器８のうち、リズム楽器の音であると判定したＰＣ１Ｃから受信した楽器８の音信号を優先的に処理する。優先的に処理するとは、例えばＰＣ１Ｃから受信するオーディオパケットに優先度を付与し、ＰＣ１Ｃのオーディオパケットを先にデコードすることを意味する。また、優先的に処理するとは、楽器８の音信号を優先的に受信することも含む。

【0027】

なお、ＰＣ１Ｂのプロセッサ３４は、ＰＣ１Ｃに対して、楽器８の音信号を優先的に送信する指示情報を送信してもよい。ＰＣ１Ｃのプロセッサ３４は、当該指示情報に基づいて楽器８の音信号を優先的に送信する。優先的に送信するとは、例えば、オーディオＩ／Ｆ３８から受け付けたデジタル音信号に係るオーディオパケットを他のパケットデータよりも優先して送信することを意味する。

【0028】

上記例では、ＰＣ１Ｂのプロセッサ３４が楽器４および楽器８のうち、リズム楽器の音であると判定したＰＣ１Ｃから受信した楽器８の音信号を優先的に処理する例を示した。しかし、例えばＰＣ１Ａのプロセッサ３４は、楽器６および楽器８のうち、リズム楽器の音を判定し、リズム楽器の音であると判定したＰＣ１Ｃから受信した楽器８の音信号を優先的に処理してもよい。また、ＰＣ１Ｃのプロセッサ３４は、楽器４および楽器６のうち、いずれかの音信号に基づいて基準情報を取得し、優先的に処理してもよい。例えば、楽器６はエレキベースであり、楽曲におけるリズムを担当する楽器でもある。したがって、ＰＣ１Ｃのプロセッサ３４は、リズム楽器の音であると判定したＰＣ１Ｂから受信した楽器６の音信号を優先的に処理してもよい。

【0029】

このようにして、本実施形態の信号処理方法は、セッションにおいて基準となるリズム楽器の音を優先的に処理する。そのため、リズム楽器の音は、どの地点においても大きなずれが無い。セッションでは、各演者は主にリズム楽器の音を基準にして演奏を行う。本実施形態の信号処理方法は、基準となる音のずれが無いため、遠隔セッション時に遅延によるパフォーマンスへの影響を最小限に抑えることができる。これにより、本実施形態の信号処理方法の利用者は、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。

【0030】

（変形例１）
前記第１信号は、演奏に係る音信号に限らない。例えば映像信号でもよい。例えば、指揮者は、楽器を演奏しないが、指揮棒あるいは手を用いてセッションを主導する。あるいは、ドラム楽器の演者は、ドラムスティックによるドラムの打撃タイミングによりセッションを主導する。

【0031】

図４は、変形例１に係る信号処理システムの構成図である。図１と共通する構成は同一の符号を付し、説明を省略する。

【0032】

変形例１に係るパフォーマンス情報生成システムは、第３地点３０に設置されたＰＣ１Ｃにカメラ５０が接続されている。第３地点３０では、第４演者２が指揮を行う。ＰＣ１Ｃは、カメラ５０から受け付けた、指揮棒を含む第４演者２の映像信号をＰＣ１ＡおよびＰＣ１Ｂに送信する。ＰＣ１ＡおよびＰＣ１Ｂは、ＰＣ１Ｃから受信した映像信号に基づいて、表示器３１に指揮棒を含む第４演者２の映像を表示する。

【0033】

第１演者３および第２演者５は、表示器３１に表示される第４演者２の指揮棒を見て、セッションを行う。

【0034】

変形例１では、パフォーマンスの基準となる基準情報は、指揮棒を含む指揮者の映像であることを示す情報ある。つまり、変形例１において映像信号は、パフォーマンスの基準となる基準情報の一例である。

【0035】

ＰＣ１ＡおよびＰＣ１Ｂのそれぞれのプロセッサ３４は、映像信号に基づいて基準情報を取得する。具体的には、プロセッサ３４は、受け付けた映像信号が指揮者（特に指揮棒）の映像を含むか否かを判定する。プロセッサ３４は、例えば受け付けた映像信号の画像特徴量に基づいて、指揮者の映像を含むか否かを判定する。画像特徴量とは、例えばＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄｅｄ－Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）、ＨｏＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）等の視覚特徴と時間軸方向の動き特徴とを含む多次元ベクトルである。プロセッサ３４は、例えば、複数の指揮者の映像に係る画像特徴量を蓄積したデータベースに、受け付けた映像音信号の画像特徴量を入力して、対応する情報があるか否かを検索する。プロセッサ３４は、対応する情報がある場合に、受け付けた映像信号に指揮者の映像を含むと判定する。あるいは、プロセッサ３４は、画像特徴量と指揮者の映像を含むことを示す情報との対応関係を訓練した訓練済モデルを用いて、受け付けた映像信号に指揮者の映像を含むか否かを判定してもよい。あるいは、プロセッサ３４は、画像特徴量とドラム楽器の演者の映像を含むことを示す情報との対応関係を訓練した訓練済モデルを用いて、受け付けた映像信号にドラム楽器の演者の映像を含むか否かを判定してもよい。

【0036】

ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、指揮者の映像を送信するＰＣ１Ｃから受信した映像信号を優先的に処理する。優先的に処理するとは、例えばＰＣ１Ｃから受信する映像信号に係るパケットデータに優先度を付与し、他のパケットデータよりも先にデコードすることを意味する。

【0037】

なお、ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、ＰＣ１Ｃに対して、映像信号を優先的に送信する指示情報を送信してもよい。ＰＣ１Ｃのプロセッサ３４は、当該指示情報に基づいて映像信号を優先的に送信する。優先的に送信するとは、例えば、映像信号に係るパケットデータを他のパケットデータよりも優先して送信することを意味する。

【0038】

このようにして、変形例１の信号処理方法は、セッションにおいて基準となる指揮者の映像を優先的に処理する。そのため、指揮者の映像（あるいはドラム楽器の演者の映像）は、どの地点においても大きなずれが無い。セッションでは、各演者は主に指揮者の動きを基準にして演奏を行う。本実施形態の信号処理方法は、基準となる指揮者の映像にずれが無いため、遠隔セッション時に遅延によるパフォーマンスへの影響を最小限に抑えることができる。これにより、変形例１の信号処理方法の利用者は、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。

【0039】

（変形例２）
変形例２に係る信号処理方法は、基準情報に基づいて、対応する第１信号の未来の成分（まだ受信していない音信号のデータ）を予測し、予測した第１信号の未来の成分を優先的に処理する。

【0040】

ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、例えば受け付けた音信号と、楽曲名と、の関係をＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等で訓練した訓練済モデルを用意して、当該訓練済モデルに音信号を入力することによりセッションで演奏されている楽曲名を特定する。そして、ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、特定した楽曲名のコンテンツデータを取得する。また、ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、基準情報（例えば図１の例ではリズム楽器の音であると判定した楽器８の音信号）と、取得したコンテンツデータと、を対比して現在の演奏位置（何小節目の何拍目であるかを示す情報）を求める。また、ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、楽器８の音信号に基づいて、演奏テンポを求める。演奏位置および演奏テンポの推定には、公知の解析技術（スコアアライメント）が任意に採用され得る。

【0041】

そして、ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、楽器８の音信号と、取得したコンテンツデータと、に基づいて、求めた現在の演奏位置の音信号よりも未来の音信号の成分を予測する。例えば、ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、現在の演奏位置が４小節目の４拍目の位置であると求めた場合に、取得したコンテンツデータのうち、５小節目以後の音信号のデータを未来の成分として予測する。

【0042】

あるいは、ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、リハーサル時に音信号を記録しておき、記録した音信号のうち、対応する演奏位置の音信号を読み出して、未来の音信号の成分を推定してもよい。

【0043】

ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、予測した未来の成分を優先的に処理する。例えば、ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、推定した演奏位置および演奏テンポに合わせて、予測した未来の成分を再生し、演奏の進行および演奏テンポを維持する。これにより、リズム楽器の音が、ネットワークの環境に依存することなくどの地点においても大きなずれが無い。セッションでは、各演者は主にリズム楽器の音を基準にして演奏を行う。本実施形態の信号処理方法は、基準となる音のずれが無いため、遠隔セッション時に遅延によるパフォーマンスへの影響を最小限に抑えることができる。これにより、本実施形態の信号処理方法の利用者は、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。

【0044】

（変形例３）
変形例３に係る信号処理方法は、基準情報に基づいて、対応する第１信号の未来の成分を予測し、予測した第１信号の未来の成分を優先的に処理する。ただし、ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、また、図４の変形例１において、基準情報として指揮者の映像信号を取得し、現在の演奏位置の指揮者の映像信号よりも未来の映像信号の成分を予測する。

【0045】

指揮者は、拍子に合わせて繰り返し同じ動きを行う。そこで、ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、過去の指揮者の映像を記録し、現在の演奏位置（何小節目の何拍目であるかを示す情報）を推定し、過去の指揮者の映像信号から対応する演奏位置の映像信号を読み出す。例えば、現在の演奏位置が４小節目の３拍目の位置であると求めた場合に、過去の指揮者の映像信号のうち、３小節目の４泊目に記録された映像信号のデータを、４小節目の４泊目の映像信号として予測する。

【0046】

あるいは、ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、リハーサル時に指揮者の映像信号を記録しておき、記録した指揮者の映像信号のうち、対応する演奏位置の映像信号を読み出して、未来の映像信号の成分を予測してもよい。

【0047】

ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、予測した未来の成分を優先的に処理する。例えば、ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、推定した演奏位置および演奏テンポに合わせて、予測した未来の指揮者の映像信号を再生し、演奏の進行および演奏テンポを維持する。これにより、指揮者の映像が、ネットワークの環境に依存することなくどの地点においても大きなずれが無、遠隔セッション時に遅延によるパフォーマンスへの影響を最小限に抑えることができる。これにより、本実施形態の信号処理方法の利用者は、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。

【0048】

（変形例４）
図５は、変形例４に係る信号処理システムの構成図である。図１と共通する構成は同一の符号を付し、説明を省略する。

【0049】

変形例４に係る信号処理システムでは、ＰＣ１Ｃに代えて、サーバ１００を有する。サーバ１００は、図１においてＰＣ１Ｃで生成された指揮者の映像信号を記録している。サーバ１００は、記録した映像信号を配信する。

【0050】

ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、サーバ１００から指揮者の映像信号を取得する。この場合、ＰＣ１Ｂおよびサーバ１００が第１の端末であり、ＰＣ１Ａが第２の端末になる。あるいは、ＰＣ１Ａおよびサーバ１００が第１の端末であり、ＰＣ１Ｂが第２の端末になる。

【0051】

このように、本実施形態の信号処理方法における第１の端末は、リアルタイムにパフォーマンスを行う演者の端末に限らない。

【0052】

（変形例５）
図６は、変形例５に係る信号処理システムの構成図である。図５と共通する構成は同一の符号を付し、説明を省略する。変形例５に係る信号処理システムでは、さらにサーバ１０１を備えている。サーバ１０１は、図１においてＰＣ１Ｃで生成された指揮者の映像信号を記録している。サーバ１０１は、記録した映像信号を配信する。変形例５では、サーバ１００は他の演者（例えばボーカル）の音信号を配信する。

【0053】

ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、サーバ１００からボーカルの音信号を取得し、サーバ１０１から指揮者の映像信号を取得する。この場合、ＰＣ１Ｂ、サーバ１００、およびサーバ１０１が第１の端末であり、ＰＣ１Ａが第２の端末になる。あるいは、ＰＣ１Ａ、サーバ１００，およびサーバ１０１が第１の端末であり、ＰＣ１Ｂが第２の端末になる。

【0054】

変形例５の信号処理方法では、第１端末および第２端末が相対的に遅延の少ない第１の仮想ネットワークまたは相対的に遅延の多い第２の仮想ネットワークで接続され、基準情報が第１の仮想ネットワークで送信される。具体的には、ＰＣ１Ａは、第１の仮想ネットワークでサーバ１０１と接続される。また、ＰＣ１Ｂは、第１の仮想ネットワークでサーバ１０１と接続される。ＰＣ１Ａ、ＰＣ１Ｂおよびサーバ１００は、第２の仮想ネットワークで接続される。第１の仮想ネットワークは、相対的に低遅延であるが同時接続可能数が少ない。第２の仮想ネットワークは、遅延は大きいが同時接続可能数が多い。

【0055】

例えば、第５世代移動通信システム等の無線通信ネットワークでは、「ネットワークスライシング」と呼ばれる技術が活用される。ネットワークスライシングとは、物理ネットワークを仮想的に複数の論理ネットワークに分割し（スライシング）するものである。複数の論理ネットワークは、それぞれ低遅延のネットワーク、同時接続可能数が多いネットワーク等を構成する。そこで、本変形例５の信号処理方法では、「パフォーマンスの基準となる基準情報」を優先度が高く低遅延のスライス（基準スライス）に割り当て、それ以外情報を相対的に遅延の大きい通常スライスに割り当てる。

【0056】

これにより、サーバ１０１から配信される指揮者の映像は、どの地点においても大きなずれが無い。セッションでは、各演者は主に指揮者の動きを基準にして演奏を行う。本実施形態の信号処理方法は、基準となる指揮者の映像にずれが無いため、遠隔セッション時に遅延によるパフォーマンスへの影響を最小限に抑えることができる。これにより、本実施形態の信号処理方法の利用者は、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。

【0057】

（その他の例）
上述の例では、ＰＣ１ＡおよびＰＣ１Ｃは第１端末の一例であり、ＰＣ１Ｂは第２端末の一例として説明した。しかし、本発明の第１端末および第２端末は、上述のＰＣ１Ａ、ＰＣ１ＢおよびＰＣ１Ｃに限らない。例えば、上述の通信Ｉ／Ｆ３６の機能を備え、他の情報処理装置（または他の電子楽器）と通信する機能を備えた電子楽器も本発明の第１端末または第２端末を構成することができる。電子楽器とは、例えば電子ピアノ、電子ドラム、電子バイオリン、電子管楽器、電子オルガン、シンセサイザー等は無論、エレキギターやエレキベース等も含む。なお、複数の電子楽器が同じローカルエリアネットワーク内に存在する場合、同じローカルエリア内に存在する複数の電子楽器が同じセッションルームを構成してもよい。例えば、６つの電子楽器のうち、第１電子楽器、第２電子楽器、第３電子楽器が直接接続され第１セッションルームを構成する。第４電子楽器、第５電子楽器、第６電子楽器が第２セッションルームを構成する。そして、第１セッションルームおよび第２セッションルームにおいて要求が生じる場合、例えば第１電子楽器と第４電子楽器が接続される。接続された第１電子楽器と第４電子楽器は、互いのセッションルームの情報を送受信し、受信した他方のセッションルームの情報を、自身のセッションルーム内の他の端末装置に送信する。同じセッションルームでは、複数の電子楽器が同じグローバルＩＰアドレスを利用できる。これにより、信号処理システムは、使用するグローバルＩＰアドレスの数を抑えながら多数の電子楽器を接続することができる。

【0058】

本実施形態は、以下の様な遅延対策の構成を採用してもよい。
（１）ある地点（例えば第１地点１０）の情報処理装置（例えばＰＣ１Ａ）は、遠隔地の地点（例えば第２地点２０）の情報処理装置（例えばＰＣ１Ｂ）との通信遅延時間Ｔｃを測定する。ＰＣ１Ａは、バック演奏の再生指示を受け付けると、ＰＣ１Ｂに直ちに当該バック演奏の音信号を送信する。ＰＣ１Ａは、測定した通信遅延時間Ｔｃの経過後にバック演奏の音信号を再生する。これにより、ＰＣ１Ａの利用者と、ＰＣ１Ｂの利用者は、同じタイミングでバック演奏を聞くことができる。

【0059】

（２）ＰＣ１Ａは、ＰＣ１Ｂとの通信開始に応じて、一定時間の間にネットワーク受信用バッファのデータ蓄積状態がフル乃至エンプティになった回数（満空発生回数）を満空カウンタで計測する。ＰＣ１Ａは、計測した満空発生回数に応じてバッファサイズを調整する。例えば、ＰＣ１Ａは、満空発生回数がＮ以上のときはバッファサイズを拡張し、バッファサイズを拡張しても満空発生回数がＮ以上のときはバッファサイズを更に拡張する。そして、ＰＣ１Ａは、満空発生回数がＮ未満のときはバッファサイズをそのときの値に確定し、最大バッファサイズまで拡張しても満空発生回数がＮ以上の場合はバッファサイズの調整を中止する。

【0060】

（３）信号処理システムは、接続可能な利用者端末の数を所定の制限台数（例えば３台）に制限してもよい。例えば６つの利用者端末のうち、第１利用者端末、第２利用者端末、第３利用者端末が直接接続され第１セッションルームを構成する。第４利用者端末、第５利用者端末、第６利用者端末が第２セッションルームを構成する。そして、第１セッションルームおよび第２セッションルームにおいて要求が生じる場合、例えば第１利用者端末と第４利用者端末が接続される。接続された第１利用者端末と第４利用者端末は、互いのセッションルームの演奏情報を送受信し、受信した他方のセッションルームの演奏情報を、自身のセッションルーム内の他の端末装置に送信する。

【0061】

（４）情報処理装置は、出力すべき音信号を適切なタイミングで受信できない場合に代替の音信号を出力してもよい。例えば、ＰＣ１Ａは、受信したオーディオパケットを受信順にオーディオバッファおよび補間バッファに書き込み、オーディオバッファに格納されているオーディオパケットを格納順に出力する。ＰＣ１Ａは、オーディオバッファの未出力のオーディオパケットが減った場合に補間バッファのオーディオパケットから上記未出力のオーディオパケットに続くオーディオパケットを生成してオーディオバッファに書き込む補間を行う。ＰＣ１Ａは、オーディオパケットの受信の欠落を検出した場合に、補間バッファのオーディオパケットをバックアップバッファにコピーし、補間バッファをクリアし、補間バッファのオーディオパケットにより上記補間を行えない場合にバックアップバッファのオーディオパケットにより上記補間を行う。

【0062】

本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲は、特許請求の範囲と均等の範囲を含む。

【符号の説明】

【0063】

３ ：第１演者
４ ：楽器
５ ：第２演者
６ ：楽器
７ ：第３演者
２ ：第４演者
８ ：楽器
１０ ：第１地点
２０ ：第２地点
３０ ：第３地点
３１ ：表示器
３２ ：ユーザＩ／Ｆ
３３ ：フラッシュメモリ
３４ ：プロセッサ
３５ ：ＲＡＭ
３６ ：通信Ｉ／Ｆ
３８ ：オーディオＩ／Ｆ
５０ ：カメラ
１００ ：サーバ
１０１ ：サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】