特開 2024-152933 信号処理装置、信号処理システム、及び信号処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024152933

(43)【公開日】2024-10-25

(54)【発明の名称】信号処理装置、信号処理システム、及び信号処理方法

(51)【国際特許分類】

   G10H 1/00 20060101AFI20241018BHJP

【ＦＩ】

G10H1/00 102Z

G10H1/00 Z

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2024140863

(22)【出願日】2024-08-22

(62)【分割の表示】P 2022561714の分割

【原出願日】2020-11-10

(71)【出願人】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100134359

【弁理士】

【氏名又は名称】勝俣 智夫

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(74)【代理人】

【識別番号】100206391

【弁理士】

【氏名又は名称】柏野 由布子

(72)【発明者】

【氏名】藤島 琢哉

(72)【発明者】

【氏名】前澤 陽

(57)【要約】

【課題】利用者が目的のタイミングに合わせて適切に動作を行うことを可能とする。
【解決手段】信号処理装置は、音データを含む第１の時系列データと、前記第１の時系列データに基づいて生成され、人の動作タイミングを示すデータを少なくとも含む第２の時系列データとを受信する受信部と、前記第２の時系列データに基づいて、前記動作タイミングを知らせる第３の時系列データを生成する生成部と、前記第１の時系列データにおける前記動作タイミングと、前記第３の時系列データで知らされる前記動作タイミングとが一致するように、前記第１の時系列データに基づく出力信号と、前記第３の時系列データに基づく出力信号とを同期させて出力する処理部とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

音データを含む第１の時系列データと、前記第１の時系列データに基づいて生成され、人の動作タイミングを示すデータを少なくとも含む第２の時系列データとを受信する受信部と、
前記第２の時系列データに基づいて、前記動作タイミングを知らせる第３の時系列データを生成する生成部と、
前記第１の時系列データにおける前記動作タイミングと、前記第３の時系列データで知らされる前記動作タイミングとが一致するように、前記第１の時系列データに基づく出力信号と、前記第３の時系列データに基づく出力信号とを同期させて出力する処理部と
を備える信号処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、信号処理装置に関する。

【背景技術】

【0002】

演奏データなどの時系列データに合わせて、例えば、楽器を演奏して合奏を行うなどの動作を利用者が行うことがある。また、このような合奏を効率的に行うための技術が知られている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００４－１４５２２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、演奏データなどの時系列データに合わせて、例えば、楽器を演奏して合奏を行う際に、演奏の開始タイミングなどの動作タイミングがわからずに、適切なタイミングで演奏などの動作を行うことが困難な場合があった。

【0005】

本発明は、上記問題を解決すべくなされたもので、その目的は、利用者が目的のタイミングに合わせて適切に動作を行うことができる信号処理装置を提供することにある。

【課題を解決するための手段】

【0006】

上記問題を解決するために、本発明の一態様は、音データを含む第１の時系列データと、前記第１の時系列データに基づいて生成され、人の動作タイミングを示すデータを少なくとも含む第２の時系列データとを受信する受信部と、前記第２の時系列データに基づいて、前記動作タイミングを知らせる第３の時系列データを生成する生成部と、前記第１の時系列データにおける前記動作タイミングと、前記第３の時系列データで知らされる前記動作タイミングとが一致するように、前記第１の時系列データに基づく出力信号と、前記第３の時系列データに基づく出力信号とを同期させて出力する処理部とを備える信号処理装置である。

【発明の効果】

【0007】

本発明によれば、利用者が目的のタイミングに合わせて適切に動作を行うことができる。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態による信号処理システムの一例を示すブロック図である。

【図2】指揮者の映像の一例を示す図である。

【図3】第１の実施形態による信号処理システムの動作の一例を示す図である。

【図4】第２の実施形態による信号処理システムの一例を示すブロック図である。

【図5】第２の実施形態による信号処理システムの動作の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、本発明の一実施形態による信号処理システム、信号処理装置、及び信号処理方法について、図面を参照して説明する。

【0010】

［第１の実施形態］
図１は、本実施形態による信号処理システム１を示すブロック図である。
信号処理システム１は、信号処理装置１０と、送信装置２０とを備える。
信号処理装置１０と送信装置２０とは、ネットワークＮＷ１を介して接続可能である。

【0011】

送信装置２０は、音データを含む第１の時系列データに基づいて、人の動作タイミングを示すデータを少なくとも含む第２の時系列データを生成し、第１の時系列データと第２の時系列データとを送信する。第１の時系列データは、例えば、演奏などの演奏データ、体操やダンスの映像データなどである。本実施形態では、第１の時系列データが、演奏データである場合について説明する。

【0012】

また、第２の時系列データは、第１の時系列データに基づいて生成されるデータである。第２の時系列データは、例えば、演奏データの拍点の時刻情報を含む拍データなどであり、第１の時系列データよりもデータ量が少ない時系列データである。本実施形態では、第２の時系列データが、拍データである場合について説明する。
また、人の動作タイミングとは、第１の時系列データに基づく出力信号（例えば、演奏データに基づく演奏の音信号）に合わせて、利用者Ｕ１が行う動作（例えば、楽器の演奏や歌を歌うなどの動作）のタイミングを示している。動作タイミングには、例えば、演奏の開始タイミング（全体の開始、ソロパートの開始、等）、演奏の終了タイミングなどが含まれる。

【0013】

送信装置２０は、ＮＷ（ネットワーク）通信部２１と、入力部２２と、表示部２３と、記憶部２４と、制御部４０とを備える。
ＮＷ通信部２１は、ネットワークＮＷ１に接続可能なインターフェース部であり、ネットワークＮＷ１を介して信号処理装置１０との間の通信を行う。

【0014】

入力部２２は、例えば、キーボードやマウス、タッチパネルなどの入力装置であり、各種入力を利用者から受け付ける。入力部２２は、例えば、演奏データの選択や指定など、送信装置２０を使用する際の各種操作に用いられる。
表示部２３は、例えば、液晶ディスプレイなどの表示装置であり、演奏データの映像や拍データ、各種操作画面の画像などを表示する。

【0015】

記憶部２４は、送信装置２０が利用する各種情報を記憶する。記憶部２４は、演奏データ記憶部２４１と、拍データ記憶部２４２とを備える。

【0016】

演奏データ記憶部２４１は、拍データを生成する元データとなる演奏データを記憶する。演奏データは、例えば、楽器の演奏や歌声などの音データである。

【0017】

拍データ記憶部２４２は、演奏データの拍点の時刻を示す拍データを記憶する。拍データは、演奏データに対応するデータである。なお、拍データには、動作の強弱（例えば、演奏の強弱）を示すデータを含んでもよい。

【0018】

制御部４０は、例えば、ＣＰＵ（Central Processing Unit）などを含むプロセッサであり、送信装置２０を制御する。制御部４０は、拍データ生成部４１と、送信処理部４２とを備える。

【0019】

拍データ生成部４１は、演奏データに基づいて、拍データを生成する。拍データ生成部４１は、生成した拍データを、拍データ記憶部２４２に記憶させる。なお、拍データは、演奏データに基づいて生成される圧縮データともいえる。

【0020】

送信処理部４２は、演奏データ及び拍データを、信号処理装置１０に送信する。送信処理部４２は、例えば、ＮＷ通信部２１及びネットワークを介して、演奏データ及び拍データを、信号処理装置１０に送信する。送信処理部４２は、演奏データ送信部４２１と、拍データ送信部４２２とを備える。

【0021】

演奏データ送信部４２１は、演奏データを、ＮＷ通信部２１を介して、信号処理装置１０に送信する。
拍データ送信部４２２は、拍データを、ＮＷ通信部２１を介して、信号処理装置１０に送信する。

【0022】

信号処理装置１０は、ネットワークＮＷ１に接続して、送信装置２０と通信可能な受信装置である。信号処理装置１０は、ネットワークＮＷ１を介して、送信装置２０から第１の時系列データ及び第２の時系列データを受信する。信号処理装置１０は、第２の時系列データに基づいて動作タイミングを知らせる第３の時系列データを生成する。信号処理装置１０は、第１の時系列データにおける動作タイミングと、第３の時系列データの動作タイミングが一致するように、第１の時系列データに基づく出力信号と、第３の時系列データに基づく出力信号とを同期させて出力する。本実施形態では、第３の時系列データが、映像データである場合について説明する。
信号処理装置１０は、演奏データ及び拍データを受信する。信号処理装置１０は、拍データに基づいて、指揮者の映像を示す映像データを生成し、演奏データに基づく音信号に合わせて、指揮者の映像を出力する。
信号処理装置１０は、ＮＷ通信部１１と、入力部１２と、表示部１３と、スピーカ１４と、記憶部１５と、制御部３０とを備える。

【0023】

ＮＷ通信部１１は、ＮＷ通信部２１と同様の構成及び機能を有している。ＮＷ通信部１１は、ネットワークＮＷ１を介して送信装置２０との間の通信を行う。

【0024】

入力部１２及び表示部１３は、入力部２２及び表示部２３と同様の構成及び機能を有している。入力部１２は、例えば、指揮者の映像データを生成するための各種設定の選択や指定など、信号処理装置１０を使用する際の各種操作に用いられる。また、表示部１３は、例えば、指揮者の映像、各種操作画面の画像などを表示する。

【0025】

スピーカ１４は、信号処理装置１０が用いる各種音信号を出力する。スピーカ１４は、例えば、演奏データに基づく音信号を出力する。

【0026】

記憶部１５は、信号処理装置１０が利用する各種情報を記憶する。記憶部１５は、演奏データ記憶部１５１と、拍データ記憶部１５２と、生成用情報記憶部１５３と、映像データ記憶部１５４とを備える。

【0027】

演奏データ記憶部１５１は、送信装置２０から受信した演奏データを記憶する。
拍データ記憶部１５２は、送信装置２０から受信した拍データを記憶する。

【0028】

生成用情報記憶部１５３は、映像データを生成する際に用いるデータを記憶する。生成用情報記憶部１５３は、例えば、指揮者の映像を示す映像データを生成するために、予め機械学習を用いて構築された学習結果である学習済モデルや、映像データを生成する際の各種設定情報などを記憶する。なお、学習済モデルは、入力を第２の時系列データとしたときに第３の時系列データを出力するモデルである。本実施形態において、学習済モデルは、拍データを入力すると指揮者の映像を示す映像データを出力するモデルである。

【0029】

映像データ記憶部１５４は、演奏などの動作タイミングを知らせる映像データを記憶する。また、指揮者の映像データは、実際に撮像された指揮者の映像を含むものでもよいし、イラストやコンピュータグラフィックによるアニメーションであってもよい。また、指揮者の映像データは、指揮棒及び手の動きを表示するようなものであってもよい。

【0030】

制御部３０は、例えば、ＣＰＵなどを含むプロセッサであり、信号処理装置１０を制御する。制御部３０は、受信処理部３１と、映像データ生成部３２と、出力処理部３３とを備える。

【0031】

受信処理部３１は、受信部の一例である。受信処理部３１は、ネットワークＮＷ１及びＮＷ通信部１１を介して、送信装置２０から演奏データと拍データとを受信する。受信処理部３１は、演奏データ受信部３１１と、拍データ受信部３１２とを備える。

【0032】

演奏データ受信部３１１は、ネットワークＮＷ１を介して、送信装置２０から送信された演奏データを受信する。演奏データ受信部３１１は、受信した演奏データを演奏データ記憶部１５１に記憶させる。

【0033】

拍データ受信部３１２は、ネットワークＮＷ１を介して、送信装置２０から送信された拍データを受信する。拍データ受信部３１２は、受信した拍データを拍データ記憶部１５２に記憶させる。

【0034】

映像データ生成部３２は生成部の一例である。映像データ生成部３２は、拍データに基づいて、動作タイミングを知らせる指揮者の映像データを生成する。映像データ生成部３２は、拍データ記憶部１５２が記憶する拍データを取得し、取得した拍データと、生成用情報記憶部１５３が記憶するデータとに基づいて、図２に示すような映像Ｍ１の指揮者の映像データを生成する。例えば、映像データ生成部３２は、生成用情報記憶部１５３が記憶する学習モデル情報を用いて、機械学習により、拍データに基づいて、指揮者の映像データを生成する。

【0035】

なお、映像データ生成部３２は、拍データに動作の強弱（例えば、演奏の強弱）を示すデータが含まれる場合に、動作の強弱を指示するデータを含む指揮者の映像データを生成する。
映像データ生成部３２は、生成した指揮者の映像データを、映像データ記憶部１５４に記憶させる。

【0036】

出力処理部３３は、処理部の一例である。出力処理部３３は、演奏データにおける動作タイミングと、指揮者の映像データにおける動作タイミングとが一致するように、演奏データに基づく演奏音信号と、指揮者の映像データに基づく指揮者の映像信号とを同期させて出力する。出力処理部３３は、演奏データに基づく演奏音信号を、スピーカ１４から出力させ、当該音信号に同期させて、指揮者の映像信号を表示部１３から出力させる（図２の指揮者の映像Ｍ１を参照）。

【0037】

次に、図３を参照して、本実施形態による信号処理システム１の動作について説明する。
図３は、本実施形態による信号処理システム１の動作の一例を示す図である。
まず、送信装置２０は、演奏データに対して、拍データを生成する（ステップＳ１０１）。拍データ生成部４１は、入力部２２の操作によって指定された演奏データを、演奏データ記憶部２４１から取得する。拍データ生成部４１は、演奏データに基づいて、拍点の時刻情報を含む拍データを生成する。拍データ生成部４１は、生成した拍データを、拍データ記憶部２４２に記憶させる。

【0038】

なお、拍データ生成部４１は、演奏データ及び生成した拍データとを、表示部２３に表示する等、送信装置２０の利用者が観測できる状態にして、拍データを確認させ、利用者の指示に基づいて、拍データを調整、又は修正するようにしてもよい。

【0039】

次に、送信装置２０は、演奏データを信号処理装置１０に送信する（ステップＳ１０２）。演奏データ送信部４２１は、演奏データ記憶部２４１から取得した演奏データを、信号処理装置１０に送信する。これにより、演奏データ受信部３１１は、送信装置２０から演奏データを受信し、受信した演奏データを、演奏データ記憶部１５１に記憶させる。

【0040】

次に、送信装置２０は、拍データを信号処理装置１０に送信する（ステップＳ１０３）。拍データ送信部４２２は、拍データを信号処理装置１０に送信する。これにより、拍データ受信部３１２は、送信装置２０から拍データを受信し、受信した拍データを、拍データ記憶部１５２に記憶させる。

【0041】

次に、信号処理装置１０は、映像データの選択を受け付ける（ステップＳ１０４）。映像データ生成部３２は、入力部１２を介して、利用者Ｕ１による映像データの選択（設定の指定など）を受け付ける。信号処理装置１０は、例えば、演奏のタイミングのみに対応する指揮者の映像データの指定や、動作の強弱の指示を含めた指揮者の映像データの指定、等を受け付けてもよい。

【0042】

次に、信号処理装置１０は、拍データに基づいて、指揮者の映像を示す映像データを生成する（ステップＳ１０５）。映像データ生成部３２は、利用者Ｕ１による映像データの選択（設定の指定など）に基づいて、拍データと、生成用情報記憶部１５３が記憶する機械学習の学習結果である学習済モデルから、映像データを生成する。映像データ生成部３２は、生成した映像データを、映像データ記憶部１５４に記憶させる。

【0043】

次に、信号処理装置１０は、映像データと、演奏データとを同期させて出力する（ステップＳ１０６）。出力処理部３３は、演奏データに基づく音信号を、スピーカ１４から出力させる。また、出力処理部３３は、音信号に同期させて、図２の映像Ｍ１のような、映像データに基づく指揮者の映像信号を、表示部１３から出力させる。

【0044】

利用者Ｕ１は、信号処理装置１０が出力する指揮者の映像に合わせて、例えば、楽器の演奏や歌を歌うなどの動作を行う。これにより、利用者Ｕ１は、演奏データに基づく音信号に合わせて、楽器の演奏などの動作を適切に行うことができる。

【0045】

図３に示す例では、信号処理装置１０は、ステップＳ１０５において、拍データに対応する指揮者を示す映像データを生成して、ステップＳ１０６において、映像データに基づく指揮者の映像信号を出力している。これは、様々な方法で実現できる。信号処理装置１０は、例えば、拍データ全体に対して、ステップＳ１０６を１回行ってもよい。また、信号処理装置１０は、ステップＳ１０５及びステップＳ１０６の処理を繰り返して実現してもよい。

【0046】

以上説明したように、本実施形態による信号処理装置１０は、受信処理部３１と、映像データ生成部３２と、出力処理部３３とを備える。受信処理部３１は、音データを含む第１の時系列データと、第１の時系列データに基づいて生成され、人の動作タイミングを示すデータを少なくとも含む第２の時系列データとを受信する。映像データ生成部３２は、第２の時系列データに基づいて、動作タイミングを知らせる第３の時系列データを生成する。出力処理部３３は、第１の時系列データにおける動作タイミングと、第３の時系列データで知らされる動作タイミングとが一致するように、第１の時系列データに基づく出力信号と、第３の時系列データに基づく出力信号とを同期させて出力する。

【0047】

これにより、本実施形態による信号処理装置１０では、第３の時系列データに基づく出力信号と、第１の時系列データに基づく出力信号とを同期して出力するため、利用者Ｕ１は、動作タイミングを適切に認識でき、目的のタイミングに合わせて動作を行うことができる。

【0048】

また、本実施形態による信号処理装置１０は、第１の時系列データよりもデータ量が少ない拍データを、送信装置２０から受信するため、通信データ量を低減でき、第３の時系列データに基づく出力信号の遅延を低減することができる。

【0049】

また、本実施形態では、第１の時系列データは、演奏データであり、動作タイミングには、動作開始タイミングが含まれる。また、第２の時系列データは、動作開始タイミングを少なくとも含む拍を示す拍データである。映像データ生成部３２は、拍データに基づいて、映像データを、第３の時系列データとして生成する。出力処理部３３は、映像データに基づく映像信号を、演奏データに基づく出力信号に同期させて出力する。

【0050】

これにより、本実施形態による信号処理装置１０では、利用者Ｕ１は、例えば、演奏の開始タイミングを適切に認識することができる。そのため、利用者Ｕ１は、演奏データに基づく出力信号にタイミングを合わせて、適切に楽器の演奏や歌を歌う、等を行うことができる。

【0051】

また、本実施形態では、第３の時系列データの映像データは、指揮者の映像データである。
指揮者は種々の動作タイミングを伝える役割を有していることから、指揮者の映像を用いることで、動作の開始タイミングであることをより認識し易くすることができる。よって、利用者Ｕ１は、指揮者の映像データに基づく映像信号を視認することで、送信装置２０から受信した演奏データのタイミングに合わせて、適切に、楽器などの演奏を行うことができる。

【0052】

また、本実施形態では、映像データ生成部３２は、機械学習により、拍データに基づいて、指揮者の映像データを生成する。
これにより、本実施形態による信号処理装置１０は、拍データから、指揮者の映像データを容易に作成することができる。

【0053】

また、本実施形態では、受信処理部３１は、第１の時系列データよりデータ量が小さい第２の時系列データを受信する。映像データ生成部３２は、第２の時系列データをデコードして、第３の時系列データを生成する。

【0054】

これにより、本実施形態による信号処理装置１０は、第１の時系列データよりデータ量が小さい第２の時系列データを受信するため、通信データ量が少なくなり、第１の時系列データの出力に先立って第３の時系列データを生成し出力する。したがって、第１の時系列データに基づく音信号の出力に遅れることなく第３の時系列データに基づく信号を出力することができる。

【0055】

また、本実施形態では、第２の時系列データには、動作の拍を示す拍点データと、動作の強弱を示すデータとが含まれる。映像データ生成部３２は、動作の強弱を指示するデータを含む第３の時系列データを生成する。

【0056】

これにより、本実施形態による信号処理装置１０では、利用者Ｕ１は、動作の強弱のタイミングを認識することができ、第１の時系列データに合わせて、動作の強弱を含めたより適切な動作を行うことができる。すなわち、本実施形態による信号処理装置１０では、利用者Ｕ１が、例えば、演奏データの出力に合わせて、強弱を含めた表現力の豊かな演奏を行うことできる。

【0057】

また、本実施形態による信号処理システム１は、データを含む第１の時系列データに基づいて、人の動作タイミングを示すデータを少なくとも含む第２の時系列データを生成し、第１の時系列データと第２の時系列データとを送信する送信装置２０と、信号処理装置１０とを備える。
これにより、本実施形態による信号処理システム１は、信号処理装置１０と同様の効果を奏し、利用者Ｕ１が目的のタイミングに合わせて適切に動作を行うことができる。

【0058】

［第２の実施形態］
次に、図面を参照して、第２の実施形態による信号処理システム１ａ及び信号処理装置１０ａについて説明する。

【0059】

図４は、本実施形態による信号処理システム１ａの一例を示すブロック図である。
信号処理システム１ａは、複数の信号処理装置１０ａ（１０ａ－１、１０ａ－２、・・・）と、送信装置２０ａとを備える。複数の信号処理装置１０ａと送信装置２０ａとは、ネットワークＮＷ１を介して接続可能である。

【0060】

本実施形態では、送信装置２０ａが拍データを複数の信号処理装置１０ａに送信し、複数の信号処理装置１０ａそれぞれが、拍データに基づく、指揮者の映像を出力することで、複数の利用者の間で合奏を行う場合の一例について説明する。
なお、図４において、図１と同一の構成には同一の符号を付与して、その説明を省略する。また、図４において、信号処理装置１０ａ－１、信号処理装置１０ａ－２、・・・のそれぞれは、同様の構成であり、信号処理システム１ａが備える任意の信号処理装置を示す場合、又は、特に区別しない場合には、信号処理装置１０ａとして説明する。

【0061】

送信装置２０ａは、基本的な機能が送信装置２０と同様であるが、信号処理装置１０ａに演奏データを送信しない点が、第１の実施形態と異なる。本実施形態では、送信装置２０ａと信号処理装置１０ａとの間で、演奏データの楽曲が共有されているものとする。
送信装置２０ａは、ＮＷ通信部２１と、入力部２２と、表示部２３と、記憶部２４と、制御部４０ａとを備える。

【0062】

制御部４０ａは、基本的な構成及び機能が制御部４０と同様である。制御部４０ａは、拍データ生成部４１と、送信処理部４２ａを備える。
送信処理部４２ａは、拍データ送信部４２２を備え、上述した演奏データ送信部４２１を備えない点が、送信処理部４２と異なる。送信処理部４２ａは、予め定められた楽曲を演奏した演奏データに基づいて生成された拍データを、複数の信号処理装置１０ａに送信する。

【0063】

信号処理装置１０ａは、基本的な機能が信号処理装置１０ａと同様であるが、送信装置２０ａから演奏データを受信しない点と、複数の信号処理装置１０ａの間で合奏を行うための機能が追加されている点が異なる。
信号処理装置１０ａは、ＮＷ通信部１１と、入力部１２と、表示部１３と、スピーカ１４と、記憶部１５ａと、マイク１６と、制御部３０とを備える。
なお、本実施形態において、利用者Ｕ１は、信号処理装置１０ａ－１の利用者であり、利用者Ｕ２は、信号処理装置１０ａ－２の利用者に対応する。

【0064】

記憶部１５ａは、拍データ記憶部１５２と、生成用情報記憶部１５３と、映像データ記憶部１５４とを備え、演奏データ記憶部１５１を備えない点が、記憶部１５と異なる。
マイク１６は、信号処理装置１０ａの周辺の音を収音して、収音した音信号を出力する。マイク１６は、合奏の際に、利用者の演奏を収音した音信号を制御部３０ａに出力する。

【0065】

制御部３０ａは、基本的な構成及び機能が制御部３０と同様である。制御部３０ａは、受信処理部３１ａと、映像データ生成部３２と、出力処理部３３ａと、合奏処理部３４とを備える。

【0066】

受信処理部３１ａは、拍データ受信部３１２を備え、上述した演奏データ受信部３１１を備えない点が、受信処理部３１と異なる。
出力処理部３３ａは、演奏のタイミングが視覚的に認識されるように、映像データ生成部３２が生成した指揮者の映像データに基づく映像信号を出力させる。

【0067】

合奏処理部３４は、ＮＷ通信部１１及びネットワークＮＷ１を介して、他の装置（例えば、他の信号処理装置１０ａなど）から、演奏音信号を受信し、受信した演奏音信号を、スピーカ１４に出力させる。また、合奏処理部３４は、マイク１６が収音した演奏音信号を、ＮＷ通信部１１及びネットワークＮＷ１を介して、他の装置（例えば、他の信号処理装置１０ａなど）に送信する。

【0068】

次に、図５を参照して、本実施形態による信号処理システム１ａの動作について説明する。
図５では、送信装置２０ａから送信された拍データを利用して、利用者Ｕ１と利用者Ｕ２とで合奏を行う動作の一例について説明する。

【0069】

図５において、ステップＳ２０１の処理は、図３に示すステップＳ１０１の処理と同様であるため、ここではその説明を省略する。
次に、送信装置２０ａは、拍データを各信号処理装置１０ａ（１０ａ－１、１０ａ―２）に送信する（ステップＳ２０２）。拍データ送信部４２２は、拍データを各信号処理装置１０ａに送信する。これにより、信号処理装置１０ａの拍データ受信部３１２は、送信装置２０ａから拍データを受信し、受信した拍データを、拍データ記憶部１５２に記憶させる。

【0070】

続く、信号処理装置１０ａ－１によるステップＳ２０３の処理と、信号処理装置１０ａ－２によるステップＳ２０５の処理とは、図３に示すステップＳ１０５の処理と同様であるため、ここではその説明を省略する。

【0071】

ステップＳ２０４において、信号処理装置１０ａ－１は、指揮者の映像を出力した、利用者Ｕ１の演奏をマイク１６から収音する。出力処理部３３ａは、例えば、図２の映像Ｍ１のような、映像データ記憶部１５４が記憶する指揮者の映像データに基づく映像信号を、表示部１３から出力させる。また、合奏処理部３４は、マイク１６が収音した利用者Ｕ１の演奏の音信号（演奏音信号）を取得する。

【0072】

また、ステップＳ２０６において、信号処理装置１０ａ－２は、指揮者の映像を出力した、利用者Ｕ２の演奏をマイク１６から収音する。出力処理部３３ａは、例えば、図２の映像Ｍ１のような、映像データ記憶部１５４が記憶する指揮者の映像データに基づく映像信号を、表示部１３から出力させる。また、合奏処理部３４は、マイク１６が収音した利用者Ｕ２の演奏音信号を取得する。

【0073】

次に、信号処理装置１０ａ－１及び信号処理装置１０ａ－２は、互いの演奏音信号を送信して、合奏処理を実行する（ステップＳ２０７）。信号処理装置１０ａ－１の合奏処理部３４は、利用者Ｕ１の演奏音信号を信号処理装置１０ａ－２に送信し、利用者Ｕ２の演奏音信号を信号処理装置１０ａ－２から受信して、利用者Ｕ１の演奏音信号を信号処理装置１０ａ－１のスピーカ１４に出力させる。また、信号処理装置１０ａ－２の合奏処理部３４は、利用者Ｕ２の演奏音信号を信号処理装置１０ａ－１に送信し、利用者Ｕ１の演奏音信号を信号処理装置１０ａ－１から受信して、利用者Ｕ１の演奏音信号を信号処理装置１０ａ－２のスピーカ１４に出力させる。
このように、本実施形態による信号処理システム１ａでは、離れた場所にいる複数の利用者の間で合奏を行うことができる。

【0074】

以上説明したように、本実施形態による信号処理装置１０ａは、受信処理部３１ａ（受信部）と、映像データ生成部３２（生成部）と、出力処理部３３ａ（処理部）とを備える。受信処理部３１ａは、予め定められた楽曲を演奏した演奏データ（第１の時系列データ）に基づいて生成された、演奏のタイミングを示すデータを少なくとも含む第２の時系列データ（例えば、拍データ）を受信する。映像データ生成部３２は、受信処理部３１ａが受信した第２の時系列データ（例えば、拍データ）に基づいて、演奏のタイミングを視覚的に認識可能にする第３の時系列データ（例えば、指揮者の映像データ）を生成する。出力処理部３３ａは、演奏のタイミングが視覚的に認識されるように、第３の時系列データ（例えば、指揮者の映像データ）に基づく出力信号（例えば、映像信号）を出力させる。

【0075】

これにより、本実施形態による信号処理装置１０ａ及び信号処理システム１ａは、利用者が目的のタイミングに合わせて適切に演奏を行うことができる。また、送信装置２０ａが、複数の信号処理装置１０ａに拍データを送信することで、本実施形態による信号処理装置１０ａ及び信号処理システム１ａは、例えば、離れた場所にいる複数の利用者間で、直接会わずに、演奏のタイミングを合わせることができ、合奏を行うことができる。

【0076】

なお、本発明は、上記の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
第２の時系列データは、拍データとして説明したが、これに限定されない。第２の時系列データは、位置の基準情報を示すデータであってもよい。位置の基準情報としては、拍点の時刻（事前予告含む）拍点データ、小節境界の時刻、小節番号、拍子、リハーサルマーク、楽章番号及び楽章名称などがあげられる。また、位置の基準情報に加えて他の情報を示すデータであってもよい。他の情報としては、標準テンポ、速度記号、速度変化記号、強弱、強弱変化、発想記号、アーティキュレーション、指揮者表情、指揮者身振り情報、指揮者セリフ、パートごとフレーズ開始、パートごとフレーズ終了、ソロパートの開始、ソロパートの終了及び終了合図などがあげられる。

【0077】

また、第３の時系列データは、映像データに加えて音データを含んでもよい。音データの例としては、指揮者の映像に同期するメトロノームの音があげられる。この場合、映像データは、指揮者の映像に代えてメトロノームの映像としてもよいし、指揮者の映像に加えてメトロノームの映像を示してもよい。
例えば、上記の各実施形態において、信号処理システム１（１ａ）を楽器の演奏に利用する例を説明したが、これに限定されるものではなく、利用者が行う動作は、楽器の演奏の他に、ダンスや体操、ＢＧＭに合わせた詩の朗読、放送劇などに適用してもよい。

【0078】

また、上記の各実施形態において、第３の時系列データとして、指揮者の映像データを用いる例を適用したが、これに限定されるものではなく、例えば、第１の時系列データが体操やダンスの映像データである場合には、第３の時系列データは、ダンスや体操の開始タイミングを示す合図やセリフの音データ（例えば、「大きく！」「ゆっくりと！」などの掛声や合図）や、インストラクタの映像データ（例えば、表情、身振りが分かる映像）などであってもよい。

【0079】

また、上記の第１の実施形態において、第２の実施形態と同様に、拍データを複数の信号処理装置１０に送信して、合奏などを行うようにしてもよい。またこの場合、信号処理装置１０は、上述した合奏処理部３４を備えるようにしてもよい。

【0080】

また、上記の第１の実施形態において、信号処理装置１０は、第３の時系列データに基づく出力信号を第１の時系列データに基づく出力信号に同期させて出力する際に、所定のずらし幅を設定できるようにしてもよい。また、信号処理装置１０は、同期した出力を変速、一時停止などを行えるようにしてもよい。

【0081】

また、上記の各実施形態において、信号処理装置１０（１０ａ）は、指揮者の映像において、主パートが変更されるようにしてもよい。また、この場合、主パートは、低音楽器やリズム楽器であってもよい。

【0082】

なお、上述の信号処理システム１（１ａ）が備える各構成は内部に、コンピュータシステムを有している。そして、上述した信号処理システム１（１ａ）が備える各構成の処理過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。

【符号の説明】

【0083】

１，１ａ…信号処理システム、１０，１０ａ，１０ａ－１，１０ａ－２…信号処理装置、１１，２１…ＮＷ通信部、１２，２２…入力部、１３，２３…表示部、１４…スピーカ、１５，１５ａ，２４…記憶部、１６…マイク、３０，３０ａ，４０，４０ａ…制御部、３１，３１ａ…受信処理部、３２…映像データ生成部、３３，３３ａ…出力処理部、３４…合奏処理部、４１…拍データ生成部、４２，４２ａ…送信処理部、１５１，２４１…演奏データ記憶部、１５２，２４２…拍データ記憶部、１５３…生成用情報記憶部、１５４…映像データ記憶部、３１１…演奏データ受信部、３１２…拍データ受信部、４２１…演奏データ送信部、４２２…拍データ送信部、ＮＷ１…ネットワーク、Ｕ１，Ｕ２…利用者

【図1】

【図2】

【図3】

【図4】

【図5】

【手続補正書】

【提出日】2024-09-13

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

演奏データから生成される動作の拍を示す拍データに基づいて、映像データを生成する生成部と、
前記演奏データに関連付く動作タイミングと、前記映像データに関連付く動作タイミングとが一致するように、前記演奏データに基づく出力信号と前記映像データに基づく出力信号とを同期させて出力する処理部と
を備える信号処理装置。

【請求項2】

前記映像データは、指揮者の映像データである
請求項１に記載の信号処理装置。

【請求項3】

前記生成部は、機械学習により、前記拍データに基づいて、前記指揮者の映像データを生成する
請求項２に記載の信号処理装置。

【請求項4】

前記生成部は、前記演奏データよりデータ量が小さい前記拍データをデコードして、前記映像データを生成する
請求項１から請求項３のいずれか一項に記載の信号処理装置。

【請求項5】

前記生成部は、前記動作の強弱を指示するデータを含む前記映像データを生成する
請求項１から請求項４のいずれか一項に記載の信号処理装置。

【請求項6】

演奏データに基づいて、動作の拍を示す拍データを生成し、前記演奏データと前記拍データとを送信する送信装置と、信号処理装置とを備え、
前記信号処理装置は、
前記拍データに基づいて、映像データを生成する生成部と、
前記演奏データに関連付く動作タイミングと、前記映像データに関連付く動作タイミングが一致するように、前記演奏データに基づく出力信号と前記映像データに基づく出力信号とを同期させて出力する処理部と
を備える信号処理システム。

【請求項7】

生成部が、演奏データから生成される動作の拍を示す拍データに基づいて、映像データを生成する生成ステップと、
処理部が、前記演奏データに関連付く動作タイミングと、前記映像データに関連付く動作タイミングとが一致するように、前記演奏データに基づく出力信号と前記映像データに基づく出力信号とを同期させて出力する処理ステップと
を含む信号処理方法。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０００１

【補正方法】変更

【補正の内容】

【0001】

本発明は、信号処理装置、信号処理システム、及び信号処理方法に関する。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】０００５

【補正方法】変更

【補正の内容】

【0005】

本発明は、上記問題を解決すべくなされたもので、その目的は、利用者が目的のタイミ
ングに合わせて適切に動作を行うことができる信号処理装置、信号処理システム、及び信号処理方法を提供することにある。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】０００６

【補正方法】変更

【補正の内容】

【0006】

上記問題を解決するために、本発明の一態様は、演奏データから生成される動作の拍を示す拍データに基づいて、映像データを生成する生成部と、前記演奏データに関連付く動作タイミングと、前記映像データに関連付く動作タイミングとが一致するように、前記演奏データに基づく出力信号と前記映像データに基づく出力信号とを同期させて出力する処理部とを備える信号処理装置である。