特許 7604921 通信方法、プログラムおよび通信システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-16

(45)【発行日】2024-12-24

(54)【発明の名称】通信方法、プログラムおよび通信システム

(51)【国際特許分類】

   G10H 1/00 20060101AFI20241217BHJP

   G10H 1/40 20060101ALI20241217BHJP

【ＦＩ】

G10H1/00 Z

G10H1/40

【請求項の数】 19

(21)【出願番号】P 2021015060

(22)【出願日】2021-02-02

(65)【公開番号】P2022118492

(43)【公開日】2022-08-15

【審査請求日】2023-12-21

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110000408

【氏名又は名称】弁理士法人高橋・林アンドパートナーズ

(72)【発明者】

【氏名】原 貴洋

【審査官】大野 弘

(56)【参考文献】

【文献】特開２０１２－２５５８６３（ＪＰ，Ａ）

【文献】特開２００５－１２８２９６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｈ １／００

Ｇ１０Ｈ １／４０

(57)【特許請求の範囲】

【請求項1】

所定の間隔で繰り返し生成されるタイミング情報に基づいて報知装置で実行される報知処理を制御し、
報知データおよび順次取得される音データをパケットデータとして送信することであって、当該パケットデータに含まれる音データが取得された期間における前記タイミング情報の有無に基づく前記報知データを含む前記パケットデータを送信すること
を含む、通信方法。

【請求項2】

前記パケットデータを送信することは、当該パケットデータにおける前記音データの位置と前記報知データの位置とを異ならせてパケットデータを生成することを含む、請求項１に記載の通信方法。

【請求項3】

前記パケットデータを送信することは、前記報知データを、前記音データとは異なる周波数帯域の音波形に変換したデータとして当該音データに重畳することを含む、請求項１に記載の通信方法。

【請求項4】

前記報知データは、前記パケットデータに含まれる音データのうち、前記タイミング情報が取得されたときのデータ位置を特定する情報を含む、請求項１から請求項３のいずれかに記載の通信方法。

【請求項5】

前記報知データは、前記パケットデータに含まれる音データが取得された期間における前記タイミング情報が生成された回数を示す情報を含む、請求項４に記載の通信方法。

【請求項6】

前記タイミング情報は、拍情報が規定され、
前記報知データは、前記期間における前記タイミング情報に対応する拍情報を含む、請求項１から請求項５のいずれかに記載の通信方法。

【請求項7】

所定の間隔で繰り返し生成されるタイミング情報に基づいて報知装置で実行される報知処理を制御し、
報知データおよび順次取得される音データをパケットデータとして送信することであって、当該パケットデータに含まれる音データが取得された期間における前記タイミング情報の有無に基づく前記報知データを含む前記パケットデータを送信すること
をコンピュータに実行させるためのプログラム。

【請求項8】

前記パケットデータを送信することは、当該パケットデータにおける前記音データの位置と前記報知データの位置とを異ならせてパケットデータを生成することを含む、請求項７に記載のプログラム。

【請求項9】

前記パケットデータを送信することは、前記報知データを、前記音データとは異なる周波数帯域の音波形に変換したデータとして当該音データに重畳することを含む、請求項７に記載のプログラム。

【請求項10】

前記報知データは、前記パケットデータに含まれる音データのうち、前記タイミング情報が取得されたときのデータ位置を特定する情報を含む、請求項７から請求項９のいずれかに記載のプログラム。

【請求項11】

前記報知データは、前記パケットデータに含まれる音データが取得された期間における前記タイミング情報が生成された回数を示す情報を含む、請求項１０に記載のプログラム。

【請求項12】

前記タイミング情報は、拍情報が規定され、
前記報知データは、前記期間における前記タイミング情報に対応する拍情報を含む、請求項７から請求項１１のいずれかに記載のプログラム。

【請求項13】

所定の間隔で繰り返し生成されるタイミング情報の有無に基づく報知データおよび音データを含むパケットデータを受信し、
前記パケットデータに含まれる音データを再生し、
前記音データが再生される期間に、当該音データとともに前記パケットデータに含まれる報知データに基づいて報知装置で実行される報知処理を制御すること
をコンピュータに実行させるためのプログラム。

【請求項14】

前記報知処理は、所定の音を出力することを含む、請求項１３に記載のプログラム。

【請求項15】

前記報知処理は、所定の光を発生することを含む、請求項１３または請求項１４に記載のプログラム。

【請求項16】

前記報知処理は、所定の映像を再生することを含む、請求項１３から請求項１５のいずれかに記載のプログラム。

【請求項17】

前記報知処理を制御することは、前記音データが再生される期間より前に、前記報知装置に対して前記報知処理の制御データを出力することを含む、請求項１６に記載のプログラム。

【請求項18】

過去の前記報知処理の制御履歴に基づいて特定される期間において前記パケットデータが受信されなかった場合には、当該期間の経過後に所定の報知処理を実行するように前記報知装置を制御する、請求項１３から請求項１７のいずれかに記載のプログラム。

【請求項19】

第１通信装置と第２通信装置を備え、
前記第１通信装置は、
所定の間隔で繰り返し生成されるタイミング情報に基づいて第１報知装置で実行される報知処理を制御する第１報知制御部と、
報知データおよび順次取得される音データをパケットデータとして送信することであって、当該パケットデータに含まれる音データが取得された期間における前記タイミング情報の有無に基づく前記報知データを含む前記パケットデータを送信するデータ送信部と、
を有し、
前記第２通信装置は、
前記パケットデータを受信して、当該パケットデータに含まれる音データを再生するデータ受信部と、
前記音データが再生される期間に、当該音データとともに前記パケットデータに含まれる報知データに基づいて第２報知装置で実行される報知処理を制御する第２報知制御部と、
を有する、
通信システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔地における報知処理を制御する技術に関する。

【背景技術】

【0002】

互いに遠隔地に存在する複数のユーザが楽器を演奏により合奏する場合に、演奏タイミングを合わせることが重要である。互いに遠隔地に存在する複数のメトロノームを同期する技術が、例えば、特許文献１に開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００１－１５４６７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の目的の一つは、第１通信拠点において順次取得された音データを第２通信拠点において取得し、かつ、第１通信拠点においてその音データが取得されたタイミングも第２通信拠点において認識できるようにすることにある。

【課題を解決するための手段】

【0005】

本発明の一実施形態によれば、所定の間隔で繰り返し生成されるタイミング情報に基づいて報知装置で実行される報知処理を制御し、報知データおよび順次取得される音データをパケットデータとして送信することを含む通信方法が提供される。前記パケットデータは、前記パケットデータに含まれる音データが取得された期間における前記タイミング情報の有無に基づく前記報知データを含む。

【0006】

本発明の一実施形態によれば、所定の間隔で繰り返し生成されるタイミング情報の有無に基づく報知データおよび音データを含むパケットデータを受信し、前記パケットデータに含まれる音データを再生し、前記音データが再生される期間に、当該音データとともに前記パケットデータに含まれる報知データに基づいて報知装置で実行される報知処理を制御することを含む通信方法が提供される。

【0007】

本発明の一実施形態によれば、上記の通信方法をコンピュータに実行させるためのプログラムが提供されてもよいし、上記の通信方法を実行する通信装置が提供されてもよい。また、双方の通信方法を実行する通信システムが提供されてもよい。

【発明の効果】

【0008】

本発明によれば、第１通信拠点において順次取得された音データを第２通信拠点において取得し、かつ、第１通信拠点においてその音データが取得されたタイミングも第２通信拠点において認識できるようにすることができる。

【図面の簡単な説明】

【0009】

【図1】一実施形態における通信システムの構成を説明する図である。

【図2】一実施形態におけるデータ通信機能を説明する図である。

【図3】一実施形態におけるパケットデータの構造を説明する図である。

【図4】一実施形態におけるデータ送信方法を説明するフローチャートである。

【図5】一実施形態におけるデータ受信方法を説明するフローチャートである。

【図6】一実施形態における補間処理を説明するフローチャートである。

【図7】変形例におけるパケットデータの構造を説明する図である。

【発明を実施するための形態】

【0010】

以下、本発明の一実施形態における通信システムについて、図面を参照しながら詳細に説明する。以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。なお、本実施形態で参照する図面において、同一部分または同様な機能を有する部分には同一の符号または類似の符号（数字の後にＡ、Ｂ等を付しただけの符号）を付し、その繰り返しの説明は省略する場合がある。

【0011】

［１．通信システムの構成］
図１は、一実施形態における通信システムの構成を説明する図である。通信システムは、インターネットなどのネットワークＮＷに接続されたサーバ１を含む。サーバ１は、ＣＰＵ等の制御部、記憶部および通信部を含み、制御部が所定のプログラムを実行することにより、通信拠点間における合奏を実現するためのサービスを提供する。サーバ１は、ネットワークＮＷに接続された複数の通信拠点間の通信を制御し、各通信拠点における通信端末２０（通信装置）がＰ２Ｐ型通信を実現するために必要な処理を実行する。この処理は、公知の方法により実現されればよい。図１では、２つの通信拠点Ｔ１、Ｔ２が例示されているが、この数に限られず、さらに多くの通信拠点が存在してもよい。以下の説明において、通信拠点Ｔ１、Ｔ２を区別せずに説明する場合には、単に通信拠点という。

【0012】

この例では、通信拠点間における演奏に応じた音（以下、演奏音という）が、Ｐ２Ｐ型通信によって送受信されることで合奏をすることができる。以下に説明するデータ通信機能によれば、主となる通信拠点においてメトロノーム音を設定することで、他の通信拠点においても主となる通信拠点での演奏音とメトロノーム音との関係を維持したまま受信することできる。主となる１つの通信拠点とそれ以外の通信拠点とについては、通信拠点から送信される情報（ユーザの指示等）に基づいてサーバ１を介して設定される。以下の説明においては、通信拠点Ｔ１が主となる通信拠点として設定されているものとして説明する。

【0013】

各通信拠点には、通信端末２０が配置されている。通信端末２０には、電子楽器３０、収音装置４０、撮像装置５０、放音装置６０および表示装置７０が接続されている。各通信拠点において通信端末２０は必ず存在するが、電子楽器３０、収音装置４０、撮像装置５０、放音装置６０および表示装置７０の少なくとも一つが通信端末２０に接続されていなくてもよい。電子楽器３０、収音装置４０、撮像装置５０、放音装置６０および表示装置７０の少なくとも１つと通信端末２０とが一体の装置として構成されてもよい。

【0014】

電子楽器３０は、演奏操作子、演奏操作子への操作に応じて音データを出力する音源を含む。電子楽器３０は、この例では、演奏操作子として鍵を有する電子ピアノである。音データは通信端末２０に出力される。音データは、音波形信号を示すデータであり、放音装置６０に出力されてもよい。

【0015】

収音装置４０は、例えばマイクロフォンまたは音波形信号の入力端子を有し、マイクロフォンに入力された音または入力端子に入力された音波形信号を音データとして通信端末２０に出力する。

【0016】

撮像装置５０は、例えばカメラを有し、カメラによって撮像された画像に応じた動画データを通信端末２０に出力する。以下の説明において、画像とは静止画像および動画像の双方を含む。

【0017】

放音装置６０は、例えばスピーカを有し、通信端末２０から供給された音データが示す音をスピーカから出力する。放音装置６０に供給される音データは、他の通信拠点から送信された音データであってもよいし、自身の通信拠点で生成された音データであってもよい。

【0018】

表示装置７０は、例えば液晶ディスプレイを有し、通信端末２０から供給された動画データが示す画像を液晶ディスプレイに表示する。表示装置７０に供給される動画データは、他の通信拠点から送信された動画データであってもよいし、自身の通信拠点で生成された動画データであってもよい。表示装置７０は、ＬＥＤ等の発光素子を含む発光部であってもよい。

【0019】

［２．通信端末の構成］
通信端末２０は、制御部２１、記憶部２３、通信部２５および操作部２７を含む。制御部２１は、ＣＰＵ、ＲＡＭおよびＲＯＭ等を含む。制御部２１は、記憶部２３に記憶されたプログラムをＣＰＵにより実行することによって、プログラムに規定された命令にしたがった処理を行う。このプログラムには、データ通信機能を実現する処理を行うためのプログラムが含まれる。データ通信機能は、後述するデータ送信方法およびデータ受信方法を実現する機能を含む。

【0020】

記憶部２３は、不揮発性メモリなどの記憶装置を含み、制御部２１によって実行されるプログラムを記憶する。その他にも通信端末２０において用いる様々なデータが記憶される。このプログラムは、コンピュータにより実行可能であればよく、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶された状態で通信端末２０に提供されてもよい。この場合には、通信端末２０は、記録媒体を読み取る装置を備えていればよい。また、このプログラムは、通信部２５を介してダウンロードすることによって提供されてもよい。

【0021】

通信部２５は、通信モジュールを含み、ネットワークＮＷに接続して、サーバ１および他の通信拠点の通信端末２０などの外部装置と各種データの送受信を行う。各通信拠点における通信端末２０間で送信されるデータは、ストリーミングデータとして送信される。

【0022】

操作部２７は、マウス、キーボード等の操作装置を含み、操作装置に対するユーザの操作（以下、単にユーザ指示という場合がある）を受け付け、その操作に応じた信号を制御部２１に出力する。

【0023】

［３．データ通信機能］
続いて、データ通信機能について説明する。

【0024】

図２は、一実施形態におけるデータ通信機能を説明する図である。データ通信機能１００は、データ送信部２００、データ受信部３００および報知制御部５００を含む。データ送信部２００は、後述するデータ送信方法を実行する。データ受信部３００は、後述するデータ受信方法を実行する。

【0025】

データ送信部２００は、取得部２１０、タイミング生成部２２０、パケット生成部２３０および送信部２５０を含む。

【0026】

取得部２１０は、例えば、通信端末２０に接続された装置から音データを順次取得する。この例では、取得部２１０は、電子楽器３０を用いた演奏により生成する音（以下、演奏音という）に応じた音データを順次取得する。取得部２１０は、所定量の音データをバッファしてからパケット生成部２３０に供給する。

【0027】

タイミング生成部２２０は、ユーザ指示に基づいてタイミング情報を生成して、パケット生成部２３０および報知制御部５００に供給する。タイミング情報は、所定の間隔で繰り返し生成される。この間隔および生成開始のタイミングはユーザ指示によって設定され、この例では、メトロノーム音を鳴らすためのテンポとメトロノーム音の開始タイミングに対応する。例えば、テンポが「１２０」に設定されると、タイミング生成部２２０は、開始タイミングから０．５秒毎にタイミング情報を生成する。

【0028】

タイミング生成部２２０における処理は、メトロノーム音の発信元である通信拠点Ｔ１（主となる通信拠点）の通信端末２０では実行されるが、メトロノーム音の発信元にならない通信拠点Ｔ２の通信端末２０では実行されない。

【0029】

パケット生成部２３０は、取得部２１０によって取得された音データをパケット化して、パケットデータを生成する。パケット生成部２３０は、音データをパケット化するときに、タイミング生成部２２０によって生成されたタイミング情報を用いた報知データをさらにパケット化して、パケットデータを生成する。このパケットデータは、この例では、通信プロトコルは、ＲＴＰ（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）である。パケットデータの構造について説明する。

【0030】

図３は、一実施形態におけるパケットデータの構造を説明する図である。図３に示すようにＲＴＰヘッダＲＨに続くペイロードＰＬは、第１データ位置に配置される音データＤ１、および第２データ位置に配置される報知データＤ２を含む。第１データ位置は、音データのサンプル数（例えば、６４サンプル）に応じて予め決められている。

【0031】

報知データＤ２は、タイミング情報に応じたデータを含む。報知データＤ２は、この例では、第１データ位置に含まれる音データＤ１が取得部２１０によって取得された期間において、パケット生成部２３０によってタイミング情報が生成されたか否かを示す。言い換えると、報知データＤ２は、第１データ位置に含まれる音データＤ１が取得された期間におけるタイミング情報の有無を示すデータを含む。報知データＤ２は、この例では、タイミング情報が有りの場合（タイミング情報が生成された場合）には「１」となり、タイミング情報が無しの場合（タイミング情報が生成されていない場合）には「０」となる。そのため、メトロノーム音が鳴ったときの演奏音が含まれるパケットデータでは、報知データＤ２が「１」となる。

【0032】

上述したように取得部２１０において取得された音データは、パケット生成部２３０に供給される前にバッファされる。したがって、パケット生成部２３０は、タイミング情報が生成されたタイミングから音データのバッファ量に応じた時間だけ後に取得部２１０から供給された音データをパケット化するときに、報知データを「１」とする。バッファ量に応じた時間の調整は実行されなくてもよい。

【0033】

通信拠点Ｔ２における通信端末２０は、上述したようにタイミング生成部２２０における処理が実行されない。そのため、タイミング情報が生成されず、その通信端末２０から送信されるパケットデータに含まれる報知データは「０」である。通信拠点Ｔ２の通信端末２０において生成されるパケットデータには報知データが含まれなくてもよい。

【0034】

図２に戻って説明を続ける。送信部２５０は、パケット生成部２３０において生成されたパケットデータを送信する。送信先は、他の通信拠点における通信端末２０である。

【0035】

報知制御部５００は、タイミング生成部２２０によってタイミング情報が生成されると、メトロノーム音を示す音データを生成し、放音装置６０に供給する。これによって、メトロノーム音は、放音装置６０から出力される。出力されたメトロノーム音は、電子楽器３０から出力される音データには含まれない。このように、報知制御部５００は、放音装置６０（報知装置）で実行されるメトロノーム音の発生処理（報知処理）を制御する。

【0036】

したがって、電子楽器３０に対する演奏操作により取得部２１０が音データを取得したときにメトロノーム音が鳴っていたときには、その音データを含むパケットデータには、タイミング情報が生成されていたことを示す制御データが含まれる。

【0037】

データ受信部３００は、受信部３１０、復元部３３０および再生部３５０を含む。

【0038】

受信部３１０は、他の通信拠点の通信端末２０から送信されたパケットデータを受信する。

【0039】

復元部３３０は、受信部３１０によって受信されたパケットデータから、音データと報知データとを復元する。復元部３３０は、復元した音データを再生部３５０に供給し、報知データに基づいてタイミング情報を生成して報知制御部５００に供給する。復元部３３０は、報知データが「１」であるパケットデータに含まれる音データを再生部３５０にするときに、タイミング情報を報知制御部５００に供給する。

【0040】

上述したように通信拠点Ｔ２における通信端末２０は、タイミング生成部２２０の処理が実行されないから、報知データが「１」となるパケットデータを送信しない。したがって、通信拠点Ｔ１における通信端末２０では、復元部３３０によって復元された報知データが「１」となることはない。すなわち、通信拠点Ｔ１における通信端末２０では、報知制御部５００へのタイミング情報は、タイミング生成部２２０から供給されるが、復元部３３０から供給されない。一方、通信拠点Ｔ２における通信端末２０では、報知制御部５００へのタイミング情報は、復元部３３０から供給されるが、タイミング生成部２２０から供給されない。

【0041】

再生部３５０は、復元部３３０によって復元された音データをバッファして再生する。再生された音データは、放音装置６０に供給される。放音装置６０は、供給された音データに応じた音（以下、復元音という）を出力する。上述したように放音装置６０は、報知制御部５００からメトロノーム音を示す音データも供給される。したがって、放音装置６０は、復元音とメトロノーム音とを出力する。上述の方法によりパケットデータを送信することで、復元音とメトロノーム音との時間的な関係は、上述した演奏音とメトロノーム音との時間的な関係と同じになる。

【0042】

［４．データ送信方法］
続いて、データ通信機能１００のうちデータ送信部２００（制御部２１）が実行するデータ送信方法について説明する。以下に説明するデータ送信方法の各処理は、例えば、操作部２７に入力されたユーザの指示によって開始される。このとき、メトロノーム音の発信元として主となる通信拠点（通信拠点Ｔ１）とそれ以外の通信拠点（通信拠点Ｔ２）とが予め設定される。通信拠点Ｔ１においては、ユーザの指示により、タイミング情報に応じたメトロノーム音が生成される。

【0043】

図４は、一実施形態におけるデータ送信方法を説明するフローチャートである。制御部２１は、タイミング情報を生成した場合（ステップＳ１１０；Ｙｅｓ）、タイミング情報に基づいて報知処理を制御し（ステップＳ１１２）、報知データを「１」に設定する（ステップＳ１１４）。この制御によって、タイミング情報に応じてメトロノーム音が生成され、メトロノーム音が放音装置６０から出力される。制御部２１は、タイミング情報を生成していない場合（ステップＳ１１０；Ｎｏ）、報知データを「０」に設定する（ステップＳ１１６）。

【0044】

制御部２１は、タイミング情報を生成してメトロノーム音を発生したときに電子楽器３０から出力された音データを取得する（ステップＳ１３０）。制御部２１は、取得した音データと報知データとを対応付けてパケット化してパケットデータを生成し、他の通信拠点Ｔ２に送信する（ステップＳ１５０）。これにより、報知データは、音データを取得した期間におけるタイミング情報の生成の有無に基づく情報を有する。すなわち、パケット化する対象の音データを取得した期間にタイミング情報が生成された場合、音データに対応する報知データは「１」となり、その期間にタイミング情報が生成されない場合、音データに対応する報知データは「０」となる。

【0045】

制御部２１は、処理を終了する指示がユーザから入力されたことを検出した場合（ステップＳ２００；Ｙｅｓ）には、データ送信方法の処理を終了し、その指示を検出していない場合（ステップＳ２００；Ｎｏ）には、ステップＳ１１０に戻って処理を続ける。以上が、データ送信方法の説明である。

【0046】

［５．データ受信方法］
続いて、データ通信機能１００のうちデータ受信部３００（制御部２１）が実行するデータ送信方法について説明する。以下に説明するデータ送信方法の各処理は、例えば、操作部２７に入力されたユーザの指示によって開始される。

【0047】

図５は、一実施形態におけるデータ受信方法を説明するフローチャートである。制御部２１は、パケットデータを受信しない間（ステップＳ６００；Ｎｏ）は、補間処理を実行しつつ（ステップＳ９００）、パケットデータの受信を待つ。補間処理については後述する。制御部２１は、パケットデータを受信すると（ステップＳ６００；Ｙｅｓ）、そのパケットデータから音データと報知データとを復元し（ステップＳ６３０）、復元した音データをバッファする（ステップＳ６５０）。バッファされることによって再生された音データは、放音装置６０に供給され、音として放音装置６０から出力される。

【0048】

制御部２１は、復元した報知データが「１」である場合（ステップＳ７００；Ｙｅｓ）には、タイミング情報を生成して報知処理を制御する（ステップＳ７５０）。この制御によって、タイミング情報に応じてメトロノーム音が生成され、メトロノーム音が放音装置６０から出力される。制御部２１は、メトロノーム音が放音装置６０から出力されるタイミングを、音データのバッファ時間に応じて遅延させるように制御する。これによって、「１」である報知データに対応する音データにより放音装置６０から復元音が出力されるときにメトロノーム音が出力される。

【0049】

制御部２１は、復元した報知データが「０」である場合（ステップＳ７００；Ｎｏ）には、タイミング情報を生成しない。制御部２１は、処理を終了する指示がユーザから入力されたことを検出した場合（ステップＳ８００；Ｙｅｓ）には、データ送信方法の処理を終了し、その指示を検出していない場合（ステップＳ８００；Ｎｏ）には、ステップＳ６００に戻って処理を続ける。続いて、ステップＳ６００でパケットデータを受信しなかった場合（ステップＳ６００；Ｎｏ）において実行される補間処理（ステップＳ９００）について説明する。

【0050】

図６は、一実施形態における補間処理を説明するフローチャートである。制御部２１は、現在時刻が予測期間を過ぎていない場合（ステップＳ９１０；Ｎｏ）には、補間処理を終了して、ステップＳ６００に戻って処理を続ける。予測期間は、タイミング情報が生成されると予測される期間であり、過去の報知処理の制御履歴に基づいて決定される。制御履歴は、例えば、過去の複数回においてタイミング情報を生成したタイミングである。制御部２１は、例えば、４回のタイミング情報の生成タイミングに応じたそれぞれの間隔（３つの期間）の平均時間から、次にタイミング情報が生成されるタイミングを予測する。予測期間は、その予測タイミングを中心に所定時間幅を付加した期間として設定される。

【0051】

制御部２１は、現在時刻が予測期間を過ぎている場合（ステップＳ９１０；Ｙｅｓ）には、タイミング情報を生成して（ステップＳ９５０）、補間処理を終了する。これによって、通信拠点Ｔ２の通信端末２０は、パケットロスなどによって、報知データが「１」となるパケットデータを受信しなかったとしても、メトロノーム音を放音装置６０から出力することができる。このメトロノーム音に対応する音データはパケットロスにより復元できなかったことになるが、その前後の音データが存在する場合には復元音はほとんど途切れない。このような場合に、メトロノーム音が抜けてしまわずに発生することで、ユーザに違和感を生じさせないようにすることもできる。以上が、データ送信方法の説明である。

【0052】

従来の技術によれば、ある拠点（例えば、第１通信拠点）において順次取得された演奏音は、ネットワークを介してストリーミング形式で音データとして他の通信拠点（例えば、第２通信拠点）に送信される。そのため、ネットワークの遅延の影響により、第１通信拠点での演奏音の発生タイミングよりも、その演奏音が送信されてから第２通信拠点で発音されるタイミングが遅れる。全拠点において同時にメトロノームが鳴る場合、第１通信拠点における演奏音とメトロノーム音との関係と、第２通信拠点におけるその演奏音とメトロノーム音との関係とにズレが生じることになる。このことは、第２拠点のユーザが第１通信拠点における演奏音に合わせて演奏をしようとするときに、そのユーザに対して違和感を与えることになる。したがって、異なる拠点において楽器を同時に演奏するような合奏においては、必ずしも全ての通信拠点において同時にメトロノームが鳴るようにすることが望ましいとは限らない。

【0053】

一方、第１通信拠点から送信される音データに、演奏音だけでなくメトロノーム音も含まれるようにすることが考えられる。この場合には、第１通信拠点において演奏音とメトロノーム音とがミキシングされて音データが生成されて第２通信拠点に送信される。そのため、この音データを受信した第２通信拠点では、演奏音と、その演奏の際に鳴っていたメトロノームの音との相対的な関係を維持した状態で、双方を発音することができる。しかしながら、この音データによれば、双方の音が分離できない状態のデータになってしまい、第２通信拠点では第１通信拠点における演奏音だけを記録することができないなどの不都合が生じる。

【0054】

このように、一実施形態におけるデータ通信機能によれば、通信拠点Ｔ１における演奏音とメトロノーム音との関係を維持したまま、この演奏音に対応する復元音とメトロノーム音とを他の通信拠点（通信拠点Ｔ２）において放音装置６０から出力することができる。したがって、第１通信拠点Ｔ１において順次取得された音データを第２通信拠点Ｔ２において取得し、かつ、第１通信拠点においてその音データが取得されたタイミングも第２通信拠点において認識できる。

【0055】

＜変形例＞
以上、本発明の一実施形態について説明したが、本発明の一実施形態は、以下のように様々な形態に変形することもできる。また、上述した実施形態および以下に説明する変形例は、それぞれ互いに組み合わせて適用することもできる。

【0056】

（１）上述した実施形態では、パケットデータは、音データＤ１と報知データＤ２とが異なるデータ位置となるように生成されていたが、別の方法で生成されてもよい。

【0057】

図７は、変形例におけるパケットデータの構造を説明する図である。例えば、報知データＤ２を非可聴周波数帯域の音波形に変換したデータとして演奏音（音データＤ１）に重畳することで、音データＤ１と報知データＤ２とを含むパケットデータが生成されてもよい。この場合、パケット生成部２３０は、可聴周波数帯域における演奏音の音データＤ１と非可聴周波数帯域における報知データＤ２とを重畳したデータをパケット化して、ペイロードＰＬにそのデータを配置すればよい。復元部３３０は、送信されたデータを可聴周波数帯域と非可聴周波数帯域とに分けることによって、音データＤ１と報知データＤ２とに分離すればよい。非可聴周波数帯域に情報を重畳する技術を実現するための具体的な処理方法については、公知の方法を用いることができ、例えば、特開２０１０－５５０７７号公報に開示されている。

【0058】

（２）タイミング情報に基づいてユーザに報知される情報は、メトロノーム音のように聴覚により認識される情報である場合に限らず、視覚により認識される情報であってもよい。視覚により認識される情報は、表示装置７０によりユーザに報知されればよく、例えば、ＬＥＤ等の発光素子により所定の光を発生させることであってもよいし、ディスプレイに所定の映像を再生することであってもよい。映像の再生は音の再生に比べて処理時間を要するため、報知制御部５００は、再生部３５０により音データが再生される期間よりも前に、表示する映像を制御するための動画データ（制御データ）を表示装置７０に出力することが好ましい。

【0059】

（３）タイミング情報は、拍情報を含んでいてもよい。拍情報は、鳴らすべきメトロノーム音が何拍目に対応するかを示す情報である。この場合には、ユーザ指示によってさらに拍子が設定される。この情報は全ての拍を示すものでなくてもよく、例えば、１拍目だけを特定する情報であってもよい。

【0060】

報知制御部５００は、拍情報に基づいて、拍によってメトロノーム音を異なる音で生成してもよい。例えば、１拍目のみ他の拍とは異なる音でメトロノーム音が生成されればよい。音が異なることは、例えば、音の大きさが異なることであってもよいし、音色が異なることであってもよい。上述した変形例（２）のように視覚により認識される情報が用いられる場合には、拍によって色を異ならせてもよいし、明るさを異ならせてもよい。パケットデータに含まれる報知データＤ２は、タイミング情報の生成の有無を示す情報を、生成されたタイミング情報に含まれる拍情報により表してもよい。

【0061】

（４）報知データＤ２は、タイミング情報の生成の有無を別の情報によって表してもよい。タイミング情報が生成されたこと（タイミング情報が有る）は、例えば、パケットデータにおける音データＤ１のさらに詳細のデータ位置を特定する情報によって表されてもよい。音データＤ１のサンプル数が大きくなり、その音データＤ１に含まれる演奏音の時間が長くなると、メトロノーム音の間隔によっては、その演奏音の期間のうちメトロノーム音が鳴ったタイミングを特定する必要がある。このような場合において、そのタイミングを特定するために音データＤ１のさらに詳細のデータ位置を特定する情報を報知データＤ２に含めることが好ましい。データ位置は、音データＤ１の最初のサンプルから数えたサンプル数として記述されてもよい。

【0062】

演奏音の期間がさらに長くなり、複数回のメトロノーム音が鳴ってしまう場合には、報知データＤ２は、音データＤ１における演奏音の期間に鳴るメトロノーム音の回数（タイミング情報が生成された回数）を示す情報およびメトロノーム音毎のデータ位置を特定する情報を含むようにすればよい。例えば、音データＤ１における演奏音の期間に、２回のメトロノーム音が鳴った場合には、報知データＤ２は、メトロノーム音が２回であること、１回目のデータ位置および２回目のデータ位置についての情報を含む。

【0063】

（５）報知データＤ２は、パケットデータのペイロードＰＬに配置される場合に限らず、ヘッダに配置されてもよい。

【0064】

（６）図５および図６において説明したデータ受信方法において、補間処理が実行されなくてもよい。

【0065】

以上が変形例に関する説明である。

【0066】

以上のとおり、本発明の一実施形態によれば、所定の間隔で繰り返し生成されるタイミング情報に基づいて報知装置で実行される報知処理を制御し、報知データおよび順次取得される音データをパケットデータとして送信することであって、当該パケットデータに含まれる音データが取得された期間における前記タイミング情報の有無に基づく前記報知データを含む前記パケットデータを送信することを含む通信方法が提供される。さらに以下のように構成することもできる。

【0067】

前記パケットデータを送信することは、当該パケットデータにおける前記音データの位置と前記報知データの位置とを異ならせてパケットデータを生成することを含む。

【0068】

前記パケットデータを送信することは、前記報知データを、前記音データとは異なる周波数帯域の音波形に変換したデータとして当該音データに重畳することを含む。

【0069】

前記報知データは、前記パケットデータに含まれる音データのうち、前記タイミング情報が取得されたときのデータ位置を特定する情報を含む。

【0070】

前記報知データは、前記パケットデータに含まれる音データが取得された期間における前記タイミング情報が生成された回数を示す情報を含む。

【0071】

前記タイミング情報は、拍情報が規定され、前記報知データは、前記期間における前記タイミング情報に対応する拍情報を含む。

【0072】

また、本発明の一実施形態によれば、所定の間隔で繰り返し生成されるタイミング情報の有無に基づく報知データおよび音データを含むパケットデータを受信し、前記パケットデータに含まれる音データを再生し、前記音データが再生される期間に、当該音データとともに前記パケットデータに含まれる報知データに基づいて報知装置で実行される報知処理を制御することを含む通信方法が提供される。さらに以下のように構成することもできる。

【0073】

前記報知処理は、所定の音を出力することを含む。

【0074】

前記報知処理は、所定の光を発生することを含む。

【0075】

前記報知処理は、所定の映像を再生することを含む。

【0076】

前記報知処理を制御することは、前記音データが再生される期間より前に、前記報知装置に対して前記報知処理の制御データを出力することを含む。

【0077】

過去の前記報知処理の制御履歴に基づいて特定される期間において前記パケットデータが受信されなかった場合には、当該期間の経過後に所定の報知処理を実行するように前記報知装置を制御する。

【符号の説明】

【0078】

１…サーバ、２０…通信端末、２１…制御部、２３…記憶部、２５…通信部、２７…操作部、３０…電子楽器、４０…収音装置、５０…撮像装置、６０…放音装置、７０…表示装置、１００…データ通信機能、２００…データ送信部、２１０…取得部、２２０…タイミング生成部、２３０…パケット生成部、２５０…送信部、３００…データ受信部、３１０…受信部、３３０…復元部、３５０…再生部、５００…報知制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】