特開 2024-126901 通信中継方法、通信中継装置、および通信中継プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024126901

(43)【公開日】2024-09-20

(54)【発明の名称】通信中継方法、通信中継装置、および通信中継プログラム

(51)【国際特許分類】

   H04N 21/238 20110101AFI20240912BHJP

   G10L 19/00 20130101ALI20240912BHJP

   H04L 47/56 20220101ALI20240912BHJP

【ＦＩ】

H04N21/238

G10L19/00 330F

G10L19/00 330B

H04L47/56

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2023035641

(22)【出願日】2023-03-08

(71)【出願人】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】弁理士法人 楓国際特許事務所

(72)【発明者】

【氏名】鈴木 俊太朗

(72)【発明者】

【氏名】鈴木 裕和

【テーマコード（参考）】

5C164

5K030

【Ｆターム（参考）】

5C164MA02S

5C164MA07S

5C164PA41

5C164SB04S

5C164SB21P

5C164SB41S

5C164YA21

5K030HA08

5K030HB01

5K030LA03

5K030MA13

5K030MB15

(57)【要約】

【課題】遠隔地間の合奏に適した通信中継方法を提供する。
【解決手段】通信中継方法は、アナログ音信号を受け付け、受け付けたアナログ音信号をデジタル音信号に変換し、前記デジタル音信号を第１ＩＰパケットにパケット化し、第２ＩＰパケットを受け付けて、前記第１ＩＰパケットを、前記第２ＩＰパケットよりも優先して送信する。
【選択図】図２

【特許請求の範囲】

【請求項1】

アナログ音信号を受け付け、
受け付けたアナログ音信号をデジタル音信号に変換し、
前記デジタル音信号を第１ＩＰパケットにパケット化し、
第２ＩＰパケットを受け付けて、
前記第１ＩＰパケットを、前記第２ＩＰパケットよりも優先して送信する、
通信中継方法。

【請求項2】

前記第１ＩＰパケットをキューイングし、
前記第１ＩＰパケットのキューが所定値に達した場合に前記第１ＩＰパケットのサイズを変更する、
請求項１に記載の通信中継方法。

【請求項3】

前記第１ＩＰパケットをキューイングし、
前記第１ＩＰパケットのキューが所定値に達した場合に前記第２ＩＰパケットのフロー制御を変更する、
請求項１に記載の通信中継方法。

【請求項4】

前記第１ＩＰパケットをキューイングし、
前記第１ＩＰパケットのキューが所定値に達した場合に前記アナログ音信号を前記デジタル音信号に変換するコーデックを変更する、
請求項１に記載の通信中継方法。

【請求項5】

前記第２ＩＰパケットをキューイングし、
前記第２ＩＰパケットのキューが所定値に達した場合に前記第１ＩＰパケットのサイズを変更する、
請求項１に記載の通信中継方法。

【請求項6】

前記第２ＩＰパケットをキューイングし、
前記第１ＩＰパケットのキューが所定値に達した場合に前記アナログ音信号を前記デジタル音信号に変換するコーデックを変更する、
請求項１に記載の通信中継方法。

【請求項7】

所定の特徴を有するデジタル音信号に優先フラグを付与して前記第１ＩＰパケットにパケット化する、
請求項１乃至請求項６のいずれか１項に記載の通信中継方法。

【請求項8】

前記アナログ音信号は、第１オーディオインタフェースから受け付ける第１アナログ音信号と、第２オーディオインタフェースから受け付ける第２アナログ音信号と、を含み、
前記デジタル音信号は、前記第１アナログ音信号に対応する第２デジタル音信号と、前記第２アナログ音信号に対応する第２デジタル音信号と、を含み、
前記第１デジタル音信号および前記第２デジタル音信号のうち所定の特徴を有するデジタル音信号に優先フラグを付与して前記第１ＩＰパケットにパケット化し、
前記優先フラグの付与された前記第１ＩＰパケットを、優先フラグの付与されていない第１ＩＰパケットより優先して送信する、
請求項１乃至請求項６のいずれか１項に記載の通信中継方法。

【請求項9】

アナログ音信号を受け付けるオーディオインタフェースと、
受け付けたアナログ音信号をデジタル音信号に変換するＡ／Ｄ変換器と、
前記デジタル音信号を第１ＩＰパケットにパケット化するパケット化処理部と、
第２ＩＰパケットを受け付ける通信インタフェースと、
前記第１ＩＰパケットを、前記第２ＩＰパケットよりも優先して送信する通信制御部と、
を備えた通信中継装置。

【請求項10】

前記通信制御部は、
前記第１ＩＰパケットをキューイングし、
前記第１ＩＰパケットのキューが所定値に達した場合に前記第１ＩＰパケットのサイズを変更する、
請求項９に記載の通信中継装置。

【請求項11】

前記通信制御部は、
前記第１ＩＰパケットをキューイングし、
前記第１ＩＰパケットのキューが所定値に達した場合に前記第２ＩＰパケットのフロー制御を変更する、
請求項９に記載の通信中継装置。

【請求項12】

前記通信制御部は、
前記第１ＩＰパケットをキューイングし、
前記第１ＩＰパケットのキューが所定値に達した場合に前記アナログ音信号を前記デジタル音信号に変換するコーデックを変更する、
請求項９に記載の通信中継装置。

【請求項13】

前記通信制御部は、
前記第２ＩＰパケットをキューイングし、
前記第２ＩＰパケットのキューが所定値に達した場合に前記第１ＩＰパケットのサイズを変更する、
請求項９に記載の通信中継装置。

【請求項14】

前記通信制御部は、
前記第２ＩＰパケットをキューイングし、
前記第１ＩＰパケットのキューが所定値に達した場合に前記アナログ音信号を前記デジタル音信号に変換するコーデックを変更する、
請求項９に記載の通信中継装置。

【請求項15】

前記パケット化処理部は、所定の特徴を有するデジタル音信号に優先フラグを付与して前記第１ＩＰパケットにパケット化する、
請求項９乃至請求項１４のいずれか１項に記載の通信中継装置。

【請求項16】

前記オーディオインタフェースは、第１アナログ音信号を受け付ける第１オーディオインタフェースと、第２アナログ音信号を受け付ける第２オーディオインタフェースと、を含み、
前記デジタル音信号は、前記第１アナログ音信号に対応する第２デジタル音信号と、前記第２アナログ音信号に対応する第２デジタル音信号と、を含み、
前記パケット化処理部は、前記第１デジタル音信号および前記第２デジタル音信号のうち所定の特徴を有するデジタル音信号に優先フラグを付与して前記第１ＩＰパケットにパケット化し、
前記通信制御部は、前記優先フラグの付与された前記第１ＩＰパケットを、優先フラグの付与されていない第１ＩＰパケットより優先して送信する、
請求項９乃至請求項１４のいずれか１項に記載の通信中継装置。

【請求項17】

アナログ音信号を受け付け、
受け付けたアナログ音信号をデジタル音信号に変換し、
前記デジタル音信号を第１ＩＰパケットにパケット化し、
第２ＩＰパケットを受け付けて、
前記第１ＩＰパケットを、前記第２ＩＰパケットよりも優先して送信する、
処理を通信中継装置に実行させる通信中継プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明の一実施形態は、通信中継方法、通信中継装置、および通信中継プログラムに関する。

【背景技術】

【0002】

特許文献１の音データおよび映像データを配信する通信装置は、通信装置内にコンテンツ保持部を有し、パケット監視を行い、サーバを経由せずに直接クライアント装置に対してコンテンツを送信することで、ネットワークの負荷を軽減する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２００９－１４２２１６

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１は、音に関して特別な制御を行うものではない。

【0005】

本開示のひとつの態様は、遠隔地間の合奏に適した通信中継方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一実施形態に係る通信中継方法は、アナログ音信号を受け付け、受け付けたアナログ音信号をデジタル音信号に変換し、前記デジタル音信号を第１ＩＰパケットにパケット化し、第２ＩＰパケットを受け付けて、前記第１ＩＰパケットを、前記第２ＩＰパケットよりも優先して送信する。

【発明の効果】

【0007】

本発明の一実施形態によれば、遠隔地間の合奏に適した通信中継方法を提供することができる。

【図面の簡単な説明】

【0008】

【図1】通信中継装置１の構成を示すブロック図である。

【図2】通信中継装置１の機能ブロック図である。

【図3】本実施形態の通信中継方法のうち音信号の処理を示すフローチャートである。

【図4】本実施形態の通信中継方法のうち音信号以外のデータの処理を示すフローチャートである。

【図5】通信制御部１０４の送信処理を示すフローチャートである。

【図6】変形例１に係るプロセッサ１１の機能ブロック図である。

【図7】変形例２に係るプロセッサ１１の機能ブロック図である。

【図8】変形例３に係るプロセッサ１１の機能ブロック図である。

【図9】変形例４に係るプロセッサ１１の機能ブロック図である。

【図10】変形例５に係るプロセッサ１１の機能ブロック図である。

【図11】変形例６に係るプロセッサ１１の機能ブロック図である。

【図12】変形例７に係る通信中継装置１のハードウェアおよびプロセッサ１１の機能ブロック図である。

【図13】変形例８に係るネットワークシステムの構成を示すブロック図である。

【図14】利用者端末５Ａの構成を示すブロック図である。

【図15】変形例８に係る通信中継装置１Ａのプロセッサ１１の機能ブロック図である。

【図16】変形例８に係る通信中継装置１Ａのプロセッサ１１の受信側処理に係る機能ブロック図である。

【図17】変形例９に係るネットワークシステムの構成を示すブロック図である。

【図18】変形例９に係る通信中継装置１Ａの構成を示すブロック図である。

【図19】変形例９に係る通信中継装置１Ａのハードウェアおよび受信側処理に係るプロセッサ１１の機能ブロック図である。

【発明を実施するための形態】

【0009】

図１は、本発明の一実施形態に係る通信中継装置１の構成を示すブロック図である。

【0010】

通信中継装置１は、プロセッサ１１、フラッシュメモリ１２、ＲＡＭ１３、オーディオインタフェース（Ｉ／Ｆ）１４、Ａ／Ｄ変換器１５、第１通信Ｉ／Ｆ１６、および第２通信Ｉ／Ｆ１７を備えている。

【0011】

通信中継装置１は、ルータ、スイッチ、あるいは無線ＬＡＮアクセスポイント等の通信装置である。あるいは、スマートフォン、パーソナルコンピュータ、セットトップボックス、あるいはオーディオレシーバ等の情報処理装置も通信中継装置として機能する。本実施形態の通信中継装置１は、一例としてルータとして説明する。

【0012】

プロセッサ１１は、ＣＰＵ，ＤＳＰ、あるいはＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）等からなり、記憶媒体であるフラッシュメモリ１２に記憶されているプログラムをＲＡＭ１３に読み出して、通信中継装置１の各構成を制御する。フラッシュメモリ１２は、本実施形態の通信中継プログラムを記憶している。プロセッサ１１は、当該通信中継プログラムを読み出すことにより、本実施形態の通信中継方法を実行する。

【0013】

オーディオＩ／Ｆ１４は、アナログオーディオ端子を有する。オーディオＩ／Ｆ１４は、オーディオケーブルを介してアナログ音信号を受け付ける。Ａ／Ｄ変換器１５は、当該アナログ音信号をデジタル音信号に変換する。デジタル音信号は、非圧縮のリニアＰＣＭの音信号に限らず、圧縮エンコードされた音信号であってもよい。

【0014】

オーディオＩ／Ｆ１４には、遠隔地間で合奏を行う利用者が、当該利用者の用いる音響機器（楽器あるいはマイク等）を接続する。なお、オーディオＩ／Ｆ１４は、出力用のオーディオ端子を有していてもよい。利用者は、出力用のオーディオ端子にヘッドフォンを接続することで、演奏音をモニタできる。

【0015】

第１通信Ｉ／Ｆ１６は、ＬＡＮインタフェースであり、例えば有線用のＲＪ４５型端子を有する。第１通信Ｉ／Ｆ１６は、ＷＡＮインタフェースであり、例えば有線用のＲＪ４５型端子を有する。ただし、第１通信Ｉ／Ｆ１６および第１通信Ｉ／Ｆ１６ともに、有線インタフェースに限らず、無線インタフェースであってもよい。

【0016】

図２は、プロセッサ１１の機能ブロック図である。プロセッサ１１は、機能的に、パケット化処理部１０３および通信制御部１０４を有する。

【0017】

図３は、本実施形態の通信中継方法のうち音信号の処理を示すフローチャートである。オーディオＩ／Ｆ１４は、アナログ音信号を受け付ける（Ｓ１１）。Ａ／Ｄ変換器１５は、当該アナログ音信号をデジタル音信号に変換する（Ｓ１２）。パケット化処理部１０３は、デジタル音信号を第１ＩＰパケットに変換する（Ｓ１３）。第１ＩＰパケットは、以下、オーディオパケットと称する。通信制御部１０４は、当該オーディオパケットをキューイングする（Ｓ１４）。図２に示すＱＵＥ ｆｏｒ ＡＵＤＩＯは、オーディオＩ／Ｆ１４から受け付けてパケット化された、当該オーディオパケットに対応する。

【0018】

図４は、本実施形態の通信中継方法のうち音信号以外のデータの処理を示すフローチャートである。第１通信Ｉ／Ｆ１６は、第２ＩＰパケットであるデータパケットを受け付ける（Ｓ２１）。データパケットとは、上記オーディオパケット以外のデータをパケット化したものである。通信制御部１０４は、当該データパケットをキューイングする（Ｓ２２）。図２に示すＱＵＥ ｆｏｒ ＤＡＴＡは、第１通信Ｉ／Ｆ１６から受け付けた、当該データに対応する。

【0019】

そして、通信制御部１０４は、第１ＩＰパケット（オーディオパケット）を、第２ＩＰパケット（データパケット）よりも優先して送信する。図５は、通信制御部１０４の送信処理を示すフローチャートである。

【0020】

通信制御部１０４は、キューにオーディオパケットが有るか否かを判断する（Ｓ３１）。通信制御部１０４は、Ｓ３１の判断において、キューにオーディオパケットが有ると判断した場合、当該オーディオパケットを第２通信Ｉ／Ｆ１７から送信する（Ｓ３２）。通信制御部１０４は、Ｓ３１の判断において、キューにオーディオパケットが無いと判断した場合、データパケットを第２通信Ｉ／Ｆ１７から送信する（Ｓ３３）。

【0021】

この様に、本実施形態の通信中継装置１は、オーディオパケットを優先して送信する。利用者は、本実施形態の通信中継装置１に音響機器を接続して遠隔地と合奏を行うことで音の遅延や途切れを大きく低減することができ、従来では得られなかった快適な遠隔合奏ができるという顧客体験を得ることができる。

【0022】

（変形例１）
図６は、変形例１に係るプロセッサ１１の機能ブロック図である。変形例１に係る通信制御部１０４は、オーディオパケットのキューを監視する。通信制御部１０４は、オーディオパケットのキューが所定値に達した場合にパケット化処理部１０３に対してオーディオパケットのデータサイズを変更するように指示する。

【0023】

例えば、通信制御部１０４は、オーディオパケットのキューが所定値に達した場合に、１つのパケットあたりのデータサイズを大きくする。これにより、通信制御部１０４は、ヘッダの付与数を削減してオーバーヘッド（オーディオデータに対するヘッダのサイズ割合）を削減する。したがって、通信制御部１０４は、オーディオパケットのキューをいち早く減らすことができ、音の遅延や途切れを大きく低減することができる。また、例えば、通信制御部１０４は、オーディオパケットのキューが所定値未満となった場合に１つのパケットあたりのデータサイズを小さくする。これにより、通信制御部１０４は、オーディオパケット音の遅延や途切れのおそれが無い場合に、データパケットの待機時間を短くすることができる。

【0024】

（変形例２）
図７は、変形例２に係るプロセッサ１１の機能ブロック図である。変形例２に係る通信制御部１０４は、オーディオパケットのキューを監視する。通信制御部１０４は、オーディオパケットのキューが所定値に達した場合にＡ／Ｄ変換器１５に対して、アナログ音信号をデジタル音信号に変換するコーデックを変更する様に指示する。

【0025】

例えば、通信制御部１０４は、オーディオパケットのキューが所定値に達した場合に、無圧縮のオーディオコーデック（例えばリニアＰＣＭ）から圧縮のオーディオコーデック（例えばＭＰ３）に変更する。また、また、通信制御部１０４は、オーディオパケットのキューが所定値に達した場合に、より高い圧縮率のコーデック（例えばＭＰ３からＡＡＣ：Advanced Audio Coding）に変更してもよい。なお、コーデックを変更するとは、サンプリング周波数を落とす（例えば９６ｋＨｚから４８ｋＨｚに変更する）、あるいはビット数を落とす（例えば２４ビットから１６ビットに変更する）、等の処理も含む。これによりオーディオパケットのデータサイズが小さくなる。

【0026】

通信制御部１０４は、オーディオパケットのデータサイズを小さくすることでオーディオパケットのキューをいち早く減らし、音の遅延や途切れを大きく低減することができる。また、例えば、通信制御部１０４は、オーディオパケットのキューが所定値未満となった場合にオーディオパケットのデータサイズを大きくする。これにより、通信制御部１０４は、オーディオパケット音の遅延や途切れのおそれが無い場合に、より高い音質のオーディオデータを送信することができる。

【0027】

（変形例３）
図８は、変形例３に係るプロセッサ１１の機能ブロック図である。変形例３に係るプロセッサ１１は、図２に示した構成に対してさらに優先度設定部１５１を備える。優先度設定部１５１は、オーディオパケットおよびデータパケットのヘッダに優先度を付与する。例えば、優先度設定部１５１は、オーディオパケットのヘッダには最上位の優先度を付与する。

【0028】

通信制御部１０４は、優先度上位のキューほど先に送信する絶対優先度順方式、待機時間の長いキューほど優先度を上げる動的優先度順方式、あるいは処理時間の上限を定める重み付けラウンドロビン方式等の各種の方式で、オーディオパケットおよびデータパケットを第２通信Ｉ／Ｆ１７から送信する。

【0029】

このように、「第１ＩＰパケットを、第２ＩＰパケットよりも優先して送信する」とは、データパケットのキューよりも先にオーディオパケットのキューを処理する例に限らない。例えば待機時間の長いデータパケットのキューは、オーディオパケットのキューよりも先に処理される場合もある。また、例えば、音信号を送受信するアプリケーションプログラムのデータパケットはオーディオパケットよりも高い優先度を付与されてもよい。音信号を送受信する一例として、遠隔通話用アプリケーションプログラムは、会話音のデータを送受信する。当該会話音のデータは、本発明の第２ＩＰパケットであるデータパケットに対応する。しかし、会話音に係るデータパケットは、第１ＩＰパケットであるオーディオパケットより高い優先度が付与されてもよい。これにより、会話音の途切が低減される。また、音信号を送受信する一例として、遠隔合奏用アプリケーションプログラムは、演奏音のデータ、メトロノーム音のデータ、オーディオコンテンツに係る音のデータ等を送受信する。当該演奏音のデータ、メトロノーム音のデータ、オーディオコンテンツに係る音のデータ等は、本発明の第２ＩＰパケットであるデータパケットに対応する。しかし、これら演奏音のデータ、メトロノーム音のデータ、オーディオコンテンツに係る音のデータ等のデータパケットは、第１ＩＰパケットであるオーディオパケットより高い優先度が付与されてもよい。これにより、演奏音、メトロノーム音、オーディオコンテンツの音等の途切れが低減される。

【0030】

（変形例４）
図９は、変形例４に係るプロセッサ１１の機能ブロック図である。変形例４に係るプロセッサ１１は、図８に示した変形例３に係る構成と同様の構成を備える。変形例４に係る通信制御部１０４は、オーディオパケットのキューを監視する。通信制御部１０４は、オーディオパケットのキューが所定値に達した場合に第１通信Ｉ／Ｆ１６に対してデータ流入のフロー制御を変更する。

【0031】

例えば、通信制御部１０４は、オーディオパケットのキューが所定値に達した場合に、第１通信Ｉ／Ｆ１６のフロー制御をオンする。第１通信Ｉ／Ｆ１６は、例えばデータ送信元の機器に対してＰａｕｓｅパケットを送信する、あるいはコリジョン信号を送信し、データ流入量を抑制する。これにより、通信制御部１０４は、オーディオパケットのキューをいち早く減らすことができ、音の遅延や途切れを大きく低減することができる。また、例えば、通信制御部１０４は、オーディオパケットのキューが所定値未満となった場合に第１通信Ｉ／Ｆ１６のフロー制御をオフする。これにより、通信制御部１０４は、オーディオパケット音の遅延や途切れのおそれが無い場合に、データパケットの待機時間を短くすることができる。

【0032】

（変形例５）
図１０は、変形例５に係るプロセッサ１１の機能ブロック図である。変形例５に係る通信制御部１０４は、データパケットのキューを監視する。通信制御部１０４は、オーディオパケットのキューが所定値に達した場合にパケット化処理部１０３に対してオーディオパケットのデータサイズを変更するように指示する。

【0033】

例えば、通信制御部１０４は、データパケットのキューが所定値に達した場合に１つのパケットあたりのデータサイズを大きくする。これにより、通信制御部１０４は、ヘッダの付与数を削減してオーバーヘッドを削減する。したがって、通信制御部１０４は、オーディオパケットのキューをいち早く減らすことができ、データパケットの待機時間を短くすることができる。

【0034】

（変形例６）
図１１は、変形例６に係るプロセッサ１１の機能ブロック図である。変形例６に係る通信制御部１０４は、データパケットのキューを監視する。通信制御部１０４は、データパケットのキューが所定値に達した場合にＡ／Ｄ変換器１５に対して、アナログ音信号をデジタル音信号に変換するコーデックを変更する様に指示する。

【0035】

例えば、通信制御部１０４は、データパケットのキューが所定値に達した場合に、無圧縮のオーディオコーデック（例えばリニアＰＣＭ）から圧縮のオーディオコーデック（例えばＭＰ３）に変更する。また、通信制御部１０４は、オーディオパケットのキューが所定値に達した場合に、より高い圧縮率のコーデック（例えばＭＰ３からＡＡＣ：Advanced Audio Coding）に変更してもよい。なお、コーデックを変更するとは、サンプリング周波数を落とす（例えば９６ｋＨｚから４８ｋＨｚに変更する）、あるいはビット数を落とす（例えば２４ビットから１６ビットに変更する）、等の処理も含む。

【0036】

通信制御部１０４は、オーディオパケットのデータサイズを小さくすることでオーディオパケットのキューをいち早く減らし、データパケットの待機時間を短くすることができる。

【0037】

（変形例７）
図１２は、変形例７に係る通信中継装置１のハードウェアおよびプロセッサ１１の機能ブロック図である。変形例７に係る通信中継装置１は、第１オーディオＩ／Ｆ１４Ａと、第２オーディオＩ／Ｆ１４Ｂと、第１Ａ／Ｄ変換器１５Ａと、第２Ａ／Ｄ変換器１５Ｂと、を備える。

【0038】

第１オーディオＩ／Ｆ１４Ａは、第１アナログ音信号を受け付ける。第２オーディオＩ／Ｆ１４Ｂは、第２アナログ音信号を受け付ける。第１Ａ／Ｄ変換器１５Ａは、第１アナログ音信号を第１デジタル音信号に変換する。第２Ａ／Ｄ変換器１５Ｂは、第２アナログ音信号を第２デジタル音信号に変換する。

【0039】

利用者は、例えば第１オーディオＩ／Ｆ１４Ａに楽器を接続し、第２オーディオＩ／Ｆ１４Ｂにマイクを接続する。あるいは、第１利用者が第１オーディオＩ／Ｆ１４Ａに第１利用者の楽器を接続し、第２利用者が第２オーディオＩ／Ｆ１４Ｂに第２利用者の楽器を接続してもよい。

【0040】

パケット化処理部１０３は、第１デジタル音信号および第２デジタル音信号のうち所定の特徴を有するデジタル音信号に優先フラグを付与してオーディオパケットを生成する（図中のＱＵＥ ｆｏｒ ＡＵＤＩＯ Ｐｒｉｏｒｉｔｙ）。所定の特徴とは、ドラム音またはベース音等の、楽曲におけるリズムを担当する楽器（リズム楽器）の音の特徴である。パケット化処理部１０３は、受け付けたデジタル音信号の特徴量を抽出する。特徴量とは、例えばスペクトル包絡、パワー、振幅スペクトル、基本周波数、フォルマント周波数、メルスペクトル包絡、メルスペクトル、またはケプストラム等である。パケット化処理部１０３は、デジタル音信号から抽出した特徴量に基づいて、受け付けたデジタル音信号がリズム楽器の音であるか否かを判定する。例えば、パケット化処理部１０３は、特徴量とリズム楽器の音とを対応付けたテーブルを参照し、受け付けたデジタル音信号の特徴量を入力して、対応するリズム楽器の音があるか否かを検索する。パケット化処理部１０３は、対応するリズム楽器の音がある場合に、受け付けたデジタル音信号がリズム楽器の音であると判定する。あるいは、パケット化処理部１０３は、特徴量とリズム楽器の音との対応関係を訓練した訓練済モデルを用いて、受け付けたデジタル音信号がリズム楽器の音であるか否かを判定してもよい。パケット化処理部１０３は、当該訓練済モデルに特徴量を入力する。パケット化処理部１０３は、当該訓練済モデルに入力した特徴量に対してリズム楽器の音であるとの結果を出力した場合に、受け付けたデジタル音信号がリズム楽器の音であると判定する。

【0041】

通信制御部１０４は、優先フラグの付与されたオーディオパケットを、優先フラグの付与されていないオーディオパケットより優先して送信する。

【0042】

これにより、通信中継装置１は、合奏において重要な楽器の音のオーディオパケットを優先して送信する。利用者は、遠隔地と合奏を行う際に、合奏において重要な音の遅延や途切れを大きく低減することができ、従来では得られなかった快適な遠隔合奏ができるという顧客体験を得ることができる。

【0043】

（変形例８）
図１３は、変形例８に係るネットワークシステムの構成を示すブロック図である。変形例８に係るネットワークシステムは、第１地点９０に設置された通信中継装置１Ａおよび第２地点９５に設置された通信中継装置１Ｂを備える。通信中継装置１Ａおよび通信中継装置１Ｂは図１に示した通信中継装置１と同じハードウェア構成である。

【0044】

第１地点９０の第１利用者は、通信中継装置１Ａに第１利用者の楽器３および利用者端末５Ａを接続する。第２地点９５の第２利用者は、通信中継装置１Ｂに第２利用者のマイク７および利用者端末５Ｂを接続する。

【0045】

図１４は、利用者端末５Ａの構成を示すブロック図である。なお、利用者端末５Ｂは利用者端末５Ａと同じ構成を有する。

【0046】

利用者端末５Ａは、パーソナルコンピュータまたはスマートフォン等の情報処理装置である。利用者端末５Ａは、表示器３１、ユーザＩ／Ｆ３２、フラッシュメモリ３３、プロセッサ３４、ＲＡＭ３５、通信Ｉ／Ｆ３６、Ｄ／Ａコンバータ３７、およびスピーカ（ＳＰ）３８を備えている。

【0047】

表示器３１は、例えばＬＥＤ、ＬＣＤまたはＯＬＥＤ等からなり、種々の情報を表示する。ユーザＩ／Ｆ３２は、表示器３１のＬＣＤまたはＯＬＥＤに積層されるタッチパネルである。あるいは、ユーザＩ／Ｆ３２は、キーボードまたはマウス等であってもよい。ユーザＩ／Ｆ３２がタッチパネルである場合、該ユーザＩ／Ｆ３２は、表示器３１とともに、ＧＵＩ（Graphical User Interface）を構成する。

【0048】

プロセッサ３４は、利用者端末５Ａの動作を制御する制御部である。プロセッサ３４は、記憶媒体であるフラッシュメモリ３３に記憶されたアプリケーションプログラム等の所定のプログラムをＲＡＭ３５に読み出して実行することにより各種の動作を行なう。本変形例８において、プロセッサ３４は、フラッシュメモリ３３に記憶された遠隔合奏用アプリケーションプログラムをＲＡＭ３５に読み出して実行する。

【0049】

遠隔合奏用アプリケーションプログラムは、ユーザＩ／Ｆ３２を介して利用者から指定された遠隔地の利用者の遠隔合奏用アプリケーションプログラムと接続する。本変形例８において、利用者端末５Ａの遠隔合奏用アプリケーションプログラムおよび利用者端末５Ｂの遠隔合奏用アプリケーションプログラムは、サーバを介さずに直接（Ｐｅｅｒ ｔｏ Ｐｅｅｒにより）接続してもよい。

【0050】

図１５は、変形例８に係る通信中継装置１Ａのプロセッサ１１の機能ブロック図である。変形例８に係る通信中継装置１Ａのパケット化処理部１０３は、所定の特徴を有するデジタル音信号に優先フラグを付与してオーディオパケットを生成する（ＱＵＥ ｆｏｒ ＡＵＤＩＯ Ｐｒｉｏｒｉｔｙ）。所定の特徴とは、上述した様にリズム楽器の音の特徴である。パケット化処理部１０３は、例えば特徴量とリズム楽器の音との対応関係を訓練した訓練済モデルを用いて、受け付けたデジタル音信号がリズム楽器の音であるか否かを判定する。

【0051】

パケット化処理部１０３は、受け付けたデジタル音信号がリズム楽器の音であると判定した場合に、受け付けたデジタル音信号に優先フラグを付与してオーディオパケットを生成する。

【0052】

図１６は、変形例８に係る通信中継装置１Ａのプロセッサ１１の受信側処理に係る機能ブロック図である。通信制御部１０４は、送信元の通信中継装置から受信したオーディオパケットおよびデータパケットをキューイングする。

【0053】

通信制御部１０４は、優先フラグの付与されたオーディオパケットに係るキュー（ＱＵＥ ｆｏｒ ＡＵＤＩＯ Ｐｒｉｏｒｉｔｙ）を、優先フラグの付与されていないオーディオパケットに係るキューよりも優先的に第１通信Ｉ／Ｆ１６に送信する。また、通信制御部１０４は、オーディオパケットを、データパケットよりも優先して第１通信Ｉ／Ｆ１６に送信する。

【0054】

第１通信Ｉ／Ｆ１６は、オーディオパケットを利用者端末５Ａに送信する。利用者端末５Ａの通信Ｉ／Ｆ３６は、オーディオパケットを受信する。プロセッサ３４（遠隔合奏用アプリケーションプログラム）は、当該オーディオパケットをデジタル音信号にデコードする。Ｄ／Ａコンバータ３７は、当該デジタル音信号をアナログ音信号に変換する。ＳＰ３８は、当該アナログ音信号に基づく音を再生する。

【0055】

これにより、利用者は、遠隔合奏用アプリケーションプログラムを用いて遠隔地と合奏を行うことができる。変形例８では、楽器から出力される音信号は、利用者端末を介さずに通信中継装置に入力され、遠隔地に送信される。したがって、変形例８に係るネットワークシステムは、利用者端末に楽器を接続する場合に比べて、音の遅延や途切れをさらに低減することができる。

【0056】

（変形例９）
図１７は、変形例９に係るネットワークシステムの構成を示すブロック図である。変形例９に係るネットワークシステムの通信中継装置１Ａは、オーディオＩ／Ｆ１４を介してスピーカ８Ａに接続される。また、通信中継装置１Ｂは、オーディオＩ／Ｆ１４を介してスピーカ８Ｂに接続される。その他の構成は、図１３に示した変形例８に係る構成と同一である。 変形例９においても、利用者端末５Ａおよび利用者端末５Ｂの遠隔合奏用アプリケーションプログラムは、ユーザＩ／Ｆ３２を介して利用者から指定された遠隔地の利用者の遠隔合奏用アプリケーションプログラムと接続する。

【0057】

図１８は、変形例９に係る通信中継装置１Ａの構成を示すブロック図である。通信中継装置１Ａおよび通信中継装置１Ｂは同じハードウェア構成である。

【0058】

変形例９に係る通信中継装置１Ａは、さらにＤ／Ａコンバータ１９を備える。オーディオＩ／Ｆ１４は、出力用のオーディオ端子を有する。利用者は、出力用のオーディオ端子にスピーカ８Ａを接続する。

【0059】

図１９は、変形例９に係る通信中継装置１Ａのハードウェアおよび受信側処理に係るプロセッサ１１の機能ブロック図である。送信側のプロセッサ１１の機能は、図１５に示した機能ブロック図と同じである。

【0060】

変形例９に係るプロセッサ１１は、デコーダ１０９を備える。通信制御部１０４は、送信先の通信中継装置から受信したオーディオパケットおよびデータパケットをキューイングする。

【0061】

通信制御部１０４は、優先フラグの付与されたオーディオパケットに係るキュー（ＱＵＥ ｆｏｒ ＡＵＤＩＯ Ｐｒｉｏｒｉｔｙ）を、優先フラグの付与されていないオーディオパケットに係るキューよりも優先的にデコーダ１０９に送信する。また、通信制御部１０４は、オーディオパケットを、データパケットよりも優先してデコーダ１０９に送信する。

【0062】

デコーダ１０９は、オーディオパケットをデジタル音信号にデコードする。Ｄ／Ａコンバータ１９は、当該デジタル音信号をアナログ音信号に変換する。オーディオＩ／Ｆ１４は、当該アナログ音信号をＳＰ８Ａに出力する。ＳＰ８Ａは、受け付けたアナログ音信号に基づく音を再生する。

【0063】

これにより、利用者は、遠隔合奏用アプリケーションプログラムを用いて遠隔地と合奏を行うことができる。本変形例９において、遠隔地から受信したオーディオパケットは、デコーダ１０９およびＤ／Ａコンバータ１９を介してオーディオＩ／Ｆ１４に出力される。変形例９では、遠隔合奏用アプリケーションプログラムは、利用者から指定された遠隔地の利用者の遠隔合奏用アプリケーションプログラムと接続するためだけに用いられていて、遠隔地から受信したオーディオパケットに係る音信号を受信しない。つまり、変形例９では、遠隔地から送信された音信号を、利用者端末を介さずにスピーカやヘッドフォン等の再生装置に入力する。したがって、変形例９に係るネットワークシステムは、利用者端末に再生装置を接続する場合に比べて、音の遅延や途切れをさらに低減することができる。

【0064】

（その他の例）
本実施形態は、以下の様な遅延対策の構成を採用してもよい。

【0065】

（１）第１の遠隔合奏用アプリケーションプログラムは遠隔地の第２の遠隔合奏用アプリケーションプログラムとの通信遅延時間Ｔｃを測定する。第１の遠隔合奏用アプリケーションプログラムは、バック演奏の再生指示を受け付けると、第２の遠隔合奏用アプリケーションプログラムに直ちに当該バック演奏の音信号を送信する。第１のアプリケーションプログラムは、測定した通信遅延時間Ｔｃの経過後にバック演奏の音信号を再生する。これにより、第１の遠隔合奏用アプリケーションプログラムの利用者と、第２の遠隔合奏用アプリケーションプログラムの利用者は、同じタイミングでバック演奏を聞くことができる。

【0066】

（２）第１の遠隔合奏用アプリケーションプログラムは、第２の遠隔合奏用アプリケーションプログラムとの通信開始に応じて、一定時間の間にネットワーク受信用バッファのデータ蓄積状態がフル乃至エンプティになった回数（満空発生回数）を満空カウンタで計測する。第１の遠隔合奏用アプリケーションプログラムは、計測した満空発生回数に応じてバッファサイズを調整する。例えば、第１の遠隔合奏用アプリケーションプログラムは、満空発生回数がＮ以上のときはバッファサイズを拡張し、バッファサイズを拡張しても満空発生回数がＮ以上のときはバッファサイズを更に拡張する。そして、第１の遠隔合奏用アプリケーションプログラムは、満空発生回数がＮ未満のときはバッファサイズをそのときの値に確定し、最大バッファサイズまで拡張しても満空発生回数がＮ以上の場合はバッファサイズの調整を中止する。

【0067】

（３）ネットワークシステムは、接続可能な利用者端末の数を所定の制限台数（例えば３台）に制限してもよい。例えば６つの利用者端末のうち、第１利用者端末、第２利用者端末、第３利用者端末が直接接続され第１セッションルームを構成する。第４利用者端末、第５利用者端末、第６利用者端末が第２セッションルームを構成する。そして、第１セッションルームおよび第２セッションルームにおいて要求が生じる場合、例えば第１利用者端末と第４利用者端末が接続される。接続された第１利用者端末と第４利用者端末は、互いのセッションルームの演奏情報を送受信し、受信した他方のセッションルームの演奏情報を、自身のセッションルーム内の他の端末装置に送信する。

【0068】

（４）遠隔合奏用アプリケーションプログラムまたは通信中継装置は、出力すべき音信号を適切なタイミングで受信できない場合に代替の音信号を出力してもよい。例えば、遠隔合奏用アプリケーションプログラムまたは通信中継装置は、受信したオーディオパケットを受信順にオーディオバッファおよび補間バッファに書き込み、オーディオバッファに格納されているオーディオパケットを格納順に出力する。遠隔合奏用アプリケーションプログラムまたは通信中継装置は、オーディオバッファの未出力のオーディオパケットが減った場合に補間バッファのオーディオパケットから上記未出力のオーディオパケットに続くオーディオパケットを生成してオーディオバッファに書き込む補間を行う。遠隔合奏用アプリケーションプログラムまたは通信中継装置は、オーディオパケットの受信の欠落を検出した場合に、補間バッファのオーディオパケットをバックアップバッファにコピーし、補間バッファをクリアし、補間バッファのオーディオパケットにより上記補間を行えない場合にバックアップバッファのオーディオパケットにより上記補間を行う。 本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲は、特許請求の範囲と均等の範囲を含む。

【0069】

例えば本発明の通信中継方法を実行する構成は全てを１つのハードウェアに内蔵する必要は無く、各構成は別のハードウェアであってもよい。例えば、図２に示した構成のうちオーディオＩ／Ｆ１４、Ａ／Ｄ変換器１５、およびパケット化処理部１０３は、オーディオＩＯ機器に内蔵され、通信制御部１０４がルータに内蔵されていてもよい。

【0070】

また、通信中継装置は、指揮者の映像（特に、指揮者の指揮棒あるいは指揮者の手の映像）に係るデータパケットに優先フラグを付与してもよい。通信中継装置は、映像のデータパケットを受け付けた場合に、映像信号をデコードする。通信中継装置は、指揮者の指揮棒あるいは指揮者の手の映像の特徴量と指揮者との対応関係を訓練した訓練済モデルを用いて、受け付けた映像信号に指揮者の指揮棒あるいは指揮者の手の映像が含まれているか否かを判定する。通信中継装置は、受け付けた映像信号に指揮者の指揮棒あるいは指揮者の手の映像が含まれていると判断した場合に、対応するデータパケットに優先フラグを付与する。通信中継装置は、優先フラグの付与されたデータパケットに係るキューを、優先フラグの付与されていないデータパケットに係るキューよりも優先的に送信する。これにより、合奏において基準となる指揮者の映像の遅延や途切れを大きく低減することができ、従来では得られなかった快適な遠隔合奏ができるという顧客体験を得ることができる。

【符号の説明】

【0071】

１ ：通信中継装置
１Ａ ：通信中継装置
１Ｂ ：通信中継装置
３ ：楽器
５Ａ ：利用者端末
５Ｂ ：利用者端末
７ ：マイク
８Ａ ：スピーカ
８Ｂ ：スピーカ
１１ ：プロセッサ
１２ ：フラッシュメモリ
１３ ：ＲＡＭ
１４ ：オーディオＩ／Ｆ
１４Ａ ：第１オーディオＩ／Ｆ
１４Ｂ ：第２オーディオＩ／Ｆ
１５ ：Ａ／Ｄ変換器
１５Ａ ：第１Ａ／Ｄ変換器
１５Ｂ ：第２Ａ／Ｄ変換器
１６ ：第１通信Ｉ／Ｆ
１７ ：第２通信Ｉ／Ｆ
１９ ：Ｄ／Ａコンバータ
３１ ：表示器
３２ ：ユーザＩ／Ｆ
３３ ：フラッシュメモリ
３４ ：プロセッサ
３５ ：ＲＡＭ
３６ ：通信Ｉ／Ｆ
３７ ：Ｄ／Ａコンバータ
９０ ：第１地点
９５ ：第２地点
１０３ ：パケット化処理部
１０４ ：通信制御部
１０９ ：デコーダ
１５１ ：優先度設定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】