(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-24
(45)【発行日】2024-02-01
(54)【発明の名称】通信方法およびシステム
(51)【国際特許分類】
H04M 11/00 20060101AFI20240125BHJP
H04M 11/08 20060101ALI20240125BHJP
H04M 3/56 20060101ALI20240125BHJP
H04N 21/233 20110101ALI20240125BHJP
【FI】
H04M11/00 302
H04M11/08
H04M3/56 Z
H04N21/233
(21)【出願番号】P 2022555566
(86)(22)【出願日】2021-10-07
(86)【国際出願番号】 JP2021037184
(87)【国際公開番号】W WO2022075418
(87)【国際公開日】2022-04-14
【審査請求日】2023-04-04
(31)【優先権主張番号】P 2020171116
(32)【優先日】2020-10-09
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004075
【氏名又は名称】ヤマハ株式会社
(74)【代理人】
【識別番号】100161207
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100134359
【氏名又は名称】勝俣 智夫
(74)【代理人】
【識別番号】100162868
【氏名又は名称】伊藤 英輔
(74)【代理人】
【識別番号】100206391
【氏名又は名称】柏野 由布子
(72)【発明者】
【氏名】入山 達也
(72)【発明者】
【氏名】鵜飼 訓史
【審査官】大橋 達也
(56)【参考文献】
【文献】特開2008-305435(JP,A)
【文献】特開2019-92186(JP,A)
【文献】特開2015-5940(JP,A)
【文献】特開2013-150095(JP,A)
【文献】米国特許第9277179(US,B1)
【文献】特開平8-204706(JP,A)
【文献】コメント読み上げソフト「棒読みちゃん」の使い方・コメントビューアとのリンク方法まとめ,クエストログ,2020年09月01日,[online],インターネット:<https://quest-log.com/bouyomichan-howto/>
(58)【調査した分野】(Int.Cl.,DB名)
H04M 3/00-11/00
H04N 7/15
H04N 21/00
G06F 13/00
H04L 65/00
(57)【特許請求の範囲】
【請求項1】
第1端末によって、第1音の発生を指示する第1イベントデータをサーバに送信し、
第2端末によって、第2音の発生を指示する第2イベントデータを前記サーバに送信し、
前記サーバによって、前記第1イベントデータを含むデータと前記第2イベントデータを含むデータを前記第1端末に送信し、
前記第1端末によって、前記第1イベントデータを含むデータと前記第2イベントデータを含むデータに基づいて、前記第1音および前記第2音の発生を制御する
ことを含
み、
前記第1イベントデータは、前記第1音の種類を示す情報を含み、前記第2イベントデータは、前記第2音の種類を示す情報を含み、
前記第1音および前記第2音の発生を制御することは、
前記第1音の種類に応じて前記第1音の発生の態様を制御することと、
前記第2音の種類に応じて前記第2音の発生の態様を制御することと、を含む
通信方法。
【請求項2】
前記サーバによって、前記第1端末および前記第2端末に対して番組を送信することをさらに含み、
前記第1イベントデータは、前記第1音を発生させる時刻を示す情報として、前記番組の経過時間である第1の時刻を示す情報を含み、前記第2イベントデータは、前記第2音を発生させる時刻を示す情報として、前記番組の経過時間である第2の時刻を示す情報を含み、
前記第1音および前記第2音の発生を制御することは、前記第1端末において再生されている前記番組の現在時刻と、前記第1の時刻および前記第2の時刻とに基づいて、前記第1音および前記第2音を発生させるタイミングを制御することを含む、
請求項1に記載の通信方法。
【請求項3】
前記第1音および前記第2音の発生を制御することは、前記第1端末に対する操作に従って、前記第1音の発生を制御することを含む
請求項1または2に記載の通信方法。
【請求項4】
前記第1イベントデータを含むデータと前記第2イベントデータを含むデータを前記第1端末に送信することは、前記第1音の音声データと前記第2音の音声データとを前記サーバから前記第1端末に送信することを含み、
前記第1音および前記第2音の発生を制御することは、
前記第1音の音声データに基づいて前記第1音を発生させ、
前記第2音の音声データに基づいて前記第2音を発生させる、ことを含む
請求項1~3のいずれか1項に記載の通信方法。
【請求項5】
前記第1音および前記第2音の発生を制御することは、前記第1端末に対する操作に従って、前記第1音および前記第2音の発生の態様を制御することを含む
請求項1~4のいずれか1項に記載の通信方法。
【請求項6】
第1端末と、第2端末と、サーバとを備えるシステムであって、
前記第1端末は、第1音の発生を指示する第1イベントデータを前記サーバに送信し、
前記第2端末は、第2音の発生を指示する第2イベントデータを前記サーバに送信し、
前記サーバは、前記第1イベントデータを含むデータと前記第2イベントデータを含むデータを前記第1端末に送信し、
前記第1端末は、前記第1イベントデータを含むデータと前記第2イベントデータを含むデータに基づいて、前記第1音および前記第2音の発生を制御する
システムであり、
前記第1イベントデータは、前記第1音の種類を示す情報を含み、前記第2イベントデータは、前記第2音の種類を示す情報を含み、
前記第1音および前記第2音の発生を制御することは、
前記第1音の種類に応じて前記第1音の発生の態様を制御することと、
前記第2音の種類に応じて前記第2音の発生の態様を制御することと、を含む
システム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、互いに離れて所在する複数のユーザがサーバを介して情報交換を行う通信方法およびシステムに関する。
この出願は、2020年10月9日に出願された日本国特願2020-171116号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【背景技術】
【0002】
演劇や楽曲演奏の鑑賞、講演の視聴、スポーツ観戦、カラオケ等、複数のユーザが共通の対象を楽しむ場面において、拍手音等、ユーザが発する音は、場を盛り上げる有効な手段である。そこで、特許文献1は、拍手音をカラオケ曲とともに記録媒体に記録し、記録媒体からカラオケ曲とともに拍手音を再生する技術を開示している。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載の技術において、カラオケ曲とともに再生される拍手音は予め記録された固定的な音であり、場を盛り上げる手段としては、物足りない。共通の対象を楽しむ複数のユーザが、各ユーザがリアルタイムに発する拍手音の共有を望む可能性がある。しかし、演劇、楽曲演奏、講演、スポーツ等の対象に関しては、互いに離れて所在する複数のユーザが共通の対象を鑑賞して楽しむ場合がある。そのような場合、各ユーザは、互いに離れているので、互いの拍手音を共有することができない。
【0005】
この発明は以上のような事情に鑑みてなされた。この発明の目的の一例は、拍手音等の音を発しようとする複数のユーザが互いの音を共有することを可能にする技術的手段を提供することである。
【課題を解決するための手段】
【0006】
本発明の実施態様による通信方法は、第1端末によって、第1音の発生を指示する第1イベントデータをサーバに送信し、第2端末によって、第2音の発生を指示する第2イベントデータを前記サーバに送信し、前記サーバによって、前記第1イベントデータを含むデータと前記第2イベントデータを含むデータを前記第1端末に送信し、前記第1端末によって、前記第1イベントデータを含むデータと前記第2イベントデータを含むデータに基づいて、前記第1音および前記第2音の発生を制御することを含み、前記第1イベントデータは、前記第1音の種類を示す情報を含み、前記第2イベントデータは、前記第2音の種類を示す情報を含み、前記第1音および前記第2音の発生を制御することは、前記第1音の種類に応じて前記第1音の発生の態様を制御することと、前記第2音の種類に応じて前記第2音の発生の態様を制御することと、を含む。
本発明の実施態様によるシステムは、第1端末と、第2端末と、サーバとを備えるシステムであって、前記第1端末は、第1音の発生を指示する第1イベントデータを前記サーバに送信し、前記第2端末は、第2音の発生を指示する第2イベントデータを前記サーバに送信し、前記サーバは、前記第1イベントデータを含むデータと前記第2イベントデータを含むデータを前記第1端末に送信し、前記第1端末は、前記第1イベントデータを含むデータと前記第2イベントデータを含むデータに基づいて、前記第1音および前記第2音の発生を制御するシステムであり、前記第1イベントデータは、前記第1音の種類を示す情報を含み、前記第2イベントデータは、前記第2音の種類を示す情報を含み、前記第1音および前記第2音の発生を制御することは、前記第1音の種類に応じて前記第1音の発生の態様を制御することと、前記第2音の種類に応じて前記第2音の発生の態様を制御することと、を含む。
【図面の簡単な説明】
【0007】
【
図1】この発明の実施形態による通信システムの構成を示すブロック図である。
【
図2】この発明の実施形態端末の構成を示すブロック図である。
【
図4】
図2に示す端末において生成される第1イベントデータを示す図である。
【
図5】この発明の実施形態によるサーバの構成を示す図である。
【
図6】この発明の実施形態による第1端末および第2端末のイベント再生部の処理内容を示すフローチャートである。
【
図7】この発明の実施形態による動作例を示すタイムチャートである。
【
図8】この発明の実施形態による動作例を示すタイムチャートである。
【
図9】この発明の実施形態による動作例を示す図である。
【発明を実施するための形態】
【0008】
以下、図面を参照し、この発明の実施形態について説明する。
【0009】
図1はこの発明の実施形態である通信システム1の構成を示すブロック図である。
図1に示すように、通信システム1は、インターネット等のネットワーク30に接続された第1端末10_1および第2端末10_2と、サーバ20とを含む。
【0010】
この通信システム1において、サーバ20は、第1端末10_1および第2端末10_2に対し、演劇、楽曲演奏、講演等の各種の生放送番組の動画データ(音データを含む)を送信する。
【0011】
第1端末10_1は、サーバ20からのデータを受信して生放送番組を再生する。第1端末10_1は、この再生中に、ユーザからの操作に応じて、拍手音の発音を指示する第1イベントデータEV_1を生成し、サーバ20に送信する。同様に、第2端末10_2は、サーバ20からのデータを受信して生放送番組を再生する。第2端末10_2は、この再生中に、ユーザからの操作に応じて、拍手音の発音を指示する第2イベントデータEV_2を生成し、サーバ20に送信する。
【0012】
サーバ20は、第1端末10_1から受信される第1イベントデータEV_1と、第2端末10_2から受信される第2イベントデータEV_2とを含む第3イベントデータEV_3を生成し、この第3イベントデータEV_3を第1端末10_1および第2端末10_2に送信する。
【0013】
第1端末10_1および第2端末10_2の各々は、サーバ20から受信される第3イベントデータEV_3に従って拍手音を発音する。このように通信システム1では、第1端末10_1のユーザおよび第2端末10_2のユーザは、共通の生放送番組を視聴しつつ、各々が発音を指示した拍手音を共有することができる。
【0014】
以上が本実施形態による通信システム1の概略である。なお、
図1では、図面が煩雑になるのを防止するために2台の端末10_1および10_2のみを示したが、サーバ20から生放送番組の提供を受け、拍手音の発音を指示するイベントデータをサーバ20に送信する端末は3台以上であってもよい。
【0015】
図2は本実施形態における第1端末10_1の構成例を示すブロック図である。なお、図示は省略したが、第2端末10_2も、第1端末10_1と同様な構成を有する。第1端末10_1は、パーソナルコンピュータ、スマートフォン等の通信機能を備えたコンピュータである。
図2に示すように、第1端末10_1は、プロセッサ100と、操作部110と、表示部120と、音入力部130と、音出力部140と、記憶部150と、通信部160とを有する。
【0016】
プロセッサ100は、第1端末10_1の各部を制御する制御中枢である。操作部110は、プロセッサ100に対して各種の指示を行うための操作を受け付ける手段であり、キーボード、マウス等の各種の操作子からなる。表示部120は、各種の情報を表示する手段であり、例えば液晶表示パネルからなる。第1端末10_1がスマートフォン等の端末である場合、操作部110および表示部120は、各々の機能を併有するタッチパネルであってもよい。音入力部130は、外界から音を収音してプロセッサ100に与える手段であり、マイクロホン130-1により構成されている。音出力部140は、プロセッサ100から与えられる電気信号を音として外界に出力する手段であり、スピーカ140-1により構成されている。記憶部150は、RAM等の揮発性記憶部と、ROM、ハードディスク等の不揮発性記憶部とを有する。揮発性記憶部は、プロセッサ100によりワークエリアとして使用される。不揮発性記憶部には、プロセッサ100により実行される各種のプログラムやプロセッサにより使用される各種の制御データが記憶される。通信部160は、プロセッサ100とネットワーク30に接続された他の装置との通信を制御する手段である。
【0017】
本実施形態において、第1端末10_1は、サーバ20にアクセスして生放送番組の動画データの受信を開始する場合に、動画データの受信を開始する前に、番組再生プログラム151をサーバ20からダウンロードし、記憶部150の揮発性記憶部に格納する。プロセッサ100は、この番組再生プログラム151を実行することにより番組再生部101、イベント生成部102およびイベント再生部103として機能する。
【0018】
番組再生部101は、サーバ20から通信部160を介して生放送番組の動画データを受信し、動画データに基づいて生放送番組を生成(再生)する。さらに詳述すると、番組再生部101は、受信した動画データが示す画像を表示部120に表示し、動画データが示す音を音出力部140により放音する。
【0019】
イベント生成部102は、生放送番組の再生中、操作部110に対する操作に応じて、拍手音の発音を指示する第1イベントデータEV_1を生成する。本実施形態では、拍手音の発音指示等の各種の指示を受け付けるために、
図3に示す画面が表示部120に表示される。
【0020】
図3において、番組表示エリア121には、番組再生部101によって再生される生放送番組の画像が表示される。表示部120の表示画面において、番組表示エリア121の右側には、拍手ボタン122a、122b、122cおよび122dと、第1ミュートボタン123aおよび第2ミュートボタン123bが表示される。
【0021】
拍手ボタン122a、122b、122cおよび122dは、音波形あるいは発音態様が互いに異なった拍手音a、b、cおよびdが各々対応付けられている。例えば拍手音aは、短い時間間隔で多数回鳴る拍手音であってもよい。拍手音bは長い時間間隔で小数回鳴る拍手音であってもよい。ユーザは、マウス等のポインティングデバイスによって拍手ボタン122a~122dのいずれかを指示(選択)することにより、所望の拍手音の発音指示をイベント生成部102に与えることができる。
【0022】
図4はイベント生成部102によって生成される第1イベントデータEV_1を例示している。
図4に示すように、1個の第1イベントデータEV_1は、発生時刻データD1と、音種類データD2と、端末識別データD3とを含むテキストデータである。第1イベントデータEV_1は、拍手音の音データは含まない。同様に、第2イベントデータEV_1および第3イベントデータEV_3も拍手音の音データは含まない。
【0023】
発生時刻データD1は、発音指示の発生時刻、すなわち、拍手ボタン122a~122dのいずれかが選択された時刻を示すデータである。本実施形態において、発音指示の発生時刻は、サーバ20によって提供される番組が進行する時間軸上における時刻、すなわち、番組内時刻(番組の開始時刻を基準とした現在の時刻、番組の経過時間を示す時刻)である。
【0024】
このような番組内時刻を決定するための手段として、各種の態様の手段を用いてよい。ある好ましい態様において、サーバ20は、番組の生放送の開始タイミングにおいて、番組開始を示す情報を第1端末10_1および第2端末10_2に送信する。第1端末10_1および第2端末10_2の各々は、この情報を受信することにより、各々の番組内時刻を初期化する。その後、第1端末10_1および第2端末10_2の各々は、時間経過に従って各々の番組内時刻を更新する。
【0025】
他の好ましい態様において、サーバ20は、生放送番組を放送(送信)する際に、生放送番組の動画データに番組内時刻を多重化して第1端末10_1および第2端末10_2に送信する。第1端末10_1および第2端末10_2の各々は、現在再生中の番組の動画データから番組内時刻のデータを取り出して第1イベントデータEV_1の生成に利用する。本実施形態では、この態様により番組内時刻を決定する。イベント生成部102は、拍手ボタン122a~122dのいずれかが選択されたとき、その時点における番組内時刻を示す発生時刻データD1を生成する。
【0026】
音種類データD2は、発音が指示された拍手音の種類を示すデータである。拍手ボタン122aが選択された場合、音種類データD2は拍手音aを示すデータとなる。拍手ボタン122bが選択された場合、音種類データD2は拍手音bを示すデータとなる。拍手ボタン122cが選択された場合、音種類データD2は拍手音cを示すデータとなる。拍手ボタン122dが選択された場合、音種類データD2は拍手音dを示すデータとなる。
【0027】
端末識別データD3は、発音の指示が発生した端末を識別するための情報である。第1イベントデータEV_1は、第1端末10_1に対する発音指示により生成されるので、その端末識別データD3は、第1端末10_1の識別情報であるID1となる。また、第2イベントデータEV_2は、第2端末10_2に対する発音指示により生成されるので、その端末識別データD3は、第2端末10_2の識別情報であるID2となる。
【0028】
イベント生成部102により生成される第1イベントデータEV_1は、通信部160を介してサーバ20に送信されるとともに、イベント再生部103に与えられる。
【0029】
イベント再生部103は、イベント生成部102によって生成される第1イベントデータEV_1に従って拍手音を発音する第1の機能と、サーバ20から通信部160を介して受信される第3イベントデータEV_3に従って拍手音を発音する第2の機能とを有している。これら2つの機能は、記憶部150の揮発性記憶部に設定される第1ミュートフラグMUTE1および第2ミュートフラグMUTE2の状態に基づいて制御される。
【0030】
第1ミュートフラグ(キャンセルフラグ、中止フラグ)MUTE1は、イベント再生部103が第1イベントデータEV_1に基づく拍手音の発音をミュート(キャンセル、中止)するか(MUTE1=ON)、ミュートしないか(MUTE1=OFF)を指示するフラグである。拍手ボタン122a~122dのいずれかが選択され、第1イベントデータEV_1が生成されたとき、第1ミュートフラグMUTE1に応じて、第1イベントデータEV_1に基づく拍手音の発音をミュートするかしないかが決定される。
【0031】
第2ミュートフラグ(キャンセルフラグ、中止フラグ)MUTE2は、第3イベントデータEV_3に基づく拍手音の発音をミュート(キャンセル、中止)するか(MUTE2=ON)、ミュートしないか(MUTE2=OFF)を指示するフラグである。イベント生成部102によって生成された第1イベントデータEV_1がサーバ20に送信され、第1イベントデータEV_1が第3イベントデータEV_3となってサーバ20から受信された場合に、第2ミュートフラグMUTE2に応じて、この第3イベントデータEV_3に基づく拍手音の発音をミュートするかしないかが決定される。
【0032】
図3に示す表示部120の表示画面において、第1ミュートボタン123aは、第1ミュートフラグMUTE1がONであるときに点灯し、OFFであるときに消灯する。また、第2ミュートボタン123bは、第2ミュートフラグMUTE2がONであるときに点灯し、OFFであるときに消灯する。ユーザは、ポインティングデバイスによって第1ミュートボタン123aを選択することにより、第1ミュートフラグMUTE1のON/OFFを切り換えることができる。また、ユーザは、ポインティングデバイスによって第2ミュートボタン123bを選択することにより、第2ミュートフラグMUTE2のON/OFFを切り換えることができる。
【0033】
イベント再生部103において、第1ミュートフラグMUTE1と第1の機能との関係は次の通りである。第1ミュートフラグMUTE1がOFFである場合、イベント再生部103は、イベント生成部102から第1イベントデータEV_1を受け取った時点において、その第1イベントデータEV_1によって指定された拍手音の音信号を生成し、音出力部140から拍手音として発音させる。第1ミュートフラグMUTE1がONである場合、イベント再生部103は、イベント生成部102から第1イベントデータEV_1を受け取ったとしても、その第1イベントデータEV_1によって指示された拍手音の発音を行わせない。
【0034】
イベント再生部103において、第2ミュートフラグMUTE2と第2の機能との関係は次の通りである。第2ミュートフラグMUTE2がOFFである場合、イベント再生部103は、サーバ20から第3イベントデータEV_3が受信されたとき、その第3イベントデータEV_3が第1イベント生成部102によって生成された第1イベントデータEV_1であるか否かに拘わらず、その第3イベントデータEV_3によって指定された拍手音を音出力部140に発音させる。
【0035】
第2ミュートフラグMUTE2がONである場合、イベント再生部103は、サーバ20から第3イベントデータEV_3が受信されたとき、その第3イベントデータEV_3の端末識別データD3が第1端末10_1の識別情報ID1を示しているか否か、すなわち、その第3イベントデータEV_3が第1端末10_1によって生成された第1イベントデータEV_1であるか否かを判定する。そして、イベント再生部103は、第3イベントデータEV_3が第1イベントデータEV_1に該当しない場合は、その第3イベントデータEV_3によって指定された拍手音の発音を行わせる。イベント再生部103は、第3イベントデータEV_3が第1イベントデータEV_1に該当する場合は、その第3イベントデータEV_3によって指定された拍手音の発音を行わせない。
【0036】
次にイベント再生部103が第3イベントデータEV_3に基づいて拍手音の発音を行わせる処理のタイミング制御について説明する。イベント再生部103は、現在時刻(番組内時刻)と、第3イベントデータEV_3が示す発音指示の発生時刻とに基づいて、第3イベントデータEV_3に基づく拍手音の発音のタイミングを制御する。さらに詳述すると、次の通りである。
【0037】
イベント再生部103は、サーバ20から受信される第3イベントデータEV_3を記憶部150に蓄積し、蓄積した複数の第3イベントデータEV_3を発生時刻データD1が示す発生時刻順にソートして、リストを作成する。そして、イベント再生部103は、ソート済の複数の第3イベントデータEV_3のリストの中から各第3イベントデータEV_3を発生時刻順に取り出し、取り出した第3イベントデータEV_3に従って拍手音を発音させる。この第3イベントデータEV_3に基づく拍手音の発音のタイミングの制御については、説明の重複を避けるため、本実施形態の動作説明において、その詳細を明らかにする。
【0038】
図5はサーバ20の構成を示すブロック図である。サーバ20は、第1端末10_1および第2端末10_2のものと同様なプロセッサ200と、操作部210と、表示部220と、音入力部230と、音出力部240と、記憶部250と、通信部260とを有する。
【0039】
記憶部250の不揮発性記憶部には番組放送プログラム251が記憶されている。プロセッサ200は、この番組放送プログラム251を実行することにより、番組放送部201、イベント併合部202およびイベント再生部203として機能する。
【0040】
番組放送部201は、生放送番組の放送の受信を要求する第1端末10_1および第2端末10_2に対し、上述した番組再生プログラム151を送信し、次いで生放送番組の動画データを送信する。
【0041】
イベント併合部202は、番組の放送を受信する第1端末10_1および第2端末10_2から送られてくる第1イベントデータEV_1および第2イベントデータEV_2を併合し、第3イベントデータEV_3を生成する。
【0042】
イベント再生部203は、第3イベントデータEV_3に基づく拍手音の発音を制御する手段である。
【0043】
本実施形態では、操作部210の操作により、あるいはネットワーク30に接続された端末からの指示により、拍手音再生モードをサーバ20に設定し、あるいは設定された拍手音再生モードを解除することができる。拍手音再生モードとは、第1端末10_1および第2端末10_2から送信される第1イベントデータEV_1および第2イベントデータEV_2に従ってサーバ20が拍手音を発音するモードである。
【0044】
この拍手音再生モードがサーバ20に設定された状態において、イベント再生部203は、第3イベントデータEV_3に従って音出力部240に拍手音を発音させる。さらに詳述すると、イベント再生部203は、第3イベントデータEV_3を記憶部250に蓄積し、蓄積した複数の第3イベントデータEV_3を発生時刻データD1が示す発生時刻順にソートする。そして、イベント再生部203は、ソート済の第3イベントデータEV_3の中から第3イベントデータEV_3を各々の発生時刻順に取り出し、取り出した第3イベントデータEV_3に従って拍手音を発音させる。さらに詳述すると、音入力部230は、複数のマイクロホン、具体的には、マイクロホン230-1とマイクロホン230-2とにより構成されている。音入力部230は、一つのマイクロホン、すなわち、マイクロホン230-1のみにより構成されていてもよい。音出力部240は、複数のスピーカ、具体的には、スピーカ240-1とスピーカ240-2とにより構成されている。音出力部240は、一つのスピーカ、すなわち、スピーカ240-1のみにより構成されていてもよい。第1の例として、一つマイクロホン(マイクロホン230-1)と一つのスピーカ(スピーカ240-1)とを利用する場合について説明する。この場合、スピーカ240-1は、各第3イベントデータEV_3の拍手音を発音する。マイクロホン230-1がスピーカ240-1により発音された拍手音を収音することにより、音入力部230が拍手音を含む音データを生成する。通信部260は、その音データを第1端末10_1および第2端末10_2に送信する。第1端末10_1および第2端末10_2は、音データに基づいて拍手音を再生する。ここで、スピーカ240-1により拍手音を発生させることにより、残響音が発生する。よって、音データは残響音を含む。したがって、第1端末10_1および第2端末10_2は、自然な拍手音を再生可能となる。次に、第2の例として、一つマイクロホン(マイクロホン230-1)と複数のスピーカ(スピーカ240-1および240-2)とを利用する場合について説明する。この場合、スピーカ240-1およびスピーカ240-1は、各第3イベントデータEV_3に従った拍手音を発音する。別例として、スピーカ240-1が端末識別データD3が識別情報ID1を示す第3イベントデータEV_3に従った拍手音のみを発音し、スピーカ240-2が端末識別データD3が識別情報ID2を示す第3イベントデータEV_3に従った拍手音のみを発音してもよい。マイクロホン230-1がスピーカ240-1により発音された拍手音およびスピーカ240-2により発音された拍手音を収音することにより、音入力部230が拍手音を含む音データを生成する。通信部260は、その音データを第1端末10_1および第2端末10_2に送信する。第1端末10_1および第2端末10_2は、音データに基づいて拍手音を再生する。ここで、スピーカ240-1および240-2により拍手音を発生させることにより、スピーカ240-1および240-2の位置の違いに対応した残響音が発生する。したがって、第1端末10_1および第2端末10_2は、そのような残響音を含む拍手音を再生可能となる。よって、ユーザは、より自然な拍手音を共有することができる。次に、第3の例として、複数のマイクロホン(マイクロホン230-1および230-2)と複数のスピーカ(スピーカ240-1および240-2)とを利用する場合について説明する。この場合、音入力部230は、マイクロホン230-1によって収音された音に基づく音データと、マイクロホン230-2によって収音された音に基づく音データとを生成する。通信部260は、第1端末10_1にマイクロホン230-1によって収音された音に基づく音データを送信する。また、通信部260は、第2端末10_2にマイクロホン230-2によって収音された音に基づく音データを送信する。よって、第1端末10_1および第2端末10_2は、マイクロホン230-1および230-2の位置の違いに対応してそれぞれ異なる拍手音を再生可能となる。第1~第3の例において、マイクロホン230-1および/または230-2と、スピーカ240-1および/または240-2とが、環境ノイズが入る場所に設置されていてもよい。この場合、音データには環境ノイズが含まれることになる。したがって、第1端末10_1および第2端末10_2は、拍手音とともに環境ノイズを再生可能となる。よって、ユーザは、より自然な拍手音を共有することができる。
【0045】
次に本実施形態の動作例について説明する。
図6は、第1端末10_1および第2端末10_2のイベント再生部103の処理内容を示すフローチャートである。イベント再生部103は、番組再生が行われる間、
図6に示す処理を繰り返し実行する。上述したようにイベント再生部103は、ソート済の第3イベントデータEV_3を各々の発生時刻順に記憶部150から取り出して拍手音の発音の制御を行う。そして、イベント再生部103は、記憶部150内に残った最も発生時刻が早い第3イベントデータEV_3を取り出そうとする際、その第3イベントデータEV_3の発生時刻データD1が示す時刻が現在の番組内時刻に対して許容範囲TA内にあるか否かを判断する(ステップS1)。この判断結果が否定的である場合、イベント再生部103は、その第3イベントデータEV_3をリストから取り出して廃棄する(ステップS2)。すなわち、イベント再生部103は、その第3イベントデータEV_3に基づく拍手音の発音を行わせない。
【0046】
一方、上記判断の結果が肯定的である場合、イベント再生部103は、取り出そうとしている第3イベントデータEV_3に先行し、拍手音の発音を行った第3イベントデータEV_3があるか否かを判断する(ステップS3)。先行する第3イベントデータEV_3がない場合、イベント再生部103は、直ちにその第3イベントデータEV_3をリストから取り出してその第3イベントデータEV_3に基づく拍手音の発音を行わせる(ステップS4)。
【0047】
先行する第3イベントデータEV_3がある場合、イベント再生部103は、先行する第3イベントデータEV_3の発生時刻データD1が示す発生時刻t1と取り出そうとしている第3イベントデータEV_3の発生時刻データD1が示す発生時刻t2との差の時間t2-t1を求める。さらに、イベント再生部103は、先行する第3イベントデータEV_3に基づく拍手音の発生時刻t1′から時間t2-t1だけ後の時刻t2′を取り出そうとしている第3イベントデータEV_3に基づく拍手音の発生時刻に仮設定する(ステップS5)。
【0048】
次にイベント再生部103は、取り出そうとしている第3イベントデータEV_3の発生時刻t2が仮設定した発生時刻t2′に対して許容範囲TA内にあるか否かを判断する(ステップS6)。すなわち、イベント再生部103は、取り出そうとしている第3イベントデータEV_3の発生時刻t2と仮設定した発生時刻t2′との時間差が許容範囲TA内にあるか否かを判断する。この判断結果が肯定的である場合、イベント再生部103は、番組内時刻が発生時刻t2′になるまで待機し、発生時刻t2′においてその第3イベントデータEV_3をリストから取り出し、その第3イベントデータEV_3に基づく拍手音の発音を行わせる(ステップS7)。
【0049】
一方、取り出そうとしている第3イベントデータEV_3の発生時刻t2が仮設定した発生時刻t2′に対して許容範囲TA内にない場合、イベント再生部103は、発生時刻t2が発生時刻t2′に対して許容範囲TA内に収まるように発生時刻t2′を早める(ステップS8)。そして、イベント再生部103は、番組内時刻がこの早めた発生時刻t2′になるまで待機し、発生時刻t2′においてその第3イベントデータEV_3をリストから取り出し、その第3イベントデータEV_3に基づく拍手音の発音を行わせる(ステップS9)。
【0050】
図7および
図8は本実施形態の動作例を示すタイムチャートである。この動作例において、サーバ20から第1端末10_1までの伝送遅延時間は、サーバ20から第2端末10_2までの伝送遅延時間よりも長い。このため、第1端末10_1では、第2端末10_2よりも遅れて、生放送番組の再生が開始される。なお、
図6および
図7では、本実施形態の動作の理解を容易にするため、サーバ20と第1端末10_1および第2端末10_2の各々との伝送遅延が、第1イベントデータEV_1、第2イベントデータEV_2および第3イベントデータEV_3の各々が発生する時間間隔よりも誇張されて図示されている。
【0051】
図7において、第2端末10_2では、番組再生開始後、発生時刻(番組内時刻)t1において第2イベントデータEV_2が発生し、この第2イベントデータEV_2はサーバ20を経由することにより第3イベントデータEV_3となって第1端末10_1に送信される。この第3イベントデータEV_3の発生時刻データD1は発生時刻t1を示している。
【0052】
第1端末10_1では、この第3イベントデータEV_3が発生時刻(番組内時刻)t1を過ぎた時刻において記憶部150に蓄積される。この動作例では、この第3イベントデータEV_3に先行する第3イベントデータEV_3がない。また、この第3イベントデータEV_3の発生時刻データD1が示す発生時刻t1が、現在の発生時刻(番組内時刻)t1′に対して許容範囲TA内にある。このため、イベント再生部103は、第3イベントデータEV_3の記憶部150への蓄積直後の発生時刻(番組内時刻)t1′において、この第3イベントデータEV_3を記憶部150から取り出し、第3イベントデータEV_3に基づく拍手音の発音を行わせる。
【0053】
その後、第2端末10_2では、発生時刻(番組内時刻)t2において第2イベントデータEV_2が発生し、この第2イベントデータEV_2はサーバ20を経由することにより第3イベントデータEV_3となって第1端末10_1に送信される。この第3イベントデータEV_3の発生時刻データD1は発生時刻t2を示している。
【0054】
第1端末10_1では、この第3イベントデータEV_3が発生時刻(番組内時刻)t2を過ぎた時刻において記憶部150に蓄積される。ここで、この第3イベントデータEV_3に先行する第3イベントデータEV_3に基づく拍手音の発音が時刻t1′において行われている。そして、時刻t1′から時間t2-t1だけ後の時刻t2′が発生時刻として仮設定される。この動作例では、第3イベントデータEV_3の発生時刻データD1が示す発生時刻t2は、仮設定された発生時刻t2′に対して許容範囲TA内にある。そこで、イベント再生部103は、発生時刻t2’において、この第3イベントデータEV_3を記憶部150から取り出し、第3イベントデータEV_3に基づく拍手音の発音を行わせる。
【0055】
図8において、第1端末10_1では、発生時刻(番組内時刻)t3において第1イベントデータEV_1が発生し、この第1イベントデータEV_1はサーバ20を経由することにより第3イベントデータEV_3となって第2端末10_2に送信される。この第3イベントデータEV_3の発生時刻データD1は発生時刻(番組内時刻)t3を示している。また、第1端末10_1では、発生時刻(番組内時刻)t3の後の、発生時刻(番組内時刻)t4において第1イベントデータEV_1が発生し、この第1イベントデータEV_1も第3イベントデータEV_3となって第2端末10_2に送信される。この第3イベントデータEV_3の発生時刻データD1は発生時刻t4を示している。
【0056】
第2端末10_2では、第3イベントデータEV_3が発生時刻(番組内時刻)t3を過ぎた時刻において記憶部150に蓄積される。この第3イベントデータEV_3に対する処理は、
図7の例において、第1端末10_1のイベント再生部103が時刻t1を過ぎた時刻に受信した第3イベントデータEV_3に対して行った処理と同様である。
【0057】
この動作例では、第2端末10_2の番組再生開始時刻は、第1端末10_1の番組再生開始時刻よりも早い。このため、第2端末10_2により受信される第3イベントデータEV_3の発生時刻データD1が示す発生時刻と、第2端末10_2によりその第3イベントデータEV_3が受信される番組内時刻との時間差は、第1端末10_1により受信される第3イベントデータEV_3の発生時刻データD1が示す発生時刻と、第1端末10_1によりその第3イベントデータEV_3が受信される番組内時刻との時間差よりも大きくなる。このため、第2端末10_2では、第3イベントデータEV_3に基づく拍手音の発生時刻の仮設定を行った場合に、第1端末10_1の場合よりも、発生時刻の修正が必要になる可能性が高くなる。
【0058】
図8において、発生時刻t4を示す発生時刻データD1を含む第3イベントデータEV_3を第2端末10_2が受信したとき、先行する第3イベントデータEV_3に基づく拍手音の発生時刻t3′から時間t4-t3だけ後の時刻t4′が、その第3イベントデータEV_3(発生時刻t4)に基づく拍手音の発生時刻として仮設定される。しかし、この動作例において、その第3イベントデータEV_3が示す発生時刻t4は、この仮設定された発生時刻t4′に対して許容範囲TA内にない。そこで、この動作例において、イベント再生部103は、発生時刻t4′を通常よりも早めた時刻、すなわち、その第3イベントデータEV_3が示す発生時刻t4から許容範囲(許容時間)TAだけ後の時刻に修正する。この場合、「t4′-t3′<t4-t3」を満たす発生時刻t4′において、第3イベントデータEV_3に基づく拍手音の発音が行われる。
【0059】
このように本実施形態において、第2端末10_2では、第1端末10_1が発した発音指示にほぼ同期してその発音指示に基づく拍手音の発音が行われる。また、第1端末10_1では、第2端末10_2が発した発音指示にほぼ同期してその発音指示に基づく拍手音の発音が行われる。従って、第1端末10_1および第2端末10_2のユーザは各々が発音を指示した拍手音を共有することができる。
【0060】
図示は省略したが、
図7および
図8において、第1端末10_1が送信した第1イベントデータEV_1は、サーバ20を経由することにより、第3イベントデータEV_3となって第1端末10_1に送信される。また、第2端末10_2が送信した第2イベントデータEV_2は、サーバ20を経由することにより、第3イベントデータEV_3となって第2端末10_2に送信される。このようにして第1端末10_1および第2端末10_2に受信される第3イベントデータEV_3に対する処理は、第2ミュートフラグMUTE2のON/OFF状態により異なる。
【0061】
第2ミュートフラグMUTE2がOFFである場合、第1端末10_1のイベント再生部103は、第3イベントデータEV_3に含まれる端末識別データD3が第1端末10_1の識別情報ID1を示すか否かに拘わらず、全ての第3イベントデータEV_3に基づいて拍手音の発音を行わせる。第2端末10_2も同様である。
【0062】
第2ミュートフラグMUTE2がONである場合、第1端末10_1のイベント再生部103は、第3イベントデータEV_3に含まれる端末識別データD3が第1端末10_1の識別情報ID1を示すか否かを判定する。第1端末10_1のイベント再生部103は、端末識別データD3が識別情報ID1を示す第3イベントデータEV_3については拍手音の発音を行わせず、端末識別データD3が識別情報ID1を示さない第3イベントデータEV_3についてのみ拍手音の発音を行わせる。
【0063】
図9はこの場合の第1端末10_1の動作例を示す図である。
図9には第1端末10_1により受信された第3イベントデータEV_3のリストが示されている。第2ミュートフラグMUTE2がONである場合には、
図9に示すように、端末識別データD3が識別情報ID1を示す第3イベントデータEV_3が、拍手音の発音の対象から除外される。
図9の例において、「X」は、除外を意味する。
【0064】
次のような比較例を想定すると、この態様の効果が分かり易い。比較例において、サーバは、複数の端末から拍手音の発音指示を受け、これら複数の拍手音をミキシングして複数の端末に送信する。この比較例においても、複数の端末のユーザは、各端末からの発音指示に従って発音される拍手音を共有することができる。しかしながら、比較例において、複数の端末の各々は、ユーザからの発音指示に応じて拍手音の発音を行った場合に、拍手音を2度、すなわち、ユーザからの発音指示に応じこの拍手音と、サーバから送信される指示に応じた拍手音と発する。このような拍手音の発音はユーザに違和感を与える。
【0065】
これに対し、本実施形態では、第1端末10_1において、第1ミュートフラグMUTE1をOFF、第2ミュートフラグMUTE2をONにすると、第1端末10_1に対して発音指示が与えられた場合、この発音指示に基づく拍手音の発音は、この発音指示の時点において第1端末10_1において行われるのみであり、この発音指示に基づく第1イベントデータEV_1がサーバ20を経由して第3イベントデータEV_3となって第1端末10_1に戻ってきたとしても、この第3イベントデータEV_3に基づく拍手音の発音は行われない。従って、本実施形態によれば、上記比較例において発生する拍手音が2回発音されるという事態を回避することができる。
【0066】
以上説明したように、本実施形態によれば、第1端末10_1が、拍手音の発音を指示する第1イベントデータEV_1をサーバ20に送信する。第2端末10_2が、拍手音の発音を指示する第2イベントデータEV_2をサーバ20に送信する。サーバ20が、第1イベントデータEV_1と第2イベントデータEV_2を含む第3イベントデータEV_3を第1端末10_1に送信する。第1端末10_1が、第3イベントデータEV_3に従って拍手音の発音を行う。このため、第1端末10_1のユーザは、第2端末10_2のユーザと拍手音を共有することができる。また、本実施形態では、サーバ20から第1端末10_1に対し、データ量の少ない第3イベントデータEV_3を送るので、拍手音の音データを送る場合に比べて、サーバ20から第1端末10_1へのデータの伝送遅延が短くなる。従って、第1端末10_1では、第2端末10_2における発音指示の発生時刻からの遅れが少ない適切なタイミングにおいて拍手音を発音させることができる。
【0067】
また、上記実施形態において、サーバ20は、第1端末10_1および第2端末10_2に番組を放送(送信)する。第1イベントデータEV_1、第2イベントデータEV_2および第3イベントデータEV_3は、番組が進行する時間軸における発音指示の発生時刻を示す発生時刻データD1を含む。第1端末10_1のイベント再生部103は、現在時刻と、第3イベントデータEV_3の発生時刻データD1が示す発音指示の発生時刻とに基づいて、第3イベントデータEV_3に基づく拍手音の発音のタイミングを制御する。従って、本実施形態によれば、第1端末10_1のイベント再生部103は、第2端末10_2における発音指示の発生にほぼ同期させて当該発音指示に基づく拍手音の発音を行わせることができる。
【0068】
また、本実施形態において、第1端末10_1のイベント再生部103は、第3イベントデータEV_3のうち第1端末10_1から送信された第1イベントデータEV_1に対応したイベントデータに基づく発音の処理を第1端末10_1に対する操作に従って制御する。具体的には、第1端末10_1のイベント再生部103は、操作部110の操作により第2ミュートフラグMUTE2がONに設定された場合に、第3イベントデータEV_3のうち第1端末10_1から送信された第1イベントデータEV_1に対応したイベントデータについては発音の対象から除外する。従って、本実施形態によれば、第1端末10_1において、同じ発音指示に基づいて拍手音が2回に亙って発音される事態を回避することができる。
【0069】
また、本実施形態において、サーバ20のイベント再生部203は、拍手音再生モードが設定されている場合に、イベント併合部202によって生成される第3イベントデータEV_3に従って拍手音を発音させる。従って、サーバ20のユーザは、第1端末10_1および第2端末10_2の各ユーザと拍手音を共有することができる。
【0070】
以上、この発明の実施形態について説明したが、この発明の実施形態はこれらに限定されない。この発明の別の実施形態について説明する。
【0071】
(1)ユーザにとって好ましくない拍手音が端末において発音されるのを回避する手段を端末に設けてもよい。例えばサーバ20が講演の番組を各端末に放送する場合において、講演者が発話をしている期間等、多くのユーザが拍手音を発しないタイミングで拍手音を発するユーザがいた場合、そのユーザの拍手音を端末において発音させないようにする。それには、好ましくない拍手音を発するユーザの端末を特定する手段が必要になる。この手段に関しては次のような態様を採用してもよい。
【0072】
<態様1>
イベント再生部103は、表示部120の表示画面に各端末に対応付けられたドットを表示する。イベント再生部103は、第3イベントデータEV_3に従って拍手音の発音を行わせる際に、その第3イベントデータEV_3の端末識別データD3により特定される端末に対応付けられたドットを点灯させる。ユーザが、好ましくないタイミングにおいて点灯するドットをポインティングデバイスにより指示する。以後、イベント再生部103は、指示されたドットに対応した端末の端末識別データD3を含む第3イベントデータEV_3を拍手音の発音対象から除外する。
【0073】
<態様2>
イベント再生部103は、第3イベントデータEV_3に基づく拍手音の発音タイミングを一定期間解析する。多数の拍手音は、ほぼ同じ時刻に密集して発生する。他方で、それら多数の拍手音の発生時刻から離れた時刻において発生する少数派の拍手音(所定数未満の発音指示)があり得る。そのような少数派の拍手音の発音指示の発生元である端末を判定する。その端末の端末識別データD3を含む第3イベントデータEV_3を拍手音の発音対象から除外する。
【0074】
(2)上記実施形態において、サーバ20は生放送番組を第1端末10_1および第2端末10_2に提供する例を説明したが、このような実施形態に限定されない。番組を提供する態様として、録画された番組を端末からの要求に応じて提供する態様を採用してもよい。
【0075】
この態様において、サーバ20は、生放送番組を録画する際に、第1端末10_1から受信した第1イベントデータEV_1および第2端末10_2から受信した第2イベントデータEV_2を併合した第3イベントデータEV_3を保存する。そして、サーバ20は、端末から録画再生の要求を受けた場合、その端末から受信される拍手音の発音指示のイベントデータと、保存した第3イベントデータEV_3とを併合して新たな第3イベントデータEV_3′を生成し、その端末に送信する。この態様によれば、録画再生の要求をしたユーザは、生放送番組を視聴したユーザと拍手音を共有することができる。
【0076】
(3)上記実施形態において、複数のユーザは、拍手音を共有したが、共有の対象となる音は拍手音に限定されない。例えば複数のユーザが歌舞伎等の演劇を鑑賞する場合において、役者に対する掛け声を共有してもよい。
【0077】
(4)第1端末10_1および第2端末10_2の各々において、拍手音a、b、cおよびdという音の種類毎に、音量バランス、定位、音色、時間長等、第3イベントデータEV_3に基づく発音処理の態様を操作部110の操作により制御してもよい。
【0078】
(5)上記実施形態において第1端末10_1のイベント再生部103は、第3イベントデータEV_3のうち第1端末10_1から送信された第1イベントデータEV_1に対応したイベントデータを発音の対象から除外した。しかし、第1イベントデータEV_1に対応したイベントデータに基づく発音の制御の態様はこれに限定されない。例えば第1イベントデータEV_1に対応したイベントデータに基づいて発音する拍手音の音量を低下させるといった態様でもよい。
【0079】
(6)サーバ20は、第1端末10_1および第2端末10_2に対して、第3イベントデータEV_3として、拍手音の音データ(音信号)を含むデータを送信してもよい。この場合、第1端末10_1および第2端末10_2は、拍手音の音データに基づいて、拍手音を発生させる。
【産業上の利用可能性】
【0080】
本発明は、通信方法に適用してもよい。
【符号の説明】
【0081】
10_1……第1端末
10_2……第2端末
20……サーバ
30……ネットワーク
100,200……プロセッサ
110,210……操作部
120,220……表示部
130,230……音入力部
140,240……音出力部
150,250……記憶部
160,260……通信部
151……番組再生プログラム
101……番組再生部
102……イベント生成部
103,203……イベント再生部
201……番組放送部
202……イベント併合部
121……番組表示エリア
122a~122d……拍手ボタン
123a……第1ミュートボタン
123b……第2ミュートボタン