特許 7576991 ロボットに備えたデータ送受信装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-24

(45)【発行日】2024-11-01

(54)【発明の名称】ロボットに備えたデータ送受信装置及びプログラム

(51)【国際特許分類】

   H04L 67/50 20220101AFI20241025BHJP

   G10L 13/00 20060101ALI20241025BHJP

【ＦＩ】

H04L67/50

G10L13/00 100V

【請求項の数】 7

(21)【出願番号】P 2021016019

(22)【出願日】2021-02-03

(65)【公開番号】P2022119055

(43)【公開日】2022-08-16

【審査請求日】2024-01-04

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100121119

【弁理士】

【氏名又は名称】花村 泰伸

(72)【発明者】

【氏名】山本 正男

(72)【発明者】

【氏名】西村 敏

【審査官】小林 義晴

(56)【参考文献】

【文献】国際公開第２０２０／２０２３５４（ＷＯ，Ａ１）

【文献】萩尾勇太，他９名，人と一緒にテレビを視聴するコミュニケーションロボットの試作と検証，電子情報通信学会技術研究報告 Ｖｏｌ．１１９ Ｎｏ．４４５，日本，一般社団法人電子情報通信学会，2020年02月26日，第119巻,第445号，pp.7-12

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｌ ６７／００

Ｇ１０Ｌ １３／００

(57)【特許請求の範囲】

【請求項1】

第１の場所に、第１のディスプレイに表示された映像を視聴する第１のユーザ、及び前記映像に関連するキーワードに基づいた発話を行う第１のロボットが存在し、前記第１の場所とは異なる第２の場所に、第２のディスプレイに表示された前記映像を視聴する第２のユーザ、及び前記映像に関連する前記キーワードに基づいた発話を行う第２のロボットが存在し、前記第１のユーザ及び前記第２のユーザが同一の前記キーワードに基づいた発話を聞いて会話を行う際の、前記第１のロボットに備えたデータ送受信装置と、前記第２のロボットに備えた遠隔データ送受信装置と、クラウドサーバとがインターネットを介して接続されるデータ送受信システムの下で、
前記データ送受信装置及び前記遠隔データ送受信装置のそれぞれが、前記映像のデータファイルを映像ファイルとして取得し、前記映像ファイルを前記クラウドサーバへ送信し、前記クラウドサーバから前記キーワードを受信する場合の前記データ送受信装置において、
前記第１のユーザによる発声のデータファイルを第１の発声ファイルとして取得し、前記第１の発声ファイルを前記遠隔データ送受信装置へ送信し、前記遠隔データ送受信装置から、前記第２のユーザによる発声のデータファイルを第２の発声ファイルとして受信し、
前記映像ファイルを前記クラウドサーバへ送信してから前記キーワードを受信するまでの間の、当該データ送受信装置における前記インターネットの混雑度合いを反映した時間情報Ｔａを算出し、前記時間情報Ｔａを前記遠隔データ送受信装置へ送信し、前記遠隔データ送受信装置から、前記遠隔データ送受信装置における前記インターネットの混雑度合いを反映した時間情報Ｔｂを受信し、
前記時間情報Ｔａ及び前記時間情報Ｔｂに基づいて、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置よりも高いと判断した場合、前記映像ファイルの前記クラウドサーバへの送信を停止し、前記遠隔データ送受信装置から、前記遠隔データ送受信装置が前記クラウドサーバから受信した前記キーワードを受信する送受信処理部と、
前記送受信処理部により受信された前記第２の発声ファイルを再生する発声再生部と、
前記送受信処理部により受信された前記キーワードに基づいた発話文を再生する発話文再生部と、
を備えたことを特徴とするデータ送受信装置。

【請求項2】

請求項１に記載のデータ送受信装置において、
前記送受信処理部は、
前記時間情報Ｔｂから前記時間情報Ｔａを減算することで、時間情報Ｔを求め、
前記時間情報Ｔの値が０よりも小さい場合、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置よりも高いと判断し、前記映像ファイルの前記クラウドサーバへの送信を停止し、前記遠隔データ送受信装置から、前記遠隔データ送受信装置が前記クラウドサーバから受信した前記キーワードを受信する第１の処理を行い、
前記時間情報Ｔの値が０よりも大きい場合、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置よりも低いと判断し、前記映像ファイルを取得して前記クラウドサーバへ送信し、前記クラウドサーバから前記キーワードを受信する第２の処理を行い、
前記時間情報Ｔの値が０である場合、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置と同じであると判断し、前記第１の処理または前記第２の処理を行う、ことを特徴とするデータ送受信装置。

【請求項3】

請求項２に記載のデータ送受信装置において、
前記送受信処理部は、
前記時間情報Ｔの値が０よりも小さい場合、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置よりも高いと判断し、前記映像ファイルの前記クラウドサーバへの送信を停止し、前記遠隔データ送受信装置から、前記遠隔データ送受信装置が前記クラウドサーバから受信した前記キーワードを受信し、予め設定された時間待機した後に、前記映像ファイルを取得して前記クラウドサーバへ送信し、前記クラウドサーバから前記キーワードを受信する前記第１の処理を行う、ことを特徴とするデータ送受信装置。

【請求項4】

請求項１に記載のデータ送受信装置において、
前記送受信処理部は、
前記時間情報Ｔｂから前記時間情報Ｔａを減算することで、時間情報Ｔを求め、
前記時間情報Ｔの値が０よりも小さい場合、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置よりも高いと判断し、前記映像ファイルの前記クラウドサーバへの送信を停止し、前記遠隔データ送受信装置から、前記遠隔データ送受信装置が前記クラウドサーバから受信した前記キーワードを受信し、予め設定された値をＮとして時間Ｎの間待機した後に、前記映像ファイルを取得して前記クラウドサーバへ送信し、前記クラウドサーバから前記キーワードを受信し、前記時間情報Ｔａを算出し、前記映像ファイルを取得したときから前記時間Ｎの間待機した後に、前記遠隔データ送受信装置から前記時間情報Ｔｂを受信し、前記時間情報Ｔを求める第３の処理を行い、
前記時間情報Ｔの値が０よりも大きい場合、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置よりも低いと判断し、前記映像ファイルを取得して前記クラウドサーバへ送信し、前記クラウドサーバから前記キーワードを受信し、前記時間情報Ｔａを算出し、前記映像ファイルを取得したときから前記時間Ｎの間待機した後に、前記遠隔データ送受信装置から前記時間情報Ｔｂを受信し、前記時間情報Ｔを求める第４の処理を行い、
前記時間情報Ｔの値が０である場合、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置と同じであると判断し、前記第３の処理または前記第４の処理を行う、ことを特徴とするデータ送受信装置。

【請求項5】

請求項４に記載のデータ送受信装置において、
前記送受信処理部は、
前記時間情報Ｔの絶対値が予め設定された閾値よりも大きい場合、前記時間Ｎを、予め設定された前記値よりも大きい値に設定し、前記時間情報Ｔの絶対値が前記閾値以下である場合、予め設定された前記値を前記時間Ｎに設定する、ことを特徴とするデータ送受信装置。

【請求項6】

請求項１から５までのいずれか一項に記載のデータ送受信装置において、
前記発話文再生部は、
前記発話文の再生を開始する際に、前記送受信処理部により前記第１の発声ファイルが取得中である場合、前記第１の発声ファイルの取得が完了するまで待機し、または前記発声再生部により前記第２の発声ファイルが再生中である場合、前記第２の発声ファイルの再生が完了するまで待機し、待機した後に前記発話文を再生する、ことを特徴とするデータ送受信装置。

【請求項7】

コンピュータを、請求項１から６までのいずれか一項に記載のデータ送受信装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、発話を行うロボットに備えたデータ送受信装置及びプログラムに関する。

【背景技術】

【0002】

従来、人と一緒にテレビを視聴するテレビ視聴ロボットが知られている（例えば、非特許文献１を参照）。このテレビ視聴ロボットは、周辺のテレビ及び人を検出し、番組に関連する発話文を生成して発話する。これにより、人は、テレビ視聴ロボットの発話を聞くことで、一人でテレビを視聴している場合であっても、複数人で視聴しているかのようにテレビ視聴を楽しむことができる。

【0003】

また、テレビ視聴ロボット（以下、「ロボット」という。）の発話に伴い、人同士の会話の活性化効果及びテレビ視聴への影響等を検証するためのロボット開発が進められている（例えば、非特許文献２を参照）。これは、「人が２人及びロボットが１体」の組み合わせでテレビを視聴している状態において、ロボットが番組に関連するキーワードを発話することで、検証を行うものである。

【0004】

一方、新型コロナウイルス感染症の流行による外出自粛及びソーシャルディスタンスをとること等が新しい生活習慣として定着するに連れて、友人または知人等の複数の人がテレビを一緒に視聴する機会が減る傾向にあることが予想される。このため、前述の非特許文献２のロボット開発においては、「人が２人及びロボットが１体」の組み合わせの機会が減ることを考慮する必要がある。

【0005】

また、新しい生活習慣では、人同士のコミュニケーション手段として、Ｚｏｏｍ（登録商標）等のインターネットを介したリモート会議ツールが急速に普及している。

【0006】

これらを考慮すると、「人が１人及びロボットが１体」の組み合わせと別の「人が１人及びロボットが１体」の組み合わせとのペアにおいて、人同士がインターネットを介して会話する環境形態を想定することができる。

【0007】

具体的には、離れた場所にいる２つの組み合わせのペアにおいて、同じテレビ番組または動画を視聴しながら会話を楽しみ、さらに、ロボットが視聴中の番組内容等に関連する発話を行うことで、人同士の会話をさらに弾ませる状態を想定することができる。

【0008】

前述の非特許文献２には、ロボットに視聴中の番組内容に関する発話を行わせる手段が記載されている。この発話手段は、Microsoft Azure（ＡＺＵＲＥ（登録商標））またはAmazon Web Services（アマゾンウェブサービス（登録商標））等のクラウドサービスを用いて、視聴中の番組の映像に関するキャプション生成、有名人検索及び画像ラベル検出を並列に行う。そして、発話手段は、これらの結果に基づいて、予め用意したキーワード辞書に含まれる単語をキーワードとして出力する。

【0009】

すなわち、ロボットからクラウドサービスへの上り回線には映像が送信され、クラウドサービスからロボットへの下り回線にはキャプション、有名人名及び画像ラベル等のテキスト情報（映像に関連するキーワード）が送信される。この場合、上り回線のトラフィック量は大きく、下り回線のトラフィックは小さいという特徴がある。

【先行技術文献】

【非特許文献】

【0010】

【文献】星祐太、“テレビ視聴ロボット”、ＮＨＫ放送技術研究所、技研だより、２０１７年１０月号

【文献】萩尾勇太、“人と一緒にテレビを視聴するコミュニケーションロボットの試作と検証”、電子情報通信学会技術研究報告、vol.119、no.446、BioX2019-63、CNR2019-46、2020、pp.7-12

【発明の概要】

【発明が解決しようとする課題】

【0011】

前述の「人が１人及びロボットが１体」の組み合わせと別の「人が１人及びロボットが１体」の組み合わせとのペアからなる環境形態においては、各組み合わせは、同じ番組または動画を視聴する。このため、各組み合わせのロボットは、上り回線を用いてクラウドサービスに対し、同じ映像ファイルを送信する。これでは、クラウドサービスにかかるコストの観点から、無駄が生じることとなる。

【0012】

この問題を解決するために、一方のロボットが、映像ファイルをクラウドサービスへ送信してテキスト情報を受信し、受信したテキスト情報を他方のロボットへ送信する手法が想定される。これにより、クラウドサービスにかかるコストを半減することができる。

【0013】

しかしながら、一方のロボットのインターネット接続環境と、他方のロボットのインターネット接続環境とが異なる場合には、両ロボット間でテキスト情報の共有が遅れ、視聴中の映像とロボットの発話内容とがずれてしまう可能性がある。

【0014】

例えば、一方のロボットが、映像ファイルをクラウドサービスへ送信してテキスト情報を受信し、テキスト情報を他方のロボットへ送信する状況において、一方のロボットに接続されたインターネットサービスプロバイダ等で輻輳が生じた場合を想定する。

【0015】

この場合、一方のロボットから送信された映像ファイルのクラウドサービスへの到着が遅れてしまい、一方のロボットによるテキスト情報の受信が遅れ、他方のロボットによる一方のロボットからのテキスト情報の受信も遅れてしまう。結果として、両ロボット間でテキスト情報の共有が遅れ、ロボットの発話のタイミングが遅れてしまう。

【0016】

このロボットの発話内容は、人が以前の時間に視聴した映像に関するものであるため、発話のタイミングが遅れれば遅れるほど、視聴中の映像に対して的はずれとなってしまい、人同士の会話の活性化効果が得られ難いという課題があった。

【0017】

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、クラウドサービスにかかるコストを低減すると共に、ロボットの発話のタイミングの遅れを抑制可能なデータ送受信装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0018】

前記課題を解決するために、請求項１のデータ送受信装置は、第１の場所に、第１のディスプレイに表示された映像を視聴する第１のユーザ、及び前記映像に関連するキーワードに基づいた発話を行う第１のロボットが存在し、前記第１の場所とは異なる第２の場所に、第２のディスプレイに表示された前記映像を視聴する第２のユーザ、及び前記映像に関連する前記キーワードに基づいた発話を行う第２のロボットが存在し、前記第１のユーザ及び前記第２のユーザが同一の前記キーワードに基づいた発話を聞いて会話を行う際の、前記第１のロボットに備えたデータ送受信装置と、前記第２のロボットに備えた遠隔データ送受信装置と、クラウドサーバとがインターネットを介して接続されるデータ送受信システムの下で、前記データ送受信装置及び前記遠隔データ送受信装置のそれぞれが、前記映像のデータファイルを映像ファイルとして取得し、前記映像ファイルを前記クラウドサーバへ送信し、前記クラウドサーバから前記キーワードを受信する場合の前記データ送受信装置において、前記第１のユーザによる発声のデータファイルを第１の発声ファイルとして取得し、前記第１の発声ファイルを前記遠隔データ送受信装置へ送信し、前記遠隔データ送受信装置から、前記第２のユーザによる発声のデータファイルを第２の発声ファイルとして受信し、前記映像ファイルを前記クラウドサーバへ送信してから前記キーワードを受信するまでの間の、当該データ送受信装置における前記インターネットの混雑度合いを反映した時間情報Ｔａを算出し、前記時間情報Ｔａを前記遠隔データ送受信装置へ送信し、前記遠隔データ送受信装置から、前記遠隔データ送受信装置における前記インターネットの混雑度合いを反映した時間情報Ｔｂを受信し、前記時間情報Ｔａ及び前記時間情報Ｔｂに基づいて、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置よりも高いと判断した場合、前記映像ファイルの前記クラウドサーバへの送信を停止し、前記遠隔データ送受信装置から、前記遠隔データ送受信装置が前記クラウドサーバから受信した前記キーワードを受信する送受信処理部と、前記送受信処理部により受信された前記第２の発声ファイルを再生する発声再生部と、前記送受信処理部により受信された前記キーワードに基づいた発話文を再生する発話文再生部と、を備えたことを特徴とする。

【0019】

また、請求項２のデータ送受信装置は、請求項１に記載のデータ送受信装置において、前記送受信処理部が、前記時間情報Ｔｂから前記時間情報Ｔａを減算することで、時間情報Ｔを求め、前記時間情報Ｔの値が０よりも小さい場合、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置よりも高いと判断し、前記映像ファイルの前記クラウドサーバへの送信を停止し、前記遠隔データ送受信装置から、前記遠隔データ送受信装置が前記クラウドサーバから受信した前記キーワードを受信する第１の処理を行い、前記時間情報Ｔの値が０よりも大きい場合、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置よりも低いと判断し、前記映像ファイルを取得して前記クラウドサーバへ送信し、前記クラウドサーバから前記キーワードを受信する第２の処理を行い、前記時間情報Ｔの値が０である場合、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置と同じであると判断し、前記第１の処理または前記第２の処理を行う、ことを特徴とする。

【0020】

また、請求項３のデータ送受信装置は、請求項２に記載のデータ送受信装置において、前記送受信処理部が、前記時間情報Ｔの値が０よりも小さい場合、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置よりも高いと判断し、前記映像ファイルの前記クラウドサーバへの送信を停止し、前記遠隔データ送受信装置から、前記遠隔データ送受信装置が前記クラウドサーバから受信した前記キーワードを受信し、予め設定された時間待機した後に、前記映像ファイルを取得して前記クラウドサーバへ送信し、前記クラウドサーバから前記キーワードを受信する前記第１の処理を行う、ことを特徴とする。

【0021】

また、請求項４のデータ送受信装置は、請求項１に記載のデータ送受信装置において、前記送受信処理部が、前記時間情報Ｔｂから前記時間情報Ｔａを減算することで、時間情報Ｔを求め、前記時間情報Ｔの値が０よりも小さい場合、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置よりも高いと判断し、前記映像ファイルの前記クラウドサーバへの送信を停止し、前記遠隔データ送受信装置から、前記遠隔データ送受信装置が前記クラウドサーバから受信した前記キーワードを受信し、予め設定された値をＮとして時間Ｎの間待機した後に、前記映像ファイルを取得して前記クラウドサーバへ送信し、前記クラウドサーバから前記キーワードを受信し、前記時間情報Ｔａを算出し、前記映像ファイルを取得したときから前記時間Ｎの間待機した後に、前記遠隔データ送受信装置から前記時間情報Ｔｂを受信し、前記時間情報Ｔを求める第３の処理を行い、前記時間情報Ｔの値が０よりも大きい場合、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置よりも低いと判断し、前記映像ファイルを取得して前記クラウドサーバへ送信し、前記クラウドサーバから前記キーワードを受信し、前記時間情報Ｔａを算出し、前記映像ファイルを取得したときから前記時間Ｎの間待機した後に、前記遠隔データ送受信装置から前記時間情報Ｔｂを受信し、前記時間情報Ｔを求める第４の処理を行い、前記時間情報Ｔの値が０である場合、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置と同じであると判断し、前記第３の処理または前記第４の処理を行う、ことを特徴とする。

【0022】

また、請求項５のデータ送受信装置は、請求項４に記載のデータ送受信装置において、前記送受信処理部が、前記時間情報Ｔの絶対値が予め設定された閾値よりも大きい場合、前記時間Ｎを、予め設定された前記値よりも大きい値に設定し、前記時間情報Ｔの絶対値が前記閾値以下である場合、予め設定された前記値を前記時間Ｎに設定する、ことを特徴とする。

【0023】

また、請求項６のデータ送受信装置は、請求項１から５までのいずれか一項に記載のデータ送受信装置において、前記発話文再生部が、前記発話文の再生を開始する際に、前記送受信処理部により前記第１の発声ファイルが取得中である場合、前記第１の発声ファイルの取得が完了するまで待機し、または前記発声再生部により前記第２の発声ファイルが再生中である場合、前記第２の発声ファイルの再生が完了するまで待機し、待機した後に前記発話文を再生する、ことを特徴とする。

【0024】

さらに、請求項７のプログラムは、コンピュータを、請求項１から６までのいずれか一項に記載のデータ送受信装置として機能させることを特徴とする。

【発明の効果】

【0025】

以上のように、本発明によれば、クラウドサービスにかかるコストを低減すると共に、ロボットの発話のタイミングの遅れを抑制することができる。

【図面の簡単な説明】

【0026】

【図1】本発明の実施形態によるデータ送受信装置を含むデータ送受信システムを説明する概念図である。

【図2】本発明の実施形態によるデータ送受信装置の構成例を示すブロック図である。

【図3】送受信処理部の構成例を示すブロック図である。

【図4】送信制御部の処理例を示すフローチャートである。

【図5】送受信処理部による映像ファイルの送信、送信停止及び送信再開処理等の例を示すフローチャートである。

【図6】送受信処理部による映像ファイルの送信、送信停止及び送信再開処理等の例のタイミングを説明する図である。

【図7】データ送受信装置による映像ファイルのアップロード送信期間を説明するイメージ図である。

【図8】両方のデータ送受信装置のアップロードトラフィックが発生する期間Ｔ１，Ｔ３，Ｔ５のデータフロー（ａ）を説明する図である。

【図9】一方のデータ送受信装置のアップロードトラフィックが発生しない期間Ｔ２，Ｔ４のデータフロー（ｂ）を説明する図である。

【図10】他方のデータ送受信装置のアップロードトラフィックが発生しない期間Ｔ６のデータフロー（ｃ）を説明する図である。

【発明を実施するための形態】

【0027】

以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔データ送受信システム〕
まず、データ送受信システムについて説明する。図１は、本発明の実施形態によるデータ送受信装置を含むデータ送受信システムを説明する概念図である。

【0028】

このデータ送受信システム１は、場所Ａ（第１の場所）に設置されたデータ送受信装置２、場所Ｂ（第２の場所）に設置されたデータ送受信装置（遠隔データ送受信装置）３、及びクラウド上に設置されたクラウドサーバ４を備えて構成される。データ送受信装置２，３及びクラウドサーバ４は、インターネット３０を介して接続される。

【0029】

場所Ａは、データ送受信装置２を備えたロボット（第１のロボット）１１、人（第１のユーザ）１２及びディスプレイ（第１のディスプレイ）１３が存在する環境である。場所Ｂは、データ送受信装置３を備えたロボット（第２のロボット）２１、人（第２のユーザ）２２及びディスプレイ（第２のディスプレイ）２３が存在する環境である。

【0030】

場所Ａに存在するディスプレイ１３及び場所Ｂに存在するディスプレイ２３には、同一の映像が表示される。映像は、例えばテレビ番組、動画である。人１２，２２は、友人、知人、親子等の会話の対象人物である。

【0031】

場所Ａに存在する人１２（及びロボット１１）は、ディスプレイ１３に表示された映像を視聴し、場所Ｂに存在する人２２（及びロボット２１）は、ディスプレイ２３に表示された映像を視聴する。ロボット１１は、ディスプレイ１３に表示された映像に関連するキャプション、有名人名及び画像ラベル等のテキスト情報（以下、「キーワード」という。）に基づいた発話を行い、ロボット２１は、ディスプレイ２３に表示された映像に関連するキーワードに基づいた発話を行う。

【0032】

人１２は、ロボット１１による映像（ディスプレイ１３に表示された映像）に関連するキーワードに基づいた発話を聞きながら、遠隔の場所Ｂに存在する人２２と会話を行う。同様に、人２２は、ロボット２１による映像（ディスプレイ２３に表示された映像）に関連するキーワードに基づいた発話を聞きながら、遠隔の場所Ａに存在する人１２と会話を行う。つまり、人１２，２２は、それぞれロボット１１，２１による同一の映像に関連する同一のキーワードに基づいた発話を聞きながら、会話を行う。

【0033】

データ送受信装置２は、データ送受信装置３よりもインターネット３０の接続環境が良い場合（混雑度合いが低い場合）、ディスプレイ１３に表示された映像に関する映像ファイルを、インターネット３０を介してクラウドサーバ４へ送信する。そして、データ送受信装置２は、クラウドサーバ４から映像ファイルの映像に関連するキーワードを受信する。データ送受信装置２は、受信したキーワード及び人１２の発声ファイル（第１の発声ファイル）等を、インターネット３０を介してデータ送受信装置３へ送信する。

【0034】

一方、データ送受信装置２は、データ送受信装置３よりもインターネット３０の接続環境が良くない場合（混雑度合いが高い場合）、データ送受信装置３から、映像ファイルの映像に関連するキーワードを受信する。また、データ送受信装置２は、データ送受信装置３から人２２の発声ファイル（第２の発声ファイル）等を受信する。

【0035】

データ送受信装置２は、クラウドサーバ４またはデータ送受信装置３からキーワードを受信すると、キーワードに基づいた発話文をロボット１１の発話として再生し、データ送受信装置３から人２２の発声ファイルを受信すると、人２２の発声を再生する。

【0036】

これにより、場所Ａに存在する人１２は、ディスプレイ１３に表示された映像に関連するキーワードに基づいた発話をロボット１１の発話として聞くことができ、場所Ｂに存在する人２２の発声も聞くことができる。つまり、人１２は、映像に関連する情報を得ながら、人２２と会話を行うことができる。

【0037】

データ送受信装置３は、データ送受信装置２と同様の処理を行う。これにより、場所Ｂに存在する人２２は、ディスプレイ２３に表示された映像に関連するキーワードに基づいた発話をロボット２１の発話として聞くことができ、場所Ａに存在する人１２の発声も聞くことができる。つまり、人２２は、映像に関連する情報を得ながら、人１２と会話を行うことができる。データ送受信装置２，３の詳細については後述する。

【0038】

クラウドサーバ４は、データ送受信装置２から送信された映像ファイルを、インターネット３０を介して受信し、例えばキャプション生成、有名人検索、画像ラベル検出等を並列に処理する。そして、クラウドサーバ４は、処理結果の中から、例えば予め設定されたキーワード辞書に含まれる単語をキーワードとして設定し、映像ファイルの映像に関連するキーワードとして、映像ファイルを送信してきたデータ送受信装置２へ送信する。

【0039】

クラウドサーバ４は、データ送受信装置３から映像ファイルを受信した場合も同様の処理を行い、映像ファイルの映像に関連するキーワードを、映像ファイルを送信してきたデータ送受信装置３へ送信する。

【0040】

〔データ送受信装置〕
次に、図１に示したデータ送受信装置２，３について詳細に説明する。図２は、本発明の実施形態によるデータ送受信装置２，３の構成例を示すブロック図である。

【0041】

このデータ送受信装置２は、映像取得部５１、映像ファイル生成部５２、発声取得部５３、発声ファイル生成部５４、遠隔発声再生部（発声再生部）５５、発話文生成部５６、テンプレート保持部５７、発話文再生部５８及び送受信処理部５９を備えている。尚、データ送受信装置３の構成は、図２に示すデータ送受信装置２の構成と同様である。

【0042】

映像取得部５１は、ディスプレイ１３に表示された映像のデータを取得するカメラであり、映像のデータを取得して映像ファイル生成部５２に転送する。映像ファイル生成部５２は、映像取得部５１から転送された映像のデータを入力し、クラウドサーバ４が処理する映像ファイル形式の映像のデータファイルを生成し、これを映像ファイルとして送受信処理部５９に出力する。映像ファイル形式は、例えばＭＰ４である。

【0043】

発声取得部５３は、人１２の発声を取得するマイクであり、発声のデータを取得して発声ファイル生成部５４に転送する。発声ファイル生成部５４は、発声取得部５３から転送された発声のデータを入力し、一般的な音声ファイル形式の発声のデータファイルを生成し、これを発声ファイルとして送受信処理部５９に出力する。音声ファイル形式は、例えばＭＰ３である。

【0044】

遠隔発声再生部５５は、送受信処理部５９から転送された後述する遠隔発声ファイルを入力し、遠隔発声ファイルを再生する。

【0045】

遠隔発声ファイルは、場所Ｂに存在する人２２の発声のデータから生成された発声ファイルである。これにより、場所Ａに存在する人１２は、場所Ｂに存在する人２２の発声を聞くことができる。

【0046】

尚、遠隔発声再生部５５は、スピーカの機能を有するようにしてもよい。この場合、場所Ｂに存在する人２２の発声が、ロボット１１に備えたデータ送受信装置２の遠隔発声再生部５５からなされることとなる。

【0047】

また、遠隔発声再生部５５は、スピーカの機能を有していなくてもよい。この場合のスピーカは、データ送受信装置２とは独立して外部に設置される。遠隔発声再生部５５は、例えばブルートゥース（登録商標）等の通信手段を介して、遠隔発声ファイルを外部のスピーカへ送信し、外部のスピーカは、遠隔発声ファイルを受信して再生を行う。外部のスピーカとしては、例えばスマートフォン、タブレット等のモバイル端末のスピーカ機能が用いられる。モバイル端末は、場所Ｂに存在する人２２の顔を画面表示しながら、人２２の発声の遠隔発声ファイルを受信して再生を行うようにしてもよい。

【0048】

これにより、場所Ｂに存在する人２２の発声が、ロボット１１とは離れた箇所に設置されたスピーカからなされることとなり、人１２は、場所Ｂに存在する人２２の発声と、ロボット１１の発話とを容易に区別することができる。

【0049】

発話文生成部５６は、送受信処理部５９から転送されたキーワード（映像ファイルの映像に関連するキーワード）を入力すると共に、テンプレート保持部５７からテンプレートを読み出し、キーワード及びテンプレートを組み合わせることで、発話文を生成する。そして、発話文生成部５６は、発話文を発話文再生部５８に出力する。

【0050】

テンプレート保持部５７は、文章の述語等のテンプレートを保持する。発話文再生部５８は、発話文生成部５６から発話文を入力し、発話文を再生する。これにより、場所Ａに存在する人１２は、場所Ａに存在するロボット１１の発話（ディスプレイ１３に表示された映像に関する情報）を聞くことができる。

【0051】

例えば発話文生成部５６が入力したキーワードがドラマの出演者名「〇○××」であり、テンプレートが「ですよ」である場合、発話文生成部５６は、発話文「○○××ですよ」を生成する。テンプレート保持部５７は、例えば「ですよ」、「ですか」、「だね」等のテンプレートを保持する。

【0052】

尚、発話文生成部５６による発話文生成処理としては、例えば以下の非特許文献に記載された技術が用いられる。
［非特許文献］
金子豊、外２名、“テレビ視聴ロボットにおける字幕文内キーワードに基づく発話生成手法”、［online］、映像情報メディア学会、［令和３年１月１１日検索］、インターネット＜https://www.jstage.jst.go.jp/article/iteac/2017/0/2017_32B-4/_pdf＞

【0053】

また、発話文生成部５６は、テンプレート保持部５７に保持されたテンプレートをランダムに選択し、キーワード及びテンプレートを組み合わせることで、発話文を生成するようにしてもよい。

【0054】

送受信処理部５９は、映像ファイル生成部５２から映像ファイルを入力すると共に、発声ファイル生成部５４から発声ファイルを入力する。送受信処理部５９は、発声ファイルをデータ送受信装置３へ送信し、データ送受信装置３から遠隔発声ファイルを受信し、遠隔発声ファイルを遠隔発声再生部５５に転送する。

【0055】

送受信処理部５９は、映像ファイルをクラウドサーバ４へ送信し、クラウドサーバ４からキーワードを受信することで、ラウンドトリップタイムに相当する時間情報Ｔａを算出する。そして、送受信処理部５９は、時間情報Ｔａ（遠隔時間情報Ｔｂ）をデータ送受信装置３へ送信する。時間情報Ｔａは、データ送受信装置２におけるインターネット３０の混雑度合いを反映した情報である。

【0056】

送受信処理部５９は、データ送受信装置３から、データ送受信装置３におけるラウンドトリップタイムに相当する遠隔時間情報Ｔｂを受信する。そして、送受信処理部５９は、遠隔時間情報Ｔｂから時間情報Ｔａを減算し、減算結果に基づいてデータ送受信装置２，３間のインターネット３０の混雑度合いを判定する。遠隔時間情報Ｔｂは、データ送受信装置３におけるインターネット３０の混雑度合いを反映した情報である。

【0057】

送受信処理部５９は、当該データ送受信装置２におけるインターネット３０の混雑度合いがデータ送受信装置３よりも低いと判定した場合、クラウドサーバ４への映像ファイルの送信処理、及びクラウドサーバ４からのキーワードの受信処理を継続する。送受信処理部５９は、クラウドサーバ４から受信したキーワードを発話文生成部５６に転送し、データ送受信装置３からのリクエストに従い、キーワードをデータ送受信装置３へ送信する。

【0058】

一方、送受信処理部５９は、当該データ送受信装置２におけるインターネット３０の混雑度合いがデータ送受信装置３よりも高いと判定した場合、クラウドサーバ４への映像ファイルの送信処理を停止する。そして、送受信処理部５９は、データ送受信装置３へリクエストを送信することで、データ送受信装置３からキーワードを受信し、キーワードを発話文生成部５６に転送する。

【0059】

〔送受信処理部５９〕
次に、図２に示したデータ送受信装置２，３に備えた送受信処理部５９について詳細に説明する。図３は、送受信処理部５９の構成例を示すブロック図である。

【0060】

この送受信処理部５９は、映像ファイル取得部６０、キーワード転送部６１、時計６２、時間算出部６３、時間比較部６４、遠隔発声ファイル受信部６５、キーワード受信時刻取得部６６、キーワード受信部６７、キーワード送信部６８、映像ファイル送信時刻取得部６９、送信制御部７０、発声ファイル送信部７１、映像ファイル送信部７２、遠隔時間情報取得部７３及び時間情報送信部７４を備えている。

【0061】

映像ファイル取得部６０は、映像ファイル生成部５２から映像ファイルを取得し、映像ファイルを映像ファイル送信部７２に転送する。これにより、映像ファイルは、映像ファイル送信部７２からクラウドサーバ４へ送信される。

【0062】

キーワード転送部６１は、キーワード受信部６７からキーワードを入力し、キーワードを発話文生成部５６に転送する。キーワードは、キーワード受信部６７によりクラウドサーバ４または遠隔の場所Ｂに設置されたデータ送受信装置３から受信される。

【0063】

これにより、キーワードは、ディスプレイ１３に表示されている映像に関連するキーワードとして、発話文生成部５６、テンプレート保持部５７及び発話文再生部５８により、ロボット１１の発話文として再生される。

【0064】

時計６２は、当該データ送受信装置２における時刻をカウントする。時間算出部６３は、映像ファイル送信時刻取得部６９から送信開始時刻ｔ１を入力すると共に、キーワード受信時刻取得部６６から受信完了時刻ｔ２を入力する。送信開始時刻ｔ１は、映像ファイル送信部７２が映像ファイルをクラウドサーバ４へ送信した時刻であり、受信完了時刻ｔ２は、キーワード受信部６７がキーワードをクラウドサーバ４から受信した時刻である。

【0065】

時間算出部６３は、以下の式にて、受信完了時刻ｔ２から送信開始時刻ｔ１を減算することで、当該データ送受信装置２が映像ファイルを送信してからキーワードを受信するまでの間の時間情報Ｔａ（ラウンドトリップタイムに相当）を求める。そして、時間算出部６３は、時間情報Ｔａを時間比較部６４に出力する。
［数１］
Ｔａ＝ｔ２－ｔ１ ・・・（１）

【0066】

時間比較部６４は、時間算出部６３から時間情報Ｔａを入力すると共に、遠隔時間情報取得部７３から遠隔時間情報Ｔｂを入力する。遠隔時間情報Ｔｂは、遠隔の場所Ｂに設置されたデータ送受信装置３において、当該データ送受信装置２と同様の処理により前記式（１）にて算出された時間情報Ｔａであり、遠隔時間情報取得部７３によりデータ送受信装置３から受信される。

【0067】

時間比較部６４は、以下の式にて、遠隔時間情報Ｔｂから時間情報Ｔａを減算することで、当該データ送受信装置２におけるインターネット３０の混雑度合いを判定するための時間情報Ｔ（混雑度合い判定用時間情報Ｔ）を求める。
［数２］
Ｔ＝Ｔｂ－Ｔａ ・・・（２）

【0068】

時間比較部６４は、混雑度合い判定用時間情報Ｔを送信制御部７０に出力し、時間情報Ｔａを時間情報送信部７４に転送する。時間情報Ｔａは、時間情報送信部７４によりデータ送受信装置３へ送信され、データ送受信装置３は、当該時間情報Ｔａを遠隔時間情報Ｔｂとして受信する。

【0069】

遠隔発声ファイル受信部６５は、データ送受信装置３から人２２の発声のデータファイルを遠隔発声ファイルとして受信し、遠隔発声ファイルを遠隔発声再生部５５に転送する。

【0070】

これにより、遠隔発声ファイルは、遠隔発声再生部５５により、遠隔の場所Ｂに存在する人２２の発声として再生される。

【0071】

キーワード受信時刻取得部６６は、キーワード受信部６７から、クラウドサーバ４から受信したキーワードの受信タイミングを示す受信完了を入力する。そして、キーワード受信時刻取得部６６は、受信完了を入力したときの時刻を時計６２から取得し、当該時刻を受信完了時刻ｔ２に設定し、受信完了時刻ｔ２を時間算出部６３に出力する。

【0072】

キーワード受信部６７は、クラウドサーバ４からキーワードを受信した場合、その受信タイミングを示す受信完了をキーワード受信時刻取得部６６に出力すると共に、キーワードをキーワード転送部６１及びキーワード送信部６８に出力する。

【0073】

キーワード受信部６７は、送信制御部７０から送信停止指示または送信再開指示を入力する。送信停止指示及び送信再開指示の詳細については後述する。キーワード受信部６７は、送信停止指示を入力した場合、例えばキーワードの送信のリクエストをデータ送受信装置３へ送信し、データ送受信装置３からキーワードを受信し、キーワードをキーワード転送部６１に出力する。

【0074】

この場合、データ送受信装置３は、データ送受信装置２から当該リクエストを受信すると、当該データ送受信装置３のキーワード送信部６８は、クラウドサーバ４から受信したキーワードをデータ送受信装置２へ送信する。

【0075】

一方、キーワード受信部６７は、送信制御部７０から送信再開指示を入力した場合、前述のデータ送受信装置３へのリクエストの送信処理を停止する。そして、キーワード受信部６７は、映像ファイル送信部７２により映像ファイルがクラウドサーバ４へ送信された後、クラウドサーバ４からキーワードを受信し、キーワードをキーワード転送部６１及びキーワード送信部６８に出力する。

【0076】

キーワード送信部６８は、キーワード受信部６７からキーワードを入力し、キーワードをデータ送受信装置３へ送信する。これにより、クラウドサーバ４から受信したキーワードが、データ送受信装置２からデータ送受信装置３へ送信される。

【0077】

映像ファイル送信時刻取得部６９は、映像ファイル送信部７２から、クラウドサーバ４へ映像ファイルを送信した送信タイミングを示す送信開始を入力する。そして、映像ファイル送信時刻取得部６９は、送信開始を入力したときの時刻を時計６２から取得し、当該時刻を送信開始時刻ｔ１に設定し、送信開始時刻ｔ１を時間算出部６３に出力する。

【0078】

送信制御部７０は、時間比較部６４から混雑度合い判定用時間情報Ｔを入力し、混雑度合い判定用時間情報Ｔに基づいて、当該データ送受信装置２における混雑度合いを判定する。このデータ送受信装置２における混雑度合いには、当該データ送受信装置２におけるインターネット３０の混雑度合いがデータ送受信装置３よりも高い場合、低い場合、及びデータ送受信装置３と同じ場合の３状態がある。

【0079】

送信制御部７０は、混雑度合いが高いと判定した場合、映像ファイルの送信処理を停止することを示す送信停止指示を映像ファイル送信部７２及びキーワード受信部６７に出力する。そして、送信制御部７０は、時計６２から時刻を取得しながら、予め設定された値をＮとして時間Ｎの間待機し、時間Ｎ経過後に、映像ファイルの送信処理を再開することを示す送信再開指示を映像ファイル送信部７２及びキーワード受信部６７に出力する。

【0080】

図４は、送信制御部７０の処理例を示すフローチャートである。送信制御部７０は、時間比較部６４から混雑度合い判定用時間情報Ｔを入力したか否かを判定する（ステップＳ４０１）。

【0081】

送信制御部７０は、ステップＳ４０１において、混雑度合い判定用時間情報Ｔを入力していない場合（ステップＳ４０１：Ｎ）、混雑度合い判定用時間情報Ｔを入力するまで待つ。一方、送信制御部７０は、ステップＳ４０１において、混雑度合い判定用時間情報Ｔを入力した場合（ステップＳ４０１：Ｙ）、ステップＳ４０２へ移行する。

【0082】

送信制御部７０は、混雑度合い判定用時間情報Ｔが０よりも小さい（Ｔ＜０、すなわちＴｂ＜Ｔａ）、０よりも大きい（Ｔ＞０、すなわちＴｂ＞Ｔａ）、または０である（Ｔ＝０、すなわちＴｂ＝Ｔａ）を判定する（ステップＳ４０２）。

【0083】

送信制御部７０は、ステップＳ４０２において、混雑度合い判定用時間情報Ｔが０よりも小さい（Ｔ＜０、すなわちＴｂ＜Ｔａ）と判定した場合、送信停止指示を映像ファイル送信部７２及びキーワード受信部６７に出力する（ステップＳ４０３）。

【0084】

これにより、当該データ送受信装置２におけるインターネット３０の混雑度合いがデータ送受信装置３よりも高いものと判断される。つまり、当該データ送受信装置２のラウンドトリップタイムがデータ送受信装置３のラウンドトリップタイムよりも大きいものと判断される。そして、当該データ送受信装置２からクラウドサーバ４への映像ファイルの送信処理が停止し、データ送受信装置３からクラウドサーバ４への映像ファイルの送信処理が行われる。

【0085】

送信制御部７０は、ステップＳ４０３から移行して、送信停止指示を出力してからの経過時間を時計６２から特定する。そして、送信制御部７０は、時計６２の時刻に基づいて、予め設定された値をＮとして時間Ｎ（キーワード受信部６７が遠隔時間情報Ｔｂの送信のリクエストをデータ送受信装置３へ送信してから時間Ｎ）の間待機する（ステップＳ４０４）。予め設定された時間Ｎは、例えば１０秒、６０秒である。そして、送信制御部７０は、経過時間が時間Ｎに到達したときに、送信再開指示を映像ファイル送信部７２及びキーワード受信部６７に出力する（ステップＳ４０５）。

【0086】

これにより、データ送受信装置２，３におけるインターネット３０の混雑度合いの変化に伴い、映像ファイルを送信してキーワードを受信するデータ送受信装置２，３を切り替えることができる。すなわち、混雑度合いの低い方のデータ送受信装置２，３は、時間Ｎ毎に、映像ファイルをクラウドサーバ４へ送信し、クラウドサーバ４からキーワードを受信することとなる。

【0087】

一方、送信制御部７０は、ステップＳ４０２の処理において、混雑度合い判定用時間情報Ｔが０よりも大きい（Ｔ＞０、すなわちＴｂ＞Ｔａ）と判定した場合、映像ファイル送信部７２及びキーワード受信部６７に対する通知を行わない。

【0088】

尚、送信制御部７０は、映像ファイルの送信処理を継続することを示す送信継続指示を映像ファイル送信部７２及びキーワード受信部６７に出力するようにしてもよい。

【0089】

これにより、当該データ送受信装置２におけるインターネット３０の混雑度合いがデータ送受信装置３よりも低いものと判断される。つまり、当該データ送受信装置２のラウンドトリップタイムがデータ送受信装置３のラウンドトリップタイムよりも小さいものと判断される。そして、当該データ送受信装置２からクラウドサーバ４への映像ファイルの送信処理が継続することとなる。

【0090】

一方、送信制御部７０は、ステップＳ４０２において、混雑度合い判定用時間情報Ｔが０である（Ｔ＝０、すなわちＴｂ＝Ｔａ）と判定した場合、前回と同じ処理を行う（ステップＳ４０６）。

【0091】

つまり、送信制御部７０は、前回のステップＳ４０２の処理において、混雑度合い判定用時間情報Ｔが０よりも小さい（Ｔ＜０、すなわちＴｂ＜Ｔａ）と判定した場合、前述のステップＳ４０３～Ｓ４０５の処理を行う。一方、送信制御部７０は、前回のステップＳ４０２の処理において、混雑度合い判定用時間情報Ｔが０よりも大きい（Ｔ＞０、すなわちＴｂ＞Ｔａ）と判定した場合、映像ファイル送信部７２及びキーワード受信部６７に対する通知を行わない。

【0092】

これにより、当該データ送受信装置２におけるインターネット３０の混雑度合いがデータ送受信装置３と同じであるものと判断される。つまり、当該データ送受信装置２のラウンドトリップタイムとデータ送受信装置３のラウンドトリップタイムとが同じであると判断される。そして、前回の処理と同様に、データ送受信装置３からクラウドサーバ４への映像ファイルの送信処理が行われるか、または、当該データ送受信装置２からクラウドサーバ４への映像ファイルの送信処理が行われる。

【0093】

尚、送信制御部７０は、ステップＳ４０２において、混雑度合い判定用時間情報Ｔが０である（Ｔ＝０、すなわちＴｂ＝Ｔａ）と判定した場合、混雑度合い判定用時間情報Ｔが０よりも小さい（Ｔ＜０、すなわちＴｂ＜Ｔａ）ときの処理、または混雑度合い判定用時間情報Ｔが０よりも大きい（Ｔ＞０、すなわちＴｂ＞Ｔａ）ときの処理のうちのいずれか一方を行うようにすればよい。例えば送信制御部７０は、これらの処理のうち予め設定された処理を行う。

【0094】

図３に戻って、発声ファイル送信部７１は、発声ファイル生成部５４から発声ファイルを入力し、発声ファイルをデータ送受信装置３へ送信する。

【0095】

これにより、人１２の発声ファイルはデータ送受信装置３へ送信され、データ送受信装置３は、人１２の発声ファイルを遠隔発声ファイルとして受信する。

【0096】

映像ファイル送信部７２は、映像ファイル取得部６０から映像ファイルを入力すると共に、送信制御部７０から送信停止指示または送信再開指示を入力する。映像ファイル送信部７２は、初期処理の際に、映像ファイルをクラウドサーバ４へ送信する。そして、映像ファイル送信部７２は、初期処理の後の時間Ｎ毎のタイミングで、映像ファイルをクラウドサーバ４へ送信する処理、送信停止指示を入力した場合の処理、または送信再開指示を入力した場合の映像ファイルをクラウドサーバ４へ送信する処理を行う。

【0097】

映像ファイル送信部７２は、初期処理の後の時間Ｎ毎のタイミングで、送信制御部７０から送信停止指示を入力した場合、クラウドサーバ４への映像ファイルの送信処理を停止する。一方、映像ファイル送信部７２は、初期処理の後の時間Ｎ毎のタイミングで、送信制御部７０から送信再開指示を入力した場合、クラウドサーバ４への映像ファイルの送信処理を再開する。映像ファイル送信部７２は、映像ファイルをクラウドサーバ４へ送信したときに、送信開始を映像ファイル送信時刻取得部６９に出力する。

【0098】

遠隔時間情報取得部７３は、時計６２の時刻に基づいて、後述する図５に示す当該送受信処理部５９による処理のスタート（ステップＳ５０１の処理）から時間Ｎ経過したときに、例えば遠隔時間情報Ｔｂの送信のリクエストをデータ送受信装置３へ送信する。そして、遠隔時間情報取得部７３は、データ送受信装置３から遠隔時間情報Ｔｂを受信し、遠隔時間情報Ｔｂを時間比較部６４に転送する。前述のとおり、遠隔時間情報Ｔｂは、データ送受信装置３において、当該データ送受信装置２と同様の処理により前記式（１）にて算出された時間情報Ｔａである。

【0099】

時間情報送信部７４は、時間比較部６４から時間情報Ｔａを入力し、例えばデータ送受信装置３からの遠隔時間情報Ｔｂの送信のリクエストに従い、時間情報Ｔａをデータ送受信装置３へ送信する。これにより、時間情報Ｔａはデータ送受信装置３へ送信され、データ送受信装置３は、時間情報Ｔａを遠隔時間情報Ｔｂとして受信する。この場合、データ送受信装置３は、後述する図５に示すデータ送受信装置３の送受信処理部５９による処理のスタート（ステップＳ５０１の処理）から時間Ｎ経過したときに、遠隔時間情報Ｔｂの送信のリクエストを当該データ送受信装置２へ送信する。

【0100】

（送受信処理部５９による映像ファイルの送信、送信停止及び送信再開処理等）
次に、図３に示した送受信処理部５９による映像ファイルの送信、送信停止及び送信再開処理等について説明する。図５は、送受信処理部５９によるこれらの処理の例を説明するフローチャートであり、図６は、そのタイミングを説明する図である。

【0101】

図６に示すように、送受信処理部５９は、予め設定された時間Ｎを単位として、時間Ｎの区間毎に「映像ファイル送信」、「送信停止」及び「送信再開」のうちのいずれかの処理にて動作する。

【0102】

尚、図１に示したデータ送受信システム１において、データ送受信装置２の送受信処理部５９による動作と、データ送受信装置３の送受信処理部５９による動作とは、同期しているものとする。データ送受信装置２及びデータ送受信装置３は、例えばＮＴＰ（Network Time Protocol）を用いてそれぞれの時計６２を合わせる等して同期を実現し、両装置の送受信処理部５９による処理のスタートのタイミングを合わせる。

【0103】

送受信処理部５９は、当該送受信処理部５９の処理をスタートすると、映像ファイル生成部５２から映像ファイルを取得し（ステップＳ５０１）、映像ファイルをクラウドサーバ４へ送信する（ステップＳ５０２）。送受信処理部５９は、映像ファイルを送信したときの時刻を送信開始時刻ｔ１として取得する（ステップＳ５０３）。

【0104】

送受信処理部５９は、クラウドサーバ４からキーワードを受信し（ステップＳ５０４）、キーワードを受信したときの時刻を受信完了時刻ｔ２として取得する（ステップＳ５０５）。そして、送受信処理部５９は、前記式（１）にて、受信完了時刻ｔ２から送信開始時刻ｔ１を減算することで時間情報Ｔａを求める（ステップＳ５０６）。

【0105】

送受信処理部５９は、当該処理のスタート（ステップＳ５０１における映像ファイルを取得して）から時間Ｎの間待機する（ステップＳ５０７）。そして、送受信処理部５９は、時間Ｎが経過したときに、遠隔時間情報Ｔｂの送信のリクエストをデータ送受信装置３へ送信し、遠隔時間情報Ｔｂを受信する（ステップＳ５０８）。

【0106】

送受信処理部５９は、遠隔時間情報Ｔｂから時間情報Ｔａを減算することで、混雑度合い判定用時間情報Ｔを求める（ステップＳ５０９）。送受信処理部５９は、混雑度合い判定用時間情報Ｔが０よりも小さい（Ｔ＜０、すなわちＴｂ＜Ｔａ）、０よりも大きい（Ｔ＞０、すなわちＴｂ＞Ｔａ）、または０である（Ｔ＝０、すなわちＴｂ＝Ｔａ）を判定する（ステップＳ５１０）。このステップＳ５１０の処理は、図４のステップＳ４０２に対応している。この場合のステップＳ５０１～Ｓ５１０の処理の区間は、図６の時刻０～時刻Ｎまでの間の区間に相当し、「映像ファイル送信」の動作が行われる。

【0107】

送受信処理部５９は、ステップＳ５１０において、混雑度合い判定用時間情報Ｔが０よりも小さい（Ｔ＜０、すなわちＴｂ＜Ｔａ）と判定した場合、クラウドサーバ４への映像ファイルの送信処理を停止する（ステップＳ５１１）。このステップＳ５１１及び後述するステップＳ５１３の処理は、図４のステップＳ４０３～Ｓ４０５に対応している。

【0108】

送受信処理部５９は、キーワードの送信のリクエストをデータ送受信装置３へ送信し、データ送受信装置３からキーワードを受信する（ステップＳ５１２）。

【0109】

送受信処理部５９は、ステップＳ５０８における遠隔時間情報Ｔｂの送信のリクエストをデータ送受信装置３へ送信してから時間Ｎの間待機する（ステップＳ５１３）。そして、送受信処理部５９は、時間Ｎが経過したときに、当該送受信処理部５９の処理が完了していない場合（ステップＳ５１５：Ｎ）、スタートへ移行して送信を再開し、ステップＳ５０１～Ｓ５１０の処理を行う。

【0110】

この場合のステップＳ５１１～Ｓ５１３の処理の区間は、図６の時刻Ｎ～時刻２Ｎまでの間の区間に相当し、「送信停止」の動作が行われる。そして、その後のステップＳ５０１～Ｓ５１０の処理の区間は、図６の時刻２Ｎ～時刻３Ｎまでの間の区間に相当し、「送信再開」の動作が行われる。

【0111】

一方、送受信処理部５９は、ステップＳ５１０において、混雑度合い判定用時間情報Ｔが０よりも大きい（Ｔ＞０、すなわちＴｂ＞Ｔａ）と判定し、当該送受信処理部５９の処理が完了していない場合（ステップＳ５１５：Ｎ）、スタートへ移行する。そして、送受信処理部５９は、ステップＳ５０１～Ｓ５１０の処理を行う。この場合のステップＳ５０１～Ｓ５１０の処理の区間は、図６の時刻３Ｎ～時刻４Ｎまでの間の区間に相当し、「映像ファイル送信」の動作が行われる。

【0112】

また、送受信処理部５９は、ステップＳ５１０において、混雑度合い判定用時間情報Ｔが０である（Ｔ＝０、すなわちＴｂ＝Ｔａ）と判定した場合、前回と同じ処理を行う（ステップＳ５１４）。

【0113】

つまり、送受信処理部５９は、前回のステップＳ５１０の処理において、混雑度合い判定用時間情報Ｔが０よりも小さい（Ｔ＜０、すなわちＴｂ＜Ｔａ）と判定した場合、前述のステップＳ５１１～Ｓ５１３の処理を行う。一方、送受信処理部５９は、前回のステップＳ５１０の処理において、混雑度合い判定用時間情報Ｔが０よりも大きい（Ｔ＞０、すなわちＴｂ＞Ｔａ）と判定した場合、ステップＳ５１５へ移行する。

【0114】

図６の例では、前回のステップＳ５１０の処理において、混雑度合い判定用時間情報Ｔが０よりも大きい（Ｔ＞０、すなわちＴｂ＞Ｔａ）と判定されている。このため、送受信処理部５９は、ステップＳ５１５へ移行し、当該送受信処理部５９の処理が完了していない場合（ステップＳ５１５：Ｎ）、スタートへ移行して送信を継続し、ステップＳ５０１～Ｓ５１０の処理を行う。この場合のステップＳ５０１～Ｓ５１０の処理の区間は、図６の時刻４Ｎ～時刻５Ｎまでの間の区間に相当し、「映像ファイル送信」の動作が行われる。

【0115】

このように、図１に示したデータ送受信システム１において、データ送受信装置２，３に備えたそれぞれの送受信処理部５９は、時間Ｎの区間毎に「映像ファイル送信」、「送信停止」及び「送信再開」のうちのいずれかの処理にて独立して動作する。この場合の動作は同期している。

【0116】

それぞれの送受信処理部５９は、初期処理の時間Ｎの区間において「映像ファイル送信」の処理にて動作する。そして、送受信処理部５９は、前記式（２）にて、自らの装置におけるインターネット３０の混雑度合いを示す混雑度合い判定用時間情報Ｔを算出する。

【0117】

送受信処理部５９は、混雑度合い判定用時間情報Ｔに基づき、自らの装置が他の装置よりも混雑度合いが低いと判定した場合、「映像ファイル送信」の処理にて動作を継続する。一方、送受信処理部５９は、自らの装置が他の装置よりも混雑度合いが高いと判定した場合、映像ファイルの送信処理を停止する「送信停止」、及び送信処理を再開する「送信再開」の処理にて動作する。

【0118】

図７は、データ送受信装置２，３による映像ファイルのアップロード送信期間を説明するイメージ図であり、本発明の実施形態の効果を説明する図でもある。

【0119】

前述のとおり、データ送受信装置２，３は、それぞれ映像ファイルをクラウドサーバ４へ送信する役割を担っている。映像ファイルをクラウドサーバ４へ送信する役割を担う期間（映像ファイルの送信期間）には、図７に示すとおり、両装置が同時に当該役割を担う期間Ｔ１，Ｔ３，Ｔ５、及びいずれか一方の装置が当該役割を担う期間Ｔ２，Ｔ４，Ｔ６がある。

【0120】

映像ファイルを送信する役割を担うか否かは、データ送受信装置２，３が接続されるインターネット３０の混雑度合いに基づいて判断される。インターネット３０の混雑度合いは、映像ファイルの送信を開始してからキーワードを受信するまでの間の時間を基準として、前記式（２）の混雑度合い判定用時間情報Ｔに基づき判断される（図４のステップＳ４０２、図５のステップＳ５１０）。

【0121】

一方で、インターネット３０の輻輳状況は時々刻々と変化するため、映像ファイルの送信を停止した後、時間Ｎが経過したときに送信停止が解除され、送信が再開される（図４のステップＳ４０３～Ｓ４０５、図５のステップＳ５１１，Ｓ５１３）。そして、インターネット３０の混雑度合いが判断される。このような動作が繰り返される。

【0122】

期間Ｔ１，Ｔ３，Ｔ５は、データ送受信装置２，３が映像ファイルを同時に送信する期間である。期間Ｔ２，Ｔ４は、データ送受信装置３のみが映像ファイルを送信する期間であり、データ送受信装置２は映像ファイルを送信しない。また、期間Ｔ６は、データ送受信装置２のみが映像ファイルを送信する期間であり、データ送受信装置３は映像ファイルを送信しない。

【0123】

図７に示した期間Ｔ２，Ｔ４，Ｔ６は、このような動作により、アップロードトラフィックの発生が低減されることを示している。これにより、データ送受信装置２，３の両方から常に映像ファイルを送信する必要はなく、いずれか一方から映像ファイルを送信すれば済み、期間Ｔ２，Ｔ４，Ｔ６において、クラウドサービスにかかるコストを低減することができる。

【0124】

図８は、両方のデータ送受信装置２，３のアップロードトラフィックが発生する期間Ｔ１，Ｔ３，Ｔ５のデータフロー（ａ）を説明する図である。期間Ｔ１，Ｔ３，Ｔ５は、初期処理の期間（両データ送受信装置２，３にて「映像ファイル送信」の期間）、または、データ送受信装置２，３の一方における「送信再開」の期間及び他方における「映像ファイル送信」の期間である。

【0125】

期間Ｔ１，Ｔ３，Ｔ５においては、データ送受信装置２，３は、映像ファイルをクラウドサーバ４へ送信し、クラウドサーバ４からキーワードを受信する。また、データ送受信装置２，３は、対応するデータ送受信装置３，２から、データ送受信装置３，２における時間情報Ｔａを遠隔時間情報Ｔｂとして受信する。さらに、データ送受信装置２，３は、発声ファイルを遠隔発声ファイルとし、対応するデータ送受信装置３，２へ送信する。

【0126】

図９は、一方のデータ送受信装置２のアップロードトラフィックが発生しない期間Ｔ２，Ｔ４のデータフロー（ｂ）を説明する図である。期間Ｔ２，Ｔ４は、データ送受信装置２におけるインターネット３０の混雑度合いがデータ送受信装置３よりも高いと判定された場合の期間である。つまり、データ送受信装置２における「送信停止」の期間、データ送受信装置３における「映像ファイル送信」の期間である。

【0127】

期間Ｔ２，Ｔ４において、データ送受信装置３は、映像ファイルをクラウドサーバ４へ送信し、クラウドサーバ４からキーワードを受信し、キーワードをデータ送受信装置２へ送信する。この場合、データ送受信装置２は、映像ファイルを送信せず、データ送受信装置３からキーワードを受信する。また、データ送受信装置３は、データ送受信装置２から、データ送受信装置２における時間情報Ｔａを遠隔時間情報Ｔｂとして受信する。さらに、データ送受信装置２，３は、発声ファイルを遠隔発声ファイルとして、対応するデータ送受信装置３，２へ送信する。

【0128】

図１０は、他方のデータ送受信装置３のアップロードトラフィックが発生しない期間Ｔ６のデータフロー（ｃ）を説明する図である。期間Ｔ６は、データ送受信装置２におけるインターネット３０の混雑度合いがデータ送受信装置３よりも低いと判定された場合の期間である。つまり、データ送受信装置２における「映像ファイル送信」の期間、データ送受信装置３における「送信停止」の期間である。

【0129】

期間Ｔ６において、データ送受信装置２は、映像ファイルをクラウドサーバ４へ送信し、クラウドサーバ４からキーワードを受信し、キーワードをデータ送受信装置３へ送信する。この場合、データ送受信装置３は、映像ファイルを送信せず、データ送受信装置２からキーワードを受信する。また、データ送受信装置２は、データ送受信装置３から、データ送受信装置３における時間情報Ｔａを遠隔時間情報Ｔｂとして受信する。さらに、データ送受信装置２，３は、発声ファイルを遠隔発声ファイルとして、対応するデータ送受信装置３，２へ送信する。

【0130】

以上のように、本発明の実施形態のデータ送受信装置２によれば、映像取得部５１は、ディスプレイ１３に表示された映像のデータを取得し、映像ファイル生成部５２は、所定の映像ファイル形式の映像ファイルを生成する。発声取得部５３は、人１２の発声のデータを取得し、発声ファイル生成部５４は、所定の音声ファイル形式の発声ファイルを生成する。

【0131】

送受信処理部５９は、映像ファイルをクラウドサーバ４へ送信し、クラウドサーバ４からキーワードを受信することで、当該データ送受信装置２におけるラウンドトリップタイムに相当する時間情報Ｔａを算出する。また、送受信処理部５９は、発声ファイルをデータ送受信装置３へ送信し、データ送受信装置３から遠隔発声ファイルを受信する。

【0132】

送受信処理部５９は、当該送受信処理部５９の処理のスタート時から時間Ｎだけ待機した後、データ送受信装置３から、データ送受信装置３におけるラウンドトリップタイムに相当する遠隔時間情報Ｔｂを受信する。そして、送受信処理部５９は、遠隔時間情報Ｔｂから時間情報Ｔａを減算することで、混雑度合い判定用時間情報Ｔを算出する。

【0133】

送受信処理部５９は、混雑度合い判定用時間情報Ｔ＜０の場合、クラウドサーバ４への映像ファイルの送信処理を停止し、データ送受信装置３からキーワードを受信し、時間Ｎの間待機した後、映像ファイルの送信処理を再開する。一方、送受信処理部５９は、混雑度合い判定用時間情報Ｔ＞０の場合、クラウドサーバ４への映像ファイルの送信処理を継続する。また、送受信処理部５９は、混雑度合い判定用時間情報Ｔ＝０の場合、前回と同じ処理を行う。

【0134】

遠隔発声再生部５５は、送受信処理部５９が受信した遠隔発声ファイルを再生する。これにより、場所Ａに存在する人１２は、遠隔の場所Ｂに存在する人２２の発声を聞くことができる。発話文生成部５６は、送受信処理部５９が受信したキーワードに基づいた発話文を生成し、発話文再生部５８は、発話文を再生する。これにより、場所Ａに存在する人１２は、キーワードに基づいた発話文を聞くことができ、視聴している映像に関連する情報を得ることができる。

【0135】

このように、インターネット３０の混雑度合いの低いデータ送受信装置２，３のいずれか一方から映像ファイルが送信され、混雑度合いの高い他方からは映像ファイルが送信されない。このため、データ送受信装置２，３の両方から常に映像ファイルを送信する必要はなく、図７に示した期間Ｔ２，Ｔ４，Ｔ６のように、いずれか一方のみから映像ファイルを送信する期間が存在することとなる。つまり、映像ファイルをクラウドサーバ４へ送信するアップロードトラフィックの発生を低減することができ、クラウドサービスにかかるコストを低減することができる。

【0136】

また、本発明の実施形態では、インターネット３０の混雑度合いの低いデータ送受信装置２，３のいずれか一方が映像ファイルをクラウドサーバ４へ送信し、クラウドサーバ４からキーワードを受信して他方へ転送するようにした。このキーワードは、映像ファイルのように大容量ではない。このため、データ送受信装置２，３は、混雑度合いの低いインターネット３０の環境の下でキーワードを迅速に取得することができ、キーワードの受信遅れに伴うロボット１１，２１による発話のタイミングの遅れを抑制することができる。つまり、ロボット１１，２１は、ディスプレイ１３，２３に表示される同一の映像に対してさほど遅れることなく迅速なタイミングで、当該ロボット１１，２１間でほぼ同時に、映像に関連する同じキーワードに基づいた発話を行うことができる。

【0137】

このため、人１２，２２の会話とロボット１１，２１の発話とは、大きくずれることがなく、ロボット１１，２１の発話から受ける違和感を緩和することができ、同一の映像を視聴している人１２，２２間で会話の活性化を図ることができる。

【0138】

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。

【0139】

（時間情報Ｔａ及び遠隔時間情報Ｔｂに基づく混雑度合いの判定）
例えば前記実施形態において、データ送受信装置２の送受信処理部５９の送信制御部７０は、混雑度合い判定用時間情報Ｔに基づいて、当該データ送受信装置２における混雑度合いを判定するようにした。これに対し、送信制御部７０は、時間情報Ｔａ及び遠隔時間情報Ｔｂに基づいて、当該データ送受信装置２における混雑度合いを判定するようにしてもよい。

【0140】

（場所Ａにおける人１２，２２の発声及びロボット１１の発話の重なりの回避）
また、前記実施形態において、データ送受信装置２の発声取得部５３は、場所Ａに存在する人１２の発声のデータを取得するようにした。また、遠隔発声再生部５５は、遠隔の場所Ｂに存在する人２２の発声の遠隔発声ファイルを再生し、発話文再生部５８は、映像に関連するキーワードに基づいた発話文を再生するようにした。

【0141】

ここで、人１２の発声とキーワードに基づいた発話文の再生とが同時に行われる場合があり、また、人２２の発声の遠隔発声ファイルの再生とキーワードに基づいた発話文の再生とが同時に行われる場合もある。これでは、人１２は、当該人１２の発声とロボット１１の発話とが重なってしまい、ロボット１１の発話を聞くことができない可能性があり、また、人２２の発声とロボット１１の発話とが重なってしまい、これらを聞き分けることができない可能性がある。

【0142】

この問題を解決するために、発声取得部５３は、人１２の発声のデータを取得しているときに、取得中であることを示す信号（取得中信号）を発話文再生部５８に出力する。また、遠隔発声再生部５５は、人２２の発声の遠隔発声ファイルを再生しているときに、再生中であることを示す信号（再生中信号）を発話文再生部５８に出力する。

【0143】

発話文再生部５８は、発話文の再生を開始する際に、発声取得部５３から取得中信号を入力している場合、取得中信号を入力しなくなるまで待機する。また、発話文再生部５８は、発話文の再生を開始する際に、遠隔発声再生部５５から再生中信号を入力している場合、再生中信号を入力しなくなるまで待機する。そして、発話文再生部５８は、待機後に取得中信号及び再生中信号を入力していない場合、発話文の再生を開始する。

【0144】

これにより、発話文再生部５８による発話文の再生は、発声取得部５３による人１２の発声のデータの取得が完了するまで待った後に行われ、また、遠隔発声再生部５５による人２２の発声の遠隔発声ファイルの再生が完了するまで待った後に行われる。

【0145】

つまり、人１２，２２の発声及びロボット１１の発話の時間的な重なりを回避することができる。したがって、人１２は、ロボット１１の発話及び人２２の発声を確実に聞くことができ、映像を視聴している人１２，２２間の会話の活性化を一層図ることができる。

【0146】

（時間Ｎの変更）
また、前記実施形態において、データ送受信装置２の送受信処理部５９の送信制御部７０は、予め設定された時間Ｎを単位として、時間Ｎの区間毎に「映像ファイル送信」、「送信停止」及び「送信再開」のうちのいずれかの処理にて動作するようにした。この場合の時間Ｎは固定であるが、可変とするようにしてもよい。

【0147】

例えば送信制御部７０は、混雑度合い判定用時間情報Ｔの絶対値が予め設定された閾値よりも大きい場合、予め設定された時間Ｎよりも大きい値を新たな時間Ｎに設定する。その後、送信制御部７０は、混雑度合い判定用時間情報Ｔの絶対値が前記閾値以下に変化した場合、元の時間Ｎ（予め設定された時間Ｎ）に戻す。

【0148】

また、送信制御部７０は、混雑度合い判定用時間情報Ｔの絶対値と複数の異なる閾値とを用いた閾値処理にて、予め設定された時間Ｎよりも大きい値を新たな時間Ｎに設定することで、新たな時間Ｎを閾値に応じて段階的に変化させるようにしてもよい。また、送信制御部７０は、新たな時間Ｎが混雑度合い判定用時間情報Ｔの絶対値に比例するように、予め設定された時間Ｎと所定の最大値との間で、新たなＮを変化させるようにしてもよい。

【0149】

これにより、例えば場所Ａに設置されたデータ送受信装置２に接続されるインターネット３０の回線と、場所Ｂに設置されたデータ送受信装置３に接続されるインターネット３０の回線とが異なり、回線速度の差が明らかである場合（例えば一方が光回線、他方がＡＤＳＬの場合）、インターネット３０の混雑度合いを判定する頻度を低くすることとができる。つまり、回線速度の差が明らかな場合は、映像ファイルを送信してキーワードを受信し、混雑度合い判定用時間情報Ｔを算出する等の「映像ファイル送信」、「送信停止」及び「送信再開」の処理の頻度を低くし、データ送受信装置２，３の処理負荷を低減することができる。

【0150】

尚、データ送受信装置２，３は、設定した新たな時間Ｎをメモリに記憶するようにしてもよい。この場合、データ送受信装置２，３によるデータ送受信システム１の処理が再開したときに、データ送受信装置２，３は、メモリから新たな時間Ｎを読み出し、新たな時間Ｎを用いて、「映像ファイル送信」の処理を開始する。

【0151】

ここで、データ送受信装置２，３に接続されたインターネット３０の回線が光回線、ＡＤＳＬ等のように固定である場合には、それぞれのインターネット３０の環境の優劣は明確であり、混雑度合いはさほど変化しない。このため、データ送受信装置２，３は、インターネット３０の環境の優劣を反映した新たな時間Ｎをメモリに記憶しておくことで、当該新たな時間Ｎを、処理の開始から用いることができ、効率的な処理を実現することができる。

【0152】

（キーワードに基づいた発話文の送受信）
また、前記実施形態において、データ送受信装置２の送受信処理部５９は、クラウドサーバ４からキーワードを受信した場合、受信したキーワードをデータ送受信装置３へ送信するようにした。これに対し、送受信処理部５９は、キーワードの代わりに、発話文生成部５６により生成された発話文をデータ送受信装置３へ送信するようにしてもよい。

【0153】

具体的には、データ送受信装置２の送受信処理部５９のキーワード受信部６７は、クラウドサーバ４からキーワードを受信した場合、キーワードを、キーワード転送部６１を介して発話文生成部５６に出力する。発話文生成部５６は、キーワード受信部６７からキーワード転送部６１を介してキーワードを入力し、キーワードに基づいて発話文を生成し、キーワードに基づいた発話文を、送受信処理部５９に備えた発話文送信部（図３には図示せず）に出力する。発話文送信部は、発話文生成部５６からキーワードに基づいた発話文を入力してデータ送受信装置３へ送信する。

【0154】

また、データ送受信装置３がクラウドサーバ４から受信したキーワードに基づいて発話文を生成した場合には、データ送受信装置２の送受信処理部５９の発話文受信部（図３には図示せず）は、データ送受信装置３からキーワードに基づいた発話文を受信する。そして、発話文受信部は、キーワードに基づいた発話文を発話文再生部５８に出力する。発話文再生部５８は、発話文受信部から入力したキーワードに基づいた発話文を再生する。

【0155】

これにより、キーワードと同様に、発話文自体のデータ量は少ないため、回線が混雑することはない。また、データ送受信装置２は、データ送受信装置３からキーワードに基づいた発話文を受信した場合には、これをそのまま再生すればよく、キーワードから発話文を生成する必要がないため、処理負荷を低減することができる。尚、データ送受信装置３についてもデータ送受信装置２と同様の処理が行われる。

【0156】

尚、本発明の実施形態によるデータ送受信装置２，３のハードウェア構成としては、通常のコンピュータを使用することができる。データ送受信装置２，３は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

【0157】

データ送受信装置２，３に備えた映像取得部５１、映像ファイル生成部５２、発声取得部５３、発声ファイル生成部５４、遠隔発声再生部５５、発話文生成部５６、テンプレート保持部５７、発話文再生部５８及び送受信処理部５９の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

【0158】

これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

【符号の説明】

【0159】

１ データ送受信システム
２ データ送受信装置
３ データ送受信装置（遠隔データ送受信装置）
４ クラウドサーバ
１１ ロボット（第１のロボット）
１２ 人（第１のユーザ）
１３ ディスプレイ（第１のディスプレイ）
２１ ロボット（第２のロボット）
２２ 人（第２のユーザ）
２３ ディスプレイ（第２のディスプレイ）
３０ インターネット
５１ 映像取得部
５２ 映像ファイル生成部
５３ 発声取得部
５４ 発声ファイル生成部
５５ 遠隔発声再生部（発声再生部）
５６ 発話文生成部
５７ テンプレート保持部
５８ 発話文再生部
５９ 送受信処理部
６０ 映像ファイル取得部
６１ キーワード転送部
６２ 時計
６３ 時間算出部
６４ 時間比較部
６５ 遠隔発声ファイル受信部
６６ キーワード受信時刻取得部
６７ キーワード受信部
６８ キーワード送信部
６９ 映像ファイル送信時刻取得部
７０ 送信制御部
７１ 発声ファイル送信部
７２ 映像ファイル送信部
７３ 遠隔時間情報取得部
７４ 時間情報送信部
ｔ１ 送信開始時刻
ｔ２ 受信完了時刻
Ｔａ 時間情報
Ｔｂ 遠隔時間情報
Ｔ 混雑度合い判定用時間情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】