特開 2023-168879 通信システム、クライアント端末、通信方法及び通信プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023168879

(43)【公開日】2023-11-29

(54)【発明の名称】通信システム、クライアント端末、通信方法及び通信プログラム

(51)【国際特許分類】

   H04M 11/00 20060101AFI20231121BHJP

【ＦＩ】

H04M11/00 302

【審査請求】未請求

【請求項の数】26

【出願形態】ＯＬ

(21)【出願番号】P 2022080245

(22)【出願日】2022-05-16

(71)【出願人】

【識別番号】000002853

【氏名又は名称】ダイキン工業株式会社

(71)【出願人】

【識別番号】513190830

【氏名又は名称】Ｆａｉｒｙ Ｄｅｖｉｃｅｓ株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】前川 博志

(72)【発明者】

【氏名】藤野 真人

【テーマコード（参考）】

5K201

【Ｆターム（参考）】

5K201AA01

5K201CA01

5K201CA06

5K201EC06

5K201FA02

(57)【要約】

【課題】動画像データ及び音声データを送受信する通信システムにおいて記憶される動画像データ及び音声データの品質を向上させる。
【解決手段】クライアント端末とサーバ装置とを有する通信システムであって、前記クライアント端末の制御部は、前記クライアント端末が取得した画像データまたは音声データを、前記サーバ装置にリアルタイムに送信し、前記クライアント端末が取得した前記画像データまたは音声データを、第１の画像データまたは第１の音声データとして第１の記憶部に記憶し、前記サーバ装置の制御部は、前記第１の記憶部に記憶された前記第１の画像データまたは第１の音声データのうち、前記サーバ装置が取得する必要がある範囲を特定し、前記特定した範囲の前記第１の画像データまたは第１の音声データの送信を、前記クライアント端末に要求する。
【選択図】図１

【特許請求の範囲】

【請求項1】

クライアント端末とサーバ装置とを有する通信システムであって、
前記クライアント端末の制御部は、
前記クライアント端末が取得した画像データまたは音声データを、前記サーバ装置にリアルタイムに送信し、
前記クライアント端末が取得した前記画像データまたは音声データを、第１の画像データまたは第１の音声データとして第１の記憶部に記憶し、
前記サーバ装置の制御部は、
前記第１の記憶部に記憶された前記第１の画像データまたは第１の音声データのうち、前記サーバ装置が取得する必要がある範囲を特定し、
前記特定した範囲の前記第１の画像データまたは第１の音声データの送信を、前記クライアント端末に要求する、
通信システム。

【請求項2】

前記サーバ装置の制御部は、前記サーバ装置が取得する必要がある時間範囲を特定する請求項１に記載の通信システム。

【請求項3】

前記サーバ装置の制御部は、
前記リアルタイムに送信された前記画像データまたは音声データを、第２の画像データまたは第２の音声データとして第２の記憶部に記憶し、
前記クライアント端末から送信された、前記特定した時間範囲の前記第１の画像データまたは第１の音声データを用いて、前記第２の画像データまたは第２の音声データの対応する時間範囲を差し替える、
請求項２に記載の通信システム。

【請求項4】

前記サーバ装置の制御部は、
前記リアルタイムに送信された画像データまたは音声データに対して、品質検査または属性検査のいずれか１つ以上の検査を行い、
前記検査の結果に基づいて、前記サーバ装置が取得する必要がある時間範囲を特定する、請求項３に記載の通信システム。

【請求項5】

前記サーバ装置の制御部は、
前記リアルタイムに前記画像データまたは音声データが送信された際の通信品質に関する情報、または、前記リアルタイムに送信された前記画像データまたは音声データのデータ品質に関する情報のいずれか１つ以上に基づいて、前記品質検査を行う、請求項４に記載の通信システム。

【請求項6】

前記サーバ装置の制御部は、
前記品質検査の結果に基づいて、前記サーバ装置が取得する必要がある時間範囲を特定し、前記属性検査の結果に基づいて、前記特定した時間範囲を絞り込む、請求項４に記載の通信システム。

【請求項7】

前記サーバ装置の制御部は、
前記リアルタイムに送信された前記画像データのうち、所定の条件を満たす画像データのフレーム間の変化に関する情報に基づいて、前記属性検査を行う、請求項４に記載の通信システム。

【請求項8】

前記サーバ装置の制御部は、
前記品質検査または属性検査のいずれか１つ以上の検査を行う際に用いる判定パラメータを、前記クライアント端末から取得する、請求項４乃至７のいずれか１項に記載の通信システム。

【請求項9】

前記クライアント端末の制御部と前記サーバ装置の制御部との間で、所定周期ごとに時刻同期処理が行われる、請求項１に記載の通信システム。

【請求項10】

前記第１の記憶部は、
前記クライアント端末が取得した前記画像データまたは音声データを、前記第１の画像データまたは第１の音声データとして記憶する際、タイムスタンプを記憶する、請求項１に記載の通信システム。

【請求項11】

前記クライアント端末の制御部は、
特定された時間範囲の前記第１の画像データまたは第１の音声データを、前記サーバ装置に送信する、請求項３に記載の通信システム。

【請求項12】

前記クライアント端末の制御部は、
前記リアルタイムに送信した前記画像データまたは音声データに対して、品質検査または属性検査のいずれか１つ以上の検査を行い、
前記検査の結果に基づいて、前記特定された時間範囲の前記第１の画像データまたは第１の音声データを、前記サーバ装置に送信するか否か判定する、
請求項１１に記載の通信システム。

【請求項13】

前記クライアント端末の制御部は、
前記第１の記憶部に記憶された前記第１の画像データまたは第１の音声データに対して属性検査を行う、請求項１２に記載の通信システム。

【請求項14】

前記クライアント端末の制御部は、
前記クライアント端末に付属するセンサのセンサ情報を用いて、前記品質検査または属性検査のいずれか１つ以上の検査を行う、請求項１２に記載の通信システム。

【請求項15】

前記クライアント端末の制御部は、
前記特定された時間範囲の送信が要求された場合でも、前記検査の結果に基づいて送信しないと判定した場合には、前記特定された時間範囲の前記第１の画像データまたは第１の音声データを、前記サーバ装置に送信しない、請求項１２に記載の通信システム。

【請求項16】

前記クライアント端末の制御部は、
前記特定された時間範囲の送信が要求された場合であって、前記検査の結果に基づいて送信するか否かを判定した場合に、判定結果を出力し、
前記判定結果を出力したことに応じて送信指示が入力された場合、前記特定された時間範囲の前記第１の画像データまたは第１の音声データを、前記サーバ装置に送信する、請求項１２に記載の通信システム。

【請求項17】

制御部を有し、サーバ装置と通信するクライアント端末であって、
前記制御部は、
前記クライアント端末が取得した画像データまたは音声データを、前記サーバ装置にリアルタイムに送信し、
前記クライアント端末が取得した前記画像データまたは音声データを記憶部に記憶し、
前記リアルタイムに送信した前記画像データまたは音声データに対して、品質検査または属性検査のいずれか１つ以上の検査を行い、
前記検査の結果に基づいて、前記記憶部に記憶された前記画像データまたは音声データを、前記サーバ装置に送信する、
クライアント端末。

【請求項18】

前記制御部は、
前記画像データまたは音声データを前記記憶部に記憶する際にタイムスタンプを記憶する、請求項１７に記載のクライアント端末。

【請求項19】

前記検査の結果に基づいて、前記記憶部に記憶された前記画像データまたは音声データを、前記サーバ装置に送信するか否かを判定する、請求項１７に記載のクライアント端末。

【請求項20】

前記制御部は、
前記記憶部に記憶された前記画像データまたは音声データに対して属性検査を行う、請求項１７に記載のクライアント端末。

【請求項21】

前記制御部は、
クライアント端末に付属するセンサのセンサ情報を用いて、前記品質検査または属性検査のいずれか１つ以上の検査を行う、請求項１７に記載のクライアント端末。

【請求項22】

前記制御部は、
前記検査の結果に基づいて、前記画像データまたは音声データを前記サーバ装置に送信しないと判定した場合、前記画像データまたは音声データを前記サーバ装置に送信しない、請求項１９に記載のクライアント端末。

【請求項23】

前記制御部は、
前記検査の結果に基づいて送信するか否かを判定した場合に、判定結果を出力し、
前記判定結果を出力したことに応じて送信指示が入力された場合、前記画像データまたは音声データを前記サーバ装置に送信する、請求項１９に記載のクライアント端末。

【請求項24】

クライアント端末とサーバ装置とを有する通信システムにおける通信方法であって、
前記クライアント端末が取得した画像データまたは音声データを、前記サーバ装置にリアルタイムに送信する通信工程と、
前記クライアント端末が取得した前記画像データまたは音声データを記憶する記憶工程と、
前記記憶工程において記憶された前記画像データまたは音声データのうち、前記サーバ装置が取得する必要がある範囲を特定する特定工程と、
前記特定工程において特定された範囲の前記画像データまたは音声データの送信を、前記クライアント端末に要求する要求工程と
を有する通信方法。

【請求項25】

サーバ装置と通信するクライアント端末における通信方法であって、
前記クライアント端末が取得した画像データまたは音声データを、前記サーバ装置にリアルタイムに送信する第１の通信工程と、
前記クライアント端末が取得した前記画像データまたは音声データを記憶する記憶工程と、
前記第１の通信工程において送信された前記画像データまたは音声データに対して、品質検査または属性検査のいずれか１つ以上の検査を行う検査工程と、
前記検査工程における検査の結果に基づいて、前記記憶工程において記憶された前記画像データまたは音声データを、前記サーバ装置に送信する第２の通信工程と
を有する通信方法。

【請求項26】

サーバ装置と通信するクライアント端末の制御部に、
前記クライアント端末が取得した画像データまたは音声データを、前記サーバ装置にリアルタイムに送信する第１の通信工程と、
前記クライアント端末が取得した前記画像データまたは音声データを記憶する記憶工程と、
前記第１の通信工程において送信された前記画像データまたは音声データに対して、品質検査または属性検査のいずれか１つ以上の検査を行う検査工程と、
前記検査工程における検査の結果に基づいて、前記記憶工程において記憶された前記画像データまたは音声データを、前記サーバ装置に送信する第２の通信工程と
を実行させるための通信プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、通信システム、クライアント端末、通信方法及び通信プログラムに関する。

【背景技術】

【0002】

動画像データ及び音声データを双方向に送受信することで、遠隔でのコミュニケーションを可能にする双方向通信システムが知られている。当該双方向通信システムでは、例えば、アーカイブ機能を用いることで、コミュニケーション中の動画像データ及び音声データを、サーバ装置に記憶することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１０７９７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記のような通信システムでは、例えば、コミュニケーション中の通信品質が劣化した場合に、サーバ装置に記憶される動画像データ及び音声データの品質も劣化することになる。

【0005】

本開示は、動画像データ及び音声データを送受信する通信システムにおいて記憶される動画像データ及び音声データの品質を向上させる。

【課題を解決するための手段】

【0006】

本開示の第１の態様は、
クライアント端末とサーバ装置とを有する通信システムであって、
前記クライアント端末の制御部は、
前記クライアント端末が取得した画像データまたは音声データを、前記サーバ装置にリアルタイムに送信し、
前記クライアント端末が取得した前記画像データまたは音声データを、第１の画像データまたは第１の音声データとして第１の記憶部に記憶し、
前記サーバ装置の制御部は、
前記第１の記憶部に記憶された前記第１の画像データまたは第１の音声データのうち、前記サーバ装置が取得する必要がある範囲を特定し、
前記特定した範囲の前記第１の画像データまたは第１の音声データの送信を、前記クライアント端末に要求する。

【0007】

本開示の第１の態様によれば、動画像データ及び音声データを送受信する通信システムにおいて記憶される動画像データ及び音声データの品質を向上させることができる。

【0008】

また、本開示の第２の態様は、第１の態様に記載の通信システムであって、
前記サーバ装置の制御部は、前記サーバ装置が取得する必要がある時間範囲を特定する。

【0009】

また、本開示の第３の態様は、第２の態様に記載の通信システムであって、
前記サーバ装置の制御部は、
前記リアルタイムに送信された前記画像データまたは音声データを、第２の画像データまたは第２の音声データとして第２の記憶部に記憶し、
前記クライアント端末から送信された、前記特定した時間範囲の前記第１の画像データまたは第１の音声データを用いて、前記第２の画像データまたは第２の音声データの対応する時間範囲を差し替える。

【0010】

また、本開示の第４の態様は、第３の態様に記載の通信システムであって、
前記サーバ装置の制御部は、
前記リアルタイムに送信された画像データまたは音声データに対して、品質検査または属性検査のいずれか１つ以上の検査を行い、
前記検査の結果に基づいて、前記サーバ装置が取得する必要がある時間範囲を特定する。

【0011】

また、本開示の第５の態様は、第４の態様に記載の通信システムであって、
前記サーバ装置の制御部は、
前記リアルタイムに前記画像データまたは音声データが送信された際の通信品質に関する情報、または、前記リアルタイムに送信された前記画像データまたは音声データのデータ品質に関する情報のいずれか１つ以上に基づいて、前記品質検査を行う。

【0012】

また、本開示の第６の態様は、第４の態様に記載の通信システムであって、
前記サーバ装置の制御部は、
前記品質検査の結果に基づいて、前記サーバ装置が取得する必要がある時間範囲を特定し、前記属性検査の結果に基づいて、前記特定した時間範囲を絞り込む。

【0013】

また、本開示の第７の態様は、第４の態様に記載の通信システムであって、
前記サーバ装置の制御部は、
前記リアルタイムに送信された前記画像データのうち、所定の条件を満たす画像データのフレーム間の変化に関する情報に基づいて、前記属性検査を行う。

【0014】

また、本開示の第８の態様は、第４乃至第７のいずれかの態様に記載の通信システムであって、
前記サーバ装置の制御部は、
前記品質検査または属性検査のいずれか１つ以上の検査を行う際に用いる判定パラメータを、前記クライアント端末から取得する。

【0015】

また、本開示の第９の態様は、第１の態様に記載の通信システムであって、
前記クライアント端末の制御部と前記サーバ装置の制御部との間で、所定周期ごとに時刻同期処理が行われる。

【0016】

また、本開示の第１０の態様は、第１の態様に記載の通信システムであって、
前記第１の記憶部は、
前記クライアント端末が取得した前記画像データまたは音声データを、前記第１の画像データまたは第１の音声データとして記憶する際、タイムスタンプを記憶する。

【0017】

また、本開示の第１１の態様は、第３の態様に記載の通信システムであって、
前記クライアント端末の制御部は、
特定された時間範囲の前記第１の画像データまたは第１の音声データを、前記サーバ装置に送信する。

【0018】

また、本開示の第１２の態様は、第１１の態様に記載の通信システムであって、
前記クライアント端末の制御部は、
前記リアルタイムに送信した前記画像データまたは音声データに対して、品質検査または属性検査のいずれか１つ以上の検査を行い、
前記検査の結果に基づいて、前記特定された時間範囲の前記第１の画像データまたは第１の音声データを、前記サーバ装置に送信するか否か判定する。

【0019】

また、本開示の第１３の態様は、第１２の態様に記載の通信システムであって、
前記クライアント端末の制御部は、
前記第１の記憶部に記憶された前記第１の画像データまたは第１の音声データに対して属性検査を行う。

【0020】

また、本開示の第１４の態様は、第１２の態様に記載の通信システムであって、
前記クライアント端末の制御部は、
前記クライアント端末に付属するセンサのセンサ情報を用いて、前記品質検査または属性検査のいずれか１つ以上の検査を行う。

【0021】

また、本開示の第１５の態様は、第１２の態様に記載の通信システムであって、
前記クライアント端末の制御部は、
前記特定された時間範囲の送信が要求された場合でも、前記検査の結果に基づいて送信しないと判定した場合には、前記特定された時間範囲の前記第１の画像データまたは第１の音声データを、前記サーバ装置に送信しない。

【0022】

また、本開示の第１６の態様は、第１２の態様に記載の通信システムであって、
前記クライアント端末の制御部は、
前記特定された時間範囲の送信が要求された場合であって、前記検査の結果に基づいて送信するか否かを判定した場合に、判定結果を出力し、
前記判定結果を出力したことに応じて送信指示が入力された場合、前記特定された時間範囲の前記第１の画像データまたは第１の音声データを、前記サーバ装置に送信する。

【0023】

また、本開示の第１７の態様は、
制御部を有し、サーバ装置と通信するクライアント端末であって、
前記制御部は、
前記クライアント端末が取得した画像データまたは音声データを、前記サーバ装置にリアルタイムに送信し、
前記クライアント端末が取得した前記画像データまたは音声データを記憶部に記憶し、
前記リアルタイムに送信した前記画像データまたは音声データに対して、品質検査または属性検査のいずれか１つ以上の検査を行い、
前記検査の結果に基づいて、前記記憶部に記憶された前記画像データまたは音声データを、前記サーバ装置に送信する。

【0024】

また、本開示の第１８の態様は、第１７の態様に記載のクライアント端末であって、
前記制御部は、
前記画像データまたは音声データを前記記憶部に記憶する際にタイムスタンプを記憶する。

【0025】

また、本開示の第１９の態様は、第１７の態様に記載のクライアント端末であって、
前記検査の結果に基づいて、前記記憶部に記憶された前記画像データまたは音声データを、前記サーバ装置に送信するか否かを判定する。

【0026】

また、本開示の第２０の態様は、第１７の態様に記載のクライアント端末であって、
前記制御部は、
前記記憶部に記憶された前記画像データまたは音声データに対して属性検査を行う。

【0027】

また、本開示の第２１の態様は、第１７の態様に記載のクライアント端末であって、
前記制御部は、
クライアント端末に付属するセンサのセンサ情報を用いて、前記品質検査または属性検査のいずれか１つ以上の検査を行う。

【0028】

また、本開示の第２２の態様は、第１９の態様に記載のクライアント端末であって、
前記制御部は、
前記検査の結果に基づいて、前記画像データまたは音声データを前記サーバ装置に送信しないと判定した場合、前記画像データまたは音声データを前記サーバ装置に送信しない。

【0029】

また、本開示の第２３の態様は、第１９の態様に記載のクライアント端末であって、
前記制御部は、
前記検査の結果に基づいて送信するか否かを判定した場合に、判定結果を出力し、
前記判定結果を出力したことに応じて送信指示が入力された場合、前記画像データまたは音声データを前記サーバ装置に送信する。

【0030】

また、本開示の第２４の態様は、
クライアント端末とサーバ装置とを有する通信システムにおける通信方法であって、
前記クライアント端末が取得した画像データまたは音声データを、前記サーバ装置にリアルタイムに送信する通信工程と、
前記クライアント端末が取得した前記画像データまたは音声データを記憶する記憶工程と、
前記記憶工程において記憶された前記画像データまたは音声データのうち、前記サーバ装置が取得する必要がある範囲を特定する特定工程と、
前記特定工程において特定された範囲の前記画像データまたは音声データの送信を、前記クライアント端末に要求する要求工程とを有する。

【0031】

また、本開示の第２５の態様は、
サーバ装置と通信するクライアント端末における通信方法であって、
前記クライアント端末が取得した画像データまたは音声データを、前記サーバ装置にリアルタイムに送信する第１の通信工程と、
前記クライアント端末が取得した前記画像データまたは音声データを記憶する記憶工程と、
前記第１の通信工程において送信された前記画像データまたは音声データに対して、品質検査または属性検査のいずれか１つ以上の検査を行う検査工程と、
前記検査工程における検査の結果に基づいて、前記記憶工程において記憶された前記画像データまたは音声データを、前記サーバ装置に送信する第２の通信工程とを有する。

【0032】

また、本開示の第２６の態様は、通信プログラムであって、
サーバ装置と通信するクライアント端末の制御部に、
前記クライアント端末が取得した画像データまたは音声データを、前記サーバ装置にリアルタイムに送信する第１の通信工程と、
前記クライアント端末が取得した前記画像データまたは音声データを記憶する記憶工程と、
前記第１の通信工程において送信された前記画像データまたは音声データに対して、品質検査または属性検査のいずれか１つ以上の検査を行う検査工程と、
前記検査工程における検査の結果に基づいて、前記記憶工程において記憶された前記画像データまたは音声データを、前記サーバ装置に送信する第２の通信工程とを実行させる。

【図面の簡単な説明】

【0033】

【図1】双方向通信システムのシステム構成の一例を示す図である。

【図2A】サーバ装置のハードウェア構成の一例を示す図である。

【図2B】作業者端末及び支援者端末のハードウェア構成の一例を示す図である。

【図3】サーバ装置の双方向通信部の機能構成の一例を示す図である。

【図4】サーバ装置のデータ管理部の機能構成の一例を示す図である。

【図5】データ管理部の各機能部により特定される補完範囲候補及び非補完範囲の一覧を示す図である。

【図6】作業者端末の機能構成の一例を示す図である。

【図7】作業者端末の各機能部により特定される補完範囲候補及び非補完範囲の一覧を示す図である。

【図8】双方向通信システムにおける処理の流れを示すシーケンス図である。

【図9】補完範囲補正処理の流れを示すフローチャートである。

【図10】補完リクエスト処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0034】

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

【0035】

［第１の実施形態］
＜双方向通信システムのシステム構成＞
はじめに、第１の実施形態に係る双方向通信システムのシステム構成について説明する。図１は、双方向通信システムのシステム構成の一例を示す図である。図１に示すように、双方向通信システム１００は、サーバ装置１１０とクライアント端末（作業者端末１２０、支援者端末１３０）とを有する。

【0036】

なお、本実施形態では、
・作業現場で作業する作業者１６０と、
・作業者１６０に対して遠隔から各種作業指示を行うことで、作業者１６０を支援する支援者１７０と、
が、双方向通信システム１００を用いてコミュニケーションを行うケースについて説明する。このため、上述したように、本実施形態において双方向通信システム１００を構成するクライアント端末には、作業者１６０が用いる作業者端末１２０と、支援者１７０が用いる支援者端末１３０とが含まれる。ただし、双方向通信システム１００を構成するクライアント端末は、作業者端末１２０と支援者端末１３０との組み合わせに限定されない。

【0037】

サーバ装置１１０は、ネットワーク１４０を介してクラウドサービス（双方向通信サービス）を提供する装置である。具体的には、サーバ装置１１０には、双方向通信プログラムがインストールされており、当該プログラムが実行されることで、サーバ装置１１０は、双方向通信部１１１、データ管理部１１２として機能する。これにより、サーバ装置１１０は、作業者１６０及び支援者１７０に対して双方向通信サービスを提供する。

【0038】

サーバ装置１１０において、双方向通信部１１１は、作業者端末１２０及び支援者端末１３０と通信接続し、作業者端末１２０から受信した動画像データ及び音声データを、支援者端末１３０に送信する。また、双方向通信部１１１は、支援者端末１３０から受信した音声データを、作業者端末１２０に送信する。

【0039】

サーバ装置１１０において、データ管理部１１２は、作業者端末１２０と支援者端末１３０との間で一方向に送受信される動画像データ及び双方向に送受信される音声データを、リアルタイムに記憶する。

【0040】

また、サーバ装置１１０において、データ管理部１１２は、記憶した動画像データ及び音声データについて、品質が劣化している範囲（サーバ装置１１０が取得する必要がある範囲）を特定する。また、データ管理部１１２は、特定した範囲の動画像データ及び音声データを要求することで、作業者端末１２０または支援者端末１３０から、特定した範囲の動画像データ及び音声データを受信し、既に記憶している動画像データ及び音声データと差し替える。

【0041】

これにより、第１の実施形態に係るサーバ装置１１０によれば、双方向通信システム１００においてサーバ装置１１０に記憶した動画像データ及び音声データのうち、特定した範囲の動画像データ及び音声データの品質を向上させることができる。

【0042】

作業者端末１２０は、例えば、作業現場において作業者１６０によって装着されるウェアラブル端末である。なお、本実施形態において、作業現場は、双方向通信の通信品質が劣化しやすい環境にあるとする。

【0043】

作業者端末１２０は、作業現場の動画像を撮影する機能、音声（例えば、作業者１６０の発話）を検出する機能、及び、それらを記憶する機能を有する。また、作業者端末１２０は、作業現場の様子を撮影した動画像データや、作業者１６０の発話を検出した音声データを、ネットワーク１４０を介して支援者１７０に送信する機能を有する。これにより、支援者１７０は、作業者１６０に指示するのに必要なデータを取得することができる。

【0044】

更に、作業者端末１２０は、支援者１７０からの指示（音声データ）を出力する機能、及び、データ管理部１１２からの要求に応じて、記憶している動画像データ及び音声データを、データ管理部１１２に送信する機能を有する。

【0045】

支援者端末１３０は、例えば、支援者１７０が常駐する事務所に設置され、支援者１７０により操作される端末である。

【0046】

支援者端末１３０は、作業者端末１２０から送信された動画像データ及び音声データを出力する機能、音声（例えば、支援者１７０の発話）を検出する機能、検出した音声データを記憶する機能を有する。また、支援者端末１３０は、支援者１７０の発話を検出した音声データを、ネットワーク１４０を介して作業者１６０に送信する機能を有する。これにより、作業者１６０は、支援者１７０による指示のもとで作業を行うことができる。

【0047】

更に、支援者端末１３０は、データ管理部１１２からの要求に応じて、記憶している音声データを、データ管理部１１２に送信する機能を有する。

【0048】

＜各装置のハードウェア構成＞
次に、双方向通信システム１００を構成する各装置（サーバ装置１１０、作業者端末１２０、支援者端末１３０）のハードウェア構成について説明する。

【0049】

図２Ａは、サーバ装置１１０のハードウェア構成の一例を示す図である。図２Ａに示すように、サーバ装置１１０は、プロセッサ２０１、メモリ２０２、補助記憶装置２０３、操作装置２０４、表示装置２０５、通信装置２０６、ドライブ装置２０７を有する。なお、サーバ装置１１０の各ハードウェアは、バス２０８を介して相互に接続されている。

【0050】

プロセッサ２０１は、ＣＰＵ（Central Processing Unit）等の各種演算デバイスを有する。プロセッサ２０１は、各種プログラム（例えば、双方向通信プログラム等）をメモリ２０２上に読み出して実行する。

【0051】

メモリ２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２０１とメモリ２０２とは、いわゆるコンピュータ（「制御部」ともいう）を形成し、プロセッサ２０１が、メモリ２０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。

【0052】

補助記憶装置２０３は、各種プログラムや、各種プログラムがプロセッサ２０１によって実行される際に用いられる各種データを格納する。なお、後述するデータ記憶部４７０は、補助記憶装置２０３により実現される。

【0053】

操作装置２０４は、サーバ装置１１０の管理者が各種操作を行うための操作デバイスである。表示装置２０５は、サーバ装置１１０によりそれぞれ実行される各種処理の処理結果を表示する表示デバイスである。

【0054】

通信装置２０６は、ネットワーク１４０を介して外部装置（例えば、作業者端末１２０、支援者端末１３０）と通信を行うための通信デバイスである。

【0055】

ドライブ装置２０７は、記憶媒体２１０をセットするためのデバイスである。ここでいう記憶媒体２１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記憶する媒体が含まれる。また、記憶媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記憶する半導体メモリ等が含まれていてもよい。

【0056】

なお、補助記憶装置２０３にインストールされる各種プログラムは、例えば、配布された記憶媒体２１０がドライブ装置２０７にセットされ、該記憶媒体２１０に記憶された各種プログラムがドライブ装置２０７により読み出されることでインストールされる。あるいは、補助記憶装置２０３にインストールされる各種プログラムは、通信装置２０６を介してネットワーク１４０からダウンロードされることで、インストールされてもよい。

【0057】

一方、図２Ｂは、作業者端末及び支援者端末のハードウェア構成の一例を示す図である。作業者端末１２０と支援者端末１３０とは、概ね同様のハードウェア構成を有しているため、ここではまとめて説明する。

【0058】

図２Ｂに示すように、作業者端末１２０及び支援者端末１３０は、プロセッサ２２１、メモリ２２２、補助記憶装置２２３、通信装置２２４を有する。また、作業者端末１２０は、ＧＰＳ（Global Positioning System）装置２２５、加速度センサ２２６、撮像装置２２９を有する。また、作業者端末１２０及び支援者端末１３０は、音声入力装置２２７、音声出力装置２２８、操作装置２３０を有する。更に、支援者端末１３０は、表示装置２３１、ドライブ装置２３２を有する。なお、作業者端末１２０及び支援者端末１３０それぞれを構成する各ハードウェアは、バス２３３を介して相互に接続される。

【0059】

プロセッサ２２１は、ＣＰＵ（Central Processing Unit）等の各種演算デバイスを有する。プロセッサ２２１は、各種プログラム（例えば、後述するクライアントプログラム等）をメモリ２２２上に読み出して実行する。

【0060】

メモリ２２２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２２１とメモリ２２２とは、いわゆるコンピュータ（「制御部」ともいう）を形成し、プロセッサ２２１が、メモリ２２２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。

【0061】

補助記憶装置２２３は、各種プログラムや、各種プログラムがプロセッサ２２１によって実行される際に用いられる各種情報を格納する。なお、後述するデータ記憶部６９０は、補助記憶装置２２３により実現される。

【0062】

通信装置２２４は、サーバ装置１１０との間で各種データ（例えば、動画像データ、音声データ等）を送受信するための通信デバイスである。ＧＰＳ装置２２５は、作業者端末１２０の位置を検出し、位置データを出力する。加速度センサ２２６は、作業者端末１２０を装着する作業者１６０の動作を検出し、加速度データを出力する。

【0063】

音声入力装置２２７は、作業者１６０及び支援者１７０の音声や、作業現場における周囲の音、事務所における周囲の音等を検出し、音声データを出力する。

【0064】

音声出力装置２２８は、例えば、サーバ装置１１０から受信した各種データを、作業者端末１２０を装着した作業者１６０または支援者端末１３０を操作する支援者１７０に音声出力するデバイスである。

【0065】

撮像装置２２９は、作業者端末１２０を装着した作業者１６０の周囲（作業現場）の様子を撮影し、動画像データを生成する。

【0066】

操作装置２３０は、作業者端末１２０の電源ＯＮ／ＯＦＦスイッチ等、作業者１６０の作業者端末１２０に対する簡易操作を受け付ける。あるいは、操作装置２３０は、支援者端末１３０に対する支援者１７０の各種操作を受け付ける。

【0067】

表示装置２３１は、サーバ装置１１０から受信した動画像データを、支援者端末１３０の支援者１７０に表示するデバイスである。

【0068】

ドライブ装置２３２は、記憶媒体２４０をセットするためのデバイスである。ここでいう記憶媒体２４０は、上述した記憶媒体２１０と同様である。

【0069】

なお、支援者端末１３０の場合、補助記憶装置２２３にインストールされる各種プログラムは、例えば、配布された記憶媒体２４０がドライブ装置２３２にセットされ、ドライブ装置２３２により読み出されることでインストールされる。あるいは、補助記憶装置２２３にインストールされる各種プログラムは、通信装置２２４を介してネットワーク１４０からダウンロードされることで、インストールされてもよい。

【0070】

＜サーバ装置の双方向通信部の機能構成の詳細＞
次に、サーバ装置１１０の双方向通信部１１１の機能構成の詳細について説明する。図３は、サーバ装置の双方向通信部の機能構成の一例を示す図である。図３に示すように、双方向通信部１１１は、双方向通信制御部３１０、リアルタイムデータ格納部３２０、通信品質検査部３３０、検査結果通知部３４０を有する。

【0071】

双方向通信制御部３１０は、作業者端末１２０と支援者端末１３０との間の双方向通信を制御する。具体的には、双方向通信制御部３１０は、作業者端末１２０より送信された動画像データ及び音声データを、リアルタイムデータとして受信し、支援者端末１３０に送信する。また、双方向通信制御部３１０は、支援者端末１３０より送信された音声データを、リアルタイムデータとして受信し、作業者端末１２０に送信する。

【0072】

リアルタイムデータ格納部３２０は、双方向通信制御部３１０が送受信するリアルタイムデータを、データ管理部１１２に通知する。

【0073】

通信品質検査部３３０は、双方向通信制御部３１０が制御する双方向通信の通信品質を、通信品質に関する情報を用いて検査する。具体的には、通信品質検査部３３０は、作業者端末１２０または支援者端末１３０との通信が切断した場合に、これを検知し、検査結果通知部３４０に通知する。また、通信品質検査部３３０は、作業者端末１２０より送信された動画像データにおいて、一部のフレームに損失が発生した場合に、これを検知し、検査結果通知部３４０に通知する。

【0074】

例えば、双方向通信制御部３１０がＷｅｂＲＴＣ（Real Time Communication）などの規格のもとで動画像データ及び音声データを送受信する場合にあっては、通信品質検査部３３０は、
・Ｇｅｎｅｒｉｃ Ｎａｃｋ、
・ＰＬＩ（Picture Loss Indication）、
の発生頻度（通信品質に関する情報）をロギングすることで、通信切断やフレーム損失を検知する。

【0075】

検査結果通知部３４０は、通信品質検査部３３０より通知された通信切断、または、フレーム損失を、通信品質情報としてデータ管理部１１２に通知する。

【0076】

＜サーバ装置のデータ管理部の機能構成の詳細＞
次に、サーバ装置１１０のデータ管理部１１２の機能構成の詳細について説明する。図４は、サーバ装置のデータ管理部の機能構成の一例を示す図である。図４に示すように、データ管理部１１２は、リアルタイムデータ取得部４１０、通信品質情報取得部４２０、補完リクエスト部４３０を有する。また、データ管理部１１２は、動画像品質検査部４４１、動画像属性検査部４４２、音声品質検査部４４３、音声属性検査部４４４、補完データ受信部４５１、補完部４５２、データ制御部４６０を有する。

【0077】

リアルタイムデータ取得部４１０は、サーバ装置１１０より通知されたリアルタイムデータを取得し、データ制御部４６０に通知する。なお、データ制御部４６０に通知されたリアルタイムデータに含まれる動画像データ（第２の画像データの一例）及び音声データ（第２の音声データの一例）は、データ記憶部４７０（第２の記憶部の一例）に記憶される。

【0078】

通信品質情報取得部４２０は、双方向通信部１１１より通知された通信品質情報を補完リクエスト部４３０に通知する。

【0079】

動画像品質検査部４４１は、データ記憶部４７０に記憶されたリアルタイムデータのうち、データ制御部４６０により読み出された動画像データについて、動画像データ品質に関する情報に基づいてデータ品質を検査する。また、動画像品質検査部４４１は、データ品質の検査結果を補完リクエスト部４３０に通知する。

【0080】

動画像属性検査部４４２は、データ記憶部４７０に記憶されたリアルタイムデータのうち、データ制御部４６０により読み出された動画像データであって、所定の条件を満たす動画像データについて属性を検査し、検査結果を補完リクエスト部４３０に通知する。なお、ここでいう所定の条件を満たす動画像データとは、後述する補完リクエスト部４３０により特定された補完範囲候補に含まれる動画像データを指す。

【0081】

音声品質検査部４４３は、データ記憶部４７０に記憶されたリアルタイムデータのうち、データ制御部４６０により読み出された音声データについて、音声データ品質に関する情報に基づいてデータ品質を検査する。また、音声品質検査部４４３は、データ品質の検査結果を補完リクエスト部４３０に通知する。

【0082】

音声属性検査部４４４は、データ記憶部４７０に記憶されたリアルタイムデータのうち、データ制御部４６０により読み出された音声データであって、所定の条件を満たす音声データについて属性を検査し、検査結果を補完リクエスト部４３０に通知する。なお、ここでいう所定の条件を満たす音声データとは、後述する補完リクエスト部４３０により特定された補完範囲候補に含まれる音声データを指す。

【0083】

補完リクエスト部４３０は、作業者端末１２０または支援者端末１３０に補完リクエストを送信する。補完リクエストには、補完リクエスト部４３０により特定された補完範囲（データ管理部１１２が取得する必要がある範囲）が含まれる。

【0084】

具体的には、補完リクエスト部４３０は、通信品質情報取得部４２０より通知された通信品質情報から、通信切断された時間範囲、または、フレーム損失が発生した時間範囲を抽出する。また、補完リクエスト部４３０は、抽出した時間範囲を、動画像データ及び音声データを補完する補完範囲候補として特定する。

【0085】

また、補完リクエスト部４３０は、動画像品質検査部４４１より通知された検査結果から、動画像データ品質が劣化した時間範囲を抽出し、抽出した時間範囲を、動画像データを補完する補完範囲候補として特定する。

【0086】

また、補完リクエスト部４３０は、動画像属性検査部４４２より通知された検査結果に基づいて、動画像データを補完する補完範囲から除外すべき時間範囲（非補完範囲）を特定する。

【0087】

また、補完リクエスト部４３０は、音声品質検査部４４３より通知された検査結果から、音声データ品質が劣化した時間範囲を抽出し、抽出した時間範囲を、音声データを補完する補完範囲候補として特定する。

【0088】

また、補完リクエスト部４３０は、音声属性検査部４４４より通知された検査結果に基づいて、音声データを補完する補完範囲から除外すべき時間範囲（非補完範囲）を特定する。

【0089】

また、補完リクエスト部４３０は、動画像データを補完する補完範囲候補から、動画像データの非補完範囲を除外することで絞り込んだ時間範囲を、動画像データを補完する補完範囲として特定する。

【0090】

また、補完リクエスト部４３０は、音声データを補完する補完範囲候補から、音声データの非補完範囲を除外することで絞り込んだ時間範囲を、音声データを補完する補完範囲として特定する。

【0091】

更に、補完リクエスト部４３０は、動画像データの補完範囲と、音声データの補完範囲とを含む補完リクエストを生成し、作業者端末１２０または支援者端末１３０に送信する。これにより、データ管理部１１２が取得する必要がある範囲を、作業者端末１２０または支援者端末１３０に要求することができる。

【0092】

補完データ受信部４５１は、補完リクエストを送信したことに応じて、作業者端末１２０または支援者端末１３０から受信した補完データ（動画像データ、音声データ）を、補完部４５２に通知する。

【0093】

補完部４５２は、データ記憶部４７０に記憶されたリアルタイムデータのうち、データ制御部４６０により読み出された動画像データの対応する時間範囲を、補完データ受信部４５１より通知された補完データ（動画像データ）を用いて差し替える。また、補完部４５２は、データ記憶部４７０に記憶されたリアルタイムデータのうち、データ制御部４６０により読み出された音声データの対応する時間範囲を、補完データ受信部４５１より通知された補完データ（音声データ）を用いて差し替える。

【0094】

更に、補完部４５２は、補完データにより差し替えられた差し替え後の動画像データ及び音声データをデータ制御部４６０に通知する。これにより、データ制御部４６０では、データ記憶部４７０に記憶されたリアルタイムデータを、差し替え後のリアルタイムデータを用いて更新することができる。

【0095】

＜補完範囲候補及び非補完範囲の一覧＞
次に、データ管理部１１２の各機能部（通信品質情報取得部４２０、動画像品質検査部４４１、音声品質検査部４４３）の検査結果に基づいて特定される補完範囲候補について説明する。また、データ管理部１１２の各機能部（動画像属性検査部４４２、音声属性検査部４４４）の検査結果に基づいて、特定される補完範囲から除外すべき非補完範囲について説明する。

【0096】

図５は、データ管理部の各機能部により特定される補完範囲候補及び非補完範囲の一覧を示す図である。

【0097】

図５に示すように、通信品質情報取得部４２０では、通信切断が検知された時間範囲、または、フレーム損失が検知された時間範囲を、動画像データ及び音声データを補完する補完範囲候補として特定する。

【0098】

また、図５に示すように、動画像品質検査部４４１では、フレームレート（データ品質に関する情報）が所定の閾値以下の時間範囲を、動画像データを補完する補完範囲候補として特定する。具体的には、動画像品質検査部４４１では、単位時間あたりのフレーム数をカウントすることで、フレームレートが所定の閾値以下の時間範囲を特定する。なお、フレームレートは、例えば、作業者端末１２０とサーバ装置１１０との間に通信トラフィックが発生した場合に低下する。一方で、作業者端末１２０には、対応する時間範囲において、フレームレートが低下していない動画像データが格納されている。このため、フレームレートが所定の閾値以下の動画像データは、補完することができる。

【0099】

また、図５に示すように、動画像属性検査部４４２では、ブラックアウトが発生している時間範囲、または、フレーム間変化が所定の閾値以下の時間範囲を、動画像データを補完する補完範囲から除外すべき非補完範囲として特定する。具体的には、動画像属性検査部４４２では、動画像データを１フレームずつ検査することでブラックアウトが発生しているか否かを判定する。また、動画像属性検査部４４２では、動画像データを１フレームずつ直前フレームとの差分を算出することで、フレーム間変化が所定の閾値以下であるか否かを判定する。

【0100】

なお、ブラックアウトは、作業者端末１２０において発生する事象であるため、対応する時間範囲において、ブラックアウトが発生していない動画像データは、作業者端末１２０にも格納されていない。このため、ブラックアウトが発生している時間範囲は、補完範囲から除外する。また、フレーム間変化が所定の閾値以下とは、作業者１６０が静止している状態であり、動画像データとして重要ではない。このため、フレーム間変化が所定の閾値以下の時間範囲は、補完範囲から除外する。

【0101】

また、図５に示すように、音声品質検査部４４３では、音声ビットレート（データ品質に関する情報）が所定の閾値以下の時間範囲を、音声データを補完する補完範囲候補として特定する。具体的には、音声品質検査部４４３では、単位時間あたりの音声ビット数をカウントすることで、音声ビットレートが所定の閾値以下の時間範囲を特定する。なお、音声ビットレートは、例えば、通信トラフィックが発生した場合に低下する。一方で、作業者端末１２０には、対応する時間範囲において、音声ビットレートが低下していない音声データが格納されている。このため、音声ビットレートが所定の閾値以下の音声データは、補完することができる。

【0102】

また、図５に示すように、音声属性検査部４４４では、音声の信号強度が所定の閾値以下である時間範囲を、音声データを補完する補完範囲から除外すべき非補完範囲として特定する。音声の信号強度が所定の閾値以下とは、作業者１６０が発話していない状態であり、音声データとして重要ではない。このため、音声の信号強度が所定の閾値以下である時間範囲は、補完範囲から除外する。

【0103】

＜作業者端末の機能構成＞
次に、作業者端末１２０の機能構成について説明する。図６は、作業者端末の機能構成の一例を示す図である。上述したように、作業者端末１２０には、クライアントプログラムがインストールされている。そして、作業者端末１２０は、当該プログラムが実行されることで、動画像データ取得部６１１、音声データ取得部６１２、音声データ出力部６１３として機能する。また、作業者端末１２０は、当該プログラムが実行されることで、データ制御部６３０、通信制御部６４０、通信品質検査部６５０、補完範囲補正部６８０として機能する。更に、作業者端末１２０は、当該プログラムが実行されることで、加速度データ取得部６６１、ＧＰＳデータ取得部６６２、電波強度データ取得部６６３、属性検査部６７０として機能する。

【0104】

動画像データ取得部６１１は、撮像装置２２９により撮影された動画像データを取得し、データ制御部６３０に通知する。

【0105】

音声データ取得部６１２は、音声入力装置２２７により検出された音声データを取得し、データ制御部６３０に通知する。

【0106】

音声データ出力部６１３は、データ制御部６３０より通知された音声データを、音声出力装置２２８を介して作業者１６０に出力する。

【0107】

データ制御部６３０は、動画像データ取得部６１１より通知された動画像データ及び音声データ取得部６１２より通知された音声データを、リアルタイムデータとして、通信制御部６４０に通知する。また、データ制御部６３０は、動画像データ取得部６１１より通知された動画像データ（第１の画像データの一例）及び音声データ取得部６１２より通知された音声データ（第１の音声データの一例）を、データ記憶部６９０（第１の記憶部の一例）に記憶する。

【0108】

また、データ制御部６３０は、通信制御部６４０より通知された音声データを、音声データ出力部６１３に通知する。

【0109】

更に、データ制御部６３０は、データ記憶部６９０に記憶した動画像データ及び音声データのうち、補完範囲補正部６８０より通知された補正後の補完範囲の動画像データ、音声データを読み出し、補完データとして、通信制御部６４０に通知する。

【0110】

通信制御部６４０は、データ制御部６３０より通知されたリアルタイムデータ（動画像データ、音声データ）を、サーバ装置１１０に送信するとともに、サーバ装置１１０から送信されたリアルタイムデータ（音声データ）を受信する。

【0111】

また、通信制御部６４０は、サーバ装置１１０より送信された補完リクエストを受信し、補完範囲補正部６８０に通知する。

【0112】

通信品質検査部６５０は、通信制御部６４０が送受信するリアルタイムデータの通信品質を検査する。具体的には、通信品質検査部６５０は、サーバ装置１１０との通信が切断した場合に、これを検知し、補完範囲候補として補完範囲補正部６８０に通知する。また、通信品質検査部６５０は、リアルタイムデータに含まれる動画像データにおいて、フレーム損失が発生した場合に、これを検知し、補完範囲候補として補完範囲補正部６８０に通知する。なお、通信品質検査部６５０による通信切断の検知方法は、例えば、サーバ装置１１０の通信品質検査部３３０と同様の検知方法が用いられるものとする。また、通信品質検査部６５０によるフレーム損失の検知は、例えば、
・ＲＴＣＩｎｂｏｕｎｄＲＴＰＳｔｒｅａｍＳｔａｔｓ．ｆｒａｃｔｉｏｎＬｏｓｔ
等の統計情報を算出するＡＰＩ（Application Programming Interface）を用いて行われるものとする。

【0113】

加速度データ取得部６６１は、加速度センサ２２６により測定された加速度データ（作業者端末１２０に付属するセンサのセンサ情報の一例）を取得し、属性検査部６７０に通知する。

【0114】

ＧＰＳデータ取得部６６２は、ＧＰＳ装置２２５により測定された作業者端末１２０の位置データ（作業者端末１２０に付属するセンサのセンサ情報の一例）を取得し、属性検査部６７０に通知する。

【0115】

電波強度データ取得部６６３は、通信装置２２４により測定された電波強度データを取得し、属性検査部６７０に通知する。

【0116】

属性検査部６７０は、作業者端末１２０に付属するセンサのセンサ情報を用いて品質検査または属性検査を行う。具体的には、属性検査部６７０は、加速度データ取得部６６１より通知された加速度データに基づいて、作業者１６０が静止しているか動いているかを判定し、静止していると判定した場合には、その時間範囲を、非補完範囲として特定する。作業者１６０が静止している状態は、動画像データとして重要ではないからである。

【0117】

また、属性検査部６７０は、ＧＰＳデータ取得部６６２より通知された位置データに基づいて、作業者１６０が所定の領域にいるか否かを判定し、所定の領域にいると判定した場合には、その時間範囲を、非補完範囲として特定する。例えば、作業者１６０が作業現場への移動中であった場合（作業現場以外の領域にいる場合）、その時間範囲に撮影された動画像データは重要ではないからである。

【0118】

また、属性検査部６７０は、電波強度データ取得部６６３より通知された電波強度データに基づいて、通信環境（通信品質）が劣化したか否かを判定し、通信環境が劣化したと判定した場合には、その時間範囲を、補完範囲候補として特定する。

【0119】

補完範囲補正部６８０は、通信制御部６４０より通知された補完リクエストに含まれる補完範囲を、通信品質検査部６５０より通知された補完範囲候補と、属性検査部６７０により特定された非補完範囲または補完範囲候補とを用いて補正する。これにより、補完範囲補正部６８０は、補正後の補完範囲を特定し、特定した補正後の補完範囲をデータ制御部６３０に通知する。

【0120】

＜補完範囲候補及び非補完範囲の一覧＞
次に、作業者端末１２０の通信品質検査部６５０の検査結果に基づいて特定される補完範囲候補と、属性検査部６７０の検査結果に基づいて特定される、補完範囲から除外すべき非補完範囲及び補完範囲候補とについて説明する。

【0121】

図７は、作業者端末の各機能部により特定される補完範囲候補及び非補完範囲の一覧を示す図である。

【0122】

図７の補完範囲候補及び非補完範囲の一覧７００に示すように、通信品質検査部６５０では、通信切断またはフレーム損失が検知された時間範囲を、動画像データ及び音声データを補完する補完範囲候補として特定する。

【0123】

また、図７の補完範囲候補及び非補完範囲の一覧７００に示すように、属性検査部６７０では、加速度データの信号強度が所定の閾値以下の時間範囲を、動画像データを補完する補完範囲から除外すべき非補完範囲として特定する。

【0124】

また、図７の補完範囲候補及び非補完範囲の一覧７００に示すように、属性検査部６７０では、ＧＰＳデータにより特定される位置が所定の領域内にある時間範囲を、動画像データを補完する補完範囲から除外すべき非補完範囲として特定する。

【0125】

また、図７の補完範囲候補及び非補完範囲の一覧７００に示すように、属性検査部６７０では、通信装置２２４により測定される電波強度が所定の閾値以下となる時間範囲を、動画像データを補完する補完範囲候補として特定する。

【0126】

＜双方向通信システムにおける処理の流れ＞
次に、双方向通信システム１００における処理の流れについて説明する。図８は、双方向通信システムにおける処理の流れを示すシーケンス図である。

【0127】

ステップＳ８０１において、作業者端末１２０は、支援者端末１３０との双方向通信を開始し、動画像データ及び音声データの取得及び記憶を開始する。

【0128】

ステップＳ８０２において、作業者端末１２０は、取得した動画像データ及び音声データを、リアルタイムデータとして、サーバ装置１１０に送信するとともに、サーバ装置１１０より、音声データを、リアルタイムデータとして受信する。

【0129】

同様に、ステップＳ８３１において、支援者端末１３０は、作業者端末１２０との双方向通信を開始し、音声データの取得及び記憶を開始する。

【0130】

ステップＳ８３２において、支援者端末１３０は、取得した音声データを、リアルタイムデータとして、サーバ装置１１０に送信するとともに、サーバ装置１１０より、動画像データ及び音声データを、リアルタイムデータとして受信する。

【0131】

ステップＳ８１１において、サーバ装置１１０の双方向通信部１１１は、受信したリアルタイムデータを、作業者端末１２０または支援者端末１３０に送信するとともに、データ管理部１１２に通知する。

【0132】

ステップＳ８２１において、データ管理部１１２は、双方向通信部１１１において送受信されたリアルタイムデータを記憶する。

【0133】

ステップＳ８１２において、双方向通信部１１１は、作業者端末１２０と支援者端末１３０との間の双方向通信の通信品質を検査する。

【0134】

ステップＳ８１３において、双方向通信部１１１は、作業者端末１２０または支援者端末１３０との通信が切断したか否か、または、作業者端末１２０より受信した動画像データにおいて、フレーム損失が発生したか否かを判定する。

【0135】

ステップＳ８１３において、通信が切断したと判定した場合、または、フレーム損失が発生したと判定した場合には（ステップＳ８１３においてＹＥＳの場合には）、ステップＳ８１４に進む。

【0136】

ステップＳ８１４において、双方向通信部１１１は、通信が切断したこと、または、フレーム損失が発生したことを、通信品質情報としてデータ管理部１１２に通知する。

【0137】

一方、通信が切断したと判定されず、かつ、フレーム損失が発生したと判定されなかった場合には（ステップＳ８１３においてＮＯの場合には）、通信品質情報は通知されない。

【0138】

ステップＳ８２２において、データ管理部１１２は、補完リクエスト処理を行う。なお、補完リクエスト処理の詳細は、後述する。

【0139】

ステップＳ８２３において、データ管理部１１２は、補完リクエスト処理の結果に基づいて、補完リクエストを送信するか否かを判定する。ステップＳ８２３において、補完リクエストを送信すると判定した場合には（ステップＳ８２３においてＹＥＳの場合には）、ステップＳ８２４に進む。

【0140】

ステップＳ８２４において、データ管理部１１２は、特定した補完範囲を含む補完リクエストを、作業者端末１２０に送信する。

【0141】

ステップＳ８０３において、作業者端末１２０は、データ管理部１１２から受信した補完リクエストに基づいて、補完範囲を補正する補完範囲補正処理を行う。なお、補完範囲補正処理の詳細は、後述する。

【0142】

ステップＳ８０４において、作業者端末１２０は、補完範囲補正処理において補正された補正後の補完範囲の動画像データ及び音声データを、補完データとして、データ管理部１１２に送信する。

【0143】

ステップＳ８２５において、データ管理部１１２は、記憶されたリアルタイムデータのうち、補正後の補完範囲に対応する時間範囲を、補完データに差し替えることで、リアルタイムデータを更新する。

【0144】

＜補完範囲補正処理の詳細＞
次に、補完範囲補正処理（ステップＳ８０３）の詳細について説明する。図９は、補完範囲補正処理の流れを示すフローチャートである。

【0145】

ステップＳ９０１において、作業者端末１２０は、通信切断またはフレーム損失が検知されたか否かを判定する。

【0146】

ステップＳ９０１において、通信切断またはフレーム損失が検知されたと判定した場合には（ステップＳ９０１においてＹＥＳの場合には）、ステップＳ９０２に進む。

【0147】

ステップＳ９０２において、作業者端末１２０は、検知された時間範囲を補完範囲候補として特定し、ステップＳ９０３に進む。

【0148】

一方、ステップＳ９０１において、通信切断またはフレーム損失が検知されなかったと判定した場合には（ステップＳ９０１においてＮＯの場合には）、直接、ステップＳ９０３に進む。

【0149】

ステップＳ９０３において、作業者端末１２０は、加速度データ、位置データ、電波強度データに基づいて、補完範囲から除外すべき時間範囲または補完すべき時間範囲が検知されたか否かを判定する。

【0150】

ステップＳ９０３において、補完範囲から除外すべき時間範囲または補完すべき時間範囲が検知されなかったと判定した場合には（ステップＳ９０３においてＮＯの場合には）、ステップＳ９０５に進む。

【0151】

一方、ステップＳ９０３において、補完範囲から除外すべき時間範囲または補完すべき時間範囲が検知されたと判定した場合には（ステップＳ９０３においてＹＥＳの場合には）、ステップＳ９０４に進む。

【0152】

ステップＳ９０４において、作業者端末１２０は、補完範囲から除外すべき時間範囲を、非補完範囲として特定する。また、作業者端末１２０は、補完すべき時間範囲を補完範囲候補として特定する。

【0153】

ステップＳ９０５において、作業者端末１２０は、サーバ装置１１０から補完リクエストを受信したか否かを判定する。ステップＳ９０５において、補完リクエストを受信したと判定した場合には（ステップＳ９０５においてＹＥＳの場合には）、ステップＳ９０６に進む。

【0154】

ステップＳ９０６において、作業者端末１２０は、補完リクエストに含まれる補完範囲を、ステップＳ９０２において特定した補完範囲候補と、ステップＳ９０４において特定した非補完範囲及び補完範囲候補とを用いて補正し、補完範囲補正処理を終了する。

【0155】

一方、ステップＳ９０５において、補完リクエストを受信していないと判定した場合には（ステップＳ９０５においてＮＯの場合には）、補完範囲補正処理を終了する。

【0156】

＜補完リクエスト処理の詳細＞
次に、補完リクエスト処理（ステップＳ８２２）の詳細について説明する。図１０は、補完リクエスト処理の流れを示すフローチャートである。

【0157】

ステップＳ１００１において、データ管理部１１２は、双方向通信部１１１より通信品質情報を取得したか否かを判定する。ステップＳ１００１において、通信品質情報を取得したと判定した場合には（ステップＳ１００１においてＹＥＳの場合には）、ステップＳ１００２に進む。

【0158】

ステップＳ１００２において、データ管理部１１２は、通信品質情報に基づいて補完範囲候補を特定し、ステップＳ１００３に進む。

【0159】

一方、ステップＳ１００１において、通信品質情報を取得していないと判定した場合には（ステップＳ１００１においてＮＯの場合には）、直接、ステップＳ１００３に進む。

【0160】

ステップＳ１００３において、データ管理部１１２は、リアルタイムデータについて、動画像データ及び音声データのデータ品質を検査し、データ品質が劣化した時間範囲があるか否かを判定する。ステップＳ１００３において、データ品質が劣化した時間範囲があると判定した場合には（ステップＳ１００３にＹＥＳの場合には）、ステップＳ１００４に進む。

【0161】

ステップＳ１００４において、データ管理部１１２は、データ品質が劣化した時間範囲を、補完範囲候補として特定し、ステップＳ１００５に進む。

【0162】

一方、ステップＳ１００３において、データ品質が劣化した時間範囲がないと判定した場合には、直接、ステップＳ１００５に進む。

【0163】

ステップＳ１００５において、データ管理部１１２は、リアルタイムデータのうち、所定の条件を満たす動画像データ及び音声データについて属性を検査し、補完範囲から除外すべき時間範囲が検知されたか否かを判定する。ステップＳ１００５において、補完範囲から除外すべき時間範囲が検知されたと判定した場合には（ステップＳ１００５においてＹＥＳの場合には）、ステップＳ１００６に進む。

【0164】

ステップＳ１００６において、データ管理部１１２は、補完範囲から除外すべき時間範囲を、非補完範囲として特定し、ステップＳ１００７に進む。

【0165】

一方、ステップＳ１００５において、データ管理部１１２は、補完範囲から除外すべき時間範囲が検知されなかったと判定した場合には（ステップＳ１００５においてＮＯの場合には）、直接、ステップＳ１００７に進む。

【0166】

ステップＳ１００７において、データ管理部１１２は、ステップＳ１００２において特定した補完範囲候補、ステップＳ１００４において特定した補完範囲候補、ステップＳ１００６において特定した非補完範囲に基づいて、補完範囲を特定する。

【0167】

ステップＳ１００８において、データ管理部１１２は、特定した補完範囲を含む補完リクエストを生成し、補完リクエスト処理を終了する。

【0168】

＜まとめ＞
以上の説明から明らかなように、クライアント端末（作業者端末１２０、支援者端末１３０）と、サーバ装置１１０とを有する双方向通信システム１００において、
・作業者端末１２０は、取得した動画像データまたは音声データを、サーバ装置１１０にリアルタイムに送信する。
・作業者端末１２０は、取得した動画像データまたは音声データを、データ記憶部６９０に記憶する。
・サーバ装置１１０は、データ記憶部６９０に記憶された動画像データまたは音声データのうち、サーバ装置１１０が取得する必要がある補完範囲を特定する。
・サーバ装置１１０は、データ記憶部６９０に記憶された動画像データまたは音声データの送信を、作業者端末１２０に要求する。

【0169】

これにより、第１の実施形態によれば、動画像データ及び音声データを送受信する双方向通信システムにおいてサーバ装置に記憶される動画像データ及び音声データの品質を向上させることができる。

【0170】

［第２の実施形態］
上記第１の実施形態では、作業者端末１２０の通信品質検査部６５０による通信品質検査の結果及び属性検査部６７０による属性検査の結果を、補完範囲の補正に用いるものとして説明した。しかしながら、作業者端末１２０による通信品質検査の結果及び属性検査の結果は、例えば、補完データを送信するか否かの判定に用いてもよい。

【0171】

また、補完データを送信するか否かの判定に用いた場合であって、補完データを送信しないと判定した場合にあっては、補完リクエストを受信した場合であっても、補完データをサーバ装置１１０に送信しないように構成してもよい。

【0172】

あるいは、補完データを送信するか否かの判定に用いた場合にあっては、補完データを送信するか否かの判定結果を作業者１６０に出力し、作業者１６０が送信指示を入力した場合に、補完データをサーバ装置１１０に送信するように構成してもよい。

【0173】

この場合、サーバ装置１１０に送信する補完データは、補正後の補完範囲であっても、補正前の補完範囲であってもよい。

【0174】

［第３の実施形態］
上記第１の実施形態では、データ管理部１１２が、補完リクエストを作業者端末１２０に送信する場合について説明した。しかしながら、補完リクエストの送信先は、作業者端末１２０に限定されず、支援者端末１３０に送信してもよい。

【0175】

また、上記第１の実施形態では、データ管理部１１２の動画像品質検査部４４１～音声属性検査部４４４が、予め定められた検査を行うものとして説明した。しかしながら、データ管理部１１２の動画像品質検査部４４１～音声属性検査部４４４は、例えば、クライアント端末（作業者端末１２０、支援者端末１３０）から送信される判定パラメータに応じた検査を行うように構成してもよい。

【0176】

また、上記第１の実施形態では、サーバ装置１１０と、クライアント端末（作業者端末１２０、支援者端末１３０）との間の時刻同期処理について言及しなかった。しかしながら、サーバ装置１１０と、クライアント端末（作業者端末１２０、支援者端末１３０）とは、所定周期ごとに時刻同期処理を行うように構成してもよい。具体的には、ＷｅｂＳｏｃｋｅｔなどの常時接続サービスを用いて、所定周期ごとに時刻同期処理を行うように構成してもよい。

【0177】

また、上記第１の実施形態では、データ制御部６３０が、動画像データ及び音声データを通信制御部６４０に通知する処理及びデータ記憶部６９０に記憶する処理の詳細について言及しなかった。しかしながら、データ制御部６３０は、例えば、動画像データ及び音声データを通信制御部６４０に通知する際、及び、データ記憶部６９０に記憶する際、タイムスタンプを付すように構成してもよい。

【0178】

また、上記第１の実施形態では、クライアント端末のうち、作業者端末１２０の機能構成についてのみ説明したが、支援者端末１３０も、作業者端末１２０と同様の機能構成を有する。

【0179】

また、上記第１の実施形態では、作業者に装着するウェアラブル端末を用いる場合について説明したが、ウェアラブル端末に代えて、作業者が携帯する携帯端末を用いてもよい。

【0180】

また、上記第１の実施形態では、クライアント端末が、作業者端末１２０と支援者端末１３０との組み合わせである場合について説明したが、クライアント端末は、Ｗｅｂミーティング等に用いられる複数のＷｅｂ端末の組み合わせであってもよい。

【0181】

また、上記第１の実施形態では、クライアント端末による双方向通信の間に、サーバ装置１１０からの要求に応じて、クライアント端末が、特定した範囲の動画像データまたは音声データをサーバ装置１１０に送信する構成について説明した。しかしながら、クライアント端末がサーバ装置１１０に送信するタイミングはこれに限定されず、例えば、クライアント端末による双方向通信が完了した後に、サーバ装置１１０に送信するように構成してもよい。また、クライアント端末による双方向通信が完了した後に送信する場合にあっては、送信する範囲は特定した範囲に限定されず、クライアント端末は、記憶している全ての動画像データまたは音声データを送信するように構成してもよい。更に、クライアント端末は、サーバ装置１１０からの要求の有無に関わらず、送信するように構成してもよい。

【0182】

また、上記第１の実施形態では、サーバ装置１１０が、単体で双方向通信プログラムを実行するものとして説明した。しかしながら、サーバ装置１１０が、例えば、複数台のコンピュータ（制御部）により構成されている場合にあっては、複数台のコンピュータ（制御部）それぞれに双方向通信プログラムをインストールし、分散コンピューティングの形態で実行されてもよい。

【0183】

また、上記第１の実施形態では、クライアントプログラムのインストール方法の一例として、ネットワークを介してダウンロードしてインストールする方法について言及した。このとき、ダウンロード元については特に言及しなかったが、かかる方法によりインストールする場合、ダウンロード元は、例えば、クライアントプログラムをアクセス可能に格納したサーバ装置であってもよい。また、当該サーバ装置は、ネットワークを介してクライアント端末（作業者端末１２０、支援者端末１３０）からのアクセスを受け付け、課金を条件にクライアントプログラムをダウンロードするクラウド上の装置であってもよい。つまり、当該サーバ装置は、クライアントプログラムの提供サービスを行うクラウド上の装置であってもよい。

【0184】

以上、実施形態を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。

【符号の説明】

【0185】

１００ ：双方向通信システム
１１０ ：サーバ装置
１１１ ：双方向通信部
１１２ ：データ管理部
１２０ ：作業者端末
１３０ ：支援者端末
３１０ ：双方向通信制御部
３２０ ：リアルタイムデータ格納部
３３０ ：通信品質検査部
３４０ ：検査結果通知部
４１０ ：リアルタイムデータ取得部
４２０ ：通信品質情報取得部
４３０ ：補完リクエスト部
４４１ ：動画像品質検査部
４４２ ：動画像属性検査部
４４３ ：音声品質検査部
４４４ ：音声属性検査部
４５１ ：補完データ受信部
４５２ ：補完部
４６０ ：データ制御部
６１１ ：動画像データ取得部
６１２ ；音声データ取得部
６１３ ：音声データ出力部
６３０ ：データ制御部
６４０ ：通信制御部
６５０ ：通信品質検査部
６６１ ：加速度データ取得部
６６２ ：ＧＰＳデータ取得部
６６３ ：電波強度データ取得部
６７０ ：属性検査部
６８０ ：補完範囲補正部

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】