特開 2024-48256 データ伝送方法及びデータ伝送システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024048256

(43)【公開日】2024-04-08

(54)【発明の名称】データ伝送方法及びデータ伝送システム

(51)【国際特許分類】

   H04L 47/83 20220101AFI20240401BHJP

   H04L 47/56 20220101ALI20240401BHJP

【ＦＩ】

H04L47/83

H04L47/56

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022154191

(22)【出願日】2022-09-27

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和３年度、国立研究開発法人情報通信研究機構「Ｂｅｙｏｎｄ ５Ｇ研究開発促進事業／（研究開発課題名）低遅延でインタラクティブなゼロレイテンシー映像・Ｓｏｍａｔｉｃ 統合ネットワーク」、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】899000068

【氏名又は名称】学校法人早稲田大学

(74)【代理人】

【識別番号】110002675

【氏名又は名称】弁理士法人ドライト国際特許事務所

(72)【発明者】

【氏名】勝山 裕

(72)【発明者】

【氏名】佐藤 俊雄

(72)【発明者】

【氏名】為末 和彦

(72)【発明者】

【氏名】佐藤 拓朗

(72)【発明者】

【氏名】甲藤 二郎

【テーマコード（参考）】

5K030

【Ｆターム（参考）】

5K030GA02

5K030JA10

5K030KA03

5K030LE16

5K030MB06

(57)【要約】

【課題】低遅延でのデータ伝送を実現可能なデータ伝送方法及びデータ伝送システムを提供する。
【解決手段】データ伝送システム１００は、データを順次送信する送信装置１０２と、所定の予測方法を用いて、送信装置１０２から送信された一定期間の時系列データから、ネットワークＮの伝送路の遅延時間に相当する予測時間後の未来のデータを予測し、ネットワークＮを介して未来のデータを送信するデータ予測装置１０４と、未来のデータを受信する受信装置１０８と、を備える。例えば、送信装置は、ネットワークＮを介して遠隔地にある機械を操作するためのコントローラの操作情報を順次送信し、データ予測装置は、コントローラの一定期間における操作情報の時系列データから、予測時間後の未来の操作情報を予測し、未来の操作情報を受信装置としての機械に向けて送信し、機械は、未来の操作情報に従って動作する。
【選択図】図１

【特許請求の範囲】

【請求項1】

伝送遅延のあるネットワークを介してデータを伝送するためのデータ伝送方法であって、
送信装置が、データを順次送信し、
データ予測装置が、所定の予測方法を用いて、前記送信装置から送信された一定期間の時系列データから、前記ネットワークの伝送路の遅延時間に相当する予測時間後の未来のデータを予測して、前記未来のデータを送信し、
受信装置が、前記未来のデータを受信する、データ伝送方法。

【請求項2】

前記データ予測装置は、
前記一定期間の学習用の時系列データと、前記予測時間後の学習用の未来のデータとからなる複数のデータセットを学習した学習済みパラメータを保存しており、
前記学習済みパラメータと前記送信装置から送信された前記一定期間の時系列データとから、前記未来のデータを予測する、請求項１に記載のデータ伝送方法。

【請求項3】

前記データ予測装置は、複数の異なる遅延時間のそれぞれについて、前記一定期間の学習用の時系列データと、前記予測時間後の学習用の未来のデータとからなる複数のデータセットを学習して学習済みパラメータをテーブルに保存し、
遅延時間検出装置が、前記ネットワークの遅延時間を検出し、
前記データ予測装置は、前記テーブルから、前記遅延時間検出装置で検出された遅延時間に対応する学習済みパラメータを読み込み、読み込まれた前記学習済みパラメータと前記送信装置から送信された前記一定期間の時系列データとから、前記未来のデータを予測する、請求項１に記載のデータ伝送方法。

【請求項4】

前記送信装置は、前記ネットワークを介して遠隔地にある機械を操作するためのコントローラの操作情報を順次送信し、
前記データ予測装置は、前記コントローラの前記一定期間における操作情報の時系列データから、前記予測時間後の未来の操作情報を予測し、前記未来の操作情報を前記受信装置としての前記機械に向けて送信し、
前記機械は、前記未来の操作情報に従って動作する、請求項１～３の何れか１項に記載のデータ伝送方法。

【請求項5】

前記送信装置は、前記コントローラの操作情報に加えて、前記コントローラを操作するオペレータに貼り付けられた筋電センサから、前記オペレータの筋電情報を順次送信し、
前記データ予測装置は、前記一定期間における操作情報の時系列データと前記一定期間における前記筋電情報の時系列データとから、前記未来の操作情報を予測する、請求項４に記載のデータ伝送方法。

【請求項6】

伝送遅延のあるネットワークを介してデータを伝送するためのデータ伝送システムであって、
データを順次送信する送信装置と、
所定の予測方法を用いて、前記送信装置から送信された一定期間の時系列データから、前記ネットワークの伝送路の遅延時間に相当する予測時間後の未来のデータを予測して、前記未来のデータを送信するデータ予測装置と、
前記未来のデータを受信する受信装置と、
を備える、データ伝送システム。

【請求項7】

前記データ予測装置は、
前記一定期間の学習用の時系列データと、前記予測時間後の学習用の未来のデータとからなる複数のデータセットを学習した学習済みパラメータを保存しており、
前記学習済みパラメータと前記送信装置から送信された前記一定期間の時系列データとから、前記未来のデータを予測する、請求項６に記載のデータ伝送システム。

【請求項8】

複数の異なる遅延時間のそれぞれについて、前記一定期間の学習用の時系列データと、前記予測時間後の学習用の未来のデータとからなる複数のデータセットを学習した学習済みパラメータを保存するテーブルと、
前記ネットワークの遅延時間を検出する遅延時間検出装置と、
をさらに備え、
前記データ予測装置は、前記テーブルから、前記遅延時間検出装置で検出された遅延時間に対応する学習済みパラメータを読み込み、読み込まれた前記学習済みパラメータと前記送信装置から送信された前記一定期間の時系列データとから、前記未来のデータを予測する、請求項６に記載のデータ伝送システム。

【請求項9】

前記送信装置は、前記ネットワークを介して遠隔地にある機械を操作するためのコントローラの操作情報を順次送信し、
前記データ予測装置は、前記コントローラの前記一定期間における操作情報の時系列データから、前記予測時間後の未来の操作情報を予測し、前記未来の操作情報を前記受信装置としての前記機械に向けて送信し、
前記機械は、前記未来の操作情報に従って動作する、請求項６～８の何れか１項に記載のデータ伝送システム。

【請求項10】

前記送信装置は、前記コントローラの操作情報に加えて、前記コントローラを操作するオペレータに貼り付けられた筋電センサから、前記オペレータの筋電情報を順次送信し、
前記データ予測装置は、前記一定期間における操作情報の時系列データと前記一定期間における前記筋電情報の時系列データとから、前記未来の操作情報を予測する、請求項９に記載のデータ伝送システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、伝送遅延のあるネットワークを介してデータを伝送するためのデータ伝送方法及びデータ伝送システムに関する。

【背景技術】

【0002】

近年、ネットワークを介して遠隔地にデータを伝送するための様々な技術が提案されている。例えば、特許文献１には、遠隔の溶接現場にある機械をカメラで撮影し、ローカル現場にいるオペレータがその映像をモニタで見ながら当該機械を遠隔で操作するシステムが開示されている。特許文献２には、ストリーミングデータ伝送時に、データを分割して計画的に接続先、送信時刻を決めて送信するシステムにおいて、伝送経路の遅延が大きいと判定した場合には、予め決めたデータ配信時刻より前に配信を行うことで、受信側でのデータ遅延をなくす技術が開示されている。

【0003】

特許文献３には、遠隔ロボットに設けられた接触力センサで検出された接触力をユーザに提示すると同時に、遠隔ロボットを撮影した映像をユーザの近くにあるモニタに表示して、ユーザが操作装置を操作する遠隔制御システムが開示されている。この遠隔制御システムにおいて、伝送遅延により映像表示と接触力の提示との間に時間差があると、ユーザが違和感を覚えることから、この違和感を低減するように、ロボット及び操作装置の少なくとも一方の動作制御を遅延させている。

【0004】

特許文献４には、遠隔操作装置が制御信号を車両に送信し、車両は受信した制御信号を返送するとともに、走行映像を送信する遠隔自動運転システムが開示されている。遠隔操作装置は、車両に送信した制御信号と車両から返送された制御信号との差分に基づいて車両の動きを計算し、車両の動きを示す情報を、車両から受信した走行映像の画面上に重畳表示させる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１９－９１０号公報

【特許文献2】特開２０１４－２０４２７０号公報

【特許文献3】特開２０２２－９５３００号公報

【特許文献4】特開２０２１－１５８５０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１では、ローカル現場と遠隔地との間を接続するネットワークの通信待ち時間が十分短いことを前提としているため、伝送遅延が比較的大きなネットワークを介したデータ伝送には特許文献１の技術を適用することはできない。特許文献２では、送信するデータの内容が決まっているため、遅延が予想される通信経路の場合には、送信予定時刻より前に送信を行うことで受信側での低遅延の受信を実現している。しかし、送信するデータの内容が決まっていない一般の通信の場合には、特許文献２の技術を用いることができないと思われる。また、特許文献３及び特許文献４の技術は、データの伝送遅延を解消させるものではない。

【0007】

本発明は、上記課題に鑑みてなされたものであり、低遅延でのデータ伝送を実現可能なデータ伝送方法及びデータ伝送システムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明に係るデータ伝送方法は、伝送遅延のあるネットワークを介してデータを伝送するためのデータ伝送方法であって、送信装置が、データを順次送信し、データ予測装置が、所定の予測方法を用いて、送信装置から送信された一定期間の時系列データから、ネットワークの伝送路の遅延時間に相当する予測時間後の未来のデータを予測して、未来のデータを送信し、受信装置が、未来のデータを受信する。

【0009】

本発明に係るデータ伝送システムは、伝送遅延のあるネットワークを介してデータを伝送するためのデータ伝送システムであって、データを順次送信する送信装置と、所定の予測方法を用いて、送信装置から送信された一定期間の時系列データから、ネットワークの伝送路の遅延時間に相当する予測時間後の未来のデータを予測して、未来のデータを送信するデータ予測装置と、未来のデータを受信する受信装置と、を備える。

【発明の効果】

【0010】

本発明によれば、データ予測装置が、ネットワークの伝送路の遅延時間に相当する予測時間後の未来のデータを予測することで、送信側と受信側で遅延時間がほとんどないデータ伝送を実現することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の第１実施形態に係るデータ伝送システムの構成図である。

【図2】データ予測装置のニューラルネットワークによる学習時のプロセスを説明する模式図である。

【図3】データ予測装置のニューラルネットワークにより入力データから未来のデータを予測する際のプロセスを説明する模式図である。

【図4】本発明の第２実施形態に係るデータ伝送システムの構成図である。

【図5】第１及び第２実施形態に係るデータ伝送システムの適用例として、コントローラの操作情報を遠隔地にある機械に伝送する遠隔制御システムの構成図である。

【図6】図５の変形例に係る遠隔制御システムの構成図である。

【図7】コントローラの操作情報とオペレータの筋電情報の時間変化の一例を表すグラフである。

【図8】コントローラの操作情報とオペレータの筋電情報とを用いたマルチモーダル予測方法を説明する模式図である。

【図9】マルチモーダル予測方法を用いて得られるコントローラの操作情報の予測結果を表すグラフである。

【図10】線形予測方式によるデータ予測を説明する模式図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して、本発明の実施形態を説明する。

【0013】

リアルタイムの通信において、直前に送信したデータ内容から未来のデータ内容を予測できる場合がある。本実施形態では、このようなデータ通信において、未来のデータを予測するデータ予測装置を通信経路上に設置することで、受信側での遅延時間をほぼゼロにするデータ伝送方法及びシステムを提供する。

【0014】

＜第１実施形態＞
まず、本発明の第１実施形態に係るデータ伝送システムについて説明する。図１に示すように、第１実施形態に係るデータ伝送システム１００は、ネットワークＮを介してデータを遠隔地に伝送するシステムであり、送信装置１０２と、データ予測装置１０４と、受信装置１０８とを備える。

【0015】

図１では、データ予測装置１０４と受信装置１０８とがネットワークＮを介して接続され、データ予測装置１０４が送信側に設置されている場合を示しているが、データ予測装置１０４は、送信装置１０２と受信装置１０８との間にあればよく、受信側（遠隔地）に設置されていてもよい。

【0016】

ネットワークＮには一般に伝送遅延があるが、第１実施形態では、ネットワークＮの伝送路の遅延時間が一定であるものとする。データ予測装置１０４は、送信装置１０２から順次送信されたデータに基づいて、ネットワークＮの遅延時間に相当する予測時間後の未来のデータを予測し（データ予測方法については後述する。）、予測した未来のデータを受信装置１０８に向けて送信する。これにより、受信装置１０８は、送信装置１０２から送信されたデータと比較して実効的に伝送遅延のないデータを受信することが可能になる。

【0017】

データ予測装置１０４はバッファを有するコンピュータである。データ予測装置１０４は、送信装置１０２からのデータの入力開始後、バッファが一杯になるまでオンライン上でデータを蓄積する。バッファが一杯になったら、データ予測装置１０４は、バッファに蓄積されている時系列データから予測時間Ｔｐ後の未来のデータを予測し、予測した未来のデータを１つ出力する。最初だけ、バッファへのデータ蓄積には一定期間を要するが、以降、バッファ内のデータをパイプライン状に送り、データを１つずつ出力する。データ予測装置１０４は、次のデータが入力されると、バッファ内で最も古い１つのデータを捨て、バッファ内の現在の時系列データに基づいて予測時間Ｔｐ後の未来のデータを予測して出力する処理を繰り返す。予測時間Ｔｐは、ネットワークＮの遅延時間Ｔ２とデータ蓄積時間（バッファリング時間）Ｔｂとの合計時間であるが（Ｔｐ＝Ｔｂ＋Ｔ２）、一旦バッファが一杯になると、以降のデータ蓄積時間は無視できるほど小さい（Ｔｐ～Ｔ２）。

【0018】

図２及び図３に示すように、データ予測装置１０４は、ニューラルネットワーク１０５を有している。ニューラルネットワーク１０５は、例えば、時系列データを扱う回帰型ニューラルネットワーク（ＲＮＮ）のうちの長・短期記憶（ＬＳＴＭ）などのニューラルネットワークである。ニューラルネットワーク１０５は、学習と予測の２段階の処理を行う。

【0019】

学習時、図２に示すように、ニューラルネットワーク１０５は、一定期間Ｔｂの時系列データｄ１（参照サンプルデータ）と、一定期間Ｔｂの最終時刻から予測時間Ｔｐ後の未来のデータｄ２とをセットにして複数のデータセットについて学習し、学習後にニューラルネットワーク１０５の内部パラメータ値を得て、各データセットに対応する学習済みパラメータｄ３として保存する。データセットの数は多ければ多いほど良く、例えば、数千個のデータセットを用いて学習する。

【0020】

予測時、図３に示すように、ニューラルネットワーク１０５は、まず、保存された学習済みパラメータｄ３を読み込んで予測処理の準備をする。そして、現在のバッファ内の一定期間Ｔｂの時系列データｄ４と対応する学習済みパラメータｄ３とから、予測時間Ｔｐ後の未来のデータを予測し、予測した未来のデータｄ５を出力する。

【0021】

＜第２実施形態＞
次に、本発明の第２実施形態について説明する。上述の第１実施形態では、ネットワークＮの伝送路の遅延時間が固定され、その遅延時間に相当する予測時間Ｔｐ後の未来のデータを予測するものとした。しかし、伝送路の状況によっては、遅延時間が動的に変化することがある。そこで、第２実施形態では、動的に変化する遅延時間に対処するために、受信側にデータを送信する前に、ネットワークＮの伝送路の遅延時間を検出する手段を設けることで、予測時間Ｔｐも動的に変化させるようにする。

【0022】

図４に、第２実施形態に係るデータ伝送システム２００の構成を示す。データ伝送システム２００は、送信装置２０２と、データ予測装置２０４と、受信装置２０８と、遅延時間検出装置２１０と、テーブル２１２とを備える。

【0023】

遅延時間検出装置２１０は、pingと呼ばれるコマンドを使って、送信側と受信側との間のデータの往復時間からネットワークＮの伝送路の遅延時間を求め、求めた遅延時間のデータをデータ予測装置２０４に出力するコンピュータである。

【0024】

第１実施形態と同様に、データ予測装置２０４はニューラルネットワーク１０５を有する（図２及び図３参照）。動的に変化する伝送路の遅延時間に対処するため、学習時、ニューラルネットワーク１０５は、複数の異なる遅延時間におけるデータセット（時系列データｄ１、未来のデータｄ２）について個別に学習し、遅延時間毎に学習済みパラメータｄ３を得る。遅延時間毎の学習済みパラメータｄ３は、テーブル２１２に保存される。

【0025】

データ送信時には、１つのデータパケットを送信する前に、遅延時間検出装置２１０は、ネットワークＮの伝送路の遅延時間を検出する。データ予測装置２０４のニューラルネットワーク１０５は、遅延時間検出装置２１０で検出された遅延時間をキーとしてテーブル２１２を参照して学習済みパラメータｄ３を読み込んで、予測処理の準備をする。そして、バッファ内の現在の時系列データｄ４に対応する学習済みパラメータｄ３から、検出された遅延時間に等しい予測時間Ｔｐ後の未来のデータを予測し、予測した未来のデータｄ５を出力する。予測した未来のデータｄ５はネットワークＮを介して伝送される。これにより、受信装置２０８では、伝送遅延がほとんど無いデータを受信することができる。

【0026】

なお、図４では、データ予測装置２０４、遅延時間検出装置２１０、及びテーブル２１２が送信側に設置されている場合を示しているが、送信装置２０２と受信装置２０８との間にあればよく、受信側（遠隔地）に設置されていてもよい。

【0027】

次に、第１及び第２実施形態に係るデータ伝送システムの適用例として、コントローラにより遠隔地にある機械を操作する遠隔制御システムについて説明する。

【0028】

図５に、遠隔制御システム５００の構成を示す。遠隔制御システム５００は、送信装置としてのコントローラ５０２と、データ予測装置５０４と、受信装置としての機械５０８（例えば、ロボットアーム）と、カメラ５１４と、ディスプレイ５１６とを備える。

【0029】

カメラ５１４は機械５０８を撮影し、得られた機械５０８の映像はネットワークＮを介して送信され、ディスプレイ５１６に表示される。オペレータＯＰは、ディスプレイ５１６に表示された機械５０８の映像を見ながらコントローラ５０２を操作し、コントローラ５０２から操作情報が順次送信される。コントローラ５０２の操作情報は、例えば、コントローラ５０２の操作（上下、左右、前後などの動作可能範囲での操作）に応じた持ち手部分の３次元座標値（Ｘ、Ｙ、Ｚ）のデータである。

【0030】

データ予測装置５０４は、ニューラルネットワーク１０５（図２及び図３）を有しており、一定期間Ｔｂにおける操作情報の時系列データと対応する学習済みパラメータから、予測時間Ｔｐ後の未来の操作情報を予測する。予測した未来の操作情報は、ネットワークＮを介して遠隔地にある機械５０８に送信される。機械５０８は、受信した未来の操作情報に従って動作する。

【0031】

図５に示す遠隔制御システム５００のうち、コントローラ５０２、データ予測装置５０４、ネットワークＮ、及び機械５０８が、第１実施形態に係るデータ伝送システム１００を構成する。なお、第２実施形態に係るデータ伝送システム２００（図４）のように、遠隔制御システム５００に遅延時間検出装置２１０とテーブル２１２とを設け、動的に変化するネットワークＮの遅延時間に応じて予測時間Ｔｐを動的に変化させるようにしてもよい。

【0032】

図５に示す遠隔制御システム５００の具体例として、地球上のオペレータＯＰがコントローラ５０２を用いて、ネットワークＮを介して月面の機械５０８（ロボットアーム）を遠隔操作するシステムが挙げられる。地球と月との間の通信において、ネットワークＮの遅延時間Ｔ２は約１秒である。よって、データ予測装置５０４は、一定期間Ｔｂにおける操作情報の時系列データに基づいて約１秒後の未来の操作情報を予測し、予測した未来の操作情報を出力する。ネットワークＮを介して未来の操作情報を伝送することで、月面では、地球上のコントローラ５０２の操作とほぼ同じタイミングで機械５０８を動かすことができる。

【0033】

コントローラの操作は、オペレータ（人間）の意思により自発的に行われるため、コントローラから取得される操作情報のみを用いたデータ予測では、コントローラが動き出すタイミングを予測するのは難しい。人間がコントローラを操作するとき、実際にコントローラが動き出すよりも前に人間の筋電が活性化することが知られている。この特性を利用して、コントローラの操作情報だけでなく、コントローラを操作する人間の筋電情報を同時に用いることで、コントローラが動き出すタイミングを予測することが可能になる。

【0034】

図６に、図５の遠隔制御システム５００の変形例として、コントローラの操作情報とオペレータの筋電情報とを用いたマルチモーダル予測方法を行う遠隔制御システム６００の構成を示す。遠隔制御システム６００は、コントローラ６０２ａと、筋電センサ６０２ｂと、データ予測装置６０４と、機械６０８（例えば、ロボットアーム）とを備える。なお、図６では、機械６０８を撮影するカメラと、機械６０８の映像を表示するディスプレイの図示を省略している。

【0035】

コントローラ６０２ａと筋電センサ６０２ｂとにより送信装置を構成する。筋電センサ６０２ｂは、コントローラ６０２ａの持ち手をつかむオペレータの上腕二頭筋、三頭筋、肩の筋肉、又は前腕の筋肉の近くに貼り付けられる。

【0036】

図７に、コントローラ６０２ａの操作情報と、コントローラ６０２ａを操作するオペレータの筋電情報の時間変化の一例を示している。より具体的には、図７は、オペレータの右の上腕二頭筋に筋電センサ６０２ｂを付け、右手でコントローラ６０２ａを右から左（Ｙ方向）に動かしたときの実験データを表している。図７では、操作情報として、コントローラ６０２ａの持ち手部分の座標値（Ｘ、Ｙ、Ｚ）を示し、筋電情報（振幅（ｍＶ））として、筋電センサ６０２ｂから検出された筋電（ＥＭＧ）データと筋電データに基づいて求められた筋活性度（ＭＡ）データとを示している。筋電データから筋活性度に変換する手法は、例えば、以下の非特許文献（８１頁）に記載されている。
Sybert Stroeve, “Learning combined feedback and feedforward control of a musculoskeletal system,” Biological Cybernetics 75, p73-83 (1996).

【0037】

データ予測装置６０４はニューラルネットワーク１０５（図２及び図３）を有する。学習時、ニューラルネットワーク１０５は、一定期間Ｔｂにおける座標値（Ｘ、Ｙ、Ｚ）及び筋活性度（ＭＡ）の時系列データ（図７の時系列データｄ１）と、一定期間Ｔｂの最終時刻から予測時間Ｔｐ後の座標値（Ｘ′、Ｙ′、Ｚ′）のデータ（図７の未来のデータｄ２）とをセットにして学習し、学習後にニューラルネットワーク１０５の内部パラメータ値を得て、学習済みパラメータｄ３として保存する。ニューラルネットワーク１０５は、多くのデータセットについて繰り返し学習し、学習済みパラメータｄ３を得る。

【0038】

ニューラルネットワーク１０５は、予測時、一定期間Ｔｂにおける座標値及び筋活性度の時系列データ（図３の時系列データｄ４）と、時系列データｄ４に対応する学習済みパラメータｄ３とから、予測時間Ｔｐ後の未来の座標値を予測し、予測した未来の座標値のデータ（図３の予測した未来のデータｄ５）を出力する。

【0039】

図７の例では、約１．９秒まで座標値（Ｘ、Ｙ、Ｚ）はほとんど一定であるが、その後、Ｙ座標が急に変化している。そのため、コントローラ６０２ａの操作情報（座標値）のみを用いたデータ予測では、コントローラ６０２ａが動き出すタイミングを予測することができない。一方、筋活性度（ＭＡ）は約１．３秒付近から変化しており、コントローラ６０２ａが実際に動き出す０．５～０．６秒前から筋電情報が変化していることがわかる。このように、操作情報に先行して筋電情報が変化するため、操作情報と筋電情報とを用いると、コントローラ６０２ａが動き出すタイミングを予測することができる。

【0040】

なお、複数の筋電センサ６０２ｂをオペレータの腕及び肩の複数箇所に貼り付け、３次元の操作情報と複数の筋電情報とを用いてデータ予測をしてもよい。

【0041】

図８に示すように、基準時刻ｔ０からＴ１後に操作情報（Ｘ（ｔ）、Ｙ（ｔ）、Ｚ（ｔ））が立ち上がり、筋電情報（Ｅ（ｔ））の立ち上がり時刻と操作情報の立ち上がり時刻との差をＴ３とする。Ｔ３がネットワークＮの遅延時間Ｔ２以上の場合（Ｔ３≧Ｔ２）、予測時間Ｔｐが遅延時間Ｔ２に等しくなるように設定すると（すなわち、Ｔ２後の未来のデータを予測するようにすると）、データ予測装置６０４は、基準時刻ｔ０からＴ１－Ｔ２後のコントローラ６０２ａの未来の操作情報を予測し、予測した未来の操作情報（Ｘ′（ｔ）、Ｙ′（ｔ）、Ｚ′（ｔ））を出力する。未来の操作情報をネットワークＮを介して機械６０８に伝送すると、ネットワークＮの遅延時間はＴ２なので、基準時刻ｔ０からＴ１－Ｔ２＋Ｔ２＝Ｔ１後に機械６０８が動き出すことになる。このように、送信側と受信側で見かけ上遅延のない伝送を実現することができる。

【0042】

図９に、予測時間Ｔｐが０．５秒であるときのコントローラ６０２ａの操作情報の予測結果の一例を示す。図９においても、オペレータの右の上腕二頭筋に筋電センサ６０２ｂを付け、右手でコントローラ６０２ａを右から左（Ｙ方向）に動かした例を示している。図９において、座標値（Ｘｍ、Ｙｍ、Ｚｍ）は、コントローラ６０２ａの操作情報の実測値を表し、座標値（Ｘｐ、Ｙｐ、Ｚｐ）は、コントローラ６０２ａの操作情報の予測値を表し、Ｙｅは、Ｙｍの値を予測時間Ｔｐ＝０．５秒だけ過去にシフトさせた期待値であり、ＭＡｍ及びＭＡｐは、それぞれ、筋活性度の実測値及び予測結果である。

【0043】

コントローラ６０２ａは右から左へ動いているので、Ｘ座標及びＺ座標はほとんど変化しないが、Ｙ座標は右位置の約＋０．１８から左位置の約－０．２に変化している。Ｙ座標に着目すると、実測値Ｙｍは約１．５秒から変化しているのに対し、予測値Ｙｐは１．０秒付近から変化し、０．５秒未来の予測が実現されていることがわかる。また、予測値Ｙｐと期待値Ｙｅの曲線がほぼ一致していることから、コントローラ６０２ａの動き出しだけでなく、全体的にＹ座標の予測が実現されていることがわかる。

【0044】

図６～図９に示した筋電情報を用いた操作情報の予測は、筋電情報の立ち上がり時刻と操作情報の立ち上がり時刻との差Ｔ３がネットワークＮの遅延時間Ｔ２以上の場合（Ｔ３≧Ｔ２）のときに有効であるが（図８参照）、ネットワークＮの遅延時間Ｔ２が長く、Ｔ３＜Ｔ２を満たす場合には適用することはできない。例えば、地球と月との間の通信では、遅延時間Ｔ２が約１秒である一方、Ｔ３は通常１秒未満であるため、筋電情報を用いて操作情報を予測することができない。

【0045】

Ｔ３＜Ｔ２の場合、上述のように、操作情報の時系列データのみを入力データとしたニューラルネットワーク１０５を用いたデータ予測方法を用いることができる。Ｔ３＜Ｔ２の場合の他のデータ予測方法として、線形予測方式、複数の過去データから現在のデータを予測する自己回帰（ＡＲ）モデル、移動平均（ＭＡ）モデル、及び自己回帰和分移動平均（ＡＲＩＭＡ）モデルなどがある。

【0046】

以下、図１０を参照して、データ予測方法の一例として線形予測方式について簡単に説明する。コントローラの持ち手部分の位置の時刻ｔ－１での実測値を（Ｘｍ（ｔ－１）、Ｙｍ（ｔ－１）、Ｚｍ（ｔ－１））、時刻ｔでの実測値を（Ｘｍ（ｔ）、Ｙｍ（ｔ）、Ｚｍ（ｔ））とすると、時刻ｔ＋１での位置の予測値（Ｘｐ（ｔ＋１）、Ｙｐ（ｔ＋１）、Ｚｐ（ｔ＋１））は、以下のように求められる。

【数1】

【0047】

このように、線形予測方式を用いて、時刻ｔ－１及び時刻ｔでの位置の実測値（すなわち、位置の時系列データ）から、未来の時刻ｔ＋１での位置を予測することができる。

【0048】

以上のように、本発明の実施形態によれば、伝送遅延のあるネットワークＮを介したデータ伝送において、データ予測装置が、ネットワークＮの伝送路の遅延時間に相当する予測時間後の未来のデータを予測することで、送信側と受信側で遅延時間がほとんどない伝送を実現することができる。

【0049】

特に、図６に示す遠隔制御システム６００において、コントローラ６０２ａの操作情報だけでなくオペレータの筋電情報を用いて操作情報を予測すれば、操作情報の動き出しの精度を向上させることができる。

【0050】

以下の非特許文献によると、自動車の遠隔操作において、伝送路の遅延時間が６００ｍｓｅｃまでは操舵操作に大きな影響がないが、それを超えると自動車の軌跡が意図していた軌跡よりも大きくずれることが明らかになっている。本実施形態のデータ予測方法を用いれば、実際の遅延時間よりも約５００ｍｓｅｃ低減できる見込みである。よって、遅延時間が６００ｍｓｅｃを超える場合でも、従来よりも正確な操作が可能になる。
水島知央、神蔵貴久、大前学、「遠隔型自動運転システムにおける遠隔操作時の映像遅延が操舵の操作に与える影響の評価」、自動車技術会論文集、Vol.50, No.3 (2019)

【0051】

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の変更が可能であり、当業者によってなされる他の実施形態、変形例も本発明に含まれる。

【符号の説明】

【0052】

１００、２００ データ伝送システム
１０２、２０２ 送信装置
１０４、２０４、５０４、６０４ データ予測装置
１０５ ニューラルネットワーク
１０８、２０８ 受信装置
２１０ 遅延時間検出装置
２１２ テーブル
５００、６００ 遠隔制御システム
５０２、６０２ａ コントローラ
６０２ｂ 筋電センサ
５０８、６０８ 機械
Ｎ ネットワーク
ＯＰ オペレータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】