特許 7638501 遠隔機械操縦装置及びプログラム並びに遠隔機械操縦システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-02-21

(45)【発行日】2025-03-04

(54)【発明の名称】遠隔機械操縦装置及びプログラム並びに遠隔機械操縦システム

(51)【国際特許分類】

   B25J 13/02 20060101AFI20250225BHJP

   E02F 9/20 20060101ALI20250225BHJP

   E02F 9/26 20060101ALI20250225BHJP

   H04Q 9/00 20060101ALI20250225BHJP

   G06N 3/0442 20230101ALI20250225BHJP

【ＦＩ】

B25J13/02

E02F9/20 C

E02F9/26 A

E02F9/26 B

H04Q9/00 301B

G06N3/0442

【請求項の数】 5

(21)【出願番号】P 2024058404

(22)【出願日】2024-03-31

【審査請求日】2024-04-02

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和５年９月５日、下記アドレスのウェブサイトで公開された電子情報通信学会ソサイエティ大会の予稿集にて発表ｈｔｔｐｓ：／／ｗｗｗ．ｉｅｉｃｅ．ｏｒｇ／ｊｐｎ＿ｒ／ａｃｔｉｖｉｔｉｅｓ／ｔａｉｋａｉ／ｓｏｃｉｅｔｙ／２０２３／ｉｎｄｅｘ．ｈｔｍｌ

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和３年度、国立研究開発法人情報通信研究機構「Ｂｅｙｏｎｄ ５Ｇ研究開発促進事業／（研究開発課題名）低遅延でインタラクティブなゼロレイテンシー映像・Ｓｏｍａｔｉｃ 統合ネットワーク」、産業技術力強化法第１７条の適用を受ける特許出願

【早期審査対象出願】

(73)【特許権者】

【識別番号】504132272

【氏名又は名称】国立大学法人京都大学

(74)【代理人】

【識別番号】100115716

【弁理士】

【氏名又は名称】山本 隆雄

(72)【発明者】

【氏名】中村 裕一

【審査官】神山 貴行

(56)【参考文献】

【文献】特開２０２１－１５５９３６（ＪＰ，Ａ）

【文献】特開２０２２－１８７９２６（ＪＰ，Ａ）

【文献】特開２０２４－０４８２５６（ＪＰ，Ａ）

【文献】特開２００６－０００９７７（ＪＰ，Ａ）

【文献】特許第７３５７８２０（ＪＰ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００－２１／０２

Ｇ０８Ｇ １／００－ １／１６

Ｅ０２Ｆ ９／００－ ９／２８

Ｈ０４Ｑ ９／００－ ９／１６

Ｇ０６Ｎ ３／０２－ ３／１０

(57)【特許請求の範囲】

【請求項1】

オペレータがモニタリング映像を見ながら操作部を操作して遠隔地にある作業機械装置を操縦するための遠隔機械操縦装置であって、
前記操作部への操作力を取得する操作力取得部と、
教師データとして、前記操作部への操作時刻における操縦情報と、前記操作時刻から前記作業機械装置との間の伝送遅延時間後の時刻における操縦情報と、前記操作時刻より過去の所定範囲内の前記操作力の時系列データと、を用いて学習された機械学習モデルである未来予測モデルを保持する未来予測モデル保持部と、
前記オペレータに操作された前記操作部から得られる操縦情報と、前記操作力取得部により取得された前記操作力と、前記未来予測モデル保持部に保持された前記未来予測モデルと、に基づいて、前記操作部への前記操作時刻を基準にして、前記作業機械装置との間の前記伝送遅延時間に相当する時間経過後の未来の操縦情報である未来操縦情報を予測する未来操縦情報予測部と、
前記未来操縦情報予測部で予測された前記未来操縦情報を前記作業機械装置へ送信する送信部と、
を備えた遠隔機械操縦装置。

【請求項2】

前記オペレータの前記操作に関連する腕の筋電位情報を取得する筋電位情報取得部を更に備え、
前記未来予測モデルは、前記筋電位情報の時系列データを更に用いて学習された前記機械学習モデルであり、
前記未来操縦情報予測部は、前記筋電位情報取得部で取得された前記筋電位情報を更に用いて前記未来操縦情報を予測する
請求項１に記載の遠隔機械操縦装置。

【請求項3】

オペレータがモニタリング映像を見ながら操作部を操作して遠隔地にある作業機械装置を操縦するための遠隔機械操縦装置であって、
前記操作部における操作時刻を基準にした前記作業機械装置との間の伝送遅延時間を測定する伝送遅延時間測定部と、
前記伝送遅延時間測定部で測定された前記伝送遅延時間を、前記オペレータの操作に応じて連続的に調整する伝送遅延時間調整ダイヤルと、
前記オペレータに操作された前記操作部から得られる操縦情報と、前記オペレータの操作に関連する所定情報と、未来予測モデルと、に基づいて、前記操作部における前記操作時刻を基準にして、前記伝送遅延時間調整ダイヤルにより調整された前記伝送遅延時間に相当する時間経過後の未来の操縦情報である未来操縦情報を予測する未来操縦情報予測部と、
前記未来操縦情報予測部で予測された前記未来操縦情報を前記作業機械装置へ送信する送信部と、
を備えた遠隔機械操縦装置。

【請求項4】

コンピュータを請求項１に記載の遠隔機械操縦装置の各部として機能させるためのプログラム。

【請求項5】

請求項１又は請求項３に記載された遠隔機械操縦装置と、
前記遠隔機械操縦装置から送信された前記未来操縦情報を受信して、前記モニタリング映像を前記遠隔機械操縦装置へ送信する前記作業機械装置と、
を備えた遠隔機械操縦システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔機械操縦装置及びプログラム並びに遠隔機械操縦システムに関する。

【背景技術】

【0002】

従来、オペレータがネットワークを介して遠隔地に設置された機械を遠隔操縦する遠隔機械操縦システムが知られている。具体的には、オペレータは、当該機械の動き映像をモニタリングしながら、手元の操作レバーを操作することで当該機械を操縦する。このような遠隔機械操縦システムでは、モニタリング映像と実際のレバー操作との間において、オペレータに、ネットワークの伝送遅延に起因したずれを感じさせてしまう問題がある。

【0003】

そこで、操作者（オペレータ）が操作する操作端末（操作レバー）と実ロボット（機械）との間の通信遅延が操作者の操作に与える影響を抑制する技術が開示されている（特許文献１参照）。

【0004】

特許文献１の技術は、遠隔地で通信遅延分だけ遅れて動作する実ロボットの動き映像をモニタリングする際に、当該実ロボットとその周辺物とをそれぞれモデル化し、それらのモデルに基づいて通信遅延を補償した予測映像を合成し、それをモニタリング映像として表示する。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０２０－２６０２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１の技術では、表示されるモニタリング映像は、その予測合成のベースとなるモデルの精度に大きく依存する。一方、当該実ロボットの周辺物は特定の対象物とは限らないことから、当該周辺物を常に正確にモデル化することは困難であり、その結果、適切なモニタリング映像を表示できない問題がある。

【0007】

一方、本願の一部の発明者らによって、オペレータの身体に装着した筋電センサから筋電位情報を取得し、その筋電位情報を用いて遠隔地に配置した機械の操縦情報を予測する技術が提案されている（特願２０２２－１５４１９１号）。

【0008】

上記技術では、オペレータは筋電位情報を取得するための筋電センサを身体に装着する必要があり、オペレータに煩わしさを感じさせてしまう問題がある。

【0009】

本発明は、このような実情を鑑みて提案されたものであり、遠隔地に設置された機械の動き映像をモニタリングしながら、当該機械を違和感なく操縦できる遠隔機械操縦装置及びプログラム並びに遠隔機械操縦システムを提供する。

【課題を解決するための手段】

【0010】

本発明に係る遠隔機械操縦装置は、オペレータがモニタリング映像を見ながら操作部を操作して遠隔地にある作業機械装置を操縦するための遠隔機械操縦装置であって、前記操作部への操作力を取得する操作力取得部と、教師データとして、前記操作部への操作時刻における操縦情報と、前記操作時刻から前記作業機械装置との間の伝送遅延時間後の時刻における操縦情報と、前記操作時刻より過去の所定範囲内の前記操作力の時系列データと、を用いて学習された機械学習モデルである未来予測モデルを保持する未来予測モデル保持部と、前記オペレータに操作された前記操作部から得られる操縦情報と、前記操作力取得部により取得された前記操作力と、前記未来予測モデル保持部に保持された前記未来予測モデルと、に基づいて、前記操作部への前記操作時刻を基準にして、前記作業機械装置との間の前記伝送遅延時間に相当する時間経過後の未来の操縦情報である未来操縦情報を予測する未来操縦情報予測部と、前記未来操縦情報予測部で予測された前記未来操縦情報を前記作業機械装置へ送信する送信部と、を備えている。

【0011】

本発明に係るプログラムは、コンピュータを前記遠隔機械操縦装置の各部として機能させるためのものである。

【0012】

本発明に係る遠隔機械操縦システムは、前記遠隔機械操縦装置と、前記遠隔機械操縦装置から送信された前記未来操縦情報を受信して、前記モニタリング映像を前記遠隔機械操縦装置へ送信する前記作業機械装置と、を備えている。

【発明の効果】

【0013】

本発明が、遠隔地に設置された機械との間の伝送遅延の影響を抑制することで、オペレータは、モニタリング映像を見ながら違和感なく、当該機械を操縦することができる。

【図面の簡単な説明】

【0014】

【図1】第１の実施形態に係る遠隔機械操縦システムの概略図である。

【図2】遠隔機械操縦装置及び作業機械装置の機能構成を示すブロック図である。

【図3】操作部の一例を示す概要図である。

【図4】未来操縦情報予測部の機能構成を示すブロック図である。

【図5】操縦情報予測部による予測処理ルーチンを示すフローチャートである。

【図6】未来予測モデルの機械学習処理を示すフローチャートである。

【図7】操作部から得られた操作力（操縦情報）の一例を示す波形図である。

【図8】操縦情報（操作力）と未来操縦情報との比較を示す模式図である。

【図9】実際の操縦情報（操作力）と未来操縦情報との比較図である。

【図10】第２の実施形態に係る未来操縦情報予測部の機能構成を示すブロック図である。

【図11】第２の実施形態に係る操縦情報予測部による予測処理ルーチンを示すフローチャートである。

【図12】ステップＳ７のサブルーチンであるモデル更新ルーチンを示すフローチャートである。

【図13】第３の実施形態に係る遠隔機械操縦装置及び作業機械装置の機能構成を示すブロック図である。

【図14】第４の実施形態に係る遠隔機械操縦装置及び作業機械装置の機能構成を示すブロック図である。

【図15】筋電位情報取得部によって取得された筋電位情報の一例を示す波形図である。

【図16】抽出された筋シナジーの時間パターンベクトルの各要素の一例を示す波形図である。

【図17】筋電位情報の有無に伴う、実際の操縦情報と未来操縦情報との比較図である。

【発明を実施するための形態】

【0015】

以下、本発明の実施形態について図面を参照しながら詳細に説明する。

【0016】

［第１の実施形態］
（システム構成図）
図１は、第１の実施形態に係る遠隔機械操縦システム１の概略図である。
遠隔機械操縦システム１は、オペレータに操作される遠隔機械操縦装置１０と、ネットワーク５０を介して遠隔機械操縦装置１０との間で通信しながら所定の作業を行う作業機械装置８０と、を備えている。

【0017】

作業機械装置８０は、遠隔機械操縦装置１０から離れた場所、例えば遠隔地に配置されている。作業機械装置８０は、配置場所に固定されたものでもよいし、配置場所から移動可能であってもよい。

【0018】

作業機械装置８０のカメラ８４は、所定の作業を行う作業部８３を撮影可能な位置に設置されている。カメラ８４は、作業部８３の作業状況を撮影してモニタリング映像を生成する。作業機械装置８０は、生成されたモニタリング映像を、ネットワーク５０を介して遠隔機械操縦装置１０へ送信する。

【0019】

遠隔機械操縦装置１０のモニタ１４は、作業機械装置８０から送信されたモニタリング映像の表示、すなわち作業部８３の作業状況を表示する。オペレータは、モニタ１４に表示されたモニタリング映像を見ながら、遠隔機械操縦装置１０の操作部１１を操作して、遠隔地に配置された作業機械装置８０（に含まれる作業部８３など）を操縦する。本実施形態では、オペレータが操作部１１を動かすことを操作といい、（作業部８３を含め）作業機械装置８０を動かすことを操縦という。

【0020】

このように、オペレータが操作部１１を操作すると、遠隔機械操縦装置１０は、作業機械装置８０へ操縦情報を送信する。そして、作業機械装置８０は、操縦情報を受信すると、操作部１１の操作に対応した動作を行う。

【0021】

遠隔機械操縦装置１０と作業機械装置８０との間で情報伝送が行われると、ネットワーク５０による伝送遅延が発生する。遠隔機械操縦装置１０から作業機械装置８０まで（往路）の情報伝送に伴う伝送遅延時間をΔ１とする。

【0022】

遠隔機械操縦装置１０が、時刻ｔ１に操縦情報を送信し、作業機械装置８０が、時刻ｔ２でその操縦情報を受信する場合、次の式が成り立つ。
ｔ２＝ｔ１＋Δ１

【0023】

一方、作業機械装置８０から遠隔機械操縦装置１０まで（復路）の情報伝送に伴う伝送遅延時間をΔ２とする。作業機械装置８０が、カメラ８４が時刻ｔ’２で撮影した作業部８３の作業状況のモニタリング映像を送信し、遠隔機械操縦装置１０が、時刻ｔ３でそのモニタリング映像を受信して表示する場合、次の式が成り立つ。
ｔ３＝ｔ’２＋Δ２

【0024】

復路の伝送遅延時間Δ２は、ネットワーク５０の情報伝送に起因した遅延のみならず、その前後で実施されるモニタリング映像の画像処理などに起因する遅延も含む。その結果、伝送遅延時間Δ１と伝送遅延時間Δ２は必ずしも一致しない。

【0025】

ここで、ｔ２＝ｔ’２と仮定すると、ｔ３＝ｔ１＋Δ１＋Δ２となる。つまり、オペレータが、時刻ｔ１で遠隔機械操縦装置１０の操作部１１を操作した場合、モニタ１４は、時刻ｔ３でその操作による作業部８３の作業状況を表示する。

【0026】

図２は、遠隔機械操縦装置１０及び作業機械装置８０の機能構成を示すブロック図である。
遠隔機械操縦装置１０は、ユーザが操作を行う操作部１１と、未来の操縦情報を予測する操縦情報予測部１２と、モニタリング映像を受信する映像受信部１３と、作業機械装置８０による作業状況をモニタリング映像として表示するモニタ１４と、を備えている。

【0027】

図３は、操作部１１の一例を示す概要図である。操作部１１は、オペレータによって操作されるものであれば特に限定されないが、本実施形態では操作レバーとする。
操作部１１は、作業機械装置８０を操縦するためのスティック部１１ｓと、後述する予測時間幅Δを手動調整するためのダイヤル調整部１１ｄと、を備えている。なお、ダイヤル調整部１１ｄで調整された予測時間幅Δは、操縦情報予測部１２で使用される。

【0028】

スティック部１１ｓは、棒状に形成されており、何もしない状態（ニュートラル状態）では土台に対して垂直方向に直立している。スティック部１１ｓは、オペレータの操作に応じてｘｙ平面内の任意の方向へ傾倒可能である。なお、スティック部１１ｓがニュートラル状態から任意の方向に傾倒（変位）したときの角度を変位角θといい、それをｘ軸及びｙ軸に射影したもの、すなわちそのｘ成分及びｙ成分をそれぞれ変位角θｘ、変位角θｙという。

【0029】

スティック部１１ｓの根元には、ｘ方向及びｙ方向にそれぞれ伸縮可能なバネ状部材が装着されている。そして、オペレータの操作によってスティック部１１ｓがニュートラル状態から変位角θだけ傾倒されると、当該バネ状部材は、スティック部１１ｓをニュートラル状態に戻すべく、スティック部１１ｓに対して変位角θｘ及びθｙに単純比例した大きさの力をそれぞれ付与する。また、スティック部１１ｓには、それぞれのバネ状部材の伸びに応じた信号を出力するセンサが設けられている。

【0030】

操作部１１は、オペレータの操作によってスティック部１１ｓが変位角θだけ傾倒すると、ニュートラル状態からの変位角θに応じた信号と、各バネ状部材のｘ方向及びｙ方向への伸びに応じた信号と、を操縦情報予測部１２へ供給する。以下、オペレータが操作部１１を連続的に操作したときの任意の時刻を操作時刻ｔとする。

【0031】

操縦情報予測部１２は、図２に示すように、変位情報取得部２１と、演算部２２と、操作力取得部２３と、伝送遅延時間測定部２４と、未来操縦情報予測部２５と、送信部２６と、を備えている。

【0032】

変位情報取得部２１は、操作部１１のニュートラル状態からの変位角θに応じた信号を受信し、サンプリング期間毎に、変位角θを検出する。変位情報取得部２１は、検出した変位角θを演算部２２に供給する。

【0033】

演算部２２は、サンプリング期間毎に、変位情報取得部２１から供給された変位角θを入力として操縦情報ξ（θ）を演算し、操縦情報ξ（θ）を未来操縦情報予測部２５に供給する。操縦情報ξ（θ）は、作業機械装置８０を操縦するための情報であり、変位角θの所定の関数で表される。

【0034】

操作力取得部２３は、操作部１１に設けられたバネ状部材のｘ方向及びｙ方向の伸びに応じた信号を受信して、サンプリング期間毎に、オペレータが操作部１１に加えた操作力Ｆを取得して、これを未来操縦情報予測部２５へ供給する。以下では、ｘ方向に加えられた操作力をＦｘ、ｙ方向に加えられた操作力をＦｙとする。

【0035】

伝送遅延時間測定部２４は、未来の操縦情報を予測する際の予測時間幅Δを測定する。予測時間幅Δとは、上述した往路の情報伝送に伴う伝送遅延時間をΔ１と、上述した復路の情報伝送に伴う伝送遅延時間をΔ２と、の和である。

【0036】

予測時間幅Δは、伝送遅延時間測定部２４によって測定可能であれば、その測定方法は特に限定されるものではない。伝送遅延時間測定部２４は、予測時間幅Δとして、事前準備段階において予め測定された伝送遅延時間Δｍｅａｓｕｒｅ（固定値）を与えてもよい。あるいは、予測時間幅Δを、ネットワークでの接続状態を確認するＰｉｎｇコマンドで用いられているＩＣＭＰ（Ｉｎｔｅｒｎｅｔ Ｃｏｎｔｒｏｌ Ｍｅｓｓａｇｅ Ｐｒｏｔｏｃｏｌ）の「ｅｃｈｏ ｒｅｑｕｅｓｔ／ｅｃｈｏ ｒｅｐｌｙ」メッセージを使って測定してもよい。

【0037】

また、上述したように伝送遅延時間Δ１と伝送遅延時間Δ２は必ずしも一致しない。そこで、例えばＧＰＳ情報を共有することで遠隔機械操縦装置１０と作業機械装置８０のそれぞれの内部クロックが高精度（例えばサブミリ秒オーダー）で同期している場合、次の手法が可能である。すなわち、伝送遅延時間測定部２４は、遠隔機械操縦装置１０及び作業機械装置８０のそれぞれによって記録された（情報の）送信時刻及び受信時刻を用いて、伝送遅延時間Δ１，Δ２それぞれを算出した後、それらの和をとることで予測時間幅Δを測定してもよい。

【0038】

但し、上述のようにして測定された予測時間幅Δをそのまま操縦情報の予測に用いると、モニタリング映像上、オペレータの操作に対して作業機械装置８０（の例えば作業部８３）が過敏に反応するように見えてしまい、オペレータが違和感を覚えることがある。このような違和感を抑制するために、伝送遅延時間測定部２４は、オペレータによって図３に示す操作部１１の調整ダイヤル１１ｄが操作された場合、その操作量に応じて予測時間幅Δの大きさを調整してもよい。

【0039】

未来操縦情報予測部２５は、サンプリング期間毎に、操作時刻ｔにおける変位角θ（ｔ）の関数としての操縦情報ξ（ｔ）に基づいて、操作時刻ｔから第１の所定時間経過後の操縦情報である未来操縦情報ξｐ（ｔ＋Δ）を予測する。なお、第１の所定時間は、伝送遅延時間測定部２４で測定された予測時間幅Δに等しい。

【0040】

具体的には、未来操縦情報予測部２５は、操作時刻ｔの操縦情報ξ（ｔ）に対して、操作時刻ｔから第２の所定時間前までの期間内における過去の操作力Ｆ（複数のサンプリングデータ）を参照して、操作時刻ｔから第１の所定時間経過後の操縦情報である未来操縦情報ξｐ（ｔ＋Δ）を予測する。

【0041】

未来操縦情報予測部２５が過去の操作力Ｆのサンプリングデータを用いて未来操縦情報ξｐ（ｔ＋Δ）を予測できる理由は次の通りである。上述の通り、操縦情報ξ（ｔ）は操作部１１の変位角θ（ｔ）の関数である。そして変位角θ（ｔ）は、オペレータが操作部１１に加える力と、オペレータが操作部１１からの手応えとして感じるバネ状部材に起因した力とのバランスで決定される。このため、未来操縦情報予測部２５は、それまでの操作部１１の手応え、すなわち過去の操作力Ｆのサンプリングデータを利用することによって、未来操縦情報ξｐ（ｔ＋Δ）を高精度に予測できる。未来操縦情報予測部２５は、具体的には図４に示すように構成されている。

【0042】

図４は、未来操縦情報予測部２５の機能構成を示すブロック図である。
未来操縦情報予測部２５は、未来予測モデルを保持する未来予測モデル保持部３１と、未来操縦情報ξｐ（ｔ＋Δ）を予測する予測部３２と、操作時刻ｔにおける操縦情報ξ（ｔ）と未来操縦情報ξｐ（ｔ＋Δ）とを保持する操縦情報保持部３３と、を備えている。

【0043】

未来予測モデル保持部３１に保持される未来予測モデルは、例えば外部で機械学習された機械学習モデルである。未来予測モデルは、大量の教師データを用いて機械学習したことによって、操作時刻ｔの操縦情報ξ（ｔ）と、操作時刻ｔから第２の所定時間前までの期間内における過去の操作力Ｆ（複数のサンプリングデータ）と、未来操縦情報ξｐ（ｔ＋Δ）と、の関係を構築している。

【0044】

予測部３２は、未来予測モデル保持部３１に保持される未来予測モデルを用いて、未来操縦情報ξｐ（ｔ＋Δ）を予測する。具体的には、予測部３２は、図２に示す演算部２２から供給される操作時刻ｔの操縦情報ξ（ｔ）と、操作力取得部２３から供給される過去の操作力Ｆ＝（Ｆｙ，Ｆｙ）（操作時刻ｔから第２の所定時間前までの期間内における複数のサンプリングデータ）と、を未来予測モデルに入力する。そして、予測部３２は、未来予測モデルから出力される情報を、未来操縦情報ξｐ（ｔ＋Δ）として出力する。

【0045】

操縦情報保持部３３は、演算部２２から供給された操作時刻ｔの操縦情報ξ（ｔ）と、予測部３２で予測された未来操縦情報ξｐ（ｔ）とを、関連付けて保持する。

【0046】

図２に示すように、未来操縦情報予測部２５は、予測した未来操縦情報ξｐ（ｔ＋Δ）を送信部２６に供給する。送信部２６は、未来操縦情報予測部２５で予測された未来操縦情報ξｐ（ｔ＋Δ）を、ネットワーク５０を介して作業機械装置８０へ送信する。

【0047】

このように、遠隔機械操縦装置１０は、操作時刻ｔにおいて、未来操縦情報ξｐ（ｔ＋Δ）を作業機械装置８０へ送信する。ここで未来操縦情報ξｐ（ｔ＋Δ）とは、操作時刻ｔに対して予測時間幅Δ（＝Δ１＋Δ２）経過後の未来に、オペレータによって生成されるであろうと予測される操縦情報のことである。

【0048】

遠隔機械操縦装置１０から送信された未来操縦情報ξｐ（ｔ＋Δ）（＝ξｐ（ｔ＋Δ１＋Δ２）は、ネットワーク５０の経由時に、時間Δ１だけ遅延する。このため、操作時刻（ｔ＋Δ１）において、作業機械装置８０で受信される未来操縦情報は、ξｐ（ｔ＋Δ２）となる。

【0049】

作業機械装置８０は、図２に示すように、遠隔機械操縦装置１０からの未来操縦情報ξｐ（ｔ＋Δ）を受信する受信部８１と、受信した操縦情報から機械制御情報を生成する制御部８２と、制御部８２で生成された機械制御情報に従って所定の作業を行う作業部８３と、作業部８３の作業状況を撮影してモニタリング映像を生成するカメラ８４と、カメラ８４で得られた作業部８３のモニタリング映像を送信する映像送信部８５と、を備えている。

【0050】

制御部８２は、受信部８１で受信された未来操縦情報ξｐ（ｔ＋Δ）に基づいて生成した機械制御情報を用いて作業部８３を制御する。これにより、作業部８３は、操作時刻ｔよりも時間Δ１経過後に、未来操縦情報ξｐ（ｔ＋Δ２）に基づく所定の作業を行う。カメラ８４は、作業部８３の作業状況を撮影する。映像送信部８５は、カメラ８４で撮影された作業部８３のモニタリング映像に映像圧縮処理など所定の画像処理を施し、得られた画像処理済みモニタリング映像を遠隔機械操縦装置１０へ送信する。

【0051】

作業機械装置８０から送信されたモニタリング映像は、ネットワーク５０の経由時に、時間Δ２だけ遅延して遠隔機械操縦装置１０に到達する。そして、遠隔機械操縦装置１０の映像受信部１３は、作業機械装置８０から送信されたモニタリング映像を受信し、所定の画像処理を施してモニタ１４に供給する。モニタ１４は、映像受信部１３から供給されたモニタリング映像を表示する。

【0052】

遠隔機械操縦装置１０から送信された未来操縦情報ξｐ（ｔ＋Δ１＋Δ２）は、ネットワーク５０の経由時に、時間Δ１だけ遅延して作業機械装置８０に到達する。このことから、作業機械装置８０の作業部８３は、操作部１１の操作時刻ｔに対して、未来操縦情報ξｐ（ｔ＋Δ２）に基づく所定の作業、すなわち操作時刻ｔから時間Δ２未来の作業を行う。そして、カメラ８４で撮影された作業部８３のモニタリング映像は、ネットワーク５０の経由時に、時間Δ２だけ遅延して遠隔機械操縦装置１０のモニタ１４に表示される。

【0053】

この結果、モニタ１４には、操作部１１の操作時刻ｔに対して、未来操縦情報ξｐ（ｔ）に基づく所定の作業、すなわち操作時刻ｔと同時刻の作業と予測されていた作業状況のモニタリング映像が表示される。よって、オペレータは、ネットワーク５０の伝送遅延の影響を受けることなく、換言すれば、モニタ１４に表示されたモニタリング映像に違和感を覚えることなく、操作部１１を操作することができる。

【0054】

図５は、操縦情報予測部１２による予測処理ルーチンを示すフローチャートである。
ステップＳ１では、変位情報取得部２１は、操作部１１の操作の有無を検出する。操作部１１が操作された場合、次に進む。

【0055】

ステップＳ２では、変位情報取得部２１は、操作時刻ｔにおける操作部１１の変位角θ（ｔ）を取得する。演算部２２は、変位情報取得部２１で取得された変位角θ（ｔ）を入力とする所定の関数に基づいて操縦情報ξ（ｔ）を生成し、得られた操縦情報ξ（ｔ）を未来操縦情報予測部２５に供給する。

【0056】

操作力取得部２３は、操作部１１のスティック部１１ｓの根元にあるバネ状部材に設けられたセンサを通じて操作部１１に加えられた操作力を取得し、その操作力を未来操縦情報予測部２５に供給する。

【0057】

ステップＳ３では、伝送遅延時間測定部２４は、遠隔機械操縦装置１０と作業機械装置８０との間の往復の情報伝送に起因した伝送遅延時間に相当する予測時間幅Δを測定する。予測時間幅Δは、上述した従来技術によって測定された実測値でもよいし、予め設定された固定値であってもよい。

【0058】

ステップＳ４では、未来操縦情報予測部２５は、演算部２２から供給された操作時刻ｔにおける操縦情報ξ（ｔ）に対して、操作時刻ｔから第２の所定時間前までの期間内における過去の操作力Ｆ（複数のサンプリングデータ）を参照して、操作時刻ｔから第１の所定時間経過後の操縦情報である未来操縦情報ξｐ（ｔ＋Δ）を予測する。

【0059】

ステップＳ５では、送信部は、未来操縦情報予測部２５で予測された未来操縦情報ξｐ（ｔ＋Δ）を作業機械装置８０へ送信する。

【0060】

ステップＳ６では、作業機械装置８０の操縦が終了したか否かを判定し、終了していないと判定した場合はステップＳ１へ戻る。作業機械装置８０の操縦が終了したと判定した場合は、一連の処理を終了する。

【0061】

つぎに、未来予測モデルの機械学習処理について説明する。未来予測モデルは、前もって実測で得られた操作時刻ｔにおける操縦情報ξ（ｔ）及び操作力Ｆ（ｔ）を教師データとして学習された機械学習モデルである。

【0062】

（未来予測モデルの学習処理）
図６は、未来予測モデルの機械学習処理を示すフローチャートである。すなわち、（図示しない）機械学習装置は、次のステップＳ１１以下の手順に従って未来予測モデルの機械学習処理を行う。

【0063】

ステップＳ１１では、機械学習装置は、操作時刻ｔａに初期値ｗを設定して、操縦情報ξ（ｔａ）を取得する。ここでｗは、上述の第２の所定時間である。

【0064】

ステップＳ１２では、機械学習装置は、操作時刻ｔａから時間ｗ前までの範囲でサンプリング実測された過去の操作力（Ｆ（ｔａ－ｗ），・・・，Ｆ（ｔａ））を取得する。

【0065】

ステップＳ１３では、機械学習装置は、操縦情報ξ（ｔａ）及び過去の操作力（Ｆ（ｔａ－ｗ），・・・，Ｆ（ｔａ））を入力とした未来予測モデルを用いて、操作時刻ｔａから第１の所定時間である時間Δ後の操作時刻（ｔａ＋Δ）における操縦情報である未来操縦情報ξｐ（ｔａ＋Δ）を計算（予測）する。

【0066】

ステップＳ１４では、機械学習装置は、操作時刻（ｔａ＋Δ）における実測値である操縦情報ξ（ｔａ＋Δ）を取得する。

【0067】

ステップＳ１５では、機械学習装置は、未来操縦情報ξｐ（ｔａ＋Δ）とそれに対応する教師データとしての実測値である操縦情報ξ（ｔａ＋Δ）との差を減少させる方向へ、未来予測モデルの内部パラメータを更新する。

【0068】

ステップＳ１６では、機械学習装置は、操作時刻ｔａを時間δ分増加させる。ここでδはサンプリング時間幅である。

【0069】

ステップＳ１７では、機械学習装置は、操作時刻ｔａにおける操縦情報の実測値ξ（ｔａ）が存在しなければ終了し、存在すればステップＳ１２に戻る。

【0070】

以上のように、本実施形態に係る遠隔機械操縦システム１では、遠隔機械操縦装置１０は、遠隔地に設置された作業機械装置８０に対して、往復の伝送遅延時間の分だけ未来の操縦情報である未来操縦情報を予測し、送信する。これにより、オペレータは、作業機械装置８０の作業状況のモニタリング映像を確認しながら、作業機械装置８０を違和感なく操縦することができる。

【0071】

（測定例）
つぎに、操縦情報の実測値を用いた未来操縦情報ξｐ（ｔ＋Δ）の計算（予測）について、具体例を挙げて説明する。
操縦情報ξは、変位角θの所定の関数で表されるとしたが、以下では、演算負荷の軽減のため、変位角θに単純比例する、すなわち変位角θの一次関数であるとする。一方、上述の通り、操作力Ｆもまた変位角θに単純比例する。したがって、定数ｋを用いると、操縦情報ξと操作力Ｆとの間には、次の関係が成立する。
ξ＝ｋ・Ｆ

【0072】

本実施形態では、演算のさらなる簡略化を図るべく、ｋ＝１とする。つまり、操作力Ｆがそのままのかたちで操縦情報ξとしても用いられるとする。よって、時刻ｔにおける操縦情報ξ（ｔ）は操作力Ｆ（ｔ）と等価となり、そのｘ成分及びｙ成分もまた、それぞれＦｘ（ｔ），Ｆｙ（ｔ）と表される。そして、時刻ｔから予測時間幅Δ後の操縦情報である未来操縦情報ξｐ（ｔ＋Δ）のｘ成分及びｙ成分もまた、それぞれＦｐｘ（ｔ＋Δ），Ｆｐｙ（ｔ＋Δ）となる。ここで、操縦情報ξ（操作力Ｆ）のｘ成分及びｙ成分は、それぞれ互いに独立して取り扱い可能であるとする。

【0073】

図７は、操作部１１から得られた操作力Ｆ（操縦情報ξ）の一例を示す波形図である。
縦軸は、操作部１１からサンプル単位で出力された操作力Ｆのｘ成分（Ｆｘ）及びｙ成分（Ｆｙ）について、それらの絶対値の最大値に基づいて－１．０～１．０の範囲に規格化された値を示す。また横軸は時間軸（秒）を示す。各々の太実線は、サンプリング周波数５０Ｈｚで標本化された先頭の１０００サンプル（２０秒分）をプロットしたものである。

【0074】

以下では、主に操縦情報ξのｘ成分であるＦｘの取扱い方について説明するが、ｙ成分であるＦｙについても同様に取扱い可能である。

【0075】

図８は、実測で得られた操縦情報ξ（操作力Ｆｘ）と、それを用いて予測された未来操縦情報ξｐ（未来操作力Ｆｐｘ）との比較を模式的に示した図である。
未来操縦情報ξｐ（ｔ＋Δ）（未来操作力Ｆｐｘ（ｔ＋Δ））は、操作時刻ｔａにおける操縦情報ξ（ｔａ）（操作力Ｆｘ（ｔａ））と、操作時刻ｔａから時間ｗ前までの期間内における過去の操作力Ｆのサンプルデータ（Ｆｘ（ｔａ－ｗ），・・・，Ｆｘ（ｔａ））と、から予測される。なお本実施形態では、操縦情報ξを操作力Ｆｘと等価にしたことから、Ｆｘ（ｔａ）は操作時刻ｔａにおける実測された操縦情報ξ（ｔａ）であると同時に、ξｐ（ｔ＋Δ）を予測するために用いられる過去の操作力Ｆのサンプルデータの１つでもある。

【0076】

図９は、実験によって得られた、実際の操縦情報ξ（操作力Ｆ）と未来操縦情報ξｐ（未来操作力Ｆｐ）との比較図である。ここでは、上述した第１の所定時間である予測時間幅Δを５００ミリ秒とし、実測値である操作力Ｆｘ（ｔ）及びＦｙ（ｔ）と、未来予測モデルを用いて予測された未来操作力であるＦｐｘ（ｔ）及びＦｐｙ（ｔ）と、が比較される。

【0077】

なお、図９で示した実験においては、未来予測モデルとして、図６に示す機械学習処理が施された機械学習モデル、具体的にはＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）を採用した。

【0078】

また、上述した第２の所定期間に相当する過去の操作力のサンプリングデータ（Ｆｘ（ｔ－ｗ），・・・，Ｆｘ（ｔ））及び（Ｆｙ（ｔ－ｗ），・・・，Ｆｙ（ｔ））の取得範囲期間ｗについて、ｗ＝２．０秒とした。

【0079】

さらに、実際の操縦情報ξ（操作力Ｆ）のサンプリング周波数を５０Ｈｚとした。このため、未来操縦情報ξｐ（未来操作力Ｆｐ）を予測するのに必要な過去の操作力Ｆは、２秒の取得範囲期間において時間幅２０ミリ秒でサンプリングすることとなり、その結果、入力される過去の操作力Ｆとして１００サンプルを得る。

【0080】

これは、ある操作時刻ｔを起点として、過去２．０秒分にサンプリングされた操作力Ｆを用いて、操作時刻ｔから０．５秒後の未来操縦情報ξｐを予測することを示している。したがって、図９図中の点線が示すように、例えば、未来操作力Ｆｐｘ（ｔ）が最初に出現するのは、操作時刻ｔ＝２．５秒の時点となる。

【0081】

本実施形態では、機械学習モデルとしてＬＳＴＭを例に挙げたが、時系列データを予測する機械学習モデルであれば特に限定はされない。例えば、機械学習モデルとして、回帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）であるＧＲＵ（Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ）や時間的畳み込みネットワーク（Ｔｉｍｅ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｔｗｏｒｋ） などであってもよい。

【0082】

本実施形態では、操縦情報ξ（操作力Ｆ）のｘ成分、ｙ成分は相互に依存せず、それぞれ独立して取り扱い可能であるとした。

【0083】

しかし、操縦情報ξ（操作力Ｆ）のｘ成分、ｙ成分の相互作用が想定される場合、Ｆｐｘ（ｔ＋Δ）を算出するための機械学習モデルに対して、過去の操作力ベクトルのｘ成分（Ｆｘ（ｔ－ｗ），・・・，Ｆｘ（ｔ））だけでなく、そのｙ成分（Ｆｙ（ｔ－ｗ），・・・，Ｆｙ（ｔ））も併せて教師データとして用いて、機械学習処理を行ってもよい。

【0084】

また、図４の操縦情報保持部３３には、操作時刻ｔにおける操縦情報ξ（ｔ）と、予測部３２で予測された未来操縦情報ξｐ（ｔ）と、が操作時刻ｔに関連付けて記憶される。そこで、操縦情報保持部３３に保持された情報を所定のタイミングでシステムの外部に取り出し、取り出した情報を教師データなどとして用いて機械学習処理を実行し、未来予測モデルの内部パラメータを更新してもよい。この場合、未来予測モデル保持部３１に保持された未来予測モデルを、所定の条件の下、上述のようにして更新された未来予測モデルに差し替えればよい。

【0085】

［第２の実施形態］
つぎに、第２の実施形態について説明する。なお、第１の実施形態と同じ部位には同じ符号を付し、重複する説明は省略する。第２の実施形態では、図４に示した未来操縦情報予測部２５に代えて、次の図１０に示す未来操縦情報予測部２５Ａが用いられる。

【0086】

図１０は、第２の実施形態に係る未来操縦情報予測部２５Ａの機能構成を示すブロック図である。未来操縦情報予測部２５Ａは、図４に示した未来操縦情報予測部２５の構成に、未来予測モデル更新部３４を追加したものである。
未来予測モデル更新部３４は、演算部２２から供給される操作時刻ｔにおける操縦情報ξ（ｔ）と、操作時刻（ｔ―Δ）の時に予測され、操縦情報保持部３３に保持されている未来操縦情報ξｐ（ｔ）と、を比較して、未来予測モデル保持部３１に保持されている未来予測モデルを更新する。

【0087】

図１１は、未来操縦情報予測部２５Ａを含む（図示しない）操縦情報予測部１２Ａによる予測処理ルーチンを示すフローチャートである。ここでは、当該予測処理ルーチンは、図５と同様にステップＳ１からステップＳ５までを実行した後、新規のステップＳ７を実行し、最後にステップＳ６を実行する。

【0088】

ステップＳ７では、未来予測モデル更新部３４は、操縦情報ξ（ｔ）と未来操縦情報ξｐ（ｔ）とを比較して、未来予測モデル保持部３１に保持されている未来予測モデルを更新する。具体的には、図１２に示すモデル更新ルーチンが実行される。

【0089】

図１２は、図１１に示すステップＳ７のサブルーチンであるモデル更新ルーチンを示すフローチャートである。
ステップＳ２１では、未来予測モデル更新部３４は、演算部２２から供給される操作時刻ｔの操縦情報ξ（ｔ）を取得する。

【0090】

ステップＳ２２では、未来予測モデル更新部３４は、操縦情報保持部３３に保持されている過去に予測された未来操縦情報の中から、操作時刻ｔから予測時間幅Δ過去である操作時刻（ｔ－Δ）において予測された、操作時刻ｔにおける未来操縦情報ξｐ（ｔ）を取得する。

【0091】

ステップＳ２３では、未来予測モデル更新部３４は、操縦情報ξ（ｔ）と未来操縦情報ξｐ（ｔ）との差を減少させるように、未来予測モデル保持部３１に保持される未来予測モデルの内部パラメータを更新する。そして、未来予測モデル更新部３４は、操作時刻ｔが進む度にステップＳ２１～Ｓ２３を繰り返し実行する。

【0092】

ところで、未来予測モデル更新部３４は、操縦情報ξ（ｔ）及び未来操縦情報ξｐ（ｔ）の各サンプルデータが供給される度に未来予測モデルを更新しようとすると、大規模かつ高速な演算能力が必要となり、演算負荷が大きくなる。そこで、未来予測モデル更新部３４は、操縦情報ξ（ｔ）及び未来操縦情報ξｐ（ｔ）の各サンプルデータについて、所定のサンプル数（例えば２０サンプル）毎に未来予測モデルを更新してもよい。

【0093】

以上のように、本実施形態に係る遠隔機械操縦装置１０は、未来操縦情報の予測と並行して、過去に予測した未来操縦情報と実際の操縦情報とが一致するように未来予測モデルを随時更新することにより、作業機械装置８０の作業状況に変化が発生して未来操縦情報の予測精度が低下した場合であっても、当該作業状況のモニタリング映像を確認しながら作業機械装置８０を操縦するオペレータの違和感を、徐々に減らすことができる。

【0094】

［第３の実施形態］
つぎに、第３の実施形態について説明する。なお、上述の実施形態と同じ部位には同じ符号を付し、重複する説明は省略する。

【0095】

図１３は、第３の実施形態に係る遠隔機械操縦装置及び作業機械装置の機能構成を示すブロック図である。遠隔機械操縦システム１Ｂは、図２に示した作業機械装置８０に代えて、作業機械装置８０Ｂを備えている。作業機械装置８０Ｂは、図２に示した作業機械装置８０の構成に、予測映像を合成する予測映像合成部８６を追加したものである。

【0096】

遠隔機械操縦装置１０は、第１の実施形態では、操作時刻ｔから予測時間幅Δ（＝Δ１＋Δ２）経過後の操縦情報である未来操縦情報ξｐ（ｔ＋Δ）を予測するが、本実施形態では、操作時刻ｔから往路伝送遅延時間Δ１のみ経過後の操縦情報である未来操縦情報ξｐ（ｔ＋Δ１）を予測する。

【0097】

なお、第１の実施形態では、伝送遅延時間測定部２４は、予測時間幅Δを設定した。これに対して、本実施形態では、伝送遅延時間測定部２４は、予測時間幅Δの代わりに伝送遅延時間Δ１を設定する。これにより、遠隔機械操縦装置１０は、作業機械装置８０Ｂに対して、往路伝送遅延時間分のみ未来の操縦情報である未来操縦情報ξｐ（ｔ＋Δ１）を送信する。

【0098】

遠隔機械操縦装置１０から送信された未来操縦情報ξｐ（ｔ＋Δ１）は、ネットワーク５０の経由時に、時間Δ１だけ遅延して作業機械装置８０に到達する。このことから、作業機械装置８０Ｂの作業部８３は、操作部１１の操作時刻ｔに対して、未来操縦情報ξｐ（ｔ）に基づく所定の作業、すなわち往路伝送遅延がほぼない状態で、当該所定の作業を行う。

【0099】

カメラ８４は、作業部８３の作業状況を撮影する。予測映像合成部８６は、カメラ８４で撮影されたモニタリング映像に対して、伝送遅延時間Δ２未来の予測映像を合成して、合成された予測映像をモニタリング映像として映像送信部８５に供給する。すなわち、予測映像合成部８６から出力されるモニタリング映像は、伝送遅延時間Δ２だけ未来へ進んだ映像である。

【0100】

なお、予測映像合成部８６による予測映像合成処理は、公知技術であり、例えば、［Ｂ－７－２０］「低遅延でインタラクティブなゼロレイテンシー映像・Ｓｏｍａｔｉｃ統合ネットワーク（４）遠隔作業における映像予測による遅延補償」にて開示されている。映像送信部８５は、予測映像が合成されたモニタリング映像に所定の画像処理を施し、得られた画像処理済みモニタリング映像を遠隔機械操縦装置１０へ送信する。

【0101】

作業機械装置８０Ｂから送信されたモニタリング映像は、ネットワーク５０の経由時に、伝送遅延時間Δ２だけ遅延して、遠隔機械操縦装置１０に到達する。遠隔機械操縦装置１０の映像受信部１３は、作業機械装置８０Ｂから送信されたモニタリング映像を受信する。これにより、モニタ１４には、復路の伝送遅延がほぼない状態のモニタリング映像が表示される。

【0102】

以上のように、本実施形態に係る遠隔機械操縦システム１Ｂでは、遠隔機械操縦装置１０は、遠隔地に設置された作業機械装置８０Ｂに対して、往路伝送遅延時間Δ１の分だけ未来の操縦情報である未来操縦情報ξｐ（ｔ＋Δ１）を予測し、送信する。一方、作業機械装置８０Ｂは、遠隔機械操縦装置１０に対して、復路伝送遅延時間Δ２の分だけ未来の予測映像を合成し、それをモニタリング映像として送信する。これにより、オペレータは、作業機械装置８０Ｂの作業状況のモニタリング映像を確認しながら、作業機械装置８０Ｂを違和感なく操縦することができる。

【0103】

［第４の実施形態］
つぎに、第４の実施形態について説明する。なお、上述の実施形態と同じ部位には同じ符号を付し、重複する説明は省略する。

【0104】

図１４は、第４の実施形態に係る遠隔機械操縦装置及び作業機械装置の機能構成を示すブロック図である。遠隔機械操縦システム１Ｃは、図２に示した遠隔機械操縦装置１０に代えて、遠隔機械操縦装置１０Ｃを備えている。遠隔機械操縦装置１０Ｃは、図２に示した遠隔機械操縦装置１０の構成に、オペレータから筋電位情報を取得する筋電位情報取得部１５と、取得された筋電位情報に所定の信号処理を施す筋電位情報処理部１６と、を追加したものである。

【0105】

筋電位情報取得部１５は、操作部１１のスティック部１１ｓを操作するオペレータの腕の所定の場所に装着される複数の筋電センサである。筋電位情報取得部１５は、本実施形態では、スティック部１１ｓを操作する際の肘の屈曲や伸展といった動きに用いられる筋の６箇所の筋腹（右上の上腕２か所と前腕４か所）に装着される。６箇所の筋腹は、具体的には、上腕二頭筋、上腕三頭筋、長掌筋、長橈側手根伸筋、回外筋付近、橈側手根屈筋の各筋腹である。

【0106】

図１５は、筋電位情報取得部１５によって取得された筋電位情報の一例を示す波形図である。上述した６箇所の筋腹から取得される６つの筋電位情報は、肘の屈曲、肘の伸展、手首の屈曲、手首に力を込める、手首の伸展、手首の屈曲などといった動作の際に筋腹が活性化された結果、現れる。しかし、筋電位情報そのものは、微弱であり、周囲の電磁波ノイズや電源のハムノイズなどの影響を大きく受けることから、そのままで利用するのは難しい。

【0107】

そこで、筋電位情報処理部１６は、筋電位情報取得部１５で取得された６つの筋電位情報を、それぞれの筋活性度に変換する。筋活性度とは、筋繊維が刺激を受けてから実際に筋張力が発生するまでの機序を２次遅れ系モデルに基づいて表現したものである。具体的には、筋活性度をａ、筋電位情報の絶対値をｕとすると、両者の関係は式（１）及び式（２）で表される。

【0108】

【数1】

式（１）の左辺は中間変数ｅの時間微分値、また式（１）のτｎｅ、式（２）のτａｃｔ及びτｄｅａｃは所定の時定数である。

【0109】

さらに、個々の筋の筋電位情報や筋活性度は時間的変化が激しく、また外乱に大きく左右されることから、それらをそのまま操縦情報の予測に用いることには問題が多い。このため、本実施形態では、筋電位情報処理部１６は、筋シナジーの時間パターンペクトルを演算する。

【0110】

筋シナジーとは、多数の筋が一斉に活動する際に観測される協調構造を、時間的に変化する複数の構成要素で構成される時間パターン（ベクトル）と、各構成要素の、各々の筋の活動強度への貢献度を１つにまとめたベクトルの集合として構成される空間パターン（行列）とを用いて表現したものである。具体的には、筋シナジーの時間パターンベクトルをＨ（ｔ）、空間パターン行列をＷとすると、式（３）が成り立つ。

【0111】

Ａ（ｔ）＝Ｗ・Ｈ（ｔ）＋Ｅ（ｔ） （３）
ここで、Ａ（ｔ）は筋活性度ベクトル、Ｅ（ｔ）は残差ベクトルである。

【0112】

そして構成要素の数、すなわちＨ（ｔ）の次数ｋは、Ｅ（ｔ）の要素の値が対応するＡ（ｔ）の要素の値と比較して十分小さくなるように設定される。本実施形態の場合、任意の時刻ｔにおいて、Ｅ（ｔ）の全ての要素の値が、Ａ（ｔ）の対応する要素の値の５％未満となるような最小の次数として、ｋ＝３を採用した。

【0113】

６次元の筋活性度ベクトルＡ（ｔ）は、スティック部１１ｓの操作の際に腕から取得された６つの筋電位情報から、式（１）及び式（２）を用いた変換にて得られる。また、この筋活性度ベクトルＡ（ｔ）は、３次元の時間パターンベクトルＨ（ｔ）と、６×３次元の空間パターン行列Ｗを用いると、式（４）で表される。

【0114】

【数2】

【0115】

式（４）において、左辺のａ１（ｔ）～ａ６（ｔ）は、時刻ｔにおける筋電位情報から算出された筋活性度ベクトルＡ（ｔ）の各要素であって、それぞれ順に、時刻ｔにおける上腕二頭筋、上腕三頭筋、長掌筋、長橈側手根伸筋、回外筋付近、橈側手根屈筋の筋活性度に相当する。また右辺のｈ１（ｔ）～ｈ３（ｔ）は、時刻ｔにおける３次元時間パターンベクトルＨ（ｔ）の各要素であって、以後、それぞれを順にシナジー１、シナジー２、シナジー３という。

【0116】

右辺のｗ１１～ｗ６３、ｅ１（ｔ）～ｅ６（ｔ）はそれぞれ、時間非依存の６×３次元空間パターン行列Ｗの各要素、及び時間に依存した残差ベクトルＥ（ｔ）の各要素である。ここで、６×３次元空間パターン行列Ｗは、非負値行列因子分解（ＮＭＦ：Ｎｏｎｎｅｇａｔｉｖｅ ｍａｔｒｉｘ ｆａｃｔｏｒｉｚａｔｉｏｎ）を用いて、任意の時刻ｔにおいて残差ベクトルＥ（ｔ）の各要素が最小値をとるような要素を持つ時間非依存の行列として抽出される。

【0117】

図１６は、抽出された筋シナジーの時間パターンベクトルの各要素の一例を示す波形図である。
そして、図１４に示す未来操縦情報予測部２５は、操作時刻ｔの操縦情報ξ（ｔ）に対して、操作時刻ｔから第２の所定時間前までの期間内における過去の操作力Ｆ（複数のサンプリングデータ）に加えて、同期間内における過去の筋シナジーの時間パターン（同数のサンプリングデータ）を参照して、操作時刻ｔから第１の所定時間経過後の操縦情報である未来操縦情報ξｐ（ｔ＋Δ）を予測する。

【0118】

（未来予測モデルの学習処理）
本実施形態においても、機械学習装置は、図６のステップＳ１１～ステップＳ１７と同様に、未来予測モデルの機械学習処理を行う。但し、図６のステップＳ１１が行われた後、ステップＳ１２及びステップＳ１３では、次の処理が行われる。

【0119】

ステップＳ１２では、機械学習装置は、操作時刻ｔａから時間ｗ前までの範囲で、サンプリング実測し規格化された過去の操作力（Ｆ（ｔａ－ｗ），・・・，Ｆ（ｔａ））に加えて、その全ての絶対値の最大値に基づいて－１．０～１．０の範囲に規格化されたシナジー１，シナジー２及びシナジー３のそれぞれから、同一時間範囲で取得された３つのシナジー（ｈ１（ｔａ－ｗ），・・・，ｈ１（ｔａ））、（ｈ２（ｔａ－ｗ），・・・，ｈ２（ｔａ））、（ｈ３（ｔａ－ｗ），・・・，ｈ３（ｔａ））も取得する。

【0120】

ステップＳ１３では、機械学習装置は、操縦情報ξ（ｔａ）、過去の操作力（Ｆ（ｔａ－ｗ），・・・，Ｆ（ｔａ））、及び過去の３つのシナジーを入力とした未来予測モデルを用いて、未来操縦情報ξｐ（ｔａ＋Δ）を計算（予測）する。その後、図６に示すステップＳ１４以降の処理が行われる。

【0121】

図１７は、筋電位情報の有無に伴う操縦情報（操作力）の予測を比較した図である。ここでは、予測幅Δ＝４００ミリ秒とした。同図では、実測で得られた操縦情報（操作力）（Ｆｘ（ｔ），Ｆｙ（ｔ））に対して操作力のみを用いて予測された未来操縦情報（操作力）と、操作力に加えて筋電位情報を追加的に用いて予測された未来操縦情報のそれぞれ（いずれも（Ｆｘｐ（ｔ）及びＦｙｐ（ｔ）））が、示されている。なお、機械学習モデルとしてはここでもまたＬＳＴＭを用い、ｗ＝２．０秒としている。

【0122】

図１７において、上段は操作力Ｆｘの比較であって、上段左は操作力のみで予測した場合、同右は操作力に加えて筋電位情報を用いて予測した場合の結果を、また下段は操作力Ｆｙの比較であって、下段左は操作力のみで予測した場合、同右は操作力に加えて筋電位情報を用いて予測した場合の結果を示す。

【0123】

図１７によると、予測された未来操縦情報は、Ｆｐｘ（ｔ）、Ｆｐｙ（ｔ）のいずれにおいても、筋電位情報を追加的に用いた方が、より実測値に近い値が予測されていることが判る。特に大きな変化がある領域においては、筋電位情報を追加的に用いた方が操縦情報の変化を早く予測できる傾向が示されているが、これは人体の右腕に関しては、筋電位の変化が、筋張力の発生に対して５０ミリ秒程度先行して検出されることによる。

【0124】

なお、ここでは予測幅Δ＝４００ミリ秒の場合を示したが、それがより短い時間、例えば予測幅Δ＝２００ミリ秒までの場合は、筋電位情報の追加利用の有無に関係なく、実測値をほぼ正しく予測できることが判明している。

【0125】

他方でそれより長い時間、例えば予測幅Δ＝６００ミリ秒先の予測では、誤差が大きくなるものの、筋電位情報を追加的に用いることで引き続き操作力の変化の開始位置をより適切に予測できる傾向がある。但し予測幅Δ＝８００ミリ秒以上においては再現性が悪くなり、実用性が認められない結果となっている。

【0126】

［その他の実施形態］
なお、本発明は、上述した実施形態に限定されるものではなく、例えば、遠隔地に配置された自動車あるいは建設機械などの遠隔操作にも適用可能である。

【0127】

図１及び図２に示す遠隔機械操縦装置１０は、上述した実施形態では、操作のためのスティック部１１ｓを具備した操作部１１（図３）を備えていたが、スティック部１１ｓに代えてリング形状のハンドル、例えば自動車で使用されるステアリングハンドルを具備してもよい。この場合、ステアリングハンドルにはニュートラル状態があり、操舵された時に当該ニュートラル状態に戻ろうとする力が発生するため、上述した実施形態と同様に本発明の適用が可能である。

【0128】

一方、作業機械装置８０は、遠隔地に配置された自動車あるいは建設機械そのものとして適用される。この場合、作業部８３は、自動車などの操縦機構に対応し、カメラ８４は、自動車の正面方向などを撮影する。その結果、遠隔機械操縦装置１０のモニタ１４には、自動車などのフロントガラスを通してドライバが見える景色映像が表示される。そしてオペレータは、実際に自動車などを運転する感覚で、遠隔地にある自動車などを遠隔操縦することができる。

【符号の説明】

【0129】

１，１Ｂ，１Ｃ 遠隔機械操縦システム
１０ １０Ｃ 遠隔機械操縦装置
２５，２５Ａ 未来操縦情報予測部
５０ ネットワーク
８０,８０Ｂ 作業機械装置

【要約】

【課題】遠隔地に設置された機械の動き映像をモニタリングしながら、当該機械を違和感なく操縦できる遠隔機械操縦装置及びプログラム並びに遠隔機械操縦システムを提供する。
【解決手段】 遠隔機械操縦装置１０は、オペレータがモニタリング映像を見ながら遠隔地にある作業機械装置を操縦するためのものであり、オペレータに操作された操作部１１から得られる操縦情報と、オペレータの操作に関連する所定情報と、未来予測モデルと、に基づいて、操作部１１における操作時刻を基準にして、作業機械装置８０との間の伝送遅延時間に相当する時間経過後の未来の操縦情報である未来操縦情報を予測する未来操縦情報予測部２５と、未来操縦情報予測部２５で予測された未来操縦情報を作業機械装置へ送信する送信部２６と、を備えている。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】