特開 2024-44092 遠隔操作方法、プログラム、遠隔操作装置、および遠隔操作システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024044092

(43)【公開日】2024-04-02

(54)【発明の名称】遠隔操作方法、プログラム、遠隔操作装置、および遠隔操作システム

(51)【国際特許分類】

   B25J 3/00 20060101AFI20240326BHJP

   G06T 19/00 20110101ALI20240326BHJP

【ＦＩ】

B25J3/00 Z

G06T19/00 600

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022149426

(22)【出願日】2022-09-20

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】奈良村 五十志

【テーマコード（参考）】

3C707

5B050

【Ｆターム（参考）】

3C707BS27

3C707JS03

3C707JS07

3C707JT04

3C707JU03

3C707JU12

3C707KS03

3C707KS04

3C707KS16

3C707KS20

3C707KT03

3C707KT04

3C707LW03

3C707LW12

3C707MT01

3C707WA03

5B050CA07

5B050DA04

5B050EA07

5B050EA19

5B050EA27

(57)【要約】

【課題】遅延が生じる環境であっても、操作性を損なわない画像情報を提供することができる遠隔操作方法、プログラム、遠隔操作装置、および遠隔操作システムを提供することを目的とする。
【解決手段】ロボットの遠隔操作方法は、操作者が操作すると、操作入力記ロボットの関節角度指令値に変換する変換工程と、ロボットの存在する空間の実視覚情報を取得する取得工程と、３次元表現により操作者にロボットの存在する空間中の任意視点の仮想視覚情報を生成する生成工程と、実視覚情報を新たに取得できていない場合に、仮想視覚情報を操作者の視認する画面に投影し、実視覚情報を新たに取得できている場合に、新たに取得した実視覚情報に基づく画像を実視覚情報に合成した混合画像を操作者の視認する画面に投影する投影工程と、を有する。
【選択図】図６

【特許請求の範囲】

【請求項1】

ロボットの遠隔操作方法であって、
操作者が操作すると、操作入力を前記ロボットの関節角度指令値に変換する変換工程と、
前記ロボットの存在する空間の実視覚情報を取得する取得工程と、
３次元表現により操作者に前記ロボットの存在する空間中の任意視点の仮想視覚情報を生成する生成工程と、
前記実視覚情報を新たに取得できていない場合に、前記仮想視覚情報を前記操作者の視認する画面に投影し、前記実視覚情報を新たに取得できている場合に、新たに取得した前記実視覚情報に基づく画像を前記仮想視覚情報に合成した混合画像を前記操作者の視認する画面に投影する投影工程と、
を有するロボットの遠隔操作方法。

【請求項2】

前記仮想視覚情報は、
前記実視覚情報の取得時に保持している視覚情報と、前記操作者に前記実視覚情報が到着する時間で保持している視覚情報を入力として、前記視覚情報から運動や形状などのパラメータを回帰により予測する前記３次元表現の逆変換で求め、時系列ネットワークを用いて時刻間のパラメータを補間することにより計算される、
請求項１に記載のロボットの遠隔操作方法。

【請求項3】

前記生成工程では、前記関節角度指令値と、前記操作者の視認する画面の姿勢と、取得された実視覚情報とを、学習済みのモデルに入力することで、前記仮想視覚情報を生成する、
請求項１または請求項２に記載のロボットの遠隔操作方法。

【請求項4】

前記実視覚情報を取得した時刻の前記ロボットと作業対象の物体の姿勢が推定された姿勢情報を用いて、前記仮想視覚情報を生成する、
請求項１または請求項２に記載のロボットの遠隔操作方法。

【請求項5】

前記実視覚情報には、撮影された時刻情報と、撮影された画像に対して認識処理で認識された作業対象物体の位置情報と前記作業対象物体の姿勢情報と、を含むメタデータを含み、
前記生成工程では、前記メタデータを用いて前記ロボットの姿勢と、前記作業対象物体の姿勢が推定された推定情報を用いて、前記仮想視覚情報を生成する、
請求項１または請求項２に記載のロボットの遠隔操作方法。

【請求項6】

前記投影工程では、前記実視覚情報と前記仮想視覚情報との混合比率を、前記実視覚情報の時刻毎の変化率に応じて決定する、
請求項１または請求項２に記載のロボットの遠隔操作方法。

【請求項7】

前記実視覚情報は、ＲＧＢデータと、深度データを含む、
請求項１または請求項２に記載のロボットの遠隔操作方法。

【請求項8】

遠隔操作のコンピュータに、
操作者が操作すると、操作入力をロボットの関節角度指令値に変換させ、
前記ロボットの存在する空間の実視覚情報を取得させ、
３次元表現により操作者に前記ロボットの存在する空間中の任意視点の仮想視覚情報を生成させ、
前記実視覚情報を新たに取得できていない場合に、前記仮想視覚情報を前記操作者の視認する画面に投影し、前記実視覚情報を新たに取得できている場合に、新たに取得した前記実視覚情報に基づく画像を前記実視覚情報に合成した混合画像を前記操作者の視認する画面に投影させる、
ことを実行させるプログラム。

【請求項9】

操作者が操作すると、操作入力をロボットの関節角度指令値に変換する変換部と、
前記ロボットの存在する空間の実視覚情報を取得する取得部と、
３次元表現により操作者に前記ロボットの存在する空間中の任意視点の仮想視覚情報を生成する生成部と、
前記実視覚情報を新たに取得できていない場合に、前記仮想視覚情報を前記操作者の視認する画面に投影し、前記実視覚情報を新たに取得できている場合に、新たに取得した前記実視覚情報に基づく画像を前記実視覚情報に合成した混合画像を前記操作者の視認する画面に投影する投影部と、
を備える遠隔操作装置。

【請求項10】

遠隔操作装置と、遠隔地側装置とを備え、
前記遠隔地側装置は、
ロボットと、
前記ロボットが存在する環境の実視覚画像を検出する視覚センサと、を備え、
前記遠隔操作装置は、
操作者が操作すると、操作入力を前記ロボットの関節角度指令値に変換する変換部と、
前記ロボットの存在する空間の実視覚情報を取得する取得部と、
３次元表現により操作者に前記ロボットの存在する空間中の任意視点の仮想視覚情報を生成する生成部と、
前記実視覚情報を新たに取得できていない場合に、前記仮想視覚情報を前記操作者の視認する画面に投影し、前記実視覚情報を新たに取得できている場合に、新たに取得した前記実視覚情報に基づく画像を前記実視覚情報に合成した混合画像を前記操作者の視認する画面に投影する投影部と、を備える、
遠隔操作システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔操作方法、プログラム、遠隔操作装置、および遠隔操作システムに関する。

【背景技術】

【0002】

ロボットの遠隔操作を行う際、操作者は、遠隔地にいるロボットの周辺環境の把握が必要である。人間の五感による知覚の割合は視覚が殆どを占めるため、環境把握に視覚情報提示が有効である。遠隔地の画像データを合成して提供するシステムが提案されている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０２２／０２６６９２号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、視覚情報はデータ容量が大きく、かつ遠隔操作時は通信帯域が制限されるため通信遅延が発生する。例えば、国際宇宙ステーションと地上とでは往復で０．７５秒程度の遅延が発生し、月と地上との往復では３秒程度の遅延が発生する。さらに、この遅延時間は、伝送路の状況により変化する可能性がある。通信遅延が変化する環境では、操作性を損なう。このように、従来技術では、遠隔操作時、画像情報の伝送遅延によって、操作性を損なっていた。

【0005】

本発明は、上記の問題点に鑑みてなされたものであって、遅延が生じる環境であっても、操作性を損なわない画像情報を提供することができる遠隔操作方法、プログラム、遠隔操作装置、および遠隔操作システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

（１）上記目的を達成するため、本発明の一態様に係る遠隔操作方法は、ロボットの遠隔操作方法であって、操作者が操作すると、操作入力を前記ロボットの関節角度指令値に変換する変換工程と、前記ロボットの存在する空間の実視覚情報を取得する取得工程と、３次元表現により操作者に前記ロボットの存在する空間中の任意視点の仮想視覚情報を生成する生成工程と、前記実視覚情報を新たに取得できていない場合に、前記仮想視覚情報を前記操作者の視認する画面に投影し、前記実視覚情報を新たに取得できている場合に、新たに取得した前記実視覚情報に基づく画像を前記実視覚情報に合成した混合画像を前記操作者の視認する画面に投影する投影工程と、を有するロボットの遠隔操作方法である。

【0007】

（２）また、本発明の一態様に係る（１）の遠隔操作方法において、前記仮想視覚情報は、前記実視覚情報の取得時に保持している視覚情報と、前記操作者に前記実視覚情報が到着する時間で保持している視覚情報を入力として、前記視覚情報から運動や形状などのパラメータを回帰により予測する前記３次元表現の逆変換で求め、時系列ネットワークを用いて時刻間のパラメータを補間することにより計算される。

【0008】

（３）また、本発明の一態様に係る（１）または（２）の遠隔操作方法において、前記生成工程では、前記関節角度指令値と、前記操作者の視認する画面の姿勢と、取得された実視覚情報とを、学習済みのモデルに入力することで、前記仮想視覚情報を生成する。

【0009】

（４）また、本発明の一態様に係る（１）から（３）のうちのいずれか１つの遠隔操作方法において、前記実視覚情報を取得した時刻の前記ロボットと作業対象の物体の姿勢が推定された姿勢情報を用いて、前記仮想視覚情報を生成する。

【0010】

（５）また、本発明の一態様に係る（１）から（４）のうちのいずれか１つの遠隔操作方法において、前記実視覚情報には、撮影された時刻情報と、撮影された画像に対して認識処理で認識された作業対象物体の位置情報と前記作業対象物体の姿勢情報と、を含むメタデータを含み、前記生成工程では、前記メタデータを用いて前記ロボットの姿勢と、前記作業対象物体の姿勢が推定された推定情報を用いて、前記仮想視覚情報を生成する。

【0011】

（６）また、本発明の一態様に係る（１）から（５）のうちのいずれか１つの遠隔操作方法において、前記投影工程では、前記実視覚情報と前記仮想視覚情報との混合比率を、前記実視覚情報の時刻毎の変化率に応じて決定する。

【0012】

（７）また、本発明の一態様に係る（１）から（６）のうちのいずれか１つの遠隔操作方法において、前記実視覚情報は、ＲＧＢデータと、深度データを含む。

【0013】

（８）上記目的を達成するため、本発明の一態様に係るプログラムは、遠隔操作のコンピュータに、操作者が操作すると、操作入力をロボットの関節角度指令値に変換させ、前記ロボットの存在する空間の実視覚情報を取得させ、３次元表現により操作者に前記ロボットの存在する空間中の任意視点の仮想視覚情報を生成させ、前記実視覚情報を新たに取得できていない場合に、前記仮想視覚情報を前記操作者の視認する画面に投影し、前記実視覚情報を新たに取得できている場合に、新たに取得した前記実視覚情報に基づく画像を前記実視覚情報に合成した混合画像を前記操作者の視認する画面に投影させる、ことを実行させるプログラムである。

【0014】

（９）上記目的を達成するため、本発明の一態様に係る遠隔操作装置は、操作者が操作すると、操作入力をロボットの関節角度指令値に変換する変換部と、前記ロボットの存在する空間の実視覚情報を取得する取得部と、３次元表現により操作者に前記ロボットの存在する空間中の任意視点の仮想視覚情報を生成する生成部と、前記実視覚情報を新たに取得できていない場合に、前記仮想視覚情報を前記操作者の視認する画面に投影し、前記実視覚情報を新たに取得できている場合に、新たに取得した前記実視覚情報に基づく画像を前記実視覚情報に合成した混合画像を前記操作者の視認する画面に投影する投影部と、を備える遠隔操作装置である。

【0015】

（１０）上記目的を達成するため、本発明の一態様に係る遠隔操作システムは、遠隔操作装置と、遠隔地側装置とを備え、前記遠隔地側装置は、ロボットと、前記ロボットが存在する環境の実視覚画像を検出する視覚センサと、を備え、前記遠隔操作装置は、操作者が操作すると、操作入力を前記ロボットの関節角度指令値に変換する変換部と、前記ロボットの存在する空間の実視覚情報を取得する取得部と、３次元表現により操作者に前記ロボットの存在する空間中の任意視点の仮想視覚情報を生成する生成部と、前記実視覚情報を新たに取得できていない場合に、前記仮想視覚情報を前記操作者の視認する画面に投影し、前記実視覚情報を新たに取得できている場合に、新たに取得した前記実視覚情報に基づく画像に合成した混合画像を前記実視覚情報を前記操作者の視認する画面に投影する投影部と、を備える、遠隔操作システムである。

【発明の効果】

【0016】

（１）～（１０）によれば、遅延が生じる環境であっても、操作性を損なわない画像情報を提供することができる。

【図面の簡単な説明】

【0017】

【図1】実施形態に係る遠隔操作システムの構成例を示す図である。

【図2】実施形態に係る遠隔地側装置の構成例を示す図である。

【図3】実施形態に係る操作側装置の構成例を示す図である。

【図4】実施形態に係るデータ取得タイミング、受信タイミング、推定した情報の外挿等を説明するための図である。

【図5】複数の視点の処理を行う場合の構成例を示す図である。

【図6】実施形態に係る遠隔操作システムの処理手順例のフローチャートである。

【図7】実施形態に係る遠隔地側装置の視覚センサの検出データに対する処理手順例のフローチャートである。

【図8】実施形態に係る遠隔地側装置の内界センサの検出結果に対する処理手順例のフローチャートである。

【図9】実施形態に係る遠隔地側装置の統合されたデータに対する処理手順例のフローチャートである。

【図10】実施形態に係る遠隔地側装置の圧縮されたデータに対する処理手順例のフローチャートである。

【図11】実施形態に係る仮想進展画像の生成、画像の混合等の処理手順例のフローチャートである。

【図12】視覚センサが撮影する画像の例を示す図である。

【発明を実施するための形態】

【0018】

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。

【0019】

［遠隔操作システムの構成例］
図１は、本実施形態に係る遠隔操作システムの構成例を示す図である。図１のように、遠隔操作システム１は、操作側装置２と、遠隔地側装置３を備える。
操作側装置２は、例えば、第１通信装置２１と、遠隔操作装置２２と、表示部２３と、センサ２４と、センサ２５を備える。
遠隔地側装置３は、例えば、ロボット３１と、第２通信装置３２を備える。
操作側装置２（遠隔操作装置）と遠隔地側装置３とは、ネットワークＮＷを介して接続される。

【0020】

第１通信装置２１は、遠隔地側装置３が送信した情報を受信し、受信した受信情報を遠隔操作装置２２に出力する。第１通信装置２１は、遠隔操作装置２２が出力する送信情報を遠隔地側装置３へ送信する。

【0021】

遠隔操作装置２２は、受信情報に基づいて表示部２３に表示させる画像を生成し、生成した画像を表示部２３に表示させる。遠隔操作装置２２は、表示部２３が備える視線検出部が検出した結果、センサ２４が検出した操作者の手や指の角度と動きと、受信情報に含まれるロボット３１の関節等の角度、受信情報に含まれる環境情報に基づいて、ロボット３１の制御指令を生成する。遠隔操作装置２２は、生成した制御指令を、送信情報として第１通信装置２１に出力する。遠隔操作装置２２は、センサ２５の検出結果に基づいて、操作者の頭部の姿勢を推定する。

【0022】

表示部２３は、例えばＨＭＤ（Head Mounted Display）であり、操作者の視線を検出する視線検出部を備える。表示部２３は、遠隔操作装置２２が生成した画像を表示する。

【0023】

センサ２４は、例えば、操作者の手の装着される操作指示検出部である。センサ２４は操作者の手や指の位置、角度、動き等を検出する。
センサ２５は、操作者の視点と視線方向を検出する。

【0024】

ロボット３１は、少なくともマニュピレータと、視覚センサ（カメラ）と、マニュピレータの角度や位置や動きを検出するセンサを備える。ロボット３１は、視覚センサが撮影した画像とセンサが検出した検出結果を、第２通信装置３２に出力する。ロボット３１は、第２通信装置３２が出力する送信情報に含まれる制御指示に応じて動作する。

【0025】

第２通信装置３２は、操作側装置２が送信する送信情報を受信し、送信情報に含まれる制御指示をロボット３１に出力する。第２通信装置３２は、ロボット３１が出力する画像と検出結果を操作側装置２へ送信する。

【0026】

［遠隔地側装置の構成例］
図２は、本実施形態に係る遠隔地側装置の構成例を示す図である。図２のように、遠隔地側装置３は、例えば、視覚センサ３０１（３０１－１，３０１－２）、内界センサ３０２、検出推定部３０３（３０３－１，３０３－２）、エンコーダ３０４、データ統合部３０５、データ圧縮部３０６、通信部３０７、制御部３０８、アクチュエータ３０９、および処理部３１０を備える。なお、図２の構成例は、操作側装置２にステレオ画像を提示させる場合の構成例である。

【0027】

視覚センサ３０１（３０１－１，３０１－２）は、例えば、魚眼レンズを備える撮影装置である。視覚センサ３０１は、例えばロボット３１の頭部に取り付けられている。なお、視覚センサ３０１が撮影した画像には、深度情報も含む。なお、視覚センサ３０１の数は、１つでもよく、３つ以上であってもよい。

【0028】

内界センサ３０２は、ロボット３１が備えるエンドエフェクタの関節等に取り付けられているセンサであり、例えば、関節エンコーダ、張力センサ、トルクセンサ等である。

【0029】

検出推定部３０３（３０３－１，３０３－２）は、撮影されたＲＧＢＤデータに対して周知のインスタンスセグメンテーション（Instance Segmentation）処理を行って、関心対象（ＲＯＩ）と背景等を分離する。なお、撮影された画像に複数の物体が写っている場合は、物体毎に物体認識を行う。検出推定部３０３は、撮影されたＲＧＢＤデータに対して周知の画像処理を行って、対象物の姿勢を推定する。検出推定部３０３（３０３－１，３０３－２）は、例えば、タイムスタンプ、姿勢、インスタンス（関心対象ＲＯＩ、クラス情報（ＩＤ））を含むメタデータである。

【0030】

エンコーダ３０４は、視覚センサ３０１－１が出力するＲＧＢＤ（Ｗ（幅）×Ｈ（高さ）×４（ＲＧＢＤの４つ））データと、検出推定部３０３－１が出力するメタデータと、視覚センサ３０１－２が出力するＲＧＢＤ（Ｗ×Ｈ×４）データと、検出推定部３０３－２が出力するメタデータそれぞれを、ストリーミング可能なデータに所定の手法でエンコードする。

【0031】

データ統合部３０５は、エンコードされたデータを統合する。

【0032】

データ圧縮部３０６は、内界センサ３０２が検出した検出結果を所定の手法で圧縮する。

【0033】

通信部３０７は、データ統合部３０５が出力する統合されたデータと、データ圧縮部３０６が圧縮した検出結果を、ネットワークＮＷを介して操作側装置２へ送信する。通信部３０７は、操作側装置２から制御指示を含む送信情報を受信し、受信した制御指示を制御部３０８に出力する。なお、送信される画像データは、通信環境に合わせて、フレームレートを少なくしたものであるか、撮影された画像の解像度を落としたものである。なお、通信部３０７は、統合されたデータを送信する第１の通信部と、圧縮されたデータを送信する第２の通信部を備えている。

【0034】

制御部３０８は、制御指示を用いて、アクチュエータ３０９を駆動する。

【0035】

アクチュエータ３０９は、エンドエフェクタに取り付けられている。アクチュエータ３０９は、制御部３０８の制御に応じて駆動される。

【0036】

処理部３１０は、視覚センサ３０１からのデータ取得、内界センサ３０２からのデータ取得、エンコーダ３０４、データ圧縮、データ統合、送信等を制御する。

【0037】

［操作側装置の構成例］
図３は、本実施形態に係る操作側装置の構成例を示す図である。図３のように、操作側装置２は、例えば、ＨＭＤ２０１（投影部）、操作指示検出部２０４（センサ２４）、指令値生成部２０５（変換部）、通信部２０６（取得部）、デコーダ２０７、データ展開部２０８、姿勢推定部２０９、モデル２１０（生成部）、出力部２１１、出力部２１２、出力部２１３、解像度復元部２１４、解像度復元部２１５、第１混合データ生成部２１６（生成部、投影部）、第２混合データ生成部２１７（生成部、投影部）、および処理部２１８（生成部、投影部）を備える。
ＨＭＤ２０１は、視線検出部２０２（センサ２５）と、ＨＭＤ２０１の位置と姿勢を検出するセンサ２０３（センサ２５）と、表示部２３（図１）を備える。
なお、図３の構成例は、操作側装置２が、ステレオ画像を提示する場合の構成例である。

【0038】

視線検出部２０２（センサ２５）は、操作者の視点と視線方向を検出する。視線検出部２０２は、例えば、両眼に対応するように左右に設けられている。視線検出部２０２は、検出した左右の視点と視線方向をモデル２１０に入力する。

【0039】

操作指示検出部２０４（センサ２４）は、操作者の指や手の位置、動き等を検出する。操作指示検出部２０４は、遠隔操作における操作入力インタフェースである。操作指操作示検出部２０４は、検出した検出結果を指令値生成部２０５に出力する。操作指示検出部２０４は、例えば、データグローブ、外骨格式のデバイス等である。

【0040】

指令値生成部２０５は、操作指示検出部２０４が出力する検出結果を用いて、ロボット３１のハンドやアームに対する制御指令を生成し、生成した制御指令を通信部２０６に出力する。すなわち、指令値生成部２０５は、操作者が操作すると、その操作入力をロボット３１の関節角度指令値に変換する。指令値生成部２０５は、操作指示検出部２０４が出力する検出結果を用いて、ロボット３１のハンドやアームに対する関節角度を生成し、生成した関節角度を示す情報をモデル２１０に入力する。

【0041】

通信部２０６は、指令値生成部２０５が出力する制御指令を、ネットワークＮＷを介して遠隔地側装置３へ送信する。通信部２０６は、遠隔地側装置３から受信した情報に含まれるデータ統合されたデータをデコーダ２０７に出力する。通信部２０６は、遠隔地側装置３から受信した情報に含まれるデータ圧縮されたデータをデータ展開部２０８に出力する。なお、通信部２０６は、統合されたデータを受信する第１の通信部と、圧縮されたデータを受信する第２の通信部を備えている。

【0042】

デコーダ２０７は、デコードされデータ統合されたデータに対して、所定の手法でデコード処理を行う。デコーダ２０７は、この処理によって、ＲＧＢＤデータとメタデータを取り出す。デコーダ２０７は、メタデータを姿勢推定部２０９に出力する。デコーダ２０７は、ＲＧＢＤデータを解像度復元部２１４と解像度復元部２１５に出力する。

【0043】

データ展開部２０８は、データ圧縮されたデータを解凍して展開する。データ展開部２０８は、この処理によって、内界センサ３０２の検出結果を取り出し、取り出した内界センサ３０２の検出結果を姿勢推定部２０９と出力部２１３出力する。

【0044】

姿勢推定部２０９は、推論器である。姿勢推定部２０９は、デコーダ２０７から入力されるメタデータ、データ展開部２０８から入力される内界センサ３０２の検出結果と、モデル２１０から入力される仮想視点（仮想視覚）画像データに基づいて、作業対象の物体の姿勢と、ロボット３１のエンドエフェクタ（アーム、ハンド）の姿勢を周知の手法によって遅延が無いように推定する。このため、姿勢推定部２０９からモデル２１０に入力される作業対象の物体の姿勢と、ロボット３１のエンドエフェクタ（アーム、ハンド）の姿勢は、遅延時間が内容に推定された姿勢データである。なお、姿勢推定部２０９は、取得されたデータに含まれるタイムスタンプにより内界センサ３０２が取得した時刻と、操作側装置がデータを取得した時刻との時間差（遅延量）に基づいて推定する。また、姿勢推定部２０９は、指令値生成部２０５が生成する指令値に基づいて、作業の際、遅延量後の時刻にロボット３１が取る好ましい姿勢を予め記憶しておき、記憶された情報を参照して推定するようにしてもよい。

【0045】

モデル２１０は、例えば、操作者の視点と視線方向、操作者の関節角度、姿勢推定部２０９が推定した物体の姿勢とロボット３１のエンドエフェクタの姿勢を用いて、作業状態の仮想視点画像データ（ＲＧＢＤデータ）を学習したモデルである。モデル２１０は、例えばＮｅＲＦ（Neural Radiance Fields）表現（ニューラル３次元表現）で表される。なお、ＮｅＲＦは、複数の視点の画像から３Ｄモデルを生成して、任意の視点の映像をレンダリングすることができる。また、ＮｅＲＦでは、ポリゴンを使用せずに、機械学習モデルとして３Ｄモデルを表現できる（例えば参考文献１参照）。モデル２１０は、入力されたデータに基づいて、例えば左右の撮影さえた画像データの解像度より高いＲＧＢＤ（ＮＷ（幅）×ＮＨ（高さ）×４（ＲＧＢＤの４つ））を出力部２１１と出力部２１２に出力する。

【0046】

参考文献１；Ben Mildenhall1,Pratul P. Srinivasan1, et al, “NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis”, ECCV 2020 (oral), 2020

【0047】

出力部２１１は、例えばデコーダを備える。出力部２１１は、モデル２１０が出力するＲＧＢＤ（ＮＷ（幅）×ＮＨ（高さ）×４）データを第１混合データ生成部２１６に出力する。なお、出力部２１１は、バッファを備える。

【0048】

出力部２１２は、例えばデコーダを備える。出力部２１２は、モデル２１０が出力するＲＧＢＤ（ＮＷ（幅）×ＮＨ（高さ）×４）データを第２混合データ生成部２１７に出力する。なお、出力部２１２は、バッファを備える。
なお、出力部２１１と出力部２１２は、ＨＭＤ２０１に立体視を提供するためにも使用される。このため、提供される画像が立体視では無い場合、操作側装置２は、出力部２１１と出力部２１２のうちの１つを備えていればよい。

【0049】

出力部２１３は、展開された内界センサ３０２の検出結果を、第１混合データ生成部２１６と第２混合データ生成部２１７に出力する。なお、出力部２１３は、バッファを備える。また、出力部２１３は、内界センサ３０２が推定した値をエンコードして特徴量を求める。

【0050】

解像度復元部２１４は、デコードされた画像データの解像度を周知の手法で復元する。解像度復元部２１４は、復元した超解像の画像データであるＲＧＢＤ（ＮＷ（幅）×ＮＨ（高さ）×４（ＲＧＢＤの４つ））データを第１混合データ生成部２１６に出力する。なお、解像度復元部２１４は、バッファを備える。

【0051】

解像度復元部２１５は、デコードされた画像データの解像度を周知の手法で復元する。解像度復元部２１４は、復元した超解像の画像データであるＲＧＢＤ（ＮＷ（幅）×ＮＨ（高さ）×４（ＲＧＢＤの４つ））データを第２混合データ生成部２１７に出力する。なお、解像度復元部２１５は、バッファを備える。

【0052】

第１混合データ生成部２１６は、例えばエンコーダとデコーダを備える。第１混合データ生成部２１６は、仮想画像と実画像を混合して生成し、生成した混合データをＨＭＤ２０１の表示部２３に表示させる。なお、仮想視覚情報は、例えば、視覚センサ３０１が検出した実視覚情報の取得時に保持している視覚情報と、操作者に実視覚情報が到着する時間で保持している視覚情報を入力として、視覚情報から運動や形状などのパラメータを回帰により予測する３次元表現の逆変換で求め、時系列ネットワークを用いて時刻間のパラメータを補間することにより計算される。また、第１混合データ生成部２１６は、出力部２１３が求めた内界センサ３０２の特徴量も用いて、仮想画像と実画像を混合するようにしてもよい。なお、本実施形態において、混合とは、後述するように、実視覚情報が得られているときは実視覚情報を提供し、実視覚情報が得られていないときに仮想視点情報を提供することである。

【0053】

第２混合データ生成部２１７は、例えばエンコーダとデコーダを備える。第２混合データ生成部２１７は、仮想画像と実画像との混合データ生成し、生成した混合データをＨＭＤ２０１の表示部２３に表示させる。なお、第２混合データ生成部２１７は、例えば、混合比率を変化率に応じて決定することで混合する。また、第２混合データ生成部２１７は、出力部２１３が求めた内界センサ３０２の特徴量も用いて、仮想画像と実画像を混合するようにしてもよい。
なお、操作側装置は、第１混合データ生成部２１６と第２混合データ生成部２１７のうちの１つを備えていればよい。
また、第１混合データ生成部２１６と第２混合データ生成部２１７は、ＨＭＤ２０１に立体視を提供するためにも使用される。このため、提供される画像が立体視では無い場合、操作側装置２は、第１混合データ生成部２１６と第２混合データ生成部２１７のうちの１つを備えていればよい。

【0054】

処理部２１８は、データの受け渡し、パラメータの設定等の処理を制御する。

【0055】

表示部２３は、第１混合データ生成部２１６が混合した混合データと、第２混合データ生成部２１７が混合した混合データのうちのいずれか１つを表示する。

【0056】

［データ取得タイミング、受信タイミング、情報の推定］
次に、データ取得タイミング、受信タイミング、推定した情報の外挿等を説明する。図４は、本実施形態に係るデータ取得タイミング、受信タイミング、推定した情報の外挿等を説明するための図である。図４において、横軸はフレームまたは時刻である。

【0057】

符号ｇ１０１は、第１の視覚センサ３０１－１（ＲＧＢＤ）（例えば左側）のデータ取得タイミングの例である。符号ｇ１０２は、第２の視覚センサ３０１－２（ＲＧＢＤ）（例えば右側）のデータ取得タイミングの例である。なお、送信する通信帯域が狭いことが多いので、両矢印ｇ１１１のようにＦＰＳ（フレームレート）、解像度を上げることができない。このため、本実施形態では、操作側装置２が解像度の復元処理を行うことで、撮影された画像より高い解像度の画像データを得る。なお、本実施形態では、視覚センサ３０１のデータは、ストリーミングで送受信される。

【0058】

符号ｇ１０３は、内界センサ３０２（関節角度等）のデータ取得タイミングである。なお、例えば、宇宙空間での通信プロトコルは、ＣＣＳＤＳ（Consultative Committee for Space Data Systems）を用いており、エラーが発生したパケットは破棄される。このため、遅延が秒単位の系では、インタラクティブな遠隔操作は難しい。モニタリングは、仮想画像を混ぜることでインタラクティブにできるので、本実施形態では仮想画像を混合するようにした。

【0059】

符号ｇ１０４、ｇ１０５は、通信遅延の影響で、過去の情報を受け取るタイミング例である。

【0060】

図４の例では、時刻ｔ１のとき、遠隔地側装置３は、内界センサ３０２のデータを送信する。しかしながら、通信系の遅延により、時刻ｔ３のとき、操作側装置２は、送信されたデータを受信する。同様に、時刻ｔ３のとき、内界センサ３０２のデータが送信されるが、操作側装置２は、時刻ｔ５のとき送信されたデータを受信する。

【0061】

また、視覚センサ３０１のデーが時刻ｔ２のときに送信されるが、通信系の遅延により、時刻ｔ５のとき、操作側装置２は、送信されたデータを受信する。視覚センサ３０１のデーが時刻ｔ６のときに送信されるが、時刻ｔ７のとき、操作側装置２は、送信されたデータを受信する。なお、内界センサ３０２の送受信の遅延時間より、視覚センサ３０１の市送受信の遅延時間が長い理由は、視覚センサ３０１のデータが画像データであり内界センサ３０２のデータより大きいためである。

【0062】

例えば、符号ｇ１０６の例では、時刻ｔ４の時に受信する信号は、過去の例えば時刻ｔ３の時のデータである。このため、本実施形態では、符号ｇ１０６のように、受信した過去情報から現在情報を推定し、再び情報を受信するまで情報を外挿する。例えば、姿勢推定部２０９が、時刻ｔ３の時に受信したデータを用いて、時刻ｔ４のときに受信するであろうデータを推定する。

【0063】

画像データの場合、例えば、時刻ｔ６で受信する画像データは、時刻ｔ２のときのもので、現在の画像データが得られていない。このため、本実施形態では、モデル２１０で、現在の画像を推定して、第１個運号データ生成器２１６が受信した画像データと推定された画像データを混合して提示する。

【0064】

また、本実施形態では、符号ｇ１０７のように、解像度復元処理によって、仮想画像で高解像度、高フレームレートである視点画像を生成する。例えば、実画像データを受信できていない時刻ｔ６～ｔ７の期間、このような画像を提供し続ける。

【0065】

なお、任意の視点画像は、操作者がＨＭＤ２０１を使用しているので遅延無く取得できる。しかしながら、ロボット３１が存在する空間の実視覚情報は取得の際、遅延している。このため、本実施形態では、姿勢推定部２０９が推定したロボット３１の姿勢と、遅延して得られた実視覚情報とをモデル２１０に入力することで、現在の時刻の遅延のない仮想視点画像を得る。例えば、ロボット３１の関節角が推定されるので、ロボット３１から見た視点画像である現在の時刻の遅延のない仮想視点画像が得られる。このような処理を行うため、本実施形態では、推定した情報を用いるため、視覚センサ３０１（外界センサ）と、内界センサ３０２の情報が得られるタイミングが異なっていても適切に仮想視点画像を生成できる。なお、処理部２１８は姿勢推定部２０９がロボット３１の姿勢を推定する場合、操作指示検出部２０４から取得した情報による指令値を遅延無く得ることができるので、例えばカルマンフィルタ等を用いて、内界センサ３０２の情報が得られていない期間、外挿することも可能である。
このように、本実施形態では、データを受信できていない期間でも、仮想視点画像を遅延無く提供できる。

【0066】

［複数の視点の処理例］
ここで、複数の視点の処理を行う場合の構成例を説明する。
図５は、複数の視点の処理を行う場合の構成例を示す図である。複数の視点の処理の場合、ストリーミングの信号に例えばＭＰＥＧ（Moving Picture Experts Group）のＨＥＶＣ規格を用いるようにしてもよい。この場合の構成は、図５のように、例えば、第１の視点について、ＲＧＢ画像データ３５１－１と深度データ３５２－１がエンコーダ３５３－１に入力される。第Ｎの視点について、ＲＧＢ画像データ３５１－Ｎと深度データ３５２－Ｎがエンコーダ３５３―Ｎに入力される。そして、各エンコーダ３５３－１～Ｎの出力が混合器３５４に入力される。
なお、上述した信号フォーマットと構成は一例であり、これに限らない。信号フォーマットは他のフォーマットであってもよく、構成は信号フォーマットに応じた構成であればよい。

【0067】

［遠隔操作システムの処理手順例］
次に、遠隔操作システム１の処理手順を説明する。図６は、本実施形態に係る遠隔操作システムの処理手順例のフローチャートである。

【0068】

（ステップＳ１）操作側装置２の処理部２１８は、操作者が操作すると、その操作入力をロボット３１の関節角度指令値に変換する。

【0069】

（ステップＳ２）処理部２１８は、視覚センサ３０１が検出するロボット３１の存在する空間の実視覚情報を取得する。

【0070】

（ステップＳ３）処理部２１８は、例えば、ニューラル３次元表現により操作者にロボットの存在する空間中の任意視点の仮想視覚情報を、モデル２１０を用いて生成する。

【0071】

（ステップＳ４）処理部２１８は、新たな実視覚情報を取得したか否かを判別する。処理部２１８は、新たな実視覚情報を取得した（フレームが更新）と判別した場合（ステップＳ４；ＹＥＳ）、ステップＳ５の処理に進める。処理部２１８は、新たな実視覚情報を取得していない（フレームが更新されていない）と判別した場合（ステップＳ４；ＮＯ）、ステップＳ６の処理に進める。

【0072】

（ステップＳ５）処理部２１８は、新たに受信した実視覚情報に基づく画像を仮想視点画像に合成した混合画像をＨＭＤ２０１に投影させる。受信した新たな実視覚情報には遅れが生じているため、処理部２１８は、遅れ分を予測して新たに受信した画像を、ステップＳ３で生成した画像に合成する。その際、処理部２１８は、遅れを考慮しても変化が無い画素、または新しい領域については実画像の画素値を用いる。この時、実画像と合成画像との画素は、実画像をそのまま投影されるのではなく、遅延時間を考慮した合成画像を作成して投影される。その際、処理部２１８は、物体の動きなど外挿しているパラメータを実画像や実データから修正する。処理部２１８は、処理後、処理を終了する。

【0073】

（ステップＳ６）処理部２１８は、過去に受信した実視覚情報を用いてステップＳ３で
生成した仮想視点画像をＨＭＤ２０１に投影させる。処理部２１８は、処理後、処理を終了する。

【0074】

なお、処理部２１８は、操作が継続されている間、ステップＳ１～Ｓ６の処理を繰り返す。

【0075】

［遠隔地側装置の処理手順例］
次に、遠隔地側装置３の処理手順例を説明する。
まず、視覚センサ３０１に対する処理手順例を説明する。図７は、本実施形態に係る遠隔地側装置の視覚センサの検出データに対する処理手順例のフローチャートである。

【0076】

（ステップＳ１０１）処理部３１０は、全ての視覚センサ３０１に対して処理（データ取得）を行ったか否かを判別する。処理部３１０は、全ての視覚センサ３０１に対して処理を行ったと判別した場合（ステップＳ１０１；ＹＥＳ）、ステップＳ１０６の処理に進める。処理部３１０は、処理を行っていない視覚センサ３０１がある判別した場合（ステップＳ１０１；ＮＯ）、ステップＳ１０２の処理に進める。

【0077】

（ステップＳ１０２）処理部３１０は、視覚センサ３０１からＲＧＢＤデータを取得する。

【0078】

（ステップＳ１０３）処理部３１０は、ＲＧＢＤデータの取得タイミングの内界センサ３０２の検出結果を取得する。

【0079】

（ステップＳ１０４）検出推定部３０３は、取得したＲＧＢＤデータを用いて、物体認識を行う。

【0080】

（ステップＳ１０５）検出推定部３０３は、取得したＲＧＢＤデータを用いて、物体の位置と姿勢の認識を行う。検出推定部３０３は、処理後、ステップＳ１０１の処理に戻す。

【0081】

（ステップＳ１０６）エンコーダ３０４は、ＲＧＢＤデータと認識結果に対して、エンコード処理を行う。

【0082】

（ステップＳ１０７）データ統合部３０５は、エンコードされた複数の視点のデータに対してデータ統合処理を行う。なお、データ統合処理は、図５の混合器３５４のように、複数の視点データに対して行う。

【0083】

（ステップＳ１０８）通信部３０７は、統合されたデータを操作側装置２へ送信する。

【0084】

次に、内界センサに対する処理手順例を説明する。図８は、本実施形態に係る遠隔地側装置の内界センサの検出結果に対する処理手順例のフローチャートである。

【0085】

（ステップＳ１５１）処理部３１０は、内界センサ３０２から検出結果を取得することで、ロボット３１の状態を取得する。

【0086】

（ステップＳ１５２）データ圧縮部３０６は、例えば非可逆な圧縮方式で検出結果に対してデータ圧縮を行う。

【0087】

（ステップＳ１５３）通信部３０７は、圧縮されたデータを操作側装置２へ送信する。

【0088】

［操作側装置の処理手順例］
次に、操作側装置２の処理手順例を説明する。
まず、統合されたデータに対する処理手順例を説明する。図９は、本実施形態に係る遠隔地側装置の統合されたデータに対する処理手順例のフローチャートである。

【0089】

（ステップＳ２０１）通信部２０６は、遠隔地側装置３が送信した統合されたデータを受信する。

【0090】

（ステップＳ２０２）通信部２０６は、受信したデータにエラーパケットが存在するか否かを判別する。通信部２０６は、受信したデータにエラーパケットが存在しないと判別した場合（ステップＳ２０２；ＹＥＳ）、ステップＳ２０４に処理に進める。通信部２０６は、受信したデータにエラーパケットが存在すると判別した場合（ステップＳ２０２；ＮＯ）、ステップＳ２０３の処理に進める。

【0091】

（ステップＳ２０３）通信部２０６は、エラーパケットを削除して、ステップＳ２０４の処理に進める。

【0092】

（ステップＳ２０４）デコーダ２０７は、統合されたデータをデコードして展開する。

【0093】

（ステップＳ２０５）解像度復元部２１４，２１５は、デコードされたデータのうちＲＧＢＤデータに対して解像度の復元処理を行う。

【0094】

（ステップＳ２０６）解像度復元部２１４，２１５は、解像度の復元処理したデータをバッファに保持する。

【0095】

次に、圧縮されたデータに対する処理手順例を説明する。図１０は、本実施形態に係る遠隔地側装置の圧縮されたデータに対する処理手順例のフローチャートである。

【0096】

（ステップＳ２５１）通信部２０６は、遠隔地側装置３が送信した圧縮されたデータを受信する。

【0097】

（ステップＳ２５２）通信部２０６は、受信したデータにエラーパケットが存在するか否かを判別する。通信部２０６は、受信したデータにエラーパケットが存在しないと判別した場合（ステップＳ２５２；ＹＥＳ）、ステップＳ２５４に処理に進める。通信部２０６は、受信したデータにエラーパケットが存在すると判別した場合（ステップＳ２５２；ＮＯ）、ステップＳ２５３の処理に進める。

【0098】

（ステップＳ２５３）通信部２０６は、エラーパケットを削除して、ステップＳ２０４の処理に進める。

【0099】

（ステップＳ２５４）データ展開部２０８は、圧縮されたデータを解凍して展開する。

【0100】

（ステップＳ２５５）出力部２１３は、解凍されたデータをバッファに保持する。

【0101】

次に、仮想進展画像の生成、画像の混合等の処理手順例を説明する。
図１１は、本実施形態に係る仮想視点画像の生成、画像の混合等の処理手順例のフローチャートである。

【0102】

（ステップＳ３０１）処理部２１８は、バッファから最新のデータを取得する。

【0103】

（ステップＳ３０２）処理部２１８は、操作側装置２の起動が１回目である（初回起動）か否かを判別する。処理部２１８は、操作側装置２が初回起動であると判別した場合（ステップＳ３０２；ＹＥＳ）、ステップＳ３０３の処理に進める。処理部２１８は、操作側装置２が初回起動ではないと判別した場合（ステップＳ３０２；ＮＯ）、ステップＳ３０５の処理に進める。

【0104】

（ステップＳ３０３）処理部２１８は、姿勢推定部２０９に対して、ロボット３１の姿勢推定のパラメータを更新する（初期化する）。

【0105】

（ステップＳ３０４）処理部２１８は、姿勢推定部２０９に対して、物体の姿勢推定のパラメータを更新する（初期化する）。

【0106】

（ステップＳ３０５）処理部２１８は、ＨＭＤ２０１の情報（位置、姿勢）を取得する。

【0107】

（ステップＳ３０６）処理部２１８は、新しい内界センサ３０２のロボット３１の姿勢情報があるか否かを判別する。処理部２１８は、新しい姿勢情報があると判別した場合（ステップＳ３０６；ＹＥＳ）、ステップＳ３０７の処理に進める。処理部２１８は、新しい姿勢情報がないと判別した場合（ステップＳ３０６；ＮＯ）、ステップＳ３０８の処理に進める。

【0108】

（ステップＳ３０７）処理部２１８は、姿勢推定部２０９のパラメータを更新する。

【0109】

（ステップＳ３０８）処理部２１８は、姿勢推定部２０９の推定結果（ロボット３１の姿勢、物体の姿勢）を取得する。

【0110】

（ステップＳ３０９）処理部２１８は、モデル２１０に取得したデータ（姿勢推定部の推定結果、ＨＭＤ２０１の位置と姿勢、内界センサ３０２の検出結果）を入力して仮想視点画像を生成する。

【0111】

（ステップＳ３１０）処理部２１８は、フレームが更新されている（実画像が得られている）か否かを判別する。処理部２１８は、フレームが更新されていると判別した場合（ステップＳ３１０；ＹＥＳ）、ステップＳ３１１の処理に進める。処理部２１８は、フレームが更新されていないと判別した場合（ステップＳ３１０；ＮＯ）、ステップＳ３１２の処理に進める。

【0112】

（ステップＳ３１１）第１混合データ生成部２１６、および第２混合データ生成部２１７のうちに少なくとも１つは、新たに受信した実視覚情報に基づく画像を仮想視点画像に合成した混合画像を生成する。

【0113】

（ステップＳ３１２）第１混合データ生成部２１６、および第２混合データ生成部２１７のうちに少なくとも１つは、実画像が得られていない場合に仮想視点画像をＨＭＤ２０１に表示させ、実画像が得られている場合に混合データをＨＭＤ２０１に表示させる。

【0114】

［ＨＭＤに表示される画像の例］
ここで、ＨＭＤ２０１に表示される画像の例を説明する。
図１２は、視覚センサが撮影する画像の例を示す図である。画像ｇ１０１は、第１の視覚センサ３０１が、ロボット３１を含む作業状態を撮影した画像の一例を示す画像である。画像ｇ１１１は、第１の視覚センサ３０１が、ロボット３１から見た画像の例を示す画像である。なお、画像ｇ１０１、ｇ１１１は、２つある視覚センサ３０１の一方の画像の例を示している。
ロボット３１に対して遠隔地で取得される実視覚画像には、遅延が発生している。このため、本実施形態では、過去に取得した実視覚画像を用いて仮想視点画像を生成するか、新たに受信した実視覚情報に基づく画像を仮想視点画像に合成した混合画像を生成して、ＨＭＤ２０１に提示するようにした。なお、仮想視点画像は、例えば、球状に３６０度の視点を推定した画像である。

【0115】

本実施形態によれば、仮想視点画像を生成するようにしたので、操作者は、ロボット３１の視点に無関係に自由視点で、ロボット３１が存在している環境を観測することができる。また、本実施形態では、遅延して得られる実視覚情報を用いて、現在の仮想視点画像を推定するようにしたので、実視覚情報が得られない期間に、仮想視点画像を提供することで、操作者に連続してロボット３１の作業空間の画像を提供できる。

【0116】

本実施形態によれば、遅延環境下でも遅延が存在しないようなフォトリアリスティックな画像を操作者に提示することができる。そして、本実施形態によれば、ロボットから不可視な領域でも仮想画像が作成できる。

【0117】

なお、ロボット３１が存在する空間は、宇宙空間に限らず、操作者と離れた場所であればデータの送受信の際に遅延が発生するため、上述した本実施形態の手法を適用することができる。

【0118】

また、ＨＭＤ２０１は、両眼用であっても単眼用であってもよい。さらに、提供する仮想視点画像は、モノクロであってもカラーであってもよい。また、提供する画像は、連続する静止画であっても、連続する時間を短くした動画であってもよい。

【0119】

なお、本発明における操作側装置２、遠隔地側装置３の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより操作側装置２、遠隔地側装置３が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

【0120】

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0121】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

【符号の説明】

【0122】

１…遠隔操作システム、２…操作側装置、３…遠隔地側装置、２１…第１通信装置、２２…遠隔操作装置、２３…表示部、２４…センサ、２５…センサ、３１…ロボット、３２…第２通信装置、ＮＷ…ネットワーク、２０１…ＨＭＤ、２０４…操作指示検出部、２０５…指令値生成部、２０６…通信部、２０７…デコーダ、２０８…データ展開部、２０９…姿勢推定部、２１０…モデル、２１１…出力部、２１２…出力部、２１３…出力部、２１４…解像度復元部、２１５…解像度復元部、２１６…第１混合データ生成部、２１７…第２混合データ生成部、２１８…処理部、３０１，３０１－１，３０１－２…視覚センサ、３０２…内界センサ、３０３，３０３－１，３０３－２……検出推定部、３０４…エンコーダ、３０５…データ統合部、３０６…データ圧縮部、３０７…通信部、３０８…制御部、３０９…アクチュエータ、３１０…処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】