特開 2024-135097 遠隔操作制御システム、遠隔制御装置、遠隔制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024135097

(43)【公開日】2024-10-04

(54)【発明の名称】遠隔操作制御システム、遠隔制御装置、遠隔制御方法、およびプログラム

(51)【国際特許分類】

   B25J 3/00 20060101AFI20240927BHJP

   H04Q 9/00 20060101ALI20240927BHJP

【ＦＩ】

B25J3/00 Z

H04Q9/00 331A

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023045616

(22)【出願日】2023-03-22

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】知久 健

(72)【発明者】

【氏名】杉山 謙一郎

(72)【発明者】

【氏名】黒田 貢秀

(72)【発明者】

【氏名】川上 智弘

(72)【発明者】

【氏名】水谷 了

(72)【発明者】

【氏名】茶木 智大

(72)【発明者】

【氏名】福井 智美

【テーマコード（参考）】

3C707

5K048

【Ｆターム（参考）】

3C707AS06

3C707BS27

3C707CS08

3C707ES03

3C707ES06

3C707ES07

3C707ET03

3C707HS23

3C707JS03

3C707JT10

3C707JU02

3C707JU03

3C707JU12

3C707KS03

3C707KS04

3C707KS10

3C707KS16

3C707KS20

3C707KS21

3C707KS38

3C707KT01

3C707KT06

3C707KV01

3C707KW03

3C707LV06

3C707LW03

3C707LW12

3C707MT01

3C707NS24

3C707NS26

3C707WA03

5K048BA21

5K048DA00

5K048EB02

5K048FB08

5K048FB12

5K048GC06

(57)【要約】

【課題】作業が上手な人と自分との差異から最適なサポート機能が提示され、習熟度が低い人でも作業が容易になる遠隔操作制御システム、遠隔制御装置、遠隔制御方法、およびプログラムを提供することを目的とする。
【解決手段】遠隔操作制御システムは、現実の物体あるいは仮想世界の仮想物体である遠隔操作対象を操作者が遠隔操作する遠隔操作制御システムであって、遠隔操作の作業スコアを算出するスコア算出部と、第１の操作者よりも作業スコアが高い第２の操作者の操作との差異を提示する差異提示部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

現実の物体あるいは仮想世界の仮想物体である遠隔操作対象を操作者が遠隔操作する遠隔操作制御システムであって、
遠隔操作の作業スコアを算出するスコア算出部と、
第１の操作者よりも前記作業スコアが高い第２の操作者の操作との差異を提示する差異提示部と、
を備える遠隔操作制御システム。

【請求項2】

遠隔操作ロボットに対して、前記第１の操作者の情報から操作者の操作意図を推定して操作意図に応じた動作補助を行う制御部と、
前記動作補助のレベルを前記作業スコアに応じて変更する補助レベル変更部と、
を備える請求項１に記載の遠隔操作制御システム。

【請求項3】

前記スコア算出部は、作業に要した時間と、作業毎の品質である達成度に重み付けして加算して算出する、
請求項１または請求項２に記載の遠隔操作制御システム。

【請求項4】

前記差異提示部は、
前記第１の操作者の操作データと、前記第２の操作者の操作データとを比較して前記差異を求め、求めた前記差異に基づいて提示する提示情報を生成し、生成した提示情報を提示する、
請求項１または請求項２に記載の遠隔操作制御システム。

【請求項5】

前記提示情報は、画像、テキスト、および音声のうちの少なくとも１つである、
請求項４に記載の遠隔操作制御システム。

【請求項6】

前記差異提示部は、
前記第１の操作者の操作状態と、前記第２の操作者の操作状態とを比較して差異を求め、求めた前記差異に基づいて改善提案を提示する、
請求項１または請求項２に記載の遠隔操作制御システム。

【請求項7】

前記第２の操作者の操作データは、典型パターンの操作データである、
請求項４に記載の遠隔操作制御システム。

【請求項8】

現実の物体あるいは仮想世界の仮想物体である遠隔操作対象を操作者が遠隔操作する遠隔操作制御システムの遠隔制御装置であって、
遠隔操作の作業スコアを算出するスコア算出部と、
第１の操作者よりも前記作業スコアが高い第２の操作者の操作との差異を提示する差異提示部と、
を備える遠隔制御装置。

【請求項9】

現実の物体あるいは仮想世界の仮想物体である遠隔操作対象を操作者が遠隔操作する遠隔操作制御システムの遠隔制御装置の遠隔制御方法であって、
スコア算出部が、遠隔操作の作業スコアを算出し、
差異提示部が、第１の操作者よりも前記作業スコアが高い第２の操作者の操作との差異を提示する、
遠隔制御方法。

【請求項10】

現実の物体あるいは仮想世界の仮想物体である遠隔操作対象を操作者が遠隔操作する遠隔操作制御システムの遠隔制御装置のコンピュータに、
遠隔操作の作業スコアを算出させ、
第１の操作者よりも前記作業スコアが高い第２の操作者の操作との差異を提示させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔操作制御システム、遠隔制御装置、遠隔制御方法、およびプログラムに関する。

【背景技術】

【0002】

近年、人手不足の影響等により、遠隔操作ロボットへの期待が高まっている。このため、遠隔操作でロボットに作業させるシステムの開発が進められている。このような遠隔操作を支援する技術の開発が行われている（例えば非特許文献１参照）。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】大野和則、城間直司、“レスキューロボットの遠隔操縦支援技術”、日本ロボット学会誌、Vol 28 No2, pp160-163、2010

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、操作者によって習熟度が違うため、求められる遠隔サポートが異なるという問題点があった。

【0005】

本発明は、上記の問題点に鑑みてなされたものであって、作業が上手な人と自分との差異から最適なサポート機能が提示され、習熟度が低い人でも作業が容易になる遠隔操作制御システム、遠隔制御装置、遠隔制御方法、およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

（１）上記目的を達成するため、本発明の一態様に係る遠隔操作制御システムは、現実の物体あるいは仮想世界の仮想物体である遠隔操作対象を操作者が遠隔操作する遠隔操作制御システムであって、遠隔操作の作業スコアを算出するスコア算出部と、第１の操作者よりも前記作業スコアが高い第２の操作者の操作との差異を提示する差異提示部と、を備える遠隔操作制御システムである。

【0007】

（２）（１）の遠隔操作制御システムにおいて、遠隔操作ロボットに対して、前記第１の操作者の情報から操作者の操作意図を推定して操作意図に応じた動作補助を行う制御部と、前記動作補助のレベルを前記作業スコアに応じて変更する補助レベル変更部と、
を備えるようにしてもよい。

【0008】

（３）（１）または（２）の遠隔操作制御システムにおいて、前記スコア算出部は、作業に要した時間と、作業毎の品質である達成度に重み付けして加算して算出するようにしてもよい。

【0009】

（４）（１）から（３）ののうちのいずれか１つの遠隔操作制御システムにおいて、前記差異提示部は、前記第１の操作者の操作データと、前記第２の操作者の操作データとを比較して前記差異を求め、求めた前記差異に基づいて提示する提示情報を生成し、生成した提示情報を提示するようにしてもよい。

【0010】

（５）（４）の遠隔操作制御システムにおいて、前記提示情報は、画像、テキスト、および音声のうちの少なくとも１つであるようにしてもよい。

【0011】

（６）（１）から（３）のうちのいずれか１つの遠隔操作制御システムにおいて、前記差異提示部は、前記第１の操作者の操作状態と、前記第２の操作者の操作状態とを比較して差異を求め、求めた前記差異に基づいて改善提案を提示するようにしてもよい。

【0012】

（７）（４）または（６）の遠隔操作制御システムにおいて、前記第２の操作者の操作データは、典型パターンの操作データであるようにしてもよい。

【0013】

（８）上記目的を達成するため、本発明の一態様に係る遠隔制御装置は、現実の物体あるいは仮想世界の仮想物体である遠隔操作対象を操作者が遠隔操作する遠隔操作制御システムの遠隔制御装置であって、遠隔操作の作業スコアを算出するスコア算出部と、第１の操作者よりも前記作業スコアが高い第２の操作者の操作との差異を提示する差異提示部と、を備える遠隔制御装置である。

【0014】

（９）上記目的を達成するため、本発明の一態様に係る遠隔制御方法は、現実の物体あるいは仮想世界の仮想物体である遠隔操作対象を操作者が遠隔操作する遠隔操作制御システムの遠隔制御装置の遠隔制御方法であって、スコア算出部が、遠隔操作の作業スコアを算出し、差異提示部が、第１の操作者よりも前記作業スコアが高い第２の操作者の操作との差異を提示する、遠隔制御方法である。

【0015】

（１０）上記目的を達成するため、本発明の一態様に係るプログラムは、 現実の物体あるいは仮想世界の仮想物体である遠隔操作対象を操作者が遠隔操作する遠隔操作制御システムの遠隔制御装置のコンピュータに、遠隔操作の作業スコアを算出させ、第１の操作者よりも前記作業スコアが高い第２の操作者の操作との差異を提示させる、プログラムである。

【発明の効果】

【0016】

（１）～（１０）によれば、作業が上手な人と自分との差異から最適なサポート機能がサジェストされ、習熟度が低い人でも作業が容易になる。

【図面の簡単な説明】

【0017】

【図1】実施形態に係る遠隔操作制御システムの環境例を示す図である。

【図2】実施形態に係る遠隔操作制御システムの構成例を示す図である。

【図3】補助サポートの概要を説明するための図である。

【図4】実施形態に係る操作制御装置の記憶部が記憶する情報例を示す図である。

【図5】実施形態に係る操作制御装置の記憶部が記憶する情報例を示す図である。

【図6】実施形態に係る操作制御装置の記憶部が記憶する情報例を示す図である。

【図7】操作者に提示する差異画像の一例を示す図である。

【図8】操作者に提示する差異画像の他の例を示す図である。

【図9】実施形態に係る遠隔制御装置が行う処理手順例のフローチャートである。

【発明を実施するための形態】

【0018】

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。

【0019】

（概要）
早さ、品質が高い人が、スコアが高くなるようにスコア計算式を作る。早さは、時間、品質は作業ごとの達成度に重みをかけて足し算する。スコアが優位な人と自分の映像やデータ（手先の軌道、物体の状態（位置、姿勢情報））を比較し、その差異から作業のやり方をサジェストする、もしくは人間が目視で判断する。典型パターンの把持パターンとマニュアルのパターンが選択できるが、自分の選択パターンと作業記録（速さや品質）から最適な典型パターンのサジェストをデータベースにある複数のパターンから選択して行う。なお、操作対象の物体は、現実の物体であってもよく、仮想世界の仮想物体であってもよい。

【0020】

（遠隔操作制御システムの環境例）
遠隔操作制御システムの環境例を説明する。
図１は、本実施形態に係る遠隔操作制御システムの環境例を示す図である。
図１のように、操作者Ｕｓは、例えば、画像表示部３として例えばＨＭＤ（ヘッドマウントディスプレイ）を装着し、操作検出部２１（２１Ｌ、２１Ｒ）等を装着している。
作業空間には、環境センサ４が設置されている。なお、環境センサ４は、ロボット６に取り付けられていてもよい。環境センサ４は、例えば、深度情報Ｄも得られるＲＢＧ（赤青緑）Ｄカメラである。
ロボット６は、例えば、アーム６３（６３Ｌ、６３Ｒ）、エンドエフェクタ６４（６４Ｌ、６４Ｒ）、ボディ６６、頭部６７を備える。なお、以下の説明では、エンドエフェクタ６４をハンドとも言う。なお、ロボット６は、アーム６３とエンドエフェクタ６４のみであってもよい。また、ロボット６が備えるアームは１つ以上であればよい。なお、ロボット６は、不図示の通信部を備え、遠隔制御装置５と情報の送受信を行う。

【0021】

操作者Ｕｓは、画像表示部３に表示された画像を見ながら操作検出部２１を装着している手や指を動かすことで、ロボット６を遠隔操作する。図１の例では、操作者Ｕｓは、ロボット６を遠隔操作して、テーブルＴｂ上にあるペットボトルｏｂｊを把持させる。なお、遠隔操作において、操作者Ｕｓは、例えば、ロボット６の動作を直接視認できないが、ロボット６側の映像を画像表示部３で間接的に視認できる状態である。また、作業内容は、例えば、ネジ締め、部品の取り付け、調整等である。

【0022】

（遠隔操作制御システムの構成例）
図２は、本実施形態に係る遠隔操作制御システムの構成例を示す図である。図２のように、遠隔操作制御システム１は、例えば、操作入力部２（２－１，２－２，…）と、画像表示部３（３－１，３－２，…）と、環境センサ４と、遠隔制御装置５と、ロボット６（６－１，６－２，…）と、ＤＢ７を備える。
操作入力部２は、例えば、操作検出部２１と、視線検出部２２を備える。
遠隔制御装置５は、例えば、取得部５１と、スコア算出部５２と、差異生成部５３（差異提示部）と、提供部５４（差異提示部）と、補助レベル変更部５５と、制御部５６と、記憶部５７を備える。
ロボット６は、例えば、センサ６１と、アーム６３と、エンドエフェクタ６４と、駆動部６５を備える。

【0023】

ＤＢ７は、例えば、ロボット６の三次元モデルデータ、操作意図推定のための情報、操作対象物体に関する情報等を格納する。

【0024】

操作入力部２は、不図示の通信部を備え、遠隔制御装置５と有線または無線で情報のやりとりを行う。

【0025】

操作検出部２１は、操作者が操作して操作入力を検出する。操作検出部２１は、例えば、データグローブ、スイッチ等である。操作検出部２１は、検出した操作入力情報を遠隔制御装置５に出力する。

【0026】

視線検出部２２は、操作者の視線を検出する。視線検出部２２は、検出した視線情報を遠隔制御装置５に出力する。なお、視線検出部２２は、画像表示部３が備えていてもよい。

【0027】

画像表示部３は、例えば、ＨＭＤ、液晶画像表示装置、有機ＥＬ（Electro Luminescence）画像表示装置、スマートフォン、タブレット端末等、画像表示可能なものである。画像表示部３は、遠隔制御装置５から提供される画像を表示する。画像表示部３は、不図示の通信部を備え、遠隔制御装置５と有線または無線で情報のやりとりを行う。

【0028】

環境センサ４は、例えば深度情報Ｄも取得可能なＲＧＢＤカメラである。環境センサ４は、レーザー等による距離センサとＲＧＢカメラであってもよい。環境センサ４は、２つ以上であってもよい。環境センサ４は、不図示の通信部を備え、遠隔制御装置５と有線または無線で接続されている。

【0029】

遠隔制御装置５は、操作者が操作した操作情報に基づいてロボット６の動作を、操作者による作業を補助するように制御する。なお、遠隔制御装置５は、例えば、操作者の操作意図を推定して、作業を補助するようにしてもよい。なお、遠隔制御装置５は、複数の操作入力部２から情報を取得し、対応するロボット６を制御するようにしてもよい。例えば、第１の操作者が操作入力部２－１と画像表示部３－１を使用してロボット６－１を遠隔操作し、第２の操作者が操作入力部２－２と画像表示部３－２を使用してロボット６－２を遠隔操作する。

【0030】

取得部５１は、操作入力部２から操作入力情報と視線情報、環境センサ４から画像情報、ロボット６からセンサ検出値等を取得する。

【0031】

スコア算出部５２は、取得した情報を用いて、操作者毎に作業に対する作業スコアを算出する。スコア算出部５２は、例えば、作業の早さ（時間）と、作業毎（１つの作業における各ステップ）の達成度（品質）に例えば重み付けして加算して作業スコアを算出する。なお、作業スコアの算出方法は一例であり、これに限らない。スコア算出部５２は、作業者毎かつ作業毎に、算出した作業スコアを記憶部５７に記憶させる。

【0032】

差異生成部５３は、作業スコアで現在の操作者よりも作業スコアが高い操作者の操作差異を求める。差異生成部５３は、例えば、第１の操作者の作業状態と、第１の操作者より作業スコアが高い第２の操作者の作業状態を重ねて提示する差異情報（例えば画像）を生成する。または、差異生成部５３は、例えば、第１の操作者の作業状態と、記憶部５７に記憶させている典型パターンの作業状態を重ねて提示する差異情報（例えば画像）を生成する。差異生成部５３は、作業スコア、操作データ等に基づいて、操作者への提案（テキストまたは音声）を生成する。なお、操作データは、例えば、手先の軌道、物体の状態（位置、姿勢情報）等である。

【0033】

提供部５４は、差異生成部５３が生成した差異情報を、画像表示部３に提示させる。

【0034】

補助レベル変更部５５は、補助機能のレベルを作業スコアに応じて変更する。

【0035】

制御部５６は、取得した操作情報に基づいて、ロボット６を制御する。制御部５６は、操作情報から操作者の操作意図を推定して操作意図に応じた動作を行うよう補助しながら、ロボット６を制御する。なお、意図推定方法については後述する。制御部５６は、補助レベル変更部５５が変更したレベルに応じて、補助レベルを変更する。

【0036】

記憶部５７は、遠隔制御装置５が用いるプログラム、閾値等を記憶する。記憶部５７は、操作者毎かつ作業毎に作業スコアを記憶する。記憶部５７は、操作者毎かつ作業毎に操作データを記憶する。記憶部５７は、作業毎に、作業の典型パターンの操作データを記憶する。記憶部５７は、環境センサ４が設置されている位置を記憶する。記憶部５７は、ロボット６の例えば三次元モデルデータを記憶していてもよい。

【0037】

センサ６１は、例えば、関節に取り付けられているエンコーダ、エンドエフェクタ６４の指先に取り付けられている６軸センサ、力覚センサ等である。

【0038】

アーム６３は、先端にエンドエフェクタ６４が取り付けられている。

【0039】

エンドエフェクタ６４は、少なくとも２つ以上の指部を備えている。エンドエフェクタ６４は、グリッパー等であってもよく、多指を備えていてもよい。また、ロボット６それぞれが備えるエンドエフェクタ６４は、例えば作業内容に応じて異なっていてもよい。

【0040】

駆動部６５は、例えば、駆動回路とアクチュエータを備える。駆動部６５は、遠隔制御装置５が出力する制御指示（関節角度指示等）に応じて、アーム６３とエンドエフェクタ６４を駆動する。

【0041】

（補助サポート）
次に、補助サポートの概要を説明する。図３は、補助サポートの概要を説明するための図である。
人間がなにげなく行っている把持動作は、複雑なプロセスを経て行われている。プロセスでは、例えば、どの対象物をどのような手の形で持つかを計画し、手を伸ばして把持、しっかりと持てているかを確認して、ずれていれば修正動作をする。
一方、ロボットハンドの遠隔操縦で同様のことを行う場合は、おおよその手の形は作れるものの、カメラ映像を介すと距離感が掴みづらい点や、触った状態が操作者にわからないため感覚とのずれが生じる場合がある。
このため、遠隔制御装置５は、遠隔操作において、図３のように操作者の指令に基づいて制御するだけではなく、例えば操作者の操作意図に基づいて操作をサポートして、スムーズな把持を実現する。

【0042】

なお、制御部５６は、例えば、選択された動作の分類と物体形状、推定される物体の摩擦や重量などの物理パラメータ、ロボット６の出力可能なトルクなどの制約条件から、例えば物体を落とさず安定的に把持可能なロボット６の手指の物体に対する接触点を求める。そして、制御部５６は、例えば、これらから計算される関節角度を目標値として補正動作として補助する（例えば特開２０２２－１５５６２３号公報参照）。

【0043】

（補助レベル）
次に、補助レベルと、補助レベルの変更について説明する。
補助レベルは、少なくとも２つ以上のレベルで、例えば、「大」と「小」、または「強」と「通常」と「弱」、あるいは「レベル１」と「レベル２」と「レベル３」と「レベル４」等である。
補助レベルが「強」と「通常」と「弱」の３種類の場合、制御部５６は、例えば、初期値として「普通」に設定し、算出された作業スコアを予め設定されている閾値と比較して、作業スコアが閾値以上の場合に「弱」に変更し、作業スコアが閾値未満の場合に「強」に変更する。
なお、上述した補助レベルと補助レベルの切り替えは一例であり、これに限らない。

【0044】

（操作意図の推定）
次に、操作意図の推定方法の概要について説明する。
制御部５６は、取得部５１が取得した情報を用いて、作業者の意図を推定する。なお、制御部５６は、例えば、視線情報、操作者腕部情報、および頭部動作情報のうちの少なくとも１つを用いて操作者の動作意図を推定する。なお、制御部５６は、環境センサ４が検出した検出値も用いて意図推定するようにしてもよい。

【0045】

制御部５６は、例えば、作業が把持を含む場合、グラスプタクソノミー（ＧＲＡＳＰ Ｔａｘｏｎｏｍｙ）手法（例えば参考文献１参照）によって、操作者の操作意図を推定する。
制御部５６は、例えば、グラスプタクソノミー手法によって操作者あるいはロボット６の姿勢すなわち把持姿勢を分類することで操作者状態を分類して、操作者の操作意図を推定する。制御部５６は、例えば、記憶部５７が記憶する学習済みのモデルに操作情報を入力して、操作者の操作意図を推定する。なお、把持姿勢の分類には、他の手法を用いてもよい。また、制御部５６は、視線と腕部の動きを用いて統合的に推定するようにしてもよい。この場合、制御部５６は、視線情報と、手の動き情報とテーブル上の物体の位置情報とを学習済みのモデルに入力して、操作者の操作意図を推定するようにしてもよい。

【0046】

参考文献１；Thomas Feix, Javier Romero,他,“The GRASP Taxonomy of Human GraspTypes” IEEE Transactions on Human-Machine Systems ( Volume: 46, Issue: 1, Feb.2016),IEEE,p66-77

【0047】

なお、制御部５６は、例えば、視線情報に基づいて把持させた物体を推定するようにしてもよい。次に、制御部５６は、推定した把持させたい物体に基づいて、操作者の手の姿勢を推定する。または、制御部５６は、例えば、操作者が入力した操作情報に基づいて、操作者の手の姿勢を推定する。制御部５６は、操作情報と、ロボット６の状態情報とに基づいて、操作者が意図する手先の将来軌道を、事前に推定するようにしてもよい。なお、制御部５６は、環境センサ４が撮影した画像を画像処理した結果等も用いて、操作したい物体と、物体の位置を推定するようにしてもよい（例えば特願２０２２－００６４９８号参照）。

【0048】

（記憶部が記憶する情報例）
次に、記憶部５７が記憶する情報例を説明する。
図４～図６は、本実施形態に係る操作制御装置の記憶部が記憶する情報例を示す図である。
図４のように、記憶部５７は、操作者に少なくとも作業スコアを関連付けて記憶する。なお、記憶部５７は、作業スコアに、作業の早さと達成度も関連付けて記憶するようにしてもよい。また、記憶部５７は、このような作業者毎の作業スコアを、作業毎に記憶する。なお、操作者を示す情報は、例えば名前や識別子である。

【0049】

図５のように、記憶部５７は、操作者毎に操作データを記憶する。なお、操作データは、１つの作業に関する時系列の操作指示や、操作指示に基づくロボット６への時系列の関節角度情報、操作指示に基づくロボット６の動作画像（静止画または動画）である。

【0050】

図６のように、記憶部５７は、操作毎に典型的な操作データを記憶する。典型的な操作データは、例えば模範的な早さで作業を達成した場合のデータであり、熟練者の操作データであってもよい。

【0051】

（提示画像例）
次に、操作者に提示する差異画像例を説明する。
図７は、操作者に提示する差異画像の一例を示す図である。
符号ｇ１０１は、操作者の操作指示に応じて動作した場合のロボット６の画像である。なお、画像は実画像であってもシミュレーション画像であってもよい。
符号ｇ１０２の線画は、操作者より作業スコアの高い第２の作業者が同じ作業を行った場合のロボット６の線画、または典型的な操作データに基づくロボット６の線画である。
図７の例では、操作者の操作画像に、お手本となる線画を重ねて表示する例である。

【0052】

なお、画像表示部３が、例えばパーソナルコンピュータのモニターやスマートフォンの画面またはタブレット端末の画面の場合は、図８のように、操作者が操作しているロボット６の画像ｇ１２１と、操作者より作業スコアの高い第２の作業者が同じ作業を行った場合のロボット６の画像（または典型的な操作データに基づくロボット６の画像）ｇ１２２を左右又は上下に並べて表示させるようにしてもよい。図８は、操作者に提示する差異画像の他の例を示す図である。

【0053】

なお、図７、図８に示した提示画像は一例であり、これに限らない。
なお、図７、図８のように差異を画像で提示する以外に、差異生成部５３は、テキストまたは音声で提案するようにしてもよい。例えば、差異生成部５３は、図８の符号ｇ１３１のように、第１の操作者の操作データと、第１の操作者作業のスコアより高い第２の操作者の操作データを比較した結果に基づいて、または算出した作業スコアに基づいて、指の位置、動かすタイミング等を、どのように修正すると作業スコアを向上できるか提案するようにしてもよい。

【0054】

（処理手順例）
次に、遠隔制御装置５が行う処理手順例を説明する。図９は、本実施形態に係る遠隔制御装置が行う処理手順例のフローチャートである。

【0055】

（ステップＳ１）取得部５１は、環境センサ４が撮影した画像を取得する。

【0056】

（ステップＳ２）取得部５１は、センサ６１が検出したセンサ情報を取得する。

【0057】

（ステップＳ３）取得部５１は、操作入力部２が検出した操作情報を取得する。

【0058】

（ステップＳ４）制御部５６は、取得された情報を用いて、操作意図を推定する。

【0059】

（ステップＳ５）制御部５６は、取得された情報と推定した操作意図に基づいて、制御指令値（関節角度指令値等）を生成する。

【0060】

（ステップＳ６）制御部５６は、生成した制御指令値に基づいて、ロボット６を駆動する。

【0061】

（ステップＳ７）制御部５６は、所望の一連の作業が終了したか否かを判別する。制御部５６は、作業が終了した場合（ステップＳ７；ＹＥＳ）、ステップＳ８の処理に進める。制御部５６は、作業が終了していない場合（ステップＳ７；ＮＯ）、ステップＳ１の処理に戻す。

【0062】

（ステップＳ８）スコア算出部５２は、終了した作業について作業スコアを算出する。

【0063】

（ステップＳ９）差異生成部５３は、作業スコアで現在の操作者よりも作業スコアが高い操作者の操作差異を求めて、提示する差異情報を生成する。差異生成部５３は、作業スコア、操作データ等に基づいて、操作者への提案（テキストまたは音声）を生成する。提供部５４は、差異生成部５３が生成した差異情報と提案を、画像表示部３に提示させる。

【0064】

（ステップＳ１０）補助レベル変更部５５は、補助機能のレベルを作業スコアに応じて変更する。制御部５６は、補助レベル変更部５５が変更したレベルに応じて、補助レベルを変更する。制御部５６は、処理後、ステップＳ１の処理に戻す。

【0065】

なお、図９に示した処理内容と処理手順は一例であり、これに限らない。遠隔制御装置５は、例えば、いくつかの処理を同時に行ってもよく、または処理手順を入れ替えてもよい。

【0066】

以上のように、本実施形態では、作業スコアが優位な人の作業データと、自分の映像や操作データを比較し、その差異から作業のやり方を提案または人間が目視で判断するようにした。なお、典型パターンの把持パターンとマニュアルのパターンを選択するようにしてもよい。このような場合、遠隔制御装置５は、操作者が選択したパターンと作業記録（速さや品質）から最適な典型パターンのサジェストをデータベースにある複数のパターンから選択して行うようにしてもよい。

【0067】

これにより本実施形態によれば、上手な人と自分との差異から最適なサポート機能が提案され、習熟度が低い人でも作業が容易になる。

【0068】

なお、本発明における遠隔制御装置５の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより遠隔制御装置５が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

【0069】

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0070】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

【符号の説明】

【0071】

１…遠隔操作制御システム、２，２－１，２－２…操作入力部、３，３－１，３－２…画像表示部、４…環境センサ、５…遠隔制御装置、６，６－１，６－２…ロボット、７…ＤＢ、２１…操作検出部、２２…視線検出部、５１…取得部、５２…スコア算出部、５３…差異生成部、５４…提供部、５５…補助レベル変更部、５６…制御部、５７…記憶部、６１…センサ、６３…アーム、６４…エンドエフェクタ、６５…駆動部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】