特開 2024-135098 遠隔操作制御システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024135098

(43)【公開日】2024-10-04

(54)【発明の名称】遠隔操作制御システム

(51)【国際特許分類】

   B25J 3/00 20060101AFI20240927BHJP

   H04Q 9/00 20060101ALI20240927BHJP

   G09B 9/00 20060101ALI20240927BHJP

【ＦＩ】

B25J3/00 Z

H04Q9/00 331A

G09B9/00 Z

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023045617

(22)【出願日】2023-03-22

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】水谷 了

(72)【発明者】

【氏名】杉山 謙一郎

(72)【発明者】

【氏名】黒田 貢秀

(72)【発明者】

【氏名】川上 智弘

(72)【発明者】

【氏名】茶木 智大

(72)【発明者】

【氏名】知久 健

(72)【発明者】

【氏名】福井 智美

【テーマコード（参考）】

3C707

5K048

【Ｆターム（参考）】

3C707AS06

3C707BS27

3C707CS08

3C707ES03

3C707ES06

3C707ES07

3C707ET03

3C707HS23

3C707JS03

3C707JT04

3C707JT10

3C707JU02

3C707JU03

3C707JU12

3C707JU17

3C707KS01

3C707KS05

3C707KS06

3C707KS10

3C707KS11

3C707KS21

3C707KS39

3C707KT01

3C707KT06

3C707KV01

3C707LS05

3C707LT06

3C707LV15

3C707LW03

3C707MT01

3C707NS24

3C707NS26

3C707WA03

5K048BA21

5K048EB02

5K048EB07

5K048FB10

5K048HA21

(57)【要約】

【課題】遠隔操作システムのサポートを容易に受けることができる遠隔操作制御システムを提供することを目的とする。
【解決手段】遠隔操作制御システムは、現実の物体または仮想世界の仮想物体である遠隔操作対象を操作者が遠隔操作する遠隔操作制御システムであって、遠隔操作対象に対する操作を受け付ける第１コントローラを介して第１操作者により入力された操作を示す第１操作情報と、遠隔操作対象に対する操作を受け付ける第２コントローラを介して第２操作者により入力された操作を示す第２操作情報と、を取得する取得部と、取得部が取得した第１操作情報に基づく情報を、第２操作者に提示する第１提示部と、第２操作情報に基づいて、遠隔操作対象を操作する操作部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

現実の物体または仮想世界の仮想物体である遠隔操作対象を操作者が遠隔操作する遠隔操作制御システムであって、
前記遠隔操作対象に対する操作を受け付ける第１コントローラを介して第１操作者により入力された操作を示す第１操作情報と、前記遠隔操作対象に対する操作を受け付ける第２コントローラを介して第２操作者により入力された操作を示す第２操作情報と、を取得する取得部と、
前記取得部が取得した前記第１操作情報に基づく情報を、前記第２操作者に提示する第１提示部と、
前記第２操作情報に基づいて、前記遠隔操作対象を操作する操作部と、
を備える遠隔操作制御システム。

【請求項2】

前記第１提示部は、前記第１操作者が前記遠隔操作対象を操作した結果を仮想的に提示する、
請求項１に記載の遠隔操作制御システム。

【請求項3】

前記第１操作情報に基づく操作状況が、前記第１操作者に提示される第２提示部、
を備える請求項１または請求項２に記載の遠隔操作制御システム。

【請求項4】

前記第２提示部に提供される情報は、前記遠隔操作対象の画像を簡略化した画像である、
請求項３に記載の遠隔操作制御システム。

【請求項5】

前記第２提示部に提供される情報は、前記遠隔操作対象以外の領域をマスキングまたは視界を狭めた画像である、
請求項３に記載の遠隔操作制御システム。

【請求項6】

前記第１提示部に提示される情報に従うように、前記第２操作者が前記第２コントローラを操作した前記第２操作情報に応じて、前記遠隔操作対象を制御する制御部、
を備える請求項１または請求項２に記載の遠隔操作制御システム。

【請求項7】

前記第１操作者を、サポート専用員、または前記第２操作者より熟練者である操作者から選択する選択部、
を備える請求項１または請求項２に記載の遠隔操作制御システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔操作制御システムに関する。

【背景技術】

【0002】

近年、人手不足の影響等により、遠隔操作ロボットへの期待が高まっている。このため、遠隔操作でロボットに作業させるシステムの開発が進められている。このような遠隔操作を支援する技術の開発が行われている（例えば非特許文献１参照）。このような遠隔操作ロボットシステムは、例えば、生産現場の人達も自宅等から仕事を行うことが可能となるため、工場への導入が期待されている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】大野和則、城間直司、“レスキューロボットの遠隔操縦支援技術”、日本ロボット学会誌、Vol 28 No2, pp160-163、2010

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、このようなロボットの遠隔操作では、操作習得に時間がかかり、分からないこと等があった場合にサポートの人に工場等に来てもらって、その場で指導を受ける必要があった。このため、従来技術では、遠隔操作システムのサポートが受けづらく、操作の指導を受けにくいという課題があった。

【0005】

本発明は、上記の問題点に鑑みてなされたものであって、遠隔操作システムのサポートを容易に受けることができる遠隔操作制御システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

（１）上記目的を達成するため、本発明の一態様に係る遠隔操作制御システムは、現実の物体または仮想世界の仮想物体である遠隔操作対象を操作者が遠隔操作する遠隔操作制御システムであって、前記遠隔操作対象に対する操作を受け付ける第１コントローラを介して第１操作者により入力された操作を示す第１操作情報と、前記遠隔操作対象に対する操作を受け付ける第２コントローラを介して第２操作者により入力された操作を示す第２操作情報と、を取得する取得部と、前記取得部が取得した前記第１操作情報に基づく情報を、前記第２操作者に提示する第１提示部と、前記第２操作情報に基づいて、前記遠隔操作対象を操作する操作部と、を備える遠隔操作制御システムである。

【0007】

（２）（１）の遠隔操作制御システムにおいて、前記第１提示部は、前記第１操作者が前記遠隔操作対象を操作した結果を仮想的に提示するようにしてもよい。

【0008】

（３）（１）または（２）の遠隔操作制御システムにおいて、前記第１操作情報に基づく操作状況が、前記第１操作者に提示される第２提示部を備えるようにしてもよい。

【0009】

（４）（３）の遠隔操作制御システムにおいて、前記第２提示部に提供される情報は、前記遠隔操作対象の画像を簡略化した画像であるようにしてもよい。

【0010】

（５）（３）の遠隔操作制御システムにおいて、前記第２提示部に提供される情報は、前記遠隔操作対象以外の領域をマスキングまたは視界を狭めた画像であるようにしてもよい。

【0011】

（６）（１）または（５）のうちのいずれか１つの遠隔操作制御システムにおいて、前記第１提示部に提示される情報に従うように、前記第２操作者が前記第２コントローラを操作した前記第２操作情報に応じて、前記遠隔操作対象を制御する制御部、を備えるようにしてもよい。

【0012】

（７）（１）または（６）のうちのいずれか１つの遠隔操作制御システムにおいて、前記第１操作者を、サポート専用員、または前記第２操作者より熟練者である操作者から選択する選択部、を備えるようにしてもよい。

【発明の効果】

【0013】

（１）～（７）によれば、遠隔操作システムのサポートを容易に受けることができる。

【図面の簡単な説明】

【0014】

【図1】実施形態に係る遠隔操作制御システムの概略示す図である。

【図2】実施形態に係る遠隔操作制御システムの構成例を示す図である。

【図3】作業時に提供される第１提示画像の一例を示す図である。

【図4】訓練時またはサポート時に教示者に提供される第２提示画像の一例を示す図である。

【図5】訓練時またはサポート時に操作者に提供される第１提示画像の一例を示す図である。

【図6】操作者がモニタを見ながら訓練時またはサポート時を行うイメージ図である。

【図7】実施形態に係る訓練時またはサポート時の処理手順のフローチャートである。

【発明を実施するための形態】

【0015】

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。

【0016】

（遠隔操作制御システムの環境例）
遠隔操作制御システムの概略を説明する。
図１は、本実施形態に係る遠隔操作制御システムの概略示す図である。
操作者ＵＳ１（第２操作者、受講者）は、例えば、画像表示部３－１（第１提示部）として例えばＨＭＤ（ヘッドマウントディスプレイ）を装着し、操作検出部２１－１（２１Ｌ－１、２１Ｒ－１）等を装着している。
教示者ＵＳ２（第１操作者、教示者）は、例えば、画像表示部３－２（第２提示部）として例えばＨＭＤを装着し、操作検出部２１－２（２１Ｌ－２、２１Ｒ－２）（操作部）等を装着している。

【0017】

作業空間には、環境センサ４が設置されている。なお、環境センサ４は、ロボット６に取り付けられていてもよい。環境センサ４は、例えば、深度情報Ｄも得られるＲＢＧ（赤青緑）Ｄカメラである。
ロボット６は、例えば、アーム６３（６３Ｌ、６３Ｒ）、エンドエフェクタ６４（６４Ｌ、６４Ｒ）、ボディ６６、頭部６７を備える。なお、以下の説明では、エンドエフェクタ６４をハンドとも言う。なお、ロボット６は、アーム６３とエンドエフェクタ６４のみであってもよい。また、ロボット６が備えるアームは１つ以上であればよい。なお、ロボット６は、不図示の通信部を備え、遠隔制御装置５と情報の送受信を行う。

【0018】

なお、以下の説明において、遠隔操作対象は、例えば、ロボット６、操作対象物体である。

【0019】

また、作業対象の物体は、現実の物体であってもよく、仮想世界の仮想物体であってもよい。このため、以下の説明では、実空間での作業と、実空間での訓練またはサポートの例を説明するが、これに限らない。訓練またはサポートの際は、仮想空間で行うようにしてもよい。この場合は、遠隔制御装置５は、操作者に提供する第１提示画像として、教示者の動きを例えば輪郭線で表し、操作者による操作指示による動作をＣＧで表して提供するようにしてもよい。そして、訓練またはサポートの際は、遠隔制御装置５は、仮想空間でロボット６を操作に応じて動作させる。これにより、実際の動作を行う前に、操作者は、何度でも安全に訓練を受けることができる。

【0020】

操作者ＵＳ１は、画像表示部３－１に表示された画像を見ながら操作検出部２１－１を装着している手や指を動かすことで、ロボット６を遠隔操作する。図１の例では、操作者ＵＳ１は、ロボット６を遠隔操作して、テーブルＴｂ上にあるペットボトルｏｂｊを把持させる。操作者ＵＳ１は、ロボット６を遠隔操作して、作業を行う作業員である。また、操作者ＵＳ１は、ロボット６の操作方法の訓練やサポートを受ける受講者でもある。なお、遠隔操作において、操作者ＵＳ１は、例えば、ロボット６の動作を直接視認できないが、ロボット６側の映像を画像表示部３で間接的に視認できる状態である。また、作業内容は、例えば、ネジ締め、部品の取り付け、調整等である。

【0021】

例えば、操作習得時、または操作において不明点が発生した場合、操作者ＵＳ１は、例えば操作検出部２１－１で所定の動作を行うことでサポートを要求する。なお、所定の動作とは、例えば、作業では行われないポーズであり、腕を組む、手を組む等である。または、操作者ＵＳ１は、例えば、サポート依頼用のスイッチ２３を押してサポートを要求する。

【0022】

遠隔制御装置５は、サポート依頼を取得し、取得したサポート依頼に基づくサポート依頼情報を、例えばサポートセンター９へ送信する。サポートセンター９は、サポート依頼に基づいてサポート可能な教示者ＵＳ２を選択し、選択した教示者ＵＳ２にサポートを依頼しかつ回線を接続する。

【0023】

教示者ＵＳ２は、画像表示部３－２に表示される画像（第２提示画像）を見ながら操作検出部２１－２を操作して、操作方法を教示する。サポートセンター９は、教示された結果である教示情報を遠隔制御装置５へ送信する。

【0024】

遠隔制御装置５は、受信した教示情報に基づく提示画像（第２提示画像）を、操作者に提供する。なお、提供される画像は、動画、または連続した静止画である。提示画像例については後述する。
操作者は、提供された提示画像を例えばなぞるように操作することで、操作方法を学んだりサポートを受ける。なお、操作者は、訓練やサポートが終了した場合に、例えば、スイッチ２３を操作して終了を遠隔制御装置５に通知する。
遠隔制御装置５は、訓練またはサポートの際、このように操作者の操作検出部２１－１が操作された結果に基づいて、ロボット６を制御する。

【0025】

なお、図１に示した構成例は一例であり、これに限らない。例えば、操作者ＵＳ１と教示者ＵＳ２それぞれは、マイクロフォンとイヤフォンを装着していてもよい。この場合は、音声によって質問やアドバイスを行うこともできる。このようなマイクロフォンとイヤフォンは、例えばＨＤＭが備えていてもよい。なお、操作者ＵＳ１が使用する画像表示部３－１は、例えば作業時にＨＭＤを用い、訓練時やサポート時に他の画像表示装置（例えばスマートフォンの表示部、タブレット端末の表示部、パーソナルコンピュータのモニタ等）であってもよい。

【0026】

（遠隔操作制御システムの構成例）
図２は、本実施形態に係る遠隔操作制御システムの構成例を示す図である。図２のように、遠隔操作制御システム１は、例えば、操作入力部２（２－１，２－２）と、画像表示部３（３－１，３－２）と、環境センサ４と、遠隔制御装置５と、ロボット６と、収音部８１（８１－１，８１－２）と、出力部８２（８２－１，８２－２）と、サポートセンター９を備える。

【0027】

操作入力部２－１は、例えば、操作検出部２１と、視線検出部２２と、スイッチ２３を備える。

【0028】

操作入力部２－２は、例えば、操作検出部２１を備える。

【0029】

遠隔制御装置５は、例えば、取得部５１と、提示情報生成部５２と、制御部５３と、記憶部５４と、通信部５５を備える。
提示情報生成部５２は、第１提示情報生成部５２１と、第２提示情報生成部５２２を備える。
通信部５５は、第１通信部５５１と、第２通信部５５２を備える。

【0030】

ロボット６は、例えば、センサ６１と、アーム６３と、エンドエフェクタ６４と、駆動部６５を備える。

【0031】

サポートセンター９は、例えば、選択部９１と、通信部９２と、記憶部９３を備える。

【0032】

次に、図２の各装置、機能部について説明する。
操作入力部２－１は、不図示の通信部を備え、遠隔制御装置５と有線または無線で情報のやりとりを行う。操作入力部２－１は、ロボット６を遠隔操作する操作者（第１操作者）が使用する。

【0033】

操作検出部２１は、操作者（または教示者）が操作した操作入力を検出する。操作検出部２１は、例えば、データグローブ、スイッチ等である。操作検出部２１は、検出した操作入力情報を遠隔制御装置５に出力する。

【0034】

視線検出部２２は、操作者の視線を検出する。視線検出部２２は、検出した視線情報を遠隔制御装置５に出力する。なお、視線検出部２２は、画像表示部３－１が備えていてもよい。

【0035】

スイッチ２３は、例えば、押しボタンスイッチ、スライドスイッチ、タッチパネルセンサーによるスイッチである。スイッチ２３は、操作者がサポート依頼時に操作する。

【0036】

画像表示部３は、例えば、ＨＭＤ、液晶画像表示装置、有機ＥＬ（Electro Luminescence）画像表示装置、スマートフォン、タブレット端末等、画像表示可能なものである。画像表示部３は、遠隔制御装置５から提供される画像を表示する。画像表示部３は、不図示の通信部を備え、遠隔制御装置５と有線または無線で情報のやりとりを行う。

【0037】

収音部８１（８１－１、８１－２）は、マイクロフォンである。収音部８１－１は、収音した操作者の音声信号を遠隔制御装置５へ出力する。収音部８１－２は、収音した教示者の音声信号を、ネットワークＮＷを介してサポートセンター９へ出力する。

【0038】

出力部８２（８２－１、８２－２）は、例えば、イヤフォンまたはスピーカーである。出力部８２－１は、遠隔制御装置５が出力する教示者の音声信号を出力する。出力部８２－２は、サポートセンター９が出力する操作者の音声信号を出力する。

【0039】

環境センサ４は、例えば深度情報Ｄも取得可能なＲＧＢＤカメラである。環境センサ４は、レーザー等による距離センサとＲＧＢカメラであってもよい。環境センサ４は、２つ以上であってもよい。環境センサ４は、不図示の通信部を備え、遠隔制御装置５と有線または無線で接続されている。

【0040】

サポートセンター９は、例えばサーバである。サポートセンター９は、サポート可能な教示者のサポート可能な作業内容やサポート可能な日時等を管理し、サポート依頼に応じてサポートを提供する。サポートセンター９と遠隔制御装置５とは、有線または無線のネットワークＮＷを介して互いに接続されている。また、サポートセンター９と教示者（第２操作者）が使用する機能部（操作入力部２－２、画像表示部３－２、収音部８１－２、出力部８２－２）とは、有線または無線のネットワークＮＷを介して互いに接続されている。なお、教示者が使用する機能部と、遠隔制御装置５とは、サポートセンター９を介さずに接続されるようにしてもよい。

【0041】

選択部９１は、記憶部９３が記憶する情報を参照して、サポート可能な教示者を選択する。選択部９１は、選択した教示者にサポートを依頼する。なお、依頼は、例えば電子メールや電話等であってもよい。選択部９１は、依頼した教示者が使用する機能部と通信部９２を遠隔制御装置５に接続する。選択部９１は、通信部９２が遠隔制御装置５から取得した情報を、選択した教示者へ提供する。選択部９１は、教示者が使用する機能部から取得した教示情報（第１操作情報）を、通信部９２を介して遠隔制御装置５へ出力する。教示情報には、例えば、教示者が操作入力部２－２を操作した操作データ、教示者を識別かのうな識別情報等が含まれている。なお、サポート依頼時にサポート可能な教示者が不在または手が空いてない等の場合、選択部９１は、サポート可能な時間を遠隔制御装置５へ送信するようにしてもよい。このような場合、遠隔制御装置５は、サポート可能な時間を例えば電子メールや電話で、操作者へ通知するようにしてもよい。

【0042】

通信部９２は、遠隔制御装置５から情報（サポート依頼、提示情報等）を取得する。通信部９２は、選択部９１の制御に応じて、遠隔制御装置５から取得した情報（サポート依頼、提示情報等）を教示者が使用する機能部に出力する。通信部９２は、教示者が使用する機能部から教示情報を取得する。通信部９２は、選択部９１の制御に応じて、教示情報を遠隔制御装置５へ出力する。

【0043】

記憶部９３は、選択部９１は、教示者毎に、教示者を示す情報に、サポート可能な日時、サポート可能な作業内容等を関連付けて記憶する。

【0044】

遠隔制御装置５は、操作者が操作した操作情報に基づいてロボット６の動作を、操作者による作業を補助するように制御する。遠隔制御装置５は、訓練またはサポートの際、例えば、教示者による教示情報に基づく画像を、操作者に提供する。遠隔制御装置５は、訓練またはサポートの際、教示情報に基づく画像に従って操作した結果の操作指令に従ってロボット６を制御する。なお、遠隔制御装置５は、例えば、操作者の操作意図を推定して、作業を補助するようにしてもよい。なお、遠隔制御装置５は、サポートセンター９の機能の全てまたは一部を備えていてもよい。

【0045】

取得部５１は、操作者が使用する機能部から、操作入力情報（第２操作情報）と視線情報とサポート依頼を示す情報と音声信号を取得する。取得部５１は、サポートセンターから、教示情報（第１操作情報）と音声信号を取得する。取得部５１は、環境センサ４から画像情報、ロボット６からセンサ検出値等を取得する。

【0046】

第１提示情報生成部５２１は、操作者が使用する画像表示部３－１に提供する第１提示画像を生成する。操作時の第１提示画像は、例えば、環境センサ４が撮影した画像である。サポート時や訓練時の第１提示画像は、例えば、教示者から取得した教示情報に基づく画像が少なくとも含まれる。

【0047】

第２提示情報生成部５２２は、教示者が使用する画像表示部３－２に提供する第２提示画像を生成する。なお、第２提示画像は、環境センサ４が撮影した画像そのものではなく加工した画像である。加工した画像とは、例えば、記憶部５４が記憶するロボットモデルに基づくＣＧ（コンピュータグラフィック）画像、対象部以外をマスキングした画像、視野を狭めた画像等であり、遠隔操作対象の画像を簡略化または抽象化した画像である。

【0048】

制御部５３は、取得部５１が取得した操作情報に基づいて、ロボット６を制御する。制御部５３は、操作者からサポート依頼を取得した際、サポートセンター９へサポート依頼情報を送信する。なお、サポート依頼情報には、例えば、操作者を識別するための識別情報、操作者が遠隔操作するロボット６を識別するための識別情報、作業内容、操作対象物体等の情報が含まれている。制御部５３は、教示者が指導した結果である教示情報をサポートセンター９から取得し、取得した教示情報に基づいて生成された第１提示画像を操作者の画像表示部３－１に提供する。制御部５３は、訓練またはサポートの際、教示情報に基づく画像に従って操作した結果の操作指令に従ってロボット６を制御する。なお、制御部５３は、操作情報から操作者の操作意図を推定して操作意図に応じた動作を行うよう補助しながら、ロボット６を制御するようにしてもよい。なお、意図推定方法については後述する。

【0049】

記憶部５４は、遠隔制御装置５が用いるプログラム、閾値等を記憶する。記憶部５４は、ロボット６の三次元モデルデータ（例えばＣＡＤデータ）を記憶する。記憶部５４は、環境センサ４が設置されている位置を記憶する。記憶部５４は、サポートセンターと接続されるネットワークＮＷに関する情報を記憶する。なお、記憶部５４は、サポートセンター９の記憶部９３が記憶する情報の全てまたは一部を記憶していてもよい。

【0050】

第１通信部５５１は、作業時、訓練時またはサポート時に、第１提示画像を画像表示部３－１に出力する。

【0051】

第２通信部５５２は、第２提示画像を、サポートセンター９を介して画像表示部３－２に出力する。第２通信部５５２は、サポート依頼情報を教示者に通知する。

【0052】

センサ６１は、例えば、関節に取り付けられているエンコーダ、エンドエフェクタ６４の指先に取り付けられている６軸センサ、力覚センサ等である。

【0053】

アーム６３は、先端にエンドエフェクタ６４が取り付けられている。

【0054】

エンドエフェクタ６４は、少なくとも２つ以上の指部を備えている。エンドエフェクタ６４は、グリッパー等であってもよく、多指を備えていてもよい。また、ロボット６それぞれが備えるエンドエフェクタ６４は、例えば作業内容に応じて異なっていてもよい。

【0055】

駆動部６５は、例えば、駆動回路とアクチュエータを備える。駆動部６５は、遠隔制御装置５が出力する制御指示（関節角度指示等）に応じて、アーム６３とエンドエフェクタ６４を駆動する。

【0056】

（提示画像）
次に、提示画像例を説明する。
図３は、作業時に提供される第１提示画像の一例を示す図である。図３の例のように、作業時には、例えば環境センサ４が撮影した画像が、第１提示画像として操作者に提供される。なお、第１提示画像には、例えば、アーム６３、エンドエフェクタ６４、および操作対象の物体ｏｂｊが含まれている。また、第１提示画像には、作業空間やロボット６の全体の画像等が含まれていてもよい。

【0057】

図４は、訓練時またはサポート時に教示者に提供される第２提示画像の一例を示す図である。図４の例は、教示者に、操作者に提供される画像を例えばＣＧ化した画像が提供される例である。なお、ＣＧの画像は、例えばアーム６３、エンドエフェクタ６４、および操作対象の物体ｏｂｊそれぞれの輪郭のみであってもよい。第２提示情報生成部５２２は、例えば、図３の画像に対して、二値化処理、輪郭検出処理、特徴量抽出処理、クラスタリング処理等を行って、図４のような画像を生成するようにしてもよい。
なお、本実施形態では、教示者用に、画像表示部３－１（第２提供部）を備えることで、マスキング等で機密対応ができ、自分自身の動きを見ることができるので操作性を向上させることができる効果が得られる。

【0058】

図５は、訓練時またはサポート時に操作者に提供される第１提示画像の一例を示す図である。符号ｇ１０２の線画は、教示者からの教示情報に基づく画像である。符号ｇ１０１の画像は、操作者の操作指示に応じて動作している実際のロボット６の（環境センサ４によって撮影される）画像である。
この例では、教示者の手先を仮想的に画像表示部３－１に、例えば別レイヤーとして表示させる。すなわち、遠隔制御装置５は、操作者の画像表示部３－１に、教示者が遠隔操作対象を操作した結果を仮想的に提示する。そして、操作者は、画像表示部３－１に表示される教示者の位置に追従するように、操作検出部２１を操作することで操作指令を入力する。遠隔制御装置５は、操作指示に従ってロボット６が動くように制御する。

【0059】

なお、図５では、訓練時またはサポート時に、教示情報と実画像を重ねて提示する例を示したが、これに限らない。図６のように、操作者がノートパソコンや、パーソナルコンピュータに接続されるモニタを見ながら操作している場合は、画面内に、教示画像ｇ１２１と実画像ｇ１２２を左右または上下に並べて表示させるようにしてもよい。図６は、操作者がモニタを見ながら訓練時またはサポート時を行うイメージ図である。

【0060】

なお、上述した例では、訓練時、教示者の手の動き等に合わせて、操作者が操作入力部２－１を操作してロボット６を操作する例を説明したが、これに限らない。教示者（第１操作者）が操作入力部２－２を操作して、ロボット６を実演してみせるようにしてもよい。この場合、教示者の画像表示部３－２に提示される画像は、ロボット６をＣＧ化した画像であったり、セキュリティ的な箇所にモザイク等をかけたりして加工した画像である。操作者には、このように実演した際のロボット６が操縦された実際の画像が画像表示部３－１に提供される。操作者は、提供された画像を見ながらまねることで訓練を行うことで、操作方法の習得に役立つ。さらに、操作者から、やり方や操縦方法等が分からない場合に、このように教示者に実演してもらうことで、やり方や操縦方法を理解することができる。

【0061】

なお、第１操作者（教示者）側に不図示のカメラを設置し、訓練時に教示者の手の実際の動きを撮影して、受講者の画像表示部３－１に提供するようにしてもよい。この場合は、遠隔制御装置５が教示者の手元以外にモザイク等の画像加工をして提供することで、教示者側のセキュリティを保護することができる。この場合、遠隔制御装置５は、画像表示部３－１に、教示者の手元画像と、ロボット６の実際の動きの画像の両方を提示するようにしてもよい。遠隔制御装置５は、例えば、図６において、符号ｇ１２１の代わりに「教示者の手元画像」を提供される。

【0062】

（操作意図の推定）
次に、操作意図の推定方法の概要について説明する。
制御部５３は、取得部５１が取得した情報を用いて、作業者の意図を推定する。なお、制御部５３は、例えば、視線情報、操作者腕部情報、および頭部動作情報のうちの少なくとも１つを用いて操作者の動作意図を推定する。なお、制御部５３は、環境センサ４が検出した検出値も用いて意図推定するようにしてもよい（例えば特願２０２２－００６４９８号参照）。

【0063】

制御部５３は、例えば、作業が把持を含む場合、グラスプタクソノミー（ＧＲＡＳＰ Ｔａｘｏｎｏｍｙ）手法（例えば参考文献１参照）によって、操作者の操作意図を推定する。
制御部５３は、例えば、グラスプタクソノミー手法によって操作者あるいはロボット６の姿勢すなわち把持姿勢を分類することで操作者状態を分類して、操作者の操作意図を推定する。制御部５３は、例えば、記憶部５４が記憶する学習済みのモデルに操作情報を入力して、操作者の操作意図を推定する。なお、把持姿勢の分類には、他の手法を用いてもよい。また、制御部５３は、視線と腕部の動きを用いて統合的に推定するようにしてもよい。この場合、制御部５３は、視線情報と、手の動き情報とテーブル上の物体の位置情報とを学習済みのモデルに入力して、操作者の操作意図を推定するようにしてもよい。

【0064】

参考文献１；Thomas Feix, Javier Romero,他,“The GRASP Taxonomy of Human GraspTypes” IEEE Transactions on Human-Machine Systems ( Volume: 46, Issue: 1, Feb.2016),IEEE,p66-77

【0065】

（処理手順例）
次に、訓練時またはサポート時の処理手順例を説明する。図７は、本実施形態に係る訓練時またはサポート時の処理手順のフローチャートである。

【0066】

（ステップＳ１）操作者は、スイッチ２３を操作してサポートを依頼する。遠隔制御装置５の取得部５１は、サポート依頼情報を取得する。

【0067】

（ステップＳ２）遠隔制御装置５は、サポート情報をサポートセンターへ送信する。

【0068】

（ステップＳ３）サポートセンター９の選択部９１は、記憶部９３が記憶する情報を参照して、サポート可能な教示者を選択する。

【0069】

（ステップＳ４）選択部９１は、選択した教示者にサポートを依頼する。選択部９１は、依頼した教示者が使用する機能部と通信部９２を接続する。選択部９１は、通信部９２が遠隔制御装置５から取得した情報を、依頼した教示者へ提供する。

【0070】

（ステップＳ５）選択部９１は、教示者が使用する操作入力部２－２から取得した教示情報（第１操作情報）を、通信部９２を介して遠隔制御装置５へ送信する。

【0071】

（ステップＳ６）遠隔制御装置５の第１提示情報生成部５２１は、教示情報に基づいて第１提示画像を生成する。遠隔制御装置５は、第１提示画像を操作者が利用する画像表示部３－１に表示させる。

【0072】

（ステップＳ７）遠隔制御装置５の取得部５１は、操作者が操作検出部２１を操作した操作指令（第２操作情報）を取得する。

【0073】

（ステップＳ８）遠隔制御装置５の取得部５１は、サポート終了か否か判別する。なお、サポート終了は、操作者が例えばスイッチ２３を操作して行う。遠隔制御装置５の制御部５３は、サポート終了である場合（ステップＳ８；ＹＥＳ）、ステップＳ９の処理に進める。遠隔制御装置５の制御部５３は、サポート終了ではない場合（ステップＳ８；ＮＯ）、ステップＳ５の処理に戻る。

【0074】

（ステップＳ８）遠隔制御装置５の制御部５３は、サポート終了を示す情報をサポートセンター９へ送信する。

【0075】

（ステップＳ９）選択部９１は、依頼した教示者が使用する機能部と通信部９２との接続を解除する。

【0076】

なお、図７を用いて説明した処理手順や処理内容は一例であり、これに限らない。処理内容や処理手順は、訓練時またはサポートの内容に応じたものであればよい。例えば、訓練中に、操作者が音声で質問し、教示者が音声で回答して、操作見本を見せるようにしてもよい。

【0077】

なお、上述した例では、サポート依頼があった場合に、教示者に通知して、教示者が実演した結果をリアルタイムで用いる例を説明したが、これに限らない。
例えば、遠隔操作対象が決まっていて、作業内容が決まっている場合は、教示者の訓練データを事前に取得して、例えば記憶部５４に記憶させておいてもよい。そして、遠隔制御装置５は、記憶部５４に記憶されているデータを用いて第１提示画像を生成して提示するようにしてもよい。このような場合であっても、操作者は、訓練時にサポートを受けたい場合にスイッチ２３を操作して、リアルタイムのサポートに移行させるようにしてもよい。これにより、操作者は、サポートを受けたいときに受けやすくなる。

【0078】

以上のように本実施形態では、訓練時またはサポートの際、遠隔操作している操作者が任意のタイミングでサポートを依頼できるようにした。本実施形態では、教示者の手先を仮想的に表示し、教示者の教示情報に追従するように操作者が操作下結果に従ってロボットを制御するようにした。本実施形態では、教示者に例えばバーチャルなロボット６の画像を提供するようにした。

【0079】

これにより、本実施形態によれば、訓練時またはサポートの際、教示者を現場に呼ばずに、すぐに教示してもらうことができるので、サポートを受けやすく操作の指導を受けやすく出来る。本実施形態によれば、教示者の手先を仮想的に表示させて操作者に提供することができる。本実施形態によれば、教示者の位置に追従した操作者の指示に従ってロボットが制御されるので、適切な動作を覚えることができる。

【0080】

なお、上述した例では、教示者がサポート専用の場合を説明したが、これに限らない。教示者は、例えば、操作者と同じ社内の熟練者であってもよい。教示者も操作者と同じ社内の人である場合、教示者に提供する画像は、簡略化したりＣＧ化したりモザイクをかけたりしなくてもよい。

【0081】

なお、本発明における遠隔制御装置５の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより遠隔制御装置５が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

【0082】

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0083】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

【符号の説明】

【0084】

１…遠隔操作制御システム、２，２－１，２－２…操作入力部、３，３－１，３－２…画像表示部、４…環境センサ、５…遠隔制御装置、６，６－１，６－２…ロボット、８１，８１－１，８１－２…収音部、８２，８２－１，８２－２…出力部、９…サポートセンター、２１…操作検出部、２２…視線検出部、２３…スイッチ、５１…取得部、５２…提示情報生成部、５３…制御部、５４…記憶部、５５…通信部、５２１…第１提示情報生成部、５２２…第２提示情報生成部、５５１…第１通信部、５５２…第２通信部、６１…センサ、６３…アーム、６４…エンドエフェクタ、６５…駆動部、９１…選択部、９２…通信部、９３…記憶部、ＮＷ…ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】