特開 2022-164028 遠隔操作制御システム、遠隔操作制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022164028

(43)【公開日】2022-10-27

(54)【発明の名称】遠隔操作制御システム、遠隔操作制御方法、およびプログラム

(51)【国際特許分類】

   B25J 3/00 20060101AFI20221020BHJP

   G06F 3/01 20060101ALI20221020BHJP

【ＦＩ】

B25J3/00 Z

G06F3/01 560

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021069234

(22)【出願日】2021-04-15

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】木村 裕太

(72)【発明者】

【氏名】川上 智弘

(72)【発明者】

【氏名】吉池 孝英

(72)【発明者】

【氏名】杉山 謙一郎

(72)【発明者】

【氏名】室町 維昭

(72)【発明者】

【氏名】谷口 洋一

【テーマコード（参考）】

3C707

5E555

【Ｆターム（参考）】

3C707CY12

3C707JS03

3C707JT10

3C707JU02

3C707JU12

3C707KT01

3C707KT06

3C707KT11

3C707LW12

3C707WL07

5E555AA08

5E555AA26

5E555BA01

5E555BA38

5E555BB01

5E555BB38

5E555BC01

5E555BE17

5E555CA23

5E555DA24

5E555DB53

5E555FA00

(57)【要約】

【課題】同一の遠隔操作対象に対する他の操作者による操作を体感することができる遠隔操作制御システム、遠隔操作制御方法、およびプログラムを提供すること。
【解決手段】実施形態の遠隔操作制御システムは、遠隔操作対象に対する操作を受け付ける第１コントローラを介して第１操作者により入力された操作を示す第１操作情報と、前記遠隔操作対象に対する操作を受け付ける第２コントローラを介して第２操作者により入力された操作を示す第２操作情報とに基づいて、遠隔操作対象を動作させる制御情報を生成する制御情報生成部と、制御情報に基づいて、遠隔操作対象の動作内容を第１コントローラにフィードバックする第１フィードバック情報を生成し、遠隔操作対象の動作内容を第２コントローラにフィードバックする第２フィードバック情報を生成するフィードバック情報生成部と、を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

現実の物体あるいは仮想世界の仮想物体である遠隔操作対象を操作者が遠隔操作する遠隔操作制御システムにおいて、
前記遠隔操作対象に対する操作を受け付ける第１コントローラを介して第１操作者により入力された操作を示す第１操作情報と、前記遠隔操作対象に対する操作を受け付ける第２コントローラを介して第２操作者により入力された操作を示す第２操作情報と、を取得する情報取得部と、
前記情報取得部が取得した前記第１操作情報と前記第２操作情報とに基づいて、前記遠隔操作対象を動作させる制御情報を生成する制御情報生成部と、
前記制御情報に基づいて、前記遠隔操作対象の動作内容を前記第１コントローラにフィードバックする第１フィードバック情報を生成し、前記遠隔操作対象の動作内容を前記第２コントローラにフィードバックする第２フィードバック情報を生成するフィードバック情報生成部と、
を備える遠隔操作制御システム。

【請求項2】

前記フィードバック情報生成部は、
前記第１操作者により入力された操作に基づく前記遠隔操作対象の動作に基づいて、前記第１操作者による操作内容を、前記第２コントローラを介して前記第２操作者に伝達するための第１フィードバック情報を生成し、
前記第２操作者により入力された操作に基づく前記遠隔操作対象の動作に基づいて、前記第２操作者による操作内容を、前記第１コントローラを介して前記第１操作者に伝達するための第２フィードバック情報を生成する、
請求項１に記載の遠隔操作制御システム。

【請求項3】

前記第１操作者のための第１表示部、あるいは、前記第２操作者のための第２表示部に表示させる画像データであって、前記第１操作者により入力された操作と前記第２操作者により入力された操作との比較結果を示す比較画像を生成する比較画像生成部と、をさらに備える、
請求項１あるいは２に記載の遠隔操作制御システム。

【請求項4】

前記制御情報生成部は、前記第１操作者による遠隔操作の内容と前記第２操作者による遠隔操作の内容とを合成した結果に基づいて、前記制御情報を生成する、
請求項１から３のうちいずれか一項に記載の遠隔操作制御システム。

【請求項5】

前記制御情報生成部は、前記第１操作者による遠隔操作の内容と前記第２操作者による遠隔操作の内容とを合成する際に、前記第１操作者に比べて前記第２操作者の操作を優先させた前記制御情報を生成する、
請求項４に記載の遠隔操作制御システム。

【請求項6】

前記フィードバック情報生成部は、
前記遠隔操作対象に搭載されたセンサによる検出結果に基づいて、前記遠隔操作対象側において得られる感覚あるいは感触を、前記第１コントローラを介して前記第１操作者に伝達するための第３フィードバック情報を生成し、
前記遠隔操作対象に搭載されたセンサによる検出結果に基づいて、前記遠隔操作対象側において得られる感覚あるいは感触を、前記第２コントローラを介して前記第２操作者に伝達するための第４フィードバック情報を生成する、
請求項１から５のうちいずれか一項に記載の遠隔操作制御システム。

【請求項7】

コンピュータが、
現実の物体あるいは仮想世界の仮想物体である遠隔操作対象を操作者が遠隔操作する遠隔操作制御において、
前記遠隔操作対象に対する操作を受け付ける第１コントローラを介して第１操作者により入力された操作を示す第１操作情報と、前記遠隔操作対象に対する操作を受け付ける第２コントローラを介して第２操作者により入力された操作を示す第２操作情報と、を取得し、
取得された前記第１操作情報と前記第２操作情報とに基づいて、前記遠隔操作対象を動作させる制御情報を生成し、
前記制御情報に基づいて、前記遠隔操作対象の動作内容を前記第１コントローラにフィードバックする第１フィードバック情報を生成し、前記遠隔操作対象の動作内容を前記第２コントローラにフィードバックする第２フィードバック情報を生成する、
遠隔操作制御方法。

【請求項8】

現実の物体あるいは仮想世界の仮想物体である遠隔操作対象を操作者が遠隔操作する遠隔操作制御において、
コンピュータに、
前記遠隔操作対象に対する操作を受け付ける第１コントローラを介して第１操作者により入力された操作を示す第１操作情報と、前記遠隔操作対象に対する操作を受け付ける第２コントローラを介して第２操作者により入力された操作を示す第２操作情報と、を取得させ、
取得された前記第１操作情報と前記第２操作情報とに基づいて、前記遠隔操作対象を動作させる制御情報を生成させ、
前記制御情報に基づいて、前記遠隔操作対象の動作内容を前記第１コントローラにフィードバックする第１フィードバック情報を生成し、前記遠隔操作対象の動作内容を前記第２コントローラにフィードバックする第２フィードバック情報を生成させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔操作制御システム、遠隔操作制御方法、およびプログラムに関する。

【背景技術】

【0002】

近年、操作者がロボットなどの遠隔操作対象を遠隔操作する技術が知られている。例えば、遠隔操作の権限を切り替えて、複数の操作者が交代して同一のロボットを遠隔操作するものが知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－００５８１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の技術では、同一の遠隔操作対象を複数人で操作し、同一の遠隔操作対象に対する他の操作者による操作を体感することはできなかった。

【0005】

本発明の態様は、このような事情を考慮してなされたものであり、同一の遠隔操作対象に対する他の操作者による操作を体感することができる遠隔操作制御システム、遠隔操作制御方法、およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

この発明に係る遠隔操作制御システム、遠隔操作制御方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る遠隔操作制御システムは、現実の物体あるいは仮想世界の仮想物体である遠隔操作対象を操作者が遠隔操作する遠隔操作制御システムにおいて、前記遠隔操作対象に対する操作を受け付ける第１コントローラを介して第１操作者により入力された操作を示す第１操作情報と、前記遠隔操作対象に対する操作を受け付ける第２コントローラを介して第２操作者により入力された操作を示す第２操作情報と、を取得する情報取得部と、前記情報取得部が取得した前記第１操作情報と前記第２操作情報とに基づいて、前記遠隔操作対象を動作させる制御情報を生成する制御情報生成部と、前記制御情報に基づいて、前記遠隔操作対象の動作内容を前記第１コントローラにフィードバックする第１フィードバック情報を生成し、前記遠隔操作対象の動作内容を前記第２コントローラにフィードバックする第２フィードバック情報を生成するフィードバック情報生成部と、を備えるものである。

【0007】

（２）：上記（１）の態様において、前記フィードバック情報生成部は、前記第１操作者により入力された操作に基づく前記遠隔操作対象の動作に基づいて、前記第１操作者による操作内容を、前記第２コントローラを介して前記第２操作者に伝達するための第１フィードバック情報を生成し、前記第２操作者により入力された操作に基づく前記遠隔操作対象の動作に基づいて、前記第２操作者による操作内容を、前記第１コントローラを介して前記第１操作者に伝達するための第２フィードバック情報を生成する、ものである。

【0008】

（３）：上記（１）あるいは（２）の態様において、前記第１操作者のための第１表示部、あるいは、前記第２操作者のための第２表示部に表示させる画像データであって、前記第１操作者により入力された操作と前記第２操作者により入力された操作との比較結果を示す比較画像を生成する比較画像生成部と、をさらに備える、ものである。

【0009】

（４）：上記（１）から（３）のうちのいずれかの態様において、前記制御情報生成部は、前記第１操作者による遠隔操作の内容と前記第２操作者による遠隔操作の内容とを合成した結果に基づいて、前記制御情報を生成する、ものである。

【0010】

（５）：上記（４）の態様において、前記制御情報生成部は、前記第１操作者による遠隔操作の内容と前記第２操作者による遠隔操作の内容とを合成する際に、前記第１操作者に比べて前記第２操作者の操作を優先させた前記制御情報を生成する、ものである。

【0011】

（６）：上記（１）～（５）のうち何れか一つの態様において、前記フィードバック情報生成部は、前記遠隔操作対象に搭載されたセンサによる検出結果に基づいて、前記遠隔操作対象側において得られる感覚あるいは感触を、前記第１コントローラを介して前記第１操作者に伝達するための第３フィードバック情報を生成し、前記遠隔操作対象に搭載されたセンサによる検出結果に基づいて、前記遠隔操作対象側において得られる感覚あるいは感触を、前記第２コントローラを介して前記第２操作者に伝達するための第１フィードバック情報を生成する、ものである。

【0012】

（７）：この発明の他の態様に係る遠隔操作制御方法は、コンピュータが、現実の物体あるいは仮想世界の仮想物体である遠隔操作対象を操作者が遠隔操作する遠隔操作制御において、前記遠隔操作対象に対する操作を受け付ける第１コントローラを介して第１操作者により入力された操作を示す第１操作情報と、前記遠隔操作対象に対する操作を受け付ける第２コントローラを介して第２操作者により入力された操作を示す第２操作情報と、を取得し、取得された前記第１操作情報と前記第２操作情報とに基づいて、前記遠隔操作対象を動作させる制御情報を生成し、前記制御情報に基づいて、前記遠隔操作対象の動作内容を前記第１コントローラにフィードバックする第１フィードバック情報を生成し、前記遠隔操作対象の動作内容を前記第２コントローラにフィードバックする第２フィードバック情報を生成する、遠隔操作制御方法である。

【0013】

（８）：この発明の他の態様に係るプログラムは、現実の物体あるいは仮想世界の仮想物体である遠隔操作対象を操作者が遠隔操作する遠隔操作制御において、コンピュータに、前記遠隔操作対象に対する操作を受け付ける第１コントローラを介して第１操作者により入力された操作を示す第１操作情報と、前記遠隔操作対象に対する操作を受け付ける第２コントローラを介して第２操作者により入力された操作を示す第２操作情報と、を取得させ、取得された前記第１操作情報と前記第２操作情報とに基づいて、前記遠隔操作対象を動作させる制御情報を生成させ、前記制御情報に基づいて、前記遠隔操作対象の動作内容を前記第１コントローラにフィードバックする第１フィードバック情報を生成し、前記遠隔操作対象の動作内容を前記第２コントローラにフィードバックする第２フィードバック情報を生成させる、プログラムである。

【発明の効果】

【0014】

上記（１）～（８）の態様によれば、同一の遠隔操作対象に対する他の操作者による操作を体感することができる。
上記（２）によれば、一方の操作者の遠隔操作によるロボット等の動作を、他方の操作者に伝達することができる。
上記（３）によれば、一方の操作者は、他方の操作者により修正された自身の誤操作や、自分の操作と他方の操作者による操作との違いなどを画像で確認することができる。
上記（４）によれば、二人以上の操作者による遠隔操作に従って、遠隔操作対象を動作させることができ、例えば新人の作業をリアルタイムに熟練者が指導することが可能となる。
上記（５）によれば、一方の操作者による遠隔操作よりも他方の操作者による遠隔操作を遠隔操作対象の動作に反映することができ、一方の操作者による遠隔操作を他方の操作者による遠隔操作に修正することができる。
上記（６）によれば、遠隔操作対象を用いた遠隔操作ではなく、操作者が実際に操作物体を操作した場合に得られる感覚や感触を、操作者に伝達することができる。

【図面の簡単な説明】

【0015】

【図1】本実施形態に係る遠隔操作制御システムの概要を示す図である。

【図2】第１操作者が作業する作業空間に設置される構成の機能ブロック図である。

【図3】ロボットの機能ブロック図である。

【図4】ロボット遠隔操作制御装置の機能ブロック図である。

【図5】比較画像の一例を示す図である。

【図6】ロボット遠隔操作制御システムにおける処理の一例を示すシーケンス図である。

【図7】ロボット遠隔操作制御装置による処理の一例を示すフローチャートである。

【図8】ロボット遠隔操作制御システムにおける処理の他の例を示すシーケンス図である。

【図9】ロボット遠隔操作制御装置による処理の他の例を示すフローチャートである。

【発明を実施するための形態】

【0016】

以下、図面を参照し、本発明の遠隔操作制御システム、遠隔操作制御方法、およびプログラムの実施形態について説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。

【0017】

＜概要＞
図１は、本実施形態に係る遠隔操作制御システム１の概要を示す図である。遠隔操作制御システム１は、例えば、第１ＨＭＤ（ヘッドマウントディスプレイ）１０と、第１コントローラ２０と、第１環境センサ３０と、第１端末装置４０と、第２ＨＭＤ５０と、第２コントローラ６０と、第２環境センサ７０と、第２端末装置８０と、ロボット１００と、第３環境センサ２００と、ロボット遠隔操作制御装置３００とを備える。

【0018】

例えば、第１ＨＭＤ１０、第１コントローラ２０、および第１環境センサ３０は、近距離無線通信を介して、第１端末装置４０と接続されている。第１端末装置４０は、ネットワークＮＷを介して、ロボット１００、第３環境センサ２００、およびロボット遠隔操作制御装置３００と接続されている。また、第２ＨＭＤ５０、第２コントローラ６０、および第２環境センサ７０は、例えば、近距離無線通信を介して、第２端末装置８０と接続されている。第２端末装置８０は、ネットワークＮＷを介して、ロボット１００、第３環境センサ２００、およびロボット遠隔操作制御装置３００と接続されている。ネットワークＮＷは、例えば、インターネット、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local1 Area Network）、プロバイダ装置、無線基地局などを含む。

【0019】

なお、この構成に限られず、第１端末装置４０と第２端末装置８０とは省略されてもよい。この場合、第１ＨＭＤ１０、第１コントローラ２０、第１環境センサ３０、第２ＨＭＤ５０、第２コントローラ６０、および第２環境センサ７０は、ネットワークＮＷを介してロボット１００、第３環境センサ２００、およびロボット遠隔操作制御装置３００と直接的に接続されてもよい。

【0020】

ロボット１００、第３環境センサ２００、およびロボット遠隔操作制御装置３００は、例えば、無線または有線の通信ネットワークを介して接続されている。これに限られず、ロボット１００、第３環境センサ２００、およびロボット遠隔操作制御装置３００は、通信ネットワークを介さずに、直接有線で接続されてもよい。

【0021】

第１ＨＭＤ１０と第１コントローラ２０は、例えば新人Ａ（第１操作者の一例）が装着する装置であり、第２ＨＭＤ５０と第２コントローラ６０は、例えば熟練者Ｂ（第２操作者の一例）が装着する装置である。第１コントローラ２０と第２コントローラ６０は、例えば、触覚データグローブであり、操作者の手に装着される。第１コントローラ２０と第２コントローラ６０は、それぞれが備えるセンサによって方位や各指の動きや手の動きや腕の動きなどを検出し、検出結果を示す情報（以下、操作情報と記す）を、ロボット遠隔操作制御装置３００に送信する。操作情報には、新人Ａによる操作を示す情報や、熟練者Ｂによる操作を示す情報などが含まれる。

【0022】

新人Ａが作業する作業空間には、例えば、第１環境センサ３０と第１端末装置４０とが設置されている。第１環境センサ３０は、例えば、通信機能とＲＢＧカメラと深度センサを備える専用装置である。第１環境センサ３０は、新人Ａの作業を撮影、検出できる位置に設置される。第１端末装置４０は、例えば、通信機能を備えるタブレット端末やパーソナルコンピュータである。これに限られず、第１環境センサ３０は、例えば、第１端末装置４０に取り付けられていてもよく、第１環境センサ３０が第１端末装置４０の機能を備える構成であってもよい。

【0023】

熟練者Ｂが作業する作業空間には、例えば、第２環境センサ７０と第２端末装置８０とが設置されている。第２環境センサ７０は、例えば、通信機能とＲＢＧカメラと深度センサを備える専用装置である。第２環境センサ７０は、熟練者Ｂの作業を撮影、検出できる位置に設置される。第２端末装置８０は、例えば、通信機能を備えるタブレット端末やパーソナルコンピュータである。これに限られず、第２環境センサ７０は、例えば、第２端末装置８０に取り付けられていてもよく、第２環境センサ７０が第２端末装置８０の機能を備える構成であってもよい。

【0024】

第３環境センサ２００は、例えば、通信機能とＲＢＧカメラと深度センサを備える専用装置であり、ロボット１００の作業を撮影、検出できる位置に設置されている。なお、第３環境センサ２００は、ロボット１００が備えていてもよく、ロボット１００に取り付けられていてもよい。

【0025】

例えば、新人Ａは、第１ＨＭＤ１０に表示された画像を見ながら第１コントローラ２０を装着している手や指を動かすことで、ロボット１００を遠隔操作する。また、熟練者Ｂは、第２ＨＭＤ５０に表示された画像を見ながら第２コントローラ６０を装着している手や指を動かすことで、ロボット１００を遠隔操作する。本実施形態において、新人Ａは、ロボット１００を遠隔操作して、製作に技術を要する工芸品等の物体を作成する作業を行う作業者である。熟練者Ｂは、新人Ａの操作中や操作の前後に、ロボット１００を遠隔操作することによって、新人Ａに熟練者Ｂによる手本を体感させ、新人Ａによる作業を修正するなどの指導を行う指導者である。なお、遠隔操作において、新人Ａと熟練者Ｂは、ロボット１００の動作を直接視認できないが、ロボット１００側の映像を第１ＨＭＤ１０や第２ＨＭＤ５０で間接的に視認できる状態である。

【0026】

ロボット１００は、現実の物体である遠隔操作対象の一例である。遠隔操作対象は、これに限られず、仮想世界の仮想物体であってもよい。例えば、二次元あるいは三次元のアニメーションなどの仮想世界において出現する仮想物体のロボットやアバターが、遠隔操作対象であってもよい。以下、遠隔操作対象がロボット１００である例について説明する。遠隔操作対象が仮想物体である例については、ロボット１００を動作させるための処理を、仮想世界において仮想物体を動作させるための処理と読み替えればよい。つまり、ロボット遠隔操作制御装置３００は、仮想世界において仮想物体を動作させるための画像処理部などの構成を備え、第１コントローラ２０や第２コントローラ６０は仮想世界における仮想物体を操作するための構成を備えてもよい。

【0027】

ロボット遠隔操作制御装置３００は、新人Ａや熟練者Ｂにより遠隔操作されたロボット１００の動作を、第１コントローラ２０や第２コントローラ６０にフィードバックする。これにより、第１コントローラ２０は、熟練者Ｂの遠隔操作によるロボット１００の動作を再現し、第２コントローラ６０は、新人Ａの遠隔操作によるロボット１００の動作を再現する。例えば、新人Ａが操作物体を変形させる遠隔操作を行う際に熟練者Ｂがもっと力をいれるように指導するシーンにおいて、ロボット１００は、熟練者Ｂの遠隔操作に従って、ロボット１００の操作物体にロボットアームを添えた時にもっと操作物体に対して力を入れる動作を実行する。このようなロボット１００が実行した動作を、第１コントローラ２０や第２コントローラ６０にフィードバックすることで、熟練者Ｂによる遠隔操作の内容を新人Ａにフィードバックし、新人Ａの作業を熟練者Ｂが手を添えて直接指導しているかのような感覚や感触を新人Ａに与えることができる。

【0028】

こうすることで、熟練者Ｂは、第２コントローラ６０を介して新人Ａの操作を体感することができ、熟練者Ｂは、新人Ａの操作を修正する操作を第２コントローラ６０に入力することができる。よって、新人Ａは、第１コントローラ２０を介して熟練者Ｂの操作を体感し、熟練者Ｂやロボット１００から離れた場所にいながら、熟練者Ｂの指導を受けながら、ロボット１００を遠隔操作することができる。

【0029】

なお、詳細については後述するが、ロボット遠隔操作制御装置３００は、ロボット１００側において得られる感覚や感触を新人Ａや熟練者Ｂにフィードバックしてもよい。

【0030】

図２は、第１操作者が作業する作業空間に設置される構成の機能ブロック図である。なお、熟練者Ｂが作業する作業空間に設置される各構成も同様の機能を備えており、これらについての詳細な説明を省略する。

【0031】

＜ＨＭＤ＞
第１ＨＭＤ１０は、例えば、表示部１１、視線検出部１２、センサ１３、制御部１４、通信部１５、および収音部１６を備える。第１ＨＭＤ１０は、ロボット遠隔操作制御装置３００から受信した画像データに基づいて、ロボット１００を遠隔操作するための画像を表示する。例えば、第１ＨＭＤ１０は、ロボット１００の状態画像を表示する。ロボット１００の状態画像とは、ロボット１００による動作を示す画像であって、例えば、ロボット１００の手元を撮影した画像などが含まれる。

【0032】

表示部１１は、例えば、ＬＣＤや有機ＥＬ表示装置などである。視線検出部１２は、新人Ａの視線の動きを検出する。視線検出部１２は、新人Ａの視線情報を検出する針検出器を備えていてもよい。センサ１３は、例えば、加速度センサ、ジャイロスコープ等である。センサ１３は、新人Ａの頭部の動きや傾きを検出する。

【0033】

例えば、制御部１４は、ロボット遠隔操作制御装置３００が送信した画像データに基づいて、例えばロボットの状態画像を表示部１１に表示させる。

【0034】

例えば、制御部１４は、視線検出部１２による検出結果に基づいて、新人Ａの視線の動きを示す情報（以下、視線情報と記す）を生成する。また、制御部１４は、センサ１３による検出結果に基づいて、新人Ａの頭部の動きや傾きを示す情報（以下、頭部動作情報と記す）を生成する。視線情報や頭部動作情報は、後述の操作者センサ値に含まれる情報である。制御部１４は、生成した視線情報と頭部動作情報とを、第１端末装置４０を介してロボット遠隔操作制御装置３００に送信させる。

【0035】

通信部１５は、例えば、Bluetooth（登録商標）など利用するための無線モジュールであって、アンテナおよび送受信装置などを有する。通信部１５は、制御部１４による制御に従い、近距離無線通信を介して、第１端末装置４０と通信する。これに限られず、通信部１５は、ＮＩＣ等の通信インターフェースを含み、ネットワークＮＷを介して、第１端末装置４０やロボット１００やロボット遠隔操作制御装置３００と通信してもよい。

【0036】

収音部１６は、例えばマイクロホンであり、収音した音響信号を制御部１４に出力する。制御部１４は、通信部１５を用いて、音響信号をロボット遠隔操作制御装置３００に送信させる。制御部１４は、ロボット遠隔操作制御装置３００から音声情報を受信した場合、スピーカ１７から出力させる。ロボット遠隔操作制御装置３００は、例えば、第１ＨＭＤ１０を介して新人Ａの会話の音響信号を取得した場合、新人Ａの会話の音声信号を、第２ＨＭＤ５０を介して熟練者Ｂに提供する。また、ロボット遠隔操作制御装置３００は、例えば、第２ＨＭＤ５０を介して熟練者Ｂの会話の音響信号を取得した場合、熟練者Ｂの会話の音声信号を、第１ＨＭＤ１０を介して新人Ａに提供する。

【0037】

＜コントローラ＞
第１コントローラ２０は、例えば、センサ２１、制御部２２、通信部２３、およびフィードバック手段２４を備える。

【0038】

センサ２１は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ等である。制御部２２は、例えば、センサ２１に含まれる複数種類のセンサによって検出された検出結果に基づいて、各指の動きをトラッキングする。また、制御部２２は、センサ２１による検出結果に基づいて、方位や各指の動きや手の動き等の操作者の腕部の姿勢や位置を示す情報（以下、操作者腕部情報と記す）を取得する。操作者腕部情報には、例えば、手先位置・姿勢情報、各指の角度情報、肘の位置・姿勢情報、各部の動きをトラッキングした情報等のヒトの腕部全般におよぶ情報が含まれる。操作者腕部情報は、操作情報の一例である。制御部２２は、取得した操作者腕部情報を、第１端末装置４０を介してロボット遠隔操作制御装置３００に送信させる。

【0039】

通信部２３は、Bluetooth（登録商標）など利用するための無線モジュールであって、アンテナおよび送受信装置などを有する。通信部２３は、制御部２２による制御に従い、近距離無線通信を介して、第１端末装置４０と通信する。これに限られず、通信部２３は、ＮＩＣ等の通信インターフェースを含み、ネットワークＮＷを介して、第１端末装置４０やロボット１００やロボット遠隔操作制御装置３００と通信してもよい。

【0040】

フィードバック手段２４は、制御部２２の制御に従って、操作者にロボット１００のエンドエフェクタからのフィードバック情報（圧力、温度等）をフィードバックする。

【0041】

フィードバック手段２４は、例えば、ロボット１００側において得られる感覚や感触を再現する手段と、ロボット１００による動作を再現する手段とを備える。ロボット１００側において得られる感覚や感触を再現する手段は、例えば、ロボット１００が作業している際にロボットハンドが物体などに接触しているときの感触や感覚を再現する手段である。ロボット１００による動作を再現する手段は、例えば、ロボット１００のロボットアームが動いた方向や速さなどを再現する手段である。

【0042】

例えば、フィードバック手段２４は、振動を与える手段（不図示）、空気圧を与える手段（不図示）、手の動きを拘束する手段（不図示）、温度を感じさせる手段（不図示）、堅さや柔らかさを感じさせる手段（不図示）等を備える。フィードバック手段２４は、制御部２２による制御に従って、ロボット１００からフィードバックされたロボット１００側において得られる感覚や感触や、ロボット１００による動作を再現する。こうすることで、第１コントローラ２０は、新人Ａや熟練者Ｂの遠隔操作を新人Ａに伝達することができる。

【0043】

制御部２２は、ロボット遠隔操作制御装置３００から受信したフィードバック情報に基づいて、フィードバック手段２４を制御する。フィードバック情報の詳細については後述する。

【0044】

＜環境センサ＞
第１環境センサ３０は、例えば、撮影装置３１、センサ３２、物体位置検出部３３、制御部３４、および通信部３５を備える。なお、第２環境センサ７０や第３環境センサ２００も同様の機能を備えており、これらについての詳細な説明は省略する。

【0045】

撮影装置３１は、例えばＲＧＢカメラであり、センサ３２は、例えば深度センサである。なお、撮影装置３１とセンサ３２は、距離センサであってもよい。第１環境センサ３０において、撮影装置３１とセンサ３２の位置関係は既知である。

【0046】

物体位置検出部３３は、撮影装置３１により撮影された画像と、センサ３２により検出された検出結果とに基づいて、撮影画像における対象物体の三次元位置と大きさ形状等を周知の手法で検出する。例えば、物体位置検出部３３は、物体位置検出部３３が記憶するパターンマッチングのモデル等を参照して、撮影装置３１が撮影した画像に対して画像処理（エッジ検出、二値化処理、特徴量抽出、画像強調処理、画像抽出、パターンマッチング処理等）を行って物体の位置を推定する。なお、物体位置検出部３３は、撮影された画像から複数の物体が検出された場合、物体毎に位置を検出する。

【0047】

制御部３４は、物体位置検出部３３により検出された物体の位置を示す情報と、撮影装置３１により撮影された画像と、センサ３２により検出されたセンサ値を、第１端末装置４０を介してロボット遠隔操作制御装置３００に送信させる。物体の位置を示す情報、撮影装置３１により撮影された画像、およびセンサ３２により検出されたセンサ値は、後述の環境センサ値に含まれる。

【0048】

通信部３５は、Bluetooth（登録商標）など利用するための無線モジュールであって、アンテナおよび送受信装置などを有する。通信部３５は、近距離無線通信を介して、第１端末装置４０と通信する。これに限られず、通信部３５は、ＮＩＣ等の通信インターフェースを含み、ネットワークＮＷを介して、第１端末装置４０やロボット１００やロボット遠隔操作制御装置３００と通信してもよい。

【0049】

なお、第１環境センサ３０は、モーションキャプチャ装置であってもよく、モーションキャプチャによって物体の位置情報を検出するようにしてもよく、物体に位置情報送信部を備えるＧＰＳ受信装置（不図示）が取り付けられていてもよい。この場合、ＧＰＳ受信装置は、位置情報をロボット遠隔操作制御装置３００へ送信するようにしてもよい。

【0050】

＜ロボットの構成例＞
図３は、ロボット１００の機能ブロック図である。ロボット１００は、例えば、通信部１１０と、収音部１２０と、センサ１３０と、駆動部１４０と、ロボットアーム１５０と、電源１６０と、記憶部１７０と、制御部１８０とを備える。

【0051】

通信部１１０は、例えば、ＮＩＣ等の通信インターフェースを含む。通信部１１０は、制御部１８０による制御に従い、ネットワークＮＷを介して、第１端末装置４０、第２端末装置８０、第３環境センサ２００、およびロボット遠隔操作制御装置３００と接続する。通信部１１０は、Bluetooth（登録商標）など利用するための無線モジュールであって、アンテナおよび送受信装置などを有し、近距離無線通信を介して、第３環境センサ２００、およびロボット遠隔操作制御装置３００と通信してもよい。

【0052】

収音部１２０は、例えば複数のマイクロホンを備えるマイクロホンアレイである。収音部１２０は、収音した音響信号を制御部１８０に出力する。収音部１２０は、音声認識処理機能を備えていてもよい。この場合、収音部１２０は、音声認識結果を制御部１８０に出力する。

【0053】

センサ１３０は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ、各関節エンコーダ等である。例えば、センサ１３０は、ロボット１００の各関節や頭部等に取り付けられている。センサ１３０は、検出した検出結果を示す情報を、制御部１８０に出力する。

【0054】

駆動部１４０は、制御部１８０による制御に従って、ロボット１００の各部（腕、指、足、頭、胴、腰等）を駆動する。駆動部１４０は、例えば、ロボットアーム１５０を駆動する。ロボットアーム１５０は、例えば、アクチュエータ、ギア、人工筋等を備える。また、ロボットアーム１５０は、ハンドセンサ１５１を備える。ハンドセンサ１５１は、例えば、温度を感じる手段（不図示）、堅さや柔らかさを感じる手段（不図示）等を備える。

【0055】

電源１６０は、ロボット１００の各部に電力を供給する。電源１６０は、例えば充電式のバッテリや充電回路を備えていてもよい。

【0056】

記憶部１７０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）などによって実現される。記憶部１７０は、プロセッサが実行するプログラムを格納する他、ロボット１００を動作させるための動作パラメータなどの各種情報を格納する。

【0057】

制御部１８０は、遠隔操作によりロボット１００を動作させる制御と、遠隔操作によらずにロボット１００を動作させる制御とを実行する。前者の場合、制御部１８０は、ロボット遠隔操作制御装置３００により生成された制御情報に従って、ロボット１００を動作させる。

【0058】

後者の場合、制御部１８０は、収音部１２０が収音した音響信号に対して音声認識処理（発話区間検出、音源分離、音源定位、雑音抑圧、音源同定等）を行う。音声認識した結果にロボット１００に対する動作指示が含まれている場合、制御部１８０は、音声による動作指示に基づいてロボット１００の動作を制御する。また、制御部１８０は、記憶部１７０が記憶する情報に基づいて、第３環境センサ２００等が撮影した画像に対して画像処理（エッジ検出、二値化処理、特徴量抽出、画像強調処理、画像抽出、パターンマッチング処理等）を行い、音声認識結果と画像処理結果に基づいてロボット１００の動作を制御するようにしてもよい。

【0059】

＜ロボット遠隔操作制御装置３００の構成例＞
図４は、ロボット遠隔操作制御装置３００の機能ブロック図である。ロボット遠隔操作制御装置３００は、例えば、通信部３１０と、入力部３２０と、出力部３３０と、記憶部３４０と、処理部３５０とを備える。

【0060】

通信部３１０は、例えば、ＮＩＣ等の通信インターフェースを含む。通信部３１０は、処理部３５０による制御に従い、ネットワークＮＷを介して、第１端末装置４０、第２端末装置８０、ロボット１００と、および第３環境センサ２００と通信を行う。

【0061】

入力部３２０は、例えば、各種キー、ボタン、ダイヤルスイッチ、マウスなどのうち一部または全部を含む。出力部３３０は、例えば、ＬＣＤや有機ＥＬ表示装置や、スピーカ、プロジェクタなどを含む。記憶部３４０は、例えば、ＲＡＭ、ＲＯＭ、ＨＤＤなどによって実現される。記憶部３４０は、プロセッサが実行するプログラムを格納する他、ロボット情報３４１、フィードバックパラメータ情報３４２等を格納する。各情報の詳細については後述する。

【0062】

処理部３５０は、例えば、情報取得部３５１と、意図推定部３５２と、ロボット操作決定部３５３と、制御情報生成部３５４と、フィードバック情報生成部３５５と、ロボット状態画像生成部３５６と、比較画像生成部３５７と、通信制御部３５８とを備える。これらの機能部のうち一部または全部は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めロボット遠隔操作制御装置３００の記憶部３４０に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで記憶部３４０にインストールされてもよい。

【0063】

例えば、情報取得部３５１は、ネットワークＮＷを介して第１端末装置４０から、第１操作情報を取得する。第１操作情報とは、遠隔操作対象であるロボット１００に対する操作を受け付ける第１コントローラ２０を介して、新人Ａにより入力された操作を示す情報である。また、情報取得部３５１は、ネットワークＮＷを介して第２端末装置８０から、第２操作情報を取得する。第２操作情報とは、遠隔操作対象であるロボット１００に対する操作を受け付ける第２コントローラ６０を介して、熟練者Ｂにより入力された操作を示す情報である。第１操作情報と第２操作情報には、例えば、操作者腕部情報などが含まれる。

【0064】

また、情報取得部３５１は、ネットワークＮＷを介して第１端末装置４０から、第１操作者センサ値情報を取得する。第１操作者センサ値情報とは、第１操作者である新人Ａの状態変化をセンサによって検出した検出結果を示す情報であって、例えば、第１ＨＭＤ１０や第１コントローラ２０に搭載されているセンサの検出結果を示す情報を含む。また、情報取得部３５１は、ネットワークＮＷを介して第２端末装置８０から、第２操作者センサ値情報を取得する。第２操作者センサ値情報とは、第２操作者である熟練者Ｂの状態変化をセンサによって検出した検出結果を示す情報であって、例えば、第２ＨＭＤ５０や第２コントローラ６０に搭載されているセンサの検出結果を示す情報を含む。第１操作者センサ値情報と第２操作者センサ値情報には、例えば、第１ＨＭＤ１０あるいは第２ＨＭＤ５０により検出された視線情報や頭部動作情報などが含まれる。

【0065】

また、情報取得部３５１は、ネットワークＮＷを介して第１端末装置４０から、第１環境センサ値情報を取得する。第１環境センサ値情報とは、第１操作者である新人Ａがロボット１００を遠隔操作している周辺の環境変化をセンサによって検出した検出結果を示す情報であって、例えば、第１環境センサ３０に搭載されているセンサの検出結果を示す情報を含む。また、情報取得部３５１は、ネットワークＮＷを介して第２端末装置８０から、第２環境センサ値情報を取得する。第２環境センサ値情報とは、第２操作者である熟練者Ｂがロボット１００を遠隔操作している周辺の環境変化をセンサによって検出した検出結果を示す情報であって、例えば、第２環境センサ７０に搭載されているセンサの検出結果を示す情報を含む。また、情報取得部３５１は、ネットワークＮＷを介して第３環境センサ２００から、第３環境センサ値情報を取得する。第３環境センサ値情報とは、第１操作者や第２操作者等により遠隔操作されているロボット１００周辺の環境変化をセンサによって検出した検出結果を示す情報であって、例えば、第３環境センサ２００に搭載されているセンサの検出結果を示す情報を含む。第１環境センサ値情報、第２環境センサ値情報、第３環境センサ値情報には、例えば、物体位置情報、撮影装置３１により撮影された画像、およびセンサ３２により検出されたセンサ値などが含まれる。

【0066】

意図推定部３５２は、情報取得部３５１が取得した情報に基づいて、操作者の動作意図を推定する。例えば、意図推定部３５２は、視線情報、操作者腕部情報、および頭部動作情報のうちの少なくとも１つを用いて操作者の動作意図を推定する。なお、意図推定部３５２は、環境センサ値も用いて意図推定するようにしてもよい。

【0067】

また、意図推定部３５２は、情報取得部３５１が取得した操作者センサ値と視線情報を学習済みのモデルに入力することで、操作者が行おうとしている動作の意図を推定するようにしてもよい。このような推定結果に基づいて制御情報を生成し、生成された制御情報に基づいてロボット１００を制御することで、ロボット１００は、操作者が正確な位置合わせの遠隔操作をしない場合であっても、正確な位置合わせを実行することができる。よって、高い精度でロボット１００に作業を行わせることができる。なお、学習済みのモデルは、例えば、予め操作者センサ値と視線情報を入力し、操作者が行おうとしている作業を教師データとして学習されたデータである。

【0068】

ロボット操作決定部３５３は、意図推定部３５２により推定された動作意図と、ロボット１００のセンサ１３０により検出された検出結果、第３環境センサ２００の撮影装置が撮影した画像を画像処理した結果などに基づいて、ロボット１００が操作する操作物体に対する操作方法を決定する。操作物体に対する操作方法には、例えば、操作物体を把持する把持方法、操作物体を動かすための移動方法、操作物体を変形させるための変形方法など、様々な操作方法が含まれる。

【0069】

制御情報生成部３５４は、記憶部３４０を参照し、情報取得部３５１により取得された第１操作情報あるいは第２操作情報に基づいて、遠隔操作対象であるロボット１００を動作させる制御情報を生成する。例えば、制御情報生成部３５４は、ロボット情報３４１を参照し、操作者による操作に応じた動作パラメータを取得し、取得した動作パラメータに基づいてロボット１００に動作させる制御情報を生成する。ロボット情報３４１は、例えば、操作量に応じた動作パラメータを対応付けた情報である。

【0070】

制御情報生成部３５４は、ロボット操作決定部３５３により決定された操作方法に基づいて、ロボット１００を動作させる制御情報を生成してもよい。こうすることにより、操作者による意図を推定し、推定結果に基づいて、操作者の意図により近い動作をロボット１００に実行させることができる。

【0071】

また、制御情報生成部３５４は、第１操作情報に加えて、第１操作者センサ情報や第１環境センサ値情報に基づいて、ロボット１００を動作させる制御情報を生成してもよい。また、制御情報生成部３５４は、第２操作情報に加えて、第２操作者センサ情報や第２環境センサ値情報に基づいて、ロボット１００を動作させる制御情報を生成してもよい。

【0072】

さらに、制御情報生成部３５４は、第１操作者である新人Ａによる遠隔操作の内容と、第２操作者である熟練者Ｂによる遠隔操作の内容とを合成した結果に基づいて、ロボット１００を動作させる制御情報を生成してもよい。例えば、制御情報生成部３５４は、第１操作情報に応じた動作パラメータと第２操作情報に応じた動作パラメータとの合計値に基づいて、制御情報を生成する。これに限られず、制御情報生成部３５４は、第１操作情報に応じた動作パラメータから第２操作情報に応じた動作パラメータを減算した値に基づいて、制御情報を生成してもよい。なお、第１操作者である新人Ａによる遠隔操作の内容と、第２操作者である熟練者Ｂによる遠隔操作の内容とを合成する手法をこれに限られず、既存の様々な手法を採用することができる。こうすることで、二人以上の操作者による遠隔操作に従って、ロボット１００を動作させることができる。よって、新人Ａの作業をリアルタイムに熟練者Ｂが指導することが可能となる。

【0073】

また、制御情報生成部３５４は、第１操作者による遠隔操作の内容と、第２操作者による遠隔操作の内容とを合成する際に、第１操作者に比べて、第２操作者の操作を優先させた制御情報を生成してもよい。例えば、制御情報生成部３５４は、第１操作者による操作と第２操作者による操作とが同時に実行された場合、第１操作者による操作に基づく動作パラメータに対して第１の重み付けを実行し、第２操作者による操作に基づく動作パラメータに対して第１の重み付けよりも大きい第２重み付けを実行して、制御情報を生成する。第１の重み付けは０であってもよく、第１操作者による操作が制御情報に反映されないようにしてもよい。また、第１操作者による操作方向と第２操作者による操作方向とが異なる場合、制御情報生成部３５４は、第２操作者による操作方向に動作させるように制御情報を生成してもよい。こうすることで、第１操作者による遠隔操作よりも第２操作者による遠隔操作をロボット１００の動作に反映することができ、第１操作者による遠隔操作を第２操作者による遠隔操作に修正することができる。

【0074】

また、制御情報生成部３５４は、第１操作者による遠隔操作の内容と第２操作者による遠隔操作の内容とを合成する際に、第１操作者による遠隔操作タイミングと第２操作者による遠隔操作タイミングとを連続的に実行するようにしてもよい。例えば、制御情報生成部３５４は、第１操作者による遠隔操作に応じた動作を実行した直後に第２操作者による遠隔操作に応じた動作を実行させるような制御情報を生成してもよい。こうすることで、第１操作者による遠隔操作の直後に、第２操作者による遠隔操作に修正することができる。

【0075】

フィードバック情報生成部３５５は、第１操作者である新人Ａにより入力された操作に基づくロボット１００の動作に基づいて、第１操作者による操作内容を、第２コントローラ６０を介して第２操作者に伝達するための第２フィードバック情報を生成する。また、フィードバック情報生成部３５５は、第２操作者である熟練者Ｂにより入力された操作に基づく遠隔操作対象の動作に基づいて、第２操作者による操作内容を、第１コントローラ２０を介して第１操作者に伝達するための第１フィードバック情報を生成する。こうすることで、一方の操作者の遠隔操作によるロボット等の動作を、他方の操作者に伝達することができる。

【0076】

例えば、フィードバック情報生成部３５５は、記憶部３４０のフィードバックパラメータ情報３４２を参照し、制御情報生成部３５４により生成された制御情報に基づいて、遠隔操作対象であるロボット１００の動作内容を第１コントローラ２０にフィードバックする第１フィードバック情報を生成する。また、フィードバック情報生成部３５５は、記憶部３４０のフィードバックパラメータ情報３４２を参照し、制御情報生成部３５４により生成された制御情報に基づいて、遠隔操作対象であるロボット１００の動作内容を第２コントローラ６０にフィードバックする第２フィードバック情報を生成する。フィードバック情報生成部３５５は、フィードバックパラメータ情報３４２を参照し、制御情報に応じたフィードバックパラメータを取得し、取得したフィードバックパラメータに基づいてフィードバック情報を生成する。フィードバックパラメータ情報３４２は、例えば、ロボット１００の動作パラメータや操作量に応じたフィードバックパラメータを対応付けた情報である。

【0077】

例えば、第１操作者によりロボット１００が遠隔操作された場合、フィードバック情報生成部３５５は、第１操作者による遠隔操作の内容をロボット１００の動作を第２操作者にフィードバックするために、遠隔操作されたロボット１００の動作を第２コントローラ６０に再現させるための第２フィードバック情報を生成する。一方、第２操作者によりロボット１００が遠隔操作された場合、フィードバック情報生成部３５５は、第２操作者による遠隔操作の内容をロボット１００の動作を第１操作者にフィードバックするために、遠隔操作されたロボット１００の動作を第１コントローラ２０に再現させるための第１フィードバック情報を生成する。

【0078】

なお、上述した通り、第１操作者による遠隔操作の内容と、第２操作者による遠隔操作の内容との合成結果に基づいて制御情報生成部３５４が制御情報を生成した場合、フィードバック情報生成部３５５は、合成結果に基づくロボット１００の動作を第１操作者と第２操作者にフィードバックするために、遠隔操作されたロボット１００の動作を第１コントローラ２０に再現させるための第１フィードバック情報と、遠隔操作されたロボット１００の動作を第２コントローラ６０に再現させるための第２フィードバック情報を生成してもよい。

【0079】

また、上述の通り、第１操作者による遠隔操作の内容と、第２操作者による遠隔操作の内容とを合成する際に、制御情報生成部３５４が、第１操作者に比べて第２操作者による遠隔操作を優先した制御情報を生成した場合、フィードバック情報生成部３５５は、ロボット１００の動作を、第２操作者に比べて、第１操作者に対して優先的にフィードバックするような第１フィードバック情報を生成してもよい。例えば、フィードバック情報生成部３５５は、第１操作者に対するフィードバックの内容を、第２操作者に対するフィードバックの内容を比べて強調された第１フィードバック情報と第２フィードバック情報とを生成する。フィードバック内容を強調することには、例えば、振動を与えこと、より強い圧で空気圧を与えること、手の動きを拘束することなどが含まれる。

【0080】

また、フィードバック情報生成部３５５は、ロボット１００のセンサ１３０やハンドセンサ１５１により検出された検出結果に基づいて、ロボット１００側において得られる感覚や感触を、第１コントローラ２０を介して第１操作者に伝達するための第３フィードバック情報を生成する。また、フィードバック情報生成部３５５は、ロボット１００のセンサ１３０やハンドセンサ１５１により検出された検出結果に基づいて、ロボット１００側において得られる感覚や感触を、第２コントローラ６０を介して第２操作者に伝達するための第４フィードバック情報を生成する。こうすることで、ロボット１００を用いた遠隔操作ではなく、操作者が実際に遠隔操作対象を操作した場合に得られる感覚や感触を、操作者に伝達することができる。

【0081】

ロボット状態画像生成部３５６は、例えば、第３環境センサ２００の撮影装置３１が撮影した画像に対して画像処理（エッジ検出、二値化、特徴量抽出、画像強調、画像抽出、クラスタリング処理等）を行う。

【0082】

また、ロボット状態画像生成部３５６は、上述した画像処理の結果を示す情報（以下、画像処理結果情報と記す）と、制御情報生成部３５４により生成される制御情報等に基づいて、ロボット１００の手の位置や動きを推定し、操作者の手の動きを推定し、推定した結果に基づいて第１ＨＭＤ１０や第２ＨＭＤ５０に表示させるロボット状態画像を作成する。

【0083】

なお、ロボット状態画像には、ロボット遠隔操作制御装置３００が行おうとしている処理に関する情報、エラー情報とのシステムの状態を示すシステム状態情報が含まれていてもよい。

【0084】

比較画像生成部３５７は、第１操作者により入力された操作と第２操作者により入力された操作との比較結果を示す比較画像の画像データを生成する。比較画像の画像データは、第１操作者のための第１表示部（例えば、第１ＨＭＤ１０の表示部）、あるいは、第２操作者のための第２表示部（例えば、第２ＨＭＤ５０の表示部）に表示させる画像データである。比較画像には、例えば、第１操作者による遠隔操作と第２操作者による遠隔操作との違いを表示する画像や、第１操作者による遠隔操作よりも第２操作者による遠隔操作を強調する画像などが含まれる。こうすることで、第１操作者は、第２操作者により修正された自身の誤操作や、自分の操作と第２操作者による操作との違いなどを画像で確認することができる。

【0085】

通信制御部３５８は、通信部３１０を制御して、ネットワークＮＷを介して第１端末装置４０、第２端末装置８０、ロボット１００、および第３環境センサ２００と通信を行う。

【0086】

＜比較画像の一例＞
図５は、比較画像の一例を示す図である。図示の比較画像は、例えば、操作物体５００を変形する際の遠隔操作を新人Ａと熟練者Ｂとが実行したことにより生成される比較画像の一例である。なお、図示の比較画像には、ロボット１００の左手のロボットアーム１５０Ｌが表示されており、ロボット１００の右手のロボットアームやその他の画像は省略されている。

【0087】

例えば、新人Ａは、ロボット１００を遠隔操作して、ろくろを使った湯のみ作りをする。熟練者Ｂは、ロボット１００を遠隔操作して新人Ａの湯のみ作りをサポートする。操作物体５００は、例えば、ろくろに乗せられた粘土だとする。なお、新人Ａと熟練者Ｂとが実行する作業は、これに限られず、例えば、旋盤加工や、お皿の絵付け、硝子細工作りなど、様々な作業が含まれる。

【0088】

ロボットアーム画像ＬＡ１は、第１タイミングにおいて新人Ａにより遠隔操作されたときのロボットアーム１５０Ｌの状況を示す画像である。ロボットアーム画像ＬＡ２は、第２タイミングにおいて新人Ａにより遠隔操作されたときのロボットアーム１５０Ｌの状況を示す画像である。ロボットアーム画像ＬＢ３は、第３タイミングにおいて熟練者Ｂにより遠隔操作されたときのロボットアーム１５０Ｌの状況を示す画像である。第１タイミングが最も過去のタイミングであり、第２タイミングは第１タイミングの次のタイミングであり、第３タイミングは第２タイミングの次のタイミングである。

【0089】

図示の比較画像からは、第１タイミングや第２タイミングにおける新人Ａの操作を、第３タイミングにおける位置に熟練者Ｂが修正していることがわかる。この比較画像を第１ＨＭＤ１０に表示させることで、新人Ａは自分の遠隔操作と熟練者Ｂによる遠隔操作の違いを簡単に認識することができる。また、この比較画像を第２ＨＭＤ５０に表示させることで、熟練者Ｂは、比較画像を新人Ａと共有しながら口頭で作業のポイントや修正箇所を伝達することができる。

【0090】

なお、図示では、比較画像に新人Ａにより遠隔操作されたときのアーム画像が２つ表示されている例を示したが、これに限られず、１つであってもよい。また、比較画像に熟練者Ｂにより遠隔操作されたときのアーム画像が１つ表示されている例を示したが、これに限られず、２つ以上であってもよい。

【0091】

＜シーケンス図（その１）＞
図６は、ロボット遠隔操作制御システム１における処理の一例を示すシーケンス図である。ここでは、第１操作者が遠隔操作した後、第２操作者が遠隔操作する例であって、操作情報に基づいてロボット１００を制御する例について説明する。

【0092】

まず、第１コントローラ２０は、第１操作者から入力された操作に基づいて第１操作情報を生成し（ステップＳ１）、第１端末装置４０を介して第１操作情報をロボット遠隔操作制御装置３００に送信する（ステップＳ２）。ロボット遠隔操作制御装置３００は、受信した第１操作情報に基づいて制御情報を生成し（ステップＳ３）、ロボット１００に送信する（ステップＳ４）。ロボット１００は、受信した制御情報に基づいて、ロボットアーム１５０などを動作させる（ステップＳ５）。一方、ロボット遠隔操作制御装置３００は、ステップＳ３において生成した制御情報に基づいて、第２フィードバック情報を生成し（ステップＳ６）、生成した第２フィードバック情報を、第２端末装置８０を介して第２コントローラ６０に送信する（ステップＳ７）。第２コントローラ６０は、受信したフィードバック情報に基づいて、ステップＳ１における第１操作者の遠隔操作によるロボット１００の動作を再現する（ステップＳ８）。

【0093】

次いで、第２コントローラ６０は、第２操作者から入力された操作に基づいて第２操作情報を生成し（ステップＳ１１）、第２端末装置８０を介して第２操作情報をロボット遠隔操作制御装置３００に送信する（ステップＳ１２）。ロボット遠隔操作制御装置３００は、受信した第２操作情報に基づいて制御情報を生成し（ステップＳ１３）、ロボット１００に送信する（ステップＳ１４）。ロボット１００は、受信した制御情報に基づいて、ロボットアーム１５０などを動作させる（ステップＳ１５）。一方、ロボット遠隔操作制御装置３００は、ステップＳ１３において生成した制御情報に基づいて、第１フィードバック情報を生成し（ステップＳ１６）、生成した第１フィードバック情報を、第１端末装置４０を介して第１コントローラ２０に送信する（ステップＳ１７）。第１コントローラ２０は、受信したフィードバック情報に基づいて、ステップＳ１１における第２操作者の遠隔操作によるロボット１００の動作を再現する（ステップＳ１８）。

【0094】

＜フローチャート（その１）＞
図７は、ロボット遠隔操作制御装置３００による処理の一例を示すフローチャートである。ここでは、第１操作者が遠隔操作した後、第２操作者が遠隔操作する例であって、操作情報に基づいてロボット１００を制御する例について説明する。また、意図推定部３５２とロボット操作決定部３５３による処理や、ロボット状態画像生成部３５６による処理を省略している。

【0095】

まず、情報取得部３５１は、第１操作情報（あるいは第２操作情報）を取得したか否かを判定する（ステップＳ１０１）。第１操作情報（あるいは第２操作情報）を取得した場合、制御情報生成部３５４は、取得された第１操作情報（あるいは第２操作情報）に基づいてロボット１００を動作させる制御情報を生成し（ステップＳ１０２）、生成した制御情報をロボット１００に送信する（ステップＳ１０３）。

【0096】

次いで、フィードバック情報生成部３５５は、第１操作情報に基づいて制御情報が生成された場合には第２フィードバック情報を生成し、第２操作情報に基づいて制御情報が生成された場合には第１フィードバック情報を生成する（ステップＳ１０４）。そして、通信制御部３５８は、第２フィードバック情報を第２コントローラ６０に送信し、第１フィードバック情報を第１コントローラ２０に送信する（ステップＳ１０５）。

【0097】

次いで、比較画像生成部３５７は、第１操作情報に基づいて制御情報が生成された場合であって、その前に第２操作情報に基づいて制御情報が生成された場合には、これら第１操作者により入力された操作と第２操作者により入力された操作との比較結果を示す第１比較画像の画像データを生成する（ステップＳ１０６）。一方、第２操作情報に基づいて制御情報が生成された場合であって、その前に第１操作情報に基づいて制御情報が生成された場合、比較画像生成部３５７は、これら第２操作者により入力された操作と第１操作者により入力された操作との比較結果を示す第２比較画像の画像データを生成する。そして、通信制御部３５８は、第１比較画像の画像データを第１ＨＭＤ１０に送信し、第２比較画像の画像データを第２ＨＭＤ５０に送信する（ステップＳ１０７）。

【0098】

＜シーケンス図（その２）＞
図８は、ロボット遠隔操作制御システム１における処理の他の例を示すシーケンス図である。ここでは、第１操作者による遠隔操作と第２操作者による遠隔操作とが同じタイミングでなされる例であって、操作情報に基づいてロボット１００を制御する例について説明する。同じタイミングには、同時に限られず、数秒間の時間差があるものも含まれる。

【0099】

まず、第１コントローラ２０は、第１操作者から入力された操作に基づいて第１操作情報を生成し（ステップＳ２１）、第１端末装置４０を介して第１操作情報をロボット遠隔操作制御装置３００に送信する（ステップＳ２２）。同じタイミングで、第２コントローラ６０は、第２操作者から入力された操作に基づいて第２操作情報を生成し（ステップＳ２３）、第２端末装置８０を介して第２操作情報をロボット遠隔操作制御装置３００に送信する（ステップＳ２４）。

【0100】

次いで、ロボット遠隔操作制御装置３００は、受信した第１操作情報と第２操作情報に基づいて、第１操作者による遠隔操作の内容と第２操作者による遠隔操作の内容とを合成した制御情報を生成し（ステップＳ２５）、ロボット１００に送信する（ステップＳ２６）。ロボット１００は、受信した制御情報に基づいて、ロボットアーム１５０などを動作させる（ステップＳ２７）。

【0101】

次いで、ロボット遠隔操作制御装置３００は、ステップＳ２５において生成した制御情報に基づいて、第２フィードバック情報を生成し（ステップＳ２８）、生成した第２フィードバック情報を、第２端末装置８０を介して第２コントローラ６０に送信する（ステップＳ２９）。第２コントローラ６０は、受信したフィードバック情報に基づいて、ステップＳ２１における第１操作者の遠隔操作によるロボット１００の動作を再現する（ステップＳ３０）。

【0102】

また、ロボット遠隔操作制御装置３００は、ステップＳ２５において生成した制御情報に基づいて、第１フィードバック情報を生成し（ステップＳ３１）、生成した第１フィードバック情報を、第１端末装置４０を介して第１コントローラ２０に送信する（ステップＳ３２）。第１コントローラ２０は、受信したフィードバック情報に基づいて、ステップＳ２３における第２操作者の遠隔操作によるロボット１００の動作を再現する（ステップＳ３３）。

【0103】

＜フローチャート（その２）＞
図９は、ロボット遠隔操作制御装置３００による処理の他の例を示すフローチャートである。ここでは、第１操作者による遠隔操作と第２操作者による遠隔操作とが同じタイミングでなされる例であって、操作情報に基づいてロボット１００を制御する例について説明する。また、意図推定部３５２とロボット操作決定部３５３による処理や、ロボット状態画像生成部３５６による処理を省略している。

【0104】

まず、情報取得部３５１は、第１操作情報および第２操作情報を取得したか否かを判定する（ステップＳ２０１）。第１操作情報および第２操作情報を取得した場合、制御情報生成部３５４は、取得された第１操作情報および第２操作情報に基づいて、第１操作者による遠隔操作の内容と第２操作者による遠隔操作の内容とを合成した制御情報を生成し（ステップＳ２０２）、生成した制御情報をロボット１００に送信する（ステップＳ２０３）。

【0105】

次いで、フィードバック情報生成部３５５は、ステップＳ２０２において生成された制御情報に基づいて第１フィードバック情報および第２フィードバック情報を生成する（ステップＳ２０４）。そして、通信制御部３５８は、第１フィードバック情報を第１コントローラ２０に送信し、第２フィードバック情報を第２コントローラ６０に送信する（ステップＳ２０５）。

【0106】

次いで、比較画像生成部３５７は、ステップＳ２０１において取得した第１操作情報と第２操作情報とに基づいて比較画像の画像データを生成する（ステップＳ２０６）。そして、通信制御部３５８は、生成した比較画像の画像データを第１ＨＭＤ１０および第２ＨＭＤ５０に送信する（ステップＳ２０７）。

【0107】

上述した実施形態によれば、現実の物体あるいは仮想世界の仮想物体である遠隔操作対象を操作者が遠隔操作する遠隔操作制御システムにおいて、遠隔操作対象に対する操作を受け付ける第１コントローラ２０を介して第１操作者により入力された操作を示す第１操作情報と、遠隔操作対象に対する操作を受け付ける第２コントローラ６０を介して第２操作者により入力された操作を示す第２操作情報と、を取得する情報取得部３５１と、情報取得部３５１が取得した第１操作情報と第２操作情報とに基づいて、遠隔操作対象を動作させる制御情報を生成する制御情報生成部３５４と、制御情報に基づいて、遠隔操作対象の動作内容を第１コントローラ２０にフィードバックする第１フィードバック情報を生成し、遠隔操作対象の動作内容を第２コントローラ６０にフィードバックする第２フィードバック情報を生成するフィードバック情報生成部３５５と、を備えることにより、同一の遠隔操作対象に対する他の操作者による操作を体感することができる。

【0108】

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
現実の物体あるいは仮想世界の仮想物体である遠隔操作対象を操作者が遠隔操作する遠隔操作制御システムにおいて、
遠隔操作対象に対する操作を受け付ける第１コントローラ２０を介して第１操作者により入力された操作を示す第１操作情報と、遠隔操作対象に対する操作を受け付ける第２コントローラ６０を介して第２操作者により入力された操作を示す第２操作情報と、を取得させ、
取得した第１操作情報と第２操作情報とに基づいて、遠隔操作対象を動作させる制御情報を生成させ、
制御情報に基づいて、遠隔操作対象の動作内容を第１コントローラ２０にフィードバックする第１フィードバック情報を生成し、遠隔操作対象の動作内容を第２コントローラ６０にフィードバックする第２フィードバック情報を生成させる、
ように構成されている、遠隔操作制御システム。

【0109】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【0110】

例えば、ロボット遠隔操作制御装置３００の一部はロボット１００に搭載されていてもよい。例えば、処理部３５０や記憶部３４０の機能をロボット１００が実行してもよい。

【符号の説明】

【0111】

１…遠隔操作制御システム
１０…第１ＨＭＤ
２０…第１コントローラ
３０…第１環境センサ
４０…第１端末装置
５０…第２ＨＭＤ
６０…第２コントローラ
７０…第２環境センサ
８０…第２端末装置
１００…ロボット
２００…第３環境センサ
３００…ロボット遠隔操作制御装置
３５１…情報取得部
３５２…意図推定部
３５３…ロボット操作決定部
３５４…制御情報生成部
３５５…フィードバック情報生成部
３５６…ロボット状態画像生成部
３５７…比較画像生成部
３５８…通信制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】