特許 7239916 遠隔操作システム、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-07

(45)【発行日】2023-03-15

(54)【発明の名称】遠隔操作システム、情報処理方法、及びプログラム

(51)【国際特許分類】

   B25J 3/00 20060101AFI20230308BHJP

   G06F 3/01 20060101ALI20230308BHJP

【ＦＩ】

B25J3/00 B

G06F3/01 510

G06F3/01 560

【請求項の数】 11

(21)【出願番号】P 2020521223

(86)(22)【出願日】2019-05-20

(86)【国際出願番号】 JP2019019930

(87)【国際公開番号】W WO2019225548

(87)【国際公開日】2019-11-28

【審査請求日】2022-04-06

(31)【優先権主張番号】P 2018097145

(32)【優先日】2018-05-21

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】517135833

【氏名又は名称】Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社

(74)【代理人】

【識別番号】100134094

【弁理士】

【氏名又は名称】倉持 誠

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】ロッド ヤン

(72)【発明者】

【氏名】チェン ホセ エンリケ

(72)【発明者】

【氏名】佐野 元紀

【審査官】仁木 学

(56)【参考文献】

【文献】米国特許出願公開第２０１３／０２１１５９２（ＵＳ，Ａ１）

【文献】国際公開第２０１８／０６１６８３（ＷＯ，Ａ１）

【文献】特開２００３－０５３６８５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ ３／００

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

操作者の姿勢の変化に連動して動作するスレーブロボットと、
前記操作者の身体の姿勢を示す信号を取得するキャプチャ装置と、
制御装置と、を備え、
前記制御装置は、
前記スレーブロボットから当該スレーブロボットの姿勢を示す信号を受信するとともに、前記キャプチャ装置から前記操作者の身体の姿勢を示す信号を受信する受信制御部と、
前記スレーブロボットの姿勢と前記操作者の姿勢との差異を示す姿勢誤差を取得する姿勢比較部と、
前記姿勢誤差が所定の閾範囲内となることを条件として、前記操作者の姿勢の変化に基づいて生成された前記スレーブロボットを動作させるための動作信号を前記スレーブロボットに送信する動作連結部と、
前記操作者の動きと前記スレーブロボットの動きとの同期を開始する前に前記姿勢誤差を小さくするために前記スレーブロボットが動いている間、前記操作者に姿勢を静止していることを促すための情報を前記操作者に提示する連結情報提示部と、を備える、
遠隔操作システム。

【請求項2】

前記遠隔操作システムは、前記操作者の頭部に取り付けられたとき映像を前記操作者に提示するためのヘッドマウントディスプレイをさらに備え、
前記制御装置は、前記ヘッドマウントディスプレイに表示させる映像を制御する映像制御部をさらに備え、
前記映像制御部は、前記動作連結部が前記動作信号を前記スレーブロボットに送信する前に、前記スレーブロボットの姿勢と前記操作者の姿勢とを合わせるために前記操作者が取るべき姿勢に誘導するためのガイド映像を生成する、
請求項１に記載の遠隔操作システム。

【請求項3】

前記映像制御部は、前記動作連結部が前記スレーブロボットに前記動作信号を送信している間は、前記スレーブロボットが備える撮像素子が撮像した映像を前記ヘッドマウントディスプレイに表示させる、
請求項２に記載の遠隔操作システム。

【請求項4】

前記映像制御部は、前記スレーブロボットの頭部に備えられた撮像素子が撮像する映像が前記ヘッドマウントディスプレイに表示された場合に前記操作者によって前記スレーブロボットの手部が知覚される位置に仮想的な連結用マーカが表示されるように、前記ガイド映像を生成する、
請求項２又は３に記載の遠隔操作システム。

【請求項5】

前記遠隔操作システムは、前記操作者の手部に取り付けられたとき、前記スレーブロボットの手部に備えられた触覚センサが取得した触覚情報を前記操作者の手部に提示するための触覚提示装置をさらに備え、
前記制御装置は、前記触覚提示装置を動作させるための触覚提示信号を生成する触覚信号生成部をさらに備え、
前記触覚信号生成部は、前記映像における前記操作者の手部の位置と前記連結用マーカの表面の位置とが重なることを条件として、前記触覚提示信号を生成する、
請求項４に記載の遠隔操作システム。

【請求項6】

前記映像制御部は、前記操作者の動作と前記スレーブロボットの動作との同期を切断するための仮想的な切断用マーカを生成し、
前記動作連結部は、前記映像における前記操作者の手部の位置と前記切断用マーカの表面の位置とが重なることを条件として、前記スレーブロボットへの前記動作信号の送信を停止する、
請求項２から５のいずれか一項に記載の遠隔操作システム。

【請求項7】

前記動作連結部は、前記姿勢誤差が所定の閾範囲内となる状態が所定の期間経過することを条件として、前記動作信号を前記スレーブロボットに送信する、
請求項１から６のいずれか一項に記載の遠隔操作システム。

【請求項8】

前記動作連結部は、前記姿勢比較部が取得した姿勢誤差が所定の閾範囲内となるように、前記スレーブロボットを動作させるための動作信号を前記スレーブロボットに送信する、
請求項１に記載の遠隔操作システム。

【請求項9】

前記スレーブロボットは、前記操作者の頭部及び手部にそれぞれ対応する頭部及び手部を少なくとも備える人型ロボットであり、
前記姿勢比較部は、前記スレーブロボットと前記操作者とを仮想的に重ね合わせたときに、前記スレーブロボットの頭部の位置と前記操作者の頭部の位置との差異と前記スレーブロボットの手部の位置と前記操作者の手部の位置との差異との和を、前記姿勢誤差として取得する、
請求項１から８のいずれか一項に記載の遠隔操作システム。

【請求項10】

操作者の姿勢の変化に連動して動作するスレーブロボットと、前記操作者の身体の姿勢を示す信号を取得するキャプチャ装置と、制御装置と、を備える遠隔操作システムにおける前記制御装置が備えるプロセッサが、
前記スレーブロボットから当該スレーブロボットの姿勢を示す信号を受信するステップと、
前記キャプチャ装置から前記操作者の身体の姿勢を示す信号を受信するステップと、
前記スレーブロボットの姿勢と前記操作者の姿勢との差異を示す姿勢誤差を取得するステップと、
前記姿勢誤差が所定の閾範囲内となることを条件として、前記操作者の姿勢の変化に基づいて生成された前記スレーブロボットを動作させるための動作信号を前記スレーブロボットに送信するステップと、
前記操作者の動きと前記スレーブロボットの動きとの同期を開始する前に前記姿勢誤差を小さくするために前記スレーブロボットが動いている間、前記操作者に姿勢を静止していることを促すための情報を前記操作者に提示するステップと、
を実行する情報処理方法。

【請求項11】

操作者の姿勢の変化に連動して動作するスレーブロボットと、前記操作者の身体の姿勢を示す信号を取得するキャプチャ装置と、制御装置と、を備える遠隔操作システムにおける前記制御装置に、
前記スレーブロボットから当該スレーブロボットの姿勢を示す信号を受信する機能と、
前記キャプチャ装置から前記操作者の身体の姿勢を示す信号を受信する機能と、
前記スレーブロボットの姿勢と前記操作者の姿勢との差異を示す姿勢誤差を取得する機能と、
前記姿勢誤差が所定の閾範囲内となることを条件として、前記操作者の姿勢の変化に基づいて生成された前記スレーブロボットを動作させるための動作信号を前記スレーブロボットに送信する機能と、
前記操作者の動きと前記スレーブロボットの動きとの同期を開始する前に前記姿勢誤差を小さくするために前記スレーブロボットが動いている間、前記操作者に姿勢を静止していることを促すための情報を前記操作者に提示する機能と、
を実現させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は遠隔操作システム、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

操作者とは離れた場所に存在するスレーブロボット（Slave Robot）を操作者が遠隔操作することによって、操作者が実際には存在しない場所に存在したとするならば得られる視覚、聴覚、及び触覚等の感覚を操作者に経験させるための技術が提案されている（例えば、非特許文献１を参照）。この技術は、telepresence（テレプレゼンス）やtelexistence（本願出願人の登録商標、テレイグジスタンス）等とも呼ばれている。非特許文献１における遠隔操作システムにおいて、スレーブロボットは人型のロボットであり、操作者の身体（頭部、胴部、腕部、及び手部等）の動きと同期して、スレーブロボットの対応する部位が動作する。

【0003】

スレーブロボットの操作者は、スレーブロボットの視界、すなわちスレーブロボットが備える撮像素子がとらえた映像を共有するために、遮蔽型のヘッドマウントディスプレイを装着する。操作者の動きとスレーブロボットとの同期が開始すると、操作者の視界も、ヘッドマウントディスプレイを介してスレーブロボットの視界と同期する。

【先行技術文献】

【非特許文献】

【0004】

【文献】Fernando, C. L., Furukawa, M., Kurogi, T., Kamuro, S., Sato, K., Minamizawa, and S. Tachi, “Design of TELESAR v for transferring bodily consciousness in telexistence”, IEEE International Conference on Intelligent Robots and Systems 2012, pp. 5112-5118.

【発明の概要】

【発明が解決しようとする課題】

【0005】

操作者の動きとスレーブロボットとの同期が開始したとき、操作者自身の身体の動きとヘッドマウントディスプレイに表示されるスレーブロボットの部位の動きとがずれていると、操作者は感覚の不一致によってスレーブロボットの操作に違和感が生じやすくなる。

【0006】

本発明はこれらの点に鑑みてなされたものであり、遠隔操作システムのスレーブロボットの動作と操作者の動作との同期を開始する際に操作者が感じる感覚の不一致を低減する技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の第１の態様は、遠隔操作システムである。このシステムは、操作者の姿勢の変化に連動して動作するスレーブロボットと、前記操作者の身体の姿勢を示す信号を取得するキャプチャ装置と、制御装置と、を備える。ここで、前記制御装置は、前記スレーブロボットから当該スレーブロボットの姿勢を示す信号を受信するとともに、前記キャプチャ装置から前記操作者の身体の姿勢を示す信号を受信する受信制御部と、前記スレーブロボットの姿勢と前記操作者の姿勢との差異を示す姿勢誤差を取得する姿勢比較部と、前記姿勢誤差が所定の閾範囲内となることを条件として、前記操作者の姿勢の変化に基づいて生成された前記スレーブロボットを動作させるための動作信号を前記スレーブロボットに送信する動作連結部と、を備える。

【0008】

前記制御装置は、前記動作連結部が前記動作信号を前記スレーブロボットに送信する前に、前記スレーブロボットの姿勢と前記操作者の姿勢とを合わせるために前記操作者が取るべき姿勢に誘導するための情報を前記操作者に提示する連結情報提示部をさらに備えてもよい。

【0009】

前記遠隔操作システムは、前記操作者の頭部に取り付けられたとき映像を前記操作者に提示するためのヘッドマウントディスプレイをさらに備えてもよく、前記制御装置は、前記ヘッドマウントディスプレイに表示させる映像を制御する映像制御部をさらに備えてもよく、前記映像制御部は、前記動作連結部が前記動作信号を前記スレーブロボットに送信する前に、前記スレーブロボットの姿勢と前記操作者の姿勢とを合わせるために前記操作者が取るべき姿勢に誘導するためのガイド映像を生成してもよい。

【0010】

前記映像制御部は、前記動作連結部が前記スレーブロボットに前記動作信号を送信している間は、前記スレーブロボットが備える撮像素子が撮像した映像を前記ヘッドマウントディスプレイに表示させてもよい。

【0011】

前記映像制御部は、前記スレーブロボットの頭部に備えられた撮像素子が撮像する映像が前記ヘッドマウントディスプレイに表示された場合に前記操作者によって前記スレーブロボットの手部が知覚される位置に仮想的な連結用マーカが表示されるように、前記ガイド映像を生成してもよい。

【0012】

前記遠隔操作システムは、前記操作者の手部に取り付けられたとき、前記スレーブロボットの手部に備えられた触覚センサが取得した触覚情報を前記操作者の手部に提示するための触覚提示装置をさらに備えてもよく、前記制御装置は、前記触覚提示装置を動作させるための触覚提示信号を生成する触覚信号生成部をさらに備えてもよく、前記触覚信号生成部は、前記映像における前記操作者の手部の位置と前記連結用マーカの表面の位置とが重なることを条件として、前記触覚提示信号を生成してもよい。

【0013】

前記映像制御部は、前記操作者の動作と前記スレーブロボットの動作との同期を切断するための仮想的な切断用マーカを生成してもよく、前記動作連結部は、前記映像における前記操作者の手部の位置と前記切断用マーカの表面の位置とが重なることを条件として、前記スレーブロボットへの前記動作信号の送信を停止してもよい。

【0014】

前記動作連結部は、前記姿勢誤差が所定の閾範囲内となる状態が所定の期間経過することを条件として、前記動作信号を前記スレーブロボットに送信してもよい。

【0015】

前記動作連結部は、前記姿勢比較部が取得した姿勢誤差が所定の閾範囲内となるように、前記スレーブロボットを動作させるための動作信号を前記スレーブロボットに送信してもよい。

【0016】

前記スレーブロボットは、前記操作者の頭部及び手部にそれぞれ対応する頭部及び手部を少なくとも備える人型ロボットであってもよく、前記姿勢比較部は、前記スレーブロボットと前記操作者とを仮想的に重ね合わせたときに、前記スレーブロボットの頭部の位置と前記操作者の頭部の位置との差異と前記スレーブロボットの手部の位置と前記操作者の手部の位置との差異との和を、前記姿勢誤差として取得してもよい。

【0017】

本発明の第２の態様は、操作者の姿勢の変化に連動して動作するスレーブロボットと、前記操作者の身体の姿勢を示す信号を取得するキャプチャ装置と、制御装置と、を備える遠隔操作システムにおける前記制御装置が備えるプロセッサが実行する情報処理方法である。この方法において、前記プロセッサが、前記スレーブロボットから当該スレーブロボットの姿勢を示す信号を受信するステップと、前記キャプチャ装置から前記操作者の身体の姿勢を示す信号を受信するステップと、前記スレーブロボットの姿勢と前記操作者の姿勢との差異を示す姿勢誤差を取得するステップと、前記姿勢誤差が所定の閾範囲内となることを条件として、前記操作者の姿勢の変化に基づいて生成された前記スレーブロボットを動作させるための動作信号を前記スレーブロボットに送信するステップと、を実行する。

【0018】

本発明の第３の態様は、プログラムである。このプログラムは、操作者の姿勢の変化に連動して動作するスレーブロボットと、前記操作者の身体の姿勢を示す信号を取得するキャプチャ装置と、制御装置と、を備える遠隔操作システムにおける前記制御装置に、前記スレーブロボットから当該スレーブロボットの姿勢を示す信号を受信する機能と、前記キャプチャ装置から前記操作者の身体の姿勢を示す信号を受信する機能と、前記スレーブロボットの姿勢と前記操作者の姿勢との差異を示す姿勢誤差を取得する機能と、前記姿勢誤差が所定の閾範囲内となることを条件として、前記操作者の姿勢の変化に基づいて生成された前記スレーブロボットを動作させるための動作信号を前記スレーブロボットに送信する機能と、を実現させる。

【0019】

なお、以上の構成要素の任意の組合せ、本発明の少なくとも一部の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。このプログラムの少なくとも一部をアップデートするために、このプログラムを記録したコンピュータ読み取り可能な記録媒体が提供されてもよく、また、このプログラムが通信回線で伝送されてもよい。

【発明の効果】

【0020】

本発明によれば、遠隔操作システムのスレーブロボットの動作と操作者の動作との同期を開始する際に操作者が感じる感覚の不一致を低減することができる。

【図面の簡単な説明】

【0021】

【図1】遠隔操作システムの構成要素の外観を模式的に示す図である。

【図2】遠隔操作システムの構成要素と、各構成要素間でやり取りされる情報の流れを模式的に示す図である。

【図3】実施の形態に係る制御装置の機能構成を模式的に示す図である。

【図4】実施の形態に係る姿勢比較部が取得する姿勢誤差を説明するための図である。

【図5】実施の形態に係る映像制御部が生成するガイド映像の一例を示す図である。

【図6】スレーブロボットの動作と操作者の動作との同期を切断するための仮想的な切断用マーカの一例を示す図である。

【図7】スレーブロボットの動作と操作者の動作との同期開始時及び同期終了時における制御装置の動作を表形式で示す図である。

【図8】実施の形態に係る制御装置が実行する同期開始時の処理の流れを説明するためのフローチャートである。

【発明を実施するための形態】

【0022】

＜遠隔操作システムの概要＞
図１は、遠隔操作システムＳの構成要素の外観を模式的に示す図である。また、図２は、遠隔操作システムＳの構成要素と、各構成要素間でやり取りされる情報の流れを模式的に示す図である。以下、図１及び図２を参照して、遠隔操作システムＳの概要についてまず説明する。

【0023】

図１に示すように、遠隔操作システムＳを利用する操作者Ｕは、種々の提示装置２（ヘッドマウントディスプレイ２ａ、触覚提示装置２ｂ、ヘッドフォン２ｃ、及び撮像素子２ｄ）を装着する。操作者Ｕの身体の動きはキャプチャ装置４によってトラッキングされる。キャプチャ装置４は、例えば赤外線又は可視光を用いた既知のモーションキャプチャ装置であり、操作者Ｕの身体に取り付けられたトラッキング用のマーカを撮像することによって操作者Ｕの身体の姿勢を示す信号を取得して制御装置１に送信する。

【0024】

スレーブロボットＲは種々のセンサ３（撮像素子３ａ、触覚センサ３ｂ、及びマイクロフォン３ｃ）を備えており、各センサ３が取得したセンサ情報は制御装置１に送信される。なお、触覚センサ３ｂは、温度センサ３１、加速度センサ３２、及び圧力センサ３３を含む。

【0025】

図１に示すように、スレーブロボットＲは人の形を模した機械である。このため、撮像素子３ａはスレーブロボットＲの目に相当する個所に配置されている。同様に、触覚センサ３ｂはスレーブロボットＲの指先に相当する個所に配置され、マイクロフォン３ｃはスレーブロボットＲの耳に相当する個所に配置されている。

【0026】

制御装置１は、通信ネットワークＮ上に存在するクラウドサーバである。図２に示すように、制御装置１は操作者Ｕの身体の姿勢を示す信号に基づいて操作者Ｕの姿勢の変化を解析する。制御装置１は、操作者Ｕの姿勢の変化に基づいて、スレーブロボットＲを動作させるための動作信号を生成し、スレーブロボットＲに送信する。スレーブロボットＲは、首部、肩部、肘部等の各部にアクチュエータを備えており、制御装置１が生成する動作信号はこれらのアクチュエータを動作させるための信号である。これにより、スレーブロボットＲは、操作者Ｕの姿勢の変化に連動して動くことができる。

【0027】

制御装置１は、スレーブロボットＲが備えるセンサ３から取得したセンサ情報に基づいて、操作者Ｕが装着している提示装置２を動作させるための提示信号を生成し、提示装置２に送信する。例えば、撮像素子３ａが撮像して取得した画像情報は、制御装置１によってヘッドマウントディスプレイ２ａに提示させる画像信号に変換される。これにより、操作者Ｕは、スレーブロボットＲの「目」である撮像素子３ａがとらえた映像をヘッドマウントディスプレイ２ａのモニタ越しに見ることができる。図１は、ヘッドマウントディスプレイ２ａのモニタに、スレーブロボットＲの右手と、スレーブロボットＲの右手が保持する接触対象Ｏである立方体とが映されている様子を示している。

【0028】

同様に、触覚センサ３ｂが取得した温度、振動、及び圧力を含む触覚情報は、制御装置１によって触覚提示装置２ｂを動作させるための触覚提示信号に変換される。これにより、操作者Ｕは、スレーブロボットＲの「指先」がとらえた触覚を触覚提示装置２ｂを介して感じることができる。

【0029】

実施の形態に係る遠隔操作システムＳにおいて、ヘッドマウントディスプレイ２ａは遮蔽型のヘッドマウントディスプレイである。このため、操作者Ｕがヘッドマウントディスプレイ２ａを介して撮像素子３ａが撮像した映像を観察すると、あたかも操作者ＵがスレーブロボットＲの存在場所にいるかのような没入感を得ることができる。

【0030】

一方で、ひとたび操作者Ｕがヘッドマウントディスプレイ２ａを装着すると、操作者Ｕは自身の周囲を見ることができなくなる。ヘッドマウントディスプレイ２ａはキャプチャ装置の一部としても動作するため、操作者Ｕは、操作者Ｕの動きとスレーブロボットＲの動きとを同期する前にヘッドマウントディスプレイ２ａを装着する必要がある。操作者Ｕは、制御装置１からヘッドマウントディスプレイ２ａに画像信号が送られてくる前にヘッドマウントディスプレイ２ａを装着することになるので、操作者Ｕの動きとスレーブロボットＲの動きとの同期が完了するまで操作者Ｕは周囲を見ることができず不便である。

【0031】

そこで、図１に示すように、ヘッドマウントディスプレイ２ａは、操作者Ｕに装着されたときに操作者Ｕの視線方向を撮像するための撮像素子２ｄを備えている。これにより、操作者Ｕは、ヘッドマウントディスプレイ２ａを装着した状態で周囲を観察することができる。

【0032】

このように、スレーブロボットＲは、操作者Ｕの姿勢の変化に連動して動作するとともに、操作者Ｕが装着する提示装置２を動作させる信号を取得するセンサ群を備える。操作者Ｕは、実施の形態に係る遠隔操作システムＳを用いることにより、実際には存在しない場所であるスレーブロボットＲの存在場所に存在したとするならば得られる視覚、聴覚、及び触覚等の感覚を経験することができる。

【0033】

＜実施の形態に係る制御装置の機能構成＞
以上を踏まえ、実施の形態に係る制御装置１について説明する。
図３は、実施の形態に係る制御装置１の機能構成を模式的に示す図である。制御装置１は、通信部１０、記憶部１１、及び制御部１２を備える。

【0034】

通信部１０は、通信ネットワークＮを介して操作者Ｕが備える提示装置２、スレーブロボットＲが備えるセンサ３、及びキャプチャ装置４との間でデータを送受信する。記憶部１１は、制御装置１を実現するコンピュータのＢＩＯＳ（Basic Input Output System）等を格納するＲＯＭ（Read Only Memory）や制御装置１の作業領域となるＲＡＭ（Random Access Memory）、ＯＳ（Operating System）やアプリケーションプログラム、当該アプリケーションプログラムの実行時に参照される各種データベースを含む種々の情報を格納するＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の大容量記憶装置である。

【0035】

制御部１２は、制御装置１のＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサであり、記憶部１１に記憶されたプログラムを実行することによって受信制御部１２０、送信制御部１２１、姿勢比較部１２２、動作連結部１２３、映像制御部１２４、触覚信号生成部１２５、連結情報提示部１２６、及び音声制御部１２７として機能する。

【0036】

なお、制御装置１は、例えばクラウドコンピューティングシステムのように複数のプロセッサやメモリ等の計算リソースによって実現されてもよい。この場合、制御部１２を構成する各部は、複数の異なるプロセッサの中の少なくともいずれかのプロセッサがプログラムを実行することによって実現される。

【0037】

受信制御部１２０及び送信制御部１２１は、いずれも例えばＬＡＮ（Local Area Network）コントローラによって実現される。受信制御部１２０は、通信部１０を介して制御装置１の外部の装置からデータを受信する。また、送信制御部１２１は、通信部１０を介して制御装置１の外部の装置にデータを送信する。以下、受信制御部１２０又は送信制御部１２１が通信部１０を介して外部の装置とデータを送受信することを前提として、単に「受信制御部１２０がデータを受信する」、「送信制御部１２１がデータを送信する」のように記載する。

【0038】

受信制御部１２０は、スレーブロボットＲからスレーブロボットＲの姿勢を示す信号を受信する。また、受信制御部１２０は、キャプチャ装置４から操作者Ｕの身体の姿勢を示す信号を受信する。姿勢比較部１２２は、スレーブロボットＲの姿勢と操作者Ｕの姿勢との差異を示す姿勢誤差を取得する。具体的には、姿勢比較部１２２は、スレーブロボットＲの姿勢を示す信号からスレーブロボットＲの姿勢を算出し、操作者Ｕの身体の姿勢を示す信号から操作者Ｕの身体の姿勢を算出する。続いて、姿勢比較部１２２は、算出したスレーブロボットＲの姿勢と操作者Ｕの身体の姿勢とに基づいてスレーブロボットＲの姿勢と操作者Ｕの姿勢との差異を示す姿勢誤差を算出することで取得する。

【0039】

図４（ａ）－（ｂ）は、実施の形態に係る姿勢比較部１２２が取得する姿勢誤差を説明するための図である。具体的には、図４（ａ）は、操作者ＵとスレーブロボットＲとのそれぞれに設定された７つの特徴点を示す図である。図４（ａ）において、四角で囲った数字は操作者Ｕに設定された特徴点を示し、丸で囲った数字はスレーブロボットＲに設定された特徴点を示す。

【0040】

実施の形態に係るスレーブロボットＲは、操作者Ｕの頭部及び手部にそれぞれ対応する頭部及び手部を少なくとも備える人型ロボットである。操作者Ｕに設定された特徴点とスレーブロボットＲに設定された特徴点とにおいて、同一の数字は対応する特徴点を示す。例えば、四角で囲われた「１」は、操作者Ｕの右目に設定された特徴点であり、丸で囲われた「１」はスレーブロボットＲの右側に備えられた撮像素子３ａに設定された特徴点である。以下、操作者Ｕに設定された特徴点とスレーブロボットＲに設定された特徴点とを特に区別しない場合、「特徴点１」のように、各特徴点をその特徴点に割り当てた数字で表すことがある。

【0041】

なお、制御装置１は、キャプチャ装置４が操作者Ｕをトラッキングした情報を取得して解析することで、操作者Ｕに設定された各特徴点の位置を取得する。また、制御装置１は、スレーブロボットＲの各アクチュエータの動作状態（例えば、モータの回転角等）を取得して解析することで、スレーブロボットＲに設定された各特徴点の位置を取得する。

【0042】

図４（ｂ）は、操作者Ｕに設定された特徴点とスレーブロボットＲに設定された特徴点とを重ね合わせた結果を示す図であり、操作者Ｕの目に設定され特徴点に、スレーブロボットＲに設定された特徴点を重ねた場合の例を示す図である。図４（ｂ）は、特徴点１、特徴点２、特徴点３、特徴点４、及び特徴点５はおおむね重なっているが、「手部」の特徴点である特徴点６と特徴点７とはずれている様子を図示している。図４（ｂ）では、操作者Ｕに設定された特徴点と、その特徴点に対応するスレーブロボットＲの特徴点とのずれを差異Ｅで示している。

【0043】

操作者Ｕの動きとスレーブロボットＲの動きとの同期が開始されたとき、操作者Ｕの視線方向とスレーブロボットＲの視線方向とが合っていることは、操作者Ｕが感じる感覚の不一致を低減する上で好ましい。操作者Ｕの動きとスレーブロボットＲの動きとの同期が開始されたときに視線方向がずれていると、操作者Ｕは酔いやすくなる傾向があるからである。

【0044】

また、操作者Ｕの動きとスレーブロボットＲの動きとの同期が開始されたとき、操作者Ｕの手部の位置とスレーブロボットＲの手部の位置とが合っていることも、操作者Ｕが感じる感覚の不一致を低減する上で好ましい。手部は、スレーブロボットＲの操作時に操作者Ｕの動きが大きい部位であるため、操作者Ｕの手部の位置とスレーブロボットＲの手部の位置とがずれていると遠近感に関する間隔の不一致が大きくなり、操作者ＵはスレーブロボットＲの操作に違和感を感じやすくなる傾向があるからである。

【0045】

以上を踏まえ、姿勢比較部１２２は、スレーブロボットＲと操作者Ｕとを仮想的に重ね合わせたときに、少なくともスレーブロボットＲの頭部の位置と操作者Ｕの頭部の位置との差異Ｅと、スレーブロボットＲの手部の位置と操作者Ｕの手部の位置との差異Ｅとの和あるいは各部ごとの差異を重みづけしたものの和や積などを、姿勢誤差として取得する。この他、姿勢比較部１２２は、スレーブロボットＲの頭部の向きと操作者Ｕの頭部の向きとの差異、及びスレーブロボットＲの手部の向きと操作者Ｕの手部の向きとの差異を、姿勢誤差に加えてもよい。また、頭部や手部のみでなく、腕部など他の身体部位の姿勢誤差を加えても良い。

【0046】

図３の説明に戻る。動作連結部１２３は、姿勢比較部１２２が取得した姿勢誤差が所定の閾範囲内となることを条件として、操作者Ｕの姿勢の変化に基づいて生成されたスレーブロボットＲを動作させるための動作信号を、スレーブロボットＲに送信する。なお、動作連結部１２３が動作信号をスレーブロボットＲに送信することは、操作者Ｕの動きとスレーブロボットＲの動きとの同期が開始することを意味する。

【0047】

ここで、「所定の閾範囲」とは、スレーブロボットＲに動作信号の送信を開始するか否かを判定するために、動作連結部１２３が参照する「姿勢一致判定用閾範囲」である。姿勢一致判定用閾範囲が狭いほど、操作者Ｕの動きとスレーブロボットＲの動きとの同期を開始したときに操作者Ｕが感覚の不一致を感じにくくなる。一方、姿勢一致判定用閾範囲が狭いほど、操作者Ｕの姿勢とスレーブロボットＲの姿勢との一致に求められる精度が高くなるので、操作者Ｕの動きとスレーブロボットＲの動きとの同期を開始するまでに時間がかかることになる。

【0048】

そこで、姿勢一致判定用閾範囲の具体的な値は、遠隔操作システムＳの設計者が、スレーブロボットＲの各部位の長さ、スレーブロボットＲに搭載されているアクチュエータの性能等を考慮して、操作者Ｕに生じる感覚の不一致の低減と、操作者Ｕの動きとスレーブロボットＲの動きとのスムースな同期とのバランスを取りながら実験によって定めればよい。

【0049】

このように、実施の形態に係る動作連結部１２３は、操作者Ｕの姿勢とスレーブロボットＲの姿勢との差異が所定の閾範囲となることを条件として操作者Ｕの動きとスレーブロボットＲの動きの同期を開始する。これにより、操作者Ｕは、スレーブロボットＲの操作を開始したときに、操作者Ｕ自身の視線方向から期待される視界と、スレーブロボットＲの撮像素子３ａが撮像する視界とのずれが小さくなる。ゆえに、実施の形態に係る制御装置１は、遠隔操作システムＳのスレーブロボットＲの動作と操作者Ｕの動作との同期を開始する際に操作者Ｕが感じる感覚の不一致を低減することができる。

【0050】

操作者ＵとスレーブロボットＲとが異なる場所に存在している場合、操作者ＵはスレーブロボットＲの姿勢を直接見ることができない。そこで、連結情報提示部１２６は、動作連結部１２３が動作信号をスレーブロボットＲに送信する前に、スレーブロボットＲの姿勢と操作者Ｕの姿勢とを合わせるために操作者が取るべき姿勢に誘導するための情報を操作者Ｕに提示する。

【0051】

例えば、連結情報提示部１２６は、スレーブロボットＲの姿勢と操作者Ｕの姿勢とを合わせるために操作者が取るべき姿勢に誘導するための音声によるガイダンスを操作者Ｕに提示してもよい。より具体的には、まず、連結情報提示部１２６は、スレーブロボットＲの姿勢と操作者Ｕの姿勢とを合わせるために操作者が取るべき姿勢に誘導するための音声ガイダンス用音声データを音声制御部に生成させる。続いて、連結情報提示部１２６は、音声制御部１２７を制御して、音声ガイダンス用音声データをヘッドフォン２ｃに再生させるようにすればよい。

【0052】

また、連結情報提示部１２６は、スレーブロボットＲの姿勢と操作者Ｕの姿勢とを合わせるために操作者が取るべき姿勢に誘導するための映像によるガイダンスを操作者Ｕに提示してもよい。

【0053】

操作者Ｕが装着するヘッドマウントディスプレイ２ａは、操作者Ｕの頭部に取り付けられたとき映像を操作者Ｕに提示するため装置である。映像制御部１２４は、ヘッドマウントディスプレイ２ａに表示させる映像を制御する。連結情報提示部１２６は、映像制御部１２４に、スレーブロボットＲの姿勢と操作者Ｕの姿勢とを合わせるために操作者が取るべき姿勢に誘導するためのガイダンス映像を生成させる。映像制御部１２４は、ヘッドマウントディスプレイ２ａに表示させるための映像信号を送信制御部１２１を介してヘッドマウントディスプレイ２ａに送信することによって、ヘッドマウントディスプレイ２ａに映像を表示させる。具体的には、映像制御部１２４は、操作者Ｕがヘッドマウントディスプレイ２ａに表示されたガイド映像にしたがって動くと、スレーブロボットＲの姿勢と操作者Ｕの姿勢との姿勢誤差が小さくなるようにガイド映像を生成する。これにより、操作者Ｕは、スレーブロボットＲとスムースに同期することができる。

【0054】

以下、説明の便宜上、映像制御部１２４がヘッドマウントディスプレイ２ａに表示させるための映像信号を送信制御部１２１を介してヘッドマウントディスプレイ２ａに送信することによって、ヘッドマウントディスプレイ２ａに映像を表示させることを前提として、「映像制御部１２４がヘッドマウントディスプレイ２ａに映像を表示させる」のように記載する。

【0055】

図５（ａ）－（ｂ）は、実施の形態に係る映像制御部１２４が生成するガイド映像の一例を示す図である。図５（ａ）－（ｂ）に示す図は、いずれもスレーブロボットＲの動作と操作者Ｕの動作との同期が開始される前に、ヘッドマウントディスプレイ２ａのモニタに映し出される映像を示している。このため、図５（ａ）－（ｂ）は、ヘッドマウントディスプレイ２ａに設けられた撮像素子２ｄが撮像した操作者Ｕ自身の太もも、前腕、手部、及び下腹部が図示されている。

【0056】

図５（ａ）に示すように、映像制御部１２４は、ヘッドマウントディスプレイ２ａに２つの仮想的な立方体Ｍｃを表示させるとともに、その立方体に両手で触れることを指示するメッセージＩを表示させる。仮想的な立方体ＭｃとメッセージＩとはともに現実には存在せず、映像制御部１２４がＡＲ（Augmented Reality）技術を用いて生成したガイド映像である。

【0057】

映像制御部１２４は、スレーブロボットＲの頭部に備えられた撮像素子３ａが撮像する立体映像がヘッドマウントディスプレイ２ａに表示された場合に、操作者ＵによってスレーブロボットＲの手部が知覚される位置に仮想的な立方体Ｍｃが表示されるように、ガイド映像を生成する。したがって、図５（ｂ）に示すように、操作者Ｕが左手及び右手でそれぞれ左右に表示された立方体Ｍｃに「触れる」と、操作者Ｕの姿勢とスレーブロボットＲの姿勢との間の姿勢誤差は、自然と所定の閾範囲となる。この意味で、映像制御部１２４が生成する仮想的な立方体Ｍｃは、操作者Ｕの動きとスレーブロボットＲの動きを連結するために表示する「連結用マーカ」といえる。

【0058】

映像制御部１２４は、操作者Ｕの姿勢とスレーブロボットＲの姿勢との間の姿勢誤差が所定の閾範囲となると、カウントダウン映像Ｃをヘッドマウントディスプレイ２ａに表示させる。図５（ｂ）は、５秒間のカウントダウン映像Ｃが表示されている例を示している。操作者Ｕが立方体Ｍｃに触れた状態で静止し、その状態で５秒間が経過すると、動作連結部１２３は、動作信号をスレーブロボットＲに送信する。

【0059】

この場合、動作連結部１２３は、姿勢誤差が所定の閾範囲内となる状態が所定の期間経過することを条件として、動作信号をスレーブロボットＲに送信することになる。ここで「所定の期間」とは、動作連結部１２３がスレーブロボットＲの動作と操作者Ｕの動作との同期を開始する前に待機する「同期前待機期間」である。操作者Ｕは、姿勢誤差が所定の閾範囲内となる状態で所定の期間待機することになるので、スレーブロボットＲの操作の心構えができる。動作連結部１２３がスレーブロボットＲの動作と操作者Ｕの動作との同期が突然開始される場合と比較して、仮想空間に入ることの心構えができるので、制御装置１は操作者Ｕの感覚の不一致を低減することができる。

【0060】

映像制御部１２４は、動作連結部１２３が動作信号をスレーブロボットＲに送信する前は、ヘッドマウントディスプレイ２ａに備えられた撮像素子２ｄが取得した立体映像をヘッドマウントディスプレイ２ａに表示させる。また、映像制御部１２４は、動作連結部１２３がスレーブロボットＲに動作信号を送信している間は、スレーブロボットＲの動作と操作者Ｕの動作とが同期することになるため、スレーブロボットＲが備える撮像素子３ａが撮像した立体映像をヘッドマウントディスプレイ２ａに切り替えて表示させる。

【0061】

ここで、映像制御部１２４は、スレーブロボットＲの動作と操作者Ｕの動作との同期時に、映像の切り替えに係る演出を施してもよい。例えば、映像制御部１２４は、撮像素子２ｄが取得した立体映像をフェードアウトさせつつ、撮像素子３ａが取得した映像をフェードインしてもよい。自身が実際に存在する環境の映像とスレーブロボットＲが存在する環境の映像との切り替えを意識しやすいため、操作者Ｕは、スレーブロボットＲの操作の心構えをすることができる。

【0062】

また、映像制御部１２４は、動作連結部１２３がスレーブロボットＲに動作信号の送信を開始する前であっても、カウントダウン映像Ｃをヘッドマウントディスプレイ２ａに表示させるタイミングで、スレーブロボットＲが備える撮像素子３ａが撮像した立体映像をヘッドマウントディスプレイ２ａに表示させるようにしてもよい。

【0063】

図示はしないが、映像制御部１２４は、動作連結部１２３がスレーブロボットＲに動作信号の送信を開始する前にスレーブロボットＲが備える撮像素子３ａが撮像した立体映像をヘッドマウントディスプレイ２ａに表示させる場合には、同期が開始されることを示すメッセージをヘッドマウントディスプレイ２ａに表示させてもよい。また、映像制御部１２４は、動作連結部１２３がスレーブロボットＲに動作信号の送信を開始する前にスレーブロボットＲが備える撮像素子３ａが撮像した立体映像をヘッドマウントディスプレイ２ａに表示させる場合の立体映像の表示態様を送信開始後の表示態様と異ならせる（例えば、輝度値を変更する）ようにしてもよい。これにより、操作者Ｕは、これから同期するスレーブロボットＲが置かれた環境の映像を同期前から観察できるため、スレーブロボットＲの操作の心構えをすることができる。

【0064】

なお、音声制御部１２７は、映像制御部１２４がヘッドマウントディスプレイ２ａに表示させる映像を撮像素子３ａが撮像した立体映像に切り替えるタイミングと同じタイミングで、マイクロフォン３ｃが集音した音声をヘッドフォン２ｃに出力する。これにより、操作者Ｕは、視覚情報と聴覚情報とが不一致となることを抑制できる。

【0065】

ところで、映像制御部１２４がヘッドマウントディスプレイ２ａに表示させる立方体ＭｃはＡＲ映像であり、実際には存在しない仮想的な物体である。このため、操作者Ｕは、立方体Ｍｃに実際に触れることはできない。そうすると、操作者Ｕが立方体Ｍｃに「触れた」状態で静止することは、実際には何もない空間に手部を静止させることになる。

【0066】

ここで、図１を参照して上述したように、遠隔操作システムＳの操作者Ｕは、操作者Ｕの手部を取り付けたとき、スレーブロボットＲの手部に備えられた触覚センサ３ｂが取得した触覚情報を操作者Ｕの手部に提示するための触覚提示装置２ｂを装着している。そのため、制御装置１は、触覚提示装置２ｂを動作させるための触覚提示信号を生成する触覚信号生成部１２５を備えている。

【0067】

そこで、触覚信号生成部１２５は、ヘッドマウントディスプレイ２ａが表示する立体映像における操作者Ｕの手部の位置と、連結用マーカである立方体Ｍｃの表面の位置とが重なることを条件として、スレーブロボットＲの撮像素子２ｄが触覚情報を取得したか否かに関わらず、触覚提示信号を生成してもよい。具体的には、触覚信号生成部１２５は、操作者Ｕが立方体に触れたときに感じられる触覚を再現する触覚提示信号を生成する。これにより、操作者Ｕは、立方体Ｍｃに「触れた」感覚を得ることができるため、制御装置１は、操作者Ｕが立方体Ｍｃに「触れた」状態で静止することを容易にさせることができる。

【0068】

以上、スレーブロボットＲの動作と操作者Ｕの動作との同期を開始する際の制御装置１の動作について主に説明した。次に、スレーブロボットＲの動作と操作者Ｕの動作との同期を終了する際の制御装置１の動作について説明する。

【0069】

ひとたびスレーブロボットＲの動作と操作者Ｕの動作とが同期すると、操作者Ｕが装着しているヘッドマウントディスプレイ２ａには、スレーブロボットＲが備える撮像素子３ａがとらえた映像が表示される。操作者Ｕは、操作者Ｕが実際に存在する環境の映像を観察していないという点において、操作者Ｕは一種のＶＲ（Virtual Reality）映像を観察していることになる。

【0070】

そこで、触覚信号生成部１２５は、スレーブロボットＲの動作と操作者Ｕの動作とが同期しているときは、操作者Ｕの動作とスレーブロボットＲの動作との同期を切断するための仮想的な切断用マーカを生成し、ヘッドマウントディスプレイ２ａに表示させる。

【0071】

図６は、実施の形態に係る映像制御部１２４が生成するガイド映像の別の例を示す図であり、スレーブロボットＲの動作と操作者Ｕの動作との同期を切断するための仮想的な切断用マーカを示す図である。具体的には、図６は、切断用マーカが仮想的な球体Ｍｄである場合に、操作者Ｕの動作とスレーブロボットＲの動作との同期が切断された直後にヘッドマウントディスプレイ２ａに表示される映像の例を示している。

【0072】

動作連結部１２３は、ヘッドマウントディスプレイ２ａに表示されている立体映像中における操作者Ｕの手部の位置と切断用マーカである球体Ｍｄの表面の位置とが重なることを条件として、スレーブロボットＲへ動作信号の送信を停止する。動作連結部１２３がスレーブロボットＲへ動作信号の送信を停止すると、映像制御部１２４は、ヘッドマウントディスプレイ２ａに備えられた撮像素子２ｄが取得した立体映像をヘッドマウントディスプレイ２ａに表示させる。

【0073】

また、触覚信号生成部１２５は、スレーブロボットＲの動作と操作者Ｕの動作との同期が終了したことを示すメッセージＩを生成し、ヘッドマウントディスプレイ２ａに表示させる。これにより、操作者Ｕは、スレーブロボットＲの動作と操作者Ｕの動作との同期が終了したことを知ることができるので、装備している各提示装置２を取り外すタイミングを知ることができる。

【0074】

触覚信号生成部１２５は、連結用マーカの場合と同様に、ヘッドマウントディスプレイ２ａに表示されている立体映像におけるスレーブロボットＲの手部の位置と切断用マーカである球体Ｍｄの表面の位置とが重なることを条件として、触覚センサ３ｂが触覚情報を取得したか否かに関わらず、触覚提示信号を生成する。これにより、操作者Ｕは、スレーブロボットＲとの同期を解除するための球体Ｍｄに「触れた」ことを実感することができる。

【0075】

図７は、スレーブロボットＲの動作と操作者Ｕの動作との同期開始時及び同期終了時における制御装置１の動作を表形式で示す図である。図７に示すように、映像制御部１２４は、スレーブロボットＲの動作と操作者Ｕの動作との同期開始のためにヘッドマウントディスプレイ２ａに表示させる連結用マーカの形状と、スレーブロボットＲの動作と操作者Ｕの動作との同期終了のためにヘッドマウントディスプレイ２ａに表示させる連結用マーカの形状とを異ならせる。また、触覚信号生成部１２５は、連結用マーカに設定する仮想的な手触りと、切断用マーカに設定する仮想的な手触りとを異ならせる。

【0076】

具体的には、図７に示すように、連結用マーカの形状は立方体であり、その手触りはなめらかである。また、切断用マーカの形状は球体であり、その手触りは粗い。したがって、操作者Ｕは、連結用マーカ又は切断用マーカを視認しなくても、その形状と手触りとでマーカを認識することができる。

【0077】

上述したように、スレーブロボットＲの動作と操作者Ｕの動作との同期開始時には、映像制御部１２４は、ヘッドマウントディスプレイ２ａに表示させる映像を徐々に切り替える。これは、操作者ＵにスレーブロボットＲの操作の心構えをさせるためである。

【0078】

一方、スレーブロボットＲの動作と操作者Ｕの動作との同期終了時には、映像制御部１２４は、ヘッドマウントディスプレイ２ａに表示させる映像を瞬時に切り替える。撮像素子２ｄが撮像する映像は操作者Ｕ自身の目でとらえる映像とほぼ一致するため、操作者Ｕの感覚の不一致は起こりにくいからである。そのかわり、図６に示すように、映像制御部１２４は、スレーブロボットＲの動作と操作者Ｕの動作との同期終了時には映像切り替え後にメッセージＩを表示する。同期終了後はヘッドマウントディスプレイ２ａの映像を見て作業をする必要はなく、むしろ、制御装置１は、装備している各提示装置２を取り外すタイミングを操作者Ｕに知らせる必要があるからである。

【0079】

このように、映像制御部１２４は、スレーブロボットＲの動作と操作者Ｕの動作との同期開始時の演出と、同期終了時の演出を異ならせる。これにより、操作者Ｕは、スレーブロボットＲの動作と操作者Ｕの動作との同期が開始されたのか終了したのかを直感的に認識することができる。

【0080】

＜制御装置１が実行する学習方法の処理フロー＞
図８は、実施の形態に係る制御装置１が実行する同期開始時の処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えばキャプチャ装置４が起動したことを示す情報を制御装置１が受信したときに開始する。

【0081】

映像制御部１２４は、スレーブロボットＲの姿勢と操作者Ｕの姿勢とを合わせるために操作者Ｕが取るべき姿勢に誘導するためのガイド映像をヘッドマウントディスプレイ２ａに表示させる（Ｓ２）。受信制御部１２０は、スレーブロボットＲからスレーブロボットＲの姿勢を示す信号を受信する（Ｓ４）。また、受信制御部１２０は、キャプチャ装置４から操作者Ｕの身体の姿勢を示す信号を受信する（Ｓ６）。

【0082】

姿勢比較部１２２は、スレーブロボットＲの姿勢と操作者Ｕの姿勢との差異を示す姿勢誤差を取得する（Ｓ８）。姿勢比較部１２２が取得した姿勢誤差が所定の閾範囲内の場合（Ｓ１０のＹｅｓ）、映像制御部１２４は、所定の期間が経過するまでの間カウントダウン映像Ｃをヘッドマウントディスプレイ２ａに表示させる（Ｓ１２）。

【0083】

姿勢比較部１２２が取得した姿勢誤差が所定の閾範囲外の場合（Ｓ１０のＮｏ）、又は所定の期間が経過していない場合（Ｓ１４のＮｏ）、制御装置１はステップＳ４に戻ってステップＳ４の処理からステップＳ１４の処理を繰り返す。

【0084】

姿勢比較部１２２が取得した姿勢誤差が所定の閾範囲内である状態が所定の期間経過すると（Ｓ１４のＹｅｓ）、動作連結部１２３は、操作者Ｕの姿勢の変化に基づいて生成されたスレーブロボットＲを動作させるための動作信号の送信を開始する（Ｓ１６）。動作連結部１２３が動作信号の送信を開始すると、本フローチャートにおける処理は終了する。

【0085】

＜実施の形態に係る制御装置１が奏する効果＞
以上説明したように、実施の形態に係る制御装置１によれば、遠隔操作システムＳのスレーブロボットＲの動作と操作者Ｕの動作との同期を開始する際に操作者Ｕが感じる感覚の不一致を低減することができる。

【0086】

なお、上記の処理の順序は一例であり、各ステップの順序を適宜変更したり、ステップの一部を省略したりすることができる。例えば、ステップＳ４の処理とステップＳ６の処理は順序を入れ替えてもよいし、並列に実行してもよい。また、スレーブロボットＲの姿勢があらかじめ定まっている場合には、ステップＳ４の処理を省略してもよいし、ステップＳ２の前に一度だけ実行されてもよい。

【0087】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。以下、そのような変形例を説明する。

【0088】

＜第１の変形例＞
上記では、映像制御部１２４が、スレーブロボットＲの動作と操作者Ｕの動作との同期開始時に連結用マーカをヘッドマウントディスプレイ２ａに表示させる場合について説明した。これに替えて、あるいはこれに加えて、例えば操作者Ｕが同期開始のために取るべき姿勢を記載した文章やイラストをヘッドマウントディスプレイに表示させてり、矢印等のアイコンによるガイダンス映像をヘッドマウントディスプレイに表示させたりしてもよい。

【0089】

＜第２の変形例＞
上記では、スレーブロボットＲの動作と操作者Ｕの動作との同期開始時及び同期終了時に、連結情報提示部１２６が音声又は映像でガイダンス情報を操作者Ｕに提示する場合について説明した。これに替えて、あるいはこれに加えて、連結情報提示部１２６は、触覚によるガイダンスを操作者Ｕに提示してもよい。この場合、連結情報提示部１２６は、例えば操作者Ｕの姿勢がスレーブロボットＲの姿勢と操作者Ｕの姿勢とを合わせるために操作者が取るべき姿勢に近づくほど、操作者Ｕに提示する触覚が小さくなるような信号を触覚信号生成部１２５に生成させればよい。

【0090】

＜第３の変形例＞
上記では、映像制御部１２４が、スレーブロボットＲの動作と操作者Ｕの動作との同期終了時に、切断用マーカをヘッドマウントディスプレイ２ａに表示させる場合について説明した。これに替えて、あるいはこれに加えて、制御装置１が操作者Ｕの発話による切断指示を受信することを契機として、スレーブロボットＲの動作と操作者Ｕの動作との同期を終了するようにしてもよい。

【0091】

これを実現するために、操作者Ｕに図示しないマイクロフォンを装備させ、制御装置１が操作者の発話を取得できるようにする。また、制御装置１の制御部１２が備える図示しない音声認識部が操作者Ｕの発話を解析し、切断指示を受信し場合にスレーブロボットＲの動作と操作者Ｕの動作との同期を終了するようにすればよい。

【0092】

＜第４の変形例＞
１台のスレーブロボットＲを複数の操作者Ｕで順番に操作するような場合には、スレーブロボットＲを操作中の操作者Ｕに代わって、別の操作者ＵがスレーブロボットＲの操作権を受け継ぐことがある。この場合、操作権を受け継ぐ操作者ＵがスレーブロボットＲと同期しようとするとき、スレーブロボットＲは前の操作者Ｕの動作に同期して動いていることもあり得る。

【0093】

そこで、映像制御部１２４は、スレーブロボットＲの手部の位置を示す情報を時系列的に取得し、スレーブロボットＲの手部の位置の変化に応じて連結用マーカの表示場所を変更してもよい。操作権を受け継ごうとする操作者Ｕのヘッドマウントディスプレイ２ａには、時間の経過に伴って移動する連結用マーカが提示される。動作連結部１２３は、操作者Ｕが移動する連結用マーカに触れることを契機として、その操作者ＵとスレーブロボットＲとの同期を開始する。これにより、制御装置１は、１台のスレーブロボットＲを複数の操作者Ｕで順番に操作する場合に、スレーブロボットＲの操作権を操作者Ｕ間でスムースに受け渡すことができる。

【0094】

＜第５の変形例＞
上記では、操作者Ｕの身体の動きを取得するためのキャプチャ装置４が、例えば赤外線又は可視光を用いたカメラで操作者Ｕの身体に取り付けられたトラッキング用のマーカを撮像する「outside-in」タイプのモーションキャプチャ装置である場合について説明した。これに替えて、あるいはこれに加えて、キャプチャ装置４は、操作者Ｕに取り付けられたカメラ（例えばヘッドマウントディスプレイ２ａが備えるカメラ）が撮像した映像を解析して操作者Ｕの身体の動きを取得する「inside-out」タイプのモーションキャプチャ装置であってもよい。

【0095】

＜第６の変形例＞
上記では、姿勢比較部１２２が、スレーブロボットＲと操作者Ｕとを仮想的に重ね合わせたときに、少なくともスレーブロボットＲの頭部の位置と操作者Ｕの頭部の位置との差異Ｅと、スレーブロボットＲの手部の位置と操作者Ｕの手部の位置との差異Ｅとの和を、姿勢誤差として取得する場合について説明した。ここで、姿勢比較部１２２は、操作者Ｕの身体の姿勢を示す信号に基づいて操作者Ｕの姿勢モデルをシミュレーションによって生成し、姿勢モデルとスレーブロボットＲの姿勢とを比較して姿勢誤差を取得してもよい。

【0096】

＜第７の変形例＞
上記では、操作者Ｕの動きとスレーブロボットＲの動きとの同期を開始する前に、操作者Ｕが動くことによって操作者Ｕの姿勢とスレーブロボットＲの姿勢との間の姿勢誤差を小さくすることについて主に説明した。これに替えて、あるいはこれに加えて、操作者Ｕの動きとスレーブロボットＲの動きとの同期を開始する前に、スレーブロボットＲが動くことによって姿勢誤差を小さくしてもよい。

【0097】

具体的には、動作連結部１２３が、姿勢比較部１２２が取得した姿勢誤差が所定の閾範囲内となるように、スレーブロボットＲを動作させるための動作信号をスレーブロボットに送信する。これにより、制御装置１は、操作者Ｕが動かなくても操作者Ｕの動きとスレーブロボットＲの動きとの同期を開始することができる。

【0098】

連結情報提示部１２６は、操作者Ｕの動きとスレーブロボットＲの動きとの同期を開始する前に姿勢誤差を小さくするためにスレーブロボットＲが動いている間、操作者Ｕに姿勢を静止していることを促すための情報を操作者Ｕに提示してもよい。これにより、制御装置１は、スレーブロボットＲが動いている間に操作者Ｕも動いてしまうことで姿勢誤差が増大することを抑制できる。

【0099】

上記では、映像制御部１２４は、スレーブロボットＲの頭部に備えられた撮像素子３ａが撮像する立体映像がヘッドマウントディスプレイ２ａに表示された場合に、操作者ＵによってスレーブロボットＲの手部が知覚される位置に仮想的な立方体Ｍｃが表示されるように、ガイド映像を生成する場合について説明した。これに替えて、映像制御部１２４は、スレーブロボットＲの手部の実際の位置にかかわらず、固定の位置に仮想的な立方体Ｍｃを表示してもよい。

【0100】

この場合、動作連結部１２３は、仮想的な立方体Ｍｃの表示位置にスレーブロボットＲの手部が移動するようにスレーブロボットＲを動作させる。一方、連結情報提示部１２６は、仮想的な立方体Ｍｃの表示位置に操作者Ｕの手部を誘導するための情報を操作者Ｕに提示する。これにより、制御装置１は、常に同じ位置（すなわち、仮想的な立方体Ｍｃの表示位置）から操作者Ｕの動きとスレーブロボットＲの動きとの同期を開始させることができる。

【符号の説明】

【0101】

１・・・制御装置
１０・・・通信部
１１・・・記憶部
１２・・・制御部
１２０・・・受信制御部
１２１・・・送信制御部
１２２・・・姿勢比較部
１２３・・・動作連結部
１２４・・・映像制御部
１２５・・・触覚信号生成部
１２６・・・連結情報提示部
１２７・・・音声制御部
２・・・提示装置
２ａ・・・ヘッドマウントディスプレイ
２ｂ・・・触覚提示装置
２ｃ・・・ヘッドフォン
２ｄ・・・撮像素子
３・・・センサ
３ａ・・・撮像素子
３ｂ・・・触覚センサ
３ｃ・・・マイクロフォン
４・・・キャプチャ装置
Ｎ・・・通信ネットワーク
Ｒ・・・スレーブロボット
Ｓ・・・遠隔操作システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】