特許 7053042 情報処理装置及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-04

(45)【発行日】2022-04-12

(54)【発明の名称】情報処理装置及び情報処理方法

(51)【国際特許分類】

   B25J 3/00 20060101AFI20220405BHJP

【ＦＩ】

B25J3/00 Z

【請求項の数】 10

(21)【出願番号】P 2019017756

(22)【出願日】2019-02-04

(62)【分割の表示】P 2018562142の分割

【原出願日】2018-05-16

(65)【公開番号】P2019063995

(43)【公開日】2019-04-25

【審査請求日】2021-05-13

(31)【優先権主張番号】P 2017098533

(32)【優先日】2017-05-17

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】517135833

【氏名又は名称】Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】チャリス ラサンタ フェルナンド

(72)【発明者】

【氏名】舘 ▲すすむ▼

(72)【発明者】

【氏名】佐野 元紀

(72)【発明者】

【氏名】南澤 孝太

【審査官】杉山 悟史

(56)【参考文献】

【文献】特開２０１７－０６４８３１（ＪＰ，Ａ）

【文献】特開平０３－２９４９１１（ＪＰ，Ａ）

【文献】特開２００６－１４６４３５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０１７３０５５（ＵＳ，Ａ１）

【文献】特開昭６２－２９１９６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ － ２１／０２

(57)【特許請求の範囲】

【請求項1】

ロボットの姿勢を変化させる前の前記ロボットの姿勢を示す変化前姿勢情報を取得するロボット情報取得部と、
前記変化前姿勢情報が示す前記ロボットの姿勢において基準ユーザーが行った操作を基準ユーザー姿勢情報として取得するユーザー情報取得部と、
前記変化前姿勢情報と前記基準ユーザー姿勢情報とを関連付けることにより、前記変化前姿勢情報に対応する前記ロボットの姿勢を示す基準姿勢情報を生成する生成部と、
を有する情報処理装置。

【請求項2】

前記生成部は、複数の前記基準ユーザーに対応する複数の前記変化前姿勢情報と、複数の前記基準ユーザー姿勢情報と、を教師データとして用いて、前記ロボット情報取得部が取得した前記変化前姿勢情報が示す前記ロボットの姿勢と前記ユーザー情報取得部が取得した前記基準ユーザー以外のユーザーの姿勢とに適した前記ロボットの姿勢を示す前記基準姿勢情報を出力可能な機械学習モデルを生成する、
請求項１に記載の情報処理装置。

【請求項3】

前記生成部は、前記機械学習モデルに、前記ロボット情報取得部が取得した前記変化前姿勢情報と前記ユーザー情報取得部が取得した前記基準ユーザー姿勢情報とを入力することにより、前記基準姿勢情報を生成する、
請求項２に記載の情報処理装置。

【請求項4】

前記生成部は、生成した前記機械学習モデルに、新たに前記ロボット情報取得部が取得した前記変化前姿勢情報と前記ユーザー情報取得部が取得した前記基準ユーザー姿勢情報とを入力することにより、前記機械学習モデルを更新する、
請求項２又は３に記載の情報処理装置。

【請求項5】

ロボットの姿勢を変化させる前の前記ロボットの姿勢を示す変化前姿勢情報と、前記変化前姿勢情報が示す前記ロボットの姿勢において基準ユーザーが行った操作に基づいて前記ロボットが姿勢を変化させた後の前記ロボットの姿勢を示す基準変化後姿勢情報と、を取得するロボット情報取得部と、
前記変化前姿勢情報と前記基準変化後姿勢情報とを関連付けることにより、前記変化前姿勢情報に対応する前記ロボットの姿勢を示す基準姿勢情報を生成する生成部と、
を有する情報処理装置。

【請求項6】

前記生成部は、複数の前記基準ユーザーに対応する複数の前記変化前姿勢情報と、複数の前記基準変化後姿勢情報と、を教師データとして用いて、前記ロボット情報取得部が取得した前記変化前姿勢情報が示す前記ロボットの姿勢に適した前記ロボットの姿勢を示す前記基準姿勢情報を出力可能な機械学習モデルを生成する、
請求項５に記載の情報処理装置。

【請求項7】

前記生成部は、前記機械学習モデルに、前記ロボット情報取得部が取得した前記変化前姿勢情報を入力することにより、前記基準姿勢情報を生成する、
請求項６に記載の情報処理装置。

【請求項8】

前記生成部は、生成した前記機械学習モデルに、新たに前記ロボット情報取得部が取得した前記変化前姿勢情報と前記基準変化後姿勢情報とを入力することにより、前記機械学習モデルを更新する、
請求項６又は７に記載の情報処理装置。

【請求項9】

コンピューターが実行する、
ロボットの姿勢を変化させる前の前記ロボットの姿勢を示す変化前姿勢情報を取得するステップと、
前記変化前姿勢情報が示す前記ロボットの姿勢において基準ユーザーが行った操作を基準ユーザー姿勢情報として取得するステップと、
前記変化前姿勢情報と前記基準ユーザー姿勢情報とを関連付けることにより、前記変化前姿勢情報に対応する前記ロボットの姿勢を示す基準姿勢情報を生成するステップと、
を有する、情報処理方法。

【請求項10】

コンピューターが実行する、
ロボットの姿勢を変化させる前の前記ロボットの姿勢を示す変化前姿勢情報と、前記変化前姿勢情報が示す前記ロボットの姿勢において基準ユーザーが行った操作に基づいて前記ロボットが姿勢を変化させた後の前記ロボットの姿勢を示す基準変化後姿勢情報と、を取得するステップと、
前記変化前姿勢情報と前記基準変化後姿勢情報とを関連付けることにより、前記変化前姿勢情報に対応する前記ロボットの姿勢を示す基準姿勢情報を生成するステップと、
を有する、情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、ロボットを制御するための制御装置、ロボット制御方法及びロボット制御システムに関する。

【背景技術】

【0002】

ユーザーの姿勢を検出し、検出した当該姿勢に対応する姿勢にロボットの姿勢を変化させる技術の研究や開発が行われている。

【0003】

これに関し、ユーザーが装着するユーザー装置によってユーザーの姿勢を検出し、検出した当該姿勢に対応する姿勢にロボットの姿勢を変化させるとともに、ロボットが備える各種のセンサーによって検出した検出情報に応じた処理をユーザー装置に行わせ、当該検出情報に応じた情報をユーザーに提供するロボットシステムが知られている（特許文献１、非特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特公昭６２－２９１９６号公報

【非特許文献】

【0005】

【文献】Charith Lasantha Fernando, Masahiro Furukawa, Tadatoshi Kurogi, Sho Kamuro, Katsunari Sato, Kouta Minamizawa and Susumu Tach,「Design of TELESAR V for Transferring Bodily Consciousness in Telexistence」, 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems（Portugal）, October 7-12, 2012.

【発明の概要】

【発明が解決しようとする課題】

【0006】

このようなロボットシステムでは、ユーザーは、ユーザー装置を装着したままユーザー自身の姿勢を変化させることにより（すなわち、動くことにより）、ロボットを操作することができる。しかしながら、ロボットに所定の作業を行わせる場合、従来のロボットシステムでは、ロボットの操作に習熟していないユーザーは、ロボットの操作に習熟したユーザーと比較して、高い精度で当該作業をロボットに行わせることが困難な場合があった。

【0007】

そこで本発明は、ユーザーによるロボットの操作を補助することができる制御装置、ロボット制御方法及びロボット制御システムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の第１の態様の制御装置は、ロボットを操作する第１ユーザーの姿勢を示す第１ユーザー姿勢情報を取得する第１情報取得部と、前記第１ユーザー姿勢情報に基づいて前記ロボットの姿勢を変化させる前の前記ロボットの姿勢である変化前姿勢を示す変化前姿勢情報を取得する第２情報取得部と、前記変化前姿勢情報と、前記変化前姿勢情報が示す前記変化前姿勢を前記ロボットがしている時点で前記第１情報取得部が取得した前記第１ユーザー姿勢情報とに基づいて、前記第１ユーザーの姿勢と異なる標的姿勢を前記ロボットの姿勢に決定する決定部と、を有する。

【0009】

前記ロボットの姿勢を変化させるために用いられる複数の基準姿勢情報のうち、前記変化前姿勢情報と、前記変化前姿勢情報が示す前記変化前姿勢をしている時点で前記第１情報取得部が取得した前記第１ユーザー姿勢情報とに対応する対象基準姿勢情報を特定する特定部をさらに有してもよい。

【0010】

前記特定部は、それぞれ前記変化前姿勢情報と、前記変化前姿勢情報が示す前記変化前姿勢をしている過去の時点において取得された前記第１ユーザーと異なる第２ユーザーの姿勢を示す基準姿勢情報とが関連付けられた前記複数の基準情報から選択した一の基準情報に対応する前記基準姿勢情報を前記対象基準姿勢情報として選択してもよい。

【0011】

前記特定部は、前記複数の基準情報の中から、前記第１情報取得部が取得した前記第１ユーザー姿勢情報と、前記第２情報取得部が取得した前記変化前姿勢情報とに基づいて、前記第１ユーザーが意図した前記標的姿勢に前記ロボットの姿勢を変化させられる蓋然性が相対的に高い一の基準情報を選択してもよい。

【0012】

前記特定部は、前記第１ユーザー姿勢情報と前記変化前姿勢情報とに基づいて、前記第１ユーザーが意図した前記標的姿勢を推定し、推定した前記標的姿勢に前記ロボットの姿勢を変化させられる蓋然性が相対的に高い一の基準情報を選択してもよい。

【0013】

前記特定部は、複数の前記変化前姿勢情報と複数の前記基準姿勢情報とを教師データとして作成された機械学習モデルに前記変化前姿勢情報と前記第１ユーザー姿勢情報とを入力することにより、前記対象基準姿勢情報を特定してもよい。

【0014】

前記特定部は、前記第１情報取得部が取得した前記第１ユーザー姿勢情報に基づいて、前記ロボットが備える一以上のモーターそれぞれの回動角、角速度、角加速度及びトルクを示す仮標的姿勢情報を生成し、生成した前記仮標的姿勢情報と前記変化前姿勢情報とに基づいて前記対象基準姿勢情報を特定してもよい。

【0015】

前記第１ユーザーと異なる第２ユーザーの姿勢を示す第２ユーザー姿勢情報を取得する第３情報取得部と、前記変化前姿勢情報と前記基準姿勢情報としての前記第２ユーザー姿勢情報とを関連付けることにより、前記複数の基準情報を生成する生成部と、をさらに有してもよい。

【0016】

前記生成部は、前記変化前姿勢情報と前記第２ユーザー姿勢情報とを教師データとして、入力された前記変化前姿勢情報と前記第１ユーザー姿勢情報とに適した前記基準姿勢情報を出力可能な機械学習モデルを生成してもよい。

【0017】

前記第２ユーザー姿勢情報に基づいて前記ロボットが姿勢を変化させた後の変化後姿勢を示す変化後姿勢情報を取得する第４情報取得部と、前記変化前姿勢情報と前記変化後姿勢情報とに基づいて前記第２ユーザー姿勢情報を特定し、前記変化前姿勢情報と、特定した前記第２ユーザー姿勢情報とを関連付けることにより、前記複数の基準姿勢情報を生成する生成部と、をさらに有してもよい。

【0018】

前記第１情報取得部は、時刻に関連付けて前記第１ユーザー姿勢情報を取得し、前記第２情報取得部は、時刻に関連付けて前記変化前姿勢情報を取得し、前記決定部は、同一の時刻に関連付けられた前記変化前姿勢情報と前記第１ユーザー姿勢情報とに基づいて、前記標的姿勢を前記ロボットの姿勢に決定してもよい。

【0019】

本発明の第２の態様のロボット制御方法は、コンピューターが実行する、ロボットを操作する第１ユーザーの姿勢を示す第１ユーザー姿勢情報を取得するステップと、前記第１ユーザー姿勢情報に基づいて前記ロボットの姿勢を変化させる前の前記ロボットの姿勢である変化前姿勢を示す変化前姿勢情報を取得するステップと、前記変化前姿勢情報と、前記変化前姿勢情報が示す前記変化前姿勢を前記ロボットがしている時点で取得した前記第１ユーザー姿勢情報とに基づいて、前記第１ユーザーの姿勢と異なる標的姿勢を前記ロボットの姿勢に決定するステップと、を有する。

【0020】

本発明の第３の態様のロボット制御システムは、ロボットと、前記ロボットを操作する第１ユーザーに関する情報を検出するユーザー装置と、前記ロボットを制御するロボット制御装置と、前記ユーザー装置及び前記ロボット制御装置との間で通信可能な制御装置と、を備え、前記ユーザー装置は、前記第１ユーザーの姿勢を示す第１ユーザー姿勢情報を前記制御装置に送信し、前記ロボット制御装置は、前記制御装置が決定した標的姿勢になるように前記ロボットの姿勢を制御し、前記制御装置は、前記第１ユーザー姿勢情報を取得する第１情報取得部と、前記第１ユーザー姿勢情報に基づいて前記ロボットの姿勢を変化させる前の前記ロボットの姿勢である変化前姿勢を示す変化前姿勢情報を取得する第２情報取得部と、前記変化前姿勢情報と、前記変化前姿勢情報が示す前記変化前姿勢を前記ロボットがしている時点で前記第１情報取得部が取得した前記第１ユーザー姿勢情報とに基づいて、前記第１ユーザーの姿勢と異なる前記標的姿勢を前記ロボットの姿勢に決定する決定部と、前記標的姿勢を前記ロボット制御装置に送信する送信部と、を有するロボット制御システム。

【発明の効果】

【0021】

本発明によれば、ユーザーによるロボットの操作を補助することができる制御装置を提供することができる。

【図面の簡単な説明】

【0022】

【図1】実施形態に係るロボットシステム１の構成の一例を示す図である。

【図2】ロボット制御装置３０の機能構成の一例を示す図である。

【図3】ロボット制御装置３０がロボット２０を動作させる処理の流れの一例を示す図である。

【図4】ロボット制御装置３０が基準情報を生成する処理の流れの一例を示す図である。

【図5】サーバーＳＢが制御装置３６を備える場合に基準姿勢情報を生成する手順について説明するための図である。

【図6】サーバーＳＢが制御装置３６を備える場合にロボット２０を制御する手順について説明するための図である。

【発明を実施するための形態】

【0023】

＜ロボットシステムの概要＞
まず、ロボットシステム１の概要について説明する。ロボットシステム１は、ユーザーが装着するユーザー装置によってユーザーの姿勢を検出し、検出した当該姿勢に対応する姿勢にロボットの姿勢を変化させる。また、ロボットシステム１は、ロボットが備える各種のセンサーによって検出された検出情報に応じた処理をユーザー装置に行わせ、当該検出情報に応じた情報をユーザーに提供する。

【0024】

より具体的には、ロボットシステム１は、ユーザーに関する情報を検出するユーザー装置（以下において説明する例では、ユーザー装置１０）と、ロボット（以下において説明する例では、ロボット２０）と、ロボットを制御するロボット制御装置（以下において説明する例では、ロボット制御装置３０）とを備える。ロボットシステム１は、ユーザーの姿勢であるユーザー姿勢を示すユーザー姿勢情報を含む第１情報をユーザー装置１０から取得する。ロボットシステム１は、取得した第１情報に基づいて姿勢を変化させる前のロボットの姿勢である変化前姿勢を、取得した第１情報に含まれるユーザー姿勢情報が示すユーザー姿勢に対応する姿勢である標的姿勢に変化させるとともに、ロボットにより検出された検出情報に応じた処理をユーザー装置１０に行わせる。ロボットシステム１は、ユーザー装置１０に当該処理を行わせることにより、検出情報に応じた情報をユーザーに提供する。

【0025】

ロボットシステム１では、ユーザーは、ユーザー装置１０を装着したままユーザー自身の姿勢を変化させることにより（すなわち、ユーザーが動くことにより）、ロボットを操作することができる。ロボットシステム１は、ロボットの操作に習熟していないユーザーであっても、ロボットの操作に習熟しているユーザーと同等の操作をできるようにすることを特徴としている。

【0026】

以下では、説明の便宜上、ロボットシステム１が備えるロボットの操作に習熟していないユーザーのことを第１ユーザーと称し、当該操作に習熟しているユーザーのことを第２ユーザーと称して説明する。すなわち、第１ユーザーは、例えば、当該操作についての素人であり、第２ユーザーは、例えば、当該操作についての玄人である。また、以下では、説明の便宜上、第１ユーザーにより操作されるロボットを第１ロボットと称し、第２ユーザーにより操作されるロボットを第２ロボットと称して説明する。なお、第１ロボットと第２ロボットは、同一のロボットであってもよく、互いに異なるロボットであってもよい。

【0027】

従来のロボットシステムが抱える問題を解決するため、ロボットシステム１は、後述する制御装置３６を備える。制御装置３６は、第１ユーザーの姿勢である第１ユーザー姿勢を示す第１ユーザー姿勢情報を含む第１情報を取得する。また、制御装置３６は、取得した第１情報に基づいて姿勢を変化させる前の第１ロボットの姿勢である変化前姿勢を示す変化前姿勢情報と前述の検出情報とのうち少なくとも変化前姿勢情報を含む第２情報を取得する。

【0028】

制御装置３６は、第２ユーザーの姿勢である第２ユーザー姿勢を示す第２ユーザー姿勢情報毎に、第２ユーザー姿勢情報と基準となる姿勢を示す基準姿勢情報とが対応付けられた情報を含む基準情報と、取得した第１情報と、取得した第２情報とに基づいて、第１ロボットの姿勢であって当該第１情報に含まれている第１ユーザー姿勢情報が示す第１ユーザー姿勢に対応する標的姿勢を決定する。これにより、制御装置３６は、ユーザーによるロボットの操作を補助することができる。ロボット制御装置は、制御装置３６により決定された当該標的姿勢に第１ロボットの姿勢を変化させる。以下では、制御装置３６を備えたロボットシステム１の構成と、制御装置３６が行う処理とについて詳しく説明する。

【0029】

＜ロボットシステムの構成と概要＞
次に、ロボットシステム１の構成と概要について説明する。
図１は、実施形態に係るロボットシステム１の構成の一例を示す図である。ロボットシステム１は、ユーザー装置１０と、ロボット２０と、データベースＤＢを格納したサーバーＳＢを備える。また、ロボットシステム１において、ロボット２０は、ロボット制御装置３０を内蔵している。なお、ロボット２０は、ロボット制御装置３０を内蔵する構成に代えて、ロボット２０の外部に設置されたロボット制御装置３０と有線又は無線によって互いに通信可能に接続される構成であってもよい。

【0030】

ここで、以下では、一例として、ロボットシステム１において、ロボット制御装置３０が前述の制御装置３６を備える場合について説明する。なお、ロボットシステム１において、制御装置３６は、ロボット制御装置３０に備えられる構成に代えて、ユーザー装置１０と、ロボット２０と、サーバーＳＢとのいずれかに備えられる構成であってもよい。

【0031】

ロボットシステム１では、ユーザー装置１０とロボット２０は、ネットワークＮを介して互いに通信可能に接続される。なお、ユーザー装置１０とロボット２０は、ネットワークＮを介さずに有線又は無線によって互いに通信可能に接続される構成であってもよい。

【0032】

ユーザー装置１０とサーバーＳＢは、ネットワークＮを介して互いに通信可能に接続される。なお、ユーザー装置１０とサーバーＳＢは、ネットワークＮを介さずに有線又は無線によって互いに通信可能に接続される構成であってもよい。

【0033】

ロボット２０とサーバーＳＢは、ネットワークＮを介して互いに通信可能に接続される。なお、ロボット２０とサーバーＳＢは、ネットワークＮを介さずに有線又は無線によって互いに通信可能に接続される構成であってもよい。

【0034】

ネットワークＮは、如何なる通信網であってもよい。ネットワークＮは、例えば、インターネット、移動体通信網、又は専用線通信網等である。

【0035】

ユーザー装置１０は、ユーザーに関する情報を検出する。ユーザーに関する情報には、ユーザーの姿勢であるユーザー姿勢を示すユーザー姿勢情報が含まれる。なお、ユーザーに関する情報には、ユーザー姿勢情報に加えて、他の情報が含まれる構成であってもよい。また、本実施形態に係るユーザー装置１０は、ユーザーが装着する装置である。

【0036】

なお、ユーザー装置１０は、ユーザーに関する情報を検出可能な装置であれば、ユーザーが装着しない装置であってもよい。図１に示した例では、ユーザー装置１０は、第１ユーザーＵ１に装着されている。このため、ユーザー装置１０は、第１ユーザーＵ１に関する情報（すなわち、第１ユーザーＵ１の姿勢である第１ユーザー姿勢を示すユーザー姿勢情報である第１ユーザー姿勢情報が含まれる情報）を検出する。以下では、一例として、図１に示したように、ユーザー装置１０が第１ユーザーＵ１に装着されている場合を例に挙げて説明する。すなわち、以下の説明において、ロボット２０は、前述の第１ロボットの一例である。

【0037】

ユーザー装置１０は、ユーザー姿勢を検出する各種のセンサーを備えており、これらのセンサーからの出力値に基づくモーションキャプチャーによってユーザー姿勢を検出する。また、ユーザー装置１０は、所定時間が経過する毎にユーザー姿勢を検出する。ユーザー装置１０は、検出したユーザー姿勢を示すユーザー姿勢情報を含むユーザー情報を生成し、生成したユーザー情報をロボット２０にネットワークＮを介して出力する。これにより、ユーザー装置１０は、当該ユーザー情報を取得したロボット制御装置３０の処理によって、当該ユーザー情報に含まれるユーザー姿勢情報が示すユーザー姿勢に対応する姿勢である標的姿勢にロボット２０の姿勢を変化させる。

【0038】

ここで、ユーザー装置１０は第１ユーザーＵ１に装着されているため、所定時間が経過する毎に第１ユーザーＵ１の姿勢である第１ユーザー姿勢を検出する。ユーザー装置１０は、検出した第１ユーザー姿勢を示す第１ユーザー姿勢情報を含むユーザー情報を生成し、生成したユーザー情報をロボット２０にネットワークＮを介して出力する。これにより、ユーザー装置１０は、当該ユーザー情報を取得したロボット制御装置３０の処理によって、当該ユーザー情報に含まれる第１ユーザー姿勢情報が示す第１ユーザー姿勢に対応する標的姿勢にロボット２０の姿勢を変化させる。

【0039】

所定時間は、例えば、１０ミリ秒である。なお、所定時間は、１０ミリ秒よりも短い時間であってもよく、１０ミリ秒よりも長い時間であってもよい。

【0040】

より具体的には、ユーザー装置１０は、ヘッドマウントディスプレイ１１と、右手用のデータグローブであるデータグローブ１２と、左手用のデータグローブであるデータグローブ１３と、図示しないユーザー装置制御部を備える。

【0041】

ヘッドマウントディスプレイ１１は、ユーザーの頭部に装着される。ヘッドマウントディスプレイ１１は、図示しない表示部を備え、当該表示部に画像を表示させる。当該表示部は、ヘッドマウントディスプレイ１１がユーザーの頭部に装着された場合に、ユーザーの視界の一部又は全部を覆うディスプレイパネルである。これにより、ヘッドマウントディスプレイ１１は、当該表示部に表示させた画像をユーザーに見せることができる。なお、当該ディスプレイパネルは、液晶ディスプレイパネル、あるいは、有機ＥＬ（ElectroLuminescence）ディスプレイパネル等であるが、他のディスプレイパネルであってもよい。また、当該画像は例えば動画像であるが、これに代えて、静止画像であってもよい。

【0042】

また、ヘッドマウントディスプレイ１１は、音を出力するスピーカーを備える。また、ヘッドマウントディスプレイ１１は、ユーザーの頭部の姿勢であるユーザー頭部姿勢を検出するセンサーを備える。当該センサーは、ユーザー頭部姿勢を検出可能なセンサーであれば、如何なるセンサーであってもよい。ヘッドマウントディスプレイ１１は、ユーザー装置制御部からの要求に応じて、当該センサーによってユーザーの頭部の姿勢を検出する。ヘッドマウントディスプレイ１１は、検出したユーザーの頭部の姿勢を示す情報をユーザー装置制御部に出力する。なお、ヘッドマウントディスプレイ１１は、ユーザーの頭部の姿勢に代えて、ユーザーの視線の方向を検出する構成であってもよい。これらの場合、ヘッドマウントディスプレイ１１は、ユーザーの視線の方向を検出するセンサーを備える。

【0043】

ここで、ヘッドマウントディスプレイ１１は、第１ユーザーＵ１の頭部に装着されているため、当該表示部に表示させた画像を第１ユーザーＵ１に見せることができる。また、ヘッドマウントディスプレイ１１は、ユーザー装置制御部からの要求に応じて、第１ユーザーＵ１の頭部の姿勢である第１ユーザー頭部姿勢を検出する。ヘッドマウントディスプレイ１１は、検出した第１ユーザー頭部姿勢を示す情報をユーザー装置制御部に出力する。

【0044】

データグローブ１２は、ユーザーの右手に装着される。データグローブ１２は、当該右手の各指の姿勢であるユーザー右手指姿勢、ユーザーの右腕の姿勢であるユーザー右腕姿勢のそれぞれを検出する各種のセンサーを備える。当該各種のセンサーは、ユーザー右手指姿勢、ユーザー右腕姿勢を検出可能なセンサーであれば、如何なるセンサーであってもよい。データグローブ１２は、ユーザー装置制御部からの要求に応じて、ユーザー右手指姿勢とユーザー右腕姿勢を検出する。データグローブ１２は、検出したユーザー右手指姿勢を示す情報及びユーザー右腕姿勢を示す情報をユーザー装置制御部に出力する。

【0045】

なお、データグローブ１２は、ユーザー右手指姿勢及びユーザー右腕姿勢のいずれか一方又は両方に代えて、ユーザーの他の部位の姿勢を検出する構成であってもよく、ユーザー右手指姿勢及びユーザー右腕姿勢のいずれか一方又は両方に加えて、ユーザーの他の部位の姿勢を検出する構成であってもよい。これらの場合、データグローブ１２は、当該他の部位の姿勢を検出するセンサーを備える。

【0046】

また、データグローブ１２は、ユーザーの部位のうち予め決められた１以上の部位のそれぞれに圧力を加える図示しない加圧装置を備える。当該予め決められた１以上の部位は、例えば、ユーザーの右手の各指先である。なお、予め決められた１以上の部位は、これに代えて、ユーザーの部位のうち予め決められた他の部位であってもよい。加圧装置は、ユーザー装置制御部からの要求に応じて、予め決められた以上の部位のうち当該要求が示す部位に、当該要求が示す圧力を加える。

【0047】

ここで、データグローブ１２は第１ユーザーＵ１の右手に装着されているため、ユーザー装置制御部からの要求に応じて、第１ユーザーの右手の各指の姿勢である第１ユーザー右手指姿勢と第１ユーザーの右腕の姿勢である第１ユーザー右腕姿勢を検出する。データグローブ１２は、検出した第１ユーザー右手指姿勢を示す情報及び第１ユーザー右腕姿勢を示す情報をユーザー装置制御部に出力する。

【0048】

データグローブ１３はユーザーの左手に装着される。データグローブ１３は、当該左手の各指の姿勢であるユーザー左手指姿勢、ユーザーの左腕の姿勢であるユーザー左腕姿勢のそれぞれを検出する各種のセンサーを備える。当該各種のセンサーは、ユーザー左手指姿勢、ユーザー左腕姿勢を検出可能なセンサーであれば、如何なるセンサーであってもよい。データグローブ１３は、ユーザー装置制御部からの要求に応じて、ユーザー左手指姿勢とユーザー左腕姿勢を検出する。データグローブ１３は、検出したユーザー左手指姿勢を示す情報及びユーザー左腕姿勢を示す情報をユーザー装置制御部に出力する。

【0049】

なお、データグローブ１３は、ユーザー左手指姿勢及びユーザー左腕姿勢のいずれか一方又は両方に代えて、ユーザーの他の部位の姿勢を検出する構成であってもよく、ユーザー左手指姿勢及びユーザー左腕姿勢のいずれか一方又は両方に加えて、ユーザーの他の部位の姿勢を検出する構成であってもよい。これらの場合、データグローブ１３は、当該他の部位の姿勢を検出するセンサーを備える。

【0050】

また、データグローブ１３は、ユーザーの部位のうち予め決められた１以上の部位のそれぞれに圧力を加える図示しない加圧装置を備える。当該予め決められた１以上の部位は、例えば、ユーザーの左手の各指先である。なお、予め決められた１以上の部位は、これに代えて、ユーザーの部位のうち予め決められた他の部位であってもよい。加圧装置は、ユーザー装置制御部からの要求に応じて、予め決められた以上の部位のうち当該要求が示す部位に、当該要求が示す圧力を加える。

【0051】

ここで、データグローブ１３は第１ユーザーＵ１の左手に装着されているため、ユーザー装置制御部からの要求に応じて、第１ユーザーの左手の各指の姿勢である第１ユーザー左手指姿勢と第１ユーザーの左腕の姿勢である第１ユーザー左腕姿勢を検出する。データグローブ１３は、検出した第１ユーザー左手指姿勢を示す情報及び第１ユーザー左腕姿勢を示す情報をユーザー装置制御部に出力する。

【0052】

ユーザー装置制御部は、ユーザー装置１０の全体を制御する。ユーザー装置制御部は、ヘッドマウントディスプレイ１１、データグローブ１２、データグローブ１３のいずれかに内蔵される構成であってもよく、ヘッドマウントディスプレイ１１、データグローブ１２、データグローブ１３それぞれの外部に設置され、ヘッドマウントディスプレイ１１、データグローブ１２、データグローブ１３それぞれと有線又は無線によって互いに通信可能に接続される構成であってもよい。

【0053】

ユーザー装置制御部は、前述の所定時間が経過する毎に、ヘッドマウントディスプレイ１１にユーザー頭部姿勢を検出させ、データグローブ１２にユーザー右手指姿勢及びユーザー右腕姿勢を検出させ、データグローブ１３にユーザー左手指姿勢及びユーザー左腕姿勢を検出させる。そして、ユーザー装置制御部は、ヘッドマウントディスプレイ１１からユーザー頭部姿勢を示す情報を取得し、データグローブ１２からユーザー右手指姿勢を示す情報及びユーザー右腕姿勢を示す情報を取得し、データグローブ１３からユーザー左手指姿勢を示す情報及びユーザー左腕姿勢を示す情報を取得する。

【0054】

ここで、本実施形態において、ユーザー姿勢は、ユーザー頭部姿勢を示す情報、ユーザー右手指姿勢を示す情報、ユーザー右腕姿勢を示す情報、ユーザー左手指姿勢を示す情報、及びユーザー左腕姿勢を示す情報のそれぞれによって表される。なお、ユーザー姿勢情報は、ユーザー頭部姿勢を示す情報、ユーザー右手指姿勢を示す情報、ユーザー右腕姿勢を示す情報、ユーザー左手指姿勢を示す情報、及びユーザー左腕姿勢を示す情報の一部を含んでもよく、他の情報を含んでもよい。

【0055】

ユーザー装置制御部は、取得したユーザー頭部姿勢を示す情報、ユーザー右手指姿勢を示す情報、ユーザー右腕姿勢を示す情報、ユーザー左手指姿勢を示す情報、ユーザー左腕姿勢を示す情報のそれぞれによって表されるユーザー姿勢情報を含むユーザー情報を生成する。なお、ユーザー情報は、ユーザー姿勢情報に加えて、他の情報を含んでもよい。ユーザー装置制御部は、生成したユーザー情報をロボット２０にネットワークＮを介して出力する。

【0056】

ここで、ユーザー装置１０は、第１ユーザーＵ１に装着されているため、所定時間が経過する毎に、ヘッドマウントディスプレイ１１に第１ユーザー頭部姿勢を検出させ、データグローブ１２に第１ユーザー右手指姿勢及び第１ユーザー右腕姿勢を検出させ、データグローブ１３に第１ユーザー左手指姿勢及び第１ユーザー左腕姿勢を検出させる。そして、ユーザー装置制御部は、ヘッドマウントディスプレイ１１から第１ユーザー頭部姿勢を示す情報を取得し、データグローブ１２から第１ユーザー右手指姿勢を示す情報及び第１ユーザー右腕姿勢を示す情報を取得し、データグローブ１３から第１ユーザー左手指姿勢を示す情報及び第１ユーザー左腕姿勢を示す情報を取得する。

【0057】

ユーザー装置制御部は、取得した第１ユーザー頭部姿勢を示す情報、第１ユーザー右手指姿勢を示す情報、第１ユーザー右腕姿勢を示す情報、第１ユーザー左手指姿勢を示す情報、第１ユーザー左腕姿勢を示す情報のそれぞれによって表される第１ユーザー姿勢情報を含むユーザー情報を生成する。ユーザー装置制御部は、生成したユーザー情報をロボット２０にネットワークＮを介して出力する。なお、ユーザー情報は、第１情報、第３情報、第５情報それぞれの一例である。

【0058】

また、ユーザー装置制御部は、ロボット２０が検出した検出情報をロボット２０からネットワークＮを介して取得する。ユーザー装置１０は、取得した検出情報に応じた処理を行う。これにより、ユーザー装置１０は、ユーザーの五感の少なくとも一部に対して各種の情報を提供することができる。この一例では、ユーザー装置１０は、ユーザーの五感のうち触覚、視覚、聴覚のそれぞれに対して各種の情報を提供する。

【0059】

検出情報には、ロボット２０が備える撮像部により撮像された画像を含む視覚情報、ロボット２０が備える触覚センサーからの出力値を含む触覚情報（触覚には、力覚が含まれてもよく、力覚が含まれなくてもよい）、及びロボット２０が備える音検出部からの出力値を含む聴覚情報が含まれている。当該画像は、動画像であってもよく、静止画像であってもよい。以下では、一例として、当該画像が動画像である場合について説明する。

【0060】

なお、検出情報は、視覚情報、触覚情報、聴覚情報の一部のみを含んでもよく、視覚情報、触覚情報、聴覚情報の一部又は全部に加えて他の情報（例えば、嗅覚情報、味覚情報等）を含んでもよい。検出情報は、視覚情報、触覚情報、聴覚情報の一部又は全部に代えて他の情報のみを含んでもよい。これらの場合、ユーザー装置１０は、ユーザーの五感のうち検出情報に含まれる情報に応じた感覚に対して各種の情報を提供する。

【0061】

ユーザー装置制御部は、取得した検出情報に含まれる視覚情報に基づいて、ヘッドマウントディスプレイ１１の表示部に当該視覚情報に含まれる画像を表示する。また、ユーザー装置制御部は、検出情報に含まれる触覚情報に基づいてデータグローブ１２及びデータグローブ１３のそれぞれが備える加圧装置を動作させ、触覚情報に含まれる出力値に応じた圧力をユーザーに対して加える。また、ユーザー装置制御部は、検出情報に含まれる聴覚情報に基づいて、聴覚情報に含まれる出力値に応じた音をヘッドマウントディスプレイ１１のスピーカーから出力させる。

【0062】

このような構成により、ユーザー装置１０は、ユーザーの視覚に対してロボット２０が見た（撮像部により撮像した）物体を示す情報を当該視覚情報に含まれる画像として提供し、ユーザーの触覚に対してロボット２０が物体に触れた（触覚センサーによって検出した）感触を示す情報を当該触覚情報に含まれる出力値に応じた圧力として提供し、ユーザーの聴覚に対してロボット２０が聴いた（音検出部により検出した）音を当該聴覚情報に含まれる出力値に応じた音として提供することができる。その結果、ユーザーは、ユーザーの五感のうちの少なくとも一部に提供された各種の情報に基づいて、ユーザーが所望する次の動作をロボット２０に行わせることができる。

【0063】

ここで、ユーザー装置１０は第１ユーザーＵ１に装着されているため、第１ユーザーＵ１の視覚に対してロボット２０が見た（撮像部により撮像した）物体を示す情報を視覚情報に含まれる画像として提供し、第１ユーザーＵ１の触覚に対してロボット２０が物体に触れた（触覚センサーによって検出した）感触を示す情報を触覚情報に含まれる出力値に応じた圧力として提供し、第１ユーザーＵ１の聴覚に対してロボット２０が聴いた（音検出部により検出した）音を聴覚情報に含まれる出力値に応じた音として提供することができる。その結果、第１ユーザーＵ１は、第１ユーザーＵ１の五感のうちの少なくとも一部に提供された各種の情報に基づいて、第１ユーザーＵ１が所望する次の動作をロボット２０に行わせることができる。

【0064】

ロボット２０は、例えば、双腕ロボットである。ロボット２０は、可動部として、ユーザー装置１０が装着されたユーザー（この一例において、第１ユーザーＵ１）の頭部に対応する頭部部分２１と、当該ユーザーの右腕に対応するロボットアーム（マニピュレーター）である右腕部分２２と、当該ユーザーの左腕に対応するロボットアーム（マニピュレーター）である左腕部分２３を備える。また、ロボット２０は、頭部部分２１、右腕部分２２、左腕部分２３のそれぞれを支持する支持部分２４を備える。なお、ロボット２０は、頭部部分２１を備えない構成であってもよく、１本のロボットアーム（マニピュレーター）のみを備える単腕ロボットであってもよく、３本以上のロボットアームを備える複腕ロボットであってもよく、他の構成のロボットであってもよい。

【0065】

頭部部分２１は、予め決められた１以上の軸それぞれの周りに回動可能に支持部分２４によって支持される。以下では、一例として、頭部部分２１が、予め決められた２軸それぞれの周りに回動可能に支持部分２４によって支持される場合について説明する。頭部部分２１は、当該２軸それぞれの周りに頭部部分２１を回動させるアクチュエーターを備える。ここで、頭部部分２１の姿勢は、頭部部分２１が備える１以上のアクチュエーター毎の回動角、角速度、角加速度、トルクのそれぞれによって決定される。頭部部分２１は、ロボット制御装置３０からの要求に応じて当該アクチュエーターを動作させ、頭部部分２１の姿勢を変化させる。また、頭部部分２１は、当該要求に応じて、当該１以上のアクチュエーター毎の回動角、角速度、角加速度、トルクのそれぞれを示す情報を、頭部部分２１の姿勢を示す情報としてロボット制御装置３０に出力する。

【0066】

また、頭部部分２１は、前述した撮像部を備える。当該撮像部は、例えば、集光された光を電気信号に変換する撮像素子であるＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を備えたステレオカメラである。頭部部分２１が撮像部を備えるので、撮像部が撮像可能な範囲は、頭部部分２１の姿勢に応じて変化する。撮像部は、当該範囲の動画像を撮像するが、これに代えて、当該範囲の静止画像を撮像する構成であってもよい。当該撮像部は、当該範囲を撮像した画像を前述の視覚情報としてロボット制御装置３０に出力する。なお、当該撮像部は、ステレオカメラに代えて、単眼のカメラであってもよく、３以上の複眼のカメラであってもよい。

【0067】

また、頭部部分２１は、前述したロボット２０が備える音検出部を備える。当該音検出部は、例えば、頭部部分２１の周囲の音を検出するセンサーである。頭部部分２１は、当該音検出部が検出した音を示す出力値を含む情報を前述の聴覚情報としてロボット制御装置３０に出力する。

【0068】

右腕部分２２は、複数の関節を備えるロボットアームであり、ユーザー装置１０が装着されたユーザー（この一例において、第１ユーザーＵ１）の右手に対応するロボットハンドをエンドエフェクターとして備えるロボットアームである。なお、右腕部分２２の関節の数は、右腕部分２２の姿勢を、当該ユーザーのユーザー右腕姿勢及び当該ユーザーのユーザー右手指姿勢のそれぞれに対応する姿勢に変化させることが可能であれば、如何なる数であってもよい。右腕部分２２が備える各関節は、関節を回動させるアクチュエーターを備える。

【0069】

ここで、右腕部分２２の姿勢は、右腕部分２２が備える複数のアクチュエーター毎の回動角、角速度、角加速度、トルクのそれぞれによって決定される。右腕部分２２は、ロボット制御装置３０からの要求に応じて当該アクチュエーターを動作させ、右腕部分２２の姿勢を変化させる。また、右腕部分２２は、当該要求に応じて、当該１以上のアクチュエーター毎の回動角、角速度、角加速度、トルクのそれぞれを示す情報を、右腕部分２２の姿勢を示す情報としてロボット制御装置３０に出力する。

【0070】

右腕部分２２のロボットハンドが備える指部それぞれの先端には、前述の図示しない触覚センサーが備えられている。指部は、当該ロボットハンドの部位のうちユーザー装置１０が装着されたユーザー（この一例において、第１ユーザーＵ１）の右手の各指に対応する部位である。触覚センサーは、検出した圧力を示す出力値を含む情報を触覚情報としてロボット制御装置３０に出力する。

【0071】

左腕部分２３は、複数の関節を備えるロボットアームであり、ユーザー装置１０が装着されたユーザー（この一例において、第１ユーザーＵ１）の左手に対応するロボットハンドをエンドエフェクターとして備えるロボットアームである。なお、左腕部分２３の関節の数は、左腕部分２３の姿勢を、当該ユーザーのユーザー左腕姿勢及び当該ユーザーのユーザー左手指姿勢のそれぞれに対応する姿勢に変化させることが可能であれば、如何なる数であってもよい。左腕部分２３が備える各関節は、関節を回動させるアクチュエーターを備える。

【0072】

ここで、左腕部分２３の姿勢は、左腕部分２３が備える複数のアクチュエーター毎の回動角、角速度、角加速度、トルクのそれぞれによって決定される。左腕部分２３は、ロボット制御装置３０からの要求に応じて当該アクチュエーターを動作させ、左腕部分２３の姿勢を変化させる。また、左腕部分２３は、当該要求に応じて、当該１以上のアクチュエーター毎の回動角、角速度、角加速度、トルクのそれぞれを示す情報を、左腕部分２３の姿勢を示す情報としてロボット制御装置３０に出力する。

【0073】

左腕部分２３のロボットハンドが備える指部それぞれの先端には、前述の図示しない触覚センサーが備えられている。指部は、ロボットハンドの部位のうちユーザー装置１０が装着されたユーザー（この一例において、第１ユーザーＵ１）の左手の各指に対応する部位である。触覚センサーは、検出した圧力を示す出力値を含む情報を触覚情報としてロボット制御装置３０に出力する。

【0074】

ここで、ロボット２０の姿勢は、頭部部分２１の姿勢と、右腕部分２２の姿勢と、左腕部分２３の姿勢とによって表される。すなわち、ロボット２０の姿勢が変化したということは、頭部部分２１の姿勢と、右腕部分２２の姿勢と、左腕部分２３の姿勢との少なくとも一部が変化したということを意味する。

【0075】

ロボット制御装置３０は、ユーザー装置１０からネットワークＮを介してユーザー情報を取得する。また、ロボット制御装置３０は、ロボット２０から変化前ロボット情報を取得する。変化前ロボット情報は、取得したユーザー情報に基づいてロボット制御装置３０が姿勢を変化させる前のロボット２０の姿勢である変化前姿勢を示す変化前姿勢情報を含む情報である。なお、変化前ロボット情報は、変化前姿勢情報に加えて、他の情報を含む構成であってもよい。以下では、一例として、ロボット２０が検出した検出情報が、変化前姿勢情報とともに変化前ロボット情報に含まれる場合について説明する。当該検出情報は、前述した通り、視覚情報、触覚情報、聴覚情報のそれぞれを含む情報である。

【0076】

ロボット制御装置３０は、取得したユーザー情報に基づいてロボット制御装置３０が姿勢を変化させる前の頭部部分２１の姿勢を示す情報、当該前の右腕部分２２の姿勢を示す情報、当該前の左腕部分２３の姿勢を示す情報のそれぞれを含む変化前姿勢情報と、当該前の視覚情報、当該前の触覚情報、当該前の聴覚情報のそれぞれを含む検出情報と、を含む検出情報をロボット２０から取得する。ここで、ロボット制御装置３０は、当該前の頭部部分２１の姿勢を示す情報と、当該前の視覚情報と、当該前の聴覚情報との３つの情報を頭部部分２１から取得する。また、ロボット制御装置３０は、当該前の右腕部分２２の姿勢を示す情報と、当該前の触覚情報であって右腕部分２２により検出された触覚情報との２つの情報を右腕部分２２から取得する。また、ロボット制御装置３０は、当該前の左腕部分２３の姿勢を示す情報と、当該前の触覚情報であって左腕部分２３により検出された触覚情報との２つの情報を左腕部分２３から取得する。なお、変化前ロボット情報は、第２情報の一例である。また、検出情報は、第１検出情報、第３検出情報、第５検出情報それぞれの一例である。

【0077】

また、ロボット制御装置３０は、サーバーＳＢのデータベースＤＢに予め記憶された基準情報を、ネットワークＮを介してサーバーＳＢから読み出す。基準情報は、第２ユーザーＵ２の姿勢である第２ユーザー姿勢を示す第２ユーザー姿勢情報毎に第２ユーザー姿勢情報と基準となる姿勢を示す基準姿勢情報とが対応付けられた情報を含む。ある第２ユーザー姿勢情報に対応付けられた基準姿勢情報が示す姿勢は、第２ユーザーにより操作されるロボットである第２ロボットの姿勢のうち当該第２ユーザー姿勢情報が示す第２ユーザー姿勢に対応する姿勢である。第２ロボットは、ロボット２０であってもよく、ロボット２０と異なるロボットであってもよい。以下では、一例として、第２ロボットがロボット２０である場合について説明する。

【0078】

基準情報は、ロボット２０の操作であってロボットシステム１における操作に第１ユーザーＵ１よりも習熟したユーザーである第２ユーザーＵ２が過去にロボット２０を操作した際の第２ユーザー姿勢情報と、第２ユーザーＵ２によって操作されたロボット２０の姿勢を示す情報であって当該基準となる姿勢を示す基準姿勢情報とが対応付けられた履歴情報である。なお、基準情報には、第２ユーザー姿勢情報毎に第２ユーザー姿勢情報と基準姿勢情報とが対応付けられた情報に加えて、他の情報が含まれてもよい。また、第２ユーザーは、第１ユーザーＵ１と同一人物であってもよい。

【0079】

ロボット制御装置３０は、第１ユーザーＵ１に装着されたユーザー装置１０から取得した第１ユーザーに対応するユーザー情報と、ロボット２０から取得した変化前ロボット情報と、サーバーＳＢのデータベースＤＢから読み出した基準情報とに基づいて、ロボット２０の姿勢であって当該ユーザー情報に含まれているユーザー姿勢情報が示すユーザー姿勢に対応する標的姿勢を決定する。そして、ロボット制御装置３０は、ロボット２０を動作させ、決定した標的姿勢にロボット２０の姿勢を変化させる。これにより、ロボット制御装置３０は、第１ユーザーＵ１によるロボット２０の操作を補助することができる。

【0080】

この一例では、ユーザー装置１０が第１ユーザーＵ１に装着されているため、ロボット制御装置３０は、サーバーＳＢのデータベースＤＢから読み出した基準情報と、ユーザー装置１０から取得したユーザー情報と、ロボット２０から取得した変化前ロボット情報とに基づいて、ロボット２０の姿勢であって当該ユーザー情報に含まれている第１ユーザー姿勢情報が示す第１ユーザー姿勢に対応する標的姿勢を決定する。そして、ロボット制御装置３０は、ロボット２０を動作させ、決定した標的姿勢にロボット２０の姿勢を変化させる。これにより、ロボット制御装置３０は、第１ユーザーＵ１によるロボット２０の操作を補助することができる。

【0081】

サーバーＳＢは、デスクトップＰＣ（Personal Computer）、ワークステーション等の情報処理装置により実現された記憶装置である。サーバーＳＢは、ネットワークＮを介してユーザー装置１０、ロボット２０（すなわち、ロボット制御装置３０）のそれぞれと互いに通信可能に接続される。前述した通り、サーバーＳＢは、データベースＤＢを予め格納する。サーバーＳＢのデータベースＤＢは、ロボット制御装置３０からの要求に応じて、基準情報をロボット制御装置３０に出力する。

【0082】

＜ロボット制御装置の機能構成＞
以下、図２を参照し、ロボット制御装置３０の機能構成について説明する。図２は、ロボット制御装置３０の機能構成の一例を示す図である。

【0083】

ロボット制御装置３０は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等である記憶部３２と、ＵＳＢ（Universal Serial Bus）等のデジタル入出力ポートやイーサネット（登録商標）ポート等を含む通信ポートである通信部３４と、ロボット制御部３５と、制御装置３６を備える。なお、ロボット制御装置３０は、前述した通り、制御装置３６と別体であってもよい。

【0084】

ロボット制御部３５は、ロボット制御装置３０の全体を制御する。また、ロボット制御部３５は、ロボット２０を動作させ、制御装置３６により決定された標的姿勢にロボット２０の姿勢を変化させる。ロボット制御部３５は、例えば、図示しないＣＰＵ（Central Processing Unit）が、記憶部３２に記憶された各種プログラムを実行することにより実現される。また、ロボット制御部３５は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア機能部であってもよい。

【0085】

制御装置３６は、ユーザー情報取得部３６１と、変化前ロボット情報取得部３６２と、変化後ロボット情報取得部３６３と、特定部３６４と、決定部３６５と、生成部３６６と、記憶制御部３６７を備える。制御装置３６が備えるこれらの機能部は、例えば、図示しないＣＰＵが、記憶部３２に記憶された各種プログラムを実行することにより実現される。また、当該機能部のうちの一部又は全部は、ＬＳＩやＡＳＩＣ等のハードウェア機能部であってもよい。

【0086】

ユーザー情報取得部３６１は、ネットワークＮを介してユーザー装置１０からユーザー情報を取得する。なお、ユーザー情報取得部３６１は、第１情報取得部及び第３情報取得部の一例である。

【0087】

変化前ロボット情報取得部３６２は、ロボット２０から変化前ロボット情報を取得する。なお、変化前ロボット情報取得部３６２は、第２情報取得部の一例である。

【0088】

変化後ロボット情報取得部３６３は、ロボット２０から変化後ロボット情報を取得する。変化後ロボット情報は、ユーザー情報取得部３６１が取得したユーザー情報に含まれるユーザー姿勢情報が示すユーザー姿勢に対応する姿勢にロボット２０の姿勢を変化させた後のロボット２０の姿勢である変化後情報を含む情報である。また、変化後ロボット情報は、後述する生成部３６６が前述の基準情報を生成するために用いる情報である。なお、変化後ロボット情報取得部３６３は、第４情報取得部の一例である。また、変化後ロボット情報は、第４情報、第６情報の一例である。

【0089】

特定部３６４は、サーバーＳＢのデータベースＤＢからネットワークＮを介して基準情報を読み出す。特定部３６４は、読み出した基準情報の中から、ユーザー情報取得部３６１が取得したユーザー情報に含まれるユーザー姿勢情報と、変化前ロボット情報取得部３６２が取得した変化前ロボット情報に含まれる変化前姿勢情報とに応じた基準姿勢情報を対象基準姿勢情報として特定する。

【0090】

決定部３６５は、特定部３６４が特定した対象基準姿勢情報に基づいて、ユーザー情報取得部３６１が取得したユーザー情報に含まれるユーザー姿勢情報が示すユーザー姿勢に対応する標的姿勢を決定する。

【0091】

生成部３６６は、ユーザー情報取得部３６１が取得したユーザー情報と、変化後ロボット情報取得部３６３が取得した変化後ロボット情報とに基づいて、データベースＤＢに記憶させる基準情報を生成する。
記憶制御部３６７は、生成部３６６が生成した基準情報をデータベースＤＢに記憶させる。

【0092】

＜ロボット制御装置がロボットを動作させる処理＞
以下、図３を参照し、ロボット制御装置３０がロボット２０を動作させる処理について説明する。図３は、ロボット制御装置３０がロボット２０を動作させる処理の流れの一例を示す図である。以下では、ロボット制御装置３０が、ユーザー装置１０が装着されたユーザー（この一例において、第１ユーザーＵ１）によるロボット２０の操作を開始させる開始操作をステップＳ１１０が実行されるよりも前のタイミングにおいて受け付けている場合について説明する。

【0093】

特定部３６４は、サーバーＳＢのデータベースＤＢから基準情報を読み出す（ステップＳ１１０）。ここで、データベースＤＢには、複数の基準情報が記憶されている構成であってもよい。この場合、基準情報のそれぞれには、ユーザーが所望する基準情報を特定部３６４が読み出すために必要な識別情報が対応付けられる。識別情報は、例えば、第２ユーザーを示すユーザー識別情報、第２ユーザーによるロボット２０の操作の習熟度を示す習熟度情報、ロボット２０に行わせる作業の種類を示す作業情報のうちの少なくとも１つが含まれる情報である。なお、識別情報には、ユーザー識別情報、習熟度情報、作業情報のうちの一部又は全部に代えて、他の情報が含まれてもよく、ユーザー識別情報、習熟度情報、作業情報のうちの一部又は全部に加えて、他の情報が含まれてもよい。

【0094】

特定部３６４は、ステップＳ１１０の処理が実行されるよりも前のタイミングにおいて、ユーザーから識別情報を予め受け付ける。そして、特定部３６４は、ステップＳ１１０において、受け付けた識別情報に対応付けられた基準情報をデータベースＤＢから読み出す。この際、特定部３６４は、機械学習のアルゴリズムに基づいて、受け付けた識別情報と最も似ている識別情報に対応付けられた基準情報をデータベースＤＢから読み出す構成であってもよい。この場合、当該機械学習のアルゴリズムには、識別情報と、識別情報に応じた基準情報との組み合わせを学習させておく必要がある。当該機械学習のアルゴリズムは、深層学習等の既知のアルゴリズムであってもよく、これから開発されるアルゴリズムであってもよい。

【0095】

次に、ロボット制御部３５及び制御装置３６は、前述の所定時間が経過する毎に、ステップＳ１３０～ステップＳ１８０の処理を繰り返し行う（ステップＳ１２０）。

【0096】

ユーザー情報取得部３６１は、ネットワークＮを介してユーザー装置１０からユーザー情報を取得する（ステップＳ１３０）。次に、変化前ロボット情報取得部３６２は、ロボット２０から変化前ロボット情報を取得する（ステップＳ１４０）。なお、ロボット制御装置３０において、ステップＳ１３０とステップＳ１４０の処理は、逆の順に行われてもよく、並列に行われてもよい。

【0097】

次に、特定部３６４は、ステップＳ１１０においてデータベースＤＢから読み出した基準情報の中から、ステップＳ１３０においてユーザー情報取得部３６１が取得したユーザー情報に含まれる第１ユーザー姿勢情報と、ステップＳ１４０において変化前ロボット情報取得部３６２が取得した変化前ロボット情報に含まれる変化前姿勢情報とに応じた基準姿勢情報を対象基準姿勢情報として特定する（ステップＳ１５０）。ここで、ステップＳ１５０の処理について説明する。

【0098】

特定部３６４は、ステップＳ１３０においてユーザー情報取得部３６１から取得したユーザー情報に含まれる第１ユーザー姿勢情報を、逆運動学に基づいて、ロボット２０が備える１以上のモーター毎の回動角、角速度、角加速度、トルクのそれぞれによって表される情報である仮標的姿勢情報に変換する。特定部３６４は、当該第１ユーザー姿勢情報を変換した仮標的姿勢情報と、ステップＳ１４０において変化前ロボット情報取得部３６２から取得した変化前ロボット情報に含まれる変化前姿勢情報とを（入力パラメーターとして）用いて、機械学習のアルゴリズムに基づいて、ステップＳ１１０においてデータベースＤＢから読み出した基準情報の中から、当該仮標的姿勢情報と当該変化前姿勢情報とに応じた基準姿勢情報として最も尤もらしい基準姿勢情報を対象基準姿勢情報として特定する。

【0099】

この場合、当該機械学習のアルゴリズムには、当該仮標的姿勢情報と、当該変化前姿勢情報と、当該仮標的姿勢情報及び当該変化前姿勢情報に応じた基準姿勢情報との組み合わせを学習させておく必要がある。当該機械学習のアルゴリズムは、深層学習等の既知のアルゴリズムであってもよく、これから開発されるアルゴリズムであってもよい。

【0100】

なお、基準情報は、第２ユーザー姿勢情報毎に第２ユーザー姿勢情報と基準姿勢情報とが対応付けられた情報を含む情報であったが、これに代えて、基準姿勢情報を含む情報であって第２ユーザー姿勢情報を含まない情報であってもよい。この場合、特定部３６４は、当該仮標的姿勢情報を（入力パラメーターとして）用いて、当該機械学習のアルゴリズムに基づいて、ステップＳ１１０においてデータベースＤＢから読み出した基準情報の中から、当該仮標的姿勢情報に応じた基準姿勢情報として最も尤もらしい基準姿勢情報を対象基準姿勢情報として特定する。また、基準情報は、第２ユーザー姿勢情報毎に第２ユーザー姿勢情報と基準姿勢情報と他の情報が対応付けられた情報であってもよい。

【0101】

この場合、特定部３６４は、当該仮標的姿勢情報と当該変化前姿勢情報と当該他の情報とを（入力パラメーターとして）用いて、当該機械学習のアルゴリズムに基づいて、ステップＳ１１０においてデータベースＤＢから読み出した基準情報の中から、当該仮標的姿勢情報に応じた基準姿勢情報として最も尤もらしい基準姿勢情報を対象基準姿勢情報として特定する。当該他の情報は、例えば、第２ロボット（この一例において、ロボット２０）により検出された検出情報である第２検出情報等である。

【0102】

ステップＳ１５０の処理が行われた後、決定部３６５は、ステップＳ１５０において特定部３６４が変換した仮標的姿勢情報と、ステップＳ１５０において特定部３６４が特定した対象基準姿勢情報とに基づいて、ステップＳ１３０においてユーザー情報取得部３６１が取得した第１ユーザー姿勢情報が示す姿勢に対応する姿勢である標的姿勢を決定する（ステップＳ１６０）。標的姿勢は、第１ユーザーＵ１の姿勢が、当該第１ユーザー姿勢情報が示すユーザー姿勢である場合に、ロボット２０の姿勢を一致させたい所望の姿勢のことである。ここで、ステップＳ１６０の処理について説明する。

【0103】

決定部３６５は、例えば、ステップＳ１５０において特定部３６４が変換した仮標的姿勢情報と、ステップＳ１５０において特定部３６４が特定した対象基準姿勢情報との差分を算出する。ここで、仮標的姿勢情報は、仮標的姿勢情報が示す姿勢を表す複数の回動角、複数の角速度、複数の角加速度、複数のトルクのそれぞれを成分として有するベクトルによって表される。また、対象基準姿勢情報は、対象基準姿勢情報が示す姿勢を表す複数の回動角、複数の角速度、複数の角加速度、複数のトルクのそれぞれを成分として有するベクトルによって表される。決定部３６５は、これらのベクトルの差分ベクトルを、仮標的姿勢情報を補正する補正量を算出するために用いる仮補正量として算出する。

【0104】

そして、決定部３６５は、算出した仮補正量と、当該仮標的姿勢情報とを用いて、機械学習のアルゴリズムに基づいて、仮標的姿勢情報を補正する補正量として最も尤もらしい補正量を算出する。この場合、当該機械学習のアルゴリズムには、仮標的姿勢情報と、仮補正量と、仮標的姿勢情報及び仮補正量に応じた補正量との組み合わせを学習させておく必要がある。機械学習のアルゴリズムは、深層学習等の既知のアルゴリズムであってもよく、これから開発されるアルゴリズムであってもよい。決定部３６５は、算出した補正量を仮標的姿勢情報に足すことによって仮標的姿勢情報を補正し、補正した仮標的姿勢情報が示す姿勢を標的姿勢として決定する。ここで、当該補正量は、仮標的姿勢情報と対象基準姿勢情報との差を小さくする補正量である。

【0105】

なお、決定部３６５は、差分ベクトルを算出することなく、ステップＳ１５０において特定部３６４が変換した仮標的姿勢情報と、ステップＳ１５０において特定部３６４が特定した対象基準姿勢情報とを用いて、機械学習のアルゴリズムに基づいて、仮標的姿勢情報を補正する補正量として最も尤もらしい補正量を算出してもよい。この場合、機械学習のアルゴリズムには、仮標的姿勢情報と、対象基準姿勢情報と、仮標的姿勢情報及び対象基準姿勢情報に応じた補正量との組み合わせを学習させておく必要がある。

【0106】

ステップＳ１６０の処理が行われた後、ロボット制御部３５は、ロボット２０を動作させ、ステップＳ１６０において決定部３６５が決定した標的姿勢を示す情報に基づいて、ロボット２０の姿勢を当該標的姿勢に変化させる（ステップＳ１７０）。次に、ロボット制御部３５は、ロボット２０の操作を終了させる終了操作をユーザーから受け付けたか否かを判定する（ステップＳ１８０）。終了操作をユーザーから受け付けたと判定した場合（ステップＳ１８０－ＹＥＳ）、ロボット制御部３５は処理を終了する。一方、終了操作をユーザーから受け付けていないとロボット制御部３５が判定した場合、ユーザー情報取得部３６１は、ステップＳ１３０に遷移し、再びネットワークＮを介してユーザー装置１０からユーザー情報を取得する。

【0107】

以上のように、ロボット制御装置３０は、第１情報（本実施形態におけるユーザー情報）を取得し、変化前姿勢を示す変化前姿勢情報と第１検出情報とのうち少なくとも変化前姿勢情報を含む第２情報（本実施形態における変化前ロボット情報）を取得する。そして、ロボット制御装置３０は、第２ユーザーの姿勢である第２ユーザー姿勢を示す第２ユーザー姿勢情報毎に第２ユーザー姿勢情報と基準となる姿勢を示す基準姿勢情報とが対応付けられた情報を含む基準情報と、取得した第１情報と、取得した第２情報とに基づいて、第１ロボット（この一例において、ロボット２０）の姿勢であって当該第１情報に含まれている第１ユーザー姿勢情報が示す第１ユーザー姿勢に対応する標的姿勢を決定する。これにより、ロボット制御装置３０は、ロボット２０の操作に慣れていない第１ユーザーが、基準情報に対応する好ましい操作と同等の操作をできるように第１ユーザーを補助することができる。

【0108】

＜ロボット制御装置が基準情報を生成する処理＞
ロボットシステム１では、上記において説明した基準情報を生成する処理も行われる。そこで、以下では、当該処理について説明する。また、以下では、一例として、ユーザー装置１０が、第３ユーザーに装着されている場合について説明する。第３ユーザーは、例えば、基準となる好ましい操作を行うことができるユーザーである。なお、第３ユーザーは、前述の第２ユーザー、又は第１ユーザーＵ１と同一人物であってもよい。なお、ロボットシステム１は、当該処理を行わない構成であってもよい。この場合、サーバーＳＢのデータベースＤＢには、他の情報処理装置によって基準情報が記憶される。また、この場合、ロボット制御装置３０（又は制御装置３６）は、以下において詳しく説明する生成部３６６を備えない。

【0109】

また、ロボットシステム１は、図３に示したフローチャートの処理を行わない構成であってもよい。この場合、サーバーＳＢのデータベースＤＢに記憶された基準情報は、他の情報処理装置によって使用される。また、当該場合、ロボット制御装置３０（又は制御装置３６）は、特定部３６４、決定部３６５のそれぞれを備えない。

【0110】

以下、図４を参照し、ロボット制御装置３０が基準情報を生成する処理について説明する。図４は、ロボット制御装置３０が基準情報を生成する処理の流れの一例を示す図である。図４に示したフローチャートは、第３ユーザーによる第３ロボットの操作が開始されたタイミングから当該操作が終了されたタイミングまでの間においてロボット制御装置３０が行う処理の流れを示す。ただし、当該フローチャートでは、第３ユーザーによる第３ロボットの操作に関する処理の流れについては、省略している。第３ロボットは、第３ユーザーによって操作されるロボットである。以下では、一例として、第３ロボットがロボット２０である場合について説明する。なお、第３ロボットは、ロボット２０に代えて、他のロボットであってもよい。

【0111】

ロボット制御部３５及び制御装置３６は、第３ユーザーによるロボット２０の操作が開始されたタイミングから所定時間が経過する毎に、ステップＳ２２０～ステップＳ２６０の処理を繰り返し行う（ステップＳ２１０）。

【0112】

ユーザー情報取得部３６１は、ネットワークＮを介してユーザー装置１０から、第３ユーザーの姿勢である第３ユーザー姿勢を示す第３ユーザー姿勢情報を含む情報であるユーザー情報を取得する（ステップＳ２２０）。次に、変化後ロボット情報取得部３６３は、ロボット２０から前述の変化後ロボット情報を取得する（ステップＳ２３０）。なお、ロボット制御装置３０において、ステップＳ２２０とステップＳ２３０の処理は、逆の順に行われてもよく、並列に行われてもよい。また、ロボット制御装置３０は、ロボット２０から変化後ロボット情報を取得するとともに、変化後ロボット情報に含まれる変化後姿勢情報が示す姿勢に対応するユーザー姿勢を示すユーザー姿勢情報を含むユーザー情報を取得する構成であってもよい。

【0113】

次に、生成部３６６は、ステップＳ２２０においてユーザー情報取得部３６１が取得した第３ユーザー情報と、ステップＳ２３０において変化後ロボット情報取得部３６３が取得した変化後ロボット情報とに基づいて、当該第３ユーザー姿勢情報と基準となる姿勢を示す基準姿勢情報とが対応付けられた情報を含む基準情報を生成する（ステップＳ２４０）。ここで、ステップＳ２４０の処理について説明する。

【0114】

生成部３６６は、ステップＳ２２０においてユーザー情報取得部３６１が取得したユーザー情報と、ステップＳ２３０において変化後ロボット情報取得部３６３が取得した変化後ロボット情報とを用いて、機械学習のアルゴリズムに基づいて、前記基準情報を生成する。具体的には、生成部３６６は、当該ユーザー情報に含まれる第３ユーザー姿勢情報と、当該変化後ロボット情報に含まれる変化後姿勢情報とを用いて、機械学習のアルゴリズムに基づいて、当該第３ユーザー姿勢情報が示す第３ユーザー姿勢に対応する姿勢として最も尤もらしい姿勢を、基準となる姿勢を示す基準姿勢情報であって当該第３ユーザー姿勢に対応する基準姿勢情報として算出する。生成部３６６は、算出した当該基準姿勢情報と、当該第３ユーザー姿勢情報とを対応付けた情報を含む基準情報を生成する。ここで、当該機械学習のアルゴリズムには、第３ユーザー姿勢情報と、変化後姿勢情報と、基準姿勢情報との組み合わせを学習させておく必要がある。当該機械学習のアルゴリズムは、深層学習等の既知のアルゴリズムであってもよく、これから開発されるアルゴリズムであってもよい。

【0115】

なお、生成部３６６は、ステップＳ２３０において変化後ロボット情報取得部３６３が取得した変化後ロボット情報に含まれる変化後姿勢情報を基準姿勢情報として特定し、特定した基準姿勢情報と、ステップＳ２２０においてユーザー情報取得部３６１が取得したユーザー情報に含まれる第３ユーザー姿勢情報とを対応付けた情報を含む基準情報を生成してもよい。

【0116】

また、生成部３６６は、過去に生成された基準情報をサーバーＳＢのデータベースＤＢから取得可能な場合、当該基準情報を取得し、取得した当該基準情報と、ユーザー情報取得部が取得したユーザー情報と、変化後ロボット情報取得部が取得した変化後ロボット情報とを用いて、機械学習のアルゴリズムに基づいて、当該ユーザー情報に含まれる第３ユーザー姿勢情報に対応する姿勢として最も尤もらしい姿勢を算出してもよい。この場合、生成部３６６は、算出した姿勢を示す情報を、当該第３ユーザー姿勢情報に対応付ける基準姿勢情報として特定し、特定した基準姿勢情報と当該第３ユーザー姿勢情報とが対応付けられた情報を含む基準情報を生成する。

【0117】

ステップＳ２４０の処理が行われた後、記憶制御部３６７は、ステップＳ２４０において生成部３６６が生成した基準情報を、ネットワークＮを介してサーバーＳＢのデータベースＤＢに記憶させる（ステップＳ２５０）。次に、ロボット制御部３５は、ユーザー装置１０が装着されたユーザー（この一例において、第３ユーザー）によるロボット２０の操作を終了させる終了操作を受け付けたか否かを判定する（ステップＳ２６０）。終了操作を受け付けたと判定した場合（ステップＳ２６０－ＹＥＳ）、ロボット制御部３５は、処理を終了する。一方、終了操作を受け付けていないとロボット制御部３５が判定した場合、ユーザー情報取得部３６１は、ステップＳ２２０に遷移し、再びネットワークＮを介してユーザー装置１０からユーザー情報を取得する。

【0118】

ここで、上記において説明したステップＳ２１０～ステップＳ２６０の処理について、簡単にまとめる。図４に示したフローチャートにおけるステップＳ２２０及びステップＳ２３０の処理は、換言すると、制御装置３６が基準情報を機械学習のアルゴリズムによって生成するための教師データを取得する処理である。そして、ステップＳ２４０～ステップＳ２５０の処理は、取得した教師データを用いて、機械学習のアルゴリズムが生成するモデルとして基準情報を生成する処理である。

【0119】

従来、教師データを取得するためには、教師データを取得するための試験的な（予備的な）ロボットシステム１の運用を行わなければならなかった。しかし、ロボットシステム１では、制御装置３６がステップＳ２２０～ステップＳ２３０の処理を行うため、試験的なロボットシステム１の運用を必要とせず、ロボット２０に試験的ではない作業（例えば本番の作業）を行わせている状態において制御装置３６が教師データの取得を行うことができる。

【0120】

また、制御装置３６は、図４に示したフローチャートにおいて教師データとして取得したユーザー情報及び変化後ロボット情報をサーバーＳＢに記憶させない構成であったが、これに代えて、当該ユーザー情報及び当該変化後ロボット情報をサーバーＳＢに記憶させる構成であってもよい。これにより、制御装置３６は、ロボット２０の操作に関する教師データについてのビッグデータを構築することができる。このようにして構築されたビッグデータに基づいて生成される基準情報は、ユーザーによるロボットの操作を補助することに用いることができるとともに、ユーザーによる操作を必要とせずにロボット制御装置３０がロボット２０を自動的に動かすための情報として用いることができる。

【0121】

ある作業についてロボット制御装置３０がロボット２０を自動的に動かすことが可能となった場合、ロボットシステム１では、ユーザーがロボット２０を操作することにより、当該作業と異なる作業をロボット２０に行わせるとともに、制御装置３６が当該作業をロボット２０に自動的に行わせるために必要な教師データの取得を行う。このような工程が繰り返し行われることにより、最終的には、ロボットシステム１は、ユーザーが行うほぼすべての作業を自動的にロボット２０に行わせることができるようになる。

【0122】

なお、ロボットシステム１は、複数のユーザー装置１０と、各ユーザー装置１０に対応するロボット２０を備える構成であってもよい。すなわち、ロボットシステム１では、複数のユーザー装置１０のそれぞれに対応するロボット２０のうちの一部に自動的に所定の作業（ロボット２０毎に異なる作業であってもよい）を行わせ、複数のユーザー装置１０のそれぞれに対応するロボット２０のうち当該一部以外のロボット２０をユーザーが操作し、当該一部のロボット２０のうち所望の動作を行っていないロボット２０を、ユーザーにより操作されたロボット２０が補助することができる。

【0123】

また、構築されたビッグデータに基づいて生成される基準情報は、ユーザーによって操作されるロボット２０の動作を、ユーザーが行っている作業に適した動作に改善することに用いられてもよい。この場合、ロボットシステム１では、ロボット制御装置３０（すなわち、制御装置３６）が、当該基準情報に基づいて、ユーザーによる操作に基づくロボット２０の動作を、当該作業に適した動作に改善（変更）する。これにより、ロボット制御装置３０は、技能が低いユーザーが操作した場合であっても、ロボット２０に適切な動作をさせることができる。

【0124】

また、構築されたビッグデータに基づいて生成される基準情報は、ユーザーによって操作されるロボット２０の少なくとも一部の身体機能を補完することに用いられてもよい。この場合、ロボット制御装置３０（すなわち、制御装置３６）は、当該基準情報に基づいて、ユーザーによって操作されるロボット２０の少なくとも一部の身体機能を補完する。この場合、ロボット制御装置３０は、例えば、複数のロボット（一部又は全部がロボット２０であってもよく、ロボット２０ではなくてもよい）を、１人のユーザーによる操作によって動作させることができる。この際、ロボット制御装置３０は、当該複数のロボットを、当該操作によってほぼ同時に動作させてもよく、当該複数のロボットの一部又は全部を異なるタイミングで動作させてもよい。

【0125】

この場合、ロボット制御装置３０は、複数の地域から１つのロボット２０へのログインを受け付け、ログインしたユーザーにロボット２０を操作させることができる。その結果、各地域のユーザーは、時差を活用してロボット２０を長期間休みなく稼働させることができる。これにより、ロボット制御装置３０は、ロボット２０による作業を効率化させることができる。

【0126】

なお、上記において説明を省略していたが、制御装置３６が取得する変化前ロボット情報に含まれる各種の情報（変化前姿勢情報、視覚情報、触覚情報、聴覚情報）のそれぞれは、同期されていなければならない。当該各種の情報の同期は、ユーザー装置１０において行われてもよく、ロボット制御装置３０において行われてもよく、ネットワークＮに接続された他の装置によって行われてもよい。また、この当該各種の情報の同期は、例えば、タイムスタンプによって実現される。なお、当該同期は、タイムスタンプ以外の方法によって実現されてもよい。

【0127】

また、制御装置３６は、ユーザー姿勢情報を含まないユーザー情報を教師データとして取得してもよく、変化後姿勢情報を含まない変化後ロボット情報を教師データとして取得してもよい。この場合、ユーザー情報には、例えば、ユーザー装置１０に備えられた各種のセンサー（例えば、撮像部、触覚センサー、音検出部等）により検出された情報であってタイムスタンプ等によって同期された情報等が含まれる。また、この場合、変化後ロボット情報には、例えば、タイムスタンプ等によって同期された検出情報等が含まれる。すなわち、制御装置３６は、この場合、ユーザー姿勢情報、変化後姿勢情報の少なくとも一方を含まない教師データのビッグデータを構築する。また、この場合、制御装置３６は、例えば、他の装置によって生成された基準情報に基づいて、図３に示したフローチャートの処理を行ってもよく、当該処理を行わなくてもよい。

【0128】

また、上記において説明したロボットシステム１は、制御装置３６を備えたテレイグジスタンスの一例である。ここで、テレイグジスタンスについては、特公昭６２－２９１９６や上記の非特許文献１等に詳細な説明が記載されているため、説明を省略する。

【0129】

また、ロボットシステム１において構築されたビッグデータは、１人のユーザーが何度も繰り返しロボット２０に作業を行わせた場合における作業毎のユーザー情報及び変化後ロボット情報の集合であってもよく、複数人のユーザーのそれぞれがロボット２０に作業を行わせた場合におけるユーザー毎のユーザー情報及び変化後ロボット情報の集合であってもよい。

【0130】

以上のように、ロボット制御装置３０（又は制御装置３６）は、第３情報（この一例において、ユーザー情報）を取得し、取得した第３情報に含まれる第３ユーザー姿勢情報が示す姿勢に対応する標的姿勢に第３ロボット（この一例において、ロボット２０）の姿勢が変化した後の第３ロボットの姿勢である変化後姿勢を示す変化後姿勢情報と第３検出情報（この一例において、検出情報）とのうち少なくとも変化後姿勢情報を含む第４情報（この一例において、変化後ロボット情報）を取得する。そして、ロボット制御装置３０（又は制御装置３６）は、取得した第３情報と、取得した第４情報とに基づいて、当該第３情報に含まれる第３ユーザー姿勢情報毎に第３ユーザー姿勢情報と基準となる姿勢を示す基準姿勢情報とが対応付けられた情報を含む基準情報を生成する。これにより、ロボット制御装置３０は、生成した基準情報に基づいて、ユーザーによるロボットの操作を補助することができる。

【0131】

なお、ロボット制御装置３０と制御装置３６が別体の場合、制御装置３６は、ユーザー装置１０、ロボット２０、ロボット制御装置３０、サーバーＳＢのそれぞれと互いに通信可能に接続される。そして、制御装置３６は、決定部３６５が決定した標的姿勢を示す情報を、ロボット制御装置３０が備えるロボット制御部３５に出力し、生成部３６６が生成した基準情報をサーバーＳＢのデータベースＤＢに出力して記憶させる。また、当該場合、制御装置３６は、ユーザー装置１０が備える構成であってもよく、ロボット２０が備える構成であってもよく、サーバーＳＢが備える構成であってもよい。

【0132】

＜サーバーＳＢが制御装置３６を有する場合の処理＞
以上の説明においては、ロボット制御装置３０が制御装置３６を備える場合を例示したが、サーバーＳＢが制御装置３６を備えてもよい。図５は、サーバーＳＢが制御装置３６を備える場合に基準姿勢情報を生成する手順について説明するための図である。図６は、サーバーＳＢが制御装置３６を備える場合にロボット２０を制御する手順について説明するための図である。以下の説明における制御装置３６の構成及び動作を、既に説明したロボット制御装置３０が制御装置３６を備える場合に適用してもよい。

【0133】

（基準情報を生成する処理）
図５は、サーバーＳＢが、ロボット２０の操作を習熟した第２ユーザー（図５において符号Ｕ２で示すユーザー）の姿勢を示す基準姿勢情報となる第２ユーザー姿勢情報に基づいて基準情報を生成する処理を示している。サーバーＳＢは、ロボット制御装置３０を介して、ロボット２０の姿勢を示す姿勢情報を定期的に取得している。

【0134】

サーバーＳＢのユーザー情報取得部３６１が、ユーザー装置１０を介して第２ユーザー姿勢情報を取得すると（Ａ１）、変化前ロボット情報取得部３６２は、ユーザー情報取得部３６１が第２ユーザー姿勢情報を取得した時点での最新のロボット２０の姿勢情報を変化前姿勢情報として取得する（Ａ２）。

【0135】

第２ユーザーＵ２はロボット２０の操作に習熟しているので、変化前姿勢情報が示すロボット２０の姿勢において第２ユーザーＵ２が行った操作は、望ましい操作であると考えられる。そこで、生成部３６６は、変化前ロボット情報取得部３６２が取得した変化前姿勢情報と、ユーザー情報取得部３６１が取得した基準姿勢情報としての第２ユーザー姿勢情報とを関連付けることにより、複数の基準情報を生成する（Ａ３）。

【0136】

ところで、ロボット２０の姿勢が同一であっても、ユーザーが次に変化させたいと考えている姿勢が同一であるとは限らない。例えば、同一のロボット２０の姿勢から、ロボット２０に物体を掴ませる動作をさせる場合と、物体を倒す動作をさせる場合とが考え得る。そこで、生成部３６６は、ユーザー情報取得部３６１が第２ユーザー姿勢情報を取得する直前に取得した複数の変化前姿勢情報と第２ユーザー姿勢情報とを関連付けることにより複数の基準情報を生成してもよい。生成部３６６がこのようにして基準情報を生成することで、基準情報を用いることで、ロボット２０の操作に習熟していない第１ユーザーＵ１が、所望する動作をロボット２０にさせることができる確率が向上する。

【0137】

また、生成部３６６は、第２ユーザーの操作内容ごとに、変化前姿勢情報と第２ユーザー姿勢情報とを関連付けた複数の基準情報を生成してもよい。生成部３６６は、例えば、連続する複数の第２ユーザー姿勢情報に基づいて操作内容を推定し、推定した操作内容に対応する複数の基準情報を生成してデータベースＤＢに記憶させる。生成部３６６は、第２ユーザーにより入力された操作内容を示すテキスト情報に関連付けて複数の基準情報をデータベースＤＢに記憶させてもよい。具体的には、生成部３６６は、例えば変化前姿勢情報が示す変化前姿勢においてロボット２０に物体を掴ませるという操作内容、及び物体を倒させるという操作内容のそれぞれに関連付けて、基準姿勢情報をデータベースＤＢに記憶させる。生成部３６６は、第２ユーザーＵ２の属性（例えば、ロボット２０の操作経験の長さ、身体の大きさ、性別等）に関連付けて、複数の基準情報をデータベースに記憶させてもよい。

【0138】

生成部３６６は、変化前姿勢情報と第２ユーザー姿勢情報とを教師データとして、入力された変化前姿勢情報と第１ユーザー姿勢情報とに適した基準姿勢情報を出力可能な機械学習モデルを生成してもよい。生成部３６６は、例えば、既に構築された機械学習モデルに変化前姿勢情報と第２ユーザー姿勢情報とを入力することにより機械学習モデルを更新し、機械学習モデルに入力された第１ユーザー姿勢情報に適した基準姿勢情報を出力できるようにすることができる。

【0139】

また、生成部３６６は、第２ユーザー姿勢情報を直接的に用いる代わりに、第２ユーザー姿勢情報に基づいて動作したロボット２０の変化後姿勢情報に基づいて基準姿勢情報を生成してもよい。このようにするために、生成部３６６は、第２ユーザー姿勢情報に基づいてロボットが姿勢を変化させた後の変化後姿勢を示す変化後姿勢情報を取得する第４情報取得部としての変化後ロボット情報取得部３６３から変化後姿勢情報を取得する。生成部３６６は、変化前姿勢情報と変化後姿勢情報とに基づいて第２ユーザー姿勢情報を特定し、変化前姿勢情報と、特定した第２ユーザー姿勢情報とを関連付けることにより、複数の基準姿勢情報を生成する。

【0140】

（基準情報に基づいてロボット２０を動作させる処理）
続いて、図６を参照しながら、ロボット２０の操作に習熟していない第１ユーザーＵ１がロボット２０を操作する場合のサーバーＳＢの動作について説明する。図６に示す例においても、サーバーＳＢは、ロボット制御装置３０を介して、ロボット２０の姿勢を示す姿勢情報を定期的に取得している。

【0141】

サーバーＳＢのユーザー情報取得部３６１が、ユーザー装置１０を介して第１ユーザーＵ１姿勢情報を取得すると（Ｂ１）、変化前ロボット情報取得部３６２は、ユーザー情報取得部３６１が第２ユーザー姿勢情報を取得した時点での最新のロボット２０の姿勢情報を変化前姿勢情報として取得する（Ｂ２）。続いて、サーバーＳＢの決定部３６５は、変化前姿勢情報と、変化前姿勢情報が示す変化前姿勢をしている時点で第１情報取得部としてのユーザー情報取得部３６１が取得した第１ユーザー姿勢情報とに基づいて、第１ユーザーＵ１の姿勢と異なる標的姿勢をロボットの姿勢に決定する。

【0142】

具体的には、まず、特定部３６４はデータベースＤＢを参照して、複数の基準姿勢情報から一の基準姿勢情報を選択する（Ｂ３）。特定部３６４は、選択した基準姿勢情報を決定部３６５に通知する。決定部３６５は、通知された基準姿勢情報が示す姿勢を、標的姿勢として決定する。決定部３６５は、決定した標的姿勢に対応する基準姿勢情報を対象基準姿勢情報としてロボット制御装置３０に送信する（Ｂ４）。以下、特定部３６４の動作について詳細に説明する。

【0143】

特定部３６４は、ロボット２０の姿勢を変化させるために用いられる複数の基準姿勢情報のうち、変化前姿勢情報と、変化前姿勢情報が示す変化前姿勢をしている時点でユーザー情報取得部３６１が取得した第１ユーザー姿勢情報とに対応する対象基準姿勢情報を特定する。すなわち、特定部３６４は、それぞれ変化前姿勢情報と、変化前姿勢情報が示す変化前姿勢をしている過去の時点において取得された第２ユーザーＵ２の姿勢を示す基準姿勢情報とが関連付けられた複数の基準情報から選択した一の基準情報に対応する基準姿勢情報を対象基準姿勢情報として選択する。

【0144】

具体的には、まず、特定部３６４は、変化前姿勢情報と第１ユーザー姿勢情報とに基づいて、第１ユーザー姿勢情報が示す第１ユーザーＵ１の姿勢に対応する第２ユーザーＵ２の姿勢を推定する。そして、特定部３６４は、推定した第２ユーザーＵ２の姿勢を示す第２ユーザー姿勢情報に関連付けてデータベースＤＢに記憶されている基準姿勢情報を対象基準姿勢情報として特定する。特定部３６４がこのようにして対象基準姿勢情報を選択することで、決定部３６５は、第１ユーザーＵ１の姿勢に最も合った標的姿勢を決定することができるので、第１ユーザーＵ１がロボット２０を適切に操作しやすくなる。

【0145】

特定部３６４は、複数の基準情報の中から、第１情報取得部としてのユーザー情報取得部３６１が取得した第１ユーザー姿勢情報と、第２情報取得部としての変化前ロボット情報取得部３６２が取得した変化前姿勢情報とに基づいて、第１ユーザーが意図した標的姿勢にロボットの姿勢を変化させられる蓋然性が相対的に高い一の基準情報を選択する。

【0146】

特定部３６４は、第１ユーザー姿勢情報と変化前姿勢情報とに基づいて、第１ユーザーＵ１が意図した標的姿勢を推定し、推定した標的姿勢にロボットの姿勢を変化させられる蓋然性が相対的に高い一の基準情報を選択してもよい。具体的な処理として、特定部３６４は、ユーザー情報取得部３６１が取得した第１ユーザー姿勢情報に基づいて、ロボット２０が備える一以上のモーターそれぞれの回動角、角速度、角加速度及びトルクを示す仮標的姿勢情報を生成する。特定部３６４は、生成した仮標的姿勢情報と変化前姿勢情報とに基づいて対象基準姿勢情報を特定する。

【0147】

特定部３６４は、例えば第１ユーザー姿勢情報に基づいて第１ユーザーＵ１の操作内容を特定することにより標的姿勢を推定してもよい。具体的には、特定部３６４は、生成部３６６が第２ユーザーの操作内容ごとに変化前姿勢情報と第２ユーザー姿勢情報とを関連付けた複数の基準情報を生成した場合、第１ユーザーＵ１が行おうとしている操作内容を特定し、特定した操作内容に対応する複数の基準情報から、変化前姿勢情報に対応する一の基準情報を選択する。特定部３６４は、複数の連続する第１ユーザー姿勢情報に基づいて第１ユーザーＵ１が行おうとしている操作内容を特定してもよく、第１ユーザーＵ１が入力した操作内容を示すテキスト情報に基づいて操作内容を特定してもよい。特定部３６４は、このように操作内容を特定した結果を利用することで、第１ユーザーＵ１が意図した標的姿勢を正しく特定できる確率を高めることができる。

【0148】

ところで、ロボット２０の操作を行った経験が比較的長い第１ユーザーＵ１の姿勢は、ロボット２０の操作を行った経験が比較的短い第１ユーザーＵ１の姿勢に比べて、ロボット２０の変化前姿勢が同一の状態で同一の操作を行った第２ユーザーＵ２の姿勢に近いと考えられる。そこで、特定部３６４は、第１ユーザーＵ１がロボット２０の操作を行った経験の長さを示す情報を取得し、取得した情報に基づいて第１ユーザー姿勢情報に対応する第２ユーザー姿勢情報を推定してもよい。

【0149】

具体的には、特定部３６４は、第１ユーザーＵ１がロボット２０を操作した経験の長さに基づいて、変化前姿勢情報と第１ユーザー姿勢情報とに対応すると想定される複数の基準姿勢情報から一の基準姿勢情報を選択する。このようにすることで、決定部３６５が、第１ユーザーＵ１が行おうとした操作に最も適した基準姿勢情報に基づいて標的姿勢を決定することができる。なお、特定部３６４は、第１ユーザーＵ１の操作経験の長さの他に、第１ユーザーＵ１の身体の大きさ又は性別といった属性に関連付けられた複数の基準姿勢情報から一の基準姿勢情報を選択してもよい。

【0150】

特定部３６４は、複数の変化前姿勢情報と複数の第２ユーザー姿勢情報とを教師データとして作成された機械学習モデルに変化前姿勢情報と第１ユーザー姿勢情報とを入力することにより、対象基準姿勢情報を特定してもよい。この場合、特定部３６４は、機械学習モデルから出力される基準姿勢情報を対象基準姿勢情報として特定する。

【0151】

決定部３６５が同一のタイミングで取得された第１ユーザー姿勢情報と変化前姿勢情報とを用いて標的姿勢を決定できるようにするために、ユーザー情報取得部３６１は、時刻に関連付けて第１ユーザー姿勢情報を取得し、変化前ロボット情報取得部３６２は、時刻に関連付けて変化前姿勢情報を取得してもよい。この場合、決定部３６５は、同一の時刻に関連付けられた変化前姿勢情報と第１ユーザー姿勢情報とに基づいて、標的姿勢をロボットの姿勢に決定する。決定部３６５がこのような構成を有することで、第１ユーザーＵ１が姿勢を変化させた時点におけるロボット２０の姿勢に基づいて標的姿勢が決定されるので、決定部３６５が、第１ユーザーＵ１の意図に合った標的姿勢に決定できる確率を高めることができる。

【0152】

以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない限り、変更、置換、削除等されてもよい。

【0153】

また、以上に説明した装置（例えば、ロボット制御装置３０、制御装置３６）における任意の構成部の機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ（Compact Disk）－ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

【0154】

また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0155】

＜付記＞
本発明は、以下の発明として把握することもできる。

【0156】

（１）第１ユーザーに関する情報を検出するユーザー装置と、第１ロボットと、前記第１ロボットを制御するロボット制御装置とを備え、前記第１ユーザーの姿勢である第１ユーザー姿勢を示す第１ユーザー姿勢情報を含む第１情報を前記ユーザー装置から取得し、取得した前記第１情報に基づいて姿勢を変化させる前の前記第１ロボットの姿勢である変化前姿勢を、取得した前記第１情報に含まれる前記第１ユーザー姿勢情報が示す前記第１ユーザー姿勢に対応する姿勢である標的姿勢に変化させるとともに、前記第１ロボットにより検出された第１検出情報に応じた処理を前記ユーザー装置に行わせるロボットシステムが備える制御装置であって、前記第１情報を取得する第１情報取得部と、前記変化前姿勢を示す変化前姿勢情報と前記第１検出情報とのうち少なくとも前記変化前姿勢情報を含む第２情報を取得する第２情報取得部と、第２ユーザーの姿勢である第２ユーザー姿勢を示す第２ユーザー姿勢情報毎に前記第２ユーザー姿勢情報と基準となる姿勢を示す基準姿勢情報とが対応付けられた情報を含む基準情報と、前記第１情報取得部が取得した前記第１情報と、前記第２情報取得部が取得した前記第２情報とに基づいて、前記第１ロボットの姿勢であって当該第１情報に含まれている前記第１ユーザー姿勢情報が示す前記第１ユーザー姿勢に対応する前記標的姿勢を決定する決定部と、を備える制御装置。

【0157】

（２）前記基準情報の中から、前記第１情報取得部が取得した前記第１情報に含まれる前記第１ユーザー姿勢情報と、前記第２情報取得部が取得した前記第２情報に含まれる前記変化前姿勢情報とに応じた前記基準姿勢情報を対象基準姿勢情報として特定する特定部を備え、前記決定部は、前記特定部が特定した前記対象基準姿勢情報と、前記第１情報取得部が取得した前記第１情報に含まれる前記第１ユーザー姿勢情報とに基づいて前記標的姿勢を決定する制御装置。

【0158】

（３）前記変化前姿勢情報は、現在の前記第１ロボットが備える１以上のモーター毎の回動角、角速度、角加速度、トルクのそれぞれによって表される情報であり、前記基準姿勢情報が示す姿勢は、第２ロボットの姿勢のうち前記第２ユーザー姿勢情報が示す第２ユーザー姿勢に対応する姿勢であり、前記基準姿勢情報毎に前記基準姿勢情報に対応付けられた前記第２ユーザー姿勢情報は、前記第２ロボットが備える１以上のモーター毎の回動角、角速度、角加速度、トルクのそれぞれによって表される情報であり、前記特定部は、前記第１情報取得部が取得した前記第１情報に含まれる前記第１ユーザー姿勢情報を逆運動学に基づいて、前記第１ロボットが備える１以上のモーター毎の回動角、角速度、角加速度、トルクのそれぞれによって表される情報である仮標的姿勢情報に変換し、変換した前記仮標的姿勢情報と、前記第２情報取得部が取得した前記第２情報に含まれる前記変化前姿勢情報とに基づいて、前記対象基準姿勢情報を特定する、制御装置。

【0159】

（４）前記特定部は、前記基準情報の中から、前記第１情報取得部が取得した前記第１情報に含まれる前記第１ユーザー姿勢情報と、前記第２情報取得部が取得した前記第２情報に含まれる前記変化前姿勢情報とに応じた前記基準姿勢情報であることが最も尤もらしい前記基準姿勢情報を、前記対象基準姿勢情報として特定する、制御装置。

【0160】

（５）第３ユーザーに関する情報を検出するユーザー装置と、第３ロボットと、前記第３ロボットを制御するロボット制御装置とを備え、前記第３ユーザーの姿勢である第３ユーザー姿勢を示す第３ユーザー姿勢情報を含む第３情報を前記ユーザー装置から取得し、取得した前記第３情報に基づいて姿勢を変化させる前の前記第３ロボットの姿勢である変化前姿勢を、取得した前記第３情報に含まれる前記第３ユーザー姿勢情報が示す前記第３ユーザー姿勢に対応する姿勢である標的姿勢に変化させるとともに、前記第３ロボットにより検出された第３検出情報に応じた処理を前記ユーザー装置に行わせるロボットシステムが備える制御装置であって、前記第３情報を取得する第３情報取得部と、前記第３情報取得部が取得した前記第３情報に含まれる前記第３ユーザー姿勢情報が示す姿勢に対応する前記標的姿勢に前記第３ロボットの姿勢が変化した後の前記第３ロボットの姿勢である変化後姿勢を示す変化後姿勢情報と前記第３検出情報とのうち少なくとも前記変化後姿勢情報を含む第４情報を取得する第４情報取得部と、前記第３情報取得部が取得した前記第３情報と、前記第４情報取得部が取得した前記第４情報とに基づいて、当該第３情報に含まれる前記第３ユーザー姿勢情報毎に第３ユーザー姿勢情報と基準となる姿勢を示す基準姿勢情報とが対応付けられた情報を含む基準情報を生成する生成部と、を備える制御装置。

【0161】

（６）前記生成部は、前記第３情報取得部が取得した前記第３情報と、前記第４情報取得部が取得した前記第４情報とを用いて、機械学習のアルゴリズムに基づいて、前記基準情報を生成する、制御装置。

【0162】

（７）前記生成部は、過去に生成された前記基準情報を取得可能な場合、当該基準情報を取得し、取得した当該基準情報と、前記第３情報取得部が取得した前記第３情報と、前記第４情報取得部が取得した前記第４情報とを用いて、当該第３情報に含まれる前記第３ユーザー姿勢情報に対応する姿勢として最も尤もらしい姿勢を算出し、算出した姿勢を示す情報を、当該第３ユーザー姿勢情報に対応付ける前記基準姿勢情報として特定し、特定した前記基準姿勢情報と当該第３ユーザー姿勢情報とが対応付けられた情報を含む前記基準情報を生成する、制御装置。

【0163】

（８）第５ユーザーに関する情報を検出するユーザー装置と、第５ロボットと、前記第５ロボットを制御するロボット制御装置とを備え、前記第５ユーザーの姿勢である第５ユーザー姿勢を示す第５ユーザー姿勢情報を前記ユーザー装置から取得し、取得した前記第５ユーザー姿勢情報に基づいて姿勢を変化させる前の前記第５ロボットの姿勢である変化前姿勢を、取得した前記第５ユーザー姿勢情報が示す前記第５ユーザー姿勢に対応する姿勢である標的姿勢に変化させるとともに、前記第５ロボットにより検出された第５検出情報に応じた処理を前記ユーザー装置に行わせるロボットシステムが備える制御装置であって、前記ユーザー装置により検出された１以上の情報であって同期された情報である第５情報と、前記第５ロボットにより検出された１以上の情報であって同期された情報である第６情報とを取得し、取得した前記第５情報及び前記第６情報を記憶部に記憶させる、制御装置。

【0164】

（９）前記第５情報は、前記第５ユーザー姿勢情報を含み、前記第６情報は、前記第５ユーザー姿勢情報が示す姿勢に対応する前記標的姿勢に前記第５ロボットの姿勢が変化した後の前記第５ロボットの姿勢である変化後姿勢を示す変化後姿勢情報と前記第５検出情報とのうち少なくとも前記変化後姿勢情報を含む、制御装置。

【符号の説明】

【0165】

１…ロボットシステム、１０…ユーザー装置、１１…ヘッドマウントディスプレイ、１２、１３…データグローブ、２０…ロボット、２１…頭部部分、２２…右腕部分、２３…左腕部分、２４…支持部分、３０…ロボット制御装置、３２…記憶部、３４…通信部、３５…ロボット制御部、３６…制御装置、３６１…ユーザー情報取得部、３６２…変化前ロボット情報取得部、３６３…変化後ロボット情報取得部、３６４…特定部、３６５…決定部、３６６…生成部、３６７…記憶制御部、ＤＢ…データベース、Ｎ…ネットワーク、ＳＢ…サーバー、Ｕ１…第１ユーザー

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】