特開 2024-134179 操作システム、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024134179

(43)【公開日】2024-10-03

(54)【発明の名称】操作システム、情報処理方法、及びプログラム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20240926BHJP

【ＦＩ】

B25J13/08 A

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023044357

(22)【出願日】2023-03-20

(71)【出願人】

【識別番号】000003193

【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100147267

【弁理士】

【氏名又は名称】大槻 真紀子

(72)【発明者】

【氏名】▲高▼瀬 仁翔

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS01

3C707AS21

3C707BS09

3C707DS02

3C707JU03

3C707JU12

3C707JU14

3C707KT01

3C707LT07

(57)【要約】

【課題】人型とは異なる形状や動作をするロボットを操作対象とする場合であってもユーザが違和感なく操作をする。
【解決手段】ユーザによる動作に応じてロボットに作業をさせる操作システムであって、前記ロボットによる作業が行われる実空間が撮像された撮像画像を取得する撮像画像取得部と、前記ユーザの動作を示す動作情報を取得する動作情報取得部と、前記撮像画像取得部によって取得された前記撮像画像、及び前記動作情報取得部によって取得された前記動作情報に基づいて、前記撮像画像に前記ユーザに対応する仮想物体が描画された表示画像を生成する表示画像生成部と、前記動作情報取得部によって取得された前記動作情報に基づいて、前記ロボットを制御する制御情報を生成する制御情報生成部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

ユーザによる動作に応じてロボットに作業をさせる操作システムであって、
前記ロボットによる作業が行われる実空間が撮像された撮像画像を取得する撮像画像取得部と、
前記ユーザの動作を示す動作情報を取得する動作情報取得部と、
前記撮像画像取得部によって取得された前記撮像画像、及び前記動作情報取得部によって取得された前記動作情報に基づいて、前記撮像画像に前記ユーザに対応する仮想物体が描画された表示画像を生成する表示画像生成部と、
前記動作情報取得部によって取得された前記動作情報に基づいて、前記ロボットを制御する制御情報を生成する制御情報生成部と、
を備える操作システム。

【請求項2】

前記表示画像生成部は、前記撮像画像における前記ロボットが示された対象領域を特定し、前記対象領域における前記ロボットが消去され、前記対象領域に前記仮想物体が描画された前記表示画像を生成する、
請求項１に記載の操作システム。

【請求項3】

前記表示画像生成部は、前記動作情報取得部によって取得された前記動作情報に基づいて前記仮想物体が動く前記表示画像を生成する、
請求項１に記載の操作システム。

【請求項4】

前記表示画像生成部は、前記ユーザによる設定に応じた特徴を反映させた前記仮想物体を生成する、
請求項１に記載の操作システム。

【請求項5】

前記制御情報生成部は、時系列の前記動作情報に基づいて前記ユーザによる動作の開始及び終了を特定し、前記ユーザによる動作が終了した後に、前記ユーザによる動作が開始されてから終了するまでの一連の動作に対応する作業を特定し、特定した作業を前記ロボットに実行させる前記制御情報を生成する、
請求項１に記載の操作システム。

【請求項6】

前記制御情報生成部は、前記ユーザによる動作が終了した後に、前記ユーザによる動作が開始されてから終了するまでの一連の動作に対応する作業が、前記実空間において実現可能か否かに応じて、前記一連の動作に対応する作業を特定する、
請求項５に記載の操作システム。

【請求項7】

前記制御情報生成部は、前記一連の動作に対応する作業が前記実空間において実現可能である場合、前記一連の動作と同等な作業を前記ロボットに実行させる前記制御情報を生成する、
請求項６に記載の操作システム。

【請求項8】

前記撮像画像取得部によって取得された前記撮像画像、及び、前記動作情報取得部によって取得された前記動作情報に基づいて、前記ユーザに触覚刺激を感じさせるための触覚情報を生成する触覚情報生成部をさらに備える、
請求項1に記載の操作システム。

【請求項9】

ユーザによる動作に応じてロボットに作業をさせるサーバ装置であるコンピュータが行う情報処理方法であって、
撮像画像取得部が、前記ロボットによる作業が行われる実空間が撮像された撮像画像を取得し、
動作情報取得部が、前記ユーザの動作を示す動作情報を取得し、
表示画像生成部が、前記撮像画像取得部によって取得された前記撮像画像、及び前記動作情報取得部によって取得された前記動作情報に基づいて、前記撮像画像に前記ユーザに対応する仮想物体が描画された表示画像を生成し、
制御情報生成部が、前記動作情報取得部によって取得された前記動作情報に基づいて、前記ロボットを制御する制御情報を生成する、
情報処理方法。

【請求項10】

ユーザによる動作に応じてロボットに作業をさせるサーバ装置であるコンピュータに、
前記ロボットによる作業が行われる実空間が撮像された撮像画像を取得させ、
前記ユーザの動作を示す動作情報を取得させ、
前記撮像画像、及び前記動作情報に基づいて、前記撮像画像に前記ユーザに対応する仮想物体が描画された表示画像を生成させ、
前記動作情報に基づいて、前記ロボットを制御する制御情報を生成させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、操作システム、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

ロボットなどの操作対象を遠隔地から操作するシステムにおいて、操作者（ユーザ）に違和感なく操作をさせるための技術としてテレイグジスタンスがある(例えば、非特許文献１、及び非特許文献２を参照)。例えば、人型の外観を有するロボットを用いて、操作者の動きとロボットの動きを同期させ、ロボットに人間の身体イメージを重ね易くする。これにより、ユーザはあたかも遠隔地にいて実際に作業しているかのような感覚を体験することができる。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Ｓｕｓｕｍｕ Ｔａｃｈｉ、Ｔｅｌｅｘｉｓｔｅｎｃｅ ２ｎｄ Ｅｄｉｔｉｏｎ、Ｗｏｒｌｄ Ｓｃｉｅｎｔｉｆｉｃ、ＩＳＢＮ ９７８－９８１－４６１８－０６－９（２０１５）

【非特許文献2】渡邊 孝一 他、テレイグジスタンス・マスタスレーブシステムにおける操縦者とスレーブロボットとの間の寸法不一致の影響、日本バーチャルリアリティ学会論文誌、２００９年、１４巻３号、ｐ．３９１－３９４

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、既存のロボットには人型とは異なる形状や動作をするものが多い。このようなロボットを操作対象とする場合であっても、ユーザが違和感なく操作をすることができたほうがよい。

【0005】

本発明は、このような状況に鑑みてなされたものであり、人型とは異なる形状や動作をするロボットを操作対象とする場合であってもユーザが違和感なく操作をすることができる操作システム、情報処理方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の操作システムは、ユーザによる動作に応じてロボットに作業をさせる操作システムであって、前記ロボットによる作業が行われる実空間が撮像された撮像画像を取得する撮像画像取得部と、前記ユーザの動作を示す動作情報を取得する動作情報取得部と、前記撮像画像取得部によって取得された前記撮像画像、及び前記動作情報取得部によって取得された前記動作情報に基づいて、前記撮像画像に前記ユーザに対応する仮想物体が描画された表示画像を生成する表示画像生成部と、前記動作情報取得部によって取得された前記動作情報に基づいて、前記ロボットを制御する制御情報を生成する制御情報生成部と、を備える。

【0007】

本発明の、情報処理方法は、ユーザによる動作に応じてロボットに作業をさせるサーバ装置であるコンピュータが行う情報処理方法であって、撮像画像取得部が、前記ロボットによる作業が行われる実空間が撮像された撮像画像を取得し、動作情報取得部が、前記ユーザの動作を示す動作情報を取得し、表示画像生成部が、前記撮像画像取得部によって取得された前記撮像画像、及び前記動作情報取得部によって取得された前記動作情報に基づいて、前記撮像画像に前記ユーザに対応する仮想物体が描画された表示画像を生成し、制御情報生成部が、前記動作情報取得部によって取得された前記動作情報に基づいて、前記ロボットを制御する制御情報を生成する。

【0008】

本発明の、プログラムは、ユーザによる動作に応じてロボットに作業をさせるサーバ装置であるコンピュータに、前記ロボットによる作業が行われる実空間が撮像された撮像画像を取得させ、前記ユーザの動作を示す動作情報を取得させ、前記撮像画像、及び前記動作情報に基づいて、前記撮像画像に前記ユーザに対応する仮想物体が描画された表示画像を生成させ、前記動作情報に基づいて、前記ロボットを制御する制御情報を生成させる、プログラムである。

【発明の効果】

【0009】

本発明によれば、人型とは異なる形状や動作をするロボットを操作対象とする場合であってもユーザが違和感なく操作をすることができる。

【図面の簡単な説明】

【0010】

【図1】実施形態における操作システム１の概要の例を示す概略ブロック図である。

【図2】実施形態における操作システム１の構成の例を示すブロック図である。

【図3】実施形態の表示画像生成部２０４が行う処理を説明するための図である。

【図4】実施形態の表示画像生成部２０４が行う処理を説明するための図である。

【図5】実施形態の表示画像生成部２０４が行う処理を説明するための図である。

【図6】実施形態の表示画像生成部２０４が行う処理を説明するための図である。

【図7】実施形態の表示画像生成部２０４が行う処理を説明するための図である。

【図8】実施形態の表示画像生成部２０４が行う処理を説明するための図である。

【図9】実施形態の制御情報生成部２０２が行う処理を説明するための図である。

【図10】実施形態の操作システム１が行う処理の流れを示すシーケンス図である。

【図11】実施形態の変形例１に係る操作システム１の概要を示す概略ブロック図である。

【図12】実施形態の変形例２による操作システム１の概要の例を示す概略ブロック図である。

【図13】実施形態の変形例２における操作システム１の構成の例を示すブロック図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態について、図面を参照して説明する。

【0012】

（操作システム１の構成について）
操作システム１について、図１を用いて説明する。図１は、実施形態による操作システム１の概要の例を示す概略ブロック図である。

【0013】

操作システム１は、遠隔地にいるロボットをユーザが遠隔操作するためのシステムである。図１に示すように、操作システム１は、例えば、操作端末１０と、サーバ装置２０と、撮像端末３０と、ロボット制御装置４０とを備える。操作システム１における構成要素である、操作端末１０と、サーバ装置２０と、撮像端末３０と、ロボット制御装置４０とは、通信ネットワークＮＷを介して通信可能に接続されている。

【0014】

遠隔地としての実空間ＲＥには、例えば、実ロボットＲＲ、実対象オブジェクトＲＴ、及び実背景オブジェクトＲＢが存在する例が示されている。

【0015】

実ロボットＲＲは、実空間ＲＥにおいて作業をするロボットであり、この図の例では、複数の関節を有するアーム（腕）部と、物を掴んだり離したりする把持部を備える、産業用ロボットである。

【0016】

実対象オブジェクトＲＴは、実空間ＲＥにおいて作業される対象物であり、この図の例では、土管である。この図の例では、実ロボットＲＲが、実対象オブジェクトＲＴを移動させる作業を行うことを想定している。つまり、実ロボットＲＲにより、土管が掴まれ、持ち上げられ、移動されるような作業が行われることが想定されている。

【0017】

実背景オブジェクトＲＢは、実空間ＲＥに存在する背景、つまり作業の対象物ではない物体であり、この図の例では、樹木である。

【0018】

ユーザＵは、例えば、このような実空間ＲＥにいる実ロボットＲＲを遠隔操作により操作し、実対象オブジェクトＲＴを移動させる作業を行う。

【0019】

操作端末１０は、ユーザＵによって操作されるコンピュータである。操作端末１０として、例えば、スマートフォン、携帯電話、タブレット端末、ＰＣ（Personal Computer）、などを適用することができる。操作端末１０は、例えば、ＨＭＤ（ヘッドマウントディスプレイ）などの表示部１０１に仮想空間ＶＥを表示させる。操作端末１０は、サーバ装置２０から通知された表示画像１０１Ａを表示部１０１に表示させる。

【0020】

ユーザＵは、例えば、ＨＭＤを装着し、ＨＭＤの表示部１０１に表示された表示画像１０１Ａを視認する。

【0021】

表示画像１０１Ａには、実空間ＲＥに基づいて生成された仮想空間ＶＥが表示される。仮想空間ＶＥには、例えば、実空間ＲＥに存在する実ロボットＲＲの代わりに、ユーザＵに対応する仮想オブジェクトである仮想ユーザＶＵが描画されている。

【0022】

仮想空間ＶＥには、実空間ＲＥに存在する実対象オブジェクトＲＴに対応する仮想オブジェクトである仮想対象オブジェクトＶＴが描画されている。仮想対象オブジェクトＶＴは、実対象オブジェクトＲＴの画像（撮像画像）そのものであってもよいし、撮像画像の一部が画像処理などにより加工された仮想オブジェクトであってもよいし、撮像画像に基づいて作成された三次元モデルなどの仮想オブジェクトであってもよい。

【0023】

仮想空間ＶＥには、実空間ＲＥに存在する実背景オブジェクトＲＢに対応する仮想オブジェクトである仮想背景オブジェクトＶＢが描画されている。仮想背景オブジェクトＶＢは、仮想対象オブジェクトＶＴと同様に、実背景オブジェクトＲＢの画像（撮像画像）そのものであってもよいし、撮像画像の一部が画像処理などにより加工された仮想オブジェクトであってもよいし、撮像画像に基づいて作成された三次元モデルなどの仮想オブジェクトであってもよい。

【0024】

また、操作端末１０は、例えば、ＶＲ（Virtual Reality）グローブなどの動作情報取得部１０２を介して、ユーザの動きを示す動作情報を取得する。操作端末１０は、取得して動作情報をサーバ装置２０に送信する。

【0025】

サーバ装置２０は、コンピュータであり、例えば、ＰＣ、サーバ装置、クラウドサーバ、などを適用することができる。

【0026】

サーバ装置２０は、表示画像１０１Ａを操作端末１０に送信する。サーバ装置２０は、撮像端末３０から、撮像端末３０によって撮像された実空間ＲＥの画像（撮像画像）を取得する。サーバ装置２０は、取得した撮像画像、及び、操作端末１０から受信した動作情報に基づいて、表示画像１０１Ａを生成する。サーバ装置２０は、生成した表示画像１０１Ａの画像情報を操作端末１０に送信する。サーバ装置２０が、表示画像１０１Ａを生成する具体的な方法については後述する。

【0027】

サーバ装置２０は、ロボットを制御するための制御情報を生成する。サーバ装置２０は、操作端末１０から受信した動作情報に基づいて制御情報を生成し、生成した制御情報をロボット制御装置４０に送信する。サーバ装置２０が、制御情報を生成する具体的な方法については後述する。

【0028】

撮像端末３０は、撮像画像を撮像するコンピュータである。撮像端末３０として、撮像機能と通信機能を有する装置、例えば、スマートフォン、携帯電話、タブレット端末、ＰＣ、などを適用することができる。撮像端末３０は、実空間ＲＥを撮像部３０１によって撮像し、撮像した撮像画像をサーバ装置２０に送信する。

【0029】

ロボット制御装置４０は、実ロボットＲＲを制御するコンピュータである。ロボット制御装置４０として、例えば、ロボットを制御するためのＡＰ（アプリケーション）がインストールされた装置、タブレット端末、ＰＣ、などを適用することができる。ロボット制御装置４０は、サーバ装置２０から制御情報を受信し、受信した制御情報に基づいて実ロボットＲＲを制御する。

【0030】

ここで、操作システム１の各構成要素（操作端末１０、サーバ装置２０、撮像端末３０、及びロボット制御装置４０）の構成について、図２を用いて説明する。図２は、実施形態による操作システム１の構成の例を示すブロック図である。

【0031】

（操作端末１０について）
図２に示すように、操作端末１０は、例えば、表示部１０１と、動作情報取得部１０２と、表示画像取得部１０３と、動作情報出力部１０４とを備える。

【0032】

表示部１０１は、表示画像１０１Ａを表示する。例えば、表示部１０１は、液晶ディスプレイを含む。表示部１０１は、後述する表示画像取得部１０３の制御にしたがい、表示画像取得部１０３がサーバ装置２０から取得した表示画像１０１Ａを表示する。

【0033】

動作情報取得部１０２は、動作情報を取得する。例えば、動作情報取得部１０２は、ＶＲゴーグルなどユーザＵの動きを取得するデバイス（モーションキャプチャ）を含む。また、動作情報取得部１０２として、マウス、キーボード、タッチパネル、トラックボール、ゲームコントローラなどの入力装置、及びこれらの組合せが適用されてもよい。この場合、動作情報取得部１０２は、ユーザＵがマウス等の入力装置を操作した場合に、その操作に対応する動きを動作情報として取得する。動作情報取得部１０２は、取得した動作情報を動作情報出力部１０４に出力する。

【0034】

表示画像取得部１０３は、表示画像１０１Ａを取得する。表示画像取得部１０３は、サーバ装置２０から操作端末１０に送信された表示画像１０１Ａの画像情報を、操作端末１０の通信部（不図示）を介して取得する。表示画像取得部１０３は、取得した表示画像１０１Ａの画像情報を表示部１０１に出力し、表示部１０１に表示画像１０１Ａを表示させる。

【0035】

動作情報出力部１０４は、動作情報を出力する。動作情報出力部１０４は、動作情報取得部１０２から動作情報を取得し、取得した動作情報を、操作端末１０の通信部を介してサーバ装置２０に送信する。

【0036】

（サーバ装置２０について）
サーバ装置２０は、例えば、動作情報取得部２０１と、制御情報生成部２０２と、撮像画像取得部２０３と、表示画像生成部２０４と、表示画像出力部２０５と、制御情報出力部２０６と、を備える。

【0037】

動作情報取得部２０１は、動作情報を取得する。動作情報取得部２０１は、操作端末１０からサーバ装置２０に送信された動作情報を、サーバ装置２０の通信部（不図示）を介して取得する。動作情報取得部２０１は、取得した動作情報を、制御情報生成部２０２、及び、表示画像生成部２０４に出力する。

【0038】

制御情報生成部２０２は、制御情報を取得する。制御情報生成部２０２は、動作情報取得部２０１から取得した動作情報に基づいて、制御情報を生成する。制御情報生成部２０２は、動作情報に対応するユーザの動作に応じた作業を実ロボットＲＲが行うように制御情報を生成する。例えば、動作情報において、ユーザＵが仮想対象オブジェクトＶＴを持ち上げて移動させる動作が示されていた場合、制御情報生成部２０２は、実ロボットＲＲが実対象オブジェクトＲＴを持ち上げて移動させる作業をおこなうように制御情報を生成する。

【0039】

制御情報生成部２０２は、時系列の動作情報に基づいて、ユーザＵが行った一連の動作に対応する制御情報を生成するように構成されてもよい。例えば、制御情報生成部２０２は、定期的に動作情報を取得し、取得した動作情報群に基づいてユーザによる動作の開始及び終了を特定する。例えば、制御情報生成部２０２は、動作情報においてユーザＵが検出されていない状態から動きが検出された状態に変化した時刻を、ユーザによる動作の開始時刻として特定する。また、制御情報生成部２０２は、開始時刻以降に取得された動作情報においてユーザＵが検出されている状態から動きが検出されない状態に変化した時刻を取得する。制御情報生成部２０２は、その動きが検出されない状態に変化した時刻から、閾値時間以上、動きが検出されない状態が継続した場合、その動きが検出されない状態に変化した時刻を、ユーザによる動作の終了時刻として特定する。

【0040】

制御情報生成部２０２は、ユーザＵによる動作が終了した後に、そのユーザＵによる動作が開始されてから終了するまでの一連の動作に対応する作業を特定する。例えば、ユーザＵが仮想対象オブジェクトＶＴを持ち上げて移動させる動作が示されていたとする。この場合、制御情報生成部２０２は、ユーザＵによる一連の動作に対応する作業として、実空間ＲＥにおいて実対象オブジェクトＲＴを持ち上げて移動させる作業を特定する。制御情報生成部２０２は、このようにして特定した作業を、実ロボットＲＲに実行させる制御情報を生成する。

【0041】

この場合において、制御情報生成部２０２は、ユーザＵによる動作が終了した後に、ユーザＵによる一連の動作に対応する作業が、実空間ＲＥにおいて実現可能か否かを判定するようにしてもよい。

【0042】

例えば、動作情報として、ユーザＵが仮想対象オブジェクトＶＴを持ち上げて上空に放り投げるような動作が示されていたとする。これに対し、実対象オブジェクトＲＴは、重量がある物体、例えば土管であり、実ロボットＲＲには実対象オブジェクトＲＴを上空に放り投げるような作業が困難であるとする。このような場合には、制御情報生成部２０２は、ユーザＵによる一連の動作に対応する作業が実現可能でないと判定する。

【0043】

一方、動作情報として、ユーザＵが仮想対象オブジェクトＶＴを持ち上げて移動ような動作が示されていたとする。これに対し、実ロボットＲＲが実対象オブジェクトＲＴを持ち上げて移動させる作業が可能であるとする。このような場合には、制御情報生成部２０２は、ユーザＵによる一連の動作に対応する作業が実現可能であると判定する。

【0044】

制御情報生成部２０２は、実空間ＲＥにおいて実現可能か否かに応じて、ユーザＵによる一連の動作に対応する作業を特定する。

【0045】

例えば、制御情報生成部２０２は、ユーザＵによる一連の動作に対応する作業が実現可能であると判定した場合、ユーザＵによる一連の動作に対応して実ロボットＲＲに実行させる作業を、そのユーザＵによる一連の動作と同等の作業として特定する。例えば、ユーザＵが仮想対象オブジェクトＶＴを持ち上げて移動ような動作が、実空間ＲＥにおいても実現可能であると判定した場合、制御情報生成部２０２は、実ロボットＲＲが実対象オブジェクトＲＴを持ち上げて移動させるような動作を、実ロボットＲＲに行わせる作業として特定する。

【0046】

一方、制御情報生成部２０２は、ユーザＵによる一連の動作に対応する作業が実現可能でないと判定した場合、ユーザＵによる一連の動作に対応して実ロボットＲＲに実行させる作業を、そのユーザＵによる一連の動作とは異なる作業として特定する。例えば、ユーザＵが仮想対象オブジェクトＶＴを持ち上げて上空に放り投げるような動作が、実空間ＲＥにおいては実現可能でないと判定した場合、制御情報生成部２０２は、上空に放り投げるような動作に代えて、実ロボットＲＲが実対象オブジェクトＲＴを持ち上げて移動させるような動作を、実ロボットＲＲに行わせる作業として特定する。

【0047】

撮像画像取得部２０３は、撮像画像２０３Ａを取得する。撮像画像取得部２０３は、撮像端末３０からサーバ装置２０に送信された撮像画像２０３Ａを、サーバ装置２０の通信部を介して取得する。撮像画像取得部２０３は、取得した撮像画像２０３Ａを表示画像生成部２０４に出力する。

【0048】

表示画像生成部２０４は、表示画像を生成する。表示画像生成部２０４は、撮像画像取得部２０３によって取得された撮像画像、及び動作情報取得部２０１によって取得された動作情報に基づいて、表示画像を生成する。

【0049】

表示画像生成部２０４は、例えば、撮像画像における実ロボットＲＲが示された対象領域を特定し、特定した対象領域における実ロボットＲＲの描画を消去する。更に、表示画像生成部２０４は、その対象領域に仮想ユーザＶＵ（ユーザＵに対応する仮想物体）が描画された表示画像を生成する（図３～図５参照）。

【0050】

表示画像生成部２０４は、動作情報取得部２０１によって取得された動作情報に基づいて仮想ユーザＶＵが動く表示画像を生成する。

【0051】

例えば、動作情報においてユーザＵが仮想対象オブジェクトＶＴを持ち上げる動作が示されていた場合、表示画像生成部２０４は、仮想空間ＶＥにおいて、仮想対象オブジェクトＶＴを持ち上げている仮想ユーザＶＵが描画された表示画像を生成する。例えば、動作情報においてユーザＵが仮想対象オブジェクトＶＴを放り投げる動作が示されていた場合、表示画像生成部２０４は、仮想空間ＶＥにおいて、仮想対象オブジェクトＶＴを放り投げる仮想ユーザＶＵが描画された表示画像を生成する。例えば、動作情報においてユーザＵが仮想対象オブジェクトＶＴを移動させる動作が示されていた場合、表示画像生成部２０４は、仮想空間ＶＥにおいて、仮想対象オブジェクトＶＴを移動させる仮想ユーザＶＵが描画された表示画像を生成する。

【0052】

表示画像生成部２０４は、仮想ユーザＶＵに、ユーザＵの身体的特徴を反映させてもよい。仮想ユーザＶＵに、ユーザＵの身体的特徴が反映されることにより、ユーザは仮想ユーザＶＵに自身の身体イメージを重ね易くなる。

【0053】

また、表示画像生成部２０４は、仮想ユーザＶＵに、ユーザＵによる設定に応じた特徴を反映させてもよい。例えば、仮想ユーザＶＵの身体のサイズを、ユーザＵにより自由に設定できるように構成されてもよい。或いは、仮想ユーザＶＵの外観を、ユーザＵにより自由に設定できるように構成されてもよい。例えば、仮想ユーザＶＵに、ユーザＵがロボットに変身したかのような装備をさせてもよい。仮想ユーザＶＵを、ユーザＵが撮像された画像から生成された三次元モデルとしてもよい。

【0054】

また、表示画像生成部２０４は、仮想ユーザＶＵに、ユーザＵによる設定に応じた能力を持たせてもよい。例えば、仮想ユーザＶＵが、空中に浮かんだり、地中や水中にもぐったりする能力を有していてもよい。仮想ユーザＶＵが、人間離れした移動能力を有していてもよい。

【0055】

表示画像生成部２０４は、ユーザＵによる動作が実空間ＲＥにおいて実現可能か否かに関わらず、ユーザＵの動作に応じて仮想ユーザＶＵが動く表示画像を生成する。また、表示画像生成部２０４は、ユーザＵの動作に応じて仮想ユーザＶＵが動くだけではなく、ユーザＵの動作に応じて仮想空間ＶＥが変化する表示画像を生成するようにしてもよい。表示画像生成部２０４は、生成した表示画像を表示画像出力部２０５に出力する。

【0056】

表示画像出力部２０５は、表示画像を出力する。表示画像出力部２０５は、表示画像生成部２０４によって生成された表示画像の画像情報を取得し、取得した画像情報を、サーバ装置２０の通信部を介して、操作端末１０に送信する。

【0057】

制御情報出力部２０６は、制御情報を出力する。制御情報出力部２０６は、制御情報生成部２０２によって生成された制御情報を取得し、取得した制御情報を、サーバ装置２０の通信部を介して、ロボット制御装置４０に送信する。

【0058】

（撮像端末３０について）
撮像端末３０は、例えば、撮像部３０１と、撮像画像出力部３０２と、を備える。撮像部３０１は、実空間ＲＥを撮像する。例えば、撮像部３０１は、カメラモジュールを含む。撮像部３０１は、撮像端末３０などによって予め設定された撮像条件にて実空間ＲＥを撮像する。なお、撮像部３０１は、静止画像を撮像してもよいし、動画像を撮像してもよい。撮像部３０１は、撮像した画像（撮像画像）を、撮像画像出力部３０２に出力する。

【0059】

撮像画像出力部３０２は、撮像画像を出力する。撮像画像出力部３０２は、撮像部３０１によって撮像された撮像画像の画像情報を取得し、取得した画像情報を、撮像端末３０の通信部（不図示）を介して、サーバ装置２０に送信する。

【0060】

（ロボット制御装置４０について）
ロボット制御装置４０は、例えば、制御情報取得部４０１と、ロボット制御部４０２と、を備える。制御情報取得部４０１は、制御情報を取得する。例えば、制御情報取得部４０１は、サーバ装置２０からロボット制御装置４０に送信された制御情報を、ロボット制御装置４０の通信部（不図示）を介して取得する。制御情報取得部４０１は、取得した制御情報をロボット制御部４０２に出力する。

【0061】

ロボット制御部４０２は、実ロボットＲＲを制御する。ロボット制御部４０２は、例えば、実ロボットＲＲを制御するためのＡＰである。ロボット制御部４０２は、制御情報取得部４０１から制御情報を取得し、取得した制御情報に基づいて実ロボットＲＲを制御する。

【0062】

ここで、サーバ装置２０が表示画像を生成する方法について、図３～図８を用いて説明する。図３～図８は、実施形態の表示画像生成部２０４が行う処理を説明するための図である。

【0063】

図３には、撮像画像２０３Ａの例が示されている。撮像画像２０３Ａは、実空間ＲＥが撮像された画像である。表示画像生成部２０４は、撮像画像２０３Ａに基づいて、表示画像を生成する。この図の例に示すように、撮像画像２０３Ａには、実ロボットＲＲと、実対象オブジェクトＲＴ、及び、実背景オブジェクトＲＢが示されている。

【0064】

図４には、表示画像２０４Ａの例が示されている。表示画像２０４Ａは、表示画像生成部２０４により作成途中の表示画像である。この図の例に示すように、表示画像生成部２０４は、撮像画像２０３Ａにおける実ロボットＲＲを消去する。例えば、表示画像生成部２０４は、撮像画像２０３Ａにおける実ロボットＲＲが示された対象領域を特定し、特定した対象領域における実ロボットＲＲの描画を消去する。

【0065】

ここで、表示画像生成部２０４は、撮像画像２０３Ａにおける実ロボットＲＲを消去した領域に、実空間ＲＥにおける背景を補う画像処理（背景補完）を行うように構成されてもよい。例えば、表示画像生成部２０４は、実背景オブジェクトＲＢに対応する樹木の一部ＶＢ１、及び実対象オブジェクトＲＴに対応する土管の端部ＶＢ２などを、背景補完する。

【0066】

例えば、表示画像生成部２０４は、実ロボットＲＲを消去した領域に対応する画素の色情報を、その領域の周囲にある画像に置換え、置換えた領域における境界部分の色勾配を調整することによって背景補完を行う。

【0067】

或いは、表示画像生成部２０４は、実ロボットＲＲを配置する前の実空間ＲＥを撮像した背景画像を予め取得しておき、その背景画像を用いて、背景補完を行うようにしてもよい。また、撮像画像取得部２０３は、ＡＩ（人工知能）などの技術を用いて生成した疑似的な背景を描画することにより背景補完を行うようにしてもよい。

【0068】

また、表示画像生成部２０４は、実背景オブジェクトＲＢの一部に背景補完を行う代わりに、実対象オブジェクトＲＴの全体を、実背景オブジェクトＲＢに対応する仮想オブジェクト（仮想背景オブジェクトＶＢ）に置換えて描写した表示画像２０４Ａを生成してもよい。

【0069】

一方、表示画像生成部２０４は、実対象オブジェクトＲＴについては、作業が行われることを想定し実対象オブジェクトＲＴの全体を、実対象オブジェクトＲＴに対応する仮想オブジェクト（仮想対象オブジェクトＶＴ）に置換えて描写した表示画像２０４Ａを生成する。表示画像２０４Ａにおいて仮想対象オブジェクトＶＴが描画されていることにより、ユーザＵの動作に応じてリアルタイムに仮想対象オブジェクトＶＴを仮想空間ＶＥ上で動かすことができる。

【0070】

図５には、表示画像２０４Ｂの例が示されている。表示画像２０４Ｂは、表示画像生成部２０４により作成された表示画像である。この図の例に示すように、表示画像生成部２０４は、撮像画像２０３Ａにおける実ロボットＲＲを消去した領域に、仮想ユーザＶＵを描画した画像を、表示画像２０４Ｂとする。このような、表示画像２０４Ｂが、操作端末１０に送信され、表示部１０１に表示される。

【0071】

図６には、表示画像２０４Ｃの例が示されている。表示画像２０４Ｃは、図５に示す表示画像と同等の画像である。表示画像２０４Ｃにおいて、仮想対象オブジェクトＶＴ１～ＶＴ３のそれぞれが、仮想的な作業対象物として描画されている。

【0072】

図７には、表示画像２０４Ｄの例が示されている。表示画像２０４Ｄは、ユーザＵが動作を開始し、その動作の開始に応じて作成された表示画像である。この図の例に示すように、表示画像生成部２０４は、動作情報に基づいて、ユーザＵが屈んで仮想対象オブジェクトＶＴ１を持ち上げるような動作をした場合、仮想ユーザＶＵが屈んで仮想対象オブジェクトＶＴ１を持ち上げる様子が描画された表示画像２０４Ｄを生成する。このような、表示画像２０４Ｄが、操作端末１０に送信され、表示部１０１に表示される。これにより、ユーザＵは、自身の動作が反映された表示画像を視認することができる。

【0073】

図８には、表示画像２０４Ｅの例が示されている。表示画像２０４Ｅは、ユーザＵが動作を終了し、その動作の終了に応じて作成された表示画像である。この図の例に示すように、表示画像生成部２０４は、動作情報に基づいて、ユーザＵによる仮想対象オブジェクトＶＴ１を移動させる動作が終了した場合、仮想対象オブジェクトＶＴ１が別の場所に移動した様子が描画された表示画像２０４Ｅを生成する。このような、表示画像２０４Ｄが、操作端末１０に送信され、表示部１０１に表示される。これにより、ユーザＵは、自身の動作が反映された表示画像を視認することができる。

【0074】

ここで、サーバ装置２０が制御情報を生成する方法について、図９を用いて説明する。図９は、実施形態の表示画像生成部２０４が行う処理を説明するための図である。

【0075】

図９には、撮像画像２０３Ｂの例が示されている。撮像画像２０３Ｂは、仮想対象オブジェクトＶＴ１を移動させる動作が完了した際に生成された制御信号に応じて実ロボットＲＲが作業した後に撮像された撮像画像である。例えば、図６～図８に対応するユーザＵの一連の動作が完了した後、制御情報生成部２０２は、ユーザＵによって行われた一連の動作に対応する作業として、実対象オブジェクトＲＴ１を移動させる作業を特定する。表示画像生成部２０４は、実対象オブジェクトＲＴ１を移動させる作業を実ロボットＲＲに実行させる制御情報を生成し、生成した制御情報を、ロボット制御装置４０に送信する。ロボット制御装置４０は、サーバ装置２０から受信した制御情報に応じて、実ロボットＲＲを制御する。これにより、実空間ＲＥにおいて、実ロボットＲＲによって、実対象オブジェクトＲＴ１が、実際に、移動される。

【0076】

ここで、操作システム１が行う処理の流れについて、図１０を用いて説明する。図１０は、実施形態の操作システム１が行う処理の流れを示すシーケンス図である。

【0077】

まず、撮像端末３０は、実空間ＲＥを撮像し（ステップＳ１０）、実空間ＲＥを撮像した撮像画像をサーバ装置２０に送信する。サーバ装置２０は、撮像端末３０から受信した撮像画像を取得する（ステップＳ１１）。

【0078】

一方、操作端末１０は、ユーザＵの動作に応じた動作情報を取得し（ステップＳ１２）、取得した動作情報を、サーバ装置２０に送信する。サーバ装置２０は、操作端末１０から受信した動作情報を取得する（ステップＳ１３）。

【0079】

サーバ装置２０は、ステップＳ１１で取得した撮像画像、及びステップＳ１３で取得した動作情報から表示画像を生成する（ステップＳ１４）。サーバ装置２０は、撮像画像における実ロボットＲＲを消去し、代わりに仮想ユーザＶＵを描画した表示画像を生成する。サーバ装置２０は生成した表示画像を操作端末１０に送信する。操作端末１０は、サーバ装置２０から受信した表示画像を表示部１０１に表示させる（ステップＳ１５）。

【0080】

サーバ装置２０は、ステップＳ１３で取得した動作情報において、ユーザＵによる動作が開始された場合、時系列の動作情報を取得し、動作が終了するまでの一連の動作を取得する。例えば、サーバ装置２０は、ユーザＵにおける最後の動作から、閾値以上、の時間が経過したか否かを判定する（ステップＳ１６）。サーバ装置２０は、ユーザＵにおける最後の動作から、閾値以上の時間が経過し、その間においてユーザＵによる動作が行われていない場合に、ユーザＵによる動作が終了したと判定してステップＳ１７に進む。一方、サーバ装置２０は、ユーザＵにおける最後の動作から、閾値以上の時間が経過する前に、ユーザＵによる動作が再開された場合に、ユーザＵによる動作が終了していないと判定してステップＳ１３に戻り、時系列の動作情報を取得する処理を継続する。

【0081】

ユーザＵによる一連の動作が終了したと判定した場合、サーバ装置２０は、一連の動作に応じた作業を特定し、特定した作業を実ロボットＲＲに実行させる生成を生成し（ステップＳ１７）、生成した制御情報をロボット制御装置４０に送信する。ロボット制御装置４０は、サーバ装置２０から受信した制御情報に基づいて、実ロボットＲＲを制御する（ステップＳ１８）。制御情報に基づく実ロボットＲＲによる作業が完了すると、ステップＳ１０に戻り、撮像端末３０により実空間ＲＥの撮像が実施される。

【0082】

以上説明したように、実施形態の操作システム１は、ユーザＵによる動作に応じて実ロボットＲＲに作業をさせるシステムである。操作システム１は、撮像画像取得部２０３と、動作情報取得部２０１と、表示画像生成部２０４と、制御情報生成部２０２とを備える。撮像画像取得部２０３は、撮像画像を取得する。撮像画像は、実空間ＲＥ（実ロボットＲＲによる作業が行われる実空間）が撮像された画像である。動作情報取得部２０１は、ユーザＵの動作を示す動作情報を取得する。表示画像生成部２０４は、表示画像を生成する。表示画像は、撮像画像取得部２０３によって取得された撮像画像、及び動作情報取得部２０１によって取得された動作情報に基づいて、生成される。表示画像は、撮像画像に、仮想ユーザＶＵ（ユーザＵに対応する仮想物体）が描画された画像である。表示画像は、撮像画像に撮像された実対象オブジェクトＲＴに対応する仮想対象オブジェクトＶＴ、及び仮想ユーザＶＵ（ユーザＵに対応する仮想物体）が描画された画像であってもよい。制御情報生成部２０２は、制御情報を生成する。制御情報は、動作情報取得部２０１によって取得された動作情報に基づいて、ロボットを制御するための情報である。

【0083】

これにより、実施形態の操作システム１では、撮像画像、及び動作情報に基づいて、撮像画像に、仮想ユーザＶＵ（ユーザＵに対応する仮想物体）が描画された画像を生成することができる。このため、ユーザＵは、仮想空間ＶＥに表示された仮想ユーザＶＵに、自身の身体イメージを重ねることが容易となる。したがって、人型とは異なる形状や動作をするロボットを操作対象とする場合であってもユーザが違和感なく操作をすることできる。

【0084】

また、実施形態の操作システム１では、表示画像生成部２０４は、撮像画像における、実ロボットＲＲが示された対象領域を特定し、その対象領域における実ロボットＲＲが消去され、その対象領域に仮想ユーザＶＵが描画された表示画像を生成する。これにより、実施形態の操作システム１では、実ロボットＲＲがいる場所に、あたかもユーザＵが存在しているかのような表示画像２０４Ａを生成することができ、上述した効果と同様の効果を奏することができる。

【0085】

また、実施形態の操作システム１では、表示画像生成部２０４は、動作情報取得部２０１によって取得された動作情報に基づいて、仮想ユーザＶＵが動く表示画像を生成する。これにより、実施形態の操作システム１では、ユーザＵの動作に同期して、仮想ユーザＶＵが動く表示画像２０４Ａを生成することができ、上述した効果と同様の効果を奏することができる。

【0086】

また、実施形態の操作システム１では、表示画像生成部は、前記ユーザによる設定に応じた特徴（例えば、外観や能力など）を反映させた前記仮想物体を生成する。これにより、実施形態の操作システム１では、ユーザＵの好みに応じた外観や能力を有する仮想ユーザＶＵが存在する表示画像２０４Ａを生成することができ、上述した効果と同様の効果を奏することができる。

【0087】

また、実施形態の操作システム１では、制御情報生成部２０２は、時系列の動作情報に基づいて、ユーザＵによる動作の開始及び終了を特定する。制御情報生成部２０２は、ユーザＵによる動作が終了した後に、そのユーザによる動作が開始されてから終了するまでの一連の動作に対応する作業を特定する。制御情報生成部２０２は、特定した作業を、実ロボットＲＲに実行させるための制御情報を生成する。これにより、実施形態の操作システム１では、ユーザの動作に応じた動線に関わらず、どの動作の開始と終了とに応じた作業を実ロボットＲＲに実行させることができる。したがって、産業用ロボットのような、人間の動作とは異なる動きをするようなロボットを用いる場合であっても、実空間ＲＥにおける作業をスムーズに実行することができる。

【0088】

また、実施形態の操作システム１では、制御情報生成部２０２は、ユーザＵによる動作が終了した後に、ユーザによる動作が開始されてから終了するまでの一連の動作に対応する作業が、実空間ＲＥにおいて実現可能か否かに応じて、その一連の動作に対応する作業を特定する。これにより、実施形態の操作システム１では、実空間ＲＥにおいて実現可能でない動作が行われた場合であっても、その動作にある程度、可能な範囲で追従した作業を実施することができる。例えば、仮想対象オブジェクトＶＴを持ち上げて上空に放り投げるようなユーザＵの動作に対し、実空間ＲＥにおいて実ロボットＲＲが実対象オブジェクトＲＴを持ち上げて移動させるような作業を実行することができる。ただし、仮想対象オブジェクトＶＴを移動させること自体が危険である場合、仮想対象オブジェクトＶＴを移動させた移動先が危険である場合は、実空間ＲＥにおいてはユーザＵの動作に応じた作業を実行することなく、ユーザＵに警告を発するようにしてもよい。

【0089】

また、実施形態の操作システム１では、制御情報生成部２０２は、ユーザＵによる一連の動作に対応する作業が、実空間ＲＥにおいて実現可能である場合、その一連の動作と同等な作業を実ロボットＲＲに実行させるような制御情報を生成する。これにより、実施形態の操作システム１では、実空間ＲＥにおいて実現可能であることを前提として、ユーザＵの動作にしたがった作業が実ロボットＲＲにより実行されるようにすることができ、上述した効果と同様の効果を奏することができる。

【0090】

（実施形態の変形例１）
ここで、実施形態の変形例１について、図１１を用いて説明する。図１１は、実施形態の変形例１に係る操作システム１の概要を示す概略ブロック図である。本変形例では、ロボットを操作するユーザ（ユーザＳＵ）とは別に、そのロボットが作業する様子を傍観するユーザ（ユーザＴＵ）が存在する点において、上述した実施形態と相違する。以下では、上述した実施形態と相違する構成のみ説明し、上述した実施形態と同等な構成については同じ符号を付してその説明を省略する。

【0091】

図１１に示すように、操作システム１は、例えば、視聴端末５０を、さらに備える。

【0092】

サーバ装置２０は、操作端末１０に通知するための表示画像（以下、第１表示画像という）とは異なる画像を、視聴端末５０に通知するための表示画像（以下、第２表示画像という）として生成する。サーバ装置２０は、それぞれのユーザの視点に応じた表示画像を生成する。

【0093】

例えば、サーバ装置２０は、ユーザＳＵの手の部分に対応する仮想モデルＶＳＵ１が、仮想ユーザＶＵとして仮想空間ＶＥに存在する表示画像を、第１表示画像として生成する。サーバ装置２０は生成した第１表示画像の画像情報を、操作端末１０に送信する。

【0094】

一方、サーバ装置２０は、ユーザＳＵの全体に対応する仮想モデルＶＳＵ２が、仮想ユーザＶＵとして仮想空間ＶＥに存在する表示画像を、第２表示画像として生成する。サーバ装置２０は生成した第２表示画像の画像情報を、視聴端末５０に送信する。

【0095】

視聴端末５０は、ロボットが作業する様子を傍観するユーザ（ユーザＴＵ）によって操作されるコンピュータである。視聴端末５０として、例えば、スマートフォン、携帯電話、タブレット端末、ＰＣ、などを適用することができる。視聴端末５０は、例えば、眼鏡型をした装着型のディスプレイなどの表示部５０１を備える。視聴端末５０は、サーバ装置２０から視聴端末５０に送信された第２表示画像の画像情報を受信し、受信した画像情報に基づいて、第２表示画像（符号５０１Ａ）を、表示部５０１に表示させる。

【0096】

以上説明したように、実施形態の変形例１に係る操作システム１では、複数の端末、例えば、操作端末１０及び視聴端末５０のそれぞれに表示画像を表示させる。サーバ装置２０は、それぞれのユーザＵの視点に応じた表示画像を生成する。例えば、サーバ装置２０は、実ロボットＲＲを操作るユーザＳＵの視点に応じて、ユーザＳＵの身体の一部、手や腕の部分に対応する仮想物体を、仮想ユーザＶＵとして、第１表示画像に描画する。一方、サーバ装置２０は、実ロボットＲＲによる作業を傍観するユーザＴＵの視点に応じて、ユーザＳＵの体全体に対応する仮想物体を、仮想ユーザＶＵとして、第２表示画像に描画する。これにより、実施形態の変形例１に係る操作システム１では、それぞれのユーザＵの視点に応じた表示画像を生成することができ、それぞれのユーザＵが、違和感なくロボットを操作したり、そのロボットが行う作業を傍観したりすることができる。

【0097】

（実施形態の変形例２）
ここで、実施形態の変形例２について、説明する。本変形例は、ユーザＵに触覚刺激がフィードバックされる点において、上述した実施形態と相違する。以下では、主に、上述した実施形態と相違する構成について説明し、上述した実施形態と同等な構成については同じ符号を付してその説明を省略する。

【0098】

本変形例について、図１２及び図１３を用いて説明する。図１２は、実施形態の変形例２による操作システム１の概要の例を示す概略ブロック図である。図１３は、実施形態の変形例２における操作システム１の構成の例を示すブロック図である。

【0099】

図１２に示すように、実ロボットＲＲは、接触センサＲＳＴを備える。接触センサＲＳＴは、接触の有無、及び接触している場合にはその強度などの接触情報を取得するセンサであり、例えば、圧電センサなどを含む。この場合、接触センサＲＳＴは、接触により発生する圧力の大きさを電気信号に変換したものを接触情報として出力する。

【0100】

操作端末１０は触覚刺激出力部１０５を備える。触覚刺激出力部１０５は、触覚刺激を出力するデバイスである。触覚刺激出力部１０５は、例えば、装着したユーザに触覚刺激をフィードバックするＶＲグローブである。

【0101】

図１３に示すように、接触センサＲＳＴは、ロボット制御装置４０と通信可能に接続する。接触センサＲＳＴは、実ロボットＲＲが操作される等して、把持部が物を掴んだり離したりする動作に伴う接触を検知し、検知した接触の有無や度合を接触情報として、サーバ装置２０に送信する。

【0102】

サーバ装置２０は、例えば、接触情報取得部２０７と、触覚情報生成部２０８と、触覚情報出力部２０９とを備える。接触情報取得部２０７は、ロボット制御装置４０から送信された接触情報を、サーバ装置２０の通信部（不図示）を介して取得する。触覚情報生成部２０８は、接触情報、及び動作情報に基づいて、触覚情報を生成する。触覚情報は、ユーザＵに触覚刺激としてフィードバックさせる情報であり、触覚の有無や度合を示す情報である。動作情報は、動作情報取得部２０１によって取得されたユーザＵの動きである。

【0103】

まず、触覚情報生成部２０８は、接触情報を、ユーザＵの動きに対応させることにより触覚情報を生成する。例えば、触覚情報生成部２０８は、接触情報の時系列データから、接触が有りとなってから接触が無くなるまでの一連の作業に対応する接触情報を抽出し、抽出した接触情報を記憶する。

【0104】

触覚情報生成部２０８は、接触情報が記憶されている場合には、その記憶された接触情報を用いて、動作情報に基づくユーザＵの一連の動作に対応させた接触情報を生成する。例えば、ユーザＵが仮想対象オブジェクトＶＴに触れる動作を行った場合、触覚情報生成部２０８は、記憶された接触情報から、実ロボットＲＲが実対象オブジェクトＲＴに接触したタイミングにおける接触情報を抽出する。触覚情報生成部２０８は、抽出した接触情報に基づいてユーザＵに体感させる触覚情報を生成する。触覚情報生成部２０８は、生成した触覚情報を触覚情報出力部２０９に出力する。触覚情報出力部２０９は、触覚情報を、サーバ装置２０の通信部（不図示）を介して操作端末１０に送信する。

【0105】

一方、触覚情報生成部２０８は、接触情報が記憶されていない場合、撮像画像に基づいて、動作情報に基づくユーザＵの一連の動作に対応させた接触情報を生成する。例えば、触覚情報生成部２０８は、撮像画像から実対象オブジェクトＲＴが撮像された領域を特定する。例えば、触覚情報生成部２０８は、輪郭抽出などの画像処理技術を用いて、実対象オブジェクトＲＴが撮像された領域を特定する。触覚情報生成部２０８は、特定した領域のテクスチャに基づいて、触覚情報を生成する。例えば、触覚情報生成部２０８は、テクスチャと触覚情報とが対応づけられたテーブルを予め記憶させておく。このテーブルには、画像のテクスチャに、そのテクスチャを有する物体を触った時の触覚を示す触覚情報が対応づけられている。例えば、土管が撮像された領域の画像におけるテクスチャには、コンクリートのザラザラした触覚情報が対応づけられている。例えば、ユーザＵが仮想対象オブジェクトＶＴに触れる動作を行った場合、触覚情報生成部２０８は、テーブルを参照し、実対象オブジェクトＲＴのテクスチャに対応づけられた触覚情報を抽出する。触覚情報生成部２０８は、抽出した触覚情報を、サーバ装置２０の通信部（不図示）を介して操作端末１０に送信する。

【0106】

操作端末１０は、例えば、触覚刺激出力部１０５を備える。触覚刺激出力部１０５は、触覚刺激を出力するデバイスである。触覚刺激出力部１０５は、例えば、装着したユーザに触覚刺激をフィードバックするＶＲグローブである。触覚刺激出力部１０５は、サーバ装置２０から送信された触覚情報を、操作端末１０の通信部（不図示）を介して取得する。触覚刺激出力部１０５は、取得した触覚情報を用いて、触覚刺激を出力する。これにより、ユーザＵは、触覚刺激を感じることができる。

【0107】

以上説明したように、実施形態の変形例２に係る操作システム１は、触覚情報生成部２０８をさらに備える。触覚情報生成部２０８は、触覚情報を生成する。触覚情報は、触覚刺激出力部１０５（例えば、ＶＲグローブなど）を介してユーザＵに触覚刺激を与えるための情報である。触覚情報生成部２０８は、撮像画像取得部２０３によって取得された撮像画像、及び、動作情報取得部２０１によって取得された動作情報に基づいて、前記ユーザに触覚刺激を感じさせるための触覚情報を生成する。これにより、実施形態の変形例２に係る操作システム１では、触覚情報を生成することができるため、ユーザＵに対し、ユーザの動作に応じた触覚刺激を感じさせることが可能となる。

【0108】

上述した実施形態における操作システム１及びサーバ装置２０の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

【0109】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0110】

１…操作システム
１０…操作端末
２０…サーバ装置
３０…撮像端末
４０…ロボット制御装置
１０１…表示部
１０２…動作情報取得部
１０３…表示画像取得部
１０４…動作情報出力部
２０１…動作情報取得部
２０２…制御情報生成部
２０３…撮像画像取得部
２０４…表示画像生成部
２０５…表示画像出力部
２０６…制御情報出力部
３０１…撮像部
３０２…撮像画像出力部
４０１…制御情報取得部
４０２…ロボット制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】