特開 2024-49851 ロボット遠隔操作制御装置、ロボット遠隔操作制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024049851

(43)【公開日】2024-04-10

(54)【発明の名称】ロボット遠隔操作制御装置、ロボット遠隔操作制御方法、およびプログラム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20240403BHJP

【ＦＩ】

B25J13/08 A

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022156333

(22)【出願日】2022-09-29

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】知久 健

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707BS27

3C707ES04

3C707JS03

3C707JS07

3C707JU03

3C707JU12

3C707KS11

3C707KS21

3C707KS33

3C707KT03

3C707KT05

3C707KT06

3C707KT15

3C707KW05

3C707KX10

(57)【要約】

【課題】操作者の視界を阻害せずに操作に関する情報を提示することができるロボット遠隔操作制御装置、ロボット遠隔操作制御方法、およびプログラムを提供することを目的とする。
【解決手段】ロボット遠隔操作制御装置は、ロボットを操作者が遠隔操作するロボット遠隔操作制御において、ロボットの存在する空間の空間情報を取得する空間情報センサと、ロボットの存在する空間を空間情報から再現した空間再現画像を前記操作者に提示する画像出力部と、ロボットに搭載されたセンサのセンサ情報を取得するセンサ情報取得部と、センサ情報に基づいて、ロボットの姿勢を計算するロボット姿勢計算部と、空間情報と、計算されたロボットの姿勢の情報から、ロボットの身体に紐付けた位置にセンサ情報を描画して空間再現画像とする空間再現画像描画部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

ロボットを操作者が遠隔操作するロボット遠隔操作制御において、
前記ロボットの存在する空間の空間情報を取得する空間情報センサと、
前記ロボットの存在する空間を前記空間情報から再現した空間再現画像を前記操作者に提示する画像出力部と、
前記ロボットに搭載されたセンサのセンサ情報を取得するセンサ情報取得部と、
前記センサ情報に基づいて、前記ロボットの姿勢を計算するロボット姿勢計算部と、
前記空間情報と、計算された前記ロボットの姿勢の情報から、前記ロボットの身体に紐付けた位置に前記センサ情報を描画して空間再現画像とする空間再現画像描画部と、
を備えるロボット遠隔操作制御装置。

【請求項2】

前記ロボットを操作する操作者の状態の操作者状態情報を取得する情報取得部、を更に備え、
前記ロボット姿勢計算部は、前記ロボットの三次元モデルと前記空間情報センサと前記操作者状態情報に基づいて前記ロボットの姿勢を計算し、
前記空間再現画像描画部は、前記操作者状態情報に含まれる制御指令値情報を、前記ロボットの身体に紐付けた位置に描画する、
請求項１に記載のロボット遠隔操作制御装置。

【請求項3】

前記空間再現画像描画部は、前記空間情報と前記ロボット姿勢計算部が計算した情報から、前記操作者の視点による前記ロボットの見え方を計算して、前記ロボットの身体が前記操作者の視界を遮蔽しない位置に前記センサ情報を描画する、
請求項１または請求項２に記載のロボット遠隔操作制御装置。

【請求項4】

前記空間再現画像描画部は、前記センサ情報に基づいて前記ロボットの各関節角の指令値を前記ロボットの身体に紐付けた位置に描画する、
請求項１または請求項２に記載のロボット遠隔操作制御装置。

【請求項5】

空間情報センサは、撮影装置を含み、
前記撮影装置は、前記ロボットの手首に取り付けられ、
前記空間再現画像描画部は、前記撮影装置が撮影した画像を、前記ロボットの手首に紐付けた位置に描画する、
請求項１または請求項２に記載のロボット遠隔操作制御装置。

【請求項6】

前記操作者状態情報に基づき前記ロボットの操作量を決定する操作量決定部、を更に備える、
請求項２に記載のロボット遠隔操作制御装置。

【請求項7】

ロボットを操作者が遠隔操作するロボット遠隔操作制御装置が、
前記ロボットの存在する空間の空間情報を取得し、
前記ロボットの存在する空間を前記空間情報から再現した空間再現画像を前記操作者に提示し、
前記ロボットに搭載されたセンサのセンサ情報を取得し、
前記センサ情報に基づいて前記ロボットの姿勢を計算し、
前記空間情報と、計算された前記ロボットの姿勢の情報から、前記ロボットの身体に紐付けた位置に前記センサ情報を描画して空間再現画像とする、
ロボット遠隔操作制御方法。

【請求項8】

ロボットを操作者が遠隔操作するロボット遠隔操作制御装置のコンピュータに、
前記ロボットの存在する空間の空間情報を取得させ、
前記ロボットの存在する空間を前記空間情報から再現した空間再現画像を前記操作者に提示させ、
前記ロボットに搭載されたセンサのセンサ情報を取得させ、
前記センサ情報に基づいて前記ロボットの姿勢を計算させ、
前記空間情報と、計算された前記ロボットの姿勢から、前記ロボットの身体に紐付けた位置に前記センサ情報を描画して空間再現画像とさせる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボット遠隔操作制御装置、ロボット遠隔操作制御方法、およびプログラムに関する。

【背景技術】

【0002】

ロボットは、例えば、力覚センサ、接触センサ等を備えている。これらセンサから取得した情報は、ロボットを動作させるために接続されるパソコン等に接続されている表示装置に表示されている（例えば特許文献１参照）。特許文献１に記載の技術では、これらの情報を、操作者が確認できる別画面に数値や図表として提示していた。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１５１６９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１等に記載の従来の技術では、別の画面に数値や図表を表示した場合、ユーザが別画面に表示したセンサ情報に注意を向けないという課題がある。特に、視線に追従をさる描画をする場合は、ＵＩ（ユーザインタフェース）の数が多くなるにつれて操作性が低下するという課題がある。

【0005】

本発明は、上記の問題点に鑑みてなされたものであって、操作者の視界を阻害せずに操作に関する情報を提示することができるロボット遠隔操作制御装置、ロボット遠隔操作制御方法、およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

（１）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御装置は、ロボットを操作者が遠隔操作するロボット遠隔操作制御において、前記ロボットの存在する空間の空間情報を取得する空間情報センサと、前記ロボットの存在する空間を前記空間情報から再現した空間再現画像を前記操作者に提示する画像出力部と、前記ロボットに搭載されたセンサのセンサ情報を取得するセンサ情報取得部と、前記センサ情報に基づいて、前記ロボットの姿勢を計算するロボット姿勢計算部と、前記空間情報と、計算された前記ロボットの姿勢の情報から、前記ロボットの身体に紐付けた位置に前記センサ情報を描画して空間再現画像とする空間再現画像描画部と、を備えるロボット遠隔操作制御装置である。

【0007】

（２）また、本発明の一態様に係るロボット遠隔操作制御装置は、前記ロボットを操作する操作者の状態の操作者状態情報を取得する情報取得部、を更に備え、前記ロボット姿勢計算部は、前記ロボットの三次元モデルと前記空間情報センサと前記操作者状態情報に基づいて前記ロボットの姿勢を計算し、前記空間再現画像描画部は、前記操作者状態情報に含まれる制御指令値情報を、前記ロボットの身体に紐付けた位置に描画する、上記（１）に記載のロボット遠隔操作制御装置である。

【0008】

（３）また、本発明の一態様に係るロボット遠隔操作制御装置は、前記空間再現画像描画部が、前記空間情報と前記ロボット姿勢計算部が計算した情報から、前記操作者の視点による前記ロボットの見え方を計算して、前記ロボットの身体が前記操作者の視界を遮蔽しない位置に前記センサ情報を描画する、上記（１）または（２）に記載のロボット遠隔操作制御装置である。

【0009】

（４）また、本発明の一態様に係るロボット遠隔操作制御装置は、前記空間再現画像描画部は、前記センサ情報に基づいて前記ロボットの各関節角の指令値を前記ロボットの身体に紐付けた位置に描画する、上記（１）から（３）のうちのいずれか１つに記載のロボット遠隔操作制御装置である。

【0010】

（５）また、本発明の一態様に係るロボット遠隔操作制御装置は、空間情報センサは、撮影装置を含み、前記撮影装置は、前記ロボットの手首に取り付けられ、前記空間再現画像描画部は、前記撮影装置が撮影した画像を、前記ロボットの手首に紐付けた位置に描画する、上記（１）から（４）のうちのいずれか１つに記載のロボット遠隔操作制御装置である。

【0011】

（６）また、本発明の一態様に係るロボット遠隔操作制御装置は、前記操作者状態情報に基づき前記ロボットの操作量を決定する操作量決定部、を更に備える、上記（５）に記載のロボット遠隔操作制御装置である。

【0012】

（７）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御方法は、ロボットを操作者が遠隔操作するロボット遠隔操作制御装置が、前記ロボットの存在する空間の空間情報を取得し、前記ロボットの存在する空間を前記空間情報から再現した空間再現画像を前記操作者に提示し、前記ロボットに搭載されたセンサのセンサ情報を取得し、前記センサ情報に基づいて前記ロボットの姿勢を計算し、前記空間情報と、計算された前記ロボットの姿勢の情報から、前記ロボットの身体に紐付けた位置に前記センサ情報を描画して空間再現画像とする、ロボット遠隔操作制御方法である。

【0013】

（８）上記目的を達成するため、本発明の一態様に係るプログラムは、ロボットを操作者が遠隔操作するロボット遠隔操作制御装置のコンピュータに、前記ロボットの存在する空間の空間情報を取得させ、前記ロボットの存在する空間を前記空間情報から再現した空間再現画像を前記操作者に提示させ、前記ロボットに搭載されたセンサのセンサ情報を取得させ、前記センサ情報に基づいて前記ロボットの姿勢を計算させ、前記空間情報と、計算された前記ロボットの姿勢から、前記ロボットの身体に紐付けた位置に前記センサ情報を描画して空間再現画像とさせる、プログラムである。

【発明の効果】

【0014】

上述した（１）～（８）によれば、操作者の視界を阻害せずに操作に関する情報を提示することができる。

【図面の簡単な説明】

【0015】

【図1】実施形態に係るロボット遠隔操作制御システムの構成例を示す図である。

【図2】実施形態に係るロボットの例とカメラの設置箇所の例を示す図である。

【図3】実施形態に係るロボット遠隔操作制御システムが行う処理手順のフローチャートである。

【図4】ロボットへの指令値を輪郭に表示する例を示す図である。

【図5】手首に取り付けられる撮影部が撮影する画像を手首位置に関連付けて表示する例の図である。

【図6】前腕に関連つけて力覚情報をグラフとして描画した例を示す図である。

【図7】実施形態に係る操作者に提示する画像の生成方法の一例を説明するための図である。

【発明を実施するための形態】

【0016】

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。

【0017】

［ロボット遠隔操作制御システムの構成］
ロボット遠隔操作制御システムの構成例を説明する。
図１は、本実施形態に係るロボット遠隔操作制御システムの構成例を示す図である。図１に示すように、ロボット遠隔操作制御システム９は、例えば、ロボット１と、第２撮影部２（空間情報センサ）と、ＨＭＤ３と、操作検出部４と、ロボット遠隔操作制御装置５と、ロボットモデル記憶部６を備える。

【0018】

ロボット１は、例えば、第１撮影部１１（空間情報センサ）と、センサ１２（空間情報センサ）と、アーム１３と、エンドエフェクタ１４と、駆動部１５を備える。

【0019】

ロボット遠隔操作制御装置５は、例えば、取得部５１と、操作量決定部５２と、ロボット姿勢計算部５３と、空間再現画像描画部５４と、制御部５５と、記憶部５６と、画像出力部５７を備える。
取得部５１は、例えば、画像取得部５１１と、センサ情報取得部５１２と、操作者情報取得部５１３（情報取得部）を備える。

【0020】

ロボット１は、例えば、片腕アームロボット、双腕アームロボット、および多腕アームロボット、アームロボット等のうちのいずれかである。

【0021】

第１撮影部１１は、例えば、ＣＣＤ（Charge Coupled Device）撮影装置またはＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）撮影装置である。第１撮影部１１は、例えば、魚眼レンズまたは広角レンズ等を備える。第１撮影部１１は、例えば、ロボット１の頭部やエンドエフェクタ１４に取り付けられている。第１撮影部１１は、例えば、ＲＧＢ（赤緑青）画像を撮影するＲＧＢカメラと深度画像を撮影する深度カメラを備えている。第１撮影部１１が撮影する画像は、ロボットの存在する空間の空間情報である。なお、ロボット１に取り付けられている第１撮影部１１の位置は、既知であり、例えばロボットモデル記憶部６に記憶されている。第１撮影部１１は、時系列にデータを取得し、タイムスタンプを付与する。

【0022】

センサ１２は、例えば６軸センサである。また、センサ１２は、アーム１３の各関節や、エンドエフェクタ１４の各関節の関節角度を検出する。センサ１２は、例えば指先等にも取り付けられている接触センサである。センサ１２は、ロボット１の関節に取り付けられている関節トルクセンサである。このように、センサ１２は、ロボット１が使用するセンサ情報を検出する。なお、第１撮影部１１もセンサ１２の１つであってもよい。センサ１２は、時系列にデータを取得し、タイムスタンプを付与する。

【0023】

アーム１３は、先端にエンドエフェクタ１４が接続されている。

【0024】

エンドエフェクタ１４は、少なくとも２つの指部を備える。エンドエフェクタ１４が備える指の数は、３つ以上であってもよい。

【0025】

第２撮影部２は、例えばロボット１の作業環境に設置されている。第２撮影部２は、例えば、ＲＧＢ（赤緑青）画像を撮影するＲＧＢカメラと深度画像を撮影する深度カメラを備えている。第２撮影部２が撮影する画像は、ロボットの存在する空間の空間情報である。なお、第２撮影部２の設置位置は、既知であり、例えばロボットモデル記憶部６に記憶されている。第２撮影部２は、時系列にデータを取得し、タイムスタンプを付与する。

【0026】

ＨＭＤ３は、操作者が頭部に装着する、例えばヘッドマウントディスプレイである。ＨＭＤ３は、例えば、操作者に画像を提示する画像表示部３１と、操作者の視線を検出する視線検出部３２と、ロボット遠隔操作制御装置５と情報の送受信を行う通信部（不図示）等を備える。

【0027】

操作検出部４は、操作者の操作指示を検出する。操作検出部４は、例えば、データグローブ等である。

【0028】

ロボットモデル記憶部６は、例えばロボット１の三次元形状モデル（含む寸法等）を記憶する。

【0029】

ロボット遠隔操作制御装置５は、ロボットの存在する空間の空間情報と、ロボット１を操作する操作者の状態を示す操作者状態情報と、ロボットモデルとを用いて、ロボット１の身体による空間遮蔽を消した画像を空間再現画像として描画する。

【0030】

画像取得部５１１は、第１撮影部１１が撮影した画像と、第２撮影部２が撮影した画像を取得する。

【0031】

センサ情報取得部５１２は、センサ１２からセンサ１２が検出したエンドエフェクタ１４の各関節の関節角度を取得する。なお、センサ情報取得部５１２が、なお、撮影部（第１撮影部１１、第２撮影部２）が撮影した画像をセンサ情報として取得してもよい。あるいは、センサ情報取得部５１２は、操作検出部４が検出した操作者状態情報をセンサ情報として取得してもよい。

【0032】

操作者情報取得部５１３は、例えば、操作検出部４から、ロボット１を操作する操作者の状態の操作者状態情報（含む制御指令値情報（コマンド））を取得する。操作者状態情報によって、ロボット１をどのように動作させたいか、またはどのようにロボット１に動作してほしいかが分かる。なお、操作者情報取得部５１３は、視線検出部３２が検出した視線情報も取得するようにしてもよい。

【0033】

操作量決定部５２は、操作者状態情報に基づいてロボット１の操作量を決定する。

【0034】

ロボット姿勢計算部５３は、ロボット１の三次元モデルと、センサ情報取得部５１２が取得した情報と、操作者情報取得部５１３が取得した操作者状態情報を用いてロボットの姿勢を計算する。または、ロボット姿勢計算部５３は、ロボット１の三次元モデルと、センサ情報取得部５１２が取得した情報を用いてロボットの姿勢を計算し、操作者視点のロボットの見え方を計算する。

【0035】

空間再現画像描画部５４は、計算したロボットモデルの姿勢を用いて、操作者視点におけるロボットモデルの見え方を計算する。空間再現画像描画部５４は、操作者への提示画像に、センサ情報をロボット１の身体部分委関連付けた画像を生成する。空間再現画像描画部５４は、生成した画像をＨＭＤ３に提供する。

【0036】

制御部５５は、操作量決定部５２が決定した操作量に基づいて、ロボット１の動作を制御する。

【0037】

記憶部５６は、例えば、ロボット１の制御に必要な値、プログラム等を記憶する。記憶部５６は、取得された情報を一時的に記憶する。

【0038】

画像出力部５７は、ロボットの存在する空間を空間情報から再現した空間再現画像を操作者に見せるために、ＨＭＤ３に出力する。

【0039】

［ロボットの構成例］
まず、ロボットの例と、カメラの設置箇所の例を説明する。
図２は、本実施形態に係るロボットの例とカメラの設置箇所の例を示す図である。
ロボット１は、例えば、ボディ１６、頭部１７、アーム１３（１３Ｌ、１３Ｒ）、ハンド（エンドエフェクタ）１４（１４Ｌ、１４Ｒ）を備える。なお、以下の説明では、エンドエフェクタ１４をハンド１４とも言う。
ハンド１４は、例えば掌の甲側の手首に第１撮影部１１ａ、１１ｂが設置されている。頭部１７は、第１撮影部１１ｃ、１１ｄを備える。
また、ロボット１の作業空間に、第２撮影部２が設置されている。

【0040】

なお、ロボット１の頭部の第１撮影部１１ｃ、１１ｄが、第２撮影部２であってもよい。
なお、図２に示した例では、ハンド１４が指部を５つ備える例を示したが、指部は２つ以上であればよい。また、図２では、両腕のロボットの例を示したが、片腕であってもよい。また、撮影部の数は一例であり、これに限らない。また、撮影部は、掌、指先、手首の全のうち、少なくとも１つであってもよく、ハンド１４に複数備えていてもよい。

【0041】

［操作量決定部が行う処理例］
次に、操作量決定部５２が行う処理の例を説明する。
操作量決定部５２は、操作者情報取得部５１３が取得した操作者状態情報に基づいて、ロボット１の操作量を決定する。なお、操作量決定部５２は、例えば、画像取得部５１１が取得した画像を用いて、対象物体、対象物体の位置、対象物体の形状等を推定して、推定した対象物体に関する情報も用いてロボット１の操作量を決定するようにしてもよい。また、操作量決定部５２は、操作者情報取得部５１３が取得した操作者状態情報に基づいて、作業に関するタクソノミー情報（例えば参考文献１参照）を推定し、推定したタクソノミー情報も用いてロボット１の操作量を決定するようにしてもよい。

【0042】

参考文献１；Thomas Feix, Javier Romero,他,“The GRASP Taxonomy of Human GraspTypes” IEEE Transactions on Human-Machine Systems ( Volume: 46, Issue: 1, Feb.2016),IEEE,p66-77

【0043】

［ロボット姿勢計算部が行う処理例］
次に、ロボット姿勢計算部５３が行う処理の例を説明する。
ロボット姿勢計算部５３は、センサ情報取得部５１２が取得した関節角度情報（含むタイムスタンプ）と、ロボットモデル記憶部６が記憶する三次元形状モデルを用いて、ロボット１の姿勢を例えば所定時間毎に計算する。なお、ロボット姿勢計算部５３は、作業に応じてアーム１３やエンドエフェクタ１４の姿勢を計算し、例えばボディ１６や頭部１７等の姿勢を計算しなくてもよい。

【0044】

［処理手順例］
次に、ロボット遠隔操作制御システム９が行う処理手順例を説明する。図３は、本実施形態に係るロボット遠隔操作制御システムが行う処理手順のフローチャートである。

【0045】

（ステップＳ１）画像取得部５１１は、第１撮影部１１が撮影した画像と、第２撮影部２が撮影した画像を取得する。

【0046】

（ステップＳ２）センサ情報取得部５１２は、センサ１２が検出したセンサ情報（含む関節角度情報）を取得する。

【0047】

（ステップＳ３）操作者情報取得部５１３は、ＨＭＤ３と操作検出部４から操作者状態情報を取得する。

【0048】

（ステップＳ４）ロボット姿勢計算部５３は、センサ情報取得部５１２が取得した情報に基づいて、ロボット１の姿勢を計算する。なお、ロボット姿勢計算部５３は、操作者状態情報に基づいて、ロボット１の姿勢を計算するようにしてもよい。または、ロボット姿勢計算部５３は、センサ情報取得部５１２が取得した情報と、操作者状態情報に基づいて、ロボット１の姿勢を計算するようにしてもよい。

【0049】

（ステップＳ５）空間再現画像描画部５４は、取得した情報、ロボットの三次元形状モデルを用いて、操作者の視点におけるロボットの見え方を計算する。

【0050】

（ステップＳ６）空間再現画像描画部５４は、センサ情報を、計算した操作者の視点におけるロボットの見え方に関連付けて描画した画像を生成する。

【0051】

（ステップＳ７）画像出力部５７は、空間再現画像描画部５４が生成した画像を、操作者に提供する。

【0052】

なお、図３に示した操作手順は一例であり、これに限らない。例えば、ステップＳ１～Ｓ３の処理は、この順に限らず、または同時に並行に行ってもよい。

【0053】

［空間再現画像描画部が行う処理例］
次に、空間再現画像描画部５４が行う処理の例を説明する。
空間再現画像描画部５４は、空間情報とロボット姿勢情報から、ロボット１の身体による空間遮蔽を消した画像を空間再現画像として描画する。より具体的には、まず、空間再現画像描画部５４は、操作者の視点におけるロボットにセンサ情報を付加した場合の見え方を計算する。なお、空間再現画像描画部５４は、計算した操作者の視点におけるロボット見え方の画像に、操作者の視界を遮っていない位置にセンサ情報を付加する。

【0054】

［ロボット遠隔操作制御装置が行う処理例］
次に、ロボット遠隔操作制御装置５が行う処理の例を説明する。
ロボット姿勢計算部５３は、操作対象のロボット１の詳細な三次元モデルが既知であるため、操作者からのロボット身体による見え方における遮蔽の計算ができる。
また、ロボット姿勢計算部５３は、操作対象のロボット１の各関節の情報を逐次取得可能であるため、ロボットの姿勢情報を計算できる。
空間再現画像描画部５４は、操作対象のロボット１の制御指令値情報を操作検出部４から取得可能であるため、ロボット姿勢計算部５３が計算した結果を用いて、操作者の見えにおいてロボット１の身体に紐づけてセンサ情報を描画することができる。

【0055】

次に、ロボット１の身体に紐づけてセンサ情報の描画例を説明する。
図４は、ロボットへの指令値を輪郭に表示する例を示す図である。図４の例では、ロボット１の各関節角の指令値（コマンド値）を描画して提示する例である。図４のように、指令値を値として表示するのではなく、例えば、指示値（コマンド値）の位置を示す輪郭線と、遅延による現在の位置を示す輪郭線、遅延量等を矢印で提示する。また、指示値の位置を示す輪郭線と、遅延による位置を示す輪郭線は、例えば異なる色や線種で表す。なお、輪郭線で表す対象は、例えば、図４のようにアーム、エンドエフェクタ等である。なお、本実施形態においては、このような遅延量もセンサから取得した情報に基づくセンサ情報とする。これにより、操作者は、指示と動作との遅延状況を把握することができる。

【0056】

図５は、手首に取り付けられる撮影部が撮影する画像を手首位置に関連付けて表示する例の図である。図５の例では、手首に取り付けられている第１撮影部が撮影した画像を、円ｇ１１内に合成して提示している。さらに、図５の例では、図４を用いて説明した輪郭へのセンサ情報も合成して提示している例である。なお、撮影された画像を表示させる位置は、操作者の視界を遮らない位置である。

【0057】

図６は、前腕に関連つけて力覚情報をグラフとして描画した例を示す図である。図６の例では、指先の６軸の動きを示した情報を前腕にオーバーレイ表示している。なお、表示させる位置は、操作者の視界を遮らない位置である。なお、表示は、例えば、把持する際に各指先に加わる力をｘ軸、ｙ軸、ｚ軸に分解して示したものである。これにより、操作者は、どの程度の力で把持しているのか視覚的に知ることができる。

【0058】

なお、センサ情報（含む撮影部が撮影した画像）を関連付ける位置は、ロボット１の身体に紐付けた位置である。ロボット１の身体に紐付けた位置とは、例えば、ロボット１の身体の輪郭、ロボット１の身体に接する位置、またはロボット１の身体の近傍等である。このように、付加されるセンサ情報の付加する位置は、必ずしもロボット１に接していなくてもよく、ロボット１の身体に紐付けられた位置であればよい。また、表示は、例えば、手のひら上、アーム上等にタトゥーのように表示させてもよく、手のひらやアームに接して空間に表示させてもよい。なお、付加する位置は、操作者が注視する範囲、すなわち、ロボット１の作業対象の範囲が好ましい。さらに、ロボット１の身体（例えば指先に位置）が変化した場合に、表示されるセンサ情報の位置は、身体の位置が変化した状態に合わせて位置も変追従させるようにしてもよい。

【0059】

本実施形態では、例えばロボット１の頭部１７に取り付けられている第１撮影部１１が撮影したＲＧＢ画像に図４～図６に示したような指令値を輪郭に描画した画像、撮影された画像、力覚情報を示したグラフ等を合成して提示させる。

【0060】

なお、図４～図６に示した合成する情報は一例であり、これに限らない。他の操作に関す情報（例えば操作者状態情報に含まれる制御指令値情報）、ロボット１に関する情報を合成して提示するようにしてもよい。また、図４～図６の付加するセンサ情報は、同時に２つ以上提示させても良く、切り替えて提示してもよい。さらに、ロボット遠隔操作制御装置５は、センサ情報を、例えば操作者の操作に応じて表示したり非表示に切り替えるようにしてもよく、自動で表示と非表示を切り替えてもよい。また、ロボット遠隔操作制御装置５は、作業内容に応じて、付加するセンサ情報を切り替えるようにしてもよい。

【0061】

また、操作に関する情報の描画方法は、上述した手法に限らない。描画手法は、例えば指令値を数値で示してもよく、表やグラフ等で描画してもよい。

【0062】

これらの表示を提示することで、操作者は、視覚を妨げられずに、操作量、操作量に対する実際の動作、そして遅延量等を知ることができる。

【0063】

［提示画像の生成方法例］
ここで、操作者に提示する画像の生成方法の一例を説明する。
図７は、本実施形態に係る操作者に提示する画像の生成方法の一例を説明するための図である。図７の例は、図６の画像の生成方法である。
ロボット遠隔操作制御装置５は、第１撮影部１１によって撮影された画像ｇ１１１から、ハンドの部分ｇ１１２を周知の画像認識処理によって認識して抽出する。
ロボット遠隔操作制御装置５は、ロボットモデル記憶部６が記憶するロボット１の三次元モデルを用いて、例えばセンサ１２が検出したセンサ情報に含まれる指先力覚情報を描画する（画像ｇ１２１）。
ロボット遠隔操作制御装置５は、抽出した画像ｇ１１２に、描画した画像ｇ１２１を合成して、空間再現画像とする。この際、ロボット遠隔操作制御装置５は、描画した画像ｇ１２１を、ロボット１の指先に重ねて表示させる（画像ｇ１３１）。

【0064】

以上のように本実施形態では、センサ情報を、操作者の視界を遮らない位置かつロボット１の身体に関連付けて、撮影した画像に合成して提示するようにした。

【0065】

これにより、本実施形態によれば、操作者の視界を阻害しないインタフェースを提供可能である。

【0066】

なお、上述した例では、センサ情報を撮影した画像に合成して提示する例を説明したが、これに限らない。ロボット遠隔操作制御装置５は、センサ情報取得部５１２が取得した情報やロボットモデル記憶部６が記憶するロボット１の三次元モデルを用いて、操作者の視点に画像を生成し、生成した画像にセンサ情報を合成するようにしてもよい。これにより、任意の視点によるセンサ情報付きの画像を提供できる。

【0067】

なお、本発明におけるロボット遠隔操作制御装置５の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりロボット遠隔操作制御装置５が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

【0068】

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0069】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

【符号の説明】

【0070】

９…ロボット遠隔操作制御システム、１…ロボット、２…第２撮影部、３…ＨＭＤ、４…操作検出部、５…ロボット遠隔操作制御装置、６…ロボットモデル記憶部、１１…第１撮影部、１２…センサ、１３…アーム、１４…エンドエフェクタ、１５…駆動部、３１…画像表示部、３２…視線検出部、５１…取得部、５２…操作量決定部、５３…ロボット姿勢計算部、５４…空間再現画像描画部、５５…制御部、５６…記憶部、５７…画像出力部、５１１…画像取得部、５１２…センサ情報取得部、５１３…操作者情報取得部、５４１…モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】