特開 2024-49842 ロボット遠隔操作制御装置、ロボット遠隔操作制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024049842

(43)【公開日】2024-04-10

(54)【発明の名称】ロボット遠隔操作制御装置、ロボット遠隔操作制御方法、およびプログラム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20240403BHJP

【ＦＩ】

B25J13/08 A

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022156322

(22)【出願日】2022-09-29

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】知久 健

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707BS27

3C707ES04

3C707JS03

3C707JS07

3C707JU03

3C707JU12

3C707KS21

3C707KT03

3C707KT05

3C707KT06

3C707KT15

3C707KW05

3C707KX10

3C707LW12

3C707LW15

(57)【要約】

【課題】操作者の操作に対する違和感を低減できるロボット遠隔操作制御装置、ロボット遠隔操作制御方法、およびプログラムを提供することを目的とする。
【解決手段】ロボット遠隔操作制御装置は、ロボットを操作者が遠隔操作するロボット遠隔操作制御において、ロボットの存在する空間の空間情報を取得する空間情報センサと、ロボットの存在する空間を前記空間情報から再現した空間再現画像を前記操作者に提示する画像出力部と、ロボットの三次元モデルと空間情報に基づいて前記ロボットの姿勢を計算するロボット姿勢計算部と、空間情報とロボット姿勢計算部が計算した情報から、操作者の視点によるロボットの見え方を計算し、ロボットの身体による空間遮蔽を消した画像を空間再現画像として描画する空間再現画像描画部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

ロボットを操作者が遠隔操作するロボット遠隔操作制御において、
前記ロボットの存在する空間の空間情報を取得する空間情報センサと、
前記ロボットの存在する空間を前記空間情報から再現した空間再現画像を前記操作者に提示する画像出力部と、
前記ロボットの三次元モデルと前記空間情報に基づいて前記ロボットの姿勢を計算するロボット姿勢計算部と、
前記空間情報と前記ロボット姿勢計算部が計算した情報から、前記操作者の視点による前記ロボットの見え方を計算し、前記ロボットの身体による空間遮蔽を消した画像を空間再現画像として描画する空間再現画像描画部と、
を備えるロボット遠隔操作制御装置。

【請求項2】

ロボットを操作者が遠隔操作するロボット遠隔操作制御において、
前記ロボットの存在する空間の空間情報を取得する空間情報センサと、
前記ロボットの存在する空間を前記空間情報から再現した空間再現画像を前記操作者に提示する画像出力部と、
前記ロボットの三次元モデルと前記空間情報に基づいて前記ロボットの姿勢を計算し、前記操作者の視点による前記ロボットの見え方を計算するロボット姿勢計算部と、
前記空間情報と前記ロボット姿勢計算部が計算した情報から、前記操作者の視点による前記ロボットの見え方を計算し、前記操作者の任意の視点の画像を空間再現画像として描画する空間再現画像描画部と、
を備えるロボット遠隔操作制御装置。

【請求項3】

前記空間再現画像描画部は、前記空間情報と前記ロボット姿勢計算部が計算した情報から、前記操作者の視点による前記ロボットの見え方を計算して、前記ロボットの身体が前記操作者の視界を遮蔽しているか否かを判別し、前記ロボットの身体が前記操作者の視界を遮蔽している場合に、前記操作者の任意の視点の画像を空間再現画像として描画する、
請求項１に記載のロボット遠隔操作制御装置。

【請求項4】

前記ロボットを操作する操作者の状態の操作者状態情報を取得する情報取得部を更に備え、
前記ロボット姿勢計算部は、前記ロボットの三次元モデルと前記空間情報センサと前記操作者状態情報に基づいて前記ロボットの姿勢を計算する、
請求項１から請求項３のうちのいずれか１項に記載のロボット遠隔操作制御装置。

【請求項5】

前記空間情報センサは、位置が既知であり、時系列にデータを取得し、タイムスタンプを付与する、
請求項１または請求項２に記載のロボット遠隔操作制御装置。

【請求項6】

前記空間再現画像描画部は、前記空間情報と教師データである前記操作者の視点の画像を用いて学習したモデルを用いて、前記操作者の視点による前記ロボットの見え方を計算する、
請求項１または請求項２に記載のロボット遠隔操作制御装置。

【請求項7】

前記操作者状態情報に基づき前記ロボットの操作量を決定する操作量決定部、を更に備える、
請求項４に記載のロボット遠隔操作制御装置。

【請求項8】

ロボットを操作者が遠隔操作するロボット遠隔操作制御装置が、
前記ロボットの存在する空間の空間情報を取得し、
前記ロボットの三次元モデルと前記空間情報に基づいて前記ロボットの姿勢を計算し、
前記空間情報と前記ロボットの姿勢を計算した情報から、前記操作者の視点による前記ロボットの見え方を計算し、前記ロボットの身体による空間遮蔽を消した画像を空間再現画像として描画して前記操作者に提示する、
ロボット遠隔操作制御方法。

【請求項9】

ロボットを操作者が遠隔操作するロボット遠隔操作制御装置が、
前記ロボットの存在する空間の空間情報を取得し、
前記ロボットの三次元モデルと前記空間情報に基づいて前記ロボットの姿勢を計算し、前記操作者の視点による前記ロボットの見え方を計算し、
前記空間情報と前記ロボットの姿勢を計算した情報から、前記操作者の視点による前記ロボットの見え方を計算し、前記操作者の任意の視点の画像を空間再現画像として描画して前記操作者に提示する、
ロボット遠隔操作制御方法。

【請求項10】

ロボットを操作者が遠隔操作するロボット遠隔操作制御装置のコンピュータに、
前記ロボットの存在する空間の空間情報を取得させ、
前記ロボットの三次元モデルと前記空間情報に基づいて前記ロボットの姿勢を計算させ、
前記空間情報と前記ロボットの姿勢を計算した情報から、前記操作者の視点による前記ロボットの見え方を計算させ、前記ロボットの身体による空間遮蔽を消した画像を空間再現画像として描画して前記操作者に提示させる、
プログラム。

【請求項11】

ロボットを操作者が遠隔操作するロボット遠隔操作制御装置のコンピュータに、
前記ロボットの存在する空間の空間情報を取得させ、
前記ロボットの三次元モデルと前記空間情報に基づいて前記ロボットの姿勢を計算し、前記操作者の視点による前記ロボットの見え方を計算させ、
前記空間情報と前記ロボットの姿勢を計算した情報から、前記操作者の視点による前記ロボットの見え方を計算させ、前記操作者の任意の視点の画像を空間再現画像として描画して前記操作者に提示させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボット遠隔操作制御装置、ロボット遠隔操作制御方法、およびプログラムに関する。

【背景技術】

【0002】

一般的なロボットの場合は、頭部に前方を撮影する撮影装置を備えている（例えば特許文献１参照）。このようなロボットを遠隔操作する場合は、ロボットの頭部に取り付けられた魚眼カメラを用いて、操作者の視点に近い画像を操作者に提示していた（例えば特許文献２参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－４６３５０号公報

【特許文献2】特許第６９４０８７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献２等に記載の従来の技術では、ロボットの動作中、ロボットの頭部に搭載された画像を操縦に用いた場合、ロボットの身体が操作者の視界を遮ってしまい、物体の操作を正常に行えない場合があった。

【0005】

本発明は、上記の問題点に鑑みてなされたものであって、操作者の操作に対する違和感を低減できるロボット遠隔操作制御装置、ロボット遠隔操作制御方法、およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

（１）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御装置は、ロボットを操作者が遠隔操作するロボット遠隔操作制御において、前記ロボットの存在する空間の空間情報を取得する空間情報センサと、前記ロボットの存在する空間を前記空間情報から再現した空間再現画像を前記操作者に提示する画像出力部と、前記ロボットの三次元モデルと前記空間情報に基づいて前記ロボットの姿勢を計算するロボット姿勢計算部と、前記空間情報と前記ロボット姿勢計算部が計算した情報から、前記操作者の視点による前記ロボットの見え方を計算し、前記ロボットの身体による空間遮蔽を消した画像を空間再現画像として描画する空間再現画像描画部と、を備えるロボット遠隔操作制御装置である。

【0007】

（２）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御装置は、ロボットを操作者が遠隔操作するロボット遠隔操作制御において、前記ロボットの存在する空間の空間情報を取得する空間情報センサと、前記ロボットの存在する空間を前記空間情報から再現した空間再現画像を前記操作者に提示する画像出力部と、前記ロボットの三次元モデルと前記空間情報に基づいて前記ロボットの姿勢を計算し、前記操作者の視点による前記ロボットの見え方を計算するロボット姿勢計算部と、前記空間情報と前記ロボット姿勢計算部が計算した情報から、前記操作者の視点による前記ロボットの見え方を計算し、前記操作者の任意の視点の画像を空間再現画像として描画する空間再現画像描画部と、を備えるロボット遠隔操作制御装置である。

【0008】

（３）また、本発明の一態様に係るロボット遠隔操作制御装置は、前記空間再現画像描画部が、前記空間情報と前記ロボット姿勢計算部が計算した情報から、前記操作者の視点による前記ロボットの見え方を計算して、前記ロボットの身体が前記操作者の視界を遮蔽しているか否かを判別し、前記ロボットの身体が前記操作者の視界を遮蔽している場合に、前記操作者の任意の視点の画像を空間再現画像として描画する、上記（１）に記載のロボット遠隔操作制御装置である。

【0009】

（４）また、本発明の一態様に係るロボット遠隔操作制御装置は、前記ロボットを操作する操作者の状態の操作者状態情報を取得する情報取得部を更に備え、前記ロボット姿勢計算部は、前記ロボットの三次元モデルと前記空間情報センサと前記操作者状態情報に基づいて前記ロボットの姿勢を計算する、上記（１）から（３）のうちのいずれか１つに記載のロボット遠隔操作制御装置である。

【0010】

（５）また、本発明の一態様に係るロボット遠隔操作制御装置は、前記空間情報センサが、位置が既知であり、時系列にデータを取得し、タイムスタンプを付与する、上記（１）から（４）のうちのいずれか１つに記載のロボット遠隔操作制御装置である。

【0011】

（６）また、本発明の一態様に係るロボット遠隔操作制御装置は、前記空間再現画像描画部が、前記空間情報と教師データである前記操作者の視点の画像を用いて学習したモデルを用いて、前記操作者の視点による前記ロボットの見え方を計算する、上記（１）から（５）のうちのいずれか１つに記載のロボット遠隔操作制御装置である。

【0012】

（７）また、本発明の一態様に係るロボット遠隔操作制御装置は、前記操作者状態情報に基づき前記ロボットの操作量を決定する操作量決定部、を更に備える、上記（４）に記載のロボット遠隔操作制御装置である。

【0013】

（８）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御方法は、ロボットを操作者が遠隔操作するロボット遠隔操作制御装置が、前記ロボットの存在する空間の空間情報を取得し、前記ロボットの三次元モデルと前記空間情報に基づいて前記ロボットの姿勢を計算し、前記空間情報と前記ロボットの姿勢を計算した情報から、前記操作者の視点による前記ロボットの見え方を計算し、前記ロボットの身体による空間遮蔽を消した画像を空間再現画像として描画して前記操作者に提示する、ロボット遠隔操作制御方法である。

【0014】

（９）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御方法は、ロボットを操作者が遠隔操作するロボット遠隔操作制御装置が、前記ロボットの存在する空間の空間情報を取得し、前記ロボットの三次元モデルと前記空間情報に基づいて前記ロボットの姿勢を計算し、前記操作者の視点による前記ロボットの見え方を計算し、前記空間情報と前記ロボットの姿勢を計算した情報から、前記操作者の視点による前記ロボットの見え方を計算し、前記操作者の任意の視点の画像を空間再現画像として描画して前記操作者に提示する、ロボット遠隔操作制御方法である。

【0015】

（１０）上記目的を達成するため、本発明の一態様に係るプログラムは、ロボットを操作者が遠隔操作するロボット遠隔操作制御装置のコンピュータに、前記ロボットの存在する空間の空間情報を取得させ、前記ロボットの三次元モデルと前記空間情報に基づいて前記ロボットの姿勢を計算させ、前記空間情報と前記ロボットの姿勢を計算した情報から、前記操作者の視点による前記ロボットの見え方を計算させ、前記ロボットの身体による空間遮蔽を消した画像を空間再現画像として描画して前記操作者に提示させる、プログラムである。

【0016】

（１１）上記目的を達成するため、本発明の一態様に係るプログラムは、ロボットを操作者が遠隔操作するロボット遠隔操作制御装置のコンピュータに、前記ロボットの存在する空間の空間情報を取得させ、前記ロボットの三次元モデルと前記空間情報に基づいて前記ロボットの姿勢を計算し、前記操作者の視点による前記ロボットの見え方を計算させ、前記空間情報と前記ロボットの姿勢を計算した情報から、前記操作者の視点による前記ロボットの見え方を計算させ、前記操作者の任意の視点の画像を空間再現画像として描画して前記操作者に提示させる、プログラムである。

【発明の効果】

【0017】

上述した（１）～（１１）によれば、ロボットの身体による遮蔽を消去することにより、操作者の操作に対する違和感を低減できる。

【図面の簡単な説明】

【0018】

【図1】実施形態に係るロボット遠隔操作制御システムの構成例を示す図である。

【図2】実施形態に係るロボットの例とカメラの設置箇所の例を示す図である。

【図3】実施形態に係る関節角度情報のデータ形式例を示す図である。

【図4】実施形態に係る画像情報のデータ形式例を示す図である。

【図5】実施形態に係る空間再現画像描画部が行う処理の例を説明するための図である。

【図6】実施形態に係る空間再現画像描画部が備えるモデルの入出力の例を示す図である。

【図7】実施形態に係るロボット遠隔操作制御システムが行う処理手順のフローチャートである。

【図8】ロボットの腕が操作者の視線を遮っている状態の画像例を示す図である。

【図9】ロボットの腕が操作者の視線を遮っている状態の画像例を示すイメージ図である。

【図10】遮蔽された部分を消すように合成した画像の一例のイメージ図である。

【図11】ロボットの身体を消した状態の見え方の画像の一例を示す図である。

【発明を実施するための形態】

【0019】

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。

【0020】

［概要］
本実施形態では、ロボットを遠隔操作する場合、ロボットの身体（例えばハンドやエンドエフェクタ）によって作業対象の対象物体等が遮られても、遮られてないように精製した画像を操作者に提供する。提供する画像は、既知情報であるロボットの姿勢、ロボットの三次元モデル情報、撮影装置の取り付け位置情報等を用いて合成する。
本実施形態によれば、ロボットの身体による遮蔽を消去することにより、操作者の操作に対する違和感を低減することができる。

【0021】

［ロボット遠隔操作制御システムの構成］
ロボット遠隔操作制御システムの構成例を説明する。
図１は、本実施形態に係るロボット遠隔操作制御システムの構成例を示す図である。図１に示すように、ロボット遠隔操作制御システム９は、例えば、ロボット１と、第２撮影部２（空間情報センサ）と、ＨＭＤ３と、操作検出部４と、ロボット遠隔操作制御装置５と、ロボットモデル記憶部６を備える。

【0022】

ロボット１は、例えば、第１撮影部１１（空間情報センサ）と、センサ１２（空間情報センサ）と、アーム１３と、エンドエフェクタ１４と、駆動部１５を備える。

【0023】

ロボット遠隔操作制御装置５は、例えば、取得部５１と、操作量決定部５２と、ロボット姿勢計算部５３と、空間再現画像描画部５４と、制御部５５と、記憶部５６と、画像出力部５７を備える。
取得部５１は、例えば、画像取得部５１１と、センサ情報取得部５１２と、操作者情報取得部５１３（情報取得部）を備える。

【0024】

ロボット１は、例えば、片腕アームロボット、双腕アームロボット、および多腕アームロボット、アームロボット等のうちのいずれかである。

【0025】

第１撮影部１１は、例えば、ＣＣＤ（Charge Coupled Device）撮影装置またはＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）撮影装置である。第１撮影部１１は、例えば、魚眼レンズまたは広角レンズ等を備える。第１撮影部１１は、例えば、ロボット１の頭部やエンドエフェクタ１４に取り付けられている。第１撮影部１１は、例えば、ＲＧＢ（赤緑青）画像を撮影するＲＧＢカメラと深度画像を撮影する深度カメラを備えている。第１撮影部１１が撮影する画像は、ロボットの存在する空間の空間情報である。なお、ロボット１に取り付けられている第１撮影部１１の位置は、既知であり、例えばロボットモデル記憶部６に記憶されている。第１撮影部１１は、時系列にデータを取得し、タイムスタンプを付与する。

【0026】

センサ１２は、例えば６軸センサである。また、センサ１２は、アーム１３の各関節や、エンドエフェクタ１４の各関節の関節角度を検出する。センサ１２は、ロボット１の関節に取り付けられている関節トルクセンサである。このように、センサ１２は、ロボット１が使用するセンサ情報を検出する。なお、第１撮影部１１もセンサ１２の１つであってもよい。センサ１２は、時系列にデータを取得し、タイムスタンプを付与する。

【0027】

アーム１３は、先端にエンドエフェクタ１４が接続されている。

【0028】

エンドエフェクタ１４は、少なくとも２つの指部を備える。エンドエフェクタ１４が備える指の数は、３つ以上であってもよい。

【0029】

第２撮影部２は、例えばロボット１の作業環境に設置されている。第２撮影部２は、例えば、ＲＧＢ（赤緑青）画像を撮影するＲＧＢカメラと深度画像を撮影する深度カメラを備えている。第２撮影部２が撮影する画像は、ロボットの存在する空間の空間情報である。なお、第２撮影部２の設置位置は、既知であり、例えばロボットモデル記憶部６に記憶されている。第２撮影部２は、時系列にデータを取得し、タイムスタンプを付与する。

【0030】

ＨＭＤ３は、操作者が頭部に装着する、例えばヘッドマウントディスプレイである。ＨＭＤ３は、例えば、操作者に画像を提示する画像表示部３１と、操作者の視線を検出する視線検出部３２と、ロボット遠隔操作制御装置５と情報の送受信を行う通信部（不図示）等を備える。

【0031】

操作検出部４は、操作者の操作指示を検出する。操作検出部４は、例えば、データグローブ等である。

【0032】

ロボットモデル記憶部６は、例えばロボット１の三次元形状モデル（含む寸法等）を記憶する。

【0033】

ロボット遠隔操作制御装置５は、ロボットの存在する空間の空間情報と、ロボット１を操作する操作者の状態を示す操作者状態情報と、ロボットモデルとを用いて、ロボット１の身体による空間遮蔽を消した画像を空間再現画像として描画する。

【0034】

画像取得部５１１は、第１撮影部１１が撮影した画像と、第２撮影部２が撮影した画像を取得する。

【0035】

センサ情報取得部５１２は、センサ１２からセンサ１２が検出したエンドエフェクタ１４の各関節の関節角度を取得する。なお、センサ情報取得部５１２が、なお、撮影部（第１撮影部１１、第２撮影部２）が撮影した画像をセンサ情報として取得してもよい。あるいは、センサ情報取得部５１２は、操作検出部４が検出した操作者状態情報をセンサ情報として取得してもよい。

【0036】

操作者情報取得部５１３は、例えば、操作検出部４から、ロボット１を操作する操作者の状態の操作者状態情報を取得する。操作者状態情報によって、ロボット１をどのように動作させたいか、またはどのようにロボット１に動作してほしいかが分かる。なお、操作者情報取得部５１３は、視線検出部３２が検出した視線情報も取得するようにしてもよい。

【0037】

操作量決定部５２は、操作者状態情報に基づいてロボット１の操作量を決定する。

【0038】

ロボット姿勢計算部５３は、ロボット１の三次元モデルと、センサ情報取得部５１２が取得した情報を用いてロボットの姿勢を計算する。または、ロボット姿勢計算部５３は、ロボット１の三次元モデルと、センサ情報取得部５１２が取得した情報と、操作者情報取得部５１３が取得した情報を用いてロボットの姿勢を計算する。

【0039】

空間再現画像描画部５４は、空間情報と、ロボット姿勢計算部５３が計算した情報から、操作者視点のロボットの見え方を計算し、ロボット１の身体が操作者の視界を遮っているか否かを判別する。ロボット１の身体が操作者の視界を遮っている場合、空間再現画像描画部５４は、空間情報と、ロボット姿勢計算部５３が計算した情報から、ロボット１の身体による空間遮蔽を消した画像を空間再現画像として描画する。空間再現画像描画部５４は、生成した画像をＨＭＤ３に提供する。

【0040】

制御部５５は、操作量決定部５２が決定した操作量に基づいて、ロボット１の動作を制御する。

【0041】

記憶部５６は、例えば、ロボット１の制御に必要な値、プログラム等を記憶する。記憶部５６は、取得された情報を一時的に記憶する。

【0042】

画像出力部５７は、ロボットの存在する空間を空間情報から再現した空間再現画像を操作者に見せるために、ＨＭＤ３に出力する。

【0043】

［ロボットの構成例］
まず、ロボットの例と、カメラの設置箇所の例を説明する。
図２は、本実施形態に係るロボットの例とカメラの設置箇所の例を示す図である。
ロボット１は、例えば、ボディ１６、頭部１７、アーム１３（１３Ｌ、１３Ｒ）、ハンド（エンドエフェクタ）１４（１４Ｌ、１４Ｒ）を備える。なお、以下の説明では、エンドエフェクタ１４を、ハンド１４とも言う。
ハンド１４は、例えば掌の甲側の手首に第１撮影部１１ａ、１１ｂが設置されている。頭部１７は、第１撮影部１１ｃ、１１ｄを備える。
また、ロボット１の作業空間に、第２撮影部２が設置されている。

【0044】

なお、ロボット１の頭部の第１撮影部１１ｃ、１１ｄが、第２撮影部２であってもよい。
なお、図２に示した例では、ハンド１４が指部を５つ備える例を示したが、指部は２つ以上であればよい。また、図２では、両腕のロボットの例を示したが、片腕であってもよい。また、撮影部の数は一例であり、これに限らない。また、撮影部は、掌、指先、手首の全のうち、少なくとも１つであってもよく、ハンド１４に複数備えていてもよい。

【0045】

［取得するデータ形式］
次に、ロボット遠隔操作制御装置５が取得するデータ形式例を説明する。
図３は、本実施形態に係る関節角度情報のデータ形式例を示す図である。図３のように、関節角度情報には、タイムスタンプが関連付けられている。
図４は、本実施形態に係る画像情報のデータ形式例を示す図である。図４のように、画像情報には、タイムスタンプが関連付けられている。
なお、関節角度情報、画像情報は、記憶部５６が、例えば一時的に記憶する。

【0046】

［操作量決定部が行う処理例］
次に、操作量決定部５２が行う処理の例を説明する。
操作量決定部５２は、操作者情報取得部５１３が取得した操作者状態情報に基づいて、ロボット１の操作量を決定する。なお、操作量決定部５２は、例えば、画像取得部５１１が取得した画像を用いて、対象物体、対象物体の位置、対象物体の形状等を推定して、推定した対象物体に関する情報も用いてロボット１の操作量を決定するようにしてもよい。また、操作量決定部５２は、操作者情報取得部５１３が取得した操作者状態情報に基づいて、作業に関するタクソノミー情報（例えば参考文献１参照）を推定し、推定したタクソノミー情報も用いてロボット１の操作量を決定するようにしてもよい。

【0047】

参考文献１；Thomas Feix, Javier Romero,他,“The GRASP Taxonomy of Human GraspTypes” IEEE Transactions on Human-Machine Systems ( Volume: 46, Issue: 1, Feb.2016),IEEE,p66-77

【0048】

［ロボット姿勢計算部が行う処理例］
次に、ロボット姿勢計算部５３が行う処理の例を説明する。
ロボット姿勢計算部５３は、センサ情報取得部５１２が取得した関節角度情報（含むタイムスタンプ）と、ロボットモデル記憶部６が記憶する三次元形状モデルを用いて、ロボット１の姿勢を例えば所定時間毎に計算する。なお、ロボット姿勢計算部５３は、作業に応じてアーム１３やエンドエフェクタ１４の姿勢を計算し、例えばボディ１６や頭部１７等の姿勢を計算しなくてもよい。

【0049】

［空間再現画像描画部が行う処理例］
次に、空間再現画像描画部５４が行う処理の例を説明する。
図５は、本実施形態に係る空間再現画像描画部が行う処理の例を説明するための図である。空間再現画像描画部５４は、空間情報とロボット姿勢情報から、ロボット１の身体による空間遮蔽を消した画像を空間再現画像として描画する。より具体的には、まず、空間再現画像描画部５４は、操作者の視点におけるロボットの見え方を計算する。空間再現画像描画部５４は、計算した操作者の視点におけるロボットの見え方が、操作者の視界を遮っている場合、取得された画像を用いて、視界が遮られてない画像に変換して提示する。

【0050】

なお、空間再現画像描画部５４は、学習済みモデルを備えるようにしてもよい。図６は、本実施形態に係る空間再現画像描画部が備えるモデルの入出力の例を示す図である。
モデル５４１は、予め画像情報と関節角度情報とロボットモデル情報を入力して、提供画像を教師データとして提供画像を出力するように学習さえるようにしてもよい。そして、空間再現画像描画部５４は、操作時に学習済みモデルに画像情報と関節角度情報とロボットモデル情報を入力して、提供画像を出力させるようにしてもよい。なお、モデルは、例えばＤＮＮ（Deep Neural Network）やＲＮＮ（Recurrent Neural Network）等のネットワークで構成されていてもよい。

【0051】

［処理手順例］
次に、ロボット遠隔操作制御システム９が行う処理手順例を説明する。図７は、本実施形態に係るロボット遠隔操作制御システムが行う処理手順のフローチャートである。

【0052】

（ステップＳ１）画像取得部５１１は、第１撮影部１１が撮影した画像と、第２撮影部２が撮影した画像を取得する。

【0053】

（ステップＳ２）センサ情報取得部５１２は、センサ１２が検出したセンサ情報（含む関節角度情報）を取得する。

【0054】

（ステップＳ３）操作者情報取得部５１３は、ＨＭＤ３と操作検出部４から操作者状態情報を取得する。

【0055】

（ステップＳ４）ロボット姿勢計算部５３は、センサ情報取得部５１２が取得した情報に基づいて、ロボット１の姿勢を計算する。なお、ロボット姿勢計算部５３は、操作者状態情報に基づいて、ロボット１の姿勢を計算するようにしてもよい。または、ロボット姿勢計算部５３は、センサ情報取得部５１２が取得した情報と、操作者状態情報に基づいて、ロボット１の姿勢を計算するようにしてもよい。

【0056】

（ステップＳ５）空間再現画像描画部５４は、取得した情報、ロボットの三次元形状モデルを用いて、操作者の視点におけるロボットの見え方を計算する。

【0057】

（ステップＳ６）空間再現画像描画部５４は、計算した操作者の視点におけるロボットの見え方において、操作者の視界をロボット１の身体（アーム１３、エンドエフェクタ１４、頭部１７、ボディ等）が遮っているか否かを判別する。空間再現画像描画部５４は、作者の視界をロボット１の身体が遮っている場合（ステップＳ６；ＹＥＳ）、ステップＳ７の処理に進める。空間再現画像描画部５４は、作者の視界をロボット１の身体が遮っていない場合（ステップＳ６；ＮＯ）、ステップＳ９の処理に進める。

【0058】

（ステップＳ７）空間再現画像描画部５４は、取得された画像を、操作者の視点の画像に変換する。なお、空間再現画像描画部５４は、例えば学習済みのモデルを用いて、取得された画像を、操作者の視点の画像に変換するようにしてもよい。

【0059】

（ステップＳ８）空間再現画像描画部５４は、取得した画像に基づいて生成した操作者の視点における見え方の画像に変換した画像を合成することで、ロボット１の身体による遮蔽を消すように操作者の視点の画像を合成する。

【0060】

（ステップＳ９）ロボット１の身体が操作者の視界を遮っていない場合、空間再現画像描画部５４は、取得した画像に基づいて生成した操作者の視点における見え方の画像を、画像出力部５７によって操作者に提供する。ロボット１の身体が操作者の視界を遮っている場合、空間再現画像描画部５４は、取得した画像に基づいて生成した操作者の視点における見え方の画像に変換した画像を合成した画像を、画像出力部５７によって操作者に提供する。

【0061】

なお、図７に示した操作手順は一例であり、これに限らない。例えば、ステップＳ１～Ｓ３の処理は、この順に限らず、または同時に並行に行ってもよい。

【0062】

［操作者の視界を遮っているか否かの判別方法］
ここで、操作者の視界を遮っているか否かの判別方法の一例を説明する。
ロボット遠隔操作制御装置５は、対象物体を把持する前、撮影された画像から、対象物体の位置や状態を把握することができる。また、ロボット遠隔操作制御装置５は、センサ情報取得部５１２が取得する情報、ロボットモデル記憶部６が記憶するロボット１の三次元モデルから、ロボットの姿勢等を把握できる。

【0063】

ロボット遠隔操作制御装置５は、これらの情報とロボット１の三次元モデルと撮影された画像を用いて、操作者の視界の画像を作成する。ロボット遠隔操作制御装置５は、対象物体の位置、ロボット１のアーム１３、エンドエフェクタ１４の位置や姿勢の情報に基づいて、生成した操作者の視界の画像において、操作者の視界をロボット１の身体を遮っているか否かを判別する。

【0064】

図８は、ロボットの腕が操作者の視線を遮っている状態の画像例を示す図である。図８は、ロボット１の腕、ハンドが作業を行っている状態を、ロボットの三次元モデルを用いて描画した画像の一例である。例えば、腕やハンドによって対象物体が遮られることで、操作者の視線を遮っている状態の例である。

【0065】

図９は、ロボットの腕が操作者の視線を遮っている状態の画像例を示すイメージ図である。図９の例では、右のハンド１４Ｒによって対象物体ｏｂｊが遮られている。このように、操作者の視界が遮られた画像を提供されても、操作者は、対象物体ｏｂｊが遮られているため、把持操作指示を行えないか、または把持操作指示を行いにくい。

【0066】

このため、本実施形態では、このように操作者の視線が遮られている場合に、取得した画像に基づいて、生成したロボット１によって遮蔽された部分を消すように操作者の視点における見え方の画像に変換した画像を合成する。図１０は、遮蔽された部分を消すように合成した画像の一例のイメージ図である。ロボット遠隔操作制御装置５は、図１０のように、対象物体ｏｂｊが手のひら等で遮られている部分を、取得した画像やロボット１の三次元モデルを用いて、遮られていないように画像を生成する。なお、ロボット遠隔操作制御装置５は、例えば、遮っている手のひらの部分を半透明にして対象物体ｏｂｊが見えるように画像を生成するようにしてもよい。

【0067】

以上のように本実施形態では、既知のロボット１の詳細な三次元形状情報と、取得したタイムスタンプ付きのロボット１の各関節角度の情報と、取得したタイムスタンプ付きの画像を用いて、操作者視線の遮蔽を消去した画像を生成して合成するようにした。

【0068】

これにより、本実施形態によれば、ロボットの身体による遮蔽を消去することにより、操作者の操作に対する違和感を低減できる。

【0069】

また、ロボット１の身体形状は操作者の身体形状と異なるため、ロボット１の頭部に搭載されている第１撮影部１１が撮影した画像では、ロボット１の腕等によって視界が遮蔽され操作に違和感があった。本実施形態によれば、このような違和感を低減することができる。

【0070】

［変形例］
上述した例では、操作者の視点の画像を提供する例を説明したが、提供する画像は、これに限らない。ロボット遠隔操作制御装置５は、撮影部（第１撮影部１１、第２撮影部２）の位置と姿勢情報が既知であるため、取得した情報を用いて任意の視点の画像を合成して提供することも可能である。ロボット遠隔操作制御装置５は、例えば、図１１のように、ロボット１の身体を消した状態の見え方の画像を提供することも可能である。

【0071】

図１１は、ロボットの身体を消した状態の見え方の画像の一例を示す図である。図１１の例では、例えば、テーブル上に置かれているいくつかの物体と、右手の指部、左手のグリッパー以外のアーム等を消去した画像の例である。

【0072】

以上のように変形例では、既知のロボット１の詳細な三次元形状情報と、取得したタイムスタンプ付きのロボット１の各関節角度の情報と、取得したタイムスタンプ付きの画像を用いて、任意の視点の画像を生成するようにした。

【0073】

なお、任意の視点の画像の提供は、例えば、操作者がＨＭＤ３や操作検出部４の視線検出結果を操作に基づいて、行うようにしてもよい。

【0074】

なお、本発明におけるロボット遠隔操作制御装置５の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりロボット遠隔操作制御装置５が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

【0075】

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0076】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

【符号の説明】

【0077】

９…ロボット遠隔操作制御システム、１…ロボット、２…第２撮影部、３…ＨＭＤ、４…操作検出部、５…ロボット遠隔操作制御装置、６…ロボットモデル記憶部、１１…第１撮影部、１２…センサ、１３…アーム、１４…エンドエフェクタ、１５…駆動部、３１…画像表示部、３２…視線検出部、５１…取得部、５２…操作量決定部、５３…ロボット姿勢計算部、５４…空間再現画像描画部、５５…制御部、５６…記憶部、５１１…画像取得部、５１２…センサ情報取得部、５１３…操作者情報取得部、５４１…モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】