特許 7599366 ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-05

(45)【発行日】2024-12-13

(54)【発明の名称】ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム

(51)【国際特許分類】

   B25J 13/02 20060101AFI20241206BHJP

   B25J 13/00 20060101ALI20241206BHJP

【ＦＩ】

B25J13/02

B25J13/00 Z

【請求項の数】 10

(21)【出願番号】P 2021061162

(22)【出願日】2021-03-31

(65)【公開番号】P2022157119

(43)【公開日】2022-10-14

【審査請求日】2023-11-28

(73)【特許権者】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】塚本 七海

(72)【発明者】

【氏名】細見 直希

(72)【発明者】

【氏名】コンダパッレィアニルドレッディ

(72)【発明者】

【氏名】水谷 了

【審査官】神山 貴行

(56)【参考文献】

【文献】特開２０１７－１９６６７８（ＪＰ，Ａ）

【文献】特表２０１７－５１９６４４（ＪＰ，Ａ）

【文献】特開平１１－２４２５１３（ＪＰ，Ａ）

【文献】特表２０１３－５２１１３７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００－２１／０２

(57)【特許請求の範囲】

【請求項1】

操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
前記操作者の視線情報に基づく前記操作者が前記ロボットを操作する空間のローカル座標系における視線ベクトルを取得する情報取得部と、
前記ローカル座標系と、画像表示装置に表示される前記操作者の視界にあるロボット環境の画像における仮想空間の座標系とを同期させる視線情報処理部と、を備え、
前記ローカル座標系は、前記画像表示装置の座標位置を原点とし、
前記視線情報処理部は、
前記ロボットが備える把持部を球で近似し、前記視線ベクトルと前記球との交点を検出することで第１の注視点を検出し、
検出した前記第１の注視点を、前記操作者の操作候補の物体から除外する、
ロボット遠隔操作制御装置。

【請求項2】

操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
前記操作者の視線情報に基づく前記操作者が前記ロボットを操作する空間のローカル座標系における視線ベクトルを取得する情報取得部と、
前記ローカル座標系と、画像表示装置に表示される前記操作者の視界にあるロボット環境の画像における仮想空間の座標系とを同期させる視線情報処理部と、を備え、
前記ローカル座標系は、前記画像表示装置の座標位置を原点とし、
前記視線情報処理部は、
前記操作者に提示する前記ロボットの状態の表示位置と前記視線ベクトルとの交点を検出することで第４の注視点を検出し、
検出した前記第４の注視点を、前記操作者の操作候補の物体から除外する、
ロボット遠隔操作制御装置。

【請求項3】

前記視線情報処理部は、
前記操作者の操作候補の物体と前記視線ベクトルとの交点を検出することで第２の注視点を検出する、
請求項１または請求項２に記載のロボット遠隔操作制御装置。

【請求項4】

前記視線情報処理部は、
前記操作者の操作候補の物体が置かれている面と前記視線ベクトルとの交点を検出することで第３の注視点を検出し、
検出した前記第３の注視点を、前記操作者の操作候補の物体から除外する、
請求項１から請求項３のうちのいずれか１項に記載のロボット遠隔操作制御装置。

【請求項5】

前記視線情報処理部は、前記仮想空間を球で近似する、
請求項１から請求項４のうちのいずれか１項に記載のロボット遠隔操作制御装置。

【請求項6】

操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
請求項１から請求項５のうちのいずれか１つに記載の前記ロボット遠隔操作制御装置と、
物体を把持する把持部と、
前記ロボットあるいは前記ロボットの周辺環境に設置され、前記ロボットの周辺環境の画像情報と深度情報とを検出する環境センサと、
前記操作者の視線情報と、前記操作者の手の動き情報とを操作者センサ値として検出する操作者センサと、
前記操作者の視界にあるロボット環境の画像を表示する画像表示装置と、
を備えるロボット遠隔操作制御システム。

【請求項7】

操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
情報取得部が、前記操作者の視線情報に基づく前記操作者が前記ロボットを操作する空間のローカル座標系における視線ベクトルを取得し、
視線情報処理部が、前記ローカル座標系と、画像表示装置に表示される前記操作者の視界にあるロボット環境の画像における仮想空間の座標系とを同期させ、
前記ローカル座標系は、前記画像表示装置の座標位置を原点とし、
前記視線情報処理部が、前記ロボットが備える把持部を球で近似し、前記視線ベクトルと前記球との交点を検出することで第１の注視点を検出し、検出した前記第１の注視点を、前記操作者の操作候補の物体から除外する、
ロボット遠隔操作制御方法。

【請求項8】

操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
情報取得部が、前記操作者の視線情報に基づく前記操作者が前記ロボットを操作する空間のローカル座標系における視線ベクトルを取得し、
視線情報処理部が、前記ローカル座標系と、画像表示装置に表示される前記操作者の視界にあるロボット環境の画像における仮想空間の座標系とを同期させ、
前記ローカル座標系は、前記画像表示装置の座標位置を原点とし、
前記視線情報処理部が、前記操作者に提示する前記ロボットの状態の表示位置と前記視線ベクトルとの交点を検出することで第４の注視点を検出し、検出した前記第４の注視点を、前記操作者の操作候補の物体から除外する、
ロボット遠隔操作制御方法。

【請求項9】

操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
コンピュータに、
前記操作者の視線情報に基づく前記操作者が前記ロボットを操作する空間のローカル座標系における視線ベクトルを取得させ、
前記ローカル座標系と、画像表示装置に表示される前記操作者の視界にあるロボット環境の画像における仮想空間の座標系とを同期させ、
前記ローカル座標系は、前記画像表示装置の座標位置を原点とし、
前記ロボットが備える把持部を球で近似し、前記視線ベクトルと前記球との交点を検出することで第１の注視点を検出させ、
検出された前記第１の注視点を、前記操作者の操作候補の物体から除外させる、
プログラム。

【請求項10】

操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
コンピュータに、
前記操作者の視線情報に基づく前記操作者が前記ロボットを操作する空間のローカル座標系における視線ベクトルを取得させ、
前記ローカル座標系と、画像表示装置に表示される前記操作者の視界にあるロボット環境の画像における仮想空間の座標系とを同期させ、
前記ローカル座標系は、前記画像表示装置の座標位置を原点とし、
前記操作者に提示する前記ロボットの状態の表示位置と前記視線ベクトルとの交点を検出することで第４の注視点を検出させ、
検出された前記第４の注視点を、前記操作者の操作候補の物体から除外させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラムに関する。

【背景技術】

【0002】

利用者がロボットの操作を補助することができる制御装置が提案されている。このような制御装置として、例えば、ロボットを操作する第１ユーザーの姿勢を示す第１ユーザー姿勢情報を取得する第１情報取得部と、第１ユーザー姿勢情報に基づいてロボットの姿勢を変化させる前のロボットの姿勢である変化前姿勢を示す変化前姿勢情報を取得する第２情報取得部と、変化前姿勢情報と、変化前姿勢情報が示す変化前姿勢をロボットがしている時点で第１情報取得部が取得した第１ユーザー姿勢情報とに基づいて、第１ユーザーの姿勢と異なる標的姿勢をロボットの姿勢に決定する決定部と、を有する制御装置が提案されている（特許文献１参照）。特許文献１に記載のシステムでは、操作者が装着した装置によって検出した姿勢に対応する姿勢にロボットの姿勢を変化させる。

【0003】

このようなシステムでは、視線情報を使って操作者から離れた位置の興味物体を推定する際に、視線検出装置から取得できる視線ベクトルをロボット世界の座標に変換する必要がある。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６４７６３５８号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術では、視線検出装置から取得できる視線ベクトルからのロボット世界への変換が難しかったため、視線情報を的確にとらえることができなかった。視線による注視物体推定では、ヘッドマウントディスプレイ上に表示されるロボット自身やシステムステータスに視線が移動したり、環境との衝突を懸念して壁やハンドを注視したりすることがあるが、これが操作物体の推定に誤差をもたらす。

【0006】

本発明は、上記の問題点に鑑みてなされたものであって、視線情報を的確にとらえることができるロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

（１）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御装置は、操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、前記操作者の視線情報である視線ベクトルを取得する情報取得部と、取得された前記視線ベクトルの座標系と、前記操作者の視界にあるロボット環境の画像を表示する画像表示装置に表示される仮想空間の座標系を同期する視線情報処理部と、を備える。

【0008】

（２）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記視線情報処理部は、前記ロボットが備える把持部を球で近似し、前記視線ベクトルと前記球との交点を検出することで第１の注視点を検出し、検出した前記第１の注視点を、前記操作者の操作候補の物体から除外するようにしてもよい。

【0009】

（３）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記視線情報処理部は、前記操作者の操作候補の物体と前記視線ベクトルとの交点を検出することで第２の注視点を検出するようにしてもよい。

【0010】

（４）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記視線情報処理部は、前記操作者の操作候補の物体が存在する基板と前記視線ベクトルとの交点を検出することで第３の注視点を検出し、検出した前記第３の注視点を、前記操作者の操作候補の物体から除外するようにしてもよい。

【0011】

（５）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記視線情報処理部は、前記操作者に提示する前記ロボットの状態の表示位置と前記視線ベクトルとの交点を検出することで第４の注視点を検出し、検出した前記第４の注視点を、前記操作者の操作候補の物体から除外するようにしてもよい。

【0012】

（６）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記視線情報処理部は、前記仮想空間を球で近似するようにしてもよい。

【0013】

（７）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御システムは、操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、（１）から（６）のうちのいずれか１つに記載の前記ロボット遠隔操作制御装置と、物体を把持する把持部と、前記ロボットあるいは前記ロボットの周辺環境に設置され、ロボット環境センサ値を検出する環境センサと、前記操作者の動きを操作者センサ値として検出する操作者センサと、前記操作者の視界にあるロボット環境の画像を表示する画像表示装置と、を備える。

【0014】

（８）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御方法は、操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、情報取得部が、前記操作者の視線情報である視線ベクトルを取得し、視線情報処理部が、取得された前記視線ベクトルの座標系と、前記操作者の視界にあるロボット環境の画像を表示する画像表示装置に表示される仮想空間の座標系を同期する。

【0015】

（９）上記目的を達成するため、本発明の一態様に係るプログラムは、操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、コンピュータに、前記操作者の視線情報である視線ベクトルを取得させ、取得された前記視線ベクトルの座標系と、前記操作者の視界にあるロボット環境の画像を表示する画像表示装置に表示される仮想空間の座標系を同期させる。

【発明の効果】

【0016】

（１）～（９）によれば、視線情報を的確にとらえることができ、対象物体を特定する精度を向上させることができる。

【図面の簡単な説明】

【0017】

【図1】実施形態に係るロボット遠隔操作制御システムの概要と作業の概要を示す図である。

【図2】実施形態に係るロボット遠隔操作制御システムの構成例を示すブロック図である。

【図3】ＨＭＤ、コントローラーを操作者が身につけている状態例を示す図である。

【図4】ＨＭＤ上に表示される画像例を説明するための図である。

【図5】実施形態に係るロボット遠隔操作制御装置の処理手順を示す図である。

【図6】実施形態に係るロボット遠隔操作制御装置の処理手順のフローチャートである。

【発明を実施するための形態】

【0018】

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。

【0019】

［概要］
まず、ロボット遠隔操作制御システムで行う作業と処理の概要を説明する。
図１は、本実施形態に係るロボット遠隔操作制御システム１の概要と作業の概要を示す図である。図１のように、操作者Ｕｓは、例えばＨＭＤ（ヘッドマウントディスプレイ）５とコントローラー６を装着している。例えば、作業環境には、環境センサ７（７ａ、７ｂ）が設置されている。なお、環境センサ７は、ロボット２に取り付けられていてもよい。また、ロボット２は、把持部２２２（２２２ａ、２２２ｂ）を備える。環境センサ７（７ａ、７ｂ）は、後述するように例えばＲＧＢカメラと深度センサを備えている。操作者Ｕｓは、ＨＭＤ５に表示された画像を見ながらコントローラー６を装着している手や指を動かすことで、ロボット２を遠隔操作する。本実施形態では、操作者の視線の座標系をＨＭＤの座標系と紐づけ、視線のベクトルを仮想空間の座標系に合わせる。本実施形態では、その上で、仮想空間上の物体の座標と大きさから衝突判定を行うことで、操作者の視線情報を的確に捉え、その視線情報を用いて対象物体を推定する。

【0020】

［ロボット遠隔操作制御システムの構成例］
次に、ロボット遠隔操作制御システム１の構成例を説明する。
図２は、本実施形態に係るロボット遠隔操作制御システム１の構成例を示すブロック図である。図２のように、ロボット遠隔操作制御システム１は、ロボット２、ロボット遠隔操作制御装置３、ＨＭＤ５（画像表示装置）、コントローラー６、および環境センサ７を備える。

【0021】

ロボット２は、例えば、制御部２１、駆動部２２、収音部２３、記憶部２５、電源２６、およびセンサ２７を備える。
ロボット遠隔操作制御装置３は、例えば、情報取得部３１、視線情報処理部３３、意図推定部３４、制御指令生成部３５、ロボット状態画像作成部３６、送信部３７、および記憶部３８を備える。
視線情報処理部３３は、座標同期部３３１、および衝突判定部３３２を備える。

【0022】

ＨＭＤ５は、例えば、画像表示部５１、視線検出部５２（Ｅｙｅ ｔｒａｃｋｅｒ装置、操作者センサ）、制御部５４、および通信部５５を備える。なお、ＨＭＤ５は、例えば操作者の視線の動き等を検出するセンサを備えていてもよい。

【0023】

コントローラー６は、例えば、センサ６１（操作者センサ）、制御部６２、通信部６３、およびフィードバック手段６４を備える。

【0024】

環境センサ７は、例えば、撮影装置７１、センサ７２、物体位置検出部７３、および通信部７４を備える。

【0025】

なお、ロボット遠隔操作制御装置３とＨＭＤ５は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３とコントローラー６は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３と環境センサ７は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３とロボット２は、例えば、無線または有線のネットワークを介して接続されている。なお、ロボット遠隔操作制御装置３とＨＭＤ５は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３とコントローラー６は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３と環境センサ７は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３とロボット２は、ネットワークを介さずに直接接続されてもよい。

【0026】

［ロボット遠隔操作制御システムの機能例］
次に、ロボット遠隔操作制御システムの機能例を、図１を参照しつつ説明する。
ＨＭＤ５は、ロボット遠隔操作制御装置３から受信したロボットの状態画像を表示する。ＨＭＤ５は、操作者の視線の動き等を検出し、検出した視線情報（操作者センサ値）をロボット遠隔操作制御装置３に送信する。

【0027】

画像表示部５１は、制御部５４の制御に応じて、ロボット遠隔操作制御装置３から受信したロボットの状態画像を表示する。

【0028】

視線検出部５２は、操作者の視線を検出し、検出した視線情報を制御部５４に出力する。なお、視線情報は視線ベクトルである。

【0029】

制御部５４は、視線検出部５２が検出した視線情報を、通信部５５を介してロボット遠隔操作制御装置３に送信する。制御部５４は、ロボット遠隔操作制御装置３が送信したロボット状態画像を、画像表示部５１に表示させる。

【0030】

通信部５５は、ロボット遠隔操作制御装置３が送信したロボット状態画像を受信し、受信したロボット状態画像を制御部５４に出力する。通信部５５は、制御部５４の制御に応じて、視線情報をロボット遠隔操作制御装置３に送信する。

【0031】

コントローラー６は、例えば、触覚データグローブであり、操作者の手に装着される。コントローラー６は、センサ６１によって方位や各指の動きや手の動きを検出し、検出した手動作情報（操作者センサ値）をロボット遠隔操作制御装置３に送信する。

【0032】

センサ６１は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ等である。なお、センサ６１は、複数のセンサを備えるセンサ６１は、例えば２つのセンサによって各指の動きをトラッキングする。センサ６１は、各指の動きや手の動きを検出し、検出した手動作情報（操作者センサ値）を制御部６２に出力する。

【0033】

制御部６２は、センサ６１が検出した手動作情報を、通信部６３を介してロボット遠隔操作制御装置３に送信する。制御部６２は、フィードバック情報に基づいて、フィードバック手段６４を制御する。

【0034】

通信部６３は、制御部６２の制御に応じて、操作者動作情報をロボット遠隔操作制御装置３に送信する。通信部６３は、ロボット遠隔操作制御装置３が送信したフィードバック情報を取得し、取得したフィードバック情報を制御部６２に出力する。

【0035】

フィードバック手段６４は、制御部６２の制御に応じて、操作者にフィードバック情報をフィードバックする。フィードバック手段６４は、フィードバック情報に応じて、例えば、ロボット２の把持部２２２に取り付けられている振動を与える手段（不図示）や空気圧を与える手段（不図示）や手の動きを拘束する手段（不図示）や温度を感じさせる手段（不図示）や堅さや柔らかさを感じさせる手段（不図示）等によって操作者に感覚をフィードバックする。

【0036】

環境センサ７は、例えばロボット２の作業を撮影、検出できる位置に設置されている。なお、環境センサ７は、ロボット２が備えていてもよく、ロボット２に取り付けられていてもよい。または、環境センサ７は、複数であってもよく、図１のように作業環境に設置され、かつロボット２にも取り付けられていてもよい。環境センサ７は、撮影された画像とセンサによって検出された検出結果に基づいて物体の位置情報を検出し、検出した物体位置情報をロボット遠隔操作制御装置３に送信する。

【0037】

撮影装置７１は、例えばＲＧＢカメラである。撮影装置７１は、撮影した画像を物体位置検出部７３に出力する。なお、環境センサ７において、撮影装置７１とセンサ７２の位置関係が既知である。

【0038】

センサ７２は、例えば深度センサである。センサ７２は、検出結果を物体位置検出部７３に出力する。なお、撮影装置７１とセンサ７２は、距離センサであってもよい。

【0039】

物体位置検出部７３は、撮影された画像とセンサによって検出された検出結果に基づいて、撮影された画像における対象物体の三次元位置と大きさ形状等を周知の手法で検出する。物体位置検出部７３は、物体位置検出部７３が記憶するパターンマッチングのモデル等を参照して、撮影装置７１が撮影した画像に対して画像処理（エッジ検出、二値化処理、特徴量抽出、画像強調処理、画像抽出、パターンマッチング処理等）を行って物体の位置を推定する。なお、物体位置検出部７３は、撮影された画像から複数の物体が検出された場合、物体毎に位置を検出する。物体位置検出部７３は、検出した物体位置情報を、通信部７４を介してロボット遠隔操作制御装置３に送信する。

【0040】

通信部７４は、物体位置情報をロボット遠隔操作制御装置３に送信する。なお、環境センサ７が送信するデータは、例えば位置情報を有する点群であってもよい。

【0041】

ロボット２は、遠隔操作されていない場合、制御部２１の制御に応じて行動が制御される。ロボット２は、遠隔操作されている場合、ロボット遠隔操作制御装置３が生成した把持計画情報に応じて行動が制御される。

【0042】

制御部２１は、ロボット遠隔操作制御装置３が出力する制御指令に基づいて駆動部２２を制御する。なお、制御部２１は、収音部２３が収音した音響信号に対して音声認識処理（発話区間検出、音源分離、音源定位、雑音抑圧、音源同定等）を行うようにしてもよい。制御部２１は、フィードバック情報を生成して、生成したフィードバック情報を、ロボット遠隔操作制御装置３を介してコントローラー６に送信する。

【0043】

駆動部２２は、制御部２１の制御に応じてロボット２の各部（把持部２２２、腕、指、足、頭、胴、腰等）を駆動する。駆動部２２は、例えば、アクチュエータ、ギア、人工筋等を備える。

【0044】

収音部２３は、例えば複数のマイクロホンを備えるマイクロホンアレイである。収音部２３は、収音した音響信号を制御部２１に出力する。収音部２３は、音声認識処理機能を備えていてもよい。この場合、収音部２３は、音声認識結果を制御部２１に出力する。

【0045】

記憶部２５は、例えば、制御部２１が制御に用いるプログラム、閾値等を記憶し、音声認識結果、画像処理結果、制御指令等を一時的に記憶する。なお、記憶部２５は、記憶部３８が兼ねていてもよい。または、記憶部３８が記憶部２５を兼ねていてもよい。

【0046】

電源２６は、ロボット２の各部に電力を供給する。電源２６は、例えば充電式のバッテリや充電回路を備えていてもよい。

【0047】

センサ２７は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ、各関節エンコーダ等である。なお、センサ２７は、ロボット２の各関節、頭部等に取り付けられている。センサ２７は、検出した検出結果を、制御部２１、意図推定部３４、制御指令生成部３５、ロボット状態画像作成部３６に出力する。

【0048】

ロボット遠隔操作制御装置３は、ＨＭＤ５が検出した視線情報と、コントローラー６が検出した手動作情報と、環境センサ７が検出した物体位置情報とに基づいて操作者が意図する操作対象物体を推定し、ロボット２の制御指令を生成する。

【0049】

情報取得部３１は、ＨＭＤ５から視線情報を取得し、コントローラー６から手動作情報を取得し、環境センサ７から物体位置情報を取得する。情報取得部３１は、取得した視線情報と手動作情報と物体位置情報を、視線情報処理部３３と意図推定部３４に出力する。

【0050】

視線情報処理部３３の座標同期部３３１は、座標系をＨＭＤの座標系と紐づけ、視線ベクトルの座標系とＨＭＤ５に表示される画像の仮想空間の座標系とを合わせる（同期させる）。
視線情報処理部３３の衝突判定部３３２は、仮想空間上の物体の座標と大きさから衝突判定を行う。
なお、視線情報処理部３３の処理については後述する。

【0051】

意図推定部３４は視線情報処理部３３によって処理された視線情報と、情報取得部３１が取得した手動作情報と物体位置情報に基づいて、操作者が意図する対象物体に関する情報（対象物体名、対象物体の位置、対象物体の大きさ等）を、例えば学習済みの推定モデルに入力するか、確率分布を算出することで推定する。

【0052】

制御指令生成部３５は、意図推定部３４が推定した結果と、センサ２７が検出した検出結果、環境センサ７が検出した物体位置情報に基づいて、例えば物体を把持するための制御指令を生成する。制御指令生成部３５は、生成した制御指令情報を制御部２１に出力する。

【0053】

ロボット状態画像作成部３６は、制御指令生成部３５が生成した制御指令情報に基づいて、ＨＭＤ５に表示させるロボット状態画像を作成する。

【0054】

送信部３７は、ロボット状態画像作成部３６が作成したロボット状態画像を、ＨＭＤ５に送信する。送信部３７は、ロボット２が出力したフィードバック情報を取得し、取得したフィードバック情報をコントローラー６へ送信する。

【0055】

記憶部３８は、視線情報処理部３３が使用する変換式や所定の値を記憶している。記憶部３８は、環境センサ７の撮影装置７１とセンサ７２の位置関係を記憶している。記憶部３８は、作業内容毎に補助する対象、すなわち操作者が制御すべき自由度や制御可能な範囲を制限する情報を記憶する。記憶部３８は、ロボット遠隔操作制御装置３の制御に用いられるプログラムを記憶する。なお、プログラムはクラウドやネットワーク上にあってもよい。

【0056】

［ＨＭＤ５、コントローラー６を操作者が身につけている状態例］
次に、ＨＭＤ５、コントローラー６を操作者が身につけている状態例を説明する。
図３は、ＨＭＤ５、コントローラー６を操作者が身につけている状態例を示す図である。図３の例では、操作者Ｕｓは、左手にコントローラー６ａを装着し、右手にコントローラー６ｂを装着し、頭部にＨＭＤ５を装着している。なお、図３に示したＨＭＤ５、コントローラー６は一例であり、装着方法や形状等は、これに限らない。

【0057】

［視線検出部５２の視線ベクトルと仮想空間との同期］
次に、視線検出部５２の視線ベクトルと仮想空間との同期について説明する。
座標同期部３３１は、操作者が装着しているコントローラー６の中心を、仮想空間において操作者操作の基準位置とする。
座標同期部３３１は、操作者が装着しているＨＭＤ５の方向を、仮想空間において操作者操作の基準姿勢とする。
座標同期部３３１は、ロボット２の把持部２２２の中心を、仮想空間においてロボット動作の基準位置姿勢とする。
座標同期部３３１は、操作者の基準点からデバイスの相対位置姿勢をロボット２への入力とする。
座標同期部３３１は、操作者の基準点からＨＭＤ５の相対位置姿勢を、仮想空間において操作者の視点とする。
座標同期部３３１は、これらの処理によって、視線ベクトルの座標と、ＨＭＤ５に表示される仮想空間の座標とを同期させる。

【0058】

操作者の操作環境とロボット動作環境の位置合わせでは、座標同期部３３１が、操作者に装着されたコントローラー６やＨＭＤ５といったセンサの座標をロボットの動作環境の座標系へ変換する。またこの時に、座標同期部３３１は、キャリブレーションを行うことにより、ＨＭＤ５上に表示される仮想操作環境の画像の位置を修正する。この処理が、操作者の操作環境とロボット動作環境の位置合わせである。

【0059】

視線取得装置と仮想空間の座標を合わせでは、座標同期部３３１が、この修正されたＨＭＤ５のロボット動作環境の座標系を利用し、ＨＭＤ５が備える視線検出部５２から取得される視線ベクトル（ローカル座標）をロボット座標系のベクトルに変換する。

【0060】

ここで、視線検出部５２と仮想空間の座標の合わせ方の例を説明する。
まず、情報取得部３１は、ロボット動作環境上のＨＭＤの５座標を取得する（右手座標系、ｍａｐ座標（ロボット動作環境の座標））。次に、情報取得部３１は、視線検出部５２から視線ベクトルを取得する（左手座標系、ローカル座標）。次に、座標同期部３３１は、視線検出部５２の視線ベクトルを右手座標系に変換（固定の値を掛け合わせるのみ）。次に、座標同期部３３１は、５ＨＭＤの座標位置を視線検出部５２の原点と設定する。

【0061】

［ＨＭＤ５上に表示される画像例］
次に、ＨＭＤ５上に表示される画像例を説明する。
図４は、ＨＭＤ５上に表示される画像例を説明するための図である。
ＨＭＤ５上に表示するロボット状態画像に操作者へのフィードバックとして、ロボット２の把持部２２２やロボット遠隔操作制御装置３やロボット２のステータスを表示する場合がある。この場合、操作者の視線がそちらに向いてしまった時は、その視線のベクトルが操作対象物体の推定の精度に悪影響を与える可能性がある。

【0062】

図４の例のように操作対象物体の推定の精度に悪影響を与える可能性要因は、操作者Ｕｓの手の画像ｇ１１、ロボット遠隔操作制御装置３やロボット２のステータス画像ｇ１２等である。ステータス画像ｇ１１には、例えば今実行されているタスク等の情報が含まれている。
また、図４の例では、操作候補の物体が２つ（物体ｏｂｊ１、物体ｏｂｊ２）である。また、操作者が意図する確率は、物体ｏｂｊ１が１／４であり、物体ｏｂｊ２が３／４の例である。
なお、視線情報処理部３３は、仮想空間を球状に近似する。

【0063】

［衝突判定］
次に、視線ベクトルとの衝突判定について、図４を参照しつつ説明する。
衝突判定部３３２は、仮想空間上のロボット２の把持部２２２を球で近似する。そして、衝突判定部３３２は、その球ｇ２１とぶつかった視線をノイズであるとして推定に利用しないことで、把持部２２２と重なった物体に対して操作者の興味の確率が上がってしまうことを防ぐ。なお、把持部２２２と重なった物とは、例えば、把持部２２２の背後にあるコップ等である。

【0064】

衝突判定部３３２は、推定される対象物体をタスクに応じて絞りこむ。意図推定部３４は、例えば、把持可能ではないテーブル（基板）を対象物体から除外する。
また、衝突判定部３３２は、ＨＭＤ５上に表示されるステータスへ視線が交差している時の視線（表示位置が決まっているので交差判定の応用可能なため）も推定対象から除外する。

【0065】

［処理手順］
次に、ロボット遠隔操作制御装置３の処理手順を、図５、図６を用いて説明する。
図５は、本実施形態に係るロボット遠隔操作制御装置３の処理手順を示す図である。図６は、本実施形態に係るロボット遠隔操作制御装置３の処理手順のフローチャートである。

【0066】

（ステップＳ１）情報取得部３１は、ＨＭＤ５から視線情報（視線ベクトル）を取得し、コントローラー６から手動作情報を取得し、環境センサ７から物体位置情報を取得する。

【0067】

（ステップＳ２）座標同期部３３１は、視線ベクトルの座標を仮想空間ｇ２１の座標へ合わせる。

【0068】

（ステップＳ３）衝突判定部３３２は、ロボット２の把持部２２２を球で近似する。続けて、衝突判定部３３２は、仮想空間において球で近似した把持部２２２上の視線ｇ２２の交点を検出することで操作者の注視点を検出する。

【0069】

（ステップＳ４）衝突判定部３３２は、仮想空間において物体（物体ｏｂｊ１、物体ｏｂｊ２）上の視線ｇ２２の交点を検出することで操作者の注視点を検出する。

【0070】

（ステップＳ５）衝突判定部３３２は、仮想空間において物体が置かれている例えばテーブルＴａｂ上の視線の交点を検出することで操作者の注視点を検出する。

【0071】

（ステップＳ６）衝突判定部３３２は、仮想空間においてＨＭＤ５に表示されるステータス画像（ロボット２の状態画像）上の視線の交点を検出することで操作者の注視点を検出する。なお、衝突判定部３３２は、ＨＭＤ５に表示されるステータス画像の位置を記憶している。

【0072】

（ステップＳ７）衝突判定部３３２は、仮想空間において作業空間（例えば部屋）の球体ｇ２１上の視線ｇ２２の交点を検出することで操作者の注視点を検出する。

【0073】

（ステップＳ８）衝突判定部３３２は、ノイズとなる交点を除外する。衝突判定部３３２は、例えば、物体上の視線の交点、物体が置かれているテーブルＴａｂ上の視線の交点、ステータス画像上の視線の交点、および作業空間の球体上の視線の交点をノイズとして除外する。

【0074】

（ステップＳ９）意図推定部３４は、視線情報処理部３３が処理した結果と、取得されたセンサ値とに基づいて、操作者が作業を行おうとしている対象物体である意図物体を推定する。

【0075】

（ステップＳ１０）制御指令生成部３５は、意図推定部３４が推定した結果と、センサ値に基づいて、意図物体を例えば把持するための制御指令を生成する。

【0076】

ロボット遠隔操作制御装置３は、ロボット２によって操作者が意図する物体を、例えば把持するまで、上記の処理を繰り返す。

【0077】

なお、図６において、視線情報処理部３３は、ステップＳ３～Ｓ６の処理を並列に行ってもよく、時分割で行ってもよく、処理順番が異なっていてもよい。
また、視線との交点は、上記に限らず、他の交点がある場合は、各交点を検出する。

【0078】

なお、図５に示した例では、作業空間を球状として交点の検出等を行う例を説明したが、これに限らない。ロボット２の把持部２２２を球面で近似しているが、ＨＭＤ５上にモデルは再現できているため、実際の形状で近似することなども可能である。

【0079】

以上のように、本実施形態では、視線取得装置と仮想空間の座標を合わせるようにした。そして、本実施形態では、加工空間における視線との交点を検出し、ノイズとなる交点を除外するようにした。また、本実施形態では、ロボット２の把持部２２２を球で近似するようにした。

【0080】

これにより、本実施形態によれば、視線情報を的確にとらえることができ、また、対象物体を特定する精度が向上することができる。

【0081】

なお、意図推定部３４は、操作者状態情報と、ロボット２の状態情報とに基づいて、操作者が意図する手先の将来軌道を、事前に予測するようにしてもよい。

【0082】

また、操作者が操作する環境とロボット動作環境では座標系が異なるため、ロボット遠隔操作制御装置３は、例えば、ロボット２の起動時に操作者の操作環境とロボット動作環境のキャリブレーションを行うようにしてもよい。

【0083】

また、把持の際、ロボット遠隔操作制御装置３は、ロボット２の把持力と、物体と把持部２２２との摩擦力等に基づいて、把持時の把持位置の誤差を補正して、把持位置を決定するようにしてもよい。

【0084】

また、上述したロボット２は、例えば、二足歩行ロボットであってもよく、固定型の受付ロボットであってもよく、作業ロボットであってもよい。

【0085】

また、上述した例では、遠隔操作でロボット２に把持させる例を説明したが、これに限らない。

【0086】

また、上述した例では、操作者がＨＭＤ５を装着する例を説明したが、これに限らない。視線情報の検出や、操作者へのロボット状態画像の提供は、例えば、センサと画像表示装置との組み合わせ等であってもよい。

【0087】

なお、本発明におけるロボット遠隔操作制御装置３の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりロボット遠隔操作制御装置３が行う全ての処理または一部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ローカルネットワーク上で構築されたシステムやクラウド上で構築されたシステム等も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

【0088】

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0089】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

【符号の説明】

【0090】

１…ロボット遠隔操作制御システム、２…ロボット、３…ロボット遠隔操作制御装置、５…ＨＭＤ、６…コントローラー、７…環境センサ、２１…制御部、２２…駆動部、２３…収音部、２５…記憶部、２６…電源、２７…センサ、２２２，２２２ａ，２２２ｂ…把持部、３１…情報取得部、３３…視線情報処理部、３３１…座標同期部、３３２…衝突判定部、３４…意図推定部、３５…制御指令生成部、３６…ロボット状態画像作成部、３７…送信部、３８…記憶部、５１…画像表示部、５２…視線検出部、５４…制御部、５５…通信部、６１…センサ、６２…制御部、６３…通信部、６４…フィードバック手段、７１…撮影装置、７２…センサ、７３…物体位置検出部、７４…通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】