特許 7565849 ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-03

(45)【発行日】2024-10-11

(54)【発明の名称】ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム

(51)【国際特許分類】

   B25J 13/06 20060101AFI20241004BHJP

   B25J 13/00 20060101ALI20241004BHJP

【ＦＩ】

B25J13/06

B25J13/00 Z

【請求項の数】 8

(21)【出願番号】P 2021061180

(22)【出願日】2021-03-31

(65)【公開番号】P2022157127

(43)【公開日】2022-10-14

【審査請求日】2023-11-28

(73)【特許権者】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】細見 直希

(72)【発明者】

【氏名】コンダパッレィアニルドレッディ

(72)【発明者】

【氏名】塚本 七海

【審査官】松浦 陽

(56)【参考文献】

【文献】特開２０１７－１９６６７８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０２８４７６０（ＵＳ，Ａ１）

【文献】Ayaka Matsuzaka, Liu Yang, Chuangyu Guo, Takuya Shirato, and Akio Namiki，Assistance for Master-Slave System Objects of Various Shapes by Eye Gaze Tracking and Motion Prediction，Proceedings of the 2018 IEEE International Conference on Robotics and Biomimetics，米国，IEEE，2018年12月12日，1953-1958

【文献】劉楊 ほか，マスタ・スレーブシステムにおける自律アシスト制御のための操作者の手の姿勢予測，ロボティクスメカトロニクス講演会２０１８講演会論文集 2018 JSME Conference on Robotics and Mechatronics ，日本，一般社団法人日本機械学会，2018年06月01日

【文献】Siddarth Jain and Brenna Argall，Recursive Bayesian Human Intent Recognition in Shared-Control Robotics，Proceedings of the 2018 IEEE/RSJ International Conference on Intelligent Robotics and Systems，米国，IEEE，2018年10月01日，pp.3905-3912

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ － ２１／０２

(57)【特許請求の範囲】

【請求項1】

操作者の動きを認識し、ロボットに操作者の動きを伝えてロボットを操作するロボット遠隔操作において、
前記ロボットまたは前記ロボットの周辺環境に設置された環境センサによって得られた環境センサ値と、前記操作者の動きを検知する操作者センサ値と、を取得する情報取得部と、
前記環境センサ値と前記操作者センサ値から、ロボット世界における前記操作者の注視点と前記ロボット世界における前記操作者の手の軌道から算出する複数の確率分布に基づき前記操作者の意図を推定する意図推定部と、
を備え、
前記複数の確率分布が、前記ロボット世界における前記操作者の注視点と操作候補の物体とが重なった回数に基づく確率分布を含む、
ロボット遠隔操作制御装置。

【請求項2】

前記複数の確率分布が、さらに、前記ロボット世界における前記操作者の注視点と前記物体との間の距離と、前記ロボット世界における前記操作者の手の位置と前記物体との間の距離とに基づく確率分布を含む、
請求項１に記載のロボット遠隔操作制御装置。

【請求項3】

前記複数の確率分布が、さらに、前記ロボット世界における前記操作者の手の軌道に基づく確率分布を含む、
請求項１または請求項２に記載のロボット遠隔操作制御装置。

【請求項4】

前記意図推定部は、
前記環境センサ値と操作者センサ値に基づいて前記確率分布それぞれに重み付けして加算して総和を算出し、算出した前記確率分布の総和に基づいて前記操作者の意図を推定する、
請求項１から請求項３のうちのいずれか１項に記載のロボット遠隔操作制御装置。

【請求項5】

前記意図推定部は、
複数の前記確率分布を正規化した後に加算して総和を算出し、算出した前記確率分布の総和に基づいて前記操作者の意図を推定する、
請求項１から請求項３のうちのいずれか１項に記載のロボット遠隔操作制御装置。

【請求項6】

操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
請求項１から請求項５のうちのいずれか１つに記載の前記ロボット遠隔操作制御装置と、
物体を把持する把持部と、
前記ロボットあるいは前記ロボットの周辺環境に設置され、ロボット環境センサ値を検出する環境センサと、
前記操作者の動きを操作者センサ値として検出する操作者センサと、
を備えるロボット遠隔操作制御システム。

【請求項7】

操作者の動きを認識し、ロボットに操作者の動きを伝えてロボットを操作するロボット遠隔操作において、
情報取得部が、前記ロボットまたは前記ロボットの周辺環境に設置された環境センサによって得られた環境センサ値と、前記操作者の動きを検知する操作者センサ値と、を取得し、
意図推定部が、前記環境センサ値と前記操作者センサ値から、ロボット世界における前記操作者の注視点と前記ロボット世界における前記操作者の手の軌道から算出する複数の確率分布に基づき前記操作者の意図を推定し、
前記複数の確率分布が、前記ロボット世界における前記操作者の注視点と操作候補の物体とが重なった回数に基づく確率分布を含む、
ロボット遠隔操作制御方法。

【請求項8】

操作者の動きを認識し、ロボットに操作者の動きを伝えてロボットを操作するロボット遠隔操作において、
コンピュータに、
前記ロボットまたは前記ロボットの周辺環境に設置された環境センサによって得られた環境センサ値と、前記操作者の動きを検知する操作者センサ値と、を取得させ、
前記環境センサ値と前記操作者センサ値から、ロボット世界における前記操作者の注視点と前記ロボット世界における前記操作者の手の軌道から算出する複数の確率分布に基づき前記操作者の意図を推定させ、
前記複数の確率分布が、前記ロボット世界における前記操作者の注視点と操作候補の物体とが重なった回数に基づく確率分布を含む、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラムに関する。

【背景技術】

【0002】

利用者がロボットの操作を補助することができる制御装置が提案されている。このような制御装置として、例えば、ロボットを操作する第１ユーザーの姿勢を示す第１ユーザー姿勢情報を取得する第１情報取得部と、第１ユーザー姿勢情報に基づいてロボットの姿勢を変化させる前のロボットの姿勢である変化前姿勢を示す変化前姿勢情報を取得する第２情報取得部と、変化前姿勢情報と、変化前姿勢情報が示す変化前姿勢をロボットがしている時点で第１情報取得部が取得した第１ユーザー姿勢情報とに基づいて、第１ユーザーの姿勢と異なる標的姿勢をロボットの姿勢に決定する決定部と、を有する制御装置が提案されている（特許文献１参照）。特許文献１に記載のシステムでは、操作者が装着した装置によって検出した姿勢に対応する姿勢にロボットの姿勢を変化させる。

【0003】

遠隔操作で物体のピック&プレース（Ｐｉｃｋ＆Ｐｌａｃｅ）などを操作する際に、ロボットは、操作者が操作しようとしている対象物体を認識する必要がある。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６４７６３５８号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術では、遠隔操作で物体をＰｉｃｋ＆Ｐｌａｃｅなど操作する際に、操作者の体に装着したセンサから得られる時刻毎の情報からは、操作者がどの物体をＰｉｃｋ，Ｐｌａｃｅしようとしているのか直接推定できない。なお、センサは、例えば、視線、頭の回転、手の位置・角度などを取得するセンサである。また、従来技術では、視線のみや手の動きのセンサ値のみでの時系列推定では、（複雑環境下などで）推定が不安定になる。

【0006】

本発明は、上記の問題点に鑑みてなされたものであって、操作者の操作対象を精度良く推定することができるロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

（１）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御装置は、操作者の動きを認識し、ロボットに操作者の動きを伝えてロボットを操作するロボット遠隔操作において、前記ロボットまたは前記ロボットの周辺環境に設置された環境センサによって得られた環境センサ値と、前記操作者の動きを検知する操作者センサ値と、を取得する情報取得部と、前記環境センサ値と前記操作者センサ値から、ロボット世界における前記操作者の注視点とロボット世界における前記操作者の手の軌道から算出する確率分布に基づき前記操作者の意図を推定する意図推定部と、を備える。

【0008】

（２）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記確率分布は、前記ロボット世界における前記操作者の注視点と操作候補の物体との間の距離と、前記ロボット世界における前記操作者の手の位置と前記物体との間の距離とに基づく確率分布であるようにしてもよい。

【0009】

（３）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記確率分布は、ロボット世界における前記操作者の手の軌道に基づく確率分布であるようにしてもよい。

【0010】

（４）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記確率分布は、ロボット世界における前記操作者の注視点と操作候補の物体とが重なった回数に基づく確率分布であるようにしてもよい。

【0011】

（５）また、本発明の一態様に係るロボット遠隔操作装置において、前記意図推定部は、前記確率分布が複数の場合、前記環境センサ値と操作者センサ値に基づいて前記確率分布それぞれに重み付けして加算して総和を算出し、算出した前記確率分布の総和に基づいて前記操作者の意図を推定するようにしてもよい。

【0012】

（６）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記意図推定部は、前記確率分布が複数の場合、複数の前記確率分布を正規化した後に加算して総和を算出し、算出した前記確率分布の総和に基づいて前記操作者の意図を推定するようにしてもよい。

【0013】

（７）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御システムは、操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、上記（１）から（６）のうちのいずれか１つに記載の前記ロボット遠隔操作制御装置と、物体を把持する把持部と、前記ロボットあるいは前記ロボットの周辺環境に設置され、ロボット環境センサ値を検出する環境センサと、前記操作者の動きを操作者センサ値として検出する操作者センサと、を備える。

【0014】

（８）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御方法は、操作者の動きを認識し、ロボットに操作者の動きを伝えてロボットを操作するロボット遠隔操作において、情報取得部が、前記ロボットまたは前記ロボットの周辺環境に設置された環境センサによって得られた環境センサ値と、前記操作者の動きを検知する操作者センサ値と、を取得し、意図推定部が、前記環境センサ値と前記操作者センサ値から、ロボット世界における前記操作者の注視点とロボット世界における前記操作者の手の軌道から算出する確率分布に基づき前記操作者の意図を推定する。

【0015】

（９）上記目的を達成するため、本発明の一態様に係るプログラムは、操作者の動きを認識し、ロボットに操作者の動きを伝えてロボットを操作するロボット遠隔操作において、コンピュータに、前記ロボットまたは前記ロボットの周辺環境に設置された環境センサによって得られた環境センサ値と、前記操作者の動きを検知する操作者センサ値と、を取得させ、前記環境センサ値と前記操作者センサ値から、ロボット世界における前記操作者の注視点とロボット世界における前記操作者の手の軌道から算出する確率分布に基づき前記操作者の意図を推定させる。

【発明の効果】

【0016】

（１）～（９）によれば、視線と手の動きを用いて統合的に推論するので、高性能にＰｉｃｋ，Ｐｌａｃｅなどの操作対象物体を推定できる。

【図面の簡単な説明】

【0017】

【図1】実施形態に係るロボット遠隔操作制御システムの概要と作業の概要を示す図である。

【図2】実施形態に係るロボット遠隔操作制御システムの構成例を示すブロック図である。

【図3】ＨＭＤ、コントローラーを操作者が身につけている状態例を示す図である。

【図4】実施形態に係る意図推定処理の概要を示す図である。

【図5】実施形態に係るロボット遠隔操作制御装置が行う処理手順例のフローチャートである。

【図6】実施形態に係る意図推定結果例を示す図である。

【発明を実施するための形態】

【0018】

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。

【0019】

［概要］
まず、ロボット遠隔操作制御システムで行う作業と処理の概要を説明する。
図１は、本実施形態に係るロボット遠隔操作制御システム１の概要と作業の概要を示す図である。図１のように、操作者Ｕｓは、例えばＨＭＤ（ヘッドマウントディスプレイ）５とコントローラー６を装着している。ロボット２には環境センサ７ａが取り付けられ、作業環境にも環境センサ７ｂが設置されている。なお、環境センサ７は、ロボット２に取り付けられていてもよい。また、ロボット２は、把持部２２２（２２２ａ、２２２ｂ）を備える。環境センサ７（７ａ、７ｂ）は、後述するように例えばＲＧＢカメラと深度センサを備えている。操作者Ｕｓは、ＨＭＤ５に表示された画像を見ながらコントローラー６を装着している手や指を動かすことで、ロボット２を遠隔操作する。本実施形態では、操作者の視線と手の動きを用いて統合的に推論することで、高性能にＰｉｃｋ，Ｐｌａｃｅなどの操作対象物体ｏｂｊを推定する。

【0020】

［ロボット遠隔操作制御システムの構成例］
次に、ロボット遠隔操作制御システム１の構成例を説明する。
図２は、本実施形態に係るロボット遠隔操作制御システム１の構成例を示すブロック図である。図２のように、ロボット遠隔操作制御システム１は、ロボット２、ロボット遠隔操作制御装置３、ＨＭＤ５、コントローラー６、および環境センサ７を備える。

【0021】

ロボット２は、例えば、制御部２１、駆動部２２、収音部２３、記憶部２５、電源２６、およびセンサ２７を備える。
ロボット遠隔操作制御装置３は、例えば、情報取得部３１、意図推定部３３、制御指令生成部３４、ロボット状態画像作成部３５、送信部３６、および記憶部３７を備える。

【0022】

ＨＭＤ５は、例えば、画像表示部５１、視線検出部５２（操作者センサ）、制御部５４、および通信部５５を備える。なお、ＨＭＤ５は、例えば操作者の視線の動き等を検出するセンサを備えていてもよい。

【0023】

コントローラー６は、例えば、センサ６１（操作者センサ）、制御部６２、通信部６３、およびフィードバック手段６４を備える。

【0024】

環境センサ７は、例えば、撮影装置７１、センサ７２、物体位置検出部７３、および通信部７４を備える。

【0025】

なお、ロボット遠隔操作制御装置３とＨＭＤ５は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３とコントローラー６は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３と環境センサ７は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３とロボット２は、例えば、無線または有線のネットワークを介して接続されている。なお、ロボット遠隔操作制御装置３とＨＭＤ５は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３とコントローラー６は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３と環境センサ７は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３とロボット２は、ネットワークを介さずに直接接続されてもよい。

【0026】

［ロボット遠隔操作制御システムの機能例］
次に、ロボット遠隔操作制御システムの機能例を、図１を参照しつつ説明する。
ＨＭＤ５は、ロボット遠隔操作制御装置３から受信したロボットの状態画像を表示する。ＨＭＤ５は、操作者の視線の動き等を検出し、検出した視線情報（操作者センサ値）をロボット遠隔操作制御装置３に送信する。

【0027】

画像表示部５１は、制御部５４の制御に応じて、ロボット遠隔操作制御装置３から受信したロボットの状態画像を表示する。

【0028】

視線検出部５２は、操作者の視線を検出し、検出した視線情報（操作者センサ値）を制御部５４に出力する。

【0029】

制御部５４は、視線検出部５２が検出した視線情報（操作者センサ値）を、通信部５５を介してロボット遠隔操作制御装置３に送信する。制御部５４は、ロボット遠隔操作制御装置３が送信したロボット状態画像を、画像表示部５１に表示させる。

【0030】

通信部５５は、ロボット遠隔操作制御装置３が送信したロボット状態画像を受信し、受信したロボット状態画像を制御部５４に出力する。通信部５５は、制御部５４の制御に応じて、視線情報をロボット遠隔操作制御装置３に送信する。

【0031】

コントローラー６は、例えば、触覚データグローブであり、操作者の手に装着される。コントローラー６は、センサ６１によって方位や各指の動きや手の動きを検出し、検出した手動作情報（操作者センサ値）をロボット遠隔操作制御装置３に送信する。

【0032】

センサ６１は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ等である。なお、センサ６１は、複数のセンサを備えるセンサ６１は、例えば２つのセンサによって各指の動きをトラッキングする。センサ６１は、各指の動きや手の動きを検出し、検出した手動作情報（操作者センサ値）を制御部６２に出力する。

【0033】

制御部６２は、センサ６１が検出した手動作情報を、通信部６３を介してロボット遠隔操作制御装置３に送信する。制御部６２は、フィードバック情報に基づいて、フィードバック手段６４を制御する。

【0034】

通信部６３は、制御部６２の制御に応じて、操作者動作情報をロボット遠隔操作制御装置３に送信する。通信部６３は、ロボット遠隔操作制御装置３が送信したフィードバック情報を取得し、取得したフィードバック情報を制御部６２に出力する。

【0035】

フィードバック手段６４は、制御部６２の制御に応じて、操作者にフィードバック情報をフィードバックする。フィードバック手段６４は、フィードバック情報に応じて、例えば、ロボット２の把持部２２２に取り付けられている振動を与える手段（不図示）や空気圧を与える手段（不図示）や手の動きを拘束する手段（不図示）や温度を感じさせる手段（不図示）や堅さや柔らかさを感じさせる手段（不図示）等によって操作者に感覚をフィードバックする。

【0036】

環境センサ７は、例えばロボット２の作業を撮影、検出できる位置に設置されている。なお、環境センサ７は、ロボット２が備えていてもよく、ロボット２に取り付けられていてもよい。または、環境センサ７は、複数であってもよく、図１のように作業環境に設置され、かつロボット２にも取り付けられていてもよい。環境センサ７は、撮影された画像とセンサによって検出された検出結果に基づいて物体の位置情報を検出し、検出した物体位置情報（環境センサ値）をロボット遠隔操作制御装置３に送信する。

【0037】

撮影装置７１は、例えばＲＧＢカメラである。撮影装置７１は、撮影した画像を物体位置検出部７３に出力する。なお、環境センサ７において、撮影装置７１とセンサ７２の位置関係が既知である。

【0038】

センサ７２は、例えば深度センサである。センサ７２は、検出結果を物体位置検出部７３に出力する。なお、撮影装置７１とセンサ７２は、距離センサであってもよい。

【0039】

物体位置検出部７３は、撮影された画像とセンサによって検出された検出結果に基づいて、撮影された画像における対象物体の三次元位置と大きさ形状等を周知の手法で検出する。物体位置検出部７３は、物体位置検出部７３が記憶するパターンマッチングのモデル等を参照して、撮影装置７１が撮影した画像に対して画像処理（エッジ検出、二値化処理、特徴量抽出、画像強調処理、画像抽出、パターンマッチング処理等）を行って物体の位置を推定する。なお、物体位置検出部７３は、撮影された画像から複数の物体が検出された場合、物体毎に位置を検出する。物体位置検出部７３は、検出した物体位置情報（環境センサ値）を、通信部７４を介してロボット遠隔操作制御装置３に送信する。

【0040】

通信部７４は、物体位置情報をロボット遠隔操作制御装置３に送信する。なお、環境センサ７が送信するデータは、例えば位置情報を有する点群であってもよい。

【0041】

ロボット２は、遠隔操作されていない場合、制御部２１の制御に応じて行動が制御される。ロボット２は、遠隔操作されている場合、ロボット遠隔操作制御装置３が生成した把持計画情報に応じて行動が制御される。

【0042】

制御部２１は、ロボット遠隔操作制御装置３が出力する制御指令に基づいて駆動部２２を制御する。なお、制御部２１は、収音部２３が収音した音響信号に対して音声認識処理（発話区間検出、音源分離、音源定位、雑音抑圧、音源同定等）を行うようにしてもよい。制御部２１は、フィードバック情報を生成して、生成したフィードバック情報を、ロボット遠隔操作制御装置３を介してコントローラー６に送信する。

【0043】

駆動部２２は、制御部２１の制御に応じてロボット２の各部（把持部２２２、腕、指、足、頭、胴、腰等）を駆動する。駆動部２２は、例えば、アクチュエータ、ギア、人工筋等を備える。

【0044】

収音部２３は、例えば複数のマイクロホンを備えるマイクロホンアレイである。収音部２３は、収音した音響信号を制御部２１に出力する。収音部２３は、音声認識処理機能を備えていてもよい。この場合、収音部２３は、音声認識結果を制御部２１に出力する。

【0045】

記憶部２５は、例えば、制御部２１が制御に用いるプログラム、閾値等を記憶し、音声認識結果、画像処理結果、制御指令等を一時的に記憶する。なお、記憶部２５は、記憶部３７が兼ねていてもよい。または、記憶部３７が記憶部２５を兼ねていてもよい。

【0046】

電源２６は、ロボット２の各部に電力を供給する。電源２６は、例えば充電式のバッテリや充電回路を備えていてもよい。

【0047】

センサ２７は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ、各関節エンコーダ等である。なお、センサ２７は、ロボット２の各関節、頭部等に取り付けられている。センサ２７は、検出した検出結果を、制御部２１、意図推定部３３、制御指令生成部３４、ロボット状態画像作成部３５に出力する。

【0048】

ロボット遠隔操作制御装置３は、ＨＭＤ５が検出した視線情報と、コントローラー６が検出した手動作情報と、環境センサ７が検出した物体位置情報とに基づいて操作者の動作意図を推定し、ロボット２の制御指令を生成する。

【0049】

情報取得部３１は、ＨＭＤ５から視線情報（操作者センサ値）を取得し、コントローラー６から手動作情報（操作者センサ値）を取得し、環境センサ７から物体位置情報（環境センサ値）を取得する。情報取得部３１は、取得した視線情報と手動作情報と物体位置情報を意図推定部３３に出力する。なお、以下の説明では、視線情報（操作者センサ値）と手動作情報（操作者センサ値）と物体位置情報（環境センサ値）をセンサ値とも呼ぶ。

【0050】

意図推定部３３は、情報取得部３１が取得した視線情報と手動作情報と物体位置情報に基づいて、操作者が意図する対象物体に関する情報（対象物体名、対象物体の位置、対象物体の大きさ等）を推定する。作業空間に物体が複数ある場合、意図推定部３３は、物体毎に対象物体である確率を推定する。なお、操作者の意図と、推定方法については後述する。

【0051】

制御指令生成部３４は、意図推定部３３が推定した結果と、センサ２７が検出した検出結果、環境センサ７が検出した物体位置情報に基づいて、例えば物体を把持するための制御指令を生成する。制御指令生成部３４は、生成した制御指令情報を制御部２１に出力する。

【0052】

ロボット状態画像作成部３５は、制御指令生成部３４が生成した制御指令情報に基づいて、ＨＭＤ５に表示させるロボット状態画像を作成する。

【0053】

送信部３６は、ロボット状態画像作成部３５が作成したロボット状態画像を、ＨＭＤ５に送信する。送信部３６は、ロボット２が出力したフィードバック情報を取得し、取得したフィードバック情報をコントローラー６へ送信する。

【0054】

記憶部３７は、環境センサ７の撮影装置７１とセンサ７２の位置関係を記憶している。記憶部３７は、作業内容毎に補助する対象、すなわち操作者が制御すべき自由度や制御可能な範囲を制限する情報を記憶する。記憶部３７は、ロボット遠隔操作制御装置３の制御に用いられるプログラムを記憶する。なお、プログラムはクラウドやネットワーク上にあってもよい。

【0055】

［ＨＭＤ５、コントローラー６を操作者が身につけている状態例］
次に、ＨＭＤ５、コントローラー６を操作者が身につけている状態例を説明する。
図３は、ＨＭＤ５、コントローラー６を操作者が身につけている状態例を示す図である。図３の例では、操作者Ｕｓは、左手にコントローラー６ａを装着し、右手にコントローラー６ｂを装着し、頭部にＨＭＤ５を装着している。なお、図３に示したＨＭＤ５、コントローラー６は一例であり、装着方法や形状等は、これに限らない。

【0056】

［意図推定処理例］
次に、意図推定処理の概要を説明する。
図４は、本実施形態に係る意図推定処理の概要を示す図である。
図４のように、ロボット遠隔操作制御装置３は、ＨＭＤ５から視線情報とコントローラー６から手動作情報と、環境センサ７から物体位置情報と、を取得する。

【0057】

意図推定部３３は、視線情報に基づいて、ロボット世界における操作者の注視点を推定する。意図推定部３３は、手動作情報に基づいて、ロボット世界における操作者の手の位置を計算する。意図推定部３３は、注視点と操作候補の物体との間の距離と、手と操作候補の物体との間の距離を算出する。意図推定部３３は、算出した注視点と操作候補の物体との間の距離と、手と操作候補の物体との間の距離に基づく操作候補の物体全体に対して確率分布を算出する。

【0058】

意図推定部３３は、手動作情報に基づいて、ロボット世界における操作者の手の動き、すなわち手の軌道を検出する。意図推定部３３は、手の軌道に基づく操作候補の物体全体に対して確率分布を算出する。

【0059】

意図推定部３３は、注視点が操作候補の物体に重なった回数に基づいて、物体全体に対して確率分布を算出する。

【0060】

なお、意図推定部３３は、確率分布を、例えば次式（１）によって算出する。

【0061】

【数1】

【0062】

式（１）において、太字はベクトルを表す。ｇ（太字）はとりうる意図物体の集合、ｇは意図物体を表す確率変数であり、左辺のｂ_ｔ（ｇ_ｔ）は現在時刻の意図物体確率分布である。右辺のｂ_ｔ－１は前時刻ｔ－１の意図確率分布であり、Ｐ（ｇ_ｔ｜ｇ_ｔ－１）は遷移確率であり、Π（θ_ｔ｜ｇ_ｔ）は、尤度を表し、手や視線の観測値θと物体ｇの関係より求めることができる（参考文献１参照）。なお、意図推定部３３は、確率分布を式（１）以外の他の確率分布を求める式によって算出するようにしてもよい。

【0063】

意図推定部３３は、算出した確率分布に重み付けして加算する。さらに、意図推定部３３は、重み付けして加算された確率分布の中で最も確率が大きい物体を意図物体であると推定する。

【0064】

参考文献１；Siddarth Jain, Brenna Argall, “Recursive Bayesian Human Intent Recognition in Shared-Control Robotics”, 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS),p3905-3912, 2018

【0065】

このように、本実施形態では、意図推定部３３は、操作者の視線と手の動きを用いて統合的に操作者の意図を推定する。なお、意図推定部３３は、視線情報と、手の動き情報とテーブル上の物体の位置情報とを学習済みのモデルに入力して、操作者の意思を推定するようにしてもよい。

【0066】

［処理手順例］
次に、ロボット遠隔操作制御装置３が行う処理手順例を説明する。
図５は、本実施形態に係るロボット遠隔操作制御装置３が行う処理手順例のフローチャートである。

【0067】

（ステップＳ１）情報取得部３１は、センサ値（視線情報、手動作情報、物体位置情報）を取得する。

【0068】

（ステップＳ２）意図推定部３３は、操作者が例えば把持しようとしている対象物体である意図物体確率分布を任意の確率分布で初期化する。任意の確率分布とは、例えば、一様分布、カテゴリカル分布等である。

【0069】

（ステップＳ３）意図推定部３３は、取得したセンサ値を用いてロボット世界における操作者の注視点と操作候補の物体との間の距離を算出する。続けて、意図推定部３３は、取得したセンサ値を用いてロボット世界における操作者の手の位置と操作候補の物体との間の距離を算出する。続けて、意図推定部３３は、ロボット世界における操作者の注視点と操作候補の物体との間の距離と、ロボット世界における操作者の手の位置と操作候補の物体との間の距離とに基づく第１の確率分布を計算する。

【0070】

（ステップＳ４）意図推定部３３は、取得したセンサ値を用いてロボット世界における操作者の手の軌道を算出する。続けて、意図推定部３３は、ロボット世界における操作者の手の軌道に基づく第２の確率分布を計算する。

【0071】

（ステップＳ５）意図推定部３３は、ロボット世界における操作者の注視点と操作候補の物体とが重なった回数を検出する。続けて、意図推定部３３は、ロボット世界における操作者の注視点と操作候補の物体とが重なった回数に基づく第３の確率分布を計算する。

【0072】

（ステップＳ６）意図推定部３３は、第１の確率分布、第２の確率分布、および第３の確率分布に対して重み付けを行う。

【0073】

（ステップＳ７）意図推定部３３は、重み付けされた第１の確率分布、第２の確率分布、および第３の確率分布の総和を算出する。なお、意図推定部３３は、操作候補の物体毎にこの処理を行う。また、意図推定部３３は、必要に応じて、各確率分布を正規化した後に総和を算出するようにしてもよい。また、意図推定部３３は、必要に応じて、各確率分布に重み付けして総和を算出するようにしてもよい。

【0074】

（ステップＳ８）意図推定部３３は、算出した操作候補の物体の確率分布のうち、最も確率が高い物体を意図物体に決定する。

【0075】

（ステップＳ９）制御指令生成部３４は、意図推定部３３が推定した結果と、センサ値に基づいて、意図物体を例えば把持するための制御指令を生成する。

【0076】

（ステップＳ１０）意図推定部３３は、センサ値に基づいて、操作者がロボット２によって物体を例えば把持しているか否かを判別する。意図推定部３３は、操作者がロボット２によって物体を例えば把持していると判別した場合、処理を終了する。意図推定部３３は、操作者がロボット２によって物体を例えば把持していないと判別した場合、ステップＳ１の処理に戻す。

【0077】

なお、図６において、意図推定部３３は、ステップＳ３～Ｓ５の処理を並列に行ってもよく、時分割で行ってもよく、処理順番が異なっていてもよい。

【0078】

［意図推定結果例］
次に、意図推定結果例を説明する。
図６は、本実施形態に係る意図推定結果例を示す図である。図６の例は、テーブルの上に３つの物体ｏｂｊ１～ｏｂｊ３が置かれていて、操作者がロボット２に左手で物体ｏｂｊ３を把持させようとしている状態例である。意図推定部３３が算出した物体毎の確率は、左手の把持部２２２ａから最も離れている第１の物体ｏｂｊ１が５％であり、左手の把持部２２２ａから最も近い第３の物体ｏｂｊ３が８０％であり、第１の物体ｏｂｊ１と第３の物体ｏｂｊ３との間にある第２の物体ｏｂｊ２が１５％であった。
この場合、意図推定部３３は、確率が高い第３の物体ｏｂｊ３を意図物体に決定する。

【0079】

［重み付けの例］
ここで、意図推定部３３が、確率分布に対して行う重み付け方法の一例を説明する。
例えば、意図推定部３３は、環境センサ値と操作者センサ値を用いて、ロボット２の把持部２２２と、各物体との位置とに基づいて、物体全体に対する確率分布に対して重み付けを行うようにしてもよい。重み付けは、例えば、事前に実験をして重要度が高そうな確率分布を検証し、重要度が高い分布に大きな重みを付けるようにしてもよい。または、例えば、手と物体の位置から算出される確率分布よりも、視線から算出される確率分布の方が高精度の場合は、後者に大きな重みをつけるようにしてもよい。
または、意図推定部３３が、環境センサ値と操作者センサ値を用いて、操作者の手の形状と、各物体と形状とに基づいて、物体全体に対する確率分布に対して重み付けを行うようにしてもよい。例えば、大きな物体を把持しようとしている場合と、小さな物体を把持しようとしている場合とでは、操作者が物体に手を近づける際の手の広げ方が異なる可能性がある。このような操作者の手の形状に物体を関連付けて、記憶部３７に記憶させておいてもよい。

【0080】

以上のように、本実施形態では、操作者の注視点と操作者の手の軌道から確率分布計算に基づき操作者の意図を推定するようにした。

【0081】

これにより、本実施形態によれば、視線と手の動きを用いて統合的に推論することで、高性能にＰｉｃｋ，Ｐｌａｃｅなどの操作対象物体を推定できる。

【0082】

なお、上述した例では、物体の位置を、環境センサ７が検出してロボット遠隔操作制御装置に送信する例を説明したが、これに限らない。例えば、意図推定部３３が、環境センサ７から取得したセンサ値を用いて、物体の位置情報を検出するようにしてもよい。

【0083】

なお、意図推定部３３は、操作者状態情報と、ロボット２の状態情報とに基づいて、操作者が意図する手先の将来軌道を、事前に予測するようにしてもよい。

【0084】

また、操作者が操作する環境とロボット動作環境では座標系が異なるため、ロボット遠隔操作制御装置３は、例えば、ロボット２の起動時に操作者の操作環境とロボット動作環境のキャリブレーションを行うようにしてもよい。

【0085】

また、把持の際、ロボット遠隔操作制御装置３は、ロボット２の把持力と、物体と把持部２２２との摩擦力等に基づいて、把持時の把持位置の誤差を補正して、把持位置を決定するようにしてもよい。

【0086】

また、上述したロボット２は、例えば、二足歩行ロボットであってもよく、固定型の受付ロボットであってもよく、作業ロボットであってもよい。

【0087】

また、上述した例では、遠隔操作でロボット２に把持させる例を説明したが、これに限らない。

【0088】

また、上述した例では、操作者がＨＭＤ５を装着する例を説明したが、これに限らない。視線情報の検出や、操作者へのロボット状態画像の提供は、例えば、センサと画像表示装置との組み合わせ等であってもよい。

【0089】

なお、本発明におけるロボット２の機能の全てまたは一部、ロボット遠隔操作制御装置３の機能の全てまたは一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりロボット２が行う処理の全てまたは一部、ロボット遠隔操作制御装置３が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ローカルネットワーク上で構築されたシステムやクラウド上で構築されたシステム等も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

【0090】

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0091】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

【符号の説明】

【0092】

１…ロボット遠隔操作制御システム、２…ロボット、３…ロボット遠隔操作制御装置、５…ＨＭＤ、６…コントローラー、７…環境センサ、２１…制御部、２２…駆動部、２３…収音部、２５…記憶部、２６…電源、２７…センサ、２２２，２２２ａ，２２２ｂ…把持部、３１…情報取得部、３３…意図推定部、３４…制御指令生成部、３５…ロボット状態画像作成部、３６…送信部、３７…記憶部、５１…画像表示部、５２…視線検出部、５４…制御部、５５…通信部、６１…センサ、６２…制御部、６３…通信部、６４…フィードバック手段、７１…撮影装置、７２…センサ、７３…物体位置検出部、７４…通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】