特許 7565848 ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-03

(45)【発行日】2024-10-11

(54)【発明の名称】ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム

(51)【国際特許分類】

   B25J 13/06 20060101AFI20241004BHJP

   B25J 13/00 20060101ALI20241004BHJP

【ＦＩ】

B25J13/06

B25J13/00 Z

【請求項の数】 7

(21)【出願番号】P 2021061170

(22)【出願日】2021-03-31

(65)【公開番号】P2022157123

(43)【公開日】2022-10-14

【審査請求日】2023-11-28

(73)【特許権者】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】細見 直希

(72)【発明者】

【氏名】コンダパッレィアニルドレッディ

(72)【発明者】

【氏名】塚本 七海

【審査官】松浦 陽

(56)【参考文献】

【文献】特開２０１７－１９６６７８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０２８４７６０（ＵＳ，Ａ１）

【文献】特開２０１９－０１０７２４（ＪＰ，Ａ）

【文献】劉楊 ほか，マスタ・スレーブシステムにおける自律アシスト制御のための操作者の手の姿勢予測，ロボティクスメカトロニクス講演会２０１８講演会論文集 2018 JSME Conference on Robotics and Mechatronics ，日本，一般社団法人日本機械学会，2018年06月01日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ － ２１／０２

(57)【特許請求の範囲】

【請求項1】

操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
検出された前記操作者の動きを示す情報である操作者センサ値を取得する情報取得部と、
前記操作者センサ値から学習済みのモデルを用いて、前記ロボットに対する動作指示である前記操作者の動作を推定する意図推定部と、
を備え、
前記情報取得部は、前記ロボットあるいは前記ロボットの周辺環境に設置された環境センサによって得られた環境センサ値を取得し、
前記意図推定部は、前記環境センサ値と前記操作者センサ値から前記学習済みのモデルを用いて、前記操作者が前記ロボットを操作して前記ロボットに把持させた把持物体をアライメントしようとしているのか否かを推定して、前記推定した結果に基づいて前記ロボットを駆動する制御指令値を生成する、
ロボット遠隔操作制御装置。

【請求項2】

前記意図推定部は、前記環境センサ値と前記操作者センサ値を用いて、前記操作者が前記把持物体に対して、どのような姿勢でアライメントしようとしているかの尤度を計算して、アライメントのサポートを行う、
請求項１に記載のロボット遠隔操作制御装置。

【請求項3】

前記意図推定部は、前記操作者センサ値から推定を行って値を安定化させるような処理後に前記操作者が前記把持物体に対して、前記尤度を計算する、
請求項２に記載のロボット遠隔操作制御装置。

【請求項4】

前記意図推定部は、前記操作者センサ値から特徴量を注出し、抽出した特徴量に基づいて前記ロボットに対する動作指示である前記操作者の動作を分類することで推定する、
請求項１または請求項３に記載のロボット遠隔操作制御装置。

【請求項5】

請求項１から請求項４のうちのいずれか１つに記載の前記ロボット遠隔操作制御装置と、
操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
物体を把持する把持部と、
前記ロボットあるいは前記ロボットの周辺環境に設置され、環境センサ値を検出する環境センサと、
前記操作者の動きを操作者センサ値として検出する操作者センサと、
前記操作者の視界にあるロボット環境の画像を表示する画像表示装置と、
を備えるロボット遠隔操作制御システム。

【請求項6】

操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
情報取得部が、前記操作者の動きを検知する操作者センサ値を取得し、
意図推定部が、前記操作者センサ値から学習済みのモデルを用いて、前記ロボットに対する動作指示である前記操作者の動作を推定し、
前記情報取得部が、前記ロボットあるいは前記ロボットの周辺環境に設置された環境センサによって得られた環境センサ値を取得し、
前記意図推定部が、前記環境センサ値と前記操作者センサ値から前記学習済みのモデルを用いて、前記操作者が前記ロボットを操作して前記ロボットに把持させた把持物体をアライメントしようとしているのか否かを推定して、前記推定した結果に基づいて前記ロボットを駆動する制御指令値を生成する、
ロボット遠隔操作制御方法。

【請求項7】

操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
コンピュータに、
検出された前記操作者の動きを示す情報である操作者センサ値を取得させ、
前記操作者センサ値から学習済みのモデルを用いて、前記ロボットに対する動作指示である前記操作者の動作を推定させ、
前記ロボットあるいは前記ロボットの周辺環境に設置された環境センサによって得られた環境センサ値を取得させ、
前記環境センサ値と前記操作者センサ値から前記学習済みのモデルを用いて、前記操作者が前記ロボットを操作して前記ロボットに把持させた把持物体をアライメントしようとしているのか否かを推定させ、前記推定した結果に基づいて前記ロボットを駆動する制御指令値を生成させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラムに関する。

【背景技術】

【0002】

利用者がロボットの操作を補助することができる制御装置が提案されている。このような制御装置として、例えば、ロボットを操作する第１ユーザーの姿勢を示す第１ユーザー姿勢情報を取得する第１情報取得部と、第１ユーザー姿勢情報に基づいてロボットの姿勢を変化させる前のロボットの姿勢である変化前姿勢を示す変化前姿勢情報を取得する第２情報取得部と、変化前姿勢情報と、変化前姿勢情報が示す変化前姿勢をロボットがしている時点で第１情報取得部が取得した第１ユーザー姿勢情報とに基づいて、第１ユーザーの姿勢と異なる標的姿勢をロボットの姿勢に決定する決定部と、を有する制御装置が提案されている（特許文献１参照）。特許文献１に記載のシステムでは、操作者が装着した装置によって検出した姿勢に対応する姿勢にロボットの姿勢を変化させる。

【0003】

このようなシステムでは、操作者が遠隔操作で物体の操作を行う際、操作者の体に装着したセンサ（視線、頭の回転、手の位置や角度などを取得するセンサ）から操作者がどのような行動を行ってロボットに遠隔指示している作業内容を推定する必要がある。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６４７６３５８号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術では、操作者が遠隔操作で物体の操作を行う際、操作者の体に装着したセンサ（例えば、視線、頭の回転、手の位置や角度などを取得するセンサ）から得られる時刻毎のセンサ値情報から、操作者がどのような行動をしているのか直接推定できなかった。

【0006】

本発明は、上記の問題点に鑑みてなされたものであって、操作者の体に装着したセンサから得られる情報から操作者がどのような行動をしているのか推定することができるロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

（１）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御装置は、操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、検出された前記操作者の動きを示す情報である操作者センサ値を取得する情報取得部と、前記操作者センサ値から学習済みのモデルを用いて、前記ロボットに対する動作指示である前記操作者の動作を推定する意図推定部と、を備える。

【0008】

（２）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記情報取得部は、前記ロボットあるいは前記ロボットの周辺環境に設置された環境センサによって得られた環境センサ値を取得し、前記意図推定部は、前記環境センサ値と前記操作者センサ値から学習済みのモデルを用いて、前記操作者が前記ロボットを操作して前記ロボットに把持させた把持物体をアライメントしようとしているのか否かを推定して、前記推定した結果に基づいて前記ロボットを駆動する制御指令値を生成するようにしてもよい。

【0009】

（３）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記情報取得部は、前記ロボットあるいは前記ロボットの周辺環境に設置された環境センサによって得られた環境センサ値を取得し、意図推定部は、前記環境センサ値と前記操作者センサ値を用いて、前記操作者が前記把持物体に対して、どのような姿勢でアライメントしようとしているかの尤度を計算して、アライメントのサポートを行うようにしてもよい。

【0010】

（４）また、本発明の一態様に係るロボット遠隔操作制御装置において、意図推定部は、前記操作者センサ値から推定を行って値を安定化させるような処理後に前記操作者が前記把持物体に対して、前記尤度を計算するようにしてもよい。

【0011】

（５）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記情報取得部は、前記ロボットあるいは前記ロボットの周辺環境に設置された環境センサによって得られた環境センサ値を取得し、前記意図推定部は、前記環境センサ値も学習済みのモデルに入力して、前記ロボットに対する動作指示である前記操作者の動作を推定するようにしてもよい。

【0012】

（６）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記意図推定部は、前記操作者センサ値から特徴量を注出し、抽出した特徴量に基づいて前記ロボットに対する動作指示である前記操作者の動作を分類することで推定する、ようにしてもよい。

【0013】

（７）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御システムは、（１）から（６）のうちのいずれか１つに記載の前記遠隔操作時の操作者動作推定装置と、操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、物体を把持する把持部と、前記ロボットあるいは前記ロボットの周辺環境に設置され、ロボット環境センサ値を検出する環境センサと、前記操作者の動きを操作者センサ値として検出する操作者センサと、前記操作者の視界にあるロボット環境の画像を表示する画像表示装置と、を備える。

【0014】

（８）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御方法は、操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、情報取得部が、検出された前記操作者の動きを示す情報である操作者センサ値を取得し、意図推定部が、前記操作者センサ値から学習済みのモデルを用いて、前記ロボットに対する動作指示である前記操作者の動作を推定する。

【0015】

（９）上記目的を達成するため、本発明の一態様に係るプログラムは、操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、コンピュータに、前記操作者の動きを検知する操作者センサ値を取得させ、前記操作者センサ値から学習済みのモデルを用いて、前記ロボットに対する動作指示である前記操作者の動作を推定させる。

【発明の効果】

【0016】

（１）～（９）によれば、操作者の体に装着したセンサから得られる情報から操作者がどのような行動をしているのか推定することができる。
（２）によれば、操作者のアライメント意図を検出して先回りしてアライメントをサポートすることで、アライメントに掛かる時間を削減できる。
（３）～（４）によれば、操作者が把持物体をどのような角度でＰｌａｃｅするか確率的に計算することで、Ｐｌａｃｅのサポートを実行し、操作者がアライメントに掛かる時間とストレスの削減につながる。
（４）によれば、手ブレの影響を低減することができる。

【図面の簡単な説明】

【0017】

【図1】実施形態に係るロボット遠隔操作制御システムの概要と作業の概要を示す図である。

【図2】実施形態に係るロボット遠隔操作制御システムの構成例を示すブロック図である。

【図3】第１実施形態に係る分類部によって分類される行動の種類例を示す図である。

【図4】第１実施形態に係る分類部の分類方法例を示す図である。

【図5】第１実施形態に係るロボット遠隔操作制御装置の処理手順のフローチャートである。

【図6】第２実施形態に係る把持物体のアライメントのサポートを説明するための図である。

【図7】第２実施形態に係るロボット遠隔操作制御装置の処理手順のフローチャートである。

【図8】第３実施形態に係る分類部の分類方法例を示す図である。

【図9】第２実施形態に係るロボット遠隔操作制御装置の処理手順のフローチャートである。

【発明を実施するための形態】

【0018】

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。

【0019】

［概要］
まず、遠隔操作時の操作者動作推定システムで行う作業と処理の概要を説明する。
図１は、本実施形態に係るロボット遠隔操作制御システム１の概要と作業の概要を示す図である。図１のように、操作者Ｕｓは、例えばＨＭＤ（ヘッドマウントディスプレイ）５とコントローラー６を装着している。作業空間には、環境センサ７ａ、環境センサ７ｂが設置されている。なお、環境センサ７は、ロボット２に取り付けられていてもよい。また、ロボット２は、把持部２２２（２２２ａ、２２２ｂ）を備える。環境センサ７（７ａ、７ｂ）は、後述するように例えばＲＧＢカメラと深度センサを備えている。操作者Ｕｓは、ＨＭＤ５に表示された画像を見ながらコントローラー６を装着している手や指を動かすことで、ロボット２を遠隔操作する。

【0020】

本実施形態では、例えば機械学習手法を用いて、操作者が装着している複数のセンサが検出した複数のセンサ値から、操作者がどのようなアクションをしているかを推定する。また、本実施形態では、操作者が物体に対してどのようにアライメント（行動）する確率が高いかを計算して、アライメントのサポートを実現する。また、本実施形態では、例えば機械学習手法を用いて、複数のセンサ値と遠隔操作時の操作者動作推定装置システムの状態から、操作者が物体に対してアライメントする前に、アライメントを行おうとしているのか否かを推定する。

【0021】

［ロボット遠隔操作制御システムの構成例］
次に、ロボット遠隔操作制御システム１の構成例を説明する。
図２は、本実施形態に係るロボット遠隔操作制御システム１の構成例を示すブロック図である。図２のように、ロボット遠隔操作制御システム１は、ロボット２、ロボット遠隔操作制御装置３、ＨＭＤ５（画像表示装置）、コントローラー６、および環境センサ７を備える。

【0022】

ロボット２は、例えば、制御部２１、駆動部２２、収音部２３、記憶部２５、電源２６、およびセンサ２７を備える。
ロボット遠隔操作制御装置３は、例えば、情報取得部３１、意図推定部３３、制御指令生成部３４、画像作成部３５、送信部３６、および記憶部３７を備える。

【0023】

意図推定部３３は、動作推定部３３１、アライメントサポート部３３２、およびアライメント可否予測部３３３を備える。
動作推定部３３１は、特徴量抽出部３３１１、および分類部３３１２を備える。

【0024】

ＨＭＤ５は、例えば、画像表示部５１、視線検出部５２（操作者センサ）、センサ５３（操作者センサ）、制御部５４、および通信部５５を備える。なお、ＨＭＤ５は、例えば操作者の視線の動き等を検出するセンサを備えていてもよい。

【0025】

コントローラー６は、例えば、センサ６１（操作者センサ）、制御部６２、通信部６３、およびフィードバック手段６４を備える。

【0026】

環境センサ７は、例えば、撮影装置７１、センサ７２、物体位置検出部７３、および通信部７４を備える。

【0027】

なお、ロボット遠隔操作制御装置３とＨＭＤ５は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３とコントローラー６は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３と環境センサ７は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３とロボット２は、例えば、無線または有線のネットワークを介して接続されている。なお、ロボット遠隔操作制御装置３とＨＭＤ５は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３とコントローラー６は、ネットワークを介さずに直接接続されてもよい。ロボット２と環境センサ７は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３とロボット２は、ネットワークを介さずに直接接続されてもよい。

【0028】

［ロボット遠隔操作制御システムの機能例］
次に、ロボット遠隔操作制御システムの機能例を、図１を参照しつつ説明する。
ＨＭＤ５は、ロボット遠隔操作制御装置３から受信したロボットの状態画像を表示する。ＨＭＤ５は、操作者の視線の動き、操作者の頭部の動き（回転、傾き）等を検出し、検出した操作者センサ値をロボット遠隔操作制御装置３に送信する。

【0029】

画像表示部５１は、制御部５４の制御に応じて、ロボット遠隔操作制御装置３から受信したロボットの状態画像を表示する。

【0030】

視線検出部５２は、操作者の視線を検出し、検出した操作者センサ値を制御部５４に出力する。なお、視線情報は視線ベクトルである。

【0031】

センサ５３は、操作者の頭部の傾き、頭部の回転を検出し、検出した操作者センサ値を制御部５４に出力する。

【0032】

制御部５４は、視線検出部５２とセンサ５３が検出した操作者センサ値を、通信部５５を介してロボット遠隔操作制御装置３に送信する。制御部５４は、ロボット遠隔操作制御装置３が送信したロボット状態画像を、画像表示部５１に表示させる。

【0033】

通信部５５は、ロボット遠隔操作制御装置３が送信したロボット状態画像を受信し、受信したロボット状態画像を制御部５４に出力する。通信部５５は、制御部５４の制御に応じて、操作者センサ値をロボット遠隔操作制御装置３に送信する。

【0034】

コントローラー６は、例えば、触覚データグローブであり、操作者の手に装着される。コントローラー６は、センサ６１によって方位や各指の動きや手の動きを検出し、検出した手動作情報（操作者センサ値）をロボット遠隔操作制御装置３に送信する。

【0035】

センサ６１は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ等である。なお、センサ６１は、複数のセンサを備えるセンサ６１は、例えば２つのセンサによって各指の動きをトラッキングする。センサ６１は、各指の動きや手の動きを検出し、検出した手動作情報（操作者センサ値）を制御部６２に出力する。

【0036】

制御部６２は、センサ６１が検出した手動作情報を、通信部６３を介してロボット遠隔操作制御装置３に送信する。制御部６２は、フィードバック情報に基づいて、フィードバック手段６４を制御する。

【0037】

通信部６３は、制御部６２の制御に応じて、操作者動作情報をロボット遠隔操作制御装置３に送信する。通信部６３は、ロボット遠隔操作制御装置３が送信したフィードバック情報を取得し、取得したフィードバック情報を制御部６２に出力する。

【0038】

フィードバック手段６４は、制御部６２の制御に応じて、操作者にフィードバック情報をフィードバックする。フィードバック手段６４は、フィードバック情報に応じて、例えば、ロボット２の把持部２２２に取り付けられている振動を与える手段（不図示）や空気圧を与える手段（不図示）や手の動きを拘束する手段（不図示）や温度を感じさせる手段（不図示）や堅さや柔らかさを感じさせる手段（不図示）等によって操作者に感覚をフィードバックする。

【0039】

環境センサ７は、例えばロボット２の作業を撮影、検出できる位置に設置されている。なお、環境センサ７は、ロボット２が備えていてもよく、ロボット２に取り付けられていてもよい。または、環境センサ７は、２つ以上の複数であってもよい。環境センサ７は、撮影された画像とセンサによって検出された検出結果に基づいて物体の位置情報を検出し、検出した物体位置情報（環境センサ値）をロボット遠隔操作制御装置３に送信する。

【0040】

撮影装置７１は、例えばＲＧＢカメラである。撮影装置７１は、撮影した画像を物体位置検出部７３に出力する。なお、環境センサ７において、撮影装置７１とセンサ７２の位置関係が既知である。

【0041】

センサ７２は、例えば深度センサである。センサ７２は、検出結果を物体位置検出部７３に出力する。なお、撮影装置７１とセンサ７２は、距離センサであってもよい。

【0042】

物体位置検出部７３は、撮影された画像とセンサによって検出された検出結果に基づいて、撮影された画像における対象物体の三次元位置と大きさ形状等を周知の手法で検出する。物体位置検出部７３は、物体位置検出部７３が記憶するパターンマッチングのモデル等を参照して、撮影装置７１が撮影した画像に対して画像処理（エッジ検出、二値化処理、特徴量抽出、画像強調処理、画像抽出、パターンマッチング処理等）を行って物体の位置を推定する。なお、物体位置検出部７３は、撮影された画像から複数の物体が検出された場合、物体毎に位置を検出する。物体位置検出部７３は、検出した物体位置情報（環境センサ値）を、通信部７４を介してロボット遠隔操作制御装置３に送信する。

【0043】

通信部７４は、物体位置情報をロボット遠隔操作制御装置３に送信する。なお、環境センサ７が送信するデータは、例えば位置情報を有する点群であってもよい。

【0044】

ロボット２は、遠隔操作されていない場合、制御部２１の制御に応じて行動が制御される。ロボット２は、遠隔操作されている場合、ロボット遠隔操作制御装置３が生成した動作指令に応じて行動が制御される。

【0045】

制御部２１は、ロボット遠隔操作制御装置３が出力する制御指令に基づいて駆動部２２を制御する。なお、制御部２１は、収音部２３が収音した音響信号に対して音声認識処理（発話区間検出、音源分離、音源定位、雑音抑圧、音源同定等）を行うようにしてもよい。制御部２１は、フィードバック情報を生成して、生成したフィードバック情報を、ロボット遠隔操作制御装置３を介してコントローラー６に送信する。

【0046】

駆動部２２は、制御部２１の制御に応じてロボット２の各部（把持部２２２、腕、指、足、頭、胴、腰等）を駆動する。駆動部２２は、例えば、アクチュエータ、ギア、人工筋等を備える。

【0047】

収音部２３は、例えば複数のマイクロホンを備えるマイクロホンアレイである。収音部２３は、収音した音響信号を制御部２１に出力する。収音部２３は、音声認識処理機能を備えていてもよい。この場合、収音部２３は、音声認識結果を制御部２１に出力する。

【0048】

記憶部２５は、例えば、制御部２１が制御に用いるプログラム、閾値等を記憶し、音声認識結果、画像処理結果、制御指令等を一時的に記憶する。なお、記憶部２５は、記憶部３７が兼ねていてもよい。または、記憶部３７が記憶部２５を兼ねていてもよい。

【0049】

電源２６は、ロボット２の各部に電力を供給する。電源２６は、例えば充電式のバッテリや充電回路を備えていてもよい。

【0050】

センサ２７は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ、各関節エンコーダ等である。なお、センサ２７は、ロボット２の各関節、頭部等に取り付けられている。センサ２７は、検出した検出結果を、制御部２１、意図推定部３３、制御指令生成部３４、画像作成部３５に出力する。

【0051】

ロボット遠隔操作制御装置３は、ＨＭＤ５が検出した操作者センサ値と、コントローラー６が検出した操作者センサ値とに基づいて、ロボット２を遠隔操作するために操作者が行っている行動を推定し、ロボット２の制御指令を生成する。

【0052】

情報取得部３１は、ＨＭＤ５から操作者センサ値を取得し、コントローラー６から操作者センサ値を取得し、環境センサ７から環境センサ値を取得する。情報取得部３１は、取得した操作者センサ値と環境センサ値を、意図推定部３３に出力する。

【0053】

特徴量抽出部３３１１は、取得された操作者センサ値と環境センサ値に基づいて、特徴量を抽出する。

【0054】

意図推定部３３は、取得された環境センサ値に基づいて、作業対象の物体とその位置を推定する。

【0055】

分類部３３１２は、抽出された特徴量に基づいて、操作者の行動を分類する。なお、分類される行動については後述する。

【0056】

アライメントサポート部３３２は、操作者が把持物体をアライメント基準物体に対してどのようにアライメントする確率が高いかを計算し、アライメントのサポートを実現する。

【0057】

アライメント可否予測部３３３は、操作者センサ値から得られる情報を使って、操作者が物体を手に持って、任意の物体にリーチングしている段階で、アライメントしようとしているのか否かを事前に予測する。なお、アライメント可否予測部３３３は、物体に対してアライメントする前の時点に予測するようにしてもよく、物体のリリースが完了する前であればいつでもよい。

【0058】

制御指令生成部３４は、意図推定部３３が推定した結果と、センサ２７が検出した検出結果、環境センサ７が検出した環境センサ値に基づいて、例えば物体を把持するための制御指令を生成する。制御指令生成部３４は、生成した制御指令情報を制御部２１に出力する。

【0059】

画像作成部３５は、制御指令生成部３４が生成した制御指令情報に基づいて、ＨＭＤ５に表示させるロボット状態画像を作成する。

【0060】

送信部３６は、画像作成部３５が作成したロボット状態画像を、ＨＭＤ５に送信する。送信部３６は、ロボット２が出力したフィードバック情報を取得し、取得したフィードバック情報をコントローラー６へ送信する。

【0061】

記憶部３７は、意図推定部３３が使用する所定の値や学習済みのモデルを記憶している。記憶部３７は、環境センサ７の撮影装置７１とセンサ７２の位置関係を記憶している。記憶部３７は、ロボット遠隔操作制御装置３の制御に用いられるプログラムを記憶する。なお、プログラムはクラウドやネットワーク上にあってもよい。

【0062】

＜第１実施形態＞
本実施形態では、操作者が装着している複数のセンサが検出した複数のセンサ値から、操作者がどのようなアクションをしているかを推定する。

【0063】

［分類される行動の種類例］
まず、分類部３３１２によって分類される行動の種類例を説明する。
図３は、本実施形態に係る分類部３３１２によって分類される行動の種類例を示す図である。図３のように、分類部３３１２は、例えば４つのクラス（第１クラス～第４クラス）に分類する。分類される操作者の行動は、例えば、リーチ（Ｒｅａｃｈ）、グラスプ（Ｇｒａｓｐ）、ムーブ（Ｍｏｖｅ）、リリース（Ｒｅｌｅａｓｅ）である。なお、リーチ動作とは、目標とする地点に腕を折曲させる動作である。グラスプとは、物体を把持する動作である。ムーブ動作とは、物体を移動させる、運ぶ動作である。リリース動作とは、把持した物体を離す、置く動作である。なお、分類部３３１２は、他につまむ（ｐｉｎｃｈ）等の動作も分類してもよい。

【0064】

［分類例］
次に、分類部３３１２の分類方法例を説明する。
図４は、本実施形態に係る分類部３３１２の分類方法例を示す図である。図４のように、分類部３３１２は、少なくともＨＭＤ５とコントローラー６から取得された操作者センサ値を、学習済みのモデルに入力して、操作者の行動の分類結果の出力を得る。なお、この場合、特徴量抽出部３３１１は、操作者センサ値から特徴量を抽出しなくてもよい。なお、学習済みのモデルは、操作者センサ値を入力とし、操作者の行動の分類結果の教師データを用いて、機械学習手法（例えばニューラルネットワーク等）で学習して作成されたモデルである。また、学習済みのモデルは、分類部３３１２または記憶部３７が記憶している。なお、機械学習手法は、ニューラルネットワーク以外（例えば決定木ベースの手法など）であってもよい。

【0065】

なお、図４に示した例では、分類部３３１２が操作者センサ値を学習済みのモデル３３２１に入力して操作者の行動の分類結果の出力を得る例を説明したが、これに限らない。例えば、特徴量抽出部３３１１が操作者センサ値から特徴量を抽出し、分類部３３１２が抽出された特徴量に基づいて、操作者の行動の分類を行うようにしてもよい。

【0066】

また、上述した例では、学習と推定の際、操作者センサ値を用いる例を説明したが、これに限らない。学習と推定の際の入力には、環境センサ値も用いるようにしてもよい。

【0067】

［処理手順］
次に、ロボット遠隔操作制御装置３の処理手順を説明する。
図５は、本実施形態に係るロボット遠隔操作制御装置３の処理手順のフローチャートである。

【0068】

（ステップＳ１）情報取得部３１は、ＨＭＤ５から操作者センサ値（視線ベクトル）を取得し、コントローラー６から操作者センサ値を取得し、環境センサ７から環境センサ値を取得する。

【0069】

（ステップＳ２）特徴量抽出部３３１１は、操作者センサ値から特徴量を抽出する。

【0070】

（ステップＳ３）分類部３３１２は、抽出された特徴量に基づいて、操作者の行動の分類を行う。

【0071】

（ステップＳ４）制御指令生成部３４は、推定された操作者の行動に基づいて、制御指令を生成する。

【0072】

（ステップＳ５）制御部２１は、制御指令生成部３４が生成した制御指令に基づいて、駆動部２２を制御してロボット２の把持部等を駆動する。制御部２１は、処理後、ステップＳ１の処理に戻す。

【0073】

以上のように、本実施形態では、複数のセンサ値から操作者がどのようなアクションをしているかを、例えば学習済みのモデル等によって分類するようにした。

【0074】

これにより、本実施形態によれば、操作者の体に装着したセンサ（ＨＭＤ５、コントローラー６）から得られる情報から操作者がどのようなアクション（Ｒｅａｃｈ／Ｇｒａｓｐ／Ｍｏｖｅ／Ｒｅｌｅａｓｅ）をしているのか推定することができる。この結果、本実施形態によれば、先回りしてアライメントをサポートできる。これにより、本実施形態によれば、アライメントに掛かる時間を削減できる。
なお、アクション推定結果をアライメントに活用することも可能である。ロボット遠隔操作制御装置３は、例えば、アライメントの可否推定で、アライメントすると予測され、且つアクション推定の結果がＭｏｖｅだった場合、Ｍｏｖｅ中にアライメントをサポートするような制御（ロボットアームの特定の軸の動きを固定する）を実施するようにしてもよい。

【0075】

＜第２実施形態＞
遠隔操作では、把持物体を任意の物体（以下アライメント基準物体と呼ぶ）の隣に揃えて置く（以下、アライメントと呼ぶ）操作は困難である。さらに、操作者の体に装着したセンサ（視線、頭の回転、手の位置・角度などを取得するセンサ）から得られる情報からは、操作者が把持物体を物体に対してどのようにアライメントするかは直接推定することが困難である。

【0076】

このため、本実施形態では、操作者が把持している把持物体をアライメント基準物体に対してどのようにアライメントする尤度（確率）が高いか計算して、アライメントのサポートを実現する。

【0077】

図６は、本実施形態に係る把持物体のアライメントのサポートを説明するための図である。アライメント基準物体ＫＯｂｊは、テーブルＴｂ上に既に置かれている物体である。第１の置き方候補Ｏｂｊａは、把持物体Ｏｂｊの長手方向が、アライメント基準物体ＫＯｂｊと同じ角度（角度０度とする）の例である。第２の置き方候補Ｏｂｊｂは、把持物体Ｏｂｊの長手方向が、アライメント基準物体ＫＯｂｊに対して９０角度の例である。なお、アライメント基準物体ＫＯｂｊは、仮想的な物体であってもよい。

【0078】

なお、ロボット遠隔操作制御装置３は、これらの置き方候補を予め生成して保持している。また、図６に示した置き方候補は一例であり、これに限らない。
ロボット遠隔操作制御装置３は、このアライメント基準物体ＫＯｂｊに対して、現在把持されている把持物体Ｏｂｊが、どのような状態で置かれるのかの尤度（確率）を計算する。そして、ロボット遠隔操作制御装置３は、計算結果に応じてアライメントをサポートする。

【0079】

［処理手順］
次に、ロボット遠隔操作制御装置３の処理手順を説明する。
図７は、本実施形態に係るロボット遠隔操作制御装置３の処理手順のフローチャートである。

【0080】

（ステップＳ１０１）情報取得部３１は、ＨＭＤ５から操作者センサ値（視線ベクトル）を取得し、コントローラー６から操作者センサ値を取得し、環境センサ７から環境センサ値を取得する。

【0081】

（ステップＳ１０２）アライメントサポート部３３２は、取得された環境センサ値に基づいて、アライメント基準物体ＫＯｂｊの位置と置かれ方を検出する。

【0082】

（ステップＳ１０３）アライメントサポート部３３２は、取得された操作者センサ値、環境センサ値と、センサ２７が検出した検出結果に基づいて、操作者の遠隔操作によってロボット２が把持している把持物体の状態を検出する。

【0083】

（ステップＳ１０４）アライメントサポート部３３２は、把持物体の置き方候補を生成する。

【0084】

（ステップＳ１０５）アライメントサポート部３３２は、全ての置き方候補と、把持物体の状態との相対関係から、置き方候補毎の尤度（確率）を計算する。尤度（確率）ｌの計算は、例えば任意の置き方候補に対する把持物体の相対角度ｄ（－１８０°≦ｄ≦１８０°）に対して、次式（１）で計算する。

【0085】

ｌ＝ｅｘｐ（－ｋ・｜ｄ｜） …（１）

【0086】

（１）式において、ｋは角度の異なり（相対角度の大きさ）に対して、尤度（確率）をどれだけ大きく算出するかを調整する定数である。（１）式より、把持物体の置き方候補に対する相対角度が小さいほど尤度（確率）が高くなる。

【0087】

なお、アライメントサポート部３３２は、例えば、現在の把持物体から各置き方候補への遷移確率等に基づいて尤度（確率）を計算する。なお、アライメントサポート部３３２は、操作者の手がブレることを補正するため、取得されたセンサ値から推定を行って値を安定化させるような処理（例えばカルマンフィルタ）後に尤度（確率）の計算を行うようにしてもよい。

【0088】

把持物体の姿勢は、手の姿勢に大きく影響される。把持物体の姿勢に対して例えばカルマンフィルタによる姿勢推定をすることで、実際の観測値よりも安定（手ブレなどの影響が少ない）した姿勢を出力することができる。本実施形態では、その値を制御指令生成に利用するようにしてもよい。

【0089】

（ステップＳ１０６）制御指令生成部３４は、計算された尤度（確率）が最も高い置き方候補の置き方をサポートするように、制御指令を生成する。

【0090】

（ステップＳ１０７）制御部２１は、制御指令生成部３４が生成した制御指令に基づいて、駆動部２２を制御してロボット２の把持部等を駆動する。

【0091】

（ステップＳ１０８）制御部２１は、操作者の遠隔操作に応じて、把持物体を例えばテーブル上に置いたか否かを判別する。制御部２１は、把持物体を例えばテーブル上に置いたと判別した場合（ステップＳ１０８；ＹＥＳ）、処理を終了する。制御部２１は、把持物体を例えばテーブル上に置いていないと判別した場合（ステップＳ１０８；ＮＯ）、ステップＳ１０１の処理に戻す。

【0092】

以上のように、本実施形態では、操作者が把持物体をアライメント基準物体に対してどのようにアライメントする尤度（確率）が高いかを計算し、アライメントのサポートを実現するようにした。なお、上述した処理手順は一例であり、これに限らない。例えば、ステップＳ１０２～ステップＳ１０４の処理順番は、この順でなくてもよく、処理順番を入れ替えることも可能である。これらの処理は、例えば、ステップＳ１０２の処理後にステップＳ１０４の処理を行い、その後ステップＳ１０３の処理を行うようにしてもよい。これらの処理は、例えば、ステップＳ１０３の処理後にステップＳ１０２の処理を行い、その後ステップＳ１０４を行うようにしてもよい。

【0093】

これにより、本実施形態によれば、操作者が把持物体をどのような角度で離す（または置く、Ｐｌａｃｅ）するか確率的に計算することで、Ｐｌａｃｅのサポートを実行し、操作者がアライメントに掛かる時間とストレスの削減できる。

【0094】

なお、本実施形態は、上述した第１実施形態に適用することも可能である。

【0095】

＜第３実施形態＞
遠隔操作による物体のＰｉｃｋ＆Ｐｌａｃｅなど、把持物体を（例えば机上などに存在する）任意の物体に対して近づけているとき（物体を把持してリーチングしているとき）、操作者の体に装着したセンサ（視線、頭の回転、手の位置・角度などを取得するセンサ）から得られる（時刻毎の）情報からは、操作者が把持物体を、任意の物体に対してアライメントをしようとしているのか否かをシステムが直接推定できない。

【0096】

このため、本実施形態では、複数のセンサ値とロボット遠隔操作制御システムの状態から、操作者が把持させた物体を離す際に、離す処理の開始前に把持された物体に対してアライメントする前に、アライメントを行おうとしているのか否かを推定する。

【0097】

［分類例］
次に、分類部３３１２の分類方法例を説明する。
図８は、本実施形態に係る分類部３３１２の分類方法例を示す図である。図８のように、分類部３３１２は、少なくともＨＭＤ５とコントローラー６から取得された操作者センサ値を、学習済みのモデル３３２１Ａに入力して、アライメントを行うか否かの分類結果の出力を得る。なお、この場合、意図推定部３３の特徴量抽出部３３１１は、操作者センサ値から特徴量を抽出しなくてもよい。なお、学習済みのモデル３３２１Ａは、操作者センサ値を入力とし、アライメントを行うか否かの教師データを用いて、機械学習手法（例えばニューラルネットワーク等）で学習して生成されたモデルである。また、学習済みのモデル３３２１Ａは、分類部３３１２または記憶部３７が記憶している。なお、機械学習手法は、ニューラルネットワーク以外（例えば決定木ベースの手法など）であってもよい。

【0098】

なお、図８に示した例では、分類部３３１２が操作者センサ値を学習済みのモデル３３２１Ａに入力してアライメントを行うか否かの分類結果の出力を得る例を説明したが、これに限らない。例えば、特徴量抽出部３３１１が操作者センサ値から特徴量を抽出し、分類部３３１２が抽出された特徴量に基づいて、アライメントを行うか否かの分類を行うようにしてもよい。

【0099】

また、上述した例では、学習と推定の際、操作者センサ値を用いる例を説明したが、これに限らない。学習と推定の際の入力には、環境センサ値も用いるようにしてもよい。

【0100】

［処理手順］
次に、ロボット遠隔操作制御装置３の処理手順を説明する。
図９は、本実施形態に係るロボット遠隔操作制御装置３の処理手順のフローチャートである。

【0101】

（ステップＳ２０１）情報取得部３１は、ＨＭＤ５から操作者センサ値（視線ベクトル）を取得し、コントローラー６から操作者センサ値を取得し、環境センサ７から環境センサ値を取得する。

【0102】

（ステップＳ２０２）アライメント可否予測部３３３は、取得された操作者センサ値、環境センサ値と、センサ２７が検出した検出結果に基づいて、操作者の遠隔操作によってロボット２が把持している把持物体の状態を検出する。

【0103】

（ステップＳ２０３）アライメント可否予測部３３３は、例えば、取得された操作者センサ値を学習済みの学習モデルに入力して、アライメントの事前予測（アライメントをしようとしているか否か）を行う。

【0104】

（ステップＳ２０４）制御指令生成部３４は、アライメントをしようとしているか否かの予測結果に基づいて、制御指令を生成する。

【0105】

（ステップＳ２０５）制御部２１は、制御指令生成部３４が生成した制御指令に基づいて、駆動部２２を制御してロボット２の把持部等を駆動する。

【0106】

（ステップＳ２０６）制御部２１は、操作者の遠隔操作に応じて、把持物体を例えばテーブル上に置いたか否かを判別する。制御部２１は、把持物体を例えばテーブル上に置いたと判別した場合（ステップＳ２０６；ＹＥＳ）、処理を終了する。制御部２１は、把持物体を例えばテーブル上に置いていないと判別した場合（ステップＳ２０６；ＮＯ）、ステップＳ２０１の処理に戻す。

【0107】

以上のように、本実施形態では、操作者の体に装着したセンサから得られる情報を使って、操作者が物体を手に持って、任意の物体にリーチングしている段階で、アライメントしようとしているのか否かを事前に予測するようにした。なお、アライメント可否予測部３３３は、物体に対してアライメントする前の時点に予測するようにしてもよく、物体のリリースが完了する前であればいつでもよい。

【0108】

これにより、本実施形態によれば、ロボット遠隔操作制御装置３が操作者のアライメント意図を検出して先回りしてアライメントをサポートすることで、アライメントに掛かる時間を削減できる。

【0109】

なお、本実施形態は、上述した第１実施形態、および第２実施形態のうちの少なくとも１つに適用することも可能である。

【0110】

なお、意図推定部３３は、操作者状態情報と、ロボット２の状態情報とに基づいて、操作者が意図する手先の将来軌道を、事前に予測するようにしてもよい。

【0111】

また、操作者が操作する環境とロボット動作環境では座標系が異なるため、ロボット遠隔操作制御装置３は、例えば、ロボット２の起動時に操作者の操作環境とロボット動作環境のキャリブレーションを行うようにしてもよい。

【0112】

また、把持の際、ロボット遠隔操作制御装置３は、ロボット２の把持力と、物体と把持部２２２との摩擦力等に基づいて、把持時の把持位置の誤差を補正して、把持位置を決定するようにしてもよい。

【0113】

また、上述したロボット２は、例えば、二足歩行ロボットであってもよく、固定型の受付ロボットであってもよく、作業ロボットであってもよい。

【0114】

また、上述した例では、遠隔操作でロボット２に把持させる例を説明したが、これに限らない。

【0115】

また、上述した例では、操作者がＨＭＤ５を装着する例を説明したが、これに限らない。視線情報の検出や、操作者へのロボット状態画像の提供は、例えば、センサと画像表示装置との組み合わせ等であってもよい。

【0116】

なお、本発明におけるロボット遠隔操作制御装置３の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりロボット遠隔操作制御装置３が行う全ての処理または一部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ローカルネットワーク上で構築されたシステムやクラウド上で構築されたシステム等も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

【0117】

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0118】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

【符号の説明】

【0119】

１…ロボット遠隔操作制御システム、２…ロボット、３…ロボット遠隔操作制御装置、５…ＨＭＤ、６…コントローラー、７…環境センサ、２１…制御部、２２…駆動部、２３…収音部、２５…記憶部、２６…電源、２７…センサ、２２２，２２２ａ，２２２ｂ…把持部、３１…情報取得部、３３…意図推定部、３３１…動作推定部、３３１１…特徴量抽出部、３３１２…分類部、３３２…アライメントサポート部、３３３…アライメント可否予測部、３４…制御指令生成部、３５…画像作成部、３６…送信部、３７…記憶部、５１…画像表示部、５２…視線検出部、５３…センサ、５４…制御部、５５…通信部、６１…センサ、６２…制御部、６３…通信部、６４…フィードバック手段、７１…撮影装置、７２…センサ、７３…物体位置検出部、７４…通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】