特開 2022-155623 ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022155623

(43)【公開日】2022-10-14

(54)【発明の名称】ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム

(51)【国際特許分類】

   B25J 3/00 20060101AFI20221006BHJP

【ＦＩ】

B25J3/00 Z

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2021058952

(22)【出願日】2021-03-31

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】渡部 智樹

(72)【発明者】

【氏名】水谷 了

(72)【発明者】

【氏名】知久 健

(72)【発明者】

【氏名】董 屹立

(72)【発明者】

【氏名】茶木 智大

(72)【発明者】

【氏名】塚本 七海

(72)【発明者】

【氏名】細見 直希

(72)【発明者】

【氏名】コンダパッレィアニルドレッディ

(72)【発明者】

【氏名】吉池 孝英

(72)【発明者】

【氏名】クリスチャン ゲーリック

(72)【発明者】

【氏名】ルイケン ディルク

(72)【発明者】

【氏名】ブラム ボルダー

(72)【発明者】

【氏名】マティアス フランツィアス

(72)【発明者】

【氏名】ジーモン マンシッツ

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707BS27

3C707JT10

3C707JU03

3C707JU12

3C707KS02

3C707KS03

3C707KS11

3C707KT01

3C707KT04

3C707LV06

3C707MT01

(57)【要約】

【課題】ロボットの操作に習熟していない利用者であっても、高い精度でロボットに作業を行わせることができるロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラムを提供することを目的とする。
【解決手段】ロボット遠隔操作制御装置は、物体を把持可能なロボットを操作者が遠隔操作するロボット遠隔操作制御において、ロボットを操作する操作者の状態の操作者状態情報を取得する情報取得部と、操作者状態情報に基づき操作者がロボットに行わせようとしている動作意図を推定する意図推定部と、推定された前記操作者の動作意図に基づいた物体の把持方法を決定する把持方法決定部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

物体を把持可能なロボットを操作者が遠隔操作するロボット遠隔操作制御において、
前記ロボットを操作する操作者の状態の操作者状態情報を取得する情報取得部と、
前記操作者状態情報に基づき前記操作者が前記ロボットに行わせようとしている動作意図を推定する意図推定部と、
前記推定された前記操作者の動作意図に基づいた前記物体の把持方法を決定する把持方法決定部と、
を備えるロボット遠隔操作制御装置。

【請求項2】

前記意図推定部は、操作者状態情報に基づき前記操作者の姿勢を分類することで、前記ロボットの姿勢の分類を決定して前記操作者の動作意図を推定する、
請求項１に記載のロボット遠隔操作制御装置。

【請求項3】

前記意図推定部は、前記操作者状態情報に基づき、把持させたい物体の持ち方および前記把持させたい物体のうちの少なくとも１つを推定することで、前記操作者の動作意図を推定する、
請求項１に記載のロボット遠隔操作制御装置。

【請求項4】

前記意図推定部は、前記操作者状態情報に基づき、把持させたい物体を推定し、前記推定した物体に関連する前記把持させたい物体の持ち方を推定することで、前記操作者の動作意図を推定する、
請求項１に記載のロボット遠隔操作制御装置。

【請求項5】

前記意図推定部は、前記操作者状態情報に基づき、把持させたい物体の把持の仕方を推定し、推定した前記把持させたい物体の把持の仕方に基づいて前記把持させたい物体を推定することで、前記操作者の動作意図を推定する、
請求項１に記載のロボット遠隔操作制御装置。

【請求項6】

前記操作者状態情報は、前記操作者の視線情報、前記操作者の腕部の動き情報、および前記操作者の頭部の動き情報のうちの少なくとも１つである、
請求項１から請求項５のうちのいずれか１項に記載のロボット遠隔操作制御装置。

【請求項7】

前記情報取得部は、前記物体の位置情報取得し、
前記把持方法決定部は、取得された前記物体の位置情報も用いて把持させたい物体と前記物体の把持方法を推定する、
請求項１から請求項６のうちのいずれか１項に記載のロボット遠隔操作制御装置。

【請求項8】

前記把持方法決定部は、前記ロボットが備える把持部の位置情報を取得し、操作者状態情報に基づき前記把持部の位置情報を補正する、
請求項１から請求項７のうちのいずれか１項に記載のロボット遠隔操作制御装置。

【請求項9】

ロボット状態画像作成部、をさらに備え、
前記意図推定部は、撮影装置が撮影した画像に基づく前記物体に関する情報を取得し、
前記ロボット状態画像作成部は、前記物体に関する情報と、前記把持部の位置情報と、前記操作者状態情報と、補正した前記把持部の位置情報とに基づいて、前記操作者に提供する画像を生成する、
請求項８に記載のロボット遠隔操作制御装置。

【請求項10】

前記物体を把持する把持部と、
前記把持部の位置情報を検出する検出部と、
を備えるロボットと、
請求項１から請求項９のうちのいずれか１つに記載の前記ロボット遠隔操作制御装置と、
前記物体の位置情報を検出する環境センサと、
前記ロボットを操作する操作者の状態の操作者状態情報を検出するセンサと、
を備えるロボット遠隔操作制御システム。

【請求項11】

物体を把持可能なロボットを操作者が遠隔操作するロボット遠隔操作制御において、
情報取得部が、前記ロボットを操作する操作者の状態の操作者状態情報を取得し、
意図推定部が、前記操作者状態情報に基づき前記操作者が前記ロボットに行わせようとしている動作意図を推定し、
把持方法決定部が、前記推定された前記操作者の動作意図に基づいた前記物体の把持方法を決定する、
ロボット遠隔操作制御方法。

【請求項12】

物体を把持可能なロボットを操作者が遠隔操作するロボット遠隔操作制御において、
コンピュータに、
前記ロボットを操作する操作者の状態の操作者状態情報を取得させ、
前記操作者状態情報に基づき前記操作者が前記ロボットに行わせようとしている動作意図を推定させ、
前記推定された前記操作者の動作意図に基づいた前記物体の把持方法を決定させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラムに関する。

【背景技術】

【0002】

利用者がロボットの操作を補助することができる制御装置が提案されている。このような制御装置として、例えば、ロボットを操作する第１ユーザーの姿勢を示す第１ユーザー姿勢情報を取得する第１情報取得部と、第１ユーザー姿勢情報に基づいてロボットの姿勢を変化させる前のロボットの姿勢である変化前姿勢を示す変化前姿勢情報を取得する第２情報取得部と、変化前姿勢情報と、変化前姿勢情報が示す変化前姿勢をロボットがしている時点で第１情報取得部が取得した第１ユーザー姿勢情報とに基づいて、第１ユーザーの姿勢と異なる標的姿勢をロボットの姿勢に決定する決定部と、を有する制御装置が提案されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６４７６３５８号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、ロボットに所定の作業を行わせる場合、ロボットの操作に習熟した利用者と比較してロボットの操作に習熟していない利用者が、高い精度で当該作業をロボットに行わせることが困難な場合があった。

【0005】

本発明は、上記の問題点に鑑みてなされたものであって、ロボットの操作に習熟していない利用者であっても、高い精度でロボットに作業を行わせることができるロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

（１）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御装置は、物体を把持可能なロボットを操作者が遠隔操作するロボット遠隔操作制御において、前記ロボットを操作する操作者の状態の操作者状態情報を取得する情報取得部と、前記操作者状態情報に基づき前記操作者が前記ロボットに行わせようとしている動作意図を推定する意図推定部と、前記推定された前記操作者の動作意図に基づいた前記物体の把持方法を決定する把持方法決定部と、を備える。

【0007】

（２）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記意図推定部は、操作者状態情報に基づき前記操作者の姿勢を分類することで、前記ロボットの姿勢の分類を決定して前記操作者の動作意図を推定するようにしてもよい。

【0008】

（３）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記意図推定部は、前記操作者状態情報に基づき、把持させたい物体の持ち方および前記把持させたい物体のうちの少なくとも１つを推定することで、前記操作者の動作意図を推定するようにしてもよい。

【0009】

（４）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記意図推定部は、前記操作者状態情報に基づき、把持させたい物体の把持の仕方を推定し、推定した前記把持させたい物体の把持の仕方に基づいて前記把持させたい物体を推定することで、前記操作者の動作意図を推定するようにしてもよい。

【0010】

（５）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記意図推定部は、前記操作者状態情報に基づき、把持させたい物体の把持の仕方を推定し、推定した前記把持させたい物体の把持の仕方に基づいて前記把持させたい物体を推定することで、前記操作者の動作意図を推定するようにしてもよい。

【0011】

（６）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記操作者状態情報は、前記操作者の視線情報、前記操作者の腕部の動き情報、および前記操作者の頭部の動き情報のうちの少なくとも１つであるようにしてもよい。

【0012】

（７）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記情報取得部は、前記物体の位置情報を取得し、前記把持方法決定部は、取得された前記物体の位置情報も用いて把持したい物体を推定するようにしてもよい。

【0013】

（８）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記把持方法決定部は、前記ロボットが備える把持部の位置情報を取得し、操作者状態情報に基づき前記把持部の位置情報を補正するようにしてもよい。

【0014】

（９）また、本発明の一態様に係るロボット遠隔操作制御装置において、ロボット状態画像作成部、をさらに備え、前記意図推定部は、撮影装置が撮影した画像に基づく前記物体に関する情報を取得し、前記ロボット状態画像作成部は、前記物体に関する情報と、前記把持部の位置情報と、前記操作者状態情報と、補正した前記把持部の位置情報とに基づいて、前記操作者に提供する画像を生成するようにしてもよい。

【0015】

（１０）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御システムは、前記物体を把持する把持部と、前記把持部の位置情報を検出する検出部と、を備えるロボットと、上記（１）から（６）のうちのいずれか１つに記載の前記ロボット遠隔操作制御装置と、前記物体の位置情報を検出する環境センサと、前記ロボットを操作する操作者の状態の操作者状態情報を検出するセンサと、を備える。

【0016】

（１１）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御方法は、物体を把持可能なロボットを操作者が遠隔操作するロボット遠隔操作制御において、情報取得部が、前記ロボットを操作する操作者の状態の操作者状態情報を取得し、意図推定部が、前記操作者状態情報に基づき把持させたい物体および把持方法のうちの少なくとも１つを推定し、把持方法決定部が、前記推定結果に基づいた前記物体の把持方法を決定する。

【0017】

（１２）上記目的を達成するため、本発明の一態様に係るプログラムは、物体を把持可能なロボットを操作者が遠隔操作するロボット遠隔操作制御において、コンピュータに、前記ロボットを操作する操作者の状態の操作者状態情報を取得させ、前記操作者状態情報に基づき把持させたい物体および把持方法のうちの少なくとも１つを推定させ、前記推定結果に基づいた前記物体の把持方法を決定させる。

【発明の効果】

【0018】

（１）～（１２）によれば、操作者が正確な位置合わせしなくても対象物体のピックアップを実現することができるので、ロボットの操作に習熟していない利用者であっても、高い精度でロボットに作業を行わせることができる。
（２）～（５）によれば、操作者の手や指を含む腕部の動き等によって操作者の動作意図推定を行うことで、精度良く操作者の意図を推定することができる。
（８）によれば、ロボットの把持部の実際の位置と操作者の状態に基づいて、把持部の位置情報を補正するので、操作者が正確な位置合わせしなくても対象物体のピックアップを実現することができる。
（９）によれば、操作者に補正された把持部の位置情報に基づく画像を提供できるので、操作者がロボットを遠隔操作しやすくなる。

【図面の簡単な説明】

【0019】

【図1】実施形態に係るロボット遠隔操作制御システムの概要と作業の概要を示す図である。

【図2】実施形態に係るロボット遠隔操作制御システムの構成例を示すブロック図である。

【図3】ＨＭＤ、コントローラーを操作者が身につけている状態例を示す図である。

【図4】実施形態に係るロボットとロボット遠隔操作制御装置の処理手順例を示す図である。

【図5】テーブルの上に３つの物体が置かれていて、操作者がロボットに左手で物体ｏｂｊ３を把持させようとしている状態例を示す図である。

【図6】実施形態に係るロボット遠隔操作制御装置の処理例のフローチャートである。

【図7】実施形態に係るＨＭＤに表示されるロボット状態画像例を示す図である。

【発明を実施するための形態】

【0020】

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。

【0021】

［概要］
まず、ロボット遠隔操作制御システムで行う作業と処理の概要を説明する。
図１は、本実施形態に係るロボット遠隔操作制御システム１の概要と作業の概要を示す図である。図１のように、操作者Ｕｓは、例えばＨＭＤ（ヘッドマウントディスプレイ）５とコントローラー６（６ａ、６ｂ）を装着している。作業空間には、環境センサ７ａ、環境センサ７ｂが設置されている。なお、環境センサ７は、ロボット２に取り付けられていてもよい。また、ロボット２は、把持部２２２（２２２ａ、２２２ｂ）を備える。環境センサ７（７ａ、７ｂ）は、後述するように例えばＲＢＧカメラと深度センサを備えている。操作者Ｕｓは、ＨＭＤ５に表示された画像を見ながらコントローラー６を装着している手や指を動かすことで、ロボット２を遠隔操作する。図１の例では、操作者Ｕｓは、ロボット２を遠隔操作して、テーブルＴｂ上にあるペットボトルｏｂｊを把持させる。なお、遠隔操作において、操作者Ｕｓは、ロボット２の動作を直接視認できないが、ロボット２側の映像をＨＭＤ５で間接的に視認できる状態である。本実施形態では、ロボット２が備えるロボット遠隔操作制御装置３が、ロボット２を操作する操作者の状態の情報（操作者状態情報）を取得して、取得した操作者状態情報に基づき把持させたい物体と把持方法を推定し、推定に基づいた物体の把持方法を決定する。

【0022】

［ロボット遠隔操作制御システムの構成例］
次に、ロボット遠隔操作制御システム１の構成例を説明する。
図２は、本実施形態に係るロボット遠隔操作制御システム１の構成例を示すブロック図である。図２のように、ロボット遠隔操作制御システム１は、ロボット２、ロボット遠隔操作制御装置３、ＨＭＤ５、コントローラー６、および環境センサ７を備える。

【0023】

ロボット２は、例えば、制御部２１、駆動部２２、収音部２３、記憶部２５、電源２６、およびセンサ２７を備える。
ロボット遠隔操作制御装置３は、例えば、情報取得部３１、意図推定部３３、把持方法決定部３４、ロボット状態画像作成部３５、送信部３６、および記憶部３７を備える。

【0024】

ＨＭＤ５は、例えば、画像表示部５１、視線検出部５２、センサ５３、制御部５４、および通信部５５を備える。
コントローラー６は、例えば、センサ６１、制御部６２、通信部６３、およびフィードバック手段６４を備える。

【0025】

環境センサ７は、例えば、撮影装置７１、センサ７２、物体位置検出部７３、および通信部７４を備える。

【0026】

なお、ロボット遠隔操作制御装置３とＨＭＤ５は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３とコントローラー６は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３と環境センサ７は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３とロボット２は、例えば、無線または有線のネットワークを介して接続されている。なお、ロボット遠隔操作制御装置３とＨＭＤ５は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３とコントローラー６は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３と環境センサ７は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３とロボット２は、ネットワークを介さずに直接接続されてもよい。

【0027】

［ロボット遠隔操作制御システムの機能例］
次に、ロボット遠隔操作制御システムの機能例を、図１を参照しつつ説明する。
ＨＭＤ５は、ロボット遠隔操作制御装置３から受信したロボットの状態画像を表示する。ＨＭＤ５は、操作者の視線の動きや、頭の動き等を検出し、検出した操作者状態情報をロボット遠隔操作制御装置３に送信する。

【0028】

画像表示部５１は、制御部５４の制御に応じて、ロボット遠隔操作制御装置３から受信したロボットの状態画像を表示する。

【0029】

視線検出部５２は、操作者の視線を検出し、検出した視線情報（操作者センサ値）を制御部５４に出力する。

【0030】

センサ５３は、例えば、加速度センサ、ジャイロスコープ等であり、操作者の頭部の動きや傾きを検出し、検出した頭部動作情報（操作者センサ値）を制御部５４に出力する。

【0031】

制御部５４は、視線検出部５２が検出した視線情報と、センサ５３が検出した頭部動作情報を、通信部５５を介してロボット遠隔操作制御装置３に送信する。また、制御部５４は、ロボット遠隔操作制御装置３が送信したロボットの状態画像を、画像表示部５１に表示させる。

【0032】

通信部５５は、ロボット遠隔操作制御装置３が送信したロボットの状態画像を受信し、受信したロボットの状態画像を制御部５４に出力する。通信部５５は、制御部５４の制御に応じて、視線情報と頭部動作情報をロボット遠隔操作制御装置３に送信する。

【0033】

コントローラー６は、例えば、触覚データグローブであり、操作者の手に装着される。コントローラー６は、センサ６１によって方位や各指の動きや手の動きを検出し、検出した操作者状態情報をロボット遠隔操作制御装置３に送信する。

【0034】

センサ６１は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ等である。なお、センサ６１は、複数のセンサを備えるセンサ６１は、例えば２つのセンサによって各指の動きをトラッキングする。センサ６１は、方位や各指の動きや手の動き等の操作者の腕部の姿勢や位置に関する情報である操作者腕部情報（操作者センサ値、操作者状態情報）を検出し、検出した操作者腕部情報を制御部６２に出力する。なお、操作者腕部情報には、手先位置・姿勢情報、各指の角度情報、肘の位置・姿勢情報、各部の動きをトラッキングした情報等のヒトの腕部全般におよぶ情報が含まれる。

【0035】

制御部６２は、操作者腕部情報を、通信部６３を介してロボット遠隔操作制御装置３に送信する。制御部６２は、フィードバック情報に基づいて、フィードバック手段６４を制御する。

【0036】

通信部６３は、制御部６２の制御に応じて、視線情報と操作者腕部情報をロボット遠隔操作制御装置３に送信する。通信部６３は、ロボット遠隔操作制御装置３が送信したフィードバック情報を取得し、取得したフィードバック情報を制御部６２に出力する。

【0037】

フィードバック手段６４は、制御部６２の制御に応じて、操作者にフィードバック情報をフィードバックする。フィードバック手段６４は、フィードバック情報に応じて、例えば、ロボット２の把持部２２２に取り付けられている振動を与える手段（不図示）や空気圧を与える手段（不図示）や手の動きを拘束する手段（不図示）や温度を感じさせる手段（不図示）や堅さや柔らかさを感じさせる手段（不図示）等によって操作者に感覚をフィードバックする。

【0038】

環境センサ７は、例えばロボット２の作業を撮影、検出できる位置に設置されている。なお、環境センサ７は、ロボット２が備えていてもよく、ロボット２に取り付けられていてもよい。または、環境センサ７は、複数であってもよく、図１のように作業環境に設置され、かつロボット２にも取り付けられていてもよい。環境センサ７は、物体の位置情報（環境センサ値）と、撮影された画像（環境センサ値）と、検出されたセンサ値（環境センサ値）をロボット遠隔操作制御装置３に送信する。なお、環境センサ７は、モーションキャプチャ装置であってもよく、モーションキャプチャによって物体の位置情報を検出するようにしてもよい。または、物体に位置情報送信部を備えるＧＰＳ受信装置（不図示）が取り付けられていてもよい。この場合、ＧＰＳ受信装置は、位置情報をロボット遠隔操作制御装置３へ送信するようにしてもよい。

【0039】

撮影装置７１は、例えばＲＧＢカメラである。なお、環境センサ７において、撮影装置７１とセンサ７２の位置関係が既知である。

【0040】

センサ７２は、例えば深度センサである。なお、撮影装置７１とセンサ７２は、距離センサであってもよい。

【0041】

物体位置検出部７３は、撮影された画像とセンサによって検出された検出結果に基づいて、撮影された画像における対象物体の三次元位置と大きさ形状等を周知の手法で検出する。物体位置検出部７３は、物体位置検出部７３が記憶するパターンマッチングのモデル等を参照して、撮影装置７１が撮影した画像に対して画像処理（エッジ検出、二値化処理、特徴量抽出、画像強調処理、画像抽出、パターンマッチング処理等）を行って物体の位置を推定する。なお、物体位置検出部７３は、撮影された画像から複数の物体が検出された場合、物体毎に位置を検出する。物体位置検出部７３は、検出した物体位置情報（環境センサ値）と撮影された画像（環境センサ値）と、センサ値（環境センサ値）を、通信部７４を介してロボット遠隔操作制御装置３に送信する。

【0042】

通信部７４は、物体位置情報をロボット遠隔操作制御装置３に送信する。通信部７４は、物体位置情報（環境センサ値）と撮影された画像（環境センサ値）と、センサ値（環境センサ値）とを、ロボット遠隔操作制御装置３に送信する。

【0043】

ロボット２は、遠隔操作されていない場合、制御部２１の制御に応じて行動が制御される。ロボット２は、遠隔操作されている場合、ロボット遠隔操作制御装置３が生成した把持計画情報に応じて行動が制御される。

【0044】

制御部２１は、ロボット遠隔操作制御装置３が出力する把持方法情報に基づいて駆動部２２を制御する。制御部２１は、収音部２３が収音した音響信号に対して音声認識処理（発話区間検出、音源分離、音源定位、雑音抑圧、音源同定等）を行う。制御部２１は、音声認識した結果にロボットに対する動作指示が含まれている場合、音声による動作指示に基づいてロボット２の動作を制御するようにしてもよい。制御部２１は、記憶部２５が記憶する情報に基づいて、環境センサ７が撮影した画像に対して画像処理（エッジ検出、二値化処理、特徴量抽出、画像強調処理、画像抽出、パターンマッチング処理等）を行う。なお、環境センサ７が送信するデータは、例えば位置情報を有する点群であってもよい。制御部２１は、画像処理によって物体に関する情報（物体情報）を撮影された画像から抽出する。物体情報には、例えば、物体の名称、物体の位置等の情報が含まれている。制御部２１は、記憶部２５が記憶するプログラムと音声認識結果と画像処理結果に基づいて駆動部２２を制御する。制御部２１は、ロボット２の動作状態情報をロボット状態画像作成部３５に出力する。制御部２１は、フィードバック情報を生成して、生成したフィードバック情報を、ロボット遠隔操作制御装置３を介してコントローラー６に送信する。

【0045】

駆動部２２は、制御部２１の制御に応じてロボット２の各部（腕、指、足、頭、胴、腰等）を駆動する。駆動部２２は、例えば、アクチュエータ、ギア、人工筋等を備える。

【0046】

収音部２３は、例えば複数のマイクロホンを備えるマイクロホンアレイである。収音部２３は、収音した音響信号を制御部２１に出力する。収音部２３は、音声認識処理機能を備えていてもよい。この場合、収音部２３は、音声認識結果を制御部２１に出力する。

【0047】

記憶部２５は、例えば、制御部２１が制御に用いるプログラム、閾値等を記憶する。なお、記憶部２５は、記憶部３７が兼ねていてもよい。または、記憶部３７が記憶部２５を兼ねていてもよい。

【0048】

電源２６は、ロボット２の各部に電力を供給する。電源２６は、例えば充電式のバッテリや充電回路を備えていてもよい。

【0049】

センサ２７は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ、各関節エンコーダ等である。なお、センサ２７は、ロボット２の各関節、頭部等に取り付けられている。センサ２７は、検出した検出結果を、制御部２１、意図推定部３３、把持方法決定部３４、ロボット状態画像作成部３５に出力する。

【0050】

情報取得部３１は、ＨＭＤ５から視線情報と頭部動作情報を取得し、コントローラー６から操作者腕部情報を取得し、環境センサ７から環境センサ値（物体位置情報とセンサ値と画像）とを取得し、取得した操作者状態情報を意図推定部３３、ロボット状態画像作成部３５に出力する。

【0051】

意図推定部３３は、情報取得部３１が取得した情報に基づいて、操作者の動作意図を推定する。なお、意図推定部３３は、視線情報、操作者腕部情報、および頭部動作情報のうちの少なくとも１つを用いて操作者の動作意図を推定する。なお、意図推定部３３は、環境センサ値も用いて意図推定するようにしてもよい。なお、操作者の動作意図については後述する。

【0052】

把持方法決定部３４は、意図推定部３３が推定した動作意図と、センサ２７が検出した検出結果、撮影装置７１が撮影した画像を画像処理した結果に基づいて、物体の把持方法を決定する。把持方法決定部３４は、決定した把持方法情報を制御部２１に出力する。

【0053】

ロボット状態画像作成部３５は、撮影装置７１が撮影した画像に対して画像処理（エッジ検出、二値化、特徴量抽出、画像強調、画像抽出、クラスタリング処理等）を行う。ロボット状態画像作成部３５は、把持方法決定部３４が推定した把持方法情報と、画像処理結果と、制御部２１が出力するロボット２の動作状態情報等に基づいて、ロボット２の手の位置や動きを推定し、操作者の手の動きを推定し、推定した結果に基づいてＨＭＤ５に表示させるロボット状態画像を作成する。なお、ロボット状態画像には、ロボット遠隔操作制御装置３が行おうとしている処理に関する情報、エラー情報とのシステムの状態を示すシステム状態情報が含まれていてもよい。

【0054】

送信部３６は、ロボット状態画像作成部３５が作成したロボット状態画像を、ＨＭＤ５に送信する。送信部３６は、ロボット２が出力したフィードバック情報を取得し、取得したフィードバック情報をコントローラー６へ送信する。

【0055】

記憶部３７は、意図推定部３３が推定の際に用いるテンプレート、推定に用いられる学習済みのモデル等を記憶している。また、記憶部３７は、音声認識結果、画像処理結果、把持方法情報等を一時的に記憶する。記憶部３７は、画像処理のパターンマッチング処理で比較されるモデル画像を記憶する。

【0056】

［ＨＭＤ５、コントローラー６を操作者が身につけている状態例］
次に、ＨＭＤ５、コントローラー６を操作者が身につけている状態例を説明する。
図３は、ＨＭＤ５、コントローラー６を操作者が身につけている状態例を示す図である。図３の例では、操作者Ｕｓは、左手にコントローラー６ａを装着し、右手にコントローラー６ｂを装着し、頭部にＨＭＤ５を装着している。なお、図３に示したＨＭＤ５、コントローラー６は一例であり、装着方法や形状等は、これに限らない。

【0057】

［操作者状態情報］
次に、情報取得部３１が取得する操作者状態情報について、さらに説明する。
操作者状態情報は、操作者の状態を表す情報である。操作者状態情報には、操作者の視線情報、操作者の指の動きと位置の情報、操作者の手の動きと位置の情報が含まれている。
操作者の視線情報は、ＨＭＤ５が検出する。
操作者の指の動きと位置の情報、操作者の手の動きと位置の情報は、コントローラー６が検出する。

【0058】

［意図推定部３３が推定する情報例］
次に、意図推定部３３が推定する情報例を説明する。
意図推定部３３は、取得した操作者状態情報に基づいて、操作者の動作意図を推定する。操作者の動作意図とは、例えば、ロボット２に行わせたい作業目的、ロボット２に行わせたい作業内容、時刻毎の手や指の動き等である。意図推定部３３は、コントローラー６の操作者センサ値に基づいて、操作者の腕部の姿勢を分類することで、ロボット２の把持部２２２含むアームの姿勢を分類する。意図推定部３３は、分類結果に基づいて、操作者がロボットに行わせたい動作意図を推定する。意図推定部３３は、例えば、物体の持ち方、把持させたい物体を操作者の動作意図として推定する。作業目的は、例えば、物体の把持、物体の移動等である。作業内容は、例えば、物体を把持して持ち上げる、物体を把持して移動させる等である。

【0059】

意図推定部３３は、例えば、グラスプタクソノミー（ＧＲＡＳＰ Ｔａｘｏｎｏｍｙ）手法（例えば参考文献１参照）によって、操作者の動作意図を推定する。
本実施形態では、例えばグラスプタクソノミー手法によって操作者あるいはロボット２の姿勢すなわち把持姿勢を分類することで操作者状態を分類して、操作者の動作意図を推定する。意図推定部３３は、例えば、記憶部３７が記憶する学習済みのモデルに操作者状態情報を入力して、操作者の動作意図を推定する。本実施形態では、把持姿勢の分類によって意図推定を行うことで、精度良く操作者の動作意図を推定することができる。なお、把持姿勢の分類には、他の手法を用いてもよい。

【0060】

参考文献１；Thomas Feix, Javier Romero,他,“The GRASP Taxonomy of Human Grasp Types” IEEE Transactions on Human-Machine Systems ( Volume: 46, Issue: 1, Feb. 2016),IEEE,p66-77

【0061】

また、意図推定部３３は、視線と腕部の動きを用いて統合的に推定するようにしてもよい。この場合、意図推定部３３は、視線情報と、手の動き情報とテーブル上の物体の位置情報とを学習済みのモデルに入力して、操作者の動作意図を推定するようにしてもよい。

【0062】

意図推定部３３は、例えば、操作者状態情報に基づいて。まず把持させた物体を推定する。意図推定部３３は、例えば、視線情報に基づいて把持させた物体を推定する。次に、意図推定部３３は、推定した把持させたい物体に基づいて、操作者の手の姿勢を推定する。

【0063】

または、意図推定部３３は、例えば、操作者状態情報に基づいて、まず操作者の手の姿勢を推定する。次に、意図推定部３３は、推定した操作者の手の姿勢から、把持したい物体を推定する。例えば、テーブル上に３つの物体が置かれている場合、意図推定部３３は、手の姿勢に基づいて、３つのうちのどの物体が把持候補であるかを推定する。

【0064】

また、意図推定部３３は、操作者状態情報と、ロボット２の状態情報とに基づいて、操作者が意図する手先の将来軌道を、事前に推定するようにしてもよい。

【0065】

なお、意図推定部３３は、センサ２７が検出した検出結果、環境センサ７が撮影した画像を画像処理した結果等も用いて、把持したい物体と、物体の位置を推定するようにしてもよい。

【0066】

また、操作者が操作する環境とロボット動作環境では座標系が異なるため、例えば、ロボット２の起動時に操作者の操作環境とロボット動作環境のキャリブレーションを行うようにしてもよい。

【0067】

また、把持の際、ロボット遠隔操作制御装置３は、ロボット２の把持力と、物体と把持部との摩擦力等に基づいて、把持時の把持位置の誤差を考慮して、把持位置を決定するようにしてもよい。

【0068】

［ロボット２とロボット遠隔操作制御装置３の処理例］
次に、ロボット２とロボット遠隔操作制御装置３の処理例を説明する。
図４は、本実施形態に係るロボット２とロボット遠隔操作制御装置３の処理手順例を示す図である。

【0069】

（ステップＳ１）情報取得部３１は、ＨＭＤ５から視線情報（操作者センサ値）と頭部動作情報（操作者センサ値）を取得し、コントローラー６から操作者腕部情報（操作者センサ値）を取得する。

【0070】

（ステップＳ２）情報取得部３１は、環境センサ７から環境センサ値を取得する。

【0071】

（ステップＳ３）意図推定部３３は、取得した操作者センサ値に基づいて、例えば、作業内容、把持したい物体等を操作者の動作意図として推定する。なお、意図推定部３３は、視線情報、操作者腕部情報、および頭部動作情報のうちの少なくとも１つを用いて操作者の意図を推定する。なお、意図推定部３３は、環境センサ値も用いて操作者の動作意図を推定するようにしてもよい。続けて、把持方法決定部３４は、推定結果に基づいて、ロボット２への遠隔動作指令を計算する。

【0072】

（ステップＳ４）制御部２１は、ロボット遠隔操作制御装置３が計算した遠隔動作指令値に基づいて、安定把持のための駆動指令値を計算する。

【0073】

（ステップＳ５）制御部２１は、駆動指令値によって駆動部２２を制御してロボット２の把持部等を駆動する。制御部２１は、処理後、ステップＳ１の処理に戻す。

【0074】

なお、図４に示した処理手順は一例であり、ロボット２、ロボット遠隔操作制御装置３は、上述した処理を並列に処理してもよい。

【0075】

［推定結果、作業情報］
次に、推定結果、作業情報の一例を図５～図７を用いて説明する。
図５は、テーブルの上に３つの物体ｏｂｊ１～ｏｂｊ３が置かれていて、操作者がロボット２に左手で物体ｏｂｊ３を把持させようとしている状態例を示す図である。
このような場合、ロボット遠隔操作制御装置３は、操作者がロボット２に把持させたい物体が、物体ｏｂｊ１～ｏｂｊ３のうちのいずれかであるかを推定する必要がある。なお、ロボット遠隔操作制御装置３は、操作者が右手で把持しようとしているのか、左手で把持しようとしているのかを推定する必要がある。

【0076】

ここで、予め操作者の動作意図の推定が必要な理由を説明する。
遠隔操作の場合、操作者がＨＭＤ５で見ている世界は自分の目で見ている実世界とは異なる。また、操作者がコントローラー６を介して操作指示しても、実際に物体を把持しているのでないので、やはり実世界での状況認識とは異なる。さらに、操作者の指示とロボット２の動作との間には、通信時間や演算時間等によってディレイが発生する。また、操作者とロボットの（主に手の）物理的な構造の違いにより、特に操作者自身が把持可能な指の動きを指令し、ロボットが正確にトレースしたとしても、実際にロボットが把持可能とは限らない。これを解消するために、本実施形態では、操作者の動作意図を推定し、操作者の動作をロボットにとっての適切な動作に変換するようにした。

【0077】

このように、従来システムによる遠隔操作では、実世界の状況の認識が難しく、上手く物体をピックできなかった。従来システムによる遠隔操作では、例えば、操作者が徐々に物体にロボット２の把持部２２ａを近づけて、正確な位置合わせを行って把持させる必要があった。

【0078】

これに対して、本実施形態では、操作者の動作意図を推定して、推定した結果に基づいてロボット２の動作を制御することで、操作者が正確な位置合わせしなくても、物体のピックの実現を可能にする。

【0079】

次に、意図推定処理と補正等の処理例を説明する。
図６は、本実施形態に係るロボット遠隔操作制御装置３の処理例のフローチャートである。

【0080】

（ステップＳ１０１）意図推定部３３は、取得された環境センサ値を用いて、例えばテーブル上に３つの物体ｏｂｊ１～ｏｂｊ３が置かれていることを認識する等の環境認識を行う。

【0081】

操作者がロボット２を遠隔操作して物体ｏｂｊ３を把持させようとした場合、一般的に操作者は把持させたい物体の方に視線を向ける。このため、意図推定部３３は、ＨＭＤ５から取得された操作者状態情報に含まれる視線情報に基づいて、対象物体が物体ｏｂｊ３であると推定する。なお、意図推定部３３は、操作者状態情報に含まれる頭部の向きや傾き情報も用いて推定するようにしてもよい。なお、意図推定部３３は、物体が複数有る場合、物体毎に対象物体である確率（リーチオブジェクト確率）を算出する。なお、意図推定部３３は、例えば、視線情報、推定した対象物体とロボット２の把持部との距離、コントローラー６の位置と動き（軌跡）等に基づいて確率を算出する。

【0082】

（ステップＳ１０２）意図推定部３３は、取得された操作者状態情報に含まれる腕部の位置や動き（手の位置、手の動き（軌跡）、指の位置、指の動き（軌跡）、腕の位置、腕の動き（軌跡））、頭部の位置や動きを記憶部３７が記憶するテンプレートと比較して動作を分類することで、左手で物体ｏｂｊ３を把持させようとしていると操作者の動作意図と持ち方（把持方法）を推定する。例えば、把持方法決定部３４は、把持方法を、例えば記憶部３７が記憶するテンプレートを参照して決定する。なお、把持方法決定部３４は、把持方法を、例えば記憶部３７が記憶する学習済みのモデルに入力して選択するようにしてもよい。なお、意図推定部３３は、視線情報、操作者腕部情報、および頭部動作情報のうちの少なくとも１つを用いて操作者の動作意図を推定する。なお、意図推定部３３は、環境センサ値も用いて意図推定するようにしてもよい。

【0083】

（ステップＳ１０３）把持方法決定部３４は、推定した操作者の動作意図に基づいたロボット２の保持方法を決定する。
（ステップＳ１０４）把持方法決定部３４は、操作者の手と指の位置と、ロボットの把持部の位置とのズレ量を算出する。記憶部３７は、例えば、指示をしてから駆動部２２の動作までにかかる時間が予め測定された遅延時間等を記憶しておく。把持方法決定部３４は、例えば記憶部３７が記憶する遅延時間を用いてズレ量を算出する。続けて、把持方法決定部３４は、操作者の手と指の位置と、ロボットの把持部の位置とのズレ量を補正する。把持方法決定部３４は、ロボット制御のサンプリング時間に基づく今回の動作目標値を算出する。

【0084】

（ステップＳ１０６）ロボット状態画像作成部３５は、意図推定部３３が認識した結果と推定した結果と、把持方法決定部３４が算出した結果とに基づいて、ＨＭＤ５に表示させるロボット状態画像を作成する。なお、ロボット状態画像には、ロボット遠隔操作制御装置３が行おうとしている処理に関する情報、システムの状態情報等も含まれている。

【0085】

図７は、本実施形態に係るＨＭＤ５に表示されるロボット状態画像例を示す図である。
画像ｇ１１～ｇ１３は、テーブル上に置かれている物体ｏｂｊ１～ｏｂｊ３に対応する。この場合のリーチオブジェクト確率は、画像ｇ１１が０．０７７、画像ｇ１２が０．２３０、画像ｇ１３が０．６９３であったとする。
画像ｇ２１は、ロボット２の把持部の実際の位置を表す。
画像ｇ２２は、操作者のコントローラー６によって入力された位置を表す。
画像ｇ２３は、補正されたロボット２の把持部の指令位置を表す。

【0086】

なお、図７において、ロボット２の把持部の形状データ（例えばＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）データ）等を記憶部３７が記憶している。ロボット状態画像作成部３５は、このロボット２の把持部の形状データ等を用いて、ロボット２の把持部等の画像を生成する。また、ロボット状態画像作成部３５は、図７のようなロボット状態画像を、例えばＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）の手法等を用いて作成する。

【0087】

操作者は、このように、実際のロボット２の把持部の位置（画像ｇ２１）、自分が入力している位置（画像ｇ２２）、補正されたロボット２の把持部の位置（画像ｇ２３）を目視できるので、操作者への補助になる。そして、本実施形態では、操作者意図に基づいたロボットの動作補正を行い、例えば視覚情報としてロボット遠隔操作制御装置３が行おうとしている処理を操作者に提示するようにしたので、遠隔操作をスムーズに行うことができる。これにより、本実施形態によれば、ロボットの把持部の実際の位置と操作者の状態に基づいて、把持部の位置情報を補正するので、操作者が正確な位置合わせしなくても対象物体のピックアップを実現することができる。

【0088】

このように、本実施形態では、遠隔操作のために、以下のＩ～Ｖを行うようにした。
Ｉ．物体の認識
ＩＩ． 意図推定（例えば、視線と操作者の手先軌道から把持物体とタクソノミー推定）
ＩＩＩ． 動作補正（例えば、ロボットの手先軌道を把持可能な位置に補正、把持方法の選択）
ＩＶ． 安定把持（選択された把持方法で安定して把持させるための把持部の制御）
Ｖ． ロボットモデル、認識結果、ロボット遠隔操作制御装置３が行おうとしている処理に関する情報、システムの状態に関する情報等をＨＭＤで提示

【0089】

ここで、動作補正について、更に説明する。
把持方法決定部３４は、選択された動作の分類と物体形状、推定される物体の摩擦や重量などの物理パラメータ、ロボット２の出力可能なトルクなどの制約条件から、例えば物体を落とさず安定的に把持可能なロボット２の手指の物体に対する接触点を求める。そして、把持方法決定部３４は、例えば、これらから計算される関節角度を目標値として補正動作とする。

【0090】

次に、安定把持について説明する。
把持方法決定部３４は、目標値に従って動作した場合に、例えば、目標値・パラメータ推定値とロボット２のセンサ２７から観測される値との誤差をなくすように手指の関節角度やトルクなどをリアルタイムに制御する。これにより、本実施形態によれば、落とさずに安定的・持続的に把持可能となる。

【0091】

これにより、本実施形態によれば、操作者が正確な位置合わせしなくても対象物体のピックアップを実現することができる。この結果、本実施形態によれば、ロボット２の操作に習熟していない利用者であっても、高い精度でロボットに作業を行わせることができる。

【0092】

なお、上述した例では、ロボット遠隔操作制御装置３をロボット２が備えている例を説明したが、これに限らない。ロボット遠隔操作制御装置３は、ロボット２が備えていなくてもよく、ロボット２の外部装置であってもよい。この場合、ロボット２とロボット遠隔操作制御装置３とは、各種情報を送受信するようにしてもよい。あるいは、ロボット２がロボット遠隔操作制御装置３の一部の機能部を備え、他の機能部を外部装置が備えていてもよい。

【0093】

また、上述したロボット２は、例えば、二足歩行ロボットであってもよく、固定型の受付ロボットであってもよく、作業ロボットであってもよい。

【0094】

また、上述した例では、遠隔操作でロボット２に把持させる例を説明したが、これに限らない。例えば、ロボット２が二足歩行ロボットの場合、操作者が足にコンロトーラーを装着することで、ロボット２の歩行等を遠隔操作してもよい。この場合、ロボット２は、例えば、障害物などの物体情報を画像処理によって検出し、操作者がこの障害物を避けて歩行するように遠隔操作するようにしてもよい。

【0095】

また、上述した例では、操作者がＨＭＤ５を装着する例を説明したが、これに限らない。視線情報の検出や、操作者へのロボット状態画像の提供は、例えば、センサと画像表示装置との組み合わせ等であってもよい。

【0096】

なお、本発明におけるロボット２の機能の全てまたは一部、ロボット遠隔操作制御装置３の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりロボット２が行う処理の全てまたは一部、ロボット遠隔操作制御装置３が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ローカルネットワーク上で構築されたシステムやクラウド上で構築されたシステム等も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

【0097】

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0098】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

【符号の説明】

【0099】

１…ロボット遠隔操作制御システム、２…ロボット、３…ロボット遠隔操作制御装置、５…ＨＭＤ、６…コントローラー、７…環境センサ、２１…制御部、２２…駆動部、２３…収音部、２５…記憶部、２６…電源、２７…センサ、３１…情報取得部、３３…意図推定部、３４…把持方法決定部、３５…ロボット状態画像作成部、３６…送信部、３７…記憶部、５１…画像表示部、５２…視線検出部、５３…センサ、５４…制御部、５５…通信部、６１…センサ、６２…制御部、６３…通信部、６４…フィードバック手段、７１…撮影装置、７２…センサ、７３…物体位置検出部、７４…通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】