特開 2022-157110 ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022157110

(43)【公開日】2022-10-14

(54)【発明の名称】ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム

(51)【国際特許分類】

   B25J 3/00 20060101AFI20221006BHJP

【ＦＩ】

B25J3/00 Z

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021061151

(22)【出願日】2021-03-31

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】水谷 了

(72)【発明者】

【氏名】董 屹立

(72)【発明者】

【氏名】渡部 智樹

(72)【発明者】

【氏名】茶木 智大

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707BS27

3C707CY12

3C707JS03

3C707JT05

3C707JU02

3C707JU12

3C707KS03

3C707KS07

3C707KS09

3C707KT01

3C707KT06

3C707LT17

(57)【要約】

【課題】操作者によるロボットの遠隔操作時の操作感を向上させることができるロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラムを提供することを目的とする。
【解決手段】ロボット遠隔操作制御装置は、操作者の動きを認識し、ロボットに操作者の動きを伝えてロボットを操作するロボット遠隔操作において、操作者が装着しているデバイスの中心を操作の基準位置とし、操作者の見ている操作画面方向を操作の基準姿勢とし、ロボットのマニピュレータの中心をロボット動作の基準位置姿勢とする位置合わせ部と、操作者の基準点からデバイスの相対位置姿勢をロボットへの入力とし、操作者の基準点から操作者の見ている操作画面の相対位置姿勢を操作者の視点として、ロボットへの制御指令を生成する制御指令生成部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
前記操作者が装着しているデバイスの中心を操作の基準位置とし、前記操作者の見ている操作画面方向を操作の基準姿勢とし、前記ロボットのマニピュレータの中心をロボット動作の基準位置姿勢とする位置合わせ部と、
前記操作者の基準点から前記デバイスの相対位置姿勢を前記ロボットへの入力とし、前記操作者の基準点から前記操作者の見ている操作画面の相対位置姿勢を前記操作者の視点として、前記ロボットへの制御指令を生成する制御指令生成部と、
を備えるロボット遠隔操作制御装置。

【請求項2】

前記位置合わせ部は、前記操作者の少なくとも腕の長さを含む体形を計測し、前記ロボットの体型との比率を算出し、
前記制御指令生成部は、前記比率を用いて前記ロボットへの前記制御指令をスケーリングする、
請求項１に記載のロボット遠隔操作制御装置。

【請求項3】

前記操作者が装着する画像表示装置に表示させる表示画像を生成する画像作成部を更に備え、
前記制御指令生成部は、前記制御指令に対する比率と同じ比率を用いて、前記表示画像をスケーリングする、
請求項２に記載のロボット遠隔操作制御装置。

【請求項4】

前記制御指令生成部は、前記比率を前記操作者の指示に応じて変更する、
請求項２に記載のロボット遠隔操作制御装置。

【請求項5】

前記制御指令生成部は、前記比率を操作状況に応じて変更する、
請求項２に記載のロボット遠隔操作制御装置。

【請求項6】

操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
請求項１から請求項５のうちのいずれか１つに記載の前記ロボット遠隔操作制御装置と、
物体を把持する把持部と、
前記ロボットあるいは前記ロボットの周辺環境に設置され、ロボット環境センサ値を検出する環境センサと、
前記操作者の動きを操作者センサ値として検出する操作者センサと、
前記操作者の視界にあるロボット環境の画像を表示する画像表示装置と、
を備えるロボット遠隔操作制御システム。

【請求項7】

操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
位置合わせ部が、前記操作者が装着しているデバイスの中心を操作の基準位置とし、前記操作者の見ている操作画面方向を操作の基準姿勢とし、前記ロボットのマニピュレータの中心をロボット動作の基準位置姿勢とし、
制御指令生成部が、前記操作者の基準点から前記デバイスの相対位置姿勢を前記ロボットへの入力とし、前記操作者の基準点から前記操作者の見ている操作画面の相対位置姿勢を前記操作者の視点として、前記ロボットへの制御指令を生成する、
ロボット遠隔操作制御方法。

【請求項8】

操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
コンピュータに、
前記操作者が装着しているデバイスの中心を操作の基準位置とさせ、
前記操作者の見ている操作画面方向を操作の基準姿勢とさせ、
前記ロボットのマニピュレータの中心をロボット動作の基準位置姿勢とさせ、
前記操作者の基準点から前記デバイスの相対位置姿勢を前記ロボットへの入力とさせ、
前記操作者の基準点から前記操作者の見ている操作画面の相対位置姿勢を前記操作者の視点とさせ、
前記ロボットへの制御指令を生成させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラムに関する。

【背景技術】

【0002】

利用者がロボットの操作を補助することができる制御装置が提案されている。このような制御装置として、例えば、ロボットを操作する第１ユーザーの姿勢を示す第１ユーザー姿勢情報を取得する第１情報取得部と、第１ユーザー姿勢情報に基づいてロボットの姿勢を変化させる前のロボットの姿勢である変化前姿勢を示す変化前姿勢情報を取得する第２情報取得部と、変化前姿勢情報と、変化前姿勢情報が示す変化前姿勢をロボットがしている時点で第１情報取得部が取得した第１ユーザー姿勢情報とに基づいて、第１ユーザーの姿勢と異なる標的姿勢をロボットの姿勢に決定する決定部と、を有する制御装置が提案されている（特許文献１参照）。特許文献１に記載のシステムでは、操作者が装着した装置によって検出した姿勢に対応する姿勢にロボットの姿勢を変化させる。

【0003】

図９は、操作者操作環境ｇ９０１の座標系とロボット動作環境ｇ９０２を説明するための図である。このようなシステムでは、図９のように操作者操作環境ｇ９０１の座標系とロボット動作環境ｇ９０２の座標系が異なるため、操作者の環境に設置されているセンサや操作者が装着している操作デバイスが検出した検出値を、そのままロボットに入力できない。このため、このようなシステムでは、操作者の初期位置が任意の場合、キャリブレーションを行う必要がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６４７６３５８号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術では、操作者の座標系とロボットの座標系が異なるため、操作者の初期位置が任意の場合、キャリブレーションを行う必要があるが、操作者とロボットとのサイズが異なる場合、操作者による操作が困難となる。操作者とロボットとのサイズが異なる場合とは、例えば操作者の大きさ１に対してロボットの大きさが１０の場合である。

【0006】

本発明は、上記の問題点に鑑みてなされたものであって、操作者によるロボットの遠隔操作時の操作感を向上させることができるロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

（１）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御装置は、操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、前記操作者が装着しているデバイスの中心を操作の基準位置とし、前記操作者の見ている操作画面方向を操作の基準姿勢とし、前記ロボットのマニピュレータの中心をロボット動作の基準位置姿勢とする位置合わせ部と、前記操作者の基準点から前記デバイスの相対位置姿勢を前記ロボットへの入力とし、前記操作者の基準点から前記操作者の見ている操作画面の相対位置姿勢を前記操作者の視点として、前記ロボットへの制御指令を生成する制御指令生成部と、を備える。

【0008】

（２）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記位置合わせ部は、前記操作者の少なくとも腕の長さを含む体形を計測し、前記ロボットの体型との比率を算出し、前記制御指令生成部は、前記比率を用いて前記ロボットへの前記制御指令をスケーリングするようにしてもよい。

【0009】

（３）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記操作者が装着する画像表示装置に表示させる表示画像を生成する画像作成部を更に備え、前記制御指令生成部は、前記制御指令に対する比率と同じ比率を用いて、前記表示画像をスケーリングするようにしてもよい。

【0010】

（４）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記制御指令生成部は、前記比率を前記操作者の指示に応じて変更するようにしてもよい。

【0011】

（５）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記制御指令生成部は、前記比率を操作状況に応じて変更するようにしてもよい。

【0012】

（６）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御システムは、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、（１）から（５）のうちのいずれか１つに記載の前記ロボット遠隔操作制御装置と、物体を把持する把持部と、前記ロボットあるいは前記ロボットの周辺環境に設置され、ロボット環境センサ値を検出する環境センサと、前記操作者の動きを操作者センサ値として検出する操作者センサと、前記操作者の視界にあるロボット環境の画像を表示する画像表示装置と、を備える。

【0013】

（７）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御方法は、操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、位置合わせ部が、前記操作者が装着しているデバイスの中心を操作の基準位置とし、前記操作者の見ている操作画面方向を操作の基準姿勢とし、前記ロボットのマニピュレータの中心をロボット動作の基準位置姿勢とし、制御指令生成部が、前記操作者の基準点から前記デバイスの相対位置姿勢を前記ロボットへの入力とし、前記操作者の基準点から前記操作者の見ている操作画面の相対位置姿勢を前記操作者の視点として、前記ロボットへの制御指令を生成する。

【0014】

（８）上記目的を達成するため、本発明の一態様に係るプログラムは、操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、コンピュータに、前記操作者が装着しているデバイスの中心を操作の基準位置とさせ、前記操作者の見ている操作画面方向を操作の基準姿勢とさせ、前記ロボットのマニピュレータの中心をロボット動作の基準位置姿勢とさせ、前記操作者の基準点から前記デバイスの相対位置姿勢を前記ロボットへの入力とさせ、前記操作者の基準点から前記操作者の見ている操作画面の相対位置姿勢を前記操作者の視点とさせ、前記ロボットへの制御指令を生成させる。

【発明の効果】

【0015】

（１）～（８）によれば、操作者によるロボットの遠隔操作時の操作感を向上させることができる。
（２）～（５）によれば、スケールの異なるロボットに対しても自然な動作で操作を行えるようになる。
（３）～（５）によれば、操作量に対する視覚情報の違和感を改善することができる。
（４）～（５）によれば、慎重な操作が可能となる。

【図面の簡単な説明】

【0016】

【図1】実施形態に係るロボット遠隔操作制御システムの概要と作業の概要を示す図である。

【図2】実施形態に係るロボット遠隔操作制御システムの構成例を示すブロック図である。

【図3】実施形態に係る操作者操作環境と原点と基準点の例を示す図である。

【図4】実施形態に係るロボット動作環境と原点と基準点の例を示す図である。

【図5】第１実施形態に係るロボット遠隔操作制御装置のキャリブレーション処理手順のフローチャートである。

【図6】操作者に対してロボット２の方が大きい例を示す図である。

【図7】第２実施形態に係る計測箇所の例を示す図である。

【図8】実施形態に係るロボット遠隔操作制御装置の処理手順のフローチャートである。

【図9】実施形態に係るスケール変更例を示すイメージ図である。

【図10】操作者操作環境の座標系とロボット動作環境を説明するための図である。

【発明を実施するための形態】

【0017】

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。

【0018】

［概要］
まず、ロボット遠隔操作制御システムで行う作業と処理の概要を説明する。
図１は、本実施形態に係るロボット遠隔操作制御システム１の概要と作業の概要を示す図である。図１のように、操作者Ｕｓは、例えばＨＭＤ（ヘッドマウントディスプレイ）（画像表示装置）５とコントローラー６を装着している。作業環境には、環境センサ７（７ａ、７ｂ）が設置されている。なお、環境センサ７は、ロボット２に取り付けられていてもよい。また、ロボット２は、把持部２２２（２２２ａ、２２２ｂ）を備える。環境センサ７（７ａ、７ｂ）は、後述するように例えばＲＧＢカメラと深度センサを備えている。操作者Ｕｓは、ＨＭＤ５に表示された画像を見ながらコントローラー６を装着している手や指を動かすことで、ロボット２を遠隔操作する。本実施形態では、例えばロボットの起動時に操作者操作環境とロボット動作環境のキャリブレーションを行う。また、本実施形態では、例えばロボットの起動時に操作者の体形（例えば腕の長さ）を計測し、ロボットとの比率を求め、ロボットへの入力（操作デバイスの移動量）をスケーリングする。

【0019】

［ロボット遠隔操作制御システムの構成例］
次に、ロボット遠隔操作制御システム１の構成例を説明する。
図２は、本実施形態に係るロボット遠隔操作制御システム１の構成例を示すブロック図である。図２のように、ロボット遠隔操作制御システム１は、ロボット２、ロボット遠隔操作制御装置３、ＨＭＤ５（画像表示装置）、コントローラー６、および環境センサ７を備える。

【0020】

ロボット２は、例えば、制御部２１、駆動部２２、収音部２３、記憶部２５、電源２６、およびセンサ２７を備える。
ロボット遠隔操作制御装置３は、例えば、情報取得部３１、位置合わせ部３３、意図推定部３４、制御指令生成部３５、画像作成部３６、送信部３７、および記憶部３８を備える。
位置合わせ部３３は、計測部３３１、比率算出部３３２、および座標合わせ部３３３を備える。

【0021】

ＨＭＤ５は、例えば、画像表示部５１、視線検出部５２（操作者センサ）、センサ５３、制御部５４、および通信部５５を備える。なお、ＨＭＤ５は、例えば操作者の視線の動き等を検出するセンサを備えていてもよい。

【0022】

コントローラー６は、例えば、センサ６１（操作者センサ）、制御部６２、通信部６３、およびフィードバック手段６４を備える。

【0023】

環境センサ７は、例えば、撮影装置７１、センサ７２、物体位置検出部７３、および通信部７４を備える。

【0024】

また、ロボット遠隔操作制御装置３とＨＭＤ５は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３とコントローラー６は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３と環境センサ７は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３とロボット２は、例えば、無線または有線のネットワークを介して接続されている。なお、ロボット遠隔操作制御装置３とＨＭＤ５は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３とコントローラー６は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３と環境センサ７は、ネットワークを介さずに直接接続されてもよい。また、ロボット２の大きさは、操作者より大きくても小さくてもよい。ロボット遠隔操作制御装置３とロボット２は、ネットワークを介さずに直接接続されてもよい。

【0025】

［ロボット遠隔操作制御システムの機能例］
次に、本実施形態におけるロボット遠隔操作制御システムの機能例を、図２～図４を参照しつつ説明する。
ＨＭＤ５は、ロボット遠隔操作制御装置３から受信したロボットの状態画像を表示する。ＨＭＤ５は、操作者の視線の動き等を検出し、検出した視線情報（操作者センサ値）をロボット遠隔操作制御装置３に送信する。

【0026】

画像表示部５１は、制御部５４の制御に応じて、ロボット遠隔操作制御装置３から受信したロボットの状態画像を表示する。

【0027】

視線検出部５２は、操作者の視線を検出し、検出した視線情報（操作者センサ値）を制御部５４に出力する。なお、視線情報は視線ベクトルである。

【0028】

センサ５３は、加速度センサ、ジャイロスコープセンサ、磁力センサ等である。センサ５３は、操作者の頭部の傾き、頭部の回転を検出し、検出した頭部動作情報（操作者センサ値）を制御部５４に出力する。

【0029】

制御部５４は、視線検出部５２が検出した視線情報と、センサ５３が検出した頭部動作情報を、通信部５５を介してロボット遠隔操作制御装置３に送信する。制御部５４は、ロボット遠隔操作制御装置３が送信したロボット状態画像を、画像表示部５１に表示させる。

【0030】

通信部５５は、ロボット遠隔操作制御装置３が送信したロボット状態画像を受信し、受信したロボット状態画像を制御部５４に出力する。通信部５５は、制御部５４の制御に応じて、視線情報と頭部動作情報をロボット遠隔操作制御装置３に送信する。

【0031】

コントローラー６は、例えば、触覚データグローブであり、操作者の手に装着される。コントローラー６は、センサ６１によって方位や各指の動きや手の動き等の操作者の腕部の姿勢や位置に関する情報である操作者腕部情報（操作者センサ値）を検出し、検出した操作者腕部情報（操作者センサ値）をロボット遠隔操作制御装置３に送信する。なお、操作者腕部情報（操作者センサ値）には、手先位置・姿勢情報、各指の角度情報、肘の位置・姿勢情報、各部の動きをトラッキングした情報等のヒトの腕部全般におよぶ情報が含まれる。

【0032】

センサ６１は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ等である。なお、センサ６１は、複数のセンサを備えるセンサ６１は、例えば２つのセンサによって各指の動きをトラッキングする。センサ６１は、操作者腕部情報を検出し、検出した操作者腕部情報を制御部６２に出力する。

【0033】

制御部６２は、センサ６１が検出した操作者腕部情報を、通信部６３を介してロボット遠隔操作制御装置３に送信する。制御部６２は、フィードバック情報に基づいて、フィードバック手段６４を制御する。

【0034】

通信部６３は、制御部６２の制御に応じて、操作者腕部情報をロボット遠隔操作制御装置３に送信する。通信部６３は、ロボット遠隔操作制御装置３が送信したフィードバック情報を取得し、取得したフィードバック情報を制御部６２に出力する。

【0035】

フィードバック手段６４は、制御部６２の制御に応じて、操作者にフィードバック情報をフィードバックする。フィードバック手段６４は、フィードバック情報に応じて、例えば、ロボット２の把持部２２２に取り付けられている振動を与える手段（不図示）や空気圧を与える手段（不図示）や手の動きを拘束する手段（不図示）や温度を感じさせる手段（不図示）や堅さや柔らかさを感じさせる手段（不図示）等によって操作者に感覚をフィードバックする。

【0036】

環境センサ７は、例えばロボット２の作業を撮影、検出できる位置に設置されている。なお、環境センサ７は、ロボット２が備えていてもよく、ロボット２に取り付けられていてもよい。または、環境センサ７は、複数であってもよく、図１のように作業環境に設置され、かつロボット２にも取り付けられていてもよい。環境センサ７は、撮影された画像とセンサによって検出された検出結果に基づいて物体の位置情報を検出し、検出した物体位置情報をロボット遠隔操作制御装置３に送信する。

【0037】

撮影装置７１は、例えばＲＧＢカメラである。撮影装置７１は、撮影した画像を物体位置検出部７３に出力する。なお、環境センサ７において、撮影装置７１とセンサ７２の位置関係が既知である。

【0038】

センサ７２は、例えば深度センサである。センサ７２は、検出結果を物体位置検出部７３に出力する。なお、撮影装置７１とセンサ７２は、距離センサであってもよい。

【0039】

物体位置検出部７３は、撮影された画像とセンサによって検出された検出結果に基づいて、撮影された画像における対象物体の三次元位置と大きさ形状等を周知の手法で検出する。物体位置検出部７３は、物体位置検出部７３が記憶するパターンマッチングのモデル等を参照して、撮影装置７１が撮影した画像に対して画像処理（エッジ検出、二値化処理、特徴量抽出、画像強調処理、画像抽出、パターンマッチング処理等）を行って物体の位置を推定する。なお、物体位置検出部７３は、撮影された画像から複数の物体が検出された場合、物体毎に位置を検出する。物体位置検出部７３は、検出した物体位置情報を、通信部７４を介してロボット遠隔操作制御装置３に送信する。なお、環境センサ７が送信するデータは、例えば位置情報を有する点群であってもよい。

【0040】

通信部７４は、物体位置情報をロボット遠隔操作制御装置３に送信する。

【0041】

ロボット２は、遠隔操作されていない場合、制御部２１の制御に応じて行動が制御される。ロボット２は、遠隔操作されている場合、ロボット遠隔操作制御装置３が生成した把持計画情報に応じて行動が制御される。

【0042】

制御部２１は、ロボット遠隔操作制御装置３が出力する制御指令に基づいて駆動部２２を制御する。なお、制御部２１は、収音部２３が収音した音響信号に対して音声認識処理（発話区間検出、音源分離、音源定位、雑音抑圧、音源同定等）を行うようにしてもよい。制御部２１は、音声認識した結果にロボットに対する動作指示が含まれている場合、音声による動作指示に基づいてロボット２の動作を制御するようにしてもよい。制御部２１は、フィードバック情報を生成して、生成したフィードバック情報を、ロボット遠隔操作制御装置３を介してコントローラー６に送信する。

【0043】

駆動部２２は、制御部２１の制御に応じてロボット２の各部（把持部２２２、腕、指、足、頭、胴、腰等）を駆動する。駆動部２２は、例えば、アクチュエータ、ギア、人工筋等を備える。

【0044】

収音部２３は、例えば複数のマイクロホンを備えるマイクロホンアレイである。収音部２３は、収音した音響信号を制御部２１に出力する。収音部２３は、音声認識処理機能を備えていてもよい。この場合、収音部２３は、音声認識結果を制御部２１に出力する。

【0045】

記憶部２５は、例えば、制御部２１が制御に用いるプログラム、閾値等を記憶し、音声認識結果、画像処理結果、制御指令等を一時的に記憶する。なお、記憶部２５は、記憶部３８が兼ねていてもよい。または、記憶部３８が記憶部２５を兼ねていてもよい。

【0046】

電源２６は、ロボット２の各部に電力を供給する。電源２６は、例えば充電式のバッテリや充電回路を備えていてもよい。

【0047】

センサ２７は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ、各関節エンコーダ等である。なお、センサ２７は、ロボット２の各関節、頭部等に取り付けられている。センサ２７は、検出した検出結果を、制御部２１、位置合わせ部３３、意図推定部３４、制御指令生成部３５、画像作成部３６に出力する。

【0048】

ロボット遠隔操作制御装置３は、例えばロボット２の起動時に操作者操作環境とロボット動作環境のキャリブレーションを行う。ロボット遠隔操作制御装置３は、例えば、環境センサ７が検出した物体位置情報に基づいて操作者が意図する操作対象物体を推定し、ロボット２の制御指令を生成する。

【0049】

情報取得部３１は、ＨＭＤ５から視線情報と頭部動作情報を取得し、コントローラー６から操作者腕部情報を取得し、環境センサ７から物体位置情報を取得する。情報取得部３１は、取得した視線情報と頭部動作情報と操作者腕部情報と物体位置情報を、位置合わせ部３３と意図推定部３４に出力する。

【0050】

位置合わせ部３３の計測部３３１は、キャリブレーションの際（例えばロボット２の起動時や操作者が作業開始する際）に、センサ値を用いて、操作者が装着しているＨＭＤ５の原点、コントローラー６の原点を検出する。なお、このようなキャリブレーションの際、操作者は、例えば図３のような基準姿勢を取る。計測部３３１は、キャリブレーションの際に、センサ値を用いて、ロボット２の把持部２２２の原点と、操作者が装着するＨＭＤ５の位置に基づく操作者視線の原点を検出する。計測部３３１は、例えばロボット２の起動時に操作者の体形（例えば、身長、腕の長さ等）を計測する。

【0051】

位置合わせ部３３の比率算出部３３２は、計測された操作者の体型と、記憶部３８が記憶するロボット２の体型との比率を求める。

【0052】

位置合わせ部３３の座標合わせ部３３３は、計測部３３１が計測、検出した結果を用いて、操作者のデバイスの中心をオペレータ操作の基準位置とし、ＨＭＤ５の方向を操作者操作の基準姿勢とする。また、座標合わせ部３３３は、計測部３３１が計測、検出した結果を用いて、ロボットのマニピュレータの中心をロボット動作の基準位置姿勢とする。

【0053】

意図推定部３４は、位置合わせ部３３によって位置合わせが行われた座標系において、情報取得部３１が取得した操作者腕部情報と物体位置情報に基づいて、操作者が意図する対象物体に関する情報（対象物体名、対象物体の位置、対象物体の大きさ等）を、例えば学習済みの推定モデルに入力するか、確立分布を算出することで推定する。

【0054】

制御指令生成部３５は、意図推定部３４が推定した結果と、センサ２７が検出した検出結果、環境センサ７が検出した物体位置情報に基づいて、例えば物体を把持するための制御指令を生成する。なお、制御指令生成部３５は、画像作成部３６は、比率算出部３３２が算出した比率を用いて、制御指令を変更するようにしてもよい。制御指令生成部３５は、生成した制御指令情報を制御部２１に出力する。

【0055】

画像作成部３６は、制御指令生成部３５が生成した制御指令情報に基づいて、ＨＭＤ５に表示させるロボット状態画像を作成する。なお、画像作成部３６は、比率算出部３３２が算出した比率を用いて、ロボット状態画像の比率を変更するようにしてもよい。

【0056】

送信部３７は、画像作成部３６が作成したロボット状態画像を、ＨＭＤ５に送信する。送信部３７は、ロボット２が出力したフィードバック情報を取得し、取得したフィードバック情報をコントローラー６へ送信する。

【0057】

記憶部３８は、位置合わせ部３３が使用する変換式や所定の値を記憶している。記憶部３８は、環境センサ７の撮影装置７１とセンサ７２の位置関係を記憶している。記憶部３８は、各座標系の原点を記憶する。記憶部３８は、ロボット２の大きさ（例えば身長、腕の長さ、把持部の大きさ等）を記憶する。記憶部３８は、ロボット遠隔操作制御装置３の制御に用いられるプログラムを記憶する。なお、プログラムはクラウドやネットワーク上にあってもよい。

【0058】

＜第１実施形態＞
本実施形態では、例えばロボット２の起動時に操作者操作環境とロボット動作環境のキャリブレーションを行う例を説明する。

【0059】

まず、操作者操作環境について説明する。図３は、実施形態に係る操作者操作環境と原点と基準点の例を示す図である。

【0060】

図３の例では、操作者Ｕｓは、左手に第１のコントローラー６ａを装着し、右手に第２のコントローラー６ｂを装着し、頭部にＨＭＤ５を装着している。なお、図３に示したＨＭＤ５、コントローラー６は一例であり、装着方法や形状等は、これに限らない。

【0061】

操作者操作環境の座標系は、ＨＭＤ５の座標系Ｈｃ、第１のコントローラー６ａの座標系Ｃｃａ、第２のコントローラー６ｂの座標系Ｃｃｂが存在する。実施形態では、第１のコントローラー６ａの座標系Ｃｃａの原点Ｃｃａｏと、第２のコントローラー６ｂの座標系Ｃｃｂの原点Ｃｃｂｏとの中点を、操作者操作基準点Ｕｓｏとする。このように、実施形態では、操作者のデバイス（コントローラー６）の中心を操作者操作の基準位置とする。実施形態では、操作者操作基準点Ｕｓｏを備える座標系を操作者操作座標系Ｕｓｃとする。なお、操作者操作座標系Ｕｓｃのｘ軸とｙ軸は、例えば地面と平行とする。なお、各座標系において、例えば、実線がｘ軸であり、鎖線がｙ軸であり、一点鎖線がｚ軸である。

【0062】

また、実施形態では、ＨＭＤ５の方向を操作者操作の基準姿勢とする。すなわち、本実施形態では、操作者の見ている操作画面方向を操作者操作の基準姿勢とする。

【0063】

さらに、実施形態では、操作者操作基準点Ｕｓｏとは異なる位置に、操作者原点Ｕｏを設定する。また、実施形態では、操作者原点Ｕｏを備える座標系を操作者座標系Ｕｃとする。なお、操作者座標系Ｕｃのｘ軸とｙ軸は、例えば地面と平行とする。操作者原点Ｕｏは、例えば地面に設けられている。なお、操作者原点Ｕｏは、任意の位置に設定するようにしてもよい。

【0064】

次に、ロボット動作環境について説明する。図４は、実施形態に係るロボット動作環境と原点と基準点の例を示す図である。

【0065】

ロボット動作環境の座標系は、操作者視点の座標系Ｏｃｃ、第１の把持部２２２ａの座標系Ｍａｃ、第２の把持部２２２ｂの座標系Ｍｂｃが存在する。実施形態では、第１の把持部２２２ａの座標系Ｍａｃの原点Ｍａｃｏと、第２の把持部２２２ｂの座標系Ｍｂｃの原点Ｍｂｃｏとの中点を、ロボット動作基準点Ｒｍｏとする。このように、実施形態では、ロボット２のマニピュレータ（把持部２２２）の中心をロボット動作の基準位置姿勢とする。実施形態では、ロボット動作基準点Ｒｍｏを備える座標系をロボット動作座標系Ｒｍｃとする。なお、ロボット動作座標系Ｒｍｃのｘ軸とｙ軸は、例えば地面と平行とする。なお、各座標系において、図３と同様に、実線がｘ軸であり、鎖線がｙ軸であり、一点鎖線がｚ軸である。

【0066】

さらに、実施形態では、ロボット動作基準点Ｒｍｏとは異なる位置（例えばロボット２の左足首）にロボット原点Ｍｏを設定する。また、実施形態では、ロボット動作基準点Ｒｍｏを備える座標系をロボット座標系Ｍｃとする。なお、ロボット座標系Ｍｃのｘ軸とｙ軸は、例えば地面と平行とする。ロボット動作基準点Ｒｍｏは、例えば地面に設けられている。なお、ロボット動作基準点Ｒｍｏは、ロボット２の任意の位置に設定するようにしてもよい。

【0067】

［処理手順］
次に、ロボット遠隔操作制御装置３の処理手順を説明する。
図５は、本実施形態に係るロボット遠隔操作制御装置３のキャリブレーション処理手順のフローチャートである。

【0068】

（ステップＳ１）情報取得部３１は、ＨＭＤ５から視線情報（視線ベクトル）と頭部動作情報を取得し、コントローラー６から操作者腕部情報を取得し、環境センサ７から物体位置情報を取得する。

【0069】

（ステップＳ２）計測部３３１は、取得されたセンサ値（例えば操作者腕部情報、頭部動作情報、環境センサ値）を用いて、操作者が装着しているデバイス（例えばコントローラー６ａ，６ｂ）の中心を検出する。続けて、座標合わせ部３３３は、検出された操作者が装着しているデバイスの中心を、操作者操作の基準位置に設定する。

【0070】

（ステップＳ３）計測部３３１は、取得されたセンサ値（例えば環境センサ値、頭部動作情報）を用いて、操作者が装着しているＨＭＤ５の方向を検出する。続けて、座標合わせ部３３３は、検出されたＨＭＤ５の方向を、操作者操作の基準姿勢に設定する。

【0071】

（ステップＳ４）計測部３３１は、取得されたセンサ値（例えば環境センサ値）とセンサ２７の検出結果を用いて、ロボット２の把持部２２２（２２２ａ、２２２ｂ）の中心を検出する。続けて、座標合わせ部３３３は、検出されたロボット２の把持部２２２（２２２ａ、２２２ｂ）の中心を、ロボット動作の基準位置に合わせる。

【0072】

（ステップＳ５）座標合わせ部３３３は、操作者操作の基準位置から把持部の相対位置姿勢をロボットへの入力とする。

【0073】

（ステップＳ６）座標合わせ部３３３は、操作者操作の基準位置からＨＭＤの相対位置姿勢を操作者の視点とする。

【0074】

なお、図５に示したキャリブレーション処理は一例であり、これに限らない。また、キャリブレーションを行うタイミングは、例えば、ロボット２の起動時、操作者が操作を開始する時、操作者から指示があった時、所定の時刻、所定の期間毎等であってもよい。

【0075】

以上のように、本実施形態では、ロボット２の例えば起動時に操作者操作環境とロボット動作環境のキャリブレーションを行うようにした。

【0076】

これにより、本実施形態によれば、操作者は操作環境の任意の位置でロボット２を操作できるようになる。また、本実施形態によれば、ロボット２の操作時に操作者の視点と入力の位置の関係性が、操作者自身の手と目の関係性と一致するため直感的で操作しやすい。

【0077】

＜第２実施形態＞
本実施形態では、例えばロボット２の起動時に操作者の体形（例えば腕の長さ）を計測し、ロボットとの比率を求め、ロボット２への入力（操作デバイスの移動量）をスケーリングする例を説明する。

【0078】

図６は、操作者に対してロボット２の方が大きい例を示す図である。図６のように、操作者Ｕｓとロボット２のサイズ（特に腕のリーチング範囲）が異なる場合、操作者は、ロボット２の遠隔操作が困難になる。例えばオペレータの腕の長さＩＵが８０ｃｍ（身長がｈ１）、ロボット２の腕の長さＩＲが１２０ｃｍ（身長がｈ２）とすると、作業エリアが４０ｃｍ狭くなってしまう。

【0079】

このため、本実施形態では、例えばロボット２の起動時に操作者の体形（少なくとも腕の長さ）を計測し、計測した操作者の体型とロボットの体型との比率を求める。そして、本実施形態では、比率に基づいてロボット２への入力（操作デバイス（コントローラー６）の移動量）をスケーリングする。

【0080】

図７は、本実施形態に係る計測箇所の例を示す図である。
計測部３３１は、例えば、ロボット２の起動時に、環境センサ７が計測した位置情報を用いて、操作者の体形（例えば、身長ｈ１、腕の長さＩＵ、手の長さＡＵ等）を計測する。なお、腕の長さＩＵは、例えば、上腕と前腕の長さの合計である。腕の長さＩＵは、手の長さＡＵを含んでいてもよい。
計測部３３１が計測する箇所は、少なくとも操作者の腕の長さであり、身長ｈ１や手の長さＡＵも測定するようにしてもよい。計測部３３１は、他に腕の幅、頭部の大きさ等も計測するようにしてもよい。

【0081】

なお、情報取得部３１は、操作者の体型について実測値を取得するようにしてもよい。この場合、情報取得部３１は、実測値を計測部３３１に出力するようにしてもよい。

【0082】

［処理手順］
次に、ロボット遠隔操作制御装置３の処理手順を説明する。
図８は、本実施形態に係るロボット遠隔操作制御装置３の処理手順のフローチャートである。

【0083】

（ステップＳ１０１）情報取得部３１は、ＨＭＤ５から視線情報（視線ベクトル）を取得し、コントローラー６から操作者腕部情報を取得し、環境センサ７から物体位置情報を取得する。

【0084】

（ステップＳ１０２）計測部３３１は、環境センサ７が計測した環境センサ値（位置情報）を用いて、操作者の体形（例えば、身長ｈ１、腕の長さＩＵ、手の長さＡＵ等）を計測する。

【0085】

（ステップＳ１０３）比率算出部３３２は、計測された操作者の体型と、記憶部３８が記憶するロボット２の体型との比率を求める。なお、比率算出部３３２は、少なくとも計操作者の腕の長さＩＵと、ロボット２の腕の長さＩＡとの比率を算出する。

【0086】

（ステップＳ１０４）意図推定部３４は、取得した操作者センサ値と、環境センサ７から取得された環境センサ値と、に基づいて、把持対象物体、作業内容を含む操作者の意図を推定する。

【0087】

（ステップＳ１０５）制御指令生成部３５は、位置合わせ部３３の比率算出部３３２が算出した比率と、意図推定部３４が推定した結果と、センサ２７が検出した検出結果と、環境センサ７が検出した物体位置情報に基づいて、例えば物体を把持するための制御指令を生成する。例えば、制御指令生成部３５は、操作者のサイズとロボット２のサイズの比率を、ロボットへの操作量にかける。

【0088】

（ステップＳ１０６）画像作成部３６は、比率算出部３３２が算出した比率と、制御指令生成部３５が生成した制御指令情報と、意図推定部３４が推定した結果とに基づいて、ＨＭＤ５に表示させるロボット状態画像を作成する。

【0089】

なお、図８に示した計測等の処理手は一例であり、これに限らない。また、計測等を行うタイミングは、例えば、ロボット２の起動時、操作者が操作を開始する時、操作者から指示があった時、所定の時刻、所定の期間毎等であってもよい。

【0090】

このように、本実施形態では、算出した比率を用いて、ロボット２への入力（操作デバイスの移動量）をスケーリングするようにした。
なお、ロボット２への入力のみスケーリングを行うと視覚的に操作の違和感を感じる（自分が伸ばした以上にロボットの腕が伸びるので感覚がずれる）。このため、本実施形態では、視覚情報（例えば視線情報）も同様にスケーリングするようにした。すなわち、本実施形態では、制御指令に対する比率と、ＨＭＤ５に表示させる画像に対する比率を同じにした。

【0091】

これにより、本実施形態によれば、操作者とスケールの異なるロボット２に対しても自然な動作で操作を行えるようになる。
また、本実施形態によれば、操作量に対する視覚情報の違和感を改善することができる。

【0092】

なお、図６の例では、操作者よりロボット２が大きい例を説明したが、操作者よりロボット２が小さい場合にも、本実施形態の手法を適用できる。

【0093】

なお、操作者とロボットのサイズが１：１であったとしても、スケールを変更したい場合がある。例えば、繊細な作業を行いたい場合は、操作量を例えば１／２にスケーリングしたい場合もあり得る。図９は、本実施形態に係るスケール変更例を示すイメージ図である。スケール縮小ｇ１０１の場合には、１倍のスケール（ｇ１０２）に対してスケールを、例えば１／２倍に縮小する（ｇ１０３）。スケール拡大ｇ１１１の場合には、１倍のスケール（ｇ１１２）に対してスケールを、例えば２倍に拡大する（ｇ１０３）。このような場合であっても、本実施形態の手法を適用できる。このように、操作者が任意に入力および視覚のスケール変更を可能とすることで、慎重な操作が可能となる。なお、このような場合、操作者は、例えばＨＭＤ５に表示される画像に対して視線入力で、任意にロボット２への入力および視覚のスケール変更するようにしてもよい。すなわち、制御指令に対する比率と、ＨＭＤ５に表示させる画像に対する比率を異なるようにしてもよい。

【0094】

なお、ロボット遠隔操作制御装置３は、操作者の指示ではなく、作業状況に応じて、制御指令やＨＭＤ５に表示させる表示画像に対する比率を変更するようにしてもよい。例えば、ロボット遠隔操作制御装置３は、作業者のサイズとロボット２のサイズとの比率が第１所定値（例えば２）以上または第２所定値以下（例えば０．５）の場合に、比率を変更し、比率が第１所定値未満～第２所定値より大きい場合に比率を変更しないようにしてもよい。あるいは、ロボット遠隔操作制御装置３は、作業内容、例えば把持する対象の大きさに応じて、比率を変更するようにしてもよい。

【0095】

また、本実施形態の実施は、第１実施形態で説明した操作者操作環境とロボット動作環境のキャリブレーションと合わせて行うことも勿論可能である。これにより、より操作性を向上することができる。

【0096】

なお、意図推定部３４は、操作者状態情報と、ロボット２の状態情報とに基づいて、操作者が意図する手先の将来軌道を、事前に予測するようにしてもよい。

【0097】

また、把持の際、ロボット遠隔操作制御装置３は、ロボット２の把持力と、物体と把持部２２２との摩擦力等に基づいて、把持時の把持位置の誤差を補正して、把持位置を決定するようにしてもよい。

【0098】

また、上述したロボット２は、例えば、二足歩行ロボットであってもよく、固定型の受付ロボットであってもよく、作業ロボットであってもよい。

【0099】

また、上述した例では、遠隔操作でロボット２に把持させる例を説明したが、これに限らない。

【0100】

また、上述した例では、操作者がＨＭＤ５を装着する例を説明したが、これに限らない。視線情報の検出や、操作者へのロボット状態画像の提供は、例えば、センサと画像表示装置との組み合わせ等であってもよい。

【0101】

なお、本発明におけるロボット遠隔操作制御装置３の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりロボット遠隔操作制御装置３が行う全ての処理または一部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ローカルネットワーク上で構築されたシステムやクラウド上で構築されたシステム等も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

【0102】

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0103】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

【符号の説明】

【0104】

１…ロボット遠隔操作制御システム、２…ロボット、３…ロボット遠隔操作制御装置、５…ＨＭＤ、６…コントローラー、７…環境センサ、２１…制御部、２２…駆動部、２３…収音部、２５…記憶部、２６…電源、２７…センサ、２２２，２２２ａ，２２２ｂ…把持部、３１…情報取得部、３３…位置合わせ部、３３１…計測部、３３２…比較算出部、３３３…座標合わせ部、３４…意図推定部、３５…制御指令生成部、３６…画像作成部、３７…送信部、３８…記憶部、５１…画像表示部、５２…視線検出部、５３…センサ、５４…制御部、５５…通信部、６１…センサ、６２…制御部、６３…通信部、６４…フィードバック手段、７１…撮影装置、７２…センサ、７３…物体位置検出部、７４…通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】