特開 2022-187852 ロボットシステム及び遠隔操作方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022187852

(43)【公開日】2022-12-20

(54)【発明の名称】ロボットシステム及び遠隔操作方法

(51)【国際特許分類】

   B25J 3/00 20060101AFI20221213BHJP

   H04Q 9/00 20060101ALI20221213BHJP

   H04Q 9/02 20060101ALI20221213BHJP

【ＦＩ】

B25J3/00 Z

H04Q9/00 301B

H04Q9/00 311L

H04Q9/02 B

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021096059

(22)【出願日】2021-06-08

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】新幡 裕一

(72)【発明者】

【氏名】荒瀬 貴之

(72)【発明者】

【氏名】藤井 俊一

(72)【発明者】

【氏名】吉村 智至

【テーマコード（参考）】

3C707

5K048

【Ｆターム（参考）】

3C707CS08

3C707DS01

3C707JS03

3C707JS07

3C707KS03

3C707KS11

3C707KS36

3C707KS39

3C707KT03

3C707KT04

3C707KT15

3C707LW12

3C707WA16

3C707WL05

5K048AA09

5K048BA41

5K048DA01

5K048EB02

5K048EB10

5K048EB12

5K048EB13

5K048EB15

5K048FC01

5K048GA09

5K048HA01

5K048HA02

(57)【要約】

【課題】遠隔地から操作されるロボットを、適切に動作させること。
【解決手段】オペレータがロボットを操作するロボットシステムであって、ロボットの周辺を撮影して画像を取得するカメラ部と、カメラ部で取得した画像をオペレータに向けて表示する画像表示部と、オペレータの視線を検出する視線検出部と、オペレータの身体動作を検出する身体動作検出部と、カメラ部で取得した画像からオブジェクトを取得するオブジェクト取得部、身体動作検出部で検出したオペレータの動作を取得する動作取得部、及び、ロボットの動作を制御する動作命令を生成する命令生成部を備える演算部と、を備え、演算部は、画像に含まれるオブジェクトとオペレータの視線が一致しているかを判定し、一致していない場合には、動作入力の操作を実行するロボットへの動作命令を生成せず、一致している場合には、動作入力の操作を実行するロボットへの動作命令を生成する。
【選択図】図２

【特許請求の範囲】

【請求項1】

オペレータがロボットを操作する遠隔操作システムであって、
前記ロボットの周辺を撮影して画像を取得するカメラ部と、
前記カメラ部で取得した画像をオペレータに向けて表示する画像表示部と、
前記オペレータの視線を検出する視線検出部と、
前記オペレータの身体動作を検出する身体動作検出部と、
前記カメラ部で取得した画像からオブジェクトを取得するオブジェクト取得部、前記身体動作検出部で検出した前記オペレータの動作を取得する動作入力取得部、及び、前記ロボットの動作を制御する動作命令を生成する命令生成部を備える演算部と、を備え、
前記演算部は、前記画像に含まれるオブジェクトとオペレータの視線が一致しているか否かを判定し、一致していない場合には、前記動作入力の操作を実行する前記ロボットへの前記動作命令を生成せず、一致している場合には、前記動作入力の操作を実行する前記ロボットへの前記動作命令を生成する、ロボットシステム。

【請求項2】

前記身体動作検出部は、前記オペレータに装着され、前記オペレータの動きを検出するセンサ及び前記オペレータを撮影した画像から前記オペレータの動きを検出するセンサの少なくとも一方を備える、請求項１に記載のロボットシステム。

【請求項3】

前記ロボットの周囲の状況を取得する周囲情報取得部を備え、
前記演算部は、前記周囲情報取得部の情報に基づいて、前記ロボットと前記オブジェクトとの距離を測定し、測定した距離に基づいて、前記ロボットを前記オブジェクトに向けて移動させる前記動作命令を生成する、請求項１または請求項２に記載のロボットシステム。

【請求項4】

前記画像表示部は、前記オペレータの頭部に装着されるヘッドマウントディスプレイである、請求項１から請求項３のいずれか一項に記載のロボットシステム。

【請求項5】

オペレータがロボットを操作する遠隔操作方法であって、
前記ロボットの周辺を撮影した画像を取得するステップと、
取得した画像からオブジェクトを取得するステップと、
前記オペレータの身体動作に基づいた前記オペレータの動作命令を取得するステップと、
前記ロボットの周辺を撮影した画像を前記オペレータに表示させた状態で前記オペレータの視線を検出するステップと、
前記画像に含まれるオブジェクトとオペレータの視線が一致しているか否かを判定し、一致していない場合には、前記動作入力の操作を実行する前記ロボットへの前記動作命令を生成せず、一致している場合には、前記動作入力の操作を実行する前記ロボットへの前記動作命令を生成するステップと、を含む遠隔操作方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボットシステム及び遠隔操作方法に関する。

【背景技術】

【0002】

オペレータが離れた位置のロボットを操作する技術が知られている。例えば、特許文献１には、遠隔地から他のオペレータがいる領域に配置されたロボットを操作するシステムが記載されている。また、遠隔地のオペレータには、ロボットで検出した位置情報を基にアバターを表示することで、複数のオペレータが３次元的な位置の認識を共有して、同じ空間にいるような感覚を得ることができる技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１６８９７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

離れた場所からオペレータがロボットを操作する場合、ロボットが意図しない動作をしてしまう恐れがある。例えば、ロボットを操作するための入力をオペレータの身体動作とした場合、ロボットの操作以外のための身体動作でロボットが動作してしまうと、ロボットの周囲に悪影響を与える恐れがある。

【0005】

本発明は、遠隔地から操作されるロボットを、適切に動作させる遠隔操作システム及び遠隔操作方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様に係るロボットシステムは、オペレータがロボットを操作するロボットシステムであって、前記ロボットの周辺を撮影して画像を取得するカメラ部と、前記カメラ部で取得した画像をオペレータに向けて表示する画像表示部と、前記オペレータの視線を検出する視線検出部と、前記オペレータの身体動作を検出する身体動作検出部と、前記カメラ部で取得した画像からオブジェクトを取得するオブジェクト取得部、前記身体動作検出部で検出した前記オペレータの動作を取得する動作取得部、及び、前記ロボットの動作を制御する動作命令を生成する命令生成部を備える演算部と、を備え、前記演算部は、前記画像に含まれるオブジェクトとオペレータの視線が一致しているかを判定し、一致していない場合には、前記動作入力の操作を実行する前記ロボットへの前記動作命令を生成せず、一致している場合には、前記動作入力の操作を実行する前記ロボットへの前記動作命令を生成する。

【0007】

本発明の一態様に係る遠隔操作方法は、オペレータがロボットを操作する遠隔操作方法であって、前記ロボットの周辺を撮影した画像を取得するステップと、取得した画像からオブジェクトを取得するステップと、前記オペレータの身体動作に基づいた前記オペレータの動作命令を取得するステップと、前記ロボットの周辺を撮影した画像を前記オペレータに表示させた状態で前記オペレータの視線を検出するステップと、前記画像に含まれるオブジェクトとオペレータの視線が一致しているかを判定し、一致していない場合には、前記動作入力の操作を実行する前記ロボットへの前記動作命令を生成せず、一致している場合には、前記動作入力の操作を実行する前記ロボットへの前記動作命令を生成するステップと、を含む。

【発明の効果】

【0008】

本発明によれば、遠隔地から操作されるロボットを、適切に動作させることができる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態に係るロボットシステムの構成例を説明するための図である。

【図2】図２は、実施形態に係る遠隔操作装置及びロボット制御装置の構成例を示すブロック図である。

【図3】図３は、実施形態に係るロボットシステムのロボット操作装置の処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して、本発明に係る実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではなく、また、実施形態が複数ある場合には、各実施形態を組み合わせて構成するものも含む。また、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

【0011】

［ロボットシステム］
図１を用いて、実施形態に係るロボットシステムについて説明する。図１は、実施形態に係るロボットシステムの構成例を示す図である。図１に示すように、ロボットシステム１０は、ロボット（操作対象物）１２と遠隔操作装置（操作端末）１４とロボット制御装置１５とネットワーク１６と、を含む。ロボットシステム１０は、オペレータにより遠隔操作装置１４に入力されたロボット１２への操作を、ネットワーク１６およびロボット制御装置１５を介してロボット１２に送信する。ロボット１２は、受信した操作に基づいて動作する。ネットワーク１６は、例えば、インターネット網である。

【0012】

ロボット１２は、少なくとも一部が物理的に移動する。ロボット１２は、地面を移動する機構を備えていても、ロボットアームのように本体に対して移動する機構を備えていてもよい。ロボット１２は、制御部２２と、駆動部２４と、通信部２６と、情報取得部２８と、を備える。

【0013】

制御部２２は、ロボット１２の各部の動作を制御する。制御部２２は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の演算装置と、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリなどの半導体メモリ素子、またはハードディスク、ソリッドステートドライブなどの記憶装置と、を備える。制御部２２は、記憶装置に記憶されたプログラム（例えば、本開示に係るプログラム）がＲＡＭ等を作業領域として実行されることにより制御機能を実現する。また、制御部２２は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。制御部２２は、ソフトウェアと、ハードウェアとの組み合わせで実現されてもよい。

【0014】

駆動部２４は、ロボット１２の可動部分である。駆動部２４は、車輪、脚等の本体を移動させる機構や、ロボットアーム等の本体に設置され、本体に対して移動する機構である。駆動部２４は、制御部２２により制御される。

【0015】

通信部２６は、無線通信を行う無線通信部である。具体的には、通信部２６は、ロボット制御装置１５と通信可能に接続されている。すなわち、ロボット１２は、通信部２６を用いて、ロボット制御装置１５と無線通信を行う。また、ロボット制御装置１５は、ネットワーク１６を介して遠隔操作装置１４と通信可能に接続されている。

【0016】

情報取得部２８は、ロボット１２の周囲の情報を取得する。情報取得部２８は、位置センサ、カメラ部（画像センサ）、距離センサ、マイク等を備え、周囲の情報として、現在の位置情報、周囲の三次元形状、周囲の画像、音声等を取得する。位置センサとしては、ＧＰＳ等の絶対座標の位置を取得するセンサや、周囲の障害物との間の距離を検出するレーザレーダ（例えば、ＬＩＤＡＲ：Laser Imaging Detection and Ranging）、赤外線照射部と受光センサとを含む赤外線センサ、およびＴｏＦ（Time of Flight）センサなどが例示される。カメラ部（画像センサ）としては、ＣＭＯＳイメージセンサおよびＣＣＤなどが例示される。

【0017】

図２は、実施形態に係る遠隔操作装置１４及びロボット制御装置１５の構成例を示すブロック図であり、ネットワーク１６の図示は省略している。遠隔操作装置１４は、オペレータがロボット１２に関する情報を取得し、ロボット１２に対する操作を身体動作で入力する機器である。遠隔操作装置１４は、例えば、パーソナルコンピュータや、オペレータが頭部に装着して使用するＨＭＤ（Head Mounted Display）装置と身体動作で入力される操作を検出する装置（カメラ、センサ）とを用いた構成が例示されるが、これに限定されない。遠隔操作装置１４は、画像表示部３２と、通信部３４と、視線検出部３６と、身体動作検出部３８と、を含む。

【0018】

画像表示部３２は、オペレータにロボット１２の周辺の画像を出力する。画像表示部３２は、ロボット１２の情報取得部２８のカメラ部で取得した画像を表示する。

【0019】

通信部３４は、遠距離無線通信を行う遠距離無線通信部である。具体的には、通信部３４は、ネットワーク１６を介して、ロボット制御装置１５と通信可能に接続されている。すなわち、遠隔操作装置１４は、通信部３４を用いて、ロボット制御装置１５と遠距離無線通信を行う。

【0020】

視線検出部３６は、オペレータの視線を検出する。視線検出部３６は、オペレータの瞳孔の位置を検出し、見ている位置、具体的には画像表示部３２のどの位置を見ているかを検出する。視線検出部３６は、検出した結果をロボット制御装置１５に出力する。

【0021】

身体動作検出部３８は、オペレータの頭や腕、手の動作等のジェスチャー入力を検出する。身体動作検出部３８は、オペレータに装着され、オペレータの動きを検出するセンサ（例えば加速度センサ）、オペレータを撮影した画像から前記オペレータの動きを検出するセンサ（例えばカメラ部）等である。身体動作検出部３８は、オペレータの身体動作をロボット制御装置１５に出力する。

【0022】

ロボット制御装置１５は、ロボット１２が配置されている領域に配置され、前記ロボットの動作を制御する。本実施形態では、ロボット制御装置１５は、ロボット１２とは別体である。ロボット制御装置１５は、通信部５０、カメラ部５２、周囲情報取得部５４と、演算部５６と、記憶部５８と、を含む。

【0023】

通信部５０は、遠距離無線通信を行う遠距離無線通信部である。具体的には、通信部５０は、ネットワーク１６を介して、遠隔操作装置１４と通信可能に接続され、かつ、無線通信でロボット１６と通信可能に接続されている。すなわち、ロボット制御装置１５は、通信部５０を用いて、ロボット１２及び遠隔操作装置１４と、無線通信を行う。

【0024】

カメラ部５２は、ロボット１２を含む領域を撮影する。カメラ部５２としては、ＣＭＯＳイメージセンサおよびＣＣＤなどが例示される。周囲情報取得部５４は、ロボット１２の周囲の状況を取得する。つまり、周囲情報取得部５４は、ロボット１２の情報取得部２８で取得されたロボット１２の周囲の情報を、通信部２６と通信部５０を介して取得する。

【0025】

演算部５６は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、記憶部５８に記憶されたプログラム（例えば、本開示に係るプログラム）がＲＡＭ等を作業領域として実行されることにより実現される。また、演算部５６は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。演算部５６は、ソフトウェアと、ハードウェアとの組み合わせで実現されてもよい。演算部５６は、オブジェクト取得部６２と、動作入力取得部６４と、視線判定部６６と、実行判定部６８と、命令生成部６９と、を含む。各部については、記憶部５８の後に説明する。

【0026】

記憶部５８は、各種の情報を記憶する。記憶部５８は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリなどの半導体メモリ素子、またはハードディスク、ソリッドステートドライブなどの記憶装置で実現することができる。記憶部５８は、制御プログラム７０と、実行判定プログラム７２と、命令生成プログラム７４と、データベース７６と、を含む。

【0027】

制御プログラム７０は、ロボット１２の遠隔操作処理の全体を統括する。制御プログラム７０は、オブジェクト取得部６２と、動作入力取得部６４と、視線判定部６６と、実行判定部６８と、命令生成部６９と、の各部の動作を実現するプログラムである。制御プログラム７０は、実行判定プログラム７２と、命令生成プログラム７４の処理の制御も実行する。実行判定プログラム７２は、実行判定部６８の処理を実現するプログラムである。実行判定プログラム７２は、ロボット１２の周囲情報と、視線の情報とに基づいて、動作命令を実行してもよいかを判定する。命令生成プログラム７４は、命令生成部６９の処理を実現するプログラムである。命令生成プログラム７４は、動作命令に基づいてロボット１２に出力する命令（動作信号）を生成する。

【0028】

データベース７６は、画像からオブジェクトを抽出する基準のデータ、視線判定の基準のデータ、実行判定の基準のデータ、命令生成の基準のデータが含まれる。なお、データベース７６は、各部の処理に必要なデータを含んでもよい。

【0029】

次に、演算部５６の各部を説明する。オブジェクト取得部６２は、通信部５０を介して、ロボット１２の情報取得部２８で取得した画像に基づいて、ロボット１２の周囲にあるオブジェクトを抽出する。オブジェクトは、ロボット１２の動作に影響がある物体である。例えば、ロボット１２が物品を移動させる機構である場合、移動対象の物品がオブジェクトとなる。また、ロボット１２が移動する場合、障害物、例えば避ける必要がある物がオブジェクトとなる。オブジェクト取得部６２は、カメラ部５２で取得した画像に基づいてオブジェクトを抽出してもよい。

【0030】

動作入力取得部６４は、身体動作検出部３８で検出したオペレータの動作に基づいて、オペレータの動作に基づくロボット１２への動作入力を取得する。オペレータの動作と、ロボット１２への動作入力との関係は、予めデータベース７６に記憶されている。動作入力取得部６４は、データベース７６のデータと、検出したオペレータの動作に基づいて、ロボット１２への動作入力を取得する。

【0031】

視線判定部６６は、視線検出部３６で検出した視線の位置と、オブジェクト取得部６２で取得したオブジェクトとの位置に基づいて、オペレータがどのオブジェクトを見ているかを判定する。

【0032】

実行判定部６８は、視線判定部６６で検出した視線とオブジェクトとの関係と、動作入力取得部６４で取得した動作入力に基づいて、動作を実行するか否かを判定する。具体的には、実行判定部６８は、オペレータが見ているオブジェクトが動作入力の対象であるか否かを判定する。実行判定部６８は、動作入力の対象のオブジェクトを見ている場合、動作入力に基づいた動作を実行すると判定する。一方、実行判定部６８は、動作入力の対象のオブジェクトを見ていない場合、動作入力に基づいた動作を実行しないと判定する。

【0033】

命令生成部６９は、実行判定部６８で動作入力に基づいた動作を実行すると判定された場合、動作入力取得部６４で取得した動作入力に基づいた動作命令を生成し、ロボット１２に出力する。一方、命令生成部６９は、実行判定部６８で動作入力に基づいた動作を実行しないと判定された場合、動作入力取得部６４で取得した動作入力に基づいた動作命令を生成しない。代わりに、動作を停止する命令や、動作入力とは異なる動作をする命令を生成する。命令生成部６９は、通信部５０を介して生成した動作命令をロボット１２へ送信する。

【0034】

ロボット１２は、通信部２６を介して受信した動作命令を制御部２２に入力し、駆動部２４は動作命令に従って動作する。これにより、オペレータはロボット１２を適切に動作させることができる。

【0035】

次に、図３を用いて、ロボットシステム１０のロボット制御装置１５の動作について説明する。図３は、実施形態に係るロボットシステムのロボット制御装置の処理の一例を示すフローチャートである。ロボット制御装置１５は、図３に示す処理を繰り返し実行することで、ロボット１２の動作を制御する。

【0036】

ロボット制御装置１５は、周囲情報取得部５４でロボット１２の周囲の情報を取得する（ステップＳ１２）。ロボット制御装置１５は、ロボット１２が取得した画像を取得する。ロボット制御装置１５は、周囲の画像に加え、ロボット１２の情報取得部２８で取得したデータを取得してもよい。また、ロボット制御装置１５は、周囲の情報としてカメラ部５２で取得したロボット１２を含む画像を取得してもよい。

【0037】

次に、ロボット制御装置１５は、オブジェクト取得部６２でオブジェクトを抽出する（ステップＳ１４）。オブジェクト取得部６２は、取得した画像を解析し、ロボット１２の周囲にあるオブジェクトを抽出する。抽出するオブジェクトは１つに限定されず複数でもよい。また、ロボット１２の周囲にオブジェクトがない場合、オブジェクトが抽出されない場合もある。

【0038】

次に、ロボット制御装置１５は、動作入力取得部６４で動作命令を取得する（ステップＳ１６）。動作入力取得部６４は、身体動作検出部３８で取得したオペレータの動きとデータベース７６の情報に基づいて、オペレータの動作に対応する入力動作、つまりロボット１２への操作内容を特定する。動作入力取得部６４は、特定した操作内容を動作命令として取得する。

【0039】

次に、ロボット制御装置１５は、視線検出部３６からオペレータの視線の情報を取得する（ステップＳ１８）。オペレータの視線の情報は、画像表示部３２のどの位置をみているかの情報である。なお、ロボット制御装置１５は、オブジェクトの抽出と動作命令、およびその動作命令と同じタイミングにおけるオペレータの視線を取得できればよい。よって、ステップＳ１２からステップＳ１８の処理は順番が異なってもよいし、並列して処理してもよい。

【0040】

次に、ロボット制御装置１５は、視線判定部６６及び実行判定部６８でオペレータの視線が操作対象のオフジェクトであるか、つまりオペレータが操作対象のオブジェクトを見ているか否かを判定する（ステップＳ２０）。ロボット制御装置１５は、視線判定部６６に基づいて、オペレータがどのオブジェクトを見ているかを判定し、実行判定部６８で特定したオブジェクトと動作命令に基づいて、動作命令の対象が見ているオブジェクトであるか否かを判定する。

【0041】

ロボット制御装置１５は、視線が操作対象のオブジェクトにある、つまり、操作対象のオブジェクトをオペレータが見ている（ステップＳ２０でＹｅｓ）と判定した場合、動作入力に基づく動作命令を生成する（ステップＳ２２）。具体的には、命令生成部６９で動作入力に基づく動作命令を生成し、ロボット１２に出力する。

【0042】

ロボット制御装置１５は、視線が操作対象のオブジェクトにない、つまり、操作対象のオブジェクトをオペレータが見ていない（ステップＳ２０でＮｏ）と判定した場合、動作入力に基づく動作命令を生成しない（ステップＳ２４）。具体的には、命令生成部６９で動作入力に基づく動作命令を生成しない。代わりに、動作を停止する命令や、動作入力とは異なる動作を行う命令を生成し、ロボット１２に出力する。

【0043】

ロボット制御装置１５は、ロボット１２から周辺状況、動作入力、オペレータの視線の情報を取得し、オペレータの動作入力と、対象のオブジェクトを特定し、オペレータが見ているオブジェクトが操作対象か否かに基づいて、ロボット１２に送信する動作命令を決定する。

【0044】

これにより、オペレータが、オブジェクトを見て行った動作に基づいて、ロボット１２を操作することができる。つまり、オペレータが意図せずロボット１２への動作入力の動きを行っても、オブジェクトを見ていない場合、ロボット１２が動作入力に対応する動作を実行しない状態とすることができる。これにより、オペレータが、オブジェクトを見て主体的に行った動作入力をトリガーとしてロボット１２を動作させることができる。これにより、ロボット制御装置１５は、オペレータが遠隔でロボット１２を操作した場合でも、オペレータが意図しないロボット１２の動作が生じることを抑制できる。

【0045】

また、命令生成部６９は、動作入力取得部６４で取得した動作入力を実行する場合、オブジェクトとロボット１２の関係を算出し、ロボット１２の動作を補助する動作を含む動作命令を生成することが好ましい。例えば、オペレータの身体動作があるオブジェクトをロボットアームで取る動作であり、かつ、オブジェクトとロボット１２とに所定以上の距離がある場合、オペレータの視線がそのオブジェクトに向いていれば、ロボットアームをオブジェクトに近づける動作命令と、ロボットアームでオブジェクトに手に取る動作命令を生成する。この場合、ロボットアームをオブジェクトに近づける動作命令が、動作を補助する処理となる。また、命令生成部６９は、周囲情報取得部５４の各種センサでロボット１２とオブジェクトの相対位置や、距離を算出することができ、算出結果に基づいて、オペレータの入力動作に基づいた動作を補助することができる。つまり、オペレータの入力動作をオブジェクトに実行するために補完する必要がある動作を、動作命令として追加する。これにより、オペレータが意図する動作をオブジェクトに対して実行できる。この動作を補助する命令は、命令生成プログラム７４、またはデータベース７６に命令生成の基準のデータとして格納してもよい。

【0046】

ロボットシステム１０は、オペレータに装着され、前記オペレータの動きを検出するセンサ及び前記オペレータを撮影した画像から前記オペレータの動きを検出するセンサの少なくとも一方を備える身体動作検出部３８を用い、オペレータの入力を、オペレータの動作とした場合でも、上記処理を行うことで、オペレータがロボット１２の操作を意図しないで行った動作で、ロボット１２が動作することを抑制でき、オペレータの意図する動作を実行することができる。これにより、例えば手術ロボット等を遠隔操作で意図しない動作をロボットが行うことを抑制できる。

【0047】

身体動作検出部３８は、入力端末への物理入力、音声入力、ジェスチャー入力等をする入力部として構成してもよい。入力部は、キーボード、マウス、タッチパネル、マイク、カメラなどが例示されるが、これに限定されない。入力部は、オペレータの操作に関する操作信号をロボット制御装置１５に出力する。ロボット制御装置１５の動作入力取得部６４は、オペレータの操作に基づくロボット１２への動作入力を取得する。

【0048】

ロボット制御装置１５は、オブジェクト取得部６２でのオブジェクトの抽出を機械学習で学習した学習済みプログラムを用いてもよい。つまり実行判定プログラム７２の一部を学習済みプログラムとしてもよい。具体的には、ロボット制御装置１５は、画像からオブジェクトを抽出した情報を教師データとして学習を行い、学習済みプログラムを作成する。ここで、機械学習は、教師あり学習の例としたが教師無し学習でもよい。ロボット制御装置１５は、オブジェクト取得部６２の処理を機械学習で学習することで、学習済みプログラムの教師データを更新することで、容易に変更することができる。これにより、ロボット１２の操作対象のオブジェクトの違いに応じた変更を簡単に行うことができる。

【0049】

ロボット制御装置１５は、視線判定部６６、実行判定部６８の判定処理も機械学習で学習した学習済みプログラムを用いてもよい。つまり実行判定プログラム７２の一部を学習済みプログラムとしてもよい。このように、判定処理も機械学習とし、予測モデルを再学習することで、予測の精度を高くすることができる。

【0050】

ロボット制御装置１５は、ロボット１２とは別体であるとして説明したが、ロボット１２に搭載して構成してもよい。この場合、ロボット制御装置１５の通信部５０とロボット１２の通信部２２は共通としてよいし、ロボット制御装置１５とロボット１２とは無線通信ではなく直接通信してもよい。また、カメラ部５２は、ロボット１２の全体を撮影するためにロボット１２とは別体としてロボット１２の近傍に配置してもよいし、ロボット１２から見た特定の視点を撮影するためにロボット１２と一体として配置してもよい。

【0051】

ロボット制御装置１５は、演算部５６と記憶部５８の全てを含むものとして説明した。これら演算部５６と記憶部５８について、その少なくとも一部の要素は、ロボット１２やネットワーク１６と接続されたサーバ（図示せず）に配置してもよい。さらに、記憶部５８の少なくとも一部の要素は、ネットワーク１６上に分散して配置してもよい。例えば、データベース７６は、サーバにのみ配置してもよいし、ロボット１２とサーバとにそれぞれ分散して配置してもよい。ロボット１２は、通信部２６を介して定期的にサーバに配置されたデータベース７６から命令生成の基準のデータなどを参照する。

【0052】

ここで、ロボット制御装置１５を、演算部５６と記憶部５８のみから構成した場合を考える。すると、ロボット制御装置１５は、ネットワーク１６上の任意の位置（例えば図１の遠隔操作装置１４の位置）に配置される。この場合、ロボット制御装置１５は、遠距離通信網で各部と通信を行う。また、カメラ部５２は、別体としてロボット１２の近傍に配置しても、備えていなくてもよい。

【0053】

以上、本発明の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

【符号の説明】

【0054】

１０ ロボットシステム
１２ ロボット（操作対象物）
１４ 遠隔操作装置（操作端末）
１５ ロボット制御装置
１６ ネットワーク
２２ 制御部
２４ 駆動部
２６ 通信部
２８ 情報取得部
３２ 画像表示部
３４ 通信部
３６ 視線検出部
３８ 身体動作検出部
５０ 通信部
５２ カメラ部
５４ 周囲情報取得部
５６ 演算部
５８ 記憶部
６２ オブジェクト取得部
６４ 動作入力取得部
６６ 視線判定部
６８ 実行判定部
６９ 命令生成部
７０ 制御プログラム
７２ 実行判定プログラム
７４ 命令生成プログラム
７６ データベース

【図1】

【図2】

【図3】