ホーム > 特許ランキング > 本田技研工業株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024135099
(43)【公開日】2024-10-04
(54)【発明の名称】ロボット制御システム
(51)【国際特許分類】
B25J 3/00 20060101AFI20240927BHJP
H04Q 9/00 20060101ALI20240927BHJP
【ＦＩ】
B25J3/00 Z
H04Q9/00 351
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023045618
(22)【出願日】2023-03-22
(71)【出願人】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100126664
【弁理士】
【氏名又は名称】鈴木 慎吾
(74)【代理人】
【識別番号】100154852
【弁理士】
【氏名又は名称】酒井 太一
(74)【代理人】
【識別番号】100194087
【弁理士】
【氏名又は名称】渡辺 伸一
(72)【発明者】
【氏名】川上 智弘
(72)【発明者】
【氏名】杉山 謙一郎
(72)【発明者】
【氏名】黒田 貢秀
(72)【発明者】
【氏名】水谷 了
(72)【発明者】
【氏名】茶木 智大
(72)【発明者】
【氏名】知久 健
(72)【発明者】
【氏名】福井 智美
【テーマコード（参考）】
3C707
5K048
【Ｆターム（参考）】
3C707AS06
3C707BS27
3C707HS23
3C707JS02
3C707JS03
3C707JT10
3C707JU02
3C707JU03
3C707JU17
3C707KS01
3C707KS21
3C707KS36
3C707KS38
3C707KT02
3C707KT06
3C707KT15
3C707KV01
3C707KW03
3C707LS13
3C707LS14
3C707LV14
3C707LW12
3C707MT01
5K048BA41
5K048DA02
5K048EB02
5K048EB15
5K048FC02
5K048GC06
5K048HA23
(57)【要約】
【課題】１人の操作者が複数のエンドエフェクタを容易に遠隔操作することができるロボット制御システムを提供することを目的とする。
【解決手段】ロボット制御システムは、一以上のロボットのうちの少なくとも一つを遠隔操作する一以上の操作端末と情報の入出力を行う通信部と、操作端末によって入力された操作入力情報を取得する取得部と、取得部により取得された操作内容に基づいてロボットのタスクを設定し、タスクの自動操縦処理と操作者によって入力を必要とする入力必要処理のいずれかであるかを判断するタスク決定部と、タスク決定部で決定された自動操縦処理の自動操縦データと入力必要処理のために入力された操作入力情報に基づいて、ロボットの動作を制御する動作制御部と、を備える。
【選択図】図３
【解決手段】ロボット制御システムは、一以上のロボットのうちの少なくとも一つを遠隔操作する一以上の操作端末と情報の入出力を行う通信部と、操作端末によって入力された操作入力情報を取得する取得部と、取得部により取得された操作内容に基づいてロボットのタスクを設定し、タスクの自動操縦処理と操作者によって入力を必要とする入力必要処理のいずれかであるかを判断するタスク決定部と、タスク決定部で決定された自動操縦処理の自動操縦データと入力必要処理のために入力された操作入力情報に基づいて、ロボットの動作を制御する動作制御部と、を備える。
【選択図】図３
【特許請求の範囲】
【請求項1】
一以上のロボットのうちの少なくとも一つを遠隔操作する一以上の操作端末と情報の入出力を行う通信部と、
前記操作端末によって入力された操作入力情報を取得する取得部と、
前記取得部により取得された操作内容に基づいて前記ロボットのタスクを設定し、タスクの自動操縦処理と操作者によって入力を必要とする入力必要処理のいずれかであるかを判断するタスク決定部と、
前記タスク決定部で決定された前記自動操縦処理の自動操縦データと入力必要処理のために入力された前記操作入力情報に基づいて、前記ロボットの動作を制御する動作制御部と、
を備えるロボット制御システム。
前記操作端末によって入力された操作入力情報を取得する取得部と、
前記取得部により取得された操作内容に基づいて前記ロボットのタスクを設定し、タスクの自動操縦処理と操作者によって入力を必要とする入力必要処理のいずれかであるかを判断するタスク決定部と、
前記タスク決定部で決定された前記自動操縦処理の自動操縦データと入力必要処理のために入力された前記操作入力情報に基づいて、前記ロボットの動作を制御する動作制御部と、
を備えるロボット制御システム。
【請求項2】
前記ロボットの数は複数であり、
複数の前記ロボットへの前記入力必要処理が効率よく並ぶように提案する提案部、
をさらに備える請求項１に記載のロボット制御システム。
複数の前記ロボットへの前記入力必要処理が効率よく並ぶように提案する提案部、
をさらに備える請求項１に記載のロボット制御システム。
【請求項3】
前記入力必要処理のため、操作者の操作する前記ロボットの位置情報を提示する提示部、
をさらに備える請求項１または請求項２に記載のロボット制御システム。
をさらに備える請求項１または請求項２に記載のロボット制御システム。
【請求項4】
前記ロボットの数は複数であり、
前記動作制御部は、
差出側の第１の前記ロボットの動きから、受け取り側の第２の前記ロボットが次の動きを推測し行動させ、
前記差出側の第１の前記ロボットが受け取り位置まで前記自動操縦データで動く用に制御し、前記受け取り側の第２の前記ロボットの作業を操作者の操作を待ってから行うように制御する、
請求項１に記載のロボット制御システム。
前記動作制御部は、
差出側の第１の前記ロボットの動きから、受け取り側の第２の前記ロボットが次の動きを推測し行動させ、
前記差出側の第１の前記ロボットが受け取り位置まで前記自動操縦データで動く用に制御し、前記受け取り側の第２の前記ロボットの作業を操作者の操作を待ってから行うように制御する、
請求項１に記載のロボット制御システム。
【請求項5】
前記ロボットの数は複数であり、
前記動作制御部は、
前記自動操縦データに応じて、第１のロボットを制御して操作対象物体を保持させながら、
前記操作入力情報に応じて、第２の前記ロボットを制御して、前記操作対象物体に対して所定の作業を行わせる、
請求項１に記載のロボット制御システム。
前記動作制御部は、
前記自動操縦データに応じて、第１のロボットを制御して操作対象物体を保持させながら、
前記操作入力情報に応じて、第２の前記ロボットを制御して、前記操作対象物体に対して所定の作業を行わせる、
請求項１に記載のロボット制御システム。
【請求項6】
前記ロボットの数は複数であり、
前記タスク決定部は、一連の作業においてパターン化されている動きの中で、操作者の指令が必要な作業を選択し、
前記動作制御部は、
前記タスク決定部によって選択された作業を前記入力必要処理に割り振り、前記操作者からの指示を待ち、他の作業を前記自動操縦処理に振り分ける、
請求項１に記載のロボット制御システム。
前記タスク決定部は、一連の作業においてパターン化されている動きの中で、操作者の指令が必要な作業を選択し、
前記動作制御部は、
前記タスク決定部によって選択された作業を前記入力必要処理に割り振り、前記操作者からの指示を待ち、他の作業を前記自動操縦処理に振り分ける、
請求項１に記載のロボット制御システム。
【請求項7】
前記提示部は、
前記ロボットの数は複数である場合、前記ロボットそれぞれに、前記自動操縦処理の対象であることを示す情報または前記入力必要処理の対象であることを示す情報を付加して提示する、
請求項３に記載のロボット制御システム。
前記ロボットの数は複数である場合、前記ロボットそれぞれに、前記自動操縦処理の対象であることを示す情報または前記入力必要処理の対象であることを示す情報を付加して提示する、
請求項３に記載のロボット制御システム。
【請求項8】
前記提示部は、
操作者に提示する前記ロボットの画像の領域の一部に、前記操作者が担当する複数の前記ロボットの配置を示す情報を付加して提示する、
請求項３に記載のロボット制御システム。
操作者に提示する前記ロボットの画像の領域の一部に、前記操作者が担当する複数の前記ロボットの配置を示す情報を付加して提示する、
請求項３に記載のロボット制御システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ロボット制御システムに関する。
【背景技術】
【0002】
近年、人手不足の影響等により、遠隔操作ロボットへの期待が高まっている。このため、遠隔操作でロボットに作業させるシステムの開発が進められている。このような遠隔操作を支援する技術の開発が行われている（例えば非特許文献１参照）。
【0003】
また、災害時やパンデミック等の際に、図１１のように製造ラインで行う作業を、遠隔操作ロボットで作業することで、工場勤務の人にもテレワークを可能にしたいという要望がある。図１１のように一般的な製造ラインは複数の作業員で構成されているため、ロボットに置き換える場合、複数のロボットが必要になる。図１１は、工場における人による作業とロボットによる作業の様子を示す図である。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】大野和則、城間直司、“レスキューロボットの遠隔操縦支援技術”、日本ロボット学会誌、Vol 28 No2, pp160-163、2010
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来技術では、このような工場に導入されているロボットの操作を、１人の操作者が１つのロボットを制御している。仮に１人の操作者が複数のロボットを同時に対応しようとした場合は、どのロボットを操作しているのかわからなくなったり、効率の良い操縦ができなかったりするという課題がある。
【0006】
本発明は、上記の問題点に鑑みてなされたものであって、１人の操作者が複数のエンドエフェクタを容易に遠隔操作することができるロボット制御システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
（１）上記目的を達成するため、本発明の一態様に係るロボット制御システムは、一以上のロボットのうちの少なくとも一つを遠隔操作する一以上の操作端末と情報の入出力を行う通信部と、前記操作端末によって入力された操作入力情報を取得する取得部と、前記取得部により取得された操作内容に基づいて前記ロボットのタスクを設定し、タスクの自動操縦処理と操作者によって入力を必要とする入力必要処理のいずれかであるかを判断するタスク決定部と、前記タスク決定部で決定された前記自動操縦処理の自動操縦データと入力必要処理のために入力された前記操作入力情報に基づいて、前記ロボットの動作を制御する動作制御部と、を備えるロボット制御システムである。
【0008】
（２）（１）のロボット制御システムは、前記ロボットの数は複数であり、複数の前記ロボットへの前記入力必要処理が効率よく並ぶように提案する提案部、をさらに備えるようにしてもよい。
【0009】
（３）（１）または（２）のロボット制御システムは、前記入力必要処理のため、操作者の操作する前記ロボットの位置情報を提示する提示部、をさらに備えるようにしてもよい。
【0010】
（４）（１）のロボット制御システムにおいて、前記ロボットの数は複数であり、前記動作制御部は、差出側の第１の前記ロボットの動きから、受け取り側の第２の前記ロボットが次の動きを推測し行動させ、前記差出側の第１の前記ロボットが受け取り位置まで前記自動操縦データで動く用に制御し、前記受け取り側の第２の前記ロボットの作業を操作者の操作を待ってから行うように制御するようにしてもよい。
【0011】
（５）（１）のロボット制御システムにおいて、前記ロボットの数は複数であり、前記動作制御部は、前記自動操縦データに応じて、第１のロボットを制御して操作対象物体を保持させながら、前記操作入力情報に応じて、第２の前記ロボットを制御して、前記操作対象物体に対して所定の作業を行わせるようにしてもよい。
【0012】
（６）（１）のロボット制御システムにおいて、前記ロボットの数は複数であり、前記タスク決定部は、一連の作業においてパターン化されている動きの中で、操作者の指令が必要な作業を選択し、前記動作制御部は、前記タスク決定部によって選択された作業を前記入力必要処理に割り振り、前記操作者からの指示を待ち、他の作業を前記自動操縦処理に振り分けるようにしてもよい。
【0013】
（７）（１）のロボット制御システムにおいて、前記提示部は、前記ロボットの数は複数である場合、前記ロボットそれぞれに、前記自動操縦処理の対象であることを示す情報または前記入力必要処理の対象であることを示す情報を付加して提示するようにしてもよい。
【0014】
（８）（１）のロボット制御システムにおいて、前記提示部は、操作者に提示する前記ロボットの画像の領域の一部に、前記操作者が担当する複数の前記ロボットの配置を示す情報を付加して提示すようにしてもよい。
【発明の効果】
【0015】
（１）～（８）によれば、１人の操作者が複数のエンドエフェクタを容易に遠隔操作することができる。
【図面の簡単な説明】
【0016】
【図1】実施形態に係るロボット制御システムの概略示す図である。
【図2】複数のロボットが１つの作業を行う例を示す図である。
【図3】実施形態に係るロボット制御システムの構成例を示す図である。
【図4】ＤＢが格納するデータの一例を示す図である。
【図5】ＤＢが格納するデータの他の例を示す図である。
【図6】実施形態に係る操作者に提供される全体の画像の第１の例を示す図である。
【図7】実施形態に係る操作者に提供される全体画像の表示されるタイミングを説明するため図である。
【図8】実施形態に係る操作者に提供される全体の画像の第２の例を示す図である。
【図9】実施形態に係る操作者に提供される全体の画像の第３の例を示す図である。
【図10】実施形態に係るロボット制御システムが行う処理手順のフローチャートである。
【図11】工場における人による作業とロボットによる作業の様子を示す図である。
【発明を実施するための形態】
【0017】
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。
【0018】
（遠隔操作制御システムの環境例）
遠隔操作制御システムの概略を説明する。
図１は、本実施形態に係るロボット制御システムの概略示す図である。
本実施形態では、１人の操作者Ｕｓは、複数のロボット６（６－１，６－２，…）を遠隔操作する。ロボット６それぞれは、全ての動作を遠隔操作に従って行うのではなく、作業内容やタイミング等に応じて自動で行い、作業内容やタイミング等に応じて操作者Ｕｓの遠隔操作指示に応じて動作する。なお、以下の説明では、「遠隔操作による処理」を、操作入力が必要な「入力必要処理」ともいう。また、「遠隔制御装置５が自動的に制御する処理」を、「自動操縦処理」ともいう。
遠隔操作制御システムの概略を説明する。
図１は、本実施形態に係るロボット制御システムの概略示す図である。
本実施形態では、１人の操作者Ｕｓは、複数のロボット６（６－１，６－２，…）を遠隔操作する。ロボット６それぞれは、全ての動作を遠隔操作に従って行うのではなく、作業内容やタイミング等に応じて自動で行い、作業内容やタイミング等に応じて操作者Ｕｓの遠隔操作指示に応じて動作する。なお、以下の説明では、「遠隔操作による処理」を、操作入力が必要な「入力必要処理」ともいう。また、「遠隔制御装置５が自動的に制御する処理」を、「自動操縦処理」ともいう。
【0019】
操作者Ｕｓは、例えば、画像表示部３として例えばＨＭＤ（ヘッドマウントディスプレイ）装着し、操作検出部２１（２１Ｌ、２１Ｒ）等を装着している。
作業空間には、環境センサ４（４－１，４－２，…）が設置されている。なお、環境センサ４は、各ロボット６（６－１，６－２，…）に取り付けられていてもよい。環境センサ４は、例えば、深度情報Ｄも得られるＲＢＧ（赤青緑）Ｄカメラである。
各ロボット６（６－１，６－２，…）は、少なくともアーム、エンドエフェクタを備える。ロボット６は、ボディ、頭部を備えていてもよい。
また、作業空間の例えば天井付近に、操作者の操作するロボットの位置情報等を提示する提示部８が備え付けられていてもよい。
作業空間には、環境センサ４（４－１，４－２，…）が設置されている。なお、環境センサ４は、各ロボット６（６－１，６－２，…）に取り付けられていてもよい。環境センサ４は、例えば、深度情報Ｄも得られるＲＢＧ（赤青緑）Ｄカメラである。
各ロボット６（６－１，６－２，…）は、少なくともアーム、エンドエフェクタを備える。ロボット６は、ボディ、頭部を備えていてもよい。
また、作業空間の例えば天井付近に、操作者の操作するロボットの位置情報等を提示する提示部８が備え付けられていてもよい。
【0020】
なお、以下の説明において、操作者Ｕｓが操作するロボット６の数は、２つの例で説明するが、少なくとも１つ以上であればよく３つ以上であってもよい。例えば、１つのロボット６が２つのアームを備え、各アームを１人の操作者が遠隔操作するようにしてもよい。このような構成であっても、本実施形態では、アームそれぞれをロボットともいう。すなわち、第１のアームが第１のロボットであり、第２のアームが第２のロボットであってもよい。
【0021】
なお、複数のロボット６は、図２のように例えば２つのロボット６が１つの作業を行うようにしてもよい。具体的には、第１のロボット６－１が物体を支持し、第２のロボット６－２が物体に対して作業を行うようにしてもよい。図２は、複数のロボットが１つの作業を行う例を示す図である。
【0022】
（ロボット制御システムの構成例）
次に、ロボット制御システムの構成例を説明する。
図３は、本実施形態に係るロボット制御システムの構成例を示す図である。ロボット制御システム１は、例えば、操作入力部２（操作端末）と、画像表示部３（提示部）と、環境センサ４（４－１，４－２，…）と、遠隔制御装置５と、ロボット６（６－１，６－２，…）と、ＤＢ７と、提示部８を備える。
操作入力部２は、例えば、操作検出部２１と、視線検出部２２を備える。
遠隔制御装置５は、例えば、取得部５１と、タスク決定部５２と、動作制御部５３と、提案部５４と、記憶部５５と、通信部５６と、画像出力部５７を備える。
ロボット６は、例えば、センサ６１と、アーム６３と、エンドエフェクタ６４と、駆動部６５と、通信部６６を備える。
次に、ロボット制御システムの構成例を説明する。
図３は、本実施形態に係るロボット制御システムの構成例を示す図である。ロボット制御システム１は、例えば、操作入力部２（操作端末）と、画像表示部３（提示部）と、環境センサ４（４－１，４－２，…）と、遠隔制御装置５と、ロボット６（６－１，６－２，…）と、ＤＢ７と、提示部８を備える。
操作入力部２は、例えば、操作検出部２１と、視線検出部２２を備える。
遠隔制御装置５は、例えば、取得部５１と、タスク決定部５２と、動作制御部５３と、提案部５４と、記憶部５５と、通信部５６と、画像出力部５７を備える。
ロボット６は、例えば、センサ６１と、アーム６３と、エンドエフェクタ６４と、駆動部６５と、通信部６６を備える。
【0023】
操作入力部２は、不図示の通信部を備え、遠隔制御装置５と有線または無線で情報のやりとりを行う。操作入力部２は、ロボット６を遠隔操作する操作者が使用する。なお、操作入力部２は、複数であってもよく、ロボット６それぞれに対応していてもよい。操作入力部２が１つの場合は、複数のロボット６のうち１つに順次対応するようにしてもよい。
【0024】
操作検出部２１は、操作者が操作した操作入力を検出する。操作検出部２１は、例えば、データグローブ、スイッチ等である。操作検出部２１は、検出した操作入力情報を遠隔制御装置５に出力する。
【0025】
視線検出部２２は、操作者の視線を検出する。視線検出部２２は、検出した視線情報を遠隔制御装置５に出力する。なお、視線検出部２２は、画像表示部３が備えていてもよい。
【0026】
画像表示部３は、例えば、ＨＭＤ、液晶画像表示装置、有機ＥＬ（Electro Luminescence）画像表示装置、スマートフォン、タブレット端末等、画像表示可能なものである。画像表示部３は、遠隔制御装置５から提供される画像を表示する。画像表示部３は、不図示の通信部を備え、遠隔制御装置５と有線または無線で情報のやりとりを行う。なお、画像表示部３は、不図示のタッチセンサや振動センサ等を備えていてもよい。このようなセンサによって、操作者の操作を検出して、後述するように提供される画像を切り替えるリクエストをするようにしてもよい。
【0027】
環境センサ４は、例えば深度情報Ｄも取得可能なＲＧＢＤカメラである。環境センサ４は、レーザー等による距離センサとＲＧＢカメラであってもよい。環境センサ４は、２つ以上であってもよい。環境センサ４は、不図示の通信部を備え、遠隔制御装置５と有線または無線で接続されている。
【0028】
遠隔制御装置５は、操作者の操作入力情報に応じて、ロボット６－１，６－２，…を制御する。なお、遠隔制御装置５は、例えば、操作者の操作意図を推定して、作業を補助するようにしてもよい。
【0029】
取得部５１は、操作入力部２から、操作入力情報と視線情報を取得する。取得部５１は、環境センサ４から画像情報を取得する。取得部５１は、ロボット６それぞれからセンサ検出値等を取得する。
【0030】
タスク決定部５２は、取得部５１により取得された操作内容に基づいてロボット６のタスクを設定する。タスク決定部５２は、タスクの自動操縦処理と、操作者によって入力を必要とする入力必要処理のいずれかであるかを判断する。
なお、タスクの自動操縦処理とは、操作者からの操作指示がなくても行える作業であり、例えば、作業中、物体を押さえる、操作者の操作指示によって把持した後に把持状態を移動する等である。タスクの自動操縦処理の自動操縦データは、タスク決定部５２が生成する。
操作者によって入力を必要とする入力必要処理とは、自動で作業することが困難な作業であり、例えば、部品を把持したり、ネジを回したり締め付けたり、人間からの微妙な操作指示が必要な作業である。作者によって入力を必要とする入力必要処理で入力されるデータは、操作入力部２から入力される操作入力情報である。
なお、タスクの自動操縦処理とは、操作者からの操作指示がなくても行える作業であり、例えば、作業中、物体を押さえる、操作者の操作指示によって把持した後に把持状態を移動する等である。タスクの自動操縦処理の自動操縦データは、タスク決定部５２が生成する。
操作者によって入力を必要とする入力必要処理とは、自動で作業することが困難な作業であり、例えば、部品を把持したり、ネジを回したり締め付けたり、人間からの微妙な操作指示が必要な作業である。作者によって入力を必要とする入力必要処理で入力されるデータは、操作入力部２から入力される操作入力情報である。
【0031】
動作制御部５３は、タスク決定部５２で決定された自動操縦処理の自動操縦データと入力必要処理のために入力された操作入力情報に基づいて、ロボット６それぞれの動作を制御する。
【0032】
提案部５４は、自動操縦処理と入力による処理とが切り替わるタイミングを計算する。提案部５４は、複数のロボットによる作業を連携する。提案部５４は、計算結果に基づいて、遠隔操作を行う手順をどの処理に当てはめるかを、操作者に提案する。例えば、３つの作業（第１の作業、第２の作業、第３の作業）を１人の操作者が受け持つ場合、提案部５４は、操作者による作業をどのタイミングで行うのが効率的であるかを考慮して提案する。なお、提案部５４は、例えば画像表示部３に画像を提示して提案してもよく、テキストや音声で提案してもよい。なお、提案部５４は、標準的な作業情報とセットで提案するようにしてもよい。
【0033】
記憶部５５は、遠隔制御装置５が用いるプログラム、閾値等を記憶する。記憶部５５は、ロボット６それぞれの三次元モデルデータ（例えばＣＡＤデータ）を記憶するようにしてもよい。記憶部５５は、環境センサ４それぞれが設置されている位置を記憶する。
【0034】
通信部５６は、ロボット６のうちの少なくとも一つを遠隔操作する一以上の操作入力部２（操作端末）とネットワークを介して通信する。
【0035】
画像出力部５７は、操作者に提示する画像を生成し、生成した画像を画像表示部３に出力する。
【0036】
センサ６１は、例えば、関節に取り付けられているエンコーダ、エンドエフェクタ６４の指先に取り付けられている６軸センサ、力覚センサ等である。
【0037】
アーム６３は、先端にエンドエフェクタ６４が取り付けられている。
【0038】
エンドエフェクタ６４は、少なくとも２つ以上の指部を備えている。エンドエフェクタ６４は、グリッパー等であってもよく、多指を備えていてもよい。また、ロボット６それぞれが備えるエンドエフェクタ６４は、例えば作業内容に応じて異なっていてもよい。
【0039】
駆動部６５は、例えば、駆動回路とアクチュエータを備える。駆動部６５は、遠隔制御装置５が出力する制御指示（関節角度指示等）に応じて、アーム６３とエンドエフェクタ６４を駆動する。
【0040】
通信部６６は、センサ６１が検出した検出値を遠隔制御装置５へ出力する。通信部６６は、遠隔制御装置５が出力した制御情報を取得する。
【0041】
ＤＢ７は、データベースであり、例えば、操作者に、受け持つロボット６を識別するための識別情報、ロボット６それぞれが行う作業内容、ロボット６それぞれが行う作業時間等を関連付けて格納する。なお、操作者が複数の場合、ＤＢ７は操作者ごとに情報を格納する。
【0042】
提示部８は、複数のロボット６の俯瞰視点の画像、複数のロボット６の全体像等を提供する。なお、提示部８は、ロボット６が作業する作業空間の天井等に設置されていてもよく、画像表示部３に仮想的に提示するようにしてもよい。
【0043】
（ＤＢが格納するデータ）
次に、ＤＢ７が格納するデータ例を説明する。
図４は、ＤＢが格納するデータの一例を示す図である。ＤＢ７には、ロボット６の識別情報に、ロボット６の作業内容、ロボット６の作業時間、行う作業を自動で行うか遠隔操作に応じて行うかを示す情報、作業順番、その他の情報等が関連付けて格納されている。なお、ＤＢ７は、ロボット６それぞれの三次元モデルデータも格納するようにしてもよい。
次に、ＤＢ７が格納するデータ例を説明する。
図４は、ＤＢが格納するデータの一例を示す図である。ＤＢ７には、ロボット６の識別情報に、ロボット６の作業内容、ロボット６の作業時間、行う作業を自動で行うか遠隔操作に応じて行うかを示す情報、作業順番、その他の情報等が関連付けて格納されている。なお、ＤＢ７は、ロボット６それぞれの三次元モデルデータも格納するようにしてもよい。
【0044】
なお、ＤＢ７が格納するデータは、予め格納されていてもよく、または遠隔制御装置５が生成したり変更するようにしてもよい。図５は、ＤＢが格納するデータの他の例を示す図である。ＤＢ７には、例えば、作業内容に、作業時間、行う作業を自動で行うか遠隔操作に応じて行うかを示す情報、作業順番、優先度、対応するロボットを示す識別情報、その他の情報等が関連付けて格納されている。なお、優先度は、１連の作業における優先度または優先順位である。優先度は、同時に行う作業を示す情報を含んでいてもよい。
【0045】
（複数のロボットによる連携の例）
ここで、複数のロボット６が行う作業の例を説明する。
Ｉ．第１の例
第１の例の作業では、差出側の第１のロボット６－１の動きから、受け取り側の第２のロボット６－２が次の動きを推測し行動する。この場合、タスク決定部５２は、差出側の第１のロボット６－１を受け取り位置までを自動で動作させ、受け取り側の第２のロボット６－２を操作者の操作入力を待ってから残りの作業を行うように設定し制御する。
ここで、複数のロボット６が行う作業の例を説明する。
Ｉ．第１の例
第１の例の作業では、差出側の第１のロボット６－１の動きから、受け取り側の第２のロボット６－２が次の動きを推測し行動する。この場合、タスク決定部５２は、差出側の第１のロボット６－１を受け取り位置までを自動で動作させ、受け取り側の第２のロボット６－２を操作者の操作入力を待ってから残りの作業を行うように設定し制御する。
【0046】
ＩＩ．第２の例
第２の例では、例えば、第１のロボット６－１が袋を押さえ、第２のロボット６－２が袋に紐を結ぶ。このような場合、タスク決定部５２は、押さえる側の第１のロボット６－１を自動で制御し、紐を結ぶ側の第２のロボット６－２を遠隔操作に基づいて制御する。このような作業では、押さえながら紐を結ぶため、同時に協調して作業を行う。このような作業パターンの他の例は、例えば、第１のロボット６－１が物体を押さえながら、遠隔操作に基づいて第２のロボット６－２がネジ締めや部品の装着を行う作業である。
第２の例では、例えば、第１のロボット６－１が袋を押さえ、第２のロボット６－２が袋に紐を結ぶ。このような場合、タスク決定部５２は、押さえる側の第１のロボット６－１を自動で制御し、紐を結ぶ側の第２のロボット６－２を遠隔操作に基づいて制御する。このような作業では、押さえながら紐を結ぶため、同時に協調して作業を行う。このような作業パターンの他の例は、例えば、第１のロボット６－１が物体を押さえながら、遠隔操作に基づいて第２のロボット６－２がネジ締めや部品の装着を行う作業である。
【0047】
ＩＩＩ．第３の例
タスク決定部５２は、一連の作業においてパターン化されている動きの中で、人間の指令が必要な作業を選択する。そして、選択した作業を遠隔作業に割り振り操作者からの指示を待ち、他の作業を自動作業に振り分ける。
タスク決定部５２は、一連の作業においてパターン化されている動きの中で、人間の指令が必要な作業を選択する。そして、選択した作業を遠隔作業に割り振り操作者からの指示を待ち、他の作業を自動作業に振り分ける。
【0048】
なお、提案部５４は、このような作業の振り分け内容を、例えば操作者に提案するようにしてもよい。
例えば、１つの作業を３つのロボット６－１，６－２，６－３で行う場合、タスク決定部５２は、例えば優先度や作業時間に基づいて、作業者が遠隔操作で行う作業の内容やタイミングを決定し、残りの作業を他のロボット６に振り分けるようにしてもよい。あるいは、タスク決定部５２は、ロボット６が行う作業を決定した後に、作業者が遠隔操作で行う作業に振り分けるようにしてもよい。そして、提案部５４は、振り分けた結果を、例えば画像表示部３に表示させて操作者へ提案するようにしてもよい。
例えば、１つの作業を３つのロボット６－１，６－２，６－３で行う場合、タスク決定部５２は、例えば優先度や作業時間に基づいて、作業者が遠隔操作で行う作業の内容やタイミングを決定し、残りの作業を他のロボット６に振り分けるようにしてもよい。あるいは、タスク決定部５２は、ロボット６が行う作業を決定した後に、作業者が遠隔操作で行う作業に振り分けるようにしてもよい。そして、提案部５４は、振り分けた結果を、例えば画像表示部３に表示させて操作者へ提案するようにしてもよい。
【0049】
なお、タスク決定部５２は、例えば、作業にかかるトータル時間に基づいて効率を算出し、最も効率が良くなるように自動で行う作業と、遠隔操作に基づいて行う作業の振り分けと配置を行うようにしてもよい。なお、配置とは、自動で行う作業と、遠隔操作に基づいて行う作業の作業順番であり、例えば、第１手順が遠隔操作、第２手順が自動、第３手順が自動等である。提案部５４は、配置した結果を、例えば画像表示部３に表示させて操作者へ提案するようにしてもよい。
【0050】
（操作意図推定と操作サポート）
なお、遠隔制御装置５は、操作者の操作意図を、操作入力情報や視線情報に基づいて推定して、遠隔操作におけるロボット６の動作の援助するようにしてもよい（例えば特願２０２２－００６４９８号参照）。
なお、遠隔制御装置５は、操作者の操作意図を、操作入力情報や視線情報に基づいて推定して、遠隔操作におけるロボット６の動作の援助するようにしてもよい（例えば特願２０２２－００６４９８号参照）。
【0051】
遠隔制御装置５は、例えば、作業が把持を含む場合、グラスプタクソノミー（ＧＲＡＳＰ Ｔａｘｏｎｏｍｙ）手法（例えば参考文献１参照）によって、操作者の操作意図を推定する。
遠隔制御装置５は、例えば、グラスプタクソノミー手法によって操作者あるいはロボット６の姿勢すなわち把持姿勢を分類することで操作者状態を分類して、操作者の操作意図を推定する。遠隔制御装置５は、例えば、記憶部５５が記憶する学習済みのモデルに操作情報を入力して、操作者の操作意図を推定する。なお、把持姿勢の分類には、他の手法を用いてもよい。また、遠隔制御装置５は、視線と腕部の動きを用いて統合的に推定するようにしてもよい。この場合、遠隔制御装置５は、視線情報と、手の動き情報とテーブル上の物体の位置情報とを学習済みのモデルに入力して、操作者の操作意図を推定するようにしてもよい。
遠隔制御装置５は、例えば、グラスプタクソノミー手法によって操作者あるいはロボット６の姿勢すなわち把持姿勢を分類することで操作者状態を分類して、操作者の操作意図を推定する。遠隔制御装置５は、例えば、記憶部５５が記憶する学習済みのモデルに操作情報を入力して、操作者の操作意図を推定する。なお、把持姿勢の分類には、他の手法を用いてもよい。また、遠隔制御装置５は、視線と腕部の動きを用いて統合的に推定するようにしてもよい。この場合、遠隔制御装置５は、視線情報と、手の動き情報とテーブル上の物体の位置情報とを学習済みのモデルに入力して、操作者の操作意図を推定するようにしてもよい。
【0052】
参考文献１；Thomas Feix, Javier Romero,他,“The GRASP Taxonomy of Human GraspTypes” IEEE Transactions on Human-Machine Systems ( Volume: 46, Issue: 1, Feb.2016),IEEE,p66-77
【0053】
そして、遠隔制御装置５は、遠隔操作において、操作者の指令に基づいて制御するだけではなく、例えば操作者の操作意図に基づいて操作をサポートして、スムーズな把持を実現する。
なお、遠隔制御装置５は、例えば、選択された動作の分類と物体形状、推定される物体の摩擦や重量などの物理パラメータ、ロボット６の出力可能なトルクなどの制約条件から、例えば物体を落とさず安定的に把持可能なロボット６の手指の物体に対する接触点を求めるようにしてもよい。そして、遠隔制御装置５は、例えば、これらから計算される関節角度を目標値として補正動作として補助するようにしてもよい（例えば特開２０２２－１５５６２３号公報参照）。
なお、遠隔制御装置５は、例えば、選択された動作の分類と物体形状、推定される物体の摩擦や重量などの物理パラメータ、ロボット６の出力可能なトルクなどの制約条件から、例えば物体を落とさず安定的に把持可能なロボット６の手指の物体に対する接触点を求めるようにしてもよい。そして、遠隔制御装置５は、例えば、これらから計算される関節角度を目標値として補正動作として補助するようにしてもよい（例えば特開２０２２－１５５６２３号公報参照）。
【0054】
（提供画像例）
次に、操作者に提供される画像例を説明する。
１人の操作者が複数のロボット６を担当するため、操作者は、ロボット６の配置等を知りたい場合もありえる。このため、本実施形態では、ロボット６が作業を行う作業環境の画像を、例えば操作者のリクエストに応じて提供する。
次に、操作者に提供される画像例を説明する。
１人の操作者が複数のロボット６を担当するため、操作者は、ロボット６の配置等を知りたい場合もありえる。このため、本実施形態では、ロボット６が作業を行う作業環境の画像を、例えば操作者のリクエストに応じて提供する。
【0055】
図６は、本実施形態に係る操作者に提供される全体の画像の第１の例を示す図である。図６のように、作業環境の所定のエリアの画像を提供する。提供する画像は、例えば俯瞰図または鳥瞰図である。また、提供画像には、図６のように作業者毎に担当するロボット６を示す情報ｇ１、どのロボットが自動で作業を行うかを示す情報ｇ２、入力された操作情報に基づいて遠隔操作で作業を行うことを示す情報ｇ３等を付加して提示するようにしてもよい。また、図６のように、遠隔制御装置５は、遠隔操作対象のロボット６の位置情報（配置情報）を含んで提示するようにしてもよい。
【0056】
このような情報を付加して提供することで、操作者は自分がどのロボット６を遠隔操作しているのか実感しやすくなる。また、このように、俯瞰図または鳥瞰図で提供することで、作業空間や作業視点を俯瞰できる。
【0057】
なお、このような全体画像ｇ１１は、例えば図７のように、操作者が上（例えば天井方向）や下（例えば床方向）を向いた際に、画像表示部３に表示されるように切り替えてもよい。図７は、本実施形態に係る操作者に提供される全体画像の表示されるタイミングを説明するため図である。
あるいは、図８のように、全体画像ｇ２２は、画像表示部３に提供される画像ｇ２１内において、遠隔操作の邪魔にならない位置に重ねて提示するようにしてもよい。このような表示の切り替えは、例えば、操作者が操作入力部２または画像表示部３等を操作した結果に応じて行う。図８は、本実施形態に係る操作者に提供される全体の画像の第２の例を示す図である。
あるいは、図８のように、全体画像ｇ２２は、画像表示部３に提供される画像ｇ２１内において、遠隔操作の邪魔にならない位置に重ねて提示するようにしてもよい。このような表示の切り替えは、例えば、操作者が操作入力部２または画像表示部３等を操作した結果に応じて行う。図８は、本実施形態に係る操作者に提供される全体の画像の第２の例を示す図である。
【0058】
なお、全体画像の提示は、図１のように作業空間に提示部８を設置し、常時、提供するようにしてもよい。そして、遠隔制御装置５は、提示部８に提示される画像を図６または図８のように画像表示部３へ提示するようにしてもよい。
なお、図６～図８を用いて説明した提示画像や提示タイミング、切り替え方法等は一例であり、これに限らない。
なお、図６～図８を用いて説明した提示画像や提示タイミング、切り替え方法等は一例であり、これに限らない。
【0059】
なお、例えば図５に示した全体画像のうち、遠隔操作するロボット６の画像を、俯瞰視点または鳥瞰視点で提供するようにしてもよい。この場合は、図６の状態において、操作者が操作入力部２または画像表示部３が操作されたことに応じて、図９のように遠隔操作するロボット６の俯瞰視点または鳥瞰視点の画像を提供するようにしてもよい。図９は、本実施形態に係る操作者に提供される全体の画像の第３の例を示す図である。なお、環境センサ４は、このような俯瞰視点または鳥瞰視点を撮影可能な位置に設置されていてもよい。または、遠隔制御装置５は、環境センサ４が撮影した画像から切り出して使用してもよい。
【0060】
【0061】
（ステップＳ１）タスク決定部５２は、記憶部５５が記憶する情報とＤＢ７が格納するデータを用いて、タスクを、自動操縦処理と、操作者によって入力を必要とする入力必要処理と、に振り分ける。タスク決定部５２は、記憶部５５が記憶する情報とＤＢ７が格納するデータを用いて、振り分けた結果に基づいて、複数のロボット６に作業を振り分ける。
【0062】
（ステップＳ２）提案部５４は、複数のロボット６を振り分けた結果を、例えば画像表示部３に表示させて操作者へ提案する。
【0063】
（ステップＳ３）取得部５１は、環境センサ４が撮影した画像を取得する。
【0064】
（ステップＳ４）画像出力部５７は、取得した画像を用いて、提供画像を生成する。
【0065】
（ステップＳ５）タスク決定部５２は、自動操縦のロボット６に対する制御（自動操縦処理）であるか、遠隔操作に基づくロボット６の制御（入力必要処理）であるか判別する。タスク決定部５２は、自動操縦のロボット６に対する制御である場合（ステップＳ５；自動操縦）、ステップＳ６の処理に進める。タスク決定部５２は、遠隔操作に基づくロボット６の制御である場合（ステップＳ５；遠隔操作）、ステップＳ８の処理に進める。
【0066】
（ステップＳ６）動作制御部５３は、自動操縦処理のロボット６用に自動操縦データ（制御指令）を生成する。
【0067】
（ステップＳ７）動作制御部５３は、生成した制御情報を用いて、自動操縦処理のロボット６の動作を制御する。
【0068】
（ステップＳ８）取得部５１は、操作入力部２から操作入力情報を取得する。
【0069】
（ステップＳ９）動作制御部５３は、遠隔操作処理（入力必要処理）のロボット６用に操縦データ（制御指令）を生成する。
【0070】
（ステップＳ１０）動作制御部５３は、生成した制御情報を用いて、遠隔操作処理のロボット６の動作を制御する。
【0071】
なお、遠隔制御装置５は、ステップＳ６～Ｓ７の処理と、ステップＳ８～Ｓ１０の処理を、作業内容に応じて順番または平行して行う。遠隔制御装置５は、一連の作業が終了した場合、処理を終了する。
【0072】
なお、上述した処理内容と処理手順は一例であり、これに限らない。例えば、操作者への提案が不要な場合は、ステップＳ２の処理を行わなくてもよい。
【0073】
（変形例）
なお、上述した例では、１人の操作者が複数のロボット６に対応する例を説明したが、これに限らない。複数の操作者が複数のロボット６に対応する場合にも、上述した手法を適用することができる。
この場合、タスク決定部５２は、操作者それぞれが対応するロボット６を対応時間が重ならないように設定する。そして、提案部５４は、設定された操作者と対応するロボット６に関する情報（含む作業内容、作業順番、作業タイミング等）を、複数の操作者に提案するようにしてもよい。
なお、上述した例では、１人の操作者が複数のロボット６に対応する例を説明したが、これに限らない。複数の操作者が複数のロボット６に対応する場合にも、上述した手法を適用することができる。
この場合、タスク決定部５２は、操作者それぞれが対応するロボット６を対応時間が重ならないように設定する。そして、提案部５４は、設定された操作者と対応するロボット６に関する情報（含む作業内容、作業順番、作業タイミング等）を、複数の操作者に提案するようにしてもよい。
【0074】
以上のように、本実施形態では、複数のロボット６の作業が自動的に連携されるようにした。本実施形態では、２つ以上のロボット６を同時にサポートするようにした、本実施形態では、操作者が俯瞰観点で操作をできるようにした。本実施形態では、複数作業を同時に行えるようにした。本実施形態では、複数のロボット６の操作システムの全体図を提供するようにした。
【0075】
これにより、本実施形態によれば、ロボット６同士またはエンドエフェクタ６４同士の連携が必要な作業に関して、あらかじめパターン化されていて、人間の指示が必要なところで待つように制御されるため、遠隔操作が容易である。
本実施形態によれば、遠隔指令が必要な操作が効率的に並ぶように作業順の提案をするため、一人の操作者が対応できるロボット６の数を増やすことができる。
本実施形態によれば、対応するロボット６の数が増えていても、環境との位置関係がわかるため自分の操作しているロボットの把握が容易である。
本実施形態によれば、遠隔指令が必要な操作が効率的に並ぶように作業順の提案をするため、一人の操作者が対応できるロボット６の数を増やすことができる。
本実施形態によれば、対応するロボット６の数が増えていても、環境との位置関係がわかるため自分の操作しているロボットの把握が容易である。
【0076】
なお、本発明におけるロボット制御システム１の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりロボット制御システム１が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【0077】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【0078】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。
【符号の説明】
【0079】
１…ロボット制御システム、２…操作入力部、３…画像表示部、４，４－１，４－２，・・・…環境センサ、５…遠隔制御装置、６，６－１，６－２，・・・…ロボット、７…ＤＢ、８…提示部、２１，２１Ｌ，２１Ｒ…操作検出部、２２…視線検出部、５１…取得部、５２…タスク決定部、５３…動作制御部、５４…提案部、５５…記憶部、５６…通信部、５７…画像出力部、６１…センサ、６３…アーム、６４…エンドエフェクタ、６５…駆動部、６６…通信部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】