知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024102086
(43)【公開日】2024-07-30
(54)【発明の名称】ロボット操作システム及び情報処理方法
(51)【国際特許分類】
B25J 13/08 20060101AFI20240723BHJP
B25J 13/00 20060101ALI20240723BHJP
【ＦＩ】
B25J13/08 A
B25J13/00 A
【審査請求】有
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2024063818
(22)【出願日】2024-04-11
(62)【分割の表示】P 2022570057の分割
【原出願日】2021-12-16
(31)【優先権主張番号】P 2020210012
(32)【優先日】2020-12-18
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000000974
【氏名又は名称】川崎重工業株式会社
(74)【代理人】
【識別番号】110000556
【氏名又は名称】弁理士法人有古特許事務所
(72)【発明者】
【氏名】蓮沼 仁志
(72)【発明者】
【氏名】掃部 雅幸
(72)【発明者】
【氏名】山本 武司
(57)【要約】 （修正有）
【課題】操作者の判断が必要であるロボットの動作の操作を自動化し、操作可能な操作者の多様化を可能にする制御装置、ロボットシステム及び学習装置を提供する
【解決手段】ロボット（１１０）に自動運転で所定作業を実行させる制御を行う制御装置（１４０）は、第１プロセッサを備え、前記第１プロセッサは、前記所定作業の実行中、作業対象であるワーク（Ｗ）の状態を含む状態情報を取得することと、前記状態情報に基づき、前記ワークに関する作業位置の候補を決定することと、前記作業位置の候補の中から前記作業位置を選択することを要求する選択要求を、通信ネットワークを介してデータ通信可能に接続される操作端末（２１０）に送信することと、前記操作端末から、選択された前記作業位置である選択位置の情報を受信すると、前記選択位置に従って前記ロボットに自動運転で動作させることとを実行する。
【選択図】図１
【解決手段】ロボット（１１０）に自動運転で所定作業を実行させる制御を行う制御装置（１４０）は、第１プロセッサを備え、前記第１プロセッサは、前記所定作業の実行中、作業対象であるワーク（Ｗ）の状態を含む状態情報を取得することと、前記状態情報に基づき、前記ワークに関する作業位置の候補を決定することと、前記作業位置の候補の中から前記作業位置を選択することを要求する選択要求を、通信ネットワークを介してデータ通信可能に接続される操作端末（２１０）に送信することと、前記操作端末から、選択された前記作業位置である選択位置の情報を受信すると、前記選択位置に従って前記ロボットに自動運転で動作させることとを実行する。
【選択図】図１
【特許請求の範囲】
【請求項1】
ロボットに自動運転で所定作業を実行させる制御を行う制御装置であって、
第１プロセッサを備え、
前記第１プロセッサは、
前記所定作業の実行中、作業対象であるワークの状態を含む状態情報を取得することと、
前記状態情報に基づき、前記ワークに関する作業位置の候補を決定することと、
前記作業位置の候補の中から前記作業位置を選択することを要求する選択要求を、通信ネットワークを介してデータ通信可能に接続される操作端末に送信することと、
前記操作端末から、選択された前記作業位置である選択位置の情報を受信すると、前記選択位置に従って前記ロボットに自動運転で動作させることとを実行する
制御装置。
第１プロセッサを備え、
前記第１プロセッサは、
前記所定作業の実行中、作業対象であるワークの状態を含む状態情報を取得することと、
前記状態情報に基づき、前記ワークに関する作業位置の候補を決定することと、
前記作業位置の候補の中から前記作業位置を選択することを要求する選択要求を、通信ネットワークを介してデータ通信可能に接続される操作端末に送信することと、
前記操作端末から、選択された前記作業位置である選択位置の情報を受信すると、前記選択位置に従って前記ロボットに自動運転で動作させることとを実行する
制御装置。
【請求項2】
前記状態情報を取得する処理において、前記第１プロセッサは、前記ワークが撮像された画像のデータである第１画像データを取得し、前記第１画像データを画像処理することによって前記状態情報を検出する
請求項１に記載の制御装置。
請求項１に記載の制御装置。
【請求項3】
前記選択要求を前記操作端末に送信する処理において、前記第１プロセッサは、
前記ワークが撮像された画像のデータである第１画像データを取得し、前記第１画像データを画像処理することによって、前記第１画像データの画像上で前記作業位置の候補を表す画像のデータである第２画像データを生成し、
前記第２画像データを用いた前記選択要求を前記操作端末に送信する
請求項１又は２に記載の制御装置。
前記ワークが撮像された画像のデータである第１画像データを取得し、前記第１画像データを画像処理することによって、前記第１画像データの画像上で前記作業位置の候補を表す画像のデータである第２画像データを生成し、
前記第２画像データを用いた前記選択要求を前記操作端末に送信する
請求項１又は２に記載の制御装置。
【請求項4】
前記第１プロセッサは、
前記操作端末から前記選択位置の情報を受信すると、前記選択位置に従った前記ロボットの予定動作を検出することと、
前記予定動作の情報を前記操作端末に送信し提示させることとをさらに実行する
請求項１から３のいずれか一項に記載の制御装置。
前記操作端末から前記選択位置の情報を受信すると、前記選択位置に従った前記ロボットの予定動作を検出することと、
前記予定動作の情報を前記操作端末に送信し提示させることとをさらに実行する
請求項１から３のいずれか一項に記載の制御装置。
【請求項5】
前記第１プロセッサは、前記操作端末による前記予定動作の変更を受け付け、変更された前記予定動作に従って前記ロボットに自動運転で動作させる
請求項４に記載の制御装置。
請求項４に記載の制御装置。
【請求項6】
第１記憶装置をさらに備え、
前記第１記憶装置は、前記ワークの特徴及び前記ワークに設定されている前記所定作業に関する情報を含む第１属性情報を記憶し、
前記第１プロセッサは、前記第１属性情報及び前記選択位置に従って前記ロボットに自動運転で動作させる
請求項１から５のいずれか一項に記載の制御装置。
前記第１記憶装置は、前記ワークの特徴及び前記ワークに設定されている前記所定作業に関する情報を含む第１属性情報を記憶し、
前記第１プロセッサは、前記第１属性情報及び前記選択位置に従って前記ロボットに自動運転で動作させる
請求項１から５のいずれか一項に記載の制御装置。
【請求項7】
前記第１プロセッサは、前記選択位置に対応する前記第１属性情報を前記操作端末に送信し提示させることをさらに実行し、
前記第１プロセッサは、
前記操作端末による前記第１属性情報の変更を受け付け、受け付けた変更内容に従って前記第１属性情報を変更し、
変更された前記第１属性情報及び前記選択位置に従って前記ロボットに自動運転で動作させる
請求項６に記載の制御装置。
前記第１プロセッサは、
前記操作端末による前記第１属性情報の変更を受け付け、受け付けた変更内容に従って前記第１属性情報を変更し、
変更された前記第１属性情報及び前記選択位置に従って前記ロボットに自動運転で動作させる
請求項６に記載の制御装置。
【請求項8】
前記第１属性情報は、前記ロボットが前記ワークに作用を加えることができる位置の情報を含み、
前記作業位置の候補を決定する処理において、前記第１プロセッサは、前記第１属性情報を用いて、前記作業位置の候補として、前記ロボットが前記ワークに作用を加える位置の候補を決定する
請求項６又は７に記載の制御装置。
前記作業位置の候補を決定する処理において、前記第１プロセッサは、前記第１属性情報を用いて、前記作業位置の候補として、前記ロボットが前記ワークに作用を加える位置の候補を決定する
請求項６又は７に記載の制御装置。
【請求項9】
第１記憶装置をさらに備え、
前記第１記憶装置は、前記ワークの周辺環境の特徴及び前記周辺環境に設定されている前記所定作業に関する情報を含む第２属性情報を記憶し、
前記第１プロセッサは、前記第２属性情報及び前記選択位置に従って前記ロボットに自動運転で動作させる
請求項１から８のいずれか一項に記載の制御装置。
前記第１記憶装置は、前記ワークの周辺環境の特徴及び前記周辺環境に設定されている前記所定作業に関する情報を含む第２属性情報を記憶し、
前記第１プロセッサは、前記第２属性情報及び前記選択位置に従って前記ロボットに自動運転で動作させる
請求項１から８のいずれか一項に記載の制御装置。
【請求項10】
前記第１プロセッサは、前記選択位置に対応する前記第２属性情報を前記操作端末に送信し提示させることをさらに実行し、
前記第１プロセッサは、前記操作端末による前記第２属性情報の変更を受け付け、受け付けた変更内容に従って前記第２属性情報を変更し、
変更された前記第２属性情報及び前記選択位置に従って前記ロボットに自動運転で動作させる
請求項９に記載の制御装置。
前記第１プロセッサは、前記操作端末による前記第２属性情報の変更を受け付け、受け付けた変更内容に従って前記第２属性情報を変更し、
変更された前記第２属性情報及び前記選択位置に従って前記ロボットに自動運転で動作させる
請求項９に記載の制御装置。
【請求項11】
前記第２属性情報は、前記周辺環境に対する前記ワークの位置の情報を含み、
前記作業位置の候補を決定する処理において、前記第１プロセッサは、前記第２属性情報を用いて、前記作業位置の候補として、前記周辺環境に対する前記ワークの位置の候補を決定する
請求項９又は１０に記載の制御装置。
前記作業位置の候補を決定する処理において、前記第１プロセッサは、前記第２属性情報を用いて、前記作業位置の候補として、前記周辺環境に対する前記ワークの位置の候補を決定する
請求項９又は１０に記載の制御装置。
【請求項12】
請求項１から１１のいずれか一項に記載の制御装置と、
前記制御装置によって制御される前記ロボットとを備えるロボットシステム。
前記制御装置によって制御される前記ロボットとを備えるロボットシステム。
【請求項13】
前記制御装置と前記制御装置によって制御される前記ロボットとの複数の組み合わせを含む複数のロボットグループと、
前記通信ネットワークにデータ通信可能に接続される仲介装置であって、複数の前記操作端末のうちの選択された前記操作端末と前記複数のロボットグループのうちの選択された前記ロボットグループの前記制御装置との接続を仲介する仲介装置とをさらに備える
請求項１２に記載のロボットシステム。
前記通信ネットワークにデータ通信可能に接続される仲介装置であって、複数の前記操作端末のうちの選択された前記操作端末と前記複数のロボットグループのうちの選択された前記ロボットグループの前記制御装置との接続を仲介する仲介装置とをさらに備える
請求項１２に記載のロボットシステム。
【請求項14】
第２プロセッサと第２記憶装置とを備え、
前記第２記憶装置は、請求項１から１３のいずれか一項に記載の１つ以上の制御装置において取得された、前記状態情報と前記状態情報に対応する前記選択位置とを学習用データとして記憶し、
前記状態情報に対応する前記選択位置は、前記状態情報に基づく前記作業位置の候補の中から選択された前記選択位置であり、
前記第２プロセッサは、
前記学習用データの前記状態情報を学習用入力データとし、前記状態情報に対応する前記学習用データの前記選択位置の情報を教師データとして、学習することと、
ワークの状態を含む状態情報である入力状態情報を入力データとして受け付け、前記入力状態情報に対応する前記ワークに関する作業位置の候補の中の最適な前記作業位置の情報を出力データとして出力することとを実行する
学習装置。
前記第２記憶装置は、請求項１から１３のいずれか一項に記載の１つ以上の制御装置において取得された、前記状態情報と前記状態情報に対応する前記選択位置とを学習用データとして記憶し、
前記状態情報に対応する前記選択位置は、前記状態情報に基づく前記作業位置の候補の中から選択された前記選択位置であり、
前記第２プロセッサは、
前記学習用データの前記状態情報を学習用入力データとし、前記状態情報に対応する前記学習用データの前記選択位置の情報を教師データとして、学習することと、
ワークの状態を含む状態情報である入力状態情報を入力データとして受け付け、前記入力状態情報に対応する前記ワークに関する作業位置の候補の中の最適な前記作業位置の情報を出力データとして出力することとを実行する
学習装置。
【請求項15】
第２プロセッサと第２記憶装置とを備え、
前記第２記憶装置は、請求項１から１３のいずれか一項に記載の１つ以上の制御装置において取得された、前記状態情報と前記状態情報に対応する前記選択位置とを学習用データとして記憶し、
前記状態情報に対応する前記選択位置は、前記状態情報に基づく前記作業位置の候補の中から選択された前記選択位置であり、
前記第２プロセッサは、
前記学習用データの前記状態情報を学習用入力データとし、前記状態情報に対応する前記学習用データの前記選択位置の情報を教師データとして、学習することと、
ワークの状態を含む状態情報である入力状態情報を入力データとして受け付け、前記入力状態情報に対応する前記ワークに関する作業位置の候補の信頼度を出力データとして出力することと、
前記信頼度に基づき、前記ワークに関する任意の位置から最適な前記作業位置を決定し、前記最適な作業位置の情報を出力することとを実行する
学習装置。
前記第２記憶装置は、請求項１から１３のいずれか一項に記載の１つ以上の制御装置において取得された、前記状態情報と前記状態情報に対応する前記選択位置とを学習用データとして記憶し、
前記状態情報に対応する前記選択位置は、前記状態情報に基づく前記作業位置の候補の中から選択された前記選択位置であり、
前記第２プロセッサは、
前記学習用データの前記状態情報を学習用入力データとし、前記状態情報に対応する前記学習用データの前記選択位置の情報を教師データとして、学習することと、
ワークの状態を含む状態情報である入力状態情報を入力データとして受け付け、前記入力状態情報に対応する前記ワークに関する作業位置の候補の信頼度を出力データとして出力することと、
前記信頼度に基づき、前記ワークに関する任意の位置から最適な前記作業位置を決定し、前記最適な作業位置の情報を出力することとを実行する
学習装置。
【発明の詳細な説明】
【関連出願への相互参照】
【0001】
本件出願は、２０２０年１２月１８日に日本特許庁に出願された特願２０２０－２１００１２号の優先権及びその利益を主張するものであり、その全体を参照することにより本件出願の一部をなすものとして引用する。
【技術分野】
【0002】
本開示は、制御装置、ロボットシステム及び学習装置に関する。
【背景技術】
【0003】
従来、手動操縦と自動操縦とを組み合わせた制御により、ロボットに所定の作業を実行させる技術がある。例えば、特開昭６２－１９９３７６号公報は、マスタ及びスレーブを用いた遠隔マニピュレーション装置を開示する。この装置は、操作者の技能の程度を示すデータ及び作業目標から、手動操作部分と自動操作部分とを混ぜた手順プランを作成し、手順プランに沿ってスレーブの動作を制御する。
【発明の概要】
【0004】
例えば、一連の作業の中で、操作者の判断が必要であるスレーブの動作は、特開昭６２－１９９３７６号公報に開示される手動操作部分に該当し得る。手動操作部分の操作者には、操作技能が要求される。近年、ロボット操作の熟練者の高齢化及び後継者不足により、熟練者の減少が懸念される。
【0005】
本開示は、操作者の判断が必要であるロボットの動作の操作を自動化し、操作可能な操作者の多様化を可能にする制御装置、ロボットシステム及び学習装置を提供することを目的とする。
【0006】
本開示の一態様に係る制御装置は、ロボットに自動運転で所定作業を実行させる制御を行う制御装置であって、第１プロセッサを備え、前記第１プロセッサは、前記所定作業の実行中、作業対象であるワークの状態を含む状態情報を取得することと、前記状態情報に基づき、前記ワークに関する作業位置の候補を決定することと、前記作業位置の候補の中から前記作業位置を選択することを要求する選択要求を、通信ネットワークを介してデータ通信可能に接続される操作端末に送信することと、前記操作端末から、選択された前記作業位置である選択位置の情報を受信すると、前記選択位置に従って前記ロボットに自動運転で動作させることとを実行する。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
以下において、本開示の例示的な実施の形態を、図面を参照しつつ説明する。以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。添付の図面における各図は、模式的な図であり、必ずしも厳密に図示されたものでない。各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。本明細書及び請求項では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。
【0009】
［ロボットシステムの構成］
例示的な実施の形態に係るロボットシステム１の構成を説明する。図１は、実施の形態に係るロボットシステム１の構成の一例を示す概略図である。図１に示すように、ロボットシステム１は、ロボット１１０から離れた位置にいる操作者であるユーザＰがリモートアクセス環境でロボット１１０を操作することを可能にするシステムである。ロボットシステム１は、１つ以上のロボットエリアＡＲに配置される構成要素と、１つ以上のユーザエリアＡＵに配置される構成要素とを含む。限定されないが、本実施の形態では、１つのロボットエリアＡＲと、複数のユーザエリアＡＵとが、ロボットシステム１の対象として存在する。
例示的な実施の形態に係るロボットシステム１の構成を説明する。図１は、実施の形態に係るロボットシステム１の構成の一例を示す概略図である。図１に示すように、ロボットシステム１は、ロボット１１０から離れた位置にいる操作者であるユーザＰがリモートアクセス環境でロボット１１０を操作することを可能にするシステムである。ロボットシステム１は、１つ以上のロボットエリアＡＲに配置される構成要素と、１つ以上のユーザエリアＡＵに配置される構成要素とを含む。限定されないが、本実施の形態では、１つのロボットエリアＡＲと、複数のユーザエリアＡＵとが、ロボットシステム１の対象として存在する。
【0010】
ロボットエリアＡＲは、１つ以上のロボット１１０が配置されるエリアである。限定されないが、本実施の形態では、ロボット１１０は産業用ロボットであり、作業を実施する。ロボット１１０は、産業用ロボットに代えて、サービスロボット、建設機械、トンネル掘削機、クレーン、荷役搬送車、及びヒューマノイド等であってもよい。サービスロボットは、介護、医療、清掃、警備、案内、救助、調理、商品提供等の様々なサービス業で使用されるロボットである。ロボットエリアＡＲには、ロボット１１０が作業を行うための周辺環境を形成する構成要素も配置される。
【0011】
ユーザエリアＡＵは、ロボット１１０を操作するユーザＰが滞在するエリアである。限定されないが、本実施の形態では、ユーザエリアＡＵはロボットエリアＡＲから離れた位置に配置され、ロボットシステム１では、多数のユーザエリアＡＵの多数のユーザＰがロボットエリアＡＲのロボット１１０を操作することができる。例えば、多数のユーザエリアＡＵは、ロボットエリアＡＲを含む工場の敷地内の様々な位置、工場を運営する企業の様々な施設内の位置、日本中の様々な位置、又は世界中の様々な位置等に存在してもよい。
【0012】
図２は、実施の形態に係るロボットエリアＡＲの構成の一例を示す図である。図１及び図２に示すように、ロボットエリアＡＲにおいて、ロボットシステム１は、１つ以上のロボット１１０と、ロボット１１０の周辺機器１２０と、撮像装置１３１から１３４と、制御装置１４０と、ロボット通信装置１５０とを含む。制御装置１４０は、ロボット１１０、周辺機器１２０、撮像装置１３１から１３４並びにロボット通信装置１５０と、有線通信、無線通信又はこれらの組み合わせを介して接続される。いかなる有線通信及び無線通信が用いられてもよい。ロボット通信装置１５０は、通信ネットワークＮとデータ通信可能に接続される。
【0013】
図１に示すように、各ユーザエリアＡＵにおいて、ロボットシステム１は、操作端末２１０と、ユーザ通信装置２２０と、提示装置２３０とを含む。ユーザ通信装置２２０は、操作端末２１０及び提示装置２３０と、有線通信、無線通信又はこれらの組み合わせを介して接続される。いかなる有線通信及び無線通信が用いられてもよい。ユーザ通信装置２２０は、通信ネットワークＮとデータ通信可能に接続される。例えば、１つのユーザエリアＡＵに複数のユーザＰが存在する場合、当該ユーザエリアＡＵに、１つ以上の操作端末２１０と１つ以上の提示装置２３０と１つ以上のユーザ通信装置２２０とが配置されてもよい。
【0014】
さらに、ロボットシステム１は、通信ネットワークＮとデータ通信可能に接続されるサーバ３１０を含む。サーバ３１０は、通信ネットワークＮを介した通信を管理する。サーバ３１０は、コンピュータ装置を含む。サーバ３１０は、ロボット通信装置１５０とユーザ通信装置２２０との間の通信の認証、接続及び接続解除等を管理する。例えば、サーバ３１０は、ロボットシステム１に登録されているロボット通信装置１５０及びユーザ通信装置２２０の識別情報及びセキュリティ情報等を記憶し、当該情報を用いて、各装置のロボットシステム１への接続の資格を認証する。サーバ３１０は、ロボット通信装置１５０とユーザ通信装置２２０との間のデータの送受信を管理し、当該データはサーバ３１０を経由してもよい。サーバ３１０は、送信元から送信されるデータを、送信先が利用可能なデータ型式に変換するように構成されてもよい。サーバ３１０は、ロボット１１０の操作の過程で操作端末２１０と制御装置１４０との間で送受信された情報、指令及びデータ等を記憶し蓄積するように構成されてもよい。サーバ３１０は仲介装置の一例である。
【0015】
通信ネットワークＮは特に限定されず、例えば、ローカルエリアネットワーク（Local Area Network：ＬＡＮ）、広域ネットワーク（Wide Area Network：ＷＡＮ）、インターネット、又はこれらの２つ以上の組み合わせを含むことができる。通信ネットワークＮは、ブルートゥース（Bluetooth）（登録商標）及びＺｉｇＢｅｅ（登録商標）などの近距離無線通信、ネットワーク専用回線、通信事業者の専用回線、公衆交換電話網（Public Switched Telephone Network：ＰＳＴＮ）、モバイル通信網、インターネット網、衛星通信、又は、これらの２つ以上の組み合わせを用いるように構成され得る。モバイル通信網は、第４世代移動通信システム及び第５世代移動通信システム等を用いるものであってもよい。通信ネットワークＮは、１つ又は複数のネットワークを含むことができる。本実施の形態では、通信ネットワークＮはインターネットである。
【0016】
［ロボットエリアの構成要素］
ロボットエリアＡＲの構成要素の一例を説明する。図１及び図２に示すように、本実施の形態では、ロボット１１０は、ロボットアーム１１１と、ロボットアーム１１１の先端に取り付けられるエンドエフェクタ１１２とを備える。ロボットアーム１１１は複数の関節を有し、多自由度に動作することができる。ロボットアーム１１１は、エンドエフェクタ１１２を様々な位置及び姿勢に移動させることができる。エンドエフェクタ１１２は、処理の対象物であるワークＷに作用を加えることができる。エンドエフェクタ１１２の作用は特に限定されないが、本実施の形態ではワークＷを把持する作用である。
ロボットエリアＡＲの構成要素の一例を説明する。図１及び図２に示すように、本実施の形態では、ロボット１１０は、ロボットアーム１１１と、ロボットアーム１１１の先端に取り付けられるエンドエフェクタ１１２とを備える。ロボットアーム１１１は複数の関節を有し、多自由度に動作することができる。ロボットアーム１１１は、エンドエフェクタ１１２を様々な位置及び姿勢に移動させることができる。エンドエフェクタ１１２は、処理の対象物であるワークＷに作用を加えることができる。エンドエフェクタ１１２の作用は特に限定されないが、本実施の形態ではワークＷを把持する作用である。
【0017】
限定されないが、本実施の形態では、ロボットアーム１１１は、６つの関節ＪＴ１からＪＴ６と、関節ＪＴ１からＪＴ６のそれぞれを駆動する駆動装置としてのサーボモータＲＭ１からＲＭ６とを含む。ロボットアーム１１１の関節の数量は、６つに限定されず、５つ以下又は７つ以上のいかなる数量であってもよい。エンドエフェクタ１１２は、把持動作を可能である把持部分１１２ａと、把持部分１１２ａを駆動する駆動装置としてのサーボモータＥＭ１とを含む。例えば、把持部分１１２ａは、サーボモータＥＭ１の駆動によって把持動作及び把持解除動作をする２つ以上の指状部材を含んでもよい。エンドエフェクタ１１２の駆動装置は、サーボモータＥＭ１を必須とせず、エンドエフェクタ１１２の構成に応じた構成を有すればよい。例えば、エンドエフェクタ１１２が負圧によりワークＷを吸着する構成を有する場合、エンドエフェクタ１１２は、その駆動装置としての負圧発生装置と接続される。
【0018】
周辺機器１２０は、ロボット１１０の周辺に配置される。例えば、周辺機器１２０は、ロボット１１０の動作と連携して動作させられてもよい。周辺機器１２０の動作は、ワークＷに作用を与える動作であってもよく、当該作用を与えない動作であってもよい。限定されないが、本実施の形態では、周辺機器１２０は、ワークＷを搬送可能なベルトコンベヤ１２１と、ワークＷを自律的に搬送可能である無人搬送車（以下、単に「搬送車」と表記する）１２２Ａ及び１２２Ｂとを含む。例えば、無人搬送車は、ＡＧＶ（Automatic Guided Vehicle）であってもよい。周辺機器１２０は必須ではない。以下において、「ベルトコンベヤ１２１」及び「搬送車１２２Ａ及び１２２Ｂ」について、個別に表現される場合にそれぞれの呼称が用いられ、まとめて表現される場合に「周辺機器１２０」という呼称が用いられ得る。
【0019】
撮像装置１３１から１３４は、デジタル画像を撮像するカメラを備え、カメラによって撮像された画像のデータを制御装置１４０に送るように構成される。制御装置１４０は、撮像装置１３１から１３４によって撮像された画像データをネットワーク送信可能なデータに処理し、通信ネットワークＮを介して、ユーザエリアＡＵの操作端末２１０、提示装置２３０又はこれらの両方に送るように構成されてもよい。カメラは、被写体までの距離等のカメラに対する被写体の３次元位置を検出するための画像を撮像できるカメラであってもよい。３次元位置は、３次元空間内での位置である。例えば、カメラは、ステレオカメラ、単眼カメラ、ＴＯＦカメラ（トフカメラ：Time-of-Flight-Camera）、縞投影等のパターン光投影カメラ、又は光切断法を用いたカメラ等の構成を有してもよい。本実施の形態では、ステレオカメラが用いられる。
【0020】
撮像装置１３１は、ロボットアーム１１１の先端付近に配置され、エンドエフェクタ１１２に向けて方向付けられている。撮像装置１３１は、エンドエフェクタ１１２の作用対象のワークＷを撮像することができる。撮像装置１３１は、上記ワークＷを撮像できれば、ロボット１１０のいかなる位置に配置されてもよい。撮像装置１３２は、ロボットエリアＡＲ内で固定して配置され、ロボット１１０及びベルトコンベヤ１２１を、例えば上方から撮像する。撮像装置１３３及び１３４はそれぞれ、ロボットエリアＡＲ内で固定して配置され、ロボット１１０の近傍の待機場所に待機する搬送車１２２Ａ及び１２２Ｂを、例えば上方から撮像する。撮像装置１３１から１３４は、それぞれのカメラを支持し、当該カメラの向きを自在に変えるように動作することができる雲台を備えてもよい。撮像装置１３１から１３４の動作、つまりカメラ及び雲台の動作は、制御装置１４０によって制御される。
【0021】
制御装置１４０は、情報処理装置１４１とロボットコントローラ１４２とを含む。ロボットコントローラ１４２は、ロボット１１０及び周辺機器１２０の動作を制御するように構成される。情報処理装置１４１は、ロボット通信装置１５０とユーザ通信装置２２０との間で送受信される様々な情報、指令及びデータ等を処理するように構成される。例えば、情報処理装置１４１は、ロボットコントローラ１４２及び撮像装置１３１から１３４から受け取る指令、情報及びデータ等を処理し、操作端末２１０、提示装置２３０又はこれらの両方に送るように構成される。例えば、情報処理装置１４１は、操作端末２１０から受け取る指令、情報及びデータ等を処理し、ロボットコントローラ１４２に送るように構成される。
【0022】
情報処理装置１４１及びロボットコントローラ１４２はコンピュータ装置を含む。情報処理装置１４１の構成は特に限定されないが、例えば、情報処理装置１４１は、電子回路基板、電子制御ユニット、マイクロコンピュータ、パーソナルコンピュータ、ワークステーション、スマートフォン及びタブレットなどのスマートデバイス、並びにその他の電子機器等であってもよい。ロボットコントローラ１４２は、ロボット１１０及び周辺機器１２０に供給する電力を制御するための電気回路を含んでもよい。
【0023】
ロボット通信装置１５０は、通信ネットワークＮと接続可能である通信インタフェースを備える。ロボット通信装置１５０は、制御装置１４０と、具体的には情報処理装置１４１と接続され、情報処理装置１４１と通信ネットワークＮとをデータ通信可能に接続する。ロボット通信装置１５０は、例えば、モデム、ＯＮＵ（Optical Network Unit：光回線の終端装置）、ルータ及びモバイルデータ通信機器等の通信機器を含んでもよい。ロボット通信装置１５０は、演算機能等を有するコンピュータ装置を含んでもよい。ロボット通信装置１５０は、制御装置１４０に含まれてもよい。
【0024】
［ユーザエリアの構成要素］
ユーザエリアＡＵの構成要素の一例を説明する。図１に示すように、操作端末２１０は、ユーザＰによる指令、情報及びデータ等の入力を受け付け、受け付けた指令、情報及びデータ等を他の装置に出力するように構成される。操作端末２１０は、ユーザＰによる入力を受け付ける操作入力装置２１１と、端末コンピュータ２１２とを含む。端末コンピュータ２１２は、操作入力装置２１１を介して受け付けた指令、情報及びデータ等を処理し他の装置に出力すること、及び、他の装置からの指令、情報及びデータ等の入力を受け付け、当該指令、情報及びデータ等を処理することを実行するように構成される。限定されないが、本実施の形態では、操作端末２１０は、制御装置１４０から送られる撮像装置１３１から１３４の画像データを提示装置２３０に表示可能なデータに変換し、提示装置２３０に出力し表示させる。操作端末２１０は、操作入力装置２１１及び端末コンピュータ２１２を、一体の装置として含んでもよく、別々の装置として含んでもよい。
ユーザエリアＡＵの構成要素の一例を説明する。図１に示すように、操作端末２１０は、ユーザＰによる指令、情報及びデータ等の入力を受け付け、受け付けた指令、情報及びデータ等を他の装置に出力するように構成される。操作端末２１０は、ユーザＰによる入力を受け付ける操作入力装置２１１と、端末コンピュータ２１２とを含む。端末コンピュータ２１２は、操作入力装置２１１を介して受け付けた指令、情報及びデータ等を処理し他の装置に出力すること、及び、他の装置からの指令、情報及びデータ等の入力を受け付け、当該指令、情報及びデータ等を処理することを実行するように構成される。限定されないが、本実施の形態では、操作端末２１０は、制御装置１４０から送られる撮像装置１３１から１３４の画像データを提示装置２３０に表示可能なデータに変換し、提示装置２３０に出力し表示させる。操作端末２１０は、操作入力装置２１１及び端末コンピュータ２１２を、一体の装置として含んでもよく、別々の装置として含んでもよい。
【0025】
操作端末２１０の構成は特に限定されず、例えば、操作端末２１０は、パーソナルコンピュータなどのコンピュータ、スマートフォン及びタブレットなどのスマートデバイス、個人情報端末、ゲーム端末、ロボットへの教示作業に使用されるティーチペンダントなどの既知の教示装置、ロボットの既知の操作装置、その他の操作装置、その他の端末装置、これらを利用する装置、並びに、これらを改良した装置等であってもよい。操作端末２１０は、ロボットシステム１のために考案される専用の装置であってもよいが、一般市場において入手可能な汎用的な装置であってもよい。本実施の形態では、操作端末２１０には既知の汎用的な装置が用いられる。当該装置は、専用のソフトウェアがインストールされることによって、本開示の操作端末２１０の機能を実現するように構成されてもよい。
【0026】
操作入力装置２１１の構成は特に限定されず、例えば、操作入力装置２１１は、ボタン、レバー、ダイヤル、ジョイスティック、マウス、キー、タッチパネル及びモーションキャプチャ等のユーザＰの操作を介して入力される装置を含んでもよい。本実施の形態では、操作入力装置２１１は、上記装置として、既知の汎用的な装置を含む。
【0027】
本実施の形態では、操作端末２１０は、パーソナルコンピュータ、スマートフォン又はタブレットである。操作端末２１０は、パーソナルコンピュータである場合、ユーザ通信装置２２０及び提示装置２３０を含まないが、これらのうちの１つ以上を含んでもよい。操作端末２１０は、スマートフォン又はタブレットである場合、ユーザ通信装置２２０及び提示装置２３０を含む。
【0028】
提示装置２３０は、画像をユーザＰに表示するディスプレイを含む。提示装置２３０は、操作端末２１０を介して制御装置１４０から受け取る画像データの画像を表示する。上記画像データの例は、撮像装置１３１から１３４によって撮像された画像データ、及び、ロボット１１０の操作に関連する画面のデータである。提示装置２３０は、音声をユーザＰに発するスピーカを含んでもよい。提示装置２３０は、操作端末２１０を介して制御装置１４０から受け取る音声データの音声を出力する。提示装置２３０は、操作端末２１０に含まれてもよい。
【0029】
ユーザ通信装置２２０は、通信ネットワークＮと接続可能である通信インタフェースを備える。ユーザ通信装置２２０は、操作端末２１０と接続され、操作端末２１０と通信ネットワークＮとをデータ通信可能に接続する。ユーザ通信装置２２０は、例えば、モデム、ＯＮＵ、ルータ及びモバイルデータ通信機器等の通信機器を含んでもよい。ユーザ通信装置２２０は、演算機能等を有するコンピュータ装置を含んでもよい。ユーザ通信装置２２０は、操作端末２１０に含まれてもよい。
【0030】
［制御装置のハードウェア構成］
実施の形態に係る制御装置１４０のハードウェア構成の一例を説明する。図３は、実施の形態に係る制御装置１４０のハードウェア構成の一例を示すブロック図である。図３に示すように、情報処理装置１４１は、プロセッサ１４１１と、メモリ１４１２と、ストレージ１４１３と、入出力Ｉ／Ｆ（インタフェース：Interface）１４１４から１４１６とを構成要素として含む。情報処理装置１４１の各構成要素は、バス１４１７によって相互に接続されるが、いかなる有線通信又は無線通信で接続されてもよい。ロボットコントローラ１４２は、プロセッサ１４２１と、メモリ１４２２と、入出力Ｉ／Ｆ１４２３と、通信Ｉ／Ｆ１４２４及び１４２５と、駆動Ｉ／Ｆ１４２６とを構成要素として含む。ロボットコントローラ１４２は、ストレージを含んでもよい。ロボットコントローラ１４２の各構成要素は、バス１４２７によって相互に接続されるが、いかなる有線通信又は無線通信で接続されてもよい。情報処理装置１４１及びロボットコントローラ１４２それぞれに含まれる構成要素の全てが必須ではない。
実施の形態に係る制御装置１４０のハードウェア構成の一例を説明する。図３は、実施の形態に係る制御装置１４０のハードウェア構成の一例を示すブロック図である。図３に示すように、情報処理装置１４１は、プロセッサ１４１１と、メモリ１４１２と、ストレージ１４１３と、入出力Ｉ／Ｆ（インタフェース：Interface）１４１４から１４１６とを構成要素として含む。情報処理装置１４１の各構成要素は、バス１４１７によって相互に接続されるが、いかなる有線通信又は無線通信で接続されてもよい。ロボットコントローラ１４２は、プロセッサ１４２１と、メモリ１４２２と、入出力Ｉ／Ｆ１４２３と、通信Ｉ／Ｆ１４２４及び１４２５と、駆動Ｉ／Ｆ１４２６とを構成要素として含む。ロボットコントローラ１４２は、ストレージを含んでもよい。ロボットコントローラ１４２の各構成要素は、バス１４２７によって相互に接続されるが、いかなる有線通信又は無線通信で接続されてもよい。情報処理装置１４１及びロボットコントローラ１４２それぞれに含まれる構成要素の全てが必須ではない。
【0031】
例えば、情報処理装置１４１は回路を含み、当該回路はプロセッサ１４１１及びメモリ１４１２を含む。ロボットコントローラ１４２は回路を含み、当該回路はプロセッサ１４２１及びメモリ１４２２を含む。これらの回路は、処理回路を含み得る。情報処理装置１４１の回路、プロセッサ１４１１及びメモリ１４１２はそれぞれ、ロボットコントローラ１４２の回路、プロセッサ１４２１及びメモリ１４２２に対して、別々であってもよく、一体化されてもよい。回路は、他の装置との指令、情報及びデータ等の送受信を行う。回路は、各種機器からの信号の入力及び各制御対象への制御信号の出力を行う。プロセッサ１４１１及び１４２１は、第１プロセッサの一例である。
【0032】
メモリ１４１２及び１４２２はそれぞれ、プロセッサ１４１１及び１４２１が実行するプログラム、及び各種データ等を記憶する。メモリ１４１２及び１４２２は、例えば、揮発性メモリ及び不揮発性メモリである半導体メモリ等の記憶装置を含んでもよい。限定されないが、本実施の形態では、メモリ１４１２及び１４２２は、揮発性メモリであるＲＡＭ（Random Access Memory）と不揮発性メモリであるＲＯＭ（Read-Only Memory）とを含む。メモリ１４１２及び１４２２は、第１記憶装置の一例である。
【0033】
ストレージ１４１３は、各種データを記憶する。ストレージ１４１３は、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）及び固体ドライブ（ＳＳＤ：Solid State Drive）等の記憶装置を含んでもよい。ストレージ１４１３は、第１記憶装置の一例である。
【0034】
プロセッサ１４１１及び１４２１はいずれも、ＲＡＭ及びＲＯＭと一緒にコンピュータシステムを形成する。情報処理装置１４１のコンピュータシステムは、プロセッサ１４１１がＲＡＭをワークエリアとして用いてＲＯＭに記録されたプログラムを実行することによって、情報処理装置１４１の機能を実現してもよい。ロボットコントローラ１４２のコンピュータシステムは、プロセッサ１４２１がＲＡＭをワークエリアとして用いてＲＯＭに記録されたプログラムを実行することによって、ロボットコントローラ１４２の機能を実現してもよい。
【0035】
情報処理装置１４１及びロボットコントローラ１４２の機能の一部又は全部は、上記コンピュータシステムにより実現されてもよく、電子回路又は集積回路等の専用のハードウェア回路により実現されてもよく、上記コンピュータシステム及びハードウェア回路の組み合わせにより実現されてもよい。情報処理装置１４１及びロボットコントローラ１４２はそれぞれ、単一の装置による集中制御により各処理を実行するように構成されてもよく、複数の装置の協働による分散制御により各処理を実行するように構成されてもよい。
【0036】
限定されないが、例えば、プロセッサ１４１１及び１４２１は、ＣＰＵ（中央処理装置：Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、マイクロプロセッサ（microprocessor）、プロセッサコア（processor core）、マルチプロセッサ（multiprocessor）、ＡＳＩＣ（Application-Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等を含み、ＩＣ（集積回路）チップ、ＬＳＩ（Large Scale Integration）等に形成された論理回路又は専用回路によって各処理を実現してもよい。複数の処理は、１つ又は複数の集積回路により実現されてもよく、１つの集積回路により実現されてもよい。
【0037】
情報処理装置１４１及びロボットコントローラ１４２は、互いの機能の少なくとも一部を含むように構成されてもよく、一体化されてもよい。
【0038】
情報処理装置１４１の第１入出力Ｉ／Ｆ１４１４は、情報処理装置１４１とロボットコントローラ１４２とを接続し、これらの間での情報、指令及びデータ等の入出力を可能にする。第２入出力Ｉ／Ｆ１４１５は、情報処理装置１４１とロボット通信装置１５０とを接続し、これらの間での情報、指令及びデータ等の入出力を可能にする。第３入出力Ｉ／Ｆ１４１６は、情報処理装置１４１と撮像装置１３１から１３４とを接続し、これらの間での情報、指令及びデータ等の入出力を可能にする。
【0039】
ロボットコントローラ１４２の入出力Ｉ／Ｆ１４２３は、ロボットコントローラ１４２と情報処理装置１４１の第１入出力Ｉ／Ｆ１４１４とを接続し、これらの間での情報、指令及びデータ等の入出力を可能にする。
【0040】
第１通信Ｉ／Ｆ１４２４は、ロボットコントローラ１４２とベルトコンベヤ１２１とを有線通信、無線通信又はこれらの組み合わせを介して接続し、これらの間での信号等の送受信を可能にする。第１通信Ｉ／Ｆ１４２４は通信回路を含んでもよい。例えば、ロボットコントローラ１４２は、稼働実行、稼働停止及び動作速度等のベルトコンベヤ１２１の動作状態を示す信号を受信し、当該動作状態に応じてロボット１１０の動作を制御するように構成されてもよい。ロボットコントローラ１４２は、移送状況等のワークＷの処理状況に応じて動作状態を指令する信号をベルトコンベヤ１２１に送信し、ベルトコンベヤ１２１の動作を制御するように構成されてもよい。
【0041】
第２通信Ｉ／Ｆ１４２５は、ロボットコントローラ１４２と搬送車１２２Ａ及び１２２Ｂとを有線通信、無線通信又はこれらの組み合わせを介して接続し、これらの間での信号等の送受信を可能にする。第２通信Ｉ／Ｆ１４２５は通信回路を含んでもよい。例えば、ロボットコントローラ１４２は、ロボット１１０に対する位置、待機位置への到着及び待機位置からの離脱等の搬送車１２２Ａ及び１２２Ｂの動作状態を示す信号を受信し、当該動作状態に応じてロボット１１０の動作を制御するように構成されてもよい。ロボットコントローラ１４２は、積み込み状況等のワークＷの処理状況に応じて動作状態を指令する信号を搬送車１２２Ａ及び１２２Ｂに送信し、搬送車１２２Ａ及び１２２Ｂの動作を制御するように構成されてもよい。
【0042】
駆動Ｉ／Ｆ１４２６は、ロボットコントローラ１４２とロボット１１０の駆動回路１１３とを接続し、これらの間での信号等の送受信を可能にする。駆動回路１１３は、ロボットコントローラ１４２から受信する信号に含まれる指令値に従って、ロボットアーム１１１のサーボモータＲＭ１からＲＭ６及びエンドエフェクタ１１２のサーボモータＥＭ１に供給する電力を制御するように構成される。例えば、駆動回路１１３は、サーボモータＲＭ１からＲＭ６及びＥＭ１に互いに連携させて駆動させることができる。
【0043】
ロボットコントローラ１４２は、サーボモータＲＭ１からＲＭ６及びＥＭ１をサーボ制御するように構成されてもよい。ロボットコントローラ１４２は、サーボモータＲＭ１からＲＭ６及びＥＭ１それぞれが備える回転センサの検出値と、駆動回路１１３からサーボモータＲＭ１からＲＭ６及びＥＭ１への電流の指令値とを、フィードバック情報として駆動回路１１３から受信する。ロボットコントローラ１４２は、フィードバック情報を用いてサーボモータＲＭ１からＲＭ６及びＥＭ１の駆動の指令値を決定し、駆動回路１１３に送信する。
【0044】
ロボットコントローラ１４２は、複数のサーボモータの軸制御を互いに連携するように構成されてもよい。ロボットコントローラ１４２は、複数の軸制御のうちの一部であるロボット軸制御としてサーボモータＲＭ１からＲＭ６を制御し、複数の軸制御のうちの一部である外部軸制御としてサーボモータＥＭ１を制御するように構成されてもよい。
【0045】
操作端末２１０のハードウェア構成について、操作端末２１０には汎用的な装置が利用可能であるため、当該ハードウェア構成の詳細な説明を省略する。操作端末２１０の端末コンピュータ２１２は、情報処理装置１４１等と同様にプロセッサ及びメモリを含む。端末コンピュータ２１２は、端末コンピュータ２１２と操作入力装置２１１との接続、端末コンピュータ２１２とユーザ通信装置２２０との接続、及び、端末コンピュータ２１２と提示装置２３０との接続のそれぞれを確立するための入出力Ｉ／Ｆも含み得る。
【0046】
［制御装置の機能的構成］
図４を参照しつつ、実施の形態に係る制御装置１４０の機能的構成の一例を説明する。図４は、実施の形態に係る制御装置１４０の機能的構成の一例を示すブロック図である。情報処理装置１４１は、受信情報処理部１４１ａと、送信情報処理部１４１ｂと、撮像制御部１４１ｃと、画像処理部１４１ｄ１から１４１ｄ３と、モデル生成部１４１ｅと、候補決定部１４１ｆと、予定動作検出部１４１ｇと、動作指令部１４１ｈと、属性情報処理部１４１ｉ１及び１４１ｉ２と、記憶部１４１ｓ１から１４１ｓ５とを機能的構成要素として含む。記憶部１４１ｓ１から１４１ｓ５を除く機能的構成要素の機能は、プロセッサ１４１１等によって実現され、記憶部１４０ｓ１から１４０ｓ５の機能は、メモリ１４１２、ストレージ１４１３又はこれらの組み合わせ等によって実現される。上記の機能的構成要素の全てが必須ではない。
図４を参照しつつ、実施の形態に係る制御装置１４０の機能的構成の一例を説明する。図４は、実施の形態に係る制御装置１４０の機能的構成の一例を示すブロック図である。情報処理装置１４１は、受信情報処理部１４１ａと、送信情報処理部１４１ｂと、撮像制御部１４１ｃと、画像処理部１４１ｄ１から１４１ｄ３と、モデル生成部１４１ｅと、候補決定部１４１ｆと、予定動作検出部１４１ｇと、動作指令部１４１ｈと、属性情報処理部１４１ｉ１及び１４１ｉ２と、記憶部１４１ｓ１から１４１ｓ５とを機能的構成要素として含む。記憶部１４１ｓ１から１４１ｓ５を除く機能的構成要素の機能は、プロセッサ１４１１等によって実現され、記憶部１４０ｓ１から１４０ｓ５の機能は、メモリ１４１２、ストレージ１４１３又はこれらの組み合わせ等によって実現される。上記の機能的構成要素の全てが必須ではない。
【0047】
ロボットコントローラ１４２は、駆動指令部１４２ａと、動作情報処理部１４２ｂと、記憶部１４２ｃとを機能的構成要素として含む。駆動指令部１４２ａ及び動作情報処理部１４２ｂの機能は、プロセッサ１４２１等によって実現され、記憶部１４２ｃの機能は、メモリ１４２２等によって実現される。上記の機能的構成要素の全てが必須ではない。
【0048】
記憶部１４１ｓ１から１４１ｓ５及び１４２ｃは、様々な情報及びデータ等を記憶し、記憶している情報及びデータ等の読み出しを可能にする。
【0049】
第１記憶部１４１ｓ１は、ロボット１１０に自動で所定作業を実行させるための制御プログラムを記憶する。例えば、制御プロラムは、ロボット１１０に目的の動作をさせる過程における、ロボット１１０の各部の動作量、動作方向、動作速度及び加速度等を演算するための演算プログラム、演算式又はこれらの組み合わせ等を含み得る。例えば、図２に示すように、本実施の形態では、制御プログラムは、ベルトコンベヤ１２１によって搬送される飲料瓶であるワークＷを搬送車１２２Ａ又は１２２Ｂに移載する所定作業を、ロボット１１０に自動で実行させるためのプログラムである。当該所定作業では、ワークＷは、２種類のワークＷＡ及びＷＢを含み、ワークＷＡは搬送車１２２Ａに移載され、ワークＷＢは搬送車１２２Ｂに移載される。
【0050】
第１記憶部１４１ｓ１は、ロボット１１０の情報を記憶してもよい。ロボット１１０の情報は、例えば、ロボットアーム１１１及びエンドエフェクタ１１２の種類、識別情報及び特性等を含み得る。ロボットアーム１１１の特性は、ロボットアーム１１１の位置、型式、形状、寸法、動作方向及び動作範囲等、並びに、関節の位置、種類、動作方向及び動作範囲等を含み得る。エンドエフェクタ１１２の特性は、エンドエフェクタ１１２の形状及び寸法、並びに、エンドエフェクタ１１２の動作部分の位置、動作方向及び動作範囲等を含み得る。ロボットアーム１１１及びエンドエフェクタ１１２の特性は、これらの弾性、塑性、靭性、脆性及び展延性等を含んでもよい。ロボット１１０の情報は、ロボットアーム１１１及びエンドエフェクタ１１２の２次元モデル及び３次元モデル等の仮想的なモデルを含んでもよい。
【0051】
第２記憶部１４１ｓ２は、ワークＷに関する情報を記憶する。例えば、第２記憶部１４１ｓ２は、ワークＷの第１属性情報を記憶する。第１属性情報は、ワークＷの特徴と、ワークＷに設定されている所定作業に関する情報であるワーク作業情報とを含む。ワークＷの特徴は、例えば、ワークＷの種類、呼称、識別情報及び特性等を含み得る。ワークＷの特性は、ワークＷの形状、寸法、重量、弾性、塑性、靭性、脆性、展延性、中空、中実、重心位置及び開口位置等を含み得る。飲料瓶としてのワークＷＡ及びＷＢの場合、ワークＷの特徴は、内容物の有無、種類及び量、並びに、開口の閉鎖の有無等も含み得る。第１属性情報は、ワークＷの特徴として、ワークＷの２次元モデル及び３次元モデル等のワークＷの仮想的なモデルを含んでもよい。
【0052】
ワーク作業情報は、ワークＷが処理を受ける順番、ワークＷに与えることができる速度及び加速度、エンドエフェクタ１１２による作用を与えることができるワークＷ上の位置、エンドエフェクタ１１２による作用を与えているときのワークＷの状態等を含み得る。本実施の形態では、ワーク作業情報は、ワークＷにおけるエンドエフェクタ１１２による把持が可能な位置を含み得、例えば、把持位置の候補を含み得る。ワーク作業情報は、ロボット１１０による移送中におけるワークＷの姿勢の候補を含み得る。ワーク作業情報は、エンドエフェクタ１１２による把持の際にワークＷに加えることができる把持力を含み得、例えば、把持力の候補を含み得る。ワークＷの特徴及びワーク作業情報は、ワークＷ及び所定作業に応じて設定され得る。
【0053】
図５は、実施の形態に係る第１属性情報に含まれるワーク作業情報の一例を示す図である。図５に示すように、例えば、ワークＷＡにおいて、開口端である上端の把持位置ＧＰ１と、底端の把持位置ＧＰ２と、上端及び底端の間の側部の複数の把持位置ＧＰ３からＧＰ８とが、把持位置の候補として予め設定される。ワークＷＡのワーク作業情報は、把持位置ＧＰ１からＧＰ８の情報を含む。ワークＷＢのワーク作業情報も、ワークＷＡのワーク作業情報と同様の把持位置の情報を含み得る。
【0054】
図６は、実施の形態に係る第１属性情報に含まれるワーク作業情報の別の一例を示す図である。図６に示すように、例えば、ワークＷＡの姿勢Ｐａ、Ｐｂ、Ｐｃ及びＰｄが、ベルトコンベヤ１２１から搬送車１２２Ａ及び１２２Ｂへの移送中のワークＷＡの姿勢の候補として予め設定される。ワークＷＡのワーク作業情報は、姿勢Ｐａ、Ｐｂ、Ｐｃ及びＰｄの情報を含む。ワークＷＢのワーク作業情報も、ワークＷＡのワーク作業情報と同様の姿勢の情報を含み得る。
【0055】
第３記憶部１４１ｓ３は、ロボットエリアＡＲ内のロボット１１０以外の構成要素に関する情報を含む。例えば、第３記憶部１４１ｓ３は、第２属性情報及び第３属性情報を記憶する。第２属性情報は、ワークＷの周辺環境の特徴と、当該周辺環境に設定されている所定作業に関する情報である周辺環境作業情報とを含む。ワークＷの周辺環境の特徴は、例えば、ロボット１１０以外のワークＷを取り扱う装置、設備及び機器等のワーク取扱要素の特徴を含む。本実施の形態では、ワークＷの周辺環境の特徴は、周辺機器１２０の特徴、具体的には、ベルトコンベヤ１２１並びに搬送車１２２Ａ及び１２２Ｂの特徴を含む。
【0056】
例えば、第３属性情報は、第２属性情報に含まれる周辺環境以外のロボットエリアＡＲ内の構成要素の特徴を含む。本実施の形態では、第３属性情報は、撮像装置１３１から１３４の特徴を含む。当該特徴は、例えば、撮像装置１３１から１３４の識別情報及び特性等を含み得る。撮像装置１３１から１３４の特性は、撮像装置１３１から１３４の位置、姿勢、形状、寸法、設置方法、及び、他の構成要素との必要な離隔距離等を含み得る。
【0057】
ベルトコンベヤ１２１の特徴は、例えば、ベルトコンベヤ１２１の種類、呼称、識別情報及び特性等を含み得る。ベルトコンベヤ１２１の特性は、ベルトコンベヤ１２１の位置、姿勢、形状及び寸法、ベルトコンベヤ１２１におけるロボット１１０の作業領域の位置、姿勢、形状及び寸法、上記作業領域の周囲の空間を遮る物体の有無、並びに、当該物体の位置、姿勢、形状及び寸法等を含み得る。
【0058】
搬送車１２２Ａ及び１２２Ｂの特徴は、例えば、搬送車１２２Ａ及び１２２Ｂの種類、呼称、識別情報及び特性等を含み得る。搬送車１２２Ａ及び１２２Ｂの特性は、搬送車１２２Ａ及び１２２Ｂの待機位置、待機姿勢、形状及び寸法、並びに、搬送車１２２Ａ及び１２２ＢにおけるワークＷＡ及びＷＢの載置部分１２２Ａａ及び１２２Ｂａの特性等を含み得る。待機位置及び待機姿勢は、ロボット１１０によるワークＷＡ及びＷＢの処理を受けるときの搬送車１２２Ａ及び１２２Ｂの位置及び向きである。載置部分１２２Ａａ及び１２２Ｂａの特性は、載置部分１２２Ａａ及び１２２Ｂａの表面の位置、形状、寸法、傾斜量、弾性、塑性、靭性、脆性及び展延性等を含み得る。表面の形状は、平面視での平面形状及び鉛直方向への凹凸形状等を含み得る。さらに、搬送車１２２Ａ及び１２２Ｂの特性は、載置部分１２２Ａａ及び１２２Ｂａの周囲の空間を遮る物体の有無、並びに、当該物体の位置、形状及び寸法等を含み得る。
【0059】
第２属性情報は、ベルトコンベヤ１２１並びに搬送車１２２Ａ及び１２２Ｂの特徴として、ベルトコンベヤ１２１並びに搬送車１２２Ａ及び１２２Ｂの２次元モデル及び３次元モデル等の仮想的なモデルを含んでもよい。第３記憶部１４１ｓ３は、ロボットエリアＡＲ内のベルトコンベヤ１２１並びに搬送車１２２Ａ及び１２２Ｂ以外の構成要素の情報として、当該構成要素の仮想的なモデルを含んでもよい。
【0060】
周辺環境作業情報は、例えば、ロボット１１０以外のワークＷを取り扱うワーク取扱要素に対する所定作業に関する情報を含む。周辺環境作業情報は、ワーク取扱要素においてワークＷが処理されるときのワークＷの位置、状態及び処理方法等を含み得る。本実施の形態では、搬送車１２２Ａ及び１２２Ｂの周辺環境作業情報は、載置部分１２２Ａａ及び１２２Ｂａの表面上におけるワークＷＡ及びＷＢの配置位置の候補、配置姿勢の候補、配置順序の候補、配置方向の候補及び配置方法の候補等を含み得る。例えば、配置方向は、載置部分１２２Ａａ及び１２２ＢａへのワークＷＡ及びＷＢの移送方向を示してもよい。配置方法は、載置の際にワークＷＡ及びＷＢが載置部分１２２Ａａ及び１２２Ｂａに与える衝撃の程度、及びワークＷＡ及びＷＢの加速度等を示してもよい。
【0061】
図７は、実施の形態に係る第２属性情報に含まれる周辺環境作業情報の一例を示す図である。図７は、搬送車１２２Ａの載置部分１２２Ａａの平面図を示す。搬送車１２２Ａは、載置部分１２２Ａａの周囲を囲み且つ載置部分１２２Ａａから上方に延びる壁１２２Ａｂを含む。壁１２２Ａｂは、上方からの平面視でＵ字状の形状を形成し、その開放端１２２Ａｂａ及び１２２Ａｂｂの間で載置部分１２２Ａａの一部を側方へ開放する。壁１２２Ａｂは、載置部分１２２Ａａを上方へ開放する。載置部分１２２Ａａの表面上において、ワークＷＡの底部の複数の配置位置Ｐ１からＰ２０が、配置位置の候補として予め設定される。配置位置Ｐ１からＰ２０は、４行×５列に配列される。
【0062】
搬送車１２２Ａの周辺環境作業情報は、配置位置Ｐ１からＰ２０と、配置位置Ｐ１からＰ２０でのワークＷＡの姿勢と、配置位置Ｐ１からＰ２０へのワークＷＡの配置方向と、ワークＷＡを配置位置Ｐ１からＰ２０に低衝撃、つまり低加速度で載置する配置方法とを含む。搬送車１２２Ｂの周辺環境作業情報も、搬送車１２２Ａの周辺環境作業情報と同様の情報を含み得る。
【0063】
第４記憶部１４１ｓ４は、経路関連データを記憶する。経路関連データは、所定作業を行うときのエンドエフェクタ１１２の移動経路を決定するための情報を含む。経路関連データは、所定作業に含まれる動作の少なくとも一部が特定された場合に、当該動作を行うときのエンドエフェクタ１１２の移動経路を決定するための情報を含む。例えば、経路関連データは、エンドエフェクタ１１２の移動経路の演算式、演算プログラム又はこれらの組み合わせを含んでもよい。
【0064】
第５記憶部１４１ｓ５は、ロボット１１０のログ情報を記憶し蓄積する。第５記憶部１４１ｓ５は、所定作業を実行するロボット１１０のロボットアーム１１１及びエンドエフェクタ１１２の動作結果、当該動作結果のための指令、又はこれらの両方等を含む動作結果に関する情報を、ログ情報として記憶する。記憶されるログ情報は、ロボットアーム１１１及びエンドエフェクタ１１２の全ての動作結果に関する情報を含んでもよい。記憶されるログ情報は、ベルトコンベヤ１２１上のエンドエフェクタ１１２の作業領域及びその近傍での動作結果に関する情報と、搬送車１２２Ａ及び１２２Ｂ及びその近傍での動作結果に関する情報とを、少なくとも含んでもよい。
【0065】
記憶部１４２ｃは、駆動指令部１４２ａが動作指令部１４１ｈから受け取る動作指令を用いて駆動指令を生成するための情報を記憶する。
【0066】
受信情報処理部１４１ａは、通信ネットワークＮ及びロボット通信装置１５０を介して操作端末２１０から指令、情報及びデータ等を受信し、情報処理装置１４１内の対応する機能的構成要素に送る。受信情報処理部１４１ａは、受信した指令、情報及びデータ等を、情報処理装置１４１内で処理可能なデータ型式に変換する機能を有してもよい。
【0067】
送信情報処理部１４１ｂは、情報処理装置１４１の各機能的構成要素によって出力される指令、情報及びデータ等を、ロボット通信装置１５０及び通信ネットワークＮを介して操作端末２１０に送信する。送信情報処理部１４１ｂは、送信対象への指令、情報及びデータ等を、ネットワーク通信可能なデータ型式に変換する機能を有してもよい。
【0068】
撮像制御部１４１ｃは、撮像装置１３１から１３４の動作の制御、及び、撮像装置１３１から１３４によって撮像された画像データの出力を行う。例えば、撮像制御部１４１ｃは、操作端末２１０から受信する指令に従って、撮像装置１３１から１３４のカメラ及び雲台の動作を制御する。撮像制御部１４１ｃは、撮像装置１３１から１３４から画像データを受け取り、第１画像処理部１４１ｄ１及び送信情報処理部１４１ｂ等に出力する。例えば、撮像制御部１４１ｃは、操作端末２１０からの指令において指定される撮像装置１３１から１３４の画像データを操作端末２１０に送信する。操作端末２１０は、当該画像データを提示装置２３０に出力し表示させる。
【0069】
第１画像処理部１４１ｄ１は、撮像装置１３１、撮像装置１３２又はこれらの両方によって撮像された画像データを処理する。第１画像処理部１４１ｄ１は、当該画像データが示す画像の中からワークＷ及び周囲の構成要素を抽出する画像処理を行う。さらに、第１画像処理部１４１ｄ１は、ワークＷ及び周囲の構成要素を写し出す画素について、当該画素に写し出される被写体の３次元位置を検出してもよい。
【0070】
例えば、第１画像処理部１４１ｄ１は、撮像装置１３１又は１３２のステレオカメラによって同時刻に撮像された２つの画像データそれぞれにおいてエッジを抽出してもよい。さらに、第１画像処理部１４１ｄ１は、抽出されたエッジと、第２記憶部１４１ｓ２に記憶される第１属性情報に含まれるワークＷの形状とをパターンマッチング手法等で比較し、ワークＷのエッジを特定してもよい。第１画像処理部１４１ｄ１は、抽出されたエッジと、第３記憶部１４１ｓ３に記憶される第２属性情報に含まれるベルトコンベヤ１２１の形状及びその作業領域の周囲の空間を遮る物体の形状とをパターンマッチング手法等で比較し、ベルトコンベヤ１２１及び上記物体のエッジを、周囲の構成要素のエッジとして特定してもよい。
【0071】
さらに、第１画像処理部１４１ｄ１は、２つの画像データの間でワークＷ及び周囲の構成要素を写し出す画素をステレオマッチング手法等で処理し、各画素に写し出される被写体とカメラとの距離を検出してもよい。さらに、第１画像処理部１４１ｄ１は、各画素に写し出される被写体について、ロボットシステム１が存在する３次元空間内での３次元位置を検出してもよい。
【0072】
モデル生成部１４１ｅは、第１画像処理部１４１ｄ１によって画像データから抽出されたワークＷ及び周囲の構成要素の仮想的なモデルを生成する。例えば、モデル生成部１４１ｅは、第２記憶部１４１ｓ２に記憶されるワークＷに関する情報と、第３記憶部１４１ｓ３に記憶される周囲の構成要素に関する情報とを用いて、上記画像データによって写し出されるワークＷ及び周囲の構成要素を表す仮想的なモデルを生成する。例えば、モデル生成部１４１ｅは、ワークＷ及び周囲の構成要素の３次元ＣＡＤ（Computer-Aided Design）モデルを生成してもよい。モデル生成部１４１ｅ及び第１画像処理部１４１ｄ１は、上記の仮想的なモデルを生成することによって、ワークＷの状態を含む状態情報を検出することができる。ワークＷ及び周囲の構成要素を表す仮想的なモデルは、ワークＷに関する状態情報の一例である。
【0073】
状態情報は、例えば、ワークＷ及び周囲の構成要素の状態を示す様々な情報を含んでもよい。例えば、状態情報は、ワークＷ及び周囲の構成要素の仮想的なモデルに加えて又は仮想的なモデルの代わりに、ワークＷ及び周囲の構成要素の位置、姿勢、位置及び姿勢の移動方向、位置及び姿勢の移動速度等を含んでもよい。状態情報は、ワークＷの周辺環境の状態を示す様々な情報を含んでもよい。例えば、状態情報は、ワークＷの移送先の搬送車１２２Ａ又は１２２ＢにおけるワークＷの配置状態等を含んでもよい。
【0074】
候補決定部１４１ｆは、状態情報に基づき、ワークＷに関する作業位置の候補を決定し、第２画像処理部１４１ｄ２に出力する。ワークＷに関する作業位置の候補は、ロボット１１０の把持対象のワークＷにおける提示対象の把持位置の候補と、ワークＷの移送先の搬送車１２２Ａ又は１２２Ｂにおける提示対象の配置位置の候補とを含む。さらに、候補決定部１４１ｆは、第５記憶部１４１ｓ５を探索し、上記ワークＷと同様の状態のワークに対して過去に決定された把持位置及び配置位置の情報を第２画像処理部１４１ｄ２に出力してもよい。
【0075】
例えば、候補決定部１４１ｆは、状態情報として、モデル生成部１４１ｅによって生成されたワークＷ及び周囲の構成要素のモデルを用いて、第１属性情報に含まれるワークＷの把持位置の候補の中から、ユーザＰへの提示対象の把持位置の候補を決定する。例えば、ワークＷＡのモデルが、図６の姿勢Ｐａのような直立状態である場合、候補決定部１４１ｆは、図８に示すように、把持可能な把持位置ＧＰ１及びＧＰ３からＧＰ８を提示対象に決定する。図８は、把持対象のワークＷＡに決定される提示対象の把持位置の候補の一例を示す図である。例えば、候補決定部１４１ｆは、ワークＷＡが横たわっている場合に把持位置ＧＰ３からＧＰ８を提示対象に決定し得る。例えば、横たわっているワークＷＡに他のワークが積み重なっている場合、候補決定部１４１ｆは、把持位置ＧＰ１からＧＰ８のうちの把持可能な把持位置を提示対象に決定し得る。
【0076】
さらに、候補決定部１４１ｆは、第２属性情報に含まれる移送先の搬送車１２２Ａ又は１２２Ｂの配置位置の中から、ユーザＰへの提示対象の配置位置の候補を決定する。例えば、候補決定部１４１ｆは、状態情報として、ワークＷが既に配置されている配置位置の情報を用いて、ワークＷを載置することが可能である配置位置を提示対象に決定してもよい。上記配置位置の情報は、第３記憶部１４１ｓ３又は第５記憶部１４１ｓ５等に記憶されてもよい。例えば、候補決定部１４１ｆは、図９に示すように、既にワークＷＡが配置されている配置位置が除外された残りの配置位置Ｐ８からＰ２０を提示対象に決定する。図９は、ワークＷＡの移送先の搬送車１２２Ａに決定される提示対象の配置位置の候補の一例を示す図である。
【0077】
第２画像処理部１４１ｄ２は、候補決定部１４１ｆによって決定された候補を画像化し操作端末２１０に送信する。当該候補は、ワークＷにおける提示対象の把持位置の候補と、搬送車１２２Ａ又は１２２Ｂにおける提示対象の配置位置の候補とを含み得る。第２画像処理部１４１ｄ２は、上記ワークＷと同様の状態のワークに対して過去に決定された把持位置及び配置位置の情報を、提示対象の把持位置の候補及び提示対象の配置位置の候補と共に、画像に明示してもよい。これにより、操作端末２１０のユーザは、類似状態を示す過去の情報を参考にして、把持位置及び配置位置を決定することができる。
【0078】
例えば、第２画像処理部１４１ｄ２は、ワークＷＡの提示対象の把持位置の候補の情報と、モデル生成部１４１ｅによって生成されたワークＷＡのモデルとを用いて、図８に示すような画像ＩＡのデータを生成してもよい。画像ＩＡは、ワークＷＡのモデルの像に、提示対象の候補である把持位置ＧＰ１及びＧＰ３からＧＰ８を明示する。第２画像処理部１４１ｄ２は、画像ＩＡのデータと把持位置の選択の要求とを操作端末２１０に送信する。第２画像処理部１４１ｄ２は、画像ＩＡのデータの代わりに、把持位置ＧＰ１及びＧＰ３からＧＰ８の情報を操作端末２１０に送信してもよい。
【0079】
第２画像処理部１４１ｄ２は、撮像装置１３１、撮像装置１３２又はこれらの両方によって撮像された画像データに画像ＩＡのデータを合成してもよい。これにより、撮像装置１３１、撮像装置１３２又はこれらの両方によって撮像された画像に写し出されるワークＷＡの像に把持位置ＧＰ１及びＧＰ３からＧＰ８が明示される。
【0080】
操作端末２１０のユーザＰは、操作端末２１０が提示装置２３０に提示する把持位置ＧＰ１及びＧＰ３からＧＰ８の中から１つを選択し、選択結果を選択作業位置として操作端末２１０に入力し情報処理装置１４１へ送信させる。選択作業位置は、選択位置の一例である。
【0081】
例えば、第２画像処理部１４１ｄ２は、搬送車１２２Ａ又は１２２Ｂの提示対象の配置位置の候補の情報と、第２属性情報に含まれる搬送車１２２Ａ又は１２２Ｂの情報とを用いて、図９に示すような画像ＩＢのデータを生成してもよい。画像ＩＢは、載置部分１２２Ａａ又は１２２Ｂａの像に、提示対象の候補である配置位置Ｐ８からＰ２０を明示する。第２画像処理部１４１ｄ２は、画像ＩＢのデータと配置位置の選択の要求とを操作端末２１０に送信する。第２画像処理部１４１ｄ２は、画像ＩＢのデータの代わりに、配置位置Ｐ８からＰ２０の情報を操作端末２１０に送信してもよい。
【0082】
第２画像処理部１４１ｄ２は、撮像装置１３３又は１３４によって撮像された画像データに画像ＩＢのデータを合成してもよい。これにより、撮像装置１３３又は１３４によって撮像された画像に写し出される載置部分１２２Ａａ又は１２２Ｂａの像に配置位置Ｐ８からＰ２０が明示される。
【0083】
操作端末２１０のユーザＰは、操作端末２１０が提示装置２３０に提示する配置位置Ｐ８からＰ２０の中から１つを選択し、選択結果を選択作業位置として操作端末２１０に入力し情報処理装置１４１へ送信させる。
【0084】
予定動作検出部１４１ｇは、ワークＷに関する作業位置の候補の中から選択された選択作業位置の情報を、操作端末２１０から受信する。予定動作検出部１４１ｇは、選択作業位置の情報と、第４記憶部１４１ｓ４に記憶される経路関連データとを用いて、選択作業位置に従ったロボット１１０の予定動作を検出する。
【0085】
例えば、予定動作検出部１４１ｇは、選択作業位置に含まれるワークＷの把持位置を始点に決定し、選択作業位置に含まれるワークＷの配置位置を終点に決定し、当該始点から当該終点に至るエンドエフェクタ１１２の移動経路を、経路関連データの演算式、演算プログラム又はこれの両方を用いて演算する。さらに、予定動作検出部１４１ｇは、エンドエフェクタ１１２の移動経路上の各位置でのエンドエフェクタ１１２の姿勢を演算する。予定動作検出部１４１ｇは、エンドエフェクタ１１２の移動経路及び当該移動経路での姿勢を、選択作業位置に従ったロボット１１０の予定動作として検出する。
【0086】
予定動作検出部１４１ｇは、検出した予定動作を、第３画像処理部１４１ｄ３を介して操作端末２１０に送信する。操作端末２１０は、受信した予定動作を、提示装置２３０を介してユーザＰに提示する。操作端末２１０は、予定動作を承認するための入力、予定動作を修正するための入力、選択された把持位置及び配置位置を変更するための入力、並びに、第１属性情報及び第２属性情報を変更するための入力を受け付けることができる。
【0087】
操作端末２１０は、予定動作の承認を受け付けると、承認結果を情報処理装置１４１に送信する。予定動作検出部１４１ｇは承認された予定動作を動作指令部１４１ｈに送る。
【0088】
操作端末２１０は、予定動作の修正を受け付けると、受け付けた修正内容を情報処理装置１４１に送信する。予定動作検出部１４１ｇは、予定動作の修正内容を反映するように予定動作を修正し、修正後の予定動作を新たな予定動作として生成する。予定動作検出部１４１ｇは、新たな予定動作を操作端末２１０に送信する。
【0089】
操作端末２１０は、把持位置、配置位置又はこれらの両方の変更を受け付けると、受け付けた変更内容を情報処理装置１４１に送信する。予定動作検出部１４１ｇは、把持位置、配置位置又はこれらの両方の変更内容に従って新たな予定動作を生成する。予定動作検出部１４１ｇは、新たな予定動作を操作端末２１０に送信する。
【0090】
操作端末２１０は、第１属性情報、第２属性情報又はこれらの両方の変更を受け付けると、受け付けた変更内容を情報処理装置１４１に送信する。第１属性情報処理部１４１ｉ１及び第２属性情報処理部１４１ｉ２は、受信した変更内容に従って、第２記憶部１４１ｓ２に記憶される第１属性情報、第３記憶部１４１ｓ３に記憶される第２属性情報、又はこれらの両方を変更する。第１属性情報処理部１４１ｉ１及び第２属性情報処理部１４１ｉ２は、変更後の第１属性情報及び第２属性情報を、新たな第１属性情報及び第２属性情報として第２記憶部１４１ｓ２、第３記憶部１４１ｓ３又はこれらの両方に記憶する。予定動作検出部１４１ｇは、新たな第１属性情報及び第２属性情報を用いて新たな予定動作を生成し操作端末２１０に送信する。
【0091】
予定動作検出部１４１ｇは、第３記憶部１４１ｓ３に記憶されるロボットエリアＡＲ内のロボット１１０以外の構成要素に関する情報を用いて、予定動作の過程におけるロボット１１０と上記構成要素との干渉の有無を検出し、検出結果を操作端末２１０に送信する。例えば、予定動作検出部１４１ｇは、第３属性情報に基づき、エンドエフェクタ１１２の移動経路が撮像装置１３１から１３４からの離隔距離以内の領域を通る場合、干渉の発生を検出してもよい。予定動作検出部１４１ｇは、干渉の発生を検出した場合、干渉対象の離隔距離等に基づき、当該干渉を回避するようにエンドエフェクタ１１２の移動経路を再演算してもよい。
【0092】
第３画像処理部１４１ｄ３は、予定動作検出部１４１ｇによって生成された予定動作を画像化し、操作端末２１０に送信する。例えば、第３画像処理部１４１ｄ３は、第３記憶部１４１ｓ３に記憶されるロボットエリアＡＲ内のロボット１１０以外の構成要素に関する情報と、第１記憶部１４１ｓ１に記憶されるロボット１１０の情報と、予定動作検出部１４１ｇによって検出された予定動作とを用いて、エンドエフェクタ１１２の移動経路を明示する画像データを生成してもよい。
【0093】
例えば、第３画像処理部１４１ｄ３は、図１０に示すような画像ＩＣのデータを生成してもよい。画像ＩＣは、破線表示されるエンドエフェクタ１１２の移動経路ＴＰと、ロボットアーム１１１のモデルと、エンドエフェクタ１１２のモデルと、ベルトコンベヤ１２１のモデルと、ワークＷの移送先の搬送車１２２Ａのモデルと、ロボットエリアＡＲ内の他の構成要素である撮像装置１３２及び１３３のモデルとを示す。画像ＩＣでは、移動経路ＴＰが撮像装置１３３と干渉するため、干渉を示す像ＩＤが表示される。干渉を回避するために操作端末２１０によって予定動作が変更されると、予定動作検出部１４１ｇは、変更内容に従って新たな予定動作を生成し、第３画像処理部１４１ｄ３は、一点鎖線表示される新たな予定動作の移動経路ＴＰ１を画像ＩＣに明示する。これにより、操作端末２１０のユーザＰは、移動経路を視覚的に確認し予定動作の承認を判断することができる。
【0094】
第１属性情報処理部１４１ｉ１は、操作端末２１０から受信する指令に従って、第２記憶部１４１ｓ２に記憶される第１属性情報を変更し、変更後の第１属性情報を新たな第１属性情報として第２記憶部１４１ｓ２に記憶する。つまり、第１属性情報処理部１４１ｉ１は、第１属性情報を更新する。第１属性情報処理部１４１ｉ１は、第１属性情報を操作端末２１０に送信してもよい。例えば、第１属性情報処理部１４１ｉ１は、選択作業位置に対応する第１属性情報を操作端末２１０に送信してもよい。第１属性情報処理部１４１ｉ１は、第２画像処理部１４１ｄ２及び第３画像処理部１４１ｄ３に第１属性情報を出力し、第１属性情報を生成画像上で明示させてもよい。
【0095】
第２属性情報処理部１４１ｉ２は、操作端末２１０から受信する指令に従って、第３記憶部１４１ｓ３に記憶される第２属性情報を変更し、変更後の第２属性情報を新たな第２属性情報として第３記憶部１４１ｓ３に記憶する。つまり、第２属性情報処理部１４１ｉ２は、第２属性情報を更新する。第２属性情報処理部１４１ｉ２は、第２属性情報を操作端末２１０に送信してもよい。例えば、第２属性情報処理部１４１ｉ２は、選択作業位置に対応する第２属性情報を操作端末２１０に送信してもよい。第２属性情報処理部１４１ｉ２は、第２画像処理部１４１ｄ２及び第３画像処理部１４１ｄ３に第２属性情報を出力し、第２属性情報を生成画像上で明示させてもよい。
【0096】
動作指令部１４１ｈは、第１記憶部１４１ｓ１に記憶される制御プログラムに従ってエンドエフェクタ１１２に移動及び動作させるための動作指令を生成する。動作指令部１４１ｈは、予定動作検出部１４１ｇによって生成される承認済みの予定動作に従ってエンドエフェクタ１１２に移動及び動作させるための動作指令を生成する。つまり、動作指令部１４１ｈは、選択作業位置、第１属性情報及び第２属性情報に従った動作指令を生成する。動作指令部１４１ｈは、動作指令をロボットコントローラ１４２に送信する。動作指令は、エンドエフェクタ１１２の位置指令及び力指令の少なくとも位置指令を含み、本実施の形態では、両方を含む。さらに、動作指令は、ワークＷに対するエンドエフェクタ１１２の把持力の指令を含む。動作指令部１４１ｈは、動作指令、承認済みの予定動作、当該予定動作に含まれる把持位置及び配置位置、駆動指令部１４２ａから取得する駆動指令、又はこれらの２つ以上の組み合わせを、ログ情報として第５記憶部１４１ｓ５に記憶させてもよい。
【0097】
位置指令は、３次元空間内でのエンドエフェクタ１１２の目標の位置、目標の位置の移動速度、目標の姿勢、及び、目標の姿勢の移動速度等の指令を含み得る。力指令は、エンドエフェクタ１１２がワークＷに加える力の、３次元空間内での大きさ及び方向等の指令を含み得る。力指令は、エンドエフェクタ１１２がワークＷに加える加速度を含んでもよい。
【0098】
駆動指令部１４２ａは、動作指令に従ってエンドエフェクタ１１２が移動し把持動作をするように、ロボットアーム１１１及びエンドエフェクタ１１２を動作させるための駆動指令を、記憶部１４２ｃに記憶される情報を用いて生成する。駆動指令は、ロボットアーム１１１のサーボモータＲＭ１からＲＭ６及びエンドエフェクタ１１２のサーボモータＥＭ１の電流の指令値を含む。駆動指令部１４２ａは、動作情報処理部１４２ｂから受け取るフィードバック情報を用いて駆動指令を生成する。
【0099】
動作情報処理部１４２ｂは、サーボモータＲＭ１からＲＭ６及びＥＭ１から回転量及び電流値の情報を取得し、当該情報をフィードバック情報として駆動指令部１４２ａに出力する。動作情報処理部１４２ｂは、各サーボモータの回転量を、当該サーボモータが備える回転センサから取得する。動作情報処理部１４２ｂは、各サーボモータの電流値を、当該サーボモータの駆動回路の電流の指令値から取得する。各サーボモータに電流センサが設けられる場合、動作情報処理部１４２ｂは当該電流センサから電流値を取得してもよい。
【0100】
［ロボットシステムの動作］
図１１Ａから図１１Ｃを参照しつつ、実施の形態に係るロボットシステム１の動作の一例を説明する。図１１Ａから図１１Ｃは、実施の形態に係るロボットシステム１の動作の一例を示すフローチャートである。まず、ユーザＰは、ワークの移送作業をするロボットの操作を担当する要求を操作端末２１０に入力し、操作端末２１０は、当該要求をサーバ３１０に送信する（ステップＳ１０１）。サーバ３１０は、当該作業を行うことができるロボット１１０を探索し、探索されたロボット１１０の情報処理装置１４１と上記操作端末２１０とを通信ネットワークＮを介して接続する（ステップＳ１０２）。
図１１Ａから図１１Ｃを参照しつつ、実施の形態に係るロボットシステム１の動作の一例を説明する。図１１Ａから図１１Ｃは、実施の形態に係るロボットシステム１の動作の一例を示すフローチャートである。まず、ユーザＰは、ワークの移送作業をするロボットの操作を担当する要求を操作端末２１０に入力し、操作端末２１０は、当該要求をサーバ３１０に送信する（ステップＳ１０１）。サーバ３１０は、当該作業を行うことができるロボット１１０を探索し、探索されたロボット１１０の情報処理装置１４１と上記操作端末２１０とを通信ネットワークＮを介して接続する（ステップＳ１０２）。
【0101】
ユーザＰは、接続完了の通知をサーバ３１０から受け取ると、移送作業の実行指令を操作端末２１０に入力する。操作端末２１０は、当該指令を情報処理装置１４１に送信する（ステップＳ１０３）。
【0102】
情報処理装置１４１は、移送作業の制御を開始し、第１記憶部１４１ｓ１に記憶される制御プログラムに従ってロボット１１０に自動で動作させる（ステップＳ１０４）。
【0103】
情報処理装置１４１は、ロボット１１０のエンドエフェクタ１１２がベルトコンベヤ１２１に近づくと、撮像装置１３１によって撮像される画像データを処理し、当該画像データに写し出される、移送対象のワークＷ及びその周囲の構成要素を抽出する（ステップＳ１０５）。情報処理装置１４１は、撮像装置１３２によって撮像される画像データを処理して、移送対象のワークＷ等を抽出してもよい。
【0104】
情報処理装置１４１は、画像データをさらに処理し、抽出されたワークＷ及びその周囲の構成要素の３次元位置を検出する（ステップＳ１０６）。
【0105】
情報処理装置１４１は、ステップＳ１０５で抽出されたワークＷ及びその周囲の構成要素の仮想的なモデルを生成し（ステップＳ１０７）、上記仮想的なモデル及び第１属性情報に基づき、ワークＷの把持位置の候補を決定する（ステップＳ１０８）。
【0106】
情報処理装置１４１は、ワークＷの把持位置の候補を示す画像データを生成し、操作端末２１０に送信する（ステップＳ１０９）。情報処理装置１４１は、第１属性情報も操作端末２１０に送信する。
【0107】
操作端末２１０は、受信した画像データと第１属性情報とを提示装置２３０に表示する。ユーザＰは、提示装置２３０に表示されるワークＷの把持位置の候補を視認し、把持位置を選択することができる。操作端末２１０は、ユーザＰから、ワークＷの把持位置の候補のうちの１つである選択把持位置を指定する指令を受け付けると、選択把持位置の情報を情報処理装置１４１に送信する（ステップＳ１１０）。
【0108】
情報処理装置１４１は、第２属性情報に基づき、搬送車１２２Ａ又は１２２ＢにおけるワークＷの配置位置の候補を決定する（ステップＳ１１１）。
【0109】
情報処理装置１４１は、搬送車１２２Ａ又は１２２ＢにおけるワークＷの配置位置の候補を示す画像データを生成し、操作端末２１０に送信する（ステップＳ１１２）。情報処理装置１４１は、第２属性情報も操作端末２１０に送信する。
【0110】
操作端末２１０は、受信した画像データと第２属性情報とを提示装置２３０に表示する。ユーザＰは、提示装置２３０に表示されるワークＷの配置位置の候補を視認し、配置位置を選択することができる。操作端末２１０は、ユーザＰから、ワークＷの配置位置の候補のうちの１つである選択配置位置の指定する指令を受け付けると、選択配置位置の情報を情報処理装置１４１に送信する（ステップＳ１１３）。
【0111】
情報処理装置１４１は、選択されたワークＷの把持位置及び配置位置の情報と、経路関連データとを用いて、ロボット１１０の予定動作を検出する（ステップＳ１１４）。
【0112】
情報処理装置１４１は、ロボット１１０の予定動作、つまり、エンドエフェクタ１１２の移動経路を示す画像データを生成し、操作端末２１０に送信する（ステップＳ１１５）。情報処理装置１４１は、第１属性情報及び第２属性情報も操作端末２１０に送信する。
【0113】
情報処理装置１４１は、移動経路に沿ってエンドエフェクタ１１２を移動させる場合に、ロボット１１０と周囲の構成要素との干渉があるか否かを判定する（ステップＳ１１６）。情報処理装置１４１は、干渉がある場合（ステップＳ１１６でＹｅｓ）に干渉の情報を操作端末２１０に送信し（ステップＳ１１７）、干渉がない場合（ステップＳ１１６でＮｏ）にステップＳ１１８へ進む。
【0114】
ステップＳ１１８において、操作端末２１０は、エンドエフェクタ１１２の移動経路を示す画像データを提示装置２３０に提示させる。上記干渉がある場合、提示装置２３０によって表示される画像上に、干渉箇所が表示される。
【0115】
次いで、操作端末２１０は、ロボット１１０の予定動作を承認する入力がある場合（ステップＳ１１９でＹｅｓ）に、当該承認の情報を情報処理装置１４１に送信し（ステップＳ１２２）、ステップＳ１２３に進む。操作端末２１０は、非承認の入力がある場合（ステップＳ１１９でＮｏ）にステップＳ１２０に進む。
【0116】
ステップＳ１２０において、ユーザＰは、操作端末２１０に、ロボット１１０の予定動作を変更するための指令を入力し、操作端末２１０は、当該指令を情報処理装置１４１に送信する。上記指令は、予定動作自体を変更する指令、ワークＷの把持位置、配置若しくはこれらの両方を変更する指令、第１属性情報、第２属性情報又は若しくはこれらの両方を変更する指令、又はこれらの２つ以上の組み合わせを含む。
【0117】
ステップＳ１２１において、情報処理装置１４１は、ロボット１１０の予定動作を変更するための指令に従って、新たな予定動作を検出する。情報処理装置１４１は、新たな予定動作を用いてステップＳ１１５以降の処理を繰り返す。
【0118】
ステップＳ１２３において、情報処理装置１４１は、承認された予定動作と、ステップＳ１０６で検出されたワークＷの３次元位置とを用いて、ロボット１１０の動作指令を生成しロボットコントローラ１４２に送信する。
【0119】
ロボットコントローラ１４２は、動作指令に従った駆動指令を生成し、当該駆動指令に従ってロボットアーム１１１及びエンドエフェクタ１１２に動作させる（ステップＳ１２４）。つまり、ロボットコントローラ１４２は、動作指令に従って、ロボットアーム１１１及びエンドエフェクタ１１２に、ベルトコンベヤ１２１上のワークＷを把持させ、搬送車１２２Ａ又は１２２Ｂに移送させる。
【0120】
情報処理装置１４１は、移送作業の完了の指令を操作端末２１０から受け取ると（ステップＳ１２５でＹｅｓ）、一連の処理を終了し、上記指令を受け取らない場合（ステップＳ１２５でＮｏ）にステップＳ１２６に進む。
【0121】
ステップＳ１２６において、情報処理装置１４１は、搬送車１２２Ａ又は１２２ＢへのワークＷの移送後のロボットアーム１１１に、エンドエフェクタ１１２をベルトコンベヤ１２１の近傍へ自動で移動させ、ステップＳ１０５以降の処理を繰り返す。
【0122】
ステップＳ１０１からＳ１２６の処理において、情報処理装置１４１は、エンドエフェクタ１１２により新たなワークＷを把持するタイミング毎に、当該ワークＷの把持位置及び移送先の配置位置の選択を操作端末２１０のユーザＰに要求し、ユーザＰの選択結果に従ってロボット１１０に動作させる。ユーザＰは、上記のようなユーザＰの判断が要求されるロボット１１０の動作について、ロボット１１０を直接的に手動操作する必要がなく、当該動作を決定するための要素の候補の中から適切な要素を選択するだけでよい。よって、ユーザが有するロボット操作の技能に関係なく、様々なユーザが、様々な場所からロボット１１０の操作に参加することができる。
【0123】
（変形例）
本変形例は、ロボットシステムが学習装置４００を備える点で、実施の形態と異なる。以下、本変形例について、実施の形態と異なる点を中心に説明し、実施の形態と同様の点の説明を適宜省略する。
本変形例は、ロボットシステムが学習装置４００を備える点で、実施の形態と異なる。以下、本変形例について、実施の形態と異なる点を中心に説明し、実施の形態と同様の点の説明を適宜省略する。
【0124】
図１２は、変形例に係る制御装置１４０及び学習装置４００の機能的構成の一例を示すブロック図である。図１２に示すように、制御装置１４０の情報処理装置１４１Ａは、ログ情報出力部１４１ｊを機能的構成要素としてさらに含む。ログ情報出力部１４１ｊは、情報処理装置１４１Ａの外部からの要求に対応して、第５記憶部１４１ｓ５に記憶されるログ情報を要求元に出力する。ログ情報出力部１４１ｊは、予め設定されたプログラムに従って、所定のタイミングで所定の出力先にログ情報を出力してもよい。ログ情報出力部１４１ｊの機能は、プロセッサ１４１１等によって実現される。
【0125】
学習装置４００は、情報処理装置１４１Ａと同様に、コンピュータ装置を含む。例えば、学習装置４００は回路を含み、当該回路は、上述で説明したようなプロセッサ及びメモリを含む。学習装置は、メモリに加えて、上述で説明したようなストレージを含んでもよい。学習装置４００のプロセッサは、第２プロセッサの一例であり、学習装置４００のメモリ及びストレージは、第２記憶装置の一例である。
【0126】
限定されないが、本変形例では、学習装置４００は、情報処理装置１４１Ａ及びロボットコントローラ１４２とは別の装置であり、有線通信、無線通信又はこれらの組み合わせを介して情報処理装置１４１Ａとデータ通信可能に接続される。いかなる有線通信及び無線通信が用いられてもよい。学習装置４００は、情報処理装置１４１Ａ又はロボットコントローラ１４２に組み込まれてもよい。学習装置４００は、通信ネットワークＮを介して情報処理装置１４１Ａと接続されてもよい。学習装置４００は、複数の情報処理装置１４１Ａと接続されてもよい。
【0127】
学習装置４００は、記憶媒体を介して、情報処理装置１４１Ａとデータを入出力するように構成されてもよい。記憶媒体は、半導体ベースの若しくは他の集積回路（ＩＣ：Integrated Circuit）、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ：Hybrid Hard Disk Drive）、光ディスク、光ディスクドライブ（ＯＤＤ：Optical Disk Drive）、光磁気ディスク、光磁気ドライブ、フロッピィディスクドライブ（ＦＤＤ：Floppy Disk Drive）、磁気テープ、固体ドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュアデジタルカード若しくはドライブ、任意の他の適切な記憶媒体、又はこれらの２つ以上の組合せを含むことができる。
【0128】
本変形例では、学習装置４００は、ロボットエリアＡＲに配置されるが、これに限定されない。例えば、学習装置４００は、ユーザエリアＡＵに配置されてもよく、ロボットエリアＡＲ及びユーザエリアＡＵとは別の場所に配置されてもよい。例えば、学習装置４００は、サーバ３１０の配置場所に配置され、サーバ３１０経由で情報処理装置１４１Ａとデータ通信するように構成されてもよい。学習装置４００は、サーバ３１０に組み込まれてもよい。
【0129】
学習装置４００は、学習データ処理部４０１と、学習データ記憶部４０２と、学習部４０３と、入力データ処理部４０４と、出力データ処理部４０５とを機能的構成要素として含む。学習データ記憶部４０２の機能は、学習装置４００が含み得るメモリ、ストレージ又はこれらの組み合わせ等によって実現され、学習データ記憶部４０２以外の機能的構成要素の機能は、学習装置４００が含むプロセッサ等によって実現される。
【0130】
学習データ記憶部４０２は、様々な情報及びデータ等を記憶し、記憶している情報及びデータ等の読み出しを可能にする。例えば、学習データ記憶部４０２は、学習用データを記憶する。
【0131】
学習データ処理部４０１は、情報処理装置１４１Ａのログ情報出力部１４１ｊからログ情報を受け取り、当該ログ情報を学習用データとして、学習データ記憶部４０２に記憶させる。学習データ処理部４０１は、ログ情報出力部１４１ｊにログ情報を要求してログ情報出力部１４１ｊからログ情報を取得してもよく、ログ情報出力部１４１ｊから所定のタイミングで送られるログ情報を取得してもよい。例えば、学習データ処理部４０１は、ログ情報のうち、ワークに関する状態情報と、当該状態情報が示す状態に対応する第１属性情報及び第２属性情報と、当該ワークに対して実際に実行された選択把持位置及び選択配置位置等の選択作業位置の情報とを取得してもよい。上記選択作業位置は、状態情報に基づく作業位置の候補の中から選択された作業位置であり、実際に用いられた作業位置である。
【0132】
学習部４０３は、学習モデルを含み、本変形例では、機械学習を行う学習モデルを含む。学習部４０３は、学習用データを用いて学習モデルに学習させ、学習モデルに入力データに対する出力データの精度を向上させる。学習モデルは、ニューラルネットワーク（Neural Network）、Random Forest、Genetic Programming、回帰モデル、木モデル、ベイズモデル、時系列モデル、クラスタリングモデル、アンサンブル学習モデル等を含んでもよいが、本変形例では、ニューラルネットワークを含む。ニューラルネットワークは、入力層及び出力層を含む複数のノード層を含む。ノード層には、１つ以上のノードが含まれる。ニューラルネットワークが、入力層、中間層及び出力層を含む場合、ニューラルネットワークは、入力層のノードに入力された情報について、入力層から中間層への出力処理、中間層から出力層への出力処理を順次行い、入力情報に適合する出力結果を出力する。１つの層の各ノードは、次の層の各ノードと接続されており、ノード間の接続には、重み付けがされている。１つの層のノードの情報は、ノード間の接続の重み付けが付与されて、次の層のノードに出力される。
【0133】
学習モデルは、ワークに関する状態情報を入力データとし、当該状態情報が示す状態に対応する当該ワークに関する作業位置の候補それぞれの信頼度を出力データとする。例えば、学習モデルは、ワークに関する状態情報と、当該状態情報が示す状態に対応する第１属性情報及び第２属性情報とを入力データとしてもよい。信頼度は、正解である確率であってもよく、例えば、点数等で表されてもよい。
【0134】
さらに、学習モデルは、学習用データに含まれるワークに関する状態情報を学習用の入力データとし、当該ワークに対して実際に実行された選択作業位置の情報を教師データとする。例えば、学習モデルは、学習用データに含まれる、ワークに関する状態情報、並びに、当該状態情報が示す状態に対応する第１属性情報及び第２属性情報を入力データとしてもよい。例えば、機械学習では、学習部４０３は、入力データが入力された場合に学習モデルが出力する作業位置の候補それぞれの信頼度と教師データの選択作業位置との間でこれらを一致又は誤差を最小化等するように、ニューラルネットワーク内のノード間の接続の重み付けを調整する。このような重み付け調整後の学習モデルは、ワークに関する状態情報が入力されると、当該状態情報が示す状態に対応する作業位置の候補それぞれの信頼度を高い精度で出力することができる。
【0135】
入力データ処理部４０４は、外部から、学習部４０３の学習モデルに入力するための情報を受け付け、当該情報を、学習モデルに入力可能な状態情報に変換して学習部４０３に出力する。例えば、入力データ処理部４０４は、ワークに関する情報と、第１属性情報と、第２属性情報とを受け付けてもよい。例えば、ワークに関する情報は、情報処理装置１４１Ａのモデル生成部１４１ｅによって生成される仮想的なモデルのような情報、第１画像処理部１４１ｄ１による画像処理後のデータのような情報、撮像装置１３１及び１３２の撮像画像データのような画像データ、ワークの状態を外部又は内部から検出するセンサの検出結果、又は、これらの２つ以上の組み合わせ等を含んでもよい。入力データ処理部４０４は、このようなワークに関する情報を、ワーク及び周辺環境の構成要素の位置及び姿勢等のワーク及び周辺環境の構成要素の状態を示す情報に変換してもよい。入力データ処理部４０４は、ワークに関する情報を出力可能であるいかなる装置から、当該情報を受け付けてもよい。
【0136】
出力データ処理部４０５は、学習部４０３によって出力される、ワークに関する作業位置の候補それぞれの信頼度を用いて、最適な作業位置を決定し、最適な作業位置の情報を出力する。例えば、出力データ処理部４０５は、当該情報を、ロボットの制御に関連する装置に出力してもよい。例えば、出力データ処理部４０５は、当該情報を、情報処理装置１４１Ａの予定動作検出部１４１ｇ、動作指令部１４１ｈ又はこれらの組み合わせのような機能を有する装置に出力してもよく、ロボットコントローラ１４２のような装置に出力してもよい。
【0137】
出力データ処理部４０５は、ワークに関する作業位置の候補の中で最も信頼度が高い作業位置を、最適な作業位置に決定するように構成されてもよい。この場合、最も信頼度が高い作業位置は、作業位置の候補のうちのいずれかである。例えば、ワークＷＡの場合、最も信頼度が高い作業位置は、図５に示す把持位置ＧＰ１からＧＰ８のいずれかである。
【0138】
又は、出力データ処理部４０５は、ワークに関する任意の位置から最適な作業位置を決定するように構成されてもよい。例えば、出力データ処理部４０５は、作業位置の候補及びそれぞれの信頼度の情報を用いて、作業位置とその信頼度との関係を関数化し、当該関数を用いて最も信頼度が高い作業位置を演算してもよい。この場合、最も信頼度が高い作業位置は、作業位置の候補に限定されない。例えば、ワークＷＡの場合、最も信頼度が高い作業位置は、ワークＷＡ上の任意の位置に決定され、図５に示す把持位置ＧＰ１からＧＰ８以外のワークＷＡ上の位置、例えば、把持位置ＧＰ１からＧＰ８の間の位置等になる場合がある。
【0139】
上記のような学習装置４００は、ユーザＰの判断が要求されるロボット１１０の動作について、ユーザＰの判断結果を学習し、ユーザＰの代わりに、ロボット１１０の動作に対する最適な判断結果を出力することができる。学習装置４００は、１つのロボットエリアＡＲの１つの情報処理装置１４１Ａのログ情報からでも、様々なユーザＰの判断結果を学習することができる。学習装置４００は、様々なロボットエリアＡＲの様々な情報処理装置１４１Ａのログ情報から、様々な判断結果を学習することができる。ログ情報がサーバ３１０に蓄積される場合、学習装置４００は、サーバ３１０のログ情報から様々な判断結果を学習することができる。このような学習装置４００は、出力データを高い精度に向上させることができる。
【0140】
本変形例において、学習部４０３の学習モデルは、出力データ処理部４０５の機能を含み、出力データ処理部４０５と同様の出力データを出力するように構成されてもよい。
【0141】
（その他の実施の形態）
以上、本開示の実施の形態の例について説明したが、本開示は、上記実施の形態及び変形例に限定されない。すなわち、本開示の範囲内で種々の変形及び改良が可能である。例えば、各種変形を実施の形態及び変形例に施したもの、及び、異なる実施の形態及び変形例における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。
以上、本開示の実施の形態の例について説明したが、本開示は、上記実施の形態及び変形例に限定されない。すなわち、本開示の範囲内で種々の変形及び改良が可能である。例えば、各種変形を実施の形態及び変形例に施したもの、及び、異なる実施の形態及び変形例における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。
【0142】
例えば、実施の形態及び変形例において、ロボットシステム１が対象とするロボット１１０の作業は、ワークＷを把持し移送する作業であるが、これに限定されない。ロボットシステム１は、いかなる作業を対象としてもよい。例えば、ロボットシステム１は、組み付け対象へのワークの組み付け、ワークの組み立て、溶接、研削、塗装、シーリング等の作業を対象としてもよい。上記のような作業の場合、例えば、第１属性情報は、ワーク、溶接対象部分、研削対象部分、塗装対象部分及びシーリング対象部分等の第１属性情報であってもよい。ワークに関する作業位置は、例えば、ワーク、溶接対象部分、研削対象部分、塗装対象部分及びシーリング対象部分上の位置等であってもよい。例えば、第２属性情報は、ワークの組み付け対象、ワークと共に組み立てられる他の部品、溶接対象物、研削対象物、塗装対象物及びシーリング対象物等の第２属性情報であってもよい。ワークに関する作業位置は、例えば、組み付け対象に対するワークの位置、他の部品に対するワークの位置、溶接対象物上での溶接対象部分の位置、研削対象物上での研削対象部分の位置、塗装対象物上での塗装対象部分の位置、及びシーリング対象物上でのシーリング対象部分の位置等であってもよい。
【0143】
実施の形態において、制御装置１４０は、ワークＷの把持位置の候補、及び、搬送車１２２Ａ又は１２２ＢにおけるワークＷの配置位置の候補を操作端末２１０に送信し、ユーザＰの選択を要求するように構成される。制御装置１４０が選択を要求する要素は、これらに限定されず、ユーザＰの判断により選択可能な要素であればよい。例えば、制御装置１４０は、ロボット１１０の各動作でのワークＷの姿勢及びワークＷへの把持力等の候補を操作端末２１０に送信し、ユーザＰの選択を要求するように構成されてもよい。
【0144】
実施の形態及び変形例において、制御装置１４０は、ベルトコンベヤ１２１のモータの駆動を直接的に制御しないように構成されるが、外部軸制御として直接的に制御するように構成されてもよい。これにより、制御装置１４０は、ロボット１１０の動作とベルトコンベヤ１２１の動作とを高精度に連携させて制御することができる。
【0145】
実施の形態及び変形例において、制御装置１４０は、ワークＷに関する状態情報を検出するために、撮像装置１３１によって撮像される画像データを用いて、ワークＷ等の抽出及びワークＷ等の３次元位置の検出等のための画像処理を行うように構成されるが、これに限定されない。上記画像処理に用いられる画像データは、ワークＷを撮像可能な撮像装置の画像データであればよい。例えば、ワークＷを上方から撮像する撮像装置１３２によって撮像される画像データが用いられてもよい。この場合、ロボットアーム１１１がワークＷの移送後にエンドエフェクタ１１２をベルトコンベヤ１２１の近傍に戻す前に、制御装置１４０は、撮像装置１３２の画像データを画像処理することができる。よって、迅速な作業が可能になる。
【0146】
実施の形態及び変形例において、制御装置１４０は、ワークＷに関する状態情報の取得のために、ワークＷが撮像された画像データを用いるように構成されるが、これに限定されない。例えば、制御装置１４０は、ワークＷとは別に配置されるセンサである外部センサの検出結果、ワークＷに配置されるセンサである搭載センサの検出結果、又はこれらの組み合わせを用いて、ワークＷに関する状態情報の取得するように構成されてもよい。外部センサは、ワークＷの外部からワークＷの位置及び姿勢等を検出するように構成されてもよい。例えば、外部センサは、光波、レーザ、磁気、電波、電磁波、超音波又はこれらの２つ以上の組み合わせ等を用いてワークＷを検出し、光電センサ、レーザセンサ、電波式センサ、電磁波式センサ、超音波センサ、各種ライダ（LiDAR）又はこれらの２つ以上の組み合わせ等であってもよい。搭載センサは、ワークＷと共に移動し、ワークＷの位置及び姿勢等を検出するように構成されてもよい。例えば、搭載センサは、加速度センサ、角速度センサ、磁気センサ、ＧＰＳ（全地球測位システム：Global Positioning System）受信機又はこれらの２つ以上の組み合わせ等であってもよい。
【0147】
実施の形態に係る情報処理装置１４１は、処理にＡＩ（人工知能：Artificial Intelligence）を用いるように構成されてもよい。例えば、ＡＩは、撮像装置１３１及び１３２によって撮像される画像データの画像処理、画像データから抽出されるワークＷ等の情報を用いて仮想的なモデルを生成する処理、及び、属性情報及び仮想的なモデル等を用いてワークＷに関する作業位置の候補を決定する処理等に用いることができる。
【0148】
例えば、ＡＩは、機械学習を行う学習モデルを含んでもよい。例えば、学習モデルは、ニューラルネットワークを含んでもよい。例えば、画像処理を行う学習モデルは、画像データを入力データとし、画像データに写し出される被写体のエッジ、３次元位置又はこれらの組み合わせ等の情報を出力データとしてもよい。仮想的なモデルを生成する学習モデルは、画像データから抽出される被写体のエッジ、３次元位置又はこれらの組み合わせの情報を入力データとし、当該被写体の仮想的なモデルの情報を出力データとしてもよい。ワークＷに関する作業位置の候補を決定する学習モデルは、ワークＷ及びその周囲の要素の仮想的なモデルの情報を入力データとし、ワークＷの把持位置等の作業位置の候補を出力データとしてもよい。学習モデルは、入力データに対応する学習データと、出力データに対応する教師データとを用いて機械学習するモデルであってもよい。
【0149】
実施の形態及び変形例において、サーバ３１０は、複数の操作端末２１０のうちの選択された１つと、ロボット１１０及びその制御装置１４０の組み合わせである１つのロボットグループとを接続するように構成されるが、これに限定されない。サーバ３１０は、複数の操作端末２１０のうちの選択された１つと、複数のロボットグループのうちの選択された１つとを接続するように構成されてもよい。
【0150】
本開示の技術の各態様例は、以下のように挙げられる。本開示の一態様に係る制御装置は、ロボットに自動運転で所定作業を実行させる制御を行う制御装置であって、第１プロセッサを備え、前記第１プロセッサは、前記所定作業の実行中、作業対象であるワークの状態を含む状態情報を取得することと、前記状態情報に基づき、前記ワークに関する作業位置の候補を決定することと、前記作業位置の候補の中から前記作業位置を選択することを要求する選択要求を、通信ネットワークを介してデータ通信可能に接続される操作端末に送信することと、前記操作端末から、選択された前記作業位置である選択位置の情報を受信すると、前記選択位置に従って前記ロボットに自動運転で動作させることとを実行する。
【0151】
上記態様によると、操作端末のユーザは、操作端末を用いてロボットに対して、手動運転のための直接操作をするのではなく、選択位置の指令に従った自動運転のための間接操作をする。ユーザは、直接操作のための操作技能を要求されず、簡易な操作によりロボットに意図する動作をさせることができる。例えば、人による判断が有用なロボットの動作がある場合、制御装置は、ユーザによって決定される選択位置に従うことによって、ユーザの熟練度の影響を受けずに適切な動作をロボットにさせることができる。ユーザに直接操作の技能が要求されないため、様々なユーザがロボットの操作に参加することができる。操作端末は、ユーザによる選択位置の選択と、制御装置への選択位置の情報の送信とを可能であればよい。このため、操作端末は、ロボット専用の操作端末に限定されず、様々な端末の適用が可能である。さらに、操作端末と制御装置との間の通信データ量が低く抑えられるため、様々な通信ネットワークを用いた迅速且つ確実な通信が可能である。よって、制御装置は、通信ネットワークを介した通信を用いて、多様な場所の多様なユーザの多様な操作端末と接続し、当該ユーザの操作に従ってロボットに動作させることができる。従って、操作者の判断が必要であるロボットの動作の操作が自動化され、それにより、操作可能な操作者の多様化が可能になる。
【0152】
本開示の一態様に係る制御装置では、前記状態情報を取得する処理において、前記第１プロセッサは、前記ワークが撮像された画像のデータである第１画像データを取得し、前記第１画像データを画像処理することによって前記状態情報を検出してもよい。上記態様によると、制御装置は、ワークに関する状態情報の検出から作業位置の候補の決定までの処理を自身で行うことができる。
【0153】
本開示の一態様に係る制御装置では、前記選択要求を前記操作端末に送信する処理において、前記第１プロセッサは、前記ワークが撮像された画像のデータである第１画像データを取得し、前記第１画像データを画像処理することによって、前記第１画像データの画像上で前記作業位置の候補を表す画像のデータである第２画像データを生成し、前記第２画像データを用いた前記選択要求を前記操作端末に送信してもよい。上記態様によると、制御装置は、ワークが撮像された画像上で作業位置の候補を示す画像を用いて選択位置の選択を要求することができる。
【0154】
本開示の一態様に係る制御装置において、前記第１プロセッサは、前記操作端末から前記選択位置の情報を受信すると、前記選択位置に従った前記ロボットの予定動作を検出することと、前記予定動作の情報を前記操作端末に送信し提示させることとをさらに実行してもよい。上記態様によると、制御装置は、選択位置に従ったロボットの予定動作をユーザに提示することができる。例えば、制御装置は、ユーザによる予定動作の許可後に当該予定動作をロボットに実行させてもよい。
【0155】
本開示の一態様に係る制御装置において、前記第１プロセッサは、前記操作端末による前記予定動作の変更を受け付け、変更された前記予定動作に従って前記ロボットに自動運転で動作させてもよい。上記態様によると、ユーザは、操作端末に提示される予定動作に変更を加え、変更後の予定動作をロボットに実行させることができる。例えば、ユーザは、予定動作においてロボットが周囲の物体と干渉することを確認すると、操作端末を用いて干渉を回避するように予定動作を変更することができる。この場合、ユーザは、例えば、選択位置を変更してもよく、予定動作でのロボットの動作経路を変更してもよい。確実で安全なロボットの動作が可能になる。
【0156】
本開示の一態様に係る制御装置は、第１記憶装置をさらに備え、前記第１記憶装置は、前記ワークの特徴及び前記ワークに設定されている前記所定作業に関する情報を含む第１属性情報を記憶し、前記第１プロセッサは、前記第１属性情報及び前記選択作業位置に従って前記ロボットに自動運転で動作させてもよい。
【0157】
上記態様によると、制御装置は、ワークに適した動作をロボットに実行させることができる。例えば、第１属性情報がワークの弾性、塑性、靭性、脆性及び展延性等のワークの特徴を含む場合、制御装置は、第１属性情報に基づき、ロボットがワークを把持する動作での把持力を決定することができる。第１属性情報がワークの移動姿勢及び移動速度等の所定作業に関する情報を含む場合、制御装置は、第１属性情報に基づき、ロボットがワークを移動する動作でのワークの姿勢及び移動速度を決定することができる。
【0158】
本開示の一態様に係る制御装置において、前記第１プロセッサは、前記選択位置に対応する前記第１属性情報を前記操作端末に送信し提示させることをさらに実行し、前記第１プロセッサは、前記操作端末による前記第１属性情報の変更を受け付け、受け付けた変更内容に従って前記第１属性情報を変更し、変更された前記第１属性情報及び前記選択位置に従って前記ロボットに自動運転で動作させてもよい。上記態様によると、制御装置は、操作端末のユーザの判断に従った第１属性情報に従ってロボットの動作を決定することができる。制御装置は、ロボットの動作制御に、選択位置以外のユーザの判断結果を反映することができる。
【0159】
本開示の一態様に係る制御装置において、前記第１属性情報は、前記ロボットが前記ワークに作用を加えることができる位置の情報を含み、前記作業位置の候補を決定する処理において、前記第1回路は、前記第１属性情報を用いて、前記作業位置の候補として、前記ロボットが前記ワークに作用を加える位置の候補を決定してもよい。上記態様によると、制御装置は、ワークに設定されている作用位置の候補の情報を第１属性情報として記憶する。よって、制御装置は、作業位置の候補を決定するための処理量を低く抑えることができる。
【0160】
本開示の一態様に係る制御装置は、第１記憶装置をさらに備え、前記第１記憶装置は、前記ワークの周辺環境の特徴及び前記周辺環境に設定されている前記所定作業に関する情報を含む第２属性情報を記憶し、前記第１プロセッサは、前記第２属性情報及び前記選択位置に従って前記ロボットに自動運転で動作させてもよい。
【0161】
上記態様によると、制御装置は、周辺環境に適した動作をロボットに実行させることができる。例えば、第２属性情報が、周辺環境であるワークの移動先での配置面の弾性、塑性、靭性、脆性及び展延性等の周辺環境の特徴を含む場合、制御装置は、第２属性情報に基づき、ロボットがワークを配置面に配置する動作でのワークの速度及び加速度を決定することができる。第２属性情報が、ワークの移動先における複数の配置場所に対する配置順序及び配置方向等の所定作業に関する情報を含む場合、制御装置は、第２属性情報に基づき、ロボットがワークを配置する動作でのワークの配置順序及び配置方向を決定することができる。
【0162】
本開示の一態様に係る制御装置において、前記第１プロセッサは、前記選択位置に対応する前記第２属性情報を前記操作端末に送信し提示させることをさらに実行し、前記第１プロセッサは、前記操作端末による前記第２属性情報の変更を受け付け、受け付けた変更内容に従って前記第２属性情報を変更し、変更された前記第２属性情報及び前記選択位置に従って前記ロボットに自動運転で動作させてもよい。上記態様によると、制御装置は、操作端末のユーザの判断に従った第２属性情報に従ってロボットの動作を決定することができる。制御装置は、ロボットの動作制御に、選択位置以外のユーザの判断結果を反映することができる。
【0163】
本開示の一態様に係る制御装置において、前記第２属性情報は、前記周辺環境に対する前記ワークの位置の情報を含み、前記作業位置の候補を決定する処理において、前記第１プロセッサは、前記第２属性情報を用いて、前記作業位置の候補として、前記周辺環境に対する前記ワークの位置の候補を決定してもよい。上記態様によると、制御装置は、周辺環境に設定されている周辺環境に対するワークの位置の候補の情報を第２属性情報として記憶する。よって、制御装置は、作業位置の候補を決定するための処理量を低く抑えることができる。
【0164】
本開示の一態様に係るロボットシステムは、本開示の一態様に係る制御装置と、前記制御装置によって制御される前記ロボットとを備える。上記態様によると、本開示の一態様に係る制御装置と同様の効果が得られる。
【0165】
本開示の一態様に係るロボットシステムは、前記制御装置と前記制御装置によって制御される前記ロボットとの複数の組み合わせを含む複数のロボットグループと、前記通信ネットワークにデータ通信可能に接続される仲介装置であって、複数の前記操作端末のうちの選択された前記操作端末と前記複数のロボットグループのうちの選択された前記ロボットグループの前記制御装置との接続を仲介する仲介装置とをさらに備えてもよい。
【0166】
上記態様によると、複数の操作端末のユーザのうちの任意のユーザが、複数のロボットグループのうちの任意のロボットグループのロボットに選択位置に従った動作をさせることができる。例えば、複数のユーザが交代しつつ１つのロボットグループのロボットを間接操作することが可能である。これにより、各ユーザの操作の負荷を軽減しつつ、ロボットの継続的な作業が可能である。例えば、複数のユーザのうちのロボット及び所定作業に適したユーザによるロボットの間接操作が可能である。
【0167】
本開示の一態様に係る学習装置は、第２プロセッサと第２記憶装置とを備え、前記第２記憶装置は、本開示の一態様に係る１つ以上の制御装置において取得された、前記状態情報と前記状態情報に対応する前記選択位置とを学習用データとして記憶し、前記状態情報に対応する前記選択位置は、前記状態情報に基づく前記作業位置の候補の中から選択された前記選択位置であり、前記第２プロセッサは、前記学習用データの前記状態情報を学習用入力データとし、前記状態情報に対応する前記学習用データの前記選択位置の情報を教師データとして、学習することと、ワークの状態を含む状態情報である入力状態情報を入力データとして受け付け、前記入力状態情報に対応する前記ワークに関する作業位置の候補の中の最適な前記作業位置の情報を出力データとして出力することとを実行する。
【0168】
上記態様によると、学習装置は、操作端末のユーザによる作業位置の選択結果、つまり、ユーザの判断結果を学習することができる。学習後の学習装置は、操作端末のユーザの代わりに、作業位置の候補の中で最適な作業位置を決定し出力することができる。よって、学習装置は、ユーザの判断が必要であるロボットの動作の操作をさらに自動化することができる。第２プロセッサ及び第２記憶装置はそれぞれ、第１プロセッサ及び第１記憶装置と別々であってもよく、一体化されていてもよい。
【0169】
本開示の一態様に係る学習装置は、第２プロセッサと第２記憶装置とを備え、前記第２記憶装置は、本開示の一態様に係る１つ以上の制御装置において取得された、前記状態情報と前記状態情報に対応する前記選択位置とを学習用データとして記憶し、前記状態情報に対応する前記選択位置は、前記状態情報に基づく前記作業位置の候補の中から選択された前記選択位置であり、前記第２プロセッサは、前記学習用データの前記状態情報を学習用入力データとし、前記状態情報に対応する前記学習用データの前記選択位置の情報を教師データとして、学習することと、ワークの状態を含む状態情報である入力状態情報を入力データとして受け付け、前記入力状態情報に対応する前記ワークに関する作業位置の候補の信頼度を出力データとして出力することと、前記信頼度に基づき、前記ワークに関する任意の位置から最適な前記作業位置を決定し、前記最適な作業位置の情報を出力することとを実行する。
【0170】
上記態様によると、学習装置は、操作端末のユーザによる作業位置の選択結果、つまり、ユーザの判断結果を学習することができる。学習後の学習装置は、操作端末のユーザの代わりに、任意の位置の中で作業位置に最適な位置を決定し出力することができる。よって、学習装置は、ユーザの判断が必要であるロボットの動作の操作をさらに自動化することができる。第２プロセッサ及び第２記憶装置はそれぞれ、第１プロセッサ及び第１記憶装置と別々であってもよく、一体化されていてもよい。
【0171】
本明細書で開示する要素の機能は、開示された機能を実行するよう構成又はプログラムされた汎用プロセッサ、専用プロセッサ、集積回路、ＡＳＩＣ、従来の回路、及び／又は、それらの組み合わせ、を含む回路又は処理回路を使用して実行できる。プロセッサは、トランジスタやその他の回路を含むため、処理回路又は回路と見なされる。本開示において、回路、ユニット、又は手段は、列挙された機能を実行するハードウェアであるか、又は、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであってもよいし、あるいは、列挙された機能を実行するようにプログラム又は構成されているその他の既知のハードウェアであってもよい。ハードウェアが回路の一種と考えられるプロセッサである場合、回路、手段、又はユニットはハードウェアとソフトウェアの組み合わせであり、ソフトウェアはハードウェア及び／又はプロセッサの構成に使用される。
【0172】
上記で用いた序数、数量等の数字は、全て本開示の技術を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。構成要素間の接続関係は、本開示の技術を具体的に説明するために例示するものであり、本開示の機能を実現する接続関係はこれに限定されない。
【0173】
機能ブロック図におけるブロックの分割は一例であり、複数のブロックを一つのブロックとして実現する、一つのブロックを複数に分割する、一部の機能を他のブロックに移す、又はこれらの２つ以上を組み合わせてもよい。類似する機能を有する複数のブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【0174】
本開示は、その本質的な特徴の精神から逸脱することなく、様々なかたちで実施され得るように、本開示の範囲は、明細書の記載よりも添付の請求項によって定義されるため、例示的な実施の形態及び変形例は、例示的なものであって限定的なものではない。請求項及びその範囲内にあるすべての変更、又は、請求項及びその範囲の均等物は、請求項によって包含されることが意図されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図11C】
【図12】
【手続補正書】
【提出日】2024-04-11
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
自動運転で所定作業を実行するように構成されるロボットと、
前記ロボットと通信ネットワークを介してデータ通信可能に接続される操作端末とを含み、
前記ロボットは、
前記所定作業の実行中、作業対象であるワークの状態を含む状態情報を取得し、
前記状態情報に基づき、前記ワークに関する作業位置の候補を決定し、
前記ワークが撮像された画像のデータである第１画像データを取得し、
前記第１画像データを画像処理することによって、前記第１画像データの画像上で前記作業位置の候補を表す画像のデータである第２画像データを生成し、
前記作業位置の候補の中から前記作業位置を選択することを要求する、前記第２画像データを用いた選択要求を、前記操作端末に送信するようにさらに構成され、
前記操作端末は、
前記ロボットから前記選択要求を受信すると、前記選択要求を前記操作端末のユーザに表示し、
前記操作端末のユーザから、選択された前記作業位置である選択位置を指定する指令を受け付けると、前記選択位置の情報を前記ロボットに送信するように構成され、
前記ロボットは、前記操作端末から前記選択位置の情報を受信すると、前記選択位置に従って自動運転で動作するようにさらに構成される
ロボット操作システム。
前記ロボットと通信ネットワークを介してデータ通信可能に接続される操作端末とを含み、
前記ロボットは、
前記所定作業の実行中、作業対象であるワークの状態を含む状態情報を取得し、
前記状態情報に基づき、前記ワークに関する作業位置の候補を決定し、
前記ワークが撮像された画像のデータである第１画像データを取得し、
前記第１画像データを画像処理することによって、前記第１画像データの画像上で前記作業位置の候補を表す画像のデータである第２画像データを生成し、
前記作業位置の候補の中から前記作業位置を選択することを要求する、前記第２画像データを用いた選択要求を、前記操作端末に送信するようにさらに構成され、
前記操作端末は、
前記ロボットから前記選択要求を受信すると、前記選択要求を前記操作端末のユーザに表示し、
前記操作端末のユーザから、選択された前記作業位置である選択位置を指定する指令を受け付けると、前記選択位置の情報を前記ロボットに送信するように構成され、
前記ロボットは、前記操作端末から前記選択位置の情報を受信すると、前記選択位置に従って自動運転で動作するようにさらに構成される
ロボット操作システム。
【請求項2】
自動運転で所定作業を実行するように構成されるロボットと、
前記ロボットと通信ネットワークを介してデータ通信可能に接続される操作端末とを含み、
前記ロボットは、
前記所定作業の実行中、作業対象であるワークの状態を含む状態情報を取得し、
前記状態情報に基づき、前記ワークに関する作業位置の候補を決定し、
前記作業位置の候補の中から前記作業位置を選択することを要求する選択要求を、前記操作端末に送信するように構成され、
前記操作端末は、
前記ロボットから前記選択要求を受信すると、前記選択要求を前記操作端末のユーザに提示し、
前記操作端末のユーザから、選択された前記作業位置である選択位置を指定する指令を受け付けると、前記選択位置の情報を前記ロボットに送信するように構成され、
前記ロボットは、
前記操作端末から前記選択位置の情報を受信すると、前記選択位置に従った前記ロボットの予定動作を検出し、
前記予定動作の情報を前記操作端末に送信するようにさらに構成され、
前記操作端末は、前記ロボットから前記予定動作の情報を受信すると、前記予定動作の情報を前記操作端末のユーザに提示するようにさらに構成される
ロボット操作システム。
前記ロボットと通信ネットワークを介してデータ通信可能に接続される操作端末とを含み、
前記ロボットは、
前記所定作業の実行中、作業対象であるワークの状態を含む状態情報を取得し、
前記状態情報に基づき、前記ワークに関する作業位置の候補を決定し、
前記作業位置の候補の中から前記作業位置を選択することを要求する選択要求を、前記操作端末に送信するように構成され、
前記操作端末は、
前記ロボットから前記選択要求を受信すると、前記選択要求を前記操作端末のユーザに提示し、
前記操作端末のユーザから、選択された前記作業位置である選択位置を指定する指令を受け付けると、前記選択位置の情報を前記ロボットに送信するように構成され、
前記ロボットは、
前記操作端末から前記選択位置の情報を受信すると、前記選択位置に従った前記ロボットの予定動作を検出し、
前記予定動作の情報を前記操作端末に送信するようにさらに構成され、
前記操作端末は、前記ロボットから前記予定動作の情報を受信すると、前記予定動作の情報を前記操作端末のユーザに提示するようにさらに構成される
ロボット操作システム。
【請求項3】
自動運転で所定作業を実行するように構成されるロボットと、
前記ロボットと通信ネットワークを介してデータ通信可能に接続される操作端末とを含み、
前記ロボットは、
作業対象であるワークの特徴及び前記ワークに設定されている前記所定作業に関する情報を含む第１属性情報を保持しており、
前記所定作業の実行中、前記ワークの状態を含む状態情報を取得し、
前記状態情報に基づき、前記ワークに関する作業位置の候補を決定し、
前記作業位置の候補の中から前記作業位置を選択することを要求する選択要求を、前記操作端末に送信するように構成され、
前記操作端末は、
前記ロボットから前記選択要求を受信すると、前記選択要求を前記操作端末のユーザに提示し、
前記操作端末のユーザから、選択された前記作業位置である選択位置を指定する指令を受け付けると、前記選択位置の情報を前記ロボットに送信するように構成され、
前記ロボットは、前記操作端末から前記選択位置の情報を受信すると、前記第１属性情報及び前記選択位置に従って自動運転で動作するようにさらに構成される
ロボット操作システム。
前記ロボットと通信ネットワークを介してデータ通信可能に接続される操作端末とを含み、
前記ロボットは、
作業対象であるワークの特徴及び前記ワークに設定されている前記所定作業に関する情報を含む第１属性情報を保持しており、
前記所定作業の実行中、前記ワークの状態を含む状態情報を取得し、
前記状態情報に基づき、前記ワークに関する作業位置の候補を決定し、
前記作業位置の候補の中から前記作業位置を選択することを要求する選択要求を、前記操作端末に送信するように構成され、
前記操作端末は、
前記ロボットから前記選択要求を受信すると、前記選択要求を前記操作端末のユーザに提示し、
前記操作端末のユーザから、選択された前記作業位置である選択位置を指定する指令を受け付けると、前記選択位置の情報を前記ロボットに送信するように構成され、
前記ロボットは、前記操作端末から前記選択位置の情報を受信すると、前記第１属性情報及び前記選択位置に従って自動運転で動作するようにさらに構成される
ロボット操作システム。
【請求項4】
自動運転で所定作業を実行するように構成されるロボットと、
前記ロボットと通信ネットワークを介してデータ通信可能に接続される操作端末とを含み、
前記ロボットは、
作業対象であるワークの周辺環境の特徴及び前記周辺環境に設定されている前記所定作業に関する情報を含む第２属性情報を保持しており、
前記所定作業の実行中、前記ワークの状態を含む状態情報を取得し、
前記状態情報に基づき、前記ワークに関する作業位置の候補を決定し、
前記作業位置の候補の中から前記作業位置を選択することを要求する選択要求を、前記操作端末に送信するように構成され、
前記操作端末は、
前記ロボットから前記選択要求を受信すると、前記選択要求を前記操作端末のユーザに提示し、
前記操作端末のユーザから、選択された前記作業位置である選択位置を指定する指令を受け付けると、前記選択位置の情報を前記ロボットに送信するように構成され、
前記ロボットは、前記操作端末から前記選択位置の情報を受信すると、前記第２属性情報及び前記選択位置に従って自動運転で動作するようにさらに構成される
ロボット操作システム。
前記ロボットと通信ネットワークを介してデータ通信可能に接続される操作端末とを含み、
前記ロボットは、
作業対象であるワークの周辺環境の特徴及び前記周辺環境に設定されている前記所定作業に関する情報を含む第２属性情報を保持しており、
前記所定作業の実行中、前記ワークの状態を含む状態情報を取得し、
前記状態情報に基づき、前記ワークに関する作業位置の候補を決定し、
前記作業位置の候補の中から前記作業位置を選択することを要求する選択要求を、前記操作端末に送信するように構成され、
前記操作端末は、
前記ロボットから前記選択要求を受信すると、前記選択要求を前記操作端末のユーザに提示し、
前記操作端末のユーザから、選択された前記作業位置である選択位置を指定する指令を受け付けると、前記選択位置の情報を前記ロボットに送信するように構成され、
前記ロボットは、前記操作端末から前記選択位置の情報を受信すると、前記第２属性情報及び前記選択位置に従って自動運転で動作するようにさらに構成される
ロボット操作システム。
【請求項5】
自動運転で所定作業を実行するように構成されるロボットと、操作端末とを含むシステムにおける情報処理方法であって、
前記ロボットによる前記所定作業の実行中、作業対象であるワークの状態を含む状態情報を取得することと、
前記状態情報に基づき、前記ワークに関する作業位置の候補を決定することと、
前記ワークが撮像された画像のデータである第１画像データを取得することと、
前記第１画像データを画像処理することによって、前記第１画像データの画像上で前記作業位置の候補を表す画像のデータである第２画像データを生成することと、
前記作業位置の候補の中から前記作業位置を選択することを要求する、前記第２画像データを用いた選択要求を、前記操作端末に与えることと、
前記操作端末において、前記選択要求を前記操作端末のユーザに表示することと、
前記操作端末のユーザから前記操作端末が受け付けた、選択された前記作業位置である選択位置の情報を、前記操作端末から取得することと、
前記選択位置に従って前記ロボットに自動運転で動作させることとを含む
情報処理方法。
前記ロボットによる前記所定作業の実行中、作業対象であるワークの状態を含む状態情報を取得することと、
前記状態情報に基づき、前記ワークに関する作業位置の候補を決定することと、
前記ワークが撮像された画像のデータである第１画像データを取得することと、
前記第１画像データを画像処理することによって、前記第１画像データの画像上で前記作業位置の候補を表す画像のデータである第２画像データを生成することと、
前記作業位置の候補の中から前記作業位置を選択することを要求する、前記第２画像データを用いた選択要求を、前記操作端末に与えることと、
前記操作端末において、前記選択要求を前記操作端末のユーザに表示することと、
前記操作端末のユーザから前記操作端末が受け付けた、選択された前記作業位置である選択位置の情報を、前記操作端末から取得することと、
前記選択位置に従って前記ロボットに自動運転で動作させることとを含む
情報処理方法。
【請求項6】
自動運転で所定作業を実行するように構成されるロボットと、操作端末とを含むシステムにおける情報処理方法であって、
前記ロボットによる前記所定作業の実行中、作業対象であるワークの状態を含む状態情報を取得することと、
前記状態情報に基づき、前記ワークに関する作業位置の候補を決定することと、
前記作業位置の候補の中から前記作業位置を選択することを要求する選択要求を、前記操作端末に与えることと、
前記操作端末において、前記選択要求を前記操作端末のユーザに提示することと、
前記操作端末のユーザから前記操作端末が受け付けた、選択された前記作業位置である選択位置の情報を、前記操作端末から取得することと、
前記選択位置に従った前記ロボットの予定動作を検出することと、
前記予定動作の情報を前記操作端末に与え提示させることと、
前記選択位置に従って前記ロボットに自動運転で動作させることとを含む
情報処理方法。
前記ロボットによる前記所定作業の実行中、作業対象であるワークの状態を含む状態情報を取得することと、
前記状態情報に基づき、前記ワークに関する作業位置の候補を決定することと、
前記作業位置の候補の中から前記作業位置を選択することを要求する選択要求を、前記操作端末に与えることと、
前記操作端末において、前記選択要求を前記操作端末のユーザに提示することと、
前記操作端末のユーザから前記操作端末が受け付けた、選択された前記作業位置である選択位置の情報を、前記操作端末から取得することと、
前記選択位置に従った前記ロボットの予定動作を検出することと、
前記予定動作の情報を前記操作端末に与え提示させることと、
前記選択位置に従って前記ロボットに自動運転で動作させることとを含む
情報処理方法。
【請求項7】
自動運転で所定作業を実行するように構成されるロボットと、操作端末とを含むシステムにおける情報処理方法であって、
作業対象であるワークの特徴及び前記ワークに設定されている前記所定作業に関する情報を含む第１属性情報を取得することと、
前記ロボットによる前記所定作業の実行中、前記ワークの状態を含む状態情報を取得することと、
前記状態情報に基づき、前記ワークに関する作業位置の候補を決定することと、
前記作業位置の候補の中から前記作業位置を選択することを要求する選択要求を、前記操作端末に与えることと、
前記操作端末において、前記選択要求を前記操作端末のユーザに提示することと、
前記操作端末のユーザから前記操作端末が受け付けた、選択された前記作業位置である選択位置の情報を、前記操作端末から取得することと、
前記第１属性情報及び前記選択位置に従って前記ロボットに自動運転で動作させることとを含む
情報処理方法。
作業対象であるワークの特徴及び前記ワークに設定されている前記所定作業に関する情報を含む第１属性情報を取得することと、
前記ロボットによる前記所定作業の実行中、前記ワークの状態を含む状態情報を取得することと、
前記状態情報に基づき、前記ワークに関する作業位置の候補を決定することと、
前記作業位置の候補の中から前記作業位置を選択することを要求する選択要求を、前記操作端末に与えることと、
前記操作端末において、前記選択要求を前記操作端末のユーザに提示することと、
前記操作端末のユーザから前記操作端末が受け付けた、選択された前記作業位置である選択位置の情報を、前記操作端末から取得することと、
前記第１属性情報及び前記選択位置に従って前記ロボットに自動運転で動作させることとを含む
情報処理方法。
【請求項8】
自動運転で所定作業を実行するように構成されるロボットと、操作端末とを含むシステムにおける情報処理方法であって、
作業対象であるワークの周辺環境の特徴及び前記周辺環境に設定されている前記所定作業に関する情報を含む第２属性情報を取得することと、
前記ロボットによる前記所定作業の実行中、前記ワークの状態を含む状態情報を取得することと、
前記状態情報に基づき、前記ワークに関する作業位置の候補を決定することと、
前記作業位置の候補の中から前記作業位置を選択することを要求する選択要求を、前記操作端末に与えることと、
前記操作端末において、前記選択要求を前記操作端末のユーザに提示することと、
前記操作端末のユーザから前記操作端末が受け付けた、選択された前記作業位置である選択位置の情報を、前記操作端末から取得することと、
前記第２属性情報及び前記選択位置に従って前記ロボットに自動運転で動作させることとを含む
情報処理方法。
作業対象であるワークの周辺環境の特徴及び前記周辺環境に設定されている前記所定作業に関する情報を含む第２属性情報を取得することと、
前記ロボットによる前記所定作業の実行中、前記ワークの状態を含む状態情報を取得することと、
前記状態情報に基づき、前記ワークに関する作業位置の候補を決定することと、
前記作業位置の候補の中から前記作業位置を選択することを要求する選択要求を、前記操作端末に与えることと、
前記操作端末において、前記選択要求を前記操作端末のユーザに提示することと、
前記操作端末のユーザから前記操作端末が受け付けた、選択された前記作業位置である選択位置の情報を、前記操作端末から取得することと、
前記第２属性情報及び前記選択位置に従って前記ロボットに自動運転で動作させることとを含む
情報処理方法。