特許 7600675 ロボットの制御プログラムを作成する処理をプロセッサーに実行させるコンピュータープログラム、並びに、ロボットの制御プログラムを作成する方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-09

(45)【発行日】2024-12-17

(54)【発明の名称】ロボットの制御プログラムを作成する処理をプロセッサーに実行させるコンピュータープログラム、並びに、ロボットの制御プログラムを作成する方法及びシステム

(51)【国際特許分類】

   B25J 9/22 20060101AFI20241210BHJP

【ＦＩ】

B25J9/22 A

【請求項の数】 7

(21)【出願番号】P 2020214761

(22)【出願日】2020-12-24

(65)【公開番号】P2022100660

(43)【公開日】2022-07-06

【審査請求日】2023-12-01

(73)【特許権者】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】100179475

【弁理士】

【氏名又は名称】仲井 智至

(74)【代理人】

【識別番号】100216253

【弁理士】

【氏名又は名称】松岡 宏紀

(74)【代理人】

【識別番号】100225901

【弁理士】

【氏名又は名称】今村 真之

(72)【発明者】

【氏名】岩原 佑磨

(72)【発明者】

【氏名】北澤 幸行

【審査官】神山 貴行

(56)【参考文献】

【文献】国際公開第２０１７／１３０３８９（ＷＯ，Ａ１）

【文献】特開２０１６－１２０５６４（ＪＰ，Ａ）

【文献】特開２０１１－１１０６２１（ＪＰ，Ａ）

【文献】西川 由理，「映像からの行動検出手法ＳｌｏｗＦａｓｔの分散深層学習の評価」，情報処理学会 研究報告 ハイパフォーマンスコンピューティング（ＨＰＣ） ２０２０－ＨＰＣ－１７７ ［ｏｎｌｉｎｅ］ ，日本，情報処理学会

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００－２１／０２

(57)【特許請求の範囲】

【請求項1】

ロボットの制御プログラムを作成する処理をプロセッサーに実行させるコンピューター
プログラムであって、
（ａ）作業者が腕と手指とを用いてワークを操作する作業に含まれる１つ以上の作業者動
作を撮像装置で撮影した画像から、前記作業者動作を認識する処理と、
（ｂ）前記作業者動作が前記手指の関節の動きを伴う特定手指動作を含む場合に、前記手
指を前記撮像装置で撮影した画像から、前記特定手指動作における手指位置を認識する処
理と、
（ｃ）前記ワークを前記撮像装置で撮像した画像から、前記作業の後における前記ワーク
の位置を認識する処理と、
（ｄ）前記処理（ａ）で認識された前記作業者動作と、前記処理（ｂ）で認識された前記
手指位置と、前記処理（ｃ）で認識された前記ワークの位置とを用いて、前記ロボットの
制御プログラムを生成する処理と、
を前記プロセッサーに実行させ、
前記特定手指動作は、前記手指による把持動作と、前記手指による解放動作と、前記手
指による指差し動作と、のうちの１つ以上を含み、
前記処理（ｂ）は、前記作業者動作が前記特定手指動作を含まない場合には、前記手指
位置を認識する処理を行わない、コンピュータープログラム。

【請求項2】

請求項１に記載のコンピュータープログラムであって、
前記処理（ｄ）は、
（ｉ）前記作業者動作と前記手指位置と前記ワークの位置とを用いて、ロボットの種類に
依存しないロボット非依存座標系で前記作業を記述する作業記述リストを作成する処理と
、
（ｉｉ）前記制御プログラムにより制御される前記ロボットの種類に応じて、前記作業記
述リストを用いて、前記制御プログラムを作成する処理と、
を含む、コンピュータープログラム。

【請求項3】

請求項１～２のいずれか一項に記載のコンピュータープログラムであって、
前記撮像装置は、複数のカメラを含み、
前記処理（ａ）において前記作業者動作を認識するために使用する前記画像と、前記処
理（ｂ）において前記手指位置を認識するために使用する前記画像は、異なるカメラで撮
影された画像である、コンピュータープログラム。

【請求項4】

請求項１～２のいずれか一項に記載のコンピュータープログラムであって、
前記撮像装置は、複数のカメラを含み、
前記処理（ａ）において前記作業者動作を認識するために使用する前記画像と、前記処
理（ｃ）において前記ワークの位置を認識するために使用する前記画像は、異なるカメラ
で撮影された画像である、コンピュータープログラム。

【請求項5】

請求項１～２のいずれか一項に記載のコンピュータープログラムであって、
前記撮像装置で撮影した画像は、複数の画像フレームを含み、
前記処理（ａ）は、
前記複数の画像フレームの中から第１周期で抽出した第１画像フレーム群を第１ニュー
ラルネットワークに入力して得られた第１処理結果と、
前記複数の画像フレームの中から前記第１周期より長い第２周期で抽出した第２画像フ
レーム群を第２ニューラルネットワークに入力して得られた第２処理結果と、を用いて前
記作業者動作を認識する処理である、コンピュータープログラム。

【請求項6】

ロボットの制御プログラムを作成する方法であって、
（ａ）作業者が腕と手指とを用いてワークを操作する作業に含まれる１つ以上の作業者動
作を撮像装置で撮影した画像から、前記作業者動作を認識する工程と、
（ｂ）前記作業者動作が前記手指の関節の動きを伴う特定手指動作を含む場合に、前記手
指を前記撮像装置で撮影した画像から、前記特定手指動作における手指位置を認識する工
程と、
（ｃ）前記ワークを前記撮像装置で撮像した画像から、前記作業の後における前記ワーク
の位置を認識する工程と、
（ｄ）前記工程（ａ）で認識された前記作業者動作と、前記工程（ｂ）で認識された前記
手指位置と、前記工程（ｃ）で認識された前記ワークの位置とを用いて、前記ロボットの
制御プログラムを生成する工程と、
を含み、
前記特定手指動作は、前記手指による把持動作と、前記手指による解放動作と、前記手
指による指差し動作と、のうちの１つ以上を含み、
前記工程（ｂ）は、前記作業者動作が前記特定手指動作を含まない場合には、前記手指
位置を認識する工程を行わない、方法。

【請求項7】

ロボットの制御プログラムを作成する処理を実行するシステムであって、
プロセッサーを有する情報処理装置と、
前記情報処理装置に接続された撮像装置と、
を備え、
前記プロセッサーは、
（ａ）作業者が腕と手指とを用いてワークを操作する作業に含まれる１つ以上の作業者動
作を前記撮像装置で撮影した画像から、前記作業者動作を認識する処理と、
（ｂ）前記作業者動作が前記手指の関節の動きを伴う特定手指動作を含む場合に、前記手
指を前記撮像装置で撮影した画像から、前記特定手指動作における手指位置を認識する処
理と、
（ｃ）前記ワークを前記撮像装置で撮像した画像から、前記作業の後における前記ワーク
の位置を認識する処理と、
（ｄ）前記処理（ａ）で認識された前記作業者動作と、前記処理（ｂ）で認識された前記
手指位置と、前記処理（ｃ）で認識された前記ワークの位置とを用いて、前記ロボットの
制御プログラムを生成する処理と、
を実行し、
前記特定手指動作は、前記手指による把持動作と、前記手指による解放動作と、前記手
指による指差し動作と、のうちの１つ以上を含み、
前記処理（ｂ）は、前記作業者動作が前記特定手指動作を含まない場合には、前記手指
位置を認識する処理を行わない、システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ロボットの制御プログラムを作成する処理をプロセッサーに実行させるコンピュータープログラム、並びに、ロボットの制御プログラムを作成する方法及びシステムに関する。

【背景技術】

【0002】

特許文献１には、ロボットの教示データを作成する技術が開示されている。この従来技術では、カメラを用いて作業者の手を含む教示画像を取得し、その教示画像に基づいて手指の各関節および指先の位置である手指座標を決定し、手指座標に基づいてロボットアーム１１０の動作を教示する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－１１０６２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、対象物を把持したり解放したりしない時であっても常に手指の認識を行うため、その処理負荷が大きいという問題があった。

【課題を解決するための手段】

【0005】

本開示の第１の形態によれば、ロボットの制御プログラムを作成する処理をプロセッサーに実行させるコンピュータープログラムが提供される。このコンピュータープログラムは、（ａ）作業者が腕と手指とを用いてワークを操作する作業に含まれる１つ以上の作業者動作を撮像装置で撮影した画像から、前記作業者動作を認識する処理と、（ｂ）前記作業者動作が前記手指の関節の動きを伴う特定手指動作を含む場合に、前記手指を前記撮像装置で撮影した画像から、前記特定手指動作における手指位置を認識する処理と、（ｃ）前記ワークを前記撮像装置で撮像した画像から、前記作業の後における前記ワークの位置を認識する処理と、（ｄ）前記処理（ａ）で認識された前記作業者動作と、前記処理（ｂ）で認識された前記手指位置と、前記処理（ｃ）で認識された前記ワークの位置とを用いて、前記ロボットの制御プログラムを生成する処理と、を前記プロセッサーに実行させる。

【0006】

本開示の第２の形態によれば、ロボットの制御プログラムを作成する方法が提供される。この方法は、（ａ）作業者が腕と手指とを用いてワークを操作する作業に含まれる１つ以上の作業者動作を撮像装置で撮影した画像から、前記作業者動作を認識する工程と、（ｂ）前記作業者動作が前記手指の関節の動きを伴う特定手指動作を含む場合に、前記手指を前記撮像装置で撮影した画像から、前記特定手指動作における手指位置を認識する工程と、（ｃ）前記ワークを前記撮像装置で撮像した画像から、前記作業の後における前記ワークの位置を認識する工程と、（ｄ）前記工程（ａ）で認識された前記作業者動作と、前記工程（ｂ）で認識された前記手指位置と、前記工程（ｃ）で認識された前記ワークの位置とを用いて、前記ロボットの制御プログラムを生成する工程と、を含む。

【0007】

本開示の第３の形態によれば、ロボットの制御プログラムを作成する処理を実行するシステムが提供される。このシステムは、プロセッサーを有する情報処理装置と、前記情報処理装置に接続された撮像装置と、を備える。前記プロセッサーは、（ａ）作業者が腕と手指とを用いてワークを操作する作業に含まれる１つ以上の作業者動作を前記撮像装置で撮影した画像から、前記作業者動作を認識する処理と、（ｂ）前記作業者動作が前記手指の関節の動きを伴う特定手指動作を含む場合に、前記手指を前記撮像装置で撮影した画像から、前記特定手指動作における手指位置を認識する処理と、（ｃ）前記ワークを前記撮像装置で撮像した画像から、前記作業の後における前記ワークの位置を認識する処理と、（ｄ）前記処理（ａ）で認識された前記作業者動作と、前記処理（ｂ）で認識された前記手指位置と、前記処理（ｃ）で認識された前記ワークの位置とを用いて、前記ロボットの制御プログラムを生成する処理と、を実行する。

【図面の簡単な説明】

【0008】

【図1】実施形態におけるロボットシステムの説明図。

【図2】情報処理装置の機能ブロック図。

【図3】制御プログラム作成処理の手順を示すフローチャート。

【図4】第１作業領域内のワークを撮影した画像フレームの例を示す説明図。

【図5】ワークの認識結果を示す説明図。

【図6】作業者動作を撮影した画像フレームの例を示す説明図。

【図7】作業者動作の認識結果を示す説明図。

【図8】ステップＳ４０の詳細手順を示すフローチャート。

【図9】手指位置を認識する様子を示す説明図。

【図10】認識対象となる手指位置を示す説明図。

【図11】手指位置の認識結果を示す説明図。

【図12】作業記述リストを示す説明図。

【発明を実施するための形態】

【0009】

図１は、一実施形態におけるロボットシステムの一例を示す説明図である。このロボットシステムは、ロボット１００と、第１カメラ２１０と、第２カメラ２２０と、第３カメラ２３０と、ロボット１００を制御する機能を有する情報処理装置３００と、を備える。情報処理装置３００は、例えばパーソナルコンピューターである。

【0010】

ロボット１００は、複数の関節を有する多軸ロボットである。但し、ロボット１００としては、１個以上の関節を有する任意のアーム機構を有するロボットを用いることが可能である。また、本実施形態のロボット１００は、垂直多関節ロボットであるが、水平多関節ロボットを使用してもよい。本実施形態において、ロボット１００のエンドエフェクターはワークを保持できるグリッパーであるが、任意のエンドエフェクターを使用可能である。

【0011】

図１のロボットシステムには、作業者ＴＰが教示作業を行う第１作業領域ＷＡ１と、ロボット１００が作業を実行する第２作業領域ＷＡ２とが設定されている。作業者ＴＰを「教示者」とも呼ぶ。第１作業領域ＷＡ１は、第１カメラ２１０によって撮影することが可能である。第２作業領域ＷＡ２は、第２カメラ２２０によって撮影することが可能である。第１作業領域ＷＡ１と第１カメラ２１０の間の相対位置は、第２作業領域ＷＡ２と第２カメラ２２０の間の相対位置と同一に設定されていることが好ましい。なお、第１作業領域ＷＡ１と第２作業領域ＷＡ２は、同一の領域であってもよい。

【0012】

第１作業領域ＷＡ１には、作業者ＴＰの手指やワークを撮影するための第３カメラ２３０が設置されている。第３カメラ２３０は、第１カメラ２１０よりも手指やワークをより近くで撮影できるようにするために、第１カメラ２１０よりも第１作業領域ＷＡ１により近い位置に設置されていることが好ましい。第３カメラ２３０で撮影された画像を用いて手指やワークの位置を認識すれば、第１カメラ２１０のみを用いる場合に比べて、手指やワークの位置をより正確に認識できる。但し、第３カメラ２３０を省略してもよい。

【0013】

第１作業領域ＷＡ１は、第１供給領域ＳＡ１と第１目標領域ＴＡ１とを含んでいる。第１供給領域ＳＡ１は、教示作業の開始時においてワークＷＫ１が配置される領域である。第１目標領域ＴＡ１は、教示作業としての作業者ＴＰの操作によってワークＷＫ１を第１供給領域ＳＡ１から移動させてワークＷＫ１を配置する領域である。第１作業領域ＷＡ１内における第１供給領域ＳＡ１及び第１目標領域ＴＡ１の形状と位置は任意に設定可能である。

【0014】

第２作業領域ＷＡ２は、第１作業領域ＷＡ１と同一の形状を有しており、第１供給領域ＳＡ１及び第１目標領域ＴＡ１とそれぞれ同じ形状を有する第２供給領域ＳＡ２及び第２目標領域ＴＡ２を含んでいる。第２供給領域ＳＡ２は、ロボット１００による作業の開始時においてワークＷＫ２が配置される領域である。第２目標領域ＴＡ２は、ロボット１００の作業によってワークＷＫ２を第２供給領域ＳＡ２から移動させてワークＷＫ２を配置する領域である。なお、供給領域ＳＡ１，ＳＡ２と目標領域ＴＡ１，ＴＡ２は、それぞれトレーを用いて実現してもよく、或いは、床面や架台の上に個々の領域ＳＡ１，ＳＡ２，ＴＡ１，ＴＡ２を線で描くようにしてもよい。また、供給領域ＳＡ１，ＳＡ２と目標領域ＴＡ１，ＴＡ２は、明示的に区画されていなくてもよい。

【0015】

第１作業領域ＷＡ１での作業対象となるワークＷＫ１と、第２作業領域ＷＡ２での作業対象となるワークＷＫ２は、同じ設計による同種の物体である。但し、それぞれの作業領域ＷＡ１，ＷＡ２との対応関係をわかりやすくするために、以下では、これらを「第１ワークＷＫ１」、「第２ワークＷＫ２」と呼ぶ。

【0016】

図１には、ロボット１００に対して設定されたロボット座標系Σrと、第１カメラ２１０に対して設定された第１カメラ座標系Σc1と、第２カメラ２２０に対して設定された第２カメラ座標系Σc2と、第３カメラ２３０に対して設定された第１カメラ座標系Σc3と、が描かれている。これらの座標系Σr，Σc1，Σc2，Σc3は、いずれも３つの軸Ｘ，Ｙ，Ｚで規定された直交座標系である。これらの座標系Σr，Σc1，Σc2，Σc3の対応関係は、キャリブレーションによって決定されている。

【0017】

第１作業領域ＷＡ１におけるワークＷＫ１の位置姿勢や作業者ＴＰの動作は、第１カメラ２１０や第３カメラ２３０で撮影された第１作業領域ＷＡ１の画像から情報処理装置３００によって認識される。また、第２作業領域ＷＡ２におけるワークＷＫ２の位置姿勢は、第２カメラ２２０で撮影された第２作業領域ＷＡ２の画像から情報処理装置３００によって認識される。カメラ２１０，２２０，２３０としては、被写体を動画又は複数の画像フレームとして撮影できるものが使用される。また、カメラ２１０，２２０，２３０としては、被写体を３次元的に認識できるものを用いることが好ましい。このようなカメラとして、例えば、ステレオカメラや、カラー画像と深さ画像とを同時に撮影可能なＲＧＢＤカメラを用いても良い。ＲＧＢＤカメラを用いれば、深さ画像を用いて障害物の形状も認識することが可能である。カメラ２１０，２２０，２３０は、本開示における「撮像装置」に相当する。

【0018】

図２は、情報処理装置３００の機能を示すブロック図である。情報処理装置３００は、プロセッサー３１０と、メモリー３２０と、インターフェイス回路３３０と、インターフェイス回路３３０に接続された入力デバイス３４０及び表示部３５０と、を有している。インターフェイス回路３３０には、更に、カメラ２１０，２２０，２３０が接続されている。

【0019】

プロセッサー３１０は、物体認識部３１１と、動作認識部３１２と、手指位置認識部３１３と、作業記述リスト作成部３１４と、制御プログラム作成部３１５の機能を有する。物体認識部３１１は、第１カメラ２１０又は第３カメラ２３０で撮影された画像から第１ワークＷＫ１を認識し、また、第２カメラ２２０で撮影された画像から第２ワークＷＫ２を認識する。動作認識部３１２は、第１カメラ２１０で撮影された画像から、作業者ＴＰの動作を認識する。手指位置認識部３１３は、第１カメラ２１０又は第３カメラ２３０で撮影された画像から、作業者ＴＰの手指位置を認識する。物体認識部３１１と動作認識部３１２と手指位置認識部３１３による認識は、ディープラーニングによる機械学習モデルや、特徴量抽出モデルを使用して実現することができる。作業記述リスト作成部３１４は、他部の認識結果を用いて後述する作業記述リストＷＤＬを作成する。制御プログラム作成部３１５は、他部の認識結果又は作業記述リストＷＤＬを用いて、ロボット１００の制御プログラムを作成する。これらの各部３１１～３１５の機能は、メモリー３２０に格納されたコンピュータープログラムをプロセッサー３１０が実行することによって実現される。但し、各部の機能の一部又は全部をハードウェア回路で実現してもよい。

【0020】

メモリー３２０には、ロボット特性データＲＤと、ワーク属性データＷＤと、作業記述リストＷＤＬと、ロボット制御プログラムＲＰが格納される。ロボット特性データＲＤは、ロボット１００の幾何構造や、関節の回転可能角度、重量、慣性値などの特性を含んでいる。ワーク属性データＷＤは、ワークＷＫ１，ＷＫ２の種類や形状等の属性を含んでいる。作業記述リストＷＤＬは、作業者ＴＰの動作とワークＷＫ１を撮影した動画又は複数の画像フレームから認識された作業内容を表すデータであって、ロボットの種類に依存しないロボット非依存座標系で作業を記述したデータである。ロボット制御プログラムＲＰは、ロボット１００を動作させる複数の命令で構成されている。ロボット制御プログラムＲＰは、例えば、ロボット１００を用いて第２ワークＷＫ２を第２供給領域ＳＡ２から第２目標領域ＴＡ２に移動させるピックアンドプレース動作を制御するものとして構成される。ロボット特性データＲＤとワーク属性データＷＤは、後述する制御プログラム作成処理の前に予め準備される。作業記述リストＷＤＬとロボット制御プログラムＲＰは、制御プログラム作成処理によって作成される。

【0021】

図３は、プロセッサー３１０によって実行される制御プログラム作成処理の手順を示すフローチャートである。制御プログラム作成処理は、作業者ＴＰが教示作業の開始指示を情報処理装置３００に入力したときから開始される。以下で説明するステップＳ１０～Ｓ４０が、作業者ＴＰが教示を行う教示作業に相当する。但し、以下の説明において、単に「作業」という語句は、ワークを移動させる作業を意味する。

【0022】

ステップＳ１０では、第１カメラ２１０及び第３カメラ２３０を用いて、作業者用の第１作業領域ＷＡ１で第１ワークＷＫ１と作業者ＴＰの動作を撮影する。ステップＳ２０では、物体認識部３１１が、第１カメラ２１０又は第３カメラ２３０で撮影された画像から、第１作業領域ＷＡ１に存在する第１ワークＷＫ１を認識する。

【0023】

図４は、第１作業領域ＷＡ１内の第１ワークＷＫ１を撮影した画像フレームＭＦ００１，ＭＦ６００の例を示す説明図である。上側の画像フレームＭＦ００１は、作業者ＴＰによる第１ワークＷＫ１の移動作業前における画像であり、下側の画像フレームＭＦ６００は、作業者ＴＰによる第１ワークＷＫ１の移動作業後における画像である。

【0024】

移動作業前の画像フレームＭＦ００１において、第１供給領域ＳＡ１内には、複数の第１ワークＷＫ１ａ，ＷＫ１ｂが配置されており、第１目標領域ＴＡ１にはワークは配置されていない。この例では、２種類の第１ワークＷＫ１ａ，ＷＫ１ｂが第１供給領域ＳＡ１内に配置されている。なお、第１ワークＷＫ１としては、１種類の部品のみを用いてもよく、或いは、Ｎを２以上の整数として、Ｎ種類の部品を用いてもよい。Ｎ種類の部品を用いる場合には、ワーク属性データＷＤは、Ｎ種類の部品のそれぞれについて、その種類と形状を表すデータを含んでいる。物体認識部３１１は、このワーク属性データＷＤを参照して、画像フレームＭＦ００１から第１ワークＷＫ１ａ，ＷＫ１ｂの種類と位置姿勢を認識する。これらの第１ワークＷＫ１ａ，ＷＫ１ｂの周囲には、個々のワークを囲む枠線が描画されている。これらの枠線は、認識されたワークの種類によって色や形状が変更される。作業者ＴＰは、各ワークの周囲に描画された枠線を観察することによって、個々のワークの種類を見分けることが可能である。但し、これらの枠線は省略可能である。画像フレームＭＦ００１には、画像フレームＭＦ００１内の位置を示す画像座標系の座標軸Ｕ，Ｖが描かれている。移動作業後の画像フレームＭＦ６００において、複数の第１ワークＷＫ１ａ，ＷＫ１ｂは、第１供給領域ＳＡ１から第１目標領域ＴＡ１内に移動している。物体認識部３１１は、この画像フレームＭＦ６００からも、第１ワークＷＫ１ａ，ＷＫ１ｂの種類と位置姿勢を認識する。

【0025】

図５は、第１ワークＷＫ１に関する認識結果を示す説明図である。この認識結果の個々のレコードには、画像フレーム番号と、ワークＩＤと、ワークタイプＩＤと、画像座標点と、基準座標系位置姿勢とが登録される。ワークの認識結果は、時系列的にレコードが順番に配列された時系列データである。図５の例では、移動作業前の画像フレームＭＦ００１について、２つの第１ワークＷＫ１ａ，ＷＫ１ｂの認識結果が登録され、移動作業後の画像フレームＭＦ６００についても、２つの第１ワークＷＫ１ａ，ＷＫ１ｂの認識結果が登録されている。「ワークＩＤ」は、個々のワークを区別する識別子である。「ワークタイプＩＤ」は、ワーク種類を示す識別子である。「画像座標点」は、個々のワークの代表点を画像座標（Ｕ，Ｖ）で表現した値である。ワークの代表点としては、例えば、ワーク重心点や、図４に示したワークを囲む枠線の左上点などを使用できる。但し、画像座標点は省略してもよい。「基準座標系位置姿勢」は、ロボット１００に依存しないロボット非依存座標系である基準座標系においてワークの位置姿勢を表現した値である。本開示において、基準座標系としては、第１カメラ２１０のカメラ座標系Σc1を使用する。但し、他の座標系を基準座標系として使用しても良い。基準座標系位置姿勢のうち、姿勢又は回転を示すパラメーターθｘ，θｙ，θｚは、３つの軸回りの回転角度をそれぞれ示している。なお、姿勢又は回転を示すパラメーターの表現としては、回転角度の代わりに、回転を表す回転行列や４元数などの任意の表現を用いることができる。

【0026】

物体認識部３１１によるワークの認識は、作業の前と、作業の後と、ワークの位置姿勢に変化が生じたときに実行され、その認識結果が時系列データとして保存される。作業の途中では、ワークの位置姿勢に変化が生じた場合にのみ物体認識を実行することが好ましい。こうすれば、プロセッサー３１０の処理負荷を軽減でき、また、処理に必要なリソースを低減できる。なお、作業の後における物体の位置のみをロボット制御プログラムで使用する場合には、物体認識部３１１による物体認識は、作業の後のみに行うようにしてもよい。

【0027】

図３のステップＳ３０では、動作認識部３１２が、第１カメラ２１０で撮影された画像から、作業者動作を認識する。

【0028】

図６は、作業者動作を撮影した画像フレームの例を示す説明図である。ここでは、時系列的に撮影された複数の画像フレームの一部である３つの画像フレームＭＦ２００，ＭＦ３００，ＭＦ４００が重ねられている。画像フレームＭＦ２００では、作業者ＴＰが腕ＡＭを伸ばして第１供給領域ＳＡ１内の第１ワークＷＫ１ａを把持している。動作認識部３１２は、この画像フレームＭＦ２００内において、腕ＡＭと、第１ワークＷＫ１ａとを取り囲むバウンディングボックスＢＢを設定する。他の画像フレームＭＦ３００，ＭＦ４００においても同様である。

【0029】

バウンディングボックスＢＢは、例えば以下の目的で使用できる。
（１）ワークの認識結果と手指位置の認識結果を用いて、画像上で接触判定を行うため。
（２）ワークの認識結果と手指位置の認識結果を用いて、画像上で把持位置を特定するため。
（３）画像にバウンディングボックスＢＢを描画して、腕ＡＭが正しく認識されていることを示すため。

【0030】

図７は、作業者動作の認識結果を示す説明図である。この認識結果の個々のレコードには、作業に含まれる個々の作業者動作について、画像フレーム番号と、個体ＩＤと、動作番号と、動作名と、バウンディングボックスＢＢの左上点位置及び右下点位置とが登録される。作業者動作の認識結果も、時系列的にレコードが順番に配列された時系列データである。「個体ＩＤ」は、腕ＡＭを区別する識別子である。例えば、右腕と左腕が画像に現れた場合には、別の個体ＩＤが付与される。バウンディングボックスＢＢの左上点位置及び右下点位置は、基準座標系としてのカメラ座標系Σc1での位置として表現されている。

【0031】

「動作名」は、その画像フレームにおける作業者動作の種類を示す。図７の例では、画像フレームＭＦ２００においてpick（ピック）動作が認識されており、また、画像フレームＭＦ３００においてplace（プレース）動作が認識され、画像フレームＭＦ４００においてpointing（ポインティング）動作が認識されている。これらの動作は、それぞれ連続した複数の画像フレームを解析することによって認識できる。なお、pointing動作は、人差し指を用いた指差し動作を意味する。pointing動作は、人差し指の先端の位置に教示点を設定したり、人差し指の複数の関節に沿って延びる直線上にあるワークを搬送対象として認識したりするために使用できる。上述したもの以外の手指の特定の動作を、ロボットの特定の動作を指示するための動作として使用してもよい。例えば、手指のジェスチャーによって、ワークの把持方法を指示するようにしてもよい。

【0032】

なお、通常の作業は、複数の作業者動作を含むので、ステップＳ３０では複数の作業者動作が認識される。但し、１つ以上の作業者動作で作業を構成することも可能である。従って、ステップＳ３０では、ワークに関する作業に含まれる１つ以上の作業者動作が認識される。

【0033】

ステップＳ３０における作業者動作の認識処理は、”SlowFast Networks for Vide Recognition”技術を使用して実行するようにしてもよい。この技術は、複数の画像フレームの中から第１周期で抽出した第１画像フレーム群を第１ニューラルネットワークに入力して得られた第１処理結果と、複数の画像フレームの中から第１周期より長い第２周期で抽出した第２画像フレーム群を第２ニューラルネットワークに入力して得られた第２処理結果と、を用いて動作を認識する技術である。このような技術を用いれば、作業者動作をより正確に認識できる。

【0034】

ステップＳ４０では、手指位置認識部３１３が、第１カメラ２１０又は第３カメラ２３０で撮影された画像から、手指位置を認識する。

【0035】

図８は、ステップＳ４０の詳細手順を示すフローチャートである。ステップＳ４１では、手指位置認識部３１３が、第１カメラ２１０又は第３カメラ２３０で撮影された複数の画像フレームを読み込む。ステップＳ４２では、手指位置認識部３１３が、複数の画像フレームにおいて手指の動作を認識する。ステップＳ４３では、認識された手指の動作が、特定手指動作に相当するか否かが判定される。「特定手指動作」とは、手指の関節の動きを伴う動作であり、予め作業者ＴＰによって指定された動作である。特定手指動作としては、例えば、手指による把持動作と、手指による解放動作と、手指による指差し動作と、のうちの１つ以上を含むものが指定される。本実施形態において、pick動作は「手指による把持動作」に相当し、place動作は「手指による解放動作」に相当し、pointing動作は「手指による指差し動作」に相当する。手指の動作が特定手指動作に相当する場合には、ステップＳ４４において手指位置認識部３１３が手指位置を認識し、後述するステップＳ４５に進む。手指位置の認識結果については後述する。手指の動作が特定手指動作に相当しない場合には、ステップＳ４４以降の処理を実行せずに図８の処理を終了する。換言すれば、作業者動作が特定手指動作を含まない場合には、手指位置を認識する処理を行わない。こうすれば、作業者動作が特定手指動作を含む場合のみに手指位置を認識する処理を行うので、処理負荷を軽減できる。

【0036】

ステップＳ４５では、特定手指動作がpointing動作であるか否かが判定される。pointing動作でない場合には、図８の処理を終了する。一方、特定手指動作がpointing動作である場合には、ステップＳ４６において、手指位置認識部３１３が、複数の画像フレームから指差し方向を推定する。ステップＳ４７では、手指位置認識部３１３が、複数の画像フレームから指差し対象のワークを特定する。ステップＳ４８では、手指位置認識部３１３が、ステップＳ４７で特定されたワークの方向を示す位置として、指差し位置を特定する。この指差し位置は、手指位置の認識結果に追加的に登録される。なお、ステップＳ４５～Ｓ４８の処理は省略してもよい。

【0037】

図９は、手指位置を認識する様子を示す説明図である。ここでは、図６に示した画像フレームＭＦ２００において、作業者ＴＰの腕ＡＭと手指に複数の基準点ＪＰが特定されている。複数の基準点ＪＰは、リンクＪＬで接続されている。基準点ＪＰは、手指の先端と関節の位置にそれぞれ設定されている。これらの基準点ＪＰやリンクＪＬは、手指位置認識部３１３によって認識された結果である。

【0038】

図１０は、認識対象となる手指位置の基準点を示す説明図である。ここでは、認識対象となる手指位置の基準点ＪＰとして、以下が設定されている。
（１）親指の先端ＪＰ１０及び関節点ＪＰ１１～ＪＰ１３
（２）人差し指の先端ＪＰ２０及び関節点ＪＰ２１～ＪＰ２３
（３）中指の先端ＪＰ３０及び関節点ＪＰ３１～ＪＰ３３
（４）薬指の先端ＪＰ４０及び関節点ＪＰ４１～ＪＰ４３
（５）子指の先端ＪＰ５０及び関節点ＪＰ５１～ＪＰ５３
（６）手首の関節点ＪＰ６０
これらの基準点のうちの一部又は全部が、手指位置認識部３１３で認識される手指位置として使用される。手指位置を正確に認識するためには、上述した基準点のすべてを認識対象とすることが好ましいが、処理負荷を軽減するという観点からは、少なくとも親指の先端ＪＰ１０と人差し指の先端ＪＰ２０を認識対象とすることが好ましい。

【0039】

図１１は、手指位置の認識結果を示す説明図である。この認識結果の個々のレコードには、画像フレーム番号と、個体ＩＤと、手指位置ＩＤと、手指名と、手指位置の画像座標点と、手指の基準座標系位置とが登録される。手指位置の認識結果も、時系列的にレコードが順番に配列された時系列データである。「個体ＩＤ」は、腕ＡＭを区別する識別子である。「手指位置ＩＤ」は、図１０に示した基準点を区別する識別子である。「手指名」としては、手指位置認識部３１３による認識の対象となる特定の手指の名称が登録される。ここでは、thumb（親指）とindex（人差し指）が特定の手指として登録されている。thumb（親指）についてはその先端の基準点ＪＰ１０が登録されており、index（人差し指）についてもその先端の基準点ＪＰ２０が登録されている。図１０で説明した他の基準点についても同様に登録されることが好ましい。手指の画像座標点及び基準座標系位置は、個々の手指位置を示している。但し、画像座標点は省略してもよい。

【0040】

なお、上述した図８においてステップＳ４５～Ｓ４８が実行され、pointing動作における指差し位置が特定されている場合には、その指差し位置を、手指位置の認識結果に追加的に登録される。

【0041】

上述したステップＳ２０～Ｓ４０の実行順序は任意に変更可能である。また、ステップＳ３０において作業者動作を認識するために使用する画像と、ステップＳ４０において手指位置を認識するために使用する画像は、異なるカメラで撮影された画像としてもよい。作業者動作を撮影するカメラと異なるカメラを用いて手指位置を撮影すれば、手指位置をより正確に認識できる。更に、ステップＳ３０において作業者動作を認識するために使用する画像と、ステップＳ２０においてワークを認識するために使用する画像も、異なるカメラで撮影された画像としてもよい。作業者動作を撮影するカメラと異なるカメラを用いてワークを撮影すれば、ワークをより正確に認識できる。

【0042】

図３のステップＳ５０では、作業記述リスト作成部３１４が、それまでの認識結果を用いて、作業記述リストＷＤＬを作成する。作業記述リストＷＤＬは、ロボットの種類に依存しないロボット非依存座標系で作業を記述した時系列データである。

【0043】

図１２は、作業記述リストＷＤＬを示す説明図である。作業記述リストＷＤＬの個々のレコードには、作業に含まれる個々の動作について、レコード番号と、画像フレーム番号と、動作名と、ワークＩＤと、ワーク位置姿勢と、アーム先端位置姿勢と、把持位置とが登録される。「動作名」は、個々の動作の種類である。図１２の例では、同一のワークＷＫ１ａに関して、approach（接近）、pick（ピック）、depart（待避）、approach（接近）、place（プレース）の５つの動作がこの順に登録されている。approach動作とdepart動作は、図７で説明した作業者動作には含まれていないが、ロボット制御プログラムの動作命令として必要な動作なので、pick動作やplace動作などの前後に行われる動作として、作業者リスト作成部３１４によって追加されている。

【0044】

「アーム先端位置姿勢」は、各動作におけるロボットアームの先端の位置姿勢であり、図１１に示した手指位置の認識結果から算出される。「アーム先端位置姿勢」は、例えば、以下のように決定できる。pick動作については、そのpick動作の認識時における手指位置の認識結果から、物体と手の指先が接触した位置を把持位置として求め、基準座標系を原点とした座標変換を行う。そして、この把持位置から、ロボットアームの先端位置を示す値として「アーム先端位置姿勢」を算出する。この際、ワークの姿勢を考慮して、アーム先端の姿勢を決定することが好ましい。最適なアーム先端位置姿勢は、実際の作業に使用するエンドエフェクターに応じて異なる可能性がある。例えば、グリッパーを用いたpick動作やplace動作におけるアーム先端位置姿勢は、複数の把持位置の重心として求めることが可能である。approach動作におけるアーム先端位置は、その前後のpick動作又はplace動作におけるアーム先端位置から所定距離上昇した位置や、手指位置がpick動作又はplace動作を行った位置から所定距離移動したときの位置や、手指位置がpick動作又はplace動作を行った時点から所定時間移動したときの位置に設定される。depart動作におけるアーム先端位置も同様である。

【0045】

「把持位置」は、各動作における手指位置であり、図１１に示した手指位置の認識結果から算出される。図１２の例では、親指の先端の基準点ＪＰ１０の位置と、人差し指の先端の基準点ＪＰ２０の位置とが登録されている。他の基準点も同様に登録されるようにしてもよいが、少なくとも親指の先端の基準点ＪＰ１０と人差し指の先端の基準点ＪＰ２０に関する位置が登録されることが好ましい。また、「把持位置」は、手指によってワークが把持されたり、ワークの把持が解放されたりするときにのみ登録される。図１２の例では、pick動作とplace動作のときにのみ「把持位置」が登録され、approach動作やdepart動作のときには「把持位置」は登録されていない。

【0046】

作業記述リストＷＤＬに登録されている位置姿勢は、すべてロボット非依存座標系としての基準座標系で表現されている。この作業記述リストＷＤＬは、ロボット非依存座標系で作業を記述したものなので、任意の種類のロボットに適したロボット制御プログラムをこの作業記述リストＷＤＬから容易に作成できる。このように、作業記述リストＷＤＬは、ロボットの１動作に相当する単位で作業を分割し、１動作を１行のデータで表現したリストである。作業記述リストＷＤＬは、経路計画は含んでいないことが好ましい。換言すれば、作業記述リストＷＤＬには、作業者の動作から抽出したロボット動作の起点となる中継地点のみが登録されていることが好ましい。

【0047】

図３のステップＳ６０では、制御プログラム作成部３１５が、ロボットタイプの入力を受付ける。このロボットタイプは、ロボット制御プログラムを作成する対象となるロボットの種類を示すものであり、作業者ＴＰによって入力される。

【0048】

ステップＳ７０では、第２カメラ２２０を用いて、ロボット用の第２作業領域ＷＡ２を撮影する。ステップＳ８０では、物体認識部３１１が、第２カメラ２２０で撮影された画像から、第２作業領域ＷＡ２内に存在する第２ワークＷＫ２を認識する。このとき、第２ワークＷＫ２は、第２供給領域ＳＡ１内に配置されており、移動作業前の位置にある。

【0049】

ステップＳ９０では、制御プログラム作成部３１５が、ステップＳ５０で作成された作業記述リストＷＤＬと、ステップＳ８０で認識された第２ワークＷＫの位置を用いて、ロボットの種類に応じたロボット制御プログラムを作成する。この際、作業前のワークの位置としては、ステップＳ８０で認識された第２ワークＷＫの位置が使用される。また、作業後のワークの位置としては、作業記述リストＷＤＬに登録されている作業後のワークの位置が使用される。但し、図１に示した第２供給領域ＳＡ２が、第２ワークＷＫ２の位置が不定な状態の領域である場合には、ステップＳ７０，Ｓ８０を省略し、第２ワークＷＫの位置を用いることなくロボット制御プログラムを作成するようにしてもよい。この場合は、ロボット制御プログラムは、実際の作業の実行の際に第２カメラ２２０で認識されたワークをピックするように記述される。また、第２供給領域ＳＡ２が、パーツフィーダーのようにピックされる第２ワークＷＫ２が一定の位置に配置される領域である場合にも、ステップＳ７０，Ｓ８０を省略し、第２ワークＷＫの位置を用いることなくロボット制御プログラムを作成することが可能である。

【0050】

なお、ロボット制御プログラムでは、作業記述リストＷＤＬに登録されている動作が、ロボットの種類に応じた命令及び表現に変換されている。また、ロボット制御プログラムＲＰでは位置姿勢がロボット座標系Σrで表現されるので、作業記述リストＷＤＬにおいて基準座標系Σc1で表現された位置姿勢は、座標変換によってロボット座標系Σrに変換される。基準座標系Σc1とロボット座標系Σrの座標変換を行う変換行列は既知である。

【0051】

ロボット制御プログラムを作成するために、各種のロボット用のロボット制御プログラム言語の命令と作業内容の対応表を予め用意してメモリー３２０に登録しておくようにしてもよい。この場合に、制御プログラム作成部３１５は、この対応表を参照して、作業記述リストＷＤＬに登録されている動作に対する命令を選択し、作業記述リストＷＤＬに登録されている位置姿勢を引数として与えることによって座標変換を行う、というルールベースの処理を実行することが可能である。

【0052】

図１２に示した作業記述リストＷＤＬでは、「把持位置」として複数の指による把持位置が登録されているので、実際に使用するエンドエフェクターがワークを把持する複数の指を有する場合に、それらの指の位置をロボット制御プログラムで記述することが可能である。また、実際に使用するエンドエフェクターが指を有さず、例えばワークを吸着する吸着ハンドである場合には、「把持位置」を用いずに、「アーム先端位置姿勢」を用いてそのエンドエフェクターの位置姿勢を記述することが可能である。これらの例からも理解できるように、本実施形態では、作業記述リストＷＤＬに「アーム先端位置姿勢」や「把持位置」が記述されているので、実際に使用されるロボットやエンドエフェクターに適したロボット制御プログラムを作成することが可能である。

【0053】

以上のように、上記実施形態では、作業者動作が手指の関節の動きを伴う特定手指動作を含む場合に手指位置を認識するので、手指位置を常時認識する場合に比べて処理負荷を軽減できる。また、上記実施形態では、ロボット非依存座標系で作業を記述する作業記述リストＷＤＬを作成し、その後、その作業記述リストＷＤＬからロボットの種類に適したロボット制御プログラムＲＰを作成するので、複数種類のロボットのいずれかを用いて作業を実行するための制御プログラムを容易に作成できる。但し、作業記述リストＷＤＬを作成せずに、作業者動作の認識結果と、手指位置の認識結果と、ワークの認識結果から、ロボット制御プログラムＲＰを作成するようにしてもよい。

【0054】

なお、上記実施形態では、ピックアンドプレース作業の例を説明したが、本開示は他の作業にも適用可能である。例えば、Pointing動作を含む塗布作業や、ネジ回し作業、ハンマーによる釘打ち作業、ワークの挿入作業、嵌合作業、組み立て作業、などの各種の作業にも本開示を適用できる。

【0055】

・他の実施形態：
本開示は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本開示は、以下の形態（aspect）によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、あるいは、本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【0056】

（１）本開示の第１の形態によれば、ロボットの制御プログラムを作成する処理をプロセッサーに実行させるコンピュータープログラムが提供される。このコンピュータープログラムは、（ａ）作業者が腕と手指とを用いてワークを操作する作業に含まれる１つ以上の作業者動作を撮像装置で撮影した画像から、前記作業者動作を認識する処理と、（ｂ）前記作業者動作が前記手指の関節の動きを伴う特定手指動作を含む場合に、前記手指を前記撮像装置で撮影した画像から、前記特定手指動作における手指位置を認識する処理と、（ｃ）前記ワークを前記撮像装置で撮像した画像から、前記作業の後における前記ワークの位置を認識する処理と、（ｄ）前記処理（ａ）で認識された前記作業者動作と、前記処理（ｂ）で認識された前記手指位置と、前記処理（ｃ）で認識された前記ワークの位置とを用いて、前記ロボットの制御プログラムを生成する処理と、を前記プロセッサーに実行させる。

【0057】

（２）上記コンピュータープログラムにおいて、前記特定手指動作は、前記手指による把持動作と、前記手指による解放動作と、前記手指による指差し動作と、のうちの１つ以上を含み、
前記処理（ｂ）は、前記作業者動作が前記特定手指動作を含まない場合には、前記手指位置を認識する処理を行わないものとしてもよい。
このコンピュータープログラムによれば、作業者動作が特定手指動作を含む場合のみに手指位置を認識する処理を行うので、ロボット制御プログラムの作成処理を高速に実行できる。

【0058】

（３）上記コンピュータープログラムにおいて、前記処理（ｄ）は、（ｉ）前記作業者動作と前記手指位置と前記ワークの位置とを用いて、ロボットの種類に依存しないロボット非依存座標系で前記作業を記述する作業記述リストを作成する処理と、（ｉｉ）前記制御プログラムにより制御される前記ロボットの種類に応じて、前記作業記述リストを用いて、前記制御プログラムを作成する処理と、を含むものとしてもよい。
このコンピュータープログラムによれば、ロボット非依存座標系で作業を記述する作業記述リストを作成し、その後、その作業記述リストからロボットの種類に適した制御プログラムを作成するので、複数種類のロボットのいずれかを用いて作業を実行するためのロボット制御プログラムを容易に作成できる。

【0059】

（４）上記コンピュータープログラムにおいて、前記撮像装置は、複数のカメラを含み、前記処理（ａ）において前記作業者動作を認識するために使用する前記画像と、前記処理（ｂ）において前記手指位置を認識するために使用する前記画像は、異なるカメラで撮影された画像であるものとしてもよい。
このコンピュータープログラムによれば、作業者動作を撮影するカメラとは別のカメラを用いて手指位置を撮影するので、手指位置をより正確に認識できる。

【0060】

（５）上記コンピュータープログラムにおいて、前記撮像装置は、複数のカメラを含み、前記処理（ａ）において前記作業者動作を認識するために使用する前記画像と、前記処理（ｃ）において前記ワークの位置を認識するために使用する前記画像は、異なるカメラで撮影された画像であるものとしてもよい。
このコンピュータープログラムによれば、作業者動作を撮影するカメラとは別のカメラを用いてワークを撮影するので、ワークの位置をより正確に認識できる。

【0061】

（６）上記コンピュータープログラムにおいて、前記撮像装置で撮影した画像は、複数の画像フレームを含み、前記処理（ａ）は、前記複数の画像フレームの中から第１周期で抽出した第１画像フレーム群を第１ニューラルネットワークに入力して得られた第１処理結果と、前記複数の画像フレームの中から前記第１周期より長い第２周期で抽出した第２画像フレーム群を第２ニューラルネットワークに入力して得られた第２処理結果と、を用いて前記作業者動作を認識する処理であるものとしてもよい。
このコンピュータープログラムによれば、作業者動作をより正確に認識できる。

【0062】

（７）本開示の第２の形態によれば、ロボットの制御プログラムを作成する方法が提供される。この方法は、（ａ）作業者が腕と手指とを用いてワークを操作する作業に含まれる１つ以上の作業者動作を撮像装置で撮影した画像から、前記作業者動作を認識する工程と、（ｂ）前記作業者動作が前記手指の関節の動きを伴う特定手指動作を含む場合に、前記手指を前記撮像装置で撮影した画像から、前記特定手指動作における手指位置を認識する工程と、（ｃ）前記ワークを前記撮像装置で撮像した画像から、前記作業の後における前記ワークの位置を認識する工程と、（ｄ）前記工程（ａ）で認識された前記作業者動作と、前記工程（ｂ）で認識された前記手指位置と、前記工程（ｃ）で認識された前記ワークの位置とを用いて、前記ロボットの制御プログラムを生成する工程と、を含む。
この方法によれば、作業者動作が手指の関節の動きを伴う特定手指動作を含む場合に手指位置を認識するので、手指位置を常時認識する場合に比べて処理負荷を軽減できる。

【0063】

（８）本開示の第３の形態によれば、ロボットの制御プログラムを作成する処理を実行するシステムが提供される。このシステムは、プロセッサーを有する情報処理装置と、前記情報処理装置に接続された撮像装置と、を備える。前記プロセッサーは、（ａ）作業者が腕と手指とを用いてワークを操作する作業に含まれる１つ以上の作業者動作を前記撮像装置で撮影した画像から、前記作業者動作を認識する処理と、（ｂ）前記作業者動作が前記手指の関節の動きを伴う特定手指動作を含む場合に、前記手指を前記撮像装置で撮影した画像から、前記特定手指動作における手指位置を認識する処理と、（ｃ）前記ワークを前記撮像装置で撮像した画像から、前記作業の後における前記ワークの位置を認識する処理と、（ｄ）前記処理（ａ）で認識された前記作業者動作と、前記処理（ｂ）で認識された前記手指位置と、前記処理（ｃ）で認識された前記ワークの位置とを用いて、前記ロボットの制御プログラムを生成する処理と、を実行する。
このシステムによれば、作業者動作が手指の関節の動きを伴う特定手指動作を含む場合に手指位置を認識するので、手指位置を常時認識する場合に比べて処理負荷を軽減できる。

【0064】

本開示は、上記以外の種々の形態で実現することも可能である。例えば、ロボットとロボット制御装置とを備えたロボットシステム、ロボット制御装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した一時的でない記録媒体（non-transitory storage medium）等の形態で実現することができる。

【符号の説明】

【0065】

１００…ロボット、２１０…第１カメラ（撮像装置）、２２０…第２カメラ（撮像装置）、２３０…第３カメラ（撮像装置）、３００…情報処理装置、３１０…プロセッサー、３１１…物体認識部、３１２…動作認識部、３１３…手指位置認識部、３１４…作業記述リスト作成部、３１５…制御プログラム作成部、３２０…メモリー、３３０…インターフェイス回路、３４０…入力デバイス、３５０…表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】