ホーム > 特許ランキング > 株式会社日立ハイテク
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-28
(45)【発行日】2024-09-05
(54)【発明の名称】ロボットの作業教示装置
(51)【国際特許分類】
B25J 9/22 20060101AFI20240829BHJP
B25J 13/08 20060101ALI20240829BHJP
【ＦＩ】
B25J9/22 A
B25J13/08 A
【請求項の数】
10
(21)【出願番号】P 2023506404
(86)(22)【出願日】2021-03-15
(86)【国際出願番号】 JP2021010391
(87)【国際公開番号】W WO2022195680
(87)【国際公開日】2022-09-22
【審査請求日】2023-09-06
(73)【特許権者】
【識別番号】501387839
【氏名又は名称】株式会社日立ハイテク
(74)【代理人】
【識別番号】110000350
【氏名又は名称】ポレール弁理士法人
(72)【発明者】
【氏名】石川 慎一
(72)【発明者】
【氏名】小山 昌宏
(72)【発明者】
【氏名】井上 智博
(72)【発明者】
【氏名】高橋 弘樹
【審査官】樋口 幸太郎
(56)【参考文献】
【文献】特開２０１５－０７１２０６（ＪＰ，Ａ）
【文献】特開２０１５－０５４３７８（ＪＰ，Ａ）
【文献】特開２０１２－２２８７５７（ＪＰ，Ａ）
【文献】特開２０１８－１６７３３４（ＪＰ，Ａ）
【文献】特開２０１８－１６７３６１（ＪＰ，Ａ）
【文献】特開２００８－２０７２６２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ２５Ｊ ９／２２
Ｂ２５Ｊ １３／０８
(57)【特許請求の範囲】
【請求項1】
教示者による作業をロボットに教示するロボットの作業教示装置であって、前記教示者の動作を複数の方向から撮像する撮像部と、
前記教示者により把持される物体の位置及び姿勢である教示用ポーズを前記撮像部により計測する教示用ポーズ計測部と、
前記教示者により移動される前記物体が位置決めされたことを検出する位置決め検出部と、
前記教示者により前記物体が把持されたことを検出する把持動作検出部と、
前記教示者により前記物体が有する機能を操作することが行われたことを検出する機能操作検出部と、
前記教示者による前記物体への作業状態の確認が行われたことを検出する作業状態確認動作検出部と、
前記教示用ポーズ計測部と前記位置決め検出部と前記把持動作検出部と前記機能操作検出部と前記作業状態確認動作検出部とからの信号を受けて前記教示者の動作ごとに分割した前記ロボットの教示プログラムを生成する教示プログラム生成部と、
前記教示プログラム生成部で生成した教示プログラムを実行する教示プログラム実行部と、
を備えたことを特徴とするロボットの作業教示装置。
【請求項2】
請求項１記載のロボットの作業教示装置であって、表示部を更に備え、前記表示部には、前記教示プログラム生成部で生成した前記ロボットの前記教示プログラムをシーケンシャル・ファンクション・チャート形式で表示する第１の領域と、前記第１の領域に表示された前記シーケンシャル・ファンクション・チャート形式の前記教示プログラムから選択したステップで実行されるコマンド列を表示する第２の領域と、前記第１の領域に表示された前記シーケンシャル・ファンクション・チャート形式の前記教示プログラムから選択したトランジションで判定される条件式を表示する第３の領域とを備えることを特徴とするロボットの作業教示装置。
【請求項3】
請求項１記載のロボットの作業教示装置であって、前記位置決め検出部で前記教示者により移動される前記物体が位置決めされたことを検出することと、前記把持動作検出部で前記教示者により前記物体が把持されたことを検出することと、前記機能操作検出部で前記教示者により前記物体が有する機能の操作が行われたことを検出することと、前記作業状態確認動作検出部で前記教示者による前記物体への作業状態の確認が行われたことを検出することとを、前記教示用ポーズ計測部で前記教示者による教示用ポーズを計測することと同期して行うことを特徴とするロボットの作業教示装置。
【請求項4】
請求項１記載のロボットの作業教示装置であって、前記教示者による前記物体の位置決め又は前記物体の把持動作又は前記物体が有する機能の操作を検出する操作検出部と、前記物体の位置決め又は前記物体の把持動作又は前記物体が有する機能の操作が行われたことを前記教示者が入力する入力部とを更に備え、
前記教示用ポーズ計測部と前記位置決め検出部と前記把持動作検出部と前記機能操作検出部と前記作業状態確認動作検出部とは、前記撮像部又は前記操作検出部又は前記入力部からの信号を受けて処理した信号を前記教示プログラム生成部に出力することを特徴とするロボットの作業教示装置。
【請求項5】
請求項４記載のロボットの作業教示装置であって、前記教示プログラム生成部は、前記位置決め検出部からの信号、又は、前記操作検出部からの信号、又は、前記入力部からの信号を受けたタイミングごとに分割して前記ロボットの教示プログラムを生成することを特徴とするロボットの作業教示装置。
【請求項6】
請求項４記載のロボットの作業教示装置であって、前記位置決め検出部は、前記撮像部で撮像した前記教示者の動作が一定時間変動しないことを以って、又は、前記操作検出部で検出された信号又は前記教示者が前記入力部に入力した信号を受けて、前記教示者により移動される前記物体が位置決めされたことを検出することを特徴とするロボットの作業教示装置。
【請求項7】
請求項４記載のロボットの作業教示装置であって、前記操作検出部は前記教示者が手指に装着した感圧スイッチを含み、前記入力部は前記教示者が足元で操作するフットスイッチまたは前記教示者の音声を入力するマイクロフォンの何れかを備え、前記把持動作検出部は、前記感圧スイッチ、又は前記フットスイッチ、又は前記マイクロフォンからの出力信号を受けて前記教示者による前記物体の把持動作が行われたことを検出することを特徴とするロボットの作業教示装置。
【請求項8】
請求項４記載のロボットの作業教示装置であって、前記操作検出部は前記教示者が手指に装着した感圧スイッチを含み、前記入力部は前記教示者が足元で操作するフットスイッチまたは前記教示者の音声を入力するマイクロフォンの何れかを備え、前記機能操作検出部は、前記感圧スイッチ、又は前記フットスイッチ、又は前記マイクロフォンからの出力信号を受けて前記教示者による前記物体が有する機能の操作が行われたことを検出することを特徴とするロボットの作業教示装置。
【請求項9】
請求項４記載のロボットの作業教示装置であって、前記操作検出部は前記教示者が手指に装着した感圧スイッチを含み、前記入力部は前記教示者が足元で操作するフットスイッチまたは前記教示者の音声を入力するマイクロフォンの何れかを備え、前記作業状態確認動作検出部は、前記感圧スイッチ、又は前記フットスイッチ、又は前記マイクロフォンからの出力信号を受けて前記教示者による前記物体への作業状態の確認が行われたことを検出することを特徴とするロボットの作業教示装置。
【請求項10】
請求項１記載のロボットの作業教示装置であって、前記教示プログラム生成部で生成する前記教示者の動作ごとに分割した前記ロボットの教示プログラムは、前記把持された物体の位置決め点で区切られた単位動作ごとに分割され、前記単位動作内に含まれる前記教示用ポーズと前記ロボットにより把持される前記物体と同種の物体の位置及び姿勢が一致するように前記ロボットの動作を生成するように記述した前記ロボットの教示プログラムであることを特徴とするロボットの作業教示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人の作業動作をロボットに教示するためのロボットの作業教示装置に関する。
【背景技術】
【0002】
特許文献１のロボット教示システムは、ロボットの教示位置を指定するためのボタンを備えた教示ツールを教示者がロボットを動作させたい位置に合わせ、ここでボタンを押すことで教示位置を指定し、このときの教示ツールの位置及び姿勢をステレオカメラで計測して、これをロボットの教示位置として決定し、さらに、ここで決定した教示位置の間を補間してロボットを動作させる教示プログラムを生成するように構成されている。
【0003】
また、特許文献２には、画像情報を含む作業情報を取得する取得装置を備えたロボット教示システムが記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１４－１３６２７５号公報
【文献】国際公開ＷＯ２０１９／０６４７５２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ロボットの手首部に備えられたハンドにより、様々な作業対象物や作業用ツールを把持し、さらに作業用ツールが有する各種機能を操作しながら、一連の作業をロボットにより実行させる場合、このような作業対象物や作業用ツールの把持や操作に関するコマンドをロボットの教示位置のシーケンス（ロボットの移動経路）に関連付けながら、ロボットの教示プログラムの中に記述する必要がある。
【0006】
また、ロボットの一連の作業の各工程の区切りにおいて、現在の工程が正常終了したかどうかを判断し、次の工程に移行する処理もロボットの教示プログラムの中に記述すべき内容である。例えば、工程の最後に作業対象物の状態を画像認識し、事前に記憶していた目標状態と同じになっていれば正常終了、そうでなければ異常終了と判定する処理が教示プログラムの中に記述される。
【0007】
以上のようなロボットの教示プログラムの記述は、特許文献１で述べられたロボットの動作位置の教示とは別に、教示者が一つ一つ入力する必要があり、ロボットに実行させる作業内容が複雑になると、このような教示者による入力作業及びデバッグ作業が増加し、教示プログラムの開発工数が増大する原因となっていた。
【0008】
また、特許文献２に開示されたロボット教示システムにおいても、ロボットによる被把持物への操作や作業状態の検出を教示することを、ロボットの動作位置の教示とは別に、教示者が一つ一つ入力する必要があり、教示者による入力作業及びデバッグ作業が増加し、教示プログラムの開発工数が増大する原因となっていた。
【0009】
本発明は、上述のような課題を解決するためになされたもので、教示者が一連の作業を実演する際の作業対象物や作業用ツールなどの被把持物の動作を計測するとともに、この計測と同期して、教示者が被把持物の把持や操作、作業状態確認を行ったことを検出することで、ロボットに一連の作業を実行させるための教示プログラムを生成するロボットの作業教示装置及び作業教示方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記した課題を解決するために、本発明では、教示者による作業をロボットに教示するロボットの作業教示装置を、教示者の動作を複数の方向から撮像する撮像部と、この撮像部により教示者により把持される物体（作業対象物や作業用ツールなど）の位置及び姿勢である教示用ポーズを計測する教示用ポーズ計測部と、教示者により移動される物体が位置決めされたことを検出する位置決め検出部と、教示者により物体が把持されたことを検出する把持動作検出部と、教示者により物体が有する機能が操作されたことを検出する機能操作検出部と、教示者による物体への作業状態の確認が行われたことを検出する作業状態確認動作検出部と、教示用ポーズ計測部と位置決め検出部と把持動作検出部と機能操作検出部と作業状態確認動作検出部とからの信号を受けて教示者の動作ごとに分割したロボットの教示プログラムを生成する教示プログラム生成部と、この教示プログラム生成部で生成した教示プログラムを実行する教示プログラム実行部とを備えて構成した。
【発明の効果】
【0012】
本発明よれば、人の作業をロボットの作業に変換する際、人が作業で用いる作業対象物または作業用ツールなどの被把持物を用いて通常通りに作業を実演するだけで、ロボットに一連の作業を実行させるための教示プログラムを、ロボットの移動経路の記述だけでなく、ロボットにより把持される被把持物の把持、被把持物の機能操作、作業状態確認の記述も含めて生成できるため、ロボットの作業教示が容易になり、教示プログラムの開発効率を向上させるという効果がある。
【図面の簡単な説明】
【0013】
【図1】本発明の一実施例に係るロボットの作業教示装置１の全体構成を説明するブロック図である。
【図2】教示用ポーズを計測するカメラ２０１～２０４を作業台１０に対して配置した例を示す平面図である。
【図3】（ａ）は、教示用ポーズを計測するためのマーカープレート３１１を取り付けたマイクロピペット３１０の斜視図、（ｂ）は、教示用ポーズを計測するためのマーカープレート３２１を取り付けた試験管３２０の斜視図である。
【図4】（ａ）は、教示者１１による被把持物の位置決め、把持、機能操作を検出する感圧スイッチ４１１～４１６を内蔵した教示用グローブ４１０の斜視図、（ｂ）は、教示者１１が手に装着してマイクロピペット３１０を把持している例を示す教示用グローブ４１０の斜視図である。
【図5】教示者１１による被把持物の位置決め、把持、機能操作を入力するフットスイッチ５０１、教示者１１の音声を入力するマイクロフォン５０２を使用している例を示す教示者１１とその周辺の斜視図である。
【図6】マイクロピペット３１０を用いて試薬を試験管３２０に分注する作業の手順を示すフローチャートである。
【図7】作業台１０の上でマイクロピペット３１０を用いて分注作業を行った際のマイクロピペット３１０の移動経路と、これを教示用ポーズの部分シーケンスとして分割した例を模式的に示す、ピペットスタンド７０１とチップボックス７０２と試薬ボトル７０４を載置した作業台１０の正面図である。
【図8】教示プログラム生成部１０６の処理の手順を示すフローチャートである。
【図10】（ａ）は、教示プログラム生成部１０６で生成される教示用ポーズの部分シーケンスのデータの例を示す表、（ｂ）は、教示プログラム生成部１０６で生成される教示用ポーズの部分シーケンスから生成されるロボットの関節変位のシーケンスのデータの例を示す表である。
【図11】教示プログラム生成部１０６により生成されるロボットの教示プログラムをシーケンシャル・ファンクション・チャートの形式で表した例を示す図である。
【図14】（ａ）は、図１１～１３に示したシーケンシャル・ファンクション・チャートにおけるステップｓ２のアクションとして記述されたコマンド列１４０１を示す図、（ｂ）は、図１１～１３に示したシーケンシャル・ファンクション・チャートにおけるステップｓ２におけるアクションの出力側のトランジションｔ２０１の処理として記述された遷移条件式１４０２の内容を示す図、（ｃ）は、図１１～１３に示したシーケンシャル・ファンクション・チャートにおけるステップｓ４の処理として記述されたコマンド列１４０３を示す図、（ｄ）は、図１１～１３に示したシーケンシャル・ファンクション・チャートにおけるステップｓ４におけるアクションの出力側のトランジションｔ４０１の処理として記述された遷移条件式１４０４の内容を示す図、（ｅ）は、図１１～１３に示したシーケンシャル・ファンクション・チャートにおけるステップｓ６の処理として記述されたコマンド列１４０５を示す図、（ｆ）は、図１１～１３に示したシーケンシャル・ファンクション・チャートにおけるステップｓ６におけるアクションの出力側のトランジションｔ６０１の処理として記述された遷移条件式１４０６の内容を示す図である。
【図15】（ａ）は、教示プログラム編集部１０７を操作して図１１～１３に示したシーケンシャル・ファンクション・チャートのステップｓ４の処理を編集している画面１５０１の正面図、（ｂ）は、教示プログラム編集部１０７を操作して図１１～１３に示したシーケンシャル・ファンクション・チャートのトランジションｔ４０１の遷移条件式を編集している画面１５０３の正面図である。
【図16】教示プログラム実行部１０８の処理の手順を示すフローチャートである。
【発明を実施するための形態】
【0014】
本発明の実施形態に係るロボットの作業教示装置は、教示者が一連の作業を実演することで被把持物の動作をロボットで再生できる教示プログラムを生成するロボット教示装置であって、カメラやセンサなどで被把持物の位置及び姿勢を時系列に計測し、それと同期して被把持物に対する位置決め、把持、機能操作、確認動作を検出することで、位置決めされたタイミングで被把持物の時系列データを分割し、被把持物の把持、機能操作、確認動作を検出したタイミングでそれらコマンドを実行することが記述された、教示プログラムを自動で生成できるようにしたものである。
【0015】
これにより、ロボットの作業教示装置において、従来は、被把持物に対する操作や作業状態確認を実行するために、ロボットの動作教示後に操作内容や作業状態確認処理を別途プログラムする必要があったものを、本発明によれば、被把持物の機能操作を含む教示プログラムを自動で生成できるようにした。
【0016】
すなわち、本発明に係るロボットの作業教示装置においては、教示者により把持される被把持物の位置及び姿勢を教示用ポーズとして計測し、これと同期して、被把持物が位置決めされたことを検出し、この位置決めが検出されたタイミングで教示用ポーズのシーケンスを分割して教示用ポーズの部分シーケンスとして記憶する。さらに、教示用ポーズの計測と同期し、被把持物の把持、被把持物の有する機能の操作、作業状態の確認が行われたことを検出し、これらが検出されたタイミングで実行される被把持物の把持、被把持物の機能操作、作業状態確認の行為として記憶する。
【0017】
そして、これらの情報に基づいて、ロボットにより把持される被把持物の位置及び姿勢が教示用ポーズの部分シーケンスに含まれる各教示用ポーズと同一の位置及び姿勢となるよう、教示用ポーズの部分シーケンスをロボットの関節変位のシーケンスに変換、実行するコマンドを生成し、これを教示者が教示した順に従って実行するとともに、被把持物の把持、被把持物の機能操作、作業状態確認を行うコマンドを生成し、これを被把持物の把持、被把持物の機能操作、作業状態確認の行為が検出されたタイミングで実行するように記述されたロボットの教示プログラムを生成する。さらに、ここで生成したロボットの教示プログラムを実行することで、教示者が実演した作業と同じようにロボットに一連の作業を実行させるようにした。
【0018】
また、本発明の実施形態に係るロボットの作業教示方法は、教示者により把持される被把持物の位置及び姿勢を教示用ポーズとして計測し、これと同期して、被把持物が位置決めされたことを検出し、この位置決めが検出されたタイミングで教示用ポーズのシーケンスを分割して教示用ポーズの部分シーケンスとして記憶する。さらに、教示用ポーズの計測と同期し、被把持物の把持、被把持物の有する機能の操作、作業状態の確認が行われたことを検出し、これらが検出されたタイミングで実行される被把持物の把持、被把持物の機能操作、作業状態確認の行為として記憶する。これらの情報に基づいて、ロボットにより把持される被把持物の位置及び姿勢が教示用ポーズの部分シーケンスに含まれる各教示用ポーズと同一の位置及び姿勢となるよう、教示用ポーズの部分シーケンスをロボットの関節変位のシーケンスに変換、実行するコマンドを生成し、これを教示者が教示した順に従って実行するとともに、被把持物の把持、被把持物の機能操作、作業状態確認を行うコマンドを生成し、これを被把持物の把持、被把持物の機能操作、作業状態確認の行為が検出されたタイミングで実行するように記述されたロボットの教示プログラムを生成する。さらに、ここで生成したロボットの教示プログラムを実行することで、教示者が実演した作業と同じようにロボットに一連の作業を実行させる。
【0019】
以下、図面を参照して本発明の実施例を説明する。
【実施例】
【0020】
図１は、本発明の一実施例に係るロボットの作業教示装置１の全体構成を説明する概略図である。
【0021】
ロボットの作業教示装置１は、教示者１１が把持する被把持物の３次元位置及び姿勢を計測するためのカメラ２０１～２０４と被把持物に取り付けた右マーカープレート３１１、左マーカープレート３２１、教示者１１により把持される被把持物の位置決め、把持動作、機能操作、作業状態確認を検出するための後述の各種デバイス、作業教示に関わる各演算処理部を実行するコンピュータ１００から構成される。
【0022】
ロボットの作業教示装置１において、教示者１１はロボット１２への教示のため、作業台１０に向かって作業を行う。例えば、教示者１１は、右手で把持した作業用ツールであるマイクロピペット３１０により、左手で把持した作業対象物である試験管３２０に試薬を分注する。以下、これらの教示者１１により把持される被把持物を第１被把持物と称する。マイクロピペット３１０にはモーションキャプチャ用の右マーカープレート３１１が取り付けられる。試験管３２０にはモーションキャプチャ用の左マーカープレート３２１が取り付けられる。
【0023】
ここで、右マーカープレート３１１及び左マーカープレート３２１のそれぞれには、モーションキャプチャするための反射マーカーが固有の配置で取り付けられており、カメラ２０１、２０２、２０３、２０４により撮像された際に、右マーカープレート３１１と左マーカープレート３２１のそれぞれが区別して認識され、それぞれのプレートの中心に設定されたマーカー座標系の位置及び姿勢が計測される。なお、マイクロピペット３１０及び試験管３２０は、教示者１１により把持される被把持物の一例であり、被把持物はこれらに限定されるものではない。
【0024】
ロボット１２は、作業台１０と同様の作業台１０'に向かって設置され、その右ハンドで把持したマイクロピペット３１０'により、左ハンドで把持した試験管３２０'に試薬を分注するよう教示される。以下、これらのロボット１２により把持される被把持物を第２被把持物と称する。マイクロピペット３１０'及び試験管３２０'（第２被把持物）は、教示者１１により把持されるマイクロピペット３１０及び試験管３２０（第１被把持物）に対応するものである。マイクロピペット３１０'及び試験管３２０'は、マイクロピペット３１０及び試験管３２０と同一の形状とすることができるが、完全に同一である必要はなく、形状の差異が把握されている限りにおいて、同種のものであればよく、形状や材質その他の性状において異なるものであってもよい。
【0025】
なお、図示の例では、ロボット１２は左アーム１２１と右アーム１２２を備えた双腕のロボットであるが、これに限定されるものではない。例えば、ロボットは、右腕の単腕のロボットと、左腕の単腕のロボットとの２つのロボットの組み合わせであってもよい。その２つのロボットは、それぞれ異なる種類のロボットであってもよい。また、教示者の２本の腕の作業を、３本以上のアームを有するロボットにより再現することも可能である。また、ロボット１２は、図示のような人間の体型を模擬したものには限定されず、所期の動作が可能である限り、特定の形状には限定されない。
【0026】
教示用ポーズ計測部１０１は、カメラ２０１～２０４で取得された画像から教示者１１により把持される被把持物（マイクロピペット３１０、試験管３２０）の３次元位置及び姿勢を計測する。具体的には、教示用ポーズ計測部１０１は、右マーカープレート３１１及び左マーカープレート３２１をカメラ２０１、２０２、２０３、２０４により撮像し、右マーカープレート３１１及び左マーカープレート３２１のそれぞれの３次元位置及び姿勢を時系列で計測する。以下、物体の３次元位置及び姿勢のことを「ポーズ」と称する。すなわち、「ポーズ」とは、被把持物の位置だけでなく、その傾きや回転を含むデータである。
【0027】
位置決め検出部１０２は、教示者１１による教示作業中に、教示用ポーズ計測部１０１による被把持物のポーズ（以下、教示用ポーズと称する）の計測と同期して、被把持物が位置決めされたことを検出する。具体的には、教示用ポーズ計測部１０１により計測される被把持物のポーズが一定時間変動しないことをもって被把持物の位置決めを検出するか、後述する教示者１１が手指に装着した感圧スイッチ４１３～４１６（図４参照）、教示者１１が足元で操作するフットスイッチ５０１（図５参照）、あるいは教示者１１の音声を入力するマイクロフォン５０２（図５参照）のいずれかにより、被把持物が位置決めされたことを検出する。
【0028】
把持動作検出部１０３は、教示者１１による教示作業中に、教示用ポーズ計測部１０１による教示用ポーズの計測と同期して、被把持物の把持動作を検出する。具体的には、後述する教示者１１が手指に装着した感圧スイッチ４１３～４１６（図４参照）、教示者１１が足元で操作するフットスイッチ５０１（図５参照）、あるいは教示者１１の音声を入力するマイクロフォン５０２（図５参照）のいずれかからの信号を受けて、被把持物の把持動作（把持／解放）を検出する。
【0029】
機能操作検出部１０４は、教示者１１による教示作業中に、教示用ポーズの計測と同期して、被把持物が有する機能の操作が行われたことを検出する。具体的には、後述する教示者１１が手指に装着した感圧スイッチ４１１、４１２（図４参照）、教示者１１が足元で操作するフットスイッチ５０１（図５参照）、あるいは教示者１１の音声を入力するマイクロフォン５０２（図５参照）のいずれかからの信号を受けて、被把持物が有する機能の操作（例えば、マイクロピペット３１０の吸引・吐出ボタン３１３の押し動作など）が行われたことを検出する。
【0030】
作業状態確認動作検出部１０５は、教示者１１による教示作業中に、教示用ポーズの計測と同期して、作業状態の確認が行われたことを検出する。具体的には、後述する教示者１１が手指に装着した感圧スイッチ４１３～４１６（図４参照）、教示者１１が足元で操作するフットスイッチ５０１（図５参照）、あるいは教示者１１の音声を入力するマイクロフォン５０２（図５参照）のいずれかからの信号を受けて、作業状態確認（例えば、ロボット１２に備えられたカメラ画像認識機能による作業状態確認など）が行われたことを検出する。
【0031】
教示プログラム生成部１０６は、教示者１１による教示作業中に、教示者１１により把持される被把持物（第１被把持物）が位置決めされたことを検出したタイミングで教示用ポーズの時系列データ（シーケンス）を分割し、これを教示用ポーズの部分シーケンスとして記憶する。また、第１被把持物の把持動作、第１被把持物の機能操作が検出されたタイミングでこれらを第１被把持物に対する動作として記憶し、作業状態確認が検出されたタイミングでこれを作業状態確認動作として記憶する。
【0032】
以上の情報に基づき、ロボット１２により把持される被把持物（第２被把持物）のポーズが教示用ポーズの部分シーケンスに含まれる各教示用ポーズと同一のポーズとなるように、教示用ポーズの部分シーケンスをロボット１２の関節変位のシーケンスに変換、実行するコマンドを生成し、これを教示者１１が教示した順に従って実行するとともに、第２被把持物に対する動作を行うコマンドを生成し、これを第１被把持物に対する動作が検出されたタイミングで実行し、さらに作業状態確認を行うコマンドを生成し、これを作業状態確認が検出されたタイミングで実行するように記述されたロボット１２の教示プログラムを生成する。
【0033】
教示プログラム編集部１０７は、教示プログラム生成部１０６により生成されたロボット１２の教示プログラムに対し、教示者１１が後述のグラフィカル・ユーザ・インタフェースなどを介して、修正、追加などの編集を行えるようにするツールである。
【0034】
教示プログラム実行部１０８は、教示プログラム生成部１０６により生成されたロボット１２の教示プログラム、または教示プログラム編集部１０７により編集されたロボット１２の教示プログラムに記述されたコマンドを順次解釈し、ロボット１２の動作を実行するための関節駆動指令、ロボット１２の手先に備えられたハンドの駆動指令などを出力し、ロボット１２の各関節軸、ハンドなどを制御する。
【0035】
図２は、図１に示す教示用ポーズ計測部１０１に接続されるカメラ２０１～２０４の配置の一例を示す。作業台１０に向かって作業を行う教示者１１が把持している被把持物（図１で示したマイクロピペット３１０、試験管３２０など）のポーズを計測するため、カメラ２０１～２０４が、作業台１０を挟んで教示者１１とは反対側に配置される。
【0036】
カメラ２０１～２０４の視野２１０は、作業台１０上で互いに重複するように設定され、これにより作業台１０上の作業領域が全てカバーされ、被把持物としての作業用ツールや作業対象物のポーズが撮像される。作業台１０上には、モーションキャプチャの基準座標系となる作業台座標系２１００（図中、ΣＷ）が設定され、モーションキャプチャにより計測される被把持物（作業用ツール、作業対象物）のポーズは、作業台座標系２１００におけるポーズとして表現される。
【0037】
図３（ａ）は、右マーカープレート３１１をマイクロピペット３１０に取り付けた状態、図３（ｂ）は、左マーカープレート３２１を試験管３２０に取り付けた状態を示す。マイクロピペット３１０は、吸引・吐出ボタン３１３を備える。図３（ａ）に示すように、マイクロピペット３１０には、右マーカープレート３１１を取り付けるためのアタッチメント３１２が装着される。同様に、図３（ｂ）に示すように、試験管３２０には左マーカープレート３２１を取り付けるためのアタッチメント３２２が装着される。
【0038】
右マーカープレート３１１は、マイクロピペット３１０に対して、右マーカープレート３１１に設定された右マーカープレート座標系３１００（図中、ΣＲＭ）の軸の１つ（例えば、Ｘ軸）が、マイクロピペット３１０の鉛直方向と略一致するように取り付けられる。同様に、左マーカープレート３２１は、試験管３２０に対して、左マーカープレート３２１に設定された左マーカープレート座標系３２００（図中、ΣＬＭ）の軸の１つ（例えば、Ｘ軸）が試験管３２０の鉛直方向と略一致するように取り付けられる。
【0039】
右マーカープレート３１１、左マーカープレート３２１の基板には、それぞれ４個ずつの反射マーカー３１１ａ～３１１ｄ、３２１ａ～３２１ｄが配置される。図３（ａ）に示した反射マーカー３１１ａ～３１１ｄは、右マーカープレート３１１の基板上で左右及び上下に非対称に配置される。反射マーカー３１１ａ～３１１ｄの配置パターンを教示用ポーズ計測部１０１に登録しておけば、右マーカープレート３１１のポーズを計測できる。また、左右及び上下に非対称な配置とすることにより、計測対象である右マーカープレート３１１の姿勢を容易に判定できる。右マーカープレート座標系３１００は、反射マーカー３１１ａ～３１１ｄの配置パターンを登録する際に、右マーカープレート３１１の中心を原点する座標系として定義する。
【0040】
同様に、図３（ｂ）に示した反射マーカー３２１ａ～３２１ｄは、左マーカープレート３２１の基板上で左右及び上下に非対称に配置される。右マーカープレート３１１と左マーカープレート３２１の反射マーカーの配置パターンを互いに異なる配置パターンとすることにより、教示用ポーズ計測部１０１は右マーカープレート３１１と左マーカープレート３２１のそれぞれを当該配置パターンに基づき容易に識別できる。
【0041】
なお、異なる配置パターンとする代わりに、図３（ａ）の反射マーカー３１１ａ～３１１ｄの大きさや色を図３（ｂ）の反射マーカー３２１ａ～３２１ｄとは異なるものとすることで、左右を識別することも可能である。また、図３（ａ）のマーカープレート３１１と図３（ｂ）のマーカープレート３２１のそれぞれの反射マーカーの個数を変えて、個数の違いに基づき左右を識別することも可能である。
【0042】
図４は、図１に示した各検出部１０２～１０５の検出デバイスとして用いられる感圧スイッチ４１１～４１６を内蔵した教示用グローブ４１０と、教示者１１がこれを手に装着してマイクロピペット３１０を把持している例を示す図である。図４（ａ）は、教示用グローブ４１０における感圧スイッチ４１１～４１６の配置の例、図４（ｂ）は、教示者１１が教示用グローブ４１０を装着してマイクロピペット３１０を把持し、吸引・吐出ボタン３１３を押している状態を示す。
【0043】
感圧スイッチ４１１、４１２は、教示者１１の親指部分に配置されており、マイクロピペット３１０の吸引・吐出ボタン３１３を押したことを検出できる。また、感圧スイッチ４１３～４１６は、教示者１１がマイクロピペット３１０を把持したことを検出できる。なお、感圧スイッチ４１１～４１６の信号は信号処理部４１７に入力され（信号４１２０）、ここでノイズフィルタ処理や閾値判定処理を行った結果をコンピュータ１００に対して出力する（信号４１７０）。
【0044】
図５は、図１に示した各検出部１０２～１０５の検出デバイスとして用いられるフットスイッチ５０１、教示者１１の音声を入力するマイクロフォン５０２を使用している例を示す図である。フットスイッチ５０１は複数個設けられ、例えば、教示者１１が作業教示中にマイクロピペット３１０の把持や吸引・吐出ボタン３１３の操作を行ったタイミングで、これらの把持動作、機能操作に割り付けられたフットスイッチ５０１を押すことで、これらの把持動作、機能操作が行われたことを検出する。
【0045】
マイクロフォン５０２は、教示者１１の作業教示中の音声を拾えるようになっており、例えば、教示者１１が作業教示中にマイクロピペット３１０の把持や吸引・吐出ボタン３１３の操作を行ったタイミングで、これらの把持動作、機能操作に割り付けられた音声を入力することで、これらの把持動作、機能操作が行われたことを検出する。
【0046】
なお、前述の通り、図４に示した教示用グローブ４１０、図５に示したフットスイッチ５０１とマイクロフォン５０２は、図１に示した各検出部１０２～１０５と接続する検出デバイスとして利用可能であり、作業教示内容、作業環境などに応じて、これらのデバイスを組み合わせて利用することも可能である。
【0047】
図６は、マイクロピペット３１０を用いて試薬を試験管３２０に分注する作業の手順を示すフローチャートである。教示者１１は、作業を開始すると（Ｓ６０１）、まず、左手を試験管スタンドに置かれた試験管３２０の把持位置へ移動し（Ｓ６０２）、試験管３２０を把持する（Ｓ６０３）。ここで、試験管３２０を正常に把持したことを目視などにより確認する（Ｓ６０４）。次に、右手をピペットスタンドに置かれたマイクロピペット３１０の把持位置へ移動し（Ｓ６０５）、マイクロピペット３１０を把持する（Ｓ６０６）。ここで、マイクロピペット３１０を正常に把持したことを目視などにより確認する（Ｓ６０７）。さらに、左手の試験管３２０を待機位置へ移動する（Ｓ６０８）。
【0048】
次に、右手のマイクロピペット３１０をチップ装着位置へ移動し、チップを装着する（Ｓ６０９）。ここで、チップを正常に装着したことを目視などにより確認する（Ｓ６１０）。次に、マイクロピペット３１０を試薬ボトル内の試薬吸引位置へ移動し（Ｓ６１１）、マイクロピペット３１０の吸引・吐出ボタン３１３を押して試薬をチップ内に吸引する（Ｓ６１２）。ここで、チップ内に試薬を正常に吸引したことを目視などにより確認する（Ｓ６１３）。次に、マイクロピペット３１０のチップ先端を試験管３２０内の吐出位置へ移動し（Ｓ６１４）、マイクロピペット３１０の吸引・吐出ボタン３１３を押してチップ内の試薬を試験管３２０内に吐出する（Ｓ６１５）。ここで、試験管３２０内に試薬を正常に吐出したことを目視などにより確認する（Ｓ６１６）。なお、図６では、このあとに続く作業の手順は省略している。
【0049】
以上の手順は、教示者１１による作業手順を示したものであるが、ロボット１２も全く同じ手順に従ってマイクロピペット３１０’と試験管３２０’を用いて作業を行う。教示者１１が目視により作業状態を確認する部分は、ロボット１２に接続されるカメラの画像認識機能により作業状態を確認する。なお、このような作業状態の確認をカメラの画像認識以外の手段で行うことも可能であり、例えば、ロボット１２のハンドに内蔵された図示していないリミットスイッチあるいは接触センサにより、マイクロピペット３１０’や試験管３２０’の把持状態を確認することも可能である。また、光電センサを用いた液面検出により、試薬の吸引や吐出の状態を確認することも可能である。
【0050】
図７は、教示者１１が作業台１０の上でマイクロピペット３１０を用いて分注作業を行った際の右手で把持したマイクロピペット３１０の移動経路と、これを教示用ポーズの部分シーケンスとして分割した例を模式的に示す図である。
【0051】
まず、ピペットスタンド７０１に置かれたマイクロピペット３１０の把持位置（図中、P1と表す）へ右手を移動し、ここでマイクロピペット３１０を把持する（図中、Graspと表す）。ここで、マイクロピペット３１０を正常に把持したことを目視などにより確認する（図中、Check 1と表す）。マイクロピペット３１０の把持動作は、図４に示した教示用グローブ４１０の感圧スイッチ４１３～４１６のいずれかが加圧されたこと、あるいは、図５に示したフットスイッチ５０１が押されたこと、またはマイクロフォン５０２による音声入力（例えば、「Grasp」と発声されたこと）により検出される。
【0052】
また、マイクロピペット３１０の把持状態の確認動作も、同様に教示用グローブ４１０の感圧スイッチ４１３～４１６のいずれかが加圧されたこと、フットスイッチ５０１が押されたこと、またはマイクロフォン５０２による音声入力（例えば、「Check grasp pipet」と発声されたこと）により検出される。
【0053】
次に、右手で把持したマイクロピペット３１０を、移動経路７１０に沿ってチップボックス７０２内のチップ７０３の装着位置（図中、Pi）へ移動して位置決めする。ここで、チップ７０３を正常に装着したことを確認する（図中、Check 2）。移動経路７１０は、図中に示す移動開始点P1から位置決め点Piまでの点列、P1、P2・・・Piで構成される。これらの点列は、教示者１１が作業を実演する際、教示者１１が把持するマイクロピペット３１０の３次元空間内の動作を、モーションキャプチャにより計測して得られる教示用ポーズであり、一定のサンプリング周期で計測した時系列データである。この移動経路７１０を構成する点列のデータが教示用ポーズの部分シーケンスとなる。
【0054】
位置決め点Piで位置決めされたことは、Piで一定時間動作が停止したことにより検出されるか、あるいは、教示用グローブ４１０の感圧スイッチ４１３～４１６のいずれかが加圧されたこと、フットスイッチ５０１が押されたこと、またはマイクロフォン５０２による音声入力（例えば、「Stop here」と発声されたこと）により検出される。
【0055】
また、マイクロピペット３１０のチップ７０３の装着状態の確認動作は、教示用グローブ４１０の感圧スイッチ４１３～４１６のいずれかが加圧されたこと、フットスイッチ５０１が押されたこと、またはマイクロフォン５０２による音声入力（例えば、「Check set tip」と発声されたこと）により検出される。
【0056】
次に、チップ７０３を装着したマイクロピペット３１０を、移動経路７１１に沿って試薬ボトル７０４内の試薬吸引位置（図中、Pj）へ移動して位置決めする。ここで、マイクロピペット３１０の吸引・吐出ボタン３１３を押して、チップ７０３内に試薬７０５を吸引する（図中、Aspirate）。さらに、チップ７０３内に試薬７０５を正常に吸引したことを確認する（図中、Check 3）。
【0057】
移動経路７１１は、移動開始点Piから位置決め点Pjまでの点列、Pi、Pi+1・・・Pjで構成され、位置決め点Pjで位置決めされたことは、Pjで一定時間動作が停止したことにより検出されるか、あるいは、教示用グローブ４１０の感圧スイッチ４１３～４１６のいずれかが加圧されたこと、フットスイッチ５０１が押されたこと、またはマイクロフォン５０２による音声入力により検出される。
【0058】
位置決め点Pjでマイクロピペット３１０の吸引・吐出ボタン３１３を押されたこと、すなわち、マイクロピペット３１０の機能操作は、教示用グローブ４１０の感圧スイッチ４１１、４１２のいずれかが加圧されたこと、フットスイッチ５０１が押されたこと、またはマイクロフォン５０２による音声入力（例えば、「Aspirate」と発声されたこと）により検出される。
【0059】
また、チップ７０３内に試薬７０５を正常に吸引したことを確認することは、同様に教示用グローブ４１０の感圧スイッチ４１３～４１６のいずれかが加圧されたこと、フットスイッチ５０１が押されたこと、またはマイクロフォン５０２による音声入力（例えば、「Check aspirate」と発声されたこと）を検出することにより行われる。
【0060】
次に、試薬７０５を吸引したマイクロピペット３１０を、移動経路７１２に沿って試験管３２０内の試薬吐出位置（図中、Pk）へ移動して位置決めする（試験管３２０は事前に左手で把持して待機しているものとする）。ここで、マイクロピペット３１０の吸引・吐出ボタン３１３を押して、試験管３２０内に試薬７０５を吐出する（図中、Dispense）。さらに、試験管３２０内に試薬７０５を正常に吐出したことを確認する（図中、Check 4）。移動経路７１２は、移動開始点Pjから位置決め点Pkまでの点列、Pj、Pj+1・・・Pkで構成され、位置決め点Pkで位置決めされたことは、Pkで一定時間動作が停止したことにより検出されるか、あるいは、教示用グローブ４１０の感圧スイッチ４１３～４１６のいずれかが加圧されたこと、フットスイッチ５０１が押されたこと、またはマイクロフォン５０２による音声入力により検出される。
【0061】
位置決め点Pkでマイクロピペット３１０の吸引・吐出ボタン３１３を押されたこと、すなわち、マイクロピペット３１０の機能操作は、教示用グローブ４１０の感圧スイッチ４１１、４１２のいずれかが加圧されたこと、フットスイッチ５０１が押されたこと、またはマイクロフォン５０２による音声入力（例えば、「Dispense」と発声されたこと）により検出される。
【0062】
また、試験管３２０内への吐出状態の確認動作も、同様に教示用グローブ４１０の感圧スイッチ４１３～４１６のいずれかが加圧されたこと、フットスイッチ５０１が押されたこと、またはマイクロフォン５０２による音声入力（例えば、「Check dispense」と発声されたこと）により検出される。
【0063】
図８及び図９は、教示プログラム生成部１０６の処理の手順を示すフローチャートである。教示プログラム生成部１０６では、教示者１１が作業の実演による作業教示を始めると（Ｓ８０１）、教示用ポーズ計測部１０１により、教示者１１により把持される被把持物のポーズを教示用ポーズとして計測する（Ｓ８０２）。ここで、図６に示した作業のように両手を用いた作業の場合、教示者１１の右手と左手により把持される被把持物のそれぞれのポーズを教示用ポーズとして計測する。
【0064】
次に、被把持物位置決め検出部１０２により、右手または左手のいずれかの被把持物の位置決めを検出すると（Ｓ８０３でＹＥＳの場合）、位置決めを検出した側の手のそれまで計測していた教示用ポーズの時系列データ（シーケンス）を分割し、これを位置決めを検出した側の手の教示用ポーズの部分シーケンスとして記憶する（Ｓ８０４）。また、右手または左手のいずれかの被把持物の位置決めを検出していなければ（Ｓ８０３でＮＯの場合）、教示用ポーズの計測を継続する（Ｓ８０２）。
【0065】
次に、Ｓ８０４で部分シーケンスを記憶した後、教示用ポーズの部分シーケンスを、ロボット１２による被把持物のポーズが教示用ポーズと同一になるよう、ロボット１２の関節変位のシーケンスに変換、実行するコマンドを生成する（Ｓ８０５）。さらに、把持動作検出部１０３により、位置決めを検出した側の手による被把持物の把持動作を検出すると（Ｓ８０６でＹＥＳの場合）、これを教示用ポーズの部分シーケンスにおける被把持物の把持動作として記憶する（Ｓ８０７）。一方、把持動作を検出しなかったとき（Ｓ８０６でＮＯの場合）は、Ｓ８０９へ進む。
【0066】
次に、Ｓ８０７で把持動作として記憶した後、被把持物の把持動作を行うコマンドを生成する（Ｓ８０８）。さらに、機能操作検出部１０４により、位置決めを検出した側の手による被把持物の機能操作を検出すると（Ｓ８０９でＹＥＳの場合）、これを教示用ポーズの部分シーケンスにおける被把持物の機能操作として記憶する（Ｓ８１０）。一方、被把持部の機能操作を検出しなかったとき（Ｓ８０９でＮＯの場合）は、図９に示すＳ８１２に進む。
【0067】
次に、Ｓ８１０で機能操作として記憶した後、被把持物の機能操作を行うコマンドを生成する（Ｓ８１１）。さらに、作業状態確認動作検出部１０５により、位置決めを検出した側の手による作業状態の確認動作を検出すると（Ｓ８１２でＹＥＳの場合）、これを教示用ポーズの部分シーケンスにおける作業状態の確認動作として記憶する（Ｓ８１３）。一方、確認動作を検出しなかったとき（Ｓ８１２でＮＯの場合）は、Ｓ８１５に進む。
【0068】
次に、Ｓ８１３で確認動作として記憶した後、作業状態の確認動作を行うコマンドを生成する（Ｓ８１４）。
【0069】
ここまでの処理が終わったあと、ロボット１２の教示プログラムとなるシーケンシャル・ファンクション・チャートのステップを生成し、そこで実行されるアクションとして上記で生成したコマンドを記述する（Ｓ８１５）。さらに、このステップの出力側のトランジションを生成し、ここで作業状態の確認結果の成否をトランジションの遷移条件として記述する（Ｓ８１６）。このあと、教示者１１による作業の実演が終了すれば（Ｓ８１７でＹＥＳの場合）、教示プログラム生成部１０６の処理を終了する（Ｓ８１８）。一方、教示者１１による作業教示が継続されれば（Ｓ８１７でＮＯの場合）、Ｓ８０２の教示用ポーズの計測に戻る。
【0070】
なお、本実施形態では、教示プログラムをシーケンシャル・ファンクション・チャートの形式で記述する例を示しているが、これに代えて、フローチャート、状態遷移図などの形式を用いて記述することも可能である。
【0071】
図１０は、教示プログラム生成部１０６で生成される教示用ポーズの部分シーケンスとこれから生成されるロボットの関節変位のシーケンスのデータの例を示す図である。図１０（ａ）は、教示用ポーズの部分シーケンスのデータ１００１の例を示し、ここでは教示者１１により把持される被把持物のポーズを３次元位置及び姿勢（四元数）のシーケンスとして表現している。図１０（ｂ）は、ロボット１２の関節変位のシーケンスのデータ１００２の例を示し、ここではロボット１２の腕が7軸構成の場合の各関節の角度のシーケンスとして表現している。
【0072】
ここで示したように、教示用ポーズの部分シーケンスデータ１００１、ロボット１２の関節変位のシーケンスデータ１００２は、それぞれ教示者１１、ロボット１２の片手分のデータとして管理されており、教示者１１による作業が両手による作業の場合、これらのデータが右手用、左手用に生成される。
【0073】
また、教示用ポーズの部分シーケンスデータ１００１、ロボット１２の関節変位のシーケンスデータ１００２の各データは時系列データとして記憶され、それぞれ各時刻における３次元位置及び姿勢データ、各関節角度データが時刻順に並んだデータとなっている。これらのデータには整理番号（図中、No.で示す）が付与され、各整理番号が各時刻に対応している。ここで、各時刻は前述のモーションキャプチャのサンプリング周期で更新される時刻を示し、例えば、５０ミリ秒単位で刻まれた時刻となる。
【0074】
なお、図１０（ａ）では、教示用ポーズの位置をデカルト座標系(X, Y, Z)で表したが、これを別の座標系、例えば、円筒座標系などで表すことも可能である。また、教示用ポーズの姿勢を四元数(Rx, Ry, Rz, Rw)で表したが、これをロール・ピッチ・ヨー、オイラー角などで表すことも可能である。図１０（ｂ）では、ロボット１２の腕が７軸構成（各軸名称をJ1～J7とする）の例を示したが、これ以外の軸構成であっても良い。また、J1～J7の関節変位を回転軸の角度データで表したが、これ以外の関節変位、例えば、並進軸の位置などで表すことも可能である。
【0075】
図１１は、教示プログラム生成部１０６により生成されるロボットの教示プログラムをシーケンシャル・ファンクション・チャートの形式で表した例を示す図である。まず、教示者１１が作業教示を始めると、初期ステップｓ１が生成され、ここに「Initial」というステップ名称が記述される。このとき、同時に初期ステップｓ１の出力側のトランジションｔ１０１が生成され、ここに「Ready」とコメントが記述される。さらに、初期ステップｓ１とトランジションｔ１０１の間を連結するリンクが生成される。なお、初期ステップｓ１で実行されるアクションと、その出力側のトランジションｔ１０１の遷移条件はなく、プログラム実行を開始すると、無条件に次のステップに移行するものとする。
【0076】
初期ステップｓ１には内部的にステップ番号１が付与され、トランジションｔ１０１にはトランジション番号１０１（ステップｓ１の出力側のトランジションの１番目を示す）が付与される。ステップ番号、トランジション番号の付与については、以降で生成されるステップ、トランジションについても同様である。
【0077】
図８の処理手順で述べたように、教示者１１のいずれかの手の位置決めを検出すると、次のステップｓ２が生成され、ここに「Step 2」というステップ名称が記述される。同時に、ステップｓ２の出力側のトランジションｔ２０１が生成され、ここに「Succeeded」とコメントが記述される。さらに、ステップｓ２とトランジションｔ２０１の間のリンクが生成される。なお、ここで自動的に記述されるステップ名称、コメントは、あとで教示プログラム編集部１０７により修正できる。
【0078】
また、ステップｓ２が生成された際、そこで実行されるアクションとして、まず、位置決めを検出した側の手の教示用ポーズの部分シーケンス（図１０(ａ)に相当）が生成され、これとロボット１２による被把持物のポーズが教示用ポーズと同一になるよう、ロボット１２の関節変位のシーケンス（図１０(ｂ)に相当）を生成し、実行するコマンドが生成される。このときに位置決めを検出した側の手の把持動作を検出すれば、被把持物の把持動作を行うコマンドを生成する。さらに、位置決めを検出した側の手の作業状態の確認動作を検出すれば、作業状態の確認動作を行うコマンドが生成される。
【0079】
トランジションｔ２０１の遷移条件としては、作業状態の確認動作が行われた場合は、その確認結果の成否を判定する条件式が記述される。作業状態の確認動作が行われなかった場合は、ロボットの関節変位のシーケンス、すなわちロボットの位置決めまでの動作が正常に完了したこと、さらに、被把持物の把持動作が行われた際は、それが正常に完了したことをトランジションｔ２０１の遷移条件として判定する。
【0080】
以降、同様に、教示者１１のいずれかの手の位置決めを検出すると、次のステップ及びトランジションが生成され(図１１に示した例では、ｓ３からｓ１２まで、及びｔ３０１からｔ１２０１まで)、それらのアクション、遷移条件が生成される。図１１に示した例では、教示者１１の作業教示が終了した際、終了ステップｓ１２が生成され、ここに「End」というステップ名称が記述される。終了ステップｓ１２のアクションはない。
【0081】
図１１に示したシーケンシャル・ファンクション・チャートでは、ステップとトランジションをリンクで接続することでプログラムの処理の順序が記述されており、このリンクの接続関係が教示者１１により教示された作業の順序を表現している。
【0082】
図１２は、図１１に示したシーケンシャル・ファンクション・チャートを教示プログラム編集部１０７により編集した例を示す図である。この図では、ステップ名称を作業内容を表す名称（英語表記の例を示す）に修正している。図１２においては、図１１に示した各ステップに対応するステップに同じ番号で表示し、＊を付している。図１１と図１２における同じステップ番号の作業内容は同じである。すなわち、図１２は、以下のような作業を表すプログラムとなる。
【0083】
プログラム実行を開始すると（ｓ１＊）、左アーム１２１のハンドで試験管３２０’、右アーム１２２のハンドでマイクロピペット３１０’を把持して、それぞれのスタンドから取り出す（ｓ２＊）。次に、左アーム１２１で把持した試験管３２０’を待機位置に移動する（ｓ３＊）。また、右アーム１２２のハンドで把持したマイクロピペット３１０’にチップボックス７０２内のチップ７０３を装着する（ｓ４＊）。次に、マイクロピペット３１０’のチップ７０３内に試薬ボトル７０４内の試薬７０５を吸引し（ｓ５＊）、これを左アーム１２１のハンドで把持した試験管３２０’内の吐出位置まで挿入し（ｓ６＊）、試薬７０５を吐出する（ｓ７＊）。次に、マイクロピペット３１０’を試験管３２０’から抜き出し（ｓ８＊）、マイクロピペット３１０’からチップ７０３を取り外す（ｓ９＊）。さらに、左アーム１２１のハンドで把持した試験管３２０’を振って、その中の試薬７０５を撹拌する（ｓ１０＊）。最後に、試験管３２０’とマイクロピペット３１０’をそれぞれのスタンドに置き（ｓ１１＊）、一連の作業を終了する（ｓ１２＊）。
【0084】
なお、図１２では、各トランジションのコメントについては、図１１の記述をそのままにしているが、これらを適宜修正することも可能である。例えば、トランジションｔ２０１のコメントを単純に「OK」と記述しても良い。
【0085】
図１３は、図１２に示したシーケンシャル・ファンクション・チャートをさらに編集した例を示す図である。この図では、マイクロピペット３１０’にチップ７０３を装着した際（ｓ４＊）、チップ７０３の装着状態をカメラの画像認識で確認し、チップ７０３の装着に成功すれば（ｔ４０１）、次のステップｓ４＊に移行するように記述されていたプログラムにおいて、もしチップ７０３の装着に失敗すれば（ｔ４０２）、再度、チップ７０３の装着動作を行う（ｓ１３＊）というエラー対応処理を追加した例を示す。
【0086】
これと同様に、図１３のプログラムの各トランジションでは、直前のステップの作業状態の確認結果の成否を判定する条件式が記述されているので、作業状態の確認結果が失敗した場合、すなわち、何らかのエラーが発生した場合の対応処理を追加することが可能である。このようにして、教示者１１の作業実演により自動的に生成された教示プログラムに対して、教示プログラム編集部１０７により、あとでエラー対応処理を追加することで、教示プログラム実行時の信頼性を向上できる。
【0087】
また、作業条件に応じて動作を変えたい場合（例えば、試薬７０５の種類に応じて撹拌時の試験管３２０’を振る回数を増やす場合など）は、新たなトランジションとステップを追加して、ここに遷移条件（例えば、試薬７０５の種類を判定する条件式など）とアクション（例えば、試験管３２０’を振る回数を増やした動作を実行するコマンドなど）を記述することも可能であり、このようにして教示プログラムの機能拡張が可能である。
【0088】
【0089】
図１４（ａ）は、図１１～１３のステップｓ２のアクションとして記述されたコマンド列１４０１を示す。コマンド列１４０１の「larm_move("traj_larm_s2")」は、ステップｓ２（ｓ２＊）の動作として分割されたロボット１２の左アーム１２１の教示用ポーズの部分シーケンス（"traj_larm_s2"という名称で自動的に記憶される）を実行するコマンドである。
【0090】
同様に、「rarm_move("traj_rarm_s2")」は、ロボット１２の右アーム１２２の教示用ポーズの部分シーケンス（"traj_rarm_s2"という名称で自動的に記憶される）を実行するコマンドである。「larm_grasp()」は、ロボット１２の左アーム１２１のハンドを閉じて物体（この場合、試験管３２０’）を把持するコマンドである。「rarm_grasp()」は、ロボット１２の右アーム１２２のハンドを閉じて物体（この場合、マイクロピペット３１０’）を把持するコマンドである。
【0091】
さらに、「larm_check("get_tube")」は、左アーム１２１のハンドにより試験管３２０’を正常に把持しているかどうかを画像認識により確認するコマンドである。同様に、「rarm_check("get_pipet")」は、右アーム１２２のハンドによりマイクロピペット３１０’を正常に把持しているかどうかを画像認識により確認するコマンドである。
【0092】
図１４（ｂ）は、ステップｓ２（ｓ２＊）の出力側のトランジションｔ２０１の処理として記述された遷移条件式１４０２を示す。遷移条件式１４０２の「larm_check == SUCCEEDED and rarm_check == SUCCEEDED」は、前述の試験管３２０’及びマイクロピペット３１０’が正常に把持されていることが確認されたことを示す条件式であり、ロボット１２の作業状態の確認結果の成否を判定する条件式となる。なお、これらの条件式は、コマンド列１４０１の内容から自動的に生成される。
【0093】
図１４（ｃ）は、図１１～１３のステップｓ４（ｓ４＊）の処理として記述されたコマンド列１４０３、図１４（ｄ）は、その出力側のトランジションｔ４０１の処理として記述された遷移条件式１４０４を示す。これらの処理内容は、コマンド列１４０１及び遷移条件式１４０２と同様であり、「rarm_check("set_tip")」は、右アーム１２２のハンドで把持されたマイクロピペット３１０’にチップ７０３を正常に装着しているかどうかを画像認識により確認するコマンドである。
【0094】
図１４（ｅ）は、図１１～１３のステップｓ６（ｓ６＊）の処理として記述されたコマンド列１４０５、図１４（ｆ）は、その出力側のトランジションｔ６０１の処理として記述された遷移条件式１４０６を示す。コマンド列１４０５の「rarm_move("traj_rarm_s6")」は、ステップｓ５（ｓ５＊）の動作として分割されたロボット１２の右アーム１２２の教示用ポーズの部分シーケンス（"traj_rarm_s6"という名称で自動的に記憶される）を実行するコマンドである。遷移条件式１４０６の「rarm_status == SUCCEEDED」は、このコマンドの実行、すなわち、右アーム１２２の移動が正常終了したことを示す条件式である。前述のコマンド列１４０１のように作業状態確認が特に行われない場合、遷移条件式１４０６のように当該ステップのコマンドが正常終了していることを表す条件式が記述される。なお、この条件式は、コマンド列１４０５の内容から自動的に生成される。
【0095】
図１５は、教示プログラム編集部１０７を構成する画面の表示及び入力の例を示す図である。教示プログラム編集部１０７を構成する画面は、コンピュータ１００に備え付けられてもよいし、図示していないコンピュータ１００から離れた場所に設けてもよい。
【0096】
図１５（ａ）は、図１１～１３に示したシーケンシャル・ファンクション・チャートのステップｓ４（ｓ４＊）の処理を編集している画面１５０１を示す。ここで、ステップｓ４にマウス等のカーソルを合わせてダブルクリックすると、ステップ編集ウィンドウ１５０２が表示され、ここでステップｓ４の名称１５０２ａの編集（図の例では「Step 4」を「Set tip」に書き換え）と、このステップｓ４＊で実行するコマンド列１５０２ｂの編集を行う。
【0097】
図１５（ｂ）は、トランジションｔ４０１の遷移条件式を編集している画面１５０３を示す。ここで、トランジションｔ４０１にマウス等のカーソルを合わせてダブルクリックすると、トランジション編集ウィンドウ１５０４が表示され、ここでトランジションｔ４０１のコメント１５０４ａの編集と、このトランジションｔ４０１で判定する遷移条件の条件式１５０４ｂの編集を行う（この例では、自動的に生成された記述をそのまま採用している）。
【0098】
図１６は、教示プログラム実行部１０８の処理の手順を示すフローチャートである。教示プログラム実行部１０８により教示プログラムの実行を開始すると（Ｓ１６０１）、まず、初期ステップの次のステップのステップ番号を、例えば、図１１～１３に示すような教示プログラムであるシーケンシャル・ファンクション・チャートのリンクの接続関係から取得し、これを内部で保持される現在のステップ番号に代入する（Ｓ１６０２）。次に、現在のステップ番号が示しているステップに記述された各種コマンドを実行する。すなわち、ロボット１２のハンドによる被把持物のポーズが教示用ポーズと同一になるよう、ロボット１２の関節変位のシーケンスを生成・実行するコマンドを実行する（Ｓ１６０３）。次に、ロボット１２のハンドによる被把持物の把持動作を行うコマンドを実行し（Ｓ１６０４）、ロボット１２のハンドによる被把持物の機能操作を行うコマンドを実行する（Ｓ１６０５）。さらに、ロボット１２による作業状態の確認動作を行うコマンドを実行する（Ｓ１６０６）。そのあと、現在のステップの出力側のいずれかのトランジションで遷移条件として記述された条件式が成立していれば（Ｓ１６０７でＹＥＳの場合）、シーケンシャル・ファンクション・チャートのリンクの接続関係から次のステップ番号を取得し、これを現在のステップ番号に代入する（Ｓ１６０８）。また、現在のステップの出力側のいずれのトランジションでも遷移条件が成立していなければ（Ｓ１６０７でＮＯの場合）、これらのいずれかが成立するまで待つ。
【0099】
なお、Ｓ１６０８で更新された現在のステップ番号が終了ステップのステップ番号と一致すれば（Ｓ１６０９でＹＥＳの場合）、教示プログラムの実行を終了する（Ｓ１６１０）。一方、更新された現在のステップ番号が終了ステップのステップ番号と一致していなければ（Ｓ１６０９でＮＯの場合）、Ｓ１６０３からのステップを繰り返して実行する。
【0100】
以上に述べたように、本実施形態によれば、人の作業をロボットの作業に変換する際、人が作業で用いる被把持物を用いて通常通りに作業を実演するだけで、ロボットに一連の作業を実行させるための教示プログラムを、ロボットの移動経路の記述だけでなく、ロボットにより把持される被把持物の把持、被把持物の機能操作、作業状態確認の記述も含めて生成できるため、従来技術の被把持物の動作計測後に操作内容や操作状態確認処理を別途プログラムする方法と比べてロボットの作業教示が容易になり、教示プログラムの開発効率を向上できる。
【0101】
なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【0102】
１…ロボットの作業教示装置、１００…コンピュータ、１０、１０’…作業台、１１…教示者、１２…ロボット、２０１～２０４…カメラ、３１０、３１０’…マイクロピペット、３２０、３２０’…試験管、３１１、３２１…マーカープレート、２１０…カメラの視野、２１００…作業台座標系、３１１ａ～３１１ｄ、３２１ａ～３２１ｄ…反射マーカー、３１２、３２２…アタッチメント、３１００、３２００…マーカープレート座標系、４１０…教示用グローブ、４１１～４１６…感圧スイッチ、４１７…信号処理部、４１２０、４１７０…信号、５０１…フットスイッチ、５０２…マイクロフォン、７０１…ピペットスタンド、７０２…チップボックス、７０３…チップ、７０４…試薬ボトル、７０５…試薬、７１０～７１２…移動経路、１００１…教示用ポーズのシーケンス、１００２…ロボットの関節変位のシーケンスデータ、ｓ１～ｓ１３・・・シーケンシャル・ファンクション・チャートのステップ、ｔ１０１～ｔ１１０１…シーケンシャル・ファンクション・チャートのトランジション、１４０１、１４０３、１４０５…コマンド列、１４０２、１４０４、１４０６…遷移条件式、１５０１、１５０３…教示プログラム編集部の画面、１５０２…ステップ編集ウィンドウ、１５０２ａ…ステップ名称、１５０２ｂ…コマンド列、１５０４…トランジション編集ウィンドウ、１５０４ａ…トランジションのコメント、１５０４ｂ…遷移条件式
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】