特開 2023-68343 情報処理装置、ロボットの制御方法、プログラム、移動体及びロボットシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023068343

(43)【公開日】2023-05-17

(54)【発明の名称】情報処理装置、ロボットの制御方法、プログラム、移動体及びロボットシステム

(51)【国際特許分類】

   B25J 9/22 20060101AFI20230510BHJP

【ＦＩ】

B25J9/22 A

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2021179354

(22)【出願日】2021-11-02

(71)【出願人】

【識別番号】000116079

【氏名又は名称】ローレルバンクマシン株式会社

(71)【出願人】

【識別番号】500267170

【氏名又は名称】ローレル機械株式会社

(71)【出願人】

【識別番号】500265501

【氏名又は名称】ローレル精機株式会社

(74)【代理人】

【識別番号】110003177

【氏名又は名称】弁理士法人旺知国際特許事務所

(72)【発明者】

【氏名】中西 秀行

(72)【発明者】

【氏名】繁田 知秀

(72)【発明者】

【氏名】小島 宏幸

(72)【発明者】

【氏名】山縣 芳和

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707BS10

3C707CY40

3C707JU07

3C707KS24

3C707KT03

3C707KT15

3C707KX19

3C707LS02

3C707LS06

3C707LV04

3C707LV05

3C707MS28

3C707MT01

(57)【要約】

【課題】ロボットに動作を教示する場合に、作業者の負担が増加することを抑制する。
【解決手段】ロボットコントローラ１０は、端末装置３０の位置を示す位置情報ＰＩＮＦ、及び、端末装置３０の姿勢を示す姿勢情報ＰＩＮＦを取得する情報取得部１２１と、情報取得部１２１が取得した位置情報ＰＩＮＦ及び姿勢情報ＰＩＮＦに基づいて、ロボット２０の先端部ＨＰの位置及び姿勢を規定する動作情報を生成する情報生成部１２２と、を備えている。
【選択図】図３

【特許請求の範囲】

【請求項1】

空間上の複数の位置にロボットとは独立して順に移動して配置する移動体の、各位置における位置情報、または前記各位置における位置情報及び前記各位置における姿勢情報を取得する取得部と、
前記取得部が取得した複数の前記位置情報、または前記位置情報及び前記姿勢情報に基づいて、前記ロボットの特定部分の位置及び姿勢を順に規定することで、前記ロボットの動作する軌道情報を生成する生成部と、
を備えていることを特徴とする情報処理装置。

【請求項2】

前記位置情報及び前記軌道情報または、前記位置情報、前記姿勢情報及び前記軌道情報に基づいて、前記ロボットを動作させる制御部をさらに備えていることを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記位置情報により示される位置、または前記位置情報により示される位置及び前記姿勢情報により示される姿勢を補正するための補正情報の入力を受け付ける操作部をさらに備えており、前記制御部は、前記補正情報に基づいて前記軌道情報を補正することを特徴とする請求項２に記載の情報処理装置。

【請求項4】

ロボット、移動体、検出手段及び情報処理装置を有するロボットシステムにおいて、
前記移動体は、
前記移動体の姿勢情報を検知する慣性センサと、
少なくとも前記情報処理装置と通信する通信部と、
を有しており、
前記検出手段は、
前記移動体を検出することで前記移動体の位置情報を検知する検知部と、
少なくとも前記情報処理装置と通信する通信部と、
を有しており、
前記情報処理装置は、
前記移動体が空間上の複数の位置において検知した、姿勢情報および位置情報を取得する取得部と、
前記取得部が取得した複数の前記位置情報及び前記姿勢情報に基づいて、前記ロボットの特定部分の位置及び姿勢を順に規定することで、前記ロボットの動作する軌道情報を生成する生成部と、
前記軌道情報に基づいて、前記ロボットを動作させる制御部と、
を備えていることを特徴とするロボットシステム。

【請求項5】

ロボット、移動体及び情報処理装置を有するロボットシステムにおいて、
前記移動体は、
前記移動体の位置情報、または姿勢情報および位置情報を検知する慣性センサと、
少なくとも前記情報処理装置と通信する通信部と、
を有しており、
前記情報処理装置は、
前記移動体が空間上の複数の位置において検知した、位置情報、または姿勢情報および位置情報を取得する取得部と、
前記取得部が取得した複数の前記位置情報、または前記位置情報及び前記姿勢情報に基づいて、前記ロボットの特定部分の位置及び姿勢を順に規定することで、前記ロボットの動作する軌道情報を生成する生成部と、
前記軌道情報に基づいて、前記ロボットを動作させる制御部と、
を備えていることを特徴とするロボットシステム。

【請求項6】

ロボット、移動体、検出手段及び情報処理装置を有するロボットシステムにおいて、
前記移動体は、
少なくとも前記情報処理装置と通信する通信部を有しており、
前記検出手段は、
前記移動体を検出することで前記移動体の位置情報、または位置情報および姿勢情報を検知する撮像検出部と、
少なくとも前記情報処理装置と通信する通信部と、
を有しており、
前記情報処理装置は、
前記移動体が空間上の複数の位置において検知した、位置情報、または位置情報および姿勢情報を取得する取得部と、
前記取得部が取得した複数の前記位置情報、または前記位置情報及び前記姿勢情報に基づいて、前記ロボットの特定部分の位置、または位置及び姿勢を順に規定することで、前記ロボットの動作する軌道情報を生成する生成部と、
前記軌道情報に基づいて、前記ロボットを動作させる制御部と、
を備えていることを特徴とするロボットシステム。

【請求項7】

ロボット、移動体及び情報処理装置を有するロボットシステムにおいて、
前記移動体は、
前記移動体の姿勢情報を検知する慣性センサと、
前記ロボットの所定の位置との相対的な位置関係が既知である位置に配置されたマークを撮像し、前記ロボットとの相対位置情報を検知する撮像手段と、
少なくとも前記情報処理装置と通信する通信部と、
を有しており、
前記情報処理装置は、
前記移動体が空間上の複数の位置において検知した、姿勢情報および位置情報を取得する取得部と、
前記取得部が取得した複数の前記位置情報及び前記姿勢情報に基づいて、前記ロボットの特定部分の位置及び姿勢を順に規定することで、前記ロボットの動作する軌道情報を生成する生成部と、
前記軌道情報に基づいて、前記ロボットを動作させる制御部と、
を備えていることを特徴とするロボットシステム。

【請求項8】

前記移動体または前記情報処理装置には、前記位置情報、または前記位置情報及び前記姿勢情報の検知を実行することを指示する操作部が設けられていることを特徴とする請求項４、６、７のいずれか１つに記載のロボットシステム。

【請求項9】

空間上の複数の位置に順にロボットとは独立して移動して配置した移動体の、各位置における位置情報、及び前記各位置における姿勢情報を取得し、
前記取得した複数の前記位置情報及び前記姿勢情報に基づいて、前記ロボットの特定部分の位置及び姿勢を順に規定することで、前記ロボットの動作する軌道情報を生成することを特徴とするロボットの制御方法。

【請求項10】

前記複数の位置の少なくとも１つの位置に前記ロボットを移動させ、前記少なくとも１つの位置における前記位置情報および前記姿勢情報を補正することで、前記軌道情報を補正、または補正した前記位置情報および前記姿勢情報により前記軌道情報を生成することを特徴とする請求項９に記載のロボットの制御方法。

【請求項11】

前記位置情報、前記姿勢情報及び前記軌道情報に基づいて、前記ロボットを動作させることを特徴とする請求項９または１０に記載のロボットの制御方法。

【請求項12】

ロボットを動作させるプロセッサにより、
空間上の複数の位置に順に移動して配置した移動体の、各位置における位置情報、及び前記各位置における姿勢情報を取得し、
前記取得した複数の前記位置情報及び前記姿勢情報に基づいて、前記ロボットの特定部分の位置及び姿勢を順に規定することで、前記ロボットの動作する軌道情報を生成することを特徴とするプログラム。

【請求項13】

ロボットの動作する軌道情報を生成するための複数の位置を前記ロボットとは独立して移動する移動体において、
前記複数の位置における前記移動体の位置情報または位置情報と姿勢情報を検知する慣性センサと、
少なくとも前記ロボットを動作させる情報処理装置と通信する通信部と、
を有しており、
前記移動体が空間上の複数の位置において検知した、前記姿勢情報および前記位置情報に基づいて、前記ロボットの動作する軌道情報が生成されることを特徴とする移動体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、ロボットの制御方法、プログラム、移動体及びロボットシステムに関する。

【背景技術】

【0002】

産業用ロボット等のロボットに動作を教示する方法として、ダイレクトティーチングが知られている（例えば、特許文献１参照）。ダイレクトティーチングは、例えば、作業者がロボットを手動で直接動かすことにより、ロボットに動作点を覚えさせる教示方法である。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１３１３１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、ダイレクトティーチングでは、ロボットの重量及び大きさ等によっては作業者の体力的及び時間的な負担が増加する問題がある。

【課題を解決するための手段】

【0005】

本発明の好適な態様に係る情報処理装置は、空間上の複数の位置にロボットとは独立して順に移動して配置する移動体の、各位置における位置情報、または前記各位置における位置情報及び前記各位置における姿勢情報を取得する取得部と、前記取得部が取得した複数の前記位置情報、または前記位置情報及び前記姿勢情報に基づいて、前記ロボットの特定部分の位置及び姿勢を順に規定することで、前記ロボットの動作する軌道情報を生成する生成部と、を備えている。

【0006】

本発明の好適な態様に係るロボットの制御方法は、空間上の複数の位置に順にロボットとは独立して移動して配置した移動体の、各位置における位置情報、及び前記各位置における姿勢情報を取得し、前記取得した複数の前記位置情報及び前記姿勢情報に基づいて、ロボットの特定部分の位置及び姿勢を順に規定することで、前記ロボットの動作する軌道情報を生成する。

【0007】

本発明の好適な態様に係るプログラムは、ロボットを動作させるプロセッサにより、空間上の複数の位置に順に移動して配置した移動体の、各位置における位置情報、及び前記各位置における姿勢情報を取得し、前記取得した複数の前記位置情報及び前記姿勢情報に基づいて、前記ロボットの特定部分の位置及び姿勢を順に規定することで、前記ロボットの動作する軌道情報を生成する。

【0008】

本発明の好適な態様に係るロボットシステムは、ロボット、移動体及び情報処理装置を備え、前記情報処理装置は、前記移動体の位置を示す位置情報、または前記移動体の位置を示す位置情報と前記移動体の姿勢を示す姿勢情報を取得する取得部と、前記取得部が取得した前記位置情報または前記位置情報と前記姿勢情報に基づいて、前記ロボットの特定部分の位置または位置と姿勢を規定する動作情報を生成する生成部と、を備えている。
本発明の好適な態様に係る移動体は、ロボットの動作する軌道情報を生成するための複数の位置を前記ロボットとは独立して移動する移動体において、前記複数の位置における前記移動体の位置情報または位置情報と姿勢情報を検知する慣性センサと、少なくとも前記ロボットを動作させる情報処理装置と通信する通信部とを有しており、前記移動体が空間上の複数の位置において検知した、前記姿勢情報および前記位置情報に基づいて、前記ロボットの動作する軌道情報が生成される。

【発明の効果】

【0009】

本発明によれば、ロボットに動作を教示する場合に、作業者の負担が増加することを抑制することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態に係るロボットシステムの概要を説明するための説明図である。

【図2】図１に示したロボットコントローラのハードウェア構成の一例を示す図である。

【図3】図１に示したロボットコントローラの構成の一例を示す機能ブロック図である。

【図4】図１に示した端末装置のハードウェア構成の一例を示す図である。

【図5】図１に示した端末装置の構成の一例を示す機能ブロック図である。

【図6】図１に示したロボットシステムの動作の一例を示すシーケンスチャートである。

【図7】図２に示した動作テーブルの一例を示す説明図である。

【図8】操作画面の一例を説明するための説明図である。

【図9】図１に示したロボットコントローラの動作の一例を示すフローチャートである。

【図10】第１変形例に係るロボットシステムの動作の一例を示すシーケンスチャートである。

【図11】第１変形例に係るロボットコントローラの動作の一例を示すフローチャートである。

【図12】第３変形例に係るロボットシステムの概要を説明するための説明図である。

【発明を実施するための形態】

【0011】

以下、本発明を実施するための形態について図面を参照して説明する。なお、各図において、各部の寸法及び縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。

【0012】

［１．実施形態］
先ず、図１を参照しながら、実施形態に係るロボットシステム１の概要の一例について説明する。

【0013】

図１は、実施形態に係るロボットシステム１の概要を説明するための説明図である。

【0014】

なお、以下では、説明の便宜上、現実空間に固定されたワールド座標系ΣＷと、撮像装置（検出装置）４０に固定された撮像座標系ΣＣとを導入する。ワールド座標系ΣＷは、例えば、現実空間の所定の位置に原点を有し、互いに直交するＸｗ軸、Ｙｗ軸、及び、Ｚｗ軸を有する３軸の直交座標系である。本実施形態では、ワールド座標系ΣＷの原点である所定の位置が位置Ｏｐである場合を想定する。位置Ｏｐは、例えば、後述するロボット２０の土台部ＢＳＰの中心である。また、本実施形態では、Ｘｗ－Ｚｗ平面が、土台部ＢＳＰが固定される床に平行である場合を想定する。また、撮像座標系ΣＣは、例えば、撮像装置４０の所定の位置に原点を有し、互いに直交するＸｃ軸、Ｙｃ軸、及び、Ｚｃ軸を有する３軸の直交座標系である。本実施形態では、Ｚｃ軸が、撮像装置４０が有する光学系の光軸と平行である場合を想定する。以下では、撮像装置４０が有する光学系の光軸は、単に、撮像装置４０の光軸とも称される。

【0015】

図１に示すロボットシステム１は、例えば、ロボット２０の動作を制御するロボット制御ロボットシステムである。例えば、ロボットシステム１は、ロボットコントローラ１０、ロボット２０、端末装置３０及び撮像装置４０を有する。ロボットコントローラ１０は、「情報処理装置」の一例であり、端末装置３０は、「移動体」の一例である。

【0016】

図１に示すロボットコントローラ１０及びロボット２０は、例えば、有線を用いた接続により、互いに通信可能に接続されている。なお、ロボットコントローラ１０とロボット２０との接続は、無線を用いた接続であってもよいし、有線及び無線の両方を用いた接続であってもよい。

【0017】

また、ロボットコントローラ１０、端末装置３０及び撮像装置４０は通信部を有しており、互いに通信可能に接続されている。本実施形態では、ロボットコントローラ１０、端末装置３０及び撮像装置４０間の通信が、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＷｉ－Ｆｉ（登録商標）等の近距離無線通信である場合を想定する。なお、ロボットシステム１に含まれる複数の要素間の接続は、複数の要素間を互いに通信可能にする接続であればよく、有線ネットワーク及び無線ネットワークの一方又は両方を含むネットワークを用いた接続であってもよい。

【0018】

ロボットコントローラ１０としては、他の装置と通信可能な任意の情報処理装置を採用することができる。ロボットコントローラ１０は、例えば、ロボット２０の動作を制御する。ロボットコントローラ１０の構成は、後述する図２及び図３において説明される。

【0019】

ロボット２０は、例えば、工場等に設置される多関節ロボットである。例えば、ロボット２０は、土台部ＢＳＰと、ボディ部ＢＤＰと、複数のアーム部ＡＰ（ＡＰ１、ＡＰ２、ＡＰ３及びＡＰ４）と、先端部ＨＰとを有する。先端部ＨＰは、「特定部分」の一例である。

【0020】

土台部ＢＳＰは、床等の所定の場所に固定される。ボディ部ＢＤＰは、回転軸ＡＸ１を軸として回転可能に土台部ＢＳＰに接続される。アーム部ＡＰ１は、回転軸ＡＸ２を軸として回転可能にボディ部ＢＤＰに接続される。アーム部ＡＰ２は、回転軸ＡＸ３を軸として回転可能にアーム部ＡＰ１に接続される。アーム部ＡＰ３は、回転軸ＡＸ４を軸として回転可能にアーム部ＡＰ２に接続される。アーム部ＡＰ４は、回転軸ＡＸ５を軸として回転可能にアーム部ＡＰ３に接続される。但し、アーム部ＡＰ１、ＡＰ２、ＡＰ３及びＡＰ４の各々の回転角度は、３６０度未満に制限される。

【0021】

また、先端部ＨＰは、第１先端部ＨＰ１と、第１先端部ＨＰ１に接続された第２先端部ＨＰ２とを有する。第１先端部ＨＰ１は、回転軸Ｈｙを軸として回転可能にアーム部ＡＰ４に接続される。また、第１先端部ＨＰ１は、回転軸Ｈｘを軸として回転可能である。第２先端部ＨＰ２は、回転軸Ｈｚを軸として回転可能に第１先端部ＨＰ１に接続される。但し、第１先端部ＨＰ１が回転軸Ｈｘを軸として回転する場合の回転角度は、３６０度未満に制限される。同様に、第２先端部ＨＰ２が回転軸Ｈｚを軸として回転する場合の回転角度は、３６０度未満に制限される。

【0022】

ここで、第２先端部ＨＰ２は、第１先端部ＨＰ１に接続されているため、第１先端部ＨＰ１が回転軸Ｈｙ又は回転軸Ｈｘを軸として回転した場合、第１先端部ＨＰ１と一緒に回転する。すなわち、第２先端部ＨＰ２は、回転軸Ｈｘ、Ｈｙ及びＨｚの各々を軸として回転可能である。

【0023】

なお、本実施形態では、ロボット２０が床等の所定の場所に固定される場合を想定するが、ロボット２０は、所定の場所に固定されずに、ロボット２０自体が移動可能であってもよい。ロボット２０自体が移動する場合、ロボット２０本体の原点（例えば、重心又は中心等）を「特定部分」として捉えてもよい。

【0024】

端末装置３０としては、信号を送信可能な任意の可搬型の情報処理装置を採用することができる。例えば、端末装置３０は、リモートコントローラ及びスマートフォン等の可搬型の情報端末であってもよい。端末装置３０は、例えば、所定の作業を実行するロボット２０の先端部ＨＰの位置及び姿勢を規定する場合に、作業者Ｕに把持され、所定の作業に対応する移動経路（軌道情報）に沿うように、作業者Ｕによりロボットとは独立して移動させられる。作業者Ｕは、「ユーザ」の一例である。なお、ロボット２０の先端部ＨＰの位置は、例えば、ロボット２０の動作点に対応する。また、所定の作業に対応する移動経路は、例えば、所定の作業を実行するロボット２０の先端部ＨＰの移動経路として規定される経路である。すなわち、作業者Ｕは、所定の作業に対応する移動経路に沿うように端末装置３０を移動させることにより、所定の作業に対応する先端部ＨＰの軌道をロボット２０に教示（ティーチング）する。

【0025】

例えば、作業者Ｕが端末装置３０を移動させる作業では、作業者Ｕがロボット２０を手動で直接動かす作業に比べて、作業者Ｕの体力的及び時間的な負担が軽減される。従って、本実施形態では、作業者Ｕがロボット２０を手動で直接動かす態様に比べて、ロボット２０に軌道を教示する場合における作業者Ｕの体力的及び時間的な負担が増加することを抑制することができる。

【0026】

なお、本実施形態では、端末装置３０の姿勢等の説明を分かり易くするために、端末装置３０の形状が直方体である場合を想定する。また、以下では、便宜上、互いに直交するＸｍ軸、Ｙｍ軸、及び、Ｚｍ軸を用いて、端末装置３０の姿勢等が説明される。例えば、Ｘｍ軸は、位置Ｐを通り、面ＳＦ３に垂直な軸であり、Ｙｍ軸は、位置Ｐを通り、面ＳＦ１に垂直な軸であり、Ｚｍ軸は、端末装置３０の位置Ｐを通り、面ＳＦ２に垂直な軸である。位置Ｐは、例えば、端末装置３０の面ＳＦ１の中心である。なお、端末装置３０の形状は直方体に限定されない。

【0027】

端末装置３０の位置は、例えば、端末装置３０の位置Ｐの座標で表される。また、端末装置３０の姿勢は、例えば、Ｘｍ軸を軸として回転した場合のＸｍ軸の回転角度、Ｙｍ軸を軸として回転した場合のＹｍ軸の回転角度、及び、Ｚｍ軸を軸として回転した場合のＺｍ軸の回転角度を用いて表される。なお、本実施形態では、Ｘｍ軸がＸｗ軸と平行であり、Ｙｍ軸がＹｗ軸と平行であり、かつ、Ｚｍ軸がＺｗ軸と平行である場合の端末装置３０の姿勢を基準（０度）にして、Ｘｍ軸の回転角度、Ｙｍ軸の回転角度及びＺｍ軸の回転角度が表される場合を想定する。

【0028】

また、ロボット２０の先端部ＨＰの位置は、例えば、第２先端部ＨＰ２の面ＳＦｈの中心の座標で表される。以下では、第２先端部ＨＰ２の面ＳＦｈは、先端部ＨＰの面ＳＦｈとも称される。また、先端部ＨＰの姿勢は、回転軸Ｈｘを軸として回転した場合の回転軸Ｈｘの回転角度、回転軸Ｈｙを軸として回転した場合の回転軸Ｈｙの回転角度、及び、回転軸Ｈｚを軸として回転した場合の回転軸Ｈｚの回転角度を用いて表される。なお、本実施形態では、回転軸ＨｘがＸｗ軸と平行であり、回転軸ＨｙがＹｗ軸と平行であり、かつ、回転軸ＨｚがＺｗ軸と平行である場合の先端部ＨＰの姿勢を基準（０度）にして、回転軸Ｈｘの回転角度、回転軸Ｈｙの回転角度及び回転軸Ｈｚの回転角度が表される場合を想定する。

【0029】

本実施形態では、端末装置３０の位置が撮像装置４０により算出され、端末装置３０の姿勢が端末装置３０により算出される場合を想定する。端末装置３０の構成は、後述する図４において説明されるが、例えば、端末装置３０は、端末装置３０の姿勢を検出するための慣性センサ３８を有する。また、図１に示す端末装置３０では、撮像装置４０が端末装置３０を容易に認識できるように、互いに異なる２つのマークＭＫ（ＭＫ１及びＭＫ２）が面ＳＦ２に設けられている。例えば、撮像装置４０は、端末装置３０を撮像した画像内のマークＭＫを認識することにより、画像全体のうちの端末装置３０を示す部分を容易に認識できる。なお、マークＭＫの数は１つでもよい。マークＭＫが位置が既知である１つのマークの場合は、マークＭＫの画面内の位置と、後出する慣性センサ３８により検出される端末装置３０の姿勢から、端末装置３０の中心となる位置Ｐを算出することができる。またマークＭＫが位置が既知の２つ以上のマークであれば、２つのマークＭＫから端末装置３０の中心となる位置Ｐを算出することができる。また、マークＭＫの数が少ない場合、何らかの理由で、撮像装置４０よりマークＭＫを撮像できない事も想定されるため、マークＭＫは、端末装置３０の複数の面に設けておくことが好ましい。また、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の発光素子がマークＭＫとして採用されてもよい。

【0030】

撮像装置４０は、カメラ等の光学的な手段により被写体を撮像するためのハードウェアである。本実施形態では、撮像装置４０が３次元カメラである場合を想定する。３次元カメラは、奥行き（対象物までの距離）を算出可能なカメラである。例えば、撮像装置４０は、端末装置３０を撮像することにより、撮像座標系ΣＣにおける端末装置３０の位置を算出する。そして、撮像装置４０は、端末装置３０の位置を示す座標を撮像座標系ΣＣからワールド座標系ΣＷに変換し、ワールド座標系ΣＷにおける端末装置３０の位置を示す位置情報をロボットコントローラ１０に送信する。なお、本実施形態では、撮像座標系ΣＣの座標をワールド座標系ΣＷの座標に変換するためのパラメータ等の情報が既知である場合を想定する。また、撮像座標系ΣＣにおける端末装置３０の位置をワールド座標系ΣＷにおける端末装置３０の位置に変換する座標変換は、ロボットコントローラ１０により実行されてもよい。また、撮像装置４０が撮像するタイミングは、端末装置３０もしくはロボットコントローラ１０からの信号により実行される。

【0031】

このように、本実施形態では、撮像装置４０は、端末装置３０と撮像装置４０との距離を測定する測距装置として用いられる。距離の測定方式としては、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式、ＦＭＣＷ（Ｆｒｅｑｕｅｎｃｙ Ｍｏｄｕｌａｔｅｄ Ｃｏｎｔｉｎｕｏｕｓ Ｗａｖｅ）方式、及び、ステレオカメラ方式等の既知の方式を採用することができる。

【0032】

ＴＯＦ方式は、測距装置（例えば、撮像装置４０）が赤外光等の光を対象物に投射してから、対象物で反射した反射光を測距装置が受信するまでの時間に基づいて、対象物までの距離を測定する方式である。ＦＭＣＷ方式は、測距装置から送信された送信信号と、対象物で反射した反射信号（測距装置で受信した受信信号）との周波数差に基づいて対象物までの距離を測定する方式である。例えば、距離を測定するセンサとして、ＴＯＦ方式のＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、あるいは、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、又は、ＦＭＣＷ方式のＬｉＤＡＲが採用されてもよい。また、ステレオカメラ方式は、２つのカメラで同一の対象物を撮影した場合の視差に基づいて、対象物までの距離を測定する方式である。なお、距離の測定方式は、上述の例に限定されない。

【0033】

本実施形態では、例えば、ロボットコントローラ１０は、端末装置３０の位置を示す位置情報を撮像装置４０から取得し、端末装置３０の姿勢を示す姿勢情報を端末装置３０から取得する。そして、ロボットコントローラ１０は、撮像装置４０から取得した位置情報、及び、端末装置３０から取得した姿勢情報に基づいて、ロボット２０の先端部ＨＰの位置及び姿勢を規定する。ロボット２０の先端部ＨＰの位置及び姿勢の規定方法は、後述する図６において説明される。

【0034】

なお、ロボットシステム１の構成は、図１に示した例に限定されない。例えば、ロボットコントローラ１０は、ロボット２０に含まれてもよい。また、例えば、撮像装置４０は、ロボット２０に設けられてもよい。また、例えば、ロボット２０は、端末装置３０及び撮像装置４０と通信可能に接続されてもよい。この場合、端末装置３０及び撮像装置４０の各々とロボット２０との接続は、有線及び無線の一方を用いた接続であってもよいし、有線及び無線の両方を用いた接続であってもよい。

【0035】

また、撮像装置４０は、端末装置３０のＸｍ軸が撮像装置４０の光軸に直交していると仮定して算出された端末装置３０と撮像装置４０との距離の誤差が許容範囲内である場合、単眼カメラでもよい。この場合、撮像装置４０は、例えば、端末装置３０のＸｍ軸が撮像装置４０の光軸に直交していると仮定し、マークＭＫ１及びＭＫ２間の既知の距離と画像内のマークＭＫ１及びＭＫ２の位置と焦点距離とに基づいて、端末装置３０と撮像装置４０との距離を算出する。なお、焦点距離は、撮像装置４０が有する光学系の焦点距離であり、既知の情報である。また、例えば、ロボットコントローラ１０が、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星から送信される衛星信号に基づいて端末装置３０の位置を特定でき、かつその精度が目的に対して十分である場合、撮像装置（検出装置）４０に替えてＧＰＳを検出装置としても良い。また、ＧＰＳに限らず、レーザ光や音波を使用する機器を検出装置としても良い。また、レーザ光や音波は、端末装置３０から出射し、検出装置４０で検出しても良い。

【0036】

次に、図２を参照しながら、ロボットコントローラ１０のハードウェア構成について説明する。

【0037】

図２は、図１に示したロボットコントローラ１０のハードウェア構成の一例を示す図である。

【0038】

ロボットコントローラ１０は、ロボットコントローラ１０の各部を制御する処理装置（制御部）１２と、各種情報を記憶するメモリ（記憶部）１３と、通信装置（通信部）１４と、作業者Ｕ等による操作を受け付ける操作装置（操作部）１５と、表示装置（表示部）１６と、ドライバ回路１７とを有する。

【0039】

メモリ１３は、例えば、処理装置１２の作業領域として機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性メモリと、制御プログラムＰＧｒ等の各種情報を記憶するＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性メモリとの、一方又は両方を含む。なお、メモリ１３は、ロボットコントローラ１０に着脱可能であってもよい。具体的には、メモリ１３は、ロボットコントローラ１０に着脱されるメモリカード等の記憶媒体であってもよい。また、メモリ１３は、例えば、ロボットコントローラ１０とネットワーク等を介して通信可能に接続された記憶装置（例えば、オンラインストレージ）であってもよい。

【0040】

図２に示すメモリ１３は、制御プログラムＰＧｒ及び動作テーブルＭＴＢＬを記憶している。制御プログラムＰＧｒは、「プログラム」の一例である。本実施形態では、制御プログラムＰＧｒは、例えば、ロボットコントローラ１０がロボット２０の動作を制御するためのアプリケーションプログラムを含む。但し、制御プログラムＰＧｒは、例えば、処理装置１２がロボットコントローラ１０の各部を制御するためのオペレーティングロボットシステムプログラムを含んでもよい。

【0041】

動作テーブルＭＴＢＬの詳細は、後述する図７において説明されるが、動作テーブルＭＴＢＬには、例えば、位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦ等が記憶される。例えば、位置情報ＰＩＮＦは、端末装置３０の位置を示す位置情報であり、ロボット２０の先端部ＨＰの位置を規定する位置情報として用いられる。また、姿勢情報ＡＩＮＦは、端末装置３０の姿勢を示す姿勢情報であり、ロボット２０の先端部ＨＰの姿勢を規定する姿勢情報として用いられる。

【0042】

処理装置１２は、ロボットコントローラ１０の全体を制御するプロセッサであり、例えば、１又は複数のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んで構成される。処理装置１２は、例えば、メモリ１３に記憶された制御プログラムＰＧｒを実行し、制御プログラムＰＧｒに従って動作することで、後述する図３に示すロボット制御部１２０として機能する。なお、制御プログラムＰＧｒは、ネットワーク等を介して他の装置から送信されてもよい。

【0043】

また、例えば、処理装置１２が複数のＣＰＵを含んで構成される場合、処理装置１２の機能の一部又は全部は、これら複数のＣＰＵが制御プログラムＰＧｒ等のプログラムに従って協働して動作することで実現されてもよい。また、処理装置１２は、１又は複数のＣＰＵに加え、又は、１又は複数のＣＰＵのうち一部又は全部に代えて、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、又は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアを含んで構成されるものであってもよい。この場合、処理装置１２の機能の一部又は全部は、ＤＳＰ等のハードウェアにより実現されてもよい。

【0044】

通信装置１４は、ロボットコントローラ１０の外部に存在する外部装置と通信を行うためのハードウェアである。例えば、通信装置１４は、近距離無線通信によって外部装置と通信する機能を有する。なお、通信装置１４は、移動体通信網又はネットワークを介して外部装置と通信する機能をさらに有してもよい。

【0045】

操作装置１５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、スイッチ、ボタン及びセンサ等）である。例えば、操作装置１５は、作業者Ｕの操作を受け付け、操作に応じた操作情報を処理装置１２に出力する。なお、例えば、表示装置１６の表示面に対する接触を検出するタッチパネルが、操作装置１５として採用されてもよい。

【0046】

表示装置１６は、外部への出力を実施するディスプレイ等の出力デバイスである。表示装置１６は、例えば、処理装置１２による制御のもとで、画像を表示する。なお、操作装置１５及び表示装置１６は、一体となった構成（例えば、タッチパネル）であってもよい。

【0047】

ドライバ回路１７は、処理装置１２による制御のもとで、ロボット２０を駆動するための信号をロボット２０に出力するハードウェアである。例えば、ドライバ回路１７は、処理装置１２による制御のもとで、ロボット２０のボディ部ＢＤＰ、アーム部ＡＰ及び先端部ＨＰ等を駆動する信号をロボット２０に出力する。

【0048】

次に、図３を参照しながら、ロボットコントローラ１０の機能について説明する。

【0049】

図３は、図１に示したロボットコントローラ１０の構成の一例を示す機能ブロック図である。

【0050】

ロボット制御部１２０は、図２において説明されたように、処理装置１２により実現される。なお、処理装置１２が複数のＣＰＵを含んで構成される場合、ロボット制御部１２０の一部又は全部の機能は、これら複数のＣＰＵが制御プログラムＰＧｒに従って協働して動作することで実現されてもよい。また、処理装置１２がＤＳＰ等のハードウェアを含んで構成される場合、ロボット制御部１２０の一部又は全部は、ＤＳＰ等のハードウェアにより実現されてもよい。

【0051】

ロボット制御部１２０は、例えば、情報取得部１２１、情報生成部１２２、動作制御部１２３、表示制御部１２４及び警告部１２５を有する。情報取得部１２１は、「取得部」の一例であり、情報生成部１２２は、「生成部」の一例である。また、動作制御部１２３は、「制御部」の一例である。

【0052】

情報取得部１２１は、例えば、端末装置３０の位置を示す位置情報ＰＩＮＦを撮像装置（検出装置）４０から取得し、端末装置３０の姿勢を示す姿勢情報ＡＩＮＦを端末装置３０から取得する。例えば、位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦ等の情報をロボットコントローラ１０に送信する送信操作を作業者Ｕが端末装置３０に対して行った場合に、端末装置３０から姿勢情報ＡＩＮＦが送信され、撮像装置４０から位置情報ＰＩＮＦが送信される。従って、情報取得部１２１は、送信操作を作業者Ｕが端末装置３０に対して行った場合に、位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦを取得する。送信操作は、例えば、操作装置（操作部）３５が送信ボタンを含む場合、送信ボタンの押下であってもよい。なお、送信操作は、「所定の操作」の一例である。

【0053】

情報生成部１２２は、情報取得部１２１が取得した位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦに基づいて、ロボット２０の先端部ＨＰの位置及び姿勢を規定する動作情報を生成する。例えば、情報生成部１２２は、情報取得部１２１が取得した位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦを、動作テーブルＭＴＢＬに記憶する。これにより、動作テーブルＭＴＢＬには、位置情報ＰＩＮＦにより示される位置、及び、姿勢情報ＡＩＮＦにより示される姿勢が登録される。以下では、動作テーブルＭＴＢＬに記憶された位置情報ＰＩＮＦにより示される位置は、動作テーブルＭＴＢＬに登録された位置とも称される。同様に、動作テーブルＭＴＢＬに記憶された姿勢情報ＡＩＮＦにより示される姿勢は、動作テーブルＭＴＢＬに登録された姿勢とも称される。

【0054】

例えば、情報生成部１２２は、動作テーブルＭＴＢＬに登録された位置及び姿勢をロボット２０の先端部ＨＰの位置及び姿勢として確定することにより、動作テーブルＭＴＢＬに登録された位置及び姿勢をロボット２０の先端部ＨＰの位置及び姿勢として規定する。この場合、動作テーブルＭＴＢＬに記憶された位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦ（確定された位置及び姿勢をそれぞれ示す位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦ）が、ロボット２０の先端部ＨＰの位置及び姿勢を規定する動作情報に該当する。すなわち、情報生成部１２２は、動作テーブルＭＴＢＬに登録された位置及び姿勢を確定することにより、ロボット２０の先端部ＨＰの位置及び姿勢を規定する動作情報を生成する。

【0055】

動作制御部１２３は、情報取得部１２１が取得した位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦに基づいて、ロボット２０を動作させる。例えば、動作制御部１２３は、動作テーブルＭＴＢＬに登録された位置及び姿勢に基づいてドライバ回路１７を制御することにより、ロボット２０を動作させる。

【0056】

なお、動作制御部１２３は、動作テーブルＭＴＢＬに登録された位置及び姿勢を補正するための補正情報に基づいて、ロボット２０を動作させてもよい。例えば、動作制御部１２３は、後述する図８に示す操作画面ＣＨＳ等に表示されるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を介して、作業者Ｕにより指示される先端部ＨＰの位置及び姿勢を示す補正情報の入力を受け付けてもよい。そして、動作制御部１２３は、動作テーブルＭＴＢＬに登録された位置及び姿勢を補正情報に基づいて補正してもよい。

【0057】

また、動作制御部１２３は、作業者Ｕがロボット２０を手動で直接動かすことにより得られる補正情報に基づいて、動作テーブルＭＴＢＬに登録された位置及び姿勢を補正してもよい。具体的には、例えば、作業者Ｕは、動作テーブルＭＴＢＬに登録された位置及び姿勢に基づいて動作したロボット２０の先端部ＨＰの位置及び姿勢を目視等により確認する。そして、作業者Ｕは、ロボット２０を手動で直接動かすことにより、先端部ＨＰの位置及び姿勢を所望の位置及び姿勢に移動させる。この場合、動作制御部１２３は、作業者Ｕが移動させた先端部ＨＰの位置及び姿勢を示す補正情報を取得し、動作テーブルＭＴＢＬに登録された位置及び姿勢を補正情報に基づいて補正する。

【0058】

補正情報に基づいて補正された位置及び姿勢は、例えば、動作テーブルＭＴＢＬに登録され、動作情報により規定される先端部ＨＰの位置及び姿勢として、情報生成部１２２により確定される。

【0059】

表示制御部１２４は、例えば、図８に示す操作画面ＣＨＳ等の各種画像を表示装置１６に表示させる。

【0060】

警告部１２５は、例えば、情報取得部１２１が位置情報ＰＩＮＦを取得する度に、位置情報ＰＩＮＦにより示される位置がロボット２０の先端部ＨＰの可動範囲内であるか否かを判定し、位置情報ＰＩＮＦにより示される位置が可動範囲内でない場合に警告する。

【0061】

例えば、警告部１２５は、端末装置３０の位置がロボット２０の可動範囲外であることを、警告音等を出力することにより、作業者Ｕに警告してもよい。あるいは、警告部１２５は、端末装置３０の位置がロボット２０の可動範囲外であることを示す警告情報を端末装置３０に送信してもよい。この場合、端末装置３０は、例えば、端末装置３０の位置がロボット２０の可動範囲外であることを、警告音等を出力することにより、作業者Ｕに警告してもよい。

【0062】

警告音等の警告により、作業者Ｕは、例えば、所定の作業に対応する移動経路に沿うように端末装置３０を移動させている最中に、ロボット２０の先端部ＨＰの可動範囲外に端末装置３０を移動させたか否かを把握できる。この結果、作業者Ｕが、ロボット２０の先端部ＨＰの可動範囲内で端末装置３０を効率よく移動させることができる。このため、本実施形態では、所定の作業に対応する移動経路に沿うように端末装置３０を移動させる作業の効率を向上させることができる。

【0063】

なお、ロボットコントローラ１０の構成は、図２及び図３に示した例に限定されない。例えば、警告部１２５は、省かれてもよい。

【0064】

次に、図４を参照しながら、端末装置３０のハードウェア構成について説明する。

【0065】

図４は、図１に示した端末装置３０のハードウェア構成の一例を示す図である。

【0066】

端末装置３０は、端末装置３０の各部を制御する処理装置３２と、各種情報を記憶するメモリ３３と、通信装置（通信部）３４と、操作装置（操作部）３５と、表示装置（表示部）３６と、スピーカ３７と、慣性センサ３８と、撮像装置３９とを有する。

【0067】

メモリ３３は、例えば、処理装置３２の作業領域として機能するＲＡＭ等の揮発性メモリと、制御プログラムＰＧｔ等の各種情報を記憶するＥＥＰＲＯＭ等の不揮発性メモリとの、一方又は両方を含む。なお、メモリ３３は、図２において説明されたロボットコントローラ１０のメモリ１３と同様に、端末装置３０に着脱可能であってもよいし、端末装置３０とネットワーク等を介して通信可能に接続された記憶装置（例えば、オンラインストレージ）であってもよい。

【0068】

処理装置３２は、端末装置３０の全体を制御するプロセッサであり、図２において説明されたロボットコントローラ１０の処理装置１２と同様に構成される。例えば、処理装置３２は、１又は複数のＣＰＵを含んで構成される。そして、処理装置３２は、メモリ３３に記憶された制御プログラムＰＧｔを実行し、制御プログラムＰＧｔに従って動作することで、後述する図５に示す端末制御部３２０として機能する。なお、制御プログラムＰＧｔは、ネットワーク等を介して他の装置から送信されてもよい。

【0069】

また、例えば、処理装置３２が複数のＣＰＵを含んで構成される場合、処理装置３２の機能の一部又は全部は、これら複数のＣＰＵが制御プログラムＰＧｔ等のプログラムに従って協働して動作することで実現されてもよい。また、処理装置３２は、１又は複数のＣＰＵに加え、又は、１又は複数のＣＰＵのうち一部又は全部に代えて、ＧＰＵ、ＤＳＰ、又は、ＦＰＧＡ等のハードウェアを含んで構成されるものであってもよい。この場合、処理装置３２の機能の一部又は全部は、ＤＳＰ等のハードウェアにより実現されてもよい。

【0070】

通信装置３４は、端末装置３０の外部に存在する外部装置と通信を行うためのハードウェアである。例えば、通信装置３４は、近距離無線通信によって外部装置と通信する機能を有する。なお、通信装置３４は、移動体通信網又はネットワークを介して外部装置と通信する機能をさらに有してもよい。

【0071】

操作装置３５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、スイッチ、ボタン及びセンサ等）である。例えば、操作装置３５は、作業者Ｕの操作を受け付け、操作に応じた操作情報を処理装置３２に出力する。なお、例えば、表示装置３６の表示面に対する接触を検出するタッチパネルが、操作装置３５として採用されてもよい。

【0072】

表示装置３６は、外部への出力を実施するディスプレイ等の出力デバイスである。表示装置３６は、例えば、処理装置３２による制御のもとで、画像を表示する。なお、操作装置３５及び表示装置３６は、一体となった構成（例えば、タッチパネル）であってもよい。

【0073】

スピーカ３７は、処理装置３２による制御のもとで各種の音を出力するハードウェアである。

【0074】

慣性センサ３８は、例えば、３次元空間を表すＸｗ軸、Ｙｗ軸、及び、Ｚｗ軸の各々における端末装置３０の加速度と、Ｘｗ軸、Ｙｗ軸、及び、Ｚｗ軸の各々を軸として回転した場合の端末装置３０の角速度とを検出する。Ｘｗ軸、Ｙｗ軸、及び、Ｚｗ軸の加速度を検出することで、端末装置３０の移動距離を計測することができる。またＸｗ軸、Ｙｗ軸、及び、Ｚｗ軸の角速度を検出することで、端末装置３０の重力方向に対する傾き（姿勢）を検出できる。本実施形態の場合は、端末装置３０の傾き（姿勢）を検出するため、Ｘｗ軸、Ｙｗ軸、及び、Ｚｗ軸の各々を軸として回転した場合の端末装置３０の角速度の検出が必須である。

【0075】

撮像装置３９は、カメラ等の光学的な手段により被写体を撮像するためのハードウェアである。例えば、撮像装置３９は、被写体を撮像し、撮像した被写体の画像を示す画像情報を生成する。本実施形態では、端末装置３０の位置が撮像装置４０により測定されるため、撮像装置３９は、対象物までの距離を測定する機能を有さなくてもよい。なお、撮像装置３９は、対象物までの距離を測定する機能を有してもよい。すなわち、撮像装置３９は、３次元カメラでもよいし、３次元カメラ以外のカメラでもよい。

【0076】

次に、図５を参照しながら、端末装置３０の機能について説明する。

【0077】

図５は、図１に示した端末装置３０の構成の一例を示す機能ブロック図である。

【0078】

端末制御部３２０は、図４において説明されたように、処理装置（制御部）３２により実現される。なお、処理装置３２が複数のＣＰＵを含んで構成される場合、端末制御部３２０の一部又は全部の機能は、これら複数のＣＰＵが制御プログラムＰＧｔに従って協働して動作することで実現されてもよい。また、処理装置３２がＤＳＰ等のハードウェアを含んで構成される場合、端末制御部３２０の一部又は全部は、ＤＳＰ等のハードウェアにより実現されてもよい。

【0079】

端末制御部３２０は、例えば、操作通知部３２２、姿勢検出部３２４、警告制御部３２６及び表示制御部３２８を有する。

【0080】

操作通知部３２２は、ロボットコントローラ１０及び撮像装置４０の一方又は両方の動作に関する操作を操作装置３５が受け付けた場合、操作装置３５が受け付けた操作の内容を当該装置に通知する。例えば、操作通知部３２２は、位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦ等の情報をロボットコントローラ１０に送信する送信操作を操作装置３５が受け付けた場合、位置情報ＰＩＮＦの送信を指示する指示情報を、撮像装置４０に送信する。なお、指示情報は、端末装置３０からロボットコントローラ１０を介して撮像装置４０に送信されてもよい。

【0081】

姿勢検出部３２４は、慣性センサ３８の加速度及び角速度の検出結果に基づいて端末装置３０の姿勢を検出し、検出した姿勢を示す姿勢情報ＡＩＮＦを生成する。そして、姿勢検出部３２４は、端末装置３０の姿勢を示す姿勢情報ＡＩＮＦを、通信装置（通信部）３４を介してロボットコントローラ１０に送信する。例えば、姿勢検出部３２４は、操作装置３５が送信操作を受け付けた場合、端末装置３０の姿勢を検出し、検出した姿勢を示す姿勢情報ＡＩＮＦをロボットコントローラ１０に送信する。

【0082】

警告制御部３２６は、例えば、通信装置３４が警告情報をロボットコントローラ１０から受信した場合、警告音をスピーカ３７から出力させる。これにより、端末装置３０を把持している作業者Ｕは、端末装置３０の位置がロボット２０の可動範囲外であることを、把握できる。

【0083】

表示制御部３２８は、例えば、各種画像を表示装置（表示部）３６に表示させる。例えば、表示制御部３２８は、各種操作に対応するＧＵＩの画像を表示装置３６に表示させてもよい。

【0084】

なお、端末装置３０の構成は、図４及び図５に示した例に限定されない。例えば、表示装置３６、スピーカ３７及び撮像装置３９の一部又は全部は、省かれてもよい。また、例えば、端末装置３０は、バイブレータ等の振動発生装置を有してもよい。この場合、警告制御部３２６は、端末装置３０の位置がロボット２０の可動範囲外であることを、振動発生装置を振動させることにより、作業者Ｕに警告してもよい。また、例えば、端末装置３０は、ＬＥＤ等の発光素子を有してもよい。この場合、警告制御部３２６は、端末装置３０の位置がロボット２０の可動範囲外であることを、発光素子を発光させることにより、作業者Ｕに警告してもよい。また、例えば、端末装置３０の姿勢の検出に用いられるセンサは、慣性センサ３８に限定されない。例えば、端末装置３０は、慣性センサ３８に加え、又は、慣性センサ３８に代えて、磁気センサを有してもよい。

【0085】

次に、図６を参照しながら、ロボットシステム１の動作の概要について説明する。

【0086】

図６は、図１に示したロボットシステム１の動作の一例を示すシーケンスチャートである。図６では、所定の作業に対応する動作がロボット２０に教示される場合のロボットシステム１の動作を中心に説明する。図６に示す例では、ロボットコントローラ１０が、位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦを取得する度に、位置情報ＰＩＮＦにより示される位置、及び、姿勢情報ＡＩＮＦにより示される姿勢を補正する場合を想定する。

【0087】

先ず、端末装置３０は、ロボット２０に対する教示の開始を示す教示開始情報ＴＳＩＮＦを、ロボットコントローラ１０及び撮像装置（検出装置）４０に送信する（Ｓ３００）。例えば、端末装置３０は、ロボット２０に対する教示を開始する操作を作業者Ｕが端末装置３０に対して行った場合、教示開始情報ＴＳＩＮＦを、ロボットコントローラ１０及び撮像装置４０に送信する。ロボットコントローラ１０及び撮像装置４０は、教示開始情報ＴＳＩＮＦを受信する（Ｓ１００及びＳ４００）。ロボットコントローラ１０及び撮像装置４０は、教示開始情報ＴＳＩＮＦを受信することにより、ロボット２０に対する教示が開始することを認識する。

【0088】

例えば、撮像装置４０は、教示開始情報ＴＳＩＮＦを受信した場合、端末装置３０の撮像を開始してもよい。また、ロボットコントローラ１０は、教示開始情報ＴＳＩＮＦを受信した場合、ロボット２０の先端部ＨＰ等を、撮像装置４０による端末装置３０の撮像の邪魔にならない位置（例えば、撮像装置４０の撮像範囲外）に退避させてもよい。なお、撮像装置４０による端末装置３０の撮像、及び、ロボット２０の先端部ＨＰの退避は、教示開始情報ＴＳＩＮＦが送信される前（ロボット２０に対する教示が開始される前）に、実行されてもよい。

【0089】

次に、端末装置３０は、位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦ等の情報をロボットコントローラ１０に送信する送信操作を受け付ける。なお、図６に示す例では、ロボット２０に対する教示において、作業者Ｕが送信操作を３回行う場合を想定する。１回の送信操作において、ステップＳ３２０～Ｓ３２４の一連の処理、ステップＳ４２０～Ｓ４２４の一連の処理、ステップＳ１２０～Ｓ１６０の一連の処理、及び、ステップＳ２００～Ｓ２２０の一連の処理が実行される。図６では、繰り返し実行される処理を互いに区別するために、ステップＳ１２０～Ｓ１６０、Ｓ２００～Ｓ２２０、Ｓ３２０～Ｓ３２４、及び、Ｓ４２０～Ｓ４２４の各々の符号の末尾には、小文字のアルファベット（ａ、ｂ又はｃ）が付されている。同様に、位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦの各々の符号の末尾にも、小文字のアルファベット（ａ、ｂ又はｃ）が付されている。

【0090】

例えば、端末装置３０は、１回目の送信操作を受け付けたことを契機に、位置情報ＰＩＮＦの送信を指示する指示情報ＴＩＮＦを撮像装置４０に送信する（Ｓ３２０ａ）。これにより、撮像装置４０は、指示情報ＴＩＮＦを受信する（Ｓ４２０ａ）。また、端末装置３０は、１回目の送信操作を受け付けたことを契機に、端末装置３０の姿勢を検出し、検出した姿勢を示す姿勢情報ＡＩＮＦａを生成する（Ｓ３２２ａ）。そして、端末装置３０は、生成した姿勢情報ＡＩＮＦａをロボットコントローラ１０に送信する（Ｓ３２４ａ）。これにより、ロボットコントローラ１０は、端末装置３０が１回目の送信操作を受け付けたことを契機に生成された姿勢情報ＡＩＮＦａを受信する（Ｓ１２２ａ）。

【0091】

また、撮像装置４０は、指示情報ＴＩＮＦを受信したことを契機に、端末装置３０の位置を示す位置情報ＰＩＮＦａを生成する（Ｓ４２２ａ）。そして、撮像装置４０は、生成した位置情報ＰＩＮＦａをロボットコントローラ１０に送信する（Ｓ４２４ａ）。すなわち、撮像装置４０は、端末装置３０が１回目の送信操作を受け付けたことを契機に、端末装置３０の位置を示す位置情報ＰＩＮＦａを生成し、生成した位置情報ＰＩＮＦａをロボットコントローラ１０に送信する。これにより、ロボットコントローラ１０は、端末装置３０が１回目の送信操作を受け付けたことを契機に生成された位置情報ＰＩＮＦａを受信する（Ｓ１２０ａ）。

【0092】

このように、ロボットコントローラ１０は、端末装置３０が１回目の送信操作を受け付けたことを契機に、位置情報ＰＩＮＦａ及び姿勢情報ＡＩＮＦａを取得する。そして、ロボットコントローラ１０は、撮像装置４０から取得した位置情報ＰＩＮＦａ及び端末装置３０から取得した姿勢情報ＡＩＮＦａを、動作テーブルＭＴＢＬに記憶する（Ｓ１２４ａ）。これにより、位置情報ＰＩＮＦａにより示される位置及び姿勢情報ＡＩＮＦａにより示される姿勢が動作テーブルＭＴＢＬに登録される。

【0093】

次に、ロボットコントローラ１０は、ロボット２０の先端部ＨＰの位置及び姿勢を動作テーブルＭＴＢＬに登録された位置及び姿勢にする駆動信号ＣＴＬｍをロボット２０に出力する（Ｓ１４０ａ）。これにより、ロボット２０は、駆動信号ＣＴＬｍを受信する（Ｓ２００ａ）。そして、ロボット２０は、駆動信号ＣＴＬｍに従って、ロボット２０の先端部ＨＰの位置及び姿勢を移動する（Ｓ２０２ａ）。

【0094】

次に、ロボットコントローラ１０は、動作テーブルＭＴＢＬに登録された位置及び姿勢を補正する（Ｓ１６０ａ）。例えば、ロボットコントローラ１０は、後述する図８に示す操作画面ＣＨＳに表示されるＧＵＩを介して取得した補正情報に基づいて、ロボット２０の動作を制御する。これにより、ロボット２０の先端部ＨＰの位置及び姿勢は、補正情報により示される位置及び姿勢に移動する（Ｓ２２０ａ）。

【0095】

ステップＳ１６０ａ及びＳ２２０ａの処理は、例えば、ロボット２０の先端部ＨＰの位置及び姿勢が目標の位置及び姿勢（すなわち、規定されるべき位置及び姿勢）になるまで実行される。また、例えば、ロボットコントローラ１０は、動作テーブルＭＴＢＬに登録された位置及び姿勢の補正が終了した後、ロボット２０の先端部ＨＰ等を、撮像装置４０による端末装置３０の撮像の邪魔にならない位置に退避させる。

【0096】

なお、ロボット２０の先端部ＨＰの位置及び姿勢の移動は、作業者Ｕがロボット２０を手動で直接動かすことにより、実現されてもよい。この場合、ロボットコントローラ１０は、作業者Ｕが移動させた先端部ＨＰの位置及び姿勢を示す補正情報に基づいて、動作テーブルＭＴＢＬに登録された位置及び姿勢を補正する。

【0097】

ステップＳ１６０ａ及びＳ２２０ａの処理の終了により、１回目の送信操作に対応する処理（ステップＳ１２０ａ～Ｓ１６０ａ、Ｓ２００ａ～Ｓ２２０ａ、Ｓ３２０ａ～Ｓ３２４ａ、及び、Ｓ４２０ａ～Ｓ４２２ａの一連の処理）は終了する。

【0098】

２回目の送信操作に対応する処理、及び、３回目の送信操作に対応する処理も、１回目の送信操作に対応する処理と同様に実行される。例えば、ロボットコントローラ１０は、端末装置３０が２回目の送信操作を受け付けたことを契機に、位置情報ＰＩＮＦｂ及び姿勢情報ＡＩＮＦｂを取得する（Ｓ１２０ｂ及びＳ１２２ｂ）。また、ロボットコントローラ１０は、端末装置３０が３回目の送信操作を受け付けたことを契機に、位置情報ＰＩＮＦｃ及び姿勢情報ＡＩＮＦｃを取得する（Ｓ１２０ｃ及びＳ１２２ｃ）。

【0099】

作業者Ｕは、例えば、３回目の送信操作を端末装置３０に対して行った後、ロボット２０に対する教示を終了する操作を端末装置３０に対して行う。端末装置３０は、ロボット２０に対する教示を終了する操作を受け付けたことを契機に、ロボット２０に対する教示の終了を示す教示終了情報ＴＥＩＮＦを、ロボットコントローラ１０及び撮像装置４０に送信する（Ｓ３４０）。ロボットコントローラ１０及び撮像装置４０は、教示終了情報ＴＥＩＮＦを受信する（Ｓ１８０及びＳ４４０）。ロボットコントローラ１０及び撮像装置４０は、教示終了情報ＴＥＩＮＦを受信することにより、ロボット２０に対する教示が終了したことを認識する。

【0100】

例えば、ロボットコントローラ１０は、教示終了情報ＴＥＩＮＦを受信した場合、動作テーブルＭＴＢＬに登録された位置及び姿勢を、所定の作業に対応する動作を実行するロボット２０の先端部ＨＰの位置及び姿勢として確定する。これにより、所定の作業に対応する動作を実行するロボット２０の先端部ＨＰの位置及び姿勢を規定する動作情報が動作テーブルＭＴＢＬに記憶される。また、例えば、撮像装置４０は、教示終了情報ＴＥＩＮＦを受信した場合、端末装置３０の撮像を終了する。

【0101】

ロボットコントローラ１０は、ロボット２０に対する教示が終了した後、規定の動作をロボット２０に実行させる駆動信号ＣＴＬｏｐを、ロボット２０に出力する（Ｓ１９０）。そして、ロボット２０は、駆動信号ＣＴＬｏｐに従って、規定の動作を実行する（Ｓ２４２）。規定の動作は、動作情報により規定される位置及び姿勢に従った動作である。

【0102】

なお、ロボットシステム１の動作は、図６に示した例に限定されない。例えば、ロボット２０に対する教示を開始する操作、及び、ロボット２０に対する教示を終了する操作は、ロボットコントローラ１０の操作装置１５に対して実行されてもよい。また、例えば、動作テーブルＭＴＢＬに登録された位置及び姿勢を補正する処理は、必要に応じて実行されればよく、省略されてもよい。また、例えば、ロボットコントローラ１０は、２回目又は３回目の送信操作が行われた後に、１回目の送信操作に対応する位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦによりそれぞれ示される位置及び姿勢の補正を実行してもよい。同様に、ロボットコントローラ１０は、３回目の送信操作が行われた後に、２回目の送信操作に対応する位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦによりそれぞれ示される位置及び姿勢の補正を実行してもよい。

【0103】

また、例えば、端末装置３０は、指示情報ＴＩＮＦを撮像装置４０に送信しなくてもよい。この場合、ロボットコントローラ１０は、端末装置３０から姿勢情報ＡＰＩＮＦを取得したことを契機に、位置情報ＰＩＮＦの送信を撮像装置４０に要求してもよい。

【0104】

次に、図７を参照しながら、動作テーブルＭＴＢＬについて説明する。

【0105】

図７は、図２に示した動作テーブルＭＴＢＬの一例を示す説明図である。

【0106】

図７に示す動作テーブルＭＴＢＬは、複数の作業と１対１に対応する複数の動作の各々について、動作情報を記憶する。複数の動作の各々は、例えば、動作ＩＤにより識別される。各動作ＩＤに対応する動作情報は、当該動作ＩＤにより示される動作の教示において、ロボットコントローラ１０（より詳細には、情報取得部１２１）が取得した位置情報ＰＩＮＦの数と同じ数のレコードを有する。各レコードは、位置番号と、ロボット２０の先端部ＨＰの位置を規定する位置情報ＰＩＮＦ、ロボット２０の先端部ＨＰの姿勢を規定する姿勢情報ＡＩＮＦ、及びロボット２０の動作を示す情報を有する。本実施形態では、情報取得部１２１が位置情報ＰＩＮＦを取得した順番が位置番号として設定される。

【0107】

位置番号は、例えば、動作情報により示される複数の位置の各々を先端部ＨＰが移動する場合の移動順を示す。例えば、“ｍ００１”の動作ＩＤに対応する動作情報が有する位置番号は、先端部ＨＰが位置情報ＰＩＮＦａにより示される位置から位置情報ＰＩＮＦｂにより示される位置を経由して位置情報ＰＩＮＦｃにより示される位置に移動することを示す。

【0108】

また、例えば、“ｍ００１”の動作ＩＤに対応する動作情報は、複数の位置情報ＰＩＮＦａ、ＰＩＮＦｂ及びＰＩＮＦｃと、複数の姿勢情報ＡＩＮＦａ、ＡＩＮＦｂ及びＡＩＮＦｃとを有する。さらに、“ｍ００１”の動作ＩＤに対応する動作情報は、複数の位置情報ＰＩＮＦａ、ＰＩＮＦｂ及びＰＩＮＦｃの各々により示される位置においてロボット２０に実行させる動作を示す情報を有する。例えば、“ｍ００１”の動作ＩＤに対応する動作情報は、位置情報ＰＩＮＦａにより示される位置においてロボット２０に実行させる動作を示す情報として、物体への顔料の塗布の開始を示す情報を有する。また、“ｍ００１”の動作ＩＤに対応する動作情報は、位置情報ＰＩＮＦｂにより示される位置においてロボット２０に実行させる動作を示す情報として、物体への顔料の塗布の継続を示す情報を有する。さらに、“ｍ００１”の動作ＩＤに対応する動作情報は、位置情報ＰＩＮＦｃにより示される位置においてロボット２０に実行させる動作を示す情報として、物体への顔料の塗布の終了を示す情報を有する。

【0109】

動作テーブルＭＴＢＬは、図７に示した例に限定されない。例えば、各動作ＩＤに対応する動作情報は、位置情報ＰＩＮＦにより示される位置においてロボット２０に実行させる動作を示す情報及び位置番号の一方又は両方を有さなくてもよい。また、ロボット２０が行う作業は、物体への顔料の塗布に限定されない。

【0110】

次に、図８を参照しながら、動作テーブルＭＴＢＬに登録された位置及び姿勢の補正を行うための操作画面ＣＨＳの概要について説明する。

【0111】

図８は、操作画面ＣＨＳの一例を説明するための説明図である。なお、図８では、操作画面ＣＨＳが確認画面と補正画面との間で切り替え可能である場合を想定する。確認画面は、動作テーブルＭＴＢＬに登録された位置及び姿勢に従ってロボット２０を動作させるための操作画面ＣＨＳである。なお、確認画面では、動作テーブルＭＴＢＬに登録された位置及び姿勢の補正はできない。補正画面は、動作テーブルＭＴＢＬに登録された位置及び姿勢に従ってロボット２０を動作させ、動作テーブルＭＴＢＬに登録された位置及び姿勢を補正するための操作画面ＣＨＳである。図８では、操作画面ＣＨＳが補正画面である場合を例にして、操作画面ＣＨＳの概要を説明する。

【0112】

例えば、ロボットコントローラ１０の表示制御部１２４は、操作画面ＣＨＳを表示装置１６に表示させるための表示情報を、表示装置１６に出力する。これにより、操作画面ＣＨＳが表示装置１６に表示される。表示制御部１２４による表示情報の生成は、操作画面ＣＨＳを表示するための操作がロボットコントローラ１０に対して実行されたことを契機に実行されてもよいし、教示開始情報ＴＳＩＮＦをロボットコントローラ１０が受信したことを契機に実行されてもよい。

【0113】

操作画面ＣＨＳは、複数の表示ウィンドウＷＤ（ＷＤｓ、ＷＤｉｄ、ＷＤｐ及びＷＤｃ）を含む。表示ウィンドウＷＤｓには、現在の操作画面ＣＨＳが確認画面であるか補正画面であるかが表示される。表示ウィンドウＷＤｉｄには、実行させる動作に対応する動作ＩＤが表示される。表示ウィンドウＷＤｐには、現在の位置番号が表示される。表示ウィンドウＷＤｃには、現在の位置番号におけるロボット２０の先端部ＨＰの位置及び姿勢が表示される。例えば、図１において説明されたように、先端部ＨＰの位置は、先端部ＨＰの面ＳＦｈの中心の座標で表され、先端部ＨＰの姿勢は、回転軸Ｈｘの回転角度、回転軸Ｈｙの回転角度及び回転軸Ｈｚの回転角度を用いて表される。

【0114】

さらに、操作画面ＣＨＳには、ＧＵＩ用の複数のボタンＢＴ（ＢＴｓ、ＢＴｍ、ＢＴｃ、ＢＴｃｎ、ＢＴｄ、ＢＴｈ及びＢＴｆ）等が表示される。ボタンＢＴｓは、現在の操作画面ＣＨＳを、確認画面及び補正画面の一方から他方に切り替えるためのＧＵＩである。図８に示す例では、作業者ＵがボタンＢＴｓを選択（例えば、押下）した場合、操作画面ＣＨＳは、補正画面から確認画面に切り替わる。

【0115】

ボタンＢＴｍは、ロボット２０の動作を制御するためのＧＵＩである。例えば、「開始」のボタンＢＴｍが押下された場合、ロボットコントローラ１０の動作制御部１２３は、ロボット２０を動作テーブルＭＴＢＬに登録された位置及び姿勢に従ってロボット２０を動作させる。また、「停止」のボタンＢＴｍが押下された場合、動作制御部１２３は、ロボット２０の動作を停止する。また、例えば、「前」のボタンＢＴｍが押下された場合、動作制御部１２３は、先端部ＨＰの位置及び姿勢を、現在の位置番号から１つ前の位置番号に対応する位置及び姿勢に移動させる。また、例えば、「次」のボタンＢＴｍが押下された場合、動作制御部１２３は、先端部ＨＰの位置及び姿勢を、現在の位置番号から次の位置番号に対応する位置及び姿勢に移動させる。

【0116】

ボタンＢＴｃは、動作テーブルＭＴＢＬに登録された位置及び姿勢を補正するための補正情報の入力を受け付けるＧＵＩである。ボタンＢＴｃは、「受付部」の一例である。なお、ボタンＢＴｃ等を含む操作画面ＣＨＳが表示される表示装置１６を「受付部」として捉えてもよい。動作制御部１２３は、例えば、ボタンＢＴｃを介して受け付けた補正情報に基づいて、先端部ＨＰの位置及び姿勢の一方又は両方を移動させる。

【0117】

例えば、Ｘｗ軸に対応する「＋」及び「－」のボタンＢＴｃのうち、「＋」のボタンＢＴｃが押下された場合、動作制御部１２３は、先端部ＨＰの位置をＸｗ軸の正の方向に移動させる。また、Ｘｗ軸に対応する「＋」及び「－」のボタンＢＴｃのうち、「－」のボタンＢＴｃが押下された場合、動作制御部１２３は、先端部ＨＰの位置をＸｗ軸の負の方向に移動させる。

【0118】

また、例えば、回転軸Ｈｘに対応する「＋」及び「－」のボタンＢＴｃのうち、「＋」のボタンＢＴｃが押下された場合、動作制御部１２３は、回転軸Ｈｘの回転角度が大きくなるように、回転軸Ｈｘを軸として先端部ＨＰを回転させる。また、例えば、回転軸Ｈｘに対応する「＋」及び「－」のボタンＢＴｃのうち、「－」のボタンＢＴｃが押下された場合、動作制御部１２３は、回転軸Ｈｘの回転角度が小さくなるように、回転軸Ｈｘを軸として先端部ＨＰを回転させる。例えば、回転軸Ｈｘに沿う所定の方向から回転軸Ｈｘを見た場合、回転軸Ｈｘの回転角度は、回転軸Ｈｘを軸として先端部ＨＰを右回りに回転させることにより、大きくなり、回転軸Ｈｘを軸として先端部ＨＰを左回りに回転させることにより、小さくなる。

【0119】

ボタンＢＴｃｎは、補正情報に基づいて補正された位置及び姿勢を、動作情報により規定される先端部ＨＰの位置及び姿勢として確定せずに、取り消すためのＧＵＩである。例えば、ボタンＢＴｃｎが押下された場合、動作制御部１２３は、先端部ＨＰの位置及び姿勢を、補正前の先端部ＨＰの位置及び姿勢（現在の位置番号における先端部ＨＰの位置及び姿勢）に移動させる。

【0120】

ボタンＢＴｄは、動作テーブルＭＴＢＬに登録された位置及び姿勢を、動作情報により規定される先端部ＨＰの位置及び姿勢として確定するためのＧＵＩである。例えば、ボタンＢＴｃｎが押下された場合、情報生成部１２２は、動作テーブルＭＴＢＬに登録された位置及び姿勢を、動作情報により規定される先端部ＨＰの位置及び姿勢として確定する。

【0121】

また、ボタンＢＴｈは、作業者Ｕがロボット２０を手動で直接移動させた場合の先端部ＨＰの位置及び姿勢を示す補正情報を動作制御部１２３に取得させるためのＧＵＩである。例えば、ボタンＢＴｈが押下された場合、動作制御部１２３は、作業者Ｕがロボット２０を手動で直接移動させた場合の先端部ＨＰの位置及び姿勢を示す補正情報を取得する。そして、表示制御部１２４は、表示装置１６を制御して、補正情報により示される位置（座標）及び姿勢（回転角度）を表示ウィンドウＷＤｃに表示する。

【0122】

また、ボタンＢＴｆは、操作画面ＣＨＳの表示を終了させるためのＧＵＩである。なお、ボタンＢＴｃの押下等により補正が実行された後に、ボタンＢＴｄが押下されずに、ボタンＢＴｆが押下された場合、動作テーブルＭＴＢＬに登録された位置及び姿勢は、補正が実行される前の内容から変更されなくてもよい。あるいは、ボタンＢＴｃの押下等により補正が実行された後に、ボタンＢＴｄが押下されずに、ボタンＢＴｆが押下された場合、動作テーブルＭＴＢＬに登録された位置及び姿勢が、動作情報により規定される先端部ＨＰの位置及び姿勢として確定されてもよい。また、ボタンＢＴｃの押下等により補正が実行された後に、ボタンＢＴｄが押下されずに、ボタンＢＴｆが押下された場合、動作テーブルＭＴＢＬに登録された位置及び姿勢を変更するか否かを選択するためのＧＵＩが表示されてもよい。

【0123】

なお、操作画面ＣＨＳの例は、図８に示した例に限定されない。例えば、作業者Ｕは、目標となる先端部ＨＰの位置及び姿勢を示す数値（座標及び角度等）を表示ウィンドウＷＤｃに直接入力してもよい。この場合、表示ウィンドウＷＤｃは、「受付部」に該当する。例えば、動作制御部１２３は、表示ウィンドウＷＤｃを介して補正情報を受け付ける。そして、動作制御部１２３は、表示ウィンドウＷＤｃを介して受け付けた補正情報に基づいて、先端部ＨＰの位置及び姿勢の一方又は両方を移動させる。

【0124】

また、操作画面ＣＨＳが確認画面である場合、例えば、ボタンＢＴｃ、ＢＴｃｎ及びＢＴｄは、作業者Ｕによる操作ができないように、操作画面ＣＨＳに表示される。あるいは、操作画面ＣＨＳが確認画面である場合、ボタンＢＴｃ、ＢＴｃｎ及びＢＴｄは、操作画面ＣＨＳに表示されなくてもよい。また、ロボット２０の動作の確認は補正画面でも行えるため、確認画面及び補正画面のうちの補正画面のみに対応する操作画面ＣＨＳが採用されてもよい。

【0125】

また、図８では、ボタンＢＴｃが「受付部」の一例である場合を例示したが、ボタンＢＴｃ等と同様の機能が割り当てられた物理的なボタンが操作装置１５としてロボットコントローラ１０に設けられている場合、操作装置１５も、「受付部」の一例である。

【0126】

また、操作画面ＣＨＳは、端末装置３０が有する表示装置３６に表示されてもよい。この場合、操作画面ＣＨＳを表示装置３６に表示させるための表示情報は、ロボットコントローラ１０の表示制御部１２４により生成されてもよいし、端末装置３０の表示制御部３２８により生成されてもよい。また、例えば、ボタンＢＴｃ等と同様の機能が割り当てられた物理的なボタンが操作装置３５として端末装置３０に設けられてもよい。

【0127】

次に、図９を参照しながら、ロボットコントローラ１０の動作の概要について説明する。

【0128】

図９は、図１に示したロボットコントローラ１０の動作の一例を示すフローチャートである。なお、図９は、ロボット２０に対する教示を開始する操作を作業者Ｕが端末装置３０又はロボットコントローラ１０に対して行った場合のロボットコントローラ１０の動作の一例を示す。図６において説明された動作については、詳細な説明を省略する。図９では、ロボット２０に対する教示を開始する操作、及び、ロボット２０に対する教示を終了する操作が端末装置３０の操作装置３５に対して実行される場合を想定する。例えば、ステップＳ１２０の処理は、ロボット２０に対する教示を開始する操作が操作装置３５に対して実行された後に、実行される。また、図９では、ステップＳ１２０の処理が実行される前に、操作画面ＣＨＳが表示されている場合を想定する。

【0129】

先ず、ステップＳ１２０において、処理装置１２は、情報取得部１２１として機能し、端末装置３０の位置を示す位置情報ＰＩＮＦを撮像装置４０から取得する。

【0130】

次に、ステップＳ１２２において、処理装置１２は、情報取得部１２１として機能し、端末装置３０の姿勢を示す姿勢情報ＡＩＮＦを端末装置３０から取得する。

【0131】

次に、ステップＳ１２４において、処理装置１２は、情報生成部１２２として機能し、ステップＳ１２０において取得された位置情報ＰＩＮＦ及びステップＳ１２２において取得された姿勢情報ＡＩＮＦを動作テーブルＭＴＢＬに記憶する。

【0132】

次に、ステップＳ１３０において、処理装置１２は、動作制御部１２３として機能し、ロボット２０の動作確認が行われるか否かを判定する。ロボット２０の動作確認が行われるか否かは、ロボット２０と撮像装置４０のキャリブレーションが事前に行われているか否かによって判断しても良い。ロボット２０と撮像装置４０のキャリブレーションがなされている場合は、端末装置３０とロボット２０のキャリブレーションもなされているため、ロボット２０の動作確認は不要となる。一方、ロボット２０と撮像装置４０のキャリブレーションが事前に行われていない場合、ロボット２０の動作確認により、端末装置３０で教示した位置と、ロボット２０の移動する位置を合わせることが必要となる。また、ロボット２０の動作確認は、ロボット２０と撮像装置４０のキャリブレーション以外に、実際のロボット２０の動作を確認することで、障害物等を確認し、位置や姿勢を修正するために行っても良い。
判定の操作に関しては、例えば、動作制御部１２３は、操作画面ＣＨＳに表示されたボタンＢＴｍが押下されたか否かを判定することにより、ロボット２０の動作確認が行われるか否かを判定してもよい。この場合、動作制御部１２３は、例えば、教示終了情報ＴＥＩＮＦ、次の位置情報ＰＩＮＦ、又は、次の姿勢情報ＡＰＩＮＦ等をロボットコントローラ１０の通信装置１４が受信する前に、ボタンＢＴｍが押下された場合、ロボット２０の動作確認が行われると判定する。

【0133】

ステップＳ１３０における判定の結果が肯定の場合、処理装置１２は、処理をステップＳ１４０に進める。一方、ステップＳ１３０における判定の結果が否定の場合、処理装置１２は、処理をステップＳ１８２に進める。

【0134】

ステップＳ１４０において、処理装置１２は、動作制御部１２３として機能し、動作テーブルＭＴＢＬに登録された位置及び姿勢に基づいて、先端部ＨＰの位置及び姿勢を移動させる。そして、処理装置１２は、処理をステップＳ１５０に進める。

【0135】

ステップＳ１５０において、処理装置１２は、動作制御部１２３として機能し、動作テーブルＭＴＢＬに登録された位置及び姿勢の補正が実行されるか否かを判定する。例えば、動作制御部１２３は、操作画面ＣＨＳに表示されたボタンＢＴｃ又はＢＴｈが押下されたか否かを判定することにより、補正が実行されるか否かを判定してもよい。この場合、動作制御部１２３は、例えば、教示終了情報ＴＥＩＮＦ、次の位置情報ＰＩＮＦ、又は、次の姿勢情報ＡＰＩＮＦ等を通信装置１４が受信する前に、ボタンＢＴｃ又はＢＴｈが押下された場合、補正が実行されると判定する。あるいは、動作制御部１２３は、例えば、教示終了情報ＴＥＩＮＦ、次の位置情報ＰＩＮＦ、又は、次の姿勢情報ＡＰＩＮＦ等を通信装置１４が受信する前に、先端部ＨＰの位置等を示す数値が表示ウィンドウＷＤｃに入力された場合、補正が実行されると判定してもよい。

【0136】

ステップＳ１５０における判定の結果が肯定の場合、処理装置１２は、処理をステップＳ１６０に進める。一方、ステップＳ１５０における判定の結果が否定の場合、処理装置１２は、処理をステップＳ１８２に進める。

【0137】

ステップＳ１６０において、処理装置１２は、動作制御部１２３として機能し、動作テーブルＭＴＢＬに登録された位置及び姿勢を補正する。例えば、動作制御部１２３は、操作画面ＣＨＳに表示されたボタンＢＴｃ等を介して受け付けた補正情報に基づいて、動作テーブルＭＴＢＬに登録された位置及び姿勢を補正する。そして、処理装置１２は、処理をステップＳ１６２に進める。

【0138】

ステップＳ１６２において、処理装置１２は、情報生成部１２２として機能し、ステップＳ１６０において実行された補正の確定又は取り消しを実行する。例えば、情報生成部１２２は、ボタンＢＴｄが押下された場合、ステップＳ１６０において実行された補正を確定し、ボタンＢＴｃｎが押下された場合、ステップＳ１６０において実行された補正を取り消す。処理装置１２は、ステップＳ１６２の処理を実行した後、処理をステップＳ１８２に進める。

【0139】

ステップＳ１８２において、処理装置１２は、動作制御部１２３として機能し、ロボット２０に対する教示が終了したか否かを判定する。例えば、動作制御部１２３は、次の位置情報ＰＩＮＦ、又は、次の姿勢情報ＡＰＩＮＦ等を通信装置１４が受信する前に、教示終了情報ＴＥＩＮＦを通信装置１４が受信した場合、ロボット２０に対する教示が終了したと判定する。

【0140】

ステップＳ１８２における判定の結果が肯定の場合、処理装置１２は、処理をステップＳ１８４に進める。一方、ステップＳ１８２における判定の結果が否定の場合、処理装置１２は、処理をステップＳ１２０に戻す。

【0141】

ステップＳ１８４において、処理装置１２は、情報生成部１２２として機能し、動作テーブルＭＴＢＬに登録された位置及び姿勢を、動作情報により規定される先端部ＨＰの位置及び姿勢として確定する。これにより、先端部ＨＰの位置及び姿勢を規定する動作情報が生成される。これらの規定された位置および姿勢を順につなぐことでロボット２０の軌道情報が生成される。ロボット２０は、これらの規定された位置および姿勢になるように、順に動作することで、軌道情報にそった動作を実現する。なお、ステップ１３０～１８２の動作確認における位置及び姿勢の補正は、軌道情報を生成した後に補正しても良いし、補正した位置および姿勢から軌道情報を生成しても良い。

【0142】

なお、ロボットコントローラ１０の動作は、図９に示した例に限定されない。例えば、ステップＳ１２２の処理は、ステップＳ１２０の処理より先に実行されてもよいし、ステップＳ１２０の処理と並列に実行されてもよい。

【0143】

以上、本実施形態では、ロボットコントローラ１０は、情報取得部１２１及び情報生成部１２２を有する。情報取得部１２１は、端末装置３０の位置を示す位置情報ＰＩＮＦ、及び、端末装置３０の姿勢を示す姿勢情報ＡＩＮＦを取得する。情報生成部１２２は、情報取得部１２１が取得した位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦに基づいて、ロボット２０の先端部ＨＰの位置及び姿勢を規定する動作情報を生成する。

【0144】

このように、本実施形態では、ロボット２０の先端部ＨＰの位置及び姿勢を規定する動作情報が端末装置３０の位置及び姿勢に基づいて生成される。例えば、作業者Ｕが端末装置３０の位置及び姿勢を移動させる作業では、作業者Ｕがロボット２０を手動で直接動かす作業に比べて、作業者Ｕの体力的及び時間的な負担が軽減される。従って、本実施形態では、作業者Ｕがロボット２０を最初から手動で直接動かすことにより、ロボット２０の先端部ＨＰの位置及び姿勢を規定する動作情報を生成する教示方法に比べて、作業者Ｕの体力的及び時間的な負担が増加することを抑制することができる。

【0145】

また、本実施形態では、情報取得部１２１は、端末装置３０に対して作業者Ｕが所定の操作を行った場合に位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦを取得する。例えば、所定の操作は、位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦ等の情報をロボットコントローラ１０に送信する送信操作である。作業者Ｕは、例えば、端末装置３０の位置及び姿勢を目標の位置及び姿勢に移動させたタイミングで所定の操作を行うことにより、目標の位置を示す位置情報ＰＩＮＦ及び目標の姿勢を示す姿勢情報ＡＩＮＦを情報取得部１２１に取得させることができる。この結果、本実施形態では、目標の位置を示す位置情報ＰＩＮＦ及び目標の姿勢を示す姿勢情報ＡＩＮＦを情報取得部１２１に容易に取得させることができる。

【0146】

また、本実施形態では、位置情報ＰＩＮＦは、端末装置３０を撮像する撮像装置４０により生成される。そして、本実施形態では、情報取得部１２１は、撮像装置４０により生成された位置情報ＰＩＮＦを取得する。このように、本実施形態では、位置情報ＰＩＮＦが撮像装置４０により生成されるため、ロボットコントローラ１０が端末装置３０の位置を測定する態様に比べて、ロボットコントローラ１０の処理が煩雑になることを抑制することができる。また、ロボットコントローラ１０を含むロボットシステム１は、撮像装置４０として、物体の位置を測定する３次元カメラ等の既知のカメラを採用することができる。この結果、本実施形態では、ロボットシステム１を容易に実現することができる。

【0147】

また、本実施形態では、ロボットコントローラ１０は、情報取得部１２１が取得した位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦに基づいて、ロボット２０を動作させる動作制御部１２３をさらに有する。この結果、本実施形態では、情報取得部１２１が取得した位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦに基づくロボット２０の動作を作業者Ｕに容易に確認させることができる。この結果、本実施形態では、ロボット２０の先端部ＨＰの位置及び姿勢を規定する動作情報を生成するための作業の効率を向上させることができる。

【0148】

また、本実施形態では、動作制御部１２３は、作業者Ｕが移動させた先端部ＨＰの位置及び姿勢を示す補正情報を取得し、位置情報ＰＩＮＦにより示される位置、及び、姿勢情報ＡＩＮＦにより示される姿勢を補正情報に基づいて補正してもよい。このように、本実施形態では、情報取得部１２１が取得した位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦによりそれぞれ示される位置及び姿勢を補正情報に基づいて補正することができるため、ロボット２０の先端部ＨＰの位置及び姿勢を精度よく規定することができる。

【0149】

また、本実施形態では、位置情報ＰＩＮＦにより示される位置、及び、姿勢情報ＡＩＮＦにより示される姿勢を補正するための補正情報の入力を受け付ける受付部（例えば、ＧＵＩとして操作画面ＣＨＳに表示されるボタンＢＴｃ等）をさらに有する。作業者Ｕは、例えば、ボタンＢＴｃを押下することにより、ロボット２０の先端部ＨＰの位置及び姿勢を目標の位置及び姿勢に容易に移動させることができる。この結果、本実施形態では、作業者Ｕの負担が増加することを抑制しつつ、ロボット２０の先端部ＨＰの位置及び姿勢を精度よく規定することができる。

【0150】

また、本実施形態では、ロボットコントローラ１０は、位置情報ＰＩＮＦにより示される位置が先端部ＨＰの可動範囲内であるか否かを判定し、先端部ＨＰにより示される位置が先端部ＨＰの可動範囲内でない場合に警告する警告部１２５をさらに有する。この場合、作業者Ｕは、例えば、警告音等の警告を認識することにより、端末装置３０の位置がロボット２０の可動範囲外であることを、把握できる。例えば、作業者Ｕが、端末装置３０を移動させる作業が終了した後に、端末装置３０の移動経路がロボット２０の可動範囲外に存在することを把握した場合、端末装置３０を移動させる作業を作業者Ｕが再度行うことになる場合がある。この場合、ロボット２０の先端部ＨＰの位置及び姿勢を規定する動作情報を生成するための作業の効率は低下する。換言すれば、本実施形態では、ロボット２０の先端部ＨＰの位置及び姿勢を規定する動作情報を生成するための作業の効率を向上させることができる。

【0151】

［２．変形例］
本発明は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を併合してもよい。

【0152】

［第１変形例］
上述した実施形態では、端末装置３０に対して作業者Ｕが所定の操作を行った場合に情報取得部１２１が位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦを取得する場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、情報取得部１２１は、後述する図１０に示すように、取得期間中に、位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦを繰り返し取得してもよい。

【0153】

図１０は、第１変形例に係るロボットシステム１の動作の一例を示すシーケンスチャートである。図６において説明された動作と同様の動作については、詳細な説明を省略する。図１０に示す動作では、作業者Ｕにより開始タイミングＴ１と終了タイミングＴ２とが指定される取得期間中に、ロボットコントローラ１０（より詳細には、情報取得部１２１）が位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦを繰り返し取得する。

【0154】

図１０では、端末装置３０が有する操作装置３５に対して、作業者Ｕが、取得期間を開始する開始操作、及び、取得期間を終了する終了操作を行う場合を想定する。例えば、操作装置３５が送信ボタンを含む場合、開始操作は、送信ボタンの押下であってもよいし、終了操作は、送信ボタンの押下の解除であってもよい。この場合、送信ボタンが押下されている期間が、取得期間に対応する。また、例えば、操作装置３５が開始ボタン及び終了ボタンを含む場合、開始操作は、開始ボタンの押下であってもよいし、終了操作は、終了ボタンの押下であってもよい。

【0155】

また、図１０においても、図６と同様に、繰り返し実行される処理を互いに区別するために、ステップＳ１２０～Ｓ１２４、Ｓ３２２～Ｓ３２４、及び、Ｓ４２２～Ｓ４２４の各々の符号の末尾には、小文字のアルファベット（ａ、ｂ又はｃ）が付されている。また、位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦの各々の符号の末尾にも、小文字のアルファベット（ａ、ｂ又はｃ）が付されている。

【0156】

先ず、端末装置３０は、ロボット２０に対する教示を開始する操作を受け付けたことを契機に、教示開始情報ＴＳＩＮＦをロボットコントローラ１０及び撮像装置（検出装置）４０に送信する（Ｓ３００）。これにより、ロボットコントローラ１０及び撮像装置４０は、教示開始情報ＴＳＩＮＦを受信する（Ｓ１００及びＳ４００）。

【0157】

次に、端末装置３０は、取得期間を開始する開始操作を受け付けたことを契機に、取得期間の開始を示す開始情報ＰＳＩＮＦをロボットコントローラ１０及び撮像装置４０に送信する（Ｓ３０２）。これにより、ロボットコントローラ１０及び撮像装置４０は、開始情報ＰＳＩＮＦを受信する（Ｓ１０２及びＳ４０２）。なお、開始情報ＰＳＩＮＦは、端末装置３０からロボットコントローラ１０を介して撮像装置４０に送信されてもよい。ロボットコントローラ１０及び撮像装置４０は、開始情報ＰＳＩＮＦを受信することにより、取得期間が開始することを認識する。

【0158】

取得期間では、端末装置３０は、端末装置３０の姿勢を示す姿勢情報ＡＩＮＦを生成する処理と、生成した姿勢情報ＡＩＮＦをロボットコントローラ１０に送信する処理とを含む一連の処理を繰り返し実行する（Ｓ３２２及びＳ３２４）。また、撮像装置４０は、端末装置３０の位置を示す位置情報ＰＩＮＦを生成する処理と、生成した位置情報ＰＩＮＦをロボットコントローラ１０に送信する処理とを含む一連の処理を繰り返し実行する（Ｓ４２２及びＳ４２４）。そして、ロボットコントローラ１０は、位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦを取得する処理と、取得した位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦを動作テーブルＭＴＢＬに記憶する処理とを含む一連の処理を繰り返し実行する（Ｓ１２０、Ｓ１２２及びＳ１２４）。

【0159】

次に、端末装置３０は、取得期間を終了する終了操作を受け付けたことを契機に、取得期間の終了を示す終了情報ＰＥＩＮＦをロボットコントローラ１０及び撮像装置４０に送信する（Ｓ３２６）。これにより、ロボットコントローラ１０及び撮像装置４０は、終了情報ＰＥＩＮＦを受信する（Ｓ１２６及びＳ４２６）。なお、終了情報ＰＥＩＮＦは、端末装置３０からロボットコントローラ１０を介して撮像装置４０に送信されてもよい。ロボットコントローラ１０及び撮像装置４０は、終了情報ＰＥＩＮＦを受信することにより、取得期間が終了したことを認識する。

【0160】

ロボットコントローラ１０は、ロボット２０の先端部ＨＰの位置及び姿勢を動作テーブルＭＴＢＬに登録された位置及び姿勢にする駆動信号ＣＴＬｍをロボット２０に出力する（Ｓ１４０）。これにより、ロボット２０は、駆動信号ＣＴＬｍを受信する（Ｓ２００ａ）。そして、ロボット２０は、駆動信号ＣＴＬｍに従って、ロボット２０の先端部ＨＰの位置及び姿勢を移動する（Ｓ２０２）。

【0161】

次に、ロボットコントローラ１０は、動作テーブルＭＴＢＬに登録された位置及び姿勢を補正する（Ｓ１６０）。例えば、ロボット２０の先端部ＨＰの位置及び姿勢は、補正情報により示される位置及び姿勢に移動する（Ｓ２２０）。

【0162】

端末装置３０は、ロボット２０に対する教示を終了する操作を受け付けたことを契機に、教示終了情報ＴＥＩＮＦをロボットコントローラ１０及び撮像装置４０に送信する（Ｓ３４０）。ロボットコントローラ１０及び撮像装置４０は、教示終了情報ＴＥＩＮＦを受信する（Ｓ１８０及びＳ４４０）。ロボットコントローラ１０及び撮像装置４０は、教示終了情報ＴＥＩＮＦを受信することにより、ロボット２０に対する教示が終了したことを認識する。

【0163】

ロボットコントローラ１０は、ロボット２０に対する教示が終了した後、規定の動作をロボット２０に実行させる駆動信号ＣＴＬｏｐを、ロボット２０に出力する（Ｓ１９０）。そして、ロボット２０は、ロボットコントローラ１０から受信した駆動信号ＣＴＬｏｐに従って、規定の動作を実行する（Ｓ２４０及びＳ２４２）。

【0164】

なお、ロボットシステム１の動作は、図１０に示した例に限定されない。例えば、動作テーブルＭＴＢＬに登録された位置及び姿勢を補正する処理は、必要に応じて実行されればよく、省略されてもよい。また、取得期間中に位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦを情報取得部１２１が繰り返し取得する間隔は、所定の周期でもよい。あるいは、端末装置３０は、位置情報ＰＩＮＦを送信してから所定の距離だけ移動する度に、次の位置情報ＰＩＮＦ、及び、図６において説明された指示情報ＴＩＮＦを送信してもよい。この場合、端末装置３０の移動量は、例えば、慣性センサ３８の検出結果に基づいて算出されてもよい。

【0165】

次に、図１１を参照しながら、第１変形例に係るロボットコントローラ１０の動作の概要について説明する。

【0166】

図１１は、第１変形例に係るロボットコントローラ１０の動作の一例を示すフローチャートである。図１１に示す動作は、取得期間が終了した後に、ロボット２０の動作確認等が実行されることを除いて、図９に示した動作と同様である。図９及び図１０において説明された動作については、詳細な説明を省略する。なお、ステップＳ１０４の処理は、例えば、ロボット２０に対する教示を開始する操作が操作装置３５に対して実行された後に、実行される。

【0167】

先ず、ステップＳ１０４において、処理装置１２は、情報取得部１２１として機能し、取得期間が開始するか否かを判定する。例えば、情報取得部１２１は、ロボットコントローラ１０の通信装置１４が開始情報ＰＳＩＮＦを受信したか否かを判定することにより、取得期間が開始するか否かを判定する。この場合、情報取得部１２１は、例えば、通信装置１４が開始情報ＰＳＩＮＦを受信した場合に、取得期間が開始すると判定する。

【0168】

ステップＳ１０４における判定の結果が肯定の場合、処理装置１２は、処理をステップＳ１２０に進める。一方、ステップＳ１０４における判定の結果が否定の場合、処理装置１２は、処理をステップＳ１０４に戻す。

【0169】

ステップＳ１２０、Ｓ１２２及びＳ１２４の一連の処理は、図６に示したステップＳ１２０、Ｓ１２２及びＳ１２４の一連の処理と同様である。例えば、ステップＳ１２０、Ｓ１２２及びＳ１２４では、処理装置１２は、情報取得部１２１として機能し、位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦを取得し、取得した位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦを動作テーブルＭＴＢＬに記憶する。そして、処理装置１２は、ステップＳ１２４の処理を実行した後、処理をステップＳ１２８に進める。

【0170】

ステップＳ１２８において、処理装置１２は、情報取得部１２１として機能し、取得期間が終了したか否かを判定する。例えば、情報取得部１２１は、通信装置１４が終了情報ＰＥＩＮＦを受信したか否かを判定することにより、取得期間が終了したか否かを判定する。この場合、情報取得部１２１は、例えば、通信装置１４が終了情報ＰＥＩＮＦを受信した場合に、取得期間が終了したと判定する。

【0171】

ステップＳ１２８における判定の結果が肯定の場合、処理装置１２は、処理をステップＳ１３０に進める。一方、ステップＳ１２８における判定の結果が否定の場合、処理装置１２は、処理をステップＳ１２０に戻す。

【0172】

ステップＳ１３０からステップＳ１８４までの一連の処理は、図６に示したステップＳ１３０からステップＳ１８４までの一連の処理と同様である。例えば、ステップＳ１３０、Ｓ１４０、Ｓ１５０、Ｓ１６０及びＳ１８２では、処理装置１２は、動作制御部１２３として機能し、ステップＳ１６２及びＳ１８４では、処理装置１２は、情報生成部１２２として機能する。

【0173】

例えば、ステップＳ１３０において、動作制御部１２３は、ロボット２０の動作確認が行われるか否かを判定する。ステップＳ１３０における判定の結果が肯定の場合、動作制御部１２３は、ステップＳ１４０において、動作テーブルＭＴＢＬに登録された位置及び姿勢に基づいて先端部ＨＰの位置及び姿勢を移動させる。そして、処理装置１２は、処理をステップＳ１５０に進める。一方、ステップＳ１３０における判定の結果が否定の場合、動作制御部１２３は、ステップＳ１８２において、ロボット２０に対する教示が終了したか否かを判定する。

【0174】

ステップＳ１５０において、動作制御部１２３は、動作テーブルＭＴＢＬに登録された位置及び姿勢の補正が実行されるか否かを判定する。ステップＳ１５０における判定の結果が肯定の場合、動作制御部１２３は、ステップＳ１６０において、動作テーブルＭＴＢＬに登録された位置及び姿勢を補正する。そして、処理装置１２は、処理をステップＳ１６２に進める。一方、ステップＳ１５０における判定の結果が否定の場合、動作制御部１２３は、ステップＳ１８２において、ロボット２０に対する教示が終了したか否かを判定する。

【0175】

ステップＳ１６２において、情報生成部１２２は、ステップＳ１６０において実行された補正の確定又は取り消しを実行する。ステップＳ１６２の処理が実行された後、ステップＳ１８２において、動作制御部１２３は、ロボット２０に対する教示が終了したか否かを判定する。

【0176】

ステップＳ１８２における判定の結果が肯定の場合、処理装置１２は、処理をステップＳ１８４に進める。一方、ステップＳ１８２における判定の結果が否定の場合、処理装置１２は、処理をステップＳ１３０に戻す。

【0177】

ステップＳ１８４において、情報生成部１２２は、動作テーブルＭＴＢＬに登録された位置及び姿勢を、動作情報により規定される先端部ＨＰの位置及び姿勢として確定する。これにより、先端部ＨＰの位置及び姿勢を規定する。これらの規定された位置および姿勢を順につなぐことでロボット２０の軌道情報が生成される。ロボット２０は、これらの規定された位置および姿勢になるように、順に動作することで、軌道情報にそった動作を実現する。なお、ステップ１３０～１８２の動作確認における位置及び姿勢の補正は、軌道情報を生成した後に補正しても良いし、補正した位置および姿勢から軌道情報を生成しても良い。

【0178】

なお、ロボットコントローラ１０の動作は、図１１に示した例に限定されない。例えば、ステップＳ１２２の処理は、ステップＳ１２０の処理より先に実行されてもよいし、ステップＳ１２０の処理と並列に実行されてもよい。

【0179】

以上、本変形例においても、上述した実施形態と同様の効果を得ることができる。また、本変形例では、情報取得部１２１は、作業者Ｕにより開始タイミングＴ１と終了タイミングＴ２とが指定される取得期間中に、位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦを繰り返し取得する。このため、本変形例では、ロボット２０の動作点を多量に規定する場合においても、作業者Ｕの負担が増加することを抑制しつつ、位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦを情報取得部１２１に取得させることができる。さらに、本変形例では、ロボット２０の先端部ＨＰの位置の経路を、複数の位置情報ＰＩＮＦにより示される複数の点に基づいて定められる軌道（例えば、複数の点を補間することにより定められる軌道）として、規定することができる。この結果、本変形例では、ロボット２０の先端部ＨＰの位置及び姿勢を滑らかに移動させることができる。

【0180】

［第２変形例］
上述した実施形態及び変形例では、慣性センサ３８により、端末装置３０の傾き（姿勢）を検出し、撮像装置（検出装置）４０により端末装置３０の位置を検出していた。本変形例では、端末装置３０の慣性センサ３８により、端末装置３０の傾き（姿勢）と位置を検出するものである。従って本変形例において撮像装置４０は必ずしも必要ではない。
本変形例における慣性センサ３８は、前述したように３次元空間を表すＸｗ軸、Ｙｗ軸、及び、Ｚｗ軸の各々における端末装置３０の加速度センサと、Ｘｗ軸、Ｙｗ軸、及び、Ｚｗ軸の各々を軸として回転した場合の端末装置３０の角速度センサとを有している。端末装置３０の傾き（姿勢）は、Ｘｗ軸、Ｙｗ軸、及び、Ｚｗ軸に対する角速度センサにより計測する。一方、端末装置３０の移動距離は、端末装置３０を３次元空間上の複数の位置に順に移動する際のＸｗ軸、Ｙｗ軸、及び、Ｚｗ軸の加速度センサにより検出する。本変形例では、図９に示した第１実施形態のフローチャートのＳ１３０～Ｓ１８２で示した動作確認と同様に、端末装置３０を移動させた各位置の少なくとも１つの位置において、ロボット２０に教示する位置及び姿勢の補正を行う。これにより、前述のＸｗ軸、Ｙｗ軸、及び、Ｚｗ軸の加速度センサにより検出した端末装置３０の移動距離から、ロボット２０に対する端末装置３０の相対位置を算出することができる。
また本変形例では、図６に示した第１実施形態のシーケンスチャートにおいて、撮像装置４０が生成している位置情報ＰＩＮＦ（Ｓ４２２ａ、Ｓ４２２ｂ、Ｓ４２２ｃ）を、端末装置３０が生成しロボットコントローラ１０に送信する。これ以外は、第１実施形態と同様である。
以上、本変形例においても、上述した実施形態と同様の効果を得ることができる。また、本変形例では、端末装置３０の慣性センサ３８を使用して、端末装置３０の位置及び姿勢を検出するため、撮像装置４０を準備する必要がなくロボットシステムを簡易に準備することが可能となる。また撮像装置４０により撮像しないため、障害物等により撮像が困難な領域や姿勢を気にすることなく、端末装置３０の操作を継続することができ、操作性が非常に優れている。
また、端末装置３０を使った位置検出と、第１実施形態で示した撮像装置４０を使った位置検出を併用することも可能である。撮像装置４０を使った位置検出の場合、障害物等や端末装置３０の角度の影響で、マークＭＫを検出できない場合がある。その場合に、端末装置３０を使った位置検出に切り替えることで、検出を継続することが可能となる。この場合、撮像装置４０を使って検出した位置から、端末装置３０の慣性センサ３８を使って検出した位置までの移動距離を算出することで、端末装置３０の慣性センサ３８を使って検出した位置を特定することができる。
［第３変形例］
上述した実施形態及び変形例では、位置情報ＰＩＮＦが撮像装置（検出装置）４０により生成される場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、位置情報ＰＩＮＦは、端末装置３０により生成されてもよい。この場合、情報取得部１２１は、端末装置３０により生成された位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦを取得する。

【0181】

図１２は、第３変形例に係るロボットシステム１Ａの概要を説明するための説明図である。図１から図１１において説明された要素と同様の要素については、同一の符号が付され、詳細な説明は省略される。

【0182】

ロボットシステム１Ａは、図１に示したロボットシステム１から撮像装置４０が省かれ、マークＭＫ１及びＭＫ２が端末装置３０に設けられる代わりに、複数のマークＭＫ３（ＭＫ３ａ、ＭＫ３ｂ及びＭＫ３ｃ）がロボット２０に設けられることを除いて、ロボットシステム１と同様である。また、本変形例では、説明の便宜上、撮像座標系ΣＣの代わりに、端末装置３０に固定された移動体座標系ΣＭを導入する。

【0183】

移動体座標系ΣＭは、端末装置３０の所定の位置に原点を有し、互いに直交するＸｍ軸、Ｙｍ軸、及び、Ｚｍ軸を有する３軸の直交座標系である。本変形例では、移動体座標系ΣＭが有するＸｍ軸、Ｙｍ軸、及び、Ｚｍ軸が、図１において説明されたＸｍ軸、Ｙｍ軸、及び、Ｚｍ軸である場合を想定する。また、本変形例では、Ｚｍ軸が、端末装置３０が有する撮像装置３９の光軸（より詳細には、撮像装置３９が有する光学系の光軸）と平行である場合を想定する。

【0184】

また、ワールド座標系ΣＷにおけるマークＭＫ３ａ、ＭＫ３ｂ及びＭＫ３ｃの各々の位置が既知である場合を想定する。すなわち、マークＭＫ３ａ、ＭＫ３ｂ及びＭＫ３ｃの互いの位置関係（マークＭＫ３の姿勢に相当）も既知である。なお、マークＭＫ３は、ロボット２０（図１２に示す例では、土台部ＢＳＰ）に設けられてもよいし、ロボット２０の近傍に設けられてもよい。

【0185】

端末装置３０の構成は、図４及び図５に示した端末装置３０の構成と同様である。なお、端末装置３０が有する撮像装置３９は、ロボット２０の所定の位置（例えば、位置Ｏｐ）との相対的な位置関係が既知である位置に配置されたマークＭＫ３（ＭＫ３ａ、ＭＫ３ｂ及びＭＫ３ｃ）を撮像する。そして、端末装置３０は、撮像装置３９が撮像したマークＭＫ３の画像を用いて、所定の位置に対する端末装置３０の位置を算出し、算出した位置を示す情報を位置情報ＰＩＮＦとして生成する。

【0186】

以下では、撮像装置３９が撮像したマークＭＫ３の画像を用いて、端末装置３０の位置を算出する方法の一例を説明するが、端末装置３０の位置を算出する方法は、以下の例に限定されない。

【0187】

例えば、撮像装置３９が有する光学系を起点とし、マークＭＫ３ａを終点とするベクトルをＶａとする。また、撮像装置３９が有する光学系を起点とし、マークＭＫ３ｂを終点とするベクトルをＶｂとする。そして、撮像装置３９が有する光学系を起点とし、マークＭＫ３ｃを終点とするベクトルをＶｃとする。

【0188】

また、マークＭＫ３ａを起点とし、マークＭＫ３ｂを終点とするベクトルをＶａｂとする。マークＭＫ３ａを起点とし、マークＭＫ３ｃを終点とするベクトルをＶａｃとする。そして、マークＭＫ３ｂを起点とし、マークＭＫ３ｃを終点とするベクトルをＶｂｃとする。この場合、ベクトルＶａ、Ｖｂ、Ｖｃ、Ｖａｂ、Ｖａｃ及びＶｂｃは、下記の式（１）、式（２）及び式（３）の関係を満たす。
｜Ｖａ－Ｖｂ｜＝｜Ｖａｂ｜ ・・・（１）
｜Ｖａ－Ｖｃ｜＝｜Ｖａｃ｜ ・・・（２）
｜Ｖｂ－Ｖｃ｜＝｜Ｖｂｃ｜ ・・・（３）

【0189】

なお、ベクトルＶａｂ、Ｖａｃ及びＶｂｃの各々の長さ（｜Ｖａｂ｜、｜Ｖａｃ｜及び｜Ｖｂｃ｜）は、ワールド座標系ΣＷにおけるマークＭＫ３ａ、ＭＫ３ｂ及びＭＫ３ｃの各々の位置が既知であるため、既知である。

【0190】

例えば、端末装置３０が有する処理装置３２は、マークＭＫ３ａ、ＭＫ３ｂ及びＭＫ３ｃを撮像した画像から、ベクトルＶａ、Ｖｂ及びＶｃの各々の方向を示す情報（例えば、画像上の各マークＭＫ３の位置を示す２次元の情報）を取得する。そして、処理装置３２は、ベクトルＶａ、Ｖｂ及びＶｃの各々の長さを、上記の式（１）、式（２）及び式（３）と、ベクトルＶａ、Ｖｂ及びＶｃの各々の方向を示す情報と、焦点距離とに基づいて算出する。なお、焦点距離は、撮像装置３９が有する光学系の焦点距離であり、既知の情報である。

【0191】

また、処理装置３２は、ベクトルＶａ、Ｖｂ及びＶｃの各々の方向を示す情報と、ベクトルＶａ、Ｖｂ及びＶｃの各々の長さを示す情報とに基づいて、移動体座標系ΣＭにおけるマークＭＫ３ａ、ＭＫ３ｂ及びＭＫ３ｃの各々の位置を算出する。また、処理装置３２は、ワールド座標系ΣＷにおけるマークＭＫ３ａ、ＭＫ３ｂ及びＭＫ３ｃの各々の位置と移動体座標系ΣＭにおけるマークＭＫ３ａ、ＭＫ３ｂ及びＭＫ３ｃの各々の位置とに基づいて、ワールド座標系ΣＷにおける端末装置３０の位置を算出する。そして、処理装置３２は、ワールド座標系ΣＷにおける端末装置３０の位置を示す位置情報ＰＩＮＦをロボットコントローラ１０に送信する。

【0192】

なお、上述のワールド座標系ΣＷにおける端末装置３０の位置を算出する処理は、姿勢検出部３２４により実行されてもよいし、姿勢検出部３２４とは別の機能ブロックにより実行されてもよい。例えば、処理装置３２は、姿勢検出部３２４とは別に、ワールド座標系ΣＷにおける端末装置３０の位置を算出する処理を実行する機能ブロックとして機能してもよい。

【0193】

また、姿勢検出部３２４は、慣性センサ３８の検出結果の代わりに、移動体座標系ΣＭにおけるマークＭＫ３ａ、ＭＫ３ｂ及びＭＫ３ｃの各々の位置を用いて、端末装置３０の姿勢を検出してもよい。例えば、姿勢検出部３２４は、ワールド座標系ΣＷにおけるマークＭＫ３ａ、ＭＫ３ｂ及びＭＫ３ｃの各々の位置と移動体座標系ΣＭにおけるマークＭＫ３ａ、ＭＫ３ｂ及びＭＫ３ｃの各々の位置とに基づいて、端末装置３０の姿勢を検出してもよい。この場合、端末装置３０は、慣性センサ３８を有さなくてもよい。

【0194】

このように、本変形例では、位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦが端末装置３０により生成される。そして、ロボットコントローラ１０の情報取得部１２１は、端末装置３０により生成された位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦを取得する。

【0195】

なお、本変形例におけるロボットシステム１Ａの構成は、図１２に示した例に限定されない。例えば、マークＭＫ３は、ＱＲコード（登録商標）であってもよい。また、ＬＥＤ等の発光素子がマークＭＫ３として採用されてもよい。また、例えば、撮像装置３９が３次元カメラである場合、マークＭＫ３の数は１つでもよい。

【0196】

以上、本変形例においても、上述した実施形態及び変形例と同様の効果を得ることができる。また、本変形例では、端末装置３０は、ロボット２０の所定の位置との相対的な位置関係が既知である位置に配置されたマークＭＫ３を撮像する撮像装置３９を有する。そして、端末装置３０は、撮像装置３９が撮像したマークＭＫ３の画像を用いて、所定の位置に対する端末装置３０の位置を算出し、算出した位置を示す情報を位置情報ＰＩＮＦとして生成する。ロボットコントローラ１０の情報取得部１２１は、端末装置３０により生成された位置情報ＰＩＮＦを取得する。すなわち、本変形例では、端末装置３０とは別に撮像装置４０を配置する必要がないため、ロボットシステム１Ａを設置するためのスペースが大きくなること、及び、ロボットシステム１Ａが有するロボット２０等の装置の配置が煩雑になることを抑制することができる

【0197】

［第４変形例］
上述した第３変形例では、端末装置３０の位置及び姿勢が端末装置３０により特定される場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、端末装置３０の位置及び姿勢の一方又は両方は、ロボットコントローラ１０により特定されてもよい。この場合、ロボットコントローラ１０の情報取得部１２１は、例えば、撮像装置３９が撮像したマークＭＫ３ａ、ＭＫ３ｂ及びＭＫ３ｃの画像を示す画像情報と、撮像装置３９の焦点距離を示す情報とを、端末装置３０から取得する。そして、例えば、ロボットコントローラ１０の情報生成部１２２は、第３変形例において説明された方法（撮像装置３９が撮像したマークＭＫ３の画像を用いて、端末装置３０の位置を算出する方法）と同様の方法により、端末装置３０の位置等を特定する。

【0198】

マークＭＫ３ａ、ＭＫ３ｂ及びＭＫ３ｃの画像を示す画像情報から端末装置３０の位置をロボットコントローラ１０が特定する場合、当該画像情報は「位置情報」に該当する。同様に、マークＭＫ３ａ、ＭＫ３ｂ及びＭＫ３ｃの画像を示す画像情報から端末装置３０の姿勢をロボットコントローラ１０が特定する場合、当該画像情報は、「姿勢情報」に該当する。本変形例においても、上述した第３変形例と同様の効果を得ることができる。

【0199】

［第５変形例］
上述した実施形態及び第１変形例では、姿勢情報ＡＩＮＦが端末装置３０により生成される場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、姿勢情報ＡＩＮＦは、撮像装置（検出装置）４０が撮像したマークＭＫ１及びＭＫ２の画像に基づいて、撮像装置４０により生成されてもよい。この場合、情報取得部１２１は、撮像装置４０により生成された位置情報ＰＩＮＦ及び姿勢情報ＡＩＮＦを取得する。あるいは、第４変形例と同様に、端末装置３０の位置及び姿勢の一方又は両方は、ロボットコントローラ１０により特定されてもよい。この場合、ロボットコントローラ１０の情報取得部１２１は、例えば、撮像装置４０が撮像したマークＭＫ１及びＭＫ２の画像を示す画像情報と、撮像装置４０の焦点距離を示す情報とを、撮像装置４０から取得する。本変形例においても、上述した実施形態及び第１変形例と同様の効果を得ることができる。

【0200】

［第６変形例］
上述した実施形態及び変形例では、端末装置３０等の可搬型の情報処理装置が「移動体」として採用される場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、マークＭＫ１及びＭＫ２が設けられ、作業者Ｕにより移動可能であれば、情報処理装置以外の物体が、「移動体」として採用されてもよい。情報処理装置以外の物体が「移動体」として採用される場合、例えば、ロボットシステム１は、送信操作を受け付けたことを契機に、位置情報ＰＩＮＦの送信を指示する指示情報ＴＩＮＦ等を撮像装置（検出装置）４０に送信する送信指示装置をさらに有する。例えば、作業者Ｕは、両手の一方で、マークＭＫ１及びＭＫ２が設けられた物体を把持し、両手の他方で送信指示装置を操作する。物体の姿勢及び位置は、撮像装置４０が撮像したマークＭＫ１及びＭＫ２の画像に基づいて、特定される。物体の姿勢及び位置の特定は、撮像装置４０により実行されてもよいし、ロボットコントローラ１０により実行されてもよい。本変形例においても、上述した実施形態及び変形例と同様の効果を得ることができる。
［第７変形例］
上述した実施形態及び変形例では、ロボット２０の先端部ＨＰの位置及び姿勢を規定する動作情報が生成される場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、動作情報は、ロボット２０の先端部ＨＰの位置及び姿勢のうち、位置のみを規定する情報であってもよい。この場合、例えば、情報取得部１２１は、端末装置３０の位置を示す位置情報ＰＩＮＦを取得する。また、情報生成部１２２は、情報取得部１２１が取得した位置情報ＰＩＮＦに基づいて、ロボット２０の先端部ＨＰの位置を規定する動作情報を生成する。本変形例においても、上述した実施形態及び変形例と同様の効果を得ることができる。
なお、上述した実施形態及び変形例における移動体３０を保有する作業者Ｕは、本体のロボット２０から所定の距離だけシフトした位置でティーチングを行っても構わない。その場合、所定の距離だけ移動体３０の位置情報をオフセットすることにより、ティーチングを完結することが出来る。このようにすることにより、ロボット２０本体に邪魔されることなくティーチングできると共に、より複雑なティーチングを行うことが出来る。例えば作業者Ｕの手首に移動体３０をつけ、所定時間の間隔でティーチングを自動的に行うことで、実際の作業中にティーチングを行うことができ、「ティーチング」という、わざわざ別の作業が不要になる効果も得られる。また、ダンサーなどあらゆる激しく細かい動きをする人の動作をティーチングすることも可能になる。

【符号の説明】

【0201】

１、１Ａ…ロボットシステム、１０…ロボットコントローラ、１２…処理装置、１３…メモリ、１４…通信装置、１５…操作装置、１６…表示装置、１７…ドライバ回路、２０…ロボット、３０…端末装置、３２…処理装置、３３…メモリ、３４…通信装置、３５…操作装置、３６…表示装置、３７…スピーカ、３８…慣性センサ、３９…撮像装置、４０…撮像装置（検出装置）、１２０…ロボット制御部、１２１…情報取得部、１２２…情報生成部、１２３…動作制御部、１２４…表示制御部、１２５…警告部、３２０…端末制御部、３２２…操作通知部、３２４…姿勢検出部、３２６…警告制御部、３２８…表示制御部、ＡＩＮＦ…姿勢情報、ＣＨＳ…操作画面、ＨＰ…先端部、ＭＴＢＬ…動作テーブル、ＰＩＮＦ…位置情報。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】