特許 7359577 ロボット教示装置及びロボットシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-02

(45)【発行日】2023-10-11

(54)【発明の名称】ロボット教示装置及びロボットシステム

(51)【国際特許分類】

   B25J 9/22 20060101AFI20231003BHJP

   G05B 19/42 20060101ALI20231003BHJP

【ＦＩ】

B25J9/22 A

G05B19/42 H

【請求項の数】 5

(21)【出願番号】P 2019115464

(22)【出願日】2019-06-21

(65)【公開番号】P2021000694

(43)【公開日】2021-01-07

【審査請求日】2022-03-17

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100112357

【弁理士】

【氏名又は名称】廣瀬 繁樹

(74)【代理人】

【識別番号】100169856

【弁理士】

【氏名又は名称】尾山 栄啓

(72)【発明者】

【氏名】長野 恵典

【審査官】稲垣 浩司

(56)【参考文献】

【文献】特開２０１８－１５８６３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ － ２１／０２

Ｇ０５Ｂ １９／４２

(57)【特許請求の範囲】

【請求項1】

ロボットを教示するロボット教示装置であって、
撮像対象の距離情報を表す距離画像、又は、前記撮像対象の２次元画像を動画として取得する画像取得装置と、
前記動画を用いて、前記動画内に前記撮像対象として写されたオペレータの手の移動軌跡を検出する軌跡検出部と、
検出された前記移動軌跡が直線移動を表すか又は回転移動を表すかを識別する識別部と、
前記移動軌跡が直線移動を表すと識別された場合には前記ロボットの所定の可動部位を前記移動軌跡に基づいて並進移動させ、前記移動軌跡が回転移動を表すと識別された場合には前記ロボットの前記所定の可動部位を前記移動軌跡に基づいて回転移動させる指令を出力する指令生成部と、
を備え、
前記軌跡検出部は、前記動画内で前記オペレータの手が所定の姿勢にあることに基づいて前記移動軌跡を検出する、
ロボット教示装置。

【請求項2】

前記軌跡検出部は、前記ロボットと前記画像取得装置との相対位置関係を表す情報に基づいて、ロボット座標系における座標値として前記移動軌跡を検出し、
前記指令生成部は、前記識別部により前記移動軌跡が直線移動を表すと識別された場合に、前記所定の可動部位を、前記移動軌跡と平行に移動させるように前記指令を生成する、請求項１に記載のロボット教示装置。

【請求項3】

前記軌跡検出部は、前記動画に基づいて手の平の向きを更に検出し、
前記指令生成部は、検出された前記手の平の向きに応じて前記所定の可動部位を並進移動させる場合の移動方向を設定する、請求項１又は２に記載のロボット教示装置。

【請求項4】

前記識別部は、前記移動軌跡が回転移動を表すと識別された場合に、ロボット座標系における座標値として前記手の回転移動の回転軸を更に検出し、
前記指令生成部は、検出された前記手の回転移動の回転軸と平行となるように、前記所定の可動部位を回転移動させる場合の回転軸を設定する、請求項１から３のいずれか一項に記載のロボット教示装置。

【請求項5】

ロボットと、
前記ロボットを制御するロボット制御装置と、
請求項１から４のいずれか一項に記載のロボット教示装置と、を備え、
前記ロボット制御装置は、前記ロボット教示装置の前記指令生成部により出力された前記指令に基づいて前記ロボットを制御する、ロボットシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はロボット教示装置及びロボットシステムに関する。

【背景技術】

【0002】

産業用ロボットを用いたシステムを利用して各種作業を実行する場合、ロボットが意図した動作を行うように、ロボットを教示する必要がある。産業用ロボットの教示装置は、いわゆるジョグ操作が可能な操作キーや操作画面を有するのが一般的である。

【0003】

一方、教示装置の他の例として、特許文献１は、「作業者の手指及び作業対象物が写っている画像を取得する画像入力装置と、画像入力装置により取得された画像から作業者の手指の動作を検知する手指動作検知部と、手指動作検知部により検知された手指の動作から、作業対象物に対する作業者の作業内容を推定する作業内容推定部とを設け、制御プログラム作成部が、作業内容推定部により推定された作業内容を再現するロボットの制御プログラムを作成するようにしたロボット教示装置」を記載する（段落０００６）。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１７／１３０３８９号

【発明の概要】

【発明が解決しようとする課題】

【0005】

教示装置を用いた産業用ロボットの教示では、教示装置のジョグ操作キーの操作や、教示装置の画面へのタッチ・スライド操作による教示手法が多用されている。しかしながら、ジョグ操作キーの操作による教示では、指示の自由度がジョグ操作キーの数により制限を受け、また、画面のタッチ・スライド操作による教示では、指示の自由度が２次元平面に制限される。よりいっそう高い自由度が有り且つ直感的な操作でロボットの教示を行うことのできるロボット教示装置及びロボットシステムが求められている。

【課題を解決するための手段】

【0006】

本開示の一態様は、ロボットを教示するロボット教示装置であって、撮像対象の距離情報を表す距離画像、又は、前記撮像対象の２次元画像を動画として取得する画像取得装置と、前記動画を用いて、前記動画内に前記撮像対象として写されたオペレータの手の移動軌跡を検出する軌跡検出部と、検出された前記移動軌跡が直線移動を表すか又は回転移動を表すかを識別する識別部と、前記移動軌跡が直線移動を表すと識別された場合には前記ロボットの所定の可動部位を前記移動軌跡に基づいて並進移動させ、前記移動軌跡が回転移動を表すと識別された場合には前記ロボットの前記所定の可動部位を前記移動軌跡に基づいて回転移動させる指令を出力する指令生成部と、を備え、前記軌跡検出部は、前記動画内で前記オペレータの手が所定の姿勢にあることに基づいて前記移動軌跡を検出する、ロボット教示装置である。

【0007】

本開示のもう一つの態様は、ロボットと、前記ロボットを制御するロボット制御装置と、上記ロボット教示装置と、を備え、前記ロボット制御装置は、前記ロボット教示装置の前記指令生成部により出力された前記指令に基づいて前記ロボットを制御する、ロボットシステムである。

【発明の効果】

【0008】

上記構成によれば、よりいっそう高い自由度が有り且つ直感的な操作でロボットの教示を行うことが可能となる。

【0009】

添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれらの目的、特徴および利点ならびに他の目的、特徴および利点がさらに明確になるであろう。

【図面の簡単な説明】

【0010】

【図1】一実施形態に係るロボット教示装置を含むロボットシステムの全体構成を表す図である。

【図2】ロボット教示装置が有する機能を表す機能ブロック図である。

【図3】ロボット教示装置が教示操作盤として構成されている場合の、ロボット教示装置の前面の構成例を示す図である。

【図4】直線移動を表現するジェスチャ入力がなされている状態を示す模式図である。

【図5】回転移動を表現するジェスチャ入力が成されている状態を示す模式図である。

【図6】ジェスチャ教示処理を表すフローチャートである。

【図7】手の平向き認識処理を表すフローチャートである。

【図8】手の平向き認識処理により指先の位置が認識された状態を示す模式図である。

【図9】２次元画像を用いて手の３次元位置情報を取得する場合の、撮像面、レンズ、基準面、及び手の配置関係を表す模式図である。

【発明を実施するための形態】

【0011】

次に、本開示の実施形態について図面を参照して説明する。参照する図面において、同様の構成部分または機能部分には同様の参照符号が付けられている。理解を容易にするために、これらの図面は縮尺を適宜変更している。また、図面に示される形態は本発明を実施するための一つの例であり、本発明は図示された形態に限定されるものではない。

【0012】

図１は一実施形態に係るロボット教示装置３０を含むロボットシステム１００の全体構成を表す図である。図２は、ロボット教示装置３０が有する機能を表す機能ブロック図である。図１に示すように、ロボットシステム１００は、ロボット１０と、ロボット１０を制御するロボット制御装置２０と、ロボット１０の教示を行うためのロボット教示装置３０とを備える。ロボット１０は、例えば、垂直多関節ロボットであるが、他の種類のロボットが用いられても良い。ロボット制御装置２０は、ロボット１０の各軸のモータを制御することでロボット１０の動作を制御する。ロボット制御装置２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置、表示部、操作部、通信部等を有する一般的なコンピュータとしての構成を有していても良い。

【0013】

ロボット教示装置３０は、例えば、教示操作盤、或いはタブレット端末型の教示装置であり、ハードウェア構成要素としてＣＰＵ３１、ＲＯＭ、ＲＡＭ等のメモリ３２、通信インタフェース３３等を有する一般的なコンピュータとしての構成を有する。ロボット教示装置３０は、通信インタフェース３３を介してロボット制御装置２０に接続される。また、ロボット教示装置３０は、教示を行うためのユーザインタフェースとして、各種操作キーを含む操作部３５と、表示部３６とを備える（図３参照）。本実施形態に係るロボット教示装置３０は、更に、ジェスチャ入力を行うオペレータの手を撮像するための画像取得装置３４を有する。

【0014】

画像取得装置３４は、撮像対象の空間位置に依存する距離情報を表す距離画像を動画として取得する距離画像カメラ、或いは、撮像対象の２次元画像を動画として取得するカメラである。一例として、距離画像カメラとしての画像取得装置３４は、光源と、パターン光を投影するプロジェクタと、プロジェクタを挟んでプロジェクタの両側に配置された２つのカメラとを有し、パターン光が投影された対象物を、異なる位置に配置された２つのカメラから撮像してステレオ法により対象物の３次元位置情報を取得する構成であっても良い。或いは、距離画像カメラとしての画像取得装置３４は、光源と、撮像素子とを有し、対象物に光が当たって戻ってくるまでの時間を測定するTOF(Time of Flight)方式のカメラであっても良い。或いは、距離画像カメラとしての画像取得装置３４は、ステレオカメラであって、２つのカメラにより撮像された画像の各々において対象物の位置を画像認識により認識した上で、ステレオ法により対象物の３次元位置情報を取得する構成であっても良い。なお、距離画像カメラとして他のタイプの装置が用いられても良い。図１－３に示した構成例では、画像取得装置３４は、ロボット教示装置３０に内蔵されるタイプの装置として構成されているが、画像取得装置３４はロボット教示装置３０に有線或いは無線で接続される外部装置として構成されていても良い。

【0015】

図３は、ロボット教示装置３０が教示操作盤として構成されている場合の、ロボット教示装置３０の前面の構成例を示している。図３に示すように、画像取得装置３４は、ロボット教示装置３０における、操作部３５及び表示部３６が配置された前面に配置されており、前面側から撮像対象を撮像する。この構成において、オペレータは、片方の手でロボット教示装置３０を持ち、もう片方の手を動かしてジェスチャ入力を行うことができる。以下で、詳細に説明するように、ロボット教示装置３０は、オペレータの手の動きが直線移動である場合には、ロボット１０の所定の可動部位を並進移動させ（図４参照）、オペレータの手の動きが回転移動の場合には、ロボット１０の所定の可動部位を回転移動させる（図５）。以下では、一例として、所定の可動部位は、ロボット１０のアーム先端１１であるものとする。

【0016】

図２に示すように、ロボット教示装置３０は、画像取得装置３４に加えて、軌跡検出部３１１と、識別部３１２と、指令生成部３１３とを備える。これらの機能は、例えば、ＣＰＵ３１がメモリ３２内に記憶されたソフトウェアを実行することによって実現される。軌跡検出部３１１は、画像取得装置３４により取得された動画を用いて、動画内に撮像対象として写されたオペレータの手の移動軌跡を検出する。識別部３１２は、検出された手の移動軌跡が直線移動を表すか回転移動を表すかを識別する。指令生成部３１３は、移動軌跡が直線移動を表すと識別された場合にはロボット１０のアーム先端１１を移動軌跡に基づいて並進移動させる指令を生成し（図４参照）、移動軌跡が回転移動を表すと識別された場合にはロボット１０のアーム先端１１を移動軌跡に基づいて回転移動させる指令を出力する（図５参照）。ロボット制御装置２０は、ロボット教示装置３０からの指令に応じてロボット１０を制御する。

【0017】

図６は、ジェスチャによる教示処理（以下、ジェスチャ教示処理と記す）を表すフローチャートである。図６のジェスチャ教示処理は、例えば、ロボット教示装置３０に対し操作部３５を介して所定の操作がなされることで起動される。ジェスチャ教示処理は、ロボット教示装置３０のＣＰＵ３１による制御の下で実行される。ジェスチャ教示処理が開始されると、画像取得装置３４による撮像が行われる。ジェスチャ入力を行うに際し、オペレータは、画像取得装置３４による映像にオペレータの手の部分のみが映り、顔などの他の部位が映り込まないように配慮して操作を行うものとする。

【0018】

はじめに、ロボット教示装置３０（軌跡検出部３１１）は、画像取得装置３４が取得する動画の個々のフレームにおいて手の認識を行う（ステップＳ１１）。画像取得装置３４が、距離画像カメラである場合、２次元カメラである場合のそれぞれについてフレーム単位での手の認識について説明する。
（ステップＳ１１：距離画像カメラである場合）
距離画像カメラで撮像された各フレームの画像では、撮像対象までの距離が例えば濃淡度として表されている。オペレータの手は、距離画像内において一定の距離範囲に一つの塊として集まった画素（すなわち、隣接する画素間で距離があまり変わらない画素の集合）と考えることができる。したがって、距離画像において一定の距離範囲にある画素をラベリングすることで、ラベリングされた画素の集合を、手と認識することができる。なお、オペレータが画像取得装置３４からある一定の距離の位置（例えば概ね１５ｃｍ）で手を動かすとの条件の下で、この手法による画像認識を行うことで、認識の精度を高めることができる。

【0019】

（ステップＳ１１：２次元カメラである場合）
画像取得装置３４が２次元画像の動画を取得するカメラである場合には、軌跡検出部３１１は、以下の手法のいずれかにより手の認識を行うことができる。
（Ａ１）画像中で肌色の画素をグルーピングして手と認識する。この場合、画像の色情報をＲＧＢから例えばＨＳＶ（色相、色彩、明度）に変換して肌色領域を抽出することで、精度よく肌色領域を抽出することができる。
（Ａ２）ディープラーニングによる手法により画像認識を行う。一例として、畳み込みニューラルネットワークに予め多数の手の画像を学習させておき、各フレームの画像における手の認識を行う。この場合、例えば、オペレータが手をパーの姿勢としてジェスチャ入力を行うという条件の下で、トレーニングデータとして多数の人のパーの姿勢の手の画像を準備して学習するようにしても良い。
（Ａ３）テンプレートマッチングにより手の認識を行う。この場合、オペレータは所定の姿勢（例えば、パーの姿勢）でジェスチャ入力を行うという条件の下で、テンプレートマッチングを行うようにしても良い。
なお、ステップＳ１１における手の平の向きの認識については後述する。

【0020】

このように個々のフレームついて手の認識が行われると、次に、軌跡検出部３１１は、フレーム間での手の動きをトラッキングし、手の軌跡を取得する（ステップＳ１２）。ステップＳ１２において、軌跡検出部３１１は、個々のフレームについて認識した手の重心を求める。ここでは、ステップＳ１１において認識された手の２次元的な位置情報に基づいて手の幾何学的な重心を求める各種手法を用いることができる。軌跡検出部３１１は、求められた各フレームにおける手の重心の位置を連結することで、手の移動軌跡を得る。画像取得装置３４が、距離画像カメラである場合、２次元カメラである場合のそれぞれについて手の移動軌跡の取得について説明する。

【0021】

（Ｓ１２：距離画像カメラである場合）
距離画像を用いた場合、ステップＳ１１により認識された手の領域の画素は距離情報を有するので、手の重心の３次元位置を得ることは可能である。よって、この場合、軌跡検出部３１１は、個々のフレームについて認識した手の重心を連結することで、手の移動軌跡の３次元位置情報を得る。

【0022】

（Ｓ１２：２次元カメラである場合）
各フレームの２次元画像において認識された手の重心の位置を連結することで、手の移動軌跡の２次元的な情報を得ることができる。２次元カメラを用いて手の移動軌跡の３次元的な情報を得るために、一例として以下のような条件の下でジェスチャ入力を行う。
（ｒ１）オペレータは、ロボット教示装置３０をロボット座標系における既知の位置で、画像取得装置３４のレンズ３４ｂの光軸をロボット座標系のＸ軸に概ね一致させる姿勢で保持する。
（ｒ２）オペレータは、ロボット教示装置３０から所定の距離の位置（例えば１５ｃｍ程度）にある光軸と垂直な基準面Ｓ₀（すなあち、画像取得装置３４に対してＸ軸方向における位置が同一となる平面）を、ジェスチャ入力開始時に手を配置する基準となる平面であることを意識するようにする。
図９は、上記条件（ｒ１）及び（ｒ２）の下での、画像取得装置３４の撮像素子の撮像面３４ａ、レンズ３４ｂ、及び基準面Ｓ₀の位置関係を表している。上記条件（ｒ１）及び（ｒ２）から、ロボット座標系のＸ軸方向における、撮像面３４ａ及び基準面Ｓ₀それぞれの位置Ｐ₀、Ｐ₁は既知である。この配置関係において手を基準面Ｓ₀の位置に置いた場合における撮像面３４ａでの手の像の大きさ（像倍率）を記憶しておく。ジェスチャ動作に伴ってオペレータの手が基準面Ｓ₀に対してＸ軸方向に移動して撮像面３４ａにおける手の像の大きさが変わった場合には、手が基準面Ｓ₀にある場合の手の像の大きさとの比較を行うことで、レンズ３４ｂの焦点距離及びレンズの結像式に基づいてＸ軸方向の手の位置（Ｐ₂）を求めることができる。以上により、２次元カメラの場合において手の移動軌跡の３次元位置情報を得ることができる。

【0023】

以上により得られる手の移動軌跡の３次元位置は画像取得装置３４に固定された座標系（以下、カメラ座標系と記す）での位置情報であるので、軌跡検出部３１１は、ロボット１０と画像取得装置３４（ロボット座標系とカメラ座標系）との相対位置関係を表す情報に基づいて、移動軌跡の座標値をロボット座標系における座標値に変換する。ロボット１０と画像取得装置３４との相対位置関係を表す情報は以下のような手法により得るようにしても良い。例えば、オペレータがロボット教示装置３０をロボット座標系における既知の位置・姿勢（例えば、ロボット座標系における既知の位置で、画像取得装置３４のレンズの光軸をロボット座標系のＸ軸に概ね一致させる姿勢）で保持してジェスチャ入力を行うという条件の下であれば、移動軌跡の座標値をカメラ座標系からロボット座標系へ変換することができる。或いは、位置・姿勢を検出するためのセンサ（ジャイロセンサ、加速度センサ等）をロボット教示装置３０に搭載しても良い。この場合、例えばロボット教示装置３０の起動時にロボット座標系とカメラ座標系との相対位置関係をキャリブレーションしておき、上記センサによりロボット座標系におけるロボット教示装置３０の位置・姿勢を常時算出するようにする。ロボット座標系とカメラ座標系との相対位置関係を求める他の手法が用いられても良い。

【0024】

次に、ロボット教示装置３０（識別部３１２）は、ステップＳ１２で求められた手の移動軌跡を用いて、手の移動軌跡が直線移動を表すか回転移動を表すかを識別する（ステップＳ１３）。ここでの識別は、一例として、手の移動軌跡の２次元的な位置情報（例えば、移動軌跡をある平面に投影した場合の位置情報）を用いて行うこととする。手の移動軌跡が直線移動であるかの識別には、ハフ変換を用いる。具体的には、ステップＳ１２で得られた移動軌跡が直線であるか否かを以下の手順で判定する。
（Ｅ１）手の移動軌跡を表す（ｘ，ｙ）平面上の各点（ｘ₀，ｙ₀）に対して、その点を通る直線全体の集合を、ｒ＝ｘ₀ｃｏｓθ＋ｙ₀ｓｉｎθの関係を用いて（ｒ，θ）平面に描画する。
（Ｅ２）（ｒ，θ）平面において複数の曲線が交差する点は、（ｘ，ｙ）平面における直線を表すことになる。ここでは、例えば、（ｘ，ｙ）平面における軌跡上の所定数以上の画素が同一の直線状にあると判定された場合に、手の移動軌跡が直線であると判定しても良い。

【0025】

手の移動軌跡が回転移動であるかの識別については、一般化ハフ変換を用いる。具体的には、一般化ハフ変換により、手の移動軌跡が円状、楕円状、或いは２次曲線状であるかを判定することができる。一例として、移動軌跡が円状であるか否かの識別を以下の手順により行うことができる。
（Ｆ１）手の移動軌跡を表す（ｘ，ｙ）平面上の各点（ｘ₀，ｙ₀）に対して、その点を通る円全体の集合を（ｘ₀－Ａ）²＋（ｙ₀－Ｂ）²＝Ｒ²の関係を用いて（Ａ，Ｂ，Ｒ）空間に描画する。
（Ｆ２）（Ａ，Ｂ，Ｒ）空間において複数の曲面が共有する点が、（ｘ、ｙ）平面における一つの円を表す。ここでは、例えば、（ｘ、ｙ）平面における移動軌跡上の所定数以上の画素が同一の円上にあると判定された場合に、手の移動軌跡が回転であると判定しても良い。円の場合と類似の手法により、（ｘ、ｙ）平面における軌跡上の画素が、同一の楕円上に乗るか否か、或いは、２次曲線上に乗るかどうかを判定することにより、移動軌跡が回転移動であるか否かを判定することもできる。

【0026】

上記手順（Ｅ１）、（Ｅ２）により直線移動が識別されたと判定されると（Ｓ１３：直線移動）、ロボット教示装置３０（指令生成部３１３）は、アーム先端１１を並進移動させる指令を生成し、ロボット制御装置２０に送信する（ステップＳ１４）。直線移動の指令を受けたロボット制御装置２０は、ロボット１０のアーム先端１１を並進移動させる。図４に示したように、アーム先端１１の並進移動の移動経路Ａ₂は、ステップＳ１２で検出された手の移動軌跡のロボット座標系における移動経路Ａ₁と平行とする。移動方向については後述する手法により認識した手の平の向きに応じた方向とする。例えば、図４に示すように手の平が上方を向いている場合には、アーム先端１１を上方に移動させる。アーム先端１１の移動量については、例えば、（１）予め設定した距離だけ移動させる、或いは（２）手の移動軌跡の長さに応じた距離移動させる、といったやり方をとることができる。移動速度は、予めロボット１０に設定した値としても良い。

【0027】

上記の手順（Ｆ１）、（Ｆ２）により回転移動が識別されたと判定されると（Ｓ１３：回転移動）、ロボット教示装置３０（指令生成部３１３）は、アーム先端１１を回転移動させる指令を生成し、ロボット制御装置２０に送信する（ステップＳ１４）。回転移動の指令を受けたロボット制御装置２０は、ロボット１０のアーム先端１１を回転移動させる。図５に示すように、アーム先端１１を回転移動させる場合の回転軸Ｒ₁は、ロボット座標系における手の回転移動の回転軸Ｒ₀の方向と平行な方向とする。アーム先端１１の回転方向Ｃ₂は、手の移動軌跡における回転方向Ｃ₁と整合させることができる。識別部３１２は、一例として、手の移動軌跡のロボット座標系における回転軸Ｒ₀を、ステップＳ１２で求められた手の３次元の移動軌跡に基づいて求めることができる。

【0028】

直線移動と回転移動のいずれも検出されなかった場合には（Ｓ１３：識別不可）、ロボット１０を動作させることなく、本処理を終了する。

【0029】

次に、ステップＳ１１において実行される手の平の向きの認識について説明する。図７は、手の平の向きを認識する処理（以下、手の平向き認識処理と記す）を表すフローチャートである。手の平向き認識処理を実行するに際し、予め、ジェスチャに使用する手が右手か左手か、及びジェスチャ時の手の姿勢をロボット教示装置３０に登録しておく。ジェスチャに使用する手の姿勢は、一例としてパーの姿勢であるものとする。はじめに、軌跡検出部３１１は、ステップＳ１１において検出された手の部分の画素のグループを用いて、手の輪郭を抽出する（ステップＳ２１）。次に、軌跡検出部３１１は、手の輪郭線上に等間隔で点を打つ（ステップＳ２２）。次に、軌跡検出部３１１は、ステップＳ２２で設定された点のうち隣接する点の間を繋ぐ線分を設定し、ある点とその両側の隣接点とをつなぐ２つの直線のなす角度が一定値以下の鋭角になるような点を抽出する（ステップＳ２３）。これにより、輪郭線において指先のような尖った部分が抽出される。

【0030】

次に、軌跡検出部３１１は、ステップＳ２３で抽出された点から、手の重心から一定の距離があるものを５つ選択し、これを指先位置とみなす（ステップＳ２４）。図８の左側に、画像取得装置３４に対して右手の手の平側が向いている場合に、図７のステップＳ２２１－Ｓ２４の処理により検出された指先位置Ｐ１１－Ｐ１５の位置を示す。また、図８の右側に、画像取得装置３４に対して右手の手の甲側が向いている場合に、図７のステップＳ２１－Ｓ２４の処理によって検出された指先位置Ｐ２１－Ｐ２５の位置を示す。ジェスチャ入力に用いる手の左右を予め決めておくことで、手の平側と手の甲側とで指先の位置関係が図８に示したように異なることに基づき、画像に映る手の平の向きを判定することができる。例えば、比較的互いに近い位置にある人差し指、中指、薬指、小指の指先の位置と、それらに対し親指が左右のどちら側に位置するかによって手の平か手の甲かを判定しても良い。

【0031】

次に、ジェスチャを認識する場合の開始・終了のタイミングについて説明する。オペレータが意図しない手の動きがジェスチャ指示として認識されることを回避するために、例えば、手の移動軌跡の検出を一定時間間隔で行い、移動量が一定以下の場合には直線移動か回転移動かの識別を行わないという手法をとることができる。例えば、図６のジェスチャ教示処理を一定時間間隔で繰り返し起動し、ステップＳ１３においてハフ変換により直線移動又は回転移動と識別された手の移動軌跡の移動量が一定以下である場合に識別不可と判定しても良い。これにより、オペレータが意図しない手の動きがジェスチャ指示として認識されることを回避することができる。なお、ステップＳ１１での手の平の向き認識において例えば指先が認識できないような場合にも、ステップＳ１３において認識不可と判定しても良い。

【0032】

以上説明したように本実施形態によれば、よりいっそう高い自由度が有り且つ直感的な操作でロボットの教示を行うことが可能となる。

【0033】

以上、典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、上述の各実施形態に変更及び種々の他の変更、省略、追加を行うことができるのを理解できるであろう。

【0034】

上述した実施形態において、軌跡検出部３１１、識別部３１２、指令生成部３１３の各機能ブロックは、ロボット教示装置３０に配置されているが、これらの機能の少なくとも一部がロボット制御装置２０側に配置されていても良い。

【0035】

ロボット教示装置３０は、画像取得装置３４として距離画像カメラ及び２次元カメラの双方を有していても良い。この場合、距離画像カメラと２次元カメラとを、互いの位置関係（すなわち、互いの画像の画素配置の関係）が既知となるように配置する。このような構成においては、上述した実施形態で説明した距離画像カメラを用いる場合の各種認識手法と、２次元カメラを用いた場合の各種認識手法を併用することができる。

【0036】

上述した実施形態に示したジェスチャ教示処理や手の平向き認識処理を実行するプログラムは、コンピュータに読み取り可能な各種記録媒体（例えば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ等の半導体メモリ、磁気記録媒体、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の光ディスク）に記録することができる。

【符号の説明】

【0037】

１０ ロボット
２０ ロボット制御装置
３０ ロボット教示装置
３１ ＣＰＵ
３２ メモリ
３３ 通信インタフェース
３４ 画像取得装置
３５ 操作部
３６ 表示部
１００ ロボットシステム
３１１ 軌跡検出部
３１２ 識別部
３１３ 指令生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】