特許 6625266 ロボット制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6625266

(24)【登録日】2019年12月6日

(45)【発行日】2019年12月25日

(54)【発明の名称】ロボット制御装置

(51)【国際特許分類】

   B25J 9/22 20060101AFI20191216BHJP

   B25J 19/02 20060101ALI20191216BHJP

【ＦＩ】

   B25J9/22 Z

   B25J19/02

【請求項の数】6

【全頁数】17

(21)【出願番号】特願2019-510378(P2019-510378)

(86)(22)【出願日】2018年3月23日

(86)【国際出願番号】JP2018011704

【審査請求日】2019年2月19日

【早期審査対象出願】

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(73)【特許権者】

【識別番号】504132272

【氏名又は名称】国立大学法人京都大学

(74)【代理人】

【識別番号】100088672

【弁理士】

【氏名又は名称】吉竹 英俊

(74)【代理人】

【識別番号】100088845

【弁理士】

【氏名又は名称】有田 貴弘

(72)【発明者】

【氏名】藤本 堅太

(72)【発明者】

【氏名】奥田 晴久

(72)【発明者】

【氏名】松野 文俊

(72)【発明者】

【氏名】遠藤 孝浩

【審査官】 稲垣 浩司

(56)【参考文献】

【文献】 特開２０１１−１１０６２０（ＪＰ，Ａ）

【文献】 特開平０６−０３９７５４（ＪＰ，Ａ）

【文献】 特開２０１４−１０４５２７（ＪＰ，Ａ）

【文献】 特許第４４６３１２０（ＪＰ，Ｂ２）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ２５Ｊ １／００ − ２１／０２

(57)【特許請求の範囲】

【請求項1】

ロボットを制御するロボット制御装置であって、
作業者の動作をセンサで検出した前記作業者の特定部位の座標に基づいて、前記特定部位と前記特定部位の移動量との組み合わせを前記作業者のジェスチャとして認識して登録するジェスチャ認識部と、前記ジェスチャと、動作可視化テーブルに記憶されている複数のアバターアニメーションのいずれかと、移動箇所とを関連付ける動作可視化機構部と、前記動作可視化機構部で特定された移動箇所に基づいて位置情報管理テーブルから当該移動箇所の位置座標を特定する作業指示変換部とを備え、前記ジェスチャに基づいて、前記位置座標を含み、前記ロボットが動作を行うための動作指示を決定する作業支援装置と、
前記作業支援装置が決定した動作指示に基づいて、前記ロボットの動作を制御するための情報を決定し、当該情報をサーボモータに出力するロボットコントローラと、
前記作業支援装置が決定した動作指示に基づいて動く人間の前記アバターアニメーションを、前記ロボットの動作として表示する動作表示装置と
を備える、ロボット制御装置。

【請求項2】

請求項１に記載のロボット制御装置であって、
前記作業支援装置は、ネットワークによって前記ロボットコントローラと接続されている、ロボット制御装置。

【請求項3】

ロボットを制御するロボット制御装置であって、
作業者の動作をセンサで検出した結果に基づいて当該作業者のジェスチャを認識し、当該ジェスチャに基づいて、前記ロボットが動作を行うための動作指示を決定する作業支援装置と、
前記作業支援装置が決定した動作指示に基づいて、前記ロボットの動作を制御するための情報を決定し、当該情報をサーボモータに出力するロボットコントローラと、
前記作業支援装置が決定した動作指示に基づいて動く人間のアニメーションを、前記ロボットの動作として表示する動作表示装置と、
特定の前記動作指示に基づく前記ロボットの動作の開始及び完了の少なくともいずれかが行われたときに、当該動作とテーブルで予め対応付けられた音及び振動の少なくともいずれかを出力させる出力デバイスと
を備える、ロボット制御装置。

【請求項4】

請求項１から請求項３のうちのいずれか１項に記載のロボット制御装置であって、
前記作業支援装置は、
前記動作指示を決定するための前記ジェスチャである特定の第１ジェスチャだけでなく、前記第１ジェスチャと異なる特定の第２ジェスチャと、作業者の動作から当該作業者の特定部位の移動を示す第３ジェスチャとを認識し、
前記作業支援装置は、
前記第２ジェスチャを認識した場合に、前記第１ジェスチャに基づく前記動作指示を決定する第１モードの代わりに、前記ロボットが前記第３ジェスチャの前記移動に基づく移動を行うための移動量を前記動作指示として決定する第２モードを行う、ロボット制御装置。

【請求項5】

請求項４に記載のロボット制御装置であって、
前記作業支援装置は、
前記第３ジェスチャが示す前記移動と、予め設定された比例ゲインとに基づいて、前記ロボットの前記移動量を求める、ロボット制御装置。

【請求項6】

請求項４に記載のロボット制御装置であって、
前記第３ジェスチャが示す前記移動と、予め設定された積分ゲインとに基づいて、前記ロボットの前記移動量を求める、ロボット制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボットを制御するロボット制御装置に関する。

【背景技術】

【0002】

近年、日本では生産人口の減少や熟練技能者の高齢化が進み、ものづくりができる人材が減少してきている。このため、ものづくりに参画できる人材の裾野を広げるために、在宅から遠隔地のものづくりに参画するためのしくみや、初心者がすぐに技能を身につけるためのしくみが必要になってきている。

【0003】

ものづくりの現場では、組立てや搬送などの作業をロボットに代替させる自動化が進められてきている。このような自動化によってロボットに所望の作業を行わせるためには、作業経路の開始、中間、及び終了等のロボットの挙動が変化する各場面での、ロボットの位置姿勢（位置、高さ及び傾き）を定義する教示が必要である。

【0004】

一般的なロボットの教示作業には、（ｉ）装置熟知者が制御装置に接続された教示専用のティーチングボックスを用いて、ロボットハンドを所望の位置姿勢に移動させ、その位置姿勢を示す位置姿勢データをロボットプログラム上に予め記憶させること、（ｉｉ）予め記憶させた位置姿勢データに基づいて、それらの位置姿勢を繋ぐ経路（軌道）を満足する、ロボットに設けられた複数のサーボモータへの動作指示（動作指令）を制御装置に計算させること、などがある。このような教示は、作業対象の物体の形状ごとに必要となるため、ロボットが多品種少量生産のように様々な形状の物体に対して作業を行うためには、複数の教示を行う必要がある。

【0005】

教示専用のティーチングボックスを用いて、以上のように教示されたロボットに対する動作指示（作業指示）の方式として、いくつかの方式が提案されている。例えば、ジェスチャを用いてロボットへの動作指示を行う方式、または、操作対象物が変化したときに人間がジェスチャを行うことによって、教示によって得られた情報とロボットの状態をセンシングした情報とに基づいて位置情報を変更する方式などがある。これら方式によれば、作業者がロボットへ動作指示する際に、ロボット固有のインタフェースを知ることなくロボットを直接操作することができる。

【0006】

また例えば、特許文献１に開示の方式では、ロボット制御部が撮像情報から作業者のジェスチャを検出し、ジェスチャに関連付けられたロボット制御コマンドを特定し、制御コマンドに対応したロボット制御を行い、表示制御部において作業者にロボット制御コマンドを表示する。このような構成によれば、作業者は、表示されたロボット制御コマンドによって、ロボットに指示が正しく伝わったか否かを確認することが可能となっている。

【0007】

また例えば、特許文献２に開示の方式では、教示ステップの際に、教示対象のロボットから取得した感覚情報を用いて生成された３次元仮想世界映像に基づいて、ロボットに動作を行わせ、ロボットの触覚センサやカメラから運動情報と、視覚、触覚、聴覚などの感覚情報とを取得する。そして、身まねステップの際に、運動情報と感覚情報とに基づいてロボットに所望の動作を身まねさせる。これにより、作業者は、視覚、触覚、聴覚などの感覚情報を参考にして動作を行うことにより、多様な対象に対応する動作をロボットにまねさせることが可能となっている。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２０１４−１０４５２７号公報

【特許文献2】特許第４４６３１２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、以上の技術では、ロボット制御コマンドを知らない初心者、または、実ロボットの可動範囲のようなロボットの身体性を知らない初心者にとっては、ロボットを操作することが困難であるという問題があった。

【0010】

そこで、本発明は、上記のような問題点を鑑みてなされたものであり、作業者がロボットを容易に操作することが可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明に係るロボット制御装置は、ロボットを制御するロボット制御装置であって、作業者の動作をセンサで検出した前記作業者の特定部位の座標に基づいて、前記特定部位と前記特定部位の移動量との組み合わせを前記作業者のジェスチャとして認識して登録するジェスチャ認識部と、前記ジェスチャと、動作可視化テーブルに記憶されている複数のアバターアニメーションのいずれかと、移動箇所とを関連付ける動作可視化機構部と、前記動作可視化機構部で特定された移動箇所に基づいて位置情報管理テーブルから当該移動箇所の位置座標を特定する作業指示変換部とを備え、前記ジェスチャに基づいて、前記位置座標を含み、前記ロボットが動作を行うための動作指示を決定する作業支援装置と、前記作業支援装置が決定した動作指示に基づいて、前記ロボットの動作を制御するための情報を決定し、当該情報をサーボモータに出力するロボットコントローラと、前記作業支援装置が決定した動作指示に基づいて動く人間の前記アバターアニメーションを、前記ロボットの動作として表示する動作表示装置とを備える。

【発明の効果】

【0012】

本発明によれば、作業者のジェスチャに基づいて動作指示を決定し、決定された動作指示に基づいてロボットの動作を制御し、決定された動作指示に基づいて動く人間のアニメーションを表示する。このような構成によれば、作業者が、ロボットの知識を有していなくても、アニメーションの表示を見ることによってロボットを容易に操作することができる。

【0013】

本発明の目的、特徴、態様及び利点は、以下の詳細な説明と添付図面とによって、より明白となる。

【図面の簡単な説明】

【0014】

【図1】実施の形態１に係るロボット制御装置の構成を示すブロック図である。

【図2】実施の形態１に係るロボットを示す斜視図である。

【図3】実施の形態１に係るロボット制御装置の構成を示すブロック図である。

【図4】実施の形態１に係るジェスチャ・動作可視化テーブルを示す図である。

【図5】実施の形態１に係る動作可視化・アニメーションテーブルを示す図である。

【図6】実施の形態１に係る初期処理の手順を示すフローチャートである。

【図7】状態遷移図の一例を示す図である。

【図8】ロボットの移動箇所と、その位置座標との関連付けの一例を示す図である。

【図9】実施の形態１に係るロボット制御装置の構成を示すブロック図である。

【図10】実施の形態２に係るロボット制御装置の構成を示すブロック図である。

【図11】実施の形態２に係る動作可視化・アニメーションテーブルを示す図である。

【図12】実施の形態３に係るロボット制御装置の構成を示すブロック図である。

【図13】実施の形態３に係るゲインテーブルを示す図である。

【図14】実施の形態３に係る動作可視化・アニメーションテーブルを示す図である。

【発明を実施するための形態】

【0015】

＜実施の形態１＞
図１は、本発明の実施の形態に係るロボット制御装置の構成を示すブロック図である。図１のロボット制御装置は、ジェスチャ検出センサ１と、作業支援装置２と、プログラマブルロジックコントローラ３と、ロボットコントローラ４と、動作表示装置５とを備えている。そして、ジェスチャ検出センサ１及び作業支援装置２は、ネットワークを介してプログラマブルロジックコントローラ３、ロボットコントローラ４、及び、動作表示装置５と接続されている。

【0016】

図１のロボット制御装置は、ロボット９と通信可能に接続されており、ロボット９を制御する。ロボット９は、例えば、図２に示すように、複数のサーボモータによって複数の動作を行うことが可能なアーム型のロボットであってもよいし、その他のロボットであってもよい。

【0017】

以下、ロボット制御装置の構成要素について簡単に説明する。

【0018】

図１のジェスチャ検出センサ１は、例えば非接触距離センサを含み、作業者の動作から複数の座標を検出する。

【0019】

作業支援装置２は、作業者の動作をジェスチャ検出センサ１で検出した結果（複数の座標）に基づいて当該作業者のジェスチャを認識する。そして、作業支援装置２は、認識したジェスチャに基づいて、ロボット９が動作を行うための動作指示を決定する。

【0020】

プログラマブルロジックコントローラ３は、ロボット９のデバイスの状態であるデバイス状態を、当該デバイス状態を検出するエリアセンサなどから取得し、かつ、ロボット９の動作を制御するためのプログラムの実行を管理する。

【0021】

ロボットコントローラ４は、作業支援装置２が決定した動作指示に基づいて、ロボット９の動作を制御するための情報を決定し、当該情報をロボット９のサーボモータ（図示せず）に出力する。本実施の形態１では、ロボットコントローラ４は、作業支援装置２が決定した動作指示と、プログラマブルロジックコントローラ３が取得したデバイス状態と、プログラマブルロジックコントローラ３が管理するプログラムとに基づいて、ロボット９を動作させるための動作指令（ロボット９の動作を制御するための情報）を生成する。そして、ロボットコントローラ４は、生成した動作指令をロボット９に渡すことによって、ロボット９を動作させる。

【0022】

動作表示装置５は、作業支援装置２が決定した動作指示に基づいて動く人間のアニメーションを、ロボット９の動作として表示する。アニメーションによって表示される人間は、例えばアバターのように人間を模した姿などを含む。以下、動作表示装置５が表示するアニメーションは、アバターが動くアニメーションであるものとし、このアニメーションを「アバターアニメーション」と記して説明する。

【0023】

次に、ロボット制御装置のいくつかの構成要素について詳細に説明する。

【0024】

作業支援装置２は、人間動作検出部２ａと、ジェスチャ認識部２ｂと、動作可視化機構部２ｃと、作業指示変換部２ｄと、動作表示制御部２ｅとを備える。なお図示されていないが、作業支援装置２は、各種テーブルを記憶可能な記憶部なども備えている。

【0025】

ここで本実施の形態１に係るロボット制御装置には、初期処理及び作業処理という２つのフェーズが規定されている。初期処理は、作業開始前に行われる処理であり、例えば教示処理及び登録処理などに相当する処理である。作業処理は、作業者の操作に応じてロボット９を動作させることによって作業が行われる処理である。以下、初期処理に関する構成要素について説明した後に、作業処理に関する構成要素について説明する。

【0026】

＜初期処理に関する構成要素＞
図３は、ロボット制御装置の構成要素のうち、初期処理を行う構成要素を示すブロック図である。図３に示すように、初期処理は、図１の人間動作検出部２ａ、ジェスチャ認識部２ｂ、及び、動作可視化機構部２ｃなどによって行われる。以下、図３などを用いて、初期処理に関する構成要素について説明する。

【0027】

ジェスチャ検出センサ１は、作業者の動作から作業者上の座標を随時（例えば定期的、周期的に）検出する。

【0028】

人間動作検出部２ａは、ジェスチャ検出センサ１で随時検出された座標に基づいて、作業者の身体の特定部位（例えば手）の座標を随時検出する。

【0029】

ジェスチャ認識部２ｂは、人間動作検出部２ａで随時検出された特定部位の座標に基づいて、作業者の特定部位の移動量を求める。初期処理の際、ジェスチャ認識部２ｂは、特定部位と移動量との組み合わせを、ジェスチャとして登録する。ジェスチャ認識部２ｂは、この登録を用いることにより、ジェスチャ検出センサ１で随時検出された座標に基づいてジェスチャを認識（特定）することが可能となっている。なお、異なるジェスチャには異なるジェスチャ番号が割り当てられる。

【0030】

初期処理の際、動作可視化機構部２ｃは、ジェスチャ番号と、動作可視化番号とを関連付ける。図４は、動作可視化機構部２ｃの関連付けの結果の一例を示すテーブルである。動作可視化番号は、ロボット９の動作を特定するための番号であり、上述した動作指示に相当する。動作可視化機構部２ｃは、図４のような関連付けの結果を、図３のジェスチャ・動作可視化テーブル２ｆに登録する。

【0031】

また初期処理の際、動作可視化機構部２ｃは、動作可視化番号と、動作可視化テーブル２ｇに記憶されている複数のアバターアニメーションのいずれかと、移動箇所とを関連付ける。例えば、通常の人間の身体的特徴を有する状態で、ロボット９の動作可視化番号の動作を通常の動作で行った場合の、アバターの挙動を示すアバターアニメーションが、当該動作可視化番号に関連付けられる。移動箇所は、例えば、ロボット９に接続されたハンドの手先の位置、ロボット９に接続されたハンドが把持するワークの位置、ロボット９の関節の位置などの、ロボット９に関する位置である。図５は、動作可視化機構部２ｃの関連付けの結果の一例を示すテーブルである。動作可視化機構部２ｃは、図５のような関連付けの結果を、図３の動作可視化・アニメーションテーブル２ｈに登録する。

【0032】

図６は、初期処理の手順を示すフローチャートである。

【0033】

まずステップＳ１にて、熟練技能者などの装置熟知者は、ロボット９の動作の順序を規定する状態遷移図を作成し、ロボット制御装置に登録する。図７は、状態遷移図の一例を示す図である。図７におけるａ１〜ａ１９は動作可視化番号を示す。ロボット９の開始時の遷移状態は「初期状態」であり、ロボット９の遷移状態はジェスチャに応じて推移する。

【0034】

図６のステップＳ２にて、動作可視化機構部２ｃは、ジェスチャのジェスチャ番号と、動作可視化番号とを関連付ける。

【0035】

例えば装置熟知者が、図７のような状態遷移図に基づいて図４のテーブルを埋める入力操作を行い、動作可視化機構部２ｃが、当該入力操作に基づいて上記関連付けを行う。これにより、例えば、ジェスチャｇ１が認識された場合に、初期状態のロボット９に動作可視化番号ａ１の動作を行わせるための入力操作が行われると、ジェスチャｇ１が動作可視化番号ａ１と関連付けられる。また例えば、ジェスチャｇ２が認識された場合に、初期状態のロボット９に動作可視化番号ａ１１の動作を行わせるための入力操作が行われると、ジェスチャｇ２が動作可視化番号ａ１１と関連付けられる。このステップＳ２によって、図４のような関連付けの結果が図３のジェスチャ・動作可視化テーブル２ｆに登録される。

【0036】

図６のステップＳ３にて、動作可視化機構部２ｃは、動作可視化番号と、アバターアニメーションと、ロボット９の位置を示す移動箇所とを関連付ける。例えば装置熟知者が、図７のような状態遷移図に基づいて図５のテーブルを埋める入力操作を行い、動作可視化機構部２ｃが、当該入力操作に基づいて上記関連付けを行ってもよい。また例えば、動作可視化機構部２ｃが、図７のような状態遷移図を解析することによって上記関連付けを行ってもよい。このステップＳ３によって、図５のような関連付けの結果が図３の動作可視化・アニメーションテーブル２ｈに登録される。

【0037】

図６のステップＳ４にて、装置熟知者は、図５の移動箇所と、当該移動箇所の位置座標とを関連付けた位置情報管理テーブルを作成し、ロボット制御装置に登録する。

【0038】

図８は、位置情報管理テーブルの一例を示す図である。このステップでは、例えば、ロボット９が移動できる箇所がスキャンされる。具体的には、図５の移動箇所のレコード数分のマーカが、現場にセットされており、ロボット９に取り付けられた図示しないカメラがマーカの画像を検出した際に、ロボット９の位置座標が取得される。そして、取得された現場における位置座標と、図５の移動箇所とが関連付けられて図８の位置情報管理テーブルに登録される。ここでいうロボット９の位置座標は、例えば、ロボット９に接続されたハンドの手先の位置座標、ロボット９に接続されたハンドが把持するワークの位置座標、ロボット９の関節の位置座標などを含む。

【0039】

＜作業処理に関する構成要素＞
図９は、ロボット制御装置の構成要素のうち、作業処理を行う構成要素を示すブロック図である。図９に示すように、作業処理は、図１の全ての構成要素によって行われる。以下、図９などを用いて、作業処理に関する構成要素について説明する。

【0040】

人間動作検出部２ａは、ジェスチャ検出センサ１で随時（例えば定期的、周期的に）検出された人間の座標に基づいて、人間の身体の特定部位の座標を随時（例えば定期的、周期的に）検出する。

【0041】

ジェスチャ認識部２ｂは、人間動作検出部２ａで随時検出された特定部位の座標に基づいて、作業者の特定部位の移動量を求め、求めた特定部位の移動量に基づいてジェスチャを認識する。

【0042】

動作可視化機構部２ｃは、ジェスチャ認識部２ｂで認識されたジェスチャと、ロボット９の遷移状態とに基づいて、図７のような状態遷移図及び図４のようなテーブルから、１つの動作可視化番号を特定する。そして、動作可視化機構部２ｃは、特定した１つの動作可視化番号に基づいて、図５のようなテーブルから、１つのアバターアニメーションと、１つの移動箇所とを特定する。

【0043】

具体的には、ロボット９の遷移状態が図７の「初期状態」であり、かつ、ジェスチャ認識部２ｂがジェスチャｇ１を認識した場合、動作可視化機構部２ｃは、図４のテーブルから、ジェスチャｇ１に関連付けられた動作可視化番号ａ１を特定する。そして、動作可視化機構部２ｃは、図５のテーブルから、動作可視化番号ａ１に関連付けられたアバターアニメーションと、移動箇所「１」とを特定する。これにより、例えばアバターの手が移動箇所「０」から移動箇所「１」に移動するアニメーションが、動作可視化番号ａ１に関連付けられたアバターアニメーションとして特定される。

【0044】

一方、ロボット９の遷移状態が図７の「初期状態」であり、かつ、ジェスチャ認識部２ｂがジェスチャｇ５を認識した場合、動作可視化機構部２ｃは、図４のテーブルから、ジェスチャｇ５に関連付けられた動作可視化番号ａ１１を特定する。そして、動作可視化機構部２ｃは、図５のテーブルから、動作可視化番号ａ１１に関連付けられたアバターアニメーションと、移動箇所「２」とを特定する。これにより、例えばアバターの手が移動箇所「０」から移動箇所「２」に移動するアニメーションが、動作可視化番号ａ１１に関連付けられたアバターアニメーションとして特定される。

【0045】

作業指示変換部２ｄは、動作可視化機構部２ｃで特定された１つの移動箇所に基づいて、位置情報管理テーブル２ｉに登録された図８のようなテーブルから、当該移動箇所の位置座標を特定する。そして、作業指示変換部２ｄは、特定した位置座標をプログラマブルロジックコントローラ３に渡す。

【0046】

プログラマブルロジックコントローラ３は、センサ入力部３ａと、プログラム実行管理部３ｂとを備える。センサ入力部３ａはデバイス状態を取得する。デバイス状態は、例えば、ロボット９のエンコーダなどで検出される位置情報、ロボット９のアーム位置の情報、ワークの有無の情報などである。プログラム実行管理部３ｂは、ロボットコントローラ４がロボット９の動作を制御するためのプログラムを管理する。

【0047】

このように構成されたプログラマブルロジックコントローラ３は、デバイス状態を取得するセンサ入力機能と、ロボットコントローラ４のプログラム実行管理機能とを有している。また、プログラマブルロジックコントローラ３は、作業指示変換部２ｄからの位置座標を受け取った場合に、当該位置座標と、プログラムの実行開始とをロボットコントローラ４に通知する。

【0048】

ロボットコントローラ４は、ロボット指令生成部４ａと、状態取得部４ｂとを備える。ロボット指令生成部４ａは、ロボット９の身体性を意識することなく、プログラマブルロジックコントローラ３からの位置座標（実質的には作業支援装置２からの位置座標）からロボット９への動作指令を生成する。

【0049】

例えば、ロボット指令生成部４ａは、プログラマブルロジックコントローラ３からの位置座標と、ロボット指令生成部４ａが管理しているロボット９の現在の位置座標とに基づいて、ロボット９の特定部分の移動量を算出する。そして、ロボット指令生成部４ａは、算出した移動量に基づいて、ロボット９の各軸の移動量を算出し、当該移動量を含む動作指令をロボット９に渡す。これにより、ロボット９の特定部分が目的位置まで移動する。

【0050】

状態取得部４ｂは、ロボットに取り付けられたビジョンセンサ及び画像センサなどのセンサが取得したカメラ画像などをロボット状態として取得し、当該ロボット状態をロボット指令生成部４ａに通知する。

【0051】

物体の把持が行われるときには、ロボット指令生成部４ａは、状態取得部４ｂから通知されたカメラ画像などのロボット状態に基づいて、ロボット９が物体への接近及び物体の把持を行うようにロボット９を制御する。物体の解放が行われるときには、ロボット指令生成部４ａは、状態取得部４ｂから通知されたカメラ画像などのロボット状態に基づいて、ロボット９が目的位置への移動及びハンドの解放を行うようにロボット９を制御する。

【0052】

プログラマブルロジックコントローラ３は、センサ入力部３ａで取得されたデバイス状態をロボット指令生成部４ａに渡し、ロボット指令生成部４ａは、当該デバイス状態に基づいてロボットコントローラ４及びロボット９における各軸の移動量を補正するフィードバックを行う。また、プログラマブルロジックコントローラ３は、ロボットアームの移動完了およびワークの移動完了をデバイス状態として検出すると、プログラムの実行完了などを示すプログラム状態を作業支援装置２に通知する。

【0053】

動作可視化機構部２ｃは、プログラマブルロジックコントローラ３からプログラム状態としてプログラムの実行完了を受けると、特定していたアバターアニメーションを動作表示制御部２ｅに渡す。動作表示制御部２ｅは、当該アバターアニメーションを動作表示装置５に表示させる。

【0054】

＜実施の形態１のまとめ＞
以上のような本実施の形態１に係るロボット制御装置によれば、作業者のジェスチャに基づいて動作指示を決定し、決定された動作指示に基づいてロボット９の動作を制御し、決定された動作指示に基づいて動く人間のアニメーションを表示する。このような構成によれば、ロボット９の動作が、人間のアニメーションとして表示される。このため、作業者が、ロボット９の制御コマンド、並びに、ロボット９の可動範囲及び身体性などの、ロボット９の知識を有していなくても、人間のアニメーションの表示を見ることによってロボット９を容易に操作することができる。

【0055】

また本実施の形態１では、作業支援装置２は、ネットワークを介してプログラマブルロジックコントローラ３と接続されている。これにより、作業者は、ロボット９の遠隔操作を行うことができる。

【0056】

＜実施の形態２＞
図１０は、本発明の実施の形態２に係るロボット制御装置の構成を示すブロック図である。以下、本実施の形態２に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。

【0057】

図１０のロボット制御装置の構成は、図９の構成に、出力デバイス６及び作業状態変換部２ｊを追加した構成と同様である。なお、作業状態変換部２ｊは、作業支援装置２に備えられる。

【0058】

本実施の形態２では、ロボットコントローラ４の状態取得部４ｂは、ロボット状態をロボット指令生成部４ａ及び作業支援装置２に通知する。作業指示変換部２ｄは、状態取得部４ｂからのロボット状態と、プログラマブルロジックコントローラ３からのプログラム状態とを含む作業状態を生成する。作業指示変換部２ｄは、生成した作業状態を動作可視化機構部２ｃに渡し、動作可視化機構部２ｃは、当該作業状態を作業状態変換部２ｊに渡す。

【0059】

図１１は、実施の形態２に係る動作可視化・アニメーションテーブル２ｈを示す図である。図１１の動作可視化・アニメーションテーブル２ｈでは、図５の動作可視化・アニメーションテーブル２ｈに、音番号、振動番号、開始音、終了音、開始振動、終了振動が追加されている。

【0060】

音番号には、音ファイルを特定するファイル名（図１１では便宜上、１，２が付されている）が設定される。振動番号には、振動周波数（図１１では便宜上、１，２が付されている）が設定される。音番号及び振動番号の設定は、例えば、初期処理時のジェスチャ関連付け処理の際に作業者によって行われる。

【0061】

ロボット９が動作可視化番号の動作を開始する際に作業者に音を通知する場合には、図１１の当該動作可視化番号の開始音のフラグがＯＮ(図１１では○はＯＮを示す)に設定される。ロボット９が動作可視化番号の動作を終了した際に作業者に音を通知する場合には、図１１の当該動作可視化番号の終了音のフラグがＯＮ(図１１では○はＯＮを示す)に設定される。ロボット９が動作可視化番号の動作を開始する際にも終了する際にも作業者に音を通知しない場合には、図１１の当該動作可視化番号の開始音にも終了音にもＯＮの設定が行われない。

【0062】

同様に、ロボット９が動作可視化番号の動作を開始する際に作業者に振動を通知する場合には、図１１の当該動作可視化番号の開始振動のフラグがＯＮ(図１１では○はＯＮを示す)に設定される。ロボット９が動作可視化番号の動作を終了した際に作業者に振動を通知する場合には、図１１の当該動作可視化番号の終了振動のフラグがＯＮ(図１１では○はＯＮを示す)に設定される。ロボット９が動作可視化番号の動作を開始する際にも終了する際にも作業者に振動を通知しない場合には、図１１の当該動作可視化番号の開始振動にも終了振動にもＯＮの設定が行われない。

【0063】

動作可視化機構部２ｃは、１つの動作可視化番号を特定した場合に、当該１つの動作可視化番号に対応する音番号にファイル名が設定されている場合には、当該ファイル名で特定される音ファイルを作業状態変換部２ｊに渡す。同様に、動作可視化機構部２ｃは、１つの動作可視化番号を特定した場合に、当該１つの動作可視化番号に対応する振動番号に振動周波数が設定されている場合には、当該振動周波数を作業状態変換部２ｊに渡す。

【0064】

出力デバイス６は、作業者に音を通知（出力）するスピーカ６ａと、作業者に振動を通知（出力）する振動デバイス６ｂとを備える。作業状態変換部２ｊは、動作可視化機構部２ｃからの作業状態、音ファイル、及び、振動周波数に基づいて出力デバイス６を制御する。以下、その一例について説明する。

【0065】

プログラマブルロジックコントローラ３からのプログラム状態を含む作業状態がプログラムの実行完了を示し、かつ、これまで実行されていた動作可視化番号の終了音のフラグがＯＮである場合、作業状態変換部２ｊは、動作可視化機構部２ｃで特定された音ファイルをスピーカ６ａへ渡す。また、プログラマブルロジックコントローラ３からのプログラム状態を含む作業状態がプログラムの実行完了を示し、かつ、これまで実行されていた動作可視化番号の終了振動のフラグがＯＮである場合、作業状態変換部２ｊは、動作可視化機構部２ｃで特定された振動周波数を振動デバイス６ｂへ渡す。

【0066】

以上のように構成された作業状態変換部２ｊは、ロボット９が、特定の動作可視化番号（動作指示）に基づく動作を完了したときに、当該動作の完了とテーブルで予め対応付けられた音をスピーカ６ａに出力させる。また、作業状態変換部２ｊは、ロボット９が、特定の動作可視化番号（動作指示）に基づく動作を完了したときに、当該動作の完了とテーブルで予め対応付けられた振動を振動デバイス６ｂに出力させる。

【0067】

また本実施の形態２では、動作可視化機構部２ｃは、ジェスチャ認識部２ｂでジェスチャが認識された場合に、図７のような状態遷移図及び図４のような関連付けから、１つの動作可視化番号を特定する。

【0068】

上記１つの動作可視化番号に対応する音番号にファイル名が設定されている場合、動作可視化機構部２ｃは、図１１のテーブルから、１つのアバターアニメーション及び１つの移動箇所を特定するとともに、当該ファイル名の音ファイルを特定して作業状態変換部２ｊに渡す。上記１つの動作可視化番号の開始音のフラグがＯＮである場合、作業状態変換部２ｊは、動作可視化機構部２ｃで特定された音ファイルをスピーカ６ａへ渡す。

【0069】

上記１つの動作可視化番号に対応する振動番号に振動周波数が設定されている場合、動作可視化機構部２ｃは、図１１のテーブルから、１つのアバターアニメーション及び１つの移動箇所を特定するとともに、当該振動周波数を特定して作業状態変換部２ｊに渡す。上記１つの動作可視化番号の開始振動のフラグがＯＮである場合、作業状態変換部２ｊは、動作可視化機構部２ｃで特定された振動周波数を振動デバイス６ｂへ渡す。

【0070】

以上のように構成された作業状態変換部２ｊは、ロボット９が、特定の動作可視化番号（動作指示）に基づく動作を開始するときに、当該動作の開始とテーブルで予め対応付けられた音をスピーカ６ａに出力させる。また、作業状態変換部２ｊは、ロボット９が、特定の動作可視化番号（動作指示）に基づく動作を開始するときに、当該動作の開始とテーブルで予め対応付けられた振動を振動デバイス６ｂに出力させる。

【0071】

＜実施の形態２のまとめ＞
以上のような本実施の形態２に係るロボット制御装置によれば、ロボット９が特定の動作を完了したときに、音及び振動の少なくともいずれか１つを出力すること、及び、ロボット９が、特定の動作を開始するときに、音及び振動の少なくともいずれか１つを出力することを行う。このような構成によれば、作業者は、特定の動作の開始時及び完了時を聴覚及び触覚の少なくともいずれか１つによって知ることができる。

【0072】

＜実施の形態３＞
図１２は、本発明の実施の形態３に係るロボット制御装置の構成を示すブロック図である。以下、本実施の形態３で説明する構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。

【0073】

本実施の形態３では、ジェスチャ認識部２ｂは、動作可視化番号（動作指示）を決定するためのジェスチャである特定の第１ジェスチャである通常ジェスチャだけでなく、第１ジェスチャと異なる特定の第２ジェスチャである切替ジェスチャと、予め定められた座標の空間における作業者の特定部位の移動を示す第３ジェスチャである手動ジェスチャとを認識する。以下、予め定められた座標は、ｘ軸、ｙ軸及びｚ軸で規定される直交座標であり、作業者の特定部位は、人間の手であるものとして説明する。

【0074】

作業支援装置２には、第１モードである通常モードと、第２モードである手動モードとが規定されている。通常モードでは、作業支援装置２は、実施の形態１，２と同様に通常ジェスチャに基づいて動作指示を決定する。手動モードでは、作業支援装置２は、ロボット９が手動ジェスチャの手の移動に基づく移動を行うための移動量を動作指示として決定する。

【0075】

図１３は、本実施の形態３に係るゲインテーブル２ｋを示す図である。ｇｘａ，ｇｙａ，ｇｚａは、それぞれｘ軸、ｙ軸、ｚ軸の比例ゲインである。ｇｘｂ，ｇｙｂ，ｇｚｂは、それぞれｘ軸、ｙ軸、ｚ軸の積分ゲインである。手動モードでは、ジェスチャ認識部２ｂは、手動ジェスチャが示す移動と、予め設定された比例ゲインと、予め設定された積分ゲインとに基づき、次式（１）を用いてロボット９の移動量を求める。なお、式（１）において、身体部位座標前回ｘ座標及び身体部位座標今回ｘ座標は、手動ジェスチャが示すｘ軸の移動を示す座標であり、手先座標ｘは、ロボット９の移動量に相当する位置座標である。ｙ座標及びｚ座標もｘ座標と同様である。

【0076】

【数1】

【0077】

ジェスチャ認識部２ｂは、求めた移動量を作業指示変換部２ｄに通知する。作業指示変換部２ｄは、通知された移動量をプログラマブルロジックコントローラ３に通知する。プログラマブルロジックコントローラ３は、通知された移動量をロボットコントローラ４に通知する。ロボットコントローラ４は、作業支援装置２が手動モードを行う場合に、通知された移動量に基づいてロボット９を移動させる制御を行う。

【0078】

次に、通常モードと手動モードとの切り替えについて説明する。図１４は、本実施の形態３に係る動作可視化・アニメーションテーブル２ｈを示す図である。図１４の動作可視化・アニメーションテーブル２ｈでは、動作可視化番号ａ１４の移動箇所において「手動モード」が設定され、動作可視化番号ａ１６の移動箇所において「通常モード」が設定されている。なお、図１４の例では、動作可視化番号ａ１〜ａ１３、ａ１５、ａ１７〜ａ１９に対応するジェスチャは、通常ジェスチャに相当し、動作可視化番号ａ１４及びａ１６に対応するジェスチャは、切替ジェスチャに相当する。

【0079】

動作可視化機構部２ｃは、ジェスチャ認識部２ｂで認識されたジェスチャと、ロボット９の遷移状態とに基づいて、動作可視化番号ａ１４を特定した場合、ジェスチャ認識部２ｂに「手動モード」を通知する。一方、動作可視化機構部２ｃは、ジェスチャ認識部２ｂで認識されたジェスチャと、ロボット９の遷移状態とに基づいて、動作可視化番号ａ１６を特定した場合、ジェスチャ認識部２ｂに「通常モード」を通知する。このように、作業支援装置２は、切替ジェスチャを認識した場合に、通常モードから手動モードへの切り替え、または、手動モードから通常モードへの切り替えを行う。

【0080】

＜実施の形態３のまとめ＞
以上のような本実施の形態３に係るロボット制御装置によれば、作業支援装置２は、切替ジェスチャを認識した場合に、通常モードの代わりに手動モードを行う。このような構成によれば、作業者は、切替ジェスチャを行うことにより、細かい作業に対応することができる手動モードに切り替えることができる。

【0081】

また本実施の形態３では、第２ジェスチャが示す移動と各種ゲインとに基づいて、ロボット９の移動量を求めるので、ロボット９の作業移動量を適切化することができる。

【0082】

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。

【0083】

本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、本発明の範囲から外れることなく想定され得るものと解される。

【符号の説明】

【0084】

２ 作業支援装置、４ ロボットコントローラ、５ 動作表示装置、６ａ スピーカ、６ｂ 振動デバイス、９ ロボット。

【要約】

作業者がロボットを容易に操作することが可能な技術を提供することを目的とする。ロボット制御装置は、ロボット９を制御するロボット制御装置であって、作業者のジェスチャを認識し、当該ジェスチャに基づいて、ロボット９が動作を行うための動作指示を決定する作業支援装置２と、作業支援装置２が決定した動作指示に基づいて、ロボット９の動作を制御するロボットコントローラ４と、作業支援装置２が決定した動作指示に基づいて動く人間のアニメーションを表示する動作表示装置５とを備える。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】