特許 6344084 ロボット操作用の作業者端末

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6344084

(24)【登録日】2018年6月1日

(45)【発行日】2018年6月20日

(54)【発明の名称】ロボット操作用の作業者端末

(51)【国際特許分類】

   B25J 19/02 20060101AFI20180611BHJP

   B25J 13/02 20060101ALI20180611BHJP

【ＦＩ】

   B25J19/02

   B25J13/02

【請求項の数】6

【全頁数】17

(21)【出願番号】特願2014-127668(P2014-127668)

(22)【出願日】2014年6月20日

(65)【公開番号】特開2016-7647(P2016-7647A)

(43)【公開日】2016年1月18日

【審査請求日】2017年2月14日

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100085006

【弁理士】

【氏名又は名称】世良 和信

(74)【代理人】

【識別番号】100100549

【弁理士】

【氏名又は名称】川口 嘉之

(74)【代理人】

【識別番号】100096873

【弁理士】

【氏名又は名称】金井 廣泰

(74)【代理人】

【識別番号】100123319

【弁理士】

【氏名又は名称】関根 武彦

(74)【代理人】

【識別番号】100125357

【弁理士】

【氏名又は名称】中村 剛

(74)【代理人】

【識別番号】100123098

【弁理士】

【氏名又は名称】今堀 克彦

(74)【代理人】

【識別番号】100138357

【弁理士】

【氏名又は名称】矢澤 広伸

(72)【発明者】

【氏名】高市 ▲隆▼一郎

(72)【発明者】

【氏名】川島 靖史

(72)【発明者】

【氏名】阿部 将佳

(72)【発明者】

【氏名】江田 恭之

【審査官】 貞光 大樹

(56)【参考文献】

【文献】 国際公開第２０１０／１１０４１１（ＷＯ，Ａ１）

【文献】 特開２０１２−６８７７７（ＪＰ，Ａ）

【文献】 特開２００１−６７１７９（ＪＰ，Ａ）

【文献】 特開平６−３３７６３０（ＪＰ，Ａ）

【文献】 特開２００８−１９２００４（ＪＰ，Ａ）

【文献】 Nan BU, Masaru OKAMOTO, Toshio TSUJI，"A Hybrid Motion ClassificationApproach for EMG-Based Human-Robot Interfaces Using Bayesian and NeuralNetworks"，IEEE Transactions on Robotics，IEEE，２００９年 ６月 ５日，Vol.25, No.3，p.502-p.511

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ２５Ｊ １／００ − ２１／０２

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３３− ３／０３９

Ｇ０６Ｆ ３／０４８− ３／０４８９

(57)【特許請求の範囲】

【請求項1】

作業に用いるロボットに対し動作命令を送信する作業者端末であって、
作業者の頭部以外の部位に装着され、前記部位の筋電位を検知する第１のセンサと、
作業者の頭部の動きを検知する第２のセンサと、
前記第１のセンサと前記第２のセンサの検知結果に基づいて、頭部以外の部位の筋電位の変化と頭部の動きの組み合わせで定義される動作指示が作業者により入力されたか否かを判定する処理部と、
前記動作指示が作業者により入力されたと判定された場合に、前記ロボットに対して動作命令を送信する通信部と、を有する
ことを特徴とする作業者端末。

【請求項2】

前記第１のセンサにより検知された筋電位の変化、および、前記第２のセンサにより検知された頭部の動きを、作業者に提示する提示部をさらに有する
ことを特徴とする請求項１に記載の作業者端末。

【請求項3】

前記処理部は、筋電位の変化が第１の条件を満たし、且つ、頭部の動きが第２の条件を満たした場合に、前記動作指示が入力されたと判定するものであり、
前記提示部は前記第１の条件および前記第２の条件も作業者に提示する
ことを特徴とする請求項２に記載の作業者端末。

【請求項4】

前記処理部は、筋電位の変化が前記第１の条件を満たした後、所定の制限時間内に、頭部の動きが前記第２の条件を満たした場合に、前記動作指示が入力されたと判定するものであり、
前記提示部は、筋電位の変化が前記第１の条件を満たしたときに、頭部の動きを入力すべき制限時間のカウントダウンも提示する
ことを特徴とする請求項３に記載の作業者端末。

【請求項5】

前記第１の条件及び／又は前記第２の条件を作業者により変更可能とする設定変更部をさらに有する
ことを特徴とする請求項３又は４に記載の作業者端末。

【請求項6】

前記作業者端末は、シースルータイプのヘッドマウントディスプレイを有しており、
前記提示部は、前記ヘッドマウントディスプレイに表示されるグラフィック画像であることを特徴とする請求項２〜５のうちいずれか１項に記載の作業者端末。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業者が複数のロボットを用いて作業を行う生産方式に関する。

【背景技術】

【0002】

ユーザーニーズの多様化に伴い、ものづくりの現場では、多品種少量生産、短納期生産、変量生産などへの対応が迫られている。そうした環境変化の中、ベルトコンベアに沿って作業者やロボットが配置されるライン生産方式から、セル生産方式等の手組みを主体とした小規模な生産方式へとシフトする企業が多い。セル生産方式とは、作業者の作業スペースを取り囲むように、加工、組み立て、検査、梱包等の各工程の作業台を配置し、一人（又は数人）の作業者が作業台の間を移動しながら製品の製造を行う方式である。

【0003】

最近では、小規模生産方式での省人化・省力化を図るため、ヒトと同等の作業が可能なマルチタスクの双腕ロボットを作業者の代わりに導入する例もある。例えば、特許文献１では、複数の作業者と複数の双腕ロボットを工程に沿って配置し、隣同士の作業者又は双腕ロボットがワークの受け渡しを行いながら、製品の製造を行う生産方式が提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２００９／０７１５６７号

【特許文献2】特開２０１２−１０１２８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、小規模生産方式の各工程での作業は多種多様であり、中にはヒトならではの器用な動きや高度な判断が要求されるものも含まれる。したがって、ヒトが行っていた作業を丸ごと双腕ロボットに置き換えようとした場合、多数のセンサと特殊なハンドを具備した高機能かつインテリジェントなロボットが必要となる。そのため、ロボットの開発・ティーチングに時間を要しラインの立ち上げに時間がかかる、導入コストやメンテナンスコストが大きく投資対効果が得られにくい等の課題がある。

【0006】

そこで本発明者らは、ヒトをロボットに置き換えるという発想ではなく、ヒトとロボットが互いの長所を生かしながら一つの作業を協働して行うという新規な形態の生産方式を検討している。すなわち、器用な動きや臨機応変な（柔軟な）判断が必要な部分は作業者が、単純な動作や正確性が要求される動作はロボットが、それぞれ分担しつつ、作業者とロボットが同じ作業スペース内で協働作業するというものである。

【0007】

例えば、製品内部にケーブルをネジ止めする作業を想定した場合、製品内部の狭い（入り組んだ）空間のなかでネジ止め対象のケーブルを位置合わせするような動きは、ロボットには不得意である。一方、ネジ止めのような単純動作についてはロボットの方が優れており、作業者の場合は斜めに挿入したりトルクを誤るなどのリスクがある。このような場合には、作業者がケーブルを位置合わせして押さえた状態で、ロボットがネジ止めを行う、というような分担を行う。

【0008】

このようにヒトとロボットが互いの得意な動きを受け持ち協働作業を行うことで、作業の効率と正確性の向上が期待できる。しかも、双腕ロボットに比べて極めてシンプルなロボットでよいため、導入コストやメンテナンスコストの大幅な低減も可能である。

【0009】

ところで、ＦＡ（ファクトリーオートメーション）においてヒトとロボットの協働作業を実現するためには、「安全」と「確実」が最優先されなければならない。作業者に危険が及ぶような誤作動があってはならないし、作業者の意図が適時に間違いなく伝達され、ロボットの動作に反映されなければ、不良品の発生につながるからである。その一方で、作業効率の観点からは、作業者ができるだけ簡単にロボットに指示を出せること、手指を使わずに（作業で手が塞がることが多いため）指示できることなどの要請もある。

【0010】

なお、特許文献２では、ヒトの意図を機械に伝達するためのマン−マシンインタフェースの例として、ヒトの身体に取り付けたセンサで関節角度、加速度、外部荷重等を計測し、ヒトの意図や身体動作を識別する方法、皮膚表面から検出される表面筋電位や脳波からヒトの意図を推定する方法、ヒトと機械の接触部分に力覚センサを取り付ける方法、手先の動きの速度や周波数、肘の動きの角速度や各加速度などのヒトの各部位の動きから意図を推定する方法などが提案されている。しかしいずれの提案方法も、ＦＡにおける協働作業ロボットに指示を出すための操作インタフェースとしては適当でない。

【0011】

本発明は、上記課題に鑑みなされたものであり、ロボットを用いた安全かつ確実な作業を実現するための技術を提供することを目的とする。

【課題を解決するための手段】

【0012】

上記目的を達成するために本発明では以下の構成を採用する。

【0013】

すなわち、本発明に係る作業者端末は、作業に用いるロボットに対し動作命令を送信する作業者端末であって、作業者の頭部以外の部位に装着され、前記部位の筋電位を検知する第１のセンサと、作業者の頭部の動きを検知する第２のセンサと、前記第１のセンサと前記第２のセンサの検知結果に基づいて、頭部以外の部位の筋電位の変化と頭部の動きの組み合わせで定義される動作指示が作業者により入力されたか否かを判定する処理部と、前記動作指示が作業者により入力されたと判定された場合に、前記ロボットに対して動作命令を送信する通信部と、を有することを特徴とする。

【0014】

この構成によれば、作業者は「筋電位の変化」と「頭部の動き」の全く異なる２種類の操作を意図的に入力しなければならないので、偶然の動きや誤操作によるロボットの誤作動を可及的に排除できる。また、筋電位と頭部の動きであれば、作業者の自然な動きの流れで入力が可能であるとともに、仮に両手が塞がっていても入力できるため、作業効率を阻害することがない。ここで、作業者とロボットは協働作業を行う関係にあることが好ましい。協働作業とは、一つの作業を達成するのに必要な複数の動作のうちの一部を作業者が行い、残りをロボットが行うことをいう。作業者が担当する動作とロボットが担当する動作は、同時に又は同期して行う場合と、時間的に連続して行う場合とがある。

【0015】

前記第１のセンサにより検知された筋電位の変化、および、前記第２のセンサにより検知された頭部の動きを、作業者に提示する提示部をさらに有することが好ましい。ボタンを押したりレバーを操作するのとは違い、筋電位や身体動作を利用したインタフェースは、正しく入力操作が行えているかどうか（自分の動きが適切かどうか）が分かりづらい。そこで、本発明のように筋電位の変化や頭部の動きを作業者に提示するようにすれば、作業者自身が入力操作の適否をセルフチェックでき、入力操作の確実、入力スキルの向上、誤入力の抑制などに役立つ。

【0016】

前記処理部は、筋電位の変化が第１の条件を満たし、且つ、頭部の動きが第２の条件を満たした場合に、前記動作指示が入力されたと判定するものであり、前記提示部は前記第１の条件および前記第２の条件も作業者に提示することが好ましい。このような提示を確認しながら入力操作を行うことで、入力操作の確実、入力スキルの向上、誤入力の抑制な
どに役立つ。

【0017】

前記処理部は、筋電位の変化が前記第１の条件を満たした後、所定の制限時間内に、頭部の動きが前記第２の条件を満たした場合に、前記動作指示が入力されたと判定するものであり、前記提示部は、筋電位の変化が前記第１の条件を満たしたときに、頭部の動きを入力すべき制限時間のカウントダウンも提示することが好ましい。このような提示を確認しながら入力操作を行うことで、入力操作の確実、入力スキルの向上、誤入力の抑制などに役立つ。

【0018】

前記第１の条件及び／又は前記第２の条件を作業者により変更可能とする設定変更部をさらに有することが好ましい。体格や体組成に個人差があるため、筋電位の値や身体の動かし方は作業者ごとのばらつきが大きい。したがって、全作業者に同一の条件（閾値など）を適用するよりも、個々人の身体的特徴や動きの特性などに合わせて条件を調整できるようにすることで、より安全で確実な入力操作が実現できる。

【0019】

前記作業者端末は、シースルータイプのヘッドマウントディスプレイを有しており、前記提示部は、前記ヘッドマウントディスプレイに表示されるグラフィック画像であることが好ましい。これにより、作業者はワークやロボットから視線を外すことなく、提示部を確認できるため、より安全で確実な入力操作が実現できる。

【0020】

なお、本発明は、上記構成の少なくとも一部を有する作業者端末又はマン−マシンインタフェースとして捉えることができる。また、本発明は、上記処理の少なくとも一部を含むロボット操作方法もしくは指示入力方法、又は、かかる方法をコンピュータに実行させるためのプログラムやそのプログラムを非一時的に記憶したコンピュータ読取可能な記憶媒体として捉えることもできる。上記構成および処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

【発明の効果】

【0021】

本発明によれば、ロボットを用いた安全かつ確実な作業を実現することができる。

【図面の簡単な説明】

【0022】

【図1】セル生産ラインの一例を示す図。

【図2】第１実施形態の作業台の構成例を模式的に示す斜視図。

【図3】作業者端末の頭部ユニットの構成例を模式的に示す斜視図。

【図4】作業者端末の腕部ユニットの構成例を模式的に示す斜視図。

【図5】ロボット制御システムの機能ブロック図。

【図6】第１実施形態のロボット制御のシーケンス。

【図7】運用モード中の作業者の視界を示す図。

【図8】動作指示の入力処理のフローチャート。

【図9】筋電センサとジャイロセンサの出力信号の例を示す図。

【図10】設定モードの画面を示す図。

【発明を実施するための形態】

【0023】

本発明は、ヒトが作業に用いるロボットに対し所望のタイミングで確実に動作命令を送出するための技術に関し、特に、ヒトとロボットが互いの長所を生かしながら一つの作業を協働して行うという新規な形態の生産方式に好ましく利用できる。以下に述べる実施形態では、製品の組み立て、検査、梱包を行うセル生産ラインに対し、本発明を適用した例を説明する。

【0024】

（セル生産ライン）
セル生産方式とは、作業者の作業スペースを取り囲むように、各作業工程に対応する複数の作業台を配置し、一人又は数人の作業者が作業台の間を移動しながら製品の製造を行う生産方式である。作業台の配置にはいくつかのバリエーションがあるが、最も一般的な形態は、作業台をＵ字型に配置する形態である。

【0025】

図１は、本実施形態のロボット制御システムを適用したセル生産ラインを示す模式図である。図１はセルを上からみた上視図であり、６つの作業台１１〜１６がＵ字型に配置され、作業台１４を除く５つの作業台１１、１２、１３、１５、１６に作業者１０ａ、１０ｂの作業を補助するロボット１１ａ、１２ａ、１３ａ、１５ａ、１６ａが設置された様子を示している。

【0026】

作業台１１〜１６は、それぞれ、（１）部品組み立て、（２）ケーブル結束、（３）ネジ止め、（４）検査、（５）梱包準備、（６）梱包・搬出、の各作業工程を行う場所である。このうち、（１）部品組み立て、（２）ケーブル結束、及び、（６）梱包・搬出を作業者１０ａが担当し、（３）ネジ止め、（４）検査、及び、（５）梱包準備を作業者１０ｂが担当する。

【0027】

（１）部品組み立て
作業台１１では、作業者１０ａの指示（合図）に従いロボット１１ａが部品棚から部品をピックアップし、作業者１０ａに部品を手渡す（又は、所定の位置に部品を配置する）。作業者１０ａはワークの筐体内部に部品を組み立て、そのワークを持って作業台１２へと移動する。

【0028】

（２）ケーブル結束
作業台１２では、作業者１０ａの指示（合図）に従いロボット１２ａがストッカから結束バンドをピックアップし、作業者１０ａに結束バンドを手渡す。作業者１０ａはワークの筐体内部のケーブル群をまとめ、結束バンドで結束する。その後、作業者１０ａはワークを次の作業台１３へと引き渡す。

【0029】

（３）ネジ止め
作業台１３では、作業者１０ｂがワークを所定の位置に配置し、ネジ止めの対象となる部品やケーブルを押さえて固定した状態で、ロボット１３ａに指示（合図）を送る。すると、ロボット１３ａが電動ドライバを垂直に降下させ、ネジ止めを行う。ネジ止め個所が複数ある場合には、同じ作業を繰り返す。

【0030】

（４）検査
作業台１４では、作業者１０ｂがネジ止め後のワークを目視検査する。本例の場合、部品の組み付け、ケーブルの結束、ネジの締結、ワーク外観の汚れ・キズなどの確認を行い、問題がなければ作業台１４と作業台１５の間の完成品棚へ配置する。

【0031】

（５）梱包準備
作業台１５では、作業者１０ｂが梱包箱を組み立て所定の位置に配置した後、ロボット１５ａに指示（合図）を送ると、ロボット１５ａが完成品棚からワークをピックアップし、梱包箱の中に設置するとともに、梱包部材を梱包箱の中に入れる。

【0032】

（６）梱包・搬出
作業台１６では、作業者１０ａが梱包箱の上蓋片を折り曲げ固定した後、ロボット１６ａに指示（合図）を送ると、ロボット１６ａが梱包箱の上蓋をステープル止めした後、所定の搬出棚に配置する。

【0033】

以上のように、二人の作業者１０ａ、１０ｂがそれぞれ作業台の間を移動しながら、必要なロボットと協働作業を行うことにより、製品の組み立てから梱包までの作業が行われる。なお、ここで説明したセル生産ラインの構成、作業台や作業者の数、作業内容、作業者とロボットの作業分担などはあくまで一例である。

【0034】

ところで、上記のような生産方式を実現するにあたっては、作業者とロボットのあいだのインタラクションに関し、いくつかクリアすべき課題がある。一つ目は、作業者の指示（合図）を所望のタイミングで（つまり、作業者側の準備が整ったタイミングで）ロボットに伝達する仕組みの実現である。二つ目は、作業者が自然な動作の流れで（つまり、作業者の動きや時間のロスがほとんど無いやり方で）ロボットに対し指示を出せる操作インタフェースの実現である。これらの仕組みは、作業者とロボットが阿吽（あうん）の呼吸で協働し、高効率かつ正確な生産を実現するために重要である。

【0035】

本実施形態のロボット制御システムでは、これらの課題を解決するために、各作業者が無線通信機能をもつ作業者端末を使用し、ロボットに対し無線通信で動作命令（動作のトリガ）を送信する仕組みを採用する。以下、これらの仕組みの具体的な構成について説明を行う。

【0036】

（作業台及びロボット）
ロボットが設置された作業台（図１の１１、１２、１３、１５、１６）の構成を説明する。図２は、作業台の構成例を模式的に示す斜視図である。

【0037】

作業台２０は、金属製のパイプをジョイントで接続し、天板２１や必要な棚板を組み付けることで形成される。作業台２０の上部には水平レール２２が設けられ、この水平レール２２に対しロボット２３が取り付けられている。

【0038】

本実施形態のロボット２３は、前述のように物品の受け渡しやネジ止めといった単純な補助作業を行うことができればよく、双腕ロボットのような高度な機能は必要ない。したがって、シンプルかつ低コストのロボット（例えば、１アームの多関節ロボット）を用いることができる。作業者とロボットの協働作業を実現する上では、作業者の動線及び作業スペース確保の要請から、ロボット２３を作業台２０の上部又は天井等に設置することが好ましい。この点、ロボット２３の機能（役割）及び構成をシンプルなものに限定することで、ロボット自体を軽量化できるため、作業台２０の水平レール２２や天井（不図示）へのロボット２３の設置が容易となる。

【0039】

ロボット２３は識別色表示部２４を有している。図１に示す５台のロボット（１１ａ、１２ａ、１３ａ、１５ａ、１６ａ）には、ロボット同士を識別するために互いに異なる識別色が割り当てられている（例えば、赤、緑、青、マゼンタ、黄）。識別色表示部２４は、例えば、カラーパネルのような色付き部材で構成することができる。また、ＬＥＤ（発光ダイオード）で構成される発光板、液晶ディスプレイ、有機ＥＬディスプレイなど、点灯／消灯可能なデバイスで構成してもよい。あるいは、作業台又はロボット本体の全部又は一部を識別色を呈する部材で構成してもよい。すなわち、作業者の視界に入る位置にできるだけ目立つように識別色が提示されていれば、目的（ロボットの区別）を達成できる。

【0040】

また、作業台２０の天板２１には、ロボット識別標識としてのＩＣタグ２５が取り付けられている。ＩＣタグ２５には、当該ロボット２３に割り当てられたロボットＩＤが記録されている。ロボットＩＤも、識別色と同じく、５台のロボットを識別可能なようにロボットごとに異なるＩＤが割り当てられる。

【0041】

また、作業台２０には、人検知センサ２６が設けられている。人検知センサ２６は、作業者が作業台２０の近くに（つまりロボット２３を使用し得る範囲内に）存在するか否かを検知するためのセンサである。例えば、赤外線センサ、拡散反射センサ等を用いることができる。

【0042】

（作業者端末）
次に、作業者が使用する作業者端末の構成を説明する。本実施形態では、作業者が装着する（身につける）形態のウェアラブルな作業者端末を用いる。具体的には、作業者端末は、頭部に装着するヘッドマウント型の頭部ユニット（図３）、腕部に装着する腕部ユニット（図４）から構成される。

【0043】

（１）頭部ユニット
図３に示すように、頭部ユニット３０は、ヘルメットタイプの頭部ユニット本体３１と、頭部ユニット本体３１の前面に取り付けられたシースルータイプのヘッドマウントディスプレイ（以下単に「シースルーディスプレイ」と呼ぶ）３２とを有している。シースルータイプには、カメラの映像を映し出すことで疑似的なシースルーを実現する「ビデオシースルー」、ハーフミラー等の光学部材を用いたり透明ディスプレイを用いる方式の「光学シースルー」などがあるが、いずれの方式でもよい。なお、ディスプレイ方式ではなく、投影方式のヘッドマウントディスプレイを用いてもよい。

【0044】

頭部ユニット本体３１には、電源スイッチ３３、フロントカメラ３４、ジャイロセンサ３５が設けられている。また、詳しくは図５で説明するが、頭部ユニット本体３１には、信号処理・画像処理部、中央処理装置、記憶部、無線通信部などの機能をもつコンピュータ（制御部）が内蔵されている。

【0045】

電源スイッチ３３は頭部ユニット３０の電源オン／オフを切り替えるためのスイッチであり、ヘルメットの鍔部など、作業者が作業中に誤って触れない位置に配置される。フロントカメラ３４は、作業者の視線方向（頭部が向いている方向）の映像を撮影するカメラである。ビデオシースルータイプの場合には、フロントカメラ３４から取り込まれた映像がシースルーディスプレイ３２に表示される。ジャイロセンサ３５は、作業者の頭部の動きを検知するための角速度センサであり、頭頂部に取り付けられている。なお、ジャイロセンサ３５の代わりに、又は、ジャイロセンサ３５とともに、３軸の加速度センサを設けてもよい。加速度センサも頭部の動きを検知する目的で使用可能である。

【0046】

シースルーディスプレイ３２には、その縁部に沿って、対象ロボット提示部３６が設けられている。対象ロボット提示部３６は、協働作業の対象となるロボット（対象ロボット）の識別色で点灯する発光体であり、例えば、ＬＥＤなどで構成される。なお、本実施形態では、シースルーディスプレイ３２と対象ロボット提示部３６を別デバイスで構成したが、シースルーディスプレイ３２の一部に識別色と同じ色の画像を表示することで、対象ロボット提示部の機能を兼用することもできる。

【0047】

（２）腕部ユニット
図４に示すように、腕部ユニット４０は、作業者の前腕に装着される腕部ユニット本体４１と、腕部ユニット本体４１を固定するための固定帯４２とを有している。図４では、左腕に腕部ユニット４０を装着した様子を示しているが、右腕に装着する構成でもよい。

【0048】

腕部ユニット本体４１には、電源スイッチ４３、筋電センサ４４、ＲＦＩＤリーダ４５、対象ロボット提示部４６が設けられている。また、詳しくは図５で説明するが、腕部ユニット本体４１には、信号処理部、中央処理装置、記憶部、無線通信部などの機能をもつコンピュータ（制御部）が内蔵されている。

【0049】

電源スイッチ４３は腕部ユニット４０の電源オン／オフを切り替えるためのスイッチであり、腕部ユニット本体４１の内側表面など、作業者が作業中に誤って触れない位置に配置される。筋電センサ４４は、作業者の前腕の筋電位を検知するセンサであり、腕部ユニット本体４１のうち前腕の皮膚表面に接触する場所に組み込まれている。ＲＦＩＤリーダ４５は、作業台２０に取り付けられたＩＣタグ２５（図２参照）からロボットＩＤを読み取るためのセンサである。対象ロボット提示部４６は、協働作業の対象となるロボット（対象ロボット）の識別色で点灯する発光体であり、例えば、ＬＥＤなどで構成される。この対象ロボット提示部４６は、頭部ユニット３０の対象ロボット提示部３６と連動する（同じ色で発光する）よう制御される。

【0050】

固定帯４２は、前腕に巻かれる前腕帯４２ａ、上腕に巻かれる上腕帯４２ｂ、前腕帯４２ａと上腕帯４２ｂを伸縮自在に接続する接続帯４２ｃから構成される。固定帯４２は、腕部ユニット本体４１が前腕からずれないように固定する機能、腕部ユニット本体４１が正しい向きで前腕に装着されるようにする機能、腕部ユニット４０を一つしか装着できないようにする機能を兼ね備える構造である。固定帯４２により腕部ユニット４０の誤装着を物理的にできないようにすることで、本システムによるロボットとの協働作業の安全性を高めることができる。

【0051】

（機能構成）
図５は、本実施形態のロボット制御システムの機能構成を示すブロック図である。図５において、図２〜図４に示した構成と同じものには同一の符号を付す。なお、ロボット制御システムは図１に示すように複数台のロボットを備えているが、図５では説明の便宜のため一台のロボット２３の構成のみ示している。

【0052】

ロボット２３は、中央処理装置２３０、記憶部２３１、ドライバ部２３２、センサ部２３３、アクチュエータ部２３４、無線通信部２３５を有している。中央処理装置２３０は、記憶部２３１に格納されたプログラムを読み込み実行することで、各種の演算処理やロボット２３の各ブロックの制御を行うプロセッサである。記憶部２３１は、ファームウェア等のプログラムや各種設定パラメータを格納する不揮発性メモリと、中央処理装置２３０のワークメモリ等として利用される揮発性メモリとを有している。

【0053】

ドライバ部２３２は、センサ部２３３からのセンサ信号を入力する回路、アクチュエータ部２３４へ駆動信号を出力する回路などを備える制御回路である。センサ部２３３は、ロボット２３の制御に利用するための情報を取得するための入力デバイスである。アクチュエータ部２３４は、ロボット２３のアーム、ハンド、工具などを駆動する出力デバイスである。センサには、光センサ、音響センサ、振動センサ、温度センサ、力センサ（触覚センサ）、距離センサなど様々な種類のセンサがあり、ロボット２３の構成や作業内容などに応じて必要な数・種類のセンサが設けられる。また、アクチュエータにも、サーボモータ、リニア・アクチュエータ、ソレノイドなど様々な種類のものがあり、ロボット２３の構成や作業内容などに応じて必要な数・種類のアクチュエータが設けられる。無線通信部２３５は、作業者端末の頭部ユニット３０とのあいだで無線通信を行うためのモジュールである。

【0054】

作業者端末の頭部ユニット３０は、シースルーディスプレイ３２、フロントカメラ３４、ジャイロセンサ３５、信号処理・画像処理部３００、中央処理装置３０１、記憶部３０２、無線通信部３０３、対象ロボット提示部３６を有している。信号処理・画像処理部３００は、ジャイロセンサ３５のセンサ信号及びフロントカメラ３４の画像信号を入力し、増幅、フィルタ処理、ＡＤ変換などを行う回路である。中央処理装置３０１は、記憶部３０２に格納されたプログラムを読み込み実行することで、各種の演算処理や、シースルー
ディスプレイ３２、無線通信部３０３、対象ロボット提示部３６などの制御を行うプロセッサである。記憶部３０２は、ファームウェア等のプログラム、作業者が設定した閾値等の設定パラメータ、ジェスチャ認識のための参照画像データ等を格納する不揮発性メモリと、中央処理装置３０１のワークメモリ等として利用される揮発性メモリとを有している。無線通信部３０３は、腕部ユニット４０および各ロボット２３とのあいだで無線通信を行うためのモジュールである。

【0055】

作業者端末の腕部ユニット４０は、筋電センサ４４、ＲＦＩＤリーダ４５、信号処理部４００、中央処理装置４０１、記憶部４０２、無線通信部４０３、対象ロボット提示部４６を有している。信号処理部４００は、筋電センサ４４のセンサ信号を入力し、増幅、フィルタ処理、ＡＤ変換などを行う回路である。中央処理装置４０１は、記憶部４０２に格納されたプログラムを読み込み実行することで、各種の演算処理や、無線通信部４０３、対象ロボット提示部４６などの制御を行うプロセッサである。記憶部４０２は、ファームウェア等のプログラム、各種の設定パラメータ等を格納する不揮発性メモリと、中央処理装置４０１のワークメモリ等として利用される揮発性メモリとを有している。無線通信部４０３は、頭部ユニット３０とのあいだで無線通信を行うためのモジュールである。

【0056】

ロボット２３、頭部ユニット３０、腕部ユニット４０のあいだの無線通信には、いかなる通信方式を用いてもよい。例えば、IEEE802.11、IEEE802.15、赤外線通信などを好ましく利用できる。

【0057】

（対象ロボットの識別および制御）
次に、図６のシーケンス図を参照して、本実施形態のロボット制御システムにおける対象ロボットの識別および制御の流れを説明する。以下、図１のセル生産ラインにおける三番目の作業台においてネジ止め作業を行う場合を例に挙げて説明を行う。ただし、各構成要素の符号については図２から図５で用いた符号を適宜参照することとする。

【0058】

まず、作業者がネジ止め作業の作業台２０に移動し、腕部ユニット４０で作業台２０のＩＣタグ２５をタッチする（Ｓ１０）。すると、腕部ユニット４０のＲＦＩＤリーダ４５がＩＣタグ２５に記録されているロボット２３のロボットＩＤを読み取る（Ｓ４０）。腕部ユニット４０の中央処理装置４０１は、読み取ったロボットＩＤを無線通信部４０３により頭部ユニット３０に送信する（Ｓ４１）。頭部ユニット３０の中央処理装置３０１は、腕部ユニット４０から受信したロボットＩＤを記憶部３０２に保持する（Ｓ３０）。

【0059】

続いて、頭部ユニット３０の中央処理装置３０１は、記憶部３０２からロボットＩＤに対応する識別色を読み出し、対象ロボット提示部３６をその識別色で数回点滅させた後、点灯状態にする（Ｓ３１）。また中央処理装置３０１は、無線通信部３０３により、腕部ユニット４０にロボットＩＤ又は識別色を通知する（Ｓ３２）。すると、腕部ユニット４０の中央処理装置４０１が、腕部ユニット４０に設けられた対象ロボット提示部４６をロボットＩＤに対応する識別色で数回点滅させた後、点灯状態にする（Ｓ４２）。これ以降、作業者端末は運用モードとなり、作業者による動作指示を受け付け可能な状態となる。

【0060】

図７は、運用モード中の作業者の視界の例であり、作業者がシースルーディスプレイ３２越しにロボット２３の識別色表示部２４を見たときの視界を示している。例えば、ロボット２３の識別色が青色であった場合、シースルーディスプレイ３２の周囲（対象ロボット提示部３６）が青色に点灯し、ロボット２３の識別色表示部２４と同じ色であることが視認できる。また図示しないが、腕部ユニット４０の対象ロボット提示部４６も青色に点灯する。もし作業者端末の方で識別している対象ロボットと作業者が意図しているロボットが異なる場合には、作業者端末側の点灯色と視界に入るロボット側の識別色とが一致しないので、本実施形態のような仕組みによれば、対象ロボットの識別が正しく行われてい
るかを直観的かつ即座に確認することできる。しかも、作業者端末側の点灯色とロボット側の識別色は、作業者以外の第三者（例えば、同じセル内の他の作業者、工場の管理者など）も見ることができるため、協働作業の安全およびシステムの正常動作を客観的に管理・監視することもできる。

【0061】

図６に戻って、運用モードでの処理について説明する。

【0062】

作業者は、ワークを作業台２０の所定の位置に配置し、ネジ止めの対象となる部品やケーブルを手で押さえて固定する（Ｓ１１）。そして、作業者が所定の動作指示を入力すると（Ｓ１２）、作業者端末（頭部ユニット３０及び腕部ユニット４０）がその動作指示を受け付け（Ｓ４３、Ｓ３３）、頭部ユニット３０の中央処理装置３０１がロボット２３に対し動作命令を送信する（Ｓ３４）。このとき、命令電文のなかにＳ３０で保持したロボットＩＤを記述する。動作命令はセル内の複数のロボットが受信し得るが、命令電文のなかでロボットＩＤが指定されているため、各ロボットは自分への動作命令であるか否かを判断し、自分以外への動作命令については棄却できる。

【0063】

本例の場合は、ロボット２３が動作命令を受信すると、アーム先端の電動ドライバを垂直に降下させ、作業者が押さえている部品又はケーブルのネジ止めを実行する（Ｓ２０）。ネジ止め個所が複数ある場合には、Ｓ１１〜Ｓ２０で説明した処理を繰り返す。以上で、作業者とロボット２３との間の円滑な協働作業が遂行できる。

【0064】

作業者が作業を終えて作業台２０の前を離れると（Ｓ１３）、人検知センサ２６により作業者の不存在（ロボット２３を使用し得る範囲内に作業者が存在しないこと）が検知される（Ｓ２１）。すると、ロボット２３の中央処理装置２３０が作業者端末に対し通信を切断する旨を通知する（Ｓ２２）。作業者端末は当該通知を受信すると、ロボット２３との通信を切断し、対象ロボット提示部３６、４６を消灯する（Ｓ３５、Ｓ４４）。

【0065】

（動作指示の入力）
次に、図７〜図９を用いて、図６のＳ１２、Ｓ３３、Ｓ４４における動作指示の入力及び受付処理の具体例を説明する。図８は動作指示の入力及び受付処理のフローチャートであり、図９は筋電センサとジャイロセンサの出力信号の例を示す図である。

【0066】

本実施形態の作業者端末では、前腕の筋電位の変化と頭部の動きの組み合わせで動作指示の入力を行う。具体的には、筋電位が閾値を超えた（第１の条件）後、所定の制限時間Ｔ内に、うなずき動作（首を縦に振る動作）をＸ回以上行った（第２の条件）という２つの条件が満たされた場合に、作業者によりロボットへの動作指示が入力されたと判定する。閾値、制限時間Ｔ、Ｘの値は作業者により任意に設定できる（設定モードについては後述する）。以下、制限時間Ｔ＝５秒、Ｘ＝３回という想定で説明を行う。

【0067】

図８は、作業者端末の頭部ユニット３０の中央処理装置３０１で実行される判断フローを示している。腕部ユニット４０の筋電センサ４４で検知された筋電位信号は順次頭部ユニット３０の中央処理装置３０１に送られる。中央処理装置３０１は、筋電位信号を受信すると（Ｓ８０）、筋電位が閾値を超えているか否かを判定する（Ｓ８１）。筋電位が閾値以下の場合（Ｓ８１；ＮＯ）は処理を終了し、次の筋電位信号を受信するまで待機する。筋電位が閾値を超えていた場合（Ｓ８１；ＹＥＳ）、中央処理装置３０１は経過時間を計測するためのタイマをスタートする（Ｓ８２）。

【0068】

中央処理装置３０１は、ジャイロセンサ３５から出力されるジャイロ信号（角速度）を監視し、ある閾値を超えるジャイロ信号を検出した場合に「うなずき動作」が行われたと判断し、うなずき検出回数をカウントアップする（Ｓ８３）。うなずき検出回数がＸ回でなく（Ｓ８４；ＮＯ）、かつ、タイマ値＜Ｔである場合（Ｓ８５；ＹＥＳ）、ジャイロ信号の監視を続ける。うなずき検出回数がＸ回（３回）に達したら（Ｓ８４；ＹＥＳ）、中央処理装置３０１は、作業者による動作指示の入力が行われたと判断し、ロボット２３に対し動作命令を送信する（Ｓ８６）（図６のＳ３３参照）。

【0069】

その後、中央処理装置３０１は、タイマ値とうなずき検出回数をリセットし（Ｓ８７）、処理を終了する。なお、制限時間Ｔ以内にうなずき検出回数がＸ回に到達しなかった場合も（Ｓ８５；ＮＯ）、タイマ値とうなずき検出回数をリセットし（Ｓ８７）、処理を終了する。

【0070】

図９（ａ）は、作業者より動作指示が入力され、ロボットに対し動作命令が送出された例を示している。すなわち、筋電位信号が閾値を超えた後Ｔ秒以内に、閾値を超えるジャイロ信号が３回検知されており、３回目のジャイロ信号が検知されたタイミングで、ロボットに対する動作命令が送出されている。一方、図９（ｂ）は、動作指示と認識されない例を示している。すなわち、閾値を超える筋電位信号が検知されたためタイマが動作しているが、制限時間Ｔ秒以内に１回しかジャイロ信号が検知されなかったため、ロボットへの動作命令は出力されない。例えば、作業中に偶然腕に力が入ってしまった場合などに、意図せず筋電位が上昇する場合があり得るが（誤操作ともいえる）、第２の条件である頭部の動き（うなずき回数）の未達により、誤操作が棄却され、ロボットへの動作命令の送出およびロボットの誤作動が防止される。

【0071】

本実施形態では、図７に示すように、シースルーディスプレイ３２の一部に、作業者の入力操作を支援するためのモニタ画面（提示部）７０が表示される。モニタ画面７０は、筋電センサ４４の計測値（筋電位の値）をリアルタイムに通知する筋電位モニタ７１と、うなずき検出回数と動作指示のために必要なうなずき回数Ｘの値を提示するうなずき回数モニタ７２と、うなずき動作を入力すべき制限時間のカウントダウン（残り時間）を提示する制限時間モニタ７３とを含んでいる。モニタ画面７０は、半透明のグラフィック画像を用いて、背景画像にオーバーレイ表示される。

【0072】

図７の例では、筋電位モニタ７１は筋電位の値をバー表示し、筋電位が閾値を超えたらバーの色を赤色に、閾値以下の場合は青色に表示する。作業者はこのような表示を見ることで、どの程度の力を入れれば筋電位が閾値を超えられるかを確かめながら入力操作を行うことができる。また、制限時間モニタ７３は、プログレスバーにより残り時間を表している。この表示により、作業者は、筋電位の入力（第１の条件）が成功したことと、いつまでにうなずき動作の入力を行うべきかを容易に確認できる。また、うなずき回数モニタ７２では、右側に必要なうなずき回数Ｘ（図７の例では「３」）が表示され、左側に現在のうなずき検出回数（図７の例では「２」）が表示される。この数値を確認することで、作業者は、自分の行ったうなずき動作がちゃんと検知されているか、あと何回うなずき動作を行えばよいかなどを容易に確認できる。

【0073】

なお、作業者は、シースルーディスプレイ３２上の任意の位置にモニタ画面７０を移動することができる（デフォルトのモニタ画面はディスプレイ中央に配置される）。また、モニタ画面７０の表示サイズや透明度も自由に変更できる。したがって、作業者は作業の邪魔にならないようにモニタ画面７０の表示態様を変更することができる。

【0074】

（設定モード）
次に、作業端末の設定モードについて説明する。運用モードと設定モードの切り替えは、フロントカメラ３４を利用したジェスチャ入力により行えるようにしてもよいし、頭部ユニット３０又は腕部ユニット４０にモード切替スイッチを設けてもよい。設定モードでは、頭部ユニット３０や腕部ユニット４０の記憶部に格納されている設定パラメータ（例
えば、筋電位信号の閾値、うなずき検出閾値、制限時間Ｔ、うなずき回数Ｘなど）を変更することができる。

【0075】

図１０は設定モードにおいてシースルーディスプレイ３２に表示される設定画面１００の例である。設定画面１００の上部には、ジャイロセンサ、筋電センサ、フロントカメラ等の設定対象を表すアイコン群１０１が表示されている。手又は指を左右に動かすハンドジェスチャにより、アイコン群１０１を横スクロールできる。アイコン群１０１のうち中央にあるアイコンに対応する設定ＧＵＩ１０２が設定画面１００に表示される。図１０は、筋電センサ用の設定ＧＵＩ１０２の例である。

【0076】

筋電センサ用の設定ＧＵＩ１０２では、筋電センサ４４の計測値（筋電位の値）がリアルタイムにグラフ表示されており、そのグラフ上に現在の閾値が一点鎖線で表示されている。閾値を変更する方法には「自動設定」と「手動設定」の２種類がある。ハンドジェスチャにより「自動設定」を選択すると、設定画面１００に「前腕に力を入れてください。」というガイドを出し、作業者に筋電位の入力を行わせる。ガイドに従って複数回（例えば５〜１０回）の入力を行わせた後、それらの平均及び分散を計算し、それを基に適切な閾値を計算する。一方、「手動設定」の場合は、ハンドジェスチャによりグラフ上の閾値の上げ下げを行う。

【0077】

図示しないが、うなずき検出閾値も同様の設定ＧＵＩで設定することができる。また、制限時間Ｔやうなずき回数Ｘについては、ハンドジェスチャにより入力してもよいし、うなずき動作により入力してもよい。変更された設定パラメータについては、頭部ユニット３０や腕部ユニット４０の記憶部に上書き保存される。

【0078】

（本実施形態の利点）
以上述べた本実施形態の構成によれば、作業者は「筋電位の変化」と「頭部の動き」の全く異なる２種類の操作を意図的に入力しなければならないので、偶然の動きや誤操作によるロボットの誤作動を可及的に排除できる。また、筋電位（腕に力をこめる）と頭部の動き（うなずき）であれば、作業者の自然な動きの流れで入力が可能であるとともに、仮に両手が塞がっていても入力できるため、作業効率を阻害することがない。

【0079】

また本実施形態では、シースルーディスプレイ３２にモニタ画面７０を表示し、筋電位の変化、うなずき検出回数、制限時間などを視認できるようにしたので、作業者自身が入力操作の適否をセルフチェックでき、入力操作の確実、入力スキルの向上、誤入力の抑制などに役立つ。しかも、シースルーディスプレイ３２を利用しているため、作業者はワークやロボットから視線を外すことなくモニタ画面７０を確認でき、より安全で確実な入力操作が実現できる。

【0080】

体格や体組成には個人差があるため、筋電位の値や身体の動かし方は作業者ごとのばらつきが大きい。したがって、全作業者に同一の条件（閾値など）を適用するのではなく、設定モードを設けて、個々人の身体的特徴や動きの特性などに合わせて条件を調整できるようにすることで、より安全で確実な入力操作が実現できる。

【0081】

＜その他の実施形態＞
上述した実施形態は本発明の一具体例を示したものであり、本発明の範囲をそれらの具体例に限定する趣旨のものではない。

【0082】

例えば、筋電センサ４４は前腕以外の場所に取り付けてもよい。また上述した実施形態では、筋電位が閾値を超えた後、所定時間内にうなずき動作を複数回行うことを要求したが、これは一例にすぎず、筋電位の変化と頭部の動きの組み合わせで定義される動作指示
であればどのような操作を用いてもよい。また、上述した実施形態では、ヘッドマウント型の頭部ユニット３０と腕部ユニット４０からなる作業者端末を例示したが、この構成も一例にすぎず、筋電位を検知するセンサと、頭部の動きを検知するセンサを少なくとも備えていれば、作業者端末の構成は問わない。例えば、ウェアラブルな形態に限らず、作業者が保持する（手に持つ）タイプの作業者端末でもよく、スマートフォンやタブレット端末のような携帯型コンピュータを作業者端末として利用することも好ましい。

【符号の説明】

【0083】

１０ａ、１０ｂ：作業者
１１〜１６、２０：作業台
１１ａ、１２ａ、１３ａ、１５ａ、１６ａ、２３：ロボット
２４：識別色表示部
２５：ＩＣタグ
２６：人検知センサ
３０：頭部ユニット
３２：シースルーディスプレイ
３４：フロントカメラ
３５：ジャイロセンサ
３６：対象ロボット提示部
４０：腕部ユニット
４４：筋電センサ
４５：ＲＦＩＤリーダ
４６：対象ロボット提示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】