特許 6763968 上肢動作支援装置及び上肢動作支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6763968

(24)【登録日】2020年9月14日

(45)【発行日】2020年9月30日

(54)【発明の名称】上肢動作支援装置及び上肢動作支援システム

(51)【国際特許分類】

   B25J 11/00 20060101AFI20200917BHJP

【ＦＩ】

   B25J11/00 Z

【請求項の数】18

【全頁数】34

(21)【出願番号】特願2018-553640(P2018-553640)

(86)(22)【出願日】2017年4月7日

(86)【国際出願番号】JP2017014594

(87)【国際公開番号】WO2018100760

(87)【国際公開日】20180607

【審査請求日】2019年5月31日

(31)【優先権主張番号】特願2016-235458(P2016-235458)

(32)【優先日】2016年12月2日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】506310865

【氏名又は名称】ＣＹＢＥＲＤＹＮＥ株式会社

(73)【特許権者】

【識別番号】504171134

【氏名又は名称】国立大学法人 筑波大学

(74)【代理人】

【識別番号】110002365

【氏名又は名称】特許業務法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】山海 嘉之

【審査官】 中田 善邦

(56)【参考文献】

【文献】 特開２００４−１８０８１７（ＪＰ，Ａ）

【文献】 特開２００９−２１９６４７（ＪＰ，Ａ）

【文献】 特開平１１−１９８０７５（ＪＰ，Ａ）

【文献】 特開２０１３−１０３３０６（ＪＰ，Ａ）

【文献】 特開平１１−２１００２１（ＪＰ，Ａ）

【文献】 特開２００６−０４３８７２（ＪＰ，Ａ）

【文献】 特開２００３−２１１３７７（ＪＰ，Ａ）

【文献】 特開２０１２−１０１２８４（ＪＰ，Ａ）

【文献】 特開２００２−１２７０５８（ＪＰ，Ａ）

【文献】 特開２００９−０６６６６９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００８／００７０７５２（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ２５Ｊ １／００−２１／０２，

Ａ６１Ｈ １／０２

(57)【特許請求の範囲】

【請求項1】

卓上に載置され、操作者の上肢動作を支援する上肢動作支援装置において、
前記卓上に着脱自在に固定保持され、装置本体を支持する支持部と、
前記支持部に固定端側が連結され、自由端側にエンドエフェクタが接続された多自由度を有する多関節アームと、
前記支持部、前記多関節アーム又は前記エンドエフェクタのうち少なくともいずれかに設けられ、使用時に前記操作者を含む周辺環境を撮像する撮像部と、
前記撮像部により撮像された前記周辺環境に含まれる前記操作者の上肢動作を認識する上肢動作認識部と、
前記操作者の上肢動作に伴って発生する生体信号としての電位を検出する生体信号検出部と、
前記生体信号検出部により取得された生体信号に基づいて、前記多関節アーム及び前記エンドエフェクタを前記操作者の意思に従って三次元動作させる制御部と、
前記撮像部によって撮像された前記操作者の顔画像の認識処理を実行すると同時に、当該操作者の視線を検出する視線検出部とを備え、
前記制御部は、前記上肢動作認識部による認識内容を参照するとともに、所望の切替タイミングで前記撮像部が前記操作者の顔と当該操作者の視線の延長先とを交互に撮像するように前記多関節アーム及び前記エンドエフェクタを適宜制御しながら、前記操作者の上肢動作に連動して前記多関節アーム及び前記エンドエフェクタを協調動作させる
ことを特徴とする上肢動作支援装置。

【請求項2】

前記操作者の上肢動作を、作業内容ごとに当該作業内容に応じた一連の動作の時間列からなる行動パターンとして分類する行動パターン分類部と、
前記行動パターン分類部により分類された前記各行動パターンについて、前記撮像部により撮像された周辺環境と、前記上肢動作認識部による前記操作者の上肢動作の認識内容との組合せを時系列的に繋げた行動関連データを生成する行動関連データ生成部とを備え、
前記制御部は、前記行動関連データ生成部から得られた前記行動関連データに基づいて、前記操作者の動作意思を推定しながら、前記多関節アーム及び前記エンドエフェクタを制御調整する
ことを特徴とする請求項１に記載の上肢動作支援装置。

【請求項3】

前記行動関連データ生成部は、前記視線検出部による前記操作者の視線の移動履歴を前記組合せに加えて時系列的に繋げて前記行動関連データを生成する
ことを特徴とする請求項２に記載の上肢動作支援装置。

【請求項4】

卓上に載置され、操作者の上肢動作を支援する上肢動作支援装置において、
前記卓上に着脱自在に固定保持され、装置本体を支持する支持部と、
前記支持部に固定端側が連結され、自由端側にエンドエフェクタが接続された多自由度を有する多関節アームと、
前記支持部、前記多関節アーム又は前記エンドエフェクタのうち少なくともいずれかに設けられ、使用時に前記操作者を含む周辺環境を撮像する撮像部と、
前記撮像部により撮像された前記周辺環境に含まれる前記操作者の上肢動作を認識する上肢動作認識部と、
前記操作者の上肢動作に伴って発生する生体信号としての電位を検出する生体信号検出部と、
前記生体信号検出部により取得された生体信号に基づいて、前記多関節アーム及び前記エンドエフェクタを前記操作者の意思に従って三次元動作させる制御部と、
前記操作者の上肢動作を、作業内容ごとに当該作業内容に応じた一連の動作の時間列からなる行動パターンとして分類する行動パターン分類部と、
前記行動パターン分類部により分類された前記各行動パターンについて、前記撮像部により撮像された周辺環境と、前記上肢動作認識部による前記操作者の上肢動作の認識内容との組合せを時系列的に繋げた行動関連データを生成する行動関連データ生成部とを備え、
前記制御部は、前記上肢動作認識部による認識内容を参照しながら、 前記操作者の上肢動作に連動して前記多関節アーム及び前記エンドエフェクタを協調動作させるとともに、前記行動関連データ生成部から得られた前記行動関連データに基づいて、前記操作者の動作意思を推定しながら、前記多関節アーム及び前記エンドエフェクタを制御調整する
ことを特徴とする上肢動作支援装置。

【請求項5】

前記操作者の周辺環境の音声を集音する集音部と、
前記集音部により集音された前記操作者の発話内容を解析する言語解析部とを備え、
前記制御部は、前記言語解析部により解析された前記操作者の発話内容に基づいて、当該発話内容に応じた動作内容にて前記多関節アーム及び前記エンドエフェクタを制御調整する
ことを特徴とする請求項４に記載の上肢動作支援装置。

【請求項6】

前記操作者の上肢動作を、作業内容ごとに当該作業内容に応じた一連の動作の時間列からなる行動パターンとして分類する行動パターン分類部と、
前記行動パターン分類部により分類された前記各行動パターンについて、前記撮像部により撮像された周辺環境と、前記上肢動作認識部による前記操作者の上肢動作の認識内容と、前記言語解析部による当該操作者の発話内容との組合せを時系列的に繋げた行動関連データを生成する行動関連データ生成部とをさらに備え、
前記制御部は、前記行動関連データ生成部から得られた前記行動関連データに基づいて、前記操作者の動作意思を推定しながら、前記多関節アーム及び前記エンドエフェクタを制御調整する
ことを特徴とする請求項５に記載の上肢動作支援装置。

【請求項7】

前記エンドエフェクタは、指先が互いに近接又は離反する方向に移動可能な少なくとも２本以上の指部と、前記各指部の指先にそれぞれ設けられ、当該指先に接触する作業対象物への押圧力を検出する力センサとを有し、
前記多関節アームは、前記多自由度を担保する関節ごとにそれぞれ関節角度を検出する関節角度検出部を有し、
前記制御部は、前記エンドエフェクタにより前記作業対象物を把持する際、前記各指部に対応する前記力センサの検出結果と、前記各関節に対応する前記関節角度検出部の検出結果とに基づいて、前記エンドエフェクタによる把持力を所望の目標把持力となるように制御するとともに、前記多関節アームの位置姿勢に応じて前記各指部の指先に加わる荷重が不均一であっても、前記エンドエフェクタによる把持力を適正な範囲に維持する
ことを特徴とする請求項１から６のいずれか１項に記載の上肢動作支援装置。

【請求項8】

前記制御部は、前記エンドエフェクタにより前記作業対象物を把持する際、前記各指部の表面の摩擦係数に基づき、前記各力センサへの荷重重心の位置を算出した後、当該荷重重心の移動に基づいて、前記作業対象物に対する外力を検出する
ことを特徴とする請求項７に記載の上肢動作支援装置。

【請求項9】

前記撮像部による前記エンドエフェクタの近傍及び近接対象の撮像結果から、当該エンドエフェクタによる把持対象となる作業対象物を認識する把持対象認識部と、
前記操作者によって前記エンドエフェクタによる前記作業対象物の把持動作が教示されたとき、当該エンドエフェクタの各指部の押圧力に対応する前記力センサの検出結果と、
前記把持対象認識部による認識結果とを関連付けて教示関連データを生成する教示関連データ生成部とを備え、
前記制御部は、前記撮像部により撮像された前記作業対象物と同一又は近似する作業対象物に対応する前記教示関連データを前記教示関連データ生成部から読み出して、当該教示関連データに基づいて前記エンドエフェクタの把持力を制御する
ことを特徴とする請求項７又は８に記載の上肢動作支援装置。

【請求項10】

前記操作者の上肢動作を、作業内容ごとに当該作業内容に応じた一連の動作の時間列からなる行動パターンとして分類する行動パターン分類部と、
前記行動パターン分類部により分類された前記各行動パターンについて、前記撮像部により撮像された周辺環境と、前記上肢動作認識部による前記操作者の上肢動作の認識内容と、前記教示関連データ生成部により生成された前記教示関連データとの組合せを時系列的に繋げた行動関連データを生成する行動関連データ生成部とを備え、
前記制御部は、前記行動関連データ生成部から得られた前記行動関連データに基づいて、前記操作者の動作意思を推定しながら、前記多関節アーム及び前記エンドエフェクタを制御調整する
ことを特徴とする請求項９に記載の上肢動作支援装置。

【請求項11】

前記操作者の所望の皮膚表面に取り付けられ、当該皮膚表面に対して外部刺激を付与する刺激付与部をさらに備え、
前記制御部は、前記エンドエフェクタにより前記作業対象物を把持する際、前記各指部に対応する前記力センサの検出結果に基づいて、前記エンドエフェクタによる把持力に応じたパターン及び強度の外部刺激を前記刺激付与部により前記操作者に付与する
ことを特徴とする請求項１から１０までのいずれか１項に記載の上肢動作支援装置。

【請求項12】

前記エンドエフェクタは、作業内容ごとに複数の種類が用意され、当該作業内容に応じて選択的に前記多関節アームの自由端側に対して着脱自在に取り付け可能である
ことを特徴とする請求項１から１０までのいずれか１項に記載の上肢動作支援装置。

【請求項13】

請求項２、３、４、６又は１０のいずれか１項に記載の上肢動作支援装置と、
当該上肢動作支援装置に設けられ、前記行動関連データ生成部から前記各行動パターンごとに得られた前記行動関連データと、当該行動関連データに対応する前記多関節アーム及び前記エンドエフェクタの制御調整結果を表す制御調整データとを送信する通信部と、
前記上肢動作支援装置と別体に設けられ、前記通信部から送信される前記行動関連データ及び前記制御調整データを通信回線を介して受信してデータベース化して管理サーバに格納するデータ端末装置と
を備えることを特徴とする上肢動作支援システム。

【請求項14】

前記データ端末装置は、前記管理サーバに格納されている前記行動関連データ及び前記制御調整データのデータ群について、前記各行動パターンごとに当該行動パターンと同一又は近似する行動パターンを表す前記行動関連データ及び前記制御調整データを順次更新する
ことを特徴とする請求項１３に記載の上肢動作支援システム。

【請求項15】

前記上肢動作支援装置の前記制御部は、現在の作業内容に応じた行動パターンを表す前記行動関連データ及び前記制御調整データを前記通信部を介して前記データ端末装置に送信した際、
前記データ端末装置は、前記管理サーバに格納されている前記行動関連データ及び前記制御調整データのデータ群の中から、当該作業内容に応じた行動パターンと同一又は近似する行動パターンを表す前記行動関連データ及び前記制御調整データを読み出して、前記上肢動作支援装置の前記通信部を介して前記制御部に送信する
ことを特徴とする請求項１４に記載の上肢動作支援システム。

【請求項16】

請求項９に記載の上肢動作支援装置と、
当該上肢動作支援装置に設けられ、前記教示関連データ生成部から得られた前記教示関連データを送信する通信部と、
前記上肢動作支援装置と別体に設けられ、前記通信部から送信される前記教示関連データを通信回線を介して受信してデータベース化して管理サーバに格納するデータ端末装置と
を備えることを特徴とする上肢動作支援システム。

【請求項17】

前記データ端末装置は、前記管理サーバに格納されている前記教示関連データについて、前記各作業対象物ごとに当該作業対象物と同一又は近似する作業対象物を表す前記教示関連データを順次更新する管理サーバに格納する
ことを特徴とする請求項１６に記載の上肢動作支援システム。

【請求項18】

前記上肢動作支援装置の前記制御部は、現在の前記エンドエフェクタによる把持対象となる前記作業対象物を表す前記教示関連データを前記通信部を介して前記データ端末装置に送信した際、
前記データ端末装置は、前記管理サーバに格納されている前記教示関連データの中から、当該作業対象物と同一又は近似する作業対象物を表す前記教示関連データを読み出して、前記上肢動作支援装置の前記通信部を介して前記制御部に送信する
ことを特徴とする請求項１７に記載の上肢動作支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば片麻痺者が卓上に載置したロボットアームを健常側の手に協調させながら動作可能な上肢動作支援装置及び上肢動作支援システムに適用して好適なるものである。

【背景技術】

【0002】

片麻痺者が、料理や職業動作などの卓上作業を行う際、両手による協調動作は不可能である。そのため、片手への作業負荷の集中、作業効率やその精度の低下、煩雑な作業ができないといった問題が生じる。これらは、片麻痺者のＱＯＬ（Quality of Life）の著しい低下を招き、社会参加の障害となっている。

【0003】

現在行われている対応策として、リハビリテーションによる機能改善や片麻痺者用の福祉用具の利用などの試みが行われている。しかし、一般的に上肢の麻痺は下肢に比べて回復し難い傾向があり、完全回復は全体の14％、部分回復は25％と報告されている。すなわち全体の約６割の片麻痺者は上肢機能に回復が見られない状態にある。

【0004】

一方、従来の福祉用具は、作業ごとに異なる用具を使用する必要があるため、生活現場で使用する際は複数の福祉用具を恒常的に携帯する必要がある。また、片麻痺者が福祉用具を利用することで作業の難易度を低下させることはできるが、結果的に全ての作業は非麻痺側で行われるため、作業負荷の集中を取り除くことはできない。このため、生活現場での支援機器としては適切でない。

【0005】

ここで解決方法として、片麻痺者の動作意思を理解し、健常な上肢と連動した動作支援を行うロボットアームが考えられる。例えば、キッチン内の調理作業支援のロボットアームとして、作業の候補位置や作業確率を求め、待機位置を最小化することにより、時間ロスを低減させるものが提案されている（特許文献１参照）。

【0006】

また食器の配膳や下膳を支援するロボットシステムとして、記録情報に基づき視覚センサを用いながら配膳支援を行うものが提案されている（特許文献２参照）。さらに吊下げ型協調作業ロボットとして、作業対象を撮像しながらロボットアームとの相対位置を認識して、当該相対位置に基づいて作業を行うものが提案されている（特許文献３参照）。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００８−２９６３０８号公報

【特許文献2】特表２００４−２７８１５９号公報

【特許文献3】特開２０１１−５１０５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

ところが、上述のように様々なロボットアームが開発されているが、例えば卓上スペースでの料理や職業動作における食材のカットや物の組み立て作業について、片麻痺者が健常側の手と協調動作をさせる上で、同じ環境において動作する必要がある。したがって、片麻痺者が使用するロボットアームは非麻痺側の作業領域を狭めることなく、かつ持ち運びが可能なように小型軽量である必要がある。しかしながら、本人の意思に従って実用上十分に耐えうるシステムは、現状では見当たらない。

【0009】

また片麻痺者のみならず、健常者にとっても卓上作業におけるロボットアームとの協調作業ができることが望ましい。さらには操作者の意思推定を行うとともに、学習効果ももたせることができれば、操作者に特化した専用のロボットアームを実現することが期待される。

【0010】

本発明は以上の点を考慮してなされたもので、操作者の作業効率の向上や作業負担の軽減を大幅に改善することが可能な上肢動作支援装置及び上肢動作支援システムを提案しようとするものである。

【課題を解決するための手段】

【0011】

かかる課題を解決するため本発明においては、卓上に載置され、操作者の上肢動作を支援する上肢動作支援装置において、卓上に着脱自在に固定保持され、装置本体を支持する支持部と、支持部に固定端側が連結され、自由端側にエンドエフェクタが接続された多自由度を有する多関節アームと、支持部、多関節アーム又はエンドエフェクタのうち少なくともいずれかに設けられ、使用時に操作者を含む周辺環境を撮像する撮像部と、撮像部により撮像された周辺環境に含まれる操作者の上肢動作を認識する上肢動作認識部と、操作者の上肢動作に伴って発生する生体信号としての電位を検出する生体信号検出部と、生体信号検出部により取得された生体信号に基づいて、多関節アーム及びエンドエフェクタを操作者の意思に従って三次元動作させる制御部と、撮像部によって撮像された操作者の顔画像の認識処理を実行すると同時に、当該操作者の視線を検出する視線検出部とを備え、制御部は、上肢動作認識部による認識内容を参照するとともに、所望の切替タイミングで撮像部が操作者の顔と当該操作者の視線の延長先とを交互に撮像するように多関節アーム及びエンドエフェクタを適宜制御しながら、操作者の上肢動作に連動して多関節アーム及びエンドエフェクタを協調動作させるようにした。

【0012】

この結果、上肢動作支援装置は、操作者の視線の延長先にある対象物をリアルタイムで認識しながら、操作者の意思に従うとともに当該操作者の健常側の手と協調して多関節アーム及びエンドエフェクタを動作させることができる。

【0013】

また本発明においては、卓上に載置され、操作者の上肢動作を支援する上肢動作支援装置において、卓上に着脱自在に固定保持され、装置本体を支持する支持部と、支持部に固定端側が連結され、自由端側にエンドエフェクタが接続された多自由度を有する多関節アームと、支持部、多関節アーム又はエンドエフェクタのうち少なくともいずれかに設けられ、使用時に操作者を含む周辺環境を撮像する撮像部と、撮像部により撮像された周辺環境に含まれる操作者の上肢動作を認識する上肢動作認識部と、操作者の上肢動作に伴って発生する生体信号としての電位を検出する生体信号検出部と、生体信号検出部により取得された生体信号に基づいて、多関節アーム及びエンドエフェクタを操作者の意思に従って三次元動作させる制御部と、操作者の上肢動作を、作業内容ごとに当該作業内容に応じた一連の動作の時間列からなる行動パターンとして分類する行動パターン分類部と、行動パターン分類部により分類された各行動パターンについて、撮像部により撮像された周辺環境と、上肢動作認識部による操作者の上肢動作の認識内容との組合せを時系列的に繋げた行動関連データを生成する行動関連データ生成部とを備え、制御部は、上肢動作認識部による認識内容を参照しながら、 操作者の上肢動作に連動して多関節アーム及びエンドエフェクタを協調動作させるとともに、行動関連データ生成部から得られた行動関連データに基づいて、操作者の動作意思を推定しながら、多関節アーム及びエンドエフェクタを制御調整するようにした。

【0014】

この結果、上肢動作支援装置は、操作者の意思に従うとともに当該操作者の健常側の手と協調して多関節アーム及びエンドエフェクタを動作させることができる。さらに上肢動作支援装置は、操作者の上肢動作から現在の作業内容を特定して、その作業内容に応じた行動パターンと同一又は近似する行動パターンを操作者の動作意思として推定しながら多関節アーム及びエンドエフェクタの動作を調整することができる。

【0017】

さらに本発明においては、操作者の上肢動作を、作業内容ごとに当該作業内容に応じた一連の動作の時間列からなる行動パターンとして分類する行動パターン分類部と、行動パターン分類部により分類された各行動パターンについて、環境撮像部により撮像された周辺環境と、上肢動作認識部による操作者の上肢動作の認識内容と、視線検出部による操作者の視線の移動履歴との組合せを時系列的に繋げた行動関連データを生成する行動関連データ生成部とをさらに備え、制御部は、行動関連データ生成部から得られた行動関連データに基づいて、操作者の動作意思を推定しながら、多関節アーム及びエンドエフェクタを制御調整するようにした。

【0018】

この結果、上肢動作支援装置は、操作者の上肢動作及び視線の延長先の対象物から現在の作業内容を特定して、その作業内容に応じた行動パターンと同一又は近似する行動パターンを操作者の動作意思として推定しながら多関節アーム及びエンドエフェクタの動作を調整することができる。

【0019】

さらに本発明においては、操作者の周辺環境の音声を集音する集音部と、集音部により集音された操作者の発話内容を解析する言語解析部とを備え、制御部は、言語解析部により解析された操作者の発話内容に基づいて、当該発話内容に応じた動作内容にて多関節アーム及びエンドエフェクタを協調動作させるようにした。

【0020】

この結果、上肢動作支援装置は、操作者の発話内容に応じた動作内容をリアルタイムで認識しながら、操作者の意思に従うとともに当該操作者の健常側の手との協調して多関節アーム及びエンドエフェクタを動作させることができる。

【0021】

さらに本発明においては、操作者の上肢動作を、作業内容ごとに当該作業内容に応じた一連の動作の時間列からなる行動パターンとして分類する行動パターン分類部と、行動パターン分類部により分類された各行動パターンについて、環境撮像部により撮像された周辺環境と、上肢動作認識部による操作者の上肢動作の認識内容と、言語解析部による当該操作者の発話内容との組合せを時系列的に繋げた行動関連データを生成する行動関連データ生成部とをさらに備え、制御部は、行動関連データ生成部から得られた行動関連データに基づいて、操作者の動作意思を推定しながら、多関節アーム及びエンドエフェクタを制御調整するようにした。

【0022】

この結果、上肢動作支援装置は、操作者の上肢動作及び発話内容から現在の作業内容を特定して、その作業内容に応じた行動パターンと同一又は近似する行動パターンを操作者の動作意思として推定しながら多関節アーム及びエンドエフェクタの動作を調整することができる。

【0023】

さらに本発明においては、行動関連データ生成部は、視線検出部による操作者の視線の移動履歴を組合せに加えて時系列的に繋げて行動関連データを生成するようにした。この結果、上肢動作支援装置は、操作者の上肢動作、発話内容及び視線の延長先の対象物から現在の作業内容を特定して、その作業内容に応じた行動パターンと同一又は近似する行動パターンを操作者の動作意思として推定しながら多関節アーム及びエンドエフェクタの動作を調整することができる。

【0024】

さらに本発明においては、エンドエフェクタは、指先が互いに近接又は離反する方向に移動可能な少なくとも２本以上の指部と、各指部の指先にそれぞれ設けられ、当該指先に接触する作業対象物への押圧力を検出する力センサとを有し、多関節アームは、多自由度を担保する関節ごとにそれぞれ関節角度を検出する関節角度検出部を有し、制御部は、エンドエフェクタにより作業対象物を把持する際、各指部に対応する力センサの検出結果と、各関節に対応する関節角度検出部の検出結果とに基づいて、エンドエフェクタによる把持力を所望の目標把持力となるように制御するとともに、多関節アームの位置姿勢に応じて各指部の指先に加わる荷重が不均一であっても、エンドエフェクタによる把持力を適正な範囲に維持するようにした。

【0025】

この結果、上肢動作支援装置は、指定された姿勢を維持しながら、作業対象物へのアプローチ及び把持を行うことが可能となり、作業環境における任意の位置や姿勢での動作制御を実現できる。

【0026】

さらに本発明においては、制御部は、エンドエフェクタにより作業対象物を把持する際、各指部の表面の摩擦係数に基づき、各力センサへの荷重重心の位置を算出した後、当該荷重重心の移動に基づいて、作業対象物に対する外力を検出するようにした。

【0027】

この結果、上肢動作支援装置は、作業対象物に対する操作者の働きかけを含めた外力に基づいて、エンドエフェクタに不均一荷重が加わった場合でも正確に把持力を計測することが可能となる。さらに剛性の異なる作業対象物を適切な把持力で扱うことが可能となる。

【0028】

さらに本発明においては、撮像部によるエンドエフェクタの近傍及び近接対象の撮像結果から、当該エンドエフェクタによる把持対象となる作業対象物を認識する把持対象認識部と、操作者によってエンドエフェクタによる作業対象物の把持動作が教示されたとき、当該エンドエフェクタの各指部の押圧力に対応する力センサの検出結果と、把持対象認識部による認識結果とを関連付けて教示関連データを生成する教示関連データ生成部とを備え、制御部は、撮像部により撮像された作業対象物と同一又は近似する作業対象物に対応する教示関連データを教示関連データ生成部から読み出して、当該教示関連データに基づいてエンドエフェクタの把持力を制御するようにした。

【0029】

この結果、上肢動作支援装置は、把持動作が教示された作業対象物と同一又は近似する作業対象物を認識した際、記憶された適正な把持力にて当該作業対象物を把持することが可能となる。

【0030】

さらに本発明においては、操作者の上肢動作を、作業内容ごとに当該作業内容に応じた一連の動作の時間列からなる行動パターンとして分類する行動パターン分類部と、行動パターン分類部により分類された各行動パターンについて、撮像部により撮像された周辺環境と、上肢動作認識部による操作者の上肢動作の認識内容と、教示関連データ生成部により生成された教示関連データとの組合せを時系列的に繋げた行動関連データを生成する行動関連データ生成部とを備え、制御部は、行動関連データ生成部から得られた行動関連データに基づいて、操作者の動作意思を推定しながら、多関節アーム及びエンドエフェクタを制御調整するようにした。

【0031】

この結果、上肢動作支援装置は、操作者の上肢動作及び作業対象物への把持動作から現在の作業内容を特定して、その作業内容に応じた行動パターンと同一又は近似する行動パターンを操作者の動作意思として推定しながら多関節アーム及びエンドエフェクタの動作を調整することができる。

【0032】

さらに本発明においては、操作者の所望の皮膚表面に取り付けられ、当該皮膚表面に対して外部刺激を付与する刺激付与部をさらに備え、制御部は、エンドエフェクタにより作業対象物を把持する際、各指部に対応する力センサの検出結果に基づいて、エンドエフェクタによる把持力に応じたパターン及び強度の外部刺激を刺激付与部により操作者に付与するようにした。

【0033】

この結果、操作者は、エンドエフェクタの把持力をリアルタイムで把握することができ、自己の上肢動作に反映させることが可能となる。さらに操作者は、上肢動作支援装置に対して把持動作を教示しなくても、エンドエフェクタの把持動作をフィードバック調整することも可能となる。

【0034】

さらに本発明においては、エンドエフェクタは、作業内容ごとに複数の種類が用意され、当該作業内容に応じて選択的に多関節アームの自由端側に対して着脱自在に取り付け可能である。

【0035】

さらに本発明においては、上肢動作支援装置と、当該上肢動作支援装置に設けられ、行動関連データ生成部から各行動パターンごとに得られた行動関連データと、当該行動関連データに対応する多関節アーム及びエンドエフェクタの制御調整結果を表す制御調整データとを送信する通信部と、上肢動作支援装置と別体に設けられ、通信部から送信される行動関連データ及び制御調整データを通信回線を介して受信してデータベース化して管理サーバに格納するデータ端末装置とを備えるようにした。

【0036】

この結果、上肢動作支援システムは、作業内容に応じた行動パターンについての操作者の上肢動作内容及び周辺環境と、これらに対応する多関節アーム及びエンドエフェクタの制御調整結果とを管理サーバに格納しておくことができる。

【0037】

さらに本発明においては、データ端末装置は、管理サーバに格納されている行動関連データ及び制御調整データのデータ群について、各行動パターンごとに当該行動パターンと同一又は近似する行動パターンを表す行動関連データ及び制御調整データを順次更新するようにした。

【0038】

この結果、上肢動作支援システムは、管理サーバには特定の作業内容について、作業者が何度も同様の行動パターンを繰り返した場合、その行動パターンを順次更新して格納しておくことにより、操作者固有のデータ群として蓄積することができる。

【0039】

さらに本発明においては、上肢動作支援装置の制御部は、現在の作業内容に応じた行動パターンを表す行動関連データ及び制御調整データを通信部を介してデータ端末装置に送信した際、データ端末装置は、管理サーバに格納されている行動関連データ及び制御調整データのデータ群の中から、当該作業内容に応じた行動パターンと同一又は近似する行動パターンを表す行動関連データ及び制御調整データを読み出して、上肢動作支援装置の通信部を介して制御部に送信するようにした。

【0040】

この結果、上肢動作支援システムは、管理サーバから作業内容に応じた行動パターンに最も近い行動パターンについての操作者固有のデータ群を読み出すことができ、操作者の上肢動作に最適な協調動作を多関節アーム及びエンドエフェクタに動作させることが可能となる。

【発明の効果】

【0041】

本発明によれば、操作者の上肢動作を認識しながら、当該上肢動作に連動して多関節アーム及びエンドエフェクタを協調動作させるようにして、操作者の作業効率の向上や作業負担の軽減を大幅に改善可能な上肢動作支援装置及び上肢動作支援システムを実現することができる。

【図面の簡単な説明】

【0042】

【図1】本発明の実施形態に係るロボットシステムの全体構成を示す外観図である。

【図2】同発明の実施形態に係るロボット装置の実装例を示す略線図である。

【図3】同実施形態に係るロボット装置の機能構成を示すブロック図である。

【図4】同実施形態に係る視覚認識方法の説明に供する図である。

【図5】同実施形態に係る視覚認識結果を示す図である。

【図6】別実施形態に係るロボット装置の全体構成を示す外観図である。

【図7】同発明の実施形態に係るロボット装置の実装例を示す略線図である。

【図8】力センサの外観及び概略を示す図である。

【図9】不均一荷重の計測原理の説明に供する略線図である。

【図10】不均一荷重がかかった際のセンサ断面を示す略線図である。

【図11】力センサを構築する発振系の回路図である。

【図12】力センサを構成する正極及び負極を示す上面図である。

【図13】エンドエフェクタに対する把持動作の教示状態を表す部分的な図である。

【図14】キャリブレーションの計測精度評価の説明に供する略線図である。

【図15】把持力が比較的強い場合の把持力教示と再現動作の画像を表す図である。

【図16】把持力が比較的弱い場合の把持力教示と再現動作の画像を表す図である。

【図17】荷重重心の移動量計測の説明に供する図である。

【図18】多関節アーム及びエンドエフェクタの動作過程を示す連続図である。

【図19】不均一荷重を含む計測精度評価実験の結果を表すグラフである。

【図20】均一荷重の計測精度評価実験の結果を表すグラフである。

【図21】荷重重心の計測精度の結果を表すグラフである。

【図22】力センサによって計測した把持力値を表すグラフである。

【発明を実施するための形態】

【0043】

以下図面について、本発明の一実施の形態を詳述する。

【0044】

（１）ロボットシステムの構成
図１は本実施の形態によるロボットシステム（上肢動作支援システム）１０を示し、垂直多関節型のロボット装置（上肢動作支援装置）１１と、当該ロボット装置１１との間で通信回線１２を介して双方向に各種のデータを送受信するデータ端末装置１３及び管理サーバ１４とからなる。

【0045】

ロボット装置１１は、卓上に着脱自在に載置可能な支持部２０と、当該支持部２０に水平方向に旋回可能に連結された肩部２１と、当該肩部２１に上下方向に旋回可能に連結された下腕部２２と、当該下腕部２２に上下方向に旋回可能に連結された上腕部２３と、当該上腕部２３に上下方向に旋回可能かつ捻り回転可能に連結された手首部２４と、当該手首部２４に捻り回転可能に連結されたエンドエフェクタ２５とを有する。

【0046】

すなわちロボット装置１１は、支持部２０に対して６自由度をもつ多関節アーム（肩部２１、下腕部２２、上腕部２３、手首部２４）が各軸（Ａ軸〜Ｆ軸）を回転中心として回動自在に連結され、当該多関節アーム２１〜２４の先端にエンドエフェクタ２５が取り付けられた構成からなる。

【0047】

具体的には、支持部２０と肩部２１はＡ軸を中心に回動可能に連結され、肩部２１と下腕部２２はＢ軸を中心に回動可能に連結され、下腕部２２と上腕部２３はＣ軸を中心に回動可能に連結され、上腕部２３と手首部２４はＤ軸を中心に回動可能に連結され、手首部２４自体はＥ軸を中心に回動可能であり、当該手首部２４はエンドエフェクタ２５との間でＦ軸を中心に回動可能に連結されている。

【0048】

これら支持部２０と肩部２１の関節部位、肩部２１と下腕部２２の関節部位、下腕部２２と上腕部２３の関節部位、上腕部２３と手首部２４の関節部位、手首部２４自体の関節部位、手首部２４とエンドエフェクタ２５の関節部位にはそれぞれ例えば直流サーボモータからなるアクチュエータＭＡ〜ＭＦ（後述する図３）が設けられ、図示しない伝達機構を介して回転駆動されるようになされている。

【0049】

このエンドエフェクタ２５は、操作者の作業内容ごとに複数の種類が用意されており、当該作業内容に応じて選択的に手首部２４に対して着脱自在に取り付けることができるとともに、内部にアクチュエータＭＧ（後述する図３）を有する場合は多関節アーム２１〜２４とともに駆動制御されるようになされている。例えば３本指の把持機能を有するエンドエフェクタ２５は、多関節アーム２１〜２４の動作に連動したアクチュエータ駆動により開動作又は閉動作を行うようになされている。

【0050】

また支持部２０には、制御ユニット５０が電気的に接続されるとともに、外側表面の所定部位に操作者の周辺環境を撮影するための撮像ユニット３０が設けられ、さらに周辺環境の音声を集音するための集音マイク３１が設けられている。なお撮像ユニット３０及び集音マイク３１は、多関節アーム２１〜２４の肩部２１に設けるようにしても良い。

【0051】

この撮像ユニット（環境撮像部）３０は、レーザレンジセンサ、ＲＧＢ−Ｄセンサ及び３Ｄ距離画像センサからなり、操作者の健常側の手や腕の動作を監視するようになされている。

【0052】

レーザレンジセンサは、設置位置から見た対象物に照射し、その反射光を受光して距離を算出する。これを一定角度間隔で距離を測定することにより、平面上に扇状の距離情報を最大30m、角度240度の範囲で得ることができる。

【0053】

ＲＧＢ−Ｄセンサは、ＲＧＢカラーカメラ機能に加えて、当該カメラから見た対象物までの距離を計測できる深度センサを有し、対象物の３次元スキャンを行うことができる。この深度センサは赤外線センサからなり、構造化光の単一のパターンを対象物に投影した状態で対象を撮影し、そのパラメータを用いて三角測量により画像上の各点のデプスを算出する。

【0054】

例えばＲＧＢ−Ｄセンサとして、例えばＫｉｎｅｃｔ（マイクロソフト社の商標名）を適用した場合、水平視野57度、垂直視野43度、センサ範囲は1.2m〜3.5mの範囲を撮影することが可能であり、ＲＧＢ画像は640×480、Ｄｅｐｔｈ（深度）画像は320×240画素で共に30フレーム／秒で取得できる。

【0055】

３Ｄ距離画像センサは、ＬＥＤパルスを照射し、対象物からの反射光の到達時間を画素単位で計測すると同時に取得した画像情報を重畳することにより、対象物までの距離情報を画素単位で算出する。この３Ｄ距離画像センサは、上述のＲＧＢ−Ｄセンサよりも高精度の検出能力を有し、かつレーザレンジセンサよりも視野角が広いことから、補完センサとして有用である。３Ｄ距離画像センサとして、例えばピクセルソレイユ（日本信号株式会社の商品名）を適用した場合、水平視野72度、垂直視野72度、センサ範囲は0.3ｍ〜4.0ｍの範囲を撮影することが可能である。

【0056】

さらにエンドエフェクタ２５又は多関節アーム２１〜２４の手首部２４には、撮像カメラ３２が搭載されており、多関節アーム２１〜２４の動作に応じて所望の位置で撮影し得るようになされている。

【0057】

ロボット装置１１は、支持部２０が卓上に着脱自在に載置可能であることから、図２に示すように、操作者がテーブルを前に椅子に着座した状態にて、当該テーブル上の所望位置にロボット装置１１を載置して使用することができる。特に操作者が片麻痺者である場合には、健常側の腕と反対側のテーブル上に載置すれば、片麻痺側の腕の代わりにロボット装置１１を協調動作させることが可能となる。

【0058】

（２）ロボット装置における制御ユニットのシステム構成
図３に示すように、制御ユニット５０は、ロボット装置１１全体の制御を司る制御部（ＣＰＵ:Central Processing Unit）６０と、操作者の上肢動作に伴って発生する生体信号としての電位を検出する生体信号検出部６１と、ロボット装置１１の多関節アーム２１〜２４の各関節のアクチュエータＭＡ〜ＭＤを駆動する駆動回路６２と、ロボット装置全体のシステムプログラム等が記憶された記憶部６３と、外部のデータ端末装置１３との通信を行う通信部６４とを有する。

【0059】

生体信号検出部６１は、操作者の健常側の上腕及び前腕の体表面に配置され、操作者の脳から当該上腕及び前腕に伝達された神経伝達信号を生体信号として検出し、制御ユニット５０の制御部６０に送信する。制御部６０は、生体信号検出部６１により出力された生体信号に基づいて、操作者の意思に従った上肢を動作させる動力を駆動回路６２を通じて多関節アーム２１〜２４の各関節のアクチュエータＭＡ〜ＭＦ（必要に応じてエンドエフェクタ２５のアクチュエータＭＧも含む。以下同じ。）にそれぞれ発生させる。

【0060】

これにより制御部６０は、生体信号検出部６１により取得された生体信号に基づいて、多関節アーム２１〜２４及びエンドエフェクタ２５を操作者の意思に従って三次元動作させることができる。

【0061】

また制御ユニット５０は、多関節アーム２１〜２４の各関節の状態を検出するための関節状態検出回路６５を有し、当該各関節のアクチュエータＭＡ〜ＭＧに設けられたロータリエンコーダＲＡ〜ＲＧからのパルス信号に基づいて、当該各アクチュエータＭＡ〜ＭＧの回転角度を検出するとともに、単位時間当たりの当該パルス信号数に基づいて各アクチュエータＭＡ〜ＭＧの回転速度を検出する。

【0062】

関節状態検出回路６５により検出された各アクチュエータＭＡ〜ＭＧの回転角度及び回転速度は、制御部６０及び駆動回路６２にともに供給される。

【0063】

制御部６０には、生体信号検出部６１からの生体信号と、通信部６４を介して外部のデータ端末装置１３から送信される行動指令データや行動学習データ等とに基づいて、多関節アーム２１〜２４及びエンドエフェクタ２５の各関節のアクチュエータＭＡ〜ＭＧに対する駆動指令値を生成する。

【0064】

駆動回路６２は、制御部６０から与えられる各アクチュエータＭＡ〜ＭＧへの駆動指令値と関節状態検出部６５から与えられる回転角度及回転速度とを比較し、その偏差に応じた電流をそれぞれ対応するアクチュエータＭＡ〜ＭＧに供給する。

【0065】

これにより、制御部６０は、多関節アーム２１〜２４及びエンドエフェクタ２５を操作者の意思に従うように三次元動作させることができる。

【0066】

さらに制御部６０は、ロボット装置１１の支持部２０に設けられた撮像ユニット３０からの出力に基づいて、周辺環境内に含まれる操作者の上肢動作を認識するとともに、その認識内容を参照しながら、操作者の上肢動作に連動して多関節アーム２１〜２４及びエンドエフェクタ２５を協調動作させるようになされている。

【0067】

これに加えて、制御部６０は、撮像ユニット（撮像部）３０の撮像結果に基づいて、操作者の顔を含む上半身の位置を推定し、多関節アーム２１〜２４の手首部２４又はエンドエフェクタ２５を三次元動作させながら、撮像カメラ（顔撮像部）３２を用いて当該操作者の顔を撮像する。

【0068】

そして制御部６０は、撮像カメラ３２の撮像結果から操作者の顔認識処理を実行すると同時に、当該操作者の視線を検出するようになされている。具体的には、例えば特開２００７ー２６５３６７号公報に開示されているような、顔認識処理及び視線検出方法を適用しても良い。

【0069】

すなわち顔認識処理としては、撮像画像上に設定画素数の枠からなるサブウィンドウを走査させて複数の部分画像を生成し、このうち顔である該部分画像を所定のパターン認識手法や目鼻等の特徴検出手法を用いて判別する方法が挙げられる。

【0070】

また視線検出方法としては、撮像した画像全体の中から検出した顔画像の目から複数の目特徴点を抽出するとともに 、顔を構成する部位から複数の顔特徴点を抽出した後、当該複数の目特徴点を用いて目の向きを示す目特徴量を生成するとともに、複数の顔特徴点を用いて顔の向きを示す顔特徴量を生成し、これら目特徴量と顔特徴量とを用いて視線の向きを検出する方法が挙げられる。

【0071】

このようにして、制御部６０は、所望の切替タイミングで撮像カメラ（撮像部）３２が操作者の顔と当該操作者の視線の延長先とを交互に撮像するように多関節アーム２１〜２４及びエンドエフェクタ２５を適宜制御しながら、操作者の上肢動作に連動して多関節アーム２１〜２４及びエンドエフェクタ２５を協調動作させることができる。

【0072】

さらに制御部６０は、集音マイク３１を用いて集音した操作者の周辺環境の音声に基づいて、当該操作者の発話内容を言語解析するようになされている。具体的には、例えば特開２０１０ー１９７７０９号公報に開示されているように、単語及び修飾語の組合せまで認識可能な音声認識応答技術を適用しても良い。本発明では、この音声認識応答技術に加えて、音声認識された言語を解析して操作者の発話内容を特定した後、当該発話内容と対応する動作内容を予め記憶部６３に記憶しておいた変換テーブルを用いて抽出する。

【0073】

そして制御部６０は、当該言語解析した操作者の発話内容に基づく動作内容を、多関節アーム２１〜２４及びエンドエフェクタ２５の協調動作に反映させることができる。

【0074】

なお、制御ユニット５０には、駆動用電源としてのバッテリ６６が内蔵されており、多関節アーム２１〜２４の各関節やエンドエフェクタ２５のアクチュエータＭＡ〜ＭＧや撮像ユニット３０、集音マイク３１、撮影カメラ３２などへの電源供給を行う。

【0075】

（３）ロボットシステムによる行動実行システムの構築
本実施の形態のロボットシステム１０においては、操作者の周辺環境と操作者の上肢動作とに基づいて、操作者による作業内容を一連の動作の時間列として自動的にデータベース化しておき、操作者の現在の状態から目標状態に至る行動を自律的に計画し、多関節アーム２１〜２４及びエンドエフェクタ２５を駆動して目的の行動を実現する。

【0076】

実際に人間が行動を行う場合は、多くの場合「肘を曲げる」、「肩を下げる」というような「個々の運動単位」ではなく、「包丁で食材を切る」、「食べ物を口に運ぶ」というような「作業文脈単位」で行動を計画・実行している。

【0077】

操作者との協調動作を直感的に実行させるロボットシステム１０を構築するためには、操作者自らが状況に応じて個々の動作を組み合わせて行動命令を記述して作業を指示するよりも、ロボット装置１１が現在の操作者の状況に基づいて、予め教示された動作の中から次に行われる可能性のある動作だけを操作者に作業文脈単位で選択的に提示できることが有効である。

【0078】

行動の中にある個々の動作（例えば「肘を曲げる」、「肩を下げる」など）を「ベースレベル」と定義し、それらの動作を組み合わせた作業文脈の単位（例えば「食べ物を口に運ぶ」など）を「メタレベル」の行動と定義する。

【0079】

メタレベルの行動を獲得するためには、操作者自身の状態のみならず、その周囲の環境情報の把握も同時に行うことが必要である。環境情報を把握することにより、操作者が現在置かれている状況を理解し、作業目標に対して現在の状態からどのように行動すべきかを決定することができるためである。

【0080】

具体的には、料理作業を行う場合、操作者が包丁を持った持った状態でとる行動は、まな板の上に食材がのっていれば「包丁で切る」行動を提示する一方、まな板の上に何ものっていなければ「（包丁を横に置いてから）食材をまな板の上にのせる」行動を提示する。

【0081】

本発明においては、環境情報を利用したメタレベルの行動認識として、状況を繋ぐ複数の動作の系列として行動を表現する手法のみならず、学習した行動を組み替えて新しい行動を再合成する手法も加えるようにする。

【0082】

すなわち、本発明においては、行動を個々の動作に分解し、動作の区切り点における作業環境の状況を状態とすることで作業環境の状態を動作で繋いだ状態遷移図として行動を表現する手法（以下、これを「StateMap」という）を用いる。

【0083】

この手法により行動間の時系列的な情報のつながりは失われるものの、それゆえ動作の因果関係に基づいた、学習したことがない行動をも自動的にデータベースに獲得することが可能になり、利用者の入力の負担を最小限に抑えられる。

【0084】

行動をStateMapとして表現する事による利点は、従来のいわば「ベースレベル」の動作を取り扱う動作表現手法に対し、ベースレベルの動作の組み合わせにより構成される「作業文脈（メタレベル）」つまり直感的な目的単位で行動を取り扱うことが可能になることである。

【0085】

このようにロボットシステム１０においては、操作者の周辺環境と操作者の上肢動作の認識内容とを状態とした状態遷移図（StateMap）を用いて、基礎的な動作からなる料理作業（包丁による食材のカット作業）を、目的を提示するだけで自律的に実行する行動実行システムを実現する。

【0086】

この行動実行システムは、「認識系」、「獲得系」、「生成系」の3つの部位によって実現される。認識系では、撮像内容から周辺環境を含む操作者の一連の行動を動作の区切り点における状態で分解し、視覚面から行動を認識する。獲得系では、行動を自動的に統合したStateMapとして表現し獲得する。生成系では、作成したStateMapの状態を適切に組み直して与えられた作業行動を生成する。

【0087】

（３−１）「StateMap」を用いた行動のメタレベル表現手法
環境と行動を同時に認識し、行動をロボット装置１１に実現可能な動作の系列に分解する。認識した動作の切り替わり点における操作者と周辺環境の位置座標情報を「状態」とする。操作者と周辺環境の状況は動作によって関係付けられ、行動はある状況から別の状況へと変化させて行く動作の系列として表現される。

【0088】

この結果、別々の状況における異なる目的の行動は、動作情報だけから同じと判断されることなく、意味の異なる行動として表現できる。例えば「ボタンを押す」動作に対して、一方は「エレベータの操作」行動であり、他方は「商品を購入する」行動として区別される。

【0089】

行動は動作の切り替わり点で区切られているため、個々の動作の逆動作を生成することで容易に逆に向かう行動を生成することが可能である。これによって、少ない情報からでも多くの動作を獲得でき、より柔軟に行動を生成できる。

【0090】

認識したすべての行動とその逆行動は同一の状態をまとめ、一つの有向グラフの形に統合して表現する。これにより、学習した行動は、時系列情報を消失し、動作と環境の因果関係を表す状態遷移図としてメタレベルで表現できる。

【0091】

このような表現を用いることで、学習した行動の再現だけでなく、学習経験を利用し、新しい行動を生成することも可能となる。複数の人間、環境で作成されたStateMapは、共通する状態をまとめることで統合できる。これにより行動の要素が増加し、より柔軟に行動を生成できる。

【0092】

StateMapを利用することによりロボット装置１１に実現させたい状態を提示すれば、現在の状態から所望の状態までの最短動作経路を探索し、分解された複数の動作を再合成して一連の行動を生成できる。またこのとき教示した作業の組み合わせとしての新たな作業についても学習した行動を応用して実現できる。

【0093】

（３−２）認識系の実現方法
ロボットシステム１０において、操作者の上肢動作と周辺環境と撮像ユニット３０の撮像結果から同時に認識する視覚認識方法について説明する。

【0094】

制御ユニット５０内の制御部６０は、撮像ユニット（レーザレンジセンサ、ＲＧＢ−Ｄセンサ及び３Ｄ距離画像センサ）３０の撮像結果から、動画像における撮像範囲の中から背景画像を抽出する。すなわち数フレーム分の撮影画像の平均値から背景画像か否かを判断する。その際、当該平均値より高い値の平均と低い値の平均を算出し、時間の長い方の平均を背景値とする（図４（Ａ））。

【0095】

続いて制御部６０は、動画像の中から色差を利用して動体を抽出する。輝度差ではなく、RGBの値の差（色差）を利用したのは、色の違いの方が輝度差に対してより多くの情報を利用できるからである。さらに照明や日光による輝度変化の影響を受けにくいため、一連の作業を連続的に認識する際に輝度変化に対して強いという利点もある。
色差h（t）（0≦h（t）≦255）は、次式（１）のように表される。

【数1】

ここで、L（t）とその平均値は、それぞれ次式（２）及び（３）にて表される。

【数2】

【数3】

【0096】

そして制御部６０は、動画像の中から抽出した動体領域の面重心を求め、その軌跡を操作者の運動軌跡として検出する。これは操作者が同時に２人以上現れない場合を考慮したものである。

【0097】

その後、制御部６０は、撮像領域から物体領域のレイヤーを分離して当該物体の位置を検出する。すなわち、撮像領域内に物体が置かれたとき、次式（４）に示す分離フィルタ演算を実施することによって物体の領域を分離して位置を検出する（図４（Ｂ））。

【数4】

【0098】

また物体が動かされたとき、分離されていた物体の領域は、次式（５）に示す結合フィルタ演算によって動体の領域に結合される（図４（C））。

【数5】

【0099】

なお、上述の式（４）及び（５）において、φ（k）out、φ（k）inが1以上のとき、各フィルタは有効となり、物体領域の分離、結合が行われる。

【0100】

続いて制御部６０は、運動軌跡と物体位置変化から操作者の上肢動作を判別する。すなわちロボット装置１１に実現可能な動作を元に操作者の上肢動作を分解する。具体的には制御部６０は、Open HRP（Open Architecture Humanoid Robotics Platform）シミュレータを用いてロボット装置１１の多関節アーム２１〜２４及びエンドエフェクタ２５に実現可能な基本動作に置き換えて認識させる。

【0101】

すなわち制御部６０は、一定期間分の重心軌道を抽出して、その重心軌道の開始時の座標と終了時の座標とを保存しておく。そして終了時の座標と開始時の座標についてXY平面にて所定の閾値との大小を比較することにより基本動作を認識する。そして認識した基本動作が連続性を考慮して基本動作の組み合わせ部分を置き換える。このように制御部６０は、一定時間抽出した物体の面重心軌道の間の軌道波形について条件分岐によって基本動作を判別することが可能となる。

【0102】

このようにして制御部６０は、上述の視覚認識方法を用いて、操作者の上肢動作及び周辺環境の認識を行うことにより、操作者の上肢動作及び周辺環境内の物体の座標をほぼ正確に認識することが可能となる。

【0103】

実験結果によれば、図５（Ａ）のようにテーブル上に２つのカップが載置されている様子を撮像しておき、上述の視覚認識方法によれば、図５（Ｂ）にて物体（カップ）ごとにレイヤーを分離して認識した後、合成すれば、図５（Ｃ）のように、２つのカップの位置を自動的に認識することができた。

【0104】

（３−３）獲得系の実現方法
次に制御部６０は、認識した操作者の上肢動作と環境情報から行動をStateMapとして自動的に記述する。これによって時系列上の複数の行動がどのように関係付けられ、どのような行程を踏んでいるのか、つまり行動の意味付けが自動的に行われる。また、StateMapとして記述することで、新しい行動の自動生成が可能となる。

【0105】

まず制御部６０は、視覚認識方法によって認識した動作の切り替わり点における操作者の健常側の手や腕と周辺環境内の物体との位置座標情報を状態として生成する。この位置座標は、撮像ユニットから得られた映像の２次元座標情報である。

【0106】

行動を動作と動作による環境状態の遷移として表現すると、制御部６０は、個々の動作の逆動作を作成して連結することにより、逆向きの行動を生成することができる。具体的には制御部６０は、Open HRPシミュレータを用いてロボット装置１１の多関節アーム２１〜２４及びエンドエフェクタ２５に実現可能な基本動作について、所定の対応表に従い逆動作を作成する。

【0107】

状態を構成する操作者の上肢や周辺環境内の物体の座標がほぼ同一の場合は、同一の状態としてまとめられ、２つの行動は統合することができる。このような行動の統合によってStateMapが自動的に作成される。このStateMapは、図示しないが、状態のリスト構造と、状態の接続番号に対応する動作の内容を記述した行動データベースによって構成される。

【0108】

（３−４）生成系の実現方法
制御部６０は、操作者の意思である目標状態が入力されると、現在の状態を基準にStateMapから過去に経験した状況とマッチングをとり、その状態を結ぶ経路を探索し、行動を生成する。このように制御部６０は、StateMapを利用することにより、多関節アーム２１〜２４及びエンドエフェクタ２５に実現して欲しい状況について、現在の状態からの最短動作経路を探索し、複数の動作の並びとして一連の行動を獲得できる。またこのとき、教示した作業の組み合わせとしての新たな作業についても学習した行動を応用して実現できる。

【0109】

なお、行動は人と物体の二次元座標を引数として持つ動作命令の系列として生成されており、これを三次元のシミュレータ（Open HRP）においてロボット装置１１に命令として与えるために、系の変換が行われるようになされている。例えば、操作者の上肢を上げ下げする動作については、動作前後の腕の重心の高さをテーブル上からの高さとして与えたり、物体の載置や離脱については、物体を認識した座標からテーブル上の置く場所の位置を判別したりする。

【0110】

（３−５）「StateMap」による行動データベースを用いた行動の自動再生方法
制御部６０は、上述したStateMapで表現された行動データベースを用いることにより、操作者の次の行動を予測提示し、目的の行動を選択させることが可能となる。StateMapには既に自動的に前後の関係と関連付けてデータベース化されているため、制御部６０は、次に実現したい状態を選択すれば、行動手順を把握して途中の動作を自動生成しながら行動を再現することができる。

【0111】

具体的にStateMapによる行動データベースが行動シーケンスの自動生成がどのように実装されるかを説明する。行動データベースには、料理作業において、各状態は手先の３次元空間における位置情報として保存される。

【0112】

料理作業を開始する場合、「まな板の上に食材（例えば大根）が載置されている状態」から開始し、StateMapを用いた場合、自動的に前後の関係と関連付けてデータベース化されているため、次に実現される状態は、「エンドフェクタが食材を押さえつける状態」、「操作者が食材の位置を調整する状態」、「操作者が包丁を用いてカットし始める状態」のいずれかであると予測できる。

【0113】

操作者がさらに先の状態を目標として指定した場合はそこにいたる状態遷移のパスを探索し行動を実現できる。例えば「操作者が食材の位置を調整する状態」から「操作者が包丁を用いて食材を全てカットする状態」を目標状態とすると、状態遷移マップの経路検索を行って、「操作者が食材の位置を調整する状態」から「エンドエフェクタ２５が食材を押さえつける状態」、「操作者が包丁を用いて食材をカットする状態」、「エンドエフェクタ２５が食材を端の方にずらして保持する状態」と順に移動していくように自動的に動作を計画できる。

【0114】

ある状態から次の状態に進む場合に、特定の行動とこれと異なる行動との２通り存在する場合には、選択が必要な分岐のみを操作者に追加して選択させることが解消できる。

【0115】

このように上肢動作支援システムは、制御部６０は、現在の状態を常に把握しており、StateMapを用いて、今の状態から遷移できる状態だけを探索しながら、目的の状態に至る動作を順次実行することができ、操作者の操作の負担をより軽減した知能的な自律システムが実現できる。

【0116】

（４）本実施の形態によるロボット装置の動作
本実施の形態において、ロボット装置１１を着脱自在に卓上に固定保持しておき、操作者の意思に従って当該操作者の上肢動作に多関節アーム２１〜２４及びエンドエフェクタ２５を連動させる際、撮像ユニット（環境撮像部）３０により制御部（上肢動作認識部）６０は操作者の周辺環境を認識すると同時に当該操作者の上肢動作を認識する。

【0117】

これによりロボット装置１１は、現在の作業環境（台所やリビング等）を把握すると同時に操作者による作業内容（料理や食事等）を特定（又は推定）することができる。そしてロボット装置１１は、操作者の上肢動作の認識内容を参照しながら、当該上肢動作に連動して多関節アーム２１〜２４及びエンドエフェクタ２５を協調動作させる。

【0118】

この結果、ロボット装置１１は、操作者の意思に従うとともに当該操作者の健常側の手とを協調して多関節アーム２１〜２４及びエンドエフェクタ２５を動作させることができる。

【0119】

またロボット装置は、操作者の上肢動作を、作業内容ごとに当該作業内容に応じた一連の動作の時間列からなる行動パターンとして分類しておき、当該分類された各行動パターンについて、撮像ユニットにより撮像した操作者の周辺環境と、当該操作者の上肢動作の認識内容との組合せを時系列的に繋げた行動関連データを生成する。ロボット装置は、行動関連データに基づいて、操作者の動作意思を推定しながら、多関節アーム２１〜２４及びエンドエフェクタ２５を制御調整する。

【0120】

この結果、ロボット装置１１は、操作者の上肢動作から現在の作業内容を特定して、その作業内容に応じた行動パターンと同一又は近似する行動パターンを操作者の動作意思として推定しながら多関節アーム２１〜２４及びエンドエフェクタ２５の動作を調整することができる。

【0121】

さらにロボット装置は、多関節アーム２１〜２４の手首部２４又はエンドエフェクタ２５に設けられた撮像カメラ３２を用いて操作者の顔を撮像して、当該撮像結果から制御部（視線検出部）６０は顔認識処理を実行すると同時に当該操作者の視線を検出する。

【0122】

続いてロボット装置１１は、所望の切替タイミングで撮像カメラ３２が操作者の顔と当該操作者の視線の延長先とを交互に撮像するように多関節アーム２１〜２４及びエンドエフェクタ２５を適宜制御しながら、操作者の上肢動作に連動して多関節アーム２１〜２４及びエンドエフェクタ２５を協調動作させる。

【0123】

この結果、ロボット装置１１は、操作者の視線の延長先にある対象物をリアルタイムで認識しながら、操作者の意思に従うとともに当該操作者の健常側の手との協調して多関節アーム２１〜２４及びエンドエフェクタ２５を動作させることができる。

【0124】

さらにロボット装置１１は、操作者の上肢動作を、作業内容ごとに当該作業内容に応じた一連の動作の時間列からなる行動パターンとして分類しておき、当該分類された各行動パターンについて、撮像ユニット３０により撮像した操作者の周辺環境と、当該操作者の上肢動作の認識内容と、操作者の視線の移動履歴との組合せを時系列的に繋げた行動関連データを生成する。

【0125】

そしてロボット装置１１は、行動関連データに基づいて、操作者の動作意思を推定しながら、多関節アーム２１〜２４及びエンドエフェクタ２５を制御調整する。この結果、ロボット装置１１は、操作者の上肢動作及び視線の延長先の対象物から現在の作業内容を特定して、その作業内容に応じた行動パターンと同一又は近似する行動パターンを操作者の動作意思として推定しながら多関節アーム２１〜２４及びエンドエフェクタ２５の動作を調整することができる。

【0126】

さらにロボット装置１１は、集音マイク３１を用いて操作者の周辺環境の音声を集音して、当該集音結果から操作者の発話内容を解析した後、当該発話内容に応じた動作内容にて多関節アーム２１〜２４及びエンドエフェクタ２５を協調動作させる。この結果、ロボット装置１１は、操作者の発話内容に応じた動作内容をリアルタイムで認識しながら、操作者の意思に従うとともに当該操作者の健常側の手との協調して多関節アーム２１〜２４及びエンドエフェクタ２５を動作させることができる。

【0127】

さらにロボット装置１１は、操作者の上肢動作を、作業内容ごとに当該作業内容に応じた一連の動作の時間列からなる行動パターンとして分類しておき、分類された各行動パターンについて、環境ユニット３０により撮像された周辺環境と、当該操作者の上肢動作の認識内容と、操作者の発話内容との組合せを時系列的に繋げた行動関連データを生成する。

【0128】

そしてロボット装置１１は、行動関連データに基づいて、操作者の動作意思を推定しながら、多関節アーム２１〜２４及びエンドエフェクタ２５を制御調整することにより、操作者の上肢動作及び発話内容から現在の作業内容を特定して、その作業内容に応じた行動パターンと同一又は近似する行動パターンを操作者の動作意思として推定しながら多関節アーム２１〜２４及びエンドエフェクタ２５の動作を調整することができる。

【0129】

これに加えてロボット装置１１は、視線検出部による操作者の視線の移動履歴を組合せに加えて時系列的に繋げて行動関連データを生成するようにした。この結果、ロボット装置１１は、操作者の上肢動作、発話内容及び視線の延長先の対象物から現在の作業内容を特定して、その作業内容に応じた行動パターンと同一又は近似する行動パターンを操作者の動作意思として推定しながら多関節アーム２１〜２４及びエンドエフェクタ２５の動作を調整することができる。

【0130】

またロボットシステム１０においては、ロボット装置１１において生成した各行動パターンごとに得られた行動関連データと、当該行動関連データに対応する多関節アーム２１〜２４及びエンドエフェクタ２５の制御調整結果を表す制御調整データとを通信回線１２を介して外部のデータ端末装置１３に送信する。

【0131】

この結果、ロボットシステム１０は、作業内容に応じた行動パターンについての操作者の上肢動作内容及び周辺環境と、これらに対応する多関節アーム２１〜２４及びエンドエフェクタ２５の制御調整結果とを管理サーバ１４に格納しておくことができる。

【0132】

さらにデータ端末装置１３は、管理サーバ１４に格納されている行動関連データ及び制御調整データのデータ群について、各行動パターンごとに当該行動パターンと同一又は近似する行動パターンを表す行動関連データ及び制御調整データを順次更新する。

【0133】

この結果、ロボットシステム１０は、管理サーバ１４には特定の作業内容について、作業者が何度も同様の行動パターンを繰り返した場合、その行動パターンを順次更新して格納しておくことにより、操作者固有のデータ群として蓄積することができる。

【0134】

さらにロボット装置１１は、現在の作業内容に応じた行動パターンを表す行動関連データ及び制御調整データを通信回線１２を介してデータ端末装置１３に送信した際、データ端末装置１３は、管理サーバ１４に格納されている行動関連データ及び制御調整データのデータ群の中から、当該作業内容に応じた行動パターンと同一又は近似する行動パターンを表す行動関連データ及び制御調整データを読み出して、ロボット装置１１に送信する。

【0135】

この結果、ロボットシステム１０は、管理サーバ１４から作業内容に応じた行動パターンに最も近い行動パターンについての操作者固有のデータ群を読み出すことができ、操作者の上肢動作に最適な協調動作を多関節アーム２１〜２４及びエンドエフェクタ２５に動作させることが可能となる。

【0136】

（５）本実施の形態によるエンドエフェクタの把持力制御方法
本発明においては、ロボット装置１１は、操作者の上肢動作に連動して多関節アーム２１〜２４及びエンドエフェクタ２５を協調動作させる際、当該エンドエフェクタ２５の把持力を作業対象物に合わせて適正な範囲に維持するようになされている。

【0137】

図１との対応部分に同一符号を付して示す図６において、ロボット装置７０は、エンドフェクタ７１の構成が異なることを除いて、図１に示すロボット装置１１とほぼ同様の構成を有する。

【0138】

エンドエフェクタ７１は、指先が互いに近接又は離反する方向に移動可能な３本の指部７１Ａ〜７１Ｃと、前記各指部７１Ａ〜７１Ｃの指先にそれぞれ設けられ、当該指先に接触する作業対象物への押圧力を検出する力センサ７２Ａ〜７２Ｃとを有する。

【0139】

制御ユニット５０は、多関節アーム２１〜２４における多自由度を担保する関節ごとにそれぞれ関節角度を検出する関節角度検出部として、図３に示す関節状態検出回路６５を適用する。また、エンドエフェクタ７１の各指部７１Ａ〜７１Ｃは、図３のエンドエフェクタ２５と同様にアクチュエータＭＧによりそれぞれ把持方向又はその逆方向に可動するようになされている。

【0140】

そして制御ユニット５０の制御部６０は、エンドエフェクタ７１により作業対象物を把持する際、各指部７１Ａ〜７１Ｃに対応する力センサ７２Ａ〜７２Ｃの検出結果と、各関節に対応する関節角度検出部の検出結果とに基づいて、エンドエフェクタ７１による把持力を所望の目標把持力となるように制御する。

【0141】

ロボット装置７０において、エンドエフェクタ７１による作業対象物の可搬質量は0.3〔ｋｇ〕とする。国際生活機能分類（ＩＣＦ）を用いた日常生活の分析によると、日常生活におけるモノを持ち上げるという動作において、300〔ｇ〕以上のモノを持ち上げるのは約10〔％〕であると報告されている。このため、300〔ｇ〕のモノを持ち上げることができれば日常生活の90〔％〕をカバーできると考えられることを考慮したものである。

【0142】

また図７に示すように、ロボット装置７０については卓上での作業を想定し、必要作業領域を一般的な作業シートの大きさである300〔ｍｍ〕×450〔ｍｍ〕とする。このような要求仕様に基づき、ロボット装置７０は、３指のエンドエフェクタ７１を持つリーチ600〔ｍｍ〕、全体重量2.5〔ｋｇ〕程度の小型軽量となることが望ましい。

【0143】

さらにエンドエフェクタ７１の各指部７１Ａ〜７１Ｃの先端には、力センサ７２Ａ〜７２Ｃが組み込まれており、その指表面には、剛性特性が人肌に近いとされるゲルシートが貼り付けられ、さらにその表面を摩擦係数が比較的高いポリウレタン樹脂によって覆うようになされている。

【0144】

ロボット装置７０の多関節アーム２１〜２４及びエンドエフェクタ７１の制御のために、いわゆるピーパー（D.L. Pieper）の方法を用いて、任意の位置姿勢を実現する目標関節角度を求める。これに基づき、各アクチュエータＭＡ〜ＭＧに対して角度制御を行うことにより、エンドエフェクタ７１を任意の位置姿勢に制御可能（逆運動学に基づく軌道制御可能）となる。

【0145】

このピーパー（D.L. Pieper）の方法とは、６由度のロボットアームについて、６つの関節のうち連続した３つの関節がすべて回転関節であり、かつ、それら３つの回転軸の延長線が一点で交わるような構造の場合、逆運動学を解析的に求める方法である。

【0146】

続いてロボット装置７０のエンドエフェクタ７１が作業対象物を把持する際、各指部７１Ａ〜７１Ｃの表面には不均一荷重が加わる。ここで、不均一荷重とは、力センサ７２Ａ〜７２Ｃの中心以外の部分に荷重の重心位置が存在するものをいう。

【0147】

作業対象物の把持状態において発生把持力を検出するために、力センサ７２Ａ〜７２Ｃは不均一荷重であっても計測可能であることが必要である。また、作業対象物に対する操作者の働きかけを含めた外力を検出できる必要がある。力センサ７２Ａ〜７２Ｃによって計測される力は、把持力と外力の合成力であるため、力センサ７２Ａ〜７２Ｃの荷重重心が計測できれば、操作者の働きかけを含めた外力が検出可能となる。

【0148】

作業対象物と接するエンドエフェクタ７１の指部７１Ａ〜７１Ｃの指表面の摩擦係数μは0.75〜1.15であるため、300〔ｇ〕の物体を把持するためには２μＦ＞0.3×9.8を満たさなければならない。このため、最大必要把持力Ｆmaxは摩擦係数が最小値のとき1.96〔Ｎ〕となる。また、一般的に人がモノを把持する際には、必要最低限の力の1.4倍程度の力を発揮することが報告されている。従って、力センサ７２Ａ〜７２Ｃは、人の把持力における最大値までを計測範囲として、1.96×1.4〔Ｎ〕＝2.744〔Ｎ〕（＝280〔ｇｆ〕）までの計測を要求仕様とし、計測範囲を０〜2.94〔Ｎ〕（＝０〜300〔ｇｆ〕）とする。

【0149】

本実施の形態によるロボット装置７０では、エンドエフェクタ７１の各指部７１Ａ〜７１Ｃの先端に組み込まれる力センサ７２Ａ〜７２Ｃとして、それぞれ静電容量式力センサを用いる。この静電容量式力センサは、不均一荷重を含む把持力及び荷重重心を計測することが可能なように、図８（Ａ）〜（Ｃ）に示すように、４つのゴムシリンダＲＣ１〜ＲＣ４によって可動電極（負極）ＮＥの四隅を支え、固定電極（正極）に４つの電極（ｃｈ）ＰＥ１〜ＰＥ４を有する。

【0150】

まず、不均一荷重の計測原理について説明する。図９に示す断面図であるｘｚ座標系において、ｘ方向に微小な傾きδが発生している場合を考える。ε_０は真空の誘電率であり、電極板のそれぞれの辺の長さをａ、ｂとすると、この場合の微小静電容量ｄＣは、次の式（６）となる。

【数6】

【0151】

従って全体の静電容量Ｃは、式（６）をｘ方向に積分すると、次の式（７）となる。

【数7】

【0152】

この式（７）において、δ≪ｄのとき、静電容量Ｃは、次の式（８）と近似できる。

【数8】

【0153】

求められる計測荷重範囲内において、ゴムシリンダが線形バネに近似できるとすると、不均一荷重であっても荷重が同一であれば距離ｄは一定となるため、静電容量の変化量も一定となる。この静電容量の変化量を力の大きさに変換すれば、荷重が不均一であっても力の大きさを計測可能となる。

【0154】

次に、荷重重心の計測方法について説明する。不均一荷重がかかった際の力センサ７２Ａ〜７２Ｃの断面図を図１０に示す。ここではｘ方向に傾いた場合についての式を求めるが、ｙ方向にも同様に適用可能である。まず、各チャンネルの中央に力がかかっていると仮定した時の力Ｆ１’とＦ２’を計算する。実際は左右の端にあるゴムシリンダに対して力がかかっているので、各ゴムシリンダにかかっている力はそれぞれ式（９）及び（１０）となる。

【数9】

【数10】

【0155】

従って合力Ｆにかかっている地点αは、次の式（１１）となる。

【数11】

【0156】

これをｘ方向とｙ方向に対して適用することで、合力Ｆがかかっている地点、すなわち荷重重心の位置を算出する。

【0157】

本発明の力センサ７２Ａ〜７２Ｃは、エンドエフェクタ７１の指部７１Ａ〜７１Ｃに組み込むため、比較的小型に構成されている。静電容量は式（８）により電極板の面積に比例するため、非常に微小なものとなる。この微小な静電容量の変化を計測するために力センサ７２Ａ（７２Ｂ、７２Ｃ）がもつ４つのコンデンサとシュミットトリガインバータを用いて、図１１に示す発振系を構築し、一定時間におけるパルスをカウントすることにより静電容量の変化を発振周波数の変化として求める。

【0158】

静電容量と発振周波数の関係式は、次の式（１２）により、静電容量の増加（減少）を発振周波数の減少（増加）として求められることがわかる。

【数12】

【0159】

この式（１２）において、Ｃ_{ｓｅｎｓｏｒ}は力センサ７２Ａ（７２Ｂ、７２Ｃ）のもつコンデンサの静電容量、αはシュミットトリガインバータによる発振定数、Ｒは抵抗、ｆは発振周波数、Ｃ_０は発振周波数をカウントしやすい周波数に調整するための静電容量を表す。

【0160】

電極（ｃｈ）ごとに発振周波数として計測した静電容量の変化と荷重の関係式を求めることで、各ゴムシリンダが支える荷重が求まる。各ゴムシリンダが支える荷重の和が把持力値となり、上述の式（１１）によって荷重重心の位置が求まる。

【0161】

ここで図１２に実際に作製した固定電極（正極）（センサ下面を表す図１２（Ａ））ＰＥ１〜ＰＥ４、可動電極（負極）（センサ上面を表す図１２（Ｂ））ＮＥを示す。各電極ごとのゴムシリンダはショア硬さ２７のゴムライク・マテリアルを用いて３Ｄプリンタによって造形した。各部材の接着はシリコーン系接着剤を用いた。発振系と計測系の間でパルスを伝達する経路（配線）が長いほど外部ノイズや配線の動きや曲がりによる抵抗値の変化が大きくなり、計測精度の低下を招く。このため、発振周波数の計測系を小型な基板にて実現し、エンドエフェクタの指部に組み込み、Ａ／Ｄ変換した値を制御層に伝達することでノイズ対策とした。

【0162】

続いて、各々の力センサ７１Ａ〜７１Ｃの中心部に垂直荷重を加えるためのキャリブレーションについて説明する。発振周波数として計測した静電容量の変化を圧力値に変換するために、荷重と静電容量の関係式をキャリブレーションによって導出・設定する必要がある。荷重の計測原理により、センサ中心部に対する垂直荷重によってキャリブレーションが可能となる。

【0163】

上述の図８（Ａ）〜（Ｃ）に示したように、力センサ７１Ａ〜７１Ｃは、それぞれ４つのゴムシリンダによって可動電極（負極）が支えられている。不均一荷重において、１つのゴムシリンダに集中する最大荷重は300〔ｇ〕となる。キャリブレーションでは荷重をセンサの中心に与えて行うため、0〜1,200〔ｇ〕まで200〔ｇ〕ずつ分銅に乗せ、各荷重における初期パルス数（荷重０〔ｇ〕時）からの減少量を記録する。以上の手順を５回繰り返し、パルス数の減少量の平均を求め、荷重−パルス数の減少量のグラフをプロットする。そして、４ｃｈ（４つの電極）分それぞれの近似式を求め、キャリブレーションを完了する。２次関数によって近似式を求めた結果、決定係数Ｒ^２は0.99979となった。

【0164】

まず、次の式（１３）に示すように、目標把持力値Ｆ_{ｔａｒｇｅｔ}と現在の把持力値Ｆ_ｎｏｗの差分Ｆ_ｄｉｆｆを求める。

【数13】

【0165】

この差分の把持力値Ｆ_ｄｉｆｆをフィードバックし、角度制御の次の目標角度θ_ｔ＋１を増減させることで目標把持力での把持を実現する。この目標角度θ_ｔ＋１は次の式（１４）のように表される。

【数14】

【0166】

この式（１４）において、ｆ_ｔｈ１及びｆ_ｔｈ２は閾値を表し、Δθ_１及びΔθ_２は制御パラメータを表す。

【0167】

ロボット装置７０におけるエンドエフェクタ７１による把持力を教示するため、図１３に示すように、操作者は作業対象物をエンドエフェクタ７１の上から覆うように一緒に把持する。その際、制御ユニット５０の制御部６０は、各指部７１Ａ〜７１Ｃに対応する力センサ７２Ａ〜７２Ｃが計測した把持力を記憶する。これにより作業対象物ごとに適切な把持力を教示することが可能となる。

【0168】

次にロボット装置７０におけるエンドエフェクタ７１による把持力の計測精度を評価するための実験を行う。逆運動学に基づく多関節アーム２１〜２４及びエンドエフェクタ７１の位置及び姿勢の制御が可能であることを、座標が既知の対象物に対して指定した姿勢を維持してアプローチ及び把持を行うことで確認する。

【0169】

荷重は図１４に示す９箇所に、それぞれ上述したようなキャリブレーションにより力センサ７２Ａ〜７２Ｃの中心部に垂直荷重を加えるものとする。おもりは分銅に荷重の受け皿の重さを加えた82.6〔ｇ〕、132.6〔ｇ〕、182.6〔ｇ〕、232.6〔ｇ〕、282.6〔ｇ〕、332.6〔ｇ〕の計６種類を用いる。荷重の受け皿におもりを乗せ、力センサ７２Ａ〜７２Ｃによる荷重及び荷重重心座標の計測を行った後、おもりを取り除く作業を各おもりに対して１回ずつ計６回行うことを１試行とする。センサの中心位置に関しては、均一荷重に対する計測精度を評価するため５試行ずつ行い、その他の箇所については各１試行ずつ行う。

【0170】

作業対象物の把持を行い、各力センサ７２Ａ〜７２Ｃの計測荷重値から指定された把持力に対してどの程度の精度で把持が行えたか確認する。実験開始から５〔ｓ〕にてエンドエフェクタ７１の指部７１Ａ〜７１Ｃの閉動作を開始し、20〔ｓ〕にて指の開動作を開始する。25〔ｓ〕まで把持力値を記録して実験を終了する。なお、作業対象物の形状は一般的な把持の評価に用いられる円柱とした（図１３）。

【0171】

図１５（Ａ）及び図１６（Ａ）に示すように、作業対象物に対して強弱２パターンの把持力を教示する。作業対象物は日用品の中でも比較的剛性が低く、把持力の強弱が変形量に現れやすいスポンジとした。その後、図１５（Ｂ）及び図１６（Ｂ）に示すように、教示した強弱２パターンの把持力による作業対象物の把持を行わせる。把持力の教示と再現動作における把持の変形を画像により確認すると、教示した把持力によって、異なる量の変形が観測された。

【0172】

続いて図１７に示すように、荷重重心の移動検出が可能であることを確認するために、把持した円柱の上面と底面に外力を与えた際に、エンドエフェクタ７１に組み込まれた各力センサ７１Ａ〜７１Ｃによって計測される荷重重心のｙ方向の移動量を計測する。まず下方向への力（Downward Force）を８秒間を与え、その後上方向への力（Upward Force）を８秒間与える。上下それぞれの力を与えている間の荷重重心を平均し、評価を行う。

【0173】

ロボット装置７０における多関節アーム２１〜２４及びエンドエフェクタ７１の動作過程を図１８（Ａ）〜（Ｅ）に示す。ロボット装置７０の多関節アーム２１〜２４及びエンドエフェクタ７１は、逆運動学に基づく軌道制御によって、指定された姿勢を維持しながら対象物へのアプローチ及び把持を行い得ることを確認できた。

【0174】

計測精度評価実験の結果として、図１９（Ａ）及び（Ｂ）に、エンドエフェクタ７１に組み込まれた各力センサ７２Ａ〜７２Ｃによって計測された荷重から付加された荷重を差し引いた値の関係を示す。丸点はエラーの標本平均、上下バーはエラーの標準偏差である。図１９（Ａ）は不均一荷重を含む計測誤差、図１９（Ｂ）は均一荷重の計測誤差の結果を示している。実験結果より、開発した力センサ７２Ａ〜７２Ｃはエラーの標本平均-0.052〔Ｎ〕、標準偏差0.088〔Ｎ〕の計測精度であることが確認された。また、均一荷重については、エラーの標本平均-0.004〔Ｎ〕、標準偏差0.076〔Ｎ〕であった。

【0175】

図２０に荷重重心の計測精度の結果を示す。実験結果により、0.81〔Ｎ〕の荷重に対してはエラーの標本平均-2.47〔ｍｍ〕、標準偏差6.38〔ｍｍ〕、1.30〔Ｎ〕の荷重に対してはエラーの標本平均-0.03〔ｍｍ〕、標準偏差1.48〔ｍｍ〕、1.79〔Ｎ〕の荷重に対してはエラーの標本平均0.12〔ｍｍ〕、標準偏差1.63〔ｍｍ〕、2.28〔Ｎ〕の荷重に対してはエラーの標本平均-0.05〔ｍｍ〕、標準偏差2.37〔ｍｍ〕、3.77〔Ｎ〕の荷重に対してはエラーの標本平均-0.14〔ｍｍ〕、標準偏差1.14〔ｍｍ〕、3.26〔Ｎ〕の荷重に対してはエラーの標本平均-0.0〔ｍｍ〕、標準偏差1.6〔ｍｍ〕であった。

【0176】

エンドエフェクタ７１に組み込まれた各力センサ７２Ａ〜７２Ｃによって計測した把持力値を図２１に示す。５〔ｓ〕経過時点においてエンドエフェクタ７１の指部７１Ａ〜７１Ｃの閉動作が開始される。ある時刻ｔ１にてエンドエフェクタ７１と作業対象物とが接触し把持力が増加した。そのとき目標把持力を追従し、20〔ｓ〕経過時において指部の開動作とともに把持力は減少している。ここで、目標把持力1.47〔Ｎ〕に対して15〔ｓ〕から20〔ｓ〕までの間の把持力値は平均1.489〔Ｎ〕、エラーの標本平均0.019〔Ｎ〕、標準偏差0.050〔Ｎ〕であった。力センサ７２Ａ〜７２Ｃによる計測精度と合わせて、システム全体としての把持力制御における精度はエラーの標本平均0.033〔Ｎ〕、標準偏差の0.138〔Ｎ〕となった。

【0177】

試験中の荷重重心のｙ方向の位置を図２２に示す。力を与える前のyの位置の平均は-3.1〔ｍｍ〕であった。また、下方向の力を与えているときのｙ方向の位置は平均は-7.0〔ｍｍ〕、上方向の力を与えているときのｙ方向の位置は平均2.6〔ｍｍ〕であった。

【0178】

このようにロボット装置７０において、多関節アーム２１〜２４及びエンドエフェクタ７１を指定された姿勢を保ちつつ作業対象物へのアプローチ及び把持を行い得たことから、逆運動学に基づく多関節アーム２１〜２４及びエンドエフェクタ７１の位置及び姿勢の制御が実現できていることが確認された。これにより作業環境における任意の位置及び姿勢での制御が可能なロボット装置７０を実現できたことがわかる。

【0179】

さらにロボット装置７０は、エンドエフェクタ７１により作業対象物を把持する際、各指部７１Ａ〜７１Ｃの表面の摩擦係数に基づき、各力センサ７２Ａ〜７２Ｃへの荷重重心の位置を算出した後、当該荷重重心の移動に基づいて、作業対象物に対する外力を検出することにより、当該検出結果に基づいて、多関節アーム２１〜２４の位置姿勢に応じて各指部７１Ａ〜７１Ｃの指先に加わる荷重が不均一であっても、エンドエフェクタ７１による把持力を適正な範囲に維持することができる。

【0180】

なおロボット装置７０においては、撮像部（撮像ユニット３０及び撮像カメラ３２のいずれか一方又は両方）によるエンドエフェクタ７１の近傍及び近接対象の撮像結果から、当該エンドエフェクタ７１による把持対象となる作業対象物を制御部（把持対象認識部）６０が認識するようにしてもよい。

【0181】

そして制御部６０は、操作者によってエンドエフェクタ７１による作業対象物の把持動作が教示されたとき、当該エンドエフェクタ１７の各指部７１Ａ〜７１Ｃの押圧力に対応する力センサ７２Ａ〜７２Ｃの検出結果と、把持対象認識結果とを関連付けて教示関連データを生成して、記憶部６３に記憶しておき、その後に撮像部により撮像された作業対象物と同一又は近似する作業対象物に対応する教示関連データを記憶部６３から読み出して、当該教示関連データに基づいてエンドエフェクタ７１の把持力を制御する。

【0182】

このようにロボット装置７０では、作業対象物に合わせて適切な把持力でエンドエフェクタ７１に把持動作をさせることができるとともに、操作者からの教示による把持力調整スキルを習得させることが可能となる。この結果、生活現場に存在する剛性の異なる作業対象物を適切な把持力で扱うことも可能となる。

【0183】

（６）他の実施形態
本実施の形態においては、上肢動作支援装置としてのロボット装置１１（７０）を、６自由度をもつ垂直多関節型のロボットアームとして適用した場合について述べたが、本発明はこれに限らず、操作者の上肢動作に協調動作させることができれば、片麻痺者のみならず健常者にとっての第三の手として、種々の構造からなるロボット装置に広く適用するようにしても良い。

【0184】

また本実施の形態においては、ロボット装置１１（７０）の多関節アーム２１〜２４の手首部２４（自由端）側に取り付けるエンドエフェクタ２５（７１）を、図１（図６）のような３本指の把持機能を有する構成のものを適用した場合について述べたが、本発明はこれに限らず、エンドエフェクタ２５（７１）を作業内容ごとに複数種類を用意しておき、当該作業内容に応じて選択的に多関節アーム２１〜２４の自由端側に対して着脱自在に取り付けるようにしても良い。このエンドエフェクタ２５（７１）は、単なる治具構成にしても良く、また制御部６０の制御下において多関節アーム２１〜２４の動作に連動したアクチュエータ駆動により開動作又は閉動作を行う構成にしても良い。

【0185】

さらに本実施の形態においては、ロボット装置１１の撮像カメラ３２を、多関節アーム２１〜２４の自由端側又はエンドエフェクタ２５に搭載するようにした場合について述べたが、本発明はこれに限らず、別途単体で撮像カメラ３２をロボット装置１１に近い場所に設置しておくようにしても良く、さらには操作者自身にメガネ等に組み込んで頭部に装着させるようにしても良い。

【0186】

これにより制御部６０は、所望の切替タイミングで操作者の顔と当該操作者の視線の延長先とを交互に撮像するように多関節アーム２１〜２４及びエンドエフェクタ２５を適宜制御する必要がなくて済み、常時、操作者の顔を撮像することによって視線検出を継続して行うことが可能となる。

【0187】

また本発明による撮像部は、支持部２０に設けられた撮像ユニット３０と、多関節アーム２１〜２４又はエンドエフェクタ２５（７１）のうち少なくともいずれかに設けられた撮像カメラ３２とを適用した場合について述べたが、本発明はこれに限らず、撮像ユニット３０又は撮影カメラ３２のいずれか一方又はその組み合わせなど、使用時に操作者を含む周辺環境を撮像することが可能であれば、種々の撮像手段を広く適用することができる。

【0188】

さらに本実施の形態においては、操作者の上肢動作を作業内容ごとに当該作業内容に応じた一連の動作の時間列からなる行動パターンとして分類する行動パターン分類部と、各行動パターンについて周辺環境と操作者の上肢動作の認識内容との組合せを時系列的に繋げた行動関連データを生成する行動関連データ生成部とを、制御ユニット５０内の制御部６０が記憶部６３を行動データベースとして上述のStateMapを記述することにより実行するようにした場合について述べたが、本発明はこれに限らず、制御部６０の制御に基づいて同様の処理を実行できれば、種々の手法を適用することができる。

【0189】

さらに本実施の形態においては、ロボット装置７０にて、操作者の所望の皮膚表面に取り付けられ、当該皮膚表面に対して外部刺激を付与する刺激付与部（図示せず）をさらに備え、制御部６０は、エンドエフェクタ７１により作業対象物を把持する際、各指部７１Ａ〜７１Ｃに対応する力センサ７２Ａ〜７２Ｃの検出結果に基づいて、エンドエフェクタ７１による把持力に応じたパターン及び強度の外部刺激を刺激付与部により操作者に付与するようにしてもよい。

【0190】

この結果、操作者は、エンドエフェクタ７１の把持力をリアルタイムで把握することができ、自己の上肢動作に反映させることが可能となる。さらに操作者は、上肢動作支援装置に対して把持動作を教示しなくても、エンドエフェクタ７１の把持動作をフィードバック調整することも可能となる。

【0191】

さらに本実施の形態においては、関節角度検出部として、関節状態検出回路６５を適用した場合について述べたが、本発明はこれに限らず、関節ごとにアクチュエータとともに角度センサを組み込んでおき、当該各角度センサの検出結果から直接関節角度を検出するようにしてもよい。また加速度センサ（ジャイロセンサ）を用いて各関節の位置や姿勢を検出することにより、エンドエフェクタ７１が作業対象物を斜めに把持しているか否かを把握できるようにしてもよい。

【符号の説明】

【0192】

１０……ロボットシステム、１１、７０……ロボット装置、１２……通信回線、１３……データ端末装置、１４……管理サーバ、２０……支持部、２１……肩部、２２……下腕部、２３……上腕部、２４……手首部、２５、７１……エンドエフェクタ、３０……撮像ユニット、３１……集音マイク、３２……撮像カメラ、５０……制御ユニット、６０……制御部、６１……生体信号検出部、６２……駆動回路、６３……記憶部、６４……通信部、６５……関節状態検出回路、６６……バッテリ、７１Ａ〜７１Ｃ……指部、７２Ａ〜７２Ｃ……力センサ、ＭＡ〜ＭＧ……アクチュエータ、ＲＡ〜ＲＧ……ロータリエンコーダ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】