ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-09
(45)【発行日】2024-12-17
(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20241210BHJP
A61B 5/107 20060101ALI20241210BHJP
A61B 5/11 20060101ALI20241210BHJP
B25J 15/08 20060101ALI20241210BHJP
【ＦＩ】
G06F3/01 514
A61B5/107 300
A61B5/11 230
B25J15/08 J
【請求項の数】
16
(21)【出願番号】P 2022505987
(86)(22)【出願日】2021-03-03
(86)【国際出願番号】 JP2021008299
(87)【国際公開番号】W WO2021182264
(87)【国際公開日】2021-09-16
【審査請求日】2024-02-13
(31)【優先権主張番号】P 2020041728
(32)【優先日】2020-03-11
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】西岡 勇人
(72)【発明者】
【氏名】奥 貴紀
(72)【発明者】
【氏名】古屋 晋一
【審査官】酒井 優一
(56)【参考文献】
【文献】米国特許出願公開第２０１５／０１３０６９６（ＵＳ，Ａ１）
【文献】特開２０１６－０８３０００（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１５／０２９７９３４（ＵＳ，Ａ１）
【文献】特開２００１－１００９０６（ＪＰ，Ａ）
【文献】特開２０００－１３２３０５（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１４／００３１６９８（ＵＳ，Ａ１）
【文献】特表２０１３－５３５０３９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ａ６１Ｂ ５／１０７
Ａ６１Ｂ ５／１１
Ｂ２５Ｊ １５／０８
(57)【特許請求の範囲】
【請求項1】
非接触センサを含み、手指の少なくとも一部の関節の角度に応じて変化する前記非接触センサから前記手指までの距離を検出し、検出した前記距離に基づいて前記関節の角度を非接触で検出する検出部と、前記検出部で検出された前記関節の角度に基づいて、前記手指の姿勢を推定する推定部と、
を備え、
前記非接触センサは、光を照射する発光素子と、前記光の反射光を検出する受光素子とを備え、
前記発光素子は、前記手指の節に対して光を照射し、
前記受光素子は、前記手指の節による前記光の反射光を検出し、
前記検出部は、
前記受光素子によって検出された反射光の強度に基づいて、前記手指までの距離を検出し、
前記非接触センサは、人差し指、中指、薬指及び小指のうちの少なくとも１つの中節に設けられ、
前記発光素子は、前記手指の末節及び基節のうちの少なくとも一方に対して光を照射し、
前記受光素子は、前記手指の末節及び基節のうちの少なくとも一方による前記光の反射光を検出し、
前記検出部は、
前記反射光の強度に基づいて算出された前記手指の末節と前記非接触センサとの距離に基づいて、前記手指の中節に対する前記手指の末節の相対角度を前記手指のＤＩＰ関節の角度として算出し、
前記推定部は、
前記手指の中節に対する前記手指の基節の相対角度を前記手指のＰＩＰ関節の角度として算出し、前記手指の前記ＤＩＰ関節の角度と前記ＰＩＰ関節の角度とに基づいて、前記手指の姿勢を推定する、
情報処理装置。
【請求項2】
前記手指の中節の重力方向に対する傾きを検出するための第１姿勢センサをさらに備え、前記推定部は、
前記手指のＰＩＰ関節の角度と、前記第１姿勢センサによって検出された前記手指の中節の前記重力方向に対する傾きとに基づいて、前記手指のＭＰ関節の角度を算出する、
請求項１に記載の情報処理装置。
【請求項3】
手背の重力方向に対する傾きを検出するための第２姿勢センサをさらに備え、前記推定部は、
前記第２姿勢センサによって検出された前記手背の前記重力方向に対する傾きに基づいて、前記手背に対する前記手指の基節の相対角度を前記ＭＰ関節の角度として算出する、
請求項２に記載の情報処理装置。
【請求項4】
前記第２姿勢センサは、手背のうち、人差し指と中指の基骨上であって、ＭＰ関節から手首の間の領域に設けられる、請求項３に記載の情報処理装置。
【請求項5】
手首の重力方向に対する傾きを検出するための第３姿勢センサをさらに備え、前記推定部は、
前記第３姿勢センサによって検出された前記手首の重力方向に対する傾きと、前記第２姿勢センサによって検出された前記手背の重力方向に対する傾きとに基づいて、前記手背に対する前記手首の重力方向に対する傾きを前記手首の傾き角度として算出する、
請求項３に記載の情報処理装置。
【請求項6】
前記第１姿勢センサは、前記手指の内転または外転の前記重力方向に対する傾きを検出し、前記第２姿勢センサは、掌部の内転または外転の前記重力方向に対する傾きを検出し、
前記推定部は、
前記第１姿勢センサによって検出された前記手指の内転または外転の前記重力方向に対する傾きと、前記第２姿勢センサによって検出された前記掌部の内転または外転の前記重力方向に対する傾きとに基づいて、前記手背に対する前記手指の内転または外転の相対角度に関する情報を算出する、
請求項３に記載の情報処理装置。
【請求項7】
前記第１姿勢センサは、９軸センサである、請求項２に記載の情報処理装置。
【請求項8】
前記第２姿勢センサは、９軸センサである、請求項３に記載の情報処理装置。
【請求項9】
前記第３姿勢センサは、９軸センサである、請求項５に記載の情報処理装置。
【請求項10】
平行リンクを用いた二重平行四辺形構造のＲＣＭ（Remote Center of Motion）機構と、手指の内転または外転の回転に合わせて前記ＲＣＭ機構を回転させる回転機構と、
前記ＲＣＭ機構が備える２つの平行四辺形構造の連結点と対角に位置する第１頂点に対して固定され、手指を保持する保持部材と、
前記連結点と対角に位置する第２頂点に一方の端が固定された第１リンクと、
前記第１リンクの他端に第１球ジョイントにより一方の端が連結された第２リンクと、
前記第２リンクの他端に第２球ジョイントにより一方の端が連結された第３リンクと、
を備え、
前記第１リンクと前記第２リンクと前記第３リンクとは、４節リンク構造を構成する、
外骨格ロボットをさらに備える、
請求項１に記載の情報処理装置。
【請求項11】
前記外骨格ロボットは、モータをさらに備え、前記第３リンクの他端は、前記モータの回転軸に固定される、
請求項１０に記載の情報処理装置。
【請求項12】
前記回転機構の回転軸と前記ＲＣＭ機構の回転軸とが、前記外骨格ロボットの装着者の手首に近い方から前記回転機構の回転軸、前記ＲＣＭ機構の回転軸の順に配置される、請求項１０に記載の情報処理装置。
【請求項13】
前記回転機構の回転軸は、前記外骨格ロボットの装着者の手指のＭＰ関節に位置し、前記ＲＣＭ機構の回転軸は、前記外骨格ロボットの装着者の手指のＭＰ関節からＰＩＰ関節を臨む方向に前記手指のＭＰ関節から所定の範囲内に位置する、
請求項１０に記載の情報処理装置。
【請求項14】
前記推定部は、前記外骨格ロボットの状態と、前記検出部で検出された前記関節の角度に基づいて、前記手指の姿勢を推定する請求項１０に記載の情報処理装置。
【請求項15】
非接触センサを用いて、手指の少なくとも一部の関節の角度に応じて変化する前記非接触センサから前記手指までの距離を検出し、検出した前記距離に基づいて前記関節の角度を非接触で検出し、検出した前記関節の角度に基づいて、前記手指の姿勢を推定する
ことを含む情報処理方法であって、
前記非接触センサは、光を照射する発光素子と、前記光の反射光を検出する受光素子とを備え、
前記発光素子は、前記手指の節に対して光を照射し、
前記受光素子は、前記手指の節による前記光の反射光を検出し、
前記受光素子によって検出された反射光の強度に基づいて、前記手指までの距離を検出し、
前記非接触センサは、人差し指、中指、薬指及び小指のうちの少なくとも１つの中節に設けられ、
前記発光素子は、前記手指の末節及び基節のうちの少なくとも一方に対して光を照射し、
前記受光素子は、前記手指の末節及び基節のうちの少なくとも一方による前記光の反射光を検出し、
前記関節の角度を非接触で検出することでは、前記反射光の強度に基づいて算出された前記手指の末節と前記非接触センサとの距離に基づいて、前記手指の中節に対する前記手指の末節の相対角度を前記手指のＤＩＰ関節の角度として算出し、
前記手指の姿勢を推定することでは、前記手指の中節に対する前記手指の基節の相対角度を前記手指のＰＩＰ関節の角度として算出し、前記手指の前記ＤＩＰ関節の角度と前記ＰＩＰ関節の角度とに基づいて、前記手指の姿勢を推定する、
情報処理方法。
【請求項16】
非接触センサを用いて、手指の少なくとも一部の関節の角度に応じて変化する前記非接触センサから前記手指までの距離を検出し、検出した前記距離に基づいて前記関節の角度を非接触で検出する検出処理と、前記検出処理で検出された前記関節の角度に基づいて、前記手指の姿勢を推定する推定処理と、
をコンピュータに実行させる情報処理プログラムであって、
前記非接触センサは、光を照射する発光素子と、前記光の反射光を検出する受光素子とを備え、
前記発光素子は、前記手指の節に対して光を照射し、
前記受光素子は、前記手指の節による前記光の反射光を検出し、
前記検出処理は、
前記受光素子によって検出された反射光の強度に基づいて、前記手指までの距離を検出し、
前記非接触センサは、人差し指、中指、薬指及び小指のうちの少なくとも１つの中節に設けられ、
前記発光素子は、前記手指の末節及び基節のうちの少なくとも一方に対して光を照射し、
前記受光素子は、前記手指の末節及び基節のうちの少なくとも一方による前記光の反射光を検出し、
前記検出処理は、
前記反射光の強度に基づいて算出された前記手指の末節と前記非接触センサとの距離に基づいて、前記手指の中節に対する前記手指の末節の相対角度を前記手指のＤＩＰ関節の角度として算出し、
前記推定処理は、
前記手指の中節に対する前記手指の基節の相対角度を前記手指のＰＩＰ関節の角度として算出し、前記手指の前記ＤＩＰ関節の角度と前記ＰＩＰ関節の角度とに基づいて、前記手指の姿勢を推定する、
情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【0002】
従来、楽器演奏者や伝統工芸職人や料理人、外科医などの卓越した手指の巧緻動作を他者（弟子など）に伝達し、他者の熟達を支援する目的で、手指の動作を記録および再生する技術が知られている。例えば、３軸加速度センサおよび３軸ジャイロセンサを備えた小型のセンサを手指の各関節に取り付けて、手指の動作を計測する技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１４－５４４８３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記の従来技術では、手指の動作を適切に計測することができるとは限らない。例えば、楽器演奏や外科手術などの巧緻な手指運動を行う際には、指先の細かな感覚が必要とされる。ところが、例えば、上記の従来技術では、手指の関節の角度を計測するには手指の関節にセンサを取り付ける必要があるため、センサの装着によって手指の巧緻動作が阻害される恐れがある。したがって、上記の従来技術では、手指の動作を適切に計測することができるとは限らない。
【0005】
そこで、本開示では、手指の動作を適切に計測することができる情報処理装置、情報処理方法及び情報処理プログラムを提案する。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本開示に係る一形態の情報処理装置は、手指の少なくとも一部の関節の角度を非接触で検出する検出部と、前記検出部で検出された前記関節の角度に基づいて、前記手指の姿勢を推定する推定部と、を備える。
【図面の簡単な説明】
【0007】
【図1】本開示の第１の実施形態に係る情報処理の一例を示す図である。
【図2】同実施形態に係る情報処理システムの構成例を示す図である。
【図3】同実施形態に係る情報処理装置の構成例を示す図である。
【図4】同実施形態に係る手指センサの一例を示す図である。
【図5】同実施形態に係る手指センサの手指部分のユニットについて説明するための図であり、ユニット全体を横方向から見たときの図である。
【図6】同実施形態に係る手指センサの手指部分のユニットについて説明するための図であり、ユニットの指先側の部分を拡大して横方向から見たときの図である。
【図7】同実施形態に係る手指の関節角度の算出方法の一例を示す図である。
【図8】同実施形態に係る手指の内転・外転角度の算出方法の一例を示す図である。
【図9】同実施形態に係る外骨格ロボットの斜視図である。
【図10】同実施形態に係る外骨格ロボットの側面図である。
【図11】同実施形態に係る外骨格ロボットの１本分の手指に対応する外骨格ユニットについて説明するための図である。
【図12】同実施形態に係る外骨格ロボットの１本分の手指に対応する外骨格ユニットが備えるＲＣＭ機構について説明するための図である。
【図13】同実施形態に係る外骨格ロボットの上面図である。
【図14】同実施形態に係る情報処理手順を示すフローチャートである。
【図15】同実施形態の変形例に係る手指センサの一例を示す図である。
【図16】同実施形態の変形例に係る手指センサの一例を示す図である。
【図17】同実施形態の変形例に係る手指センサの一例を示す図である。
【図18】同実施形態の変形例に係る手指センサの一例を示す図である。
【図19】同実施形態の変形例に係る手指センサの一例を示す図である。
【図20】同実施形態の変形例に係る手指センサの一例を示す図である。
【図21】同実施形態の変形例に係る外骨格ロボットの斜視図である。
【図22】同実施形態の変形例に係る外骨格ロボットの側面図である。
【図23】同実施形態の変形例に係る外骨格ロボットの上面図である。
【図24】同実施形態の変形例に係る外骨格ロボットの底面図である。
【図25】本開示の第２の実施形態に係る情報処理の一例を示す図である。
【図26】同実施形態に係る情報処理装置の構成例を示す図である。
【図27】同実施形態に係る情報処理の流れを概念的に説明するための図である。
【図28】同実施形態に係る情報処理手順を示すフローチャートである。
【図29】同実施形態に係る情報処理手順を示すフローチャートである。
【図30】同実施形態に係る情報処理手順を示すフローチャートである。
【図31】実施形態に係る処理結果を利用者の端末装置に表示する際の画面の一例を示す図である。
【図32】実施形態に係る処理結果を利用者の端末装置に表示する際の画面の一例を示す図である。
【図33】情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【0008】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【0009】
以下に示す項目順序に従って本開示を説明する。
０．はじめに
１．第１の実施形態
１．１．情報処理システムの概要
１．２．情報処理装置の構成例
１．３．情報処理システムの動作例
１．４．変形例
１．４．１．手指センサ
１．４．２．外骨格ロボット
２．第２の実施形態
２．１．情報処理システムの概要
２．２．情報処理装置の構成例
２．３．情報処理システムの動作例
３．その他
４．効果
５．ハードウェア構成
０．はじめに
１．第１の実施形態
１．１．情報処理システムの概要
１．２．情報処理装置の構成例
１．３．情報処理システムの動作例
１．４．変形例
１．４．１．手指センサ
１．４．２．外骨格ロボット
２．第２の実施形態
２．１．情報処理システムの概要
２．２．情報処理装置の構成例
２．３．情報処理システムの動作例
３．その他
４．効果
５．ハードウェア構成
【0010】
［０．はじめに］
楽器演奏者や伝統工芸職人、料理人などの卓越した手指の巧緻動作の記録および再生は、熟練者の技能を他者（弟子など）に伝達する上で非常に重要である。また、技能の熟達支援においても、高速な手指の運動を記録し、利用者に提示することは，直感的な暗黙知の伝達に非常に有効である。
楽器演奏者や伝統工芸職人、料理人などの卓越した手指の巧緻動作の記録および再生は、熟練者の技能を他者（弟子など）に伝達する上で非常に重要である。また、技能の熟達支援においても、高速な手指の運動を記録し、利用者に提示することは，直感的な暗黙知の伝達に非常に有効である。
【0011】
しかしながら、高速で巧緻な手指の運動の記録には、高い空間分解能と高い時間分解能が要求される。一方で、精密な計測のためにデバイスを手指に直接付けると、巧緻動作の阻害をしてしまうという問題があった。
【0012】
そこで、本発明では、手指に直接デバイスを装着する方式でありながら、巧緻動作の阻害の程度が小さい計測デバイスと外骨格ロボットを用いたシステムを提案する。
【0013】
［１．第１の実施形態］
［１．１．情報処理システムの概要］
ここから、図１を用いて、本開示の第１の実施形態に係る情報処理の概要を説明する。図１は、本開示の第１の実施形態に係る情報処理の一例を示す図である。第１の実施形態に係る情報処理は、図１に示す情報処理装置１００によって行われる。
［１．１．情報処理システムの概要］
ここから、図１を用いて、本開示の第１の実施形態に係る情報処理の概要を説明する。図１は、本開示の第１の実施形態に係る情報処理の一例を示す図である。第１の実施形態に係る情報処理は、図１に示す情報処理装置１００によって行われる。
【0014】
図１の説明に先立って、図２を用いて、本開示の第１の実施形態に係る情報処理システムの構成について説明する。図２は、本開示の第１の実施形態に係る情報処理システムの構成例を示す図である。第１の実施形態に係る情報処理システム１は、図２に示すように、情報処理装置１００と、アプリサーバ１０と、端末装置２０とを含む。情報処理装置１００とアプリサーバ１０と端末装置２０とは、所定のネットワークＮを介して、有線または無線により通信可能に接続される。なお、図２に示す情報処理システム１には、複数の情報処理装置１００と複数のアプリサーバ１０と複数の端末装置２０とが含まれてもよい。
【0015】
アプリサーバ１０は、情報処理装置１００によって推定された手指の特徴量に関する情報を情報処理装置１００から取得する。アプリサーバ１０は、手指の特徴量に関する情報を取得すると、手指の特徴量に関する情報をユーザに対して提示するためのコンテンツを生成する。続いて、アプリサーバ１０は、コンテンツを生成すると、生成したコンテンツを端末装置２０に配信する。
【0016】
端末装置２０は、ユーザによって利用される情報処理装置である。例えば、端末装置２０は、スマートフォンや、タブレット型端末や、ノート型ＰＣや、デスクトップＰＣや、携帯電話機や、ＰＤＡ等の装置であってもよい。図１に示す例においては、端末装置２０がスマートフォンである場合を示す。
【0017】
端末装置２０は、情報処理装置１００によって推定された手指の姿勢や位置に関する情報をユーザに対して提示する。具体的には、端末装置２０は、アプリサーバ１０に対してコンテンツの配信要求を送信する。また、端末装置２０は、アプリサーバ１０からコンテンツを受信する。端末装置２０は、アプリサーバ１０からコンテンツを受信すると、アプリサーバ１０から受信したコンテンツを出力する。
【0018】
情報処理装置１００は、第１の実施形態に係る情報処理を行うサーバ装置である。情報処理装置１００は、手指センサ１１０が備えるフォトリフレクタから、手指に照射された光が手指によって反射された反射光の強度に関するセンサ情報を取得する。また、情報処理装置１００は、手指センサ１１０が備える中節の９軸姿勢センサから、手指の中節の地表面に対する絶対角度に関するセンサ情報を取得する。また、情報処理装置１００は、手指センサ１１０が備える手背の９軸姿勢センサから、手背の地表面に対する絶対角度に関するセンサ情報を取得する。続いて、情報処理装置１００は、取得したセンサ情報に基づいて、手指の特徴量に関する情報として、手指のＤＩＰ関節、ＰＩＰ関節、またはＭＰ関節の角度を推定する。また、情報処理装置１００は、推定した手指の特徴量に関する情報をユーザに対して提示する。例えば、情報処理装置１００は、推定した手指の特徴量に関する情報をアプリサーバ１０に送信して、アプリサーバ１０を介してユーザの端末装置２０に推定した手指の特徴量に関する情報を提示する。また、情報処理装置１００は、外骨格ロボット１２０を用いて、推定した手指の特徴量に関する情報をユーザに対して提示する。
【0019】
以下、図１を用いて、第１の実施形態に係る情報処理の概要を説明する。図１では、情報処理装置１００のセンサ情報処理部１５１は、手指センサ１１０からセンサ情報を取得する。また、情報処理装置１００の推定部１５２は、センサ情報処理部１５１が取得したセンサ情報に基づいて、手指の特徴量に関する情報を推定する。例えば、推定部１５２は、手指の関節の角度、手指の関節の平均角速度、最大角速度、手指の関節の可動域などの手指の特徴量に関する情報を推定する。続いて、推定部１５２は、手指の特徴量に関する情報を推定すると、推定した手指の特徴量に関する情報を記憶部１３０に格納する。
【0020】
アプリサーバ１０は、記憶部１３０から手指の特徴量に関する情報を取得する。アプリサーバ１０は、手指の特徴量に関する情報を取得すると、取得した情報に基づいて、手指の特徴量に関する情報をユーザに対して提示するためのコンテンツを生成する。例えば、アプリサーバ１０は、後述する図３１や図３２に示す画面に相当するコンテンツを生成する。また、アプリサーバ１０は、手指の動作の速度をスローや早送りにして表示するコンテンツを生成する。また、アプリサーバ１０は、手指の動作の提示の際に、動作に合わせた音を出力するコンテンツを生成する。例えば、アプリサーバ１０は、ピアノを演奏する手指の動作であれば、手指が打鍵した鍵盤に相当する音を出力するコンテンツを生成する。続いて、アプリサーバ１０は、コンテンツを生成すると、生成したコンテンツを端末装置２０に配信する。
【0021】
端末装置２０は、アプリサーバ１０からコンテンツを受信する。端末装置２０は、コンテンツを受信すると、受信したコンテンツを出力する。例えば、端末装置２０は、後述する図３１や図３２に示す画面を表示する。また、端末装置２０は、手指の動作の速度をスローや早送りにして表示する。また、端末装置２０は、手指の動作の提示の際に、動作に合わせた音を出力する。例えば、端末装置２０は、ピアノを演奏する手指の動作であれば、手指が打鍵した鍵盤に相当する音を出力する。
【0022】
一方、情報処理装置１００の駆動制御部１５３は、記憶部１３０から手指の特徴量に関する情報を取得する。続いて、駆動制御部１５３は、手指の特徴量に関する情報を取得すると、取得した情報に基づいて、外骨格ロボット１２０への指令を生成する。続いて、駆動制御部１５３は、外骨格ロボット１２０への指令を生成すると、生成した指令に基づいて外骨格ロボット１２０の駆動を制御する。
【0023】
［１．２．情報処理装置の構成例］
次に、図３を用いて、本開示の第１の実施形態に係る情報処理装置の構成について説明する。図３は、本開示の第１の実施形態に係る情報処理装置の構成例を示す図である。図３に示すように、第１の実施形態に係る情報処理装置１００は、手指センサ１１０と、外骨格ロボット１２０と、記憶部１３０と、通信部１４０と、制御部１５０とを備える。
次に、図３を用いて、本開示の第１の実施形態に係る情報処理装置の構成について説明する。図３は、本開示の第１の実施形態に係る情報処理装置の構成例を示す図である。図３に示すように、第１の実施形態に係る情報処理装置１００は、手指センサ１１０と、外骨格ロボット１２０と、記憶部１３０と、通信部１４０と、制御部１５０とを備える。
【0024】
（手指センサ１１０）
次に、図４を用いて、本本開示の第１の実施形態に係る手指センサの構成について説明する。図４は、本開示の第１の実施形態に係る手指センサの一例を示す図である。図４に示すように、手指センサ１１０は、人差し指、中指、薬指および小指の姿勢をそれぞれ計測するための４つの第１センサユニット１１０Ａと、母指の姿勢を計測するための第２センサユニット１１０Ｂと、手指の関節角度の基準となる基準姿勢を計測するための９軸姿勢センサ１１０Ｃとを備える。
次に、図４を用いて、本本開示の第１の実施形態に係る手指センサの構成について説明する。図４は、本開示の第１の実施形態に係る手指センサの一例を示す図である。図４に示すように、手指センサ１１０は、人差し指、中指、薬指および小指の姿勢をそれぞれ計測するための４つの第１センサユニット１１０Ａと、母指の姿勢を計測するための第２センサユニット１１０Ｂと、手指の関節角度の基準となる基準姿勢を計測するための９軸姿勢センサ１１０Ｃとを備える。
【0025】
第１センサユニット１１０Ａは、人差し指、中指、薬指および小指の各手指の中節にそれぞれ取り付けられる。図４に示す例では、各第１センサユニット１１０Ａが、リング状のバンドによって各手指の中節の上面（背屈側）に取り付けられる。図４に示すように、各第１センサユニット１１０Ａの横幅は、各手指の横幅よりも狭く設計されている。また、各第１センサユニット１１０Ａの長さは、各手指の中節の長さに対して上下にそれぞれ１０％程度長く設計されており、上下にそれぞれ１０％程度長く設計された部分にはフォトリフレクタが設けられている。また、各第１センサユニット１１０Ａの中央部には、薄い正方形状の小型の９軸姿勢センサが張り付けられている。
【0026】
第２センサユニット１１０Ｂは、母指の基節の上面（背屈側）に取り付けられる。図４に示す例では、母指計測用センサが、リング状のバンドによって母指の基節の上面（背屈側）に取り付けられる。第２センサユニット１１０Ｂを上面から見た形状は、長方形である。第２センサユニット１１０Ｂの横幅は、母指の横幅よりも狭く設計されている。また、第２センサユニット１１０Ｂの長さは、母指の基節の長さに対してＭＰ関節側に１０％程度長く設計されており、ＭＰ関節側に１０％程度長く設計された部分にはフォトリフレクタが設けられている。また、第２センサユニット１１０Ｂの中央部には、薄い正方形状の小型の９軸姿勢センサが張り付けられている。
【0027】
９軸姿勢センサ１１０Ｃは、手背部に取り付けられる。図４に示す例では、薄い正方形状の小型の９軸姿勢センサ１１０Ｃが、手背部に張り付けられる。具体的には、９軸姿勢センサ１１０Ｃは、手掌部の湾曲や親指の動作の影響を受けないよう、人差し指と中指の基骨上ＭＰ関節から手首の間、もしくはその間の領域（図４に示すＡＲ１の領域）に取り付けられる。
【0028】
このように、第２姿勢センサ（９軸姿勢センサ１１０Ｃ）は、手背のうち、人差し指と中指の基骨上であって、ＭＰ関節から手首の間の領域に設けられる。これにより、情報処理装置１００は、掌部の湾曲や親指の動作の影響を受けないように手背の重力方向に対する傾きを検出することができる。
【0029】
次に、図５を用いて、本開示の第１の実施形態に係る手指センサの手指部分のユニットについて説明する。図５は、本開示の第１の実施形態に係る手指センサの手指部分のユニットについて説明するための図であり、ユニット全体を横方向から見たときの図である。図５に示す例では、第１センサユニット１１０Ａは、各指の中節に、中節の地表面に対する絶対角を計測するための１つの９軸姿勢センサと、中節と末節との相対角度および中節と基節との相対角度を計測するための２つのフォトリフレクタを備える。なお、以下では、中節と末節との相対角度をＤＩＰ関節の角度と記載する場合がある。また、中節と基節との相対角度をＰＩＰ関節の角度と記載する場合がある。
【0030】
次に、図６を用いて、本開示の第１の実施形態に係る手指センサの手指部分のユニットについてさらに説明する。図６は、本開示の第１の実施形態に係る手指センサの手指部分のユニットについて説明するための図であり、ユニットの末節側の部分を拡大して横方向から見たときの図である。図６に示す例では、第１センサユニット１１０Ａは、中節上面の延長上に取り付けられたフォトリフレクタから赤外光を照射し、末節の皮膚の表面で反射されて戻ってきた光の強度を検出することで、センサと末節の皮膚間の距離を計測する。続いて、第１センサユニット１１０Ａは、計測したセンサと末節の皮膚間の距離に基づいて、ＤＩＰ関節の角度を算出する。このように、情報処理装置１００は、フォトリフレクタを用いることにより、ＰＩＰ関節の角度およびＤＩＰ関節の角度を非接触に計測することができる。
【0031】
このように、検出部（手指センサ１１０）は、手指の少なくとも一部の関節の角度を非接触で検出する。これにより、情報処理装置１００は、非接触で検出するため、指先の細かな感覚や手指の巧緻動作を阻害することなく、手指の関節の角度を検出することができる。したがって、情報処理装置は、手指の動作を適切に計測することができる。
【0032】
また、検出部は、非接触センサ（フォトリフレクタ）を含み、関節の角度に応じて変化する非接触センサから手指までの距離を検出し、検出した距離に基づいて関節の角度を検出する。また、非接触センサは、光を照射する発光素子と、光の反射光を検出する受光素子とを備える。発光素子は、手指の節に対して光を照射する。受光素子は、手指の節による光の反射光を検出する。検出部は、受光素子によって検出された反射光の強度に基づいて、手指までの距離を検出する。また、非接触センサは、フォトリフレクタ等の光学式のセンサ（光センサ）に限らず、超音波センサ、静電容量センサ等、非接触でセンサから手指までの距離を検出できる近接センサであれば何でもよい。これにより、情報処理装置１００は、関節にセンサを取り付けて関節の角度を直接的に検出する代わりに、非接触センサから手指までの距離を検出することで、関節の角度を間接的に（すなわち、非接触に）検出することを可能にする。
【0033】
また、非接触センサ（フォトリフレクタ）は、人差し指、中指、薬指及び小指のうちの少なくとも１つの中節に設けられる。発光素子は、手指の末節及び基節のうちの少なくとも一方に対して光を照射する。受光素子は、手指の末節及び基節のうちの少なくとも一方による光の反射光を検出する。検出部は、反射光の強度に基づいて算出された手指の末節と非接触センサとの距離に基づいて、手指の中節に対する手指の末節の相対角度を手指のＤＩＰ関節の角度として算出する。推定部は、手指の中節に対する手指の基節の相対角度を手指のＰＩＰ関節の角度として算出し、手指のＤＩＰ関節の角度とＰＩＰ関節の角度とに基づいて、手指の姿勢を推定する。これにより、情報処理装置１００は、手指の末節及び基節にセンサを取り付けることなく、非接触に手指のＤＩＰ関節の角度とＰＩＰ関節の角度を検出することができる。
【0034】
また、情報処理装置１００は、小型の第１センサユニット１１０Ａ、第２センサユニット１１０Ｂを中節に取り付けること、および、小型の９軸姿勢センサ１１０Ｃを手背部に張り付けるだけなので、従来技術と比べてＰＩＰ関節の角度およびＤＩＰ関節の角度を比較的低拘束に計測することができる。
【0035】
次に、図７を用いて、本開示の第１の実施形態に係る手指の関節角度の算出方法について説明する。図７は、本開示の第１の実施形態に係る手指の関節角度の算出方法の一例を示す図である。図７は、手掌、手指の基節、中節、および末節をそれぞれリンクとみなし、手掌と基節との間のＭＰ関節、基節と中節との間のＰＩＰ関節、および中節と末節との間のＤＩＰ関節をそれぞれリンクの連結部分とみなした１本の手指部分のモデルである。
【0036】
図７に示す角度α０は、手背部に張り付けられた９軸姿勢センサによって計測される水平面に対する手掌部の絶対角度を示す。また、角度α１は、中節に取り付けられた９軸姿勢センサによって計測される水平面に対する中節の絶対角度を示す。また、角度θ０は、手掌部と基節との相対角度であるＭＰ関節の角度を示す。また、角度θ１は、基節と中節との相対角度であるＰＩＰ関節の角度を示す。また、角度θ２は、中節と末節との相対角度であるＤＩＰ関節の角度を示す。このとき、各角度の間には、「α０－θ０－θ１＝α１」の関係が成り立つ。そこで、推定部１５２は、９軸姿勢センサによって計測された角度α0および角度α1とフォトリフレクタによって算出された角度θ1と「α０－θ０－θ１＝α１」の関係式とに基づいて、センサが取り付けられていないＭＰ関節の角度θ０を算出する。これにより、情報処理装置１００は、手背に取り付けられた９軸姿勢センサと、手指に取り付けられた第１センサユニット１１０Ａとによって、１本の手指の関節の角度すべてを算出することができる。
【0037】
このように、情報処理装置１００は、手指の中節の重力方向に対する傾きを検出するための第１姿勢センサ（手指の中節に設けられた９軸姿勢センサ）をさらに備える。推定部は、手指のＰＩＰ関節の角度と、第１姿勢センサによって検出された手指の中節の重力方向に対する傾きとに基づいて、手指のＭＰ関節の角度を算出する。また、情報処理装置１００は、手背の重力方向に対する傾きを検出するための第２姿勢センサ（９軸姿勢センサ１１０Ｃ）をさらに備える。推定部は、第２姿勢センサによって検出された手背の重力方向に対する傾きに基づいて、手背に対する手指の基節の相対角度をＭＰ関節の角度として算出する。これにより、情報処理装置は、ＭＰ関節にセンサを取り付けることなく、非接触にＭＰ関節の角度を算出することができる。
【0038】
次に、図８を用いて、本開示の第１の実施形態に係る手指の内転・外転角度の算出方法について説明する。図８は、本開示の第１の実施形態に係る手指の内転・外転角度の算出方法の一例を示す図である。図８は、図７と同様に、各手指の節をリンク、各手指の関節をリンクの連結部分とみなした片手全体のモデルである。
【0039】
図８に示す角度β０は、手背部に張り付けられた９軸姿勢センサによって計測される磁北を軸とした地球方位の座標系に対する手掌部の内転または外転の絶対角度を示す。また、角度φ１は、手背部に設定した基準座標系に対する手指の内転または外転の相対角度を示す。また、角度β１は、手指の中節に張り付けられた９軸姿勢センサによって計測される磁北を軸とした地球方位の座標系に対する手指の内転または外転の絶対角度を示す。このとき、各角度の間には、「φ１＝β１－β０」の関係が成り立つ。そこで、推定部１５２は、９軸姿勢センサによって計測された角度β０および角度β１と「φ１＝β１－β０」の関係式とに基づいて、手背部に設定した基準座標系に対する手指の内転または外転の相対角度φ１を算出する。
【0040】
このように、第１姿勢センサ（手指の中節に設けられた９軸姿勢センサ）は、手指の内転または外転の重力方向に対する傾きを検出する。第２姿勢センサ（手背部に張り付けられた９軸姿勢センサ）は、掌部の内転または外転の重力方向に対する傾きを検出する。推定部は、第１姿勢センサによって検出された手指の内転または外転の重力方向に対する傾きと、第２姿勢センサによって検出された掌部の内転または外転の重力方向に対する傾きとに基づいて、手背に対する手指の内転または外転の相対角度に関する情報を算出する。これにより、情報処理装置１００は、手指の内転または外転の角度を比較的低拘束に推定することができる。
【0041】
続けて、母指の姿勢の算出方法について説明する。姿勢の基準となる手背部の９軸姿勢センサの姿勢は、３×３の回転行列Ｍ０として表される。また、母指末節に取り付けられた９軸姿勢センサの姿勢は、３×３の回転行列Ｍ１として表される。このとき、Ｍ０＝ＲＭ１となる３×３の回転行列Ｒが存在する。回転行列Ｒは、手背部の９軸姿勢センサの姿勢に対する母指末節に取り付けられた９軸姿勢センサの３次元の相対角度を表す回転行列である。また、母指のＣＭ関節は２自由度を持ち、ＭＰ関節は１自由度を持っている。そして、母指の各自由度の回転軸の方向が一致することはないため、３次元の回転行列Ｒから母指の各軸周りの回転角度を算出することができる。具体的には、推定部１５２は、９軸姿勢センサによって計測された回転行列Ｍ０および回転行列Ｍ１と「Ｍ０＝ＲＭ１」の関係式とに基づいて、回転行列Ｒを算出する。
【0042】
また、上述した第１姿勢センサは、３軸方向の加速度と、３軸方向の角速度と、３軸方向の方位とを検出する９軸センサである。また、第２姿勢センサは、３軸方向の加速度と、３軸方向の角速度と、３軸方向の方位とを検出する９軸センサである。これにより、情報処理装置１００は、手指の中節の重力方向に対する傾き、および手背の重力方向に対する傾きを適切に検出することができる。
【0043】
（外骨格ロボット１２０）
外骨格ロボット１２０は、駆動制御部１５３の制御に従って、手指センサ１１０によって検出された手指の動作を再現する。具体的には、外骨格ロボット１２０は、駆動部１２１とセンサ１２２とを備える。
外骨格ロボット１２０は、駆動制御部１５３の制御に従って、手指センサ１１０によって検出された手指の動作を再現する。具体的には、外骨格ロボット１２０は、駆動部１２１とセンサ１２２とを備える。
【0044】
（駆動部１２１）
駆動部１２１は、外骨格ロボット１２０による手指の動作を表現する。このため、駆動部１２１は、外骨格ユニット１２０Ａやモータ１２１Ａを備える。例えば、駆動部１２１は、１本分の手指に対応する外骨格ユニット１２０Ａと外骨格ユニット１２０Ａを駆動するモータ１２１Ａとを備える。図１および図９～図１３に示す例では、駆動部１２１は、人差し指、中指、薬指および小指にそれぞれ対応する４つの外骨格ユニット１２０Ａと、４つの外骨格ユニット１２０Ａそれぞれを駆動する４つのモータ１２１Ａとを備える。例えば、駆動部１２１は、駆動制御部１５３の制御に従って、回転軸ＡＸ１の周りに外骨格ユニット１２０Ａを内転または外転させる。また、駆動部１２１は、駆動制御部１５３の制御に従って、ＲＣＭ機構の回転軸の周りに外骨格ユニット１２０Ａを曲げ伸ばしさせる。
駆動部１２１は、外骨格ロボット１２０による手指の動作を表現する。このため、駆動部１２１は、外骨格ユニット１２０Ａやモータ１２１Ａを備える。例えば、駆動部１２１は、１本分の手指に対応する外骨格ユニット１２０Ａと外骨格ユニット１２０Ａを駆動するモータ１２１Ａとを備える。図１および図９～図１３に示す例では、駆動部１２１は、人差し指、中指、薬指および小指にそれぞれ対応する４つの外骨格ユニット１２０Ａと、４つの外骨格ユニット１２０Ａそれぞれを駆動する４つのモータ１２１Ａとを備える。例えば、駆動部１２１は、駆動制御部１５３の制御に従って、回転軸ＡＸ１の周りに外骨格ユニット１２０Ａを内転または外転させる。また、駆動部１２１は、駆動制御部１５３の制御に従って、ＲＣＭ機構の回転軸の周りに外骨格ユニット１２０Ａを曲げ伸ばしさせる。
【0045】
（センサ１２２）
センサ１２２は、外骨格ロボット１２０の姿勢や動作を検出する。具体的には、センサ１２２は、９軸姿勢センサによって実現される。例えば、センサ１２２は、外骨格ユニット１２０Ａのリンクを連結した関節の角度や角速度を検出する。
センサ１２２は、外骨格ロボット１２０の姿勢や動作を検出する。具体的には、センサ１２２は、９軸姿勢センサによって実現される。例えば、センサ１２２は、外骨格ユニット１２０Ａのリンクを連結した関節の角度や角速度を検出する。
【0046】
次に、図９を用いて、本開示の第１の実施形態に係る外骨格ロボットについて説明する。図９は、本開示の第１の実施形態に係る外骨格ロボットの斜視図である。図９に示す例では、外骨格ロボット１２０は、人差し指、中指、薬指および小指の動作をそれぞれ再生するための各手指に対応する４つの外骨格ユニット１２０Ａと、各手指に対応する４つの外骨格ユニット１２０Ａそれぞれを駆動するための４つのモータ１２１Ａとを備える。
【0047】
図９に示すように、外骨格ロボット１２０は、隣り合う手指のリンクの長さをモータの大きさの分だけ変えることによって、モータとリンク機構との干渉をなくすことを可能にした。
【0048】
従来の外骨格ロボットでは、被装着者が外骨格ロボットを動かそうとしたときに、自由に動かせないことがあった。主な原因は、駆動伝達部の摩擦抵抗が大きいことと、手指の内転・外転の自由度が制限されていたことにある。そこで、本発明に係る外骨格ロボット１２０は、強力なモータ１２１Ａ（具体的には、トルクモータ）を減速機なしで用い、１本分の手指に対応する外骨格ユニット１２０Ａのリンクの両端に２つの球ジョイント（第１球ジョイントＪ１および第２球ジョイントＪ２）を配置してＲＣＭ機構リンク部と連結したリンク機構を用いることで、これらの問題を解決した。また、本発明に係る外骨格ロボット１２０は、従来の外骨格ロボットと異なり、装着者の手指の動作を阻害しにくいため、外骨格ロボット１２０にセンサを搭載することで、外骨格ロボット１２０によって手指の運動を記録することもできる。
【0049】
次に、図１０を用いて、開示の第１の実施形態に係る外骨格ロボットについてさらに説明する。図１０は、本開示の第１の実施形態に係る外骨格ロボットの側面図である。図１０に示すように、外骨格ロボット１２０を片方の側面から見ると、２つのモータ１２１Ａの奥側に１本分の手指に対応する外骨格ユニット１２０Ａが配置されているのが見える。また、１本分の手指に対応する外骨格ユニット１２０Ａは、平行リンクを用いた二重平行四辺形構造のＲＣＭ（Remote Center of Motion）機構リンク部を備える。ここで、ＲＣＭとは、Remote Center of Motion（遠隔運動中心）の略である。一般的に、ＲＣＭ機構とは、モータの回転中心から離れた位置に回転中心を配置し、ピボット（不動点）運動を実現する機構のことをいう。例えば、二重平行四辺形構造をとるＲＣＭ機構は、二重平行四辺形を含む平面内でＲＣＭ機構の回転中心の周りに回転する自由度を備える。また、外骨格ユニット１２０Ａは、ＲＣＭ機構リンク部が備える２つの平行四辺形構造の連結点ＰＸと対角に位置する第２頂点Ｐ２に一方の端が固定された第１リンクＬ１と、第１リンクＬ１の他端に第１球ジョイントＪ１により一方の端が連結された第２リンクＬ２と、第２リンクＬ２の他端に第２球ジョイントＪ２により一方の端が連結された第３リンクＬ３と、を備え、第１リンクＬ１と第２リンクＬ２と第３リンクＬ３とは、４節リンク構造を構成する。また、外骨格ユニット１２０Ａは、モータ１２１Ａをさらに備え、第３リンクＬ３の他端は、モータ１２１Ａの回転軸に固定される。
【0050】
外骨格ロボット１２０を装着する装着者は、人差し指、中指、薬指および小指それぞれの手指のＭＰ関節から指先までの範囲がＲＣＭ機構リンク部に沿うようにそれぞれの手指に外骨格ユニット１２０Ａを装着する。具体的には、外骨格ユニット１２０Ａは、ＲＣＭ機構リンク部が備える２つの平行四辺形構造の連結点ＰＸと対角に位置する第１頂点Ｐ１に対して固定され、手指を保持する保持部材を備える。そして、外骨格ロボット１２０の装着者の人差し指、中指、薬指および小指は、それぞれの手指に対応する外骨格ユニット１２０Ａの保持部材それぞれによって保持される。ＲＣＭ機構リンク部は、装着者が手指を曲げ伸ばしする動作に合わせて伸び縮みする。
【0051】
次に、図１１を用いて、本開示の第１の実施形態に係る外骨格ロボットの１本分の手指に対応する外骨格ユニットについて説明する。図１１は、本開示の第１の実施形態に係る外骨格ロボットの１本分の手指に対応する外骨格ユニットについて説明するための図である。図１１は、図１０とは反対の方向から、１本分の手指に対応する外骨格ユニット１２０Ａを見た図である。図１１示す例では、図１０とは逆に、１本分の手指に対応する外骨格ユニット１２０Ａの奥側にモータ１２１Ａが配置されているのが見える。ここで、モータ１２１Ａは、ダイレクトドライブ、もしくは減速比の小さいモータである。これにより、外骨格ロボット１２０は、非通電時に、装着者が自分の意志で自由に手指を動かすことが可能になる。
【0052】
図１１示すように、外骨格ユニット１２０Ａは、ＭＰ関節の位置を調節する機構を備える。このように、外骨格ユニット１２０Ａは、ＭＰ関節の位置を調節する機構を備えることにより、各指のＭＰ関節の位置を、装着者の手の形状に合わせて、直行する２自由度で調整することができる。また、外骨格ユニット１２０Ａは、各指のＭＰ関節の位置を装着者の手の形状に合わせて調整した後に、ねじによって位置を固定できる。このように、外骨格ユニット１２０Ａは、各ユニットを指の幅に収めることで、手のサイズに収めることに成功した。また、外骨格ロボット１２０は、手指の内転または外転の回転に合わせてＲＣＭ機構を回転させる回転機構の回転軸を各指のＭＰ関節の上に来るように調整できる。これにより、外骨格ロボット１２０は、本来の手指の動きをほとんど制限することなく動かすことを可能にした。
【0053】
また、外骨格ユニット１２０Ａは、ＲＣＭ機構リンク部が備える２つの平行四辺形構造の連結点ＰＸと対角に位置する第１頂点Ｐ１に対して固定され、手指を保持する保持部材を備える。また、外骨格ユニット１２０Ａは、図１１の右下に示すような前後のスライダ機構をさらに備えることができる。例えば、外骨格ユニット１２０Ａは、保持部材に手指を固定するリングをスライド可能に保持するスライダ機構を備える。これにより、外骨格ユニット１２０Ａは、装着者の手指の長さの違いに対応することができる。
【0054】
また、外骨格ユニット１２０Ａは、また、図１１に示すように、外骨格ユニット１２０Ａは、第１球ジョイントＪ１のちょうど真下に相当する位置に、手指の内転または外転の自由度の回転軸ＡＸ１を備える。外骨格ユニット１２０Ａは、回転軸ＡＸ１の回転を検出する回転センサを埋めこむことにより、手指の内転または外転を計測することができる。
【0055】
また、図１１に示す回転軸ＡＸ１の下端の点Ｑ１は、装着者の手指のＭＰ関節の位置を示す。具体的には、１本分の手指である人差し指の例で説明すると、外骨格ロボット１２０を装着する装着者は、人差し指のＭＰ関節の位置が図１１に示す回転軸ＡＸ１の下端に示す黒丸の位置にくるように外骨格ユニット１２０Ａを装着する。また、装着者は、人差し指のＭＰ関節から指先までの範囲がＲＣＭ機構リンク部に沿うように人差し指に外骨格ユニット１２０Ａを装着する。ＲＣＭ機構リンク部は、装着者が人差し指を曲げ伸ばしする動作に合わせて伸び縮みする。
【0056】
また、外骨格ユニット１２０Ａは、平行リンクを用いた二重平行四辺形構造のＲＣＭ機構リンク部を備える。ＲＣＭ機構リンク部は、ＲＣＭ機構を備える。例えば、図１１に示すＲＣＭ機構リンク部は、平行リンクを組み合わせて、左右対称な２つの平行四辺形（二重平行四辺形ともいう）を形成するようにリンクが連結された構造をとる。また、外骨格ユニット１２０Ａは、ＲＣＭ機構リンク部が備える２つの平行四辺形構造の連結点ＰＸと対角に位置する第２頂点Ｐ２に一方の端が固定された第１リンクＬ１と、第１リンクＬ１の他端に第１球ジョイントＪ１により一方の端が連結された第２リンクＬ２と、第２リンクＬ２の他端に第２球ジョイントＪ２により一方の端が連結された第３リンクＬ３と、を備え、第１リンクＬ１と第２リンクＬ２と第３リンクＬ３とは、４節リンク構造を構成する。また、外骨格ユニット１２０Ａは、モータ１２１Ａをさらに備え、第３リンクＬ３の他端は、モータ１２１Ａの回転軸に固定される。
【0057】
図１１に示すＲＣＭ機構リンク部の下方の点Ｑ２は、ＲＣＭ機構リンク部が備えるＲＣＭ機構の回転中心の位置を示す。また、ＲＣＭ機構の回転中心の位置Ｑ２は、二重平行四辺形の対称軸上に位置する。また、ＲＣＭ機構の回転中心の位置Ｑ２は、装着者の人差し指のＭＰ関節とＰＩＰ関節の間に位置する。このように、外骨格ユニット１２０Ａは、手指のＭＰ関節の位置から所定の範囲内にＲＣＭ機構の回転軸と手指の内転または外転の回転に合わせてＲＣＭ機構を回転させる回転機構の回転軸とを備える。
【0058】
次に、図１２を用いて、本開示の第１の実施形態に係る外骨格ロボットの１本分の手指に対応する外骨格ユニットが備えるＲＣＭ機構について説明する。図１２は、本開示の第１の実施形態に係る外骨格ロボット１２０の１本分の手指に対応する外骨格ユニット１２０Ａが備えるＲＣＭ機構について説明するための図である。図１２の左側は、手指を伸ばした状態を示す。また、図１２の右側は、手指を曲げた状態を示す。
【0059】
図１２に示すように、外骨格ユニット１２０Ａは、２つの球ジョイントＪ１およびＪ２を受ける２つの球軸受による４節リンクを備える。具体的には、外骨格ユニット１２０Ａは、ＲＣＭ機構リンク部が備える２つの平行四辺形構造の連結点ＰＸと対角に位置する第２頂点Ｐ２に一方の端が固定された第１リンクＬ１と、第１リンクＬ１の他端に第１球ジョイントＪ１により一方の端が連結された第２リンクＬ２と、第２リンクＬ２の他端に第２球ジョイントＪ２により一方の端が連結された第３リンクＬ３と、を備え、第１リンクＬ１と第２リンクＬ２と第３リンクＬ３とは、４節リンク構造を構成する。また、外骨格ユニット１２０Ａは、モータ１２１Ａをさらに備え、第３リンクＬ３の他端は、モータ１２１Ａの回転軸に固定される。また、外骨格ユニット１２０Ａは、球ジョイントＪ２のちょうど真下に相当する位置に、手指の内転または外転の自由度の回転軸ＡＸ１を備える。また、回転軸ＡＸ１の下端の点Ｑ１は、装着者の手指のＭＰ関節の位置に相当する。これにより、外骨格ロボット１２０は、駆動伝達部の摩擦抵抗を小さくし、手指の内転・外転の自由度を向上させることができるので、外骨格ロボット１２０の装着者に対してより滑らかで自然な手指の動作を再現することができる。
【0060】
また、ＲＣＭ機構の回転中心の位置Ｑ２は、装着者の手指のＭＰ関節とＰＩＰ関節の間に位置する。言い換えると、ＲＣＭ機構の回転中心の位置Ｑ２は、装着者の手指のＭＰ関節から所定の範囲内に位置する。このように、外骨格ユニット１２０Ａは、手指のＭＰ関節の位置から所定の範囲内にＲＣＭ機構の回転軸と手指の内転または外転の回転に合わせてＲＣＭ機構を回転させる回転機構の回転軸とを備える。ここで、外骨格ユニット１２０Ａは、装着者の手首の側から見ると、外手指の内転または外転の自由度の回転軸ＡＸ１、ＲＣＭ機構という順番で装置の自由度が配置されている。一般的に、手指の内転または外転の動きは、手指のＭＰ関節によって回転軸ＡＸ１の周りを回転するように行われる。また、手指を曲げ伸ばしする動きは、手指のＭＰ関節、ＰＩＰ関節およびＤＩＰ関節によってＲＣＭ機構の回転軸の周りを回転するように行われる。また、手指の自然な動きとは、手指の内転または外転の動きと手指を曲げ伸ばしする動きとの重ね合わせであると考えることができる。したがって、手指の自然な動きは、手首の側から見ると、回転軸ＡＸ１の周りを回転する手指の内転または外転の動きと、ＲＣＭ機構の回転軸の周りを回転する手指を曲げ伸ばしする動きの順に行われると考えることができる。このように考えると、外骨格ユニット１２０Ａは、装着者の手首の側から見ると、外手指の内転または外転の自由度の回転軸ＡＸ１、ＲＣＭ機構という順番で装置の自由度が配置されているため、本来の手指の動きと同じように、手指をガイドすることができる。すなわち、外骨格ユニット１２０Ａは、手指のＭＰ関節に基づく手指の内転または外転の動きと、手指のＭＰ関節やＰＩＰ関節、ＤＩＰ関節に基づく手指を曲げ伸ばしする動きとを、本来の手指の動きと同じようにガイドすることができる。
【0061】
このように、情報処理装置１００は、平行リンクを用いた二重平行四辺形構造のＲＣＭ機構と、手指の内転または外転の回転に合わせてＲＣＭ機構を回転させる回転機構と、ＲＣＭ機構が備える２つの平行四辺形構造の連結点ＰＸと対角に位置する第１頂点Ｐ１に対して固定され、手指を保持する保持部材と、連結点ＰＸと対角に位置する第２頂点Ｐ２に一方の端が固定された第１リンクＬ１と、第１リンクＬ１の他端に第１球ジョイントＪ１により一方の端が連結された第２リンクＬ２と、第２リンクＬ２の他端に第２球ジョイントＪ２により一方の端が連結された第３リンクＬ３と、を備え、第１リンクＬ１と第２リンクＬ２と第３リンクＬ３とは、４節リンク構造を構成する、外骨格ロボット１２０をさらに備える。また、外骨格ロボット１２０は、モータ１２１Ａをさらに備え、第３リンクＬ３の他端は、モータ１２１Ａの回転軸に固定される。また、回転機構の回転軸とＲＣＭ機構の回転軸とが、外骨格ロボット１２０の装着者の手首に近い方から回転機構の回転軸、ＲＣＭ機構の回転軸の順に配置される。また、回転機構の回転軸は、外骨格ロボットの装着者の手指のＭＰ関節に位置し、ＲＣＭ機構の回転軸は、外骨格ロボットの装着者の手指のＭＰ関節からＰＩＰ関節を臨む方向に手指のＭＰ関節から所定の範囲内に位置する。これにより、情報処理装置１００は、手首側から見ると、手指の内転または外転の自由度の回転軸、ＲＣＭ機構の回転軸という順番で装置の自由度が配置されているため、本来の手指の動きと同じように、手指をガイドすることができる。すなわち、情報処理装置は、手指のＭＰ関節に基づく手指の内転または外転の動きと、手指のＭＰ関節やＰＩＰ関節、ＤＩＰ関節に基づく手指を曲げ伸ばしする動きとを、本来の手指の動きと同じようにガイドすることができる。
【0062】
次に、図１３を用いて、本開示の第１の実施形態に係る外骨格ロボットについてさらに説明する。図１３は、本開示の第１の実施形態に係る外骨格ロボットの上面図である。図１３の左側は、図９を上面から見た図である。図１３の右側は、右手の人差し指に相当する外骨格ユニット１２０ＡのＭＰ関節位置調節機構のねじを緩めた状態で、右手の人差し指に相当する外骨格ユニット１２０Ａを移動させた状態を示す。
【0063】
（記憶部１３０）
記憶部１３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１３０は、手指センサ１１０から取得したセンサ情報を記憶する。また、記憶部１３０は、推定部１５２によって算出された手指の特徴量に関する情報を記憶する。
記憶部１３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１３０は、手指センサ１１０から取得したセンサ情報を記憶する。また、記憶部１３０は、推定部１５２によって算出された手指の特徴量に関する情報を記憶する。
【0064】
（通信部１４０）
通信部１４０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１４０は、ネットワークと有線または無線で接続され、例えば、アプリサーバ１０や端末装置２０との間で情報の送受信を行う。
通信部１４０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１４０は、ネットワークと有線または無線で接続され、例えば、アプリサーバ１０や端末装置２０との間で情報の送受信を行う。
【0065】
（制御部１５０）
制御部１５０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１５０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。
制御部１５０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１５０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。
【0066】
図３に示すように、制御部１５０は、センサ情報処理部１５１と、推定部１５２と、駆動制御部１５３と、送信部１５４とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部１５０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【0067】
（センサ情報処理部１５１）
センサ情報処理部１５１は、手指センサ１１０によってセンシングされた生データを手指センサ１１０から取得する。センサ情報処理部１５１は、手指センサ１１０が検出した信号のサンプリング、ノイズ低減、フィルタ適用、および力を電圧に変換する処理を行う。
センサ情報処理部１５１は、手指センサ１１０によってセンシングされた生データを手指センサ１１０から取得する。センサ情報処理部１５１は、手指センサ１１０が検出した信号のサンプリング、ノイズ低減、フィルタ適用、および力を電圧に変換する処理を行う。
【0068】
（推定部１５２）
推定部１５２は、センサ情報処理部１５１から手指センサ１１０のセンサ情報を取得する。続いて、推定部１５２は、センサ情報を取得すると、取得したセンサ情報に基づいて、手指の特徴量に関する情報を推定する。具体的には、推定部１５２は、手指の関節の角度、手指の関節の平均角速度、最大角速度、手指の関節の可動域である手指の特徴量に関する情報を推定する。続いて、推定部１５２は、手指の特徴量に関する情報を推定すると、推定した手指の特徴量に関する情報を記憶部１３０に格納する。
推定部１５２は、センサ情報処理部１５１から手指センサ１１０のセンサ情報を取得する。続いて、推定部１５２は、センサ情報を取得すると、取得したセンサ情報に基づいて、手指の特徴量に関する情報を推定する。具体的には、推定部１５２は、手指の関節の角度、手指の関節の平均角速度、最大角速度、手指の関節の可動域である手指の特徴量に関する情報を推定する。続いて、推定部１５２は、手指の特徴量に関する情報を推定すると、推定した手指の特徴量に関する情報を記憶部１３０に格納する。
【0069】
具体的には、推定部１５２は、手指センサ１１０が備えるフォトリフレクタから、手指に照射された光が手指によって反射された反射光の強度に関するセンサ情報を手指センサ１１０から取得する。例えば、推定部１５２は、中節上面の延長上に取り付けられたフォトリフレクタから赤外光を照射し、末節の皮膚の表面で反射されて戻ってきた光の強度に関するセンサ情報を取得する。あるいは、推定部１５２は、光の強度に基づいて計測されたセンサと末節の皮膚間の距離に関するセンサ情報を取得する。続いて、推定部１５２は、取得したセンサ情報に基づいて、ＤＩＰ関節の角度θ２を算出する。続いて、推定部１５２は、ＤＩＰ関節の角度θ２を時間で微分することにより、ＤＩＰ関節の角速度を推定する。また、推定部１５２は、センシング中にＤＩＰ関節が動いた範囲の角度θ２の最大値と最小値により、ＤＩＰ関節の可動域を推定する。このように、推定部（推定部１５２）は、検出部（フォトリフレクタ）で検出された関節の角度に基づいて、手指の姿勢を推定する。
【0070】
また、推定部１５２は、中節上面の延長上に取り付けられたフォトリフレクタから赤外光を照射し、基節の皮膚の表面で反射されて戻ってきた光の強度に関するセンサ情報を取得する。あるいは、推定部１５２は、光の強度に基づいて計測されたセンサと基節の皮膚間の距離に関するセンサ情報を取得する。続いて、推定部１５２は、取得したセンサ情報に基づいて、ＰＩＰ関節の角度θ１を算出する。続いて、推定部１５２は、ＰＩＰ関節の角度θ１を時間で微分することにより、ＰＩＰ関節の角速度を推定する。また、推定部１５２は、ＰＩＰ関節の角度θ１を時間で積分することにより、ＰＩＰ関節の可動域を推定する。
【0071】
また、推定部１５２は、手背部に張り付けられた９軸姿勢センサによって検出された手背部（あるいは手掌部）の姿勢に関するセンサ情報を取得する。続いて、推定部１５２は、取得したセンサ情報に基づいて、水平面に対する手掌部の絶対角度α０を推定する。
【0072】
また、推定部１５２は、中節に取り付けられた９軸姿勢センサによって検出された中節の姿勢に関するセンサ情報を取得する。続いて、推定部１５２は、取得したセンサ情報に基づいて、水平面に対する中節の絶対角度α１を推定する。
【0073】
また、推定部１５２は、推定した手掌部の絶対角度α0と中節の絶対角度α1、および算出したＰＩＰ関節の角度θ1、および図７で説明した関係式「α０－θ０－θ１＝α１」とに基づいて、ＭＰ関節の角度θ０を算出する。続いて、推定部１５２は、ＭＰ関節の角度θ０を時間で微分することにより、ＭＰ関節の角速度を推定する。また、推定部１５２は、ＭＰ関節の角度θ０を時間で積分することにより、ＭＰ関節の可動域を推定する。
【0074】
なお、推定部１５２は、外骨格ロボットの状態と、検出部（フォトリフレクタ）で検出された関節の角度に基づいて、手指の姿勢を推定してもよい。これにより、情報処理装置１００は、より適切に手指の姿勢を推定することができる。
【0075】
（駆動制御部１５３）
駆動制御部１５３は、記憶部１３０を参照して、推定部１５２が推定した手指の特徴量に関する情報を取得する。続いて、駆動制御部１５３は、手指の特徴量に関する情報を取得すると、取得した情報に基づいて、外骨格ロボット１２０への指令を生成する。続いて、駆動制御部１５３は、外骨格ロボット１２０への指令を生成すると、生成した指令に基づいて外骨格ロボット１２０の駆動を制御する。
駆動制御部１５３は、記憶部１３０を参照して、推定部１５２が推定した手指の特徴量に関する情報を取得する。続いて、駆動制御部１５３は、手指の特徴量に関する情報を取得すると、取得した情報に基づいて、外骨格ロボット１２０への指令を生成する。続いて、駆動制御部１５３は、外骨格ロボット１２０への指令を生成すると、生成した指令に基づいて外骨格ロボット１２０の駆動を制御する。
【0076】
（送信部１５４）
送信部１５４は、推定部１５２が推定した手指の特徴量に関する情報をアプリサーバ１０に送信する。具体的には、送信部１５４は、アプリサーバ１０の要求に応じて、推定部１５２が推定した手指の特徴量に関する情報を送信する。例えば、送信部１５４は、記憶部１３０を参照して、手指のＤＩＰ関節、ＰＩＰ関節、またはＭＰ関節の角度、平均角速度、最大角速度、可動域である手指の特徴量に関する情報を送信する。
送信部１５４は、推定部１５２が推定した手指の特徴量に関する情報をアプリサーバ１０に送信する。具体的には、送信部１５４は、アプリサーバ１０の要求に応じて、推定部１５２が推定した手指の特徴量に関する情報を送信する。例えば、送信部１５４は、記憶部１３０を参照して、手指のＤＩＰ関節、ＰＩＰ関節、またはＭＰ関節の角度、平均角速度、最大角速度、可動域である手指の特徴量に関する情報を送信する。
【0077】
［１．３．情報処理システムの動作例］
次に、図１４を用いて、本開示の第１の実施形態に係る情報処理手順について説明する。図１４は、本開示の第１の実施形態に係る情報処理手順を示すフローチャートである。図１４に示すように、情報処理装置１００は、手指センサ１１０のセンサ情報を取得する（ステップＳ１０１）。続いて、情報処理装置１００は、手指センサ１１０から取得したセンサ情報に基づいて、手指の特徴量を算出する（ステップＳ１０２）。続いて、情報処理装置１００は、手指の特徴量を算出すると、外骨格ロボット１２０への指令情報を生成する（ステップＳ１０３）。続いて、情報処理装置１００は、外骨格ロボット１２０への指令情報を生成すると、生成した指令情報に基づいて、外骨格ロボット１２０の動作を制御する（ステップＳ１０４）。
次に、図１４を用いて、本開示の第１の実施形態に係る情報処理手順について説明する。図１４は、本開示の第１の実施形態に係る情報処理手順を示すフローチャートである。図１４に示すように、情報処理装置１００は、手指センサ１１０のセンサ情報を取得する（ステップＳ１０１）。続いて、情報処理装置１００は、手指センサ１１０から取得したセンサ情報に基づいて、手指の特徴量を算出する（ステップＳ１０２）。続いて、情報処理装置１００は、手指の特徴量を算出すると、外骨格ロボット１２０への指令情報を生成する（ステップＳ１０３）。続いて、情報処理装置１００は、外骨格ロボット１２０への指令情報を生成すると、生成した指令情報に基づいて、外骨格ロボット１２０の動作を制御する（ステップＳ１０４）。
【0078】
［１．４．変形例］
［１．４．１．手指センサ］
次に、図１５を用いて、本開示の第１の実施形態の変形例に係る手指センサについて説明する。図１５は、本開示の第１の実施形態の変形例に係る手指センサの一例を示す図である。図１５に示す手指センサ１１１は、前腕部に手首姿勢計測用の９軸姿勢センサ１１０Ｄをさらに備える点が図４に示す手指センサ１１０と異なる。手指センサ１１１を用いると、手背の基準姿勢計測用の９軸姿勢センサ１１０Ｃによって検出された手背の絶対角度と手首姿勢計測用の９軸姿勢センサ１１０Ｄによって検出された手首の絶対角度との相対角度を手首の傾きとして算出することができる。
［１．４．１．手指センサ］
次に、図１５を用いて、本開示の第１の実施形態の変形例に係る手指センサについて説明する。図１５は、本開示の第１の実施形態の変形例に係る手指センサの一例を示す図である。図１５に示す手指センサ１１１は、前腕部に手首姿勢計測用の９軸姿勢センサ１１０Ｄをさらに備える点が図４に示す手指センサ１１０と異なる。手指センサ１１１を用いると、手背の基準姿勢計測用の９軸姿勢センサ１１０Ｃによって検出された手背の絶対角度と手首姿勢計測用の９軸姿勢センサ１１０Ｄによって検出された手首の絶対角度との相対角度を手首の傾きとして算出することができる。
【0079】
このように、情報処理装置１００は、手首の重力方向に対する傾きを検出するための第３姿勢センサ（９軸姿勢センサ１１０Ｄ）をさらに備える。第３姿勢センサは、３軸方向の加速度と、３軸方向の角速度と、３軸方向の方位とを検出する９軸センサである。これにより、情報処理装置１００は、手首の重力方向に対する傾きを適切に検出することができる。推定部は、第３姿勢センサによって検出された手首の重力方向に対する傾きと、第２姿勢センサによって検出された手背の重力方向に対する傾きとに基づいて、手背に対する手首の重力方向に対する傾きを手首の傾き角度として算出する。これにより、情報処理装置１００は、手首の姿勢を推定することができるため、手指の姿勢の推定精度をさらに向上させることができる。
【0080】
次に、図１６を用いて、本開示の第１の実施形態の変形例に係る手指センサについて説明する。図１６は、本開示の第１の実施形態の変形例に係る手指センサの一例を示す図である。図１６に示す手指センサ１１２は、手背部の薬指と小指の基骨の延長上に手掌部の湾曲を計測するための９軸姿勢センサ１１０Ｅをさらに備える点が図４に示す手指センサ１１０と異なる。手指センサ１１２を用いると、手背の基準姿勢計測用の９軸姿勢センサ１１０Ｃによって検出された手背の絶対角度と手掌部の湾曲を計測するための９軸姿勢センサ１１０Ｅよって検出された手掌部の湾曲の絶対角度との相対角度を手掌部の屈曲の度合いとして算出することができる。このとき、薬指と小指の各関節の伸展・屈曲角度算出の際には、掌部湾曲計測用の９軸姿勢センサ１１０Ｅの水平面に対する角度を前述のα0として用いることで、手掌部を湾曲させながらの伸展・屈曲角度の算出の精度を高めることができる。
【0081】
次に、図１７を用いて、本開示の第１の実施形態の変形例に係る手指センサについて説明する。図１７は、本開示の第１の実施形態の変形例に係る手指センサの一例を示す図である。図１７に示す手指センサ１１３は、第２センサユニット１１０Ｂを各手指の基節に取り付ける点が図４に示す手指センサ１１０と異なる。手指センサ１１３を用いると、ＤＩＰ関節の角度は計測できないが、より拘束の少ない計測を可能とする。また，手指センサ１１３を用いると、第２センサユニット１１０Ｂの９軸姿勢センサと手背の基準姿勢計測用の９軸姿勢センサ１１０Ｃとの相対角度から、各手指のＭＰ関節の角度を直接算出することができる。
【0082】
次に、図１８を用いて、本開示の第１の実施形態の変形例に係る手指センサについて説明する。図１８は、本開示の第１の実施形態の変形例に係る手指センサの一例を示す図である。図１８に示す手指センサ１１４は、第１センサユニット１１０Ａに加えて、第２センサユニット１１０Ｂを各手指の基節に取り付ける点が図４に示す手指センサ１１０と異なる。手指センサ１１４を用いると、第２センサユニット１１０Ｂの９軸姿勢センサと手背の基準姿勢計測用の９軸姿勢センサ１１０Ｃとの相対角度から、各手指のＭＰ関節の角度を直接算出することができる。
【0083】
次に、図１９を用いて、本開示の第１の実施形態の変形例に係る手指センサについて説明する。図１９は、本開示の第１の実施形態の変形例に係る手指センサの一例を示す図である。図１９に示す手指センサ１１５は、一部のセンサを計測したい関節を挟むように配置された曲げセンサや歪センサなどに置き換える点が図４に示す手指センサ１１０と異なる。手指センサ１１５を用いると、計測したい関節の角度の計測精度を向上させることができる。
【0084】
次に、図２０を用いて、本開示の第１の実施形態の変形例に係る手指センサについて説明する。図２０は、本開示の第１の実施形態の変形例に係る手指センサの一例を示す図である。図２０に示す手指センサ１１６は、９軸姿勢センサを用いず、ＭＰ関節上にもフォトリフレクタを設置する点が図４に示す手指センサ１１０と異なる。手指センサ１１６を用いると、各手指のすべての関節の角度をフォトリフレクタによる計測によって直接算出することができる。
【0085】
［１．４．２．外骨格ロボット］
次に、図２１を用いて、本開示の第１の実施形態の変形例に係る外骨格ロボットについて説明する。図２１は、本開示の第１の実施形態の変形例に係る外骨格ロボットの斜視図である。図２１に示す外骨格ロボットは、親指に相当する外骨格ユニットが付加された点が図９に示す外骨格ロボット１２０と異なる。
次に、図２１を用いて、本開示の第１の実施形態の変形例に係る外骨格ロボットについて説明する。図２１は、本開示の第１の実施形態の変形例に係る外骨格ロボットの斜視図である。図２１に示す外骨格ロボットは、親指に相当する外骨格ユニットが付加された点が図９に示す外骨格ロボット１２０と異なる。
【0086】
次に、図２２を用いて、本開示の第１の実施形態の変形例に係る外骨格ロボットについてさらに説明する。図２２は、本開示の第１の実施形態の変形例に係る外骨格ロボットの側面図である。図２２は、図２１に示す親指に相当する外骨格ユニットが付加された外骨格ロボットの側面図である。
【0087】
次に、図２３を用いて、本開示の第１の実施形態の変形例に係る外骨格ロボットについてさらに説明する。図２３は、本開示の第１の実施形態の変形例に係る外骨格ロボットの上面図である。図２３は、図２１に示す親指に相当する外骨格ユニットが付加された外骨格ロボットの上面図である。
【0088】
次に、図２４を用いて、本開示の第１の実施形態の変形例に係る外骨格ロボットについてさらに説明する。図２４は、本開示の第１の実施形態の変形例に係る外骨格ロボットの底面図である。図２４は、図２１に示す親指に相当する外骨格ユニットが付加された外骨格ロボットの底面図である。
【0089】
［２．第２の実施形態］
［２．１．情報処理システムの概要］
次に、図２５を用いて、本開示の第２の実施形態に係る情報処理の概要について説明する。図２５は、本開示の第２の実施形態に係る情報処理の一例を示す図である。図２５に示す例では、情報処理装置２００が、手指センサ１１０の代わりに、対象物Ｏ１に埋め込まれた対象物センサ２１０を備える点が図１の情報処理装置１００と異なる。ここで、対象物Ｏ１とは、手指による動作の対象物を指す。例えば、手指による動作がピアノの演奏である場合、手指による動作の対象物Ｏ１はピアノの鍵盤に相当する。
［２．１．情報処理システムの概要］
次に、図２５を用いて、本開示の第２の実施形態に係る情報処理の概要について説明する。図２５は、本開示の第２の実施形態に係る情報処理の一例を示す図である。図２５に示す例では、情報処理装置２００が、手指センサ１１０の代わりに、対象物Ｏ１に埋め込まれた対象物センサ２１０を備える点が図１の情報処理装置１００と異なる。ここで、対象物Ｏ１とは、手指による動作の対象物を指す。例えば、手指による動作がピアノの演奏である場合、手指による動作の対象物Ｏ１はピアノの鍵盤に相当する。
【0090】
一般的に、外骨格ロボットを制御するには、外骨格ロボット自体に取り付けたセンサを用いるが、技能熟達支援の用途など場合は、手指の動作の対象物にセンサを埋め込むことが可能な場合がある。また、外骨格ロボットにより、装着者の手指を通した対象物への制御を行う場合、後述する図２７に示すように、外骨格ロボットの出力から対象物の間に、装着者の手指のモデルが入るため、正しく制御することが困難な場合がある。
【0091】
そこで、本開示の第２の実施形態に係る情報処理システムでは、手指の動作の対象物に埋め込まれたセンサのセンサ情報を用いて、より高精度で安全に外骨格ロボットを制御する情報処理システム２を提案する。情報処理システム２は、対象物に埋め込まれたセンサの情報も外骨格ロボットにフィードバックすることで、より正確な制御を試みる。具体的には図２５に示す制御ループを１００Ｈｚ以上で高速に回すことで、安定した制御を行う。なお、外骨格ロボット２２０内の制御ループなど、一部の制御ループをより高速にしてもよい。なお、情報処理システム２は、情報処理装置１００の代わりに情報処理装置２００を備える点が図２に示す情報処理システム１と異なるが、その他の点は同じである。
【0092】
図２５に示す例では、情報処理装置２００の推定部２５２は、対象物センサ２１０からセンサ情報を取得する。例えば、推定部２５２は、外骨格ロボット２２０を装着した装着者の手指によって対象物Ｏ１が押下されることによって生じた対象物Ｏ１の変形の変位、変形の速度、対象物に加わる力等のセンサ情報を取得する。また、推定部２５２は、対象物Ｏ１のモデル情報を取得する。対象物Ｏ１のモデル情報とは、例えば、対象物Ｏ１がピアノの鍵盤である場合には、ピアノの鍵盤の形状をしたモデルに関する情報を指す。続いて、推定部２５２は、センサ情報とモデル情報とを取得すると、取得したセンサ情報とモデル情報とに基づいて、対象物Ｏ１の状態を推定する。続いて、推定部２５２は、対象物Ｏ１の状態を推定すると、推定した対象物Ｏ１の状態に関する情報を駆動制御部２５３に出力する。
【0093】
また、情報処理装置２００の推定部２５２は、外骨格ロボット１２０のセンサ１２２から外骨格ロボット１２０のセンサ情報を取得する。続いて、推定部２５２は、外骨格ロボット１２０のセンサ情報を取得すると、取得したセンサ情報に基づいて、外骨格ロボット１２０の状態を推定する。続いて、推定部２５２は、外骨格ロボット１２０の状態を推定すると、推定した外骨格ロボット１２０の状態に関する情報を駆動制御部２５３に出力する。
【0094】
情報処理装置２００の駆動制御部２５３は、対象物Ｏ１の状態に関する情報と外骨格ロボット１２０の状態に関する情報を推定部２５２から取得する。続いて、駆動制御部２５３は、対象物Ｏ１の状態に関する情報と外骨格ロボット１２０の状態に関する情報を取得すると、取得した対象物Ｏ１の状態に関する情報と外骨格ロボット１２０の状態に関する情報とに基づいて、外骨格ロボット１２０の駆動部１２１（例えば、モータ）の駆動を制御する。
【0095】
［２．２．情報処理装置の構成例］
次に、図２６を用いて、本開示の第２の実施形態に係る情報処理装置の構成について説明する。図２６は、本開示の第２の実施形態に係る情報処理装置の構成例を示す図である。図２６に示すように、第２の実施形態に係る情報処理装置２００は、第１の実施形態に係る情報処理装置１００と同様に、外骨格ロボット１２０と、記憶部１３０と、通信部１４０とを備える。また、情報処理装置２００は、対象物センサ２１０と、制御部２５０とを備える点が情報処理装置１００と異なる。なお、以下では、情報処理装置１００と重複する部分については適宜説明を省略する。
次に、図２６を用いて、本開示の第２の実施形態に係る情報処理装置の構成について説明する。図２６は、本開示の第２の実施形態に係る情報処理装置の構成例を示す図である。図２６に示すように、第２の実施形態に係る情報処理装置２００は、第１の実施形態に係る情報処理装置１００と同様に、外骨格ロボット１２０と、記憶部１３０と、通信部１４０とを備える。また、情報処理装置２００は、対象物センサ２１０と、制御部２５０とを備える点が情報処理装置１００と異なる。なお、以下では、情報処理装置１００と重複する部分については適宜説明を省略する。
【0096】
（対象物センサ２１０）
対象物センサ２１０は、手指による動作の対象物Ｏ１に埋め込まれたセンサである。例えば、対象物センサ２１０は、対象物の内部に搭載された接触センサによって実現される。例えば、対象物センサ２１０は、外骨格ロボット２２０を装着した装着者の手指によって対象物Ｏ１が押下されることによって生じた対象物Ｏ１の変形の変位、変形の速度、対象物に加わる力等を検出する。
対象物センサ２１０は、手指による動作の対象物Ｏ１に埋め込まれたセンサである。例えば、対象物センサ２１０は、対象物の内部に搭載された接触センサによって実現される。例えば、対象物センサ２１０は、外骨格ロボット２２０を装着した装着者の手指によって対象物Ｏ１が押下されることによって生じた対象物Ｏ１の変形の変位、変形の速度、対象物に加わる力等を検出する。
【0097】
（制御部２５０）
制御部２５０は、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部２５０は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。
制御部２５０は、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部２５０は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。
【0098】
図２６に示すように、制御部２５０は、センサ情報処理部２５１と、推定部２５２と、駆動制御部２５３と、送信部１５４とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部２５０の内部構成は、図２６に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【0099】
（センサ情報処理部２５１）
センサ情報処理部２５１は、対象物センサ２１０によってセンシングされた生データを対象物センサ２１０から取得する。センサ情報処理部２５１は、対象物センサ２１０が検出した信号のサンプリング、ノイズ低減、フィルタ適用、および力を電圧に変換する処理を行う。
センサ情報処理部２５１は、対象物センサ２１０によってセンシングされた生データを対象物センサ２１０から取得する。センサ情報処理部２５１は、対象物センサ２１０が検出した信号のサンプリング、ノイズ低減、フィルタ適用、および力を電圧に変換する処理を行う。
【0100】
（推定部２５２）
推定部２５２は、センサ情報処理部２５１から対象物センサ２１０によって検出されたセンサ情報を取得する。例えば、推定部２５２は、外骨格ロボット２２０を装着した装着者の手指によって対象物Ｏ１が押下されることによって生じた対象物Ｏ１の変形の変位、変形の速度、対象物に加わる力等のセンサ情報を取得する。また、推定部２５２は、対象物Ｏ１のモデル情報を取得する。続いて、推定部２５２は、センサ情報とモデル情報とを取得すると、取得したセンサ情報とモデル情報とに基づいて、対象物Ｏ１の状態を推定する。続いて、推定部２５２は、対象物Ｏ１の状態を推定すると、推定した対象物Ｏ１の状態に関する情報を駆動制御部２５３に出力する。
推定部２５２は、センサ情報処理部２５１から対象物センサ２１０によって検出されたセンサ情報を取得する。例えば、推定部２５２は、外骨格ロボット２２０を装着した装着者の手指によって対象物Ｏ１が押下されることによって生じた対象物Ｏ１の変形の変位、変形の速度、対象物に加わる力等のセンサ情報を取得する。また、推定部２５２は、対象物Ｏ１のモデル情報を取得する。続いて、推定部２５２は、センサ情報とモデル情報とを取得すると、取得したセンサ情報とモデル情報とに基づいて、対象物Ｏ１の状態を推定する。続いて、推定部２５２は、対象物Ｏ１の状態を推定すると、推定した対象物Ｏ１の状態に関する情報を駆動制御部２５３に出力する。
【0101】
また、推定部２５２は、外骨格ロボット１２０のセンサ１２２から外骨格ロボット１２０のセンサ情報を取得する。続いて、推定部２５２は、外骨格ロボット１２０のセンサ情報を取得すると、取得したセンサ情報に基づいて、外骨格ロボット１２０の状態を推定する。例えば、推定部２５２は、外骨格ロボット１２０が加えている力や速度、外骨格ロボット１２０の装着者が自ら出している力や速度などの情報を推定する。続いて、推定部２５２は、外骨格ロボット１２０の状態を推定すると、推定した外骨格ロボット１２０の状態に関する情報を駆動制御部２５３に出力する。
【0102】
（駆動制御部２５３）
駆動制御部２５３は、対象物Ｏ１の状態に関する情報と外骨格ロボット１２０の状態に関する情報を推定部２５２から取得する。続いて、駆動制御部２５３は、対象物Ｏ１の状態に関する情報と外骨格ロボット１２０の状態に関する情報を取得すると、取得した対象物Ｏ１の状態に関する情報と外骨格ロボット１２０の状態に関する情報とに基づいて、目標の力および位置に対して、モータ１２１Ａの出力を再計算する。続いて、駆動制御部２５３は、モータ１２１Ａの出力を再計算すると、再計算した出力に基づいて、モータ１２１Ａの駆動を制御する。
駆動制御部２５３は、対象物Ｏ１の状態に関する情報と外骨格ロボット１２０の状態に関する情報を推定部２５２から取得する。続いて、駆動制御部２５３は、対象物Ｏ１の状態に関する情報と外骨格ロボット１２０の状態に関する情報を取得すると、取得した対象物Ｏ１の状態に関する情報と外骨格ロボット１２０の状態に関する情報とに基づいて、目標の力および位置に対して、モータ１２１Ａの出力を再計算する。続いて、駆動制御部２５３は、モータ１２１Ａの出力を再計算すると、再計算した出力に基づいて、モータ１２１Ａの駆動を制御する。
【0103】
［２．３．情報処理システムの動作例］
次に、図２７を用いて、本開示の第２の実施形態に係る情報処理の流れについて概念的に説明する。図２７は、本開示の第２の実施形態に係る情報処理の流れを概念的に説明するための図である。図２７に示すように、第２の実施形態に係るピアノの鍵盤などの動作の対象物と装着者の手指との間では、物理的に力を加えたり、加えられたりする。また、装着者の手指と外骨格ロボットとの間でも、同様に、物理的に力を加えたり、加えられたりする。
次に、図２７を用いて、本開示の第２の実施形態に係る情報処理の流れについて概念的に説明する。図２７は、本開示の第２の実施形態に係る情報処理の流れを概念的に説明するための図である。図２７に示すように、第２の実施形態に係るピアノの鍵盤などの動作の対象物と装着者の手指との間では、物理的に力を加えたり、加えられたりする。また、装着者の手指と外骨格ロボットとの間でも、同様に、物理的に力を加えたり、加えられたりする。
【0104】
また、推定部２５２は、対象物に埋め込まれた対象物センサのセンサ情報と対象物のモデル情報とに基づいて、対象物に加わる力や対象物の位置などの対象物の状態を推定する。また、推定部２５２は、外骨格ロボットのセンサ情報に基づいて、外骨格ロボットの関節の角度や力などの外骨格ロボットの状態を推定する。
【0105】
続いて、駆動制御部２５３は、あらかじめ取得した外骨格ロボットの目標状態と、推定部２５２が推定した対象物の状態と外骨格ロボットの状態とに基づいて、外骨格ロボットのアクチュエータの駆動を制御する。例えば、駆動制御部２５３は、外骨格ロボットのモータの駆動を制御する。また、駆動制御部２５３は、モータの駆動を制御することにより、外骨格ロボットのリンク部分の駆動を制御する。
【0106】
次に、図２８を用いて、本開示の第２の実施形態に係る情報処理手順について説明する。図２８は、本開示の第２の実施形態に係る情報処理手順を示すフローチャートである。図２８に示すように、推定部２５２は、対象物センサ２１０のセンサ情報を取得する（ステップＳ２０１）。続いて、推定部２５２は、対象物Ｏ１のモデル情報を取得する（ステップＳ２０２）。続いて、推定部２５２は、センサ情報とモデル情報とに基づいて、対象物Ｏ１の状態に関する情報を推定する（ステップＳ２０３）。続いて、推定部２５２は、対象物Ｏ１の状態に関する情報を駆動制御部２５３に出力する（ステップＳ２０４）。
【0107】
次に、図２９を用いて、本開示の第２の実施形態に係る情報処理手順についてさらに説明する。図２９は、本開示の第２の実施形態に係る情報処理手順を示すフローチャートである。図２９に示すように、推定部２５２は、外骨格ロボット２２０のセンサ情報を取得する（ステップＳ３０１）。続いて、推定部２５２は、センサ情報に基づいて、外骨格ロボット２２０の状態に関する情報を推定する（ステップＳ３０２）。続いて、推定部２５２は、外骨格ロボット２２０の状態に関する情報を駆動制御部２５３に出力する（ステップＳ３０３）。
【0108】
次に、図３０を用いて、本開示の第２の実施形態に係る情報処理手順についてさらに説明する。図３０は、本開示の第２の実施形態に係る情報処理手順を示すフローチャートである。図３０に示すように、駆動制御部２５３は、対象物Ｏ１の状態に関する情報と外骨格ロボット２２０の状態に関する情報とを推定部２５２から取得する（ステップＳ４０１）。続いて、駆動制御部２５３は、対象物Ｏ１の状態に関する情報と、外骨格ロボット２２０の状態に関する情報と、外骨格ロボット２２０の目標状態に関する情報とに基づいて、外骨格ロボット２２０の動作を制御する（ステップＳ４０２）。
【0109】
［３．その他］
次に、図３１を用いて、実施形態に係る処理結果を利用者の端末装置に表示する際の画面例について説明する。図３１は、実施形態に係る処理結果を利用者の端末装置に表示する際の画面の一例を示す図である。図３１に示す例では、端末装置２０は、情報処理装置１００によって推定されたユーザの手指の姿勢や位置に関する情報と、お手本となる手指の姿勢や位置に関する情報とを比較可能に表示する。図３１では、端末装置２０の画面の左側の「Ｙｏｕ」で示される手の画像が、ユーザの手指の姿勢や位置に関する情報に相当する。また、端末装置２０の画面の右側の「Ｔｅａｃｈｅｒ」で示される手の画像が、お手本となる手指の姿勢や位置に関する情報に相当する。また、端末装置２０は、情報処理装置１００によって推定されたユーザの手指の姿勢や位置に関する情報と、過去のユーザの手指の姿勢や位置に関する情報とを比較可能に表示してもよい。例えば、端末装置２０は、情報処理装置１００によって推定されたユーザの手指の姿勢や位置に関する画像を画面の左側に表示し、過去のユーザの手指の姿勢や位置に関する画像を画面の右側に表示する。また、端末装置２０は、動作中の手指の動画を比較可能に表示してもよいし、ある瞬間の手指の静止画を比較可能に表示してもよい。このように、端末装置２０は、情報処理装置１００によって推定されたユーザの手指の姿勢や位置に関する情報を表示する。
次に、図３１を用いて、実施形態に係る処理結果を利用者の端末装置に表示する際の画面例について説明する。図３１は、実施形態に係る処理結果を利用者の端末装置に表示する際の画面の一例を示す図である。図３１に示す例では、端末装置２０は、情報処理装置１００によって推定されたユーザの手指の姿勢や位置に関する情報と、お手本となる手指の姿勢や位置に関する情報とを比較可能に表示する。図３１では、端末装置２０の画面の左側の「Ｙｏｕ」で示される手の画像が、ユーザの手指の姿勢や位置に関する情報に相当する。また、端末装置２０の画面の右側の「Ｔｅａｃｈｅｒ」で示される手の画像が、お手本となる手指の姿勢や位置に関する情報に相当する。また、端末装置２０は、情報処理装置１００によって推定されたユーザの手指の姿勢や位置に関する情報と、過去のユーザの手指の姿勢や位置に関する情報とを比較可能に表示してもよい。例えば、端末装置２０は、情報処理装置１００によって推定されたユーザの手指の姿勢や位置に関する画像を画面の左側に表示し、過去のユーザの手指の姿勢や位置に関する画像を画面の右側に表示する。また、端末装置２０は、動作中の手指の動画を比較可能に表示してもよいし、ある瞬間の手指の静止画を比較可能に表示してもよい。このように、端末装置２０は、情報処理装置１００によって推定されたユーザの手指の姿勢や位置に関する情報を表示する。
【0110】
次に、図３２を用いて、実施形態に係る処理結果を利用者の端末装置に表示する際の画面例について説明する。図３２は、実施形態に係る処理結果を利用者の端末装置に表示する際の画面の一例を示す図である。図３２に示す例では、例えば、端末装置２０は、情報処理装置１００によって推定されたユーザの手指の動作とお手本となる手指の動作との差分を動画像によって表示する。また、端末装置２０は、情報処理装置１００によって推定されたユーザの手指の先端の速度などの３次元特徴量と、お手本となる手指の先端の速度などの３次元特徴量とを比較可能に表示する。また、端末装置２０は、情報処理装置１００によって推定されたユーザの手指の動作と過去のユーザの手指の動作との差分を動画像によって表示してもよい。例えば、端末装置２０は、情報処理装置１００によって推定されたユーザの手指の先端の速度などの３次元特徴量と、過去のユーザの手指の先端の速度などの３次元特徴量とを比較可能に表示する。また、端末装置２０は、ＡＲ（Augmented Reality）グラスやＨＭＤ（Head Mounted Display）であってもよい。ユーザはＡＲグラスやＨＭＤである端末装置２０を装着する。そして、端末装置２０は、お手本となる手指の動作や過去のユーザの手指の動作の画像を実際に動作するユーザの手指にＡＲによって重畳して表示する。これにより、端末装置２０は、より具体的にユーザに対して情報を提示することができる。
【0111】
［４．効果］
上述したように、第１の実施形態及び第２の実施形態及び変形例に係る情報処理装置は、検出部と推定部を備える。検出部は、手指の少なくとも一部の関節の角度を非接触で検出する。推定部は、検出部で検出された関節の角度に基づいて、手指の姿勢を推定する。
上述したように、第１の実施形態及び第２の実施形態及び変形例に係る情報処理装置は、検出部と推定部を備える。検出部は、手指の少なくとも一部の関節の角度を非接触で検出する。推定部は、検出部で検出された関節の角度に基づいて、手指の姿勢を推定する。
【0112】
これにより、情報処理装置は、非接触で検出するため、指先の細かな感覚や手指の巧緻動作を阻害することなく、手指の関節の角度を検出することができる。したがって、情報処理装置は、手指の動作を適切に計測することができる。
【0113】
また、検出部は、非接触センサを含み、関節の角度に応じて変化する非接触センサから手指までの距離を検出し、検出した距離に基づいて関節の角度を検出する。また、非接触センサは、光を照射する発光素子と、光の反射光を検出する受光素子とを備える。発光素子は、手指の節に対して光を照射する。受光素子は、手指の節による光の反射光を検出する。検出部は、受光素子によって検出された反射光の強度に基づいて、手指までの距離を検出する。
【0114】
これにより、情報処理装置は、関節にセンサを取り付けて関節の角度を直接的に検出する代わりに、非接触センサから手指までの距離を検出することで、関節の角度を間接的に（すなわち、非接触に）検出することを可能にする。
【0115】
また、非接触センサは、人差し指、中指、薬指及び小指のうちの少なくとも１つの中節に設けられる。発光素子は、手指の末節及び基節のうちの少なくとも一方に対して光を照射する。受光素子は、手指の末節及び基節のうちの少なくとも一方による光の反射光を検出する。検出部は、反射光の強度に基づいて算出された手指の末節と非接触センサとの距離に基づいて、手指の中節に対する手指の末節の相対角度を手指のＤＩＰ関節の角度として算出する。推定部は、手指の中節に対する手指の基節の相対角度を手指のＰＩＰ関節の角度として算出し、手指のＤＩＰ関節の角度とＰＩＰ関節の角度とに基づいて、手指の姿勢を推定する。
【0116】
これにより、情報処理装置は、手指の末節及び基節にセンサを取り付けることなく、非接触に手指のＤＩＰ関節の角度とＰＩＰ関節の角度を検出することができる。
【0117】
また、情報処理装置は、手指の中節の重力方向に対する傾きを検出するための第１姿勢センサをさらに備える。推定部は、手指のＰＩＰ関節の角度と、第１姿勢センサによって検出された手指の中節の重力方向に対する傾きとに基づいて、手指のＭＰ関節の角度を算出する。また、情報処理装置は、手背の重力方向に対する傾きを検出するための第２姿勢センサをさらに備える。推定部は、第２姿勢センサによって検出された手背の重力方向に対する傾きに基づいて、手背に対する手指の基節の相対角度をＭＰ関節の角度として算出する。
【0118】
これにより、情報処理装置は、ＭＰ関節にセンサを取り付けることなく、非接触にＭＰ関節の角度を算出することができる。
【0119】
また、第２姿勢センサは、手背のうち、人差し指と中指の基骨上であって、ＭＰ関節から手首の間の領域に設けられる。
【0120】
これにより、情報処理装置は、掌部の湾曲や親指の動作の影響を受けないように手背の重力方向に対する傾きを検出することができる。
【0121】
また、情報処理装置は、手首の重力方向に対する傾きを検出するための第３姿勢センサをさらに備える。推定部は、第３姿勢センサによって検出された手首の重力方向に対する傾きと、第２姿勢センサによって検出された手背の重力方向に対する傾きとに基づいて、手背に対する手首の重力方向に対する傾きを手首の傾き角度として算出する。
【0122】
これにより、情報処理装置は、手首の姿勢を推定することができるため、手指の姿勢の推定精度をさらに向上させることができる。
【0123】
また、第１姿勢センサは、手指の内転または外転の重力方向に対する傾きを検出する。第２姿勢センサは、掌部の内転または外転の重力方向に対する傾きを検出する。推定部は、第１姿勢センサによって検出された手指の内転または外転の重力方向に対する傾きと、第２姿勢センサによって検出された掌部の内転または外転の重力方向に対する傾きとに基づいて、手背に対する手指の内転または外転の相対角度に関する情報を算出する。
【0124】
これにより、情報処理装置は、手指の内転または外転の角度を比較的低拘束に推定することができる。
【0125】
また、第１姿勢センサは、９軸センサである。また、第２姿勢センサは、９軸センサである。また、第３姿勢センサは、９軸センサである。
【0126】
これにより、情報処理装置は、手指の中節の重力方向に対する傾き、手背の重力方向に対する傾き、および手首の重力方向に対する傾きを適切に検出することができる。
【0127】
また、情報処理装置は、平行リンクを用いた二重平行四辺形構造のＲＣＭ（Remote Center of Motion）機構と、手指の内転または外転の回転に合わせてＲＣＭ機構を回転させる回転機構と、ＲＣＭ機構が備える２つの平行四辺形構造の連結点と対角に位置する第１頂点に対して固定され、手指を保持する保持部材と、連結点と対角に位置する第２頂点に一方の端が固定された第１リンクと、第１リンクの他端に第１球ジョイントにより一方の端が連結された第２リンクと、第２リンクの他端に第２球ジョイントにより一方の端が連結された第３リンクと、を備え、第１リンクと第２リンクと第３リンクとは、４節リンク構造を構成する、外骨格ロボットをさらに備える。また、外骨格ロボットは、モータをさらに備え、第３リンクの他端は、モータの回転軸に固定される。
【0128】
これにより、情報処理装置は、外骨格ロボットの駆動伝達部の摩擦抵抗を小さくし、手指の内転・外転の自由度を向上させることができるので、外骨格ロボットの装着者に対してより滑らかで自然な手指の動作を再現することができる。したがって、情報処理装置は、手指の動作を適切に計測したうえで、計測した手指の動作をユーザに対して適切に再現することができる。
【0129】
また、回転機構の回転軸とＲＣＭ機構の回転軸とが、外骨格ロボットの装着者の手首に近い方から回転機構の回転軸、ＲＣＭ機構の回転軸の順に配置される。また、回転機構の回転軸は、外骨格ロボットの装着者の手指のＭＰ関節に位置し、ＲＣＭ機構の回転軸は、外骨格ロボットの装着者の手指のＭＰ関節からＰＩＰ関節を臨む方向に手指のＭＰ関節から所定の範囲内に位置する。
【0130】
これにより、情報処理装置は、手首側から見ると、手指の内転または外転の自由度の回転軸、ＲＣＭ機構という順番で装置の自由度が配置されているため、本来の手指の動きと同じように、手指をガイドすることができる。すなわち、情報処理装置は、手指のＭＰ関節に基づく手指の内転または外転の動きと、手指のＭＰ関節やＰＩＰ関節、ＤＩＰ関節に基づく手指を曲げ伸ばしする動きとを、本来の手指の動きと同じようにガイドすることができる。
【0131】
また、推定部は、外骨格ロボットの状態と、検出部で検出された関節の角度に基づいて、手指の姿勢を推定する。
【0132】
これにより、情報処理装置は、より適切に手指の姿勢を推定することができる。
【0133】
［５．ハードウェア構成］
上述してきた実施形態や変形例に係る情報処理装置１００等の情報機器は、例えば図３３に示すような構成のコンピュータ１０００によって実現される。図３３は、情報処理装置１００等の情報処理装置の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。以下、上述の実施形態又はその変形例に係る情報処理装置１００を例に挙げて説明する。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
上述してきた実施形態や変形例に係る情報処理装置１００等の情報機器は、例えば図３３に示すような構成のコンピュータ１０００によって実現される。図３３は、情報処理装置１００等の情報処理装置の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。以下、上述の実施形態又はその変形例に係る情報処理装置１００を例に挙げて説明する。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
【0134】
ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
【0135】
ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic Input Output System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
【0136】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１３５０の一例である本開示の一実施形態又はその変形例に係る情報処理プログラムを記録する記録媒体である。
【0137】
通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
【0138】
入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0139】
例えば、コンピュータ１０００が上述の実施形態又はその変形例に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、制御部１５０等の機能を実現する。また、ＨＤＤ１４００には、本開示の一実施形態又はその変形例に係る情報処理プログラムや、記憶部１３０内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１３５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
【0140】
なお、本技術は以下のような構成も取ることができる。
（１）
手指の少なくとも一部の関節の角度を非接触で検出する検出部と、
前記検出部で検出された前記関節の角度に基づいて、前記手指の姿勢を推定する推定部と、
を備える情報処理装置。
（２）
前記検出部は、非接触センサを含み、前記関節の角度に応じて変化する前記非接触センサから前記手指までの距離を検出し、検出した前記距離に基づいて前記関節の角度を検出する、
前記（１）に記載の情報処理装置。
（３）
前記非接触センサは、光を照射する発光素子と、前記光の反射光を検出する受光素子とを備え、
前記発光素子は、前記手指の節に対して光を照射し、
前記受光素子は、前記手指の節による前記光の反射光を検出し、
前記検出部は、
前記受光素子によって検出された反射光の強度に基づいて、前記手指までの距離を検出する、
前記（２）に記載の情報処理装置。
（４）
前記非接触センサは、人差し指、中指、薬指及び小指のうちの少なくとも１つの中節に設けられ、
前記発光素子は、前記手指の末節及び基節のうちの少なくとも一方に対して光を照射し、
前記受光素子は、前記手指の末節及び基節のうちの少なくとも一方による前記光の反射光を検出し、
前記検出部は、
前記反射光の強度に基づいて算出された前記手指の末節と前記非接触センサとの距離に基づいて、前記手指の中節に対する前記手指の末節の相対角度を前記手指のＤＩＰ関節の角度として算出し、
前記推定部は、
前記手指の中節に対する前記手指の基節の相対角度を前記手指のＰＩＰ関節の角度として算出し、前記手指の前記ＤＩＰ関節の角度と前記ＰＩＰ関節の角度とに基づいて、前記手指の姿勢を推定する、
前記（３）に記載の情報処理装置。
（５）
前記手指の中節の重力方向に対する傾きを検出するための第１姿勢センサをさらに備え、
前記推定部は、
前記手指のＰＩＰ関節の角度と、前記第１姿勢センサによって検出された前記手指の中節の前記重力方向に対する傾きとに基づいて、前記手指のＭＰ関節の角度を算出する、
前記（４）に記載の情報処理装置。
（６）
手背の重力方向に対する傾きを検出するための第２姿勢センサをさらに備え、
前記推定部は、
前記第２姿勢センサによって検出された前記手背の前記重力方向に対する傾きに基づいて、前記手背に対する前記手指の基節の相対角度を前記ＭＰ関節の角度として算出する、
前記（５）に記載の情報処理装置。
（７）
前記第２姿勢センサは、手背のうち、人差し指と中指の基骨上であって、ＭＰ関節から手首の間の領域に設けられる、
前記（６）に記載の情報処理装置。
（８）
手首の重力方向に対する傾きを検出するための第３姿勢センサをさらに備え、
前記推定部は、
前記第３姿勢センサによって検出された前記手首の重力方向に対する傾きと、前記第２姿勢センサによって検出された前記手背の重力方向に対する傾きとに基づいて、前記手背に対する前記手首の重力方向に対する傾きを前記手首の傾き角度として算出する、
前記（６）に記載の情報処理装置。
（９）
前記第１姿勢センサは、前記手指の内転または外転の前記重力方向に対する傾きを検出し、
前記第２姿勢センサは、掌部の内転または外転の前記重力方向に対する傾きを検出し、
前記推定部は、
前記第１姿勢センサによって検出された前記手指の内転または外転の前記重力方向に対する傾きと、前記第２姿勢センサによって検出された前記掌部の内転または外転の前記重力方向に対する傾きとに基づいて、前記手背に対する前記手指の内転または外転の相対角度に関する情報を算出する、
前記（６）に記載の情報処理装置。
（１０）
前記第１姿勢センサは、９軸センサである
前記（５）～（９）のいずれか１つに記載の情報処理装置。
（１１）
前記第２姿勢センサは、９軸センサである
前記（６）～（９）のいずれか１つに記載の情報処理装置。
（１２）
前記第３姿勢センサは、９軸センサである
前記（８）に記載の情報処理装置。
（１３）
平行リンクを用いた二重平行四辺形構造のＲＣＭ（Remote Center of Motion）機構と、
手指の内転または外転の回転に合わせて前記ＲＣＭ機構を回転させる回転機構と、
前記ＲＣＭ機構が備える２つの平行四辺形構造の連結点と対角に位置する第１頂点に対して固定され、手指を保持する保持部材と、
前記連結点と対角に位置する第２頂点に一方の端が固定された第１リンクと、
前記第１リンクの他端に第１球ジョイントにより一方の端が連結された第２リンクと、
前記第２リンクの他端に第２球ジョイントにより一方の端が連結された第３リンクと、
を備え、
前記第１リンクと前記第２リンクと前記第３リンクとは、４節リンク構造を構成する、
外骨格ロボットをさらに備える、
前記（１）～（１２）のいずれか１つに記載の情報処理装置。
（１４）
前記外骨格ロボットは、モータをさらに備え、
前記第３リンクの他端は、前記モータの回転軸に固定される、
前記（１３）に記載の情報処理装置。
（１５）
前記回転機構の回転軸と前記ＲＣＭ機構の回転軸とが、前記外骨格ロボットの装着者の手首に近い方から前記回転機構の回転軸、前記ＲＣＭ機構の回転軸の順に配置される、
前記（１３）または（１４）に記載の情報処理装置。
（１６）
前記回転機構の回転軸は、前記外骨格ロボットの装着者の手指のＭＰ関節に位置し、
前記ＲＣＭ機構の回転軸は、前記外骨格ロボットの装着者の手指のＭＰ関節からＰＩＰ関節を臨む方向に前記手指のＭＰ関節から所定の範囲内に位置する、
前記（１３）～（１５）のいずれか１つに記載の情報処理装置。
（１７）
前記推定部は、前記外骨格ロボットの状態と、前記検出部で検出された前記関節の角度に基づいて、前記手指の姿勢を推定する
前記（１３）～（１６）のいずれか１つに記載の情報処理装置。
（１８）
手指の少なくとも一部の関節の角度を非接触で検出し、
検出した前記関節の角度に基づいて、前記手指の姿勢を推定する
ことを含む情報処理方法。
（１９）
手指の少なくとも一部の関節の角度を非接触で検出する検出処理と、
前記検出処理で検出された前記関節の角度に基づいて、前記手指の姿勢を推定する推定処理と、
をコンピュータに実行させるための情報処理プログラム。
（１）
手指の少なくとも一部の関節の角度を非接触で検出する検出部と、
前記検出部で検出された前記関節の角度に基づいて、前記手指の姿勢を推定する推定部と、
を備える情報処理装置。
（２）
前記検出部は、非接触センサを含み、前記関節の角度に応じて変化する前記非接触センサから前記手指までの距離を検出し、検出した前記距離に基づいて前記関節の角度を検出する、
前記（１）に記載の情報処理装置。
（３）
前記非接触センサは、光を照射する発光素子と、前記光の反射光を検出する受光素子とを備え、
前記発光素子は、前記手指の節に対して光を照射し、
前記受光素子は、前記手指の節による前記光の反射光を検出し、
前記検出部は、
前記受光素子によって検出された反射光の強度に基づいて、前記手指までの距離を検出する、
前記（２）に記載の情報処理装置。
（４）
前記非接触センサは、人差し指、中指、薬指及び小指のうちの少なくとも１つの中節に設けられ、
前記発光素子は、前記手指の末節及び基節のうちの少なくとも一方に対して光を照射し、
前記受光素子は、前記手指の末節及び基節のうちの少なくとも一方による前記光の反射光を検出し、
前記検出部は、
前記反射光の強度に基づいて算出された前記手指の末節と前記非接触センサとの距離に基づいて、前記手指の中節に対する前記手指の末節の相対角度を前記手指のＤＩＰ関節の角度として算出し、
前記推定部は、
前記手指の中節に対する前記手指の基節の相対角度を前記手指のＰＩＰ関節の角度として算出し、前記手指の前記ＤＩＰ関節の角度と前記ＰＩＰ関節の角度とに基づいて、前記手指の姿勢を推定する、
前記（３）に記載の情報処理装置。
（５）
前記手指の中節の重力方向に対する傾きを検出するための第１姿勢センサをさらに備え、
前記推定部は、
前記手指のＰＩＰ関節の角度と、前記第１姿勢センサによって検出された前記手指の中節の前記重力方向に対する傾きとに基づいて、前記手指のＭＰ関節の角度を算出する、
前記（４）に記載の情報処理装置。
（６）
手背の重力方向に対する傾きを検出するための第２姿勢センサをさらに備え、
前記推定部は、
前記第２姿勢センサによって検出された前記手背の前記重力方向に対する傾きに基づいて、前記手背に対する前記手指の基節の相対角度を前記ＭＰ関節の角度として算出する、
前記（５）に記載の情報処理装置。
（７）
前記第２姿勢センサは、手背のうち、人差し指と中指の基骨上であって、ＭＰ関節から手首の間の領域に設けられる、
前記（６）に記載の情報処理装置。
（８）
手首の重力方向に対する傾きを検出するための第３姿勢センサをさらに備え、
前記推定部は、
前記第３姿勢センサによって検出された前記手首の重力方向に対する傾きと、前記第２姿勢センサによって検出された前記手背の重力方向に対する傾きとに基づいて、前記手背に対する前記手首の重力方向に対する傾きを前記手首の傾き角度として算出する、
前記（６）に記載の情報処理装置。
（９）
前記第１姿勢センサは、前記手指の内転または外転の前記重力方向に対する傾きを検出し、
前記第２姿勢センサは、掌部の内転または外転の前記重力方向に対する傾きを検出し、
前記推定部は、
前記第１姿勢センサによって検出された前記手指の内転または外転の前記重力方向に対する傾きと、前記第２姿勢センサによって検出された前記掌部の内転または外転の前記重力方向に対する傾きとに基づいて、前記手背に対する前記手指の内転または外転の相対角度に関する情報を算出する、
前記（６）に記載の情報処理装置。
（１０）
前記第１姿勢センサは、９軸センサである
前記（５）～（９）のいずれか１つに記載の情報処理装置。
（１１）
前記第２姿勢センサは、９軸センサである
前記（６）～（９）のいずれか１つに記載の情報処理装置。
（１２）
前記第３姿勢センサは、９軸センサである
前記（８）に記載の情報処理装置。
（１３）
平行リンクを用いた二重平行四辺形構造のＲＣＭ（Remote Center of Motion）機構と、
手指の内転または外転の回転に合わせて前記ＲＣＭ機構を回転させる回転機構と、
前記ＲＣＭ機構が備える２つの平行四辺形構造の連結点と対角に位置する第１頂点に対して固定され、手指を保持する保持部材と、
前記連結点と対角に位置する第２頂点に一方の端が固定された第１リンクと、
前記第１リンクの他端に第１球ジョイントにより一方の端が連結された第２リンクと、
前記第２リンクの他端に第２球ジョイントにより一方の端が連結された第３リンクと、
を備え、
前記第１リンクと前記第２リンクと前記第３リンクとは、４節リンク構造を構成する、
外骨格ロボットをさらに備える、
前記（１）～（１２）のいずれか１つに記載の情報処理装置。
（１４）
前記外骨格ロボットは、モータをさらに備え、
前記第３リンクの他端は、前記モータの回転軸に固定される、
前記（１３）に記載の情報処理装置。
（１５）
前記回転機構の回転軸と前記ＲＣＭ機構の回転軸とが、前記外骨格ロボットの装着者の手首に近い方から前記回転機構の回転軸、前記ＲＣＭ機構の回転軸の順に配置される、
前記（１３）または（１４）に記載の情報処理装置。
（１６）
前記回転機構の回転軸は、前記外骨格ロボットの装着者の手指のＭＰ関節に位置し、
前記ＲＣＭ機構の回転軸は、前記外骨格ロボットの装着者の手指のＭＰ関節からＰＩＰ関節を臨む方向に前記手指のＭＰ関節から所定の範囲内に位置する、
前記（１３）～（１５）のいずれか１つに記載の情報処理装置。
（１７）
前記推定部は、前記外骨格ロボットの状態と、前記検出部で検出された前記関節の角度に基づいて、前記手指の姿勢を推定する
前記（１３）～（１６）のいずれか１つに記載の情報処理装置。
（１８）
手指の少なくとも一部の関節の角度を非接触で検出し、
検出した前記関節の角度に基づいて、前記手指の姿勢を推定する
ことを含む情報処理方法。
（１９）
手指の少なくとも一部の関節の角度を非接触で検出する検出処理と、
前記検出処理で検出された前記関節の角度に基づいて、前記手指の姿勢を推定する推定処理と、
をコンピュータに実行させるための情報処理プログラム。
【符号の説明】
【0141】
１ 情報処理システム
１０ アプリサーバ
２０ 端末装置
１００ 情報処理装置
１１０ 手指センサ
１２０ 外骨格ロボット
１２１ 駆動部
１２２ センサ
１３０ 記憶部
１４０ 通信部
１５０ 制御部
１５１ センサ情報処理部
１５２ 推定部
１５３ 駆動制御部
１５４ 送信部
１０ アプリサーバ
２０ 端末装置
１００ 情報処理装置
１１０ 手指センサ
１２０ 外骨格ロボット
１２１ 駆動部
１２２ センサ
１３０ 記憶部
１４０ 通信部
１５０ 制御部
１５１ センサ情報処理部
１５２ 推定部
１５３ 駆動制御部
１５４ 送信部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】