IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オークランド ユニサービシズ リミテッドの特許一覧

<>
  • 特表-センサ 図1
  • 特表-センサ 図2
  • 特表-センサ 図3A
  • 特表-センサ 図3B
  • 特表-センサ 図4
  • 特表-センサ 図5
  • 特表-センサ 図6
  • 特表-センサ 図7
  • 特表-センサ 図8
  • 特表-センサ 図9
  • 特表-センサ 図10
  • 特表-センサ 図11
  • 特表-センサ 図12
  • 特表-センサ 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-31
(54)【発明の名称】センサ
(51)【国際特許分類】
   A61B 5/11 20060101AFI20241024BHJP
【FI】
A61B5/11
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024525536
(86)(22)【出願日】2022-10-27
(85)【翻訳文提出日】2024-06-13
(86)【国際出願番号】 IB2022060357
(87)【国際公開番号】W WO2023073617
(87)【国際公開日】2023-05-04
(31)【優先権主張番号】63/272,669
(32)【優先日】2021-10-27
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】504448092
【氏名又は名称】オークランド ユニサービシズ リミテッド
【氏名又は名称原語表記】AUCKLAND UNISERVICES LIMITED
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100180655
【弁理士】
【氏名又は名称】鈴木 俊樹
(72)【発明者】
【氏名】ポール マイケル フォンス ニールセン
(72)【発明者】
【氏名】ムジタバ シャムハマディ
(72)【発明者】
【氏名】ミナス リアロカピス
【テーマコード(参考)】
4C038
【Fターム(参考)】
4C038VA04
4C038VB22
4C038VC01
(57)【要約】
センサ装置が提供される。センサ装置は、変形に応じて光学特性が変化する弾性光透過層を含む。第1および第2の光源は、それぞれ、第1および第2の入射光をユーザの皮膚表面に向けて放射し、第1の入射光は前記層を通して放射される。光検出器は、異なる表皮深さから反射された第1および第2の反射光を検出する。センサ装置を使用して、皮下組織の動きを検出することができる。1つ以上のセンサ装置およびユーザの異なる筋肉状態または物理的位置に関連付けられた感知データから生成されたモデルを使用して、ユーザの身体部分の物理的位置または動きを推定することができる。このように推定された物理的位置または動きを使用して、人型ロボット工学、駆動式外骨格、および能動義肢等の他の装置を操作することができる。
【選択図】図1
【特許請求の範囲】
【請求項1】
ユーザの皮膚表面から皮下組織の動きを検出するためのセンサ装置であって、
光透過層の変形に応じて変化する光学特性を有する弾性光透過層と、
前記光透過層を通して前記皮膚表面に向けて第1の入射光を放射するように構成された第1の光源と、
前記皮膚表面に向けて第2の入射光を放射するように構成された第2の光源と、
皮膚組織層によるまたは皮膚表面もしくは皮膚表面付近での前記第1の入射光の反射を表す第1の反射光と、皮下組織層による前記第2の入射光の反射を表す第2の反射光とを検出するように構成された光検出器と、
を備える、センサ装置。
【請求項2】
前記光検出器が前記光透過層上に設けられて、前記光透過層を通して前記第1の反射光および前記第2の反射光を検出する、請求項1に記載のセンサ装置。
【請求項3】
前記ユーザの前記皮膚表面に接触するように構成された、前記光透過層の側面の少なくとも一部が反射性であり、前記第1の入射光の光を反射するように構成されている、請求項2に記載のセンサ装置。
【請求項4】
前記第1の光源が前記光透過層上に設けられて、前記第1の入射光を前記光透過層を通して放射する、請求項3に記載のセンサ装置。
【請求項5】
前記光透過層は、前記ユーザの前記皮膚表面に接触するように構成された前記光透過層の前記側面と、前記第1の光源が設けられている対向側面との間に約5mmの厚さを有し、これにより、検出された前記第1の反射光の強度を増加させる、請求項4に記載のセンサ装置。
【請求項6】
前記第2の光源は、前記ユーザの前記皮膚表面上に設けられており、前記第2の入射光を前記ユーザの前記皮膚表面を通して直接的に放射するように構成されている、請求項2~5のいずれか一項に記載のセンサ装置。
【請求項7】
前記光透過層、第1の光源、第2の光源、および光検出器がセンサモジュールを定義し、前記センサ装置は複数のセンサモジュールを含み、各センサモジュールは、前記ユーザの異なる筋肉群に関連する皮下組織の動きを検出するために使用される、請求項1~6のいずれか一項に記載のセンサ装置。
【請求項8】
前記第1の入射光は第1の波長を有し、前記第2の入射光は第2の波長を有し、前記第1の波長は前記第2の波長よりも短い、請求項1~7のいずれか一項に記載のセンサ装置。
【請求項9】
前記第1の波長は約500nm~約565nmの範囲であり、前記第2の波長は約625nm~約1,400nmの範囲である、請求項8に記載のセンサ装置。
【請求項10】
前記光透過層は弾性変形するように構成されており、前記光透過層の変形は前記光透過層を横断する光の経路および強度のうちの一方に影響を及ぼす、請求項1~9のいずれか一項に記載のセンサ装置。
【請求項11】
前記第1および第2の光源は、前記第1および第2の入射光をそれぞれ前記ユーザの前記皮膚表面に向けて非同時に放射するように構成されている、請求項1~10のいずれか一項に記載のセンサ装置。
【請求項12】
更に、
前記ユーザの前記皮膚表面に対して前記光透過層にバイアス力を印加するように構成されるバンドと、
検出された前記第1の反射光および第2の反射光に基づいて、皮下組織の動きを推定するように構成されるプロセッサと、
のうちの少なくとも一方を備える、請求項1~11のいずれか一項に記載のセンサ装置。
【請求項13】
前記プロセッサは、検出された前記第1の反射光および第2の反射光の値をモデルへの入力として提供し、前記モデルの出力から前記ユーザの身体部分のジェスチャ状態を決定するように構成されている、請求項12に記載のセンサ装置。
【請求項14】
前記第1の反射光は、組織の皮膚組織層による前記第1の入射光の反射を表し、前記皮膚層が表皮層である、請求項1~13のいずれか一項に記載のセンサ装置。
【請求項15】
請求項1~14のいずれか一項に記載のセンサ装置を使用して対象筋肉の筋肉収縮状態を推定する方法であって、
プロセッサを使用して、第1の時点と第2の時点との両方で前記第1の反射光および第2の反射光のそれぞれの感知された値を受信するステップと、
前記プロセッサを使用して、前記第1の反射光の前記感知された値の変化に基づいて、ユーザの前記皮膚に隣接する皮膚領域の変形を推定するステップと、
前記プロセッサを使用して、前記第2の反射光の前記感知された値の変化に基づいて、前記ユーザの前記皮膚領域に隣接する皮下領域の変形を推定するステップと、
前記プロセッサを使用して、前記推定された皮膚変形および推定された皮下変形に基づいて、前記対象筋肉の筋肉収縮状態を推定するステップと、
を含む、方法。
【請求項16】
請求項15に記載の前記ステップが異なる時間に繰り返されて、前記対象筋肉の前記筋肉収縮状態の複数の時間的推定値を提供し、前記筋肉収縮状態の複数の時間的推定値を使用して、前記対象筋肉に関連付けられる前記ユーザの身体部分のジェスチャ動作を推測する、請求項15に記載の方法。
【請求項17】
センサ装置であって、
弾性変形可能であり、光透過層を横断する光の光学特性に対応する変化を引き起こす光透過層と、
対応する表皮皮膚部分による反射のために、前記光透過層を通して皮膚部位に向けて光を放射するように構成された第1の発光部品と、
対応する非表皮皮膚部分による反射のために、前記皮膚部位に向けて光を放射するように構成された第2の発光部品と、
前記表皮および非表皮皮膚部分によって反射された光を検出するように構成された光検出器と、
を備える、センサ装置。
【請求項18】
前記非表皮皮膚部分が皮下組織部分である、請求項17に記載のセンサ装置。
【請求項19】
前記光透過層は前記皮膚部位上に配置されるように適合され、前記第1の発光部品を前記皮膚部位から5mm離して配置するように構成されており、これにより、前記表皮皮膚部分によって反射され、前記光検出器によって検出される光の強度が増加する、請求項17または18に記載のセンサ装置。
【請求項20】
前記光検出器は、前記光透過層を介して前記反射光を検出するように構成されている、請求項17~19のいずれか一項に記載のセンサ装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、皮膚表面から皮下組織の動きを検出するのに使用されるセンサ装置に関し、より具体的には、ユーザの物理的位置または動きを推定し、推定された位置または動きに基づいてロボット装置を制御するのに使用されるセンサおよびセンサの組み合わせに関するが、これに限定されないものとする。
【背景技術】
【0002】
以下には、本発明を理解する上で役立ち得る情報が含まれている。本明細書で提供される情報のいずれかが現在説明または請求されている発明の従来技術である、またはそれに関連することを認めるものではなく、または具体的にあるいは暗黙的に参照される出版物または文書のいずれかが従来技術であることを認めるものではない。本明細書全体にわたる従来技術のいかなる議論も、そのような従来技術が広く知られている、または当技術分野の一般的な知識の一部を形成することを認めるものとは決してみなされるべきではない。
【0003】
ヒューマン-マシンインタフェースは、ユーザ入力をマシンが実行可能な出力に変換する。従来の機械制御は、意識的な人間のインタラクションに依存している。意識的な制御インタフェースの例には、キーボード、ジョイスティック、およびタッチスクリーンディスプレイが含まれる。対照的に、生来の機械インタフェースは、生理学的出力を機械制御に使用可能な形式に変換する。例えば、筋電図(EMG)インタフェースは、筋肉の動きを表す骨格筋の電気的活性化パターンを測定する。筋電図(EMG)測定から得られた電気信号を処理して、様々な種類の動きを区別および/または推定し、ユーザの意図を識別することができる。非侵襲的なセンシングが必要な場合、表面筋電図(sEMG)を利用することができる。sEMGインタフェースは、データの取得および処理に複雑なエレクトロニクスを必要とする場合があり、正確なデータを取得するにはゲルベースの電極を正確に配置する必要がある場合がある。ゲルベースの電極の有効性は、湿気の影響を受けやすい。
【0004】
FMG(Forcemyography)インタフェースを使用して、筋収縮による圧力を捕捉し、手のジェスチャや、ユーザの手がとる様々なタイプのグリップ等、ユーザの動きを識別することもできる。正確に配置されたゲルベースの電極は必要ないため、FMGインタフェースは、インタフェースの配置の不正確性や湿気の影響を受けにくい。しかしながら、FMGインタフェースは筋肉の活性化方向を検出するのではなく、感知された筋肉量の変化に基づいて検出するため、精度が限られる可能性がある。
【0005】
利用可能な別の形式のインタフェースに、例えば、ヘルメットやその他のウェアラブルとして構成された脳波(EEG)インタフェースがある。
【0006】
視覚ベースのシステムを使用して、ユーザの動きの識別を試みることもできる。視覚ベースのシステムは、遮蔽や照明の変化の影響を受けやすく、適切な精度を提供するには非常に多くのトレーニングが必要になり得る。
【0007】
生来のマシンインタフェースは、意識的なユーザインタラクションなしにユーザの意図を解釈することができる。また、マシンが人間の動きを模倣する場合、マシンインタフェースは従来の制御よりもより直感的であることもできる。そのため、マシンインタフェースはマシンとの意識的なインタラクションが不利な用途に特に適している。人型ロボット工学、駆動式外骨格、および能動義肢は、生来のマシンインタフェースを使用可能な例の一部である。例えば、筋電図(EMG)インタフェースは、ユーザの前腕の筋肉(手のジェスチャおよび/または様々なタイプのグリップを担う筋肉)の電気的活性化を感知し、把持装置(ロボットグリッパー、駆動式義手または外骨格グローブ等)の制御出力を生成することができる。下肢やその他の付属肢を模倣する装置についても同様の例が挙げられる。
【0008】
ロボットグリッパー、駆動式義手および外骨格グローブは、人間の操作および/またはグリップの再現、支援、または強化を試みるソフトロボット把持装置の例である。ロボットグリッパーは、果物の摘み取り、車両の組み立て、および材料の取り扱いを含む、様々な用途向けに開発されてきた。ロボットグリッパーには、真空グリッパーと駆動式グリッパー(空気圧、油圧、およびサーボ電動グリッパー等)との2つの基本的なカテゴリがある。一部の駆動式グリッピングシステムは、擬人的な特徴(即ち、人間のような特性)を模倣する傾向がある義手やグリップ増強グローブ等の他の用途にも使用可能である。
【0009】
駆動式義手は、人間の手の形状および機能を回復することを目的としている。部分義手は、レシピエントが1本以上の指を失った場合に使用される。完全義手は、レシピエントが手全体を失った場合に使用される。どちらのタイプの義手も、何らかの方法でレシピエントとインタフェースし、レシピエントの意図を指および/または手の動きに変換する。これは、レシピエントの身体の別の部分から義手に力を伝達する機械システム(即ち、能動義手)、またはセンサ(例えば、電動システムを制御する筋電図(EMG)センサ)を介して実現することができる。
【0010】
グリップ増強グローブを使用して、レシピエントの手の機能性を高めることができる。グローブを使用して、過酷な把持作業(例えば、反復作業や重労働)に対する疲労耐性を高め、(例えば、脳卒中患者に対する)リハビリテーションを助け、神経変性疾患および/または筋骨格系疾患(例えば、関節炎、脳性麻痺およびパーキンソン病)を患っているレシピエントの長期的な可動性および/または体力を改善することができる。これらの装置は、通常、何らかの形態のアクチュエータからグローブの指先まで延在する人工腱(例えば、ケーブルまたは空気圧/油圧ライン)を含む。アクチュエータを作動させることにより、指が手のひらに向けて引っ張られ、レシピエントの自然なグリップが再現される。
【0011】
把持装置の形状および機能は、多くの場合、その意図された用途によって定義される。例えば、人間の手に代わるまたは人間の手を補強することを目的とした把持装置は、ウェアラブル(例えば、電池式、軽量かつレシピエントに適したサイズ)であることが期待される一方、産業用組立ラインで使用されるグリッパーは、把持力および/または持ち上げ力を優先させることが多い。
【0012】
参照による組み込み
2021年10月27日に出願された「センサ」と題された米国仮特許出願第63/272669号は、本明細書にその全体が参照により組み込まれており、即ち、明細書、特許請求の範囲、図面、付録1、および付録2は、組み込まれた開示の一部とみなされるべきである。
【発明の概要】
【発明が解決しようとする課題】
【0013】
本発明の目的は、従来技術に関連する1つ以上の欠点または制限に対処するまたは改善する改良されたセンサ装置を提供することであり、または少なくとも公衆に有用な選択肢を提供することである。
【課題を解決するための手段】
【0014】
第1の態様において、本開示は、ユーザの皮膚表面から皮下組織の動きを検出するためのセンサ装置を提供し、このセンサ装置は、
光透過層の変形に応じて変化する光学特性を有する弾性光透過層と、
光透過層を通して皮膚表面に向けて第1の入射光を放射するように構成された第1の光源と、
皮膚表面に向けて第2の入射光を放射するように構成された第2の光源と、
皮膚組織層によるまたは皮膚表面あるいは皮膚表面付近での第1の入射光の反射を表す第1の反射光と、皮下組織層による第2の入射光の反射を表す第2の反射光とを検出するように構成された光検出器と、
を備える。
【0015】
光検出器は、光透過層上に設けられ、光透過層を通して第1の反射光および第2の反射光を検出する。
【0016】
ユーザの皮膚表面に接触するように構成された、光透過層の側面の少なくとも一部は反射性であり、第1の入射光の光を反射するように構成されている。
【0017】
第1の光源は、光透過層上に設けられ、第1の入射光を光透過層を通して放射する。
【0018】
光透過層は、ユーザの皮膚表面に接触するように構成された光透過層の側面と、第1の光源が設けられた対向側面との間に約5mmの厚さを有し、これにより、検出された第1の反射光の強度を増加させる。
【0019】
第2の光源は、ユーザの皮膚表面上に設けられ、第2の入射光をユーザの皮膚表面を通して直接的に放射するように構成されている。
【0020】
光透過層、第1の光源、第2の光源、および光検出器は、センサモジュールを定義し、センサ装置は、複数のセンサモジュールを含み、各センサモジュールは、ユーザの異なる筋肉群に関連する皮下組織の動きを検出するために使用される。
【0021】
第1の入射光は第1の波長を有し、第2の入射光は第2の波長を有し、第1の波長は第2の波長よりも短い。
【0022】
第1の波長は約500nm~約565nmの範囲であり、第2の波長は約625nm~約1,400nmの範囲である。
【0023】
光透過層は弾性変形するように構成されており、光透過層の変形は光透過層を横断する光の経路および強度のうちの一方に影響を及ぼす。
【0024】
第1および第2の光源は、第1および第2の入射光をそれぞれユーザの皮膚表面に向けて非同時に放射するように構成されている。
【0025】
センサ装置は、更に、
ユーザの皮膚表面に対して光透過層にバイアス力を印加するように構成されるバンドと、
検出された第1の反射光および第2の反射光に基づいて、皮下組織の動きを推定するように構成されるプロセッサと、
のうちの少なくとも一方を備える。
【0026】
プロセッサは、検出された第1の反射光および第2の反射光の値をモデルへの入力として提供し、モデルの出力からユーザの身体部分のジェスチャ状態を決定するように構成されている。
【0027】
第1の反射光は、組織の皮膚組織層による第1の入射光の反射を表し、皮膚層は表皮層である。
【0028】
別の態様では、本開示は、本明細書に記載のセンサ装置を使用して対象筋肉の筋肉収縮状態を推定する方法を提供し、この方法は、
プロセッサを使用して、第1の時点と第2の時点との両方で第1の反射光および第2の反射光のそれぞれの感知された値を受信するステップと、
プロセッサを使用して、第1の反射光の感知された値の変化に基づいて、ユーザの皮膚に隣接する皮膚領域の変形を推定するステップと、
プロセッサを使用して、第2の反射光の感知された値の変化に基づいて、ユーザの皮膚領域に隣接する皮下領域の変形を推定するステップと、
プロセッサを使用して、推定された皮膚変形および推定された皮下変形に基づいて、対象筋肉の筋肉収縮状態を推定するステップと、
を含む。
【0029】
前述のステップが異なる時間に繰り返されて、対象筋肉の筋肉収縮状態の複数の時間的推定値を提供し、筋肉収縮状態の複数の時間的推定値を使用して、対象筋肉に関連付けられるユーザの身体部分のジェスチャ動作を推測する。
【0030】
別の態様では、本開示は、
弾性変形可能であり、光透過層を横断する光の光学特性に対応する変化を引き起こす光透過層と、
対応する表皮皮膚部分による反射のために、光透過層を通して皮膚部位に向けて光を放射するように構成された第1の発光部品と、
対応する非表皮皮膚部分による反射のために、皮膚部位に向けて光を放射するように構成された第2の発光部品と、
表皮および非表皮皮膚部分によって反射された光を検出するように構成された光検出器と、
を含むセンサ装置を提供する。
【0031】
非表皮皮膚部分は、皮下組織部分である。
【0032】
光透過層は、皮膚部位上に配置されるように適合され、第1の発光部品を皮膚部位から5mm離して配置するように構成されており、これにより、表皮皮膚部分によって反射され、光検出器によって検出される光の強度が増加する。
【0033】
光検出器は、光透過層を介して反射光を検出するように構成されている。
【0034】
本開示の別の態様では、方法が提供される。この方法は、複合光測定から皮下組織の動きを推定するステップを含み、複合光測定は、皮膚の表面から反射される第1の波長の光と、皮膚の表面の下の皮下組織から反射される第2の波長の光とを含む。
【0035】
本開示の別の態様では、センサが提供される。センサは、
第1の光源であって、レシピエントの皮膚の上または皮膚に隣接して配置され、第1の波長の入射光をレシピエントの皮膚の少なくとも上層を通して指向するように構成されている第1の光源と、第2の光源であって、第1の光源に近い位置にてレシピエントの皮膚上に第2の波長の入射光を指向するように構成されている第2の光源と、透明または半透明のエラストマーで作製されたコンプライアントパッドであって、第2の光源とレシピエントの皮膚との間に配置されるように構成されているコンプライアントパッドと、少なくとも1つの光検出器であって、レシピエントの皮膚および/または皮下組織から反射された光を受容し、第1の波長の光の強度および第2の波長の光の強度を測定するように構成されている少なくとも1つの光検出器と、を備える。
【0036】
本開示の別の態様では、方法が提供される。この方法は、
第1の変形測定値を取得するステップであって、第1の変形測定値は皮膚の表皮層の変形を表す、ステップと、
第2の変形測定値を取得するステップであって、第2の変形測定値は第1の変形測定値で表される表皮層に近接する皮膚の真皮層の変形を表す、ステップと、
第1の変形測定値と第2の変形測定値とを組み合わせて、皮下組織の動きの推定値を生成するステップと、
を含む。
【0037】
本開示の別の態様では、ベルトが提供される。ベルトは、ベルトの下の皮膚の変位を検出するように構成された第1の光センサと、皮膚表面の下の軟組織の変位を検出するように構成された第2の光センサとを含む。
【0038】
本開示の別の態様では、装置が提供される。装置は、ストラップの内面に隣接して配置される第1の光センサと、第1の光センサから円周方向に間隔をあけて配置される第2の光センサとを有するストラップを備え、第2の光センサは、第1の光センサと比較してストラップの内面から外方にオフセットされており、ストラップは、第2の光センサとストラップの内面との間に配置される圧縮可能なエラストマーパッドを備える。
【0039】
本開示の別の態様では、バンドが提供される。バンドは、バンドに近接した軟組織の変位を検出するように構成された少なくとも2つの光センサを備え、少なくとも2つの光センサは、異なる周波数範囲の光スペクトルで動作し、バンドは、少なくとも2つの光センサを皮膚から異なる距離に配置するように構成されている。
【0040】
別の態様では、本開示は、複合光測定から皮下組織の動きを推定するステップを含む方法を提供し、複合光測定は、皮膚の表面から反射される第1の波長の光と、皮膚の表面の下の皮下組織から反射される第2の波長の光とを含む。
【0041】
この方法は、第1の波長で捕捉された光の強度から皮膚の表皮層の変形推定値を取得するステップと、第2の波長で捕捉された光の強度から皮膚の真皮層の変形推定値を取得するステップと、を含む。
【0042】
この方法は、皮膚の表皮層および真皮層の変形推定値を組み合わせて、皮下組織の動きの推定値を生成するステップを含む。
【0043】
この方法は、複合光測定に存在する第1の波長の光の強度および第2の波長の光の強度から筋肉および/または腱の収縮の推定値を計算するステップを含む。
【0044】
この方法は、計算された筋収縮の推定値に応じて人工肢を作動させるステップを含む。
【0045】
この方法は、
第1の光源からの光を第1の時間にわたり皮膚の表面上に入射させ、同時に、光検出器で皮膚の表面から反射された光の強度を測定するステップと、
第2の光源からの光を第2の時間にわたり皮膚の表面上に入射させ、同時に、光検出器で皮下組織から反射された光の強度を測定するステップと、
を含み、第1の時間と第2の時間とは同時ではない。
【0046】
別の態様では、本開示は、
第1の光源であって、レシピエントの皮膚上または皮膚に隣接して配置され、第1の波長の入射光をレシピエントの皮膚の少なくとも上層を通して指向するように構成されている第1の光源と、
第2の光源であって、第1の光源に近い位置でレシピエントの皮膚上に第2の波長の入射光を指向するように構成されている第2の光源と、
透明または半透明のエラストマーで作製されたコンプライアントパッドであって、第2の光源とレシピエントの皮膚との間に配置されるように構成されているコンプライアントパッドと、
少なくとも1つの光検出器であって、レシピエントの皮膚および/または皮下組織から反射された光を受容し、第1の波長の光の強度および第2の波長の光の強度を測定するように構成されている少なくとも1つの光検出器と、
を含むセンサを提供する。
【0047】
センサはバンドを備え、バンドは、第1の光源、第2の光源、コンプライアントパッド、および少なくとも1つの光検出器を皮膚に近接して保持し、バンドはレシピエントの皮膚に圧力を印加することによって、コンプライアントパッドをレシピエントの皮膚に対してプリロードするように構成されている。
【0048】
バンドは、レシピエントの手足の周囲を囲むように構成されている。
【0049】
コンプライアントパッドは、第2の光源からの光をレシピエントの皮膚に向けるように構成されている。
【0050】
コンプライアントパッドは、パッドが圧縮されると第2の波長の可変量の光を吸収するように構成されており、コンプライアントパッドが吸収する光の量はエラストマーの変形に依存する。
【0051】
第2の光源の波長は650nm超であり、第1の光源の波長は550nm未満である。
【0052】
別の態様では、本開示は、
第1の変形測定値を取得するステップであって、第1の変形測定値は、皮膚の表皮層の変形を表す、ステップと、
第2の変形測定値を取得するステップであって、第2の変形測定値は、第1の変形測定値で表される表皮層に近接する皮膚の真皮層の変形を表す、ステップと、
第1の変形測定値と第2の変形測定値とを組み合わせて、皮下組織の動きの推定値を生成するステップと、
を含む方法を提供し、この方法は、第1の波長で皮膚から反射される光の強度から第1の変形測定値を推定するステップと、第2の波長で皮膚から反射される光の強度から第2の変形測定値を推定するステップと、を含む。
【0053】
この方法は、第1の波長で光を放射する第1の光源からの光を、第2の波長で光を放射する第2の光源からの光とインターリーブするステップと、第1の光源からの光の強度および第2の光源からの光の強度を単一の光検出器で測定するステップとを含む。
【0054】
別の態様では、本開示は、ベルトの下の皮膚の変位を検出するように構成された第1の光センサと、皮膚表面の下の軟組織の変位を検出するように構成された第2の光センサとを含むベルトを提供する。
【0055】
第1の光センサは皮膚の表面上に保持され、625nm~1mmの波長で動作し、第2の光センサは皮膚に隣接して保持され、10nm~565nmの波長で動作する。
【0056】
別の態様では、本開示は、ストラップの内面に隣接して配置された第1の光センサと、第1の光センサから円周方向に間隔をあけて配置された第2の光センサとを備えるストラップを含む装置を提供し、第2の光センサは、第1の光センサと比較してストラップの内面から外方にオフセットされており、ストラップは、第2の光センサとストラップの内面との間に配置された圧縮可能なエラストマーパッドを備える。
【0057】
第2の光センサは、ストラップの内面から2mm超外方にずれており、エラストマーパッドは、第2の光源とストラップの内面との間の空間を占めている。
【0058】
第1の光センサは、第1の波長を有する第1の光源と第1の光検出器とを備え、第2の光センサは、第2の波長を有する第2の光源と第2の光検出器とを備える。
【0059】
ストラップは、レシピエントの手足に放射状に圧縮力を印加するように構成されており、これにより、第1の光センサをレシピエントの皮膚に接触するように、またはレシピエントの皮膚のすぐ隣に配置する。
【0060】
別の態様では、本開示は、バンドに近接する軟組織の変位を検出するように構成された少なくとも2つの光センサを含むバンドを提供し、少なくとも2つの光センサは異なる周波数範囲の光スペクトルで動作し、バンドは少なくとも2つの光センサを皮膚から異なる距離に配置するように構成されている。
【0061】
バンドは、少なくとも2つの光センサのうちの第1の光センサとバンドの内周との間に配置される順応性のあるエラストマー材料を含み、順応性のあるエラストマー材料は皮膚に接触し、接触した皮膚のすぐ下の軟組織の動きに応じて変形するように構成されている。
【0062】
順応性のあるエラストマー材料はドーパントを含み、このドーパントは、順応性にあるエラストマー材料の変形に応じて、少なくとも2つの光センサのうちの第1の光センサからの、順応性にあるエラストマー材料を介した光の透過率を変更するように構成されている。
【0063】
少なくとも2つのセンサのうちの第1のセンサは、順応性のあるエラストマー材料の変形を軟組織の変位の代理として測定するように構成されており、少なくとも2つのセンサのうちの第2のセンサは、少なくとも2つのセンサのうちの第1のセンサよりも皮膚の近くに配置され、少なくとも2つのセンサのうちの第2のセンサは、皮膚の下の軟組織の変位を測定するように構成されている。
【0064】
少なくとも2つの光センサのうちの第1の光センサは、赤色または赤外線LED光源を含み、少なくとも2つの光センサのうちの第2の光センサは、緑色、青色、紫色、または紫外線LED光源を含む。
【0065】
別の態様では、本開示は、光透過層を横断する光の光学特性に対応する変化を引き起こすように弾性変形可能な光透過層と、対応する表皮皮膚部分による反射のために光透過層を通して皮膚部位に向けて光を放射するように構成された第1の発光部品と、対応する非表皮皮膚部分による反射のために皮膚部位に向けて光を放射するように構成された第2の発光部品と、表皮皮膚部分および非表皮皮膚部分によって反射される光を検出するように構成された光検出器と、を含むセンサ装置を提供する。
【0066】
光検出器は、好ましくは、光透過層を介して反射光を検出するように構成することができる。
【0067】
好ましくは、光学特性は、経路および強度のうちの少なくとも一方を含むことができる。
【0068】
光透過層は、皮膚部位上に配置されるように適合され、第1の発光部品を皮膚部位から5mm離して配置するように構成されており、これにより、表皮皮膚部分によって反射され、光検出器によって検出される光の強度を増加させることが好ましい。
【0069】
第1および第2の発光部品は、交互に光を放射するように構成されてもよい。
【0070】
非表皮皮膚部分は、皮下組織部分であることができる。
【0071】
センサ装置は、表皮皮膚部分および非表皮皮膚部分のうちの対応する部分によって反射するように、表皮皮膚部分および非表皮皮膚部分のいずれかによって反射され、光検出器によって検出されない光を皮膚部位に向けて反射するように構成された反射層を更に備えることが好ましい。
【0072】
センサ装置は、更に、光透過層と皮膚部位との接触を維持するように適合された固定部品と、光検出器によって検出された光に基づいて、皮膚部位の皮下組織の動きを決定するように構成されたプロセッサとのうちの少なくとも一方を備えてもよい。
【0073】
別の態様によれば、本開示は、皮下組織の動きを決定する方法を提供し、この方法は、プロセッサを使用して、表皮皮膚部分によって反射され、光検出器によって検出された光に基づいて、皮膚部位の表皮皮膚部分の変形を決定するステップと、プロセッサを使用して、非表皮皮膚部分によって反射され、光検出器によって検出された光に基づいて、皮膚部位の非表皮皮膚部分の変形を決定するステップと、プロセッサを使用して、決定された変形に基づいて皮下組織の動きを決定するステップと、を含む。
【0074】
別の態様によれば、筋肉の動きを決定する方法が提供され、この方法は、表皮皮膚層によって反射された光および非表皮皮膚層によって反射された光の検出を表す特徴データを受信するステップと、特徴データに対して回帰演算を実行して筋肉の動きを決定するステップと、を含む。
【0075】
好ましくは、受信した特徴データは、少なくとも1つの光検出器によって生成される未処理のデータを表す。好ましくは、受信した特徴データは、未処理の光検出器データを表す。
【0076】
回帰演算は、ランダムフォレスト(RF)プロセス、畳み込みニューラルネットワーク(CNN)プロセス、およびTMC-Vit(Temporal Multi-Channel Vision Transformer)プロセスのうちの1つに関連することが好ましい。
【0077】
好ましくは、この方法は、更に、決定された筋肉の動きに基づいて、ジェスチャおよび力のうちの一方を決定するステップを含む。
【0078】
別の態様では、本開示は、筋肉の動きを決定する方法を提供し、この方法は、表皮皮膚層によって反射された光および非表皮皮膚層によって反射された光の検出を表す特徴データを受信するステップと、特徴データに対して回帰演算を実行して筋肉の動きを決定するステップと、を含む。
【0079】
受信した特徴データは、少なくとも1つの光検出器によって生成された未処理のデータを表すことが好ましい。
【0080】
この方法は、更に、決定された筋肉の動きに基づいて、ジェスチャを決定するステップを含むことができる。
【0081】
「および/または」という用語は、「および」または「または」を意味し得る。
【0082】
「特性」および「特徴」という用語は、本明細書では互換的に使用され得る。
【0083】
本明細書において使用されるように、名詞に続く「(複数)((s))」は、その名詞の複数形および/または単数形を意味する。
【0084】
本明細書および特許請求の範囲において使用されるように、「含む(comprise)」、「含む(comprises)」、「含む(comprising)」および類似の用語は、排他的または網羅的な意味で解釈されるべきではない。換言すると、これらは「含むが、これらに限定されない」という意味を意図している。本明細書において「含む(comprise)」、「含む(comprises)」、または「含む(comprising)」という用語を含む各記述を解釈する場合、この用語によって前置きされた以外の特徴も存在する可能性がある。
【0085】
本明細書で使用される「軸」という用語は、線または平面を回転させて対称形状を形成することができる回転軸を意味する。例えば、回転軸の周りを回転する線は表面を形成する一方、回転軸の周りを回転する平面は立体を形成する。
【0086】
本明細書の目的上、「プラスチック」という用語は、広範囲の合成または半合成重合物の総称を意味し、一般に、炭化水素系ポリマーからなるものと解釈されるものとする。
【0087】
本明細書で詳述される方法はいずれも、方法アクションのうちの1つ、または複数、または全てを実行するように構成された装置および/またはシステムの開示に対応する。同様に、本明細書で詳述される装置および/またはシステムの開示はいずれも、本明細書で詳述される機能に従ってその装置を使用する方法を含む、装置および/またはシステムを製造および/または使用する方法に対応する。また、本明細書で詳述される装置および/またはシステムの開示はいずれも、その装置および/またはシステムを他の方法で提供する開示に対応する。
【0088】
本明細書および特許請求の範囲の目的のために、方法ステップが順番に説明されている場合、その順序は、その順序を解釈する他の論理的な方法がない場合を除き、必ずしもステップがその順序で時系列に並べられていることを意味するものではない。
【0089】
本明細書に記載されている現在好ましい実施形態に対する様々な変更および修正は、当業者には明らかであることに留意されたい。そのような変更および修正は、本発明の精神および範囲から逸脱することなく、またその付随する利点を損なうことなく行うことができる。従って、そのような変更および修正は、本発明に含まれることが意図されている。
【0090】
開示の態様は、例示としてのみ提供されており、本開示の範囲から逸脱することなく、変更、修正、および追加を行うことができることを理解されたい。更に、特定の特徴に対して既知の同等物が存在する場合、そのような同等物は、本明細書で具体的に言及されているかのように組み込まれる。従って、本明細書で、既知の同等物を有する整数またはコンポーネントに対して言及がなされている場合、それらの整数は、個別に説明されているかのように本明細書に組み込まれる。
【0091】
本発明は、広く言えば、本出願の明細書で言及または示されている部品、要素および特徴を含み、個別にまたは集合的に、前記部品、要素、または特徴の2つ以上の任意のまたは全ての組み合わせである。
【0092】
別途指定されない限り、または当該技術によって実現可能でない限り、1つの実施形態または実施例に関して本明細書で詳述された1つ以上の教示はいずれも、他の実施形態または実施例に関して本明細書で詳述された任意の他の教示のうちの1つ以上の教示と組み合わせることができ、これには、1つのコンポーネントの任意の所与の教示の、任意の同様のコンポーネントとの重複または繰り返しが含まれる。
【0093】
いくつかの例示的な実施形態には、本明細書で詳述した方法アクションの一部または全部を実行するための装置の利用が含まれる。いくつかの例示的な実施形態では、これらの装置は、プロセッサ等のロジック回路または電子機器を含むか、またはロジック回路または電子機器であり、プロセッサは、メモリコンポーネントを含むか、またはメモリコンポーネントにアクセスすることができる。あるいは、および/またはこれに加えて、コンピュータチップは、本明細書で詳述した方法アクションの1つ以上を実行するように構成またはプログラムすることができる。いくつかの実施形態では、プロセッサおよび/またはマイクロチップ、または本明細書で詳述した方法アクションの少なくとも一部を実行するように構成された何らかの形態の電子ロジック回路および/またはセンサを備えるシステムが存在する。ロジック回路は、本明細書で詳述した方法アクションの少なくとも一部を実施するようにプログラムまたは構成された、本明細書で詳述した教示を可能にするラップトップコンピュータまたは他のタイプのコンピュータ装置(デスクトップおよび/またはサーバまたはメインフレーム)の一部であるか、またはそれらであることができる。コンピューティングデバイスは、スマートフォンまたはスマートデバイスであることができる。また、いくつかの実施形態では、いくつかの機能がそのようなコンピューティングデバイスと無線および/または有線で通信していることに留意されたい。
【0094】
本発明の他の態様は、添付の図面に示された実施形態を参照して、単なる例示として提供される以下の説明から明らかになるだろう。
【0095】
実施形態を、添付の図面を参照して説明する。
【図面の簡単な説明】
【0096】
図1】異なる波長の2つの光源および単一の光検出器を含む多層センサモジュールの分解図である。
図2】アームバンドの周りに円周方向に配置された5つの光センサを備える例示的なアームバンドの概略図である。
図3A】2つの光源のそれぞれから光検出器まで光がとることができる1つの経路を示す、図1に示す多層センサモジュールの断面図である。
図3B】2つの光源のそれぞれから光検出器まで光がとることができる1つの経路を示す、図1に示す多層センサモジュールの断面図である。
図4】3つの別個の指の動きに対する、多層光センサからの波長に依存する出力を示す一連のグラフである。
図5】差動装置からグローブの人差し指まで延在するシースケーブル腱を示すグリップ増強グローブの概略図である。
図6】グローブのケーブル腱の経路および終端を示すグリップ増強グローブの概略図である。
図7】グローブの各指に延在する5本のケーブル腱を示すグリップ増強グローブの概略図である。
図8】円筒形の物体を把持するためにレシピエントが使用しているグリップ増強グローブの概略図である。
図9図9Aは、それぞれの手のジェスチャの5枚の写真である。図9Bは、図9Aの手のジェスチャの信号測定の3つのチャートである。
図10】精度測定の2つの図である。
図11】3つのジェスチャデコーディングモデルの精度の表である。
図12】3つの回帰モデルの相関および精度の表である。
図13】推定される握り締め力と実際の握り締め力との折れ線グラフである。
【発明を実施するための形態】
【0097】
一態様では、本開示はセンサ装置を提供する。本明細書の他の箇所では、センサ装置は光センサ、またはセンサモジュールと呼ばれることもある。センサ装置は、ユーザの組織の物理的状態を検出するために使用可能であり、センサ装置は、ユーザの皮膚表面またはその付近に配置される。センサ装置は、光の放射および反射光の検出によって、ユーザの組織の特性を検出するために使用可能である。より具体的には、いくつかの例では、センサ装置は、光の放射および反射光の変化を検出することによって、ユーザの組織の特性(単数または複数)の経時的変化を検出するために使用可能である。
【0098】
センサ装置は、各光源がユーザの組織による反射のために入射光を放射する、複数の光源(例えば、発光部品)と、反射光を検出する光検出器とを含むことができる。
【0099】
各光源によって放射される光は、1つ以上の異なる波長を含むことができる。例えば、第1の光源は第1の波長または波長範囲の光を放射することができ、第2の光源は第1の光源とは異なる第2の波長または波長範囲の光を放射することができる。
【0100】
センサ装置のユーザは人間であることができる。他の例では、ユーザは人間でなく別の動物であってもよい。
【0101】
人間および他の動物は、皮膚表面を含む体組織を有し、その下には皮膚組織層、次いで皮下組織層がある。皮膚組織層は、皮膚表面から内方に、皮膚表面、表皮層、および真皮層を含む。皮下組織層は、皮下組織層、次いで筋肉を含む。関心対象の皮膚表面、関連する関心対象の皮膚組織層、および関連する関心対象の皮下組織層は、本明細書では総称して「皮膚部位」と呼ぶ。
【0102】
センサ装置が検出に使用可能な組織の特性には、組織の1つ以上の物理的状態が含まれる。組織は、例えば、皮下組織層であることができる。例えば、センサ装置は、センサ装置が配置されている皮膚表面の下の筋肉または筋肉群の収縮状態、または収縮状態の変化を検出するために使用可能であってもよい。筋肉の収縮状態は、筋肉組織の特定の光学特性、例えば反射特性と関連している場合がある。筋肉組織の反射特性は、例えば、筋肉の変位または再形成、様々な収縮状態における筋肉の局所的な体積の変化、局所的な硬さの変化、または局所的な密度の変化のうちの1つ以上に起因して変化し得る。
【0103】
筋肉の収縮状態は、他の非筋肉組織層の特定の光学特性と関連している可能性がある。例えば、筋肉の収縮状態は、隣接する皮下組織層、真皮層、または表皮層のうちの1つ以上の特定の光学特性と関連している可能性がある。筋肉の収縮状態は、下に筋肉が位置する皮膚表面の特定の光学特性と関連している可能性がある。対象筋肉に隣接する組織層の光学特性は、異なる収縮状態における筋肉の物理的変化によって影響を受ける可能性がある。例えば、異なる収縮状態では、筋肉は局所的に形状または体積が変化する可能性がある。これらの変化は周囲の組織層を変形させる可能性があり、これらの変形は組織層の光学特性に変化をもたらす結果となり得る。例えば、筋肉組織の収縮は、隣接する皮下組織、真皮、および表皮に対して外方への圧力を引き起こす可能性がある。これにより、これらの組織層のうちの1つ以上の厚さが減少し、それらの光学特性を変化させる可能性がある。筋組織の収縮は、皮膚表面を面内で引き伸ばすか、または皮膚組織を局所的に外方に変形させることのいずれかまたは両方により、皮膚表面の変形を引き起こす場合もある。皮膚表面におけるこのような変化は、皮膚表面と接触するように配置されるセンサ装置の構成要素の光学特性の変化を引き起こし得る。
【0104】
他の例では、センサ装置は、付加的または代替的に、組織の、より具体的には皮下組織の他の特性を検出するために使用可能である場合がある。例えば、センサ装置は、センサが適用されているユーザの心拍数を検出するために使用できる場合がある。組織内の血流の変化は動物の心臓の連続的な拍動と関連しているため、血流の変化は、血液が流れている組織、および/または隣接する組織層の光学特性の変化を引き起こす場合がある。
【0105】
他の例では、センサ装置は、付加的または代替的に、皮下組織の他の特性、例えば、異なる元素または化合物の存在または濃度等を検出するために使用可能である場合があり、この場合、それらの元素または化合物の存在または濃度は、組織の光学特性を変化させる。例えば、センサ装置は、異なる酸素飽和レベルで組織が示す光学特性により、皮下組織内の血液の血中酸素濃度を検出するために使用可能である場合がある。
【0106】
本開示による、ユーザの筋肉の活動等、ユーザの組織の1つ以上の特性を識別するためのセンサ装置(単数または複数)の使用は、筋電図(EMG)またはforcemyography(FMG)技術とは対照的に、lightmyography(LMG)として特徴付けられ得る。
【0107】
組織層、または光源および光検出器のいずれかまたは両方と皮膚表面との間の他の構成要素の光学特性のいずれかは、異なる組織層による光源(単数または複数)の入射光からの反射光の特定の特性と関連付けられる可能性がある。層に関する反射光は、それぞれの層による入射光の反射を表す。これらの特性には、反射光の強度が含まれ得る。いくつかの例では、これらの特性には、対象の皮膚層から光源および光検出器のそれぞれまでの距離が含まれ得る。組織の特性が変化する場合、その特性の変化は、光源(単数または複数)の入射光からの、組織の層内からの光の反射特性における対応する変化と関連している可能性がある。換言すると、組織の特性の変化は、関心対象の皮膚層によって(または皮膚層で)反射され、光検出器によって検出される光に対応する変化をもたらす。
【0108】
ユーザの組織の特定の物理的状態に影響を与えることにより、例えば、センサ装置を使用しながら筋肉を特定の収縮状態に収縮させることによって、組織内から反射される光の関連する特性を取得することができる。同様に、ユーザの組織の特性に異なる変化を与えることによって、例えば、2つの収縮状態の間で筋肉を収縮させることによって、組織内から反射される光の結果として生じる関連する特性における変化を取得することができる。従って、センサ装置は、組織内から反射され、センサ装置によって受信される光の特性に基づいて、皮膚表面下の組織の物理的状態を検出することができる。
【0109】
センサ装置が特定の筋肉の物理的状態を検出するために使用される場合、その筋肉の決定された収縮状態は、ユーザの身体部分の相対的な位置、例えば、ユーザの前腕および上腕の互いに対する屈曲または伸展位置を推測するために使用可能である場合がある。同様に、センサ装置が特定の筋肉の物理的状態を感知するために使用される場合、その筋肉の感知された収縮状態の変化は、ユーザの異なる身体部分の相対的な位置の変化を推測するために使用可能である場合がある。例えば、ユーザの前腕および上腕の互いに対する屈曲または伸展位置の変化が挙げられる。
【0110】
特定の組織領域、例えば、特定の筋肉に関連してセンサ装置から感知された反射光特性から収集されたデータを使用して、ユーザの組織、特に皮下組織の特定の物理的状態または物理的状態の変化に関連する反射光の特性のモデルを生成することができる。例えば、センサ装置を使用して、特定の筋肉の選択された収縮状態、または特定の筋肉の選択された収縮状態の変化に関連する反射光特性のデータを収集することができる。後に、収集されたデータを使用して、その筋肉の選択された収縮状態または選択された収縮状態の変化に関連する特徴的な感知された特性のモデルをトレーニングすることができる。
【0111】
例えば、データは機械学習モデルのトレーニングに使用できる。このような機械学習モデルは、ユーザの特定の物理的位置または動きに関連付けられたセンサデータでトレーニングすることができる。一旦トレーニングされると、センサ装置がユーザに適用されたときに感知された反射光の特性のセンサデータがトレーニング済み機械学習モデルに入力され、そのモデルによって分類され、ユーザの身体部分の現在の物理的位置または動きの推定値を得ることができる。
【0112】
従って、異なる筋肉の異なる収縮状態に関連付けられた反射光の特性のモデルをトレーニングすることによって、1つ以上のセンサ装置のセンサデータを分類し、異なる個々の筋肉の収縮状態または収縮状態の特定の変化の推定値を生成することができるトレーニング済みモデルを生成することができる。
【0113】
いくつかの例では、複数のセンサ装置が使用され、それぞれがユーザの組織の異なる領域のうちの1つ以上の異なる特性を感知する。例えば、複数のセンサ装置を使用して、それぞれがユーザの対応する異なる筋肉の収縮状態を決定してもよい。反射光の特性のデータに基づくモデルは、複数のセンサ装置からの感知された値に基づいてトレーニングすることができ、続いて、トレーニング済みモデルを使用して、複数の異なる筋肉の動作に関連するユーザの身体部分の物理的位置または動きを推定することができる。例えば、ユーザの前腕の異なる筋肉等、異なる筋肉の収縮状態を決定するために、複数のセンサ装置が提供される場合がある。それらの筋肉のそれぞれの異なる収縮状態に関連する反射光の特性のトレーニング済みモデルが開発されている場合、各センサ装置からの感知された値は、トレーニング済みモデルに入力され、そのモデルによって分類され、それらの分類から、各筋肉の収縮状態の推定値を得ることができる。
【0114】
筋肉の収縮状態または筋肉の収縮状態の変化は、センサ装置が適用されているユーザの身体部分の動きと関連している可能性があるため、1つ以上の筋肉またはその他の皮下組織領域の物理的状態の推定により、ユーザの身体部分がとる物理的位置を推定することができる。例えば、筋肉(単数または複数)の検出可能な物理的状態がユーザの身体部分がとる特定の物理的位置と関連している場合、1つ以上のセンサ装置によるこれらの物理的状態の推定により、感知された値をトレーニング済みモデルに入力することで、ユーザの物理的位置を推定することができる。同様に、筋肉の物理的状態の検出可能な変化が、ユーザの特定の動き、例えば、ジェスチャのとり方と関連している場合、センサ装置(単数または複数)によるこれらの物理的状態の推定により、感知された値をトレーニング済みモデルに入力することで、ユーザによって行われた動きまたはジェスチャを推定することができる。
【0115】
ユーザの身体部分の推定された物理的位置、またはユーザの推定された動きまたはジェスチャを使用して、人型ロボット工学、駆動式外骨格、および能動義肢等の装置を制御することができる。例えば、センサ装置または複数のセンサ装置を使用して、ユーザの動きを推定し、ロボットを操作してその動きをサポートまたは模倣することができる。
【0116】
試験された一配置では、複数のセンサ装置をアームバンドに配置し、機械学習モデルであるlightmyographyモデルを、多数の異なるユーザのいくつかの異なる手のジェスチャのデータを使用してトレーニングした。手のジェスチャには、休息位置、人差し指と親指とを摘まむジェスチャ、三脚ジェスチャ、拳または握り拳ポーズ、および手の各指が完全に伸びている伸展ポーズを含めた。比較のために、EMGからのセンサデータを使用してマッチングモデルもトレーニングした。トレーニング済みモデルを使用することにより、lightmyographyモデルは、トレーニング済みEMGモデルによって提供されるよりも手のジェスチャの分類の精度がより高いことが判明した。
【0117】
EMGセンサデータは、トレーニングデータとして使用するために処理(例えば、RMS)を必要とする場合がある。これには、計算能力および追加の時間を伴う場合がある。EMGデータの使用と比較して、本開示のセンサ装置(単数または複数)の光検出器からのセンサデータは、モデルトレーニングの文脈において、中間処理を必要とせずにトレーニングデータとして直接有利に利用することができる。適用の文脈において、光検出器のセンサデータは、何らかの中間処理なしでトレーニング済みモデルに直接提供することができる。
【0118】
センサ装置が適用されているユーザの推定される物理的位置または動きを受信するために、センサ装置を使用してトレーニング済みモデルに入力データを提供する場合、プロセッサおよび記憶媒体が提供される場合がある。記憶媒体はトレーニング済みモデルを記憶し、プロセッサによりセンサデータを受信し、センサデータをトレーニング済みモデルに入力し、分類を受信し、それに応じて物理的位置または動きを推定することができる。プロセッサは、出力された推定値を記憶することができる。プロセッサは、いくつかの例では、出力された推定値を、例えばユーザインタフェースによってユーザに通信することができる。プロセッサは、いくつかの例では、出力を別の装置に、例えば、推定されるユーザの物理的位置または動きに基づいて操作されるロボット装置のサーバまたはコントローラに通信することができる。
【0119】
プロセッサがセンサ装置(単数または複数)と組み合わせて使用される場合、プロセッサはセンサ装置(単数または複数)と一緒に配置されてもよい。他の例では、プロセッサはセンサ装置(単数または複数)と一緒に配置されないが、センサ装置(単数または複数)からセンサデータを受信することができる。
【0120】
記憶媒体がセンサ装置およびプロセッサと組み合わせて使用される場合、記憶媒体はセンサ装置またはプロセッサと一緒に配置されてもよい。他の例では、記憶媒体はセンサ装置またはプロセッサから離れて、例えば、遠隔地に配置されてもよいが、プロセッサと通信可能に接続されている。
【0121】
対象筋肉の筋収縮状態を推定する方法は、1つ以上のセンサ装置を利用することができる。このような方法によれば、第1の時点と第2の時点との両方における第1の反射光および第2の反射光のそれぞれの感知された値が受信され得る。感知された値は、例えばプロセッサによって受信することができる。一旦、感知された値が受信されると、プロセッサを使用して、1つ以上のセンサ装置が適用されているユーザの皮膚に隣接する皮膚領域の変形の推定を実行することができる。推定は、第1の反射光の感知された値に基づいて行うことができる。より具体的には、推定は、トレーニング済みモデルによる第1の反射光の感知された値の分類に基づいて行うことができる。推定は、1つ以上のセンサ装置が適用されているユーザの皮下領域のプロセスまたは変形推定を使用して行うことができる。推定は、第2の反射光の感知された値に基づいて行うことができる。より具体的には、推定は、トレーニング済みモデルによる第2の反射光の感知された値の分類に基づいて行うことができる。プロセッサを使用して、1つまたは各光センサに隣接する筋肉またはそれぞれの筋肉の筋収縮状態の推定を行うことができる。推定は、推定される皮膚変形と推定される皮下変形との組み合わせに基づいて行うことができる。
【0122】
センサ装置によって感知される反射光の特性には、2つの異なる光源から最初に入射した反射光の特性が含まれ得る。
【0123】
センサ装置によって感知される反射光の特性には、2つの異なる波長の反射光の特性が含まれ得る。
【0124】
センサ装置によって感知される反射光の特性には、2つの異なる光源からの反射光の特性が含まれ得る。この場合、異なる光源からの反射光は異なる波長である。
【0125】
センサ装置は、光透過層の変形の結果として変化する光学特性を有する弾性光透過層を含むことができる。弾性光透過層は弾性的に変形することができる。光透過層は、本明細書の他の箇所では、エラストマー層またはエラストマーパッドと呼ばれることがある。光透過層は、第1の側面および第2の側面を有し、2つの側面の間に厚みを有してもよい。光透過層の第2の側面は、使用時にユーザの皮膚表面に対向して配置されてもよい。
【0126】
組織または層の変形に伴って変化し得る組織または光透過層の光学特性は、組織あるいは層に入射する光または組織あるいは層を通過する光の透過率、吸収、散乱、または反射率のうちの1つ以上を含むことができる。組織または光透過層の光学特性は、組織または層の知覚される色も含むことができる。
【0127】
少なくともいくつかの例では、センサ装置は、異なる組織層から(または異なる組織層によって)反射される光の強度を検出することができる。
【0128】
光透過層の変形は、光透過層の面内における伸展を含むことができ、これにより、光透過層の第1の側面と第2の側面との間の厚みが変化する。変形には、付加的または代替的に、光透過層の第1の側面と第2の側面との間の圧縮が含まれ、それにより、光透過層の厚さが変化する。光透過層の厚さにおけるこのような変化は、層の光学特性を変化させ、それに応じて光透過層を通過する光に影響を与える。例えば、光透過層の厚さの増加は、層を通過する光の減衰の増加と関連し得る一方、光透過層の厚さの減少は、層を通過する光の減衰の減少と関連し得る。
【0129】
光透過層が変形する場合、変形による光透過層の形状の変化は、光透過層の光学特性を付加的にまたは単独で変化させる可能性がある。例えば、変形により光透過層の厚さが変化する場合、厚さの増加または減少は、光透過層の一方の側面からの入射光の一定の強度における強度の減少または増加をそれぞれ引き起こす可能性があり、これは光透過層の他方の側面で感知され得る。
【0130】
センサ装置に光透過層を使用することにより、使用時に光源および光検出器のうちの一方または両方をユーザの皮膚表面から離間させることができる。これにより、光源からの入射光が皮膚表面から反射され、光検出器によって受信することができる。この離間配置は、より短い波長(例えば、緑色)に適している。光透過層の変形が発生すると、光透過層の光学特性における変化によって、組織から反射され光透過層の外方に通過する光の特性が強化されるか、またはそれに変化が生じる可能性がある。即ち、光透過層の光学特性の変化により、光透過層を通過する光の光学特性が対応するように変化する可能性がある。
【0131】
光透過層は弾性材料から作製することができる。例えば、光透過材料には、ショア硬度が00~30のシリコンが含まれ得る。光透過層の一部を染色して、光検出に対する環境光の影響を変化させてもよい。例えば、光透過層は、こうした環境光の影響を低減するために黒く染色された部分を有してもよい。
【0132】
光透過層の厚さは、光透過層を通過する入射光および反射光のいずれかまたは両方に所望の効果をもたらすように選択することができる。光透過層の厚さの増加は、より長い波長を有する光の透過と関連している場合がある。光透過層の厚さは、皮膚表面または他の組織層上に所望の入射光の反射領域を提供するように選択することができる。
【0133】
いくつかの例では、光透過層は、それぞれ異なる光源および/またはそれに関連する光検出器を備えた、異なる厚さの領域を含むことができる。
【0134】
後述するように、光透過層は、1つ以上のドーパントを含むことで、光透過層の光学特性を変化させることができる。1つ以上のドーパントは、更に、光透過層の光学特性がその厚さの変化に応じて変化する方法を変えることができる。即ち、光透過層は、光透過層の厚さと光学特性との間の関係を変化させるようにドーピングされるか、または他の方法で構成され得る。
【0135】
センサ装置の第1の光源は、第1の入射光を、光透過層を通して皮膚表面(または関心対象の皮膚部位)に向けて放射するように構成され得る。この目的のために、第1の光源は、使用中のユーザの皮膚表面とは反対側の、光透過層の第1の側面に、または第1の側面に面して配置することができる。いくつかの例では、第1の光源は、光透過層内に部分的にまたは完全に埋め込まれていてもよい。センサ装置が、光透過層またはその一部が第1の光源とユーザの皮膚表面との間にあるように構成されている場合、光センサからの少なくとも第1の入射光は光透過層を通過する。
【0136】
センサ装置の第2の光源は、第2の入射光を放射するように構成されてもよい。いくつかの例では、第2の光源は、光透過層を介して第2の入射光を放射するように構成されてもよい。他の例では、第2の光源は、光透過層を介さずに第2の入射光を放射するように構成されてもよい。例えば、第2の光源は、第2の入射光をユーザの皮膚表面に直接放射するように構成されてもよい。
【0137】
センサ装置の光検出器は、第1の入射光の反射を表す第1の反射光を検出するように構成することができる。光検出器は、第2の入射光の反射を表す第2の反射光を検出するように構成することができる。第1の反射光および第2の反射光は、ユーザの異なる組織層によって反射されてもよい。例えば、第1の反射光は皮膚組織層によって反射され、第2の反射光は皮下組織層によって反射されてもよい。
【0138】
光検出器は、使用時にユーザの皮膚表面から離れる方向を向く側面である、光透過層の第1の側面にまたは第1の側面に向けて設けられてもよい。いくつかの例では、光検出器は、光透過層内に部分的にまたは完全に埋め込まれてもよい。光透過層またはその一部が光検出器とユーザの皮膚表面との間に設けられている場合、第1の反射光および第2の反射光は、光検出器によって受信される前に光透過層を通過してもよい。
【0139】
いくつかの例では、センサ装置は、第1および第2の反射光をそれぞれ検出する第1の光検出器および第2の光検出器を含んでもよい。第1の光検出器は、光透過層の第1の側面にまたは第1の側面に向けて設けられて、光透過層を介して第1の反射光を検出することができ、第2の光検出器は、光透過層を介して第2の反射光を検出するのを回避するように配置されてもよい。例えば、第2の光検出器は、光透過層の第2の側面または光透過層の横方向に隣接する場所のいずれかの皮膚表面上に配置されて、第2の反射光を直接検出することができる。
【0140】
第1の光源および第2の光源によって放射される光の波長(単数または複数)は、互いに異なっていてもよい。異なる波長の光は、反射される前に組織内の異なる深さまで透過する可能性があるため、第1の光源および第2の光源によって異なる波長の光が放出されることにより、センサ装置は、異なる組織層からの反射光を受信することができる。
【0141】
波長が短いほど、組織への透過が少なくなり、反射光の強度が増加する。これにより、より敏感な応答が得られ、組織の物理的変化をより正確に感知することが可能となる。波長が長いほど、組織により深く透過し、反射光の強度は低くなるが、組織のより深い層における物理的変化を感知することができる。
【0142】
いくつかの例では、センサ装置は、第1の反射光がユーザの皮膚表面で、または皮膚表面に隣接して反射されるように構成されてもよい。例えば、第1の光センサによって放射される光の波長は、第1の入射光の少なくとも一部が皮膚表面によって第1の反射光として反射されるような波長であることができる。このような例では、第1の光センサによって放射される光の波長は、約500nm~約565nmの波長を有する緑色光に対応してもよい。
【0143】
他の例では、第1の入射光を反射する反射要素を皮膚表面に設けてもよい。反射要素は、その上での入射光の反射を増加させるように作用し得る。このような例では、第1の光センサによって放射される光の波長は、反射面によって反射される任意の波長または複数の波長であってもよい。反射面は、例えば、光透過層の第2の側面(皮膚に面する側面)に設けられてもよい。光透過層の第2の側面には、反射コーティングが設けられてもよい。反射コーティングは、可撓性を有する反射コーティングであることができる。反射素子を入射光の経路に配置し、結果として生じる反射光の強度を向上させつつ、入射光が皮膚表面を透過できるようにすることができる。一構成における反射素子は、より長い波長(例えば、赤外線)の入射光よりも短い波長(例えば、緑色)の入射光で使用するのに適している。異なる波長の入射光を用いる例では、それぞれの反射素子部分は、適切かつ互換性のある波長の入射光と適宜関連付けられる。反射面を使用して、人間の皮膚の反射率、粗さ、および体色等の要因の悪影響を有利に低減することができる。より反射率が高いより光沢のある表面では、より高い信号応答またはSNRを達成することができ、異なる筋肉の動きの区別が容易になる。
【0144】
いくつかの例では、センサ装置は、第2の反射光が皮下組織層でまたは皮下組織層内で反射されるように構成されてもよい。このような例では、第2の光センサによって放射される光の波長は、約625nm~約1,400nmの波長を有することができる。
【0145】
センサ装置が皮膚表面に反射面を有する場合、第1の光検出器は反射面からの第1の反射光を受信するように構成され、第2の光検出器は皮下組織層からの第2の反射光を受信するように構成されてもよい。第2の光検出器によって受信された第2の反射光が光透過層を通過するように、第2の光検出器を設けることができる。他の例では、第2の光検出器によって受信された第2の反射光が光透過層を通過しないように第2の光検出器を設けてもよい。例えば、第2の光検出器は、ユーザの皮膚表面に直接面して設けられてもよい。
【0146】
センサ装置が第1の光源および第2の光源を含む場合、光源は、第1の入射光および第2の入射光をそれぞれ交互に放射するように構成されてもよい。交互の放射は、互いに非同時に放射するように構成されてもよい。このような構成により、センサ装置の光検出器(単数または複数)における第1の反射光と第2の反射光との区別が容易になる。
【0147】
センサ装置が、ユーザの皮膚表面から第1の距離に設けられる第1の光源と、ユーザの皮膚から異なる第2の距離に設けられる第2の光源とを有する場合、センサ装置は、皮膚表面から複数の異なる距離から光を放射する。このようなセンサ装置は、多層センサ装置、または多層光センサと呼ばれることがある。いくつかの例では、第1の距離は光透過層の厚さに等しい距離であり、第2の距離はゼロであり、第2の光源は皮膚表面にて光を放射する。
【0148】
センサ装置の光源は、任意の発光装置によって提供され得る。少なくともいくつかの例では、センサ装置の光源は発光ダイオード(LED)として提供される。
【0149】
いくつかの例では、センサ装置は、外部の環境光が光検出器(単数または複数)によって受信されるのを阻止するように構成され得る。例えば、光源、光検出器(単数または複数)、および光透過層の周りにハウジングまたは他の光不透過性要素を設けることで、センサ装置がユーザの皮膚表面に接触するように配置される際の環境光を遮断することができる。このような光遮断配置は、光検出器による環境光の意図しない検出を阻止する。
【0150】
本明細書に開示されている技術、例えばセンサ装置およびその組み合わせは、一般に、皮膚表面に隣接する軟組織の動き、変形、および/または変位を感知するために適用可能である。この技術のいくつかの例示的な用途には、ウェアラブルヒューマン-マシンインタフェース、生理学的センサ(心拍モニタ等)、および/または軟組織圧力センサが含まれる。この技術の詳細な例として、ヒューマン-マシンインタフェースが挙げられる。これらの例では、開示は、皮膚の下の筋肉の活性化を検知するためのシステムおよび方法に関する。筋肉の活性化は、コンピュータシステム、バイオニック/義肢グリッパー、および/または下肢装具等の様々な装置の制御に使用可能である。しかしながら、この技術は、他の軟組織感知および/または測定用途にも容易に適応可能である。
【0151】
少なくともいくつかの例では、アームバンドやレッグバンド等のウェアラブルバンドを使用して、複数の多層光センサまたはセンサ装置をユーザの皮膚の隣に保持する。光センサは、バンドに近い皮膚の変形から筋肉の動きを検出することができる。少なくともいくつかの例では、光センサは、皮膚に光を投影するLED等の少なくとも2つの光源と、光源からの光を受信するように配置された少なくとも1つの光検出器とを備える。センサ出力は、人型ロボット工学、駆動式外骨格、および能動義肢等の装置の制御に使用可能である。
【0152】
例えば、バンドは、ユーザが前腕の周りに装着することで、能動義手または外骨格グローブのグリップタイプ(例えば、拳グリップ/摘まむグリップ/円筒グリップ)および/またはジェスチャを解釈するためのデータを提供することができる。少なくともいくつかの例では、3つ以上の光センサまたはセンサ装置がバンドの周囲に周方向に配置されて、指および/または手首の動きに影響を与える前腕の筋肉の動きを検出する。
【0153】
少なくともいくつかの例では、光センサは、光源のうちの1つと皮膚との間に配置されたシリコン等のエラストマー層で構成される。エラストマーの厚さは約1mm~約20mmであることができる。例えば、エラストマー層の厚さは3mm~12mmであることができる。他の例では、他の光透過性弾性層が使用されてもよい。
【0154】
中間エラストマー層は、センサ内に光源の層状構造を形成する。例えば、皮膚のすぐ隣に保持されるか、または皮膚と接触している光源は、エラストマー層の背後にある光源から、おおよそエラストマー層の厚さだけオフセットされている。エラストマー層は、光源と皮膚との間で光を向けるおよび/または誘導することができる。少なくともいくつかの例では、異なる層の光源は、異なる波長の光を放射する。例えば、皮膚に隣接する光源は、皮膚からオフセットされている光源よりも長い波長の光を放射するように構成することができる。いくつかの反対の例では、皮膚に隣接する光源は、約500nmより短い波長を有する光を放射することができるが、エラストマー層によって皮膚から分離された光源は、約650nmよりも長い波長を有する光を放射することができる。
【0155】
エラストマー層は、1つ以上の光源と皮膚との間に介在するエラストマーパッドを含むことができ、光源と皮膚との間の距離を調節し、光源と皮膚との間の隙間の透過率を操作し、および/またはセンサの応答を調整するために使用可能な他の属性を制御することができる。
【0156】
例えば、エラストマーパッドには、変形に応じて材料の吸収率を変化させるドーパントを組み込むことができる。いくつかの例では、エラストマーパッドは、光源から放射される光の少なくとも一部を反射、散乱、または吸収する1つ以上のセクションを有することができる。
【0157】
例えば、エラストマーパッドは、皮膚表面の一部(例えば、3分の1、4分の1、半分)を被覆するように構成された反射面を有し、それにより、光源から放射される光の対応する部分が反射面によって反射され、光源から放射される光の残りの部分が皮膚の表皮層によって反射されるようにすることができる。
【0158】
いくつかの例では、エラストマーパッドの機械的特性を使用して、センサの応答を調整することができる。例えば、エラストマーパッドの変形特性を調整して、非線形透過率および/または吸収率特性を生成することにより、センサのダイナミックレンジおよび/または解像度を制御することができる。
【0159】
少なくとも1つの光検出器が、ユーザの皮膚から反射された光を受信するように配置される。いくつかの例では、単一の光検出器が2つ以上の光源からの光を受信するように配置されてもよい。
【0160】
例えば、単一の光検出器が皮膚からオフセットされ、隣接する光源の間に横方向に配置されてもよい。少なくともいくつかの例では、エラストマー層が光検出器と皮膚表面との間に介在される。光検出器は、光源のうちの1つと同じ層に配置されてもよく、または光源の中間の層に配置されてもよい。例えば、光検出器が1つの光源よりも皮膚に近くなり、別の光源よりも皮膚から遠ざかるように、光検出器を中間のエラストマー層によって皮膚からオフセットすることができる。
【0161】
少なくともいくつかの例では、センサは、共通の光検出器を共有する2つ以上の光源からの光パルスをインターリーブするように構成されている。例えば、センサは、各光源が光を放射している期間をインターリーブし、それにより、光検出器が複数の光源からの光を同時に受信しないようにすることができる。センサは、各光パルスと同時に光検出器に入射する光の強度を測定(または検出)するように構成することができる。いくつかの例では、光検出器によって連続した期間に捕捉された光は、異なる種類の軟組織および/または皮膚の異なる層から反射される。センサは、皮膚の表面からの測定と皮膚の表面下からの測定とを交互に行うことで、複合光測定値を作成するように構成することができる。いくつかの例では、各光源は専用の光検出器を有し、異なる種類の軟組織および/または皮膚の層からの測定値を同時に取得することができる。
【0162】
少なくともいくつかの例では、センサは、軟組織の異なる層、セクション、および/または深さにおける動きおよび/または変形を検出するように構成されている。例えば、光源は、光源が放射する光が皮膚に透過する程度が異なるように構成することができる。少なくともいくつかの例では、赤色または赤外線LEDが皮膚の表面に隣接して保持され、それにより、LEDから放射され、その後光検出器によって捕捉される光が、皮下脂肪および/または筋肉等の皮膚表面の下の組織によって反射される。より波長が長い光は、より深い皮膚透過を達成し、ユーザの筋肉の動きを復号化(例えば、推定)するのに役立ち得る補足データを提供することができる。より波長が長い光は、健康情報を取得するためにも使用可能であり、これは、従来のEMG技術よりも光ベースのミオグラフィーが持つ潜在的な利点である。より波長が短いLED(緑色、青色、紫色、または紫外線LED等)を使用することにより、(例えば、皮膚の表皮層からの)より表面的な測定値を取得することができる。より波長が短い光は皮膚に透過しにくいため、反射率が高くなり、より感度の高い応答につながり得る。少なくともいくつかの例では、皮膚表面に対する光源の物理的な配置によって、組織の差分測定値を取得および/または強化することができる。例えば、光源と皮膚表面との間の隙間を調整して、光の透過の深さを調節することができる。
【0163】
いくつかの例では、センサを使用して、複合光測定から皮下組織の動きを推定することができる。複合光測定は、皮膚の表面から反射された第1の波長の光と、筋肉、結合組織、および/または皮下脂肪等の皮膚の表面下の組織から反射された第2の波長の光とを含むことができる。例えば、センサは、第1の波長で捕捉された光の強度から皮膚の表皮層の変形推定値を取得し、第2の波長で捕捉された光の強度から皮膚の真皮層の変形推定値を取得するように構成することができる。皮膚の表皮層と真皮層とを組み合わせた変形推定値は、少なくともいくつかの用途において、筋肉および/または結合組織の動きの代理として機能することができる。例えば、筋肉の収縮の推定値は、複合光測定による第1の波長の光の強度と第2の波長の光の強度とから計算することができる。少なくともいくつかの例では、計算された筋肉収縮の推定値に応じて、人工肢、外骨格グローブ、および/またはロボットグリッパーを作動させる、またはその他の方法で制御することができる。
【0164】
図1に、例示的な多層センサモジュール200の分解図を示す。センサモジュール200は、2つのLED光源202、203と、単一の光検出器205とを有する。光検出器205は、フォトダイオードの形態で提供されてもよい。図示の実施形態では、フォトダイオードは、第1のLED光源202と同じ場所に配置されている。LED光源202、203および光検出器205は、センサモジュールが組み立てられるときにハウジング201内に固定される。図示の実施形態では、ハウジング201は、センサモジュールの皮膚に面する表面を覆うエラストマー層を有する。エラストマー層の厚さは、ハウジング201の皮膚に面する表面全体にわたって変化する。例えば、第1のLED光源202に隣接するエラストマー層の厚さは、約4mm~約8mmであるのに対し、第2のLED光源に隣接するエラストマー層の厚さは、通常無視できるほどである(例えば、約1mm未満の厚さである)。いくつかの例では、エラストマー層は、第2のLED光源203に隣接する領域には広がっていない。バッキングプレート204は、ハウジング201内にLED光源を確実に保持する。少なくともいくつかの例では、バッキングプレート204により、LED光源をエラストマー層に向けてバイアスし、それにより、LED光源とエラストマー層との間を緊密に締まり嵌めしおよび/またはLED光源とエラストマー層との間に目立つ隙間がないようにする。いくつかの例では、バッキングプレート204は、エラストマーであるか、またはエラストマー部分を含むことができる。
【0165】
図2には、5つのセンサモジュール101、103、105、107、109を含むアームバンド300が示されている。図示の実施形態では、センサモジュール101、103、105、107、109は、アームバンド300の円周上に均等に分散されている。コンプライアントストラップ102、104、106、108、110は、隣接するセンサモジュール101、103、105、107、109の間に延在し、センサモジュール101、103、105、107、109をバンド内で一緒に保持している。コンプライアントストラップ102、104、106、108、110の長さは、バンドの円周上のセンサモジュール101、103、105、107、109の分散とセンサ間の間隔とを定義する。ピンを使用して、各センサモジュール101、103、105、107、109の横端を対応するストラップ102、104、106、108、110に固定する。
【0166】
図示のアームバンド300は、ユーザの前腕の中央付近に装着されるように構成されている。少なくともいくつかの例では、非緊張状態にあるアームバンドの円周は、ユーザの前腕の円周よりも小さくなるように構成されており、それにより、アームバンドに生じる緊張により、アームバンドを装着したときに、各センサモジュール101、103、105、107、および109のハウジングのエラストマー層がユーザの皮膚と接触した状態を維持する。図示の実施形態では、コンプライアントストラップ102、104、106、108、110が伸びて、アームバンド300の内周が増加し、ユーザの前腕を収容する。これにより、ストラップ102、104、106、108、110に軸方向の歪みが生じ、これによりアームバンド300がユーザの前腕にしっかりとフィットし、センサモジュール101、103、105、107、109が皮膚と接触した状態を維持する。センサモジュール101、103、105、107、109の皮膚表面のエラストマー層は、アームバンド300によって皮膚に印加される力を分散し、および/または局所的な圧力集中を緩和するように構成することができる。皮膚表面のエラストマー層は、ユーザの腕に対するエラストマー層の圧力によって圧縮され得る。
【0167】
ユーザの身体に適用するように伸長されるコンプライアントストラップ102、104、106、108、および110の作用により、ユーザの皮膚表面に対するセンサモジュール101、103、105、107、および109のバイアスを提供するように機能することができる。
【0168】
センサモジュールの数、サイズ、分布、および/または構成は、様々な用途に合わせて調整することができる。例えば、皮膚に面する表面積が大きいセンサ、光源が多いセンサ、および/または光検出器が多いセンサは、下肢用途に使用可能である。同様に、センサモジュールは、手足やその他の身体部位の周りに均等に分散させるのではなく、特定の筋肉の近くに集中させることができる。例えば、心拍数モニタは、胸骨の近くに集まった1つ以上のセンサモジュールを含むことができる。
【0169】
ユーザの軟組織上に配置された2層センサモジュール400の断面概略図を図3Aおよび図3Bに示す。図3Aおよび図3Bに示すように、センサモジュールの下の軟組織は、皮膚表面11、表皮層12、真皮層13、皮下層14、および筋層15を含む。センサモジュール400は、フォトダイオード420の相対する側面にそれぞれ配置された2つの光源411および412を含む。赤色または赤外線LED光源412は、フォトダイオード420の右側の皮膚の隣に(即ち、隣接して)配置される。緑色LED光源411は、フォトダイオード420の左側に配置される。シリコン層430は、緑色LED光源411およびフォトダイオード420と皮膚表面11との間に配置される。この例では、シリコン層430は皮膚表面11上に配置されるように示されており、フォトダイオード420および光源411はシリコン層430上に配置されるように示されている。従って、フォトダイオード420は、緑色LED光源411と同じ層に配置され、フォトダイオード420および光源411は、皮膚表面11から同じ間隔を有する。各LED光源411および412とフォトダイオード420との間の横方向の間隔は、少なくとも部分的に、各光源411および412から放射されてフォトダイオード420に到達する光が横断するそれぞれの経路によって決定され、光源411の光路はシリコン層430を横断する。いくつかの例では、各LED光源とフォトダイオードとの間の横方向の間隔は、予想される光路から完全に決定することができる。他の例では、光源はフォトダイオードの周りに均等に間隔をあけることができる。
【0170】
図3Aには、緑色LED光源411から光を放射し、赤色または赤外線LED光源が非アクティブ412であるセンサモジュール400が示されている。緑色スペクトルの波長(波長が約500nm~565nm)を有する放射光は、シリコン層430を通過し、皮膚の表面11を貫通し、表皮層12から(または表皮層12によって)反射されるように図示されている。いくつかの例では、皮膚の表面11は入射光の一部を反射することができる。反射光はシリコン層430を通過し、フォトダイオード420によって検出される。フォトダイオード420によって捕捉される緑色光の強度は、少なくとも部分的に、光が移動する距離に依存し得る。例えば、下にある筋肉および/または結合組織の動きにより、シリコン層430が圧縮され、緑色LED光源411と皮膚表面11との間の光路が短くなる可能性がある。センサモジュール400に隣接する皮膚表面の光学特性も、下にある筋肉および/または結合組織の動きによって変化する可能性がある。例えば、組織の密度、混合、および形状は変形によって変化し、フォトダイオード420によって捕捉される光の強度を変化させる可能性がある。従って、光源411は、表皮層12(または表皮皮膚部分)および、いくつかの例では、皮膚表面11によって反射するように、シリコン層430を介して皮膚(例えば、皮膚部位)に向けて光を放射するように構成されていると理解できる。更に、この例では、シリコン層430は皮膚表面11上に配置されるように適合されており、光源411を皮膚表面11から通常5mm離間させるように構成されている。この5mmの間隔により、フォトダイオード420によって検出される、光源411から放射される光の反射量が増加し、これにより、検出される光の強度が向上する。
【0171】
図3Bでは、赤色または赤外線LED光源412から光を放射する一方、緑色LED光源411が非アクティブであるセンサモジュール400が示されている。赤色または赤外線スペクトルの(約625nm~1400nm、またはより長い)波長を有する放射光が皮膚の表面11を透過し、皮下脂肪層、例えば皮下組織層14から(または皮下脂肪層によって)反射される様子が示されている。少なくともいくつかの例では、赤色または赤外線スペクトルの光は、組織の真皮層13、皮下脂肪(皮下組織層としても知られる、皮下組織層14等)、筋肉15、および/または結合組織から反射され得る。反射光は、重なり合った組織の層およびシリコン層430を通過してフォトダイオード420に到達する。フォトダイオード420によって捕捉される赤色光または赤外線の強度は、少なくとも部分的に、光が移動する距離に依存し得る。例えば、下にある筋肉および/または結合組織の動きにより、シリコン層430が圧縮され、皮膚とフォトダイオード420との間の光路が短くなる。皮膚表面の下の軟組織の光学特性も、下にある筋肉および/または結合組織の動きによって変化し得る。例えば、組織の密度、混合、および形状は変形によって変化し、フォトダイオードによって捕捉される光の強度を変化させ得る。この例では、光源412は皮膚に接触して配置され、より深い光透過を実現する。光源412は、皮下組織層14(または非表皮皮膚部分)によって、いくつかの他の例では、他の層13および15によって、反射されるように光を皮膚に向けて放射するように構成されていることが理解されよう。光源412の赤外光は、真皮等の他の層を通過するときにそれらの層と相互作用する可能性があり、検出された赤外光の反射は、それらの他の層で発生する動きを示し得る。
【0172】
従って、シリコン層430は弾性があり、光透過性を有し、シリコン層430の変形に応じて変化する光学特性を有することが理解できる。シリコン層430は弾性変形可能であり、シリコン層430を横断する光の光学特性にそれに応じた変化を引き起こすことも理解できる。例えば、シリコン層430は、シリコン層430の弾性変形に応じて変化する光学特性を有することで、シリコン層430を横断する光の光学特性にそれに応じた変化を引き起こすことができる。
【0173】
フォトダイオード420が皮膚表面11に接触して配置されるいくつかの例では、反射光は、シリコン層430を横断することなく、フォトダイオード420によって直接検出される。
【0174】
3つの異なるタイプのジェスチャに対する、図3Aおよび図3Bのセンサモジュールからのテスト済み出力を示す一連の例示的なグラフを図4に示す。上のグラフは、フォトダイオードによって捕捉された赤外光の強度を表す。下のグラフは、フォトダイオードによって捕捉された緑色光の強度を表す。ユーザが対応する手の指を動かしている間、センサモジュールをユーザの前腕の皮膚に保持した。左側のグラフは、薬指および小指を同時に屈曲させた場合のフォトダイオード出力を表す。中央のグラフは、小指のみを屈曲させた場合のフォトダイオード出力を表す。右側のグラフは、薬指のみを屈曲させた場合のフォトダイオード出力を表す。図4のグラフから、センサモジュール400の2つのLED光源411および412が、前腕の軟組織の動きおよび/または変形を示す相補的な情報を生成することが明らかである。
【0175】
少なくともいくつかの例では、皮膚表面下の異なる層および/または深さにある軟組織は、筋肉および/または結合組織の動きおよび/または変形に対して異なる反応を示す。例えば、皮下脂肪は、下にある筋肉が収縮すると、皮膚表面の下で移動および/または再構成される可能性がある。これらの変化は、皮膚表面から常に明らかであるとは限らない。少なくともいくつかの例では、軟組織の異なる層で反射された光から収集した複合測定は、単一の測定よりも、筋肉および/または結合組織の動きおよび/または変形のより正確なおよび/または堅牢な推定値を生成することができる。例えば、皮膚表面および/または表皮層から得られた測定値と、真皮層および/または皮下層で得られた測定値とを組み合わせることにより、いずれかの場所からの単一の測定値よりもより正確なおよび/またはより堅牢な推定値を生成することができる。少なくともいくつかの例では、独立成分分析を使用して、フォトダイオードによって異なる波長で捕捉された光の強度をユーザの意図と関連付ける。例えば、独立成分分析を使用して、図2に示すセンサモジュール101、103、105、107、および109の出力を、手のジェスチャおよび/またはグリップの種類と相関させることができる。
【0176】
皮下組織の動きを推定する方法は、皮膚の表皮層の変形を表す第1の変形測定値を取得するステップと、第1の変形測定値で表される表皮層に近接する皮膚の真皮層の変形を表す第2の変形測定値を取得するステップと、第1の変形測定値と第2の変形測定値とを組み合わせて皮下組織の動きの推定値を生成するステップとを含む。
【0177】
いくつかの例では、この方法は、第1の波長で皮膚から反射される光の強度から第1の変形測定値を推定するステップと、第2の波長で皮膚から反射される光の強度から第2の変形測定値を推定するステップとを含むことができる。例えば、この方法は、第1の波長で光を放射する第1の光源からの光を、第2の波長で光を放射する第2の光源からの光とインターリーブするステップと、第1の光源からの光の強度および第2の光源からの光の強度を単一の光検出器で測定するステップとを含むことができる。
【0178】
少なくともいくつかの例では、異なる軟組織層からの複合光測定値は、レシピエントの皮膚上または皮膚に隣接して配置され、レシピエントの皮膚の少なくとも上層を通して第1の波長の入射光を指向するように構成された第1の光源と、第1の光源に近い位置でレシピエントの皮膚上に第2の波長の入射光を指向するように構成された第2の光源とを含むセンサ装置により取得することができる。透明または半透明のエラストマーで作製されたコンプライアントパッドは、第2の光源とレシピエントの皮膚との間に配置するように構成することができる。また、少なくとも1つの光検出器は、ユーザの皮膚および/または皮下組織から反射された光を受信し、第1の波長の光の強度および第2の波長の光の強度を測定するように構成することができる。
【0179】
センサは、第1の光源、第2の光源、コンプライアントパッド(シリコン層または光透過層)および少なくとも1つの光検出器を皮膚に近接して保持するバンドを含むことができる。バンドは、レシピエントの皮膚に圧力を印加することによって、レシピエントの皮膚に対してコンプライアントパッドをプリロード(例えば、バイアス)するように構成することができる。即ち、バンド等は、皮膚に対してコンプライアントパッドにバイアス力を印加するように構成することができる。このような配置は、例えば、腕が動いている間に、場合によっては、センサ装置による反射検出に悪影響を及ぼし得る、コンプライアントパッドと皮膚との間の隙間の形成を防ぐことができる。いくつかの例では、バンドはレシピエントの手足を取り囲むように構成される。コンプライアントパッドは、第2の光源からの光をレシピエントの皮膚に向けるように構成することができる。また、コンプライアントパッドは、パッドが圧縮されると、第2の波長で可変量の光を吸収および/または散乱および/または反射するように構成することもでき、コンプライアントパッドが吸収および/または散乱および/または反射する光の量は、エラストマーの変形に依存する。いくつかの例では、第2の光源の波長は650nmより大きく、第1の光源の波長は550nm未満である。
【0180】
少なくともいくつかの例では、1つ以上のセンサを、皮膚の隣に(例えば、皮膚に隣接しておよび/または皮膚と接触して)センサを保持するように構成されたストラップ、バンド、および/またはベルトと組み合わせることができる。例えば、ストラップの内面に隣接して配置された第1の光センサと、第1の光センサから円周方向に間隔を置いて配置された第2の光センサとを備えるストラップを含む装置を使用して、軟組織の異なる層から複合光測定値を取得することができる。少なくともいくつかの例では、第2の光センサは、第1の光センサと比較して、ストラップの内面から外方にオフセットされており、ストラップは、第2の光センサとストラップの内面との間に配置された圧縮可能なエラストマーパッドを含む。いくつかの例では、第2の光センサは、ストラップの内面から約2mm超外方にずれており、エラストマーパッドは、第2の光源とストラップの内面との間の空間を占めている。第1の光センサは、第1の波長を有する第1の光源と第1の光検出器とを備えることができ、第2の光センサは、第2の波長を有する第2の光源と第2の光検出器とを備えることができる。ストラップは、レシピエントの手足に放射状の圧縮力を印加するように構成することができ、これにより、第1の光センサがレシピエントの皮膚に接触するか、またはレシピエントの皮膚のすぐ隣に配置される。
【0181】
いくつかの例では、バンドの下の皮膚の変位を検出するように構成された第1の光センサと、皮膚表面の下の軟組織の変位を検出するように構成された第2の光センサとを含むベルトを使用して、軟組織の異なる層から複合光測定値を取得することができる。第1の光センサは、皮膚の表面より上に保持され、約625nm~約1mmの間の波長で動作することができる。第2の光センサは、皮膚に隣接して保持され、約10nm~約565nmの間の波長で動作することができる。
【0182】
いくつかの例では、バンドに近接する軟組織の変位を検出するように構成された少なくとも2つの光センサを含むバンドを使用して、軟組織の異なる層から複合光測定値を取得することができる。少なくとも2つの光センサは、光スペクトルの異なる周波数範囲で動作することができ、バンドは、少なくとも2つの光センサを皮膚表面から異なる距離に配置するように構成することができる。いくつかの例では、バンドは、少なくとも2つの光センサのうちの第1の光センサとバンドの内周との間に配置された順応性のあるエラストマー材料を含み、順応性のあるエラストマー材料は、皮膚に接触し、接触した皮膚のすぐ下の軟組織の動きに応じて変形するように構成される。順応性のあるエラストマー材料はドーパントを含むことができ、ドーパントは、順応性のあるエラストマー材料の変形に応じて、少なくとも2つの光センサのうちの第1の光センサからの光の、順応性のあるエラストマー材料を介した透過率を変更するように構成することができる。少なくともいくつかの例では、少なくとも2つのセンサのうちの第1のセンサは、軟組織の変位の代理として、順応性のあるエラストマー材料の変形を測定するように構成することができる。少なくとも2つのセンサのうちの第2のセンサは、少なくとも2つのセンサのうちの第1のセンサよりも皮膚の近くに配置することができる。少なくとも2つのセンサのうちの第2のセンサは、皮膚の下の軟組織の変位を測定するように構成することができる。いくつかの例では、少なくとも2つの光センサのうちの第1の光センサは、赤色または赤外線のLED光源を含み、少なくとも2つの光センサのうちの第2の光センサは、緑色、青色、紫色、または紫外線のLED光源を含む。
【0183】
本開示の光センサまたはセンサ装置は、ユーザが直感的に機械および/または環境を制御するおよび/またはそれらと相互作用することを可能にするインタフェースとして機能することができる。例えば、軟組織の動きおよび/または変形の推定値により、ユーザは仮想現実または拡張現実環境と相互作用する、および/またはロボットを制御することができる。本明細書では、外骨格グローブを例として示す。この例では、センサからの出力は、外骨格グローブの電気モータ(例えば、モータ速度および/またはトルク)を制御するために使用される制御信号に変換される。モータはグローブの指を作動させて、様々なタイプおよび/または強さのグリップを開始する。外骨格グローブの制御プラットフォームは、義肢および/または人型ロボット工学等の他の物理システムや、AR/VR等の人工環境に容易に転送できる。
【0184】
図5に、例示的なグリップ増強システム500を概略的に示す。このシステムは、レシピエントがグリップ力を強化するために装着可能な作動グローブ150を備える。トルクは、人工腱のネットワークによって電気モータ140からグローブ150の指100に伝達される。図5に、単一の人工腱120を示す。図示された腱は、アクチュエータ、例えば電気モータ140から、人差し指100aの先端まで延在するシースケーブル121を備える。ケーブル121の遠位端は、指キャップ155内の人差し指100aの先端で終端している。指キャップ155は、腱120をグローブに固定し、腱からレシピエントの人差し指100aに力を分配する。図示の指キャップ155には、センサ160も含まれる。センサ160は、本明細書で説明するように、光センサまたはセンサ装置であることができる。センサ160からの出力は、グローブの動作を制御するコントローラにフィードバックされる。例えば、コントローラは、タッチ検出、グリップ調整、および/またはパフォーマンス追跡(例えば、各指100への力の分配の監視)にセンサ160を使用することができる。
【0185】
ケーブル121の近位端は、プーリ125のドラムの周りに巻き付けられている。プーリ125は、電気モータ140によって駆動されて、ケーブル121に張力をかける。ケーブル121は、ケーブル121が徐々に引き込まれてプーリ125のドラムに巻き付く際に、電動モータ140からの力をグローブ150の指キャップ155に伝達する。ケーブル121の張力により、レシピエントの指が収縮し、グローブの手のひらに向けて内方に折り畳まれ、レシピエントの自然なグリップが強化される。シース122は、電気モータ140からグローブ150のベースまで延在している。グローブ150およびモータハウジング(図示せず)は、シース122を位置付けて固定するフェルールを有する。シース122は、電気モータ140とグローブ150との間のケーブル経路の長さをほぼ一定に保持するのに十分な耐圧縮性がある(例えば、電気モータ140とグローブ150との間のケーブル経路の収縮を防ぐ)。いくつかの例では、シースには、ケーブルが受ける滑り摩擦を低減する低摩擦コーティングを組み込むことができる。
【0186】
図6に、例示的なグローブケーブルガイド124を示す。ケーブルガイド124は、ケーブル121をグローブ150内の定義された経路に拘束する。図示のケーブルガイド124は、人差し指100aの内側に沿って延在するステッチ部分を含む。別のステッチ部分(図6には示されていない)は、グローブの近位端(例えば、手首または前腕に隣接)から手のひらの付け根まで延在している。図6に示す実施形態では、ケーブル121はグローブ150の手のひら全体にわたって拘束されていない。他の例では、ステッチはグローブのベースと指キャップ155との間を妨げられることなく延在するか、または異なる長さ/構成の個別の部分で延在することができる。ケーブルガイド124には、グローブ150内のケーブル摩擦を低減する柔軟なライナーを組み込むことができる。例えば、PTFEコーティングされたエラストマーチューブを使用して、レシピエントの可動性/柔軟性を制限することなく、グローブ150の材料を通してケーブル121を配線することができる。図6に示す実施形態では、ライナーは人差し指100aでグローブ150の布地に縫い込まれ、手のひら全体にわたって拘束されずに延在することができる。グローブ150には、剛性または半剛性(例えば、熱硬化性プラスチック)の手のひらガイドを組み込むことで、圧力によるケーブル摩擦(一部の形態のグリップからの締め付け力によって生じる)を防止または軽減することもできる。
【0187】
図5および図6に示す指先で終端する例では、人差し指100aが屈曲している。いくつかの例では、屈曲を他の形態の解剖学的運動と置き換えるまたは他の形態の解剖学的運動で補うことができる。例えば、電気モータ140等のアクチュエータは、親指の付け根で終端するケーブル121を張ることによって親指を内転させることができる。グローブ150を(例えば、熱可塑性インサートおよび/または親指の中手指節間関節の周りの補強ループにより)親指の付け根で補強して、ケーブル121を固定することができ、親指に力を伝達し、および/または親指の内転運動を誘導することができる。いくつかの例では、グローブ150は、複数の形態の解剖学的動作をサポートするように構成することができる。例えば、いくつかの形態のグリップでは、親指の内転を親指の屈曲と組み合わせて使用することができる。独立した内転および屈曲は、それぞれ、親指の付け根および先端で終端する別個のケーブル121により実現することができる。
【0188】
5つの人工腱120a、120b、120c、120d、および120eを備えるグリップ増強グローブ150を図7に概略的に示す。腱120はグローブ150のベースにてシース122から延在し、5本の指100のそれぞれに向けて外方に広がっている。グローブの指100は、腱120を各指100の終端点(例えば、指キャップ155)までルーティングするケーブルガイド124を有する。腱120は、必要に応じて張力を印加および解放して適切なグリップを実現する1つ以上のモータによって作動する。シース122は、腱ケーブル121をモータからグローブ150のベースまでルーティングする。義手およびグリップ増強グローブの場合、モータは、通常、レシピエントが携帯するウェアラブルモジュールに収納される。例えば、モータモジュールは、バックパックに入れて持ち運んだり、ウエストに巻いたベルトから吊り下げたり、またはアームバンドでレシピエントの腕に取り付けたりすることができる。ウェアラブルシステムの携帯モードは、通常、モータモジュールの重量およびフォームファクタによって影響を受ける。いくつかの例では、モータモジュールは制御電子機器も収納している。制御電子機器は、モータの出力を調整して、グローブ150によって印加される把持力を調整する。例えば、制御電子機器には、レシピエントの力調整および/またはグリップ開始の意図を推測する1つ以上のセンサ(例えば、EMGおよび/または力センサ)を組み込むことができる。
【0189】
図8は、物体170を把持するためにレシピエントが使用しているグリップ増強グローブ150を示す。図示の実施形態では、人工腱120が、指100a、100b、100c、100d、および100eのうちの少なくとも3本に(例えば、対応する指の指キャップ155を介して)力を印加している。自然な屈曲と腱の張力との組み合わせにより、グローブ150の指100がレシピエントの手のひらに向けて内方に曲がり、図8に示す円筒形のグリップが生成される。指と手のひらとの間の力は、グリップ力を表す。いくつかの例(例えば、リハビリテーション)では、グローブ150は、健康な成人のグリップ力を再現するように構成することができる。他の例(例えば、職場の特定のタスク)では、グローブ150は、自然な人間のグリップ力を超える力を生成するように構成することができる。
【0190】
グローブ150の指100への力の分配は、レシピエントが形成する把持の有効性に影響を与える可能性がある。グリップの安定性は、物体と形成される接触面積に密接に関連している。明確に定義された制約のあるグリップ用途(例えば、反復タスク用のロボットグリッパー)の場合、指への力の分配は、特定のグリップタイプ(例えば、円筒形、球形、またはピンチグリップ)に合わせて最適化することができる。物体の形状に適合する適応型グリッパーは、様々な用途に使用することができ、不規則な形状の物体を把持する場合に特に有用である。適応型グリップのいくつかの例は、作動している各指の動きの自由度を妨げない方法で、作動している各指に力を分配することによって影響を受け得る(即ち、各指を独立して作動させて、物体の表面に適合させる)。アンダーアクチュエイテッドシステムの場合、これは、指のうちの1本が拘束されているとき(例えば、指のうちの1本が物体の表面に接触して動きが止まっているとき)、指の動きの自由度を阻害することなく、アクチュエータからの出力を複数の指に分割することを伴う。
【0191】
図9Aは、5つのセンサモジュールを組み込んだ、図2と同様の構成で実装されたアームバンドで達成可能な精度を実証するための実験で使用された5つの例示的な手のジェスチャを示す。この図に示されているのは、休息ジェスチャ910、摘まむジェスチャ920、三脚ジェスチャ930、拳(握り拳)ジェスチャ940、および伸展ジェスチャ950である。
【0192】
図9Bは、信号測定値の3つのチャート960、970、および980を示している。第1のチャート960は、被験者が着用したアームバンドで5つのジェスチャ910~950に対して取得した信号測定値を示している。縦軸は光の強度を示す正規化された活性値のスケールを表し、横軸は秒単位の時間を表す。ジェスチャ910~950のそれぞれについて、被験者は15秒間の休息から始まり、15秒間の休息と15秒間のジェスチャ実行とを交互に繰り返す。第1のチャート960には、5つのジェスチャを表す、5つの測定値がそれぞれグレーの濃淡で示されている。
【0193】
第2のチャート970は、従来のバイポーラEMG技術(g.tec社の生体アンプUSBamp)を使用して同時に取得される生のEMG活性化の信号測定値を示す。第3のチャート980は、第2のチャート970の測定値の二乗平均平方根(RMS)表現を示す。
【0194】
図9Bに関連して取得されたデータは、様々なプロセスを使用して処理される。1つのプロセスでは、200ミリ秒のスライディングウィンドウおよび20ミリ秒のストライドを使用して特徴を抽出する。125ミリ秒超かつ300ミリ秒未満のサンプルサイズ(または期間)により、一般的な義肢制御システムのリアルタイム制約によるバイアスおよび変化が軽減される。別のプロセスでは、各ジェスチャに関して同じ数のサンプルが使用されるようにデータを調整することで、特定のクラスへのバイアスを軽減する。EMG技術とは異なり、アームバンドで取得されたデータは、何らかのフィルタリング操作なしで直接処理できることに注目されたい。EMG技術で取得されたデータは、5Hz~500Hzの範囲で構成されたバターワースバンドパスを使用してフィルタリングされる。RMS演算に加えて、第2のチャート1020の生のEMGデータの処理には、更に、波形の長さ、ゼロ交差、平均絶対値、統合EMG、WAMP(Willison amplitude)、EMG信号の分散、およびログ検出器値も含まれる。バッチ正規化レイヤーを備えたディープラーニングモデルを使用することで、トレーニング速度が向上し、前処理手順での正規化の必要性が排除される。
【0195】
3つの機械学習分類モデルを開発し、それを使用して、アームバンドの性能を従来のEMG技術、即ち、ランダムフォレスト(RF)、畳み込みニューラルネットワーク(CNN)、およびTMC-Vit(Temporal Multi-Channel Vision Transformer)の性能と比較する。RFモデルは、複数の決定木の組み合わせに基づくアンサンブル分類法である。RFモデルでは、出力が個々の木の決定の中で最もポピュラーなクラスである。CNNモデルは、3つの畳み込みブロック、4つの全結合層、および手のジェスチャを予測するための最後のソフトマックス層を含み、各畳み込みブロックは、畳み込み層、バッチ正規化層、およびドロップアウト層で構成されている。TMC-ViTモデルは、畳み込み層および最大プーリング層を使用して入力次元を削減し、その埋め込みを抽出することによって、例えば、LMG信号等の複数のチャネルを有する時間データを入力として処理するようにVision Transformerを適応させる、Transformerベースのモデルである。TMC-ViTモードでは、2×2パッチを抽出し、それぞれ4つのヘッドを有する4つのMulti-head Attention layer41で構成されるTransformerエンコーダに出力を提供するViTにデータが供給される前に、2つの畳み込み層が使用される。
【0196】
分類器として機能するモデルは、損失関数としてスパースカテゴリカルクロスエントロピーを使用し、分割ごとに1回のテストが分離して繰り返される5分割交差検証を使用してトレーニングおよび検証する。トレーニング済みモデルは、Adamを使用して最適化し、精度に基づいて評価する。各モデルについて、各ジェスチャおよび各被験者に関してトレーニングおよび最適化を行う。
【0197】
別の実験では、前腕に装着した同じアームバンドを使用して取得した筋肉活動の測定値を使用して、把持力(握り締め力)を推定する。同じ回帰モデルを使用し、同じモデル構成を採用する。この実験では、アームバンドを装着した各被験者には、最初の握り締めを最大の力で行い、次の握り締めを最大の力の半分で行うように指示する。各握り締めは、15秒間続き、次の握り締めまで15秒間の休憩期間を設ける。この実験では、200ミリ秒のスライディングウィンドウおよび20ミリ秒のストライドが採用され、アームバンドを使用して取得したデータを調整する。換言すると、この実験では、センサ装置によって力が検出された期間に取得されたデータのみを使用して、同じ回帰モデルをトレーニングおよびテストする。しかしながら、この実験では、モデルは1つのニューロンおよび最後の層として機能する線形活性化関数を含む密層を有し、モデルは、分割ごとに1回のテストが分離して繰り返される10分割交差検証を使用してトレーニングおよび検証する。
【0198】
モデルのトレーニングの間は、平均二乗誤差(MSE)損失関数を使用する。トレーニング済み回帰モデルの効率は、ピアソン相関係数を使用して評価する。実際の力および推定される力の精度の比較は、正規化した平均二乗誤差(NMSE)のパーセンテージで表す。0%のNMSE値は適合が悪いことを示し、100%のNMSE値は2つの軌跡が同一であることを示す。NMSEは次のように計算することができる。
【0199】
【数1】

ここで、|| ||はベクトルの2ノルムを示し、xは実際の参照動作を表し、xは推定される力を表す。
【0200】
図10は、左側に、アームバンドに関する各回帰モデルの復号精度をパーセンテージで示した第1のレーダーチャート1010を示し、右側に、従来のEMG技術に関する各回帰モデルの復号精度をパーセンテージで示した第2のレーダーチャート1020を示す。第1のレーダーチャート1010は、それぞれ、TMC-ViT、CNN、およびRFモデルに対応する第1、第2、および第3のライン1011、1012、および1013を示す。第2のレーダーチャート1020は、それぞれ、TMC-ViT、CNN、およびRFモデルに対応する第1、第2、および第3のライン1021、1022、および1023を示す。図面から分かるように、TMC-ViTモデルは全ての被験者に対して最高の精度を達成し、次にCNNモデル、RFモデルが続く。モデル結果の比較に基づくと、アームバンドの実装は、従来のEMG技術で達成される信号性能よりも高く、より一貫した信号性能を達成する。TMC-ViTの結果によると、アームバンドは最大99.11%の分類精度を達成することができる。
【0201】
図11は、アームバンドおよび従来のEMG技術のそれぞれに関する、各モデルの分類精度の表を示す。
【0202】
アームバンドの実装で取得した測定値を使用することにより、各回帰モデルに関して、比較的小さい標準偏差で、より良い復号精度を達成できることが分かる。更に、アームバンドを使用して取得した測定値はモデルに直接提供されるため、時間および処理リソースの点でより効率的である。対照的に、従来のEMG技術では、取得した測定値はモデルに提供される前に追加のステップを通じて処理される。この技術的な利点は、サンプル処理時間を最小限に抑えることが最も重要であるリアルタイムアプリケーションにとって特に重要である。更に、生体アンプのサイズおよび重量により、特徴抽出されたEMGはポータブルアプリケーションに適した解決策とは言えない。対照的に、アームバンドの実装は、よりシンプルな構成要素、より小さなサイズ、より軽量であり、より低コストであるという点で有利である。
【0203】
図12は、把持力実験に関連して、各モデルに関する相関および精度の表を示しており、「C」でマークされた列は相関を表し、「A」でマークされた列は精度を表す。TMC-ViTの結果は、最高の相関および精度、並びに最低の標準偏差を示し、次にCNNおよびRFの結果が続く。回帰結果から、生データを処理することなく、アームバンドにより取得した測定値から握り締め力を直接デコードできることが分かる。提案されたアームバンドを使用することにより、力の推定の達成可能な精度および相関は、それぞれ、92%および96%に達する可能性がある。図13において、第1の折れ線グラフ1310は、1人の被験者に関してデコードされた力を表す第1の線1311と真の力(実際の力)を表す第2の線1312とを示しており、第2の折れ線グラフ1320は、別の被験者に関してデコードされた力を表す第1の線1321と真の力(実際の力)を表す第2の線1322とを示している。
【0204】
要約すると、RF、CNN、およびTMC-ViTモデルは、アームバンドを使用して取得した測定値が、着用者の意図を推定する際に、それぞれ、96.64%、97.18%、および97.86%の改善された平均精度を達成可能であることを示している。更に、これらの測定値を使用して、把持力を推定する際に、93.55%の高い相関関係で、86.05%の平均精度を達成することもできる。センサ装置およびこれを組み込んだアームバンドは、構成要素の複雑性、サイズ、重量、携帯性、およびコストの点で有利である。
【0205】
前述の説明で、既知の同等物を有する要素または整数について言及されている場合、そのような同等物は、個別に説明されているかのように含まれるものとする。
【0206】
実施形態を、多くのその例示的な実施形態を参照して説明しているが、添付の特許請求の範囲によって定義される本発明の精神および範囲から逸脱することなく、形態および詳細に様々な変更を加え得ることは、当業者には理解されるであろう。従って、好ましい実施形態は、限定を目的としたものではなく、説明的な意味でのみ考慮されるべきであり、本発明の技術的範囲も実施形態に限定されるものではない。更に、本発明は、発明の詳細な説明ではなく、添付の特許請求の範囲によって定義され、その範囲内の全ての相違は、本開示に含まれるものと解釈される。
【0207】
添付の図面を参照して本明細書に記載された本発明の範囲から逸脱することなく、多くの変更が当業者には明らかであろう。
図1
図2
図3A
図3B
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
【国際調査報告】