IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ローム ロボティクス インコーポレイテッドの特許一覧

<>
  • 特許-ユーザ意図認識のシステム及び方法 図1
  • 特許-ユーザ意図認識のシステム及び方法 図2
  • 特許-ユーザ意図認識のシステム及び方法 図3
  • 特許-ユーザ意図認識のシステム及び方法 図4
  • 特許-ユーザ意図認識のシステム及び方法 図5
  • 特許-ユーザ意図認識のシステム及び方法 図6
  • 特許-ユーザ意図認識のシステム及び方法 図7
  • 特許-ユーザ意図認識のシステム及び方法 図8
  • 特許-ユーザ意図認識のシステム及び方法 図9
  • 特許-ユーザ意図認識のシステム及び方法 図10
  • 特許-ユーザ意図認識のシステム及び方法 図11
  • 特許-ユーザ意図認識のシステム及び方法 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-21
(45)【発行日】2024-08-29
(54)【発明の名称】ユーザ意図認識のシステム及び方法
(51)【国際特許分類】
   A61H 1/02 20060101AFI20240822BHJP
   A61F 2/50 20060101ALI20240822BHJP
【FI】
A61H1/02 C
A61F2/50
【請求項の数】 20
(21)【出願番号】P 2019563328
(86)(22)【出願日】2018-02-02
(65)【公表番号】
(43)【公表日】2020-02-27
(86)【国際出願番号】 US2018016729
(87)【国際公開番号】W WO2018144937
(87)【国際公開日】2018-08-09
【審査請求日】2021-01-15
【審判番号】
【審判請求日】2022-11-02
(31)【優先権主張番号】62/454,575
(32)【優先日】2017-02-03
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/485,284
(32)【優先日】2017-04-13
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】519282708
【氏名又は名称】ローム ロボティクス インコーポレイテッド
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100098475
【弁理士】
【氏名又は名称】倉澤 伊知郎
(74)【代理人】
【識別番号】100130937
【弁理士】
【氏名又は名称】山本 泰史
(74)【代理人】
【識別番号】100144451
【弁理士】
【氏名又は名称】鈴木 博子
(74)【代理人】
【識別番号】100123630
【弁理士】
【氏名又は名称】渡邊 誠
(72)【発明者】
【氏名】スウィフト ティム
(72)【発明者】
【氏名】コックス ニコラス
(72)【発明者】
【氏名】ケンパー ケビン
【合議体】
【審判長】佐々木 正章
【審判官】安井 寿儀
【審判官】栗山 卓也
(56)【参考文献】
【文献】米国特許出願公開第2013/0289452(US,A1)
【文献】米国特許出願公開第2011/0071417(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61H 3/02
(57)【特許請求の範囲】
【請求項1】
ウェアラブル空気圧式外骨格システムであって、
前記空気圧式外骨格を装着しているユーザの身体部分と関連付けられるように構成された複数の空気圧式アクチュエータと、
空気圧流体を前記複数のアクチュエータに導入して前記複数のアクチュエータを作動させるように構成された空気圧システムと、
外骨格コンピューティングデバイスであって、
複数のセンサと、
少なくとも分類プログラムを記憶するメモリと、
前記複数のセンサから取得したセンサデータの前記分類プログラムによって生成された分類に少なくとも部分的に基づいて、前記分類プログラムを実行して、前記空気圧システムを制御するプロセッサと、
を含む、前記外骨格コンピューティングデバイスと、
を含む、前記ウェアラブル空気圧式外骨格システムと、
前記ウェアラブル空気圧式外骨格に対してローカルにあり、前記ウェアラブル空気圧式外骨格と動作可能に通信するユーザデバイスと、
前記ユーザデバイス及び前記ウェアラブル空気圧式外骨格からリモートにあり、前記ウェアラブル空気圧式外骨格及び前記ユーザデバイスと動作可能に通信する分類サーバと、
を含む、外骨格ネットワークにおいて、
前記外骨格ネットワークは、
前記ウェアラブル空気圧式外骨格によって実施されている現在の分類プログラムの第1の状態推定値を決定し、
更新された分類プログラムの第2の状態推定値を決定し、
前記第1の状態推定値と前記第2の状態推定値との差が分類プログラム交換閾値より大きいと判定し、
更新された分類プログラムを生成し、
現在の分類プログラムに対する正確さを決定し、
更新された分類プログラムに対する正確さを決定し、
更新された分類プログラムと現在の分類プログラムの間の正確さの差を決定し、
前記正確さの差が交換閾値よりも大きいかどうかを決定し、
且つ、
前記第1の状態推定値と前記第2の状態推定値との前記差が前記分類プログラム交換閾値より大きいと前記決定することに少なくとも部分的に基づき、且つ前記正確さの差が交換閾値よりも大きいと前記決定することに少なくとも部分的に基づいて、前記現在の分類プログラムを前記更新された分類プログラムと交換する、
前記外骨格ネットワーク。
【請求項2】
前記分類サーバと動作可能に通信する複数のウェアラブル空気圧式外骨格システムをさらに含み、前記複数のウェアラブル空気圧式外骨格システムは、それぞれ、
前記空気圧式外骨格を装着しているユーザの身体部分と関連付けられるように構成された複数の空気圧式アクチュエータと、
空気圧流体を前記複数のアクチュエータに導入して前記複数のアクチュエータを作動させるように構成された空気圧システムと、
外骨格コンピューティングデバイスであって、
複数のセンサと、
少なくとも分類プログラムを記憶するメモリと、
前記複数のセンサから取得したセンサデータの前記分類プログラムによる分類に少なくとも部分的に基づいて、前記空気圧システムを制御する前記分類プログラムを実行するプロセッサと、
を含む前記外骨格コンピューティングデバイスと、
を含む、請求項1に記載の外骨格ネットワーク。
【請求項3】
前記分類サーバは、現在の分類プログラムの正確さと更新された分類プログラムの正確さとの精度差が前記分類プログラム交換閾値より大きいと判定することに少なくとも部分的に基づいて、前記複数の外骨格システムの現在の各分類プログラムを前記更新された分類プログラムと交換する、請求項2に記載の外骨格ネットワーク。
【請求項4】
前記分類サーバは、前記更新された分類プログラムを生成する、請求項1に記載の外骨格ネットワーク。
【請求項5】
前記分類サーバは、複数の外骨格システムから受信した分類プログラムの正確さに関するデータに少なくとも部分的に基づいて、前記更新された分類プログラムを生成する、請求項4に記載の外骨格ネットワーク。
【請求項6】
外骨格システムであって、
前記外骨格を装着しているユーザの身体部分と関連付けられるように構成された複数のアクチュエータと、
外骨格コンピューティングデバイスと
を含み、前記外骨格コンピューティングデバイスは、
複数のセンサと、
少なくとも分類プログラムを記憶するメモリと、
前記複数のセンサから取得したセンサデータの前記分類プログラムによって生成された分類に少なくとも部分的に基づいて、前記複数のアクチュエータを制御する前記分類プログラムを実行するプロセッサと、
を含み、
前記外骨格システムは、
前記外骨格システムが実施している現在の分類プログラムの第1の状態推定値を決定し、
更新された分類プログラムの第2の状態推定値を決定し、
前記第1の状態推定値と前記第2の状態推定値との差が分類プログラム交換閾値より大きいと判定し、
更新された分類プログラムを生成し、
現在の分類プログラムに対する正確さを決定し、
更新された分類プログラムに対する正確さを決定し、
更新された分類プログラムと更新された分類プログラムの間の正確さの差を決定し、
前記正確さの差が交換閾値よりも大きいかどうかを決定し、
且つ、
前記第1の状態推定値と前記第2の状態推定値との前記差が前記分類プログラム交換閾値より大きいと前記決定することに少なくとも部分的に基づき、且つ前記正確さの差が交換閾値よりも大きいと前記決定することに少なくとも部分的に基づいて、前記現在の分類プログラムを前記更新された分類プログラムと交換する、
前記外骨格システム。
【請求項7】
前記外骨格システムは、さらに、
外骨格デバイスのセンサの状態の変化が閾値を超えていることを識別し、
前記外骨格デバイスのセンサの状態の前記識別された変化に少なくとも部分的に基づいて、第2の更新された分類プログラムを生成し、且つ、
前記更新された分類プログラムを前記第2の更新された分類プログラムと交換する、
請求項6に記載の外骨格システム。
【請求項8】
前記外骨格システムは、さらに、
外骨格の状態の変化を感知し、
前記外骨格の状態の変化の第1の分類を、前記更新された分類プログラムを用いて決定し、
前記外骨格システムに関連付けられたユーザに前記第1の分類を提示し、
前記提示された第1の分類に関連付けられた分類応答を取得し、且つ、
前記分類応答に少なくとも部分的に基づいて、前記分類プログラムを修正する、
請求項6に記載の外骨格システム。
【請求項9】
前記第1の分類は、前記外骨格システムに関連付けられたディスプレイ画面を介して前記ユーザに提示される、請求項8に記載の外骨格システム。
【請求項10】
前記分類応答は、前記外骨格システムに関連付けられたボタンまたはタッチスクリーンを介したユーザ選択から取得される、請求項8に記載の外骨格システム。
【請求項11】
前記外骨格システムは、さらに、
前記外骨格の状態変化の前に生じる、以前の外骨格の状態の以前の分類を決定し、
前記以前の分類プログラムの正確さと前記第1の分類プログラムの正確さとの差が性能差閾値を少なくとも満たすと決定し、且つ、
前記以前の分類プログラムの正確さと前記第1の分類プログラムの正確さとの前記差が前記性能差閾値を少なくとも満たすと前記決定することに少なくとも部分的に基づいて、前記外骨格システムに関連付けられたユーザに前記第1の分類を提示する、
請求項8に記載の外骨格システム。
【請求項12】
外骨格システムを動作させる方法であって、
前記外骨格システムによって実施されている現在の分類プログラムの第1の状態推定値を決定することと、
更新された分類プログラムの第2の状態推定値を決定することと、
前記第1の状態推定値と第2の状態推定値との差が分類プログラム交換閾値より大きいと判定することと、
更新された分類プログラムを生成することと、
現在の分類プログラムに対する正確さを決定することと、
更新された分類プログラムに対する正確さを決定することと、
更新された分類プログラムと更新された分類プログラムの間の正確さの差を決定することと、
前記正確さの差が交換閾値よりも大きいかどうかを決定することと、
前記第1の状態推定値と第2の状態推定値との前記差が前記分類プログラム交換閾値より大きいと前記決定することに少なくとも部分的に基づき、且つ前記正確さの差が交換閾値よりも大きいと前記決定することに少なくとも部分的に基づいて、前記現在の分類プログラムを前記更新された分類プログラムと交換することと、
を含む、前記外骨格システムを動作させる方法。
【請求項13】
前記外骨格システムで生成された分類プログラムの正確さに関するデータに少なくとも部分的に基づいて、前記更新された分類プログラムを生成することをさらに含む、請求項12に記載の外骨格システムを動作させる方法。
【請求項14】
外骨格の状態変化を感知することと、
前記外骨格の状態変化の第1の分類を前記更新された分類プログラムを用いて決定することと、
をさらに含む、請求項12に記載の外骨格システムを動作させる方法。
【請求項15】
前記外骨格システムに関連付けられたユーザに前記第1の分類を提示することと、
前記提示された第1の分類に関連付けられた分類応答を取得することと、
前記分類応答に少なくとも部分的に基づいて、前記分類プログラムを修正すること
をさらに含む、請求項14に記載の外骨格システムを動作させる方法。
【請求項16】
前記第1の分類は、歩く、立つ、走る、ジャンプする、しゃがむ、階段を上る、階段を下りる、着地する、向きを変える、座る、掴む、または、手を伸ばす、ことのうちの少なくとも1つを含む、請求項14に記載の外骨格システムを動作させる方法。
【請求項17】
前記分類は、前記外骨格システムに関連付けられた複数のセンサから取得したセンサデータに少なくとも部分的に基づく、請求項16に記載の外骨格システムを動作させる方法。
【請求項18】
前記複数のセンサは、それぞれ、前記外骨格システムのアクチュエータのセットに関連付けられる、請求項17に記載の外骨格システムを動作させる方法。
【請求項19】
前記現在の分類プログラムと前記更新された分類プログラムとは、サポートベクターマシン、ニューラルネットワーク、線形判別分析、二次判別分析、動的ベイズネット、または、隠れマルコフモデルのうちの少なくとも1つを含む、請求項14に記載の外骨格システムを動作する方法。
【請求項20】
ユーザから受信した入力に少なくとも部分的に基づいて、前記更新された分類プログラムの適合のスピードを変更することをさらに含む、請求項14に記載の外骨格システムを動作させる方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2017年2月3日出願の米国仮特許出願番号第62/454,575号「SYSTEM AND METHOD FOR USER INTENT RECOGNITION」の利益を主張し、その全体を、あらゆる目的で、参照により本明細書に組み込むものとする。
【0002】
本出願は、2017年4月13日出願の米国仮特許出願番号第62/485,284号「SYSTEM AND METHOD FOR USER INTENT RECOGNITION」の利益も主張し、その全体を、あらゆる目的で、参照により本明細書に組み込むものとする。
【発明の概要】
【課題を解決するための手段】
【0003】
一態様において、本出願は、1つまたは複数の強化外骨格のユーザの意図を認識するための新規なプログラムの設計に関する実施形態例を開示する。本明細書に記載の様々な実施形態は、従来のデバイスで使用される意図認識プログラムを大幅に改良するものである。例えば、意図認識のための従来の方法は、精度を向上させるように開発者がその場に合わせて設定した設計された遷移ガードを含む有限状態機械のエキスパート設計である。対照的に、本明細書に記載の様々な方法の例においては、意図認識プログラムが、学習された性能に基づいて経時的に適合することを可能にする、または、個々の操作者の独自の挙動に適合することを可能にする。本明細書に記載の様々な方法の例は、認識の精度を向上させることができ、認識の遅延を低減でき、且つ、各ユーザに合わせて性能をカスタマイズできる意図認識プログラムを提供する。従って、様々な実施形態は、人間と相互作用すること無しに自動的に、または、本明細書に記載の限られた特定の望ましい時に、人間と最小限の相互作用を行って実行できる方法に関する。
【図面の簡単な説明】
【0004】
図1】外骨格ネットワークの実施形態を示す例示的な図である。
図2】外骨格ネットワークの別の実施形態を示す例示的な図である。
図3】外骨格システムの実施形態を示す例示的なブロック図である。
図4】分類規則セットを更新する方法の例を示す図である。
図5】複数の外骨格システムの分類プログラムを改良する方法の例を示す図である。
図6】外骨格システムの1つまたは複数のセンサの状態に基づいて、分類プログラムを更新する方法の例を示す図である。
図7】分類決定に対するユーザ応答に少なくとも部分的に基づいて、分類プログラムを調整する方法の例を示す図である。
図8】分類決定に対する確認要求を提示するか否かを決定する方法を示す図である。
図9】3つの処理レベルを含む外骨格処理ネットワークの一実施形態を示す図である。
図10】外骨格システムの実施形態の例示的な図である。
図11】外骨格システムの別の実施形態の例示的な図である。
図12】外骨格システムの別の実施形態の例示的な図である。
【発明を実施するための形態】
【0005】
図面は縮尺通りに描かれておらず、また、図面を通して、類似の構造または機能の要素は、説明のために、一般的に類似の参照番号で表されていることに留意されたい。図面は、好ましい実施形態の説明を容易にすることだけを意図していることにも留意されたい。図面は、記載の実施形態のあらゆる態様を示してはおらず、本開示の範囲を制限もしない。
【0006】
図1を参照すると、第1の実施形態100Aの外骨格デバイスネットワーク100の例が示されており、外骨格システム110、ユーザデバイス120、及び、分類サーバ130を含み、ネットワーク140を介して動作可能に接続されている。さらに、外骨格システム110とユーザデバイス120は、直接、動作可能に接続されているのが示されている。
【0007】
ここでより詳細に記載する様々な実施形態において、外骨格システム110は、ローカルのユーザデバイス120と通信するように構成でき、ローカルのユーザデバイス120は、外骨格システム110にとっての入力装置、ディスプレイ、及び/または、ユーザインタフェースとして働くことができる。例えば、ユーザデバイス120は、外骨格システム110の様々な状態に関する情報を提示でき、ユーザデバイス120は、本明細書で論じる状態分類に関する入力の提供を含む外骨格システム110の制御に使用できる。
【0008】
図1の例において、外骨格システム110及びユーザデバイス120は、無線通信チャネル(例えば、ブルートゥース(登録商標))を介して直接、また、ネットワーク140を介して間接的に、動作可能に接続されるのが示されており、ネットワーク140は、インターネット、Wi-Fiネットワーク、セルラーネットワーク、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)等を含む、1つまたは複数の有線及び/または無線のネットワークを含み得る。しかしながら、ある実施形態においては、これらの動作可能な接続の1つは無くてもよい。例えば、一実施形態において、外骨格システム110は、ネットワーク140を介さず、直接ローカル接続によってのみ、ユーザデバイス120と通信するように構成できる。別の実施形態においては、外骨格システム110は、ユーザデバイス120とローカル通信チャネルを介してのみ通信し、分類サーバ130またはユーザデバイス120等のデバイスと、ネットワーク140を介して通信できないように構成できる。しかしながら、外骨格システム110が分類サーバ130等のデバイスとユーザデバイス120を介して通信できる例もある。
【0009】
ある実施形態においては、分類サーバ130は、様々な能力を有するように構成された1つまたは複数のデバイスを含み得る、これについて、ここにより詳細に記載する。図1の例には物理的サーバを示すが、別の実施形態においては、分類サーバ130は、1つまたは複数の仮想または非仮想のサーバ等を含み得る。分類サーバ130が無くてもよい例もある。
【0010】
外骨格ネットワーク100の例のユーザデバイス120は、スマートフォンとして示されているが、別の実施形態においては、様々な他の適切なデバイスが、タブレットコンピュータ、スマートウォッチ、ラップトップコンピュータ、デスクトップコンピュータ、ゲームデバイス、エンターテイメントデバイス、ホームオートメーションデバイス、埋め込みシステム等を含む、ユーザデバイス120を含み得る。さらに、ある例においては、ユーザデバイス120は、外骨格システム110に一体化された部分であってよい。言い換えると、ある例においては、ユーザデバイス120と外骨格システム110を組み合わせることができる。さらに、ある実施形態においては、ユーザデバイス120は、無くてもよく、任意の適切な数で存在してもよい。
【0011】
ここにより詳細に記載するように、外骨格システム110は、様々な能力を有する任意の適切な外骨格システムであってよい。従って、図1に示す脚外骨格システム110の例は、本開示の範囲及び趣旨内にある広範な種類の外骨格システムに対する制限と解釈すべきではない。さらに、ある実施形態においては、外骨格ネットワーク100は、複数の外骨格システム110を含み得る。例えば、図2は、複数の外骨格システム110A、110B、110Cと分類サーバ130とを含む外骨格ネットワーク100の別の実施形態100Bを示す。
【0012】
図3は、空気圧システム320に動作可能に接続された外骨格デバイス310を含む外筋肉システム110の実施形態例110Dのブロック図である。外骨格デバイス310は、プロセッサ311、メモリ312、1つまたは複数のセンサ313、及び、通信ユニット314を含む。複数のアクチュエータ305が、各空気配管330を介して空気圧システム320に動作可能に結合される。複数のアクチュエータ305は、体の左右にそれぞれ配置された肩アクチュエータ対305S、肘アクチュエータ対305E、膝前部アクチュエータ対305KA、及び、膝後部アクチュエータ対305KPを含む。例えば、上記のように、図3に示す外筋肉システム110Dの例は、(例えば、図10及び11に示すような)トップスーツ110E及び/またはボトムスーツ110Fの一部であってよく、アクチュエータ305は、本明細書で論じる身体の各部分に配置される。例えば、肩アクチュエータ305Sは、左肩と右肩に配置でき、肘アクチュエータ305Eは、左肘と右肘に配置でき、膝前部アクチュエータ305KAと膝後部アクチュエータ305KPは、膝前部と膝後部に配置できる。
【0013】
様々な実施形態において、システム110Dの例は、外筋肉システム110Dを装着しているユーザを動かすように、及び/または、ユーザの動きを強化するように構成できる。例えば、外骨格デバイス310は、空気圧システム320に命令を与えることができ、空気圧システム320は、アクチュエータ305を選択的に膨張及び/または収縮させることができる。アクチュエータ305のこのような選択的な膨張及び/または収縮によって、身体を動かして、歩く、走る、ジャンプする、登る、持ち上げる、投げる、しゃがむ等の身体動作を生成、及び/または、強化できる。
【0014】
ある実施形態においては、このような動きは、外筋肉システム110Dを装着しているユーザによって、または、他の人によって制御及び/またはプログラムできる。ある実施形態においては、外筋肉システム110Dは、ユーザの動きによって制御できる。例えば、外骨格デバイス310は、ユーザが歩いていること、荷物を持っていることを感知でき、アクチュエータ305を介してユーザに動力アシストを提供して、荷物や歩くことに関連する労作を軽減できる。従って、様々な実施形態において、外筋肉システム110Dは、直接的なユーザとの相互作用無しで自動的に反応できる。別の実施形態においては、動きは、コントローラ、ジョイスティック、または、思考制御によってリアルタイムで制御できる。さらに、完全に制御する代わりに、様々な動き(例えば、前に歩く、座る、身をかがめる)を、前もってプログラムでき、選択的にトリガできる。ある実施形態においては、動きは、一般化された命令(例えば、点Aから点Bに歩く、棚Aから箱を取って棚Bに移動させる)によって制御できる。
【0015】
様々な実施形態において、外骨格デバイス310は、方法400、500、600、700、800等を含む、以下にさらに詳細に記載する方法または方法の一部を行うように動作可能であってよい。例えば、メモリ312は、非一時的コンピュータ可読命令を含むことができ、命令は、プロセッサ311によって実行されると、外骨格システム110に、本明細書に記載の方法または方法の一部を行わせることができる。通信ユニット314は、外骨格システム110が、ユーザデバイス120、分類サーバ130、他の外骨格システム110等を含む他のデバイスと、直接、または、ネットワークを介して(例えば、図1及び図2を参照)通信するのを可能にするハードウェア及び/またはソフトウェアを含むことができる。
【0016】
ある実施形態においては、センサ313は、任意の適切な種類のセンサを含むことができ、センサ313は、中心位置に配置されてよい、または、外筋肉システム110Dの周囲に分散されてよい。例えば、ある実施形態においては、外骨格システム110Dは、アクチュエータ305または任意の他の身体の箇所を含む様々な適切な位置に、複数の加速度計、複数の力センサ、複数の位置センサ等を含んでよい。従って、ある例においては、センサデータは、1つまたは複数のアクチュエータ305の物理的状態、外骨格システム110の一部分の物理的状態、一般に外骨格システム110の一部分の物理的状態等に対応し得る。ある実施形態においては、外骨格システム110Dは、全地球測位システム(GPS)、カメラ、距離検出システム、環境センサ等を含み得る。
【0017】
空気圧システム320は、アクチュエータ305を膨張及び/または収縮させるように動作可能な任意の適切なデバイスまたはシステムを含み得る。例えば、一実施形態においては、空気圧システムは、2014年12月19日出願の同時係属の関連特許出願第14/577,817号で論じられるダイヤフラム圧縮機を含んでよく、同出願は、2013年12月19日出願の米国仮特許出願番号第61/918,578号の利益を主張する。
【0018】
本明細書で論じるように、本明細書に記載の図10図11、及び図12の外骨格システム110を含む様々な適切な外骨格システム110は、本明細書で論じるシステム及び方法の例と共に使用できる。しかしながら、このような例は、本開示の範囲及び趣旨内にある多様な外骨格システム110、または、その一部分に対する制限と解釈すべきではない。従って、図3図10図11、及び図12の例より複雑なまたはそれらの例ほど複雑でない外骨格システム110は、本開示の範囲内にある。
【0019】
さらに、様々な例が、ユーザの脚または下半身に関連付けられた外骨格システム110に関するものであるが、胴、腕、頭、脚等を含む、ユーザの身体の任意の適切な部分に関連し得る例もある。また、様々な例が、外骨格に関するが、本開示は、人口装具、身体インプラント、ロボット等を含む他の類似の種類の技術に適用できることは明らかである。さらに、人間ユーザに関する例もあってよいが、動物ユーザ、ロボットユーザ等に関する例もあってよい。
【0020】
本開示は、外骨格に適用するためのデータ駆動型意図認識プログラムの実施形態例を開発する様々な方法を含む。様々な好ましい実施形態は、意図認識性能の教師無し改良(unsupervised refinement)を可能にするために、1つまたは複数の外骨格システム110に含まれるセンサ313から収集したデータを使用する意図認識システムを含む。
【0021】
例えば、データ駆動型意図認識プログラムは、時点(t=0)までのセンサデータ(例えば、1つまたは複数のセンサ313から受信したデータ)を処理して、その時点でのユーザの意図した操作を決定する分類器または他のプログラムを含み得る。言い換えると、外骨格システム110は、受信したセンサデータに少なくとも部分的に基づいて、外骨格システム110を装着しているユーザが意図する行動を予測するプログラムを実行できる。
【0022】
ある例においては、このようなプログラムまたは方法の誤差の原因は、場合によっては、操作者が大きな物理的動作を行って自分の意図で行動する前に、ユーザの動作の正確な予測を伝えるリアルタイム分類器に関連する場合がある。例えば、これらのプログラムが、外骨格システム110を装着しているユーザの歩行の足趾離地段階を識別しようとしている場合、センサ313がまだ起こっていない挙動を検出できないと仮定すると、意図認識プログラムは、集合t=[-n:0]内に含まれるセンサデータしかない時に、足趾離地段階に関する意図を探そうとすることがある。
【0023】
様々な例において、理論上理想的なプログラムは、足の接地信号がゼロになるとすぐに、足趾離地を検出できるものである。しかしながら、システムによっては、プログラムは、センサノイズ等の様々な欠陥と競合しなければならず、これは、外骨格システム110が、接地信号がゼロになるとすぐに信号に反応することはできず、多くの場合、接地が終わったことをセンサデータが繰り返し示すのを待つ必要があることを意味する。
【0024】
これは、このような分類プログラムの分類挙動のスピードの遅延につながり得る。結果として、データ駆動型意図認識プログラムによっては、監視を組み込むことがあり、その場合、専門家が、センサデータを解析し、センサデータ全体の文脈を用いて真であることを示し、それによって、データ駆動方法は、監督する専門家の選択に最も近似するようにデータ駆動方法を訓練できる。
【0025】
本開示は、専門家の監視の必要性を無くすことができる方法の幾つかの例を記載する。詳細には、特定の関心時点の前後の時間t=[-n:n]のセンサデータの分類が完了している場合、分類法の挙動は大きく向上し得る例がある。従って、本明細書で論じる様々な実施形態は、分類挙動に焦点を当てる方法に関する。
【0026】
方法の幾つかの例は、過去のある設定時点(t=-nとする)の外骨格システム110のユーザの操作の分類を再度考慮できる、これによって、分類プログラムは、時間t=[-2n:0]を含む当該外骨格システム110のユーザによる操作の前後のセンサ313からのデータの使用が可能になる。ある実施形態においては、このような方法によると、外骨格システム110のユーザの操作を即時に分類することを旨とするプログラムよりかなり正確に分類が完了できる。従って、方法の様々な例は、予測分類(foresight classification)から決定される真と思われるデータにより近いように外骨格システム110を動かすために、センサデータを使用して、t=-nに起こった即時予測を精緻化できる。
【0027】
一実施形態においては、即時分類を比較、更新するプロセスは、オフボードコンピュータ(例えば、ユーザデバイス120、分類サーバ130等)で行うことができ、次に、精緻化された分類器データは、1つまたは複数の外骨格システム110の性能を向上させるために、1つまたは複数の外骨格システム110に再度デプロイできる。このような実施形態において、関連するセンサデータは、外骨格システム110からストリームされて、分類サーバ130で処理でき、分類サーバ130において、更新または改良された分類方法を生成できる。その結果生じる分類方法データは、外骨格デバイス110にデプロイできて、外骨格デバイス110が、分類方法データの形で具体化された精緻化された意図認識挙動を実行するのを可能にする。しかしながら、別の実施形態においては、このような処理は、外骨格デバイス310、または、ユーザデバイス120(例えば、スマートフォン、ラップトップコンピュータ、サーバ、または、他の適切なデバイス)を含む、1つまたは複数の他の適切なデバイスで行われてよい。
【0028】
方法のこの例において、制御ループ毎という速さで分類プログラムの高頻度の更新を提供し得る実施形態もあれば、一年に一度しか分類プログラムを更新しない実施形態等、更新サイクルがかなり遅い実施形態もある。さらに、更新によって1%または他の適切な量もしくはメトリックだけ精度が向上すると判断されると、外骨格システム110のローカルの分類プログラムを更新する実施形態等、他の規則に基づいて、非周期的な間隔で分類プログラムを更新する実施形態もある。
【0029】
人間ユーザと共に使用される適合型外骨格システム110においては、適合型意図認識が適合するスピードを知ることが重要な場合がある。詳細には、適合型外骨格システム110の適合が速すぎる場合、ユーザの典型的な動作を表していない断続的な非定型的挙動に反応することがある。外骨格システム110の適合が少し遅くなると、実施形態によっては、外骨格システム110の使用の仕方を学習しているユーザに関連付けられたユーザ自身の内部学習プロセスと類似した帯域幅で反応する適合型外骨格システム110を作成する可能性が生じ得る。このような調整された適合スピードを実施する場合、実施形態によっては、ユーザが外骨格システム110の動作の仕方を信用し始めるとすぐに、外骨格システム110は、挙動の適合を開始でき、ユーザにとって新しい学習段階となる。
【0030】
結果として、適合型意図認識プログラムがユーザ自身の内部の適合のスピードとは大きく異なるスピードで適合することが重要な例もある。多くの実施形態において、これは、ユーザの適合のスピードよりかなり遅いスピードで外骨格システム110を適合させることによって対処できる。他の実施形態においては、意図認識プログラムの適合スピードは、ユーザが選択可能であってよく、操作者または管理者が、外骨格システム110の意図の適合の応答性を個々に選択するのを可能にしてよい。
【0031】
従って、様々な実施形態において、外骨格システム110は、外骨格システム110のインタフェースで受信した入力に少なくとも部分的に基づいて、ユーザデバイス120のインタフェースで受信した入力に少なくとも部分的に基づいて、及び/または、分類サーバ130から受信した命令を介して、外骨格システム110で実行する意図認識プログラムの適合のスピードを変更できる。別の実施形態においては、外骨格システム110は、外骨格システム110で実行する意図認識プログラムの適合のスピードを、ユーザ入力無しにセンサデータ等に基づいて自動的に調整できる。例えば、意図認識プログラムは、センサデータに少なくとも部分的に基づいて、ユーザにとって適合が速すぎるという決定を行うことができ、外骨格システム110は、外骨格システム110がユーザのニーズにより見合うスピードで適合するように意図認識プログラムのスピードを自動的に遅くできる。
【0032】
例えば、図4は、外骨格システム110のメモリ312に記憶された分類プログラムで実施できる、分類規則セットを更新する方法400の例を示す。方法400は、405で始まり、405において、現在の分類規則セットの精度を決定する。例えば、現在の分類規則セットを適用して、関心時点(t=0)における外骨格システム110のデバイス状態またはユーザ状態の推定値を決定することによって、基準精度が決定できる。他の例においては、現在の分類規則セットに関する履歴データに少なくとも部分的に基づいて、精度が決定できる。履歴データは、現在の分類規則セットを使用した分類試行の成功及び不成功に関するデータを含み得る。様々な実施形態において、精度は、分類試行の成功と不成功の比に基づいてよい。
【0033】
410において、更新された分類規則セットが生成できる。例えば、更新された分類規則セットは、現在の分類規則のランダムな変更、1つまたは複数のヒューリスティックスに基づいた現在の分類規則の変更等を含む、様々な適切な形で生成できる。言い換えると、更新された分類規則セットは、現在の分類規則セットへの変更または差分を含み得る。別の実施形態においては、現在の分類規則セットに基づいていない更新された分類規則セットが生成できる。言い換えると、更新された分類規則セット、または、その一部は、現在の分類規則セットを参照も考慮もせずに生成できる。様々な実施形態において、基準分類規則セットまたは基準分類プログラムが、同様に生成できる。
【0034】
415において、更新された分類規則セットの精度を決定できる。例えば、現在の分類規則セットを適用して、上記のように関心時点(t=0)における外骨格システム110のデバイス状態またはユーザ状態の推定値を決定することによって基準精度を決定する場合、次に、更新された分類規則が、一定時間後に(t=n)適用されて、後の時間枠(t≧n)、及び/または、後の時間枠の前(例えば、n≧t≧0)に収集された追加のセンサ情報を用いて、元の関心時点(t=0)の外骨格システム110のデバイス状態またはユーザ状態の推定値を決定できる。
【0035】
他の例においては、更新された分類規則セットの精度は、外骨格システム110に関連付けられた履歴データに少なくとも部分的に基づいて決定でき、これは、履歴データを用いて分類試行を行うことを含んでよく、次に、このような試行を分析して、このような分類試行が成功か不成功かを決定できる。更新された分類規則の精度は更新された分類規則による分類試行の成功と不成功の比に基づいてよい。例えば、更新された分類規則による分類試行の成功及び不成功は、現在の分類規則による分類試行の成功及び不成功を決定するのに使用したデータ等、データに基づいて決定できる。
【0036】
ある例においては、更新された分類規則が、1つまたは複数の外骨格システム110に対して一時的に実施されてよく、更新された分類規則は、1つまたは複数の外骨格システム110での実際の使用に基づいて評価できる。さらに、現在の規則または更新された規則の評価は、1つの外骨格システム110のデータに基づいてよいが、ある例においては、このような評価は、複数の外骨格システム110からの履歴データに基づいてよい(例えば、図2を参照)。
【0037】
図4に戻ると、方法400は、420に続き、420において、更新された分類規則セットと現在の分類規則セットとの精度差が決定され、425において、精度差が交換閾値より大きいか否かが決定される。大きくない場合、430で、現在の分類規則セットが維持され、大きい場合、435において、現在の分類規則セットは、更新された分類規則セットと交換されてよい。例えば、更新された分類規則が現在の分類規則セットより大幅に向上していると決定される場合、現在の分類規則は、向上した更新された分類規則と交換されてよい。図4に示すように、このような方法400は、現在の分類規則セットを反復的に改良できる。例えば、430及び435の後、方法400は、405に戻ることができ、405において、新しい分類規則セットまたは維持された分類規則セットが、再び、評価される。
【0038】
別の例において、推定された外骨格システム110のデバイス状態及び/またはユーザ状態が、現在の分類規則セット及び更新された分類規則セットに関して決定される場合、このような推定値を比較できる。現在の分類規則セットからの結果が、更新された分類規則セットからの結果と異なる場合(ある例においては、より正確であり得る場合)、現在の分類規則セットは、関心時点(t=0)の分類精度をより良く決定するように設計された第2の更新された分類規則セットを開発するように適合できる。現在の分類規則セットは、第2の更新された分類規則セットを用いて更新できる、または、第2の更新された分類規則セットと交換できる。
【0039】
従って、ある実施形態においては、分類規則セットを更新する方法は、外骨格システム110が実施している現在の分類プログラムの第1の状態推定値を決定することと、基準分類プログラムの第2の状態推定値を決定することと、第1の状態推定値と第2の状態推定値との差が分類プログラム交換閾値より大きいと判定することと、更新された分類プログラムを生成することと、第1の状態推定値と第2の状態推定値との差が分類プログラム交換閾値より大きいと判定することに少なくとも部分的に基づいて、現在の分類プログラムを更新された分類プログラムと交換することと、を含み得る。
【0040】
様々な実施形態において、このような方法は、外骨格システム110でローカルに、ユーザデバイス120でローカルに、及び/または、分類サーバ130でリモートに行うことができる。さらに、方法300、または、その一部は、ユーザ入力無しに自動的に行うことができる。例えば、外骨格システム110は、外骨格システム110の動作中に、外骨格システム110が使用する分類規則を、ユーザ、管理者等からの入力無しに自動で改良できる。同様に、ユーザデバイス120及び/または分類サーバ130は、外骨格システム110の動作中に、外骨格システム110が使用する分類規則を、ユーザ、管理者等からの入力無しに自動で改良できる。このような自動化は、ユーザまたは管理者からの入力を必要とせず、または、限られた入力しか必要とせず、1つまたは複数の外骨格システム110の機能を効率的に改良するために好ましい場合がある。さらに、本明細書においては分類規則を様々な例で論じるが、このような方法は、このような分類規則を具体化、採用、または、実施する分類プログラム、意図認識プログラム等に適用できることが明らかである。様々な実施形態において、分類プログラム及び意図認識プログラムは、同じタイプのプログラム、方法、アルゴリズム等を指してよい。
【0041】
意図認識プログラムの教師なし精緻化を様々な理由で実行できる。例えば、一実施形態は、ユーザの母集団全体の分類の性能を向上させるために、意図認識分類挙動を精緻化できる。この実施形態において、同じ分類プログラムが、複数の外骨格システム110にデプロイでき、使用される外骨格システム110のセット全体で収集された大きな利用可能なデータプールを使用して、外骨格システム110の性能を向上させることができる。
【0042】
例えば、図5に示すように、複数の外骨格システム110の分類プログラムを改良する方法500の例は、510で開始でき、510において、性能データが、複数の外骨格システム110から取得される。520において、更新された分類方法が、受信された性能データに基づいて生成され、530において、更新された分類プログラムは、複数の外骨格システム110に送られる。例えば、ある実施形態においては、方法500は、分類サーバ130によって行うことができる(例えば、図2を参照)。しかしながら、ある実施形態においては、方法500は、ユーザデバイス120によって、及び/または、1つまたは複数の外骨格システム110において実施できる。さらに、更新された分類プログラムを生成することは、図4の方法400で上述したステップを含む様々な適切なステップを含み得る。
【0043】
別の実施形態においては、特定の外骨格システム110の性能が個々のユーザに合わせてより良く実行できるように、意図認識プログラムの挙動を精緻化できる。このような実施形態は、意図認識の挙動を精緻化して、特定の外骨格システム110に対して、経時的に分類の精度または応答性を向上させることができる。特定の外骨格システム110に関するこれらの改良された認識挙動の詳細は、次に、交換された外骨格システム110、または、異なる特定の外骨格システム110に一緒にデプロイされて、これらの特定の外骨格システム110が、特定のユーザの動き及び好みを知ることが可能になるように、(例えば、外骨格システム110のメモリ312、ユーザデバイス120等の1つまたは複数のローカルデバイスに、及び/または、分類サーバ130またはユーザデバイス120等の1つまたは複数のリモートデバイスに)記憶できる。
【0044】
さらに別の実施形態は、外骨格システム110のセンサ313の応答の変化に経時的に対応するように意図認識プログラムの挙動を精緻化できる。意図認識プログラムへのこれらの更新は、センサ挙動の通常の変動を経時的に考慮するように、センサ313の突発的な故障に対処するように等、設計できる。
【0045】
例えば、図6は、外骨格システム110の1つまたは複数のセンサ313の状態に基づいて、分類プログラムを更新する方法600の例を示す。方法600は、610で開始し、610において、外骨格デバイスのセンサの状態が、現在の分類プログラムで動作している外骨格システム110に関して決定される。620において、外骨格の状態に変化があるか否かの決定が行われる。例えば、1つまたは複数のセンサ313の状態の変化は、センサが動作可能/動作不能であること、較正状態の変化、センサ精度の変化、外骨格システム110上のセンサの物理的位置の変化等を含み得る。ある実施形態においては、センサ状態の変化は、1つまたは複数のアクチュエータ305、空気圧システム320、空気配管330等の変化を含む、外骨格システム110の一部分の変化に関連付けられてよい。例えば、外骨格システム110の一部分の問題、劣化、及び/または、材料の変更は、センサ状態の変化に関連付けられてよい。
【0046】
外骨格デバイスのセンサの状態の変化が、620において識別されない時、方法600は、610に戻り、610において、外骨格デバイスのセンサ状態の監視を続ける。しかしながら、外骨格デバイスのセンサ状態の変化が620において識別されると、方法600は、630に続き、630において、更新された分類プログラムが、外骨格デバイスのセンサ状態の識別された変化に少なくとも部分的に基づいて生成され、640において、現在の分類プログラムは、更新された分類プログラムと交換される。
【0047】
例えば、外骨格システム110の変化によって、センサがセンサデータを異なるように報告する場合、外骨格システム110の現在の分類プログラムは、現在の分類プログラムが取り込んでいるセンサデータの変化に合わせて調整されていないので、精度を失っている場合がある。従って、外骨格デバイスのセンサ状態のこのような変化は、識別でき、現在の分類プログラムは、外骨格デバイスのセンサ状態の変化に合わせて調整された更新された分類プログラムと交換できる。
【0048】
これらのプログラムの性能に関して、意図認識分類器設計の詳細は、ある実施形態においては、プログラムの性能に大きな影響を及ぼし得る。特定の分類プログラムは、様々な実施形態により記載された方法の適用を制限しないことに留意されたい。この記載内の分類または分類器という用語の使用は、考慮しているある一定の時点の外骨格システム110の操作者の意図を特定するアルゴリズム、プログラム、または、方法を表すために使用されている。分類プログラムは、サポートベクターマシン、ニューラルネットワーク、線形判別分析、二次判別分析、動的ベイズネット、隠れマルコフモデル等を含み得るが、これらに限らない。
【0049】
明確にするために、外骨格システムのユーザの意図を認識するために使用されるプログラムは、外骨格システム110の操作者からの様々な動作を識別するように構成されてよい。これらは、操作者が意識的及び/または無意識で行う動作、操作、動き、姿勢、歩行等を含み得る。これらの意図認識プログラムが、考慮、分析、分類等を行い得る特定の動作は、歩く、立つ、走る、ジャンプする、しゃがむ、階段を上る、階段を下りる、着地する、方向を変える、座る、掴む、手を伸ばす等を含み得るが、これらに限らない。同様に、これらの意図認識プログラムは、重要となり得る歩行の操作途中の段階を識別するように適用でき、これは、踵接地、立脚中期、立脚後期、足趾離地、両足離地、上昇、降下等を含み得るが、これらに限らない。
【0050】
このような新しい適合型意図認識プログラムの導入は、ある実施形態においては、ユーザが外骨格システム110と相互作用するための新しい方法を必要とし得る。例えば、実施形態は、手動の意図オーバーライド挙動をユーザに提供でき、ユーザは、意図認識プログラムが予測または望んでいるように振舞っていない場合に、手動の意図オーバーライド挙動を使用して意図認識プログラムに所望の挙動をさせることができる。実施形態の別のセットは、外骨格システム110の操作者がデータ駆動プログラムの学習挙動に影響を与えることを可能にするユーザフィードバックを含み得る。
【0051】
このようなフィードバックの1つの実施形態は、外骨格システム110が見た新しい挙動を規定することを通して、外骨格システム110の性能を精緻化することを助ける手動の選択肢を操作者に提供できる。例えば、即時分類器プログラムが、人が立っている状態から階段を上る状態に移っていると考えるが、予測分類器プログラムが、実際は人がしゃがんだ状態に移行したと考えると、外骨格システム110は、ユーザがこの性能の変化を確認できるようにするのが有益であると考え得る。
【0052】
例えば、図7は、分類決定に対するユーザ応答に少なくとも部分的に基づいて、分類プログラムを調整する方法700の例を示す。方法700は、705で始まり、705において、外骨格システム110の状態変化が感知され、710において、感知された状態変化の分類が決定される。例えば、外骨格システム110は、外骨格システム110のユーザが新しい動きまたは動きの変化を開始することを示すデータをセンサ313から取得できる。外骨格システム110の分類プログラムは新しい動きを分類できる。
【0053】
715において、分類が、外骨格システム110に関連付けられたユーザに提示され、720において、分類応答が、外骨格システム110に関連付けられたユーザから取得される。例えば、ある実施形態においては、分類は、(例えば、ユーザデバイス120、外骨格デバイス310等の)ディスプレイに提示でき、ユーザは、(例えば、分類の拒絶または確認を示す)応答をタッチスクリーン、ボタン等のユーザ入力を介して提供できる。分類を提示されている、及び/または、分類に応答を提供しているユーザは、外骨格システム110を装着しているユーザ、外骨格システム110を装着しているユーザと協働している管理者等であってよい。
【0054】
725において、分類応答が確認か拒絶かを決定し、ユーザ応答が分類決定の拒絶の場合、730において、分類プログラムは、分類決定を弱めるように調整される。しかしながら、ユーザ応答が分類決定の確認の場合、730において、分類プログラムは、分類決定を強化するように調整される。例えば、ユーザが分類決定を確認する場合、分類プログラムは、分類決定を行うのに使用された決定方法を強化するように変更できる。別の例においては、ユーザが、分類決定を確認する場合、分類成功を記録でき、確認しない場合、分類不成功の記録を生成できる。分類の成功及び不成功のこのような記録は、本明細書で論じるように(例えば、上記方法300において)使用できる。
【0055】
多くの項目が、ユーザ確認を求める理由の決定に影響を与え得るが、1つのメトリックは、精緻化された分類は、デバイスが元の挙動で行ったのと大きく異なるように働くデバイス状態に移行する時はいつでも確認を求めることであってよい。言い換えると、ある実施形態においては、ユーザ確認は、僅かな変化と比較して大きい変化を規定する閾値を超える外骨格状態の変化に限定できる。
【0056】
例えば、図8は、分類決定の確認要求を提示するか否かを決定する方法800を示す。方法800は、810で開始し、810において、第1のデバイス状態に関連付けられた第1の分類が決定され、820において第2のデバイス状態に関連付けられた第2の分類が決定される。830において、第1のデバイス状態と第2のデバイス状態との差が決定され、840において、第1のデバイス状態と第2のデバイス状態との差が、性能差閾値を超えるか否かが決定される。例えば、ある実施形態においては、差は、性能差閾値を超え、この場合、第2の挙動分類は、外骨格デバイスが第1の挙動分類の下で行ったのと大きく異なるように働く外骨格の状態に移行している。
【0057】
第1のデバイス状態と第2のデバイス状態との差が性能差閾値を超えると決定される場合、830において、第2の分類に対する確認要求がユーザに提示される。例えば、図7の方法700のステップ710を参照されたい。しかしながら、第1のデバイス状態と第2のデバイス状態との差が性能差閾値を超えないと決定される場合、835において、第2の分類に対する確認要求は、ユーザに提示されない。
【0058】
別の実施形態は、分類精度と分類遅延の間のバランスを操作する等、デバイス体験に寄与するように調整されるフィードバックをユーザに提供できる。例えば、ユーザが、性能最大化に関心があるが、高い分類誤差の可能性を吸収し得る安全なシナリオにある場合、ユーザは、信頼度レベルのより低い意図認識決定を外骨格システム110に行わせて、外骨格システム110にできるだけ速く応答させることを選択してよい。明確にするために、これらのフィードバック機能のための媒体は、様々な実施形態において、特に重要ではない。フィードバックは、(例えば、外骨格システム110及び/またはユーザデバイス120を介して)セルフォン、パーソナルコンピュータ、リモートコントロール、ウェアラブルコンパニオンコントローラ等を含むが、これらに限らない様々な入力方法を通して、ユーザによって開始できる。さらに、ユーザからの入力は、タッチスクリーン、ボタン、オーディオ入力(例えば、音声コマンド)等、物理的入力を含む様々な形で提供できる。同様に、ユーザに対する提示は、画面、オーディオ出力、触覚フィードバック等を含む様々な適切なインタフェースを用いて様々な適切な形で提供できる。
【0059】
これらの新しいプログラムが外骨格システム110のユーザに新しい相互作用を要求できる方法と同様に、ある実施形態においては、このような新しいプログラムは、開発者またはエンドユーザが、外骨格システム110がどのように動作しているかを理解するのを可能にする開発者またはエンドユーザの新しい相互作用のニーズも導入し得る。一実施形態は、外骨格システム110の性能を関係者に実演するユーザインタフェースを含む。例えば、ユーザインタフェースは、許容される操作の移行を視覚的に表示でき、外骨格システム110が正確な分類の可能性が低いと示した移行を識別できる。他の実施形態は、これらの意図認識分類の精度に関する経時的な情報を含み得る。さらに他の実施形態は、十分な情報がまだ収集されていない特定の操作を識別することを通して、または、意図認識プログラム性能の変化につながり得る外骨格システム110の挙動の変化を識別することによって、意図認識プログラム性能の改良の仕方を洞察できる。
【0060】
他の実施形態は、どのセンサ313が、外骨格システム110の性能に最大の影響を及ぼすかに関して、外骨格システム110の設計者にフィードバックを提供できる。例えば、設計者は、外骨格システム110の移行を可視化し、特定の移行の精度を向上させるよう試みる。ユーザインタフェースは、以前の訓練例において、この分類を向上させることを示した他のセンサ313の追加、または、センサ精度の増強を提案できる。
【0061】
明確にするために、本開示の様々な例は、外骨格システム110の設計及び実施に焦点を当てている。しかしながら、別の例は、ユーザの意図的な挙動を認識する目的のオンボードセンサを使用している広範な装着デバイスに適用される。この具体的な例は、フットウェア、詳細には、アクティブフットウェアの可能性である。アクティブフットウェアにおいては、デバイスが、供えられたセンサを使用して操作者の意図的な挙動を決定し、それによって、統計を報告できる、または、ユーザに合わせて性能特性を適合させることができる。
【0062】
本明細書に記載の方法は、様々な適切な動作環境で採用できる。例えば、実施形態は、外骨格デバイスの周囲に配置されて、動き、回転、加速、向き、温度等を含む、外骨格システム110の様々な状態を感知するように構成された1つまたは複数のセンサ313を含む外骨格システム110を含んでよい。本明細書で論じるように、このような外骨格システム110は、ユーザの1つまたは複数の身体部分に関連付けられてよい。例えば、ある実施形態は、ユーザの脚のみに関連付けられてよく、他の実施形態は、脚、胴、及び、腕と関連付けられてよい。
【0063】
外骨格システム110は、様々な適切な形で外骨格システム110を動かす1つまたは複数のアクチュエータを含み得る。このようなアクチュエータは、流体アクチュエータ(例えば、アクチュエータ305)、電動アクチュエータ等を含み得る。外骨格システム110は、アクチュエータを制御するように動作可能な制御システムも含むことができ、このような制御システムは、センサ及びアクチュエータに動作可能に結合できる。外骨格システム110は、本明細書に記載の方法の少なくとも一部を行うように動作可能なソフトウェアまたはファームウェアと共に、電源、プロセッサ311、及び、メモリ312等の構成要素も含み得る。
【0064】
ある実施形態は、複数の処理レベルを含み得る。例えば、図9は、3つの処理レベルを含む外骨格処理ネットワーク900の一実施形態を示す。ネットワーク900の第1アーキテクチャレベルは、外骨格システム110に、データ収集プロセス910及び分類プログラム実行プロセス920を含むローカル処理要素を含み得る。例えば、データ収集プロセス910は、センサ313から取得したデータを取得及び処理でき(例えば、図3参照)、このような処理済みデータを分類実行プロセス920に送ることができ、分類実行プロセス920は、本明細書で論じる分類プログラムを含み得る分類プログラムを実行する。様々な実施形態は、単一の集中型埋め込みDSP、分散プロセッサセット、バックグラウンド計算プロセス、リアルタイムプロセス等を含むが、これらに限らない様々な方法を通して、外骨格システム110での処理を実施できる。
【0065】
ネットワーク900の第2のアーキテクチャレベルは、ユーザデバイス120等(例えば、図1参照)を含み得る近くの二次処理ユニットを含み得る。ユーザデバイスは、特徴抽出プロセス930を実行でき、特徴抽出プロセス930は、外骨格システム110におけるデータ収集プロセス910からデータを受信し、特徴抽出等を含む行動を行う。本明細書で論じるように、このユーザデバイス120は、ブルートゥース(登録商標)接続等の適切な通信チャネルを通して、外骨格システム110に動作可能に結合できる。この第2の層は、ユーザデバイス120のユーザが監視できる処理ユニット上で動作できる。この第2の層は、セルフォン、パーソナルコンピュータ等を含む、本明細書で論じる様々な適切なユーザデバイス120上で動作できる。
【0066】
第3の処理レベルは、分類サーバ130(例えば、図1及び図2参照)等のネットワークベースの処理システムを含むことができ、ネットワークベースの処理システムは、ユーザデバイス120及び外骨格システム110からリモートにあり、様々な実施形態において、外骨格システム110及びユーザデバイス120のユーザによって直接、制御されない。分類サーバ130の第3の処理レベルは、ラベル導出プロセス940を含むことができ、ラベル導出プロセス940は、ユーザデバイス120での特徴抽出プロセス930からデータを受信し、受信したデータに対してラベル導出を行い得る。ラベル導出プロセス940におけるラベル導出から生じるデータは、分類プログラム更新プロセス950に提供でき、分類プログラム更新プロセス950は、ラベル導出プロセス940によって生成したデータに少なくとも部分的に基づいて、更新された分類プログラムを生成する。分類プログラム更新プロセス950は、更新された分類プログラムデータをユーザデバイス120に送ることができ、ユーザデバイス120は、更新された分類プログラムデータを外骨格システム110の分類プログラム実行プロセス920に送ることができ、外骨格システム110において、分類プログラム実行プロセス920によって実行されている現在の分類プログラムは、受信した更新された分類プログラムデータで実現された更新された分類プログラムと交換されてよい。
【0067】
明確にするために、他の実施形態は、図9に示す処理層の例の態様に、追加、除去、または、再構成を行ってよい。従って、本例は、本開示の範囲及び趣旨内にある広範な代替実施形態を制限すると解釈すべきではない。
【0068】
様々な実施形態は、幾つかの離散型プロセスを含み得る。これらは、データ収集プロセス910、特徴抽出プロセス930、ラベル導出プロセス940、分類プログラム更新プロセス950、分類プログラム実行プロセス920等を含み得る。これら離散型プロセスの例には、図9の例に示すような特定の処理ユニットで実行できるものもあれば、様々な処理レベルで設計、処理できるものもある。例えば、データ収集プロセス910及び分類プログラム実行プロセス920は、ユーザデバイス120で実行でき、他のプロセスは、分類サーバ130または外骨格システム110を含む他の処理レベルにデプロイされる。従って、図9に特定の例を示すが、他の適切なプロセスの構成は、本開示の範囲及び趣旨内にある。
【0069】
本開示の別の態様は、分類プログラム更新の頻度及び配信に関する。多くの実施形態において、分類プログラム更新の値は、改良された分類プログラムの定期的な配信によって提供できる。大抵の従来型の外骨格110のハードウェアに使用される高額の資本コストが原因で、このような提供が推進されている場合が多い。しかしながら、ある実施形態においては、ハードウェアのコストは、最高価値分布方法を変更し得る。この実施形態において、現場にあるデバイスからデータを収集し、次に、分類プログラムを更新するが、新しいバージョンのハードウェアには、更新された分類プログラムのみをデプロイするのが、更新方法にとって、最も有益な場合がある。
【0070】
一実施形態は、デバイスハードウェアとしてフットウェアを使用し得る。この実施形態において、ハードウェア販売業者は、自分たちのビジネスモデルが毎年のモデルの販売に集中するので、更新されたアルゴリズムを使用して、自分たちのフットウェアの新バージョンの適合を進めてよい。この実施形態でも、本明細書に記載の実施形態の特徴を完全に利用できるが、前述の関連特許出願第62/454,575号においては、数か月内に旧くなることが予測される古いハードウェアではなく、新しいハードウェアに教師なし学習を通して訓練した意図分類プログラムをデプロイしている別個のデプロイアーキテクチャを使用できる。
【0071】
図10を参照すると、ユーザ1001が着ているシャツ1020の箇所に配置された複数のアクチュエータ305を含む空気圧式外骨格システム110の一実施形態110Eが示されている。肩アクチュエータ305Sは、ユーザ1001の肩1005の上に位置することが示されている。肘アクチュエータ305Eは、ユーザ1001の肘1003の上に位置している。手首アクチュエータ305Wは、ユーザ1001の手首1004の上に位置している。
【0072】
同様に、図11は、ユーザ1001の脚1101に履いているレギンス1120の箇所に配置された複数のアクチュエータ305を含む空気圧型外筋肉システム110の他の実施形態110Fを示す。膝前部アクチュエータ305KA及び膝後部アクチュエータ305KPが、ユーザ1001の膝1102の前側1102Aと後ろ側1102Pに、それぞれ、位置している。ヒップ前部アクチュエータ305HA及びヒップ後部アクチュエータ305HPが、ユーザ1001のヒップ1103の前側1103Aと後ろ側1103Pに、それぞれ、位置している。足首アクチュエータ305Aは、ユーザ1001の足首1104に位置している。
【0073】
図10及び図11は、別個のトップスーツ110E及びボトムスーツ110Fを示すが、様々な実施形態において、空気圧型外筋肉システム110は、ユーザ1001の身体全体、または、ユーザ1001の身体の一部分をカバーするように構成できる。例えば、空気圧型外筋肉システム110は、フルボディースーツ、アームスリーブ、レッグスリーブ、手袋、ソックス等で実施できる。さらに、アクチュエータ305は、肘103、手首104、肩105、膝1102、ヒップ1103、及び、足首1104に配置されるとして示しているが、これらのアクチュエータ305のいずれか1つまたは複数は、無くてもよい、及び/または、追加のアクチュエータ305が、任意の他の適切な箇所に存在してよい。例えば、アクチュエータ305は、手、足、首、胴等に存在してよい。図12は、ユーザ1001の足首1104に配置された足首アクチュエータ305Aを含む外骨格システム110の実施形態110Gの一例を示す。
【0074】
さらに、本開示は、人間ユーザ1001が装着している空気圧型外筋肉システム110の様々な実施形態を論じているが、別の実施形態においては、空気圧型外筋肉システム110は、人間でないユーザ(例えば、動物)による使用に適合されてよく、または、ロボット等の非生物装置に合わせて適合されてよい。例えば、一実施形態は、身体1001に装着されていないロボットアームでの空気圧型外筋肉システム110及び/または1つまたは複数のアクチュエータ305の使用を含み、これは、ロボットマニピュレータとしても知られる。
【0075】
本開示の実施形態を以下の条項に記載する。
1.ウェアラブル空気圧式外骨格システムであって、
前記空気圧式外骨格を装着しているユーザの身体部分に関連付けられるように構成された複数の空気圧式アクチュエータと、
空気圧流体を前記複数のアクチュエータに導入して前記複数のアクチュエータを作動させるように構成された空気圧システムと、
外骨格コンピューティングデバイスであって、
複数のセンサと、
少なくとも分類プログラムを記憶するメモリと、
前記複数のセンサから取得したセンサデータの前記分類プログラムによって生成された分類に少なくとも部分的に基づいて、前記空気圧システムを制御する前記分類プログラムを実行するプロセッサと、
を含む前記外骨格コンピューティングデバイスと、
を含む、前記ウェアラブル空気圧式外骨格システムと、
前記ウェアラブル空気圧式外骨格に対してローカルにあって、前記ウェアラブル空気圧式外骨格と動作可能に通信するユーザデバイスと、
前記ユーザデバイス及び前記ウェアラブル空気圧式外骨格からリモートにあり、前記ウェアラブル空気圧式外骨格及び前記ユーザデバイスと動作可能に通信する分類サーバと、
を含む、外骨格ネットワークにおいて、
前記外骨格ネットワークは、
前記ウェアラブル空気圧式外骨格が実施している現在の分類プログラムの第1の状態推定値を決定し、
基準分類プログラムの第2の状態推定値を決定し、
前記第1の状態推定値と前記第2の状態推定値との差が分類プログラム交換閾値を超えると決定し、
更新された分類プログラムを生成し、且つ、
前記第1の状態推定値と前記第2の状態推定値との前記差が前記分類プログラム交換閾値を超えると前記決定することに少なくとも部分的に基づいて、前記現在の分類プログラムを前記更新された分類プログラムと交換する、
前記外骨格ネットワーク。
【0076】
2.前記分類サーバと動作可能に通信する複数のウェアラブル空気圧式外骨格システムをさらに含み、前記複数のウェアラブル空気圧式外骨格システムは、それぞれ、
前記空気圧式外骨格を装着しているユーザの身体部分に関連付けられるように構成された複数の空気圧式アクチュエータと、
空気圧流体を前記複数のアクチュエータに導入して前記複数のアクチュエータを作動させるように構成された空気圧システムと、
外骨格コンピューティングデバイスであって、
複数のセンサと、
少なくとも分類プログラムを記憶するメモリと、
前記複数のセンサから取得したセンサデータの前記分類プログラムによる分類に少なくとも部分的に基づいて、前記空気圧システムを制御する前記分類プログラムを実行するプロセッサと、
を含む前記外骨格コンピューティングデバイスと、
を含む、条項1に記載の外骨格ネットワーク。
【0077】
3.前記分類サーバは、第1の精度と第2の精度との精度差が、前記分類プログラム交換閾値より大きいと判定することに少なくとも部分的に基づいて、前記複数の外骨格システムの現在の各分類プログラムを前記更新された分類プログラムと交換する、条項2に記載の外骨格ネットワーク。
【0078】
4.前記分類サーバは、前記更新された分類プログラムを生成する、条項1~3のいずれかに記載の外骨格ネットワーク。
【0079】
5.前記分類サーバは、複数の外骨格システムから受信した分類プログラム性能データに少なくとも部分的に基づいて、前記更新された分類プログラムを生成する、条項4に記載の外骨格ネットワーク。
【0080】
6.外骨格システムであって、
前記外骨格を装着しているユーザの身体部分に関連付けられるように構成された複数のアクチュエータと、
外骨格コンピューティングデバイスであって、
複数のセンサと、
少なくとも分類プログラムを記憶するメモリと、
前記複数のセンサから取得したセンサデータの前記分類プログラムによって生成された分類に少なくとも部分的に基づいて、前記複数のアクチュエータを制御する前記分類プログラムを実行するプロセッサと、
を含む、前記外骨格コンピューティングデバイスと、
を含む、前記外骨格システムにおいて、
前記外骨格システムは、
前記外骨格システムが実施している現在の分類プログラムの第1の状態推定値を決定し、
基準分類プログラムの第2の状態推定値を決定し、
前記第1の状態推定値と前記第2の状態推定値との差が分類プログラム交換閾値より大きいと判定し、
更新された分類プログラムを生成し、且つ、
前記第1の状態推定値と前記第2の状態推定値との前記差が前記分類プログラム交換閾値より大きいと前記決定することに少なくとも部分的に基づいて、前記現在の分類プログラムを前記更新された分類プログラムと交換する、
前記外骨格システム。
【0081】
7.前記外骨格システムは、さらに、
外骨格デバイスのセンサの状態の変化が閾値を超えていることを識別し、
前記外骨格デバイスのセンサの状態の前記識別された変化に少なくとも部分的に基づいて、第2の更新された分類プログラムを生成し、且つ、
前記更新された分類プログラムを前記第2の更新された分類プログラムと交換する、
条項6に記載の外骨格システム。
【0082】
8.前記外骨格システムは、さらに、
外骨格の状態の変化を感知し、
前記外骨格の状態の変化の第1の分類を、前記更新された分類プログラムを用いて決定し、
前記外骨格システムに関連付けられたユーザに前記第1の分類を提示し、
前記提示された第1の分類に関連付けられた分類応答を取得し、
前記分類応答に少なくとも部分的に基づいて、前記分類プログラムを修正する、
条項6または7に記載の外骨格システム。
【0083】
9.前記第1の分類は、前記外骨格システムに関連付けられたディスプレイ画面を介して前記ユーザに提示される、条項8に記載の外骨格システム。
【0084】
10.前記分類応答は、前記外骨格システムに関連付けられたボタンまたはタッチスクリーンを介したユーザ選択から取得される、条項8に記載の外骨格システム。
【0085】
11.前記外骨格システムは、さらに、
前記外骨格の状態変化の前に生じる、以前の外骨格の状態の以前の分類を決定し、
前記以前の分類と前記第1の分類との差が性能差閾値を少なくとも満たすと決定し、且つ、
前記以前の分類と前記第1の分類との前記差が前記性能差閾値を少なくとも満たすと前記決定することに少なくとも部分的に基づいて、前記外骨格システムに関連付けられたユーザに前記第1の分類を提示する、
条項8に記載の外骨格システム。
【0086】
12.外骨格システムを動作させる方法であって、
前記外骨格システムによって実施されている現在の分類プログラムの第1の状態推定値を決定することと、
基準分類プログラムの第2の状態推定値を決定することと、
前記第1の状態推定値と第2の状態推定値との差が分類プログラム交換閾値より大きいと判定することと、
更新された分類プログラムを生成することと、
前記第1の状態推定値と第2の状態推定値との前記差が前記分類プログラム交換閾値より大きいと前記決定することに少なくとも部分的に基づいて、前記現在の分類プログラムを前記更新された分類プログラムと交換することと、
を含む、前記外骨格システムを動作させる方法。
【0087】
13.前記外骨格システムで生成された分類プログラム性能データに少なくとも部分的に基づいて、前記更新された分類プログラムを生成することをさらに含む、条項12の外骨格システムを動作させる方法。
【0088】
14.外骨格の状態変化を感知することと、
前記外骨格の状態変化の第1の分類を前記更新された分類プログラムを用いて決定することと、
をさらに含む、条項12または13の外骨格システムを動作させる方法。
【0089】
15.前記外骨格システムに関連付けられたユーザに前記第1の分類を提示することと、
前記提示された第1の分類に関連付けられた分類応答を取得することと、
前記分類応答に少なくとも部分的に基づいて、前記分類プログラムを修正することと、
をさらに含む、条項14の外骨格システムを動作させる方法。
【0090】
16.前記第1の分類は、歩く、立つ、走る、ジャンプする、しゃがむ、階段を上る、階段を下りる、着地する、向きを変える、座る、掴む、または、手を伸ばす、ことのうちの少なくとも1つを含む、条項14の外骨格システムを動作させる方法。
【0091】
17.前記分類は、前記外骨格システムに関連付けられた複数のセンサから取得したセンサデータに少なくとも部分的に基づく、条項16の外骨格システムを動作させる方法。
【0092】
18.前記複数のセンサは、それぞれ、前記外骨格システムのアクチュエータのセットに関連付けられる、条項17の外骨格システムを動作させる方法。
【0093】
19.前記現在の分類プログラムと前記更新された分類プログラムとは、サポートベクターマシン、ニューラルネットワーク、線形判別分析、二次判別分析、動的ベイズネット、または、隠れマルコフモデルのうちの少なくとも1つを含む、条項14の外骨格システムを動作させる方法。
【0094】
20.ユーザから受信した入力に少なくとも部分的に基づいて、前記更新された分類プログラムの適合のスピードを変更することをさらに含む、条項14の外骨格システムを動作させ方法。
【0095】
記載の実施形態は、様々な修正及び代替形態を受け入れてよく、実施形態の特定の例を、例として、図に示し、本明細書に詳細に記載した。しかしながら、記載した実施形態は、開示した具体的な形態及び方法に制限されず、逆に、本開示は、全ての修正、均等、代替の形態を含むことを理解されたい。
【0096】
記載の実施形態は、様々な修正及び代替形態を受け入れてよく、実施形態の特定の例を、例として、図に示し、本明細書に詳細に記載した。しかしながら、記載した実施形態は、開示した具体的な形態及び方法に制限されず、逆に、本開示は、全ての修正、均等、代替の形態を含むことを理解されたい。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12