2022-501697 文脈依存性ユーザインタフェースを備えた筋電位（ＥＭＧ）支援通信デバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2022-501697(P2022-501697A)

(43)【公表日】2022年1月6日

(54)【発明の名称】文脈依存性ユーザインタフェースを備えた筋電位（ＥＭＧ）支援通信デバイス

(51)【国際特許分類】

   G06F 3/01 20060101AFI20211210BHJP

   A61B 5/24 20210101ALI20211210BHJP

   A61B 5/389 20210101ALI20211210BHJP

   A61B 5/11 20060101ALI20211210BHJP

   A61B 5/00 20060101ALI20211210BHJP

   A63F 13/212 20140101ALN20211210BHJP

   A63F 13/42 20140101ALN20211210BHJP

【ＦＩ】

   G06F3/01 515

   A61B5/04 A

   A61B5/04 330

   A61B5/11 200

   A61B5/00 G

   A63F13/212

   A63F13/42

【審査請求】有

【予備審査請求】未請求

【全頁数】47

(21)【出願番号】特願2021-509943(P2021-509943)

(86)(22)【出願日】2018年11月16日

(85)【翻訳文提出日】2020年10月27日

(86)【国際出願番号】US2018061525

(87)【国際公開番号】WO2019099831

(87)【国際公開日】20190523

(31)【優先権主張番号】62/587,356

(32)【優先日】2017年11月16日

(33)【優先権主張国】US

(31)【優先権主張番号】62/737,070

(32)【優先日】2018年9月26日

(33)【優先権主張国】US

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

２．ＢＬＵＥＴＯＯＴＨ

３．ＺＩＧＢＥＥ

(71)【出願人】

【識別番号】520421190

【氏名又は名称】コントロール バイオニクス ホールディングス ピーティーワイ リミテッド

(74)【代理人】

【識別番号】100138760

【弁理士】

【氏名又は名称】森 智香子

(72)【発明者】

【氏名】ショーリー、ジェームス イー．

(72)【発明者】

【氏名】フォード、ピーター エス．

(72)【発明者】

【氏名】ウォング、ロバート ダブリュー．

【テーマコード（参考）】

4C038

4C117

4C127

5E555

【Ｆターム（参考）】

4C038VA04

4C038VB34

4C038VB35

4C038VC20

4C117XB15

4C117XC11

4C117XE17

4C117XE18

4C117XE19

4C117XH16

4C117XJ13

4C117XL01

4C127AA02

4C127AA03

4C127AA04

4C127AA06

5E555AA13

5E555AA48

5E555BA02

5E555BA08

5E555BA22

5E555BA38

5E555BA82

5E555BB02

5E555BB08

5E555BB22

5E555BB38

5E555BC07

5E555BC19

5E555BE08

5E555CA44

5E555CB44

5E555CB61

5E555CB69

5E555CB78

5E555CB80

5E555CC01

5E555CC03

5E555DB41

5E555EA27

5E555FA00

(57)【要約】

あるシステムが、生体電気信号センサのセットおよび、生体電気電極のセットからの１つ以上の生体電気信号を監視する機能性を提供するユーザインタフェースと通信状態にあるプロセッサを含む。プロセッサは、（ｉ）静止閾値と（ｉｉ）静止閾値よりも大きいスイッチ閾値とのうちの選択された一方を、生体電気信号のトレンドに少なくとも部分的に基づいて自動的に調整する。プロセッサは、生体電気信号の振幅が静止閾値未満であるか決定する。振幅が静止閾値未満であるとの決定に応答して、プロセッサは、生体電気信号の振幅が次いでスイッチ閾値以上であるかを決定する。生体電気信号がスイッチ閾値よりも大きいとの決定に応答して、プロセッサは、ユーザインタフェースデバイスをスイッチ信号でトリガする。本開示は、人間のユーザのアクティビティに関連する情報システムからのコンテンツの選択および提示のための一連の動的ワークフローを可能とする様々な技法および構成を例示する。本明細書に記載するようなＮｅｕｒｏＮｏｄｅで使用される動的ワークフローは、ユーザインタフェースおよびユーザ通信プラットフォームの統合を可能として、ユーザおよび他者ならびに関連するアクションとの間の関連し、かつタイムリーな通信を達成する。本明細書に記載する動的ワークフローはさらに、ソーシャルネットワークおよび携帯可能通信媒体と統合されて、様々な設定においてユーザに対してコンテンツのさらなる利用可能性および送信を提供し得る。

【特許請求の範囲】

【請求項1】

ユーザに設置された電極のセットからの生体電気信号を監視することと、
（ｉ）静止閾値と（ｉｉ）前記静止閾値よりも大きいスイッチ閾値とのうちの選択された一方を前記生体電気信号のトレンドに少なくとも部分的に基づいて自動的に調整することと、
前記生体電気信号の振幅が前記静止閾値未満であるかを決定することと、
前記振幅が前記静止閾値未満であると決定されたことに応答して、前記生体電気信号の振幅がその後に前記スイッチ閾値以上であるかを決定することと、
前記生体電気信号が前記スイッチ閾値よりも大きいと決定されたことに応答して、デバイスをスイッチ信号でトリガすることとを含む、方法。

【請求項2】

前記ユーザに取り付けられた運動センサを監視することをさらに含み、前記デバイスを前記スイッチ信号でトリガすることは、前記生体電気信号と同時に前記運動センサにより感知された運動信号が痙攣閾値未満であると決定されたことにさらに応答する、請求項１に記載の方法。

【請求項3】

文脈トリガ条件が存在するかを、前記デバイスにより決定することと、
前記文脈トリガ条件が存在することが決定されたことに応答して、前記文脈トリガ条件と関連付けられたアプリケーションを前記ユーザに提示することと、
前記アプリケーションを前記スイッチ信号で制御することとをさらに含む、請求項１に記載の方法。

【請求項4】

前記文脈トリガ条件は経時的事象である、請求項３に記載の方法。

【請求項5】

前記文脈トリガ条件は周囲環境事象を含み、前記アプリケーションは環境制御インタフェースを含む、請求項３に記載の方法。

【請求項6】

前記文脈トリガ条件は検出された第三者近接事象であり、前記アプリケーションはヒューマン通信アプリケーションを含む、請求項３に記載の方法。

【請求項7】

ユーザに取り付けられた生体電気電極のセットと、
ユーザインタフェースデバイスと、
生体電気センサのセットおよび前記ユーザインタフェースデバイスと通信状態にあるプロセッサであって、
前記生体電気電極のセットからの生体電気信号を監視することと、
（ｉ）静止閾値と（ｉｉ）前記静止閾値よりも大きいスイッチ閾値とのうちの選択された一方を前記生体電気信号のトレンドに少なくとも部分的に基づいて自動的に調整することと、
前記生体電気信号の振幅が前記静止閾値未満であるかを決定することと、
前記振幅が前記静止閾値未満であると決定されたことに応答して、前記生体電気信号の振幅がその後に前記スイッチ閾値以上であるかを決定することと、
前記生体電気信号が前記スイッチ閾値よりも大きいと決定されたことに応答して、前記ユーザインタフェースデバイスをスイッチ信号でトリガすることとを実施する機能性を投影するプロセッサとを備える、システム。

【請求項8】

前記ユーザに取り付けられた能動型センサを監視することをさらに含み、前記デバイスを前記スイッチ信号でトリガすることは、前記生体電気信号と同時に前記運動センサにより感知された運動信号が痙攣閾値未満であると決定されたことにさらに応答する、請求項７に記載のシステム。

【請求項9】

文脈トリガ条件が存在するかを、前記デバイスにより決定することと、
前記文脈トリガ条件が存在することが決定されたことに応答して、前記文脈トリガ条件と関連付けられたアプリケーションを前記ユーザに提示することと、
前記アプリケーションを前記スイッチ信号で制御することとをさらに含む、請求項７に記載のシステム。

【請求項10】

前記文脈トリガ条件は経時的事象を含む、請求項９に記載のシステム。

【請求項11】

前記文脈トリガ条件は周囲環境事象を含み、前記アプリケーションは環境制御インタフェースを含む、請求項９に記載のシステム。

【請求項12】

前記文脈トリガ条件は検出された第三者近接事象を含み、前記アプリケーションはヒューマン通信アプリケーションを含む、請求項９に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本出願は、２０１７年１１月１６日に「筋電位（ＥＭＧ）支援通信デバイス」の名称で出願された米国仮特許出願第６２／５８７，３５６号および２０１８年９月２６日に「筋電位（ＥＭＧ）支援通信デバイス」の名称で出願された米国仮特許出願第６２／７３７，０７０号の優先権を主張するものであり、その全体が参照により本願明細書に組み込まれる。

【0002】

本発明は、概して生体電気スイッチコントロール、より詳細には、人工知能インタフェースを有する筋電位ベースのスイッチシステムに関する。

【背景技術】

【0003】

様々なタイプの損傷および病気に罹患すると、様々な種類のユーザインタフェースを制御する能力を制限することがある。このような状態は、Ｌｏｕ Ｇｅｈｒｉｇ病としても知られる筋萎縮性側索硬化症（ＡＬＳ）、運動ニューロン病（ＭＮＤ）、脊髄損傷（ＳＣＩ）または脳性麻痺（ＣＰ）を含む。これらの個人のすべてではないが一部に対しては、ある程度の制御を提供することができる代替的／拡張的通信（ＡＡＣ）技術が、次第に利用可能となっている。特に、ある程度の制御が、眼追跡デバイス、ブローチューブ、顔起動式トグルスイッチなどにより提供される。しかしながら、このような代替的／拡張的通信(ＡＡＣ)技術を使用するための十分な制御可能運動を欠いている個人もいる。支援技術（ＡＴ）マーケットのデバイスは、時が経つうちにユーザの能力に適応しなくなる。数ヶ月のうちに、例えばＡＬＳ患者は、デバイスが最初に採用されたときには利用可能であった音声と運動の制御を失いかねない。単一のセッション中に疲労のために運動能力の著しい低下を経験し得るユーザもいる。

【0004】

代替的／拡張的通信(ＡＡＣ)を使用することができる人々の数を拡大しようとする試行は、生体電気信号の使用を含む。運動単位は、１つの運動ニューロンと、１つの運動ニューロンが刺激するすべての筋繊維と定義される。運動単位が始動するとき、インパルス（活動電位と呼ばれる）が、運動ニューロンを伝って筋肉に到達する。神経が筋肉に接触する領域は、神経筋接合部または運動終板と呼ばれる。活動電位が神経筋接合部を横断して送信された後、活動電位は、その特定の運動単位の刺激された筋繊維のすべての中で誘導される。複数の運動単位からのこの電気的アクティビティのすべての和、すなわち筋電図検査中に一般的に評価された信号は、運動単位活動電位（ＭＵＡＰ）として知られる。この電気生理学的アクティビティは、筋肉応答または筋肉に対する神経の刺激に応答する電気的アクティビティを測定する。運動単位、運動単位毎の筋繊維の数、筋繊維の新陳代謝タイプおよび他の多くの要因が、筋運動図内の運動単位電位の形状に影響する。

【0005】

生体電気信号を使用するための一般的に周知のシステムは労働集約的であり、使用可能なシステムを提供するためには、訓練された臨床医による多大なセットアップ時間と、頻繁な調整とを必要とする。各々の個人が、別のヒトと比較して著しく異なる範囲の生体電気信号を有することがある。同一のヒトでも、そのヒトが疲れるに連れて、生体電気信号の特徴が広範囲にわたって変動することがある。そのうえ、特定の個人が、誤ったスイッチ信号につながり得る不随意に起きる痙攣を含む複雑な応答を有することがある。

【発明の概要】

【0006】

一態様においては、本開示は、ユーザ上に設置された電極のセットからの生体電気信号を監視することを含む方法を提供する。方法は、（ｉ）静止閾値と、（ｉｉ）静止閾値よりも大きいスイッチ閾値とのうちの選択された一方または両方を、少なくとも部分的に生体電気信号のトレンドに基づいて自動的に調整することを含む。生体電気信号の振幅が静止閾値未満であるかを決定する。振幅が静止閾値未満であるとの決定に応答して、生体電気信号の振幅がその後にスイッチ閾値以上であるかをさらに決定する。生体電気信号がスイッチ閾値よりも大きいという決定に応答して、方法はスイッチ信号によりデバイスをトリガすることを含む。

【0007】

別の態様においては、本開示は、生体電気センサのセットと通信状態にあるプロセッサと、ユーザインタフェースとを含むシステムを提供する。プロセッサは、生体電気電極のセットからの生体電気信号を監視する機能性を提供する。プロセッサは、（ｉ）静止閾値と、（ｉｉ）静止閾値よりも大きいスイッチ閾値とのうちの選択された一方または両方を、少なくとも部分的に生体電気信号のトレンドに基づいて自動的に調整する。プロセッサは、生体電気信号の振幅が静止閾値未満であるかを決定する。振幅が静止閾値未満であるとの決定に応答して、プロセッサは、生体電気信号の振幅がその後にスイッチ閾値以上であるかを決定する。生体電気信号がスイッチ閾値よりも大きいという決定に応答して、プロセッサは、スイッチ信号によりユーザインタフェースデバイスをトリガすることを含む。

【0008】

別の態様においては、本開示は、人間のユーザのアクティビティに関連する情報システムからのコンテンツの選択および提示のための一連の動的ワークフローを可能とする様々な技法および構成を例示する。本明細書に記載するようなＮｅｕｒｏＮｏｄｅで使用される動的ワークフローは、ユーザインタフェースと、ユーザ通信プラットフォームとの統合を可能として、ユーザおよび他者ならびに関連アクションとの間の関連性があり、タイムリーな通信を達成する。本明細書に記載する動的ワークフローはさらに、ソーシャルネットワークおよび携帯可能通信媒体と統合されて、様々な設定において、ユーザに対して、コンテンツの追加の利用可能性および送信を提供する。

【0009】

上記の概要は、詳細の単純化、一般化および省略を含んでおり、特許請求される主題の包括的な記述を意図することはなく、むしろこれと関連付けられた機能性のうちのいくつかのそれの概要を提供することを意図するものである。特許請求される主題の他のシステム、方法、機能性、特徴および利点は、次の図面および詳細な明細書を検討すれば当業者には明らかであるか、または明らかになるであろう。

【図面の簡単な説明】

【0010】

例示的な実施形態の説明は、添付図面とともに読むことが可能である。例示の簡潔さおよび明瞭さのために、例示される要素は必ずしも一定の比率に拡大して描かれてはいないことが理解されるであろう。例えば、要素のうちのいくつかの寸法は、他の要素に対して誇張されている。本開示の教示を組み込んだ実施形態は、以下に示す本明細書に提示する図面を参照して示し、かつ説明する。

【0011】

【図1】1つ以上の実施形態による、ユーザがユーザインタフェースなどのデバイスを制御することを可能とするＮｅｕｒｏＮｏｄｅシステム１００の図である。

【0012】

【図2】1つ以上の実施形態による、ユーザが随意に生成した代表的な生体電気信号のグラフである。

【0013】

【図3】1つ以上の実施形態による、生体電気監視によりデバイスを制御する方法を例示するフロー図である。

【0014】

【図4】1つ以上の実施形態による、ＮｅｕｒｏＮｏｄｅデバイスの例を示す機能ブロック図である。

【0015】

【図5】1つ以上の実施形態による、ユーザの胴上に設置され、かつ、電極以外が取り外されたノードにインタフェースされたＮｅｕｒｏＮｏｄｅを例示する正面図である。

【0016】

【図6】1つ以上の実施形態による、筋電位（ＥＭＧ）トレースを提示しているユーザインタフェースデバイスを有するユーザデバイス６００を例示する正面図である。

【0017】

【図7】1つ以上の実施形態による、バッテリを持つ外側筐体を有する例となるＮｅｕｒｏＮｏｄｅデバイスを例示する等角図である。

【0018】

【図8】1つ以上の実施形態による、バッテリを持つ外側筐体を有する例となるＮｅｕｒｏＮｏｄｅデバイスの平面図である。

【0019】

【図9】1つ以上の実施形態による、バッテリコンパートメントを持つ外側筐体を有する例となるＮｅｕｒｏＮｏｄｅデバイスを例示する側断面図である。

【0020】

【図10】1つ以上の実施形態による、バッテリドアが外側筐体から取り外されたＮｅｕｒｏＮｏｄｅデバイスを例示する等角図である。

【0021】

【図11】1つ以上の実施形態による、ＮｅｕｒｏＮｏｄｅデバイスに簡易に直接的に取り付けることができる３つのスナップコネクタを持つ単一の接着性のディスクを例示する正面図である。

【0022】

【図12】1つ以上の実施形態による、確実なＥＭＧ信号の取得および送信のための剥がしタブを持つ３つの個々にゲル化された電極のセットの例を例示する正面図である。

【0023】

【図13】1つ以上の実施形態による、小型化された基板上の３つの個々にゲル化された電極のセットの例を例示する正面図である。

【0024】

【図14】1つ以上の実施形態による、ＮｅｕｒｏＮｏｄｅコントローラアプリケーションが示されたユーザインタフェースを有するｉＯＳデバイスなどのユーザデバイスを例示する正面図である。

【0025】

【図15】1つ以上の実施形態による、メインメニューモードにあるＮｅｕｒｏＮｏｄｅコントローラアプリケーションを例示する正面図である。

【0026】

【図16】1つ以上の実施形態による、グラフ設定モードにあるＮｅｕｒｏＮｏｄｅコントローラアプリケーションを例示する正面図である。

【0027】

【図17】1つ以上の実施形態による、ＮｅｕｒｏＮｏｄｅシステムに対する人工知能（ＡＩ）インタフェースとしての文脈依存性メイン通信パネルを例示する画面図である。

【0028】

【図18】1つ以上の実施形態による、お気に入りアイコンのユーザ選択により起動されるお気に入り通信パネルを例示する画面図である。

【0029】

【図19】1つ以上の実施形態による、文脈駆動型ユーザインタフェースパネルを例示する画面図である。

【詳細な説明】

【0030】

以下に説明する本発明の実施形態は、次の詳細な説明に開示される厳密な形態に尽きることや本発明を限定することを意図しない。むしろ、実施形態は、他の当業者が本発明の原理および手法を評価し、理解し得るように選定し、説明される。

【0031】

以上、本発明の原理を組み込んだ例示的な実施形態について開示してきたが、本発明は開示された実施形態に限定されない。むしろ、本出願は、本発明の一般的原理を使用した本発明のあらゆる変形、使用または適応を包含することを意図している。さらに、本出願は、本発明が関係し、添付の請求項の範囲内にある当技術分野で既知であるか一般的な方法に該当するような本開示からのかかる逸脱をカバーすることを意図している。

【0032】

本明細書内で用いられる「クライアントアプリケーション」という用語は、クライアントコンピューティングデバイス上で実行されるアプリケーションのことである。クライアントアプリケーションは、Ｃ、Ｃ＋＋、Ｃ＃、Ｊ２ＭＥ、Ｊａｖａ、ＡＳＰ．Ｎｅｔ、ＶＢ．Ｎｅｔなどの様々な言語のうちの１つ以上の言語で書かれ得る。ブラウザ、電子メールクライアント、テキストメッセージングクライアント、カレンダおよびゲームは、クライアントアプリケーションの例である。モバイルクライアントアプリケーションとは、モバイルデバイス上で実行されるクライアントアプリケーションのことである。本明細書で用いられる「ネットワークアプリケーション」という用語は、ネットワークを介して少なくとも１つの他の構成要素と、直接的または間接的に通信するコンピュータベースのアプリケーションのことである。ウェブサイト、電子メールサービス、メッセージングサーバおよびゲームサーバは、ネットワークアプリケーションの例である。

【0033】

本明細書で利用される「構成要素」、「コンピュータ構成要素」、「システム」、「クライアント」などの用語は、コンピュータ関連エンティティ、ハードウェア、ソフトウェア（例えば、実行中のそれ）、ファームウェアまたはこれらの組み合わせをことである。例えば、構成要素は、プロセッサで実行されるプロセス、オブジェクト、実行可能なもの、プログラム、関数、ライブラリ、サブルーチン、コンピュータまたはソフトウェアおよびハードウェアの組み合わせであることが可能である。例示目的で、サーバ上で実行されるアプリケーションとサーバとの両方を、構成要素とすることができる。１つ以上のコンピュータ構成要素が、様々な実施形態においてサーバ上に常駐し、サーバは、複数のコンピュータ構成要素から成ることができる。１つ以上のコンピュータ構成要素が、いくつかの場合においては、１つ以上のコンピュータ構成要素が協働してなんらかの機能性を実現するコンピュータシステムと呼ばれる。１つ以上のコンピュータ構成要素は、実行のプロセスまたはスレッド内に常駐することができ、コンピュータ構成要素を、１つのコンピュータ上でローカライズするまたは２つ以上のコンピュータ間で分散させることもできる。

【0034】

本明細書で使用される「コントローラ」という用語は、ユーザデバイス（すなわち、制御されるまたは影響されるシステム）に影響するように適用された方法、プロセスまたはコンピュータ構成要素を示す。

【0035】

本明細書で使用される「電極」という用語は、電位を記録したり印加したりすることを可能とする筋肉または神経に対する動作可能な接続部を意味する。電極のロケーションは、内部、外部もしくは経皮的であってもよい。電極は電気的な特徴、又は、他の特徴を記録してもよく、すなわちユニポーラ、バイポーラ、ラプラシアン、磁気的もしくは光学的であってもよい。内部電極の場合には、その位置は、筋肉内、筋肉外又は神経であってもよい。

【0036】

「電子デバイス」という用語は、マイクロプロセッサを有することができ、通信することができる任意のデバイスを指定するために使用される。マイクロプロセッサは、１つ以上のプロセッサ、メモリおよびプログラム可能な入力／出力周辺機器を含むことができる。コントローラは、１つ以上のマイクロプロセッサおよび／または、電子デバイスを制御するまたはこれと通信することに役立つことができる命令を持ったメモリを含むことができる。

【0037】

本明細書で使用される「関数」という用語を使用して１つの変数またはパラメータと第二変数またはパラメータとの間の関係を記述するとき、そう記述された関係は、明白に述べられない限り排他的な関係とは見なされ得ず、むしろ言及または記述されていないが当業者にとっては知られた他の変数またはパラメータはまた、第二変数またはパラメータに対して関数関係を有し得る。例として、ｘをｙの関数として記述する場合、明らかに述べられていない限り、ステートメントはｘの値をｙにより記述されることにのみ限定することを意図せず、むしろ変数ｘはまた、他の変数の関数であり得る（例えば、ｘ＝ｆ（ｙ，ｔ））。

【0038】

「知的エージェント」は、タスクを実施し、かつ、目的を実現するアクティビティを指示する自律的なコンピュータプログラムである。知的知的エージェントは、環境、人間および／またはデータソースから知識を学習または使用して、その目的を実現し得る。「知的エージェント」はまた、「アシスタント」および／または「アドミニストレータ」と呼ばれ得る。「アダプティブ」は、知的エージェントが、ルールに基づいて判断するまたは、利用可能になる新しい情報に基づいてルールを修正することができることを意味する。

【0039】

本明細書で使用される「不揮発性メモリ」、「ＮＶＭ」または「不揮発性ストレージ」という用語は、電源スイッチを切ってすぐに入れなおした後でさえも、記憶された情報を取り出すことができるタイプのコンピュータメモリを意味する。これに対して、揮発性メモリは、データを保持するためには一定の電力を必要とする。不揮発性メモリの例は、リードオンリーメモリ、フラッシュメモリ、強誘電体ＲＡＭ、ほとんどのタイプの磁気コンピュータストレージデバイス（例えば、ハードディスクドライブ、ソリッドステートドライブ、フロッピディスクおよび磁気テープ）、光ディスクならびに、紙テープおよびさん孔カードなどの初期のコンピュータストレージ方法を含む。不揮発性メモリは、従来の不揮発性ディスクストレージ、または不揮発性メモリチップ内のストレージ、例えばＥＥＰＲＯＭ、ＳＳＤ、ＮＡＮＤなどと分類することができる。

【0040】

「動作可能接続部」は、信号または実際の通信フローもしくは論理通信フローを送信または受信し得るものである。通常は、動作可能接続部は、物理的インタフェース、電気的インタフェースまたはデータインタフェースを含むが、動作可能接続部は、これらのタイプまたは動作可能な制御を可能とするに十分な他のタイプの異なる組み合わせから成し得ることが分かる。

【0041】

「プロセッサ」という用語は、概して、コンピュータシステムの処理ユニットなどのハードウェア構成要素のことであると理解される。

【0042】

本明細書で使用される「センサ」という用語は、信号を取得して、取得した信号をアナログドメイン、デジタルドメインまたは両方で処理するように構成された１つ以上の電極またはセンサ電子装置（例えば、プロセッサまたは他の回路内にある）を含み得る。センサは、電極パッドなどの共通の構造中に組み込まれた電極と、関連付けられたセンサ電子装置とを含み得る、または、例えば導電性のトレース、ワイヤ、ケーブルなどの導電性の構造を使用して、遠く離れて位置決めされた（例えば、ユーザまたは衣服上の別のロケーションに位置決めされた）プロセッサまたは他の回路に結合された電極などの互いから遠く離れて配置された電極およびセンサ電子装置を含み得る。生体電位センサは、筋電位（ＥＭＧ）センサ、ＥＣＧセンサ、呼吸、電気皮膚反応（ＧＳＲ）または他のものを含み得るが、これに限定されない。他のタイプのセンサも、本明細書に記載するデバイスに組み込まれ得る。これらのセンサは、加速度計（単軸または多軸）、ＧＰＳセンサ、電気皮膚反応（ＧＳＲ）、生体インピーダンス、ジャイロスコープ、曲げ角度測定（フレックス）センサ（１つの関節角度または複数の関節角度を測定するためのもの）などを含み得るが、これに限定されない。

【0043】

本明細書で使用される「信号」という用語は、電気的、光学的もしくはその他の形態で存在する、メモリもしくはレジスタ内の電位、電流、磁場、光学場もしくはデジタル値などの連続した波形または離散値の形態を取り得る。

【0044】

本明細書で使用される「状態」という用語は、ある固有の組み合わせの特定のシステムの特徴を定義する変数のセットのことである。１つの非制限的な例においては、単一の軸、ヒンジされた関節の状態は、現在の角度、角速度および角加速度から成るベクトルとして表現される。他の態様においては、あるシステムの状態は、別様では測定不可能または実際には観察不可能な値を含む。

【0045】

本革新は、設定されたパラメータに基づいてオン／オフからスイッチし、多種多様な電子デバイスのうちの一つを制御するコントローラを提供する。プロトタイプの制御デバイスは、（ａ）筋電位（ＥＭＧ）センサおよび（ｂ）加速度計を含む。１つ以上の実施形態においては、制御デバイスは、センサのうちの一つしか利用することができない。ＥＭＧセンサは、電極を介して収集された筋肉内の随意電位を感知することができる。例えば、随意電気信号は、筋肉を不完全に刺激し、そのため筋肉の収縮、特に物理的に明らかな収縮を引き起こすのに十分な運動単位をトリガする能力を有しない場合がある。しかしながら、筋肉内の運動単位のサブ機能的なこの起動の結果として、測定可能な筋電位（ＥＭＧ）信号を生じる。

【0046】

１つ以上の実施形態において、デバイスは、１つ以上のセンサからデータ入力を受信する。１つ以上の実施形態は、標準的な心電図（ＥＫＧ）電極を利用することができる。デバイスは、複数の断片または単一の製品とすることができる。電極は、ユニット本体に直接的に取り付けたり、無線で結合したり、リード線で接続したりすることができる。近接センサ、光検出器、ホール効果センサ、無線周波数識別子（ＲＦＩＤ）センサ、生物医学センサ（筋電図検査、湿度センサ、流体センサ、温度センサ、皮膚電気アクティビティセンサ、化学的存在センサ、生物学的存在センサ、音センサ、振動センサおよびｐＨレベルセンサ）、圧力センサまたはフレックスセンサなどの機械的力を感知し得る力センサなどの他のセンサもシステム内で利用し得る。

【0047】

１つ以上の実施形態において、センサは、患者のアクティビティ（例えば、患者の運動または患者の姿勢の遷移）を示す信号を生成するアクティビティセンサとすることができる。例えば、アクティビティセンサは、三次元で静的な方位またはベクトルを検出することが可能な１つ以上の単軸、２軸または３軸の加速度計などの１つ以上の加速度計を含み得る。ある例となる加速度計は、マイクロ電子機械的加速度計である。他の例においては、アクティビティセンサは、代替的にまたは追加的に、１つ以上のジャイロスコープ、圧力トランスデューサ、圧電結晶、または患者のアクティビティの関数として変化する信号を生成する他のセンサを含み得る。いくつかの例においては、患者のアクティビティはまた、筋肉の運動を示す電気信号を生成する１つ以上のＥＭＧセンサまたは、患者の姿勢の変化もしくは患者のアクティビティレベルの変化の結果として生じ得る頭蓋骨内の圧力の変化を示す１つ以上の頭蓋内圧力センサを介して検出され得る。

【0048】

１つ以上の実施形態においては、随意電位は、論理制御信号としてコントローラにより使用される。論理制御またはトリガコマンドは、デジタル論理またはオン／オフ信号に似ている。随意電位の場合、オン／オフ信号は、ユーザが随意電位を印加したら、状態を変更するように調整される。

【0049】

プロセスに対する初期ステップのうちの一つは、ユーザのどの筋肉と神経とがいまだユーザにより制御されているか、かつ随意電気信号を生成することが可能であるかを識別することである。ユーザが、測定可能であるが、それでもサブ機能的な随意電位を生成することができる筋肉と神経とを識別するための初期マッピングプロセスを、神経コントローラを様々なユーザに調整するための初期開始点とすることができる。

【0050】

ＮｅｕｒｏＮｏｄｅは、身体の生体電気ＥＭＧ信号を使用して、コンピュータを完全に制御して、音声を生成し、ウェブをブラウズし、音楽を聞く以上のことをする。１つ以上の実施形態においては、本革新は、生体電気信号を使用するデバイスを制御するのに困難を有するユーザの特定のニーズに対処する。ある患者、例えば、脳性麻痺（ＣＰ）がある患者は痙攣という症状があるのだが、この痙攣は、スイッチとして意図されたものか、痙攣かを区別することは困難である。痙攣は、ほとんどの場合、粗大運動を伴う。加速度計データを使用することにより、この粗大運動を認識し、たとえＥＭＧアクティビティがスイッチとみなした場合であっても、スイッチとして機能するのを許可しないという用途に用いることができる。加速度計データのフィルタリングを、ｘ、ｙ、ｚの離散データのなんらかの組み合わせによるものとすることができる、またはアルゴリズムを、ｘ、ｙ、ｚの単なる積によるものとすることができる、すなわち、ｘ、ｙ、ｚの積は、ユーザが選択した制限より大きい場合には、スイッチを許容しない。

【0051】

本発明は、豊富な機能性、利便性、フレキシビリティおよび容易性をユーザに適用するようにソフトウェアアルゴリズムに変換することができるユーザインタフェースの概念、原理および技法を提供する。さらに、開示する概念／原理／技法は、ジェスチャ認識アルゴリズムのより容易な実現に導くことができる。注意して頂きたいことは、これらの概念、技法および原理は、ここ以外に記載するコントローラと、ユーザの頭／顔／身体の動き、顔の表情およびジェスチャを追跡して任意の電子デバイスを制御してこれと通信することができる他の任意のデバイスとで使用することができる。さらに、本明細書に記載するユーザインタフェース概念を使用して、コントローラとは区別可能な電子デバイスを制御するだけではなく、コントローラおよび／または制御システム自身をも制御することができる。簡潔さという目的のために、本書の残りの部分では、「コントローラ」という用語を、「制御システム」も含むものとして使用する。さらに、コントローラ自身が電子デバイスであることもある。したがって、「電子デバイスを制御する／通信する」という任意の言及はまた、コントローラ自身を制御する／通信することを含むことができる。

【0052】

開示する技術の実施形態は、ユーザの意図を検出するインタフェースを通じて人間の確実で迅速な通信を提供する。開示する技術の実施形態は、深刻な発話障害、運動障害などがある患者が、タイプ目的でコンピュータシステムとインタフェースして、対面状況においておよびインターネットのチャット、電子メールもしくは電話（テキストから音声への変換を介して）などのリモート環境において、パートナーとシームレスで自然な通信を確立して維持することを可能とする。くわえて、実施形態はまた、想定ユーザの人たちが、インターネット上で入手可能な情報にコンピュータを通じてアクセスすることを可能とする。ある実施形態においては、健康な人間はまた、様々な目的に対する提案されたインタフェースを利用し得る。

【0053】

本発明のシステムおよび方法は適合可能であり、いくつかの実施形態においては、複数の用途向けの追加のセンサを含むことができる。いくつかの実施形態においては、本発明のシステムおよび方法は、例えば、これに限定されないが、眼電図（ＥＯＧ）、マイクロフォン、加速度計、ジャイロスコープ、小型カメラおよび流量センサおよび／または圧力センサ、ならびに口蓋との舌の接触、筋肉の運動および／またはアクティビティおよび脳のアクティビティを検出するための電気口蓋造影、筋電図検査（ＥＭＧ）および脳波検査（ＥＥＧ）の電極アレイと統合することができる。

【0054】

本開示は、ユーザのロケーションおよび文脈ならびに他のリソースを利用して、ａ）現行の状況に順応し、ｂ）高リスクの状況を防止し、および／またはｃ）状況に応じて、これを管理するシステムおよび方法の様々な典型的な実施形態を含む。様々な実施形態は、そのユーザの状態、動機および使用法に固有のユーザ関連データを収集し、集約し、分析することを含む。そのようなデータ／情報は、これに限定されないが、スマートフォン、タブレット、コンピュータ、ＰＤＡ、ウェアラブル（Ｆｉｔｂｉｔなどの人間に装着されるデータ収集デバイスなど）、インプラント、Ｇｏｏｇｌｅ ＧＬＡＳＳなどのパーソナルデバイス、セキュリティ／ビデオカメラ、スマートデバイス（例えば、スマートな家庭関連センサなど）、近隣ユーザのクラウドソースデータ収集アプリケーション、建物／商店／オフィスのＷｉ−Ｆｉネットワーク、ロケーション反応性ビーコンなどの近隣センサもしくはデバイスおよび／または道路交通センサ、公共ビデオカメラもしくは広告看板ディスプレイ、気象データ収集センサ、法律執行／セキュリティ関連デバイスなどの拡大されたデータ収集機構含む多種多様なセンサおよび他のデータソースから収集することができる。

【0055】

１つ以上の実施形態においては、ある例となる通信ネットワークは、ユーザのロケーションおよび／または文脈を監視するように構成された複数の異質の、異種のもしくは異なるタイプの感知デバイスと、監視されたロケーションおよび／または文脈と、ユーザに対するネットワーク内で所定されたトリガとの間の関係をネットワークが検出する場合にユーザに対するサポート人物によりおよび／または第三者により、ユーザとの相互作用に従事するように各々が構成された複数の異質の、異種のもしくは異なるタイプのインタフェースデバイスとを含み、相互作用は、トリガと、監視されたロケーションおよび／または文脈とに基づいて選択される。例となる通信ネットワークは、１つ以上のサーバ、クライアント、クラウド、ピアツーピアおよび／または感知デバイスからのデータを監視することとおよび／または１つ以上のインタフェースデバイスが従事する相互作用とに基づいて中毒者のプロファイルを展開するおよび／または更新するように構成された他のデバイスを含み得る。

【0056】

システムは、家庭、養護施設、病院または他の環境内で動作することができる。１つ以上の実施形態においては、システムは、家庭監視システム内での無線通信を可能とする１つ以上のメッシュネットワーク電化製品を含む。メッシュネットワーク内の電化製品は、とりわけ、家庭セキュリティ監視デバイス、ドアアラーム、窓アラーム、屋内温度制御デバイス、火災警報器を含むことができる。メッシュネットワーク内の電化製品は、血圧モニター、心拍数モニター、体重計、温度計、肺活量計、単数もしくは複数のリード心電図（ＥＣＧ）、パルス酸素濃度計、体脂肪モニター、コレステロールモニターなどの携帯可能な生理学的トランスデューサであってもよい。メッシュネットワークには、更に、医薬品キャビネットからの信号、薬容器からの信号、冷蔵庫／ストーブ／オーブン／洗浄機などの一般的に使用される電化製品からの信号、または心拍数などの運動器具からの信号などが送信されてもよい。一例においては、ユーザは、窓およびドアの接触を検出するメッシュネットワーク電化製品、煙検出器および動きセンサ、ビデオカメラ、キーチェインコントロール、温度モニター、ＣＯおよび他の気体の検出器、振動センサおよび他のものを有し得る。ユーザは、船舶に浸水センサおよび他の検出器を有し得る。ユーザは、パニック送信機または他のアラーム送信機に対するアクセスを有し得る。他のセンサおよび／または検出器もまた含まれ得る。

【0057】

開示する技術のある実施形態は、次の構成要素、すなわち（１）言語的構成要素（例えば、文字、語、フレーズなど）または非言語的構成要素（例えば、記号、画像およびその類い）の視覚的提示などの刺激、または、オプションとしては提示速度を個々に調整した音の聴覚的提示などの五感の他の感覚に迅速な連続提示と、（２）マルチチャネル脳波検査（ＥＥＧ）、筋電図検査（ＥＭＧ）、誘発応答電位（ＥＲＰ）、入力ボタンを用いるユーザ意図検出機構および／またはユーザの意図を確実に示し得る他の適切な応答検出機構と、（３）対象者に提示された到来する刺激のシーケンスを制御するためにユーザが意図する到来する刺激の正確な予測の能力を持つ、自然言語モデルなどのシーケンスモデルとのうちの１つ以上を含み得る。

【0058】

開示する技術のある実施形態においては、リアルタイムの意図検出の不確実性を最小化する言語構成要素の効率的なシーケンスを生成する最適リアルタイムで、因果予測的で、オープン語彙で、しかしながら文脈依存の自然言語モデルが提供される。ある実施形態は、オープン語彙の使用を可能とするサブワード特徴により、到来するテキストの不確実性を最小化し、高い予測力を示す正確な大語彙確率的言語モデルを提供する。ある実施形態においては、以前に入力されたテキストに基づいて固有の対象者に対する言語モデルの永続的なオンライン適合を可能とするシステム内に統合される学習技法が提供される。くわえて、ある実施形態は、意図検出の不確実性を最小化し、ターゲット当たり提示される記号の数を最小化する助けとなる最適な提示シーケンス生成方法を提供する。

【0059】

開示する原理を、手持ち式および身体装着型のコントローラと、ユーザの身体または身体部分を制御システムの一部として使用する制御システムとで用いることができる。ユーザジェスチャを実行するように規定されたユーザアクションのために使用される身体部分は、これらに限定されないが、頭、顔筋肉、顔の部分、顎、舌、眼、指、手、腕、胴、胸、腹部、肩、脚、足、つま先および筋肉を含むことができる。

【0060】

ユーザジェスチャは、電子デバイスと通信するまたはこれを制御する意図で（ユーザにより）実行されるアクションの組み合わせとして定義することができる。これらのアクションは、様々な身体部分の動き、顔の表情、様々な身体部分を特定の姿勢／位置／方位にして、持するアクションならびに他の身体的アクションを含むことができる身体的アクションとすることができる。眼の凝視を安定して保持するまたは眼の凝視を運動させることもまた、身体的アクションと見なすことができる。いくつかの実施形態はまた、身体的アクションとしての音声／発声、息止め／吸入／吐き出し、筋肉／身体部分の緊張化（顎の筋肉、腹部の筋肉、腕および脚の筋肉、肛門括約筋など、外部で検出され得る場合もあれば、検出されない場合がある）などのユーザにより実行されるアクションを用いることができる。瞑想的または注意深い状態に入ること、瞑想の有無にかかわらず身体を意識的にリラックスさせること、特定のアクション（例えば、架空、仮想または現実の物体を押すもしくは引く、持ち上げるもしくは下げるなど）を（精神的に）想像する、視覚化する、記憶するまたは意図すること、経験もしくはシナリオ（脳波や他のバイオメトリック情報を分析することで検出することができる）、深呼吸、吸入、吐き出し、息止めなどのユーザアクションもまた、ユーザジェスチャを定義する際にアクションとして使用することができる。ユーザジェスチャは、いくつかの身体的アクションを指定されたシーケンスで実行することを要求することができ、また他の身体的アクションを互いと並行に／同時に実行することを要求することができる。ユーザジェスチャは、コントローラまたは制御システムにより認識されて、電子デバイスと通信するおよび／またはこれを制御するために信号に変換することができる。いくつかのユーザジェスチャは、認識されて、コントローラ／制御システムそれ自身を制御するために信号に変換されることができる。いくつかのユーザジェスチャに応答して生成された信号は、不特定な時間にわたって制御システムまたは被制御デバイスに記憶され得るとともに、その記憶された信号情報は、必要とされたときに取り出すことができる。ユーザジェスチャの一部として実行された身体的アクションは、指定されたユーザジェスチャ中で様々な目的に役立つことができる。以下は、ユーザジェスチャで遂行することができる目的に基づくいくつかのタイプの身体的アクションである。

【0061】

ある特定の身体的アクションは、異なるタイプのユーザジェスチャで使用されたときに、異なる目的に役立つことができる（また、したがって異なるタイプを有すると見なすことができる）。さらに、ある特定の身体的アクションは、ユーザジェスチャ内の複数回発生することができ、また異なる発生中に異なる目的（１つのタイプ／複数のタイプ）を有するように指定することができる。

【0062】

任意の特定のヒューリスティックは、複数のユーザジェスチャによりコントローラ／制御システムに実装することができる。例えば、選択というヒューリスティックは、微笑の顔の表情をＰｒｉｍａｒｙ Ｃｏｎｔｒｏｌ Ｅｘｐｒｅｓｓｉｏｎ（ＰＣＥ）として使用する第一ユーザジェスチャと、眉が隆起した顔の表情をＰＣＥとして使用する別のユーザジェスチャとを使用する一実施形態に実装することができ、以下同様である。

【0063】

痙攣があるユーザにスイッチ技術を用いるときの一つのチャレンジは、「偽」スイッチである。偽スイッチとは、痙攣が、ＮｅｕｒｏＮｏｄｅによりＥＭＧスイッチとして認識されることである。「スイッチ無効化（Ｓｗｉｔｃｈ Ｄｉｓａｂｌｅ）」の感度を設定することにより、加速度計が様々なレベルの運動を捕捉することができるのであるが、このレベルに応じてＮｅｕｒｏＮｏｄｅスイッチがオンになるのを防止することができる。スイッチ無効化閾値は、ｘ、ｙ、ｚの離散化データのなんらかの組み合わせまたはｘ、ｙ、ｚの積によりプログラムすることができる。

【0064】

１つ以上の実施形態においては、加速度計スイッチモードをＥＭＧとともにまたはこれなしで使用することができる。このモードにおいては、患者および臨床医は、患者の運動のｘ、ｙ、ｚおよびオプションとしてＥＭＧ構成要素を記録する。この「署名」は、ＮｅｕｒｏＮｏｄｅ用のスイッチとして設定される。署名に類似した特徴を持つ運動を検出したときには、ＮｅｕｒｏＮｏｄｅは、これがスイッチであることを許可する。スイッチの感度、すなわち運動がオリジナルのシグネチャにどれくらい近接して付随するかをプログラムすることができる。

【0065】

１つ以上の実施形態においては、文脈依存性スイッチを、システムがユーザについてより多くを学習するまたは追加の関連付けを供給されたときなどに組み込むことができる。スイッチのスキャニングは通常は、眼の追跡（または、ユーザがそのレベルの機能を有する場合にはマウス操作またはキーボード操作）などの直接選択方法よりも遅い。「スコアを合致させる」ために、本革新は、文脈依存性スイッチなどのスイッチのスキャニングの速度を改善させるための方法を考慮する。文脈を患者の状況に追加する入力を収集する。これらの入力は、適切に調整された「チャットパネル」としてディスプレイ上で使用することができる。例えば、時計と近接検出器との組み合わせにより、アプリケーションは、患者の娘が平日の午後４：００に部屋に入るときに学校のディスカッションに関連するチャットパネルを設置することができる。別の例として、部屋の温度が、患者が快適な範囲外に遷移する場合に、環境制御に関連するチャットパネルを現れるようにプログラムすることができる。例えば、看護師が毎火曜日の午前１１時に終了することをあなたが知っている場合、その時間に、看護師の訪問に関連する様々な事前選択された応答を備えたメニューが来る。配偶者が毎日午後５時に帰宅する場合、そのためのメニューが毎日午後５時に来る。このようにして、患者が時として深い階層のチャットパネルを通じてスイッチする替わりに、文脈依存性スイッチ機能を持つＮｅｕｒｏＮｏｄｅが、ユーザ（患者）が何を言いたいかまたはしたいかを予測することができる。

【0066】

１つ以上の実施形態においては、本革新は、動的なスケーリングモードと静的なスケーリングモードとの両方を提供することができる。静的なスケーリングは、ＥＭＧ信号はスイッチとしてカウントされるために満たさなければならない固定した基準を課す。これらの基準は、時間が経過しても不変のままである。動的なスケーリングは、ユーザのパフォーマンスに基づいてスイッチが実施されたかを決定するための基準を時間の経過とともに変更する。１つ以上の実施形態においては、ＥＭＧ静止レベルおよびＥＭＧシグナリングレベルが両方とも、この進行中の算出に使用される。したがって、ＮｅｕｒｏＮｏｄｅは、ユーザが疲労するに連れてまたは他の電極インタフェースの状態が変化するに連れて、スイッチすることをより容易にする。１つ以上の実施形態においては、ユーザの身体もしくは加速度計静止レベルの生理学的な読み取りまたはユーザの身体もしくは加速度計シグナリングレベルの生理学的な読み取りが両方とも、この進行中の算出に使用される。したがって、ＮｅｕｒｏＮｏｄｅは、ユーザが疲労するに連れてまたは他の電極インタフェースの状態が変化するに連れて、スイッチすることをより容易にする。

【0067】

動的閾値振幅は、ＮｅｕｒｏＮｏｄｅの動的スケーリングアルゴリズムにより使用される倍率を設定することができる。１００％に近づく際にパーセンテージが低いほど、ＥＭＧ信号がスイッチであることを許容する際のＮｅｕｒｏＮｏｄｅの感度は高くなる。閾値振幅（静的スケーリング）は、スイッチとしてカウントされるために信号が上回らなければならないＥＭＧ振幅を設定する。閾値振幅（動的スケーリング）は、ＮｅｕｒｏＮｏｄｅの動的スケーリングモードにあるときに使用するスケールを設定する。レベルがより低いほど、スイッチが実施されることを許容する際のＮｅｕｒｏＮｏｄｅの感度はより高くなる。

【0068】

信号オフパラメータは、静的スケーリングモードで事前設定され、動的スケーリングモードで継続的に計算される。信号オフ振幅は、スイッチとしてカウントされる信号が、新しいスイッチがカウントできるようになる前に下回らなければならないＥＭＧ振幅を設定する。このパラメータを閾値振幅と同一のレベルに設定することで、スイッチ決定子としての信号オフ振幅が除去される。

【0069】

信号オフパラメータが、痙攣、束縛および高筋肉緊張の問題に対処するために作成された。信号オフは、静的スケーリングモードで事前設定されて、動的スケーリングモードで継続的に計算される。信号オフを使用して、信号レベルが信号オフ振幅未満に落ちるまでは、いかなる追加のスイッチも、最初の一つ以後は禁止する。

【0070】

動的信号オフ振幅は、スイッチ信号が、別のスイッチが許容される前に下回らなければならないレベルを設定する。これを１００％に設定すると、信号オフ振幅がユーザの進行中の平均の静止レベルに設定される。このパラメータを閾値振幅と同一のパーセンテージに設定すると、スイッチング決定子としての信号オフが除去される。

【0071】

動的スケーリングは、ユーザのパフォーマンスに基づいてスイッチが実施されたかを決定するための基準を時間の経過とともに変更する。１つ以上の実施形態においては、動的スケーリングは、この進行中の算出においてＥＭＧ静止レベルとＥＭＧシグナリングレベルとを利用し得る。１つ以上の実施形態においては、動的スケーリングは、この進行中の算出において、動き検出のための生理学的センサまたは加速度計などのユーザの身体上の１つ以上のセンサの静止レベルおよびシグナリングレベルを利用し得る。したがって、ＮｅｕｒｏＮｏｄｅは、ユーザが疲労するに連れてまたは電極インタフェースの状態が変化するに連れて、スイッチすることをより容易にする。

【0072】

本開示の典型的な実施形態の次の詳細な説明において、本開示が実施され得る固有の典型的な実施形態を、開示する実施形態を当業者が実施することを可能とするに十分なほど詳細に説明する。例えば、固有の方法順序、構造、要素および接続などの固有の詳細が本明細書に提示されている。しかしながら、提示する固有の詳細は、本開示の実施形態を実施するための利用する必要はないことが理解される。また、他の実施形態が利用され得るとともに、論理的、アーキテクチャ的、プログラム的、機械的、電気的な変更および他の変更が、本開示の一般的な範囲から逸脱することなくなされ得ることが理解される。次の詳細な説明は、したがって、限定的な意味でとられるべきではなく、本開示の範囲は、添付のクレームとその均等物とにより定義される。

【0073】

「一実施形態」、「ある実施形態」、「実施形態」または「１つ以上の実施形態」に対する本明細書内での言及は、実施形態と関連して説明される特定的な特色、構造または特徴が、本開示の少なくとも一実施形態に含まれることを示すことを意図する。本明細書内の様々な場にそのようなフレーズが現れるがこれは、必ずしも同一の実施形態に言及するものでもなく、他の実施形態を互いに排除する別個のもしくは代替の実施形態を言及するものでもない。さらに、いくつかの実施形態では示され得るが他の実施形態ではそうではない様々な特徴が説明される。同様に、いくつかの実施形態にとっては要件であっても他の実施形態にとってはそうではない場合がある様々な要件を説明する。

【0074】

本明細書に記載する実行ユーティリティ、論理および／またはファームウェアなどの固有の構成要素、デバイスおよび／またはパラメータ名および／またはその対応する頭字語の使用は、例えば単なる例であり、説明されている実施形態に対するいかなる制限も課すことを意味するものではないことが理解される。実施形態は、したがって、制限なしで、本明細書における構成要素、デバイス、パラメータ、方法および／または機能を説明するために利用される異なる専門語および／または用語により説明され得る。実施形態の１つ以上の要素、特徴または概念を説明する際での任意の固有のプロトコルまたは権利者名に対する言及は、単に一実装例の例として提供されており、そのような言及は、特許請求される実施形態の拡大部分を、異なる要素、特徴、プロトコルまたは概念の名称が利用される実施形態に限定しない。したがって、本明細書に利用される各々の用語は、その用語が利用される文脈を考慮してその最も広い解釈を与えられるものとする。

【0075】

図1は、ユーザ１０２が、ユーザインタフェースデバイス１０４などのあるデバイスを制御することを可能とするＮｅｕｒｏＮｏｄｅシステム１００を示す。ＮｅｕｒｏＮｏｄｅシステム１００は、広範囲のコンピュータ経験を必要とすることなく、ＮｅｕｒｏＮｏｄｅシステム１００に対する完全な制御をユーザに与える。本明細書には、麻痺、言語の喪失、運動制御の喪失がある人々が、ＮｅｕｒｏＮｏｄｅシステム１００により何ができるかのほんの数例があるが、それは、テキストを音声に変換する機能（ＴＴＳ）を使用して家族、介護人、および臨床医と通信し、テキストメッセージおよび電子メールを送信し、ウェブサーフィンをし、ビデオおよび映画を観て、音楽、ラジオおよびポッドキャストを聴き、ニュースを読み、ビデオゲームをプレイし、環境制御を使用しならびにテレプレゼンスロボットおよび支援技術を使用して教室で参加する。

【0076】

ＮｅｕｒｏＮｏｄｅシステム１００は、生体電気信号１０６のセットを含む。１つ以上の実施形態において、第一能動型電極１０８、第二能動型電極１１０および基準（「Ｒ」）電極１１２が、ユーザ１０２に付着される電極デバイス（「ＮｅｕｒｏＮｏｄｅデバイス」）１１４に取り付け可能である。他の実施形態においては、各々の電極１０８、１１０、１１２はユーザ１０２に個々に付着され、リード線または無線接続などを介してシステム１００にインタフェースされる。ＮｅｕｒｏＮｏｄｅデバイス１１４またはユーザインタフェースデバイス１０４内に含まれるようなプロセッサ１２０は、生体信号センサ１０６のセットおよび、ユーザインタフェース１０４上で実行されるアプリケーション１１８に対する機能性を投影するユーザインタフェースデバイス１０４と通信状態にある。ＮｅｕｒｏＮｏｄｅデバイス１１４は、他の個人と比較してまたはユーザ１０２の変化する特徴と比較してユーザ１０２の固有の要件に対応するスイッチ閾値に対する動的なおよび静的な調整をサポートするプロセッサ１２０を含む。

【0077】

１つ以上の実施形態において、ＮｅｕｒｏＮｏｄｅデバイス１１４は、心臓を含む特定の筋肉から筋電図検査および心電図検査のデータをキャプチャするために、ユーザ１０２により着用可能なメッシュアクセス可能表面筋電図検査コントローラである。ＮｅｕｒｏＮｏｄｅデバイス１１４は、長期間にわたってデータをオンボードで記憶し、かつデータをＢｌｕｅｔｏｏｔｈもしくはＷｉ−Ｆｉもしくは他の無線手段で受信機に送信する機能を有する。ＮｅｕｒｏＮｏｄｅデバイス１１４は、データをオンボードで分析するまたはデータを受信機に送信して、コードまたは人間により分析することができる。データをオンボードで分析するとき、ＮｅｕｒｏＮｏｄｅデバイス１１４は、ユーザ１０２の特定の意図を査定し、例えばコマンドを受信機に送信して、テキストを表示すること、そのテキストをコンピュータ生成された音声の形態で放送すること、受信機内および他のペリフェラルのプログラムおよびデバイス内のプログラムおよび他のソフトウェアを制御することを含むある範囲のタスクのうちの任意のものを実行することができる。ＮｅｕｒｏＮｏｄｅデバイス１１４は、パラメータおよびセンサシステムを監視し、継続的にユーザの機能に適合するアルゴリズムを組み込む。くわえて、システムは、センサおよびユーザの挙動から文脈を収集することによりユーザが何を言いたいか／したいかを予測する。

【0078】

ある典型的な実施形態において、プロセッサ１２０は、あるアルゴリズムを次にように
実行する。
５０ｍｓ毎にEMG_DATA_POINT {
５秒のデータポイントのアレイ中にデータポイントを設置する= EMG_WINDOW
内部の最も古いデータポイントを捨てるEMG_WINDOW (アレイは常にＥＭＧデータの最後の５秒を保持する)
EMG_WINDOWを反復して、PEAK_WINDOW中のすべてのピーク値のＥＭＧ値を記憶する
EMG_WINDOWを反復して、PITS_WINDOW中のすべての「ピット」のＥＭＧ値を記憶する
AVG_PEAK = PEAK_WINDOW中のピークの平均
AVG_PIT = PITS_WINDOW中のピットの平均
THRESHOLD_AMPLITUDE = ((AVG_PEAK + AVG_PIT) ／ 2) *感度倍率１）
SIGNAL_OFF = ((AVG_PEAK + AVG_PIT) ／ 2) * 感度倍率２)
}
THRESHOLD_AMPLITUDEを使用して、EMG_DATA_POINTがHIDスイッチであるかを決定する。

【0079】

閾値振幅は、ＮｅｕｒｏＮｏｄｅの静的モードおよび動的モードにあるときに使用されるスケールを設定する。レベルがより低いほど、スイッチを実施することを許容する際のＮｅｕｒｏＮｏｄｅはより敏感になる。

【0080】

例えば、ＮｅｕｒｏＮｏｄｅデバイス１１４は、協調入力または交互入力を電極１０６に提供する加速度計（「Ａ」）１２２を含むことができる。痙攣の特徴である運動をプロセッサ１２０により認識して、生体電気信号としては無視することができる。逆にスイッチにとって、予想される随意運動と認識される運動をそれ自身に依拠するものとして、または、生体電気信号として確認することができる。例えば、生体電気信号に対するベースラインを調整することは、たとえ軽微であるとはいえ、以前に容認されたベースラインと同一の運動パターンを加速度計が確認することを要求することができる。

【0081】

本発明の別の実施形態によれば、完成したＮｅｕｒｏＮｏｄｅシステム１００は、身体中への移植に適切で、生体電気電極１０６のセットを含む移植可能デバイスとすることができる。１つ以上の実施形態においては、第一能動型電極１０８、第二能動型電極１１０および基準（「Ｒ」）電極１１２は、ユーザ１０２に移植された電極デバイス（「ＮｅｕｒｏＮｏｄｅデバイス」）１１４に取り付け可能である。本発明の別の実施形態によれば、生体電気電極１０６は、ユーザ１０２に移植するのに適していると同時に外部のＮｅｕｒｏＮｏｄｅデバイス１１４に取り付け可能である。

【0082】

本発明の別の実施形態によれば、移植可能な感知デバイスにより生成された身体内信号を通信するためのシステムが提供される。データが身体内から通信されている文脈においては、本明細書では概して「身体内信号」と呼ばれる転送される信号は、身体内から直接的または間接的に感知されたまたは別様に観察された状態、特徴および／またはパラメータを表す異なる信号を含むものとされる。いくつかの例においては、身体内信号は、身体内から直接的または間接的に感知されたまたは別様に観察された感知された生物学的／生理学的な状態、特徴および／またはパラメータを表す異なる信号を含むものとされる「生体信号」を含み得る。そのような生体信号は、本明細書では、ユーザ／患者の監視および／または診断の文脈内で説明されるが、しかしながら、本明細書に記載する実施形態は、様々な目的のためにまたは様々な文脈で使用されるデータの送信のために実施され得るが、これらは、したがって本開示の範囲内にあると見なされる。同様に、異なる実施形態は、これもまたもしくは代替例で、身体内から直接的または間接的に感知されたまたは別様に観察された環境状態、特徴および／またはパラメータを表す、またはこれまたそのような環境状態もしくは特徴に対する身体の内部応答を表す異なる信号を含むことを意図する「環境信号」の転送を考慮し得る。さらに別の例においては、そのような環境信号はむしろ、移植された身体の位置または運動の決定を許容し得る。

【0083】

以下により詳細に説明するように、本発明のいくつかの実施形態は、いくつかの実施形態においては、１つ以上のデータチャネル中で身体内から外部の受信機に様々な身体内信号の送信のために使用可能な簡潔な移植可能なデータ操作および送信回路またはプラットフォームにより実装された効果的なデータ信号通信設計およびシステムに依存する。したがって、本明細書では異なる例が、例えば、心電図（ＥＣＧ）、脳波（ＥＥＧ）、皮質脳波（ＥＣｏＧ）、筋電図（ＥＭＧ）、眼電位（ＥＯＧ）、胃電図（ＥＧＧ）などの文脈で使用される概して電気的な生体信号の操作を介して医学的な監視および／または診断の文脈で考慮されるとはいえ、他のタイプの信号もまた考慮され得ることが理解されるであろう。例えば、説明したシステムの一部としてトランスデューサを追加すると、血圧、体温、血中酸素飽和度（ＳｐＯ_２）、血中ＣＯ_２飽和度、ＮＯ濃度、呼吸および／またはその他のタイプの生理学的感知システムなどの他の非電気的な生理学的パラメータが、当業者には容易に理解されるように、考慮され得るので、これによりそのような感知されたパラメータは、本明細書に説明するように、適切な移植可能なトランスデューサにより効果的に変換されて、それを表し、かつ本発明の異なる実施形態を使用して送信可能な電気信号を生成する。

【0084】

他の実施形態においては、環境センサを、生体センサの替わりにまたはこれと組み合わせて使用されるが、この環境センサは、これに限定されないが、重力センサ、磁場センサ、放射線センサなどを含み得る。例えば、そのような環境センサを身体内に移植することにより、例えば、そのような環境状態に対する身体の応答を測定するもしくは評価する、身体内での環境状態の強度もしくは振幅を検出するまたはそのような測定値を使用して、身体の位置もしくは運動を識別することを可能とし得る。次の本開示を考慮するに際して、他のタイプのセンサおよび感知された特徴が、本開示の一般的な範囲および本質から逸脱することなく本明細書で考慮され得ることを当業者には理解されるであろう。

【0085】

図２は、ユーザが随意に生成した代表的な生体電気信号２００のグラフを示す。信号２００は、静止レベル２０２から始まり、その後にスイッチレベル２０４が続き、その後、別の静止レベル２０６が続く。信号２００が（Ａ）に到達するとき、ヒューマンインタフェースデバイス（ＨＩＤ）コードが、信号が閾値持続時間（Ｂ）にわたって（Ａ）の上に留まる限り送信される。別のスイッチコードは、信号２００が閾値レベル（Ｃ）未満に落ちるまでは許容されない。閾値（Ｃ）またはベースライン（Ｄ）などの別の閾値未満に落ちることが、ＨＩＤコード（スイッチ）のその後のトリガのために監視をリセットするために必要とすることができる。１つ以上の実施形態においては、値（Ｄ）を、０の振幅／持続時間（Ａ／Ｄ）単位ではなくて算出のための「０ポイント」と判断することができる。

【0086】

入力をトリガして、コマンド信号の状態を初期状態から第二状態にスイッチするか否かを決定する。一実施形態においては、初期状態はトグルスイッチのデフォルト状態（例えば、０）であり、ベースライン、即ち、ユーザにより生成された随意電位がない状態１０２に対応する。他方の状態は、相補的状態（例えば、１）であり、高レベルの随意電位に対応する。随意電位がベースライン、即ち、ゼロのレベルに戻るとき、トグルは、デフォルト状態（例えば、０）にスイッチバックする。別の実施形態においては、入力をトリガしても、ある状態を単にその現在の状態から次の状態に変化させるだけである（すなわち、バイナリスイッチが他の状態にトグルする、例えば１から０またはその逆にトグルする場合である）。

【0087】

複数の状態スイッチを備えた実施形態においては、随意電位がトリガ状態を越えるとき、スイッチ状態は固定した量だけインクレメントする（すなわち、現在のモードから別のモードに移行する）。例えば、一態様においては、スイッチ状態は、３つの別個の動作モード、すなわち刺激なしに対応する第一状態、適用された固有のパターンもしくはアクションに対応する第二状態および第二パターンもしくは他のアクションに対応する第三状態を保有し得る。

【0088】

他の実施形態においては、複数の入力がコントローラにより使用されて、ユーザの所望するアクションを決定する。一典型的実施形態においては、第一随意電位信号をトグル入力として使用し、第一随意電位信号のアクションを使用して、コントローラの状態をモードからモードへとトグルする。その後、第二随意電位信号がコントローラにより使用されて、第二アクションを起動する。当業者は、前述の典型的な実施形態を適合させることが可能であり、複数の随意電子信号もしくは他のＥＭＧまたは外部の入力デバイス（例えば、ジョイスティック、ボタン、音声入力など）を備えたシナリオは複数のアクションを起動することができる。

【0089】

一典型的実施形態においては、第一アクションは、キーボードのキーが押圧された信号を表すことができる。次の状態は、キーの開放を表すことができる。別の典型的実施形態においては、コントローラは、ユーザが作成した随意電位を、いくつかの場合においてはＥＭＧ信号または入力デバイスなどの他の入力とともに利用して、コマンドの事前定義されたシーケンスを選択、初期化および変調する。

【0090】

図３は、生体電気監視によりデバイスを制御する方法を例示する。１つ以上の実施形態においては、方法３００は、生体電気電極のセットからのある生体電気信号を監視することを含む（ブロック３０２）。方法３００は、（ｉ）静止閾値と、（ｉｉ）静止閾値よりも大きいスイッチ閾値とのうちの選択された一方を少なくとも部分的に生体電気信号のトレンドに基づいて自動的に調整することを含む（ブロック３０４）。方法３００は、生体電気信号の振幅が静止閾値未満であるかを決定することを含む（判断ブロック３０６）。静止閾値未満ではないという決定に応答して、方法３００は判断ブロック３０６に戻り、静止閾値未満であるということに基づいたリセットがないか監視することを継続する。判断ブロック３０６における振幅が静止閾値未満であるという決定に応答して、生体電気信号の振幅がその後、必要とされる持続時間にわたってスイッチ閾値以上であるかについて決定する（判断ブロック３１０）。生体電気信号が、少なくとも必要とされる持続時間にわたってスイッチ閾値よりも大きくはないという決定に応答して、方法３００は判断ブロック３０６に戻り、ユーザ指令されたスイッチを表す状態を待機し続ける。生体電気信号が、少なくとも必要とされる持続時間にわたってスイッチ閾値よりも大きいという決定に応答して、方法３００は、例えばアプリケーションと相互作用するために、ユーザインタフェースデバイスをスイッチ信号によりトリガすることを含む（ブロック３１４）。その後、方法３００はブロック３０２に戻る。

【0091】

１つ以上の実施形態において、方法３００は、ユーザに取り付けられた運動センサを監視することを含み、デバイスをスイッチ信号によりトリガすることはさらに、生体電気信号と同時に運動センサにより感知された運動信号が痙攣閾値未満であるという決定に応答してのことである。

【0092】

１つ以上の実施形態において、方法３００は、（ｉ）デバイスにより、文脈トリガ状態が存在するかを決定することと、（ｉｉ）文脈トリガ状態が存在するという決定に応答して、文脈トリガ状態と関連付けられたあるアプリケーションをユーザに対して提示することと、（ｉｉｉ）アプリケーションをスイッチ信号により制御することとを含む。ある典型的な実施形態において、文脈トリガ状態は経時的な事象である。別の典型的な実施形態において、文脈トリガ状態は、周囲環境事象を含み、アプリケーションは、環境制御インタフェースを含む。別の典型的な実施形態において、文脈トリガ状態は、第三者の近接事象の検出であり、アプリケーションは、ヒューマン通信アプリケーションを含む。

【0093】

図４は、アナログ処理構成要素４０６のアナログフロントエンド（ＡＦＥ）４０４に信号を提供するセンサパッド４０２を有する例となるＮｅｕｒｏＮｏｄｅデバイス４００を例示する。処理された信号は、アナログ処理構成要素４０６のアナログバックエンド（ＡＢＥ）４０８により中央処理ユニット（ＣＰＵ）４１０に中継される。ＣＰＵ４１０は、知的コーディングを実行するが、これはソフトウェアが、ＥＭＧデータを処理して分析し、かつデータおよびコマンドを生成して送信することを含む。ＣＰＵ４１０は、ＨＩＤスイッチＯＮまたはスイッチＯＦＦのコードを生成し、これはＢｌｕｅｔｏｏｔｈトランシーバ４１２によりアンテナ４１４を介して中継される。ＮｅｕｒｏＮｏｄｅデバイス４００に対する電力は、バッテリ４１６により提供され、これはＣＰＵ４１０をサポートする３．３ＶのＤＣ−ＤＣデジタル電源４１８と、アナログ処理構成要素４０６をサポートする＋／−５ｖのＤＣ−ＤＣ電源４２０とにより変換される。例えば、バッテリ４１６は、ＬＩＲ２０３２ ８０ｍＡｈ再充電可能コインセルバッテリまたは類似の電源とすることができる。電源４２０は、Ｌｉｎｅａｒ ＴｅｃｈｎｏｌｏｇｙのＬＴ３５８２−５、ブーストおよび単一インダクタ反転ＤＣ／ＤＣコンバータに基づくことができる。入力範囲は、２．５５〜５．５Ｖである。

【0094】

Ｂｌｕｅｔｏｏｔｈトランシーバ４１２は、データを送信して受信し、複数のＮｅｕｒｏＮｏｄｅデバイス４００のメッシュネットワークを１つの選ばれたホストによりサポートして別のデバイスにコンタクトするＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（ＢＬＥ）機能を含むことができるＢｌｕｅｔｏｏｔｈ半導体チップとすることができる。したがって、各々のＮｅｕｒｏＮｏｄｅデバイス４００または生体電気信号を監視するように構成された類似したユニットは、１つのＮｅｕｒｏＮｏｄｅが中央コントローラになり、メッシュネットワーク内の他のＮｅｕｒｏＮｏｄｅユニットの各々との間ですべてのデータをやりとりするデータフローの階層を決定する。これが、いくつかのＮｅｕｒｏＮｏｄｅユニットをユーザに取り付けることを可能とし、これですべてのデータおよび命令が、単一のユニットを通じて、他のデバイスまたはソフトウェアとの間で効率的にチャネリングされるようにする。アウトバウンドデータ、すなわちＮｅｕｒｏＮｏｄｅまたはメッシュネットワークから送信されるデータは、ソフトウェアもしくはハードウェアまたは可変ソフトウェア（画面上のＸおよびＹ座標を通過するカーソルなど）もしくはハードウェア（ロボットデバイスなど）をスイッチすることを制御するデータストリームなどのブール代数の形式（０または１、すなわちＯＦＦまたはＯＮ）または動的形式で送信することができる。

【0095】

ターゲットのシステムは、ソフトウェア（Ａｓｓｉｓｔｉｖｅ Ｔｅｃｈｎｏｌｏｇｙプログラムを含む、ブールデータまたは動的データにより制御することができるプログラムなど）、ハードウェア（制御ソフトウェアおよび応答ソフトウェアを含み得るロボットシステムなど）、ファームウェア（テレビ、音楽もしくはビデオのプレーヤもしくはレコーダ、スマートフォン、タブレット、コンピュータ、環境制御システムなどのデバイスを制御する常駐ソフトウェアなど）、Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ（ＮＦＣ）システムなどの近接システム、心電図もしくは他のデータ分析システム、パターン認識システムもしくは他のデータベースのシステムなどの分析システムならびにプログラムされたもしくは人工知能システムを含む。ＮｅｕｒｏＮｏｄｅデバイス４００は、生理学的データをキャプチャして、データおよび算出された結果を記憶、分析、送信および使用して、情報を表示し、他のソフトウェアおよびハードウェアのシステムとインタフェースし、他のデバイスを制御する。

【0096】

図４に示す簡略化されたデバイス４００はまた、様々なコンピュータ可読媒体を含み得る。コンピュータ可読媒体は、ＣＰＵによりアクセスすることができる任意の利用可能な媒体とすることができ、コンピュータ可読もしくはコンピュータ実行可能な命令、データ構造、プログラムモジュールまたは他のデータなどの情報の記憶のための、取り外し可能および／または取り外し不可能である揮発性と不揮発性の両方の媒体を含むことができる。コンピュータ可読媒体は、コンピュータ記憶媒体および通信媒体を含む。コンピュータ記憶媒体とは、有形のコンピュータ可読もしくは機械可読媒体または、デジタル多用途ディスク（ＤＶＤ）、Ｂｌｕ−ｒａｙ（登録商標）ディスク（ＢＤ）、コンパクトディスク（ＣＤ）、リムーバブル媒体もしくはストレージ、テープドライブ、ハードドライブ、光ドライブ、ソリッドステートメモリデバイス、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、電気的消去可能プログラム可能リードオンリーメモリ（ＥＥＰＲＯＭ）、ＣＤ−ＲＯＭもしくは他の光ディスクストレージ、スマートカード、フラッシュメモリ（例えば、カード、スティックおよびソリッドステートドライブ）、磁気カセット、磁気テープ、磁気ディスクストレージ、磁気ストリップまたはその他の磁気記憶デバイスなどの記憶デバイスのことである。

【0097】

コンピュータ可読もしくはコンピュータ実行可能な命令、データ構造、プログラムモジュールなどのような情報の保持はまた、（コンピュータ記憶媒体と対照的に）様々な前述した通信媒体のうちの任意のものを使用して、１つ以上の変調されたデータ信号もしくは搬送波または他のトランスポート機構もしくは通信プロトコルをエンコーディングすることにより達成することができるとともに、任意の有線または無線の情報伝達機構を含むことができる。「変調されたデータ信号」または「搬送波」は概して、信号内の情報をエンコーディングするように設定されたまたは変更されたその特徴集合のうちの１つ以上を有する信号のことであることに注意されたい。例えば、通信媒体は、１つ以上の変調されたデータ信号を搬送する有線ネットワークまたは直接有線接続などの有線媒体と、音響、電波（ＲＦ）、赤外線、レーザおよび、１つ以上の変調されたデータ信号もしくは搬送波を送信および／または受信するための他の無線媒体などの無線媒体とを含むことができる。

【0098】

さらに、本明細書に記載する様々なウェアラブルデバイス実装例のいくつかまたはすべてを具現化するソフトウェア、プログラムおよび／またはコンピュータプログラム製品ならびにその部分は、コンピュータ実行可能命令または他のデータ構造の形態で、コンピュータ可読もしくは機械可読媒体または記憶デバイスならびに通信媒体の任意の所望される組み合わせから記憶、受信、送信または読み出しされ得る。くわえて、特許請求される主題は、標準のプログラミングおよび／またはエンジニアリング技法を使用して、ソフトウェア、ファームウェア、ハードウェアまたはその任意の組み合わせを生成して、開示する主題を実現するようにコンピュータを制御する方法、装置または製造品として実現され得る。本明細書で使用される「製造品」という用語は、任意のコンピュータ可読デバイスまたは媒体からアクセス可能なコンピュータプログラムを含むことを意図するものである。

【0099】

本明細書に記載するデバイス実装例はさらに、コンピューティングデバイスにより実行中の、プログラムモジュールなどのコンピュータ実行可能命令の一般的文脈において説明され得る。概して、プログラムモジュールは、特定のタスクを実行するまたは特定の抽象的なデータタイプを実装するルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。ウェアラブルデバイス実装例はまた、タスクが、１つ以上の通信ネットワークを通じてリンクされた１つ以上のリモート処理デバイスにより、または１つ以上のデバイスのクラウド内で実行される分散コンピューティング環境内で実施され得る。分散コンピューティング環境内では、プログラムモジュールは、媒体記憶デバイスを含むローカルとリモートの両方のコンピュータ記憶媒体内に位置付けされ得る。くわえて、前述の命令は、部分的または全体的に、プロセッサを含み得るまたは含まない場合があるハードウェア論理回路として実装され得る。

【0100】

そうする代わりにまたはそうすることにくわえて、本明細書に記載する機能性は、少なくとも部分的に、１つ以上のハードウェア論理構成要素により実行することができる。例えば、そして制限なく、使用することができる例示的タイプのハードウェア論理構成要素は、ＦＰＧＡ、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップシステム（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）などを含む。

【0101】

図５は、取り外されたノード、すなわち（ｉ）第一能動型電極５０２、第二能動型電極５０４および基準「Ｒ」電極５０６にインタフェースされたＮｅｕｒｏＮｏｄｅ５００を例示する。

【0102】

図６は、生理学的グラフアプリケーション６０４を実行する、タッチスクリーン６０２などのユーザインタフェースデバイスを有するユーザデバイス６００を例示する。このインスタンスにおいては、ユーザインタフェースデバイスは、ＥＭＧトレース６０６を提示している。

【0103】

いくつかの実施形態においては、対象者は、部分的なまたは完全な障害であり、例えば四肢麻痺である。装置は、ユーザデバイスの制御を提供するのであるが、このユーザデバイスが身体障害のある対象者の環境の制御を容易化し、対象者が少なくとも部分的に自分のことは自分でできるようになれる。例えば、いくつかの環境においては、ユーザデバイスは、パーソナルコンピュータ、車椅子、ベッド、電話、家庭電化製品および／または音声シンセサイザである。典型的なユーザデバイスは、携帯電話、スマートフォン、ＰＤＡ、コンピュータおよびメディアプレーヤを含み得る、またはそれらであり得る。メディアプレーヤは、画像を表示するおよび／または音声および／またはビデオを再生するのに適した任意のデバイスを含み得るまたはそれらであり得る。いくつかの実施形態においては、対象者は、複雑なユーザデバイスを制御する必要性があるまたは困難な環境で機能しており、支援デバイスを利用して、ユーザデバイスを制御するまたは環境下で機能することができる。例えば、対象者は、いくつかの実施形態においては、パイロット、ドライバ、スキューバダイバーまたは兵士とすることができる。

【0104】

図７〜８は、取り外し可能バッテリドア７０４を持つ外側筐体７０２を有する例となるＮｅｕｒｏＮｏｄｅデバイス７００を例示する。１つ以上の発光ダイオード（ＬＥＤ）インジケータ７０６は、様々な色を示して、ステータスおよび動作モードを通信することができる。図９は、電極７０８が、外側筐体７０２のアンダーサイド７１０に挿入されたスナップフィットであることを例示する。各々の電極７０８は、プリント回路基板（ＰＣＢ）７１２の底部表面と物理的かつ電気的に接触する。バッテリドア７０４の下方のコインセルバッテリ７１４が、バッテリアーム７１８によりバッテリ容器７１６内に保持される。バッテリコンタクト７２０は、バッテリ容器７１６からプリント回路基板７１２に延在して、電気的グランドを提供する。バッテリコンタクト７２２は、バッテリアーム７１８からプリント回路基板７１２に延在して、正の電圧を提供して、ＮｅｕｒｏＮｏｄｅデバイス７００に電力を供給する。

【0105】

ＮｅｕｒｏＮｏｄｅデバイス７００は、様々なデバイスとペアリングすることが可能なスタンドアロンＥＭＧスイッチとして動作することができる。ＮｅｕｒｏＮｏｄｅデバイス７００をｉＯＳデバイスと一緒に使用するとき、感度は、以下に説明するように、ｉＯＳデバイス上で実行されるＮｅｕｒｏＮｏｄｅコントローラアプリケーション内に設定することができる。スタンドアロンスイッチとして、ＮｅｕｒｏＮｏｄｅデバイス７００は、スイッチのインスタンスにおいてユーザに視覚的に合図するために内蔵インジケータ７０６を有する。緑色のインジケータの光は、ＥＭＧ信号がスイッチとしてカウントされたことを示す。点滅する赤色の光は、ＮｅｕｒｏＮｏｄｅデバイス７００がＢｌｕｅｔｏｏｔｈ放送していることを示す。電源投入されると、ＮｅｕｒｏＮｏｄｅデバイス７００は、緑、青、赤および白などの一連の色として起動シーケンスを通過する。起動シーケンスを通過した後、ＮｅｕｒｏＮｏｄｅデバイス７００は、数秒にわたって無色のまま留まり、静的閾値レベルの１０、２０、５０、１００または２００マイクロボルトまたは動的スケーリングを示す。様々な色スキームが、デバイスのアプリケーション次第で使用され得ることが認識される。

【0106】

図１０は、バッテリドア７０４が外側筐体７０２から取り外されて、第一能動型電極アーム７１８により保持され、バッテリ容器７１６内に受容されたコインバッテリ７１４が露出しているＮｅｕｒｏＮｏｄｅデバイス７００を例示する。１つ以上の典型的な実施形態においては、ＮｅｕｒｏＮｏｄｅデバイス７００は、ユーザにより交換不可能であるバッテリ７１４を含む。

【0107】

１つ以上の典型的な実施形態においては、閾値を手動で変更することは、（ｉ）デバイスＢｌｕｅｔｏｏｔｈが「ＯＦＦ」であることを保証し、（ｉｉ）バッテリ７１４を挿入する、またはバッテリ７１４と第一能動型電極７１８との間に一時的に挿入された提供されたプラスチック製のカラーステイまたはスペーサーによりパワーサイクルを実行することによりＮｅｕｒｏＮｏｄｅデバイス７００を電源投入し、（ｉｉｉ）ＮｅｕｒｏＮｏｄｅデバイス７００に対してパワーサイクルを実行したら、ＮｅｕｒｏＮｏｄｅデバイス７００が、すでに説明したように一連の色として起動シーケンスを通過し、（ｉｖ）プッシュピンツールを挿入して、所望される閾値に到達するまで、閾値色を繰り返し、（ｖ）ＮｅｕｒｏＮｏｄｅデバイス７００を電極に取り付け、（ｖｉ）電極をユーザの皮膚に取り付け、（ｖｉｉ）信号インジケータ７０６を使用してユーザのシグナリング能力をテストすることにより実施することができる。信号インジケータ７０６が常に緑色であれば、閾値をより高いスケールに設定する。信号インジケータ７０６が決して緑色に変わらない場合、閾値をより低いスケールに設定し、（ｖｉｉｉ）ＮｅｕｒｏＮｏｄｅデバイス７００のＢｌｕｅｔｏｏｔｈ機能性をオンにする。

【0108】

図１１は、ＮｅｕｒｏＮｏｄｅデバイス７００（図９）に都合よく直接的に取り付けることができる３つのスナップコネクタ１１０２を持つ単一の接着性ディスク１１００を例示する。図１２は、剥がすことができるシール１２０４があり、かつ、ＥＭＧ信号が確実であり、３つの個々にゲル化された電極１２０２のセット１２００の例を例示する。図１３は、小型化された基板１３０４上の３つの個々にゲル化された電極１３０２のセット１３００の例を例示する。個々にゲル化された電極１２０２、１３０２（それぞれ図１２〜１３）は、ＮｅｕｒｏＮｏｄｅデバイス７００にマウントするリードワイヤアダプタベースに接続することができる。アダプタプレートのフェース上のプラスチック製キーイングポイントを、ＮｅｕｒｏＮｏｄｅデバイス７００の底部上のマッチングするキーイングポイントで方位付けする（図９）。２つの部品が、パチッという音とともに互いに結合する前に互いに揃っているように注意する。リードワイヤ（２つが白で１つは黒）の黒と白という色コーディングを観察して、これらを、アダプタプレートに存在する付随コネクタの色に合わせる。

【0109】

１つ以上の典型的な実施形態において、図１４は、ＮｅｕｒｏＮｏｄｅコントローラアプリケーション１４０４上に提示されているユーザインタフェース１４０２を有するｉＯＳデバイス１４００などのユーザデバイスを例示する。ＮｅｕｒｏＮｏｄｅコントローラアプリケーション１４０４は、支援制御デバイスとしてＮｅｕｒｏＮｏｄｅデバイス７００（図７）とペアリングするように設計されたＥＭＧ拡張支援通信（Ａｕｇｍｅｎｔｅｄ Ａｓｓｉｓｔｉｖｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ、ＡＡＣ）コントローラアプリケーションとして実行する。アプリケーション１４０４は、ユーザが、パラメータを調整し、ＥＭＧ信号アクティビティを監視して、Ａｐｐｌｅのアクセシビリティスートを利用するｉＯＳデバイス１４００の効率的で効果的な制御を提供する最適な信号成果を保証することを可能とする。ユーザの選定したｉＯＳデバイス上にインストールされたＮｅｕｒｏＮｏｄｅコントローラアプリケーション１４０４を使用して、ＥＭＧデータストリームをグラフ化することを継続しながらも、シグナリング閾値を設定する。このスマートなアプリケーション１４０４は、自動的に再キャリブレートして、介護人または臨床医の支援なしでユーザの強度およびエネルギーのレベルに適応する。

【0110】

ユーザインタフェース１４０２は、（ｉ）ＮｅｕｒｏＮｏｄｅコントローラ設定アイコン１４１０、（ｉｉ）ＮｅｕｒｏＮｏｄｅバッテリレベルインジケータ１４１２、（ｉｉｉ）設定保存アイコン１４１４、（ｉｖ）設定回復アイコン１４１６、（ｖ）グラフ設定編集アイコン１４１８、（ｖｉ）静止レベルリセットアイコン１４２０および（ｖｉｉ）一次停止／再生アイコン１４２２が上に提供されているグラフスクリーン１４０６を提示する。時間の関数としてのＥＭＧ振幅信号トレース１４２４のグラフ描写には、グリッドライン１４２６、閾値レベルインジケータライン１４２８および信号オフレベルインジケータライン１４３０が注釈として付けられている。

【0111】

設定保存アイコン１４１４は、ユーザ制御を提供して、ＮｅｕｒｏＮｏｄｅコントローラアプリケーション１４０４に、現在のスイッチパラメータをＮｅｕｒｏＮｏｄｅデバイス７００の不揮発性メモリに記憶するように指示する。電源投入されると、ＮｅｕｒｏＮｏｄｅコントローラアプリケーション１４０４は、これらの保存された設定を、作業用スイッチパラメータとして使用されるようにロードする。設定回復アイコン１４１６は、アプリケーション１４０４およびＮｅｕｒｏＮｏｄｅ作業用スイッチパラメータを、アプリケーション１４０４が最初に起動したときにＮｅｕｒｏＮｏｄｅデバイス７００（図７）から読み出されたパラメータに設定する。静止レベルリセットアイコン１４２０は、新しいベースラインをユーザの現在のＥＭＧ静止レベルに基づいて設定する。ボタンは、自動ベースラインがオンされていない場合にはグレイアウトされる。一次停止／再生アイコン１４２２は、リアルタイムＥＭＧグラフをオン（スイーピング）およびオフ（一次停止）にトグルする。グラフを一次停止すると、ＮｅｕｒｏＮｏｄｅデバイス７００（図７）を低電力モードにし、そのバッテリ寿命をほぼ三倍にする。また、一次停止されると、ＮｅｕｒｏＮｏｄｅデバイス７００（図７）は、入力デバイスとして切断される。これは、タッチパッドを必要とするｉＯＳデバイス１４００に対して保守または更新を実行する助けとなることができる。

【0112】

１つ以上の典型的な実施形態においては、Ａｐｐｌｅのスイッチコントロールを典型的なｉＯＳデバイス１４００と統合して、ユーザおよび療法士に、テキストを入力し、音声を生成し、さらにより多くのことをする多用途の走査技術を付与する。一典型的実施形態においては、Ａｐｐｌｅ ｉＰａｄ（登録商標）は、（ｉ）キーボード、（ｉｉ）ポインター、（ｉｉｉ）アプリ、（ｉｖ）時計、（ｖ）メニューバー、（ｖｉ）システム、（ｖｉｉ）Ｃｕｓｔｏｍおよび（ｖｉｉｉ）ＬｏｃａｔｉｏｎというＡｐｐｌｅ スイッチコントロールアイコンを含む。Ａｐｐｌｅ ｉＰａｄ（登録商標）には、Ａｐｐｌｅのスイッチコントロールワード予測ソフトウェアおよびテキスト音声ソフトウェアが付随している。スイッチコントロールにより、ＮｅｕｒｏＮｏｄｅは、ユーザが、そのワードを書いて、かつ音声の選定により発声させることを可能とする。予測の精度は、ソフトウェアが最もしばしば使用されたワードおよびフレーズを学習するに連れて増加する。スイッチコントロールの機能は、自己学習ワード予測および履歴と文章の予測の機能を含み、さらに英語、スペイン語、ドイツ語、イタリア語、スウェーデン語、ノルウェー語、デンマーク語またはオランダ語のユーザインタフェースを選定できる。

【0113】

図１５は、グラフ表示を提供するグラフボタン１５０２を含むメインメニューモード１５００にあるＮｅｕｒｏＮｏｄｅコントローラアプリケーション１４０４を例示する。切断ボタン１５０４は、ＮｅｕｒｏＮｏｄｅデバイス７００（図７）を切断する。バッテリを変更する必要があるときまたはＮｅｕｒｏＮｏｄｅデバイス７００（図７）が６０分を越えて使用されないときに、このボタンをタッチする。あるセッション中により短期に中断するために（かつバッテリ寿命を保存するために）、ユーザはＧｒａｐｈ Ｄｉｓｐｌａｙを一時的に停止して、ＮｅｕｒｏＮｏｄｅデバイス７００（図７）をスリープさせ得る。アバウトボタン１５０６は、ＮｅｕｒｏＮｏｄｅのシリアル番号、アプリケーションのソフトウェアバージョンおよびＮｅｕｒｏＮｏｄｅ自身のソフトウェアバージョンを含む、このＮｅｕｒｏＮｏｄｅシステムの識別情報を表示する。診断ボタン１５０８は、自己テスト機能を始動する。

【0114】

図１６は、アプリケーションアイコンドックの中心のグラフ設定アイコンを選択することによりトリガされるグラフ設定モード１６００にあるＮｅｕｒｏＮｏｄｅコントローラアプリケーション１４０４を例示する。ｙ軸最大スライダバー１６０２は、グラフの全面の範囲を設定する。このパラメータを、例えば１００マイクロボルトに設定すると、０〜１００マイクロボルトのＥＭＧ信号が、グラフ上に全面的に現れることを可能とする。視覚信号インジケータラジオボタン１６０４は、スイッチが実施されたときに（すなわち、信号が、閾値振幅を上回るときに）、アプリケーションに表示をフラッシュするように指示する。音声信号インジケータラジオボタン１６０６は、スイッチが実施されたときに（すなわち、信号が、閾値振幅を上回るときに）、アプリケーションが警告音を発生するように指示する。

【0115】

１つ以上の典型的な実施形態においては、スイッチ繰り返し無視スライダバー１６０８は、オリジナルのスイッチの後でユーザが「間違った」スイッチをしているときに助けとなる。これらの意図しないスイッチは、オリジナルのスイッチの後で束縛またはリラックスできないことの結果とすることができる。ＮｅｕｒｏＮｏｄｅに対するスイッチ繰り返し無視設定を保存することは、複数のプラットフォームおよびアプリケーション全体にわたるより首尾一貫したスイッチ性能を提供することができる。自動ベースラインインジケータラジオボタン１６１０は、ＮｅｕｒｏＮｏｄｅを、それが新しいベースラインをユーザの現在の静止レベルに基づいて設定する動作モードに設定する。静止レベルが減少すると、ＮｅｕｒｏＮｏｄｅは、静止レベルをベースラインとして使用する。動的／静的スケーリングラジオボタン１６１２は、ＥＭＧ信号がスイッチとしてカウントされるためには満たさなければならない動的であるかまたは固定した基準をそれぞれ課す。後者の基準は、時間が経過しても不変のままである。

【0116】

静的モードにあるとき、閾値振幅スライダバー１６１４は、信号がスイッチとしてカウントされるためには上回らなければならないＥＭＧ振幅を設定する。信号オフ振幅スライダバー１６１６は、信号が、新しいスイッチがカウントされることができる前に低下しなければならないＥＭＧ振幅を設定する。このパラメータを閾値振幅と同一のレベルに設定することは、信号オフ振幅をスイッチ決定子として除去する。

【0117】

１つ以上の典型的な実施形態においては、動的スケーリングは、スイッチが実施されたかをユーザのパフォーマンスに基づいて決定するために時間の経過とともに基準を変更する。ＥＭＧ静止レベルおよびＥＭＧシグナリングレベルの両方が、この進行中の算出において使用される。したがって、ＮｅｕｒｏＮｏｄｅは、ユーザが疲労するに連れてまたは電極インタフェース状態が変化するに連れてスイッチすることをより容易なものとする。

【0118】

動的モードにあるとき、動的スケーリング閾値振幅インジケータスライダバー１６１８は、ＮｅｕｒｏＮｏｄｅの動的スケーリングモードにあるときに使用されるスケールを設定する。レベルが低いほど、スイッチが実施されることを可能とする際のＮｅｕｒｏＮｏｄｅの感度がより高くなる。信号オフ振幅スライダバー１６２０は、別のスイッチが許容される前にスイッチが下回らなければならないレベルを設定する。これを１００％に設定することは、信号オフ振幅をユーザの進行中の平均静止レベルに設定する。このパラメータを閾値振幅と同一のレベルに設定することは、信号オフ振幅をスイッチ決定子として除去する。

【0119】

１つ以上の典型的な実施形態においては、電極配置は、任意のポイントにおいて変更することが可能な査定中でＥＭＧターゲットの筋肉を選定することを伴う。ＮｅｕｒｏＮｏｄｅデバイス７００（図７）を使用するためには、唯一の効果的なターゲットの筋肉しか必要とされない。この筋肉は、２つの基準、すなわち（ｉ）筋肉は、少なくとも最小限度、収縮コマンドに応答すべきであることと（ｉｉ）筋肉は静止状態にタイムリーに戻るべきであることに基づいて選定される。筋肉は、最適なレベルで機能する必要はない。ＮｅｕｒｏＮｏｄｅデバイス７００（図７）は、ターゲットの筋肉部位において最小の信号に確実にかつ正確に応答するように設計される。

【0120】

ＮｅｕｒｏＮｏｄｅの配置は正確である必要はないとはいえ、デバイスをターゲットの筋肉部位に配置するためのいくつかの一般的なガイドラインが存在する。三重電極（図１１）を使用するとき、バッテリカバーに平行に走行する２つの能動型電極がＮｅｕｒｏＮｏｄｅの底部に位置付けられる。単一電極およびリードワイヤアダプタベース（図１２および１３）を使用するとき、２つの能動型電極（白色のスナップ）を、スイッチを生成するために使用されている筋肉の全長にわたって配置すべきである。基準電極（黒色のスナップ）は、他の２つの能動型電極に対して二等辺三角形の関係で、または身体上のどこか電気的に中性の部位に配置することができる。

【0121】

良好な信号が確立されて、かつスイッチコントロールを開始する前においては、支援技術デバイス上のアイテムを選択するためのユーザのスイッチになる良好な信号が、ＮｅｕｒｏＮｏｄｅにより確定される。良好な信号は、静止レベルとスイッチレベルとの間の明瞭な分離を有することを特徴とする。

【0122】

１つ以上の典型的な実施形態においては、スイッチコントロールをオンおよびオフすることは、ステップ１で、ｉＯＳデバイス上で設定アイコンを選択する。ステップ２で、設定内の一般的なタブを選択する。ステップ３で、一般的なタブ内のアクセシビリティ設定を選択する。ステップ４で、アクセシビリティタブでスイッチコントロールを選択することで実行される。緑色のスイッチコントロールスイッチは、スイッチコントロールがオンであることを示す。ステップ５で、スイッチコントロールスイッチ上でタップして、スイッチコントロールをオンする。灰色のスイッチコントロールスイッチは、スイッチコントロールがオフであることを示す。

【0123】

１つ以上の典型的な実施形態において、スイッチコントロールは、複数のスイッチで構成することができる。ＮｅｕｒｏＮｏｄｅの場合、スイッチアクションのうちの一つが、選択されたアイテムを選定するようにすることができる。

【0124】

１つ以上の典型的な実施形態において、走査スタイルは、設定された持続時間後に走査しながら焦点を移動させる自動走査を選択するように構成することができる。１つ以上の実施形態において、手動走査選択は、焦点を移動させるためにスイッチを実施し、アイテムを選択するために別のスイッチを実施することを必要とする。単一のスイッチ走査選択は、焦点を移動せるためにスイッチを実施することを必要とする。設定された持続時間後に何もアクションをとらない場合、焦点が合っているアイテムが自動的に選択される。

【0125】

自動走査時間は、自走走査スタイルを使用しているときにパネル内で１つのアイテムから別のアイテムへステップするために必要とされる秒数（例えば、最大で５、１０、１５、２０、２５、３０秒またはそれ以上）である。第一アイテム選択上での一次停止は、自動走査がパネル、群またはユーザインタフェース内の第一アイテム上に留まる秒の数（例えば、最大で２、３、４、５、６、７、８、９、１０秒またはそれ以上）である。ループ設定は、スイッチコントロールが走査を繰り返す回数を設定する。タップ挙動設定は、アイテムを選択するためにスイッチが起動されたときに発生するものを調整する。デフォルト設定は、アイテムが選択されると、スキャナメニューを示す。自動タップ設定は、設定された持続時間中に別のスイッチが実施されない限り、自動的にアイテムを選択し、この時にスキャナメニューが出現する。常時タップ設定は、スキャナメニューを示すのではなくて強調されたアイテムを自動的に選択する。この設定は、アイテムモードで走査中にのみ動作し、走査の終了時にスキャナメニューを置く。タップ後焦点合わせアイテム設定は、あるアイテムが選択された後にどこから走査が再スタートするか、「第一アイテム」（すなわち、走査の開始）からまたは「現在のアイテム」のところからであるかを決定する。繰り返し無視設定は、あるスイッチの繰り返し押圧が無視される秒の数（例えば、最大で６、７、８、９、１０、１２、１４、１６秒またはそれ以上）である。滑動カーソル速度は、滑動するカーソルがスクリーン上を運動する「１」（遅速）〜「１００」（高速）の速度である。この設定を使用して、ポイントモードにある間に、速度を調整する。音声設定は、走査中に音声合図をオンまたはオフにする。カーソル色設定コントロールは、ポイントモードにおいては移動しているカーソルの色またはアイテムモードにおいては群化されたアイテムの色を制御する。

【0126】

アクセシビリティショートカットを設定することは、システム設定に侵入することなくスイッチコントロールをオンおよびオフにする迅速で効率的な方法を提供する。アクセシビリティショートカットを作成するために、アクセシビリティ設定が、スイッチコントロールを以前に説明したように可能とすることにより構成される。その後、アクセシビリティショートカットは「スイッチコントロール」に設定して、ユーザが、ホームボタンを迅速に連続して三回押してオンおよびオフにすることによりスイッチコントロールをオンおよびオフにすることを可能とする。

【0127】

１つ以上の典型的な実施形態において、誘導されたアクセス設定は、ｉＯＳデバイスを単一のアプリケーションに限定して、ユーザが、どのアプリケーション機能が利用可能とするかを制御することを可能とする。誘導されたアクセスにより、ユーザは、一時的にｉＯＳデバイスを単一のアプリケーションに制限し、より重要なこととしては、偶然のジェスチャまたは選択が好ましからざるアクションを引き起こし得るスクリーンのエリアを無効化することが可能である。

【0128】

１つの典型的なモードにおいて、ｉＯＳデバイスのホームスクリーンから、デフォルトのスイッチコントロール走査モードはアイテムモードである。アイテムモードは、スクリーン上のアイテムまたは群を一時に一つ強調する。ポイントモードは、スクリーン上のアイテムを、それを走査中の十字線でピンポイントすることにより選択することを許容する。ポイントモードからアイテムモードに変更することは、スイッチコントロールタップ挙動設定内のタイミングパラメータを調整することを含む。ステップ１において、デフォルト設定は０．２０秒でるが、自動的に２．０秒に設定される。ステップ２において、ｉＯＳデバイス上の任意のアイテムまで走査してこれを選択する。いったんあるアイテムが選択されると、２秒で別のスイッチを実施して、スキャナメニューを表示する。ステップ３において、アイテムモードにまで走査してこれを選択する。アイテムモードにある場合、ポイントモードにまで走査してこれを選択する。全体的速度を増加させるには、スイッチコントロールタップ挙動に戻ることが助けとなり得る。

【0129】

ＮｅｕｒｏＮｏｄｅはまた、眼追跡デバイス（眼凝視とも呼ばれる）で動作する。眼追跡は、頭部に対する眼の動きを追跡する技術である。通常の実施形態においては、眼追跡装置は、眼が向けられているところを観察し、その後「Ｓｅｌｅｃｔｉｏｎ」を処理することによりユーザの意図を決定する。選択は、眼が向けられているものを選定するプロセスである。通常は、選択は、なんらかの所定の時間にわたって凝視をしかるべき位置に維持することまたは閉眼を実施することにより実施される。ＮｅｕｒｏＮｏｄｅシステムは、標準のＳｅｌｅｃｔｉｏｎ戦略の替わりとしてのＳｅｌｅｃｔｉｏｎ機構として使用することができる。Ｓｅｌｅｃｔｉｏｎに対するＮｅｕｒｏＮｏｄｅは、他のＳｅｌｅｃｔｉｏｎ方法と関連付けられたユーザ疲労を著しく減少させながらも、眼追跡通信の速度を著しく増加させることができる。

【0130】

本発明の眼凝視ユーザインタフェースおよび方法は、多種多様な異なるタイプの、ヘッドマウント式またはそうでない眼凝視検出および仮想表示デバイス上に実装することができることを理解すべきである。いくつかの場合においては、デバイスがヘッドマウント式である場合もあり得るし、デバイスがヘッドマウント式でない場合もあり得る。ユーザの両眼の一方の眼の凝視方向を監視するのみであり得るデバイスもあれば、ユーザの両眼の両方の眼の凝視方向を監視し得るデバイスもある。デバイスは概して、記号などの様々な可視のターゲットが、凝視固有の何かをユーザに与えるために表示され得るディスプレイを有する。本明細書においては、概してそのようなディスプレイは、シースルーの仮想ディスプレイとして示されているが（このタイプのディスプレイはユーザが、仮想ディスプレイの向こう側の周囲を見ることを可能とするためである）、いくつかの実施形態においては、デバイスは、標準の非シースルータイプのディスプレイを利用する。

【0131】

デバイスは、眼の外観から眼凝視方向を解釈する自動画像分析ソフトウェアとともに眼に向けられたビデオカメラを含む多くの方法により眼凝視方向を監視し得る。こうする替わりに、デバイスは、眼の表面からの光を跳ね返し、反射された単数または複数の光線の方向に注目することにより、または他の手段により眼凝視方向を監視し得る。

【0132】

デバイスは、一般的には、視覚ディスプレイを制御するために、しばしば少なくとも１つのマイクロプロセッサ、メモリおよびソフトウェアを含むコンピュータ動作されるデバイスである。デバイスは、概して、１つのまたは複数の眼凝視センサからの入力を取り込み、この入力を眼凝視方向に変換し、この眼凝視方向を、特定の可視要素およびデバイスのディスプレイ上でのこの特定の可視要素と関連付けられた眼位置ゾーンと相関させる。デバイスは、くわえて、他の外部デバイス、携帯電話ネットワークおよびインターネットなどのネットワークとの間で通信する有線または無線のネットワーク接続部などの通信デバイスを含み得る。いくつかの実施形態においては、このマイクロプロセッサおよび通信デバイスは、自身はユーザの頭部にマウントされるデバイスの内部にあり得るが、他の実施形態においては、デバイスは、むしろ、スマートデバイスでなくてもよく、マイクロプロセッサおよび通信デバイスは、むしろ外部デバイスに、場合によってはケーブルでデバイスに接続され得ることに注意されたい。

【0133】

文脈実施形態

【0134】

本開示は、人間ユーザのアクティビティに関連する情報システムからのコンテンツに選択および提示のための一連の動的ワークフローを可能とする様々な技法および構成を例示する。本明細書に記載するようなＮｅｕｒｏＮｏｄｅで使用される動的ワークフローは、ユーザおよび他者ならびに関連するアクションの間の関連し、かつタイムリーな通信を達成するためのユーザインタフェースとユーザ通信プラットフォームとの統合を可能とする。本明細書に記載する動的ワークフローはさらに、ソーシャルネットワークおよび携帯可能通信媒体と統合されて、様々な設定において、ユーザに対するコンテンツのさらなる利用可能性および送信を提供し得る。

【0135】

一例において、インターネットでホストされた情報サービスが、一連の動的変化するユーザインタフェースを通じてユーザに提案される。例えば、ソフトウェアアプリケーションを使用して、関連し、かつタイムリーな通信、示唆およびコンテンツをしかもユーザから収集し、表示、送信し得る。情報サービスを使用して、対象者である人間のユーザまたは患者と直接的に相互作用してそのワークフローの態様を実現し得ると同時にまた、友人、家族、エキスパート、プロフェッショナルなどの他の人間またはエージェントとの相互作用を容易化する。

【0136】

ワークフローは、動的にユーザの現在の状態を査定する様々な評価と統合し得る。例えば、一連の評価からのユーザ相互作用を収集して、ユーザの健康、ロケーション、時間および日付、近くの他の人物などを監視し、測定して、ユーザとのリアルタイムな相互作用を容易化し得る。

【0137】

本開示により説明するようなＮｅｕｒｏＮｏｄｅの動的ワークフローおよび様々な相互作用アプリケーションは、電子情報システムからの関連するコンテンツの受信、処理および送信目的で構成され得る。情報システムは、本明細書にさらに説明するように、人間のアクティビティを促進し、究極の目的に向かって進行するために関連するコンテンツを送信する一連のワークフローおよび処理アクティビティにより人間の対話を実現し得る。関連するコンテンツは、次の技法にしたがって、押すまたは引く方法で、スケジュール通りにもしくは決定された条件に応答して、ならびに情報システムから手動でもしくは自動的に提供され得る。

【0138】

１つ以上の実施形態において、本発明のコンピューティングデバイスのユーザに対する経験は、文脈依存する方法でコンピューティングデバイスを動作させることにより著しく強化され得る。文脈および、したがってコンピューティングデバイスの所望される動作は、コンピューティングデバイスのロケーションと、ユーザの意図が推測され得る元になるアクションとに基づいて決定され得る。そのような動作は、コンピューティングデバイスの所望される構成と関連付けられているものとして設計されているロケーションに対するその位置を感知することができるコンピューティングデバイスにより達成され得る。例えば、そのロケーションが寝室にあるコンピューティングデバイスは、それ自身を目覚まし時計として自動的に構成する、または睡眠／覚醒アクティビティのためのメニューを提起し得る。いくつかの実施形態においては、コンピューティングデバイスの文脈は、近接性ベースのラジオを使用してタグから値を読み出すことにより決定され得る。タグは、コンピューティングデバイスから放出された放射線に応答する受動型タグであり得る。

【0139】

文脈依存性ユーザインタフェース入力が提供され得る。本発明の実施形態によれば、テキスト入力機能を持つユーザインタフェース要素が、アプリケーションユーザインタフェース（ＵＩ）の一部として提供され得る。ＵＩ要素は、アプリケーションアクションを構築する際に支援となるようにタイプするときにユーザに提示される図形支援機能を含み得る。ＵＩ要素は、文脈依存性示唆を提供し得る、すなわち、要素がユーザの文脈について何を知っているか（例えば、カレンダもしくは電子メール機能などのアプリケーション焦点およびユーザがすでに何をタイプしたか）を考慮して、コントロールは、ユーザが次に何を入力し得るかについての異なるオプションおよび／または示唆を提案し得る。

【0140】

モバイル環境内での文脈に基づいてコンテンツを取り出すための例となるシステムおよび例となる方法が開示されている。１つの例となる実施形態において、方法は、ユーザがデバイス内の指定されたアプリケーションと相互作用しているときに事象を受信するＮｅｕｒｏＮｏｄｅシステム１００（図１）内のアプリケーションを使用することを含む。動作中、アプリケーションは、指定されたアプリケーションを文脈情報がないか監視することを開始する。アプリケーションが文脈情報の存在を検出するとき、それは、指定されたアプリケーションから文脈情報を取り出して、取り出した文脈情報を使用して、取り出された文脈情報に関連するデバイス内の他のアプリケーションのコンテンツを検索し得る。

【0141】

ユーザインタフェースコントロールは、ユーザがアクションをタイプし得るテキストボックスを含み得る。アクションは、アプリケーションにより定義された文法に従い得る「センテンス」を含み得る。ユーザが「トークン」（ワード）を入力してアクションを構築するに連れて、グラフィカルユーザインタフェースは、テキスト入力欄に従い得るとともに、アクションを構築し続けるために次にタイプされ得るおよび／または選択され得るトークン上に示唆を提供し得る。いったんユーザが終了すると、完成された実行可能なアクションが、処理目的でアプリケーションに送信され得る。

【0142】

文脈アプリケーションは、所定の文脈において文脈情報がないか、デバイス上にインストールされた他のアプリケーションを監視し得る。いくつかの例となる実施形態においては、所定の文脈は、固有の1つまたは複数のアプリケーションであり得る。他の例となる実施形態においては、所定の文脈とは、1つ以上のアプリケーション内の固有の1つまたは複数のフィールドのことであり得る。さらに別の例となる実施形態においては、所定の文脈は、1つ以上のアプリケーション内の指定されたグラフィカルインタフェーススクリーンまたはスクリーン（すなわち、1つまたは複数のページ）であり得る。さらに別の例となる実施形態においては、所定の文脈は、デバイスに関する、グローバルポジショニングシステムサービスからのロケーション、カレンダサービスからの日付またはクロックサービスからの時間などの、システムサービスにより自動的に提供された特定の情報またはデータであり得る。

【0143】

文脈情報は、多種多様なアプリケーションに対して使用することができるとともに、概して、何らかの理解に関連する情報として特徴付けることができる。例えば、従来は、文脈は、ロケーションおよびその周囲の環境、人々、場所、本などのテキストに命名された物事のアイデンティティなどについての情報を含む。しかしながら、他のタイプの情報は、次世代の通信サービスに対する恩典と同じほどまたはそれを上回りすらする恩典であることを約束する。文脈情報を使用して、アプリケーションは、文脈情報に関連している他のアプリケーションからの結果を検索して提供し得る。アプリケーションは、デバイスのユーザが１つ以上の指定されたアプリケーションと相互作用しているときに文脈情報を受信し得るとともに、そのようなアプリケーションが基準のセットまたは所定の文脈を満たすときにアクセスされているアプリケーションからコンテンツを取り出し得る。

【0144】

他の例となる実施形態においては、文脈アプリケーションは、１つ以上の控えめな方法で、デバイスのユーザに結果を通知するように構成され得る。例えば、取り出されたコンテンツは、ＮｅｕｒｏＮｏｄｅシステムのステータスバーもしくは通知バーに、または関連するコンテンツが取り出されてステータスウィンドウ（例えば、接続性強度または残っているバッテリ寿命が一般的にわかるようなところ）に表示され得ることを示すインジケータ中に表示され得る。別の例となる実施形態においては、文脈アプリケーションは、結果または結果がＮｅｕｒｏＮｏｄｅシステムからリモートに位置付けられ、かつこれと通信可能に結合されたデバイスに受信されたという通知を送信し得る。そのようなリモートデバイスは、モバイルデバイス、またはＢｌｕｅｔｏｏｔｈもしくはＷｉ−Ｆｉなどの有線または無線の接続を介してＮｅｕｒｏＮｏｄｅシステムと通信することが可能な時計であり得る。そのような送信は、ＮｅｕｒｏＮｏｄｅシステム内で、通知にくわえてまたはその替わりに実施され得る。

【0145】

文脈アプリケーションは、プロセッサにより実行可能であるＮｅｕｒｏＮｏｄｅシステム上にインストールされた任意のアプリケーションまたは別のコンピュータプログラムであり得るとともに、コンピュータ可読媒体上に記憶することができる。いくつかの例となる実施形態においては、文脈アプリケーションとは、ファームウェアおよび／またはソフトウェアとファームウェアとの組み合わせのことであり得る。いくつかの他の例となる実施形態においては、文脈アプリケーションは、ウェブ上でまたはネットワークを介して実行され得る。文脈アプリケーションは、他のアプリケーションからコンテンツを取り出すために文脈アプリケーションにより使用することができるコンテキスト情報を処理、編成、操作、記憶、生成、表示および／または別様にレンダリングし得る。

【0146】

１つ以上の実施形態においては、文脈アプリケーションは、ＮｅｕｒｏＮｏｄｅシステム上で実行中のすべてのアプリケーションを監視するように構成され得る。ＮｅｕｒｏＮｏｄｅシステム上で実行中の任意のアプリケーションに対してあるユーザ相互作用が発生するとき、文脈アプリケーションに通知され得る。文脈アプリケーションはその後、相互作用が発生するアプリケーションが、定義された構成内で識別されるかを決定し得る。いくつかの他の例となる態様においては、文脈アプリケーションは、例えばＣｏｎｔａｃｔアプリケーションなどの固有のアプリケーションのみを、ＮｅｕｒｏＮｏｄｅシステムのユーザによる相互作用がないか監視するように構成され得る。

【0147】

文脈アプリケーションは、製造業者、サービスプロバイダおよび／またはＮｅｕｒｏＮｏｄｅシステムのユーザが、ＮｅｕｒｏＮｏｄｅシステム上にインストールされた他のアプリケーションのうちのどれが監視されるかを設定し、監視されるアプリケーションに対する所定の文脈を構成することを可能とする１つ以上の設定を含み得る。いくつかの代替の例となる実施形態においては、製造業者、サービスプロバイダおよび／または文脈アプリケーションのアドミニストレータは、文脈設定および／または所定の文脈を構成し得る。

【0148】

１つ以上の実施形態においては、文脈アプリケーションを、特定の事象がＮｅｕｒｏＮｏｄｅシステム内で発生していないかアプリケーションを監視または検出するように構成し得る。事象は、ＮｅｕｒｏＮｏｄｅシステムとのユーザの相互作用の結果として実行された任意の事象、ＲＦＩＤ、ＧＰＳ、顔認識、音声認識、時間／日付のようなセンサの結果として実行された任意の事象などであり得る。いくつかの例となる実施形態においては、事象とは、デバイスセンサまたは、例えばロケーションサービス、アクセシビリティヘルパーサービスまたは日付および時間サービスなどのシステムサービスによりトリガされた事象のことであり得る。

【0149】

ユーザ相互作用とは、ユーザが特定のアプリケーションにアクセスし、これでコンタクトリストアプリケーションのウィンドウがＮｅｕｒｏＮｏｄｅシステムのユーザインタフェース内に表示されるようにするＮｅｕｒｏＮｏｄｅシステム内の事象のことであり得4る。いったん文脈情報が設定および／または取り出されると、文脈情報が、1つ以上の文脈アプリケーションにより利用されて、文脈情報に関連したコンテンツを1つ以上のアプリケーションから取り出し得る。

【0150】

１つの例となる実施形態においては、文脈アプリケーションを背景において実行していると同時に、別のアプリケーションがアクセスされ、これによりユーザがあるアプリケーションにアクセスしてこれと相互作用するときに、文脈アプリケーションが、ユーザの介入なしでおよび／またはアプリケーションから控えめに文脈情報を取り出して、取り出された文脈情報を利用して任意のアプリケーションからのコンテンツを検索し得るようにし得る。

【0151】

いくつかの代替の例となる実施形態においては、アプリケーションは、ＮｅｕｒｏＮｏｄｅシステムに通信可能に結合された１つのデバイスまたは複数のデバイス上にインストールされ得る。例えば、アプリケーションは、リモートサーバ、または、タブレットコンピュータ、時計などの他のモバイルデバイス上に記憶されたウェブアプリケーションまたは他のアプリケーションであってもよいし、文脈アプリケーションは、ＢｌｕｅｔｏｏｔｈまたはＷｉ−Ｆｉなどの有線または無線の接続を介してアプリケーションからデータを検索し得る。

【0152】

１つ以上の実施形態において、文脈アプリケーションは、ユーザが正常なコンピュータまたはモバイルデバイスと相互作用することを妨げる一時的障害または条件を有するユーザまたは患者で使用されるように構成され得る。例えば、病院のベッドに拘束されている人がＮｅｕｒｏＮｏｄｅシステムを利用して、通信し、デバイスを制御し、相互作用または緊急の事象を信号通知したりなどができる。いくつかの例となる実施形態においては、ある人が身体障害者というわけではいないが、地下鉄や航空機に閉じ込められている場合のように環境的または状況的な要因のために拘束されるということがあるのだが、このようなときに、ＮｅｕｒｏＮｏｄｅシステムを利用して、記述やジェスチャや発声に頼ることなく、通信したり、デバイスを制御したり、電子的に相互作用したりすることができる。事象は、ユーザがＮｅｕｒｏＮｏｄｅシステムと相互作用して実行できる任意の事象であり、ＲＦＩＤ、ＧＰＳ、顔認識、音声認識、時間／日付のようなセンサの出力として実行された任意の事象などであり得る。いくつかの例となる実施形態においては、事象とは、デバイスセンサまたは、例えばロケーションサービス、アクセシビリティヘルパーサービスまたは日付および時間サービスなどのシステムサービスによりトリガされた事象のことであり得る。

【0153】

１つ以上の実施形態において、文脈アプリケーションは、特定の事象がＮｅｕｒｏＮｏｄｅシステムなしで発生していないかアプリケーションを監視または検出するように構成され得る。事象は、ユーザが１つ以上のセンサと相互作用した結果として実行された任意の事象、ＲＦＩＤ、ＧＰＳ、顔認識、音声認識、時間／日付のようなセンサの結果として実行された任意の事象などであり得る。いくつかの例となる実施形態においては、事象とは、デバイスセンサまたは、例えばロケーションサービス、アクセシビリティヘルパーサービスまたは日付および時間サービスなどのシステムサービスによりトリガされた事象のことであり得る。

【0154】

１つ以上の実施形態において、文脈アプリケーションは、ＮｅｕｒｏＮｏｄｅシステムを持つまたは持たないアプリケーションユーザインタフェース（ＵＩ）の一部としてテキスト入力が提供され得る文脈依存性ユーザインタフェースを利用するように構成され得る。例えば、概して、老人患者またはアルツハイマー病や認知症を持つ人などある人物が一時的または永続的な精神障害があり得るが、この場合、ユーザは、文脈依存性ユーザインタフェース要素を利用して、患者またはユーザを1日を通して誘導するユーザ経験のためのパネルの階層システムを提示することができる。例えば、システムは、ユーザの環境についての文脈を収集して、通信のオプションをこの文脈に基づいて調整する。

【0155】

さらに、任意の数のパネルが、ページング方法で情報を提示し得ることが理解される。本明細書で使用される「ページング」とは、アイテムの大きいまたは実質的なリストを取り上げてそれらをセグメント化し、これでネットワークという観点からは、データおよび／または情報が迅速で効率的な方法で提示され得るようにする方式を意味する。ページング機能をディスプレイに組み込むことにより、任意の数のパネルがネットワーク全体にわたってデータの一部分しか送信せず、これで、データ転送コストが減少し、このデータ転送による遅延が減少し得る。ページングの一例は無限スクロールであり、これにより、提示された情報が、現在提示されているページの最後までスクロールされると、セグメント化された情報を次いで自動的にページングすることが理解されるであろう。

【0156】

カスタム通信パネルに対する文脈は、ＡＩデバイスに対する自動クエリを通じてまたは他のセンサシステムを通じて収集することができる。文脈は、時刻、ユーザに近接している人物、温度、曜日、カレンダエントリ、医療データもしくはセンサ入力、またはユーザが何を言いたいかもしくはしたいかを変更する他の任意の入力とすることができる。通信パネルがユーザに対してユーザのコンピュータ（デバイス）上に出現して、これらのカスタム化された選定を提案する。これは、リストもしくはボタン配列の形態とすることができ、第三者の文脈を含むが、これは、存在する（または言及される）人物に依存して、特定のアイテムが事前に作成されたパネルを提起する。文脈生成されたボタンは、例えば平日の午後４時で、学校に通っている年齢の娘さんが部屋に入ってくれば「学校はどうでしたか」と現れる。例えば介護士が午後部屋にいて、現在の天気が雨の降らない青天であれば、文脈生成されたボタンは、「私を外出させてくださいませんか」と現れる。システムを使用して、文脈依存性スイッチを利用すると、名前や方向を覚えることなくスマート電化製品を制御して動作させることができる。スマート住宅システムは、冷蔵庫、ストーブ、電子レンジ、トースター、コーヒーメーカー、目覚まし時計、サーモスタット、加湿器、スプリンクラシステム、照明、調光器などの１つ以上の住宅電化製品を含むことができるが、これらの電化製品に限定されない。１つ以上の実施形態において、制御サーバおよび／またはコントローラクライアントは、オン／オフタイマー、変調（例えば、オーブンの温度など）、一次停止、スヌーズなどの１つ以上の住宅電化製品の動作および／または機能を制御する。

【0157】

１つ以上の実施形態において、所定の文脈は、Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ（ＨＴＭＬ）タグもしくはＨＴＭＬユーザインタフェース（ＵＩ）要素、コンテナ、または記録を突き止めるために別のアプリケーションにより使用され得る情報、データもしくは値を含む変数であり得る。ＨＴＭＬ要素は、ＨＴＭＬ文書の構成要素であり得るとともに、情報、データまたは値は、他のＨＴＭＬ要素、テキストなどを含み得る。構成されたフィールド内のデータは、例えばラベル、ストリング識別子、数識別子または任意の文字列などのアプリケーションにより認識されることが可能な任意のデータタイプであり得る。

【0158】

別の例となる実施形態においては、所定の文脈は、Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ（ＸＭＬ）タグもしくは対応するユーザインタフェース（ＵＩ）要素、コンテナ、または記録を突き止めるために別のアプリケーションにより使用され得る情報、データもしくは値を含む変数であり得る。ＸＭＬ要素は、ＸＭＬ文書の構成要素であり得るとともに、情報、データまたは値は、他のＸＭＬ要素、テキストなどを含み得る。ＸＭＬ要素は、ＸＭＬ Ｐａｔｈ Ｌａｎｇｕａｇｅ（ＸＰａｔｈ）ロケーション経路を介して参照され得る。構成されたフィールド内のデータは、例えばラベル、ストリング識別子、数識別子またはテキストの任意のストリングなどのアプリケーションにより認識されることが可能な任意のデータタイプであり得る。

【0159】

例えばあるアプリケーションが複数のユーザインタフェースまたはページを有するいくつかの例となる態様においては、そこから情報を取り出すことができるある固有のインタフェースを、文脈アプリケーションの定義された構成内に設定することができる。このような例となる態様においては、事象が定義された構成を満たすかを決定することは、ユーザにより現在アクセスされている最中のユーザインタフェースまたはページ（すなわち、「能動型の」インタフェースまたはページ）が、所定の文脈として具体的に定義されたアプリケーションのユーザインタフェースであることを検証することを含み得る。

【0160】

いくつかの例となる態様においては、文脈アプリケーションはまた、文脈情報に関連するコンテンツに対する検索の結果の識別または利用可能性に関する通知をデバイスユーザに提供し得る。いくつかの例となる実施形態においては、ユーザに対する通知の提供は、ＮｅｕｒｏＮｏｄｅシステム内の通知層を使用して控えめに実行され得る。他の例となる実施形態においては、通知は、テキストまたは電子メールを介して送信されるメッセージであり得る。ユーザがアプリケーションにアクセスしている間に通知をユーザに提供する他の控えめな方法が技術上周知であろう。いくつかの代替的な例となる実施形態においては、スマートウォッチなどのモバイルデバイスは、ＮｅｕｒｏＮｏｄｅシステムに通信可能に接続され得る。そのような例となる実施形態においては、検索結果の通知は、第二モバイルデバイスに送信され得る。そのような通知は、テキストもしくは電子メールメッセージ、振動、光、背景の変化または他の周知の方法を通じて発生し得る。

【0161】

１つ以上の実施形態において、本発明は、任意のデータソースのデータと自然な方法で相互作用するためにユーザとの相互作用モデルを実現するためのシステムおよび方法を提供する。いくつかの例においては、システムは、ユーザから自然言語の入力を受信し、キーワードマッピング、ファジー論理、文脈感度および履歴検索データなどの複数の技術を使用して入力を処理する。

【0162】

１つ以上の実施形態において、本発明は、自己学習および文脈依存性セマンティック層が、ユーザが１つ以上のデータソースから自然な方法でデータを取り出して報告することを許容することを可能とする相互作用的な動的モデルを使用するデータ取り出しのためのシステムおよび方法を提供する。ユーザを事前定義されたまたは静的なモデルに押し込み、それによりユーザのアクセスを質問およびデータ報告の事前定義されたセットにしか許容しないのではなくて、システムは、ユーザが、会話に類似した方法、例えば広いレベルから開始してその後、彼／彼女が突き止めようと試行する固有のエリアを詳述する方法でデータを探索することを許容する。

【0163】

１つ以上の実施形態において、ＮｅｕｒｏＮｏｄｅシステムは、ユーザがシステムをより多く使用するに連れて複数のレベルで学習するように構成される。１つ以上の実施形態において、ＮｅｕｒｏＮｏｄｅシステムがどのようにキーワードが既存のデータ構造にマッピングされるか（例えば、どのようにそれがデータソースのデータエントリまたはテーブル名にマッピングされるか）を理解しない場合、ＮｅｕｒｏＮｏｄｅシステムは、キーワードについての情報をユーザから受信する相互作用オブジェクトを提供する。

【0164】

１つ以上の実施形態において、１つ以上のデジタルアシスタントなどの１つ以上のフロントエンドシステムを、ユーザ環境内で展開される１つ以上のバックエンドシステムに接続するように構成された１つ以上の文脈依存性メイン通信パネルモジュールが開示される。デジタルアシスタントまたはチャットボットとも呼ばれるデジタルアシスタントは、ユーザに対するタスクを実行するように構成可能なソフトウェアエージェントである。デジタルアシスタントの例は、Ａｐｐｌｅ Ｓｉｒｉ、Ｇｏｏｇｌｅ Ａｓｓｉｓｔａｎｔ、Ａｍａｚｏｎ ＡｌｅｘａおよびＭｉｃｒｏｓｏｆｔ Ｃｏｒｔａｎａを含む。デジタルアシスタントは一般的には、１つ以上のテキスト（例えば、インスタントメッセージアプリケーションなどのオンラインチャット）、音声、画像または映像入力もしくは出力を介してユーザと相互作用する。デジタルアシスタントは、自然言語処理（ＮＬＰ）を使用して、ユーザ入力をユーザの意図にマッチングさせる。多くのデジタルアシスタントが、機械学習を含む人工知能技法を使用して、そのマッチング性能を改善する。デジタルアシスタントは一般的に、開始用語（例えば、Ａｍａｚｏｎ ＡＬＥＸＡに対する「Ａｌｅｘａ」またはＧｏｏｇｌｅ ＡＳＳＩＳＴＡＮＴに対する「ＯＫ Ｇｏｏｇｌｅ」）を使用して起動される。

【0165】

１つ以上の実施形態において、１つ以上の文脈依存性メイン通信パネルモジュールは、意図、文脈または分類のうちの少なくとも一つを、１つ以上のフロントエンドシステムにおいて受信したコマンドから推測するように構成されたモジュールと、１つ以上の要求を生成し（例えば、１つ以上のコマンドを１つ以上のバックエンドシステムに分配し）、１つ以上の要求に対する１つ以上の応答を受信し、１つ以上の機械学習された提示ルールにしたがって応答をフォーマットし、将来のコマンド処理で使用されるインサイトを生成するように構成された学習モジュールと、（例えば、バックエンドシステムと関連付けられたデータソースおよび／または外部のパブリックなデータソースなどの１つ以上のバックエンドシステムの外部のデータソースをクエリするまたはスクレイプするためのコマンドなどの１つ以上のコマンドを実行することにより）１つ以上の要求に対する１つ以上の応答を生成するように構成されたルッキングモジュールとを含む。１つ以上の実施形態において、応答の出力は、１つ以上のデジタルアシスタントなどの１つ以上の接続されたフロントエンドシステムを通じる。

【0166】

例となる実施形態において、学習モジュールは、機械学習技法を用いて、フロントエンドシステムから受信されたコマンドの意図、文脈および分類、ならびに、１つ以上のフロントエンドシステムから受信されたコマンドの機械学習されたユーザワークフローに対するマッピングを決定するために使用されるユーザ固有語彙を含む各々のユーザ環境と関連付けられたワークフローを学習する。上述したように、展開された１つ以上のバックエンドシステム中への機械学習された経路に対するクエリの機械学習されたマッピングに基づいて、学習モジュールは、１つ以上の要求を、ユーザのために展開された１つ以上のバックエンドシステムに自動的に提出する。

【0167】

図１７は、ＮｅｕｒｏＮｏｄｅシステム１００（図１）に対する人工知能（ＡＩ）インタフェースとしての文脈依存性メイン通信パネル１７００を例示する画面図である。メイン通信パネル１７００は、メニューアイコン１７０１〜１７０６、英数字キーパッド１７０８およびクエリエントリボックス１７１０を含む。メニューアイコン１７０１〜１７０６は、削除アイコン１７０１、ＮｅｕｒｏＮｏｄｅシステム送信アイコン１７０２、テキストツー音声セッションアイコン１７０３、お気に入りアクセスアイコン１７０４、お気に入りへのＡＩクエリ保存アイコン１７０５およびＡＩデバイスクエリ直接送信アイコン１７０６を含むことができる。メイン通信パネルは、音声障害および／または移動に障害があるユーザが、音声なしでしかも最小の筋肉制御によりＧＯＯＧＬＥ ＡＳＳＩＳＴＡＮＴのようなＡＩデバイスを使用することを可能とする。ユーザは、選定の支援技術を使用してクエリをクエリエントリボックス１７１０に入力する。ユーザは、お気に入りへのＡＩクエリ保存アイコン１７０５を起動して、クエリを保存することができる。ユーザは、ＡＩデバイスアイコン１７０６を起動して、作成された英数字クエリ１７１２をクエリエントリボックス１７１０中に送信して、ＡＩデバイスに直接に送信するようにすることができる。

【0168】

図１８は、お気に入りアクセスアイコン１７０４（図１７）のユーザ選択により起動されるお気に入り通信パネル１８００である。１つ以上の実施形態において、お気に入り通信パネル１８００は、挨拶の拡張可能リスト、選択可能ＡＩアシスタントの拡張可能リスト、「放送：私の部屋に来てください」、「放送：私は寒い」および「放送：私は喉が渇いた」などのＡＩ放送の拡張可能リストのような自動的に投入されたまたはユーザが作成した制御オプションを含むことができる。「ＡＩ ＨＯＭＥ Ｃｏｎｔｒｏｌ」におけるアフォーダンスの拡張リストは、例えば「寝室の灯りを消して」、「寝室の灯りを１０％に設定して」、「寝室の灯りを緑色に設定して」、「華氏温度を６８度に設定して」および「フロントドアをロック解除して」を含むことができる。１つ以上の実施形態において、ＡＩ Ａｓｓｉｓｔａｎｔは、音声、テキスト、環境および家庭制御応答／アクションに関連するクエリを容易化する。

【0169】

図１９は、文脈駆動型ユーザインタフェースパネル１９００を例示する画面図である。より進んだモードにおいては、システムは、ユーザの環境についての文脈を収集して、通信オプションをこの文脈に基づいて調整する。カスタム通信パネルに対する文脈は、ＡＩデバイスに対する自動クエリを通じてまたは他のセンサシステムを通じて収集することができる。文脈は、時刻、ユーザに近接している人物、温度、曜日、カレンダエントリ、またはユーザが何を言いたいかもしくはしたいかを変更する他の任意の入力とすることができる。通信パネルが、ユーザに対して自身のコンピュータ（デバイス）上に現れて、これらのカスタム化された選定を提案する。これは、ボタンのリストまたはアレイの形態とすることができる。文脈生成されたボタンは、例えば平日の午後４時で、学校に通っている年齢の娘さんが部屋に入ってくれば「学校はどうでしたか」と現れる。例えば介護士が午後部屋にいて、現在の天気が雨の降らない青天であれば、文脈生成されたボタンは、「私を外出させてくださいませんか」と現れる。

【0170】

いくつかの例においては、ＮｅｕｒｏＮｏｄｅシステムは、後続のクエリをユーザに対する示唆として予測し、示唆を、ユーザインタフェース層の予測ボックスを介して提供する予測エンジンを含む。予測ボックスは、予測エンジンが提供した示唆を表示するグラフィカルユーザインタフェースオブジェクトであり得る。予測ボックスは、必ずしも正方形または長方形の形態で表示されるわけではなくて、任意のタイプの形状を含むことができることが分かる。ユーザは、１つまたは２つのクエリを実行しており、プロセスのこの時点においては、予測エンジンは、ユーザに何をすべきかを必ずしも命令しないためではなく、むしろデータソースのデータからより多くの値を獲得するその他の可能性として、他の人々がすでに実施した検索、同一の人物が実施した検索または他の人々が他の文脈において実施した特定のマッピングに基づく予測ボックスを介しての次のクエリステップで考慮する示唆としてクエリまたはマッピングを提案として示唆し得る。

【0171】

予測エンジンは、後続のクエリを予測するためにクエリをマッピングする以前のデータクエリがないかチェックし得る。例えば、予測エンジンは、以前に実行されたクエリを記憶するクエリ履歴にアクセスし得る。以前に実行されたクエリは、ユーザの以前の実行されたクエリおよび他のユーザの以前に実行されたクエリを含む。クエリ履歴に基づいて、予測エンジンは、なんらかの以前のデータクエリがクエリとマッチするかを決定し得る。そうであれば、予測エンジンは、１つ以上の後続のクエリをユーザに対する示唆として決定し得る。例えば、以前のデータクエリは、ユーザまたは他のユーザがとる次のステップを示し得る。したがって、予測エンジンは、クエリ履歴のうちの以前に実行されたクエリに基づいてユーザに対する１つ以上の次のステップを予測して、これらの予測をユーザインタフェース層の予測ボックス内に提供し得る。したがってＮｅｕｒｏＮｏｄｅシステムは、彼／彼女の以前の使用に適合することによりエンドユーザに対するシステムの参入障壁を低下させ、これによりビジネスインテリジェンスシステムがより迅速な結果を提供することを可能とし得る。さらに、上述したように、最初からすべてのクエリから再スタートするのではなくて、ＮｅｕｒｏＮｏｄｅシステムは、ユーザが各々のクエリを土台にして構築し、これにより文脈を構築することを可能とする。

【0172】

１つ以上の実施形態において、サーバは、ユーザに対して関連性を有し得る様々な人々、リソース、アセット、アプリケーションおよびデータソースとの通信のためのキーハブとすることができる。図示するように、データソースは、サポートネットワークデータ（例えば、ロケーション、スケジュール、スペシャリティなど）のデータベースと、サードパーティのアップデータおよびインタフェース（例えば、ソーシャルメディア、ローカル検索、ナビゲーションなど）ならびにアフィニティプログラムのデータベースとを含み得る。データソースはまた、ユーザデータ（例えば、医療、プロフェッショナル、パブリックレコード、メディアなど）のデータベース、ローカルユーザデータ（例えば、捜査報告、トレンドなど）のデータベースおよびローカルデータフィード（例えば、事象、トラフィック、ニュース、天気、カメラフィードなど）のデータベースのようなネットワーク（例えば、ローカルネットワーク、パブリックネットワーク、プライベートネットワーク、インターネット、ＩＯＴなど）を介してアクセス可能なデータソースを含み得る。さらなるデータソースは、ユーザデータと、予測的分析データなどを含む分析とを含むユーザデータソースを含み得る。ユーザデータおよび分析は、データベースおよびエンジン、アクション／応答エンジン、インタフェース調整データベースおよびエンジン査定／予測、学習データベースおよびエンジン、（トレンディング）文脈および挙動予想データベースおよびエンジン、ユーザプロファイル、サポートネットワーク、スケジュール／カレンダ、デバイス／車両、ユーザの使用、趣味、メディア投稿、挙動データ、ロケーション／文脈プロファイル、履歴ロケーション／文脈データ、ロケーション、対象となる場所（ＰＯＩ）サプライヤ、ユーザ医療データ、個人的データおよび投薬、セキュリティならびに検証を含み得る。

【0173】

サーバはまた、ユーザの挙動、傾向および広範囲の可能な状況に対する確率をプロファイリングするための、およびユーザの全体的幸福を改善するためのユーザへの、ユーザに対する、またはユーザのための様々なアクションを決定するためのアルゴリズムを開発して処理するための一次分析エンジンとして機能する。そのようなサーバの機能は、多くの形態で物理的および／または論理的に構成することができる。サーバ機能は、１つ以上のサーバに集中することができる。サーバ機能は、中央情報処理によりパーティションして、複数の異なるサーバに分割されてもよい。例えば１つのサーバが様々なユーザ、デバイス、センサおよび他のネットワークと通信するための通信ネットワークフロントエンドであり、別のサーバまたはサーバのセットがデータの分析を実施するようにすることができる。サーバ機能はまた、分散的に設計し、これにより機能性のいくつかまたはすべてがユーザおよび／またはサポートネットワークデバイス上で実行されるようにすることができる。それは、機能性のいくつかまたはすべてが、様々な形態のクラウドコンピューティングを介してクラウド内で実施されるように設計することができる。別様に示されない限り、機能性の分散が物理的および／または理論的であるかとは無関係に、それはサーバとして記述または呼ばれ得る。サーバは、ユーザの、ユーザに対するおよび／またはユーザのための機能を監視、査定および制御するように機能し得る。これは、ユーザに対する様々なリソースに対する様々なアラートを提供することを含む。

【0174】

本開示の典型的な実施形態の別の態様は、複数のロケーション決定技術またはソース決定技術を使用して、ユーザおよび他の人物／場所／物事のロケーションを決定することである。これらの技術またはソースは、センサネットワーク（例えば、モノのインターネット（ＩｏＴ）など）、ＧＰＳ ／Ａｓｓｉｓｔｅｄ ＧＰＳ、セルタワー識別、セルタワー三角測量（ＴＤＯＡ、ＡＦＬＴ）、ビーコン、電波指紋、実時間ロケーションサービス（ＲＴＬＳ）、Ｗｉ−Ｆｉベースのロケーションシステム、無線周波数識別子（ＲＦＩＤ）ベースのロケーションシステムおよび類似のシステム、ドローン、クラウドソーシング、ハイブリッド、同時ローカリゼーションおよびマッピング（ＳＬＡＭ）、および／またはこれらまたは他のロケーション決定システムの組み合わせを含むが、これらに限定されない。これらのロケーション決定システムは、ユーザに着用されていることもあれば、ユーザに搬送されていることもあれば、ユーザに使用されていることもあれば、ユーザまたはその近隣に埋め込まれていることもある。

【0175】

本開示のすべての態様をサーバに集中する必要があるわけではない。ユーザのローカルデバイスは、Ｐｅｅｒ−ｔｏ−Ｐｅｅｒ、ＩｏＴ、メッシュ、ＺｉｇＢｅｅ、ＬＰＷＡＮ、Ｓｔａｒ、Ｃｌｉｅｎｔ／Ｓｅｒｖｅｒおよび／またはマシンツーマシン（Ｍ２Ｍ）ネットワーキングなどを介して、本明細書に開示されているような機能を発揮することができ、結局、サーバまたは本開示の他の部分が動作していないまたはアクセスできない状況および事情の両方に対して、本明細書に開示するような機能性を有し得る。この機能性のある例は、ハイリスク状況を検出するユーザおよび地下駐車場で（これでＧＰＳで突き止められることを防止する）車に入って運転しようとするユーザの上／内／周りにあるデバイス内にある。

【0176】

ユーザのデバイスは、車両の交通システム（例えば、マイカー、友人もしくは同僚の車両、Ｕｂｅｒのような交通サービス、航空機、公共交通など）と自動的に接続して、ハイリスク状況および進行状態のアラートを報知または提供して車を無効化する。実際、サーバの機能の多くさらにはすべてまでが、1つ以上のユーザのデバイス、またはクラウドコンピューティングなどの他のコンピューティング／データ処理アーキテクチャでおそらく実施することができ、集中サーバは、本開示の機能の多くを表すための便利な／論理的な方法であるが、その全体的な機能にとっては本質的に必要ではない。

【0177】

ユーザと関連付けることができるデバイスは、これに限定されないが、携帯電話／スマートフォン、タブレット、ラップトップ、他の携帯可能もしくはモバイルデバイスなどと、衣服、宝石、靴、時計などの上または中のウェアラブルデバイスおよびタグと、モバイル決済デバイス／ウォレットなどと、ユーザ内に埋め込むまたは摂取できる埋め込み式センサ、タグ、チップまたは他の電子機器（例えば、摂取可能なものまたは移植可能なものなど）、拡張現実およびヘッドアップディスプレイ（例えば、Ｇｏｏｇｌｅ ＧＬＡＳＳなど）ならびに仮想現実可能化システムとなどの携帯可能デバイスを含む。ユーザのアイデンティティおよび／またはロケーションと関連付けることもできるデスクトップコンピュータおよびスマートホーム接続デバイスなどの固定またはモバイル／固定ハイブリッドデバイスもまた、本開示のいくつかの典型的な実施形態の態様の一部である。例えば、スマートホーム接続デバイスのさらなる例は、ＴＶ、冷蔵庫および電子レンジを含む。より多くのデバイスがスマートになればなるほど、スマートデバイスは、映像、音声および／または他のセンサなどのオンボードのまたは接続されたデータキャプチャデバイスを通じて人物のロケーション／文脈を決定する助けとなるデータをキャプチャする能力を有する。デバイスの周知のロケーション（またはデバイスのロケーションを決定する能力）およびこれらのデバイスとの間の通信と関連付けられた接続性（モノのインターネットまたは「ＩｏＴ」としても知られている）と組み合わされると、これらのデバイス／ネットワークは、個人的文脈情報の新しいキーソースを提供し得る。

【0178】

ＩｏＴのユーザ関連センサ、デバイスおよびネットワークは、スマート車両、接続車両、無人車両センサ、デバイス、および自動車、トラック、航空機、列車、船舶、キャンピングカーなどのネットワークなどを含み得る。ＩｏＴユーザ関連のセンサ、デバイスおよびネットワークは、人物などに対する近接および／またはアクセスなどと、その人物ならびに人物およびアクティビティの群に関するまたはその中の分脈データとを含む、（ユーザおよび／またはサポートリソースに）近接する人物、デバイス、ネットワークおよびセンサなどの近隣のヒトセンサ、デバイスおよびネットワークを含み得る。ＩｏＴユーザ関連のセンサ、デバイス、およびネットワークは、温度、家や部屋に入ったり出たりすること、セキュリティ、作業用アクティビティ関連、ストレス（精神的または身体的）関連、生産性関連、同僚、オフィス／作業用エリア関連などのスマートオフィス、作業用環境センサ、デバイスおよびネットワークを含み得る。ＩｏＴユーザ関連のセンサ、デバイスおよびネットワークは、状況を検出、予期、管理する助けとなるユーザ、サポートリソースおよびアクティビティに関するロケーション／文脈情報を提供するものに近接した、接続されたおよび／またはこれと関連付けられたパーキング、メーター、広告、警察、第一応答などを含む関連付けられたセンサ、デバイスおよび／またはネットワーク（例えば、そのユーザ／サポートリソースなど）を持つ公共空間およびインフラストラクチャなどのスマートシティセンサ、デバイスおよびネットワークを含み得る。様々な実施形態において、人工知能ならびに他の学習アルゴリズムおよび方法を利用して、ユーザの挙動から学習し、かつユーザの再発尤度、とられるアクションの有効性ならびに収集されたデータのタイプおよび頻度などの様々なシステム、アルゴリズムおよびプロセスを洗練させる学習エンジンが提供される。

【0179】

ユーザおよび他のリソースに対する／からの多くの通信方法が、本開示の様々な実施形態において使用される。これらは、（これに限定されないが）テキスト／ＳＭＳ／ＭＭＳ、音声コール、電子メール、ソーシャルメディア、映像、ピアツーピアおよびマシンツーマシン通信、インスタントメッセージング、音声メッセージング／メール、サードパーティアプリケーション、ヘッドアップディスプレイ（Ｇｏｏｇｌｅ ＧＬＡＳＳなど）、ホログラム投影ならびに他の適用可能な音声およびデータの方法および媒体を含むことができる。

【0180】

先に論じたように、サードパーティアプリケーションを持つインタフェースが、様々な実施形態内に提供され得る。様々な実施形態において、多種多様のインタフェースが、ユーザ、サポートネットワークおよびサードパーティと相互作用するために提供され得る。そのようなインタフェースは、これに限定されないが、直接操作インタフェース（例えば、拡張／仮想現実）、グラフィカルユーザインタフェース、ウェブベースのユーザインタフェース、タッチスクリーン、コマンドラインインタフェース（例えば、コマンドストリング入力）、タッチユーザインタフェース、ハードウェアインタフェース（例えば、ノブ、ボタン）、アテンティブユーザインタフェース（例えば、いつ人物に割り込むかを決定する）、バッチインタフェース、会話型インタフェース、会話型インタフェースエージェント（例えば、アニメ化された人物、ロボット、ダンスペーパークリップ）、交差ベースのインタフェース（例えば、境界を交差するこれに対するポインティング）、ジェスチャインタフェース（例えば、手のジェスチャなど）、ホログラフィカルユーザインタフェース、知的ユーザインタフェース（例えば、人間から機械へ、またはその逆）、動き追跡インタフェース、マルチスクリーンインタフェース、非コマンドユーザインタフェース（例えば、ユーザの注意を推測する）、オブジェクト指向ユーザインタフェース（例えば、シミュレートされたオブジェクトを操作する目的のもの）、再帰ユーザインタフェース（例えば、システムの変更を実現する）、検索インタフェース、有形ユーザインタフェース（例えば、タッチ）、タスク焦点合わせインタフェース（例えば、ファイルではなくタスクに焦点を合わせる）、テキストベースのユーザインタフェース、音声ユーザインタフェース、自然言語インタフェース、ゼロ入力（例えば、センサベースのもの）インタフェース、ズーミング（例えば、スケールの変動するレベル）ユーザインタフェースを含む。インタフェースをユーザの文脈に基づいて選択する／修正するための様々な機構が提供され得る。様々な実施形態において、ロボットおよびロボット工学が使用され得る。様々な実施形態において、ユーザのスケジューリングおよびＴｏＤｏリストならびにユーザのサポートネットワークが利用される。

【0181】

いくつかの実施形態においては、二方向通信システムが、Ａｍａｚｏｎ ＡＬＥＸＡおよびＡｐｐｌｅ ＳＩＲＩなどのサードパーティプロバイダにより統合され、他のモバイルデバイスからの要求が受信され得るようにし得る。

【0182】

１つ以上の実施形態において、本開示は、ユーザの健康ステータスを監視するヘルプスクリーンシステムを備えた患者モニターに関する。生理学的情報を表示し、ユーザが入力スクリーンシステムにアクセスすることを可能とするユーザ入力デバイスを含む、パルス酸素濃度計などの患者モニターが提供される。システムは、患者モニターと一体化され得るまたは別個のデバイス内にあり得る。動作中、医療従事者は、このシステムにアクセスして、患者についての質問に対する回答を求め得る。１つ以上の実施形態において、本技法はまた、システムまたは患者の警告もしくはアラーム、患者監視データまたは報告に関する情報などを提供することに適用する。

【0183】

１つ以上の実施形態において、監視システム（例えば、パルス酸素濃度計）は、患者に関連する生理学的情報を表示するように構成された患者モニターを含み得る。監視システムは、モニターと通信状態にあるユーザ入力デバイスを含み得る。ユーザ入力デバイスは、モニターに、例えば患者データの報告、患者モニターの性能の報告、警告、アラーム、ヘルプメッセージまたはこれらの任意の組み合わせなどを表示させ得る。表示された情報は、例えば、患者モニターの現在のステータスにまたは患者モニターの制御スキームのメニューツリー内の現在のポイントに文脈依存であり得る。

【0184】

本明細書に記載する方式は、様々なコンピューティング環境、例えばデスクトップおよびモバイル環境において古典的な階層的可視化構造を提供することにより、コンテンツを閲覧して編成する方法をユーザに提供する。いくつかの方式においては、ユーザは、提供されたコンテンツに基づいてナビゲーション階層を再配列して、ナビゲーションの文脈依存性をさらに強化し得る。

【0185】

１つ以上の実施形態において、入力および出力とのインタフェースと、インタフェースに結合されたプロセッサとを有する表示装置が提供される。出力は、ディスプレイのある可変パネル表示部分のところに第一パネルを表示するように構成される。第一パネルは、制御システムと関連付けられた１つ以上の第一の選択されたノードと、制御システムと関連付けられた情報とを含む。

【0186】

入力が１つ以上の選択可能なノード選択を受信すると、プロセッサは、サーバにアクセスして、選択されたノードと関連付けられたパネルを可変パネル表示部分のところに提示するように構成される。このパネルは、１つ以上の第二の選択可能ノードと、選択されたノードと関連付けられた情報とを含む。プロセッサはさらに、出力のところに表示された可変パネル表示部分のサイズを調整して、いくつかのパネルを収容し、かつディスプレイの作業用部分のところに表示される情報とは無関係であるパネル間のナビゲーションを可能とするように構成される。いくつかの例においては、プロセッサはさらに、第一パネルと、互いに対して隣接する選択されたノードと関連付けられたパネルとを、出力を介して可変表示部分上に提示するように構成される。

【0187】

１つ以上の実施形態において、表示装置はさらに、選択されたノードと、それと関連付けられた情報とを表示するように構成された任意の数の追加のパネルを含む。プロセッサは、可変パネル表示部分内の最大数の表示可能パネルに対応する可変パネル表示部分のサイズを決定し、決定されたサイズを提示されたパネルの数と比較し、その後に可変パネル表示部分内に最大数の表示可能パネルを表示するように構成され得る。

【0188】

ディスプレイを有するいくつかの異なるデバイス上で階層的データ構造を効率的に可視化することを可能とする方式が提供される。一態様においては、方式は、いくつかの異なる構成を有するディスプレイを収容するように階層的構造のサイズを変更することを可能とする。階層的構造はまた、ディスプレイの作業用部分がグラフィカルユーザインタフェース（またはいくつかの実施形態においては、音声合図）を介してコンテンツを内部に維持している間に、ナビゲートされ得る。階層的構造は、現在の可視パネルに対する指示を提供し得るとともに、代替のパネルの表示を可能とするようにナビゲート可能であり得る。階層的構造はまた、識別情報の他にも文脈情報（例えば、フォルダ名、タイトルまたは他の一般的な識別子など）を含み得る。

【0189】

この文書に開示するユーザインタフェースおよびユーザシグナリングの原理は、身体部分の動きおよび／または位置および／または生理学的状態もしくはユーザの身体部分の動きの指示を提供することができる他の任意のオブジェクトに関連する情報を提供することができる任意のセンサからの情報とともに使用するために適用可能である。さらに、この動き／位置情報は、これに限定されないが、加速度計、ジャイロスコープ、画像センサ、波動場センサ、レーダー、電界センサ、音響センサ、超音波センサ、ＥＭＧセンサ、ＯＣＧセンサ、抵抗センサおよび他のセンサを含む様々なセンサを使用して導出することができる。さらに、いくつかのユーザアクションが、外側から視覚的に検出可能ではない場合があるが、他のセンサによっては検出可能であり得る。例えば、ユーザは、自分の瞑想または注意のレベルを意識的に変更することができる。代替例においては、彼らはまた、自分のアルファ脳波、ベータ脳波、シータ脳波またはデルタ脳波のレベルを意図的に変更することができる。これらのレベルおよび／またはレベル変更は、脳波センサ、ＥＥＧセンサまたは他の適切なセンサにより測定することができる。

【0190】

Ｐｒｉｍａｒｙ Ｃｏｎｔｒｏｌ Ｅｘｐｒｅｓｓｉｏｎ（ＰＣＥ）という用語は、ユーザの意図を意味するために使用することができるユーザアクションに言及するために使用される。このアプリケーションはまた、ＰＣＥに相似しており、したがってユーザの意図を意味するために使用することができるＰｒｉｍａｒｙ Ｃｏｎｔｒｏｌ Ｍｏｔｉｏｎ（ＰＣＭ）の概念を導入する。Ｐｒｉｍａｒｙ Ｃｏｎｔｒｏｌ Ｍｏｔｉｏｎ（ＰＣＭ）の概念は、ＰＣＥの概念に類似している。ＰＣＥは顔の表情であるが、ＰＣＭは、（1つ以上の身体部分の指定されたセットの）指定された身体の動きまたは姿勢／位置／方位とすることができる。ＰＣＭは、頭部全体、眼球、手、指、腕、肩、胴、脚、足、つま先などの動きを含むことができる身体の動きの指定された組み合わせまたはシーケンスを含むことができる。頭部の頷きなどの頭部全体などの動き、頭の傾き、左右の頭部の動きまたは頭部回転などは、頭部／身体の動きと見なされ、顔の表情ではないことに注意されたい。眼球の動きもまた、身体の動きと見なされ、顔の表情ではない。しかしながら、眼の開／閉などのまぶたの動き、瞬きおよびウインクは、顔の表情と見なされる。同様に、眉の隆起、眉のしわ寄せおよび他の眉の動きなどの眉の動きは、顔の表情と見なされる。ＰＣＥとちょうど同じように、ＰＣＭは、電子デバイスと通信するときに特殊な意味を与えられる。ＰＣＭまたはＰＣＥは、電子デバイスと通信している間は、イネーブラ、トリガ、識別子または固有のコマンドとしてさえ使用することができる。ＰＣＥおよびＰＣＭはまた、瞑想的／注意深い状態に入ること、内部筋肉を緊張化させること、リラックスすること、深呼吸することなどのアクションを含むことができるが、それは、これらのアクションは、ユーザの意図を意味するために使用することができ、それにより、ちょうど他の任意の身体アクションとして説明されるヒューリスティックスで使用することができるからである。ＰＣＥおよびＰＣＭを一緒にして、Ｕｓｅｒ Ｉｎｔｅｎｔｉｏｎアクションと呼ぶことができる。

【0191】

Ｎｅｕｒｏｓｋｙ，Ｉｎｃ．(http://neurosky.com)は、ユーザの脳波を測定して瞑想および注意のレベルの変化を検出するハードウェアおよびソフトウェアを提供する１つのベンダーである。そして、いくつかの実施形態は脳波センサとして使用できるのだが、この脳波センサは、瞑想レベル若しくは注意レベル、又は、他の任意のバイオメトリック量の読み取り値を提供することができ、このバイオメトリック量は、ユーザが意識的に影響を有し得るものであるか、および／または大きさ、周波数、方向もしく他の測定可能属性に変化を惹起させることができるものである。例えば、ユーザが顔の表情を変化させる替わりに、ユーザが瞑想または注意のレベルを増加または減少させることで「PCE」情報として扱うことができるが、そのヒューリスティックス／原理はこの文書および上記の引用した文書で説明されている。脳波センサ、ＥＥＧセンサおよびその他のバイオメトリックセンサをＰＣＥセンサとして使用して、電子デバイスを制御するために使用することができる。同様に、特定の意識的な身体筋肉アクションは視覚的には検出することは困難であるが、しかしながら、ＥＭＧセンサおよび他のセンサによっては容易に検出可能であり得る。例えば、歯もしくは下顎の異なる部分の食いしばり、喉の緊張化、顔もしくは頭の他の部分、頭皮、さまざまな耳介の筋肉、胴の部分、肩、腕、脚、足、指、つま先、太もも、ふくらはぎまたは身体のさまざまな括約筋は、外部から視認できない場合があるが、ＥＭＧまたは他のセンサにより検出することができる。また、これらのセンサはＰＣＥ／ＰＣＭセンサとして使用することができ、ＰＣＥ／ＰＣＭセンサに対して定義されたすべてのヒューリスティックスは、これらのセンサとともに使用することができる。

【0192】

上に開示した概念／原理／ヒューリスティックス／技法／アルゴリズムなどのすべては、様々な異なる分野および用途に使用することができる。例のうちのいくつかは、拡張的および代替的な通信（ＡＡＣ）、支援技術、音声生成デバイス、拡張／混合／仮想現実、デスクトップおよびモバイルコンピューティング、ゲーミング、産業制御、健康管理、防衛、航空、交通、製造、製品寿命管理、航空宇宙などである。本文書に開示するすべての概念／原理／ヒューリスティックス／技法／アルゴリズムなどもまた、引用する文書に開示するすべての装置／デバイスとともに、および、これに限定されないが、スマートグラス、スマートヘルメット、仮想／混合／拡張現実デバイス、ヘッドウェアコントローラ、インイヤーコントローラ、ヘッドホン、耳栓、ヘッドバンドおよびネックバンドなどの頭部装着デバイスを含むデバイスとともに使用することができる。さらに、それらはまた、アーム／リストバンドなどの他の身体装着デバイスと、ウェアラブルセンサーやスマートウォッチを利用するデバイス、ユーザの身体内に埋め込まれたデバイス、スマートフォン、タブレット、デスクトップコンピュータ、スマートＴＶ、セットトップデバイスなどのユーザの身体中／上に物理的に装着されないデバイスと、おそらく、画像、レーダー、ソナー、音声／声、超音波、レーザおよび他のセンサを利用して、任意のまたはすべての身体アクションおよび／または生理学的状態を感知する他のデバイスとに対して適用可能である。

【0193】

技術上知識のある人物は、これに限定されないが、異なるタイプの動きおよび信号の組み合わせを含む上に開示した概念／原理／ヒューリスティックス／技法／アルゴリズムなどは同時にまたは順次、発生し得ることを理解することができる。さらに、動きは、開示する概念／原理／ヒューリスティックス／技法／アルゴリズムなどの使用／用途でユーザが実行する他の身体および／または精神のアクションにより置き換えることができる。上記の開示のいくつかまたはすべてを使用して、コンピュータ実装可能方法またはプロセスを定義または実現する、電子デバイスに対するユーザインタフェースの部分を設計して作成する、ソフトウェアモジュール／アプリケーション／プログラム、ＡＰＩを考案する／作成する、コンピュータ実行可能命令を含むことができる非一時的記憶媒体を本開示の教示のいくつかもしくはすべてに基づいて製造する、および／または本開示の教示のいくつかもしくはすべてを実現するデバイスまたは装置を製造することができる。

【0194】

本開示を典型的な実施形態を参照して説明したが、本開示の範囲から逸脱することなく、様々な変更を実施し得るとともに、その要素の替わりに均等物を置き換え得ることが当業者により理解されるであろう。くわえて、本開示の教示にしたがって、その本質的な範囲から逸脱することなく、特定のシステム、デバイスまたは構成要素に適合する多くの修正をなし得る。したがって、本開示を、本開示を実施するために開示される特定の実施形態に限定されず、本開示は、添付クレームの範囲に入るすべての実施形態を含むことを意図するものである。そのうえ、第一、第二などの用語の使用は、何ら順序または重要性を意味せず、むしろ第一、第二などの用語は、要素同士を区別するために使用される。

【0195】

本明細書で使用する用語は、特定の実施形態のみを説明する目的のためであり、本開示を限定することを意図しない。本明細書で使用する単数形の「ａ」、「ａｎ」および「ｔｈｅ」は、文脈が明瞭にそうではないと示さない限り、複数形も含むことを意図する。用語「ｃｏｍｐｒｉｓｅ」および／または「ｃｏｍｐｒｉｓｉｎｇ」は、本明細書で使用するときには、述べられた特徴、整数、ステップ、動作、要素および／または構成要素の存在を指定するが、しかしながら、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素および／またはその群の存在または追加を除外しないことがさらに理解されるであろう。

【0196】

本開示の説明は、例示および説明の目的で提示されており、開示された形態における本開示に尽きるまたは限定されることを意図しない。本開示の範囲から逸脱することなく、多くの修正および変更が当業者には明らかである。説明された実施形態は、本開示および実用的な用途の原理を最良に説明するために、かつ他の当業者が、様々な修正を持つ様々な実施形態に対する本開示を考慮される特定の使用に適しているものと理解することを可能とするために選定され、説明されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【国際調査報告】