特表 2022-539233 ヒューマンコンピュータインターフェースのための動的コマンド再マッピング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-09-07

(54)【発明の名称】ヒューマンコンピュータインターフェースのための動的コマンド再マッピング

(51)【国際特許分類】

   G06F 3/01 20060101AFI20220831BHJP

   A61B 5/372 20210101ALI20220831BHJP

   A61B 5/397 20210101ALI20220831BHJP

   A61B 5/245 20210101ALI20220831BHJP

【ＦＩ】

G06F3/01 515

A61B5/372

A61B5/397

A61B5/245

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021578223

(86)(22)【出願日】2020-06-30

(85)【翻訳文提出日】2022-02-21

(86)【国際出願番号】 US2020040305

(87)【国際公開番号】W WO2021003160

(87)【国際公開日】2021-01-07

(31)【優先権主張番号】16/458,443

(32)【優先日】2019-07-01

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】3,048,450

(32)【優先日】2019-07-02

(33)【優先権主張国・地域又は機関】CA

(31)【優先権主張番号】16/868,348

(32)【優先日】2020-05-06

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】522000980

【氏名又は名称】マイルステイン ダニエル ジョナサン

(74)【代理人】

【識別番号】100102978

【弁理士】

【氏名又は名称】清水 初志

(74)【代理人】

【識別番号】100102118

【弁理士】

【氏名又は名称】春名 雅夫

(74)【代理人】

【識別番号】100160923

【弁理士】

【氏名又は名称】山口 裕孝

(74)【代理人】

【識別番号】100119507

【弁理士】

【氏名又は名称】刑部 俊

(74)【代理人】

【識別番号】100142929

【弁理士】

【氏名又は名称】井上 隆一

(74)【代理人】

【識別番号】100148699

【弁理士】

【氏名又は名称】佐藤 利光

(74)【代理人】

【識別番号】100128048

【弁理士】

【氏名又は名称】新見 浩一

(74)【代理人】

【識別番号】100129506

【弁理士】

【氏名又は名称】小林 智彦

(74)【代理人】

【識別番号】100205707

【弁理士】

【氏名又は名称】小寺 秀紀

(74)【代理人】

【識別番号】100114340

【弁理士】

【氏名又は名称】大関 雅人

(74)【代理人】

【識別番号】100121072

【弁理士】

【氏名又は名称】川本 和弥

(72)【発明者】

【氏名】マイルステイン ダニエル ジョナサン

【テーマコード（参考）】

4C127

5E555

【Ｆターム（参考）】

4C127AA03

4C127AA04

4C127AA10

4C127DD01

5E555AA11

5E555AA12

5E555AA46

5E555BA38

5E555BB38

5E555BC04

5E555CA41

5E555CB05

5E555CB69

5E555CB70

5E555CC01

5E555DB18

5E555DB20

5E555DB41

5E555DB49

5E555DB56

5E555DC13

5E555EA25

5E555FA00

(57)【要約】

方法は、以下の工程を含むことができる：コンピューティングデバイスがユーザの脳または1つもしくは複数の筋と動作連通するための、ブレインコンピュータインターフェース（BCI）またはマッスルコンピュータインターフェース（muCI）などのヒューマンコンピュータインターフェース（HCI）をアクティブ化する工程；ユーザに結合された1つまたは複数のセンサを介して測定されたユーザの少なくとも1つの電気信号に基づいてHCIを介して制御されるようにコンピューティングデバイスの動作が構成される際に従うコマンドマッピングを定義する工程；コンピューティングデバイスの動作中にコンピューティングデバイスの動作コンテキストを検出する工程；およびコンピューティングデバイスの動作中の検出された動作コンテキストに基づいてコマンドマッピングを再マップする工程。次いで、コンピューティングデバイスの動作を、再マップされたコマンドマッピングに従って少なくとも1つの測定された電気信号に基づいて、HCIを介して制御することができる。

【特許請求の範囲】

【請求項1】

コンピューティングデバイスがユーザの脳と動作連通するためのブレインコンピュータインターフェース（BCI）をアクティブ化する工程；
前記ユーザの脳に結合された1つまたは複数の脳センサを介して測定された前記ユーザの少なくとも1つの脳信号に基づいて前記BCIを介して制御されるように前記コンピューティングデバイスの動作が構成される際に従う思考コマンドマッピングを定義する工程であって、前記思考コマンドマッピングが、各々が前記コンピューティングデバイスによって実行可能なコマンドに対応する複数の思考変異形を定義し、前記複数の思考変異形の中の第1の思考変異形が前記コンピューティングデバイスによって実行可能な第1のコマンドに対応する、工程；
前記コンピューティングデバイスの動作中に前記コンピューティングデバイスの動作コンテキストを検出する工程；および
前記第1の思考変異形が前記第1のコマンドとは異なる前記コンピューティングデバイスによって実行可能な第2のコマンドに対応するように、前記コンピューティングデバイスの動作中の前記検出された動作コンテキストに基づいて、前記思考コマンドマッピングを再マップする工程
を含み、
前記思考コマンドマッピングの前記再マッピングに応答して、前記再マップされた思考コマンドマッピングに従って前記少なくとも1つの測定された脳信号に基づいて前記BCIを介して制御されるように、前記コンピューティングデバイスの前記動作が構成される、
方法。

【請求項2】

前記1つまたは複数の脳センサを使用して前記ユーザの前記少なくとも1つの脳信号を測定する工程；
前記少なくとも1つの測定された脳信号の信号解析に基づいて前記第1の思考変異形を感知する工程；
前記再マップされた思考コマンドマッピングに従って前記第2のコマンドが前記第1の思考変異形に対応すると判定する工程；および
前記第2のコマンドを実行するように前記コンピューティングデバイスの前記動作を制御する工程
をさらに含む、請求項1記載の方法。

【請求項3】

前記思考コマンドマッピングが、前記コンピューティングデバイスの動作中に前記動作コンテキストの変化を検出したことに応答して再マップされる、請求項1記載の方法。

【請求項4】

前記動作コンテキストが、
前記コンピューティングデバイス上で現在実行中のアプリケーション、前記コンピューティングデバイスの動作中に発生する外部イベント、および前記コンピューティングデバイスと関連付けられたユーザ履歴
のうちの少なくとも1つと関連付けられる、請求項1記載の方法。

【請求項5】

前記コンピューティングデバイス上で現在実行中のアプリケーションが非BCI対応アプリケーションである場合、前記アプリケーションの画面エリアを、各々が前記画面エリアの特定の領域を含む複数のセルに分割する工程
をさらに含み、
前記複数の思考変異形の各々が、前記思考コマンドマッピングに従って前記複数のセルのうちの特定のセルに対応する、
請求項1記載の方法。

【請求項6】

前記コンピューティングデバイス上で現在実行中の第1のアプリケーションを検出する工程であって、前記思考コマンドマッピングが前記第1のアプリケーションに対応する第1の思考コマンドマッピングである、工程
をさらに含む、請求項1記載の方法。

【請求項7】

前記第1のアプリケーションとは異なる第2のアプリケーションが前記コンピューティングデバイス上で起動されたことに応答して、再マップされた思考コマンドマッピングが、前記第2のアプリケーションに対応する第2の思考コマンドマッピングであるように、前記思考コマンドマッピングを再マップする工程であって、前記第2の思考コマンドマッピングが前記第1の思考コマンドマッピングとは異なる、工程
をさらに含む、請求項6記載の方法。

【請求項8】

前記第1のアプリケーションにおいて行われたユーザアクションの検出に応答して、再マップされた思考コマンドマッピングが、前記検出されたユーザアクションに基づく第2の思考コマンドマッピングであるように、前記思考コマンドマッピングを再マップする工程であって、前記第2の思考コマンドマッピングが前記第1の思考コマンドマッピングとは異なる、工程
をさらに含む、請求項6記載の方法。

【請求項9】

前記第1のアプリケーションの前記実行中に発生した外部イベントの検出に応答して、再マップされた思考コマンドマッピングが、前記検出された外部イベントに基づく第2の思考コマンドマッピングであるように、前記思考コマンドマッピングを再マップする工程であって、前記第2の思考コマンドマッピングが前記第1の思考コマンドマッピングとは異なる、工程
をさらに含む、請求項6記載の方法。

【請求項10】

前記コンピューティングデバイスが着信電子メッセージを受信したときに、前記外部イベントが検出される、請求項9記載の方法。

【請求項11】

前記コンピューティングデバイスが前記ユーザの場所の変化を検出したときに、前記外部イベントが検出される、請求項9記載の方法。

【請求項12】

前記第1のアプリケーションと関連付けられたユーザ履歴の検出に応答して、再マップされた思考コマンドマッピングが、前記検出されたユーザ履歴に基づく第2の思考コマンドマッピングであるように、前記思考コマンドマッピングを再マップする工程であって、前記第2の思考コマンドマッピングが前記第1の思考コマンドマッピングとは異なる、工程
をさらに含む、請求項1記載の方法。

【請求項13】

前記ユーザ履歴が、前記ユーザの連絡先、以前に使用された単語または語句、および以前に実行されたコマンドのうちの少なくとも1つと関連付けられる、請求項12記載の方法。

【請求項14】

前記コンピューティングデバイス上で現在実行中のアプリケーションと、前記思考コマンドマッピングを特徴付ける画像とを同時に表示するように、前記コンピューティングデバイスの表示ユニットを制御する工程
をさらに含み、
前記コンピューティングデバイス上で現在実行中の前記アプリケーションが、前記表示ユニットの第1の画面エリアに表示され、前記思考コマンドマッピングを特徴付ける前記画像が、前記表示ユニットの第2の画面エリアに表示される、
請求項1記載の方法。

【請求項15】

前記思考コマンドマッピングを特徴付ける前記画像が、前記複数の思考変異形の各々、および前記複数の思考変異形の各々が対応する前記コンピューティングデバイスによって実行可能な各コマンドを示す、請求項14記載の方法。

【請求項16】

前記思考コマンドマッピングを特徴付ける前記画像が、前記複数の思考変異形と前記コンピューティングデバイスによって実行可能な各コマンドとの間の対応関係を示すグリッドを含む、請求項14記載の方法。

【請求項17】

前記コンピューティングデバイス上で現在実行中の第1のアプリケーションを検出する工程であって、前記思考コマンドマッピングが、前記第1のアプリケーションに対応する第1の思考コマンドマッピングである、工程；
前記第1の思考コマンドマッピングを特徴付ける画像を表示するように、前記コンピューティングデバイスの表示ユニットを制御する工程；
前記第1のアプリケーションとは異なる第2のアプリケーションが前記コンピューティングデバイス上で起動されたことに応答して、再マップされた思考コマンドマッピングが、前記第2のアプリケーションに対応する第2の思考コマンドマッピングであるように、前記思考コマンドマッピングを再マップする工程であって、前記第2の思考コマンドマッピングが前記第1の思考コマンドマッピングとは異なる、工程；および
前記表示された画像が前記第2の思考コマンドマッピングを特徴付けるように前記表示された画像を更新するように、前記表示ユニットを制御する工程
をさらに含む、請求項1記載の方法。

【請求項18】

前記思考コマンドマッピングが、
前記複数の思考変異形の中の第1の思考変異形と、後に続く前記複数の思考変異形の中の1つまたは複数の後続の思考変異形とが、前記コンピューティングデバイスによって実行可能なコマンドに対応する、複数長マッピングスキーム
を含む、請求項1記載の方法。

【請求項19】

前記複数の思考変異形が、特定の身体部位の思考、特定の音もしくは単語の思考、特定のイメージの思考、前記ユーザに見える特定の物体の思考、運動イメージ、またはそれらの任意の組み合わせを含む、請求項1記載の方法。

【請求項20】

前記コンピューティングデバイスと通信する外部デバイスの動作を、前記思考コマンドマッピングに従って前記少なくとも1つの測定された脳信号に基づいて前記BCIを介して制御する工程
をさらに含む、請求項1記載の方法。

【請求項21】

前記思考コマンドマッピングが、
前記複数の思考変異形の中の第1の思考変異形と、後に続く前記複数の思考変異形の中の1つまたは複数の後続の思考変異形とが、前記コンピューティングデバイスによって実行可能なコマンドに対応する、複数長マッピングスキーム
を含む、請求項5記載の方法。

【請求項22】

前記複数の思考変異形が、特定の身体部位の思考、特定の音もしくは単語の思考、特定のイメージの思考、前記ユーザに見える特定の物体の思考、運動イメージ、またはそれらの任意の組み合わせを含む、請求項5記載の方法。

【請求項23】

前記コンピューティングデバイスと通信する外部デバイスの動作を、前記思考コマンドマッピングに従って前記少なくとも1つの測定された脳信号に基づいて前記BCIを介して制御する工程
をさらに含む、請求項5記載の方法。

【請求項24】

ユーザの脳に結合されかつ前記ユーザの少なくとも1つの脳信号を測定するように構成された、1つまたは複数の脳センサと、
少なくとも1つのプログラム命令を格納するように構成されたメモリおよび前記少なくとも1つのプログラム命令を実行するように構成されたプロセッサを含み、ブレインコンピュータインターフェース（BCI）を介して前記ユーザの脳と動作連通する、コンピューティングデバイスと
を含む、システムであって、
前記プロセッサが、
前記少なくとも1つの測定された脳信号に基づいて前記BCIを介して制御されるように前記コンピューティングデバイスの動作が構成される際に従う思考コマンドマッピングであって、前記思考コマンドマッピングが複数の思考変異形を定義し、前記複数の思考変異形の中の第1の思考変異形が前記コンピューティングデバイスによって実行可能な第1のコマンドに対応し、前記複数の思考変異形の各々が前記少なくとも1つの測定された脳信号の信号解析に基づいて感知されるように構成された、前記思考コマンドマッピングを、定義し、
前記コンピューティングデバイスの動作中に前記コンピューティングデバイスの動作コンテキストを検出し、かつ
前記第1の思考変異形が、前記第1のコマンドとは異なる前記コンピューティングデバイスによって実行可能な第2のコマンドに対応するように、前記コンピューティングデバイスの動作中の前記検出された動作コンテキストに基づいて、前記思考コマンドマッピングを再マップする
ように構成され、
前記思考コマンドマッピングの前記再マッピングに応答して、前記再マップされた思考コマンドマッピングに従って前記少なくとも1つの測定された脳信号に基づいて前記BCIを介して制御されるように、前記コンピューティングデバイスの前記動作が構成される、
システム。

【請求項25】

コンピューティングデバイスがユーザの1つまたは複数の筋と動作連通するためのマッスルコンピュータインターフェース（muCI）をアクティブ化する工程；
前記ユーザの前記1つまたは複数の筋に結合された1つまたは複数の筋センサを介して測定された前記ユーザの少なくとも1つの筋信号に基づいて前記muCIを介して制御されるように前記コンピューティングデバイスの動作が構成される際に従う筋活動コマンドマッピングを定義する工程であって、前記筋活動コマンドマッピングが、前記コンピューティングデバイスによって実行可能なコマンドに各々が、対応する複数の筋活動変異形を定義し、前記複数の筋活動変異形の中の第1の筋活動変異形が、前記コンピューティングデバイスによって実行可能な第1のコマンドに対応する、工程；
前記コンピューティングデバイスの動作中に前記コンピューティングデバイスの動作コンテキストを検出する工程；および
前記第1の筋活動変異形が、前記第1のコマンドとは異なる前記コンピューティングデバイスによって実行可能な第2のコマンドに対応するように、前記コンピューティングデバイスの動作中の前記検出された動作コンテキストに基づいて、前記筋活動コマンドマッピングを再マップする工程
を含み、
前記筋活動コマンドマッピングの前記再マッピングに応答して、前記再マップされた筋活動コマンドマッピングに従って前記少なくとも1つの測定された筋信号に基づいて前記muCIを介して制御されるように、前記コンピューティングデバイスの前記動作が構成される、
方法。

【請求項26】

前記1つまたは複数の筋センサを使用して前記ユーザの前記少なくとも1つの筋信号を測定する工程；
前記少なくとも1つの測定された筋信号の信号解析に基づいて前記第1の筋活動変異形を感知する工程；
前記再マップされた筋活動コマンドマッピングに従って前記第2のコマンドが前記第1の筋活動変異形に対応すると判定する工程；および
前記第2のコマンドを実行するように前記コンピューティングデバイスの前記動作を制御する工程
をさらに含む、請求項25記載の方法。

【請求項27】

前記コンピューティングデバイスの動作中に前記動作コンテキストの変化を検出したことに応答して、前記筋活動コマンドマッピングが再マップされる、請求項25記載の方法。

【請求項28】

前記動作コンテキストが、
前記コンピューティングデバイス上で現在実行中のアプリケーション、前記コンピューティングデバイスの動作中に発生する外部イベント、および前記コンピューティングデバイスと関連付けられたユーザ履歴
のうちの少なくとも1つと関連付けられる、請求項25記載の方法。

【請求項29】

前記コンピューティングデバイス上で現在実行中のアプリケーションが非muCI対応アプリケーションである場合、前記アプリケーションの画面エリアを、各々が前記画面エリアの特定の領域を含む複数のセルに分割する工程
をさらに含み、
前記複数の筋活動変異形の各々が、前記筋活動コマンドマッピングに従って前記複数のセルのうちの特定のセルに対応する、
請求項25記載の方法。

【請求項30】

前記コンピューティングデバイス上で現在実行中の第1のアプリケーションを検出する工程であって、前記筋活動コマンドマッピングが、前記第1のアプリケーションに対応する第1の筋活動コマンドマッピングである、工程；および
前記第1のアプリケーションとは異なる第2のアプリケーションが前記コンピューティングデバイス上で起動されたことに応答して、再マップされた思考コマンドマッピングが前記第2のアプリケーションに対応する第2の思考コマンドマッピングであるように、前記思考コマンドマッピングを再マップする工程であって、前記第2の思考コマンドマッピングが前記第1の思考コマンドマッピングとは異なる、工程
をさらに含む、請求項25記載の方法。

【請求項31】

前記コンピューティングデバイス上で現在実行中のアプリケーションと、前記筋活動コマンドマッピングを特徴付ける画像とを同時に表示するように、前記コンピューティングデバイスの表示ユニットを制御する工程
をさらに含み、
前記コンピューティングデバイス上で現在実行中の前記アプリケーションが、前記表示ユニットの第1の画面エリアに表示され、前記筋活動コマンドマッピングを特徴付ける前記画像が、前記表示ユニットの第2の画面エリアに表示される、
請求項25記載の方法。

【請求項32】

前記コンピューティングデバイス上で現在実行中の第1のアプリケーションを検出する工程であって、前記筋活動コマンドマッピングが、前記第1のアプリケーションに対応する第1の筋活動コマンドマッピングである、工程；
前記第1の筋活動コマンドマッピングを特徴付ける画像を表示するように、前記コンピューティングデバイスの表示ユニットを制御する工程；
前記第1のアプリケーションとは異なる第2のアプリケーションが前記コンピューティングデバイス上で起動されたことに応答して、再マップされた筋活動コマンドマッピングが前記第2のアプリケーションに対応する第2の筋活動コマンドマッピングであるように、前記筋活動コマンドマッピングを再マップする工程であって、前記第2の筋活動コマンドマッピングが前記第1の筋活動コマンドマッピングとは異なる、工程；および
前記表示された画像が前記第2の筋活動コマンドマッピングを特徴付けるように前記表示された画像を更新するように、前記表示ユニットを制御する工程
をさらに含む、請求項25記載の方法。

【請求項33】

ユーザの1つまたは複数の筋に結合されかつ前記ユーザの少なくとも1つの筋信号を測定するように構成された、1つまたは複数の筋センサと、
少なくとも1つのプログラム命令を格納するように構成されたメモリおよび前記少なくとも1つのプログラム命令を実行するように構成されたプロセッサを含み、マッスルコンピュータインターフェース（muCI）を介して前記ユーザの前記1つまたは複数の筋と動作連通する、コンピューティングデバイスと
を含む、システムであって、
前記プロセッサが、
前記少なくとも1つの測定された筋信号に基づいて前記muCIを介して制御されるように前記コンピューティングデバイスの動作が構成される際に従う筋活動コマンドマッピングであって、前記筋活動コマンドマッピングが複数の筋活動変異形を定義し、前記複数の筋活動変異形の中の第1の筋活動変異形が、前記コンピューティングデバイスによって実行可能な第1のコマンドに対応し、前記複数の筋活動変異形の各々が、前記少なくとも1つの測定された筋信号の信号解析に基づいて感知されるように構成された、前記筋活動コマンドマッピングを、定義し、
前記コンピューティングデバイスの動作中に前記コンピューティングデバイスの動作コンテキストを検出し、かつ
前記第1の筋活動変異形が、前記第1のコマンドとは異なる前記コンピューティングデバイスによって実行可能な第2のコマンドに対応するように、前記コンピューティングデバイスの動作中の前記検出された動作コンテキストに基づいて、前記筋活動コマンドマッピングを再マップする
ように構成され、
前記筋活動コマンドマッピングの前記再マッピングに応答して、前記再マップされた筋活動コマンドマッピングに従って前記少なくとも1つの測定された筋信号に基づいて前記muCIを介して制御されるように、前記コンピューティングデバイスの前記動作が構成される、
システム。

【請求項34】

クリックまたは選択することができる1つまたは複数の画面上のオブジェクトが、ニューラルコマンドにマップされ、前記1つまたは複数の画面上のオブジェクトが変化したときに再マップされる、請求項1～20または22～32のいずれか一項記載の方法。

【請求項35】

各画面上の要素が、ニューラルコマンドと関連付けられたアイコン、テキスト、記号、または数字によって表される、請求項34記載の方法。

【請求項36】

前記1つまたは複数の画面上のオブジェクトが、グラフィカルユーザインターフェース内の要素、またはウェブページ上のリンクおよびボタンである、請求項34または35記載の方法。

【請求項37】

前記1つまたは複数の画面上のオブジェクトが、仮想現実環境またはゲームアプリケーションにおけるオブジェクトである、請求項34または35記載の方法。

【請求項39】

前記1つまたは複数の画面上のオブジェクトが、一般ユーザ向けのアプリケーションにおける視覚要素である、請求項34または35記載の方法。

【請求項40】

バックグラウンドで動作していたプロセスまたは計算の進捗、更新、または完了に応答して、コマンドが再マップし得る、請求項1～20または22～32または34～39のいずれか一項記載の方法。

【請求項41】

他のコンピュータまたはセンサからの通信に応答して、コマンドが再マップし得る、請求項1～20または22～32または34～40のいずれか一項記載の方法。

【請求項42】

ユーザが上下にスクロールするときに、コマンドが再マップし得る、請求項1～20または22～32または34～41のいずれか一項記載の方法。

【請求項43】

ユーザが現在のアプリケーションの挙動もしくはタスクを選択するときに、前記選択された挙動もしくはタスクの局面の構成を反映するように、または異なる挙動もしくはタスクを選択するように、コマンドが再マップする、請求項1～20または22～32または34～42のいずれか一項記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、2019年7月1日に出願された米国特許出願第16/458,443号、2019年7月2日に出願されたカナダ特許出願第3,048,450号、および2020年5月6日に出願された米国特許出願第16/868,348号の優先権を主張し、これらのすべては、その全体が参照により本明細書に組み入れられる。

【0002】

技術分野
本開示は、一般に、コンピューティングデバイスがユーザの脳または筋と動作連通するためのヒューマンコンピュータインターフェース（HCI）に関し、より詳細には、HCI対応コンピューティングデバイスにおいてコマンドマッピングを動的に再マップするためのシステムおよび方法に関する。

【背景技術】

【0003】

背景
四肢麻痺または他の同様のタイプの麻痺を有する人々は、四肢制御の部分的または全体的喪失に苦しむ。多くの場合、脳または脊髄の損傷により、四肢麻痺は、他者との交流、ならびに就職の機会、情報へのアクセス、レクリエーション、およびセルフケアを厳しく制限する可能性がある。完全な麻痺を有する個人は、効果的にコミュニケーションをとる能力をさらに欠いており、よって人間の基本的な能力を制限する。

【0004】

最近では、支援技術により、四肢麻痺者が、これらなしでは不可能なはずの、コミュニケーションなどの特定の活動を行うことが可能になった。そのような一例である、ブレインコンピュータインターフェース（BCI）は、ユーザの脳と外部デバイスとの間の通信経路を指し、脳信号の解釈を介してユーザが単に思考だけでコンピュータを制御できるようにすることができる。BCI対応デバイスは、デバイスの動作を制御するための入力として、様々なタイプの脳センサ（例えば、脳波記録法（EEG）、脳磁図法（MEG）、機能的磁気共鳴画像法（fMRI）、皮質脳波記録法（ECoG）など）を使用して測定されたユーザの脳信号を利用することができる。よって、BCIは、生活の質を大幅に改善するために、他の可能な機会の中でも特に、四肢麻痺者のためのコミュニケーション能力を回復することができる。BCIと同様に、マッスルコンピュータインターフェース（muCI）は、ユーザの筋と外部デバイスとの間の通信経路を指し、筋信号の解釈を介して、ユーザが筋活動で、例えば、ユーザが衰弱性の事故を経験した後の残存筋活動でコンピュータを制御することを可能にする。

【0005】

しかしながら、既存のBCIベースの技術は、著しいコスト、安全上の懸念、および通信速度の遅さを含む様々な欠点を抱えている。例えば、最速のタイピング速度が記録されたBCIは脳インプラントを必要とし、これは潜在的に危険で非常に高価な神経外科手術を必要とする。これらの侵襲的BCIは、従来のカーソルのコンピュータ制御を可能にするが、神経制御されるカーソルの微細運動制限に最適化されていない、健常者ユーザ向けに書かれたコンピュータアプリケーションに依拠する。一方、最先端の非侵襲性BCIは、安全で比較的安価であり得るが、信号品質の低下に起因して劇的に遅いタイピング速度を提供する。

【0006】

BCIアプリケーションの根底にあるのは、ユーザの脳信号の測定および解釈である。脳信号を解釈するための一部のシステムは、脳内の神経活動から測定された生の電気信号と、一連の例を介した思考または思考のシーケンスとの間の対応関係を学習することに依拠している。例えば、脳がセンサに結合されているユーザは、パターンごとに数十回、左腕を動かすことを想像するなど、少数の思考パターンのうちの1つについて考えるように求められる場合がある。これらの例から、システムは、各思考パターンに対応する信号の数学的モデルを訓練することができる。

【0007】

問題として、脳信号は非常に非定常であり、信号の性質を頻繁に変化させる可能性がある。このため、かなりの時間を要するプロセスである、新しい例を用いたモデルの頻繁な再訓練が必要になる。再訓練時間を制限するためには、システムによって認識される思考パターンの数を制限しなければならない。よって、BCI対応デバイスを操作しようとする四肢麻痺のユーザは、一方では時間のかかる絶えず続くモデル再訓練のプロセスに直面し、他方ではシステムが認識可能な一連の操作が限られていることに直面する可能性がある。

【0008】

当然ながら、ほとんどのモデムコンピュータデバイスには、ウェブブラウザ、音楽プレーヤ、インスタントメッセンジャ、ワードプロセッサなどといった複数の異なるソフトウェアアプリケーションがインストールされている。様々なアプリケーションにわたって、ユーザは、潜在的に数千もの操作のうちの1つを実行する必要があり得る。さらに、第1のアプリケーションに適用可能な操作が、第2のアプリケーションには適用できない場合もある。したがって、固定された思考または思考シーケンスのセットを、絶えず変化する一連のアプリケーション固有の操作にマップすることに課題が存在する。

【発明の概要】

【0009】

概要
本開示は、HCI対応デバイスにおいてコマンドマッピングを動的に再マップするためのシステムおよび方法を提供する。コマンドマッピングは、特定のタイプの思考（本明細書では「思考変異形」と呼ぶ）もしくは思考のシーケンス、または特定のタイプの筋活動（本明細書では「筋活動変異形」と呼ぶ）もしくは筋活動のシーケンスなどのユーザアクションを、コンピューティングデバイスによって実行可能な特定のコマンドと相関させることができる。脳活動は、ユーザの脳に結合された脳センサを介して測定された脳信号の解析によって検出することができる。同様に、筋活動は、ユーザの筋のうちの1つまたは複数に結合された筋センサを介して測定された筋信号の解析によって検出することができる。

【0010】

コンピューティングデバイスのコンテキスト（本明細書では「動作コンテキスト」と呼ぶ）が変化すると、コマンドマッピングも、変更または再マップされたコマンドマッピングが、前述の思考変異形または筋活動変異形を、新しい動作コンテキストに関連するコンピューティングデバイスによって実行可能な1つまたは複数の異なるコマンドと相関させるように変化することができる。言い換えれば、コンピューティングデバイスの動作コンテキストの変化に応答してコマンドマッピングを動的に再マップすることができ、コンテキスト固有のコマンドマッピングおよびHCI対応デバイスの改善された制御を提供する。

【0011】

本開示の態様によれば、方法は、以下の工程を含むことができる：コンピューティングデバイスがユーザの脳と動作連通するためのブレインコンピュータインターフェース（BCI）をアクティブ化する工程；ユーザの脳に結合された1つまたは複数の脳センサを介して測定されたユーザの少なくとも1つの脳信号に基づいてBCIを介して制御されるようにコンピューティングデバイスの動作が構成される際に従う思考コマンドマッピングを定義する工程であって、思考コマンドマッピングが、各々がコンピューティングデバイスによって実行可能なコマンドに対応する複数の思考変異形を定義し、複数の思考変異形の中の第1の思考変異形がコンピューティングデバイスによって実行可能な第1のコマンドに対応する、工程；コンピューティングデバイスの動作中にコンピューティングデバイスの動作コンテキストを検出する工程；およびコンピューティングデバイスの動作中の検出された動作コンテキストに基づいて、第1の思考変異形が第1のコマンドとは異なるコンピューティングデバイスによって実行可能な第2のコマンドに対応するように思考コマンドマッピングを再マップする工程。思考コマンドマッピングの再マッピングに応答して、コンピューティングデバイスの動作を、再マップされた思考コマンドマッピングに従って少なくとも1つの測定された脳信号に基づいてBCIを介して制御されるように構成することができる。

【0012】

この方法は、以下の工程をさらに含み得る：ユーザの脳に結合された1つまたは複数の脳センサを使用してユーザの脳信号を測定する工程；測定された脳信号の信号解析に基づいて思考変異形を感知する工程；再マップされた思考コマンドマッピングに従って感知された思考変異形に対応するコンピューティングデバイスによって実行可能なコマンドを決定する工程；および決定されたコマンドを実行するようにコンピューティングデバイスを制御する工程。

【0013】

思考コマンドマッピングは、コンピューティングデバイスの動作中に動作コンテキストの変化を検出したことに応答して再マップすることができる。

【0014】

コンピューティングデバイスの動作コンテキストは、コンピューティングデバイス上で現在実行中のアプリケーション、コンピューティングデバイスがアクティブに動作している間に発生する外部イベント、およびコンピューティングデバイスと関連付けられたユーザ履歴、のうちの少なくとも1つと関連付けることができる。

【0015】

この方法は、以下の工程をさらに含み得る：コンピューティングデバイス上で現在実行中のアプリケーションが非BCI対応アプリケーションである場合、アプリケーションの画面エリアを、各々が画面エリアの特定の領域を含む複数のセルに分割して、複数の思考変異形の各々が、思考コマンドマッピングに従って複数のセルのうちの特定のセルに対応し得るようにする工程。

【0016】

この方法は、以下の工程をさらに含み得る：コンピューティングデバイス上で現在実行中の第1のアプリケーションを検出する工程であって、思考コマンドマッピングが第1のアプリケーションに対応する第1の思考コマンドマッピングである、工程。

【0017】

この方法は、以下の工程をさらに含み得る：第1のアプリケーションとは異なる第2のアプリケーションがコンピューティングデバイス上で起動されたことに応答して、再マップされた思考コマンドマッピングが第2のアプリケーションに対応する第2の思考コマンドマッピングであるように思考コマンドマッピングを再マップする工程であって、第2の思考コマンドマッピングが第1の思考コマンドマッピングとは異なる、工程。

【0018】

この方法は、以下の工程をさらに含み得る：第1のアプリケーションにおいて行われたユーザアクションの検出に応答して、再マップされた思考コマンドマッピングが検出されたユーザアクションに基づく第2の思考コマンドマッピングであるように思考コマンドマッピングを再マップする工程であって、第2の思考コマンドマッピングが第1の思考コマンドマッピングとは異なる、工程。

【0019】

この方法は、以下の工程をさらに含み得る：第1のアプリケーションの実行中に発生した外部イベントの検出に応答して、再マップされた思考コマンドマッピングが検出された外部イベントに基づく第2の思考コマンドマッピングであるように思考コマンドマッピングを再マップする工程であって、第2の思考コマンドマッピングが第1の思考コマンドマッピングとは異なる、工程。外部イベントは、コンピューティングデバイスが着信電子メッセージを受信したときに検出することができる。また、外部イベントは、コンピューティングデバイスがユーザの場所の変化を検出したときに検出することができる。そのような外部イベントは、例として提供されているにすぎず、本開示の範囲をそれに限定するものではない。

【0020】

この方法は、以下の工程をさらに含み得る：第1のアプリケーションと関連付けられたユーザ履歴の検出に応答して、再マップされた思考コマンドマッピングが検出されたユーザ履歴に基づく第2の思考コマンドマッピングであるように思考コマンドマッピングを再マップする工程であって、第2の思考コマンドマッピングが第1の思考コマンドマッピングとは異なる、工程。ユーザ履歴は、ユーザの連絡先、以前に使用された単語または語句、および以前に実行されたコマンドのうちの少なくとも1つと関連付けることができる。ユーザ履歴と関連付けることができるそのような項目は、例として提供されているにすぎず、本開示の範囲をそれに限定するものではない。

【0021】

この方法は、以下の工程をさらに含み得る：コンピューティングデバイス上で現在実行中のアプリケーションと思考コマンドマッピングを特徴付ける画像とを同時に表示するようにコンピューティングデバイスの表示ユニットを制御する工程。コンピューティングデバイス上で現在実行中のアプリケーションは、表示ユニットの第1の画面エリアに表示することができ、思考コマンドマッピングを特徴付ける画像は、表示ユニットの第2の画面エリアに表示される。思考コマンドマッピングを特徴付ける画像は、複数の思考変異形の各々、および複数の思考変異形の各々が対応するコンピューティングデバイスによって実行可能な各コマンドを示すことができる。また、思考コマンドマッピングを特徴付ける画像は、複数の思考変異形とコンピューティングデバイスによって実行可能な各コマンドとの間の対応関係を示すグリッドを含むことができる。

【0022】

この方法は、以下の工程をさらに含み得る：コンピューティングデバイス上で現在実行中の第1のアプリケーションを検出する工程であって、思考コマンドマッピングが第1のアプリケーションに対応する第1の思考コマンドマッピングである、工程；第1の思考コマンドマッピングを特徴付ける画像を表示するようにコンピューティングデバイスの表示ユニットを制御する工程；第1のアプリケーションとは異なる第2のアプリケーションがコンピューティングデバイス上で起動されたことに応答して、再マップされた思考コマンドマッピングが第2のアプリケーションに対応する第2の思考コマンドマッピングであるように思考コマンドマッピングを再マップする工程であって、第2の思考コマンドマッピングが第1の思考コマンドマッピングとは異なる、工程；および表示された画像が第2の思考コマンドマッピングを特徴付けるように表示された画像を更新するように表示ユニットを制御する工程。

【0023】

思考コマンドマッピングは、複数の思考変異形の中の第1の思考変異形と後に続く複数の思考変異形の中の1つまたは複数の後続の思考変異形が、コンピューティングデバイスによって実行可能なコマンドに対応する複数長マッピングスキームを含むことができる。

【0024】

複数の思考変異形は、特定の身体部位の思考、特定の音もしくは単語の思考、特定のイメージの思考、ユーザに見える特定の物体の思考、運動イメージ、またはそれらの任意の組み合わせを含むことができる。

【0025】

さらに、本開示の態様によれば、システムは、ユーザの脳に結合され、ユーザの脳信号を測定するように構成された1つまたは複数の脳センサと、少なくとも1つのプログラム命令を格納するように構成されたメモリおよび少なくとも1つのプログラム命令を実行するように構成されたプロセッサを含み、ブレインコンピュータインターフェース（BCI）を介してユーザの脳と動作連通するコンピューティングデバイスと、を含むことができる。プロセッサは、少なくとも1つの測定された脳信号に基づいてBCIを介して制御されるようにコンピューティングデバイスの動作が構成される際に従う思考コマンドマッピングであって、思考コマンドマッピングが複数の思考変異形を定義し、複数の思考変異形の中の第1の思考変異形がコンピューティングデバイスによって実行可能な第1のコマンドに対応し、複数の思考変異形の各々が少なくとも1つの測定された脳信号の信号解析に基づいて感知されるように構成された、思考コマンドマッピングを定義し、コンピューティングデバイスの動作中にコンピューティングデバイスの動作コンテキストを検出し、コンピューティングデバイスの動作中の検出された動作コンテキストに基づいて、第1の思考変異形が第1のコマンドとは異なるコンピューティングデバイスによって実行可能な第2のコマンドに対応するように思考コマンドマッピングを再マップする、ように構成することができる。思考コマンドマッピングがコンピューティングデバイスの検出された動作コンテキストに基づいて再マップされると、コンピューティングデバイスの動作を、再マップされた思考コマンドマッピングに従って少なくとも1つの測定された脳信号に基づいてBCIを介して制御されるように構成することができる。

【0026】

さらに、本開示の態様によれば、方法は、以下の工程を含むことができる：コンピューティングデバイスがユーザの1つまたは複数の筋と動作連通するためのマッスルコンピュータインターフェース（muCI）をアクティブ化する工程；ユーザの1つまたは複数の筋に結合された1つまたは複数の筋センサを介して測定されたユーザの少なくとも1つの筋信号に基づいてmuCIを介して制御されるようにコンピューティングデバイスの動作が構成される際に従う筋活動コマンドマッピングを定義する工程であって、筋活動コマンドマッピングが、コンピューティングデバイスによって実行可能なコマンドに各々が対応する複数の筋活動変異形を定義し、複数の筋活動変異形の中の第1の筋活動変異形がコンピューティングデバイスによって実行可能な第1のコマンドに対応する、工程；コンピューティングデバイスの動作中にコンピューティングデバイスの動作コンテキストを検出する工程；およびコンピューティングデバイスの動作中の検出された動作コンテキストに基づいて、第1の筋活動変異形が第1のコマンドとは異なるコンピューティングデバイスによって実行可能な第2のコマンドに対応するように筋活動コマンドマッピングを再マップする工程。筋活動コマンドマッピングの再マッピングに応答して、コンピューティングデバイスの動作を、再マップされた筋活動コマンドマッピングに従って少なくとも1つの測定された筋信号に基づいてmuCIを介して制御されるように構成することができる。

【0027】

さらに、本開示の態様によれば、システムは、ユーザの1つまたは複数の筋に結合され、ユーザの少なくとも1つの筋信号を測定するように構成された1つまたは複数の筋センサと、少なくとも1つのプログラム命令を格納するように構成されたメモリおよび少なくとも1つのプログラム命令を実行するように構成されたプロセッサを含み、マッスルコンピュータインターフェース（muCI）を介してユーザの1つまたは複数の筋と動作連通するコンピューティングデバイスと、を含むことができる。プロセッサは、少なくとも1つの測定された筋信号に基づいてmuCIを介して制御されるようにコンピューティングデバイスの動作が構成される際に従う筋活動コマンドマッピングであって、筋活動コマンドマッピングが複数の筋活動変異形を定義し、複数の筋活動変異形の中の第1の筋活動変異形がコンピューティングデバイスによって実行可能な第1のコマンドに対応し、複数の筋活動変異形の各々が少なくとも1つの測定された筋信号の信号解析に基づいて感知されるように構成された、筋活動コマンドマッピングを定義し、コンピューティングデバイスの動作中にコンピューティングデバイスの動作コンテキストを検出し、コンピューティングデバイスの動作中の検出された動作コンテキストに基づいて、第1の筋活動変異形が第1のコマンドとは異なるコンピューティングデバイスによって実行可能な第2のコマンドに対応するように筋活動コマンドマッピングを再マップする、ように構成することができる。筋活動コマンドマッピングの再マッピングに応答して、コンピューティングデバイスの動作を、再マップされた筋活動コマンドマッピングに従って少なくとも1つの測定された筋信号に基づいてmuCIを介して制御されるように構成することができる。

【0028】

特定の好ましい方法では、クリックまたは選択することができる1つまたは複数または各々の画面上のオブジェクトが、ニューラルコマンドにマップされ、これらのオブジェクトが変化したときに再マップされる。例えば、一局面では、各画面上の要素が、さらにはニューラルコマンドと関連付けられるアイコン、テキスト、記号、または数字によって表され得る。特定の局面では、画面上のオブジェクトは、グラフィカルユーザインターフェース内の要素、またはウェブページ上のリンクおよびボタンである。代替の局面では、画面上のオブジェクトは、仮想現実環境またはゲームアプリケーションにおけるオブジェクトである。さらに別の局面では、画面上のオブジェクトは、一般ユーザ向けのアプリケーションにおける視覚要素であり、いずれもブレインコンピュータインターフェースに合わせて調整できない。

【0029】

さらなる好ましい方法では、コマンドは、バックグラウンドで動作していたプロセスまたは計算の進捗、更新、または完了に応答して再マップし得る。

【0030】

さらに別の好ましい方法では、コマンドは、他のコンピュータまたはセンサからの通信に応答して再マップし得る。

【0031】

さらなる好ましい方法では、コマンドは、ユーザが上下にスクロールするときに再マップし得る。

【0032】

さらなる好ましい方法では、ユーザは、現在のアプリケーションの挙動またはタスクを選択し、コマンドは、選択された挙動もしくはタスクの局面の構成を反映するように、または異なる挙動もしくはタスクを選択するように再マップする。例えば、電子メールアプリケーション内で、電子メール送信挙動を選択すると、電子メールの作成に関連するコマンドを与えることができ、受信トレーブラウズ挙動を選択すると、電子メールスレッドの検索、削除、およびアクセスに関連するコマンドを与えることができる。

【0033】

開示される本発明の他の局面は以下の通りである。

【図面の簡単な説明】

【0034】

本明細書の態様は、以下の説明を添付の図面と併せて参照することによってよりよく理解され得、添付の図面において、同様の符番は同一または機能的に同様の要素を示す。

【0035】

【図1】図1Aおよび図1Bは、それぞれ、コンピューティングデバイスをユーザの脳と動作可能に結合するブレインコンピュータインターフェース（BCI）、およびコンピューティングデバイスをユーザの1つまたは複数の筋と動作可能に結合するマッスルコンピュータインターフェース（muCI）の簡略化した概略図である。

【図2】図2は、電子メールアプリケーションに対応する例示的な思考コマンドマッピングの概略図である。

【図3】図3A～3Dは、アプリケーションベースの動作コンテキストに従って図2の思考コマンドマッピングを再マップする実証例を示す図である。

【図4】図4は、外部イベントベースの動作コンテキストに従って図2の思考コマンドマッピングを再マップする実証例を示す図である。

【図5】図5Aおよび図5Bは、外部イベントベースの動作コンテキストに従って図2の思考コマンドマッピングを再マップする実証例を示す図である。

【図6】図6は、ユーザ履歴ベースの動作コンテキストに従って図2の思考コマンドマッピングを再マップする実証例を示す図である。

【0036】

上記で参照された図面は、必ずしも縮尺通りではなく、本開示の基本原理を例示する様々な好ましい特徴の幾分単純化された表現を提示していることを理解されたい。例えば、特定の寸法、向き、場所、および形状を含む本開示の特定の設計上の特徴は、一部は特定の意図された用途および使用環境によって決定される。

【発明を実施するための形態】

【0037】

態様の詳細な説明
以下、本開示の態様を、添付の図面を参照して詳細に説明する。当業者であれば理解するように、記載の態様は、すべて本開示の趣旨または範囲から逸脱することなく、様々な異なる方法で修正され得る。さらに、本明細書全体を通して、同様の符番は同様の要素を指す。

【0038】

本明細書で使用される用語は、特定の態様を説明するためのものにすぎず、本開示を限定することを意図するものではない。本明細書で使用される場合、単数形の「a」、「an」、および「the」は、文脈上そうではないことが明らかでない限り、複数形を含むことが意図されている。「含む（comprises）」および/または「含む（comprising）」という用語は、本明細書で使用される場合、記述された特徴、整数、工程、動作、要素、および/または構成要素の存在を指定するが、1つまたは複数の他の特徴、整数、工程、動作、要素、構成要素、ユニット、および/またはそれらのグループの存在または追加を除外するものではないこともさらに理解されるであろう。本明細書で使用される場合、「および/または」という用語は、関連付けられる列挙された項目のうちの1つまたは複数のありとあらゆる組み合わせを含む。

【0039】

本明細書で使用される場合、「コンピューティングデバイス」という用語は、例えばコンピュータなどの、メモリおよびプロセッサを含むハードウェアデバイスを指し得る。メモリは、プログラム命令を格納するように構成され、プロセッサは、以下でさらに説明される1つまたは複数のプロセスを行うためにプログラム命令を実行するように特にプログラムされる。いくつかの態様では、コンピューティングデバイスは、例えば、スマートフォン、タブレット、ラップトップ、または他のタイプのモバイルデバイスやコンピュータなどのように、携帯型とすることができる。いくつかの態様では、コンピューティングデバイスは、様々な情報を表示するためにプロセッサによって動作可能に制御される任意の適切なタイプの表示ユニット（例えば、液晶ディスプレイ（LCD）、発光ダイオード（LED）ディスプレイ、陰極線管（CRT）ディスプレイなど）を含むことができる。

【0040】

コンピューティングデバイスのプロセッサは、本明細書で説明されるように、以下の方法またはその局面のうちの1つまたは複数を実行し、コンピューティングデバイスの1つまたは複数の動作局面を制御し得る。あるいは、コンピューティングデバイス（例えば、遠隔配置されたサーバ）のプロセッサは、本明細書で説明されるように、以下の方法またはその局面のうちの1つまたは複数を実行し、コンピューティングデバイスの1つまたは複数の動作局面を遠隔制御し得る。他の態様では、コンピューティングデバイスのプロセッサと遠隔配置されたプロセッサとの組み合わせは、本明細書で説明されるように、以下の方法またはその局面のうちの1つまたは複数を実行し、コンピューティングデバイスの1つまたは複数の動作局面を制御し得る。

【0041】

さらに、本開示の以下の局面のうちの1つまたは複数は、プロセッサによって実行される実行可能プログラム命令を含む非一時的コンピュータ可読媒体として具現化されてもよい。コンピュータ可読媒体の例には、ROM、RAM、コンパクトディスク（CD）-ROM、磁気テープ、フロッピーディスク、フラッシュドライブ、スマートカード、および光学データ記憶装置が含まれるが、これらに限定されない。コンピュータ可読記録媒体はまた、プログラム命令が、例えばテレマティクスサーバやコントローラエリアネットワーク（CAN）によって分散方式で格納および実行されるように、コンピュータネットワーク全体に分散させることができる。

【0042】

次に本開示の態様を参照して、コンピューティングデバイスがユーザの脳と動作連通するためのBCI、コンピューティングデバイスがユーザの1つまたは複数の筋と動作連通するためのmuCI、または同様のHCI実装を利用した、HCI対応デバイスの思考コマンドマッピングの動的再マッピングのためのシステムおよび方法を本明細書で説明する。コンピューティングデバイスのコンテキスト（本明細書では「動作コンテキスト」と呼ぶ）を、コンピューティングデバイスの動作中に監視することができる。コンピューティングデバイスの動作コンテキストの変化を検出すると、特定のタイプの思考もしくは思考のシーケンス、または特定のタイプの筋活動もしくは筋活動のシーケンスが、変更された動作コンテキストに関連するコンピューティングデバイスによって実行可能なコマンドに対応し得るように、コマンドマッピングを調整または再マップすることができる。これにより、コンテキスト固有のコマンドマッピングが、その結果、HCI対応デバイスの改善された制御が可能になる。

【0043】

上述したように、図1Aおよび図1Bに示されるように、例えば、BCIやmuCIを含むHCIのいくつかの異なる実装形態が存在し得る。本明細書ではBCIおよびmuCIが明示的に説明されているが、本明細書に記載される原理はそれらだけに限定されず、他のタイプのHCIにも適用可能である。

【0044】

第1に、図1Aは、コンピューティングデバイス100をユーザ110の脳と動作可能に結合する例示的なBCIの簡略化された概略図である。図1Aに示されるように、BCIは、コンピューティングデバイス100がユーザ110の脳と動作連通することを可能にすることができる。ユーザ110は、様々な方法で、ユーザ110の脳信号を測定するのに適した脳感知デバイスまたは脳センサとペアリングすることができる。いくつかの態様では、図1Aに示されるように、脳波記録法（EEG）センサをユーザ110の頭皮に配置することができる。しかしながら、本開示は、1つのタイプの脳センサに限定されない。例えば、ユーザ110の脳信号は、代替的または追加的に、脳磁図法（MEG）デバイス、機能的磁気共鳴画像法（fMRI）デバイス、皮質脳波記録法（ECoG）デバイスなどによって測定することもできる。脳センサは、EEGの場合のように、例えば、ユーザ110の脳内もしくは脳上に植え込まれるか、またはそれらの任意の組み合わせで装着することができる。

【0045】

BCIは、測定された脳信号に対して様々な信号解析技術を行うためのデータ処理ソフトウェアを含むことができる。信号解析は、例えば、測定された脳信号の初期処理（例えば、増幅、デジタル化など）、信号からの特徴の抽出、特徴間のパターンの分類を含む一連の動作を含むことができる。分類されたパターンは、以下でより詳細に説明されるように、人が自発的に再現することができる任意のタイプまたはカテゴリの固有の思考、または「思考変異形」に対応し得る。いくつかの態様では、信号解析は、パターン分類スキームを訓練するのに必要な回数繰り返すことができる。

【0046】

第2に、図1Bは、コンピューティングデバイス100をユーザ110の1つまたは複数の筋と動作可能に結合する例示的なmuCIの簡略化された概略図である。図1Bに示されるように、muCIは、コンピューティングデバイス100がユーザ110の1つまたは複数の筋と動作連通することを可能にすることができる。ユーザ110は、様々な方法で、ユーザ110の筋信号を測定するのに適した筋活動感知デバイスまたは筋センサとペアリングすることができる。いくつかの態様では、図1Bに示されるように、筋電図（EMG）センサをユーザ110の前腕などの身体部位に配置することができる。しかしながら、本開示は、1つのタイプの筋センサに限定されない。筋センサは、EMGの場合のように、例えば、ユーザ110の筋内もしくは筋上に植え込まれるか、またはそれらの任意の組み合わせで装着することができる。

【0047】

BCIが動作する方法と同様に、muCIは、測定された筋信号に対して様々な信号解析技術を行うためのデータ処理ソフトウェアを含むことができる。信号解析は、例えば、測定された筋信号の初期処理（例えば、増幅、デジタル化など）、信号からの特徴の抽出、特徴間のパターンの分類を含む一連の動作を含むことができる。分類されたパターンは、人が自発的に再現することができる任意のタイプまたはカテゴリの固有の筋活動、または「筋活動変異形」に対応し得る。筋活動変異形には、例えば、1本または複数の指の押す、挟む、叩く、または持ち上げるなどのジェスチャまたは動き（例えば、前腕に配置されたセンサの場合）、特定の筋肉を屈曲または緊張させるなどの残存筋活動（例えば、衰弱性の事故後に失われた主な筋活動の場合）などが含まれ得るが、本明細書で想定される筋活動のタイプは、それらだけに限定されない。

【0048】

図1Aおよび図1Bを一緒に参照すると、脳または筋活動の分類されたパターンは、コンピューティングデバイス100によって実行可能なコマンドと相関させることができる。これは、以下で詳細に説明されるように、事前定義されたコマンドマッピング200を使用して行うことができる。次いで、実行可能コマンドを、実行のためにコンピューティングデバイス100に転送することができる。したがって、信号形式で測定可能なユーザ110の脳活動または筋活動を、BCIを介してコンピューティングデバイス100によって実行可能なコマンドに変換して、ユーザ110がコンピューティングデバイス100の動作を制御することを可能にすることができる。

【0049】

コマンドを実行すると、コンピューティングデバイス100は、ユーザ110にフィードバックを提供して、所望の動作が正常に行われたことをユーザ110に確認することができる。フィードバックは、例えば、視覚応答、可聴応答、触覚応答などを含む様々な形態で提供することができる。

【0050】

いくつかの態様では、測定された脳信号または筋信号の処理を、コンピューティングデバイス100によって行うことができる。他の態様では、測定された脳信号または筋信号の処理を、信号を受信し、処理の何らかの結果（例えば、抽出された特徴、分類されたパターン、識別された実行可能コマンドなど）をコンピューティングデバイス100に出力するリモートサーバまたはコンピューティングデバイス（図示されず）によって行うことができる。さらに別の態様では、測定された脳信号または筋信号の処理を、コンピューティングデバイス100とリモートサーバまたはリモートコンピューティングデバイスの組み合わせによって行うことができる。

【0051】

上述したように、HCI対応デバイスは、事前定義されたコマンドマッピングを利用して、思考変異形や筋活動変異形などの識別されたユーザアクションを、前述の信号解析技術を使用して、例えば、コンピューティングデバイス100によって実行可能なコマンド220に変換することができる。場合によっては、コンピューティングデバイス100上で実行するために構成された、ワードプロセッサ、ウェブブラウザ、ゲーム、電子メールクライアントなどといった特定のアプリケーションに各々対応する、複数のコマンドマッピングを事前定義することもできる。

【0052】

例えば、図2は、電子メールアプリケーションに対応する例示的なコマンドマッピング200の概略図である。実証を目的として、図2および残りの図に示されるコマンドマッピング200は、特に、BCIを利用するコンピューティングデバイスに適用可能な思考コマンドマッピングに対応し得る。しかしながら、説明される原理は、muCIを利用するコンピューティングデバイスに適用可能な筋活動コマンドマッピングにも等しく適用可能である。よって、図全体を通して例示的に示されているような思考コマンドマッピング200は、HCIの範囲内でユーザ110に結合されたセンサを介して測定可能な筋活動変異形または他のタイプのユーザアクション変異形で思考変異形を置き換えるように修正することができることを理解されたい。

【0053】

図2を参照すると、思考コマンドマッピング200は、ユーザ110に、思考（例えば、脳活動）に基づいてコンピューティングデバイス100の動作を制御する能力を提供することができる。すなわち、以下で詳細に説明されるように、思考コマンドマッピング200に従ってユーザ110の測定された脳信号を使用して、コンピューティングデバイス100の動作を制御することができる。

【0054】

思考コマンドマッピング200は、複数のタイプの思考（本明細書では「思考変異形」210と呼ぶ）を定義し、各思考変異形210をコンピューティングデバイス100によって実行可能な特定のコマンド220と相関させるマップを提供することができる。思考変異形は、本明細書全体で言及されるように、人（すなわちユーザ110）が自発的に再現することができる任意のタイプまたはカテゴリの思考または注意とすることができる。思考変異形210は、例えば、特定の身体部位の思考、特定の音もしくは単語の思考、特定のイメージの思考、ユーザに見える特定の物体の思考、運動イメージなど、ならびにそれらの任意の組み合わせを含むことができる。思考変異形210は、図1Aを参照して上述したように、ユーザ110の測定された脳信号に信号解析技術を適用することによって感知することができる。

【0055】

以下の例は、主に、身体部位、または運動イメージとして知られる、身体部位の想像された動きの思考変異形に言及する。しかしながら、本開示の範囲は、特定のタイプまたはカテゴリの思考変異形に限定されない。他の思考変異形の例には、音または言葉を音をたてることなく発話すること（すなわち、音または言葉を心の中で言うこと）、視覚イメージをイメージすること、周囲環境内の物体に注意を払うことなどが含まれる。

【0056】

思考コマンドマッピング200は、様々な長さで形成することができる。第1の例では、思考コマンドマッピング200は、複数の事前定義された思考変異形210の中の第1の思考変異形210がコンピューティングデバイス100によって実行可能な第1のコマンド220に対応する単一長マッピングスキームを含むことができる。例えば、ユーザの左足と一致する、すなわち、ユーザ110が左足を動かすことに集中するかまたはこれを想像する思考変異形210を、文字「A」をタイプ入力することにマップすることができる。例えば、ユーザ110が電子メールを作成している場合、左足のことを考えると、コンピューティングデバイスに文字「A」をタイプ入力させることができる。

【0057】

第2の例では、思考コマンドマッピング200は、思考変異形210と後に続く1つまたは複数の後続の思考変異形210が、コンピューティングデバイス100によって実行可能な第1のコマンド220に対応する複数長マッピングスキームを含むことができる。例示的、非限定的な倍長マッピングスキームを表すそのような複数長マッピングスキームの1つが図2に示されている。図2に示されるように、（縦軸に沿って列挙された）第1レベルの思考変異形210と後に続く（横軸に沿って列挙された）第2レベルの思考変異形210は、コンピューティングデバイス100によって実行可能な第1のコマンド220に対応し得る。例えば、ユーザの左足と一致する第1レベルの思考変異形210と後に続くユーザの右手と一致する第2レベルの思考変異形210、すなわち、ユーザ110が左足を動かすことに集中するかまたはこれを想像し、次いで右手を動かすことに集中するかまたはこれを想像することを、文字「E」をタイプ入力することにマップすることができる。例えば、ユーザ110が電子メールを作成している場合、左足のことを考えた後に右手のことを考えると、コンピューティングデバイスに文字「E」をタイプ入力させることができる。

【0058】

以下の例は、主に、倍長思考コマンドマッピングスキームに言及しているが、思考コマンドマッピング200は、それだけに限定されない。

【0059】

任意の所与の時点において、コンピューティングデバイス100には、ワードプロセッサ、ウェブブラウザ、ゲーム、電子メールクライアントなどのアクティブに動作している1つまたは複数のアプリケーションがあり得る。このため、各々が特定のアプリケーションに固有の複数の思考コマンドマッピングを定義することができる。

【0060】

再び図2を参照すると、例えば、思考コマンドマッピング200は、電子メールクライアントアプリケーションに対応することができる。そのような場合、思考コマンドマッピング200は、電子メールクライアントアプリケーションを実行している間にコンピューティングデバイス100によって行われる共通の機能および/または動作に固有のものとすることができる。例えば、図2の思考コマンドマッピンググリッドに示されているコンピューティングデバイス実行可能コマンド220は、ユーザ110がテキストを入力することを可能にするASCII文字、ならびに「電子メールを送信する」、「電子メールの件名を変更する」、「電子メールの受信者を変更する」、「CCを変更する」、「BCCを変更する」、「太字に切り替える」、「イタリックに切り替える」などを含む様々な関連動作を含む。

【0061】

一方、コンピューティングデバイス100のコンテキスト（本明細書では「動作コンテキスト」と呼ぶ）が変化するときにユーザ110がコンピューティングデバイス100を操作している場合、思考コマンドマッピング200は、新しいコンテキストを反映する更新を必要とし得る。例えば、ユーザ110が前述の電子メールクライアントを介して電子メールを送信し、次いでアクティブに動作しているアプリケーションを特定のゲームに切り替える場合、「電子メールを送信する」や「電子メールの件名を変更する」などのコマンドは、もはやコンピューティングデバイス100の現在の使用に関係しない可能性がある。

【0062】

したがって、コンピューティングデバイス100の動作コンテキストが変化するにつれて、思考コマンドマッピング200を、変更されたコンテキストを反映するように動的に更新することができる。上記の例を再び参照して、アクティブに動作しているアプリケーションを電子メールクライアントからゲームに切り替えると、思考コマンドマッピング200を、図2に示されるような電子メールクライアント固有のマッピングから、現在動作しているゲームに固有のマッピングに変更することができる。

【0063】

コンピューティングデバイス100の動作コンテキストは、コンピューティングデバイス100のユーザの操作に関連する次の少なくとも3つの異なるタイプのコンテキストと関連付けることができる。（1）アプリケーションベースのコンテキスト（例えば、コンピューティングデバイス100上で現在実行中のアプリケーション）、（2）イベントベースのコンテキスト（例えば、コンピューティングデバイス100の動作中に発生する外部イベント）、および（3）ユーザ履歴ベースのコンテキスト（例えば、コンピューティングデバイス100と関連付けられたユーザ履歴）。コンピューティングデバイス100の動作中に上記の動作コンテキストのいずれかの変化を検出すると、それに応じて思考コマンドマッピング200を再マップすることができる。これらの動作コンテキストタイプの各々を、例示的、非限定的な例を参照して以下で詳細に説明する。

【0064】

まず、図3A～図3Dに、コンピューティングデバイス100上で現在実行中のアプリケーションに関連するコンピューティングデバイス100のコンテキストを含むことができるアプリケーションベースの動作コンテキストに従って思考コマンドマッピング200を再マップする実証例を示す。例えば、コンピューティングデバイス100のアプリケーションベースの動作コンテキストは、コンピューティングデバイス100上で現在実行中の所与のアプリケーション、コンピューティングデバイス100上で現在実行中のアプリケーションの状態、およびコンピューティングデバイス100上で現在実行中のアプリケーション内でユーザ110によって行われたアクションと関連付けることができる。

【0065】

まず図3Aを参照すると、思考コマンドマッピング200とコンピューティングデバイス100上で現在実行中のウェブブラウザアプリケーション300（すなわち、「第1のアプリケーション」）が示されている。ウェブブラウザアプリケーション300は、例えば、当技術分野でよく理解されているように、ユーザ110が様々なウェブページにナビゲートし、その中で様々な操作を行うことを可能にすることができる。ウェブブラウザアプリケーション300は、コンピューティングデバイス100の表示ユニットに表示することができる。

【0066】

いくつかの態様では、ウェブブラウザアプリケーション300、または本明細書に記載されているかどうかにかかわらず、コンピューティングデバイス100上で実行中の任意の他のアプリケーションを、思考コマンドマッピング200を特徴付ける画像と同時にコンピューティングデバイス100の表示ユニットに表示することができる。例えば、図3A～図3Dに示されるように、コンピューティングデバイス100上で現在実行中のアプリケーション（例えば、ウェブブラウザアプリケーション300など）を、表示ユニットの第1の画面エリアに表示することができ、同時に、思考コマンドマッピング200を特徴付ける画像を、表示ユニットの第2の画面エリアに表示することができる。場合によっては、第1の画面エリアと第2の画面エリアとは、現在実行中のアプリケーションおよび思考コマンドマッピング200を特徴付ける画像の各々を完全に表示することができるように、それぞれ、画面の別個の重なり合わないエリアに対応することができる。いくつかの態様では、第1の画面エリアおよび第2の画面エリアのサイズおよび/または位置を、それぞれ、ユーザ110の好みに従って調整することができる。さらに、本明細書で詳細に説明されるように、思考コマンドマッピング200が再マップされるときに、再マップされた思考コマンドマッピングを反映するように思考コマンドマッピング200を特徴付ける画像をリアルタイムでリフレッシュすることができる。

【0067】

図3A～図3Dにさらに示されるように、思考コマンドマッピング200を特徴付ける画像は、思考変異形210の各々の指示と、各思考変異形210が対応するコンピューティングデバイス100によって実行可能な各コマンド220とを含むことができる。よって、ユーザ110に、現在の思考コマンドマッピング200を知らせ、所与の時間における思考変異形コマンド対応関係に関して起こり得る混乱を防止することができる。いくつかの態様では、思考コマンドマッピング200を特徴付ける画像は、図3A～図3Dに示される思考コマンドマッピンググリッドのような、思考変異形コマンド対応関係を示すグリッドを含むことができる。さらに、本明細書で詳細に説明されるように、思考コマンドマッピング200は、コンピューティングデバイス100の検出された動作コンテキストに従って更新されるので、思考コマンドマッピング200を特徴付ける画像はまた、思考コマンドマッピング200に加えられた任意の変更を反映するようにリアルタイムで更新することもできる。

【0068】

上記で説明したように、思考コマンドマッピング200は、現在実行されているアプリケーションに対応するコンピューティングデバイス100によって実行可能なコマンド220を含むことができる。よって、思考コマンドマッピング200を、コンピューティングデバイス100の検出された動作コンテキスト（すなわち、コンピューティングデバイス100上で現在実行中のアプリケーション、現在実行中のアプリケーションの状態、現在実行中のアプリケーション内でユーザ110によって行われたアクションなど）に従って定義することができる。再び図3Aの例を参照すると、思考変異形210は、例えば、ユーザ110が新しいアプリケーションを起動することを可能にする「メインアプリケーションメニュー」、「新しいURLを入力する」、「スクロールダウンする」、「スクロールアップする」などを含む、ウェブブラウザアプリケーション300の典型的な使用に関連する実行可能コマンド220にマップすることができる。本開示の目的のために、図3Aの思考コマンドマッピング200を、「第1の思考コマンドマッピング」と呼ぶことができる。

【0069】

加えて、ウェブブラウザアプリケーション300は、ウェブページリンク、検索バー、ボタン、またはアプリケーション300内の任意の他のオブジェクトなどの、アプリケーション300内の対話型オブジェクトまたは「クリック可能な」オブジェクトに対応する、数字、文字、または他の記号などの複数のオブジェクトマーカ310を含むことができる。コンピューティングデバイス100上で実行中の任意のアプリケーションは、本明細書に記載されているかどうかにかかわらず、そのようなオブジェクトマーカを含むことができる。したがって、思考コマンドマッピング200の実行可能コマンド220は、上記のアプリケーション関連の操作に加えて、オブジェクトマーカ310を含むことができる。例えば、図3Aに示されるように、ユーザの左足と一致する第1レベルの思考変異形210と後に続くユーザの右手と一致する第2レベルの思考変異形210、すなわち、ユーザ110が左足を動かすことに集中するかまたはこれを想像し、次いで右手を動かすことに集中するかまたはこれを想像することを、オブジェクトマーカ「2」にマップすることができ、これが、ウェブブラウザアプリケーション300の検索バー320をアクティブ化し、ユーザ110が検索クエリを入力できるようにする。

【0070】

次に図3Bを参照して、実証のために、ユーザ110が、ウェブブラウザアプリケーション300の検索バー320を選択するために上記の思考変異形シーケンスを行う（すなわち、左足を動かすことに集中するかまたはこれを想像した後に続いて右手を動かすことに集中するかまたはこれを想像する）と仮定する。そのようなコマンドを実行したことに応答して、コンピューティングデバイス100の動作コンテキストの変化を検出することができる。具体的には、この例では、アプリケーション300内でユーザ110によって行われたアクション（検索バー320をアクティブ化する）に基づいて、アプリケーション300の状態が変化している（アプリケーション300が検索クエリの形式のテキストを受け付けている）。

【0071】

よって、変更された動作コンテキストの検出に応答して思考コマンドマッピング200を再マップすることができる。そのような再マッピングは、ユーザ110が利用可能な実行可能コマンド220が常に現在の動作コンテキストに固有であるように、コンピューティングデバイス100の動作中に、変更された動作コンテキストを検出すると直ちに行うことができる。本開示の目的のために、図3Bの再マップされた思考コマンドマッピング200を、「第2の思考コマンドマッピング」と呼ぶことができる。

【0072】

思考コマンドマッピング200の再マッピングは、1つまたは複数の思考変異形実行可能コマンド対の対応関係を修正することを含むことができる。例えば、図3Aでは、ユーザの左足と一致する第1レベルの思考変異形210と後に続くユーザの右手と一致する第2レベルの思考変異形210、すなわち、ユーザ110が左足を動かすことに集中するかまたはこれを想像し、次いで右手を動かすことに集中するかまたはこれを想像することを、オブジェクトマーカ「2」にマップすることができ、これが、ウェブブラウザアプリケーション300の検索バー320をアクティブ化する。図3Bでは、思考コマンドマッピング200を再マップした後、同じ思考変異形シーケンス（ユーザの左足と一致する第1レベルの思考変異形210と後に続くユーザの右手と一致する第2レベルの思考変異形210）は、異なるコマンド220:文字「A」をタイプ入力することに対応することができる。思考コマンドマッピング200は、例えば、提案された検索クエリを含む、現在の動作コンテキストに関連する他の実行可能コマンド220も含むことができる。さらに、ユーザ110が検索ボックス320にタイプ入力している間に、思考コマンドマッピング200に含まれる提案された検索クエリがユーザの検索クエリの現在の状態に基づいて選択されるように、思考コマンドマッピング200を再マップすることができる。例えば、ユーザの未完了の検索クエリを完了するために思考コマンドマッピング200に含まれる提案された検索クエリを選択することができる。

【0073】

したがって、コンピューティングデバイス100によって実行可能な第1のコマンド220に対応する第1の思考変異形210は、思考コマンドマッピング200を再マップした後に、第1のコマンド220とは異なる第2のコマンド220に対応することができる。思考コマンドマッピング200が再マップされると、コンピューティングデバイス100の動作を、再マップされた思考コマンドマッピング200に従って、BCIを介して、ユーザ110の測定された脳信号に基づいて制御することができる。

【0074】

次に図3Cを参照して、実証のために、ユーザ110が「スクロールダウンする」コマンド220に対応する思考変異形シーケンス（すなわち、ユーザの左足と一致する第1レベルの思考変異形210と後に続くユーザの両足と一致する第2レベルの思考変異形210（図3A参照））を行うと仮定する。そのようなコマンドを実行すると、コンピューティングデバイス100の動作コンテキストの別の変化を検出することができる。具体的には、この例では、アプリケーション300内でユーザ110によって行われたアクション（スクロールダウンする）に基づいて、アプリケーション300の状態が変化している（ウェブブラウザアプリケーション300がウェブページの異なる部分を表示している）。

【0075】

変更された動作コンテキストに応答して、思考コマンドマッピング200を、アプリケーション300の新しい現在の状態に従って再マップすることができる。本開示の目的のために、図3Cの再マップされた思考コマンドマッピング200を、「第2の思考コマンドマッピング」と呼ぶことができる。

【0076】

例えば、オブジェクトマーカ310は、表示されているウェブページの部分の内容に基づいて配置することができる。よって、思考変異形210の一部を、現在のページビュー内のオブジェクト（例えば、ウェブページリンク、検索バー、ボタンなど）を指し示すオブジェクトマーカ310に対応するコマンド220にマップすることができる。他の思考変異形210は、「メインアプリケーションメニュー」、「新しいURLを入力する」、「スクロールアップする」、「スクロールダウンする」などといった同じコマンド220にマップすることができ、というのは、思考コマンドマッピング200の再マッピング後に、これらのコマンド220は、図3Cの動作コンテキスト変更後のウェブブラウザアプリケーション300の動作に関連するかまたは有用なままであるからである。とはいえ、特定のコマンド220は、それらがもはやアプリケーション300の現在の使用に関連しないかまたは適用できなくなると、思考コマンドマッピング200から削除されるように思考コマンドマッピング200を再マップすることができる。例えば、ユーザ110がウェブブラウザアプリケーション300内のウェブページの最下部までスクロールダウンした場合、コマンド220「スクロールダウンする」を、思考コマンドマッピング200から削除および/または置換することができる。

【0077】

次に図3Dを参照して、実証のために、ユーザ110が異なるアプリケーション、すなわち仮想ピアノアプリケーション400（すなわち、「第2のアプリケーション」）を起動すると仮定する。新しいアプリケーションを起動すると、コンピューティングデバイス100の動作コンテキストの別の変化を検出することができる。この例では、コンピューティングデバイス100上で現在実行されているアプリケーションが変化している。ウェブブラウザアプリケーション300と同様に、仮想ピアノアプリケーション400を、表示ユニットの第1の画面エリアに表示することができ、同時に、思考コマンドマッピング200を特徴付ける画像を、表示ユニットの第2の画面エリアに表示することができる。現在実行中のアプリケーションも以前に実行中であったアプリケーションも、いずれか1つのアプリケーションに限定されないことを理解されたい。

【0078】

変更された動作コンテキストに応答して、思考コマンドマッピング200を、新しく起動されたアプリケーション400に従って再マップすることができる。本開示の目的のために、図3Dの再マップされた思考コマンドマッピング200を、「第2の思考コマンドマッピング」と呼ぶことができる。

【0079】

上述した思考コマンドマッピング200の再マッピングの例と同様に、実行可能コマンド220は現在の動作コンテキストに従って変化することができるが、定義された思考変異形210のセットは固定されたままであり得る。ここで、思考変異形210を、仮想ピアノアプリケーション400のピアノの鍵盤に対応するコマンド220に再マップすることができる。例えば、ユーザの左足と一致する第1レベルの思考変異形210と後に続くユーザの右手と一致する第2レベルの思考変異形210、すなわち、ユーザ110が左足を動かすことに集中するかまたはこれを想像し、次いで右手を動かすことに集中するかまたはこれを想像することを、ピアノの鍵盤「4」にマップすることができ、これは、コンピューティングデバイス100に仮想ピアノアプリケーション400内のピアノの鍵盤「4」をアクティブ化させ、可聴出力および/または視覚出力を生成し得る（例えば、アクティブ化されたピアノの鍵盤と一致する音を出力し得る）。思考変異形210は、追加的または代替的に、「音量を上げる」、「音量を下げる」、「音を変更する」、「音の効果を追加する」などのような有用なコマンドなどの仮想ピアノアプリケーション400に関連する他のコマンド220に再マップすることもできる。

【0080】

次に、図4、図5Aおよび図5Bに、コンピューティングデバイス100の動作中に発生する外部イベントに関連するコンピューティングデバイス100のコンテキストを含むことができる外部イベントベースの動作コンテキストに従って思考コマンドマッピング200を再マップする実証例を示す。例えば、コンピューティングデバイス100の外部イベントベースの動作コンテキストは、コンピューティングデバイス100の動作中に発生する、コンピューティングデバイス100上で現在実行中のアプリケーションとは無関係の1つまたは複数の外部イベントと関連付けることができる。場合によっては、外部イベントは、ユーザ110が応答したい可能性がある、および/またはユーザ110が気付くべきイベントとすることができる。

【0081】

まず、ウェブブラウザアプリケーション300および上述の例示的なマッピングのような対応する思考コマンドマッピング200を示している図4を参照すると、実証のために、ユーザ110が、ウェブブラウザアプリケーション300の使用中に別のユーザ、Suzanneからメッセージ（例えば、電子メール、インスタントメッセージなど）を受信すると仮定することができる。ここで、アプリケーションの実行中に別のユーザからメッセージを受信することを、コンピューティングデバイス100の動作コンテキストを変更する外部イベントとみなすことができる。

【0082】

変更された動作コンテキストに応答して、ユーザ110がイベントに効率的に対処または応答することができるように外部イベントに従って思考コマンドマッピング200を再マップすることができる。特に、思考コマンドマッピング200を、実行可能コマンド220として外部イベントベースのコマンド410を含むように再マップすることができる。本開示の目的のために、図4の再マップされた思考コマンドマッピング200を、「第2の思考コマンドマッピング」と呼ぶことができる。

【0083】

いくつかの態様では、思考コマンドマッピング200内の単一のコマンド210を、外部イベントに関連する新しいコマンド210で置き換え、その他のコマンド210は同じままとすることができる。例えば、ユーザの腹と一致する第1レベルの思考変異形210と後に続くユーザの腹と一致する第2レベルの思考変異形210、すなわち、ユーザ110が1回目に腹を動かすことに集中するかまたはこれを想像し、次いで2回目に腹を動かすことに集中するかまたはこれを想像することを、コンピューティングデバイス100に新しく受信したメッセージを取得させ、表示させるコマンド（「Suzanneからの新しいメッセージを読む」）にマップすることができる。

【0084】

ユーザ110が新しいメッセージを読むためのコマンド210を実行すると、思考コマンドマッピング200を、例えば、「メッセージに応答する」、「新しいメッセージを作成する」、「ウィンドウを閉じる」などといった関連するコマンド210を含むように再マップし直すことができる。逆に、ユーザ110が所定の期間後に新しいメッセージを読むためのコマンド210を実行しない場合、思考コマンドマッピング200を、思考コマンドマッピング200が（メッセージが受信される前の）その前の状態に戻るように再マップすることができる。

【0085】

別の例で、図5Aおよび図5Bは、ユーザ110が自身の車椅子の場所を制御するための車椅子制御アプリケーション500を示している。このために、車椅子制御アプリケーション500は、所与の間取り図内で車椅子を配置することができる複数の場所510を示すインターフェースを含むことができる。現在の車椅子位置520は、例えば、車椅子の現在の場所を囲むボックスによって表すことができる。いくつかの態様では、コンピューティングデバイス100が車椅子と連動して移動するようにコンピューティングデバイス100を車椅子に結合することができる。

【0086】

一方、思考コマンドマッピング200は、車椅子制御アプリケーション500のインターフェースの現在のビューに基づく場所510のサブセットを含むことができる。本開示の目的のために、図5Aの思考コマンドマッピング200を、「第1の思考コマンドマッピング」と呼ぶことができる。

【0087】

例えば、図5Aの車椅子制御アプリケーション500のインターフェースに見える各場所510を、実行可能コマンド220として思考コマンドマッピング200に含め、特定の思考変異形210（または思考変異形210のシーケンス）にマップすることができる。よって、ユーザ110の脳活動が特定の車椅子の場所510に対応する思考変異形210と一致する場合、コンピューティングデバイス100は、車椅子が特定の場所まで移動するように車椅子の制御を開始することができる。思考コマンドマッピング200は、「移動を停止する」などといった他の関連するコマンドも含むことができる。ユーザ110の脳活動を使用して、BCI（または、該当する場合は、muCI）を介して、コンピューティングデバイス100によって車椅子以外の外部デバイスの動作を制御することもできることが理解される。

【0088】

ここで、実証のために、ユーザ110が1回目に両手を動かすことに集中するかまたはこれを想像し、次いで2回目に両手を動かすことに集中するかまたはこれを想像することによって車椅子の場所「44」を選択すると仮定する。したがって、コンピューティングデバイス100は、図5Bに示されるように、対応するコマンド210を実行して、車椅子を場所「44」まで移動させることができる。別の態様では、ユーザ110の車椅子を、ユーザ110自身によって、または別の人によって、手動で場所「44」まで移動させることができる。

【0089】

この例では、車椅子（およびコンピューティングデバイス100）が場所「4」から場所「44」までに移動することは、コンピューティングデバイス100の動作コンテキストの変化をもたらす外部イベントを構成することができる。この外部イベント（すなわち、場所の変化）を検出すると、車椅子がその目的地に向かって移動するにつれて変化する、車椅子の新しい現在の場所520に従って思考コマンドマッピング200を再マップすることができる。外部イベントが発生するに従って、すなわち、車椅子の移動中に、思考変異形210を、近くの場所またはそれ以外のアクセス可能な場所510に対応するコマンド220に再マップすることができる。例えば、車椅子がその目的地の場所「44」（図5B参照）に到着すると、ユーザ110の両手と一致する第1レベルの思考変異形210と後に続くユーザ110の両手と再び一致する第2レベルの思考変異形210を、場所「49」にマップすることができ、これが、コンピューティングデバイス100に車椅子を前記場所まで移動させ得る。動作コンテキスト変更の前、同じ思考変異形シーケンスは場所「4」に対応していた（図5A参照）。本開示の目的のために、図5Bの再マップされた思考コマンドマッピング200を、「第2の思考コマンドマッピング」と呼ぶことができる。

【0090】

上述した外部イベントは、例として提供されているにすぎず、本開示の範囲を限定するものではない。よって、思考コマンドマッピング200の再マッピングは、それだけに限定されないが、コンピューティングデバイス100で受信された着信電子通信、コンピューティングデバイス100および/またはユーザ110の場所の変化、コンピューティングデバイス100にプッシュされたアラートまたは通知、コンピューティングデバイス100によって感知された活動などを含む、コンピューティングデバイス100および/またはユーザ110に影響を及ぼす様々な外部イベントを検出すると開始することができる。

【0091】

次に、図6に、コンピューティングデバイス100上で現在実行中のアプリケーションと関連付けられたユーザ110の履歴に関連するコンピューティングデバイス100のコンテキストを含むことができるユーザ履歴ベースの動作コンテキストに従って思考コマンドマッピング200を再マップする実証例を示す。例えば、コンピューティングデバイス100のユーザ履歴ベースの動作コンテキストは、コンピューティングデバイス100上で現在実行中のアプリケーション内でユーザ110が以前に行ったアクションと関連付けることができる。

【0092】

この例では、実証のために、コンピューティングデバイス100が現在電子メールアプリケーションを実行していると仮定することができる。思考コマンドマッピング200は、やはり電子メールアプリケーションに対応する図2の思考コマンドマッピング200と同様の方法で定義することができる。しかしながら、思考コマンドマッピング200は、図6に示されるように、頻繁な連絡先などの電子メールアプリケーションと関連付けられたユーザ履歴に基づいて提供される1つまたは複数のユーザ履歴ベースのコマンド610を含むように再マップすることができる。ユーザ履歴ベースのコマンド610は、ユーザ110の利便性を高めるためのショートカットとして提供することができ、通常は思考コマンドマッピング200に含まれ得る1つまたは複数の実行可能コマンド210（例えば、図2を参照）を置き換えることができる。他のユーザ履歴ベースのコマンド610は、例えば、頻繁に使用される単語または語句、頻繁に実行されるコマンドまたは動作などを含むことができる。時間の経過とともに、所与の思考コマンドマッピング200に含まれるユーザ履歴ベースのコマンドは、ユーザのコンピューティングデバイス100の使用に基づいて変化し得る。本開示の目的のために、図6の再マップされた思考コマンドマッピング200を、「第2の思考コマンドマッピング」と呼ぶことができる。

【0093】

コンピューティングデバイス100上で現在実行中のアプリケーションが非BCI対応アプリケーション、すなわち健常者ユーザ向けに作成されたアプリケーションである場合には、アプリケーションの画面エリアが複数のセルまたはグリッドに分割される「ポイント・アンド・クリック」制御方式をシミュレートすることができる。セルの各々は、画面エリアの特定の領域を包含することができる。よって、思考コマンドマッピング200を、各思考変異形210が複数のセルのうちの特定のセルに対応するように定義することができる。例えば、図2～図6に示されるような倍長マッピングスキームでは、第1レベルの思考変異形210は画面エリアの特定の行に対応することができ、第2レベルの思考変異形210は画面エリアの特定の列に対応することができる。特定の第1レベルの思考変異形と第2レベルの思考変異形とのペアリングをユーザ110が実行すると、コンピューティングデバイス100に、前記ペアリングに対応する画面エリアの領域を選択/アクティブ化/実行させることができる。場合によっては、複数のセルがアプリケーション要素よりもcourserかまたは大きい（例えば、複数の選択可能なボタンが単一のセルの内部に配置されている）場合、セルを選択し、次いで、ユーザ110がより高い粒度で選択を行うかまたは動作を実行することを可能にするために、より小さいセルに細分することができる。

【0094】

したがって、本明細書に記載されるようなHCI対応コンピューティングデバイスにおいてコマンドマッピング、例えば、思考コマンドマッピング、筋活動コマンドマッピングなどを動的に再マップするためのシステムおよび方法は、コンテキスト固有のコマンドマッピングおよびHCI対応デバイスの改善された制御を提供することができる。コンピューティングデバイスの動作コンテキストの変化を監視し、それに応じてコマンドマッピングを再マップすることによって、ユーザは、ユーザによって行われるべき思考変異形または筋活動変異形の複雑さを増加させることなく、より広範囲のアプリケーションを操作するとともに、各アプリケーション内でより多くの動作を操作することができる。これにより、思考制御または筋制御のコンピュータ使用の効果的で安全で費用効果の高い実装が提供される。

【0095】

以上の説明は本開示の態様を対象としている。しかしながら、記載の態様に対して、それらの利点の一部または全部を達成しながら、他の変形および修正を行うことができることは明らかであろう。したがって、この説明は、例としてのみ解釈されるべきであり、本明細書の態様の範囲を限定するものではない。したがって、添付の特許請求の範囲の目的は、本明細書の態様の真の趣旨および範囲内にあるすべてのそのような変形および修正を包含することである。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図3F】

【図3G】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】

【国際調査報告】