(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-02-19
(54)【発明の名称】神経信号を使用した増加制御のためのシステムおよび方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20250212BHJP
A61B 5/37 20210101ALI20250212BHJP
【FI】
G06F3/01 515
A61B5/37
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024543039
(86)(22)【出願日】2023-01-17
(85)【翻訳文提出日】2024-09-13
(86)【国際出願番号】 US2023060782
(87)【国際公開番号】W WO2023147233
(87)【国際公開日】2023-08-03
(32)【優先日】2022-01-25
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2022-08-08
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】521494256
【氏名又は名称】シンクロン オーストラリア ピーティーワイ リミテッド
(74)【代理人】
【識別番号】110002516
【氏名又は名称】弁理士法人白坂
(72)【発明者】
【氏名】ヨー,ピーター エリ
(72)【発明者】
【氏名】ベネット,ジェームス
(72)【発明者】
【氏名】オピエ,ニコラス ラックラン
【テーマコード(参考)】
4C127
5E555
【Fターム(参考)】
4C127AA03
4C127DD01
4C127DD02
4C127DD03
4C127LL08
5E555AA11
5E555AA12
5E555BA38
5E555BB38
5E555CB69
5E555CB70
5E555DB06
5E555DC19
5E555FA00
(57)【要約】
ブレイン・コンピューター・インターフェイス(BCI)のためのシステムおよび方法は、BCIとの相互作用に使用される1つ以上の神経信号の自由度(DOF)の数を増加させる。
【特許請求の範囲】
【請求項1】
ヒトをブレイン・コンピューター・インターフェイスと連動させる方法であって、
視覚ディスプレイをヒトに提供するステップであって、前記視覚ディスプレイは、タイミング・インジケーター、初期基準点、および第1のコマンドに関連付けられた第1の識別されたキュー点を含み、前記第1の識別されたキュー点は、前記初期基準点から第1の距離で経路に沿って間隔を空けて配置され、前記視覚ディスプレイは、前記タイミング・インジケーターが、前記初期基準点から開始し、経路の長さ後に終端する前記経路の全体に沿って移動することを示すように構成され、前記第1の距離にわたる前記タイミング・インジケーターの移動時間は、第1の持続時間からなる、視覚ディスプレイを提供するステップと、
前記視覚ディスプレイを表示しながら、監視信号を得るために前記ヒトを監視するステップと、
前記タイミング・インジケーターが前記初期基準点にあるときに対応する初期時間から開始し、前記第1の持続時間の後に終了する前記監視信号の第1のレビュー部分を確立するステップと、
前記第1のレビュー部分内で発生した第1のエビデンス信号について、前記第1のレビュー部分を評価するステップと、
前記第1のエビデンス信号が第1の予め定められた信号パターンに一致する場合に、前記ブレイン・コンピューター・インターフェースに前記第1のコマンドを発行するステップと、を含む、ヒトをブレイン・コンピューター・インターフェイスと連動させる方法。
【請求項2】
前記視覚ディスプレイが、第2のコマンドに関連付けられた第2の識別されたキュー点をさらに含み、前記第2の識別されたキュー点が、前記初期基準点から第2の距離で前記経路に沿って間隔を空けて配置され、前記第2の距離が前記第1の距離よりも大きく、前記第2の距離にわたる前記タイミング・インジケーターの移動時間が第2の持続時間からなり、
前記初期時間から開始され、前記第2の持続時間後に終了する前記監視信号の第2のレビュー部分を確立するステップと、
前記第2のレビュー部分の終了時に発生する第2のエビデンス信号を取得するステップと、
前記第2のエビデンス信号が第2の予め定められた信号パターンに一致する場合に、前記ブレイン・コンピューター・インターフェースに前記第2のコマンドを発行するステップと、をさらに含む、請求項1に記載の方法。
【請求項3】
前記第1の予め定められた信号パターンと前記第2の予め定められた信号パターンとが類似している、請求項2に記載の方法。
【請求項4】
前記第1の予め定められた信号パターンが、前記第2の予め定められた信号パターンとは異なる、請求項2に記載の方法。
【請求項5】
前記視覚ディスプレイを前記ヒトに提供するステップは、前記初期基準点および前記第1の識別されたキュー点の両者から前記経路に沿って間隔を空けて配置された非識別キュー点を示すステップを含む、請求項1に記載の方法。
【請求項6】
非識別キュー点を追加コマンドに関連付けるステップをさらに含む、請求項1に記載の方法。
【請求項7】
前記第1の予め定められた信号パターンは、以前に蓄積された1つ以上のエビデンス信号パターンからコンパイルされる、請求項1に記載の方法。
【請求項8】
前記第1のエビデンス信号を使用して前記第1の予め定められた信号パターンを変更するステップをさらに含む、請求項1に記載の方法。
【請求項9】
前記監視信号を得るために前記ヒトを監視するステップは、前記ヒトからの内因性神経信号、前記ヒトからの聴覚信号、前記ヒトの身体部位の物理的運動、および前記ヒトによるキー選択からなる群から選択される信号について前記ヒトを監視するステップを含む、請求項1に記載の方法。
【請求項10】
前記内因性神経信号が、神経活動を検知するように構成された前記ヒトの体内の神経インプラントによって生成された信号を含む、請求項9に記載の方法。
【請求項11】
前記神経活動が、肯定的思考、身体部位の運動、および身体部位の想像上の運動からなる群から選択される神経活動を含む、請求項10に記載の方法。
【請求項12】
前記タイミング・インジケーターが、前記視覚ディスプレイ上の前記経路に沿って連続して移動する、請求項1に記載の方法。
【請求項13】
ヒトがブレイン・コンピューター・インターフェイスを制御するためのシステムであって、
ヒトを監視し、所定の期間にわたって監視信号を取得する装置と、
前記監視信号を記録する制御システムと、
タイミング・インジケーター、初期基準点、および第1の制御コマンドに関連付けられた第1の識別されたキュー点を含む視覚ディスプレイを前記ヒトに提供するように構成されたディスプレイであって、前記視覚ディスプレイは、前記タイミング・インジケーターが前記初期基準点から開始し、経路の長さ後に終端する前記経路に沿って移動することを示し、前記経路上の前記タイミング・インジケーターの移動はサイクル時間の後に生じ、前記第1の識別されたキュー点は、第1の持続時間が前記初期基準点から前記第1の識別されたキュー点までの前記タイミング・インジケーターの移動時間からなるように、前記経路に沿って前記初期基準点から第1の距離だけ間隔を空けて配置される、ディスプレイと、を備え、
前記制御システムは、
前記タイミング・インジケーターが前記初期基準点にあるときに開始する前記監視信号の一部を選択することにより、前記監視信号からエビデンス信号を選択し、
前記エビデンス信号の開始から第1の持続時間後に発生する第1の予め定められた信号パターンについて、前記エビデンス信号を評価し、
前記エビデンス信号の評価中に前記第1の予め定められた信号パターンを識別した場合にのみ、前記ブレイン・コンピューター・インターフェースに第1の確認信号を生成し、前記第1の確認信号が、前記ヒトによる前記第1の制御コマンドの選択を確認するように構成される、ヒトがブレイン・コンピューター・インターフェイスを制御するためのシステム。
【請求項14】
前記ディスプレイが、第2のコマンドに関連付けられた第2の識別されたキュー点をさらに含み、前記第2の識別されたキュー点が、前記初期基準点から第2の距離で前記経路に沿って間隔を空けて配置され、前記第2の距離は、前記第1の距離よりも大きく、前記第2の距離にわたる前記タイミング・インジケーターの移動時間は、第2の持続時間からなり、
前記制御システムは、
前記初期基準点から開始され、前記第2の持続時間後に終了する前記監視信号の第2のレビュー部分を確立し、
前記第2のレビュー部分の終了時に発生する第2のエビデンス信号を取得し、
前記第2のエビデンス信号が第2の予め定められた信号パターンに一致する場合に、前記ブレイン・コンピューター・インターフェースに前記第2のコマンドを発行するように構成される、請求項13に記載のシステム。
【請求項15】
前記制御システムは、1つ以上の以前に蓄積されたエビデンス信号パターンから前記第1の予め定められた信号パターンをコンパイルするように構成されている、請求項13に記載のシステム。
【請求項16】
前記監視信号は、前記ヒトからの内因性神経信号、前記ヒトからの聴覚信号、前記ヒトの身体部位の物理的運動、および前記ヒトによるキー選択からなる群から選択される信号からなる、請求項13に記載のシステム。
【請求項17】
前記内因性神経信号は、神経活動を検知するように構成された前記ヒトの体内の神経インプラントによって生成された信号を含む、請求項16に記載のシステム。
【請求項18】
前記神経活動が、肯定的思考、身体部位の運動、および身体部位の想像上の運動からなる群から選択される神経活動を含む、請求項17に記載のシステム。
【請求項19】
前記ディスプレイは、前記タイミング・インジケーターが前記視覚ディスプレイ上の前記経路に沿って連続して移動するように構成されている、請求項13に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、制御システムと相互作用するために信号を使用する場合に自由度(DOF)の数を増加させるためのシステムおよび方法に関する。例えば、このような制御システムにはブレイン・コンピューター・インターフェイス(BCI)を含めることができ、BCIとの相互作用に使用される場合に、1つ以上の神経信号の自由度が増加する。
【背景技術】
【0002】
従来のブレイン・コンピューター・インターフェイス(BCI)では、BCIユーザーが内因性信号、外因性信号、または信号の組み合わせを生成して、BCIに指示を与える。通常、内因性信号とは、ヒトが内部で生成する信号のことである。このような内因性信号は、ヒトが思考を生み出したり、筋肉を動かしたり(麻痺しているヒトの場合は実際の運動や想像上の運動のいずれかによって)したときに生じる電気インパルスを測定するセンサーによって検知される神経信号などを含み得る。外因性信号には、ヒトの外部で測定または生成された、ヒトが行動を起こすあらゆる信号が含まれる。例えば、外因性信号は、ヒトが外部機構または電子機器(例えば、マウスクリック、スクリーン接触/タップ、キーボードクリック、音声コマンドなど)をトリガーしたときに生成される信号、慣性を利用してヒトの身体部位の物理的な運動を検知する慣性センサーによって受信される信号などを含み得る。ヒトの身体部位の運動を検知するカメラ型装置(例えば、眼球運動検知器、身体運動検知器など)、少しずつ飲むことの制御、息を吐きかけることの制御(一般に車椅子に使用される)などを使用して信号を受信する。
【0003】
従来のBCIシステムの多くは、信号の生成がBCIシステムを制御するための1つのコマンドに限定されているため、限界がある。加えて、多くのBCI制御システムは、ヒトからのノイズ信号を制御信号に変換する必要がある。多くの場合、従来のBCIは、1つのコマンドまたは1つの自由度に対して1つの信号を使用している。そのため、自由度が高くないシステム(すなわち、複数のコマンドを生成するために使用可能なユーザー生成信号)では、複数のユーザー生成信号を、それぞれ特定のBCIコマンドにマッピングする必要がある。しかしながら、空間情報に基づいて複数のユーザー生成信号(例えば、左手または右手の運動に関連付けられる神経信号)を生成するユーザーのさまざまな意図を予測できるようにすることは、機械的、電気的、および生理学的なさまざまな要因により些細なことではない。このことは、従来のBCIシステムにとって、信頼性の高い多自由度制御を提供する上での課題となっている。そのため、従来のBCIシステムの多くはユーザビリティを低下させ、BCIシステムの潜在的なユーザー、特に世界と関わる上でほとんど選択肢のない重度障害者や半身不随者を補助することができるBCIシステムの商業的実現性を低下させている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
神経関連信号を使用する制御のシステムおよび方法が開示されており、それを使用する方法も含まれる。信号が神経関連信号である態様では、そのような信号は、生物媒質から検知可能な任意の信号(例えば、電気的、生化学的)であり得るか、検知された神経関連信号から(例えば、コンピューター・プロセッサーを介して)抽出された任意の1つ以上の特徴であり得るか、またはその両者であり得、抽出された特徴は、異なる思考を互いに区別できるように、患者の思考に関する特徴的情報であり得、またはそれを含むことができる。別例として、神経関連信号は、電気信号であり得るか、電気信号によって引き起こされる任意の信号(例えば、生化学的信号)であり得るか、検知された神経関連信号から(例えば、コンピューター・プロセッサーを介して)抽出された任意の1つ以上の特徴であり得るか、またはそれらの任意の組み合わせであり得る。神経関連信号とは、脳波などの神経信号であり得る。生物媒質が患者の頭蓋内にある場合に、神経関連信号は、例えば、患者が思考を考えたことに起因する、またはそれによって生じる脳信号(例えば、脳組織から検知される)とすることができる。このように、神経関連信号は、患者の脳の1つ以上の任意の部位(例えば、運動皮質、感覚皮質)からの電気信号など、脳関連信号とすることができる。生物媒質が患者の頭蓋骨の外側にある場合に、神経関連信号は、例えば、患者が思考を考えることに起因する、またはそれによって引き起こされる筋肉の収縮(例えば、まぶた、目、鼻、耳、指、腕、つま先、脚などの身体部位の収縮)に関連付けられる電気信号とすることができる。神経関連信号が患者8の脳組織から検知されているときに患者8が考える思考(例えば、身体部位の運動、記憶、課題)は、神経関連信号が非脳組織から検知されているときに患者8が考える思考9と同じであることもあれば、異なることもある。神経インターフェースは、患者の脳内、脳外、あるいはその両者に配置可能である。
【課題を解決するための手段】
【0005】
本明細書における方法およびシステムは、ヒトと電子機器とを連動させる方法に関する。一態様では、連動はブレイン・コンピューター・インターフェースを含み、方法は、視覚ディスプレイをヒトに提供するステップであって、視覚ディスプレイは、タイミング・インジケーター、初期基準点、および第1のコマンドに関連付けられた第1の識別されたキュー点を含み、第1の識別されたキュー点は、初期基準点から第1の距離で経路に沿って間隔を空けて配置され、視覚ディスプレイは、タイミング・インジケーターが、初期基準点から開始し、経路の長さ後に終端する経路の全体に沿って移動することを示すように構成され、第1の距離にわたるタイミング・インジケーターの移動時間は、第1の持続時間からなる、視覚ディスプレイを提供するステップと、視覚ディスプレイを表示しながら、監視信号を得るためにヒトを監視するステップと、タイミング・インジケーターが初期基準点にあるときに対応する初期時間から開始し、第1の持続時間の後に終了する監視信号の第1のレビュー部分を確立するステップと、第1のレビュー部分内で発生した第1のエビデンス信号について、第1のレビュー部分を評価するステップと、第1のエビデンス信号が第1の予め定められた信号パターンに一致する場合に、ブレイン・コンピューター・インターフェースに第1のコマンドを発行するステップと、を含む。
【0006】
いくつかの態様において、本明細書に記載される技術は、視覚ディスプレイが、第2のコマンドに関連付けられた第2の識別されたキュー点をさらに含み、第2の識別されたキュー点が、初期基準点から第2の距離で経路に沿って間隔を空けて配置され、第2の距離が第1の距離よりも大きく、第2の距離にわたるタイミング・インジケーターの移動時間が第2の持続時間からなり、初期時間から開始され、第2の持続時間後に終了する監視信号の第2のレビュー部分を確立するステップと、第2のレビュー部分の終了時に発生する第2のエビデンス信号を取得するステップと、第2のエビデンス信号が第2の予め定められた信号パターンに一致する場合に、ブレイン・コンピューター・インターフェースに第2のコマンドを発行するステップと、をさらに含む方法に関する。
【0007】
システムおよび方法の態様は、第1の予め定められた信号パターンと第2の予め定められた信号パターンとが類似している状況を含むことができる。これに代えて、第1の予め定められた信号パターンは、第2の予め定められた信号パターンとは異なるものとしてもよい。
【0008】
システムおよび方法は、初期基準点および第1の識別されたキュー点の両者から経路に沿って間隔を空けられた非識別キュー点を示すことを含む視覚ディスプレイをヒトに提供する方法にも関連し得る。
【0009】
本明細書に記載の技術は、非識別キュー点を追加コマンドに関連付けることをさらに含む、方法にも関し得る。
【0010】
システムおよび方法の態様は、1つ以上の以前に蓄積されたエビデンス信号パターンからコンパイルされる予め定められた信号パターンを含む。さらに、方法およびシステムは、第1のエビデンス信号を使用して第1の予め定められた信号パターンを変更することを含むことができる。
【0011】
本明細書に記載の技術は、ヒトからの内因性神経信号、ヒトからの聴覚信号、ヒトの身体部位の物理的な運動、およびヒトによるキー選択からなる群から選択される信号についてヒトを監視することによって、監視信号を得るためにヒトを監視することにも関し得る。
【0012】
本明細書に記載の信号は、神経活動を検知するように構成されたヒトの体内の神経インプラントによって生成される信号である内因性神経信号からなり得る。このような神経活動には、肯定的思考、身体部位の運動、および身体部位の想像上の運動からなる群から選択される神経活動が含まれ得る。
【0013】
いくつかの態様において、本明細書に記載の技術は、ヒトを電子機器と連動させるシステムに関する。例えば、このような連動は、ブレイン・コンピュータ・インターフェースの制御を含むことができ、このシステムは、ヒトを監視し、所定の期間にわたって監視信号を取得する装置と、監視信号を記録する制御システムと、タイミング・インジケーター、初期基準点、および第1の制御コマンドに関連付けられた第1の識別されたキュー点を含む視覚ディスプレイをヒトに提供するように構成されたディスプレイであって、視覚ディスプレイは、タイミング・インジケーターが初期基準点から開始し、経路の長さ後に終端する経路に沿って移動することを示し、経路上のタイミング・インジケーターの移動はサイクル時間の後に生じ、第1の識別されたキュー点は、第1の持続時間が初期基準点から第1の識別されたキュー点までのタイミング・インジケーターの移動時間からなるように、経路に沿って初期基準点から第1の距離だけ間隔を空けて配置される、ディスプレイと、を備え、制御システムは、タイミング・インジケーターが初期基準点にあるときに開始する監視信号の一部を選択することにより、監視信号からエビデンス信号を選択し、エビデンス信号の開始から第1の持続時間後に発生する第1の予め定められた信号パターンについて、エビデンス信号を評価し、エビデンス信号の評価中に第1の予め定められた信号パターンを識別した場合にのみ、ブレイン・コンピューター・インターフェースに第1の確認信号を生成し、第1の確認信号が、ヒトによる第1の制御コマンドの選択を確認するように構成される。
【0014】
いくつかの態様において、本明細書に記載の技術は、ディスプレイが、第2のコマンドに関連付けられた第2の識別されたキュー点をさらに含み、第2の識別されたキュー点が、初期基準点から第2の距離で経路に沿って間隔を空けて配置され、第2の距離は、第1の距離よりも大きく、第2の距離にわたるタイミング・インジケーターの移動時間は、第2の持続時間からなり、制御システムは、初期基準点から開始され、第2の持続時間後に終了する監視信号の第2のレビュー部分を確立し、第2のレビュー部分の終了時に発生する第2のエビデンス信号を取得し、第2のエビデンス信号が第2の予め定められた信号パターンに一致する場合に、ブレイン・コンピューター・インターフェースに第2のコマンドを発行するように構成される、システムに関する。
【0015】
本明細書で開示される主題は、2021年12月9日に公開された米国特許出願公開第20210378595号明細書、2021年12月23日に公開された米国特許出願公開第20210393948号明細書、2018年10月25日に公開された米国特許出願公開第20180303595号明細書、2020年11月12日に公開された米国特許出願公開第20200352697号明細書、2020年3月12日に公開された米国特許出願公開第20200078195号明細書、2019年11月7日に公開された米国特許出願公開第20190336748号明細書、2020年1月16日に公開された米国特許出願公開第20200016396号明細書、2021年12月2日に公開された米国特許出願公開第20210373665号明細書、2021年11月4日に公開された米国特許出願公開第20210342004号明細書発行、2021年5月13日に公開された米国特許出願公開第20210137542号明細書、2021年11月25日に公開された米国特許出願公開第20210365117号明細書、並びに2020年3月3日に発行された米国特許第10575783号明細書、2019年11月26日に発行された米国特許第10485968号明細書、2021年10月12日に発行された米国特許第11141584号明細書、2020年8月4日に発行された米国特許第10729530号明細書、2019年12月24日に発行された米国特許第10512555号明細書、2021年8月17日に発行された米国特許第11093038号明細書の刊行物および特許に関連しており、これらすべての全体がここに開示されたものとする。
【図面の簡単な説明】
【0016】
【
図1A】
図1Aは、本明細書で説明するインターフェースシステムを使用するヒトを例示する図である。
【
図1B】
図1Bは、外因性信号によって駆動されるBCIを備える点を除き、
図1Aと同様の構成を例示する図である。
【
図2A】
図2A乃至2Dは、BCIなどの制御システムと対話するために改良されたインターフェースを使用するヒトを例示する図である。
【
図2B】
図2A乃至2Dは、BCIなどの制御システムと対話するために改良されたインターフェースを使用するヒトを例示する図である。
【
図2C】
図2A乃至2Dは、BCIなどの制御システムと対話するために改良されたインターフェースを使用するヒトを例示する図である。
【
図2D】
図2A乃至2Dは、BCIなどの制御システムと対話するために改良されたインターフェースを使用するヒトを例示する図である。
【
図3】
図3は、ヒトを制御システムと連動させるための方法およびシステムの一例を示す図であり、ディスプレイは、初期基準点から経路上を移動するタイミング・インジケーターを示し、経路は、第1の識別されたキュー点および第2の識別されたキュー点を含む。
【
図4A】
図4A乃至4Cは、変化する経路に沿って移動するタイミング・インジケーターを有する表示の追加の例を示す。
【
図4B】
図4A乃至4Cは、変化する経路に沿って移動するタイミング・インジケーターを有する表示の追加の例を示す。
【
図4C】
図4A乃至4Cは、変化する経路に沿って移動するタイミング・インジケーターを有する表示の追加の例を示す。
【
図5A】
図5Aおよび
図5Bは、ヒトを制御システムと連動させるシステムおよび方法の追加の一態様を示す図である。
【
図5B】
図5Aおよび
図5Bは、ヒトを制御システムと連動させるシステムおよび方法の追加の一態様を示す図である。
【
図6A】
図6Aおよび
図6Bは、信号(例えば、内因性信号)が相当の量のノイズを含むシステムを例示する図である。
【
図6B】
図6Aおよび
図6Bは、信号(例えば、内因性信号)が相当の量のノイズを含むシステムを例示する図である。
【
図7A】
図7A乃至7Eは、麻痺したヒト、または重度の運動障害を有するヒトが、カーソルのロバストかつ高速な多次元方向制御を達成する能力を向上させるために使用される、ベクトル・カーソル制御を有する別の態様によるインターフェース・ディスプレイを示す図である。
【
図7B】
図7A乃至7Eは、麻痺したヒト、または重度の運動障害を有するヒトが、カーソルのロバストかつ高速な多次元方向制御を達成する能力を向上させるために使用される、ベクトル・カーソル制御を有する別の態様によるインターフェース・ディスプレイを示す図である。
【
図7C】
図7A乃至7Eは、麻痺したヒト、または重度の運動障害を有するヒトが、カーソルのロバストかつ高速な多次元方向制御を達成する能力を向上させるために使用される、ベクトル・カーソル制御を有する別の態様によるインターフェース・ディスプレイを示す図である。
【
図7D】
図7A乃至7Eは、麻痺したヒト、または重度の運動障害を有するヒトが、カーソルのロバストかつ高速な多次元方向制御を達成する能力を向上させるために使用される、ベクトル・カーソル制御を有する別の態様によるインターフェース・ディスプレイを示す図である。
【
図7E】
図7A乃至7Eは、麻痺したヒト、または重度の運動障害を有するヒトが、カーソルのロバストかつ高速な多次元方向制御を達成する能力を向上させるために使用される、ベクトル・カーソル制御を有する別の態様によるインターフェース・ディスプレイを示す図である。
【発明を実施するための形態】
【0017】
記載された図面は、例示的な実施形態であり、これらに制限されるものではない。同様の参照符号は、全体を通して同一または機能的に同等の要素を示す。
【0018】
本開示は、ヒトを、1つ以上の電子機器を制御するコンピューター・インタフェースと連動させるシステムおよび方法を含む。このような方法およびシステムの一態様では、1つ以上の電子機器を制御する電子システムと相互作用するために、ヒトが信号を生成する。信号は、本明細書に記載されているように、内因性信号であっても外因性信号であってもよい。本明細書で説明するシステムおよび方法は、信号に関連付けられる自由度を増加させ、信号を使用して制御システムを制御またはその他の方法で相互作用させることを可能にする。本明細書で説明する方法およびシステムはBCIシステムに関して説明されるが、方法およびシステムはいかなる電子制御システムにも使用できる。本方法およびシステムの態様では、このような電子制御システムを使用して、あらゆる機器、特にあらゆる電子機器、電子制御を備えた機構、および/または電子制御システムと一体的に設けられたこのような機器を制御する。本明細書で説明する方法およびシステムは、ノイズの多い信号源を利用する制御システムの制御にも有用である。
【0019】
図1Aは、本明細書で説明するインターフェース・システム100を使用するヒト2を示す説明図である。例示の図は、1つ以上の外部装置50を制御するために1つの信号20を使用する際の自由度を高めるために、改良されたインターフェース・ディスプレイ110を備えたBCIシステム100の使用を示している。
【0020】
図1Aは、インプラント10が脳4内に(例えば、脳の血管を使用して、または脳組織に直接)配置されたヒト2を例示する。インプラント10は、脳活動に関連付けられる電気的活動を検知する。BCIは、識別された脳活動に関連付けられる信号20を生成および/または(有線または無線で)送信する制御部14に、リード12を介して検知された電気的活動/脳活動を送信する。この態様では、信号の発生源がヒトの体内にあるため、信号は内因性である。本明細書に開示された改良型インターフェースと関連して、あらゆるタイプのBCIを使用することができる。例えば、BCIのさらなる態様として、ヒトの外部に配置された外部電極を有するBCIシステム、ヒトの頭蓋骨を通して脳に直接埋め込まれる電極、およびあらゆるタイプの電極配置構成の組み合わせを挙げることができる。繰り返しになるが、本開示の方法およびシステムはBCIシステムに限定されるものではない。これに代えて、改良されたインターフェースは任意の制御システムに採用可能である。
【0021】
システム100は、ヒト2が視認可能な視覚ディスプレイ110を備える。後述するように、視覚ディスプレイ110は、ヒト2が時間的パターンを使用して信号20を提供するように誘導する。信号20および時間パターンを識別すると、BCI100は、BCI100に結合された1つ以上の機器50に配信可能なコマンド30を発行する。
図1Aはさらに、ヒト用電子機器52(例えば、スマートフォンや電子タブレット)、移動装置54(例えば、電子制御車椅子)、コンピューター56、電子義肢(図示しない)、またはその他の電子機器などを含む機器50を例示する。視覚ディスプレイ110は、機器50とは別に設けることもできるし、機器50に一体的に組み込むこともできる。
【0022】
図1Bは、
図1Aに類似した構成を例示するが、外因性信号によって駆動されるBCIを有する(すなわち、外部機器30がシステム100によって使用される信号22を生成する)。例えば、外部機器は、外部カメラ32(例えば、眼球または体動追跡カメラ)、パフ装置34、キーボードまたは機械式スイッチ(36)、運動センサー38などのうちの1つまたは複数からなり得る。
【0023】
図2A乃至2Dは、BCIなどの制御システムと対話するために改良されたインターフェースを使用するヒト2を例示する。図示のように、ヒト2には、任意の数のスイッチまたはキュー点122、124、126などを含む経路114に沿って移動するタイミング・インジケーター112を有する視覚ディスプレイ110が設けられる。後述するように、キュー点122、124、126は、制御システムのコマンドを実行するために信号を生成するようヒト2に知らせる視覚的指標を提供することができる。
【0024】
インターフェースのいくつかの態様では、タイミング・インジケーター112は、各サイクルの後に経路114上の移動を繰り返す。
図2Aに示す例では、経路114はヒト2から視認可能にすることができる(例えば、図示の円)。これに代えて、タイミング・インジケーター112は、ディスプレイ上に視認可能な形態で表示されない経路に沿って移動することもできる。
図2Aは、時計回り方向に移動するタイミング・インジケーター112も例示している。しかしながら、別の態様としては、1つ以上のサイクルが完了した後に、タイミング・インジケーターを反時計回り方向に移動させたり、あるいは交互に移動させたりすることもできる。後述するように、経路114は、連続的(例えば、円または任意の他の閉じた形状)とすることができ、または後述するように不連続的(例えば、線または任意の他の非閉じた形状)とすることができる。
【0025】
図2A乃至2Dは、ヒト2によって生成される信号を表す信号応答グラフ150をさらに例示している。上述したように、このような監視信号は内因性、外因性、またはそれらの組み合わせのいずれであってもよい。いくつかの態様では、信号応答グラフ150は視覚的に観察可能である。しかしながら、
図2A乃至2Dに示す信号応答グラフ150は、システムの自由度を高めるために、信号識別による時間的情報の使用を例示することを意図している。この例では、信号応答グラフ150は、Y軸上に信号の大きさ152、X軸上に時間154を示し、点170は経路114上の初期基準点120に対応し、点172、174はそれぞれキュー点122、124に対応している。
【0026】
図2Aは、経路114上の初期基準点(
図2Bに示す120)におけるタイミング・インジケーター112を例示する。この態様では、第1の識別されたキュー点124は3時の位置にある。この第1の識別されたキュー点は、機器に配信される1つ以上のコマンドに関連付けられる(
図1Aおよび
図1Bに示す)。また、第1の識別されたキュー点は、初期基準点から第1の距離で経路に沿って間隔をあけて配置される。後述するように、これにより時間的な次元が得られる。視覚ディスプレイ110は、タイミング・インジケーター112が経路114の全体に沿って移動し、初期基準点120から始まり、経路の長さ後に終了することを示す。第1の距離にわたるタイミング・インジケーターの動きは、後述するようにシステムによって分析される第1の持続時間を構成する。
【0027】
図示のように、システムは、第1の識別されたキュー点124がヒト2に視覚的に識別可能であるように構成される。
図2Aの図では、識別されたキュー点24が斜線または塗りつぶされているように示されている。識別されたキュー点をヒトが視覚的にわかるようにするために、追加のマーカー140を設けることができる。これに対し、非識別キュー点122は、識別されない状態を保持するか、識別されたキュー点でないことをヒト2に明らかにすることができる。システムおよび方法のさらなる態様では、識別されたキュー点のみが可視化され、非識別キュー点は隠された状態を保持する。明らかに、識別されたキュー点は、視覚的、聴覚的、電気的、触覚的刺激、およびそれらの組み合わせを含むがこれらに限定されない、任意の数の形態で提供することができる。
【0028】
また、
図2Aは、例示のみを目的として、信号を示さないものとして信号応答グラフ150を例示している。
図2Bは、識別されたキュー点124に向かって経路114に沿って移動するタイミング・インジケーター112を示す。したがって、信号応答グラフ150は、監視信号18(ヒト2を監視することによって得られるもの)、通過点172(キュー点122に対応する)、および接近点174(ここで、ディスプレイ110は、タイミング・インジケーター112が第1の識別されたキュー点124に接近していることを示す)を示す。信号18は、本開示の例示のために1本の線として図示されている。多くのシステムでは、後述するように監視信号はノイズを含んでいる。
【0029】
図2Cは、タイミング・インジケーター112が、第1の識別されたキュー点124と交差している態様を示している。これはヒト2にアクションを指示するものである。BCIの場合、
図1Aに示すように、このようなアクションは、患者2によって生成された思考(例えば、実際の筋肉の運動や想像上の筋肉の運動、記憶やタスクの思考など)を含み得る。
図1Bに示すように、外因性信号の場合に、患者は信号を開始するためのアクションを起こすことができる(例えば、特定の信号を発生する外部機器をトリガーする)。図示のように、監視信号18は、タイミング・インジケーター112が第1の識別されたキュー点と交差する時間に対応する点174で変化する。
【0030】
図2Dは、第1の識別されたキュー点124を通過するタイミング・インジケーター112、および関連付けられるエビデンス信号24を例示する。上述したように、エビデンス信号24は、固有のプロファイルから構成されるのみならず、(経路114上の初期基準点120に対応する)点170から時間的に間隔を空けているという時間的側面も含む。そこで、システムは、タイミング・インジケーターが初期基準点120から第1の識別されたキュー点124まで(またはそのすぐ先まで)移動する時間に対応する、監視された信号の一部を評価する。次にシステムは、このレビュー部分の終わりに向かって発生するエビデンス信号24について、その部分を評価する。システムは続いて、このエビデンス信号24を予め定められた信号パターンと比較し、許容できる一致があれば、コマンドが第1の識別されたキュー点に関連付けられている任意の機器に対してコマンドを実行することができる。ディスプレイ110は、タイミング・インジケーター112を表示し続け、初期基準点120に到達するまで全サイクルの経路114上を継続して示すことができることに留意されたい。しかしながら、第1の識別されたキュー点がこの特定のサイクルにおける唯一のキュー点であるため、そのサイクル中の信号18の評価は停止する。
【0031】
図3は、ヒトを制御システムと連動させるための方法およびシステムの一例を例示する図であり、ディスプレイ110は、初期基準点120から経路114上を移動するタイミング・インジケーター112を示し、経路114は、第1の識別されたキュー点124および第2の識別されたキュー点130を含む。この例では、インターフェイスを使用してコマンドを発行する3つのシナリオ60、62、64を示している。本明細書で述べたように、
図3の例に示したインターフェースを使用するヒトは、ヒトによって生成される1つの信号を使用して、3つの異なるコマンド(コマンド1、コマンド2、コマンド3)を生成することができる。例えば、動く能力がほとんどない、あるいは全くないヒトに埋め込まれたBCIの場合、そのヒトは電気インパルスを生成するために思考を生成することができ、この同じ思考を使用して、ディスプレイ110上の情報と思考のタイミングに応じて3つのコマンドのうちの1つを発行することができる。ヒトは、第1の識別されたキュー点124、第2の識別されたキュー点130、または識別されたキュー点124、130の両者で信号を発行することによって、個別のコマンドが生成されることを知らされる。
【0032】
例えば、第1のシナリオ60では、ヒトは、第1の識別されたキュー点124で信号を生成し、エビデンス信号24を生成する。システムは、インジケーター112が第2の識別されたキュー点130を通過するまで待機する必要があり、追加の信号が存在しないため、システムはコマンド1を発行する。同様に、第2のシナリオ62では、システムが第2の識別されたキュー点130に対応する時点180でエビデンス信号26を観測した場合に、システムはコマンド2を発行する。第3のシナリオ64では、システムは適切な時点174、180で2つのエビデンス信号24、26を識別し、コマンド3を生成する。上述したように、システムはエビデンス信号24、26を予め定められた信号パターンと比較し、適切なコマンドを発行するヒトの意図を確認する。
【0033】
図4A乃至4Cは、変化する経路114に沿って移動するタイミング・インジケーター112を有するディスプレイ110の追加的な例を示しており、このディスプレイ110は、経路に沿って分布する複数のキュー点136を有する。本明細書で述べたように、タイミング・インジケーター112がそれぞれの経路に従う限り、経路114の輪郭は隠すことができる。初期基準点120から最後に識別されたキュー点(
図4A乃至4Cには識別されたキュー点は示されていない)まで信号が評価される限り、初期基準点120は任意とすることができる。さらに、タイミング・インジケーター112の方向は、時計回り、反時計回り、または各サイクルの後に方向を変えることができる。例えば、
図4Cでは、経路は半円形の線であるため、タイミング・インジケーター112は、経路114を移動した後に方向を反転させることができ、または経路上の移動を完了した後に同じ初期基準点120から単純に再スタートすることができる。
【0034】
図5Aおよび
図5Bは、ヒト2を制御システムと連動させるシステムおよび方法の追加の一態様を例示する。これらの態様では、インターフェース110は、対応する経路114、115を移動する2つ以上のタイミング・インジケーター112、113を含む。各経路114、115は、各経路114、115上に少なくとも1つのキュー点124、127が識別された任意の数のキュー点を含む。しかしながら、各経路114、115は、識別されたキュー点124、127が異なるタイミングでユーザー2によって選択され得るようにずらされている。
図5Aの例示では、タイミング・インジケーター112、113の両者は、対応する初期基準点120、121から同時に開始する。ただし、経路115上のキュー点は経路114からずれている。したがって、経路114に関連付けられる信号応答グラフ150は、経路115に関連付けられる信号応答グラフ151からずれた時点174を有する。図示のように、時点174、175は、対応する初期時点170、171に対してずらされている。
【0035】
図5Bにおいて、経路114、115は類似しているが(例えば、キュー点はずらされていない)、この例では、タイミング・インジケーター112、114は、対応する初期基準点120、121から異なる時間に開始する。図示の態様では、タイミング・インジケーター113はタイミング・インジケーター112よりも遅延している。したがって、経路115に関連付けられる信号応答グラフ151も、経路114に関連付けられる信号応答グラフ150に遅延する。
【0036】
図6Aおよび
図6Bは、信号20(例えば、内因性信号)が相当の量のノイズを含むシステム100を例示する。理想的には、患者が視覚ディスプレイ110を使用して適切な時間に信号20を生成すると、システム100は、監視信号20から取り出されたエビデンス信号18を比較し、それを予め定められた信号パターン80と比較し、エビデンス信号18が予め定められた信号パターンに十分に一致する場合(多少の誤差は許容される)に、システム100は、信号を比較するために任意の数のアルゴリズム70を使用することによって、ヒトの意図を確認し、関連付けられるコマンドを発行することができる。
【0037】
いくつかのBCIシステムでは、ヒトは、ヒト2によって意図的に生成される信号に関連付けられるランダムノイズを含む信号パターンを生成する。このようなノイズを引き起こす要因は、様々な機械的、電気的、および生理的要因などである。この問題に対処するために、システム100は、1つ以上の以前のエビデンス信号パターン18を使用して予め定められた信号パターン80を構築および/または調整することを含み得る。
図6Bに示すように、システム100の初期設定中、またはメンテナンスモード中に、システムは複数の試行90を実行することができ、各試行がエビデンス信号18を生成し、意図を確認すると、システムは次に、任意の数のエビデンス信号18をコンパイルして、予め定められた信号パターンを生成または修正することができる。
【0038】
したがって、予め定められた信号パターンは、多数の試行にわたる信号のパターンから構成される。ノイズの多い信号の信号成分は、試行を平均化することで強調することができる。信号の「エビデンス」は試行回数を重ねるごとに蓄積されていく。エビデンスが構築される各反復において、数学的モデル(複数可)を使用して、エビデンスに基づいてユーザーの意図を予測することができる。基準点に対する特定のキュー点で発生する予測可能な信号の特性をモデル化することができる(例えば、テンプレートを生成するために)。そして、テンプレートとエビデンスとの間の類似度を計算し、指標を生成することができる。この指標を別の数学モデルに渡すことで、各試行ウィンドウの終了時にユーザーの意図が何であったかを判断することができる。
【0039】
図7A乃至7Eは、麻痺したヒト、または重度の運動障害を有するヒトが、カーソルのロバストかつ高速な多次元方向制御を達成する能力を向上させるために使用される、ベクトル・カーソル制御210を有する別の態様によるインターフェース・ディスプレイ200を示す図である。カーソル制御は、デジタル機器アクセスが可能なあらゆる機器で使用することができる(例えば、マウス、リモート、スペラー(spellers)、車両、ロボット義肢、以降、理解を容易にするためにマウスカーソル制御の例を使用するものとする)。上述したように、ブレイン・コンピューター・インターフェースを介して1つの離散的なバイナリー出力を生成することができるヒトは、ベクトルカーソル制御210を使用することができる。さらに、片手麻痺があっても、改良されたジョイスティックを介して信頼できる方向制御信号を生成することができるヒトは、ベクトル・カーソル210を追加のスイッチと組み合わせることができる。
【0040】
図7Aは、カーソル212と、カーソル212を中心として移動する方向ベクトル・インジケーター214とからなるベクトル・カーソル210を有するディスプレイ200を例示する。図示の態様では、方向ベクトル・インジケーター214は、カーソルを中心とした円軌道220を移動する。しかしながら、その他の追加のパターンも本開示の範囲内にある。
図7Aは、ベクトル・カーソル210が解放された形態にある(例えば、ベクトル・カーソル210を制御するヒトがシステムをトリガーしていない)状況を例示している。
図7Aはまた、ヒトがどのようにベクトル・カーソル210を所望の領域に向かって移動させるかを示すために、例示目的で3つのチェックボックス230、232、234を図示している。
【0041】
図7Bは、図示のように移動する方向ベクトル・インジケーター214を例示する。一旦方向ベクトル・インジケーター214が所望の位置に来たら、ヒトはスイッチを作動させる(上述したように、作動は機械的スイッチまたは神経信号とすることができる)。スイッチの類似度(analogy)は、ユーザーが1つのバイナリー出力のみしか生成できないシナリオに利用される。スイッチが押下された状態がバイナリー出力の一方の状態であり、スイッチが上がった状態がバイナリー出力の他方の状態である。方向ベクトル・インジケーター214は、カーソル212を中心として、事前に定義された速度で自動的に回転する。
【0042】
一旦スイッチが起動されると、
図7Cは、システムがトリガーされたとき(例えば、
図7B)に確立されたベクトル240に沿って移動するカーソル212を図示する。図示のように、カーソル212は選択ボックス230に向かって移動し、カーソルが適切に位置すると(例えば、
図7D)、ヒトはスイッチを離す。このように離すことにより、ベクトル・カーソル210は移動を停止し、方向ベクトル・インジケーター214は、図示された経路でカーソル212を中心として継続して移動する。
【0043】
ベクトルカーソル210は、
図7Dおよび
図7Eに示すカーソル230の点でアクションを生成するために、様々な相互作用機構と結合することができる。例えば、カーソル212が静止している場合に、または事前に定義された半径内に、事前に定義された持続時間の間留まっている場合に、チェックマーク250で示されるように、カーソルの点でアクションが発生する(例えば、左クリック、右クリック、ダブルクリック、メニューポップアップ)。もし、ユーザーが発生させることができる追加の離散イベントがあれば、それを使用して1つ以上のアクションを実行することができる。
【0044】
特許請求の範囲は、図面に示された例示的な態様に限定されるものではなく、これに代えて、本開示全体において開示されたまたは企図された任意の特徴を請求することができる。本明細書で単数形として説明されている要素は、複数形にすることができる(すなわち、「1つ」と説明されているものは、複数にすることができる)。ある属要素のどの種要素も、その属の他の種要素の特徴や要素を有することができる。図解を明確にするために、個別の図において、いくつかの要素を省略している場合がある。本開示を実施するための上述した構造体、要素または完全な組立体、および方法とその要素、並びに本開示の態様の変形は、任意の組み合わせで互いに組み合わせ、変更することができ、各組み合わせはここに明示的に開示されたものとする。本明細書に記載されているすべての機器、装置、システム、および方法は、医療目的(例えば、診断、治療、またはリハビリテーション)または非医療目的に使用することができる。「may」と「can」とは交換可能である(例えば、「may」は「can」に、「can」は「may」に置き換えることができる)。開示された範囲は、開示された範囲の任意の小範囲を含むことができる。例えば、1乃至10単位の範囲には、2乃至10単位、8乃至10単位、または任意のその他の小範囲を含めることができる。「Aおよび/またはB」の構文を含むフレーズは、(1)A単独、(2)B単独、(3)AおよびBの併用、または(1)、(2)および(3)の任意の組み合わせ、たとえば(1)および(2)、(1)および(3)、(2)および(3)、並びに(1)、(2)、および(3)を意味し得る。例えば、本開示における「モジュール10(例えば、ホストデバイス16)は、1つ以上のエンドアプリケーション12と有線通信および/または無線通信することができる」という文は、(1)モジュール10(例えば、ホストデバイス16)は、1つ以上のエンドアプリケーション12と有線通信することができ、(2)モジュール10(例えば、ホストデバイス16)は、1つ以上のエンドアプリケーション12と無線通信することができ、(3)モジュール10(例えば、ホストデバイス16)は、1つ以上のエンドアプリケーション12と有線通信および無線通信することができ、または(1)、(2)および(3)の任意の組み合わせが可能である。
【国際調査報告】