特許第6884349号(P6884349)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 国立研究開発法人産業技術総合研究所の特許一覧
特許6884349動作に関するヒトの意思を脳信号から正確にデコードする新たな方法
<>
  • 特許6884349-動作に関するヒトの意思を脳信号から正確にデコードする新たな方法 図000002
  • 特許6884349-動作に関するヒトの意思を脳信号から正確にデコードする新たな方法 図000003
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6884349
(24)【登録日】2021年5月14日
(45)【発行日】2021年6月9日
(54)【発明の名称】動作に関するヒトの意思を脳信号から正確にデコードする新たな方法
(51)【国際特許分類】
   G06F 3/01 20060101AFI20210531BHJP
   A61B 5/377 20210101ALI20210531BHJP
   A61B 5/05 20210101ALI20210531BHJP
   A61B 10/00 20060101ALI20210531BHJP
   A61B 5/055 20060101ALI20210531BHJP
【FI】
   G06F3/01 515
   A61B5/04 320M
   A61B5/05 A
   A61B10/00 E
   A61B5/055 380
   A61B5/055 390
【請求項の数】12
【全頁数】8
(21)【出願番号】特願2019-500670(P2019-500670)
(86)(22)【出願日】2016年7月13日
(65)【公表番号】特表2019-527416(P2019-527416A)
(43)【公表日】2019年9月26日
(86)【国際出願番号】IB2016001185
(87)【国際公開番号】WO2018011615
(87)【国際公開日】20180118
【審査請求日】2019年4月16日
(73)【特許権者】
【識別番号】301021533
【氏名又は名称】国立研究開発法人産業技術総合研究所
(73)【特許権者】
【識別番号】304021417
【氏名又は名称】国立大学法人東京工業大学
(73)【特許権者】
【識別番号】513015441
【氏名又は名称】サントゥル ナシオナル ドゥ ラ ルシェルシュ シアンティフィック − セーエヌエールエス
【氏名又は名称原語表記】CENTRE NATIONAL DE LA RECHERCHE SCIENTIFIQUE − CNRS
(74)【代理人】
【識別番号】110000338
【氏名又は名称】特許業務法人HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】吉田 英一
(72)【発明者】
【氏名】小池 康晴
(72)【発明者】
【氏名】ゴウリシャンカー ガネシュ
(72)【発明者】
【氏名】安藤 英由樹
【審査官】 滝谷 亮一
(56)【参考文献】
【文献】 国際公開第2011/140303(WO,A1)
【文献】 米国特許出願公開第2016/0360992(US,A1)
【文献】 国際公開第2015/058223(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
A61B 5/05
A61B 5/055
A61B 5/377
A61B 10/00
(57)【特許請求の範囲】
【請求項1】
ヒトまたは動物用の、意思、想像、または思考のデコーディングシステムであって、
a.脳活動の記録または測定システムと、
b.デコーディング対象である上記意思、想像、または思考に関連する1つ以上の人工的に引き起こされた感覚的手がかりおよび/または刺激をアクティブに適用する、感覚刺激システムと、
c.ヒトまたは動物によって想像される行為の順モデルの予測誤差を用いるデコーディングシステムであって、上記アクティブに適用された感覚的手がかりまたは刺激の存在下またはその直後に記録された脳活動の上記予測誤差を分析し、上記行為と関連する上記意思、想像、または思考をデコードするデコーディングシステムと、を備え
上記順モデルは、運動命令を、自己の行為の予測される感覚的結果へと変換するものであり、上記予測誤差は、順モデルからの予測と実際の感覚的結果との差異である、デコーディングシステム。
【請求項2】
上記脳活動の記録または測定システムは、1つ以上の脳イメージング様式を用いて脳活動を測定および/または記録し、該1つ以上の脳イメージング様式の例は、脳波記録(EEG)、脳磁図(MEG)、近赤外線分光法(NIRS)、機能的磁気共鳴画像法(fMRI)などである、請求項1に記載のデコーディングシステム。
【請求項3】
上記手がかりは、個体に対する聴覚的入力および/または視覚的入力および/または触覚的入力および/または嗅覚的入力および/または味覚的入力であり、該個体は上記手がかりを意識的に知覚してもしなくてもよい、請求項1に記載のデコーディングシステム。
【請求項4】
上記刺激は、身体の感覚システムに対する電気的入力、機械的入力、または磁気的入力であり、個体は上記刺激を意識的に知覚してもしなくてもよい、請求項1に記載のデコーディングシステム。
【請求項5】
意思、想像、または思考がデコーディングの対象であるユーザが、上記手がかりと上記意思、想像、または思考との間に関連付けが形成されるように上記手がかりに対して予めトレーニングされていてよい、請求項3に記載のデコーディングシステム。
【請求項6】
意思、想像、または思考がデコーディングの対象であるユーザが、上記刺激と上記意思、想像、または思考との間に関連付けが形成されるように上記刺激に対して予めトレーニングされていてよい、請求項4に記載のデコーディングシステム。
【請求項7】
上記感覚刺激システムは、刺激または手がかりを、一回または複数回、ランダムに、周期的に、または、他の生理的変数、行動変数、または環境変数と同時に、または他の生理的変数、行動変数、または環境変数にトリガされて、適用する、請求項1に記載のデコーディングシステム。
【請求項8】
上記感覚刺激システムは、手動でトリガされる刺激および/または手がかりを適用する、請求項1に記載のデコーディングシステム。
【請求項9】
上記感覚刺激システムは、刺激および/または手がかりを、個体の意思、想像、または思考の前、最中、または後に適用する、請求項1に記載のデコーディングシステム。
【請求項10】
上記デコーディングは、一回または複数回、行われてよい、請求項1に記載のデコーディングシステム。
【請求項11】
上記デコーディングシステムは、上記意思、想像、または思考と、上記適用された手がかりまたは刺激との相違をデコードする、請求項1に記載のデコーディングシステム。
【請求項12】
上記デコーディングシステムは、健康な個体、年配の個体、または罹患した個体とともに用いられて、該個体の意思、想像、または思考をデコードする、請求項1に記載のデコーディングシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、動作(movement)に関するヒトの意思(intention)を脳信号から正確にデコード(decode、解読)する方法に関する。
【背景技術】
【0002】
ブレイン・マシーン・インターフェース(BMI)とは、生物の脳と機械との人工的接続を指す。当該インターフェースは、通常、3つの工程を含む。1)脳のイメージング/レコーディング:脳活動中の電磁信号または血流信号を記録するプロセス。2)デコーディング:記録された信号が何を意味しているかを理解する。3)機械の駆動:上記の理解を用いて、機械を駆動し制御する(図1)。例えば、BMIを用いて、肢切断患者に人工肢を与えることができる。この場合、脳信号を記録し(脳波記録(EEG)、機能的磁気共鳴画像法(fMRI)、近赤外線分光法(NIRS)など)、ヒトがどんな動作をしたがっているかをデコードし、それから人工肢を駆動し所望の動作をさせる必要がある。
【0003】
BMIにとって最大の難問は、おそらく、デコーディングであり、とりわけ、ヒトがどんな動作をしたがっているかを短時間のうちに脳信号から理解することである。(2クラスの)デコーダーの最高の性能ですら、今までのところ、動作が行われない場合(想像されるだけの場合)、70%を超えていない。被験者が動作をするときでも、デコード能力の正確さは、動作に関する信号を用いない場合、85%を超えない(非特許文献23)。ここで、本発明の発明者らは、新たな(アクティブデコーディング)方法を提供する。当該方法は運動神経科学の理論に基づいており、この性能を急激に向上させるものであり、被験者が意思を思い浮かべて100msのうちに、〜90%の正確さで意思をデコードする。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Ganesh G, Takagi A, Osu R,Yoshioka T, Kawato M, Burdet E. Two is better than one: Physical interactionsimprove motor performance in humans. Scientific reports. 2014;4.
【非特許文献2】Aglioti SM, Cesari P, RomaniM, Urgesi C. Action anticipation and motor resonance in elite basketballplayers. Nat Neurosci. 2008 Sep;11(9):1109-16. PubMed PMID: 19160510. Epub2009/01/23. eng.
【非特許文献3】Frith CD, Frith U. Interactingminds--a biological basis. Science. 1999 Nov 26;286(5445):1692-5. PubMed PMID:10576727. Epub 1999/11/27. eng.
【非特許文献4】Pickering MJ, Garrod S. Anintegrated theory of language production and comprehension. Behav Brain Sci.2013 Aug;36(4):329-47. PubMed PMID: 23789620.
【非特許文献5】Miall RC, Christensen LOD,Cain O, Stanley J. Disruption of state estimation in the human lateralcerebellum. Plos Biology. 2007 Nov;5(11):2733-44. PubMed PMID:WOS:000251874700027. English.
【非特許文献6】Wolpert DM, Ghahramani Z,Jordan MI. An internal model for sensorimotor integration. Science. 1995 Sep29;269(5232):1880-2. PubMed PMID: 7569931. Epub 1995/09/29. eng.
【非特許文献7】Desmurget M, Grafton S.Forward modeling allows feedback control for fast reaching movements. TrendsCogn Sci. 2000 Nov 1;4(11):423-31. PubMed PMID: 11058820.
【非特許文献8】Christensen MS, Lundbye-JensenJ, Geertsen SS, Petersen TH, Paulson OB, Nielsen JB. Premotor cortex modulatessomatosensory cortex during voluntary movements without proprioceptivefeedback. Nat Neurosci. 2007 Apr;10(4):417-9. PubMed PMID: 17369825.
【非特許文献9】Duhamel JR, Colby CL, GoldbergME. The updating of the representation of visual space in parietal cortex byintended eye movements. Science. 1992 Jan 3;255(5040):90-2. PubMed PMID:1553535.
【非特許文献10】Sommer MA, Wurtz RH. Apathway in primate brain for internal monitoring of movements. Science. 2002May 24;296(5572):1480-2. PubMed PMID: 12029137.
【非特許文献11】Mulliken GH, Musallam S,Andersen RA. Forward estimation of movement state in posterior parietal cortex.Proc Natl Acad Sci U S A. 2008 Jun 17;105(24):8170-7. PubMed PMID: 18499800.Pubmed Central PMCID: 2448809.
【非特許文献12】Troyer TW, Doupe AJ. Anassociational model of birdsong sensorimotor learning I. Efference copy and thelearning of song syllables. J Neurophysiol. 2000 Sep;84(3):1204-23. PubMedPMID: 10979996.
【非特許文献13】Mischiati M, Lin HT, HeroldP, Imler E, Olberg R, Leonardo A. Internal models direct dragonfly interceptionsteering. Nature. 2015 Jan 15;517(7534):333-8. PubMed PMID: 25487153.
【非特許文献14】Shadmehr R, Wise SP. Thecomputational neurobiology of reaching and pointing. Cambridge, Massachusetts:The MIT Press; 2005.
【非特許文献15】Wolpert DM, Kawato M.Multiple paired forward and inverse models for motor control. Neural Netw. 1998; 11(7-8):1317-29.
【非特許文献16】Christensen, M. S.,Lundbye-Jensen, J., Geertsen, S. S., Petersen, T. H., Paulson, O. B. &Nielsen, J. B. Premotor cortex modulates somatosensory cortex during voluntarymovements without proprioceptive feedback. Nat. Neurosci. 2007; 10, 417-419.(doi:10.1038/nn1873)
【非特許文献17】Wolpert, D. M. & Flanagan,J. R. Motor prediction. Curr. Biol. . 2001; 11, R729-R732.(doi:10.1016/S0960-9822(01)00432-8)
【非特許文献18】Miall, R. C. & King, D.State estimation in the cerebellum. Cerebellum 2008; 7, 572-576.(doi:10.1007/s12311-008-0072-6)
【非特許文献19】Ganesh, G., Osu, R. &Naito, E. Feeling the force: returning haptic signals influence effortinference during motor coordination. Sci. Rep. 2013; 3, 2648.(doi:10.1038/srep02648)
【非特許文献20】Todorov, E. & Jordan, M.I. Optimal feedback control as a theory of motor coordination. Nat. Neurosci.2002; 5, 1226-1235. (doi:10.1038/nn963)
【非特許文献21】Tseng,Y.-W., Diedrichsen, J., Krakauer, J. W., Shadmehr, R. & Bastian, A. J.Sensory prediction errors drive cerebellum-dependent adaptation of reaching. J.Neurophysiol. 2007; 98, 54-62. (doi:10.1152/jn.00266.2007)
【非特許文献22】Yamashita O, Sato M, YoshiokaT, Tong F, Kamitani Y. "Sparse estimation automatically selects voxelsrelevant for the decoding of fMRI activity patterns". Neuroimage. 2008;42(4):1414-29.
【非特許文献23】Shakeel A, Navid MS, AnwarMN, Mazhar S, Jochumsen M, Niazi IK. A Review of Techniques for Detection ofMovement 意思 Using Movement-Related Cortical Potentials.Comput Math Methods Med. 2015; 2015:346217
【非特許文献24】Tian X, Poeppel D. Mentalimagery of speech and movement implicates the dynamics of internal forward models. Front Psychol. 2010; 1:166. doi:10.3389/fpsyg.2010.00166. eCollection 2010.
【非特許文献25】Gentili R, Han CE,Schweighofer N, Papaxanthis C. Motor learning without doing: trial-by-trialimprovement in motor performance during mental training. J Neurophysiol2010;104(2):774-83. doi: 10.1152/jn.00257.2010.
【発明の概要】
【0005】
上記新技術の主要な特徴は、「アクティブな」デコーディング技術であることである。なぜアクティブかというと、上記技術が、脳信号の記録と並行して、デコードされる動作の意思に対応する感覚システムへの人工刺激を用いることを提案しているからである。
【図面の簡単な説明】
【0006】
図1】標準的なBMI構造。
図2】本発明で提案する構造/方法。本発明の発明者らは、(他のデコーディング方法(図1)のような)動作の意思の直接的なデコードではなく、感覚スティミュレータを並行して用いて、意思が刺激に合致しているかをデコードすることを提案する。
【発明を実施するための形態】
【0007】
(神経科学の動機および原理)
このようなアクティブな手段をとる理由は神経科学に基づく。運動神経科学では、ヒトの動作が、自己により生成される行為(self-generated action)についての感覚信号を推定(estimate)し予測(predict)する脳の能力によってクリティカルに決定されることが十分に確立されている(非特許文献1〜4)。従来のヒトの運動研究(非特許文献5〜8)、ヒト以外の霊長類の運動研究(非特許文献9〜11)、トリの運動研究(非特許文献12)、および昆虫の運動研究(非特許文献13)によれば、自己により生成される行為についての推定は、運動命令を、自己の行為の予測される感覚的結果へと変換する順モデル(forward model)によって行われる(非特許文献14、15)。近年の研究によれば、同じ順モデルは、観察された動作についての感覚的アウトプットも同様に予測する。脳は予測誤差、すなわち(順モデルからの)予測と実際の感覚的結果との差異を計算し、自己により生成される行為についての知覚を生成し(非特許文献16〜19)、オンラインでの運動制御の内部モデルを更新し(非特許文献20)、運動学習を更新する(非特許文献21)。本発明の発明者らにとって重要なことに、順モデルは、行為の生成時にアクティブであるだけでなく、行為が想像された時でもアクティブであると考えられる(非特許文献24、25)。ここで、本発明の発明者らは、この事実を用いて、想像された意思をデコードする新たな方法を開発する。
【0008】
本発明の発明者らは、脳信号から、意思を直接デコードするのではなく、予測誤差をデコードして、それにより、被験者が想像した意思がどのようなものかを決定する。脳による予測誤差の生成を促すため、本発明の発明者らは、脳に実際の感覚信号をアクティブに提供することを必要とする。したがって、本発明の発明者らのアイデアは、被験者が動こうと意思しているときに特定の感覚的刺激を送り、誤差信号をデコードし(被験者が、送られた感覚信号に対応して動こうとしているか否かをデコードし)、それにより被験者の動作の意思をデコードすることである(図2)。
【0009】
このやり方は、以下に掲げるいくつの理由により、ずっとロバストで効率的であると、本発明の発明者らは考える。
1)意思は、脳の活性化の点で、極めて主観的に異なり得る複雑な現象である。最終的な動作の方向(または誤差)の方が、はるかに低次元な信号であり、複数の被験者のあいだで類似することもおそらく間違いなく容易である。
2)順モデルは運動システムの重要な一部であり、誤差信号は多くの運動動作にとって不可欠である。したがって、本発明の発明者らは、誤差信号は脳活動において大きな特徴を有すると考える。
3)本発明の発明者らの方法は、意思を探知するために、順モデルをアクティブに妨害する方法を提供する。これは、「それぞれの」意思をデコードするために、当該方法は、異なる種類の妨害による複数の(別々の)記録を可能にすることを意味する。したがって、当該方法は、動作の意思に関するはるかに豊かな脳データを得ることを期待させるものである。
【0010】
不可欠なアイデアは、脳活動から動作の意思を直接デコードする代わりに、予測誤差をデコードする点である。脳活動は1つ以上の脳イメージング様式(例えば、脳波記録(EEG)、脳磁図(MEG)、近赤外線分光法(NIRS)、機能的磁気共鳴画像法(fMRI)など)によって測定してよい。
【0011】
本発明の発明者らはこの方法を動作の意思のデコーディングに提案するが、同じやり方は、自己の想像した動作または思考あるいは他者において観察された動作または思考をデコーディングするのにも用い得る。予測誤差のデコーディングは、意思、想像または思考に従って実際の動作が行われる(または観察される)際に活性化される可能性が高い感覚様式(sensory modus)による刺激を必要とする。なぜなら、それこそ、順モデルが強く予測するであろうものだからである。例えば、ヒトまたは動物の意思した手の動作をデコードすることが目標である場合、(デコーディングに必要な)刺激は、ヒト/動物が自己の手が動いている(実際にはそうでなくても)と感じるように、手の動作(おそらく、腱の振動)に対応したものであるべきである。歩く意思の有無のデコードが目標である場合は、(デコーディングに必要な)刺激は、ヒト/動物が、自己が歩いている(実際にはそうでなくても)と感じるようなものであるべきである。
【0012】
予測誤差は、感覚的手がかり(sensory cue)のトレーニング関連付け(条件付けトレーニングのような)を用いて準備してよい。感覚的手がかりは、聴覚および/または視覚および/または触覚および/または嗅覚および/または味覚でよく、行ったまたは観察した動作の前でも後でもよい。同様に、他の人工的な、電気的、機械的または磁気的刺激を、身体の感覚システムに入力としてトレーニングし、動作の意思、想像、または思考と関連付けてもよい。そのようなトレーニングにより、刺激中における予測誤差の強度を手がかりを用いて増大させてもよく、あるいは、感覚的刺激の代わりに、トレーニングされた手がかりを提供して、脳内で予測誤差を生成し、意思、想像、または思考をデコードしてもよい。このように、用いられるタスクおよびトレーニングのパラダイムに応じて、刺激または手がかりは、意思、想像、または思考と並行してまたは直後に提示される必要がある。
【0013】
最後に、本発明の発明者らは、たとえ刺激がごくわずかでもデコーディングは機能すること――動作の知覚的幻影を作り出すには不十分なほどごくわずかな刺激でも、デコーディングには大きな助けとなることを、経験から示すことができる。すなわち、被験者は何ら刺激または知覚的混乱に気付くことがない。
【0014】
(予備試験/検証)
予備設定として、本発明の発明者らは、車椅子のユーザ向けの技術を調べ、車椅子のユーザが車椅子をどちらの方向に曲がらせたいかをデコードした。本発明の発明者らは、市販の脳波記録(EEG)システムを用いて脳信号を記録した。ヒトにおける動作方向の変化の主要な知覚フィードバックは前庭器官から来るので、本発明の発明者らは、ヒトの前庭器官を刺激する、(大阪大学による)特注の電気的前庭スティミュレータ(GVS)を用いた。しかし、本発明の発明者らは、極めて低いGVS刺激を用いたので、ヒトの被験者には(動作として)知覚されなかった。それから、本発明の発明者らは、スパースロジスティック回帰アルゴリズム(非特許文献22)を用いた。このアルゴリズムは、GVS信号の方向が、ユーザが車椅子を曲がらせたい方向に合致するか否かをデコードするものである。
【0015】
まとめると、本発明の発明者らは、被験者に、自分の椅子が左または右に曲がると想像してもらい、想像するあいだに小さなGVS刺激を与え、そして、被験者が想像していることが刺激(方向)と対応するかどうか評価することにより、EEG信号から、被験者が想像していることをデコードできる。本発明の発明者らは、5名の参加者にこの技術を試し、GVSの開始後96msのEEGデータから、〜90%の精度で意思をデコードした。
【0016】
(オンラインかつ連続的なデコーディングへの拡張)
現在のところ、本発明の発明者らは、上記方法を、オフラインの個別化された手段で検証した。当該手段では、被験者に自分が右または左に曲がると想像してもらった。この特定の実験では、被験者の前庭器官を一度だけ刺激し、その後、曲がる意思をEEG信号からデコードできるかを調べた。
【0017】
しかし、上記方法(および、デコーディングが<100msでできるという事実)は、リアルタイムでの適用に至る見込みを与えるものである。リアルタイムでの適用では、オンラインで、いかなるタスク(例えば、車椅子の操作)のあいだでも、100ms(デコーディングに必要な時間)毎に繰り返される刺激を用いて、動作の意思を絶えずデコードすることができる。これらの刺激はランダムでも、数が少なくても、周期的でも、常時でもよい。これらの刺激は、タスク中の他の生理的変数、行動変数、または環境変数と同時に与えられてもよいし、タスク中の他の生理的変数、行動変数、または環境変数によってトリガされてもよい。実際、複数の刺激を用いることで、デコーディングの性能をさらに高めることができる。
【産業上の利用可能性】
【0018】
1)BMI:本発明の発明者らの方法は、脳から運動の意思をデコードする力を大幅に向上させ、それゆえ、人工装具や、娯楽や、ロボット用途に用いられるブレイン・マシーン・インターフェースに不可欠となるであろう。
2)神経科学:本発明の発明者らの方法は、脳内の予測誤差信号の存在を示すものであり、神経科学者が、脳、とりわけ感覚運動システムの機能をより理解するのに役に立つ。
3)医療診断:上記方法を医療診断に用いることができる。デコーディングを刺激と組み合わせて、脳の正常/異常機能を決定するのに役立ち得るからである。したがって、上記方法は、健康な個人、年配の個人、または罹患した個人の意思、想像、または思考をデコードするのに役立ち得る。
図1
図2