特許 6649462 二重閉回路ブレイン−マシーンインターフェースシステム及びその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6649462

(24)【登録日】2020年1月20日

(45)【発行日】2020年2月19日

(54)【発明の名称】二重閉回路ブレイン−マシーンインターフェースシステム及びその方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20200210BHJP

   A61B 5/0484 20060101ALI20200210BHJP

【ＦＩ】

   G06F3/01 515

   A61B5/04 320M

【請求項の数】14

【全頁数】15

(21)【出願番号】特願2018-232980(P2018-232980)

(22)【出願日】2018年12月12日

(65)【公開番号】特開2019-109888(P2019-109888A)

(43)【公開日】2019年7月4日

【審査請求日】2018年12月12日

(31)【優先権主張番号】10-2017-0174638

(32)【優先日】2017年12月18日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】513246872

【氏名又は名称】ソウル大学校産学協力団

【氏名又は名称原語表記】ＳＥＯＵＬ ＮＡＴＩＯＮＡＬ ＵＮＩＶＥＲＳＩＴＹ Ｒ＆ＤＢ ＦＯＵＮＤＡＴＩＯＮ

(74)【代理人】

【識別番号】100121728

【弁理士】

【氏名又は名称】井関 勝守

(74)【代理人】

【識別番号】100165803

【弁理士】

【氏名又は名称】金子 修平

(74)【代理人】

【識別番号】100170900

【弁理士】

【氏名又は名称】大西 渉

(72)【発明者】

【氏名】ジョン チョンギ

(72)【発明者】

【氏名】ユン ソクユン

(72)【発明者】

【氏名】キム ジュンシク

(72)【発明者】

【氏名】イ ドンヒョク

(72)【発明者】

【氏名】ジョン ガウン

【審査官】 岩橋 龍太郎

(56)【参考文献】

【文献】 特表２０１０−５４００８８（ＪＰ，Ａ）

【文献】 特許第６１４２１４６（ＪＰ，Ｂ２）

【文献】 Alessandro Vato，外４名，A Bidirectional Brain-Machine Interface Algorithm That Approximates Arbitrary Force-Fields，２０１４年 ３月１３日，［令和元年１２月１１日検索］，インターネット＜ＵＲＬ：https://journals.plos.org/plosone/article/file?id=10.1371/journal.pone.0091677&type=printable＞

【文献】 川人 光男，生命科学と制御 《第１１回》 ブレイン・マシン・インタフェースの計測と制御，計測と制御，日本，社団法人計測自動制御学会，２００７年１２月１０日，第46巻，p.958-963

【文献】 神作 憲司，ブレインーマシン・インターフェイス（ＢＭＩ）による環境制御，別冊・医学のあゆみ ＢＭＩ（Ｂｒａｉｎ−Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）の現状と展望，医歯薬出版株式会社，２０１４年 １月２０日，p.92-98

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ａ６１Ｂ ５／０４− ５／０５

(57)【特許請求の範囲】

【請求項1】

使用者のブレイン−マシーン間をインターフェーシングする方法において、
（ａ）使用者の運動意図に対応する脳信号である運動意図脳信号が感知されると、ブレイン−マシーンインターフェースシステムが、前記運動意図脳信号を分析して前記使用者の運動意図に基づく運動に対する情報である運動情報を生成する段階；
（ｂ）前記ブレイン−マシーンインターフェースシステムが、前記運動情報に対応して前記使用者の身体部位を代替して動作する外部機器を制御するための制御信号を生成し、前記制御信号に対応して前記外部機器が動作するように支援して、前記外部機器の動作状態に対応する感覚信号を獲得し、前記感覚信号を分析して前記外部機器の動作状態を前記使用者が認識できるようにするための脳刺激パターン（前記脳刺激パターンは、前記外部機器の動作状態を前記使用者が認識できるようにするために動作状態別に設定された体性感覚情報に対応して、当該体性感覚を誘発するために設定された脳部位を刺激するためのパターンである）を獲得する段階；及び
（ｃ）前記ブレイン−マシーンインターフェースシステムが、前記運動意図脳信号を分析して前記使用者の脳部位を刺激する脳刺激頻度に対する情報を生成し、前記脳刺激頻度に対する情報を利用して前記脳刺激パターンを補正し、前記補正された脳刺激パターンを参照して脳刺激部を通じて前記脳部位を刺激するように支援する段階；
を含むことを特徴とする二重閉回路ブレイン−マシーンインターフェース方法。

【請求項2】

（ｄ）前記ブレイン−マシーンインターフェースシステムが、（ｉ）前記使用者の運動意図脳信号を感知するための脳信号感知部の第１位置情報、（ｉｉ）前記脳部位を刺激するための脳刺激部の第２位置情報及び（ｉｉｉ）前記（ｃ）段階で獲得した前記補正された脳刺激パターンを参照して、前記（ａ）段階で感知した前記使用者の運動意図脳信号に含まれている雑音信号を除去する段階；をさらに含み、前記第２位置情報は前記第１位置情報と既設定された距離以内に位置して、前記第２位置情報を通じて前記使用者の設定された脳部位を刺激する脳刺激信号が第１位置情報を通じて獲得される前記運動意図脳信号に影響を及ぼすことを特徴とする請求項１に記載の二重閉回路ブレイン−マシーンインターフェース方法。

【請求項3】

前記雑音信号を除去することにおいて、
（ｄ−１）前記ブレイン−マシーンインターフェースシステムは、前記脳信号感知部の第１位置情報、前記脳刺激部の第２位置情報及び前記補正された脳刺激パターン及び既保存された前記使用者の３次元脳構造モデリングデータを参照して、前記脳刺激部を通じて前記使用者の脳部位刺激によって前記脳信号感知部で感知され得る雑音信号に対応する雑音信号パターンをモデリングし、
（ｄ−２）前記モデリングされた雑音信号パターンと前記脳信号感知部で感知された前記運動意図脳信号を比較して前記運動意図脳信号で前記モデリングされた雑音信号パターンと一致する雑音信号を除去することを特徴とする請求項２に記載の二重閉回路ブレイン−マシーンインターフェース方法。

【請求項4】

前記（ｂ）段階で、前記ブレイン−マシーンインターフェースシステムが、前記使用者が感知し得る複数個の感覚種類に対して各々対応する脳反応パターン、前記脳反応を誘導するための刺激の大きさ、刺激時間、周波数及びこれらの時空間的変化に対する情報のうち少なくとも一つが保存されているデータベースを参照して、前記感覚信号に対応する脳反応を誘導するための前記脳刺激パターンを生成することを特徴とする請求項１に記載の二重閉回路ブレイン−マシーンインターフェース方法。

【請求項5】

前記（ｃ）段階で、前記ブレイン−マシーンインターフェースシステムが、前記運動意図脳信号を分析して前記使用者の設定された脳部位を刺激する時点を決定するトリガ情報を生成し、前記トリガ情報を追加で利用して前記（ｂ）段階における脳刺激パターンを補正することを特徴とする請求項１に記載の二重閉回路ブレイン−マシーンインターフェース方法。

【請求項6】

前記ブレイン−マシーンインターフェースシステムが、前記使用者の運動意図がない状態に対応する休止状態の脳信号に対比して前記使用者の前記運動意図脳信号が所定の閾値を越える瞬間を前記使用者の運動意図時点と判断し、前記運動意図時点に対応して前記使用者の設定された脳部位を刺激する時点を決定するトリガ情報を生成することを特徴とする請求項５に記載の二重閉回路ブレイン−マシーンインターフェース方法。

【請求項7】

前記（ｃ）段階で、前記ブレイン−マシーンインターフェースシステムが、前記使用者の運動意図脳信号及び前記運動意図脳信号以後に感知された使用者の追加運動意図脳信号を前記使用者の運動意図がない状態に対応する休止状態の脳信号と比較分析して前記使用者の運動意図強度を判断し、前記運動意図強度を分析して前記脳刺激頻度に対する情報を生成することを特徴とする請求項１に記載の二重閉回路ブレイン−マシーンインターフェース方法。

【請求項8】

使用者のブレイン−マシーン間をインターフェーシングするブレイン−マシーンインターフェースシステムにおいて、
外部機器に接近可能な通信部、及び
（１）使用者の運動意図に対応する脳信号である運動意図脳信号が感知されると、前記運動意図脳信号を分析して前記使用者の運動意図に基づく運動に対する情報である運動情報を生成するプロセス、（２）前記運動情報に対応して前記使用者の身体部位を代替して動作する外部機器を制御するための制御信号を生成し、前記制御信号に対応して前記外部機器が動作するように支援して、前記外部機器の動作状態に対応する感覚信号を獲得し、前記感覚信号を分析して前記外部機器の動作状態を前記使用者が認識できるようにするための脳刺激パターン（前記脳刺激パターンは前記外部機器の動作状態を前記使用者が認識できるようにするために動作状態別に設定された体性感覚情報に対応して当該体性感覚を誘発するために設定された脳部位を刺激するためのパターンである）を獲得するプロセス、及び（３）前記運動意図脳信号を分析して前記使用者の脳部位を刺激する脳刺激頻度に対する情報を生成し、前記脳刺激頻度に対する情報を利用して前記脳刺激パターンを補正し、前記補正された脳刺激パターンを参照して脳刺激部を通じて前記脳部位を刺激するように支援するプロセスを遂行するプロセッサを含むことを特徴とする二重閉回路ブレイン−マシーンインターフェースシステム。

【請求項9】

前記プロセッサが、（ｉ）前記使用者の運動意図脳信号を感知するための脳信号感知部の第１位置情報、（ｉｉ）前記脳部位を刺激するための脳刺激部の第２位置情報及び（ｉｉｉ）前記（３）プロセッサで獲得した前記補正された脳刺激パターンを参照して、前記（１）プロセッサで感知した前記使用者の運動意図脳信号に含まれている雑音信号を除去するプロセスをさらに含み、前記第２位置情報は前記第１位置情報と既設定された距離以内に位置して、前記第２位置情報を通じて前記使用者の設定された脳部位を刺激する脳刺激信号が第１位置情報を通じて獲得される前記運動意図脳信号に影響を及ぼすことを特徴とする請求項８に記載の二重閉回路ブレイン−マシーンインターフェースシステム。

【請求項10】

前記雑音信号を除去することにおいて、
前記プロセッサが、前記脳信号感知部の第１位置情報、前記脳刺激部の第２位置情報及び前記補正された脳刺激パターン及び既保存された前記使用者の３次元脳構造モデリングデータを参照して、前記脳刺激部を通じて前記使用者の脳部位刺激によって前記脳信号感知部で感知され得る雑音信号に対応する雑音信号パターンをモデリングするプロセス、及び前記モデリングされた雑音信号パターンと前記脳信号感知部で感知された前記運動意図脳信号を比較して前記運動意図脳信号で前記モデリングされた雑音信号パターンと一致する雑音信号を除去するプロセスを遂行することを特徴とする請求項９に記載の二重閉回路ブレイン−マシーンインターフェースシステム。

【請求項11】

前記（２）プロセスで、前記プロセッサが、前記使用者が感知し得る複数個の感覚種類に対して各々対応する脳反応パターン、前記脳反応を誘導するための刺激の大きさ、刺激時間、周波数及びこれらの時空間的変化に対する情報のうち少なくとも一つが保存されているデータベースを参照して、前記感覚信号に対応する脳反応を誘導するための前記脳刺激パターンを生成することを特徴とする請求項８に記載の二重閉回路ブレイン−マシーンインターフェースシステム。

【請求項12】

前記（３）プロセスで、前記プロセッサが、前記運動意図脳信号を分析して前記使用者の設定された脳部位を刺激する時点を決定するトリガ情報を生成し、前記トリガ情報を追加で利用して前記（２）プロセスにおける脳刺激パターンを補正することを特徴とする請求項８に記載の二重閉回路ブレイン−マシーンインターフェースシステム。

【請求項13】

前記プロセッサが、前記使用者の運動意図がない状態に対応する休止状態の脳信号に対比して前記使用者の前記運動意図脳信号が所定の閾値を越える瞬間を前記使用者の運動意図時点と判断し、前記運動意図時点に対応して前記使用者の設定された脳部位を刺激する時点を決定するトリガ情報を生成することを特徴とする請求項１２に記載の二重閉回路ブレイン−マシーンインターフェースシステム。

【請求項14】

前記（３）プロセスで、前記プロセッサが、前記使用者の運動意図脳信号及び前記運動意図脳信号以後に感知された使用者の追加運動意図脳信号を前記使用者の運動意図がない状態に対応する休止状態の脳信号と比較分析して前記使用者の運動意図強度を判断し、前記運動意図強度を分析して前記脳刺激頻度に対する情報を生成することを特徴とする請求項８に記載の二重閉回路ブレイン−マシーンインターフェースシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、二重閉回路ブレイン−マシーンインターフェースシステム及びその方法に関し、より詳細には、（ａ）使用者の運動意図に対応する脳信号である運動意図脳信号が感知されると、ブレイン−マシーンインターフェースシステムが、前記運動意図脳信号を分析して前記使用者の運動意図に基づく運動に対する情報である運動情報を生成する段階；（ｂ）前記ブレイン−マシーンインターフェースシステムが、前記運動情報に対応して前記使用者の身体部位を代替して動作する外部機器を制御するための制御信号を生成し、前記制御信号に対応して前記外部機器が動作するように支援して、前記外部機器の動作状態に対応する感覚信号を獲得し、前記感覚信号を分析して前記外部機器の動作状態を前記使用者が認識できるようにするための脳刺激パターン（前記脳刺激パターンは、前記外部機器の動作状態を前記使用者が認識できるようにするために動作状態別に設定された体性感覚情報に対応して、当該体性感覚を誘発するために設定された脳部位を刺激するためのパターンである）を獲得する段階；及び（ｃ）前記ブレイン−マシーンインターフェースシステムが、前記運動意図脳信号を分析して前記使用者の脳部位を刺激する脳刺激頻度に対する情報を生成し、前記脳刺激頻度に対する情報を利用して前記脳刺激パターンを補正し、前記補正された脳刺激パターンを参照して脳刺激部を通じて前記脳部位を刺激するように支援する段階を含むことを特徴とする二重閉回路ブレイン−マシーンインターフェース方法及びシステムに関する。

【背景技術】

【0002】

ブレイン−マシーンインターフェース（ＢＭＩ）技術は、脳と機械の相互情報伝達及び解析を通じて考えるだけで外部電子装置または機器を制御する技術である。より詳細には、使用者の意図と関連する脳信号を基にその意図を解析して外部事物や仮想の物体を制御する技術である。

【0003】

既存の研究では、四肢麻痺患者の一次運動皮質、後頭頂葉皮質などに侵襲的な微細電極を挿入し、測定された脳信号を基に考えるだけでロボットアームをある程度制御し得ると報告されたことがある。

【0004】

そして、電極の大きさが微細電極よりも大きい脳皮質脳波（ＥＣｏＧ）を利用したブレイン−マシーンインターフェース技術の場合、微細電極を利用したシステムに比べて制御正確度は多少劣るが、脳組織をほぼ破壊せずに、より広い脳領域をカバーすることができるという長所がある。

【0005】

しかし、脳信号基盤ブレイン−マシーンインターフェースシステムのパフォーマンスに対する限界も明確だが、研究者らはこれに対する主な原因として運動命令遂行中の体性感覚フィードバックを受けることができないという点を挙げている。

【0006】

また、たとえ体性感覚フィードバックを受けるとしても、単純に脳刺激を通じたフィードバックシステムだけでは、実際運動パフォーマンスに大きな影響を及ぼす脳領域間フィードバックメカニズムを復元させることができない問題点がある。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、上述した問題点をすべて解決することを目的とする。

【0008】

また、本発明は、使用者の運動関連脳信号デコーディングを通じた外部機器制御と当該制御過程で誘発された感覚信号（例えば、外部機器のセンサ信号）に対応する脳刺激を通じて使用者に体性感覚フィードバックを誘導することを他の目的とする。

【0009】

また、運動意図と関連して発生する脳信号に対する脳領域間フィードバックを使用者に脳信号感知／脳刺激シークエンスで誘導することを他の目的とする。

【0010】

また、本発明は、脳刺激によって発生する脳信号の雑音を最小化するためのものであることを他の目的とする。

【課題を解決するための手段】

【0011】

前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記の通りである。

【0012】

本発明の一態様によれば、使用者のブレイン−マシーン間をインターフェーシングする方法において、（ａ）使用者の運動意図に対応する脳信号である運動意図脳信号が感知されると、ブレイン−マシーンインターフェースシステムが、前記運動意図脳信号を分析して前記使用者の運動意図に基づく運動に対する情報である運動情報を生成する段階；（ｂ）前記ブレイン−マシーンインターフェースシステムが、前記運動情報に対応して前記使用者の身体部位を代替して動作する外部機器を制御するための制御信号を生成し、前記制御信号に対応して前記外部機器が動作するように支援して、前記外部機器の動作状態に対応する感覚信号を獲得し、前記感覚信号を分析して前記外部機器の動作状態を前記使用者が認識できるようにするための脳刺激パターン（前記脳刺激パターンは、前記外部機器の動作状態を前記使用者が認識できるようにするために動作状態別に設定された体性感覚情報に対応して、当該体性感覚を誘発するために設定された脳部位を刺激するためのパターンである）を獲得する段階；及び（ｃ）前記ブレイン−マシーンインターフェースシステムが、前記運動意図脳信号を分析して前記使用者の脳部位を刺激する脳刺激頻度に対する情報を生成し、前記脳刺激頻度に対する情報を利用して前記脳刺激パターンを補正し、前記補正された脳刺激パターンを参照して脳刺激部を通じて前記脳部位を刺激するように支援する段階；を含むことを特徴とする二重閉回路ブレイン−マシーンインターフェース方法を提供する。

【0013】

本発明の他の態様によれば、使用者のブレイン−マシーン間をインターフェーシングするブレイン−マシーンインターフェースシステムにおいて、外部機器に接近可能な通信部、及び（１）使用者の運動意図に対応する脳信号である運動意図脳信号が感知されると、前記運動意図脳信号を分析して前記使用者の運動意図に基づく運動に対する情報である運動情報を生成するプロセス、（２）前記運動情報に対応して前記使用者の身体部位を代替して動作する外部機器を制御するための制御信号を生成し、前記制御信号に対応して前記外部機器が動作するように支援して、前記外部機器の動作状態に対応する感覚信号を獲得し、前記感覚信号を分析して前記外部機器の動作状態を前記使用者が認識できるようにするための脳刺激パターン（前記脳刺激パターンは、前記外部機器の動作状態を前記使用者が認識できるようにするために動作状態別に設定された体性感覚情報に対応して、当該体性感覚を誘発するために設定された脳部位を刺激するためのパターンである）を獲得するプロセス、及び（３）前記運動意図脳信号を分析して前記使用者の脳部位を刺激する脳刺激頻度に対する情報を生成し、前記脳刺激頻度に対する情報を利用して前記脳刺激パターンを補正し、前記補正された脳刺激パターンを参照して脳刺激部を通じて前記脳部位を刺激するように支援するプロセスを遂行するプロセッサを含むことを特徴とする二重閉回路ブレイン−マシーンインターフェースシステムを提供する。

【発明の効果】

【0014】

本発明によれば、次のような効果がある。

【0015】

本発明は、使用者の運動関連脳信号デコーディングを通じた外部機器制御と当該制御過程で誘発された感覚信号（例えば、外部機器のセンサ信号）に対応する脳刺激を通じて使用者に体性感覚フィードバックを誘導する効果がある。

【0016】

また、運動意図と関連して発生する脳信号に対する脳領域間フィードバックを使用者に脳信号感知／脳刺激シークエンスで誘導する効果がある。

【0017】

また、本発明は、脳刺激によって発生する脳信号の雑音を最小化する効果がある。

【図面の簡単な説明】

【0018】

【図1】図１は、本発明の一実施例にかかる二重閉回路ブレイン−マシーンインターフェースシステム及び外部機器を概略的に示す図面である。

【図2】図２は、本発明の一実施例によって使用者のブレイン−マシーン間をインターフェーシングする概略的な過程を示す図面である。

【図3】図３は、本発明の一実施例によって二重フィードバックループを有する二重閉回路ブレイン−マシーンインターフェースシステムを概略的に示す図面である。

【図4】図４は、本発明の一実施例にかかる雑音除去部を概略的に示す図面である。

【図5】図５は、本発明の一実施例によって使用者の脳信号の雑音を除去する概略的な過程を示す図面である。

【発明を実施するための形態】

【0019】

後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように充分詳細に説明される。本発明の多様な実施例は互に異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例にかかる本発明の精神及び範囲を逸脱せずに他の実施例で実現され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は、本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は、限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されると、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。

【0020】

以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面を参照して詳細に説明することとする。

【0021】

図１は、本発明の一実施例にかかる二重閉回路ブレイン−マシーンインターフェースシステム１００及び外部機器４００を概略的に示す図面である。

【0022】

まず、図１に示されたように、本発明の二重閉回路ブレイン−マシーンインターフェースシステム１００はプロセッサ１１０、通信部１２０、データベース１３０、感知部１４０、刺激部１５０及び雑音除去部１６０が含まれ得る。

【0023】

二重閉回路ブレイン−マシーンインターフェースシステム１００のプロセッサ１１０は使用者の運動意図脳信号に対するフィードバックを使用者に提供するか提供するように支援するが、これについては後で詳細な説明を通じて詳しく述べることとする。

【0024】

通信部１２０は、多様な通信技術で実現され得る。即ち、Ｗｉ−Ｆｉ（ＷＩＦＩ：登録商標）、ＷＣＤＭＡ（Ｗｉｄｅｂａｎｄ ＣＤＭＡ）、ＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ＨＳＵＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｕｐｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、モバイルワイマックス（Ｍｏｂｉｌｅ ＷｉＭＡＸ：登録商標）、ワイブロ（ＷｉＢｒｏ：登録商標）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ブルートゥース（ｂｌｕｅｔｏｏｔｈ：登録商標）、赤外線通信（ＩｒＤＡ、ｉｎｆｒａｒｅｄ ｄａｔａ ａｓｓｏｃｉａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ジグビー（Ｚｉｇｂｅｅ：登録商標）、無線ＬＡＮ技術などが適用され得る。また、インターネットと連結されてサービスを提供する場合、インターネットで情報伝送のための標準プロトコルであるＴＣＰ／ＩＰに基づくことがある。

【0025】

二重閉回路ブレイン−マシーンインターフェースシステム１００のプロセッサ１１０は、通信部１２０を通じてデータベース１３０から必要な情報を受信し得る。また、場合によってプロセッサ１１０は、通信部１２０を通じて外部機器４００とも必要な情報を送受信し得る。

【0026】

そして、二重閉回路ブレイン−マシーンインターフェースシステム１００のデータベース１３０は二重閉回路ブレイン−マシーンインターフェースシステム１００の動作のための各種データを保存するものであり、複数個の感覚種類に対して各々対応する脳反応パターン、前記脳反応を誘導するための刺激の大きさ、刺激時間、周波数、これらの時空間的変化に対する情報と使用者の脳信号を感知するための脳信号感知部１４０の位置情報及び使用者の脳を刺激するための脳刺激部１５０の位置情報などが含まれ得る。

【0027】

この時、データベース１３０はフラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＳＤまたはＸＤメモリ）、ラム（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲｅａｄＯｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲｅａｄＯｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリ、磁気ディスク、光ディスクのうち少なくとも一つのタイプの保存媒体が含まれ得て、これに限定されずデータを保存することができるすべての媒体が含まれ得る。また、データベース１３０は、二重閉回路ブレイン−マシーンインターフェースシステム１００の内部に設置されるか、これとは異なり二重閉回路ブレイン−マシーンインターフェースシステム１００と分離設置されて二重閉回路ブレイン−マシーンインターフェースシステム１００との通信を通じてデータを伝送するか受信されるデータを記録し得る。

【0028】

次に、感知部１４０は、使用者の脳信号を感知する部分であり、脳信号センサ、信号増幅器、アナログフィルタ及びアナログ−デジタルコンバータなどのうち少なくとも一部が含まれ得る。感知部１４０の脳信号感知は、侵襲的な方法か非侵襲的な方法であり得、感知部１４０は使用者の脳領域のうち一次運動皮質領域などに位置し得る。

【0029】

次に、刺激部１５０は使用者の脳に刺激を加える部分であり、刺激は電気刺激であり得て、多重チャネルで同時にまたはある程度の時間差をおいて加えることがある。そして、刺激時間は、刺激の種類によって流動的であり、数ミリ秒から１秒内外までの範囲を有し得る。また、刺激部１５０は、侵襲的な方法で脳を刺激するか非侵襲的な方法で脳を刺激し得て、使用者の脳領域のうち一次または二次体性感覚皮質、後頭頂葉皮質または前運動領域の一部などに位置し得る。

【0030】

次に、雑音除去部１６０は、使用者の脳に加えられる脳刺激の物理的特性を基に実際脳環境で測定され得る雑音信号を推定した後、実際測定された信号からリアルタイムで雑音を除去し得るが、これについては後で詳細な説明を通じて詳しく述べることとする。

【0031】

一方、図１に示されたように、外部機器４００は駆動部４１０及びセンサ部４２０が含まれ得る。

【0032】

駆動部４１０は、使用者の脳信号によって外部機器が駆動する部分であり、ロボットアームであり得るが、これに限定されず使用者の脳信号によって駆動が可能なすべての装置が含まれ得る。

【0033】

そして、センサ部４２０は、外部機器４００の駆動によって発生する感覚信号を獲得する部分であり、圧力センサ、位置センサ、振動センサ、温度センサなどが含まれ得るが、これに限定されず感覚信号を測定することができるすべてのセンサが含まれ得る。

【0034】

このように構成された本発明の一実施例にかかる二重閉回路ブレイン−マシーンインターフェースシステム１００及び外部機器４００を利用して使用者の脳と機械間をインターフェーシングする方法を図２を参照して説明すれば次の通りである。

【0035】

まず、使用者の脳信号のうち使用者の運動意図と関連する脳信号を二重閉回路ブレイン−マシーンインターフェースシステム１００の感知部１４０で感知し得る。この時、感知部１４０は、侵襲的な方法や非侵襲的な方法の脳信号センサを利用して使用者の運動意図脳信号を感知し得る（Ｓ２１０）。

【0036】

かかる感知された運動意図関連脳信号は、感知部１４０の信号増幅器、アナログフィルタ及びアナログ−デジタルコンバータなどを通過し得て、通過した信号は二重閉回路ブレイン−マシーンインターフェースシステム１００のプロセッサ１１０によってデジタルフィルタリング、ｒｅ−ｒｅｆｅｒｅｎｃｉｎｇ、神経スパイク信号感知、発火率計算などの前処理過程を経ることがある。

【0037】

そして、二重閉回路ブレイン−マシーンインターフェースシステム１００のプロセッサ１１０は、前記感知された脳信号を利用して使用者の運動意図に基づく動作予測情報である運動情報を生成し得る（Ｓ２２０）。この時、運動情報を生成するために使用されるアルゴリズムは、人工神経網アルゴリズムが使用され得るが、これに限定されず、ベイズ分類器（Ｂａｙｅｓｉａｎ ｃｌａｓｓｉｆｉｅｒ）や回帰（ｒｅｇｒｅｓｓｉｏｎ）方式の機械学習アルゴリズムなど脳信号を利用して動作予測情報である運動情報を生成する目的に符合するすべてのアルゴリズムのうち少なくとも一部を使用し得る。

【0038】

また、二重閉回路ブレイン−マシーンインターフェースシステム１００のプロセッサ１１０は、前記運動情報に対応して使用者の身体部位を代替して動作する外部機器４００を制御するための制御信号を生成し得て、かかる制御信号によって外部機器４００の駆動部４１０が使用者の運動意図通りに動作するようにし得る（Ｓ２３０）。

【0039】

次に、二重閉回路ブレイン−マシーンインターフェースシステム１００のプロセッサ１１０は前記駆動部４１０の動作状態によって発生する感覚信号をセンサ部４２０を通じて獲得し得る（Ｓ２４０）。

【0040】

次に、二重閉回路ブレイン−マシーンインターフェースシステム１００のプロセッサ１１０は、前記獲得した感覚信号を分析して外部機器４００の動作状態を使用者が認識できるようにするための体性感覚を誘発するために設定された脳部位を刺激するための脳刺激パターンを生成し得る（Ｓ２５０）。

【0041】

即ち、プロセッサ１１０は、データベース１３０に保存されている複数個の感覚種類に対して各々対応する脳反応パターン、前記脳反応を誘導するための刺激の大きさ、刺激時間、周波数、これらの時空間的変化に対する情報などを通信部１２０を通じて受信されて前記獲得した感覚信号と互いに比較して前記感覚信号に対応する最も類似する脳反応を誘発するための脳刺激パターンを生成し得る。

【0042】

また、脳刺激パターンは、感覚信号の種類と大きさ、時空間的変化などによって異なり得て、脳刺激パターンを生成する過程で機械学習やディープラーニングアルゴリズムが使用され得る。

【0043】

前記のような二重閉回路ブレイン−マシーンインターフェースシステム１００のＳ２１０ないしＳ２５０段階は、図３を参照としてより具体化され得るが、図３を参照すると、（ｉ）運動意図関連脳信号感知（Ｓ３１０）、（ｉｉ）運動情報生成、制御信号生成及び伝達（Ｓ３２０）、（ｉｉｉ）３次元ロボットアーム／ハンド制御（Ｓ３２２）、（ｉｖ）感覚信号伝達（Ｓ３２４）及び（ｖ）脳刺激パターン生成（Ｓ３２６）からなる脳−外部機器−脳フィードバックループによって遂行され得る。

【0044】

次に、二重閉回路ブレイン−マシーンインターフェースシステム１００のプロセッサ１１０は、感知部１４０で感知した運動意図関連脳信号を分析して運動意図時点及び運動意図強度を判断し得る（Ｓ２６０）。

【0045】

この時、運動意図時点及び強度の判断は、大脳の前運動領域、運動領域、後頭頂葉皮質、前前頭葉などの脳信号を利用し得る。

【0046】

一例として、脳皮質脳波の場合、既存の準備電位基盤方式も使用されるが、動き以前アルファ−ローベータ領域の事象関連脱同期（Ｅｖｅｎｔ−Ｒｅｌａｔｅｄ Ｄｅｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ；ＥＲＤ、７〜２０Ｈｚ程度）と高周波ハイ−ガンマ（Ｈｉｇｈ−ｇａｍｍａ、５０Ｈｚ以上）領域の脳活性パターンが使用され得る。また、微細電極の場合、発火タイミングや発火比率程度が運動意図と時点及び強度判断において基本尺度になるが、前記脳領域間の連結性強度も主要基準となり得る。これは脳皮質脳波の場合も同一である。この時、連結性分析は、位相−変位カップリング（ｐｈａｓｅ−ａｍｐｌｉｔｕｄｅ ｃｏｕｐｌｉｎｇ）、位相同期化（ｐｈａｓｅ ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ）、古典的相関関係分析、相互情報量（ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ）などの同時的連結性分析方法以外に部分指向性コヒーレンス（ｐａｒｔｉａｌ ｄｉｒｅｃｔｅｄ ｃｏｈｅｒｅｎｃｅ）などの因果的連結性分析も使用され得る。

【0047】

まず、運動意図の時点判断は、プロセッサ１１０が運動意図が明確にない休止状態の脳信号対比脳信号の揺動が、２標準偏差（ｓｔａｎｄａｒｄ ｄｅｖｉａｔｉｏｎ；ＳＤ）などの基準を越える時点を計算して得られることがある。しかし、この場合、誤警報（ｆａｌｓｅ ａｌａｒｍ）が発生する可能性が大きいため、当該時点前後の脳信号パターンを分析して時点を確定し得る。

【0048】

例えば、当該時点前には休止状態と類似する脳信号揺動を見せながら、当該時点以後に一貫的に２ＳＤを越える揺動が観察される場合には、この時点が運動意図時点である確率が高くなることを利用して判別し、「時点以後１秒間２ＳＤ以上ｔｒｉａｌが何個以上であればこの時点が運動意図時点である」と判別するアルゴリズムを利用するか、ベイジアン（Ｂａｙｅｓｉａｎ）基盤機械学習方法などを利用し得て、これに限定されず「確率的にこの時点が運動意図時点である」と判別することができる目的に符合するすべての方法のうち少なくとも一部を利用し得る。

【0049】

そして、運動意図の強度は、プロセッサ１１０が運動意図時点が判別された時点の脳信号及びそれ以後の追加的な脳信号を基盤とした運動意図信号脳信号と運動意図が明確にない休止状態の脳信号のＸ軸上のピーク値間の距離値を基に判断し得る。

【0050】

次に、二重閉回路ブレイン−マシーンインターフェースシステム１００のプロセッサ１１０は、前記運動意図時点に対応する脳刺激時点に対するトリガ情報を生成し得て、前記運動意図強度を分析して使用者の脳部位を刺激する脳刺激頻度に対する情報を生成し得る（Ｓ２７０）。

【0051】

例えば、運動意図強度を最大単位時間あたり刺激頻度がある、即ち漸近線が存在する分布関数に代入させて脳刺激頻度を生成し得て、これに限定されず運動意図強度が脳刺激頻度を決定するという目的に符合するすべての方法のうち少なくとも一部を利用して生成し得る。

【0052】

前記のような二重閉回路ブレイン−マシーンインターフェースシステム１００のＳ２１０、Ｓ２６０及びＳ２７０段階は、図３を参照としてより具体化され得るが、図３を参照すると、（ｉ）運動意図関連脳信号感知（Ｓ３１０）、（ｉｉ）運動意図時点及び強度判断（Ｓ３３０）及び（ｉｉｉ）脳刺激時点に対するトリガ情報及び脳刺激頻度に対する情報生成（Ｓ３２２）からなる脳領域間フィードバックループによって遂行され得る。

【0053】

次に、二重閉回路ブレイン−マシーンインターフェースシステム１００のプロセッサ１１０は、前記脳刺激時点に対するトリガ情報及び前記脳刺激頻度に対する情報を参照して前記脳刺激パターンを補正し得て（Ｓ２８０）、補正された脳刺激パターンを参照して脳刺激パターンを前記信号に変換して刺激部１５０を通じて使用者の脳部位を刺激するように支援し得る（Ｓ２９０）。

【0054】

この時、図３を参照すると、二重閉回路ブレイン−マシーンインターフェースシステム１００は、脳−外部機器−脳フィードバックループで生成されたフィードバック情報及び脳領域間フィードバックループで生成されたフィードバック情報を統合して、脳刺激パターンを補正した後、補正された脳刺激パターンで体性感覚を誘導する脳刺激を印加し得る（Ｓ３４０）。

【0055】

前記のような使用者の脳と機械間をインターフェーシングする方法は、二重閉回路ブレイン−マシーンインターフェースシステム１００を利用して、（ｉ）使用者の運動意図脳信号を利用して外部機器４００を制御する過程で誘発された感覚信号を、脳刺激を通じて使用者が認知できるようにする脳−外部機器−脳フィードバック及び（ｉｉ）使用者の運動意図脳信号に対応する脳刺激に対するトリガ情報及び脳刺激頻度に対する情報を、プロセッサ１１０を通じて生成する脳領域間フィードバックを統合する方法であり、図２に示されたような順序でブレイン−マシーンインターフェースシステム１００のプロセッサ１１０によって遂行され得る。しかし、これに限定されず多様な順序で遂行され得る。

【0056】

一例として、二重閉回路ブレイン−マシーンインターフェースシステム１００のプロセッサ１１０は、図２に示された、（ｉ）使用者の運動意図脳信号感知（Ｓ２１０）、運動情報生成（Ｓ２２０）、外部機器制御信号生成、外部機器動作（Ｓ２３０）、外部機器動作状態に対応する感覚信号獲得（Ｓ２４０）及び脳刺激パターン獲得（Ｓ２５０）順序に対応する図３に示された脳−外部機器−脳フィードバックと（ｉｉ）使用者の運動意図脳信号感知（Ｓ２１０）、運動意図時点及び強度判断（Ｓ２６０）、脳刺激時点に対するトリガ情報及び脳刺激頻度に対する情報生成（Ｓ２７０）順序に対応する図３に示された脳領域間フィードバックを同時に遂行することもある。

【0057】

また、他の例として、二重閉回路ブレイン−マシーンインターフェースシステム１００のプロセッサ１１０は、図２に示された、（ｉ）使用者の運動意図脳信号感知（Ｓ２１０）、運動意図時点及び強度判断（Ｓ２６０）、脳刺激時点に対するトリガ情報及び脳刺激頻度に対する情報生成（Ｓ２７０）順序に対応する図３に示された脳領域間フィードバックを先に遂行した後、（ｉｉ）使用者の運動意図脳信号感知（Ｓ２１０）、運動情報生成（Ｓ２２０）、外部機器制御信号生成、外部機器動作（Ｓ２３０）、外部機器動作状態に対応する感覚信号獲得（Ｓ２４０）及び脳刺激パターン獲得（Ｓ２５０）順序に対応する図３に示された脳−外部機器−脳フィードバックを遂行することもある。

【0058】

一方、二重閉回路ブレイン−マシーンインターフェースシステム１００を利用して体性感覚誘発のための脳刺激が間歇的に加えられて脳信号デコーディングを通じて運動意図が感知され得る時に集中的に脳刺激を印加し得て、これ以上運動しようとしない場合、再び間歇的な脳刺激シーケンスに戻り得る。

【0059】

そして、二重閉回路ブレイン−マシーンインターフェースシステム１００は、運動意図感知以後にも運動領域信号の特性（例えば、運動意図強度）と感覚センサ信号の強度によって脳刺激頻度が変化し得て、運動または感覚関連脳信号は使用者が集中する程度などによってその強度が異なるなど、特に精巧な動きを遂行しなければならない場合にはより頻繁な感覚フィードバックが行なわれ得る。

【0060】

また、二重閉回路ブレイン−マシーンインターフェースシステム１００は、休止状態（脳刺激が間歇的に加えられる状態）で運動意図が感知されなくても外部感覚センサ信号が一定の水準以上で増加する時（例えば、ある人またはある装置によってロボットアームに対するコンタクトが行われた場合）には脳刺激頻度が増加し得る。

【0061】

図４は本発明の一実施例にかかる二重閉回路ブレイン−マシーンインターフェースシステム１００の雑音除去部１６０を概略的に示す図面である。

【0062】

図４に示されたように、雑音除去部１６０はモデリング部１６２及び信号処理部１６４が含まれ得る。

【0063】

また、雑音除去部１６０は、使用者のＭＲＩ情報基盤脳構造モデリングデータが含まれ得る（図示せず）。

【0064】

このように構成された本発明の一実施例にかかる二重閉回路ブレイン−マシーンインターフェースシステム１００の雑音を除去する方法を図５を参照して説明すれば次の通りである。

【0065】

まず、雑音除去部１６０のモデリング部１６２は、データベース１３０に保存されている脳刺激部１５０の位置情報、脳信号感知部１４０の位置情報及び脳刺激頻度に対する情報などを参照して補正された脳刺激パターンに対する情報を通信部１２０を通じて獲得し得る（Ｓ５１０）。

【0066】

また、雑音除去部１６０のモデリング部１６２は、獲得した脳刺激部１５０の位置情報、脳信号感知部１４０の位置情報、補正された脳刺激パターン及び既保存された使用者のＭＲＩ情報基盤脳構造モデリングデータを利用して、脳刺激部１５０を通じて使用者の脳部位刺激によって脳信号感知部１４０で感知され得る雑音信号パターンをモデリングし得る（Ｓ５２０）。

【0067】

この時、雑音信号パターンをモデリングする計算には、脳科学で一般的に使用される磁場導出行列（Ｌｅａｄ−ｆｉｅｌｄ ｍａｔｒｉｘ）基盤フォワードモデリング（ｆｏｒｗａｒｄ ｍｏｄｅｌｉｎｇ）技法が適用されることがあり、これは脳刺激チャネルが多チャネルである場合にも適用され得る。

【0068】

そして、雑音除去部１６０の信号処理部１６４は、脳信号感知部１４０で感知された脳刺激による雑音が含まれている運動意図脳信号を印加され得る（Ｓ５３０）。

【0069】

次に、雑音除去部１６０の信号処理部１６４は、前記雑音が含まれている運動意図脳信号と前記モデリングされた雑音信号パターンを比較して、運動意図脳信号でモデリングされた雑音信号パターンと一致する雑音信号を除去し得る（Ｓ５４０）。

【0070】

この時、雑音信号を除去する方法として、リアルタイム独立成分分析（Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ、ＩＣＡ）及び主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）などの方法が使用されることがあり、各抽出されたコンポーネントとモデリングされた雑音信号との相関関係を、ピアソン相関（Ｐｅａｒｓｏｎ Ｃｏｒｒｅｌａｔｉｏｎ）やＭｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ分析を利用して計算した後、最も高い値を有するコンポーネントを除外して信号を再構成し得る。

【0071】

一方、雑音信号が除去された再構成された信号は、使用者の運動意図に対する運動情報生成、運動意図時点判断及び運動意図強度判断に使用され得る。

【0072】

以上で説明された本発明にかかる実施例は、多様なコンピュータ構成要素を通じて遂行され得るプログラム命令語の形態で実現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独または組み合わせて含まれ得る。前記コンピュータで判読可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を保存して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけではなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明にかかる処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成されることがあり、その逆も同様である。

【0073】

以上、本発明が具体的な構成要素などのような特定の事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限定されるものではなく、本発明が属する技術分野において通常の知識を有する者であればかかる記載から多様な修正及び変形が行なわれ得る。

【0074】

従って、本発明の思想は、前記説明された実施例に極限されて定められてはならず、後述する特許請求の範囲だけではなく、本特許請求の範囲と均等または等価的に変形されたすべてのものは本発明の思想の範疇に属するといえる。

【符号の説明】

【0075】

１００：ブレイン−マシーンインターフェースシステム
１１０：プロセッサ
１２０：通信部
１３０：データベース
１４０：感知部
１５０：刺激部
１６０：雑音除去部
１６２：モデリング部
１６４：信号処理部
４００：外部機器
４１０：駆動部
４２０：センサ部

【図1】

【図2】

【図3】

【図4】

【図5】