IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アドバンスト テクノロジー アンド コミュニケーション カンパニー リミテッドの特許一覧

特表2024-508838コイル位置案内用ナビゲーション装置を含む脳刺激装置及び方法
<>
  • 特表-コイル位置案内用ナビゲーション装置を含む脳刺激装置及び方法 図1
  • 特表-コイル位置案内用ナビゲーション装置を含む脳刺激装置及び方法 図2
  • 特表-コイル位置案内用ナビゲーション装置を含む脳刺激装置及び方法 図3
  • 特表-コイル位置案内用ナビゲーション装置を含む脳刺激装置及び方法 図4
  • 特表-コイル位置案内用ナビゲーション装置を含む脳刺激装置及び方法 図5
  • 特表-コイル位置案内用ナビゲーション装置を含む脳刺激装置及び方法 図6
  • 特表-コイル位置案内用ナビゲーション装置を含む脳刺激装置及び方法 図7
  • 特表-コイル位置案内用ナビゲーション装置を含む脳刺激装置及び方法 図8
  • 特表-コイル位置案内用ナビゲーション装置を含む脳刺激装置及び方法 図9
  • 特表-コイル位置案内用ナビゲーション装置を含む脳刺激装置及び方法 図10
  • 特表-コイル位置案内用ナビゲーション装置を含む脳刺激装置及び方法 図11
  • 特表-コイル位置案内用ナビゲーション装置を含む脳刺激装置及び方法 図12
  • 特表-コイル位置案内用ナビゲーション装置を含む脳刺激装置及び方法 図13
  • 特表-コイル位置案内用ナビゲーション装置を含む脳刺激装置及び方法 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-28
(54)【発明の名称】コイル位置案内用ナビゲーション装置を含む脳刺激装置及び方法
(51)【国際特許分類】
   A61N 2/04 20060101AFI20240220BHJP
   A61B 34/20 20160101ALI20240220BHJP
   A61N 1/36 20060101ALI20240220BHJP
【FI】
A61N2/04
A61B34/20
A61N1/36
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023552125
(86)(22)【出願日】2022-02-17
(85)【翻訳文提出日】2023-10-20
(86)【国際出願番号】 KR2022002353
(87)【国際公開番号】W WO2022182060
(87)【国際公開日】2022-09-01
(31)【優先権主張番号】10-2021-0026670
(32)【優先日】2021-02-26
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
(71)【出願人】
【識別番号】523245377
【氏名又は名称】アドバンスト テクノロジー アンド コミュニケーション カンパニー リミテッド
(74)【代理人】
【識別番号】100102532
【弁理士】
【氏名又は名称】好宮 幹夫
(74)【代理人】
【識別番号】100194881
【弁理士】
【氏名又は名称】小林 俊弘
(74)【代理人】
【識別番号】100215142
【弁理士】
【氏名又は名称】大塚 徹
(72)【発明者】
【氏名】イ ジョンウォン
(72)【発明者】
【氏名】ナ ギヨン
【テーマコード(参考)】
4C053
4C106
【Fターム(参考)】
4C053JJ03
4C053JJ04
4C053JJ21
4C106AA06
4C106BB21
4C106CC03
4C106DD20
(57)【要約】
本発明は、コイル位置案内用ナビゲーション装置、これを含む脳刺激装置及びバイオナビゲーションロボットシステムに関するものであり、本発明の一実施例によるコイル位置案内用ナビゲーション装置は、ユーザを撮影して3Dカメライメージを獲得する3Dカメラ部;上記カメライメージを脳領域情報を含む3Dメディカルイメージにマッピングするか、または上記3Dメディカルイメージを上記カメライメージにマッピングしてマッピングされたイメージを得て、上記マッピングされたイメージから刺激する脳領域の位置データを算出する位置データ算出部;を含むことができる。
【特許請求の範囲】
【請求項1】
ナビゲーション装置として、
ユーザを撮影して3Dカメライメージを獲得する3Dカメラ部;
前記カメライメージを脳領域情報を含む3Dメディカルイメージにマッピングするか、前記3Dメディカルイメージを前記カメライメージにマッピングしてマッピングされたイメージを得て、前記マッピングされたイメージから刺激する脳領域の位置データとしてリアルタイム3D座標を算出する位置データ算出部;を含み、
前記位置データ算出部は、前記メディカルイメージの脳領域からモータコーテックス(Motor Cortex)及び刺激する脳領域位置を検出するメディカルイメージ分析モジュールを含み、前記マッピングされたイメージから前記モータコーテックス及び刺激する脳領域位置に対応するリアルタイム3D座標を算出し、算出された前記モータコーテックスの座標で測定された運動閾値に応じて決定された磁場強度で磁気刺激を行うことができるように磁場発生装置に3D座標を提供する、コイル位置案内用ナビゲーション装置を含む脳刺激装置。
【請求項2】
前記位置データ算出部は、前記マッピングされたイメージを基に前記カメライメージまたは前記メディカルイメージに予め設定されたゼロ点を補正し、補正されたゼロ点に基づいて前記マッピングされたイメージにリアルタイム3D座標を生成する、請求項1に記載のコイル位置案内用ナビゲーション装置を含む脳刺激装置。
【請求項3】
前記位置データ算出部は、
前記カメライメージまたは前記メディカルイメージの解像度に応じてイメージを分割し、前記分割されたイメージ別に予め設定された顔突出部または溝部の位置を検出し、
前記顔突出部または溝部位置の平均値を最終顔突出部または溝部位置に決定し、前記最終顔突出部または溝部を考慮して前記カメライメージまたは前記メディカルイメージに対するメッシュデータを生成する、請求項1に記載のコイル位置案内用ナビゲーション装置を含む脳刺激装置。
【請求項4】
前記位置データ算出部は、サーバのデータを用いて人工知能を介して学習した人工知能モデルを含み、
前記位置データ算出部は、ユーザによって異なる前記カメライメージにおける位置情報ポイント、ユーザによって異なる前記メディカルイメージにおけるマッピングポイント、及び前記位置情報ポイントと前記マッピングポイントのマッチングポイントの少なくとも一つのデータをユーザ情報とマッチングして前記サーバに保存するか、または前記位置データ算出部の学習結果を前記サーバに保存する、請求項1に記載のコイル位置案内用ナビゲーション装置を含む脳刺激装置。
【請求項5】
前記サーバに保存されたデータを受信して保存するクラウドサーバをさらに含む、請求項4に記載のコイル位置案内用ナビゲーション装置を含む脳刺激装置。
【請求項6】
前記位置データ算出部は、
前記人工知能モデルを用いて、前記カメライメージにおける位置情報ポイント、前記メディカルイメージにおけるマッピングポイント、及び前記位置情報ポイントと前記マッピングポイントのマッチングポイントの少なくとも一つを抽出する、請求項4に記載のコイル位置案内用ナビゲーション装置を含む脳刺激装置。
【請求項7】
磁場を発生させてユーザの脳領域を刺激するコイル;前記コイルが連結されて前記コイルの位置が動くように駆動されるロボットアーム;磁場関連パラメータを調節して前記コイルの磁場出力を制御する磁場調節モジュール;及び前記磁場調節モジュールを用いてユーザの運動閾値を測定する運動閾値測定モジュール;を含む磁場発生装置;をさらに含む、請求項1に記載のコイル位置案内用ナビゲーション装置を含む脳刺激装置。
【請求項8】
前記位置データ算出部が算出した位置データを受信し、前記位置データに応じて前記ロボットアームのモータの移動方向または回転軸を制御するRC制御部を含む、請求項7に記載のコイル位置案内用ナビゲーション装置を含む脳刺激装置。
【請求項9】
前記RC制御部は、前記ロボットアームのゼロ点を前記マッピングされたイメージのゼロ点にマッピングし、前記ロボットアームを5軸以上駆動させ、
前記ロボットアームを移動させる前に、マッピングされたゼロ点に前記ロボットアームを位置させる、請求項8に記載のコイル位置案内用ナビゲーション装置を含む脳刺激装置。
【請求項10】
前記磁場発生装置と連動して前記磁場発生装置による脳刺激後に、前記磁場発生装置が刺激した脳領域が活性化されるように前記脳領域と対応する予め設定された問題を出題して認知訓練を行う認知訓練装置を含み、または、
前記磁場発生装置及び前記認知訓練装置と通信連結され、前記磁場発生装置と前記認知訓練装置を同時にまたは交互に駆動させる統合オペレータをさらに含む、請求項7に記載のコイル位置案内用ナビゲーション装置を含む脳刺激装置。
【請求項11】
脳領域のモータコーテックス位置と対応する頭上部位置に前記コイルを位置させる運動閾値制御モジュールをさらに含み、
前記運動閾値制御モジュールは、
運動閾値が測定されない場合、決定された前記モータコーテックス位置と対応する頭上部位置を中心に予め設定された範囲内で前記ロボットアームが円を描くようにRC制御部を駆動させる、請求項7に記載のコイル位置案内用ナビゲーション装置を含む脳刺激装置。
【請求項12】
磁場を発生させてユーザの脳領域を刺激する複数のコイル;前記複数のコイルがユーザが頭に着用するヘルメット型の固定部に密集して配置されたヘルメット型磁気刺激部;磁場関連パラメータを調節して前記コイルの磁場出力を制御する磁場調節モジュール;及び前記磁場調節モジュールを用いてユーザの運動閾値を測定する運動閾値測定モジュール;を含む磁場発生装置;をさらに含む、請求項1に記載のコイル位置案内用ナビゲーション装置を含む脳刺激装置。
【請求項13】
前記ナビゲーション装置は、前記位置データ算出部が算出した位置データに応じて複数のコイルの少なくとも一つを選定し、選定されたコイルの識別標識を前記磁場発生装置に伝達するマルチコイル制御部をさらに含む、請求項12に記載のコイル位置案内用ナビゲーション装置を含む脳刺激装置。
【請求項14】
前記マルチコイル制御部は、
各コイルに対して連結されたスイッチのスイッチングを制御して、各コイルのオンまたはオフを決定する、請求項13に記載のコイル位置案内用ナビゲーション装置を含む脳刺激装置。
【請求項15】
前記コイルは8字コイル形態で連結されるか、各コイルがコイル間に重なるように連結された、請求項13に記載のコイル位置案内用ナビゲーション装置を含む脳刺激装置。
【請求項16】
前記ヘルメット型磁気刺激部は、固定部の下端に水平に配置された補正バー(Calibration bar)を含み、
前記ナビゲーション装置は、
前記補正バーの傾いた角度またはカメライメージの位置情報ポイントまでの距離を前記3Dカメラ部を用いて獲得し、前記補正バーの角度または距離を計算した補正データを考慮して前記位置情報ポイントを補正し、補正された位置情報ポイントに基づいて刺激する脳領域に対応するように位置した複数のコイルの少なくとも一つの識別標識を前記磁場発生装置に伝達する、請求項12に記載のコイル位置案内用ナビゲーション装置を含む脳刺激装置。
【請求項17】
前記ナビゲーション装置は、
前記ヘルメット型磁気刺激部に連結されたジャイロセンサまたは加速度センサの少なくとも一つを用いて、前記ヘルメット型磁気刺激部の傾き発生を感知し、
前記ヘルメット型磁気刺激部の傾き角度を計算した補正データを考慮して、前記カメライメージの位置情報ポイントを補正し、補正された位置情報ポイントに基づいて刺激する脳領域に対応するように位置した複数のコイルの少なくとも一つの識別標識を前記磁場発生装置に伝達する、請求項12に記載のコイル位置案内用ナビゲーション装置を含む脳刺激装置。
【請求項18】
前記ヘルメット型磁気刺激部に配置されたコイルの少なくとも一つにモータが連結され、
前記マルチコイル制御部は、前記モータが連結されたコイルが周辺部のコイルの少なくとも一つと重なるように、前記モータを制御して、前記モータが連結されたコイルの移動有無、移動方向及び移動距離の少なくとも一つを決定する、請求項13に記載のコイル位置案内用ナビゲーション装置を含む脳刺激装置。
【請求項19】
3Dカメラ部によってユーザを撮影して3Dカメライメージを獲得する段階;
前記カメライメージを脳領域情報を含む3Dメディカルイメージにマッピングするか、または前記3Dメディカルイメージを前記カメライメージにマッピングしてマッピングされたイメージを得る段階;及び
前記マッピングされたイメージから刺激する脳領域の位置データとしてリアルタイム3D座標を算出する段階;を含み、
前記刺激する脳領域の位置データとしてリアルタイム3D座標を算出する段階は、
前記メディカルイメージの脳領域からモータコーテックス及び刺激する脳領域位置を検出する段階、
前記マッピングされたイメージから前記モータコーテックス及び刺激する脳領域位置のリアルタイム3D座標を算出する段階、及び
算出された前記モータコーテックスの座標で測定された運動閾値に応じて決定された磁場強度で磁気刺激を実行することができるように磁場発生装置に座標を提供する段階をさらに含む、コイル位置を案内するナビゲーション装置の制御方法。
【請求項20】
請求項19に記載の方法をコンピュータ上で実行するためのプログラムを記録した、コンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コイル位置案内用ナビゲーション装置を含む脳刺激装置及び方法に関するものであり、人工知能(AI)を用いてコイル位置を検出し、選定またはガイドするナビゲーション装置に関するものである。
【背景技術】
【0002】
経頭蓋磁気刺激(TMS、Transcranial Magnetic Stimulation)などの磁気刺激方法は、磁気エネルギーを利用して脳内の神経細胞を非侵襲的に刺激する方法であって、頭部近くで強力な磁場で頭蓋骨を通過させて神経細胞を活性化させることで、うつ病などの精神科的治療または認知症などの神経科的治療を行うことができる。
【0003】
従来は、磁気刺激を受ける脳の位置に磁場を発生させるコイルを位置させるために、看護師などの医療関係者が直接コイルを位置させなければならず、この場合、コイルを正確に位置させるのに多くの時間を割く必要があるため、治療の効率を半減させていた。
【0004】
また、コイルを磁気刺激を受ける脳に位置させる前に、MRI映像などの医療映像に医師などの医療関係者が耳、眉間などのランドマーク及び実際に刺激される脳領域を表示しなければならず、上記表示された映像に基づいて実際のユーザの頭上部にコイルを手動で位置させる必要があった。
【0005】
これは治療を受ける前に時間を別途設けなければならず、治療を行う直前にも時間をかけて該当位置を探す必要があるため、二重に時間がかかり、それによって治療時間が減って治療効率が低下する問題点が存在した。
【0006】
したがって、実際に磁気刺激を受ける脳位置と上記脳位置に対応する頭上部の位置をリアルタイムで検出して磁気刺激装置の位置をガイドするナビゲーション装置の必要性が台頭している。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】KR10-2020-0139536 A
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、上述した従来の問題点を解決するためのものであり、実際のユーザの頭上部イメージとメディカルイメージをマッピングさせ、自動的に磁気刺激される脳の位置とこれに対応する頭上部の位置をガイドすることができる、コイル位置案内用ナビゲーション装置を含む脳刺激装置及び方法を提供することである。
【課題を解決するための手段】
【0009】
本発明の一実施例によるコイル位置案内用ナビゲーション装置は、ユーザを撮影して3Dカメライメージを獲得する3Dカメラ部;上記カメライメージを脳領域情報を含む3Dメディカルイメージにマッピングするか、または上記3Dメディカルイメージを上記カメライメージにマッピングして上記マッピングされたイメージから刺激する脳領域の位置データを算出する位置データ算出部;を含むことができる。
【0010】
一方、本発明の他の態様として、コイル位置を案内するナビゲーション装置の制御方法は、ユーザを撮影して3Dカメライメージを獲得する段階;上記カメライメージを脳領域情報を含む3Dメディカルイメージにマッピングするか、または上記3Dメディカルイメージを上記カメライメージにマッピングしてマッピングされたイメージを得る段階;及び上記位置データ算出部によって上記マッピングされたイメージから刺激する脳領域の位置データを算出する段階;を含むことができる。
【0011】
本発明のまた他の態様によると、コイル位置を案内するナビゲーション装置の制御方法をコンピュータ上で実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供することができる。
【発明の効果】
【0012】
本発明の一実施例によると、磁気刺激を行う前に医療関係者が手動で磁気刺激される脳位置とそれに対応する頭上部位置をいちいち検出する必要がなく、位置算出に費やされる時間及び人員を全て治療に充てることができて、ユーザの利便性を向上させ、正確度を高めて、治療効率を向上させることができる。
【0013】
また、自動的に位置算出が可能であることから、病院ではなく家庭でも磁気刺激を行うことができるため、ユーザの利便性を増大させることができる。
【図面の簡単な説明】
【0014】
図1】本発明の一実施例によるナビゲーション装置の制御方法に関するフローチャートを示したものである。
図2】本発明の一実施例によるナビゲーション装置に関するブロック図を簡略に示したものである。
図3】本発明の一実施例によるバイオナビゲーションロボットシステムに関する全体ブロック図を示したものである。
図4】本発明の一実施例による顔認識モジュールの動作に関するフローチャートを示したものである。
図5】本発明の一実施例によるメディカルイメージ分析モジュールの動作に関するフローチャートを示したものである。
図6】本発明の一実施例によるイメージマッピングモジュールの動作に関するフローチャートを示したものである。
図7】本発明の一実施例によるナビゲーション装置がロボットアームの位置をガイドするフローチャートを示したものである。
図8】本発明の一実施例によるMT測定モジュールが運動閾値を測定するフローチャートを示したものである。
図9】本発明の他の一実施例による脳刺激装置に関する全体ブロック図を示したものである。
図10】本発明の他の一実施例による顔認識モジュールの動作に関するフローチャートを示したものである。
図11】本発明の他の一実施例によるナビゲーション装置がヘルメット型磁気刺激部のコイルに関する位置をガイドするフローチャートを示したものである。
図12】本発明のまた他の一実施例によるナビゲーション装置に関するブロック図を簡略に示したものである。
図13】本発明の他の一実施例によるヘルメット型磁気刺激部に配置されたコイルの配置図を簡略に示したものである。
図14】本発明の他の一実施例によるヘルメット型磁気刺激部におけるコイルの構造を示したものである。
【発明を実施するための形態】
【0015】
以下、添付の図面を参照して、本発明の実施形態を説明する。しかし、本発明の実施形態は、いくつかの他の形態に変形することができ、本発明の範囲が以下説明する実施形態に限定されるものではない。図面における要素の形状及び大きさなどはより明確な説明のために拡大縮小表示(又は強調表示や簡略化表示)がされることがあり、図面上の同一の符号で示される要素は同一の要素である。
【0016】
以下、磁気刺激を受ける者、又は磁気刺激を受けるように磁気刺激システムを制御する者をユーザと定義する。認知症患者や認知障害患者などは、ユーザの一実施例であり、ユーザは患者に制限されない。また、ユーザとは、磁気刺激を受けるユーザと磁気刺激を受けるように装置を使用するユーザを含み、以下におけるユーザは主に磁気刺激を受けるユーザを意味する。
【0017】
図1は、本発明の一実施例によるナビゲーション装置が位置ガイドを行う制御方法を簡略に示したフローチャートである。
【0018】
図1に示したように、上記ナビゲーション装置は、リアルタイムで顔認識によって獲得した3Dカメライメージと既に保存された3Dメディカルイメージを獲得する段階(S1)、上記カメライメージを用いてメッシュデータを生成し、位置情報ポイントを表示する段階(S2)、上記メディカルイメージに対してAIを用いて位置情報ポイントと治療位置を表示し、上記メディカルイメージの位置情報ポイントと上記カメライメージの位置情報ポイントをマッピングする段階(S3)、マッピングされたイメージにおいて上記治療位置に対応する頭上部位置にコイル160を移動させる段階S4を行うことができる。
【0019】
特に、S4でコイル160を移動させる段階は、治療位置の位置データをユーザに提供すると、上記位置データにコイル160を直接移動するか、またはコイル160に連結されたロボットアーム161によって自動的に上記位置データにコイル160が移動されるか、またはヘルメット型磁気刺激部162を介して上記位置データに配置されたコイル160を駆動させることができる。
【0020】
したがって、本発明の一実施例によるコイル160の位置を案内するナビゲーション装置の制御方法は、3Dカメラ部220によってユーザを撮影して3Dカメライメージを獲得する段階、位置データ算出部231によって上記カメライメージを脳領域情報を含む3Dメディカルイメージにマッピングするか、または上記3Dメディカルイメージを上記カメライメージにマッピングしてマッピングされたイメージを得る段階、及び上記位置データ算出部231によって上記マッピングされたイメージから刺激する脳領域の位置データを算出する段階を含むことができる。
【0021】
具体的には、本発明の一実施例による上記マッピングされたイメージを得る段階は、上記カメライメージを用いて刺激する脳領域の位置データの基準となる位置情報ポイントまたは頭上部を検出する段階、上記メディカルイメージの顔領域からマッピングポイントまたは頭上部を検出する段階、及び刺激する脳領域位置と上記刺激する脳領域に対応する頭上部位置を獲得するように上記位置情報ポイント及び上記マッピングポイントをマッピングするか、または各イメージの頭上部をマッピングして上記カメライメージと上記メディカルイメージをマッピングし、マッピングされたイメージを獲得する段階を含むことができる。
【0022】
鼻または眉間、耳たぶなどの位置情報ポイントとユーザごとに異なる頭上部の輪郭線を抽出して、特定ポイントと特定形状を考慮してイメージマッピングを行うことができる。
【0023】
さらに、本発明の一実施例による上記刺激する脳領域の位置データを算出する段階は、上記マッピングされたイメージを基に上記カメライメージまたは上記メディカルイメージに予め設定されたゼロ点を補正し、補正されたゼロ点に基づいて上記マッピングされたイメージにリアルタイム3D座標を生成する段階、または上記メディカルイメージの脳領域からモータコーテックスまたは刺激する脳領域の位置を検出する段階及び上記マッピングされたイメージから上記モータコーテックスまたは刺激する脳領域位置に関するリアルタイム3D座標を算出する段階をさらに含むことができる。
【0024】
これは、刺激する脳領域の座標を含む位置データだけでなく、ユーザに最適な磁場強度を算出するためにモータコーテックスの位置データを算出し、磁場刺激を行って運動閾値(MT)に関する情報を確保するためである。
【0025】
以下では、上記S1~S3段階を行うナビゲーション装置について説明する。
【0026】
図2は、本発明の一実施例によるナビゲーション装置に関するブロック図を簡略に示したものであり、上述した制御を行うためのナビゲーション装置は、以下の構成を含むことができる。
【0027】
本発明の一実施例によると、ユーザを撮影して3Dカメライメージを獲得する3Dカメラ部220、上記カメライメージを脳領域情報を含む3Dメディカルイメージにマッピングするか、または上記3Dメディカルイメージを上記カメライメージにマッピングしてマッピングされたイメージを得て、上記マッピングされたイメージから刺激する脳領域の位置データを算出する位置データ算出部231を含むことができる。好ましくは、ユーザの動きに応じて位置が変わる3Dカメライメージに固定されたイメージである3Dメディカルイメージをマッピングすることができる。
【0028】
3Dカメラ部220はユーザを撮影し、好ましくは刺激する脳領域が含まれた頭上部を撮影することができる。頭上部が含まれた顔全体を撮影することができ、または脳領域に対応する頭の上部面の一部分のみを撮影することもできる。
【0029】
このとき、頭上部がよく認識できるように頭上部を撮影するユーザは、髪を密着させるバンドまたは密着帽子などを着用することができ、上記密着バンドまたは密着帽子には、3Dカメラ部220が認識しやすいように別途の認識用識別標識が結合されることができる。上記認識用識別標識は、3Dカメラ部220が容易に認識できる材質または受容体を用いて製作されることができ、上記認識用識別標識を介して頭上部または顔の位置を3Dカメライメージ上で正確に確認することができる。
【0030】
さらに、図2に示したように、本発明の一実施例によるコイル160の位置案内用ナビゲーション装置は、ユーザの刺激される脳領域と対応する頭上部をリアルタイムで撮影して3Dカメライメージを獲得する3Dカメラ部220、ユーザの3Dメディカルイメージを保存する3Dメディカルイメージ保存部210、及び上記カメライメージと上記メディカルイメージを受信してイメージ処理後にマッピングし、マッピングされたイメージから刺激される脳領域の位置データを算出する位置データ算出部231を含むことができる。
【0031】
一実施例として、上記3Dメディカルイメージ保存部210は省略されることができ、ユーザが3Dメディカルイメージが保存された保存媒体または記録媒体を提供したり、3Dメディカルイメージが保存された別途のサーバからメディカルイメージが伝達されることができる。
【0032】
具体的には、3Dカメラ部220を用いてリアルタイムでユーザ、好ましくはユーザの頭上部を撮影し、椅子10に座ったユーザの現在の頭上部及び上記ユーザの動きに応じた頭上部の位置変化を撮影することができる。このとき、顔を含む頭上部全体を撮影することもでき、刺激される脳領域が存在する頭上部の一部のみを撮影することもできる。
【0033】
また、3Dカメラ部220は、深さ測定が可能なカメラであり、n個のチャンネルを有することができ、複数個のn個のチャンネルを介してユーザの頭上部を立体的に撮影することができる。
【0034】
一方、3Dメディカルイメージ保存部210は、ユーザの3Dメディカルイメージを保存し、上記メディカルイメージは、医療映像の国際標準映像(DICOM、Digital Imaging and Communications in Medicine)を意味し、例えば、MRI、PET、CT映像などを含むことができる。
【0035】
本発明の一実施例による上記3Dメディカルイメージ保存部210に保存された3Dメディカルイメージは、位置情報ポイントが既に表示されたイメージであることができ、または位置情報ポイントが表示されていない3Dメディカルイメージであることができ、これを位置データ算出部231に入力して位置情報ポイントを自動的に検出することもできる。
【0036】
位置データ算出部231は、入力された3Dメディカルイメージをメッシュデータに変換して上記メッシュデータを精密分割し、モータコーテックスまたは刺激される脳領域を検出することができる。精密に分割されたメッシュデータを獲得して、上記メッシュデータから位置情報ポイントを自動的に検出することができる。
【0037】
3Dメディカルイメージ保存部210は、ナビゲーション装置に含まれることもでき、別途に他のサーバとして存在してナビゲーション装置に3Dメディカルイメージを伝達することもできる。
【0038】
また、図2に示したように、本発明の一実施例による上記位置データ算出部231は、上記カメライメージを用いて刺激する脳領域の位置データの基準となる位置情報ポイントまたは頭上部を検出する顔認識モジュール2311及び上記メディカルイメージの顔領域でマッピングポイントまたは頭上部を検出するメディカルイメージ分析モジュール2312、刺激する脳領域位置と上記刺激する脳領域に対応する頭上部位置を獲得するように上記位置情報ポイント及び上記マッピングポイントをマッピングするか、または各イメージの頭上部をマッピングして上記カメライメージと上記メディカルイメージをマッピングし、マッピングされたイメージを獲得するイメージマッピングモジュール2313を含むことができる。
【0039】
位置データ算出部231は、図2に示したようにナビゲーション装置の制御部230に含まれることができ、別途の機器に含まれることもできる。
【0040】
具体的には、顔認識モジュール2311は、3Dカメラ部220から伝達されたリアルタイムカメライメージまたは上記3Dメディカルイメージ保存部210に保存された3Dメディカルイメージをイメージ処理した後にマルチプルメッシュデータを生成することができる。
【0041】
顔認識アルゴリズムを適用して、3Dカメラ部220から伝達されたカメライメージから顔の特徴部を検出し、上記顔特徴部に合わせてマルチプルメッシュデータを生成して、ユーザの顔が移動しても特徴部が一緒に移動するため、ユーザの動きに合わせてマルチプルメッシュデータが生成されることができる。
【0042】
ここで、顔特徴部は、顔突出部または溝部を意味し、上記顔突出部または溝部は、ユーザの顔で立体的な構造に応じて3Dカメラで撮影する場合に深さを有する部位を含むことができる。すなわち、上記顔突出部または溝部は、ユーザの顔が移動しても上記顔突出部または溝部の位置を決定すると、ユーザの全体的な顔位置が一緒に決定される主要構成を意味し、例えば、目、鼻、眉骨などが基準となり得る。
【0043】
そして、上記顔認識モジュール2311は、メッシュデータに基づいて位置情報ポイントを検出することができる。メッシュデータを介してメッシュスケールを調整して精密にイメージ分析が可能であり、上記メッシュデータに基づいてさらに容易に位置情報ポイントを検出することができる。このとき、位置情報ポイントは、刺激される脳領域の位置を検出しやすいように予め設定された基準点として、例えば、頭上部、鼻、眉間、耳などを意味することができ、予め設定された部位の位置情報ポイントは各部位の3D座標を含むことができる。
【0044】
また、上記位置情報ポイントには予め設定されたゼロ点を含むことができ、顔認識モジュール2311は上記メッシュデータからゼロ点を検出することができる。
【0045】
図2に示したメディカルイメージ分析モジュール2312は、3Dメディカルイメージ保存部210から保存された3Dメディカルイメージを受信して、上記メディカルイメージを分析して頭上部、鼻、眉間、耳などのマッピングポイントを検出することができる。
【0046】
また、メディカルイメージ分析モジュール2312も顔認識モジュール2311と同様にメディカルイメージを用いてメッシュデータを生成することができる。
【0047】
したがって、上記位置データ算出部231は、具体的には、顔認識モジュール2311とメディカルイメージ分析モジュール2312は、位置情報ポイントが検出されたカメライメージまたはマッピングポイントが検出されたメディカルイメージを用いてメッシュデータを生成するか、または上記カメライメージまたはメディカルイメージでメッシュデータを生成し、上記メッシュデータの位置情報ポイントまたはマッピングポイントを検出することができる。
【0048】
すなわち、カメライメージとメディカルイメージをより精密に分けて位置データを算出するようにして、位置データの正確性及び精密度を高めることができる。
【0049】
メッシュデータ生成は、位置情報ポイントまたはマッピングポイントを表示してから行うことができ、またはメッシュデータ生成後に位置情報ポイントまたはマッピングポイントを表示することができるが、好ましくは、ポイントの正確性を高めるためにメッシュデータ生成後に位置情報ポイントまたはマッピングポイントを表示することができる。
【0050】
さらに、メディカルイメージ分析モジュール2312は、3Dメディカルイメージから刺激される脳領域の位置データ及びモータコーテックス(Motor Cortex)の位置データを検出することができる。
【0051】
図2に示したイメージマッピングモジュール2312は、顔認識モジュール2311から位置情報ポイントが表示されたカメライメージを受信して、メディカルイメージ分析モジュール2312から位置情報ポイント、刺激される脳領域の位置データ及びモータコーテックスの位置データの少なくとも一つが表示されたメディカルイメージを受信することができる。
【0052】
伝達されたカメライメージの位置情報ポイントとメディカルイメージのマッピングポイントをマッピングして、カメライメージとメディカルイメージを一つのイメージに統合させることができ、上記統合されたイメージにおいてリアルタイム3D座標を生成して刺激される脳領域の位置データと上記脳領域に対応する頭上部での位置データを獲得することができる。
【0053】
すなわち、位置情報ポイントに基づいてカメライメージに上記メディカルイメージをマッピングさせ、マッピングされたイメージを基にゼロ点座標及び上記ゼロ点座標に基づいて刺激する脳領域が位置した3D座標を生成して磁場発生装置100に提供することができる。
【0054】
このとき、位置情報ポイントとマッピングポイントをマッチングさせた時各イメージのゼロ点ポイントがずれることがあり、本発明の一実施例による上記位置データ算出部231は、上記マッピングされたイメージを基に上記カメライメージまたは上記メディカルイメージに予め設定されたゼロ点を補正し、補正されたゼロ点に基づいて上記マッピングされたイメージにリアルタイム3D座標を生成することができる。位置情報ポイントにマッピングポイントをマッチングする場合、メディカルイメージのゼロ点を上記カメライメージのゼロ点に合わせて補正することで、位置データをマッピングされたイメージに合わせて修正することができる。
【0055】
さらに、上記イメージマッピングモジュール2312は、モータコーテックスの位置データと上記モータコーテックスに対応する頭上部での位置データを獲得して運動閾値制御モジュール232に伝達することができ、運動閾値制御モジュール232は受信した位置データを介して運動閾値を測定するか、または受信したモータコーテックスの位置データを磁場発生装置100に送信して、磁場発生装置100の運動閾値測定モジュール1102がユーザの運動閾値(Motor Threshold、MT)を測定するようにすることができる。
【0056】
すなわち、本発明の一実施例によると、上記イメージマッピングモジュール2313は、上記メディカルイメージの脳領域からモータコーテックスまたは刺激する脳領域位置を検出するメディカルイメージ分析モジュール2312を含み、マッピングされたイメージを基にゼロ点座標を基準とした3D座標を生成し、上記マッピングされたイメージから上記モータコーテックスまたは磁場発生装置が刺激する脳領域位置の3D座標位置を算出または提供することができる。
【0057】
一方、本発明の一実施例によると、上記位置データ算出部231は、サーバのデータを用いて人工知能を介して学習した人工知能モデルを含むことができる。
【0058】
具体的には、上記位置データ算出部231は、サーバのデータを用いてディープラーニングアルゴリズムによって学習したディープラーニングモデルを含み、上記位置データ算出部231は、ユーザによって異なる上記カメライメージにおける位置情報ポイント、ユーザによって異なる上記メディカルイメージにおけるマッピングポイント、及び上記位置情報ポイントと上記マッピングポイントのマッチングポイントの少なくとも一つのデータをユーザ情報とマッチングして上記サーバに保存するか、または上記位置データ算出部の学習結果を上記サーバに保存することができる。上記カメライメージまたはマッピングポイントはメッシュデータであることができる。
【0059】
上記人工知能モデルは、上記サーバに保存された検出された上記位置情報ポイントまたは上記マッピングポイントを学習して、上記カメライメージにおける位置情報ポイント及び上記メディカルイメージにおけるマッピングポイント位置探索をより正確かつ短時間内に行うことができ、上記位置情報ポイントと上記マッピングポイントのマッチングポイントを学習して、上記カメライメージと上記メディカルイメージを統合させる際に、上記マッチングポイントをより正確かつ迅速に抽出することができる。
【0060】
したがって、本発明の一実施例によると、上記人工知能モデルを用いて、上記カメライメージにおける位置情報ポイント、上記メディカルイメージにおけるマッピングポイント及び上記位置情報ポイントと上記マッピングポイントのマッチングポイントの少なくとも一つを検出することができる。
【0061】
ユーザによって頭上部や脳の大きさと形態が異なり、これによって顔認識モジュール2311でメッシュデータを生成する度に位置情報ポイントの位置が異なり、メディカルイメージ分析モジュール2312でメディカルイメージのマッピングポイントもユーザによって異なる。
【0062】
よって、磁場発生装置100による磁場刺激を行う前に各イメージから位置情報ポイントまたはマッピングポイントを検出する過程を必須に経るようになり、これによって刺激を行うための時間が短くなって刺激効率が低下するようになり、ユーザの不便がもたらす。
【0063】
したがって、カメライメージと位置情報ポイントをマッチングして保存し、さらにメディカルイメージと上記マッピングポイントをマッチングして保存し、類似した類型のカメライメージやメディカルイメージを有するユーザは、各イメージの位置情報ポイントまたはマッピングポイント検出をより迅速かつ正確に行うことができる。
【0064】
例えば、従来に医師などの医療関係者が刺激される脳治療領域及び位置情報ポイントを表示したMRI映像でディープラーニングモデルを学習させ、出力に応じて内部重みを修正して位置情報ポイントを検出正確性及び速度を高めることができる。これにより、ユーザカスタマイズされた探索が可能であり、磁気刺激効率も最大化することができる。
【0065】
上記のように、ディープラーニングモデルが従来蓄積されたデータを学習データとして活用できるように、サーバに従来のデータをデータベース化して保存することができる。
【0066】
さらに、上記サーバに保存されたデータを受信して保存するクラウドサーバをさらに含むことができる。
【0067】
遠隔診療を行うか、または家庭用にユーザがナビゲーション装置を用いる場合、行われた情報を外部に位置した医療関係者または管理者が確認し、診断することができるようにクラウドサーバに上記データを保存することができる。
【0068】
図3は、本発明の一実施例による脳刺激装置に関する全体ブロック図を示したものである。
【0069】
図3に示したように、脳刺激装置は、磁場発生装置100、ナビゲーション装置200、統合オペレータ300、及び認知訓練装置400を含むことができる。
【0070】
あるいは、脳刺激装置のうち、磁場発生装置100は脳を磁場刺激で刺激する一実施例に過ぎず、本発明の他の一実施例による脳刺激装置は脳神経刺激装置(Brain neurological stimulation)であることができる。
【0071】
上記脳神経刺激装置は、TMS(Transcranial Magnetic Stimulation)装置、またはTDCS(Transcranial Direct Current Stimulation)などの非侵襲的な磁場刺激装置であることができ、または超音波装置などの脳神経刺激装置または脳に直接的な物理的刺激を行うための侵襲的な刺激装置であることができる。
【0072】
以下では、本発明の一実施例によって脳神経刺激装置のうち、磁場刺激装置に関する実施例を中心に説明し、これは例示的な実施例であるのみであって、これによって権利範囲が制限されない。
【0073】
まず、磁場発生装置100は、ユーザが座る椅子10を基準にユーザの脳が位置した側にはコイル160を配置し、上記コイル160と連動することができる。
【0074】
本発明の一実施例による磁場発生装置100は、ユーザの脳に磁場刺激を行うことができるように磁場出力を決定してコイル160に提供する装置である。
【0075】
本発明の一実施例による磁場発生装置100は、運動閾値(MT、Motor Threshold)を含むユーザデータ及び刺激される脳領域を考慮して対応する磁場を決定する制御部110と、上記制御部110及び磁場を発生させるコイル160と連結され、上記コイル160が決定された磁場を発生させるように電力を供給する電力モジュール120を含むことができる。
【0076】
さらに、本発明の一実施例によると、出力された磁場を磁場発生装置100を制御するユーザに表示する出力モジュール152と、上記ユーザが手動で上記磁場出力を調節する入力モジュール151を含むユーザインタフェース150と、統合オペレータ300及びブレーンナビゲーション200と通信を行う通信モジュール130と、上記コイル160の温度をモニタリングして閾値を超過すると冷却を行う冷却モジュール140を含むことができる。
【0077】
一方、本発明の一実施例によると、認知訓練装置400は、脳神経刺激装置と連動して認知訓練と脳神経刺激を同時にまたは交互に行うことができる。
【0078】
一実施例として、上記磁場発生装置100と連動して上記磁場発生装置100による脳刺激後に、上記磁場発生装置100が刺激した脳領域が活性化するように、上記脳領域に対応する予め設定された問題を出題して認知訓練を行う認知訓練装置400をさらに含むことができ、上記磁場発生装置100及び上記認知訓練装置400と通信連結され、上記磁場発生装置100と上記認知訓練装置400を同時にまたは交互に駆動させる統合オペレータ300をさらに含むことができる。
【0079】
本発明の一実施例による認知訓練装置400は、上記磁場発生装置100と交互に駆動させてユーザの脳刺激を行うことができ、磁場発生装置100で刺激される脳部位を認知訓練装置400がさらに活性化させるか、または磁場発生装置100であまり刺激されない脳部位を認知訓練装置400が補完的に活性化させて脳刺激効率、具体的には例えば退行性脳疾患の治療効率を向上させることができる。
【0080】
本発明の一実施例による認知訓練装置400は、ユーザの個人情報、またはユーザが行った認知訓練問題、または認知訓練点数などのユーザ治療データを保存する第1メモリ402を含み、認知訓練問題を出題し、ユーザがそれに対する答えをフィードバックすることができるユーザインタフェース401を含むことができる。
【0081】
上記ユーザインタフェース401は、デスクトップコンピュータ、ノートブック、PDA、タブレットPCなどの多様なユーザ機器を含むことができ、ユーザの利便性を高めるために移動可能なPCであることができる。
【0082】
また、本発明の一実施例による統合オペレータ300は、上記認知訓練装置400または磁場発生装置100と連動し、認知訓練装置400と磁場発生装置100を同時にまたは交互に駆動させる場合、その駆動時間、時間間隔、周波数及び強度などを制御する装置である。
【0083】
上記第1メモリ402のユーザデータの紛失に備えて、ユーザの治療履歴や個人情報などを保存した第2メモリ302を含むことができ、医師や看護師などの磁気刺激システムを制御することができるユーザが上記駆動時間、時間間隔、周波数及び強度などを手動制御するか、確認することができるように設定されたユーザインタフェース301を含むことができる。
【0084】
上記第2メモリ302は、内蔵型保存装置や外付け型保存装置だけでなく、クラウドサーバ形態のDBで実現して、ユーザの治療履歴や入力されたユーザの情報が自動的にクラウドサーバに連動して保存されるようにすることができる。特に、遠隔診療時にユーザデータを統合して保存してデータ管理を容易にし、ユーザの利便性を高めることができる。
【0085】
上記ユーザインタフェース301は、デスクトップコンピュータ、ノートブック、PDA、タブレットPCなどの様々なユーザ機器を含むことができ、ユーザの利便性を高めるために移動可能なPCであることができる。
【0086】
また、本発明の一実施例によるナビゲーション装置200は、磁場発生装置100と連動して上記磁場発生装置100がユーザの刺激される脳領域位置に正確に配置されるように刺激される脳領域位置を検出し、上記磁場発生装置100の位置をガイドすることができるように、上記脳領域位置情報を磁場発生装置100に提供する装置である。
【0087】
本発明の一実施例によるナビゲーション装置200は、3Dメディカルイメージが保存された3Dメディカルイメージ保存部210、リアルタイムで椅子10に座ったユーザを撮影してカメライメージを獲得する3Dカメラ部220、上記3Dメディカルイメージ保存部210と3Dカメラ部220から獲得したイメージをマッピングしてコイル160を位置させる位置データを算出する位置データ算出部231を含む制御部230を含むことができる。
【0088】
さらに、磁場発生装置100と連動するように通信を行う通信モジュール260と、上述した構成に電力を供給する電源モジュール270をさらに含むことができる。
【0089】
また、図3に示したように、ロボットアーム161にコイル160が連結された場合、ロボットアーム161の5軸駆動を制御するRC制御部240と、モータ駆動によって熱が発生する場合、発生した熱が安全基準値を超えないようにロボットアーム161のモータ温度をモニタリングする温度モニタリング部250をさらに含むことができる。
【0090】
すなわち、本発明の他の態様に係る刺激される領域に対応するコイル160の位置を案内するバイオナビゲーションロボットシステムは、磁場を発生させて脳領域を刺激するコイル160、上記コイル160が連結されて上記コイルの位置が移動するように駆動されるロボットアーム161、磁場関連パラメータを調節して上記コイル160の磁場出力を制御する磁場調節モジュール1101及び上記磁場調節モジュールを用いてユーザの運動閾値を測定する運動閾値測定モジュール1102を含む磁場発生装置100及び上記ロボットアーム161を制御して上記コイル160を刺激する脳領域に対応する位置に移動させるナビゲーション装置200を含むことができる。
【0091】
このとき、上記ロボットアーム161に連結されたコイル160は、1つのコイルが連結されることができ、または2つ以上のコイル160を一端または複数の端で連結することができる。刺激する脳領域の大きさまたは治療対象などを考慮して、状況に応じてコイル160を異ならせて連結することができる。
【0092】
また、位置データ算出部231が位置データを算出する前に、ナビゲーション装置200は、ユーザの座高を認識して、ユーザが治療のために着座した椅子10の高さを調節することができる。ロボットアーム161の駆動範囲は限界があるため、駆動できる最適の範囲にユーザの高さを合わせるためである。したがって、ナビゲーション装置200は、ユーザの座高を感知して、ロボットアーム161に設定された駆動範囲内にユーザが位置することができるように、椅子10の高さをモータを用いて調節し、これによってロボットアーム161に対してユーザの頭上部の高さが一定に維持されて、ロボットアーム161の動作を最適化することができる。
【0093】
具体的には、本発明の一実施例によると、上記位置データ算出部231が算出した位置データを受信し、上記位置データに応じて上記ロボットアーム161のモータの移動方向または回転軸を制御するRC制御部240及び上記ロボットアーム161の温度が予め設定された範囲を超過するかを感知する温度モニタリング部250を含むことができる。
【0094】
一実施例として、上記コイル160は、ユーザが手動で刺激される脳領域に対して算出された3D座標位置に移動させることができる。ナビゲーション装置は、手動で上記3D座標に対応する位置を見つけやすいように、レーザスキャナとレーザポインタをさらに含むことができる。レーザスキャナは、刺激される脳領域位置と対応する頭の位置をスキャンし、レーザポインタは、上記位置を表示することができる。
【0095】
あるいは、図3に示したように、本発明の一実施例によると、位置データ算出部231が算出した位置データ値に応じて上記ロボットアーム161を決められた位置に駆動させて、上記コイル160が上記位置データによって決められた位置になるように移動させることができる。位置データは、ゼロ点、位置情報ポイント、刺激する脳領域位置、またはモータコーテックス位置などを含むことができる。
【0096】
本発明の一実施例によると、上記ロボットアーム161は5軸駆動が可能であり、上記5軸はX、Y、Z軸及び各軸がなす面でのティルティングを含むことができる。ロボットアーム161が決められた位置に移動し、ユーザの頭上部に対応するようにティルティングしてコイル160の位置を制御するため、より正確にコイル160の位置を制御することができ、ユーザカスタマイズされた位置制御が可能になる。上記実施例は例示的な実施例であって、4軸または6軸駆動も可能であり、上記実施例に特許請求の範囲は制限されない。但し、好ましくは正確性及び精密度を高めるためにロボットアーム161を5軸以上に駆動させることができる。
【0097】
このとき、RC制御部240は、上記ロボットアーム161のゼロ点を上記マッピングされたイメージのゼロ点にマッピングし、上記ロボットアーム161を移動させる前にマッピングされたゼロ点に上記ロボットアーム161を位置させることができる。
【0098】
一方、他の一実施例によると、ヘルメット型磁気刺激部162を用いてコイル160の位置を制御することができるが、これは後述する。
【0099】
以下、図4~8は、位置データ算出部231の各モジュールが実行するフローチャートを示したものであり、図4~8を参照して位置データ算出部231について詳細に説明する。
【0100】
図4は、顔認識モジュール2311のカメライメージのイメージ処理方法を示したものである。
【0101】
具体的には、図4に示したように、3Dカメラ部220がユーザを撮影し(S41)、撮影されたカメライメージから顔が認識されないと(S42でいいえ)、再び3Dカメラ部220でユーザを撮影し(S41)、顔が認識されると(S42ではい)、カメライメージを分割する(S43)。
【0102】
本発明の一実施例による上記顔認識モジュール2311は、上記3Dカメライメージの解像度に応じてイメージを分割し(S43)、上記分割されたイメージ別に予め設定された顔特徴部の位置を検出した後(S44)、上記顔特徴部の位置の平均データを算出してカメライメージの最終顔特徴部の位置として決定することができる(S45)。
【0103】
例えば、予め設定された顔特徴部は、顔に深さが存在する鼻、目、耳などを含むことができる。分割されたイメージから顔特徴部の位置を検出し、上記検出された顔特徴部の平均値を計算してカメライメージ顔特徴部が決定されると(S45ではい)、上記顔特徴部を用いてカメライメージをマルチプルメッシュ処理し、メッシュデータを生成することができる(S46)。一方、カメライメージの顔特徴部が決定されないと(S45でいいえ)、例えば、イメージが過度に揺れて顔特徴部の位置が大幅にずれた位置データを得る場合、条件を変更して解像度に応じてカメライメージを分割する段階に戻ることができる(S43)。
【0104】
すなわち、本発明の一実施例によると、上記位置データ算出部231は、上記カメライメージまたはメディカルイメージの解像度に応じてイメージを分割し、上記分割されたイメージ別に予め設定された顔突出部または溝部の位置を検出し、上記顔突出部または溝部位置の平均値を最終顔突出部または溝部位置として決定し、上記最終顔突出部または溝部を考慮して上記カメライメージまたはメディカルイメージのメッシュデータを生成することができる。
【0105】
顔特徴部は、ユーザの設定に応じて異なることができるが、本発明の一実施例では、顔突出部または溝部を意味し、顔において突出している眉骨や鼻、または窪んだ目の周りなどを意味することができる。3Dカメラは、深さを感知するため、顔突出部または溝部を検索してユーザの全体的な顔の位置や方向を感知することができる。さらに、生成されたメッシュデータを基に刺激される脳領域の位置検出を補助する位置情報ポイントを検出することができる(S47)。位置情報ポイントは、予め設定された基準点であり、例えば、頭上部の大きさ、鼻、耳、眉間などを含むことができ、刺激される脳領域の位置座標に基準となるゼロ点位置を含むことができる。
【0106】
あるいは、カメライメージで位置情報ポイントを検出してからメッシュデータを生成することもできる。時間の順に拘束されず、同時にまたは段階の前後を変えることができる。
【0107】
生成されたメッシュデータから位置情報ポイントを検出すると(S47ではい)、これに応じてX、Y、Z軸でゼロ点を設定し(S49)、上記ゼロ点に基づいて各位置情報ポイントの位置を抽出することができる(S50)。例えば、生成されたメッシュデータからイメージ上の位置情報ポイントを検出し、それに応じてX、Y、Z軸を有するゼロ点を設定した後、上記ゼロ点を(0,0,0)とし、各位置情報ポイントの(a,b,c)の座標を獲得することができる。
【0108】
もし、生成されたメッシュデータから位置情報ポイントが検出されないと(S47でいいえ)、メッシュスケールを1段階上昇させて(S48)、再びカメライメージに関するマルチプルメッシュ処理及びメッシュデータを生成することができる(S46)。メッシュデータをカメライメージに応じて調節して、精密にメッシュデータを生成することである。
【0109】
上述した過程によって、顔認識モジュール2311は、3Dカメラ部220を介して獲得したカメライメージを用いてメッシュデータを生成し、ゼロ点を含む位置情報ポイントの位置データを獲得することができる。
【0110】
図5は、メディカルイメージ分析モジュール2312のメディカルイメージに関するイメージ処理方法を示したものである。
【0111】
具体的には、図5に示したように、3Dメディカルイメージ保存部210から獲得した3Dメディカルイメージを受信して(S51)、上記3Dメディカルイメージのアキシャル(Axial)を認識し(S52)、冠状(Coronal)を認識することができる(S53)。アキシャル(Axial)は3Dメディカルイメージのうち正面から見たイメージを意味し、冠状(Coronal)は頭上を意味するものであり、上面から見たイメージを意味するものである。
【0112】
したがって、アキシャルを認識し(S52ではい)、冠状を認識して(S53ではい)、一度に顔領域と脳領域のイメージを検出したり、または顔領域と脳領域を分離してイメージ処理を行うことができる。
【0113】
すなわち、メディカルイメージ分析モジュール2312は、顔領域からマッピングポイントまたは頭上部を検出し、脳領域からモータコーテックスまたは刺激する脳領域の位置を検出し、これを1つのイメージに併せて検出することができる。
【0114】
あるいは、顔領域と脳領域をそれぞれ別途検出することができ、この場合、顔領域と脳領域の大きさを考慮してメッシュスケールを異ならせて、メッシュデータを生成することで、より精密なメッシュデータを獲得することができる。
【0115】
本発明の一実施例において、図5に示したように、顔領域と脳領域を別途のイメージ処理する場合、まず獲得した3Dメディカルイメージからユーザの顔領域が認識されると(S54ではい)、上記3Dメディカルイメージの顔イメージのピクセルを増幅させてノイズを改善することができる(S55)。メディカルイメージはその特性上、ノイズが混ざって画質が低下するため、これを改善するためである。
【0116】
一方、アキシャルを意識できないか(S52でいいえ)、冠状を認識できないか(S53でいいえ)、3Dメディカルイメージからユーザの顔領域が認識されないと(S54でいいえ)、3Dメディカルイメージに異常があるものと見て、S51に戻り、再び3Dメディカルイメージを受信する。
【0117】
次に、顔認識モジュール2311のカメライメージに関するイメージ処理と同様に、上記メディカルイメージの顔領域のイメージの顔特徴部を検索し(S56)、検索された上記顔領域のイメージの顔特徴部のうち、3Dメディカルイメージの顔領域のイメージ顔特徴部を決定する(S57ではい)ことができる。このとき、顔特徴部は、上述したように顔突出部または溝部を意味することができる。顔突出部または溝部は、3ポイント以上を検出して決定することができる。
【0118】
もし、3Dメディカルイメージの顔領域のイメージ顔特徴部を決定できないと(S57でいいえ)、イメージ画質が低下するものと見て、S55に戻って再び3Dメディカルイメージの顔領域のイメージピクセルを増幅し、ノイズ除去を行うことができる。
【0119】
したがって、決定された3Dメディカルイメージの顔イメージをマルチプルメッシュ処理し(S58)、これにより獲得したメッシュデータからマッピングポイントを検出すると(S59ではい)、X、Y、Z軸で予め設定された位置にゼロ点を設定し(S61)、上記ゼロ点に基づいて各マッピングポイントの位置を抽出することができる(S62)。例えば、3D座標基準におけるゼロ点(0,0,0)に基づいて、それぞれの鼻、眉間、耳などのマッピングポイントの座標(d,e,f)を獲得して、各マッピングポイントの位置データを獲得することができる。
【0120】
あるいは、上述したように、顔領域イメージから先にマッピングポイントを検出した後、マルチプルメッシュデータを生成することができる。
【0121】
もし、位置情報ポイントが検出されないと(S59でいいえ)、メッシュスケールを1段階上昇させて(S60)、メッシュデータのスケールを調節して再生成することができる。
【0122】
一方、3Dメディカルイメージは、顔の外観、すなわち顔を含む頭上部の位置情報ポイントを検出し、位置データを抽出することができ、さらに、実際に刺激される脳領域に対してもマッピングポイントを検出することができる。
【0123】
すなわち、本発明の一実施例による上記メディカルイメージ分析モジュール2312は、上記3Dメディカルイメージのアキシャルまたは冠状を認識して、上記3Dメディカルイメージのユーザ顔領域またはユーザ脳領域を検出し、上記メディカルイメージ中の顔領域における位置情報ポイントと、脳領域における位置情報ポイント及びモータコーテックス位置を別途検出することができる。
【0124】
3Dメディカルイメージにおいて顔領域と実際に刺激される脳領域のマルチイメージスケールが異なって、一度にイメージ処理を行う場合、換言すると、いずれか一つの領域に基準を合わせてメッシュデータを生成するとき、他の一つの領域はスケールが合わず、画質が低下して正確なマッピングポイントを検出できなくなる。
【0125】
したがって、本発明の一実施例によると、3Dメディカルイメージは、顔領域のイメージと脳領域のイメージを分類してそれぞれ位置情報ポイントを検出することができる。
【0126】
具体的には、図5に示したように、3Dメディカルイメージ保存部210から獲得した3Dメディカルイメージを受信して(S51)、上記3dメディカルイメージのアキシャル(Axial)を認識(S52)し、冠状(Coronal)を認識することができる(S53)。
【0127】
したがって、アキシャルを認識し(S52ではい)、冠状を認識して(S53ではい)、獲得した3Dメディカルイメージから脳領域が認識されると(S63ではい)、上記3Dメディカルイメージの脳領域のイメージのピクセルを増幅させてノイズを改善することができる(S64)。メディカルイメージはその特性上、ノイズが混ざって画質が低下するため、これを改善するためである。
【0128】
一方、アキシャルを認識できないか(S52でいいえ)、冠状を認識できないか(S53でいいえ)、3Dメディカルイメージから脳領域が認識されないと(S63でいいえ)、3Dメディカルイメージに異常があるものと見て、S51に戻り、再び3Dメディカルイメージを受信する。
【0129】
次は、顔認識モジュール2311のカメライメージに関するイメージ処理と同様に、上記メディカルイメージの脳領域のイメージ特徴部を検索し(S65)、検索された上記脳イメージ特徴部のうち、3Dメディカルイメージの脳イメージ特徴部を決定することができる(S66ではい)。もし、3Dメディカルイメージの脳イメージ特徴部を決定できないと(S66でいいえ)、イメージ画質が低いと見て、S64に戻って再び3Dメディカルイメージの脳イメージピクセルを増幅してノイズ除去を行うことができる。このとき、特徴部は、上述した顔特徴部のように、ユーザの移動に応じて脳が移動しても脳の全体的な位置を把握することができる主要部位を意味する。
【0130】
したがって、決定された3Dメディカルイメージの脳領域のイメージをマルチプルメッシュ処理し(S67)、これによって獲得したメッシュデータからマッピングポイントを検出すると(S68ではい)、X、Y、Z軸で予め設定された位置にゼロ点を設定し(S70)、上記ゼロ点を基準に脳領域を基準とする運動閾値(Motor Threshold、MT)を決定するモータコーテックスまたは刺激する脳領域の位置も検出することができる。したがって、ゼロ点を基準にモータコーテックス位置を抽出し(S71)、刺激する脳治療領域位置を抽出することができる(S72)。
【0131】
例えば、3D座標基準におけるゼロ点(0,0,0)に基づいて、モータコーテックスの座標(g,h,i)を獲得してモータコーテックスの位置データを獲得することができる。
【0132】
もし、マッピングポイントが検出されないと(S68でいいえ)、メッシュスケールを1段階上昇させて(S69)、メッシュデータのスケールを調節して再生成することができる。
【0133】
したがって、メディカルイメージ分析モジュール2312は、3Dメディカルイメージから顔イメージと脳イメージをそれぞれ抽出して、これに基づいてマッピングポイントを検出することができる。
【0134】
図6は、本発明の一実施例によるイメージマッピングモジュール2312の動作に関するフローチャートを示したものである。
【0135】
本発明の一実施例による上記イメージマッピングモジュール2313は、磁気刺激を行うコイル160、上記顔認識モジュール2311、及び上記メディカルイメージ分析モジュール2312の少なくとも2つ以上の位置情報ポイントまたはゼロ点座標をマッピングしてリアルタイム3D座標データを生成することができる。
【0136】
一例として、上記コイル160はTMSコイルを含むことができ、以下、図6でTMSコイルとして説明するが、上記コイルに限定されない。
【0137】
具体的には、図6に示したように、イメージマッピングモジュール160は、上記TMSコイルをチェックし(S81)、上記TMSコイル認識を行うことができる(S82)。イメージマッピングモジュール160は、通信モジュール260を介して上記磁場発生装置100のTMSコイルが連結されるか否かまたは電源供給されるか否かを確認することができる。
【0138】
イメージマッピングモジュール160がTMSコイルを認識すると(S82ではい)、上記TMSコイルをゼロ点位置に移動させる(S83)。決められた位置に移動させる前に、TMSコイルをゼロ点位置に移動させてより正確な座標に移動されるようにすることである。
【0139】
次に、TMSコイルのゼロ点と位置データ算出部231のゼロ点、すなわち、顔認識モジュール2311とメディカルイメージ分析モジュール2312で獲得したマッピングされたイメージで設定されたX、Y、Z軸のゼロ点をマッピングすることができる(S84)。TMSコイルが設定したゼロ点と、顔認識モジュール2311が3Dカメラ部220を介して獲得したカメライメージにおけるゼロ点、メディカルイメージ分析モジュール2312が3Dメディカルイメージ保存部210を介して獲得した3Dメディカルイメージの顔イメージ及び脳イメージにおけるゼロ点をマッピングさせることができる。
【0140】
それぞれ獲得してイメージ処理を行ったカメライメージまたは3Dメディカルイメージをゼロ点マッピングして、実際のユーザのメディカルイメージと現在リアルタイムで動くユーザのカメライメージを統合させ、実際に刺激される脳領域に動くコイル160もゼロ点マッピングを実行して、コイル160と獲得したイメージを同期化させる。
【0141】
上記X、Y、Z軸のゼロ点マッピングが完了されると、顔認識モジュール2311の位置情報ポイントとメディカルイメージ分析モジュール2312のマッピングポイントをマッピングして(S85)、イメージ統合を完了し、これに対してリアルタイム3D座標データを生成して(S86)、TMSコイルが算出された3D座標位置に移動するようにすることができる。
【0142】
本発明の一実施例として、ロボットアーム161が算出された3D座標位置に移動する前にマッピングされたゼロ点で上記ロボットアーム161を位置させて、ロボットアーム161の位置をより正確に制御することができる。
【0143】
一方、図6に示したように、イメージマッピングモジュール2313はリアルタイム3D座標データを生成し、運動閾値制御モジュール232に上記算出された3D座標データ及びモータコーテックスの位置データを伝達して運動閾値測定を補助することができる。
【0144】
運動閾値制御モジュール232は、上記算出された3D座標データ及びモータコーテックスの位置データを用いて、RC制御部240がロボットアーム161をモータコーテックスの3D座標に移動させ、運動閾値測定モジュール1102が運動閾値を測定するようにすることができる。
【0145】
図7は、本発明の一実施例によるナビゲーション装置がロボットアーム161の位置をガイドするフローチャートを示したものであって、図7に示したように、ゼロ点位置にロボットアーム161を移動させてから(S91)、上記ロボットアーム161をモータコーテックスに移動させることができる(S92)。
【0146】
ロボットアーム161がモータコーテックスに移動してコイル160がモータコーテックスに磁場刺激を行うようになると、運動閾値測定モジュール1102がTMS-MTを測定することができる(S93)。これにより、ユーザの運動閾値を測定することができる。
【0147】
磁気刺激方法を受けるには、ユーザが動かない固定された状態でありながら、同時に脳は刺激されなければならないため、指などに動きが発生する運動閾値(MT、Motor Threshold)以下に磁場出力を調節しながらも、脳の刺激効率を高めるために運動閾値に近い磁場出力を維持しなければならない。
【0148】
運動閾値はユーザの人種、性別などによっても異なるが、ユーザのコンディションによっても異なるため、正確かつ安全な治療のためには、治療直前に運動閾値を正確に確認することが非常に必要である。
【0149】
したがって、運動閾値測定モジュール1102は、磁場調節モジュール1101によって磁場強度を段階的に調節して運動閾値を測定し、上記運動閾値によって脳刺激に行われる磁場パラメータを決定することができる。
【0150】
もし、モータコーテックスに上述した過程を経ながらもECGセンサやEMGセンサなどの運動閾値測定センサまたは指反応がなければ、モータコーテックスに適切に磁場刺激が行われていないと判断し、上記RC制御部240を駆動させて上記ロボットアーム161がモータコーテックスであると獲得した位置データを中心に円を描いて位置探索を行うようにすることができる。ロボットアーム161で円を描いて、コイル160を移動させてモータコーテックス位置を検出し、上記位置を保存することができる。さらに、検出されたモータコーテックス位置データを人工知能モジュールに学習させて、より正確かつ迅速にモータコーテックス位置を検出し、運動閾値を獲得することができる。
【0151】
運動閾値測定が完了されると、再度ゼロ点位置にロボットアーム161を移動させ(S94)、管理者の治療承認が行われると(S95ではい)、上記治療位置にロボットアーム161を移動させることができる(S96)。より正確にロボットアーム161の位置を制御して治療効率を上昇させるためである。管理者の治療承認が行われないと(S95でいいえ)、上記ロボットアーム161はゼロ点位置で待機し続ける。
【0152】
治療位置にロボット161を移動させ、コイル160が磁場を発生させて脳刺激治療を行うことができる(S97)。
【0153】
脳刺激を行うとき、刺激される脳領域は合計6つの領域で、ブローカ(Broca)領域、ウェルニッケ(Werniche)領域、左右の背外側前頭前皮質(DLPFC、Dorsolateral Prefrontal Cortex)領域、左右の頭頂葉体性感覚連合皮質(PSAC、Parietal Somatosensory Association Cortex)を含むことができる。
【0154】
上記複数の脳領域の少なくとも2つ以上の脳領域を刺激することが設定されている場合、治療を行った後(S97)、全ての脳領域の治療が完了したか否かを判断し(S98)、全ての脳領域の治療が完了すると(S98ではい)、治療を終了し、全ての脳領域の治療が完了しないと(S98でいいえ)、S94に戻り、ゼロ点位置にロボットアームを移動させて、S95~S98を繰り返して行うことができる。
【0155】
上述した構成により、ユーザ以外の別途の補助者がコイル160が刺激される脳領域に位置するように手伝う必要がなく、自動的にユーザの動きに合わせてコイル160の位置を制御するため、ユーザ単独で磁場刺激を行うことができ、時間及び必要とする人員が減少して費用が節減され、より正確なコイル160の位置制御によりユーザカスタマイズされた探索が可能になり、治療効率が上昇することができる。
【0156】
一方、図8は、本発明の一実施例による運動閾値測定モジュール1102が運動閾値を測定するフローチャートを示したものである。
【0157】
運動閾値測定モジュール1102は、コイル160が脳の運動領域を担うモータコーテックス(Motor Cortex)領域を刺激し、その後、手の動きや脈拍の変化を感知して脳に刺激が伝達されているかを確認することができる。
【0158】
具体的には、ユーザの運動閾値は人によって異なり、同じユーザも日々及びコンディションによって異なる。特に、西洋人よりも東洋人の運動閾値がはるかに高く形成されるため、正確な運動閾値の測定のための制御方法がなければ、任意に提供する磁場出力で指の動きがないか、ECGセンサ500が脈拍の変動を認知できないか、またはEMGセンサが筋肉または神経の活動電位の変化を感知できないと、該当ユーザはこれ以上磁気刺激治療を受けることができなかった。
【0159】
したがって、本発明の一実施例による運動閾値測定モジュール1102は、上記磁場調節モジュール1101によって磁場強度を段階的に調節してユーザの運動閾値を測定するか、または上記磁場強度が磁場の最大出力に達した場合、磁場周波数を予め設定された割合程度に上げた後、再び磁場強度を段階的に調節してユーザの運動閾値を測定することができる。
【0160】
また、本発明の一実施例による上記磁場発生装置は、上記磁場調節モジュール1101によって発生したコイル160の磁場が運動閾値を超過するときに心電図変化を感知するようにユーザの心電図をセンシングするECGセンサ500またはEMGセンサなどの運動閾値測定センサを含むことができる。
【0161】
以下において、本発明の実施例は、ロボットアーム161を用いて自動的にコイル160の位置制御を行っているため、指の動きを確認することができる別途の人員がいないため、ECGセンサ500を利用して運動閾値を測定する実施例として説明する。後述するヘルメット型磁気刺激部163を用いた場合にも、ECGセンサ500を用いて運動閾値を測定することができる。
【0162】
図8に示したように、本発明の一実施例によるMT測定モジュール1102は、まず予め設定された磁場強度で出力することができる(S501)。例えば、可能な磁場強度または磁場周波数の範囲で中間程度の磁場強度または磁場周波数を設定して磁場を出力することができる。ユーザの運動閾値を測定するために基準点を設定することである。
【0163】
この後、最初の段階でECGセンサ500が脈拍の変化を測定できず、センサ反応がなく(S502でいいえ)、磁場強度が最大値でなければ(S503でいいえ)、磁場周波数は固定し、磁場強度を予め設定された割合(n%)程度に上昇させて調節することができる(S505)。
【0164】
磁場強度は、ECGセンサ500が脈拍の変化を測定するまで上昇させることができる。このとき、ECGセンサに反応が検出されると(S502ではい)、ユーザの脳のモータコーテックス(Motor Cortex)が反応した運動閾値を過ぎたと判断し、上記予め設定された割合(n%)より小さく設定された予め設定された割合(m%)で磁場強度を減少させて出力することができる(S506)。
【0165】
このとき、ECGセンサが反応すると(S507ではい)、まだ運動閾値の直前の閾値に達していないと判断してS506に戻って磁場強度を下降させて出力し、ECGセンサが反応しないと(S507でいいえ)、運動閾値に達する直前の閾値を検出することができる。これにより、運動閾値を決定することができ(S508)、上記運動閾値の上記閾値が脳刺激に使用される磁場強度の基準値となる。
【0166】
一方、磁場強度を上昇させて磁場強度の最大値まで達した場合(S503ではい)にもECGセンサが脈拍の変化を測定できないと、磁場周波数を向上させて磁場出力を向上させる磁場周波数調節を行うことができる(S504)。
【0167】
磁場周波数を予め設定された割合程度に向上させた後、磁場強度は始めに戻り、中間程度の磁場強度を出力し(S501)、ECGセンサの反応が検出されないと、再び磁場強度を予め設定された割合(n%)程度に上昇させて調節し、ECGセンサが脈拍の変化を測定するまで上昇させることができる。
【0168】
このとき、本発明の一実施例によると、S504でこれ以上磁場周波数調節で磁場周波数を向上させることができないと、モータコーテックスに正確な磁場刺激が伝達されなかったと判断し、現在コイル160を位置させた地点を中心に円を描いてモータコーテックスを検出することができる。新しく探索したモータコーテックスの位置は、データベースまたはサーバに保存し、人工知能モジュールを上記データで学習させることができる。
【0169】
すなわち、本発明の一実施例による脳刺激装置は、脳領域のモータコーテックス位置と対応する頭上部位置に上記コイル160を位置させるか、または上記モータコーテックス位置と対応する頭上部位置に配置された上記コイル160を決定した後、上記コイルの磁場強度または周波数を調節してユーザの運動閾値を測定する運動閾値制御モジュール232をさらに含むことができる。
【0170】
これにより、すべてのユーザは自分に合った運動閾値(MT)を検出することができ、運動閾値の直前の閾値を脳刺激に使用される磁場強度の基準値に設定することができ、運動性がなくなって脳刺激が行われる間、ユーザが動かないように制御しながらも脳刺激を行う最大磁場出力で磁気刺激を行うことができることで、安全性を確保した状態で治療効率が極大化することができる。
【0171】
上記ではECGセンサ500に限定して説明したが、これは例示的な実施例に過ぎず、本発明は筋肉または神経の活動電位を感知して運動閾値反応を確認することができる運動閾値測定センサを全て含むことができる。
【0172】
上述した実施例は、ロボットアーム161にコイル160を連結してロボットアーム161を駆動させることでコイル160の位置を調節する。
【0173】
以下で、図9は本発明の他の一実施例による脳刺激装置に関する全体ブロック図を示したものであり、図10及び図11は、ヘルメット型磁気刺激部162にコイル161を配置して刺激される脳領域位置でコイル160が磁場を発生させる実施例を説明する。上述した内容と同一構成は、内容の重複を避けるために省略する。
【0174】
図9に示したように、本発明の他の一実施例による刺激される領域に対応するコイル160の位置を案内する脳刺激装置は、磁場を発生させて脳領域を刺激する複数のコイル160、上記複数のコイル160がユーザが頭に着用するヘルメット型の固定部に密集して配置されたヘルメット型磁気刺激部162、磁場関連パラメータを調節して上記コイル160の磁場出力を制御する磁場調節モジュール1101、及び上記磁場調節モジュール1101を用いてユーザの運動閾値を測定する運動閾値測定モジュール1102を含む磁場発生装置100、及び刺激される脳領域の位置データを算出し、刺激される脳領域に対応する位置に配置されたコイル160を決定するナビゲーション装置200を含み、上記ナビゲーション装置200は、上記位置データ算出部231が算出した位置データに応じて複数のコイル160の少なくとも一つを選択し、選択されたコイル160の識別標識を上記磁場発生装置100に伝達するマルチコイル制御部241をさらに含むことができる。
【0175】
さらに、他の一実施例によると、上記ヘルメット型磁気刺激部162は、固定部の下端に水平に配置された補正バー(Clibration bar)163を含み、上記ナビゲーション装置は、上記補正バー163の傾いた角度またはユーザのカメライメージの位置情報ポイントまでの距離を上記3Dカメラ部220を用いて獲得し、上記補正バー163の角度または距離を計算した補正データを考慮して、上記位置情報ポイントを補正し、補正された位置情報ポイントを基準として刺激される脳領域に対応するように位置した複数のコイル160の少なくとも一つの識別標識を上記磁場発生装置100に伝達することができる。
【0176】
具体的には、ヘルメット型磁気刺激部162は、ユーザの頭上部に応じて頭皮に密着接触し、別途のゴムキャップを介して髪を頭皮に密着させた後に着用することができる。上記ヘルメット型磁気刺激部162に複数のコイル160が密に配置されて、複数のコイル160の少なくとも一つのコイル160を駆動させると磁場が発生しながら、上記コイル160に対応する位置にある脳領域が刺激されることができる。
【0177】
また、本発明の一実施例によると、上記コイル160は、円形コイルがそれぞれ配置されることができ、または8字コイルを配置することができ、または各コイルがペアで動作するように連結して配置することができる。このとき、ペアを構成する上記コイル160は、コイル160間に重なるように連結されることができる。
【0178】
例えば、上記コイル160が8字形態のTMSコイルである場合、8字形態で2つの円が接合する接合部で鋭い波形の磁場が発生し、上記接合部で発生する磁場がそれぞれ対応する脳領域を磁気刺激することができるように複数のコイル160が配置されることができる。
【0179】
さらに、本発明の一実施例によるマルチコイル制御部241は、各コイル160に対して連結されたスイッチのスイッチングを制御して、コイル160の全部または一部のオン(ON)またはオフ(OFF)を制御することができる。例えば、コイル160の全てをオフした後、選択されたコイルのみに対してスイッチングをオンして作動させることができる。
【0180】
また、ヘルメット型磁気刺激部162は、決められた位置に配置されたコイル160が対応する脳領域を刺激する構成であり、ヘルメット型磁気刺激部162がずれて着用されるか、誤って着用される場合、他の脳領域が刺激されることがある。したがって、これを補完して補正するために、上記ヘルメット型磁気刺激部162の下端に頭上部に沿って補正バー163が配置されることができる。
【0181】
すなわち、3Dカメラ部220がヘルメット型磁気刺激部162を着用したユーザを撮影する場合、補正バー163は水平に撮影され、誤って着用されて補正バー163が傾いて撮影される場合、これを反映して位置情報ポイントの座標をキャリブレーションすることができる。
【0182】
具体的には、例えば、図10に示したように、3Dカメラ部220が撮影したカメライメージを獲得した顔認識モジュール2311がイメージ処理を行って位置情報ポイントを検出すると(S47ではい)、追加的な補正段階を実行することができる。
【0183】
カメライメージまたはカメライメージから生成したメッシュデータにおいて補正バー163が構成している補正線が直線でない場合(S491でいいえ)、補正バー163が傾いた状態であることが分かる。
【0184】
したがって、補正バー163がなす補正線が水平線となす角度及び上記補正線と位置情報ポイントとの間の距離を計算し(S492)、上記補正線が傾いた程度を反映して位置情報ポイントに補正値を反映して(S493)、上記位置情報ポイントの位置データを獲得することができる。
【0185】
具体的には、位置情報ポイントがなす直線と補正バー163がなす直線を比較して上記直線間の距離差が一定に維持されるか、または距離差が変化するかを検出して補正バー163が傾いたかを感知することができる。
【0186】
さらに、X、Y、Z軸のゼロ点を設定し(S49)、上記ゼロ点を基準に各位置情報ポイントの位置を抽出することができる(S50)。ここで、X、Y、Z軸のゼロ点と各位置情報ポイントは、上記で演算した補正値を反映した位置データであることができる。
【0187】
すなわち、例えば、ゼロ点に設定された位置が補正バー163がずれて(x,y,z)の座標に設定される場合、補正値を反映して予め設定されたゼロ点の現在位置を(0,0,0)に補正し、これにより位置情報ポイント(a,b,c)を(a’,b’,c’)に補正することができる。
【0188】
また、イメージマッピングモジュール2313は、図11に示したように、TMSコイルチェック及び認識が完了されると(S81及びS82ではい)、マルチコイル制御部241をオフさせる(S831)。マルチコイル制御部241がコイル160と連結されたスイッチの全てをオフさせることである。
【0189】
そして、TMSコイル、顔認識モジュール2311、メディカルイメージ分析モジュール2312のX、Y、Z軸のゼロ点をマッピングすることができる(S84)。ここで、TMSコイルのゼロ点と顔認識モジュール2311のゼロ点は、補正バー163を用いて補正値を反映したゼロ点であることができる。
【0190】
ゼロ点マッピングが完了されると、顔認識モジュール2311とメディカルイメージ分析モジュール2312の位置情報ポイントをマッピングすることができる(S85)。ここで、顔認識モジュール2311の位置情報ポイントは、補正バー163を用いて補正値を反映したゼロ点であることができる。
【0191】
上記イメージ統合が完了されると、マルチコイル制御部241をオンにし(S861)、位置情報ポイントに対応する位置にあるヘルメット型磁気刺激部162に配置されたコイル160の少なくとも一つが磁場発生させるように制御することができる。このとき、マルチコイル制御部241は、選定されたコイル160のみに対してオンにすることができる。
【0192】
一実施例として、マルチコイル制御部241は、オンさせるコイル160を治療方法に応じて異なるように選定することができ、1つまたは複数のコイルを選定してオンにすることができる。また、上記マルチコイル制御部241は、1つまたは1つ以上のコイル160が同時にまたは時間差をおいて周波数、周期及びパルス形態の少なくとも一つを変更するように制御することができる。
【0193】
したがって、位置データ算出部231は、補正値が反映されたリアルタイム3D座標を含む位置データを算出することができ、上記位置データを運動閾値制御モジュール232に伝達して、運動閾値を測定するためにモータコーテックスに対応する位置に配置されたコイル160が磁場を発生させるように制御することができ、あるいは、上記位置データをマルチコイル制御部241に伝達して刺激される脳領域に対応する各コイル160の位置を決定することができる。
【0194】
一方、本発明のまた他の一実施例によると、脳刺激装置は、磁場を発生させて脳領域を刺激する複数のコイル160、上記複数のコイル160がユーザが頭に着用するヘルメット型の固定部に密集して配置されたヘルメット型磁気刺激部162、磁場関連パラメータを調節して上記コイル160の磁場出力を制御する磁場調節モジュール1101、及び上記磁場調節モジュール1101を用いてユーザの運動閾値を測定する運動閾値測定モジュール1102を含む磁場発生装置100、及び刺激される脳領域の位置データを算出し、刺激される脳領域に対応する位置に配置されたコイル160を決定するナビゲーション装置200を含み、上記ナビゲーション装置200は、上記位置データ算出部231が算出した位置データに応じて、複数のコイル160の少なくとも一つの識別標識を上記磁場発生装置100に伝達するマルチコイル制御部241をさらに含むことができる。
【0195】
このとき、上記ヘルメット型磁気刺激部162に連結されたジャイロセンサまたは加速度センサの少なくとも一つを用いて、上記ヘルメット型磁気刺激部162の傾きの発生を感知し、上記ヘルメット型磁気刺激部162の傾き角度を計算した補正データを考慮して、上記カメライメージの位置情報ポイントを補正し、補正された位置情報ポイントを基準に刺激する脳領域に対応して位置した複数のコイル160の少なくとも一つの識別標識を上記磁場発生装置100に伝達することができる。
【0196】
すなわち、本発明のまた他の一実施例によると、補正バー163が連結されていないヘルメット型磁気刺激部162を含むことができる。
【0197】
図12に示したように、補正バー163の代わりにヘルメット型磁気刺激部162にセンサ部510が配置されることができ、上記センサ部510はジャイロセンサまたは加速度センサを含むことができる。センサ部510は、1つのセンサまたは複数のセンサが設けられることができる。
【0198】
本発明のまた他の一実施例によると、顔認識モジュール2311は、センサ部510から傾き発生を感知することができる。具体的には、位置情報ポイントを検出(S47)した後、X、Y、Z軸のゼロ点を設定し(S49)、各位置情報ポイントの位置を抽出(S50)する前に、センサ部510からヘルメット型磁気刺激部162が傾いたことを感知すると、センサ部510から獲得した傾き角度を用いて位置情報ポイントに補正値を反映することができる。
【0199】
補正値を反映するのに3Dカメラ部220を用いる代わりに、センサ部510を活用して正確な着用有無を感知してキャリブレーションすることができる。
【0200】
あるいは、ヘルメット型磁気刺激部162に補正バー163及びセンサ部510の全てを配置することもできる。3Dカメラ部220を用いて補正バー163の補正線が傾いた角度及び各位置情報ポイントまでの距離を計算し、これを反映した補正された位置情報ポイント1を求め、センサ部510のジャイロセンサまたは加速度センサを用いて傾き角度を計算し、これを反映した補正された位置情報ポイント2を求めることができる。
【0201】
そして、位置情報ポイント1及び位置情報ポイント2を最適化して、これらを全て反映した最終位置情報ポイント及びゼロ点を抽出することができる。考慮するパラメータを増やして、より正確に位置情報ポイントの位置データを獲得することができる。
【0202】
さらに、本発明の一実施例によると、ビッグデータサーバからAIを用いて獲得した位置情報ポイントと補正値を反映して獲得した最終位置情報ポイント値が異なる場合、位置情報ポイントを最適化する係数を修正し、再び位置情報ポイントを計算する過程を行うことができる。
【0203】
上述した過程により、ユーザごとに異なる頭上部または脳の形態、距離などを総合して、ユーザカスタマイズされた位置情報ポイントの探索が可能であり、より短時間内に正確に位置情報ポイントを検出して費用及び時間を節減し、治療効率をさらに上昇させることができる。
【0204】
また、本発明の一実施例によるロボットアーム161を用いたナビゲーション装置は、病院用装備として使用され、人員の節減及び時間の節減を図ることができ、本発明の他の一実施例によるヘルメット型磁気刺激部162を用いたナビゲーション装置は家庭用装備として使用することができる。別の医療関係者なしで磁場刺激を実行することができ、サーバを介して磁場刺激の結果を保存して、遠隔で医療関係者が磁場刺激を管理することができる。
【0205】
一方、図13は、本発明の他の一実施例によるヘルメット型磁気刺激部162に配置されたコイル160の配置図を簡略に示したものであり、図14は、本発明の他の一実施例によるヘルメット型磁気刺激部162におけるコイル160の構造を示したものである。
【0206】
図13では、三角形の形態で示したが、上記ヘルメット型磁気刺激部162は、ユーザの頭にかぶせることができ、脳領域を囲むように配置することができる全ての形態を含むことができ、上記例示的な実施例によって形態が制限されない。
【0207】
また、ヘルメット型磁気刺激部162は、下端に補正バー163を連結し、上記補正バー163が傾いたり、ずれたことを感知して、ユーザが正確な位置にヘルメット型磁気刺激部162を着用したかを感知し、傾いただけ補正するように情報を提供することができる。
【0208】
一実施例として、図13の(a)に示したように、コイル160は、1つのコイルを一定間隔でヘルメット型磁気刺激部162に配置することができる。上記一定間隔は多様に調節されることができるが、各コイルが脳領域を刺激することができるように密に配置されることが好ましい。
【0209】
さらに、一実施例として、図13の(b)に示したように、コイル160は、8字コイルを一定間隔で配置することができる。8字コイルは、2つの円が接する地点で磁場が鋭く形成され、磁場刺激を行う地点のみを正確に刺激することができる。上記8字コイルを上記ヘルメット型磁気刺激部162内に密に配置することができる。
【0210】
このとき、図13の(b)では8字コイルを配置し、ヘルメット型磁気刺激部162の外側にはコイルを配置していないように示しているが、これはヘルメット型磁気刺激部162の断面を示したものであり、実際のヘルメット型磁気刺激部162は、立体的な形態で上記外側にも8字コイルの方向を変えて密に配置することができる。
【0211】
さらに、他の一実施例として、図13の(c)に示したように、各コイル160は重なるように配置されることができる。図13の(b)のように8字コイルを用いると、2つのコイルが接触される接点で電磁気力が鋭く形成されて特定の位置のみを刺激するのに効率的であり、図13の(c)のように重ねた形態のコイル構造を用いると磁場が及ぶ面積が増加して、単位コイルで脳を刺激する電磁気力を増加させることができる。
【0212】
図13の(c)はまた、ヘルメット型磁気刺激部162の外側にはコイルを配置していないように示しているが、これはヘルメット型磁気刺激部162の断面を示したものであり、実際のヘルメット型磁気刺激部162は、立体的な形態で、上記外側にも8字コイルの方向を変えて密に配置することができる。
【0213】
図13に示したように、ヘルメット型磁気刺激部162にコイル160を配置し始めるときから一定間隔をおいてコイル160を配置したり、ペアをなす8字コイルを配置したり、コイル160が重なるように配置することができるが、図14に示したヘルメットコイル構造を介して状況に応じてコイルの配置を変更することもできる。
【0214】
すなわち、上記ヘルメット型磁気刺激部162に配置されたコイル160aの少なくとも一つにモータが連結され、上記マルチコイル制御部241は、上記モータが連結されたコイル160aが周辺部のコイル160bの少なくとも一つと重なるように、上記モータを制御して、上記モータが連結されたコイル160aの移動有無、移動方向及び移動距離の少なくとも一つを決定することができる。
【0215】
周辺部のコイル160bとは、モータが連結されておらず、上記モータが連結されたコイル160aが接近できるように、上記コイル160aの周囲に配置されたコイルを意味する。図14に示した一実施例では、9つを1セットと仮定し、中央に位置したコイル160aの上下左右、対角線に位置した8つのコイルを周辺部のコイル160bとした。
【0216】
図14に示したように、ヘルメット型磁気刺激部162に一定間隔でコイル160を配置し(実線で示す)、上記コイル160は配置されたコイル160の少なくとも一つにモータを装着したコイル160aと、モータなしで配置された位置に固定されるコイル160bを含むことができる(コイル160aは太い実線、コイル160bは薄い実線で示す)。モータが装着されたコイル160aは、矢印で示したように、上下左右、対角線方向に移動可能であり、固定されたコイル160bに向かって移動し、ペアをなすように接点を作るかまたは重なるように移動されることができる。
【0217】
コイル160が特定位置に固定される場合、脳を正確に刺激できない場合にも、コイル160の位置を変更し難いため、例えば、補正バー163を介して正確にヘルメット型磁気刺激部162を着用した状態で、脳の上部領域に対する刺激が必要な場合、モータが装着されたコイル160aを上側に移動させてコイル160bと重ねると、上部領域に対して磁場が及ぶ領域が増加して刺激すべき脳領域の位置または面積を調節することができる。
【0218】
また他の例を挙げると、刺激すべき脳領域が対角線方向の下部に位置すると、モータが装着されたコイル160aを対角線の下部方向に動くようにして、コイル160bと重ねて、該当領域に磁場が及ぶように面積及び位置を調節することができる。
【0219】
図14では、9つのコイル160を1セットとして中央に位置したコイル160aにモータを装着したが、これは例示的な実施例に過ぎず、当該技術分野で通常の技術者が自明に導出することができる範囲で変更、代替が可能である。
【0220】
すなわち、コイル160は、1つの円形コイル、または8字コイルなどで多様なコイルを選択することができ、コイル160の配置も一定間隔で配置するか、間隔なしに密に配置するか、または重なるように連結して配置するなど多様な配置形態を選択することができ、少なくとも一つのコイルにモータを装着してコイルの位置を移動させることができる。これは、刺激する脳領域などの治療すべき領域または治療対象などを考慮して決定することができる。
【0221】
本発明は、上述した実施形態及び添付の図面によって限定されない。添付の特許請求の範囲によって権利範囲を限定しようとし、特許請求の範囲に記載された本発明の技術的思想から逸脱しない範囲内で多様な形態の置換、変形及び変更が可能であることは、当技術分野の通常の知識を有する者には明らかである。
【符号の説明】
【0222】
100 磁場発生装置 110 制御部
1101 磁場調節モジュール
1102 運動閾値測定モジュール
120 電力モジュール 130 通信モジュール
140 冷却モジュール 150 ユーザインタフェース
151 入力モジュール 152 出力モジュール
160 コイル 161 ロボットアーム
162 ヘルメット型磁気刺激部 163 補正バー
200 ナビゲーション装置
210 3Dメディカルイメージ保存部
220 3Dカメラ部 230 制御部
231 位置データ算出部 2311 顔認識モジュール
2312 メディカルイメージ分析モジュール
2313 イメージマッピングモジュール
232 運動閾値制御モジュール 240 RC制御部
241 マルチコイル制御部 250 温度モニタリング部
260 通信モジュール 270 電源モジュール
300 統合オペレータ 301 ユーザインタフェース
302 第2メモリ 400 認知訓練装置
401 ユーザインタフェース 402 第1メモリ
500 ECGセンサ 510 センサ部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
【手続補正書】
【提出日】2023-10-20
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0051
【補正方法】変更
【補正の内容】
【0051】
図2に示したイメージマッピングモジュール2313は、顔認識モジュール2311から位置情報ポイントが表示されたカメライメージを受信して、メディカルイメージ分析モジュール2312から位置情報ポイント、刺激される脳領域の位置データ及びモータコーテックスの位置データの少なくとも一つが表示されたメディカルイメージを受信することができる。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0055
【補正方法】変更
【補正の内容】
【0055】
さらに、上記イメージマッピングモジュール2313は、モータコーテックスの位置データと上記モータコーテックスに対応する頭上部での位置データを獲得して運動閾値制御モジュール232に伝達することができ、運動閾値制御モジュール232は受信した位置データを介して運動閾値を測定するか、または受信したモータコーテックスの位置データを磁場発生装置100に送信して、磁場発生装置100の運動閾値測定モジュール1102がユーザの運動閾値(Motor Threshold、MT)を測定するようにすることができる。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0134
【補正方法】変更
【補正の内容】
【0134】
図6は、本発明の一実施例によるイメージマッピングモジュール2313の動作に関するフローチャートを示したものである。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0137
【補正方法】変更
【補正の内容】
【0137】
具体的には、図6に示したように、イメージマッピングモジュール2313は、上記TMSコイルをチェックし(S81)、上記TMSコイル認識を行うことができる(S82)。イメージマッピングモジュール2313は、通信モジュール260を介して上記磁場発生装置100のTMSコイルが連結されるか否かまたは電源供給されるか否かを確認することができる。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0138
【補正方法】変更
【補正の内容】
【0138】
イメージマッピングモジュール2313がTMSコイルを認識すると(S82ではい)、上記TMSコイルをゼロ点位置に移動させる(S83)。決められた位置に移動させる前に、TMSコイルをゼロ点位置に移動させてより正確な座標に移動されるようにすることである。

【国際調査報告】