(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-04-14
(45)【発行日】2023-04-24
(54)【発明の名称】3次元脳地図の生成方法及びプログラム
(51)【国際特許分類】
A61B 5/055 20060101AFI20230417BHJP
【FI】
A61B5/055 380
(21)【出願番号】P 2020514533
(86)(22)【出願日】2018-08-31
(86)【国際出願番号】 KR2018010170
(87)【国際公開番号】W WO2019050226
(87)【国際公開日】2019-03-14
【審査請求日】2020-04-13
【審判番号】
【審判請求日】2022-01-06
(31)【優先権主張番号】10-2017-0115779
(32)【優先日】2017-09-11
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】520062384
【氏名又は名称】ニューロフェット インコーポレイテッド
【氏名又は名称原語表記】NEUROPHET INC.
【住所又は居所原語表記】12F, 124, Teheran-ro, Gangnam-gu, Seoul 06234, Republic of Korea
(74)【代理人】
【識別番号】100121382
【氏名又は名称】山下 託嗣
(74)【代理人】
【識別番号】100221372
【氏名又は名称】岡崎 信治
(72)【発明者】
【氏名】キム,ドン ヒョン
【合議体】
【審判長】福島 浩司
【審判官】伊藤 幸仙
【審判官】石井 哲
(56)【参考文献】
【文献】米国特許出願公開第2007/0043268(US,A1)
【文献】特表2013-506478(JP,A)
【文献】特許第6935633(JP,B2)
【文献】特許第6935630(JP,B2)
【文献】米国特許出願公開第2020/0214570(US,A1)
【文献】AMIRREZA MAHBOD,Structural Brain MRI Segmentation Using Machine Learning Technique,DEGREE PROJECT IN MEDICAL ENGINEERING SECOND CYCLE,30 CREDITS,KTH ROYAL INSTITUTE OF TECHNOLOGY SCHOOL OF TECHNOLOGY AND HEALTH,2016年,第1-37頁
【文献】BREBISSON et al.,Deep Neural Networks for Anatomical Brain Segmentation, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR) Workshop,2015年,p.20-28
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/055
A61N 1/00 - 1/44
(57)【特許請求の範囲】
【請求項1】
対象体の脳MRI画像を獲得する段階と、
前記脳MRI画像を複数の領域にセグメンテーションする段階と、
セグメンテーションされた前記脳MRI画像を用いて前記複数の領域を含む前記対象体の3次元脳画像を生成する段階と、
前記3次元脳画像に含まれている複数の領域のそれぞれの性質に基づいて、前記対象体の脳に対する電気的刺激の伝達過程をシミュレーションできる前記対象体の3次元脳地図を生成する段階と、
を含み、
前記セグメンテーションする段階は、
複数の加工された脳MRI画像を用いた機械学習により得られた学習済みモデルに前記対象体の脳MRI画像を入力してセグメンテーションされた前記対象体の脳MRI画像を獲得する段階を含み、
前記学習済みモデルは、前記複数の加工された脳MRI画像を用いてディープラーニングに基づいた学習を行うことによって、前記脳MRI画像が入力されたときに脳の構造に基づいた脳領域別にセグメンテーションされた脳MRI画像を出力するように構築された学習モデルであり、
前記対象体の3次元脳地図を生成する段階は、前記対象体の脳MRI画像を前記学習済みモデルに入力して
獲得したセグメンテーションされた前記対象体の脳MRI画像を用いて、前記脳の構造に基づいた脳領域別にセグメンテーションされた前記対象体の3次元脳地図画像を出力することを含
み、
前記セグメンテーションする段階は、
前記学習済みモデルに前記対象体の脳MRI画像を入力して獲得したセグメンテーションされた前記対象体の脳MRI画像に含まれるホールを除去する段階を含む、
3次元脳地図の生成方法。
【請求項2】
前記加工された脳MRI画像は、前記加工された脳MRI画像に含まれている複数の領域のそれぞれがラベリングされた画像であり、
前記学習済みモデルは、
脳MRI画像の入力を受けて、セグメンテーションされた脳MRI画像を出力するモデルであることを特徴とする請求項1に記載の3次元脳地図の生成方法。
【請求項3】
前記対象体の3次元脳地図を生成する段階は、
前記対象体の3次元脳画像を用いて前記対象体の脳に対する電気的刺激の伝達過程をシミュレーションできる複数の格子(mesh)で構成された3次元立体画像を生成する段階を含むことを特徴とする請求項1に記載の3次元脳地図の生成方法。
【請求項4】
前記対象体の3次元脳地図を生成する段階は、
前記対象体の脳に対する電気的刺激による電流の流れをシミュレーションするための前記複数の領域それぞれの物理的特性を獲得する段階を含み、
前記物理的特性は、前記複数の領域のそれぞれの等方性(isotropic)電気伝導率及び異方性(anisotropic)電気伝導率のうちの少なくとも1つを含むことを特徴とする請求項1に記載の3次元脳地図の生成方法。
【請求項5】
前記物理的特性を獲得する段階は、
前記対象体の脳MRI画像から前記対象体の脳に対する伝導テンソル画像を獲得する段階と、
前記伝導テンソル画像を用いて前記複数の領域のそれぞれの異方性電気伝導率を獲得する段階と、
を含むことを特徴とする請求項4に記載の3次元脳地図の生成方法。
【請求項6】
前記対象体の脳MRI画像は拡散テンソル画像を含み、
前記物理的特性を獲得する段階は、
前記対象体の拡散テンソル画像を用いて前記複数の領域のそれぞれの異方性電気伝導率を獲得する段階と、
を含むことを特徴とする請求項4に記載の3次元脳地図の生成方法。
【請求項7】
前記3次元脳地図を用いて、前記対象体の頭の一地点に特定の電気的刺激が与えられるときに、前記特定の電気的刺激が前記対象体の脳から伝播される状態をシミュレーションする段階を更に含むことを特徴とする請求項1に記載の3次元脳地図の生成方法。
【請求項8】
前記対象体の脳で電気的刺激を与える刺激目標地点を獲得する段階と、
前記3次元脳地図を用いて、前記刺激目標地点に電気的刺激を与えるために前記対象体の頭に電気的刺激を与える位置を獲得する段階と、
を更に含むことを特徴とする請求項1に記載の3次元脳地図の生成方法。
【請求項9】
前記電気的刺激を与える位置を獲得する段階は、
前記3次元脳地図を用いて、前記対象体の頭皮から前記刺激目標地点まで電気的刺激が伝達されるための推薦経路を獲得する段階と、
前記推薦経路から前記対象体の頭に電気的刺激を与える位置を獲得する段階と、
を含むことを特徴とする請求項8に記載の3次元脳地図の生成方法。
【請求項10】
ハードウェアであるコンピュータで読み取り可能な記録媒体に格納され、請求項1~9のいずれかに記載の方法を前記コンピュータで実行するためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は3次元脳地図の生成方法及びプログラムに関する。
【背景技術】
【0002】
MRIシステムとは、特定強さの磁場で発生するRF(Radio Frequency)信号に対するMR(Magnetic Resonance)信号の強さを明暗対比で表現して対象体の断層部位に対するイメージを獲得する機器をいう。例えば、対象体を強力な磁場中に横たえた後、特定の原子核(例えば、水素原子核など)のみを共鳴させるRF信号を対象体に瞬間的に照射した後に中断すれば、前記特定の原子核からMR信号が放出されるが、MRIシステムは、このMR信号を受信してMRイメージを獲得できる。MR信号は、対象体から放射されるRF信号を意味する。MR信号の大きさは、対象体に含まれている所定の原子(例えば、水素など)の濃度、弛緩時間T1、弛緩時間T2及び血流などの流れにより決定できる。
【0003】
MRIシステムは、他のイメージング装置とは異なる特徴を含む。イメージの獲得が検知ハードウェア(detecting hardware)の方向に依存するCTのようなイメージング装置などとは異なり、MRIシステムは、任意の地点に指向された2Dイメージ又は3Dボリュームイメージを獲得することができる。また、MRIシステムは、CT、エックス線、PET及びSPECTとは異なり、対象体及び検査員に放射線を露出させず、高い軟部組織(soft tissue)コントラストを有するイメージの獲得が可能であり、異常な組織の明確な描写が重要な神経(neurological)イメージ、血管内部(intravascular)イメージ、筋骨格(musculoskeletal)イメージ及び腫瘍(oncologic)イメージなどを獲得できる。
【0004】
TMS(Transcranial Magnetic Stimulation、経頭蓋的磁気刺激法)は神経系に対する非侵襲的な治療方法であって、薬物治療や侵襲治療を行うことなく、神経系疾患を治療できるという長所がある。TMSは、磁場の変化を用いて対象体に電気的刺激を与えることができる。
【0005】
一般に、TMSは臨床的又は経験的に知られている刺激地点に電気的刺激を与えるか、使用者が少しずつ刺激位置を移動させながら刺激位置を決定する方式で施術を行ってきた。従って、施術に用いられるコイルの種類や個人間の身体構造の違いを反映し難い上に、施術による効果を直接的に確認し難いという問題があった。
【0006】
また、対象体の脳活動による電気活動を測定できる脳波検査(Electroencephalogram、EEG)及び電気刺激による脳疾患の治療方法が広く利用されている。しかし、TMSと同様に、EEGと電気刺激も人によって異なる頭の形状を反映したガイド方法の開発が求められている。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、上記事情に鑑みてなされたものであって、その目的は、3次元脳地図の生成方法及びプログラムを提供することにある。
【0008】
本発明が解決しようとする課題は、以上で言及した課題に制限されず、言及していない他の課題は、以下の記載から通常の技術者が明確に理解できるであろう。
【課題を解決するための手段】
【0009】
上述した課題を解決するための本発明の一側面による3次元脳地図の生成方法は、対象体の脳MRI画像を獲得する段階と、前記脳MRI画像を複数の領域にセグメンテーションする段階と、セグメンテーションされた前記脳MRI画像を用いて前記複数の領域を含む前記対象体の3次元脳画像を生成する段階と、前記3次元脳画像に含まれている複数の領域のそれぞれの性質に基づいて、前記対象体の脳に対する電気的刺激の伝達過程をシミュレーションできる前記対象体の3次元脳地図を生成する段階とを含み、前記セグメンテーションする段階は、複数の加工された脳MRI画像を用いて学習されたモデルに前記対象体の脳MRI画像を入力してセグメンテーションされた前記対象体の脳MRI画像を獲得する段階を含む。
【0010】
また、前記加工された脳MRI画像は、前記加工された脳MRI画像に含まれている複数の領域のそれぞれがラベリングされた画像であり、前記学習されたモデルは、脳MRI画像の入力を受けて、セグメンテーションされた脳MRI画像を出力するモデルであってもよい。
【0011】
更に、前記対象体の3次元脳地図を生成する段階は、前記対象体の3次元脳画像を用いて前記対象体の脳に対する電気的刺激の伝達過程をシミュレーションできる複数の格子(mesh)で構成された3次元立体画像を生成する段階を含んでもよい。
【0012】
また、前記対象体の3次元脳地図を生成する段階は、前記対象体の脳に対する電気的刺激による電流の流れをシミュレーションするための前記複数の領域それぞれの物理的特性を獲得する段階を含み、前記物理的特性は、前記複数の領域のそれぞれの等方性(isotropic)電気伝導率及び異方性(anisotropic)電気伝導率のうちの少なくとも1つを含んでもよい。
【0013】
更に、前記物理的特性を獲得する段階は、前記対象体の脳MRI画像から前記対象体の脳に対する伝導テンソル画像を獲得する段階と、前記伝導テンソル画像を用いて前記複数の領域のそれぞれの異方性電気伝導率を獲得する段階とを含んでもよい。
【0014】
また、前記対象体の脳MRI画像は拡散テンソル画像を含み、前記物理的特性を獲得する段階は、前記対象体の拡散テンソル画像を用いて前記複数の領域のそれぞれの異方性電気伝導率を獲得する段階を含んでもよい。
【0015】
更に、前記3次元脳地図の生成方法は、前記3次元脳地図を用いて、前記対象体の頭の一地点に特定の電気的刺激が与えられるとき、前記特定の電気的刺激が前記対象体の脳から伝播される状態をシミュレーションする段階を更に含んでもよい。
【0016】
また、前記3次元脳地図の生成方法は、前記対象体の脳で電気的刺激を与える刺激目標地点を獲得する段階と、前記3次元脳地図を用いて、前記刺激目標地点に電気的刺激を与えるために前記対象体の頭に電気的刺激を与える位置を獲得する段階とを更に含んでもよい。
【0017】
更に、前記電気的刺激を与える位置を獲得する段階は、前記3次元脳地図を用いて、前記対象体の頭皮から前記刺激目標地点まで電気的刺激が伝達されるための推薦経路を獲得する段階と、前記推薦経路から前記対象体の頭に電気的刺激を与える位置を獲得する段階とを含んでもよい。
【0018】
上述した課題を解決するための本発明の一側面によるコンピュータプログラムは、ハードウェアであるコンピュータで読み取り可能な記録媒体に格納され、3次元脳地図の生成方法を前記コンピュータで実行するためのプログラムである。
【0019】
本発明のその他の具体的な事項は、詳細な説明及び図面に含まれている。
【発明の効果】
【0020】
開示された実施例によれば、事前に学習されたモデルを活用して脳MRI画像のセグメンテーションを行うことによって、自動的かつ短時間に脳MRI画像のセグメンテーションを行えるという効果を奏する。
【0021】
そのため、医療現場で誰でも短時間に対象体の3次元脳画像を獲得でき、更に対象体の脳に対する電気的刺激の効果を視覚的に確認できるシミュレーション結果を提供できるという効果が得られる。
【0022】
また、経頭蓋的磁気刺激法の施術用コイルの種類による磁気ベクトルポテンシャル情報を共に活用することによって、刺激目標地点に最適な刺激を与えられる刺激地点を算出及び提供して、施術の効果を向上できるという効果がある。
【0023】
更に、頭モデリング及びMRIモデリングを用いて電気刺激パッドの位置をガイドすることによって、人によって異なる頭及び脳の構造を考慮した電気刺激パッドの位置をガイドできるという効果が得られる。
【0024】
本発明の効果は、以上で言及した効果に制限されず、言及していない他の効果は、以下の記載から通常の技術者が明確に理解できるであろう。
【図面の簡単な説明】
【0025】
【
図1】一実施例によって3次元脳地図を生成する方法を示すフローチャートである。
【
図2】一実施例によって対象体の3次元脳地図を生成し、シミュレーションを行う方法を示すフローチャートである。
【
図3】脳MRI画像に対するセグメンテーションを行った結果を示す図である。
【
図4】連結構成要素に基づくノイズの除去方法の一例を示す図である。
【
図5】ホールリジェクションを用いた後処理方式の一例を示す図である。
【
図6】対象体の脳MRI画像から生成された3次元脳画像の一例を示す図である。
【
図8】シミュレーション結果の一例を示す図である。
【
図9】一実施例によるTMS刺激ナビゲーション方法を示すフローチャートである。
【
図11】対象体の脳に印加される磁場と電場の関係を示す図である。
【
図12】施術用コイルの種類による磁気ベクトルポテンシャルを可視化した情報を示す図である。
【
図13】コイルの位置及び方向を算出する方法の一例を示す図である。
【
図14】施術用コイルの磁場から誘導される電気的刺激が対象体の脳から伝播される状態を視覚化した例示を示す図である。
【
図15】一実施例によるパッドガイド方法を示すフローチャートである。
【
図16】一実施例によって電気刺激結果をシミュレーションする結果を示す図である。
【
図17】イメージを整合する方法の一実施例を示す図である。
【
図18】深度カメラを用いて獲得した3次元スキャンモデルの一例を示す図である。
【
図19】深度カメラモジュールが接続されているコンピュータ装置が対象体の頭を撮影し、撮影された対象体の頭にパッドを付するための位置をガイドする一例を示す図である。
【
図20】携帯可能なコンピュータ装置とそれに接続されている深度カメラモジュールを示す図である。
【発明を実施するための形態】
【0026】
本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は、以下で開示される実施例に制限されるものではなく、互いに異なる多様な形態で実現することができる。但し、本実施例は本発明の開示を完全なものにし、本発明が属する技術分野における通常の技術者に本発明の範疇を完全に理解させるために提供されるものであり、本発明は請求の範囲の範疇により定義されるに過ぎない。
【0027】
本明細書で用いられる用語は、実施例を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数形は特に言及しない限り複数形も含む。明細書で用いられる「含む(comprises)」及び/又は「含んでいる(comprising)」は、言及された構成要素以外に1つ以上の他の構成要素の存在又は追加を排除しない。明細書全体に亘って同一の図面符号は同一の構成要素を示し、「及び/又は」は言及された構成要素のそれぞれ及び1つ以上の全ての組み合わせを含む。たとえ、「第1」、「第2」などが多様な構成要素を記述するために用いられていても、これらの構成要素はこれらの用語により制限されないのは当然である。これらの用語は、1つの構成要素を他の構成要素と区別するために用いられるに過ぎない。従って、以下で言及する第1構成要素は、本発明の技術的思想内で第2構成要素でもあり得るのは当然である。
【0028】
他の定義がなければ、本明細書で用いられる全ての用語(技術及び科学的用語を含む)は、本発明が属する技術分野における通常の技術者が共通して理解できる意味として用いられる。また、一般に用いられる辞典に定義されている用語は、明白に特に定義されていない限り、理想的に又は過度に解釈されない。
【0029】
明細書で用いられる「部」又は「モジュール」という用語はソフトウェア、FPGA、又はASICのようなハードウェアの構成要素を意味し、「部」又は「モジュール」は特定の役割を果たす。しかし、「部」又は「モジュール」との語は、ソフトウェア又はハードウェアに限定されることを意味しない。「部」又は「モジュール」は、アドレッシングできる記憶媒体に存在するように構成されてもよく、1つ又はそれ以上のプロセッサとして実現するように構成されてもよい。従って、一例として「部」又は「モジュール」はソフトウェアの構成要素、オブジェクト指向ソフトウェアの構成要素、クラスの構成要素及びタスクの構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ及び変数を含む。構成要素と「部」又は「モジュール」内で提供される機能は、より少数の構成要素及び「部」又は「モジュール」で結合されるか、追加の構成要素と「部」又は「モジュール」などに更に分離できる。
【0030】
本明細書において「対象体(object)」は、人又は動物、或いは人又は動物の一部を含み得る。例えば、対象体には、肝臓、心臓、子宮、脳、乳房、腹部などの臓器、又は血管を含めることができる。また、「対象体」にはファントム(phantom)を含めることもできる。ファントムとは、生物の密度と実効原子番号に非常に似ている体積を有する物質を意味するものであって、身体と類似する性質を有する球体(sphere)のファントムを含めることができる。
【0031】
また、本明細書において「使用者」は医療専門家であって、医師、看護師、臨床検査技師、医療画像専門家などであり、医療装置を修理する技術者であり得るが、これに限定されない。
【0032】
更に、本明細書において「核磁気共鳴画像(MR image:Magnetic Resonance image)」とは、核磁気共鳴の原理を用いて獲得した対象体に対する画像を意味する。
【0033】
以下、添付の図面を参照して本発明の実施例を詳細に説明する。
【0034】
図1は、一実施例によって3次元脳地図を生成する方法を示すフローチャートである。
【0035】
図1に示す方法は、コンピュータによって実行される段階を時系列的に示す図である。本明細書においてコンピュータは、少なくとも1つのプロセッサを含むコンピュータ装置の総称としての意味として用いられる。
【0036】
段階S110で、コンピュータは、対象体の脳MRI画像を獲得する。
【0037】
一実施例において、コンピュータは、MRI画像獲得装置と接続されているワークステーションであって、MRI画像獲得装置から直接対象体の脳MRI画像を獲得できる。
【0038】
また、コンピュータは、外部サーバ又は他のコンピュータから対象体の脳MRI画像を獲得することもできる。
【0039】
開示された実施例において、対象体の脳MRI画像は、対象体の脳を含む頭部分を撮影したMRI画像を意味する。即ち、対象体の脳MRI画像は、対象体の脳だけでなく、対象体の頭蓋骨及び頭皮を含むMRI画像を意味する。
【0040】
段階S120で、コンピュータは、段階S110で得られた脳MRI画像を複数の領域にセグメンテーション(区画化)する。
【0041】
一実施例において、コンピュータは、段階S110で得られた脳MRI画像を部位別にセグメンテーションする。例えば、コンピュータは、段階S110で得られた脳MRI画像を白質、灰白質、脳脊髓液、頭蓋骨及び頭皮にセグメンテーションできるが、脳MRI画像をセグメンテーションできる種類はこれに制限されない。
【0042】
一実施例において、コンピュータは、複数の加工された脳MRI画像を用いて学習されたモデルに、対象体の脳MRI画像を入力してセグメンテーションされた対象体の脳MRI画像を獲得する。
【0043】
一実施例において、加工された脳MRI画像は、脳MRI画像に含まれている複数の領域のそれぞれがラベリングされた画像である。また、学習されたモデルは、脳MRI画像の入力を受けて、セグメンテーションされた脳MRI画像を出力するモデルである。
【0044】
一実施例において、学習されたモデルは、機械学習(Machine Learning)を用いて学習されたモデルを意味し、特にディープラーニング(Deep Learning)を用いて学習されたモデルを意味し得る。
【0045】
一実施例において、学習されたモデルは、1つ以上のバッチ正規化(Batch Normalization)レイヤ、活性化(Activation)レイヤ及びコンボリューション(Convolution)レイヤを含むモデルであってもよいが、これに制限されない。
【0046】
一実施例において、学習されたモデルは、MRI画像の低レベル特性から高レベル特性を抽出する複数のブロックで構成された水平パイプラインと、水平パイプラインから抽出された特性を集めてセグメンテーションを行う垂直パイプラインを含んで相対的に画質が落ちるMRIのセグメンテーションを行えるように構成することもできる。
【0047】
図3を参照すれば、脳MRI画像300(a)に対するセグメンテーションを行った結果300(b)が示されている。
【0048】
一実施例において、コンピュータは、セグメンテーション結果に対する後処理を行う。
【0049】
一実施例において、コンピュータは、連結構成要素に基づくノイズの除去(Connected Component-based Noise Rejection)を行う。連結構成要素に基づくノイズの除去方法は、畳み込みニューラルネットワーク(Convolution Neural Network、CNN)を用いて行われたセグメンテーションの結果を向上させるのに用いられる。
【0050】
図4を参照すれば、連結構成要素に基づくノイズの除去方法の一例が示されている。
【0051】
コンピュータは、セグメンテーション画像400で最も大きな塊(chunk)である連結構成要素を除外した残りの構成要素402を除去することによって、向上したセグメンテーション画像410を獲得する。
【0052】
一実施例において、コンピュータは、ホールリジェクション(Hole Rejection)を行う。ホールリジェクションは、畳み込みニューラルネットワークに基づくセグメンテーションのエラーのうちの1つであるホールを除去するのに用いられる。
【0053】
図5を参照すれば、ホールリジェクションを用いた後処理方式の一例が示されている。
【0054】
コンピュータは、セグメンテーション画像500に含まれているホール502の少なくとも一部を除去し、向上したセグメンテーション画像510を獲得する。
【0055】
段階S130で、コンピュータは、段階S120でセグメンテーションされた対象体の脳MRI画像を用いて、セグメンテーションされた複数の領域を含む対象体の3次元脳画像を生成する。
【0056】
図6を参照すれば、対象体の脳MRI画像から生成された3次元脳画像600が示されている。
【0057】
また、セグメンテーションされた対象体の2次元脳MRI画像からセグメンテーションされた対象体の3次元脳画像610を生成した結果の一例が
図6に示されている。
【0058】
段階S140で、コンピュータは、段階S130で生成された3次元脳画像に含まれている複数の領域それぞれの性質に基づいて、対象体の脳に対する電気的刺激の伝達過程をシミュレーションできる対象体の3次元脳地図を生成する。
【0059】
対象体の3次元脳地図を生成し、生成された脳地図を用いてシミュレーションを行う具体的な方法は、
図2を用いて後述する。
【0060】
図2は、一実施例によって対象体の3次元脳地図を生成し、シミュレーションを行う方法を示すフローチャートである。
【0061】
図2に示す方法は、
図1に示した方法の一実施例に該当する。従って、
図2と関連して省略された内容であっても
図1と関連して説明された内容は
図2に示す方法にも適用される。
【0062】
段階S210で、コンピュータは、対象体の3次元脳画像を用いて対象体の脳に対する電気的刺激の伝達過程をシミュレーションできる複数の格子(mesh)で構成された3次元立体画像を生成する。
【0063】
一実施例において、コンピュータは、三角形又は四角形を含む複数の表面格子(Surface Mesh)で構成された3次元立体画像を生成する。
【0064】
一実施例において、コンピュータは、四面体又は六面体を含む複数の空間格子(Volumetric Mesh)で構成された3次元立体画像を生成する。
【0065】
3次元立体画像を構成する格子の種類は、シミュレーションの用途に応じて異なるように設定できる。
【0066】
段階S220で、コンピュータは、対象体の脳に対する電気的刺激による電流の流れをシミュレーションするための前記複数の領域それぞれの物理的特性を獲得する。
【0067】
一実施例において、段階S220で得られる物理的特性は、セグメンテーションされた複数の領域それぞれの等方性(isotropic)電気伝導率及び異方性(anisotropic)電気伝導率のうちの少なくとも1つを含む。
【0068】
一実施例において、等方性電気伝導率は、セグメンテーションされた各領域に対して実験によって知られている電気伝導率を割り当てることによって獲得できる。
【0069】
例えば、脳の各領域に対して知られている電気伝導率は、下記の表1の通りである。
【0070】
【0071】
異方性電気伝導率は、脳白質にある白質繊維の異方性を実現したものである。
【0072】
一実施例において、異方性電気伝導率は、対象体の脳に対する伝導テンソル画像から獲得される。
【0073】
例えば、コンピュータは、対象体の脳MRI画像から対象体の脳に対する伝導テンソル画像を獲得し、獲得した伝導テンソル画像を用いてセグメンテーションされた複数の領域それぞれの異方性電気伝導率を獲得する。
【0074】
他の実施例において、対象体の脳MRI画像は拡散テンソル画像を含み、コンピュータは、対象体の拡散テンソル画像を用いてセグメンテーションされた複数の領域それぞれの異方性電気伝導率を獲得する。
【0075】
図7を参照すれば、拡散テンソル画像700の一例が示されている。
【0076】
拡散テンソル画像の固有ベクトルは、伝導テンソルの固有ベクトルと一致すると知られているため、コンピュータは、拡散テンソル画像に含まれている神経繊維の方向によって異方性電気伝導率を獲得できる。例えば、神経繊維の方向は高い電気伝導率を有し、神経繊維と垂直な方向は低い電気伝導率を有する。
【0077】
段階S230で、コンピュータは、3次元脳地図を用いて、対象体の頭の一地点に特定の電気的刺激が与えられたときに、特定の電気的刺激が対象体の脳から伝播される状態をシミュレーションする。
【0078】
一実施例において、コンピュータは、段階S210で得られた格子画像と、段階S220で得られた物理的特性を用いて電気的刺激が対象体の脳から伝播される状態をシミュレーションする。
【0079】
図8を参照すれば、シミュレーション結果の一例が示されている。
【0080】
対象体の頭に与えられ得る電気的刺激は磁場、電場及び電流のうちの少なくとも1つを含むことができ、対象体の頭に磁場が加えられる場合、対象体の脳には磁場によって誘導された電流を伝播できる。
【0081】
一実施例において、コンピュータは、対象体の脳で電気的刺激を与える刺激目標地点を獲得する。コンピュータは、対象体の3次元脳地図を用いて、刺激目標地点に電気的刺激を与えるために、対象体の頭に電気的刺激を与える位置を獲得する。
【0082】
例えば、コンピュータは、対象体の3次元脳地図を用いて、対象体の頭皮から刺激目標地点まで電気的刺激が伝達されるための推薦経路を獲得し、推薦経路から対象体の頭に電気的刺激を与える位置を獲得できる。
【0083】
コンピュータが対象体の脳に電気的刺激を与えるための位置及び方向を算出及び提供する方法については、以下で後述する。
【0084】
図9は、一実施例によるTMS(Transcranial Magnetic Stimulation、経頭蓋的磁気刺激法)刺激ナビゲーション方法を示すフローチャートである。
【0085】
図9に示したTMS刺激ナビゲーション方法は、コンピュータによって実行される段階を時系列的に示す図である。
【0086】
図10を参照すれば、TMS施術方法の一例が示されている。
【0087】
TMSは、施術用コイル1000を対象体10の頭の一側面に隣接させ、コイル1000で発生する磁場によって対象体10の脳に誘導される電場を利用し、脳の特定部分を刺激する治療方法である。
【0088】
施術用コイル1000の形状によってコイル1000の周辺で発生する磁場の強さと形状が異なるので、対象体10の頭及び脳の形状によって電気的信号が伝播される様子も異なるはずである。
【0089】
従って、開示された実施例によれば、コイル1000の種類による刺激地点を算出して提供し、対象体10の頭及び脳の形状によるシミュレーション結果を提供する。
【0090】
段階S910で、コンピュータは、対象体の脳で電気的刺激を与える刺激目標地点を獲得する。
【0091】
刺激目標地点は、治療しようとする疾患によって臨床的又は理論的根拠に基づいて選択される。一実施例において、刺激目標地点は、開示された実施例によって生成された対象体の3次元脳画像又は3次元脳地図を用いて指示される。
【0092】
段階S920で、コンピュータは、TMS施術用コイルの磁気ベクトルポテンシャル(Magnetic Vector Potential)の空間的分布に関する情報を獲得する。
【0093】
一実施例において、空間的分布に関する情報は、施術用コイルの形状による磁気双極子(Magnetic Dipole)を用いて磁気ベクトルポテンシャルを可視化した情報を含む。
【0094】
図12を参照すれば、施術用コイル(1200及び1250)の種類による磁気ベクトルポテンシャルを可視化した情報(1210及び1260)が示されている。
【0095】
段階S930で、コンピュータは、段階S920で獲得した空間的分布から、段階S910で獲得した刺激目標地点に対する最適刺激条件を獲得するための1つ以上のパラメータを獲得する。
【0096】
一実施例において、刺激目標地点に対する最適刺激条件は、施術用コイルによって刺激目標地点に印加される磁場の強さが最大となるようにする条件を意味する。
【0097】
図11を参照すれば、対象体の脳に印加される磁場と電場の関係が示されている。
【0098】
図11のシミュレーション画像1100(a)を参照すれば、対象体の脳に印加される磁場の大きさ、勾配(電位)の大きさ及び磁場によって誘導される電場の大きさを視覚化したイメージがそれぞれ示されている。対象体の脳に印加される電場の大きさは、対象体の脳に印加される磁場と勾配を足して算出できる。
【0099】
図11のグラフ1100(b)を参照すれば、対象体の脳に印加される磁場と、磁場によって誘導される電場間の相関関係が示されている。
【0100】
グラフ1100(b)によれば、対象体の脳に強い磁場が印加されるほど、対象体の脳に強い電場が誘導されることが分かる。
【0101】
従って、刺激目標地点に対する最適刺激条件は、施術用コイルによって刺激目標地点に印加される磁場の強さが最大となるようにするものであることが分かる。
【0102】
一実施例において、コンピュータが獲得するパラメータは、コイルによって誘導される磁気ベクトルポテンシャルの空間的分布で最も高い磁気ベクトルポテンシャル値を有する最適点(Optimal Point)を含む。
【0103】
また、コンピュータが獲得するパラメータは、最適点を開始点とする法線ベクトル(Normal Vector)のうち最適点での勾配(Gradient)との積が最小となる法線ベクトルである最適ベクトル(Optimal Vector)を含む。
【0104】
図12を参照すれば、磁気ベクトルポテンシャル(1210及び1250)それぞれの最適点(1212及び1262)及び最適ベクトル(1214及び1264)が示されている。
【0105】
最適点(x、y、z)と最適ベクトルvは、下記の式1及び式2によって算出される。
【0106】
【0107】
前記数1において、fは磁気ベクトルポテンシャルマップを意味し、数1によって磁気ベクトルポテンシャルマップfで最も大きな値を有する位置である(x、y、z)が最適点として算出される。
【0108】
【0109】
前記数2において、
は最適点を定義する際に用いられたfを最適点である
で微分した値であり、v(x、y、z)は(x、y、z)方向への法線ベクトルを意味する。
【0110】
段階S940で、コンピュータは、段階S930で得られたパラメータを用いて、段階S910で得られた刺激目標地点に対する最適刺激条件を満たすコイルの位置及び方向を算出する。
【0111】
一実施例において、コイルの位置及び方向を算出する段階は、刺激目標地点が最適点から最適ベクトル方向に最も近接するようにするコイルの位置及び方向を算出する段階を含む。
【0112】
図13を参照すれば、コイルの位置及び方向を算出する方法の一例が示されている。
【0113】
対象体10及び対象体10の刺激目標地点(S、12)が獲得されると、コンピュータは、刺激目標地点12から最も近い頭皮上の一地点14を決定する。
【0114】
このとき、刺激目標地点12及び刺激目標地点12から最も近い頭皮上の一地点14間の距離をDとし、地点14を開始点とし、刺激目標地点12を終点とするベクトルをKとする。また、コイル1310の厚さを2Pとする。
【0115】
コンピュータは、ベクトルK1320とコイル1310の最適ベクトル1312を整列する下記の式3のような行列を生成及び適用する。
【0116】
【0117】
これにより、コイルの位置は、下記の数4のように算出される。
【0118】
【0119】
段階S950で、コンピュータは、施術用コイルを段階S940で算出された位置に段階S950で算出された方向に位置させたときに、施術用コイルの磁場から誘導される電気的刺激が対象体の脳から伝播される状態をシミュレーションする。
【0120】
一実施例において、コンピュータは、
図1及び
図2に示した方法によって生成された3次元脳地図を用いてシミュレーションを行う。
【0121】
例えば、コンピュータは、対象体の脳MRI画像を獲得し、獲得した脳MRI画像に含まれている複数の領域のそれぞれの性質に基づいて、対象体の脳に対する電気的刺激の伝達過程をシミュレーションできる対象体の3次元脳地図を生成できる。
【0122】
コンピュータは、生成された3次元脳地図を用いて、コイルによる電気的刺激が対象体の脳から伝播される状態をシミュレーションする。
【0123】
また、3次元脳地図は、対象体の脳に対する電気的刺激の伝達過程をシミュレーションできる複数の格子で構成された3次元立体画像を含むことができる。
【0124】
一実施例において、コンピュータは、施術用コイルの磁場から誘導される電気的刺激が対象体の脳から伝播される状態を、3次元立体画像を用いて視覚化する。
【0125】
図14を参照すれば、施術用コイルの磁場から誘導される電気的刺激が対象体の脳から伝播される状態を視覚化した例示が示されている。
【0126】
開示された実施例において、コンピュータは、TMS施術用コイルが備えられたロボットアーム装置と接続される。ロボットアーム装置は、コンピュータが指定した位置にTMS施術用コイルを移動させることができる機械装置を含む。
【0127】
ロボットアーム装置は、開示された実施例によってコンピュータが指定した位置にTMS施術用コイルを移動させることによって、コンピュータの演算結果によって自動的に患者にTMSコイルを用いた施術を行える。
【0128】
図15は、一実施例によるパッドガイド方法を示すフローチャートである。
【0129】
開示された実施例において、パッドは脳刺激パッドを含む。例えば、脳刺激パッドは、電気刺激パッド及び超音波刺激パッドを含むことができるが、これに制限されない。また、パッドは、EEGパッドを含む。但し、開示された実施例によるパッドの種類は、上述した例示に制限されない。
【0130】
段階S1510で、コンピュータは、深度カメラを用いて対象体の頭を含む3次元スキャンモデルを獲得する。
【0131】
深度カメラ(depth camera)は、三角測量方式の3次元レーザスキャナ、構造光線パターンを用いた深度カメラ、赤外線の反射時間差を用いたTOF(Time Of Flight)方式を利用した深度カメラなどを含むことができるが、その種類はこれに制限されない。
【0132】
深度カメラは、画像に距離情報を反映して3次元スキャンモデルを獲得するのに用いられる。
【0133】
一実施例において、対象体、即ち患者は、背もたれのない丸椅子に着席し、使用者、即ち医師は、三角台など仮固定装置を用いて深度カメラを患者の顔の高さから患者の顔がよく見えるように位置させる。
【0134】
医師は、深度カメラを用いたスキャンを開始し、患者をゆっくり一回まわすことによって患者の頭を含む3次元スキャンモデルを獲得する。
【0135】
一実施例において、深度カメラを自動回転可能な固定モジュールに配置して、深度カメラが中央に位置する患者の周辺を回転することによって3次元スキャンモデルを獲得できる。
【0136】
反面、開示された実施例によれば、別途の高価な装置がなくても3次元スキャンが可能なように、携帯可能なコンピュータ装置(例えば、スマートフォン、タブレットPCなど)に深度カメラモジュールを接続し、三角台など手軽に入手できる仮固定装置を用いて深度カメラモジュールが接続されているコンピュータ装置を固定し、患者をスツールなどに着席させた後に回転させることによって3次元スキャンモデルを獲得できる。
【0137】
図20を参照すれば、携帯可能なコンピュータ装置2000とそれに接続されている深度カメラモジュール2010が示されている。
【0138】
また、
図18を参照すれば、深度カメラを用いて獲得した3次元スキャンモデル1800の一例が示されている。
【0139】
一実施例において、コンピュータは、深度カメラを用いて収集された距離画像を用いて対象体の頭を含む3次元モデルを生成し、互いに異なる開始点で撮影された画像を互いに位置合わせした後合体して、対象体の3次元モデルを再構成する。例えば、コンピュータは、深度カメラを用いて収集された距離画像で点群(point cloud)形態の3次元データを収集してモデルを再構成する。しかし、3次元モデルを生成する方法は制限されない。
【0140】
段階S1520で、コンピュータは、対象体の3次元脳MRIモデルを獲得する。
【0141】
一実施例において、対象体の3次元脳MRIモデルを獲得する段階は、対象体の脳MRI画像を獲得する段階と、対象体の脳MRI画像に含まれている複数の領域のそれぞれの性質に基づいて、対象体の脳に対する電気的刺激の伝達過程をシミュレーションできる対象体の3次元脳地図を生成する段階とを含む。
【0142】
また、対象体の3次元脳地図を生成する段階は、対象体の脳に対する電気的刺激の伝達過程をシミュレーションできる複数の格子(mesh)で構成された3次元立体画像を生成する段階を含む。
【0143】
段階S1520でコンピュータが対象体の3次元脳MRIモデルを獲得する方法は、
図1ないし
図8と関連して説明した3次元脳地図の生成方法を用いることができる。
【0144】
段階S1530で、コンピュータは、対象体の頭を含む3次元スキャンモデルと対象体の脳MRIモデルに対する整合を行う。
【0145】
図17を参照すれば、イメージを整合する方法の一実施例が示されている。
図17に示したイメージ1700を参照すれば、対象体の脳MRI写真と、対象体の脳の構造をモデリングしたイメージが重なっている。
【0146】
イメージ1700で、下側の3つのイメージは、脳MRI写真と脳の構造をモデリングしたイメージが整合されていない例に該当する。また、イメージ1700で、上側の3つのイメージは、脳MRI写真と脳の構造をモデリングしたイメージが整合された例に該当する。
【0147】
コンピュータは、脳MRIモデルを用いてパッドが付される位置によってパッドの電気又は超音波刺激により対象体の脳で発生する変化を計算する。また、コンピュータは、対象体の頭を含む3次元スキャンモデルを用いてパッドを実際に付すべき位置を計算する。
【0148】
従って、コンピュータは、対象体の頭を含む3次元スキャンモデルと対象体の脳MRIモデルに対する整合を行うことによって、対象体の頭にパッドを付すべき位置を計算し、それにより対象体の脳で発生する変化を計算できる。同様に、コンピュータは整合された結果を用いて、対象体の脳に特定の変化を起こすために、対象体の頭にパッドを付すべき位置を計算し、その結果を提供できる。
【0149】
一実施例において、コンピュータが整合を行う段階は、スキャンモデルと脳MRIモデルの顔特性(facial feature)を計算する段階及びスキャンモデルと脳MRIモデルの顔特性を用いてスキャンモデルと脳MRIモデルの整合を行う段階を含む。
【0150】
対象体の頭を含むスキャンモデルと対象体の脳MRIモデルはその様式が異なるので、整合し難い。従って、コンピュータは、対象体の顔特性を用いて両モデルを整合させることができる。
【0151】
一実施例において、対象体の頭を含むスキャンモデルの顔特性を計算する段階は、対象体の頭を含む色画像及び深度画像を獲得する段階と、対象体の頭を含む色画像を用いて対象体の顔特性を計算する段階と、対象体の頭を含む深度画像を用いて対象体の顔特性の3次元位置を計算する段階とを含む。
【0152】
図18を参照すれば、対象体の頭を含むスキャンモデル1800及び対象体の脳MRIモデル1810を整合し、整合されたモデル1820を生成する一例が示されている。
【0153】
段階S1540で、コンピュータは、深度カメラを用いて対象体の頭を撮影した画像を獲得する。
【0154】
例えば、医師は、仮固定された深度カメラを直接手に持って患者の頭を映しながら動かすことができる。
【0155】
段階S1550で、コンピュータは、段階S1540で撮影された画像の一位置と整合されたモデル上の一位置をマッチさせる。
【0156】
例えば、コンピュータが深度カメラを用いて対象体の頭の一地点を撮影している場合、コンピュータは、撮影されている一地点が整合されたモデル上でどの部分に該当するかに対する計算を行う。
【0157】
一実施例において、コンピュータは、撮影された画像と整合されたモデルをマッチして対象体の頭に付するパッドの位置をガイドする画像を表示する。
【0158】
図19を参照すれば、深度カメラモジュールが接続されているコンピュータ装置1900が対象体の頭1910を撮影し、コンピュータ装置1900は、撮影された対象体の頭1910にパッド1930を付するための位置1920をガイドする画像を表示する。
【0159】
一実施例において、コンピュータ装置1900は、整合されたモデル上でパッド1930を付する位置を決定し、撮影された画像において決定された位置に対応する位置1920を表示する。
【0160】
また、コンピュータ装置1900は、撮影された画像でパッド1930を認識し、認識されたパッド1930の移動方向をガイドする。
【0161】
更に、コンピュータ装置1900は、認識されたパッド1930が決定された位置1920に付されたか否かを判断する。
【0162】
一実施例において、パッド1930には少なくとも1つのマーカが付されるか又は表示される。例えば、パッド1930には特定の図形、色及び2次元コードのうちの少なくとも1つが付されるか又は表示され、コンピュータ装置1900は、パッド1930に付着又は表示されたマーカを用いてパッド1930を認識し、パッド1930の動きをトラッキングする。
【0163】
例えば、医師が患者の頭をコンピュータ装置1900又はコンピュータ装置1900と接続されている深度カメラを用いて位置を変更しながら撮影する場合、コンピュータ装置1900に表示される患者の頭の位置も変更され、同様に、コンピュータ装置1900が認識するパッド1930の位置も変更される。この場合、コンピュータ装置1900は、コンピュータ装置1900が移動する場合にもパッド1930をトラッキングして、医師が患者の頭の正確な位置にパッド1930を付することができるようにガイドする。
【0164】
一実施例において、コンピュータ装置1900は、撮影された画像でパッド1930を認識し、認識されたパッドの移動方向をガイドする。例えば、コンピュータ装置1900は、パッド1930が決定された位置1920に付され得るように、パッド1930の移動方向を表示する。
【0165】
また、コンピュータ装置1900は、認識されたパッド1930が決定された位置1920に付されたか否かを判断する。例えば、コンピュータ装置1900は、パッド1930が最終的に認識された位置が決定された位置1920に対応するか否かを判断し、決定された位置1920とパッド1930が付された位置が異なる場合、パッド1930の位置を変更することを要請する通知を提供できる。
【0166】
一実施例において、コンピュータ装置1900は、撮影された画像で対象体の頭に付されたパッド1930を認識し、認識されたパッド1930の位置を判断する。コンピュータ装置1900は、判断されたパッド1930の位置に対応する、整合されたモデル上の位置を獲得する。
【0167】
例えば、EEG脳波検査を行う場合、使用者の頭の形状及び構造と関係なく、一貫した位置にEEGパッドを付するか、任意の位置にEEGパッドを付する。この場合、EEGパッドが獲得した脳波が対象体の脳のどの位置から受信された脳波であるかが具体的に分かり難い。
【0168】
従って、開示された実施例によれば、コンピュータ装置1900は、1つ以上のEEGパッドを付した対象体の頭を撮影し、撮影された画像で認識された1つ以上のEEGパッドの位置を獲得する。
【0169】
コンピュータ装置1900は、得られたEEGパッドの位置に対応する対象体の整合されたモデル上の位置を獲得して、対象体の頭に付されたEEGパッドで獲得した脳波が対象体の脳のどの部分から受信されたかを具体的に判断できる。例えば、コンピュータ装置1900は、開示された実施例を活用して各EEGパッドで受信した脳波の信号源を分析できる。
【0170】
図16は、一実施例によって電気刺激結果をシミュレーションする結果を示す図である。
【0171】
図16を参照すれば、対象体の頭1600の3次元モデル及び3次元モデル上の一位置にパッド1610を付した実施例が示されている。
【0172】
コンピュータは、対象体の頭1600の3次元モデルの一位置にパッド1610が付された場合、パッド1610による電気刺激が対象体の脳1650から伝達される結果をシミュレーションする。
【0173】
一実施例において、コンピュータは、対象体の脳1650に対する3次元脳地図を獲得し、3次元脳地図を用いて対象体の頭に付されるパッド1610の位置を決定する。
【0174】
一実施例において、パッド1610の位置を決定する段階は、パッド1610を用いる目的を獲得する段階と、対象体の頭1600にパッド1610が付される位置によって前記対象体の脳1650に電気的刺激が伝達される過程をシミュレーションする段階と、獲得した目的とシミュレーション結果を用いてパッド1610の位置を決定する段階とを含む。
【0175】
例えば、コンピュータは、対象体の脳1650に特定の刺激を与えようとする場合、シミュレーション結果を用いて対象体の脳1650に特定の刺激を与えられるパッド1610の位置を決定できる。
【0176】
コンピュータは、
図16に示した実施例によって決定されたパッド1610の位置を、深度カメラを用いて撮影された対象体の頭の一地点とマッチさせ、マッチした位置にパッドをガイドする画像を表示できる。
【0177】
本発明の実施例と関連して説明された方法又はアルゴリズムの段階は、ハードウェアで直接実現するか、ハードウェアにより実行されるソフトウェアモジュールで実現するか、又はこれらの組み合わせにより実現できる。ソフトウェアモジュールは、RAM(Random Access Memory)、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、フラッシュメモリ(Flash Memory)、ハードディスク、脱着型ディスク、CD-ROM、又は本発明が属する技術分野において周知されている任意の形態のコンピュータ読み取り可能な記録媒体に常に存在し得る。
【0178】
以上、添付の図面を参照して本発明の実施例を説明したが、本発明が属する技術分野における通常の技術者は、本発明がその技術的思想や必須な特徴を変更することなく、他の具体的な形態で実施できるということが理解できるであろう。従って、以上で述べた実施例は全ての面で例示的なものであり、制限的ではないものとして理解すべきである。