(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023143663
(43)【公開日】2023-10-06
(54)【発明の名称】磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化方法及びシステム
(51)【国際特許分類】
A61B 5/055 20060101AFI20230928BHJP
G06T 7/00 20170101ALI20230928BHJP
【FI】
A61B5/055 380
A61B5/055 382
G06T7/00 350C
【審査請求】有
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022186860
(22)【出願日】2022-11-22
(31)【優先権主張番号】202210296098.4
(32)【優先日】2022-03-24
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】521162399
【氏名又は名称】之江実験室
(74)【代理人】
【識別番号】110002262
【氏名又は名称】TRY国際弁理士法人
(72)【発明者】
【氏名】張 瑜
(72)【発明者】
【氏名】邱 文渊
(72)【発明者】
【氏名】王 志超
(72)【発明者】
【氏名】孫 超良
(72)【発明者】
【氏名】銭 浩天
(72)【発明者】
【氏名】李 勁松
【テーマコード(参考)】
4C096
5L096
【Fターム(参考)】
4C096AA03
4C096AC01
4C096AD14
4C096AD24
4C096BA18
4C096DB06
4C096DC18
4C096DC21
4C096DC23
4C096DC25
4C096DC35
5L096AA06
5L096BA08
5L096DA01
5L096HA09
5L096HA11
5L096KA04
5L096KA15
(57)【要約】 (修正有)
【課題】磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化方法及びシステムを提供する。
【解決手段】方法及びシステムは、安静時機能的磁気共鳴データ(rs-fMRI)から関心領域に基づく機能的接続により特徴を抽出するとともに、特徴に対してフィッシャー変換及び指数変換を行い、データセットにおけるT1加重磁気共鳴データに対して対応する隣接行列を抽出し、変換後の特徴及び隣接行列を入力、グループアトラスタグ及びサンプリングマスクを出力として、シャムグラフニューラルネットワークを設計して訓練及びテストを行う。
【効果】他の個別化手段に比べ、rs-fMRI及びグループアトラスのデータ特徴を利用して設計したシャムネットワークアーキテクチャ及び中心サンプリングモードにより再構成された個別化された脳グラフのタスク状態磁気共鳴データにおける活性化分布はより均一であり、再構成時間が短くなる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化方法であって、
大脳皮質の頂点に基づく時系列データである被験者の磁気共鳴データを取得するステップ(1)と、
関心領域に基づく機能的接続(RSFC)を利用して被験者の磁気共鳴データから特徴を抽出するとともに、抽出された特徴をフィッシャー変換して特徴を正規化し、且つ指数変換を行って特徴をスパース化し、スパース化後のデータをシャムグラフニューラルネットワークの特徴入力とするステップ(2)と、
被験者の磁気共鳴データに基づいて被験者の大脳皮質の表面の接続情報を取得し、接続情報で記述される大脳皮質の各頂点の接続関係に基づいて被験者の隣接行列を計算して、シャムグラフニューラルネットワークのグラフ入力とするステップ(3)と、
ワーシャル-フロイド法(Floyd-Warshall)を利用してグループアトラスの中心点サンプリングマスクをシャムグラフニューラルネットワーク損失関数の加重係数として抽出し、グループアトラスを選択してサンプリングマスクを計算する過程では、与えられた任意の被験者の機能的磁気共鳴イメージング(fMRI)皮質表面頂点に対して、ワーシャル-フロイド法(Floyd-Warshall)に基づいて隣接行列における与えられた頂点から他のfMRI皮質表面頂点までの最短距離(SPD)を計算し、最も大きなSPDを与えられた頂点の遠心度とし、各関心ROI領域に対して、遠心度を昇順でソートし、上位20%の遠心度が最も小さな点を信頼度が高い点として選択し、中心点サンプリングマスクを抽出するステップ(4)と、
被験者間差異性をネットワーク損失関数に追加し、中心点サンプリングマスク及びグループアトラスをタグとして半教師あり学習の方式でネットワークを訓練し、シャムグラフニューラルネットワーク損失関数を計算するとき、入力するたびに2つの被験者データ及びそれらが同じ被験者のタグに属するかどうかを提供し、対応する損失関数はグループアトラスと2つの被験者の個別化された脳アトラスとの交差エントロピー及び個別化された脳アトラス間の対照的な損失関数を含み、重み比を1:1:λとし、λはハイパーパラメータであり、対照的な損失関数が占める割合を示し、その中の1組の被験者の完全損失関数は、
【請求項2】
取得された被験者の磁気共鳴データは機能的接続(RSFC)により特徴を抽出するための安静時機能的磁気共鳴(rs-fMRI)皮質データと、被験者の隣接行列を計算するためのT1加重磁気共鳴(MRI)データと、を含むことを特徴とする請求項1に記載の磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化方法。
【請求項3】
機能的接続(RSFC)による特徴抽出において、各被験者はいずれも位相エンコードの左から右への2つの走査シーケンスの安静時機能的磁気共鳴(rs-fMRI)データを選択し、次にグループアトラスを参照アトラスとして選択し、グループアトラスに基づいて関心領域(ROI)を定義して該領域の平均時系列信号を計算し、次にすべての被験者の機能的磁気共鳴イメージング(fMRI)皮質表面頂点の平均時系列信号とピアソン相関を実行し、皮質表面頂点とROIとの機能的接続行列を生成し、行列における各行は頂点の特徴ベクトルを示し、次にフィッシャー変換及び指数変換を使用して抽出された特徴に対してデータ変換を行い、フィッシャー変換及び指数変換の式はそれぞれ、
ここで、rは機能的接続行列であり、ピアソン相関係数を使用して算出されたものであり、範囲が[-1,1]であり、fはフィッシャー変換の結果であり、dは指数変換後のデータであり、sigは拡大縮小範囲を制御し、その値の範囲が[0.1,1]であることを特徴とする請求項2に記載の磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化方法。
【請求項4】
隣接行列を計算するとき、T1加重磁気共鳴データを32k解像度の大脳皮質に投射して、対応する脳グラフ接続データを取得し、且つこのデータに基づいて隣接行列を計算し、シャムグラフニューラルネットワークのグラフ入力とすることを特徴とする請求項2に記載の磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化方法。
【請求項5】
構築されたシャムグラフニューラルネットワークはパラメータを共有する2層のグラフニューラルネットワーク(GCN)層を含み、フィルタがチェビシェフ(Chebyshev)畳み込みカーネルを使用することを特徴とする請求項1に記載の磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化方法。
【請求項6】
磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化システムであって、データ取得モジュール、特徴抽出モジュール、隣接行列計算モジュール、中心点サンプリングマスク抽出モジュール、シャムグラフニューラルネットワーク構築モジュール及び脳グラフ個別化モジュールを備え、
前記データ取得モジュールは大脳皮質の頂点に基づく時系列データである被験者の磁気共鳴データを取得するためのものであり、
前記特徴抽出モジュールは関心領域に基づく機能的接続(RSFC)を利用して被験者の磁気共鳴データから特徴を抽出するとともに、抽出された特徴をフィッシャー変換して特徴を正規化し、且つ指数変換を行って特徴をスパース化し、スパース化後のデータをシャムグラフニューラルネットワークの特徴入力とするためのものであり、
前記隣接行列計算モジュールはデータ取得及び処理モジュールが取得した磁気共鳴データに基づいて被験者の大脳皮質の表面の接続情報を取得し、接続情報で記述される大脳皮質の各頂点の接続関係に基づいて被験者の隣接行列を計算して、シャムグラフニューラルネットワークのグラフ入力とするためのものであり、
前記中心点サンプリングマスク抽出モジュールはワーシャル-フロイド法(Floyd-Warshall)を利用してグループアトラスの中心点サンプリングマスクをシャムグラフニューラルネットワーク損失関数の加重係数として抽出し、グループアトラスを選択してサンプリングマスクを計算する過程では、与えられた任意の被験者の機能的磁気共鳴イメージング(fMRI)皮質表面頂点に対して、ワーシャル-フロイド法(Floyd-Warshall)に基づいて隣接行列における与えられた頂点から他のfMRI皮質表面頂点までの最短距離(SPD)を計算し、最も大きなSPDを与えられた頂点の遠心度とし、各関心ROI領域に対して、遠心度を昇順でソートし、上位20%の遠心度が最も小さな点を信頼度が高い点として選択し、中心点サンプリングマスクを抽出するためのものであり、
前記シャムグラフニューラルネットワーク構築モジュールはシャムグラフニューラルネットワークを構築し、且つ被験者間差異性をネットワーク損失関数に追加し、中心点サンプリングマスク及びグループアトラスをタグとして半教師あり学習の方式でネットワークを訓練し、シャムグラフニューラルネットワーク損失関数を計算するとき、入力するたびに2つの被験者データ及びそれらが同じ被験者のタグに属するかどうかを提供し、対応する損失関数はグループアトラスと2つの被験者の個別化された脳アトラスとの交差エントロピー及び個別化された脳アトラス間の対照的な損失関数を含み、重み比を1:1:λとし、λはハイパーパラメータであり、対照的な損失関数が占める割合を示すためのものであり、その中の1組の被験者の完全損失関数は、
【請求項7】
実行可能コードが記憶されるメモリと、1つ又は複数のプロセッサとを備える磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化装置であって、
前記プロセッサが前記実行可能コードを実行するとき、請求項1~5のいずれか1項に記載の方法が実現されることを特徴とする磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化装置。
【請求項8】
プログラムが記憶されるコンピュータ可読記憶媒体であって、
前記プログラムがプロセッサにより実行されるとき、請求項1~5のいずれか1項に記載の方法が実現されることを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、2022年3月24日に中国国家知識産権局に提出された出願番号が202210296098.4、発明の名称が「磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化方法及びシステム」の中国特許出願の優先権を主張し、その全内容が援用により本願に組み込まれている。
【0002】
本発明は医用画像の分野及び深層学習の分野に関し、特に磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化方法及びシステムに関する。
【背景技術】
【0003】
大脳皮質は人間の知覚、運動及び他の認知機能の重要な基盤を提供する。神経科学において、脳の領域化は脳機能の認知、特定及び分析に対して非常に重要である。
【0004】
大脳皮質領域は異なる機能、構造、接続関係及びトポロジー構造を示し、従って、クラスタリングの方法で脳の領域化を行うことができる。現在、大脳皮質の関連情報を取得するための非侵襲的な方法はかなり多くあり、例えば、磁気共鳴(MRI)、脳磁図(MEG)等が挙げられる。MRIは時空間解像度が比較的高く、放射性がない等の利点を有するため、既に広く使用されているイメージング技術となった。安静時機能的磁気共鳴画像法(rs-fMRI)は、被験者の非タスク状態での脳血中酸素信号の変化状況を反映することができ、これらの変化の関連関係は大脳皮質領域に十分な根拠を提供することができ、従って、脳の領域化を研究する主な方法の1つである。更に、rs-fMRIによって計算された安静時機能的接続(RSFC)は脳領域のfMRI信号の同期性を反映することができ、従って、皮質頂点間の関連関係を確実に反映することができる。それだけではなく、RSFCは遺伝可能なものであり、皮質の遺伝子発現に関連し、個体間の行動の差異を予測することができる。従って、多くの脳アトラスの構築はいずれもRSFC信号を利用して脳領域に対してクラスタリング分割を行い、且つ被験者間で平均化する結果である。このような大量の被験者の平均に基づく脳グラフ、即ちグループアトラス(参考文献:Schaefer,A.,Kong,R.,Gordon,E.M.,Laumann,T.O.,Zuo,X.,and Holmes,A.J.,et al.(2018).Local-global parcellation of the human cerebral cortex from intrinsic functional connectivity MRI.Cereb.Cortex.28(9),3095-3114.)は人間の脳の巨視的な組織構造に重要な観察指標及び統計データを提供することができる。しかしながら、このような脳グラフは、特に脳領域のサイズ、空間的位置及び配列方式等が著しく変化する領域では、個体間の差異を反映していないことがよくある。従って、行動予測又は疾患診断がこれらの差異に関連すれば、それらを正確に検出することは困難である。このようなグループアトラスは生物学的指紋特徴の構築過程において比較的大きな制限がある。従って、個別化された脳グラフは神経科学の分野及び臨床研究ではますます重要になり、人間の認知、行動、感情等を予測することができるだけでなく、人間の脳のトポロジー構造における個体間の差異を捉えることもでき、且つこれらの差異に対して遺伝子分析を行うことができる。より重要なのは、個体の脳の生物学的指紋特徴を生成することができ、脳変性疾患(例えば、アルツハイマー病、パーキンソン病)の予測及び診断には重要な役割を果たす。
【0005】
従来の個別化された脳グラフアルゴリズムは常にユークリッド空間又は皮質空間における構造イメージングの線形又は非線形レジストレーションに依存する。いくつかの機械学習アルゴリズムはこれらのレジストレーションに一部の分析ツールを提供し、例えば、機能領域、解剖構造、機能的接続等によって皮質領域を位置合わせする。例えば、Wangら(参考文献:Wang D,Buckner R L,Fox M D,et al. Parcellating cortical functional networks in individuals[J].Nature neuroscience,2015,18(12):1853-1860.)は「コア信号」の概念を導入し、且つ機能的接続、信号対雑音比によってコア信号の脳領域タグを絶えずに更新することで、個別化されたアトラスを再構成し、Chongら(参考文献:Chong M,Bhushan C,Joshi A A,et al.Individual parcellation of resting fMRI with a group functional connectivity prior[J].NeuroImage,2017,156:87-100.)はベイジアンモデル及びスパース制約の手段を利用して個別化されたアトラスを反復的に最適化する。しかしながら、これらの2つの方法は大脳皮質のrs-fMRI信号の一部の事前知識のみを利用し、個体間の一貫性(個体間の一部の脳領域は非常に類似する)及び差異性(個体間の一部の脳領域に比較的大きな差異がある)の2つの事前知識をアルゴリズムに明示的に導入していない。そして、Kongら(参考文献1:Kong R,Li J,Orban C,et al.Spatial topography of individual-specific cortical networks predicts human cognition,personality,and emotion[J].Cerebral cortex,2019,29(6):2533-2551.、参考文献2:Kong R,Yang Q,Gordon E,et al.Individual-Specific Areal-Level parcellations improve functional connectivity prediction of behavior[J].bioRxiv,2021.)は確率的グラフィカルモデルを確立して、グループアトラス、被験者間差異性、被験者内一貫性等の事前知識を明示的に導入することにより個別化されたアトラスを再構成し、個体脳グラフの再構成効果を更に向上させ、且つその合理性が証明される。以上の手段は依然としていくつかの欠点があり、例えば、fMRI単一データノード又はその一次ドメインノードの特徴のみを考慮し、且つその反復手段は収束が比較的遅く、再構成時間が比較的長い。
【発明の概要】
【発明が解決しようとする課題】
【0006】
従来技術の欠点に対して、本発明は磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化方法及びシステムを提供する。大量の被験者データで訓練し、訓練済みのシャムグラフニューラルネットワークを利用して未知の安静時磁気共鳴データの個別化された脳グラフを推定することによって、再構成時間を著しく減少させることができ、グループアトラス及びサンプリングマスクをタグとして利用し、シャムネットワークを導入し且つ半教師あり学習の方式を用いて、個別化された脳グラフに比較的高い個体間一貫性を保持させるとともに、個体間の差異性をできる限り反映することができる。それだけでなく、利用されたシャムグラフニューラルネットワークはチェビシェフ多項式グラフ畳み込み構造を用いるため、高次ドメインの情報を十分に利用することができ、各頂点の属する脳領域の特定がより正確である。
【課題を解決するための手段】
【0007】
本発明の技術案は以下のとおりである。まず、被験者のrs-fMRIデータ及びT1加重MRIデータに基づいて機能的接続及び隣接行列を構築し、隣接行列を頂点に基づく脳接続グラフに変換し、次に、機能的接続をネットワーク入力として該脳グラフに組み込んで、次に、高次グラフ畳み込みを使用して上記脳グラフの頂点間の局所的な特徴を統合し、且つ各グラフ畳み込み層において複数の畳み込みカーネルを訓練して皮質領域の差異性を符号化し、それだけでなく、更にシャムネットワークのアーキテクチャを利用して被験者間の差異性を損失関数に明示的に導入し、これによってシャムグラフに基づく畳み込みネットワークモデルを構築して訓練を行い、最後に、高信頼度点の概念を導入し、ワーシャル-フロイド法(Floyd-Warshall)を利用してグループアトラスにおけるすべての頂点の最短経路長さを計算し、且つ各脳領域における頂点の遠心度を計算し、遠心度が小さな一部の点を高信頼度点として選択し、これらの点からなるサンプリングマスクを生成し、このように、個体間の一貫性を更に保持することができるとともに、被験者間に十分な差異性を有するように確保することもでき、これに基づいて半教師あり学習モードを設計する。
【0008】
具体的には、前記方法は、
大脳皮質の頂点に基づく時系列データである被験者の磁気共鳴データを取得するステップ(1)と、
関心領域に基づく機能的接続(RSFC)を利用して被験者の磁気共鳴データから特徴を抽出するとともに、抽出された特徴をフィッシャー変換して特徴を正規化し、且つ指数変換を行って特徴をスパース化し、スパース化後のデータをシャムグラフニューラルネットワークの特徴入力とするステップ(2)と、
被験者の磁気共鳴データに基づいて被験者の大脳皮質の表面の接続情報を取得し、接続情報で記述される大脳皮質の各頂点の接続関係に基づいて被験者の隣接行列を計算して、シャムグラフニューラルネットワークのグラフ入力とするステップ(3)と、
ワーシャル-フロイド法(Floyd-Warshall)を利用してグループアトラスの中心点サンプリングマスクをシャムグラフニューラルネットワーク損失関数の加重係数として抽出するステップ(4)と、
被験者間差異性をネットワーク損失関数に追加し、中心点サンプリングマスク及びグループアトラスをタグとして半教師あり学習の方式でネットワークを訓練するステップ(5)と、
任意の磁気共鳴データを与え、ステップ(2)における同じ特徴抽出過程を経て、訓練済みのシャムグラフニューラルネットワークに入力し、シャムグラフニューラルネットワークから出力された個別化された領域のone-hot符号化行列を符号化次元に沿って最大値の位置で一次元ベクトルにマッピングし、被験者の磁気共鳴データに対応する個別化された脳アトラスを取得するステップ(6)と、を含む。
【0009】
更に、取得された被験者の磁気共鳴データは機能的接続(RSFC)により特徴を抽出するためのrs-fMRI皮質データと、被験者の隣接行列を計算するためのT1加重磁気共鳴(MRI)データと、を含む。
【0010】
更に、機能的接続(RSFC)による特徴抽出において、各被験者はいずれも左から右への2つの走査シーケンスの安静時機能的磁気共鳴(rs-fMRI)データを選択し、次にグループアトラスを参照アトラスとして選択し、グループアトラスに基づいて関心領域(ROI)を定義して該領域の平均時系列信号を計算し、次にすべての被験者の機能的磁気共鳴イメージング(fMRI)皮質表面頂点の平均時系列信号とピアソン相関を実行し、皮質表面頂点とROIとの機能的接続行列を生成し、行列における各行は頂点の特徴ベクトルを示し、次にフィッシャー変換及び指数変換を使用して抽出された特徴に対してデータ変換を行い、フィッシャー変換及び指数変換の式はそれぞれ、
ここで、rは機能的接続行列であり、ピアソン相関係数を使用して算出されたものであり、範囲が[-1,1]であり、はフィッシャー変換の結果であり、dは指数変換後のデータであり、sigは拡大縮小範囲を制御し、その値の範囲が[0.1,1]である。
【0011】
更に、隣接行列を計算するとき、T1加重磁気共鳴データを32k解像度の大脳皮質に投射して、対応する脳グラフ接続データを取得し、且つこのデータに基づいて隣接行列を計算し、シャムグラフニューラルネットワークのグラフ入力とする。
【0012】
更に、構築されたシャムグラフニューラルネットワークはパラメータを共有する2層のグラフニューラルネットワーク(GCN)層を含み、第1層は64個のフィルタを使用し、第2層に使用されたフィルタの数は使用されたグループアトラスの脳領域の数に等しく、フィルタはチェビシェフ(Chebyshev)畳み込みカーネルを使用し、次数は6次を使用する。
【0013】
更に、グループアトラスを選択してサンプリングマスクを計算する過程では、与えられた任意の被験者の機能的磁気共鳴イメージング(fMRI)皮質表面頂点に対して、ワーシャル-フロイド法(Floyd-Warshall)に基づいて隣接行列における与えられた頂点から他のfMRI皮質表面頂点までの最短距離(SPD)を計算し、最も大きなSPDを与えられた頂点の遠心度とし、各関心ROI領域に対して、遠心度を昇順でソートし、上位20%の遠心度が最も小さな点を信頼度が高い点として選択し、中心点サンプリングマスクを抽出する。
【0014】
更に、シャムグラフニューラルネットワーク損失関数を計算するとき、入力するたびに2つの被験者データ及びそれらが同じ被験者のタグに属するかどうかを提供し、対応する損失関数はグループアトラスと2つの被験者の個別化された脳アトラスとの交差エントロピー及び個別化された脳アトラス間の対照的な損失関数を含み、重み比を1:1:λとし、λはハイパーパラメータであり、対照的な損失関数が占める割合を示し、その中の1組の被験者の完全損失関数は、
【0015】
第2態様では、本発明は磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化システムを更に提供し、該システムはデータ取得モジュール、特徴抽出モジュール、隣接行列計算モジュール、中心点サンプリングマスク抽出モジュール、シャムグラフニューラルネットワーク構築モジュール及び脳グラフ個別化モジュールを備え、
前記データ取得モジュールは大脳皮質の頂点に基づく時系列データである被験者の磁気共鳴データを取得するためのものであり、
前記特徴抽出モジュールは関心領域に基づく機能的接続(RSFC)を利用して被験者の磁気共鳴データから特徴を抽出するとともに、抽出された特徴をフィッシャー変換して特徴を正規化し、且つ指数変換を行って特徴をスパース化し、スパース化後のデータをシャムグラフニューラルネットワークの特徴入力とするためのものであり、
前記隣接行列計算モジュールはデータ取得及び処理モジュールが取得した磁気共鳴データに基づいて被験者の大脳皮質の表面の接続情報を取得し、接続情報で記述される大脳皮質の各頂点の接続関係に基づいて被験者の隣接行列を計算して、シャムグラフニューラルネットワークのグラフ入力とするためのものであり、
前記中心点サンプリングマスク抽出モジュールはワーシャル-フロイド法(Floyd-Warshall)を利用してグループアトラスの中心点サンプリングマスクをシャムグラフニューラルネットワーク損失関数の加重係数として抽出するためのものであり、
前記シャムグラフニューラルネットワーク構築モジュールはシャムグラフニューラルネットワークを構築し、且つ被験者間差異性をネットワーク損失関数に追加し、中心点サンプリングマスク及びグループアトラスをタグとして半教師あり学習の方式でネットワークを訓練するためのものであり、
前記脳グラフ個別化モジュールはシャムグラフニューラルネットワークから出力された個別化された領域のone-hot符号化行列を符号化次元に沿って最大値の位置で一次元ベクトルにマッピングし、被験者の磁気共鳴データに対応する個別化された脳グラフを取得するためのものである。
【0016】
第3態様では、本発明は磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化装置を更に提供し、メモリ及び1つ又は複数のプロセッサを備え、前記メモリに実行可能コードが記憶され、前記プロセッサが前記実行可能コードを実行するとき、前記磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化方法が実現される。
【0017】
第4態様では、本発明はコンピュータ可読記憶媒体を更に提供し、プログラムが記憶され、前記プログラムがプロセッサにより実行されるとき、前記磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化方法が実現される。
【発明の効果】
【0018】
本発明の有益な効果は以下のとおりである。本発明はグループアトラス及び中心点サンプリングマスクをタグとすることにより、個体アトラスとグループアトラスとの一貫性が確保されるだけでなく、個別化されたアトラスが境界部分で比較的高い可変性を示すことも許容され、また、シャムネットワークのアーキテクチャを導入することにより、被験者内の個体アトラスの一貫性が確保されるとともに、異なる被験者の個体アトラスの差異性も向上する。それと同時に、背景説明における他の技術に比べて、個別化されたアトラスの有効性が確保されるとともに、再構成時間を大幅に短縮させる。本発明を利用して各被験者に合理的な個別化された脳グラフを構築することは、より正確な生物学的指紋特徴情報を取得することに寄与し、行動予測、遺伝子遺伝分析、脳疾患診断等には非常に広い用途がある。
【図面の簡単な説明】
【0019】
【
図1】本発明に係る磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化方法のフローチャートである。
【
図2】本発明に係るシャムグラフニューラルネットワークの構造模式図である。
【
図3】本発明に係る磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化システムの構造模式図である。
【
図4】本発明に係る磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化装置の構造図である。
【発明を実施するための形態】
【0020】
以下、図面を参照しながら本発明の具体的な実施形態を更に詳しく説明する。
【0021】
本発明は磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化方法及びシステムを提供し、被験者の機能領域の一貫性が確保される場合、個体間の差異性をできる限り反映する。被験者のrs-fMRIデータ及びT1加重MRIデータに基づいて機能的接続及び隣接行列をモデル入力として構築し、グループアトラスを利用してサンプリングマスクを設計し、一貫性が比較的高い領域をサンプリング領域として取得し、且つこれらを損失関数に導入し、シャムグラフニューラルネットワークに基づく再構成モデルを設計して訓練し、最後に、脳アトラスに評価のための真値がないことに鑑みて、個体脳グラフの合理性を評価できる指標の一部を選択し、例えば、個体脳グラフのタスク状態データにおける活性化分布状況を評価する。具体的なステップは以下のとおりである。
【0022】
ステップ(1)では、データを取得する。HCP 1200Sの磁気共鳴データを取得し、データアドレスがhttps://db.humanconnectome.org/data/projects/HCP_1200であり、それに1022個の被験者のT1加重磁気共鳴データ、安静時磁気共鳴データ及びタスク状態活性化データが含まれる。磁気共鳴データは32チャネルの3Tシーメンス磁気共鳴装置を利用して走査することによって取得されたものであり、TR=720msであり、空間解像度が2mmである。すべての被験者はそれぞれ2日間にわたって走査され、fMRIの位相エンコードの左から右への2つの走査シーケンスを取得する。
【0023】
ステップ(2)では、データを前処理する。HCP前処理パイプラインを使用してデータ処理(https://github.com/Washington-University/HCPpipelines)を行い、具体的な過程は、a)、まずfMRIVolumeパイプラインを利用して4次元の時系列(例えば、「.nii.gz」ファイル)を生成し、該処理には勾配デコンボリューション、モーション補正、フィールドグラフに基づくエコープレーンイメージング(EPI)歪み補正等が含まれており、b)、fMRIsurface パイプラインはユークリッド空間のfMRIデータを32k解像度の個体皮質データ(例えば、「dtseries.nii」ファイル)にマッピングし、次にガウス分布に基づく皮質平滑化アルゴリズムで処理し、c)、他の前処理は、取得された皮質データから白質及び脊髄液信号を回帰除去し、且つ周波数0.01~0.1HZの帯域幅フィルタを用いてフィルタリングすることを含む。fMRIVolume、fMRIsurface及び他の詳細な処理方法は上記リンクから関連説明を見つけることができる。
【0024】
ステップ(3)では、特徴入力Xを構築する。
図1に示すように、参照グループアトラス(Schaefer,A.,Kong,R.,Gordon,E.M.,Laumann,T.O.,Zuo,X.,and Holmes,A.J.,et al.(2018).Local-global parcellation of the human cerebral cortex from intrinsic functional connectivity MRI.Cereb.Cortex.28(9),3095-3114.)及びrs-fMRIを選択して特徴生成を行う。グループアトラスに基づいて関心領域(ROI)を定義し、該グループアトラスの各脳領域におけるすべての頂点時系列信号の平均値を計算し、脳領域の平均時系列と各頂点時系列とのピアソン相関性を計算し、頂点と関心領域に基づく機能的接続行列を構成し、行列における各行は頂点の特徴ベクトルを示し、それによって特徴の次元削減を実現し、これを特徴入力Xとする。「*.white.32k_fs_LR.surf.gii」に含まれる三角パッチの接続関係に基づいて該被験者の隣接行列を定義し、ここで、「*」が被験者の番号を示す。
【0025】
ステップ(4)では、グラフ入力Gを構築する。前処理ステップ(2)において表層接続関係のデータ(*.white.32k_fs_LR.surf.gii)、即ち
図1にマークされる「脳グラフ接続データ」を取得することができ、脳幹領域近傍の点を取り除くことによって、ステップ(3)における特徴Xに対応する各皮質頂点関係データを取得することができる。各被験者に対して頂点接続グラフをとして定義すれば、は皮質頂点を示し、は頂点間の接続関係を示す。該giiファイルを利用して頂点の隣接行列を計算して、脳接続グラフGを構築することができる。取得された頂点接続グラフは高度にスパースであり、且つ顕著な局所的な接続特徴を有することがわかる。多くの場合、各頂点はその周りの2~6つの隣接頂点だけに接続される。
【0026】
ステップ(5)では、サンプリングマスクを構築する。
図1に示すように、参照グループアトラスを選択し、ワーシャル-フロイド法(Floyd-Warshall)に基づいて隣接行列における各頂点から他の頂点までの最短距離(SPD)を計算し、最も大きなSPDを該頂点の遠心度として取る。具体的には、グループアトラスの領域Aにおける頂点aを例とし、Floyd-Warshallアルゴリズムを利用してステップ(4)において定義されたグラフGに基づいてaからAにおける他の点までの最短経路長さを計算する。次に、これらの長さの最大値をaの領域Aでの遠心度とする。次に、このような方式でAにおけるすべての点の遠心度を計算し、且つ昇順でソートし、上位20%の遠心度が比較的小さな点をA領域の中心点セットとして選択し、タグ1を与え、他の点にタグ0を与え、且つ値が1の点を信頼度が高い点として定義し、このような方式で脳におけるすべての脳領域頂点に対して遠心度計算を行って値を与えることによって、中心点サンプリングマスクを抽出することができ、被験者のこれらの点でのタグ分布がより安定し、グループアトラスタグに近くなる。
【0027】
ステップ(6)では、訓練、検証及びテストセットを構築する。
図2に示すように、50名の被験者、合計100個の走査シーケンスを選択し、50個のバイナリデータグループをランダムに構成し、各グループに2つの走査シーケンスが含まれ、
図2における「特徴1」及び「特徴2」で示し、同じ被験者からのものである場合、タグを1として記録し、そうでない場合に-1として記録する。次に、これらのバイナリデータグループに対してフィッシャー変換により特徴を正規化し、次に特徴に対して指数変換及び正規化処理を行い、それによって顕著な特徴を強化する。フィッシャー変換及び指数変換の式は、
ここで、rは機能的接続であり、ピアソン相関係数を使用して計算され、範囲が[-1,1]であり、fはフィッシャー変換の結果であり、dは指数変換後のデータであり、sigは拡大縮小範囲を制御し、一般的な値が0.1~1である。
【0028】
次に、この50個の2-タプルに対して4:1の方式で訓練セット及び検証セットを構築する。残りの972名の被験者から50名の被験者をテストセットとしてランダムに選択する。検証セットを使用するとき、訓練が最も良いモデルを選択するための指標を2つ選択する。一方はDice係数であり、セット類似度尺度関数であり、類似度指数と同じであり、係数とも称され、アトラスとグループアトラスとの重複程度を予測するためのものであり、重複程度が高ければ高いほど、個体アトラスとグループアトラスが似ていることを示し、他方は安静時一貫性係数であり、個体アトラスにおける各領域頂点の時系列の2つずつの相関係数の平均値として定義され、次にすべての脳領域において再び1回平均化を行い、ここで、安静時一貫性係数が高ければ高いほど、個体アトラスの領域内の信号の相関性が高く、即ち個体アトラスが合理的であることを示す。この2つの指標をまとめて考慮して、最も良い訓練モデルを選択する。
【0029】
ステップ(7)では、損失関数を構築する。データセットにおける被験者間差異が被験者内差異よりも大きい特徴に基づいて、被験者間差異性をネットワーク損失関数に追加する。
図2に示すように、各回に1つの2-タプル、即ち2つの被験者データ、及びそれらが同じ被験者に属するかどうかのタグを入力し、それぞれグループアトラスと「特徴1」及び「特徴2」に対応する個体アトラスとの交差エントロピー損失関数を構築するとともに、これらの2つの個体アトラス間の対照的な損失関数を追加する。交差エントロピー損失関数はシャムグラフニューラルネットワークの予測値とグループアトラスの観察値分布との差を示し、対照的な損失関数は入力された2つの個体アトラス間の差異性を示す。重み比を1:1:λとして設定し、λはハイパーパラメータであり、対照的な損失関数が占める割合を示す。その中の1組の被験者の完全損失関数は、
【0030】
ステップ(8)では、シャムグラフニューラルネットワークを構築する。ネットワークの構築において主にチェビシェフ多項式に基づくChebNetグラフ畳み込み層を使用し、該グラフ畳み込みの具体的な定義は、
【0031】
【0032】
全脳の個別化されたアトラスを取得するために、上記ステップをそれぞれ左脳及び右脳データセットに応用する。具体的には、HCP前処理パイプラインを使用して安静時磁気共鳴を前処理して「dtseries.nii」ファイルの皮質データを取得し、該データには合計で全脳の59412頂点が含まれ、該データヘッダファイルを読み取り、それを29696個の頂点の左脳データ及び29716個の頂点の右脳データに分割することができ、次にそれぞれ上記ステップにより再構成を行う。
【0033】
ステップ(9)では、上記シャムグラフニューラルネットワークを利用してテストセットにおけるすべての被験者に個別化された脳グラフを生成し、対応する機能的磁気共鳴データにおいて評価する。ここで、個体脳アトラスに参照のための真値がないため、「タスク状態非一貫性」を利用して評価することができる。該指標はタスク状態fMRI活性化値のすべての脳領域での分散の平均値として定義される。この平均値をテストセットのすべての被験者において再び平均化すれば、テストセットのタスク状態非一貫性を取得する。該指標は、タスク状態データの活性化値の脳領域での分布状況を反映する。従って、1つの合理的な個別化領域は必ずこのような活性化分布をより均一にし、即ちタスク状態非一貫性をより低くする。
【0034】
HCPの7つの認知タスクに対してそれぞれ代表的な比較実験を選択し、この7つのタスクはそれぞれ運動、ワーキングメモリ、言語処理、感情処理、社会認知、ギャンブリングタスク、リレーショナル処理である。その対応する代表的な実験は表1に示される。
【0035】
【0036】
結果からわかるように、グループアトラスに比べて、ほとんどのタスクにおいて、本発明によって提案された方法はタスク状態非一貫性が著しく低い(例えば、言語タスクにおいて、本発明はタスク非一貫性が1.96であるが、グループアトラスは2.02、p値<0.05である)。これからわかるように、グループアトラスに比べて、被験者のタスク状態fMRIの活性化の個体アトラスでの分布はより均一であり、本発明を利用して再構成した個体脳グラフの合理性をある程度実証することができる。
【0037】
本発明は良好な拡張性を有する。特に、本発明において現在主に使用されているのは文献(Schaefer,A.,Kong,R.,Gordon,E.M.,Laumann,T.O.,Zuo,X.,and Holmes,A.J.,et al.(2018).Local-global parcellation of the human cerebral cortex from intrinsic functional connectivity MRI.Cereb.Cortex.28(9),3095-3114.)における400領域のグループアトラスであり、目標は個体の400領域の脳グラフを生成することであるが、例えば100、200、1000等のグループアトラス領域を変更することも適用され得る。具体的には、上記ステップにおいてRSFCを取得する際に定義されたグループアトラスに基づいて改めて計算し、新たに定義されたグループアトラス領域においてそれぞれ中心点サンプリングマスクを計算し、且つネットワークパラメータを対応して調整し、例えば、第2層のグラフ畳み込み層フィルタ数をグループアトラス領域数の半分に調整する必要がある。
【0038】
図3に示すように、他の態様では、本発明は磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化システムを更に提供し、該システムはデータ取得モジュール、特徴抽出モジュール、隣接行列計算モジュール、中心点サンプリングマスク抽出モジュール、シャムグラフニューラルネットワーク構築モジュール及び脳グラフ個別化モジュールを備え、各モジュールが機能を実現する具体的な過程は対応する方法を実現するステップを参照してもよい。
【0039】
前記データ取得モジュールは大脳皮質の頂点に基づく時系列データである被験者の磁気共鳴データを取得するためのものであり、
前記特徴抽出モジュールは関心領域に基づく機能的接続(RSFC)を利用して被験者の磁気共鳴データから特徴を抽出するとともに、抽出された特徴をフィッシャー変換して特徴を正規化し、且つ指数変換を行って特徴をスパース化し、スパース化後のデータをシャムグラフニューラルネットワークの特徴入力とするためのものであり、
前記隣接行列計算モジュールはデータ取得及び処理モジュールが取得した磁気共鳴データに基づいて被験者の大脳皮質の表面の接続情報を取得し、接続情報で記述される大脳皮質の各頂点の接続関係に基づいて被験者の隣接行列を計算して、シャムグラフニューラルネットワークのグラフ入力とするためのものであり、
前記中心点サンプリングマスク抽出モジュールはワーシャル-フロイド法(Floyd-Warshall)を利用してグループアトラスの中心点サンプリングマスクをシャムグラフニューラルネットワーク損失関数の加重係数として抽出するためのものであり、
前記シャムグラフニューラルネットワーク構築モジュールはシャムグラフニューラルネットワークを構築し、且つ被験者間差異性をネットワーク損失関数に追加し、中心点サンプリングマスク及びグループアトラスをタグとして半教師あり学習の方式でネットワークを訓練するためのものであり、
前記脳グラフ個別化モジュールはシャムグラフニューラルネットワークから出力された個別化された領域のone-hot符号化行列を符号化次元に沿って最大値の位置で一次元ベクトルにマッピングし、被験者の磁気共鳴データに対応する個別化された脳グラフを取得するためのものである。
【0040】
上記磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化方法の実施例に対応して、本発明は磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化装置の実施例を更に提供する。
【0041】
図4に示すように、本発明の実施例に係る磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化装置は、メモリ及び1つ又は複数のプロセッサを備え、前記メモリに実行可能コードが記憶され、前記プロセッサは前記実行可能コードを実行するとき、上記実施例における磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化方法を実現するために使用される。
【0042】
本発明の磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化装置の実施例はデータ処理能力を持ついかなる機器に応用されてもよく、該データ処理能力を持ついかなる機器も例えばコンピュータ等の機器又は装置であってもよい。装置実施例はソフトウェアにより実現されてもよく、ハードウェア又はソフトウェアとハードウェアとの組み合わせにより実現されてもよい。ソフトウェアによる実現を例とし、1つの論理意味上の装置としては、その位置するデータ処理能力を持ついかなる機器のプロセッサにより不揮発性メモリにおける対応するコンピュータプログラム命令を内部メモリに読み込んで実行することによって形成される。ハードウェアのレベルから言えば、
図4に示すように、本発明の磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化装置の位置するデータ処理能力を持ついかなる機器のハードウェア構造図であり、
図4に示されるプロセッサ、内部メモリ、ネットワークインターフェース及び不揮発性メモリに加えて、実施例における装置の位置するデータ処理能力を持ついかなる機器も一般的に該データ処理能力を持ついかなる機器の実際の機能に応じて、他のハードウェアを更に備えてもよく、これについて詳細な説明は省略する。
【0043】
上記装置の各ユニットの機能及び作用の実現過程は具体的には上記方法の対応するステップの実現過程を参照してもよく、ここで詳細な説明は省略する。
【0044】
装置実施例の場合、基本的に方法実施例に対応するため、関連箇所は方法実施例の一部の説明を参照すればよい。以上に説明された装置実施例は単に例示的なものであり、分離部材として説明される前記ユニットは物理的に分離してもよく、物理的に分離しなくてもよく、ユニットとして表示される部材は物理ユニットであってもよく、物理ユニットでなくてもよく、即ち、1つの場所に位置してもよく、複数のネットワークユニットに分散してもよい。実際の必要に応じて、その一部又は全部のモジュールを選択して本発明の解決手段の目的を実現してもよい。当業者は創造的な労力を要することなく、理解して実施することができる。
【0045】
本発明の実施例はコンピュータ可読記憶媒体を更に提供し、プログラムが記憶され、該プログラムがプロセッサにより実行されるとき、上記実施例における磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化方法を実現する。
【0046】
前記コンピュータ可読記憶媒体は上記いずれか1つの実施例に記載のデータ処理能力を持ついかなる機器の内部記憶ユニット、例えばハードディスク又は内部メモリであってもよい。前記コンピュータ可読記憶媒体はデータ処理能力を持ついかなる機器の外部記憶機器、例えば前記機器に配置されるプラグイン型ハードディスク、スマートメディアカード(SMC、Smart Media(登録商標) Card)、SDカード、フラッシュカード(Flash Card)等であってもよい。更に、前記コンピュータ可読記憶媒体は更にデータ処理能力を持ついかなる機器の内部記憶ユニットを含むだけでなく、外部記憶機器も含んでもよい。前記コンピュータ可読記憶媒体は前記コンピュータプログラム並びに前記データ処理能力を持ついかなる機器に必要な他のプログラム及びデータを記憶するためのものであり、更に出力されたデータ又は出力しようとするデータを一時的に記憶するためのものであってもよい。
【0047】
上記実施例は本発明を解釈及び説明するためのものであり、本発明を限定するものではなく、本発明の趣旨及び特許請求の範囲内に、本発明に対して行われるいかなる修正や変更は、いずれも本発明の保護範囲に含まれる。