特開 2022-187962 磁気共鳴画像におけるターゲット大脳箇所の位置を特定する装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022187962

(43)【公開日】2022-12-20

(54)【発明の名称】磁気共鳴画像におけるターゲット大脳箇所の位置を特定する装置および方法

(51)【国際特許分類】

   A61B 5/055 20060101AFI20221213BHJP

   A61N 2/04 20060101ALI20221213BHJP

   G06T 7/00 20170101ALI20221213BHJP

【ＦＩ】

A61B5/055 380

A61B5/055 390

A61N2/04

G06T7/00 350C

G06T7/00 612

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2021197391

(22)【出願日】2021-12-03

(31)【優先権主張番号】21305776

(32)【優先日】2021-06-08

(33)【優先権主張国・地域又は機関】EP

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ２０２１年６月５日に公開された以下の科学論文 ＢＡＸＴＥＲ ＪＯＨＮ Ｓ Ｈら著：“Ａｕｔｏｍａｔｉｃ ｃｏｒｔｉｃａｌ ｔａｒｇｅｔ ｐｏｉｎｔ ｌｏｃａｔｉｏｎ ｉｎ ＭＲＩ ｆｏｒ ｔｒａｎｓｃｒａｎｉａｌ ｍａｇｎｅｔｉｃ ｓｔｉｍｕｌａｔｉｏｎ ｖｉａ ａ ｍｕｌｔｉ－ｒｅｓｏｌｕｔｉｏｎ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ”，コンピュータ支援される放射線および外科の国際ジャーナル、ＳＰＲＩＮＧＥＲ，ｖｏｌ．１６，ｎｏ ７，２０２１年６月５日，第１０７７－１０８７頁，ＸＰ０３７４９９４８３，ＩＳＳＮ：１８６１－６４１０，ＤＯＩ：１０．１００７／Ｓ１１５４８－０２１－０２３８６－１

(71)【出願人】

【識別番号】521531182

【氏名又は名称】シネイカ

(71)【出願人】

【識別番号】512277622

【氏名又は名称】ユニヴェルシテ・ドゥ・レンヌ・アン

(71)【出願人】

【識別番号】507002516

【氏名又は名称】アンセルム（アンスティチュート・ナシオナル・ドゥ・ラ・サンテ・エ・ドゥ・ラ・ルシェルシュ・メディカル）

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】ジョン・バクスター

(72)【発明者】

【氏名】クォク・アン・ビュイ

(72)【発明者】

【氏名】ステファーヌ・クローチ

(72)【発明者】

【氏名】アントワーヌ・デルマ

【テーマコード（参考）】

4C096

4C106

5L096

【Ｆターム（参考）】

4C096AA03

4C096AA18

4C096AB44

4C096AC01

4C096AD14

4C096AD19

4C096AD24

4C096DC20

4C096DC28

4C096DC36

4C096FC20

4C106AA03

4C106FF11

5L096BA06

5L096BA13

5L096CA01

5L096FA69

5L096HA11

5L096KA04

5L096KA15

(57)【要約】      （修正有）

【課題】被験者の脳の磁気共鳴画像上のターゲット箇所の位置を特定する装置および方法を提供する。
【解決手段】被験者の脳の3D MR画像を入力として受信するとともに、少なくとも1つの決定された脳のターゲット箇所の前記画像上の位置を出力するように構成された学習済みニューラルネットワークを備え、ニューラルネットワークは、複数の処理段階(S_i)を備え、複数の処理段階(S_i)は、-各処理段階(S_i)が、それぞれの分解能(r_i)にて画像(I_ri)を処理するように構成され、-最低分解能の処理段階が、各ターゲット箇所の位置の推定を出力するように構成され、-各他の処理段階が、更新した推定を次のより高い分解能の処理段階へ送るように構成される、ように配列され、最高分解能の処理段階によって決定される推定は、ニューラルネットワークの出力を形成する、装置。
【選択図】図2

【特許請求の範囲】

【請求項1】

被験者の脳の磁気共鳴画像上のターゲット箇所の位置を特定する装置(1)であって、
被験者の前記脳の3D磁気共鳴画像(I)を入力として受信するとともに、少なくとも1つの決定された脳のターゲット箇所の前記画像上の前記位置を出力するように構成された学習済みニューラルネットワークを記憶するメモリ(10)と、被験者の前記脳の入力3D磁気共鳴画像に対して前記ニューラルネットワークを実行するように構成されたコンピュータ(11)とを備え、
前記ニューラルネットワークは、複数の処理段階(S_i)を含む深層畳み込みニューラルネットワークであり、前記複数の処理段階(S_i)は、
各処理段階が、それぞれの分解能(r_i)にて画像を処理するように構成され、
最低分解能の前記処理段階が、各ターゲット箇所の前記位置の推定を出力するように構成され、
各他の処理段階が、
o より低い分解能の処理段階から、前記ターゲット箇所の前記位置の推定を受信し、
o 各推定されたターゲット箇所を取り囲むより小さい領域に前記入力画像をトリミングし、
o 各ターゲット箇所の前記位置の更新された推定を決定し、前記更新した推定を次のより高い分解能の前記処理段階へ送る
ように構成される、
ように配列され、
最高分解能(S¹)の前記処理段階によって決定される前記推定は、前記ニューラルネットワークの前記出力を形成する、装置(1)。

【請求項2】

脳のターゲット箇所は、経頭蓋磁気刺激法のための皮質のターゲット箇所、脳深部刺激療法のための刺激点、または後の応用のための基準点を形成する脳の解剖学的ターゲットである、請求項1に記載の装置(1)。

【請求項3】

最高分解能(S₁)の前記処理段階は、前記入力画像(I)を入力として受信し、各他の処理段階は、前記入力画像をダウンサンプリングすることによって得られる前記入力画像(I)からのより低い分解能(r_i)の画像(I_ri)を入力として受信する、請求項1または2に記載の装置(1)。

【請求項4】

前記ニューラルネットワークは、最高分解能の前記処理段階を除く各処理段階について、前記対応する処理段階によって入力として受信される前記画像の前記ダウンサンプリングを行うように構成されるプーリング層(D_i)をさらに備える、請求項3に記載の装置(1)。

【請求項5】

前記ニューラルネットワークは、複数のターゲット箇所の前記位置を出力するように構成され、各処理段階(S_i)は、全ての前記ターゲット箇所に共通の複数の畳み込み層と、ターゲット箇所ごとに、前記ターゲット箇所の前記位置を計算するように構成されたそれぞれの分岐とを備える、請求項1から4のいずれか一項に記載の装置(1)。

【請求項6】

各処理段階が、それぞれの分岐によって計算された各ターゲット箇所の前記位置を補正するように構成された複数の残差層(RL)をさらに備え、全ての処理段階の前記残差層のパラメータは、同一である、請求項5に記載の装置(1)。

【請求項7】

前記処理段階(S_i)の個数は、1+log₂(N/Ns)によって決定され、ただし、Nは、一次元に沿った前記入力画像のサイズであり、Nsは、前記画像のトリミングされた領域の一次元に沿ったサイズである、請求項1から6のいずれか一項に記載の装置。

【請求項8】

被験者の前記脳の磁気共鳴画像上の少なくとも1つの決定された脳のターゲット箇所の位置を特定する、請求項1から7のいずれか一項に記載の装置(1)によって実施される方法であって、
前記被験者の前記脳の3D磁気共鳴画像(I)を受信するステップと、
前記画像に関して、決定されたターゲット箇所ごとの前記画像上の前記位置を出力するように前記学習済みニューラルネットワークを実施するステップと
を含む、方法。

【請求項9】

前記3D磁気共鳴画像は、T1強調磁気共鳴画像である、請求項8に記載の方法。

【請求項10】

前記得られたターゲット箇所位置を経頭蓋磁気刺激装置または脳深部刺激療法装置の誘導システムへ送信するステップをさらに含む、請求項8または9に記載の方法。

【請求項11】

脳の3D磁気共鳴画像から、少なくとも1つの決定された脳のターゲット箇所の位置を出力するように構成されたニューラルネットワークを訓練する方法であって、
前記ニューラルネットワークは、複数の処理段階(S_i)を備える深層畳み込みニューラルネットワークであり、前記複数の処理段階(S_i)は、
各処理段階(S_i)が、それぞれの分解能(r_i)にて画像を処理するように構成され、
最低分解能の前記処理段階が、各ターゲット箇所の前記位置の推定を出力するように構成され、
各他の処理段階が、
o より低い分解能の処理段階から、前記ターゲット箇所の前記位置の推定を受信し、
o 各推定されたターゲット箇所を取り囲むより小さい領域に前記入力画像をトリミングし、
o 各ターゲット箇所の前記位置の更新された推定を決定し、前記更新した推定を次のより高い分解能の前記処理段階へ送る
ように構成される、
ように配列され、
最高分解能(S₁)の前記処理段階によって決定される前記推定は、前記ニューラルネットワークの前記出力を形成し、
前記方法は、前記ニューラルネットワークに、前記決定されたターゲット箇所が注釈付けされている脳の訓練用磁気共鳴画像のセットを与えるステップと、訓練用画像ごとに、ニューラルネットワークによって計算される位置と各ターゲット箇所の実際の位置との間の誤差を定量化する損失関数を計算するステップとを含み、
前記損失関数は、前記ニューラルネットワークの各処理段階の二乗誤差の加重和を前記処理段階の分解能で除算したものである、方法。

【請求項12】

前記加重和の各重みは、

【数1】

と表現され、ただし、w_lは、処理段階lに関連した重みであり、f_lは、画素単位で測定される前記処理段階の視野であり、e_lは、前記処理段階の誤差であり、r_lは、前記処理段階の分解能であり、αは、固定パラメータである、請求項11に記載のニューラルネットワークを訓練する方法。

【請求項13】

コンピュータ(11)によって実行されるときに、請求項8から12のいずれか一項に記載の方法を実施するコード命令を備える、コンピュータプログラム製品。

【請求項14】

コンピュータ(11)によって実行されるときに、請求項8から12のいずれか一項に記載の方法を実施するコード命令を記録した、非一時的なコンピュータ可読ストレージ。

【請求項15】

請求項11または12に記載の方法を実施することによって得られることを特徴とする、コンピュータにより実施されるニューラルネットワーク。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、被験者の脳の磁気共鳴画像上の決定された脳のターゲット箇所の位置を特定する装置および方法に関する。本開示は、経頭蓋磁気刺激法(TMS)または脳深部刺激療法のためのターゲット箇所の位置を特定することに特に適用を見出す。

【背景技術】

【0002】

経頭蓋磁気刺激法は、特異な3Dターゲット箇所によって表される脳の皮質領から生じ、またはそれによって変調されるものであるが、様々な神経学的障害に対する最近増えつつある療法である。

【0003】

これらのターゲット箇所は、通常、術前の磁気共鳴画像(MR画像)から手作業で決定される。したがって、専門家が、患者の脳の解剖学的標準的なMR画像を視覚化し、患者の皮質表面上のターゲット箇所の位置を特定する。しかしながら、この手作業の注釈付けは、時間がかかり、希少な技能を必要とする。

【0004】

事前注釈付きアトラスを使用してターゲット箇所を自動的に特定することへの関心の高まりもある。アトラスは、ターゲット箇所が1人または複数人の専門家によって特定されている個人のMRI脳画像である。被験者の脳MRI画像は、アトラスの画像に変形可能にレジストレーションされ、次いで、アトラス上で特定されるターゲット箇所は、被験者の皮質表面上へ投影される。そのような手法は、例えば、Ahdab R, Ayache SS, Brugieres P, Goujon C, Lefaucheur JP. Comparison of "standard" and "navigated" procedures of TMS coil positioning over motor, premotor and prefrontal targets in patients with chronic pain and depression. Neurophysiol Clin. 2010 Mar;40(1):27-36. doi: 10.1016/j.neucli.2010.01.001. Epub 2010 Jan 22. PMID: 20230933において論じられている。

【0005】

しかしながら、この方法は、以前としてかなり時間がかかり、皮質回の個数および位置における高い患者ばらつきにより、患者のアトラス画像と特定の脳の形態構造の間のトポロジカルな差異から生じる誤差の影響をやはり受けやすい。

【0006】

したがって、先行技術の解決策よりも高速でかつ信頼できる前記脳のターゲット箇所の位置を特定するための改善された解決策が必要とされている。

【先行技術文献】

【非特許文献】

【0007】

【非特許文献1】Ahdab R, Ayache SS, Brugieres P, Goujon C, Lefaucheur JP. Comparison of "standard" and "navigated" procedures of TMS coil positioning over motor, premotor and prefrontal targets in patients with chronic pain and depression. Neurophysiol Clin. 2010 Mar;40(1):27-36. doi: 10.1016/j.neucli.2010.01.001. Epub 2010 Jan 22. PMID: 20230933

【発明の概要】

【発明が解決しようとする課題】

【0008】

上記に鑑みて、本発明の一目的は、先行技術の不都合の少なくとも一部を緩和することである。

【0009】

詳細には、本発明の一目的は、被験者の脳の磁気共鳴画像上のターゲット箇所の位置を特定する装置および方法を提供することである。

【0010】

本発明の別の目的は、先行技術の方法よりも少ない時間で、しかし許容できる精度で、前記位置特定を実行することを可能にすることである。

【課題を解決するための手段】

【0011】

この目標のために、被験者の脳の磁気共鳴画像上のターゲット箇所の位置を特定する装置であって、
被験者の脳の3D磁気共鳴画像を入力として受信するとともに、少なくとも1つの決定された脳のターゲット箇所の前記画像上の位置を出力するように構成された学習済みニューラルネットワークを記憶するメモリと、被験者の脳の入力3D磁気共鳴画像に対して前記ニューラルネットワークを実行するように構成されたコンピュータとを備え、
ニューラルネットワークは、複数の処理段階を含む深層畳み込みニューラルネットワークであり、複数の処理段階は、
- 各処理段階が、それぞれの分解能にて画像を処理するように構成され、
- 最低分解能の処理段階が、各ターゲット箇所の位置の推定を出力するように構成され、
- 各他の処理段階が、
o より低い分解能の処理段階から、ターゲット箇所の位置の推定を受信し、
o 各推定されたターゲット箇所を取り囲むより小さい領域に入力画像をトリミングし、
o 各ターゲット箇所の位置の更新された推定を決定し、更新した推定を次のより高い分解能の処理段階へ送る
ように構成される、
ように配列され、
最高分解能の処理段階によって決定される推定は、ニューラルネットワークの出力を形成する、装置が提案されている。

【0012】

実施形態では、脳のターゲット箇所は、経頭蓋磁気刺激法のための皮質のターゲット箇所、脳深部刺激療法のための刺激点、または後の応用のための基準点を形成する脳の解剖学的ターゲットである。

【0013】

実施形態では、最高分解能の処理段階は、入力画像を入力として受信し、各他の処理段階は、入力画像をダウンサンプリングすることによって得られる入力画像からのより低い分解能の画像を入力として受信する。

【0014】

実施形態では、ニューラルネットワークは、最高分解能の処理段階を除く各処理段階について、対応する処理段階によって入力として受信される画像のダウンサンプリングを行うように構成されるプーリング層をさらに備える。

【0015】

実施形態では、ニューラルネットワークは、複数のターゲット箇所の位置を出力するように構成され、各処理段階は、全てのターゲット箇所に共通の複数の畳み込み層と、ターゲット箇所ごとに、前記ターゲット箇所の位置を計算するように構成されたそれぞれの分岐とを備える。

【0016】

実施形態では、各処理段階は、それぞれの分岐によって計算された各ターゲット箇所の位置を補正するように構成された複数の残差層をさらに備え、全ての処理段階の残差層のパラメータは、同一である。

【0017】

実施形態では、処理段階の個数は、1+log₂(N/Ns)によって決定され、ただし、Nは、一次元に沿った入力画像のサイズであり、Nsは、画像のトリミングされた領域の一次元に沿ったサイズである。

【0018】

別の態様によれば、本開示は、被験者の脳の磁気共鳴画像上の少なくとも1つの決定された脳のターゲット箇所の位置を特定するために上記装置によって実施される方法であって、
- 被験者の脳の3D磁気共鳴画像を受信するステップと、
- 前記画像に関して、決定されたターゲット箇所ごとの前記画像上の位置を出力するように学習済みニューラルネットワークを実施するステップと、を含む、方法に関する。

【0019】

実施形態では、3D磁気共鳴画像は、T1強調磁気共鳴画像である。

【0020】

実施形態では、方法は、得られたターゲット箇所位置を経頭蓋磁気刺激装置または脳深部刺激療法装置の誘導システムへ送信するステップをさらに含む。

【0021】

別の態様によれば、本開示は、脳の3D磁気共鳴画像から、少なくとも1つの決定された脳のターゲット箇所の位置を出力するように構成されたニューラルネットワークを訓練する方法であって、
ニューラルネットワークは、複数の処理段階を備える深層畳み込みニューラルネットワークであり、複数の処理段階は、
- 各処理段階が、それぞれの分解能にて画像を処理するように構成され、
- 最低分解能の処理段階が、各ターゲット箇所の位置の推定を出力するように構成され、
- 各他の処理段階が、
o より低い分解能の処理段階から、ターゲット箇所の位置の推定を受信し、
o 各推定されたターゲット箇所を取り囲むより小さい領域に入力画像をトリミングし、
o 各ターゲット箇所の位置の更新された推定を決定し、更新した推定を次のより高い分解能の処理段階へ送る
ように構成される、
ように配列され、
最高分解能の処理段階によって決定される推定は、ニューラルネットワークの出力を形成し、
方法は、ニューラルネットワークに、決定されたターゲット箇所が注釈付けされている脳の訓練用磁気共鳴画像のセットを与えるステップと、訓練用画像ごとに、ニューラルネットワークによって計算される位置と各ターゲット箇所の実際の位置との間の誤差を定量化する損失関数を計算するステップとを含み、
損失関数は、ニューラルネットワークの各処理段階の二乗誤差の加重和を前記処理段階の分解能で除算したものである、方法に関する。

【0022】

実施形態では、加重和の各重みは、

【0023】

【数1】

【0024】

として表され、w_lは、処理段階lに関連した重みであり、f_lは、画素単位で測定される前記処理段階の視野であり、e_lは、前記処理段階の誤差であり、r_lは、前記処理段階の分解能であり、αは、固定パラメータである。

【0025】

別の態様によれば、本開示は、コンピュータによって実行されるときに、上述した方法を実施するコード命令を備える、コンピュータプログラム製品に関する。

【0026】

別の態様によれば、本開示は、コンピュータによって実行されるときに、上述した方法を実施するコード命令を記録した、非一時的なコンピュータ可読ストレージに関する。

【0027】

別の態様によれば、本開示は、上に開示した訓練方法を実施することによって得られることを特徴とする、コンピュータにより実施されるニューラルネットワークに関する。

【0028】

提案した装置および方法によれば、特定のニューラルネットワークが、脳磁気共鳴画像上の決定されたターゲット箇所の位置を特定するために使用される。ニューラルネットワークの構造および訓練方法は、タスクに適合され、レジストレーション手法の誤差よりも小さく、かつ、個々の人間専門家間に存在する誤差と同等である平均誤差を与える。しかしながら、ターゲット箇所のポジションの位置を特定するのに必要な時間は、先行技術の解決策と比較して大いに減じられる。

【0029】

提案された解決策のさらなる詳細、態様、および実施形態は、図面を参照して例によって説明される。

【図面の簡単な説明】

【0030】

【図1】本発明の一実施形態による装置を概略的に示す図である。

【図2】脳MR画像上のターゲット箇所の位置を特定するために使用されるニューラルネットワークの構造を概略的に表す図である。

【図3】脳MR画像上のターゲット箇所の位置を特定するために使用されるニューラルネットワークの推定ブロックを概略的に表す図である。

【図4】脳MR画像上のターゲット箇所の位置を特定するために使用されるニューラルネットワークの残差層を概略的に表す図である。

【図5】MR画像上の脳のターゲット箇所の位置を特定するタスクにおける比較誤差を表す図である。

【図6】比較の方法および専門家によって注釈付けされるような、1つのターゲット箇所のみの脳MR画像の注釈付けの一例を示す図である。

【図7】本開示による方法と先行技術のレジストレーション手法との比較性能を示す図である。

【図8】異なる注釈付け方法または専門家について、正しい回で注釈付けされた箇所の割合を示すグラフである。

【発明を実施するための形態】

【0031】

装置およびニューラルネットワークの説明
図1を参照すると、被験者の脳の磁気共鳴画像上のターゲット箇所の位置を決定する装置1が概略的に示されている。

【0032】

装置1は、以下により詳細に説明される学習済みニューラルネットワークを記憶するメモリ10を備える。メモリ10は、学習済みニューラルネットワークの構造およびパラメータ、ならびにニューラルネットワークを実行するコード命令を記憶することができる。装置1は、脳の3D磁気共鳴画像上に対して前記ニューラルネットワークを実行するように構成されたコンピュータ11も備える。コンピュータは、1つまたは複数のプロセッサ、中央処理装置、および/またはグラフィカル処理ユニットを含むことができる。

【0033】

コンピュータ11は、1つまたはいくつかの入力画像を受信することができ、各入力画像は、被験者の脳の3D磁気共鳴画像である。この目標のために、装置1は、この画像を受信するインタフェース12を備えることができる。インタフェース12は、磁気共鳴イメージング装置との接続インタフェースを備えることができ、自動的に、または送信される1つもしくは複数の画像の選択の実行後に、装置によって取得された任意の画像が装置1へ送信されることを可能にする。代替として、インタフェース12は、コンピュータ11によって処理される画像をその上に記憶したメモリとの接続インタフェースを備えることができる。さらに他の実施形態によれば、インタフェース12は、通信ネットワークとの接続インタフェースを備えることができ、装置がネットワークから入力画像をダウンロードすることが可能にする。

【0034】

メモリ10に記憶され、コンピュータ11によって実行されるニューラルネットワークは、被験者の脳の3D磁気共鳴入力画像上で、一組の決定されたターゲット箇所の位置を特定するように構成される。実施形態では、入力画像は、T1強調MR画像である。

【0035】

一組の決定されたターゲット箇所は、少なくとも1つのターゲット箇所を含むが、実施形態では、それは、複数のターゲット箇所、例えば、少なくとも5つのターゲット箇所、例えば、5個から15個のターゲット箇所を含むことができる。各ターゲット箇所は、三次元で定められ、ターゲット箇所およびその三次元の座標は、関心の点のクラウドを形成する。さらなる他の実施形態では、ターゲット箇所は、後で使用するための基準点を形成することができる特定の脳の解剖学的ターゲットであってもよく、例えば、ターゲットは、タライラッハ空間の定義を可能にする。

【0036】

それらのターゲット箇所は、非常に特有のおよび点のような脳の位置に対応し、この位置は、後の脳神経外科の介入の準備で正確に位置特定される必要がある。具体的には、脳のターゲット箇所は、経頭蓋磁気刺激法のための皮質のターゲット箇所であり得る。代替として、それらは、脳深部刺激療法のための潜在的な刺激部位であり得る。

【0037】

ニューラルネットワークは、入力画像上のターゲット箇所のポジションの位置を特定するために、異なる分解能にて入力画像を処理するように構成された深層畳み込みネットワークである。

【0038】

この目標のために、図2を参照すると、ニューラルネットワークは、(図2に破線によって囲まれた)複数の処理段階S_iを含み、各処理段階は、それぞれの分解能r_iにて入力画像を処理するように構成される。したがって、(I_r1=I)受信したときに入力画像Iを処理するように構成された最高分解能の1つの処理段階S₁、最低分解能の処理段階S_N(図2中で、より低い分解能の画像はI_r6である)があり、および最高(図2中のr₁)と最低分解能(図2中のr₆)の間に含まれるそれぞれの分解能にて入力画像を処理する1つまたはいくつかの追加の処理段階があり得る。

【0039】

図2に示された例では、処理段階は、図の上部から下部へ分解能を低下させる状態で表されており、したがって、最高分解能S₁の処理段階は、上部に示されており、最低分解能の処理段階は、図S6の下部にある(図2に示された例は、6つの処理段階を含む)。

【0040】

最高分解能の処理段階は、そのオリジナル分解能(I_r1=I)において入力画像Iを入力として受信する。

【0041】

各他の処理段階S_i(i>1)については、ニューラルネットワークは、次のより高い分解能の処理段階の入力画像(I_ri-1)を受信し、この画像をダウンサンプリングしてより低い分解能I_riの画像を出力するダウンサンプリングブロックDiを備える。より低い分解能の前記画像は、検討済みの処理段階S_iの入力画像を形成する。

【0042】

実施形態では、ダウンサンプリングブロックD_iは、平均的なプーリング層によって実施される。プーリングサイズは、元の入力画像のサイズに依存し得る。他の実施形態では、ダウンサンプリングブロックは、畳み込み層と、それに続くReLU層(ReLUは、正規化線形ユニットを表す)によって実施される。

【0043】

したがって、第2のより高い分解能の処理段階は、一度ダウンサンプリングされた画像を入力として受信し、次の段階は、二度ダウンサンプリングされた画像を入力として受信する、などである。

【0044】

各処理段階は、その対応する入力画像I_ri上で、一組の決定されたターゲット箇所の各ターゲット箇所の位置の推定を計算するように構成される。さらに、最低分解能の処理段階を除く各処理段階は、より低い分解能の処理段階から、およびより具体的には次のより低い分解能の処理段階から受信した各ターゲット箇所の位置の推定に基づいて、前記推定を計算するように構成される。

【0045】

ニューラルネットワークの箇所位置特定の特定機能により、入力画像の重要部分は、問題を解決するのに貢献しない。したがって、各処理段階Siは、最低分解能の1つを除いて、ターゲット箇所の位置の推定に基づいて、各推定されたターゲット箇所を取り囲む入力画像のより小さい領域にその入力画像をトリミングするようにさらに構成される。これは、図2における最低分解能に対応する最も粗い処理段階を除いて各処理段階の始めにあるトリミングブロック「crop」によって示される。一組の決定されたターゲット箇所が、複数のターゲット箇所を含む場合、トリミングは、それぞれのターゲット箇所をそれぞれ取り囲む等しい個数の領域を出力することができる。

【0046】

このトリミング動作は、その入力画像上のターゲット箇所の位置の特定をする続くタスクを実施する各処理段階によって必要とされる計算メモリの要求をかなり下げる。これは、箇所推定位置を更新する処理段階が比較的大きくなることを可能にする。

【0047】

実施形態では、したがって、各処理段階は、ダウンサンプリングブロックDiが畳み込み層によって実施される場合、ダウンサンプリングブロックDiのカーネルの個数よりも大きいいくつかのカーネルを有する複数の畳み込み層を備えることができる。

【0048】

図3を参照すると、処理層の推定ブロックEiの一例が概略的に示されており、この推定ブロックは、トリミングされた画像を受信し、各決定されたターゲット箇所の推定位置を出力するブロックである。

【0049】

実施形態では、各処理段階の推定ブロックは、位置を特定すべき全てのターゲット箇所に共通である1つまたはいくつかの層と、次いで一組の決定されたターゲット箇所の各ターゲット箇所の位置を計算するように構成されたそれぞれの分岐とを備える。

【0050】

位置を特定すべき全てのターゲット箇所に共通である層は、少なくとも1つの畳み込み層と、それに続くReLU層と、それに続くバッチ正規化層とを備えることができる。図3に示された例では、全てのターゲット箇所に共通である層は、畳み込み、ReLU、およびバッチ正規化層で構成される2つの連続するブロック、ならびに1つの追加の畳み込みおよびReLUブロックを備える。

【0051】

さらに、(図3に破線で示された)それぞれのターゲット箇所に対応する各分岐は、追加の畳み込み層と、それに続くバッチ正規化層とを備える。畳み込み層のシーケンスは、箇所推定ごとの非正規化確率マップと解釈される。したがって、更新された箇所推定を得るために、各分岐は、以下のように定義されるcjを計算するさらなるブロックを備える。

【0052】

【数2】

【0053】

ただし、jは、分解能r_iにおけるそれぞれの分岐の畳み込み層のチャンネルであり、xは、分解能r_iにおける画像中の位置であり、Mij(x)は、そのチャンネルについての畳み込みスタックの出力であり、c_ijは、結果として得られる確率マップの重心である。

【0054】

これらの重心は、潜在的な推定として処理され、最終的な更新された推定は、これらの重心の重み付き平均によって得られ、各チャンネルjの重みW_ijは、同じそれぞれの分岐に生じる別の並列計算によって決定される。この計算は、全てのターゲット箇所に共通の一連の層および一連の2つの線形層の出力の平均プーリングを含む。さらなるソフトマックス層が、これらの重み付けを正規化するために適用される。

【0055】

したがって、最終的な更新された推定は、以下により与えられる。

【0056】

【数3】

【0057】

実施形態では、近隣の類似する箇所の知識が与えられる場合、画像内の見つからないまたは不明確な情報により、これらの箇所が更新されることはやはり有益であり得る。したがって、ニューラルネットワークの各処理段階は、推定ブロックE_iに添付される直列の複数の残差層RLを含む一組の残差層をさらに含んでもよい。図4を参照すると、推定ブロックの出力と、線形層+ReLU層、それに続く前記出力に基づいて計算される線形層の出力との和を含む残差層の一例が示されている。

【0058】

残差層がパラメータの個数の大きい増加を引き起こすのを防ぐために、残差層の個数は、全ての処理段階について同じであり、さらに、残差層のパラメータも、全ての処理段階について同じであるように一定である。

【0059】

処理段階の個数に関して、この個数は、初期入力画像のサイズおよび各トリミングされた領域のサイズに従って変わり得る。処理段階の個数NSは、

【0060】

【数4】

【0061】

のように計算することができる。ただし、Nは、概して256に等しい一方向に沿った画像のサイズであり、NRは、一方向に沿ってトリミングされた画像のサイズである。この数字は、設定することができる。例えば、数字は、8に等しくてもよい。この場合、図2の例に示されるように、層数は6である。

【0062】

学習済みニューラルネットワークが、入力画像に適用されるとき、ニューラルネットワークの出力は、入力画像によって形成された最高分解能の処理段階の出力によって形成され、各決定されたターゲット箇所の位置は、その上で特定される。

【0063】

訓練
図2に戻り、前記図の上部を参照すると、次に、このニューラルネットワークの訓練が開示されている。訓練は、コンピュータによって実行することができ、このコンピュータは、学習済みニューラルネットワークを実行する装置のコンピュータとは異なっていてもよい。訓練に使用されるコンピュータは、例えば、グラフィカル処理ユニットであり得る。このコンピュータは、訓練を実施するためにメモリに記憶されたコード命令をやはり実行する。

【0064】

訓練は、一組の決定されたターゲット箇所の各箇所の位置を画像ごとに特定するために、1つまたはいくつかの専門家によって全て注釈付けされる複数の脳MR画像を含む訓練用データセットに関して実行される。図2では、注釈付けされた画像上のターゲット箇所の位置は、「正解」ブロックに対応する。

【0065】

訓練中、誤差e_iが、ニューラルネットワークの全ての処理段階によって出力された推定を含む推定ベクトルと専門家によって決定されたターゲット箇所の位置に対応する正解との間で計算される。

【0066】

しかしながら、上に詳述したネットワークの構造の場合、トリミング動作は、それが周囲でトリミング中の位置に対して区別できず、勾配がより精細な分解能の層からより粗い分解能の層へ移ることができないことを意味することを理解されたい。したがって、従来の勾配ベースの訓練関数は、使用することができない。

【0067】

さらに、増加する画素幅により、より粗い分解能層の変化は、拡大される。例えば、最も粗い層における1画素の誤差は、最も精細な層における32画素の誤差に相当し得る。

【0068】

最後に、各層は、可能性ある推定の限定空間、いわゆるその「視野」を有し、したがって、正解がこの空間の外側にあるとき、勾配から学習することができない。

【0069】

これらの検討事項を考慮に入れるために、特定の訓練関数が、このニューラルネットワーク構造に関連している。

【0070】

第1の問題に関し、L2損失が、各層からの推定に適用されてもよい。言い換えれば、損失関数は、各分解能層の誤差の平方値の和として表すことができる。

【0071】

第2の問題に対処するために、各処理段階の誤差は、その分解能によって除算されてもよい。

【0072】

第3の問題に対処するために、誤差が分解能と同じ桁を有する処理段階をより重視するとともに、誤差が視野の縁に近づくまたは視野を超えるものを軽視するために、各処理段階について、その分解能および視野と共に処理段階の誤差を考慮に入れるように構成された重み付けスキームが使用される。

【0073】

したがって、訓練中に計算される損失関数Lは、

【0074】

【数5】

【0075】

によって与えられる。ただし、r_iは、処理段階の分解能であり、e_iは、この処理段階の誤差であり、w_iは、重み付け係数であり、これは、

【0076】

【数6】

【0077】

のように計算することができる。ただし、f_iは、処理段階の視野であり、αは、どのくらいこの重み付けが2値に近いのか、すなわち、その最適な分解能よりも粗いがまだその視野内にある特定の処理段階をどのくらいそれが可能にするのかを調整するために使用される定数である。この値は、例えば、0.5に設定することができる。

【0078】

実施例および結果
MRI画像上の脳箇所の位置特定の例示が、図6に示されている。この図は、
- 図においてCNNと示される、上記の注釈付け方法
- 図においてREGと示される、先行技術の欄に説明されたレジストレーション法の手法
- 3人の専門家の手作業の注釈付け
それぞれによる箇所注釈付けの一例を与える。(二乗平均平方根によって計算される)箇所の平均位置は、図6の「専門家AV」によっても表される。

【0079】

例示的な実施形態によれば、上で詳述した構造を有するニューラルネットワークは、訓練されており、次いで256x256x256画素のサイズを有するT1強調脳MR画像に適用される。

【0080】

この例では、ニューラルネットワークは、それぞれの分解能の6個の処理段階を含む。各ダウンサンプリングブロックは、サイズ2x2x2画素の平均プーリングを実行する。したがって、最も精細な分解能層によって処理されるボクセルサイズは、1mmであり、最も粗い分解能層によって処理されるボクセルサイズは、32mmである。

【0081】

最も粗い処理段階を除く各処理段階は、そのそれぞれの入力画像を8x8x8画素のサイズを有する領域にトリミングする。

【0082】

訓練用データセットは、専門家によって注釈付けされた16個のフル体積画像を含み、そこにランダムな回転(標準10°)および並進(標準10画素)の形態のデータ拡張が実施されており、これも、箇所の位置特定に容易に適用することができる。

【0083】

各画像は、12個の決定されたターゲット箇所に関して注釈付けされる。好ましくは、少なくともいくつかの箇所について、複数の専門家が、各箇所の位置特定を与え、正解とみなされる箇所の位置は、この位置に対する専門家の一致である。しかしながら、いくつかの箇所については、複数の専門家の注釈付けが、利用可能でなくてもよく、箇所の位置は、1人の専門家のみによって与えられてもよい。

【0084】

ネットワークの有効性は、専門神経科医によって決定される位置と専門家によって事前に注釈付けされたアトラスを変形することによって行われる変形可能なレジストレーションとの両方と比較される。変形可能なレジストレーションの手順は、患者ごとに計算するのに約4～5分かかる。

【0085】

方法を推定するために、一個抜き交差検証システムにおいて、平均距離誤差が計算され、これは、分散指標、すなわち、3つの他のネットワーク全てにわたっての平均箇所からの各ネットワークの箇所推定間の平均距離を計算するために、4回繰り返された。

【0086】

結果は、図5に再現されており、「CNN Err」は、開示された方法の誤差であり、「Disp」は、その分散であり、「Reg. Err.」は、レジストレーション手法の誤差に対応し、「Hum. Err.」は、個々の人間の専門家と一致箇所の間の誤差である。グレー表示のセルは、1人の専門家の注釈付けしかないことにより一致箇所が計算できなかったターゲット箇所を表す。

【0087】

さらに、ターゲット箇所は、一連の文字によって特定され、その意味は、以下の通りである。
- LOFC:左眼窩前前頭皮質
- ROFC:右眼窩前前頭皮質
- LDLPFC:左背外側前頭前皮質
- RDLPFC:右背外側前頭前皮質
- LHESCHL:左ヘッシェル回
- LFACEMC:左一次運動野(顔)
- RFACEMC:右一次運動野(顔)
- LLLIMBMC:左一次運動野(下肢)
- RLLIMBMC:右一次運動野(下肢)
- LULIMBMC:左一次運動野(上肢)
- RULIMBMC:右一次運動野(上肢)

【0088】

図7は、開示された方法(「CNN」)によって注釈付けされた箇所またはレジストレーション手法(「Reg」)によって注釈付けされた箇所と、3人の専門家によって注釈付けされた箇所の平均位置との間の平均距離を、ターゲット箇所のタイプごとに、ミリメートル単位で示す表である。

【0089】

図8は、上記方法(「CNN」)、レジストレーション手法(「Reg」)、または3人の専門家のいずれかによって注釈付けされた脳回が良好な回であるのか、誤ったものか、またはこの態様が未決定のものであるのか示された別の表である。

【0090】

したがって、提案された方法は、人間の専門家の成績に近く、時として人間の専門家の誤差よりも優れ、時として劣るが、いずれも統計的成績に及ばなことに気付くことができる。いずれにせよ、全ての、しかしRLLIMBMCおよびLULIMBMCのターゲット箇所について、レジストレーションベースの手法は、統計的有意性に関して人間の専門家に一貫して及ばなかったので、この方法の性能は、レジストレーションベースの手法によって実現されなかった。図7は、上記方法が、レジストレーション手法よりも人間の専門家によって与えられる平均的な決断にたいていより近い時間である結果をもたらすことも示し、上記の方法により示される良好な回の割合は、レジストレーション手法よりも高く、数人の専門家によって実現される結果よりさえも高いことが図8に見られる。さらに、新しい入力画像に関するニューラルネットワークの実行が続くが、数秒であり、これに対してレジストレーション手法は、4から5分を必要とする。したがって、上記の方法は、計算時間が劇的に減少した良い性能をもたらす。

【符号の説明】

【0091】

1 装置
10 メモリ
11 コンピュータ
12 インタフェース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【外国語明細書】