特許 7462055 脳の磁気共鳴画像における白質高信号域の自動セグメント化のための方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-27

(45)【発行日】2024-04-04

(54)【発明の名称】脳の磁気共鳴画像における白質高信号域の自動セグメント化のための方法およびシステム

(51)【国際特許分類】

   A61B 5/055 20060101AFI20240328BHJP

【ＦＩ】

A61B5/055 380

【請求項の数】 14

(21)【出願番号】P 2022543800

(86)(22)【出願日】2020-01-30

(65)【公表番号】

(43)【公表日】2023-04-12

(86)【国際出願番号】 ES2020070069

(87)【国際公開番号】W WO2021058843

(87)【国際公開日】2021-04-01

【審査請求日】2022-11-04

(31)【優先権主張番号】P201930818

(32)【優先日】2019-09-23

(33)【優先権主張国・地域又は機関】ES

(73)【特許権者】

【識別番号】522115664

【氏名又は名称】キビム，ソシエダー リミターダ

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】ヒメネス パストール，アナ マリア

(72)【発明者】

【氏名】カマチョ ラモス，エドゥアルド

(72)【発明者】

【氏名】ガルシア カストロ，ファビオ

(72)【発明者】

【氏名】アルベリッチ バヤリ，アンヘル

(72)【発明者】

【氏名】プーチ アルカンターラ，ジョゼップ

(72)【発明者】

【氏名】ビアルネス ドゥラン，カルレス

(72)【発明者】

【氏名】マルティ ボンマティ，ルイス

(72)【発明者】

【氏名】ペドラサ グティエレス，サルヴァドール

【審査官】佐々木 創太郎

(56)【参考文献】

【文献】米国特許第１０２２３６１０（ＵＳ，Ｂ１）

【文献】国際公開第２０１８／１４０５９６（ＷＯ，Ａ１）

【文献】国際公開第２０１８／１４３１８０（ＷＯ，Ａ１）

【文献】特表２０１７－５３６６０１（ＪＰ，Ａ）

【文献】國枝琢也ほか，クラスタリングを用いた脳ドックMR画像における無症候性大脳白質病変の検出法，Medical Imaging Technology，日本，日本医用画像工学会，2008年，Vol. 26, No. 1，pp. 39-47，DOI: 10.11409/mit.26.39

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／０５５

Ｇ０１Ｒ ３３／４４ － ３３／５８

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

コンピューターによって、脳の磁気共鳴画像中に存在する白質高信号域をセグメント化する方法であって、当該方法は、
－ 以前にトレーニングされたことのある畳み込みニューラルネットワーク（１１、１２、１３、１４）のアレイであって、畳み込みニューラルネットワーク同士で互いに異なる特異なアーキテクチャを有するように構成されている一方で、何れの畳み込みニューラルネットワーク（１１、１２、１３、１４）も或る符号化－復号化アーキテクチャに基づいている畳み込みニューラルネットワーク（１１、１２、１３、１４）のアレイを準備する工程と、
－ 畳み込みニューラルネットワーク同士が互いに異なるレベルで脳の磁気共鳴画像（１）の特徴を抽出することができる畳み込みニューラルネットワーク（１１、１２、１３、１４）の前記アレイによって、少なくとも１つの脳の磁気共鳴画像（１）を処理して白質高信号域のセグメンテーションを行う工程と、
－ 前記画像（１）における白質高信号域を含むボクセルを特定する工程と、
－ 前記畳み込みニューラルネットワークの各々および前記特定されたボクセルの各々に対して、高信号域と特定されている信号域が、規定の病的高信号域に相当する確率を決定する工程と、
－ 前記ボクセルの各々に対して、前記工程で決定された全ての前記確率の重み付き平均を算出する工程と、
－ 前記ボクセルの各々に対して、前記算出された確率の重み付き平均を、予め設定された閾値と比較する工程と、
－ 前記閾値を超える前記ボクセルを有する画像マスクを生成する工程と、
を含む、
方法。

【請求項2】

前記画像に対して前処理を行う工程を、さらに含み、
前記前処理を行う工程は、
－ 前記画像の各２Ｄセクションのサイズを２５６×２５６のサイズにする工程と、
－ 以下の式（１）に基づいて、各２Ｄセクションの前記信号域の値を０～１の間でスケーリングする工程と、

【数1】

（ここで、式（１）中のＩは、スケールリングされる２Ｄセクションであり、Ｉｉ， ｊ は、行ｉおよびカラムｊの前記信号域の値を示し、ｍｉｎ（Ｉ）は、前記セクションの前記値の最小値であり、ｍａｘ（Ｉ）は前記セクションの前記値の最大値である）
－以下の式（２）に基づいて、トレーニングデータセットの平均を減算し、且つ前記トレーニングデータセットの標準偏差によって除算することによって、前記ボクセルの各々を標準化する工程と、

【数2】

（ここで、式（２）中のＩ´は、前記スケーリングされた信号域であり、μは、スケーリングされたトレーニングデータセットの平均の信号域であり、σは、スケーリングされたトレーニングデータセットの標準偏差である）
を含む、
請求項１に記載の方法。

【請求項3】

前記畳み込みニューラルネットワークの前記アレイは、標準畳み込みニューラルネットワーク（１１）、残差畳み込みニューラルネットワーク（１２）、拡張畳み込みニューラルネットワーク（１３）、および拡張－残差畳み込みニューラルネットワーク（１４）を含む、
請求項１または２に記載の方法。

【請求項4】

前記ボクセルの各々について、前記特定された高信号域が病的な高信号域に相当する確率を決定する工程は、
－ 畳み込みニューラルネットワークの畳み込みレイヤ（２１）において、畳み込みオペレーションによって、前記脳の磁気共鳴画像をフィルタリングする工程と、
－ 符号化経路に配置された前記畳み込みレイヤ間に中間縮小レイヤ（２２）を挿入することにより、前記画像を縮小する工程と、
－ 前記符号化経路の後に、前記画像をボトルネック部（２５）を通じて処理する工程と、
－ 復号化経路に配置された前記畳み込みレイヤ間に畳み込み転置レイヤ（２３）を挿入することにより、前記画像を拡大する工程と、
－ 前記復号化経路の畳み込みブロックのそれぞれの前記畳み込みレイヤ（２１）の第２の畳み込みレイヤからの出力を、レイヤ合計オペレーター（２８）によって結合させるように構成された深部監視レイヤ（２６）によって前記畳み込みニューラルネットワークの出力を精緻化する工程と、
－ シグモイド活性化関数（２４）によって確率マップを取得する工程と、
を含む、
請求項１から３の何れか１項に記載の方法。

【請求項5】

前記畳み込みニューラルネットワークの各々に対して、前記画像の前記ボクセルの各々について決定された全ての前記確率を有する確率マップ（１６、１７、１８、１９）を生成する工程、
をさらに含む、
請求項１から４の何れか１項に記載の方法。

【請求項6】

前記ボクセルの各々に対して、前記工程で決定された全ての前記確率の重み付き平均を算出する工程は、さらに、
総確率マップを生成する工程、
を含む、
請求項１から５の何れか１項に記載の方法。

【請求項7】

前記画像マスク内の各ボクセルを含むように前記閾値を確率５０％に設定する工程、
をさらに含む、
請求項１から６の何れか１項に記載の方法。

【請求項8】

トレーニングされる前記畳み込みニューラルネットワークは、Ｔｖｅｒｓｋｙ損失関数を用いる、
請求項１から７の何れか１項に記載の方法。

【請求項9】

脳の磁気共鳴画像中に存在する白質高信号域をセグメント化するためのシステムであって、
前記システムは、
－ トレーニングされた畳み込みニューラルネットワーク（１１、１２、１３、１４）アレンジメントと、
－ プロセッサモジュール（５）と、
を含み、
前記畳み込みニューラルネットワーク（１１、１２、１３、１４）アレンジメントは、脳の磁気共鳴画像（１）を受け取るように構成されており、前記画像（１）における白質高信号域を含むボクセルを特定するように構成されており、前記畳み込みニューラルネットワークの各々について、各ボクセルに対して特定された高信号域が、規定の病的高信号域に相当する確率を決定するように構成されており、畳み込みニューラルネットワーク（１１、１２、１３、１４）は、互いに異なる特異なアーキテクチャを有するように構成されている一方で、何れの畳み込みニューラルネットワーク（１１、１２、１３、１４）も或る符号化－復号化アーキテクチャに基づいており、畳み込みニューラルネットワーク同士が互いに異なるレベルで脳の磁気共鳴画像（１）の特徴を抽出することができ、
前記プロセッサモジュール（５）は、前記ボクセルの各々に対して決定された全ての前記確率の重み付き平均を算出するように構成されており、前記ボクセルの各々について前記確率の重み付き平均を予め設定された閾値と比較するように構成されており、当該閾値を超えるボクセルを有する画像マスクを生成するように構成されている、
システム。

【請求項10】

前記畳み込みニューラルネットワークアレンジメントは、少なくとも１つの標準畳み込みニューラルネットワーク（１１）を含み、
前記標準畳み込みニューラルネットワーク（１１）は、
－ 畳み込みオペレーションによって前記画像をフィルタリングするように構成された畳み込みレイヤ（２１）と、
－ 前記画像を縮小するように構成された、符号化経路内の前記畳み込みレイヤ（２１）間に挿入される縮小レイヤ（２２）と、
－ 前記画像を拡大するように構成された、復号化経路内の前記畳み込みレイヤ（２１）間に挿入される転置レイヤ（２３）と、
－ 前記符号化経路と前記復号化経路との間のボトルネックセクション（２５）と、
－ 確率マップを生成するように構成されたシグモイド活性化レイヤ（２４）と、
－ 前記復号化経路の畳み込みブロックのそれぞれの前記畳み込みレイヤ（２１）の第２の畳み込みレイヤからの出力を、レイヤ合計オペレーター（２８）によって結合させるように構成された複数の深部監視レイヤ（２６）と、
を含む、
請求項９に記載のシステム。

【請求項11】

前記畳み込みニューラルネットワークアレンジメントは、少なくとも１つの残差畳み込みニューラルネットワーク（１２）を含み、
前記残差畳み込みニューラルネットワーク（１２）は、
－ 畳み込みオペレーションによって前記画像をフィルタリングするように構成された複数の残差ブロック（３０）と、
－ 前記画像を縮小するように構成された、符号化経路内の残差ブロック（３０）の間に挿入される複数の縮小レイヤ（２２）と、
－ 前記画像を拡大するように構成された、復号化経路内の残差ブロック（３０）の間に挿入される複数の転置レイヤ（２３）と、
－ 前記符号化経路と前記復号化経路との間のボトルネックセクション（２５）と、
－ 確率マップを生成するように構成されたシグモイド活性化レイヤ（２４）と、
－ 前記復号化経路の畳み込みブロックのそれぞれの前記畳み込みレイヤ（２１）の第２の畳み込みレイヤからの出力を、レイヤ合計オペレーター（２８）によって結合させるように構成された複数の深部監視レイヤ（２６）と、
を含む、
請求項９または１０に記載のシステム。

【請求項12】

前記畳み込みニューラルネットワークアレンジメントは、少なくとも１つの拡張畳み込みニューラルネットワーク（１３）を備え、
前記拡張畳み込みニューラルネットワーク（１３）は、
－ 畳み込みオペレーションによって、前記画像をフィルタリングするように構成された複数の畳み込みレイヤ（２１）と、
－ 前記画像を縮小するように構成された、符号化経路内の畳み込みレイヤ（２１）の間に挿入された複数の縮小レイヤ（２２）と、
－ 前記画像を拡大するように構成された、復号化経路内の畳み込みレイヤ（２１）の間に挿入された複数の転置レイヤ（２３）と、
－ 前記符号化経路と前記復号化経路との間のボトルネック部（２５）であって、異なる拡張速度を有する複数の拡張畳み込みレイヤ（４０）を含むボトルネック部（２５）と、
－ 確率マップを生成するように構成されたシグモイド活性化レイヤ（２４）と、
－ 前記復号化経路の畳み込みブロックのそれぞれの前記畳み込みレイヤ（２１）の第２の畳み込みレイヤからの出力を、レイヤ合計オペレーター（２８）によって結合させるように構成された複数の深部監視レイヤ（２６）と、
を含む、
請求項９から１１の何れか１項に記載のシステム。

【請求項13】

前記畳み込みニューラルネットワークアレンジメントは、少なくとも１つの拡張－残差畳み込みニューラルネットワーク（１４）を含み、
前記拡張－残差畳み込みニューラルネットワーク（１４）は、
－ 畳み込みオペレーションによって前記画像をフィルタリングするように構成された複数の残差ブロック（３０）と、
－ 前記画像を縮小するように構成された、符号化経路内の残差ブロック（３０）の間に挿入された複数の縮小レイヤ（２２）と、
－ 前記画像を拡大するように構成された、復号化経路内の残差ブロック（３０）の間に挿入された複数の転置レイヤ（２３）と；
－ 前記符号化経路と前記復号化経路との間のボトルネック部（２５）であって、異なる拡張速度を有する複数の拡張畳み込みレイヤ（４０）を含むボトルネック部（２５）と、
－ 確率マップを生成するように構成されたシグモイド活性化レイヤ（２４）と、
－ 前記復号化経路の畳み込みブロックのそれぞれの前記畳み込みレイヤ（２１）の第２の畳み込みレイヤからの出力を、レイヤ合計オペレーター（２８）によって結合させるように構成された複数の深部監視レイヤ（２６）と、
を含む、
請求項９から１２の何れか１項に記載のシステム。

【請求項14】

前記畳み込みニューラルネットワーク（１１、１２、１３、１４）が、２５６×２５６の画像入力サイズで構成され、全ての前記畳み込みレイヤが、３×３の受容野を有し、バッチ正規化レイヤおよび正規化線形関数レイヤが続く、
請求項９から１３の何れか１項に記載のシステム。

【発明の詳細な説明】

【発明の詳細な説明】

【0001】

〔技術分野〕
本発明は医用画像のコンピュータ支援解析の技術分野に関し、より詳細には、びまん性白質病変の体積に基づいて画像を自動的にセグメント化するための、磁気共鳴によって得られた画像の畳み込みニューラルネットワークによるプロセスに関し、特に、起こり得る脳損傷に関する放射線科医および神経科医の研究に役立つ。

【0002】

〔背景技術〕
現在、磁気共鳴画像法は、組織における異常を検出するために一般的に使用される予防診断ツールである。具体的には、神経放射線学の分野ではとりわけ白質損傷の診断において、専門医が磁気共鳴画像法を利用している。

【0003】

白質損傷は磁気共鳴画像法において、ＦＬＡＩＲ（fluid-attenuated inversion recovery）のシーケンスにおける高信号域として観察されるが、観察された全ての高信号域が損傷に相当するわけではなく、上衣（大脳室の内側を覆う）、大脳皮質および頭蓋骨などの他の生理的な高信号域も現れる。

【0004】

これに関連して、びまん性白質病変（leukoaraiosis）の体積は、脳の白質の様々な領域における密度のびまん性損失値を正確に検出するために医学において使用される。しかし、確定診断ではなく、むしろ白質の変化（この症例では高信号域）に関連し、他の技術の中でも磁気共鳴画像法によって得られた画像によって検出される放射線学的所見である。言い換えれば、びまん性白質病変は記述的な神経画像用語であり、健康状態が良好な人にも、アルツハイマー病やその他の認知症を含む臨床的症状および病理学的症状の異なる人にも現れるが、特異的な関連症状はない。

【0005】

専門の神経内科医や放射線科医は、読影にあたって、診断を下すためだけでなく、検査可能な領域と不可能な領域を単に鑑別するためにも、非常に高い精度を持っていることがわかった。

【0006】

最新技術では画像のセグメンテーションのための人工知能に基づいた専門家支援のためのいくつかのシステムが含まれるが、それらはそのような特定の応用分野で必要とされる精度を提供するのに十分にロバストではない。

【0007】

したがって、専門家による白質損傷の診断および研究に役立つ磁気共鳴画像法の自動セグメント化のための高精度画像化ソリューションが、最新技術では不足していると言える。

【0008】

〔発明の開示〕
上記の目的を達成し、上述の課題を解決するために、本発明は、第１の態様において、脳の磁気共鳴画像に存在する白質高信号域（white matter hyperintensities）をセグメント化する方法を説明する。すなわち、当該方法とは、脳の磁気共鳴画像中に存在する白質高信号域をセグメント化する方法であって、以下の各工程を含む；
－以前にトレーニングされたことのある畳み込みニューラルネットワークのアレイに脳の磁気共鳴画像を提供する工程と、
－前記画像における白質高信号域を含むボクセルを特定する工程と、
－前記畳み込みニューラルネットワークの各々および前記ボクセルの各々に対して、高信号域と特定されている信号域が、規定の病的高信号域に相当する確率を決定する工程と、
－前記ボクセルの各々に対して、前記工程で決定された全ての前記確率の重み付き平均（average）を算出する工程と、
－前記ボクセルの各々に対して、前記算出された確率の重み付き平均を、予め設定された閾値と比較する工程と、
－前記閾値を超える前記ボクセルを有する画像マスクを生成する工程と、
を含む。

【0009】

さらに、本発明の実施形態の１つは、前記提供された前記画像に対して前処理を行う工程を、さらに含み、
前記前処理を行う工程は、
－前記画像の各２Ｄセクションのサイズを２５６×２５６のサイズにする工程と、
－以下の式（１）に基づいて、各２Ｄセクションの前記信号域の値を０～１の間でスケーリングする工程と、

【0010】

【数1】

【0011】

（ここで、式（１）中のＩは、スケールされる２Ｄセクションであり、Ｉ_{ｉ， ｊ} は、行ｉカラムｊの前記信号域の値を示し、ｍｉｎ（Ｉ）は、前記セクションの前記値の最小値であり、ｍａｘ（Ｉ）は前記セクションの前記値の最大値である）
－以下の式（２）に基づいて、トレーニングデータセットの平均を減算し、且つ前記トレーニングデータセットの標準偏差によって除算することによって、前記ボクセルの各々を標準化する工程と、

【0012】

【数2】

【0013】

（ここで、式（２）中のＩ´は、スケーリングされた信号域であり、μは、スケーリングされたトレーニングデータセットの平均の信号域であり、σは、スケーリングされたトレーニングデータセットの標準偏差である。）
を含む。

【0014】

前記畳み込みニューラルネットワークの前記アレイは、標準畳み込みニューラルネットワーク、残差畳み込みニューラルネットワーク、拡張畳み込みニューラルネットワーク、および拡張－残差畳み込みニューラルネットワークを含み、これら全ての畳み込みニューラルネットワークは、符号化－復号化アーキテクチャに基づいている。有利には、これらのニューラルネットワークの組み合わせはそれらが単独で使用される場合に提供されるものよりも良好な結果をもたらす。

【0015】

ボクセル内で特定された高信号域が病的高信号域に相当する確率を決定するために、本実施形態の１つによれば、畳み込みニューラルネットワークの畳み込みレイヤにおいて、畳み込みオペレーションによって、前記脳の磁気共鳴画像をフィルタリングする工程と、
－ 符号化経路に配置された前記畳み込みレイヤ間に中間縮小レイヤを挿入することにより、前記画像を縮小する工程と、
－ 復号化経路に配置された前記畳み込みレイヤ間に畳み込み転置レイヤを挿入することにより、前記画像を拡大する工程と、
－ 深部監視レイヤによって前記畳み込みニューラルネットワークの出力を精緻化する工程と、
－ シグモイド活性化関数によって確率マップを取得する工程と、
が想定される。

【0016】

また、実施形態の１つとしては、前記畳み込みニューラルネットワークの各々に対して、前記画像の前記ボクセルの各々について決定された全ての前記確率を有する確率マップを生成することが想定される。

【0017】

実施形態の１つでは、各ボクセルに対して重み付き平均がなされて、畳み込みニューラルネットワークによって決定された確率を表す総確率マップを生成することが想定される。

【0018】

本発明の考え得る実施形態の１つによれば、画像マスクに各々のボクセルを含めるかどうかを決定する確率閾値を５０％に設定する。

【0019】

本発明の畳み込みニューラルネットワークのトレーニングは、その好ましい実施形態の１つではＴｖｅｒｓｋｙ損失関数を適用することを含む。したがって、有利には、不均衡が事前に確立された閾値を超えるボクセルの数と、超えないボクセルの数との間で平衡化される。

【0020】

本発明の第２の態様は、脳の磁気共鳴画像に存在する白質高信号域をセグメント化するためのシステムに関する。すなわち、本システムは、
－ 畳み込みニューラルネットワークアレンジメントと、
－ プロセッサモジュールと、
を含み、
前記畳み込みニューラルネットワークアレンジメントは、脳の磁気共鳴画像を受け取り、前記画像における白質高信号域を含むボクセルを特定し、前記ネットワークの各々について、各ボクセルに対して特定された高信号域が、規定の病的高信号域に相当する確率を決定し、
前記プロセッサモジュールは、前記ボクセルの各々に対して決定された全ての前記確率の重み付き平均を算出し、前記ボクセルの各々について前記確率の重み付き平均を予め設定された閾値と比較し、当該閾値を超えるボクセルを有する画像マスクを生成する。

【0021】

本発明の好ましい実施形態の１つによれば、前記畳み込みニューラルネットワークアレンジメントは、少なくとも１つの標準畳み込みニューラルネットワークを含み、前記標準畳み込みニューラルネットワークは、
－ 畳み込みオペレーションによって前記画像をフィルタリングするように構成された畳み込みレイヤと、
－ 前記画像を縮小するように構成された、符号化経路内の前記畳み込みレイヤ間に挿入される縮小レイヤと、
－ 前記画像を拡大するように構成された、復号化経路内の前記畳み込みレイヤ間に挿入される転置レイヤと、
－ 前記符号化経路と前記復号化経路との間のボトルネックセクションと、
－ 確率マップを生成するように構成されたシグモイド活性化レイヤと、
－ 復号化経路の畳み込みレイヤの出力を結合するように構成された複数の深部監視レイヤと、
を含む。

【0022】

本発明の一実施形態では、前記ニューラルネットワークアレンジメントは、少なくとも１つの残差畳み込みニューラルネットワークを含み、
前記残差畳み込みニューラルネットワークは、
－ 畳み込みオペレーションによって前記画像をフィルタリングするように構成された複数の残差ブロックと、
－ 前記画像を縮小するように構成された、符号化経路内の残差ブロックの間に挿入される複数の縮小レイヤと、
－ 前記画像を拡大するように構成された、復号化経路内の残差ブロックの間に挿入される複数の転置レイヤと、
－ 前記符号化経路と前記復号化経路との間のボトルネックセクションと、
－ 確率マップを生成するように構成されたシグモイド活性化レイヤと、
－ 前記復号化経路の畳み込みレイヤの出力を結合するように構成された複数の深部監視レイヤと、
を含む。

【0023】

本発明の一実施形態では、前記ニューラルネットワークアレンジメントは、少なくとも１つの拡張畳み込みニューラルネットワークを備え、
前記拡張畳み込みニューラルネットワークは、
－畳み込みオペレーションによって、前記画像をフィルタリングするように構成された複数の畳み込みレイヤと、
－ 前記画像を縮小するように構成された、符号化経路内の畳み込みレイヤの間に挿入された複数の縮小レイヤと、
－ 前記画像を拡大するように構成された、復号化経路内の畳み込みレイヤの間に挿入される複数の転置レイヤと、
－ 前記符号化経路と前記復号化経路との間のボトルネック部であって、異なる拡張速度を有する複数の拡張畳み込みレイヤを含むボトルネック部と、
－ 確率マップを生成するように構成されたシグモイド活性化レイヤと、
－ 前記復号化経路の畳み込みレイヤの出力を結合するように構成された複数の深部監視レイヤと、
を含む。

【0024】

本発明の一実施形態では、前記ニューラルネットワークアレンジメントは、少なくとも１つの拡張－残差畳み込みニューラルネットワークを含み、前記拡張－残差畳み込みニューラルネットワークは、
－ 畳み込みオペレーションによって前記画像をフィルタリングするように構成された複数の残差ブロックと、
－ 前記画像を縮小するように構成された、符号化経路内の残差ブロックの間に挿入される複数の縮小レイヤと、
－ 前記画像を拡大するように構成された、復号化経路内の残差ブロックの間に挿入される複数の転置レイヤと；
－ 前記符号化経路と前記復号化経路との間のボトルネック部であって、異なる拡張速度を有する複数の拡張畳み込みレイヤを含むボトルネック部と、
－ 確率マップを生成するように構成されたシグモイド活性化レイヤと、
－ 前記復号化経路の前記畳み込みレイヤの出力を結合するように構成された複数の深部監視レイヤと、
を含む。

【0025】

本発明の特定の実施形態によれば、前記ニューラルネットワークアレンジメントは、前記標準畳み込みニューラルネットワークと、前記残差畳み込みニューラルネットワークと、前記拡張畳み込みニューラルネットワークと、前記拡張－残差畳み込みニューラルネットワークとから構成され、それらの全てのニューラルネットワークが、２５６×２５６の画像入力サイズで構成され、全ての前記畳み込みレイヤが、３×３の受容フィールドを有し、バッチ正規化レイヤおよび直線単位レイヤが続く。

【0026】

本発明の最後の態様は、脳の磁気共鳴画像に存在する白質高信号域をセグメント化するためのコンピュータ実施方法に関する。すなわち、本コンピュータ実施方法は、
－以前にトレーニングされたことのある畳み込みニューラルネットワーク（１１、１２、１３、１４）のアレイに脳の磁気共鳴画像（１）を提供する工程と、
－ 前記画像における白質高信号域を含むボクセルを特定する工程と、
－ 前記畳み込みニューラルネットワークの各々および前記ボクセルの各々に対して、高信号域と特定されている信号域が、規定の病的高信号域に相当する確率を決定する工程と、
－ 前記ボクセルの各々に対して、前記工程で決定された全ての前記確率の重み付き平均を算出する工程と、
－ 前記ボクセルの各々に対して、前記算出された確率の重み付き平均を、予め設定された閾値と比較する工程と、
－ 前記閾値を超える前記ボクセルを有する画像マスクを生成する工程と、
を含む。

【0027】

本発明の一実施形態では、畳み込みニューラルネットワークが中央処理装置ＣＰＵにおいて実施される。

【0028】

本発明の具体的な実施形態では、畳み込みニューラルネットワークのうちの少なくとも１つは中央処理装置をサポートするグラフィック処理装置ＧＰＵにおいて実施される。

【0029】

上記の全てにより、本発明は、多数の有益な効果を伴う技術的特徴を有する。例えば、本発明に記載されたニューラルネットワークアレンジメントは、白質損傷に相当し得る病的高信号域と高信号域との間の識別を可能にし、これにより、専門家は本発明によってセグメント化され、画像マスクに含まれる領域に自分の作業を集中させることができ、又はびまん性白質病変を患う人の損傷装填（例えば、損傷の体積又は数）を記述するために提供されるセグメント化に基づいて追加の定量的パラメータを得ることさえできる。この利点は、例えば、専門家の作業時期の最適化およびその精度の向上にも及ぶ。

【0030】

さらに、本発明の畳み込みニューラルネットワークの新規な組み合わせは、公知の解決策のいずれよりもセグメンテーションに対してより大きなロバスト性を提供する。これは、画像から様々なレベルで特性を抽出することを可能にし、特に、白質損傷をセグメント化するという複雑な作業に焦点を当てることによって、人ごとにその分布が異なり、本発明のような特殊な構成を必要とする白質損傷を画像から処理することを可能にする。

【0031】

〔図面の簡単な説明〕
本発明の説明を完了するために、および本発明の好ましい実施形態による本発明の特徴をより良く理解するのを助けるために、図面のセットが添付され、以下の図面は、例示的かつ非限定的な様式で示される：
－ 図１は、本発明の実施形態のブロック図を示す。
－ 図２は、本発明で使用される標準畳み込みニューラルネットワークの実施形態を詳細に示す。
－ 図３は、本発明で使用される残差畳み込みニューラルネットワークの実施形態を詳細に示す。
－ 図４は、本発明で使用される拡張畳み込みニューラルネットワークの実施形態を詳細に示す。
－ 図５は、本発明で使用される拡張－残差畳み込みニューラルネットワークの実施形態を詳細に示す。

【0032】

〔発明を実施するための形態〕
以下に、本発明を実施するための少なくとも１つの実施形態を、前述の図面に関連して詳細に説明する。本明細書で使用される用語は単に特定の実施形態を説明するために使用され、本発明を限定することを意図しないことは当業者には明らかであろう。単数形で使用される任意の表現は文脈において明らかに異なる意味を有さない限り、複数の表現を包含する。以下の説明では「含む」、「有する」などの用語は特徴、数、工程、アクション、要素、部分、または組合せの存在を示すことを意図しているものとして理解されなければならないが、１つまたは複数の特徴、数、工程、アクション、要素、部分、または組合せが追加され得る可能性を排除することを意図していない。

【0033】

本発明は、びまん性白質病変の体積を測定し、それにより神経科医や放射線科医が白質損傷の可能性を検出するために用いることができる、脳の磁気共鳴画像を自動的にセグメント化するための方法および装置を開示している。

【0034】

本発明に係る自動的セグメンテーションのための方法およびシステムは、以下に詳述するように、画像処理による専門家の診断を支援するものであり、各画像の各ボクセルを個々に処理して生成される画像マスクを、最終的な診断の出力で提供する。ここで、ボクセルが損傷に属するかどうかを決定するために確立された基準は、画像内の全てのボクセルの中からどれが病的高信号域に相当してどれが相当しないかを区別するための基準となり、白質損傷の特定するような後続の研究において非常に役立つものとなるだろう。

【0035】

入力画像は、脳の磁気共鳴画像法（ＭＲＩ）から得られる。これらの磁気共鳴画像法から、ＦＬＡＩＲのシーケンスを使用して、脳の白質の損傷に属するボクセルを検出する。これらの白質高信号域（ＷＭＨ：white matter hyperintensities）は、組み合わされた種々のＣＮＮの確率マップを生成することによって本発明によってセグメント化され、病的高信号域を含むボクセルを検出するために閾値化が実行される。

【0036】

図１は、一実施形態の基本的なブロックを表している。画像１は、畳み込みニューラルネットワーク１１、１２、１３、１４（ＣＮＮと略される。ＣＮＮ：convolutional neural network architectures）のアレイによって処理される。各ＣＮＮは、特殊なアーキテクチャで構成されており、以前にトレーニングされたＣＮＮである。ＣＮＮは、上述の画像の各ボクセルにおける白質損傷の有無の確率マップ１６、１７、１８および１９をその出力で提供する。次いで、プロセッサモジュール５では、最終的な確率マップ２を得るために、各ＣＮＮに関連付けられた確率マップの重み付き平均が算出され、出力で提供される画像マスク４を生成するために閾値３が設定される。

【0037】

本発明の一実施形態では、入力画像の前処理として、双三次補間（a bicubic interpolation）を適用する手段によって使用されるＣＮＮアーキテクチャの入力サイズに適合させるために、各３Ｄイメージの各２Ｄセクションが２５６×２５６の共通サイズに再整形される。以下は、全体的なトレーニングセットのための２工程正規化プロセスである：
＜工程１＞最小－最大スケーリング工程：各２Ｄセクションの信号域の値を、０と１との間でスケーリングする。

【0038】

【数3】

【0039】

（ここで、式中のＩは、スケーリングされるセクションであり、ｌ_{ｉ， ｊ}は行ｉおよびカラムｊにおける強度値であり、ｍｉｎ（ｌ）はセクションの最小値であり、ｍａｘ（ｌ）はその最大値である）
＜工程２＞標準化工程：トレーニングデータセットを、０の平均および１の分散を有するように正規化する。そのために、各ボクセルは、トレーニングデータセットの平均を減算し、トレーニングデータセットの標準偏差で除算する。

【0040】

【数4】

【0041】

（ここで、式中のＩ´は最小－最大のスケーリングされた信号域であり、μはスケーリングされたトレーニングデータセットの平均の信号域であり、σはスケーリングされたトレーニングデータセットの標準偏差である。）。

【0042】

画像が上述のように前処理されると、互いに異なる４つのＣＮＮネットワークに提供される。なお、４つのＣＮＮは全て或るエンコーダ－デコーダアーキテクチャに基づいているが、標準的なＣＮＮ構成１１（図２に詳細に示される）と、残差畳み込みブロック１２（図３に詳細に示される）を有するＣＮＮ構成と、拡張畳み込みフィルタ１３（図４に詳細に示される）を有するＣＮＮ構成と、両方の組み合わせ１４（図５に詳細に示される）とを使用するという差異を有する。標準ＣＮＮ構成１１は、エッジおよびコントラストに基づく比較的単純な特性から、画像の形状およびセグメント化される関心領域に基づくより複雑な特性に至るまで、異なるレベルで特性を抽出することを可能にする。しかしながら、白質損傷のセグメンテーションは各患者がその異なる分布を有するために複雑な作業であり、その理由のために、より複雑な特性が必要であり、これはネットワーク内の畳み込みレイヤの数を増加させることによって達成されるが、これは消失勾配問題として知られるような問題につながる。残留畳み込みブロック１２を有するＣＮＮ構成は、畳み込みレイヤの数を増加させる必要なしに、より複雑な特性を得ることを可能にする。さらに、高信号域が病的であるかどうかを定義するために、画像の残りの部分についてのより多くの情報、言い換えれば、より多くの状況情報を有することが必要であり、これは、特性が抽出される領域が増加されることを可能にする拡張畳み込みフィルタ１３を有するＣＮＮによって達成される。したがって、このアーキテクチャは、画像から異なるタイプの情報を抽出して白質損傷のセグメンテーションの精度を高められるように、設計され、且つ最適化されている。

【0043】

デコーダ－エンコーダアーキテクチャは、入力画像が提供されると、異なるレベルで特性を加算することによって高次元特性ベクトルが生成される符号化経路と、最終的に確率マップを生成するために、以前に生成された特性ベクトルが複数のレベルで復号される復号経路とを有する。符号化レイヤと復号レイヤとの間には、いくつかのブリッジ接続が配置され、符号化経路から来る連結特性を復号パスからの特性と手段することによって、ローカルおよびコンテキストの両方を組み合わせる。さらに、いくつかの深部監視レイヤが含まれる。これらのレイヤは迅速な収束を可能にし、これは、より少ないトレーニング期間であることを意味し、且つ、エッジをより良好に描写することを意味する。

【0044】

一実施形態では、上記の前処理にしたがって、畳み込みニューラルネットワークのすべてのアーキテクチャは、（＃行、＃列、＃チャネル）に対応する（２５６、２５６、１）の大きさの入力レイヤを有する。チャネル数は、単色画像で動作しているため、１に設定される。

【0045】

図２は、他のＣＮＮネットワークに共通の特性を含むエンコーダ－デコーダ構成を有する標準畳み込みニューラルネットワーク１１のアーキテクチャを詳細に示す。

【0046】

符号化経路のアーキテクチャは、中間縮小レイヤ２２と交互に配置された畳み込みレイヤ２１を含む。全ての畳み込みレイヤは、バッチ正規化（ＢＮ：batch normalisation）レイヤおよび正規化線形関数（ＲｅＬＵ：rectified linear unit）レイヤが後に続く３×３受容野を有する。ＢＮレイヤは畳み込みレイヤの出力を０の平均および１の分散に正規化し、畳み込みニューラルネットワーク（ＣＮＮ）の安定性を増加させる。ＲｅＬＵは、モデルに非線形性を導入する活性化関数である。２×２コアを有する最大プーリング低減レイヤ２２は、２つの畳み込みレイヤ２１毎に後に配置され、従って、画像のサイズを半分に低減する。各最大プーリング縮小レイヤの後、畳み込みレイヤ内のフィルタ数は２倍になる。

【0047】

エンコーダとデコーダとの間には、ボトルネック部２５が、前述のものと等しい２つの畳み込みレイヤによって形成されて配置される。従って、第１の２つの畳み込みレイヤが３２フィルタを有し、入力画像が２５６×２５６でサイズ決めされた実施形態では、４つの縮小レイヤ２２の後に、エンコーダ層とデコーダ層との間のボトルネック部２５の２つの畳み込みレイヤは、１６×１６に縮小された画像用に５１２フィルタを有する。

【0048】

復号化経路は同様のアーキテクチャを有し、唯一の違いは、縮小レイヤ２２を畳み込み転置レイヤ２３に置き換えることであり、それによって画像のサイズが２倍になる。同様に、各転置レイヤの後の各畳み込みレイヤにおけるフィルタの数は、半分に減少される。復号化経路において、転置レイヤ２３の前に、レイヤ連結オペレーター２７が導入される。レイヤ連結オペレーター２７はまた、符号化経路に接続され、その結果、全て同じサイズの複数の行列のアレイを入力で取り（本実施形態では、３次元に対応する一つ、すなわちチャネル、である連結軸を除いて）、前の行列を連結した結果得られる１つの行列を出力で返す。例えば、大きさ［２５６、２５６、３２］の２つの入力があるとすると、結果的に、大きさ［２５６、２５６、６４］になる。

【0049】

さらに、深部監視レイヤ２６は、レイヤ合計オペレーター（a layer sum operator）２８によって縮小経路の畳み込みブロックの各々の第２の畳み込みレイヤ２１からの出力を結合する１×１の受容野を有する畳み込みフィルタから構成されている。レイヤ合計オペレーター２８は、全てが同じサイズを有する行列のアレイを入力として取り、全ての行列の合計に対応する同じサイズを有する行列を出力で返す。本実施形態では、合計が第３の大きさ、換言すれば、チャネルに対応する大きさに沿って行われる。例えば大きさ［２５６，２５６，３２］の２つの入力があるとすると、結果的に、同じ大きさ［２５６，２５６，３２］になる。

【0050】

ＣＮＮの出力で最終確率マップ１６を得るために、シグモイド活性化関数２４が含まれる。

【0051】

図３は、標準畳み込みブロック２１が残差ブロック３０で置き換えられている、残差畳み込みニューラルネットワーク１２のアーキテクチャを詳細に示している。ＣＮＮがトレーニングされると、レイヤ数が増加することにつれて精度が増加するが、トレーニングの精度が劣化し始める限界がある。残差ブロックのおかげで、いくつかのレイヤのトレーニングを省略することができ、したがって、追加のレイヤを組み込むことなく、より深いアーキテクチャを設計することが可能になる。残差ブロック３０の各々に続いて、符号化経路および復号化経路の両方において、レイヤ連結オペレーター２７が含まれる。

【0052】

図４は拡張畳み込みニューラルネットワーク１３のアーキテクチャを詳細に示し、拡張畳み込みレイヤ４０は、エンコーダレイヤとデコーダレイヤとの間のボトルネック部２５に含まれる。この実施形態では、６つの拡張畳み込みレイヤ４０が１、２、４、６、８、１６、および３２のそれぞれの拡張速度で含まれる。これらの拡張されたレイヤは、解像度を失うことなく受容野を増加させることによって、マルチスケールの状況情報を追加する。

【0053】

図５は拡張－残留畳み込みニューラルネットワーク１４のアーキテクチャを詳細に表しており、２つの先述のアーキテクチャが組み合わされ、標準畳み込みブロック２１が残差ブロック３０に置き換えられ、符号化経路と復号化経路との間のコネクション２５に拡張畳み込みレイヤ４０が組み込まれている。

【0054】

磁気共鳴法によって得られた３Ｄ画像が、以前にトレーニングされた先述の畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャの各々によって部分的にセグメント化されると、最終的な確率マップ２を得るために、出力の重み付き平均がなされる。この最終的な確率マップは、ボクセルが最終的なマスク４の一部となるかどうかを決定する閾値を設定するので、次の閾値化工程３において閾値を設定するための基準となる。一実施形態では５０％を超える確率を有する全てのボクセルが損傷として設定され、換言すれば、それらは損傷画像マスクの一部としてセグメント化され、一方、５０％未満の確率を有するボクセルはバックグラウンドとして設定される。

【0055】

このように、出力として白質損傷を有するマスクが提供されることは、脳実質および生理学的高強度に対応するボクセルがフィルタリングされているため、その専門家による分析を最も関連する部分に集中させることができ、特に神経科医や放射線科医にとって非常に有用である。

【0056】

本発明を用いる前に、ニューラルネットワークのアレイをトレーニングしなければならない。使用される４つのＣＮＮネットワークのトレーニングのための第１のステップでは、必要な初期の手動注釈が専門の神経放射線医によって実行される。この初期セグメンテーションは、脳室の上皮細胞層（ependymal layer）のような生理学的な高信号域を除いて、白質損傷に対応するボクセルを手動で選択することからなる。次に、それぞれのＣＮＮアーキテクチャのトレーニング処理が、３０に設定されたバッチサイズを有する２００エポックにわたって、本実施形態の１つに従って実行される。新しいデータに対するＣＮＮモデルのロバスト性をテストするために、５反復クロス確認が実行される。したがって、トレーニングデータセットは、各反復において、トレーニングするために４つのサブセットと、検証するために残りのサブセットとを使用して、５つのサブセットに分割される。５回の反復にわたって得られた誤差は、最終トレーニング誤差を算出するために、重み付き平均される。

【0057】

トレーニングプロセス中にネットワークの重みを反復的に更新するために、アダム最適化アルゴリズム（the Adam optimisation algorithm）が使用される。初期学習率は１ｅ－５に設定される。残りのハイパーパラメータ（β１、β２、およびζ）は、そのデフォルト値（それぞれ０．９、０．９９９、および１０～７）に維持され、これらは良好な結果を与えることが知られている。

【0058】

本発明によって実行されるような白質病変（ＷＭＨ）のセグメンテーションに伴う問題の１つはデータセットが概して非常に不均衡であることであり、これはバックグラウンド
として設定されるボクセルの数と、白質病変として設定されるボクセルの数とに大差があることを意味する。この問題を解決するために、異なるコスト／損失関数が分析される：
－ ＤＩＣＥ係数損失値（ＤＣＬ：DICE-coefficient loss）：ＤＩＣＥ係数（ＤＣ：DICE coefficient）は、２つのセグメンテーションマスク間の空間的重複を示す。ＤＣＬはＤＣの逆数である。

【0059】

【数5】

【0060】

（ここで、式中のＸは、手動セグメンテーションであり、Ｙは、予測マスクである。）
－ ２バイナリクロスエントロピー（ＢＣＥ：Binary cross-entropy）：予測確率が実際のラベルからどれだけ離れているかを示す。これは、分類モデルにおいて広く使用されている。

【0061】

【数6】

【0062】

（ここで、式中のｙは、真のラベル（バックグラウンドについては０、関心領域については１）であり、ｐ（ｙ）は、全てのＮボクセルに対してボクセルがラベルｙである確率である。）
－ Ｔｖｅｒｓｋｙ損失（ＴＬ：Tversky loss）は、非常に不均衡なデータセットになると良好に機能することが示されている。

【0063】

【数7】

【0064】

（ここで、α＝０．７およびε＝１であり、ＴＰは真陽性の割合であり、ＦＮは偽陰性の割合である。）
－ 焦点Ｔｖｅｒｓｋｙ損失値（ＦＴＬ：Focal Tversky loss）：ＴＬの拡張部分であり、損失値に大きく寄与しないので、より低い確率で検出された困難なクラス、言い換えれば、小さい領域に焦点を当てるための値である。

【0065】

【数8】

【0066】

（ここで、γ＝１．３３であり、ＴＬは先述のＴｖｅｒｓｋｙ損失である。）。

【0067】

上記の関数が分析され、相互検証トレーニングがそれらの各々について実行されると、本発明の実施形態のうちの１つに従って、最良な結果が、Ｔｖｅｒｓｋｙ損失関数（ＴＬ）によって提供される。したがって、本発明の一実施形態では、得られるネットワークは、ＴＬを使用することによって選択され、外部検証を実行するために使用される。

【0068】

ＣＮＮネットワークのモデルの一般化可能性を高め、オーバーフィッティングを低減するために、以前のトレーニングプロセス中に、異なるデータ増強技術を各トレーニングバッチにオンザフライで適用することができる。実施形態の１つでは、２つの異なった変換がこれらの画像にランダムに適用される：画像にガウス雑音を加え（μ＝０、σ ε ［０．２、０．５］）、画像およびその対応するマスクに－１０°～１０°の間の回転を適用する。

【0069】

最後に、ニューラルネットワーク、確率マップ、およびその出力で最終マスクを生成する閾値モジュールによって形成されるアレイ全体を評価して、その性能を決定し、精度が所要を満たすものであることを保証することができる。そうするために、一実施形態として、以下のパラメータが算出される：
－ ＤＣ係数： ０から１まで変化し、０は比較される２つのマスクの間にオーバーラップがないことを意味し、１は完全なオーバーラップであることを意味する；
および
－ ＡＳＳＤ（average symmetric surface distance）： セグメンテーションマスク双方の間の差異を示す。ここで、Ｓ（Ｘ）はマスクＸの表面のボクセルの集合であり、任意のボクセルｖからＳ（Ｘ）までの最短距離は以下のように定義される；

【0070】

【数9】

【0071】

（なお、式中の｜｜ ｜｜は、ユークリッド距離を表す）。ＡＳＳＤは、下記の式によって与えられるものである：

【0072】

【数10】

【0073】

この追加的な評価は、トレーニングプロセス中に設計されたアーキテクチャの適切な機能を保証する相互検証が実行された後に実行され、その理由のために、評価が何らかのエラーをもたらす場合、トレーニングデータセットとテストデータセットとの間の差によって引き起こされることになる。この場合、解決策は、より多くの技術を適用することによってデータ成長を拡張するか、またはトレーニングデータセットをよりロバストにするためにトレーニングデータセットを増加させるかのいずれかである。

【0074】

本発明の磁気共鳴画像中の白質高信号域をセグメント化する方法およびシステムは、医用画像プロセッシングおよびストレージインフラに統合することができる。

【0075】

本発明に係る方法は、コンピュータ、プロセッサ、マイクロプロセッサ、サーバー、ウェブサーバーまたはクラウドによって実現することができる。ニューラルネットワークおよび本発明の他のプロセスを実施するために記載されたアルゴリズムおよびモデルは、オペレーティングシステム、または「コンピュータプログラム」と呼ばれる具体的なアプリケーション、構成要素、プログラム、物体、モジュール、または一連の命令の一部として実施することができる。コンピュータプログラムは典型的には様々なメモリおよびストレージ装置に記憶された１つ以上の命令を含み、これらの命令は、コンピュータの１つ以上のプロセッサによって読み取られ実行されると、コンピュータに必要な動作を実行させる。当業者であれば、様々な本発明の実施形態を様々な方法で実施することができるが、本明細書は使用されるマシンまたはコンピュータ読み取り可能な媒体の特定の種類にかかわらず、等しく適用されることを理解するのであろう。コンピュータ読み取り可能媒体の実施例としては特に、揮発性および不揮発性メモリ装置等の書き込み可能媒体、フロッピー（登録商標）ディスクおよび他の取り外し可能ディスク、ハードドライブユニット、光ディスク（実施例用、コンパクトディスク可読メモリ（ＣＤ－ＲＯＭ）、デジタル汎用ディスク（ＤＶＤ）等）、およびデジタルおよびアナログ通信リンク等の伝送媒体が挙げられるが、これらに限定されない。

【0076】

本発明は、本明細書に記載される実施形態に限定されるべきではない。当業者は、本明細書に基づいて他の構成を実行することができる。したがって、本発明の範囲は、以下の特許請求の範囲によって定義される。

【図面の簡単な説明】

【0077】

【図1】本発明の実施形態のブロック図を表す。

【図2】本発明で使用される通常の畳み込みニューラルネットワークの実施形態を詳細に示す。

【図3】本発明で使用される残差畳み込みニューラルネットワークの実施形態を詳細に示す。

【図4】本発明で使用される拡張畳み込みニューラルネットワークの実施形態を詳細に示す。

【図5】本発明で使用される拡張－残差畳み込みニューラルネットワークの実施形態を詳細に示す。

【図1】

【図2】

【図3】

【図4】

【図5】