特許 7270319 ＳＰＥＣＴの３次元再構成画像の左心室自動分割方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-27

(45)【発行日】2023-05-10

(54)【発明の名称】ＳＰＥＣＴの３次元再構成画像の左心室自動分割方法

(51)【国際特許分類】

   G01T 1/161 20060101AFI20230428BHJP

【ＦＩ】

G01T1/161 B

【請求項の数】 10

(21)【出願番号】P 2022564825

(86)(22)【出願日】2022-01-15

(65)【公表番号】

(43)【公表日】2023-04-18

(86)【国際出願番号】 CN2022072199

(87)【国際公開番号】W WO2022161192

(87)【国際公開日】2022-08-04

【審査請求日】2022-10-25

(31)【優先権主張番号】202110135783.4

(32)【優先日】2021-02-01

(33)【優先権主張国・地域又は機関】CN

【早期審査対象出願】

(73)【特許権者】

【識別番号】521162399

【氏名又は名称】之江実験室

(74)【代理人】

【識別番号】100128347

【弁理士】

【氏名又は名称】西内 盛二

(72)【発明者】

【氏名】▲張▼ ▲鐸▼

(72)【発明者】

【氏名】朱 ▲聞▼▲タオ▼

(72)【発明者】

【氏名】▲韓▼ ▲ルー▼

(72)【発明者】

【氏名】黄 ▲海▼亮

(72)【発明者】

【氏名】▲祁▼ 二▲ジャオ▼

【審査官】佐々木 創太郎

(56)【参考文献】

【文献】特開２０１９－１２６５６７（ＪＰ，Ａ）

【文献】特開２０１９－１２８３５８（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０１５－００９９１６９（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｔ １／１６１－１／１６６

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

ＳＰＥＣＴの３次元再構成画像の左心室自動分割方法であって、以下のステップ１～５を含み、 前記ステップ１では、ＳＰＥＣＴの３次元再構成画像の通常ビューＲＡに対して縮小及びリサンプリングを行い、リサンプリングされた縮小通常ビューＲＡ－ｒを、畳み込みモジュールと完全接続層からなる特徴抽出ネットワークの入力として使用し、畳み込みモジュールを利用して縮小通常ビューＲＡ－ｒに対して特徴抽出を行い、完全接続拡張を行って、３つの方向の平行移動媒介変数及び３つの角度の回転媒介変数を含む６次元の固有ベクトルＴ－ｒを形成し、 前記ステップ２では、通常ビューＲＡと縮小通常ビューＲＡ－ｒとの均等比例関係を利用してＴ－ｒを固有ベクトルＴに調整し、回転媒介変数が不変であり、平行移動媒介変数が均等比例的に拡大され、 前記ステップ３では、空間変換ネットワークを利用して固有ベクトルＴ－ｒを縮小通常ビューＲＡ－ｒに適用して予測縮小画像ＳＡ－ｒ’を得るとともに、固有ベクトルＴを通常ビューＲＡに適用して予測画像ＳＡ’を取得し、 前記ステップ４では、予測画像ＳＡ’の中心を中心として、画像内の心臓部分を切り取って、予測心臓画像ＳＡ－Ｈ’を形成するとともに、予測心臓画像ＳＡ－Ｈ’に対して画像勾配計算を行って、対応する勾配マップＳＡ－Ｇを取得し、 前記ステップ５では、予測心臓画像ＳＡ－Ｈ’と勾配マップＳＡ－Ｇを２チャンネル画像に融合し、３次元Ｕ－ＮＥＴネットワークのダウンサンプリング及びアップサンプリングによって画像特徴を抽出し、ｓｏｆｔｍａｘ層によって分割処理を行って、予測された左心室の構造分割結果Ｆを取得し、 前記特徴抽出ネットワーク、空間変換ネットワーク及び３次元Ｕ－ＮＥＴネットワークは、マルチタスクの共同学習を用いて共同で訓練され、訓練の総損失関数は、Ｌ＝δＬ－ｐａｒ＋μＬ－ｉｍｇ＋λＬ－ｓｅｇであり、 ここで、δ、μ及びλは重み係数であり、Ｌ－ｉｍｇは予測縮小画像ＳＡ－ｒ’と縮小標準ビューＳＡ－ｒとの間の画像損失関数であり、Ｌ－ｐａｒは固有ベクトルＴ－ｒと剛体位置合わせパラメータＰ－ｒとの間のパラメータ損失関数であり、Ｌ－ｓｅｇは予測分割結果ＦとＳＡ方向分割ラベルＧとの間のラベル損失関数であり、前記縮小標準ビューＳＡ－ｒは、ＳＰＥＣＴの３次元再構成画像の通常ビューＲＡを手動でステアリングして均等比例的に縮小することにより取得され、前記剛体位置合わせパラメータＰ－ｒは、剛体位置合わせアルゴリズムによって計算された縮小通常ビューＲＡ－ｒと縮小標準ビューＳＡ－ｒとの間の位置合わせパラメータであり、３つの方向の平行移動媒介変数及び３つの角度の回転媒介変数を含み、前記ＳＡ方向分割ラベルＧは、左心室腔、心室壁及び背景の３つの値を含み、標準ビューＳＡの中心を中心として心臓画像ＳＡ－Ｈを切り取って心臓左心室の心室腔及び心室壁を手動で描写することにより取得される ことを特徴とするＳＰＥＣＴの３次元再構成画像の左心室自動分割方法。

【請求項2】

前記縮小通常ビューＲＡ－ｒ、縮小標準ビューＳＡ－ｒのサイズは６４＊６４＊６４ボクセルであり、心臓画像ＳＡ－Ｈと予測心臓画像ＳＡ－Ｈ’のサイズは３２＊３２＊３２ボクセルである ことを特徴とする請求項１に記載のＳＰＥＣＴの３次元再構成画像の左心室自動分割方法。

【請求項3】

前記ステップ３では、前記空間変換ネットワークは変換行列Ｐ＝［Ｒ Ｍ^Ｔ］を構築することにより予測画像を取得し、ここで、Ｍ＝［ｔｘ、ｔｙ、ｔｚ］は変位行列を表し、ｔｘ、ｔｙ、ｔｚはそれぞれ固有ベクトルにおける対応する３つの方向の平行移動媒介変数であり、Ｒは回転行列であり、ワールド座標系で以下の式１に表され、

【数1】

Ｒ＝［β、α、γ］は回転行列のオイラー角表現である ことを特徴とする請求項１に記載のＳＰＥＣＴの３次元再構成画像の左心室自動分割方法。

【請求項4】

前記勾配マップＳＡ－Ｇを取得する計算式は、以下の式２に示され、

【数2】

ここで、ｇ_ｘ、ｇ_ｙ、ｇ_ｚはそれぞれｘ、ｙ、ｚ方向の勾配であり、それらの計算式は、以下の式３に示され、

【数3】

ここで、ｉ、ｊ、ｋは画像内のｘ、ｙ、ｚの３つの方向の座標インデックスである ことを特徴とする請求項１に記載のＳＰＥＣＴの３次元再構成画像の左心室自動分割方法。

【請求項5】

前記特徴抽出ネットワークの畳み込みモジュール、完全接続層の数はいずれも３つであり、各畳み込みモジュールは畳み込み層及びプーリング層を含み、前記３次元Ｕ－ＮＥＴネットワークのダウンサンプリング及びアップサンプリングはいずれも４つであり、ダウンサンプリングは畳み込み層及びプーリング層を含み、アップサンプリングは畳み込み層及び逆畳み込み層を含む ことを特徴とする請求項１に記載のＳＰＥＣＴの３次元再構成画像の左心室自動分割方法。

【請求項6】

前記ＳＡ方向分割ラベルＧには、背景が０に設定され、左心室腔が１に設定され、左心室壁が２に設定される ことを特徴とする請求項１に記載のＳＰＥＣＴの３次元再構成画像の左心室自動分割方法。

【請求項7】

前記δの値は１とされ、前記μの値は１００とされ、前記λの値は１０とされる ことを特徴とする請求項１に記載のＳＰＥＣＴの３次元再構成画像の左心室自動分割方法。

【請求項8】

前記画像損失関数Ｌ－ｉｍｇは平均二乗誤差関数を用いる ことを特徴とする請求項１に記載のＳＰＥＣＴの３次元再構成画像の左心室自動分割方法。

【請求項9】

前記パラメータ損失関数Ｌ－ｐａｒは絶対値損失関数Ｌ１又はノルム損失関数Ｌ２を用いる ことを特徴とする請求項１に記載のＳＰＥＣＴの３次元再構成画像の左心室自動分割方法。

【請求項10】

前記ラベル損失関数Ｌ－ｓｅｇはＤｉｃｅ－ｌｏｓｓ損失関数を用い、左心室腔及び左心室壁についてラベル損失関数Ｌ－ｓｅｇ－１及びＬ－ｓｅｇ－２をそれぞれ計算し、最終的にＬ－ｓｅｇ＝Ｌ－ｓｅｇ－２＋Ｌ－ｓｅｇ－１となる ことを特徴とする請求項１に記載のＳＰＥＣＴの３次元再構成画像の左心室自動分割方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、医学映像分野及び深層学習分野に関し、特に深層学習ネットワークに基づくＳＰＥＣＴの３次元再構成画像の左心室自動分割方法に関する。

【背景技術】

【0002】

ＳＰＥＣＴ心臓イメージングは、現在、冠状動脈性心臓病、心筋虚血等の心血管疾患の臨床診断、治療有効性の評価及び予後判断を行うためのゴールドスタンダードであり、心筋組織の機能情報を非侵襲的に提供して構造変化を引き起こしていない潜在的な病変を検出し、心筋組織のより詳細な機能活性情報を提供することができる。臨床的にＳＰＥＣＴ検査を行う際に、再構成されたＳＰＥＣＴ画像に対して一連の操作及び分析を行う必要があり、左心室の駆出係数の計算は心臓機能を評価するための１つの重要な指標であり、異なる心拍周期での左心室腔の容積を抽出して計算するように、左心室の心室腔及び心室壁を分割する必要がある。臨床的に標準的なＳＰＥＣＴ心臓ビューは短軸像ＳＡ方向であり、且つ左心室の長軸が人間の長軸と平行ではないため、通常、標準ＳＡビューを取得するために再構成されたＳＰＥＣＴ画像を手動で回転させる必要があり、そして、このビューにおいて画像を分割して左心室の駆出係数を計算する。また、標準ＳＡビューに基づいた左心室の画像は左心室心筋の活性分析を行うための心臓の極座標図を作成することに用いることができる。

【0003】

画像を通常ＲＡビューから臨床分析用の心臓標準ＳＡビューに変換することは臨床的に医者による手動操作が必要である場合が多く、この主観的な操作がランダム誤差を導入して分析の精度に影響を与えることが容易であり、且つ長い手動操作時間がかかる。左心室画像分割については、現在、一般的な臨床核医学の心臓画像分析ソフトウェアはほとんど通常の画像処理の分割方法を用い、たとえば、左心室壁の中心線に基づいた分割方法、左心室モデルに基づいた分割方法、心臓アトラスに基づいた分割方法、閾値又はｋ平均クラスタリングに基づいた分割方法等が挙げられ、ＳＰＥＣＴ画像の解像度が低く、心臓画像が呼吸や心拍の動きの影響を受けて画像の動き境界が不明瞭になるため、現在の分割方法により分割する際に、分割精度が低く、分割エッジの抽出が不正確であるという問題が発生する場合が多く、さらに定量分析の精度に影響を与える。従って、ＳＰＥＣＴ心臓画像の臨床処理及び分析の時に、通常の再構成ビューから特定の臨床分析用の標準ＳＡビューへの安定した正確な画像の自動ステアリング及びポジショニングを如何に実現するか、画像解像度の低いＳＰＥＣＴ心臓画像内に左心室構造の正確な分割抽出を如何に実現するかは、臨床ＳＰＥＣＴ心臓の処理中に直面した技術的課題である。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の目的は、従来技術の欠陥に対して、深層学習ネットワークに基づくＳＰＥＣＴの３次元再構成画像の左心室自動分割方法を提供することである。

【課題を解決するための手段】

【0005】

本発明の目的は以下の技術的解決手段により実現される。

【0006】

ＳＰＥＣＴの３次元再構成画像の左心室自動分割方法であって、 ＳＰＥＣＴの３次元再構成画像の通常ビューＲＡに対して縮小及びリサンプリングを行い、リサンプリングされた縮小通常ビューＲＡ－ｒを、畳み込みモジュールと完全接続層からなる特徴抽出ネットワークの入力として使用し、畳み込みモジュールを利用して縮小通常ビューＲＡ－ｒに対して特徴抽出を行い、完全接続拡張を行って、３つの方向の平行移動媒介変数及び３つの角度の回転媒介変数を含む６次元の固有ベクトルＴ－ｒを形成するステップ１と、 通常ビューＲＡと縮小通常ビューＲＡ－ｒとの均等比例関係を利用してＴ－ｒを固有ベクトルＴに調整し、回転媒介変数が不変であり、平行移動媒介変数が均等比例的に拡大されるステップ２と、 空間変換ネットワークを利用して固有ベクトルＴ－ｒを縮小通常ビューＲＡ－ｒに適用して予測縮小画像ＳＡ－ｒ’を得るとともに、固有ベクトルＴを通常ビューＲＡに適用して予測画像ＳＡ’を得るステップ３と、 予測画像ＳＡ’の中心を中心として、画像内の抽出された心臓部分を切り取って、予測心臓画像ＳＡ－Ｈ’を形成するとともに、心臓画像ＳＡ－Ｈ’に対して画像勾配計算を行って、対応する勾配マップＳＡ－Ｇを取得するステップ４と、 心臓画像ＳＡ－Ｈ’と勾配マップＳＡ－Ｇを２チャンネル画像に融合し、３次元Ｕ－ＮＥＴネットワークのダウンサンプリング及びアップサンプリングによって画像特徴を抽出し、ｓｏｆｔｍａｘ層によって分割処理を行って予測された左心室の構造分割結果Ｆを取得するステップ５と、を含み、 前記特徴抽出ネットワーク、空間変換ネットワーク及びＵ－ＮＥＴネットワークは、マルチタスクの共同学習を用いて共同で訓練され、訓練の総損失関数は、Ｌ＝δＬ－ｐａｒ＋μＬ－ｉｍｇ＋λＬ－ｓｅｇであり、 ここで、δ、μ及びλは重み係数であり、Ｌ－ｉｍｇは予測縮小画像ＳＡ－ｒ’と縮小標準ビューＳＡ－ｒとの間の画像損失関数であり、Ｌ－ｐａｒは固有ベクトルＴ－ｒと剛体位置合わせパラメータＰ－ｒとの間のパラメータ損失関数であり、Ｌ－ｓｅｇは予測分割結果ＦとＳＡ方向分割ラベルＧとの間のラベル損失関数であり、前記縮小標準ビューＳＡ－ｒは、ＳＰＥＣＴの３次元再構成画像の通常ビューＲＡを手動でステアリングして均等比例的に縮小することにより取得され、前記剛体位置合わせパラメータＰ－ｒは、剛体位置合わせアルゴリズムによって計算された縮小通常ビューＲＡ－ｒと縮小標準ビューＳＡ－ｒとの間の位置合わせパラメータであり、３つの方向の平行移動媒介変数及び３つの角度の回転媒介変数を含み、前記ＳＡ方向分割ラベルＧは、左心室腔、心室壁及び背景の３つの値を含み、標準ビューＳＡの中心を中心として心臓画像ＳＡ－Ｈを切り取り、心臓左心室の心室腔及び心室壁を手動で描写することにより取得される。

【0007】

さらに、前記縮小通常ビューＲＡ－ｒ、縮小標準ビューＳＡ－ｒのサイズは好ましくは６４＊６４＊６４ボクセルであり、心臓画像ＳＡ－Ｈと予測心臓画像ＳＡ－Ｈ’は、心臓画像全体をカバーするとともに、他の高輝度臓器情報をできるだけ少なく含むことが最適であるべきであり、好ましくは３２＊３２＊３２ボクセルである。

【0008】

さらに、前記ステップ３では、変換行列Ｐ＝［Ｒ Ｍ^Ｔ］を構築することにより予測画像を取得し、ここで、Ｍ＝［ｔｘ、ｔｙ、ｔｚ］は変位行列を表し、ｔｘ、ｔｙ、ｔｚはそれぞれ固有ベクトルにおける対応する３つの方向の平行移動媒介変数であり、Ｒは回転行列であり、Ｒをオイラー角Ｒ＝［β、α、γ］からワールド座標系パラメータに変換し、以下の式１に表され、

【数1】

【0009】

さらに、前記勾配マップＳＡ－Ｇを取得する計算式は以下の式２に示され、

【数2】

ここで、ｇ_ｘ、ｇ_ｙ、ｇ_ｚはそれぞれｘ、ｙ、ｚ方向の勾配であり、それらの計算式は、以下の式３に示され、

【数3】

ここで、ｉ、ｊ、ｋは画像内のｘ、ｙ、ｚの３つの方向の座標インデックスである。

【0010】

勾配画像は画像境界情報をより良好に提供することができるため、勾配マップを同期的に読み取ると、ネットワークによる画像エッジの識別を最適化して、ネットワークの画像の分割に対する有効性をさらに向上させることができる。

【0011】

さらに、前記特徴抽出ネットワークの畳み込みモジュール、完全接続層の数はいずれも３つであり、各畳み込みモジュールは畳み込み層及びプーリング層を含み、前記３次元Ｕ－ＮＥＴネットワークのダウンサンプリング及びアップサンプリングはいずれも４回であり、ダウンサンプリングは畳み込み層及びプーリング層を含み、アップサンプリングは畳み込み層及び逆畳み込み層を含む。

【0012】

さらに、前記ＳＡ方向分割ラベルＧには、背景が０に設定され、左心室腔が１に設定され、左心室壁が２に設定される。

【0013】

さらに、前記δ、μ及びλは、それぞれの値が１、１００及び１０とされる。

【0014】

さらに、前記画像損失関数Ｌ－ｉｍｇは平均二乗誤差関数を用いる。

【0015】

さらに、前記パラメータ損失関数Ｌ－ｐａｒは絶対値損失関数Ｌ１又はノルム損失関数Ｌ２を用いる。

【0016】

さらに、前記ラベル損失関数Ｌ－ｓｅｇはＤｉｃｅ－ｌｏｓｓ損失関数を用い、左心室腔及び左心室壁についてラベル損失関数Ｌ－ｓｅｇ－１及びＬ－ｓｅｇ－２をそれぞれ計算し、最終的にＬ－ｓｅｇ＝Ｌ－ｓｅｇ－２＋Ｌ－ｓｅｇ－１となる。

【発明の効果】

【0017】

本発明の有益な効果は以下のとおりである。本発明は、マルチタスク学習の深層学習ネットワークを使用して画像の位置特徴とセマンティック特徴を同期的に抽出し、且つデュアルネットワーク特徴の相互監視を利用してネットワークの一体化訓練の効果を達成し、異なる角度から標準ビューへの一体化の自動ステアリング、心臓ポジショニング及び左心室の構造分割を実現し、手動ステアリング、分割の複雑さ及び人為的誤差を低減させ、画像操作の完全な自動化を実現し、精度を向上させ、本発明は、さらに勾配画像を用いて画像データエッジの分割の精度を向上させる。

【図面の簡単な説明】

【0018】

【図1】図１は本発明のＳＰＥＣＴ３次元画像の左心室の自動分割のプロセスを示す図である。

【図2】図２はＳＰＥＣＴ３次元画像の左心室の自動分割モデル構造の自動ステアリング及びポジショニングモジュールの模式図である。

【図3】図３はＳＰＥＣＴ３次元画像の左心室の自動分割モデル構造の自動分割モジュールの模式図である。

【発明を実施するための形態】

【0019】

以下、図面を参照しながら本発明を詳細に説明する。

【0020】

本発明は、深層学習ネットワークに基づくＳＰＥＣＴの３次元再構成画像の左心室自動分割方法を提案し、該方法について、具体的には、元のＳＰＥＣＴ胸部３次元再構成画像を線形補間によって６４＊６４＊６４ボクセルに比例的に拡大縮小し、特徴抽出ネットワークを利用して縮小された画像に対して剛体位置合わせパラメータ特徴を抽出し、空間変換ネットワーク及び抽出された剛体位置合わせパラメータ特徴を利用してＳＰＥＣＴの３次元再構成画像を自動的にステアリングして標準ビューの予測画像を取得し、標準ビューの予測画像から中心の３２＊３２＊３２ボクセルの部位をカットして心臓画像を取得し、且つＵ－ＮＥＴネットワークによって画像自動分割を行って標準ビューでの左心室の構造分割結果を取得し、そのプロセスは図１に示される。前記特徴抽出ネットワーク、空間変換ネットワーク及びＵ－ＮＥＴネットワークは、マルチタスクの共同学習を用いて共同で訓練され、訓練の総損失関数は、画像損失関数Ｌ－ｉｍｇ、パラメータ損失関数Ｌ－ｐａｒ及びラベル損失関数Ｌ－ｓｅｇの共同損失関数であり、マルチタスクの共同学習により、前後部分のネットワークの共同学習及びターゲットの最適化を確保することができる。

【0021】

以下、ＳＰＥＣＴ３次元画像の左心室の自動分割モデルを提供する（構造が図２及び図３に示される）ことにより、本発明の方法の一体化の自動ステアリング、ポジショニング及び分割を実現し、該モデルの構築及び訓練は具体的にステップ１～ステップ５を含む。

【0022】

ステップ１：６００例のＳＰＥＣＴの３次元再構成画像の通常ビューＲＡを取得し、臨床分析用の、左心室が画像の中心に位置する標準ビューＳＡを手動でステアリングし、標準ビューＳＡにおいて、画像の中心を中心として３２＊３２＊３２ボクセルの画像を切り取って心臓画像ＳＡ－Ｈを取得し、且つ心臓左心室の心室腔及び心室壁を手動で描写してＳＡ方向分割ラベルＧを取得し、剛体位置合わせアルゴリズムによって通常ビューＲＡと標準ビューＳＡとの間の剛体位置合わせパラメータＰを計算し、剛体位置合わせパラメータＰの６つのパラメータはそれぞれ３つの方向の平行移動媒介変数及び３つの角度の回転角度媒介変数であり、Ｐ＝［ｔｘ、ｔｙ、ｔｚ、β、α、γ］であり、ＳＰＥＣＴ画像の通常ビューＲＡ、標準ビューＳＡ、ＳＡ方向分割ラベルＧ及び剛体位置合わせパラメータＰのマッピングデータベースを形成する。通常ビューＲＡ及び標準ビューＳＡを、線形補間によって６４＊６４＊６４ボクセルの縮小通常ビューＲＡ－ｒ及び縮小標準ビューＳＡ－ｒに均等比例的にリサンプリングし、剛体位置合わせパラメータＰを縮小剛体位置合わせパラメータＰ－ｒに調整してＳＰＥＣＴ画像のＲＡ－ｒ、ＳＡ－ｒ及びＰ－ｒのマッピングデータセットを形成する。同様に、縮小剛体位置合わせパラメータＰ－ｒは３つの方向の平行移動媒介変数及び３つの角度の回転媒介変数を含み、ＰはＰ－ｒの回転媒介変数と同じであり、平行移動媒介変数は拡大縮小比例に従って均等比例的に縮小され、前記ＳＡ方向分割ラベルＧは左心室腔、心室壁及び背景の３つの値を含み、背景の値は０であり、左心室腔の値は１であり、左心室壁の値は２である。

【0023】

ステップ２：縮小通常ビューＲＡ－ｒを特徴抽出ネットワークに入力し、畳み込みモジュールを利用して縮小通常ビューＲＡ－ｒに対して特徴抽出を行い、完全接続拡張を行って６次元の固有ベクトルＴ－ｒを形成し、Ｐ－ｒとＰとの均等な比例関係を利用してＴ－ｒをＰと同じ比例の固有ベクトルＴに調整し、回転媒介変数が不変であり、平行移動媒介変数が均等比例的に拡大され、Ｔ－ｒとＴの６次元ベクトルは変位行列Ｍ＝［ｔｘ、ｔｙ、ｔｚ］及び回転行列Ｒ＝［β、α、γ］に分割することができ、Ｒをオイラー角からワールド座標系パラメータに変換する。

【数1】

【0024】

後続の空間変換ネットワークのパラメータ入力に適応するために、再構成変換行列はＴ’＝［Ｒ Ｍ^Ｔ］である。図２は自動ステアリングモジュールの実施例の構造であり、これは特徴抽出ネットワーク及び空間変換ネットワークを含む。特徴抽出ネットワークの畳み込みモジュールは３×３×３の畳み込みユニット及びＲｅｌｕ活性化関数ユニットからなる。

【0025】

ステップ３：空間変換ネットワークによって固有ベクトルＴ－ｒを通常ビューＲＡ－ｒに適用して予測縮小画像ＳＡ－ｒ’を得て、固有ベクトルＴをＳＰＥＣＴ再構成画像の通常ビューＲＡに適用して予測画像ＳＡ’を得て（図２）、予測画像ＳＡ’の中心を中心として、３２＊３２＊３２ボクセルの画像を切り取って心臓部分を抽出し、心臓画像ＳＡ－Ｈ’を形成する。ＳＡ－ｒ’画像の勾配マップＳＡ－Ｇを計算して生成し（図３）、ここで、勾配マップＳＡ－Ｇを取得する計算式は、以下の式２に示され、

【数2】

ここで、ｇ_ｘ、ｇ_ｙ、ｇ_ｚはそれぞれｘ、ｙ、ｚ方向の勾配であり、それらの計算式は、以下の式３に示され、

【数3】

ここで、ｉ、ｊ、ｋは画像内のｘ、ｙ、ｚの３つの方向の座標インデックスである。

【0026】

ステップ４：さらに心臓画像ＳＡ－Ｈ’と勾配マップＳＡ－Ｇを２チャンネル画像に融合し、３次元Ｕ－ＮＥＴネットワークを利用して予測された左心室の構造分割結果Ｆを取得する。図３は画像分割モジュールの実施例の構造であり、畳み込みモジュールは３×３×３の畳み込みユニット（Ｃｏｎｖｏｌｕｔｉｏｎ、Ｃｏｎｖ．）及びＲｅｌｕ活性化関数ユニットからなり、アップサンプリングモジュールは３×３×３の転置畳み込みユニット（Ｔｒａｎｓｐｏｓｅ Ｃｏｎｖｏｌｕｔｉｏｎ、Ｔｒａｎｓ．Ｃｏｎｖ．）及びＲｅｌｕ活性化関数ユニットからなる。最後のモジュールは１×１×１の畳み込みユニットを介してｓｏｆｔｍａｘ層に接続されて最終的な分割結果の出力を実現する。破線は、データのコピー及びカット操作を行って画像と特徴を結合するバイレベル情報を表す。

【0027】

ステップ５：予測縮小画像ＳＡ－ｒ’と縮小標準ビューＲＡ－ｒとの間の画像損失関数Ｌ－ｉｍｇ、固有ベクトルＴ－ｒと剛体位置合わせパラメータＰ－ｒとの間のパラメータ損失関数Ｌ－ｐａｒ、及び予測分割結果ＦとＳＡ方向分割ラベルＧとの間のラベル損失関数Ｌ－ｓｅｇを構築し、ネットワークを訓練して最適化して、ＳＰＥＣＴの３次元画像の左心室の自動分割モデルを取得する。具体的な実現は以下のサブステップに分けられる。

【0028】

サブステップ（５．１）では、自動分割モデルの訓練はマルチタスク学習プロセスであり、その損失行列は、ＲＡ－ｒからＳＡ－ｒへのステアリングモデルの制約情報、及びＳＡ－Ｈから分割結果Ｆへの分割モデルの制約情報を含み、マルチタスクの学習目標は、ネットワーク全体に対する制約を共同で形成してこの自動分割モデルを訓練する。モデルの全体的な損失行列は、画像損失関数Ｌ－ｉｍｇ、パラメータ損失関数Ｌ－ｐａｒ及びラベル損失関数Ｌ－ｓｅｇの共同損失関数Ｌ＝δＬ－ｐａｒ＋μＬ－ｉｍｇ＋λＬ－ｓｅｇとして設計され、δ、μ及びλは重み係数であり、経験に応じてそれぞれ値を１、１００及び１０とする。

【0029】

サブステップ（５．２）では、ステアリングモデル部分の画像損失関数Ｌ－ｉｍｇは予測画像と参照画像との間の平均二乗誤差関数を用い、対応する剛体位置合わせパラメータ損失関数Ｌ－ｐａｒは絶対値損失関数Ｌ１又はノルム損失関数Ｌ２を用いる。

【0030】

サブステップ（５．３）では、分割モデル部分のラベル損失関数Ｌ－ｓｅｇはＤｉｃｅ－ｌｏｓｓ損失関数を用い、それぞれ左心室腔及び左心室壁に対してラベル損失関数Ｌ－ｓｅｇ－１及びＬ－ｓｅｇ－２を計算し、最終的にＬ－ｓｅｇ＝Ｌ－ｓｅｇ－２＋Ｌ－ｓｅｇ－１となる。

【0031】

上記実施例は本発明を解釈して説明するためのものであり、本発明を制限するものではなく、本発明の精神及び特許請求の範囲の保護範囲内に、本発明に対して行った任意の修正や変更はいずれも本発明の保護範囲に含まれるものとなる。

【図1】

【図2】

【図3】