知財求人 - 知財ポータルサイト「IP Force」
特開2023-133132トランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法、装置、デバイス及び媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023133132
(43)【公開日】2023-09-22
(54)【発明の名称】トランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法、装置、デバイス及び媒体
(51)【国際特許分類】
G01T 1/161 20060101AFI20230914BHJP
A61B 6/03 20060101ALI20230914BHJP
A61B 5/055 20060101ALI20230914BHJP
【ＦＩ】
G01T1/161 A
A61B6/03 377
A61B6/03 360T
A61B5/055 390
【審査請求】有
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023007950
(22)【出願日】2023-01-23
(11)【特許番号】
(45)【特許公報発行日】2023-03-27
(31)【優先権主張番号】202210235862.7
(32)【優先日】2022-03-11
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】521162399
【氏名又は名称】之江実験室
(74)【代理人】
【識別番号】110000729
【氏名又は名称】弁理士法人ユニアス国際特許事務所
(72)【発明者】
【氏名】朱 聞▲タオ▼
(72)【発明者】
【氏名】楊 宝
(72)【発明者】
【氏名】呉 元鋒
(72)【発明者】
【氏名】李 少杰
【テーマコード（参考）】
4C093
4C096
4C188
【Ｆターム（参考）】
4C093AA22
4C093AA25
4C093FD03
4C096AA18
4C096DC40
4C188FF07
4C188KK33
(57)【要約】 （修正有）
【課題】トランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法、装置、デバイス及び媒体を提供する。
【解決手段】ＰＥＴ生データ情報を含む逆投影画像を得、予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルによりＰＥＴ画像を得る。ＰＥＴ画像再構成ネットワークモデルは２組のエンコーダ－デコーダから構成され、１組はＰＥＴ逆投影画像とＰＥＴ再構成画像の間のマッピングを確立し、もう１組はＰＥＴ逆投影画像と事前情報画像の間のマッピングを確立し、２組のエンコーダ－デコーダを同時に最適化することにより、事前情報画像を用いて目標ＰＥＴ画像中のノイズを低減しつつ、画像の詳細情報を保持する。２組のエンコーダ間でトランスフォーマユニットを用い、再構成ネットワークのトレーニングプロセスでエンコーダのパラメータ共有の自己学習を実現し、再構成誤差を低減し、再構成画像の品質を改善する。
【選択図】図１
【解決手段】ＰＥＴ生データ情報を含む逆投影画像を得、予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルによりＰＥＴ画像を得る。ＰＥＴ画像再構成ネットワークモデルは２組のエンコーダ－デコーダから構成され、１組はＰＥＴ逆投影画像とＰＥＴ再構成画像の間のマッピングを確立し、もう１組はＰＥＴ逆投影画像と事前情報画像の間のマッピングを確立し、２組のエンコーダ－デコーダを同時に最適化することにより、事前情報画像を用いて目標ＰＥＴ画像中のノイズを低減しつつ、画像の詳細情報を保持する。２組のエンコーダ間でトランスフォーマユニットを用い、再構成ネットワークのトレーニングプロセスでエンコーダのパラメータ共有の自己学習を実現し、再構成誤差を低減し、再構成画像の品質を改善する。
【選択図】図１
【特許請求の範囲】
【請求項1】
トランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法であって、
ＰＥＴ生データ情報を含む逆投影画像を得るステップと、
前記ＰＥＴ生データ情報を含む逆投影画像を予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルに入力して、ＰＥＴ画像を得るステップと、を含み、
トランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルは、第１エンコーダ－デコーダと、第２エンコーダ－デコーダと、少なくとも１つのトランスフォーマユニットとを含み、前記第１エンコーダ－デコーダは逆投影画像をマッピングして予測ＰＥＴ画像を生成するために用いられ、第２エンコーダ－デコーダは逆投影画像をマッピングして予測事前情報画像を生成するために用いられ、事前情報画像はＰＥＴ画像と同じバッチで収集される他のモダリティの画像の１種であり、トランスフォーマユニットは第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットを接続し、第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットの出力を受信し、処理後の出力を第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における次の畳み込みユニットに送り込むために用いられ、各トランスフォーマユニットは順に接続されたアテンションメカニズムモジュール及び多層パーセプトロンモジュールを含み、
前記予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルは、トレーニングデータセットに基づいて、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像、第２エンコーダ－デコーダによって生成される予測事前情報画像と真値との損失を最小にし、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像と第２エンコーダ－デコーダによって生成される予測事前情報画像との間の構造的類似性を最大にすることを目的としてトレーニングすることにより得られることを特徴とするトランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法。
ＰＥＴ生データ情報を含む逆投影画像を得るステップと、
前記ＰＥＴ生データ情報を含む逆投影画像を予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルに入力して、ＰＥＴ画像を得るステップと、を含み、
トランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルは、第１エンコーダ－デコーダと、第２エンコーダ－デコーダと、少なくとも１つのトランスフォーマユニットとを含み、前記第１エンコーダ－デコーダは逆投影画像をマッピングして予測ＰＥＴ画像を生成するために用いられ、第２エンコーダ－デコーダは逆投影画像をマッピングして予測事前情報画像を生成するために用いられ、事前情報画像はＰＥＴ画像と同じバッチで収集される他のモダリティの画像の１種であり、トランスフォーマユニットは第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットを接続し、第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットの出力を受信し、処理後の出力を第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における次の畳み込みユニットに送り込むために用いられ、各トランスフォーマユニットは順に接続されたアテンションメカニズムモジュール及び多層パーセプトロンモジュールを含み、
前記予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルは、トレーニングデータセットに基づいて、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像、第２エンコーダ－デコーダによって生成される予測事前情報画像と真値との損失を最小にし、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像と第２エンコーダ－デコーダによって生成される予測事前情報画像との間の構造的類似性を最大にすることを目的としてトレーニングすることにより得られることを特徴とするトランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法。
【請求項2】
前記トレーニングデータセット中の各組のトレーニングデータは、ＰＥＴ生データ情報を含む逆投影画像、再構成して得られたＰＥＴ画像、及び事前情報画像を含むことをさらに含むこと特徴とする請求項１に記載の方法。
【請求項3】
前記事前情報画像は、ＰＥＴ画像と同じバッチで収集されるＣＴ画像又はＭＲＩ画像であることを特徴とする請求項１に記載の方法。
【請求項4】
前記ＰＥＴ生データ情報を含む逆投影画像は、
ＰＥＴ生データを正則化、減衰、ランダム化、散乱補正した後、画像領域に逆投影して、ＰＥＴ生データ情報を含む逆投影画像を得ることで得られることを特徴とする請求項１に記載の方法。
ＰＥＴ生データを正則化、減衰、ランダム化、散乱補正した後、画像領域に逆投影して、ＰＥＴ生データ情報を含む逆投影画像を得ることで得られることを特徴とする請求項１に記載の方法。
【請求項5】
前記ＰＥＴ画像は、
物理的に補正されたＰＥＴ生データを反復再構成することでＰＥＴ画像を得ることで得られることを特徴とする請求項１に記載の方法。
物理的に補正されたＰＥＴ生データを反復再構成することでＰＥＴ画像を得ることで得られることを特徴とする請求項１に記載の方法。
【請求項6】
前記アテンションメカニズムモジュールは、第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットの出力スプライシング特徴に基づいてクエリベクトルグループ、キーワードベクトルグループ、特徴ベクトルグループを得て、クエリベクトルグループ中の各ベクトルをキーワードベクトルグループ中の全てのベクトルと順に内積演算を行い、内積演算により対応するベクトルの自身及び他の全てのベクトルに対するアテンションパラメータを得て、得られたアテンションパラメータを用いて特徴ベクトルグループ中の全てのベクトルの加重和を計算して、対応する特徴ベクトルの更新を完了し、さらに全ての特徴ベクトルを順に更新し、更新後の全ての特徴ベクトルをスプライシングし、出力特徴を算出し、出力特徴と畳み込みユニットの出力スプライシング特徴を加算する結果をアテンションメカニズムモジュールの最終出力とするために用いられることを特徴とする請求項１に記載の方法。
【請求項7】
請求項１に記載のＰＥＴ画像再構成方法を実施するＰＥＴ画像再構成装置であって、
ＰＥＴ生データ情報を含む逆投影画像を得るための画像取得モジュールと、
前記ＰＥＴ生データ情報を含む逆投影画像を予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルに入力して、ＰＥＴ画像を得るための再構成モジュールと、を含むことを特徴とするＰＥＴ画像再構成装置。
ＰＥＴ生データ情報を含む逆投影画像を得るための画像取得モジュールと、
前記ＰＥＴ生データ情報を含む逆投影画像を予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルに入力して、ＰＥＴ画像を得るための再構成モジュールと、を含むことを特徴とするＰＥＴ画像再構成装置。
【請求項8】
トレーニングデータセットに基づいて、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像、第２エンコーダ－デコーダによって生成される予測事前情報画像と真値との損失を最小にし、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像と第２エンコーダ－デコーダによって生成される予測事前情報画像との間の構造的類似性を最大にすることを目的としてトレーニングすることにより予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルを得るためのトレーニングモジュールをさらに含むことを特徴とする請求項７に記載の装置。
【請求項9】
メモリと、プロセッサと、メモリに記憶され、プロセッサにおいて動作できるコンピュータプログラムとを含む電子デバイスであって、前記プロセッサが前記コンピュータプログラムを実行すると、請求項１～６のいずれか１項に記載のＰＥＴ画像再構成方法を実施することを特徴とする電子デバイス。
【請求項10】
コンピュータ実行可能命令を含む記憶媒体であって、前記コンピュータ実行可能命令がコンピュータプロセッサによって実行されると、請求項１～６のいずれか１項に記載のＰＥＴ画像再構成方法が実施されることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医用画像技術の分野に関し、特に、トランスフォーマ（ｔｒａｎｓｆｏｒｍｅｒ）特徴共有に基づくＰＥＴ画像再構成方法、装置、デバイス及び媒体に関する。
【背景技術】
【0002】
陽電子放出断層撮影（Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ、ＰＥＴ）は、人体の生物学的機能・代謝情報及び形態学・解剖学的構造情報を同時に提供できる医用画像技術であり、腫瘍の診断、神経精神疾患、心血管疾患の診断・治療及び評価などの臨床応用に広く用いられている。ＰＥＴ画像を生成するプロセスは、スキャン前に患者に放射性トレーサーを注入することと、トレーサーが体内の生理学的代謝に参加する際に崩壊して陽電子を生成することと、陽電子が近くの組織の中の電子と対消滅して逆方向に移動する高エネルギーの光子対を生成することと、反対の位置にある２つの検出器で光子対の一致検出を行って一致応答線を記録することと、一定数の一致応答線を収集し、位置及び角度情報に従って三次元ＰＥＴ生データとして配列することと、生データを補正した後、再構成アルゴリズムを用いて体内の各組織の代謝強度を表現する三次元ＰＥＴ画像を得ることとを含む。
【0003】
コンピュータハードウェアのアップグレード及びディープラーニング技術の急速な発展に伴い、近年、ディープラーニングに基づくＰＥＴ画像再構成ネットワークの構築がホットな課題となっている。そのうち、エンコーダとデコーダを用いた低品質のＰＥＴ画像と高品質のＰＥＴ画像の間のエンドツーエンドのマッピングの確立や、ＰＥＴ生データとＰＥＴ画像の間のマッピングの確立などの技術は進歩を遂げている。しかしながら、単一の符号化－復号構造に基づく既存の再構成ネットワークは再構成プロセスにおいて他のモダリティの医用画像（例えば、コンピュータ断層撮影ＣＴ、磁気共鳴画像法ＭＲＩ）に存在するＰＥＴ画像に関する事前知識を導入できないため、ＰＥＴ画像の品質は依然として向上する余地がある。
【0004】
複数組のエンコーダ－デコーダから構成されるマルチタスクディープニューラルネットワークはすでに自然画像及び医用画像の分割、検出などのタスクへの適用に成功している。当該ネットワーク構造は、メインタスクにサブタスクの事前情報を導入することを実現でき、そのネットワーク構造でよく用いられる特徴共有方式は、エンコーダ共用、又は畳み込みベースの空間、チャネルアテンションメカニズムを用いるエンコーダのパラメータ共有の学習である。エンコーダ共用の強制的なパラメータ共有と比べて、学習可能なパラメータ共有メカニズムは、ネットワークトレーニングをより優れるソリューションに導くことができる。それにも関わらず、既存の畳み込みベースのパラメータ共有の学習はグローバル性を欠いており、局所的な特徴間のアテンション係数を計算して、局所的なパラメータ共有しか実現できない。一方、従来の畳み込み構造に代わるトランスフォーマというネットワーク構造は、テキスト翻訳や音声認識などの分野で画期的な進歩を遂げている。トランスフォーマはグローバルなマルチヘッド自己アテンションメカニズム及び多層パーセプトロンから構成される。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の目的は、ディープラーニングに基づく既存のＰＥＴ画像再構成技術の欠点に対し、トランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法、装置、デバイス及び媒体を提供することである。
【0006】
本発明は、トランスフォーマの構造及び機能に基づいて、トランスフォーマ特徴共有に基づく新規なＰＥＴ画像再構成ネットワークモデルを構築する。当該モデルは、２組のエンコーダ－デコーダから構成され、そのうち１組のエンコーダ－デコーダはＰＥＴ逆投影画像とＰＥＴ再構成画像の間のマッピングを確立し、もう１組のエンコーダ－デコーダはＰＥＴ逆投影画像と事前情報画像の間のマッピングを確立し、２組のエンコーダ－デコーダを同時に最適化することにより、事前情報画像中の事前知識を用いてＰＥＴ画像再構成ネットワークの再構成誤差を低減することを実現する。２組のエンコーダの間で、畳み込みベースのアテンションメカニズムの代わりにトランスフォーマユニットを用いて、再構成ネットワークのトレーニングプロセスでエンコーダのパラメータ共有の自己学習を実現し、具体的には、トランスフォーマユニットに基づくインターリーブ接続を設計し、グローバルなチャネル及び空間的アテンション係数の計算を実現することにより、再構成ネットワークのトレーニングプロセスでエンコーダのパラメータ共有は自己学習され、ネットワークの再構成誤差をさらに低減し、再構成ＰＥＴ画像の品質を改善する。
【課題を解決するための手段】
【0007】
本発明は、次の技術的解決手段により実現される。
トランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法であって、
ＰＥＴ生データ情報を含む逆投影画像を得るステップと、
前記ＰＥＴ生データ情報を含む逆投影画像を予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルに入力して、ＰＥＴ画像を得るステップと、を含む。
トランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法であって、
ＰＥＴ生データ情報を含む逆投影画像を得るステップと、
前記ＰＥＴ生データ情報を含む逆投影画像を予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルに入力して、ＰＥＴ画像を得るステップと、を含む。
【0008】
トランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルは、第１エンコーダ－デコーダと、第２エンコーダ－デコーダと、少なくとも１つのトランスフォーマユニットとを含み、第１エンコーダ－デコーダは逆投影画像をマッピングして予測ＰＥＴ画像を生成するために用いられ、第２エンコーダ－デコーダは逆投影画像をマッピングして予測事前情報画像を生成するために用いられ、事前情報画像はＰＥＴ画像と同じバッチで収集される他のモダリティの画像の１種であり、トランスフォーマユニットは第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットを接続し、第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットの出力を受信し、処理後の出力を第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における次の畳み込みユニットに送り込むために用いられ、各トランスフォーマユニットは順に接続されたアテンションメカニズムモジュール及び多層パーセプトロンモジュールを含み、
前記予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルは、トレーニングデータセットに基づいて、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像、第２エンコーダ－デコーダによって生成される予測事前情報画像と真値との損失を最小にし、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像と第２エンコーダ－デコーダによって生成される予測事前情報画像との間の構造的類似性を最大にすることを目的としてトレーニングすることにより得られる。
前記予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルは、トレーニングデータセットに基づいて、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像、第２エンコーダ－デコーダによって生成される予測事前情報画像と真値との損失を最小にし、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像と第２エンコーダ－デコーダによって生成される予測事前情報画像との間の構造的類似性を最大にすることを目的としてトレーニングすることにより得られる。
【0009】
さらに、
前記トレーニングデータセット中の各組のトレーニングデータは、ＰＥＴ生データ情報を含む逆投影画像、再構成して得られたＰＥＴ画像及び事前情報画像を含むことをさらに含む。
前記トレーニングデータセット中の各組のトレーニングデータは、ＰＥＴ生データ情報を含む逆投影画像、再構成して得られたＰＥＴ画像及び事前情報画像を含むことをさらに含む。
【0010】
さらに、前記事前情報画像は、ＰＥＴ画像と同じバッチで収集されるＣＴ画像又はＭＲＩ画像である。
【0011】
さらに、前記ＰＥＴ生データ情報を含む逆投影画像は、
ＰＥＴ生データを正則化、減衰、ランダム化、散乱補正した後、画像領域に逆投影して、ＰＥＴ生データ情報を含む逆投影画像を得ることで得られる。
ＰＥＴ生データを正則化、減衰、ランダム化、散乱補正した後、画像領域に逆投影して、ＰＥＴ生データ情報を含む逆投影画像を得ることで得られる。
【0012】
さらに、前記ＰＥＴ画像は、
物理的に補正されたＰＥＴ生データを反復再構成することでＰＥＴ画像を得ることで得られる。
物理的に補正されたＰＥＴ生データを反復再構成することでＰＥＴ画像を得ることで得られる。
【0013】
さらに、前記アテンションメカニズムモジュールは、第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットの出力スプライシング特徴に基づいてクエリベクトルグループ、キーワードベクトルグループ、特徴ベクトルグループを得て、クエリベクトルグループ中の各ベクトルをキーワードベクトルグループ中の全てのベクトルと順に内積演算を行い、内積演算により対応するベクトルの自身及び他の全てのベクトルに対するアテンションパラメータを得て、得られたアテンションパラメータを用いて特徴ベクトルグループ中の全てのベクトルの加重和を計算して、対応する特徴ベクトルの更新を完了し、さらに全ての特徴ベクトルを順に更新し、更新後の全ての特徴ベクトルをスプライシングし、出力特徴を算出し、出力特徴と畳み込みユニットの出力スプライシング特徴を加算する結果をアテンションメカニズムモジュールの最終出力とするために用いられる。
【0014】
ＰＥＴ画像再構成装置であって、前記装置は、
ＰＥＴ生データ情報を含む逆投影画像を得るための画像取得モジュールと、
前記ＰＥＴ生データ情報を含む逆投影画像を予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルに入力して、ＰＥＴ画像を得るための再構成モジュールと、を含む。
ＰＥＴ生データ情報を含む逆投影画像を得るための画像取得モジュールと、
前記ＰＥＴ生データ情報を含む逆投影画像を予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルに入力して、ＰＥＴ画像を得るための再構成モジュールと、を含む。
【0015】
さらに、前記装置は、
トレーニングデータセットに基づいて、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像、第２エンコーダ－デコーダによって生成される予測事前情報画像と真値との損失を最小にし、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像と第２エンコーダ－デコーダによって生成される予測事前情報画像との間の構造的類似性を最大にすることを目的としてトレーニングすることにより予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルを得るためのトレーニングモジュールをさらに含む。
トレーニングデータセットに基づいて、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像、第２エンコーダ－デコーダによって生成される予測事前情報画像と真値との損失を最小にし、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像と第２エンコーダ－デコーダによって生成される予測事前情報画像との間の構造的類似性を最大にすることを目的としてトレーニングすることにより予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルを得るためのトレーニングモジュールをさらに含む。
【0016】
メモリと、プロセッサと、メモリに記憶され、プロセッサにおいて動作できるコンピュータプログラムとを含む電子デバイスであって、前記プロセッサが前記コンピュータプログラムを実行すると、前記ＰＥＴ画像再構成方法を実施する。
【0017】
コンピュータ実行可能命令を含む記憶媒体であって、前記コンピュータ実行可能命令がコンピュータプロセッサによって実行されると、前記ＰＥＴ画像再構成方法が実施される。
【発明の効果】
【0018】
本発明は、既存のＰＥＴ画像再構成方法と比べて、次の有益な効果を有する。本発明は、２組のエンコーダ－デコーダを同時にトレーニングすることによりＰＥＴ逆投影画像からＰＥＴ再構成画像及び他のモダリティの医用画像（例えば、ＣＴ、ＭＲＩ）へのマッピングを実現し、ＣＴ又はＭＲＩ画像中の事前情報を、ＰＥＴ画像再構成の品質を向上させ、再構成ネットワークの汎化能力を改善するために用いる。本発明は、畳み込み層の代わりにトランスフォーマユニットを用いて、２組のエンコーダをインターリーブ接続して、異なるチャネル、異なる空間的位置特徴の間のグローバル性を計算するアテンションメカニズムを実現することを提案し、局所的な特徴に基づく畳み込みネットワークによって実現される既存のアテンションメカニズムの性能より優れる。また、本発明は、１つの損失関数を最適化することにより、２組のエンコーダの間で特徴共有をいかに行うかの自己学習を実現し、１つのエンコーダを共用する既存のネットワーク構造と比べて、有用な情報を選択的に増やし、無用な情報を捨てることを実現することにより、ネットワークの最適なソリューションに近づく。
【図面の簡単な説明】
【0019】
【図1】本発明の実施例１によって提供されるトランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法のフローの概略図である。
【図2】本発明の実施例１によって提供されるトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルの構造図である。
【図3】本発明の実施例１によって提供されるアテンションメカニズムモジュールの動作の概略図である。
【図4】本発明の実施例１によって提供されるトランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法と単一のエンコーダ－デコーダに基づくＰＥＴ画像再構成方法の再構成結果の比較図である。
【図5】本発明の実施例２によって提供されるＰＥＴ再構成装置の構造概略図である。
【図6】本発明の実施例３によって提供される電子デバイスの構造概略図である。
【発明を実施するための形態】
【0020】
例示的な実施例をここで詳細に説明し、その例示は添付の図面に示される。以下の説明が図面に言及している場合、特に断りのない限り、異なる図面の同じ番号は、同じ又は類似の要素を示す。以下の例示的な実施例に記載の実施形態は、本発明と一致する全ての実施形態を表すわけではない。それどころか、それらは、添付の特許請求の範囲に詳述されているような、本発明のいくつかの態様と一致する装置及び方法の例に過ぎない。
【0021】
本発明で使用される用語は、特定の実施例を説明するためのものに過ぎず、本発明を限定するものではない。
【0022】
本発明及び添付の特許請求の範囲で使用される単数形「一種」、「前記」及び「当該」は、文脈が明らかに他の意味を示さない限り、複数形も含むことを意図している。また、本明細書において使用される用語「及び／又は」は、１つ又は複数の関連する列挙された項目の任意の又は全ての可能な組み合わせを指し、包含することを理解されたい。
【0023】
なお、本発明では「第１」、「第２」、「第３」などの用語で様々な情報を説明するかもしれないが、これらの情報はこれらの用語に限定されない。これらの用語は同じタイプの情報を互いに区別するためだけに用いられる。例えば、本発明の範囲から逸脱しない限り、第１情報は第２情報とも呼ばれてもよいし、同様に、第２情報は第１情報と呼ばれてもよい。文脈によって、ここで使用される言葉「もし」は、「…とき」又は「…と」又は「決定に応じて」と解釈されてもよい。
【0024】
実施例１：図１は、本発明の実施例１によって提供されるトランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法のフローの概略図であり、図１に示されるように、当該方法は、具体的に以下のステップを含む。
ステップ１０１、ＰＥＴ生データ情報を含む逆投影画像を得る。
具体的には、ＰＥＴ生データを正則化、減衰、ランダム化、散乱補正した後、画像領域に逆投影して、生データ情報を含む逆投影画像を得る。
ステップ１０１、ＰＥＴ生データ情報を含む逆投影画像を得る。
具体的には、ＰＥＴ生データを正則化、減衰、ランダム化、散乱補正した後、画像領域に逆投影して、生データ情報を含む逆投影画像を得る。
【0025】
ステップ１０２、前記ＰＥＴ生データ情報を含む逆投影画像を予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルに入力して、ＰＥＴ画像を得る。
【0026】
トランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルは、第１エンコーダ－デコーダと、第２エンコーダ－デコーダと、トランスフォーマユニットとを含み、第１エンコーダ－デコーダは逆投影画像をマッピングして予測ＰＥＴ画像を生成するために用いられ、第２エンコーダ－デコーダは逆投影画像をマッピングして予測事前情報画像を生成するために用いられ、前記事前情報画像はＰＥＴ画像と同じバッチで収集される他のモダリティの画像の１種であり、トランスフォーマユニットは第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットを接続し、第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットの出力を受信し、処理後の出力を第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における次の畳み込みユニットに送り込むために用いられ、各トランスフォーマユニットは順に接続されたアテンションメカニズムモジュール及び多層パーセプトロンモジュールを含む。
【0027】
前記エンコーダ－デコーダは、一般的なニューラルネットワーク構造であり、複数の畳み込みユニット及び逆畳み込みユニットから構成される。
【0028】
本発明は、エンコーダ－デコーダを確立して、マッピングにより、それぞれ予測ＰＥＴ画像及び予測事前情報画像を生成し、事前情報画像中の事前知識を用いて目標ＰＥＴ画像中のノイズを低減しつつ、画像の詳細情報を保持し、同時にトランスフォーマユニットがマルチヘッド自己アテンションメカニズム及び多層パーセプトロンから構成されることを利用して、グローバルなアテンション係数を計算することができ、２組のエンコーダの間で、トランスフォーマユニットに基づくインターリーブ接続を設計し、グローバルなチャネル及び空間的なアテンション係数の計算を実現することにより、再構成ネットワークのトレーニングプロセスでエンコーダのパラメータ共有は自己学習され、ネットワークの再構成誤差をさらに低減し、再構成ＰＥＴ画像の品質を改善する。
【0029】
前記事前情報画像は、ＰＥＴ画像と同じバッチで収集される他のモダリティの画像の１種を指し、例えば、ＣＴ画像、ＭＲＩ画像などである。事前情報画像の収集とＰＥＴ画像の収集の時間間隔が短く、体内の各臓器、組織の構造変化が無視できるため、事前情報画像とＰＥＴ画像は同じ解剖学的構造を有する。また、事前情報画像はＰＥＴ画像より高い解像度を有するため、事前情報画像の局所的な平滑性を利用してＰＥＴ画像の対応する臓器、組織の内部のノイズを低減し、構造の詳細情報を保持することができる。
【0030】
前記トランスフォーマユニットは１つでも複数でもよく、第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造におけるいずれかの畳み込みユニットを接続するために用いられてもよく、好ましくは、図２が、本発明の実施例１によって提供されるトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルの構造図であり、前記トランスフォーマユニットの数と第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットの数は同じであり、各組の畳み込みユニットについてエンコーダパラメータの共有は自己学習され、再構成ＰＥＴ画像の品質を最大限に改善する。
【0031】
前記エンコーダ－デコーダ符号化構造における畳み込みユニットの出力は、複数のチャネルから構成され、好ましい実施形態として、前記アテンションメカニズムモジュールは各チャネルについて、図３に示されるように操作処理を行い、具体的には次のとおりである。
第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットの出力スプライシング特徴の各チャネルのデータに基づいて投影行列Ｗｉ ｑｒｙ、Ｗｉ ｋｅｙ、Ｗｉ ｖａｌによって（ｉはｉ番目のチャネルを表す）、それぞれクエリベクトルグループ、キーワードベクトルグループ、特徴ベクトルグループとして投影し、クエリベクトルグループ中の各ベクトルをキーワードベクトルグループ中の全てのベクトルと順に内積演算を行い、内積演算により対応するベクトルの自身及び他の全てのベクトルに対するアテンションパラメータを得て、得られたアテンションパラメータを用いて特徴ベクトルグループ中の全てのベクトルの加重和を計算して、対応する特徴ベクトルの更新を完了し、さらに全ての特徴ベクトルを順に更新し、前記ステップを繰り返して他のチャネルの特徴ベクトルグループの更新を完了する。更新後の各チャネルの特徴ベクトルグループをスプライシングし、投影行列Ｗｏによって出力特徴１を算出し、出力特徴１と畳み込みユニットの出力スプライシング特徴を加算する結果をアテンションメカニズムモジュールの最終出力とする。
第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットの出力スプライシング特徴の各チャネルのデータに基づいて投影行列Ｗｉ ｑｒｙ、Ｗｉ ｋｅｙ、Ｗｉ ｖａｌによって（ｉはｉ番目のチャネルを表す）、それぞれクエリベクトルグループ、キーワードベクトルグループ、特徴ベクトルグループとして投影し、クエリベクトルグループ中の各ベクトルをキーワードベクトルグループ中の全てのベクトルと順に内積演算を行い、内積演算により対応するベクトルの自身及び他の全てのベクトルに対するアテンションパラメータを得て、得られたアテンションパラメータを用いて特徴ベクトルグループ中の全てのベクトルの加重和を計算して、対応する特徴ベクトルの更新を完了し、さらに全ての特徴ベクトルを順に更新し、前記ステップを繰り返して他のチャネルの特徴ベクトルグループの更新を完了する。更新後の各チャネルの特徴ベクトルグループをスプライシングし、投影行列Ｗｏによって出力特徴１を算出し、出力特徴１と畳み込みユニットの出力スプライシング特徴を加算する結果をアテンションメカニズムモジュールの最終出力とする。
【0032】
単一のチャネルのあるベクトルの特徴ベクトルに対する更新方法は次のように表されてもよい。
ただし、ｆｉは第１エンコーダ－デコーダ及び第２エンコーダ－デコーダにおける畳み込みユニットの単一のチャネルから出力されるスプライシング特徴である。ｆｉＷｉ
ｑｒｙ、（Ｗｉ
ｋｅｙ）τｆｉ、ｆｉＷｉ
ｖａｌは３つの投影演算である。ｓｏｆｔｍａｘ（）は非線形活性化関数であり、ｄは単一のチャネルの特徴ベクトルグループの次元である。上記で提案されるアテンションメカニズムモジュールは畳み込み層の代わりに、２組のエンコーダをインターリーブ接続して、異なるチャネル、異なる空間的位置特徴の間のグローバル性を計算するアテンションメカニズムを実現し、局所的な特徴に基づく畳み込みネットワークによって実現される既存のアテンションメカニズムの性能より優れる。
【数1】
【0033】
前記予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルは、トレーニングデータセットに基づいて、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像、第２エンコーダ－デコーダによって生成される予測事前情報画像と真値との損失を最小にし、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像と第２エンコーダ－デコーダによって生成される予測事前情報画像との間の構造的類似性を最大にすることを目的としてトレーニングすることにより得られる。
【0034】
具体的に、前記トレーニングデータセット中の各組のトレーニングデータは、ＰＥＴ生データ情報を含む逆投影画像、再構成して得られたＰＥＴ画像及び事前情報画像を含む。ＰＥＴ生データ情報を含む逆投影画像はトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルの入力となり、再構成して得られたＰＥＴ画像は第１エンコーダ－デコーダの学習ラベル（第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像に対応する真値）となり、事前情報画像は第２エンコーダ－デコーダの学習ラベル（第２エンコーダ－デコーダによって生成される予測事前情報画像に対応する真値）となる。
【0035】
学習ラベルとなるデータは、ＰＥＴ放射性トレーサーの体内の各臓器における分布状況を可能な限り高品質で表現する必要があり、本実施例において、前記ＰＥＴ画像は、
物理的に補正されたＰＥＴ生データを反復再構成することでＰＥＴ画像を得ることで得られる。
物理的に補正されたＰＥＴ生データを反復再構成することでＰＥＴ画像を得ることで得られる。
【0036】
さらに、トレーニングする時に勾配最適化アルゴリズムを用いて第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像、第２エンコーダ－デコーダによって生成される予測事前情報画像と真値との損失を最小にし、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像と第２エンコーダ－デコーダによって生成される予測事前情報画像との間の構造的類似性を最大にし、トランスフォーマユニットによってインターリーブ接続される第１エンコーダ－デコーダ、第２エンコーダ－デコーダのパラメータを更新する。第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像、第２エンコーダ－デコーダによって生成される予測事前情報画像と真値との損失は次のように定義される。
ただし、
は第１エンコーダ－デコーダの出力であり、ＩＰＥＴは第１エンコーダ－デコーダの学習ラベルであり、即ち再構成して得られたＰＥＴ画像であり、
は第２エンコーダ－デコーダの出力であり、ＩＣＴは第２エンコーダ－デコーダの学習ラベルであり、本実施例ではＣＴ画像である。ＳＳＩＭ（）は、構造的類似性指標測定関数であり、２組のエンコーダ－デコーダの出力の間の構造的類似性を計算するために用いられる。βは重み係数であり、構造的類似性の損失関数に対する重要度を調節するために用いられる。１つの損失関数で２組のエンコーダ－デコーダを同時にトレーニングすることによりＰＥＴ逆投影画像からＰＥＴ再構成画像及び他のモダリティの医用画像（例えば、ＣＴ、ＭＲＩ）へのマッピングを実現し、ＣＴ又はＭＲＩ画像中の事前情報を、ＰＥＴ画像再構成の品質を向上させ、再構成ネットワークの汎化能力を改善するために用いる。また、ネットワークのトレーニングは２組のエンコーダの間で特徴共有をいかに行うかの自己学習を実現し、１つのエンコーダを共用する既存のネットワーク構造と比べて、有用な情報を選択的に増やし、無用な情報を捨てることを実現することにより、エンコーダ－デコーダの出力を最適なソリューションに近づける。
【数2】
【数3】
【数4】
【0037】
図４は、本発明の実施例１によって提供されるトランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法と単一のエンコーダ－デコーダに基づくＰＥＴ画像再構成方法による患者のＰＥＴ全身画像に対する再構成結果の比較図であり、ここで、単一のエンコーダ－デコーダに基づくものはＰＥＴ逆投影画像を入力とし、従来の反復再構成画像を学習ラベルとしてトレーニングして得られるものであり、単一のエンコーダ－デコーダによる再構成結果は図４の（ａ）に示され、当該再構成結果は従来の反復再構成の結果に非常に近い。本発明によって提案されるトランスフォーマ特徴共有に基づくマルチ符号化－復号ネットワークを用いて再構成する結果は図４の（ｂ）に示され、生成されるＰＥＴ画像中のノイズは図４の（ａ）より明らかに少なく、また、肺腫瘍（例えば、矢印で示す）のコントラストは低下しておらず、ＰＥＴ再構成画像の品質が顕著に向上している。
【0038】
実施例２：前記トランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法の実施例に対応して、本実施例は、さらに、トランスフォーマ特徴共有に基づくＰＥＴ画像再構成装置を提供し、図５は、本発明の実施例２によって提供されるＰＥＴ再構成装置の構造概略図であり、図５に示されるように、前記装置は、画像取得モジュール１１０と、再構成モジュール１２０とを含み、
画像取得モジュール１１０は、ＰＥＴ生データ情報を含む逆投影画像を得るために用いられ、
再構成モジュール１２０は、前記ＰＥＴ生データ情報を含む逆投影画像を予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルに入力して、ＰＥＴ画像を得る。
画像取得モジュール１１０は、ＰＥＴ生データ情報を含む逆投影画像を得るために用いられ、
再構成モジュール１２０は、前記ＰＥＴ生データ情報を含む逆投影画像を予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルに入力して、ＰＥＴ画像を得る。
【0039】
前記トランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルの構造は図２に示されており、ここで説明を省略する。
【0040】
さらに、当該装置は、トレーニングデータセットに基づいて、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像、第２エンコーダ－デコーダによって生成される予測事前情報画像と真値との損失を最小にし、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像と第２エンコーダ－デコーダによって生成される予測事前情報画像との間の構造的類似性を最大にすることを目的としてトレーニングすることにより予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルを得るためのトレーニングモジュール１３０をさらに含む。
【0041】
本実施例によって提供されるＰＥＴ画像再構成装置は、ＰＥＴ再構成画像の品質を顕著に向上させることができる。
【0042】
実施例３：前記トランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法の実施例に対応して、本実施例は、さらに、トランスフォーマ特徴共有に基づく電子デバイスを提供し、図６は、本発明の実施例３によって提供される電子デバイスの構造概略図であり、図６に示されるように、本発明の実施例によって提供される電子デバイスは、メモリと、プロセッサと、メモリに記憶され、プロセッサにおいて動作できるコンピュータプログラムとを含み、前記プロセッサが前記コンピュータプログラムを実行すると、前記トランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法を実施する。
【0043】
本発明の電子デバイスは、データ処理能力を有する任意のデバイスに配置され、当該データ処理能力を有する任意のデバイスは、例えば、コンピュータなどのデバイス又は装置であってもよい。
【0044】
論理的な意味での装置としては、それが配置されているデータ処理能力を有する任意のデバイスのプロセッサによって不揮発性メモリ中の対応するコンピュータプログラム命令をメモリに読み込んで実行することによって形成される。ハードウェア面では、本発明の電子デバイスのハードウェア構造図である図６に示されるように、図６に示されるプロセッサ、メモリ、ネットワークインタフェース及び不揮発性メモリの他に、実施例におけるデータ処理能力を有する任意のデバイスは通常、当該データ処理能力を有する任意のデバイスの実際の機能に応じて、他のハードウェアを含んでもよく、これに関しては説明を省略する。
【0045】
前記電子デバイスの各ユニットの機能及び効果を実現するプロセスについては、具体的に前記方法における対応するステップを実現するプロセスを参照することができ、ここで説明を省略する。
【0046】
電子デバイスの実施例について、実質的に方法実施例に対応しているため、関連する部分は方法実施例の説明を参照すればよい。上記の電子デバイスの実施例は例示的なものに過ぎず、分離部品として説明されるユニットは物理的に分離しているものでもよいし、そうでなくてもよく、ユニットとして記されている部品は物理的なユニットでもよいし、そうでなくてもよく、即ち同じ場所に位置してもよいし、又は複数のネットワークユニットに分布していてもよい。本発明の解決策の目的を達成するために、実際のニーズに応じてその中から一部又は全てのモジュールを選んでもよい。当業者は創造的な努力をすることなく理解し、実施することができる。
【0047】
本発明の実施例は、さらに、コンピュータ可読記憶媒体を提供し、プログラムが記憶されており、当該プログラムがプロセッサによって実行されると、前記実施例におけるトランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法が実施される。
【0048】
前記コンピュータ可読記憶媒体は、上記のいずれかの実施例において記載されているデータ処理能力を有する任意のデバイスの内部記憶ユニットであってもよく、例えば、ハードディスク又はメモリである。前記コンピュータ可読記憶媒体は、データ処理能力を有する任意のデバイスであってもよく、例えば、前記デバイスに搭載されているプラグインハードディスク、スマートメモリカード（Ｓｍａｒｔ Ｍｅｄｉａ（登録商標） Ｃａｒｄ、ＳＭＣ）、ＳＤカード、フラッシュメモリカード（Ｆｌａｓｈ Ｃａｒｄ）などである。さらに、前記コンピュータ可読記憶媒体は、データ処理能力を有する任意のデバイスの内部記憶ユニット及び外部記憶デバイスの両方を含んでもよい。前記コンピュータ可読記憶媒体は、前記コンピュータプログラム及び前記データ処理能力を有する任意のデバイスに必要な他のプログラムとデータを記憶するために用いられ、すでに出力している又は出力する予定のデータを一時的に記憶するために用いられてもよい。
【0049】
なお、上述したのは本発明の好ましい実施例及び使用される技術的原理に過ぎない。当業者であれば、本発明はここに記載されている特定の実施例に限定されず、当業者にとって本発明の保護範囲を逸脱することなく様々な明白な変更、再調整及び置換が可能であることを理解するであろう。従って、上記の実施例を通じて本発明を詳細に説明しているが、本発明は上記の実施例に限定されず、本発明の構想を逸脱しない限り、さらに多くの他の等価な実施例を含んでもよく、本発明の範囲は添付の特許請求の範囲により決定される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【手続補正書】
【提出日】2023-01-23
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
トランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法であって、
ＰＥＴ生データ情報を含む逆投影画像を得るステップと、
前記ＰＥＴ生データ情報を含む逆投影画像を予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルに入力して、ＰＥＴ画像を得るステップと、を含み、
トランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルは、第１エンコーダ－デコーダと、第２エンコーダ－デコーダと、少なくとも１つのトランスフォーマユニットとを含み、前記第１エンコーダ－デコーダは逆投影画像をマッピングして予測ＰＥＴ画像を生成するために用いられ、第２エンコーダ－デコーダは逆投影画像をマッピングして予測事前情報画像を生成するために用いられ、事前情報画像はＰＥＴ画像と同じバッチで収集される他のモダリティの画像の１種であり、トランスフォーマユニットは第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットを接続し、第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットの出力を受信し、処理後の出力を第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における次の畳み込みユニットに送り込むために用いられ、各トランスフォーマユニットは順に接続されたアテンションメカニズムモジュール及び多層パーセプトロンモジュールを含み、
前記アテンションメカニズムモジュールは、第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットの出力スプライシング特徴に基づいてクエリベクトルグループ、キーワードベクトルグループ、特徴ベクトルグループを得て、クエリベクトルグループ中の各ベクトルをキーワードベクトルグループ中の全てのベクトルと順に内積演算を行い、内積演算により対応するベクトルの自身及び他の全てのベクトルに対するアテンションパラメータを得て、得られたアテンションパラメータを用いて特徴ベクトルグループ中の全てのベクトルの加重和を計算して、対応する特徴ベクトルの更新を完了し、さらに全ての特徴ベクトルを順に更新し、更新後の全ての特徴ベクトルをスプライシングし、出力特徴を算出し、出力特徴と畳み込みユニットの出力スプライシング特徴を加算する結果をアテンションメカニズムモジュールの最終出力とするために用いられ、
前記予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルは、トレーニングデータセットに基づいて、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像、第２エンコーダ－デコーダによって生成される予測事前情報画像と真値との損失を最小にし、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像と第２エンコーダ－デコーダによって生成される予測事前情報画像との間の構造的類似性を最大にすることを目的としてトレーニングすることにより得られることを特徴とするトランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法。
ＰＥＴ生データ情報を含む逆投影画像を得るステップと、
前記ＰＥＴ生データ情報を含む逆投影画像を予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルに入力して、ＰＥＴ画像を得るステップと、を含み、
トランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルは、第１エンコーダ－デコーダと、第２エンコーダ－デコーダと、少なくとも１つのトランスフォーマユニットとを含み、前記第１エンコーダ－デコーダは逆投影画像をマッピングして予測ＰＥＴ画像を生成するために用いられ、第２エンコーダ－デコーダは逆投影画像をマッピングして予測事前情報画像を生成するために用いられ、事前情報画像はＰＥＴ画像と同じバッチで収集される他のモダリティの画像の１種であり、トランスフォーマユニットは第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットを接続し、第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットの出力を受信し、処理後の出力を第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における次の畳み込みユニットに送り込むために用いられ、各トランスフォーマユニットは順に接続されたアテンションメカニズムモジュール及び多層パーセプトロンモジュールを含み、
前記アテンションメカニズムモジュールは、第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットの出力スプライシング特徴に基づいてクエリベクトルグループ、キーワードベクトルグループ、特徴ベクトルグループを得て、クエリベクトルグループ中の各ベクトルをキーワードベクトルグループ中の全てのベクトルと順に内積演算を行い、内積演算により対応するベクトルの自身及び他の全てのベクトルに対するアテンションパラメータを得て、得られたアテンションパラメータを用いて特徴ベクトルグループ中の全てのベクトルの加重和を計算して、対応する特徴ベクトルの更新を完了し、さらに全ての特徴ベクトルを順に更新し、更新後の全ての特徴ベクトルをスプライシングし、出力特徴を算出し、出力特徴と畳み込みユニットの出力スプライシング特徴を加算する結果をアテンションメカニズムモジュールの最終出力とするために用いられ、
前記予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルは、トレーニングデータセットに基づいて、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像、第２エンコーダ－デコーダによって生成される予測事前情報画像と真値との損失を最小にし、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像と第２エンコーダ－デコーダによって生成される予測事前情報画像との間の構造的類似性を最大にすることを目的としてトレーニングすることにより得られることを特徴とするトランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法。
【請求項2】
前記トレーニングデータセット中の各組のトレーニングデータは、ＰＥＴ生データ情報を含む逆投影画像、再構成して得られたＰＥＴ画像、及び事前情報画像を含むことをさらに含むこと特徴とする請求項１に記載の方法。
【請求項3】
前記事前情報画像は、ＰＥＴ画像と同じバッチで収集されるＣＴ画像又はＭＲＩ画像であることを特徴とする請求項１に記載の方法。
【請求項4】
前記ＰＥＴ生データ情報を含む逆投影画像は、
ＰＥＴ生データを正則化、減衰、ランダム化、散乱補正した後、画像領域に逆投影して、ＰＥＴ生データ情報を含む逆投影画像を得ることで得られることを特徴とする請求項１に記載の方法。
ＰＥＴ生データを正則化、減衰、ランダム化、散乱補正した後、画像領域に逆投影して、ＰＥＴ生データ情報を含む逆投影画像を得ることで得られることを特徴とする請求項１に記載の方法。
【請求項5】
前記ＰＥＴ画像は、
物理的に補正されたＰＥＴ生データを反復再構成することでＰＥＴ画像を得ることで得られることを特徴とする請求項１に記載の方法。
物理的に補正されたＰＥＴ生データを反復再構成することでＰＥＴ画像を得ることで得られることを特徴とする請求項１に記載の方法。
【請求項6】
請求項１に記載のＰＥＴ画像再構成方法を実施するＰＥＴ画像再構成装置であって、
ＰＥＴ生データ情報を含む逆投影画像を得るための画像取得モジュールと、
前記ＰＥＴ生データ情報を含む逆投影画像を予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルに入力して、ＰＥＴ画像を得るための再構成モジュールと、を含むことを特徴とするＰＥＴ画像再構成装置。
ＰＥＴ生データ情報を含む逆投影画像を得るための画像取得モジュールと、
前記ＰＥＴ生データ情報を含む逆投影画像を予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルに入力して、ＰＥＴ画像を得るための再構成モジュールと、を含むことを特徴とするＰＥＴ画像再構成装置。
【請求項7】
トレーニングデータセットに基づいて、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像、第２エンコーダ－デコーダによって生成される予測事前情報画像と真値との損失を最小にし、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像と第２エンコーダ－デコーダによって生成される予測事前情報画像との間の構造的類似性を最大にすることを目的としてトレーニングすることにより予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルを得るためのトレーニングモジュールをさらに含むことを特徴とする請求項６に記載の装置。
【請求項8】
メモリと、プロセッサと、メモリに記憶され、プロセッサにおいて動作できるコンピュータプログラムとを含む電子デバイスであって、前記プロセッサが前記コンピュータプログラムを実行すると、請求項１～５のいずれか１項に記載のＰＥＴ画像再構成方法を実施することを特徴とする電子デバイス。
【請求項9】
コンピュータ実行可能命令を含む記憶媒体であって、前記コンピュータ実行可能命令がコンピュータプロセッサによって実行されると、請求項１～５のいずれか１項に記載のＰＥＴ画像再構成方法が実施されることを特徴とする記憶媒体。