(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023163176
(43)【公開日】2023-11-09
(54)【発明の名称】医用情報処理方法、医用情報処理装置、医用画像診断装置及び非一時的コンピュータ可読媒体
(51)【国際特許分類】
G01T 1/161 20060101AFI20231101BHJP
【FI】
G01T1/161 C
G01T1/161 A
【審査請求】未請求
【請求項の数】25
【出願形態】OL
(21)【出願番号】P 2023073348
(22)【出願日】2023-04-27
(31)【優先権主張番号】63/335,509
(32)【優先日】2022-04-27
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/965,289
(32)【優先日】2022-10-13
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.VERILOG
2.TENSORFLOW
(71)【出願人】
【識別番号】512249180
【氏名又は名称】カリフォルニア大学
【氏名又は名称原語表記】The Regents of the University of California
【住所又は居所原語表記】1111, Franklin Street, 12th Floor, Oakland, CA, U.S.A.
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110001771
【氏名又は名称】弁理士法人虎ノ門知的財産事務所
(72)【発明者】
【氏名】ジンイ チ
(72)【発明者】
【氏名】ティアンティアン リー
(72)【発明者】
【氏名】シャオヘン シエ
(72)【発明者】
【氏名】ウエンユエン チー
(72)【発明者】
【氏名】リ ヤン
(72)【発明者】
【氏名】チュン チャン
(72)【発明者】
【氏名】エヴレン アズマ
【テーマコード(参考)】
4C188
【Fターム(参考)】
4C188EE02
4C188FF04
4C188FF07
4C188GG18
4C188JJ02
4C188KK09
4C188KK15
4C188KK24
4C188KK33
4C188KK35
(57)【要約】
【課題】動き補正を効率化すること。
【解決手段】実施形態の医用情報処理方法は、患者のイメージング中に取得された、前記イメージング中の前記患者による動きを含むサイノグラム画像データを受信することと、Nは正の整数であり、MはN以上の正の整数であって、前記サイノグラム画像データを前記イメージング中の前記患者による動きのN個の動き位相の期間よりも短い期間を有するM個の各画像データセグメントにセグメント化することと、前記M個のサイノグラム画像データセグメントから、前記イメージング中の前記患者による動きの前記N個の動き位相に対応する潜在的特徴ベクトルのN個のセットを作成することと、セットごとに、前記潜在的特徴ベクトルのN個のセットに関連付けられた前記サイノグラム画像データを再構成することによって前記N個の動き位相の再構成を実施することとを含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
データ駆動型再構成のための医用情報処理方法であって、
患者のイメージング中に取得された、前記イメージング中の前記患者による動きを含むサイノグラム画像データを受信することと、
Nは正の整数であり、MはN以上の正の整数であって、前記サイノグラム画像データを前記イメージング中の前記患者による動きのN個の動き位相の期間よりも短い期間を有するM個の各画像データセグメントにセグメント化することと、
前記M個のサイノグラム画像データセグメントから、前記イメージング中の前記患者による動きの前記N個の動き位相に対応する潜在的特徴ベクトルのN個のセットを作成することと、
セットごとに、前記潜在的特徴ベクトルのN個のセットに関連付けられた前記サイノグラム画像データを再構成することによって前記N個の動き位相の再構成を実施することと
を含む、医用情報処理方法。
【請求項2】
前記作成することは、前記M個のサイノグラム画像データセグメントの、前記イメージング中の前記患者による動きの前記N個の動き位相に対応する潜在的特徴ベクトルのN個のセットへのクラスタリングをさらに含み、
前記N個の動き位相の再構成を実施することは、前記M個のサイノグラム画像データセグメントの、前記イメージング中の前記患者による動きの前記N個の動き位相に対応する潜在的特徴ベクトルのN個のセットへのクラスタリングに基づいて前記サイノグラム画像データを再構成することによって、前記N個の動き位相の再構成を実施することをさらに含む、請求項1に記載の医用情報処理方法。
【請求項3】
前記N個の動き位相の第1および第2の動き位相の期間は、異なる、請求項1に記載の医用情報処理方法。
【請求項4】
前記作成することは、前記M個のサイノグラム画像データセグメントから前記潜在的特徴ベクトルのN個のセットを作成するように、未訓練のニューラルネットワークを訓練することをさらに含む、請求項1に記載の医用情報処理方法。
【請求項5】
前記訓練することは、オートエンコーダおよび変形形態のオートエンコーダのうちの少なくとも1つである前記未訓練のニューラルネットワークを訓練することを含む、請求項4に記載の医用情報処理方法。
【請求項6】
前記N個の動き位相のそれぞれは、0.05から2.0秒の範囲内である、請求項1に記載の医用情報処理方法。
【請求項7】
Nは、少なくとも4であり、前記N個の動き位相のそれぞれは、呼吸の異なる位相に対応する、請求項1に記載の医用情報処理方法。
【請求項8】
前記N個の動き位相のそれぞれは、異なる心拍位相に対応する、請求項1に記載の医用情報処理方法。
【請求項9】
前記サイノグラム画像データをM個の画像データセグメントにセグメント化することは、M個の画像データセグメントに加えるようにリストモードデータを抽出することを含む、請求項1に記載の医用情報処理方法。
【請求項10】
前記M個のサイノグラム画像データセグメントから前記潜在的特徴ベクトルのN個のセットを作成するように前記未訓練のニューラルネットワークを訓練することは、損失関数を使用して前記未訓練のニューラルネットワークを訓練することを含む、請求項4に記載の医用情報処理方法。
【請求項11】
前記損失関数は、平均二乗誤差(Mean-Squared-Error:MSE)、平均絶対誤差(Mean-Absolute-Error:MAE)、および平均二乗誤差の平方根(Root-Mean-Square Error:RMSE)のうちの少なくとも1つを含む指標に基づく、請求項10に記載の医用情報処理方法。
【請求項12】
前記作成することは、前記M個のサイノグラム画像データセグメントとM個の次の画像データセグメントとの間のそれぞれの差から前記潜在的特徴ベクトルのN個のセットを作成することをさらに含む、請求項1に記載の医用情報処理方法。
【請求項13】
前記クラスタリングは、混合ガウスモデル、スペクトラルクラスタリング、サポートベクトルマシン法、ロジスティック回帰、ナイーブベイズ法、および決定木法のうちの少なくとも1つを使用することによって実施される、請求項2に記載の医用情報処理方法。
【請求項14】
前記再構成は、散乱補正を伴わない再構成である、請求項1に記載の医用情報処理方法。
【請求項15】
前記再構成は、散乱補正を伴う再構成である、請求項1に記載の医用情報処理方法。
【請求項16】
前記未訓練のニューラルネットワークは、現在の患者に固有のデータのみを使用することによって訓練される、請求項4に記載の医用情報処理方法。
【請求項17】
前記M個のサイノグラム画像データセグメントは、単一の患者に対応する、請求項1に記載の医用情報処理方法。
【請求項18】
Nは、少なくとも2であり、前記N個の動き位相の第1のものは、呼気終了に対応し、前記N個の動き位相の第2のものは、吸気終了に対応する、請求項1に記載の医用情報処理方法。
【請求項19】
Nは、少なくとも1であり、休止中の心拍位相に対応する、請求項1に記載の医用情報処理方法。
【請求項20】
データ駆動型ゲーティングのための医用情報処理方法であって、
第1の患者の第1のイメージング中に取得された、前記第1のイメージング中の前記第1の患者による動きを含む第1の画像データを受信することと、
Nは正の整数であり、MはN以上の正の整数であって、前記第1の画像データを前記第1のイメージング中の前記第1の患者による動きのN個の動き位相の期間よりも短い期間を有するM個の各画像データセグメントにセグメント化することと、
前記M個の画像データセグメントから、前記第1のイメージング中の前記第1の患者による動きに対応する潜在的特徴ベクトルを生成するための訓練済みニューラルネットワークを作成することと、
第2の患者の第2のイメージング中に取得された、前記第2のイメージング中の前記第2の患者による動きを含む第2の画像データを受信することと、
前記第2の画像データを第2の患者の画像データセグメントを含むようにセグメント化することと、
前記第2の患者の画像データセグメントを前記訓練済みニューラルネットワークに入力して、前記第2のイメージング中の前記第2の患者による動きに対応する第2の患者の潜在的特徴ベクトルを作成することと、
セットごとに、前記第2の患者の潜在的特徴ベクトルに基づいて前記第2の画像データを再構成することによって前記N個の動き位相の再構成を実施することと
を含む、医用情報処理方法。
【請求項21】
前記第1および第2の画像データは、サイノグラム画像データ、又は、画像領域画像データを含む、請求項20に記載の医用情報処理方法。
【請求項22】
データ駆動型再構成のための医用情報処理方法であって、
患者のイメージング中に取得された、前記イメージング中の前記患者による動きを含む画像データを受信することと、
Nは正の整数であり、MはN以上の正の整数であって、前記画像データを前記イメージング中の前記患者による動きのN個の動き位相の期間よりも短い期間を有するM個の各画像データセグメントにセグメント化することと、
前記M個の画像データセグメントから潜在的特徴ベクトルを作成するように、未訓練の変形形態のオートエンコーダを訓練することによって、前記M個の画像データセグメントから、前記イメージング中の前記患者による動きの前記N個の動き位相に対応する潜在的特徴ベクトルのN個のセットを作成することと、
セットごとに、前記潜在的特徴ベクトルのN個のセットに関連付けられた前記画像データを再構成することによって前記N個の動き位相の再構成を実施することと、
を含む、医用情報処理方法。
【請求項23】
データ駆動型再構成を行なう医用情報処理装置であって、
患者のイメージング中に取得された、前記イメージング中の前記患者による動きを含むサイノグラム画像データを受信し、
Nは正の整数であり、MはN以上の正の整数であって、前記サイノグラム画像データを前記イメージング中の前記患者による動きのN個の動き位相の期間よりも短い期間を有するM個の各画像データセグメントにセグメント化し、
前記M個のサイノグラム画像データセグメントから、前記イメージング中の前記患者による動きの前記N個の動き位相に対応する潜在的特徴ベクトルのN個のセットを作成し、
セットごとに、前記潜在的特徴ベクトルのN個のセットに関連付けられた前記サイノグラム画像データを再構成することによって前記N個の動き位相の再構成を実施する
処理回路を備える、医用情報処理装置。
【請求項24】
データ駆動型再構成を行なう医用画像診断装置であって、
患者のイメージング中に取得された、前記イメージング中の前記患者による動きを含むサイノグラム画像データを受信し、
Nは正の整数であり、MはN以上の正の整数であって、前記サイノグラム画像データを前記イメージング中の前記患者による動きのN個の動き位相の期間よりも短い期間を有するM個の各画像データセグメントにセグメント化し、
前記M個のサイノグラム画像データセグメントから、前記イメージング中の前記患者による動きの前記N個の動き位相に対応する潜在的特徴ベクトルのN個のセットを作成し、
セットごとに、前記潜在的特徴ベクトルのN個のセットに関連付けられた前記サイノグラム画像データを再構成することによって前記N個の動き位相の再構成を実施する
処理回路を備える、医用画像診断装置。
【請求項25】
内部に記憶された命令を含む非一時的コンピュータ可読媒体であって、前記命令は、少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、請求項1に記載の医用情報処理方法を実施させる、非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書及び図面に開示の実施形態は、医用情報処理方法、医用情報処理装置、医用画像診断装置及び非一時的コンピュータ可読媒体に関する。
【背景技術】
【0002】
PETイメージングでは、患者の動き(モーション:motion)に起因する画像のボケなどのアーチファクトにより、病変部のボリュームが過大評価されたり、病変部の活動性が過小評価されたりすることがあった。このため、動き補正画像再構成は、PETイメージングに有用である。一部の状況において、動きが生じた可能性のある取得データにゲートをかけることで、動き補正に対処することができる。ゲーティングは、動きが無視できる程度の別々のチャンク(ゲート)にデータを分割することを含む。これは、患者の自発的または非自発的な動きの最中に発生する可能性があり、例としては、呼吸または心拍に起因する動きが挙げられる。
【0003】
既知のPETスキャンシステムでは、ゲーティングは、PETスキャンの間にセンサを患者に取り付けることによって行われる。このような外部のモーションセンサを使用する場合、スキャン中に動き情報を正確に記録する必要があるため、PETスキャンがより煩雑なものになる。動きが正確に記録されないか、またはスキャンと適切に同期していない場合、動き補正に支障をきたすことが多い。
【0004】
外部の動き追跡装置の使用には、技術者が患者にまたは患者の周囲に動き追跡装置を取り付ける必要があるといった追加の課題があるため、動き追跡装置を必要としないデータ駆動型ゲーティングへの関心が高まっている。データ駆動型ゲーティングは、独立成分解析(Independent Component Analysis:ICA)または主成分解析(Principal Component Analysis:PCA)などの信号分離技法を適用することによって行われることがあるが、これは、本開示の方法よりも比較的時間がかかることがある。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】H. Zhang, I. Goodfellow, D. Metaxas, and A. Odena, “Self-attention generative adversarial networks,” arXiv preprint arXiv:1805.08318, 2018
【発明の概要】
【発明が解決しようとする課題】
【0006】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、動き補正を効率化することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
【課題を解決するための手段】
【0007】
実施形態の医用情報処理方法は、患者のイメージング中に取得された、前記イメージング中の前記患者による動きを含むサイノグラム画像データを受信することと、Nは正の整数であり、MはN以上の正の整数であって、前記サイノグラム画像データを前記イメージング中の前記患者による動きのN個の動き位相の期間よりも短い期間を有するM個の各画像データセグメントにセグメント化することと、前記M個のサイノグラム画像データセグメントから、前記イメージング中の前記患者による動きの前記N個の動き位相に対応する潜在的特徴ベクトルのN個のセットを作成することと、セットごとに、前記潜在的特徴ベクトルのN個のセットに関連付けられた前記サイノグラム画像データを再構成することによって前記N個の動き位相の再構成を実施することとを含む。
【図面の簡単な説明】
【0008】
【
図1】
図1は、データセグメントをゲートに分割する方法のフローブロック図である。
【
図2A】
図2Aは、第1のニューラルネットワークとして実装される第1の例示的潜在的特徴量抽出器を示す図である。
【
図3】
図3は、第2のニューラルネットワークとして実装される第2の例示的潜在的特徴量抽出器を示す図である。
【
図4A】
図4Aは、「m」個の画像データセグメントが「m」個のそれぞれの特徴ベクトルに変換される(その一部は他のセグメントによって作成されるものと同じである場合がある)処理を示す図である。
【
図4B】
図4Bは、「m」個のそれぞれの特徴ベクトルを「n」個の時間位相へのグルーピング(またはクラスタリング)を示す図である。
【
図4C】
図4Cは、「m」個のそれぞれの特徴ベクトルの「n」個の時間位相および特徴ベクトルの「未分類」セットへのグルーピング(またはクラスタリング)を示す図である。
【
図4D】
図4Dは、「m」個のそれぞれの特徴ベクトルの、1つは呼気終了のもの、および他方は吸気終了のものの2つの時間位相へのグルーピング(またはクラスタリング)を示し、この際、残りの特徴ベクトルは未分類として扱われることを示す図である。
【
図4E】
図4Eは、「m」個のそれぞれの特徴ベクトルの、単一の休止時間位相へのグルーピング(またはクラスタリング)を示し、この際、残りの特徴ベクトルは未分類として扱われることを示す図である。
【
図4F】
図4Fは、特徴量抽出器を作成するために、そのセグメントが最初に使用された人物/人以外の人物に関する特徴ベクトル(Feature Vector:FV)を生成するために使用される、事前に生成された特徴量抽出器を示す図である。
【
図5】
図5は、実施形態に関するPETスキャナの斜視図である。
【
図6】
図6は、例示的実施形態に関するPETスキャナおよび関連するハードウェアの概略図である。
【発明を実施するための形態】
【0009】
実施形態は、短い画像データセグメントでグルーピングした特徴量に基づくデータ駆動型ゲーティングに関する。実施形態は、核医学、例えば、ポジトロン放射断層撮影(Positron Emission Tomography:PET)、画像データ取得の間の患者の動きによるアーチファクトを低減する方法に関する。例えば、一実施形態においては、オートエンコーダネットワークをサイノグラム画像データに適用してPETイメージングにおけるデータ駆動型ゲーティングを提供する方法およびシステムについて説明する。
【0010】
データ駆動型ゲーティングは、画像データ(例えば、サイノグラム画像データ(飛行時間(Time-Of-Flight:TOF)サイノグラム画像データおよび非TOFサイノグラム画像データを含むがこれらに限定されない)および/または画像領域画像データ)から抽出された潜在的(レイテント:latent)特徴量に基づいて行われる。最初のステップとして、潜在的特徴量を抽出するように構成された処理回路(以下「潜在的特徴量抽出器」)は、画像データを画像データセグメントにセグメント化することによって作成され得るなど、画像データから潜在的特徴量を抽出するように構成および/または訓練されている必要がある。一実施形態において、潜在的特徴量抽出器は、画像データセグメントのそれぞれの潜在的特徴量を抽出して、該画像データセグメントのそれぞれの潜在的特徴量を表す対応する潜在的特徴ベクトルを出力するように、未訓練のニューラルネットワーク(例えば、オートエンコーダ)を訓練することによって実装される。ニューラルネットワークとして実装される場合、潜在的特徴量抽出器は、各患者に固有の画像データを使用して、各患者に対して、自己教師あり方式で「ゼロから」訓練される場合がある。あるいは、ネットワークは、訓練時間を減らすために、過去の訓練結果を初期化して、患者固有データを使用して微調整される場合があるか、またはネットワークは、十分な量の既存データで事前に訓練されて、新規の患者に対して追加の訓練を行うことなく新規の患者データに直接適用される場合がある。
【0011】
画像データセグメントの時間期間が異なることがあるため、PETイメージングの例示的実施形態では、0.05秒から2秒の間で変動する期間の画像データセグメントが使用される。そのために、リストモードデータが所望のセグメント長に応じて選択される場合がある。
【0012】
抽出された潜在的特徴ベクトルは、動き位相またはサイクル(例えば、呼吸位相または心拍位相)の同じ部分に対応する画像データセグメントに対応する潜在的特徴ベクトルのグループまたはセットを作成するためにクラスタリングされる場合がある。画像データセグメントのグループまたはセットは、例えば、k平均法クラスタリングを用いて潜在的特徴ベクトルを複数のセットにグルーピングすることによるか、または混合ガウスモデル、スペクトラルクラスタリング、SVMなどの他の教師なしアルゴリズム、もしくはロジスティック回帰、ナイーブベイズ、決定木などの他の教師ありアルゴリズムを使用することによって作成することができる。類似した特徴量を含む各データセグメントを組み合わせることで、それらのセグメント間の動きが無視できる程度または最小となり、かつ類似した特徴ベクトル(したがってそれらの対応する画像セグメント)が同じゲートに属する可能性が高まる。このように、画像セグメントをグループごとに再構成することによって、再構成される画像のボケまたは他のモーションアーチファクトが低減される。
【0013】
本開示の一態様によれば、データ駆動型再構成のための医用イメージング方法が提供され、該方法は、(1)患者のイメージング中に取得されたサイノグラム画像データを受信することであって、該サイノグラム画像データは、イメージング中の患者による動きを含む、サイノグラム画像データを受信することと、(2)サイノグラム画像データをイメージング中の患者による動きのN個の動き位相の期間よりも短い期間を有するM個の各画像データセグメントにセグメント化することであって、Mは、正の整数であるN以上の正の整数である、サイノグラム画像データをセグメント化することと、(3)M個のサイノグラム画像データセグメントから、イメージング中の患者による動きのN個の動き位相に対応する潜在的特徴ベクトルのN個のセットを作成することと、(4)セットごとに、潜在的特徴ベクトルのN個のセットに関連付けられたサイノグラム画像データを再構成することによってN個の動き位相の再構成を実施することと、を含む。
【0014】
本開示の別の態様によれば、データ駆動型ゲーティングのための医用イメージング方法が提供され、該方法は、(1)第1の患者の第1のイメージング中に取得された第1の画像データを受信することであって、該第1の画像データは、第1のイメージング中の第1の患者による動きを含む、第1の画像データを受信することと、(2)第1の画像データを第1のイメージング中の第1の患者による動きのN個の動き位相の期間よりも短い期間を有するM個の各画像データセグメントにセグメント化することであって、Mは、正の整数であるN以上の正の整数である、第1の画像データをセグメント化することと、(3)M個の画像データセグメントから、第1のイメージング中の第1の患者による動きに対応する潜在的特徴ベクトルを生成するための訓練済みニューラルネットワークを作成することと、(4)第2の患者の第2のイメージング中に取得された第2の画像データを受信することであって、該第2の画像データは、第2のイメージング中の第2の患者による動きを含む、第2の画像データを受信することと、(5)第2の画像データを第2の患者の画像データセグメントを含むようにセグメント化することと、(6)第2の患者の画像データセグメントを訓練済みニューラルネットワークに入力して、第2のイメージング中の第2の患者による動きに対応する第2の患者の潜在的特徴ベクトルを作成することと、(7)セットごとに、第2の患者の潜在的特徴ベクトルに基づいて第2の画像データを再構成することによってN個の動き位相の再構成を実施することと、を含む。
【0015】
本開示の別の態様によれば、データ駆動型再構成のための医用イメージング方法が提供され、該方法は、(1)患者のイメージング中に取得された画像データを受信することであって、該画像データは、イメージング中の患者による動きを含む、画像データを受信することと、(2)画像データをイメージング中の患者による動きのN個の動き位相の期間よりも短い期間を有するM個の画像データセグメントにセグメント化することであって、Mは、正の整数であるN以上の正の整数である、画像データをセグメント化することと、(3)M個の画像データセグメントから潜在的特徴ベクトルを作成するように、未訓練の変形形態のオートエンコーダを訓練することによって、M個の画像データセグメントから、イメージング中の患者による動きのN個の動き位相に対応する潜在的特徴ベクトルのN個のセットを作成することと、(4)セットごとに、潜在的特徴ベクトルのN個のセットに関連付けられた画像データを再構成することによってN個の動き位相の再構成を実施することと、を含む。
【0016】
本開示の一態様によれば、ニューラルネットワークは、画像データセグメントが分類および/またはグルーピングされ得るように、画像データセグメントから潜在的画像特徴量を抽出する潜在的特徴量抽出器として機能する。潜在的特徴量抽出器は、サイノグラム画像データおよび画像領域画像データのうちの少なくとも1つを利用することができる。
【0017】
図1は、画像データを取得し、その画像データからゲートがかかった画像データが作成される方法のフロー図を示す。このような画像データには、ポジトロン放射断層撮影(PET)イメージングなどの核医学イメージングで取得されるデータが含まれるがこれに限定されない。PETスキャンでは、患者に動きがあると、ボケおよび他のアーチファクトが発生する。この動きの一部は、呼吸および心拍サイクルなどの非自発的なものであるため、除去することは困難である。しかし、動きの影響の一部は、呼吸サイクルの同じ位相からのものなどの動きの同じ位相からの画像データの各セグメントを一緒に再構成することによってのみ軽減することができる。このような構成の1つでは、呼吸サイクルが、少なくとも4つの位相、すなわち、吸息中の第1の位相、吸息から呼息までの第2の位相、呼息中の第3の位相、および呼息から吸息までの第4の位相に分割される。各セグメントを、動き位相のうち1つに分類することによって、ボケおよび他のアーチファクトが低減され得る。
【0018】
図1に示すように、機能ブロック120の処理の間に、方法は、患者のイメージング中に取得された画像データ(例えば、サイノグラム画像データまたは画像領域画像データ)を受信し、ここで、該画像データは、イメージング中の患者による動きを含む。画像データは、イメージング中の患者による動きの期間より短い期間を有する少なくとも「n」個の動き位相に対応する少なくとも「m」個の画像データセグメントを含むように画像データがセグメント化されるように、セグメント化される。概して、「m」は、正の整数「n」以上の正の整数であり、呼吸による動きに関連して記載される非限定的な実施形態では、呼吸の4つの位相に対して少なくとも対応する、少なくとも4つの画像データセグメントが作成される。画像のセグメント化は、対応する位相に関するリストモードデータを抽出することによって実施される場合がある。
【0019】
機能ブロック130の処理の間に、画像データセグメントのそれぞれから抽出された潜在的特徴量を表す潜在的特徴ベクトルを作成するように特徴量抽出器が構成される。例えば、潜在的特徴量抽出器として機能する
図2に示すエンコーダ/デコーダのペアを訓練するのに十分に大きい画像データセグメントのセットを作成するために、複数のセグメントが画像データから抽出される場合がある。エンコーダ210およびデコーダ240を訓練するために、画像データセグメントのセットの各セグメントは、エンコーダ210に入力される元の入力値Xとして扱われる。エンコーダは、潜在的特徴ベクトル(z)(230と付番されている)を作成するように設計され、該潜在的特徴ベクトル(z)は、次にデコーダ240に適用されて、入力値Xの再構成されたバージョンである出力値X’が作成される。第1の例示的実施形態では、セグメントは、2次元画像であり、第2の例示的実施形態では、セグメントは、3次元画像ボリュームである。第2の例示的実施形態の実装形態では、画像データの200×200×100個のセットが、64×64×200個の潜在的特徴ベクトルに変換される。エンコーダ210およびデコーダ240の内部で重みを変更することによって(例えば、バックプロパゲーションプロセスを使用して)、潜在的特徴量抽出器は、潜在的特徴ベクトルzから正確にXを概算する近似X’を生成する方法を学習することができる。そのために、重みは、エンコーダ/デコーダのペアに入力されるセグメントのそれぞれのXとX’との差を表す損失関数を最小にするように修正されてよい。エンコーダ/デコーダのペアは、自己教師あり方式で訓練される。すなわち、入力値および目標値が、同じ短フレームデータセットである。動き情報抽出を重視するために、目標値データセットは、現在の短フレームデータセットと数フレーム後の短フレームデータセットとの間の差分データセットに置き換えられてもよい。エンコーダ/デコーダのペアの訓練に適用可能な損失関数としては、平均二乗誤差(Mean-Squared-Error:MSE)、平均絶対誤差(Mean-Absolute-Error:MAE)、および平均二乗誤差の平方根(Root-Mean-Square Error:RMSE)が挙げられるが、これらに限定されない。加えて、エンコーダ/デコーダのペアは、外部のセンサからの追加のデータを用いて訓練することができる。例示的な外部のセンサとしては、ベルトベースモーションセンサ、カメラ、LIDAR、および呼吸センサ(患者の呼吸位相を検出するマイクロホンを含むがこれらに限定されない)が挙げられるが、これらに限定されない。
【0020】
一実施形態によれば、データセグメントの時間間隔は、その時間間隔の間の動きの確率を減らすために、短い時間間隔(セグメント間の間隔と対比して)になるように選択される。このような実施形態では、データセグメントは、期間内の約0.1から0.5秒となるように選択される。ただし、より長いセグメント(例えば、1または2秒のセグメント)またはより短いセグメント(例えば、0.05秒のセグメント)も、状況に応じて使用されてよい。前述したように、サイノグラム画像データを使用する場合、サイノグラム画像データは、飛行時間(TOF)サイノグラムまたは非TOFサイノグラムとすることができる。本明細書において使用される画像データも、補正画像データまたは未補正画像データとすることができる。補正画像データが使用される場合、補正としては、散乱補正、減衰補正、およびノイズ除去が挙げられるが、これらに限定されない。
【0021】
図1の機能ブロック130に示すように、画像データセグメントの特徴量が抽出される。
図2Aおよび2Bに示すようなニューラルネットワークベースの実施形態では、エンコーダ/デコーダのペアが、抽出を実施するように訓練される。
図2Bは、
図2Aの構造の内部の詳細を示し、かつ非特許文献1に記載されている自己注意ゲートなどの自己注意ゲートを含む14層を含む。なお、非特許文献1の内容は、参照により本実施形態に援用される。このような自己注意ゲートは、広範囲の画像コンテンツに対するモデルの感度応答を改善することができる。このようなネットワークは、TensorFlow1.5.0バックエンドを伴うKeras2.2.4に実装させて、デフォルトパラメータ設定の適応モーメント推定(Adaptive Moment estimation:ADAM)オプティマイザーと共にNVIDIA GTX 1080 Ti GPUで訓練することができる。別の例示的パラメータとしては、0.0001の学習率、1のバッチサイズ、および10エポックを使用する訓練が挙げられる。
【0022】
エンコーダ/デコーダのペアを生成した後、画像データセグメントは、
図4Aに示すように、潜在的特徴ベクトル(FV
i)を決定する特徴量抽出器として機能するエンコーダ/デコーダのペアを介してセグメントごとに再実行されてよい。セグメントは、単一の特徴量抽出器に逐次的に適用されるか、またはセグメントが並行して少なくとも部分的に対応する特徴ベクトルに変換され得るように、一連の特徴量抽出器が訓練済みエンコーダ/デコーダのペアの重み付けに応じて作成されてよい。次に、対応する潜在的特徴ベクトル(FV
1からFV
m)は、その後のゲート再構成の一部としてのセットごとの再構成のために、同じ動きのタイプ(または動き位相)に対応する各セグメントが一緒にグルーピングされるように、グルーピングされる場合がある(
図4Bおよび4Cに示すように)。すなわち、ゲーティング再構成の一部として、位相1の特徴ベクトルに対応するセグメント(例えば、セグメント1、2、n、n+1、n+2、n+3、p、p+1、p+2)が、グループとして再構成され、位相2の特徴ベクトルに対応するセグメント(例えば、セグメント4、5、n+4、n+5、n+6、p+3、p+4)が、グループとして再構成される(その他も同様)。例示的なグルーピング法としては、教師なし法(例えば、混合ガウスモデル、スペクトラルクラスタリング、およびSVM)および/または教師あり法(例えば、ロジスティック回帰、ナイーブベイズ、および決定木)などのクラスタリング法が挙げられるが、これらに限定されない。このようなグルーピング法は、最初のクラスタの重心を取得する前処理ステップをさらに含む場合がある。例えば、主成分解析(PCA)が、最初に潜在的特徴量に適用される場合があり、かつ、最初のクラスタの重心を取得するために、最初の主成分を使用して、位相ベースゲーティング(例えば、呼吸サイクルに基づく)が実施される場合がある。さらに、呼吸による動きをより強調するクラスタリングを促進するために、各潜在的特徴量z
iは、z
iによってヒトの呼吸周波数範囲(例えば、0.14から0.33Hz)内に含まれる周波数成分の最大値によって重み付けされる場合がある。
図4Cに示すように、グルーピング処理の最後に、複数の未分類の特徴ベクトルが残存する可能性があり、これらの特徴ベクトルは、概して、再構成処理から除外される場合がある(例えば、「n」個の動き位相のいずれの再構成にも関連付けされない)。
【0023】
ブロック150では、画像データセグメントは、同様のセグメントのデータセットまたはゲートに組み合わされ、類似するセグメントが、一緒に再構成される。一実施形態では、方法は、ゲートを確認する任意のステップを含む。データ駆動型信号の堅牢性を保証するために、ネットワークによって導出された信号との相互相関によって任意の品質保証ステップが実施される場合がある。これは、他のスキャン(CT、MRなど)との位相整合などの呼吸位相識別を介したものである場合もある。また、外部信号を使用して、より高い時間分解能に推定動きベクトルを補間することで、動きベクトル推定の時間分解能を向上させることもできる。
【0024】
特徴ベクトルの交互のグルーピングも可能である。
図4Dは、「m」個のそれぞれの特徴ベクトルの、1つは呼気終了のもの、および他方は吸気終了のものの2つの時間位相へのグルーピング(またはクラスタリング)を示し、この際、残りの特徴ベクトルは未分類として扱われることを示す。このような構成では、呼気終了に対応する各セグメントが、一緒に再構成されるのと同時に、吸気終了に対応する各セグメントが、一緒に(呼気終了に対応するセグメントからは独立して)再構成される。未分類の特徴ベクトルに対応する各セグメントは、一緒に再構成されてもよいが、必然ではない。
【0025】
さらに別の実施形態において、
図4Eは、「m」個のそれぞれの特徴ベクトルの、単一の休止時間位相へのグルーピング(またはクラスタリング)を示し、この際、残りの特徴ベクトルは未分類として扱われることを示す。
【0026】
図4Fに示すように、他のもののセグメント化された画像データを使用して作成された特徴量抽出器が、別の人物(例えば、人物
2)に関する特徴ベクトルを作成する場合に代用物として使用される場合がある。このようにして、人物
2のセグメント
1により、先に作成された特徴ベクトルを使用して、特徴ベクトルFV
1:2が作成される(これもまた、逐次的にまたは並行して少なくとも部分的に適用される場合がある)。
【0027】
前述したように、
図2Aおよび2Bのエンコーダ/デコーダのペアは、エンコーダ/デコーダのペアの訓練中に損失関数を利用することができる。そのような損失関数Lの1つは、下記式(1)で得ることができる。
【0028】
【0029】
本明細書に記載の再構成としては、フィルタ補正逆投影(Filtered Back Projection:FBP)または逐次サブセット期待値最大化(Ordered Subsets Expectations Maximization:OSEM)を挙げることができるが、これらに限定されない。再構成される画像は、深層ニューラルネットワーク、非局所平均、または平滑化フィルタを使用して、後処理される、すなわちノイズ除去される場合がある。
【0030】
図3は、訓練済みニューラルネットワークとして潜在的特徴量抽出器を実装する別の例示的実施形態を示す。
図3の例示的実施形態では、エンコーダ310の出力値が、2つの追加の処理関数(例えば、平均二乗誤差平方根関数312および平均二乗誤差関数)に適用され、かつこれらの追加の処理関数の出力値は、変形形態オートエンコーダで(オートエンコーダとは異なって)生じるようにサンプリングされる。これらの追加の処理関数の出力値から、システムは、潜在的特徴ベクトル230を作成するように学習し、次に、この潜在的特徴ベクトルは、エンコーダ310と共同訓練されたデコーダ340に適用される。
図2Aおよび2Bに関して前述したように、次に、潜在的特徴ベクトルは、グルーピング(またはクラスタリング)される場合があり、かつグルーピングされた画像は、一緒に再構成され、それによりモーションアーチファクトが低減される。
【0031】
一実施形態では、
図5および
図6に示すように、本開示の方法は、PETスキャナの範囲内で実装される場合があると理解できる。したがって、
図5および
図6は、矩形の検出器モジュールとしてそれぞれが構成される、いくつかのガンマ線検出器(Gamma-Ray Detector:GRD)8001、8002から8040(例えば、GRD1、GRD2からGRDN)を備えている、PETスキャナ8000を示す。PETスキャナ8000は、適応型軸方向画像視野(adaptive axial Field Of View:aaFOV)PETスキャナであってよい。一実装形態によれば、ガントリ8060の周りの円形ボア8050を形成する各PET検出器リングは、数十個のGRD(例えば、40から100個)を備える。より多くの数のGRDが使用されると、より大きな内径寸法のPETスキャナ8000が作られる。各PET検出器リングは、aaFOV PETスキャナの軸方向長を中心にして独立して並進可能である。各PET検出器リングの並進は、手動操作および/または電動操作によって行うことができる。GRDはガンマ線を(例えば、可視の、赤外のおよび紫外の波長での)シンチレーション光子に変換するためのシンチレータ結晶アレイを含み、それらシンチレーション光子は、光検出器によって検出される。各GRDは、ガンマ線を吸収して、シンチレーション光子を放射する個々の検出器結晶の2次元アレイを備える場合がある。シンチレーション光子は、GRDに配置される光電子増倍管(PhotoMultiplier Tube:PMT)の2次元アレイによっても検出することができる。ライトガイドが、検出器結晶アレイとPMTとの間に配置される場合がある。さらに、各GRDは、種々のサイズのいくつかのPMTを備え、そのそれぞれが、複数の検出器結晶からシンチレーション光子を受信するように配設される。各PMTは、シンチレーションイベントが発生したタイミングおよび検出イベントを起こすガンマ線のエネルギーを示すアナログ信号を作成できる。さらに、1つの検出器結晶から放射される光子は、2つ以上のPMTによって検出することができ、検出イベントに対応する検出器結晶は、各PMTで作成されるアナログ信号に基づいて、例えば、アンガー論理および結晶復号を使用して判断され得る。しかし、結晶と光検出器との間で1対1の対応関係がある場合、アンガー算術は、必ずしも必要であるわけではない。
【0032】
図6は、対象物OBJから放射されるガンマ線を検出するように配設されたGRD8001、8002から8040を有するPETスキャナシステムの概略図を示す。GRDは、各ガンマ線検出器に対応するタイミング、位置、およびエネルギーを測定することができる。一実装形態では、
図5および
図6に示すように、ガンマ線検出器は、PET検出器リング内に配設される。
図6の単一のPET検出器リングは、PETスキャナの軸方向長さに沿って任意の数のPET検出器リングを備えるように挿入される場合があることが理解できる。検出器結晶は、シンチレータ結晶とすることができ、そのシンチレータ結晶は、2次元アレイに配設された個々のシンチレータ素子を有し、該シンチレータ素子は、任意の既知のシンチレーション物質とすることができる。PMTは、各シンチレータ素子からの光が、複数のPMTによって検出されて、シンチレーションイベントのアンガー算術および結晶復号を可能にするように、配置可能である。
【0033】
図6は、撮像される対象物OBJが台9160上に置かれ、GRD1 8001からGRDN8040のGRDモジュールが、対象物OBJおよび台9160を中心にして周囲方向に配設される、PETスキャナ8000の構造の例を示す。GRDは、PET検出器リングを備える場合があり、またガントリ8060に固定して接続されている円筒形ボア8050に固定して接続される場合がある。ガントリ8060は、PETスキャナの多数の部品を収容する。PETスキャナのガントリ8060はまた、対象物OBJおよび台9160がそれを通って通過できる、円形ボア8050によって画定された開口部を含み、また、消滅イベントにより対象物OBJから反対方向に放射されるガンマ線は、GRDにより検出可能であり、かつ、タイミング情報およびエネルギー情報は、ガンマ線ペアの同時計数を決定するために使用される場合がある。
【0034】
図6では、ガンマ線検出データを収集、記憶、処理、および分配する回路およびハードウェアも示されている。これらの回路およびハードウェアは、処理回路9070、ネットワークコントローラ9074 303、メモリ9078、およびデータ取得システム(Data Acquisition System:DAS)9076、を備える。PET撮像装置はまた、GRDからの検出測定結果をDAS9076、処理回路9070、メモリ9078、およびネットワークコントローラ9074に送出するデータチャンネルを備える。DAS9076は、検出器からの検出データの取得、デジタル化、および送出を制御することができる。一実装形態では、DAS9076は、台9160の動きを制御する。処理回路9070は、PET検出器リング、検出データの再構成前処理、画像再構成、および画像データの再構成後処理を調整することを含む機能を実施する。
【0035】
一実施形態によれば、
図5および
図6のPETスキャナ8000の処理回路9070は、本明細書に記載する方法のいずれか、ならびにその変形形態を実施するように構成される場合がある。処理回路9070は、個別論理ゲート、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA)、または他の複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)として実装されることがあるCPUを含む場合がある。FPGAまたはCPLDの実装形態は、VHDL、Verilog、または任意のその他のハードウェア記述言語で符号化されてもよく、かつ、その符号は、FPGAまたはCPLD内部の電子メモリに直接記憶されるか、または別個の電子メモリとして記憶されてよい。さらに、メモリ9078は、ハードディスクドライブ、CD-ROMドライブ、DVDドライブ、FLASH(登録商標)ドライブ、RAM、ROMまたは当該技術分野において既知の任意のその他の電子記憶装置とすることができる。メモリ9078は、ROM、EPROM、EEPROMまたはFLASH(登録商標)メモリのような不揮発性のものであってもよい。メモリ9078は、静的または動的RAMなどの揮発性メモリとすることができ、電子メモリおよびFPGAまたはCPLDとメモリとの間の相互動作を管理するために、マイクロコントローラまたはマイクロプロセッサなどのプロセッサが設けられてもよい。
【0036】
あるいは、処理回路9070のCPUは、本明細書に記載の方法を実施する非一時的コンピュータ可読命令のセットを含むコンピュータプログラムを実行することができ、このプログラムは、電子メモリおよび/またはハードディスクドライブ、CD、DVD、FLASH(登録商標)ドライブまたは任意のその他の既知の記憶媒体を含む上述した非一時的コンピュータ可読媒体のいずれかに記憶される。さらに、このコンピュータ可読命令は、実用アプリケーション、バックグラウンドデーモン、またはオペレーティングシステムのコンポーネント、あるいはそれらの組み合わせとして提供されてもよく、Intel(登録商標)のXENON(登録商標)プロセッサ、またはi3、i7もしくはi9、または米国のAMD社のOPTERON(登録商標)もしくはRyzenプロセッサなどのプロセッサ、ならびに、Microsoft社のWINDOWS(登録商標)、UNIX(登録商標)、Solaris(登録商標)、LINUX(登録商標)、Apple社のMAC-OS(登録商標)および当業者に既知の他のオペレーティングシステムなどのオペレーティングシステムと連動して実行される。さらに、CPUは、命令を実施するために並行して協動する、複数のプロセッサとしてローカルで、または分散型のクラウド構成に実装される場合がある。
【0037】
一実装形態では、PETスキャナは、再構成画像などを表示するためのディスプレイなどを含む場合がある。ディスプレイは、LCDディスプレイ、CRTディスプレイ、プラズマディスプレイ、OLED、LEDまたは当該技術分野において既知の任意の他のディスプレイとすることができる。
【0038】
米国インテル社のインテルイーサーネットPROネットワークインターフェースカードなどのネットワークコントローラ9074が、PET撮像装置の種々の部品間をインターフェースすることができる。追加として、ネットワークコントローラ9074は、外部のネットワークともインターフェースすることができる。理解されるように、この外部ネットワークは、インターネットなどの公共ネットワーク、またはLANもしくはWANネットワークなどの私的ネットワーク、あるいはそれらの組み合わせとすることができ、かつ、PSTNまたはISDNサブネットワークを含むこともできる。この外部ネットワークは、イーサネット(登録商標)ネットワークのような有線方式、またはGPRS、EDGE、3G、4Gおよび5G無線セルラーシステムを含むセルラーネットワークのような無線方式とすることもできる。無線ネットワークは、Wi-Fi、Bluetooth(登録商標)、または既知である通信の任意のその他の無線形態とすることができる。
【0039】
図6では、実施形態に記載の方法を実行する処理回路9070を、PETスキャナ8000が備える例について説明した。しかしながら実施形態はこれに限定されるものではない。例えば、PETスキャナ8000とは別体の医用情報処理装置(例えばワークステーション等)が、処理回路9070と同様の機能を有する処理回路を備えてもよい。例えば、医用情報処理装置が備える処理回路は、PETスキャナ8000により収集されたサイノグラム画像データをネットワークを介して受信し、受信したサイノグラム画像データについて、実施形態に記載のデータ駆動型再構成を実行する。
【0040】
非常に多くの変更および変形形態が、上記の教示に照らし可能であることは明らかである。したがって、添付の特許請求の範囲の範囲内で、具体的に本明細書に記載されているのとは別の方法で、本発明が実践されてもよいことを理解されよう。
【0041】
本明細書に記載される方法およびシステムは、いくつかの技術において実装可能であるが、概して、本明細書に記載される処理を実施するイメージングデバイスおよび/または処理回路に関連する。ニューラルネットワークが使用される一実施形態において、ニューラルネットワークを訓練するのに使用される処理回路は、本明細書に記載される方法を行う訓練済みニューラルネットワークを実装するのに使用される処理回路と同じである必要はない。例えば、FPGAが、訓練済みニューラルネットワーク(例えば、相互接続および重みによって定義された)を作成するのに使用されてよく、またプロセッサおよびメモリは、訓練済みニューラルネットワークを実装するのに使用することができる。さらに、訓練済みニューラルネットワークの訓練および使用には、性能を向上するために、シリアル実装形態またはパラレル実装形態(例えば、グラフィックプロセッサアーキテクチャなどのパラレルプロセッサアーキテクチャに訓練済みニューラルネットワークを実装することによって)を用いてもよい。
【0042】
前述の説明では、具体的な詳細について述べている。しかし、本明細書の技法は、これらの具体的詳細からはそれるその他の実施形態において実施されてもよいこと、およびそのような詳細は、説明目的であって、制限するものではないことが理解されるべきである。本明細書に開示された実施形態は、添付の図面を参照して説明してきた。同様に、説明の目的のために、特定の数、材料、および構成が、完全な理解を提供するために記載されている。それでも、実施形態は、そのような特定の詳細なしに実施されてもよい。実質的に同一の機能構成を有する構成要素には、類似の参照符号が付され、そのためいずれかの重複する説明は省略される場合がある。
【0043】
種々の技法は、様々な実施形態の理解を助けるために、複数の別個の操作として記載されている。説明の順序は、これらの操作が必然的に順序に従うことを意味すると解釈されるべきではない。実際、これらの操作は、説明した順序で実施される必要はない。説明した操作は、上記実施形態とは異なる順序で実施されてもよい。種々の追加の操作が実施されてもよく、および/または記載された操作は、追加の実施形態において省略されてもよい。
【0044】
当業者はまた、依然として本発明の同じ目的を達成しながら、上述した技法の操作に対してなされた多くの変形形態が存在し得ることを理解するであろう。このような変形形態は、本開示の範囲に含まれることが意図される。このように、本発明の実施形態の上記の説明は、限定することを意図するものではない。さらに、添付の特許請求の範囲の要素のいずれかは、任意の他の特許請求の範囲の要素と共に使用されてよい。むしろ、本発明の実施形態に対するいずれの制限も、特許請求の範囲に示される。
【0045】
以上説明した少なくとも1つの実施形態によれば、動き補正を効率化することができる。
【0046】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0047】
8000:PETスキャナ
9070:処理回路