特許 7568471 医用画像処理装置、学習済みモデルおよび医用画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-07

(45)【発行日】2024-10-16

(54)【発明の名称】医用画像処理装置、学習済みモデルおよび医用画像処理方法

(51)【国際特許分類】

   A61B 6/00 20240101AFI20241008BHJP

   G06T 1/40 20060101ALI20241008BHJP

   G06T 1/00 20060101ALI20241008BHJP

   G06T 5/60 20240101ALI20241008BHJP

   G06T 5/70 20240101ALI20241008BHJP

【ＦＩ】

A61B6/00 550M

A61B6/00 560

G06T1/40

G06T1/00 290

G06T5/60

G06T5/70

【請求項の数】 16

(21)【出願番号】P 2020175955

(22)【出願日】2020-10-20

(65)【公開番号】P2021065707

(43)【公開日】2021-04-30

【審査請求日】2023-07-27

(31)【優先権主張番号】62/923,593

(32)【優先日】2019-10-20

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/013,104

(32)【優先日】2020-09-04

(33)【優先権主張国・地域又は機関】US

【前置審査】

(73)【特許権者】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110001771

【氏名又は名称】弁理士法人虎ノ門知的財産事務所

(72)【発明者】

【氏名】チュン チャン

(72)【発明者】

【氏名】ジエン ジョウ

(72)【発明者】

【氏名】エヴレン アズマ

【審査官】後藤 昌夫

(56)【参考文献】

【文献】特開２０１５－１２９９８７（ＪＰ，Ａ）

【文献】Kuang GONG et al.，“PET Image Denoising Using a Deep Neural Network Through Fine Tuning”，IEEE Transactions on Radiation and Plasma Medical Sciences，2019年03月，Vol. 3, No. 2，p.153-161，DOI: 10.1109/TRPMS.2018.2877644

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ６／００－６／５８

(57)【特許請求の範囲】

【請求項1】

ノイズ除去対象の第１の医用画像データを取得する取得部と、
前記第１の医用画像データと、学習済みモデルとに基づいて、前記第１の医用画像データがデノイズされた第２の医用画像データを生成する処理部と、を備え、
前記学習済みモデルは、複数の患者スタディからなるリストモードデータである第３の画像データのそれぞれの患者スタディに係るデータから、複数のノイズ実現を複数の第４の画像データとして生成することにより、前記第３の画像データに対して前記複数の第４の画像データを生成し、前記複数の第４の画像データのうち一の画像データを入力データ、前記複数の第４の画像データのうち前記一の画像データ以外の画像データをターゲットデータとして訓練を行うことで生成され、
前記学習済みモデルは、前記第１の医用画像データから複数のノイズ実現を生成したと仮定した場合の画素の平均値に対応する値を出力することでデノイズされた前記第２の医用画像データを生成する、医用画像処理装置。

【請求項2】

ノイズ除去対象の第１の医用画像データを取得する取得部と、
前記第１の医用画像データと、学習済みモデルとに基づいて、前記第１の医用画像データがデノイズされた第２の医用画像データを生成する処理部と、を備え、
前記学習済みモデルは、複数の患者スタディからなるリストモードデータである第３の画像データのそれぞれの患者スタディに係るデータから、複数の低品質データを複数の第４の画像データとして生成することにより、前記第３の画像データに対して前記複数の第４の画像データを生成し、前記複数の第４の画像データのうち一の画像データを入力データ、前記複数の第４の画像データのうち前記一の画像データ以外の画像データをターゲットデータとして訓練を行うことで生成され、
前記学習済みモデルは、前記第１の医用画像データから複数の低品質データを生成したと仮定した場合の画素の平均値に対応する値を出力することでデノイズされた前記第２の医用画像データを生成する、医用画像処理装置。

【請求項3】

前記学習済みモデルは、前記複数の第４の画像データのうち前記一の画像データとは異なる画像データを入力データ、前記複数の第４の画像データのうち前記異なる画像データ以外の画像データをターゲットデータとしてさらに訓練を行うことで生成される、請求項１に記載の医用画像処理装置。

【請求項4】

ノイズ除去対象の第１の医用画像データを取得する取得部と、
前記第１の医用画像データと、学習済みモデルとに基づいて、前記第１の医用画像データがデノイズされた第２の医用画像データを生成する処理部と、を備え、
前記学習済みモデルは、リストモードデータである第３の画像データを複数のカウントレベルに再構成し複数のノイズ実現を複数の第４の画像データとして生成することにより、前記第３の画像データに対して前記複数の第４の画像データを生成し、前記複数の第４の画像データのうち一の画像データを入力データ、前記複数の第４の画像データのうち前記一の画像データ以外の画像データをターゲットデータとして訓練を行うことで生成され、
前記複数の第４の画像データは、複数のカウントレベルについて生成されたデータであり、
前記学習済みモデルは、前記複数のカウントレベルのそれぞれについて、前記入力データおよび前記ターゲットデータを設定して訓練を行うことで生成される、医用画像処理装置。

【請求項5】

ノイズ除去対象の第１の医用画像データを取得する取得部と、
前記第１の医用画像データと、学習済みモデルとに基づいて、前記第１の医用画像データがデノイズされた第２の医用画像データを生成する処理部と、を備え、
前記学習済みモデルは、リストモードデータである第３の画像データを複数のカウントレベルに再構成し複数の低品質データを複数の第４の画像データとして生成することにより、前記第３の画像データに対して前記複数の第４の画像データを生成し、前記複数の第４の画像データのうち一の画像データを入力データ、前記複数の第４の画像データのうち前記一の画像データ以外の画像データをターゲットデータとして訓練を行うことで生成され、
前記複数の第４の画像データは、複数のカウントレベルについて生成されたデータであり、
前記学習済みモデルは、前記複数のカウントレベルのそれぞれについて、前記入力データおよび前記ターゲットデータを設定して訓練を行うことで生成される、医用画像処理装置。

【請求項6】

前記学習済みモデルは、前記複数の第４の画像データのうち前記一の画像データとは異なる画像データであって、前記複数のカウントレベルのそれぞれで互いに異なる画像データを入力データ、前記複数の第４の画像データのうち前記異なる画像データ以外の画像データを出力データとしてさらに訓練を行うことで生成される、請求項４に記載の医用画像処理装置。

【請求項7】

ニューラルネットワークを用いて前記学習済みモデルを生成する、請求項１～６のいずれか一つに記載の医用画像処理装置。

【請求項8】

前記ニューラルネットワークは、深層ニューラルネットワークである、請求項７に記載の医用画像処理装置。

【請求項9】

第１の医用画像データから、前記第１の医用画像データがデノイズされた第２の医用画像データを生成するための、コンピュータに対する指令であるプログラムである学習済みモデルであって、
複数の患者スタディからなるリストモードデータである第３の画像データのそれぞれの患者スタディに係るデータから、複数のノイズ実現を複数の第４の画像データとして生成することにより、前記第３の画像データに対して前記複数の第４の画像データを生成し、前記複数の第４の画像データのうち一の画像データを入力データ、前記複数の第４の画像データのうち前記一の画像データ以外の画像データをターゲットデータとして訓練を行うことで生成され、
前記学習済みモデルは、前記第１の医用画像データから複数のノイズ実現を生成したと仮定した場合の画素の平均値に対応する値を出力することでデノイズされた前記第２の医用画像データを生成する、学習済みモデル。

【請求項10】

第１の医用画像データから、前記第１の医用画像データがデノイズされた第２の医用画像データを生成するための、コンピュータに対する指令であるプログラムである学習済みモデルであって、
複数の患者スタディからなるリストモードデータである第３の画像データのそれぞれの患者スタディに係るデータから、複数の低品質データを複数の第４の画像データとして生成することにより、前記第３の画像データに対して前記複数の第４の画像データを生成し、前記複数の第４の画像データのうち一の画像データを入力データ、前記複数の第４の画像データのうち前記一の画像データ以外の画像データをターゲットデータとして訓練を行うことで生成され、
前記学習済みモデルは、前記第１の医用画像データから複数の低品質データを生成したと仮定した場合の画素の平均値に対応する値を出力することでデノイズされた前記第２の医用画像データを生成する、学習済みモデル。

【請求項11】

第１の医用画像データから、前記第１の医用画像データがデノイズされた第２の医用画像データを生成するための、コンピュータに対する指令であるプログラムである学習済みモデルであって、
リストモードデータである第３の画像データを複数のカウントレベルに再構成し複数のノイズ実現を複数の第４の画像データとして生成することにより、前記第３の画像データに対して複数の第４の画像データを生成し、前記複数の第４の画像データのうち一の画像データを入力データ、前記複数の第４の画像データのうち前記一の画像データ以外の画像データをターゲットデータとして訓練を行うことで生成され、
前記複数の第４の画像データは、複数のカウントレベルについて生成されたデータであり、
前記学習済みモデルは、前記複数のカウントレベルのそれぞれについて、前記入力データおよび前記ターゲットデータを設定して訓練を行うことで生成される、
学習済みモデル。

【請求項12】

第１の医用画像データから、前記第１の医用画像データがデノイズされた第２の医用画像データを生成するための、コンピュータに対する指令であるプログラムである学習済みモデルであって、
リストモードデータである第３の画像データを複数のカウントレベルに再構成し複数の低品質データを複数の第４の画像データとして生成することにより、前記第３の画像データに対して前記複数の第４の画像データを生成し、前記複数の第４の画像データのうち一の画像データを入力データ、前記複数の第４の画像データのうち前記一の画像データ以外の画像データをターゲットデータとして訓練を行うことで生成され、
前記複数の第４の画像データは、複数のカウントレベルについて生成されたデータであり、
前記学習済みモデルは、前記複数のカウントレベルのそれぞれについて、前記入力データおよび前記ターゲットデータを設定して訓練を行うことで生成される、
学習済みモデル。

【請求項13】

ノイズ除去対象の第１の医用画像データを取得し、
前記第１の医用画像データと、学習済みモデルとに基づいて、前記第１の医用画像データがデノイズされた第２の医用画像データを生成することを含む医用画像処理方法であって、前記学習済みモデルは、複数の患者スタディからなるリストモードデータである第３の画像データのそれぞれの患者スタディに係るデータから、複数のノイズ実現を複数の第４の画像データとして生成することにより、前記第３の画像データに対して前記複数の第４の画像データを生成し、前記複数の第４の画像データのうち一の画像データを入力データ、前記複数の第４の画像データのうち前記一の画像データ以外の画像データをターゲットデータとして訓練を行うことで生成され、
前記学習済みモデルは、前記第１の医用画像データから複数のノイズ実現を生成したと仮定した場合の画素の平均値に対応する値を出力することでデノイズされた前記第２の医用画像データを生成する、医用画像処理方法。

【請求項14】

ノイズ除去対象の第１の医用画像データを取得し、
前記第１の医用画像データと、学習済みモデルとに基づいて、前記第１の医用画像データがデノイズされた第２の医用画像データを生成することを含む医用画像処理方法であって、前記学習済みモデルは、複数の患者スタディからなるリストモードデータである第３の画像データのそれぞれの患者スタディに係るデータから、複数の低品質データを複数の第４の画像データとして生成することにより、前記第３の画像データに対して前記複数の第４の画像データを生成し、前記複数の第４の画像データのうち一の画像データを入力データ、前記複数の第４の画像データのうち前記一の画像データ以外の画像データをターゲットデータとして訓練を行うことで生成され、
前記学習済みモデルは、前記第１の医用画像データから複数の低品質データを生成したと仮定した場合の画素の平均値に対応する値を出力することでデノイズされた前記第２の医用画像データを生成する、医用画像処理方法。

【請求項15】

ノイズ除去対象の第１の医用画像データを取得し、
前記第１の医用画像データと、学習済みモデルとに基づいて、前記第１の医用画像データがデノイズされた第２の医用画像データを生成することを含む医用画像処理方法であって、前記学習済みモデルは、リストモードデータである第３の画像データを複数のカウントレベルに再構成し複数のノイズ実現を複数の第４の画像データとして生成することにより、前記第３の画像データに対して前記複数の第４の画像データを生成し、前記複数の第４の画像データのうち一の画像データを入力データ、前記複数の第４の画像データのうち前記一の画像データ以外の画像データをターゲットデータとして訓練を行うことで生成され、
前記複数の第４の画像データは、複数のカウントレベルについて生成されたデータであり、
前記学習済みモデルは、前記複数のカウントレベルのそれぞれについて、前記入力データおよび前記ターゲットデータを設定して訓練を行うことで生成される、医用画像処理方法。

【請求項16】

ノイズ除去対象の第１の医用画像データを取得し、
前記第１の医用画像データと、学習済みモデルとに基づいて、前記第１の医用画像データがデノイズされた第２の医用画像データを生成することを含む医用画像処理方法であって、前記学習済みモデルは、リストモードデータである第３の画像データを複数のカウントレベルに再構成し複数の低品質データを複数の第４の画像データとして生成することにより、前記第３の画像データに対して前記複数の第４の画像データを生成し、前記複数の第４の画像データのうち一の画像データを入力データ、前記複数の第４の画像データのうち前記一の画像データ以外の画像データをターゲットデータとして訓練を行うことで生成され、
前記複数の第４の画像データは、複数のカウントレベルについて生成されたデータであり、
前記学習済みモデルは、前記複数のカウントレベルのそれぞれについて、前記入力データおよび前記ターゲットデータを設定して訓練を行うことで生成される、医用画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書及び図面に開示の実施形態は、医用画像処理装置、学習済みモデルおよび医用画像処理方法に関する。

【背景技術】

【0002】

機械学習を用いて、医用画像におけるノイズ除去を行うことができる。例えば、低画質の画像データを入力データ、高画質な画像データを出力データとして、深層学習畳み込みニューラルネットワーク（Deep learning Convolutional Neural Networks：ＤＣＮＮ）を用いた訓練を行い学習済みモデルを生成し、訓練が行われた当該学習済みモデルに低画質な画像データを入力することで、高画質な画像データを得ることができる。

【0003】

しかしながら、当該訓練には大量の高画質な画像データを用意する必要があり、十分な数の高画質な画像データを用意するのが難しい場合もある。

【先行技術文献】

【特許文献】

【0004】

【文献】Ｃ．Ｃｈａｎ、Ｊ．Ｚｈｏｕ、Ｌ．Ｙａｎｇ、Ｗ．Ｑｉ、Ｊ．ＫｏｌｔｈａｍｍｅｒおよびＥ．Ａｓｍａ、「Ｎｏｉｓｅ Ａｄａｐｔｉｖｅ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｗｈｏｌｅ－Ｂｏｄｙ ＰＥＴ Ｄｅｎｏｉｓｉｎｇ」、ＩＥＥＥ ＮＳＳ／ＭＩＣ Ｃｏｎｆｅｒｅｎｃｅ Ｒｅｃｏｒｄ、２０１８年

【発明の概要】

【発明が解決しようとする課題】

【0005】

本明細書及び図面の開示の実施形態が解決しようとする課題の一つは、画質を向上することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

【課題を解決するための手段】

【0006】

実施形態に係る医用画像処理装置は、取得部と処理部とを備える。取得部は、ノイズ除去対象の第１の医用画像データを取得する。処理部は、前記第１の医用画像データと、学習済みモデルとに基づいて、前記第１の医用画像データがデノイズされた第２の医用画像データを生成する。学習済みモデルは、第３の画像データを複数のサブデータに分割することにより、前記第３の画像データに対して複数の第４の画像データを生成し、前記複数の第４の画像データのうち一の画像データを入力データ、前記複数の第４の画像データのうち前記一の画像データ以外の画像データをターゲットデータとして訓練を行うことで生成される。

【図面の簡単な説明】

【0007】

【図1】図１は、実施形態に係るＮ２ＮＥＮ訓練の処理の一例を示す図である。

【図2A】図２Ａは、実施形態に係るＮ２ＮＥＮ訓練の処理のさらなる例を示す図である。

【図2B】図２Ｂは、実施形態に係るＮ２ＮＥＮ訓練の処理のさらなる例を示す図であり、図２Ａの処理を別の形式で表示した図である。

【図3A】図３Ａは、実施形態に係るＮ２ＮＥＮ訓練の処理のさらなる例を示す図である。

【図3B】図３Ｂは、実施形態に係るＮ２ＮＥＮ訓練の処理の一例を示す図である。

【図4A】図４Ａは、実施形態に係るＮ２ＮＥＮネットワークの適用例を説明するための図である。

【図4B】図４Ｂは、実施形態に係るＮ２ＮＥＮネットワークの適用例を説明するための図である。

【図4C】図４Ｃは、実施形態に係るＮ２ＮＥＮネットワークの適用例を説明するための図である。

【図5】図５は、実施形態に係る処理と比較例に係る処理とを比較するための図である。

【図6】図６は、実施形態に係る処理と比較例に係る処理とを比較するための図である。

【図7A】図７Ａは、実施形態に係る処理と比較例に係る処理とを比較するための図である。

【図7B】図７Ｂは、実施形態に係る処理と比較例に係る処理とを比較するための図である。

【発明を実施するための形態】

【0008】

以下、図面を参照しながら、医用画像処理装置、学習済みモデルおよび医用画像処理方法の実施形態について詳細に説明する。

【0009】

ノイズ・ツー・ノイズ・アンサンブル（Noise-To-Noise-ENsemble：Ｎ２ＮＥＮ）訓練方法およびシステムについて、図面を参照して本明細書で説明する。はじめに、実施形態に係る医用画像処理装置の構成の一例について述べると、実施形態における医用画像処理装置は、取得部と、処理部とを備える。取得部は、ノイズ除去対象の第１の医用画像データを取得する。処理部は、当該第１の医用画像データと、学習済みモデルとに基づいて、第１の医用画像データがデノイズされた第２の医用画像データを生成する。取得部および処理部は、例えば後述の処理回路として実現される。学習済みモデルは、第３の画像データを複数のサブデータに分割することにより、第３の画像データに対して複数の第４の画像データを生成し、これらを用いて訓練を行うことで生成される。具体的には、訓練データセット（入力、ターゲット）が、（低品質画像、高品質画像）のペアとして使用される代わりに、１つの低品質なデータセットが、低品質なデータセットの複数の構成要素セットにマップされることによって学習済みモデルの訓練が行われる。ここで、低品質画像／低品質なデータセットとは、例えばノイズなどの表示対象以外の情報が高品質画像／高品質なデータセットよりも多く含まれる画像や、高品質画像／高品質なデータセットと比して不備のある画像等を意味する。一実施形態では、これら全てのデータセットは、同じ平均値およびノイズ分布を共有するが、これらは異なるノイズ実現から引き出されるものである。

【0010】

続いて、このように訓練が行われると、実施形態に係る医用画像処理装置は、取得部により、ノイズ除去対象の第１の医用画像データを取得し、処理部により、第１の医用画像データと、上述の訓練により生成された学習済みモデルとに基づいて、第１の医用画像データがデノイズされた第２の医用画像データを生成する。

【0011】

学習済みモデルの説明に戻り、ＤＣＮＮ損失関数最小化は、以下の式（１）のように書くことができる。

【数1】

【0012】

または、次の式（２）のようにも書くことができる。

【0013】

【数2】

【0014】

式中Nは、低品質なデータセットxの合計数であり、Kは、低品質なデータセットx_iのノイズ実現数の合計であり、Ψは、損失関数であり、Fは、ニューラルネットワークを意味し、θは訓練可能なパラメータを表す。ｘ_ｉはｉ番目の入力データであり、ｙ_ｉはｉ番目のターゲットデータである。また、ｙ_ｊｉ（ここでｙはハット付き文字である）は、i番目の入力データに対応するｊ番目のターゲットデータである。すなわち、一つの入力データに対して、複数のターゲットデータが対応する。x_iおよびy_ji（ここでｙはハット付き文字である）の両方は、同じノイズ分布から引き出される。この訓練スキームは、画像領域およびサイノグラム領域の両方に適用することができる。一実施形態では、データセットは同じ平均値および分布を有するが、代替的実施形態では、データセットは、異なる平均値および分布を有する場合がある。

【0015】

一実施形態では、この技法は、ＰＥＴ画像をノイズ除去する際に使用することができる。別の実施形態では、この技法は、他の画像タイプ、例えば、コンピュータ断層写真撮影法（ＣＴ）画像、およびＸ線、超音波およびＭＲＩのノイズ除去のために使用することができる。

【0016】

一例として、ＰＥＴ画像ノイズ除去が使用される。一実施形態では、図１は、Ｎ個の患者スタディのそれぞれに対する最大カウントレベルに対応する未処理リストモードデータによって表されるＮ個の患者スタディを用いるＮ２ＮＥＮ訓練の基本的なワークフローを示す。一実施形態では、最大カウントレベルは、正規化されるか、またはＮ個のスタディ全てにわたって同一にされる。代替実施形態では、カウントレベルは、Ｎ個のスタディにわたって変動する。各スタディのデータは、Ｋ個のノイズ実現に分割される（この際、Ｋ＞＝２である）。すなわち、実施形態に係る医用画像処理装置における学習済みモデルは、それぞれのスタディに係るデータである第３の画像データを複数のサブデータであるＫ個のノイズ実現に分割することにより、第３の画像データに対して複数の第４の画像データを、Ｋ個のノイズ実現として生成する。また、実施形態に係る医用画像処理方法においては、学習済みモデルは、それぞれのスタディに係るデータである第３の画像データを複数のサブデータであるＫ個のノイズ実現に分割することにより、第３の画像データに対して複数の第４の画像データを、Ｋ個のノイズ実現として生成する。処理回路のハードウェア構成については後述する。なお、実施形態における画像データのデータ形式は、上述の未処理リストモードデータ形式に限られず、その他の様々なデータ形式、例えばサイノグラム形式のデータであってもよい。

【0017】

Ｎ２ＮＥＮは、最大カウントレベルの１つのノイズ実現と、同じ最大カウントレベルの複数のノイズ実現とをペアにする。図１に示すように、ノイズ実現１は低品質なデータセットとして使用され、また他のノイズ実現２からＫのそれぞれはターゲットとして別々に使用される。これにより、Ｋ－１ペアの集合が生成される。換言すると、実施形態に係る医用画像処理装置においては、複数の第４の画像データのうち一の画像データであるノイズ実現１を入力データ、複数の第４の画像データのうち一の画像データ以外の画像データであるノイズ実現２～Ｋをターゲットデータとして訓練を行い、例えば深層ニューラルネットワーク等のニューラルネットワークを用いて学習済みモデルを生成する。また、実施形態に係る画像処理の処理回路は、複数の第４の画像データのうち一の画像データであるノイズ実現１を入力データ、複数の第４の画像データのうち当該一の画像データ以外の画像データであるノイズ実現２～Ｋをターゲットデータとして訓練を行い、学習済みモデルを生成する。本明細書で使用する場合、関数Pairs(input_x, [targets])は、ｉｎｐｕｔ_ｘと、集合［ｔａｒｇｅｔｓ］の異なる全ての構成要素との可能な全てのペアを作成するプロセスでの省略表現として使用される。したがって、低品質なデータとしてのノイズ実現１と、他のノイズ実現２からＫのそれぞれとの上述のペアは、Pairs(1, [2..K])と表すことができる。この際、［２．．Ｋ］は、「．．」表記を使用して、２からＫの全ての要素の集合を表す。同様に、集合表記は、３以外の１からＫの要素全てを示す［１．．２，４．．Ｋ］のような区切りを集合内に含んでもよい。

【0018】

上述のように、図１では、各スタディのデータは、Ｋ個のノイズ実現に分割される。一部の実施形態では、ノイズ実現は、実質上独立し、かつ等しく分配される（すなわち、０．０５の相関係数を有する）、ほぼ独立し、かつ等しく分配される（すなわち、０．０２の相関係数を有する）、事実上独立し、かつ等しく分配される（すなわち、０．０１の相関係数を有する）、完全に独立し、かつ等しく分配される（すなわち、０．０の相関係数を有する）のいずれかとなるように生成される。同じ元のデータから生成されたこのようなノイズ実現の集合物の名称は、本明細書では「訓練準備のできた」ノイズ実現と称される。

【0019】

別の例を、図２Ａと図２Ｂに示す。未処理リストモードデータは、Ｍ個のカウントレベルに再構成（複数のサブデータに分割）されて、カウントレベルのそれぞれに対して、Ｋ個のノイズ実現が生成される。訓練中、カウントレベルのそれぞれに対して、（Pairs(1, [2..K])に従って）各スタディの訓練ノイズ実現のうち１つ（例えば、実質上独立し、かつ等しく分配されるノイズ実現のうち１つ）が、低品質なデータセットとして使用され、また、（実質上独立し、かつ等しく分配されるノイズ実現に対応する）その他の全てのノイズ実現は、ターゲットとして使用される。あるいは、訓練中に、カウントレベルのそれぞれに対して、訓練ノイズ実現のうち１つ（例えば、完全に独立し、かつ等しく分配されるノイズ実現のうち１つ）が、低品質なデータセットとして使用され、また、（完全に独立し、かつ等しく分配されるノイズ実現に対応する）その他の全てのノイズ実現は、ターゲットとして使用される。図２Ａは、Ｎ個のスタディのそれぞれでの、カウントレベルのうち１つに対するPairs(1, [2..K])の図による表現を示す。本明細書で使用する場合、用語Pairs_countlevel=1(input_x, [targets])は、第１カウントレベル（カウントレベル＝１を指す）での、Pairs(input_x, [targets])のペアを作成するプロセスで省略表現として使用される。Ｍ個のカウントレベルを用いる一実施形態では、システムは、スタディごとに、Ｍ個のペアの集合を利用することができ、これは、省略表現Pairs_{countlevel=1..M}(input_x, [targets])で表される場合があり、また、Ｎ個のスタディのそれぞれに関して図２Ａでは図を用いて示され、かつ図２Ｂでは、説明的に示されている。

【0020】

同様に、他のノイズ除去用途では、複数のサブデータへの分割プロセスは、複数のノイズ実現を生成するために、シミュレートされたノイズを加えることによって置き換えることが可能である。

【0021】

続いて、実施形態に係る医用画像処理装置においては、取得部により、ノイズ除去対象の第１の医用画像データを取得し、処理部により、第１の医用画像データと、上述の訓練により生成された学習済みモデルとに基づいて、第１の医用画像データがデノイズされた第２の医用画像データを生成する。また、実施形態に係る医用画像処理方法においては、
ノイズ除去対象の第１の医用画像データを取得し、第１の医用画像データと、上述の訓練により生成された学習済みモデルとに基づいて、第１の医用画像データがデノイズされた第２の医用画像データを生成する。

【0022】

なお、ここで生成された学習済みモデルは、第１の医用画像データを、訓練時と同様に仮に複数のサブデータに分割したと仮定した場合の画素の平均値に対応する値を出力することでデノイズされた第２の医用画像データを生成するものになっている。ここで、ノイズは、第１の医用画像データを複数のサブデータに分割したと仮定した場合の複数のサブデータの画素の平均値（または中央値）を中心として分布すると考えられるので、これらの複数のサブデータの平均値のデータは、本来の画素値より画素値が大きくなるノイズと、本来の画素値より画素値が小さくなるノイズとが打ち消しあい、ノイズが小さくなったデータと考えられる。このため、当該学習済みモデルにより出力される第２の医用画像データは、ノイズが除去された高画質な画像となると考えられる。

【0023】

代替的実施形態では、訓練サンプルの数をさらに増加させるために、各ノイズ実現は、ノイズが多い入力およびターゲットとして、入力とターゲットとを順次入れ替えつつ動作する場合がある。例えば、図３Ａに示すように、スタディ（スタディ１からスタディＮ）のそれぞれでは、各スタディは、ノイズ実現１からノイズ実現Ｋを有し、ＤＣＮＮ訓練の際に、第１ノイズ実現（例えば、ノイズ実現１）は、低品質なデータセットとして使用され、また残りのノイズ実現（例えば、ノイズ実現２．．Ｋ）は、ターゲットとして使用されるが、これは、Pairs(1, [2..K])によって実現される。次に、第２ノイズ実現（例えば、ノイズ実現２）が、低品質なデータセットとして使用され、また残りのノイズ実現（例えば、ノイズ実現１、およびノイズ実現３．．Ｋ）が、ターゲットとして使用されるが、これは、Pairs(2, [1, 3..K])によって実現される。このパターンは、追加の訓練サンプルが必要な場合に、スタディのそれぞれに対する各ノイズ実現が、低品質なデータセットとして使用される（その一方で、残りのノイズ実現はターゲットである）ように繰り返される場合がある。すなわち、Pairs(1, [2..K])からPairs(K, [1..K-1])のそれぞれが使用される場合があり、これは、省略表現AllPairs(1, K)で表すことができる。換言すると、実施形態に係る医用画像処理装置においては、複数の第４の画像データであるノイズ実現１～Ｋのうち一の画像データであるノイズ実現１とは異なる画像データでああるノイズ実現２等を入力データ、複数の第４の画像のうち当該異なる画像データ以外の画像データ（例えば、ノイズ実現１、３～Ｋ）をターゲットデータとしてさらに訓練を行うことで学習済みモデルが生成される。

【0024】

訓練向けにレトロスペクティブに既存の医用データを使用するために、十分な数の複数のノイズ実現に再構成するのに未処理リストモードデータが十分に長くない場合、各イベントが、一定の確率で置き換えられ、結果として生じる複数のノイズ実現間の相関関係が増加しているといった結果を伴って引き出されるように、「ブートストラップ」技法が使用されてもよい。例えば、「ブートストラップ」技法に従って、訓練向けに、５分データが、複数のカウントレベル、および訓練準備のできたノイズ実現（相関関係が増加した）、例えば、５（ノイズ実現）×１分、５×２分、５×３分、および／または５×４分データセットに再構成される。この方法により、訓練データセットの数を大幅に増やすことができ、これは、訓練で使用される高品質画像を必要とすることなく、既存のデータセットから生成することができる。

【0025】

換言すると、実施形態に係る医用画像処理装置においては、前述の複数の第４の画像データは、複数のカウントレベルについて生成されたデータであり、複数のカウントレベルのそれぞれにおいて、入力データおよびターゲットデータを設定して訓練が行われることにより学習済みモデルが生成されてもよい。なお、実施形態に係る医用画像処理装置においては、当該複数の第４の画像データのうち前述の一の画像データとは異なる画像データであって、複数のカウントレベルのそれぞれで互いに異なる画像データを入力データ、複数の第４の画像データのうち当該異なる画像データ以外の画像データを出力データとしてさらに訓練を行うことにより学習済みモデルが生成されてもよい。

【0026】

上述のように、全てのスタディは、最大カウントレベルに対してデータがペアにされる閾値期間よりそれら全てが長いのであれば、最初に同じ時間長である必要はない。例えば、５個のスタディがあり、かつ、それらが５分以上（例えば、５、６、５．５、７および６．５分）の間で動作するデータを有している場合、５分以下（例えば、１分、２分、３分、４分および５分）のデータセットに、元のデータが再構成されるのであれば、それら全てのスタディは使用することができる。

【0027】

図４Ａ、図４Ｂ、図４Ｃは、異なるコントラスト（５：１および３：１）の２つの肝臓病変を用いて挿入される実際の患者の１８Ｆ－ＦＤＧスタディ（２分）に適用されたＮ２ＮＥＮネットワークの例を示す。図４Ａは、入力として２分間取得されたノイズの多いＰＥＴ画像を示す。図４Ｂは、ターゲットとして、高品質画像を使用した８個の患者スタディを用いて訓練されたＤＣＮＮのノイズ除去結果を示す（［Ｃｈａｎ ２０１８：Ｃ．Ｃｈａｎ、Ｊ．Ｚｈｏｕ、Ｌ．Ｙａｎｇ、Ｗ．Ｑｉ、Ｊ．ＫｏｌｔｈａｍｍｅｒおよびＥ．Ａｓｍａ、「Ｎｏｉｓｅ Ａｄａｐｔｉｖｅ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｗｈｏｌｅ－Ｂｏｄｙ ＰＥＴ Ｄｅｎｏｉｓｉｎｇ」、ＩＥＥＥ ＮＳＳ／ＭＩＣ Ｃｏｎｆｅｒｅｎｃｅ Ｒｅｃｏｒｄ、２０１８年］を参照されたい）。図４Ｃは、１個のノイズ実現を別の４個のノイズ実現にマップすることによって訓練された、提案されるＮ２ＮＥＮネットワークを示す。Ｎ２ＮＥＮネットワークを使用した場合、病変の両方は維持されたままで、効率的にノイズが抑制されていることが分かる。

【0028】

深層残留ネットワークアーキテクチャが、３つの訓練スキームで適用かつ比較されている。この際の３つのスキームとは、（１）高カウントターゲット訓練（ＨＣターゲット）、（２）ノイズ・ツー・ノイズ（Noise2Noise：Ｎ２Ｎ）訓練、および（３）Ｎ２ＮＥＮ訓練であった（［Ｃｈａｎ ２０１８］を参照）。

【0029】

高カウントターゲット訓練（ＨＣターゲット）に従って、１８Ｆ－ＦＤＧスキャンの２ベッドに対する高カウントデータ（１４分／ベッド）が、ターゲットとして使用された。高カウントリストモードデータは、ノイズの多いサンプルとして、ベッドごとに３０秒から４２０秒の間で８個のカウントレベルに再構成（サブサンプリング）された。訓練データセットは、８個のこのような患者スタディで構成され、合計６４のペアにされた訓練データセットを得た。

【0030】

ノイズ・ツー・ノイズ（Ｎ２Ｎ）訓練に従って、１個の患者スタディが使用されて、１４分リストモードデータが、ベッドごとに１２０秒、１６８秒、２１０秒の３カウントレベルに再構成された。カウントレベルのそれぞれに対して、１個のノイズ実現が、別のノイズ実現とペアにされて、合計３つの訓練ペアを得た。

【0031】

ノイズ・ツー・ノイズ・アンサンブル（Ｎ２ＮＥＮ）訓練に従って、同じ患者スタディが、１２０秒、１６８秒、および２１０秒を含む３個のカウントレベルに再構成された。カウントレベルのそれぞれに対して、４個の実現が生成された。この際、１個の実現が、ノイズの多い入力として使用され、また３個の他のノイズ実現が、ターゲットとして使用されて９つの訓練ペアを得た。

【0032】

まず、１４分／ベッドリストモードデータを２分／ベッドに再構成して、低いカウントデータを生成することによって、訓練の際に含まれなかった確証データセットで異なる訓練スキームが比較された。次に、４分／ベッドが２分／ベッドにさらに再構成されたものに対して取得された別の２つのテスト患者スタディで方法の全てが評価された。このテストデータセットでは、５：１のコントラストの１０ｍｍの肝臓病変が、患者の減衰マップと共にＧｅａｎｔ４アプリケーション断層撮影照射（Geant4 Application for Tomographic Emission：ＧＡＴＥ）を使用してシミュレートされた。シミュレートされた病変リストモードは、患者のリストモードデータと連結された。逐次部分集合期待値最大化法（Ordered Subset Expectation Maximization：ＯＳＥＭ）を使用して、３回の繰り返しと１０個の部分集合を用いて全ての画像が再構成され、挿入された病変の病変コントラスト回復（Contrast Recovery：ＣＲ）対肝臓変動係数（Coefficient of Variation：ＣｏＶ）が定量的評価のために測定された。再構成のそれぞれに対する４、６、および８全幅半値（Full Width Half Maximum：ＦＷＨＭ）でのガウスフィルタが、比較のために適用された。

【0033】

図５は、確証患者スタディのサンプル体軸横断スライスを示す。ノイズ除去２分／ベッド画像が、参照としての１４分／ベッドＯＳＥＭ再構成と比較されている。スペックルノイズ５０が、Ｎ２Ｎ結果に見られる。Ｎ２ＮＥＮは、自然なノイズテクスチャを伴ってＨＣターゲット訓練と類似の結果を得ている。

【0034】

図６は、シミュレートされた肝臓病変の中心のスライスを示している患者スタディ１（２分／ベッド）のサンプル体軸横断スライスを示す。Ｎ２Ｎは、スペックルノイズおよび歪んだ病変形状を得ている一方で、Ｎ２ＮＥＮはＨＣターゲットノイズ除去と類似の結果を得ている。

【0035】

図７Ａおよび図７Ｂは、第１患者および第２患者に対して、それぞれシミュレートされた肝臓病変の病変ＣＲ対肝臓ＣｏＶを示す。ガウスフィルタリング（Gaussian Filtering：ＧＦ）の曲線が、４ｍｍから８ｍｍでＦＷＨＭを変化させることによって生成された。

【0036】

結果を分析して、図５は、異なる方法で比較された確証スタディのサンプル体軸横断スライスを示している。Ｎ２Ｎノイズ除去は、ある程度のノイズをノイズ除去しているが、ノイズ除去された画像にはスペックルノイズが残っており、また、ノイズテクスチャがクラスタ化していることが分かる。対照的に、Ｎ２ＮＥＮは、自然なノイズテクスチャを維持しながらＨＣターゲットノイズ除去よりも視覚的に滑らかな結果を得ている。さらに、図６は、シミュレートされた肝臓病変を用いる患者スタディ１のサンプル体軸横断スライスを示している。Ｎ２Ｎ結果では、スペックルノイズを観察することができ、また病変の形状が歪んでいるが、その一方で、ＨＣターゲットおよびＮ２ＮＥＮは、類似の結果を得ている。図７Ａおよび図７Ｂは、ＣＲ対肝臓ＣｏＶ測定値を示している。全ての訓練方法が、比較可能な肝臓ＣｏＶを得ていることが分かる。Ｎ２ＮＥＮは、Ｎ２Ｎよりも高い病変コントラストを得ており同時に、ＨＣターゲット訓練は、最良のパフォーマンスを得ており、これは、訓練中に非常に多くのデータセットが含まれることが要因である可能性がある。

【0037】

結果は、訓練中に単一のスタディを使用している場合であっても、Ｎ２ＮＥＮ訓練は、自然なノイズテクスチャを伴って（例えば、ＰＥＴ画像で）効率的にノイズを抑制し、それにより、訓練向けの高品質データを取得するといった要求タスクを著しく容易なものにすることができることを実証している。

【0038】

上述のように、本明細書のプロシージャは、単一のカウントレベルまたは複数のカウントレベルを利用することができる。さらに、一実施形態では、訓練に使用されるカウントレベルの範囲は、臨床診療において一般的に使用されると予想されるものよりも広い。

【0039】

本開示は、画像データ分割を実施し、かつ人工ニューラルネットワークを利用して類似の画像条件下で撮影される後の画像の画像データからノイズを除去する画像処理方法およびシステムに関し、かつ、一実施形態では、Ｎ個のスタディ（例えば、ＰＥＴスキャンスタディ）からＮ個の画像データセットを処理し、かつＮ個のスタディのそれぞれに対して、Ｎ個の画像データセットをＫ個のデータセットに変換する画像処理方法およびシステムに関する。Ｋ個のデータセットは、次に、低品質なデータセットおよびターゲットデータセットにそれぞれ分割され、かつ類似の画像条件下で撮影される画像からノイズを除去するために、それら低品質なデータセットおよびターゲットデータセットを使用して、人工ニューラルネットワークが訓練される。

【0040】

低品質入力から高品質画像を予測するニューラルネットワークの訓練の代わりに、ネットワークは、１つのノイズ実現を、その全てが同じ平均値を共有するノイズ実現のアンサンブルにマップするように訓練される。したがって、ニューラルネットワークは、解釈の平均値を出力するように学習し、それにより、より正確でロバストな解を得て、ＰＥＴ画像の複雑な空間的非定常ノイズ分布を捕捉することができる。

【0041】

本明細書で記載する方法およびシステムは、いくつかの技術に実装することが可能であるが、概して、人工ニューラルネットワークを訓練および実装する処理回路に関する。一実施形態では、処理回路は、単独で、または特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ）、汎用の論理アレイ（Generic Array of Logic：ＧＡＬ）、プログラマブル論理アレイ（Programmable Array of Logic：ＰＡＬ）、（例えば、ヒューズを使用する）論理ゲートの１回限りのプログラムを可能にする回路、または再プログラマブル論理ゲートの組み合わせで実装される。さらに、処理回路は、コンピュータプロセッサを含む場合があり、コンピュータプロセッサを制御して、本明細書に記載される処理を実施するコンピュータ命令（バイナリ実行可能命令および／または解釈されたコンピュータ命令）を記憶する埋め込みおよび／または外部不揮発性コンピュータ可読メモリ（例えば、ＲＡＭ、ＳＲＡＭ、ＦＲＡＭ（登録商標）、ＰＲＯＭ、ＥＰＲＯＭおよび／またはＥＥＰＲＯＭ）を有する。コンピュータプロセッサ回路は、各々が、シングルスレッドまたはマルチプルスレッドをサポートし、かつ各々がシングルコアまたはマルチコアを有する単一のプロセッサまたはマルチプロセッサを実装する場合がある。人工ニューラルネットワークを訓練するために使用される処理回路は、本明細書に記載される画像ノイズ除去を実施する訓練済み人工ニューラルネットワークを実装するために使用される処理回路と同じである必要はない。例えば、処理回路およびメモリが、訓練済み人工ニューラルネットワーク（例えば、相互接続および重みによって定義された）を作成するのに使用され、ＦＰＧＡが、訓練済み人工ニューラルネットワークを実装するのに使用されてもよい。さらに、訓練済み人工ニューラルネットワークの訓練および使用には、性能を向上するために、シリアル実装形態またはパラレル実装形態（例えば、グラフィックプロセッサアーキテクチャなどのパラレルプロセッサアーキテクチャに訓練済みニューラルネットワークを実装することによって）を用いてもよい。

【0042】

医用スタディ（例えば、ＰＥＴスキャンデータセット）のデータセットの使用に関して、本明細書で一部の説明が行われてきたが、本発明は、医用画像の画像ノイズ除去に限定されず、他の種類の画像でのノイズ除去にも使用されてよい。

【0043】

以上説明した少なくとも１つの実施形態によれば、画質を向上することができる。

【0044】

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0045】

５０ スペックルノイズ

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【図7A】

【図7B】