(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-10
(45)【発行日】2022-03-18
(54)【発明の名称】医用画像変換
(51)【国際特許分類】
G06T 7/00 20170101AFI20220311BHJP
A61B 5/055 20060101ALI20220311BHJP
A61B 6/03 20060101ALI20220311BHJP
G06T 1/00 20060101ALI20220311BHJP
【FI】
G06T7/00 350B
A61B5/055 380
A61B6/03 360Z
G06T7/00 612
G06T1/00 290B
(21)【出願番号】P 2020565311
(86)(22)【出願日】2019-05-20
(86)【国際出願番号】 EP2019062929
(87)【国際公開番号】W WO2019224140
(87)【国際公開日】2019-11-28
【審査請求日】2021-06-07
(32)【優先日】2018-05-23
(33)【優先権主張国・地域又は機関】EP
【早期審査対象出願】
(73)【特許権者】
【識別番号】516027694
【氏名又は名称】レイサーチ ラボラトリーズ,エービー
(74)【代理人】
【識別番号】100114775
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100202751
【氏名又は名称】岩堀 明代
(74)【代理人】
【識別番号】100208580
【氏名又は名称】三好 玲奈
(74)【代理人】
【識別番号】100191086
【氏名又は名称】高橋 香元
(72)【発明者】
【氏名】アンダーソン,セバスチャン
(72)【発明者】
【氏名】フレデリクソン,アルビン
(72)【発明者】
【氏名】ノードストローム,マーカス
(72)【発明者】
【氏名】ニルソン,ラスマス
【審査官】永田 浩司
(56)【参考文献】
【文献】特表2018-505705(JP,A)
【文献】Avi Ben-Cohen, et al.,Virtual PET Images from CT Data Using Deep Convolutional Networks: Initial Results,arXiv:1707.09585v1,2017年07月30日,pp.1-9
【文献】Taeksoo Kim, et al.,Learning to Discover Cross-Domain Relations with Generative Adversarial Networks,Proceedings of the 34 th International Conference on Machine Learning,2017年,PMLR 70
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
A61B 5/055
A61B 6/00
G06T 1/00
(57)【特許請求の範囲】
【請求項1】
第1の画像型の元の医用画像を第2の画像型の変換された医用画像に変換するための最適化されたパラメータ化変換関数Tを生成するためのシステム(100)であって、前記システムは、
前記第1
の画像型および
前記第2の画像型の元の医用画像を得、
前記第1の画像型の元の医用画像を前記第2の画像型の変換された医用画像に変換するための初期パラメータ化変換関数Gを得、
前記第2の画像型
の元の医用画像と、前記初期パラメータ化変換関数Gに基づく第1のパラメータ化変換関数G
1を、前記第2の画像型
の元の医用画像と画像ペアを形成し、かつそれにより同じ患者の同じ部分を示すために決定された前記第1の画像型
の元の医用画像に適用することにより生成された前記第2の画像型の第1の変換された医用画像との少なくとも1回の比較に基づいて第1のペナルティP
1を計算し、
前記第1の画像型の元の医用画像および/または前記第2の画像型の変換された医用画像を同じ画像型の画像に変換した後に、前記第1の画像型の元の医用画像と、前記初期パラメータ化変換関数Gに基づく第2のパラメータ化変換関数G
2を前記第1の画像型の元の医用画像に適用することにより生成された前記第2の画像型の変換された医用画像との少なくとも1回の比較に基づいて第2のペナルティP
2を計算し、かつ
前記初期パラメータ化変換関数Gのパラメータと少なくとも前記第1
のペナルティP
1
および
前記第2のペナルテ
ィP
2とに基づいて前記最適化されたパラメータ化変換関数Tを生成する
ように構成された少なくとも1つの処理装置を備え
、
前記第2の画像型の変換された医用画像から変換された同じ画像型の画像は、比較に用いられる前記第2の画像型の変換された医用画像である、システム(100)。
【請求項2】
前記少なくとも1つの処理装置はさらに、
前記第2の画像型の元の医用画像と前記第2の画像型の変換された医用画像とを識別するための第1のパラメータ化識別関数D
1を得、かつ
前記第2の画像型の少なくとも1つの元の医用画像と、前記初期パラメータ化変換関数Gに基づく第3のパラメータ化変換関数G
3を前記第1の画像型の少なくとも1つの元の医用画像に適用することにより生成された前記第2の画像型の少なくとも1つの変換された医用画像とを識別することを試みる場合に前記第1のパラメータ化識別関数D
1の分類誤差に基づいて第3のペナルティP
3を計算する
ように構成されており、
前記少なくとも1つの処理装置は、前記初期パラメータ化変換関数Gのパラメータと少なくとも前記第1
のペナルティP
1
、
前記第2
のペナルティP
2
および
前記第3のペナルテ
ィP
3とに基づいて前記パラメータ化変換関数Tを生成する、請求項1に記載のシステム。
【請求項3】
前記少なくとも1つの処理装置は、前記第1のパラメータ化識別関数D
1が繰り返し最適化されるように、前記最適化されたパラメータ化変換関数Tを生成するために使用される前記パラメータ化識別関数D
1のパラメータと少なくとも前記第3のペナルティP
3とに基づいて前記第1のパラメータ化識別関数D
1を得る、請求項2に記載のシステム。
【請求項4】
前記少なくとも1つの処理装置はさらに、
第2のパラメータ化識別関数D
2を得て、
a)ペアにされてそれにより同じ患者の同じ部分を示すために決定された対応する元の医用画像、すなわち前記第1の画像型の元の医用画像および前記第2の画像型の元の医用画像からなる画像ペアと、
b)前記第1の画像型の元の医用画像および前記第2の画像型の対応する変換された医用画像からなる画像ペアと
を識別し、
前記第2のパラメータ化識別関数D
2の分類誤差に基づいて第4のペナルティP
4を計算する
ように構成されており、
前記少なくとも1つの処理装置は、前記初期パラメータ化変換関数Gのパラメータと少なくとも前記第1
のペナルティP
1
、
前記第2
のペナルティP
2
、および
前記第4のペナルティP
4に基づいて前記パラメータ化変換関数Tを生成する、請求項1~3のいずれか1項に記載のシステム。
【請求項5】
前記少なくとも1つの処理装置は、ニューラルネットワーク、ランダムフォレストまたはサポートベクターマシン
である機械学習アルゴリズムを用いて生成することにより前記初期パラメータ化変換関数Gを得る、請求項1~4のいずれか1項に記載のシステム。
【請求項6】
前記少なくとも1つの処理装置は、前記パラメータ化変換関数Tが繰り返し最適化されるように、以前に生成された最適化されたパラメータ化変換関数Tを前記初期パラメータ化変換関数Gとして使用することにより前記初期パラメータ化変換関数Gを得る、請求項1~4のいずれか1項に記載のシステム。
【請求項7】
前記少なくとも1つの処理装置は、最初に
前記元の医用画像およびその対応する第1の変換された医用画像を勾配画像、セグメント化画像または畳み込みニューラルネットワーク
である予めトレーニングされた機械学習アルゴリズムからの出力
である第3の画像型に変換した後に、前記画像をボクセルごとに比較することにより前
記元の医用画像を
その対応する第1の変換された医用画像と比較し、ここでは前記第3の画像型はそれらをより容易に比較することができるように前記画像中の輪郭、関心領域(ROI)および/または構造
である特定の特徴を増幅させる、請求項1~6のいずれか1項に記載のシステム。
【請求項8】
前記第1のパラメータ化変換関数G
1および/または前記第2のパラメータ化変換関数G
2は前記初期パラメータ化変換関数Gと同じである、請求項1~7のいずれか1項に記載のシステム。
【請求項9】
前記画像型
はMR、CTまたはCBCT
である医用画像モダリティのものである、請求項1~8のいずれか1項に記載のシステム。
【請求項10】
第1の画像型の元の医用画像を第2の画像型の変換された医用画像に変換するための最適化されたパラメータ化変換関数Tを生成するプロセッサ実装方法(600)であって、前記方法は、
前記第1
の画像型および
前記第2の画像型の元の医用画像を得ること(610)と、
前記第1の画像型の元の医用画像を前記第2の画像型の変換された医用画像に変換するための初期パラメータ化変換関数Gを得ること(620)と、
前記第2の画像型
の元の医用画像と、前記初期パラメータ化変換関数Gに基づく前記第1のパラメータ化変換関数G
1を、前記第2の画像型
の元の医用画像と画像ペアを形成し、かつそれにより同じ患者の同じ部分を示すために決定された前記第1の画像型
の元の医用画像に適用することにより生成された前記第2の画像型の第1の変換された医用画像との少なくとも1回の比較に基づいて第1のペナルティP
1を計算すること(630)と、
前記第1の画像型の元の医用画像および/または前記第2の画像型の変換された医用画像を同じ画像型の画像に変換した後に、前記第1の画像型の元の医用画像と、前記初期パラメータ化変換関数Gに基づく第2のパラメータ化変換関数G
2を前記第1の画像型の元の医用画像に適用することにより生成された前記第2の画像型の変換された医用画像との少なくとも1回の比較に基づいて第2のペナルティP
2を計算すること(640)と、
前記初期パラメータ化変換関数Gのパラメータと少なくとも前記第1
のペナルティP
1
および
前記第2のペナルテ
ィP
2とに基づいて前記最適化されたパラメータ化変換関数Tを生成すること(650)と、
を含
み、
前記第2の画像型の変換された医用画像から変換された同じ画像型の画像は、比較に用いられる前記第2の画像型の変換された医用画像である、方法。
【請求項11】
前記方法は、
前記第2の画像型の元の医用画像と前記第2の画像型の変換された医用画像とを識別するための第1のパラメータ化識別関数D
1を得ること(660)と、
前記第2の画像型の少なくとも1つの元の医用画像と、前記初期パラメータ化変換関数Gに基づく第3のパラメータ化変換関数G
3を前記第1の画像型の少なくとも1つの元の医用画像に適用することにより生成された前記第2の画像型の少なくとも1つの変換された医用画像とを識別することを試みる場合に前記第1のパラメータ化識別関数D
1の分類誤差に基づいて第3のペナルティP
3を計算すること(670)と、
をさらに含み、
前記初期パラメータ化変換関数Gのパラメータと少なくとも前記第1
のペナルティP
1
、
前記第2
のペナルティP
2
および
前記第3のペナルテ
ィP
3とに基づいて前記パラメータ化変換関数Tを生成する(640)、請求項10に記載の方法。
【請求項12】
前記第1のパラメータ化識別関数D
1が繰り返し最適化されるように、前記最適化されたパラメータ化変換関数Tを生成するために使用される前記パラメータ化識別関数D
1のパラメータと少なくとも前記第3のペナルティP
3とに基づいて前記第1のパラメータ化識別関数D
1を得ること(660)をさらに含む、請求項11に記載の方法。
【請求項13】
前記方法は、
a)ペアにされてそれにより同じ患者の同じ部分を示すために決定された対応する元の医用画像、すなわち前記第1の画像型の元の医用画像および前記第2の画像型の元の医用画像からなる画像ペアと、
b)前記第1の画像型の元の医用画像および前記第2の画像型の対応する変換された医用画像からなる画像ペアと、
を識別するための第2のパラメータ化識別関数D
2を得ること(680)と、
前記第2のパラメータ化識別関数D
2の分類誤差に基づいて第4のペナルティP
4を計算すること(690)と、
をさらに含み、
前記初期パラメータ化変換関数Gのパラメータと少なくとも前記第1
のペナルティP
1
、
前記第2
のペナルティP
2
、および
前記第4のペナルテ
ィP
4とに基づいて前記パラメータ化変換関数Tを生成する(650)、請求項10~12のいずれか1項に記載の方法。
【請求項14】
ニューラルネットワーク、ランダムフォレストまたはサポートベクターマシン
である機械学習アルゴリズムを用いてそれを生成することにより前記初期パラメータ化変換関数Gを得ること(620)をさらに含む、請求項10~13のいずれか1項に記載の方法。
【請求項15】
前記パラメータ化変換関数Tが繰り返し最適化されるように、以前に生成された最適化されたパラメータ化変換関数Tを前記初期パラメータ化変換関数Gとして使用することによって前記初期パラメータ化変換関数Gを得る(620)、請求項10~13のいずれか1項に記載の方法。
【請求項16】
前
記元の医用画像と
その対応する第1の変換された医用画像とのボクセルごとの比較は、最初に
前記元の医用画像およびその対応する第1の変換された医用画像を勾配画像、セグメント化画像または畳み込みニューラルネットワーク
である予めトレーニングされた機械学習アルゴリズムからの出力
である第3の画像型に変換した後に前記画像を比較し、ここでは前記第3の画像型はそれらをより容易に比較することができるように前記画像中の輪郭、関心領域(ROI)および/または構造
である特定の特徴を増幅させる、請求項10~15のいずれか1項に記載の方法。
【請求項17】
第1のパラメータ化変換関数G
1および/または前記第2のパラメータ化変換関数G
2は前記初期パラメータ化変換関数Gと同じである、請求項10~16のいずれか1項に記載の方法。
【請求項18】
前記画像型
はMR、CTまたはCBCT
である医用画像モダリティのものである、請求項10~17のいずれか1項に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は一般に、第1の画像型の元の医用画像を第2の画像型の変換された医用画像に変換するための最適化されたパラメータ化変換関数Tを生成するためのシステムおよび方法に関する。
【背景技術】
【0002】
コンピュータ断層撮影(CT)画像化は多くの目的のために有用である。CT画像は例えば放射線治療計画における線量計算のために使用することができる。しかしながら、線量計算のために使用することができる他の画像取得方法を見つけることができる場合には、CT検査には時間がかかり、患者が放射線に暴露されるという、CT画像化を避ける理由がある。
【0003】
線量計算のためにコーンビームコンピュータ断層撮影(CBCT)画像を使用することができるが、CBCT画像はCT画像よりもアーチファクトを生じやすく、かつその強度スケールがCT画像におけるものとは異なる場合もある。
【0004】
論文「Deep MR to CT Synthesis using Unpaired Data(ペアでないデータを用いた深層学習ベースのMRからCTへの合成)(Wolterinkら,2017)」は、CycleGANモデルとペアでないMRおよびCT画像とを用いてMR画像をCT画像に変換するための敵対的生成ネットワーク(GAN:general adversarial network)のトレーニングについて記載している。
【0005】
論文「Medical Image Synthesis with Context-Aware Generative Adversarial Networks(コンテキストアウェアな敵対的生成ネットワークによる医用画像合成)(Nieら,2016)」は、敵対的トレーニング戦略および画像勾配差の損失関数を用いてMR画像をCT画像に変換するための完全畳み込みネットワークのトレーニングについて記載している。
【0006】
先行技術に関する問題
論文「Deep MR to CT Synthesis using Unpaired Data」に記載されている手法では、ペアでないデータのみを使用するという事実により生成された変換関数があまり正確でなくなる可能性がある。この手法では、決して検出することができない偽情報を導入してしまうというリスクもある。
【0007】
論文「Medical Image Synthesis with Context-Aware Generative Adversarial Networks」に記載されている手法では、変換された画像と元の画像とが比較されないという事実により生成された変換関数があまり正確でなくなる可能性がある。この手法は多くの正確なペアのデータも必要とする。
【0008】
従って、第1の画像型の元の医用画像を第2の画像型の変換された医用画像に変換するための最適化されたパラメータ化変換関数Tを生成する改良された方法が必要とされている。
【発明の概要】
【0009】
上記問題は、第1の画像型の元の医用画像を第2の画像型の変換された医用画像に変換するための最適化されたパラメータ化変換関数Tを生成するための本特許請求されているシステムによって対処される。本システムは、第1および第2の画像型の元の医用画像を得、第1の画像型の元の医用画像を第2の画像型の変換された医用画像に変換するための初期パラメータ化変換関数Gを得、第2の画像型の第1の元の医用画像と、初期パラメータ化変換関数Gに基づく第1のパラメータ化変換関数G1を、第2の画像型の第1の元の医用画像と画像ペアを形成し、かつそれにより同じ患者の同じ部分を示すために決定された第1の画像型の第1の元の医用画像に適用することにより生成された第2の画像型の第1の変換された医用画像との少なくとも1回の比較に基づいて第1のペナルティP1を計算し、第1の画像型の元の医用画像および/または第2の画像型の変換された医用画像を同じ画像型の画像に変換した後に、第1の画像型の元の医用画像と、初期パラメータ化変換関数Gに基づく第2のパラメータ化変換関数G2を第1の画像型の元の医用画像に適用することにより生成された第2の画像型の変換された医用画像との少なくとも1回の比較に基づいて第2のペナルティP2を計算し、かつ例えば前記第1および第2のペナルティP1およびP2を最小化するようにパラメータを適合させるために例えば前記第1および第2のペナルティP1およびP2の勾配の推定値を使用することにより、初期パラメータ化変換関数Gのパラメータと少なくとも前記第1および第2のペナルティP1およびP2とに基づいて最適化されたパラメータ化変換関数Tを生成するように構成された少なくとも1つの処理装置を備えていてもよい。そのようなシステムにより、非常に正確な最適化されたパラメータ化変換関数Tの生成が可能になる。
【0010】
実施形態では、少なくとも1つの処理装置はさらに、第2の画像型の元の医用画像と第2の画像型の変換された医用画像とを識別するための第1のパラメータ化識別関数D1を得、かつ第2の画像型の少なくとも1つの元の医用画像と、初期パラメータ化変換関数Gに基づく第3のパラメータ化変換関数G3を第1の画像型の少なくとも1つの元の医用画像に適用することにより生成された第2の画像型の少なくとも1つの変換された医用画像とを識別することを試みる場合に第1のパラメータ化識別関数D1の分類誤差に基づいて第3のペナルティP3を計算するように構成されている。少なくとも1つの処理装置はこの場合、例えば前記第1、第2および第3のペナルティP1、P2およびP3を最小化するようにパラメータを適合させるために例えば前記第1、第2および第3のペナルティP1、P2およびP3の勾配の推定値を使用することにより、初期パラメータ化変換関数Gのパラメータと少なくとも前記第1、第2および第3のペナルティP1、P2およびP3とに基づいてパラメータ化変換関数Tを生成する。少なくとも1つの処理装置は、第1のパラメータ化識別関数D1が繰り返し最適化されるように、例えば前記第3のペナルティP3を最小化するようにパラメータを適合させるために例えば前記第3のペナルティP3の勾配の推定値を使用することにより、例えば前記最適化されたパラメータ化変換関数Tを生成するために使用されるパラメータ化識別関数D1のパラメータと少なくとも前記第3のペナルティP3とに基づいて第1のパラメータ化識別関数D1を得てもよい。これにより最適化されたパラメータ化変換関数Tの正確性をさらに高める。
【0011】
実施形態では、少なくとも1つの処理装置はさらに、a)ペアにされてそれにより同じ患者の同じ部分を示すために決定された対応する元の医用画像、すなわち第1の画像型の元の医用画像および第2の画像型の元の医用画像からなる画像ペアと、b)第1の画像型の元の医用画像および第2の画像型の対応する変換された医用画像からなる画像ペアとを識別するために、第2のパラメータ化識別関数D2を得、かつ第2のパラメータ化識別関数D2の分類誤差に基づいて第4のペナルティP4を計算するように構成されている。少なくとも1つの処理装置はこの場合、例えば前記第1、第2および第4のペナルティP1、P2およびP4を最小化するようにパラメータを適合させるために例えば前記第1、第2および第4のペナルティP1、P2およびP4の勾配の推定値を使用することにより、初期パラメータ化変換関数Gのパラメータと少なくとも前記第1、第2および第4のペナルティP1、P2およびP4とに基づいてパラメータ化変換関数Tを生成してもよい。少なくとも1つの処理装置は、第2のパラメータ化識別関数D2が繰り返し最適化されるように、例えば前記第4のペナルティP4を最小化するようにパラメータを適合させるために例えば前記第4のペナルティP4の勾配の推定値を使用することにより、例えば前記最適化されたパラメータ化変換関数Tを生成するために使用されるパラメータ化識別関数D2のパラメータと少なくとも前記第4のペナルティP4とに基づいて第2のパラメータ化識別関数D2を得てもよい。これにより最適化されたパラメータ化変換関数Tの正確性をさらに高める。
【0012】
また当然ながら、少なくとも1つの処理装置が、例えば前記第1、第2、第3および第4のペナルティP1、P2、P3およびP4を最小化するようにパラメータを適合させるために例えば前記第1、第2、第3および第4のペナルティP1、P2、P3およびP4の勾配の推定値を使用することにより、初期パラメータ化変換関数Gのパラメータと少なくとも前記第1、第2、第3および第4のペナルティP1、P2、P3およびP4とに基づいてパラメータ化変換関数Tを生成するように、第3および第4のペナルティを組み合わせてもよい。これにより最適化されたパラメータ化変換関数Tの正確性をさらに高める。
【0013】
少なくとも1つの処理装置は例えば、ニューラルネットワーク、ランダムフォレストまたはサポートベクターマシンなどの機械学習アルゴリズムを用いてそれを生成することにより初期パラメータ化変換関数Gを得てもよい。機械学習アルゴリズムは例えば敵対的生成ネットワーク(GAN)であってもよい。少なくとも1つの処理装置はパラメータ化変換関数Tが繰り返し最適化されるようにさらなる繰り返しにおいて以前に生成された最適化されたパラメータ化変換関数Tを初期パラメータ化変換関数Gとして使用することにより初期パラメータ化変換関数Gを得てもよい。
【0014】
少なくとも1つの処理装置は例えば、最初に両方の画像を例えば勾配画像、セグメント化画像または畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムからの出力などの第3の画像型に変換した後に画像をボクセルごとに比較することにより第1の元の医用画像を対応する第1の変換された医用画像と比較してもよく、ここでは第3の画像型はそれらをより容易に比較することができるように画像中の輪郭、関心領域(ROI)および/または構造などの特定の特徴を増幅させる。あるいは少なくとも1つの処理装置は、画像の比較前に第1の画像型の元の医用画像を第2の画像型に、あるいは第2の画像型の変換された医用画像を第1の画像型に変換してもよい。
【0015】
少なくとも1つの処理装置は1つの処理装置であってもよく、あるいは本特許請求されている機能を一緒に行ういくつかの異なる処理装置を含んでもよい。
【0016】
上記問題は、第1の画像型の元の医用画像を第2の画像型の変換された医用画像に変換するための最適化されたパラメータ化変換関数Tを生成する本特許請求されているプロセッサ実装方法によってさらに対処される。本方法は、第1および第2の画像型の元の医用画像を得ることと、第1の画像型の元の医用画像を第2の画像型の変換された医用画像に変換するための初期パラメータ化変換関数Gを得ることと、第2の画像型の第1の元の医用画像と、初期パラメータ化変換関数Gに基づく第1のパラメータ化変換関数G1を、第2の画像型の第1の元の医用画像と画像ペアを形成し、かつそれにより同じ患者の同じ部分を示すために決定された第1の画像型の第1の元の医用画像に適用することにより生成された第2の画像型の第1の変換された医用画像との少なくとも1回の比較に基づいて第1のペナルティP1を計算することと、第1の画像型の元の医用画像および/または第2の画像型の変換された医用画像を同じ画像型の画像に変換した後に、第1の画像型の元の医用画像と、初期パラメータ化変換関数Gに基づく第2のパラメータ化変換関数G2を第1の画像型の元の医用画像に適用することにより生成された第2の画像型の変換された医用画像との少なくとも1回の比較に基づいて第2のペナルティP2を計算することと、例えば前記第1および第2のペナルティP1およびP2を最小化するようにパラメータを適合させるために例えば前記第1および第2のペナルティP1およびP2の勾配の推定値を使用することにより、初期パラメータ化変換関数Gのパラメータと少なくとも前記第1および第2のペナルティP1およびP2とに基づいて最適化されたパラメータ化変換関数Tを生成することとを含んでもよい。そのような方法により、非常に正確な最適化されたパラメータ化変換関数Tの生成が可能になる。
【0017】
実施形態では、本方法は、第2の画像型の元の医用画像と第2の画像型の変換された医用画像とを識別するための第1のパラメータ化識別関数D1を得ることと、第2の画像型の少なくとも1つの元の医用画像と、初期パラメータ化変換関数Gに基づく第3のパラメータ化変換関数G3を第1の画像型の少なくとも1つの元の医用画像に適用することにより生成された第2の画像型の少なくとも1つの変換された医用画像とを識別することを試みる場合に第1のパラメータ化識別関数D1の分類誤差に基づいて第3のペナルティP3を計算することとをさらに含む。パラメータ化変換関数Tはこの場合、例えば前記第1、第2および第3のペナルティP1、P2およびP3を最小化するようにパラメータを適合させるために例えば前記第1、第2および第3のペナルティP1、P2およびP3の勾配の推定値を使用することにより、初期パラメータ化変換関数Gのパラメータと少なくとも前記第1、第2および第3のペナルティP1、P2およびP3とに基づいて生成してもよい。第1のパラメータ化識別関数D1は例えば、第1のパラメータ化識別関数D1が繰り返し最適化されるように、例えば前記第3のペナルティP3を最小化するようにパラメータを適合させるために例えば前記第3のペナルティP3の勾配の推定値を使用することにより、前記最適化されたパラメータ化変換関数Tを生成するために使用されるパラメータ化識別関数D1のパラメータと少なくとも前記第3のペナルティP3とに基づいて得てもよい。これにより最適化されたパラメータ化変換関数Tの正確性をさらに高める。
【0018】
実施形態では、本方法は、a)ペアにされてそれにより同じ患者の同じ部分を示すために決定された対応する元の医用画像、すなわち第1の画像型の元の医用画像および第2の画像型の元の医用画像からなる画像ペアと、b)第1の画像型の元の医用画像および第2の画像型の対応する変換された医用画像からなる画像ペアとを識別するための第2のパラメータ化識別関数D2を得ることと、第2のパラメータ化識別関数D2の分類誤差に基づいて第4のペナルティP4を計算することとをさらに含む。パラメータ化変換関数Tはこの場合、例えば前記第1、第2および第4のペナルティP1、P2およびP4を最小化するようにパラメータを適合させるために例えば前記第1、第2および第4のペナルティP1、P2およびP4の勾配の推定値を使用することにより、初期パラメータ化変換関数Gのパラメータと少なくとも前記第1、第2および第4のペナルティP1、P2およびP4とに基づいて生成してもよい。第2のパラメータ化識別関数D2は例えば、第2のパラメータ化識別関数D2が繰り返し最適化されるように、例えば前記第4のペナルティP4を最小化するようにパラメータを適合させるために例えば前記第4のペナルティP4の勾配の推定値を使用することにより、前記最適化されたパラメータ化変換関数Tを生成するために使用されるパラメータ化識別関数D2のパラメータと少なくとも前記第4のペナルティP4とに基づいて得てもよい。これにより最適化されたパラメータ化変換関数Tの正確性をさらに高める。
【0019】
また当然ながら、例えば前記第1、第2、第3および第4のペナルティP1、P2、P3およびP4を最小化するようにパラメータを適合させるために例えば前記第1、第2、第3および第4のペナルティP1、P2、P3およびP4の勾配の推定値を使用することにより、初期パラメータ化変換関数Gのパラメータと少なくとも前記第1、第2、第3および第4のペナルティP1、P2、P3およびP4とに基づいてパラメータ化変換関数Tを生成するように、第3および第4のペナルティを組み合わせてもよい。これにより最適化されたパラメータ化変換関数Tの正確性をさらに高める。
【0020】
初期パラメータ化変換関数Gは例えば、ニューラルネットワーク、ランダムフォレストまたはサポートベクターマシンなどの機械学習アルゴリズムを用いて生成することにより得てもよい。機械学習アルゴリズムは例えば敵対的生成ネットワーク(GAN)であってもよい。パラメータ化変換関数Tが繰り返し最適化されるようにさらなる繰り返しにおいて以前に生成された最適化されたパラメータ化変換関数Tを初期パラメータ化変換関数Gとして使用することにより初期パラメータ化変換関数Gを得てもよい。
【0021】
実施形態では、パラメータを例えばペナルティの加重和の勾配に基づいて適合させることができるように、ペナルティをペナルティの加重和の形態で組み合わせる。他の実施形態では、パラメータを一度に1つのペナルティに基づいて適合させるように、代わりにペナルティを順々に適用する。
【0022】
最初に両方の画像を例えば勾配画像、セグメント化画像または畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムからの出力などの第3の画像型に変換した後に、第1の元の医用画像と対応する第1の変換された医用画像との比較により、例えば画像をボクセルごとに比較してもよく、ここでは第3の画像型はそれらをより容易に比較することができるように画像中の輪郭、関心領域(ROI)および/または構造などの特定の特徴を増幅させる。あるいは画像の比較前に、第1の画像型の元の医用画像を第2の画像型に変換してもよく、あるいは第2の画像型の変換された医用画像を第1の画像型に変換してもよい。
【0023】
第1のパラメータ化変換関数G1および/または第2のパラメータ化変換関数G2は例えば初期パラメータ化変換関数Gと同じであってもよい。但しそれらはまた、例えば第1のパラメータ化変換関数G1が初期パラメータ化変換関数Gのパラメータと第1のペナルティP1とに基づいており、かつ第2のパラメータ化変換関数G2が初期パラメータ化変換関数Gまたは第1のパラメータ化変換関数G1のいずれかのパラメータと第2のペナルティP2とに基づいていることによって異なってもよい。同じことが第3および第4のパラメータ化変換関数G3およびG4にも当てはまる。ペナルティを順々に適用する場合、1つのペナルティに基づいて適応させたパラメータ化変換関数を例えばその後のペナルティを計算する際に使用してもよい。
【0024】
画像型は例えばMR、CTまたはCBCTなどの例えば医用画像モダリティのものであってもよい。他の実施形態では、画像型は畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムからの出力である。他の実施形態では、セグメント化することによって、例えば計算されている画像における勾配または周波数成分により別のドメインに移動させることによって、あるいは画像の解像度の変化によって医用画像を第3の画像型に変換する。他の実施形態では、第1の画像型は特定の医用画像モダリティの医用画像であり、かつ第2の画像型は密度、阻止能、材料組成、および/または線量計算のために使用することができるあらゆる他の特徴を示す画像である。他の実施形態では、第1の画像型はセグメント化画像であり、かつ第2の画像型は特定の医用画像モダリティの医用画像である。これは例えば、そのような仮定の患者画像に基づいて放射線治療をシミュレートするために仮定の患者画像を作成するのに有用であり得る。
【0025】
上記問題は、上記方法のいずれか1つによって生成される最適化されたパラメータ化変換関数Tによって、および第1の画像型の元の医用画像を第2の画像型の変換された医用画像に変換するための上記方法のいずれか1つによって生成される最適化されたパラメータ化変換関数Tの使用によってさらに対処され、これは例えば放射線治療計画における線量計算のために使用することができ、ここでは第2の画像型の変換された医用画像の分析に基づいて例えば制御信号の形態の機械命令を放射線治療機器に送信することができる。
【0026】
本発明の範囲は特許請求の範囲によって定められており、それは参照によりこの箇所に組み込まれる。1つ以上の実施形態の以下の詳細な説明の考察により、本発明の実施形態のより完全な理解ならびにそのさらなる利点の実現が当業者に与えられることになる。最初に簡単に説明されている図面の添付されているシートに対して参照がなされることになる。
【図面の簡単な説明】
【0027】
【
図1】本明細書に記載されている1つ以上の実施形態に係る、第1の画像型の元の医用画像を第2の画像型の変換された医用画像に変換するための最適化されたパラメータ化変換関数Tを生成するためのシステムを概略的に例解している。
【
図2】本明細書に記載されている1つ以上の実施形態に係る、第1のペナルティP
1および第2のペナルティP
2の計算を概略的に例解している。
【
図3】本明細書に記載されている1つ以上の実施形態に係る、第3のペナルティP
3の計算を概略的に例解している。
【
図4】本明細書に記載されている1つ以上の実施形態に係る、第4のペナルティP
4の計算を概略的に例解している。
【
図5】本明細書に記載されている1つ以上の実施形態に係る、第2のペナルティP
2の計算を概略的に例解している。
【
図6】本明細書に記載されている1つ以上の実施形態に係る、第1の画像型の元の医用画像を第2の画像型の変換された医用画像に変換するための最適化されたパラメータ化変換関数Tを生成するプロセッサ実装方法を概略的に例解している。
【
図7】本方法の工程を例示するフローチャートである。
【発明を実施するための形態】
【0028】
本開示の実施形態およびそれらの利点は以下の詳細な説明を参照することにより最も良く理解される。当然のことながら同様の符号は図の1つ以上に例解されている同様の要素を特定するために使用されている。
【0029】
導入
上で説明したように、MR画像に基づいてCT画像を生成するために機械学習アルゴリズムをトレーニングする多くの異なる方法が公知である。しかし公知の方法は全て、アルゴリズムをトレーニングするためにペアの医用画像を使用すること、またはペアでない医用画像を用いてネットワークをトレーニングするために例えばCycleGANモデルなどのフィードバックモデルを使用することのいずれかに依存している。例えば、論文「Medical Image Synthesis with Context-Aware Generative Adversarial Networks」を参照する論文「Deep MR to CT Synthesis using Unpaired Data」には、CycleGANモデルを使用する場合、トレーニングのためにペアの医用画像を使用することは必要でないと説明されている。
【0030】
しかし本発明者らは、ペアの医用画像の組み合わせに基づく機械学習アルゴリズムのトレーニングおよび変換された医用画像と元の医用画像との比較はさらにより強力であること、およびそれにより改良された機械学習アルゴリズムが得られることを発見した。ペアのデータの使用は偽情報を導入するリスクを大きく減らす。機械学習アルゴリズムは、識別関数の使用に基づいてトレーニングすることによってもさらにもっと改良することができる。
【0031】
ペアの医用画像は、例えば頭部または患者のあらゆる他の体部分などの同じ患者の同じ部分を示すために決定された異なる画像型の元の医用画像である。画像型は、例えば磁気共鳴画像法(MR)画像、コンピュータ断層撮影(CT)画像、コーンビームコンピュータ断層撮影(CBCT)画像またはポジトロン断層法(PET)画像などの例えば医用画像モダリティのものであってもよい。他の実施形態では、画像型は畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムからの出力である。他の実施形態では、セグメント化することによって、例えば計算されている画像における勾配または周波数成分により別のドメインに移動させることによって、あるいは画像の解像度の変化によって医用画像を第3の画像型に変換する。他の実施形態では、第1の画像型は特定の医用画像モダリティの医用画像であり、かつ第2の画像型は密度、阻止能、材料組成、および/または線量計算のために使用することができるあらゆる他の特徴を示す画像である。他の実施形態では、第1の画像型はセグメント化画像であり、かつ第2の画像型は特定の医用画像モダリティの医用画像である。
【0032】
例えば本システムおよび方法を使用して第1の画像型の画像を第2の画像型の画像に、例えばMR画像をCT画像に、またはCBCT画像をCT画像に、あるいは任意の第1の画像型を密度、阻止能、材料組成、および/または線量計算のために使用することができるあらゆる他の特徴を示す第2の画像型に変換してもよい。変換された画像は例えば放射線治療計画における線量計算のために使用することができ、例えば変換された画像の分析に基づいて例えば制御信号の形態の機械命令を放射線治療機器に送信することができる。追加または代わりとして、本システムおよび方法を画像中のアーチファクトを除去するために使用することができる。
【0033】
本開示は一般に、第1の画像型の元の医用画像を第2の画像型の変換された医用画像に変換するためのパラメータ化変換関数を生成するためのシステムおよび方法に関する。
【0034】
ここに開示されている解決法の実施形態は図に関連してより詳細に示されている。
【0035】
システムアーキテクチャ
図1は、第1の画像型の元の医用画像を第2の画像型の変換された医用画像に変換するための最適化されたパラメータ化変換関数Tを生成するためのシステム100を概略的に例解している。実施形態によれば、本システムは、画像およびパラメータを受信および記憶するように構成された記憶媒体110を備える。いくつかの実施形態では、システム100は
図1では破線矢印によって示されているように、少なくとも1つの画像化システム130に通信可能に結合されている。画像化システム130は、例えばX線画像、超音波画像、コンピュータ断層撮影(CT)画像、コーンビームコンピュータ断層撮影(CBCT)画像、ポジトロン断層法(PET)画像などの核医学画像および/または磁気共鳴画像法(MR)画像などの元の医用画像を取り込むか生成するように構成されていてもよい。記憶媒体110は、少なくとも1つの画像化システム130から元の医用画像を受信し、かつ受信した元の医用画像を記憶するように構成されていてもよい。
【0036】
システム100は、第1の画像型の元の医用画像を第2の画像型の変換された医用画像に変換するための最適化されたパラメータ化変換関数Tを生成するように構成された少なくとも1つの処理装置120をさらに備える。少なくとも1つの処理装置120は例えば各種処理動作を行うための命令を実行することができる一般的なデータプロセッサまたは他の回路もしくは集積回路であってもよい。少なくとも1つの処理装置120は1つの処理装置であってもよく、あるいは本特許請求されている機能を一緒に行ういくつかの異なる処理装置を含んでもよい。
【0037】
1つ以上の実施形態では、少なくとも1つの処理装置120は、例えば記憶媒体110から第1および第2の画像型の元の医用画像を得、例えば記憶媒体110から第1の画像型の元の医用画像を第2の画像型の変換された医用画像に変換するための初期パラメータ化変換関数Gを得、第2の画像型の第1の元の医用画像と、初期パラメータ化変換関数Gに基づく第1のパラメータ化変換関数G1を、第2の画像型の第1の元の医用画像と画像ペアを形成し、かつそれにより同じ患者の同じ部分を示すために決定された第1の画像型の第1の元の医用画像に適用することにより生成された第2の画像型の第1の変換された医用画像との少なくとも1回の比較に基づいて第1のペナルティP1を計算し、第1の画像型の元の医用画像および/または第2の画像型の変換された医用画像を同じ画像型の画像に変換した後に、第1の画像型の元の医用画像と、初期パラメータ化変換関数Gに基づく第2のパラメータ化変換関数G2を第1の画像型の元の医用画像に適用することにより生成された第2の画像型の変換された医用画像との少なくとも1回の比較に基づいて第2のペナルティP2を計算し、かつ例えば前記第1および第2のペナルティP1およびP2を最小化するようにパラメータを適合させるために例えば前記第1および第2のペナルティP1およびP2の勾配の推定値を使用することにより、初期パラメータ化変換関数Gのパラメータと少なくとも前記第1および第2のペナルティP1およびP2とに基づいて最適化されたパラメータ化変換関数Tを生成するように構成されている。最適化されたパラメータ化変換関数Tは例えば記憶媒体110に記憶させてもよい。
【0038】
従って第1のペナルティP1は、第2の画像型の変換された医用画像と第2の画像型のペアの元の医用画像とを比較することによりペアの画像に基づいていてもよい。例えば畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムを用いて例えばボクセルごとに比較することができるものは、例えば画像中の輪郭、関心領域(ROI)および/または構造などの特徴であってもよい。変換された医用画像がペアの元の医用画像に非常に類似している場合、第1のパラメータ化変換関数G1は第1の画像型の元の医用画像を第2の画像型の変換された医用画像に非常に正確に変換しており、従ってペナルティP1は低くなる。変換された医用画像がペアの元の医用画像と非常に異なる場合、第1のパラメータ化変換関数G1は第1の画像型の元の医用画像を第2の画像型の変換された医用画像に正確に変換しておらず、従ってペナルティP1は高くなる。この場合、少なくとも1つの処理装置120は、例えばペナルティP1を最小化するように最適化されたパラメータ化変換関数Tのパラメータを適合させてもよい。これは任意の数のペアの画像のために行ってもよい。
【0039】
第2のペナルティP2は、同じ画像型の画像に変換した後の変換された医用画像と元の医用画像との例えばボクセルごとの比較に基づいている。これは画像の一方を他の画像型の画像に変換すること、または両方の画像を第3の画像型の画像に変換することのいずれかによって行ってもよい。但し画像をボクセルごとに比較するためにそれらを同じ画像型にしなければならない。
【0040】
画像型は医用画像モダリティのものである必要はない。他の実施形態では、画像型は畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムからの出力である。他の実施形態では、セグメント化することによって、例えば計算されている画像における勾配または周波数成分により別のドメインに移動させることによって、あるいは画像の解像度の変化によって医用画像を第3の画像型に変換する。他の実施形態では、第1の画像型は特定の医用画像モダリティの医用画像であり、かつ第2の画像型は密度、阻止能、材料組成、および/または線量計算のために使用することができるあらゆる他の特徴を示す画像である。他の実施形態では、第1の画像型はセグメント化画像であり、かつ第2の画像型は特定の医用画像モダリティの医用画像である。これは、そのような仮定の患者画像に基づいて放射線治療をシミュレートするために例えば仮定の患者画像を作成するのに有用であり得る。
【0041】
例えば畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムを用いて比較することができるものは、例えば画像中の輪郭、関心領域(ROI)および/または構造などの特徴であってもよい。2つの画像のこれらの特性が非常に類似している場合、第2のパラメータ化変換関数G2は第1の画像型の元の医用画像を第2の画像型の変換された医用画像に非常に正確に変換しており、ペナルティP2は非常に低くなる。2つの画像のこれらの特性が非常に異なる場合、第2のパラメータ化変換関数G2は第1の画像型の元の医用画像を第2の画像型の変換された医用画像に正確に変換しておらず、ペナルティP2は高くなる。この場合、少なくとも1つの処理装置120は、例えばペナルティP2を最小化するように最適化されたパラメータ化変換関数Tのパラメータを適合させてもよい。これは任意の数の変換された医用画像のために行ってもよい。
【0042】
図2は、CT画像をMR画像に変換し(図の左側)、かつMR画像をCT画像に変換する(図の右側)状況における第1および第2のペナルティP
1およびP
2の計算を概略的に例解しており、
図2のそれぞれ半分は独立したプロセスである。CT
pおよびMR
pはペアの元の医用画像であり、CT
rおよびMR
rはペアでない元の医用画像である。MR
r
*およびMR
p
*は変換関数G
MRを用いてCT画像からMR画像に変換されている医用画像であり、CT
p
*およびCT
r
*は変換関数G
CTを用いてMR画像からCT画像に変換されている医用画像である。CT
cycは、変換関数G
MRを用いてCT画像からMR画像に変換され、かつ次いで別の変換関数H
CTを用いてCT画像に再変換されている医用画像であり、MR
cycは、変換関数G
CTを用いてMR画像からCT画像に変換され、かつ次いで別の変換関数H
MRを用いてMR画像に再変換されている医用画像である。
図2に記載されている実施形態では、G
MRおよびH
MRは典型的には同じ関数であり、G
CTおよびH
CTは典型的には同じ関数である。
【0043】
P
1は、この例解では、ペアの画像との比較に基づいて決定されているので、P
1はラベル付けされた「ペア損失」である。P
1は
図2によれば、MR
p
*をMR
pと比較するか、CT
p
*をCT
pと比較するかのいずれかによって決定してもよい。例えば畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムを用いて例えばボクセルごとに比較することができるものは、例えば画像中の輪郭、関心領域(ROI)および/または構造などの特徴であってもよい。
【0044】
P
2は、この例解では、変換された画像をその元の画像型にサイクル的に再変換した後に元の画像と変換された画像との比較に基づいて決定することができるため、P
2はラベル付けされたサイクル損失である。P
2はこの場合、GおよびHの両方のパラメータを最適化するために使用されるペナルティを決定することができる。P
2は
図2によれば、CT
rを変換関数G
MRを用いて変換し、かつ別の変換関数H
CTを用いて再変換したCT
rであるCT
cycと比較することにより決定することができる。P
2は
図2によれば追加または代わりとして、MR
rを変換関数G
CTを用いて変換し、かつ別の変換関数H
MRを用いて再変換したMR
rであるMR
cycと比較することにより決定することができる。これらの比較は例えばボクセルごとであってもよい。
【0045】
1つ以上の実施形態では、少なくとも1つの処理装置120はさらに、第2の画像型の元の医用画像と第2の画像型の変換された医用画像とを識別するための第1のパラメータ化識別関数D1を得、かつ第2の画像型の少なくとも1つの元の医用画像と、初期パラメータ化変換関数Gに基づく第3のパラメータ化変換関数G3を第1の画像型の少なくとも1つの元の医用画像に適用することにより生成された第2の画像型の少なくとも1つの変換された医用画像とを識別することを試みる場合の第1のパラメータ化識別関数D1の分類誤差に基づいて第3のペナルティP3を計算するように構成されている。
【0046】
少なくとも1つの処理装置120はこの場合、例えば前記第1、第2および第3のペナルティP1、P2およびP3を最小化するようにパラメータを適合させるために例えば前記第1、第2および第3のペナルティP1、P2およびP3の勾配の推定値を使用することにより、初期パラメータ化変換関数Gのパラメータと少なくとも前記第1、第2および第3のペナルティP1、P2およびP3とに基づいてパラメータ化変換関数Tを生成する。少なくとも1つの処理装置は例えば、第1のパラメータ化識別関数D1が繰り返し最適化されるように、例えば前記第3のペナルティP3を最小化するようにパラメータを適合させるために例えば前記第3のペナルティP3の勾配の推定値を使用することにより、前記最適化されたパラメータ化変換関数Tを生成するために使用されるパラメータ化識別関数D1のパラメータと少なくとも前記第3のペナルティP3とに基づいて第1のパラメータ化識別関数D1を得てもよい。
【0047】
従って第3のペナルティP3は、同じ画像型の元の医用画像と変換された医用画像とを識別することを試みる場合の識別関数の分類誤差に基づいている。使用される元の医用画像は任意の元の医用画像であってもよく、それは変換された医用画像のベースとなる元の医用画像とペアである必要はない。そのような識別関数は敵対的ネットワークのトレーニングのために使用されることが多い。変換関数は識別関数をだますのに十分な程に現実的である変換された画像を生成することを試み、識別関数は元の画像を変換された画像と識別することを試みる。GANフレームワークにおいてこれを行う1つの方法は、論文「Medical Image Synthesis with Context-Aware Generative Adversarial Networks」に記載されている。識別関数は好ましくは、例えば前記第3のペナルティP3を最小化するようにパラメータを適合させるために例えば分類誤差P3の勾配の推定値を使用することにより、少なくとも分類誤差P3に基づいて繰り返しトレーニングする。
【0048】
図3は、第3のペナルティP
3の計算を概略的に例解している。P
3は
図3によれば、CT
rとCT
r
*とを識別することを試みる場合の第1の識別関数D
1CTの分類誤差、および/またはMR
rとMR
r
*とを識別することを試みる場合の第1の識別関数D
1MRの分類誤差に基づいて決定することができる。分類誤差は例えば分類誤差の割合または尤度を表す0~1の数として決定してもよい。
【0049】
1つ以上の実施形態では、少なくとも1つの処理装置120はさらに、a)ペアにされてそれにより同じ患者の同じ部分を示すために決定された対応する元の医用画像、すなわち第1の画像型の元の医用画像および第2の画像型の元の医用画像からなる画像ペアと、b)第1の画像型の元の医用画像および第2の画像型の対応する変換された医用画像からなる画像ペアとを識別するために、第2のパラメータ化識別関数D2を得、かつ第2のパラメータ化識別関数D2の分類誤差に基づいて第4のペナルティP4を計算するように構成されている。少なくとも1つの処理装置120はこの場合、例えば前記第1、第2および第4のペナルティP1、P2およびP4を最小化するようにパラメータを適合させるために例えば前記第1、第2および第4のペナルティP1、P2およびP4の勾配の推定値を使用することにより、初期パラメータ化変換関数Gのパラメータと少なくとも前記第1、第2および第4のペナルティP1、P2およびP4とに基づいてパラメータ化変換関数Tを生成してもよい。少なくとも1つの処理装置は例えば、第2のパラメータ化識別関数D2が繰り返し最適化されるように、例えば前記第4のペナルティP4を最小化するようにパラメータを適合させるために例えば前記第4のペナルティP4の勾配の推定値を使用することにより、前記最適化されたパラメータ化変換関数Tを生成するために使用されるパラメータ化識別関数D2のパラメータと少なくとも前記第4のペナルティP4とに基づいて第2のパラメータ化識別関数D2を得てもよい。
【0050】
従って第4のペナルティP4は、元のペアの医用画像のペアと、元の画像および対応する変換された医用画像からなるペアとを識別することを試みる場合の識別関数の分類誤差に基づいている。
【0051】
図4は、第4のペナルティP
4の計算を概略的に例解している。P
4は
図4によれば、画像ペアCT
pおよびMR
pと画像ペアCT
r
*およびMR
rとを識別することを試みる場合の第2の識別関数D
2の分類誤差に基づいて決定してもよい。また対応するペナルティP
4は当然ながら
図4の左側のプロセスにおいて計算してもよい。この分類誤差は例えば分類誤差の割合または尤度を表す0~1の数として決定してもよい。
【0052】
また当然ながら、少なくとも1つの処理装置が、例えば前記第1、第2、第3および第4のペナルティP1、P2、P3およびP4を最小化するようにパラメータを適合させるために例えば前記第1、第2、第3および第4のペナルティP1、P2、P3およびP4の勾配の推定値を使用することにより、初期パラメータ化変換関数Gのパラメータと少なくとも前記第1、第2、第3および第4のペナルティP1、P2、P3およびP4とに基づいてパラメータ化変換関数Tを生成するように、第3および第4のペナルティを組み合わせてもよい。これにより最適化されたパラメータ化変換関数Tの正確性をさらに高める。
【0053】
実施形態では、パラメータを例えばペナルティの加重和の勾配に基づいて適合させるように、ペナルティをペナルティの加重和の形態で組み合わせる。他の実施形態では、パラメータを一度に1つのペナルティに基づいて適合させるように、代わりにペナルティを順々に適用する。
【0054】
図5は、P
2を計算するために使用される両方の画像を、それらを比較する前に第3の画像型に変換する一実施形態における第2のペナルティP
2の計算を概略的に例解している。
図5におけるCT
gradは、変換関数G
CTを用いて第2の画像型の変換された医用画像CT
r
*(CT画像)に変換し、かつ次いで別の変換関数F
CTを用いて第3の画像型の画像CT
grad(この例では勾配画像)に再変換した第1の画像型の元の医用画像MR
r(MR画像)に対応している。
図5におけるMR
gradは、変換関数F
MRを用いて同じ第3の画像型の画像MRgrad(この例では勾配画像)に変換した第1の画像型の同じ元の医用画像MR
r(MR画像)に対応している。
図5に示されている例では、変換関数F
CTおよびF
MRは同じ関数であるが、変換関数F
CTおよびF
MRは異なる関数であってもよい。
【0055】
少なくとも1つの処理装置120は例えば、ニューラルネットワーク、ランダムフォレストまたはサポートベクターマシンなどの機械学習アルゴリズムを用いて生成することにより初期パラメータ化変換関数Gを得てもよい。機械学習アルゴリズムは例えば敵対的生成ネットワーク(GAN)であってもよい。これは、その後に本システムによって最適化することができる初期パラメータ化変換関数Gを得る有用な方法である。
【0056】
少なくとも1つの処理装置120は、さらなる繰り返しにおいて以前に生成された最適化されたパラメータ化変換関数Tを初期パラメータ化変換関数Gとして使用することにより初期パラメータ化変換関数Gを得てもよい。これによりパラメータ化変換関数Tの繰り返しの最適化が可能になる。
【0057】
第1のパラメータ化変換関数G1および/または第2のパラメータ化変換関数G2は例えば初期パラメータ化変換関数Gと同じであってもよい。但しそれらはまた、例えば第1のパラメータ化変換関数G1が初期パラメータ化変換関数Gのパラメータと第1のペナルティP1とに基づき、かつ第2のパラメータ化変換関数G2が初期パラメータ化変換関数Gまたは第1のパラメータ化変換関数G1のいずれかのパラメータと第2のペナルティP2とに基づいていることによって異なってもよい。同じことが第3および第4のパラメータ化変換関数G3およびG4にも当てはまる。ペナルティを順々に適用する場合、1つのペナルティに基づいて適応させたパラメータ化変換関数を例えばその後のペナルティを計算する際に使用してもよい。
【0058】
画像型は例えばMR、CTまたはCBCTなどの例えば医用画像モダリティのものであってもよい。他の実施形態では、画像型は畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムからの出力である。他の実施形態では、セグメント化することによって、例えば計算されている画像における勾配または周波数成分により別のドメインに移動させることによって、あるいは画像の解像度の変化によって医用画像を第3の画像型に変換する。他の実施形態では、第1の画像型は特定の医用画像モダリティの医用画像であり、第2の画像型は密度、阻止能、材料組成、および/または線量計算のために使用することができるあらゆる他の特徴を示す画像である。他の実施形態では、第1の画像型はセグメント化画像であり、かつ第2の画像型は特定の医用画像モダリティの医用画像である。これは、そのような仮定の患者画像に基づいて放射線治療をシミュレートするために例えば仮定の患者画像を作成するのに有用であり得る。
【0059】
1つ以上の実施形態では、システム100は画像を表示するように構成された表示装置140を任意に備えていてもよい。表示装置140は少なくとも1つの処理装置120を介して表示のために画像を受信し、かつ/または場合により少なくとも1つの処理装置120または以下にさらに示されている入力装置150から受信した制御信号に応答して記憶媒体110から直接に表示のために画像を取り込むように構成されていてもよい。
【0060】
いくつかの実施形態ではシステム100は、ユーザ入力を受信するように構成された1つ以上の入力装置150を任意にさらに備えてもよい。入力装置150は典型的には受信したユーザ入力を解釈し、かつ前記受信したユーザ入力に応答して制御信号を生成するように構成されている。表示装置140および入力装置150は、システム100に接続されているか通信可能に結合されている状態で一体化されていてもよい。入力装置150は例えば、表示されている画像に関連して入力されている受信したユーザ入力を解釈し、かつ前記受信したユーザ入力に応答して制御信号を生成して、画像の表示または表示されている画像の操作をトリガーするように構成されていてもよく、これらの操作は一時的または永続的であってもよい。そのような操作としては例えば、アノテーションを提供すること、画像もしくは画像の一部を移動もしくは変更すること、見る視点を変更すること、ズームインもしくはズームアウトすること、および/または改良された方法でユーザが表示されている画像データを見て分析するのを可能にするあらゆる他の好適な形態の操作が挙げられる。入力装置150は例えば、キーボード、コンピュータマウス、1つ以上のボタン、タッチ機能、ジョイスティックおよび/またはあらゆる他の好適な入力装置からなる選択対象を含んでもよい。いくつかの実施形態では、プロセッサ120は、入力装置150から制御信号を受信し、かつ受信した制御信号に応答して表示されている画像を処理する、すなわち言い換えると表示されている画像を操作するように構成されていてもよい。
【0061】
少なくとも1つの処理装置120はさらに、本明細書に示されている実施形態のいずれかまたは全ての方法工程を行うように構成されていてもよい。
【0062】
方法の実施形態
図6は、本明細書に記載されている1つ以上の実施形態に係る、第1の画像型の元の医用画像を第2の画像型の変換された医用画像に変換するための最適化されたパラメータ化変換関数Tを生成するプロセッサ実装方法を概略的に例解している。方法600は、
工程610:第1および第2の画像型の元の医用画像を得ることと、
工程620:第1の画像型の元の医用画像を第2の画像型の変換された医用画像に変換するための初期パラメータ化変換関数Gを得ることと、
工程630:第2の画像型の第1の元の医用画像と、初期パラメータ化変換関数Gに基づく第1のパラメータ化変換関数G
1を、第2の画像型の第1の元の医用画像と画像ペアを形成し、かつそれにより同じ患者の同じ部分を示すために決定された第1の画像型の第1の元の医用画像に適用することにより生成された第2の画像型の第1の変換された医用画像との少なくとも1回の比較に基づいて第1のペナルティP
1を計算することと、
工程640:第1の画像型の元の医用画像および/または第2の画像型の変換された医用画像を同じ画像型の画像に変換した後に、第1の画像型の元の医用画像と、初期パラメータ化変換関数Gに基づく第2のパラメータ化変換関数G
2を第1の画像型の元の医用画像に適用することにより生成された第2の画像型の変換された医用画像との少なくとも1回の比較に基づいて第2のペナルティP
2を計算することと、
工程650:初期パラメータ化変換関数Gのパラメータと少なくとも前記第1および第2のペナルティP
1およびP
2とに基づいて最適化されたパラメータ化変換関数Tを生成することと、
を含んでもよい。
【0063】
初期パラメータ化変換関数Gは、例えばニューラルネットワーク、ランダムフォレストまたはサポートベクターマシンなどの機械学習アルゴリズムを用いて生成することにより得てもよい(620)。機械学習アルゴリズムは例えば敵対的生成ネットワーク(GAN)であってもよい。これは、その後に最適化することができる初期パラメータ化変換関数Gを得る(620)有用な方法である。
【0064】
さらなる繰り返しにおいて以前に生成された最適化されたパラメータ化変換関数Tを初期パラメータ化変換関数Gとして使用することにより、初期パラメータ化変換関数Gを得てもよい(620)。これによりパラメータ化変換関数Tの繰り返しの最適化が可能になる。
【0065】
第1の元の医用画像と対応する第1の変換された医用画像との比較は、例えば画像をボクセルごとに比較してもよい。その比較の前に、第1の画像型の元の医用画像を第2の画像型に変換してもよく、第2の画像型の変換された医用画像を第1の画像型に変換してもよく、あるいは両方の画像を第3の画像型に変換してもよい。第3の画像型はそれらをより容易に比較することができるように、例えば画像中の輪郭、関心領域(ROI)および/または構造などの特定の特徴を増幅させてもよい。第3の画像型は例えば、勾配画像、セグメント化画像、または畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムからの出力であってもよい。
【0066】
第1のパラメータ化変換関数G1および/または第2のパラメータ化変換関数G2は例えば初期パラメータ化変換関数Gと同じであってもよい。但しそれらはまた、例えば第1のパラメータ化変換関数G1が初期パラメータ化変換関数Gのパラメータと第1のペナルティP1とに基づき、かつ第2のパラメータ化変換関数G2が初期パラメータ化変換関数Gまたは第1のパラメータ化変換関数G1のいずれかのパラメータと第2のペナルティP2とに基づいていることによって異なってもよい。同じことが第3および第4のパラメータ化変換関数G3およびG4にも当てはまる。ペナルティを順々に適用する場合、1つのペナルティに基づいて適応させたパラメータ化変換関数を例えばその後のペナルティを計算する際に使用してもよい。
【0067】
画像型は例えばMR、CTまたはCBCTなどの例えば医用画像モダリティのものであってもよい。他の実施形態では、画像型は畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムからの出力である。他の実施形態では、セグメント化することによって、例えば計算されている画像における勾配または周波数成分により別のドメインに移動させることによって、あるいは画像の解像度の変化によって医用画像を第3の画像型に変換する。他の実施形態では、第1の画像型は特定の医用画像モダリティの医用画像であり、第2の画像型は密度、阻止能、材料組成、および/または線量計算のために使用することができるあらゆる他の特徴を示す画像である。他の実施形態では、第1の画像型はセグメント化画像であり、かつ第2の画像型は特定の医用画像モダリティの医用画像である。これは、そのような仮定の患者画像に基づいて放射線治療をシミュレートするために例えば仮定の患者画像を作成するのに有用であり得る。
【0068】
実施形態では、方法600は、
工程660:第2の画像型の元の医用画像と第2の画像型の変換された医用画像とを識別するための第1のパラメータ化識別関数D1を得ることと、
工程670:第2の画像型の少なくとも1つの元の医用画像と、初期パラメータ化変換関数Gに基づく第3のパラメータ化変換関数G3を第1の画像型の少なくとも1つの元の医用画像に適用することにより生成された第2の画像型の少なくとも1つの変換された医用画像とを識別することを試みる場合の第1のパラメータ化識別関数D1の分類誤差に基づいて第3のペナルティP3を計算することと、
をさらに含む。
【0069】
最適化されたパラメータ化変換関数Tはこの場合、初期パラメータ化変換関数Gのパラメータと少なくとも前記第1、第2および第3のペナルティP1、P2およびP3とに基づいて生成してもよい(650)。
【0070】
第1のパラメータ化識別関数D1は例えば、第1のパラメータ化識別関数D1が繰り返し最適化されるように、前記最適化されたパラメータ化変換関数Tを生成するために使用されるパラメータ化識別関数D1のパラメータと少なくとも前記第3のペナルティP3とに基づいて得てもよい(660)。これにより最適化されたパラメータ化変換関数Tの正確性をさらに高める。
【0071】
実施形態では、方法600は、
工程680:
a)ペアにされてそれにより同じ患者の同じ部分を示すために決定された対応する元の医用画像、すなわち第1の画像型の元の医用画像および第2の画像型の元の医用画像からなる画像ペアと、
b)第1の画像型の元の医用画像および第2の画像型の対応する変換された医用画像からなる画像ペアと
を識別するための第2のパラメータ化識別関数D2を得ることと、
工程690:第2のパラメータ化識別関数D2の分類誤差に基づいて第4のペナルティP4を計算することと、
をさらに含む。
【0072】
パラメータ化変換関数Tはこの場合、初期パラメータ化変換関数Gのパラメータと少なくとも前記第1、第2および第4のペナルティP1、P2およびP4に基づいて生成してもよい(650)。
【0073】
また当然ながら、初期パラメータ化変換関数Gのパラメータと少なくとも前記第1、第2、第3および第4のペナルティP1、P2、P3およびP4とに基づいてパラメータ化変換関数Tを生成するように、第3および第4のペナルティを組み合わせてもよい。
【0074】
実施形態では、パラメータを例えばペナルティの加重和の勾配に基づいて適合させるように、ペナルティをペナルティの加重和の形態で組み合わせる。他の実施形態では、パラメータを一度に1つのペナルティに基づいて適合させるように、代わりにペナルティを順々に適用する。
【0075】
使用事例の実施形態
本開示のシステムおよび方法をより大きなコンテキストに設定するために、使用事例の実施形態では最適化されたパラメータ化変換関数Tを生成することを元の医用画像を生成することの後に行ってもよい。
【0076】
図7は、元の医用画像を得る工程、初期パラメータ化変換関数を得る工程、第2の画像型の変換された医用画像と第2の画像型のペアの元の医用画像とを比較することによりペアの画像に基づいて第1のペナルティP
1を計算する工程、同じ画像型の画像に変換した後に変換された医用画像と元の医用画像との比較に基づいて第2のペナルティP
2を計算する工程、初期パラメータ化変換関数のパラメータと少なくとも前記第1および第2のペナルティP
1およびP
2とに基づいて最適化されたパラメータ化変換関数を生成する工程を含む、そのようなより大きなコンテキストを例示するフローチャートである。
図7はさらに、例えば磁気共鳴画像法(MR)、コンピュータ断層撮影(CT)、コーンビームコンピュータ断層撮影(CBCT)および/またはポジトロン断層法(PET)などの画像取り込みシステムを用いてそれらを取り込むことにより元の医用画像を生成する工程、第3および第4のペナルティP
3およびP
4を計算する工程、および繰り返しのために変換関数を再供給する工程を含む。
図7では、元の医用画像を得る工程、初期パラメータ化変換関数を得る工程、第1のペナルティP
1を計算する工程、第2のペナルティP
2を計算する工程およびパラメータ化変換関数を最適化する工程以外の全ては、それらがコンテキストのみを提供するために図に示されている任意の工程であり、かつ本明細書に示されている実施形態のいずれにも必須ではないことを明らかにするために破線で示されている。特に、元の医用画像の生成に関する工程710および720は本明細書に示されている実施形態の一部ではない。
【0077】
図7に示されている例によれば、第1の画像型の元の医用画像は、例えば磁気共鳴画像法(MR)、コーンビームコンピュータ断層撮影(CBCT)および/またはポジトロン断層法(PET)を用いる画像取込システム130によって取り込むことによって工程710で生成してもよい。第2の画像型の元の医用画像は、例えばコンピュータ断層撮影(CT)を用いて取り込むことによって工程720で生成してもよい。これらの元の医用画像は同じ患者の同じ部分を示すために決定されている場合はペアであってもよい。
【0078】
元の医用画像は工程730で画像取込システム130または記憶媒体110のいずれかから直接得てもよい。初期パラメータ化変換関数Gは工程740で、例えば機械学習アルゴリズムを用いて少なくとも1つの処理装置120によって決定することによって、または記憶媒体110から取り出すことによって得てもよく、あるいは初期パラメータ化変換関数Gとして以前に生成されたパラメータ化変換関数Tを用いることによりフィードバックによって得、それによりパラメータ化変換関数Tを繰り返し最適化してもよい。
【0079】
工程750では、第2の画像型の変換された医用画像が生成されるように、初期パラメータ化変換関数Gまたは適応させたパラメータ化変換関数G1を第1の画像型の元の医用画像に適用する。次いで、第2の画像型の変換された医用画像が同じ患者の同じ部分を示す第2の画像型の元の医用画像とどの程度一致しているかを決定することができるように、この変換された医用画像を第1の画像型の元の医用画像との画像ペアを形成する第2の画像型の元の医用画像と比較する。次いで第1のペナルティP1をこの比較に基づいて計算し、この比較は、例えばボクセルごとに行うことができ、かつ例えば畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムを用いて例えば画像中の輪郭、関心領域(ROI)および/または構造などの特徴を比較することができる。
【0080】
工程760では、第2の画像型の変換された医用画像が生成されるように、初期パラメータ化変換関数Gまたは適応させたパラメータ化変換関数G2を第1の画像型の元の医用画像に適用する。次いで画像を同じ画像型に変換する。これは、画像の一方を他の画像型の画像に変換すること、または両方の画像を第3の画像型の画像に変換することのいずれかによって行ってもよい。但し画像を比較するために、それらは同じ画像型でなければならない。画像型は医用画像モダリティのものである必要はない。他の実施形態では、画像型は畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムからの出力である。他の実施形態では、セグメント化することによって、例えば計算されている画像における勾配または周波数成分により別のドメインに移動させることによって、あるいは画像の解像度の変化によって医用画像を第3の画像型に変換する。他の実施形態では、第1の画像型は特定の医用画像モダリティの医用画像であり、かつ第2の画像型は密度、阻止能、材料組成、および/または線量計算のために使用することができるあらゆる他の特徴を示す画像である。他の実施形態では、第1の画像型はセグメント化画像であり、かつ第2の画像型は特定の医用画像モダリティの医用画像である。例えば畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムを用いて例えばボクセルごとに比較することができるものは、例えば画像中の輪郭、関心領域(ROI)および/または構造などの特徴であってもよい。次いで第2のペナルティP2をこの比較に基づいて計算する。
【0081】
任意の工程である工程770では、第2の画像型の変換された医用画像が生成されるように、初期パラメータ化変換関数Gまたは適応させたパラメータ化変換関数G3を第1の画像型の元の医用画像に適用する。次いで第1の識別関数D1は、第2の画像型の変換された医用画像と第2の画像型の元の医用画像とを識別することを試みる。使用される元の医用画像は任意の元の医用画像であってもよく、それは変換された医用画像のベースとなる元の医用画像とペアである必要はない。次いで第3のペナルティP3を第1の識別関数D1の分類誤差に基づいて計算する。
【0082】
同様に任意の工程である工程780では、第2の画像型の変換された医用画像が生成されるように、初期パラメータ化変換関数Gまたは適応させたパラメータ化変換関数G4を第1の画像型の元の医用画像に適用する。次いで第2の識別関数D2は元のペアの医用画像のペアと、元の画像および対応する変換された医用画像からなるペアとを識別することを試みる。次いで第4のペナルティP4を識別関数D2の分類誤差に基づいて計算する。
【0083】
工程790では、初期パラメータ化変換関数Gのパラメータと、少なくとも第1および第2のペナルティP1およびP2と、任意に第3のペナルティP3および/または第4のペナルティP4とにも基づいて、最適化されたパラメータ化変換関数Tを生成する。パラメータ化変換関数Tのパラメータをペナルティの加重和に基づいて適合させるように、ペナルティをペナルティの加重和の形態で組み合わせてもよく、あるいはパラメータ化変換関数Tのパラメータを一度に1つのペナルティに基づいて適合させるように順々に適用してもよい。
【0084】
使用事例の実施形態では、次いで最適化されたパラメータ化変換関数Tを第1の画像型の元の医用画像を第2の画像型の変換された医用画像に変換するために使用してもよく、これは例えば放射線治療計画における線量計算のために使用することができ、ここでは第2の画像型の変換された医用画像の分析に基づいて例えば制御信号の形態の機械命令を放射線治療機器に送信することができる。
【0085】
さらなる実施形態
適用可能な場合には、本開示によって提供される様々な実施形態はハードウェア、ソフトウェアまたはハードウェアとソフトウェアとの組み合わせを用いて実装することができる。また適用可能な場合には、本明細書に記載されている様々なハードウェアコンポーネントおよび/またはソフトウェアコンポーネントを本開示の特許請求の範囲から逸脱することなく組み合わせてソフトウェア、ハードウェアおよび/または両方を含む複合コンポーネントにすることができる。適用可能な場合には、本明細書に記載されている様々なハードウェアコンポーネントおよび/またはソフトウェアコンポーネントを本開示の特許請求の範囲から逸脱することなく分離してソフトウェア、ハードウェアまたは両方を含むサブコンポーネントにすることができる。また適用可能な場合には、ソフトウェアコンポーネントをハードウェアコンポーネントとして、ハードウェアコンポーネントをソフトウェアコンポーネントとして実装することができることが考えられる。本明細書に記載されている1つ以上の実施形態の方法工程は任意の好適な処理装置によって自動的に行ってもよく、あるいは1つ以上の工程を手動で行ってもよい。適用可能な場合には、本明細書に記載されている様々な工程の順序は変更することができ、本明細書に記載されている特徴を提供するためにそれらの工程を組み合わせて複合工程にし、かつ/または分離してサブ工程にしてもよい。
【0086】
プログラムコードおよび/またはデータなど本開示に係るソフトウェアは1つ以上の機械可読媒体に非一時的な形態で記憶することができる。本明細書で特定されているソフトウェアは1つ以上の汎用もしくは特定目的のコンピュータおよび/またはコンピュータシステム、ネットワーク化および/またはそれ以外を用いて実装することができることも考えられる。
【0087】
実施形態では、プロセッサで実行された場合に、本明細書に記載されている方法工程のいずれかまたは全てを行うように構成されたコンピュータ可読コードを含むコンピュータプログラム製品が提供される。いくつかの実施形態では、プロセッサにおいて実行された場合に本明細書に記載されている方法工程のいずれかまたは全てを行うように構成されたコンピュータ可読およびコンピュータ実行可能コードが記憶されている非一時的コンピュータ可読メモリが提供される。
【0088】
1つ以上の実施形態では、プロセッサによって実行された場合に、本明細書に示されている方法実施形態のいずれかまたは全ての方法を行うようにプロセッサを制御する機械可読コードが記憶されている非一時的機械可読媒体が提供される。
【0089】
上記開示は、本発明をここに開示されている正確な形態または特定の使用分野に限定するものではない。本明細書に明示的に記載または暗示されているかに関わらず、本開示を踏まえて本発明の様々な他の実施形態および/または修正が可能であることが考えられる。従って本発明の範囲は特許請求の範囲によってのみ定められる。