(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023133130
(43)【公開日】2023-09-22
(54)【発明の名称】ニューラルネットによる解像度向上と薄型スライス生成を実現したX線トモシンセシス装置
(51)【国際特許分類】
A61B 6/02 20060101AFI20230914BHJP
G06T 3/40 20060101ALI20230914BHJP
G06T 1/40 20060101ALI20230914BHJP
G06T 1/00 20060101ALI20230914BHJP
A61B 6/00 20060101ALI20230914BHJP
【FI】
A61B6/02 300M
G06T3/40 730
G06T1/40
G06T1/00 290A
A61B6/00 360Z
【審査請求】有
【請求項の数】18
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023006291
(22)【出願日】2023-01-19
(31)【優先権主張番号】17/690,258
(32)【優先日】2022-03-09
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】319011672
【氏名又は名称】ジーイー・プレシジョン・ヘルスケア・エルエルシー
(74)【代理人】
【識別番号】100105588
【弁理士】
【氏名又は名称】小倉 博
(74)【代理人】
【識別番号】100129779
【弁理士】
【氏名又は名称】黒川 俊久
(74)【代理人】
【識別番号】100151286
【弁理士】
【氏名又は名称】澤木 亮一
(72)【発明者】
【氏名】デジュン・ワン
(72)【発明者】
【氏名】ブアー・シ
(72)【発明者】
【氏名】タオ・タン
(72)【発明者】
【氏名】ギリーシャ・チンサマニ・ラオ
(72)【発明者】
【氏名】ゴパール・ピー・アヴィナッシュ
(72)【発明者】
【氏名】チンミン・ペン
(72)【発明者】
【氏名】ヤアン・ジ
(72)【発明者】
【氏名】シルヴァン・ベルナール
(72)【発明者】
【氏名】ヴァンサン・ビスマス
【テーマコード(参考)】
4C093
5B057
【Fターム(参考)】
4C093AA11
4C093CA27
4C093CA28
4C093CA37
4C093DA03
4C093DA10
4C093EC16
4C093FA44
4C093FA60
4C093FD20
4C093FF17
4C093FF19
4C093FF28
4C093FF35
4C093FF41
5B057AA08
(57)【要約】
【課題】ニューロネットガイドによる解像度向上が可能なコンピュータトモシンセシスシステムを提供する。
【解決手段】トモシンセシス装置では、投影減衰データを取得し、機械学習を用いて投影減衰データのサブセットを特定し、より薄いスライス及び/又は高解像度スライスを作成することにより、画像取得の高速化とS/Nの向上を実現することができる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
トモシンセシス装置であって、
患者支持体の周囲で対向して回転可能なX線源及び多素子X線検出器を含む支持体組立体と、
支持アセンブリと通信するプロセッサと、
を備え、
プロセッサは、
(a)支持アセンブリを作動させて、患者支持体上の患者の第1の体積の投影減衰データを取得するステップと、
(b)機械学習を使用して、第1の体積よりも小さい第2の体積を有する臨床的意義のある関心領域を第1の体積において特定するステップと、
(c)第2の体積の投影減衰データを選択的に再構成して、関心領域内に第1のスライス厚を有する第1のスライスセットと、第2の体積の外側で第1のスライス厚よりも大きい第2のスライス厚を有する第2のスライスセットとを生成するステップと、
(d)複数のスライス画像の第1セットと第2セットを出力して、単一体積の画像を提供するステップとを実行するように構成される、トモシンセシス装置。
【請求項2】
ステップ(b)は、機械学習を使用して各投影のマスク領域を特定し、次に、それらのマスク領域を再構成して、(c)において第1及び第2のセットのスライスを再構成するための第2のボリュームを提供する、請求項1に記載のトモシンセシス装置。
【請求項3】
機械学習を使用して、画像の平面で測定されたスライス画像の第1のセットの解像度を高めるステップをさらに含む、請求項1に記載のトモシンセシス装置。
【請求項4】
投影減衰データは、様々な角度で患者の前後軸を横切って向けられたX線ビームで得られた投影のセットであり、患者の第2の体積は、患者軸に垂直に測定された第1の体積と比較して減少した高さ範囲を有する、請求項1記載のトモシンセシス装置。
【請求項5】
機械学習は、敵対的ニューラルネットワークアーキテクチャである、請求項1記載のトモシンセシス装置。
【請求項6】
機械学習は、Wasserstein Generative Adversarial Network(WGAN)である、請求項5記載のトモシンセシス装置。
【請求項7】
機械学習は、生成データと学習セットデータとの誤差差、及び高解像度画像と減少画像のVGG処理の少なくとも1つの評価を用いて学習される、請求項6に記載のトモシンセシス装置。
【請求項8】
X線検出器は、独立した複数の検出器素子間の検出器間隔を有し、投影減衰データは、隣接する複数の検出器素子からの値を一緒にビンニングすることによって得られる、請求項1に記載のトモシンセシス装置。
【請求項9】
複数の検出器素子は100μm以下の間隔を有し、減少解像度トモシンセシスデータは間隔の2倍以下の解像度を有する、請求項8に記載のトモシンセシス装置。
【請求項10】
患者支持体の周囲で対向し、回転可能なX線源と多素子X線検出器とを含む支持アセンブリを有するタイプのトモシンセシス装置を作動する方法であって、
(a)支持アセンブリを作動させて、患者支持体上の患者の第1の体積の投影減衰データを取得するステップと、
(b)機械学習を使用して、第1の体積よりも小さい第2の体積を有する臨床的意義のある関心領域を第1の体積において特定するステップと、
(c)第2のボリュームの投影減衰データを選択的に再構成して、関心領域内に第1のスライス厚を有する第1のスライスセットと、第2のボリュームの外側で第1のスライス厚よりも大きい第2のスライス厚を有する第2のスライスセットとを生成するステップと、
(d)複数のスライス画像の第1のセットと第2のセットを出力して、単一のボリュームの画像を提供するするステップと、を含む方法。
【請求項11】
ステップ(b)は、機械学習を使用して各投影のマスク領域を特定し、それらのマスク領域を再構成して、(c)におけるスライスの第1及び第2のセットを再構成するための第2の体積を特定する、請求項10に記載の方法。
【請求項12】
ステップ(d)が、画像の平面で測定されるように、第1のスライス画像の解像度を増加させる、請求項10に記載の方法。
【請求項13】
投影減衰データは、様々な角度で患者の前後軸を横切って向けられたX線ビームで得られた投影のセットであり、患者の第2の体積が、患者軸に垂直に測定された第1の体積と比較して減少した高さを有する、請求項10に記載の方法。
【請求項14】
機械学習は、敵対的ニューラルネットワークアーキテクチャである、請求項10に記載の方法。
【請求項15】
機械学習は、Wasserstein Generative Adversarial Network(WGAN)である、請求項14記載の方法。
【請求項16】
生成データと学習セットデータの誤差差、高解像度画像と減少画像のVGG処理の少なくとも1つの評価を用いて機械学習を行う、請求項10に記載のトモシンセシス装置。
【請求項17】
X線検出器が独立した複数の検出器素子間の検出器間隔を有し、投影減衰データが隣接する複数の検出器素子からの値を一緒にビンニングすることによって得られる、請求項10に記載の方法。
【請求項18】
複数の検出器素子が100μm以下の間隔を有し、減少解像度トモシンセシスデータが間隔の2倍以下の解像度を有する、請求項17に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般にX線トモシンセシス装置に関し、より詳細には、高解像度トモシンセシス画像の取得及び再構成時間を減少させるシステム及び方法に関するものである。
【背景技術】
【0002】
トモシンセシス撮影では、コーンビームやパラレルビームなどのX線が患者を通り、様々な角度で照射され、多素子検出器によって受信される。各角度において、検出器は、患者の体積(ボリューム)を通るX線ビーム内の異なる角度におけるX線光子の減衰を表す「投影減衰データ」を収集し、一般に標準的なX線透視画像の外観を有する。患者に関する異なる角度での投影のセットのトモシンセシス再構成は、その体積内の組織のボクセルのセットの減衰データを生成し、患者の上下軸に沿って延びる所定の平面内のスライス専用の画像を再構成するために使用されることが可能である。
【0003】
トモシンセシスは、X線源(またはX線検出器)を限られた角度範囲で患者に対して円弧状に動かすことができる装置で動作するため、患者に対してX線管を完全に(360°)動かす能力を持たない様々なアーキテクチャで実行することができるため、従来のCT断層撮影とは区別する必要がある。同様のコンピュータ断層撮影(「CT」)装置は、より大きな角度範囲(180°+ファンビーム角)を必要とし、通常、患者の周りを回る回転ガントリを採用する。トモシンセシス及びCTの両方は、電子コンピュータによって実行される類似の再構成アルゴリズムを使用し、本明細書で使用する際には、トモグラフィ又はトモシンセシス装置と総称し、本発明の方法は、所望によりCT断層撮影装置に採用することが可能である。
【0004】
トモシンセシスから得られる投影減衰データの品質は、各投影で収集されるサンプル数の関数である。このサンプル数は、検出器のサイズと間隔によって大きく左右され、サイズが小さいほど、間隔が近いほど、一般的に高い解像度が得られる。
【0005】
しかし、検出器の解像度を上げると、(S/N比が一定であれば)データ収集に要する時間が大幅に増加し、患者の被ばく量や患者の動きによるブレのリスクが増加する。また、高解像度の検出器は、それに応じて大量のデータを収集するため、画像再構成に要する時間が長くなり、臨床医に新たな負担をかける可能性がある。臨床医は、多くのスライスビューを提示され、そのうちのいくつかはほとんど追加の情報価値を提供しないかもしれない。
【0006】
そのため、高解像度のトモシンセシス装置では、撮影速度の高速化やデータ収集・レビューの負担軽減を優先して、隣接する検出器素子(detector elements)からの信号をまとめて「ビニング:binning」し、その値を合成して解像度を下げて運用することが多くなっている。
【0007】
データ取得とデータ処理時間が大幅に増加し、臨床医のレビューに不要なスライスデータが生成される影響を低減しながら、高解像度画像を提供するトモシンセシス装置の作動システムおよび方法を開発することが望ましい。
【発明の概要】
【0008】
本発明者らは、高解像度画像によって明らかにされる人体の微細構造をニューラルネットワークにうまく教示して、取得後の低解像度画像を高解像度画像に正確に高める(ブーストする)ことが可能であることを認識した。比較的大きな関心領域にわたる低解像度データの高速取得は、関心体積を洗練するために最初に使用されてもよい。この精緻化された関心領域は、トレーニングされた(訓練された)機械学習システムによって自動的に決定されてもよい。洗練された関心領域が特定されると、その洗練された関心領域を構成する取得データのサブセットを高解像度画像に変換し、最終的に臨床医に提示することができ、解像度の向上、取得、処理時間の短縮、及び臨床医に提供する余計なデータの減少という複数の目標を満足させることができる。
【0009】
本開示の例示的な実施形態の一態様によれば、本発明は、患者支持体(ペイシェントサポート)の周囲で対向して回転可能なX線源及び多素子X線検出器を含む支持アセンブリと、支持アセンブリと通信するプロセッサを有するトモシンセシス装置を提供し得る。プロセッサは、(a)支持アセンブリを作動させて、患者支持体上の患者の第1の体積の投影減衰データを得るステップと、(b)機械学習を使用して、第1の体積より小さい第2の体積を有する臨床的意義のある関心領域を第1の体積内で特定するステップと、(c)第2の体積の投影減衰データを選択的に再構成して、関心領域内に第1の厚さを有する第1のスライス集合と、第2の体積の外側に第1の厚さよりも大きい第2の厚さを有する第2のスライス集合とを生成するステップと、(d)機械学習を使用して、第1のスライス画像の集合の解像度を高めるステップと、(e)スライス画像の第1の集合(第1のセット)及び第2の集合(第2のセット)を出力するステップと、を実行するように構成される。
【0010】
したがって、本発明の少なくとも1つの実施形態の特徴は、迅速に取得された高SN比の投影減衰データを使用して、患者の臨床的に興味深い領域のより高い分解能のデータセットを生成することを可能にすることである。
【0011】
ステップ(b)は、機械学習を使用して、各投影におけるマスク領域を特定し、次に、それらのマスク領域を再構成して、(c)におけるスライスの第1及び第2のセットを再構成するための第2の体積を提供することができる。
【0012】
したがって、生の投影データから関心領域を展開するために機械学習を用いることが、本発明の少なくとも1つの実施形態の特徴である。
【0013】
ステップ(d)は、画像の平面で測定されるように、第1のスライス画像の解像度を増加させてもよい。
【0014】
したがって、本発明の少なくとも1つの実施形態の特徴は、従来の補間に代えて機械学習を用いることにより面内解像度向上(in-plane resolution enhancement)を可能にすることである。
【0015】
投影減衰データは、様々な角度で患者の前後軸を横切って向けられたX線ビームで得られた一連の投影であってもよく、患者の第2の体積は、患者軸に垂直な方向に測定された第1の体積と比較して減少した高さ(reduced height)を有することができる。
【0016】
したがって、臨床医がレビューする必要があるスライスの数を減らしながら、高解像度の薄切片を提供することが、本発明の少なくとも1つの実施形態の特徴である。
【0017】
いくつかの実施形態では、ニューラルネットワークは、Wasserstein Generative Adversarial Network(WGAN)などの敵対的ニューラルネットワークアーキテクチャを使用してトレーニング(訓練)される。ニューラルネットワークは、生成されたデータとトレーニングセットのデータとの間の誤差差(error difference)、及び高解像度画像及び低解像度画像のVGG処理の少なくとも1つの評価を用いてトレーニングされてもよい。
【0018】
したがって、この目的のために、扱いやすいニューラルネットアーキテクチャおよびトレーニング技術を特定することが、本発明の少なくとも1つの実施形態の特徴である。
【0019】
X線検出器は、独立した検出器素子間に所定の検出器間隔を有していてもよく、低解像度のトモシンセシス減衰データは、隣接する検出器素子からの値をビニングすることにより取得される。
【0020】
したがって、本発明の少なくとも1つの実施形態の特徴は、分解能の損失を低減した検出器をビニングすることによって、より速い取得を可能にし、S/N比を向上させることである。
【0021】
上記の簡単な説明は、詳細な説明にさらに記載され、添付の図面に示される概念の選択を簡略化して紹介するために提供されることが理解されるべきである。それは、請求された主題の重要なまたは必須の特徴を特定することを意図しておらず、その範囲は、詳細な説明に続く請求項によって一意的に定義される。さらに、請求された主題は、上記または本開示のいずれかの部分で指摘された欠点を解決する実施態様に限定されるものではない。
【0022】
図面は、本開示を実施するために現在考えられている最良の態様を示すものである。
【図面の簡単な説明】
【0023】
【
図1】X線トモシンセシス装置の簡略化したブロック図であり、X線管、多素子X線検出器、トモシンセシス再構成を行うことができるプロセッサの主要構成要素を示している。
【
図2】プロセッサが実行するプログラムの制御下での
図1に対するトモシンセシス装置の動作を示すフローチャートである。
【
図3】
図1のトモシンセシス装置により取得された投影減衰データと、トレーニングセットの構築に用いられるダウンサンプリングされた低解像度の画像とを示す論理図である。
【
図4】ブースティングデータに用いられる敵対的ニューラルネットワークシステムの学習・演算フロー経路を示すブロック図である。
【
図5】投影減衰データの解像度ブーストを提供する本発明の実施形態のフローチャートである。
【
図6】
図5と同様の図であり、再構成画像の代替解像度ブーストを示す図である。
【発明を実施するための形態】
【0024】
以下、1つまたは複数の具体的な実施形態について説明する。これらの実施形態の簡潔な説明を提供するための努力として、実際の実装のすべての特徴は、本明細書に記載されない場合がある。任意のエンジニアリングまたは設計プロジェクトにおけるように、任意のそのような実際の実装の開発において、システム関連およびビジネス関連の制約への準拠など、開発者の特定の目標を達成するために、多数の実装固有の決定を行わなければならず、それは実装ごとに異なる場合があることを理解されたい。さらに、そのような開発努力は複雑で時間がかかるかもしれないが、それにもかかわらず、本開示の利益を有する通常の技術者にとって、設計、製作、および製造の日常的な事業であることを理解されたい。
【0025】
本発明の様々な実施形態の要素を紹介する場合、冠詞「a」、「an」、「the」、および「said」は、その要素が1つ以上あることを意味することを意図している。 また、「comprising」、「including」、及び「having」という用語は、包括的であることを意図しており、記載された要素以外の追加の要素が存在し得ることを意味する。さらに、以下の議論における任意の数値例は、非限定的であることを意図しており、したがって、追加の数値、範囲、及びパーセントは、開示される実施形態の範囲内である。
【0026】
ここで
図1を参照すると、X線トモシンセシス装置は、検出器20に向かって投影軸18に沿って向けられたX線ビーム16を生成するX線源12を提供することができる。X線源12は、軸18の角度が検出器20とある範囲の角度で交差し得るように円弧24に沿ってモータ/エンコーダ・システムによって回転され得る多関節アーム組立体(articulating arm assembly)22上に取り付けられてもよい。
【0027】
放射線透過性の患者テーブル25は、下軸-上軸がz軸に平行な患者26を支持するためにz軸に沿って概ね延在してもよい。患者テーブル24は、X線源12と検出器20との間に配置され、ビーム16のX線が多関節アーム組立体22の回転中に患者26を通過するように患者26を支持する。患者体積28を通過した後、X線は、検出器20によって、それぞれ個別にX線減衰を測定する様々な検出器素子(detector elements)21にわたって測定される。一般に、円弧24の角度は180°未満であるため、このシステムは、デジタルX線撮影、乳房撮影及び透視を含む標準的なX線システムに容易に統合することができるが、本発明は、より大きな回転自由度を有するCTタイプの設計に同様に適用できることが理解されよう。
【0028】
X線源12、多関節アーム組立体22のモータ/エンコーダシステム、及び検出器20の各々は、記憶されたプログラム38及びデータ40を保持し得る電子メモリ36と通信する1つ以上のプロセッサ34を提供するトモシンセシス制御装置32と通信してもよい。一般に、プログラム38は、軸18の角度の範囲を通しての関節アーム組立体22の回転と、各角度における、検出器素子21の各々の独立したX線減衰測定値からなる投影42の取得を提供するように実行されてもよい。角度の範囲における測定値を含む投影セット50であって、データ40として格納されてもよい。得られた投影セットは、患者体積26内の関心領域又は体積を記述する。
【0029】
当該技術分野において一般に理解されているように、プログラム38は、各投影セット50を取り込んで、患者内の一組の積層された平面における減衰を表すスライスに再構成するトモシンセシス再構成器52を更に実装してもよく、スライスのデータは共に患者26の体積における複数の個々の体積要素(ボクセル)の減衰を記述している。スライスの各々は、例えば、患者テーブル25の上方の患者26を通る垂直方向に(y軸に沿って)積み重ねられた一組の画像平面における断面画像54を提供する。本明細書で使用する場合、投影42及び画像54の両方は、それらの数学的等価性を反映して、一般にトモシンセシス減衰データと呼ばれる。
【0030】
図1をなお参照すると、コントローラ32は、例えばグラフィックディスプレイ端末、キーボード、マウスなどのユーザインタフェース56と通信して、データ40を臨床医または技術者に出力し、さらに後述するようにプログラム38を実行するためにそこからデータ40を受信することができるようにすることができる。
【0031】
ここで
図2も参照すると、プロセスブロック60によって示されるように、プログラム38は、上述のようにトモシンセシス装置10の様々な構成要素を制御して、取得ボリューム(取得体積)62にわたる減少解像度トモシンセシス減衰データ61の取得が患者26の第1の体積にわたって投影セット又は画像のいずれかとして所望のように表される結果、患者体積26の単一の走査を行うことができる。
【0032】
この低解像度スキャンは、本質的に低解像度の検出器20を使用してもよいし、より典型的には、例えば4つの隣接する検出器素子21の値を一緒に平均化することによって、検出器素子21のクラスタの値をビニングまたは結合することによって高解像度の検出器20を使用してもよい。例えば、検出器素子21間の分離が100μmである場合、ビニングは、200μmの減衰測定間の有効な分離を生成することができる。ビニングプロセスは、走査中又はデータが収集された後に実行されてもよく、従って、単一のスライス28内又はスライス28間で検出器素子21を結合してもよい。このビニングプロセスは、所与の信号対雑音比信号に対して、より高速な走査及び/又は低減されたX線線量という利点を提供する。
【0033】
プロセスブロック63によって示されるように、臨床的フォーカスの所望の領域、例えば疾患領域が次に決定され得、典型的にはトモシンセシスデータが取得された患者26の体積未満である。例えば、この領域は、取得されたトモシンセシス減衰データの全体を表す取得ボリューム62のサブセット又はより小さいフォーカス部分64とすることができる。一実施形態では、臨床医は、疾患などの臨床適応症を入力してもよく、取得ボリューム62のデータは、その入力された疾患に関連する疾患組織を識別するようにトレーニングされたニューラルネットワーク65によって自動的にセグメント化されてもよい。この点で、プログラム38は、異なる臨床状態又は疾病に関連するトレーニングされたニューラルネットワーク65のセットをそれぞれ実装してもよい。これらのニューラルネットワーク65はそれぞれ、例えば腫瘍などの疾患発現が例えば人間の専門家によってセグメント化された特定の疾患に関連する異なるトモシンセシスデータからなるトレーニングセットを使用してトレーニングされてもよい。そして、取得ボリューム62のデータを検討するニューラルネットワーク65は、例えば、フォーカス部分64として、特定の器官における腫瘍を定義する、ボリュームマスク(体積マスク)68を生成してもよい。
【0034】
あるいは、取得ボリューム62のデータを複数のニューラルネットワーク65に同時に提供し、それぞれが異なる疾患又は臨床状態についてトレーニングし、いずれかのニューラルネットワーク65のトレーニング経験内の任意の疾患に関連するものとして関心領域を広く定義してもよい。
【0035】
一実施形態では、1つまたは複数のニューラルネットワーク65は、再構成前の投影減衰データに直接作用して、再構成前のデータの各スライス内にマスク領域を特定してもよい。次いで、これらのマスクは、フォーカス部分64を提供するために再構成されてもよい。
【0036】
プロセスブロック70において、プログラム38は、ボリュームマスク68を使用して、より小さいボリューム72の外側の低減された解像度のトモシンセシス減衰データ61の別処理によって取得ボリューム62のトモシンセシス減衰データ61を「キュレート:curate」し、小さいボリューム72はフォーカス部分64に臨床的に関連するトモシンセシスデータのみを含む。より小さいボリューム72は、例えば、ボリュームマスク68の高さに一致するように、取得ボリューム62と比較してz軸に沿って減少した高さを有していてもよい。これにより、ボリュームマスク68の領域を正確に記述するために必要な薄い面内画像の数を減らすことができる。より洗練されたアプローチでは、調査中の疾患に関連する情報に関して取得ボリューム62の各データプレーン(一定値yのデータ要素)を評価して、そのデータプレーンの情報値を検討する。次に、予め定義された閾値(例えば、1に正規化された0.75)以上の情報値を有するデータプレーンのみが、より小さいボリューム72に含まれる。この情報貢献度の評価は、例えば、各トモシンセシスシリーズのスライス範囲の関心を決定するために、疾患に対して深層学習ネットワークによって配信された尤度を分析することによって、より高い尤度を有するスライスは、このスライスが疾患に対する情報を示していることを示す、実行されてよい。プロセスブロック70の結論において、小さい体積72内のスライスが小さい体積72の外側のスライスより薄い、2セットのスライスが生成されることになる。
【0037】
後続のプロセスブロック76において、小さい体積72の減少解像度データ(reduced resolution data)61は、次に、その同じ小さい体積72の超解像度データ78を提供するためにブーストされてもよく、高い超解像度データ78は、検出器20に沿って及びz軸に沿っての両方で、より近い間隔を有する検出器素子21で得られたものに近似している。例えば補間を含む様々なブースト技術が使用されてもよいが、一実施形態では、このブーストは、以下に説明するトレーニングされたニューラルネットワーク86を利用する。トレーニングされたニューラルネットワーク86は、全ての人体解剖学に一般的に関連する重みのセットを有していてもよいし、例えば骨、器官組織、筋肉組織等の異なる組織タイプに対して異なる重みのセットを提供してもよく、これらは用途及びボリュームマスク68内の組織に応じて臨床医によって選択されてもよい。同様に、この組織は、自動的にカタログ化され、重みのセットを定義するために使用されてもよい。
【0038】
したがって、例えば、テーブル25の上方20mmの高さから始まり、テーブル25の上方280mmの高さまで進み、10mmの画像平面高さを有する取得ボリューム62は、27枚の画像を提供することができる。結果として生じるスライス厚は、より小さい体積72の外側の患者の領域に対して保存され得る。一方、より小さいボリューム72は、100mmから始まり、4mmの画像高さを有する170mmの高さに進み、合計19枚の画像を提供し、臨床医によるレビューに必要なデータを大幅に削減しながら、より狭い画像高さを介してより高い解像度を提供することができる。小さなボリューム72のデータのみをブーストできるため、臨床医が設定する好みに応じて、例えば、像面高を非常に柔軟に設定することができる。またこれは、疾患診断のためのディープラーニングネットワークによって自動的に決定することができる。具体的には、各スライスについて肺炎などの病気の可能性を求め、肺炎の可能性が高いスライス高さを抽出する。
【0039】
プロセスブロック80において、ブーストされた超解像データ(super-resolution data)78は、例えば、臨床医によって見ることができる積層スライス画像54のセットの形態でユーザインタフェース56に出力されてもよい。小さい体積72の外側からのブーストされていないデータも、例えば取得ボリューム62に等しい単一の体積の収集された画像を提供するために、文脈のために提供される。取得ボリューム62に関して高解像度データを処理し収集する必要なしに、より小さなボリューム72の関心領域に密接にリンクした高解像度の利点が得られることが理解されよう。更に、最初に減少解像度データを収集する能力は、高解像度データが取得ボリューム62全体に対して必要であった場合に必要とされる取得時間ペナルティなしに、より小さいボリューム72の局在化を可能にするために余分なデータを収集することを可能にする。後前方X線トモシンセシス・スライスを例にとると、いくつかのスライスは骨折情報を明らかにするものとして特に臨床的に重要であり、本発明は、骨折を有するスライスに対する解像度を高めるために、解像度を上げた薄型スライスを使用することができる。
【0040】
次に
図3及び4を参照すると、本発明者らは、減少解像度データ61(reduced-resolution data:LR)を受け取り、一般にネイティブに取得された高解像度データ88と同等の解像度の対応する超解像度データ78(SR)を生成するように動作するプログラムされたニューラルネットワーク86によって、減少解像度データ61の高品質ブーストが効果的に実行できることを決定している。このニューラルネットワーク86をトレーニングするために、ブースティングが実行される組織の各クラスについて、又は全ての組織タイプを包含する一般的なクラスについて、トレーニングセット90が生成される。トレーニングセット90は、検出器素子21のビニングを行わずに高解像度トモシンセシス装置10で撮影された高解像度データセット92からなる。したがって、例えば、100μmの検出器間間隔を有する検出器20において、データセット92の高解像度データ88は、(ファンビーム16の形状の影響を受けて)およそ100μmのボクセル分離を提供するようなものとなる。このデータセット92の高解像度データ88は、上記のビニング処理により、同じ体積をカバーする減少解像度データ61を有する減少解像度データセット94に変換されることができる。トレーニングセット90は、高解像度データセット92と減少解像度データセット94の複数のリンクされたセットから構成される。トレーニングセット90は、直接投影データ又はトモシンセシス再構成ボリューム又は画像平面データのいずれかを利用できることが理解されよう。
【0041】
ニューラルネットワーク86によってブーストされる必要があるデータの量を減らすために、高解像度データセット92の高解像度データ88及び減少解像度データセット94の減少解像度データ61は、典型的には等しい患者体積をカバーする、等しい面積パッチ(図示せず)に分割されてもよい。パッチのエッジにおける不連続性を排除するために、パッチは互いにわずかに重なり合っていてもよい。そこで、例えば、高解像度データセット92がNxN個のパッチに分割される場合、パッチは、近隣のパッチと重なるように4N/5でストライド(stride)されてもよい。減少解像度データセット94の対応するパッチは、サンプリングの違いの結果、8N/5のストライドを持つことになる。
【0042】
図4を参照すると、一実施形態では、プログラムされたニューラルネットワーク86は、敵対的ニューラルネットワークアーキテクチャを有してよく、一例では、Wasserstein Generative Adversarial Network(WGAN)である。このタイプのアーキテクチャは、上述のプロセスブロック76ごとに、減少解像度データ(reduced-resolution data)61から(例えば、パッチ単位で)超解像データ78を生成するための生成器100を提供する第1のニューラルネットワークを含む。生成器100は、超解像データ78を評価するように動作する第2のニューラルネットワーク(識別器102)と、損失計算器104とを用いてトレーニングされる。
【0043】
一般に、トレーニングは、複数のエポック(epochs)で行われ、エポックは、生成器のトレーニング中に識別器102が生成器をガイドするような、生成器100のトレーニングを含み、その後、生成器がフリーズしている間に識別器102のトレーニングが行われる。そのような複数のエポックのトレーニングが実施される。生成器100と識別器102は、トレーニング中に生成器100のトレーニングを向上させるために敵対的に使用される。最終的に、生成器100は、プロセスブロック76の目的のために単独で使用される。
【0044】
生成器100のトレーニング中、トレーニングセット90の連続した減少解像度データセット94が生成器100に提示され、超解像度データ78が生成される。得られた超解像データ78及び対応する高解像度データセット92は、次に、超解像データ78が高解像度データセット92にどれだけ知覚的に類似しているかに関連する損失尺度(loss measure)105を提供する損失計算機(loss calculator)104に提供される。一実施形態では、損失尺度105は、超解像データ78及び高解像度データセット92の空間領域上及びそれらの同じ画像のフーリエ領域(周波数領域)上の平均二乗誤差(MSE)の加重結合であってよい。MSEの測定値は、損失計算機104に組み込まれたVGGニューラルネット107から得られたVGG損失の測定値と組み合わせてもよく、また超解像データ78と高解像度データセット92の両方について動作し、VGGニューラルネットの層特徴マップをこれら二つの入力について比較することによりVGG損失の測定値を提供する。VGGニューラルネット107は、組織の種類を分類するようにトレーニングされてもよい。このような損失測定の例は、K. Simonyan and A. Zisserman, “Very deep convolutional networks for large-scale image recognition,” in International Conference on Learning Representations (ICLR), 2015に記載されている。この損失測定値105は、学習プロセスの一部として生成器100にフィードバックされる。VGG損失は、生成器ネットワークに対するコンテンツ損失の一部である。
【0045】
生成器100によって生成された超解像データ78は、超解像データ78が高解像度データセット92によって表されるネイティブに得られたHR画像(natively obtained HR image)である可能性(それらの類似性の尺度である)を決定するために識別器102をトレーニングするために使用することもできる。識別器102は、複数の減少解像度データセット(reduced-resolution data sets)94によって生成された超解像度データ78の連続するセットを、標準分類ネットワーク(standard classification network)であるトレーニングセット90の高解像度データセット92の対応するデータと比較する。
【0046】
発生器100と識別器102がトレーニングされた後、識別器102によって提供される目的関数を通して発生器100の更なるトレーニングのために一緒に動作される。トレーニングの完了後、生成器100の神経重みは、特定の組織タイプに関して上述したプログラム38のプロセスブロック76に使用されるように保存される。
【0047】
生成器100および識別器102は、一般に、Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network, Christian Ledig, Lucas Theis, Ferenc Huszar, Jose Caballero, Andrew Cunningham, Alejandro Acosta, Andrew Aitken, Alykhan Tejani, Johannes Totz, Zehan Wang, Wenzhe Shi, arXiv.org > cs > arXiv:1609.04802に記載のデザインに従って構築することができる。
【0048】
ここで
図5を参照すると、ブースティングは、減少解像度データ61として動作するプロセスブロック60(
図2に示す)のスキャン中に得られた取得された投影42上で直接行われてもよく、このデータは、超解像度投影42の形態で超解像度データ78を生成するために生成器100によって受信され得ることが理解されるであろう。これらの後者の投影42は、トモシンセシス再構成器52に提供されて(例えば、フィルタリング逆投影を採用して)、超解像度データ78を有する結果的なスライス画像54を提供することができる。
【0049】
あるいは、
図6に示すように、減少解像度投影42は、減少解像度データ61として動作する減少解像度スライス画像54を生成するために再構成器52に提供されてもよく、それは、超解像度データ78を有する高解像度スライス画像54を生成するために生成器100に提供されてもよい。
【0050】
高解像度データは、全てのスライス又は投影に適用することができ、また、重要な臨床情報又は臨床医の関心を含む特定のスライス又は投影に適用することもできる。用語「スライス厚」は、その平面的範囲に垂直なスライスの中心線間の分離、又はスライスの平面に概ね垂直なスライスによって定義されるボリュームの厚さを指すことができることが理解されるであろう。本明細書で使用される場合、データに言及するときの「ボリューム」という用語は、文脈から明らかになるように、一組のスライス画像又はスライス画像を再構成するために使用される生データを表す。
【0051】
本開示の前述の組成物、装置、及び方法は、これらが変化し得るため、特定の実施形態及び方法論に限定されないことが理解される。また、本明細書で使用される用語は、特定の例示的な実施形態を説明するためだけのものであり、添付の請求項によってのみ限定される本開示の範囲を限定することを意図していないことも理解される。
【符号の説明】
【0052】
10:トモシンセシス装置 12:X線源 16:X線ビーム 18:投影軸 20:検出器 21:検出器素子 22:多関節アーム組立体 24:円弧 25:患者テーブル 26:患者 28:患者体積 32:トモシンセシス制御装置 34:プロセッサ 36:メモリ 38:プログラム 40:データ 42:投影 50:投影セット 52:トモシンセシス再構成器 54:断面画像 56:ユーザインタフェース 61:トモシンセシス減衰データ 62:取得ボリューム 64:フォーカス部分 65:トレーニングされたニューラルネットワーク 68:体積マスク 72:より小さいボリューム 78:超解像データ 86:トレーニングされたニューラルネットワーク 88:高解像度データ 90:トレーニングセット 92:トレーニングデータセット 94:減少解像度データセット 100:生成器 102:識別器 104:損失計算器 105:損失尺度 107:VGGニューラルネットワーク
【外国語明細書】