(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023080021
(43)【公開日】2023-06-08
(54)【発明の名称】不均質ファントム領域の自律的識別のためのシステム及び方法
(51)【国際特許分類】
A61B 6/03 20060101AFI20230601BHJP
【FI】
A61B6/03 360J
A61B6/03 360T
A61B6/03 F
A61B6/03 373
【審査請求】有
【請求項の数】20
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2022175193
(22)【出願日】2022-11-01
(31)【優先権主張番号】17/536,323
(32)【優先日】2021-11-29
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】319011672
【氏名又は名称】ジーイー・プレシジョン・ヘルスケア・エルエルシー
(74)【代理人】
【識別番号】100105588
【弁理士】
【氏名又は名称】小倉 博
(74)【代理人】
【識別番号】100129779
【弁理士】
【氏名又は名称】黒川 俊久
(74)【代理人】
【識別番号】100151286
【弁理士】
【氏名又は名称】澤木 亮一
(72)【発明者】
【氏名】ダッタ・アーカ
(72)【発明者】
【氏名】クリスタ・メー・マクルーア
(72)【発明者】
【氏名】ジョン・ムーア・ボウドリー
【テーマコード(参考)】
4C093
【Fターム(参考)】
4C093AA22
4C093AA26
4C093CA36
4C093EA07
4C093FD09
4C093FF16
4C093FF28
4C093GA01
4C093GA05
(57)【要約】 (修正有)
【課題】不均質ファントム領域の深層学習による自律的識別のためのシステム及び方法を提供する。
【解決手段】計算機実装型の方法が、プロセッサにおいて、様々な減弱係数の複数の物質を有する不均質領域を含むファントムの断層写真法画像を得るステップを含んでいる。方法はまた、プロセッサを介して、セグメント分割画像を形成するように断層写真法画像から不均質領域を自動でセグメント分割するステップを含んでいる。方法はさらに、プロセッサを介して、セグメント分割画像に基づいて断層写真法画像内で様々な減弱係数を有する複数の着目領域を自動で識別するステップを含んでいる。方法はさらにまた、プロセッサを介して、複数の着目領域の各々の着目領域を、複数の物質のうち特定の物質を表わすと自動でラベル付けするステップを含んでいる。方法はさらにまた、プロセッサを介して、断層写真法画像のラベル付き画像を出力するステップを含んでいる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
プロセッサにおいて、様々な減弱係数の複数の物質を有する不均質領域を含むファントムの断層写真法画像を得るステップと、
前記プロセッサを介して、セグメント分割(された)画像を形成するように前記断層写真法画像から前記不均質領域を自動でセグメント分割するステップと、
前記プロセッサを介して、前記セグメント分割画像に基づいて前記断層写真法画像内で様々な減弱係数を有する複数の着目領域を自動で識別するステップと、
前記プロセッサを介して、前記複数の着目領域の各々の着目領域を、前記複数の物質のうち特定の物質を表わすと自動でラベル付けするステップと、
前記プロセッサを介して、前記断層写真法画像のラベル付き画像を出力するステップと
を備えた計算機実装型の方法。
【請求項2】
前記プロセッサを介して、正しく配置されたファントムに対する前記ファントムの回転角度を自動で決定するステップを含んでいる請求項1に記載の計算機実装型の方法。
【請求項3】
前記回転角度を自動で決定するステップは、前記セグメント分割画像を、正しく配置されたファントムについての参照画像に対して比較することを含んでいる、請求項2に記載の計算機実装型の方法。
【請求項4】
前記プロセッサを介して、前記正しく配置されたファントムに対する前記ファントムの前記回転角度を出力するステップを含んでいる請求項2に記載の計算機実装型の方法。
【請求項5】
前記プロセッサを介して、前記複数の着目領域の各々の着目領域毎に少なくともラベル及び前記特定の物質の両方を有するテーブルを出力するステップを含んでいる請求項1に記載の計算機実装型の方法。
【請求項6】
前記複数の着目領域の各々の着目領域が、前記ファントム内の異なる棒を表わしている、請求項1に記載の計算機実装型の方法。
【請求項7】
前記断層写真法画像から前記不均質領域を自動でセグメント分割するステップは、前記セグメント分割画像を形成するために、前記断層写真法画像から前記不均質領域をセグメント分割するように訓練済み深層ニューラル・ネットワークを利用することを含んでいる、請求項1に記載の計算機実装型の方法。
【請求項8】
前記プロセッサを介して、複数の画像-ラベル対を含む訓練データを得るステップであって、各々の画像-ラベル対が、正しく配置されたファントムに対して回転した前記不均質領域を有する拡張断層写真法画像と、該拡張断層写真法画像の対応するセグメント分割画像とを含んでいる、得るステップと、
前記プロセッサを介して、前記訓練済み深層ニューラル・ネットワークを生成するように前記訓練データを利用して深層ニューラル・ネットワークを訓練するステップと
を含んでいる請求項7に記載の計算機実装型の方法。
【請求項9】
前記プロセッサを介して、未拡張断層写真法画像に対して拡張を実行することにより前記訓練データを生成するステップであって、拡張は前記不均質領域を無作為に回転させること及びノイズを加えることを含んでいる、生成するステップを含んでいる請求項8に記載の計算機実装型の方法。
【請求項10】
前記複数の着目領域を自動で識別するステップは、前記断層写真法画像内の多重連結ピクセル領域、及び予め画定された数よりも多い連結ピクセルから成るピクセル領域を識別することを含んでいる、請求項1に記載の計算機実装型の方法。
【請求項11】
各々の着目領域に自動でラベル付けするステップは、前記複数の着目領域についてラベル・マトリクスを生成することと、該ラベル・マトリクスを静的ルックアップ・テーブルに対して比較することとを含んでいる、請求項1に記載の計算機実装型の方法。
【請求項12】
各々の着目領域に自動でラベル付けするステップは、各々の着目領域毎に平均計算機式断層写真法値を算出することと、該平均計算機式断層写真法値を、特定の計算機式断層写真法値範囲を特定の物質に関連付ける動的ルックアップ・テーブルに対して比較することとを含んでいる、請求項1に記載の計算機実装型の方法。
【請求項13】
前記プロセッサを介して、各々の着目領域の前記ラベル付けに基づいて、前記複数の着目領域の1又は複数の着目領域についてそれぞれの較正ベクトルを算出するステップを含んでいる請求項1に記載の計算機実装型の方法。
【請求項14】
前記プロセッサを介して、各々の着目領域の前記ラベル付けに基づいて、品質保証試験の部分として画質計量を算出するステップを含んでいる請求項1に記載の計算機実装型の方法。
【請求項15】
プロセッサを介して、断層写真法イメージング・システムの較正を開始するステップと、
前記プロセッサを介して、前記断層写真法イメージング・システムを利用して、様々な減弱係数の複数の物質を有する不均質領域を含むファントムの断層写真法画像を得るステップと、
前記プロセッサを介して、セグメント分割画像を形成するように前記断層写真法画像から前記不均質領域を自動でセグメント分割するステップと、
前記プロセッサを介して、前記セグメント分割画像に基づいて前記断層写真法画像内で様々な減弱係数を有する複数の着目領域を自動で識別するステップと、
前記プロセッサを介して、前記複数の着目領域の各々の着目領域を、前記複数の物質のうち特定の物質を表わすと自動でラベル付けするステップと、
前記プロセッサを介して、各々の着目領域の前記ラベル付けに基づいて前記複数の着目領域の1又は複数の着目領域についてそれぞれの較正ベクトルを算出するステップと
を備えた計算機実装型の方法。
【請求項16】
前記プロセッサを介して、前記それぞれの較正ベクトルを記憶するステップを含んでいる請求項15に記載の計算機実装型の方法。
【請求項17】
前記断層写真法画像から前記不均質領域を自動でセグメント分割するステップは、前記セグメント分割画像を形成するために、前記断層写真法画像から前記不均質領域をセグメント分割するように訓練済み深層ニューラル・ネットワークを利用することを含んでいる、請求項15に記載の計算機実装型の方法。
【請求項18】
各々の着目領域に自動でラベル付けするステップは、各々の着目領域毎に平均計算機式断層写真法値を算出することを含んでいる、請求項15に記載の計算機実装型の方法。
【請求項19】
プロセッサを介して、断層写真法イメージング・システムの品質保証試験を開始するステップと、
前記プロセッサを介して、前記断層写真法イメージング・システムを利用して、様々な減弱係数の複数の物質を有する不均質領域を含むファントムの断層写真法画像を得るステップと、
セグメント分割画像を形成するように前記断層写真法画像から前記不均質領域を自動でセグメント分割するステップと、
前記セグメント分割画像に基づいて前記断層写真法画像内で様々な減弱係数を有する複数の着目領域を自動で識別するステップと、
前記複数の着目領域の各々の着目領域を、前記複数の物質のうち特定の物質を表わすと自動でラベル付けするステップと、
前記プロセッサを介して、各々の着目領域の前記ラベル付けに基づいて画質計量を算出するステップと
を備えた計算機実装型の方法。
【請求項20】
前記断層写真法画像から前記不均質領域を自動でセグメント分割するステップは、前記セグメント分割画像を形成するために、前記断層写真法画像から前記不均質領域をセグメント分割するように訓練済み深層ニューラル・ネットワークを利用することを含んでいる、請求項19に記載の計算機実装型の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本書に開示される主題は、深層学習による不均質ファントム領域の自律的識別のためのシステム及び方法に関する。
【背景技術】
【0002】
容積測定医用撮像技術は、身体に関する三次元情報を収集するために多様な手法を用いている。例えば、計算機式断層写真法(CT)イメージング・システムは、多数の角度から患者を通過したX線ビームの減弱を測定する。これらの測定に基づいて、計算機が、放射線減弱を生じさせた患者の身体の部分の画像を再構成することができる。当業者には認められるように、これらの画像は、角度変位による一連の測定の別個の検査に基づく。CTシステムは、走査対象の線減弱係数の分布を表わすデータを発生することに注目すべきである。次いで、データを再構成して画像を生成し、これらの画像は典型的には、画面に表示され、また印刷されてもフィルムに再現されてもよい。
【発明の概要】
【発明が解決しようとする課題】
【0003】
CTシステムでは、較正工程時に、また品質保証(QA)試験のために、ファントムが一般に用いられている。均質なファントム(例えば単一の物質を用いて構成されたものであり、ファントム断面内では減弱係数は不変)の場合には、かかるファントムの内部領域を識別することは容易である。不均質ファントム(例えば多数の物質を用いて構成されたものであり、減弱係数が物質に応じてファントム画像内で変化する)は、単エネルギ型及び二重エネルギ型CTスキャナのQAにおいて様々な画質パラメータ計量を決定して適合させるために広く用いられている。現在、QA試験の中間段階として様々な物質について着目領域(ROI)を識別するために手動の介入が必要とされる。加えて、不均質ファントムは、多重エネルギ型光子計数CTスキャナでの較正目的に有利となり得る。このように、上述の課題を果たすために、不均質ファントムROIの正確で且つ自律的な識別が必要とされている。
【課題を解決するための手段】
【0004】
本来請求される主題の範囲に沿った幾つかの実施形態を以下にまとめる。これらの実施形態は請求される主題の範囲を限定するためのものではなく、可能な実施形態の簡単な概要を掲げるためのみのものである。実際に、本発明は多様な形態を包含することができ、これらの形態は、以下に述べる実施形態と同様である場合も異なる場合もある。
【0005】
一実施形態では、計算機実装型の方法が提供される。この方法は、プロセッサにおいて、様々な減弱係数の複数の物質を有する不均質領域を含むファントムの断層写真法画像を得るステップを含んでいる。方法はまた、プロセッサを介して、セグメント分割(された)画像を形成するように断層写真法画像から不均質領域を自動でセグメント分割するステップを含んでいる。方法はさらに、プロセッサを介して、セグメント分割画像に基づいて断層写真法画像内で様々な減弱係数を有する複数の着目領域を自動で識別するステップを含んでいる。方法はさらにまた、プロセッサを介して、複数の着目領域の各々の着目領域を、複数の物質のうち特定の物質を表わすと自動でラベル付けするステップを含んでいる。方法はさらにまた、プロセッサを介して、断層写真法画像のラベル付き画像を出力するステップを含んでいる。
【0006】
一実施形態では、計算機実装型の方法が提供される。この方法は、プロセッサを介して、断層写真法イメージング・システムの較正を開始するステップを含んでいる。この方法はまた、プロセッサを介して、断層写真法イメージング・システムを利用して、様々な減弱係数の複数の物質を有する不均質領域を含むファントムの断層写真法画像を得るステップを含んでいる。方法はまた、プロセッサを介して、セグメント分割画像を形成するように断層写真法画像から不均質領域を自動でセグメント分割するステップを含んでいる。方法はさらに、プロセッサを介して、セグメント分割画像に基づいて断層写真法画像内で様々な減弱係数を有する複数の着目領域を自動で識別するステップを含んでいる。方法はさらにまた、プロセッサを介して、複数の着目領域の各々の着目領域を、複数の物質のうち特定の物質を表わすと自動でラベル付けするステップを含んでいる。方法はさらに、プロセッサを介して、各々の着目領域のラベル付けに基づいて複数の着目領域の1又は複数の着目領域についてそれぞれの較正ベクトルを算出するステップを含んでいる。
【0007】
一実施形態では、計算機実装型の方法が提供される。この方法、プロセッサを介して、断層写真法イメージング・システムの品質保証試験を開始するステップを含んでいる。方法は、プロセッサを介して、断層写真法イメージング・システムを利用して、様々な減弱係数の複数の物質を有する不均質領域を含むファントムの断層写真法画像を得るステップを含んでいる。方法はまた、プロセッサを介して、セグメント分割画像を形成するように断層写真法画像から不均質領域を自動でセグメント分割するステップを含んでいる。方法はさらに、プロセッサを介して、セグメント分割画像に基づいて断層写真法画像内で様々な減弱係数を有する複数の着目領域を自動で識別するステップを含んでいる。方法はさらにまた、プロセッサを介して、複数の着目領域の各々の着目領域を、複数の物質のうち特定の物質を表わすと自動でラベル付けするステップを含んでいる。方法はさらにまた、プロセッサを介して、各々の着目領域のラベル付けに基づいて画質計量を算出するステップを含んでいる。
【図面の簡単な説明】
【0008】
本主題のこれら及び他の特徴、観点、及び長所は、添付図面を参照しながら以下の詳細な説明を読めばさらに十分に理解されよう。全図面を通して、類似の文字は類似の部分を表わす。
【0009】
【
図1】本開示の観点による患者のCT画像を取得して該画像を処理するように構成された計算機式断層写真法(CT)システムの実施形態の模式図である。
【
図2】本開示の観点による不均質ファントムを撮像するX線源及び多列X線検出器の概略図(例えばXY平面で見た)である。
【
図3】本開示の観点による不均質ファントム内の領域を識別する方法の流れ図である。
【
図4】本開示の観点による静的ルックアップ・テーブル及びラベル付き又はアノテーション(注釈)付き断層写真法画像の一例を示す図である。
【
図5】本開示の観点による動的ルックアップ・テーブル及びラベル付き又はアノテーション付き断層写真法画像の一例を示す図である。
【
図6】本開示の観点による座標、番号、及び物質の説明を含むチャート例を示す図である。
【
図7】本開示の観点による
図3の方法の模式図である。
【
図8】本開示の観点による不均質ファントム内の領域を識別するために深層ニューラル・ネットワークを訓練する方法の流れ図である。
【
図9】本開示の観点による未拡張画像から訓練データを生成することについての模式図である。
【
図10】本開示の観点によるさらなる訓練データを生成することについての模式図である。
【
図11】本開示の観点による未拡張画像から生成される画像-ラベル対の訓練データの例を示す図である。
【
図12】本開示の観点によるROI位置決定アルゴリズムを利用した較正工程を実行する方法の流れ図である。
【
図13】本開示の観点によるROI位置決定アルゴリズムを利用したQA試験工程を実行する方法の流れ図である。
【発明を実施するための形態】
【0010】
以下、1又は複数の特定の実施形態について記載する。これらの実施形態の簡潔な記載を掲げる試みにおいて、実際の具現化形態の全ての特徴が明細書に記載されている訳ではない。このようなあらゆる実際の具現化形態の開発時には、どの工学的プロジェクト又は設計プロジェクトとも同じく、開発者特有の目標を達成するために、具現化形態毎に異なり得るシステム関連の制約事項及び業務関連の制約事項の遵守等のように、具現化形態特有の多くの決定を下さねばならないことを認められたい。また、かかる開発努力は複雑で時間が掛かるかもしれないが、それでも本開示の利益を得る当業者にとっては設計、製造、及び製品化の定型的業務であることを認められたい。
【0011】
本主題の様々な実施形態の要素について述べるに当たり、単数不定冠詞、定冠詞、「該」及び「前記」等の用語は、当該要素の1又は複数が存在することを意味するものとする。また「備えている(comprising)」「含んでいる(including)」及び「有している(having)」の各用語は包括的であるものとし、所載の要素以外に付加的な要素が存在し得ることを意味する。さらに、以下の議論でのあらゆる数値例は非限定的であるものとし、従って、付加的な数値、範囲、及び百分率が、開示される実施形態の範囲内にある。
【0012】
本開示の観点についての一般的な背景を掲げると共に本書に記載される技術的概念の幾つかの理解及び説明を容易にするために、幾つかの一般化された情報を掲げる。
【0013】
本書で議論される深層学習(DL)アプローチは、人工ニューラル・ネットワークに基づくものであってよく、従って、深層ニューラル・ネットワーク、全結合ネットワーク、畳み込みニューラル・ネットワーク(CNN)、パーセプトロン、エンコーダ-デコーダ、再帰型ネットワーク、ウェーブレット・フィルタ・バンク、U-Net、敵対的生成ネットワーク(GAN)、又は他のニューラル・ネットワーク・アーキテクチャの1又は複数を包含し得る。ニューラル・ネットワークは、ショートカット、活性化、バッチ正規化層、及び/又は他の特徴を含み得る。これらの手法を本書では深層学習手法として参照するが、この術語は、複数の層を有するニューラル・ネットワークである深層ニューラル・ネットワークの利用に特に関連して用いられる場合もある。
【0014】
本書で議論されるように、深層学習手法(深層機械学習、階層型学習、又は深層構造化学習としても知られる)は機械学習手法の一部門であり、データの数学的な表現と、かかる表現を学習して処理する人工ニューラル・ネットワークとを用いる。例として述べると、深層学習アプローチは、ある形式の着目データの高レベル抽象化を抽出し又はモデル化するために、1又は複数のアルゴリズムを用いることを特徴とし得る。このことは、各々の処理層が典型的には異なるレベルの抽象化に対応しているような1又は複数の処理層を用いて達成することができ、従って、各々の層は、所与の層の工程又はアルゴリズムの対象として、初期データの様々な側面又は前段の層の出力を潜在的に採用又は利用する(すなわち層の階層又はカスケード)。画像処理又は再構成の文脈では、このことは、異なる層がデータにおける異なる特徴レベル又は分解能に対応しているものとして特徴付けられ得る。一般的には、一つの表現空間から次レベルの表現空間への処理を工程の一つの「段階」と看做すことができる。工程の各々の段階が、別個のニューラル・ネットワークによって、又は一つのより大きいニューラル・ネットワークの異なる部分によって実行され得る。
【0015】
本開示は、不均質ファントム領域の深層学習による自律的識別のためのシステム及び方法を提供する(例えば着目領域位置決定アルゴリズムを介して)。開示される各実施形態は、ファントムの断層写真法画像を得る又は取得するステップを含んでいる(例えばCTスキャナを介して)。ファントムは、様々な又は異なる減弱係数の複数の物質を(例えば複数の棒[ロッド]の内部に)有する不均質領域を含んでいる。開示される各実施形態はまた、セグメント分割(された)画像(例えばセグメント分割マスク)を形成するために断層写真法画像から不均質領域を自動でセグメント分割するステップを含んでいる(例えば訓練済み深層ニューラル・ネットワークを介して)。開示される各実施形態はさらに、セグメント分割画像に基づいて断層写真法画像内で様々な減弱係数を有する複数の着目領域を自動で識別するステップを含んでいる。具体的には、開示される各実施形態は、正しく配置されたファントムに対するファントムの回転角度を自動で決定するステップを含んでいる(正しく配置されたファントムについての参照画像[例えば正解データの役割を果たす参照又はひな形のセグメント分割マスク]に対するセグメント分割マスクの比較を介して)。開示される各実施形態はさらにまた、複数の着目領域の各々の着目領域を、複数の物質のうち特定の物質を表わすと自動でラベル付けするステップを含んでいる。開示される各実施形態はさらにまた、断層写真法画像のラベル付き又はアノテーション(注釈)付き画像をラベル付き着目領域と共に出力するステップを含んでいる。幾つかの実施形態では、断層写真法画像内でのファントムの回転角度、並びに/又は各々の着目領域毎に少なくともラベル及び特定の物質の両方を有するチャートが出力される。開示される実施形態は、較正工程及びQA工程において、ファントム・ハードウェアを一切変更する(例えば領域を識別するためにトレーサ/標識を追加する)ことなく、多重構造の利用を可能にする。加えて、深層ニューラル・ネットワークは、どのファントムを用いても、どの走査プロトコルにおいても、訓練され得る。不均質ファントム内で着目領域を自動で識別するこの能力は、領域識別の効果を保証しつつ手動介入を不要にする。
【0016】
以上の議論を踏まえて、
図1は、本開示の観点による画像データを取得して処理するイメージング・システム10の実施形態を示す。以下の実施形態は、計算機式断層写真法(CT)イメージング・システムに関して議論されるが、これらの実施形態はまた、他のイメージング・システム(例えばX線、PET、CT/PET、SPECT、核CT、及び磁気共鳴撮像等)と共に用いられることもできる。図示の実施形態では、システム10は、X線投影データを取得し、投影データを断層写真法画像に再構成して、表示及び解析のために画像データを処理するように設計されたCTシステムである。CTイメージング・システム10は、X線源12を含んでいる。本書で詳細に議論されるように、線源12は、X線管又は固体放出構造のような1又は複数のX線源を含み得る。X線源12は、本実施形態によれば、1又は複数のエネルギにあるX線ビーム20を放出するように構成されている。
【0017】
幾つかの具現化形態では、線源12は、被検体24(例えば患者)又は着目する物体が配置された領域を通過する1又は複数のX線ビーム20の寸法及び形状を画定するのに用いられるコリメータ22の近傍に配置され得る。被検体24はX線の少なくとも部分を減弱させる。得られる減弱後のX線26は、複数の検出器素子によって形成される検出器アレイ28に衝突する。各々の検出器素子が、ビームが検出器28に衝突するときに当該検出器素子の位置に入射するX線ビームの強度を表わす電気信号を発生する。電気信号を取得し処理して、1又は複数の走査データセット又は再構成画像を生成する。
【0018】
システム制御器30が、検査及び/又は較正の各プロトコルを実行すると共に、取得されたデータを処理するようにイメージング・システム10の動作を指揮する。X線源12に関して、システム制御器30は、X線検査系列のために電力、焦点スポット位置、及び制御信号等を供給する。検出器28はシステム制御器30に結合されており、システム制御器30は、検出器28によって発生される信号の取得を指揮する。加えて、システム制御器30は、モータ制御器36を介して、イメージング・システム10の構成要素及び/又は被検体24を移動させるのに用いられる線形配置サブシステム32及び/又は回転サブシステム34の動作を制御することができる。システム制御器30は、信号処理回路と、付設されているメモリ回路とを含み得る。かかる実施形態では、メモリ回路は、本書で議論されるステップ及び工程に従って、X線源12を含めてイメージング・システム10を動作させるために、また検出器28によって取得されるデータを処理するために、システム制御器30によって実行されるプログラム、ルーチン、及び/又は符号化されたアルゴリズムを記憶することができる。一実施形態では、システム制御器30は、汎用計算機システム又は特定応用向け計算機システムのようなプロセッサ方式のシステムの全て又は部分として具現化され得る。
【0019】
線源12は、システム制御器30の内部に含まれるX線制御器38によって制御され得る。X線制御器38は、電力信号及びタイミング信号を線源12に与えるように構成され得る。また、システム制御器30はデータ取得システム(DAS)40を含み得る。DAS40は、検出器28からの標本化されたアナログ信号のように検出器28の読み出し電子回路によって収集されたデータを受け取る。次いで、DAS40は、計算機42のようなプロセッサ方式のシステムによって後に行なわれる処理のためにデータをディジタル信号へ変換することができる。他の実施形態では、検出器28が、標本化されたアナログ信号をディジタル信号へ変換した後に、データ取得システム40へ伝送することができる。計算機42は処理回路44(例えば画像処理回路)を含み得る。計算機42は、計算機42によって処理されたデータ、計算機42によって処理されるべきデータ、又は計算機42のプロセッサ(例えば処理回路44)によって実行されるべき命令を記憶し得る1又は複数の非一過性のメモリ装置46を含んでいてもよいし、かかるメモリ装置46と連絡していてもよい。例えば、計算機42の処理回路44は、計算機42のメモリ、プロセッサのメモリ、ファームウェア、又は同様の実例であってよいメモリ46に記憶された1又は複数の組の命令を実行することができる。本実施形態によれば、メモリ46は、プロセッサによって実行されると、本書で議論されるような画像処理方法を実行する命令の組を記憶している。メモリ46はまた、後にあらためて詳述されるように、不均質ファントム領域の自律的識別に利用され得る1又は複数のアルゴリズム及び/又はニューラル・ネットワーク47を記憶している。
【0020】
計算機42はまた、操作者ワークステーション48を介して操作者によって与えられた命令及び走査パラメータ等に応じて、システム制御器30によって実行可能にされる特徴(すなわち走査動作及びデータ取得)を制御するように構成され得る。システム10はまた、操作者ワークステーション48に結合された表示器50を含むことができ、表示器50は、関連システム・データを視認すること、再構成画像を観察すること、及び撮像を制御すること等を操作者が行なうことを可能にする。加えて、システム10は、操作者ワークステーション48に結合されて画像を印刷するように構成されたプリンタ52を含み得る。表示器50及びプリンタ52はまた、計算機42に直接接続されていてもよいし、操作者ワークステーション48を介して接続されていてもよい。さらに、操作者ワークステーション48は、医用画像保管通信システム(PACS)54を含んでいてもよいし、PACS54に接続されていてもよい。PACS54は、遠隔システム56、放射線科情報システム(RIS)、病院情報システム(HIS)、又は内外の網に結合されることができ、異なる位置の第三者が画像データを入手し得るようにしている。
【0021】
さらに、計算機42及び操作者ワークステーション48が他の出力装置に結合されていてもよく、これらの出力装置は標準型又は特殊目的向けの計算機モニタ及び付設の処理回路を含み得る。さらに、1又は複数の操作者ワークステーション48が、システム・パラメータを出力する、検査を依頼する、及び画像を観察する等のためにシステムに連結されていてよい。一般的には、表示器、プリンタ、ワークステーション、及びシステム内に提供される同様の装置は、データ取得構成要素に対して域内に位置していてもよいし、インターネット及び仮想私設網等のような1又は複数の構成変更可能な網を介して画像取得システムに連結されて施設又は病院内の他の場所や全く異なる位置等でこれらの構成要素から遠隔に位置していてもよい。
【0022】
以上の議論はイメージング・システム10の様々な構成要素例を別個に扱ったが、これら様々な構成要素が一つの共通のプラットフォーム内又は相互接続されたプラットフォームに設けられていてもよい。例えば、計算機30、メモリ38、及び操作者ワークステーション40は、本開示の観点に従って動作するように構成された汎用又は特殊目的向けの計算機又はワークステーションとしてまとめて設けられていてもよい。かかる実施形態では、汎用又は特殊目的向けの計算機は、システム10のデータ取得構成要素に関して別個の構成要素として設けられてもよいし、かかる構成要素と共に一つの共通のプラットフォームに設けられていてもよい。同様に、システム制御器30は、かかる計算機又はワークステーションの部分として設けられていてもよいし、画像取得専用の別個のシステムの部分として設けられていてもよい。
【0023】
全体的なイメージング・システム10の以上の議論を踏まえて
図2へ移ると、X線源12及び検出器28の一例(例えば複数の横列58を有するもの)がXY平面において図示されている。図示のように、コリメータ22がX線源12と検出器28との間に配設されて、X線ビーム20の形状を決定する。不均質ファントム60がX線源12と検出器28との間に配設されており、後述するようにCTイメージング・システム(例えば
図1のシステム10)の較正工程及びQA試験に利用され得る。不均質ファントム60は、様々な又は異なる減弱係数の複数の物質を有する不均質領域62を含んでいる。具体的には、各々の不均質領域62は、異なる減弱係数の異なる物質で形成された棒(ロッド)64であってよい。棒の幾つかが同じ物質を有していてもよい。棒の幾つかが、同じ物質を異なる濃度で有していてもよい。物質の例としては、カルシウム、ヨウ素、脂肪組織、水、鉄、組織を模した物質(例えば脳及び脂肪組織等)、及び血液を模した物質がある。
【0024】
本書に記載されているように、不均質ファントム内の様々な又は異なる減弱係数の領域(例えば棒)を自動で識別するための手法(例えば着目領域位置決定アルゴリズム)が用いられ得る。具体的には、これらの手法は、システム・ハードウェアと深層学習によるモデルとを組み合わせた全体論的アプローチを利用して、不均質ファントム内のこれらの領域を識別する。
図3は、不均質ファントム内の領域を識別する方法66の流れ図である。方法66の1又は複数のステップが、
図1のCTイメージング・システムの1又は複数の構成要素(例えば処理回路)によって実行されてもよいし、CTイメージング・システムとは別個の又はCTイメージング・システムから遠隔に位置する装置によって実行されてもよい。
【0025】
方法66は、不均質ファントムの断層写真法画像を得る又は取得するステップを含んでいる(ブロック68)。断層写真法画像は、予め画定されているプロトコル(例えばkV、mA、ボウタイ、回転速度、及びアパーチャ等)を利用して得ることができる。
【0026】
方法66はまた、セグメント分割画像(例えばセグメント分割マスク)を形成するように、断層写真法画像から不均質領域(例えば様々な又は異なる減弱係数の複数の物質を有する領域)を自動でセグメント分割するステップを含んでいる(ブロック70)。不均質領域のセグメント分割を実行するために、訓練済み深層ニューラル・ネットワークを利用することができる。幾つかの実施形態では、不均質領域のセグメント分割を実行するのに代替的な手法(例えばif-then文)を利用してもよい。
【0027】
方法66はさらに、正しく配置された不均質ファントム(又は予め画定されている位置にある不均質ファントム)に対する不均質ファントムの回転角度(例えば角度回転)を自動で決定するステップを含んでいる(ブロック72)。回転角度を決定するステップは、断層写真法画像から導かれたセグメント分割画像を、正しく配置された不均質ファントムの参照画像に対して比較することを含んでいる。参照画像は、正しく配置された不均質ファントムの断層写真法画像から導かれたセグメント分割画像又はセグメント分割マスクであってよい。類似度指数を利用してセグメント分割画像と参照画像との間の比較に基づいて回転角度を決定してもよい。決定され得るファントムの回転角度についての制限はない。
【0028】
方法66はさらにまた、セグメント分割画像に基づいて(すなわち決定された回転角度に基づいて)断層写真法画像内で様々な減弱係数を有する複数のROIを自動で識別するステップを含んでいる(ブロック74)。複数のROIは、不均質ファントム内の不均質領域に対応している。ROIを識別するステップは、断層写真法画像内で多重連結(例えば8)ピクセル領域を識別することを含んでいる。ROIを識別するステップはまた、予め画定された数(例えば100)よりも多い連結ピクセルから成るピクセル領域を識別することを含んでいる。
【0029】
方法66はさらにまた、複数のROIの各々のROIを、様々な又は異なる減弱係数の物質のうち特定の物質を表わすものとして自動でラベル付けするステップを含んでいる(ブロック76)。幾つかの実施形態では、ROIをラベル付けするステップは、複数のROIについてのラベル・マトリクスを生成し、このラベル・マトリクスを静的ルックアップ・テーブルに対して比較して、各々のROIを特定の物質を表わすものとしてラベル付けする/識別することを含んでいる。
図4は、静的ルックアップ・テーブル78及びラベル付き又はアノテーション付き断層写真法画像80の一例である。
図4では、ラベル付き画像80において、各々のROI82が、ラベル・マトリクスのラベル84(例えばR1、R2、及びR3等)に関連付けられている。
図4の静的ルックアップ・テーブル78においては、各々のラベル84が特定の物質に対応している。幾つかの実施形態では、ROIにラベル付けするステップは、各々のROI毎に平均CT値を算出し(例えばハンスフィールド単位[HU]で)、それぞれのCT値を動的ルックアップ・テーブルと比較して物質を決定することを含んでいる。動的ルックアップ・テーブルは特定のCT値範囲を特定の物質と関連付ける。
図5は、動的ルックアップ・テーブル78及びラベル付き又はアノテーション付き断層写真法画像88の一例である。
図5では、各々のROI90毎に平均CT値を決定している。
図5の動的ルックアップ・テーブル86では、各々の物質が特定のCT値範囲(例えばHU範囲)内と関連付けられている。
【0030】
図3へ戻り、方法66はさらにまた、断層写真法画像のラベル付き又はアノテーション付き画像(例えば
図4、
図5のラベル付き断層写真法画像80、88)を出力するステップを含んでいる(ブロック92)。幾つかの実施形態では、不均質ファントムの回転角度も出力される。幾つかの実施形態では、ラベル付き画像の各々のROI毎に少なくともラベル及び特定の物質(又は該物質の濃度若しくは密度)を含むチャートも出力される。このチャートはまた、各々のROIについての座標を含んでいてもよい。出力され得るチャート94の一例を
図6に掲げる。
【0031】
図7は、
図3の方法66(例えばROI位置決定アルゴリズム)の模式図である。
図3に示すように、不均質ファントムの画像96(例えばラベルなし断層写真法画像)が訓練済み深層ニューラル・ネットワーク98(例えば訓練済み畳み込みニューラル・ネットワーク)に入力される。訓練済み深層ニューラル・ネットワーク98は、様々な又は異なる減弱係数の複数の物質を有する不均質領域102を有する画像96から、セグメント分割画像100(例えばセグメント分割マスク)を形成する。セグメント分割画像100は参照画像又はひな形画像に対して比較されて、ここから類似度指数104を用いて、正しく配置された不均質ファントム(又は予め画定された位置にある不均質ファントム)に対する画像96での不均質ファントムの回転角度を決定することができる。着目領域は画像96において、連結領域を識別する(参照番号106によって示す)と共に100個よりも多いピクセルから成るピクセル領域を識別する(参照番号108によって示す)ことにより識別される。加えて、ラベル・マトリクスが、画像96の着目領域について作成される(参照番号110によって示す)。画像96の着目領域は、ラベル・マトリクスとルックアップ・テーブルとを比較することにより識別されてラベル付けされ得る(参照番号112によって示す)。画像96のラベル付き又はアノテーション付き画像114が出力される。図示の方法のステップの全てを自動化することもできる。
【0032】
図8は、不均質ファントム内の領域を識別するために深層ニューラル・ネットワーク(例えば
図7の深層ニューラル・ネットワーク98)を訓練する方法116の流れ図である。方法116の1又は複数のステップが、
図1のCTイメージング・システムの1又は複数の構成要素(例えば処理回路)によって実行されてもよいし、CTイメージング・システムとは別個の又はCTイメージング・システムから遠隔に位置する装置によって実行されてもよい。
【0033】
方法116は、深層ニューラル・ネットワーク(例えば畳み込みニューラル・ネットワーク)のための訓練データを生成するステップを含んでいる(ブロック118)。
図9に示すように、初期訓練データは、不均質ファントムの未拡張画像120(例えば断層写真法画像)を取り上げて、画像120に対して回転した中央部122を含む拡張画像又はデータ130を生成するように、画像120の周辺部126を不変に保ちつつ(画像128に示す)、画像120の中央部122を無作為に回転させる(画像123、124に示す)ことにより生成され得る。中央部122の回転度数が異なる画像120から一定数の拡張画像130が形成され得る。これらの拡張画像は、各々の拡張画像の不均質領域についてラベル(例えばセグメント分割画像又はセグメント分割マスク)を生成するように手動で処理され得る。このように、画像-ラベル対(拡張画像及びセグメント分割画像を含む)を拡張画像から生成することができる。
【0034】
これらの画像-ラベル対から、深層ニューラル・ネットワーク(例えば畳み込みニューラル・ネットワーク)が訓練されている間にさらなる訓練データ(元の訓練データとは異なる)を生成することができる。例えば、その場(in-place)データ拡張又は進行中(on-the-fly)データ拡張(例えばKeras深層学習ネットワーク・ライブラリのImageDataGeneratorクラスを利用)を用いて、追加の訓練データを生成することができる。
図10に示すように、画像のバッチ132を拡張画像-ラベル対のリポジトリ134から得、データ拡張を実行(参照番号136に示す)して無作為変換済みバッチ画像138を形成し、これらのバッチ画像138が、深層ニューラル・ネットワークを訓練するためのより大きい訓練データ集合140(拡張画像-ラベル対)を形成するように提供される。データ拡張は、無作為の並進及び回転、水平反転、垂直反転、幅シフト、及び高さシフトを含み得る。加えて、ノイズ(例えばガウス・ノイズ)を画像に導入することができる。
図11は、未拡張画像143から得られる拡張画像-ラベル対142の様々な例を掲げる。
図11の各々の拡張画像-ラベル対142は、拡張画像144及びセグメント分割画像146(例えば不均質領域についてのセグメント分割マスク)を含んでいる。
【0035】
図8へ戻り、方法116はまた、訓練データ(例えば画像-ラベル対)を得るステップを含んでいる(ブロック148)。方法116はさらに、不均質ファントムの入力画像から不均質領域をセグメント分割し得る訓練済み深層ニューラル・ネットワークを生成するように、深層ニューラル・ネットワークを訓練するステップを含んでいる(ブロック150)。この深層ニューラル・ネットワークは任意の走査プロトコルについて訓練され得ることを特記しておく。
【0036】
前述のように、ROI位置決定アルゴリズム(例えば
図3の方法66)を較正工程に利用することもできる。
図12は、ROI位置決定アルゴリズムを利用して較正工程を実行する方法152の流れ図である。方法152の1又は複数のステップが、
図1のCTイメージング・システムの1又は複数の構成要素(例えば処理回路)によって実行されてもよいし、CTイメージング・システムとは別個の又はCTイメージング・システムから遠隔に位置する装置によって実行されてもよい。
【0037】
方法152は、CTスキャナ・システム(
図1のCTイメージング・システム)の較正の実行を開始するステップを含んでいる(ブロック154)。方法152はまた、前述のような不均質ファントムの走査を実行するステップを含んでいる(ブロック156)。方法152はさらに、走査データを収集する又は得るステップ(ブロック158)と、不均質ファントムの断層写真法画像を形成するようにこの走査データに再構成を実行するステップ(ブロック160)とを含んでいる。方法152はさらにまた、不均質ファントムの断層写真法画像内で1又は複数の不均質領域を識別するステップを含んでいる(ブロック162)。不均質領域の識別は、前述のようにROI位置決定アルゴリズムを利用して生ずる。方法152はさらにまた、1又は複数の識別された不均質領域から所要の値(例えばCT値)を算出するステップを含んでいる(ブロック164)。方法152はさらにまた、1又は複数の不均質領域についてそれぞれの較正ベクトルを算出して記憶するステップを含んでいる(ブロック166)。方法152は、較正工程が完了したか否かを判定するステップを含んでいる(ブロック168)。完了していない場合には、方法152はブロック156へ戻る。完了した場合には、方法152は較正工程を終了するステップを含んでいる(ブロック170)。
【0038】
前述のように、ROI位置決定アルゴリズム(例えば
図3の方法66)をQA試験工程に利用することもできる。
図13は、ROI位置決定アルゴリズムを利用してQA試験工程を実行する方法172の流れ図である。方法172の1又は複数のステップが、
図1のCTイメージング・システムの1又は複数の構成要素(例えば処理回路)によって実行されてもよいし、CTイメージング・システムとは別個の又はCTイメージング・システムから遠隔に位置する装置によって実行されてもよい。
【0039】
方法172は、CTスキャナ・システム(
図1のCTイメージング・システム)のQA試験の実行を開始するステップを含んでいる(ブロック174)。方法172はまた、CTスキャナの放射線源と検出器との間に不均質ファントムを手動で配置するステップを含んでいる(ブロック176)。方法172はまた、不均質ファントムの走査を実行するステップを含んでいる(ブロック178)。方法172はさらに、走査データを収集する又は得るステップ(ブロック180)と、不均質ファントムの断層写真法画像を形成するようにこの走査データに再構成を実行するステップ(ブロック182)とを含んでいる。
【0040】
方法172は、不均質ファントムの中央領域を識別するステップを含んでいる(ブロック184)。方法172はまた、中央領域の識別に基づいて不均質ファントムが甚だしく不正に整列しているか否かを決定するステップを含んでいる(ブロック186)。不均質ファントムが甚だしく不正に整列している場合には、方法172は、不正整列が自動で補正され得るか否かを決定するステップを含んでいる(ブロック188)。不正整列が自動で補正され得ない場合には、方法172はブロック176へ戻る。不正整列が自動で補正され得る場合には、方法172は、軸横断平面においてテーブル位置を自動調節するステップ(ブロック190)と、且つ/又はz方向にテーブル位置を自動調節するステップ(ブロック192)とを含んでいる。
【0041】
不均質ファントムが甚だしく不正に整列している訳ではない場合には、方法172は、自律的ROI配置のために、識別された中央領域を画像解析への入力として渡すステップを含んでいる(例えば前述のようなROI位置決定アルゴリズムを利用)(ブロック194)。ROI位置決定アルゴリズムは、微小な不正整列が少しでもあれば補正することができる(すなわち微調整を提供する)。方法172はまた、画質(IQ)計量を算出するステップを含んでいる(ブロック196)。方法172はさらに、QA試験工程を終了するステップを含んでいる(ブロック198)。
【0042】
開示される実施形態の技術的効果としては、深層学習による不均質ファントム領域の自律的識別(例えば着目領域位置決定アルゴリズム)を提供することが挙げられる。開示される実施形態は、較正工程及びQA工程において、ファントム・ハードウェアを一切変更する(例えば領域を識別するためにトレーサ/標識を追加する)ことなく、多重構造の利用を可能にする。加えて、深層ニューラル・ネットワークは、どのファントムを用いても、どの走査プロトコルにおいても、訓練され得る。不均質ファントム内で着目領域を自動で識別する能力は、領域識別の効果を保証しつつ手動介入を不要にする。
【0043】
本書に提示され請求される手法は、本技術分野を実証的に改善する実用性のある有形物及び具体例を参照して、かかる有形物及び具体例に適用されており、このようなものとして、抽象的ではなく、無形でもなく、単に理論的なものでもない。さらに、本明細書の末尾に添えられた任意の請求項が「然々の[作用を果たす]ための手段」又は「然々の[作用を果たす]ためのステップ」と指定された1又は複数の要素を含む場合には、かかる要素は合衆国法典第35巻第112条(f)の下で解釈されるものとする。但し、他の任意の態様で指定された要素を含む任意の請求項については、かかる要素は合衆国法典第35巻第112条(f)の下で解釈されるべきでないものとする。
【0044】
この書面の記載は、最適な態様を含めて本主題を開示し、また任意の装置又はシステムを製造して利用すること、任意の組み込まれた方法を実行することを含めてあらゆる当業者が主題を実施することを可能にするように実例を用いている。特許付与可能な主題の範囲は特許請求の範囲によって画定されており、当業者に想到される他の実例を含み得る。かかる他の実例は、特許請求の範囲の書字言語に相違しない構造要素を有する場合、又は特許請求の範囲の書字言語と非実質的な相違を有する等価な構造要素を含む場合には、特許請求の範囲内にあるものとする。
【符号の説明】
【0045】
10 イメージング・システム
12 X線源
20 X線ビーム
22 コリメータ
24 被検体
26 減弱後のX線
28 検出器アレイ
30 システム制御器
32 線形配置サブシステム
34 回転サブシステム
58 検出器横列
60 不均質ファントム
62 不均質領域
64 棒
66 不均質ファントム内の領域を識別する方法
78 静的ルックアップ・テーブル
80、88 ラベル付き又はアノテーション付き断層写真法画像
82、90 ROI
84 ラベル
86 動的ルックアップ・テーブル
94 チャート
96 不均質ファントムの画像
98 訓練済み深層ニューラル・ネットワーク
100 セグメント分割画像
102 不均質領域
104 類似度指数
114 ラベル付き又はアノテーション付き画像
116 不均質ファントム内の領域を識別するために深層ニューラル・ネットワークを訓練する方法
120 未拡張画像
122 中央部
123、124 中央部が回転した画像
126 周辺部
128 周辺部が不変に保たれた画像
130 拡張画像又はデータ
142 拡張画像-ラベル対
143 未拡張画像
144 拡張画像
146 セグメント分割画像
152 ROI位置決定アルゴリズムを利用して較正工程を実行する方法
172 ROI位置決定アルゴリズムを利用してQA試験工程を実行する方法
【外国語明細書】