(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024052558
(43)【公開日】2024-04-11
(54)【発明の名称】コンピュータ断層撮影におけるアーチファクト駆動型データ合成
(51)【国際特許分類】
A61B 6/03 20060101AFI20240404BHJP
【FI】
A61B6/03 550F
A61B6/03 560Z
【審査請求】有
【請求項の数】20
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023141893
(22)【出願日】2023-09-01
(31)【優先権主張番号】17/937,152
(32)【優先日】2022-09-30
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】319011672
【氏名又は名称】ジーイー・プレシジョン・ヘルスケア・エルエルシー
(74)【代理人】
【識別番号】100105588
【弁理士】
【氏名又は名称】小倉 博
(74)【代理人】
【識別番号】100129779
【弁理士】
【氏名又は名称】黒川 俊久
(74)【代理人】
【識別番号】100151286
【弁理士】
【氏名又は名称】澤木 亮一
(72)【発明者】
【氏名】生田 昌己
(72)【発明者】
【氏名】ジュンピョ・ホン
(72)【発明者】
【氏名】ラジェッシュ・クマール・タマダ
(72)【発明者】
【氏名】ラヴィ・ソニ
【テーマコード(参考)】
4C093
【Fターム(参考)】
4C093AA22
4C093CA13
4C093CA32
4C093CA37
4C093FA44
4C093FC11
4C093FE01
4C093FE12
4C093FF41
(57)【要約】
【課題】人工知能(AI)アプリケーションのために合成アーチファクトでコンピュータ断層撮影(CT)画像を増強するためのコンピュータ処理技術を提供する。
【解決手段】コンピュータ実装方法は、プロセッサを含むシステムによって、1つ以上のCT画像アーチファクトに対応する合成アーチファクトデータを生成することを含むことができ、合成アーチファクトデータは、1つ以上のCT画像アーチファクトの解剖学にとらわれない合成表現を含む。本方法は、システムによって、合成アーチファクトデータを使用して、1つ以上のCT画像アーチファクトを含む増強CT画像を生成することを更に含む。1つ以上の実施例において、本方法は、システムによって、トレーニング画像として増強CT画像を使用して推論タスクを実行するように医用画像推論モデルをトレーニングすることを更に含むことができる。
【選択図】
図5
【特許請求の範囲】
【請求項1】
コンピュータ実行可能なコンポーネントを記憶するメモリと、
前記メモリに格納された前記コンピュータ実行可能コンポーネントを実行するプロセッサとを含むシステムであって、
前記コンピュータ実行可能コンポーネントは、
1つ以上のコンピュータ断層撮影画像のアーチファクトに対応する合成アーチファクトデータを生成するシミュレーションコンポーネントであって、該シミュレーションコンポーネントは、解剖学にとらわれないシミュレーションモデルを用いて該合成アーチファクトデータを生成する、前記シミュレーションコンポーネントと、
前記合成アーチファクトデータを使用して、前記1つまたは複数のコンピュータ断層撮影画像のアーチファクトを含む増強されたコンピュータ断層撮影画像を生成するデータ増強コンポーネントと、
を含む、システム。
【請求項2】
前記合成アーチファクトデータが、水材料、脂肪材料、軟組織材料、および血液材料からなる群から選択される材料内でシミュレートされた1つまたは複数のコンピュータ断層撮影画像アーチファクトの合成表現を含む、請求項1に記載のシステム。
【請求項3】
前記シミュレーションコンポーネントが、サイノグラム領域または投影領域で前記合成アーチファクトデータを生成する、請求項1に記載のシステム。
【請求項4】
前記シミュレーションコンポーネントは、画像領域において前記合成アーチファクトデータを生成する、請求項1記載のシステム。
【請求項5】
前記データ増強コンポーネントが、前記合成アーチファクトデータを1つ以上のコンピュータ断層撮影画像と組み合わせて、前記増強されたコンピュータ断層撮影画像を生成する、請求項1に記載のシステム。
【請求項6】
前記データ増強コンポーネントは、前記1つ以上のコンピュータ断層撮影画像に関連するグランドトゥルース関心領域データを使用して、前記1つ以上のコンピュータ断層撮影画像上の目標位置に前記1つ以上のコンピュータ断層撮影画像アーチファクトを位置合わせする、請求項5に記載のシステム。
【請求項7】
前記合成アーチファクトデータが解剖学にとらわれないものであり、前記1つ以上のコンピュータ断層撮影画像が異なる解剖学的領域に対応する複数の医用画像を含む、請求項5に記載のシステム。
【請求項8】
前記1つ以上のコンピュータ断層撮影画像アーチファクトは、複数の異なるタイプのアーチファクトを含み、前記データ増強コンポーネントは、前記増強されたコンピュータ断層撮影画像を生成することに関連して、複数の異なるタイプのアーチファクトのうちの2つ以上のアーチファクトを同一のコンピュータ断層撮影画像に結合する、請求項5記載のシステム。
【請求項9】
前記データ増強コンポーネントは、前記増強されたコンピュータ断層撮影画像の生成に関連して、前記1つ以上のコンピュータ断層撮影画像のアーチファクトを、異なる位置又は方向における同じコンピュータ断層撮影画像のそれぞれのコピーと結合する、請求項5に記載のシステム。
【請求項10】
前記1つ以上のコンピュータ断層撮影画像のアーチファクトは、複数の異なるタイプのアーチファクトを含む、請求項1に記システム。
【請求項11】
前記複数の異なるタイプのアーチファクトが、金属物体アーチファクト、ポアソンノイズアーチファクト、およびガウスノイズアーチファクトからなる群から選択される、請求項10に記載のシステム。
【請求項12】
前記1つ以上のコンピュータ断層撮影画像アーチファクトは、それぞれ異なるノイズレベルに対応する複数のノイズアーチファクトを含む、請求項1記載のシステム。
【請求項13】
前記コンピュータ実行可能な構成要素は、さらに、
推論タスクを実行するための医用画像推論モデルのトレーニングに関連するトレーニング画像として、前記増強されたコンピュータ断層撮影画像を使用するトレーニングコンポーネントを含む、請求項1に記載のシステム。
【請求項14】
プロセッサを含むシステムが、1つまたは複数のコンピュータ断層撮影画像のアーチファクトに対応する合成アーチファクトデータを生成するステップであって、該合成アーチファクトデータは、前記1つまたは複数のコンピュータ断層撮影画像のアーチファクトの解剖学にとらわれない合成表現を含む、前記ステップと、
前記システムが、前記合成アーチファクトデータを使用して、前記1つまたは複数のコンピュータ断層撮影画像アーチファクトを含む増強されたコンピュータ断層撮影画像を生成するステップと、
を含む、方法。
【請求項15】
前記解剖学にとらわれない合成表現が、水材料、脂肪材料、軟組織材料、および血液材料からなる群から選択される材料内でシミュレートされた1つまたは複数のコンピュータ断層撮影画像アーチファクトを表す、請求項14に記載の方法。
【請求項16】
前記合成アーチファクトデータを生成するステップが、サイノグラム領域、投影領域、または画像領域において前記合成アーチファクトデータを生成するステップを含む、請求項14に記載の方法。
【請求項17】
前記増強されたコンピュータ断層撮影画像を生成するステップは、前記合成アーチファクトデータを1つ以上のコンピュータ断層撮影画像と組み合わせて、前記増強されたコンピュータ断層撮影画像を生成することを含む、請求項14に記載の方法。
【請求項18】
前記増強されたコンピュータ断層撮影画像を生成するステップは、前記1つ以上のコンピュータ断層撮影画像に関連するグラウンドトゥルース関心領域データを使用して、前記システムが、前記1つ以上のコンピュータ断層撮影画像のアーチファクトを前記1つ以上のコンピュータ断層撮影画像上のターゲット位置に位置合わせするステップをさらに含む、請求項17に記載の方法。
【請求項19】
前記システムが、前記増強されたコンピュータ断層撮影画像をトレーニング画像として使用して推論タスクを実行するために、医用画像推論モデルをトレーニングするステップを含む、請求項14に記載の方法。
【請求項20】
実行可能命令を含む、非一過性の機械可読記憶媒体であって、
前記実行可能命令がプロセッサによって実行されると、
解剖学にとらわれないシミュレーションモデルを用いて合成アーチファクトデータを生成するステップであって、該合成アーチファクトデータは1つまたは複数のコンピュータ断層撮影画像のアーチファクトに対応する、ステップと
前記合成アーチファクトデータを使用して、前記1つまたは複数のコンピュータ断層撮影画像アーチファクトを含む増強されたコンピュータ断層撮影画像を生成するステップと
を含む複数のオペレーションの実行を容易にする、非一過性の機械可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、医用画像処理に関し、より詳細には、コンピュータ断層撮影(CT)画像を合成アーチファクトで増強するためのコンピュータ処理技術に関する。
【背景技術】
【0002】
機械学習(ML)モデルは、臓器のセグメンテーション、異常検出、診断分類、リスク予測、時間分析、画像再構成(organ segmentation, anomaly detection, diagnosis classification, risk prediction, temporal analysis, image reconstruction)など、多くの医療画像処理および分析タスクで使用されている。しかし、データ駆動型の機械学習アプローチにおける基本的な問題の1つは、最終的なモデルの推論能力(final model inferencing capability)が、モデル開発に使用される学習データの範囲によって制限されることである。医療画像分野に関しては、データ取得プロセスの性質上、異なる患者集団にわたる潜在的な画像変異の包括的な表現(a comprehensive representation of the potential image variants across different patient populations)を提供するモデル学習用の十分な医療画像を取得することは困難であり、コストがかかる場合がある。
【図面の簡単な説明】
【0003】
【
図1】開示された主題の1つ以上の実施形態に従って、CT画像を合成アーチファクトで増強する設備のある例示的なコンピューティングシステムを示す。
【
図2】開示された主題の1つ以上の実施形態に従ったCT画像アーチファクトのいくつかの例を示す。
【
図3A】従来のシミュレーションプロセスによるCT金属アーチファクトのシミュレーション例を示す図である。
【
図3B】開示された解剖学にとらわれないシミュレーションプロセスに従ったCT金属アーチファクトシミュレーションの例を示す図である。
【
図4】開示された主題の1つ以上の実施形態に従った、開示された解剖学にとらわれないシミュレーションプロセスを用いたCT画像領域及びCTサイノグラム領域におけるガウスノイズシミュレーションの例を示す図である。
【
図5】開示された主題の1つ以上の実施形態に従って、予め生成された合成アーチファクトデータを使用して増強CT画像データを生成するための例示的なワークフローを示す。
【
図6】
図6は、開示された主題の1つ以上の実施形態に従った、ポアソンノイズによるCT画像増強の例を示す図である。
【
図7】開示された主題の1つ以上の実施形態に従った、ガウスノイズによるCT画像増強の例を示す図である。
【
図8】開示された主題の1つ以上の実施形態に従って、ランダムに挿入された金属アーチファクトを有する例示的なCT画像増強を示す。
【
図9】開示された主題の1つ以上の実施形態に従った、グランドトゥルースラベリングを用いたCTにおける標的アーチファクト統合を示す図である。
【
図10】開示された主題の1つ以上の実施形態に従ってデータ増強コンポーネントによって促進される金属アーチファクトCT画像増強操作の幾つかの例を示す。
【
図11】開示された主題の1つ以上の実施形態に従って、CT画像を合成アーチファクトで増強し、医用画像推論モデルのトレーニングのために増強されたCT画像を採用する設備のある例示的なコンピューティングシステムを示す。
【
図12】開示された主題の1つ以上の実施形態に従って、合成アーチファクトを含む増強CT画像を生成するための例示的な、非限定的なコンピュータ実装方法のブロック図である。
【
図13】開示された主題の1つ以上の実施形態に従って、アーチファクトへの堅牢性を有する医用画像推論モデルを開発するための、例示的な非限定的コンピュータ実装方法のブロック図である。
【
図14】本明細書に記載される1つ以上の実施形態が促進され得る、例示的で非限定的な動作環境のブロック図を示す。
【発明を実施するための形態】
【0004】
以下の詳細な説明は単なる例示であり、実施形態および/または実施形態の適用もしくは用途を限定することを意図するものではない。さらに、先の「背景」のセクションまたは「詳細な説明」のセクションに提示された明示的または黙示的な情報に拘束される意図はない。
【0005】
開示される主題は、コンピュータ断層撮影(CT)人工知能(AI)アプリケーションのためのアーチファクト駆動型データ合成(artifact-driven data synthesis)を容易にするコンピュータ処理技術を提供するシステム、コンピュータ実装方法、装置、及び/又はコンピュータプログラム製品に向けられている。合成画像技術は、機械学習(ML)モデルのトレーニング(訓練)に使用される医用画像の量及び多様性を増加させるために医用画像領域で使用されており、このプロセスは一般にトレーニングデータ増強又は単にデータ増強(training data augmentation or simply data augmentation)と呼ばれる。医用画像収集システム(例えば、CTスキャナ)を介して捕捉された直接的な測定から得られる実際の医用画像データとは対照的に、合成画像技術は、規則ベースのスキーム、統計モデリング、シミュレーション、および他の技術を使用して、合成または人工的に生成された医用画像データを生成する。
【0006】
開示される主題の1つ以上の実施形態は、CTAI/MLアプリケーションのためのCT画像トレーニングデータセットのデータ増強のためのCTアーチファクトの採用に関連して、CTアーチファクトを合成することに向けられている。開示された技術は、実際のCT画像で観察される複数の異なるタイプのCT画像アーチファクトを識別し、これらのアーチファクトを独立して合成する。次いで、合成されたアーチファクトを様々な方法で実CT画像と組み合わせて、CTAI/MLモデル開発のためのトレーニング画像データセットの多様性を増加させるための追加トレーニング画像として使用することができる、増強された合成CT画像を生成する(すなわち、CTAIアプリケーションのためのアーチファクト駆動型データ合成)。この点に関して、実際のCT画像で観察されるアーチファクトには、金属物、ポアソンノイズ、ガウスノイズ、ストリーク、散乱(metal objects, Poisson noise, Gaussian noise, streaks, scatter)など、様々な種類がある。CT画像におけるアーチファクトをシミュレートするために、多くのシミュレーション手法が開発されてきた。しかし、これらのシミュレーションは通常、アーチファクト除去アプリケーションを開発する目的で実際のCT画像に対して実施されている。その結果、従来のCTアーチファクトシミュレーションには解剖学的依存性や患者依存性があり、増強目的(augmentation purposes)には使用できない。
【0007】
開示された技術は、実際のCT画像データで表現される身体の解剖学的領域とは対照的に、低い放射密度値を有するシミュレーション材料内で異なるCTアーチファクトをシミュレートするために、新規な解剖学にとらわれないシミュレーション方法(novel anatomy agnostic simulation method)を採用する。その結果、開示された技術は、解剖学にとらわれない(anatomically agnostic、例えば、身体のいかなる特定の解剖学的領域にも縛られない)ものであり、いかなる患者依存性(patient dependencies)もない合成CTアーチファクトを生成することができる。様々な実施形態において、シミュレーション材料は、好ましくは約-200と+200の間、より好ましくは約-100と+100の間、さらに好ましくは約-50と+50の間のハウンスフィールド単位(HU:Hounsfield unit)値を有する。いくつかの実施形態では、シミュレーション材料は、HU値がゼロである水からなる。他の適切なシミュレーション材料は、脂肪(例えば、約-50のHU値を有する)、ヒト軟組織(例えば、約+50のHU値を有する)、ヒト血液(例えば、約+50のHU値を有する)、および類似の材料を含み得るが、これらに限定されない。幾つかの実施形態では、開示された技法は更に、画像領域とは対照的にサイノグラム領域で合成CTアーチファクトを生成し、これにより合成CTアーチファクトの現実的な品質が更に向上する。他の実施形態では、合成CTアーチファクトは画像領域及び/又は投影領域で生成することができる。
【0008】
開示された主題の1つ以上の実施形態は、上述の解剖学にとらわれないシミュレーション方法を用いて複数の異なるCTアーチファクトを合成することに向けられている。異なるCTアーチファクトは、異なるCTアーチファクトの予め生成された合成表現に対応する。1つ以上の付加的な実施形態は、予め生成された合成CTアーチファクトをCT画像と組み合わせて、合成アーチファクトの1つ以上をそれぞれ含む増強CT画像を生成することに向けられている。1つ以上の追加的な実施形態は、アーチファクトに対する堅牢性(robustness:ロバスト性)が改善された1つ以上の推論タスク(one or more inferencing tasks)を実行するために、医用画像推論モデルのトレーニングと関連して増強CT画像を採用することに更に向けられる。
【0009】
一実施形態によれば、コンピュータ実行可能構成要素を記憶するメモリと、メモリに記憶されたコンピュータ実行可能構成要素を実行するプロセッサとを備えるシステムが提供される。コンピュータ実行可能構成要素は、1つ以上のCT画像アーチファクトに対応する合成アーチファクトデータを生成するシミュレーションコンポーネントを備え、シミュレーションコンポーネントは、解剖学にとらわれないシミュレーションモデルを使用して合成アーチファクトデータを生成し、その結果、合成アーチファクトデータは、低放射線密度値を有するシミュレーション材料内でシミュレートされた1つ以上のCT画像アーチファクトの1つ以上の合成表現から構成され、合成アーチファクトデータを解剖学にとらわれないものとする。様々な実施形態において、シミュレーション材料は、好ましくは約-200と+200の間、より好ましくは約-100と+100の間、更に好ましくは約-50と+50の間のHU値を有する。いくつかの実施形態において、シミュレーション材料は、HU値がゼロである水からなる。他の適切なシミュレーション材料は、脂肪(fat、例えば、約-50のHU値を有する)、ヒト軟組織(human soft tissue、例えば、約+50のHU値を有する)、ヒト血液(human blood、例えば、約+50のHU値を有する)、および類似の材質(similar materials)を含み得るが、これらに限定されない。
【0010】
1つ以上の実施態様において、シミュレーションコンポーネントは、サイノグラム領域において合成アーチファクトデータを生成する。他の実施態様では、シミュレーションコンポーネントは、投影領域において合成アーチファクトデータを生成する。さらに他の実施態様では、シミュレーションコンポーネントは、画像領域において合成アーチファクトデータを生成する。
【0011】
コンピュータ実行可能な構成要素は、合成アーチファクトデータを用いて1つ以上のコンピュータ断層撮影画像アーチファクトを含む増強CT画像(augmented CT images)を生成するデータ増強コンポーネント(data augmentation componen)を更に備える。これに関して、データ増強コンポーネントは、合成アーチファクトデータを1つ以上のCT画像と組み合わせて、増強CT画像を生成する。幾つかの実施態様では、データ増強コンポーネントは、1つ以上のCT画像に関連するグランドトゥルース関心領域データを用いて、1つ以上のCT画像上の目標位置に1つ以上のCT画像アーチファクトを位置合わせする。様々な実施態様において、1つ以上のCT画像は、異なる解剖学的領域に対応する医用画像を含んでいる。この点に関して、合成アーチファクトデータは解剖学にとらわれない(anatomically agnostic:解剖学的に不可知である)ため、データ増強コンポーネントは、スキャンされた身体部位又は身体領域に関係なく、対応するアーチファクトを任意のCTスキャン画像に適用することができる。また、データ増強コンポーネントは、増強CT画像の生成に関連して、1つ以上のCT画像のアーチファクトを、異なる位置又は方向における同じCT画像のそれぞれのコピーと組み合わせることができる。
【0012】
様々な実施態様において、1つ以上のCT画像アーチファクトは、複数の異なるタイプのアーチファクトから構成される。例えば、CT画像アーチファクトは、1つ以上の金属物体アーチファクト(metal object artifacts)、1つ以上のポアソンノイズアーチファクト(Poisson noise artifacts、例えば、異なるレベルのポアソンノイズを表す)、及び1つ以上のガウスノイズアーチファクト(Gaussian noise artifacts、例えば、異なるレベルのガウスノイズを表す)を含むことができる(ただし、これらに限定されない)。他のタイプのCT画像アーチファクトも想定される。幾つかの実施態様では、データ増強コンポーネントは、増強CT画像の生成に関連して、複数の異なるタイプのアーチファクトのうちの2つ以上のアーチファクトを同一のCT画像と組み合わせることもできる。
【0013】
1つ以上の実施態様において、コンピュータ実行可能構成要素は、推論タスク(inferencing task)を実行するための医用画像推論モデルのトレーニングに関連して、トレーニング画像として増強CT画像を用いるトレーニングコンポーネントを更に備える。
【0014】
いくつかの実施形態において、開示されたシステムに記載された要素は、コンピュータ実装方法、コンピュータプログラム製品、または他の形態などの異なる形態で具現化され得る。
【0015】
開示された技術は多くの技術的利点を提供する。開示された技術は、合成的に生成されCT画像に適用される人工的に統合されたアーチファクトを有するCT画像の形態で、増加した多様性で(with increased variety)CT画像トレーニングデータセットを効率的に増強することを提供する。アーチファクトのないCT画像だけでなく、合成アーチファクトを有する追加のCT画像を含む増強トレーニングデータセットは、増強トレーニングデータセットを用いてトレーニングした場合に、アーチファクトに対する医用画像推論モデルの堅牢性(例えば、精度、特異性など:accuracy, specificity, etc.)を著しく向上させる。加えて、合成CTアーチファクトが予め生成され、解剖学にとらわれず、患者依存性がない(patient dependencies)という事実により、開示された技法は、あらゆる解剖学的CT画像上で、異なる位置及び方向で、異なるタイプの合成アーチファクトの迅速かつ効率的な統合を可能にする。さらに、解剖学にとらわれないシミュレーションモデルを用いて合成アーチファクトを生成する開示された技法は、異なる解剖学的CT画像に適用可能な異なるタイプの合成アーチファクトを生成するのに必要な処理速度及び計算資源を大幅に削減する。
【0016】
本明細書において、「アルゴリズム:algorithm」および「モデル:model」という用語は、文脈上特に区別する必要がない限り、互換的に使用される。「人工知能(AI)モデル:artificial intelligence (AI) model」および「機械学習(ML)モデル:machine learning (ML) model」という用語は、文脈上特に区別する必要がない限り、本明細書において互換的に使用される。
【0017】
本明細書において、「画像推論モデル:image inferencing model」という用語は、画像データに対して画像処理または解析タスクを実行するように適合されたAI/MLモデルを指すために使用される。画像処理または解析タスクは様々である。様々な実施形態において、画像処理または解析タスクは、セグメンテーションタスク、画像再構成タスク、オブジェクト認識タスク、動き検出タスク、ビデオ追跡タスク、光学フロータスク(a segmentation task, an image reconstruction task, an object recognition task, a motion detection task, a video tracking task, an optical flow task)などを含むことができる(ただし、これらに限定されない)。本明細書で説明する画像推論モデルは、二次元(2D)画像処理モデルだけでなく、三次元(3D)画像処理モデルも含むことができる。画像処理モデルは、ディープラーニングモデル、ニューラルネットワークモデル、ディープニューラルネットワークモデル(DNN)、畳み込みニューラルネットワークモデル(CNN)、生成的敵対ニューラルネットワークモデル(GAN)(deep learning models, neural network models, deep neural network models (DNNs), convolutional neural network models (CNNs), generative adversarial neural network models (GANs))等を含む(ただし、これらに限定されない)様々なタイプのAI/MLアルゴリズムを採用することができる。本明細書において、「画像推論モデル」、「画像処理モデル:image inferencing model」、「画像解析モデル:image processing model」等の用語は、文脈上特に区別する必要がない限り、互換的に使用される。
【0018】
本明細書において、「画像ベースの推論出力:image-based inference output」という用語は、画像処理モデルが生成するように構成された決定または予測を指すために使用される。例えば、画像ベースの推論出力は、セグメンテーションマスク、再構成画像、適合画像、注釈画像、分類、値(a segmentation mask, a reconstructed image, an adapted image, an annotated image, a classification, a value)などを含むことができる。画像ベースの推論出力は、モデルのタイプおよびモデルが実行するように構成された特定のタスクに基づいて変化する。画像ベースの推論出力は、レンダリング可能なデータオブジェクト(例えば、視覚データオブジェクト)、保存可能なデータオブジェクト、別の処理タスクの入力として使用可能なデータオブジェクトなどを含むことができる。本明細書において、「画像ベースの推論出力:image-based inference output」、「推論出力:inference output」、「推論結果:inference result」、「推論:inference」、「出力:output」、「予測:predication(プレディケーション)」などの用語は、文脈上、用語間の区別が特に必要でない限り、互換的に使用される。
【0019】
本明細書において、「医用画像推論モデル:medical imaging inferencing model」とは、医用画像データに対して画像処理/解析タスクを実行するように調整された画像推論モデルを指す。例えば、医用画像処理/解析タスクには、疾患/状態分類、疾患領域セグメンテーション、臓器セグメンテーション、疾患定量化、疾患/状態ステージング、リスク予測、時間分析、異常検出、解剖学的特徴特性化、医用画像再構成(disease/condition classification, disease region segmentation, organ segmentation, disease quantification, disease/condition staging, risk prediction, temporal analysis, anomaly detection, anatomical feature characterization, medical image reconstruction)などが含まれる(ただし、これらに限定されない)。なお、本明細書において、「医用画像参照モデル:medical image inferencing model」、「医用画像処理モデル:medical image processing model」、「医用画像解析モデル:medical image analysis model」等の用語は、文脈上特に区別が必要な場合を除き、互換的に使用される。
【0020】
「画像データ:image data」という用語は、本明細書では、デジタル画像及びデジタル画像を生成するために使用されるデータ(例えば、画像取得システムによって生成された生の測定データ及び関連するメタデータ、シミュレートされた測定データ及び関連するメタデータ、サイノグラムデータ(raw measurement data generated by the imaging acquisition system and associated metadata, simulated measurement data and associated metadata, sinogram data)等)の両方を指すために使用される。開示された技術に適用されるように、画像データという用語は、CT画像データ、合成CT画像データ、CTアーチファクトデータ、合成CTアーチファクトデータ、及び増強CT画像データ(CT image data, synthetic CT image data, CT artifact data, synthetic CT artifact data, and augmented CT image data)を含み得る。医用画像データに適用される「ネイティブ:native」という用語は、本明細書では、医用画像取得システム(例えば、CTスキャナ)を介して取り込まれた直接測定から得られた実際の医用画像データを指すために使用される。医用画像データ、より詳細にはCTアーチファクトデータに適用される「合成:synthetic」という用語は、ルールベースのスキーム、統計的モデリング、シミュレーション(rule-based schemes, statistical modeling, simulation)、及びその他の技法を用いて生成された人工的に生成された医用画像データを指すために使用される。
【0021】
本明細書で説明するシステムおよびデバイスの実施形態は、1つまたは複数のマシン内で具現化された(例えば、1つまたは複数のマシンに関連付けられた1つまたは複数のコンピュータ可読記憶媒体内で具現化された)1つまたは複数のマシン実行可能(すなわち、コンピュータ実行可能)コンポーネントまたは命令を含むことができる。このようなコンポーネントは、1つまたは複数のマシン(例えば、プロセッサ、コンピュータ、コンピューティングデバイス、仮想マシンなど)によって実行されると、1つまたは複数のマシンに説明した動作を実行させることができる。これらのコンピュータ/マシン実行可能コンポーネントまたは命令(および本明細書で説明するその他)は、1つまたは複数のマシンに関連するメモリに格納することができる。メモリはさらに、少なくとも1つのプロセッサに動作可能に結合され、コンポーネントが少なくとも1つのプロセッサによって実行されて、説明される動作を実行することができるようにすることができる。いくつかの実施形態では、メモリは、実行可能なコンポーネントまたはプロセッサによって実行されると、それぞれの実行可能なコンポーネントについて説明された操作の実行を容易にする命令を含む、非一過性の機械可読記憶媒体(non-transitory machine-readable storage medium)を含むことができる。前記およびメモリおよびプロセッサ、ならびに他の好適なコンピュータまたはコンピューティングベースの要素の例は、
図14を参照して見出すことができ(例えば、それぞれ、処理ユニット1404およびシステムメモリ1406)、
図1に関連して示され、説明されるシステムまたはコンポーネントの1つまたは複数、または本明細書に開示される他の図を実装することに関連して使用することができる。
【0022】
次に、1つまたは複数の実施形態を図面を参照して説明するが、参照される同様の数字は、全体を通して同様の要素を参照するために使用される。以下の説明では、説明の目的で、1つまたは複数の実施形態のより徹底的な理解を提供するために、多数の具体的な詳細を記載する。しかしながら、様々な場合において、1つまたは複数の実施形態は、これらの具体的な詳細がなくても実施可能であることは明らかである。
【0023】
図1は、開示された主題の1つ以上の実施形態に従って、CT画像を合成アーチファクトで増強する設備(facilities)を備えた例示的なコンピューティング・システム(以下、システム100)を示している。システム100は、コンピュータ実行可能構成要素102、記憶装置116、通信構成要素122、入出力装置112、処理装置114及びメモリ124を含む。システム100は、コンピュータ実行可能コンポーネント112、記憶装置116、通信コンポーネント122、入出力デバイス112、処理ユニット114およびメモリ124を互いに結合するシステムバス126をさらに含む。いくつかの実施形態では、コンピュータ実行可能構成要素102は、メモリ124に記憶され、処理ユニット114によって実行されて、システム100に対応する構成要素に関して説明される動作を実行させることができる。これに関して、コンピューティングシステム100は、任意の適切なコンピューティングデバイスまたはマシン(例えば、通信デバイス、デスクトップコンピュータ、パーソナルコンピュータ、スマートフォン、サーバ、仮想コンピューティングデバイスなど)、またはコンピューティングデバイス/マシンの相互接続されたグループ(例えば、有線および/または無線通信技術を介した相互接続)に対応し得る。
【0024】
システム100は、CT画像データ130を含むシステム100によって処理されるべきデータを提供することができる外部記憶装置128に(例えば、任意の適切な有線及び/又は無線通信技術を経由して)通信可能に結合することができる。他の実施形態では、CT画像データ130は、記憶装置116及び/又はメモリ124にローカルに格納することができる。記憶装置116は、合成アーチファクトデータ118及び増強CT画像データ120を含む、システム100によって生成されるデータを記憶することができる。これに関して、記憶装置128及び記憶装置116は、コンピューティングシステム100によってアクセス可能な任意の適切な機械可読媒体に対応することができ、コンピュータ可読命令、データ構造、モデル、アルゴリズム、プログラムモジュール、又は他のデータなどの情報を記憶するための任意の方法又は技術で実装された揮発性媒体及び不揮発性媒体、取外し可能媒体及び取外し不可能媒体の両方を含む。コンピュータ記憶媒体には、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能プログラマブルリードオンリーメモリ(EPROM)、フラッシュメモリまたは他のメモリ技術、デジタルビデオディスク(DVD)または他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置または他の磁気記憶装置、または所望の情報を記憶するために使用することができ、コンピューティングシステム100によってアクセスすることができる他の任意の媒体を含むことができるが、これらに限定されない。
【0025】
通信コンポーネント122は、コンピューティングシステム100と他のシステム、装置及び/又はデータベース(例えば、記憶装置128)との間でデータの有線及び/又は無線通信を実行することができる任意の適切な通信技術ハードウェア及び/又はソフトウェアに対応することができる。この点に関して、通信コンポーネント122は、1つ以上の外部システム及び/又は装置からデータ(例えば、CT画像データ130)を受信し、1つ以上の外部システム及び/又は装置にデータ(例えば、合成アーチファクトデータ118、増強CT画像データ120等)を通信(例えば、送信、伝送等)することを提供することができる。通信コンポーネント122によって採用可能な好適な通信技術のハードウェア及び/又はソフトウェアの例は、
図14を参照して後述する。入力/出力デバイス112は、コンピューティングシステム100の特徴および機能性の使用に関連してユーザ入力を受信し、ユーザに情報を表示またはレンダリングする(例えば、ディスプレイを介して視覚フォーマットで、音声としてなど)ことを提供する任意の適切な入力および/または出力デバイス(例えば、キーボード、マウス、タッチスクリーン、ディスプレイなど)に対応し得る。例えば、様々な実施形態において、入力/出力デバイス112は、任意の適切なディスプレイデバイスを含むことができ、レンダリングコンポーネント110は、ディスプレイデバイスを介して、システム100によって受信されたデータ(例えば、CT画像データ130)及び/又はシステム100によって生成されたデータ(例えば、合成アーチファクトデータ118、増強CT画像データ120)のいずれかをレンダリング(例えば、表示、提示等)することができる。いくつかの好適な入力/出力装置112の追加的な例も、1つ以上の入力装置1428及び1つ以上の出力装置1436に関して
図14を参照して説明される)。
【0026】
コンピュータ実行可能コンポーネント102は、シミュレーションコンポーネント104、シミュレーションモデル106、データ増強コンポーネント108、およびレンダリングコンポーネント110を含むことができる。
【0027】
シミュレーションコンポーネント104は、1つ以上のCT画像アーチファクトに対応する合成アーチファクトデータ118を生成することができる。金属物体、ノイズ(例えば、ポアソンノイズ、ガウスノイズ等)、縞、散乱(metal objects, noise (e.g., Poisson noise, Gaussian noise, etc.), streaks, scatter)、その他幾つかのもの等、実CT画像又はネイティブCT画像で観察される多くの異なるタイプのアーチファクトが存在する。
図2は、開示される主題の1つ以上の実施形態に従ったCT画像アーチファクトのいくつかの例を示す。
図2に示すように、CT画像アーチファクトは、システム設計(例えば、CT走査及び再構成システムの設計、モデル、メーカの動作設定等)、X線管誘起、検出器誘起、患者誘起、操作者誘起(system design (e.g., design, model, make operating settings, etc., of the CT scanning and reconstruction system), X-ray tube induced, detector induced, patient induced, operator induced)等に起因するアーチファクトを含むことができる。これらのカテゴリの1つ以上に起因するアーチファクトは、ノイズ、ぼやけ、縞、物体、その他の画像特性の形で視覚的な画像特徴として実際のCT画像に日常的に現れる。CT撮影プロセスの性質とCTアーチファクトの様々な原因により、実際のCT画像に現れる様々なCTアーチファクトの量と多様性は高い。従って、医療分野において(実際の患者に対する)実際のCT画像に対して臨床的な推論タスクを実行するための医用画像推論モデルのトレーニング及び開発に使用されるトレーニングデータセットは、観察される可能性のある広範囲のCTアーチファクトを考慮する必要がある。背景のセクションで述べたように、実行時に実際の患者画像に存在する可能性のある様々なアーチファクトを考慮したML/AIモデルのトレーニングと開発のための実際のCT画像トレーニングデータセットを入手することは困難であり、コストがかかる可能性がある。
【0028】
図1-2を参照すると、この文脈を念頭に置いて、シミュレーションコンポーネント104は、
図2に示される広範囲の異なるCTアーチファクトの合成表現(synthetic representations、例えば、合成アーチファクトデータ118)を生成することができる。データ増強コンポーネント108は、合成表現を使用して、異なるCTアーチファクトのうちの1つ以上を含む増強CT画像をさらに生成することができる。この目的を容易にするために、シミュレーションコンポーネント104は、合成アーチファクトデータ118を生成するためにシミュレーションモデル106を採用することができる。シミュレーションモデル106は、人体とは対照的な水ボディ(a body of water as opposed to the human body)のような実際のCT画像データに表される身体の解剖学的領域とは対照的に低い放射密度値を有するシミュレーション材料内のCTスキャナによるそれぞれのCTアーチファクトの捕捉をシミュレートする。その結果、シミュレーションモデル106は、解剖学にとらわれず(例えば、身体のいかなる特定の解剖学的領域にも縛られない)、いかなる患者依存性もない合成CTアーチファクトを生成し、シミュレーションモデル106を解剖学にとらわれないか又は解剖学的に独立したシミュレーションモデルとする。様々な実施形態において、シミュレーション材料は、好ましくは、約-200と+200との間、より好ましくは約-100と+100との間、更に好ましくは約-50と+50との間のHU値を有する。いくつかの実施形態において、シミュレーション材料は、HU値がゼロである水を含む。他の適切なシミュレーション材料は、脂肪(例えば、約-50のHU値を有する)、ヒト軟組織(例えば、約+50のHU値を有する)、ヒト血液(例えば、約+50のHU値を有する)、および類似の材料を含み得るが、これらに限定されない。
【0029】
この点で、CTスキャナは、回転するX線(XR:X-ray)管と、体内の様々な組織によるXR減衰を測定するためにガントリ内に配置された検出器の列を使用する。従来のCTスキャニング手順に従って、患者はCTイメージング・システムの円形開口部を通して電動スキャニングテーブル(電動走査台)の中央に置かれる。患者が電動スキャニングテーブルを経由してCT撮像システム内を通過する際(例えば、患者の身体に対して異なる管位置を生成するために漸進的に前方又は後方に)、XR源を提供するXR管が円形開口部の内側を回転する。XR管は、患者の体の一部を照射するために使用されるXRの狭い扇形ビームを生成する。典型的な検査では、いくつかのフェーズがあり、各フェーズは、円形開口部を通って移動するテーブルと協調して、患者の周りをXR管が10~50回転することで構成される。患者の出口側にある検出器は、XR管の1つの位置(角度またはビュー:angle or view)におけるXR「スナップショット:snapshot」として、照射されている患者の身体の部分から出るXR信号を記録する。より詳細には、XR管は患者の体を通してXR光子を投射し、体の反対側のガントリに配置された検出器のアレイは、投射信号または単に投射(a projection signals or simply projections)と呼ばれる検出器セルに到達する光子の量に基づいて、体内の異なる組織による光子のXR減衰を測定する。したがって、各管位置に対応する各「スナップショット」は、複数の投影から構成することができる。各管位置(例えば、各管角度又はビュー)について得られる投影の数は、検出器セルの構成に依存し、この検出器セルは、1つ以上のセルの行及び列のアレイを含むことができる。多くの異なる「スナップショット」(角度)が、1回の完全な(例えば360°)回転中に収集される。走査プロセス中に撮影された投影のコレクションは、次にコンピュータに送られ、個々の「スナップショット」のすべてを、XR管の完全な回転ごとに、内臓および組織の断面画像(スライス:slice)に再構成する。この点に関して、従来の(例えば、非ヘリカル:non-helical)CT走査手順では、一回転の各管位置(例えば、角度又はビュー)で捕捉された信号の集合(本明細書では投影(projections)と呼ぶ)が、次に逆投影されて、その回転の身体の断面スライスに対応する再構成画像が作成される。
【0030】
投影はハウンスフィールド単位(HU:Hounsfield unit)の関数として測定される。ハウンスフィールド単位(HU)は、放射線技師がCT画像を解釈する際に使用する放射線密度の相対的定量測定値である。組織内の放射線の吸収/減衰係数(absorption/attenuation coefficient)は、CT再構成時にグレースケール画像を生成するために使用される。組織の物理的密度はX線ビームの吸収/減衰に比例する。HU(CT単位とも呼ばれる)は、X線ビームのベースライン線形減衰係数の線形変換(a linear transformation of the baseline linear attenuation coefficient)に基づいて計算される。
【0031】
シミュレーションモデル106は、CTで測定された人体組織の約72%を水が占めており、データサイエンス用途(例えば、AIモデルのトレーニングや開発)にとって水が人体の良好な近似媒体であることに基づいている。また、蒸留水のHU値(標準温度、標準圧力)は任意にゼロと定義されている。従って、水又は低いCT値を有する他の材料(例えば、脂肪、軟組織、血液等)のシミュレーション材料を使用することにより、シミュレーションモデル106は、ゼロ(即ち、空白のキャンバス/背景:blank canvas/background)又はゼロに近い(例えば、脂肪、軟組織、血液及び類似の材料に対して-50~+50)背景減衰媒体におけるCTアーチファクトの発生をシミュレートし、結果として生じる合成CTアーチファクト表現を解剖学的に独立したものにする。
【0032】
例えば、
図3Aは、従来のシミュレーションプロセスに従う例示的なCT金属アーチファクトシミュレーションを示し、
図3Bは、水のシミュレーション材料を使用する開示された解剖学にとらわれないシミュレーションプロセスに従う対応する例示的なCT金属アーチファクトシミュレーションを示す。
図3Aに示すように、本実施例における金属インプラントなどのアーチファクトをシミュレーションするための従来の方法は、実際のCT画像(すなわち、CT画像301及びCT画像302)に対して実施される。これに関して、CT画像301及びCT画像302はそれぞれ、合成的に生成された金属インプラント(白色で描かれている)が埋め込まれた大腿骨の実際のCT画像に対応する。
図3Aに示されるように、実際のCT画像データ上/中で金属インプラントをシミュレートした結果、結果として生じる金属アーチファクトは解剖学的依存性および患者依存性を有する。特に、シミュレートされた金属インプラントの視覚的外観は、それらがシミュレートされるCT画像の内容(すなわち、投影値および対応するピクセル特性)によってインパクトを受けるか、または影響を受ける(impacted or influenced)。逆に、
図3Bは、
図3Aに図示されている同じ金属インプラントからなりながらシミュレーションモデル106を使用して生成されたアーチファクト画像304および305を提示している。
図3Bに図示されているように、アーチファクト画像304および305は、解剖学的な依存関係を含んでいない。理論的には、解剖学的背景データから除去された合成CTアーチファクトを生成するためにセグメンテーション処理技術を使用して
図3Aの実際のCT画像からシミュレートされた金属インプラントを抽出しようとすることが考えられる。しかしながら、抽出されたアーチファクトは、それらが元々作成された背景データの影響を受ける視覚特性(visual properties)を依然として有するため、開示されたデータ増強の目的には不正確になる。加えて、CTアーチファクトの従来のシミュレーションは、特定の解剖学的データセット(例えば、脳、腹部、胸部など)に合わせたものであり、実行するには計算量が膨大(かつ高価)である。さらに、既存のシミュレーション技術を用いてシミュレーションされた各タイプのアーチファクト(例えば、金属インプラント、ポアソンノイズなど)は、異なるシミュレーション方法を必要とする。
【0033】
図1~
図3を参照すると開示された技術に従って、シミュレーションコンポーネント104は、同じシミュレーションモデル106を適用して、金属物体、ポアソンノイズ、ガウスノイズ、および
図2に表される様々な他のものを含む、様々な異なるタイプのCTアーチファクトに対する合成アーチファクトを生成することができる。加えて、アーチファクトは、水、脂肪、軟組織、血液、及び同様の材料(例えば、HU値が200と+200との間、より好ましくは約-100と+100との間、更に好ましくは約-50と+50との間)のような低い放射密度値を有するシミュレーション材料に対してシミュレートされるので、合成アーチファクトは、患者依存性又は解剖学的依存性を有しない。その結果、データ増強コンポーネント108は、任意の解剖学的身体領域又は身体部分(例えば、頭部、腹部、胸部等)に対応する任意のタイプのCT画像にそれらを適用することができる。
【0034】
幾つかの実施形態では、シミュレーションモデル106は、合成アーチファクトデータ118を画像領域(image domain:画像ドメイン)で生成することができる。さらに、または代替的に、シミュレーションモデル106は、画像領域とは対照的に、サイノグラム領域および/または投影領域において合成アーチファクトデータ118を生成することができ、これにより、合成CTアーチファクトの現実的な品質がさらに向上する。
図3Bに示されているアーチファクト画像304及び305は、画像領域でレンダリングされた合成金属物体アーチファクトを描いているが、画像領域、サイノグラム領域及び/又は投影領域でシミュレートされてもよいことが理解されるべきである。CTアーチファクトの任意のサイノグラム領域表現は、後述するように従来のCT再構成アルゴリズムを用いて画像領域及び/又は投影領域に変換することができ、その逆も可能である。
【0035】
この点に関して、上述したように、CTスキャニング手順に従って、XRのビームは、関心のある解剖学的スライスを通過させられ、その結果生じるXRは、体内のそれぞれの組織によって吸収された光子の量にそれぞれ対応する複数の投影からなる投影画像として、光源の反対側にある検出器上に捕捉される。線源と検出器の組み合わせは、多数の投影画像を捕捉(キャプチャ)するように、撮像される対象物の周りを一周するように回転させられる。これがCTの画像取得である。CTサイノグラム領域または単にサイノグラムとは、すべての投影画像の投影を含むデータの2次元配列を指す。各再構成CT画像は、CT画像スライスの視点(すなわち、位置及び向き)で捕捉/検出された投影値の2Dアレイに対応するサイノグラム表現を有する。これに関して、画像取得ステップに続いて再構成ステップが行われ、CT再構成アルゴリズム(例えば、逆投影及びフィルタ逆投影がその一例である)が、順投影(又はラドン変換)及び/又は逆投影(又は逆ラドン変換)を用いて撮像されたスライスの解剖学的詳細を取り戻す(get back)ために使用される。
【0036】
これに関して、サイノグラム領域でアーチファクトをシミュレートするという言及は、低い放射密度値を有する背景シミュレーション材料(例えば、水、脂肪、軟組織、血液及び同様の材料)を有するアーチファクト自体によって表されるシミュレートされた投影値(即ち、減弱強度)に対応する投影データを用いて合成アーチファクトをモデル化することを意味する。様々な実施形態において、シミュレーションモデル106を用いて、シミュレーションコンポーネント104はCTアーチファクトの合成サイノグラム表現を生成することができる。シミュレーションコンポーネント104はまた、従来のCT再構成アルゴリズム(例えば、逆投影及びフィルタ逆投影:back-projection and filtered back-projection)を用いて、合成サイノグラム表現を画像領域における合成CT画像に対応するグレースケール画像に変換することができる。これに関して、合成アーチファクトデータ118は、それぞれ異なるCTアーチファクトに対応する複数の合成アーチファクトから構成することができ、各合成アーチファクトは、合成サイノグラム表現と、サイノグラム表現から計算又は再構成された画像領域表現とから構成することができる。例えば、異なる合成アーチファクトは、異なるタイプの対象物(例えば、患者に観察される異なるタイプのインプラント)及び/又は異なる材料の対象物(例えば、異なるタイプの金属又は別の材料)に対応し得る。異なる合成アーチファクトはまた、ポアソンノイズ、ガウスノイズ、および/または異なるレベルのノイズ(例えば、異なるレベルのポアソンノイズおよび/またはガウスノイズ)に対応するノイズアーチファクトを含むことができる。
【0037】
データ増強コンポーネント108は更に、合成アーチファクトデータ118をCT画像データ(例えば、CT画像データ130)と組み合わせて、増強CT画像データ(augmented CT image data)120を生成することができる。この点に関して、データ増強コンポーネント108は、合成アーチファクトデータ118に含まれる合成アーチファクトをCT画像データ130に含まれるCT画像上又はCT画像内に挿入して、合成アーチファクトを含むCT画像の増強バージョンを生成することができる。CT画像データ130に表されるCT画像の種類は様々であり、身体の任意の解剖学的領域を表すCT画像に対応することができ、合成CT画像(synthetic CT images)だけでなく実CT画像(real CT images)も含まれる。
【0038】
幾つかの実施形態では、データ増強コンポーネント108はサイノグラム領域で増強CT画像を合成することができる。これらの実施形態では、CT画像データ130は、1つ以上のCT画像のサイノグラム表現を含むことができ、及び/又は、データ増強コンポーネント108は、順投影処理(forward projection processing)を用いてCT画像のサイノグラム表現をシミュレートすることができる。これらの実施形態により、データ増強コンポーネント108は、CT画像の第1のサイノグラム表現を合成アーチファクトの第2のサイノグラム表現と組み合わせて、アーチファクトを含む増強CT画像の第3の融合サイノグラム表現(third fused sinogram representation)を生成することができる。データ増強コンポーネント108は、更に、第3の融合サイノグラム表現を、レンダリングのために画像領域のグレースケールCT画像に変換することができる。他の実施形態では、データ増強コンポーネント108は、画像領域において増強CT画像データ120を生成することができる。これらの実施形態では、データ増強コンポーネント108は、CT画像データに含まれる(即ち、画像領域内の)CT画像と合成アーチファクトデータ118に含まれる(即ち、画像領域内の)合成アーチファクト画像とを組み合わせて、合成アーチファクトを含む増強CT画像を生成することができる。これらの実施形態の幾つかの実施態様では、データ増強コンポーネント108は、合成アーチファクト画像をオーバーレイデータとしてCT画像に適用することができる。
【0039】
図4は、開示された主題の1つ以上の実施形態に従って開示された解剖学にとらわれないシミュレーションプロセスを用いたCT画像領域及びCTサイノグラム領域における例示的なガウスノイズシミュレーションを示す図である。画像401は、骨盤の断面領域を描写する元のCT画像(original CT image)に対応する。画像402は、ガウスノイズの第1の合成表現(first synthetic representation of Gaussian noise)を元のCT画像401に付加した元のCT画像401の第1の増強バージョンに対応し、ガウスノイズの第1の合成表現は、シミュレーションモデル106を用いて画像領域でシミュレーションされた。画像404は、付加されたノイズのみを描写する差分画像(differential image、例えば、画像402から画像401を引いた画像)に対応する。画像403は、ガウシアンノイズの第2の合成表現を元のCT画像401に付加した元のCT画像401の第2の増強バージョンに対応し、ガウシアンノイズの第2の合成表現は、シミュレーションモデル106を用いてサイノグラム領域でシミュレーションされたものである。画像405は、付加されたノイズのみを描写する差分画像(例えば、画像404から画像401を引いた画像)に対応する。差分画像405と差分画像404との比較、及び画像403と画像402との比較により観察されるように、サイノグラム領域のシミュレーションは、サイノグラム表現を計算するために必要とされるCT走査ジオメトリの考慮(the consideration of the CT scanning geometry)により、CTにおけるガウスノイズのより現実的な表現をもたらす。
【0040】
図5は、開示された主題の1つ以上の実施形態に従って、予め生成された合成アーチファクトデータを使用して(例えば、データ増強コンポーネント108によって)増強CT画像データを生成するための例示的なワークフロー500を示す。
図1~
図5を参照すると、様々な実施形態において、合成アーチファクトデータは、(例えば、データ増強コンポーネント108によって)予め生成されている。様々な実施形態では、合成アーチファクトデータ118は、シミュレーションモデル106を使用してシミュレーションコンポーネント104によって生成された予め生成された合成CTアーチファクト(例えば、サイノグラム領域、投影領域及び/又は画像領域におけるCTアーチファクトの合成表現:synthetic representations of CT artifacts in the sinogram domain, the projection domain and/or the image domain)の1つ以上のコレクション(one or more collections)を含むか又はそれに対応することができる。例えば、合成アーチファクトデータ118は、異なるレベルのポアソンノイズアーチファクト(例えば、低、中、高、非常に高い等)に対応するポアソンノイズデータ506、異なるレベルのガウスノイズアーチファクト(例えば、低、中、高、非常に高いなど)、異なるタイプの金属物体および/または異なるタイプの金属の同じ物体に対応する金属アーチファクトデータ510など(例えば、他のアーチファクトデータ512は、
図2に描かれている1つまたは複数の追加のタイプの合成アーチファクトの1つまたは複数の追加のコレクションに対応することができる)。
【0041】
開示された技術に従って、シミュレーションコンポーネントは、低い放射密度値(例えば、水、脂肪、軟組織、血液及び類似の材料)を有するシミュレーション材料に対して合成アーチファクトデータ118を生成するので、それぞれの合成アーチファクトは解剖学にとらわれない。その結果、データ増強コンポーネント108は、任意の解剖学的領域に対応する任意のタイプのCT画像データに合成アーチファクトのいずれかを適用することができる。例えば、図示の実施形態では、ワークフロー500は、CT画像データ130に含まれる頭部CTデータ502及び骨盤CTデータ504を同じ予め生成された合成アーチファクトデータ118で処理して、その対応する増強バージョン(例えば、それぞれ増強頭部CTデータ514及び増強骨盤CTデータ)を生成することを含む。頭部CTデータ及び骨盤CTデータのタイプは単に例示的なものであり、描写される特定の解剖学的領域は任意の解剖学的領域を含み得ることが理解されるべきである。さらに、データ増強コンポーネント108は、増強CT画像データ120の生成に関連して、同じCT画像に1つ以上の(例えば、2つ以上の)アーチファクトを適用することができる。例えば、それぞれの合成アーティファクトコレクションの上下にある円形のプラス記号アイコンは、対応するコレクションからのアーチファクトを対応するCTデータに選択的に追加するために、データ増強コンポーネント108によって(及び/又はユーザ入力に応答して)選択的に作動させることができる(又は作動させないことができる)加算機能を示している。この点に関して、増強された頭部CTデータ514は、選択されたレベルのポアソンノイズの付加、選択されたレベルのガウスノイズの付加、1つ以上の選択された金属アーチファクト等を含むことができる。同様に、増強された骨盤CTデータ516は、付加された選択されたレベルのポアソンノイズ、付加された選択されたレベルのガウスノイズ、1つ以上の選択された金属アーチファクト等を含むことができる。さらに、合成アーチファクトデータ118は、特定の解剖学的構造又はCT画像データセットに縛られないので予め生成することアーチファクト強ワークフロー500は、計算上効率的な方法で高速処理速度で実行することができる。
【0042】
図6は、開示された主題の1つ以上の実施形態に従った、ポアソンノイズによるCT画像増強の例を示す図である。
図1~
図6を参照すると、サイノグラム画像601~604はそれぞれ合成アーチファクト表現に対応する。
図1~
図6を参照すると、サイノグラム画像601~604はそれぞれ、水シミュレーションモデル104を使用してサイノグラム領域でシミュレーションコンポーネント104によって生成されたポアソンノイズアーチファクトの異なるレベル(例えば、低、中、高、及び超高)の合成アーチファクト表現に対応する。様々な実施形態において、サイノグラム画像601~604に図示された合成アーチファクト表現の各々は、増強目的(augmentation purposes)のために任意のCT画像データに適用する候補アーチファクトとして合成アーチファクトデータ118(又はより詳細には
図5のポアソンノイズデータ506コレクション)に含まれ得る。図示の実施形態では、それぞれのポアソンノイズアーチファクトが(例えば、データ増強コンポーネント106によって)骨盤のCT画像に加えられた。画像605は、ノイズが付加されていない元のCT画像に対応する。画像606は、低ポアソンノイズアーチファクトが付加された元のCT画像605を描写し(例えば、サイノグラム画像601に対応する)、画像607は、中ポアソンノイズアーチファクトが付加された元のCT画像605を描写する(例えば、サイノグラム画像602に対応する)。画像608は、高ポアソンノイズアーチファクトが付加された(例えば、サイノグラム画像603に対応する)元のCT画像605を描写し、画像609は、非常に高いポアソンノイズアーチファクトが付加された(例えば、サイノグラム画像604に対応する)元のCT画像605を描写する。これに関して、画像606~609の各々は、合成アーチファクトデータ118を用いてデータ増強コンポーネント108によって生成され、増強CT画像データ120に含まれ得る例示的な増強CT画像に対応する。
【0043】
図7は、開示された主題の1つ以上の実施形態に従ったガウスノイズによるCT画像増強の例を示す図である。
図1~
図5及び
図7を参照すると、サイノグラム画像701~704はそれぞれ合成アーチストに対応する。
図1~5及び7を参照すると、サイノグラム画像701~704はそれぞれ、シミュレーションモデル106を用いてサイノグラム領域でシミュレーションコンポーネント104によって生成されたガウスノイズアーチファクトの異なるレベル(例えば、低、中、高、及び超高)の合成アーチファクト表現に対応する。様々な実施形態において、サイノグラム画像701~704に図示された合成アーチファクト表現の各々は、増強目的のために任意のCT画像データに適用する候補アーチファクトとして合成アーチファクトデータ118(又はより詳細には
図5のガウスノイズデータ508コレクション)に含めることができる。図示の実施形態では、それぞれのガウスノイズアーチファクトは、骨盤のCT画像に(例えば、データ増強コンポーネント108によって)追加された。画像705は、ノイズが付加されていない元のCT画像に対応する。画像706は、低ガウスノイズアーチファクトが付加された元のCT画像705を描写し(例えば、サイノグラム画像701に対応する)、画像707は、中ガウスノイズアーチファクトが付加された元のCT画像705を描写する(例えば、サイノグラム画像702に対応する)。画像708は、高ガウスノイズ・アーチファクトが付加された(例えば、サイノグラム画像703に対応する)元のCT画像705を描写し、画像709は、非常に高ガウスノイズ・アーチファクトが付加された(例えば、サイノグラム画像704に対応する)元のCT画像705を描写する。これに関して、画像706~709の各々は、合成アーチファクトデータ118を用いてデータ増強コンポーネント108によって生成され、増強CT画像データ120に含まれ得る例示的な増強CT画像に対応する。
【0044】
図8は、開示された主題の1つ以上の実施形態に従ってランダムに挿入された金属アーチファクトを有する例示的なCT画像増強を示している。
図8は、シミュレーションモデル106を用いて生成され、データ増強コンポーネント108によってCT画像上又はCT画像内に統合された合成金属アーチファクトからなる複数の例示的な増強CT画像を示す。
図8に示す増強CT画像は、合成アーチファクトデータ118(例えば、特に金属物体合成アーチファクトデータ)を用いてデータ増強コンポーネント108によって生成され、増強CT画像データ120に含まれ得る追加の例示的な増強CT画像に対応する。
【0045】
各増強CT画像は、描出された解剖学的領域(例えば、骨盤、腹部及び頭部の異なるスライスを含む)、挿入された金属物体のタイプ及び/又は挿入された金属物体の位置/配向のいずれかに関して異なる。各画像における合成金属物体のアーチファクトは、白い物体に対応する。
図8に示されるように、幾つかの実施形態では、データ増強コンポーネント108は、物体のタイプ及びCT画像のタイプ(すなわち、描出された解剖学的領域)に関係なく、異なる位置及び/又は位置のCT画像上又はCT画像内に合成金属アーチファクトをランダムに挿入(例えば、適用、結合、追加等)して、アーチファクトのバリエーションを有するCT画像の増強されたセットを作成することができる。ランダムに増強されたCT画像の中には、臨床では観察されないような不自然な変異が生じるものもあるが(例えば、体外に金属製の歯科用インプラントがある右下の画像や、体外に三角形の金属製ドット配置がある中央の画像2列目を参照)、これらのランダムな不自然な変異を医用画像推論モデルをトレーニングするためのトレーニングデータセットに統合することで、モデルの堅牢性と精度が向上することが示されている。
【0046】
加えて、幾つかの実施形態では、データ増強コンポーネント108は、所望の位置及び/又は方向におけるCT画像とのアーチファクトの結合に関連して合成アーチファクトの目標位置決めを容易にするために、CT画像に関連付けられたグランドトゥルース(GT)ラベルデータ(ground truth (GT) label data)を採用することができる。この点に関して、データ増強コンポーネント108は、1つ以上のCT画像に関連するGT関心領域(ROI:region of interest)データを使用して、1つ以上のCT画像上の目標位置(target position)に1つ以上のCT画像アーチファクトを位置合わせすることができる。
【0047】
図9は、開示された主題の1つ以上の実施形態に従ったグラウンドトゥルースラベリングを用いたCTにおける標的アーチファクト統合(targeted artifact integration)を示す。
図1~
図9を参照して、画像901は、画像902に描かれた対応するCT画像に関連付けられた関心領域(ROI)を示すグラウンドトゥルース(GT)ラベルを描写する。 この例におけるGTラベルは、GTラベルデータが基礎となるCT画像データから(例えば、メタデータ等として)分離可能であることを示すために、黒い背景に対して図示されている。例えば、多くの医用画像推論モデルは、教師あり又は半教師ありの機械学習トレーニングパラダイム(the supervised or semi-supervised machine learning training paradigms)に関連して、GTラベルでアノテーションされたトレーニングデータセットを採用している。この一例には、臓器セグメンテーションモデル、病変セグメンテーションモデルなどのセグメンテーションモデルによってセグメンテーションされるターゲットROIに適用されるGTラベルを採用するセグメンテーションモデルトレーニングデータセットが含まれる。GTラベルは、通常、トレーニングCT画像を表示し、医療画像注釈および表示アプリケーションを介してレンダリングCT画像に手動マークアップを適用することに関連して、医療専門家によって適用される。一旦適用されると、対応する画像データに対するGTラベルの位置及び形状は、2D及び/又は3Dで計算することができ、セグメンテーション等のためのターゲットROIを示す関係ガイドとして機能しながら、基礎となる画像から切り離すことができる。
図9に示す例では、ターゲットRIO(target RIO)は、セグメンテーションのための大腿骨の位置を示す。一般に、これらのGTラベルは、学習されるモデルの推論タスクに関連する位置および/またはオブジェクトを示す。したがって、これらの位置および/またはオブジェクトは、アーチファクトの存在がモデルの精度と特異性に悪影響を及ぼすことが示されている重要な位置に対応し、モデルがアーチファクトによって生じる不一致を識別することがより困難になる。この点に関して、GTラベル付け位置またはその近傍に合成アーチファクトを挿入した増強トレーニング画像を組み込むことで、アーチファクトに対するモデルの堅牢性を大幅に向上させることができる。
図9に示す例では、画像902に示す対応するCT画像における大腿骨の相対位置を示すGTラベルは、ターゲットRIO(例えば、患者が大腿骨を有すると予想される人工股関節:a hip prosthetic where the patient is expected to have a femur bone)に合成金属物体903を挿入するための(例えば、データ増強コンポーネント108による)位置ガイドとして使用された。したがって、増強されるCT画像データ(例えば、CT画像データ130に含まれる)が1つ以上のROIを示すGTラベルを含むか、そうでなければ関連付けられているいくつかの実施形態では、データ増強コンポーネント108は、GTラベルを、GTラベルに対して1つ以上の合成アーチファクトを位置合わせして配置するためのガイドとして採用することができる。
【0048】
図10は、開示された主題の1つ以上の実施形態に従ってデータ増強コンポーネントによって促進される幾つかの例示的な金属アーチファクトCT画像増強動作を示す。
図1~
図10を参照すると、上述したように、金属アーチファクトCT画像増強は、金属アーチファクトCT画像増強コンポーネントによって促進される。上述したように、合成アーチファクトデータ118は解剖学にとらわれず、予め生成されているので、データ増強コンポーネント108は、そこに含まれる対応する合成CTアーチファクトのうちの1つ以上を、描かれている解剖学に関係なく任意のCT画像に容易かつ効率的に適用することができる。さらに、データ増強コンポーネント108は、合成アーチファクトの位置、向き、及び/又はサイズ(他の画像操作技術のうちの:among other image manipulation techniques)を調整することによって、増強されたCT画像の多様性を増強させることができる。この点に関して、データ増強コンポーネント108は、同じ合成アーチファクトを同じCT画像のそれぞれのコピーと組み合わせることができるが、増強CT画像の生成に関連して、それぞれのコピーにおいて異なる位置、向き、及び/又は異なるサイズでアーチファクトを統合することができる。
【0049】
例えば、
図10は、データ増強コンポーネント108によって促進される金属物体アーチファクトのスワッピング及び回転操作を示す。画像1001A、1001B及び1001Cはそれぞれ第1のCT画像の異なる増強バージョンに対応し、画像1002A、1002B及び1002Cはそれぞれ第2のCT画像の異なる増強バージョンに対応する。特に、再び
図3A及び
図3Bを参照する。
図3A及び
図3Bを参照すると、
図10から見て、画像1001Aは、従来のシミュレーション技法とは対照的に、開示された解剖学にとらわれないシミュレーション技法に従って生成されたCT画像301のバージョンに対応する。この点に関して、画像1001Aは、画像301に対応するネイティブCT画像上に画像304に示される金属アーチファクトのシミュレートされたバージョンを組み込んでいる。同様に、画像1002Aは、従来のシミュレーション技法とは対照的に、開示された解剖学にとらわれないシミュレーション技法に従って生成されたCT画像302のバージョンに対応する。この点に関して、画像1002Aは、画像305に示された金属アーチファクトのシミュレーションされたバージョンを、画像302に対応するネイティブCT画像上に組み込んでいる。画像1001A及び1002Aをそれぞれ従来のシミュレーション画像301及び302と比較することによって分かるように、開示された解剖学的アーチファクトにとらわれないアーチファクトシミュレーション及びデータ増強技法は、従来のシミュレーション技法と比較して、より現実的で高品質の増強CT画像(much more realistic and higher quality augmented CT image)を生成する。加えて、金属アーチファクトは実際のCT画像とは無関係にシミュレートされるので、金属アーチファクトを容易に入れ替えたり、回転させたり、サイズ変更したりすることができ、データ増強の目的のためにさらに多様性を加えることができる。例えば、画像1001B及び1002Bでは、画像1001A及び1002Bに描かれているそれぞれの金属アーチファクトが入れ替えられている。別の例では、画像1001Cは、描かれた解剖学的構造に対して約100度反時計回りに回転された金属アーチファクト(一対の白丸に対応)を有する画像1001Bのバージョンを描いている。別の例では、画像1002Cは、(一対の白丸に対応する)金属製のアーチファクトが描かれた解剖学的構造に対して約20度反時計回りに回転された画像1002Aのバージョンを描写する。
【0050】
図11は、開示された主題の1つ以上の実施形態に従って、CT画像を合成アーチファクトで増強し、医用画像推論モデルのトレーニングのために増強されたCT画像を採用する設備のある例示的なコンピューティングシステム1100(以下、システム1100)を示す。システム1100は、データ増強コンポーネント108、(アーティファクト選択コンポーネント1102、位置決めコンポーネント1104、挿入コンポーネント1106及び編集コンポーネントコンピューティングシステムグコンポーネント1110及び外部記憶装置128へのMLモデルデータ1112にいくつかの特定のサブコンポーネントを追加したシステム100と同様である。それぞれの実施形態で採用されているような要素の繰り返しの説明は、簡潔にするために省略する。
【0051】
様々な実施形態では、アーチファクト選択コンポーネント1102は、
図5を参照して説明したように、1つ以上のCT画像(例えば、CT画像データ112に含まれる)に追加するために合成アーチファクトデータ118に含まれる特定の予め生成された合成アーチファクトを選択することを容易にすることができる。これに関して、いくつかの実施形態では、データ増強コンポーネント108の1つ以上の特徴及び機能性は、ユーザ(例えば、専門家、MLモデル開発者、臨床医など)がMLモデルトレーニング及び/又は他のAIアプリケーションのためのトレーニングデータセットをレビュー及び増強することができるユーザ対面トレーニングデータ増強ツール(例えば、ローカルソフトウェアアプリケーション/プログラム、ウェブアプリケーション、モバイルアプリケーションなどの形態)を実装することができる。これらの実施形態では、レンダリングコンポーネント110は、増強するCT画像及び/又はトレーニングデータセットを選択すること、どの合成アーチファクトをトレーニング画像の一部又は全部に統合するか及びどこに統合するかに関するアーチファクト増強パラメータを選択及び/又は制御すること、並びに増強されたCT画像の結果をレビューすることを提供する適切なグラフィカルユーザインタフェースをユーザに提示することができる。位置決めコンポーネント1104は、ユーザがスワッピング操作、回転操作、サイズ変更操作(swapping operations, rotating operations, resizing operations,)等を含むCT画像内の合成アーチファクトの位置決めを制御する操作を実行することを可能にする位置決め制御ツールを提供することができる。位置決めコンポーネント1104は、
図9を参照して上述したように、対応するGTラベルを使用して目標とするアーチファクト挿入を更に実行することができる。編集コンポーネント1108は、様々な微調整編集操作や他の後処理操作(various fine-tuning editing operations and other post-processing operations)など、増強CT画像に対する付加的な編集操作を提供することができる。挿入コンポーネント1106は、CT画像データ112上又はCT画像データ112内(例えば、サイノグラム領域及び/又は画像領域内)に、合成アーチファクトデータ118に含まれるアーチファクトの合成表現を追加、挿入、オーバーレイ及び/又は他の方法で結合することに関連する任意の操作を実行して、増強CT画像データ120を生成することができる。
【0052】
トレーニングコンポーネント1110は、1つ以上の医用画像推論モデルに対応する1つ以上のMLモデルのトレーニングに関連して、増強CT画像データ120を更に用いることができる。この点に関して、様々な実施形態において、増強CT画像データ120は、ネイティブCT画像と、開示された技術に従ってデータ増強コンポーネント108によって適用された1つ以上の合成アーチファクトを含む増強CT画像との両方を含むトレーニングデータセットを含むか、又は他の方法で関連付けることができる。トレーニングコンポーネント1110は、様々な好適な機械学習プロセス(例えば、教師ありトレーニング、教師なしトレーニング、半教師ありトレーニング等)及びプロトコル(例えば、トレーニング、テスト及び検証段階)に従って、トレーニングデータセットを用いてMLモデルを更にトレーニング及び開発することができる。
【0053】
図12は、開示された主題の1つ以上の実施形態に従って、合成アーチファクトからなる増強CT画像を生成するための例示的な、非限定的なコンピュータ実装方法1200のブロック図を示す。それぞれの実施形態で採用されているような要素の繰り返しの説明は、簡潔にするために省略されている。
【0054】
方法1200は、1202において、プロセッサを含むシステム(例えば、コンピューティングシステム100又はコンピューティングシステム1100)によって、解剖学にとらわれないシミュレーションモデル(例えば、シミュレーションモデル106)を用いて合成アーチファクトデータ(例えば、合成アーチファクトデータ118)を生成すること(例えば、シミュレーションコンポーネント104を介して)を含み、合成アーチファクトデータは1つ以上のCT画像アーチファクトに対応する。1204において、方法1200は、システムによって、合成アーチファクトデータを使用して(例えば、データ増強コンポーネント108を介して)1つ以上のコンピュータ断層撮影画像アーチファクトを含む増強CT画像(例えば、増強CT画像データ120)を生成することを更に含む。幾つかの実施態様では、方法1200は、コンピューティングシステム100に関連するディスプレイを介して増強CT画像をレンダリング又は表示すること、及び/又は、増強CT画像を遠隔ディスプレイ装置に送信すること(例えば、有線又は無線通信ネットワークを介して送信すること)を更に含むことができる。
【0055】
図13は、開示された主題の1つ以上の実施形態に従って、アーチファクト堅牢性(artifact robustness)を有する医用画像推論モデルを開発するための例示的な非限定的コンピュータ実装方法1300のブロック図を示す。それぞれの実施形態で採用される同様の要素の繰り返しの説明は、簡潔にするために省略される。
【0056】
方法1300は、1302において、プロセッサを含むシステム(例えば、計算システム1100)によって、(例えば、データ増強コンポーネント108を介して)1つ以上の合成アーチファクトをCT画像と統合し、その結果、増強されたCT画像が得られる。1つ以上の合成アーチファクトは、低放射線強度を有するシミュレーション材料(例えば、水、脂肪、軟組織、血液、又は同様の材料)内でシミュレートされた1つ以上のCTアーチファクトの1つ以上の表現を含む。1304において、方法1300は、システムによって(例えば、トレーニングコンポーネント1110を介して)、トレーニング画像として増強CT画像を使用して推論タスクを実行するように医用画像推論モデルをトレーニングする(training, by the system (e.g., via training component 1110), a medical image inferencing model to perform an inferencing task using the augmented CT images as training images)ことを更に含む。様々な実施形態において、トレーニング画像は、(例えば、合成アーチファクトを伴う)増強CT画像だけでなく、合成アーチファクトを伴わないCT画像を含むことができ、これらは、増強前の元のCT画像及び/又は追加のCT画像に対応することができる。トレーニングセットに増強CT画像を組み込んだ結果、得られたトレーニング済みモデルは、増強CT画像なしでトレーニングされたモデルのバージョンと比較して、アーチファクトを有するCT画像に対する堅牢性(例えば、精度及び/又は特異性)が改善される。
【0057】
これに関して、開示された技術の有効性が、CT大腿骨左右セグメンテーション骨モデルの堅牢性の改善に関連して試験され、検証された。この実験では、GT ROIデータでラベル付けされた大腿骨の複数の異なるCT画像からなるトレーニングデータセットに、サイノグラム領域でシミュレーションモデル106を使用して生成された異なる合成アーチファクトを追加した。合成アーチファクトには、
図9を参照して説明したように、大腿骨又はその近傍に狙いを定めて挿入された合成金属物体が含まれていた。合成アーチファクトはまた、ポアソンノイズおよびガウスノイズアーチファクトの異なるレベルおよび組み合わせを含む。得られたトレーニングデータセットには、(例えば、開示された技術を用いて生成された合成アーチファクトを伴う)増強画像とネイティブCT画像の両方が含まれていた。トレーニング、テスト、検証の各段階は、拡張画像とネイティブ画像の両方を用いて実施された。ポアソンノイズ、ガウスノイズ、金属アーチファクトを含む増強CT画像におけるセグメンテーションモデルの性能結果は、増強CTデータの統合の結果、モデル性能が向上したことを示した。
【0058】
1つまたは複数の実施形態は、システム、方法、および/または任意の可能な技術的詳細レベルの統合におけるコンピュータプログラム製品とすることができる。コンピュータプログラム製品は、本実施形態の1つまたは複数の態様をプロセッサに実行させるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読記憶媒体(または媒体)を含むことができる。
【0059】
コンピュータ可読記憶媒体は、命令実行装置によって使用される命令を保持および記憶することができる有形装置とすることができる。コンピュータ可読記憶媒体は、例えば、電子記憶装置、磁気記憶装置、光学記憶装置、電磁気記憶装置、半導体記憶装置、またはこれらの任意の適切な組み合わせとすることができるが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストには、以下のものが含まれる:ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能プログラマブルリードオンリーメモリ(EPROMまたはフラッシュメモリ)、スタティックランダムアクセスメモリ(SRAM)、ポータブルコンパクトディスクリードオンリーメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、メモリスティック、フロッピーディスク(登録商標)、パンチカードまたはその上に記録された命令を有する溝内の隆起構造のような機械的に符号化されたデバイス、および前述の任意の適切な組み合わせ。本明細書で使用されるコンピュータ可読記憶媒体は、電波または他の自由に伝播する電磁波、導波管または他の伝送媒体(例えば、光ファイバーケーブルを通過する光パルス)を介して伝播する電磁波、またはワイヤを介して伝送される電気信号などの一過性の信号そのものであると解釈されるものではない。
【0060】
本明細書で説明するコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、ワイドエリアネットワークおよび/またはワイヤレスネットワークを介して外部コンピュータまたは外部記憶装置に、それぞれのコンピューティング/処理デバイスにダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータおローカルエリアネットワークでワワイドエリアネットワークンピューティング/処理デバイス内のネットワークアダプタカルータットワークインターフェースは、ネットワークからコンピロローカルエリアネットワーク信ワイドエリアネットワーク/処理デバイス内のコンピュータ可読記憶媒体に記憶するために、コンピュータ可読プログラム命令を転送する。
【0061】
本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路用構成データ、または、Smalltalk、C++などのオブジェクト指向プログラミング言語、および「C」プログラミング言語などの手続き型プログラミング言語を含む1つまたは複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかであることができる。コンピュータ可読プログラム命令は、エンティティのコンピュータで完全に実行することも、エンティティのコンピュータで部分的に実行することも、スタンドアロンソフトウェアパッケージとして実行することも、エンティティのコンピュータで部分的に実行し、リモートコンピュータで部分的に実行することも、リモートコンピュータまたはサーバで完全に実行することもできる。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN)を含む任意のタイプのネットワークを介してエンティティのコンピュータに接続することができ、または接続は、外部コンピュータに(例えば、インターネットサービスプロバイダを使用してインターネットを介して)行うことができる。いくつかの実施形態では、例えば、プログラマブル論理回路、フィールドプログラマブルゲートアレイ(FPGA)、またはプログラマブル論理アレイ(PLA)を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用してコンピュータ可読プログラム命令を実行し、電子回路をパーソナライズすることができる。
【0062】
本発明の態様を、本発明の実施形態による方法、装置(システム)、およびコンピュータプログラム製品のフローチャート図および/またはブロック図を参照して本明細書で説明する。フローチャート図および/またはブロック図の各ブロック、ならびにフローチャート図および/またはブロック図のブロックの組み合わせは、コンピュータ可読プログラム命令によって実施され得ることが理解され得る。
【0063】
これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび/またはブロック図ブロックまたはブロックにおいて指定された機能/行為を実施するための手段を作成するように、機械を製造するために汎用コンピュータ、特殊用途コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供することができる。これらのコンピュータ可読プログラム命令は、コンピュータ、プログラム可能なデータ処理装置、および/または他の装置に特定の態様で機能するように指示することができるコンピュータ可読記憶媒体に記憶することもでき、そのように、その中に記憶された命令を有するコンピュータ可読記憶媒体は、フローチャートおよび/またはブロック図ブロックまたはブロックで指定された機能/行為の態様を実施する命令を含む製造品を構成する。
【0064】
コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルなデータ処理装置、または他の装置にロードして、コンピュータ、他のプログラマブルな装置、または他の装置上で実行される命令が、フローチャートおよび/またはブロック図のブロックまたはブロックで指定された機能/行為を実施するように、コンピュータ実装プロセスを生成するための一連の動作ステップをコンピュータ、他のプログラマブルな装置、または他の装置上で実行させることもできる。
【0065】
図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能性、および動作を示す。これに関して、フローチャートまたはブロック図の各ブロックは、指定された論理機能を実装するための1つまたは複数の実行可能命令を構成する、命令のモジュール、セグメント、または部分を表すことができる。いくつかの代替実装では、ブロックに記載された機能は、図に記載された順序から外れて発生する可能性がある。例えば、連続して示されている2つのブロックは、実際には実質的に同時に実行されることもあり、また、関係する機能によっては、ブロックが逆の順序で実行されることもある。また、ブロック図および/またはフローチャート図示の各ブロック、ならびにブロック図および/またはフローチャート図示のブロックの組み合わせは、指定された機能または行為を実行する、または特別な目的のハードウェアおよびコンピュータ命令の組み合わせを実行する、特別な目的のハードウェアベースのシステムによって実施できることに留意されたい。
【0066】
図14に関連して、以下に説明するシステムおよびプロセスは、単一の集積回路(IC)チップ、複数のIC、特定用途向け集積回路(ASIC)などのハードウェア内で具現化することができる。さらに、プロセスブロックの一部または全部が各プロセスに現れる順序は、限定的であるとみなされるべきではない。むしろ、プロセスブロックのいくつかは、様々な順序で実行されることができ、そのすべてが本明細書において明示的に例示され得るわけではないことを理解すべきである。
【0067】
図14を参照すると、特許請求される主題の様々な態様を実施するための例示的な環境1400は、コンピュータ1402を含む。コンピュータ1402は、処理ユニット1404、システムメモリ1406、コーデック1435、およびシステムバス1408を含む。システムバス1408は、システムメモリ1406システムメモリ限定されないシステム構成要素を処理ユニット1404に結合する。処理ユニット1404は、利用可能な様々なプロセッサのいずれでもよい。デュアル・マイクロプロセッサおよび他のマルチプロセッサ・アーキテクチャも、処理ユニット1404として採用することができる。
【0068】
システムバス1408は、メモリバスまたはメモリコントローラ、周辺バスまたは外部バス、またはインダストリ スタンダード アーキテクチャ(ISA:Industrial Standard Architecture)、マイクロチャネルアーキテクチャ(MSA:Micro-Channel Architecture)、拡張ISA(EISA:Extended ISA)、インテリジェントドライブエレクトロニクス(IDE:Intelligent Drive Electronics)、VESAローカルバス(VLB:VESA Local Bus)を含むがこれらに限定されない様々な利用可能なバスアーキテクチャを使用するローカルバスを含む、いくつかのタイプのバス構造のいずれかとすることができる、拡張ISA(EISA:Extended ISA)、インテリジェントドライブエレクトロニクス(IDE:Intelligent Drive Electronics)、VESAローカルバス(VLB:VESA Local Bus)、ペリフェラルコンポーネントインターコネクト(PCI;Peripheral Component Interconnect)、カードバス、ユニバーサルシリアルバス(USB:Universal Serial Bus)、アドバンストグラフィックスポート(AGP:Advanced Graphics Port)、パーソナルコンピュータメモリカードインターナショナルアソシエーションバス(PCMCIA:Personal Computer Memory Card International Association)、Firewire(IEEE13144)、小型コンピュータシステムインターフェイス(SCSI:Small Computer Systems Interface)などを含む。
【0069】
システムメモリ1406は、揮発性メモリ1410と不揮発性メモリ1412とを含み、様々な実施形態において、開示されたメモリ・アーキテクチャのうちの1つ以上を採用することができる。起動時など、コンピュータ1402内の要素間で情報を転送するための基本ルーチンを含む基本入出力システム(BIOS)は、不揮発性メモリ1412に格納される。さらに、本発明によれば、コーデック1435は、エンコーダまたはデコーダの少なくとも一方を含むことができ、エンコーダまたはデコーダの少なくとも一方は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアとの組み合わせで構成することができる。コーデック1435は別個の構成要素として描かれているが、コーデック1435は不揮発性メモリ1412内に含めることができる。例示であって限定ではないが、不揮発性メモリ1412は、読み出し専用メモリ(ROM)、プログラマブルROM(PROM)、電気的にプログラマブルなROM(EPROM)、電気的に消去可能なプログラマブルROM(EEPROM)、フラッシュメモリ、3Dフラッシュメモリ、または抵抗ランダムアクセスメモリ(RRAM)などの抵抗変化型メモリ(resistive memory)を含むことができる。不揮発性メモリ1412は、少なくともいくつかの実施形態において、開示されたメモリデバイスのうちの1つまたは複数を採用することができる。さらに、不揮発性メモリ1412は、コンピュータメモリ(例えば、コンピュータ1402またはそのメインボードと物理的に一体化されたもの)、またはリムーバブルメモリとすることができる。開示された実施形態が実装され得る適切なリムーバブルメモリの例としては、セキュアデジタル(SD)カード、コンパクトフラッシュ(登録商標)(CF)カード、ユニバーサルシリアルバス(USB)メモリスティックなどを挙げることができる。揮発性メモリ1410は、外部キャッシュメモリとして機能するランダムアクセスメモリ(RAM)を含み、また、様々な実施形態において1つ以上の開示されたメモリデバイスを採用することができる。例示であって限定ではないが、RAMは、スタティックRAM(SRAM)、ダイナミックRAM(DRAM)、シンクロナスDRAM(SDRAM)、ダブルデータレートSDRAM(DDRSDRAM)、および拡張SDRAM(ESDRAM)などの多くの形態で利用可能である。
【0070】
コンピュータ1402は、リムーバブル/ノンリムーバブルの、揮発性/不揮発性のコンピュータ記憶媒体(removable/non-removable, volatile/non-volatile computer storage medium)を含むこともできる。
図14は、例えば、ディスク記憶装置1416を示す。ディスク記憶装置1416は、磁気ディスクドライブ、ソリッドステートディスク(SSD)、フラッシュメモリカード、またはメモリスティックなどのデバイスを含むが、これらに限定されない。さらに、ディスク記憶装置1416は、コンパクトディスクROM装置(CD-ROM)、CD記録可能ドライブ(CD-Rドライブ)、CD書換え可能ドライブ(CD-RWドライブ)、またはデジタル多用途ディスクROMドライブ(DVD-ROM)などの光ディスクドライブを含むが、これらに限定されない他の記憶媒体と別個に、または組み合わせて記憶媒体を含むことができる。ディスク記憶装置1416のシステムバス1408への接続を容易にするために、インタフェース1414のような取外し可能または取外し不可能なインタフェースが典型的に使用される。ディスク記憶装置1416は、エンティティ(entity)に関連する情報を記憶できることが理解される。そのような情報は、サーバに格納されるか、またはエンティティデバイス(entity device)上で実行されるアプリケーションに提供される可能性がある。一実施形態では、エンティティは、ディスク記憶装置1416に格納されるか、サーバまたはアプリケーションに送信される情報のタイプを(例えば、1つ以上の出力デバイス1436によって)通知され得る。エンティティは、(例えば、1つ以上の入力デバイス1428からの入力によって)そのような情報がサーバまたはアプリケーションに収集または共有されることをオプトインまたはオプトアウトする機会を提供され得る。
【0071】
図14には、好適な動作環境1400に記述されたエンティティと基本的なコンピュータリソースとの間の仲介役として機能するソフトウェアが記述されていることを理解されたい。そのようなソフトウェアは、オペレーティングシステム1418を含む。オペレーティングシステム1418は、ディスク記憶装置1416に格納することができ、コンピュータシステム1402のリソースを制御し、割り当てる働きをする。アプリケーション1420は、システムメモリ1406またはディスク記憶装置1416のコンピュータシステムプログラム・モジュール1424、およびブート/シャットダウン・トランザクション・テーブルなどのプログラム・データ1426を通じて、オペレーティングシステム1418によるリソースの管理を利用する。オペレーティングシステムペレシステムメモリはオペレーティングシステムの組み合わコンピュータシステム解されたい。
【0072】
エンティティは、1つ以上の入力デバイス1428を介してコマンドまたは情報をコンピュータ14オペレーテオペレーティングシステムは、マウス、トラックボール、スタイラス、タッチパッド、キーボード、マイク、ジョイスティック、ゲームパッド、サテライトディッシュ、スキャナ、TVチューナカード、デジタルカメラ、デジタルビデオカメラ、ウェブカメラ(a mouse, trackball, stylus, touch pad, keyboard, microphone, joystick, game pad, satellite dish, scanner, TV tuner card, digital camera, digital video camera, web camera)などのポインティングデバイスが含まれるが、これらに限定されない。これらおよび他の入力デバイスは、1つ以上のインターフェースポート1430を介してシステムバス1408を介して処理ユニット1404に接続する。1つ以上のインターフェースポート1430は、例えば、シリアルポート、パラレルポート、ゲームポート、ユニバーサルシリアルバス(USB)を含む。1つ以上の出力デバイス1436は、1つ以上の入力デバイス1428と同じ種類のポートのいくつかを使用する。したがって、たとえば、USBポートを使用して、コンピュータ1402に入力を提供し、コンピュータ1402から出力デバイス1436に情報を出力することができる。1つ以上の出力アダプタ1434は、他の出力デバイス1436のうち、モニタ、スピーカ、プリンタなど、特別なアダプタを必要とする出力デバイス1436があることを説明するために提供される。出力アダプタ1434は、例示であって限定ではないが、出力デバイス1436とシステムバス1408との間の接続手段を提供するビデオカードおよびサウンドカードを含む。他の装置または複数の装置のシステムは、リモートコンピュータ1438のような入力および出力の両方の能力を提供することに留意すべきである。
【0073】
コンピュータ1402は、1つ以上のリモートコンピュータ1438などの1つまたは複数のリモートコンピュータへの論理接続(logical connections)を使用して、ネットワーク環境で動作することができる。リモートコンピュータ1438は、パーソナルコンピュータ、サーバ、ルータ、ネットワークPC、ワークステーション、マイクロプロセッサベースのアプライアンス、ピアデバイス、スマートフォン、タブレット、または他のネットワークノード(a personal computer, a server, a router, a network PC, a workstation, a microprocessor based appliance, a peer device, a smart phone, a tablet, or other network node)とすることができ、典型的には、コンピュータ1402に関連して説明した要素の多くを含む。簡潔にするために、メモリ記憶装置1440のみがリモートコンピュータ1438とともに図示されている。リモートコンピュータ1438は、ネットワーク・インターフェース1442を介してコンピュータ1402に論理的に接続され、通信接続1444を介して接続される。ネットワーク・インターフェース1442は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)およびセルラー・ネットワークなどの有線または無線通信ネットワークを包含する。LAN技術には、ファイバ分散データインタフェース(FDDI:Fiber Distributed Data Interface)、銅線分散データインタフェース(CDDI:Copper Distributed Data Interface)、イーサネット、トークンリングなどが含まれる。WAN技術には、ポイント・ツー・ポイント・リンク、ISDN(IntegratedServicesDigitalNetworks)などの回線交換ネットワーク、パケット交換ネットワーク、DSL(DigitalSubscriberLines)などがあるが、これらに限定されるものではない。
【0074】
1つ以上の通信接続1444は、ネットワーク・インターフェース1442をバス1408に接続するために採用されるハードウェア/ソフトウェアを指す。通信接続1444は、例示的に分かりやすくするためにコンピュータ1402の内部に示されているが、コンピュータ1402の外部に設けることもできる。ネットワーク・インターフェース1442への接続に必要なハードウェア/ソフトウェアには、例示的な目的に過ぎないが、通常の電話グレードのモデム、ケーブル・モデムおよびDSLモデムを含むモデム、ISDNアダプタ、ならびに有線および無線イーサネット・カード、ハブ、およびルータなどの内部および外部技術が含まれる。
【0075】
本開示の図示された態様は、通信ネットワークを介してリンクされたリモート処理デバイスによって特定のタスクが実行される分散コンピューティング環境においても実施され得る。分散コンピューティング環境では、プログラムモジュールは、ローカルとリモートの両方のメモリ記憶装置に配置することができる。
【0076】
主題(subject matter)は、コンピュータおよび/またはコンピュータ上で実行されるコンピュータプログラム製品のコンピュータ実行可能命令の一般的な文脈で上述されてきたが、当業者は、本開示がまた、他のプログラムモジュールと組み合わせて実施され得るか、または実施され得ることを認識するであろう。一般に、プログラムモジュールは、特定のタスクを実行し、および/または特定の抽象データ型を実装するルーチン、プログラム、コンポーネント、データ構造などを含む。さらに、当業者は、本発明コンピュータ実装方法が、シングルプロセッサまたはマルチプロセッサコンピュータシステム、ミニコンピュータ装置、メインフレームコンピュータ、ならびにコンピュータ、ハンドヘルドコンピュータ装置(例えば、PDA、電話)、マイクロプロセッサベースまたはプログラマブル民生用または産業用電子機器などを含む他のコンピュータシステム構成で実施できることを理解するであろう。また、図示された態様は、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実行される分散コンピューティング環境においても実施することができる。しかしながら、本開示のすべての態様ではないにしても、いくつかの態様は、スタンドアロンコンピュータ上で実施することができる。分散コンピューティング環境では、プログラムモジュールは、ローカルとリモートの両方のメモリ記憶装置に配置することができる。
【0077】
本願で使用される場合、「コンポーネント」、「システム」、「サブシステム」、「プラットフォーム」、「レイヤ」、「ゲートウェイ」、「インターフェース」、「サービス」、「アプリケーション」、「デバイス」などの用語は、1つまたは複数のコンピュータ関連エンティティ、または1つまたは複数の特定の機能性を有する動作機械に関連するエンティティを指すことができ、および/または含むことができる。本明細書で開示されるエンティティは、ハードウェア、ハードウェアとソフトウェアの組み合わせ、ソフトウェア、または実行中のソフトウェアのいずれかであり得る。例えば、コンポーネントは、プロセッサ上で実行されるプロセス、プロセッサ、オブジェクト、実行可能ファイル、実行スレッド、プログラム、および/またはコンピュータであり得るが、これらに限定されない。例示として、サーバ上で実行されるアプリケーションとサーバの両方がコンポーネントになり得る。つまたは複数のコンポーネントは、プロセスおよび/または実行のスレッド内に存在することができ、コンポーネントは、1つのコンピュータ上にローカライズされ、および/または2つ以上のコンピュータの間に分散されることができる。別の例では、それぞれのコンポーネントは、そこに格納された様々なデータ構造を有する様々なコンピュータ可読媒体から実行することができる。コンポーネントは、1つまたは複数のデータパケットを有する信号(例えば、ローカルシステム、分散システム、および/または信号を介してインターネットなどのネットワークを介して他のシステムと相互作用する1つのコンポーネントからのデータ)に従うなど、ローカルおよび/またはリモートプロセスを介して通信することができる。別の例として、コンポーネントは、プロセッサによって実行されるソフトウェアまたはファームウェアアプリケーションによって操作される電気回路または電子回路によって操作される機械部品によって提供される特定の機能を有する装置であり得る。このような場合、プロセッサは装置の内部または外部にあり、ソフトウェアまたはファームウェアアプリケーションの少なくとも一部を実行することができる。さらに別の例として、コンポーネントは、機械部品を伴わない電子部品を通じて特定の機能性を提供する装置とすることができ、電子部品は、電子部品の機能性の少なくとも一部を付与するソフトウェアまたはファームウェアを実行するプロセッサまたは他の手段を含むことができる。ある態様では、コンポーネントは、例えばクラウドコンピューティングシステム内の仮想マシンを介して電子コンポーネントをエミュレートすることができる。
【0078】
さらに、「または」という用語は、排他的な「または」ではなく包括的な「または」を意味することが意図されている。つまり、別段の指定がない限り、あるいは文脈から明らかでない限り、「XがAまたはBを採用する」とは、自然な包括的順列のいずれかを意味するものと意図されている。つまり、XがAを採用している場合、XがBを採用している場合、XがAとBの両方を採用している場合、「XがAまたはBを採用している」は前述のいずれの場合にも当てはまる。さらに、本明細書および付属図面で使用される冠詞「a」および「an」は、別段の指定がない限り、または文脈から単数形に向けられることが明らかでない限り、一般に「1つまたは複数」を意味すると解釈されるべきである。本明細書で使用される場合、「例」及び/又は「例示的」という用語は、例、実例、又は例示として役立つことを意味するために利用され、非限定的であることが意図される。疑念を避けるために、本明細書に開示される主題は、そのような例によって限定されない。加えて、本明細書において「例」および/または「例示的」として記載される任意の態様または設計は、必ずしも、他の態様または設計よりも好ましいまたは有利であると解釈されるものではなく、また、当業者に公知の同等の例示的構造および技術を排除することを意図するものでもない。
【0079】
本明細書で使用される場合、「プロセッサ」という用語は、シングルコア・プロセッサ、ソフトウェア・マルチスレッド実行機能を備えたシングルプロセッサ、マルチコア・プロセッサ、ソフトウェア・マルチスレッド実行機能を備えたマルチコア・プロセッサ、ハードウェア・マルチスレッド技術を備えたマルチコア・プロセッサ、並列プラットフォーム、および分散共有メモリを備えた並列プラットフォームからなるが、これらに限定されない、実質的に任意のコンピューティング処理ユニットまたはデバイスを指すことができる。さらに、プロセッサは、集積回路、特定用途向け集積回路(ASIC)、デジタル・シグナル・プロセッサ(DSP)、フィールド・プログラマブル・ゲート・アレイ(FPGA)、プログラマブル・ロジック・コントローラ(PLC)、複合プログラマブル・ロジック・デバイス(CPLD)、ディスクリート・ゲートまたはトランジスタ・ロジック、ディスクリート・ハードウェア・コンポーネント、または本明細書に記載の機能を実行するように設計されたそれらの任意の組み合わせを指すことができる。さらに、プロセッサは、空間の使用を最適化したり、エンティティ機器の性能を向上させたりするために、分子および量子ドットベースのトランジスタ、スイッチ、ゲートなどのナノスケールアーキテクチャを利用することができるが、これらに限定されない。プロセッサは、演算処理ユニットの組み合わせとして実装することもできる。本開示では、「記憶」、「記憶装置」、「データ記憶装置」、「データベース」、および構成要素の動作および機能性に関連する実質的に他の任意の情報記憶構成要素などの用語は、「メモリ構成要素」、「メモリ」で具現化されるエンティティ、またはメモリを構成する構成要素を指すために利用される。本明細書に記載されるメモリおよび/またはメモリ構成要素は、揮発性メモリまたは不揮発性メモリのいずれかであることができ、または揮発性メモリおよび不揮発性メモリの両方を含むことができることを理解されたい。例示であって限定ではないが、不揮発性メモリとしては、読み出し専用メモリ(ROM)、プログラマブルROM(PROM)、電気的にプログラマブルなROM(EPROM)、電気的に消去可能なROM(EEPROM)、フラッシュメモリ、または不揮発性ランダムアクセスメモリ(RAM)(例えば、強誘電体RAM(FeRAM))を挙げることができる。揮発性メモリは、例えば、外部キャッシュメモリとして機能するRAMを含むことができる。例示であって限定ではなく、RAMは、シンクロナスRAM(SRAM)、ダイナミックRAM(DRAM)、シンクロナスDRAM(SDRAM)、ダブルデータレートSDRAM(DDRSDRAM)、エンハンスドSDRAM(ESDRAM)、シンクリンクDRAM(SLDRAM)、ダイレクト・ラムバスRAM(DRRAM)、ダイレクト・ラムバス・ダイナミックRAM(DRDRAM)、およびラムバス・ダイナミックRAM(RDRAM)などの多くの形態で利用可能である。さらに、本明細書に開示されるシステムまたはコンピュータ実装方法のメモリ構成要素には、これらに限定されることなく、これらおよび他の任意の適切なタイプのメモリが含まれることが意図される。
【0080】
上述してきたことは、システムおよびコンピュータ実装方法の単なる例を含む。もちろん、本開示を説明する目的で、構成要素またはコンピュータ実装方法の考えられるすべての組み合わせを説明することは不可能であるが、当業者であれば、本開示の多くのさらなる組み合わせおよび順列が可能であることを認識することができる。さらに、詳細な説明、特許請求の範囲、付録、および図面において「含む:includes」、「有する:has」、「保持する:possesses」などの用語が使用される範囲において、このような用語は、特許請求の範囲において経過的な単語として採用される場合に解釈される「含む:comprising」という用語と同様の方法で包括的であることを意図している。様々な実施形態の説明は、例示を目的として提示されているが、開示された実施形態を網羅的または限定的に説明することを意図していない。説明した実施形態の範囲および精神から逸脱することなく、当業者には多くの修正および変形が明らかである。本明細書で使用される用語は、実施形態の原理、市場で見出される技術に対する実用化または技術的改良を最もよく説明するため、または当業者が本明細書で開示される実施形態を理解できるようにするために選択された。
【符号の説明】
【0081】
100:コンピューティングシステム 102:コンピュータ実行可能構成要素 104:シミュレーションコンポーネント 106:シミュレーションモデル 108:データ増強コンポーネント 110:レンダリングコンポーネント 112:入出力装置 114:処理装置 116:記憶装置 118:合成アーチファクトデータ 120:増強CT画像データ 122:通信構成要素 124:メモリ 126:システムバス 128:外部記憶装置 130:CT画像データ 500:ワークフロー 502:頭部CTデータ 504:骨盤CTデータ 506:ポアソンノイズデータ 508:ガウスノイズデータ 510:金属アーチファクトデータ 512:他のアーチファクトデータ 514:増強頭部CTデータ 516:増強骨盤CTデータ 1100:コンピューティングシステム 1102:アーティファクト選択コンポーネント 1104:位置決めコンポーネント 1106:挿入コンポーネント 1108:編集コンポーネント 1110:トレーニングコンポーネント 1112:MLモデルデータ 1400:環境 1402:コンピュータ 1404:処理ユニット 1406:システムメモリ 1408:システムバス 1410:揮発性メモリ 1412:不揮発性メモリ 1414:インタフェース 1416:ディスクストレージ 1418:オペレーティングシステム 1420:アプリケーション 1424:モジュール 1426:データ 1428:1つ以上の入デバイス 1430:1つ以上のインタフェースポート 1434:1つ以上の出力アダプタ 1435:コーデック 1436:1つ以上の出力デバイス 1438:1つ以上のリモートコンピュータ 1440:メモリ記憶装置 1442:ネットショップインタフェース 1444:1つ以上の通信接続
【外国語明細書】