特開 2024-31968 画像から異物を除去する方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024031968

(43)【公開日】2024-03-07

(54)【発明の名称】画像から異物を除去する方法及びシステム

(51)【国際特許分類】

   A61B 6/03 20060101AFI20240229BHJP

   A61B 6/46 20240101ALI20240229BHJP

   G06T 5/70 20240101ALI20240229BHJP

   G06T 1/40 20060101ALI20240229BHJP

【ＦＩ】

A61B6/03 360J

A61B6/03 360Z

G06T5/00 705

G06T1/40

【審査請求】未請求

【請求項の数】22

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023137128

(22)【出願日】2023-08-25

(31)【優先権主張番号】2022221522

(32)【優先日】2022-08-26

(33)【優先権主張国・地域又は機関】AU

(71)【出願人】

【識別番号】512062121

【氏名又は名称】カーブビーム エーアイ リミテッド

(74)【代理人】

【識別番号】100169904

【弁理士】

【氏名又は名称】村井 康司

(74)【代理人】

【識別番号】100219117

【弁理士】

【氏名又は名称】金 亨泰

(72)【発明者】

【氏名】ユ ペン

(72)【発明者】

【氏名】リ シャオシュ－

【テーマコード（参考）】

4C093

5B057

【Ｆターム（参考）】

4C093AA22

4C093CA13

4C093FD03

4C093FF03

5B057AA08

5B057AA09

5B057CE02

(57)【要約】      （修正有）

【課題】異物又は異物によるアーチファクトを、被写体の画像から低減する又は除去するための機械学習モデルを訓練する。
【解決手段】本方法は、異物（及び一つの選択肢として異物によるアーチファクト）の１つ以上の実画像または模擬画像と、異物及び異物によるアーチファクトを含まない１つ以上の被写体の実画像とから、生成された模擬画像が異物及び異物によるアーチファクトを含むように、１つ以上の第１模擬画像を生成するステップと、機械学習モデルを実装する機械学習ネットワークを用いて、少なくとも第１模擬画像を用いて１つ以上の予測画像を生成するステップと、１つ以上の予測画像と、１つ以上の実画像または模擬画像からなるグラウンドトゥルースデータとの差を低減するまたは最小化することによって、機械学習ネットワークを用いて機械学習モデルを訓練するまたは更新するステップと、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

少なくとも１つの異物、又は前記異物によるアーチファクト、を画像から低減する又は除去するため、の機械学習モデルを訓練する方法であって、
１つ以上、の前記異物の実画像又は前記異物の模擬画像と、
前記異物及び前記異物によるアーチファクト、を含まない１つ以上の被写体の１つ以上の実画像と、
から１つ以上、の第１模擬画像を生成するステップであって、生成される前記第１模擬画像が前記異物及び前記異物によるアーチファクトを含むステップと、
機械学習モデルを実装する機械学習ネットワークを用いて、少なくとも前記第１模擬画像を用いて、１つ以上の予測画像を生成するステップと、
前記１つ以上の予測画像と、
１つ以上、の実画像又は模擬画像を含む、グラウンドトゥルースデータと、
の差を低減する又は最小化することにより、前記機械学習ネットワークを用いて、前記機械学習モデルを訓練する又は更新するステップと、
を有する方法。

【請求項2】

前記の、
１つ以上、の前記異物の実画像又は前記異物の模擬画像、
は前記異物によるアーチファクトを含む、
請求項１に記載の方法。

【請求項3】

前記１つ以上の予測画像は、前記異物及び前記異物によるアーチファクトを含まず、
前記グラウンドトゥルースデータは、前記異物及び前記異物によるアーチファクト、を含まない１つ以上の被写体の１つ以上の実画像を含み、
前記機械学習モデルは、異物及び異物によるアーチファクトを、画像から低減する又は除去するように構成される、
請求項１又は請求項２に記載の方法。

【請求項4】

前記１つ以上の予測画像と、
１つ以上の前記異物及び１つ以上の前記異物によるアーチファクトを含まない、１つ以上の実画像と、
を区別するように構成される識別ネットワークを用いて、前記訓練済み機械学習モデルを最適化するステップ、
を有する請求項３に記載の方法。

【請求項5】

前記の、
１つ以上、の前記異物の実画像又は前記異物の模擬画像、
と、
前記の、
前記異物及び前記異物によるアーチファクト、を含まない前記１つ以上の被写体の１つ以上の実画像、
と、
から１つ以上の第２模擬画像を生成するステップであって、生成される前記第２模擬画像が前記異物を含むステップ、
をさらに有し、
前記１つ以上の予測画像は、前記異物によるアーチファクトを含まず、
前記グラウンドトゥルースデータは、前記第２模擬画像を含み、
前記機械学習モデルは、前記異物によるアーチファクトを、画像から低減する又は除去するように構成される、
請求項１又は請求項２に記載の方法。

【請求項6】

前記の、
１つ以上、の前記異物の実画像又は前記異物の模擬画像
と、
前記の、
前記異物及び前記異物によるアーチファクト、を含まない前記１つ以上の被写体の１つ以上の実画像、
と、
から１つ以上の第２模擬画像を生成するステップであって、生成される前記第２模擬画像が前記異物によるアーチファクトを含むステップ、
をさらに有し、
前記１つ以上の予測画像は、前記異物を含まず、
前記グラウンドトゥルースデータは、前記第２模擬画像を含み、
前記機械学習モデルは、前記異物を、画像から低減する又は除去するように構成される、
請求項１又は請求項２に記載の方法。

【請求項7】

前記異物は、
チタン合金と、コバルトクロム合金と、鋼と、ステンレス鋼と、歯科用アマルガムと、銀と、その他の金属と、の何れか、
又は、
セラミックと、ガラスと、ポリマーと、複合材料と、ガラスセラミックと、生体材料と、の何れか、
である、
請求項１から請求項６の何れか１項に記載の方法。

【請求項8】

前記機械学習モデルは、複数の異物及び／又は前記異物によるアーチファクト、を画像から低減する又は除去するように構成される、
請求項１から請求項７の何れか１項に記載の方法。

【請求項9】

前記１つ以上の第１模擬画像に、注釈付けする又はラベル付けするステップ、
をさらに有する請求項１から請求項８の何れか１項に記載の方法。

【請求項10】

少なくとも１つの異物、又は前記異物によるアーチファクト、を画像から低減する又は除去するため、の機械学習モデルを訓練するシステムであって、
１つ以上、の前記異物の実画像又は前記異物の模擬画像と、
前記異物及び前記異物によるアーチファクト、を含まない１つ以上の被写体の１つ以上の実画像と、
から１つ以上の第１模擬画像を生成するように構成される画像模擬装置であって、生成される前記第１模擬画像が前記異物及び前記異物によるアーチファクトを含む、画像模擬装置と、
少なくとも前記第１模擬画像を用いて、１つ以上の予測画像を生成するように構成される機械学習ネットワークであって、機械学習モデルを実装する機械学習ネットワークと、
を備え、
前記機械学習ネットワークは、
前記１つ以上の予測画像と、
１つ以上、の実画像又は模擬画像を含む、グラウンドトゥルースデータと、
の差を低減する又は最小化するように構成される、
システム。

【請求項11】

前記の、
１つ以上、の前記異物の実画像又は前記異物の模擬画像、
は前記異物によるアーチファクトを含む、
請求項１０に記載のシステム。

【請求項12】

前記１つ以上の予測画像は、前記異物及び前記異物によるアーチファクトを含まず、
前記グラウンドトゥルースデータは、前記異物及び前記異物によるアーチファクト、を含まない１つ以上の被写体の１つ以上の実画像を含み、
前記機械学習モデルは、異物及び異物によるアーチファクトを、画像から低減する又は除去するように構成される、
請求項１０又は請求項１１に記載のシステム。

【請求項13】

前記１つ以上の予測画像と、
１つ以上の前記異物及び１つ以上の前記異物によるアーチファクトを含まない、１つ以上の実画像と、
を区別するように構成される識別ネットワークを用いて、前記訓練済み機械学習モデルを最適化するように構成される、
請求項１２に記載のシステム。

【請求項14】

前記画像模擬装置は、
前記の、
１つ以上、の前記異物の実画像又は前記異物の模擬画像、
と、
前記の、
前記異物及び前記異物によるアーチファクト、を含まない前記１つ以上の被写体の１つ以上の実画像、
と、
から１つ以上の第２模擬画像を生成するようにさらに構成され、生成される前記第２模擬画像が前記異物を含み、
前記１つ以上の予測画像は、前記異物によるアーチファクトを含まず、
前記グラウンドトゥルースデータは、前記第２模擬画像を含み、
前記機械学習モデルは、前記異物によるアーチファクトを、画像から低減する又は除去するように構成される、
請求項１０又は請求項１１に記載のシステム。

【請求項15】

前記画像模擬装置は、
前記の、
１つ以上、の前記異物の実画像又は前記異物の模擬画像、
と、
前記の、
前記異物及び前記異物によるアーチファクト、を含まない前記１つ以上の被写体の１つ以上の実画像、
と、
から１つ以上の第２模擬画像を生成するようにさらに構成され、生成される前記第２模擬画像が前記異物によるアーチファクトを含み、
前記１つ以上の予測画像は、前記異物を含まず、
前記グラウンドトゥルースデータは、前記第２模擬画像を含み、
前記機械学習モデルは、前記異物を、画像から低減する又は除去するように構成される、
請求項１０又は請求項１１に記載のシステム。

【請求項16】

前記異物は、
チタン合金と、コバルトクロム合金と、鋼と、ステンレス鋼と、歯科用アマルガムと、銀と、その他の金属と、の何れか、
又は、
セラミックと、ガラスと、ポリマーと、複合材料と、ガラスセラミックと、生体材料と、の何れか、
である、
請求項１０から請求項１５の何れか１項に記載のシステム。

【請求項17】

前記システムは、複数の異物、及び／又は前記異物によるアーチファクト、を画像から低減する又は除去するために、機械学習モデルを訓練するように構成される、
請求項１０から請求項１６の何れか１項に記載のシステム。

【請求項18】

前記１つ以上の第１模擬画像、の特徴に対する注釈又はラベルを受け取るように、構成される又は動作可能な、注釈付け装置、
をさらに備える請求項１０から請求項１７の何れか１項に記載のシステム。

【請求項19】

少なくとも１つの異物、又は前記異物によるアーチファクト、を画像から低減する又は除去する方法であって、
請求項１から請求項９の何れか１項に記載の方法により訓練された機械学習モデルを用いて、
少なくとも１つの異物、又は前記異物によるアーチファクト、
又は、
前記少なくとも１つの異物、及び前記の、前記異物によるアーチファクト、
を被写体の画像から低減する又は除去するステップ、
を有する方法。

【請求項20】

少なくとも１つの異物、又は前記異物によるアーチファクト、を画像から低減する又は除去するシステムであって、
前記システムは、請求項１から請求項９の何れか１項に記載の方法により訓練された機械学習モデルを用いて、
少なくとも１つの異物、又は前記異物によるアーチファクト、
又は、
前記少なくとも１つの異物、及び前記の、前記異物によるアーチファクト、
を被写体の画像から低減する又は除去するように構成される、
システム。

【請求項21】

１つ以上のコンピュータ装置により実装される場合、請求項１から請求項９の何れか１項に記載の方法を実装するように構成されるプログラムコード、
を有するコンピュータプログラム。

【請求項22】

請求項２１に記載のコンピュータプログラム、
を有するコンピュータ記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願との相互参照）
本出願は、豪国特許出願公開第２０２２２２１５２２号明細書の出願日の利益を主張するものであり、その内容は参照により本明細書に組み込まれる。

【0002】

本発明は、医療画像などのスキャンまたは画像から、特にコンピュータ断層撮影（ＣＴ）画像、磁気共鳴（ＭＲ）画像およびＸ線画像から、異物および異物アーチファクト（金属および金属アーチファクトなど）を低減する又は除去するための方法およびシステムに関する。

【背景技術】

【0003】

Ｘ線、コンピュータ断層撮影（ＣＴ）、ＭＲＩなどの医療画像手段は、医学的診断を非常に容易にする。しかし、特に金属や金属アーチファクト（金属が存在することによって生じる）という態様で、被写体や患者のスキャン画像に現れる異物の存在が大きな問題となっている。

【0004】

金属アーチファクトは、チタン合金、コバルトクロム合金、ステンレス鋼（引張強度、圧縮強度、剛性が高いため、特に整形外科用に適している）、歯科用アマルガム、銀などの金属インプラントや金属製プロテーゼに代表されるが、これらに限定されるものではない。最近では、セラミック、ガラス、ポリマー、コンポジット、ガラスセラミック、金属合金などの生体材料のインプラントやプロテーゼも開発されており、アーチファクトもこれらの材料から生じることがある。

【0005】

アーチファクトは一般的にビーム硬化、散乱、光子不足、患者の動きによって生成される。金属や金属のアーチファクトは、通常、超高輝度、暗色、または筋状領域として現れ、スキャン中の注目すべき特徴を汚染または不明瞭にする。これは傷害、病理、治療の診断や観察を著しく損なう可能性がある。したがって、金属および金属アーチファクトの低減または除去は、スキャンから金属および金属アーチファクトを低減または除去して、低減及び除去していない場合における「汚染」または不明瞭、な領域をある程度回復することを目的とする。特に金属アーチファクトの低減／除去は、金属の低減／除去も含めて、医療画像解析システムの重要な部分となり得る。

【0006】

金属アーチファクトの低減／除去の既存の手法は、（ｉ）物理的影響の補正ベースの手法（非特許文献１、非特許文献２）、（ｉｉ）補間ベースの手法（非特許文献３、非特許文献４）、（ｉｉｉ）反復再構成ベースの手法（非特許文献５、非特許文献６）、（ｉｖ）深層学習ベースの手法（非特許文献７、非特許文献８）の４つに分類される。物理的影響の補正ベースの手法は、物理的影響を補正することを伴うが、大きな金属部品に対しては失敗する。補間ベースの手法は、補間アルゴリズムを用いて金属投影を置き換えるが、補間は通常、新たなアーチファクトをもたらす。反復再構成ベースの手法は、金属アーチファクトを繰り返し除去し、適切な正則化によって影響を受けていない投影を再構築するが、金属のサイズ、位置、材質のばらつきにより、満足のいく結果は得られない。深層学習の手法は、膨大なデータを介してアーチファクトの除去戦略を学習するが、既存の深層学習の手法では、金属により毀損された領域はまだうまく復元できない。

【0007】

大きな問題は、人体部位の特性が異なるため、ある身体部位で開発されたアルゴリズムを別の身体部位に適用できないことである。加えて、例えば補間や深層学習アルゴリズムによって引き起こされる二次的なアーチファクトは、ＣＴの大きな金属挿入物によってしばしばもたらされる。さらに、金属アーチファクトがある場合と金属アーチファクトがない場合にかかる、同じ被験者の医療用ＣＴ画像は、機械学習モデルを訓練するために入手するのが困難であり、このような訓練データの不足が機械学習ベースの手法の性能を制限している。

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明の目的は、医療画像（例えば、骨を含むＸ線画像、ＣＴ画像又はＭＲＩ画像）等の被写体の画像から、異物又は異物によるアーチファクトを低減する又は除去するための機械学習モデルを訓練する方法及びシステムを提供することであり、例えば、金属又は金属の形態の異物を低減する又は除去するための方法及びシステムを提供することである。

【課題を解決するための手段】

【0009】

本発明の第1の態様によれば、少なくとも１つの異物、又は前記異物によるアーチファクト、を画像から低減する又は除去するため、の機械学習モデルを訓練する方法が提供される。方法は、１つ以上、の異物の実画像又は異物の模擬画像と、異物及び異物によるアーチファクト、を含まない１つ以上の被写体の１つ以上の実画像と、から１つ以上、の第１模擬画像を生成するステップであって、生成される第１模擬画像が異物及び異物によるアーチファクトを含むステップと、機械学習モデルを実装する機械学習ネットワークを用いて、少なくとも第１模擬画像を用いて、１つ以上の予測画像を生成するステップと、１つ以上の予測画像と、１つ以上、の実画像又は模擬画像を含む、グラウンドトゥルースデータと、の差を低減する又は最小化することにより、機械学習ネットワークを用いて、機械学習モデルを訓練する又は更新するステップと、を有する。

【0010】

本明細書で用いる「画像」と「スキャン」という用語は、本質的に同義であることを理解されたい。実際には、スキャンは１つ以上の画像を含んでもよいが、本発明は１つ以上の画像を処理するために採用されるように適合されているので、その区別さえも一般的には無意味である。また、異物を含む、画像又はスキャンへの言及は、その異物（又はその異物を用いた物体）の全体画像又は部分画像を含む、画像又はスキャンを指すことを理解すべきである。さらに、異物は単一の物質である必要はない。例えば、その異物は、（本明細書で言及するように）合金であって複数の金属を含むものであってもよく、あるいは、その異物は、同じ材料又は異なる材料の複数の物体（又はその一部）の形態であってもよい。

【0011】

さらに、異物は金属材料に限定されない。本明細書で使用する場合、ビーム硬化、散乱、光子不足、ノイズなどを引き起こし、画像上に筋、暗孔、ぼやけなどの識別可能なアーチファクトを生成し、画質を低下させる、あらゆる高密度材料から構成される可能性がある。

【0012】

本明細書で使用する「異物及び異物アーチファクトを含まない」という表現は、異物及び異物から生じるアーチファクトの両方を含まないことを意味し、ここで「異物」は、画像（単数又は複数）／スキャン（単数又は複数）から除去されるもの、又は画像（単数又は複数）／スキャン（単数又は複数）から除去され続けているものである。同様に、本明細書で使用される「異物および異物アーチファクトが除去／除去された」という表現は、異物および異物アーチファクトが除去された画像（単数または複数）／スキャン（単数または複数）、または画像（単数または複数）／スキャン（単数または複数）からの異物（単数または複数）および／または異物アーチファクトの除去のために、または除去を訓練するために構成された特徴（深層学習モデルまたはネットワークなど）を指す。さらに、「含まない」（「異物を含まない」または「アーチファクトを含まない」など）は、可能な範囲で省くまたは除外されることを意味することが理解されるべきである。

【0013】

上述のように、第１模擬画像は、異物及び異物によるアーチファクト、の１つ以上の実画像又は模擬画像から生成されてもよい。模擬画像が用いられる場合、それらは、例えば、異物（複数可）を含む、ＣＴスキャンなどの実スキャンから異物（金属など）の１つ以上の領域を区切ることによって生成されてもよい。別の例において、黒または空白の画像上に配置された明るいピクセル／ボクセルのクラスターを模擬することによって、この方法で使用するための金属マスク画像または画像を生成することができる。

【0014】

一つの選択肢として、各実施形態において、異物の１つ以上の実画像または模擬画像は、異物によるアーチファクトも含む。例えば、これらの画像が実画像である場合、異物（複数可）と異物によるアーチファクトの両方を含む可能性が高い。しかし、本方法は、異物とアーチファクトの両方を有する実画像から異物領域を区切ることにより、結果的に異物のみを有する画像を生成することも含む。

【0015】

上述の「異物の１つ以上の実画像または模擬画像」が模擬画像である場合、それらは異物（複数可）または異物（複数可）とそのアーチファクトを含むことができる。

【0016】

一実施形態において、１つ以上の予測画像は、異物及び異物によるアーチファクトを含まない。グラウンドトゥルースデータは、異物及び異物によるアーチファクト、を含まない１つ以上の被写体の１つ以上の実画像を含む。機械学習モデルは、異物及び異物によるアーチファクトを、画像から低減する又は除去するように構成される。

【0017】

本方法は、１つ以上の予測画像と、異物及び異物によるアーチファクトを含まない、１つ以上の実画像と、を区別するように構成される識別ネットワークを用いて、訓練済み機械学習モデルを最適化するステップ、をさらに有してもよい。

【0018】

したがって、識別ネットワークが、ＭＡＲ予測画像と、実画像または模擬画像と、で検出できる差異が少ないほど、機械学習モデルが最適化される。一旦最適化されると、機械学習モデルは、予測画像において予測プロセスによって導入された二次的なアーチファクトを含む、画像（単数または複数）／スキャン（単数または複数）中の異物および／またはそのアーチファクトを低減する。

【0019】

別の実施形態において、本方法は、１つ以上、の異物の実画像又は異物の模擬画像、と、異物及び異物によるアーチファクト、を含まない１つ以上の被写体の１つ以上の実画像、と、から１つ以上の第２模擬画像を生成するステップであって、生成される第２模擬画像が異物を含むステップ、をさらに有する。

【0020】

１つ以上の予測画像は、異物によるアーチファクトを含まない。グラウンドトゥルースデータは、第２模擬画像を含む。機械学習モデルは、異物によるアーチファクトを、画像から低減する又は除去するように構成される。

【0021】

別の実施形態において、本方法は、１つ以上、の異物の実画像又は異物の模擬画像と、異物及び異物によるアーチファクト、を含まない１つ以上の被写体の１つ以上の実画像、と、から１つ以上の第２模擬画像を生成するステップであって、生成される第２模擬画像が異物によるアーチファクトを含むステップ、をさらに有する。

【0022】

１つ以上の予測画像は、異物を含まない。グラウンドトゥルースデータは、第２模擬画像を含む。機械学習モデルは、異物を、画像から低減する又は除去するように構成される。

【0023】

異物の例としては、チタン合金と、コバルトクロム合金と、鋼と、ステンレス鋼と、歯科用アマルガムと、銀と、その他の金属と、セラミックと、ガラスと、ポリマーと、複合材料と、ガラスセラミックと、生体材料と、が挙げられる。

【0024】

機械学習モデルは、複数の異物及び／又は異物によるアーチファクト、を画像から低減する又は除去するように構成されてもよい。

【0025】

本方法は、１つ以上の第１模擬画像に、注釈付けする又はラベル付けするステップ、を有してもよい。

【0026】

本発明の第２の態様によれば、異物又は異物によるアーチファクト、を画像から低減する又は除去するため、の機械学習モデルを訓練するシステムが提供される。システムは、１つ以上、の異物の実画像又は異物の模擬画像と、異物及び異物によるアーチファクト、を含まない１つ以上の被写体の１つ以上の実画像と、から１つ以上の第１模擬画像を生成するように構成される画像模擬装置であって、生成される第１模擬画像が異物及び異物によるアーチファクトを含む、画像模擬装置と、少なくとも第１模擬画像を用いて、１つ以上の予測画像を生成するように構成される機械学習ネットワークであって、機械学習モデルを実装する機械学習ネットワークと、を備える。機械学習ネットワークは、１つ以上の予測画像と、１つ以上、の実画像又は模擬画像を含む、グラウンドトゥルースデータと、の差を低減する又は最小化するように構成される。

【0027】

一つの選択肢として、１つ以上、の異物の実画像又は異物の模擬画像、は異物によるアーチファクトを含む。

【0028】

一実施形態において、１つ以上の予測画像は、異物及び異物によるアーチファクトを含まない。グラウンドトゥルースデータは、異物及び異物によるアーチファクト、を含まない１つ以上の被写体の１つ以上の実画像を含む。機械学習モデルは、異物及び異物によるアーチファクトを、画像から低減する又は除去するように構成される。

【0029】

システムは、１つ以上の予測画像と、異物及び異物によるアーチファクトを含まない、１つ以上の実画像と、を区別するように構成される識別ネットワークを用いて、訓練済み機械学習モデルを最適化するようにさらに構成されてもよい。

【0030】

実施形態において、画像模擬装置は、１つ以上、の異物の実画像又は異物の模擬画像、と、異物及び異物によるアーチファクト、を含まない１つ以上の被写体の１つ以上の実画像、と、から１つ以上の第２模擬画像を生成するようにさらに構成され、生成される第２模擬画像が異物を含む。１つ以上の予測画像は、異物によるアーチファクトを含まない。グラウンドトゥルースデータは、第２模擬画像を含む。機械学習モデルは、異物によるアーチファクトを、画像から低減する又は除去するように構成される。

【0031】

別の実施形態において、画像模擬装置は、１つ以上、の異物の実画像又は異物の模擬画像、と、異物及び異物によるアーチファクト、を含まない１つ以上の被写体の１つ以上の実画像、と、から１つ以上の第２模擬画像を生成するようにさらに構成され、生成される第２模擬画像が異物によるアーチファクトを含む。１つ以上の予測画像は、異物を含まない。グラウンドトゥルースデータは、第２模擬画像を含む。機械学習モデルは、異物を、画像から低減する又は除去するように構成される。

【0032】

異物の例としては、チタン合金と、コバルトクロム合金と、鋼と、ステンレス鋼と、歯科用アマルガムと、銀と、その他の金属と、セラミックと、ガラスと、ポリマーと、複合材料と、ガラスセラミックと、生体材料と、が挙げられる。

【0033】

本システムは、複数の異物、及び／又は異物によるアーチファクト、を画像から低減する又は除去するために、機械学習モデルを訓練するように構成されてもよい。

【0034】

本システムは、１つ以上の第１模擬画像、の特徴に対する注釈又はラベルを受け取るように、構成される又は動作可能な、注釈付け装置、をさらに備えてもよい。

【0035】

本発明の第３の態様によれば、少なくとも１つの異物、又は異物によるアーチファクト、を画像から低減する又は除去する方法が提供される。方法は、第１の態様の方法に従って訓練された機械学習モデルを用いて、少なくとも１つの異物、又は異物によるアーチファクト、又は、少なくとも１つの異物、及び異物によるアーチファクト、を被写体の画像から低減する又は除去するステップ、を有する。

【0036】

本発明の第４の態様によれば、少なくとも１つの異物、又は異物によるアーチファクト、を画像から低減する又は除去するシステムが提供される。本システムは、第１の態様の方法に従って訓練された機械学習モデルを用いて、少なくとも１つの異物、又は異物によるアーチファクト、又は、少なくとも１つの異物、及び異物によるアーチファクト、を被写体の画像から低減する又は除去するように構成される。

【0037】

本発明の第５の態様によれば、１つ以上のコンピュータ装置により実装される場合、第１及び／又は第３の態様（及びそれらの実施形態の何れか）の方法を実装するように構成されるプログラムコード、を有するコンピュータプログラムが提供される。この態様によれば、上記のコンピュータプログラム、を有するコンピュータ記録媒体（非一時的なものであってもよい）も提供される。

【0038】

本発明の上記各態様の様々な個々の特徴のいずれか、および特許請求の範囲に記載されたものを含む本明細書に記載された実施形態の様々な個々の特徴のいずれかを、好適かつ所望のように組み合わせることができることに留意されたい。

【図面の簡単な説明】

【0039】

本発明をより明確に理解するために、実施形態を以下の図面を参照して例示的に説明する。

【図1】本発明の一実施形態に係る医療画像処理システムの概略構成図である。

【図2】図１のシステムの一般的なワークフローを示す図である。

【図3】図３Ａは、本発明の実施形態による異物および異物アーチファクトの除去のためのモデルを生成するように構成される、深層学習アーキテクチャを示す。図３Ｂは、本発明の実施形態による異物アーチファクトの除去のためのモデルを生成するように構成される、深層学習アーキテクチャを示す。図３Ｃは、本発明の実施形態による異物除去のためのモデルを生成するように構成される深層学習アーキテクチャを示す。

【図4】本発明の実施形態による、異物及び異物アーチファクト、の除去のための深層学習モデル（複数可）の訓練する概略フロー図である。

【図5】模擬金属および模擬金属アーチファクトのスキャンの例示的な生成の概略フロー図である。

【図6】図６Ａから図６Ｄは、金属を含まない実際のＣＴスキャンと、対応する模擬金属及び模擬金属アーチファクトのＣＴスキャンの例である。

【図7】図７Ａから図７Ｄは、それぞれ図６Ａから図６Ｄの画像の反転バージョンである。

【図8】図８Ａから図８Ｄは、それぞれ図６Ａから図６Ｄの画像の詳細である。

【図9】図３Ａの深層学習アーキテクチャの金属および金属アーチファクトの除去ネットワークの実施形態を示す。

【図10】図３Ａの深層学習アーキテクチャの識別ネットワークの実施形態を示す。

【図11】本発明の実施形態による異物アーチファクトの除去のための深層学習モデルを訓練する概略フロー図である。

【図12】図１２Ａ、１２Ｂ及び１２Ｃは、それぞれ、生の形態の足のＣＴ画像、金属アーチファクトが除去された同じ画像、及び金属と金属アーチファクトの両方が除去された同じ画像である。

【図13】図１３Ａ、１３Ｂ及び１３Ｃは、それぞれ、図１２Ａ、１２Ｂ及び１２Ｃの画像の反転バージョンである。

【発明を実施するための形態】

【0040】

図１は、本発明の実施形態による医療画像処理システム１０の形態の画像処理システムの概略図である。システム１０は、１つ以上の異物、及び／又は異物アーチファクトを、画像又はスキャンから除去するように構成されている。本実施形態において、異物は、典型的には、鋼、チタン合金、コバルトクロム合金などの金属であるが、システム１０は、歯科用アマルガム、銀、セラミック、ガラス、ポリマー、複合材料、ガラスセラミック、生体材料などの他の材料での使用にも適している。いずれの場合も、システム１０は、それぞれの材料および／またはアーチファクト、を含むか模擬訓練画像を使用して、訓練される。

【0041】

図１を参照すると、システム１０は、画像処理コントローラ１２と、ユーザインタフェース１４（ＧＵＩ１６を含む）とから構成される。ユーザインタフェース１４は、典型的には、１つ以上のディスプレイ（そのうちの１つ以上にＧＵＩ１６を表示することができる）、キーボード及びマウス、並びに一つの選択肢としてプリンタから構成される。画像処理コントローラ１２は、少なくとも１つのプロセッサ１８及びメモリ２０を含む。システム１０は、例えば、コンピュータ（サーバ、パーソナルコンピュータまたはモバイルコンピューティングデバイスなど）上のソフトウェアとハードウェアの組み合わせとして、または専用の画像処理システムとして実装してもよい。システム１０は、一つの選択肢として分散型であってもよく、例えば、メモリ構成要素の一部又は全部は、プロセッサから遠隔に配置されてもよく、ユーザインタフェースは、メモリ及び／又はプロセッサから遠隔に配置されてもよく、実際に、ウェブブラウザ又はモバイルデバイスアプリケーションから構成されてもよい。

【0042】

メモリ２０は、プロセッサ１８とデータ通信可能であり、典型的には、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ、および１つ以上の大容量記憶装置を含む、揮発性メモリと不揮発性メモリの両方で構成される（１つ以上のタイプのメモリを含む場合もある）。

【0043】

以下により詳細に説明するように、プロセッサ１８は、画像データプロセッサ２２を含み、この画像データプロセッサ２２は、画像プロセッサ２４と、以下に詳細に説明するように、コントローラ１２の他の様々な構成要素を採用して、画像またはスキャンから１つ以上の異物および／または異物アーチファクトを除去するように構成可能な異物および異物アーチファクト除去装置２６（本明細書では、物質（Ｍａｔｅｒｉａｌ）及びアーチファクト（Ａｒｔｅｆａｃｔ）除去装置（Ｒｅｍｏｖｅｒ）２６又はＭＡ除去装置２６とも呼ぶ）とを含む。すなわち、訓練データの性質に従って、ＭＡ除去装置２６は、画像またはスキャンから、（ａ）１つ以上の異物、または（ｂ）異物アーチファクト、または（ｃ）異物および異物アーチファクトの両方、を除去する。

【0044】

また、プロセッサ１８は、異物と、異物アーチファクトと、の一方または両方を欠く既存の画像において、異物および／または異物アーチファクトを模擬することなどにより、模擬画像を生成するように構成された画像模擬装置２８を含む。

【0045】

さらに、プロセッサ１８は、深層学習モデル訓練装置３０（注釈付け装置３１、ＭＡＲモデル訓練装置３２および識別モデル訓練装置３３を含む）と、Ｉ／Ｏインターフェース３４と、結果出力装置３６の形態の出力とを含む。深層学習モデル訓練装置３０は、ＭＡＲモデルおよび識別モデルを訓練するように構成されており、スキャンに平均二乗損失計算を適用したり、クロスエントロピー損失を決定して出力することによって識別ネットワークの性能を決定したり、するなどの機能を実行することができる。

【0046】

注釈付け装置３１は、画像／スキャンにおいて識別可能な特徴に注釈付け又はラベル付けする（又はその注釈付け又はラベル付けを入力する）ためにユーザが操作可能である。

【0047】

メモリ２０は、プログラムコード３８、画像データストア４０、非画像データストア４２、訓練データストア４４、ＭＡＲモデルの訓練済み深層学習ＭＡＲモデルストア４６、および１つ以上の訓練済み深層学習識別モデル４８を含む。

【0048】

ＭＡＲモデルは、（それぞれのモデルを訓練するために使用された訓練データに従って）画像／スキャンから、異物および／または異物アーチファクトを最小化または除去するように構成されてもよい。したがって、ＭＡＲモデルストア４６は、異物（複数可）および異物アーチファクトを除去するように訓練された１つ以上のモデル４７ａ、異物アーチファクトを除去するように訓練された１つ以上のモデル４７ｂ、および／または異物（複数可）を除去するように訓練された１つ以上のモデル４７ｃを含んでもよい。

【0049】

使用時、システム１０は、１つ以上の異物（金属など）及びその１つ以上のアーチファクトを含む画像又はスキャン（ＣＴスキャンなど）を訓練済みＭＡＲモデル（複数可）４７ａ、４７ｂ、４７ｃのうちの１つ以上に供給する。ＭＡＲモデル（複数可）４７ａ、４７ｂ、４７ｃは、スキャンを処理し、異物および／または異物アーチファクト（複数可）を低減または除去したスキャンを出力するように適合される。システム１０はまた、異物（複数可）及び異物アーチファクト除去のためのモデル４７ａの更なる又は後続の訓練において、モデル最適化のために識別モデル（複数可）４８を使用してもよい。

【0050】

画像処理コントローラ１２は、プロセッサ１８がメモリ２０からプログラムコード３８を実行することによって、少なくとも部分的に実行される。

【0051】

広義には、Ｉ／Ｏインターフェース３４は、処理のために、被写体又は患者又は撮像態様に係る画像データ及び非画像データ（ＤＩＣＯＭ形式等）、をメモリ２０の画像データストア４０及び非画像データストア４２、に読み込む又は受信するように構成される。画像データ処理装置２２の画像処理装置２４は、画像フォーマット変換及び画素／ボクセル値の標準化などによる画像の前処理、及び／又は画像ノイズ除去及び／又は画像視覚化強調などによる画像の後処理を行うように構成されている。画像データ処理装置２２のＭＡ除去装置２６は、画像からアーチファクト及び／又は異物を除去するように構成される。Ｉ／Ｏインターフインターフェースこの処理の結果を例えば結果出力装置３６及び／又はＧＵＩ１６に出力する。

【0052】

図１を参照すると、システム１０は、画像データと非画像データとの２種類のデータを受信するように構成されている。画像データは、被写体又は患者のスキャンであり、このスキャンには異物及びアーチファクトが含まれる。非画像データには、各スキャンの撮像態様のスキャンパラメータ、所望の処理／結果を示す情報（異物及び異物アーチファクトの両方の低減又は除去と、異物のみの低減又は除去と、異物アーチファクトのみの低減又は除去など）など、スキャンの撮像態様に関する情報が含まれる。

【0053】

これらのスキャンパラメータは、金属アーチファクトの模擬実行に使用するのに適している。例えば、ＣＴスキャンパラメータ（ＣＴ画像解像度、センサ間隔、Ｘ線回転角増分、Ｘ線源から回転中心までの距離など）は、ＭＡのＣＴスキャンの模擬実行におけるサイノグラム変換に必要である。

【0054】

システム１０は、画像データ及び非画像データをそれぞれ画像データストア４０及び非画像データストア４２に格納する。

【0055】

これまで見てきたように、画像データ処理装置２２は、画像処理装置２４とＭＡ除去装置２６の２つの構成要素からなる。画像データ及び非画像データは、画像データ処理装置２２によってアクセスされる。撮像情報（例えば、スキャンの態様及びパラメータ）及び非画像データからの所望の処理／結果に基づいて、ＭＡ除去装置２６は、スキャンから異物及び／又はアーチファクトを低減又は除去するのに使用するために、訓練済み深層学習モデルストア４６から１つ以上のモデル４７ａ、４７ｂ、４７ｃを選択する。画像処理装置２４は、スキャン画像を前処理及び／又は後処理するために画像処理アルゴリズムを使用してもよい。

【0056】

一実施形態において、異物及び異物アーチファクトを除去する１つのモデルが訓練される。訓練済みＭＡＲモデル４７ａは、スキャンから、異物と異物アーチファクトの両方を除去する。別の実施形態において、２つのモデルが訓練され、それぞれ異物アーチファクトを除去する第１のモデル４７ｂと異物を除去する第２のモデル４７ｃとが訓練される。

【0057】

一実施形態において、異なる、異物及び異物アーチファクトの除去モデル、がＸ線、ＣＴ及び／又はＭＲＩの各々などの各撮像態様に対して訓練される。別の実施形態において、１つ以上の異物及び異物アーチファクトの除去モデルが、撮像態様の種類ごとに訓練される。さらに別の実施形態において、１つ以上の異物及び異物アーチファクトの除去モデルが、撮像態様の種類ごとに訓練される。例えば、１つのＣＴスキャナのそれぞれの異なるスキャン設定に合わせて別々のモデルを訓練してもよい。

【0058】

訓練データは、異物及び異物アーチファクトの除去モデルと、識別モデルと、を訓練するために準備される。訓練データは、異物およびアーチファクト、を含まない実スキャン、異物およびアーチファクト、を含む実スキャン、および異物およびアーチファクト、の模擬スキャンからなる。

【0059】

プロセッサ１８は、訓練データを使用して、異物除去モデル、異物アーチファクトの除去モデル、異物および異物アーチファクトの除去（ＭＡＲ）モデル、識別モデルを訓練する（および、後述するように、そのような訓練済み深層学習モデルを再訓練または更新する）ように構成された深層学習モデル訓練装置３０を含む。しかしながら、他の実施形態において、深層学習モデル訓練装置は、訓練済み深層学習モデルを再訓練または更新するためだけに構成または使用されてもよい。

【0060】

図２は、図１のシステム１０の一般的なワークフロー５０を示す。図２を参照すると、ステップ５２において、異物及び異物アーチファクト、を含むスキャンがシステム１０のメモリ２０に読み込まれる。メモリ２０は、好ましくは、システム１０によるデータの高速アクセスを可能にするように構成される。例えば、システム１０がコンピュータ上のソフトウェアとハードウェアの組み合わせとして実行する場合、画像はメモリ２０のＲＡＭに書き込まれ、メモリ２０のＲＡＭから読み出される。

【0061】

ステップ５４において、画像データプロセッサ２２は、メモリ２０内の訓練済み深層学習モデルストア４６から１つ以上の適切な深層学習モデル４７ａ、４７ｂ、４７ｃを選択する。深層学習モデルの選択は、撮像態様情報と、非画像データに規定される所望の情報（すなわち、異物及び／又はアーチファクトを画像／スキャンから除去すべきか否かを規定する）とに基づいて行われる。例えば、スキャン（単数又は複数）がＣＴ画像である場合、画像データプロセッサ２２は、ＣＴスキャンデータを用いて訓練された深層学習モデル（複数可）を選択し、異物及び異物アーチファクトの両方を除去するために、異物除去及び異物アーチファクト除去の両方について訓練されたモデル４７ａが選択され、異物アーチファクトのみを除去するために、金属アーチファクトの除去のみについて訓練されたモデル４７ｂが選択され、異物アーチファクトのみを除去するために、異物除去のみについて訓練されたモデル４７ｃが選択される。

【0062】

ステップ５６において、ＭＡ除去装置２６は、選択された訓練済み深層学習モデル４７ａ及び入力ＣＴ画像に基づいて、異物及び異物アーチファクトが除去されたＣＴ画像を生成する。さらに、又は代替的に、ステップ５７において、ＭＡ除去装置２６は、選択された訓練済み深層学習モデル４７ｂ及び入力ＣＴ画像に基づいて、異物アーチファクトのみが除去されたＣＴ画像を生成する。さらに、又は代替的に、ステップ５８において、ＭＡ除去装置２６は、選択された訓練済み深層学習モデル４７ｃと入力ＣＴ画像とに基づいて、異物のみが除去されたＣＴ画像を生成する。

【0063】

図３Ａは、異物および異物アーチファクトの除去のためのモデル４７ａを訓練する深層学習アーキテクチャ６０（深層学習モデル訓練装置３０によって実装される）を示す。図３Ａを参照すると、深層学習アーキテクチャ６０は、異物および／または異物アーチファクトの除去（ＭＡＲ）ネットワーク６２と、識別ネットワーク６４と、の２つのネットワークを含む。深層学習ＭＡＲモデル４７ａは、教師あり学習を通じてＭＡＲネットワーク６２から深層学習モデル訓練装置３０によって訓練され、モデル４７ａは、教師なし学習を通じて識別ネットワーク６４（識別モデル４８を使用）を用いて最適化される。

【0064】

ＭＡＲネットワーク６２は、以下のように、ＭＡＲネットワーク６２によって作成された予測スキャンと、グラウンドトゥルース（この例では、実際の異物及び異物アーチファクトを含まないスキャン６６）と、の差を比較し、最小化することを含む方法で訓練済みモデル４７ａを出力する。

【0065】

まず、画像模擬装置２８は、異物（例えば金属）及び異物アーチファクトを含まない実スキャン６６（すなわち、特定の画像態様を用いて生成された、異物（単数又は複数）及び異物（単数又は複数）によるアーチファクトの両方を含まない）及び異物の実スキャン６８（同じ画像態様を用いて生成された）を用いて、異物及び異物アーチファクトを含む模擬スキャン７２を生成する。異物及び異物アーチファクトを含まない実スキャン６６は、この例では、グラウンドトゥルースと見なすことができ、異物及び異物アーチファクトの模擬スキャン７２は、訓練データと見なすことができる（そして、訓練データストア４４に記憶されることが望ましい）。

【0066】

模擬スキャン７２は（注釈付け装置３１を用いて）注釈付けされた後、ＭＡＲネットワーク６２に入力される。ＭＡＲネットワーク６２の出力は、異物および異物アーチファクトを含まない（ＭＡＲ）予測スキャン７４を含む。ＭＡＲネットワーク６２は、ＭＡＲ予測スキャン７４と、異物及び異物アーチファクトを含まない実スキャン６６と、の差を最小化することによって深層学習ＭＡＲモデル７６を訓練する。

【0067】

ＭＡＲネットワーク６２によって一旦訓練されたＭＡＲモデル７６は、識別モデルネットワーク６４によって以下のように最適化される。異物及び異物アーチファクトを含む実スキャン７８が、訓練済みＭＡＲモデル７６に入力され、訓練済みＭＡＲモデル７６はそれらの実スキャン７８から、異物及び異物アーチファクトを含まない（ＭＡＲ）予測スキャン８０を生成する。ＭＡＲ予測スキャン８０と、異物を含まない実スキャン６６と、は識別ネットワーク６４に入力される。（この実施形態において、ＭＡＲネットワーク訓練に使用される異物を含まない実スキャンは、ＭＡＲモデル最適化に使用されるものと同じ、異物を含まないスキャンであるが、一部の実施形態において、ＭＡＲネットワーク訓練に使用される異物を含まない実スキャンは、ＭＡＲモデル最適化に使用される異物を含まないスキャンとは異なることに留意されたい）。識別ネットワーク６４は、ＭＡＲ予測スキャン８０を異物及び異物アーチファクトを含まない実スキャン６６から識別しようとする。ＭＡＲ予測スキャン８０と、異物を含まない実スキャン６６と、の差異が大きい場合、識別ネットワーク６４はこれらのスキャンを区別することができ、それに対応して、ＭＡＲネットワーク６２は改善された訓練済みＭＡＲモデル７６を生成するように微調整する。ＭＡＲモデル７６は、識別ネットワーク６４が、異物及び異物アーチファクトを含まない実スキャン６６と、差異を識別できないＭＡＲ予測スキャン８０を生成するまで、この最適化手順によって繰り返し改善される。

【0068】

ＭＡＲネットワーク６２は、様々なデザインで実装してもよい。一実施形態において、ＭＡＲネットワーク６２は、Ｕ字型ネットワークとして実装される。別の実施形態では、ＭＡＲネットワーク６２は、ＲｅｓＮｅｔ（残差ニューラルネットワーク）として実装される。識別ネットワーク６４も様々な設計で実装することができる。一実施形態において、識別ネットワーク６４は、ＧＡＮネットワークとして実装される。別の実施形態において、識別ネットワーク６４は、オートエンコーダネットワークとして実装される。

【0069】

この実施形態において、ＭＡＲモデル７６は、ＭＡＲネットワーク６２から訓練され、その後、識別モデルネットワーク６４によって最適化され、例えば、ＭＡＲネットワーク訓練の全てのエポックが完了した後にのみＭＡＲモデル７６を最適化することによって最適化される。別の実施形態において、ＭＡＲ訓練と最適化は同時に行われ、例えば、ＭＡＲネットワークの各エポックが完了した後にＭＡＲモデルが最適化される。

【0070】

一実施形態において、訓練済みＭＡＲモデル７６は、異物および異物アーチファクトの両方をスキャンから除去するように、異物および異物アーチファクトを除去するための１つのモデル４６ａが訓練される。別の実施形態において、異物アーチファクトと異物と、を別々に除去するための２つのモデル４７ｂ、４７ｃが訓練される。例えば、異物アーチファクトの除去用のモデル４７ｂは、異物アーチファクトのみをスキャンから除去する。生成されたスキャンは、異物（例えば金属）を元の場所で表す。その後、異物除去装置４７ｃを使用してスキャンから異物を除去することができる。一実施形態において、画像上の異物除去領域はマスクによって埋められる。別の実施形態において、画像上の異物除去領域は、人体組織の予測ピクセル／ボクセル値によって埋められる。

【0071】

図３Ａに示される実施形態において、深層学習アーキテクチャ６０は、ＭＡＲネットワーク６２と、識別ネットワーク６４と、の両方を有する。別の実施形態において、深層学習アーキテクチャは、ＭＡＲネットワーク６２のみを有してもよい。したがって、識別ネットワーク６４は有利であるが、一つの選択肢として見なされるべきである。

【0072】

例えば、図３Ｂは、異物アーチファクトの除去のためのモデル４７ｂを訓練する深層学習アーキテクチャ６０’（深層学習モデル訓練装置３０によって実装される）を示す。図３Ｂの深層学習アーキテクチャ６０’は、１つのネットワークであるＭＡＲネットワーク６２を含み、このＭＡＲネットワーク６２は、ＭＡＲネットワーク６２によって作成された予測スキャンを対応する模擬スキャンと比較することを含む方法において、以下のように訓練済みモデル４７ｂを出力する。

【0073】

最初に、画像模擬装置２８は、異物及び異物アーチファクトを含む７０の模擬スキャン７２を生成するため、及び異物を有する７０’の模擬スキャン７２’を生成するために、異物及び異物アーチファクトを含まない実スキャン６６及び異物の実スキャン６８の両方を使用する。異物および異物アーチファクトを含む模擬スキャン７２は、この例では訓練データとみなすことができ、異物を含む模擬スキャン７２’はグラウンドトゥルースとみなすことができる。

【0074】

異物及び異物アーチファクトを有する模擬スキャン７２は（注釈付け装置３１を使用して）注釈付けされた後、ＭＡＲネットワーク６２に入力される。ＭＡＲネットワーク６２の出力は、異物アーチファクトを含まない予測スキャン７４’からなる。ＭＡＲネットワーク６２は、予測スキャン７４’と、異物を含む模擬スキャン７２’と、の差を最小化することによって深層学習ＭＡＲモデル７６’を訓練する。

【0075】

別の例において、図３Ｃは、異物除去のためのモデル４７ｃを訓練する深層学習アーキテクチャ６０”（深層学習モデル訓練装置３０によって実装される）を示す。図３Ｃの深層学習アーキテクチャ６０”は、１つのネットワークであるＭＡＲネットワーク６２を含み、ＭＡＲネットワーク６２によってなされた予測スキャンと対応する模擬スキャンとを以下のように比較することによって、訓練済みモデル４７ｃを出力する。

【0076】

最初に、画像模擬装置２８は、異物及び異物アーチファクトを含む７０の模擬スキャン７２を生成するため、及び異物アーチファクトを含む７０”の模擬スキャン７２”を生成するために、異物及び異物アーチファクトを含まない実スキャン６６及び異物の実スキャン６８の両方を使用する。異物および異物アーチファクトを含む模擬スキャン７２は、この例において訓練データとみなすことができ、異物アーチファクトを含む模擬スキャン７２”はグラウンドトゥルースとみなすことができる。

【0077】

異物及び異物アーチファクトを含む模擬スキャン７２は（注釈付け装置３１を使用して）注釈付けされ、次いでＭＡＲネットワーク６２に入力される。ＭＡＲネットワーク６２の出力は、異物を含まない予測スキャン７４”からなる。ＭＡＲネットワーク６２は、予測スキャン７４”と、異物アーチファクトを含む模擬スキャン７２”と、の差を最小化することによって深層学習ＭＡＲモデル７６”を訓練する。

【0078】

図４は、異物および異物アーチファクトの両方の除去、に対する深層学習ＭＡＲモデル７６を訓練する概略フロー図９０である。まず、ステップ９２において、実データが準備され、システム１０によって入力される（または、既に利用可能であれば、システム１０によってのみ入力される）。この例において実データは、金属を含まないスキャンの形態である、異物を含まない（したがってアーチファクトを含まない）実スキャン６６と、この例において金属および金属アーチファクトの実スキャンの形態である、異物および異物アーチファクトの実スキャン６８の両方を含む。

【0079】

ステップ９４では、スキャン６６、６８に基づいて、異物を含まない（この例では、金属を含まない）スキャン上または異物を含まないスキャン内で、異物および異物アーチファクト（この例では、金属および金属アーチファクトの態様）を模擬実行することにより、模擬スキャンの態様の訓練データが生成される。すなわち、各模擬装置は、異物を含まない実スキャンの画像上又は画像内に、異物及び異物アーチファクトを加えることによって生成される。別の実施形態において、異物画像のサイノグラムと異物を含まない実スキャンのサイノグラムが結合され、結合されたサイノグラムが異物および異物アーチファクトの模擬スキャンに変換される。

【0080】

この方法は、訓練データ９４を改善するためのデータ拡張ステップ（ステップ９８）を一つの選択肢として含んでもよい。例えば、これは、モデル訓練のロバスト性を改善するために訓練データにガウスノイズ１００ａを追加すること、および／または訓練データの量を増加させるために訓練データをパッチ１００ｂに分割することを含んでもよい。

【0081】

次に、ステップ１０２において、訓練データスキャンは、例えば、訓練データスキャン、すなわち、実訓練データ（ステップ９２参照）及び模擬訓練データ（ステップ９４参照）において見える異物、異物アーチファクト及び組織（骨など）を注釈する、ラベル又は注釈付け（典型的には手動）でラベル付けされる。

【0082】

ステップ１０４において、深層学習ＭＡＲモデル（複数可）７６は、訓練データの一部によるＭＡＲネットワークを用いて、訓練されるか、又は既に訓練済みであれば更新される。訓練データは、異物及び異物アーチファクトを含まない実スキャンと、異物及び異物アーチファクトの実スキャンと、異物及び異物アーチファクトの模擬スキャンと、を含む。ＭＡＲネットワーク６２は、異物及び異物アーチファクトを含まない予測スキャン（異物及び異物アーチファクトの模擬スキャン７２から生成される）と、異物及び異物アーチファクトを含まない実スキャンとを用いて、ＭＡＲモデル（複数可）７６を訓練／更新し、その差を最小化する。

【0083】

ステップ１０６において、深層学習ＭＡＲモデル（複数可）７６は、金属及び金属アーチファクトを含まない実スキャンと、金属及び金属アーチファクトを含まない予測スキャンと、を（後者は金属及び金属アーチファクトの実スキャンから生成する）使用して、識別ネットワークを用いて最適化される。上述したように、この実施形態において、ＭＡＲネットワーク訓練で使用される金属及び金属アーチファクトを含まない実スキャンは、ＭＡＲモデル最適化で使用されるのと同じ金属アーチファクトを含まないスキャンであるが、他の実施形態において、ＭＡＲネットワーク訓練で使用される金属及び金属アーチファクトを含まない実スキャンは、ＭＡＲモデル最適化で使用される金属アーチファクトを含まない実スキャンとは異なっていてもよい。

【0084】

また、上述のように、この実施形態において、深層学習ＭＡＲモデルは、ＭＡＲネットワークから訓練され、その後、識別ネットワークによって最適化され、例えば、ＭＡＲネットワークの訓練の全てのエポックが完了した後にＭＡＲモデルを最適化することによって、最適化される。別の実施形態において、ＭＡＲネットワークの各エポックが完了した後にＭＡＲモデルを最適化するなど、ＭＡＲ訓練と最適化は同時に行われる。

【0085】

一実施形態において、金属と金属アーチファクトを除去する１つのモデルが訓練される。訓練済みモデルは、金属と金属アーチファクトの両方をスキャンから除去する。別の実施形態において、金属と金属アーチファクトを別々に除去するための２つのモデルが訓練され、例えば、金属アーチファクトの除去モデルは、金属アーチファクトのみをスキャンから除去する（生成されたスキャンは金属を元の場所に表示する）。その後、金属除去装置はこれらのスキャンから金属を除去するために使用することができる。

【0086】

ステップ１０８において、識別ネットワークによって訓練された、訓練されたＭＡＲモデル（複数可）７６及び識別モデル、が展開されて訓練済み深層学習モデルストア４６に格納される。

【0087】

使用時には、金属及び金属アーチファクトを含むスキャンが訓練済みＭＡＲモデル（複数可）に供給される。このモデルは、スキャンを処理し、金属及び金属アーチファクトが除去されたスキャンを出力する。識別モデルは、金属および金属アーチファクトの除去には使用されない。識別モデルは、さらなる訓練でモデルを最適化するために保存される。

【0088】

ＭＡＲモデルが訓練された場合、モデルを更新するために追加の訓練データが収集されてもよい。一実施形態において、ＭＡＲネットワークのみが追加訓練データで更新される。別の実施形態において、識別ネットワークのみが追加訓練データで更新される。別の実施形態において、ＭＡＲネットワークと識別ネットワークと、の両方が追加訓練データで更新される。

【0089】

図５は、例示的な、金属及び金属アーチファクトの模擬スキャンの生成、の概略フロー図１１０である。図５を参照すると、サイノグラム変換によって金属及び金属アーチファクトの模擬スキャンが生成される。ラドン変換を通して、金属マスク画像及び金属を含まないＣＴスキャン、がそれぞれ金属サイノグラム及びＣＴサイノグラムに変換される。金属サイノグラムは、ＣＴサイノグラムにオーバーラップされ、金属挿入ＣＴのサイノグラムを生成する。金属挿入ＣＴサイノグラムは、逆ラドン変換を用いて画像に変換される。この画像は、金属及び金属アーチファクトを含むＣＴ模擬画像である。

【0090】

一実施形態において、金属マスク画像は、金属を含む実ＣＴスキャンから金属領域を区分することによって生成される。別の実施形態において、金属マスク画像は、明るい画素／ボクセルのクラスターを、黒またはブランク画像上に配置するなどの模擬実行によって生成される。

【0091】

一実施形態において、金属マスク画像は、１つの金属領域を有する。別の実施形態において、金属マスク画像は、１つ以上の金属領域を含む。

【0092】

図６Ａから図６Ｄは、金属を含まない実ＣＴスキャンと、金属及び金属アーチファクトの模擬ＣＴスキャンと、の例を示す。図６Ａおよび図６Ｃは、下腿の断面における、金属を含まない実ＣＴスキャンであり、後者はより遠位（すなわち足首に近い）である。図６Ｂおよび６Ｄは、対応する、金属及び金属アーチファクトを含む模擬ＣＴスキャンである。模擬スキャンは、図５に記載された実施に従って生成される。図６Ｂおよび図６Ｄにおいて、模擬スキャン中の金属は、図６Ｂでは腓骨の右側、図６Ｄでは脛骨の上方に、明るい画素／ボクセルのクラスターとして現れる。金属アーチファクトは、ビーム硬化、散乱（光線効果を引き起こす）、光子不足（暗点を引き起こす）として現れる。

【0093】

図７Ａから図７Ｄは、それぞれ図６Ａから図６Ｄの画像を反転したものであり、図６Ｂと図６Ｄの解釈を助けるために提供されている。図７Ｂおよび７Ｄにおいて、模擬スキャン中の金属は、暗い画素／ボクセルのクラスターとして現れ、光子不足の領域および明るい領域として現れる。

【0094】

図８Ａから図８Ｄは、それぞれ図６Ａから図６Ｄの画像の脚部分の拡大詳細である。図８Ａおよび８Ｂでは、脛骨を１２４で、腓骨を１２６で示し、図８Ｂでは、金属を１２８で、光子不足のアーチファクトを１３０で示す。図８Ｃおよび８Ｄでは、脛骨を１３２で、距骨を１３４で示し、図８Ｂでは、金属を１３６ａおよび１３６ｂで、光子不足のアーチファクトを１３８で示す。

【0095】

図９は、図３Ａの金属及び金属アーチファクトの除去ネットワーク６２の例示的な実施形態１４０（例示的な入力及び出力を有する）を示す。図９を参照すると、ＭＡＲネットワーク１４０は、（金属及び金属アーチファクト１４４を含むスキャン画像を入力として受け取る）収縮部１４２および拡張部１４６を含む。収縮部１２４は４つの層を含み、各層は、２つの３×３畳み込み層とと、１つの２×２最大値プーリング層と、を含む。拡張部１４６も４つの層を含み、各層は、２×２アップ畳み込み層と、２つの３×３畳み込み層と、を含む。２つの構成要素の、１４２、１４６は、ネットワーク１４０の様々な対応する層、のそれぞれのスキップ接続１４８ａ、１４８ｂ、１４８ｃ、１４８ｄを介して接続される。収縮部１４２の各層の特徴マップは、それぞれのスキップ接続１４８ａ、１４８ｂ、１４８ｃ、１４８ｄを介して拡張部１４６の対応する層と連結される。収縮部１４２の最後の層の出力は、２つの３×３畳み込み層を介して拡張部１４６の先頭に接続される。膨張部１４６の最後の層において、１×１畳み込み層１５０は、金属及び金属アーチファクトが除去された予測画像１５２を生成するために使用される。この例の入力データ次元は１×４８０×４８０であり、これは、出力と同じである。また、特徴マップの寸法と番号を図中に示す。収縮部１４２では各層間で特徴マップ番号が２倍に、特徴マップサイズが半分に縮小され、拡張部１４６では各層間で特徴マップ番号が半分に、特徴マップサイズが２倍に縮小されている。

【0096】

ＭＡＲモデルの訓練中、入力１４４は、異物及び異物アーチファクトの模擬スキャンであり、出力はＭＡＲ予測スキャン１５２である。グラウンドトゥルースデータ１５４は、異物を含まない実スキャンであり、そこから異物及び異物アーチファクトの模擬スキャンが生成される。ＭＡＲモデル訓練装置３２は、グラウンドトゥルースデータ１５４とＭＡＲ予測スキャン１５２を、二乗平均損失計算にかける。その結果得られた二乗平均損失は、損失バックプロパゲーション１５６によってモデルパラメータを更新するために使用される。

【0097】

図１０は、図３Ａの識別ネットワーク６４の例示的な実行１６０（例示的な入力及び出力を有する）を示す。図１０を参照すると（上述したように）、識別ネットワークは、１つ以上の異物及び異物アーチファクトを含まない実スキャン６６と、１つ以上の予測画像ＭＡＲスキャン８０と、を受信し、４つの畳み込みモジュール１６２、１６４、１６６、１６８を使用して、それぞれの入力画像６６、８０から画像特徴を抽出し、続いて平坦化層１７０と完全連結層１７２とを使用する。各畳み込みモジュール１６２、１６４、１６６、１６８は、３×３畳み込み層、ＲｅＬＵ層、およびＢａｔｃｈＮｏｒｍ層を含む。

【0098】

識別ネットワーク１６０の完全接続層１７２の出力は、入力データが実スキャン６６であったか予測スキャン８０であったかを示す確率データ１７４である。さらに、識別モデル訓練装置３３は、クロスエントロピー損失を決定し、出力することにより、識別ネットワークの性能を決定し、クロスエントロピー損失が大きいほど、識別装置が誤った識別を行った可能性が高くなる。これは、識別ネットワーク（より具体的には、識別ネットワークによって訓練済み識別モデル）を訓練するために使用することができる。

【0099】

このように、ＭＡＲモデルは、異物及び異物アーチファクトを含まない実スキャンとできるだけ類似したＭＡＲ予測を生成するように構成され、識別装置は、異物及び異物アーチファクトを含まない実スキャンとＭＡＲ予測スキャンと、を区別することを目的とする。上記で説明したように、図９および図１０、のＭＡＲネットワークは、Ｕ字型ネットワークや残差ネットワークなど、様々な代替設計で実施できることが理解されよう。

【0100】

上述もしたように、異物（例えば金属）及び異物のアーチファクトの両方を除去するように適合された、異物及び異物のアーチファクトの除去装置は、異物（複数可）のアーチファクトを除去するように訓練済みの第１のモデル４７ｂと、異物（複数可）を別個に除去するように訓練済みの第２のモデル４７ｃと、の２つのモデルから構成することができる。これらの別個のモデルのそれぞれは、図３Ａの深層学習アーキテクチャを使用して訓練済みであるが、必要に応じてその入力を変化させることができる。

【0101】

実際、使用によっては、単独で使用するか、異物除去モデルと組み合わせて使用するかを問わず、スキャンから異物アーチファクトのみを除去する（ただし、異物は除去しない）ように適合させた、異物アーチファクト除去モデルを訓練して使用することが望まれる場合がある。訓練データがアーチファクトのみを除去した画像／スキャンの態様で使用される場合、一旦訓練されたモデルは、元の画像またはスキャンに異物とアーチファクトの両方が存在するにもかかわらず、アーチファクトのみを除去するように適合される。

【0102】

図１１は、金属のような異物のアーチファクトを除去するための深層学習アーチファクトの除去モデル４７ｂの形態の代替の深層学習モデル７６の訓練する、図４と同等の概略フロー図１８０である。フロー図１８０は、図４のフロー図９０と類似しており、同様の特徴を特定するために同様の参照数字が使用されている。

【0103】

最初に、ステップ９２において、実データが準備され、システム１０によって入力される（または、既に利用可能であれば、システム１０によってのみ入力される）。実データは、この例では金属を含まないスキャンの形態の、異物を含まない（したがってアーチファクトを含まない）実スキャン６６と、この例では金属および金属アーチファクトの実スキャンの形態の、異物および異物アーチファクトを含む実スキャン６８と、の両方を含む。

【0104】

ステップ９４において、スキャン６６、６８に基づいて、訓練データは、異物及び異物アーチファクトの模擬スキャンの形で生成される。ステップ１８２において、スキャン６６、６８に基づいて、異物の模擬スキャンの形でグラウンドトゥルースデータが生成される。

【0105】

この方法は、訓練データ９４を改善するためのデータ拡張ステップ（ステップ９８）を一つの選択肢として、有してもよい。例えば、この方法は、モデル訓練のロバスト性を改善するために訓練データにガウスノイズ１００ａを追加するステップと、及び／又は訓練データの量を増加させるために訓練データをパッチ１００ｂに分割するステップと、を有してもよい。

【0106】

次に、ステップ１０２において、訓練データスキャンは、例えば、訓練データスキャン、すなわち訓練データの最初のセット（ステップ９２参照）及び模擬訓練データ（ステップ１８４参照）において見える、異物、異物アーチファクト及び組織（骨など）を注釈付けるラベル又は注釈付け（典型的には手動）でラベル付けされる。

【0107】

ステップ１８４において、深層学習アーチファクトの除去モデル（複数可）７６は、訓練データおよびグラウンドトゥルースデータの一部または全部を使用して、ＭＡＲネットワークによって訓練されるか、または既に訓練されている場合は更新される。

【0108】

ステップ１８６で、訓練済みアーチファクトの除去モデル７６が配備され、訓練済み深層学習モデルストア４６に格納される。
（実施例）
図１２Ａ、１２Ｂ及び１２Ｃは、それぞれ、生の形態の足のＣＴ画像、本発明の実施形態による金属アーチファクトの除去モデルを使用して金属アーチファクト（鋼の存在による）を除去した同じ画像、及び本発明の実施形態によるＭＡＲモデルを使用して金属及び金属アーチファクトの両方を除去した同じ画像である。（図１３Ａ、図１３Ｂおよび図１３Ｃは、それぞれ図１２Ａ、図１２Ｂおよび図１２Ｃの画像の反転バージョンであり、明瞭化のために提示されている）。図１２Ａに見られるように、元の画像は、金属の存在に起因する明るいピクセル／ボクセルのクラスター２００を含む。金属アーチファクトは、金属に隣接し且つ金属の上方にある第１の暗黒領域２０２、及び金属に隣接し且つ金属の下方にある第２の暗黒領域２０４（光子不足に起因する）、並びに周囲の暗黒線を含む。

【0109】

図１２Ｂに見られるように、金属アーチファクト（第１におよび第２、の暗部２０２、２０４を含む）は大幅に低減され、影響を受けた領域の元の画像はほぼ復元されている。図１２Ｃに見られるように、金属アーチファクト及び金属による明るいクラスター２００は、大幅に低減され、影響を受けた領域はほぼ復元されている。

【0110】

本発明の範囲から逸脱することなく、多くの変更がなされ得ることは、本発明の技術分野の当業者には理解されるであろう。特に、本発明の実施形態の特定の特徴を採用し、組み合わせてさらなる実施形態を形成できることは明らかであろう。

【0111】

本明細書において先行技術に言及する場合、そのような言及は、その先行技術がいかなる国においても当該技術分野における一般的な一般知識の一部を形成していることを認めるものではないことを理解されたい。

【0112】

続く特許請求の範囲および発明の先行説明において、文脈上、明示的な文言または必要な暗示により別様に必要とされる場合を除き、「有する」もしくは「有している」などの変形語は、包括的な意味で、すなわち、記載された特徴の存在を特定するために使用されるが、本発明の様々な実施形態におけるさらなる特徴の存在または追加を排除するために使用されるものではない。

【先行技術文献】

【非特許文献】

【0113】

【非特許文献1】Ｐａｒｋ， Ｈ． Ｓ．、Ｈｗａｎｇ， Ｄ．、Ｓｅｏ， Ｊ． Ｋ．著、「Ｍｅｔａｌ ａｒｔｅｆａｃｔ ｒｅｄｕｃｔｉｏｎ ｆｏｒ ｐｏｌｙｃｈｒｏｍａｔｉｃ Ｘ－ｒａｙ ＣＴ ｂａｓｅｄ ｏｎ ａ ｂｅａｍ－ｈａｒｄｅｎｉｎｇ ｃｏｒｒｅｃｔｏｒ」、ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｍｅｄｉｃａｌ ｉｍａｇｉｎｇ、３５（２）、２０１５年、４８０－４８７頁

【非特許文献2】Ｚｈａｎｇ， Ｙ．、Ｍｏｕ， Ｘ．、Ｔａｎｇ， Ｓ．著、「Ｂｅａｍ ｈａｒｄｅｎｉｎｇ ｃｏｒｒｅｃｔｉｏｎ ｆｏｒ ｆａｎ－ｂｅａｍ ＣＴ ｉｍａｇｉｎｇ ｗｉｔｈ ｍｕｌｔｉｐｌｅ ｍａｔｅｒｉａｌｓ」、Ｉｎ ＩＥＥＥ Ｎｕｃｌｅａｒ Ｓｃｉｅｎｃｅ Ｓｙｍｐｏｓｉｕｍ ＆ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ、２０１０年１０月、３５６６－３５７０頁

【非特許文献3】Ｍｅｈｒａｎｉａｎ， Ａ．、Ａｙ， Ｍ． Ｒ．、Ｒａｈｍｉｍ， Ａ．、Ｚａｉｄｉ， Ｈ．著、「Ｘ－ｒａｙ ＣＴ ｍｅｔａｌ ａｒｔｅｆａｃｔ ｒｅｄｕｃｔｉｏｎ ｕｓｉｎｇ ｗａｖｅｌｅｔ ｄｏｍａｉｎ Ｌ０ ｓｐａｒｓｅ ｒｅｇｕｌａｒｉｚａｔｉｏｎ」、ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｍｅｄｉｃａｌ ｉｍａｇｉｎｇ、３２（９）、２０１３年、１７０７－１７２２頁

【非特許文献4】Ｚｈａｎｇ， Ｙ．、Ｐｕ， Ｙ． Ｆ．、Ｈｕ， Ｊ． Ｒ．、Ｌｉｕ， Ｙ．、Ｃｈｅｎ， Ｑ． Ｌ．、Ｚｈｏｕ， Ｊ． Ｌ．著、「Ｅｆｆｉｃｉｅｎｔ ＣＴ ｍｅｔａｌ ａｒｔｅｆａｃｔ ｒｅｄｕｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｆｒａｃｔｉｏｎａｌ－ｏｒｄｅｒ ｃｕｒｖａｔｕｒｅ ｄｉｆｆｕｓｉｏｎ」、Ｃｏｍｐｕｔａｔｉｏｎａｌ ａｎｄ ｍａｔｈｅｍａｔｉｃａｌ ｍｅｔｈｏｄｓ ｉｎ ｍｅｄｉｃｉｎｅ、２０１１年

【非特許文献5】Ｗａｎｇ， Ｇ．、Ｓｎｙｄｅｒ， Ｄ． Ｌ．、Ｏ’Ｓｕｌｌｉｖａｎ， Ｊ． Ａ．、Ｖａｎｎｉｅｒ， Ｍ． Ｗ．著、「Ｉｔｅｒａｔｉｖｅ ｄｅｂｌｕｒｒｉｎｇ ｆｏｒ ＣＴ ｍｅｔａｌ ａｒｔｅｆａｃｔ ｒｅｄｕｃｔｉｏｎ」、ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｍｅｄｉｃａｌ ｉｍａｇｉｎｇ、１５（５）、６５７－６６４頁

【非特許文献6】Ｗａｎｇ， Ｇ．、Ｖａｎｎｉｅｒ， Ｍ． Ｗ．、Ｃｈｅｎｇ， Ｐ． Ｃ．著、「Ｉｔｅｒａｔｉｖｅ Ｘ－ｒａｙ ｃｏｎｅ－ｂｅａｍ ｔｏｍｏｇｒａｐｈｙ ｆｏｒ ｍｅｔａｌ ａｒｔｅｆａｃｔ ｒｅｄｕｃｔｉｏｎ ａｎｄ ｌｏｃａｌ ｒｅｇｉｏｎ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ」、Ｍｉｃｒｏｓｃｏｐｙ ａｎｄ ｍｉｃｒｏａｎａｌｙｓｉｓ、５（１）、１９９９年、５８－６５頁

【非特許文献7】Ｚｈａｎｇ， Ｙ．、Ｙｕ， Ｈ．著、「Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｂａｓｅｄ ｍｅｔａｌ ａｒｔｅｆａｃｔ ｒｅｄｕｃｔｉｏｎ ｉｎ ｘ－ｒａｙ ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ」、ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｍｅｄｉｃａｌ ｉｍａｇｉｎｇ、３７（６）、２０１８年、１３７０－１３８１頁

【非特許文献8】Ｌｉａｏ， Ｈ．、Ｌｉｎ， Ｗ． Ａ．、Ｚｈｏｕ， Ｓ． Ｋ．、Ｌｕｏ， Ｊ．著、「ＡＤＮ： ａｒｔｅｆａｃｔ ｄｉｓｅｎｔａｎｇｌｅｍｅｎｔ ｎｅｔｗｏｒｋ ｆｏｒ ｕｎｓｕｐｅｒｖｉｓｅｄ ｍｅｔａｌ ａｒｔｅｆａｃｔ ｒｅｄｕｃｔｉｏｎ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ、３９（３）、２０１９年、６３４－６４３頁

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【外国語明細書】