特表 2023-531365 医用画像変換方法および関連付けられる医用画像３Ｄモデルパーソナライズ方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-07-24

(54)【発明の名称】医用画像変換方法および関連付けられる医用画像３Ｄモデルパーソナライズ方法

(51)【国際特許分類】

   A61B 6/00 20060101AFI20230714BHJP

   G06T 1/00 20060101ALI20230714BHJP

   G06T 7/00 20170101ALI20230714BHJP

【ＦＩ】

A61B6/00 350D

A61B6/00 360Z

G06T1/00 290A

G06T7/00 350C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022568913

(86)(22)【出願日】2020-05-13

(85)【翻訳文提出日】2023-01-11

(86)【国際出願番号】 IB2020000508

(87)【国際公開番号】W WO2021229253

(87)【国際公開日】2021-11-18

(81)【指定国・地域】

(71)【出願人】

【識別番号】518284905

【氏名又は名称】イオス・イメージング

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】ベンジャミン・オベール

(72)【発明者】

【氏名】ナスル・マクニ

(72)【発明者】

【氏名】ティエリー・クレソン

(72)【発明者】

【氏名】カルロス・アルベルト・バスケス・ヒダルゴ・ガト

(72)【発明者】

【氏名】ジャック・エー・デ・ギース

【テーマコード（参考）】

4C093

5B057

5L096

【Ｆターム（参考）】

4C093AA01

4C093AA09

4C093CA23

4C093CA35

4C093CA37

4C093DA10

4C093FA44

4C093FF16

4C093FF35

4C093FF37

4C093FF41

4C093FF50

5B057AA08

5B057BA03

5B057CA02

5B057CA08

5B057CA12

5B057CA16

5B057DC40

5L096BA06

5L096BA13

5L096HA11

(57)【要約】

本発明は、医用画像変換方法であって、前記第1の解剖学的構造(21)を前記第2の解剖学的構造(22)と区別することと、実際のX線画像(16)を少なくとも1つのデジタル再構成放射線画像(DRR)(23)に変換することとの両方を行う、または同時に行うように事前にトレーニングされた1つの畳み込みニューラルネットワーク(CNN)、あるいは畳み込みニューラルネットワーク(CNN)(27)のグループのいずれかを使用する単一の動作によって、前記第2の解剖学的構造(26)を表すことなく前記第1の解剖学的構造(24)を表す、前記患者の少なくとも第1の解剖学的構造(21)および前記患者の第2の解剖学的構造(22)を含む患者の少なくとも1つまたは複数の実際のX線画像(16)を、前記患者の少なくとも1つのデジタル再構成放射線画像(DRR)(23)に自動的に変換する、方法に関する。

【特許請求の範囲】

【請求項1】

〇前記第1の解剖学的構造(21)を前記第2の解剖学的構造(22)と区別することと、
〇実際のX線画像(16)を少なくとも1つのデジタル再構成放射線画像(DRR)(23)に変換することと
●の両方を行う、または同時に行うように事前にトレーニングされた1つの畳み込みニューラルネットワーク(CNN)、あるいは畳み込みニューラルネットワーク(CNN)(27)のグループのいずれかを使用する単一の動作によって、
●前記患者の少なくとも第1の解剖学的構造(21)および前記患者の第2の解剖学的構造(22)を含む患者の少なくとも1つまたは複数の実際のX線画像(16)を、
●前記第2の解剖学的構造(26)を表すことなく前記第1の解剖学的構造(24)を表す前記患者の少なくとも1つのデジタル再構成放射線画像(DRR)(23)に自動的に変換する、医用画像変換方法。

【請求項2】

●前記患者の前記実際のX線画像(16)を、
●前記第1の解剖学的構造(24)を表すことなく前記第2の解剖学的構造(26)を表す前記患者の少なくとも別のデジタル再構成放射線画像(DRR)(25)に自動的に変換し、
●前記同じ単一の動作によって、前記1つの畳み込みニューラルネットワーク(CNN)、あるいは畳み込みニューラルネットワーク(CNN)(27)のグループが、
〇前記第1の解剖学的構造(21)を前記第2の解剖学的構造(22)と区別することと、
〇実際のX線画像(16)を少なくとも2つのデジタル再構成放射線画像(DRR)(23、25)に変換することと
の両方を行う、または同時に行うように事前にトレーニングされている、請求項1に記載の医用画像変換方法。

【請求項3】

〇前記第1の解剖学的構造(21)を前記第2の解剖学的構造(22)と区別することと、
〇実際のX線画像(16)を少なくとも2つのデジタル再構成放射線画像(DRR)(23、25)に変換することと
●の両方を行う、または同時に行うように事前にトレーニングされた1つの畳み込みニューラルネットワーク(CNN)、あるいは畳み込みニューラルネットワーク(CNN)(27)のグループのいずれかを使用する単一の動作によって、
●前記患者の少なくとも第1の解剖学的構造(21)および前記患者の第2の解剖学的構造(22)を含む患者の少なくとも1つまたは複数の実際のX線画像(16)を、
●両方とも前記患者の少なくとも第1(23)および第2(25)のデジタル再構成放射線画像(DRR)に自動的に変換し、
〇前記第1のデジタル再構成放射線画像(DRR)(23)が前記第2の解剖学的構造(26)を表すことなく前記第1の解剖学的構造(24)を表し、
〇前記第2のデジタル再構成放射線画像(DRR)(25)が、前記第1の解剖学的構造(25)を表すことなく前記第2の解剖学的構造(26)を表す、医用画像変換方法。

【請求項4】

前記1つの畳み込みニューラルネットワーク(CNN)または畳み込みニューラルネットワーク(CNN)のグループが、単一の敵対的生成ネットワーク(GAN)(27)である、請求項1から3のいずれか一項に記載の医用画像変換方法。

【請求項5】

前記単一の敵対的生成ネットワーク(GAN)(27)が、U-Net GANまたはResidual-Net GANである、請求項4に記載の医用画像変換方法。

【請求項6】

前記患者の前記実際のX線画像(16)が、X線撮像装置による前記患者の直接キャプチャである、請求項1から5のいずれか一項に記載の医用画像変換方法。

【請求項7】

●前記患者の前記第1(21)および第2(22)の解剖学的構造が、
〇前記実際のX線画像(16)上で互いに隣り合っている、
〇または、前記実際のX線画像(16)上で互いに隣接さえしている、
〇または、前記実際のX線画像(16)上で互いに接触さえしている、
〇または、前記実際のX線画像(16)に少なくとも部分的に重ねられてさえいる解剖学的構造である、請求項1から6のいずれか一項に記載の医用画像変換方法。

【請求項8】

前記少なくとも2つのデジタル再構成放射線画像(DRR)(23、25)のうちの1つのみ(23)をさらなる処理のために使用することができる、請求項1から7のいずれか一項に記載の医用画像変換方法。

【請求項9】

前記少なくとも2つのデジタル再構成放射線画像(DRR)(23、25)のすべてをさらなる処理のために使用することができる、請求項1から7のいずれか一項に記載の医用画像変換方法。

【請求項10】

●患者の前記実際のX線画像(151a)が、前記患者の少なくとも3つの解剖学的構造、好ましくは前記患者の3つの解剖学的構造のみを含み、
●前記実際のX線画像(151a)が、前記単一の動作によって、前記少なくとも3つの解剖学的構造をそれぞれ表す少なくとも3つの別個のデジタル再構成放射線画像(DRR)(151b、152b、153b)に変換され、前記デジタル再構成放射線画像(DRR)の各々が、前記解剖学的構造の任意の他の1つを表すことなく、前記解剖学的構造の1つだけを表し、好ましくは、前記3つの解剖学的構造のみをそれぞれ表す3つの別個のデジタル再構成放射線画像(DRR)のみに変換される、請求項1から9のいずれか一項に記載の医用画像変換方法。

【請求項11】

前記1つの畳み込みニューラルネットワーク(CNN)または畳み込みニューラルネットワーク(CNN)(27)のグループのいずれかが、
〇1つの実際のX線画像(16)、
〇およびそれぞれ前記解剖学的構造(21、22)の1つだけを表すが、前記患者の他の解剖学的構造は表さない、少なくとも1つまたは複数の対応するデジタル再構成放射線画像(DRR)(23、25)のトレーニンググループのセットによって事前にトレーニングされている、請求項1から10のいずれか一項に記載の医用画像変換方法。

【請求項12】

●前記1つの畳み込みニューラルネットワーク(CNN)または畳み込みニューラルネットワーク(CNN)(27)のグループのいずれかが、
〇実際のX線画像(16)、
〇および少なくとも1つまたは複数のデジタル再構成放射線画像(DRR)(23、25)のいくつかのサブセットのセットによって事前にトレーニングされており、前記デジタル再構成放射線画像(DRR)の各々が、前記解剖学的構造(21、22)の1つだけを表すが、前記患者の他の解剖学的構造は表さない、請求項1から10のいずれか一項に記載の医用画像変換方法。

【請求項13】

●前記1つの畳み込みニューラルネットワーク(CNN)または畳み込みニューラルネットワーク(CNN)(27)のグループのいずれかが、
〇1つの正面の実際のX線画像と1つの側面の実際のX線画像の両方(16)、
〇ならびに対応する正面および側面のデジタル再構成放射線画像(DRR)(23、25)の少なくとも1つまたは複数のサブセットのトレーニンググループのセットによって事前にトレーニングされており、各前記サブセットが、前記解剖学的構造(21、22)の1つだけを表すが、前記患者の他の解剖学的構造は表さない、請求項1から10のいずれか一項に記載の医用画像変換方法。

【請求項14】

前記トレーニンググループの前記デジタル再構成放射線画像(DRR)(16)が、2つの直交方向に沿って撮影された2つの実際のX線画像への適応を介して、前記患者に固有の3Dモデルから得られる、請求項11から13のいずれか一項に記載の医用画像変換方法。

【請求項15】

前記患者の前記異なる解剖学的構造が、前記患者の隣接する椎骨(146、147、148)である、請求項1から14のいずれか一項に記載の医用画像変換方法。

【請求項16】

●前記患者の前記異なる隣接する椎骨(146、147、148)が、
〇患者の胸部上部脊椎セグメントの領域、
〇または、患者の胸部下部脊椎セグメントの領域、
〇または、患者の腰椎セグメントの領域、
〇または、患者の頸椎セグメントの領域、
〇または、患者の骨盤の領域
のいずれかの患者の脊椎の単一の同じ領域内に位置している、請求項15に記載の医用画像変換方法。

【請求項17】

●前記患者の前記異なる解剖学的構造(21、22)が、
〇患者の腰の領域、
〇あるいは、大腿骨または脛骨などの、患者の下肢の領域、
〇または、患者の膝の領域、
〇または、患者の肩の領域、
〇または、患者の胸郭の領域
のいずれかの患者の単一の同じ領域内に位置している、請求項1から14のいずれか一項に記載の医用画像変換方法。

【請求項18】

●前記患者の前記異なる解剖学的構造(21、22)をそれぞれ表す前記異なるデジタル再構成放射線画像(DRR)(23、25)の各々が、同時に、
〇異なるグレーレベルを表すピクセルを有する画像と、
〇タグが表す解剖学的構造に関連する解剖学的情報を表す少なくとも1つのタグと
を含む、請求項1から17のいずれか一項に記載の医用画像変換方法。

【請求項19】

前記画像が256×256ピクセルの正方形の画像である、請求項18に記載の医用画像変換方法。

【請求項20】

前記1つの畳み込みニューラルネットワーク(CNN)または畳み込みニューラルネットワーク(CNN)(27)のグループのいずれかが、100人から1000人の範囲、好ましくは300人から700人の範囲、より好ましくは約500人の多数の様々な患者の、X線画像(16)、すなわち実際のX線画像と実際のX線画像の変形の両方において事前にトレーニングされている、請求項1から19のいずれか一項に記載の医用画像変換方法。

【請求項21】

少なくとも、患者の正面の実際のX線画像(151a)と前記患者の側面の実際のX線画像(151d)の両方が変換され、両方の前記X線画像が、それぞれ前記患者の同じ前記解剖学的構造(146、147、148)を含む、請求項1から20のいずれか一項に記載の医用画像変換方法。

【請求項22】

請求項21に記載の医用画像変換方法を備える医用画像3Dモデルパーソナライズ方法であって、
●3Dジェネリックモデル(120)が、
〇前記患者の前記1つまたは複数の解剖学的構造(146、147、148)をそれぞれ表す、前記患者の正面図の少なくとも1つまたは複数のデジタル再構成放射線画像(DRR)(145)と、
〇前記患者の前記1つまたは複数の解剖学的構造(146、147、148)をそれぞれ表す、前記患者の側面図の少なくとも1つまたは複数のデジタル再構成放射線画像(DRR)(145)と
を生成するために使用され、
●正面の実際のX線画像(143)が、前記医用画像変換方法によって、
〇前記患者の前記1つまたは複数の解剖学的構造(146、147、148)をそれぞれ表す、前記患者の正面図の少なくとも1つまたは複数のデジタル再構成放射線画像(DRR)(144)に変換され、
●側面の実際のX線画像(143)が、前記医用画像変換方法によって、
〇前記患者の前記1つまたは複数の解剖学的構造(146、147、148)をそれぞれ表す、前記患者の側面図の少なくとも1つまたは複数のデジタル再構成放射線画像(DRR)(144)に変換され、
●前記3Dジェネリックモデルから3D患者固有モデルを生成するために、
●前記患者の前記1つまたは複数の解剖学的構造(146、147、148)をそれぞれ表し、前記3Dジェネリックモデルから取得される、前記患者の正面図の前記少なくとも1つまたは複数のデジタル再構成放射線画像(DRR)(145)が、前記患者の前記1つまたは複数の解剖学的構造(146、147、148)をそれぞれ表し、前記正面の実際のX線画像(143)から取得される、前記患者の正面図の前記少なくとも1つまたは複数のデジタル再構成放射線画像(DRR)(144)にそれぞれマッピングされ、
●前記患者の前記1つまたは複数の解剖学的構造(146、147、148)をそれぞれ表し、前記3Dジェネリックモデルから取得される、前記患者の側面図の前記少なくとも1つまたは複数のデジタル再構成放射線画像(DRR)(145)が、前記患者の前記1つまたは複数の解剖学的構造(146、147、148)をそれぞれ表し、前記側面の実際のX線画像(143)から取得される、前記患者の側面図の前記少なくとも1つまたは複数のデジタル再構成放射線画像(DRR)(144)にそれぞれマッピングされる、方法。

【請求項23】

前記3Dジェネリックモデルが変形可能モデルである、請求項22に記載の医用画像3Dモデルパーソナライズ方法。

【請求項24】

前記変形可能モデルが統計形状モデルである、請求項23に記載の医用画像3Dモデルパーソナライズ方法。

【請求項25】

医用画像変換方法であって、
〇前記第1の解剖学的構造(21)を前記第2の解剖学的構造(22)と区別することと、
〇第1のドメインにおける画像(16)を第2のドメインにおける少なくとも1つの画像(23)に変換することと
●の両方を行う、または同時に行うように事前にトレーニングされた1つの畳み込みニューラルネットワーク(CNN)、あるいは畳み込みニューラルネットワーク(CNN)(27)のグループのいずれかを使用する単一の動作によって、
●前記患者の少なくとも第1の解剖学的構造(21)および前記患者の第2の解剖学的構造(22)を含む第1のドメインにおける患者の少なくとも1つまたは複数の画像(16)を、
●前記第2の解剖学的構造(26)を表すことなく前記第1の解剖学的構造(24)を表す第2のドメインにおける前記患者の少なくとも画像(23)に自動的に変換する、方法。

【請求項26】

医用画像変換方法であって、
〇前記解剖学的構造(21、22)を互いに区別することと、
〇第1のドメインにおける画像(16)を第2のドメインにおける少なくとも1つの画像(23、25)に変換することと
●の両方を行う、または同時に行うように事前にトレーニングされた1つの畳み込みニューラルネットワーク(CNN)、あるいは畳み込みニューラルネットワーク(CNN)(27)のグループのいずれかを使用する単一の動作によって、
●前記患者の少なくともいくつかの異なる解剖学的構造(21、22)を含む第1のドメインにおける患者の少なくとも1つまたは複数のグローバル画像(16)を、
●前記異なる解剖学的構造(24、26)をそれぞれ表す第2のドメインにおける前記患者のいくつかの局所画像(23、25)に自動的に変換する、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、医用画像変換方法に関する。

【0002】

本発明はまた、そのような医用画像変換方法を使用する、関連付けられる医用画像3Dモデルパーソナライズ方法に関する。

【背景技術】

【0003】

米国特許出願公開第2019/0259153号に開示された従来技術によれば、医用画像変換方法に関して、敵対的生成ネットワーク(GAN)によって患者の実際のX線画像をデジタル再構成放射線画像(DRR)に変形する方法が知られている。

【0004】

しかしながら、取得されたデジタル再構成放射線画像(DRR)には、次の2つの特徴がある。
●第1に、前記敵対的生成ネットワーク(GAN)による変形前に開始X線画像に存在していたすべての臓器を含む。
●第2に、特定の臓器のピクセルセグメンテーションが必要な場合、これは、別の専用畳み込みニューラルネットワーク(CNN)による後続のセグメンテーションステップにおいて、取得したデジタル再構成放射線画像(DRR)から実行される[米国特許出願公開第2019/0259153号の1ページ、セクション5、および4ページ、セクション51を参照]。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】米国特許出願公開第2019/0259153号

【特許文献2】特許出願WO2009/056970

【非特許文献】

【0006】

【非特許文献1】P.Isola、J.-Y.Zhu、T.Zhou、およびA.A. Efrosによる、「Image-to-Image Translation with Conditional Adversarial Networks,」CoRR、vol.abs/1611.0、2016年

【非特許文献2】B.Aubert、C.Vazquez、T.Cresson、S.Parent、およびJ.De Guiseによる「Towards automated 3D Spine reconstruction from biplanar radiographs using CNN for statistical spine model fitting」、IEEE Trans.Med.Imaging、1頁2019年

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明によれば、臓器内または患者の身体の領域内には、いくつかの、しばしば多くの異なる解剖学的構造があるため、これはかなり複雑であり、十分に効果的ではないと考えられる。

【0008】

臓器、臓器の一部、臓器のグループなどの、異なる解剖学的構造は、3D構造の平面投影ビューを表すため、デジタル再構成放射線画像(DRR)において重複するリスクがある。

【課題を解決するための手段】

【0009】

本発明の目的は、上述の欠点を少なくとも部分的に軽減することである。

【0010】

引用された従来技術とは対照的に、本発明の趣旨によれば、デュアルDRR画像マッチングプロセスにおいて、隣接する、または重なった臓器または臓器構造の不一致を避けるために、各DRRが一意の臓器または臓器の解剖学的部分を表すことが有益であると考えられている。

【0011】

しかしながら、従来技術では、すべての臓器を含むグローバルに取得されたDRRのセグメンテーションから生じるピクセル分類は、各臓器または各臓器構造に属するDRR画像信号のそれぞれの量を識別するために十分ではないため、変形プロセスは、重複した臓器領域のこの構造分離を可能にしない。したがって、グローバルに取得されたDRRから、それぞれに表される1つの臓器のみを有する局所的DRRのその後の抽出は、少なくとも有用な信号の損失なしでは不可能である。

【0012】

したがって、本発明によれば、患者の実際のX線画像を、単一の敵対的生成ネットワーク(GAN)によって、単一の局所デジタル再構成放射線画像(DRR)または局所デジタル再構成放射線画像(DRR)のセットのいずれかに変形する方法が提案され、
●単一で一意のGANの単一の動作を介して、
●元の3Dボリュームにおいて構造を直接分離することによって生成されたDRRからトレーニングされることと、
●複数のDRRのセットを同時に生成することであって、それらの各々が対象の1つの解剖学的構造のみに焦点を合わせているか、または1つのDRRを生成するが、他の解剖学的構造を除外して対象の1つの解剖学的構造にのみ焦点を合わせている、ことと
の両方が行われ、したがって、転換機能と構造分離機能の両方を同時に最適化する。

【0013】

この目的は、前記第1の解剖学的構造を前記第2の解剖学的構造と区別することと、実際のX線画像を少なくとも1つのデジタル再構成放射線画像(DRR)に変換することとの両方を行う、または同時に行うように事前にトレーニングされた1つの畳み込みニューラルネットワーク(CNN)、あるいは畳み込みニューラルネットワーク(CNN)のグループのいずれかを使用する単一の動作によって、前記患者の少なくとも第1の解剖学的構造および前記患者の第2の解剖学的構造を含む患者の少なくとも1つまたは複数の実際のX線画像を、前記第2の解剖学的構造を表すことなく前記第1の解剖学的構造を表す前記患者の少なくとも1つのデジタル再構成放射線画像(DRR)に自動的に変換する、医用画像変換方法を用いて達成される。

【0014】

好ましくは、本発明による医用画像変換方法はまた、前記患者の前記実際のX線画像を、前記第1の解剖学的構造を表すことなく前記第2の解剖学的構造を表す前記患者の少なくとも別のデジタル再構成放射線画像(DRR)に自動的に変換し、前記同じ単一の動作によって、前記1つの畳み込みニューラルネットワーク(CNN)、あるいは畳み込みニューラルネットワーク(CNN)のグループは、前記第1の解剖学的構造を前記第2の解剖学的構造と区別することと、実際のX線画像を少なくとも2つのデジタル再構成放射線画像(DRR)に変換することとの両方を行う、または同時に行うように事前にトレーニングされている。

【0015】

これは、いくつかの異なる臓器、または臓器のいくつかの異なる部分、あるいは臓器のいくつかのグループを表す1つのグローバルX線画像から、それにリンクされた単一の畳み込みニューラルネットワーク、または畳み込みニューラルネットワークのグループによって、転換機能と構造分離機能の両方のステップを含む変換の単一の動作によって、これらのいくつかの異なる臓器、または臓器のいくつかの異なる部分、あるいは臓器のいくつかのグループにそれぞれ対応し、またそれぞれ表すいくつかの局所的DRR画像が取得されることを意味する。

【0016】

これにより、これらのいくつかの異なる臓器、または臓器のいくつかの異なる部分、あるいは臓器のいくつかのグループの間で、いくつかの重複がある、または実際のX線画像にいくつかの重複がある可能性がある、あるいは変換されたグローバルDRRにいくつかの重なりがあるゾーンにおける有用な情報を失うことなく、それぞれの異なる臓器、または臓器のそれぞれの異なる部分、あるいは臓器の各グループを、他のすべての異なる臓器、または臓器の他のすべての異なる部分、あるいは臓器の他のすべてのグループとは別に表すことができるようになる。

【0017】

実際、1つまたは複数の実際のX線画像からグローバルDRRが取得されると、DRR上、すなわちこの変換されたDRRドメインの画像上では、これらの重複するいくつかの異なる臓器、または臓器のいくつかの異なる部分、あるいは臓器のいくつかのグループは分離できないようにすべて一緒に混合されており、任意の特定のピクセルは、これらの異なる寄与を後で区別する方法がないか、少なくともこれらの異なる寄与を後で区別するのが非常に困難であり、いずれにせよ不満足な結果につながる、これらの重複するいくつかの異なる臓器、または臓器のいくつかの異なる部分、あるいは臓器のいくつかのグループから生じる異なる寄与の混合物であるため、いくつかの異なる臓器、または臓器のいくつかの異なる部分、あるいは臓器のいくつかのグループの間の重複は、有用な情報を失うことなく元に戻すことはできず、これらの重複するいくつかの異なる臓器、または臓器のいくつかの異なる部分、あるいは臓器のいくつかのグループは、有用な情報を失うことなく互いに分離することはできない。

【0018】

したがって、本発明のこの実装形態は、第1のドメイン、たとえばX線画像から第2のドメイン、たとえばDRRに画像を転換するだけでなく、有用な情報を失うことなく、すなわち元の画質を大幅に低下させることなく、普通なら重複しているいくつかの異なる臓器、または臓器のいくつかの異なる部分、あるいは臓器のいくつかのグループを分離するために、一意の単純でより効果的な方法を実行する。

【0019】

これらのいくつかの異なる臓器、または臓器のいくつかの異なる部分、あるいは臓器のいくつかのグループは、異なる解剖学的構造の例である。

【0020】

この目的はまた前記第1の解剖学的構造を前記第2の解剖学的構造と区別することと、実際のX線画像を少なくとも2つのデジタル再構成放射線画像(DRR)に変換することとの両方を行う、または同時に行うように事前にトレーニングされた1つの畳み込みニューラルネットワーク(CNN)、あるいは畳み込みニューラルネットワーク(CNN)のグループのいずれかを使用する単一の動作によって、前記患者の少なくとも第1の解剖学的構造および前記患者の第2の解剖学的構造を含む患者の少なくとも1つまたは複数の実際のX線画像を、両方とも前記患者の少なくとも第1および第2のデジタル再構成放射線画像(DRR)に自動的に変換し、前記第1のデジタル再構成放射線画像(DRR)が前記第2の解剖学的構造を表すことなく前記第1の解剖学的構造を表し、前記第2のデジタル再構成放射線画像(DRR)が、前記第1の解剖学的構造を表すことなく前記第2の解剖学的構造を表す、医用画像変換方法を用いて達成される。

【0021】

別の同様の目的は、前記第1の解剖学的構造を前記第2の解剖学的構造と区別することと、第1のドメインにおける画像を第2のドメインにおける少なくとも1つの画像に変換することとの両方を行う、または同時に行うように事前にトレーニングされた1つの畳み込みニューラルネットワーク(CNN)、あるいは畳み込みニューラルネットワーク(CNN)のグループのいずれかを使用する単一の動作によって、前記患者の少なくとも第1の解剖学的構造および前記患者の第2の解剖学的構造を含む第1のドメインにおける患者の少なくとも1つまたは複数の画像を、前記第2の解剖学的構造を表すことなく前記第1の解剖学的構造を表す第2のドメインにおける少なくとも前記患者の画像に自動的に変換する、医用画像変換方法を用いて達成される。

【0022】

別の同様の目的は、前記解剖学的構造を互いに区別することと、第1のドメインにおける画像を第2のドメインにおける少なくとも1つの画像に変換することとの両方を行う、または同時に行うように事前にトレーニングされた1つの畳み込みニューラルネットワーク(CNN)、あるいは畳み込みニューラルネットワーク(CNN)のグループのいずれかを使用する単一の動作によって、前記患者の少なくともいくつかの異なる解剖学的構造を含む第1のドメインにおける患者の少なくとも1つまたは複数のグローバル画像を、前記異なる解剖学的構造をそれぞれ表す第2のドメインにおける前記患者のいくつかの局所画像に自動的に変換する、医用画像変換方法を用いて達成される。

【0023】

本発明の別の補完的な目的は、本発明の好ましい適用であるため、先に引用した本発明の目的に関連する。実際、本発明はまた、本発明の主な目的である医用画像変換方法を使用および活用する関連付けられる医用画像3Dモデルパーソナライズ方法に関し、この方法は、特に、これらの異なる解剖学的構造間で重複する可能性があるために有用な情報を失うことなく、異なる解剖学的構造を互いに分離する能力を活用する。

【0024】

本発明のこの補完的な目的は、本発明による医用画像変換方法を備える医用画像3Dモデルパーソナライズ方法であって、3Dジェネリックモデルが、前記患者の前記1つまたは複数の解剖学的構造をそれぞれ表す、前記患者の正面図の少なくとも1つまたは複数のデジタル再構成放射線画像(DRR)と、前記患者の前記1つまたは複数の解剖学的構造をそれぞれ表す、前記患者の側面図の少なくとも1つまたは複数のデジタル再構成放射線画像(DRR)とを生成するために使用され、正面の実際のX線画像が、前記医用画像変換方法によって、前記患者の前記1つまたは複数の解剖学的構造をそれぞれ表す、前記患者の正面図の少なくとも1つまたは複数のデジタル再構成放射線画像(DRR)に変換され、側面の実際のX線画像が、前記医用画像変換方法によって、前記患者の前記1つまたは複数の解剖学的構造をそれぞれ表す、前記患者の側面図の少なくとも1つまたは複数のデジタル再構成放射線画像(DRR)に変換され、前記3Dジェネリックモデルから3D患者固有モデルを生成するために、前記患者の前記1つまたは複数の解剖学的構造をそれぞれ表し、前記3Dジェネリックモデルから取得される、前記患者の正面図の前記少なくとも1つまたは複数のデジタル再構成放射線画像(DRR)が、前記患者の前記1つまたは複数の解剖学的構造をそれぞれ表し、前記正面の実際のX線画像から取得される、前記患者の正面図の前記少なくとも1つまたは複数のデジタル再構成放射線画像(DRR)にそれぞれマッピングされ、前記患者の前記1つまたは複数の解剖学的構造をそれぞれ表し、前記3Dジェネリックモデルから取得される、前記患者の側面図の前記少なくとも1つまたは複数のデジタル再構成放射線画像(DRR)が、前記患者の前記1つまたは複数の解剖学的構造をそれぞれ表し、前記側面の実際のX線画像から取得される、前記患者の側面図の前記少なくとも1つまたは複数のデジタル再構成放射線画像(DRR)にそれぞれマッピングされる、方法である。

【0025】

マッピングは、弾性マッピングを介して、または弾性レジスタリングを介して行うことができる。

【0026】

好ましくは、前記3Dジェネリックモデルは、変形アルゴリズムを使用して変形することができる以前の形状を表す表面またはボリュームである。

【0027】

好ましくは、患者に合わせたパーソナライズモデルを取得するためにジェネリックモデルを変形するプロセスは、変形アルゴリズムと言われている。ジェネリックモデルと変形アルゴリズムとの関連付けは、変形可能モデルである。

【0028】

好ましくは、前記変形可能モデルは、統計形状モデル(SSM)である。

【0029】

統計形状モデルは、形状の変形パターンをキャプチャするためにトレーニングデータベースから抽出された統計に基づく変形可能モデルである。統計形状モデルは、削減されたパラメータのセットからもっともらしい形状インスタンスを直接推測することができる。

【0030】

したがって、再構成された患者固有の3Dモデルは
〇3Dジェネリックモデルまたは変形可能モデル、および2つの単純な直交実際のX線画像から取得したため、
●コンピュータ断層撮影法(CT)または磁気共鳴画像法(MRI)から得られるどのモデルよりも単純であり、
〇場合によっては、3Dジェネリックモデル、または変形可能モデル、あるいは統計形状モデルに関連するだけでなく、変換される正面および側面の開始ビューのために、ボリューム情報を最初から暗黙的かつ最初に含んでいるため、
●より具体的で、より正確であり、
〇異なる解剖学的構造は、引用された従来技術において使用される実装がより複雑でもある変換方法とは対照的に、有用な情報を失うことなく互いに分離することができる。

【0031】

以前に引用された米国特許出願公開第2019/0259153号における従来技術は、その適用分野がまったく異なり、いくつかの解剖学的構造を包含するグローバルX線画像を、同じ複数の解剖学的構造を包含するDRRに事前に転換した、タスク駆動型敵対的生成ネットワーク(GAN)の密な画像間ネットワークを使用して「事後」セグメンテーションを実行することに基づいているため、本発明にあるような3D/2D弾性位置合わせなどの補完的なオブジェクトを開示しておらず、特にクロスマルチ構造3D/2D弾性位置合わせのクロスドメイン画像類似性などは開示しない。

【0032】

2D X線画像のセットに対する3Dモデルの強度ベースの3D/2D位置合わせの堅牢性はまた、実際の画像と、3Dモデルから生成されたデジタル再構成放射線画像(DRR)との間の画像対応の品質に依存する。このマルチモーダル位置合わせ状況において両方の画像間の類似性レベルを改善する傾向は、可能な限り現実的な、すなわち実際のX線画像に可能な限り近いDRRを生成することにある。これは2つの重要な態様を含み、第1は、関連するすべての構造の正確な密度情報で強化された軟組織と骨の3Dモデルを有することであり、第2は、物質との相互作用の物理現象を考慮した洗練された投影プロセスである。

【0033】

反対に、本発明の実施形態によって提案される方法では、実際のX線画像をDRR画像ドメインに持ってくる反対の手法が、クロスモダリティ画像から画像への転換を使用して行われる。GANのpix-to-pixモデルに基づいて画像から画像への転換の前のステップを追加することにより、複雑な現象のシミュレーションなしに、単純で高速なDRR投影プロセスを使用できるようになる。実際、単純なメトリックを使用しても、一致する両方の画像が同じドメインに属し、本質的に同じ種類の情報を含んでいるため、類似性の測定は効率的になる。提案された医用画像変換方法はまた、複数のオブジェクトで構成されるシーンにオブジェクトを位置合わせするというよく知られた問題に対処する。XRAYからDRRへのコンバータにおいて構造ごとに個別の畳み込みニューラルネットワーク(CNN)出力チャネルを使用すると、重なった隣接するオブジェクトを互いに分離することと、位置合わせにおける類似した構造の不一致を回避することとが可能になる。本発明の実施形態によって提案される方法は、脊椎の2平面放射線画像における椎骨3Dモデルの困難な3D/2D弾性位置合わせに適用される。XRAYからDRRへの転換のステップを使用すると、マルチモーダル位置合わせがモノモーダルになるため、位置合わせ結果が向上し、類似性の測定の選択への依存が減少する。

【0034】

好ましい実施形態は、以下の特徴の1つまたは複数を備え、これらは、先に引用した本発明の目的のいずれかと部分的にまたは完全に組み合わせて、別々にまたは一緒に採用することができる。

【0035】

好ましくは、前記1つの畳み込みニューラルネットワーク(CNN)または畳み込みニューラルネットワーク(CNN)のグループは、単一の敵対的生成ネットワーク(GAN)である。

【0036】

したがって、提案された変換方法の単純さは、その有効性を維持しながらさらに改善される。

【0037】

好ましくは、前記単一の敵対的生成ネットワーク(GAN)は、U-Net GANまたはResidual-Net GANである。

【0038】

好ましくは、前記患者の前記実際のX線画像は、X線撮像装置による前記患者の直接キャプチャである。

【0039】

したがって、変換される第1のドメインにおける画像は、完全に取得が簡単で、完全に患者固有のものである。

【0040】

好ましくは、前記患者の前記第1および第2の解剖学的構造は、前記実際のX線画像上で互いに隣り合っている、または、前記実際のX線画像上で互いに隣接さえしている、または、前記実際のX線画像上で互いに接触さえしている、または、前記実際のX線画像に少なくとも部分的に重ねられてさえいる解剖学的構造である。

【0041】

したがって、提案された変換方法は、それらの間でもはや分離できない混合情報の量が高くなるため、互いに分離される様々な解剖学的構造が実際には互いに近接しているよりもさらに興味深いものである。

【0042】

好ましくは、前記少なくとも2つのデジタル再構成放射線画像(DRR)のうちの1つのみをさらなる処理のために使用できる。

【0043】

したがって、提案された変換方法は、たとえ実行者(practitioner)によって実際に1つのDRRしか必要とされない場合でも使用することができる。

【0044】

好ましくは、前記少なくとも2つのデジタル再構成放射線画像(DRR)のすべてをさらなる処理のために使用することができる。

【0045】

したがって、提案された変換方法は、特にすべてのDRRが実際に実行者にとって有用である場合に使用するこができる。

【0046】

好ましくは、患者の前記実際のX線画像が、前記患者の少なくとも3つの解剖学的構造、好ましくは前記患者の3つの解剖学的構造のみを含み、前記実際のX線画像が、前記単一の動作によって、前記少なくとも3つの解剖学的構造をそれぞれ表す少なくとも3つの別個のデジタル再構成放射線画像(DRR)に変換され、前記デジタル再構成放射線画像(DRR)の各々が、前記解剖学的構造の任意の他の1つを表すことなく、前記解剖学的構造の1つだけを表し、好ましくは、前記3つの解剖学的構造のみをそれぞれ表す3つの別個のデジタル再構成放射線画像(DRR)のみに変換される。

【0047】

したがって、提案された変換方法は、次の2つの方法で最適化される。
●第1に、最も近い2つの隣接物(特に、患者の脊椎のような線形構造)を使用すると、対象の特定の解剖学的構造をより適切に分離して個別化するのに役立つ、
●第2に、最も近い2つの隣接物のみを使用すると、依然として比較的単純な実装形態を用いてそれを実行するために役立つ。

【0048】

好ましくは、前記1つの畳み込みニューラルネットワーク(CNN)または畳み込みニューラルネットワーク(CNN)のグループのいずれかが、1つの実際のX線画像、およびそれぞれ前記解剖学的構造の1つだけを表すが、前記患者の他の解剖学的構造は表さない、少なくとも1つまたは複数の対応するデジタル再構成放射線画像(DRR)のトレーニンググループのセットによって事前にトレーニングされている。

【0049】

したがって、提案された変換方法は、変換するために第1のドメインにおいて、および変換されるために第2のドメインにおいて、ペアの画像を用いてトレーニングすることができる。

【0050】

好ましくは、前記1つの畳み込みニューラルネットワーク(CNN)または畳み込みニューラルネットワーク(CNN)のグループのいずれかが、実際のX線画像、および少なくとも1つまたは複数のデジタル再構成放射線画像(DRR)のいくつかのサブセットのセットによって事前にトレーニングされており、前記デジタル再構成放射線画像(DRR)の各々は、前記解剖学的構造の1つだけを表すが、前記患者の他の解剖学的構造は表さない。

【0051】

したがって、提案された変換方法は、変換するために第1のドメインにおいて、および変換されるために第2のドメインにおいて、ペアになっていない画像を用いてトレーニングすることができる。

【0052】

好ましくは、前記1つの畳み込みニューラルネットワーク(CNN)または畳み込みニューラルネットワーク(CNN)のグループのいずれかが、1つの正面の実際のX線画像と1つの側面の実際のX線画像の両方、ならびに対応する正面および側面のデジタル再構成放射線画像(DRR)の少なくとも1つまたは複数のサブセットのトレーニンググループのセットによって事前にトレーニングされており、各前記サブセットは、前記解剖学的構造の1つだけを表すが、前記患者の他の解剖学的構造は表さない。

【0053】

したがって、提案された変換方法は、変換するために第1のドメインにおいて、および変換されるために第2のドメインにおいて、正面画像と側面画像の両方のペアのグループを用いてトレーニングすることができ、正面画像と側面画像の各ペアは、正面画像と側面画像のいくつかのペアに変換され、正面画像と側面画像の変換された1つのペアは、他の解剖学的部分から分離された1つの解剖学的部分に対応する。

【0054】

好ましくは、前記トレーニンググループの前記デジタル再構成放射線画像(DRR)は、2つの直交方向に沿って撮影された2つの実際のX線画像への適応を介して、前記患者に固有の3Dモデルから得られる。

【0055】

したがって、一方ではトレーニングDRRを作成するために使用されるモデルの単純さと、他方では対象となる特定の患者への正確な専念(dedication)によるモデルの有効性との間の妥協が最適化される。

【0056】

好ましくは、前記患者の前記異なる解剖学的構造は、前記患者の隣接する椎骨である。

【0057】

したがって、提案された変換方法は、それらの間でもはや分離できない混合情報の量が高くなるため、互いに分離される様々な解剖学的構造が実際には互いに近接しているよりもさらに興味深いものである。

【0058】

好ましくは、前記患者の前記異なる隣接する椎骨が、患者の胸部上部脊椎セグメントの領域、または、患者の胸部下部脊椎セグメントの領域、または、患者の腰椎セグメントの領域、または、患者の頸椎セグメントの領域、または、患者の骨盤の領域のいずれかの患者の脊椎の単一の同じ領域内に位置している。

【0059】

好ましくは、前記患者の前記異なる解剖学的構造が、患者の腰の領域、あるいは、大腿骨または脛骨などの、患者の下肢の領域、または、患者の膝の領域、または、患者の肩の領域、または、患者の胸郭の領域のいずれかの患者の単一の同じ領域内に位置している。

【0060】

好ましくは、前記患者の前記異なる解剖学的構造をそれぞれ表す前記異なるデジタル再構成放射線画像(DRR)の各々が、同時に、異なるグレーレベルを表すピクセルを有する画像と、タグが表す解剖学的構造に関連する解剖学的情報を表す少なくとも1つのタグとを含む。

【0061】

したがって、このタグは、異なる解剖学的構造を区別することと、これらの異なる解剖学的構造を互いに分離することとを行うために使用される。このタグは、異なる解剖学的構造にそれぞれ対応する情報を分離することが依然として可能であった場合に、単純で効果的な方法であり、すなわち、3Dボリュームにおいて、第1のドメインにおけるこれらの画像、ここではX線画像の前に、好ましくは正面および側面のX線画像が、第2のドメイン、ここではDRRにおいて変換されることが好ましく、そのような区別が以前になされていなければ、これらの異なる解剖学的構造を区別することと、これらの異なる解剖学的構造を互いに分離することとを行うことは、もはや不可能であろう。

【0062】

好ましくは、前記画像は256×256ピクセルの正方形の画像である。

【0063】

したがって、これは、一方では画像の品質と、他方では処理の複雑さならびに要求されるストレージ機能との間の適切な妥協である。

【0064】

好ましくは、前記1つの畳み込みニューラルネットワーク(CNN)または畳み込みニューラルネットワーク(CNN)のグループのいずれかが、100人から1000人の範囲、好ましくは300人から700人の範囲、より好ましくは約500人の様々な患者の、実際のX線画像、すなわちX線画像と実際のX線画像の変形の両方において事前にトレーニングされている。

【0065】

したがって、これは、互いに十分に区別された非常に多数のトレーニング画像をトレーニングに提供するための単純で効果的な方法であると同時に、これらのトレーニング画像を構築するために非常に限られた量のデータを自由に使用することができる。

【0066】

トレーニング画像の数の範囲にも最適値があり、実際、合理的な範囲のトレーニング画像を使用すると、非常に合理的なコストでほぼ最適な効果が得られる。

【0067】

好ましくは、少なくとも、患者の正面の実際のX線画像と前記患者の側面の実際のX線画像の両方が変換され、両方の前記X線画像は、それぞれ前記患者の同じ前記解剖学的構造を含む。

【0068】

したがって、たとえば、3Dジェネリックモデルの助けを借りて、または変形可能モデルの助けを借りて、あるいは場合によっては統計形状モデルの助けを借りて、解剖学的構造を、直交する2つのビューからより正確に知ることができ、場合によっては3次元空間(3D)において再構成することもできるので、変換される画像として正面と側面の実際のX線画像の両方を使用することにより、正面と側面のDRRを取得することと、作成されたDRRの精度を向上させることとの両方が可能になる。

【0069】

本発明のさらなる特徴および利点は、以下に挙げる添付の図面を参照して、非限定的な例として与えられる本発明の実施形態の以下の説明から明らかになるであろう。

【図面の簡単な説明】

【0070】

【図1A】従来技術による、トレーニング段階中にGANのトレーニングのためにグローバルDRRを作成する第1のステップを示す図である。

【図1B】従来技術による、トレーニング段階中に解剖学的構造を互いに分離するためにセグメンテーションを実行する第2のステップを示す図である。

【図1C】従来技術による、X線画像を異なる解剖学的構造のセグメント化された画像に変換する方法を示す図である。

【図2A】本発明の一実施形態による、トレーニング段階中に、GANのトレーニングのための第1の解剖学的構造の局所的DRRを作成する第1のステップを示す図である。

【図2B】本発明の一実施形態による、トレーニング段階中に、GANのトレーニングのための第2の解剖学的構造の別の局所的DRRを作成する第2のステップを示す図である。

【図2C】本発明の一実施形態による、X線画像を、いくつかの異なる解剖学的構造をそれぞれ表すいくつかの異なる局所的DRRに変換する方法を示す図である。

【図3A】いくつかの従来技術による3D/2D位置合わせの例を示す図である。

【図3B】本発明の実施形態による3D/2D位置合わせの一例を示す図である。

【図4A】いくつかの従来技術による3D/2D位置合わせの例を示す図である。

【図4B】本発明の実施形態による3D/2D位置合わせの一例を示す図である。

【図5】本発明の実施形態による、3D/2D位置合わせ方法を実行する一例のグローバルフローチャートを示す図である。

【図6】本発明の実施形態による、3D/2D位置合わせ方法を実行する前のトレーニング段階の一例のより詳細なフローチャートを示す図である。

【図7】本発明の実施形態による、3D/2D位置合わせ方法を実行する例のより詳細なフローチャートを示す図である。

【図8A】本発明の実施形態による、以前の皮質の厚さと法線ベクトルを使用して、外層から内層を作成する原理の例を示す図である。

【図8B】本発明の実施形態による、L1椎骨のメッシュ全体の補間された厚さマップの例を示す図である。

【図9】2層メッシュを通じたレイキャスティングの原理の例を示す図である。

【図10】本発明の実施形態による、XRAYからDRRへのGANネットワークアーキテクチャおよびトレーニングの例を示す図である。

【図11A】実際のX線画像から隣接する椎骨構造に対応する3チャネルDRR画像への、GANベースのXRAYからDRRへの変換の例を示す図である。

【図11B】本発明の実施形態によって提案される方法の堅牢を示すために、悪条件におけるX線ドメインからDRRドメインへの転換とも呼ばれる変換を示す図である。

【図12A】縦軸における初期ポーズシフトの関数としてのターゲット位置合わせエラーを示す図である。

【図12B】椎骨を上方に垂直に移動させた例を示す図である。

【図13A】ノードから表面への統計距離を計算するために使用される解剖学的領域を示す図である。

【図13B】L3椎骨について計算された最大エラーの距離マップを示す図である。

【図14A】実際のX線画像と比較した、GAN DRRを使用するPAビューおよびLATビューのコスト値を示す図である。

【図14B】実際のX線画像と比較した、GAN DRRを使用するPAビューおよびLATビューの類似値を示す図である。

【図14C】実際のX線画像を使用した図14Dと比較して、GANによって生成されたDRRを使用した場合に、位置合わせの結果に見られるより良い適合を示す図である。

【図15】図14Bと同様に、GNCC(勾配正規化相互相関)メトリックによる同様の結果を示す図である。

【図16】Z方向(垂直画像方向)におけるターゲット位置合わせエラー(TRE)試験の結果を示す図である。

【発明を実施するための形態】

【0071】

以降のすべての説明は、いくつかの異なる臓器を有する身体表現を参照して行われるが、いくつかの異なる臓器のグループを持つ身体表現、またはこの臓器のいくつかの異なる部分を持つ臓器表現でさえも、すべて同じように行うことができる。

【0072】

後前(PA)は正面図(FRT)と同じであり、側面図は後前図と正面図の共通方向に直交する方向に沿っているため、両方とも側面図(LAT)とは対照的である。

【0073】

図1Aは、従来技術による、トレーニング段階中にGANのトレーニングのためにグローバルDRRを作成する第1のステップを示している。

【0074】

DRR X線源1から、2つの異なる臓器、第1の臓器3および第2の臓器4を含む3Dボリューム2を通じてレイキャスティングが実行される。

【0075】

第1の臓器3および第2の臓器4は、それぞれ、第1の臓器3からのDRR画像信号6の寄与および第2の臓器4からのDRR画像信号7の寄与である、グローバルDRR5上の平面投影を有する。

【0076】

画像領域6および画像領域7は、臓器3および4からの両方のそのような信号が重ねられる交差ゾーン8を有する。

【0077】

この交差ゾーン8において、信号のどの部分が臓器3から来て、信号のどの部分が臓器4から来ているかを知ることはできない。

【0078】

図1Bは、従来技術によるトレーニング段階中に解剖学的構造を互いに分離するためにセグメンテーションを実行する第2のステップを示している。

【0079】

DRR X線源1から、第1の臓器3および第2の臓器4が互いに分離されるように、第1の臓器3および第2の臓器4のセグメンテーションが実行される。

【0080】

第1の臓器3および第2の臓器4のセグメンテーションは、第1のラベル画像12および第2のラベル画像13をそれぞれ与え、その上にそれぞれ第1の臓器3の第1のトレース14および第2の臓器4の第2のトレース15がある。

【0081】

しかしながら、たとえこれらのセグメンテーション第1のトレース14および第2のトレース15が後でグローバルDRR5に適用された場合でも、交差ゾーン8内の信号の混合は、それぞれの元の寄与の間、すなわち一方の第1の臓器3からの寄与と、他方の第2の臓器4からの寄与との間で分離できなくなるため、それらは第1の臓器3の第1のDRRおよび第2の臓器4の第2のDRRにはならない。

【0082】

したがって、これは、すべての交差ゾーン8において、いくつかの異なる臓器からの混合信号を元の寄与に分離することができなくなるため、グローバルDRRにセグメンテーションを適用しても、異なる臓器のいくつかの異なる局所的DRRにはならない。回復できないか、少なくとも回復が非常に困難になる有用な信号が失われたことになる。

【0083】

図1Cは、従来技術による、X線画像を異なる解剖学的構造のセグメント化された画像に変換する方法を示している。

【0084】

X線画像16は、GAN17によって、変換されたグローバルDRR5に変換され、次に、DI2I CNN18によって次のようにセグメント化される。
●第1の臓器3のセグメンテーション14に対応する、この変換されたグローバルDRR5の第1のバイナリマスク12、
●第2の臓器4のセグメンテーション15に対応する、この変換されたグローバルDRR5の第2のバイナリマスク13。
第1のバイナリマスク12または第2のバイナリマスク13から第1の臓器3または第2の臓器4に対応する局所的DRR画像を別個に取得することは、交差ゾーン8における有用な信号の損失を伴うはずである。

【0085】

図2Aは、本発明の一実施形態による、トレーニング段階中に、GANのトレーニングのための第1の解剖学的構造の局所的DRRを作成する第1のステップを示している。

【0086】

DRR X線源1から、第1の臓器21とは異なる第2の臓器22からすでに分離されている第1の臓器21のみを含む3Dボリューム20を通じてレイキャスティングが実行される。

【0087】

第1の臓器21は、局所的DRR上に平面投影を有し、それぞれ、第1の臓器21専用のDRR画像23であり、有用な信号を失うことなく第1の臓器21の平面投影に正確に対応するDRR画像24を表す。

【0088】

DRR画像24において、すべての信号が第1の臓器21から来ており、第2の臓器22から信号は来ていない。第1の臓器21の平面投影に関する有用な信号は失われていない。

【0089】

図2Bは、本発明の一実施形態による、トレーニング段階中に、GANのトレーニングのための第2の解剖学的構造の別の局所的DRRを作成する第2のステップを示している。

【0090】

DRR X線源1から、第2の臓器22とは異なる第1の臓器21からすでに分離されている第2の臓器22のみを含む3Dボリューム20を通じてレイキャスティングが実行される。

【0091】

第2の臓器22は、局所的DRR上に平面投影を有し、それぞれ、第2の臓器22専用のDRR画像25であり、有用な信号を失うことなく第2の臓器22の平面投影に正確に対応するDRR画像26を表す。

【0092】

DRR画像26において、すべての信号が第2の臓器22から来ており、第1の臓器21から信号は来ていない。第2の臓器22の平面投影に関する有用な信号は失われていない。

【0093】

図2Cは、本発明の一実施形態による、X線画像を、いくつかの異なる解剖学的構造をそれぞれ表すいくつかの異なる局所的DRRに変換する方法を示している。

【0094】

X線画像16は、GAN27によって、2つの別個の変換された局所的DRR23および25に変換され、それぞれは以下に対応する。
●図1Cの画像12とは対照的に、第1の臓器21に関連する有用な信号を失うことなく第1の臓器21の平面投影に正確に対応する第1のローカルDRR画像。
●図1Cの画像13とは対照的に、第2の臓器22に関連する有用な信号を失うことなく第2の臓器22の平面投影に正確に対応する第2のローカルDRR画像。

【0095】

2D平面画像への3Dモデルの強度ベースの弾性位置合わせは、3D再構成プロセスにおいて重要なステップとして使用される方法のうちの1つである。この種の位置合わせは、マルチモーダル位置合わせに似ており、実際のX線画像と、3Dモデルから生成されたデジタル再構成放射線画像(DRR)との間の類似性を最大化することに依存している。通常、3Dモデルはすべての情報を含んでいるわけではなく、たとえば、密度が常に含まれているわけではなく、2つの画像、たとえば実際のX線とDRRは互いに大きく異なるため、最適化プロセスが非常に複雑になり、多くの場合信頼できなくなる。標準的な解決策は、追加情報を追加し、複雑な物理現象をシミュレートすることによって、DRR生成プロセスを画像形成プロセスにできるだけ近づけることである。本発明の実施形態によって提案されるアルゴリズムにおいては、画像マッチングを容易にするために、実際のX線画像をDRRのような画像に変形することによって逆の手法が使用される。

【0096】

X線画像をDRRのような画像に変化させて、元の画像から背景とノイズを除去することと、DRRドメインにすることとを可能にする画像変換のステップが提案されている。画像は類似した特性を有しているため、両方の画像間のマッチングがより単純かつ効率的になり、たとえ標準の類似性メトリックを使用しても最適化プロセスが改善される。

【0097】

これは、U-Net畳み込みニューラルネットワーク(CNN)に基づいて、pix-to-pixディープニューラルネットワークトレーニングを使用することによって行われ、これにより、画像をあるドメインから別のドメインに変換できるようになる。DRRのような画像へのX線画像変形を使用すると、メッシュ3D/2D位置合わせが容易になる。さらに、提案されたCNNベースのコンバータは、関節のある骨構造をより適切に処理するために、骨構造ごとに1つの変換された画像を出力することによって、隣接する骨構造を分離するこができる。

【0098】

本発明の実施形態は、2平面X線撮像モダリティからの脊椎構造の再構成に挑戦する3Dに適用される。脊椎構造は、解剖学的変形を示すことができる周期的なマルチ構造である。pix-to-pixネットワークは、実際のX線画像を仮想X線画像に変換する。これにより、次のことが可能になる。
●第1に、画像対画像の対応および位置合わせ性能を向上させる、
●第2に、不一致を回避するために、特定の構造を識別して類似の隣接構造から分離する。

【0099】

この3D/2D位置合わせの原理は、図3Aに示される従来技術と図3Bに示される本発明の実施形態との間の比較によって提示される。図3Aは、いくつかの従来技術による3D/2D位置合わせの例を示している。図3Bは、本発明の実施形態による3D/2D位置合わせの一例を示している。

【0100】

図3Aにおいて、メッシュから生成されたDRRとX線画像との間の類似性を使用する3D/2D位置合わせのための、いくつかの従来技術による古典的な方法が示されている。残念ながら、対象の椎骨31を脊椎30の残りの部分と区別することは容易ではない。

【0101】

図3Bにおいて、本発明の実施形態によって提案される位置合わせプロセスは、位置合わせ類似機能における画像対応を容易にして、隣接する構造における不一致を回避するために、ターゲット画像を変換する事前の画像から画像への転換を使用する。ここでは、対象の椎骨31が脊椎30の残りの部分から分離されている。

【0102】

この3D/2D位置合わせのこの原理の適用はまた、3Dモデルの正面および側面の平面投影について、図4Aに示される従来技術と図4Bに示される本発明の実施形態との間の比較によって示されている。図4Aは、いくつかの従来技術による3D/2D位置合わせの例を示している。図4Bは、本発明の実施形態による3D/2D位置合わせの一例を示している。

【0103】

図4Aにおいて、いくつかの従来技術による、3Dメッシュから生成されたDRR投影と2平面X線画像との間の類似性を使用する3Dモデルの3D/2D位置合わせのための1つの古典的な方法が表されている。3Dモデル40は、第1の正面X線源41と、3Dモデル40の正面投影が画像化された平面X線画像43との間に配置されている。残念ながら、対象の椎骨47の正面画像は、脊椎45の残りの部分と混同されている。3Dモデル40はまた、第2の側面X線源42と、3Dモデル40の側面投影が画像化される平面X線画像44との間に配置されている。残念ながら、対象の椎骨48の側面画像は、脊椎46の残りの部分と混同されている。

【0104】

強度ベースの方法、すなわちアイコン位置合わせは、X線画像と、3Dモデルから生成されたデジタル再構成放射線画像(DRR)との間の類似性を最大化する最適なモデルのパラメータを見つけることを目的としている。画像からの抽出を必要とせず、より堅牢で柔軟である。しかしながら、可能な限り現実的な、すなわち実際のX線画像に可能な限り近いDRRを生成し、効率的な類似性測定を行うために、複雑なモデルとアルゴリズムを使用することを含む。それらは位置合わせプロセスにおいて最適化された基準であるため、変化する画像とターゲット画像の両方で構造の実際の一致度を反映し、極小値におけるトラップを回避するために摂動に対して堅牢である必要がある。主な摂動は、たとえDRR生成がかなり現実的であるように見えても、一致する両方の画像のモダリティが異なることである。ドメインAの画像(たとえば、実際のX線画像)をドメインBの画像(たとえば、DRR画像)と比較するためには、洗練された類似性メトリックを使用する必要がある。これらのドメインの違いにより、実際の臨床データに対するモデル位置合わせの性能が制限される。平面X線における位置合わせには、特に図4Aに見られるように最初の3Dモデルが十分に近くない場合に、不一致につながる環境における隣接する構造と重複の存在である別の追加の特異性がある。

【0105】

図4Bにおいて、本発明の実施形態に従って提案された方法が示されている。提案されているXRAYからDRRへの転換の前のステップでは、類似性レベルを改善するためにX線ターゲット画像を単一の構造を有するDRRに変換して、位置合わせプロセスにおいて隣接する構造の不一致を防ぐ。3Dモデル50は、第1の正面X線源41と、3Dモデル40の正面投影が画像化される平面DRR変換画像51との間に配置されている。ここで、対象の椎骨の3Dモデル40の正面投影55の重ね合わせを実行する方がはるかに簡単であり、まったく同じ対象の椎骨53がそのまま残り、DRRに変換された元のX線画像から分離される(脊椎の残りの部分、すなわち他の隣接する椎骨は取り出されている)。3Dモデル50もまた、第2の側面X線源42と、3Dモデル40の側面投影が画像化される平面DRR変換画像52との間に配置されている。ここでも、対象の椎骨の3Dモデル40の側面投影56の重ね合わせを実行する方がはるかに簡単であり、まったく同じ対象の椎骨54がそのまま残り、DRRに変換された元のX線画像から分離される(脊椎の残りの部分、すなわち他の隣接する椎骨は取り出されている)。

【0106】

図4Bに見られる本発明の実施形態によって提案される方法は、反対の手法を行い、それによってパラダイムを変更する。実際、類似性メトリックまたはDRR X線シミュレーションのいずれかを改善する代わりに、pix-to-pix敵対的生成ネットワーク(GAN)に基づくクロスモダリティ画像から画像への転換モデルを使用して、X線画像をDRRのような画像に変換する方法を探る。XRAYからDRRへの転換はプロセス全体を簡素化し、図4Bに見られるように、より単純なDRR生成と類似性メトリックの両方を使用できるようにする。

【0107】

実験は、2平面X線撮像モダリティからの脊椎骨の複数オブジェクトおよび周期的構造の再構成に挑戦する3Dに適用される。XRAYからDRRへの転換のステップは、実際のX線画像を解剖学的構造が分離されたDRRのような画像に変換するために、弾性3D/2D位置合わせの前に追加される。この転換ステップを使用すると、両方の画像が類似した特性を有し、類似性測定が対象の分離された解剖学的構造に対してのみ実行されるため、たとえ標準の類似性メトリックを使用する場合でも、画像マッチングがより効率的であるため、メッシュ3D/2D位置合わせが容易になる。

【0108】

図5は、本発明の実施形態による、3D/2D位置合わせ方法を実行する一例のグローバルフローチャートを示している。このフローチャート60は、X線画像をDRR画像に変換する。正面X線画像61は、正面の重みのセットを有するGAN62によって正面DRR画像63に変換される。側面X線画像64は、側面の重みのセットを有するGAN65によって側面DRR画像66に変換される。初期3Dモデル67および初期DRR重ね合わせ68の両方から開始して、修正された位置合わせされた3Dモデル74および修正されたDRR重ね合わせ75の両方が反復最適化69によって取得される。この反復的な最適化は、次の連続するステップを含むサイクルを備える。第1に、3Dモデルインスタンスのステップ70、次いで3DモデルDRR投影のステップ71、次いで類似性スコアのステップ72、次いで最適化のステップ73、そして再びパラメータが更新された3Dモデルインスタンスのステップ70に戻る。

【0109】

対象物が重なっている放射線画像におけるDRR画像マッチングに効率的に対処することと、堅牢性、位置合わせの精度を向上させることと、計算の複雑さを軽減することとを行うために、図5に見られるように、X線画像をDRR画像に変換する、事前にトレーニングされたpix-to-pix GANネットワークを使用して、画像から画像への転換の前のステップを導入することが提案されている。結果として得られるXRAYからDRRへの変換ネットワークにより、一致する両方の画像、3Dメッシュ(DRR3DM)から生成された様々なDRRと、ターゲットDRRとが同じドメインに属しているため、効率的なクロスイメージの類似性を測定することと、単純なDRR生成アルゴリズムを使用することの両方が可能になる。XRAYからDRRへの転換の提案されたステップは、図4Bに見られるように、X線画像を均一な背景とノイズを有し、軟部組織と隣接構造がすべて除去されたDRR3DMのような画像に変換する。実際、画像コンバータは、骨構造ごとに1つの変換されたDRR画像を出力することによって、隣接する骨構造を分離するようにトレーニングされている。このように、複数のオブジェクトで構成されたシーンにおいて単一構造の3Dモデルを位置合わせする問題、たとえば関節のある骨構造が対処される。

【0110】

図6は、本発明の実施形態による、3D/2D位置合わせ方法を実行する前のトレーニング段階の一例のより詳細なフローチャートを示している。本発明の実施形態によって提案される方法は、3D/2D位置合わせを容易にするために、X線パッチをDRRのようなパッチに変形するためにU-Netコンバータを提供する前のトレーニング段階を必要とする。

【0111】

トレーニングデータベース80は、正面(後前とも呼ばれる)および側面の両方の2平面X線画像のセット81と椎骨の3D再構成モデル82とを含む。

【0112】

学習データ抽出プロセス83は、たとえば、特許出願WO2009/056970に記載されているものと同様のプロセスを使用する、レイキャスティングモデルによるDRR計算の動作84と、関心領域(ROI)の抽出および再サンプリングの動作85と実行する。学習段階83は、U-Net XRAYからDRRへのコンバータをトレーニングするために必要である。DRR計算の動作84とROI抽出および再サンプリングの動作85の両方が、入力として、2平面X線画像のセット81と椎骨の3D再構成モデル82の両方を使用する。DRR計算の動作84は、モデルの2平面DRRのセット86を出力として生成するのに対し、ROI抽出および再サンプリングの動作85は、モデルの2平面DRRのこのセット86を入力として使用する。

【0113】

学習データ87は、X線パッチのセット88およびDRRパッチのセット89を含み、これらのパッチは異なる解剖学的構造を表す。X線パッチのこのセット88およびDRRパッチのこのセット89は、ROI抽出および再サンプリングの動作85によって生成される。このトレーニングに必要なデータ87は、サイズが256×256ピクセルのすべて正方形の画像であるパッチのセット88と89のペアである。

【0114】

X線パッチのこのセット88とDRRパッチのこのセット89の両方が、U-Netコンバータの重みパラメータのセット91を生成するために、GANを使用してU-Netコンバータをトレーニングする動作90中に入力として使用される。

【0115】

Xで示されるパッチ88は、X線2平面画像81から抽出される。Yで示されるパッチ89は、再構成された3Dモデルから生成された2平面DRR86から抽出される。

【0116】

トレーニングは、これらのデータをU-Netモデルに適合させることを目的としており、Y=predict(X, W)+ε、上式で、εは予測の残差であり、Wはニューラルネットワークパラメータである結果として得られるトレーニングされた重みである。

【0117】

XとYは、次のように定義されたサイズの4Dテンソルである。
X:[N, 256, 256, M]:Nはパッチの総数であり、Mは次の例の入力チャネルの数である。
M=1:パッチは正面(FRT)または側面(LAT)ビューに属する
M=2:ジョイントモデルFRT+LATをトレーニングする
Y:[N, 256, 256, K×M]:Nはパッチの総数であり、Kは次の例の出力チャネル内の解剖学的構造(DRR画像)の数である。
K=1:解剖学的構造が1つだけである、
K=3:上/中および下に隣接する椎骨、実施形態において椎骨の3D/2D位置合わせのために提案されたモデルは何か、
K=4:たとえば、LATビューにおいて左右の大腿骨および脛骨を有するモデル。
トレーニングデータ、つまりパッチ88と89の抽出は、次のように行われる。
●M人の患者がトレーニングに使用される。各患者は次のデータを有する。
〇FRTおよびLAT較正された放射線画像DICOM画像、
〇脊椎の3Dモデリング。
●M人の患者は、ニューラルネットワークの重みの修正に使用されるトレーニングセットと、トレーニングの収束、トレーニング曲線を調査し、最適な一般化推論/予測を使用して最適なモデルを選択するために使用されるテストセットとの、2つの異なるセットに分けられる。
●患者ごとに、N=M×PとなるようにP個のパッチのセットが抽出される。
〇PA(後前)とLAT DRR画像の両方を生成するために、専門家の3Dモデルが使用される、
〇サイズ256×256のP個のパッチのセットが、DRR(Y)と実際の画像(X)の両方から抽出される、
〇パッチの位置が、画像上の構造をシフトしてデータセットのサイズを人為的に大きくするために、[25, 25, 25](統一法に関して)の範囲における3Dの椎体の中心からランダムにシフトされる。別のデータ拡張は、次を使用することによって行われる。
・2D VBCを中心としたグローバル回転:[-20 20度]
・グローバルスケーリング[0.9, 1.1]
・終板の中心付近で[-5, +5度]の変動を伴う画像の局所的な変形。

【0118】

図7は、本発明の実施形態による、3D/2D位置合わせ方法を実行する例を示す、図5のフローチャートよりも詳細なフローチャートを示している。表現された反復位置合わせプロセスは、後前(PA)(正面とも呼ばれる)と側面(LAT)ビューの両方における、変換されたターゲットDRR画像と3Dモデル(DRR3DM)から計算された移動DRR画像との間の類似性を最大化するモデルパラメータを見つけることを目的としている。このより詳細なフローチャートは、X線画像をDRR画像102に変換するプロセスを含む。

【0119】

脊椎統計形状モデル(SSM)112および椎骨変形モデル113(それぞれが、ジェネリックモデル、ラベル付けされた3Dポイントのディクショナリ、および移動最小二乗変形を制御するパラメトリック変形ハンドルのセットで構成される)は、3Dモデルの第1の推定値115を与えるために、自動化されたグローバルフィットの動作103を実行する初期化プロセス101によって入力として使用される。この3Dモデルの第1の推定値115は、反復最適化ループ100によって使用されるために初期パラメータ116のセットに挿入される。

【0120】

この3Dモデルの第1の推定値115はまた、ターゲット生成プロセス102への入力として、正面と側面の両方の2平面X線画像のセット114とともに使用される。このターゲット生成プロセス102は、ピクセルからピクセルへの(pix-to-pix)画像から画像への転換を実行する。このターゲット生成プロセス102は、次の一連のステップを含む。第1に、ROI抽出および再サンプリングのステップ104であり、Xで示されるX線パッチのセット105を生成するために、この3Dモデルの第1の推定値115および2平面X線画像のこのセット114を入力として開始し、そこから、U-Netコンバータを使用するDRR推論のステップ106は、パラメータ91、117を重み付けし、それによってYで示される予測DRRパッチのセット107を生成する。

【0121】

この3D/2D位置合わせプロセスの反復最適化ループ100は、次の連続ステップのサイクルを備える。
●初期パラメータ116のセットと局所的椎骨統計形状モデル(SSM)の両方を入力として使用する、メッシュインスタンス生成の第1のステップ108、
●レイキャスティングによる、右椎骨ROIとパッチサイズのDRR計算の第2のステップ109、
●Yで示される予測DRRパッチのセット107をやはり使用する、類似性スコアリングの第3のステップ110、
●共分散行列適応進化戦略(CMA-ES)によって最適化し、次いで、パラメータが更新された第1のステップ108に戻り、反復サイクルの最後に、位置合わせされたモデルに対応する最適化されたパラメータ119を最終出力として生成する、第4のステップ。

【0122】

本発明の実施形態によって提案される、平面放射線画像上の3Dモデルの弾性的、または剛性的でさえある3D/2D位置合わせを解決するためのこの新しい方法は、XRAYからDRRへのコンバータネットワークのトレーニングと、正確な組織密度を必要としない骨の二重層メッシュモデルから計算された高速DRR生成アルゴリズムを含む。ステップ108において3Dメッシュ(DRR3DM)から生成されたステップ109における可変DRRと、ステップ107においてターゲットとして使用された変換されたDRR画像(DRRGAN)との間の類似性をステップ110において最大化すると、第1に、画像と画像の対応が1つの一意のドメインにあり、促進され、第2に、XRAYからDRRへの変換における構造分離のおかげで、隣接する構造の不一致が回避されるため、ステップ119において、最適なモデルのパラメータを簡単に見つけることができるようになる。反復位置合わせプロセス100は、すべてのビューにおいて同時にDRR3DMとDRRGANとの間の類似性を最大化することを目的とする。

【0123】

正式には、これは、3Dモデルのポーズおよび形状を制御する最適なパラメータ

【0124】

【数1】

【0125】

119を見つけるために、次のコスト関数(式1)を最大化する方法と見なすことができる。

【0126】

【数2】

【0127】

上式で、

【0128】

【数3】

【0129】

は、ビューυの可変画像

【0130】

【数4】

【0131】

とターゲット画像

【0132】

【数5】

【0133】

との間で計算された任意の類似性関数であり(L個のビューの総数に対して)、両方の画像は、位置合わせするターゲット構造の周りの元の画像の関心領域(ROI)である。変化する画像

【0134】

【数6】

【0135】

は、モデルのパラメータベクトルpに依存し、ビューυのDRR投影関数Ρ^v()として計算される(式3)。

【0136】

【数7】

【0137】

上式で、Ψ(p)(式4)はパラメータベクトルpによって制御される3Dモデルインスタンスを生成する。ターゲット画像

【0138】

【数8】

【0139】

は、U-Net予測(式5)を使用して変換された画像として定義される。

【0140】

【数9】

【0141】

上式で、

【0142】

【数10】

【0143】

はビューυの元のX線のROIパッチであり、f(I, W)は、CNNパラメータWと入力画像Iを有するGANベースのトレーニングされたU-Netのフィードフォワード推論を表す。これに関連して、L=2ビュー(PAおよびLAT)を備えた2平面放射線画像システムが使用される。コスト関数(式1)は、図7に示される提案された方法のフローチャートに示されているように、オプティマイザを使用して反復プロセスにおいて最大化することができる。

【0144】

以下のパラグラフは、本発明の実施形態による、2層メッシュ表面およびCNNアーキテクチャからのDRR投影の方法、ならびにXRAYからDRRへのコンバータのトレーニングを提示する。本方法の説明は脊椎構造に向けられているが、較正された平面図における任意の(マルチ)構造3Dモデル3D/2D位置合わせに適用することができる。

【0145】

ここで、2層メッシュを形成するDRR投影について説明する。これは、特許出願WO2009/056970において記載されているものと同様のプロセスを使用することによって実装されることが好ましい。これは、投影関数Ρ^v(S)(式3)に関連する1つのビューυ上の3D表面メッシュSからDRRを生成するプロセスである。仮想X線画像(DRR)は、皮質と海綿状の骨媒体である2つの媒体を区切る2つの層で構成される3D表面モデルと交差するレイキャスティングを使用して計算される。媒体分離面は、両方の材料特性に対応する減衰の2つの異なる要因を考慮するために使用される。皮質構造は、X線のエネルギー吸収が最も高く、放射線画像においてより明るく見える。3Dモデルは、(x, y, z)座標を有する3D頂点

【0146】

【数11】

【0147】

のセットと、三角形の面を定義する頂点インデックスを有する面のセット

【0148】

【数12】

【0149】

とによって定義される、メッシュ表面S={V, F}によって表される。

【0150】

図8Aは、本発明の実施形態による、以前の皮質の厚さと法線ベクトルを使用して、外層から内層を作成する原理の例を示している。メッシュ表面120において、前の皮質の厚さti121と法線ベクトルNi122の両方が追加されていることがわかる。

【0151】

2層メッシュ表面は、内部層をメッシュ120に追加することによって作成される。表面頂点V_iごとに、内部頂点は、式6を使用して計算される。

【0152】

【数13】

【0153】

上式で、

【0154】

【数14】

【0155】

は、頂点V_iにおける表面法線であり、図8Aに見られるように、t_iは頂点V_iにおける皮質の厚さである。各頂点の法線は、頂点リングに属する合計表面法線の正規化されたベクトルとして計算される。特定の解剖学的ランドマークの皮質の厚さの値は、たとえば椎体終板や椎弓根(pedicles)などの文献研究において見つけることができる。

【0156】

図8Bは、本発明の実施形態による、L1椎骨のメッシュ全体の補間された厚さマップの例を示している。通常、マップ124の異なる色のゾーンによって表されるマップ124の異なる領域は、0.5から1.8(トップダウン)の範囲の異なる値に対応し、中間値はマップ124の右側に表されるスケール125上の1.2にある。

【0157】

特定の解剖学的ランドマークの皮質の厚さの値のこれらの値は、図8Bに見られるように、皮質の厚さマップ124の計算を可能にする薄板スプライン3D補間技法を使用して、メッシュの頂点全体において補間される。

【0158】

図9は、2層メッシュを通じたレイキャスティングの原理を示している。X線源126とDRR画像128上のピクセル129を結ぶ光線は、椎骨127の皮質と海綿状の媒体を交互に横断する。レイキャスティングは、X線画像形成の原理を再現し、椎骨127の2つの骨媒体を横断する厚さの累積を計算する。

【0159】

図10は、本発明の実施形態による、XRAYからDRRへのGANネットワークアーキテクチャおよびトレーニングの例を示している。

【0160】

U-Netジェネレータ130は、入力XRAYパッチ143を、赤、緑、青(RGB)画像によって表される3つのチャネル146、147、および148、すなわち椎骨DRR146、147、および148あたり1つのチャネルを有するDRR画像144に変換するようにトレーニングされる。

【0161】

ジェネレータ130はいくつかの畳み込み層を備え、各層は1つまたは複数のスライスを含み、各スライスは動作を表す。いくつかのタイプのスライスまたは動作が利用可能である。
●スライスまたは動作131:サイズ4×4であり、ストライドは2であり、Leaky Rectified Linear Unit活性化関数を使用する、畳み込み2D層
●スライスまたは動作132:バッチ正規化
●スライスまたは動作133:サイズ2のアップサンプリング2D層
●スライスまたは動作134:ドロップアウト層
●スライスまたは動作135:サイズ4×4であり、ストライドは1であり、双曲線正接活性化関数を使用する、3チャネル出力畳み込み2D層
●スライスまたは動作137:サイズ4×4であり、ストライドは1である、出力畳み込み2D層

【0162】

左から右へ、XRAYパッチ143からDRR画像144へ、入力がXRAYパッチ143であり、出力がDRR画像144であるジェネレータ130内の連続する畳み込み層の構成は、次のとおりである。
●層1:スライス131
●層2:スライス131、次いでスライス132
●層3:スライス131、次いでスライス132
●層4:スライス131、次いでスライス132
●層5:スライス131、次いでスライス132
●層6:スライス131、次いでスライス132
●層7:スライス131、次いでスライス132、次いでスライス133
●層8:スライス131、次いでスライス134、次いでスライス132
●層9:スライス133、次いでスライス131、次いでスライス134、次いでスライス132
●層10:スライス133、次いでスライス131、次いでスライス134、次いでスライス132
●層11:スライス133、次いでスライス131、次いでスライス134、次いでスライス132
●層12:スライス133、次いでスライス131、次いでスライス132
●層13:スライス133、次いでスライス131、次いでスライス132
●層14:スライス133、次いでスライス131、次いでスライス132、次いでスライス135

【0163】

層は、水平線136によって示されているように連結することができる。
●層1と14は連結されている
●層2と13は連結されている
●層3と12は連結されている
●層4と11は連結されている
●層5と10は連結されている
●層6と9は連結されている
●層7と8は連結されている

【0164】

弁別器140は、左から右へ、入力から出力まで、5つの連続する層を備える。
●層1:スライス131
●層2:スライス131、次いでスライス132
●層3:スライス131、次いでスライス132
●層4:スライス131、次いでスライス132
●層5:スライス137

【0165】

弁別器140の出力には、損失関数139がある。この損失関数139の後に、2つの切替え可能な位置0と1を有する敵対的スイッチの部分142がある。

【0166】

生成されたDRR画像144(実際、3つの画像146、147、および148、椎骨ごとに1つ)と、対応するグラウンドトゥルースDRR画像145(実際、3つの画像146、147、および148、椎骨ごとに1つ)との間には、損失関数138がある。生成されたDRR画像144から、敵対的スイッチの部分141の切替え可能な「偽の(fake)」位置に向かうフィードバックがある。対応するグラウンドトゥルースDRR画像145から、敵対的スイッチのこの部分141の別の切替え可能な「実際の(actual)」位置に向かうフィードバックがある。次いで、敵対的スイッチのこの部分141の偽の位置と実際の位置に対向する端部は、弁別器140の入力のうちの1つに戻り、弁別器140の他の入力はXRAYパッチ143である。

【0167】

次に、XRAYからDRRへのコンバータについて説明する。XRAYからDRRへの画像コンバータ(式5)は、敵対的生成ネットワーク(GAN)を使用してトレーニングされたU-Netネットワークである。U-Netトレーニングは、ペアになった入力画像と出力画像の間で高密度のピクセル単位のマッピングを作成し、一貫した全体的な外観を有するリアルなDRR画像の生成を可能にする。この問題を解決するには、深い抽象表現を構築する必要がある。敵対的生成ネットワーク(GAN)は、U-Netジェネレータ(G)130とCNN弁別器(D)140で構成されている。したがって、2つの損失関数、ジェネレータ130用の損失関数138、および弁別器140用の損失関数139が定義される。第1に、トレーニングデータベースからの変換された144DRR画像と実際の145DRR画像との間の残差は、次の平均絶対損失関数138エラーによって計算される。

【0168】

【数15】

【0169】

上式で、(n, w, h, c)は、幅(w)×高さ(h)×チャネル(c)のサイズのn枚の3D画像を有するトレーニングデータ出力(DRR画像)の4Dテンソルの次元であり、

【0170】

【数16】

【0171】

は、i番目のサンプル画像のj番目のピクセルであり、f(XRAY_i, W)はi番目の入力XRAYのU-Net予測であり、現在のCNNパラメータWを有する。入力データは、サイズ(n, w, h, k)の4Dテンソルでもある。サイズkおよびcは、それぞれ入力(XRAY)画像と出力(DRR)画像のチャネル数である。弁別器(D)140は、その入力に提示された画像のXRAY/DRRの対がDRR生成画像(偽のクラス)であるか、または実際のDRR画像(実際のクラス)であるかを分類することを目的とする。したがって、損失関数ξD139は、バイナリクロスエントロピ損失によって定義される。

【0172】

トレーニングデータは小さなミニバッチ(たとえば、サイズ32)に分割される。ミニバッチごとに、ジェネレータ(G)130は偽のDRR画像を予測する。次いで、弁別器140は、ジェネレータ出力に割り当てられた、偽の画像(出力をゼロに設定:偽のクラス)の場合と、実際の画像(出力を1に設定)の場合との2つの画像を使用してバイナリ出力を予測するために、第1に個別にトレーニングされる。最後に、結合されたG130およびD140ネットワークおよび総損失L=ξD+ξGを使用して、ジェネレータの重み(W)を更新するために勾配の逆伝播が行われる(しかしながら、ジェネレータトレーニングのこのステップの間、弁別器の重みは固定される)。

【0173】

U-NetジェネレータG130のアーキテクチャは、[P.Isola、J.-Y.Zhu、T.Zhou、およびA.A.Efros、による、「Image-to-Image Translation with Conditional Adversarial Networks,」CoRR、vol.abs/1611.0、2016年]という記事で説明されているように、画像特徴のエンコード/デコード用の15の畳み込み層で構成されている。ドロップアウトスライス134は、画像から画像への転換モデルの良好な一般化を促進するために、第1の3つのデコーディング層において使用される。弁別器出力ニューロンはシグモイド活性化関数を有する。現在の例では、CNNの入力サイズは256×256×1(1つのビューにおけるXRAYパッチ)であり、DRRの出力サイズは256×256×3であった。1つの出力チャネルが、トレーニングにおいてそれらを分離するために、1つの異なる解剖学的構造に割り当てられ、上位146、中間147、および下位148、椎骨である。

【0174】

pix-to-pixネットワークは、ジェネレータのパラメータ(重み)をトレーニングするために、敵対的生成ネットワーク(GAN)のトレーニング手順を使用する。ジェネレータは、画像から画像へのマッピングが実際のX線パッチ143をDRRパッチ144(ドメインAからドメインB)に変換することを可能にするU-Netアーキテクチャを有する。ネットワーク全体は、U-Netジェネレータ130とCNN弁別器140で構成されている。この例では、GAN入力サイズは256×256×1(X線パッチ143)であり、DRR144出力サイズは256×256×kであり、kは出力における解剖学的構造の数として定義され、ここでは、3つの椎骨146、147、および148である。したがって、トレーニングにおいてそれらを分離するために、異なる解剖学的構造(ここでは異なる椎骨)ごとに1つの出力チャネルが割り当てられる。K=3の目に見える骨構造に対してk=3の出力チャネルが定義されており、対象の椎骨147(Ki=1)と、その上位146(Ki=0)および下位148(Ki=2)の隣接椎骨である。

【0175】

トレーニングされると、ネットワークは、複雑なドメインAに属する入力画像143(X線)を、ドメインBに属する簡略化された仮想X線(DRRのような)144に変換することができる。ジェネレータ(U-Net形状)130ネットワークは、画像変換のおかげで、元の画像のノイズ、隣接する構造物、および背景を抑制することができる。

【0176】

変換された画像を使用すると、次のことが可能になる。
●第1に、画像間の対応付け(類似性計算)を容易にし、
●第2に、それらの間の不一致を回避するために、隣接する構造を分離する。

【0177】

3D/2D位置合わせプロセススキームにおいて使用されると、これらの骨のマルチ構造pix-to-pixネットワークは、GAN U-Netを使用して生成されたターゲットDRR画像と3Dモデルから生成された様々な画像との間の類似性計算の段階を支援する。類似性の値は、モデルと画像との間の類似性を最大化する最適なモデルパラメータを見つけるためのコストとして使用されるため、両方の画像が同じドメインの多様性に属することにより、より単純な類似性メトリックを使用することが可能になり、隣接する構造間の不一致によって最適化中に誘導される極大値が少なくなる。

【0178】

次に、実験セットについて説明する。XRAYからDRRへのコンバータトレーニング用のデータセットは、幾何学的に較正されたシステムと、知られている3D環境とを用いて実行された463人の患者の2平面獲得(PAおよびLATビュー)を含む。3Dモデルのグラウンドトゥルースを有するために、半自動化された3D再構成方法を統合した再構成された3D脊椎を使用する。本発明の実施形態によって提案される方法の評価のために、40人の思春期の特発性脊柱側弯症患者(平均年齢14歳、平均主コブ角56°)の別の臨床データセットが使用された。3人の専門家による3D再構成の平均としてグラウンドトゥルースを定義するために、3Dモデルごとにブロンズスタンダードが構築された。

【0179】

XRAYからDRRへのコンバータのトレーニング中に、トレーニングデータセットにおける患者ごとに、以前に提示されたアルゴリズムを使用して、再構成された3Dモデルごとに個別にPAおよびLAT DRR画像が生成された。

【0180】

図11Aは、実際のX線画像から隣接する椎骨構造に対応する3チャネルDRR画像への、GANベースのXRAYからDRRへの変換の例を示している。

【0181】

画像151aは、変換される正面X線画像であり、上から順に椎骨L4、椎骨L5、仙骨板S1を表している。

【0182】

画像152aは、本発明の実施形態によって提案された方法によって、正面X線画像151aから生成された正面DRR画像である。各色は解剖学的構造を表しており、赤=椎骨L4、緑=椎骨L5、青=仙骨板S1である。

【0183】

画像153aは、正面X線画像151aに対応する元の正面DRR画像であり、本発明の実施形態によって提案される方法のアルゴリズムをトレーニングするために正面DRR画像152aが比較される参照画像である。

【0184】

画像151bは、本発明の実施形態によって提案された方法によって、正面X線画像151aから生成された正面DRR画像であり、椎骨L4のみに対応する。画像152aの上部にも対応する。

【0185】

画像152bは、本発明の実施形態によって提案された方法によって、正面X線画像151aから生成された正面DRR画像であり、椎骨L5のみに対応する。画像152aの中間部にも対応する。

【0186】

画像153bは、本発明の実施形態によって提案された方法によって、正面X線画像151aから生成された正面DRR画像であり、仙骨板S1のみに対応する。画像152aの下部にも対応する。

【0187】

画像151cは、正面X線画像151aに対応する元の正面DRR画像であり、正面DRR画像151bと比較される参照画像であり、椎骨L4のみに対応する。画像153aの上部にも対応する。

【0188】

画像152cは、正面X線画像151aに対応する元の正面DRR画像であり、正面DRR画像152bと比較される参照画像であり、椎骨L5のみに対応する。画像153aの中間部にも対応する。

【0189】

画像153cは、正面X線画像151aに対応する元の正面DRR画像であり、正面DRR画像153bと比較される参照画像であり、仙骨板S1のみに対応する。画像153aの下部にも対応する。

【0190】

画像151dは、変換される側面X線画像であり、上から順に椎骨L4、椎骨L5、仙骨板S1を表している。

【0191】

画像152dは、本発明の実施形態によって提案された方法によって、側面X線画像151dから生成された側面DRR画像である。各色は解剖学的構造を表しており、赤=椎骨L4、緑=椎骨L5、青=仙骨板S1である。

【0192】

画像153dは、側面X線画像151dに対応する元の側面DRR画像であり、本発明の実施形態によって提案される方法のアルゴリズムをトレーニングするために側面DRR画像152dが比較される参照画像である。

【0193】

脊椎に沿った椎骨の形態学的変化に続いて、脊椎セグメントT1からT5、T6からT12、L1からL5ごとにビューごとのコンバータがトレーニングされる。椎骨あたり20個のパッチが、ランダムな変位、回転、およびスケールで椎体の中心(VBC)の周囲に抽出される。関心領域(ROI)は、対象の椎骨と少なくとも隣接するレベルの椎体終板が256×256ピクセルのパッチにおいて表示されたままになるように、動的な縮小係数で定義され、縮小係数は、画像内の椎骨の寸法に依存する。トレーニングデータセットは、トレーニング(70%)とテスト(30%)の2つのセットに分割された。トレーニングは100エポック実行された。各エポックにおいて、エポック全体で最適なモデルを選択するために、予測されたパッチ(テストセット)のエラーである平均二乗エラー(MSE)が計算された。腰椎コンバータ(LATビュー)トレーニングは、c=1またはc=3(式7)で構成され、すなわち、出力画像が1つのチャネルのみ、または3つの椎骨DRRを含む3つのチャネルを備えた階層化された画像を有する。中間椎骨のDRRのMSEは、1つのチャネルおよび3つのチャネルに対してそれぞれ0.0112および0.0108であり、それによって、隣接する椎骨の追加出力情報がGANトレーニングに役立つことが明らかになった。したがって、たとえ1つの椎骨の3Dモデルの3D/2D位置合わせへの適用が中央のチャネルをターゲットとして使用する場合でも、トレーニングごとに3つの出力チャネルが使用された。トレーニングされると、ネットワークは、図11Aに見られるように、X線画像を構造ごとのDRR画像を含む階層化画像に変換するこができる。コンバータの定性的な結果は、図11Aと図11Bの両方に示されている。

【0194】

図11Bは、本発明の実施形態によって提案される方法の堅牢を示すために、悪条件におけるX線ドメインからDRRドメインへの転換とも呼ばれる変換を示す図である。

【0195】

画像154aは、変換される正面X線画像であり、上から順に椎骨L4、椎骨L5、仙骨板S1を表している。X線画像は、視界が悪いことを示している。

【0196】

画像155aは、X線ドメインからDRRドメインへの「転換」に対応する、本発明の実施形態によって提案された方法によって、正面X線画像154aから生成された正面DRR画像である。各色は解剖学的構造を表しており、赤=椎骨L4、緑=椎骨L5、青=仙骨板S1である。

【0197】

画像156aは、正面X線画像154aに対応する元の正面DRR画像であり、本発明の実施形態によって提案された方法のアルゴリズムの有効性および性能を評価するために、正面DRR画像155aが比較される参照画像である。

【0198】

画像154bは、変換される正面X線画像であり、上から順に椎骨L4、椎骨L5、仙骨板S1を表している。X線画像は重ね合わせを示している。

【0199】

画像155bは、X線ドメインからDRRドメインへの「転換」に対応する、本発明の実施形態によって提案された方法によって、正面X線画像154bから生成された正面DRR画像である。各色は解剖学的構造を表しており、赤=椎骨L4、緑=椎骨L5、青=仙骨板S1である。

【0200】

画像156bは、正面X線画像154bに対応する元の正面DRR画像であり、本発明の実施形態によって提案された方法のアルゴリズムの有効性および性能を評価するために、正面DRR画像155bが比較される参照画像である。

【0201】

画像154cは、変換される正面X線画像であり、上から順に椎骨L4、椎骨L5、仙骨板S1を表している。X線画像は、円形の金属部品157を示している。

【0202】

画像155cは、X線ドメインからDRRドメインへの「転換」に対応する、本発明の実施形態によって提案された方法によって、正面X線画像154cから生成された正面DRR画像である。各色は解剖学的構造を表しており、赤=椎骨L4、緑=椎骨L5、青=仙骨板S1である。

【0203】

画像156cは、正面X線画像154cに対応する元の正面DRR画像であり、本発明の実施形態によって提案された方法のアルゴリズムの有効性および性能を評価するために、正面DRR画像155cが比較される参照画像である。

【0204】

画像154dは、変換される正面X線画像であり、上から順に椎骨L4、椎骨L5、仙骨板S1を表している。X線画像は、金属製のネジ158を示している。

【0205】

画像155dは、X線ドメインからDRRドメインへの「転換」に対応する、本発明の実施形態によって提案された方法によって、正面X線画像154dから生成された正面DRR画像である。各色は解剖学的構造を表しており、赤=椎骨L4、緑=椎骨L5、青=仙骨板S1である。

【0206】

画像156dは、正面X線画像154dに対応する元の正面DRR画像であり、本発明の実施形態によって提案された方法のアルゴリズムの有効性および性能を評価するために、正面DRR画像155dが比較される参照画像である。

【0207】

次に、類似性関数について説明する。(式2)において使用される画像の類似性を評価するために、5つの手段が実装された。U-Netニューラルネットワークを使用したX線画像変換のおかげで、類似性は、2つのDRRのような画像間で計算され、正規化された相互相関(NCC)および差の二乗和(SSD)などの一般的な単峰類似性関数を使用することが可能になる。画像勾配に基づく測定は、正規化された勾配情報(NGI)と、勾配画像において計算されたNCC(NCCGRAD)であった。正規化された相互情報量(NMI)測定も含まれており、8ビットにおいて2値化された画像からジョイントヒストグラムが計算される。

【0208】

次に、脊椎統計形状モデルについて説明する。変形可能モデルは、モデルのポーズに加えてオブジェクトの形状も最適化される場合など、位置合わせが弾性的な場合に使用される。変形技法は、PCAモデルを使用して正則化された幾何学的パラメータのセットによって制御されるメッシュ移動最小二乗(MLS)変形を使用する。オブジェクトの形状を包含する単純化されたパラメトリックモデルの事前定義により、ジオメトリのコンパクトな表現が可能になり、生物医学アプリケーションに使用される主題固有のランドマークと幾何学的プリミティブが直接提供される。

【0209】

主要な変動をキャプチャする、結果として得られるPCAモデルは

【0210】

【数17】

【0211】

の形式の線形生成モデルを提供し、上式で、BはPCAベースであり、

【0212】

【数18】

【0213】

は平均モデルであり、mは変形モードのベクトルである。関数Ψ(p)(式4)を使用したメッシュインスタンスの生成は、パラメータベクトルp={Tx, Ty, Tz, Rx, Ry, Rz, Sx, Sy, Sz, m}を用いて制御され、上式で、

【0214】

【数19】

【0215】

は、X線較正済み3D環境において3Dモデルを正しいポーズに変形およびスケーリングするためのアフィン部分(転換、回転、およびスケーリング)の9つのパラメータと、|m|PCAモードを有する形状ベクトルmで構成される。ベクトルmが与えられると、MLS変形は、計算されてメッシュ頂点を変形するために使用されるパラメータsを処理する。

【0216】

次に、オプティマイザについて説明する。コスト関数(式1)は、2平面PAおよびLAT放射線画像の3D/2D位置合わせを解決するために、次の式(式8)を最小化することによって最適化される。

【0217】

【数20】

【0218】

上式で、φ(I1, I2)は、NGI、NCC、NCCGRAD、NMI、SSDの場合、[0 1]に制限された類似性の尺度であり、コストを定義するために、PAとLATの両方の類似性スコアの合計が計算された。コスト関数(式8)を最小化するために、導関数を使用しない探索(derivative-free exploration)CMA-ESオプティマイザが使用された。各CMA-ES反復は、共分散行列を構築するために、コスト関数を100回評価した。上限/下限を定義することができる。

【0219】

次に、本発明の実施形態によって提案された方法が評価される。2平面X線における椎骨3Dモデルの3D/2D位置合わせのコンテキストにおいて提案された手法を評価するために、3種類の実験が行われた。第1に、3Dモデルに属する解剖学的ランドマークのターゲット位置合わせエラー(TRE)が、GAN変換ステップを使用した場合と使用しない場合の、類似性メトリックの挙動を研究するために報告された。XRAYからDRRへの変換における構造分離の利点を示すために追加のテストが行われ、初期ポーズの影響を受けにくくなった。最後に、脊椎の完全に自動化された3D再構成の精度の結果が表示される。

【0220】

次に、ターゲット位置合わせエラー(TRE)について説明する。この実験では、レベルT1からL5までの17個の椎骨3Dモデルが、以前に再構成されたグラウンドトゥルース3Dモデルに第1に適合された。位置合わせは、6つの自由度を有する剛体変形を解決するように構成されている。各患者の椎骨ごとに、ランダムな変形が3Dモデルに適用された。転換Tx、Ty、Tzの場合、モデルのシフトは、ランダムな統一法を使用して±3mmの範囲で行われた。面内の回転RxおよびRyについては、±5°の範囲が定義され、面外の軸(axial vertebral)の回転Rzについては、±15°が使用された。上限と下限は、オプティマイザにおいてもこれらの値に定義されている。元のX線ターゲットとの位置合わせが収束できるように、ランダムな変形の範囲が制限されている。実際、3D/2D位置合わせは、GANベースのコンバータによってもたらされた改善を定量化するために、DRRGANと元のXRAYターゲットの両方を用いて評価される。中央の椎骨に対応するU-Net出力チャネルは、DRRGAN画像のターゲットとして使用された。TREは、位置合わせ後の解剖学的ランドマークの3D位置エラーの二乗平均平方根エラーとして計算された。位置合わせされた3Dモデルから抽出されたランドマークは、上終板と下終板の中心、および左右の椎弓根の中心であった。合計40(患者)×17(椎骨レベル)×4(ランドマーク)の測定が、各類似性/ターゲットのペアに対して行われた。

【0221】

Table 1(表1)は、ターゲット/類似性のペアごとの定量的TREを表している。

【0222】

【表1】

【0223】

Table 1(表1)は、5つの類似性測定と2つのターゲットのTRE結果を比較し、TRE>2.4mmのランドマークのエラーレートを報告し、コスト関数デルタの平均、すなわち振幅コストΔ=max(costs)-min(costs)と収束の平均反復数を報告し、上式で、停止許容基準は、SSDメトリックの場合は1に固定され、残りのメトリックの場合は0.001に固定された。DRRGANをターゲットとして使用して画像変換のステップが使用されると、TREの結果は、NCC GRADの2.52のより高いエラーを除いて、すべての類似性メトリック、1.99から2.12でほぼ類似している。使用されるターゲットがXRAYである場合、DRR3DM画像はXRAY画像との類似性レベルが限られているため、SSD、NCC、およびNMIメトリックは、位置合わせ結果をドロップする。NMIは、収束の問題を示すコストの準ヌル変動がある。Table 1(表1)に見られるように、NGIとNCCGRADでそれぞれ3.6mmと3.3mmのTREに到達するのは、勾配ベースのメトリックのみである。DRRGANを使用する場合、最適化中の類似性レベルの進化はより重要である。たとえば、NGIメトリックを使用すると、コストの平均デルタは0.05のXRAYと比較して0.29のDRRGANであり、Table 1(表1)に見られるように、GANベースのコンバータを使用すると評価されるコストの感度が低くなることを意味し、収束の改善に役立つ。

【0224】

図12Aは、垂直軸における初期ポーズシフトの関数としてのターゲット位置合わせエラーを示している。このターゲット位置合わせエラー(TRE)は、横軸の垂直軸zに沿った様々な初期ポーズシフトの関数として、縦軸にプロットされる。3つの椎骨構造を含むDRRGAN(1つの画像においてすべてのチャネルが平坦化されている)の場合、エラーの値はしばしば5、10または20さえも超える。このエラーの値は重要であり、このエラーの値にも大きな不確実性がある。DRRGAN単一チャネルの場合、エラーの値は5未満であり、ほとんどの場合2または3を超えない。このエラーの値は小さく、このエラーの値には非常に小さい不確実性もある。これは、隣接する椎骨の不一致を避けるために、構造の分離が非常に重要であることを示している。したがって、本発明の実施形態によって提案される方法のおかげで、椎骨が互いに分離されているため、エラーの値ははるかに小さくなり、はるかによく知られるようになる。

【0225】

図12Bは、椎骨を上方に垂直に移動させた例を示している。椎骨が+10mmの垂直方向上側へずらされている。これは、椎骨がグラウンドトゥルースモデルよりも垂直方向に10mm高いことを意味する。

【0226】

この実験では、L2椎骨のグラウンドトゥルース3Dモデルを、図12Aおよび図12Bの場合に見られるように、近位-遠位方向、すなわちz軸に沿って±30mmの範囲で5mm刻みでシフトし、それによって13の初期ポーズを与えている。次いで、剛体位置合わせは、DRRGANターゲット画像として、中央の椎骨に対応する単一のチャネル、またはすべてのチャネルを平坦化して構成された画像のいずれかを使用して行われ、それによって、上、中、下の椎骨構造が混ざり合っている。使用されたメトリックはSSDであり、上限と下限はTxとTyで±5mm、Tzで±32mm、および回転で±5°に定義された。図12Aは、40人の患者の初期ポーズシフトごとの転換残差のボックスプロットを示している。図12Aに見られるように、位置合わせ後の残差変形は、構造分離のない10mmの絶対シフトの背後に重大なエラーを有している。絶対シフトが10mm未満の場合でも、位置合わせが隣接するレベルL1とL3によって摂動されるため、外れ値が発生する。GANDRR変換された画像を使用すると、対象の構造が分離され、位置合わせプロセスがより広い範囲の初期ポーズをキャプチャし、より正確になる。

【0227】

次に、初期ポーズに対する感度が研究される。脊椎に沿った椎骨などの、周期的なマルチ構造で構成されるシーンにおける単一構造3Dモデルの位置合わせについては、たとえば、自動化された粗い位置合わせに由来する初期モデルのポーズに対する感度が研究され、これは、限界を超えて(behind a limit)、3Dモデルの位置合わせが隣接する構造に誤って収束するリスクがあるためである。

【0228】

次に、椎骨のポーズと形状の精度が調査される。この実験において、脊椎の完全に自動化された3D再構成が評価される。椎骨の3Dモデルの形状とポーズの初期の解決策は、[B.Aubert、C.Vazquez、T.Cresson、S.Parent、およびJ.De Guiseによる「Towards automated 3D Spine reconstruction from biplanar radiographs using CNN for statistical spine model fitting」、IEEE Trans.Med.Imaging、1頁2019年]という論文において説明されているCNNベースの自動化された方法によって提供されている。本方法は、レベルC7からL5について、2平面X線において検出された終板と椎弓根中心を用いて、事前にパーソナライズされた統計的脊椎モデル(SSM)を提供する。これらの取得した3Dモデルを微調整するために、3D/2D位置合わせが弾性モードで適用され、|m|=20PCAモードが±3にバインドされる。位置合わせは、NCCメトリックを使用してレベルごとに個別に行われた。次いで、ローカル3D/2D適合後に最終モデルを取得するために、SSM正則化を更新するために結果として得られる位置合わせされたモデルが使用される。

【0229】

Table 2(表2)は、椎骨の3D/2D位置合わせのための定量的ランドマークTREを表している。

【0230】

【表2】

【0231】

Table 2(表2)に示されるように、終板の中心と角、および椎弓根中心のランドマーク3D位置は、提案された3D/2D位置合わせステップによって改善された。Table 2(表2)に見られるように、最も重要な改良は、細かい3D/2D位置合わせの前後に、それぞれ3mmと2.2mmのTREを用いて椎弓根の中心で観察された。エラー>2.4mmのエラーレートは、椎弓根、終板の中心と角でそれぞれ26.4%、15.4%、および19.1%ドロップした。

【0232】

Table 3(表3)は、椎骨の位置と向きに関する定量的エラーを表している。

【0233】

【表3】

【0234】

椎弓根と終板の中心を使用して、椎骨ごとに軸座標系が定義される。Table 3(表3)に示されるように、各椎骨オブジェクトの3D位置エラーは、位置と方向の一致に対するグラウンドトゥルース3Dモデルの観点から、脊椎セグメントごとに計算される。すべての転換の平均エラーは0.5mm以下であり、この方法の系統的バイアスが低いことを示している。Table 3(表3)に見られるように、標準偏差は、X転換、すなわち側面図における位置、特に胸部レベルでより重要であった。

【0235】

最後に、2平面獲得とCTスキャン画像が同時にあった患者4人のCTスキャン画像から再構成された参照の3Dモデルを使用して、ノードから表面への距離エラーを計算することによって、形状精度が推定された。ボリューム解像度は0.56×0.56×1mmであり、セグメンテーションは3Dスライサソフトウェアを用いて行われた。

【0236】

図13Aは、ノードから表面への統計距離を計算するために使用される解剖学的領域を示している。椎骨164において、後弓165を、椎体および椎弓根を表す構造166と区別することができる。

【0237】

図13Bは、L3椎骨について計算された最大エラーの距離マップを示している。マップ167の異なる色のゾーンによって通常表されるマップ167の異なる領域は、0.0mmから6.0mm(上から下へ)の範囲の異なる値に対応し、中間値はマップ167の右側に表されているスケール168上の3.0mmにある。

【0238】

Table 4(表4)は、CTスキャンモデルに対する形状精度の結果を表している。

【0239】

【表4】

【0240】

オブジェクトは厳密に整列され、ノードから表面への距離が計算された。モデルのメッシュ密度、すなわちノード数がTable 4(表4)において指定されている。Table 4(表4)に示されるように、図13Aに表されるような椎骨164全体のメッシュ、または後弓165のメッシュ、または椎体および椎弓根を包含する構造166のメッシュである異なる解剖学的領域について、エラー統計が報告される。Table 4(表4)に見られるように、平均エラーは1.1mmから1.2mmの範囲であった。図13Bに表されるエラー距離マップ167によれば、エラー最大値は後弓領域165に局在している。

【0241】

本発明の実施形態によって提案される方法は、両方の画像が異なるドメイン、X線、およびDRRに属する堅牢なデュアル画像マッチングを有するために、また様々な環境および構造の数で表示されるために、強度ベースの3D/2D位置合わせプロセスにおいてターゲット画像の画像から画像への変換の前のステップを追加する。第1の利点として、XRAYからDRRへのコンバータは、Table 1(表1)に見られるように、ターゲット画像を様々な画像の同じドメインに移動することによって、2つの画像間の類似性のレベルを向上させる。変換ステップは、類似性メトリックの選択への依存を減らし、Table 1(表1)に見られるように、単純化されたDRR生成を使用するだけでなく、共通の単峰メトリックを使用することさえ可能にする。従来の実験的手法は、メトリックのセットよりも優れたメトリックを選択することで構成されていたため、これは興味深い特性である。しかしながら、これらのメトリックのうちのいくつかは、特定のケースに大きく依存して、良い結果または悪い結果をもたらすため、これはしばしばトレードオフをもたらした。

【0242】

第2の利点として、図13Aに見られるように、コンバータ出力において関心構造を選択することによって、隣接する重なった構造との間の不一致が回避される。実際、オブジェクトごとに局所的DRRを生成するために、構造は元の3Dボリュームにおいて直接分離され、各DRRはXRAYからDRRへのコンバータのマルチチャネル出力画像における個別の層に割り当てられた。引用された従来技術である米国特許出願公開第2019/0259153号において、XRAYからDRRへのコンバータを使用した以前の研究は、各臓器のセグメンテーションマスクの回復を可能にするグローバルDRRのみを生成したが、オブジェクトごとの局所的DRRの生成は可能ではなかった。

【0243】

2平面放射線画像から脊椎の全自動3D再構成に適用されると、Table 2(表2)およびTable 3(表3)に見られるように、初期化に使用されるCNNベースの自動化された方法と比較して、改良の追加された3D/2D位置合わせステップにより、オブジェクトのローカリゼーションと形状の両方が改善される。ランドマークの3Dローカリゼーションの平均エラーは2±1mmであり、椎弓根検出のためのCNNベースの変位回帰法によって検出された2.7±1.7mmよりも優れているか、3D/2Dマルコフ確率場を使用した非線形脊椎モデルフィットによって検出された2.3±1.2よりも優れている。「疑似(quasi)」自動3D再構成法と比較すると、両方のビューで両方の脊椎曲線をユーザが入力し、モデルが2平面X線上で適合された後に手動で厳密に調整する必要があり、本発明の実施形態によって提案された3D/2D位置合わせアルゴリズムは、より重度の脊柱側弯症を有する集団のすべてのポーズパラメータに対してより良い結果を達成した。

【0244】

臨床ルーチンにおいて脊椎3D再構成を実行するために使用される、SterEOS(登録商標)ソフトウェアに統合された参照方法は、再構成されたオブジェクトに対するCTスキャンから得られたグラウンドトゥルースオブジェクトの形状精度を研究した。より正確に言うと、本方法は、X線情報に投影された椎骨の輪郭を適合させるために、時間のかかる手動の弾性3D/2D位置合わせ(10分以上)が必要である。本明細書で提案される、1分未満の計算時間しかかからない自動化されたローカル適合ステップは、オペレータへの依存を有利に抑制し、いくつかの以前の研究における0.9±2.2および1.2±3mmと比較して、(平均±2SD)椎体および椎弓根領域で0.9±2.2、後弓領域で1.3±3.2など、同様の精度結果が得られた。

【0245】

実際のX線の代わりにこれらの結果として得られる生成された画像を採用することにより、構造の不一致のない堅牢な単峰画像対応が可能になる。2平面X線からの椎骨3Dモデルを調整することを目的とした3D/2D非剛体位置合わせプロセスに統合されたこの解決策は、以前に見られたように、精度結果を向上させる。

【0246】

次に、以前の画像から画像への転換を使用することによってもたらされた改善を示すために、いくつかの他の結果を含み、両方とも、より良い類似値(図14A-図14B-図14C-図14D-図15)と解剖学的構造の不一致の防止に関するものである(図16)。

【0247】

図14Aは、実際のX線画像と比較した、GAN DRRを使用するPAビューおよびLATビューのコスト値を示している。コスト値は、横軸の反復回数の関数として縦軸に表される。曲線171は、X線画像に対してより高いコスト関数を示し、曲線172は、GAN DRR画像に対してより低い、したがってより良いコスト関数を示している。

【0248】

図14Bは、実際のX線画像と比較した、GAN DRRを使用するPAビューおよびLATビューの類似値を示している。類似値は、横軸の反復回数の関数として縦軸に表される。正面図の場合、曲線173はX線画像の類似性関数が低いことを示し、曲線175はGAN DRR画像の類似性関数が高く、したがってより良好であることを示す。側面図の場合、曲線174はX線画像の類似性関数が低いことを示し、曲線176はGAN DRR画像の類似性関数が高く、したがってより良好であることを示す。NGI(正規化された勾配情報)メトリックの類似値は、実際のX線画像を使用する場合よりも、生成されたDRR GANを使用する場合により高い値に達する。

【0249】

図14Cは、実際のX線画像を使用した図14Dと比較して、GANによって生成されたDRRを使用した場合に、位置合わせの結果に見られるより良い適合を示している。実際、図14Cにおいて、左部分が正面図を表し、生成された画像181と第1にDRRドメインにおいて変換されたターゲット画像180との間の適合は、図14Dにおける、左部分が正面図を表す、生成された画像185とX線ドメインにおいて保持されたターゲット画像184との間の適合よりも良好である。また、図14Cにおいて、右部分が側面図を表し、生成された画像183と第1にDRRドメインにおいて変換されたターゲット画像182との間の適合は、図14Dにおける、右部分が側面図を表す、生成された画像187とX線ドメインにおいて保持されたターゲット画像186との間の適合よりも良好である。

【0250】

図15は、図14Bと同様に、GNCC(勾配正規化相互相関)メトリックによる同様の結果を示している。正面図の場合、GAN DRRを使用した曲線190は、GAN DRRを使用しない曲線188よりも高く、良好な類似性を示している。側面図の場合、GAN DRRを使用した曲線191は、GAN DRRを使用しない曲線189よりも高く、より良い類似性を示している。

【0251】

図16は、Z方向(垂直画像方向)におけるターゲット位置合わせエラー(TRE)試験の結果を示している。A部分において、縦軸mmで表された様々な位置合わせエラーが、横軸にもmmで表された垂直転換シフトの関数としてプロットされている。NGI DRR曲線194は、NGI X線マスク曲線192よりもはるかに低いエラーを示し、NGI X線マスク曲線192は、NGI X線曲線193よりも低いエラーを示す。B部分において、点196と脊椎構造195との間の相対的な位置によって、-10mmからのZ転換シフトが示されている。C部分において、点198と脊椎構造197との間の相対的な位置によってニュートラル転換が示されている。D部分において、点200と脊椎構造199との間の相対的な位置によって、10mmからのZ転換シフトが示されている。

【0252】

TREテストの目的は、3Dモデルを知られている理論上の変形を用いて変形し、次いで、理論上の変形と復元された変形との間の位置合わせの残留エラーを分析することであった。生成されたGAN DRRを使用すると、初期位置にあまり依存しないことがわかる。また、ターゲット位置合わせエラー(TRE)は、±4mmのZシフト後に大幅に増加することがわかり、これは、生成されたGAN DRR画像が使用されない場合に発生する隣接物(椎体終板)間の重要な構造の不一致を示しており、図16のA部分の曲線192および193に対応する。

【0253】

本発明は、好ましい実施形態を参照して説明されてきた。しかしながら、本発明の範囲内で多くの変形が可能である。

【符号の説明】

【0254】

1 DRR X線源
2 3Dボリューム
3 第1の臓器
4 第2の臓器
5 グローバルDRR
6 DRR画像信号
6 画像領域
7 DRR画像信号
7 画像領域
8 交差ゾーン
12 第1のラベル画像
12 第1のバイナリマスク
13 第2のラベル画像
13 第2のバイナリマスク
14 第1のトレース
14 セグメンテーション
15 第2のトレース
15 セグメンテーション
16 X線画像
17 GAN
18 DI2I CNN
20 3Dボリューム
21 第1の臓器
22 第2の臓器
23 局所的DRR
25 局所的DRR
27 GAN
30 脊椎
31 椎骨
40 3Dモデル
41 第1の正面X線源
42 第2の側面X線源
43 平面X線画像
44 平面X線画像
45 脊椎
46 脊椎
47 椎骨
48 椎骨
50 3Dモデル
51 平面DRR変換画像
52 平面DRR変換画像
53 椎骨
54 椎骨
55 正面投影
56 側面投影
60 フローチャート
61 正面X線画像
62 GAN
63 正面DRR画像
64 側面X線画像
65 GAN
66 側面DRR画像
67 初期3Dモデル
68 初期DRR重ね合わせ
69 反復最適化
74 位置合わせされた3Dモデル
75 DRR重ね合わせ
80 トレーニングデータベース
81 2平面X線画像のセット
81 X線2平面画像
81 2平面X線画像のセット
82 椎骨の3D再構成モデル
86 2平面DRR
87 学習データ
88 X線パッチのセット
89 DRRパッチのセット
91 パラメータ
100 反復最適化ループ
100 反復位置合わせプロセス
101 初期化プロセス
102 ターゲット生成プロセス
102 DRR画像
103 自動化されたグローバルフィットの動作
104 ROI抽出および再サンプリングのステップ
105 X線パッチのセット
106 U-Netコンバータを使用するDRR推論のステップ
107 予測DRRパッチのセット
112 統計形状モデル(SSM)
113 椎骨変形モデル
114 2平面X線画像のセット
115 3Dモデルの第1の推定値
116 初期パラメータ
117 パラメータ
119 最適化されたパラメータ
120 メッシュ表面
120 メッシュ
121 皮質の厚さti
122 法線ベクトルNi
124 マップ
124 皮質の厚さマップ
125 スケール
126 X線源
127 椎骨
128 DRR画像
129 ピクセル
130 U-Netジェネレータ
131 スライスまたは動作
132 スライスまたは動作
133 スライスまたは動作
134 スライスまたは動作
135 スライスまたは動作
136 水平線
137 スライスまたは動作
138 損失関数
139 損失関数
140 弁別器
140 CNN弁別器
141 敵対的スイッチの部分
142 敵対的スイッチの部分
143 XRAYパッチ
144 DRR画像
145 グラウンドトゥルースDRR画像
146 チャネル
146 椎骨DRR
146 画像
147 チャネル
147 椎骨DRR
147 画像
148 チャネル
148 椎骨DRR
148 画像
157 円形の金属部品
158 金属製のネジ
164 椎骨
165 後弓
166 椎体および椎弓根を包含する構造
167 エラー距離マップ
168 スケール
171 曲線
172 曲線
173 曲線
174 曲線
175 曲線
176 曲線
180 ターゲット画像
181 生成された画像
182 ターゲット画像
183 生成された画像
184 ターゲット画像
185 生成された画像
186 ターゲット画像
187 生成された画像
188 曲線
189 曲線
190 曲線
191 曲線
192 NGI X線マスク曲線
193 NGI X線曲線
194 NGI DRR曲線
195 脊椎構造
196 点

【図1A】

【図1B】

【図1C】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11A】

【図11B】

【図12A】

【図12B】

【図13A】

【図13B】

【図14A】

【図14B】

【図14C】

【図14D】

【図15】

【図16】

【国際調査報告】