特表 2024-531157 組織状態グラフィックディスプレイシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-29

(54)【発明の名称】組織状態グラフィックディスプレイシステム

(51)【国際特許分類】

   A61B 6/03 20060101AFI20240822BHJP

   G01T 1/161 20060101ALI20240822BHJP

   A61B 6/50 20240101ALI20240822BHJP

【ＦＩ】

A61B6/03 560G

A61B6/03 560T

G01T1/161 D

A61B6/03 577

A61B6/50 500B

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024508041

(86)(22)【出願日】2022-08-05

(85)【翻訳文提出日】2024-04-08

(86)【国際出願番号】 US2022039627

(87)【国際公開番号】W WO2023018626

(87)【国際公開日】2023-02-16

(31)【優先権主張番号】63/231,022

(32)【優先日】2021-08-09

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】520414837

【氏名又は名称】ベクトル メディカル インコーポレイテッド

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100141553

【弁理士】

【氏名又は名称】鈴木 信彦

(74)【代理人】

【識別番号】100151987

【弁理士】

【氏名又は名称】谷口 信行

(72)【発明者】

【氏名】ヴィロンコ クリストファー ジェイ ティー

(72)【発明者】

【氏名】ジェロネムス アダム アール

(72)【発明者】

【氏名】クルメン ロバート ジョセフ

【テーマコード（参考）】

4C093

4C188

【Ｆターム（参考）】

4C093AA22

4C093AA26

4C093CA23

4C093DA02

4C093FA35

4C093FF16

4C093FF17

4C093FF28

4C093FF35

4C093FF42

4C093FG01

4C093FG12

4C093FG13

4C093FG15

4C188EE02

4C188FF07

(57)【要約】

組織の状態を示すために心臓の３次元（３Ｄ）モデルを増強するシステムが提供される。本システムは、心臓の３Ｄモデルにアクセスし、心臓の組織状態のスライスの２次元（２Ｄ）画像にアクセスし、不整脈の発生部位情報にアクセスする。システムは、発生部位情報に基づいて発生部位の表示を用いて３Ｄモデルを増強する。心臓の複数の組織状態スライスの各々について、システムは、当該組織状態スライスの組織状態情報によって表される心臓の組織状態の表示を用いて当該組織状態スライスに対応する３Ｄモデルのスライスを増強する。その後、システムは、不整脈の発生部位及び心臓の組織状態を示す３Ｄモデルの表現を表示する。
【選択図】図１

【特許請求の範囲】

【請求項1】

組織状態を示すために心臓の３次元（３Ｄ）モデルを増強する１又は２以上のコンピュータシステムによって実行される方法であって、
心臓の３Ｄモデルにアクセスするステップと、
前記心臓の組織状態スライスの２次元（２Ｄ）画像にアクセスするステップであって、前記組織状態スライスが心前記心臓の組織状態情報を有する、ステップと、
不整脈の発生部位情報にアクセスするステップと、
前記発生部位情報に基づいて、発生部位の表示を用いて前記３Ｄモデルを増強するステップと、
前記心臓の複数の組織状態スライスの各々について、当該組織状態スライスの組織状態情報によって表される前記心臓の組織状態の表示を用いて、前記当該組織状態スライスに対応する前記３Ｄモデルの３Ｄモデルスライスを増強するステップと、
前記不整脈の発生部位及び前記心臓の組織状態を示す前記３Ｄモデルの表現を表示するステップと、
を含む、方法。

【請求項2】

表示される前記３Ｄモデルの表現が３Ｄグラフィックである、請求項１に記載の方法。

【請求項3】

表示される３Ｄモデルの表現が３Ｄモデルのスライスである、請求項１に記載の方法。

【請求項4】

前記３Ｄモデルが、前記３Ｄモデルの心臓壁の層の複数の３Ｄモデルサブレイヤーを含み、前記３Ｄモデルの増強が、前記発生部位情報により表される前記発生部位の表示を用いて前記複数の３Ｄモデルサブレイヤーを増強し、前記３Ｄモデルスライスの増強が、組織状態情報により表される組織状態の表示を用いて前記複数の３Ｄモデルサブレイヤーを増強する、請求項１に記載の方法。

【請求項5】

前記層が、心臓壁の心内膜、心筋、又は心外膜である、請求項４に記載の方法。

【請求項6】

３Ｄモデルサブレイヤーの選択を受け取るステップを更に含み、前記３Ｄモデルの表現が、前記選択された３Ｄモデルサブレイヤーの発生部位及び組織状態を示す３Ｄグラフィックである、請求項４に記載の方法。

【請求項7】

前記３Ｄモデルサブレイヤーの増強は、前記サブレイヤーが選択される際に動的に実行される、請求項４に記載の方法。

【請求項8】

前記２Ｄ画像が、前記心臓のセスタミビスキャンから得られる、請求項１に記載の方法。

【請求項9】

前記２Ｄ画像が、前記心臓の陽電子放出断層撮影スキャンから得られる、請求項１に記載の方法。

【請求項10】

前記２Ｄ画像が、前記心臓の心エコー検査スキャンから得られる、請求項１に記載の方法。

【請求項11】

前記２Ｄ画像が、前記心臓のコンピュータ断層撮影スキャンから得られる、請求項１に記載の方法。

【請求項12】

前記２Ｄ画像が、前記心臓の電圧マップから得られる、請求項１に記載の方法。

【請求項13】

前記２Ｄ画像が、前記心臓の磁気共鳴イメージングスキャンから得られる、請求項１に記載の方法。

【請求項14】

前記２Ｄ画像が、前記心臓のスキャンの３Ｄ画像のスライスである、請求項１に記載の方法。

【請求項15】

前記２Ｄスライスの組織状態が、前記心臓内の心臓灌流を示すスキャンに基づく、請求項１に記載の方法。

【請求項16】

前記２Ｄスライスの組織状態が、前記心臓の心臓壁の動きを示すスキャンに基づく、請求項１に記載の方法。

【請求項17】

前記組織状態が、正常組織、境界領域組織及び瘢痕組織を示す、請求項１に記載の方法。

【請求項18】

前記組織状態が、前記心臓の電気的、代謝的及び／又は灌流活動に基づく、請求項１に記載の方法。

【請求項19】

前記心臓の４次元（４Ｄ）モデルの複数の３Ｄモデルの各々について、前記心臓の発生部位及び組織状態を示すために当該前記３Ｄモデルを増強するステップを更に含む、請求項１に記載の方法。

【請求項20】

前記４Ｄモデルが、前記心臓の心臓壁の動きを表す、請求項１９に記載の方法。

【請求項21】

前記発生部位情報にアクセスするステップは、心電図にアクセスするステップと、心電図を発生部位情報に各々対応付けるマッピングに基づいて発生部位情報を特定するステップとを含む、請求項１に記載の方法。

【請求項22】

前記３Ｄモデルは、２Ｄ画像を３Ｄ画像に対応付けるマッピングに基づいて、前記心臓の２Ｄ画像から生成される、請求項１に記載の方法。

【請求項23】

前記３Ｄモデルが、前記心臓の解剖学的マッピングに基づいて生成される、請求項１に記載の方法。

【請求項24】

前記３Ｄモデルが、前記心臓のスキャンに基づいて生成される、請求項１に記載の方法。

【請求項25】

３Ｄモデルスライスグラフィックを表示するステップを更に含み、前記３Ｄモデルスライスグラフィックが、前記当該３Ｄモデルスライスの発生部位及び組織状態の表示を含む、請求項１に記載の方法。

【請求項26】

前記３Ｄモデルの増強は、異なる色を用いて異なる組織状態を示す、請求項１に記載の方法。

【請求項27】

臓器の組織状態を示すために臓器の３次元（３Ｄ）モデルを増強するための１又は２以上のコンピュータシステムであって、
１又は２以上のコンピュータ可読記憶媒体を備え、
前記１又は２以上のコンピュータ可読記憶媒体は、
前記臓器の異常に関する発生部位の表示を含む前記臓器のモデルと、
前記臓器のスキャンに基づく、前記臓器の組織状態の組織状態表現と、
コンピュータ実行可能命令と、
を格納し、
前記コンピュータ実行可能命令は、
前記組織状態表現に基づく前記臓器の前記組織状態を用いて前記モデルを増強し、
前記臓器の発生部位及び組織状態を示すモデルの表現を出力する、
ように前記１又は２以上のコンピュータシステムを制御するためのものであって、
前記１又は２以上のコンピュータシステムが更に、
前記１又は２以上のコンピュータ実行可能命令を実行するように前記１又は２以上のコンピュータシステムを制御するための１又は２以上のプロセッサを備える、１又は２以上のコンピュータシステム。

【請求項28】

第１のコンピュータシステムが、増強するための前記命令を格納し、第２のコンピュータシステムが、出力するための前記命令を格納する、請求項２７に記載の１又は２以上のコンピュータシステム。

【請求項29】

前記第１のコンピュータシステムが、前記組織状態表現を受け取り、前記組織状態表現を前記第２のコンピュータシステムに提供し、前記第２のコンピュータシステムから前記出力表現を受け取り、前記出力表現を表示する命令を含む、請求項２８に記載の１又は２以上のコンピュータシステム。

【請求項30】

前記第２のコンピュータシステムが、クラウドベースのシステムである、請求項２９に記載の１又は２以上のコンピュータシステム。

【請求項31】

前記臓器が、心臓、脳、消化器官、肺、肝臓、腎臓、胃、及び筋肉からなる群から選択される、請求項２７に記載の１又は２以上のコンピュータシステム。

【請求項32】

前記スキャンが、非侵襲的スキャンである、請求項２７に記載の１又は２以上のコンピュータシステム。

【請求項33】

心臓のリエントリー回路の特性を特定するためのリエントリー機械学習（ＲＭＬ）モデルを生成する１又は２以上のコンピュータシステムであって、
１又は２以上のコンピュータ可読記憶媒体を備え、
前記１又は２以上のコンピュータ可読記憶媒体が、
前記リエントリー回路の特性の記述を含むトレーニングデータにアクセスするように前記１又は２以上のコンピュータシステムを制御するコンピュータ実行可能命令と、
各記述に対して、
前記記述から１又は２以上の特徴を抽出するコンピュータ実行可能命令と、
前記記述から１又は２以上のラベルを抽出するコンピュータ実行可能命令と
前記１又は２以上の特徴に前記１又は２以上のラベルをラベル付けするコンピュータ実行可能命令と、
前記ラベル付けされた特徴を使用して前記ＲＭＬモデルをトレーニングするコンピュータ実行可能命令と、
を格納し、
前記１又は２以上のコンピュータシステムが更に、
１又は２以上の前記コンピュータ実行可能命令を実行するように前記１又は２以上のコンピュータシステムを制御するための１又は２以上のプロセッサを備える、１又は２以上のコンピュータシステム。

【請求項34】

前記１又は２以上の特徴が、リエントリー回路の組織状態情報を含み、前記１又は２以上のラベルが出口部位を含む、請求項３３に記載の１又は２以上のコンピュータシステム。

【請求項35】

前記特徴が、瘢痕組織の領域の画像である、請求項３３に記載の１又は２以上のコンピュータシステム。

【請求項36】

心臓のリエントリー回路の出口部位を特定するための１又は２以上のコンピュータシステムであって、
１又は２以上のコンピュータ可読記憶媒体を備え、
前記１又は２以上のコンピュータ可読記憶媒体が、
被験者のリエントリー回路の瘢痕組織特性にアクセスし、
前記リエントリー回路の出口部位を特定するためのリエントリー機械学習（ＲＭＬ）モデルにアクセスし、前記ＲＭＬモデルが、複数のリエントリー回路の各々について、前記当該リエントリー回路の出口部位に関連する情報でラベル付けされた、前記当該リエントリー回路の瘢痕組織に関連する情報を含むトレーニングデータを使用してトレーニングされるようにし、
前記被験者の瘢痕組織特性に前記ＲＭＬモデルを適用して、前記リエントリー回路の出口部位に関連する被験者情報を特定し、
前記特定された被験者情報の表示を出力する、
ように前記１又は２以上のコンピュータシステムを制御するためのコンピュータ実行可能命令を格納し、
前記１又は２以上のコンピュータシステムが更に、
前記１又は２以上のコンピュータ実行可能命令を実行するように前記１又は２以上のコンピュータシステムを制御するための１又は２以上のプロセッサを備える、１又は２以上のコンピュータシステム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願に対する相互参照）
本出願は、２０２１年８月９日に出願された米国特許出願第６３／２３１，０２２号に対する優先権の利益を主張するものであり、その全体が引用により本明細書に組み込まれる。

【背景技術】

【0002】

多くの心臓疾患は、自覚症状、病的状態（例えば、失神又は脳卒中）及び死亡状態を引き起こす可能性がある。不整脈によって引き起こされる一般的な心臓疾患には、不適切洞頻脈（ＩＳＴ）、異所性心房調律、接合部調律、心室補充調律、心房細動（ＡＦ）、心室細動（ＶＦ）、局所性心房頻拍（局所性ＡＴ）、心房マイクロリエントリー、心室頻拍（ＶＴ）、心房粗動（ＡＦＬ）、心室性期外収縮（ＰＶＣ）、心房期外収縮（ＰＡＣ）、房室結節リエントリー性頻拍（ＡＶＮＲＴ）、房室リエントリー性頻拍（ＡＶＲＴ）、永久接合部往復性頻拍（ＰＪＲＴ）、及び接合部頻拍（ＪＴ）が挙げられる。不整脈の発生源には、電気的ロータ（例えば、ＶＦ）、反復性の電気的焦点発生源（例えば、ＡＴ）、解剖学ベースのリエントリー（例えば、ＶＴ）等を含むことができる。これらの発生源は持続的又は臨床的に有意な発現の重要な要因である。不整脈は、心臓疾患の発生源を標的とすることにより、高周波エネルギーアブレーション、冷凍アブレーション、超音波アブレーション、レーザーアブレーション、外部放射線源、指向性遺伝子治療などを含む様々な技術を用いたアブレーションによって治療することができる。心臓疾患の発生源及び発生部位は患者毎に異なるので、一般的な心臓疾患であっても、標的治療には、不整脈の発生源を特定する必要がある。

【0003】

残念ながら、心臓疾患の発生源及び発生部位を確実に特定するための従来の方法は、複雑で、面倒で、高価である可能性がある。例えば、ある方法では、心臓（例えば左心室）に経脈管的に挿入される多電極バスケットカテーテルを有する電気生理学的カテーテルを用いて、誘発されたＶＦ発現中等の心臓の電気的活動の測定値を収集する。次いで、この測定値を分析して、発生部位の特定に役立てることができる。現在のところ、電気生理学的カテーテルは高価であり（一般に単回の使用に限られる）、心穿孔及びタンポナーデを含む、重篤な合併症を引き起こす可能性がある。別の方法は、電極を備えた外側体表面ベストを使用して、患者の体表面から測定値を収集するものであり、それを分析して不整脈発生部位を特定するのに役立つ。このような体表面ベストは高価で、製造が複雑で困難であり、不整脈中の測定値を収集するためにＶＦを誘発した後に必要とされる除細動器パッドの配置を妨害する可能性がある。更に、このベストの分析には、コンピュータ断層撮影（ＣＴ）スキャンが必要であり、体表面ベストは、不整脈源の約２０％が発生する可能性のある心室間中隔及び心房間中隔を感知することができない。

【0004】

患者から採取した心臓組織の状態を知ることは、患者の心機能を評価する上で有用である。心臓組織の状態を正常又は異常に分類するために、様々な手法が用いられてきた。心臓組織の異常は、境界領域組織又は瘢痕組織を示すことができる。幾つかの技術は、心臓組織を通しての灌流、心臓壁の動き、電気的活動及びその他に基づいて心臓組織の状態を決定するのをサポートしている。心臓組織の状態は、その機能が正常又は異常である心臓の領域を特定するために使用することができるが、心臓組織の状態は、それ自体では、通常、不整脈の正確な発生源の部位を決定するために使用することはできない。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】米国特許第１０，８６０，７５４号明細書

【特許文献2】米国特許第１０，９５２，７９４号明細書

【特許文献3】米国特許第１１，２５９，８７１号明細書

【非特許文献】

【0006】

【非特許文献1】Ｚｈｅｎｌｉａｎｇ Ｈｅ、Ｗａｎｇｍｅｎｇ Ｚｕｏ、Ｍｅｉｎａ Ｋａｎ、Ｓｈｉｇｕａｎｇ Ｓｈａｎ、及びＸｉｌｉｎ Ｃｈｅｎ、「ＡｔｔＧＡＮ： Ｆａｃｉａｌ Ａｔｔｒｉｂｕｔｅ Ｅｄｉｔｉｎｇ ｂｙ Ｏｎｌｙ Ｃｈａｎｇｉｎｇ Ｗｈａｔ Ｙｏｕ Ｗａｎｔ」ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２０１８

【非特許文献2】Ｉａｎ Ｇｏｏｄｆｅｌｌｏｗ， Ｊｅａｎ Ｐｏｕｇｅｔ－Ａｂａｄｉｅ， Ｍｅｈｄｉ Ｍｉｒｚａ， Ｂｉｎｇ Ｘｕ， Ｄａｖｉｄ Ｗａｒｄｅ－Ｆａｒｌｅｙ， Ｓｈｅｒｊｉｌ Ｏｚａｉｒ， Ａａｒｏｎ Ｃｏｕｒｖｉｌｌｅ， ａｎｄ Ｙｏｓｈｕａ Ｂｅｎｇｉｏ，「Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｓ」，Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ，ｐｐ．２６７２－２６８０，２０１４

【0007】

本特許又は特許出願ファイルは、少なくとも１つのカラー実行図面を含む。カラー図面を含む本特許又は特許出願公開明細書のコピーは、請求し必要な手数料を支払うと、米国特許商標庁から提供される。

【図面の簡単な説明】

【0008】

【図1】組織の状態を示す心臓の３Ｄグラフィックを示す図である。

【図2】左心室の領域内の灌流量を示すセスタミビ画像を示す図である。

【図3】異なる組織状態を表す画像を示す図である。

【図4】心エコー像である。

【図5】正常な血流及び著しく制限された血流を有する心臓動脈を示す図である。

【図6】電圧マップを示す図である。

【図7】心房のＭＲＩ画像を示す図である。

【図8】左心室のスライスを表すＭＲＩ画像を示す図である。

【図9】例示的なリエントリー回路の２Ｄ図を提供する概略図である。

【図10】幾つかの実施形態におけるＴＳＧＤシステムの全体的な処理を示すフロー図である。

【図11】幾つかの実施形態におけるＴＳＧＤシステム及びＲＭＬシステムの構成要素を示すブロック図である。

【図12】幾つかの実施形態におけるＴＳＧＤシステムの転写組織状態構成要素の処理を示すフロー図である。

【図13】幾つかの実施形態におけるＴＳＧＤシステムの追加発生部位構成要素の処理を示すフロー図である。

【図14】幾つかの実施形態におけるＴＳＧＤシステムの表示３Ｄグラフィック構成要素の処理を示すフロー図である。

【図15】幾つかの実施形態におけるＲＭＬシステムの生成ＲＭＬモデルの処理を示すフロー図である。

【発明を実施するための形態】

【0009】

被験者内の臓器の組織の組織状態（正常又は異常）の領域を示すグラフィックを表示し、臓器の異常な電気的活動の発生源の発生部位を示す方法及びシステムが提供される。被験者は、ヒト又は動物とすることができ、臓器は、例えば、心臓、脳、消化器、肺、肝臓、腎臓、胃又は骨格筋とすることができ、その活動は、好ましくは、非侵襲的に（例えば、被験者の体外から）又は最小の侵襲性で測定することができる。組織状態はまた、電気、代謝、運動又は灌流など、正常から異常までの臓器の活動を表すことができる。組織状態はまた、臓器壁の厚さなどの他の特徴によって表すこともできる。組織状態は、例えば、正常から電気的活動なし、正常から代謝活動なし、正常から灌流なし、正常から制限された動き、及び正常から最小の壁厚の範囲にある、正常組織、境界領域組織、及び瘢痕組織として分類することができる。組織状態は、被験者の臓器（被験者の臓器）のスキャン又は他の測定値から導き出すことができる。スキャンには、例えば、セスタミビ、陽電子放出断層撮影（ＰＥＴ）、エコー、コンピュータ断層撮影、電圧マッピング、及び磁気共鳴イメージング（ＭＲＩ）スキャンの１又は２以上を含むことができる。以下では、組織状態グラフィック表示（ＴＳＧＤ）システムを、主に心臓である臓器の文脈で説明する。心臓について以下に説明するＴＳＧＤシステムの方法及びシステムは、他の臓器のグラフィックを提供するために採用することができる。グラフィックは、２次元（２Ｄ）、３次元（３Ｄ）、又は４次元（４Ｄ）表現などの心臓の多次元表現を提供し、組織の状態及び異常な電気的活動（例えば、不整脈）の発生部位を視覚的に示す。用語「患者心臓」は、患者心臓全体又は左心房又は右心室等の患者心臓の一部を指すために使用される。

【0010】

上述したように、電気的組織状態は、正常組織、境界域組織、又は瘢痕組織に分類することができ、後者の２つは異常組織状態である。境界域組織は正常組織と瘢痕組織の中間の組織であり、正常組織と瘢痕組織の中間の活動を示す。異常組織は多くの場合、発生部位で細胞によって開始される異常な電気的活動の発生源を含む。このような異常な電気的活動を防止するために、電気生理学者（ＥＰ）は、発生部位付近の細胞を標的とし、場合によっては境界領域及び瘢痕組織全ての細胞を標的とするアブレーション処置を行うことができる。発生部位（又は発生源領域）を特定するための非侵襲的な技術の１つが、２０２０年１２月１８日に発行され、名称がＣａｌｉｂｒａｔｉｏｎ ｏｆ Ｓｉｍｕｌａｔｅｄ Ｃａｒｄｉｏｇｒａｍｓ」の米国特許第１０，８６０，７５４号明細書に記載されており、引用により本明細書に組み込まれる。

【0011】

幾つかの実施形態では、ＴＳＧＤシステムは、正常から異常までの範囲の組織状態の領域及び患者（被験者）の不整脈の発生部位に関する情報を提供するグラフィックを表示する。ＥＰは、アブレーションの標的を決定するためにペーシングを開始するカテーテルを最初に配置する場所を決定する等、患者の治療方針を策定するのを支援するために情報を使用することができる。グラフィックは、一般的な形状又は患者固有の形状に基づく形状を有することができる。患者の心臓の形状は、（例えば、心エコー検査、ＣＴ、及び解剖学的マッピングを介して）患者から収集した測定値に基づいて決定することができ、これは、異なる心臓幾何形状を用いたシミュレーションに基づいて特定される（例えば、２０２１年３月２３日に発行され、名称が「Ａｕｇｍｅｎｔａｔｉｏｎ ｏｆ Ｉｍａｇｅｓ ｗｉｔｈ Ｓｏｕｒｃｅ Ｌｏｃａｔｉｏｎ」である、米国特許第１０，９５２，７９４号明細書に記載されており、引用により本明細書に組み込まれる）。異なる組織状態は、正常な灌流の青色から灌流がない赤色までの色の範囲など、異なる色によって表すことができる。ＴＳＧＤシステムはまた、発生部位の表示をグラフィックに追加し、これは発生部位が各輪郭内にある確率を表す輪郭として例示することができ、中央の輪郭は、最も高い可能性を表している。確率はまた、組織状態に使用される色とは異なる色で表すことができる。図１は、正常組織１０１、境界領域組織１０２、及び瘢痕組織１０３がそれぞれ黒、灰色、及び赤で図示された３Ｄグラフィックを示している。発生部位１０４は等高線で図示されている。（注：図面がカラーで利用できない場合、色はグレースケールの様々な強度で表される）

【0012】

ＴＳＧＤシステムは、患者の心臓のスキャンから組織の状態（例えば、灌流のレベル）を特定する。スキャンは通常、心臓のスライスを表す２Ｄ画像を生成する。各２Ｄ画像は、２Ｄ画像によって表される患者の心臓の部分の組織状態を示す色を含むことができる。組織状態は、代替的に、画像の各ピクセルの組織状態の色又は他の識別子を含むメタデータなど、２Ｄ画像に関連するメタデータで識別されてもよい。メタデータはまた、心臓壁の向き及び部位など、スライスが表す患者の心臓の一部を示すことができる。各２Ｄ画像について、ＴＳＧＤシステムは、その２Ｄ画像を、心臓幾何形状を表し発生部位の表示を含む心臓の３Ｄモデルの対応する３Ｄモデルスライスにマッピングする。次に、ＴＳＧＤシステムは、その３Ｄモデルスライスに（直接又はメタデータを介して）２Ｄ画像によって表される組織状態の指定を追加する。３Ｄモデルはまた、心臓壁の層の異なるサブレイヤーを表すことができる。心臓の層は、心内膜、心筋、及び心外膜を含む。心筋は、例えば、心筋の厚さにまたがる１６のサブレイヤーを有することができる。３Ｄモデルに基づいて３Ｄグラフィックが生成されると、選択されたサブレイヤーの組織状態を表示することができる。表示のために異なるサブレイヤーが選択されると（例えば、ユーザによって）、ＥＰは、サブレイヤーを分析して組織状態及び発生部位の全範囲（体積）を評価することができる。更に、ＴＳＧＤシステムはまた、３Ｄモデルのスライスを表す２Ｄグラフィックを表示することができる。このような２Ｄグラフィックは、心臓壁の全てのサブレイヤーにわたる組織状態及び発生部位を表す。また、ＴＳＧＤシステムは、２Ｄ画像によって表される患者の心臓の幾何形状に基づいて３Ｄモデルを調整することができる。

【0013】

ＴＳＧＤシステムは、Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ（ＤＩＣＯＭ）形式のファイルで（場合によってはメタデータとして）３Ｄモデル（例えば、図１の）を表し、３Ｄモデルとは異なる可能性のある正常組織、境界領域及び瘢痕組織の領域を特定する外部システムにＤＩＣＯＭファイルを提供することができる。外部システムは、ＤＩＣＯＭファイルによって表わされた３Ｄモデルに識別された領域を重ね合わせることができる。ステレオリソグラフィ（ＳＴＬ）形式又はＯＢＪファイル形式等の他のファイル形式を使用することができる。３Ｄモデルの重複領域及び非重複領域及び外部システムにより識別された領域は、異なる色、クロスハッチング、陰影等を用いて例示することができる。例えば、エクスポートされた３Ｄモデルの瘢痕組織と外部システムによって識別された瘢痕組織の非重複領域とを区別するために、重なり合う瘢痕組織の領域を濃い赤色で理恵時することができ、重なり合わない領域を異なる色調の赤色で例示することができる。また、外部システムは、外部システムによって識別された心臓形状に基づいて、３Ｄグラフィックの心臓形状及び異なる組織状態の領域及び発生部位を調整することができる。

【0014】

以下では、組織状態識別のための様々なモダリティに適用されるＴＳＧＤシステムについて説明する。

【0015】

（セスタミビ）
セスタミビでは、ガンマ線を放出する放射性色素が血流中に注入されて、患者から画像が収集される。ガンマ線の放出を測定することで、組織を通る灌流を定量化し、正常組織、境界領域、及び瘢痕組織を区別することができる。図２は、左心室の領域内の灌流量を示すセスタミビ画像を示す。凡例２０３は、左心室の向きを示し、前方が上、及び中隔が左である。上列２０１はストレス時（例えばトレッドミル試験時）の灌流を示し、下列２０２は安静時の灌流を示す。凡例２０４は灌流量のカラースケールを表し、赤色の１００％完全灌流（正常組織）から紫色の０％灌流（瘢痕組織）までの範囲である。境界領域組織に対応する範囲は、例えば２５％及び７５％の間の範囲に設定することができる。列の各画像は左心室の異なるスライスを表す。ＴＳＧＤシステムはスライスを３Ｄモデルの心筋にマッピングし、図１に示すように発生部位を重ね合わせる。

【0016】

（ＰＥＴ）
ＰＥＴでは、画像は、陽電子を放出する放射性色素を血流に注入して患者から収集される。陽電子の放出量を測定することで、組織を通る灌流と組織の代謝を定量化し、正常組織、境界領域、及び瘢痕組織を示すことができる。図３は、異なる組織状態を表す画像を示している。画像３０１は、正常（上）から灌流なし又は最小灌流（下）までの灌流を表す。画像３０２は、細胞によるフルオロデオキシグルコース（ＦＤＧ）取り込みによって測定される代謝を表す。上及び下の画像はＦＤＧの更新がない（又は最小）ことを表し、その間の画像はＦＤＧの取り込みを表す。疾患状態（例えば、瘢痕組織）は、灌流及びＦＤＧ取り込みの組み合わせに基づいて示される。例えば、上から２番目の画像で示されるように、ＦＤＧ取り込み（黄色で示される）と組み合わされた灌流の最小限の減少（黄色で示される）は、軽度の疾患状態又は境界領域の組織を表す。ＴＳＧＤシステムは、画像を３Ｄモデルのスライスにマッピングし、図１に示すように発生部位を重ね合わせる。

【0017】

（心エコー図）
心エコー図では、画像は、経胸壁、食道、又は心臓内イメージングを用いて収集される。これらの画像を分析して、正常な動き、減少した動き、著しく減少した動きを特定することができ、これらは正常組織、境界域組織、瘢痕組織にそれぞれ対応する。また、画像を分析して、心臓壁の厚さを決定し正常な厚さ、減少した厚さ、及び著しく減少した厚さを特定することができ、これらは、正常組織、境界域組織、及び瘢痕組織にそれぞれ対応する。図４は心エコー図を示す。動きは、心臓の収縮及び増強に伴う心筋の動きを意味する。一連の画像が与えられると、収縮及び増強中の心筋上の点に対応するピクセルを分析し、動きの評価として点の移動距離を決定することができる。有意、中等度、最小の動きは、それぞれ正常、境界域、瘢痕組織を示す。厚さは、収縮時及び増強時の歪みから生じる心筋の厚さを示す。正常組織の厚さは収縮時及び増強時に増減する。対照的に、瘢痕組織の厚さは、収縮及び増強中に変化しない（少なくともあまり変化しない）傾向がある。一連の画像が与えられると、心内膜及び心外膜上の点に対応するピクセルをある画像から次の画像へと分析して、厚さを決定することができる。厚さは、心内膜上の点及び心外膜の最近点に基づいて評価することができる。ＴＳＧＤシステムは、３Ｄモデルの心筋の動き及び厚さに基づいて決定された正常組織、境界領域及び瘢痕組織の評価をマッピングし、図１に示されるように、発生部位を重ね合わせる。また経食道心エコー図を使用して、４Ｄ画像と呼ばれる３Ｄ画像のシーケンスとして心臓内画像を収集することができ、この画像は、動き及び壁の厚さを決定するために分析される。

【0018】

（ＣＴイメージング）
ＣＴ画像では、画像は、血液中に注入することができる造影剤を用いて収集される。通常、使用される造影剤の量は、血管を通る血流を決定するのに必要な最小限の量である。しかしながら、造影剤の量を増やせば、心臓組織内の灌流を定量化することができる。灌流が定量化されると、上述した技術（例えば、セスタミビイメージング）と同様の技術を使用して、正常組織、境界領域及び瘢痕組織を特定し、発生部位を重畳した３Ｄモデルにマッピングすることができる。

【0019】

通常の造影剤の量で収集されたＣＴ画像でも、心臓動脈の血流を評価するのに使用できる。血流がほとんど又は全くない心臓動脈の一部（例えば、著しいカルシウム沈着）は、近くに瘢痕組織が形成されていることを示すことができる。ＴＳＧＤシステムは、心臓動脈の一部を通る血流量を示す３Ｄモデルを生成する。図５は、血流が正常及び著しく制限された心臓動脈を示している。緑色の矢印及び赤色の矢印は、それぞれ正常な血流及び著しく制限された血流の部分を指している。血流の量は、例えば、正常な血流を示す赤色、制限された血流を示す灰色、及び著しく制限された又は血流がないことを示す黒色に心臓動脈を重ねることによっても示すことができる。３Ｄグラフィックに重畳された発生部位により、心臓専門医は、例えばアブレーション標的をより効果的に評価することができる。

【0020】

（電圧マップ）
心臓電圧マップは、例えばバスケットカテーテルを用いて収集することができる。図６は電圧マップを示す。赤色の領域は瘢痕組織を表し、黄色及び青色の領域は境界領域の組織を表す。ＴＳＧＤシステムは、発生部位を２Ｄ電圧マップに重ね合わせることができる。また、ＴＳＧＤシステムは、図１に示すように、発生部位を重畳した３Ｄグラフィックに電圧マップをマッピングすることができる。

【0021】

（ＭＲＩ）
ＭＲＩ撮像では、画像は、心臓組織の灌流量を定量化するために、患者の血液中に造影剤を注入した患者から収集することができる。図７は心房のＭＲＩ画像である。青色は正常組織を示し、緑色は瘢痕組織（例えば線維化）を示す。図８は左心室のスライスＭＲＩ画像である。黄色の点線は灌流が低下している場所を表し、瘢痕組織を示している。ＴＳＧＤシステムは、セスタミビイメージングについて上述したのと同様の方法で３Ｄモデルを生成することができる。

【0022】

（リエントリー機械学習システム）
少なくともリエントリー回路の組織状態に基づいて、リエントリー不整脈のリエントリー回路の入口部位、峡部、及び／又は出口部位を特定するリエントリー機械学習（ＲＭＬ）システムが提供される。出口部位は、リエントリー回路の機能を停止させるためのアブレーションの標的とすることができる。リエントリー回路の活性化をもたらす電気的活動の発生部位は、リエントリー回路内又はリエントリー回路外であってもよい。図９は、例示的なリエントリー回路の２Ｄの例証を提供する概略図である。瘢痕組織間の共通経路（ＣＰ）９１５（例えば、峡部）は、ＣＰ入口部位９１０からＣＰ出口部位９０１に至る経路である。内側ループ９０１、９０３、９０６及び９１０は、ＣＰ出口部位からＣＰ入口部位に通じている。外側ループ９０１、９２１、９２２、９２５、９３０、及び９１０は、ＣＰ出口サイトからＣＰ入口サイトに通じている。チャネルＣ９１１、Ｅ９１２、及びＨ９１３は、活動電位が行き止まりチャネルに入り、行き止まりチャネル内で終端する行き止まりチャネルである。ＲＭＬシステムは、ＴＳＧＤシステムにより生成されるか又は他のシステムから得られる組織状態の指定を含む心臓の３Ｄモデルから得られるリエントリー回路の３Ｄモデルを生成することができる。

【0023】

幾つかの実施形態では、ＲＭＬシステムは、入口部位、出口部位、峡部特性（例えば、経路）、及び形状（例えば、３Ｄ）、部位、及び特性（例えば、灌流、電気的、運動等）を含む組織特性を含むリエントリー回路の特性を指定するトレーニングデータを用いてＲＭＬモデルをトレーニングする。トレーニングデータは、被験者から収集された臨床データ及び／又はシミュレートされたデータに基づくことができる。臨床データは、被験者のリエントリー回路の組織状態特性（例えば、灌流又は電気的活動）を分析することによって収集することができる。シミュレートデータは、特定の組織特性を仮定して心臓の電気的活動をシミュレートすることにより生成することができる。

【0024】

心臓の電気的活動のシミュレーションは、２０２２年３月１日に発行され、名称が「アブレーションで使用するアブレーションパターンの特定（Ｉｄｅｎｔｉｆｙ Ａｂｌａｔｉｏｎ Ｐａｔｔｅｒｎ ｆｏｒ Ｕｓｅ ｉｎ ａｎ Ａｂｌａｔｉｏｎ）」である、米国特許第１１，２５９，８７１号明細書に記載されており、本特許は引用により本明細書に組み込まれる。シミュレーションは、心臓内の部位を表し、伝導速度及び活動電位のような電気的特性を有する頂点を有する３Ｄメッシュを用いる。瘢痕組織は、電気的活動を有しない特性を有する頂点として表すことができ、及び境界領域組織は、制限された電気的活動を有する特性を有する頂点として表すことができる。各シミュレーションは、シミュレーション中にリエントリー回路として機能するように出現し得る組織の１又は２以上の領域（例えば、瘢痕組織及び境界帯組織）を指定するパラメータを有することができる。シミュレーションに使用される領域は、患者から収集された組織の状態（例えば、リエントリー回路の状態）を示す２Ｄ画像のライブラリから得ることができる。領域は、２Ｄ画像に由来する領域を修正した追加領域で増強することができる。代替的に又は追加的に、ＲＭＬシステムは、リエントリー回路として機能する可能性のある領域の特性を指定する規則に基づくアルゴリズムを用いて領域を生成することができる。この特性は、図９のような境界域組織及び瘢痕組織の形状（例えば、３Ｄ形状）、部位、及び電気的活動である。リエントリー回路から生じる心周期（例えば、細動周期）は、出口部位から入口部位へ、及び峡部を通って出口部位への電気的活動を表す。各シミュレーションは、一定時間又は例えば細動が安定するまで（即ち、心臓内の特定の領域に局在する支配的な不整脈源の拍動間の整合性）の電気的活動をシミュレートすることができる。

【0025】

シミュレーションが終了すると、ＲＭＬシステムは、１サイクルの間にそれ自体にループして戻る活動電位の流れに基づいて、瘢痕組織付近のループを特定する。ループの入口部位は、伝導速度の分析に基づいて特定できる。繊維方向伝導速度及び繊維横断伝導速度に基づく伝導速度の等方的特性は、入口部位の特定に役立つ。ＲＭＬシステムは、３Ｄメッシュの頂点の活動電位などの計算値で表される一連のシミュレーション電気的活動から動的に生成される心電図（例えば、ベクトル心電図（ＶＣＧ））の分析に基づいて、出口部位を特定する。ＲＭＬシステムは、入口部位の近くで脱分極の開始を特定すると、電気的活動を分析して脱分極が開始された場所を特定する。ＲＭＬシステムは複数の場所について出口部位である確率を生成することができる。峡部は、入口部位から出口部位までループに沿って活動電位の流れ方向にある経路（例えば、瘢痕組織間）である。

【0026】

患者の出口部位（及び場合によっては入口部位及び峡部）を特定するために、灌流、運動、電気的活動等を示す２Ｄ画像が患者から収集される。この２Ｄ画像又は２Ｄ画像から得られた３Ｄ画像及び／又は瘢痕組織の領域等の２Ｄ画像から得られた特徴がＲＭＬモデルに入力され、ＲＭＬモデルは出口部位及び場合によっては入口部位及び／又は峡部を出力する。ＲＭＬシステムは次に、リエントリー回路を２Ｄグラフィック（例えば図９）として、又はＴＳＧＤシステムにより生成された３Ｄモデルに基づく３Ｄグラフィックと同様の３Ｄグラフィックとして表示することができる。入口及び峡部の特徴を提供するために、出口部位情報及び瘢痕組織情報を入力し、入口部位及び峡部が画定されたリエントリー回路の２Ｄモデル又は３Ｄモデルを出力するように、別個のモデルをトレーニングすることができる。

【0027】

ＲＭＬシステムは、心臓の２Ｄ、３Ｄ又は４Ｄグラフィック上に１又は２以上の出口部位（及び対応するループ及び入口部位）を示すことができる。リエントリー回路の出口部位となる可能性のある様々な部位は、各出口部位の確率を表す色の濃さで示すことができる。

【0028】

ＴＳＧＤシステム、ＲＭＬシステム、及び他の説明されたシステムが実装することができるコンピュータシステム（例えば、ネットワークノード又はネットワークノードの集まり）は、中央処理ユニット、入力デバイス、出力デバイス（例えば、ディスプレイデバイス及びスピーカ）、記憶デバイス（例えば、メモリ及びディスクドライブ）、ネットワークインターフェース、グラフィックス処理ユニット、通信リンク（例えば、イーサネット、Ｗｉ－Ｆｉ、セルラー及びブルートゥース(登録商標)）、全地球測位システムデバイス等を含むことができる。入力デバイスは、キーボード、ポインティングデバイス、タッチスクリーン、ジェスチャー認識デバイス（例えば、エアジェスチャー用）、ヘッドトラッキング及びアイトラッキングデバイス、音声認識用マイク等を含むことができる。コンピュータシステムは、高性能コンピュータシステム、クラウドベースのコンピュータシステム、クラウドベースのコンピュータシステムと相互作用するクライアントコンピュータシステム、デスクトップコンピュータ、ラップトップ、タブレット、電子書籍リーダー、パーソナルデジタルアシスタント、スマートフォン、ゲームデバイス、サーバ等を含むことができる。コンピュータシステムは、コンピュータ可読記憶媒体及びデータ伝送媒体を含むコンピュータ可読媒体にアクセスすることができる。コンピュータ可読記憶媒体は、一過性の伝搬信号を含まない有形の格納手段である。コンピュータ可読記憶媒体の例としては、一次メモリ、キャッシュメモリ、二次メモリ（ＤＶＤ等）等のメモリ及びその他のストレージが挙げられる。コンピュータ可読記憶媒体には、ＴＳＧＤシステム、ＲＭＬシステム、及び他の説明されたシステムを実装するコンピュータ実行可能な命令又は論理が記録されている又は符号化されている場合がある。データ伝送媒体は、有線又は無線接続を介して、一過性の伝搬信号又は搬送波（例えば、電磁気）を介してデータを伝送するために使用される。コンピュータシステムは、鍵を生成し安全に格納するため、及び鍵を使用してデータを暗号化及び復号化するために、中央処理装置の一部として安全な暗号プロセッサを含むことができる。

【0029】

ＴＳＧＤシステム、ＲＭＬシステム、及び他の説明されたシステムは、１又は２以上のコンピュータ、プロセッサ、又は他のデバイスによって実行されるプログラムモジュール及び構成要素等のコンピュータ実行可能命令の一般的な関連で説明することができる。プログラムモジュール又は構成要素には、ＴＳＧＤシステム、ＲＭＬシステム、及び他の説明されたシステムのタスクを実行する、又はデータタイプを実装するルーチン、プログラム、オブジェクト、データ構造等が含まれる。通常、プログラムモジュールの機能は、所望に応じて組み合わせ又は分散させることができる。ＴＳＧＤシステム、ＲＭＬシステム、及び他の説明されたシステムの態様は、例えば特定用途向け集積回路（ＡＳＩＣ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を用いてハードウェアで実装することができる。

【0030】

機械学習（ＭＬ）モデルは、完全連結ニューラルネットワーク、畳み込みニューラルネットワーク、リカレントニューラルネットワーク、又はオートエンコーダニューラルネットワーク等のニューラルネットワーク、又は制限付きボルツマンマシン、サポートベクターマシン、ベイズ分類器、ｋ－ｍｅａｎｓクラスタリング技法等を含む、教師あり又は教師なしの機械学習モデルの多様な又は組み合わせの何れであってもよい。機械学習モデルがディープニューラルネットワークの場合、学習結果はディープニューラルネットワークの活性化関数の重みのセットとなる。サポートベクターマシンは、入力可能空間の超曲面を見つけることで動作する。超曲面は、超曲面に最も近い正例及び負例間の距離を最大化することで、正の例と負の例を分けることを試みる。このステップにより、トレーニングデータと似ているが同一ではないデータを正しく分類することができる。機械学習モデルは、離散領域の値（例えば、分類）、確率、及び／又は連続領域の値（例えば、回帰値）を生成することができる。

【0031】

サポートベクターマシンの学習には、アダプティブ・ブースティングのような様々な手法を用いることができる。アダプティブ・ブースティングは、トレーニングデータの集合に対して複数のテストを実行する反復プロセスである。アダプティブ・ブースティングは、弱い学習アルゴリズム（偶然よりもわずかに良いレベルで実行されるアルゴリズム）を、強い学習アルゴリズム（低いエラー率を示すアルゴリズム）に変換する。弱い学習アルゴリズムは、トレーニングデータの異なる部分集合に対して実行される。このアルゴリズムは、前任者がミスを示しがちな例にますます集中する。アルゴリズムは、以前の弱い学習者が犯した誤りを矯正する。アルゴリズムは前任者のエラー率に適応するので、適応的である。アダプティブ・ブースティングは、大まかな経験則及び適度に不正確な経験則を組み合わせて、高性能なアルゴリズムを作り出す。アダプティブ・ブースティングは、個別に実行されたテストの結果を１つの正確な分類器に結合する。アダプティブ・ブースティングは、２つのリーフノードしか持たない１分割木である弱い分類器を使用することがある。

【0032】

ニューラルネットワークモデルには、アーキテクチャ、コスト関数、及び探索アルゴリズムの３つの主要な構成要素がある。アーキテクチャは、入力と出力を関連付ける関数形式を定義する（ネットワークのトポロジー、ユニットの接続性、及び活性化関数の観点から）。目的関数を最小化する重みのセットを重み空間で探索することが、学習プロセスである。一実施形態では、分類システムは、探索技法として放射基底関数（ＲＢＦ）ネットワーク及び標準的な勾配降下を使用することができる。

【0033】

畳み込みニューラルネットワーク（ＣＮＮ）は、畳み込み層、整流化線形ユニット（ＲｅＬＵ）層、プーリング層、完全接続（ＦＣ）層、及び等の複数の層を有する。より複雑なＣＮＮでは、複数の畳み込み層、ＲｅＬＵ層、プーリング層、及びＦＣ層を有するものもある。

【0034】

畳み込み層は複数のフィルタ（カーネル又は活性化関数とも呼ばれる）を含む。フィルタは、例えば画像の畳み込みウィンドウを入力し、畳み込みウィンドウの各ピクセルに重みを適用し、その畳み込みウィンドウの活性化値を出力する。例えば、静止画像が２５６×２５６ピクセルである場合、畳み込みウィンドウは８×８ピクセルである。フィルタは、畳み込みウィンドウ内の６４ピクセルそれぞれに異なる重みを適用して、特徴値とも呼ばれる活性化値を生成することができる。畳み込み層は、各フィルタに対して、適切なパディングで１ストライドを仮定した、画像の各ピクセルのノード（ニューロンとも呼ばれる）を含むことができる。各ノードは、学習されたフィルタの重みのセットに基づいて特徴値を出力する。

【0035】

ＲｅＬＵ層は、畳み込み層の各ノードに対して、特徴値を生成するノードを有することができる。生成された特徴値は、ＲｅＬＵ特徴マップを形成する。ＲｅＬＵ層は、畳み込み特徴マップの各特徴値にフィルタを適用して、ＲｅＬＵ特徴マップの特徴値を生成する。例えば、ｍａｘ（０，活性化値）のようなフィルタを用いて、ＲｅＬＵ特徴マップの特徴量が負にならないようにすることができる。

【0036】

プーリング層は、プーリング特徴マップを形成するためにＲｅＬＵ特徴マップをダウンサンプリングすることによってＲｅＬＵ特徴マップのサイズを縮小するために使用することができる。プーリング層は、ＲｅＬＵ特徴マップの特徴値群を入力し、特徴値を出力するプーリング関数を含む。

【0037】

ＦＣ層は、プーリング特徴マップの各特徴値にそれぞれ接続される幾つかのノードを含む。

【0038】

敵対的生成ネットワーク（ＧＡＮ）又は属性（ａｔｔＧＡＮ）も使用することができる。ａｔｔＧＡＮは、生成モデルをトレーニングするためにＧＡＮを用いる。（以下を参照：Ｚｈｅｎｌｉａｎｇ Ｈｅ、Ｗａｎｇｍｅｎｇ Ｚｕｏ、Ｍｅｉｎａ Ｋａｎ、Ｓｈｉｇｕａｎｇ Ｓｈａｎ、及びＸｉｌｉｎ Ｃｈｅｎ、「ＡｔｔＧＡＮ： Ｆａｃｉａｌ Ａｔｔｒｉｂｕｔｅ Ｅｄｉｔｉｎｇ ｂｙ Ｏｎｌｙ Ｃｈａｎｇｉｎｇ Ｗｈａｔ Ｙｏｕ Ｗａｎｔ」ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２０１８、及びＩａｎ Ｇｏｏｄｆｅｌｌｏｗ， Ｊｅａｎ Ｐｏｕｇｅｔ－Ａｂａｄｉｅ， Ｍｅｈｄｉ Ｍｉｒｚａ， Ｂｉｎｇ Ｘｕ， Ｄａｖｉｄ Ｗａｒｄｅ－Ｆａｒｌｅｙ， Ｓｈｅｒｊｉｌ Ｏｚａｉｒ， Ａａｒｏｎ Ｃｏｕｒｖｉｌｌｅ， ａｎｄ Ｙｏｓｈｕａ Ｂｅｎｇｉｏ，「Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｓ」，Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ，ｐｐ．２６７２－２６８０，２０１４、これらは引用により本明細書に組み込まれる）。ａｔｔＧＡＮは、生成器、識別器、及びａｔｔＧＡＮ分類器を含み、物体の入力画像及び各物体の入力属性値を含むトレーニングデータを用いて学習される。生成器は、生成器エンコーダ及び生成器デコーダを含む。ジェネレータエンコーダは入力画像を入力し、入力画像を表す潜在変数の潜在ベクトルを生成するように学習される。生成器デコーダは、入力画像の潜在ベクトル及び入力属性値を入力する。ａｔｔＧＡＮ分類器は画像を入力し、その属性値の予測を生成する。ａｔｔＧＡＮは、属性値に基づいて修正された入力画像を表す修正画像を生成するように学習される。生成器エンコーダ及び生成器デコーダは生成器モデルを形成する。

【0039】

図１０は、幾つかの実施形態におけるＴＳＧＤシステムの全体的な処理を示すフロー図である。ＴＳＧＤコントローラ１０００は、３Ｄモデルの生成、及び組織状態及び発生部位情報を有する３Ｄグラフィックとしての３Ｄモデルの表示を制御する。ブロック１００１において、コントローラは、臓器の電気的活動のエレクトログラムを受け取る。このエレクトログラムは、例えば、１２誘導心電計を使用して収集することができる。ブロック１００２において、構成要素は、セスタミビスキャンなどのスキャン技術を用いて収集することができる組織状態画像を受け取る。ブロック１００３において、構成要素は患者の臓器を表す３Ｄモデルを生成する。ブロック１００４では、構成要素は組織状態画像から３Ｄモデルに組織状態を移行して３Ｄモデルを増強する。ブロック１００５において、構成要素は３Ｄモデルに発生部位情報を追加する。ブロック１００６において、構成要素は、３Ｄモデルに基づいて、臓器の組織状態及び発生部位を示す３Ｄグラフィックを表示する。その後、構成要素は完了する。

【0040】

図１１は、幾つかの実施形態におけるＴＳＧＤシステム及びＲＭＬシステムの構成要素を示すブロック図である。ＴＳＧＤシステム１１１０は、ＴＳＧＤコントローラ１１１１、移行組織状態構成要素１１１２、追加発生部位構成要素１１１３、表示３Ｄグラフィック構成要素１１１４、及びマッピングシステム１１１５を含む。上述したように、ＴＳＧＤコントローラは、ＴＳＧＤシステムの全体的な処理を制御する。組織状態移行構成要素は、組織状態を示す２Ｄ画像を受け取り、及び組織状態を３Ｄモデルに移行する。発生部位追加構成要素は、心電図を受け取り、マッピングシステムにアクセスして発生部位情報を特定し、発生部位情報を３Ｄモデルに追加して３Ｄモデルを増強する。表示３Ｄグラフィック構成要素は、組織状態及び発生部位情報を有する３Ｄモデルから３Ｄグラフィックを生成し、３Ｄグラフィックの表示を制御する。

【0041】

ＲＭＬシステム１１２０は、生成ＲＭＬモデル構成要素１１２１、適用ＲＭＬモデル適用構成要素１１２２、ＲＭＬモデル重みデータストア１１２３、及びＲＭＬモデルトレーニングデータストア１１２４を含む。生成ＲＭＬモデル構成要素は、トレーニングデータを用いてＲＭＬモデルを生成し、学習されたＲＭＬモデルの重みをＲＭＬモデル重みデータストアに格納する。適用ＲＭＬモデル構成要素は、出口部位及び瘢痕組織情報を入力し、ＲＭＬモデル重みを用いてＲＭＬモデルを出口部位及び瘢痕組織に適用して、対応する入口部位及び峡部を決定する。ＴＳＧＤシステム及びＲＭＬシステムの様々な構成要素は、異なるコンピュータシステムによって提供することができる。例えば、マッピングシステムはクラウドベースのコンピュータシステム上に実装され、表示３Ｄグラフィック構成要素はクライアントコンピュータシステム上に実装することができる。異なるコンピュータシステム上で実装される場合、コンピュータシステムは互いにデータを送信し、及びデータを受け取ることができる。例えば、クライアントコンピュータシステムは、心電図（例えば、心電図（ＥＣＧ）又はベクトル心電図（ＶＣＧ））、胃電図（ＥＧＧ）、又は脳波（ＥＥＧ）などの電図をクラウドベースのマッピングシステムに送信し、クラウドベースのマッピング構成要素から発生部位情報を受け取ることができる。

【0042】

図１２は、幾つかの実施形態におけるＴＳＧＤシステムの移行組織状態構成要素の処理を示すフロー図である。移行組織状態構成要素１２００は、３Ｄモデル及び組織状態を示す２Ｄ画像を入力し、組織状態を３Ｄモデルに移行する。ブロック１２０１において、構成要素は、２Ｄ画像の次のスライス及び３Ｄモデルの対応するスライスを選択する。決定ブロック１２０２において、全てのスライスが既に選択されている場合、構成要素は完了し、そうでない場合、構成要素はブロック１２０３に進む。ブロック１２０３において、構成要素は、選択されたスライスの次のサブレイヤーを選択する。決定ブロック１２０４において、全てのサブレイヤーが既に選択されている場合、構成要素は、選択されたスライスの次のサブレイヤーを選択するためにブロック１２０１にループし、そうでない場合、構成要素はブロック１２０５に進む。ブロック１２０５において、構成要素は組織状態を３Ｄモデルの選択されたスライスの選択されたサブレイヤーに移行し、次に次のサブレイヤーを選択するためにブロック１２０３にループする。

【0043】

図１３は、幾つかの実施形態におけるＴＳＧＤシステムの追加発生部位構成要素の処理を示すフロー図である。発生部位追加構成要素は、ＥＣＧの指示及び３Ｄモデルを渡して起動され、発生部位情報を３Ｄモデルに移行する。ブロック１３０１において、構成要素は、ＥＣＧをマッピングシステムに送出して、発生部位情報を特定する。ブロック１３０２において、構成要素は発生部位情報を受け取る。ブロック１３０３において、構成要素は３Ｄモデルのスライスを選択する。決定ブロック１３０４において、全てのスライスが既に選択されている場合、構成要素は完了し、そうでない場合、構成要素はブロック１３０５に進む。ブロック１３０５において、構成要素は、選択されたスライスの次のサブレイヤーを選択する。決定ブロック１３０６において、全てのサブレイヤーが既に選択されている場合、構成要素はブロック１３０３にループして次のスライスを選択し、そうでない場合、構成要素はブロック１３０７に進む。決定ブロック１３０７において、発生部位情報が選択されたスライス内の選択されたサブレイヤーと重複する場合、構成要素はブロック１３０８に進み、そうでない場合、構成要素は次のサブレイヤーを選択するためにブロック１３０５にループする。ブロック１３０８において、構成要素は、選択されたスライス及び選択されたサブレイヤーによって表される３Ｄモデルの部分に発生部位情報をマークする。

【0044】

図１４は、幾つかの実施形態におけるＴＳＧシステムのディスプレイ３Ｄグラフィック構成要素の処理を示すフロー図である。表示３Ｄグラフィック構成要素１４００は、３Ｄモデルを渡され、及び３Ｄモデルから生成された３Ｄグラフィックの表示を制御する。ブロック１４０１において、構成要素は３Ｄモデルに基づいて３Ｄグラフィックを生成する。ブロック１４０２では、構成要素は、３Ｄグラフィック又は２Ｄスライス等のグラフィックを出力する。ブロック１４０３において、構成要素は、３Ｄグラフィックの表示を終了すること、３Ｄグラフィックを回転させること、特定のサブレイヤーを表示すること、及び特定のスライスを表示することであるアクションの選択を受け取る。決定ブロック１４０４において、アクションが３Ｄグラフィックを回転させることである場合、構成要素は回転された３Ｄグラフィックを生成するためにブロック１４０５に進み、そうでない場合、構成要素はブロック１４０６に進む。ブロック１４０６において、アクションが特定のサブレイヤーを表示することである場合、構成要素は、そのサブレイヤーに基づいて３Ｄグラフィックを生成するためにブロック１４０７に進み、そうでない場合、構成要素はブロック１４０８に進む。決定ブロック１４０８において、アクションが特定のスライスを表示することである場合、構成要素は、３Ｄモデルから２Ｄスライスを生成するためにブロック１４０９に進み、そうでない場合、構成要素は完了する。ブロック１４０５、１４０７、及び１４０９の処理を実行した後、構成要素はブロック１４０２にループしてグラフィックを出力する。

【0045】

図１５は、幾つかの実施形態におけるＲＭＬシステムの生成ＲＭＬモデルの処理を示すフロー図である。生成ＲＭＬモデル構成要素１５００は、ＲＭＬモデルトレーニングデータストアのトレーニングデータに基づいてＲＭＬモデルをトレーニングする。トレーニングデータは、リエントリー回路の出口部位の指示又は非リエントリー瘢痕組織の出口部位なしの指示と共にリエントリー回路又は非リエントリー瘢痕組織を指定し得るトレーニングインスタンスを含む。或いは、トレーニングデータはリエントリー回路のトレーニングインスタンスのみを有する場合もある。リエントリー瘢痕組織と非リエントリー瘢痕組織の両方が使用される場合、１つのＭＬモデルは、リエントリー回路と非リエントリー瘢痕組織とを区別するようにトレーニングされ、別のＭＬモデルは、リエントリー回路の出口部位を示すようにトレーニングすることができる。また、別のＭＬモデルは、組織の特徴及びリエントリー回路の出口部位を与えられた入口部位及び峡部を特定するようにトレーニングすることができる。各ＭＬモデルは、ラベルとして識別されるべき出力データ及び特徴ベクトルとして出力データを特定するために使用される入力データを含むトレーニングデータを用いてトレーニングされる。ブロック１５０１において、構成要素はＲＭＬモデルのトレーニングデータにアクセスする。ブロック１５０２において、構成要素は、ＲＭＬトレーニングデータの次のトレーニングインスタンスを選択する。ブロック１５０３において、構成要素は、トレーニングインスタンスの３Ｄモデル内の組織特性（例えば、灌流又は電気的特性）を含む特徴ベクトルを生成する。ブロック１５０４において、構成要素は、特徴ベクトルに、トレーニングインスタンスの出口部位及び場合によっては入口部位及び峡部情報をラベル付けする。決定ブロック１５０５において、全てのトレーニングインスタンスが選択された場合、構成要素はブロック１５０６に進み、そうでない場合、構成要素はブロック１５０２にループして次のトレーニングインスタンスを選択する。ブロック１５０６において、構成要素は、ラベル付けされた特徴ベクトルを使用してＲＭＬモデルをトレーニングし、学習された重みをＲＭＬモデル重みデータストアに格納し、そして完了する。

【0046】

以下の段落では、ＴＳＧＤシステム及びＲＭＬシステムの様々な態様について説明する。システムの実施構成は、態様の何れかの組み合わせを採用することができる。以下に記載される処理は、本システムを実装するコンピュータ可読記憶媒体に格納されたコンピュータ実行可能命令を実行するプロセッサを有するコンピュータシステムによって実行することができる。

【0047】

幾つかの態様において、本明細書に記載の技術は、組織状態を示すために心臓の３次元（３Ｄ）モデルを増強する１又は２以上のコンピュータシステムによって実行される方法に関し、本方法は、心臓の３Ｄモデルにアクセスするステップと、心臓の組織状態スライスの２次元（２Ｄ）画像にアクセスするステップであって、組織状態スライスが心臓の組織状態情報を有する、ステップと、不整脈の発生部位情報にアクセスするステップと、発生部位情報に基づいて発生部位の表示を用いて３Ｄモデルを増強するステップと、心臓の複数の組織状態スライスの各々について、当該組織状態スライスの組織状態情報によって表される心臓の組織状態の表示を用いて、当該組織状態スライスに対応する３Ｄモデルの３Ｄモデルスライスを増強するステップと、不整脈の発生部位及び心臓の組織状態を示す３Ｄモデルの表現を表示するステップと、を含む。幾つかの態様において、本明細書に記載の技術は、表示される３Ｄモデルの表現が３Ｄグラフィックである方法に関する。幾つかの態様において、本明細書に記載の技術は、３Ｄモデルの表現が３Ｄモデルのスライスである方法に関する。幾つかの態様では、本明細書に記載の技術は、３Ｄモデルが、３Ｄモデルの心臓壁の層の複数の３Ｄモデルサブレイヤーを含み、３Ｄモデルの増強が、発生部位情報によって表される発生部位の表示を用いて複数の３Ｄモデルサブレイヤーを増強し、３Ｄモデルスライスの増強が、組織状態情報によって表される組織状態の表示を用いて複数の３Ｄモデルサブレイヤーを増強する、方法に関する。幾つかの態様では、本明細書に記載の技術は、層が心臓壁の心内膜、心筋、又は心外膜である方法に関する。幾つかの態様では、本明細書に記載の技術は、３Ｄモデルサブレイヤーの選択を受け取るステップを更に含み、３Ｄモデルの表現は、選択された３Ｄモデルサブレイヤーの発生部位及び組織状態を示す３Ｄグラフィックである、方法に関する。幾つかの態様において、本明細書に記載の技術は、３Ｄモデルサブレイヤーの増強が、サブレイヤーが選択される際に動的に実行される方法に関する。幾つかの態様において、本明細書に記載の技術は、２Ｄ画像が心臓のセスタミビスキャンから得られる方法に関する。幾つかの態様において、本明細書に記載の技術は、２Ｄ画像が心臓の陽電子放射断層撮影スキャンから得られる方法に関する。幾つかの態様において、本明細書に記載の技術は、２Ｄ画像が心臓の心エコースキャンから得られる方法に関する。幾つかの態様において、本明細書に記載の技術は、２Ｄ画像が心臓のコンピュータ断層撮影スキャンから得られる方法に関する。幾つかの態様において、本明細書に記載の技術は、２Ｄ画像が心臓の電圧マップから得られる方法に関する。幾つかの態様において、本明細書に記載の技術は、２Ｄ画像が心臓の磁気共鳴イメージングスキャンから得られる方法に関する。幾つかの態様において、本明細書に記載の技術は、２Ｄ画像が心臓のスキャンの３Ｄ画像のスライスである方法に関する。幾つかの態様において、本明細書に記載の技術は、２Ｄスライスの組織状態が心臓内の心臓灌流を示すスキャンに基づく方法に関する。幾つかの態様において、本明細書に記載の技術は、２Ｄスライスの組織状態が心臓の心臓壁の動きを示すスキャンに基づく方法に関する。幾つかの態様において、本明細書に記載の技術は、組織状態が正常組織、境界領域組織及び瘢痕組織を示す方法に関する。幾つかの態様において、本明細書に記載の技術は、組織状態が心臓の電気、代謝、及び／又は灌流活動に基づく方法に関する。幾つかの態様において、本明細書に記載の技術は、心臓の４次元（４Ｄ）モデルの複数の３Ｄモデルの各々について、心臓の発生部位及び組織状態を示すために当該３Ｄモデルを増強するステップを更に含む方法に関する。幾つかの態様において、本明細書に記載の技術は、４Ｄモデルが心臓の心臓壁の動きを表す方法に関する。幾つかの態様では、本明細書に記載の技術は、発生部位情報にアクセスするステップが、心電図にアクセスするステップと、心電図を発生部位情報に各々対応付けるマッピングに基づいて発生部位情報を特定するステップを含む方法に関する。幾つかの態様において、本明細書に記載の技術は、３Ｄモデルが、各々が２Ｄ画像を３Ｄ画像に対応付けるマッピングに基づいて心臓の２Ｄ画像から生成される方法に関する。幾つかの態様において、本明細書に記載の技術は、３Ｄモデルが心臓の解剖学的マッピングに基づいて生成される方法に関する。幾つかの態様において、本明細書に記載の技術は、３Ｄモデルが心臓のスキャンに基づいて生成される方法に関する。幾つかの態様では、本明細書に記載の技術は、当該３Ｄモデルスライスの発生部位及び組織状態の表示を含む３Ｄモデルスライスグラフィックを表示するステップを更に含む方法に関する。幾つかの態様では、本明細書に記載の技術は、３Ｄモデルの増強が異なる色を用いて異なる組織状態を示す方法に関する。

【0048】

幾つかの態様において、本明細書に記載の技術は、臓器の組織状態を示すために臓器の３次元（３Ｄ）モデルを増強するための１又は２以上のコンピュータシステムに関し、１又は２以上のコンピュータシステムは、１又は２以上のコンピュータ可読記憶媒体を備え、上記１又は２以上のコンピュータ可読記憶媒体は、臓器の異常に関する発生部位の表示を含む臓器のモデルと、臓器のスキャンに基づく、臓器の組織状態の組織状態表現と、１又は２以上のコンピュータシステムを制御するためのコンピュータ実行可能命令と、を格納し、コンピュータ実行可能命令が、組織状態表現に基づく臓器の組織状態を用いてモデルを増強し、臓器の発生部位及び組織状態を示すモデルの表現を出力する、ように１又は２以上のコンピュータシステムを制御するためのものであって、１又は２以上のコンピュータシステムが更に、１又は２以上のコンピュータ実行可能命令を実行するように１又は２以上のコンピュータシステムを制御するための１又は２以上のプロセッサを備える。幾つかの態様において、本明細書に記載の技術は、第１のコンピュータシステムが、増強するための命令を格納し、第２のコンピュータシステムが、出力するための命令を格納する、１又は２以上のコンピュータシステムに関する。幾つかの態様において、本明細書に記載の技術は、第１のコンピュータシステムが、組織状態表現を受け取り、組織状態表現を第２のコンピュータシステムに提供し、第２のコンピュータシステムから出力表現を受け取り、出力表現を表示する命令を含む、１又は２以上のコンピュータシステムに関する。幾つかの態様において、本明細書に記載の技術は、第２のコンピュータシステムがクラウドベースのシステムである、１又は２以上のコンピュータシステムに関する。幾つかの態様において、本明細書に記載の技術は、臓器が、心臓、脳、消化器官、肺、肝臓、腎臓、胃、及び筋肉からなる群から選択される、１又は２以上のコンピュータシステムに関する。幾つかの態様において、本明細書に記載の技術は、スキャンが非侵襲性スキャンである１又は２以上のコンピュータシステムに関する。

【0049】

幾つかの態様において、本明細書に記載の技術は、心臓のリエントリー回路の特性を特定するためのリエントリー機械学習（ＲＭＬ）モデルを生成する１又は２以上のコンピュータシステムに関し、１又は２以上のコンピュータシステムは、１又は２以上のコンピュータ可読記憶媒体を備え、１又は２以上のコンピュータ可読記憶媒体が、リエントリー回路の特徴の記述を含むトレーニングデータにアクセスするように１又は２以上のコンピュータシステムを制御するコンピュータ実行可能命令と、各記述について、記述から１又は２以上の特徴を抽出するコンピュータ実行可能命令と、記述から１又は２以上のラベルを抽出するコンピュータ実行可能命令と、１又は２以上の特徴に１又は２以上のラベルをラベル付けするコンピュータ実行可能命令と、ラベル付けされた特徴を使用してＲＭＬモデルをトレーニングするコンピュータ実行可能命令と、を格納し、１又は２以上のコンピュータシステムが更に、１又は２以上のコンピュータ実行可能命令を実行するように１又は２以上のコンピュータシステムを制御するための１又は２以上のプロセッサを備える。幾つかの態様において、本明細書に記載の技術は、１又は２以上の特徴がリエントリー回路の組織状態情報を含み、１又は２以上のラベルが出口部位を含む、１又は２以上のコンピュータシステムに関する。幾つかの態様では、本明細書に記載の技術は、特徴が瘢痕組織の領域の画像である１又は２以上のコンピュータシステムに関する。幾つかの態様では、本明細書に記載の技術は、心臓のリエントリー回路の出口部位を特定する１又は２以上のコンピュータシステムに関し、１又は２以上のコンピュータシステムは、１又は２以上のコンピュータ可読記憶媒体を備え、上記１又は２以上のコンピュータ可読記憶媒体が、被験者のリエントリー回路の瘢痕組織の特性にアクセスし、リエントリー回路の出口部位を特定するためのリエントリー機械学習（ＲＭＬ）モデルにアクセスし、ＲＭＬモデルが、複数のリエントリー回路の各々について、当該リエントリー回路の出口部位に関連する情報でラベル付けされた、当該リエントリー回路の瘢痕組織に関連する情報を含むトレーニングデータを使用してトレーニングされるようにし、被験者の瘢痕組織の特性にＲＭＬモデルを適用して、リエントリー回路の出口部位に関連する被験者の情報を特定し、特定された被験者の情報の表示を出力する、ように１又は２以上のコンピュータシステムを制御するためのコンピュータ実行可能命令を格納し、１又は２以上のコンピュータシステムが更に、１又は２以上のコンピュータ実行可能命令を実行するように１又は２以上のコンピュータシステムを制御するための１又は２以上のプロセッサを備える。

【0050】

本発明の主題は、構造的特徴及び又は行為に特有の表現で記載されてきたが、添付の特許請求の範囲において定義される主題は、必ずしも上述した特定の特徴又は行為に限定されるものではないことを理解されたい。むしろ、上述した特定の特徴及び行為は、特許請求の範囲を実施するための例示的な形態として開示されている。

【符号の説明】

【0051】

１０１ 正常組織
１０２ 境界領域組織
１０３ 瘢痕組織
１０４ 発生部位

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【国際調査報告】