(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-07-20
(54)【発明の名称】冠動脈内画像を分析するための方法および装置
(51)【国際特許分類】
A61B 1/045 20060101AFI20220712BHJP
A61B 1/00 20060101ALI20220712BHJP
A61B 1/313 20060101ALI20220712BHJP
【ＦＩ】
A61B1/045 614
A61B1/00 526
A61B1/313 510
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021564579
(86)(22)【出願日】2020-04-30
(85)【翻訳文提出日】2021-12-24
(86)【国際出願番号】 GB2020051051
(87)【国際公開番号】W WO2020222004
(87)【国際公開日】2020-11-05
(31)【優先権主張番号】1906103.5
(32)【優先日】2019-05-01
(33)【優先権主張国・地域又は機関】GB
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
２．ＶＥＲＩＬＯＧ
(71)【出願人】
【識別番号】501484851
【氏名又は名称】ケンブリッジ・エンタープライズ・リミテッド
【氏名又は名称原語表記】ＣＡＭＢＲＩＤＧＥ ＥＮＴＥＲＰＲＩＳＥ ＬＩＭＩＴＥＤ
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】アダム・ウォルフ
(72)【発明者】
【氏名】マーティン・ベネット
【テーマコード（参考）】
4C161
【Ｆターム（参考）】
4C161AA22
4C161BB08
4C161MM10
4C161WW02
(57)【要約】
本技法の実施形態は、たとえば、病気の可能性、病像もしくは事象を予測するために、かつ/または薬物もしくは他の治療の成果を追跡するために、冠動脈内画像を分析するための装置および方法を提供する。この方法は、冠動脈の画像のセット中の各画像に対して、第1のニューラルネットワークを使用して、病変組織の有無について画像を分類するステップと、画像が、病変組織が存在すると分類されるとき、第2のニューラルネットワークを使用して、アーティファクトの有無について画像を分類するステップと、分類ステップに基づいて画像を分析するかどうかを決定するステップと、画像が分類されるとき、第3のニューラルネットワークを使用して、冠動脈組織の関心のある1つまたは複数の特徴を識別することによって画像を分析するステップと、関心のある各識別された特徴を測定するステップとを含む。
【特許請求の範囲】
【請求項1】
冠動脈の画像のセットを分析するための自動化されたコンピュータ実装方法であって、前記画像のセット中の各画像に対して、
第1のニューラルネットワークを使用して、病変組織の有無について前記画像を分類するステップと、
前記画像が、病変組織が存在すると分類されるとき、第2のニューラルネットワークを使用して、アーティファクトの有無について前記画像を分類するステップと、
前記分類するステップに基づいて前記画像を分析するかどうかを決定するステップと、
前記画像が分析されることになるとき、第3のニューラルネットワークを使用して、冠動脈組織の関心のある1つまたは複数の特徴を識別することによって前記画像を分析するステップと、
関心のある各識別された特徴を測定するステップと
を含む、方法。
【請求項2】
前記第2のニューラルネットワークを使用して前記画像を分類する前に、前記画像中の前記冠動脈を複数のサンプルにサンプリングし、前記第2のニューラルネットワークにサンプルのセットを入力するステップをさらに含む、請求項1に記載の方法。
【請求項3】
前記画像を分類するステップが、前記入力セット中の各サンプルにおいて検出可能である冠動脈組織の比率を決定するステップと、
前記決定された比率に基づいて前記画像を分類するステップと
を含む、請求項2に記載の方法。
【請求項4】
複数のトレーニングデータセットサンプルを分析することによって前記画像を分類するために、前記第2のニューラルネットワークをトレーニングするステップをさらに含む、請求項2または3に記載の方法。
【請求項5】
画像が、アーティファクトがあると分類されるとき、前記アーティファクトを補正可能または補正可能ではないとさらに分類する、請求項2から4のいずれか一項に記載の方法。
【請求項6】
前記決定された比率が50%を超えているとき、前記画像が、補正可能なアーティファクトを有すると分類される、請求項3に従属するとき請求項5に記載の方法。
【請求項7】
前記画像を分析する前に、補正可能なアーティファクトを有すると分類された前記画像を補正するステップを含む、請求項5または6に記載の方法。
【請求項8】
補正可能なアーティファクトを有すると分類された画像を補正するステップが、前記識別されたアーティファクトの下にある前記冠動脈組織の詳細を復元するために、前記識別された画像に変分オートエンコーダの敵対的生成ネットワークを適用するステップを含む、請求項7に記載の方法。
【請求項9】
前記画像が、病変組織がないと分類されるとき、前記画像を空白の情報と置き換える、請求項1から8のいずれか一項に記載の方法。
【請求項10】
関心のある各識別された特徴を測定するステップが、線維性組織厚、線維性組織強度、プラーク組成、内腔面積、および病変内腔囲のいずれか1つまたは複数を測定するステップを含む、請求項1から9のいずれか一項に記載の方法。
【請求項11】
前記画像を分析する前に、保持された画像中の前記冠動脈を複数のサンプルにサンプリングするステップと、前記サンプルを前記冠動脈の線形表現で構成するステップとをさらに含む、請求項1から10のいずれか一項に記載の方法。
【請求項12】
前記画像を分析するステップが、回帰バウンディングボックス技法を使用して、前記複数のサンプルの各々において線維性組織と壊死または石灰化組織との境界面を識別するステップ
をさらに含む、請求項11に記載の方法。
【請求項13】
関心のある前記識別された特徴を測定するステップが、前記境界面と前記サンプルのエッジとの距離を測定するステップを含む、請求項12に記載の方法。
【請求項14】
冠動脈の前記画像のセットが、光干渉断層撮影画像である、請求項1から13のいずれか一項に記載の方法。
【請求項15】
各画像が、患者の冠動脈のものであり、前記方法が、関心のある各識別された特徴の前記測定を使用して、前記患者が冠動脈疾患の特定の徴候を示す可能性を決定するステップ
をさらに含む、請求項1から14のいずれか一項に記載の方法。
【請求項16】
前記患者が冠動脈疾患の特定の徴候を示す前記可能性を決定するステップが、第4のニューラルネットワークを使用するステップを含む、請求項15に記載の方法。
【請求項17】
前記第4のニューラルネットワークが、各分析された画像については関心のある各識別された特徴の測定値を、分析されない各画像については空白の情報を、入力として受け取る、請求項16に記載の方法。
【請求項18】
前記冠動脈疾患が心筋梗塞であり、関心のある前記識別された特徴が線維性組織厚である、請求項15から17のいずれか一項に記載の方法。
【請求項19】
前記画像のセットが、第1の時間に取り込まれた患者の冠動脈の画像の第1のサブセットと、第2の、後続の時間における前記患者の前記冠動脈の画像の第2のサブセットとを含み、画像の前記第1のサブセットに対して、関心のある各識別された特徴についての測定の第1のセットを測定するステップと、
画像の前記第2のサブセットに対して、関心のある各識別された特徴についての測定の第2のセットを測定するステップと、
測定の前記第1および第2のセットを使用して、前記冠動脈における変化を決定するステップと
をさらに含む、請求項1から14のいずれか一項に記載の方法。
【請求項20】
前記第1の時間が、治療における第1の段階であり、前記第2の時間が、前記治療における第2の段階であり、いずれかの決定された変化に基づいて前記治療の有効性を決定するステップをさらに含む、請求項19に記載の方法。
【請求項21】
患者の診断の方法であって、前記患者の冠動脈の複数の画像を受け取るステップと、
前記受け取った画像の各々に対して、
第1のニューラルネットワークを使用して、病変組織の有無について前記画像を分類するステップと、
前記画像が、病変組織が存在すると分類されるとき、第2のニューラルネットワークを使用して、アーティファクトの有無について前記画像を分類するステップと、
前記分類に基づいて前記画像を分析するかどうかを決定するステップと、前記画像が分析されるとき、
第3のニューラルネットワークを使用して、線維性組織と壊死または石灰化組織との境界面を識別することによって、前記処理された画像を分析するステップと、
線維性組織厚を測定するステップと、
第4のニューラルネットワークを使用して、前記測定された線維性組織厚に基づいて前記患者を診断するステップと
を含む、方法。
【請求項22】
プロセッサ上に実装されるとき、請求項1から21のいずれかの方法を前記プロセッサに実行させるコードを搬送する非一時的データキャリア。
【請求項23】
冠動脈の画像のセットを分析するための装置であって、冠動脈の画像のセットを取り込むためのイメージングデバイスと
メモリに結合された少なくとも1つのプロセッサであって、
前記画像のセット中の各画像に対して、
第1のニューラルネットワークを使用して、病変組織の有無について前記画像を分類することと、
前記画像が、病変組織が存在すると分類されるとき、第2のニューラルネットワークを使用して、アーティファクトの有無について前記画像を分類することと、
前記分類に基づいて前記画像を分析するかどうかを決定することと、前記画像が分析されるとき、
第3のニューラルネットワークを使用して、冠動脈組織内の関心のある1つまたは複数の特徴を識別し、関心のある各識別された特徴を測定することによって、保持された画像を分析することと
を行うように構成された、少なくとも1つのプロセッサと
を備える、装置。
【請求項24】
前記イメージングデバイスが、光干渉断層撮影デバイスである、請求項23に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、たとえば、病気の可能性、病像(disease presentation)もしくは事象を予測するために、かつ/または薬物もしくは他の治療の成果を追跡するために、冠動脈内画像を分析するための方法および装置に関する。
【背景技術】
【0002】
それの罹患率にもかかわらず、冠動脈疾患(CAD)における臨床事象の予測は、一般的に人口統計に基づいている。より最近では、そのような予測は、たとえば、Lancet 376、1393～1400(2010)に公開された、Ripattisらによる「Multilocus genetic risk score for coronary heart disease: case-control and prospective cohort analyses」、またはCirc. Cardiovasc. Genet. 5、113～21(2012)に公開された、Thanassoulisらによる「A genetic risk score is associated with incident cardiovascular disease and coronary artery calcium: the Framingham Heart Study」に記載されているように、重畳された遺伝的危険スコアを有する可能性がある。
【0003】
高分解能の冠動脈内イメージングが、個別化されたリスク予測を目指して患者固有の特徴を取り込むために使用される場合があるが、臨床医の解釈を必要とする。たとえば、JACC Cardiovasc Imaging 7、397～405(2014)に公開された、Xieらによる「Clinical outcome of nonculprit plaque ruptures in patients with acute coronary syndrome in the PROSPECT study」に記載されているように、アテローム性動脈硬化の範囲およびタイプに関する患者固有のデータを提供するために、冠動脈内イメージングが使用されてきた。しかしながら、報告されているように、自然な経過の研究において識別される「ハイリスク」アテローム動脈硬化性プラークの20%未満しか、5年にわたり患者事象をもたらさなかった。不十分な成果は、ハイリスクのイメージング特徴が確認されないこと、不十分な観察者内再現性での臨床医の解釈、イメージングアーティファクト、および空間分解能が低いことを含む、複数の要因に起因している可能性がある。
【0004】
光干渉断層撮影(OCT:optical coherence tomography)などの高分解能のイメージングの別の使用については、Circ J 74、2641～2648(2010)に公開された、川崎らによる「Tissue characterization of coronary plaques and assessment of thickness of fibrous cap using integrated backscatter intravascular ultrasound. Comparison with histology and optical coherence tomography」に記載されている。OCTは、組織成分を視覚化し、異なるプラークタイプを識別するために使用される。しかしながら、大量のイメージングデータセットが生成され、詳細な臨床医解釈には、病気の小さい領域しか選択されない。Int J Comput Assist Radiol Surg 10、1383～1394(2015)に公開された、Zahndらによる「Quantification of fibrous cap thickness in intracoronary optical coherence tomography with a contour segmentation method based on dynamic programming」、またはInt J Comput Assist Radiol Surg (2017). doi:10.1007/s11548-017-1657-7に公開された、Zahndらによる「Contour segmentation of the intima, media, and adventitia layers in intracoronary OCT images: application to fully automatic detection of healthy wall regions」に記載されているように、自動化に向かって試みが行われてきた。しかしながら、これらの記事において説明されているように、臨床診療に見られるアーティファクトの頻度と変化の両方が、半自動化された分析さえ、臨床医による領域選択および解釈、または完全な冠動脈構造に関する限定的な分析を必要とすることを意味する。
【0005】
背景情報は、血管の画像において血管内の位置の内腔境界を自動的に特定し、それから血管の直径を測定する方法および装置について説明する米国特許出願公開第2014/276011号、血管内OCT像から抽出された特徴を使用して血管内プラークを自動的に分類するための方法および装置について説明する米国特許出願公開第2017/309018号、深層学習に基づいて心臓血管OCT画像から不安定プラークを検出するための方法およびシステムについて説明するCN108961229、および冠動脈アテローム動脈硬化性プラークの成長を予測するための方法について説明するCN109091167に見つけることができる。さらなる背景情報は、脈管構造情報を抽出するために血管造影画像データを分析するシステムおよび技法について説明する米国特許出願公開第2017/0148158号に見つけることができ、その場合血管造影は、血管および器官の内側または内腔を視覚化するために脈管構造を通って流れる造影剤のX線画像を含む。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】米国特許出願公開第2014/276011号
【特許文献2】米国特許出願公開第2017/309018号
【特許文献3】CN108961229
【特許文献4】CN109091167
【特許文献5】米国特許出願公開第2017/0148158号
【非特許文献】
【0007】
【非特許文献1】Ripattisら、「Multilocus genetic risk score for coronary heart disease: case-control and prospective cohort analyses」、Lancet 376、1393～1400(2010)
【非特許文献2】Thanassoulisら、「A genetic risk score is associated with incident cardiovascular disease and coronary artery calcium: the Framingham Heart Study」、Circ. Cardiovasc. Genet. 5、113～21(2012)
【非特許文献3】Xieら、「Clinical outcome of nonculprit plaque ruptures in patients with acute coronary syndrome in the PROSPECT study」、JACC Cardiovasc Imaging 7、397～405(2014)
【非特許文献4】川崎ら、「Tissue characterization of coronary plaques and assessment of thickness of fibrous cap using integrated backscatter intravascular ultrasound. Comparison with histology and optical coherence tomography」、Circ J 74、2641～2648(2010)
【非特許文献5】Zahndら、「Quantification of fibrous cap thickness in intracoronary optical coherence tomography with a contour segmentation method based on dynamic programming」、Int J Comput Assist Radiol Surg 10、1383～1394(2015)
【非特許文献6】Zahndら、「Contour segmentation of the intima, media, and adventitia layers in intracoronary OCT images: application to fully automatic detection of healthy wall regions」、J Comput Assist Radiol Surg (2017). doi:10.1007/s11548-017-1657-7
【非特許文献7】Tearneyら、「Consensus standards for acquisition, measurement, and reporting of intravascular optical coherence tomography studies: a report from the International Working Group for Intravascular Optical Coherence Tomography Standardization and Validation」、J. Am. Coll. Cardiol. 59、1058～1072(2012)
【非特許文献8】Fiijiら、「Assessment of Thin-Cap Fibroatheroma Distribution in Native Coronary Arteries」、JACC Cardiovasc. Imaging 3、168～175(2010)
【非特許文献9】Larsenら、「Autoencoding beyond pixels using a learned similarity metric」、2015年
【非特許文献10】Farbら、「Vulnerable Plaque: The Pathology of Unstable Coronary Lesions」、J. Interv. Cardiol. 15、439～446(2002)
【非特許文献11】Virmaniら、「Lessons from sudden coronary death: a comprehensive morphological classification scheme for atherosclerotic lesions」、Arterioscler. Thromb. Vasc. Biol. 20、1262～1275(2000)
【発明の概要】
【発明が解決しようとする課題】
【0008】
本出願者は、高分解能の冠動脈内イメージングを分析する新規の自動化された方法の必要を認識した。
【課題を解決するための手段】
【0009】
本発明によれば、添付の特許請求の範囲に記載した装置および方法が提供される。本発明の他の特徴は、従属請求項および以下の説明から明らかとなる。
【0010】
冠動脈の画像のセットを分析するための自動化されたコンピュータ実装方法について説明し、この方法は、画像のセット中の3つの画像のセットごとに、第1のニューラルネットワークを使用して、病変組織の有無について画像セットを分類するステップと、セットが、病変組織が存在すると分類されるとき、第2のニューラルネットワークを使用して、アーティファクトの有無についてセットを分類するステップと、分類に基づいて画像を分析するかどうかを決定するステップと、画像が分類されるとき、第3のニューラルネットワークを使用して、冠動脈組織の関心のある1つまたは複数の特徴を識別することによって画像を分類するステップと、関心のある各識別された特徴を測定するステップとを含む。
【0011】
また、冠動脈の画像のセットを分析するための装置について説明し、この装置は、冠動脈の画像のセットを取り込むためのイメージングデバイスと、メモリに結合された少なくとも1つのプロセッサであって、画像のセット中の画像ごとに、第1のニューラルネットワークを使用して、病変組織の有無について画像を分類することと、画像が、病変組織が存在すると分類されるとき、第2のニューラルネットワークを使用して、アーティファクトの有無について画像を分類することと、分類に基づいて画像を分析するかどうかを決定することと、画像が分析されるとき、冠動脈組織の関心のある1つまたは複数の特徴を識別するために、第3のニューラルネットワークを使用して画像を分析することと、関心のある各識別された特徴を測定することとを行うように構成された少なくとも1つのプロセッサとを備える。
【0012】
そのような自動化された方法または装置は、画像取得後の操作者の関与から解放され得、したがって広範囲のデータセットに適用可能であり得る。画像のセットは、完全なまたは部分的なプルバックであってもよい。
【0013】
画像を分類する前に、画像中の冠動脈は、複数のサンプルにサンプリングされてもよい。サンプルのセット、たとえば3つのサンプルが、画像を分類するために第2のニューラルネットワークのバージョンに入力されるが、サンプルでトレーニングされてもよい。各サンプルは、長方形のセグメントであってもよく、上エッジを動脈の内腔エッジと位置合わせされてもよい。
【0014】
第2のニューラルネットワークを使用して画像を分析するステップは、入力セット中の各サンプルにおいて検出可能である冠動脈組織の比率を決定するステップと、決定された比率に基づいて画像を分類するステップとを含んでもよい。第2のニューラルネットワークは、教師あり学習アルゴリズムを使用して複数のトレーニングデータセットサンプルを分析することによって画像を分類してもよい。画像を分類するステップは、たとえば、下にある組織が検出されたかどうかに基づいて、いかなる存在しているアーティファクトも補正可能または補正可能ではないとして分類するステップを含んでもよい。補正可能なアーティファクトは、病巣アーティファクト(たとえば、病巣内腔残留血液および結果として生じた病巣組織陰影)または動脈の構造上の構成要素(たとえば、イメージングデバイス(たとえばOCTカテーテル)と関心領域との間に動脈組織が現れている、すなわちOCTカテーテルが一部分は分枝/分岐内にある場合に見られる)によって生成される場合があり、補正可能ではないアーティファクトは、医療構造上の構成要素(たとえばステント、ガイドカテーテル)によって生成される場合がある。トレーニングのために、アーティファクトが豊富な比較状態とアーティファクトがない比較状態の両方を生成する繰返しの患者プルバックからの豊富なデータがある。たとえば、画像は、観察可能な組織の決定された比率が50%を超えるが100%未満である、すなわち少なくとも半分のサンプルが下にある組織を示すとき、補正可能なアーティファクトを有すると分類されてもよい。決定された比率が約0%である、すなわち下にある組織を示すサンプルがほとんどないとき、画像は、補正可能ではないアーティファクトを有すると分類されてもよい。
【0015】
画像が補正可能なアーティファクトを含むとき、方法は、画像を分析する前に、補正可能なアーティファクトを有すると分類された画像を補正するステップをさらに含んでもよい。画像を補正するステップは、識別されたアーティファクトの下にある冠動脈組織の詳細を復元するために、識別された画像に変分オートエンコーダの敵対的生成ネットワークを適用するステップを含んでもよい。たとえば、ネットワークは、画像に挿入される交換サンプルを生成してもよい。交換サンプルが生成されない可能性がある場合、サンプルは、補正可能ではないアーティファクトを含むと分類されてもよい。
【0016】
画像が、病変組織がないと分類されるとき、画像は、空白の情報と置き換えられてもよい。したがって、画像のセットと同数の入力が保たれる。
【0017】
関心のある各識別された特徴を測定することは、線維性被膜/組織厚、線維性組織ピクセル強度および厚さ、プラーク組成、内腔面積、ならびに病変内腔囲のうちのいずれか1つまたは複数を測定することを含んでもよい。
【0018】
この方法は、画像を分析する前に、画像中の冠動脈を内腔の周囲の複数のサンプルにサンプリングするステップと、サンプルを冠動脈の線形表現で構成するステップとをさらに含んでもよい。サンプリングは、上述のサンプリングと同じであってもよい。処理された画像を分析するステップは、回帰バウンディングボックス技法を使用して、複数のサンプルの各々において線維性組織と壊死または石灰化組織との間の境界面を識別するステップをさらに含んでもよい。関心のある識別された特徴を測定するステップは、境界面と内腔エッジとの距離を決定するために、すなわち、線維性組織の厚さを決定するために、境界面とサンプルのエッジとの距離、および内腔エッジとサンプルのエッジとの距離を測定するステップを含んでもよい。線維性被膜が、壊死/脂質組織の上を覆っている線維性組織として定められてもよい。線維性組織のこのサブセットについては、測定は、線維性被膜の厚さであってもよい。
【0019】
冠動脈の画像は、光干渉断層撮影画像であってもよい。
【0020】
分析の多くの適用例があり得る。たとえば、この方法は、壊死性コア/脂質、もしくはカルシウムの上を覆っている線維性組織である可能性がある、関心のある各識別された特徴の測定を使用して、患者が冠動脈疾患の特定の兆候を示す、または近い将来急性心臓事象(たとえば心臓発作)を有する可能性を、たとえば第4のニューラルネットワークを使用して決定するステップをさらに含んでもよい。冠動脈疾患は、安定狭心症、非ST上昇型心筋梗塞(NSTEMI:non-ST elevation myocardial infarction)またはST上昇型心筋梗塞(STEMI)である場合がある。そのような第4のニューラルネットワークは、独立した系列分類器(independent series classifier)であってもよい。第4のニューラルネットワークは、各分析された画像については関心のある各識別された特徴の測定値を、分析されない各画像については空白の情報を入力として受け取ってもよい。唯一の入力は測定値、および任意の空白情報であり、したがって決定は、元の患者もしくはプルバックコンテキスト、または事象後の発見に混乱することと無関係に患者プレゼンテーション(patient presentation)を識別する。これは、たとえば、操作者の測定に起因するバイアスおよび/または動脈入力のコンテキストに由来する、たとえばプレゼンテーションに関連するアーティファクトによるバイアスを除去することによって、バイアスのないデータに基づく予測を生み出す。
【0021】
別の適用例は、たとえば薬および/もしくは他の治療に応じて、または冠動脈の研究(自然な経過)につれて、経時的に冠動脈における変化を決定することである。画像または画像のセットは、第1の段階(たとえば、治療の第1の段階)の患者の冠動脈の画像の第1のセットまたはサブセットと、少なくとも第2の後続の段階の患者の冠動脈の画像の少なくとも第2のセットまたはサブセットとを含んでもよい。患者の画像は、3つ以上の段階または時点において取得される/取り込まれる場合があり、したがって、画像または画像のセットは、第1の段階、第2の段階、第3の段階、第4の段階などの患者の画像を含む場合があることは理解されよう。第1の段階の患者の画像の第1のサブセットは、第1の時間(たとえば、治療の第1の段階または第1の時点)に取り込まれる場合があり、画像の第2のサブセットは、少なくとも第2の時間(たとえば、治療の第2、第3、第4、もしくはその後の段階、または第2、第3、第4、もしくはその後の時点)に取り込まれる場合がある。
【0022】
方法は、画像の第1のセット(またはサブセット)について関心のある各識別された特徴についての測定値の第1のセットを測定するステップと、画像の少なくとも第2のセット(またはサブセット)について関心のある各識別された特徴についての測定値の少なくとも第2のセットを測定するステップと、測定値の第1および少なくとも第2のセットを使用して、たとえば治療が適用される場合、治療の有効性に関係し得る、冠動脈におけるいかなる変化も決定するステップとをさらに含んでもよい。したがって、第1の時間は、治療の第1の段階であり、第2の時間は、治療の第2の段階である。決定するステップは、任意の時間/段階に取り込まれた画像を使用し、測定の任意の数のセットを使用して行われ得ることは理解されよう。たとえば、患者の冠動脈の画像のセットが、治療プロセスの開始時、治療プロセス中の1つまたは複数の中間点、および治療プロセスの終わりに取り込まれてもよい。画像のこれらのセット(または画像と関連する測定値のセット)の任意の2つ以上が、冠動脈における変化を決定するために比較されてもよい。たとえば、治療の開始時と終わりの画像のセットが比較されてもよく、または開始時と中間点、もしくは中間点と終わり、もしくは中間点間、もしくは開始と、各中間点と、終わりとの間で、比較されてもよい。任意の2つ以上の時点で取り込まれた画像の任意の2つ以上のセットまたはサブセットが、冠動脈における変化を決定するために使用され得ることは理解されよう。
【0023】
別の適用例は、患者の診断の方法であって、この方法は、患者の冠動脈の複数の画像を受け取るステップと、受け取った画像の各々に対して、第1のニューラルネットワークを使用して、病変組織の有無について画像を分類するステップと、画像が、病変組織が存在すると分類されるとき、第2のニューラルネットワークを使用して、アーティファクトの有無について画像を分類するステップと、分類に基づいて画像を分析するかどうかを決定するステップと、画像が分析されるとき、線維性組織と壊死、脂質、または石灰性の組織との境界面を識別するために、第3のニューラルネットワークを使用して、処理された画像を分析するステップと、線維性組織または被膜厚を測定するステップと、測定された線維性組織/被膜厚に基づいて患者を診断するステップとを含む。たとえば、診断するステップは、第4のニューラルネットワーク、たとえば、1つまたは複数の心臓病を有する患者からの測定値でトレーニングされたニューラルネットワークを使用して行われてもよい。
【0024】
別の適用例は、1つまたは複数の心臓病(たとえば安定狭心症、非ST上昇型心筋梗塞(NSTEMI)またはST上昇型心筋梗塞(STEMI))を有する患者を診断するステップと、診断に基づいて患者を治療するステップとを含む、患者の治療の方法である。同様に、別の適用例は、特定の心臓病の可能性が高いと予測された患者の治療の方法であり、予測に基づいて患者を治療することである。
【0025】
当業者には諒解されるように、本発明は、システム、方法、またはコンピュータプログラム製品として具体化されてもよい。したがって、本発明は、完全にハードウェア実施形態、完全にソフトウェア実施形態、またはソフトウェア態様とハードウェア態様を組み合わせた実施形態の形をとる場合がある。
【0026】
さらに、本発明は、コンピュータ可読プログラムコードを包含したコンピュータ可読媒体において具体化されるコンピュータプログラム製品の形態をとることができる。コンピュータ可読媒体は、コンピュータ可読信号媒体、またはコンピュータ可読記憶媒体であってもよい。コンピュータ可読媒体が、たとえば、限定はしないが、電子、磁気、光、電磁気、赤外線、もしくは半導体のシステム、装置、もしくはデバイス、または上記の任意の好適な組合せであってもよい。
【0027】
本発明の動作を実行するためのコンピュータプログラムコードは、オブジェクト指向プログラミング言語、および伝統的な手続き型プログラミング言語を含む、1つまたは複数のプログラミング言語の任意の組合せで書かれてもよい。コードコンポーネントは、プロシージャ、メソッドなどとして包含されてもよく、ネイティブの命令セットのダイレクトマシン命令から、ハイレベルのコンパイル型またはインタープリタ型言語構成まで、抽象レベルのいずれかにおける命令または命令のシーケンスの形態をとるサブコンポーネントを含んでもよい。
【0028】
本発明の実施形態はまた、プロセッサ上に実装されるとき、本明細書で説明する方法のいずれかをプロセッサに実行させるコードを搬送する非一時的データキャリアを提供する。
【0029】
本発明はさらに、たとえば汎用のコンピュータシステムに、またはデジタル信号プロセッサ(DSP)に、本明細書で説明する方法を実装するためにプロセッサ制御コードを提供する。本発明はまた、実行時に、本明細書で説明する方法のいずれかを実施するプロセッサ制御コードを、詳細には非一時的データキャリア上で搬送するキャリアを提供する。コードは、ディスク、マイクロプロセッサ、CD-ROMもしくはDVD-ROM、不揮発性メモリ(たとえばフラッシュ)もしくは読取り専用メモリ(ファームウェア)などのプログラムされたメモリなどのキャリア上で、または光もしくは電気信号キャリアなどのデータキャリア上で提供されてもよい。本明細書で説明する技法の実施形態を実装するコード(および/またはデータ)は、python、Cなど、従来のプログラミング言語(インタープリタ型またはコンパイル型)のソース、オブジェクト、もしくは実行可能コード、またはアセンブリコード、ASIC(特定用途向け集積回路)もしくはFPGA(フィールドプログラマブルゲートアレイ)を設定もしくは制御するためのコード、またはVerilog(RTM)もしくはVHDL(Very high speed integrated circuit Hardware Description Language:超高速集積回路ハードウェア記述言語)などのハードウェア記述言語用のコードを含んでもよい。当業者には諒解されるように、そのようなコードおよび/またはデータは、互いに通信している複数の結合された構成要素間で配布されてもよい。本発明は、システムの構成要素の1つまたは複数に結合されたマイクロプロセッサ、ワーキングメモリ、およびプログラムメモリを含むコントローラを含んでもよい。
【0030】
本発明の実施形態による論理的方法の全部または一部が、上述の方法のステップを行うための論理要素を備える論理的装置において好適に具体化され得ること、およびそのような論理要素が、たとえば、プログラマブル論理アレイまたは特定用途向け集積回路において論理ゲートなどの構成要素を備え得ることもまた、当業者には明らかであろう。そのような論理構成はさらに、たとえば仮想ハードウェア記述言語(virtual hardware descriptor language)を使用してそのようなアレイまたは回路に論理構造を一時的または永続的に確立するための可能化要素(enabling element)において具体化されてもよく、これは固定のまたは送信可能なキャリア媒体を使用して記憶および送信されてもよい。
【0031】
一実施形態では、本発明は、複数のプロセッサまたは制御回路を使用して実装されてもよい。本発明は、装置のオペレーティングシステム上で動作する、またはこれに組み込まれるように構成されてもよい。
【0032】
一実施形態では、本発明は、機能的データをその上に有するデータキャリアの形態で実現されてもよく、上記機能的データは、コンピュータシステムまたはネットワークにロードされ、それによって作動されるとき、上記コンピュータシステムが本明細書で説明する方法のすべてのステップを行うことを可能にする、機能的コンピュータデータ構造を含む。
【0033】
より良い理解のために、および実施形態がどのように実行に移され得るかを示すために、次に、単に例として、添付の概略の図面を参照する。
【図面の簡単な説明】
【0034】
【図1a】動脈の複数の画像が取り込まれている概略図である。
【図3a】動脈の縦断面および側面図である。
【図3e】セグメントを示したアーティファクトの画像である。
【図4a】異なるタイプのアーティファクトを有する断面のOCT画像である。
【図4b】異なるタイプのアーティファクトを有する断面のOCT画像である。
【図4c】異なるタイプのアーティファクトを有する断面のOCT画像である。
【図4d】異なるタイプのアーティファクトを有する断面のOCT画像である。
【図5a】NSTEMIおよびSTEMI患者についての線維性被膜厚(FCT)のバイオリン図である。
【図5b】NSTEMIを示す患者の動脈を通る断面の画像である。
【図5c】STEMIを示す患者の動脈を通る断面の画像である。
【図5d】NSTEMIを示す患者についての、動脈の長さに沿って、中央の基線に位置合わせされたFCTヒートアップのプロットである。
【図5e】STEMIを有する患者についての、動脈の長さに沿って、中央の基線に位置合わせされたFCTヒートアップのプロットである。
【図5f】安定狭心症を有する患者についての、動脈の長さに沿って、中央の基線に位置合わせされたFCTヒートアップのプロットである。
【図6a】偏心線維性アテローム(eccentric fibroatheroma)のポイントにおいて死後の生体外で(post-mortem ex vivo)取得されたOCT画像を示す図である。
【図6d】死後の生体外で取得されたOCT画像の共同登録されたスライスで組織構造について手動で測定されたFCTと比較された、図1cの方法によって計算された最小10個のFCT測定値をプロットした図である。
【図6f】異なるセンターからの独立した心臓専門医によって手動で測定されたFCTと比較された、図1cの方法によって計算されたFCT測定値間の差を示す、変動する平均FCTを有するブランド-アルトマンプロットである。
【図6g】2人の異なる臨床医からのFCT測定値をプロットした図である。
【図6h】FCT測定が同日の異なる時間に行われるときの平均FCTの変動を示すプロットである。
【図7a】ステント後とステント前の平均FCT測定値をプロットした図である。
【図7b】ステント留置後3カ月およびステント留置直後に測定された平均FCTをプロットした図である。
【図8】独立した非ST上昇型心筋梗塞データセットに適用される3つの分類モデルの性能についての受信者動作曲線(receiver operating curve)をプロットした図である。
【図9a】治療前のベースラインと治療後のフォローアップとの間の異なる厚さしきい値におけるFCTの測定頻度の箱ひげ図である。
【図9b】治療前のベースラインと治療後のフォローアップとの間のFCTの一人の患者のフレームに関する図である。
【図9c】治療前のベースラインと治療後のフォローアップとの間の脂質の頻度の箱ひげ図である。
【図9d】治療前のベースラインと治療後のフォローアップとの間の石灰化した部位(calcification)の頻度の箱ひげ図を示す図である。
【発明を実施するための形態】
【0035】
図1aは、複数の画像10(画像のセットまたは画像フレームとも呼ばれる)が取り込まれた動脈12を示している。図のように、画像10は、動脈12の長さに沿って一定の間隔で取り込まれる。画像の数は、単に例示であって、画像は動脈の長さの全部または一部に沿って取り込まれる場合があることは諒解されよう。セットは、したがって動脈の長さに沿った全体または部分的プルバックを表す場合がある。さらに、画像間の間隔は、必要に応じて変えられてもよい。
【0036】
図1bは、動脈から取り込まれた画像を取り込み、処理するためのシステムを概略的に示す。そのような画像は、動脈の内腔16内に挿入される光干渉断層撮影(OCT)デバイス14を使用して取り込まれてもよく、画像は、デバイス14が動脈を通ってプルバックされるとき取り込まれる。たとえば、20mm/sの測度でのプルバックが約2.5秒続き、血管の約72mmのイメージングを可能にする。以下でより詳細に説明するように、システムは、動脈の内壁を覆うプラーク領域18の厚さを分析するために使用されてもよい。概略的に示すように、アテローム動脈硬化性プラークは、一般的に偏心性であって、組成が変化し、組織の特徴の視覚化を困難にする場合がある。OCTデバイス14は、ガイドカテーテル42を含み、このガイドカテーテル42は、カテーテル42の影領域44でOCT情報が取り込まれるのを妨げる。さらに、以下でより詳細に説明するように、同様に影領域48で取り込まれるOCT情報を妨げる1つまたは複数のアーティファクト46が存在する場合がある。OCTフレームは、たとえば、J. Am. Coll. Cardiol. 59、1058～1072(2012)に公開された、Tearneyらによる「Consensus standards for acquisition, measurement, and reporting of intravascular optical coherence tomography studies: a report from the International Working Group for Intravascular Optical Coherence Tomography Standardization and Validation」に記載されているように、標準的な技法を使用して、たとえば1250～1350nmの波長を有する近赤外線を使用して取り込まれてもよい。
【0037】
取り込まれた画像は、OCTデバイス14に対してリモートである、たとえば異なる場所にある場合がある、またはOCTデバイス14に対して少なくとも部分的にローカルである(たとえば患者に隣接して位置している)場合がある別個の分析デバイス20において処理または分析されてもよい。リモートの分析デバイス20を使用すると、より強力なリソースへアクセスできるようになる可能性があり、生データがより速く処理され得るようになる。ローカルプロセッサは、ワイヤレス接続のないエリアで使用できるという利点がある。したがって、ローカルとリモートの両方の処理が行われ得る。分析デバイス20は、ハードウェアに、たとえばサーバなどのコンピューティングデバイスとして実装されてもよく、またはクラウドに実装されてもよい。
【0038】
分析デバイス20は、プロセッサ22、ユーザインターフェース24、ストレージ26、および通信インターフェース28などの標準構成要素を含んでもよい。ユーザインターフェース24は、タッチセンサー式ディスプレイ画面、音声入力、キーボード入力などを含む任意の標準インターフェースであってもよい。同様に、ストレージ26は、RAMおよびROMを含む場合がある従来のメモリであってもよい。通信は、任意の好適なプロトコル、たとえばWi-Fi、Bluetooth、または有線接続によるものであってもよい。
【0039】
分析デバイス20は、デバイス上で実行されることになるモジュールを記憶するためのストレージ32をさらに含む。たとえば、ストレージ32は、デバイスが動作できるようにするオペレーティングシステムモジュール34を含んでもよい。ストレージ32はまた、以下で説明するように画像からアーティファクトを除去するために使用され得るアーティファクトモジュール36を含んでもよい。また、以下で説明するように、プラーク領域(たとえば線維性組織層)と下にある層との境界面を決定または取得するための測定モジュール38があってもよい。また、以下で説明するように、様々な予測を行うために測定モジュールからの測定値を使用する予測モジュール40がある。また、以下で説明するように、各フレームを分類するために使用されるフレームに関するモジュール41があってもよい。アーティファクトモジュール36、測定モジュール38、予測モジュール40、およびフレームに関するモジュールの各々が、ニューラルネットワークまたは他の適切な人工知能システムとして実装されてもよく、各々が、他のものとは独立して動作することができ、適切な入力が提供される。言い換えれば、入力は、ピアニューラルネットワークからである必要はなく、他の生成物であってもよい、または独立した有用な最終出力を生成してもよい。
【0040】
図1bのシステムは、ディープニューラルネットワークを使用するOCTベースの冠動脈アテローム動脈硬化性プラーク分析のための、完全に独立したモジュール式マルチメトリック自動分析システムであると考えられてもよい。OCT画像を分析するために使用される3つのツールは、アーティファクト(アーティファクト識別子と呼ばれることもある)、測定モジュール、および予測モジュール(プレゼンテーション予測器と呼ばれることもある)である。以下でより詳細に説明するように、入力は、ミクロンレベルの測定およびコンテキストフリーの分類を生成するために分析される動脈全体プルバックを含む。図1cは、上記のシステムを使用して実装され得る、画像を処理または分析するための方法を示している。第1のステップ(S100)において、画像の入力プルバックセットが受け取られる。画像は、上記で説明したように患者の動脈内にある画像システムから取得され得る。画像のセットは、患者の動脈の断面に沿って撮影された標準的な数の画像を含んでもよく、たとえばいくつかの知られているデバイスではこれは270の画像であるが、これは例示的な数にすぎないことは諒解されよう。OCTデバイス14によって取り込まれた、動脈12の壁10の画像を示す、図2aに示されたフレームなどの単一のフレームが、したがって画像のセットから抽出され得る(ステップS102)。一般に、OCT画像は、グレースケールとして取り込まれるが、臨床医が画像を検討するのをより容易にするために画像に擬似着色が施されてもよい。たとえば、この画像では、画像にオレンジ色がつけられているが、これは標準ではなく特定のOCT提供者の選択にすぎない。他のOCT提供者は、常にグレーのOCTフレームを生成する。
【0041】
次いで、3つのカテゴリ、すなわち病気あり、病気なし(すなわち健康)、または肉眼で見える(gross)アーティファクト(すなわちフレーム全体にわたるアーティファクト)のうちの1つに画像を位置づけるために、入力画像のオプションの最初のフレーム単位の分類(frame wise classification)があってもよい。肉眼で見えるアーティファクトは、ステントおよび/またはガイドカテーテルなどの大きな「構造上の」アーティファクトからもたらされるものである場合がある。最初のフレーム単位の分類は、適切にトレーニングされたニューラルネットワークによって行われてもよい。そのような最初のフレーム単位の分類は、スクリーニングステップとして働く場合があり、病気のように見える可能性があり、それらが含まれる場合はその後の処理において誤った測定の原因となり得る支配的なフレーム構成要素を見つける場合がある。そのような肉眼で見えるアーティファクトは、以下で説明するサンプリングを適用した後ではなく、フレーム全体のより大きいコンテキストにおいてより識別しやすい可能性がある。フレーム単位の分類器は、3つのグループのフレームを受け入れてもよい。
【0042】
フレーム単位の分類は、病気の性質に関係する場合もある。たとえば、サンプルは、関心のない病気、たとえば、別個の線維性組織の覆いがない病理学的内膜肥厚を表しているとして分類される場合もある。このようにして分類されるフレームは、「健康」の分類の傘下であってもよい。代替的に、そのようなフレームは、以下で説明するように、フレーム内の情報を測定する試みに着手するときに識別されてもよい。たとえば、組織-組織の境界面(すなわち線維性組織と壊死組織)がないという理由で試みが失敗する場合、フレーム(またはフレーム内のサンプル)は、この分類の下に分類されてもよい。
【0043】
フレーム単位の分類は、次いで、フレームをさらに処理するべきか否かを決定するために使用される(ステップS106)。フレームのさらなる処理が必要とされない場合、方法は、フレームのセット中の別の入力フレームを検討するためにステップS102にループバックしてもよい。たとえば、健康と分類されたフレームまたは肉眼で見えるアーティファクトを有すると分類されたフレームは、両方とも有用な情報がないと考えられ得るので、さらに処理されなくてもよい。しかしながら、そのようなフレームがそれ以上処理されないことになる前には、3つの連続したフレームが健康と分類されるという必要条件があってもよい。そのようなそれ以上処理されないフレームは、無視または廃棄されると考えられてもよい。しかしながら、これらの廃棄されるフレームは、フレームのセットが最後の予測段階に入力されるとき、空白として表されてもよい。したがって、予測モジュールへの入力は、病気の範囲にかかわらずすべて同じ縦寸法である。どのフレームが病気を含んでいないかを識別することは、効率/速さのために役立つ可能性があり、すなわち、特徴の測定などの後続の処理は、プルバック全体ではなく、病気のある一連のフレームにのみに着手され得る。臨床医に表示するフレームをラベル付けすることなど、これらの肉眼的分類(gross classification)を他に付随的に使用することもまたあり得る。さらに、ステント、カテーテル、または分枝/分岐などの支配的な構造上の特徴を有すると識別される画像が、異なる時間、たとえばステント挿入前と挿入後3カ月に撮影された同じ動脈に由来するプルバックを位置合わせするのに役立つ場合がある。
【0044】
病気ありと分類されるフレームは、補正の可能性がある局部的な(より細かい)アーティファクトを有する場合がある。これらのフレームは、したがってさらに処理される。次のステップS108は、図2bに概略的に示すように、血管の壁(wall vessel)を仮想的に広げることによって、受け取ったフレームを再構成することである。図のように、外観は、単一の縦の切り込みを有する動脈を開いてそれを平らに広げた外観と同様である。この再構成は、図2cに示すように、一連の同質の位置合わせされた平らなストリップをもたらす。したがって、再構成は、受け取ったフレームをサンプリングまたは抽出し、複数のサンプル(またはストリップまたはセグメント－これらの用語は区別なく使用され得る)にするサンプリングステップであると考えられ得る。サンプルは一貫して、組織境界面(すなわち内腔エッジ)までの内腔であり得る、位置合わせされたベースラインに沿って置かれる。各セグメントは、ミクロンサイズであってもよく、たとえば約80μmの幅を有する。そのような調整は、ニューラルネットワークが入力としてサンプルを受け取ったとき、ネットワークがOCT光受容器およびそれの動きなどの無関係な特徴ではなくタスク(すなわち動脈疾患の学習)に集中し得ることを確実にする。次いでサンプルの少なくとも1つが、図3aから図3hに関してより詳細に説明するように分類され得る(ステップS110)。この局部分類は、各サンプルにアーティファクトがあるか否かを決定することを含んでもよい。サンプルは、アーティファクトがない、補正可能なアーティファクトを有する、または補正可能でないアーティファクトを有するとして分類されてもよい。次のステップは、これらのフレームをさらに処理するか否かを決定すること、すなわち画像内の特徴を測定するか否かを決定することであってもよい(ステップS112)。
【0045】
使用不可能なフレームおよび/またはサンプルを除去するこれらの段階は、画像をきれいにするための前処理であると考えられ得る。次いで各OCTフレームのミクロンサイズの組織領域は、たとえば細胞壁を分類するためにかつ/または線維細胞の厚さを測定するために、以下で説明するように処理されてもよい。図示のように、無関係な内腔空間は、事実上廃棄され得るが、十分な基本的OCT分解能は、動脈壁を分析するために使用され得る。
【0046】
セグメントごとに、線維性被膜組織と下にある層(たとえば壊死性コアまたはカルシウム)との間の境界面50が測定されてもよい。境界面は、各組織構成要素の個々の測定ベクトルの1つの特徴であり得る。組織平面の識別は、エッジ検出器を用いてすでに試みられている。図2dに示すように、左側のセグメントは、OCT画像でかすんで見える右側のセグメントよりも境界がはっきりしたエッジを有する。より境界がはっきりしたエッジの場合でさえ、線維性組織のすぐ下にあるカルシウムは、内弾性板(internal elastic lamina)、ガイドワイヤ、および他のアーティファクトとエッジ勾配特性を共有し、したがってエッジは不正確に識別される可能性がある。さらに、典型的なエッジがない、線維性組織と脂質の多いコアとの間の境界面を有するセグメントの場合、エッジ検出は効果的ではない場合がある。この方法では、境界面およびベクトルの他の特徴を決定するために、ニューラルネットワークが使用されてもよい。
【0047】
たとえば、Girschickにより2015年に公開されたFast R-CNNに記載されている手法のような回帰バウンディングボックス手法を使用するニューラルネットワークが、(それぞれソフトエッジ勾配またはハードエッジ勾配に対応する)線維性組織と壊死組織との間の、または線維性組織と石灰性組織との間の境界面を識別するために使用されてもよい。上記で説明したように、すべてのサンプル(すなわちネットワーク入力)は同じサイズであり、元の画像に比べて簡略化されたそのような画像セグメントの使用は、より単純なニューラルネットワークが使用され得ることを意味する。たとえば、ニューラルネットワークは、約15層を有してもよい。
【0048】
図2eを参照すると、関心のある距離は、線維性組織と下にある層との間の、内腔エッジ10の下の線維性組織の厚さdである。線維性組織(すなわちプラーク領域)は、内腔10および境界面50(または組織側(abluminal)エッジ)によって境界をつけられる。内腔エッジと内腔通路の周囲の組織側エッジの両方と交差し、OCTデバイス14の中心(すなわち光源の中心)のインデックス位置から始まる走査線に対して、有効な厚さが認められた。そのような測定は、一般的な臨床医の測定を模倣する。
【0049】
回帰ネットワークは、一般的に、各サンプルの上部、すなわち内腔エッジに最も近い各サンプルの短いエッジとして選択され得る固定ランドマークに対する測定値を生成する。図2dに戻ると、回帰ネットワークは、次いでサンプルの上部から内腔エッジまでのエッジ距離A、およびサンプルの上部から線維性組織と下にある層との間の境界面50(または組織側エッジ)までの境界面距離Bを測定してもよい。ピクセル単位の線維性被膜厚は、エッジ距離Aと境界面距離Bとの差として推定される。
【0050】
ピクセル距離は、各機器製造者が出力を標準化するために、各プルバックの臨床医キャリブレーションを使用して、ミクロン距離に変換された。平均被膜ピクセル強度が、内腔と組織-境界面ポイントとの間の走査線ベクトルの平均(すなわち距離d)としてとらえられ、エッジタイプは、各サンプルの分類の表れであった。病変内腔囲もまた、たとえば、標準的な20ピクセルの最短寸法であり得る各セグメントの寸法によってフレームで識別された病変サンプルの数(すなわちセグメントの数)の生成物を使用することによって計算され得る。2つの測定値間の差を計算するときのほんのわずかなピクセルの誤差が、線維性肥厚の測定に著しく影響を与えることは諒解されよう。ニューラルネットワークを使用すると、他の知られている技法と比べるとき、これらの測定の精度が上がり得る。
【0051】
このようにして、組織サンプル分類を、関心のある組織平面の外挿マッピング(extrapolative mapping)と組み合わせる正確な回帰-測定ツールが使用されてもよい。方法は、したがって関心のある特徴を測定するステップを含んでもよい(ステップS110)。抽出された回帰-測定値および導き出される計量(derived metric)は、線維性被膜厚(FCT)、線維性組織強度、プラーク組成、内腔面積、および病変内腔囲を含み得る。図1cに示すように、境界面(または関心のある他の特徴)が測定された後、別の入力フレームを抽出し、次のフレームに対して抽出および補正ステップを繰り返すために、処理は戻る。これは、完全なプルバックセット中のフレームの全部または一部のみに対して繰り返されてもよい。フレーム測定ベクトルは、したがって、各プルバックに対して単独でまたは組み合わせて、分類可能な特徴を生成する各タイプに対して連結され得る。
【0052】
図2fは、1つの病変に対応するプルバックの領域にわたって各フレームのサンプルを平均化する、位置合わせされたサンプルの平均を示している。図2fは、グラフの上部に内腔エッジを有する図2cに示したものと同様の平均を広げて提示したものである。矢印は、ガイドワイヤの影領域を示す。
【0053】
図2gは、図2fと同じ領域のアテンションマップを示す。図2fに示すプロットのように、アテンションマップは、図1cに示す測定ステップ(ステップS114)を行うニューラルネットワークによって生成されてもよい。図2fと図2gの両方が、連結された測定ベクトルの例である。
【0054】
各フレームのすべての測定値が決定されると、各フレームのパディングされた測定値ベクトルが、プルバックについての有効な測定値を表す単一の入力アレイ(またはプルバック測定値シーケンス)を生成するために連結されてもよい。各最後の寸法(チャネル)は、各個々の測定タイプ(たとえば、被膜厚、被膜境界面タイプ、ピクセル強度)のマップを提供すると考えられてもよい。上記で説明したように、測定されなかった画像(たとえば、きれいな健康な画像)を表すために、空白入力が含まれてもよい。一例として、連続として測定値を扱うことから明示的に恩恵を受ける、(完全な3Dプルバックと比べて)かなり小さいこの入力を用いて、リカレントニューラルネットワーク(RNN)が使用された。RNNは、3セルの深さでスタックされた、長短期記憶(LSTM)セルを含んでもよく、元のプルバック中の画像の数と同数の時間ステップ(たとえば、270の画像がある場合r270の時間ステップ)を有するアーキテクチャを有してもよい。また、介在セルドロップアウトラッパー層(intervening cell dropout wrapper layer)があってもよく、出力は、単一の緻密層を通してもよい。
【0055】
予測子モジュールの性能は、近位病変に最も影響を受ける可能性が高い。これらは急性冠動脈事象の70%の原因となるからであり、遠位疾患は、同じ有意性を持たない。これは、より多くの心筋が壊死するので近位疾患がより大きい心臓発作を意味し、近位LAD病変が致命的冠動脈事象の大多数を占めると考えられることから、説明されてもよい。この問題を記載している例示的な論文は、JACC Cardiovasc. Imaging 3、168～175(2010)に公開された、Fiijiらによる「Assessment of Thin-Cap Fibroatheroma Distribution in Native Coronary Arteries」である。
【0056】
図3aは、断面OCT画像の3つの場所が示された動脈112の断面画像と側面図の両方を示している。第1の画像110は、動脈112が病的である場所で撮影され、図3bに示されている。第2の画像210は、補正可能なアーティファクトがある場所で撮影され、たとえば、図3cに示す画像の6時の位置と10時の位置の間に、光の大部分を減衰させる渦巻きとして中位の内腔残留血液(lumen residual blood)が見られる。補正可能なアーティファクトは、光源を減衰させる、破れた血管内膜表面、病巣残留内腔血液、または分岐および側枝で入り込んだ血管壁、および組織に隣接する影に起因する場合がある。そのような補正可能なアーティファクトの例が、図4aから図4dに示されている。そのような補正可能なアーティファクトは、一般的に病変セグメントでは全フレームの0.90%を構成する。
【0057】
第3の画像310は、補正可能ではないアーティファクトがある場所で撮影され、図3dに示されている。この例では、補正可能ではないアーティファクトは、ガイドカテーテル内の取得を含み、図示のように、すべての光がカテーテルの管によって減衰されている。カテーテルの外側の組織についての情報を取得することができず、したがって補正は、補正の基礎とするデータがないので可能ではない。補正可能ではないアーティファクトおよび健康な、すなわち病気ではない血管の画像は、アーティファクトを補正するときに第1の段階として除外される。
【0058】
ニューラルネットワークを含むアーティファクトモジュールが、アーティファクトを識別し、補正するために使用されてもよい。入力は、支配的な構造上の成分(ステント、ガイドカテーテル、分枝/分岐)、プラークタイプ(脂質、内膜肥厚を含む石灰性または正常な血管)、および内腔アーティファクト(肉眼で見える内腔残留血液および血栓)の有無について分類され得る低解像度の256x256x3フレームトリプレットであってもよい。一例として、1つおきの層に7x7x3カーネルに続いて3x3x3が来る6層畳み込みアーキテクチャが使用されてもよい。アーキテクチャは、1,2,2,1,1のストライドおよび最初の64フィルタを有し、フィルタ数を倍増させると同時に、1つおきの層で、それぞれ空間縮小を繰り返し、1000ユニットの全結合層で終わってもよい。ネットワークは、いくつかのサンプルフレーム、たとえば300に対して教師ありトレーニングによってトレーニングされ、次いで、フレームを暫定的に分類するためにそれ自体が使用され、暫定的な分類に補正が行われてそれらのフレームでその後の再トレーニングが行われてもよい。
【0059】
上記で説明したように、個々のフレームは、複数のサンプルとして再構成されてもよい。これは、最も長いエッジが内腔から外に向かって動脈壁の中に伸びた複数のサンプル(ウィンドウとも呼ばれる)が、内腔の周りでどのように取得されるかを示す図3eに示されている。この例では、20x144ピクセルのウィンドウが使用され得る。これらのサンプルは、空間情報の損失のない、一般化されたトレーニングターゲットをその後の測定に対してもたらす。図3fは、これらの個体のうちの、図3eで31、32、および33と標示された3つを示す。
【0060】
サンプルアーティファクトは、下にある組織が検出可能であったかどうかに基づいて、補正可能または補正可能ではないのいずれかと考えられる。たとえば、これらに含まれる補正可能ではないサンプルは、血液が内腔を全体的に満たして、すべてのOCT信号を減衰させ、病巣血影(focal blood shadowing)または照明不足(hypo-illumination)が、一般的に、サンプルの半分も復元可能ではなかったサンプルを含む。補正可能ではないサンプルは、しばしば、画像が取り込まれるポイントにステントまたはガイドカテーテルがあることに起因する。そのような支配的な構造上の特徴は一般的に、ガイドカテーテルの一部のみがフレーム内に、すなわちガイドカテーテル先端部が見える場合などの限定的な状況を除いて、補正可能ではないアーティファクトを生じる。アーティファクトのタイプを確認するために、アーティファクトが存在すると分類されるサンプルごとに、一貫性のあるオートエンコーダ潜在空間表現を生成する、(実験者によって、低特徴相関で識別される)14の視覚的に顕著なサブクラスのうちの1つが使用される場合もある。これらの14クラスは、以下で説明するようにそれらのサンプルを修復するために使用される敵対的生成ネットワークに対応する。例として、クラスは、たとえば、「部分的ガイドワイヤの影を含む」および「光の影(ray shadow)」と名前をつけられる場合があり、または名前をつけられない場合があるが、一貫して互いに区別することができる。
【0061】
補正可能なアーティファクトが存在した場合、サンプルの細部は、たとえば、2015年に公開された、Larsenらによる「Autoencoding beyond pixels using a learned similarity metric」に記載されているように、変分オートエンコーダ敵対的生成ネットワーク(VA-GAN:variational-autoencoder generative adversarial network)の生成アームで復元された。トレーニングサンプルクラスごとの視覚属性ベクトルが、生成器潜在空間に追加するために生成され、ベクトルは、アーティファクトを有するクラスの全サンプルの平均と、すべての他のクラスのサンプルすべての平均との差として計算される。GANは、細部および空間分解能を維持しながら、測定のために病的ターゲットを正しく再構成するために使用された。
【0062】
図3gは、図3fの3つのセグメントの補正を示している。補正可能ではないアーティファクトは、補正時の失敗した試みから識別されてもよい。失敗は、試みられた補正の出力に連続した横方向の線維性組織領域(たとえば、図3gのグレーエリア)がほとんどないことによって推定され得る。したがって、各クラスはまた、補正可能なアーティファクトが存在したか否かを確認すること、すなわち補正がうまくいったか否かを決定することができる付属2値分類器を有してもよい。補正が行われたサンプルは、次いで、図3hに示すように、正しくないサンプルの代わりに元の画像で代用される。したがって出力は、サンプルをすべて有する完全な画像である。小さい個々の寸法を有する、図3eに示すサンプルなどの複数の組織サンプルは、回復結果が好ましい、場合によっては完璧に近いものであり得ることを意味する。
【0063】
図4aから図4dは、異なるタイプのアーティファクトを示している。図4aは、血液から生じたアーティファクトを示し、OCTカテーテル内の流されていない血液の極めて小さい滴によって生じた影がある。図4bは、側枝内の動脈壁の突出が、それの下の4時から5時の位置に影の縞を落としていることによって生じたアーティファクトを示す。図4cは、残留血液と左主幹の分岐の組合せであるアーティファクトである。(i)と標示された残っている不明瞭な血液の渦巻きが、信号を減衰させて、他の構造物の良好な可視化を妨害する。病的動脈の測定可能な部分は、(ii)と標示されている。図4dは、別の構造上のアーティファクトであり、左冠動脈前下行枝、中間動脈(intermediate artery)、および回旋動脈の間の分枝の口において光の減衰がある。そのようなアーティファクトを除去または補正することは、トレーニングのためのアーティファクトに基づく最小限の特徴学習を保証するのに役立つと同時に、予測のために組織の最も可能性のある表現を可能にする。
【0064】
図5aから図5fは、安定狭心症を有する患者と非ST上昇型心筋梗塞(NSTEMI)またはST上昇型心筋梗塞STEMIがある患者を区別するために、抽出された特徴が図1cの最終ステップにおいてどのように使用され得るかを示す。図5aは、NSTEMIおよびSTEMIを示す患者についてのいくつかの線維性被膜厚(FCT)測定値を、比較のために各グループからのFCT測定値の100万(1e6)のランダムサンプルで示すバイオリン図である。図示のように、すべての患者グループにすべてのFCT区間が表れる。しかしながら、STEMI患者は、血管全体を通してSTEMIのより小さい中央値および平均FCT測定値を有する。以下の表に比較を示す。
【0065】
【表1】
【0066】
図5bは、NSTEMIを示す患者の動脈の断面の画像であり、図5cは、STEMIを示す患者の動脈の断面の画像である。図5dは、NSTEMIを示す患者についての、動脈の長さに沿って、中央の基線に位置合わせされたFCTヒートマップのプロットである。マークは、図5bの画像が取り込まれる場所を示す。図5eは、小区分の分解図を付けた、STEMIを示す患者の動脈の長さに沿ったFCTヒートマップのプロットである。この場合もやはりマークは、図5cの画像が取り込まれる場所を示す。図5fは、安定狭心症のある患者についての、動脈の長さに沿って、中央の基線に位置合わせされたFCTヒートマップのプロットである。スケールバーはミクロン(μm)単位である。
【0067】
図5d、図5e、および図5fに示すように、患者の各タイプに特徴的なFCTパターンがある。たとえば、STEMIパターンは、プラーク破裂の病巣となる場合がある、境界の明瞭な薄い領域と厚い領域との間の突然の遷移で特徴づけられる。対照的に、NSTEMI患者と狭心症患者の両方において、より緩やかなまたはランダムに分布したFCT遷移がある。一般に、STEMI患者はまた、NSTEMI患者と比較して、高度に局在した領域だけでなく、動脈全体に沿ってより低いFCTを示す。これらのパターンは、予測子モジュールが心臓事象/疾患のタイプを識別し得る方法を示すための簡略化された例にすぎないことは諒解されよう。RNNネットワークは、心臓事象/疾患のタイプを最も良く区別した測定シリーズのそれ独自の特徴を選択する。患者が特定のタイプの心臓疾患を有すると診断されると、患者に対して治療の方法が勧められてもよい。
【0068】
行われ得る別の予測は、患者が突然の心臓事象の危険性が高いか否かを予測することである。死亡の可能性が予測されるとき、予測モジュールは、突然の心臓事象が原因で死亡した患者からの画像を含む適切なデータセットでトレーニングされる必要があることは諒解されよう。たとえば、J. Interv. Cardiol. 15、439～446(2002)に公開された、Farbらによる「Vulnerable Plaque: The Pathology of Unstable Coronary Lesions」に報告されているように、65μm未満の線維性アテローム被膜厚は、組織病理学的症例シリーズにおいて突然の心臓事象と関連付けられる。図6aから図6hは、決定されたFCT測定の性能を、臨床医によるOCTからのFCT測定と比較する。後者は、単一の動脈に対する大規模なデータセット、アーティファクト、および分解能の限界でプラークをノイズと区別する困難さのために難易度が高い。図6aは、偏心線維性アテロームのポイントにおいて死後の生体外で取得されたOCT画像を示す。図6bは、図6aに共同登録された線維性アテロームの組織断片であり、図6cは、図6bにおいて輪郭を描かれたエリアの高倍率の図である。
【0069】
図6dは、死後の生体外で取得されたOCT画像の共同登録されたスライスについて組織構造について手動で測定されたFCTと比較して、上記で説明した方法によって計算された最も小さい10個のFCT測定値をプロットする。この例では、死後のデータセットが、14人の人間の左冠動脈前下行枝から収集された。平均患者年齢は、71.1±11.8年であって、症例の57.1%において非閉塞性心臓血管疾患が死亡の原因であり、残りは非心臓血管疾患であった。研究プロトコルは、親族からのインフォームドコンセントとともに、Cambridgeshire Research and Ethics Committee 07/H0306/123によって承認された。OCTは、構造的完全性のための周囲の物質の40mmとともに収集され、4℃のリン酸緩衝生理食塩水で保存された切除した組織上で採取の48時間以内に行われた。側枝は結紮され、血管は再び温められ、ガイドカテーテルは左冠動脈入口(left coronary ostium)に縫い込まれた。0.014" Abbott Vascular BMW UniversalまたはPilot 50ガイドワイヤが、特注の用具(custom-built rig)でのカテーテル送達に使用された。OCTイメージングは、25.0mm/sの自動プルバックを使用し、DragonFly C7カテーテル(St. Jude Medical)を用いて100mmHgの生理食塩水流圧で着手された。
【0070】
イメージング後、動脈は、10%の緩衝ホルマリンに24時間以上保存され、次いで、関心領域が動脈に沿って5mmごとに定められ、5μmの区分が、400μmごとに取られて、入口に対して長手方向の向きを維持して標示された。組織断片は、ヘマトキシリン-エオジンおよびワンギーソン(Van Gieson)で染色された後、2人の臨床医によって測定され、各測定が、経験が豊富な心臓病理医によってランダムに検討された。線維性被膜厚は、たとえば、Arterioscler. Thromb. Vasc. Biol. 20、1262～1275(2000)に公開された、Virmaniらによる「Lessons from sudden coronary death: a comprehensive morphological classification scheme for atherosclerotic lesions」に記載されているように、リンパ球またはマクロファージがある程度まで浸潤した平滑筋細胞の層の厚さによって決定された。最初に脂質の多いコアにわたって、円周距離の200μm間隔で測定が行われた。まったく同じ平面に沿って、脂質コアと接触した(脱)石灰化エリアを含む、異質の平滑筋平面が感知可能であった。J. Interv. Cardiol. 15、439～446(2002)に公開された、Virmaniらによる「Vulnerable Plaque: The Pathology of Unstable Coronary Lesions」に記載されているように、破裂の30～35%が散らばったまたは断片化した石灰性プレートを示すとき、脂質と接触している石灰化を表すエリアが含まれていた。
【0071】
組織構造が、最初、各5mm間隔に、ガイドカテーテルからOCTでの厳密に対応する距離まで、次いでそのポイントから各400μmで、OCTに共同登録された。各OCTフレームは、以下で説明するように、組織構造との比較のために両側に2つのフレームを伴ってトリプレットを形成し、システムは、いずれかのモダリティに固有のアーティファクトにかかわらず共同登録(co-registration)のために厳密に観測された。ランダムに選択され共同登録された組織断片の155個(75%)は、線維性被膜厚のソフトウェアの測定を較正するために使用され、次いで除外され、残りは妥当性研究の一部を形成するために使用された。生体外データは、特定の関心領域分類器をトレーニングするために使用されなかった。
【0072】
図6eは、組織構造について手動で測定されたFCTと比較された、上述の方法によって計算されたFCT測定値間の差を示す、変動する平均FCTを有するブランド-アルトマンプロットである。FCTは両方の技法を使用して同様であり(86.6±65.12μm対91.6±53.2μm p=0.355)、測定値間にかなりの相関関係があった(r=0.90、p<0.001)。
【0073】
図6fは、同じ死後のフレーム、および臨床試験患者からランダムに選択された80のフレームを使用した研究OCT測定における経験が豊富な、異なるセンターからの独立した心臓専門医によって手動で測定されたFCTと比較された、上述の方法によって計算されたFCT測定値間の差を示す、変動する平均FCTを有するブランド-アルトマンプロットである(臨床医クラス内相関係数=0.84 [0.69-0.92])。この場合もやはり、自動および手動で測定されたFCTは同様であった(121.8±70.4μm対124.2±74.9μm p=0.2621)。FCT測定値は、臨床医に対して、アルゴリズムによって見られない死後の病変からの30のOCTフレームに加えて、100の別個の動脈からのOCTプルバックで検証された。
【0074】
比較のために、図6gは、2人の異なる臨床医からのFCT測定値をプロットしている。かなりの相関関係があるが、上述の方法を使用して自動的に取得されたFCTは、症例の86.9%において組織構造FCTにより近かった。
【0075】
この方法によって提供され得る別の予測は、心筋梗塞の可能性である。これは、血栓症および動かない円柱状の血液(standing columns of blood)などの事象後の腔内特徴をもたらす、アテローム動脈硬化性プラークの破裂または浸食により生じる可能性がある。責任血管は、しばしばステント留置されているが、ステント留置された部分の上流および下流のプラークが、さらなる事象を引き起こし得る。上記で使用される方法は、単に線維性被膜の厚さを分析するので、状況に依存しないものであり、したがって、多段分類器によって使用される、状況に依存しない特徴は、任意の交絡因子に補正を与え得る。
【0076】
図6hは、FCT測定が同日の異なる時間に行われるときの平均FCTの変動を示すプロットである。同日に行われた25人の患者の繰返しプルバックの分析は、IVI2M導出の(IVI2M-derived)平均動脈全体FCT間に有意差を示さなかった(154.1±22.3から158.3±25.08 p=0.41)。
【0077】
図7aおよび図7bは、ステント留置前およびステント留置後のSTEMIを含む、最も困難な臨床的状況における多段分類器の性能を調べる。ステント留置前およびステント留置後に行われた繰返し性研究の場合は、ステントは、エベロリムス溶出生体吸収性スキャフォールド(everolimus-eluting bioresorbable vascular scaffold)であった。ステント留置前と後の両方、またはステント留置後およびフォローアップの、同じ動脈の繰返し研究が行われた。この比較については、多段OCT研究(PCI前とPCI後の両方、および3カ月後に再度)のために計画された18人の患者(54.7±7.8歳、88.8%男性)からの63の全プルバックが、繰返し性研究のために、個々のマルチフレームのロスレスTIFFファイルとしてエクスポートされた。各患者は、3つのプルバック、すなわち同日の2つ(PCI前後)と、3カ月後の1つを有した。ガイドカテーテルを示す画像およびステントを含んでいる血管の一致部分のみが除外され、後者は、PCI後のプルバックでのステント留置セグメントを示すフレームの数、次いで最も近い基準点までのフレームの数をカウントすること、PCI前のブルバックでの基準点からステントの開始までのフレームの数ならびに除外するフレームの正確な数を決定することによって手動で着手された。ステント留置セグメントおよびガイドカテーテル以外は、アーティファクトの程度にかかわらず画像除外は行われなかった。
【0078】
図7aは、ステント後およびステント前の平均FCT測定値をプロットしている。図7bは、ステント留置後3カ月およびステント留置直後に測定された平均FCTをプロットしている。結果は、下の表に提示され、上述の自動方法を使用した結果の再現性を同様に示している。
【0079】
【表2】
【0080】
【表3】
【0081】
上記で説明したように、ニューラルネットワークが、OCT画像の分析に使用される。図8は、図1cで上述した方法を用いて、同様にニューラルネットワークを組み込む異なるシステムの性能を比較している。第1の比較システムは、ベースライン分類器と呼ばれ、冠状動脈の生ボリュームデータで患者プレゼンテーションの分類器を生成するために、現在の最先端技術の3D畳み込み残差ニューラルネットワークが使用される。第2の比較システムは、集中ベースライン分類器と呼ばれ、2段のネットワークであった。両方の分類器は、安定狭心症(SA)、ST上昇型心筋梗塞(STEMI)、非ST上昇型心筋梗塞(NSTEMI)のある患者について検証された。多段分類器は、死後に対して、2人の臨床医および繰返し性データセットに対して、さらに検証された。第1の段では、アーティファクトが、説明した方法と同様にして上記で説明したように識別された。補正可能なアーティファクトは補正され、補正可能ではないアーティファクトは除去された。第2の段では、残りの画像がサンプリングされ、一貫性のある測定または分類のために上記で説明したように位置合わせされた。
【0082】
3つの方法の各々について、トレーニングデータセット(および関係する10%ホールドアウトテスト比率)は、Papworth、Brighton、およびSwansea病院、UKを拠点とする心臓胸部センターにおいて何らかの理由でOCTを受ける匿名患者からのものであった。1087の動脈から293,490の画像が撮影された。図1cにおいて説明する多段分類器は、異なるフォーマット(Terumo)であった176の動脈からのさらなる47,520の画像を使用してさらにトレーニングされた。これらの画像は、各段におけるそれのモジュールの独立性のために、多段分類器に使用することしかできなかった。言い換えれば、最終段階(予測器)は、フォーマットによって理解できなかった、または偏りが生じた。トレーニング繰返しが、パラメータ調整とともにトレーニングデータセットの90%で行われ、10%ホールドアウトセットでテストおよび再トレーニングした。アーティファクト、関心領域、および測定アルゴリズムが、トレーニングデータセットから100のプルバック(各々が270フレームを有する)で開発され、死後OCTを受けた14人の患者からの組織学的グランドトゥルースで適切な場合は更新された。
【0083】
その後の検証が、Ashford and St Peters Hospitals、UKからの非ST上昇型心筋梗塞(NSTEMI)/安定狭心症トライアルデータセット、およびPapworthからのST上昇型心筋梗塞(STEMI)/安定狭心症データセットで行われた。Ashford and St Peters Hospitalsの安定狭心症患者は、少なくとも2つの抗虚血薬物療法にある典型的な症状、およびOCT手技より前に遡る別個の血管造影で>70%の狭窄の病変があった。NSTEMIは、典型的な症状および病院の99パーセンタイル基準を超えるトロポニン値によって診断された。Research Ethics Service Committee South East Coast-Surrey、UK(REC Reference: 13/LO/0238)によって漸増が承認され、臨床試験NCT02335086として登録された。両方の検証データセットの患者人口統計を以下に提示する。
【0084】
【表4】
【0085】
トレーニングテストデータセット(すなわち、10%)および2つの検証データセットの各々の結果は、以下および図8において比較される。
【0086】
【表5】
【0087】
精度は、(TP+TN)/(実際の陽性(Real positive)+実際の陰性(Real negative))から計算されてもよく、ここでTPは真陽性であり、TNは真陰性である。
【0088】
【表6】
【0089】
生ベースライン分類器で優れたベースライン性能が観測される(AUC 0.86、ACC 0.79、感度0.73)。しかしながら、分析は、インスタンスサイズ(512x512x256)を考慮してトレーニングするために、非実用的なコンピューティングリソースを必要とした。さらに、修正していない生フレームに分類器の重点を置くことは、OCTアーティファクトの範囲を無視する能力が欠如していたことを意味した。そのような主要なアーティファクト(信号を減衰させる拡散管腔内アーティファクトと定義される)は、狭心症患者よりも心筋梗塞においてかなり高かった(40.2%対38.1% p=0.0333)。
【0090】
集中的ベースライン分類器は、ベースライン分類器と比較して、独立したNSTEMI/安定狭心症データセットでの感度(0.88)を改善すると同時に、トレーニングデータ拡大の必要が少なくなった(2943対9783の動脈例が標準的なひずみ、すなわち回転または反転、明るさ調整から生成された)。図1cで説明する多段分類器の場合、線維性被膜厚を含んでいる入力は、NSTEMI検証データセットで最良であることがわかった(AUC 0.87、ACC 0.79、および感度0.83)。
【0091】
多段ディープラーニングベースの分類器の性能はまた、最適ハイパーパラメータのランダムサーチで、個別の特徴および属性のフレーム画像とパネルの両方を使用して、K近傍法、ランダムフォレスト、およびサポートベクタ-マシンを含む従来の機械学習アルゴリズムの性能と比較された。最良の従来のアルゴリズム(ランダムフォレスト)は、第1の(NSTEMI/SA)検証データセットに対して、単に中程度によく機能し(AUC 0.74、感度0.74、特異度0.6)、140μm～220μmのFCT間隔の入力で最良の推定器が生まれた。
【0092】
完全のために、トレーニングデータセットおよび検証データセットの各々の詳細は、以下の表にまとめる(ただしnは動脈の数であり、iはOCT画像の数である)。上述のように、両方の分類器は、安定狭心症(SA)、ST上昇型心筋梗塞(STEMI)、および非ST上昇型心筋梗塞(NSTEMI)のある患者について検証された。多段分類器は、組織構造と相関する生体外の死後のプルバック、2人の臨床医観測者との比較、および同日の繰返し性研究を使用して、さらに検証された。
【0093】
【表7】
【0094】
上述のように、冠動脈内画像は、病気または事象の可能性を予測するために、かつ/または薬物もしくは他の治療の成果を追跡するために、分析され得る。冠動脈疾患(CAD)イメージングは、ハイリスクのプラークを識別する潜在力を有し、第2/3相薬物研究のための広く使用されている代理有効性マーカーである。しかしながら、異なる画像診断法を使用して識別される推定「ハイリスク」病変の事象率は、個々のプラークの処置を変えるために必要とされる事象率を下回っている。冠動脈内光干渉断層撮影(OCT)は、極めて詳細なプラーク画像を提供する非常に高分解能のシーケンスを生成する。さらに、いくつかのOCTパラメータが、最小線維性被膜厚FCT(<75μm)、最小内腔面積(MLA)<3.5mm2、プラーク内部の脂質プールの広がり>180°、およびマクロファージ、石灰化結節、新血管形成、またはコレステロール結晶の存在を含む、ハイリスクの病変と関連付けられる。これらのOCT特徴のいくつかが、高用量のスタチンまたはエゼチミブを用いる治療とともに変化し、それらがプラーク安定化を示し得ることを示唆する。しかしながら、OCTプルバックは、動脈ごとに数百の画像および数万の候補測定値を含む豊富なデータセットである。その結果として、現在、OCT分析は、専門のコア研究所での時間がかかるオフラインの手動によるフレーム選択および測定を必要とし、観測者間および観測者内のばらつきによって制限される。完全に自動化された測定もまた、アーティファクトの発生頻度が高いこと、およびアーティファクトが病気に似ていることによって制限される。したがって、本OCT自動分析システム/方法は、より費用効率が良い患者管理を可能にするように、病気の進行/不安定度を測定し、CADでの異なるプレゼンテーションを見分けるために臨床医および産業によって使用され得る。
【0095】
本OCT自動分析システム/方法は、特定の治療の有効性、詳細にはロスバスタチンの治療の有効性を分析するために使用された。画像は、ベースライン(治療前)において、および40mgのロスバスタチン治療の13カ月後に取り込まれた。
【0096】
現在、光干渉断層撮影(OCT)は、一部には、ベースラインおよびフォローアップ画像の広範囲に及ぶ、部分的に手動による選択およびオフライン分析のために、抗アテローム性動脈硬化薬の有効性を調べるために、めったに使用されず、小数のフレームに分析を制限している。対称的に、本OCT自動分析方法の完全に自動化された分析は、数千の個々のRCT測定値(2.0x103～1.0x106測定値/動脈、中央値4.1x104)を含む全プラーク円周FCTマップ(whole plaque circumferential FCT map)を生成し、線維性組織と下部組織との画素勾配に基づいて、脂質含有または石灰化など、プラーク安定性と関連する他の特徴を調べることができる。
【0097】
研究は、ベースラインにおいて、および40mg/日のロスバスタチン治療の13カ月後に、非責任動脈病変を調べた。FCTは、手動で選択されたフレームから測定され、27人の患者からの31の病変において半自動的に測定された。元の分析では、最小FCTが増加し、マクロファージ線弧と平均脂質弧が減少し、9/13薄被膜線維性粥腫(TCFA:thin cap fibroatheroma)が、非TCFA形態に退行した。本OCT自動分析方法は、83人の患者のベースラインとフォローアップにおいて、フレームの手動選択なしに、プラークと血管全体の両方の外観を調べることを可能にした。病変に覆われた内腔表面積に変化がない(181.68±163.72mm2対223.37±199.86mm2、p=0.163)にもかかわらず、フォローアップにおける全体的プラーク平均FCTにかなりの増加があった(161.98±44.91μm対183.99±46.18μm p=0.0038)。最小FCT/フレームもまた、フォローアップにおいてかなりの増加を示し(83.39±29.87μm対98.29±41.00μm、p=0.0113)、個々のフレームの63.37%(95%信頼区間(CI)59.88～67.58)が、フォローアップにおけるFCTの増加を示した。
【0098】
最小FCTでの高強度スタチンの効果を決定するために、全体的動脈FCTカウント/動脈が、異なるFCTしきい値において調べられた。
【0099】
図9aは、治療前のベースラインと、治療後の(13カ月での)フォローアップとの間の異なる厚さしきい値(75μmおよび65μm)でのFCTの測定頻度の箱ひげ図を示す。データは中央値であり、エラーバーは、25%四分位数および75%四分位数を表す。FCT、脂質、またはカルシウムの全体的動脈カウントは、大分部はプラーク量(plaque burden)が異なるために動脈間でかなり異なるが、被膜厚が最小(<65μm)であったポイントの数に著しい減少があり(85540対87731(ポイント数)または1.9%対2.1%(全測定の中の%)、p<0.0001)、ロスバスタチンは最も薄い線維性被膜に最も大きい効果があることを示唆した。
【0100】
図9bは、治療前のベースラインと治療後のフォローアップとの間のFCTの一人の患者のフレームに関する図である。変化している線は各フレームの平均FCTを表し、一定の水平線は、プルバック全体の平均FCTを表す。矢印は、患者の動脈に沿った同じポイントを示し、薄い被膜領域の退行を示している(すなわち、線維性被膜が厚くなっている)。多段分類器もまた、ベースラインおよびフォローアップにおけるプラーク全体に沿ったFCTプロットの直接比較を可能にし、FCTが増加または減少するプラーク領域を明らかにしたことが図9bからわかる。
【0101】
図9cおよび図9dは、それぞれ治療前のベースラインと治療後のフォローアップとの間の脂質の頻度の箱ひげ図、および治療前のベースラインと治療後のフォローアップとの間の石灰化の頻度の箱ひげ図を示している。ベースラインにおける20.00%からフォローアップにおける18.06%へ脂質の割合がわずかながら有意に減少し(p<0.0025)、動脈レベル全体においてカルシウムが増加した(24588対38105(ポイント数)または3.1%対4.9%(全測定の中の%)、p=0.016)ことも、図9cおよび図9dからわかる。したがって、抗アテローム性動脈硬化の治療の有効性を監視するために、および患者事象の予測に本OCT自動分析方法が使用され得ることがわかる。
【0102】
本明細書で説明する例示的な実施形態の少なくともいくつかは、部分的または全体的に、専用の特殊用途のハードウェアを使用して構成されてもよい。本明細書で使用する「構成要素」、「モジュール」、または「ユニット」などの用語は、限定はしないが、個別または一体型部品の形態の回路、フィールドプログラマブルゲートアレイ(FPGA)、または特定用途向け集積回路(ASIC)など、いくつかのタスクを行うまたは関連する機能を提供するハードウェアデバイスを含み得る。いくつかの実施形態では、説明した要素は、有形の、永続的な、アドレス指定が可能な記憶媒体に存在するように構成されてもよく、1つまたは複数のプロセッサ上で動作するように構成されてもよい。これらの機能要素は、いくつかの実施形態では、例として、ソフトウェアコンポーネント、オブジェクト指向ソフトウェアコンポーネント、クラスコンポーネント、およびタスクコンポーネントなどの構成要素、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、および変数を含み得る。例示的な実施形態について、本明細書で説明する構成要素、モジュール、およびユニットに関して説明したが、そのような機能要素は、より少ない要素に結合される、またはさらなる要素に分けられる場合がある。選択的特徴の様々な組合せについて、本明細書で説明したが、説明した特徴は、任意の好適な組合せで組み合わせられ得ることは諒解されよう。詳細には、いずれかの例示的な一実施形態の特徴は、そのような組合せが相互排他的である場合を除いて、適宜に他のいずれかの実施形態の特徴と組み合わされてもよい。本明細書全体にわたって、「備えている」または「備える」という用語は、指定された(1つまたは複数の)構成要素を含むことを意味するが、他のものの存在を排除しない。
【0103】
本出願に関連して本明細書と同時にまたは本明細書よりも前に出願され、本明細書とともに一般の閲覧に供されているすべての書類および文書に注目されたい。またそのようなすべての文書および書類の内容は参照により本明細書に組み込まれる。
【0104】
本明細書(添付の特許請求の範囲、要約、図面を含む)に開示する特徴のすべて、および/またはそのように開示するいずれかの方法またはプロセスのステップのすべては、そのような特徴および/またはステップの少なくとも一部が相互排他的である組合せを除いて、任意の組合せで組み合わせられてもよい。
【0105】
別段に明記されていない限り、本明細書(添付の特許請求の範囲、要約、および図面を含む)に開示する各特徴は、同じ、または同等の、または同様の目的を果たす代替の特徴に置き換えられてもよい。したがって、別段に明記されていない限り、開示する各特徴は、包括的な一連の同等または同様の特徴の一例にすぎない。
【0106】
本発明は、上記の(1つまたは複数の)実施形態の細部に限定されない。本発明は、本明細書(添付の特許請求の範囲、要約、および図面を含む)で開示する特徴のいかなる新規の1つ、もしくはいかなる新規の組合せにも及び、またはそのように開示するいずれかの方法もしくはプロセスのステップのいかなる新規の1つ、もしくはいかなる新規の組合せにも及ぶ。
【符号の説明】
【0107】
10 画像
12 動脈
14 光干渉断層撮影(OCT)デバイス
16 内腔
18 プラーク領域
20 分析デバイス
22 プロセッサ
24 ユーザインターフェース
26 ストレージ
28 通信インターフェース
32 ストレージ
34 オペレーティングシステムモジュール
36 アーティファクトモジュール
38 測定モジュール
40 予測モジュール
42 カテーテル
44 影領域
46 アーティファクト
48 影領域
50 境界面
12 動脈
14 光干渉断層撮影(OCT)デバイス
16 内腔
18 プラーク領域
20 分析デバイス
22 プロセッサ
24 ユーザインターフェース
26 ストレージ
28 通信インターフェース
32 ストレージ
34 オペレーティングシステムモジュール
36 アーティファクトモジュール
38 測定モジュール
40 予測モジュール
42 カテーテル
44 影領域
46 アーティファクト
48 影領域
50 境界面
【図1a】
【図1b】
【図1c】
【図2a】
【図2b】
【図2cd】
【図2e】
【図2fg】
【図3a】
【図3b】
【図3c】
【図3d】
【図3e】
【図3f】
【図3g】
【図3h】
【図4a】
【図4b】
【図4c】
【図4d】
【図5a】
【図5b】
【図5c】
【図5d】
【図5e】
【図5f】
【図6a】
【図6b】
【図6c】
【図6d】
【図6e】
【図6f】
【図6g】
【図6h】
【図7a】
【図7b】
【図8】
【図9a】
【図9b】
【図9c】
【図9d】
【手続補正書】
【提出日】2022-01-05
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
冠動脈の画像のセットを分析するための自動化されたコンピュータ実装方法であって、前記画像のセット中の各画像に対して、
第1のニューラルネットワークを使用して、病変組織の有無について前記画像を分類するステップと、
前記画像が、病変組織が存在すると分類されるとき、第2のニューラルネットワークを使用して、アーティファクトの有無について前記画像を分類するステップと、
前記分類するステップに基づいて前記画像を分析するかどうかを決定するステップと、
前記画像が分析されることになるとき、第3のニューラルネットワークを使用して、冠動脈組織の関心のある1つまたは複数の特徴を識別することによって前記画像を分析するステップと、
関心のある各識別された特徴を測定するステップと
を含む、方法。
【請求項2】
前記第2のニューラルネットワークを使用して前記画像を分類する前に、前記画像中の前記冠動脈を複数のサンプルにサンプリングし、前記第2のニューラルネットワークにサンプルのセットを入力するステップをさらに含む、請求項1に記載の方法。
【請求項3】
前記画像を分類するステップが、前記入力セット中の各サンプルにおいて検出可能である冠動脈組織の比率を決定するステップと、
前記決定された比率に基づいて前記画像を分類するステップと
を含む、請求項2に記載の方法。
【請求項4】
複数のトレーニングデータセットサンプルを分析することによって前記画像を分類するために、前記第2のニューラルネットワークをトレーニングするステップをさらに含む、請求項2または3に記載の方法。
【請求項5】
画像が、アーティファクトがあると分類されるとき、前記アーティファクトを補正可能または補正可能ではないとさらに分類する、請求項2から4のいずれか一項に記載の方法。
【請求項6】
前記決定された比率が50%を超えているとき、前記画像が、補正可能なアーティファクトを有すると分類される、請求項3に従属するとき請求項5に記載の方法。
【請求項7】
前記画像を分析する前に、補正可能なアーティファクトを有すると分類された前記画像を補正するステップを含む、請求項5または6に記載の方法。
【請求項8】
補正可能なアーティファクトを有すると分類された画像を補正するステップが、前記識別されたアーティファクトの下にある前記冠動脈組織の詳細を復元するために、前記識別された画像に変分オートエンコーダの敵対的生成ネットワークを適用するステップを含む、請求項7に記載の方法。
【請求項9】
前記画像が、病変組織がないと分類されるとき、前記画像を空白の情報と置き換える、請求項1から8のいずれか一項に記載の方法。
【請求項10】
関心のある各識別された特徴を測定するステップが、線維性組織厚、線維性組織強度、プラーク組成、内腔面積、および病変内腔囲のいずれか1つまたは複数を測定するステップを含む、請求項1から9のいずれか一項に記載の方法。
【請求項11】
前記画像を分析する前に、保持された画像中の前記冠動脈を複数のサンプルにサンプリングするステップと、前記サンプルを前記冠動脈の線形表現で構成するステップとをさらに含む、請求項1から10のいずれか一項に記載の方法。
【請求項12】
前記画像を分析するステップが、回帰バウンディングボックス技法を使用して、前記複数のサンプルの各々において線維性組織と壊死または石灰化組織との境界面を識別するステップ
をさらに含む、請求項11に記載の方法。
【請求項13】
関心のある前記識別された特徴を測定するステップが、前記境界面と前記サンプルのエッジとの距離を測定するステップを含む、請求項12に記載の方法。
【請求項14】
冠動脈の前記画像のセットが、光干渉断層撮影画像である、請求項1から13のいずれか一項に記載の方法。
【請求項15】
各画像が、患者の冠動脈のものであり、前記方法が、関心のある各識別された特徴の前記測定を使用して、前記患者が冠動脈疾患の特定の徴候を示す可能性を決定するステップ
をさらに含む、請求項1から14のいずれか一項に記載の方法。
【請求項16】
前記患者が冠動脈疾患の特定の徴候を示す前記可能性を決定するステップが、第4のニューラルネットワークを使用するステップを含む、請求項15に記載の方法。
【請求項17】
前記第4のニューラルネットワークが、各分析された画像については関心のある各識別された特徴の測定値を、分析されない各画像については空白の情報を、入力として受け取る、請求項16に記載の方法。
【請求項18】
前記冠動脈疾患が心筋梗塞であり、関心のある前記識別された特徴が線維性組織厚である、請求項15から17のいずれか一項に記載の方法。
【請求項19】
前記画像のセットが、第1の時間に取り込まれた患者の冠動脈の画像の第1のサブセットと、第2の、後続の時間における前記患者の前記冠動脈の画像の第2のサブセットとを含み、画像の前記第1のサブセットに対して、関心のある各識別された特徴についての測定の第1のセットを測定するステップと、
画像の前記第2のサブセットに対して、関心のある各識別された特徴についての測定の第2のセットを測定するステップと、
測定の前記第1および第2のセットを使用して、前記冠動脈における変化を決定するステップと
をさらに含む、請求項1から14のいずれか一項に記載の方法。
【請求項20】
前記第1の時間が、治療における第1の段階であり、前記第2の時間が、前記治療における第2の段階であり、いずれかの決定された変化に基づいて前記治療の有効性を決定するステップをさらに含む、請求項19に記載の方法。
【請求項21】
冠動脈の画像のセットを分析するための装置であって、冠動脈の画像のセットを取り込むためのイメージングデバイスと
メモリに結合された少なくとも1つのプロセッサであって、
前記画像のセット中の各画像に対して、
第1のニューラルネットワークを使用して、病変組織の有無について前記画像を分類することと、
前記画像が、病変組織が存在すると分類されるとき、第2のニューラルネットワークを使用して、アーティファクトの有無について前記画像を分類することと、
前記分類に基づいて前記画像を分析するかどうかを決定することと、前記画像が分析されるとき、
第3のニューラルネットワークを使用して、冠動脈組織内の関心のある1つまたは複数の特徴を識別し、関心のある各識別された特徴を測定することによって、保持された画像を分析することと
を行うように構成された、少なくとも1つのプロセッサと
を備える、装置。
【請求項22】
前記イメージングデバイスが、光干渉断層撮影デバイスである、請求項21に記載の装置。
【国際調査報告】