知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-13
(54)【発明の名称】バルーン膨張事象の圧力及びＸ線画像予測
(51)【国際特許分類】
A61B 6/00 20060101AFI20231206BHJP
【ＦＩ】
A61B6/00 370
A61B6/00 350Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023533259
(86)(22)【出願日】2021-12-01
(85)【翻訳文提出日】2023-07-06
(86)【国際出願番号】 EP2021083759
(87)【国際公開番号】W WO2022117643
(87)【国際公開日】2022-06-09
(31)【優先権主張番号】63/121,289
(32)【優先日】2020-12-04
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】110001690
【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ
(72)【発明者】
【氏名】フレックスマン モリー ララ
(72)【発明者】
【氏名】トポレク グジェゴジ アンドレイ
(72)【発明者】
【氏名】クルーカー ヨヘン
(72)【発明者】
【氏名】パンセ アシシュ サトヤヴラト
【テーマコード（参考）】
4C093
【Ｆターム（参考）】
4C093AA08
4C093CA15
4C093DA02
4C093EE30
4C093FD03
4C093FF50
4C093FG13
4C093FG16
(57)【要約】
バルーンカテーテルＢＣ処置を支援するシステム及び関連方法である。システムは、入力データを受信する入力インターフェースＩＮを含む。入力データは、ｉ）患者ＰＡＴの血管内のバルーンカテーテルの取得された画像データと、ｉｉ）バルーンカテーテルＢＣの圧力センサＳによって収集された１つ以上の圧力測定値とを含む。トレーニングされた機械学習モジュールＭＬＭが、入力データに基づいて、ｉ）バルーンカテーテル及び／又はｉｉ）バルーンカテーテルが存在することが可能な血管のセクションに関連する事象を含む予測結果を予測する。
【特許請求の範囲】
【請求項1】
バルーンカテーテル処置を支援するシステムであって、ｉ）患者の血管内のバルーンカテーテルの取得された画像データ、及びｉｉ）前記バルーンカテーテルの圧力センサによって収集された１つ以上の圧力測定値
を含む入力データを受信する少なくとも１つの入力インターフェースと、
前記入力データに基づいて、ｉ）前記バルーンカテーテル及び／又はｉｉ）前記バルーンカテーテルが存在することが可能な血管のセクション
に関連する事象を含む予測結果を予測するトレーニングされた機械学習モジュールと、
を含む、システム。
【請求項2】
前記入力データのｉ）画像データ、ｉｉ）圧力測定値のうちの少なくとも一方は、対応する元のデータストリームをサンプリングする前記システムのサンプラによって得られ、前記サンプラのサンプリング周波数は可変である、請求項１に記載のシステム。
【請求項3】
前記予測結果を数値的に及び／又は図形的に報告する報告モジュールを含む、請求項１又は２に記載のシステム。
【請求項4】
前記報告モジュールは、前記予測結果を表示デバイスに表示するための図形表示を生成するビジュアライザ構成要素を含む、請求項３に記載のシステム。
【請求項5】
前記図形表示は更に、前記画像データの少なくとも一部及び／又は前記圧力測定値の少なくとも一部を含む、請求項４に記載のシステム。
【請求項6】
前記報告モジュールは、受信した前記画像データの少なくとも一部に、前記予測結果で注釈付けすることが可能である、請求項３から５のいずれか一項に記載のシステム。
【請求項7】
前記予測結果に基づいて、前記画像データの少なくとも一部及び／又は前記圧力測定値の一部がメモリに保存される、請求項１から６のいずれか一項に記載のシステム。
【請求項8】
前記機械学習モジュールは、ニューラルネットワーク型のトレーニングされた機械学習モデルを含む、請求項１から７のいずれか一項に記載のシステム。
【請求項9】
前記機械学習モデルは、少なくとも１つの畳み込み層及び／又は少なくとも１つのリカレント層を含む、請求項８に記載のシステム。
【請求項10】
前記事象は、前記バルーンカテーテルのバルーン部分の破裂若しくはねじれ、及び／又はバルーンの膨張によって引き起こされる前記血管への応力である、請求項１から９のいずれか一項に記載のシステム。
【請求項11】
トレーニングデータに基づいて、請求項１から１０のいずれか一項に記載のシステムの機械学習モジュールをトレーニングする、トレーニングシステム。
【請求項12】
バルーンカテーテル処置を支援する方法であって、ｉ）患者の血管内のバルーンカテーテルの取得された画像データ及びｉｉ）前記バルーンカテーテルの圧力センサによって収集された１つ以上の圧力測定値
を含む入力データを受信するステップと、
ｉ）前記バルーンカテーテル及び／又はｉｉ）前記バルーンカテーテルが存在することが可能な血管のセクション
に関連する事象の予測結果を取得するために、トレーニングされた機械学習モジュールによって、前記入力データを処理するステップと、
を含む、方法。
【請求項13】
トレーニングデータに基づいて、請求項１から１０のいずれか一項に記載のシステムの機械学習モジュールをトレーニングする方法。
【請求項14】
少なくとも１つの処理ユニットによって実行されると、前記少なくとも１つの処理ユニットに、請求項１２又は１３に記載の方法を実行させる、コンピュータプログラム。
【請求項15】
請求項１４のコンピュータプログラムが保存された、又は、請求項１から１０のいずれか一項に記載のシステムの機械学習モジュールが保存された、少なくとも１つのコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、介入を支援するシステム、関連する方法、機械学習モジュールをトレーニングするシステム、関連する機械学習トレーニング方法、コンピュータプログラム要素、及びコンピュータ可読媒体に関する。
【背景技術】
【0002】
バルーン血管形成術は、経皮経管的血管形成術（ＰＴＡ）としても知られ、アテローム動脈硬化性プラークの管理において最も頻繁に使用される処置の１つである。末梢動脈のアテローム性動脈硬化症は、末梢動脈疾患を引き起こし、米国だけで約８００万もの人が罹患している。通常、バルーンカテーテルはガイドワイヤ上を通されて病変部位に送られ、造影物質／剤、及び／又はバルーンカテーテルのバルーン部分の中に圧送される他の流体（の混合）を使用して膨張して、バルーン部分の内圧を上昇させる。したがって、膨張するバルーン部分は、血管内の既存の狭窄をより広く、又は開いた状態にすることができる。バルーン血管形成術は、一般に、ステント留置術やレーザーアテローム切除術などの他の治療法と（前又は後に）組み合わせて使用される。
【0003】
治療後の再狭窄率は、治療後の数ヶ月と数年で比較的高く、患者の２０％が再処置を受けている。研究によると、再狭窄は、例えば、治療中に引き起こされる機械的損傷（例えば、動脈壁の過度の伸び）による動脈の過剰な修復作用に関連していることが示されている。このトピックに関するシミュレーションでは、病変の特定の領域、特に石灰化層によって保護されていない領域への損傷が高いことが示されている。同じ研究では、（例えば、バルーンを介して）プラークを軟化させると、血管壁へのピーク応力を下げ、それによって損傷を減らすことができることが見出されている。
【0004】
近年、薬物がコーティングされたバルーンが、再狭窄、したがって、再介入の必要性を減少させる有望な結果を示している。これらのバルーンカテーテルには、修復作用において動脈平滑筋細胞の増殖を阻害する働きをするパクリタキセルなどの薬物のコーティングが含まれている。一部の薬物コーティングされたバルーンカテーテルの使用説明書（ＩＦＵ）では、標的病変への適切な薬物送達のために、バルーンを一定の期間（例えば、最低６０秒間など）維持する必要があることが示されている。単純バルーン血管形成術中に膨張時間が長くなると、転帰が向上される可能性があるというエビデンスがいくつかある。
【0005】
バルーンの膨張中に、発生する可能性がある特定の有害事象がある。有害事象は患者や処置に影響を与える可能性があるため、予防することは有益であるが、これらの事象を記録し、データを米国連邦規制機関であるＦＤＡ（食品医薬品局）といった規制当局に報告することも有益である。更に、これらの事象について適切なデータを収集したいという製造業者からの要望もある。このような有害事象には、バルーン部分の膨張又は収縮を妨げるバルーンの破裂、ねじれや折り重なりが含まれる。
【0006】
現在、医療ユーザに、蛍光透視画像のフィードバックを、バルーンカテーテルの膨張ゲージから受信した圧力情報と一緒に統合／解釈する責任がある。
【発明の概要】
【発明が解決しようとする課題】
【0007】
そのため、特に医療介入に対する支援を向上させる必要性がある。
【課題を解決するための手段】
【0008】
本発明の目的は、独立請求項の主題によって達成され、更なる実施形態は、従属請求項に組み込まれている。次に説明する本発明の態様は、上記の関連する方法、機械学習モジュールをトレーニングするシステム、上記の関連する機械学習トレーニング方法、コンピュータプログラム要素、及びコンピュータ可読媒体にも同様に適用されることに留意されたい。
【0009】
本発明の第１の態様によれば、バルーンカテーテル処置を支援するシステムが提供される。本システムは、
ｉ）患者の血管内のバルーンカテーテルの取得された画像データ、及びｉｉ）バルーンカテーテルの圧力センサによって収集された１つ以上の圧力測定値を含む入力データを受信する少なくとも１つの入力インターフェースと、
入力データに基づいて、ｉ）バルーンカテーテル及び／又はｉｉ）バルーンカテーテルが存在することが可能な血管のセクションに関連する事象を含む予測結果を予測するトレーニングされた機械学習モジュールとを含む。
ｉ）患者の血管内のバルーンカテーテルの取得された画像データ、及びｉｉ）バルーンカテーテルの圧力センサによって収集された１つ以上の圧力測定値を含む入力データを受信する少なくとも１つの入力インターフェースと、
入力データに基づいて、ｉ）バルーンカテーテル及び／又はｉｉ）バルーンカテーテルが存在することが可能な血管のセクションに関連する事象を含む予測結果を予測するトレーニングされた機械学習モジュールとを含む。
【0010】
入力データは、ビデオフィード及び／又は圧力測定値フィードなどの１つ以上のデータストリームの一部として受信される。ビデオフィードは、蛍光透視法又は他のモダリティなど、特定のイメージングモダリティで生成される。ただし、データストリームの処理は、本明細書では必須要件ではない。
【0011】
一実施形態では、入力データｉ）、ｉｉ）のうちの少なくとも一方は、対応する元のデータストリームをサンプリングするシステムのサンプラによって得られ、サンプラのサンプリング周波数は可変である。サンプリング周波数は変動する。特に、サンプリング周波数は、以前の予測結果に依存し、特に、前述のように、入力データが１つ以上のデータストリームの一部として受信される場合に依存する。
【0012】
一実施形態では、上記システムは、予測結果を、数値的に及び／又は図形的に報告する報告モジュールを含む。
【0013】
一実施形態では、報告モジュールは、予測結果を表示デバイスに表示するための図形表示を生成するビジュアライザ構成要素を含む。
【0014】
一実施形態では、図形表示は更に、画像データの少なくとも一部及び／又は圧力測定値の少なくとも一部を含む。
【0015】
一実施形態では、報告モジュールは、受信した画像データの少なくとも一部に、予測結果で注釈付けすることが可能である。注釈付けは完全に自動化されても、適切なユーザインターフェース（キーボード、タッチスクリーン、ポインタツール）などを介したユーザ入力に少なくとも部分的に依存してもよい。
【0016】
一実施形態では、予測結果に基づいて、画像データの少なくとも一部及び／又は圧力測定値の一部がメモリに保存される。
【0017】
一実施形態では、機械学習モジュールは、ニューラルネットワーク型のトレーニングされた機械学習モデルを含む。
【0018】
一実施形態では、機械学習モデルは、少なくとも１つの畳み込み層及び／又は少なくとも１つのリカレント層を含む。
【0019】
一実施形態では、事象は、バルーンカテーテルのバルーン部分の破裂若しくはねじれ、及び／又はバルーンの膨張によって引き起こされる血管への応力である。
【0020】
別の態様では、トレーニングデータに基づいて、上記の実施形態のいずれか１つによるシステムの機械学習モジュールをトレーニングするトレーニングシステムが提供される。
【0021】
別の態様では、バルーンカテーテル処置を支援する方法が提供される。本方法は、
ｉ）患者の血管内のバルーンカテーテルの取得された画像データ及びｉｉ）バルーンカテーテルの圧力センサによって収集された１つ以上の圧力測定値を含む入力データを受信するステップと、
ｉ）バルーンカテーテル及び／又はｉｉ）バルーンカテーテルが存在することが可能な血管のセクションに関連する事象の予測結果を取得するために、トレーニングされた機械学習モジュールによって、入力データを処理するステップとを含む。
ｉ）患者の血管内のバルーンカテーテルの取得された画像データ及びｉｉ）バルーンカテーテルの圧力センサによって収集された１つ以上の圧力測定値を含む入力データを受信するステップと、
ｉ）バルーンカテーテル及び／又はｉｉ）バルーンカテーテルが存在することが可能な血管のセクションに関連する事象の予測結果を取得するために、トレーニングされた機械学習モジュールによって、入力データを処理するステップとを含む。
【0022】
更に別の態様では、トレーニングデータに基づいて、上記の実施形態のいずれか１つによるシステムの機械学習モジュールをトレーニングする方法が提供される。
【0023】
機械学習技術を使用してこれらの２つの入力（画像と圧力測定値）の組み合わせを処理することで、血管への応力や有害事象を予測するために使用できる、バルーンと解剖学的構造との相互作用を捕捉できる。両方のデータフィード、即ち、画像及び圧力測定値の機械学習処理により、信頼性の高い堅牢な予測が可能になり、バルーンカテーテルなどの医療機器の誤動作などの有害事象を防止できる。有害事象には、膨張又は収縮を妨げるバルーンの破裂、折り重なり、又はねじれが含まれる。いずれかのデータフィードを単独で使用することはあまり望ましくないことがわかっている。例えば、血管壁内の石灰化には、わずかな圧力測定値でも破裂を引き起こす可能性のある鋭い結晶形成が含まれる場合がある。また、画像だけでは「全体像」をそのまま捉えることができない場合がある。バルーンの膨張は、画像フィードの中では「良好」に見えるが、実際にはバルーン内の圧力がその定格を超えようとしている場合がある。また、関心事象は、血管壁の特定の部分にバルーンが与える機械的応力の事前定義された最大許容レベルとして策定されてもよい。
【0024】
このシステムはまた、実際に発生した場合に、事象を確実に記録／報告することもでき、製造業者、規制当局、又は他の関係者に貴重なフィードバックを提供する。
【0025】
単一の画像又は圧力測定値データの処理で十分な場合があるが、性能を向上させるためには、画像フレーム及び／又は圧力測定値の２つのデータストリームを処理することが好ましい。
【0026】
別の態様では、少なくとも１つの処理ユニットによって実行されると、当該処理ユニットに上記の実施形態のいずれか１つによる方法を実行させるコンピュータプログラム要素が提供される。
【0027】
更に別の態様では、プログラム要素が保存されたコンピュータ可読媒体が提供される。
【0028】
提案されたシステム、方法、コンピュータプログラム要素、及びコンピュータ可読媒体は、移動式又は固定式の介入Ｘ線システムで使用できる。特定の関連性のある薬物がコーティングされた血管形成術バルーンカテーテル、スコアリングバルーンカテーテル、ブリッジ閉塞バルーンカテーテルなど、実質的に全てのバルーンカテーテルタイプに使用できる。
【0029】
「ユーザ」とは、医療関係者など、イメージング装置を操作したり、イメージング手順及び／又は医療介入を監督したりする人物を指す。つまり、本明細書で理解されるユーザは一般的に患者ではない。
【0030】
本明細書で使用される「画像データ」には、イメージング装置によって提供される生画像又は処理済み画像が含まれる。ただし、「画像データ」には、例えば、セグメンテーションを介して画像から抽出した情報など、元の画像の一部も含まれる。画像データの形式は、２Ｄ、３Ｄ、４Ｄなどの行列形式（２Ｄ又は３Ｄのネイティブ画像データのビデオフィードのように時間に対して１次元を使用する）であり得るが、代わりに又は加えて、セグメンテーションなどの他の適切な機能又はパラメトリック記述が含まれてもよい。適切な機能又はパラメトリック記述は、形状、ロケール、範囲などを示す又は指すデータ構造を含んで、画像領域でのセグメンテーションを定義できる。例えば、ビットマスクを使用できる。
【0031】
一般に、「機械学習」には、機械学習（「ＭＬ」）アルゴリズムを実施するコンピュータ化された配置／モジュールが含まれる。モデルベースの機械学習では、機械学習モデルはタスクを実行するために適応される。この適応を「トレーニング」と呼ぶ。より多くの（新しい）トレーニングデータがモデルをトレーニングするために使用されると、ＭＬモデル又はＭＬモジュールによるタスク実行は明らかに向上する。性能は、テストデータを処理する際にＭＬシステムによって生成される出力に適用される客観的なテストによって測定できる。性能は、所与のテストデータに対して達成される特定の誤差率で定義できる。例えば、Ｔ．Ｍ．Ｍｉｔｃｈｅｌｌの「Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ」（２ページ、第１．１章、ＭｃＧｒａｗ－Ｈｉｌｌ、１９９７）を参照されたい。
【図面の簡単な説明】
【0032】
本発明の模範的な実施形態について、次の図面を参照して説明する。図面は、特に指示のない限り、縮尺どおりではない。
【0033】
【発明を実施するための形態】
【0034】
図１を参照すると、ヒト又は動物の患者ＰＡＴに関連して実行される介入を支援するコンピュータ化されたシステムＳＹＳの概略ブロック図が示されている。
【0035】
介入は、イメージング装置ＩＡの操作中に実行される点で画像誘導型である。イメージング装置ＩＡは、好ましくは、Ｘ線源ＸＳと検出器Ｄとを含むＸ線イメージング装置であるが、ＭＲＩ、超音波、光学ＯＣＴなどの他のイメージングモダリティも本明細書では想定されている。本明細書で主に想定されるイメージング装置は、投影画像を生成する。
【0036】
以下でより詳細に説明するように、システムＳＹＳは、介入中に生成されたデータを処理するために１つ以上のコンピューティングシステム上に配置される。より具体的には、イメージング装置ＩＡによって生成された画像Ｉと、その場センサＳ（以下でより詳細に説明する）によって取得された圧力測定値Ｐとは、システムＳＹＳによって一緒に処理されて、ｉ）介入を受けている患者に関連した医学的転帰、及びｉｉ）有害事象などの特定の関心事象のうちの１つ以上を予測する。このような事象は、患者及び／又は介入に使用された医療機器に関連して発生する可能性がある。
【0037】
本明細書で主に想定される医療機器には、バルーンカテーテルＢＣが含まれる。このようなカテーテルＢＣは、血管形成術などの特定の介入に使用される。このような血管形成術の介入は、狭窄の治療に使用される。このような狭窄の１つのタイプは、静脈系又は動脈系の哺乳類（ヒト又は動物）の血管に存在する可能性がある。心臓の冠動脈における心臓狭窄は、本明細書で主に想定される一例であるが、他の用途も除外されない。狭窄は、血液循環不良によって引き起こされる酸素の供給不足により、様々な医学的合併症を引き起こす可能性がある。
【0038】
大まかに言えば、特に心臓狭窄に関しては、バルーンカテーテルの遠位部分を、患者の中を狭窄部位ＳＴ（病変血管の一部）などの病変部位まで進めることによって治療が行われる。ガイドワイヤＧＷを使用して、カテーテルの遠位治療部分が部位ＳＴまでナビゲートされて押し込まれる。本明細書では、オーバー・ザ・ワイヤ（ＯＴＷ）型又は急速交換（ＲＸ）型など、様々な種類のバルーンカテーテルを想定している。一般的には、バルーンカテーテルＢＣには、上記の遠位端と近位端とがあるチューブが含まれる。近位端は、カテーテルの動作を制御するために、患者の外側で、介入心臓専門医などのユーザのところにある。遠位部分は、大腿動脈又は静脈などにある進入点ＥＰを通って患者の中に導入され、病変部位ＳＴまで脈管構造の中を進められる。バルーンカテーテルのカテーテルチューブの遠位部分は、水や、好ましくは、生理食塩水などの液体で膨脹可能なバルーン部分ＦＰに形成されている。液体が近位端にあるポート部分を通して投与されて、バルーン部分ＦＰが膨張する。液体の一部又は全部を除去すると、バルーンは収縮する。バルーン部分ＦＰは、適切な弾性特性があるエラストマーなどの弾性材料から形成される。バルーン部分ＦＰは、進入点ＥＰを経由してガイドワイヤを使用して病変部位まで進められ、画像装置ＩＡの操作中に脈管構造の中でのナビゲーションが補助される。病変部位ＳＴに到達すると、バルーン部分ＦＰは、液体がバルーンＦＰの中に導入されることによって膨張し、したがって、血管ＶＬ壁に力をかけて狭窄を広げて、治療が行われる。本明細書では、上記のような狭窄の治療が主に想定されているが、例えば、ステント留置などの他の治療オプションも想定されている。本明細書では、心臓学的介入が主に想定されているが、例えば、泌尿器に関する用途での泌尿器系に関連した介入など、バルーンカテーテルＢＣを使用する他の医療介入を排除するものではない。
【0039】
図２Ａ、図２Ｂは、バルーンカテーテルＢＣのバルーン部分ＦＰの２つの状態をそれぞれ示す近接図である。図２Ａは、バルーン部分の収縮状態を示しており、バルーンカテーテルの遠位部分のわずかに厚くなった部分（黒で示されている）として確認できる。一方、図２Ｂは、バルーン部分ＦＰの膨張状態を示している。
【0040】
膨張可能なバルーン部分ＦＰが膨張すると圧力が上昇する。これは、バルーンカテーテルＢＣ、好ましくは、カテーテルＢＣのバルーン部分ＦＰ、又はバルーンカテーテルの膨張ユニットに組み込まれた圧力センサＳによって測定される。しかし、圧力センサＳは、圧力を誘導する経路に沿ってどの場所にでも取り付けることができる。例えば、いくつかの実施形態では、センサＳは、バルーン部分ＦＰへの流体の加圧供給のために動作可能なインジェクタ／インフレータポンプに又はその中に取り付けられる／組み込まれる。バルーンカテーテル配置ＢＣの処理ユニット（図示せず）が、圧力測定値Ｐを捕捉してデジタル化する。圧力測定値は、ボリュームＶ測定値などの追加情報によって補足される場合がある。以下では、このような追加情報は特に言及せず、以下の「圧力測定値」との言及には、このような追加情報が任意選択で含まれていると解釈されるべきである。同様に、圧力測定値は、圧力量（ＰＳＩ、バールなど）で直接提供されることもあるが、代わりに、バルーン部分の圧力と直接相関する、又はそのような圧力量に変換できるボリューム、温度などの代理量で提供されることもある。したがって、提案されるシステムＳＹＳによる処理は、ボリュームなどのそのような代理量で進められる可能性があり、本明細書では、圧力量への変換は必ずしも必要ではない。本明細書では、「圧力測定値」と言及するが、本明細書では、そのような言及には、そのような代理量への言及が含まれていると解釈されるべきである。
【0041】
従来、狭窄ＳＴの治療には、バルーン部分ＦＰを狭窄の近くに位置決めし、ユーザが特定の押力を及ぼして狭窄を少なくとも部分的に通る又は通過するようにバルーン部分ＦＰを推し進め、バルーン部分を膨張させるように液体を印加することを含む複数の段階が含まれている。膨張は、狭窄の拡大及び／又はステントの送達をもたらすか、又は病変部位ＳＴで実施される任意の他の治療をもたらす。これらの段階は、通常、前述のように、画像誘導の下でユーザによって実行される。画像装置ＩＡは、例えば、６０ｆｐｓといった適切なフレームレート（他のフレームレートが使用されてもよい）で、Ｘ線画像Ｉのライフフィード（「フレーム」）を生成する。ビデオフィードは、表示デバイスＤＤに動画として表示されてもよい。本明細書では、静止画像の捕捉及び表示は除外されないが、特にビデオフィードによって、ユーザは、カテーテルの位置決め、その膨張など、治療手順の正しい展開を確認できる。具体的には、配置、押し通し、並びに収縮及び／又は膨張の各段階は、バルーンカテーテルと血管ＶＬ、特にその壁との相互作用を引き起こす。その最中に、バルーン部分ＦＰは様々な幾何学的形状を取り、これは、取得画像から確認できる。ほとんどの介入は順調に行われるが、時に、バルーン部分ＦＰの破裂（「破裂事象」）などの有害作用が発生する場合がある。これには、バルーンと血管との好ましくない相互作用や、血管の好ましくない特性など、多くの原因が考えられる。具体的には、バルーン破裂事象は、バルーンの欠陥、定格破裂圧力（ＲＢＰ）を超えたバルーンの過剰膨張により発生する。尖った石灰化部分といった病変の形態も、バルーン破裂を引き起こす可能性がある。ほとんどの場合、バルーン破裂は、深刻な合併症は引き起こさないが、時には、空気塞栓症、血管解離／貫通、体内への剥離したバルーンの断片、及びより長い処置時間につながる可能性がある。他の有害事象には、バルーン部分ＦＰのねじれ、よじれ、又は折り目が含まれ、所望の範囲までの（十分な）膨張を阻止する。破裂、ねじれなどのこのような有害事象は、介入が成功裏に完了することを妨げるため、有害である。このような事象によって、例えば、狭窄を全く若しくは十分に広げることができないか、病変部位に薬物を正確に置くことができなくなる。
【0042】
装置によって提供される画像に加えて、上で簡単に触れたように、別のデータフィード、即ち、センサＳによって取得された時系列の圧力測定値Ｐがある。圧力測定値を、ビデオフィード画像Ｉとなるように捕捉されたバルーン部分ＦＰの異なる幾何学的形状と共に観察することにより、有害作用が差し迫っているかどうかについて信頼性の高い予測が可能であることがわかった。有害作用には、上記の破裂事象や、ねじれや折り重なり事象など、バルーン部分ＦＰの収縮及び／膨張を損なう他の事象が含まれる。本明細書では、介入を損なう可能性のある他の誤動作事象も想定されている。
【0043】
画像Ｉは、幾何学的形状に関する手がかりを提供するが、圧力測定値は、バルーン部分と血管との相互作用に関する追加の情報層を提供する。２つのデータフィード、つまり、幾何学的情報を符号化する画像と圧力測定値とを併用して、治療処置の転帰を予測できる。転帰には、例えば、患者が再狭窄を経験し、したがって、繰り返し介入が必要になる可能性があるかどうかが含まれる。これは、ｍヶ月目における開通性（例えば、ｍ＝１２）といったように、時間で定義される開通性として表現される。他の転帰は、大動脈弁閉鎖不全症、フォローアップ手術の必要性、更には死亡、特に石灰沈着性大動脈狭窄に対するバルーン弁形成術に関連する可能性がある。
【0044】
コンピュータ化されたシステムＳＹＳは、二重データフィード、つまり、画像Ｉと圧力測定値Ｐとを併せて処理して、有害事象（「Ｅ」）及び／又は転帰（「Ｏ」）に関するこれらの予測を計算する。好ましくは、システムＳＹＳは、適切なトレーニングデータで事前にトレーニングされた機械学習モジュール又は構成要素ＭＬＭを使用する。トレーニングの過程で、及び、いくつかの実施形態では、モジュールＭＬＭの機械学習モデルＭが、トレーニングデータに基づいて適応されて、機械学習構成要素を構成する。このような有害事象／転帰と、画像及び圧力測定値に併せて符号化された二重フィード情報との間には相関関係があるが、画像及び圧力測定値を所与とすると、これらの事象／転帰間の正確な関係を分析的及び／又は明示的にモデル化することは困難であることが示されている。このような分析モデリングはまた、効率が低く、過剰適合し、性能が不十分である可能性がある。機械学習（「ＭＬ」）アプローチは、前述の相関関係の明示的なモデリングを必要としないため、トレーニングデータから適切に一般化するという点で有益である。ただし、十分に大きいセットのトレーニングデータが利用可能であるならば、有益である。ＭＬは、転帰／事象と、カテーテル画像Ｉ及び圧力測定値Ｐの二重データフィードとの潜在的な関係の適切に一般化された近似を提供することがわかっている。
【0045】
ここで、イメージング装置ＩＡについて簡単に説明するが、好ましくは、これにより、異なる投影方向ｄから画像が取得される。イメージング装置には、Ｘ線源ＸＳと検出器Ｄとが接続されている任意選択のガントリＧＴが含まれる。異なる投影方向に沿った投影画像は、病変部位ＳＴの周りでガントリを、線源ＸＳ及び検出器Ｄと共に回転させることで取得される。このようなガントリベースのイメージング装置にはＣ又はＵアームシステムが含まれ、本明細書では、これらが主に想定されているが、コンピュータ断層撮影（ＣＴ）スキャナも想定されている。また、移動式又は携帯型のイメージングデバイスなど、検出器Ｄと放射線源ＸＳとの間に物理的な接続がない、又は、恒久的な物理的な接続がない非ガントリベースのイメージングソリューションも想定されている。システムＳＹＳによって処理された画像Ｉは、検出器Ｄによって記録された投影領域の投影画像であってもよいし、コンピュータ断層撮影アルゴリズムによって取得された画像領域の再構成画像であってもよい。
【0046】
イメージング中、Ｘ線源ＸＳは、Ｘ線ビームを放出する。Ｘ線ビームは、投影方向ｄに沿って伝播して、患者組織及び／又はバルーンカテーテルと相互作用して、修正されたＸ線ビームが患者の遠端で出現して、検出器Ｄで検出される。検出器Ｄのデータ収集回路（図示せず）は、受信した修正放射線を数値の集合（「ピクセル値」）に変換し、好ましくは、フレームごとのそれぞれの行列に、それぞれの行及び列で保存される。ピクセル値は検出された強度を表す。フレームあたりのピクセル値は、視覚化構成要素ＶＣによって使用されて、介入中に、画像が表示デバイスＤＤに表示される。
【0047】
前述のように、好ましくは、一連のこのような画像は、モニタデバイスＤＤにビデオフィードを表示させるように生成される。したがって、リアルタイムイメージングが提供されて、介入のリアルタイムモニタリングが支援される。しかしながら、一連のそのような画像の提供は、必ずしも全ての実施形態で必要とされるわけではなく、単一の又はより多くの圧力測定値と併せて捕捉されたそのような画像フレームだけで、状況によっては、予測を計算するのに十分な場合がある。しかしながら、機械学習モジュールＭＬＭによって複数のフレーム及び／又は複数の圧力測定値を処理することは、予測を計算する際に、ＭＬモジュールＭＬＭが傾向を考慮できるようになるため、より信頼性が高く、より堅牢になる。
【0048】
図３は、特定の時間ｔ０で介入中に、Ｘ線イメージング装置によって取得されたそのような投影画像の例である。時間ｔ０におけるフレームは、バルーンカテーテルＢＣの投影フットプリントｂｃｆの例と、血管ＶＬに関連する特定の解剖学的特徴ＡＦとを示している。血管ＶＬなどの軟組織の解剖学的特徴は、通常、コントラストが低いため、ネイティブＸ線画像ではあまりよく識別できない。血管造影法を使用して、軟組織のコントラストを高める。血管造影法では、造影剤を患者に投与して病変部位ＳＴに蓄積させ、その後画像を撮影する。造影剤によって、記録画像内のコントラストが向上される。デジタルサブトラクション法を使用して、造影剤の投与前後に取得した画像を処理して、時に「血管ツリー」と呼ばれる関連の血管系の投影フットプリントがより明確に定義される。ロードマッピング法を使用して、血管ツリーをセグメント化して抽出し、それを病変部位に造影剤が存在しない間に取得したＸ線フレームに重ね合わせ、血管ツリーの場所及び範囲などの空間情報がユーザに提供される。
【0049】
次に、図４を参照すると、本明細書で想定される医療介入を支援するコンピュータ化されたシステムＳＹＳの概略ブロック図が示されている。システムは、１つ以上のコンピューティングデバイスＰＵによって実現される。代替実施形態では、単一のこのようなデバイスを使用してもよい。このようなデバイスが複数存在する場合、これらは地理的に離れている可能性があり、したがって、システムは、クラウドアーキテクチャなどで実現される。サーバベースのシステムが使用されてもよい。或いは、コンピュータ化されたシステムの全体又は一部が、バルーンカテーテル及び／又はイメージング装置に組み込まれてもよい。実施形態では、システムは、全体的又は部分的にワークステーション、即ち、イメージング装置と通信可能に結合されたコンピューティングユニットに組み込まれる。コンピュータ化されたシステムは、全体的又は部分的にソフトウェア若しくはハードウェアとして、又はその両方として実現されてもよい。
【0050】
大まかに言えば、また、図４を引き続き参照すると、システムＳＹＳには、１つ以上のデータインターフェースＩＮが含まれ、これを介して、画像フィードＩと圧力測定値フィードＰとが、必ずしも同時でなくてもよいが受信される。タイムスタンプを使用して、測定値とフレームとがペアにされる。画像と圧力測定値とを含む入力データは、イメージャ／バルーンカテーテルから直接受信されるか、入力データは、ストレージに保存／バッファされて、そこから、入力部ＩＮにおいて受信されるように要求又はプッシュされてもよい。ストレージ／バッファは、イメージングシステムＩＡの一部であり得る。
【0051】
任意選択で、画像プリプロセッサＰＰを使用して、受信した画像をセグメンテーション又は他の技法によって処理して、バルーンカテーテルフットプリントＢＣＦ及び／又は血管ツリーなどの関連画像構造を抽出する。画像又は圧力測定値のフィード全体をシステムで処理できるが、応答性を高めたり、計算リソースを節約したりするために、圧力測定値及び／又はフレームＩの部分選択のみを処理することが有益である。このために、任意選択のサンプラＳＰを使用して、画像フィード及び／又は圧力測定値フィードをサンプリングし、部分選択によって、入力ポートＩＮにおいて受信された元のフィードＩ、Ｐの部分集合を生成する。システムＳＹＳは、この部分集合を処理して、予測結果Ｒを計算する。
【0052】
サンプラＳＰでは、様々な時間駆動又は事象駆動サンプリングスキームが実施される。例えば、サンプラＳＰは、より最近の画像及び／又は圧力測定値をより高密度にサンプリングし、時間の経過とともにサンプリング周波数を低下させる。好ましくは、バルーン膨張段階の開始からの初期画像が常に含まれていることが保証される。バルーン膨張段階の開始を示すために、いくつかの異なる事象が使用される。例えば、上記の開始は、膨張ボリュームが、５ｍＬ未満などの特定のボリューム閾値未満となる時間（Ｔ）とみなすことができる。或いは、前述の時間Ｔは、圧力が０ａｔｍなどの特定の閾値にある場合に１である。更に或いは、前述の時間Ｔは、画像フィードにバルーンフットプリントが見えない時間Ｔなど、画像定義されてもよい。
【0053】
可変サンプリング周波数スキームを引き続き参照すると、サンプリングは、一定の期間にわたって均等に進行してもよい。より高密度なサンプリング（より高いサンプリング周波数）を使用して、最新の時点をサンプリングし、時間の経過とともにサンプリング周波数を低下させる。更に別の変形例として、サンプリングは、後続の画像及び／又は対応する圧力測定値間に最小差がある場合にのみ行われる。画像及び／又は圧力測定値のサンプリングには、様々なサンプリング方式及び開始時間Ｔの定義を使用できる。好ましくは、画像チャネルと圧力測定値チャネルの両方に同じサンプリングスキームが使用されるが、スキームは異なってもよい。例えば、チャネルに変更がなければ、サンプリングは、もう一方のチャネルでのサンプリングが進行中である間に一時停止される。２つのチャネル間のペアリング又は同期性を維持するには、一定の画像又は圧力測定値のコピーを使用して、サンプリングされているチャネルでの値とペアリングされる。
【0054】
以下では、サンプラＳＰに特定の言及がされない限り、画像又は圧力測定値の全体が処理されているのか、又はサンプリングされた部分が処理されているのかを区別しないものとする。
【0055】
画像Ｉ及び圧力測定値Ｐは機械学習モジュールＭＬＭによって処理される。上で簡単に触れたように、機械学習モジュールＭＬＭは、いくつかの実施形態では、事前にトレーニングされた機械学習モデルＭを含む。機械学習モデルＭを使用して、入力データ、つまり、画像Ｉ及び圧力測定値Ｐが処理される。以下では、これらの画像及び圧力測定値フィードを、主入力、又は単に入力データと呼び、「（Ｉ、Ｐ）」と表記する。
【0056】
機械学習モデルＭは、トレーニングデータに基づいて機械学習アルゴリズムによって調整されるパラメータのセットを含む。したがって、機械学習モデルは、図８～図１０にて詳述するように、トレーニングモードとデプロイモードとの２つのモードで動作可能である。
【0057】
本明細書では、入力データ（Ｉ、Ｐ）からの機械学習のために、主に、モデルベースのＭＬ技法が想定されているが、このようなモデルベースのアプローチが本明細書で不可欠なわけではなく、代替実施形態では、非モデルベースの機械学習技法／アルゴリズムが具体的に想定されている。
【0058】
デプロイメントにおいて、事前にトレーニングされた機械学習モデルＭが入力データ（Ｉ、Ｐ）を処理し、所望の結果Ｒを生成する。この結果Ｒには、バルーン破裂などの有害作用が差し迫っているかどうかを示すデータＥが含まれる。更に又は代わりに、結果Ｒによって示される指標は、患者及び／又は所与の部位ＳＴで実施された介入に関して予想される医学的転帰Ｏの１つであってもよい。
【0059】
通信ネットワークＣＮを使用して、特に結果ＲをストレージＭＥＭ－Ｒ又は表示のための（又は他の）表示デバイスＤＤに転送する。必要に応じて、結果は、通信ネットワークを介して任意の他の処理構成要素に転送されてもよい。
【0060】
計算された結果Ｒは、報告モジュールＲＭによって適切に処理される。この処理には、グラフィカル若しくはテキストレンダリング、又はこれらの組み合わせが含まれ得る。このために、報告モジュールＲＭには、予測されたデータＲを表示デバイスＤＤに表示することを可能にするビジュアライザ構成要素ＶＣが含まれている。元の入力データ（Ｉ、Ｐ）が、結果Ｒと一緒に全体的又は部分的に表示されてもよい。報告モジュールＲＭは、計算された結果Ｒの全て又は一部を結果ストレージＭＥＭ－Ｒに保存させる。報告モジュールＲＭは、予測結果が有害事象が差し迫っていることを示すと、取得されたデータ（Ｉ、Ｐ）が結果ストレージＭＥＭ－Ｒ又は他のデータメモリなどのデータストレージに自動保存されるアラートモードで動作できる。
【0061】
注釈ツールＡＴを使用して、現在取得している画像の少なくとも一部に注釈が付けられる。注釈が適用されるかどうかは、予測結果Ｒの関数である。
【0062】
図５は、入力データ（Ｉ、Ｐ）の概略図を示し、列Ａ）は、取得した圧力測定値Ｐを時系列で示し、列Ｂ）は、介入中にイメージング装置ＩＡによって取得された画像を時系列で示している。列Ｃ）、Ｄ）は、サンプラＳＰによって生成されたそれぞれのサンプリングされたデータセットである。具体的には、列Ｃ）は、１からＮまでの離散時間間隔ｔでのサンプリングされた圧力測定値Ｐｔを示し、Ｉｔは、対応する時間ｔでそれぞれサンプリングされた画像Ｉを示している。
【0063】
一般に、入力データ（Ｉ、Ｐ）は、サンプリングされたかどうかにかかわらず、画像Ｉｔと圧力測定値Ｐｔとの対応するペアを含む。データ成分Ｉｔ及びＰｔは、両方とも同じ対応する所与の時間ｔにおける画像と圧力測定値とを表しているため、ペアリングされていると言える。上記のタイムスタンプを使用して、ペアの集合が確立される。タイムスタンプなどによる上記のペアリングは任意選択であり、提案されている機械学習ＭＬＭは、データ内にノイズが多すぎる場合など、ペアリングされていない測定値（Ｉ、Ｐ）を処理することもできる。ただし、入力データフィードの時間ベースのペアリングは、学習を加速する可能性があるため、推奨される。
【0064】
次に、図６Ａ、図６Ｂを参照すると、前述の注釈器ＡＴの動作が示されている。図６Ａの実施例では、バルーンカテーテルフットプリントｂｃｆに関連する注釈ａ１がある。図６Ｂに同様の注釈ａ２が示されている。注釈は、図６の長方形によって示されるように、単に図形であってもよい。円形、楕円形、三角形などの他の形状を代わり又は追加で使用することもできる。図形注釈ａ１、ａ２は、テキスト情報などの追加情報によって増強できる。例えば、注釈は、「推奨：ステント」の図示される例のように、フォローアップ治療を提案するテキスト成分を表す。予測結果は、好ましくは、バルーン膨張の（直）後に、血管造影データなどと組み合わされてもよい。この時点で、ユーザ及び／又は注釈器ＡＴは、追加の治療（アテローム切除術、ステント留置、薬物コーティングされたバルーンなど）を進める前に、任意の病変領域ＳＴに、更なる治療が必要であり、どのような種類の治療が必要であるかの注釈ａ１、ａ２を付ける。注釈付け動作は、好ましくは、自動であり、有害事象の発生確率に応じてトリガされる。例えば、機械学習モジュールＭＬＭが確率閾値を超える確率値（例えば、ｐ＝１０％）を返した場合、自動注釈付けがトリガされる。注釈器自体が機械学習において実施できるが、これは全ての実施形態で必要とされるわけではなく、注釈に符号化された推奨される臨床行動は、医療知識データベースからの検索操作によって取得されるか、ユーザによって手動で追加され得る。ＭＬベースの注釈が使用される場合、トレーニングデータには、画像－圧力測定値トレーニングペアに関連付けられたトレーニング注釈が含まれている。
【0065】
次に、図７のフローチャートを参照すると、介入医療処置、特にバルーンカテーテルが関与する処置を支援する機械学習ベースのシステムＳＹＳを実施するために使用されるコンピュータ実施方法のステップが示されている。以下に説明する方法は、上記のコンピュータ化されたシステムＳＹＳを実現するものと理解できるが、ステップ自体が教示として理解されることもあり、したがって、必ずしも上記のシステムアーキテクチャと結びついているわけではない。
【0066】
以下では、図７の方法のステップを参照する際、これらは機械学習モジュールのデプロイメント中に実行される。つまり、図７を参照する際、機械学習モジュールは、トレーニングデータに基づいて、適切なトレーニング手順で少なくとも部分的に事前トレーニングされているものと仮定する。トレーニング手順又はトレーニング段階については、図８～図１０でより詳細に説明する。
【0067】
次に、方法をより詳細に参照すると、ステップＳ７１０で、入力データ（Ｉ、Ｐ）が、必ずしも同時でなくてもよいが受信される。入力データは、バルーンカテーテルなどの医療機器を使用した介入中にイメージング装置によって取得された１つ以上の画像と、圧力センサによって取得された１つ以上の圧力測定値とを含む。センサは、有利には、バルーンカテーテル内といったように、介入デバイスに組み込まれているなど、その場センサである。センサは、バルーンカテーテルのバルーン部分に組み込まれて、膨張若しくは収縮されたときの、及び／又はバルーンが血管壁と相互作用する間のバルーン内の圧力を測定する。バルーンは、膨張又は収縮中にねじれたりよじれたりなどして変形する場合がある。バルーン部分が折り重なる場合もある。したがって、このような相互作用により、予想よりも高い圧力測定値や、圧力スパイク又は低下などの大きな圧力変化が生じる場合がある。センサは、方法を少なくとも部分的に実施する１つ以上の適切なプロセッサを有するコンピューティングデバイスなど、１つ以上のデータ処理ユニットＰＵに有線又はワイヤレス接続を介して測定値を供給する。
【0068】
好ましくは、入力データは、所与の瞬間に所与のフレームに捕捉されたバルーン部分ＦＰの構成が、圧力センサＳによってほぼ同時に取得された圧力測定値と対応するようにペアリングされている。フレームＩと圧力測定値Ｐとは、ネイティブにペアリングされているか、又は、例えば、任意選択のステップにおいて、タイムスタンプのマッチングなどによって処理されて、入力データはペアリングされた形式にされる。ただし、入力データがペアリングされた状態にすることは、本明細書で不可欠なわけではないが、前述のように有益である。
【0069】
任意選択のステップＳ７２０では、入力データ（Ｉ、Ｐ）のフレームＩのフィード及び／又は圧力測定値のフィードＰが、上記のサンプルスキームに従ってサンプリングされる。
【0070】
次に、ステップＳ７３０で、このようにサンプリングされた入力データ（Ｉ、Ｐ）又は入力データ（Ｉ、Ｐ）の全体が、機械学習モジュールによって処理されて、結果Ｒが予測される。
【0071】
結果Ｒは、分類又は回帰の結果であり得る。特に、ステップＳ７３０での入力データは、患者及び／又はバルーンカテーテルなどの介入デバイスに関連した有害事象を示すものとして分類される。特に、この事象は、バルーン破裂が起こる可能性／確率を記述する場合がある。更に又は代わりに、結果Ｒは、ステップＳ７１０で入力データ（Ｉ、Ｐ）で受信された圧力測定値及び画像によって捉えられるように処置を受けた患者に関連する医学的転帰の指標に分類又は回帰される。
【0072】
ステップＳ７４０では、予測結果Ｒが出力される。
【0073】
出力ステップＳ７４０には、予測結果がテキスト、数値、又は図形などの適切な形式か、又は、テキスト、数値、及び図形のうちの任意の２つ以上を含むハイブリッド形式に変換される報告ステップを含む。生の結果又は報告可能な形式の結果が、通信チャネルを介して、通信エンドポイント、携帯電話といったユーザデバイス、モバイルコンピュータ、デスクトップコンピュータ、又は任意の他のコンピューティングデバイスなどの受領者に転送される。
【0074】
任意選択のステップＳ７５０では、入力データ（Ｉ、Ｐ）は、少なくとも一部が、予測結果Ｒの関数としてデータストレージに保存される。例えば、また、本明細書では、実施形態において主に想定されているが、結果Ｒが、バルーン破裂事象などの有害事象が差し迫っていることを示す場合、現在受信されている画像及び／又は圧力測定値が保存される自動保存機能が開始される。このような保存操作は、そのような有害事象を示す結果が計算された後、事前に定義された及び／又はユーザが定義した期間、継続される。これにより、実際に破裂が発生した場合に、製造業者や他の関心関係者が誤動作状況を正確に理解して分析するために使用できるデータが捕捉される。具体的には、介入Ｘ線及び圧力データの自動保存のトリガは、任意選択で、計算された可能性に応じて異なる。自動保存操作は、有害事象の可能性がｐ＝１０％などの閾値、又はユーザが定義した他の閾値を超えた場合にトリガされる。
【0075】
特に、報告ステップは、図６に関連して上述したように、計算された結果の関数として、現在受信した画像及び／又は圧力測定値に注釈を付けることを含む場合もある。
【0076】
ステップＳ７６０では、１つ以上の入力ポートで新しい入力データが受信されたかどうかが確認され、受信された場合は、方法は、ステップＳ７１０から繰り返され、上記のように処理を進める。これ以上データが受信されない場合、手順は終了する。この方法は、単一フレーム及び／又は単一圧力測定値データごとに適切な処理周波数で実行される。或いは、また、好適には、上述のように、特に、傾向を考慮したり、計算リソースを節約したりするために、方法は、ブロック単位で実行されてもよい。事前に定義された数又は複数のフレーム及び／又は複数の圧力測定値からなるブロックが受信されると、ステップＳ７３０での結果の機械学習ベースの計算は、フレーム及び／又は圧力測定値のブロックの同時で合同での処理に基づいている。処理可能なフレーム又は圧力測定値のブロックサイズは、（ペアリングされたデータのように）同じであっても、異なっていてもよい。いくつかの実施形態では、単一のフレームが複数の圧力測定値からなるブロックと共に処理されるか、又は単一の圧力測定値が複数のフレームからなるブロックと共に処理されてもよい。しかしながら、好ましくは、フレームの複数ブロックが、同じ又は異なるサイズの圧力測定値のブロックと一緒に処理される。
【0077】
前述したように、上記の方法及び／又はコンピュータ化されたシステムＳＹＳの機械学習実装態様の詳細を以下に示す。大まかに言えば、図８は、実施形態で想定される機械学習モデルの詳細を示す。次に、図９と図１０では、図８の機械学習モデルだけでなく他の機械学習モデルといった機械学習モデルをトレーニングするトレーニング態様をより詳細に説明する。
【0078】
まず、図８を参照すると、本明細書で想定されるニューラルネットワークベースのモデルＭの概略ブロック図が示されている。具体的には、実施形態では（ただし、必ずしも全ての実施形態においてではないが）、ニューラルネットワーク（「ＮＮ」）型モデルが使用される。特に、実施形態では、少なくとも部分的に畳み込みニューラルネットワーク型（「ＣＮＮ」）が使用される。これには、非全結合層である１つ以上の層が含まれる。
【0079】
モデルＭは、コンピュータ化されたトレーニングシステムＴＳによってトレーニングされる。これは、以下で図９において詳述する。トレーニングでは、トレーニングシステムＴＳは、モデルＭの（モデル）パラメータθの初期セットを適応させる。ニューラルネットワークモデルの文脈では、パラメータは、本明細書では、重みと呼ぶことがある。トレーニングデータは、シミュレーションによって生成されるか、ＰＡＣＳ（画像保管通信システム）などの医用画像データベースにある既存の履歴画像又は他のデータから取得される。これは、以下で図９に関連してより詳述する。したがって、機械学習モデルＭに関して、トレーニング段階とデプロイメント（又は推論）段階との２つの処理段階が定義される。デプロイメント段階の前のトレーニング段階では、モデルは、トレーニングデータに基づいてそのパラメータを適応させることでトレーニングされる。モデルは、トレーニングされると、デプロイメント段階で使用されて、バルーン破裂事象などの前述の有害事象の確率、及び／又は前述のような医学的転帰の確率を予測できる。トレーニングは１回限りの操作である場合もあれば、新しいトレーニングデータが利用可能になった時点で繰り返される場合もある。このようにして、トレーニング段階とデプロイメント段階とは、実施形態において、交互に行われる。
【0080】
機械学習モデルＭは、１つ（又は複数）のコンピュータメモリＭＥＭに保存される。事前トレーニングされたモデルＭが、デスクトップコンピュータ、ワークステーション、ラップトップなどのコンピューティングデバイスＰＵ又は分散コンピューティングアーキテクチャの複数のそのようなデバイス上で実行される機械学習構成要素ＭＬＭとしてデプロイされる。好ましくは、良好なスループットを達成するために、コンピューティングデバイスＰＵには、マルチコア設計のような並列コンピューティングをサポートする１つ以上のプロセッサ（ＣＰＵ）が含まれる。実施形態では、ＧＰＵ（グラフィカル処理ユニット）又は１つ以上のＴＰＵ（テンソル処理ユニット）が使用される。
【0081】
次に、図８をより詳細に参照すると、ネットワークＭは、カスケード様式で、層Ｌｉ、ＲＬｊに配置された複数の計算ノードを含む。データフローは左から右へ、したがって、いくつかのフィードフォワード層Ｌｉにおいて層から層へと進む。１つ以上のリカレント層ＲＬｊが（図示のように）追加的に使用されても、代わりに使用されてもよい。
【0082】
トレーニングでは、入力データｘ＝（Ｉ’、Ｐ’）が入力層ＩＬに印加される。次に、入力データｘは、一連の隠れ層Ｌｉ、ＲＬｊ（図８に示されているよりも多くても少なくてもよい）を伝搬して、出力層ＯＬで推定出力Ｍ（ｘ）＝Ｒ’、つまり、上記の結果Ｌ（Ｅ）又はＬ（Ｏ）の推定値として出現する。出力データは、主に分類又は回帰の結果であり、通常、入力データｘとは異なるサイズを有する。以下では、デプロイメント中に使用／生成されたデータ（これまでにしてきたように（Ｉ、Ｐ）及びＲと表記される）から区別するために、トレーニング中に適用又は生成されたデータを示すためにチルダの概念「’」を使用する（例えば、トレーニング画像Ｉ’及びトレーニング圧力測定値Ｐ’又は推定結果Ｒ’）。
【0083】
モデルネットワークＭは、複数の隠れ層があることから深層アーキテクチャであると言える。フィードフォワードネットワークでは、「深さ」は、入力層ＩＬと出力層ＯＬとの間の隠れ層の数であり、一方で、リカレントネットワークでは、深さは、隠れ層の数にパスの数を掛けたものである。リカレント層では、それらの出力の少なくとも一部が、直前の層などの前の層にフィードバックされる。フィードフォワードタイプの層では、このようなフィードバックは発生しない。
【0084】
ネットワークの層、及び、実際に入力（Ｉ’、Ｐ’）及び出力Ｒ’、並びに隠れ層間の中間入力及び出力（本明細書では特徴マップと呼ぶ）は、ベクトルとして、又は、計算効率及びメモリ割り当て効率のために２次元以上の行列（「テンソル」）として表現できる。次元及び／又はエントリ数は、上記のサイズを表す。
【0085】
ニューラルネットワークモデルＭの入力層ＩＬは、トレーニング段階で、本明細書では（Ｉ’、Ｐ’）と呼ぶトレーニング入力データを受け取るために適切に次元化される。処理は、フレームごと、及び／又は個々の圧力測定値データＰ’ｔごとに進行する。或いは、処理は、フレーム又は圧力測定値のブロックで行われ、各ブロックは複数のフレーム又は複数の圧力測定値を含む。上記のようなブロック単位の処理への言及は、長さが１のブロックの縮退の場合を含むと理解される。必要に応じて、長さが１又は１よりも大きいブロックについて言及して、複数のフレーム又は圧力測定値データが同時に処理されることを強調する。
【0086】
フレーム又は圧力測定値のブロックは、好ましくは、入力層ＩＬに同時に印加されるが、本明細書では、順次処理も除外されない。圧力測定値のブロックは、１つの次元が時間を表す画像ボリュームとして表され、各時間座標は特定のフレームを指す。圧力測定値のブロックは、図８に示すように、圧力測定値ブロック長を定義する適切な長さのベクトルとして表される。以下では、画像と圧力測定値の両方のデータタイプのブロック長が１以上であると理解されているため、フレームごと／圧力測定値データごとを区別しない。
【0087】
トレーニング入力データ（Ｉ’、Ｐ’）の処理は、画像と一緒に圧力測定値を処理することで実施されるか、又は、各ブロックが、異なるシーケンスの層で別個に処理されてもよい。圧力測定値処理層及び画像処理層の中間結果は、１つ以上の後続の層でマージ及び処理される。
【0088】
図８の実施形態は、画像と圧力測定値の両方が各層で一緒に処理されるアーキテクチャを示しているが、前述のように、全ての実施形態で必ずしもそうではなく、処理は、このような層の別個のストランド又はシーケンスで行われてもよい。実施形態では、ネットワークＭの一部は、圧力測定値を疑似画像に変換するトランスフォーマ又はシェイパーネットワークとして構成される。次に、擬似画像は、「実際の画像」Ｉ’を処理する層の特徴マップに送り込まれる。擬似画像及び実際の画像は、「圧力測定値チャネル」と共に、多次元画像ボリュームのチャネルとして一緒に処理される。特に、実施形態では、最初は別個の入力分岐（例えば、畳み込み層及び／又は全結合層）を有する２つの入力があり、特徴マップのレベルで、入力が連結される。このような連結では、テーリング、空間的及び時間的プーリング、１×１畳み込み操作などの様々な操作を使用して、画像及び／又は圧力測定値の入力をリシェープ／リフォーマットする必要がある。例えば、圧力値は複数回コピーされて、入力画像（例えば、ｎ×ｎ疑似画像）と同様のサイズの行列を作成し、この行列は、別のチャネルとしての入力ＩＮに組み込まれるか、又は、乗算、加算、除算などの様々な代数演算を介して組み込まれる。
【0089】
前述のように、モデルＭには１つ以上の隠れ層が含まれる。図８に示すように、これらの層には、本明細書でＬｉ（例えば、ｉ＝１、・・・、ｎ）として示されている１つ以上の畳み込み層が含まれる。最初のそのような層Ｌ１は、入力層ＩＬであり、その層において、入力データが受信され処理される。これらの層は、好ましくは、フィードフォワード型である。各畳み込み層Ｌｉは、特定の数のフィルタを含む。フィルタの数は、一般的に、層を通過するにつれて増加する。しかしながら、ネットワーク深度に応じてフィルタの数が維持される、又はネットワーク深度に沿ってフィルタの数が減らされる他の実施形態も可能である。例えば、フィルタの数が変化する実施形態では、上記のフィルタの数は、層の位置によって増減する。例えば、層Ｌｊにｍ個のフィルタが含まれているとすると、層Ｌｊ＋１には（ｊ＋１）×ｍ個のフィルタが含まれている。畳み込みフィードフォワード層の代わりに、１つ以上の全結合フィードフォワード層を使用してもよい。或いは、フィードフォワード層には、畳み込み層と全結合層とが混在していてもよい。実施形態では、少なくとも１つの、２つ以上の、又は各層Ｌｉは、畳み込み操作、バッチ正規化、ドロップアウト、プーリング、及び非直線性操作のうちの１つ以上、又は組み合わせを含む。
【0090】
フィードフォワード畳み込み層のシーケンスの上流又は下流では、１つ以上の任意選択のリカレント層ＲＬｊ（例えば、ｊ＝１、・・・、Ｎ）がある。リカレント層は、畳み込み層であっても、全結合層であっても、畳み込み層と全結合層とが混在していてもよい。
【0091】
リカレント型層は、圧力測定値及び／又はビデオフィードにおける画像フレームなど、時間に依存するデータを処理する場合に有益であることがわかっている。畳み込み層は、画像型データの処理に有益であることがわかっている。データが画像のようなものではない場合、つまり、圧力測定値のベクトルなどのように、空間的な相関関係がない場合、リカレント型又はフィードフォワード型の１つ以上の全結合層が使用される。好ましくは、層はリカレント型である。
【0092】
図８に示す実施形態をより詳細に参照すると、１つ、又は好ましくはそれ以上の畳み込み層Ｌｉが、受信したトレーニングデータ入力（Ｉ’、Ｐ’）を１つ以上の特徴マップ又は特徴ベクトルΦに回帰又は分類する。その後、特徴マップ／ベクトルΦは、一連の１つ以上の後続のリカレント層ＲＬｊによって処理されるように渡される。ドロップアウト層、バッチ正規化、畳み込み層、空間プーリング（ｍａｘ、平均、ｍｉｎ）、グローバルプーリングなどの追加の機能層を使用してもよい。
【0093】
出力層ＯＬは、前の１つ以上の層（リカレント層ＲＬｊなど）から受信した特徴マップを、本明細書では、Ｍθ（Ｉ、Ｐ）＝Ｒ’と表記される出力結果のトレーニング推定値に処理する。つまり、パラメータθを持つＭＬモデルＭをトレーニングデータ（Ｉ’、Ｐ’）、トレーニングデータからの画像及び圧力測定値に適用して、トレーニング結果Ｒ’を生成する。出力層ＯＬは、必要に応じて回帰又は分類を実施できる。実施形態では、出力結果Ｒ’は、観測された入力データＩ’、Ｐ’のバルーンカテーテルに関する有害事象の確率Ｐ（Ｅ）を表す。或いは、又は、更に、結果Ｒ’は、治療を受けた患者に関する医学的転帰の確率Ｐ（Ｏ）を表してもよい。
【0094】
一度トレーニングされると、パラメータθは適切に調整されて、θ’として固定される。説明したニューラルネットワークモデルでは、調整されたパラメータθ’には、特に層ＲＬｉ、Ｌｊのフィルタ要素が含まれる。臨床現場でのデプロイメント時の「実際」のこれまでに見ていない入力データ（Ｉ、Ｐ）のトレーニングされたネットワークＭθ’による処理は、まったく図８にトレーニングに関連して説明したとおりである。ただし、ここでは、トレーニングデータ（Ｉ’、Ｐ’）の代わりに非トレーニング入力データ（Ｉ、Ｐ）が使用されて、トレーニング結果Ｒ’の代わりに結果Ｒが得られる。具体的には、モデルＭθ’がニューラルネットワーク型の場合、入力データは、入力層ＩＬに印加され、複数の層を伝播されて出力層ＯＬで結果Ｒとして出現する。処理の性質は、他のモデルでは異なる場合があるが、ＭＬモデルＭθ’に関連して上述した原理が依然として当てはまることが理解されるであろう。
【0095】
いくつかの実施形態では、モデルＭの出力層ＯＬは、マルチラベル又はバイナリ分類などの分類用に構成されている。例えば、関心結果Ｒ、Ｒ’は、破裂事象又は他の有害作用が発生するかどうかである。この実施形態では、出力Ｒ、Ｒ’は、そのような事象があるかどうかを示す２つのエントリを持つベクトルに分類される。このようなバイナリ出力の代わりに、更なる変形例として、３つ以上のエントリにわたる確率分布が計算される。これらのエントリは、特定の事象の確率があるかどうかを示す。極端な場合、出力結果には１つの数値しか提供されない。この出力は、確率が最も高い事象を示す。特に、このような分類の設定では、モデルＭは、１つ以上の畳み込み層ＩＬに加えて、フィードフォワード型又はリカレント型の１つ以上の全結合層Ｌ１～ＬＮを含む。分類結果の場合、出力層ＯＬは、ソフトマックス（ｓｏｆｔｍａｘ）関数層として、又は前の層からの特徴マップを正規化されたカウントに結合してクラスごとの分類確率を表す類似の計算ノードとして構成される。
【0096】
本明細書では、主に分類が想定されているが、回帰は除外されず、実際に、実施形態において、特に、圧力センサＳがバルーン全体の圧力分布を測定する場合に想定される。例えば、圧力センサパッチを使用して、圧力分布を推測できる。ＦＯＲＳ（光ファイバリアルシェイプ）ファイバ又は任意ン他のタイプの光ファイバ形状センシングを使用できる。このような実施形態では、圧力測定値Ｐｔはスカラーではなく２Ｄ又は３Ｄアレイである。したがって、出力層ＯＬは、圧力分布を、単一の出力値ではなく確率マップに回帰させるように動作する。確率マップは、表示デバイスＤＤのビジュアライザＶＣで表示される。したがって、有害事象の結果Ｒは、純粋な分類タスクのために上記のように事象の単一の確率値を単に提供するのではなく、バルーン部分ＦＰが破裂する、ねじれる、又は広がる可能性がある場所を示すために位置特定される場合がある。同様に、医学的転帰が、再狭窄が発生する可能性がある場所を示すために位置特定される場合がある。
【0097】
前述のように、プリプロセッサＰＰは関心領域の画像をセグメント化する。このオプションは、入力空間の次元性を制限するために使用される。バルーン又は血管ツリーのセグメンテーションは、機械学習構成要素への追加入力として提供できる。例えば、セグメンテーションは、生画像Ｉを提供する代わりに（又はそれに加えて）、トレーニングと推論の両方のために前述の追加のコンテキストパラメトリック記述を表すことができる。セグメンテーション又は他の画像前処理データを追加入力として使用する場合、これらはモデルＭによって追加の画像チャネルとして処理され、真の画像データと追加の入力とによって画像ボリュームが形成され、１つ以上の次元を使用してチャネルが定義される。これは、擬似画像に変換した後に、上記のように圧力測定値を処理するやり方と同様である。プリプロセッサによるデータを追加情報として使用するのではなく、前処理された画像データを生画像データの代わりに機械学習構成要素で処理してもよい。
【0098】
図８の上記のモデルＭは、一実施形態によるものに過ぎず、本開示に限定するものではないことが理解されるであろう。本明細書では、上記のドロップアウト層、又はプーリング層など、説明したものよりもより多い若しくは少ない、又は異なる機能性を有する他のニューラルネットワークアーキテクチャも想定されている。代替実施形態では、多層パーセプトロン（ＭＬＰ）型のＮＮも想定されている。更に、本明細書で想定されるモデルＭは、必ずしもニューラルネットワーク型である必要はなく、ＳＶＭや決定木（例えば、ランダムフォレスト）であってもよい。本明細書では、代替実施形態において、多変数回帰（重み付け線形回帰やロジスティック回帰）など、トレーニングデータからのサンプリングに基づく他の古典的な統計的回帰又は分類方法も想定されている。他の技法としては、ベイジアンネットワーク、又は、マルコフ型確率場などの確率場がある。
【0099】
次に、図９を参照すると、図８に説明された機械学習モデルなどの機械学習モデルＭθのトレーニングに使用されるコンピュータベースのトレーニングシステムＴＳの詳細が示されている。ただし、本明細書では、モデルベースのアプローチを使用する必要はなく、非モデルベースの「フリー」の機械学習アプローチもまた、本明細書では想定されている。モデルベースのアプローチを使用する場合、図８で説明したようなニューラルネットワーク型モデル（本明細書では主に想定されている）は、サポートベクターマシンなどの他の機械学習技法を除外するものではない。
【0100】
トレーニングシステムＴＳは、パラメータ（例えば、図９で説明したようなニューラルネットワーク型モデル、他のニューラルネットワーク型モデル、又は非ニューラルネットワーク型ＭＬモデルの重み）の調整に使用される。トレーニングシステムＴＳは、図８に関連して上述したようなニューラルネットワーク型機械学習モデルの重みの調整に使用される。重みにはフィルタ要素のパラメータが含まれている場合がある。各フィルタの重みは、所与の層の深さでの畳み込みを計算するために使用される数値のセットである。畳み込み層では、フィルタを使用して、前の特徴マップのエントリの部分集合から出力特徴マップのエントリを計算する。一般に、部分集合は出力エントリごとに異なる。全結合層では、このような出力特徴マップのエントリは、一般に、前の特徴マップの全てのエントリから計算される。
【0101】
一般に、トレーニングはトレーニングデータに基づいている。トレーニングデータは、ｋ個のペアのデータ項目（ｘｋ、ｙｋ）を含む。指数ｋは何百又は何千にも達する可能性がある。トレーニングデータは、各ペアｋについて、トレーニング入力データｘｋと、関連するターゲットｙｋとを含む。本目的では、ｘｋ＝（Ｉｋ’、Ｐｋ’）及びｙｋ＝Ｒｋ’となり、Ｉｋ’はｋ番目のペアのテスト画像（１つ以上の画像）を示し、Ｐｋ’は関連する圧力測定値ブロックを示す。トレーニング結果又はラベルＲｋ’は、必要に応じて有害事象又は医学的転帰を示す。したがって、本明細書で主に想定されているように、トレーニングデータは、特に教師あり学習スキームのために、ｋ個のペアで構成されている。ただし、本明細書では、教師なし学習スキームは除外されないことに留意されたい。
【0102】
いくつかの又は各トレーニングデータのペアｋは、３タプルとして保存される：
ｄｋ＝（ｘｋ，ｙｋ）＝（Ｉ’ｔｋ，Ｐ’ｔｋ，Ｒ’ｔｋ） （１）
ｄｋ＝（ｘｋ，ｙｋ）＝（Ｉ’ｔｋ，Ｐ’ｔｋ，Ｒ’ｔｋ） （１）
【0103】
このようなペアを所与とすると、トレーニングインスタンスのランダムなバッチが定義される。
【0104】
（１）では、また、いくつかの血管形成術実施形態では、Ｉ’ｔｉは、バルーン膨張中の介入処置中に取得されたサンプリングされた時系列の２Ｄ蛍光透視投影図を表す。Ｐ’ｔｉは、バルーン膨張中の介入処置中に取得されたサンプリングされた時系列の圧力測定値を表す。Ｒ’ｉは、その患者について記録された試験又はレジストリデータを表す。試験又はレジストリデータは、バルーン破裂、バルーン折り畳みなどの有害事象を符号化する。結果Ｒ’ｉは、代わりに又は加えて、処置後ｍヶ月目での開通性（例えば、ｍ＝６、１２、１８など）、デバイス及び処置に関連する死亡がないことなどを表していてもよい。モデルＭが、形式又は確率マップなどの局所的な結果のためにトレーニングされる場合、例えば、スパース性を減らすために、より有利なフォーマットのために、ターゲットｙｉ＝Ｒ’ｉを他の機械学習技法を使用して前処理する必要がある。ワンホットエンコーディングを使用することもできる。これは、任意選択で、例えば、自動エンコーダによって別の表現（「コード」と呼ばれることもある）に変換される。
【0105】
トレーニング入力データｘｋは、カテーテル検査室で取得され、ＨＩＳ（病院情報システム）のＰＡＣＳなどの画像リポジトリに保持された過去の画像データから取得されてもよい。圧力測定値も同様に医療データベース含まれていてもよい。ターゲットｙｋ又は「グラウンドトゥルース」は、分類型モデルＭの関心ラベルを表し、前述のバルーン破裂又は他の有害事象の指標である。医学的転帰は、過去のカテーテル検査患者の医療記録から得ることができる。それぞれのラベルはヘッダーデータに含まれているか、医療記録やメモを調べることによって推測できる。過去のバルーンカテーテル介入に関するテキスト報告は、「破裂」、「バルーン機能障害」などのキーワードについて検索エンジンによって要求できる。
【0106】
特に、薬物コーティングされたバルーンのための新しい治療デバイスに関連する転帰を追跡する大きなデータセットが臨床試験及びレジストリに利用可能である。このようなレジストリには、時系列のＸ線測定値及び対応する圧力測定値、並びに試験／レジストリ報告値が保存される。好ましくは、トレーニングデータセットは、（通常レジストリに反映されているように）大規模で様々な患者集団から得られる。トレーニングデータが得られる患者集団には、好ましくは、様々な解剖学的特徴、疾患の重症度、疾患の場所、性別、年齢、及び病歴を有する患者が含まれている。
【0107】
トレーニング段階では、図８に示すＮＮ型のような機械学習モデルＭのアーキテクチャに、重みの初期セットが事前に入力される。モデルの重みθはパラメータ化Ｍθを表す。トレーニングシステムＴＳは、トレーニングデータのペア（ｘｋ、ｙｋ）に基づいてパラメータθを最適化し、したがって、調整することを目的としている。つまり、学習は、コスト関数Ｆを最小化する最適化スキームとして数学的に定式化することができるが、代わりに効用関数を最大化する双対定式化を使用してもよい。
【0108】
ここでは、コスト関数Ｆの範例を仮定すると、これは集約された残差、つまり、モデルＭによって推定されたデータと、バッチ内のトレーニングデータペアｋの一部又は全てのようにターゲットと間で発生した誤差を測定する。
【数1】
【0109】
式（２）では、関数Ｍ（）は、所与のトレーニングペアｋのトレーニング入力ｘに適用されたモデルＭの結果を表す。コスト関数は（二乗）ユークリッド距離型のコスト関数（最小二乗など）であってもよく、好ましくは、回帰タスクに使用される。ただし、本明細書で想定される分類器タスクでは、（２）の総和は、交差エントロピー又はカルバック・ライブラー情報量のうちの１つとして定式化される。
【0110】
トレーニングでは、トレーニングペアのトレーニング入力データｘｋが、初期化されたネットワークＭを介して伝播される。具体的には、ｋ番目のペアのトレーニング入力ｘｋが入力ＩＬで受信され、モデルを通過した後、出力ＯＬで出力トレーニングデータＭθ（ｘ）として出力される。示されているように、モデルＭによって生成された実際のトレーニング出力Ｍθ（ｘｋ）と所望のターゲットｙｋとの差（本明細書では残差とも呼ぶ）を測定するために、ｐノルム、自乗差、又は交差エントロピーなどの適切な尺度｜｜・｜｜が使用される。
【0111】
出力トレーニングデータＭ（ｘｋ）は、印加された入力トレーニング画像データｘｋに関連付けられたターゲットｙｋの推定値である。一般に、この出力Ｍ（ｘｋ）と、現在考慮されているｋ番目のペアの関連付けられたターゲットｙｋとの間には誤差がある。逆方向／順方向伝播などの最適化スキーム、又は他の勾配ベースの方法を使用して、モデルＭのパラメータθを適応させて、考慮されているペア（ｘｋ、ｙｋ）又は完全なトレーニングデータセットからのトレーニングペアの部分集合の残差を減少させる。
【0112】
モデルのパラメータθがアップデーターＵＰによって現在のペア（ｘｋ、ｙｋ）に対して更新される第１の内側のループにおける１回以上の反復の後、トレーニングシステムＴＳは、次のトレーニングデータペアｘｋ＋１、ｙｋ＋１が適宜処理される第２の外側のループに入る。アップデーターＵＰの構造は、使用する最適化スキームによって異なる。例えば、アップデーターＵＰによって管理される内側のループは、順方向／逆方向伝播アルゴリズムで１つ以上の順方向及び逆方向パスによって実施される。パラメータを調整しながら、全てのトレーニングペアの集約された（例えば合計された）残差が、現在のペアまで考慮され、目的関数Ｆを改善する。集約された残差は、目的関数Ｆを、各ペアのいくつか又は全ての考慮された残差の、式（２）にあるように、残差の和として構成することによって形成できる。内側のループでは、２つ以上のペアを提供して、一度に（２）を最小化する。このように提供されるペアの数は、しばしばトレーニングデータのバッチと呼ぶ。次に、外側のループにおける最適化が、全てのトレーニングデータ、又は事前定義された最小数が使い果たされるまで、バッチからバッチに進行する。全てのトレーニングデータを一度に処理することも可能であるが、ほとんどの場合、これは非効率であり、トレーニングデータの部分集合（つまり、バッチ）での進行が好ましい。
【0113】
図９に示すトレーニングシステムを、全ての学習スキーム、特に教師ありスキームに使用できる。本明細書では、代替実施形態において、教師なし学習スキームも想定されている。ＧＰＵを使用して、特にＮＮ型のモデルＭのトレーニングシステムＴＳを実現できる。
【0114】
十分にトレーニングされた機械学習モジュールＭは、１つ以上のメモリＭＥＭ又はデータベースに保存され、システムＳＹＳで使用する事前にトレーニングされた機械学習モデルとして利用可能にされる。トレーニングされたモデルＭは、クラウドサービスで利用可能にされてもよい。アクセスは、無料で提供されるか、又はライセンスペイ若しくはペイパーユーススキームによってその使用が許可されてもよい。
【0115】
次に、図１０を参照すると、上記のトレーニングシステムＴＳなどの実現に使用できるトレーニングデータに基づいて、機械学習モデルをトレーニングするコンピュータ実施方法のフローチャートが示されている。
【0116】
適切なトレーニングデータを、バルーンカテーテル挿入などの過去の介入から照合する必要があり、上記の医療データベースに記録されている。好ましくは、本明細書では、教師あり学習スキームが想定されるが、教師なし学習セットアップも本明細書では想定されるため、これは不可欠なわけではない。
【0117】
教師あり学習では、トレーニングデータには、データ項目の適切なペアが含まれ、各ペアには、トレーニング入力データが含まれ、それにターゲットトレーニング出力データが関連付けられている。具体的には、ペアは、有害事象及び／又は医学的転帰に関連して適切にラベル付けされた画像及び圧力測定値を含む。上記のように、画像と圧力測定値とは、それらの結果ラベルを過去のバルーンカテーテル挿入治療データ記録、健康記録、又は他の医療データリポジトリから取得することにより、当該結果ラベルを用いてペアリングできる。
【0118】
図１０を引き続き参照して、ステップＳ１０１０では、トレーニングデータが、１つのバッチサイズに応じて、１つ以上のペア（ｘｋ、ｙｋ）の形式で受信される。各ペアには、トレーニング入力ｘｋと、関連付けられたターゲットｙｋとが含まれている。ｘｋは、上記の図７で定義されている。バッチサイズは、上記のブロックサイズとは異なる。ブロックサイズは、トレーニングペアごとの画像及び／又は圧力測定値の数を決定する。一方、バッチサイズは、（２）でコストを最小化するか、又はコスト関数Ｆを改善する場合に、一度に処理するペアの数を決定する。バッチサイズは、１、８、１６、・・・、２５６、又は任意の他の数、更にはデータセット全体であってもよい。第１の実施例では、確率的勾配降下法（１）、ミニバッチ勾配降下法、又はバッチ勾配降下法を使ってモデルをトレーニングする。
【0119】
ステップＳ１０２０では、トレーニングデータｘｋを初期化された機械学習モデルＮＮに印加して、トレーニング出力ｙｋを生成する。
【0120】
ステップＳ１０３０で、関連付けられるターゲットｙｋからのトレーニング出力Ｍ（ｘｋ）の偏差又は残差をコスト関数Ｆで定量化する。ステップＳ１０４０では、コスト関数を改善するために、モデルの１つ以上のパラメータが、内側のループにおける１つ以上の反復で適応される。例えば、モデルパラメータは、コスト関数によって測定される残差を減少させるように適応される。パラメータには、特に、各層の各ノードの重みＷが含まれる。
【0121】
次に、トレーニング方法は、外側のループでステップＳ１０１０に戻り、ここで、（バッチサイズに応じて）トレーニングデータの次の１つ以上のペアが入力される。ステップＳ１０２０では、モデルのパラメータは、考慮される全てのペアの集約された残差が減少するように、特に最小化されるように適応される。コスト関数は、集約された残差を定量化する。内側のループでは、順方向－逆方向伝播又は同様の勾配ベースの技法を使用できる。
【0122】
より一般的には、モデルＭのパラメータは、コスト関数（上記式（２）を参照）か又は効用関数のいずれかである目的関数Fを改善するために調整される。実施形態では、コスト関数は集約された残差を測定する。実施形態では、残差の集約は、バッチサイズに応じて、考慮される全てのペアの全て又は一部の残差の合計によって実現される。この方法は、好ましくは、トレーニングを高速化するために並列処理が可能なプロセッサを有する１つ以上の汎用処理ユニットＴＳ上で実施される。
【0123】
介入支援システムＳＹＳとトレーニングシステムについて、主にＸ線イメージングを参照して上記で説明したが、本明細書では、４ＤのＣＴ／ＭＲＩ、超音波、ＯＣＴ（光干渉断層撮影）、又は任意の他の時系列ベースのイメージングなどの他のイメージングモダリティも想定されている。ＯＣＴなどのいくつかのイメージングモダリティは、バルーンカテーテル自体に組み込むことができる。本明細書では、内視鏡イメージングも想定されている。
【0124】
システムＳＹＳ、ＴＳの構成要素は、イメージャＩＡに関連付けられたワークステーションなどの１つ以上の汎用処理ユニットＰＵ上で、又はイメージャのグループに関連付けられたサーバコンピュータ上で実行される１つ以上のソフトウェアモジュールとして実装される。
【0125】
或いは、システムＴＳ、ＳＹＳのいくつかの又は全ての構成要素は、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）などの適切にプログラムされたマイクロコントローラ若しくはマイクロプロセッサなどのハードウェアに配置されても、又は、イメージングシステムＩＡに組み込まれた特定用途向け集積回路（ＡＳＩＣ）であるハードワイヤ接続ＩＣチップとして配置されてもよい。更なる実施形態では、システムＴＳ、ＳＹＳのいずれか１つを、部分的にソフトウェアと、部分的にハードウェアとの両方で実現してもよい。
【0126】
システムＴＳ、ＳＹＳのいずれか１つの様々な構成要素は、単一のデータ処理ユニットＰＵ上に実装されてもよい。或いは、いくつかの又は複数の構成要素が、場合によっては、分散アーキテクチャで離れて配置され、クラウド設定やクライアント－サーバセットアップなどの適切な通信ネットワークにおいて接続可能である異なる処理ユニットＰＵ上に実装される。
【0127】
本明細書に説明される１つ以上の特徴は、コンピュータ可読媒体内に符号化された回路、及び／若しくはこれらの組み合わせとして、又はそれらを用いて構成又は実装される。回路には、ディスクリート回路及び／又は集積回路、システム・オン・チップ（ＳＯＣ）、及びこれらの組み合わせ、マシン、コンピュータシステム、プロセッサ及びメモリ、コンピュータプログラムが含まれる。
【0128】
本発明の別の例示的な実施形態では、適切なシステム上で、上記の実施形態のうちの１つによる方法の方法ステップを実行するように適応されていることを特徴とするコンピュータプログラム又はコンピュータプログラム要素が提供される。
【0129】
したがって、コンピュータプログラム要素は、本発明の一実施形態の一部であり得るコンピュータユニットに保存され得る。このコンピューティングユニットは、上記の方法のステップを実行する又は実行を誘導し得る。更に、上記の装置の構成要素を動作させ得る。コンピューティングユニットは、自動的に動作するか、及び／又は、ユーザの命令を実行できる。コンピュータプログラムは、データプロセッサの作業メモリにロードされてもよい。したがって、データプロセッサは、本発明の方法を実行するために準備が整っている。
【0130】
本発明のこの模範的な実施形態は、最初から本発明を使用するコンピュータプログラムと、アップデートによって既存のプログラムを本発明を使用するプログラムに変換するコンピュータプログラムとの両方を対象としている。
【0131】
更に、コンピュータプログラム要素は、上記の方法の模範的な実施形態の手順を遂行するために必要な全てのステップを提供できる。
【0132】
本発明の更なる模範的な実施形態によれば、ＣＤ－ＲＯＭなどのコンピュータ可読媒体が提示される。コンピュータ可読媒体には、コンピュータプログラム要素が保存されている。コンピュータプログラム要素については前のセクションで説明されている。
【0133】
コンピュータプログラムは、他のハードウェアと一緒に又はその一部として供給される、光記憶媒体又はソリッドステート媒体などの適切な媒体（特に、非一時的媒体であるが、必ずしもそうである必要はない）に保存／配布することができるが、インターネット又は他の有線若しくは無線通信システムを介してなど他の形式で配布することもできる。
【0134】
しかしながら、コンピュータプログラムはまた、ワールドワイドウェブのようなネットワークを介して提示されてもよく、このようなネットワークからデータプロセッサの作業メモリにダウンロードできる。本発明の更なる模範的な実施形態によれば、ダウンロード用にコンピュータプログラム要素を利用可能にする媒体が提供される。このコンピュータプログラム要素は、本発明の前述の実施形態のうちの１つによる方法を行うように構成されている。
【0135】
なお、本発明の実施形態は、異なる主題を参照して説明されていることに留意されたい。具体的には、方法タイプの請求項を参照して説明されている実施形態もあれば、デバイスタイプの請求項を参照して説明されている実施形態もある。しかしながら、当業者であれば、特に明記されていなければ、上記及び以下の説明から、１つのタイプの主題に属する特徴の任意の組み合わせに加えて、異なる主題に関連する特徴の任意の組み合わせも、本出願で開示されていると見なされることを推察できるであろう。ただし、全ての特徴は、特徴の単なる寄せ集め以上の相乗効果を提供するならば組み合わせることができる。
【0136】
本発明は、図面及び上記の説明に詳細に例示及び説明されているが、このような例示及び説明は、例示的又は模範的と見なされるべきであって、限定的と見なされるべきではない。本発明は、開示された実施形態に限定されない。開示された実施形態の他の変形は、図面、開示、及び従属請求項の検討から、請求項に係る発明を実施する際に当業者によって理解され、実行され得る。
【0137】
特許請求の範囲において、「含む」という語は、他の要素やステップを排除するものではなく、単数形の要素は複数を排除するものではない。単一のプロセッサ又は他のユニットが、特許請求の範囲に記載されているいくつかのアイテムの機能を果たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用できないことを意味するものではない。特許請求の範囲における任意の参照符号は、範囲を限定するものと解釈されるべきではない。
【図1-2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【国際調査報告】