IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ライトラボ・イメージング・インコーポレーテッドの特許一覧

特表2024-526761OCT画質保証のための深層学習に基づくアプローチ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-07-19
(54)【発明の名称】OCT画質保証のための深層学習に基づくアプローチ
(51)【国際特許分類】
   A61B 1/045 20060101AFI20240711BHJP
   A61B 1/00 20060101ALI20240711BHJP
【FI】
A61B1/045 618
A61B1/045 614
A61B1/00 526
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024501965
(86)(22)【出願日】2022-07-12
(85)【翻訳文提出日】2024-03-12
(86)【国際出願番号】 US2022036805
(87)【国際公開番号】W WO2023287776
(87)【国際公開日】2023-01-19
(31)【優先権主張番号】63/220,722
(32)【優先日】2021-07-12
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】509128672
【氏名又は名称】ライトラボ・イメージング・インコーポレーテッド
(74)【代理人】
【識別番号】100099623
【弁理士】
【氏名又は名称】奥山 尚一
(74)【代理人】
【識別番号】100125380
【弁理士】
【氏名又は名称】中村 綾子
(74)【代理人】
【識別番号】100142996
【弁理士】
【氏名又は名称】森本 聡二
(74)【代理人】
【識別番号】100166268
【弁理士】
【氏名又は名称】田中 祐
(72)【発明者】
【氏名】ブレイバー,ジャスティン,アキラ
(72)【発明者】
【氏名】ゴピナス,アジェイ
(72)【発明者】
【氏名】チェン,ハンフリー
(72)【発明者】
【氏名】サヴィッジ,カイル,エドワード
(72)【発明者】
【氏名】ヂァン,アンジェラ
(72)【発明者】
【氏名】アミス,グレゴリー,パトリック
【テーマコード(参考)】
4C161
【Fターム(参考)】
4C161AA22
4C161BB08
4C161CC06
4C161WW02
4C161WW14
(57)【要約】
本開示の態様は、OCT画像を分類するために機械学習モデル又はニューラルネットワークをトレーニングするシステム、方法、及びアルゴリズムに関する。ニューラルネットワーク又は機械学習モデルは、OCT画像のどの部分が遮られているか、及びどの部分がクリアであるかを示す、アノテートされたOCT画像と、クリアなもの又は遮られているものとしてのOCT画像の分類とを受信してもよい。トレーニングの後、ニューラルネットワークは、1枚以上の新たなOCT画像を分類するために使用されてもよい。分類の結果を出力し、1枚以上のOCT画像の分析を要約するために、ユーザインタフェースが提供されてもよい。
【選択図】図8
【特許請求の範囲】
【請求項1】
診断用医用画像を分類する方法であって、
前記診断用医用画像を受信するステップと、
トレーニングされた機械学習モデルを用いて、リアルタイムで又は略リアルタイムで、前記診断用医用画像を分析するステップであって、前記トレーニングされた機械学習モデルは、アノテートされた診断用医用画像のセットに対してトレーニングされるものである、ステップと、
前記分析に基づいて、前記診断用医用画像の画質を特定するステップと、
前記特定された画質の指標を、リアルタイムで又は略リアルタイムで、ユーザインタフェース上での表示のために出力するステップと
を含んでなる方法。
【請求項2】
前記診断用医用画像は、一連の診断用医用画像のうちの単一の画像である、請求項1に記載の方法。
【請求項3】
前記一連の診断用医用画像は、光干渉断層撮影法の引き戻しを通して取得される、請求項2に記載の方法。
【請求項4】
前記診断用医用画像を、第1の分類又は第2の分類として分類するステップを更に含む、請求項1に記載の方法。
【請求項5】
前記診断用医用画像が前記第2の分類に分類された場合に、アラート又は通知を提供するステップを更に含む、請求項4に記載の方法。
【請求項6】
前記アノテートされた診断用医用画像のセットは、「クリア」、「血液」、又は「ガイドカテーテル」を含むアノテーションを含む、請求項1に記載の方法。
【請求項7】
前記診断用医用画像は、光干渉断層撮影法画像である、請求項1に記載の方法。
【請求項8】
前記診断用医用画像を、クリア医用画像又は血液医用画像として分類するステップを更に含む、請求項1に記載の方法。
【請求項9】
前記診断用医用画像が許容可能であるか許容可能でないかを示す確率を計算するステップを更に含む、請求項1に記載の方法。
【請求項10】
前記計算された確率を前記診断用医用画像の分類に変換するために閾値法を使用するステップを更に含む、請求項9に記載の方法。
【請求項11】
前記計算された確率を前記診断用医用画像の分類に変換するためにグラフカットを使用するステップを更に含む、請求項9に記載の方法。
【請求項12】
前記計算された確率を前記診断用医用画像の分類に変換するために形態学的分類を使用するステップを更に含む、請求項9に記載の方法。
【請求項13】
許容可能とは、前記診断用医用画像が、閾値レベルよりも高い精度又は信頼度の人体組織の特性の評価を可能にする、予め定義された閾値品質よりも高いことを意味する、請求項9に記載の方法。
【請求項14】
前記予め定義された閾値品質の値が、機械学習モデルを最適化することによって決定される、請求項13に記載の方法。
【請求項15】
命令を記憶するメモリに結合された処理デバイスを備えるシステムであって、前記命令は、前記処理デバイスに対し、
診断用医用画像を受信し、
トレーニングされた機械学習モデルを用いて、リアルタイムで又は略リアルタイムで、前記診断用医用画像を分析し、ここで、前記トレーニングされた機械学習モデルは、アノテートされた診断用医用画像のセットに対してトレーニングされるものであり、
前記分析に基づいて、前記診断用医用画像の画質を特定し、
前記特定された画質の指標を、リアルタイムで又は略リアルタイムで、ユーザインタフェース上での表示のために出力する
ことを行わせるものである、システム。
【請求項16】
前記診断用医用画像は、光干渉断層撮影法(OCT)画像である、請求項15に記載のシステム。
【請求項17】
前記命令は、複数のOCT画像を、前記複数のOCT画像の各画像の分類に関連するインジケータとともに表示するように構成されている、請求項16に記載のシステム。
【請求項18】
一連の診断用医用画像は、光干渉断層撮影法の引き戻しを通して取得される、請求項15に記載のシステム。
【請求項19】
プログラム命令を含む非一時的コンピュータ可読媒体であって、前記プログラム命令は、実行されたときに、
診断用医用画像を受信し、
トレーニングされた機械学習モデルを用いて、リアルタイムで又は略リアルタイムで、前記診断用医用画像を分析し、ここで、前記トレーニングされた機械学習モデルは、アノテートされた診断用医用画像のセットに対してトレーニングされるものであり、
前記分析に基づいて、前記診断用医用画像の画質を特定し、
前記特定された画質の指標を、リアルタイムで又は略リアルタイムで、ユーザインタフェース上での表示のために出力する
ことを実行するものである、非一時的コンピュータ可読媒体。
【請求項20】
前記診断用医用画像は、一連の診断用医用画像のうちの単一の画像である、請求項19に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般的に、血管系撮像及びデータ収集のシステム及び方法の分野に関する。特に、本開示は、光干渉断層撮影(OCT:Optical Coherence Tomography)システムにおける画質の検出及び画像のカテゴライズを改善する方法に関する。
【0002】
[関連出願の相互参照]
本願は、2021年7月12日に出願された米国仮特許出願第63/220,722号の出願日の利益を主張し、その開示内容は引用することにより本明細書の一部をなすものとする。
【背景技術】
【0003】
光干渉断層撮影法(OCT)は、光を使用してミクロンスケールで組織の断面画像をキャプチャする撮像手法である。OCTは、光を使用して冠動脈又は他の動脈の壁を覗き込み、研究のためにその画像を生成する、カテーテルベースの撮像モダリティ(imaging modality)となりうる。コヒーレント光、干渉計、及び微小光学系を利用して、OCTは、マイクロメートルレベルの分解能で疾患血管内のビデオレートの生体内断層撮影を可能にする。光ファイバプローブを使用して高分解能で表面下の構造を見ることは、OCTを、内部組織及び臓器の低侵襲撮像に特に有用なものとする。OCTを用いて可能とされるこのレベルの詳細さは、医師が冠動脈疾患の進行を診断及び監視することを可能にする。
【0004】
OCT画像は、様々な理由によって劣化しうる。例えば、OCT画像は、血管のOCT画像が取得されるときに、その血管内の血液の存在により劣化しうる。血液の存在は、血管内の処置の間に、血管境界の適切な特定を妨げうる。劣化した画像は、解釈又は診断に有用でないものとなりうる。例えば、OCTデバイスが血管の長さをスキャンするために使用される処置である「引き戻し」(pull-back)の間、数千枚の画像が取得されうるが、そのうちのいくつかは、OCTの引き戻しの間に管腔輪郭を遮る血液の存在のために、劣化しうるか、不正確なものとなりうるか、又は分析に有用でないものとなりうる。
【0005】
どのOCT画像が劣化しているかの特定は、血管のOCTスキャンの間に取得された数百枚又は数千枚の画像の、手作業での、フレーム毎又は画像毎の分析を必要とする。さらに、この分析は、OCT処置が完了した後に実行されるものであり、劣化した画像に対応する血管の部分の、より好適な品質の画像を取得するためには、追加的なOCTスキャンを潜在的に必要とする。
【0006】
血液の存在を検出するために必要とされる追加的な機器は、典型的な臨床ワークフローを変更させるか、画質を劣化させるか、又は他の態様で臨床の実装における複雑さを増大させうる。潜在的に不正確な管腔検出を検出するために開発された他のツールは、信頼性が低いことが示されており、キャプチャされたOCT画像が血液で遮られているか否かを直接には検出せず、したがって解釈に有用でない。
【発明の概要】
【0007】
画像から直接の、どの画像又は画像の群が劣化しているかの、リアルタイムの又は略リアルタイムの識別は、OCTスキャンを解釈する際にそれらの画像が無視されることを可能にし、OCT機器が依然としてその場所(in situ)にある間に、遮られた血管の部分が再スキャンされることを可能にする。
【0008】
開示される技術の態様は、OCTの引き戻し(pullback)のクリア画像長(CIL:clear image length)の算出を可能にする。クリア画像長は、例えば血液等によって妨害されていないOCTの引き戻しの連続したセクションについての指標となりうる。
【0009】
開示される技術の態様は、診断用医用画像(diagnostic medical image)を分類する方法を含む。本方法は、診断用医用画像を受信するステップと、トレーニングされた機械学習モデルを用いて、リアルタイムで又は略リアルタイムで、診断用医用画像を分析するステップであって、トレーニングされた機械学習モデルは、アノテートされた(annotated:注釈が施された)診断用医用画像のセットに対してトレーニングされるものである、ステップと、分析に基づいて、診断用医用画像の画質を特定するステップと、特定された画質の指標を、リアルタイムで又は略リアルタイムで、ユーザインタフェース上での表示のために出力するステップとを含んでもよい。診断用医用画像は、一連の診断用医用画像のうちの単一の画像であってもよい。一連の診断用医用画像は、光干渉断層撮影法の引き戻しを通して取得される。診断用医用画像は、第1の分類又は第2の分類として分類されてもよい。診断用医用画像が第2の分類に分類された場合に、アラート又は通知が提供されてもよい。アノテートされた診断用医用画像のセットは、「クリア」、「血液」、又は「ガイドカテーテル」を含むアノテーションを含んでもよい。診断用医用画像は、光干渉断層撮影法画像であってもよい。診断用医用画像は、クリア医用画像又は血液医用画像として分類されてもよい。診断用医用画像が許容可能であるか許容可能でないかを示す確率が、計算されてもよい。計算された確率を診断用医用画像の分類に変換するために、閾値法が使用されてもよい。計算された確率を診断用医用画像の分類に変換するために、グラフカットが使用されてもよい。計算された確率を診断用医用画像の分類に変換するために、形態学的分類が使用されてもよい。「許容可能」(acceptable)とは、診断用医用画像が、閾値レベルよりも高い精度又は信頼度の人体組織の特性の評価を可能にする、予め定義された閾値品質よりも高いことを意味しうる。クリア画像長又はクリア画像長インジケータが、表示又は出力されてもよい。
【0010】
開示される技術の態様は、命令を記憶するメモリに結合された処理デバイスを備えるシステムであって、命令は、処理デバイスに対し、診断用医用画像を受信することと、トレーニングされた機械学習モデルを用いて、リアルタイムで又は略リアルタイムで、診断用医用画像を分析することであって、トレーニングされた機械学習モデルは、アノテートされた診断用医用画像のセットに対してトレーニングされるものである、ことと、分析に基づいて、診断用医用画像の画質を特定することと、特定された画質の指標を、リアルタイムで又は略リアルタイムで、ユーザインタフェース上での表示のために出力することとを行わせるものである、システムを含んでもよい。診断用医用画像は、光干渉断層撮影法(OCT)画像であってもよい。命令は、複数のOCT画像を、複数のOCT画像の各画像の分類に関連するインジケータとともに表示するように構成されていてもよい。一連の診断用医用画像は、光干渉断層撮影の引き戻し(pullback)を通して取得されてもよい。
【0011】
開示される技術の態様は、プログラム命令を含む非一時的コンピュータ可読媒体であって、命令は、実行されたときに、診断用医用画像を受信するステップと、トレーニングされた機械学習モデルを用いて、リアルタイムで又は略リアルタイムで、診断用医用画像を分析するステップであって、トレーニングされた機械学習モデルは、アノテートされた診断用医用画像のセットに対してトレーニングされる、ステップと、分析に基づいて、診断用医用画像の画質を特定するステップと、特定された画質の指標を、リアルタイムで又は略リアルタイムで、ユーザインタフェース上での表示のために出力するステップとを実行する、非一時的コンピュータ可読媒体を含んでもよい。診断用医用画像は、一連の診断用医用画像のうちの単一の画像であってもよい。一連の診断用医用画像は、光干渉断層撮影法の引き戻しを通して取得されてもよい。診断用医用画像は、第1の分類又は第2の分類として分類されてもよい。診断用医用画像が第2の分類に分類された場合に、アラート又は通知が提供されてもよい。アノテートされた診断用医用画像のセットは、「クリア」、「血液」、又は「ガイドカテーテル」を含むアノテーションを含んでもよい。診断用医用画像は、クリア医用画像又は血液医用画像として分類されてもよい。診断用医用画像が許容可能であるか許容可能でないかを示す確率が、計算されてもよい。計算された確率を診断用医用画像の分類に変換するために、閾値法が使用されてもよい。計算された確率を診断用医用画像の分類に変換するために、グラフカットが使用されてもよい。計算された確率を診断用医用画像の分類に変換するために、形態学的分類が使用されてもよい。「許容可能」とは、診断用医用画像が、閾値レベルよりも高い精度又は信頼度の人体組織の特性の評価を可能にする、予め定義された閾値品質よりも高いことを意味しうる。クリア画像長又はクリア画像長インジケータが、表示又は出力されてもよい。分類不可能な画像は、トレーニングされた機械学習モデルを再トレーニングするために保存されてもよい。
【図面の簡単な説明】
【0012】
図1】本開示の態様による、撮像及びデータ収集システムの概略図である。
図2A】本開示の態様による、「クリアな」OCT画像である。
図2B】本開示の態様による、アノテートされた「クリアな」OCT画像である。
図3A】本開示の態様による、「遮られている」OCT画像である。
図3B】本開示の態様による、アノテートされた「遮られている」OCT画像である。
図4】本開示の態様による、データのトレーニングセットに関連するヒストグラムである。
図5】本開示の態様による、トレーニングプロセスのフロー図である。
図6】本開示の態様による、OCT画像を分類する態様に関連するフロー図である。
図7】本開示の態様による、OCT画像のシーケンスを分類又はグループ化するために使用されうる手法の態様を示す図である。
図8】本開示の態様による、管腔輪郭の信頼度及び画質の態様に関連するユーザインタフェースを示す図である。
図9】本開示の態様による、OCTの引き戻しのクリア画像長(CIL)を生成又は算出するために使用されうる方法を示す図である。
図10】本開示の態様による、一例示のCILコストマトリクスを示す図である。
図11】本開示の態様による、OCTの引き戻しに組み込まれたCILを有する一例示のOCTの引き戻しを示す図である。
図12】本開示の態様による、機械学習のタスクベースのアプローチを使用して画質を保証する一例示の方法を示すフロー図である。
図13A】本開示の態様による、管腔検出タスクからの一例示の画像である。
図13B】本開示の態様による、図13Aの画像についての一例示のタスク結果を示す図である。
図13C】本開示の態様による、管腔検出タスクの一例示の信頼度の結果を示す図である。
図14A】本開示の態様による、図13Cに関連する信頼度値を示す一例示のグラフである。
図14B】本開示の態様による、図13Cに関連する信頼度値を示す一例示のグラフである。
図15A】本開示の態様による、管腔検出タスクからの別の例示の画像である。
図15B】本開示の態様による、図15Aの画像についての別の例示のタスク結果を示す図である。
図15C】本開示の態様による、管腔検出タスクについての別の例示の信頼度の結果を示す図である。
図16A】本開示の態様による、図15Cに関連する信頼度値を示す一例示のグラフである。
図16B】本開示の態様による、図15Cに関連する信頼度値を示す一例示のグラフである。
図17A】本開示の態様による、Aラインフレーム毎の一例示の信頼度集計を示す図である。
図17B】本開示の態様による、フレーム引き戻し毎の一例示の信頼度集計を示す図である。
図18】本開示の態様による、一例示のユーザインタフェースのスクリーンショットである。
【発明を実施するための形態】
【0013】
本開示は、機械学習に基づく手法の使用を通して、画質の悪い医療診断画像(medical diagnostic image)をリアルタイムで特定する、システム、方法、及び非一時的コンピュータ可読媒体に関する。医療診断画像の非限定的な例は、OCT画像、血管内超音波(IVUS:intravascular ultrasound)画像、CTスキャン、又はMRIスキャンを含む。例えば、OCT画像が受信され、トレーニングされた機械学習モデルを用いて分析される。いくつかの例においては、トレーニングされた機械学習モデルは、画像を分析した後に確率を出力してもよい。いくつかの例においては、出力される確率は、画像が特定のカテゴリ又は分類に属するか否かの確率に関連してもよい。例えば、分類は、取得された画像の品質、及び/又は品質が更なる処理又は分析を実行するのに十分であるか否かに、関連するものとすることができる。いくつかの例においては、分類は、「許容可能/許容不可能」(acceptable/unacceptable)、「クリア/遮られている」(clear/blocked)等のバイナリ分類であってもよい。
【0014】
機械学習モデルは、アノテートされた又はマークされたデータのセットに基づいてトレーニングすることができる。アノテートされた又はマークされたデータのセットは、画像の部分の分類又は特定を含んでもよい。いくつかの例によれば、トレーニングデータのセットは、「血液で遮られている」又は「血液で遮られていない」としてマーク又は分類することができる。いくつかの例においては、トレーニングデータは、許容可能又は許容不可能/遮られているものとしてマークすることができる。いくつかの例においては、データのセットは、1回以上のOCTの引き戻しの間に取得されたOCT画像を含んでもよい。いくつかの例においては、トレーニングデータの1つ以上のセットは、トレーニングデータの各セットがデータの分類の類似する分布を有するように、選ばれるか又は層別化されてもよい。
【0015】
データのトレーニングセットは、トレーニングデータのセットを増強、修正、又は変更すること等によって、操作されてもよい。機械学習モデルのトレーニングはまた、トレーニングデータの操作されたセットに対して行われてもよい。いくつかの例においては、増強、修正、又は変更されたトレーニングデータの使用が、機械学習モデルを一般化し、機械学習モデルのオーバーフィッティングを防止しうる。
【0016】
トレーニングされた機械学習モデルによるOCT画像のカテゴライズの後、又は画像が特定のカテゴリに属する確率を取得した後、画像に関連する情報をユーザに表示する前に、画像に対して後処理手法が使用されてもよい。いくつかの例においては、後処理手法は、丸め手法、グラフカット、収縮、膨張、又は他の形態学的方法を含んでもよい。分析されたOCT画像に関連する追加的な情報もまた、例えば、どのOCT画像が許容不可能であったか又は遮られているものであったかを示す情報等の、OCT画像に関連する出力をユーザに表示するときに、生成され使用されてもよい。
【0017】
本開示において使用される、OCT画像又はOCTフレームは、交換可能に使用されうる。さらに、本開示において使用される、「許容不可能」又は「遮られている」OCT画像とは、当業者には理解されるように、血液又は他の流体の存在により管腔及び血管壁がクリアに撮像されていないものである。
【0018】
ここで与えられる例は主にOCT画像に関係して説明されているが、当業者であれば、本明細書で説明される手法は他の撮像モダリティに適用されうることを理解するであろう。
【0019】
図1は、血管内データの収集における使用のためのデータ収集システム100を示す。本システムは、血管102を撮像するために使用されうるデータ収集プローブ104を含みうる。プローブ104を血管102に導入するために、図示されていないが、ガイドワイヤを使用することができる。プローブ104は、データを収集している間に、血管の長さに沿って導入すること及び引き戻すことができる。プローブ104が引き戻されるときに、すなわち引き戻されるときに、複数のスキャン又はOCT及び/又はIVUSデータセットを収集することができる。データセット、又は画像データのフレームは、血管の寸法、圧力及び流れの特性等の特徴を特定するために使用することができる。
【0020】
プローブ104は、光ファイバ106を介してサブシステム108に接続することができる。サブシステム108は、レーザ等の光源、サンプルアーム及び参照アームを有する干渉計、様々な光路、クロック発生器、フォトダイオード、並びに他のOCT及び/又はIVUSコンポーネントを含みうる。
【0021】
プローブ104は、光受信器110に接続することができる。いくつかの例によれば、光受信器110は、平衡型フォトダイオードベースのシステムとすることができる。光受信器110は、プローブ104によって集められた光を受けるように構成することができる。
【0022】
サブシステムは、コンピューティングデバイス112を含みうる。コンピューティングデバイスは、1つ以上のプロセッサ113、メモリ114、命令115、データ116、及び1つ以上のモジュール117を含みうる。
【0023】
1つ以上のプロセッサ113は、市販のマイクロプロセッサ等の任意の従来のプロセッサとすることができる。代替としては、1つ以上のプロセッサは、特定用途向け集積回路(ASIC)又は他のハードウェアベースのプロセッサ等の専用デバイスとすることができる。図1は、デバイス112のプロセッサ、メモリ、及び他の要素を、同じブロック内にあるものとして機能的に示しているが、プロセッサ、コンピューティングデバイス、又はメモリは、実際には、同じ物理的なハウジング内に格納されたもの又は格納されていないものとすることができる複数のプロセッサ、コンピューティングデバイス、又はメモリを含みうることは、当業者には理解されるであろう。同様に、メモリは、デバイス112のハウジングとは異なるハウジング中に位置するハードドライブ又は他の記憶媒体とすることができる。したがって、プロセッサ又はコンピューティングデバイスへの参照は、並列に動作するもの又はしないものとすることができるプロセッサ若しくはコンピューティングデバイス又はメモリの集合への参照を含むことが、理解されるであろう。
【0024】
メモリ114は、プロセッサ113によって実行することができる命令115、及びデータ116を含む、プロセッサによってアクセス可能な情報を記憶することができる。メモリ114は、非一時的コンピュータ可読媒体、又はハードドライブ、メモリカード、読み取り専用メモリ(「ROM」)、ランダムアクセスメモリ(「RAM」)、光ディスク、並びに他の書き込み可能メモリ及び読み取り専用メモリ等の電子デバイスの助けを借りて読み取ることができるデータを記憶する他の媒体を含む、プロセッサ113によってアクセス可能な情報を記憶するように動作可能なタイプのメモリとすることができる。本明細書で開示される主題は、命令115及びデータ116の異なる部分が異なるタイプの媒体に記憶されるような、前述のものの種々の組み合わせを含みうる。
【0025】
メモリ114は、命令115に従ってプロセッサ113によって取り出し、記憶、又は修正することができる。例えば、本開示は、特定のデータ構造によって限定されるものではないが、データ116は、コンピュータレジスタ、複数の異なるフィールド及びレコードを有するテーブルとしてのリレーショナルデータベース、XML文書、又はフラットファイルに記憶することができる。データ116はまた、限定するものではないが、バイナリ値、ASCII又はUnicode等の、コンピュータ可読形式でフォーマットすることができる。単なる更なる例として、データ116は、圧縮又は非圧縮で記憶される画素から構成されるビットマップ、若しくは様々な画像形式(例えばJPEG)、ベクトルベースの形式(例えばSVG)、又はグラフィックを描画するためのコンピュータ命令として記憶することができる。さらに、データ116は、数字、記述テキスト、独自コード、ポインタ、他のメモリ(他のネットワークのロケーションを含む)に記憶されたデータへの参照、又は関連データを算出する機能によって使用される情報等の、関連情報を特定するのに十分な情報を含みうる。メモリ114はまた、機械学習モデルをトレーニングしてトレーニングデータのセットに含まれないOCT画像を分析するために機械学習モデルとともに使用される、OCT画像等のトレーニングデータのセットを含むか又は記憶してもよい。
【0026】
命令115は、プロセッサ113によって、直接的に実行される、マシンコード等の命令、又は間接的に実行される、スクリプト等の命令の、任意のセットであってもよい。これに関して、本明細書では、「命令」、「アプリケーション」、「ステップ」、及び「プログラム」という用語は、交換可能に使用されうる。命令は、プロセッサによる直接の処理のためのオブジェクトコード形式で、又はスクリプト若しくはオンデマンドで解釈されるか若しくは事前にコンパイルされる独立したソースコードモジュールの集合を含む任意の他のコンピューティングデバイスの言語で、記憶されてもよい。命令の機能、方法、及びルーチンは、以下により詳細に説明される。
【0027】
モジュール117は、表示モジュールを含みうる。いくつかの例においては、他の血管特性を計算するためのモジュール等の、更なるタイプのモジュールを含めることができる。いくつかの例によれば、モジュールは、画像データ処理パイプライン又はそのコンポーネントモジュールを含みうる。画像処理パイプラインは、収集されたOCTデータを、血管、ステント、及び/又は検出された領域の2次元(「2D」)及び/又は3次元(「3D」)のビュー及び/又は表現に変換するために使用することができる。モジュール117はまた、画像の1つ以上の要素を特定及び分類するための、画像認識及び画像処理モジュールを含んでもよい。
【0028】
モジュール117は、機械学習モジュールを含みうる。機械学習モジュールは、ニューラルネットワーク及びニューラルネットを含む、機械学習アルゴリズム及び機械学習モデルを含んでもよい。機械学習モジュールは、トレーニングデータのセットを使用してトレーニングされたものであってもよい機械学習モデルを含んでもよい。いくつかの例においては、限定するものではないが、機械学習モジュール又は機械学習アルゴリズムは、畳み込みニューラルネットワーク(convolution neural network)、パーセプトロンネットワーク(perceptron network)、放射基底ネットワーク(radial basis networ)、深層順伝播型ネットワーク(deep feed forward network)、回帰型ニューラルネットワーク(recurrent neural network)、自己符号化器ネットワーク(auto encoder network)、ゲート付き回帰型ユニットネットワーク(gated recurrent unit network)、深層畳み込みネットワーク(deep convolution network)、逆畳み込みネットワーク(deconvolution network)、又はサポートベクタマシンネットワーク(support vector machine network)の任意の組み合わせを含むか、又はかかる組み合わせから作られてもよい。いくつかの例においては、機械学習アルゴリズム又は機械学習モデルは、OCT画像等の医療診断画像を入力としてとり、画像が特定の分類又はカテゴリに属する確率を出力として提供するように構成されてもよい。
【0029】
サブシステム108は、コンテンツをユーザに出力するためのディスプレイ118を含みうる。図示されるように、ディスプレイ118はコンピューティングデバイス112とは別個であるが、いくつかの例によれば、ディスプレイ118はコンピューティングデバイス112の一部とすることができる。ディスプレイ118は、血管中で検出された1つ以上の特徴に関連する画像データを出力することができる。例えば、出力は、限定するものではないが、断面スキャンデータ、縦方向スキャン、直径グラフ、画像マスク等を含みうる。出力は更に、計算された圧力値、又は血管のサイズ及び形状等の、病変及び血管の特性又は病変の特性の視覚的なインジケータを含みうる。出力は更に、取得されたOCT画像が「クリア」でなかった領域等の、収集されたOCT画像に関連する情報、又はスキャンの全体的な品質等の、OCTスキャンについての要約情報を含みうる。ディスプレイ118は、テキスト、矢印、カラーコード化、強調表示、輪郭線、又は他の適切な人間により若しくは機械により可読な印を用いて、特徴を特定することができる。
【0030】
いくつかの例によれば、ディスプレイ118は、グラフィックユーザインタフェース(「GUI」)を含みうる。他の例によれば、ユーザは、マウス、キーボード、トラックパッド、マイクロフォン、ジェスチャセンサ、又は任意の他のタイプのユーザ入力デバイス等の、他の形式の入力を使用して、コンピューティングデバイス112とインタラクトし、それによって特定のコンテンツがディスプレイ118上に出力されるようにすることができる。画像をナビゲートする、情報を入力する、入力を選択する及び/又は入力とインタラクトする等のために、1つ以上のステップを、自動的に又はユーザ入力なしで、実行することができる。ディスプレイ118及び入力デバイスは、コンピューティングデバイス112とともに、ワークフローにおける異なる段階、異なるビューモード等の間の移行を可能にすることができる。例えば、ユーザは、以下に更に説明されるように、OCT画像と、その画像が許容可能のもの/クリアなものとみなされるか許容不可能のもの/遮られているものとみなされるか等の、OCT画像の関連する分析とを見るための血管のセグメントを選択することができる。
【0031】
図2Aは、「クリアな」OCT画像を示す。図2Aに示されているのは、クリアなOCT画像200である。OCT画像200は、血管組織の一部の断面表現である。OCT画像は不均一であり得て、様々な程度、強度、及び形状のものとなり得て、明るい同心円又はガイドワイヤから現れる明るい構造等のアーティファクトを含みうる。画像200に示されているのは、管腔205と、OCTガイドカテーテル215の周囲内に含まれる、中心に位置するOCTガイドワイヤ210とである。OCT画像200は、ガイドカテーテル以外に管腔を見る際の障害物又は画像中のアーティファクトがないので、クリアである。OCT画像200においては、管腔の輪郭が画像中で視認可能であり、血液の存在は、あるとしても最小限であるか又は所定の閾値を下回る。OCT画像200は、かくして「クリア」である。
【0032】
図2Bは、画像200のアノテートされたバージョンである、アノテートされたクリアなOCT画像250を示す。参考のため、OCTガイドワイヤ210及びOCTガイドカテーテル215が、図2Bにおいてラベル付けされている。アノテートされたクリアな画像250は、クリアなOCT画像200のアノテートされた又はマークされたバージョンであり、管腔のアノテーション251を用いて管腔をマークしている。管腔のアノテーション251と同様に、図2Bにおいて破線で描かれているように、ガイドカテーテルもまたアノテートされてもよい。いくつかの例においては、アノテーションの特定のセットが機械学習モデルをトレーニングするために使用され、他のアノテーションは無視されるか又はトレーニングのために使用されなくてもよい。例えば、ガイドカテーテルは全てのOCT画像に存在すると予測することができるため、機械学習モデルのトレーニングに使用しないか、又は後で新たな画像をカテゴライズする際に使用しないこととすることができる。画像250は、管腔が概ね視認可能であり、管腔を見るための主要な障害物が存在しないので、「クリア」とカテゴライズすることができる。
【0033】
画像250はまた、機械学習モデルをトレーニングするために使用されるときに画像がクリアであるとみなされることを示すために、タグ、メタデータと関連付けられるか、又は「クリア」等のカテゴリに入れられてもよい。機械学習モデルは、新たな画像の分類を実行するように構成されてもよい。分類は、1つ以上の独立変数に基づいて従属変数が属するクラスを決定するための手法である。かくして、分類は、1つ以上の独立変数を入力としてとり、分類又は分類に関連する確率を出力する。例えば、画像250は、新たな画像を分類するように機械学習モデルをトレーニングするために使用される機械学習トレーニングデータのセットの一部とされてもよい。画像250等の画像及びその関連するカテゴリを含む、機械学習モデルをトレーニングするために使用されるデータのセット内の画像のカテゴライズを使用することによって、どの特徴又は特徴の組み合わせが、特定の画像が「クリア」にカテゴライズされること又は別のカテゴリにカテゴライズされることに導くのかを評価するように、機械学習アルゴリズムがトレーニングされうる。
【0034】
図3Aは、「遮られている」OCT画像を示す。図3に示されているのは、遮られているOCT画像300である。OCT画像300において見られるように、画像の一部は、画像の左上部分において、中心にあるガイドカテーテル315及びガイドワイヤ310を取り囲む血液301によって遮られている。
【0035】
いくつかの例においては、「遮られている」又は「許容不可能」とみなされる遮蔽の度合いは、ユーザによって設定可能とすることもできるし、又は製造の間に予め設定することもできる。単なる例として、管腔の25%以上が血液によって遮られている画像は、「遮られている」画像であるとみなされてもよい。
【0036】
図3Bは、アノテートされた「遮られている」OCT画像を示す。アノテートされた遮られているOCT画像350は、遮られているOCT画像300のアノテートされたバージョンを示す。アノテーション351(実線の円形線)は管腔部分を図示し、アノテーション352は血液301によって遮られている管腔の部分を示し、アノテーション353(左上の凸状の閉じた形状)はOCT画像のうち血液である部分を示す。クリアなアノテートされた画像250と同様に、遮られているアノテートされた画像350もまた、機械学習モデルにおけるトレーニングのために使用されるときに、画像が許容可能でないこと、又は不明瞭であるとみなされることを示すために、タグ、メタデータと関連付けられてもよく、又は、「クリアでない」、「遮られている」、若しくは「血液」等のカテゴリに入れられてもよい。
【0037】
図4は、データのトレーニングセットに関連付けられたヒストグラム400を示す。トレーニングデータは、例えば、図2及び図3に関連して以上に説明されたもの等の、様々なクリアさ又は遮蔽の度合いを有するOCT画像を含みうる。データのトレーニングセットは、OCT画像を分類するために使用することができる、OCT画像に対応するアノテーション、メタデータ、測定値、又は他の情報等の、追加的な情報を更に含みうる。データのトレーニングセットは任意の数の画像を含んでもよく、多数の画像は機械学習モデルの向上した精度を提供する。例えば、様々なOCTの引き戻し又は他のOCT測定から取得されうる、数百又は数千のOCT画像が使用されてもよい。すでにカテゴライズされている画像、又はガイドカテーテルからなる画像、血液により遮られている画像、若しくはクリアである画像の、相対的な割合が、ヒストグラム400に示され又は可視化されている。画像の相対的な割合は、トレーニングされる機械学習モデルのトレーニングを調整するために、調整又は調節されてもよい。データのトレーニングセットは、適切なトレーニングを確実にするために、これらの様々なカテゴリの適切な割合を有するように調節されてもよい。例えばクリアである画像をより多く含むこと等によって、例えばトレーニングセットが「アンバランス」なものである場合、機械学習モデルは、画像を「クリア」でないものとする特徴を区別するために十分にトレーニングされないこととなることがあり、単に画像の大部分を「クリア」と分類することによって性能を人為的に高めてしまうように偏ったものとなりうる。より「バランスのとれた」トレーニングセットを使用することによって、この問題は回避されうる。
【0038】
図5は、方法500のフロー図を示す。方法500は、ニューラルネット、ニューラルネットワーク、又は他の機械学習モデルをトレーニングするために使用されうる。ニューラルネットワーク又はニューラルネットは、シミュレートされたニューロンの集合からなるものであってもよい。ニューラルネットワークのトレーニングは、ニューロン間の様々な接続又はニューラルネットワークの接続を重み付けすることを含んでもよい。ニューラルネットワークのトレーニングは、誤差が十分に収束するまで、ネットワークに関連する誤差が観察されうるエポック中で行われてもよい。いくつかの例においては、限定するものではないが、ニューラルネット又はニューラルネットワークは、畳み込みニューラルネットワーク、パーセプトロンネットワーク、放射基底ネットワーク、深層順伝播型ネットワーク、回帰型ニューラルネットワーク、自己符号化器ネットワーク、ゲート付き回帰型ユニットネットワーク、深層畳み込みネットワーク、逆畳み込みネットワーク、サポートベクタマシンネットワーク、又はこれらの若しくは他のタイプのネットワークの任意の組み合わせであってもよい。
【0039】
ブロック505において、医療診断画像のセットが取得されてもよい。いくつかの例においては、医療診断画像のセットは、OCTの引き戻し又は他の血管内撮像手法から取得されてもよい。他の例においては、医療診断画像のセットは、大きなサンプルサイズの画像を提供するために、ランダム化されてもよいし、又は様々なサンプル、標本、若しくは血管組織から採取されてもよい。この医療診断画像のセットは、OCT画像200又はOCT画像300と同様のものであってもよい。
【0040】
ブロック510においては、医療診断画像のセットは、機械学習モデルをトレーニングするためのデータセットとして使用されるように準備されてもよい。このブロックにおいては、トレーニングデータとして使用されるように医療診断画像のセットを準備するために、1つ以上の手法が使用されてもよい。
【0041】
例えば、医療診断画像は、アノテートされてもよい。医療診断画像のセットからの各医療診断画像の一部は、例えば、アノテートされたクリアなOCT画像250又はアノテートされた遮られているOCT画像と同様の画像を形成するようにアノテートされてもよい。例えば、各画像は、画像を表す画像の部分を表すために「クリア」又は「血液」とアノテートされた画像の部分を有してもよい。例えば、トレーニングのために使用されうる医療診断画像のセットは、アノテートされたクリアなOCT画像250及びアノテートされた遮られているOCT画像350と同様の画像を作成するようにアノテート又はカテゴライズされてもよい。他の例においては、アノテーションは、管腔、血液、又はガイドカテーテル等の、特定の特徴に対応する画像の部分を特定するように、画像上にデジタル的に描画されてもよい。いくつかの例においては、アノテーションデータは、画像の一部又は画素のセットとして表現されてもよい。
【0042】
医療診断画像はまた、いくつかのカテゴリへとカテゴライズ又は分離されてもよい。いくつかの例においては、カテゴライズは、人間のオペレータによって行われてもよい。例えば、医療診断画像は、[許容不可能,許容可能]、[クリアでない、クリア]、[遮られている,遮られていない]又は[有用でない,有用である]等の、バイナリのセットの値の間で分類されてもよい。いくつかの例においては、例えば[0%遮られている,20%遮られている,40%遮られている,60%遮られている,80%遮られている,又は100%遮られている]等、遮蔽のパーセンテージを示すことができる分類のセット等の、バイナリでない分類が使用されてもよい。各医療診断画像は、その医療診断画像を最もよく表すカテゴリに入れられるようにすることができる。
【0043】
いくつかの例においては、複数のタイプの分類が、医療診断画像に対して使用されてもよい。医用診断画像は、カテゴリの複数のセットに関連付けることができる。例えば、医療診断画像がステントを有し、血液が遮られている見込みが高い場合、その画像についての分類は<ステント,遮られている>とすることができる。別の例は、フレームがガイドカテーテルを含むか否かとすることができ、画像についての分類は<カテーテル,遮られている>とすることができる。複数の分類は、機械学習モデルのトレーニング又はデータの分類の間に、まとめて使用されてもよい。
【0044】
いくつかの例においては、トレーニングデータのセットは、遮られている画像及びクリアな画像の所望の分布を含むようにプルーニング(pruned:枝刈りされる)又は調節されてもよい。
【0045】
医療診断画像のセットは、トレーニングにおける使用に先立ち、再加工、操作、修正、訂正、又は一般化されてもよい。医療診断画像の操作は、機械学習モデルのトレーニングが、特定の特性に対してオーバーフィットされるのではなく、1つ以上の特性に関してバランスのとれたものとなることを可能にする。例えば、医療診断画像は、サイズ変更されてもよく、ランダム的なフーリエ級数を使用して変形されてもよく、極座標において反転させられてもよく、ランダム的に回転させられてもよく、コントラスト、明るさ、強度、ノイズ、グレースケール、スケールを調節されてもよく、又は他の調節若しくは変更を適用されてもよい。他の例においては、マトリクスによって表現される任意の線形マッピングが、OCT画像に適用されてもよい。2つの少ない特徴しかない等、モデルが単純すぎて、新たな画像をカテゴライズ又は分析するのに必要とされる複雑さを正確に表現していない場合には、アンダーフィッティングが起こりうる。トレーニングされたモデルが、データのトレーニングセットによって表現されることを意図された一般的な問題を解決するために十分に一般化されていない場合には、オーバーフィッティングが起こりうる。例えば、トレーニングされたモデルが、データのトレーニングセット内ではより正確に画像をカテゴライズするが、データのテストセットに対しては低い精度を有する場合、トレーニングされたモデルは、オーバーフィットされていると言える。かくして、例えば、全ての画像が1つの向きのものであるか、又は特定のコントラストを有する場合、モデルはオーバーフィットとなり、異なるコントラスト比を有するか又は異なる向きとされた画像を正確にカテゴライズすることが可能でないことがある。
【0046】
ブロック515においては、ニューラルネットワーク、ニューラルネット、又は機械学習モデルが、カテゴライズされたデータセットを使用してトレーニングされてもよい。いくつかの例においては、機械学習モデルのトレーニングは、機械学習モデルに関連する誤差が十分に収束又は安定するまで、エポック中で進行してもよい。いくつかの例においては、ニューラルネットワークは、画像のバイナリのセット等で画像を分類するようにトレーニングされる。例えば、ニューラルネットワークは、クリアな画像及び遮られている画像を含むトレーニングデータのセットに基づいてトレーニングされてもよく、出力として「クリア」又は「遮られている」のいずれかを出力するようにトレーニングされてもよい。
【0047】
ブロック520においては、トレーニングされたニューラルネット、ニューラルネットワーク、又は機械学習モデルがテストされてもよい。いくつかの例においては、ニューラルネットワークは、ネットワークをトレーニングするためには使用されず、分類が他の方法で既知である画像に基づいて、テストされてもよい。いくつかの例においては、明確に分類できない画像等の、分析されたときに「エッジケース」(edge case)であるとみなされる画像は、画像の手動での分類の後に、ニューラルネットワークを再トレーニングするために使用されてもよい。例えば、特定の画像が、血液で満たされた血管断面を描画しているのか、クリアな血管断面を描画しているのかの決定が、低い信頼度を有する場合、その特定の画像は、人間のオペレータによる分析のために保存されてもよい。人間のオペレータによってカテゴライズされると、その画像は機械学習モデルをトレーニングするために使用されるデータのセットに追加されてもよく、モデルが新たなエッジケース画像を用いて更新されてもよい。
【0048】
ブロック525においては、機械学習モデルのトレーニングの様々なエポックについての損失曲線又は誤差率曲線等の学習曲線が、表示されてもよい。いくつかの例においては、各エポックは、機械学習モデルをトレーニングするために使用されるOCT画像の一意のセットに関連してもよい。学習曲線は、トレーニング間の各更新の効果を評価するために使用されてもよく、各エポック又は更新の間のモデルの態様を測定して性能をプロットすることが、トレーニングされたモデルの特性及び性能についての情報を提供しうる。いくつかの例においては、検証損失トレーニング曲線(validation loss training curve)が最も重要となるように、モデルが最小の検証損失を有するようにモデルが選択されてもよい。ブロック515及び520は、機械学習モデルが十分にトレーニングされ、トレーニングされたモデルが所望の性能特性を有するようになるまで、繰り返されてもよい。一例として、トレーニングされたモデルの計算時間又は計算強度は、或る特定の閾値を下回る性能特性であってもよい。
【0049】
最も低い検証損失を含むエポックにおいてモデルが保存されてもよく、トレーニングされた特性を有するこのモデルが、トレーニングにおいて使用されていないものであってもよいテストセットに対して性能メトリクスを評価するために使用されてもよい。かかるモデルの性能が閾値を超えた場合に、そのモデルは十分にトレーニングされたものであるとみなされてもよい。機械学習モデルに関連する他の特性もまた、調べられてもよい。例えば、トレーニングされた機械学習モデルの性能を評価するために、受信者動作特性曲線(receiver operating characteristic curve)又は混同行列(confusion matrix)が使用されてもよい。
【0050】
図6は、医療診断処置における画像を分類する方法600を示すフロー図を提供する。方法600は、OCT画像又は一連のOCT画像を特性評価するために使用されうる。例えば、方法600は、動脈等の血管組織の特定の長さに対応するOCT画像が取得される、OCTの引き戻しに関連する一連のOCT画像を特性評価するために使用されてもよい。かかる特性評価は、予め定義された閾値の画質を有する画像が取得されたか否かをリアルタイムで医師に示すために、使用することができる。これに関して、OCTの引き戻しについての画質が十分でなかった場合、医師は、OCTカテーテル及びプローブが再挿入される必要があることとなるフォローアップ処置を必要とするのではなく、OCTプローブ及びカテーテルが依然として患者の血管内にあるときに、同じ医療処置内でもう一度の引き戻しを実行することができる。
【0051】
ブロック605においては、1枚以上の分類されていないOCT画像が受信されてもよい。受信されたOCT画像は、血管組織内の特定のロケーションと関連付けられてもよく、このロケーションは、OCTの間に取得されたデータの様々な表現を作成するために後に使用されてもよい。
【0052】
ブロック610においては、受信されたOCT画像は、トレーニングされたニューラルネットワーク、トレーニングされたニューラルネット、又はトレーニングされた機械学習モデルを使用して、分析又は分類されてもよい。トレーニングされたニューラルネットワーク、トレーニングされたニューラルネット、又はトレーニングされた機械学習モデルは、データのトレーニングセットから管腔又は血液等の様々な特徴を特定するようにトレーニング及び調整されている。これらのパラメータは、画像又は物体認識手法を使用して特定されてもよい。他の例においては、機械学習モデル又はニューラルネットワークのトレーニングの間に既知の又は隠れた変数となりうる画像又は画像データから、特性のセットが集められてもよい。例えば、画像の要素の相対的な色、コントラスト、又は丸みを、既知の変数とすることができる。他の隠れた変数は、トレーニングプロセスの間に導出されてもよく、直接には特定されないこととなりうるが、提供された画像に関連している。他の変数は、どのOCTシステムが画像を撮影したか等の画像メタデータに関連していてもよい。他の例においては、トレーニングされたニューラルネットワークは、ネットワークのトレーニングに基づいて、ネットワークの様々なニューロン又は接続の間に重み付けを有してもよい。これらの重み付けされた接続は、入力画像を取り込み、画像の様々な部分、又は画像内に含まれる特徴を重み付けして、確率又は分類等の最終的な結果を生成しうる。いくつかの例においては、各入力画像は手動のアノテーションを関連付けられているため、トレーニングは教師ありとみなされうる。
【0053】
トレーニングされたニューラルネットワーク、トレーニングされたニューラルネット、又はトレーニングされた機械学習モデルは、OCT画像を入力としてとり、画像の分類を出力として提供してもよい。例えば、出力は、画像が「クリア」なものであるか「遮られている」ものであるかであってもよい。いくつかの例においては、ニューラルネットワーク、ニューラルネット、又は機械学習モデルは、OCT画像が「クリア」なものであるか「遮られている」ものであるか等の、受信されたOCT画像に関連する確率を提供してもよい。
【0054】
図7に関して説明されるもの等のいくつかの例においては、OCT画像のシーケンスを分類又はグループ化するために、追加的な方法が使用されてもよい。
【0055】
他の例においては、OCT画像を処理するために、複数のニューラルネットワーク又は機械学習モデルが使用されてもよい。例えば、よりロバストな予測又は分類を提供するために、任意の数のモデルが使用されてもよく、モデルの確率結果が平均化されてもよい。複数のモデルの使用は、特定の画像が分類するのに困難である場合、又は1つのモデルがOCT画像の結果を明確に分類することが可能ではないエッジケースである場合に、任意選択的に使用されてもよい。
【0056】
ブロック615においては、ブロック610から受信された出力が、受信されたOCT画像に付加されるか、又は他の態様で関連付けられてもよい。この情報は、OCT画像をユーザに表示するときに使用されてもよい。
【0057】
ブロック620においては、OCT画像についての情報及び/又はOCT画質についての情報が、ユーザインタフェース上でユーザに提供されてもよい。ユーザインタフェースの追加的な例が、図8に関して与えられる。例えば、情報は、各OCT画像又はOCTスキャン若しくはOCTの引き戻しの要約とともに、表示されてもよい。いくつかの例においては、図8に示されるもの等の血管の縦方向のビューが、OCT画像の組み合わせから作成されてもよく、血管のどの部分が「遮られている」画像のために撮像されなかったかについての情報が、縦方向のビューとともに表示されてもよい。
【0058】
他の例においては、スキャンについての要約情報が、ディスプレイ上での表示のためにユーザに提供されてもよい。要約情報は、遮られているとみなされたフレーム又はOCT画像の数、又はクリアとみなされたOCT画像の全体的な割合等の情報を含んでもよく、OCT画像のクラスタが遮られた領域を特定してもよい。他の例においては、要約情報又は通知は、OCTの引き戻しが速く実行されすぎた等の、特定のフレームが遮られた理由についての追加的な情報を提供してもよい。
【0059】
図7は、確率からOCT画像のシーケンスを分類又はグループ化するために使用されうる手法の態様を示す。図7に示されているのは、特定の画像が「クリア」である又は「遮られている」確率を0~1までのスケールで表した、グラフ710である。グラフ710は、トレーニングされた機械学習モデル又はニューラルネットワークから取得されうる生の確率値である。確率0は、画像が完全にクリアであるとみなされることを意味し、確率1は、画像が遮られているとみなされることを意味する。0と1との間の値は、画像がクリアである又は遮られている見込みを表しうる。グラフ710における横軸のx軸は、OCTの引き戻しの間に取得されるもの等の、OCT画像又はOCTフレームのシーケンスのフレーム番号を表しうる。横軸のx軸はまた、OCT画像を作成するために撮像された血管組織の近位又は遠位のロケーションに関連するものであってもよい。
【0060】
グラフ720は、グラフ710の確率分布をバイナリの分類へと分類するための「閾値」手法の使用を示している。閾値手法においては、或る特定の閾値を上回る確率値を有するOCT画像が「遮られている」とみなされてもよく、同じ閾値を下回る確率値を有するものは「クリア」であるとみなされてもよい。かくして、グラフ710は入力として使用されてもよく、グラフ720は出力として取得されてもよい。
【0061】
グラフ730は、グラフ710の確率分布を分類するためのグラフカット手法の使用を示す。例えば、確率を「クリア」又は「遮られている」のいずれかとして分類するために、グラフカットアルゴリズムが使用されてもよい。
【0062】
グラフ740は、グラフ710の確率分布を分類するための形態学的手法の使用を示す。形態学的手法は、構造化要素を入力画像に適用し、同じサイズの出力画像を作成する。形態学的動作においては、出力画像中の各画素の値は、入力画像中の対応する画素の、その隣接画素との比較に基づく。グラフ710の確率値がこのように比較されて、グラフ740を作成してもよい。
【0063】
図8は、管腔輪郭信頼度及び画質の態様を示す一例示のユーザインタフェース800を示す。ユーザインタフェース800は、横軸が血管組織内のロケーション又は深さを示す、コンポーネント810中の一連のOCT画像の線形表現を示す。コンポーネント810内のインジケータ811は、OCT画像820によって表されている血管組織内の現在のロケーション又は血管組織内の深さを表しうる。インジケータ812は、横軸に対応する着色されたインジケータであってもよい。インジケータ812は、そのロケーションに関連するOCT画像が「遮られている」又は「クリア」である確率又は信頼度を表すために、赤色等で着色されてもよい。いくつかの例においては、インジケータ812に対応する画像の部分上に白色又は透過性のオーバーレイが存在し、その領域は信頼度が低いことを更に示すものとすることができる。画像820は、インジケータ812によって表されるロケーションにおけるOCT画像であってもよい。画像820はまた、信頼度の低い領域である管腔の部分を示すための着色又は他のインジケータを含むものとすることができる。ユーザインタフェース800は、OCTの引き戻しを再実行するか、又はOCTの引き戻しの結果を受け入れる選択肢を含んでもよい。
【0064】
いくつかの例においては、画像820に関連する追加的なメタデータを、ユーザインタフェース800上に表示することができる。例えば、画像の分解能、使用された画像の波長、粒度、OCTフレームの疑われる直径、又はOCTフレームを評価する際に医師を支援することができるOCTの引き戻しに関連する他のメタデータ等、画像についての追加情報が利用可能である。
【0065】
図8に示されるように、インタフェースは、画像の機械学習評価に関連する通知又は他の情報に応答して、医師にプロンプトを更に提供することができる。例えば、プロンプトは、収集された画像を受け入れて処置の次のステップに進むか、又はもう一度のOCTの引き戻しを実行する等によって画像収集ステップを繰り返すかの選択権を、医師に提供することができる。例えば、ユーザインタフェース800は、OCTの引き戻しが繰り返されることを可能とするプロンプト830を含みうる。プロンプト830を選択する又はプロンプト830とインタラクトすると、コンピューティングデバイスは、OCT機器が追加的なOCTフレームを受信するよう構成されるようにしてもよい。インタフェース800はまた、OCTの結果が受け入れられることを可能にするプロンプト831を含みうる。プロンプト831とインタラクトすると、追加的なOCTフレームは受け付けられなくなる。これに加えて、図9図11を参照しながら更に説明されるように、ユーザインタフェース800は、OCTの引き戻しのクリア画像長(CIL)を表示することができる。いくつかの例においては、ユーザインタフェース800は、CILが所定の長さより小さい場合に、OCTの引き戻しが再び実行されることを提案又は要求することができる。
【0066】
図9は、方法900を示す。方法900は、OCTの引き戻しのクリア画像長(CIL)を生成又は算出するために使用されうる。クリア画像長すなわちCILは、例えば血液によって遮られていない又は血液フレームとみなされないもの等の、妨害されていない又はクリアであると決定された、OCTの引き戻しの連続的なセクションに関連する指標又は情報であってもよい。「n」個のフレームの引き戻しに対するCILベクトルスコアは、0とnとの間の値で算出されてもよい。0というスコアは完全な不一致を表すことがあり、nというスコアは完全な一致を意味する。図10を参照しながら、CILベクトルスコアの一例が与えられる。一致とは、CIL分類と一致する分類を指す。いくつかの例においては、CIL分類内で、「除外ゾーン」中の全てを「0」とし、除外ゾーンの外の全てを「1」としてもよい。CIL分類がフレーム毎の分類と一致する場合、「1」がスコアに加えられてもよく、一致しない場合、「0」がスコアに加えられてもよい。最も高いスコアを有するCILが、選択されてもよい。
【0067】
ブロック905において、所与のOCTの引き戻しに対して、フレーム毎の品質保証分類が、引き戻しにおける各OCT画像に対して実行されてもよい。いくつかの例においては、各OCTフレームに対して0又は1のスコアに帰着する、バイナリ分類器が使用されてもよい。他の例においては、アセンブル手法を使用すること等を通して、各OCTフレームに対して0と1との間の範囲の値が発生させられてもよい。
【0068】
ブロック910においては、マーカx1及びマーカx2等の、マーカ位置の網羅的検索が実行される。いくつかの例においては、x1は血液のマーカに対応し、x2はクリアなマーカに対応してもよい。例えば、図8を参照すると、マーカ840及びマーカ841が、それぞれx1及びx2に対応しうる。マーカ840及びマーカ841を変化させることによって、全ての組み合わせが評価されうる。各位置の検索を実行した後、x2>x1となるような各x1及びx2の位置に対する順列が算出されて、おおよそN/2の計算複雑度(computational complexity)に導いてもよい。
【0069】
ブロック915においては、各順列について、その順列に関連するコストが算出され、コストの大域的な最適値又は最大値が決定されてもよい。いくつかの例においては、コストは、自動画質ベクトルのスコアベクトルと対応するCILスコアベクトルとの間の一致の数を合計することによって計算されてもよい。計算されたスコアの一例が、図10を参照しながら与えられる。図10における最大点は、OCTの引き戻しにおける最長又は最大のCILに対応しうる。このコストマトリクスの最大値の位置は、結果のCILについての最適なx1及びx2の位置である。いくつかの例においては、CILは、非血液フレームの「最良」のとりうる連続範囲であるが、依然としていくつかの血液フレームを含みうる。いくつかの例においては、CILは、引き戻しにおける造影剤のボーラスの位置の尺度となりうる。他の例においては、側枝及びボーラスの血液との混合により、このボーラス内にいくつかの血液フレームを有することがありうる。
【0070】
いくつかの例においては、CILは、OCTの引き戻しの間に自動的に計算されてもよい。いくつかの例においては、CILに関連する情報は、OCT撮像システムの性能を向上させ、OCTシステムの計算効率を向上させるために、血液によって妨害された画像を処理することを回避するように、下流のアルゴリズムによって使用されてもよい。
【0071】
ブロック920においては、算出された最適又は最大のCILに基づいて、OCT画像上にCILインジケータがプロットされてもよい。例えば、CILは、着色された破線の間にプロットされてもよい。CILの外側に、「血液」フレームとして検出又は分類されたOCTフレームがある場合、それらのフレームは、フレームが「血液」フレームであることを示すために、透明な赤色でオーバーレイされてもよい。CIL内に、血液として検出されたフレームがある場合、それらのフレームは、視覚的に平滑化され、透明な赤色として表示されてもよい。
【0072】
図10は、一例示のCILコストマトリクス1000を示す。コストマトリクス1000は、x2≧x1の値として右上のマトリクスとなりうる。領域1005は、x1及びx2の許容される値又は実行可能な値の領域となりうる。同様にコストマトリクス1000に示されているのは、ブロック910を参照して論じた最大値である、点1010である。点1010は、領域1005内のx1及びx2の値から算出されうる。点1010は、コスト関数の最大値に対応しうる。いくつかの例においては、領域1005は、2D形式で強度及びコストを示すために階調をつけて着色されてもよく、点1010は、コスト関数の最大値となるように選ばれてもよい。
【0073】
図11は、OCTの引き戻しに組み込まれたCILを有する一例示のOCTの引き戻し1100を示す。OCTの引き戻しに組み込まれたCILは、図8に関しても見られる。例えば、図8を参照すると、マーカ840及びマーカ841は、それぞれx1及びx2に対応しうる。CILは、マーカ840とマーカ841との間の長さに対するものであってもよい。
【0074】
OCTの引き戻し1100は、ユーザインタフェース800(図8)等のグラフィカルユーザインタフェース又はユーザインタフェース上に表示されてもよい。OCTの引き戻し1100の横軸は、OCTフレーム番号、血管組織内のロケーション、又は血管組織内の深さを示しうる。図11に示されているのは、OCTの引き戻し1100上に含まれる様々な印である。破線1105及び破線1106は、CILの境界を示しうる。CILの境界内に図示されているのは、ぼやけた領域で示された血液領域1115及び血液領域1116である。破線1105の左側の領域1120は、CILの境界外の領域を示す。いくつかの例においては、領域1120は、その領域がCILの外側にあることを示す視覚的な指標をユーザに視覚的に提供するために、重ねられた透過性の、透明の、又は半透明の画像を含んでもよい。ロケーションインジケータ1130は、OCTフレーム1135に対応するOCTの引き戻し1100内のロケーションを示しうる。
【0075】
本技術は、トレーニングされた機械学習モデル又はトレーニングされたニューラルネットワークに基づいてOCT処置が実行されているときに、画質に関連する情報を含むリアルタイム又は略リアルタイムの通知を提供しうる。例えば、通知は、機械学習モデルによってなされた分類に関して医師にアラートするアイコン、テキスト、可聴の指標、又は他の形式の通知とすることができる。例えば、通知は、画像を「クリア」又は「遮られている」として特定することができる。いくつかの例によれば、通知は、特定の画像フレーム又は血管セグメントにおいて、どの程度の血液の遮蔽が血管を塞いでいるかの定量化を含みうる。このことは、取得されているデータ及び画像が診断又は他の目的のために十分にクリアであるか否かの即時の指標を医師が得ることを可能にし、処置が行われた後に数百又は数千もの画像を手作業でチェックする必要がなくなる。全てのOCT画像が手作業でチェックされることは現実的でないことでありうるので、この技術は、不適切であるか又は十分にクリアでないOCTスキャンの不適切な解釈を防止する。
【0076】
これに加えて、リアルタイムで分析を行うことあるため、OCT画像に関連する通知又はアラートは、OCTスキャン又はOCTの引き戻しのどの部分が十分にクリアな品質のものでなかったか(又は遮られていたか)を示し、OCTスキャン又はOCTの引き戻しのそれらの部分が実行されることを可能にすることができる。このことは、OCTデバイスが依然としてその場所にある間に、十分にクリアでなかった部分のもう一度のOCTスキャン又はOCTの引き戻しを医師が実行することを可能にし、患者がもう一度の処置のために再来院する必要性を回避する。さらに、コンピューティングデバイスは、欠陥があるか又は遮られているとみなされたスキャンの部分をOCT画像の新たなセットで置き換え、画像を「ステッチ」(stitch:合わせる)又は結合して、OCTの引き戻しにおいて取得された血管の単一の縦方向のビューを提供してもよい。
【0077】
これに加えて、許容可能又はクリアであるとみなされないOCTスキャン又はOCTの引き戻しの部分の特定が医師によって評価されて、遮られているOCT画像に対応する領域に医師が関心があるか否かを決定してもよい。
【0078】
さらに、OCTスキャン又はOCTの引き戻しの要約が、ユーザに提供されてもよい。例えば、要約情報は、許容可能であるとみなされるフレームの全体的なパーセンテージ又は数についての情報、第2のスキャンがフレームのパーセンテージを改善する見込みがあるか否かについての情報を含んでもよい。他の例においては、要約情報又は通知は、OCTの引き戻しが速く実行されすぎたこと、又は血液が変位されなかったこと等の、特定のフレームが遮られた理由についての追加的な情報を提供してもよい。
【0079】
いくつかの例においては、画質の検出において使用される閾値を設定すること等によって、ユーザ又は医師が、画像がクリアであるか遮られているかを定義することができ、他の例においては、画像が十分にクリアであるか否かを決定するために、計算タスクの信頼度レベルを使用することができる。例えば、タスクベースの画質査定方法が、本明細書に説明されている。タスクベースの画質査定方法は、予測モデルをトレーニングするために人間のオペレータが高画質画像フレーム及び低画質画像フレームを選択する必要がないという点で、有益なものとなりうる。むしろ、画質は、達成されるタスクの信頼度レベルによって決定される。画質保証方法は、計算タスクにおいて使用される技術の進化に対応しうる。例えば、タスクを達成するための技術が進歩して行けば、画質保証の結果もともに進化し、より現実的に画質を反映するようになる。タスクベースの画質保証は、ユーザが可能な限り多くのOCTフレームを保持しつつ、これらのフレームの臨床的有用性を確保するのに役立ちうる。
【0080】
図12は、機械学習タスクベースのアプローチを使用した画質を保証する一例示の方法1200を示すフロー図である。タスクは、管腔輪郭検出、カルシウム検出、又は任意の他の特性の検出等の、様々なタスクのいずれかとすることができる。管腔輪郭検出は、例えば、幾何学的測定、血管壁又は境界の検出、穴又は開口部の検出、曲線の検出等を含みうる。かかる検出は、血管狭窄の重症度の査定、側枝の特定、ステント支柱の特定、プラーク、EEL若しくは他の媒体の特定、又は他のタイプの血管評価において使用することができる。
【0081】
ブロック1210においては、タスクに対してデータが収集される。データは、例えば、OCT画像、超音波画像、近赤外分光法(NIRS:near-infrared spectroscopy)、マイクロOCT画像、又は任意の他のタイプの画像等の、血管内画像とすることができる。いくつかの例においては、データはまた、患者情報、画像キャプチャ情報(例えば日付、時刻、画像キャプチャデバイス、オペレータ等)、又は任意の他のタイプの情報等の情報を含みうる。データは、1人以上の患者から1つ以上の撮像プローブを使用して収集することができる。いくつかの例によれば、データは、一定の期間にわたって多数の患者からキャプチャされた複数の画像を記憶するデータベースから取り出すことができる。いくつかの例においては、データは、極座標系で提示することができる。いくつかの例によれば、データは、タスクが管腔輪郭を特定することである場合に管腔輪郭の存在及びロケーションを示す等のために、手動でアノテートすることができる。さらに、データは、トレーニングのために使用される第1のサブセットと、検証のために使用される第2のサブセットとに分割することができる。
【0082】
ブロック1220においては、収集されたデータを使用して、機械学習モデルがトレーニングされる。機械学習モデルは、タスクに従って構成することができる。例えば、モデルは、管腔輪郭を検出するように構成することができる。モデルをトレーニングすることは、例えば、タスクに一致する収集されたデータを入力することを含みうる。管腔検出については、モデルをトレーニングすることは、管腔輪郭を描画する画像を入力することを含みうる。
【0083】
ブロック1230において、トレーニングデータに基づいて、機械学習モデルが最適化される。管腔輪郭検出タスクの例においては、モデル入力は、3Dパッチの形をとるものであってもよい一連のグレーレベルOCT画像とすることができる。3Dパッチは、連続するOCT画像のスタックであり、スタックのサイズは、グラフィカルプロセッシングユニット(GPU)のメモリ等の計算リソースに依存する。トレーニングの間のモデル出力は、人間のオペレータによって手動でアノテートされた各対応するスタックのバイナリマスクを含みうる。3Dパッチに対する手動のアノテートは時間がかかるため、機械学習モデルを最適化する前にデータ増強前処理ステップを含みうる。データ増強は、十分なトレーニングデータセットが生成されるように、OCT画像及びアノテーションの両方の3Dパッチのランダム的な回転、切り抜き、反転、幾何学的変形等のバリエーションを用いて、アノテートされたデータに対して実行することができる。データ増強プロセスは、タスクのタイプによって異なるものであってもよい。データ増強ステップが決定されると、損失関数及び最適化器がクロスエントロピー及びAdam最適化器として指定される。同様に、損失及び最適化器(並びにトレーニングプロセスにおける他のハイパーパラメータ)は、タスク及び画像データのタイプによって異なるものとすることができる。機械学習モデルは、モデルの計算出力と予測される出力との不一致の尺度である損失関数値が、所与の反復又はエポックの回数内で最小化されるまで、最適化される。
【0084】
ブロック1240においては、データの検証セットを、機械学習モデルの精度を査定するために使用することができる。例えば、検証データを使用して機械学習モデルを実行することができ、機械学習モデルが検証データに対して予測された結果を生成したか否かを決定することができる。例えば、アノテートされた検証画像と機械学習モデルの出力とを比較して、アノテートされた検証画像と機械学習の出力画像との重なりの度合いを決定することができる。重なりの度合いは、数値、比率、画像、又は類似若しくは相違の度合いを査定するための任意の他の機構として表現することができる。機械学習モデルは、検証データに対する予測された結果と検証データに対する出力結果との間の不一致を考慮した調節を行うことによって、更に最適化されてもよい。精度の査定及び機械学習の最適化は、機械学習モデルが十分な度合いの精度を有する結果を出力するまで繰り返すことができる。
【0085】
ブロック1250において、最適化された機械学習モデルは、タスクに対する出力を、出力に対応する信頼度値とともに提供することができる。例えば、管腔輪郭を検出するタスクについては、信頼度値は、画像の一部が輪郭を含むか否かの見込みがどの程度高いかを示すことができる。
【0086】
方法1200は1つのタスクに関連して以上に説明されたが、他の例においては、各タスクからの情報を統合することによって、複数のタスクに基づいて信頼度値が取得されうる。いずれの例においても、信頼度値は、査定されている画像フレームとともに出力することができる。例えば、信頼度値は、ディスプレイ上に数値として出力することができる。他の例においては、信頼度値は、視覚的、音響的、触覚的、又は他のインジケータとして出力することができる。例えば、インジケータは、色、陰影、アイコン、テキスト等とすることができる。いくつかの例においては、視覚的なインジケータは、信頼度値が対応する画像の特定の部分を指定することができ、単一の画像は、画像の種々の部分に対応する複数の信頼度値を有することができる。更なる例においては、信頼度値が特定の閾値を上回るか又は下回る場合にのみ、インジケータを提供することができる。例えば、信頼度値が閾値を下回り、低品質の画像を示す場合に、インジケータは、画像が十分にクリアでないことを医師に知らせることができる。信頼度が閾値を上回る場合には、インジケータは、画像が許容可能であることを知らせることができる。かかる閾値は、以上に説明された機械学習の最適化を通して、自動的に決定することができる。画質インジケータは、画像自体のクリア度をキャプチャするのみならず、診断用医用画像システムを使用した病状の評価について等の、分析パイプライン全体にわたる信頼性の高い画像の特性評価の結果ももたらす。
【0087】
図13A図13Cは、図12に関連して以上に説明された機械学習モデルを使用して処理された画像を示す。図13A図13Cのそれぞれにおいて、横軸はAラインの画素を示し、縦軸は画像フレームのAラインを表す。Aラインは、例えば、スキャンラインとすることができる。撮像プローブが血管を通過する際に回転する場合、各回転は複数のAライン、例えば数百本のAラインを含みうる。
【0088】
図13Aは、OCT画像等の血管内画像である。図13Bは、機械学習モデルの出力である。例えば、管腔検出タスクのための機械学習モデルについては、モデル出力はバイナリマスクとすることができる。バイナリマスク中の白色の画素は検出された管腔を表し、黒色の画素は背景を表す。図13Cは、管腔検出についての信頼度マップである。各画素は0と1との間の浮動小数点数で表され、0は信頼度がないことを示し、1は完全な信頼度を示す。図13Cの視覚化は、(1-信頼度値)によって値を反転させており、不確実性を表すようにしている。図13Cに示されるように、管腔の一部は視野の外にあり、低信頼度のAラインに帰着している。
【0089】
画像フレームの品質を査定するために、信頼度マップに埋め込まれた情報を、高画質フレーム又は低画質フレームとしてバイナリ判定に変換することができる。全てのOCTフレームの信頼度マップが与えられると、各フレームiについて、各Aライン上の画素の信頼度値は、Aライン全体の品質を表す単一の信頼度値に変換される。
【0090】
図14A及び図14Bは、高信頼度の品質のAラインと低信頼度の品質のAラインとの相違を示すヒストグラムを提供する。管腔検出タスクが1本のAラインについて管腔と非管腔との間のクリアなセグメント化を特定した場合、タスクにおいて使用される計算モデルは、Aライン上の画素を管腔か又は背景のいずれかに確信度高く分類することとなる。それゆえ、ヒストグラムは、信頼度がほとんど0及び1となることを示すこととなる。しかしながら、Aラインに沿った画質が低い場合、モデルは、画素を管腔又は背景として決定することにおいて信頼度が低いものとなる。対応するヒストグラムはこのとき、そのことをクリアに視覚化し、0と1との間のいくつかの確率値が提示されることとなる。かかるヒストグラムの相違は、以下の式において定義されるエントロピーを使用することによって算出されうる。
【数1】
【0091】
i,jはフレームjにおけるi番目のAラインの品質のエントロピーを表し、aはi番目のAライン上の画素のインデックスであり、nはi番目のAライン上の画素の数であり、pはロケーション(i,a)における画素の信頼度値の確率である。
【0092】
図14Aは、高信頼度のAライン上のエントロピーの一例を示す。この例においては、以上の式によるエントロピーは0.48である。図14Bは、低信頼度のAライン上のエントロピーの一例を示し、エントロピーは22.64である。
【0093】
j番目のフレーム品質は、以下の式によって決定することができる。
【数2】
ここで、countは、第1の閾値Tよりも大きいエントロピー値を有するAラインの数を算出する関数である。Tは、Aラインのパーセンテージを示す第2の閾値である。第1の閾値Tは、実験の結果として製造の間に設定することができる。Tは、エントロピー値の正規化後の0と1との間の値とすることができる。単なる例として、Tは、2%、5%、10%、20%、30%、50%、又は他の任意の値とすることができる。いくつかの例によれば、Tの値は、ユーザの好みに基づいて調節することができる。この式においては、画質について定義される「良」及び「不良」のカテゴリがある。例えば、式がTを上回る値に帰着し、第2の閾値を上回るパーセンテージのAラインが第1の閾値を上回るエントロピー値を有することを示唆する場合、画像フレームは「良」と定義することができ、式がTを下回る値に帰着する場合、画像フレームは「不良」と定義することができる。他の例においては、かかる信頼度分析は、より細かいタイプのカテゴリを更に特定するために拡張することができる。例えば、「不良」は、解離、側枝、血栓、OCTにおけるタンジェンシャルな撮像アーティファクト等の発生のサブカテゴリを更に含んでもよい。
【0094】
の値は、例えば、受信者動作特性(ROC)分析に基づいて決定することができる。例えば、Tの値は、感度、特異度、陽性予測値等の、ユーザによって定義することができる因子又は設定に依存するものとすることができる。例として、ユーザが全ての低画質画像を捕捉することを好む場合、感度を100%近くに設定することができ、Tが0~10%等、比較的低く設定されてもよい。このことは、数画素のみがクリアでない場合にも、画像フレームが「不良」に分類される、偽陽性の数が多くなることに帰着しうる。他の例においては、より少ない画像フレームを「不良」として分類するように、Tがより高く設定されてもよい。単なる例として、Tは、約70%、50%、30%、20%又は他の任意の値に設定されてもよい。
【0095】
図15A図15Cは、機械学習モデルを使用した画質検出の別の例を示す。この例においては、図15Aに示される取得された画像フレームは、血液のアーティファクトを伴う画像である。血液が管腔全体に広がっているにもかかわらず、セグメント化タスクは適切に達成されている。それゆえ、図15Bにおけるマスクは、管腔を表す白色の画素と背景を表す黒色の画素との間のクリアな境界を描画する。さらに、図15Cの出力は、検出された輪郭についての高い信頼度を示している。このタスクにおいて使用されたモデルは、血液のアーティファクトに対してロバストであるため、図16A及び図16BにおけるAラインのヒストグラムは、信頼度値がほとんど0及び1のバケットに入ることを示している。エントロピー値は、0.44及び2.08と低い。その結果、図15Aのフレームは、良好な品質として分類される。
【0096】
図17A及び図17Bは、信頼度査定の集約された出力を示す。図17Aは、引き戻し中の全てのフレームの全てのAラインの品質を示し、画素の強度は、Aラインの品質を示す。以上の式を使用して決定されるもの等のフレーム品質を使用して、OCT画像品質は図17Bに示されるように決定され得て、ここで0は低品質を示し、1は高品質を示す。最小限の不確実性を有する最長のクリアな画像長がユーザに提供されることを確実にするため、或る特定の後処理がこの結果に適用されてもよい。
【0097】
以上の式はエントロピーのメトリクスに関するものであるが、他のメトリクスを使用することもできる。例としては、かかる他のメトリクスは、データ系列のランダム性又は変動を含みうる。信頼度又は不確実性のメトリクスは、標準偏差、分散、又はシャノンエントロピー若しくは計算エントロピー等の様々な形式のエントロピー等の、種々のタイプの統計値から算出することができる。上述した閾値は、受信者動作特性(ROC:receiver operating characteristic)分析、又は経験的決定のいずれかによって決定されてもよい。
【0098】
いくつかの例によれば、タスクベースの品質メトリクスと一致する画質のインジケータを出力することができる。品質インジケータは、例えば、視覚的、音響的、触覚的、及び/又は他のタイプのインジケータとすることができる。例えば、システムは、キャプチャされた画像が閾値の品質を満たす場合に、特徴的な音響トーンを再生することができる。別の例としては、システムは、撮像処置の間に取得された画像を出力するディスプレイ上に、視覚的なインジケータを配置することができる。この点に関して、処置を実行している医師は、十分な画像が取得されたか否かを即座に知ることとなり、それによって、よりクリアな画像を取得するための後続の処置の潜在的な必要性を低減する。後続の処置の低減された必要性は、向上した患者の安全性に帰着する。
【0099】
図18は、撮像システムのための一例示のユーザインタフェースのスクリーンショットであり、ユーザインタフェースは、画像フレームの品質の視覚的なインジケータを提供する。撮像システムは、例えば、OCT、超音波、NIRS、マイクロOCT等の血管内撮像システムとすることができる。他の例においては、リアルタイムの品質の査定及び指標を、他のタイプの医療用又は非医療用撮像のために提供することができる。
【0100】
図18の例は、フレームビュー1810及びセグメントビュー1820を含む。フレームビュー1810は、セグメントビュー1820中の複数の画像のうちの単一の画像とすることができる。例えば、セグメントビュー1820中のフレームインジケータ1821は、セグメント中の他のフレームに対して、どのフレームがフレームビュー1810中に現在描画されているフレームに対応するかを特定することができる。血管内撮像処置の例においては、フレームビュー1810は撮像されている血管の断面図を描画し得て、セグメントビュー1820は撮像されている血管のセグメント又は部分の縦方向の図を描画する。
【0101】
図18の例は、タスクが管腔輪郭を検出することである、OCTの引き戻しについてのものである。タスクは、ユーザインタフェースを通して入力の選択肢を選択すること等によって、引き戻しを開始することに先立ち医師によって特定することができる。品質インジケータは、選択されたタスクに固有のものとすることができる。例えば、管腔輪郭を検出するタスクについては、インジケータは、管腔輪郭を描画する画像又は画像の一部がクリア又はクリアでない箇所を特定することができる。カルシウムを検出するタスクについては、インジケータは、画像中でカルシウムが閾値の確実性の度合いに関連して示されている箇所を特定することができる。いくつかの例によれば、複数のタスクが選択され、それにより、ユーザインタフェースが複数のタスクに関連する品質インジケータを描写するようにしてもよい。例えば、第1のインジケータは管腔輪郭に関連して提供されることがあり、第2のインジケータはカルシウムに関連して提供される。第1のインジケータと第2のインジケータとは、色、階調、テキスト、アノテーション、英数字値等のタイプが、同じものとすることもできるし、又は異なるものとすることもできる。
【0102】
フレームビュー1810において見られるように、管腔輪郭は、画像の右下側における画像の第1の部分1812中に、クリアに撮像されている。管腔輪郭は、画像の左上側における画像の第2の部分1814中では、あまりクリアには撮像されていない。第1の部分1812は、管腔壁と管腔との境界をクリアに示しているが、第2の部分1814は、境界をあまりクリアには示していない。この例においては、フレームビューインジケータ1815は、管腔輪郭が明確に描画されていない第2の部分1814に対応している。フレームビューインジケータ1815は、管腔断面の円周のまわりに部分的に延在する着色された円弧(arc)として示されている。円弧によってカバーされる角度距離は、管腔輪郭がクリアに撮像されていない第2の部分1814の角度距離に対応する。例えば、画質が各画素について査定され、画質インジケータが特定の画素に対応しうるように、フレームを画素毎に評価することができる。したがって、フレームビューインジケータ1815は、画質が特定の閾値を下回る画像の特定の部分を特定しうる。
【0103】
フレームビューインジケータ1815は着色された円弧として示されているが、様々な他のタイプのインジケータのいずれをも使用することができることが理解されるべきである。単なる例として、かかる他のタイプのインジケータは、限定するものではないが、オーバーレイやアノテーションや陰影やテキスト等を含みうる。いくつかの例によれば、インジケータは、画像の種々の部分についての品質の度合いを描画することができる。例えば、図18における円弧は、色、陰影、又は透明性の度合い等の階調であってもよく、このときスペクトルの一端は低品質に対応し、スペクトルの他端は高品質に対応する。
【0104】
セグメントビュー1820もまた、画質のインジケータを含みうる。図示されるように、セグメント品質インジケータ1825は、撮像された血管セグメントに沿った各画像フレームの品質を示すことができる。図18の例においては、セグメント品質インジケータ1825は、セグメントビューの長さに沿って延在する着色されたバーである。着色されたバーは、フレーム品質が閾値を上回っている箇所を示す第1の色と、フレーム品質が閾値を下回っている箇所を示す第2の色とを含む。例えば、閾値は、タスクに従った画像が十分なクリアさでキャプチャされた各フレームの一部又はパーセンテージに対応するものとすることができる。かかる閾値は、例えば、以上のフレーム品質の式に関連して説明された閾値Tに対応するものとすることができる。この例においては、セグメント品質インジケータ1825の第1の部分1827は、閾値を上回る十分な品質を有するセグメント中のフレームに対応する、第1の色である。セグメント品質インジケータ1825の第2の部分1829は、フレームビュー1810中に示されるフレーム等の、閾値を下回る低い品質を有するセグメント中のフレームに対応する、第2の色である。この例においては、セグメント品質インジケータ1825は、色を使用してセグメントに沿った各フレームの品質を区別するが、他の例においては、セグメント品質インジケータ1825は、陰影、階調、アノテーション等の他の印を使用することができる。さらに、セグメント品質インジケータ1825はバーとして図示されているが、他の任意の形状、サイズ、又は形式の印を使用することができることが理解されるべきである。
【0105】
以上のいくつかの例は、OCT画像に関連して説明されているが、以上に説明されたような直接的な深層学習又は管腔信頼度を使用する、自動的なリアルタイム品質検出の手法は、限定するものではないが、IVUSやNIRSやマイクロOCT等を含む、様々な医療撮像モダリティのいずれにおいても適用することができる。例えば、管腔検出のための機械学習モデルは、管腔をアノテートされたIVUS画像を使用して、トレーニングすることができる。そのモデルからの信頼度信号を使用して、画質を評定することができる。別の例としては、IVUSフレームは、高品質又は低品質としてアノテートすることができ、画質を検出する直接的な深層学習アプローチを、IVUS処置の間のリアルタイムの画像取得において適用することができる。更に別の例としては、高精細血管内超音波(HD-IVUS:high-definition intravascular ultrasound)を使用する場合、改善されたIVUS画質を提供するよう血液を取り除くために、生理食塩水のフラッシュを使用することができる。かかる場合においては、血管のフラッシュされた領域とフラッシュされていない領域とを区別するために、品質検出手法を適用することができる。更なる例においては、品質検出手法は、グレースケール又は軸方向分解能/横方向分解能等のIVUSパラメータに基づくものとすることができる。例えば、機械学習モデルは、画像が閾値分解能で取得されているか否かを検出するようにトレーニングすることができる。本明細書に説明された手法の様々な更なる応用のいずれもがまた可能であることは、理解されるべきである。
【0106】
開示される技術の態様は、特徴の以下の組み合わせを含みうる。
(特徴1)
診断用医用画像を分類する方法であって、
診断用医用画像を受信するステップと、
トレーニングされた機械学習モデルを用いて、リアルタイムで又は略リアルタイムで、診断用医用画像を分析するステップであって、トレーニングされた機械学習モデルは、アノテートされた診断用医用画像のセットに対してトレーニングされるものである、ステップと、
分析に基づいて、診断用医用画像の画質を特定するステップと、
特定された画質の指標を、リアルタイムで又は略リアルタイムで、ユーザインタフェース上での表示のために出力するステップと
を含んでなる方法。
(特徴2)
診断用医用画像は、一連の診断用医用画像のうちの単一の画像である、特徴1に記載の方法。
(特徴3)
一連の診断用医用画像は、光干渉断層撮影法の引き戻しを通して取得される、特徴2に記載の方法。
(特徴4)
診断用医用画像を第1の分類又は第2の分類として分類するステップを更に含む、特徴1に記載の方法。
(特徴5)
診断用医用画像が第2の分類に分類された場合に、アラート又は通知を提供するステップを更に含む、特徴1~4のいずれかに記載の方法。
(特徴6)
アノテートされた診断用医用画像のセットは、「クリア」、「血液」、又は「ガイドカテーテル」を含むアノテーションを含む、特徴1に記載の方法。
(特徴7)
診断用医用画像は、光干渉断層撮影法画像である、特徴1に記載の方法。
(特徴8)
診断用医用画像をクリア医用画像又は血液医用画像として分類するステップを更に含む、特徴1に記載の方法。
(特徴9)
診断用医用画像が許容可能であるか許容可能でないかを示す確率を計算するステップを更に含む、特徴1に記載の方法。
(特徴10)
計算された確率を診断用医用画像の分類に変換するために閾値法を使用するステップを更に含む、特徴9に記載の方法。
(特徴11)
計算された確率を診断用医用画像の分類に変換するためにグラフカットを使用するステップを更に含む、特徴9に記載の方法。
(特徴12)
計算された確率を診断用医用画像の分類に変換するために形態学的分類を使用するステップを更に含む、特徴1~9のいずれかに記載の方法。
(特徴13)
許容可能とは、診断用医用画像が、閾値レベルよりも高い精度又は信頼度の人体組織の特性の評価を可能にする、予め定義された閾値品質よりも高いことを意味するものである、特徴1~9のいずれかに記載の方法。
(特徴14)
命令を記憶するメモリに結合された処理デバイスを備えるシステムであって、命令は、処理デバイスに対し、
診断用医用画像を受信することと、
トレーニングされた機械学習モデルを用いて、リアルタイムで又は略リアルタイムで、診断用医用画像を分析することであって、トレーニングされた機械学習モデルは、アノテートされた診断用医用画像のセットに対してトレーニングされることと、
分析に基づいて、診断用医用画像の画質を特定することと、
特定された画質の指標を、リアルタイムで又は略リアルタイムで、ユーザインタフェース上での表示のために出力することと
を行わせるものである、システム。
(特徴15)
診断用医用画像は、光干渉断層撮影法(OCT)画像である、特徴14に記載のシステム。
(特徴16)
命令は、複数のOCT画像を、複数のOCT画像の各画像の分類に関連するインジケータとともに表示するように構成されている、特徴15に記載のシステム。
(特徴17)
一連の診断用医用画像は、光干渉断層撮影法の引き戻しを通して取得される、特徴14~16のいずれかに記載のシステム。
(特徴18)
プログラム命令を含む非一時的コンピュータ可読媒体であって、命令は、実行されたときに、
診断用医用画像を受信し、
トレーニングされた機械学習モデルを用いて、リアルタイムで又は略リアルタイムで、診断用医用画像を分析し、ここで、トレーニングされた機械学習モデルは、アノテートされた診断用医用画像のセットに対してトレーニングされるものであり、
分析に基づいて、診断用医用画像の画質を特定し、
特定された画質の指標を、リアルタイムで又は略リアルタイムで、ユーザインタフェース上での表示のために出力する
ことを実行するものである、非一時的コンピュータ可読媒体。
(特徴19)
診断用医用画像は、一連の診断用医用画像のうちの単一の画像である、特徴18に記載の非一時的コンピュータ可読媒体。
(特徴20)
一連の診断用医用画像は、光干渉断層撮影法の引き戻しを通して取得される、特徴19に記載の非一時的コンピュータ可読媒体。
(特徴21)
診断用医用画像を第1の分類又は第2の分類として分類することを更に含む、特徴18~20のいずれかに記載の非一時的コンピュータ可読媒体。
(特徴22)
診断用医用画像が第2の分類に分類された場合に、アラート又は通知を提供することを更に含む、特徴18~21のいずれかに記載の非一時的コンピュータ可読媒体。
(特徴23)
アノテートされた診断用医用画像のセットは、「クリア」、「血液」、又は「ガイドカテーテル」を含むアノテーションを含む、特徴18~22のいずれかに記載の非一時的コンピュータ可読媒体。
(特徴24)
診断用医用画像は、光干渉断層撮影法画像である、特徴18~22のいずれかに記載の非一時的コンピュータ可読媒体。
(特徴25)
診断用医用画像をクリア医用画像又は血液医用画像として分類することを更に含む、特徴18~24のいずれかに記載の非一時的コンピュータ可読媒体。
(特徴26)
診断用医用画像が許容可能であるか許容可能でないかを示す確率を計算することを更に含む、特徴18に記載の非一時的コンピュータ可読媒体。
(特徴27)
計算された確率を診断用医用画像の分類に変換するために、閾値の非一時的コンピュータ可読媒体を使用することを更に含む、特徴18~26のいずれかに記載の非一時的コンピュータ可読媒体。
(特徴28)
トレーニングされた機械学習モデルを再トレーニングするために、分類不可能な画像を記憶することを更に含む、特徴27に記載の非一時的コンピュータ可読媒体。
(特徴29)
クリア画像長又はクリア画像長インジケータを出力することを更に含む、特徴18に記載の非一時的コンピュータ可読媒体。
(特徴30)
命令は、クリア画像長又はクリア画像長インジケータを表示するように構成されている、特徴14に記載のシステム。
(特徴31)
クリア画像長又はクリア画像長インジケータを表示又は出力することを更に含む、特徴1に記載の方法。
【0107】
本開示の態様、実施形態、特徴、及び例は、全ての点で例示的であると考えられ、本開示を限定することを意図するものではなく、その範囲は特許請求の範囲によってのみ規定される。他の実施形態、修正形態、及び使用法は、特許請求される開示の趣旨及び範囲から逸脱することなく、当業者には明らかであろう。
【0108】
本出願における見出し及び段落の使用は、本開示を制限することを意味せず、各段落は、本開示の任意の態様、実施形態、又は特徴に適用することができる。
【0109】
本出願全体を通して、構成物が特定のコンポーネントを有する、含む、又は備えるものとして述べられる場合、又は、プロセスが特定のプロセスステップを有する、含む、又は備えるものと述べられる場合、本教示の構成物が、本質的に列挙されるコンポーネントからなる又は列挙されるコンポーネントからなること、及び、本教示のプロセスが、本質的に列挙されるプロセスステップからなる又は列挙されるプロセスステップからなることが企図される。
【0110】
本出願において、要素又はコンポーネントが、列挙された要素又はコンポーネントのリストに含まれる及び/又はそのリストから選択されると言及される場合、その要素又はコンポーネントが、列挙される要素又はコンポーネントのいずれか1つとすることができ、また、列挙される要素又はコンポーネントの2つ以上からなる群から選択することができることが理解されるべきである。さらに、本明細書において述べる構成物、装置、又は方法の要素及び/又は特徴を、本明細書において明示的であろうと暗黙的であろうと、本教示の趣旨及び範囲から逸脱することなく種々の方法で組み合わせることができることが理解されるべきである。
【0111】
用語「含む(include)」、「含む(includes)」、「含んでいる(including)」、「有する(have)」、「有する(has)」、又は「有している(having)」の使用は、別段の定めがない限り、一般にオープンエンドでかつ非限定的であると理解されるべきである。
【0112】
本明細書における単数形の使用は、別段の定めがない限り、複数を含む(逆の場合も同様である)。さらに、別段に文脈が明確に指示しない限り、単数形「一("a," "an")」及び「その(the)」は、複数形を含む。さらに、用語「約(about)」又は「実質的に(substantially)」の使用が定量値の前である場合に、本教示は、別段の定めがない限り、特定の定量値自体も含む。本明細書において使用される用語「約」又は「実質的に」は、例えば、現実の世界における測定又はハンドリング処置を通して、これらの処置における偶発的な誤差を通して、複合テープ等の材料の製造における差/不具合を通して、欠陥を通して起こりうる数量の変動、並びに、変動であって、そのような変動が従来技術によって実施される既知の値を包含しない限り、当業者によって同等であるものと認識されることになる、変動を指す。典型的には、用語「約」又は「実質的に」は、述べる値の1/10、例えば、±10%だけ、述べた値又は値の範囲より大きい又は小さいことを意味する。
【0113】
ステップの順序又は或る特定の動作を実施するための順序が、本教示が使用可能なままである限り、重要でないことが理解されるべきである。さらに、2つ以上のステップ又は動作を、同時に行うことができる。
【0114】
値の範囲又はリストが提供される場合、値のその範囲又はリストの上限と下限との間の介在する各値は、個々に企図され、各値が本明細書に具体的に列挙されているかのように本開示内に包含される。さらに、所与の範囲の上限と下限との間及びそれらを含むより小さい範囲が、企図され、本開示内に包含される。例示的な値又は範囲のリストは、所与の範囲の上限及び下限の間並びにそれらを含む他の値又は範囲を排除するものではない。
【0115】
本開示の図及び説明が、明確化のために他の要素を削除しながら、本開示の明確な理解のために適切である要素を示すように簡略化されていることが理解される。当業者は、しかしながら、これら及び他の要素が望ましい場合があることを認識するであろう。しかしながら、そのような要素が当技術分野でよく知られているため、また、それらの要素が本開示のより良い理解を促進しないため、そのような要素の説明は、本明細書において提供されない。図が、構造図としてではなく、例示のために提示されていることが理解されるべきである。省略された詳細及び修正形態又は代替的な例は、当業者の知識の範囲内にある。
【0116】
本開示の或る特定の態様において、要素又は構造を提供するため、又は単数若しくは複数の所与の機能を実施するために、単一コンポーネントを複数コンポーネントに置き換えることができ、また、複数コンポーネントを単一コンポーネントに置き換えることができることを、認識することができる。そのような置換が本開示の或る特定の実施形態を実施するために使用可能でない場合を除いて、そのような置換は、本開示の範囲内にあると考えられる。
【0117】
本明細書に提示される例は、本開示の可能性のあるかつ具体的な実施態様を例示することを意図される。その例が、主に、当業者のために本開示の例示のために意図されることを、認識することができる。本開示の趣旨から逸脱することなく、これらの図又は本明細書において述べる動作に対する変形が存在する場合がある。例えば、或る特定の場合には、方法ステップ又は動作を、異なる順序で実施若しくは実行することができる、又は、動作を、追加、削除、若しくは修正することができる。
図1
図2A
図2B
図3A
図3B
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13A
図13B
図13C
図14A
図14B
図15A
図15B
図15C
図16A
図16B
図17A
図17B
図18
【国際調査報告】