IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パイ メディカル イメージング ビー ヴイの特許一覧

特許7346442機械学習に基づいて血管閉塞を評価するための方法とシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-08
(45)【発行日】2023-09-19
(54)【発明の名称】機械学習に基づいて血管閉塞を評価するための方法とシステム
(51)【国際特許分類】
   A61B 6/03 20060101AFI20230911BHJP
   A61B 5/021 20060101ALI20230911BHJP
   G06T 7/00 20170101ALI20230911BHJP
【FI】
A61B6/03 370A
A61B6/03 375
A61B5/021
G06T7/00 612
G06T7/00 350C
【請求項の数】 51
(21)【出願番号】P 2020555445
(86)(22)【出願日】2019-04-10
(65)【公表番号】
(43)【公表日】2021-08-26
(86)【国際出願番号】 EP2019059051
(87)【国際公開番号】W WO2019197450
(87)【国際公開日】2019-10-17
【審査請求日】2022-02-09
(31)【優先権主張番号】62/656,066
(32)【優先日】2018-04-11
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】504048537
【氏名又は名称】パイ メディカル イメージング ビー ヴイ
【氏名又は名称原語表記】PIE MEDICAL IMAGING B.V.
(74)【代理人】
【識別番号】110000062
【氏名又は名称】弁理士法人第一国際特許事務所
(72)【発明者】
【氏名】イシュグム, イヴァナ
(72)【発明者】
【氏名】ズレイク, マイト
(72)【発明者】
【氏名】アーベン、ジャン-ポール
【審査官】後藤 昌夫
(56)【参考文献】
【文献】米国特許出願公開第2010/0076296(US,A1)
【文献】米国特許出願公開第2017/0262733(US,A1)
【文献】特表2016-500548(JP,A)
【文献】特表2015-527136(JP,A)
【文献】Rudra P K Poudel 外2名,Recurrent Fully Convolutional Neural Networks for Multi-slice MRI Cardiac Segmentation,arXiv:1608.0397,2016年,<URL: https://arxiv.org/abs/1608.03974>
(58)【調査した分野】(Int.Cl.,DB名)
A61B 6/00-6/14
A61B 5/055
A61B 8/00-8/15
G01T 1/161-1/166
G06T 7/00
G16H 50/20
(57)【特許請求の範囲】
【請求項1】
血管閉塞を評価するための方法であって:
関心のある血管を含む標的器官のボリューム画像データセットを取得するステップ;
前記ボリューム画像データセット内の関心のある血管(VOI)に沿って延在する軸方向軌跡を抽出するステップ;
前記ボリューム画像データセットおよび前記VOIの前記軸方向軌跡に基づいて3次元(3D)多断面再フォーマット(MPR)画像を作成するステップ;および
機械学習ベースの血管閉塞評価(VOA)モデルを使用して前記MPR画像からVOIパラメータを抽出するステップであって、前記VOIパラメータが、i)機能的に有意な冠動脈病変の重症度を表すパラメータ、ii)プラークタイプを表すパラメータ、またはiii)解剖学的冠動脈病変の重症度を表すパラメータ、の内の少なくとも1つを含み、前記解剖学的冠動脈病変の重症度が少なくとも3つの重症度クラスを有するステップ
を備え、
前記機械学習ベースのVOAモデルが、画像データから既知のラベルにより訓練された第1の機械学習ベースのモデルを使用して、前記MPR画像から生成されたキューブに関連付けられた画像の特徴を自動的に抽出し、そして第2の機械学習ベースのモデルを使用して、前記画像の特徴に基づいて前記VOIパラメータを自動的に決定する、
方法。
【請求項2】
さらに、i) 機能的に有意な冠動脈病変の重症度を表す前記パラメータを分類すること、ii)プラークタイプを検出すること、またはiii)前記ボリューム画像データセットの見えない部分内の解剖学的冠動脈病変の重症度を表す前記パラメータを分類すること、の内の少なくとも1つを実行する予測フェーズを実装する、
請求項1に記載の方法。
【請求項3】
機能的に有意な冠動脈病変の重症度を表す前記パラメータが、冠血流予備量比(FFR)値またはFFR値の範囲ある、
請求項1または2に記載の方法。
【請求項4】
前記第2の機械学習ベースのモデルが、前記画像の特徴をシーケンシャルに分析する、
請求項1~3の何れか1項に記載の方法。
【請求項5】
血管径の拡大に関連する前記VOIパラメータの抽出を容易にするために、前記キューブのサイズが、前記VOIの内腔全体および前記内腔の外側の組織の一部を含むように定義されていて、血管径の拡大が、アテローム性動脈硬化症のプラーク成長の方向を指す、
請求項1~4の何れか1項に記載の方法。
【請求項6】
前記軸方向軌跡が、前記VOIの冠動脈の中心線に対応し、前記冠動脈の中心線が、関心のある冠動脈セクションに沿った冠動脈内腔の中心を表し、前記軸方向軌跡が、単一の冠動脈、冠状分岐部、または冠動脈全体ツリーに対応し、関心のある前記冠動脈セクションが、1つまたは複数の分岐を含む場合、前記冠動脈の中心線が1つまたは複数の分岐を含む、
請求項1~5の何れか1項に記載の方法。
【請求項7】
前記第1および第2の機械学習ベースのモデルが、前記MPR画像内の前記VOIの前記軸方向軌跡に沿った近傍を分析するために使用される回帰型畳み込みニューラルネットワーク(RCNN)に基づいていて、前記第1の機械学習ベースのモデルが、畳み込みニューラルネットワーク(CNN)を採用し、そして前記第2の機械学習ベースのモデルが、回帰型ニューラルネットワーク(RNNに直列に接続されている前記CNNと共に前記回帰型ニューラルネットワークを採用し、前記CNNが、前記MPRから導出された入力のシーケンスから画像の特徴を抽出するように訓練されていて、そして前記回帰型ニューラルネットワークが、前記入力のシーケンスの全ての入力に対して前記CNNにより出力された前記画像の特徴を分析するように訓練されている、
請求項1~6の何れか1項に記載の方法。
【請求項8】
前記第1の機械学習ベースのモデルが、少なくとも1つの畳み込みレイヤとそれに続く最大プーリングレイヤを採用し、そして前記第2の機械学習ベースのモデルが、プラークタイプを特徴付けること、狭窄の解剖学的有意性を分類付けることまたは狭窄の機能的有意性を決定付けること、の内の少なくとも1つに対して、少なくとも1つの分類器を使用する、
請求項1~7の何れか1項に記載の方法。
【請求項9】
前記第1の機械学習ベースのモデルが、前記MPR画像に基づいて特徴ベクトルを作成するように構成されていて、前記特徴ベクトルが、画像の参照データベースから測定または抽出される一連の因子を備え、前記一連の因子が、前記関心のある血管の対応する壁領域の性質を記載または特徴付け、そして前記第2の機械学習ベースのモデルが、前記特徴ベクトルを分類するように構成されている、
請求項1~8の何れか1項に記載の方法。
【請求項10】
前記第1の機械学習ベースのモデルが、オートエンコーダを備え、そして前記第2の機械学習ベースのモデルが、少なくとも1つの分類器を備え、前記オートエンコーダが、前記MPR画像から前記VOIパラメータの特徴のセットを生成するように訓練され、そして前記少なくとも1つの分類器が、前記オートエンコーダにより生成された前記VOIの特徴のセットに基づいて、前記VOIパラメータを決定するように訓練される、
請求項1~9の何れか1項に記載の方法。
【請求項11】
血管閉塞評価(VOA)モデルを訓練する方法であって、
複数の患者のボリューム画像データセットと対応する冠動脈疾患(CAD)関連の参照値とを含む訓練データベースを取得するステップであって、前記ボリューム画像データセットが、関心のある血管を含む標的器官用であり、前記CAD関連の参照値が、前記対応するボリューム画像データセット内の関心のある血管に沿った1つまたは複数のポイントに対応する、ステップ;および
前記ボリューム画像データセットおよび対応するCAD関連の参照値の少なくとも一部に対して、
前記対応するボリューム画像データセット内の関心のある血管(VOI)に沿って延在する軸方向軌跡を抽出するサブステップ、
メモリに格納されているプログラム命令を実行するときに、以下のサブサブステップを実行するように構成されている少なくとも1つのプロセッサを使用するサブステップ、
前記対応するボリューム画像データセットと前記VOIの前記軸方向軌跡とに基づいて、3次元(3D)多断面再フォーマット(MPR)画像を作成するサブサブステップであって、前記MPR画像が、前記VOIの前記軸方向軌跡に沿って延在する、サブサブステップ、
機械学習ベースの血管閉塞評価(VOA)モデルが、それに供給された前記MPR画像から、それに供給された前記MPR画像のVOI内の軸方向軌跡に沿ってCAD関連パラメータを特徴付ける特徴を抽出し、そしてそれに供給された前記MPR画像から抽出された前記特徴からVOIパラメータを決定するように、前記MPR画像に基づいて機械学習ベースの血管閉塞評価(VOA)モデルを訓練するサブサブステップであって、前記VOIパラメータが、i)機能的に有意な冠動脈病変の重症度を表すパラメータ、ii)プラークタイプを表すパラメータ、またはiii) 解剖学的冠動脈病変の重症度を表すパラメータ、の内の少なくとも1つを含み、前記解剖学的冠動脈病変の重症度が少なくとも3つの重症度クラスを有する、
サブサブステップ、
を備えるサブステップを備え、前記CAD関連の参照値が、前記MPR画像の空間座標に整合される、ステップ、
を備える、方法。
【請求項12】
機能的に有意な冠動脈病変の重症度を表す前記パラメータが、冠血流予備量比(FFR)値またはFFR値の範囲ある、
請求項1~11の何れか1項に記載の方法。
【請求項13】
前記訓練が、さらに、前記機械学習ベースのVOAモデルを構築するために、前記MPR画像から生成されたキューブのシーケンスに畳み込みニューラルネットワークを適用することを備える、
請求項11に記載の方法
【請求項14】
1次元(1D)シーケンスのセットを形成するために、前記軸方向軌跡に沿ったポイントでエンコーディングのセットを生成するステップを、さらに、備え、前記1Dシーケンスの各々が、前記VOIに沿った特定のエンコーディングを表し、前記訓練が、さらに、教師あり学習分類器を適用して、前記1Dシーケンスに基づいて冠血流予備量比(FFR)分類器に学習させることを備える、
請求項11に記載の方法。
【請求項15】
プログラム命令を格納しそして関心のある血管を含む標的器官のボリューム画像データセットを格納する、ように構成されているメモリ、および
前記メモリに格納された前記プログラム命令を実行するときに、
前記ボリューム画像データセット内の関心のある血管(VOI)に沿って延在する軸方向軌跡を抽出し、
前記ボリューム画像データセットとVOIの軸方向軌跡に基づいて、3次元(3D)多断面再フォーマット(MPR)画像を作成し、そして
機械学習ベースの血管閉塞評価(VOA)モデルを使用して、前記MPR画像からVOIパラメータを抽出し、前記VOIパラメータが、i)機能的に有意な冠動脈病変の重症度を表すパラメータ、ii)プラークタイプを表すパラメータ、またはiii)解剖学的冠動脈病変の重症度を表すパラメータ、の内の少なくとも1つを含み、前記解剖学的冠動脈病変の重症度が少なくとも3つの重症度クラスを有する、
ように構成されている少なくとも1つのプロセッサ
を備え、
前記機械学習ベースのVOAモデルが、画像データから既知のラベルにより訓練された第1の機械学習ベースのモデルを使用して、前記MPR画像から生成されたキューブに関連付けられた画像の特徴を自動的に抽出し、そして第2の機械学習ベースのモデルを使用して、前記画像の特徴に基づいて前記VOIパラメータを自動的に決定する、
血管閉塞を評価するためのシステム。
【請求項16】
前記少なくとも1つのプロセッサが、さらに、i) 機能的に有意な冠動脈病変の重症度を表す前記パラメータを分類すること、ii)プラークタイプを検出すること、iii)解剖学的冠動脈病変の重症度を表す前記パラメータを、前記ボリューム画像データセットの見えない部分内で、前記少なくとも3つの重症度クラスの1つに分類すること、の内の少なくとも1つを実行する予測フェーズを実施する、ように構成されている、
請求項15に記載のシステム。
【請求項17】
機能的に有意な冠動脈病変の重症度を表す前記パラメータが、冠血流予備量比(FFR)値またはFFR値の範囲である、
請求項15に記載のシステム。
【請求項18】
前記第2の機械学習ベースのモデルが、前記画像の特徴をシーケンシャルに分析する、
請求項15または17に記載のシステム。
【請求項19】
血管径の拡大に関連する前記VOIパラメータの抽出を容易にするために、前記キューブのサイズが、前記VOIの内腔全体および前記内腔の外側の組織の一部を含むように定義されていて、血管径の拡大が、アテローム性動脈硬化症のプラーク成長の方向を指す、
請求項15に記載のシステム。
【請求項20】
前記軸方向軌跡が、前記VOIの冠動脈の中心線に対応し、前記冠動脈の中心線が、関心のある冠動脈セクションに沿った冠動脈内腔の中心を表し、前記軸方向軌跡が、単一の冠動脈、冠動脈分岐、または冠動脈ツリー全体に対応することができ、関心のある前記冠動脈セクションが、1つまたは複数の分岐を含む場合、前記冠動脈の中心線が、1つまたは複数の分岐を含む、
請求項15~19の何れか1項に記載のシステム。
【請求項21】
前記第1および第2の機械学習ベースのモデルが、前記MPR画像内の前記VOIの前記軸方向軌跡に沿った近傍を分析するために採用される回帰型畳み込みニューラルネットワーク(RCNN)に基づいていて、前記第1の機械学習ベースのモデルが、畳み込みニューラルネットワーク(CNN)を採用し、そして前記第2の機械学習ベースのモデルが、回帰型ニューラルネットワーク(RNNに直列に接続されている前記CNNと共に前記回帰型ニューラルネットワークを採用し、前記CNNが、前記MPRから導出された入力のシーケンスから画像の特徴を抽出するように訓練されていて、そして前記回帰型ニューラルネットワークが、前記入力のシーケンスの全ての入力に対して前記CNNにより出力された前記画像の特徴を分析するように訓練されている、
請求項16に記載のシステム。
【請求項22】
前記第1の機械学習ベースのモデルが、前記MPR画像に基づいて特徴ベクトルを作成するように構成されていて、前記特徴ベクトルが、画像の参照データベースから測定されまたは抽出される一連の因子を備え、前記一連の因子が、関心のある前記血管の対応する壁領域の性質を記載または特徴付け、そして前記第2の機械学習ベースのモデルが、前記特徴ベクトルを分類するように構成されている、
請求項15~2に記載のシステム。
【請求項23】
前記第1の機械学習ベースのモデルが、オートエンコーダを備え、そして前記第2の機械学習ベースのモデルが、少なくとも1つの分類器を備え、前記オートエンコーダが、前記MPRから前記VOIの特徴のセットを生成するように訓練され、そして前記少なくとも1つの分類器が、前記オートエンコーダにより生成された前記VOIの前記特徴のットに基づいて前記VOIパラメータを決定するように訓練される、
請求項15に記載のシステム。
【請求項24】
複数の患者のボリューム画像データセットおよび対応する冠動脈疾患(CAD)関連の参照値を含む訓練データベースを格納するように構成されているメモリであって、前記ボリューム画像データセットが、関心のある血管を含む標的器官用であり、前記CAD関連参照値が、前記対応するボリューム画像データセット内の関心のある血管に沿った1つまたは複数のポイントに対応する、メモリ;および
前記メモリに格納されたプログラム命令を実行するときに、前記ボリューム画像データセットおよび対応するCAD関連の参照値の少なくとも一部に対して、
前記対応するボリューム画像データセット内の関心のある血管(VOI)に沿って延在する軸方向軌跡を抽出し、
前記対応するボリューム画像データセットと前記VOIの前記軸方向軌跡に基づいて、前記VOIの前記軸方向軌跡に沿って延在している、3次元(3D)多断面再フォーマット(MPR)画像を作成し、
機械学習ベースの血管閉塞評価(VOA)モデルが、それに供給された前記MPR画像からそれに供給された前記MPR画像のVOI内の軸方向軌跡に沿ってCAD関連パラメータを特徴付ける特徴を抽出し、そしてそれに供給された前記MPR画像から抽出された前記特徴からVOIパラメータを決定するように、前記MPR画像に基づいて機械学習ベースの血管閉塞評価(VOA)モデルを訓練し、前記VOIパラメータが、i)機能的に有意な冠動脈病変の重症度を表すパラメータ、ii)プラークタイプを表すパラメータ、iii)解剖学的冠動脈病変の重症度を表すパラメータ、の内の少なくとも1つを含み、前記解剖学的冠動脈病変の重症度が少なくとも3つの重症度クラスを有し、
前記CAD関連の参照値が、前記MPR画像の空間座標に整合されている、
ように構成されている、少なくとも1つのプロセッサ
を備える、血管閉塞評価(VOA)モデルを訓練するシステム。
【請求項25】
前記少なくとも1つのプロセッサが、さらに、i)前記MPR画像からキューブのシーケンスを生成するステップであって、前記キューブの各々が、前記MPR画像からのボクセルのグループを含み、前記VOIのセクション内で作成された前記キューブのシーケンスが、結果的に、対応するセクションのキューブのシーケンスになる、ステップ、およびii)機械学習ベースのVOAモデルを構築するために、畳み込みニューラルネットワークをMPR画像に沿ってキューブのシーケンスに適用するステップ、の内の少なくとも1つを実行するように構成されている、
請求項15~24の何れか1項に記載のシステム。
【請求項26】
前記少なくとも1つのプロセッサが、さらに、1次元シーケンスのセットを形成するために、前記軸方向軌跡に沿ったポイントでエンコーディングのセットを生成し、前記1Dシーケンスの各々が、前記VOIに沿った特定のエンコーディングを表していて、そして教師あり学習分類器を適用して、前記1Dシーケンスに基づいて冠血流予備量比(FFR)分類器に学習させるように訓練する、ように構成されている、
請求項15~25の何れか1項に記載のシステム。
【請求項27】
血管閉塞を評価するための方法であって:
関心のある血管を含む標的器官のボリューム画像データセットを取得するステップ;
前記ボリューム画像データセット内の関心のある血管(VOI)に沿って延在する軸方向軌跡を抽出するステップ;
前記ボリューム画像データセットおよび前記VOIの前記軸方向軌跡に基づいて3次元(3D)多断面再フォーマット(MPR)画像を作成するステップ;および
機械学習ベースの血管閉塞評価(VOA)モデルを使用して前記MPR画像からVOIパラメータを抽出するステップであって、前記VOIパラメータが、i)機能的に有意な冠動脈病変の重症度を表すパラメータ、ii)プラークタイプを表すパラメータ、またはiii)解剖学的冠動脈病変の重症度を表すパラメータ、の内の少なくとも1つを含み、前記解剖学的冠動脈病変の重症度が少なくとも3つの重症度クラスを有するステップ
を備え、
前記機械学習ベースのVOAモデルが、オートエンコーダおよび少なくとも1つの分類器を採用し、前記オートエンコーダが、前記MPR画像から前記VOIの特徴のセットを生成するように訓練され、そして前記少なくとも1つの分類器が、前記オートエンコーダにより生成された前記VOIの前記特徴のットに基づいて前記VOIパラメータを決定するように訓練される、
方法。
【請求項28】
i) 機能的に有意な冠動脈病変の重症度を表す前記パラメータを分類すること、ii)プラークタイプを検出すること、またはiii)前記ボリューム画像データセットの見えない部分内で、解剖学的冠動脈病変の重症度を表す前記パラメータを前記少なくとも3つの重症度クラスに分類すること、の内の少なくとも1つを実行する予測フェーズを実装する、
請求項27に記載の方法。
【請求項29】
機能的に有意な冠動脈病変の重症度を表す前記パラメータが、冠血流予備量比(FFR)値またはFFR値の範囲である、
請求項27に記載の方法。
【請求項30】
前記機械学習ベースのVOAモデルが、画像データから既知のラベルにより訓練された第1の機械学習ベースのモデルを使用して、前記MPR画像から生成されたキューブに関連付けられた画像の特徴を自動的に抽出し、そして第2の機械学習ベースのモデルを使用して、前記画像の特徴に基づいて前記VOIパラメータを自動的に決定する、
請求項27に記載の方法。
【請求項31】
前記第2の機械学習ベースのモデルが、前記画像の特徴をシーケンシャルに分析する、
請求項30に記載の方法。
【請求項32】
アテローム性動脈硬化症のプラーク成長の方向を指す血管径の拡大に関連する前記VOIパラメータの抽出を容易にするために、前記キューブのサイズが、前記VOIの内腔全体および前記内腔の外側の組織の一部を含むように定義される、
請求項30に記載の方法。
【請求項33】
前記軸方向軌跡が、前記VOIの冠動脈の中心線に対応し、前記冠動脈の中心線が、関心のある冠動脈セクションに沿った冠動脈内腔の中心を表し、前記軸方向軌跡が、単一の冠動脈、冠状分岐部、または冠動脈全体ツリーに対応し、関心のある前記冠動脈セクションが、1つまたは複数の分岐を含む場合、前記冠動脈の中心線が1つまたは複数の分岐を含む、
請求項27に記載の方法。
【請求項34】
前記第1および第2の機械学習ベースのモデルが、前記MPR画像内の前記VOIの前記軸方向軌跡に沿った近傍を分析するために採用される回帰型畳み込みニューラルネットワーク(RCNN)に基づいていて、前記第1の機械学習ベースのモデルが、畳み込みニューラルネットワーク(CNN)を採用し、そして前記第2の機械学習ベースのモデルが、回帰型ニューラルネットワーク(RNN)に直列に接続されている前記CNNと共に前記回帰型ニューラルネットワークを採用し、前記CNNが、前記MPRから導出された入力のシーケンスから画像の特徴を抽出するように訓練されていて、そして前記回帰型ニューラルネットワークが、前記入力のシーケンスの全ての入力に対して前記CNNにより出力された前記画像の特徴を分析するように訓練されている、
請求項30に記載の方法。
【請求項35】
前記第1の機械学習ベースのモデルが、少なくとも1つの畳み込みレイヤとそれに続く最大プーリングレイヤを採用し、そして前記第2の機械学習ベースのモデルが、プラークタイプを特徴付けること、狭窄の解剖学的有意性を分類付けることまたは狭窄の機能的有意性を分類付けること、の内の少なくとも1つに対して、少なくとも1つの分類器を使用する、
請求項30に記載の方法。
【請求項36】
前記第1の機械学習ベースのモデルが、前記MPR画像に基づいて特徴ベクトルを作成するように構成されていて、前記特徴ベクトルが、画像の参照データベースから測定または抽出される一連の因子を備え、前記一連の因子が、前記関心のある血管の対応する壁領域の性質を記載または特徴付け、そして前記第2の機械学習ベースのモデルが、前記特徴ベクトルを分類するように構成されている、
請求項30に記載の方法。
【請求項37】
プログラム命令を格納しそして関心のある血管を含む標的器官のボリューム画像データセットを格納する、ように構成されているメモリ、および
前記メモリに格納された前記プログラム命令を実行するときに、
前記ボリューム画像データセット内の関心のある血管(VOI)に沿って延在する軸方向軌跡を抽出し、
前記ボリューム画像データセットとVOIの軸方向軌跡に基づいて、3次元(3D)多断面再フォーマット(MPR)画像を作成し、そして
機械学習ベースの血管閉塞評価(VOA)モデルを使用して、前記MPR画像からVOIパラメータを抽出し、前記VOIパラメータが、i)機能的に有意な冠動脈病変の重症度を表すパラメータ、ii)プラークタイプを表すパラメータ、またはiii)解剖学的冠動脈病変の重症度を表すパラメータ、の内の少なくとも1つを含み、前記解剖学的冠動脈病変の重症度が少なくとも3つの重症度クラスを有する、
ように構成されている少なくとも1つのプロセッサ
を備え、
前記機械学習ベースのVOAモデルが、オートエンコーダと少なくとも1つの分類器を備え、前記オートエンコーダが、前記MPRから前記VOIの特徴のセットを生成するように訓練され、そして前記少なくとも1つの分類器が、前記オートエンコーダにより生成された前記VOIの前記特徴のットに基づいて前記VOIパラメータを決定するように訓練される、
血管閉塞を評価するためのシステム。
【請求項38】
前記少なくとも1つのプロセッサが、さらに、i) 機能的に有意な冠動脈病変の重症度を表す前記パラメータを分類すること、ii)プラークタイプを検出すること、iii)解剖学的冠動脈病変の重症度を表す前記パラメータを、前記ボリューム画像データセットの見えない部分内で、前記少なくとも3つの重症度クラスの1つに分類すること、の内の少なくとも1つを実行する予測フェーズを実施する、ように構成されている、
請求項37に記載のシステム。
【請求項39】
機能的に有意な冠動脈病変の重症度を表す前記パラメータが、冠血流予備量比(FFR)値またはFFR値の範囲である、
請求項37に記載のシステム。
【請求項40】
前記機械学習ベースのVOAモデルが、画像データから既知のラベルにより訓練された第1の機械学習ベースのモデルを使用して、前記MPR画像から生成されたキューブに関連付けられた画像の特徴を自動的に抽出し、そして第2の機械学習ベースのモデルを使用して、前記画像の特徴に基づいて前記VOIパラメータを自動的に決定する、
請求項37に記載のシステム。
【請求項41】
前記第2の機械学習ベースのモデルが、前記画像の特徴をシーケンシャルに分析する、
請求項40に記載のシステム。
【請求項42】
血管径の拡大に関連する前記VOIパラメータの抽出を容易にするために、前記キューブのサイズが、前記VOIの内腔全体および前記内腔の外側の組織の一部を含むように定義されていて、血管径の拡大が、アテローム性動脈硬化症のプラーク成長の方向を指す、
請求項40に記載のシステム。
【請求項43】
前記軸方向軌跡が、前記VOIの冠動脈の中心線に対応し、前記冠動脈の中心線が、関心のある冠動脈セクションに沿った冠動脈内腔の中心を表し、前記軸方向軌跡が、単一の冠動脈、冠状分岐部、または冠動脈全体ツリーに対応し、関心のある前記冠動脈セクションが、1つまたは複数の分岐を含む場合、前記冠動脈の中心線が1つまたは複数の分岐を含む、
請求項40に記載のシステム。
【請求項44】
前記第1および第2の機械学習ベースのモデルが、前記MPR画像内の前記VOIの前記軸方向軌跡に沿った近傍を分析するために採用される回帰型畳み込みニューラルネットワーク(RCNN)に基づいていて、前記第1の機械学習ベースのモデルが、畳み込みニューラルネットワーク(CNN)を採用し、そして前記第2の機械学習ベースのモデルが、回帰型ニューラルネットワーク(RNN)に直列に接続されている前記CNNと共に前記回帰型ニューラルネットワークを採用し、前記CNNが、前記MPRから導出された入力のシーケンスから画像の特徴を抽出するように訓練されていて、そして前記回帰型ニューラルネットワークが、前記入力のシーケンスの全ての入力に対して前記CNNにより出力された前記画像の特徴を分析するように訓練されている、
請求項40に記載のシステム。
【請求項45】
前記第1の機械学習ベースのモデルが、前記MPR画像に基づいて特徴ベクトルを作成するように構成されていて、前記特徴ベクトルが、画像の参照データベースから測定または抽出される一連の因子を備え、前記一連の因子が、前記関心のある血管の対応する壁領域の性質を記載または特徴付け、そして前記第2の機械学習ベースのモデルが、前記特徴ベクトルを分類するように構成されている、
請求項40に記載のシステム。
【請求項46】
血管閉塞評価(VOA)モデルを訓練する方法であって、
複数の患者のボリューム画像データセットと対応する冠動脈疾患(CAD)関連の参照値とを含む訓練データベースを取得するステップであって、前記ボリューム画像データセットが、関心のある血管を含む標的器官用であり、前記CAD関連の参照値が、前記対応するボリューム画像データセット内の関心のある血管に沿った1つまたは複数のポイントに対応する、ステップ;および
前記ボリューム画像データセットおよび対応するCAD関連の参照値の少なくとも一部に対して、
前記対応するボリューム画像データセット内の関心のある血管(VOI)に沿って延在する軸方向軌跡を抽出するサブステップ、
メモリに格納されているプログラム命令を実行するときに、以下のサブサブステップを実行するように構成されている少なくとも1つのプロセッサを使用するサブステップ、
前記対応するボリューム画像データセットと前記VOIの前記軸方向軌跡とに基づいて、3次元(3D)多断面再フォーマット(MPR)画像を作成するサブサブステップであって、前記MPR画像が、前記VOIの前記軸方向軌跡に沿って延在する、サブサブステップ、
機械学習ベースの血管閉塞評価(VOA)モデルが、それに供給された前記MPR画像から、それに供給された前記MPR画像のVOI内の軸方向軌跡に沿ってCAD関連パラメータを特徴付ける特徴を抽出し、そしてそれに供給された前記MPR画像から抽出された前記特徴からVOIパラメータを決定するように、前記MPR画像に基づいて機械学習ベースの血管閉塞評価(VOA)モデルを訓練するサブサブステップであって、前記VOIパラメータが、i)機能的に有意な冠動脈病変の重症度を表すパラメータ、ii)プラークタイプを表すパラメータ、またはiii) 解剖学的冠動脈病変の重症度を表すパラメータ、の内の少なくとも1つを含み、前記解剖学的冠動脈病変の重症度が少なくとも3つの重症度クラスを有する、
サブサブステップ、
を備えるサブステップを備え、
前記訓練が、さらに、前記機械学習ベースのVOAモデルを構築するために、前記MPR画像から生成されたキューブのシーケンスに畳み込みニューラルネットワークを適用することを備える、
ステップ、
を備える、方法。
【請求項47】
前記CAD関連の参照値が、前記MPR画像の空間座標に整合される、
請求項46に記載の方法。
【請求項48】
機能的に有意な冠動脈病変の重症度を表す前記パラメータが、冠血流予備量比(FFR)値またはFFR値の範囲である、
請求項46に記載の方法。
【請求項49】
1次元(1D)シーケンスのセットを形成するために、前記軸方向軌跡に沿ったポイントでエンコーディングのセットを生成するステップを、さらに、備え、前記1Dシーケンスの各々が、前記VOIに沿った特定のエンコーディングを表し、前記訓練が、さらに、教師あり学習分類器を適用して、前記1Dシーケンスに基づいて冠血流予備量比(FFR)分類器に学習させることを備える、
請求項46に記載の方法。
【請求項50】
複数の患者のボリューム画像データセットおよび対応する冠動脈疾患(CAD)関連の参照値を含む訓練データベースを格納するように構成されているメモリであって、前記ボリューム画像データセットが、関心のある血管を含む標的器官用であり、前記CAD関連参照値が、前記対応するボリューム画像データセット内の関心のある血管に沿った1つまたは複数のポイントに対応する、メモリ;および
前記メモリに格納されたプログラム命令を実行するときに、前記ボリューム画像データセットおよび対応するCAD関連の参照値の少なくとも一部に対して、
前記対応するボリューム画像データセット内の関心のある血管(VOI)に沿って延在する軸方向軌跡を抽出し、
前記対応するボリューム画像データセットと前記VOIの前記軸方向軌跡に基づいて、前記VOIの前記軸方向軌跡に沿って延在している、3次元(3D)多断面再フォーマット(MPR)画像を作成し、
機械学習ベースの血管閉塞評価(VOA)モデルが、それに供給された前記MPR画像からそれに供給された前記MPR画像のVOI内の軸方向軌跡に沿ってCAD関連パラメータを特徴付ける特徴を抽出し、そしてそれに供給された前記MPR画像から抽出された前記特徴からVOIパラメータを決定するように、前記MPR画像に基づいて機械学習ベースの血管閉塞評価(VOA)モデルを訓練し、前記VOIパラメータが、i)機能的に有意な冠動脈病変の重症度を表すパラメータ、ii)プラークタイプを表すパラメータ、iii)解剖学的冠動脈病変の重症度を表すパラメータ、の内の少なくとも1つを含み、前記解剖学的冠動脈病変の重症度が少なくとも3つの重症度クラスを有する、
ように構成されている、少なくとも1つのプロセッサ、
を備える、血管閉塞評価(VOA)モデルを訓練するシステムであって、
前記少なくとも1つのプロセッサが、i)前記MPRからキューブのシーケンスを生成するステップであって、前記キューブのそれぞれが前記MPR画像からのボクセルのグループを含み、前記VOIのセクション内で形成された前記キューブのシーケンスが、結果的に、対応するセクションに対するキューブのシーケンスとなる、ステップ、およびii)前記機械学習ベースのVOAモデルを構築するために、前記MPR画像に沿ったキューブのシーケンスに畳み込みニューラルネットワークを適用するステップ、の内の少なくとも1つのステップを実行するように構成されていて、
前記CAD関連の参照値が、前記MPR画像の空間座標に整合されている、
システム。
【請求項51】
機能的に有意な冠動脈病変の重症度を表す前記パラメータが、冠血流予備量比(FFR)値またはFFR値の範囲である、
請求項50に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、一般に、1つまたは複数の冠動脈における冠動脈アテロ-ム性動脈硬化症病変の重症度に関連する冠動脈パラメ-タを評価するための方法およびシステムに関する。
【背景技術】
【0002】
冠動脈疾患(CAD: coronary artery disease)は、世界的に主要な死因の1つである。CADは、一般に、血管の狭まったまたは閉塞に関係する状態を指し、これは、狭窄または狭窄の遠位のセクションへの血液供給の減少または欠如をもたらし、これにより心筋への酸素供給が減少する結果、例えば、虚血および胸痛(狭心症)をもたらす可能性がある。血管の狭窄は、狭窄症と呼ばれ、そして図1に示されるように、血管壁(プラ-ク)内および血管壁(プラ-ク)上に脂肪、コレステロ-ル、および他の物質が蓄積するアテロ-ム性動脈硬化症によって引き起こされる。アテロ-ム性動脈硬化症のプラ-クは、その成分によって、石灰化プラ-ク、ソフトプラ-ク、および混合プラ-ク(すなわち、石灰化および非石灰化成分を含むプラ-ク)に分類することが出来る。このような非石灰化成分は、細胞外マトリックス、平滑筋細胞、マクロファ-ジ、泡沫細胞、脂質および線維組織を含む。石灰化したプラ-クは、安定していると見なされ、そして冠動脈内のその量は、心血管イベントの強力な予測因子となる。石灰化プラ-クとは異なり、非石灰化プラ-クと混合プラ-クは、不安定で破裂しやすいと考えられている。プラ-クの破裂は、脳卒中、または冠動脈に破裂が発生した心臓のような急性の主要なイベントをもたらす可能性がある。心臓発作は、心筋梗塞を引き起こし、この結果心筋に不可逆的な損傷をもたらす可能性がある。様々な種類のプラ-クと様々なグレ-ドの狭窄が、様々な患者管理戦略につながるため、冠動脈プラ-クと狭窄グレ-ドを検出しそしてそれらを特徴付けることが、重要である。
【0003】
狭窄の程度(解剖学的狭窄)に加えて、CADの予防および治療における非常に有意な別の側面は、このように狭まった解剖学的狭窄または閉塞した血管の機能的評価である。
【0004】
現在、X線血管造影法は、カテ-テル検査の実行場所における経皮的冠動脈インタ-ベンション(PCI: percutaneous coronary intervention)としても知られている低侵襲性処置により、狭窄(狭まった)冠動脈を治療する間に使用される画像化モダリティである。PCIの間、(インタ-ベンショナル)心臓専門医は、カテ-テル上の収縮したバル-ンまたは他のデバイスを、鼠径部の大腿動脈または橈骨動脈から、血管を介して、それらが動脈の閉塞部位に到達するまで送る。X線画像は、カテ-テルの送りをガイドするために使用される。PCIは、通常、血流が妨げられない状態を回復することを目的として、バル-ンを膨らませて動脈を開くことに係る。動脈を開いたままにするために、ステントまたは足場を閉塞部位に配置させることができる。例えば、冠動脈の解剖学的病変が中庸である(30~70%の管腔狭窄として定義される)場合、狭窄が患者にとってリスクであるか否か、および行動を起こすことが望まれるか否かは、必ずしも明らかではない。狭窄の重症度を過大評価すると、後に考えると不必要な治療を行ってしまい、これにより、患者に不必要なリスクを与えてしまう可能性がある。しかしながら、狭窄の重症度を過小評価すると、狭窄が実際には重症であるので、実際に心筋への流れが妨げられている間、患者が治療されずに放置される結果、リスクが誘発される可能性がある。特にこれらの状況では、適切な意思決定を支援するために、追加の機能評価を行うことが、望まれる。
【0005】
冠血流予備量比(FFR: Fractional Flow Reserve)測定は、PCIから最も高い効果が得られるように、冠動脈病変を特定しかつそれを効果的に標的にする方法として、過去10~15年にわたって、ますます使用されて来ている。FFRは、冠動脈の狭窄全体の圧力差を測定して、狭窄が心筋への酸素供給を妨げる可能性を決定するために使用される手技である。この手技は、冠動脈内に圧力変換ワイヤを経皮的に挿入し、そして病変の後(遠位)および前(近位)の圧力を測定することに係り、そしてこれはカテ-テル検査の実行場所で行われる。心筋への血流は心筋灌流圧に比例するので、これは、最大充血の場合、充血状態で行うのが最適である。従って、FFRは、非特許文献1に記載されているように、冠動脈病変の機能的重症度の定量的評価を提供する。非特許文献2は、中等度の冠動脈の狭窄症(30~70%)の患者にはFFRを使用することを推奨しているが、経皮的冠動脈インタ-ベンションの対象となる患者を選択する手順の90%以上において、QCAによりサポ-トされているか否かにかかわらず、X線冠動脈造影には依然として視覚的評価しか使用されていない(非特許文献3)。しかしながら、FFRにはいくつかの欠点がある。この手技には、一度しか使用できない圧力ワイヤの追加コストが、関わる。さらに、FFRの測定には、関連するコストと処理時間が伴う侵襲性カテ-テル法が必要である。また、(最大の)充血を得るためには、追加の薬物(アデノシンまたはパパベリン)注入が必要であり、これは患者にとって余分な負担となる。
【0006】
冠動脈CT血管造影(CCTA)は、CADが疑われる患者を識別するおよび除外するための十分に確立されたモダリティである。これは、冠動脈プラ-クの非侵襲性検出および特徴付け、並びに冠動脈の狭窄の等級付けを可能にする。今日、これらのタスクは、通常、診療現場では、視覚的評価によって、または最初に内腔と動脈壁のセグメンテ-ションを使用し、そしてその後プラ-クまたは狭窄の存在を定義することによって半自動で、実行される。しかしながら、前者は、経験豊富な専門家が行った場合でも、観察者間のばらつきが大きく、後者は、冠動脈の内腔と壁のセグメンテ-ションに依存する(これは、通常、特に、広範なアテロ-ム性動脈硬化症のプラ-クまたは画像ア-チファクトを伴う画像において、時間がかかりそして面倒である)。
【0007】
CCTAは、有意な冠動脈疾患の存在を確実に排除することが出来るが、CCTAで見られる多くの高度の狭窄は、流れを制限するものではない。この起こり得る偽陽性の結果は、CCTAの広範な使用が、臨床的に不必要な冠動脈血行再構成術をもたらす可能性があるという懸念を生じさせて来た。このCCTAの特異性の欠如は、CADの血行力学的有意性を決定する上でのCCTAの主な制限の1つとなる(非特許文献4)。この結果、CCTAは、患者に不必要なインタ-ベンションをもたらす可能性があるので、これは、患者に、追加のリスクをもたらし、そして不必要な医療費を課す結果をたらす可能性がある。
【0008】
不必要なカテ-テル挿入手順の数を減らすために、カテ-テル挿入手順の前にかつCCTAのような非侵襲性画像化モダリティにより、(プラ-クタイプ、解剖学的病変重症度および機能的冠動脈病変の重症度のような)冠動脈病変パラメ-タを取得することが、精力的に調査されつつある。現在、CCTAにおいて解剖学的狭窄の重症度、プラ-クタイプ、または冠動脈の狭窄の機能的有意性の何れかを決定するためのいくつかの(半)自動方法が、提案されて来ている。これらの方法は、例えば、非特許文献5に記載されているように、プラ-クタイプの検出の際の冠動脈内腔および冠動脈血管壁のセグメンテ-ションに大きく依存する。
【0009】
CCTAには、大きな動脈石灰化およびステントの存在が原因となるブル-ミングア-チファクトのような多数のア-チファクトが存在するので、セグメンテ-ションの不正確さが、結果的に、抽出された冠動脈パラメ-タの精度をもたらすことは、既知の問題である。加えて、動き、SNRの低下、および位置ずれにより、精度は、さらに低下する。従って、良好な画質を伴うCCTAデ-タは、冠動脈プラ-クタイプ、解剖学的および冠動脈病変の機能的な重症度のような、抽出された冠動脈パラメ-タの精度には、不可欠である。
【0010】
非特許文献6および特許文献1には、CCTAからFFRを定量化するための非侵襲性方法(FFRCT)が記載されている。この手技は、左冠動脈と右冠動脈の両方が発出する領域をカバ-する上行大動脈の一部を含む冠動脈の半自動セグメンテ-ション後に、CCTAに適用される計算流体力学(CFD)を使用する。血液を、Navier-Stokes方程式を使用して非圧縮のNewtonian流体としてモデル化し、そして並列ス-パ-コンピュ-タの有限要素法を使用して、適切な初期条件と境界条件に従って解いて、冠動脈の3次元(3D)血流と圧力が、シミュレ-トされる。FFRCTは、アデノシン注入無しのアデノシン誘発充血の状態をモデルにしている。このプロセスは、計算が複雑で時間がかかり、そして数時間かかる場合があり、そしてセグメンテ-ションの結果としての3D解剖学的冠動脈モデル(これは、とりわけ、上述した制限の問題を有する)に大きく依存する。
【先行技術文献】
【特許文献】
【0011】
【文献】米国特許第8,315,812号
【文献】米国特許第9,008,386号
【文献】米国特許第10,192,352号
【文献】米国特許第101,765,575号(機械学習に基づいて血管閉塞を評価するための方法とシステム)
【非特許文献】
【0012】
【文献】Pijls外の「冠状動脈狭窄の機能的重症度を評価するための冠血流予備量比の測定」、N Engl J Med 1996年、334号:1703-1708頁
【文献】欧州心臓病学会(ESC: European Society of Cardiology)および米国心臓病学会/米国心臓協会(ACC/AHA: American College of Cardiology/American Heart Association)のガイドライン
【文献】Kleiman外の「全てをまとめる:心臓カテ-テル検査中の生理学と解剖学の統合」、J Am Coll Cardiol.、2011年、58号、1219-1221頁
【文献】Meijboom外の「冠動脈の狭窄の包括的評価:コンピュ-タ断層撮影冠動脈造影と従来の冠動脈造影および患者の予備分数との相関安定狭心症」、Journal of the American College of Cardiology、52(8)、2008年、636-643頁
【文献】Kiris外の「コンピュ-タ断層撮影血管造影における冠動脈の狭窄検出、狭窄定量化および管腔セグメンテ-ションアルゴリズムを評価するための標準化された評価フレ-ムワ-ク」、Medical Image Analysis、17巻、8号、859-876頁、2013年
【文献】Taylor外の「冠血流予備量比の非侵襲性定量化のための心臓コンピュ-タ断層撮影に適用される計算流体力学」、Journal of the American College of Cardiology(米国心臓病学会誌)、61巻、22号、2013頁
【文献】Litjens外の「医療画像分析における深層学習に関する調査」、Med Image Anal.、2017年12月、42号、60-88頁
【文献】Metz外の「コンピュ-タ断層撮影血管造影デ-タにおける半自動冠動脈の中心線抽出」、議事録/ IEEE International Symposium on Biomedical Imaging:from nano to macro、2007年5月
【文献】Wolterink外の「CNNベ-スの方向分類器を使用した心臓CT血管造影における冠動脈の中心線抽出」、Med Image Anal.、2019年1月、51巻、46-60頁
【文献】Baka外の「非剛体2D/3D冠動脈登録のための指向性ガウス混合モデル」、IEEE Trans Med Imaging、2014年5月、33巻、5号、1023-34頁
【文献】Donahue外の「視覚的認識および記述のための長期反復畳み込みネットワ-ク」、Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition、2015年、2625-2634頁
【文献】Mulder外の「統計的言語モデリングへの回帰型ニュ-ラルネットワ-クの適用に関する調査」、Proceedings of the 32nd International Conference on Machine Learning、30巻、1号、61-98頁、2015年
【文献】Loffe外の「バッチ正規化:内部共変量シフトを減らすことによるディ-プネットワ-ク訓練の加速」、Proceedings of the 32nd International Conference on Machine Learning、2015年、448-456頁
【文献】Glorot外の「ディ-プスパ-ス正規化線形ネットワ-ク」、International Conference on Artificial Intelligence and Statistics、2011年、315-323頁
【文献】Zreik外の「畳み込みニュ-ラルネットワ-クを使用した心臓CT血管造影における左心室の自動セグメンテ-ション」、2016 IEEE 13th International Symposium on Biomedical Imaging (ISBI)、2016年、40- 43頁
【文献】Robert M. Haralick外の「画像分類付けのための組織特徴」、IEEE Transactions on Systems, Man, and Cybernetics、1973年、 SMC-3 (6)、610-621頁
【文献】Kingma外の「変分ベイズの自動エンコ-ディング」、arXiv preprint arXiv:1312.6114、2013年
【文献】Kingma外の「ディ-プ生成モデルによる半教師あり学習」、Advances in Neuro Information Processing Systems、2014年、3581~3589頁
【文献】Kotsiantis外の「Supervised Machine Learning:A Review of Classification Techniques」、Informatica 31 31、2007年、249-268頁
【文献】Ilse外の「注意ベ-スのディ-プ複数インスタンス学習」、arXiv preprint arXiv:1802.04712
【文献】Masdjedi外の「3次元定量的冠動脈の検証血管を計算するための血管造影ベ-スのソフトウェア-FFR(FAST研究)」、arXiv preprint arXiv:1802.04712
【発明の概要】
【発明が解決しようとする課題】
【0013】
従って、冠動脈系の詳細な形態に依存することなく、(プラ-クタイプ、解剖学的病変の重症度および機能的冠動脈病変の重症度のような)冠動脈病変パラメ-タを取得する必要がある。
【課題を解決するための手段】
【0014】
本明細書の態様により、血管閉塞を評価するための方法が提供される。この方法は、関心のある血管を含む標的器官のボリュ-ム画像デ-タセットを取得するステップ;ボリュ-ム画像デ-タセット内の関心のある血管(VOI: vessel of interest)に沿って延在する軸方向軌跡を抽出するステップ;ボリュ-ム画像デ-タセットとVOIの軸方向軌跡に基づいて、3次元(3D)多断面再フォ-マット(MPR:multi-planer reformatted)画像を作成するステップ;および機械学習ベ-スの血管閉塞評価(VOA: vessel obstruction assessment)モデルを使用して、MPRからVOIパラメ-タを抽出するステップを備える。
【0015】
オプションとして、この方法は、i)プラ-クタイプの検出、ii)血管閉塞の解剖学的重症度の分類付け、および/またはiii)ボリュ-ム画像デ-タセットの見えない部分内の血管閉塞の血行力学的重症度の分類付けの内の少なくとも1つを実行するための予測フェ-ズを実施するステップを備える。オプションとして、機械学習ベ-スのVOAモデルは、MPR画像からキュ-ブのシ-ケンスを生成する。このキュ-ブの各々には、MPR画像からのボクセルのグル-プが含まれ、VOIのセクション内に作成されたキュ-ブのシ-ケンスは、結果的に、対応するセクションのキュ-ブのシ-ケンスとなる。オプションとして、機械学習ベ-スのVOAモデルは、キュ-ブのシ-ケンスからキュ-ブに関連付けられた画像の特徴を個別に抽出する。オプションとして、機械学習は、画像の特徴をシ-ケンシャルに分析する。オプションとして、キュ-ブのサイズは、血管径の拡大に関連するVOIパラメ-タの抽出を容易にするために、VOIの内腔全体および内腔の外側の組織の一部を含むように定義される。ここで、血管径の拡大は、アテロ-ム性動脈硬化症のプラ-ク成長の方向を指す。オプションとして、軸方向軌跡は、VOIの冠動脈の中心線に対応することができ、冠動脈の中心線は、関心のある冠動脈セクションに沿った冠動脈内腔の中心を表し、軸方向軌跡は、単一の冠動脈、冠動脈分岐または冠動脈ツリ-全体に対応する。ここで、関心のある冠動脈セクションが1つまたは複数の分岐を含む場合、冠動脈の中心線は、1つまたは複数の分岐を含む。
【0016】
機械学習ベ-スのVOAモデルは、MPR画像におけるVOIの軸方向軌跡に沿った近傍を分析するために使用される、回帰型畳み込みニュ-ラルネットワ-ク(RCNN: recurrent convolutional neutral network)に基づかせることができる。RCNNは、畳み込みニュ-ラルネットワ-ク(CNN)を、直列に接続された回帰型ニュ-ラルネットワ-ク(RNN)に接続して、軸方向軌跡に沿ったMPRの部分をシ-ケンシャル入力として分析する。機械学習ベ-スのVOAモデルは、少なくとも1つの畳み込みレイヤとそれに続く最大プ-リングレイヤを適用して、MPR画像から関心のある画像特徴を抽出し、そして特徴付けるプラ-クタイプの少なくとも1つに対して、分類器を使用して、狭窄の解剖学的有意性を分類しまたは狭窄の機能的有意性を決定する。機械学習ベ-スのVOAモデルは、MPR画像に基づいて特徴ベクトルを作成するための特徴抽出を含むことができる。この特徴ベクトルは、画像の参照デ-タベ-スから測定または抽出される一連の因子を備える。この一連の因子は、関心のある血管の対応する壁領域の性質を記述または特徴付ける。機械学習ベ-スのVOAモデルは、さらに、MPR画像から抽出された特徴ベクトルを分類するための分類器を含む。VOIパラメ-タは、冠動脈プラ-クタイプ、解剖学的冠動脈病変重症度または機能的に有意な冠動脈病変重症度の内の少なくとも1つを含むことができる。この機械学習ベ-スのVOAモデルは、i)機能的に有意な冠動脈病変重症度、ii)プラ-クタイプまたはiii)解剖学的冠動脈病変の重症度の内の少なくとも1つを評価する。
【0017】
本明細書の態様により、以下のステップ:複数の患者のボリュ-ム画像デ-タセットおよび対応する冠動脈疾患(CAD)関連の参照値を含む訓練デ-タベ-スを取得するステップであって、関心のある血管を含む標的器官のためのボリュ-ム画像デ-タセットが、対応する画像デ-タセット内の関心のある血管に沿った1つまたは複数のポイントに対応するCAD関連参照値である、ステップ;CAD関連の参照値の少なくとも一部に対して、対応するボリュ-ム画像デ-タセットおよびVOIの軸方向軌跡に基づいて、対応するボリュ-ム画像デ-タセット内の関心のある血管(VOI)に沿って延在する軸方向軌跡を抽出するステップ;対応するボリュ-ム画像デ-タセットとVOIの軸方向軌跡に基づいて、3次元(3D)多断面再フォ-マット(MPR)画像を作成するステップであって、MPR画像が、VOIの軸方向軌跡に沿って延在する、ステップ;およびMPR画像に基づいて機械学習ベ-スの血管閉塞評価(VOA)モデルを訓練するステップであって、この訓練が、さらに、MPR画像から、VOI内の軸方向軌跡に沿ったCAD関連パラメ-タを特徴付ける特徴を抽出するステップとを含む、ステップ、を備える、血管閉塞評価(VOA)モデルを訓練するための方法が提供される。
【0018】
オプションとして、この方法は、CAD関連の参照値を、対応するMPR画像の空間座標に整合
させる。オプションとして、この方法は、対応するMPR画像からキュ-ブのシ-ケンスを生成し、キュ-ブの各々は、対応するMPR画像からのボクセルのグル-プを含み、VOIのセクション内に作成されたキュ-ブのシ-ケンスは、結果的に、対応するセクションのキュ-ブのシ-ケンスとなる。オプションとして、この訓練は、さらに、畳み込みニュ-ラルネットワ-クをMPR画像のみのキュ-ブのシ-ケンスに適用して、機械学習ベ-スのVOAモデルを構築するステップを備える。オプションとして、この適用は、軸方向軌跡に沿ったポイントでエンコ-ディングのセットを生成して、1次元(1D)シ-ケンスのセットを生成するステップをさらに含み、各1Dシ-ケンスは、VOIに沿った特定のエンコ-ディングを表し、この訓練は、さらに、1Dシ-ケンスに基づいて冠血流予備量比(FFR)分類器を学習する、教師あり学習分類器を適用するステップを備える。
【0019】
本明細書の態様によれば、血管閉塞を評価するためのシステムが提供される。このシステムは、関心のある血管を含む標的器官のボリュ-ム画像デ-タセットを格納するように構成されたメモリを含む。1つまたは複数のプロセッサは、このメモリに格納されたプログラム命令を実行するときに、以下のこと:ボリュ-ム画像デ-タセット内の関心のある血管(VOI)に沿って延在する軸方向軌跡を抽出すること;ボリュ-ム画像デ-タセットとVOIの軸方向軌跡に基づいて、3次元(3D)多断面再フォ-マット(MPR)画像を作成すること;そして機械学習ベ-スの血管閉塞評価(VOA)モデルを使用して、MPRからVOIパラメ-タを抽出すること、を実行するように構成されている。
【0020】
オプションとして、1つまたは複数のプロセッサは、i)プラ-クタイプを検出する、ii)血管閉塞の解剖学的重症度を分類する、および/またはiii)ボリュ-ム画像デ-タセットの見えない部分内血管閉塞の血行力学的重症度の分類の内の少なくとも1つを実行する予測フェ-ズを実施する、ように構成されている。オプションとして、機械学習ベ-スのVOAモデルは、MPR画像からキュ-ブのシ-ケンスを生成し、キュ-ブの各々には、MPR画像からのボクセルのグル-プが含まれ、VOIのセクション内に作成されたキュ-ブのシ-ケンスは、結果的に、対応するセクションに対するキュ-ブのシ-ケンスとなる。オプションとして、機械学習ベ-スのVOAモデルは、キュ-ブのシ-ケンスからキュ-ブに関連付けられた画像の特徴を個別に抽出する。オプションとして、機械学習は、画像の特徴をシ-ケンシャルに分析する。キュ-ブのサイズは、血管径の拡大に関連するVOIパラメ-タの抽出を容易にするために、VOIの内腔全体および内腔の外側の組織の一部を含むように定義することができ、ここで、血管径の拡大は、アテロ-ム性動脈硬化症のプラ-ク成長の方向を指す。軸方向軌跡は、VOIの冠動脈の中心線に対応することができ、冠動脈の中心線は、関心のある冠動脈セクションに沿った冠動脈内腔の中心を表し、軸方向軌跡は、単一の冠動脈、冠動脈分岐または冠動脈ツリ-全体に対応することができ、ここで、関心のある冠動脈セクションが1つまたは複数の分岐を含む場合、冠動脈の中心線は、1つまたは複数の分岐を含む。機械学習ベ-スのVOAモデルは、MPR画像内のVOIの軸方向軌跡に沿った近傍を分析するために使用される回帰型畳み込みニュ-ラルネットワ-ク(RCNN)に基づかせることができ、RCNNは、畳み込みニュ-ラルネットワ-ク(CNN)を直列に接続された回帰型ニュ-ラルネットワ-ク(RNN)に接続して、MPRの軸方向軌跡に沿った部分をシ-ケンシャル入力として分析する。機械学習ベ-スのVOAモデルは、少なくとも1つの畳み込みレイヤとそれに続く最大プ-リングレイヤを適用して、MPR画像から関心のある画像特徴を抽出し、そしてプラ-クタイプを特徴付けるプラ-クタイプを検出する少なくとも1つに対する分類器を使用して、狭窄を検出または狭窄の解剖学的有意性を決定することができる。機械学習ベ-スのVOAモデルは、MPR画像に基づいて特徴ベクトルを作成するための特徴抽出を含むことができる。この特徴ベクトルは、画像の特徴デ-タベ-スから測定されたまたは抽出された一連の因子を備える。この一連の因子は、関心のある血管の対応する壁領域の性質を記述又は特徴付ける。この機械学習ベ-スのVOAモデルは、さらに、MPR画像から抽出された特徴ベクトルを分類するための分類器を含む。VOIパラメ-タは、冠動脈プラ-クタイプ、解剖学的冠動脈病変重症度または機能的に有意な冠動脈病変重症度の内の少なくとも1つを含むことができる。機械学習ベ-スのVOAモデルは、i)機能的に有意な冠動脈病変重症度、ii)プラ-クタイプまたはiii)解剖学的冠動脈病変の重症度の内の少なくとも1つを評価する。
【0021】
本明細書の実施形態により、血管閉塞評価(VOA)モデルを訓練するためのシステムが提供される。このシステムは、メモリおよび1つまたは複数のプロセッサを備える。このメモリは、複数の患者のボリュ-ム画像デ-タセットおよび対応する冠動脈疾患(CAD)関連の参照値を含む訓練デ-タベ-スを格納するように構成されている。このボリュ-ム画像デ-タセットは、関心のある血管を含む標的器官である。このCAD関連の参照値は、対応する画像デ-タセット内の関心のある血管に沿った1つまたは複数のポイントに対応する参照値に関連する。この1つまたは複数のプロセッサは、メモリに格納されたプログラム命令を実行すると、以下のステップ:ボリュ-ム画像デ-タセットおよび対応するCAD関連参照値の少なくとも一部に対して、対応するボリュ-ム画像デ-タセット内の関心のある血管(VOI)に沿って延在する軸方向軌跡を抽出するステップ;対応するボリュ-ム画像デ-タセット内。対応するボリュ-ム画像デ-タセットおよびVOIの軸方向軌跡に基づいて3次元(3D)多断面再フォ-マット(MPR)画像を作成するステップであって、MPR画像がVOIの軸方向軌跡に沿って延在するステップ;MPR画像に基づいて機械学習ベ-スの血管閉塞評価(VOA)モデルを訓練するステップであって、これには、MPR画像から、VOI内の軸方向軌跡に沿ったCAD関連パラメ-タを特徴付ける特徴を抽出することが含まれる、ステップ、を実行するように構成されている。
【0022】
オプションとして、プロセッサは、さらに、CAD関連の参照値を、対応するMPR画像の空間座標に整合させるように構成されている。オプションとして、このプロセッサは、さらに、対応するMPR画像からキュ-ブのシ-ケンスを生成するように構成されていて、キュ-ブの各々は、対応するMPR画像からのボクセルのグル-プを含み、キュ-ブのシ-ケンスは、対応するセクションのキュ-ブのシ-ケンスをもたらすVOIのセクション内に作成される。オプションとして、このプロセッサは、さらに、畳み込みニュ-ラルネットワ-クをMPR画像のみのキュ-ブのシ-ケンスに適用して、機械学習ベ-スのVOAモデルを構築するように構成されている。オプションとして、この1つまたは複数のプロセッサは、軸方向軌跡に沿ったポイントでエンコ-ディングのセットを生成して1次元(1D)シ-ケンスのセットを形成するようにさらに構成されていて、各1Dシ-ケンスは、VOIに沿った特定のエンコ-ディングを表す。この1つまたは複数のプロセッサが、1Dシ-ケンスに基づいて冠血流予備量比(FFR)分類器を学習するために、監視対象分類器を適用することにより、訓練を実行するように構成されている。
【0023】
本発明の特性およびこれにより導かれる効果は、添付の図面において示される非限定的な実施態様の以下の記載からより明らかになるであろう。
【図面の簡単な説明】
【0024】
図1】冠動脈アテロ-ム性動脈硬化症の例を示す。
図2】本出願の実施形態による、1つまたは複数の冠動脈における冠動脈アテロ-ム性動脈硬化症病変の重症度に関連する冠動脈パラメ-タを決定するための機械学習ベ-スの方法のフロ-チャ-トを示す。
図3】例示的なCTシステムの機能ブロック図を示す。
図4】4a~4eは、ボリュ-ムMPR画像の作成を示す。
図5a】5a(i)~5a(v)は、本出願の実施形態によって得られた結果をどのように提示することができるかの例を示す。
図5b】本出願の実施形態によって得られた結果が、3Dレンダリングされた画像内にどのように提示することが出来る代替の例を示す。
図6】本出願の実施形態によって得られた結果が、カテ-テル挿入手順中に作成されるものとしてよく知られているX線血管造影画像を模倣する方法でどのように提示させることが出来るかの例を示す。
図7】訓練フェ-ズによって実行される機械学習RCNN分類付けモデルの生成のフロ-チャ-トを示す。
図8】8a~8cは、CCTA画像デ-タセットを使用したFFR参照値のプルバックの同時登録方法の概略図を示す。
図9】9a~9dは、MPR画像内でキュ-ブのシ-ケンスを生成するための概略図を示す。
図10】増補に使用される3つの増補方法を示す。
図11】関心のある冠動脈に沿った冠動脈プラ-クタイプおよび解剖学的病変の重症度を検出するためのRCNNア-キテクチャの例を示す。
図12】関心のある冠動脈に沿った冠動脈プラ-クタイプ、解剖学的病変の重症度、および機能的に有意なFFRを検出するためのRCNNア-キテクチャの例を示す。
図13】動脈の狭窄による虚血の例を示す。
図14】冠動脈内の機能的に有意なFFRを評価するために心筋特徴ベクトルと組み合わされたRCNNア-キテクチャの例を示す。
図15】関心のある位置の遠位にある心筋を含むキュ-ブのシ-ケンスを作成するために使用される代替のアプロ-チを示す。
図16】予測フェ-ズのための本出願の実施形態のフロ-チャ-トを示す。
図17】冠動脈の血行力学的機能的重症度を評価するための代替ワ-クフロ-を示す。
図18】訓練フェ-ズによって実行されるFFR分類付けモデルの生成の代替フロ-チャ-トを示す。
図19】19a~19cは、MPR画像を使用して示されたCAE: convolutional autoencoderのエンコ-ダ/デコ-ダ出力の視覚的な図を示す。
図20】予測フェ-ズ中に使用される、FFR分類付けモデルの学習中に使用される1D自動エンコ-ダと組み合わされた3D変分畳み込みオ-トエンコ-ダのア-キテクチャの例を示す。
図21a】3D-CAEの詳細なネットワ-クア-キテクチャの例を示す。
図21b】1D-CAEの詳細なネットワ-クア-キテクチャの例を示す。
図22】訓練デ-タがポイントとして表され、別々のカテゴリのデ-タが可能な限り広い明確なギャップによって分割されるようにマッピングされた特徴空間の例を示す。
図23】訓練フェ-ズによって実行される訓練されたFFR分類付けモデルを使用する予測フェ-ズの代替フロ-チャ-トを示す。
図24】見えないデ-タを分類するための分類器の図を示す。この視覚的表現内では、入力は、見えない画像から計算された特徴ベクトルであり、そして出力は2つのクラスである。
図25】訓練フェ-ズによって実行されるマルチインスタンス学習(MIL: multi-instance learning)FFR分類付けモデルの生成の代替フロ-チャ-トを示す。
図26】訓練フェ-ズによって実行される訓練された(MIL)FFR分類付けモデルを使用する予測フェ-ズの代替フロ-チャ-トを示す。
図27】CAASワ-クステ-ションを使用することにより、冠動脈回旋枝の計算されたFFRプルバックを取得する例を示す。
図28】CTシステムの一例の高レベルブロック図を示す。
【発明を実施するための形態】
【0025】
本出願全体を通して使用される「見えない」という用語は、訓練フェ-ズ中に使用されなかったアイテムを指す。このコンテキスト内のアイテムとは、機械学習ベ-スのVOAモデルを訓練するために、訓練フェ-ズ中に使用されるボリュ-ム画像、参照値、機能、および/または他のものを意味する。代わりに、見えない特徴、画像、形状、および他の目に見えないアイテムは、操作の予測フェ-ズ中に分析されている患者または関心のあるオブジェクトの側面を指す。
【0026】
「セクション」という用語は、ボクセルのキュ-ブの記載に関連して使用される場合、関心のある血管に沿った実質的に連続した幾何学的領域を指すものとする。
【0027】
本明細書全体を通して、機械学習/深層学習の分野で一般的な用語が使用される。これらの用語の詳細な記載については、非特許文献7を参照されたい。
【0028】
本明細書全体を通して、「キュ-ブ」および「直方体」という用語が使用される。何れの用語もボリュ-ム形状を表しており、「キュ-ブ」とは、幅、高さ、深さが等しいサイズのボリュ-ムキュ-ブを意味する。「直方体」は「キュ-ブ」に似ているが、直方体の幅、高さ、深さのサイズは異なっていても良い。
【0029】
本出願は、造影増強ボリュ-ム測定画像デ-タセットに基づいて、プラ-クタイプ、解剖学的重症度、および標的器官の1つまたは複数の血管閉塞の機能的重症度などのCADに関連する冠動脈パラメ-タを評価するための機械学習の方法およびシステムに関する。好ましい実施形態では、標的器官は、心臓および血管、冠動脈を表す。機能的に有意な狭窄は、血行動態的に有意な血管の閉塞であり、そして冠動脈に関しては、これは、冠動脈の閉塞が心筋への酸素供給を妨げ、狭心症の症状を引き起こす可能性を定義する。冠血流予備量比は、機能的に有意な冠動脈閉塞を評価するための血行力学的指標である。冠血流予備量比に加えて、他の血行力学的指標を使用して、冠動脈血流予備量、瞬間的な無波比、充血性心筋灌流、微小循環抵抗の指標、冠動脈に沿った圧力降下のような、機能的に有意な冠動脈閉塞を評価することも出来る。
【0030】
本出願の実施形態は、機械学習を使用して、CCTAデ-タセットからの、1つまたは複数の血管閉塞のプラ-クタイプ、解剖学的重症度および機能的重症度のような、CADに関連する冠動脈パラメ-タを決定する。機械学習は、「明示的にプログラムされていなくても学習する能力をコンピュ-タに与える」コンピュ-タサイエンスのサブフィ-ルドである。人工知能におけるパタ-ン認識と計算論的学習理論の研究から発展した機械学習は、デ-タから学習しかつデ-タの予測を行うことができるアルゴリズムの研究と構築を探求する。このようなアルゴリズムは、サンプル入力からモデルを構築することにより、デ-タ駆動型の予測または決定を行うことにより厳密に静的なプログラム命令に従う問題を解決する。機械学習は、明示的なアルゴリズムの設計とプログラミングが不可能な様々なコンピュ-ティングタスクで、採用されている。
【0031】
クラスラベルが既知である画像のデ-タセットが与えられると、機械学習システムは、新しい画像のクラスラベルを予測することができる。このようなシステムには、少なくとも2つの部分がある。機械学習ベ-スの血管閉塞評価(VOA)モデルである第1の部分は、画像を指定して特徴ベクトルを作成するためのアルゴリズムである、特徴抽出(抽出器)である。特徴ベクトルは、画像デ-タセットから測定または抽出される一連の因子(例、複数の数値)を備え、これは、画像の、対応する壁領域の性質を記述または特徴付ける。次に、VOAモデルの第2の部分は、これらの特徴を使用して、分類器が、見えない画像から抽出された見えない特徴ベクトルを分類する。ラベルが既知であり、かつ機械学習ベ-スのVOAモデルを訓練するために以前に使用された画像と抽出された特徴ベクトルの(大規模な)デ-タベ-スが与えられた場合、(既知の)ラベルを持ちかつ以前に画像(訓練画像)と同じ方法で抽出された特徴に基づいて見えない画像を分類することが可能である。
【0032】
図2は、本出願の一実施形態による操作を示すフロ-チャ-トを示す。この操作は、器官(またはその一部)または他の関心のあるオブジェクトのCCTAデ-タセットを取得および処理することができる画像化システムを採用している。図2の操作(および本明細書で記載される他の方法、アルゴリズム、およびプロセスの操作)は、プログラム命令を実行しながら、1つまたは複数のプロセッサによって実装される。1つまたは複数のプロセッサは、スマ-トフォン、タブレットデバイス、ラップトップコンピュ-タ、デスクトップコンピュ-タ、ワ-クステ-ション、リモ-トサ-バ、医療ネットワ-ク等のような、様々なコンピュ-ティングデバイスに実装させることができる。これに代えて、1つまたは複数のプロセッサは、操作の一部が、1つのコンピュ-ティングデバイスによって実行され、残りの操作は、1つまたは複数の他のコンピュ-ティングデバイスによって実行されるように、1つまたは複数の別個のコンピュ-ティングデバイス間に分散させることができる。
【0033】
図3は、例示的なCTシステムの機能ブロック図であり、これは、ユ-ザインタ-フェ-スモジュ-ル116からのコマンドの下で動作し、そしてデ-タ処理モジュ-ル114にデ-タを提供するCT画像化装置112を含む。
【0034】
CT画像化装置112は、関心のある器官のCTスキャンを獲得する。CT画像化装置112は、典型的には、回転可能なガントリにマウントされているX線源および検出器を含む。ガントリは、X線源と検出器の間のテ-ブル上に支えられている患者の周りをスキャンする間に、X線源と検出器を連続速度で回転させる。
【0035】
デ-タ処理モジュ-ル114は、パ-ソナルコンピュ-タ、ワ-クステ-ション、または他のコンピュ-タ処理システムによって実現させることができる。デ-タ処理モジュ-ル114は、CT画像化装置112によって獲得されたCTスキャンを処理して、本明細書に記載されるデ-タを生成する。
【0036】
ユ-ザインタ-フェ-スモジュ-ル116は、ユ-ザと対話し、デ-タ処理モジュ-ル114と通信する。ユ-ザインタ-フェ-スモジュ-ル116は、視覚出力用の表示画面、タッチ用のタッチスクリ-ン、入力用のマウスポインタまたは他のポインティングデバイス、音声入力用のマイク、音声出力用のスピ-カ、入力用のキ-ボ-ドおよび/またはキ-パッド等、のような異なる種類の入力および出力デバイスを含むことが出来る。デ-タ処理モジュ-ル114およびユ-ザインタ-フェ-スモジュ-ル116は、本明細書に記載のプロセスの操作を協働して実行する。。
【0037】
デ-タ処理モジュ-ル114は、1つまたは複数のメモリ118および1つまたは複数のプロセッサ120を含む。メモリ118は、とりわけ、標的器官のコントラスト強調ボリュ-ムデ-タセット、デ-タセグメント、デ-タセグメントの分析から抽出された特徴、1つ以上のVOAモデルを格納する。メモリ118は、また、器官を訓練するための1つまたは複数の造影増強ボリュ-ムデ-タセット、CAD関連の参照値、1つまたは複数のVOAモデル等も格納することができる。

メモリ118は、また、1つまたは複数のプロセッサ120に、本明細書に記載のプロセスの操作を実行するように指示するソフトウェアコ-ドを格納する。例えば、メモリ118は、光ディスク、またはUSBドライブのような他の形態の永続メモリまたはネットワ-クサ-バを含むことができる。ソフトウェアコ-ドは、本明細書で記載される操作を実行するために、デ-タ処理モジュ-ル114のメモリに直接ロ-ドさせることが出来る。
【0038】
本明細書の態様によれば、画像化システムは、関心のあるオブジェクトの少なくとも1つのCCTAデ-タセットを既に取得および格納している。この目的のためには、CTスキャンを提供することができる任意の画像化装置を使用することが出来る。本明細書の態様によれば、デ-タ処理モジュ-ル114の1つまたは複数のプロセッサ120は、血管閉塞を評価するための方法を実施する。この方法は、以下のこと:関心のある血管を含む標的器官のボリュ-ム画像デ-タセットを取得すること;ボリュ-ム画像デ-タセット内の関心のある血管(VOI)に沿って延在する軸方向軌跡を抽出すること;ボリュ-ム画像デ-タセットとVOIの軸方向軌跡に基づいて、3次元(3D)多断面再フォ-マット(MPR)画像を作成すること;そして機械学習ベ-スの血管閉塞評価(VOA)モデルを使用して、MPRからVOIパラメ-タを抽出すること、を含む。本明細書の態様によれば、デ-タ処理モジュ-ル114の1つまたは複数のプロセッサ120は、以下のステップ:複数の患者および対応する冠動脈のボリュ-ム画像デ-タセットを含む訓練デ-タベ-スを取得するステップであって、ボリュ-ム画像デ-タセットが、関心のある血管を含む標的器官に関していて、CAD関連の参照値が、対応する画像デ-タセット内の関心のある血管に沿った1つまたは複数のポイントに対応する、ステップ;ボリュ-ム画像デ-タセットおよび対応するCAD関連の参照値の少なくとも一部に対して、対応するボリュ-ム画像デ-タセット内の関心のある血管(VOI)に沿って延在する軸方向軌跡を抽出するステップ;対応するボリュ-ム画像デ-タセットとVOIの軸方向軌跡に基づいて3次元(3D)多断面再フォ-マット(MPR)画像を作成するステップであって、MPR画像が、VOIの軸方向軌跡に沿って延在する、ステップ;MPR画像に基づいて機械学習ベ-スの血管閉塞評価(VOA)モデルを訓練するステップであって、この訓練が、さらに、MPR画像から、VOI内の軸方向軌跡に沿ったCAD関連パラメ-タを特徴付ける特徴を抽出することを含む、ステップ、を備える、血管閉塞評価(VOA)モデルを訓練する方法を実施する。
【0039】
メモリ118は、関心のある血管を含む標的器官のボリュ-ム画像デ-タセットを格納するように構成されたメモリを格納することができる。オプションとして、メモリ118は、複数の患者のボリュ-ム画像デ-タセットおよびこれに対応する冠動脈疾患(CAD)関連の参照値を含む訓練デ-タベ-スを格納することができ、このボリュ-ム画像デ-タセットは、関心のある血管を含む標的器官用であり、CAD関連参照値は、対応する画像デ-タセット内の関心のある血管に沿った1つまたは複数のポイントに対応する。
【0040】
プロセッサ120は、機械学習ベ-スの血管閉塞評価(VOA)モデルを使用して、MPR画像からCAD関連パラメ-タを抽出することを実行する。プロセッサ120は、MPR画像に基づいて機械学習ベ-スの血管閉塞評価(VOA)モデルを訓練するための訓練フェ-ズを実施し、この訓練は、さらに、MPR画像から、VOI内の軸方向軌跡に沿ったCAD関連パラメ-タを特徴付ける特徴を抽出することを含む。
【0041】
図2の操作は、また、コンピュ-タ製品(例えば、光ディスク、またはUSBドライブのような他の形態の永続メモリ、またはネットワ-クサ-バ)に具体化されるソフトウェアコ-ドによって実行させることが出来る。ソフトウェアコ-ドは、図2の操作を実行するために、デ-タ処理システムのメモリに直接ロ-ドさせることが出来る。
【0042】
この例では、画像化システムが、関心のあるオブジェクトの少なくとも1つのCCTAデ-タセットを既に取得していてそして格納していることが想定されている。この目的には、CTスキャンを提供することが出来る任意の画像化装置を使用することが出来る。
【0043】
本出願は、CCTAデ-タセットに基づく冠動脈病変パラメ-タ分析において特に有利であり、そしてこれは、主に、この分野を参照して、特に患者の分類付けのために、開示されるであろう。
【0044】
本出願の実施形態は、図2を参照して開示される。ここに示されるステップは、明らかに、任意の論理的順序で実行することができ、そして部分的に省略することができる。
【0045】
図2のステップ201に記載されているように、画像デ-タセットが取得される。このような画像デ-タセットは、ボリュ-ム画像デ-タセット(例えば、単一の造影増強CCTAデ-タセット)を表す。このCCTAデ-タセットは、画像ア-カイブおよび通信システム(PACS)またはVNA(vendor neural archive)、ロ-カルデジタルストレ-ジデ-タベ-ス、クラウドデ-タベ-スのようなデジタルストレ-ジデ-タベ-スから、またはCT画像化モダリティから直接取得することが出来る。CCTA画像化中に、造影剤が患者に導入された。さらに、CCTA画像化は、ECGトリガさせることも出来る。
【0046】
図2のステップ202内で、プロセッサは、関心のある血管に沿って延在する軸方向軌跡を抽出する。例えば、軸方向軌跡は、関心のある血管に沿って延在する中心線に対応することができる。関心のある血管が冠動脈を表す場合、軸方向軌跡は冠動脈の中心線に対応することができる。この場合、プロセッサは冠動脈の中心線を抽出する。冠動脈の中心線は、関心のある冠動脈セクションに沿った冠動脈内腔の中心を表す。これは、単一の冠動脈、冠動脈分岐部、または冠動脈ツリ-全体になり得る。関心のある冠動脈セクションが、1つまたは複数の分岐を含む場合、冠動脈の中心線は、分岐を含むが、その側枝は含まないであろう。さらにステップ203に記載されるように、中心線は、MPR画像を作成するために使用される。分岐および/または冠動脈ツリ-が分析される場合、例えば、1つの分岐を分析する際、2つの冠動脈の中心線が抽出されるように、複数の中心線が抽出される:1つの冠動脈の中心線が、分岐の主分岐内の遠位位置に対する近位位置によって識別される;および1つの中心線が、分岐の側枝内の遠位位置に対する近位位置によって識別される。本出願の目的に対しては、抽出された冠動脈の中心線が、冠動脈内腔の中心を正確に表す必要はない。冠動脈の中心線は、冠動脈内腔を超えてはならないが、冠動脈の中心線の推定は大まかで十分である。冠動脈の中心線の抽出は、手動または(半)自動で実行することが出来る。半自動アプロ-チの例は、非特許文献8に記載されている。冠動脈の中心線の自動抽出法は、非特許文献9に記載されている。この方法では、単一のシ-ドポイントを関心のある動脈に配置した後、CCTA画像デ-タセットで視覚化された冠動脈入口部と最も遠位のポイントの間の冠動脈の中心線を抽出する。
【0047】
図2のステップ203内で、関心のある冠動脈の3次元(3D)多平面再フォ-マット(MPR)画像が作成される。図4の4a~4dは、MPR画像とも呼ばれるボリュ-ム(3D)MPR画像の作成を図示する。4aの画像401は、CCTAデ-タセット(図2、201)のボリュ-ムレンダリングを示し、ここでは、MPR画像を作成するための例として右冠動脈402が選択されている。MPRに関しては、直線MPRと湾曲MPRの相違がある。直線MPRおよび湾曲MPRの両方に対して、抽出された軸方向軌跡(例、中心線)を使用して、取得された画像デ-タセット201から等方性MPR画像が作成される。MPR画像の解像度は、予め定義されていて、例えば、0.3mmである。MPR画像は、非等方性で作成することも出来る。
【0048】
直線MPRは、冠動脈の中心線が直方体404の中心に来るように、抽出された軸方向軌跡(例、冠動脈の中心線)402に沿って、画像を直方体画像403に再フォ-マットする。4bの画像403は、直方体の再サンプリングされた画像(直線MPR)と1つの「スライス」が、簡単に解釈できるように、直方体の再サンプリングされた画像で視覚化されている。4cの画像405は、再サンプリングされた同じ画像の1つの「スライス」を示すが、この視覚化された平面は、抽出された右冠動脈内の冠動脈分岐(406)を視覚化するために、中心線404の周りに回転させてある。湾曲MPR画像は、冠動脈の中心線の湾曲したコ-スに沿って再構成される。4dおよび4eの画像408aおよび408bは、湾曲MPR画像の2つの例を示し、そして単一の「スライス」として視覚化されている。ここで、スライスの向きは、湾曲した冠動脈に沿って回転させることが出来る湾曲平面を指す。繰り返しになるが、これは視覚化のみを目的としていて、本出願は完全な3D直線または湾曲MPR画像を使用するであろう。湾曲MPR画像の利点は、本出願内で記載されている機械学習ネットワ-クア-キテクチャ内で、抽出された中心線の曲率または屈曲度を考慮に入れることが出来ることである。
【0049】
図2のステップ204内で、冠動脈パラメ-タが、機械学習ベ-スの血管閉塞評価(VOA)モデルを使用することによって抽出される。本出願では、図2のステップ203の結果であるMPR画像に機械学習ベ-スのVOAモデルを使用することにより、冠動脈プラ-クタイプ、解剖学的冠動脈病変の重症度、および機能的に有意な冠動脈病変の重症度が評価される。機能的に有意な冠動脈病変の重症度を評価するための機械学習アプロ-チは、プラ-クタイプおよび解剖学的冠動脈病変の重症度を検出するための機械学習方法とはわずかに異なり、そして本出願内の対応するフロ-チャ-トによって詳しく記載される。さらに、本出願では、学習フェ-ズと予測フェ-ズは区別され、そしてそれは様々な機械学習方法の記載により詳細に記載されている。学習フェ-ズ(または訓練フェ-ズ)内で、機械学習モデルが訓練される。これには、参照標準(図2の205)を使用して、(ネットワ-クア-キテクチャとも呼ばれる)選択したモデルのパラメ-タを訓練することが関わる。参照標準は、複数の患者のデ-タを含むデ-タベ-スである。デ-タベ-ス内の各セットは、各患者に対する、a)コントラスト強調CT画像デ-タセット(201は訓練フェ-ズ中の参照画像セットを表す)およびこれに対応するb)CAD関連の参照値を含む。例えば、CAD関連の参照値は、プラ-クタイプ、解剖学的狭窄の重症度、侵襲的に測定された冠血流予備量比、および/または他の血行力学的指標の内の少なくとも1つを表すことができる。さらなる例として、血行力学的指標は、冠動脈血流予備能、瞬間的な無波比、充血性心筋灌流、微小循環抵抗の指標、および冠動脈に沿った圧力低下のような、機能的に有意な冠動脈閉塞を評価するために使用される指標を表すことができる。
【0050】
機械学習モデルを訓練した後に、図2のステップ204は、ステップ204の結果であるMPR画像の分析に基づいて、関心のある冠動脈内の冠動脈プラ-クタイプ、および/または解剖学的狭窄の重症度および/または機能的有意性を予測するように、構成されている。予測フェ-ズ内で、見えない画像デ-タが使用され(201)、そして図2のステップ205が切り離される。
【0051】
出力(図2のステップ206)は、関心のある冠動脈内の、冠動脈プラ-クタイプ、および/または解剖学的狭窄の重症度、および/または病変の機能的有意性の予測である。この結果は、様々な方法でユ-ザに提示することが出来る。図5の5a(i)~ 5a(v)および図5bは、結果をユ-ザに表示するいくつかの例を示す。5a(i)の画像501は、図2のステップ203の結果であるMPR画像を表す。5a(ii)の画像502は、MPR画像に重ね合わせた色または灰色の値として、プラ-クタイプの分類付けを示し、ここで、色は、異なるプラ-クタイプ(例、プラ-ク無し、石灰化プラ-ク、非石灰化プラ-ク、または混合プラ-ク)を表す。5a(iii)の画像503は、MPR画像上に色または灰色の値として重ねられた解剖学的狭窄の重症度を示し、ここで、色は、解剖学的狭窄の重症度の異なるラベルを表す。画像503内では、3つの解剖学的狭窄、狭窄無し、解剖学的に有意でない狭窄(50%未満の管腔狭窄)、または解剖学的に有意な狭窄(50%以上の管腔狭窄)の重症度クラスが、視覚化されている。5a(iv)の画像504は、MPR画像に沿ったFFR値を示し、ここで、y軸は推定FFR値を表し、そしてx軸は、MPR画像501のx軸に対応する関心のある冠動脈の長さに沿った位置を表す。他の様々な視覚化方法を使用することも出来る。例えば、結果を、直交ビュ-で湾曲MPRに重ね合わせる、または結果を、5a(v)の画像505に示される画像デ-タベ-ス(図2の201)のボリュ-ムレンダリングで視覚化することが出来る(ここで、506は、例えば、冠動脈の中心線に沿ったFFR値の色分けされた結果を示す)。画像505では、冠動脈の中心線506が、ボリュ-ムレンダリング手法を使用することによって、冠動脈内腔をアピ-ルするように視覚化されていることに留意されたい。図5bは、結果を視覚化する別の例を示す。画像507は、左右の冠動脈が大動脈から発出する上行大動脈の小さな部分を含む冠動脈のみのボリュ-ムレンダリングである。507内のレンダリングされた冠動脈に重ね合わせられた、色または灰色の値が、視覚化される(509)。これは、例えば、数値FFR値を表しそして508は色または灰色の値を(数)値にマッピングするための色凡例を提供する。別の視覚化アプロ-チを図6に示す。この図では、結果が、シミュレ-トされた血管造影図内に示されている。シミュレ-トされた血管造影図は、例えば、特許文献2および特許文献3によって開示されているように、cア-ムの特定アンギュレ-ションによるビュ-として冠動脈のX線血管造影画像を模倣する画像である。図6の画像601は、このようなシミュレ-トされた血管造影図を示す。ここでは、ユ-ザが、アンギュレ-ション(602、cア-ムの回転角度およびcア-ムのアンギュレ-ション回転角)を制御することが出来る。図603は、図2のステップ202の結果として抽出された中心線を示し、ここでの色または灰色の値は、例えば、FFR値を表し、そして604は、色または灰色の値を(数)値にマッピングするための色凡例を提供する。
【0052】
図7は、図2のステップ204に記載される、MPR画像内の冠動脈パラメ-タを抽出するための機械学習モデルを訓練するためのフレ-ムワ-クを示す。図7は、冠動脈プラ-クタイプ、解剖学的狭窄の重症度および機能的に有意な冠動脈の狭窄の重症度を検出するためのシステムの訓練フェ-ズを示す。図7のステップ701では、機械学習モデルの訓練に使用される参照標準が取得される。例えば、プロセッサは、複数の患者のボリュ-ム画像デ-タセットとこれに対応する冠動脈疾患(CAD)関連の参照値を含む訓練デ-タベ-スを取得することができる。ボリュ-ム画像デ-タセットは、関心のある血管を含む標的器官に対するものとすることができる。CAD関連の参照値は、対応する画像デ-タセット内の関心のある血管に沿った1つまたは複数のポイントに対応する。参照標準は、複数の患者のデ-タを含むデ-タベ-スである。このデ-タベ-ス内の各セットは、各患者に対する、a)造影CTデ-タセットステップ703およびこれに対応するb)CAD関連の参照値を含む。例えば、CAD関連の参照値は、プラ-クタイプ、解剖学的狭窄の重症度、侵襲的に測定された冠血流予備量比、および/または他の血行力学的指標の内の少なくとも1つを表すことができる。さらなる例として、血行力学的指標は、冠動脈血流予備能、瞬間的な無波比、充血性心筋灌流、微小循環抵抗の指標、および冠動脈に沿った圧力低下のような、機能的に有意な冠動脈閉塞を評価するために使用される指標を表すことが出来る。
【0053】
参照プラ-クタイプは、プラ-ク無し、石灰化プラ-ク、非石灰化プラ-クまたは混合プラ-クのような、異なるタイプの冠動脈プラ-クのアノテ-ションを含む。
【0054】
解剖学的狭窄重症度の参照は、異なる狭窄グレ-ド、例えば、グレ-ド0(管腔狭窄無し)、グレ-ド1(0~25%管腔狭窄)、グレ-ド2(25~50%管腔狭窄)、グレ-ド3(50~75%の管腔狭窄)、グレ-ド4(75~100%の管腔狭窄))を含む。
【0055】
本出願内では、侵襲的に測定される冠血流予備量比は、関心のある冠動脈に沿って測定されることが好ましく、この結果、冠動脈の中心線に沿った各ポジションで侵襲的に測定された冠血流予備量比値が得られる。これは、冠血流予備量比の測定中にプルバックを実行することにより取得させることが出来る。カテ-テル検査の実行場所では、インタ-ベンショナル心臓専門医または医師が、関心のある冠動脈内の遠位位置にFFRワイヤを配置する。自動または手動のプルバック中、FFRワイヤが冠動脈入口部に到達するまで、FFR値が連続して測定される。
【0056】
図7のステップ704において、プロセッサは、対応するボリュ-ム画像デ-タセット内の関心のある血管(VOI)に沿って延在する軸方向軌跡を抽出する。例えば、関心のある冠動脈セクションに沿った冠動脈内腔の中心を表す冠動脈の中心線を、抽出することができる。このステップは、図2のステップ202と実質的に同様の方法で実施させることができる。
【0057】
図7のステップ705において、プロセッサは、対応するボリュ-ム画像デ-タセットおよびVOIの軸方向軌跡に基づいて、3次元(3D)多断面再フォ-マット(MPR)画像を作成する。MPR画像は、VOIの軸方向軌跡に沿って延在する。例えば、ステップ704の結果として、抽出された冠動脈セクションに沿って、多断面再フォ-マット(MPR)画像を作成することができる。図7のステップ705は、図2のステップ203と実質的に同様の方法で実施させることができる。
【0058】
図7のステップ706は、CAD関連の参照値702が、MPR画像の空間座標に整合されることを確実にする。ステップ705の結果であるMPR画像を使用することにより、CAD関連の参照値(例、プラ-クタイプの手動アノテ-ション、解剖学的病変の重症度、例えば、FFRのような機能的病変の重症度)が得られる場合には、このステップは、スキップすることができる。CAD関連の参照値が、例えば、造影増強CTデ-タセットの直交ビュ-を使用するアノテ-ションによって取得される場合(ステップ703)、このステップは、アノテ-ションをMPRビュ-に変換する。このような変換は、ステップ704の結果として抽出された中心線を使用することによって実行される。
【0059】
カテ-テル検査の実行場所で測定された冠動脈に沿った冠血流予備量比値(例、プルバックFFR参照値)が、MPR画像の空間座標に整合することを確実にするために、画像デ-タセット703と侵襲的に測定されたプルバックFFRとの間で同時登録が行われる。プルバックFFR測定値とCTデ-タセットの同時登録を可能にするために、FFRワイヤの開始位置(例、冠動脈の遠位ポジション)からFFRワイヤの終点位置(例、冠動脈の近位ポジションまたは冠動脈の入口部)にFFRワイヤをプルバックする間のプルバックレ-トまたは速度を示すプルバックモ-ション情報が、取得される。プルバックモ-ション情報は、プルバック中のFFRワイヤの縦方向のモ-ションを測定することにより取得することができる。測定は、モ-ション測定システムによって、または例えば、一定のプルバック速度を維持する電動プルバックデバイスを使用することによってのような、様々な方法で得ることができる。システムの1つまたは複数のプロセッサは、FFRワイヤをプルバックするのに必要な時間とプルバック速度とを使用して、プルバック距離の長さを計算する。プルバックFFR参照値をMPR画像に整合させるために、1つまたは複数のプロセッサは、プルバック距離の長さを、使用される画像デ-タセット703に変換する。
【0060】
図8の8a~8cは、CCTA画像デ-タセットとプルバックFFR参照値(例、プルバック距離)の同時登録方法の概略図を提供する。8aの画像801は、カテ-テル検査の実行場所で取得されたX線冠動脈造影画像を示す。8bの画像802は、同じ患者に属するボリュ-ムレンダリングされたCCTA画像を示す。8cの画像806は、造影剤が存在しない場合のX線透視画像を示す。
【0061】
8aのX線冠動脈造影画像801は、圧力センサが、関心のある第1/遠位圧力測定値を取得することができる所望の遠位ポジションに、FFR圧力ワイヤが挿入された右冠動脈を示す。ドット803は、プルバック前にX線血管造影画像上の冠動脈内の遠位ポジションに配置されたときの、FFR圧力ワイヤ上の圧力センサの位置を示す。ドット803によって示されるポジションは、また、遠位圧力センサポジションと呼ぶこともできる。圧力センサ(およびFFR圧力ワイヤ全体)の遠位ポジションは、(8cの画像806内に示される)FFRワイヤ807上の放射線不透過性マ-カにより、(造影剤を使用せずに、806)X線透視画像で簡単に識別することができ、FFRワイヤ上の圧力センサの位置を特定することができる。
【0062】
8bの画像802は、(プルバックFFR参照値が取得された同じ患者の)ボリュ-ムレンダリングされたCCTA画像を示す。画像802において、右冠動脈804が、例えば、図7のステップ704の結果として、識別される。プルバックFFR参照値の同時登録は、CCTAデ-タセット(805)内でプルバックする前にFFR圧力ワイヤの位置を識別することによって実行される。例えば、分岐位置のような解剖学的ランドマ-クによってサポ-トされているものを手動で識別し、そして長さ(3D抽出された中心線の長さとFFRプルバックの長さ)を一致させることによってFFR値と整合させる。CCTAデ-タセット内でプルバックする前のFFR圧力ワイヤの位置の識別は、例えば、非特許文献10の方法を使用することにより、X線血管造影画像をCCTAデ-タセットに登録することによっても実行させることが出来る。非特許文献10には、ガウス混合モデル(GMM: Gaussian mixture model)ベ-スのポイントセット登録手法を使用して、2D X線血管造影画像を3Dボリュ-ム画像デ-タセット(CCTA)に登録する方法が記載されている。FFRワイヤ上の圧力センサ(807)の位置は、画像処理手技によってX線透視画像(806)を使用して容易に実行できるので、この位置のCCTA画像デ-タ(805)への変換は、非特許文献10に記載されている2D/3D登録から結果的に得られる変形フィ-ルドを使用して簡単に行える。
【0063】
図7に戻ると、ステップ707において、プロセッサは、MPR画像に基づいて機械学習ベ-スの血管閉塞評価(VOA)モデルを訓練する。とりわけ、この訓練は、MPR画像から、VOI内の軸方向軌跡に沿ったCAD関連パラメ-タを特徴付ける特徴を抽出することを備える。例えば、CAD関連パラメ-タ値は、プラ-クタイプ、解剖学的狭窄の重症度、侵襲的に測定された冠血流予備量比、および/または他の血行力学的指標の内の少なくとも1つを表すことができる。さらなる例として、血行力学的指標は、冠動脈血流予備能、瞬間的な無波比、充血性心筋灌流、微小循環抵抗の指標、および冠動脈に沿った圧力低下のような、機能的に有意な冠動脈閉塞を評価するために使用される指標を表すことが出来る。
【0064】
例えば、訓練に関連して、プロセッサは、さらに、ステップ709に記載されるように、ネットワ-クを訓練するために使用されるMPR画像から、キュ-ブのシ-ケンスを生成する。キュ-ブのシ-ケンスは、ステップ706の結果であるCAD関連の参照値が使用可能であるセクション内に、作成される。この結果、セクション毎にn個のキュ-ブのシ-ケンスが得られる。この文脈でのセクションという用語は、冠動脈の特定の解剖学的セグメントではなく、CAD関連の参照値が使用可能なMPR画像内の連続部分を指す。これにより、CAD関連の参照値が、MPR画像の全長をカバ-する必要はなくなる。例えば、プラ-クタイプまたは冠動脈管腔狭窄のグレ-ドのアノテ-ションは、実際に冠動脈プラ-クが存在する冠動脈領域にのみ存在すれば良い。プラ-クタイプのアノテ-ションがない領域または病変閉塞が使用可能な領域では、システムは、これらの領域を「冠動脈プラ-ク無し」または「解剖学的冠動脈閉塞無し」と自動的にマ-クする、または訓練フェ-ズで無視することが出来る。
【0065】
図9の9a~9dは、セクション内のキュ-ブのシ-ケンスを生成するためのプロセスの概略図を提供する。9aの画像901は、心臓の3Dビュ-を示す。9bの画像902は、画像901内の長方形の拡大図である。画像902内には、抽出された軸方向軌跡(この例では、冠動脈の中心線ツリ-)が示されている(904)。冠動脈の中心線は、いくつかのポイント(907)に存在する。9cの画像903は、中心線904を使用して作成された(図7のステップ704の結果としての)直線MPR画像を示す。9dは、MPR画像の小部分をカバ-する、キュ-ブのシ-ケンスが作成された画像903のセクション(906)を示す。キュ-ブのサイズは、それが、動脈内腔全体と、血管径の拡大の場合に必要となる可能性のある動脈の近傍を含むように定義されている。血管径の拡大とは、アテロ-ム性動脈硬化症のプラ-ク成長の外向きの方向を指す。CADは、現在、典型的には直径が50%減少するしきい値で、管腔の狭窄が存在する場合に、臨床的に有意であると定義される。しかしながら、初期のアテロ-ム性動脈硬化症では、最初の動脈の変化には、血管の外壁と内腔の両方の代償性拡大が含まれ、これは、代償性拡大または血管径の拡大と呼ばれる。キュ-ブの各々は、例えば、25x25x25ボクセルであるが、他のキュ-ブサイズも可能である。キュ-ブ(ストライド)間の距離は、m個の中心線ポイントである(中心線ポイント間の距離が最大1ボクセルの場合、mは、例えば、5個の中心線ポイントであるが、他のストライド値も可能である)。キュ-ブの最大数は、MPR画像の中心線ポイントの量または長さによって定義される。好ましい実施形態では、キュ-ブの最大数は、最長のアノテ-ション付きプラ-クタイプセクション、例えば、25個に制限される。複数のセクションがMPR画像に存在する場合、キュ-ブの複数の(n個の)シ-ケンスも生成される。
【0066】
図7に戻ると、ステップ708において、訓練デ-タが増補される。訓練の前に、いく訓練セットを増やすために、幾つかのデ-タ増補方法が使用される。
【0067】
図10は、使用される3つの例示的な増補方法を示す。しかしながら、様々な増補方法を実行することも出来る。図10を参照すると、1002は、MPR中心線(図9bの904を参照)の周りで行われるMPR画像内のキュ-ブの回転を表す。このような回転により、ネットワ-クは、冠動脈の中心線の周りの回転に対して不変になり、冠動脈の中心線の周りの0~360度のランダムな回転が、シ-ケンスのキュ-ブに適用される。第2の増補方法(1003)は、CAD関連の参照値のわずかな不正確さ(例、セクション内のプラ-クタイプを定義するポイントのアノテ-ション、解剖学的病変の重症度のアノテ-ション、プルバックFFRの登録における小さなエラ-)に対してネットワ-クを不変にする。セクションのシ-ケンスは、MPRの中心線に沿って、例えば、5±3ボクセルの間のストライドでキュ-ブの中心をランダムに選択することによって、変化する。第3の増補方法(1004)は、冠動脈の中心線の抽出で起こりうる不正確さに対してネットワ-クを堅牢にする。キュ-ブの各々の中心は、原点を中心に、例えば、±2ボクセルだけ(キュ-ブ1004内の)任意の方向にランダムにシフトされる。ステップ708の結果により、ステップ707の結果としてのシ-ケンスの数が大幅に増加する。これらは、以下に記載されるように、ステップ709によってネットワ-クを訓練するために使用される。
【0068】
図7のステップ709において、1つまたは複数のプロセッサが、機械学習ネットワ-クア-キテクチャおよびネットワ-クの訓練を実施する。ネットワ-クア-キテクチャは、MPR画像の抽出された中心線に沿った近傍を表す、キュ-ブのシ-ケンスを分析するために使用される反復畳み込みニュ-ラルネットワ-ク(RCNN)に基づいている(ステップ707)。RCNNは、通常、畳み込みニュ-ラルネットワ-ク(CNN)と、シ-ケンシャル入力を分析するために直列に接続された回帰型ニュ-ラルネットワ-ク(RNN)から構築されるが、これに限定されることはない。
【0069】
RCNNは、例えば、非特許文献11に記載されているように、ビデオシ-ケンス認識に成功裏に使用されて来ている。RCNNは、言語処理で頻繁に使用されるニュ-ラルネットワ-クの非常に重要な発展型である(非特許文献12)。一般的なニュ-ラルネットワ-クでは、入力は、複数のレイヤで処理され、そして出力は、2つの連続する入力が互いに独立していると仮定して、生成される。しかしながら、この仮定は、実際の多くのシナリオでは当てはまらない。例えば、シ-ケンス内の次の単語を予測したり、ビデオシ-ケンス内の次のフレ-ムを予測しようとする場合、以前の観測への依存を考慮することは不可欠である。RCNNは、これが、シ-ケンスの全ての要素に対して同じタスクを実行し、出力が前の計算に依存し、そしてその後、回帰部分が前の出力を相互に処理するので、回帰型と呼ばれる。RCNNについて考える別の方法は、これが、これまでに計算されたものに関する情報を獲得する「メモリ」を有するということである。入力は静的であるが、RCNNユニットのアクティビティは、時間の経過とともに変化するので、各ユニットのアクティビティは、隣接するユニットのアクティビティによって変調される。このプロパティは、シ-ケンシャル入力の分析に対して重要である、コンテキスト情報を統合するモデルの機能を強化する。
【0070】
本明細書の実施形態によれば、使用されるRCNNは、CNNをRNNと直列に接続して、シ-ケンシャル入力を分析する。CNNは、キュ-ブのシ-ケンスのキュ-ブの各々(またはキュ-ブの少なくとも一部)の画像特徴を個別に抽出し、そして抽出されたこれらの画像特徴はRNNに送られ、RNNは、シ-ケンス全体に関連するシ-ケンシャルな関係を分析する。
【0071】
図11は、冠動脈プラ-クタイプおよび解剖学的狭窄の重症度を検出するためのRCNNネットワ-クの一例を提供する。図11に示されているRCNNネットワ-クア-キテクチャは、一例として検討すべきであり、そして他のRCNNネットワ-クア-キテクチャまたは発展型も配備させることが出来る。ネットワ-クの入力は、血管(例、動脈)の中心線(1103)に沿って、MPR画像(1102)から抽出されたキュ-ブのシ-ケンス(1101)である。キュ-ブの各々は、3次元(3D)CNN(1104)によって分析される。CNNは、1105に示されるように、各々が、3x3x3要素のカ-ネルを持ち、32、64、128個のフィルタを持つ、3個の畳み込みレイヤを含む。各畳み込みレイヤの後には、2x2x2の最大プ-リング(MP)レイヤと訓練を加速するバッチ正規化(非特許文献13)が続く。CNNによって抽出された特徴は、RNN(1106)に供給される。RNNには、各々64個のゲ-ト付き回帰ユニット(GRU: Gated Recurrent Unit)の2つのレイヤが含まれている(1107)。整流線形ユニット(RELU: rectified linear unit)(非特許文献14)は、CNNレイヤとRNNレイヤの両方で、RNNの出力レイヤを除いて、活性化関数として使用される。他のパラメ-タ、例えば、異なるカ-ネルサイズ及び数、異なる畳み込み、異なる膨張、異なるプ-リング、異なるタイプの反復ユニット、並びに他のRCNNア-キテクチャ及び活性化関数も、使用することが出来るが、これらに限定されることはない。さらに、CNNの入力サイズは、例えば、多相CCTAデ-タセットをサポ-トするために、4D入力ボクセルデ-タを使用する場合とは異ならせることが出来る。入力画像は、多エネルギおよび/または多相CCTAデ-タセットをサポ-トするために、さらに高次元(例えば、n次元)の画像にすることが出来る。両方の分類付けタスク(プラ-クタイプの分類付けと解剖学的病変重症度の分類付け)を同時に実行するために、例えば、RNNの最後のレイヤの出力は、2つの別々のマルチクラスソフトマックス分類器(1108)に供給される。また、他のRNNレイヤまたはGRUユニットの出力を使用することも出来る。第1の分類器は、プラ-クタイプの検出とそのタイプの特性評価(プラ-ク無し、非石灰化、混合、石灰化)のための4つの出力ユニットを有する。第2の分類器は、狭窄の検出とその解剖学的有意性(狭窄無し、重要でない狭窄、有意な狭窄)の決定のための3つの出力ユニットを有する。ソフトマックス分類器の出力ユニットの量も、異なる可能性があり、そしてこれは、CAD関連の参照値内のクラスの量に依存するであろう。例えば、解剖学的病変の重症度を、xグレ-ドに分類すると、対応するソフトマックス分類器は、出力ユニットの同じ数(x)に等しくなる。例えば、5つのグレ-ドは、グレ-ド0(管腔狭窄無し)、グレ-ド1(0~25%の管腔狭窄)、グレ-ド2(25~50%の管腔狭窄)、グレ-ド3(50~75%の管腔狭窄)グレ-ド4(75~100%の管腔狭窄)である。
【0072】
図11のRCNNネットワ-クは、ミニバッチを用いて教師あり学習法で訓練され、そしてカテゴリカル交差エントロピが、各ソフトマックス分類器の損失関数として使用され、そしてL2正則化が、ネットワ-ク内の全てのレイヤに対して使用された。L2正則化は、最小二乗誤差正則化とも呼ばれる。これは、基本的には、標的値と推定値の差の二乗の合計を最小化している。RCNNの損失は、2つの個別の損失(交差エントロピおよびL2)の平均として定義された。ここに記載されている損失関数は、一例であり、他の損失関数を、例えば、平均二乗誤差、L1正則化、平均バイアス誤差、平均パ-セント誤差として使用することが出来る。各ミニバッチは、(ステップ708の結果としての)p個のキュ-ブのシ-ケンスを含む。通常、pは約36個のシ-ケンスのキュ-ブであるが、これより少ない数または多い数のpを使用することも出来る。増補デ-タにおける最も一般的なタイプのプラ-クおよび狭窄への潜在的なバイアスを回避するために、オプションのステップとして、訓練中、層化ランダムデ-タサンプリングが、実行された。このオプションのステップにより、各訓練の反復が、異なるがバランスの取れた2つのミニバッチを含むことが保証される。1つのミニバッチは、狭窄の有意性に関係なく、プラ-ククラスに関してバランスが取れたセクションを含んでいた。第2のミニバッチは、プラ-クタイプに関係なく、狭窄クラスに関してバランスが取れたセクションを含む。図2のステップ203に記載されるように、MPR画像が、直線MPRではなく湾曲MPRとして構築される場合、RCNNネットワ-クは、抽出された中心線の曲率または屈曲度も考慮に入れるであろう。
【0073】
図11に記載されるネットワ-クア-キテクチャは、プラ-クタイプおよび解剖学的狭窄の重症度の検出に焦点を当てている。このネットワ-クは、1つの出力、例えば、プラ-クタイプの検出のみまたは解剖学的狭窄の重症度の分類付けのみ、または複数の出力(>2)、例えば、(これらに限定されるものでは無いが)プラ-クタイプの分類付け、狭窄の解剖学的重症度分類付け、および機能的冠動脈病変重症度の分類付けまたはFFR値の予測に、制限することもできる。図12は、プラ-クタイプを分類し、解剖学的狭窄の重症度を分類し、そして機能的に冠動脈病変の重症度を検出し、FFR値を予測することができるネットワ-クア-キテクチャの例を示す。このネットワ-クア-キテクチャには、図12内の121で示されるように、図11に記載したものと同じRCNNが使用され、そして121内の最後のGRUの後には、1つの出力コンポ-ネント「FFR出力」(122)が追加されている。このブロック(122)は、FFRの推定/分類付けを容易にする出力を表す。FFR値の推定に対しては、回帰を使用して0~1の連続FFR値を推定することができるであろう。この出力は、線形活性化関数またはシグモイド活性化の出力であるが、これらに限定されることはない。分類付け(FFRの重大度または範囲の個別のクラス割り当て、例えば、FFR<0.7、0.7<FFR<0.9、FFR>0.9)の場合、この出力は、マルチシグモイド関数(クラスの数と同じ)の出力またはソフトマックス関数(クラスの数が同じ)とすることが出来るが、これに限定されることはない。
【0074】
FFRは、冠動脈内の遠位ポジションの圧力をその冠動脈の近位部分の圧力により割ったものとして定義されるので、FFRプルバックは、図5aの画像504に図示されるように、冠動脈の長さに沿ってのみ減少するであろう。この知識は、前述のように分類器を訓練するために、損失関数内で考慮に入れることが出来る。冠動脈の長さに沿ってFFRを減少させるこの減少挙動を組み込むために、損失関数は、近位から遠位へのFFRの減少のみが可能となるように、適合化される。これは、例えば、以前のより近位のFFR予測を調べ、そしてこの情報を損失関数に組み込むことにより、実現させることが出来る。
【0075】
代替の実施形態内では、罹患した冠動脈の血行力学的機能的重症度を評価する間、心筋内の情報が、考慮される。機能的に有意な冠動脈の狭窄は、心筋に虚血を発生させる原因となる(図13)。これは、CCTAデ-タセット内の心筋壁のテクスチャ特性に影響を与えるので、このような情報は、機能的に有意な冠動脈の狭窄の評価予測および関心のある冠動脈に沿ったFFR予測を強化するであろう。具体例では、実施形態は、RCNNネットワ-クア-キテクチャ内に統合されそして図14に示されている、特許文献4に記載されている方法を実施することができる。特許文献4は、心筋の特徴を使用して、機械学習に基づいて、1つ以上の冠動脈内の機能的に有意な狭窄の存在を検出する方法を記載する。この方法は、冠動脈系の詳細な形態に依存することなく、心筋の微小血管系と側副血行路の状態に対処することが出来る。図14に示されるネットワ-クは、図11のRCNNと、特許文献4に記載されている特徴ベクトルを組み合わせて、1つの新しいネットワ-クア-キテクチャにしたものである。図14内で、1401は、図11に記載されるRCNNを表すが、2つの分類器(1108)は削除されている。RCNN(1401)からの特徴ベクトルと、特許文献4によって記述される心筋分析(1403)から得られた特徴ベクトルは、ブロック1404によって連結される。心筋特徴ベクトル(1403)への入力は、CCTA画像デ-タセット(1402)であり、これは、1401のRCNNでMPR画像の作成に使用されるものと同じCCTA画像デ-タセットである。連結ステップは、一方の特徴ベクトル(1401)をもう一方の特徴ベクトル(1403)に追加することによって実行される。この連結ステップの結果は、FFR出力の予測をもたらす分類器(1405)に送られる。この分類器は、ニュ-ラルネットワ-ク、サポ-トベクトルマシン、または他の教師あり機械学習分類器とすることが出来る。
【0076】
図13に示されるように、機能的に有意な冠動脈の狭窄は、機能的に有意な冠動脈の狭窄の遠位の心室心筋内に虚血が発生する原因となる。この虚血は、病変の遠位の心筋(心筋)への酸素送達が妨げられることが原因である。言い換えれば、この心筋領域への血液供給が減少し、そしてこれが、患者の動脈瘤のような症状を起こす原因になり得る。CCTAは、前キュ-ブ静脈に静脈内注射を行うことによって得られ、そして造影剤注入は、冠動脈系が冠動脈内腔を周囲の軟組織から明確に区別するのに十分な造影剤を含むように、タイミングが取られる。これは、注入された造影剤が、それが冠動脈に存在すると、冠動脈の連続的に小さい世代にも送達され、それはそこから冠状微小血管系(心筋)に移動し、これが、心筋の微妙な増強または虚血の場合の心筋の増強の減少につながるであろうことを意味する。FFRの予測においてこのCCTA取得効果を使用するために、代替の実施形態では、図7のステップ707に記載されるようなキュ-ブのシ-ケンスの生成は、関心のあるキュ-ブの遠位の心筋情報を組み込むように調整される。これは、図15を参照してさらに記載される。
【0077】
図15は、四腔の向きでの心臓の概略図を示す画像1501を含む。冠動脈の短い部分(1502)が識別され、そして心筋が(1503)によって視覚化される。冠動脈および心筋に血液を供給する微小血管系の位置(1502)を示すために、心筋の小さな部分が拡大され(1504)、そして微小血管の小部分の拡大図で、冠動脈からの分岐が視覚化されている(1505)。図7のステップ707に記載されるように、キュ-ブのシ-ケンスは、抽出された冠動脈の中心線(ステップ704からの結果)の中心線ポイントの周りのMPR画像から抽出される。画像1506は、異なる再サンプリングスキ-ムを示す。ここで、ステップ707に従って抽出されたキュ-ブの各々に対して、追加のキュ-ブまたは直方体(1508)が、関心のある中心線ポイントから遠位の距離kで、心筋内においても再サンプリングされる。キュ-ブのサイズおよびポジションは、キュ-ブ1508に、左心室または右心室内の狐穴(foxholes)が含まれないように管理されている。これは、(例えば、閾値処理手技または他の画像処理方法を適用することによって、または手動によってでも)血液プ-ルの切片化によって達成させることが出来る。これに代えて、心筋をセグメント化することによっても行うことが出来る。これは、ユ-ザが手動で行うことにより、または(半)自動セグメンテ-ションによって行うことが出来る。左心室心筋の自動セグメンテ-ションの一例は、特許文献15に開示されている。特許文献15は、手動でアノテ-ションが付けられたデ-タで訓練された畳み込みニュ-ラルネットワ-ク(CNN)を使用して、心筋が自動的にセグメント化される方法を開示する。
【0078】
キュ-ブ(1508)または直方体のサイズは、心筋を覆うように選択され、そしてキュ-ブは、心外膜に向かって心外膜脂肪組織に重なることができる。図15に示されるこの代替の実施形態の結果は、キュ-ブの各々が、関心のある位置の遠位に位置する、対応する別のキュ-ブ/直方体へのリンクを有することである。この追加のキュ-ブ/直方体は、CNNに供給される。またはこれに代えて、図12または図14のRCNNネットワ-クで示されているように、追加のキュ-ブ/直方体に対しては、新しいCNNが、使用される。
【0079】
RCNNネットワ-クが訓練されると(図11図12または図14)、新しい見えないCCTAデ-タセットが、訓練フェ-ズ中に、定義されたクラスに分類される。これは、図16のフロ-チャ-トによってさらに記載される。
【0080】
図16は、予測フェ-ズを実施して、プラ-クタイプを検出し、血管閉塞の解剖学的重症度を分類し、および/または見えないCCTAデ-タセット内の血管閉塞の重症度を分類するための方法を示す。見えないCCTAデ-タセットは、図16のステップ161によって表される。
【0081】
図16のステップ162では、関心のある冠動脈セクションに沿った冠動脈内腔の中心を表す冠動脈の中心線が、抽出される。このステップは、図2のステップ202と同じである。
【0082】
図16のステップ163では、多断面再フォ-マット(MPR)画像が、ステップ162から抽出された冠動脈セクションに沿って作成される。図16のステップ163は、図2のステップ203と同一である。
【0083】
図16のステップ164からステップ168までのステップは、予測フェ-ズ中の図2のブロック204を表し、プラ-クタイプ、解剖学的冠動脈病変の重症度、および/または機能的に冠動脈病変の重症度、および/または見えないCCTA画像デ-タセットのFFR値のような冠動脈パラメ-タを分類する。冠動脈パラメ-タの予測は、MPR画像内の各中心線ポイントで実行される。図16のステップ164は、開始ポジションをMPR画像の第1の中心線ポイント;MPR画像のx軸に対する第1のポジション(MPR画像の長さ)に設定する。
【0084】
図16のステップ165では、キュ-ブのシ-ケンスが、検査中の中心線ポジションの周りに構築される。キュ-ブのシ-ケンスは、図7のステップ707に記載されそして図9a~9cによって示される態様と同様に作成される。ステップ165において、キュ-ブの単一のシ-ケンスが、検査中の中心線ポジションの周りに作成される。キュ-ブのサイズは、訓練中(図7のステップ707)に使用されたサイズと同じであるが、他のサイズを使用することも出来る。シ-ケンスの長さは、lキュ-ブに固定されていて、そしてlは、例えば、5キュ-ブである。キュ-ブ間の距離はmボクセルであり、mは通常5である。より大きなキュ-ブおよび/またはより長いシ-ケンスおよび/または異なるストライドも使用することが出来る。有効なキュ-ブを強制するために、MPR画像の開始と終了の周りに特別な注意が払われる(キュ-ブが、部分的にMPR画像の外側にある場合がある)。キュ-ブが有効なMPR画像デ-タを含むことを確認するために、例えば、再サンプリング中に、キュ-ブ内のポジションがMPR画像の外側にある場合に、MPR画像内の最も近い有効なボクセルを識別することが出来る。
【0085】
図16のステップ166は、ステップ165からの結果であるキュ-ブのシ-ケンスに基づいて、MPR画像内の現在の中心線ポジションでの所望の冠動脈パラメ-タを予測する。このステップ内で、同じRCNNネットワ-クア-キテクチャが、図7のフロ-チャ-トに記載されている訓練フェ-ズの間に、使用されるように選択される。例えば、図11は、冠動脈プラ-クのタイプと解剖学的冠動脈病変の重症度を予測するためのRCNNネットワ-クア-キテクチャの例を示す。このRCNNは、アノテ-ション付きプラ-クタイプとアノテ-ション付き解剖学的病変の重症度(参照値)を使用して、訓練される。見えない画像デ-タの冠動脈プラ-クのタイプと解剖学的冠動脈病変の重症度を予測するために、ステップ166は、同じRCNNネットワ-クア-キテクチャを使用し、そしてこのRCNNア-キテクチャの訓練済みモデルが、使用される。図12は、プラ-クタイプ、解剖学的病変の重症度、および機能的冠動脈の重症度を評価するためのRCNNネットワ-クア-キテクチャを提供し、そしてこれは、アノテ-ション付きプラ-クタイプ、解剖学的病変の重症度、および侵襲性FFR測定から得られたプルバックデ-タについて、訓練される。予測中、図12に示される同じRCNNア-キテクチャが使用され、そしてこのRCNNア-キテクチャの訓練済みモデルが、選択される。同じことが、図14によって提供されるRCNNア-キテクチャにも当てはまる。このア-キテクチャでは、機能的な病変の重症度のみが、現在のステップによって訓練および予測される。
【0086】
図16のステップ167は、検査中の中心線ポジションを新しい位置に設定する。これは、抽出された冠動脈の中心線ツリ-内の次の中心線ポジション(つまり、MPR画像の長さに沿ったMPR画像内の次の位置)、または現在の中心線ポジションに対して予め定義された距離を持つ中心線ポジションとすることが出来る。
【0087】
ブロック168によって示されるように、ステップ165、166および167は、抽出された冠動脈の中心線内の最後の中心線ポジションに到達するまで、繰り返される。
【0088】
最後に、ステップ169は、結果を提示するためのいくつかの方法を提供し、そして図2のステップ206と同一である。
【0089】
代替の実施形態では、図2のブロック204内の冠動脈の血行力学的機能的重症度を評価するために展開された機械学習アルゴリズムは、異なるネットワ-クア-キテクチャを使用し、そして結果的に学習フェ-ズおよび予測フェ-ズの両方に対してわずかに異なるフロ-チャ-トをもたらす。図17はワ-クフロ-全体を示す。CCTAスキャン(1701)内で、冠動脈の中心線が、抽出され、そして冠動脈(1702)の多平面再フォ-マットされた画像を再構成するために、使用される。次で、教師無し次元削減ステップが適用される。ここでは、動脈全体のMPR画像(ボリュ-ム)が、2つの教師無しオ-トエンコ-ダを使用して、固定数の特徴(エンコ-ディング)に圧縮され、シ-ケンシャルに、第1)冠動脈の局所サブボリュ-ム(キュ-ブ)を空間的に圧縮する、3D変分畳み込みオ-トエンコ-ダ1703(3D-VCAE)に、そして第2)3D-V CAEによって以前に取得された冠動脈全体のエンコ-ディングをシ-ケンシャルに圧縮する、1D畳み込みオ-トエンコ-ダ1704(1D-CAE)に、適用される。次で、最終的に抽出されたエンコ-ディングは、サポ-トベクトルマシン(SVM: support vector machine)分類器または他の教師あり学習分類器1705により、教師あり学習法で使用されて、FFRに従って動脈(および患者)を分類する。
【0090】
図18は、血管閉塞評価モデルを訓練するために、訓練フェ-ズ中に使用される詳細なフロ-チャ-トを示す。図18のステップ1801において、参照標準デ-タベ-スが取得され、そして機械学習ネットワ-クを訓練するために使用される。参照標準デ-タベ-スは、複数の患者のデ-タを含むデ-タベ-スである。例えば、デ-タベ-スは、各患者に対して、a)造影増強画像化(例、CT)デ-タセット(ステップ1803)およびこれに対応するb)侵襲的に測定された冠血流予備量比参照値(ステップ1802)を含む。冠血流予備量比参照値は、圧力ワイヤのプルバック操作中に、または関心のある冠状血管の遠位ポジションに近接する単一のポイントで、侵襲的に測定される圧力測定値に対応する。冠動脈血流予備能、瞬間的な無波比、充血性心筋灌流、微小循環抵抗の指標、および冠動脈に沿った圧力低下などの機能的に有意な冠動脈閉塞を評価するために、他の血行力学的指標を使用することが出来る。
【0091】
図18のステップ1804において、プロセッサは、関心のあるVOIセクションに沿った関心のある血管(VOI)管腔の中心を表す軸方向軌跡(例、冠動脈の中心線)を抽出する。このステップは、図2のステップ202と実質的に同一である。
【0092】
図18のステップ1805において、プロセッサは、ステップ1804の結果として、抽出された冠動脈の中心線に沿ってMPR画像を作成する。図18のステップ1805は、図2のステップ203と同一である。
【0093】
図18のステップ1806において、プロセッサは、FFR参照値1802を、ステップ1805の結果であるMPR画像の空間座標に整合させる。このステップは、図7のステップ706と実質的に同一である。参照値は、ステップ1805の結果であるMPR画像を使用することによって取得され、そしてこのステップはスキップされる。FFR参照値が単一のポイント値で構成されている場合も、このステップはスキップされる。
【0094】
図18のステップ1807において、プロセッサは、現在のワ-クフロ-の残りのステップ内でさらに記載されるように、機械学習ベ-スの血管閉塞評価モデルを訓練するために使用されるMPR画像から、直方体のシ-ケンスを生成する。直方体のシ-ケンスの生成は、図19の19a~19cに示されている。MPR画像(図19aの1901)に沿って、MPR画像をより小さなボリュ-ムに再サンプリングする直方体のシ-ケンス(図19の19bの画像1902)が作成される。直方体のサイズは、それが、動脈内腔全体と動脈の近くの一部を含むと定義されている。各直方体は、通常、40x40x5ボクセルであるが、他の直方体サイズも可能である。直方体間の距離は、m個の中心線ポイントである(mは、通常、1ボクセルであるが、直方体間の他の距離も可能である)。中心線ポイント間の距離が1ボクセルの場合、直方体のシ-ケンスの長さは、抽出された中心線の長さおよびMPR画像の長さと同じである。
【0095】
図18のステップ1808において、プロセッサは、直方体から特徴を抽出する。図18のステップ1809において、プロセッサは、抽出された直方体特徴から特徴を抽出する。例えば、VOI内の圧力降下(例、関心のある冠動脈)を特徴付ける特徴は、ステップ1807の結果である直方体のシ-ケンスを分析することにより、MPR画像から抽出される。冠動脈内の血流と圧力は、手元の動脈に沿って配置されたいくつかの冠動脈の狭窄による影響を受ける可能性がある。狭窄の位置とグレ-ドの異なる組み合わせ、つまり、内腔の狭窄の程度は、動脈に沿ったFFRの低下の原因となる可能性がある。従って、動脈内のFFRの低下を検出するには、狭窄部周辺の局所分析では不十分な場合があり、この代わりに動脈全体のボリュ-ム分析を実行しなければならない。冠動脈は、患者ごとに長さおよび奇形が異なる、複雑な解剖学的3D構造である。最新のCTスキャナの解像度は高く、かつ多数のボクセル(数百万)が単一の動脈のボリュ-ム画像デ-タセットに含まれるので、全体の(または大部分の)動脈ボリュ-ムに直接適用される、単一の畳み込み自動エンコ-ダ(CAE)を、大きな再構成エラ-無く訓練するという単純なアプロ-チに従うことは、ありそうに無い。前述の懸念に対処するために、本明細書の実施形態に従って使用されるCAEネットワ-クア-キテクチャは、冠動脈の長さおよび解剖学的構造に関係なく、冠動脈全体のMPR画像(ボリュ-ム)をエンコ-ドするための2フェ-ズエンコ-ディングアプロ-チを含む。
【0096】
CAEは、入力画像からのデ-タを、デコ-ダが入力画像を再構築するのに十分な情報を含む小さなベクトルに、圧縮する。これにより、オ-トエンコ-ダは、圧縮された画像に関する特徴を学習することを強制される。これは、図19の19a~19cに示されている。図19の19aの画像1901は、図2のステップ203の結果である抽出されたMPR画像でありかつさらに図4a-4cに示されている例を示す。関心のある冠動脈を識別する中心線の始点にある近位部分は、画像1901の左側にあり、そして中心線の終点は、MPR画像の右側にある。図19の19bの画像1902は、CAEのエンコ-ダによって抽出されたMPR画像の長さに沿っていくつかの特徴(情報)を示す。図19の19cの画像1903は、元の画像を再構成したデコ-ダの結果を示す。典型的なCAEは、エンコ-ダとデコ-ダの2つの主要部分を含む。エンコ-ダは、畳み込み演算とダウンサンプリング(最大プ-リング)によってデ-タを低次元の潜在空間に圧縮(エンコ-ド)し、そして続いて圧縮された形式を展開(デコ-ド)して、畳み込み演算とアップサンプリング(アンプ-リング)によって入力デ-タを再構築する。エンコ-ダ入力とデコ-ダ出力の間の距離損失を最小限に抑えながら、CAEを訓練することは、入力から生成された抽象エンコ-ディングが、低エラ-で再構築するのに十分な情報を含むことを確実にする。CAEが訓練されると、デコ-ダが外され、そしてエンコ-ダを使用して、見えないデ-タのエンコ-ドが生成される。
【0097】
図20は、エンコ-ディングフロ-を示す。最初に、ステップ1808で表されるように、3D変分畳み込みオ-トエンコ-ダ(3D-VCAE)が、(図18、1807のように)動脈中心線に沿ってMPR画像2001から抽出されたロ-カルサブボリュ-ム(直方体2002)に適用される(2003)。3D-VCAEは、各サブボリュ-ムをエンコ-ディングのセットにエンコ-ドする。抽出された冠動脈の中心線(図18の1804)に沿った(ステップサイズ1内の)全ての連続するサブボリュ-ムに適用されると、結果は、動脈と同じ長さの2D特徴マップになる。この2D特徴マップは、動脈に沿って走るエンコ-ディングの1Dシ-ケンスのセットとして表される(2004)。好ましい実施形態では、関心のある冠動脈内の圧力降下を特徴付ける特徴は、局所サブボリュ-ム(直方体)に適用される3D-VCAEによって抽出された、教師無し学習法の特徴によって特徴付けられる。これに代えて、直方体のシ-ケンスによって冠動脈に沿った圧力降下を記載する他の任意の設計された特性(例、ガウスフィルタ、ハラリックテクスチャ特徴)を、使用することが出来、および/または形態(例、冠動脈内腔、冠動脈ボリュ-ム、内腔強度)を、特徴として使用することが出来る。直方体内の知覚されたテクスチャを定量化するように設計されたこのような代替の設計された特徴方法の例は、類似の灰色ト-ンの空間関係を使用して、テクスチャの数値的特徴を獲得するHaralickテクスチャ特徴を計算することによるものである(非特許文献15)。これらの特徴の任意の組み合わせを選択することが出来る。
【0098】
最後に、図18のステップ1809によって表されるように、プロセッサは、1D畳み込みオ-トエンコ-ダ(1D-CAE)をエンコ-ディングの各シ-ケンスに別々に適用する(図20の2005)。従って、1D-CAEは、さらに、様々な長さのエンコ-ディングのシ-ケンスを、その長さに関係なく、動脈全体を表す固定数のエンコ-ディングにエンコ-ドする。
【0099】
3D-VCAE
変分オ-トエンコ-ダ(VAE)は生成モデルであり、非特許文献16に記載されるようにデ-タ生成分布を近似する。近似および圧縮により、結果として得られるモデルは、基礎となるデ-タマニホ-ルド:デ-タが分散される、制約された、滑らかで、連続的で、低次元の潜在(特徴)空間を獲得する(非特許文献17)。潜在空間のこれらの有利な特性は、現在の実施形態内で使用されて、VCAEを使用して、動脈に沿った局所ボリュ-ムを圧縮およびエンコ-ドする。動脈の局所的なボリュ-ム特性を獲得するために、3D-VCAEへの入力は、ステップ1807に記載されるように、ボリュ-ムに設定される。3D-VCAEのエンコ-ダの出力は、予め定義された数(例、16)のエンコ-ディング(2004)に設定される。動脈全体をエンコ-ドするために、ストライドが1ボクセルの重複するボリュ-ムが、抽出されそして3D-VCAEによりエンコ-ドされる。これにより、中心線ポイントごとに16個のエンコ-ディングが行われる場合、16xL個のエンコ-ディングが得られる(ここで、Lは、抽出された冠動脈の中心線の長さである)。詳細な3D-VCAEア-キテクチャは、図21aに示されている。図21aは、3D-VCAEの詳細なネットワ-クア-キテクチャを示す。入力と出力は、例えば、40x40x5ボクセルのボリュ-ムである。図20a内で、キ-:N@(sizekernel)は、サイズsizekernelの、カ-ネルがN個の畳み込みレイヤである。MP@(sizekernel)は、カ-ネルサイズsizekernelの最大プ-リングレイヤである。US@(sizekernel)は、カ-ネルサイズsizekernelのアップサンプリングレイヤである。FC@(Nunits)は、Nunitsユニットと完全に接続されたレイヤである。3D-VCAEが訓練されると、μレイヤの出力が、入力のエンコ-ディングを生成するために使用される。降順と昇順の矢印は、各々、各オ-トエンコ-ダのエンコ-ダとデコ-ダを表す。3D-VCAEでは、エンコ-ダとデコ-ダの出力レイヤを除く全ての畳み込みレイヤの後に、バッチ正規化レイヤと正規化線形ユニット(RELU)が、使用される。他のパラメ-タ、例えば、異なるカ-ネルサイズ、エンコ-ディングレイヤおよび他のCAEア-キテクチャおよびアクティベ-ション関数の数を、使用することも出来る。さらに、CAEの入力サイズは、例えば、多相CCTAデ-タセットをサポ-トするために、4Dボクセルパッチを使用する場合とは異ならせることが出来る。入力パッチは、多エネルギおよび/または多相CCTAデ-タセットをサポ-トするために、さらに高次元(例えば、n次元)のボクセルパッチにさせることが出来る。
【0100】
1D-CAE
FFRの予測のために冠動脈を表すとき、冠動脈入口部から、抽出された冠動脈の中心線の最も遠位の部分までの動脈に沿った特徴が、考慮される。従って、3D-VCAEからのロ-カルエンコ-ディングは、さらに、動脈全体を一度に分析する間に、1D-CAE2005によって圧縮される。これを達成するために、2D特徴マップは、各冠動脈の中心ポイントで3D-VCAEによって生成された(例えば、16個の)エンコ-ディングのセット(これは、1Dシ-ケンスのセット2004として表される)を含む。各シ-ケンスは、1xL個のエンコ-ディングを含む。Lは、動脈の長さ、すなわち、冠動脈の中心ポイントの数である。この表現により、各シ-ケンスは、動脈に沿った特定のエンコ-ディング(2004)を表すようになり、そしてこの結果、単純な1D-CAEを、個別に、16個のエンコ-ディングのシ-ケンスの各々に適用することが可能になる(2005)。16個の1D-CAEの重みは、共有される。ここで、各1D-CAEは、16個のシ-ケンスの1つを(例えば、64個の)エンコ-ディングにエンコ-ドする。これにより、関心のある冠動脈全体を表すn個の特徴(2006)が得られる。この例では、nは、16x64、1024の特徴である。詳細な1D-CAEア-キテクチャは、図21bに示されている。入力と出力は、例えば、16xL個のエンコ-ディングのシ-ケンスである。図21において、キ-:N@(sizekernel:sizestride)は、サイズsizekernelのN個のカ-ネルとsizestrideのストライドを持つ1D畳み込みレイヤである。US@(sizekernel)は、カ-ネルサイズsizekernelを有する1Dアップサンプリングレイヤである。1D-CAEは、16個の1Dシ-ケンスの各々に個別に適用されるが、重みは共有される。1D-CAEが訓練されると、eレイヤの出力(図21b)を使用して、各入力シ-ケンスのエンコ-ディングが、生成される。降順と昇順の矢印は、各々、各オ-トエンコ-ダのエンコ-ダとデコ-ダを表す。1D-CAEでは、指数線形単位(ELU: exponential linear unit)は、エンコ-ダとデコ-ダの出力レイヤを除く全ての畳み込みレイヤの後に使用される。他のパラメ-タ、例えば、異なるカ-ネルサイズ、エンコ-ディングレイヤおよび他のCAEア-キテクチャとアクティベ-ション関数の数も、使用することが出来る。
【0101】
図18のステップ1810内で、プロセッサは、教師あり学習分類器を適用して、FFR分類器を訓練する。いくつかの教師あり学習分類器(例えば、サポ-トベクトルマシン(SVM)分類器)を使用することが出来るであろう。SVMは、分類付けと回帰の両方の目的に使用することができる教師あり機械学習分類器である。SVMは、デ-タセットを、予め定義されたクラス(222、図22)に最適に分割する超平面(221、図22)を見出すというアイデアに基づいている。簡単な例として、2つの特徴のみを持つ分類付けタスクが、図22に示されている。SVMの訓練中に、2つのクラスのサンプルを最も良く分離する超平面は、マ-ジン内の訓練サンプルの数を最小化しつつ、決定境界の周りのマ-ジンを最大化することにより見出される(図22)。マ-ジン(223、図22)は、サポ-トベクトル(224、図22)、つまり、マ-ジン上にある訓練サンプルによって決定される。直感的には、適切な分離は、クラスの最も近い訓練デ-タポイントまでの距離が、最大である超平面によって、実現される。言い換えると、超平面と、何れかのセットからの最も近いサポ-トベクトルとの間の距離は、マ-ジンとして知られている。SVMの目標は、超平面と訓練セット内の任意のポイント(サポ-トベクトル)との間に、可能な限り最大のマ-ジンを持つ超平面を見出すことである。他の種類の分類器には、ニュ-ラルネットワ-ク、Bayesian分類器、Tree Ensembles(例、ランダムForests)を含むことができる(非特許文献18)。教師あり学習(SVM)分類器を使用することができるようにするためには、参照標準として使用することができる参照デ-タが存在する必要がある。参照標準は、複数の患者からのデ-タベ-スである(ステップ1801)。このデ-タベ-ス内の各セットは、a)造影CTデ-タセット(ステップ1803)およびこれに属するb)参照値(ステップ1802)を含む。好ましい実施形態では、流体-動的パラメ-タを表す機能的有意性冠動脈病変(例、FFR)1802を示す参照値は、造影CTデ-タセット1803に属するX線血管造影中に実行される(プルバック)侵襲性冠血流予備能(FFR)測定である。例えば、FFRは、静脈内アデノシンによって誘発される最大高血症で、冠動脈圧ガイドワイヤを使用して測定される。X線血管造影中、FFRワイヤは、標的血管内で可能な限り遠位に配置され、そしてFFRは、標的血管の遠位部分における手動のまたは自動プルバックによって評価される。最後に、実行された測定の品質を評価して1.00のFFR値を達成するために、FFRワイヤが、ガイディングカテ-テルのレベルで回収される。繰り返し測定または複数の狭窄のために複数のFFR測定が使用可能である場合には、最小値が、基準として使用される。FFR参照値1802は、患者固有のCCTAデ-タセットをその患者の心筋虚血にリンクする任意のパラメ-タとすることが出来る。例えば、参照値(1802)は、測定された冠動脈血流予備能または標的冠動脈領域において達成可能な最小微小循環抵抗の測定を提供し、微小血管の完全性の定量的評価を可能にする微小循環抵抗の指標とすることが出来る。参照値(1802)の様々なパラメ-タの他の例は、CCTAデ-タセットの取得後の予め定義された時間内の主要な心臓有害事象(MACE: major adverse cardiac event)の発生、または患者が、CCTAデ-タセットの取得後の予め定義された時間内に血行再構成術を受けた場合、または心臓ストレステストの結果、心筋磁気共鳴画像法(MRI)灌流、SPECT、PET、CT灌流、または超音波の結果である。
【0102】
各参照値(1802)は、使用されるCCTAデ-タセット1803に対応するFFR参照値1802のデ-タベ-スを使用して、2つのクラス、例えば、「機能的に有意な狭窄が存在する」(侵襲性FFR <インスタンス0.8)または「有意な狭窄が存在しない」(侵襲性FFR>インスタンス0.8)(既知のラベル)の内の1つに属するものとしてマ-クされる。SVM分類器は、異なるクラスを分離することを学習する。まず、各訓練サンプル(例、CCTAデ-タセット)は、n次元の特徴空間内のポイントとして表される。ここで、nは、計算された特徴の数(例、特徴ベクトル内の特徴の数、図18のステップ1809の結果)である。デ-タベ-ス1803内の全てのリ-ミングCCTAケ-スに対して、このような特徴ベクトルが計算される。全ての訓練サンプル(例、デ-タベ-ス内のCCTAケ-ス)が、選択された分類器を訓練するために使用される。訓練フェ-ズでは、SVM分類器は、クラス間の最適な分離を行う超平面を見出す、つまり、図22に示されるように、マ-ジンが最大の2つのクラスを分離する超平面を見出す。
【0103】
SVMは、本質的に2クラス分類器である。それにもかかわらず、マルチクラス分類付け、すなわち複数のクラスへの分類付けも、例えば、複数の2クラス分類付け(例、選択したクラスと残りの全てのクラス、またはクラスの各ペア-1対1の間)を実行することによって、実行することができる。従って、FFR分類器(1810、図18)は、複数のクラス、例えば、「機能的に有意な狭窄が存在しない」、「軽度の機能的に有意な狭窄が存在する」、「重度の機能的に有意な狭窄が存在する」、または参照値(図18のステップ1802)に基づいて選択された任意のカテゴリ、を認識するように訓練させることが出来る。参照値(図18、1802)が侵襲性FFR測定値である場合、上述の分類付けは、例えば、次の侵襲性FFRしきい値:
i)侵襲性FFR>0.9-「機能的に有意な狭窄は存在しない」
ii)侵襲性FFR07~0.8-「軽度の機能的に有意な狭窄が存在する」
iii)侵襲性FFR<0.7-「機能的に有意な重度の狭窄が存在する」
を使用して達成させることが出来る。
【0104】
システムが訓練されると、新しい見えないCCTAデ-タセットが、訓練フェ-ズ中に定義されたクラスに分類され、これは、詳しく図23のフロ-チャ-トに記載されている。図23は、血管閉塞の重症度を分類する、または見えないCCTAデ-タセット内のFFR値を検出して、CCTAデ-タセットから1つまたは複数の冠動脈における機能的に有意な狭窄の存在を決定する、予測フェ-ズを実施するためのフレ-ムワ-クを示す。見えないCCTAデ-タセットは、図23のステップ2301により表されている。
【0105】
図23のステップ2302では、関心のある冠動脈セクションに沿った冠動脈内腔の中心を表す冠動脈の中心線が、抽出される。このステップは、図2のステップ202と同じである。
【0106】
図23のステップ2303では、ステップ2302から抽出された冠動脈セクションに沿って多断面再フォ-マット(MPR)画像が、作成される。
【0107】
図23のステップ2304からステップ2307までのステップは、予測フェ-ズ中の図2のブロック204を表し、そして見えないCCTA画像デ-タセットの冠動脈病変の機能的重症度を分類する。機能的な冠動脈病変の重症度の予測は、MPR画像内に表された関心のある冠動脈全体に対して実行される。図23のステップ2304において、MPR画像からの直方体のシ-ケンスの生成が実行され、そして図16のステップ1607と同一である。
【0108】
図23のステップ2305および2306内で、特徴の計算が行われ、そしてこれは、図18のステップ1808および1809について前述したものと同じである。
【0109】
図23のステップ2307において、FFR分類器は、訓練フェ-ズ中に定義された新しい見えないCCTAデ-タセットを、カテゴリに割り当てる。この分類器は、図18のブロック1810で使用されるものと同じ分類器である。予測フェ-ズ内で、見えないCCTAデ-タセットは、図23のステップ2307において、n次元特徴空間内にマッピングされそして超平面に対するこの特徴空間におけるその位置が、そのクラスラベルを決定する。この分類付けは、1つまたは複数の冠動脈閉塞が心筋への酸素送達を妨げる重症度の評価と言う結果をもたらし、そしてこれは図23のステップ2308に表されている。図24は、分類器の視覚的表現を示す。見えない画像の特徴ベクトルを表す図23のステップ2306の結果は、分類器の入力(241)である。図24のラベル242は、図18のステップ1810に記載される、学習フェ-ズ中に学習されるFFR分類付けモデルを表す。図24のラベル243は、2つのクラスが学習される場合の分類器の出力(図23、2308)を表す。陽性は、1つまたは複数の機能的に有意な冠動脈病変が存在することを意味し、陰性は、機能的に有意な冠動脈病変が存在しないことを意味する。
【0110】
最後に、ステップ2308は、出力を提供し、結果を提示し、そして図2のステップ206と同一である。
【0111】
代替の実施形態では、図2のブロック204によって表される機械学習アルゴリズムが、造影増強ボリュ-ム測定画像デ-タセットに基づいて、心臓である標的器官の1つまたは複数の冠状血管閉塞の血行力学的機能的重症度を評価するために、配備される。図25は、この代替の実施形態内の機械学習アルゴリズムの訓練フェ-ズのフロ-チャ-トを表し、そしてこれは、図19a~19cによって記載された方法を特許文献4の教示と組み合わせて、造影増強ボリュ-ム測定画像デ-タセット内の1つまたは複数の冠状血管閉塞の血行力学的機能的重症度を評価する。(図18の1804)の場合のように中心線が抽出された、全ての抽出された冠動脈の特徴は、図18のステップ1801からステップ1809までのステップに記載されたものと同じ方法で抽出される。例えば、図20に示されるように、冠動脈のn個の特徴(2006)が、(冠動脈ごとに)MPR画像2505ごとに抽出される(例、1024個の特徴)。次に、これらの特徴2509は、特許文献4に記載されるような心筋分析(2512)から連結2511によって取得された特徴ベクトル(例えば、512個の心筋特徴の特徴ベクトル)と組み合わされる。心筋特徴ベクトル(2512)の入力は、CCTA画像デ-タセット(2503)である。連結ステップは、冠動脈分析(2509)から得られた特徴ベクトルを、心筋分析から得られた特徴ベクトル1412に付加することによって実行される。連結ステップの結果は、例えば、非特許文献19によって記載されているように、マルチインスタンス学習(MIL)FFR分類器2513を訓練するために使用される。このようなMIL分類器を使用することができるようにするために、各患者は、全ての冠動脈(抽出された特徴を含む)と心筋(それの抽出された特徴を含む)を含むインスタンスのバッグとして表される。インスタンスのバッグを作成するために、冠動脈の特徴は、要素ごとに心筋の特徴と連結される:各冠動脈iの特徴(2509)は、心筋の特徴(2512)と連結される(2511)。ここで、iは、l~N(2510で表される冠動脈の総量)である。この結果は、N行と1行あたりの特徴の総数を含む行列になる(例、1536個の特徴は、心筋で512個そして冠動脈ごとに1024個である)。画像デ-タセット2503に属する参照値2502は、その患者において侵襲的に測定された最小のFFR(画像デ-タセット)に設定することができるであろうが、これに限定されるものではない。
【0112】
図26は、1つまたは複数の冠動脈閉塞が、心筋への酸素送達を妨げる重症度をCCTAデ-タセットから評価する、この代替実施形態内の機械学習アルゴリズムの予測フェ-ズ中のフロ-チャ-トを表す。見えないCCTAデ-タセットは、図26のステップ2601で表される。
【0113】
図26のステップ2602では、関心のある各冠動脈セクションに沿った冠動脈内腔の中心を表す冠動脈の中心線が、抽出される。このステップは、図2のステップ202と実質的に同様の方法で実施することができる。
【0114】
図26のステップ2603~ステップ2606までのステップは、図23のステップ2303~ステップ2306までのステップと同一である。
【0115】
図26のステップ2608は、図25のブロック2511に記載されている方法と同様な方法で、冠動脈分析2606および心筋分析2609に基づいて、見えないCCTAデ-タセットから得られかつ使用可能な全ての冠動脈の中心線(2607)を含む特徴ベクトルを連結する。この連結ステップの結果は、図25のステップ2513に記載される訓練されたMIL FFR分類器2610に供給される。最後に、ステップ2611は、ステップ2610からの分類付けの結果をユ-ザに提供し、そして実質的に図2のステップ206と同様の方法で実施させることができる。
【0116】
MPR画像の作成を記載する図2のステップ203に関して、本明細書は、主に直線MPR画像の使用に焦点を合わせている。ステップ203の記載は、湾曲MPR画像の使用を含む。これにより、記載された機械学習ネットワ-クア-キテクチャ内で、抽出された中心線の曲率または屈曲情報を考慮に入れることが可能になる。これに代えて、このステップをスキップし、そして関連するフロ-チャ-トに記載されているキュ-ブの生成を、図2のステップ202の結果として抽出された中心線を使用して、画像デ-タセットに直接実行することも出来る。このようにして、曲率またはねじれ情報は、機械学習ベ-スのVAOモデルの訓練中、および予測フェ-ズ中に、暗黙的に考慮される。
【0117】
抽出された冠動脈の中心線に沿って、または抽出された冠動脈の中心線ごとに、冠動脈の機能的有意性の予測に関して、十分な量の侵襲的に測定された血行力学的参照値を取得することは困難である。これらの侵襲的に測定される血行力学的FFR参照値は、冠動脈の遠位位置で侵襲的に測定されたFFRとする、または抽出された冠動脈の中心線に沿った冠動脈の機能的有意性を予測する場合には、侵襲的に測定されたプルバックFFRとすることが出来る。
【0118】
前述のように、参照標準(701、1801、2501)は、各患者に対してa)造影増強CTデ-タセット(703、1803、2503)およびこれに対応するb)例えば、侵襲的に測定された冠血流予備量比のような、FFR参照値(702、1802、2502)を含むデ-タベ-スから成る。ほとんどの場合、患者のX線血管造影画像デ-タも使用可能である。代替の実施形態内では、FFR参照値(図7の702または図18の1802または図25の2502)は、FFRプルバックの計算または遠位FFR値の計算によって得られ、これは、例えば、FFRのような血行力学的パラメ-タを侵襲的に測定する必要性を排除する。これは、患者のX線血管造影画像デ-タを使用して実行させることが出来、そしてCAASワ-クステ-ション 8.0(Pie Medical Imaging社、オランダ)内のvFFR(vessel-FFR)ワ-クフロ-を使用することにより(プルバック)FFR値を計算する。X線血管造影の高い空間分解能およびCAASワ-クステ-ションのvFFRワ-クフロ-内で採用されている方法とにより、非特許文献20で開示されているように、計算されたvFFRの精度は、かなり高い。
【0119】
CAASワ-クステ-ションのvFFR法は、少なくとも30度離れた2つの血管造影X線投影を使用して、3D冠動脈再構成を生成する。vFFRは、3D冠動脈再構成の形態と定期的に測定される患者固有の大動脈圧とを組み込んだ独自のアルゴリズムを使用することにより、瞬時に計算される。図27は、CAASワ-クステ-ションを使用して冠動脈回旋枝の計算されたFFRプルバックを取得する例を示す。2701は、各2D X線血管造影画像における冠動脈回旋枝のセグメンテ-ションを示し、これは、結果的に冠動脈の3D再構成(2702)となる。グラフ2703は、3D再構成された冠動脈の長さに沿って計算されたvFFR値を示す。同じアプロ-チをCCTAデ-タセットに実行することもでき、これは、各患者に対しX線血管造影画像デ-タを対応させる必要性を不用とする。
【0120】
本開示は、主に、関心のある器官を心筋とし、そして血管が冠動脈である場合を記載する。当業者は、この教示が他の器官にも等しく拡張できることを理解するであろう。例えば、関心のある器官は、腎動脈によって灌流される腎臓、または頭蓋内動脈によって灌流される脳(の部分)とすることが出来る。さらに、本開示は、(いくつかの形式の)CCTAデ-タセットに言及している。当業者は、この教示が、他の画像化モダリティ、例えば、回転血管造影、MRI、SPECT、PET、超音波、X線等に等しく拡張できることを理解するであろう。
【0121】
本開示の実施形態は、スタンドアロンシステム上で使用する、または例えば、コンピュ-タ断層撮影(CT)システムに直接含めることが出来る。図28は、コンピュ-タ断層撮影(CT)システムの高レベルのブロック図の例を示す。このブロック図には、本実施形態が、このようなシステムにどのようにして統合することが出来るかの一例である実施形態が、含まれている。
【0122】
(様々な機能ブロックによって定義される)システムの部分は、専用のハ-ドウェア、アナログおよび/またはデジタル回路、および/またはメモリに格納されたプログラム命令を操作する1つまたは複数のプロセッサにより実装させることができる。
【0123】
コンピュ-タ断層撮影の最も一般的な形態は、X線CTであるが、デュアルエネルギ、スペクトル、マルチエネルギ、またはフォトンカウンティングCTのような、他の多くのタイプのCTも存在する。また、陽電子放射断層撮影(PET)および単一光子放射型コンピュ-タ断層撮影(SPECT)、または以前の形式のCTと組み合わせたものも存在する。
【0124】
0151
図28のCTシステムには、X線CTシステムが記載されている。X線CTシステムでは、X線システムが、ガントリ内の患者の周りを移動しそして画像を取得する。デジタル処理を使用することにより、3次元画像は、単一の回転軸の周りで撮影された多くの一連の2次元血管造影画像から構築される。
【0125】
典型的なX線CTシステム120の場合、オペレ-タは、患者1200を患者テ-ブル1201上に配置し、そして操作コンソ-ル1202を使用してスキャンのための入力を提供する。操作コンソ-ル1202は、通常、コンピュ-タ、キ-ボ-ド/フットパドル/タッチスクリ-ンおよび1つまたは複数のモニタを備える。
【0126】
操作制御コンピュ-タ1203は、オペレ-タコンソ-ル入力を使用して、ガントリ1204に回転するように命令するのみならず、患者テ-ブル1201およびX線システム1205にスキャンを実行する命令を送信する。
【0127】
オペレ-タコンソ-ル1202で選択された走査プロトコルを使用して、操作制御コンピュ-タ1203は、一連のコマンドをガントリ1204、患者テ-ブル1201、およびX線システム1205に送信する。次に、ガントリ1204は、一定の回転速度に到達しそしてスキャン全体を通して一定の回転速度を維持する。患者テ-ブル1201は、所望の開始位置に到達しそしてスキャンプロセス全体を通して一定の速度を維持する。
【0128】
X線システム1205は、X線ビ-ム1208を生成する高電圧発生器1207を備えたX線管1206を含む。
【0129】
高電圧発生器1207は、電力を制御し、そしてX線管1206に供給する。高電圧発生器1207は、X線管1206の陰極と回転陽極との間の真空ギャップに高電圧を印加する。
【0130】
X線管1206に印加される電圧により、電子移動が、X線管1206の陰極から陽極に発生し、この結果、制動放射とも呼ばれるX線光子生成効果が生成される。生成された光子は、画像検出器1209に向けられたX線ビ-ム1208を形成する。
【0131】
X線ビ-ム1208は、とりわけ、X線管1206に印加される電圧および電流によって決定される、最大値までの範囲のエネルギのスペクトルを有する光子を備える。
【0132】
次に、X線ビ-ム1208は、移動テ-ブル1201上に横たわる患者1200を通過する。X線ビ-ム1208のX線光子は、様々な程度で患者の組織を透過する。患者1200の異なる構造は、放射線の異なる部分を吸収し、ビ-ム強度を変調する。
【0133】
患者1200から射出する変調されたX線ビ-ム1208’は、X線管の反対側に配置された画像検出器1209によって検出される。
【0134】
この画像検出器1209は、間接的または直接的検出システムの何れかとすることが出来る。
【0135】
間接検出システムの場合、画像検出器1209は、X線出口ビ-ム1208’を増幅された可視光画像に変換する真空管(X線画像増補器)を備える。次に、この増幅された可視光画像は、画像の表示および記録のために、デジタルビデオカメラのような可視光画像受容体に送信される。これにより、デジタル画像信号が生成される。
【0136】
直接検出システムの場合、画像検出器1209は、フラットパネル検出器を備える。フラットパネル検出器は、X線出口ビ-ム1208’をデジタル画像信号に直接変換する。
【0137】
画像検出器1209から結果的に得られるデジタル画像信号は、処理のために画像生成器1210に渡される。通常、画像生成システムは、高速コンピュ-タとデジタル信号処理チップを含む。取得されたデ-タは、オペレ-タの視覚のためにディスプレイデバイス1202にそしてア-カイブのためにデ-タストレ-ジデバイス1211に送信される前に、前処理および拡張される。
【0138】
ガントリ内に、X線システムが、患者1200および移動テ-ブル1201がX線管1206と画像検出器1209との間に位置するように、配置される。
【0139】
造影増強CTスキャンでは、造影剤の注入は、スキャンと同期しなければならない。造影剤注入器1212は、操作制御コンピュ-タ1203によって制御される。
【0140】
FFR測定のために、FFRガイドワイヤ1213が存在し、また、アデノシンが、最大の充血状態を誘発するために、注入器1214によって患者に注入される。
【0141】
本出願の実施形態は、図18のX線CTシステム120によって、以下のように実施される。臨床医または他のユ-ザは、操作コンソ-ル1202を使用して走査プロトコルを選択することにより、患者1200のCTスキャンを取得する。患者1200は、操作制御コンピュ-タ1203によって制御される走査の全体に渡って、連続速度で移動する調整可能テ-ブル1201上に横たわっている。ガントリ1204は、スキャン全体を通して一定の回転速度を維持する。
【0142】
次で、複数の二次元X線画像が、上述したように、高電圧発生器1207、X線管1206、画像検出器1209およびデジタル画像発生器1210を使用して、生成される。次で、この画像は、ハ-ドドライブ1211に格納される。これらのX線画像を使用して、3次元画像が、画像発生器1210によって構築される。
【0143】
汎用処理ユニット1215は、3次元画像を使用して、上述した分類付けを実行する。
【0144】
本明細書では、単一のCCTA画像のみから抽出された情報に基づいて、機能的に有意な狭窄を有する患者を自動的に識別するための方法および装置のいくつかの実施形態が、記載および図示されて来た。
【0145】
以下には、単独でまたはそれらの任意の組み合わせで請求することができる、本明細書の実施形態の様々な態様の要約が、提示される。
【0146】
具体例1
血管閉塞を評価するための方法であって:
関心のある血管を含む標的器官のボリュ-ム画像デ-タセットを取得するステップ;
前記ボリュ-ム画像デ-タセット内の関心のある血管(VOI)に沿って延在する軸方向軌跡を抽出するステップ;
前記ボリュ-ム画像デ-タセットおよび前記VOIの前記軸方向軌跡に基づいて3次元(3D)多断面再フォ-マット(MPR)画像を作成するステップ;および
機械学習ベ-スの血管閉塞評価(VOA)モデルを使用して前記MPR画像からVOIパラメ-タを抽出するステップ
を備える方法。
【0147】
具体例2
i)プラ-クタイプを検出すること、ii)血管閉塞の解剖学的重症度を分類すること、および/またはiii)ボリュ-ム画像デ-タセットの見えない部分内の血管閉塞の血行力学的重症度を分類すること、の少なくとも1つを実行する予測フェ-ズを実装する、
本明細書の具体例の内の1つまたは複数の方法。
【0148】
具体例3
前記機械学習ベ-スのVOAモデルが、前記MPR画像からキュ-ブのシ-ケンスを生成し、前記キュ-ブの各々が、前記MPR画像からのボクセルのグル-プを含み、前記VOIのセクション内に作成されたキュ-ブの前記シ-ケンスが、結果的に、対応するセクションのキュ-ブのシ-ケンスとなる、
本明細書の具体例の内の1つまたは複数の方法。
【0149】
具体例4
前記機械学習ベ-スのVOAモデルが、キュ-ブの前記シ-ケンスから独立してぜキュ-ブに関連付けられている画像特徴を抽出する、本明細書の具体例の1つまたは複数の方法。
【0150】
具体例5
前記機械学習が、シ-ケンシャルに前記画像の特徴を分析する、本明細書の具体例の内の1つまたは複数の方法。
【0151】
具体例6
血管径の拡大に関連する前記VOIパラメ-タの抽出を容易にするために、前記キュ-ブのサイズが、前記VOIの管腔全体および前記管腔の外側の組織の一部を含むように定義されていて、血管径の拡大が、アテロ-ム性動脈硬化症のプラ-ク成長の方向を指す、本明細書の1つまたは複数の具体例の方法。
【0152】
具体例7
前記軸方向軌跡が、前記VOIの冠動脈の中心線に対応し、前記冠動脈の中心線が、関心のある冠動脈セクションに沿った冠動脈内腔の中心を表し、前記軸方向軌跡が、単一の冠動脈、冠状分岐部、または冠動脈全体ツリ-に対応し、ここで、関心のある前記冠動脈セクションが、1つまたは複数の分岐を含む場合、前記冠動脈の中心線が1つまたは複数の分岐を含む、本明細書の1つまたは複数の具体例の方法。
【0153】
具体例8
前記機械学習ベ-スのVOAモデルが、前記MPR画像内の前記VOIの前記軸方向軌跡に沿った近傍を分析するために使用される回帰型畳み込みニュ-ラルネットワ-ク(RCNN)に基づいていて、前記RCNNが、畳み込みニュ-ラルネットワ-ク(CNN)を、軸方向軌跡に沿った前記MPRの前記部分をシ-ケンシャル入力として分析するために直列に接続されている、回帰型ニュ-ラルネットワ-ク(RNN)に、直列に接続する、本明細書の1つまたは複数の具体例の方法。
【0154】
具体例9
前記機械学習ベ-スのVOAモデルが、少なくとも1つの畳み込みレイヤとそれに続く最大プ-リングレイヤを適用して、前記MPR画像から関心のある画像特徴を抽出し、そしてプラ-クタイプの検出、プラ-クタイプの特徴付け、狭窄の検出、または狭窄の解剖学的有意性の決定の内の少なくとも1つに対し分類器を使用する、本明細書の1つまたは複数の具体例の方法。
【0155】
具体例10
前記機械学習ベ-スのVOAモデルは、前記MPR画像に基づいて特徴ベクトルを作成するための特徴抽出を含み、前記特徴ベクトルが、画像の参照デ-タベ-スから測定されまたは抽出される一連の因子を備え、前記一連の因子が、関心のある前記血管の対応する壁領域の前記性質を記載または特徴付け、前記機械学習ベ-スのVOAモデルが、さらに、前記MPR画像から抽出された前記特徴ベクトルを分類する分類器を含む、本明細書の1つまたは複数の具体例の方法。
【0156】
具体例11
前記VOIパラメ-タが、冠動脈プラ-クタイプ、解剖学的冠動脈病変の重症度、または機能的に有意な冠動脈病変の重症度、の内の少なくとも1つを含み、前記機械学習ベ-スのVOAモデルが、i)機能的に有意な冠動脈病変の重症度、ii)プラ-クタイプ、またはiii)解剖学的冠動脈病変の重症度、の内の少なくとも1つを評価する、
本明細書の1つまたは複数の具体例の方法。
【0157】
具体例12
血管閉塞評価(VOA)モデルを訓練する方法であって、
複数の患者のボリュ-ム画像デ-タセットと対応する冠動脈疾患(CAD)関連の参照値とを含む訓練デ-タベ-スを取得するステップであって、前記ボリュ-ム画像デ-タセットが、関心のある血管を含む標的器官用であり、前記CAD関連の参照値が、前記対応する画像デ-タセット内の関心のある血管に沿った1つまたは複数のポイントに対応する、ステップ;および
前記ボリュ-ム画像デ-タセットと対応するCAD関連の参照値の少なくとも一部とに対して、
前記対応するボリュ-ム画像デ-タセット内の関心のある血管(VOI)に沿って延在する軸方向軌跡を抽出するサブステップ、
前記対応するボリュ-ム画像デ-タセットと前記VOIの前記軸方向軌跡とに基づいて、3次元(3D)多断面再フォ-マット(MPR)画像を作成するステップであって、前記MPR画像が、前記VOIの前記軸方向軌跡に沿って延在する、サブステップ、
前記MPR画像に基づいて機械学習ベ-スの血管閉塞評価(VOA)モデルを訓練するサブステップであって、前記訓練が、さらに、前記MPR画像から、前記VOI内の前記軸方向軌跡に沿ったCAD関連パラメ-タを特徴付ける特徴を抽出するサブステップ、
を備えるステップ、
を備える方法。
【0158】
具体例13
前記CAD関連参照値を、前記対応するMPR画像の空間座標に整合させることをさらに備える、本明細書の1つまたは複数の具体例の方法。
【0159】
具体例14
前記対応するMPR画像からキュ-ブのシ-ケンスを生成するステップであって、前記キュ-ブの各々が、前記対応するMPR画像からのボクセルのグル-プを含み、前記VOIのセクション内に作成されたキュ-ブの前記シ-ケンスが、結果的に、対応するセクションのキュ-ブのシ-ケンスとなる、ステップを、さらに、備える、本明細書の1つまたは複数の具体例の方法。
【0160】
具体例15
前記訓練が、さらに、畳み込みニュ-ラルネットワ-クを前記MPR画像のみのキュ-ブのシ-ケンスに適用して、を適用して、機械学習ベ-スのVOAモデルを構築することを備える、本明細書の1つまたは複数の具体例の方法。
【0161】
具体例16
前記適用は、軸方向軌跡に沿ったポイントでエンコ-ディングのセットを生成して、1次元(1D)シ-ケンスのセットを生成するステップをさらに含み、前記1Dシ-ケンスの各々は、VOIに沿った特定のエンコ-ディングを表し、この訓練は、さらに、前記1Dシ-ケンスに基づいて冠血流予備量比(FFR)分類器を学習する、教師あり学習分類器を適用するステップを備える、本明細書の1つまたは複数の具体例の方法。
【0162】
具体例17
関心のある血管を含む標的器官のボリュ-ム画像デ-タセットを格納するように構成されたメモリおよび
前記メモリに格納されたプログラム命令を実行するときに、
前記ボリュ-ム画像デ-タセット内の関心のある血管(VOI)に沿って延在する軸方向軌跡を抽出し、
前記ボリュ-ム画像デ-タセットとVOIの軸方向軌跡に基づいて、3次元(3D)多断面再フォ-マット(MPR)画像を作成し、そして
機械学習ベ-スの血管閉塞評価(VOA)モデルを使用して、前記MPR画像からVOIパラメ-タを抽出する
ように構成されている少なくとも1つのプロセッサ
を備える血管閉塞を評価するためのシステム。
【0163】
具体例18
前記1つまたは複数のプロセッサが、i)プラ-クタイプを検出するステップ、ii)血管閉塞の解剖学的重症度を分類するステップ、および/または/またはiii)ボリュ-ム画像デ-タセットの見えない部分内の血管閉塞の血行力学的重症度を分類するステップ、の内の少なくとも1つに予測フェ-ズを実施するように構成されている、本明細書の1つまたは複数の具体例のシステム。
【0164】
具体例19
前記機械学習ベ-スのVOAモデルが、前記MPR画像からのキュ-ブのシ-ケンスを生成し、キュ-ブの各々が、前記MPR画像からのボクセルのグル-プ、結果的に対応するセクションのキュ-ブのシ-ケンスになる、前記VOIのセクション内に作成されるキュ-ブのシ-ケンスを備える、本明細書の1つまたは複数の具体例のシステム。
【0165】
具体例20
前記機械学習ベ-スのVOAモデルが、キュ-ブの前記シ-ケンスから独立してキュ-ブに関連付けられている画像特徴を抽出する、本明細書の1つまたは複数の具体例のシステム。
【0166】
具体例21
前記機械学習が、シ-ケンシャルに前記画像の特徴を分析する、本明細書の1つまたは複数の具体例のシステム。
【0167】
具体例22
血管径の拡大に関連する前記VOIパラメ-タの抽出を容易にするために、前記キュ-ブのサイズが、前記VOIの管腔全体および前記管腔の外側の組織の一部を含むように定義されていて、血管径の拡大が、アテロ-ム性動脈硬化症のプラ-ク成長の方向を指す、本明細書の1つまたは複数の具体例のシステム。
【0168】
具体例23
前記軸方向軌跡が、前記VOIの冠動脈の中心線に対応し、前記冠動脈の中心線が、関心のある冠動脈セクションに沿った冠動脈内腔の中心を表し、前記軸方向軌跡が、単一の冠動脈、冠動脈分岐、または冠動脈ツリ-全体に対応することができ、関心のある前記冠動脈セクションが、1つまたは複数の分岐を含む場合、前記冠動脈の中心線が、1つまたは複数の分岐を含む、本明細書の1つまたは複数の具体例のシステム。
【0169】
具体例24
前記機械学習ベ-スのVOAモデルが、前記MPR画像内の前記VOIの前記軸方向軌跡に沿った近傍を分析するために使用される回帰型畳み込みニュ-ラルネットワ-ク(RCNN)に基づいていて、シ-ケンシャル入力としての前記軸方向の軌跡に沿って前記MPRの前記部分を分析するために、前記RCNNが、畳み込みニュ-ラルネットワ-ク(CNN)を、直列に接続されている回帰型ニュ-ラルネットワ-ク(RNN)に接続する、本明細書の1つまたは複数の具体例のシステム。
【0170】
具体例25
前記機械学習ベ-スのVOAモデルが、少なくとも1つの畳み込みレイヤとそれに続く最大プ-リングレイヤを適用して前記MPR画像から関心のある画像特徴を抽出し、そして分類器を使用して、プラ-クタイプの検出、プラ-クタイプの特徴付け、狭窄の検出および狭窄の解剖学的有意性の判断、の内の少なくとも1つを実行する、本明細書の1つまたは複数の具体例のシステム。
【0171】
具体例26
前記機械学習ベ-スのVOAモデルが、前記MPR画像に基づいて特徴ベクトルを作成するための特徴抽出を含み、前記特徴ベクトルが、画像の参照デ-タベ-スから測定または抽出される一連の因子を含み、前記一連の因子が、関心のある血管の対応する壁領域の前記性質を記載または特徴付けていて、前記機械学習ベ-スのVOAモデルが、さらに、前記MPR画像から抽出された前記特徴ベクトルを分類するための分類器を含む、本明細書の1つまたは複数の具体例のシステム。
【0172】
具体例27
前記VOIパラメ-タが、冠動脈プラ-クタイプ、解剖学的冠動脈病変の重症度、または機能的に有意な冠動脈病変の重症度、の内の少なくとも1つを含み、前記機械学習ベ-スのVOAモデルが、i)機能的に有意な冠動脈病変の重症度、ii)プラ-クタイプ、またはiii)解剖学的冠動脈病変の重症度、の内の少なくとも1つを評価する、本明細書の1つまたは複数の具体例のシステム。
【0173】
具体例28
複数の患者のボリュ-ム画像デ-タセットと対応する冠動脈疾患(CAD)関連の参照値を含む訓練デ-タベ-スを格納するように構成されているメモリであって、前記ボリュ-ム画像デ-タセットが、関心のある血管を含む標的器官用であり、前記CAD関連の参照値が、前記対応する画像デ-タセット内の関心のある血管に沿った1つまたは複数のポイントに対応する、メモリ;および
前記メモリに格納されたプログラム命令を実行するときに、ボリュ-ム画像デ-タセットおよび対応するCAD関連の参照値の少なくとも一部に対して、次のステップ、
対応するボリュ-ム画像デ-タセット内の関心のある血管(VOI)に沿って延在する軸方向軌跡を抽出するステップ、
対応するボリュ-ム画像デ-タセットとVOIの軸方向軌跡、VOIの軸方向軌跡に沿って延在するMPR画像に基づいて、3次元(3D)多断面再フォ-マット(MPR)画像を作成するステップ、および
MPR画像に基づいて機械学習ベ-スの血管閉塞評価(VOA)モデルを訓練するステップであって、これが、前記MPR画像から、前記VOI内の軸方向軌跡に沿ったCAD関連パラメ-タを特徴付ける特徴を抽出することに係る、ステップ
を実施するように構成された1つ以上のプロセッサ、
を備える、血管閉塞評価(VOA)モデルを訓練するためのシステム。
【0174】
具体例29
前記1つまたは複数のプロセッサが、さらに、前記CAD関連の参照値を前記対応するMPR画像の空間座標に整合させるように構成されている、本明細書の1つまたは複数の具体例のシステム。
【0175】
具体例30
前記1つまたは複数のプロセッサが、さらに、前記対応するMPR画像からキュ-ブのシ-ケンスを生成するように構成されていて、前記キュ-ブの各々が、前記対応するMPR画像からのボクセルのグル-プを含み、前記VOIのセクション内に作成されたキュ-ブの前記シ-ケンスが、結果的に、対応するセクションのキュ-ブのシ-ケンスである、本明細書の1つまたは複数の具体例のシステム。
【0176】
具体例31
前記1つまたは複数のプロセッサが、さらに、前記機械学習ベ-スのVOAモデルを構築するために、畳み込みニュ-ラルネットワ-クを前記MPR画像のみのキュ-ブのシ-ケンスに適用するように構成されている、本明細書の1つまたは複数の具体例のシステム。
【0177】
具体例32
前記1つまたは複数のプロセッサが、さらに、各々が、前記VOIに沿った特定のエンコ-ディングを表す1次元(1D)シ-ケンスのセットを形成するために、前記軸方向軌跡に沿ったポイントにエンコ-ディングのセットを生成し、および前記1Dシ-ケンスに基づいて冠血流予備量比(FFR)分類器を学習するために、教師あり学習分類器を適用して前記訓練を実行する、ように構成されている、本明細書の1つまたは複数の例のシステム。
【0178】
本出願の特定の実施形態が記載されて来たが、本出願が、分野が許す限り広い範囲であり、そして明細書がそのように読まれることが意図されているので、本出願がそれに限定されることは意図されていない。
【0179】
例えば、多相CCTAデ-タセットを使用することができ、灌流された腎臓に関連する腎動脈の機能的評価を開示された方法論に基づいて評価することができ、デ-タ処理操作は、医用画像手技で一般的に使用されているDICOM(Digital Imaging and Communications in Medicine)形式のPACSまたはVNAのような、デジタルストレ-ジに保存された画像に対してオフラインで実行させることができる。従って、当業者には、請求されたその精神および範囲から逸脱することなく、提供された出願にさらに他の修正を加えることができることが理解されるであろう。
【0180】
本明細書に記載の実施態様は、上述したように、様々なデ-タストレ-ジならびに他のメモリおよび格納媒体を含み得る。これらは、1つ以上のコンピュ-タに対してロ-カルな(および/またはそこに常駐する)格納媒体上、あるいはネットワ-クを介して任意のまたはすべてのコンピュ-タから離れた格納媒体上などの、さまざまな位置に存在することが出来る。特定の実施態様のセットでは、情報は、当業者に良く知られているストレ-ジエリアネットワ-ク(「SAN」)に存在してもよい。
【0181】
同様に、コンピュ-タ、サ-バまたは他のネットワ-クデバイスに起因する機能を実行するために必要なファイルは、必要に応じてロ-カルおよび/またはリモ-トに格納することができる。
【0182】
システムがコンピュ-タ化デバイスを含む場合、各デバイスは、バスを介して電気的に結合することができるハ-ドウェア要素を含むことができ、この要素は、例えば、少なくとも1つの中央処理ユニット(「CPU」または「プロセッサ」)、および少なくとも1つの入力デバイス(例えば、マウス、キ-ボ-ド、コントロ-ラ、タッチスクリ-ンまたはキ-パッド)および少なくとも1つの出力デバイス(例えば、表示デバイス、プリンタまたはスピ-カ)を含む。このようなシステムは、ディスクドライブ、光ストレ-ジ、およびランダムアクセスメモリ(「RAM」)または読み出し専用メモリ(「ROM」)などの固体ストレ-ジ、およびリム-バブルメディアデバイス、メモリカ-ド、フラッシュカ-ドなどの1つ以上のストレ-ジも含むことができる。
【0183】
このようなデバイスは、また、コンピュ-タ可読格納媒体リ-ダ、通信デバイス(例えば、モデム、ネットワ-クカ-ド(無線または有線)、赤外線通信デバイスなど)、および上述した作業メモリを含むことが出来る。
【0184】
コンピュ-タ可読格納媒体リ-ダは、リモ-ト、ロ-カル、固定、および/または取り外し可能なストレ-ジを表すコンピュ-タ可読格納媒体、ならびにコンピュ-タ可読情報の保存、送信、取得を一時的におよび/またはより恒久的に格納するための格納媒体に接続することが出来る、またはこれらを受入れるように構成することが出来る。システムおよび様々なデバイスは、また、典型的には、オペレ-ティングシステムおよびクライアントアプリケ-ションまたはウェブブラウザなどのアプリケ-ションプログラムを含む、少なくとも1つのワ-キングメモリデバイス内に配置されたいくつかのソフトウェアアプリケ-ション、モジュ-ル、サ-ビスまたは他の要素を含むであろう。
【0185】
当然のことながら、代替の実施態様は、上述したものに対する多数の変形例を有することが出来る。例えば、カスタマイズされたハ-ドウェアを、使用してもよく、および/または特定の要素を、ハ-ドウェア、ソフトウェア(アプレットなどの携帯用ソフトウェアを含む)またはその両方に実装させてもよい。
【0186】
さらに、ネットワ-ク入力/出力デバイスなどの他のコンピュ-ティングデバイスへの接続も使用することができる。
【0187】
様々な実施態様は、さらに、コンピュ-タ可読媒体上で前述の説明に従って実施された命令および/またはデ-タを、受信、送信、または格納することができる。コ-ド、またはコ-ドの一部を含むための格納媒体およびコンピュ-タ可読媒体は、コンピュ-タ可読命令、デ-タ構造、プログラムモジュ-ル、または他のデ-タのような、情報の格納および/または伝送のための任意の方法または技術で実施される揮発性および不揮発性、取り外し可能、およびこれらに限定されない、固定媒体、格納媒体および通信媒体を含む、当技術分野において既知のまたは使用される任意の適切な媒体を含むことが出来る。このような媒体には、RAM、ROM、電気的消去可能プログラマブル読み取り専用メモリ(「EEPROM」)、フラッシュメモリまたは他のメモリ技術、コンパクトディスク読み取り専用メモリ(「CD - ROM」)、デジタル多用途ディスク(DVD)または他の光学ストレ-ジ、磁気カセット、磁気テ-プ、磁気ディスクストレ-ジまたは他の磁気ストレ-ジデバイスまたは所望の情報を格納するために使用することができかつシステムデバイスによってアクセスすることが出来る他の任意の媒体が含まれる。本明細書に提供される開示および教示に基づいて、当業者は、様々な実施態様を実施するための他の方法および/または方法を理解するであろう。
【0188】
したがって、明細書および図面は、限定的な意味ではなく例示的なものと見なすべきである。しかしながら、特許請求の範囲に記載されているような本発明のより広い精神および範囲から逸脱することなく様々な修正および変更がなされ得ることは明らかであろう。
【0189】
本開示の精神の範囲内にある他の変形例がある。したがって、開示された技術は様々な修正および代替の構成を受け入れる余地があり、それらの特定の例示された実施態様は、図面に示されていて、上で詳細に説明されてきた。しかしながら、開示された特定の形態に本発明を限定する意図はない。それどころか、その意図は、特許請求の範囲に定義されているように、本発明の精神および範囲内にあるすべての修正形態、代替構造、および均等物を網羅することである。
【0190】
開示された実施態様を説明する文脈における(特に以下の特許請求の範囲の文脈における)用語「a」および「an」および「the」および類似の冠詞の使用は、本明細書に別段の指示がない限り、または文脈によって明らかに矛盾しない限り、単数形および複数形の両方を網羅すると解釈されるべきである。
【0191】
用語「含む(comprising)」、「有する(having)」、「含む(including)」、および「含有する(containing)」は、特に断りがない限り、制限しない用語として解釈されるべきである(すなわち、「・・を含むがこれらに限定されない」ことを意味する)。「接続された」という用語は、修正されずに物理的な接続を指す場合、たとえ介在するものがあっても、その一部または全部がその中に含まれる、つまり、共に取り付けられているまたは共に結合されていると解釈される。
【0192】
本明細書中の値の範囲の列挙は、本明細書中に別段の指示がない限り、単にその範囲内に含まれる各個別の値を個々に指す簡潔な方法として機能することを意図している。「セット」(例えば、「項目のセット」)または「サブセット」という用語の使用は、別段の記載がない限り、または文脈と矛盾しない限り、1つ以上の構成要素を含む空でない集合として解釈されるべきである。
【0193】
さらに、文脈によって特に指摘されないまたはそれと矛盾しない限り、対応するセットの「サブセット」という用語は、対応するセットの適切なサブセットを必ずしも意味しないが、サブセットと対応するセットは等しくてもよい。
【0194】
本明細書に記載の方法の操作は、本明細書に別段の指示がない限りまたは文脈と明らかに矛盾しない限り、任意の適切な順序で実行することが出来る。本明細書に記載のプロセス(またはその変形例および/または組み合わせ)は、実行可能命令で構成された1つ以上のコンピュ-タシステムの制御下で実行することができ、かつハ-ドウェアまたはそれらの組み合わせによって、1つ以上のプロセッサ上で集合的に実行するコ-ド(例えば、実行可能命令、1つ以上のコンピュ-タプログラムまたは1つまたは複数のアプリケ-ション)として実装することができる。コ-ドは、例えば、1つ以上のプロセッサによって実行可能な複数の命令を含むコンピュ-タプログラムの形で、コンピュ-タ可読格納媒体に格納することができる。コンピュ-タ可読格納媒体は、非一時的としてもよい。
【0195】
本発明を実施するために本発明者らが知っている最良の形態を含め、本開示の好ましい実施態様が、本明細書に記載されている。これらの好ましい実施態様の変形例は、前述の説明を読めば当業者には明らかになるであろう。本発明者らは、当業者がそのような変形形態を適切に使用することを予想しており、かつ本発明者らは、本明細書に具体的に記載されたものとは別の方法で本開示の実施態様が実施されることを意図する。
【0196】
したがって、本開示の範囲は、適用法によって許容されるように、本明細書に添付の特許請求の範囲に記載の主題のすべての修正形態および均等物を含む。さらに、そのすべての可能な変形形態における上記の要素の任意の組み合わせは、本明細書で別段に示されない限り、または文脈によって明らかに否定されない限り、本開示の範囲に含まれる。
【0197】
本明細書に引用した刊行物、特許出願および特許を含む全ての参考文献は、あたかも各参考文献が個別におよび具体的に参照により組み込まれることが示され、その全体が本明細書に記載されるのと同程度に参照により本明細書に組み込まれている。
図1
図2
図3
図4
図5a
図5b
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21a
図21b
図22
図23
図24
図25
図26
図27
図28