(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-04-03
(54)【発明の名称】管腔中心に対するカルシウムアークの計算
(51)【国際特許分類】
A61B 1/045 20060101AFI20240327BHJP
【FI】
A61B1/045 615
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023565321
(86)(22)【出願日】2022-04-22
(85)【翻訳文提出日】2023-12-22
(86)【国際出願番号】 US2022025961
(87)【国際公開番号】W WO2022226314
(87)【国際公開日】2022-10-27
(32)【優先日】2021-04-22
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】509128672
【氏名又は名称】ライトラボ・イメージング・インコーポレーテッド
(74)【代理人】
【識別番号】100099623
【氏名又は名称】奥山 尚一
(74)【代理人】
【識別番号】100125380
【氏名又は名称】中村 綾子
(74)【代理人】
【識別番号】100142996
【氏名又は名称】森本 聡二
(74)【代理人】
【識別番号】100166268
【氏名又は名称】田中 祐
(74)【代理人】
【氏名又は名称】池本 理絵
(72)【発明者】
【氏名】コネリー,ティモシー,プレストン
(72)【発明者】
【氏名】グリフィン,クリストファー,エリック
(72)【発明者】
【氏名】リ,シミン
【テーマコード(参考)】
4C161
【Fターム(参考)】
4C161AA22
4C161BB07
4C161WW02
4C161WW04
4C161WW10
4C161WW13
4C161WW14
(57)【要約】
管腔中心のカルシウムアークを計算するコンピュータ可読記憶媒体を含む方法、システム、及び装置を提供する。本方法は、1つ以上のプロセッサが、画像フレーム及び画像フレーム内のプラーク領域の識別情報を受信するステップを含む。ここで、画像フレームは、画像化デバイスが画像フレーム内に描写された管腔内にある間に撮影される。1つ以上のプロセッサは、画像フレーム内の管腔の管腔中心を特定し、少なくとも管腔中心を使用して、管腔中心を中心とするカバレッジ角度を有する管腔中心の周りのアークを生成する。
【選択図】
図5A-
図5B
【特許請求の範囲】
【請求項1】
1つ以上のプロセッサが、画像フレームと、前記画像フレーム内のプラーク領域の識別情報とを受信するステップであって、ここで、前記画像フレームは、画像化デバイスが前記画像フレーム内に描写された管腔内にあった間に前記画像化デバイスによって撮影されるものである、ステップと、
前記1つ以上のプロセッサが、前記画像フレーム内に描写された前記管腔の管腔中心を特定するステップと、
前記1つ以上のプロセッサが、少なくとも前記管腔中心を使用して、前記管腔中心を中心とするカバレッジ角度を有する管腔中心のアークを生成するステップと
を含んでなる方法。
【請求項2】
前記プラーク領域の前記識別情報は、マスクを含み、前記マスク内のピクセルの領域は、前記画像フレーム内に描写された前記プラーク領域に対応する、請求項1に記載の方法。
【請求項3】
前記プラーク領域のエンドポイントを特定するステップであって、前記プラーク領域に接する線が、前記エンドポイント及び前記管腔中心を通過するものである、ステップを更に含み、前記プラーク領域に接する前記線は、前記管腔中心のアークの前記カバレッジ角度を定義する、請求項1に記載の方法。
【請求項4】
前記プラーク領域の前記識別情報は、マスクを含み、前記マスク内のピクセルの領域は、前記画像フレーム内の前記プラーク領域に対応し、
前記識別情報は、前記プラーク領域に対応する前記マスク内の前記ピクセルの位置であって、前記画像化デバイスが前記管腔内にあった間の前記画像化デバイスのデバイス中心に対する極座標として表現される、位置を定義するデータを含み、
前記方法は、前記ピクセルの位置を、前記デバイス中心に対する極座標から前記管腔中心に対する極座標に変換するステップを更に含む、請求項1に記載の方法。
【請求項5】
前記管腔中心を特定するステップは、
前記管腔の管腔輪郭を計算することと、
前記管腔輪郭のスプライン推定値を生成することと、
前記スプライン推定値の複数のサンプルから重心の推定値として前記管腔中心を特定することと
を含む、請求項1に記載の方法。
【請求項6】
前記画像フレームは、第1の画像フレームであり、シーケンス内の複数の画像フレームのうちの1つであり、
前記管腔中心は、第1の管腔中心であり、
前記シーケンス内の前記複数の画像フレームのそれぞれについて、それぞれの管腔中心を特定するステップと、
前記第1の画像フレーム及び前記第1の管腔中心を含む前記複数の画像フレームのそれぞれについて、前記それぞれの管腔中心にローパス平滑化フィルタを適用するステップと、
少なくとも、前記ローパス平滑化フィルタを適用した後の前記管腔中心と、デバイス中心のアークのエンドポイントとを使用して、前記平滑化済みの管腔中心を中心とするカバレッジ角度を有する第2の管腔中心のアークを生成するステップと
を更に含む、請求項1に記載の方法。
【請求項7】
前記ローパス平滑化フィルタを適用するステップは、
前記シーケンスの中間における前記画像フレームの前記管腔中心の周りで対称である、前記複数の画像フレームの管腔中心のアレイ上で前記ローパス平滑化フィルタを適用することを更に含み、前記フィルタは、前記第1の画像フレームに適用される1つ以上のフィルタ係数であって、前記シーケンスの中間における前記画像フレームと前記第1の画像フレームとの間の相対フレームインデックスに少なくとも依存する、1つ以上のフィルタ係数を更に含む、請求項6に記載の方法。
【請求項8】
前記シーケンス内の前記複数の画像フレームのそれぞれについて前記それぞれの管腔中心を特定するステップは、
前記管腔からのそれぞれの側枝を描写する1つ以上の画像フレームを特定することと、
前記1つ以上の画像フレームのそれぞれについて、前記それぞれの側枝を描写していない前記シーケンス内の隣接する画像フレームの管腔中心からそれぞれの管腔中心を補間することと
を更に含む、請求項6に記載の方法。
【請求項9】
前記1つ以上のプロセッサによって、前記管腔中心のアークの前記カバレッジ角度を少なくとも部分的に使用して、前記プラーク領域に対応する1つ以上のカルシウムスコアリングメトリック値を生成するステップを更に含む、請求項1に記載の方法。
【請求項10】
前記プラーク領域は、前記画像フレーム内の複数のプラーク領域のうちの第1のプラーク領域であり、
前記方法は、前記複数のプラーク領域のそれぞれについて、前記管腔中心を中心とするそれぞれのカバレッジ角度を有するそれぞれの管腔中心のアークを生成するステップを更に含む、請求項1に記載の方法。
【請求項11】
1つ以上のプロセッサを備えており、該1つ以上のプロセッサは、
画像フレームと、前記画像フレーム内のプラーク領域の識別情報とを受信することであって、ここで、前記画像フレームは、画像化デバイスが前記画像フレーム内に描写された管腔内にあった間に前記画像化デバイスによって撮影されるものである、ことと、
前記画像フレーム内に描写された前記管腔の管腔中心を特定することと、
少なくとも前記管腔中心を使用して、前記管腔中心を中心とするカバレッジ角度を有する管腔中心のアークを生成することと
を行うように構成されているシステム。
【請求項12】
前記プラーク領域の前記識別情報は、マスクを含み、前記マスク内のピクセルの領域は、前記画像フレーム内に描写された前記プラーク領域に対応する、請求項11に記載のシステム。
【請求項13】
前記1つ以上のプロセッサは、
前記プラーク領域のエンドポイントを特定するように更に構成され、前記プラーク領域に接する線が、前記エンドポイント及び前記管腔中心を通過し、前記プラーク領域に接する前記線は、前記管腔中心のアークの前記カバレッジ角度を定義する、請求項11に記載のシステム。
【請求項14】
前記プラーク領域の前記識別情報は、マスクを含み、前記マスク内のピクセルの領域は、前記画像フレーム内の前記プラーク領域に対応し、
前記識別情報は、前記プラーク領域に対応する前記マスク内の前記ピクセルの位置であって、前記画像化デバイスが前記管腔内にあった間の前記画像化デバイスのデバイス中心に対する極座標として表現される、位置を定義するデータを含み、
前記1つ以上のプロセッサは、前記ピクセルの位置を、前記デバイス中心に対する極座標から前記管腔中心に対する極座標に変換するように更に構成される、請求項11に記載のシステム。
【請求項15】
前記ピクセルの位置を変換することは、
前記ピクセルの位置を前記デバイス中心に対する極座標からデカルト座標に変換することと、
前記ピクセルの位置をデカルト座標から前記管腔中心に対する極座標に変換することと
を更に含む、請求項14に記載のシステム。
【請求項16】
前記管腔中心を特定するために、前記1つ以上のプロセッサは、
前記管腔の管腔輪郭を計算することと、
前記管腔輪郭のスプライン推定値を生成することと、
前記スプライン推定値の複数のサンプルから重心の推定値として前記管腔中心を特定することと
を行うように更に構成される、請求項11に記載のシステム。
【請求項17】
前記画像フレームは、第1の画像フレームであり、シーケンス内の複数の画像フレームのうちの1つであり、
前記管腔中心は、第1の管腔中心であり、
前記1つ以上のプロセッサは、
前記シーケンス内の前記複数の画像フレームのそれぞれについて、それぞれの管腔中心を特定することと、
前記第1の画像フレーム及び前記第1の管腔中心を含む前記複数の画像フレームのそれぞれについて、前記それぞれの管腔中心にローパス平滑化フィルタを適用することと、
少なくとも、前記ローパス平滑化フィルタを適用した後の前記管腔中心と、デバイス中心のアークのエンドポイントとを使用して、前記平滑化済みの管腔中心を中心とするカバレッジ角度を有する第2の管腔中心のアークを生成することと
を行うように更に構成される、請求項11に記載のシステム。
【請求項18】
前記1つ以上のプロセッサは、
前記1つ以上のプロセッサに結合されたディスプレイ上に、前記管腔中心のアークを用いて注釈付けされた前記画像フレームを表示するように更に構成される、請求項11に記載のシステム。
【請求項19】
前記管腔中心のアークを用いて注釈付けされた前記画像フレームを表示するために、前記1つ以上のプロセッサは、
境界を有するディスプレイビューポートの視野内に前記画像フレームを表示することであって、前記ディスプレイビューポートの前記境界に沿って前記管腔中心のアークを表示することを含むことを行うように更に構成される、請求項18に記載のシステム。
【請求項20】
1つ以上のプロセッサによって実行されたときに、該1つ以上のプロセッサに動作を実施させる命令を記憶する1つ以上の非一時的コンピュータ可読記憶媒体であって、前記動作は、
前記1つ以上のプロセッサが、画像フレームと、前記画像フレーム内のプラーク領域の識別情報とを受信することであって、前記画像フレームは、画像化デバイスが前記画像フレーム内に描写された管腔内にあった間に前記画像化デバイスによって撮影されるものである、ことと、
前記1つ以上のプロセッサが、前記画像フレーム内に描写された前記管腔の管腔中心を特定することと、
前記1つ以上のプロセッサが、少なくとも前記管腔中心を使用して、前記管腔中心を中心とするカバレッジ角度を有する管腔中心のアークを生成することと
を含んでなる、非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
[関連出願の相互参照]
本出願は、2021年4月22日に出願された「CALCIUM ARC COMPUTATION RELATIVE TO LUMEN CENTER」と題する米国仮特許出願第63/178,388号の出願日の利益を主張し、その開示内容は、引用することによって本明細書の一部をなすものとする。
【背景技術】
【0002】
光コヒーレンス断層撮影(OCT:optical coherence tomography)は、眼科学、心臓病学、胃腸病学、並びに医学及び科学的研究の他の分野において広範な用途を有する画像化技術である。OCTは、血管内超音波法(IVUS:intravascular ultrasound)、血管造影法、蛍光透視法、及びX線ベース画像化等の様々な他の画像化技術と併せて使用することができる。
【0003】
画像化を実施するために、画像化プローブは、カテーテル上に搭載することができ、患者の血管等の関心点を通るように操作することができる。画像化プローブは、関心点の複数の画像フレームを送ることができ、これらの画像フレームは、例えば、病状を有する患者を診断するために、又は科学的研究の一部として、更に処理又は分析することができる。正常な動脈は、内膜(intima)、中膜(media)、及び外膜(adventitia)を含む層状構造を有している。アテローム性動脈硬化症(atherosclerosis)等のいくつかの医学的状態の結果として、動脈の内膜又は他の部分は、異なるタイプの繊維、プロテオグリカン(proteoglycan)、脂質、又はカルシウムから形成され得るプラークを含む場合がある。
【発明の概要】
【0004】
本開示のいくつかの態様は、管腔の周りの組織内のプラーク領域に対応するアークのカバレッジ角度(coverage angle)を計算することである。本明細書で説明されるように構成されたシステムは、管腔の周囲の組織におけるカルシウム等のプラークの識別情報を含む画像データを受信することができる。システムは、デバイスが画像を取り込んだ時点における管腔内のデバイスの位置に対するデバイスを中心とするアークのカバレッジ角度を計算することができる。システムは、管腔の中心点を計算し、この管腔中心を使用して、管腔の中心を基準とするアーク(管腔中心のアーク、lumen-centered arc)と、このアークに対応するカバレッジ角度とを生成することができる。処理された画像は、管腔中心のアークを用いて注釈付けすることができ、これは、画像を分析することの一部として、例えば、カルシウムスコアリング(calcium scoring)の原理の下で画像内のプラークを評価することの一部として、更に使用することができる。
【0005】
カルシウムスコアリング用の管腔を中心とするアークを有する画像フレームを提供することに加えて、管腔中心のアークは、デバイス中心のアークと比較してフレーム間の変動が少ないディスプレイビューポートを通して表示することができる。少なくとも画像化デバイスの画像化プローブの位置が管腔内で画像化デバイスが操作されるにつれて変動する可能性があるため、デバイスの中心を基準とするアークは、引き戻し中に同じ管腔のフレーム間で大幅に変動する可能性がある。加えて、画像フレームを見るために設定された視野(FOV:field-of-view)に応じて、デバイス中心のアークは、アークに対応するプラークの対応する検出領域よりも大きく又は小さく見えることがある。本明細書で説明されるように計算された管腔中心のアークは、異なるFOV及び/又はフレーム間の画像化デバイスの位置の変化によって引き起こされる前述の不規則な変動なしに表示することができる。
【0006】
本開示の態様は、1つ以上のプロセッサが、画像フレームと、画像フレーム内のプラーク領域の識別情報とを受信するステップであって、画像フレームは、画像化デバイスが画像フレーム内に描写された管腔内にあった間に画像化デバイスによって撮影されるものであるステップと、1つ以上のプロセッサが、画像フレーム内に描写された管腔の管腔中心を特定するステップと、1つ以上のプロセッサが、少なくとも管腔中心を使用して、管腔中心を中心とするカバレッジ角度を有する管腔中心のアークを生成するステップとを含んでなる方法を提供する。
【0007】
プラーク領域の識別情報は、マスクを含むことができ、マスク内のピクセルの領域は、画像フレーム内に描写されたプラーク領域に対応する。
【0008】
本方法は、プラーク領域のエンドポイントを特定するステップであって、プラーク領域に接する線が、エンドポイント及び管腔中心を通過するものであるステップを更に含むことができ、プラーク領域に接する線は、管腔の中心を基準とするアーク(管腔中心のアーク)のカバレッジ角度を定義する。
【0009】
管腔中心のアークを生成するステップは、管腔中心のアークの表現をメモリに記憶することを更に含むことができ、該表現は、エンドポイント及び管腔中心の位置を定義する位置データを含み得る。
【0010】
プラーク領域の識別情報は、マスクを含むことができ、マスク内のピクセルの領域は、画像フレーム内のプラーク領域に対応し、識別情報は、プラーク領域に対応するマスク内のピクセルの位置であって、画像化デバイスが管腔内にあった間の画像化デバイスのデバイス中心に対する極座標として表現される、位置を定義するデータを含むことができ、本方法は、ピクセルの位置をデバイス中心に対する極座標から管腔中心に対する極座標に変換するステップを更に含むことができる。
【0011】
ピクセルの位置を変換することは、ピクセルの位置をデバイス中心に対する極座標からデカルト座標に変換することと、ピクセルの位置をデカルト座標から管腔中心に対する極座標に変換することとを含み得る。
【0012】
本方法は、プラーク領域の識別情報を画像フレームから生成するステップを更に含むことができ、これは、画像フレームを受信し、画像フレーム内のプラークの1つ以上の予測領域を特定するように訓練された1つ以上の機械学習モデルを通じて、画像フレームを処理することを含む。
【0013】
管腔中心を特定するステップは、管腔の管腔輪郭を計算することと、管腔輪郭のスプライン推定値を生成することと、スプライン推定値の複数のサンプルから重心の推定値として管腔中心を特定することとを含むことができる。
【0014】
画像フレームは、第1の画像フレームとすることができ、シーケンス内の複数の画像フレームのうちの1つであり、管腔中心は、第1の管腔中心であり、本方法は、シーケンス内の複数の画像フレームのそれぞれについて、それぞれの管腔中心を特定するステップと、第1の画像フレーム及び第1の管腔中心を含む複数の画像フレームのそれぞれについて、それぞれの管腔中心にローパス平滑化フィルタを適用するステップと、ローパス平滑化フィルタを適用した後の管腔中心と、デバイス中心のアークのエンドポイントとを少なくとも使用して、平滑化済みの管腔中心を中心とするカバレッジ角度を有する第2の管腔中心のアークを生成するステップとを更に含むことができる。
【0015】
ローパス平滑化フィルタを適用するステップは、シーケンスの中間における画像フレームの管腔中心の周りで対称である、複数の画像フレームの管腔中心のアレイ上でローパス平滑化フィルタを適用することを更に含むことができ、フィルタは、第1の画像フレームに適用される1つ以上のフィルタ係数であって、シーケンスの中間における画像フレームと第1の画像フレームとの間の相対フレームインデックスに少なくとも依存する、1つ以上のフィルタ係数を更に含むことができる。
【0016】
シーケンス内の複数の画像フレームのそれぞれについてそれぞれの管腔中心を特定するステップは、管腔からのそれぞれの側枝を描写する1つ以上の画像フレームを特定することと、1つ以上の画像フレームのそれぞれについて、それぞれの側枝を描写していないシーケンス内の隣接する画像フレームの管腔中心からそれぞれの管腔中心を補間することとを更に含むことができる。
【0017】
本方法は、1つ以上のプロセッサに結合されたディスプレイ上に、管腔中心のアークを用いて注釈付けされた画像フレームを表示するステップを更に含み得る。
【0018】
管腔中心のアークを用いて注釈付けされた画像フレームを表示するステップは、ディスプレイビューポートの境界に沿って管腔中心のアークを表示することを含む、境界を有するディスプレイビューポートの視野内に画像フレームを表示することを更に含み得る。
【0019】
画像化デバイスは、光コヒーレンス断層撮影(OCT)画像化デバイス又は血管内超音波(IVUS)画像化デバイスであり得る。
【0020】
本方法は、1つ以上のプロセッサが、管腔中心のアークのカバレッジ角度を少なくとも部分的に使用して、プラーク領域に対応する1つ以上のカルシウムスコアリングメトリック値を生成するステップを更に含むことができる。
【0021】
プラーク領域は、画像フレーム内の複数のプラーク領域のうちの第1のプラーク領域とすることができ、本方法は、複数のプラーク領域のそれぞれについて、管腔中心を中心とするそれぞれのカバレッジ角度を有するそれぞれの管腔中心のアークを生成するステップを更に含むことができる。
【0022】
プラーク領域はカルシウムであり得る。
【0023】
本開示のいくつかの態様は、1つ以上のプロセッサを備え、該1つ以上のプロセッサは、画像フレームと、該画像フレーム内のプラーク領域の識別情報とを受信することと、ここで、画像フレームは、画像化デバイスがその画像フレーム内に描写された管腔内にある間にこの画像化デバイスによって撮影されるものであり、前記画像フレーム内に描写された管腔の管腔中心を特定することと、少なくともこの管腔中心を使用して、前記管腔中心を中心とするカバレッジ角度を有する管腔中心のアークを生成することとを行うように構成されるシステムも提供する。
【0024】
プラーク領域の識別情報は、マスクを含むことができ、マスク内のピクセルの領域は、画像フレーム内に描写されたプラーク領域に対応する。
【0025】
1つ以上のプロセッサは、プラーク領域のエンドポイントを特定するように更に構成することができ、プラーク領域に接する線が、エンドポイント及び管腔中心を通過し、プラーク領域に接する線は、管腔中心のアークのカバレッジ角度を定義する。
【0026】
管腔中心のアークを生成するために、1つ以上のプロセッサは、管腔中心のアークの表現をメモリに記憶するように更に構成され、該表現は、エンドポイント及び管腔中心の位置を定義する位置データを含み得る。
【0027】
プラーク領域の識別情報は、マスクを含むことができ、マスク内のピクセルの領域は、画像フレーム内のプラーク領域に対応し、識別情報は、プラーク領域に対応するマスク内のピクセルの位置であって、画像化デバイスが管腔内にあった間の画像化デバイスのデバイス中心に対する極座標として表現される、位置を定義するデータを含むことができ、1つ以上のプロセッサは、ピクセルの位置をデバイス中心に対する極座標から管腔中心に対する極座標に変換するように更に構成される。
【0028】
ピクセルの位置を変換することは、ピクセルの位置をデバイス中心に対する極座標からデカルト座標に変換することと、ピクセルの位置をデカルト座標から管腔中心に対する極座標に変換することとを更に含み得る。
【0029】
1つ以上のプロセッサは、画像フレームを受信し、画像フレーム内のプラークの1つ以上の予測領域を特定するように訓練された1つ以上の機械学習モデルを通じて画像フレームを処理することを含む、画像フレームからプラーク領域の識別情報を生成するように更に構成することができる。
【0030】
管腔中心を特定するために、1つ以上のプロセッサは、管腔の管腔輪郭を計算することと、管腔輪郭のスプライン推定値を生成することと、スプライン推定値の複数のサンプルから重心の推定値として管腔中心を特定することとを行うように更に構成することができる。
【0031】
画像フレームは、第1の画像フレームとすることができ、シーケンス内の複数の画像フレームのうちの1つであり、管腔中心は、第1の管腔中心であり、1つ以上のプロセッサは、シーケンス内の複数の画像フレームのそれぞれについて、それぞれの管腔中心を特定することと、第1の画像フレーム及び第1の管腔中心を含む複数の画像フレームのそれぞれについて、それぞれの管腔中心にローパス平滑化フィルタを適用することと、少なくとも、ローパス平滑化フィルタを適用した後の管腔中心と、デバイス中心のアークのエンドポイントとを使用して、平滑化済みの管腔中心を中心とするカバレッジ角度を有する第2の管腔中心のアークを生成することとを行うように更に構成される。
【0032】
ローパス平滑化フィルタを適用するために、1つ以上のプロセッサは、シーケンスの中間における画像フレームの管腔中心の周りで対称である、複数の画像の管腔中心のアレイ上でローパス平滑化フィルタを適用するように更に構成することができ、フィルタは、第1の画像フレームに適用される1つ以上のフィルタ係数であって、シーケンスの中間における画像フレームと第1の画像フレームとの間の相対フレームインデックスに少なくとも依存する、1つ以上のフィルタ係数を更に含み得る。
【0033】
シーケンス内の複数の画像フレームのそれぞれについてそれぞれの管腔中心を特定するために、1つ以上のプロセッサは、管腔からのそれぞれの側枝を描写する1つ以上の画像フレームを特定し、1つ以上の画像フレームのそれぞれについて、それぞれの側枝を描写していないシーケンス内の隣接する画像フレームの管腔中心からそれぞれの管腔中心を補間するように更に構成され得る。
【0034】
本方法は、1つ以上のプロセッサに結合されるディスプレイ上に、管腔中心のアークを用いて注釈付けされた画像フレームを表示することを更に含み得る。
【0035】
管腔中心のアークを用いて注釈付けされた画像フレームを表示するために、1つ以上のプロセッサは、境界を有するディスプレイビューポートの視野内に画像フレームを表示することであって、ディスプレイビューポートの境界に沿って管腔中心のアークを表示することを含むことを行うように更に構成することができる。
【0036】
画像化デバイスは、光コヒーレンス断層撮影(OCT)画像化デバイス又は血管内超音波(IVUS)画像化デバイスであり得る。
【0037】
1つ以上のプロセッサは、管腔中心のアークのカバレッジ角度を少なくとも部分的に使用して、プラーク領域に対応する1つ以上のカルシウムスコアリングメトリック値を生成するように更に構成することができる。
【0038】
プラーク領域は、画像フレーム内の複数のプラーク領域のうちの第1のプラーク領域であり、1つ以上のプロセッサは、複数のプラーク領域のそれぞれについて、管腔中心を中心とするそれぞれのカバレッジ角度を有する、それぞれの管腔中心のアークを生成するように更に構成される。
【0039】
本開示の態様は、1つ以上のプロセッサによって実行されたときに、1つ以上のプロセッサに動作を実施させる命令を記憶する1つ以上の非一時的コンピュータ可読記憶媒体であって、動作は、1つ以上のプロセッサによって、画像フレームと、画像フレーム内のプラーク領域の識別情報とを受信することであって、画像フレームは、画像化デバイスが画像フレーム内に描写された管腔内にあった間に画像化デバイスによって撮影されることと、1つ以上のプロセッサによって、画像フレーム内に描写された管腔の管腔中心を特定することと、1つ以上のプロセッサによって、少なくとも管腔中心を使用して、管腔中心を中心とするカバレッジ角度を有する管腔中心のアークを生成することとを含む、非一時的コンピュータ可読記憶媒体も提供する。
【0040】
プラーク領域の識別情報は、マスクを含むことができ、マスク内のピクセルの領域は、画像フレーム内のプラーク領域に対応する。
【0041】
動作は、プラーク領域のエンドポイントを特定することであって、プラーク領域に接する線が、エンドポイント及び管腔中心を通過することを更に含むことができ、プラーク領域に接する線は、管腔中心のアークのカバレッジ角度を定義する。
【0042】
管腔中心のアークを生成することは、管腔中心のアークの表現をメモリに記憶することを更に含むことができ、該表現は、エンドポイント及び管腔中心の位置を定義する位置データを含み得る。
【0043】
プラーク領域の識別情報は、マスクを含むことができ、マスク内のピクセルの領域は、画像フレーム内のプラーク領域に対応し、識別情報は、プラーク領域に対応するマスク内のピクセルの位置であって、画像化デバイスが管腔内にあった間の画像化デバイスのデバイス中心に対する極座標として表現される、位置を定義するデータを含むことができ、動作は、ピクセルの位置をデバイス中心に対する極座標から管腔中心に対する極座標に変換することを更に含むことができる。
【0044】
ピクセルの位置を変換することは、ピクセルの位置をデバイス中心に対する極座標からデカルト座標に変換することと、ピクセルの位置をデカルト座標から管腔中心に対する極座標に変換することとを更に含むことができる。
【0045】
動作は、画像フレームからプラーク領域の識別情報を生成することを更に含むことができ、これは、画像フレームを受信し、画像フレーム内のプラークの1つ以上の予測領域を特定するように訓練された1つ以上の機械学習モデルを通じて、画像フレームを処理することを含む。
【0046】
管腔の中心点を特定することは、管腔の管腔輪郭を計算することと、管腔輪郭のスプライン推定値を生成することと、スプライン推定値の複数のサンプルから重心の推定値として管腔中心を特定することとを含み得る。
【0047】
画像フレームは、第1の画像フレームであり、シーケンス内の複数の画像フレームのうちの1つであり、管腔中心は、第1の管腔中心であり、動作は、シーケンス内の複数の画像フレームのそれぞれについて、それぞれの管腔中心を特定することと、第1の画像フレーム及び第1の管腔中心を含む複数の画像フレームのそれぞれについて、それぞれの管腔中心にローパス平滑化フィルタを適用することと、少なくとも、ローパス平滑化フィルタを適用した後の管腔中心と、デバイス中心のアークのエンドポイントとを使用して、平滑化済みの管腔中心を中心とするカバレッジ角度を有する第2の管腔中心のアークを生成することとを更に含むことができる。
【0048】
ローパス平滑化フィルタを適用することは、シーケンスの中間における画像フレームの管腔中心の周りで対称である、複数の画像の管腔中心のアレイ上でローパス平滑化フィルタを適用することを更に含むことができ、フィルタは、第1の画像フレームに適用される1つ以上のフィルタ係数であって、シーケンスの中間における画像フレームと第1の画像フレームとの間の相対フレームインデックスに少なくとも依存する、1つ以上のフィルタ係数を更に含み得る。
【0049】
シーケンス内の複数の画像フレームのそれぞれについてそれぞれの管腔中心を特定することは、管腔のそれぞれの側枝を描写する1つ以上の画像フレームを特定することと、1つ以上の画像フレームのそれぞれについて、それぞれの側枝を描写していないシーケンス内の隣接する画像フレームの管腔中心からそれぞれの管腔中心を補間することとを更に含み得る。
【0050】
動作は、1つ以上のプロセッサに結合されるディスプレイ上に、管腔中心のアークを用いて注釈付けされた画像フレームを表示することを更に含み得る。
【0051】
管腔中心のアークを用いて注釈付けされた画像フレームを表示することは、境界を有するディスプレイビューポートの視野内に画像フレームを表示することであって、ディスプレイビューポートの境界に沿って管腔中心のアークを表示することを含むことを更に含み得る。
【0052】
本方法は、カバレッジ角度と、画像フレームを表示するように構成されたディスプレイデバイスのディスプレイポートの円周とに基づいて、カバレッジ角度に対応する表示角度を生成することを含み得る。
【0053】
表示角度を生成することは、画像フレームを表示する表示デバイスの視野値が変化したという指示を受信したことに応答して、表示角度を生成することを含み得る。
【0054】
1つ以上のプロセッサは、カバレッジ角度と、画像フレームを表示するように構成されたディスプレイデバイスのディスプレイポートの円周とに基づいて、カバレッジ角度に対応する表示角度を生成するように更に構成することができる。
【0055】
表示角度を生成するために、1つ以上のプロセッサは、画像フレームを表示するディスプレイデバイスの視野値が変化したという指示を受信したことに応答して、表示角度を生成するように更に構成される。
【0056】
動作は、カバレッジ角度と、画像フレームを表示するように構成されたディスプレイデバイスのディスプレイポートの円周とに基づいて、カバレッジ角度に対応する表示角度を生成することを更に含み得る。
【0057】
表示角度を生成することは、画像フレームを表示する表示デバイスの視野値が変化したという指示を受信したことに応答して、表示角度を生成することを含み得る。
【図面の簡単な説明】
【0058】
【
図1】本開示の態様による、管腔の中心を基準とするカルシウムアークを用いて注釈付けされた画像フレームを示す図である。
【
図2】本開示の態様による、例示的な画像処理システムのブロック図である。
【
図3】本開示の態様による、管腔の中心を基準とするカルシウムアークを計算する例示的なプロセスのフローチャートである。
【
図4A】デバイスの中心を基準とするカルシウムアークを示す図である。
【
図4B】
図4Aに示すカルシウム領域のカルシウムマスクを示す図である。
【
図5A】画像フレーム内のデバイスの中心を基準とするカルシウムアーク及び管腔の中心を基準とするカルシウムアークの両方からのカバレッジ角度を示す図である。
【
図5B】
図5Aに示すようなエンドポイント間のカルシウム領域を特定するカルシウムマスクを示す図である。
【
図6】本開示の態様による、画像フレーム内の管腔の中心を基準とするカルシウムアークを計算する例示的なプロセスのフローチャートである。
【
図7】画像フレームの上部及び下部にまたがるカルシウムマスクを示す図である。
【
図8】本開示の態様による、画像フレームの管腔中心を特定する例示的なプロセスのフローチャートである。
【
図9】本開示の態様による、画像フレームのシーケンスの管腔中心を平滑化する例示的なプロセスのフローチャートである。
【
図10】相対フレームインデックスとフィルタ重みとの間の関係を示すチャートである。
【発明を実施するための形態】
【0059】
(概要)
本開示の態様は、少なくとも管腔の中心を使用して、管腔の画像フレーム内のカルシウム領域の管腔の中心を基準とするカルシウムアーク(管腔中心のカルシウムアーク)を計算することを提供する。
【0060】
カルシウムアークは、カルシウムが管腔の周囲の組織において形成される角度の尺度である。例えば、管腔の半分の周りの組織内のカルシウムは、180度のカバレッジ角度を有するカルシウムアークを形成し、管腔の4分の3の周りの組織内のカルシウムは、270度のカバレッジ角度を有するカルシウムアークを形成する。本明細書では、組織内のカルシウムに対応するカルシウムアークを参照するが、本開示の態様は、管腔の周囲の組織内のプラーク及び他の特定された関心領域に記載された技術を適用することも含む。プラーク領域の他の例として、繊維又は脂質が挙げられる。
【0061】
画像化プローブを有するカテーテル等の画像化デバイスは、管腔を通して操作され、画像フレームのシーケンスとして画像を撮影するように構成され得る。デバイスから収集された生画像フレームは、最初に、画像が取り込まれた時点における管腔内のプローブの位置に対して中心に置かれる。本明細書では、画像フレーム内のデバイス中心とは、画像化プローブが画像フレームを取り込んだ時点における管腔内の画像化プローブの位置を指す。画像化デバイスがカテーテルである例では、デバイス中心はまた、画像化プローブによって取り込まれた画像フレーム内に示されるようなカテーテルの中心から測定されたカテーテル中心とも称されることがある。画像を処理するように構成されたシステムは、画像フレームから、管腔の周りの組織に見られるカルシウム等のプラークの領域の存在を特定することができる。
【0062】
カルシウムスコアリング等のいくつかの診断技術は、血管及び周囲組織の画像フレームにおいて特定されたカルシウム領域によって形成されるカルシウムアークに関する情報を少なくとも部分的に使用する。カルシウムスコアリングは、血管の画像等の生物医学的画像において検出されたプラーク中のカルシウムの特徴を定量化する技術を指す。カルシウムスコアリングは、患者の心臓発作又は他の心血管疾患のリスクを評価するために使用されている。カルシウムスコアリングに使用される生物医学的画像は、血管を通過している間に血管の画像を撮影するように構成された画像化プローブを有するカテーテル等のデバイスから得ることができる。
【0063】
カルシウムスコアリングの原理は、多くの場合、画像を取り込むデバイスの中心点ではなく、画像フレーム内の管腔の中心点に対するカルシウム領域のカルシウムアークを考慮している。管腔の中心点に対するカルシウムアークは、本明細書では、管腔中心のカルシウムアークと称され、画像フレームの管腔の中心点又は管腔中心は、画像フレーム内に描写された管腔の中心の位置を指す。
【0064】
1つの問題は、カルシウム領域を特定する技術が、しばしば、データ内の画像のそれぞれの管腔中心を特定しない生画像データを使用する必要があることである。画像の管腔中心を特定した後であっても、管腔中心のカルシウムアークのカバレッジ角度を正確に特定することが別の問題となる。
【0065】
本開示の態様は、プラーク領域を特定する生画像データから管腔中心のカルシウムアークを正確に計算する技術を提供する。カルシウム領域についての管腔中心のカルシウムアークを計算することによって、同じカルシウム領域上のデバイス中心のカルシウムアークについてのカバレッジ角度と比較して、管腔中心のカルシウムアークについてのカバレッジ角度をより正確に特定することができる。さらに、計算された管腔中心のカルシウムアークは、デバイス中心のアークを表示することと比較して、引き戻し中に取り込まれた画像フレームの記録に対してより一貫して表示され得る。本明細書で説明されるような管腔中心のアークは、画像フレームがディスプレイビューポートを通して見られる視野に対して歪まない表示角度に従って表示することができる。このようにして、本明細書でより詳細に説明されるように、異なる視野を使用して見られる画像フレームに対して歪みを受けないように、管腔中心のアークを表示することができる。
【0066】
図1は、本開示の態様による、管腔中心のカルシウムアーク105A及び100Bを用いて注釈付けされた画像フレーム100を示している。画像フレーム100はまた、管腔102と、画像フレーム100を取り込んだデバイス(図示せず)のデバイス中心110と、管腔中心115とを示している。画像フレーム100は、例えば、
図4Bを参照して図示及び説明されるマスク等のマスクとして、カルシウム領域106A及び106Bを特定するデータを含み得る。画像フレーム100は、ビューポート境界101を含むディスプレイビューポートを通じて表示することができる。ビューポート境界101は、画像化デバイスによって取り込まれた管腔及び周囲組織の部分を描写する画像フレーム100の一部を囲んでいる。一例として、画像フレーム100は、画像化された管腔の2次元断面を描写するように表示することができる。管腔の中心の周りのカルシウムアーク105A及び105Bは、ビューポート境界101上に示される。画像フレーム100は、画像フレームの視野(FOV)の異なる値に従って見ることができる。画像フレーム100は、異なるFOV値で表示されることがあり、該FOV値は、概して、ビューポート境界101内に管腔及び周囲組織のどの程度が一度に見えるかに対応する。
【0067】
管腔中心のカルシウムアークは、画像フレーム上で注釈付けすることができ、デバイス中心のカルシウムアークに対して、管腔内の画像化デバイスによって同じシーケンスから撮影された画像フレーム間のより正確な比較を提供することができる。これは、少なくとも、管腔中心のカルシウムアークは、管腔の中心の位置に基づいており、管腔を通る画像化デバイスを巧みに操作した場合と比較して、画像のシーケンスにわたって変化が少ないためである。加えて、システムは、管腔中心のアークのカバレッジ角度に対応する表示角度を計算するように構成されており、画像フレーム間の歪みなしに表示することができる。例えば、
図1に示すように、管腔中心のアーク105A及び105Bは、画像フレーム100が表示されている現在のFOVにかかわらず、ビューポート境界101上に一貫して示すことができる。システムは、画像のFOVが更新されたかどうかを検出し、それに応答して、管腔中心のアークのカバレッジ角度を表す表示角度を更新することができ、該管腔中心のアークは、そうしなければ歪んで見えることになる。歪みは、少なくとも、画像フレームが、画像の取り込みを担当するデバイスの中心を基準として表示されるために生じ得る。デバイス中心のアークは、FOVに関係なく同じ角度で表示することができるが、管腔中心のアークは、そうではない。したがって、本システムは、カルシウムスコアリング等の下流プロセスに使用できる管腔中心のアークのカバレッジ角度と、カバレッジ角度に対応し、FOVが異なっても歪んで見えることのない表示角度とを別々に計算するように構成されている。
【0068】
管腔中心のカルシウムアークはまた、カルシウムスコアリング用の下流プロセスへの入力として提供することができる。少なくともアークのカバレッジ角度が管腔中心に対してより一貫して特定されるので、管腔中心のカルシウムアークは、より正確なスコアをもたらすことができる。
【0069】
本開示の態様はまた、画像化デバイスによって取り込まれたビデオ記録等の画像フレームのシーケンスにわたって描写される管腔の管腔中心を特定する技術を提供する。管腔中心の位置は、複数の画像フレームにわたって平滑化され、フレーム間のジッタ及び管腔中心の不一致を低減させることができる。さらに、本開示の態様に従って構成されたシステムは、画像フレームについて特定された管腔中心及び/又は平滑化済みの管腔中心の両方に基づいて、複数の管腔中心のカルシウムアークを計算し、提供することができる。加えて、本開示の態様は、少なくとも、(概して、各フレームに対するデバイス中心を示す)生画像フレームのみが要求されるため、既存の処理パイプラインの中により容易に統合することができる。言い換えれば、説明される技術は、追加の前処理を必要とせず、様々なソースのいずれかから特定されたプラーク領域を有する生画像データを受信することができる。
【0070】
(例示的なシステム)
図2は、本開示の態様による、例示的な画像処理システム200のブロック図である。システム200は、血管の管腔等の管腔202を画像化するために使用され得る、画像化プローブ204を伴う画像化デバイス205を含み得る。画像化デバイス205は、例えば、カテーテルであり得る。画像化プローブ204は、OCTプローブ及び/又はIVUSカテーテルとすることができる。本明細書に提供される例は、OCTプローブを参照するが、OCTプローブの使用は、限定することを意図しない。IVUSカテーテルは、OCTプローブと併せて、又はその代わりに使用することができる。ガイドワイヤ(図示せず)を使用して、プローブ204を管腔202内に導入することができる。プローブ204は、例えば、画像フレームのシーケンスとしてデータを収集しながら、管腔の長さに沿って導入し、引き戻すことができる。いくつかの例によれば、プローブ204は、OCT及び/又はIVUSデータセットの複数のスキャンが収集され得るように、引き戻し中に静止して保持することができる。データセット又は画像データのフレームは、本明細書に説明されるように、デバイス又は管腔中心に対するカルシウムアーク等の特徴を特定するために使用することができる。
【0071】
プローブ204は、光ファイバ206を介して画像処理サブシステム208に接続することができる。画像処理サブシステム208は、レーザ等の光源、サンプルアーム及び参照アームを有する干渉計、様々な光学経路、クロック発生器、フォトダイオード、並びに他のOCT及び/又はIVUS構成要素を含むことができる。
【0072】
プローブ204は、光受信機210に接続することができる。いくつかの例によれば、光受信機210は、平衡フォトダイオードベースのシステムとすることができる。光受信機210は、プローブ204によって収集された光を受信するように構成することができる。
【0073】
サブシステム208は、コンピューティングデバイス212を含むことができる。コンピューティングデバイス212は、1つ以上のプロセッサ213、メモリ214、命令215、及びデータ216を含むことができる。コンピューティングデバイス212はまた、カルシウムマスクエンジン220、管腔中心エンジン225、及び/又はカルシウムアークエンジン230を実装することができる。
【0074】
1つ以上のプロセッサ213は、市販のマイクロプロセッサ等、様々な異なるプロセッサの任意の組み合わせとすることができる。代替的に、1つ以上のプロセッサは、グラフィックス処理ユニット(GPU)、フィールドプログラマブルゲートアレイ(FPGA)、及び/又は特定用途向け集積回路(ASIC)等の1つ以上のデバイスとすることができる。
図2は、デバイス212のプロセッサ、メモリ、及び他の要素を同じブロック内にあるものとして機能的に示すが、プロセッサ、コンピューティングデバイス、又はメモリは、実際には、同じ物理的筐体内に格納される場合とされない場合がある複数のプロセッサ、コンピューティングデバイス、又はメモリを含むことができることが、当業者によって理解されるであろう。同様に、メモリは、コンピューティングデバイス212の筐体とは異なる筐体内に位置するハードドライブ又は他の記憶媒体とすることができる。したがって、プロセッサ又はコンピューティングデバイスへの言及は、並列に動作する場合としない場合があるプロセッサ又はコンピューティングデバイス又はメモリの集合への言及を含むことが理解されるであろう。
【0075】
メモリ214は、プロセッサ213によって実行可能な命令215、及びデータ216を含む、プロセッサによってアクセス可能な情報を記憶することができる。メモリ214は、ハードドライブ、メモリカード、読み出し専用メモリ(「ROM」)、ランダムアクセスメモリ(「RAM」)、光ディスク、並びに他の書き込み可能及び読み出し専用メモリ等の、非一時的コンピュータ可読媒体、又は電子デバイスの助けを借りて読み取ることができるデータを記憶する他の媒体を含む、プロセッサ213によってアクセス可能な情報を記憶するように動作可能なタイプのメモリとすることができる。本明細書で開示される主題は、前述のものの異なる組み合わせを含むことができ、命令215及びデータ216の異なる部分が異なるタイプの媒体に記憶される。
【0076】
メモリ214は、命令215に従ってプロセッサ213によって取り出す、記憶する、又は変更することができる。例えば、本開示は特定のデータ構造によって限定されないが、コンピュータレジスタに、複数の異なるフィールド及びレコードを有するテーブルとしてリレーショナルデータベースに、XML文書に、又はフラットファイルに、データ216を記憶することができる。データ216はまた、限定はしないが、バイナリ値、ASCII、又はUnicode等のコンピュータ可読フォーマットでフォーマットすることができる。単に更なる例として、圧縮若しくは非圧縮、又は様々な画像フォーマット(例えば、JPEG)、ベクトルベースのフォーマット(例えば、スケーラブルベクトルグラフィックス(SVG))、又はグラフィックスを描画するコンピュータ命令で記憶されたピクセルを含むビットマップとして、データ216を記憶することができる。さらに、データ216は、数字、記述テキスト、専用コード、ポインタ、他のメモリ(他のネットワークロケーションを含む)に記憶されたデータへの参照、又は関連データを計算するために機能によって使用される情報等、関連情報を特定するのに十分な情報を含むことができる。
【0077】
命令215は、プロセッサ213によって、機械コード等、直接的に、又はスクリプト等、間接的に実行される命令の任意のセットであり得る。その点に関して、「命令」、「アプリケーション」、「ステップ」、及び「プログラム」という用語は、本明細書では互換的に使用され得る。命令は、プロセッサによる直接処理のためにオブジェクトコードフォーマットで、又はオンデマンドで解釈されるか若しくは事前にコンパイルされる独立したソースコードモジュールのスクリプト若しくは集合を含む任意の他のコンピューティングデバイス言語で記憶され得る。命令の機能、方法、及びルーチンは、カルシウムマスクエンジン220、管腔中心エンジン225、及びカルシウムアークエンジン230の説明を含めて、以下でより詳細に説明される。
【0078】
コンピューティングデバイス212は、管腔202を通して操作されている間に画像化プローブ204によって収集された1つ以上の画像フレームを受信することができる。コンピューティングデバイス212は、カルシウムマスクエンジン220を通して、入力される生画像フレームを処理するように構成され得る。カルシウムマスクエンジン220は、入力として画像フレームを受信し、画像内の1つ以上のプラーク領域(又は「ブロブ」(blob))を特定するように構成される。そうするために、カルシウムマスクエンジン220は、入力画像データに対して画像セグメンテーションを実施するように訓練された1つ以上の機械学習モデルを含む、様々な画像処理技術のいずれかを実装することができる。サブシステム208は、カルシウムを特定するエンジン220を実装するものとして説明されるが、サブシステム208は、概して、入力画像フレーム内の1つ以上のプラーク領域を特定するため等の任意の画像セグメンテーションタスクのために構成することができることを理解されたい。
【0079】
サブシステム208は、光受信機210を通して画像化プローブ204から受信された生画像フレームを処理するものとして説明されているが、いくつかの実施態様では、サブシステム208は、特定された1つ以上のプラーク領域を伴う画像フレームを受信する。言い換えると、プラーク領域を特定するために画像フレームを処理する代わりに、サブシステム208は、画像処理デバイス、記憶デバイス等の別のデバイスから処理された画像を受信するように構成され得る。
【0080】
画像のプラーク領域の識別情報は、いくつかの方法で表すことができる。例えば、プラーク領域は、ピクセルの外形、周辺、又は陰影部分等の何らかの可視インジケータを伴って、画像フレーム内で注釈付けすることができる。注釈は、画像オーバレイに含めることができ、画像に直接追加することができ、又は任意の他の方法で含めることができる。加えて又は代替的に、画像フレームは、カルシウムマスクを伴うことができる。カルシウムマスクは、カルシウム領域に対応すると予測される画像フレーム内のピクセルに対応することができる。以下で説明する
図4B及び
図5Bは、それぞれの画像フレーム内のカルシウムの予測領域上のカルシウムマスクの例を示している。
【0081】
いくつかの例では、プラーク領域は、画像フレーム内で注釈付けされない場合があり、代わりにエンジン225は、代わりに領域の周辺を特定するように構成される。プラーク領域が注釈付けされていない例では、エンジン225は、プラーク領域の周辺を特定することができる。いくつかの例では、エンジン225は、プラークの識別領域又は識別領域の周辺を表すピクセルの位置を示すデータを記憶する。データは、例えば、マスクやピクセル位置のリスト等であり得る。いくつかの例では、エンジン225は、識別後に領域の視覚的な注釈を生成することができる。エンジン225が、様々な異なるプラーク領域の場所を示すマスク又は他のデータを受信しない例では、エンジン225は、代わりに、それ自体の識別を行い、プラーク領域を特定する本明細書に説明するようなデータを生成することができる。
【0082】
一例では、エンジン225は、受信された画像内のスキャンライン又はピクセルの行を処理し、スキャンラインに沿ったピクセル強度勾配から計算された減衰に基づいて、各ピクセル及び/又はエッジからの後方散乱の強度を特定することができる。エンジン225は、測定された強度及び/又は減衰から、ピクセルがどのタイプの組織、病変、又はプラークに対応するかを特定することができる。例えば、より高い強度、例えば、後方散乱のより明るい反射、及びより低い減衰、例えば、ピクセルからピクセルへのより低い強度変化は、線維組織に対応することができる。異なる強度/減衰で測定されたピクセル間のより低い強度、より低い減衰、及びより鋭いエッジは、カルシウム領域に対応することができる。異なる強度/減衰で測定されたピクセル間のより低い強度、より高い減衰、及び拡散されたエッジは、脂質の領域に対応することができ、これは、上記で説明したように、エッジを使用して脂質オフセットの決定を動機付ける。エンジン225は、画像を処理しながら、より低い強度とより高い強度、より低い減衰とより高い減衰等を比較する際に使用するために、強度及び/又は減衰の様々な所定の閾値検出アルゴリズム又は適応勾配検出アルゴリズムを用いて構成され得る。これにより、ソフトウェアは、様々な形態(脂質等)を含有するスキャンラインだけではなく、形態が見出されるオフセットも特定することができる。スキャンライン/オフセット情報を使用して、スキャンラインベースの分類が機能するが、分析を実施するマスクが存在しない脂質検出等の場合に、カルシウムアークと同様の管腔中心の形態のアークを生成することができる。
【0083】
管腔中心エンジン225は、画像フレームを受信し、各画像フレームについてそれぞれの管腔中心を計算するとともに、画像フレームのシーケンスにわたって管腔中心を平滑化するように構成することができる。
図8及び
図9を参照して本明細書でより詳細に説明されるように、本開示の態様は、個々の画像フレーム内の管腔中心を特定し、画像フレームのシーケンスにわたる管腔中心の位置に対して平滑化フィルタを適用する技術を提供する。
【0084】
カルシウムアークエンジン230は、例えば、
図3~
図6を参照してより詳細に説明されるように、管腔中心のカルシウムアークを計算するように構成することができる。カルシウムアークエンジン230は、入力として、光受信機210を通して画像化プローブ204から取り込まれた画像フレームを受信することができる。カルシウムアークエンジン230はまた、受信された画像フレーム内の1つ以上のカルシウム領域を特定するデータを入力として受信することもでき、該データは、例えば、カルシウムマスクエンジン220によって生成され得る。カルシウムアークエンジン230はまた、例えば、管腔中心エンジン225から、受信された画像フレームの管腔中心及び/又は平滑化済みの管腔中心に対応するデータを受信することができる。
【0085】
カルシウムアークエンジン230は、各画像フレームについて、かつ画像フレーム内の各カルシウム領域について、生成された管腔中心のカルシウムアークに対応するデータを出力として生成することができる。カルシウムアークエンジン230は、例えば
図1に示すように、受信された画像フレームへの視覚的注釈として管腔中心のカルシウムアークを提供することができる。いくつかの実施態様では、カルシウムアークエンジン230は、管腔の画像が表示されるディスプレイビューポートの視野に基づいて、モニタ上に表示するために管腔中心のカルシウムアークを調整することができる。
【0086】
代替的に又は加えて、カルシウムアークエンジン230は、計算された管腔中心のカルシウムアークに対応するデータを下流プロセスに提供することができ、該下流プロセスは、管腔中心のカルシウムアークを受信し、処理するように構成されている。下流プロセスは、デバイス212上の、又は別のデバイス上の1つ以上のコンピュータプログラムとして完全に実装され得る。このプロセスは、例えば、計算された管腔中心のカルシウムアーク及び画像フレームに対応するデータを受信し、画像フレーム内で特定されたカルシウム領域をカルシウムスコアリングするプロセスの一部としてデータを使用することができる。
【0087】
画像処理サブシステム208は、ユーザにコンテンツを出力するディスプレイ218を含むことができる。図示のように、ディスプレイ218は、コンピューティングデバイス212とは別個であるが、いくつかの例によれば、ディスプレイ218は、コンピューティングデバイス212の一部とすることができる。ディスプレイ218は、管腔内で検出された1つ以上の特徴に関する画像データを出力することができる。例えば、出力は、限定ではないが、画像フレーム内で特定された各カルシウム領域に対して、管腔中心のカルシウムアーク、管腔中心、及び/又は平滑化済みの管腔中心を用いて注釈付けされた画像フレームを含むことができる。ディスプレイ218は、いくつかの例では、円形ディスプレイビューポート等のディスプレイビューポートを通じて出力を表示することができる。ディスプレイ218は、視野値に対して順に画像フレームを示すことができる。
【0088】
図6を参照して本明細書に説明されるように、システム200は、ディスプレイ218が現在設定されている視野値を考慮して、管腔中心のアークのカバレッジ角度に対応する表示角度を計算するように構成することができる。FOVを調整する入力に応答して、システム200は、その後、現在表示されているカルシウム領域の対応するカバレッジ角度の表示角度を再計算するように構成することができる。ディスプレイ218は、いくつかの実施態様では、表示角度と表示角度に対応するカバレッジ角度との両方を出力するように構成され得る。いくつかの例では、カバレッジ角度値が示されるが、表示角度に対応するアークがディスプレイ218上に示される。
【0089】
ディスプレイ218は、例えば、画像化されている管腔202及び周囲組織の2次元断面として、1つ以上の画像フレームを示すことができる。ディスプレイ218はまた、患者の体内の画像化された管腔又は別の関心領域の異なる視点を示すために、1つ以上の他のビューを含み得る。一例として、ディスプレイ218は、開始点から終了点までの管腔202の長さの長手方向ビューを含み得る。いくつかの例では、ディスプレイ218は、長手方向ビューに沿って管腔202の或る特定の部分を強調表示し、ビューのために現在選択されていない他の部分を少なくとも部分的に遮蔽することができる。いくつかの例では、ディスプレイ218は、長手方向ビューに示すように、管腔202の異なる部分を通して洗浄する(scrub)入力を受信するように構成される。
【0090】
出力は、例えば、画像化プローブ204が管腔202を通して操作される処置の間、リアルタイムで表示され得る。例えば、上述の管腔中心のアークと組み合わせて出力され得る他のデータとして、デバイス中心のアーク、断面スキャンデータ、長手方向スキャン、直径グラフ、管腔境界、プラークサイズ、プラーク円周、プラーク位置の視覚的印、ステント拡張に対してもたらされるリスクの視覚的印、流量等が挙げられる。ディスプレイ218は、テキスト、矢印、色分け、強調表示、輪郭線、又は他の好適な人間若しくは機械が読み取り可能な印を用いて特徴を特定することができる。
【0091】
いくつかの例によれば、ディスプレイ218は、グラフィックユーザインタフェース(「GUI」)とすることができる。1つ以上のステップは、自動的に又はユーザ入力なしに実施して、画像をナビゲートし、情報を入力し、選択し、及び/又は入力とインタラクトすることができる。ディスプレイ218は、単独で、又はコンピューティングデバイス212と組み合わせて、ユーザ入力に応答して1つ以上の閲覧モードの間でトグルすることを可能にすることができる。例えば、ユーザは、特定の側枝を選択することによって、及び/又は特定の側枝と関連付けられたビューを選択することによって等、ディスプレイ218上の異なる側枝間で切り換える(toggle)ことが可能であり得る。
【0092】
いくつかの例では、ディスプレイ218は、単独で、又はコンピューティングデバイス212と組み合わせて、メニューを含むことができる。メニューは、ユーザが様々な機能を表示又は非表示にすることを可能にすることができる。2つ以上のメニューがあり得る。例えば、表示する管腔特徴を選択するメニューがあり得る。加えて又は代替的に、ディスプレイの仮想カメラアングルを選択するメニューがあり得る。いくつかの例では、ディスプレイ218は、入力を受信するように構成され得る。例えば、ディスプレイ218は、ディスプレイ218上に表示されたメニュー又は他のインタラクト可能要素とインタラクトするタッチ入力を受信するように構成された、タッチスクリーンを含み得る。
【0093】
コンピューティングデバイス212は、ネットワーク260を介して他のデバイスと直接的及び間接的に通信することができる。コンピューティングデバイス212は、情報を送受信する開始接続を受け入れることができるリスニングソケットを設定することができる。ネットワーク260自体は、インターネット、ワールドワイドウェブ、イントラネット、仮想プライベートネットワーク、ワイドエリアネットワーク、ローカルネットワーク、及び1つ以上の企業に固有の通信プロトコルを使用するプライベートネットワークを含む、様々な構成及びプロトコルを含み得る。ネットワークは、様々な短距離接続及び長距離接続をサポートすることができる。短距離接続及び長距離接続は、2.402GHz~2.480GHz(一般にBluetooth(商標)規格に関連する)、2.4GHz及び5GHz(一般にWi-Fi(商標)通信プロトコルに関連する)等の異なる帯域幅全体にわたって、又はワイヤレスブロードバンド通信のLTE(商標)規格等の様々な通信規格を用いて行うことができる。ネットワーク260は、加えて又は代替的に、デバイス212と1つ以上の他のデバイス(図示せず)との間の有線接続をサポートすることもでき、様々なタイプのイーサネット接続を介することを含む。例えば、デバイス212は、管腔中心のアークを用いて注釈付けされた画像フレームを、注釈付けされたフレームを処理するように構成された1つ以上のデバイスに通信することができる。加えて又は代替的に、デバイス212は、システム200の少なくとも一部を実装する1つ以上の他のデバイス間で通信することができる。別の例として、デバイス212は、ネットワーク260を介して、デバイス212とは別個のデバイスに接続された光受信機から画像フレームを受信することができる。
【0094】
(例示的な方法)
図3は、本開示の態様による、管腔中心のカルシウムアークを計算する例示的なプロセス300のフローチャートである。1つ以上のプロセッサを有し、本開示の態様に従って適切にプログラムされたシステムは、プロセス300を実施することができる。例えば、
図2の画像処理システム200等の画像処理システムは、プロセス300を実施することができる。
【0095】
システムは、ブロック310に従って、画像フレーム及び画像フレーム内のカルシウム領域の識別情報を受信する。
図2を参照して本明細書に説明されるように、システム用のカルシウムマスクエンジンは、画像化プローブからの生画像フレームを処理し、各フレームのカルシウムマスクを生成するように構成され得る。他の例では、システムは、画像フレーム及び対応するマスク又はカルシウム領域を特定する他のデータを別のデバイスから完全に受信することができる。単一の画像フレームを参照して説明されるが、システムは、例えば、画像化処置中にリアルタイムで画像のストリームとして、又はデータのバッチとして、複数の画像フレームを受信するように構成され得る。いずれの場合も、システムは、各画像フレームに対して、例えば、順次又は並行して、プロセス300を繰り返すように構成され得る。
【0096】
システムは、ブロック330に従って、画像フレーム内の管腔の管腔中心を受信する。システムは、例えば、
図8及び
図9を参照して本明細書に説明されるプロセスを行うように構成される管腔中心エンジンを使用して、管腔中心及び/又は管腔の平滑化済みの管腔中心を計算するように構成され得る。管腔中心は、例えば、極座標で表すことができる。極座標は、基準点に対する2つのパラメータ、すなわち半径及び角度によって表すことができ、これらは、最初はデバイス中心に対するものであり得る。
【0097】
システムは、ブロック340に従って、画像フレーム内の管腔の管腔中心から管腔中心のカルシウムアークを生成する。システムは、管腔中心をデバイス中心に対する極座標からデカルト座標に変換することができる。例えば、システムは以下を計算して、極座標で表現された点のデカルト座標を計算することができる。
【数1】
【0098】
管腔中心のカルシウムアークを生成することの一部として、システムは、
図5A、
図5B及び
図6を参照して本明細書で説明されるように、カルシウム領域のエンドポイントを特定する。エンドポイント及び管腔中心は、カルシウム領域に接する線を定義する。システムは、デバイス中心のカルシウムアークのエンドポイント及び管腔中心のデカルト座標を計算することができる。管腔中心のカルシウムアークのエンドポイントは、管腔中心と合わせて、カルシウム領域に対するアークの正確なカバレッジ角度を定義する。
【0099】
システムは、カルシウム領域についての管腔中心のカルシウムアークの開始角度及び終了角度からカバレッジ角度を計算することができる。例えば、システムは、以下のように、管腔中心のカルシウムアークのカバレッジ角度を計算することができる。
【数2】
ここで、(x
1,y
1)は一方のエンドポイントの座標であり、(x
2,y
2)は他方のエンドポイントの座標である。デカルト座標に変換された極座標を使用して例が提供されるが、一般に、画像フレーム上の位置を特定する任意の座標系を使用して、エンドポイント、管腔中心、デバイス中心、画像フレーム内のプラーク又はカルシウム領域等の位置を表現することができる。別の例として、管腔中心及びエンドポイントは、極座標の代わりに、最初にデカルト座標で表現することができる。表示時の画像フレームは、画像フレーム上の異なる位置を表現するために使用される座標系に対応する、グリッド等のオーバレイを含み得る。管腔中心のアークは、極座標で表され、画像フレーム内のデバイス中心の位置中心のエンドポイントとしてデータ内に表すことができる。
【0100】
画像フレームについて管腔中心と平滑化済みの管腔中心との両方が計算される実施態様では、システムは、両方の中心についてブロック340に従ってそれぞれの管腔中心のカルシウムアークを計算することができる。
【0101】
システムは、ブロック350に従って、管腔中心のアーク(又は、画像フレーム内の複数のカルシウム領域についてのアーク)を出力する。例えば、
図2を参照して説明されるように、システムは、画像フレーム上の注釈として、ディスプレイ上に管腔中心のアークを出力することができる。システムは、画像フレーム上で、かつ画像フレームを表示するために使用されるディスプレイビューポートのビューポート境界に沿って、管腔中心のアークを示すことができる。例えば、システムは、カルシウム領域のエンドポイントと管腔中心とによって定義される接線を、境界を通って投影することができる。システムは、境界を通って投影された線の間の境界の部分を、管腔中心のカルシウムアークとして注釈付けすることができる。
【0102】
他の例では、システムは、下流プロセスのために、例えば、カルシウムスコアリングのために、管腔中心のカルシウムアークを定義するデータを出力することができる。カルシウムスコアリングは、システム又は別のシステムによって自動的に実施することができ、又はカルシウムスコアリングは、例えば手作業で行うことができる。システムは、管腔中心及び平滑化済みの管腔中心の一方又は両方について、その両方が計算される実施態様では、両方の管腔中心のカルシウムアークを出力することができる。
【0103】
図4Aは、デバイス中心のカルシウムアーク401A及び401Bを示している。デバイス中心410は、画像フレーム400内に取り込まれた管腔402の上部に示されている。
【0104】
図4Bは、
図4Aに示すカルシウム領域のカルシウムマスク415を示している。カルシウムマスク415は、カルシウム識別子417A及び417Bを含み、それぞれは、画像フレーム400において特定されたカルシウムのそれぞれの識別領域に対応する。この例では、カルシウム識別子417A及び417Bは、管腔402又は管腔402を囲む媒体(media)を描写する領域等の画像フレーム400の他の領域から、カルシウム領域を区別する特定の色値のピクセルの領域である。カルシウムマスク415は、画像フレーム400内のカルシウム領域の識別情報の例であり、例えば、システムの一部として実装されるカルシウムマスクエンジンから、又は別のソースから、システムによって受信することができる。
【0105】
カルシウム識別子は、様々な異なる方法のうちのいずれかで表現することができる。いくつかの例では、カルシウム識別子は、ピクセルの網目状又はパターン化された領域として、又はカルシウムの検出領域の外形に対応するピクセルとして表現することができる。他の例では、カルシウム識別子は、各値が画像フレーム内のピクセルに対応する値の行列として表される。各値は、バイナリであってもよく、例えば、対応するピクセルがカルシウム領域の一部ではないことを示す0の値と、対応するピクセルがカルシウム領域の一部であることを示す1の値とを有する。
【0106】
図5Aは、画像フレーム500Aにおける管腔中心のカルシウムアーク501A及びデバイス中心のカルシウムアーク501Bの両方についてのカバレッジ角度502A及び502Bを示している。画像フレーム500Aは、管腔中心515及びデバイス中心510を含む。エンドポイント503Aは、例えば、
図3及び
図6を参照して本明細書に記載されるように計算されたカルシウム領域のエンドポイントである。アーク点504Aは、カルシウム領域に接する線がビューポート境界(図示せず)を通過する点である。アーク点504Aを使用して、システムは、ビューポート境界に沿ってデバイス中心のカルシウムアーク501Bを表示するために注釈付けすることができる。管腔中心のカルシウムアーク501Aも示されている。デバイス中心のカルシウムアーク501Bとは異なり、管腔中心のカルシウムアーク501Aは、表示時に、画像フレームの異なるFOV値に対してビューポート境界に沿って移動することができる。
【0107】
システムは、既知のデバイス中心を活用して、カルシウム領域と管腔の中心とのエンドポイントを計算し、デバイス中心のカルシウムアークよりも正確な管腔中心のカルシウムアークに到達することができる。このようにして、システムは、カルシウムマスク等の画像データの特徴を予測するモデルを含み得る様々な異なるソースからの画像データを処理することができる。言い換えると、システムは、少なくとも、後処理ステップとして、管腔中心及び管腔中心のカルシウムアークを計算するように構成されるため、生画像データ上の処理との互換性がより高い。
【0108】
図5Bは、エンドポイント503A間のカルシウム領域を特定するカルシウムマスク500Bを示している。
図5Bは、カルシウム識別子517Bによって特定されたカルシウム領域の最大幅に沿って離間されたエンドポイント503A同士の間の関係を示している。カルシウムマスク500Bはまた、カルシウム識別子517Aによって特定されたカルシウム領域を示している。本明細書の
図6は、エンドポイント503Aを計算するプロセスを示している。
【0109】
図6は、本開示の態様による、画像フレーム内の管腔中心のカルシウムアークを特定する例示的なプロセス600のフローチャートである。
図2のシステム200等のシステムは、プロセス600を実施することができる。
【0110】
システムは、ブロック605に従ってカルシウムマスクを受信する。説明を容易にするために、カルシウムマスクは、単一のカルシウム領域を特定すると仮定されるが、システムは、カルシウムマスクにおいて特定された各領域に対してプロセス600を実施できることが理解される。
【0111】
システムは、ブロック610に従って、カルシウムマスクに対応する画像フレームの管腔中心の位置を受信する。管腔中心は、例えば、
図8を参照して本明細書に記載されるように計算することができる。管腔中心はまた、例えば、
図9のプロセス900に従って生成される、平滑化済みの管腔中心であり得る。
【0112】
システムは、ブロック615に従って、マスク内のカルシウム領域を特定する更なる周辺ピクセルが存在するかどうかを判定する。周辺ピクセルは、一例として、
図4Bの識別子417Bの周辺のピクセル等、識別領域の周辺に沿ったピクセルであり得る。システムは、これらの周辺ピクセルのそれぞれについて反復することができる。
【0113】
システムが、処理する更なる周辺ピクセルがあると判定した場合(「YES」)、システムは、ブロック620に従って、極座標ピクセル位置をデカルト座標に変換する。極座標ピクセル位置は、画像フレーム内のデバイス中心に対して相対的であり、すなわち、デバイス中心を中心として、極座標の半径及び角度が表現される。システムは、カルシウムマスクを定義するデータの一部として、カルシウム領域を集合的に特定するピクセルの位置に対応する座標データを受信することができる。座標データは、少なくとも、対応するカルシウムマスクを生成するために処理される生画像フレームにおいてデバイス中心が利用可能であるため、最初はデバイス中心に対して相対的であり得る。
【0114】
システムは、ブロック620に従って変換されたデカルト座標を、ブロック622に従って、管腔中心の極座標に変換する。本明細書で説明するように、極座標の代わりに任意の座標系を使用することができる。いくつかの実施態様では、本システムは、デバイス中心極座標系等の開始座標系から管腔中心極座標系等の終了座標系への変換から、任意の必要な変換を行うように構成される。本システムは、周辺ピクセルのデバイス中心極座標からデカルト座標等の中間座標系間で座標を変換することができる。
【0115】
システムは、ブロック625に従って、管腔中心とピクセル位置との両方を横切るベクトルの角度を計算する。計算された角度は、共通軸に対する相対的なものとすることができ、システムは、共通の軸の周りの折り返しを考慮してチェックすることもでき、したがって、必要に応じて、360度を加算又は減算することによって角度測定値を調整することができる。
【0116】
システムは、ブロック630に従って、計算された角度を現在の最小角度及び最大角度と比較する。最初に、ブロック625に従って、現在の最小角度及び最大角度を、第1の計算されたピクセル位置を通るベクトルによって形成される角度の値に設定することができる。システムは、ブロック635に従って、計算された角度が最小角度未満である場合、最小角度及び最小エンドポイントを更新する。最小エンドポイントは、現在の最小角度に対応するピクセルのピクセル位置を追跡する。同様に、システムは、ブロック640に従って、計算された角度が現在の最大角度よりも大きい場合、最大角度及び最大エンドポイントを更新する。
【0117】
ブロック615に戻って、システムが、処理すべき周辺ピクセルがそれ以上存在しないと判定した場合(「NO」)、システムは、ブロック645に従って、現在の最大エンドポイント及び最小エンドポイントを使用して、管腔中心のカルシウムアークのカバレッジを計算する。例えば、システムは、
図3を参照して本明細書で説明したように、カバレッジ角度を計算することができる。エンドポイントは、例えば、
図5Bにエンドポイント503Aで示したように、識別されたカルシウム領域に接する。
【0118】
システムは、ブロック650に従って、表示のために管腔中心のカルシウムアークのアーク点を決定する。アーク点は、例えばブロック645に従って計算されたカバレッジ角度に対応する表示角度を特定するために使用される。例えば、アーク点は、管腔中心を通過する線とディスプレイビューポートの境界との間の交点を表すアーク点504Aであり得る。アーク点を計算することは、本明細書に記載されるように、特定の視野に設定されたビューポートを有するディスプレイ上に管腔中心のカルシウムアークをより良好に表示するために有用であり得る。
【0119】
アーク点は、画像フレームが表示されているときに、管腔の中心とエンドポイントとを通る線が円形のディスプレイビューポートと交差する点を特定することによって計算することができる。例えば、システムは、例えば、画像フレーム内に描写されたデバイスの中心に対して、デカルト座標内の円として、ディスプレイビューポートの円周を表すように構成され得る。システムは、管腔の中心と交差する2つの線が、ディスプレイポート自体の円周とも交差する場所を計算するように構成され得る。一例として、システムは、ビューポートの線及び円周をデカルト空間における標準方程式(例えば、線についてはy=mx+b、ディスプレイビューポートの円周によって形成される円についてはx2+y2=r2)として表し、線方程式と円方程式との交点について解くことができる。各線は、正確に2つの点で円周と交差する。
【0120】
システムは、例えばブロック645に従って計算されたカバレッジ角度に対応するカルシウム領域に最も近い点の組を特定し、それらの点を表示角度のアーク点として選択することができる。他の2つの点は、破棄することができ、又はいくつかの例では、システムは、カバレッジ角度を使用して、2組の点のうちのいずれが表示角度のアーク点であるかを特定する。システムは、管腔の中心と2つのアーク点とによって形成される表示角度を計算することができる。システムは、表示角度によって形成されるアークを表示するように更に構成され得る。システムは、例えば、画像フレームを表示する表示デバイスに受信された入力に応答して、ブロック650に関して説明されるような表示角度を計算することを繰り返すように構成され得る。いくつかの例では、システムが、ユーザ入力に応答して等、FOV値が変化したことを示す入力を受信した場合、システムは、それに応答して、本明細書で説明するように表示角度を自動的に再計算して、表示角度に従って更新されたアークを表示することができる。
【0121】
システムは、ブロック655に従って、管腔中心のカルシウムアークを出力する。システムは、デバイスのディスプレイビューポートを通して表示されるデータの一部として、管腔中心のカルシウムアークを表示することができる。管腔中心のカルシウムアークは、アーク点を使用して、ディスプレイビューポートの半径に沿って示すことができる。エンドポイントの代わりにアーク点及び管腔中心に対するそれらの対応するカバレッジ角度を使用することは、ディスプレイビューポートの視野の変動を考慮するのに役立ち得る。管腔中心のカルシウムアークをディスプレイ上に表示するために使用されるカバレッジ角度は、アーク点によって定義される表示角度に基づいており、例えばカルシウムスコアリングの一部として、更なる処理のために下流に送られるエンドポイントに基づくカバレッジ角度とは異なる場合がある。
【0122】
いくつかの例では、システムは、画像フレームの上部及び底部に沿ってカルシウム領域をチェックし、単一領域としての領域の表現を対応する管腔中心のアークと組み合わせる。
【0123】
図7は、画像フレームの上部及び下部にまたがるカルシウムマスク700を示している。カルシウム識別子705A~705Cも示されている。
図6を参照して本明細書に記載されるように、システムは、カルシウムマスク700において識別子705A及び705Cに対応する、画像フレームの上部及び下部にまたがる識別子から形成されたアークを組み合わせる。
【0124】
図8は、本開示の態様による、画像フレームの管腔中心を特定する例示的なプロセス800のフローチャートである。システム、例えば
図2のシステム200は、プロセス800を実施することができる。
【0125】
プロセス300と同様に、プロセス800は、単一の画像フレームに対して実施されるものとして説明される。システムは、複数の画像フレームを受信し、各フレームについてプロセス800を繰り返して、それぞれの管腔中心を生成するように構成され得ることが理解される。
【0126】
システムは、ブロック810に従って、管腔の画像フレームを受信する。
【0127】
システムは、ブロック820に従って、画像フレーム内の管腔の管腔輪郭を計算する。管腔輪郭は、管腔の周辺を画定する外形であり得る。システムは、例として、円、楕円、又は多角形として管腔輪郭を近似することができる。
【0128】
システムは、ブロック830に従って、管腔輪郭のスプライン推定値を計算する。スプライン推定値は、管腔輪郭の形状を近似する1つ以上の多項式の関数である。システムは、管腔輪郭のスプラインを推定する様々な異なる技術のいずれかを適用することができる。例えば、スプラインは、管腔輪郭の複数の点から補間又は近似することができる。いくつかの例では、システムは、管腔輪郭及びスプライン推定値を一緒に計算する。システムは、デバイス中心があらゆる画像フレーム内の基準点として利用可能であるため、画像フレーム内のデバイス中心に対する極座標として表現されるスプライン推定値を生成することができる。
【0129】
システムは、ブロック840に従って、スプライン推定値の複数のサンプルから重心として管腔中心を推定する。各サンプルは、スプライン推定値上の点であり得る。デカルト座標(x
i,y
i)は、i番目のサンプルの座標であり得る。サンプルがデカルト座標としてまだ表現されていない場合、システムは、まず、各サンプルをデカルト座標として変換することができる。各次元の平均は、式4及び式5に示すように、各次元についてサンプル数全体にわたって計算される。
【数3】
【0130】
式[4]及び[5]は、x次元
【数4】
及びy次元
【数5】
に沿った平均の計算を示し、ここで、Nはサンプルの数である。システムは、実施態様ごとに異なる数のサンプルに対して動作することができる。
【0131】
次に、2次モーメント及び3次モーメントが、以下に示すように、式6~式12を用いて計算される。
【数6】
【0132】
次いで、システムは、サンプルから計算された推定管腔重心の座標と、式6~式12から計算された2次モーメント及び3次モーメントとを計算することができる。以下の式13~式16に従う。
【数7】
ここで、推定管腔重心の座標は、式15及び式16に示されるように(μ
x,μ
y)である。
【0133】
システムは、ブロック850に従って、重心を管腔の中心として出力する。この管腔の中心を使用して、
図3を参照して本明細書に説明されるように、画像フレーム内のカルシウム領域の管腔中心のカルシウムアークを生成することができる。フレームのシーケンスの管腔の中心は、
図9を参照して本明細書で説明されるように、更に平滑化され得る。
【0134】
図9は、本開示の態様による、画像フレームのシーケンスについて管腔の中心を平滑化する例示的なプロセス900のフローチャートである。
図2のシステム200等のシステムは、プロセス900を実施することができる。
【0135】
システムは、ブロック910に従って、画像フレームのシーケンスの管腔の中心を定義する座標を受信する。
図8を参照して本明細書に記載されるように、システムは、フレームのシーケンスの各画像フレームの重心から管腔中心を計算することができる。
【0136】
システムは、ブロック920に従って、管腔中心アレイを生成する。管腔中心アレイは、中間画像フレームの管腔の中心の周りで対称であり得る。例えば、画像のシーケンスが5つのフレームを含む場合、フレーム3の管腔の中心は、管腔中心のアレイの中央の値である。
【0137】
システムは、ブロック930に従って、画像化された管腔への側枝を描写する画像フレームを検出してフィルタリング除去し、各フィルタリングされた画像フレームのそれぞれの管腔中心をそれぞれの代替の管腔中心で置き換える。そうすることで、システムは、画像フレーム内に描写された側枝からの追加の情報によって引き起こされ得る管腔中心を平滑化する際の干渉を軽減することができる。一例として、側枝を描写する画像フレームの代替管腔中心は、シーケンス内の隣接する画像フレーム内の管腔中心の位置を使用して線形補間することができる。
【0138】
システムは、管腔中心アレイをゼロでパディングすることができる。管腔中心アレイをパディングすることは、ブロック940に従って、1つ以上のフィルタ係数のローパスフィルタを適用する前に行われる。フィルタ係数の値は、中間フレーム管腔中心に対して対称であってもよく、中間画像フレームに対する相対フレームインデックスに比例して変化することができる。ローパスフィルタは、フィルタ係数に従ってフィルタリングされた値を修正して、値の分布を全体的に平滑化する。
【0139】
例えば、9つの画像フレームシーケンスの管腔中心のアレイのフィルタは、表1に従って、以下の係数を有することができる。
【0140】
【0141】
例えば、インデックス0における管腔中心に対して2箇所離れたアレイ内の管腔中心は、4698のフィルタ係数(又は重み)でフィルタリングされる。別の例として、中間画像フレームに対して4箇所離れたアレイ内の管腔中心は、-60のフィルタ係数でフィルタリングされる。
【0142】
図10は、相対フレームインデックス1005とフィルタ重み1010との間の関係を示すチャート1000である。y軸は、フィルタ重み1010を表し、x軸は、中間画像フレームの管腔中心に対する相対フレームインデックス1005を表す。チャート1000は、中間画像フレームに対して対称であることに留意されたい。また、フィルタ係数値は、中間画像フレームから更に離れた画像フレームに対して徐々に減り、中間画像フレームからの管腔中心平滑化の漸減を反映することに留意されたい。
【0143】
図9に戻ると、ブロック940に従ってローパスフィルタを適用することの一部として、システムは、例えば、各管腔中心に対する各デカルト座標次元に沿って、管腔中心の各次元に対して別個にフィルタを適用することができる。いくつかの実施態様では、システムは、次元ごとにフィルタを2回適用する。
【0144】
システムは、ブロック950に従って、平滑化済みの管腔中心をフィルタ係数の和によって正規化する。正規化は、平滑化から生じるゼロDC利得を生成するのに役立つ。
【0145】
システムは、ブロック960に従って、平滑化済みの管腔中心を出力する。
図2及び
図3を参照して本明細書に説明されるように、システムは、入力画像フレームの管腔中心及び平滑化済みの管腔中心の両方の管腔中心のカルシウムアークを生成するように構成され得る。
【0146】
本開示の態様は、デジタル回路、コンピュータ可読記憶媒体において、1つ以上のコンピュータプログラムとして、又は上記のうちの1つ以上の組み合わせとして実装され得る。コンピュータ可読記憶媒体は、例えば、クラウドコンピューティングプラットフォームによって実行可能であり、有形記憶デバイス上に記憶される1つ以上の命令として、非一時的であり得る。
【0147】
本明細書では、「ように構成される(configured to)」という句は、コンピュータシステム、ハードウェア、又はコンピュータプログラム、エンジン、若しくはモジュールの一部に関連する異なる文脈で使用される。或るシステムが1つ以上の動作を実施するように構成されると言われる場合、これは、システムが、動作中にシステムに1つ以上の動作を実施させる、システムにインストールされた適切なソフトウェア、ファームウェア、及び/又はハードウェアを有することを意味する。或るハードウェアが1つ以上の動作を実施するように構成されると言われる場合、これは、ハードウェアが、動作中に、入力を受信し、入力に従って、1つ以上の動作に対応する出力を生成する1つ以上の回路を含むことを意味する。コンピュータプログラム、エンジン、又はモジュールが1つ以上の動作を実施するように構成されると言われる場合、これは、コンピュータプログラムが、1つ以上のコンピュータによって実行されたときに1つ以上のコンピュータに1つ以上の動作を実施させる1つ以上のプログラム命令を含むことを意味する。
【0148】
図面に示され、特許請求の範囲に記載される動作は、特定の順序で示されるが、動作は、示されるものとは異なる順序で実施されてもよく、いくつかの動作は、省略され、2回以上実施され、及び/又は他の動作と並行して実施され得ることが理解される。さらに、異なる動作を実施するように構成された異なるシステム構成要素の分離は、構成要素が分離されることを必要とするものとして理解されるべきではない。説明される構成要素、モジュール、プログラム、及びエンジンは、単一のシステムとして一緒に統合することができ、又は複数のシステムの一部とすることができる。
【0149】
別段の指示がない限り、上述の代替的な例は、互いに排他的ではなく、固有の利点を達成するために様々な組み合わせで実施することができる。上述したこれらの機能及び他の変形形態並びに組み合わせを、特許請求の範囲によって規定される主題から逸脱することなく利用することができるため、上述の実施形態の記載は、特許請求の範囲によって規定される主題を限定するのではなく、例示するものとして解釈されるべきである。加えて、本明細書に記載した例の提供、及び「等」、「を含む」等という言い回しの節は、特許請求の範囲の主題を特定の例に限定するものとして解釈されるべきではなく、むしろ、こうした例は、多くのあり得る実施形態のうちの1つのみを例示することが意図されている。さらに、様々な図における同じ参照符号は、同じ又は類似の要素を識別することができる。
【国際調査報告】