(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024059614
(43)【公開日】2024-05-01
(54)【発明の名称】ユーザ入力に基づいて血管映像を処理する方法及び装置
(51)【国際特許分類】
A61B 6/50 20240101AFI20240423BHJP
A61B 6/00 20240101ALI20240423BHJP
A61B 6/46 20240101ALI20240423BHJP
G06T 7/00 20170101ALI20240423BHJP
G06F 3/04845 20220101ALI20240423BHJP
【FI】
A61B6/50 511E
A61B6/00 550A
A61B6/46 506
G06T7/00 612
G06F3/04845
【審査請求】有
【請求項の数】10
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2024005155
(22)【出願日】2024-01-17
(62)【分割の表示】P 2022562149の分割
【原出願日】2021-04-28
(31)【優先権主張番号】10-2020-0066266
(32)【優先日】2020-06-02
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】522186055
【氏名又は名称】メディピクセル インコーポレイテッド
【氏名又は名称原語表記】MEDIPIXEL, INC.
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100173794
【弁理士】
【氏名又は名称】色部 暁義
(72)【発明者】
【氏名】クウェオン ジフーン
(72)【発明者】
【氏名】キム ヨンハク
(72)【発明者】
【氏名】クォン ヒー
(57)【要約】 (修正有)
【課題】ユーザ入力に基づいて自動抽出結果の誤認部位を識別し修正する手段を提供する。
【解決手段】プロセッサによって行われる血管映像から血管映像を処理する方法は、血管映像から対象血管を抽出するステップと、ユーザから受信される第1入力に基づいて前記対象血管の抽出結果に対する関心領域(Region of Interest、ROI)を決定するステップと、前記決定された関心領域内で前記ユーザから受信される第2入力に基づいて前記抽出結果のエラー部位を識別し、前記識別されたエラー部位を修正するステップとを含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
プロセッサによって行われる血管映像処理方法であって、
血管映像から対象血管を抽出するステップと、
ユーザから受信される第1入力に基づいて前記対象血管の抽出結果に対する関心領域(
Region of Interest、ROI)を決定するステップと、
前記決定された関心領域内で前記ユーザから受信される第2入力に基づいて前記抽出結
果のエラー部位を識別し、前記識別されたエラー部位を修正するステップと、
を含む血管映像処理方法。
【請求項2】
前記関心領域を決定するステップは、前記第1入力が検出される地点に基づいて前記関
心領域の形態を決定するステップを含む、請求項1に記載の血管映像処理方法。
【請求項3】
前記エラー部位を修正するステップは、前記第2入力が前記関心領域内の複数の地点か
ら検出される場合に応答して、前記第2入力の前記複数の地点に基づいてエラー部位を修
正するステップを含む、請求項1に記載の血管映像処理方法。
【請求項4】
前記複数の地点に基づいてエラー部位を修正するステップは、
前記第2入力に対応する地点が前記対象血管から抽出された領域に沿って移動する間に
、前記第2入力が通過した地点で断絶部位が存在するかを検出するステップと、
前記断絶部位が検出される場合に応答して、前記第2入力の移動軌跡に沿って断絶した
部位を連結するステップと、
を含む、請求項3に記載の血管映像処理方法。
【請求項5】
前記移動軌跡に基づいてエラー部位を修正するステップは、
前記第2入力に対応する地点が前記対象血管から抽出された領域内の分枝地点から前記
対象血管を離脱した領域に移動する場合に応答して、前記分枝地点と連結された血管分枝
のうち、前記第2入力の移動軌跡に対応する領域の外側に位置する血管分枝を誤認部位と
して決定するステップと、
前記対象血管を離脱した前記第2入力によって指示される血管分枝に交替し、前記交替
された血管分枝に基づいて残りの抽出結果を修正するステップと、
を含む、請求項3に記載の血管映像処理方法。
【請求項6】
前記エラー部位を修正するステップは、
前記関心領域の決定に応答して、前記対象血管の抽出結果から前記エラー部位を識別し
て前記識別されたエラー部位を修正するステップと、
前記エラー部位の修正結果をユーザに提供するステップと、
を含む、請求項1に記載の血管映像処理方法。
【請求項7】
前記修正結果をユーザに提供するステップは、
前記エラー部位が誤認部位である場合に応答して、1つ以上の候補分枝をユーザに提供
するステップと、
前記ユーザから前記1つ以上の候補分枝のいずれか1つの分枝に対するポインティング
入力を受信する場合に応答して、前記エラー部位に対応する分枝を選択された分枝に交替
するステップと、
をさらに含む、請求項6に記載の血管映像処理方法。
【請求項8】
前記修正結果をユーザに提供するステップは、前記修正結果に対して複数の地点でユー
ザ入力が検出される場合に応答して、前記ユーザ入力の開始地点に対応する血管分枝に対
応する領域及び前記ユーザ入力の終了地点に対応する血管分枝に対応する領域を連結する
ステップを含む、請求項6に記載の血管映像処理方法。
【請求項9】
前記エラー部位を修正するステップは、前記関心領域が決定される場合に応答して、前
記対象血管に関する血管構造データ、前記対象血管の曲率情報、前記対象血管の直径情報
、及び前記対象血管の明るさ情報のうち少なくとも1つに基づいて前記エラー部位を識別
するステップを含む、請求項6に記載の血管映像処理方法。
【請求項10】
前記エラー部位を修正するステップは、前記エラー部位が識別される場合に応答して、
前記対象血管に関する血管構造データ、前記対象血管の曲率情報、前記対象血管の直径情
報、及び前記対象血管の明るさ情報のうち少なくとも1つに基づいて前記エラー部位を修
正するステップを含む、請求項6に記載の血管映像処理方法。
【請求項11】
前記エラー部位を修正するステップは、
前記エラー部位が識別された場合に応答して、前記対象血管に対する複数の新しい抽出
結果を生成するステップと、
ユーザの選択入力に応答して、前記複数の新しい抽出結果のうち前記選択入力によって
指示される1つの抽出結果を選択するステップと、
を含む、請求項1に記載の血管映像処理方法。
【請求項12】
血管映像処理装置であって、
血管映像を受信する映像受信部と、
前記血管映像から対象血管を抽出し、ユーザから受信される第1入力に基づいて前記対
象血管の抽出結果に対する関心領域(Region of Interest、ROI)
を決定し、前記決定された関心領域内で前記ユーザから受信される第2入力に基づいて前
記抽出結果のエラー部位を識別と前記識別されたエラー部位を修正するプロセッサと、
を含む血管映像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
以下、血管映像を処理する方法に関する技術が提供される。
【背景技術】
【0002】
血管造影術(angiography)映像は、主な血管を観察して血管内の問題部位
を診断して必要な施術及び措置をするために広範囲に活用されている。従来には、便宜性
を高めて診断結果を定量化するために、血管映像から主な血管を自動識別する映像処理エ
ンジンが利用されている。例えば、Piメディカル社のCaas QCAエンジンは、血
管造営映像で主な血管を探して表示することができる。一方、エンジンから抽出された主
な血管は、実際に抽出しなければならない主な血管部位ではない他の血管部位(misi
dentification)に該当し、一部が切れている(disconnectio
n)など、エラーを示す場合が多い。したがって、臨床では、エンジンが主な血管を1次
抽出した識別結果をそのまま使用されることができず、人力が投入されて血管造営映像を
確認して前記エラーを人力が直接修正して活用して格納する。
【発明の概要】
【課題を解決するための手段】
【0003】
一実施形態によれば、プロセッサによって行われる血管映像処理方法は、血管映像から
対象血管を抽出するステップと、ユーザから受信される第1入力に基づいて前記対象血管
の抽出結果に対する関心領域(Region of Interest、ROI)を決定
するステップと、前記決定された関心領域内で前記ユーザから受信される第2入力に基づ
いて前記抽出結果のエラー部位を識別し、前記識別されたエラー部位を修正するステップ
とを含む。
【0004】
一実施形態に係る血管映像処理方法の前記関心領域を決定するステップは、前記第1入
力が検出される地点に基づいて前記関心領域の形態を決定するステップを含むことができ
る。
【0005】
一実施形態に係る血管映像処理方法の前記エラー部位を修正するステップは、前記第2
入力が前記関心領域内の複数の地点から検出される場合に応答して、前記第2入力の前記
複数の地点に基づいてエラー部位を修正するステップを含むことができる。
【0006】
一実施形態に係る血管映像処理方法の前記複数の地点に基づいてエラー部位を修正する
ステップは、前記第2入力に対応する地点が前記対象血管から抽出された領域に沿って移
動する間に、前記第2入力が通過した地点で断絶部位が存在するかを検出するステップと
、前記断絶部位が検出される場合に応答して、前記第2入力の移動軌跡に沿って断絶した
部位を連結するステップとを含むことができる。
【0007】
一実施形態に係る血管映像処理方法の前記移動軌跡に基づいてエラー部位を修正するス
テップは、前記第2入力に対応する地点が前記対象血管から抽出された領域内の分枝地点
から前記対象血管を離脱した領域に移動する場合に応答して、前記分枝地点と連結された
血管分枝のうち、前記第2入力の移動軌跡に対応する領域の外側に位置する血管分枝を誤
認部位として決定するステップと、前記対象血管を離脱した前記第2入力によって指示さ
れる血管分枝に交替し、前記交替された血管分枝に基づいて残りの抽出結果を修正するス
テップとを含むことができる。
【0008】
一実施形態に係る血管映像処理方法の前記エラー部位を修正するステップは、前記関心
領域の決定に応答して、前記対象血管の抽出結果から前記エラー部位を識別して前記識別
されたエラー部位を修正するステップと、前記エラー部位の修正結果をユーザに提供する
ステップとを含むことができる。
【0009】
一実施形態に係る血管映像処理方法の前記修正結果をユーザに提供するステップは、前
記エラー部位が誤認部位である場合に応答して、1つ以上の候補分枝をユーザに提供する
ステップと、前記ユーザから前記1つ以上の候補分枝のいずれか1つの分枝に対するポイ
ンティング入力を受信する場合に応答して、前記エラー部位に対応する分枝を選択された
分枝に交替するステップとをさらに含むことができる。
【0010】
一実施形態に係る血管映像処理方法の前記修正結果をユーザに提供するステップは、前
記修正結果に対して複数の地点でユーザ入力が検出される場合に応答して、前記ユーザ入
力の開始地点に対応する血管分枝に対応する領域及び前記ユーザ入力の終了地点に対応す
る血管分枝に対応する領域を連結するステップを含むことができる。
【0011】
一実施形態に係る血管映像処理方法の前記エラー部位を修正するステップは、前記関心
領域が決定される場合に応答して、前記対象血管に関する血管構造データ、前記対象血管
の曲率情報、前記対象血管の直径情報、及び前記対象血管の明るさ情報のうち少なくとも
1つに基づいて前記エラー部位を識別するステップを含むことができる。
【0012】
一実施形態に係る血管映像処理方法の前記エラー部位を修正するステップは、前記エラ
ー部位が識別される場合に応答して、前記対象血管に関する血管構造データ、前記対象血
管の曲率情報、前記対象血管の直径情報、及び前記対象血管の明るさ情報のうち少なくと
も1つに基づいて前記エラー部位を修正するステップを含むことができる。
【0013】
一実施形態に係る血管映像処理方法の前記エラー部位を修正するステップは、前記エラ
ー部位が識別された場合に応答して、前記対象血管に対する複数の新しい抽出結果を生成
するステップと、ユーザの選択入力に応答して、前記複数の新しい抽出結果のうち前記選
択入力によって指示される1つの抽出結果を選択するステップとを含むことができる。
【0014】
一実施形態に係る血管映像処理装置は、血管映像を受信する映像受信部と、前記血管映
像から対象血管を抽出し、ユーザから受信される第1入力に基づいて前記対象血管の抽出
結果に対する関心領域(Region of Interest、ROI)を決定し、前
記決定された関心領域内で前記ユーザから受信される第2入力に基づいて前記抽出結果の
エラー部位を識別と前記識別されたエラー部位を修正するプロセッサとを含む。
【発明の効果】
【0015】
一実施形態に係る血管映像処理装置によって行われる血管映像を処理する方法は、造影
剤が挿入された血管映像から主な血管に対応する対象血管を抽出することができる。一実
施形態に係る血管映像処理装置は、ユーザの入力を受信して関心領域(Region o
f Interest、ROI)を決定し、関心領域内でユーザから受信される入力に基
づいてエラー部位を識別して修正することができる。
【図面の簡単な説明】
【0016】
【
図1】一実施形態に係る血管映像を処理する方法を示すフローチャートである。
【
図2A】一実施形態に係る対象血管及び関心領域(Region of Interest、ROI)が表示された血管映像を示す図である。
【
図2B】一実施形態に係る対象血管及び関心領域(Region of Interest、ROI)が表示された血管映像を示す図である。
【
図2C】一実施形態に係る対象血管及び関心領域(Region of Interest、ROI)が表示された血管映像を示す図である。
【
図3】一実施形態に係る対象血管の抽出結果でエラー部位が発生した例示を示す。
【
図4】関心領域内でユーザから受信される第2入力に基づいて抽出結果のエラー部位を識別し、識別されたエラー部位を修正する方法を示す。
【
図5】関心領域内でユーザから受信される第2入力に基づいて抽出結果のエラー部位を識別し、識別されたエラー部位を修正する方法を示す。
【
図6】関心領域内でユーザから受信される第2入力に基づいて抽出結果のエラー部位を識別し、識別されたエラー部位を修正する方法を示す。
【
図7】一実施形態に係るエラー部位を修正する方法を示す。
【
図8】一実施形態に係るエラー部位を修正する方法を示す。
【
図9】血管分枝に対応するノードに基づいた血管構造データのトポロジーを用いて対象血管のエラーを識別する方法を示す。
【
図10】一実施形態に係るエラー部位を修正する方法を示す。
【
図11】一実施形態に係るエラー部位を修正する方法を示す。
【
図12】対象血管の曲率情報を用いて対象血管のエラーを識別して修正する方法を示す。
【
図13】対象血管の直径情報を用いて対象血管のエラーを識別して修正する方法を示す。
【
図14】対象血管の明るさ情報を用いて対象血管のエラーを識別して修正する方法を示す。
【
図15】一実施形態に係る血管映像処理装置を概略的に示すブロック図である。
【発明を実施するための形態】
【0017】
実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示
されたものであって、様々な形態に変更されることができる。したがって、実施形態は特
定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更
、均等物ないし代替物を含む。
【0018】
第1又は第2などの用語を様々な構成要素を説明するために用いることがあるが、この
ような用語は1つの構成要素を他の構成要素から区別する目的としてのみ解釈されなけれ
ばならない。例えば、第1構成要素は第2構成要素と命名することができ、同様に、第2
構成要素は第1構成要素にも命名することができる。
【0019】
いずれかの構成要素が他の構成要素に「連結」されていると言及されたときには、その
他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が
存在し得るものと理解されなければならない。
【0020】
単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書
において、「含む」又は「有する」等の用語は、明細書上に記載した特徴、数字、ステッ
プ、動作、構成要素、部品又はこれを組み合わせたものが存在することを示すものであっ
て、1つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを
組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなけれ
ばならない。
【0021】
異なるように定義さがれない限り、技術的又は科学的な用語を含んで、ここで用いる全
ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解
されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の
文脈上で有する意味と一致する意味を有するものと解釈されなければならず、本明細書で
明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。以
下、添付する図面を参照しながら実施形態を詳細に説明する。各図面に提示された同一の
参照符号は同一の部材を示す。
【0022】
図1は、一実施形態に係る血管映像を処理する方法を示すフローチャートである。
【0023】
まず、ステップ110において、血管映像処理装置は、血管映像(blood ves
sel image)から対象血管(target vessel)を抽出する。対象血
管は、主血管のように示してもよい。一実施形態によれば、血管映像処理装置の映像受信
部は、血管映像撮影装置によって撮影された血管映像を受信する。血管映像は、生体(l
iving body)の血管を撮影した映像であって、血管造影検査(coronar
y angiography、以下CAG)映像及び/又は磁気共鳴映像(Magnet
ic Resonance Imaging、以下、MRI)を用いて生成されてもよい
。例示的に、血管映像は、造影剤の注入された生体に対してX線撮影することによって取
得された映像であり得る。
【0024】
一実施形態によれば、血管映像処理装置は、機械学習モデル(machine lea
rning model)に基づいて血管映像から対象血管を抽出することができる。機
械学習モデルは、血管映像の入力に応答して、血管映像から対象血管を抽出するように設
計された機械学習構造を有する1つ以上のモデルとして、例えば、ニューラルネットワー
クを含んでもよい。血管映像処理装置は、受信された血管映像に対して上述した機械学習
モデルによる演算を行うことで、対象血管の抽出結果を算出することができる。例えば、
機械学習モデルの出力データは、血管映像の複数のピクセルで各ピクセルが対象血管を指
示する可能性(例えば、確率)に対応するスコアを含む。血管映像処理装置は、出力デー
タで閾値以上のスコアを有するピクセルを対象血管として決定することで、対象血管の抽
出結果を生成することができる。異なる例として、機械学習モデルの出力データは、血管
映像から分割(segment)された対象血管領域として、血管映像の複数のピクセル
のうち、対象血管として抽出されたピクセルを含むことができる。対象血管の抽出結果は
、例えば、血管映像のピクセルのうち対象血管として抽出されたピクセルの集合及び/又
は血管映像から分割された対象血管領域に対応する映像(例えば、対象血管映像)であり
得る。
【0025】
参考として、ニューラルネットワークは、ディープニューラルネットワーク(DNN、
deep neural network)を含む。DNNは、完全接続ネットワーク(
fully connected network)、ディープコンボリューショナルネ
ットワーク(deep convolutional network)及びリカレント
ニューラルネットワーク(recurrent neural network)などを
含む。ニューラルネットワークは、ディープラーニングに基づいて非線形関係にある入力
データ及び出力データを互いにマッピングすることで、オブジェクト分類、オブジェクト
認識、及びレーダーイメージ認識などを行うことができる。ディープラーニングは、ビッ
グデータセットからオブジェクト認識のような問題を解決するための機械学習方式であっ
て、教師有り学習又は教師なし学習を介して入力データ及び出力データを互いにマッピン
グすることができる。教師有り学習学習の場合、上述した機械学習モデルは、トレーニン
グ入力(例えば、トレーニングのための血管映像)及び該当トレーニング入力にマッピン
グされたトレーニング出力(例えば、トレーニングのための血管映像に対して専門家など
によって対象血管に分割された真の値(ground truth)映像)の対を含むト
レーニングデータに基づいてトレーニングされ得る。例えば、機械学習モデルは、トレー
ニング入力からトレーニング出力を出力するようにトレーニングされてもよい。トレーニ
ングのうちの機械学習モデル(以下、「臨時モデル」)は、トレーニング入力に応答して
臨時出力を生成することができ、臨時出力及びトレーニング出力(例えば、真の値)間の
損失が最小化されるようトレーニングされる。トレーニング過程の間に機械学習モデルの
パラメータ(例えば、ニューラルネットワークでノード/レイヤ間の連結加重値)が損失
に応じてアップデートされることができる。
【0026】
但し、機械学習モデルが血管映像から対象血管を直ちに抽出する例示について説明した
が、これに限定されることはない。例えば、機械学習モデルは、全体血管抽出モデル及び
対象血管抽出モデルを含む。全体血管抽出モデルは、血管映像から全体血管領域を抽出す
るように設計されたモデルであってもよい。対象血管抽出モデルは、全体血管領域を指示
する映像(例えば、全体血管映像)から対象血管領域を抽出するよう設計されたモデルで
あってもよい。また、全体血管抽出モデルの代わりに、血管映像処理装置は、血管映像で
のピクセルの周辺ピクセルとのグレースケールレベル差に基づいて境界を検出することで
、全体血管領域を抽出することができる。例示的に、血管映像処理装置は、任意のピクセ
ルと周辺ピクセルのグレースケールレベルの勾配(gradient)値が閾値の勾配値
よりも大きい場合、該当ピクセルを境界として検出することができる。したがって、血管
映像処理装置は、グレースケールレベルが急激に変わる領域を境界として検出することが
できる。血管映像処理装置は、グレースケールレベルの勾配値に基づいて抽出された全体
血管映像から対象血管抽出モデルを用いて対象血管映像を抽出してもよい。
【0027】
さらに、血管映像処理装置は、血管の形態、種類及び/又は血管領域に応じて複数の機
械学習モデルのうち、対象血管抽出に使用する機械学習モデルを選択的に使用してもよい
。一実施形態によれば、血管映像処理装置は、血管の種類別(例えば、左主冠状動脈(L
eft Main Coronary Artery、LM)、左前下行動脈(Left
Anterior Descending Artery、LAD)、左回旋動脈(L
eft Circumflex Artery、LCX)、右冠状動脈(Right C
oronary Artery、RCA))及び/又は血管領域別(例えば、近位領域(
proximal region)、中間領域(mid region)、及び遠位領域
(distal region))の複数の機械学習モデルを格納することができる。参
考として、血管領域は、カテーテル(catheter)の挿入される血管地点から離れ
た距離に応じて、近位領域(proximal portion)、中間領域(midd
le portion)、及び遠位領域(distal portion)に分類される
が、これに限定されない。血管領域は、血管映像を取得するために造影剤が血管挿入部に
注入される地点から離れた距離、及び造影剤が注入され得る血管末端から離れた距離の比
率に応じて分類してもよい。例えば、血管映像処理装置は、抽出しようとする血管の種類
を選択し、識別された血管の種類に対応する機械学習モデルをロードすることができる。
血管映像処理装置は、ロードされた機械学習モデルを用いて、血管映像から選択された血
管の種類に対応する対象血管の抽出結果を生成することができる。例示的に、血管映像処
理装置は、複数の心血管の種類(例えば、1個の右冠状動脈、2個の左冠状動脈)に対応
する機械学習モデルを格納することができる。複数の心血管の種類に対応する機械学習モ
デルのそれぞれは、該当心血管の種類に対応するトレーニングデータに基づいてトレーニ
ングされてもよい。心血管の種類ごとに機械学習モデルのトレーニングされたパラメータ
はそれぞれ異なってもよく、さらに、互いに機械学習構造(例えば、畳み込みニューラル
ネットワーク、U-net構造など)が異なってもよい。説明の便宜のために、血管の種
類ごとにパラメータ及び/又は機械学習構造が区別される機械学習モデルについて説明し
たが、これに限定されることはない。血管映像処理装置は、血管の形態、種類、及び/又
は血管領域ごとに互いに区別される複数の機械学習モデルを格納し、必要な血管モデルを
選択的にロードして対象血管抽出に使用してもよい。
【0028】
そして、ステップ120において、血管映像処理装置は、ユーザから受信される第1入
力に基づいて前記対象血管の抽出結果に対する関心領域(Region of Inte
rest、ROI)を決定する。関心領域は、血管映像分析のためにユーザが血管映像内
から選択した一部領域を示す。血管映像処理装置は、関心領域を決定することによって、
血管映像に関する処理を関心領域に集中し得る。関心領域に対する詳しい説明は、
図2を
参照して後述する。
【0029】
ステップ130において、血管映像処理装置は、前記決定された関心領域内で前記ユー
ザから受信される第2入力に基づいて前記抽出結果のエラー部位(error port
ion)を識別し、前記識別されたエラー部位を修正する。エラー部位は、断絶部位(d
iscontinuity portion)及び/又は誤認部位(misidenti
fication portion)を含む。断絶部位は、対象血管として抽出された対
象血管領域及び/又は対象血管を指示するピクセルのうち、少なくとも1つの領域及び/
又は少なくとも1つのピクセルが他の領域及び/又は他のピクセルから分離されたり離隔
された部位を示す。誤認部位は、血管映像で実際に抽出しなければならない対象血管では
ない他の血管に対応する領域及び/又はピクセルが対象血管であると間違って抽出された
部位を示す。
【0030】
例えば、血管映像処理装置は、第2入力が検出される地点が関心領域内で移動する場合
に応答して、第2入力の移動軌跡(movement trajectory)に基づい
てエラー部位を識別して修正することができる。他の例として、第2入力は、第2入力は
ポインティング入力を示す。血管映像処理装置は、ポインティング入力に対応する開始地
点と終了地点との間の領域に基づいてエラー部位を識別して修正してもよい。他の例とし
て、血管映像処理装置は、第2入力が検出される地点が関心領域内の一地点で閾値時間以
上に保持される場合に応答して、第2入力が保持された地点をエラー部位として識別して
修正することができる。第2入力に基づいた修正は、下記の
図4~
図6を参照して説明す
る。
【0031】
図2A~
図2Cは、一実施形態に係る対象血管及び関心領域(Region of I
nterest、ROI)が表示された血管映像を示す図である。
【0032】
血管映像処理装置は、血管映像201,202,203を撮影する。血管映像処理装置
は、血管映像撮影装置から血管映像201,202,203を受信する。血管映像処理装
置は、受信された血管映像201,202,203から対象血管211,212,213
を抽出する。血管映像処理装置は、機械学習モデルに基づいて対象血管211,212,
213を抽出する。血管映像処理装置は、ユーザから受信される第1入力231に基づい
て対象血管の抽出結果に対する関心領域221を決定することができる。血管映像処理装
置は、第1入力が検出される地点に基づいて関心領域の形態を決定することができる。血
管映像処理装置は、ユーザから受信される第1入力231の開始地点232及び第1入力
231の終了地点233を検出する。第1入力231は、開始地点232で検出された後
終了地点233まで保持され、終了地点233において解除され得る。
【0033】
図2Aを参照すると、血管映像処理装置は、ユーザから開始地点231から終了地点2
33までのドラッグ(drag)入力を第1入力231として受信することができる。ド
ラッグ入力は、ディスプレイ上の任意の地点(例えば、開始地点232)でクリック(c
lick)又はタッチ(touch)が発生し、クリック又はタッチが保持された状態に
移動し、他の地点(例えば、終了地点233)でクリック又はタッチがリリースされる入
力を示す。また、血管映像処理装置は、検出された開始地点232及び終了地点233の
間で予め定義された形態に関心領域221を決定することができる。例えば、関心領域2
21は、関心領域221の境界上に開始地点232及び終了地点233が配置されるよう
決定されてもよい。
図2Aに示すように、関心領域221の予め定義された形態は長方形
に示しているが、これに限定されることなく、多角形又は円形であってもよい。血管映像
処理装置は、第1入力231の検出が始まった地点から第1入力231が現在に検出され
る地点の間の領域である臨時関心領域220をディスプレイを介して出力してユーザに提
供する。血管映像処理装置は、臨時関心領域220をユーザに提供することで関心領域2
21を決定する前に、ユーザにフィードバック(feedback)を提供することがで
きる。血管映像処理装置は、第1入力231の検出が終了すると、第1入力231が検出
された開始地点232及び第1入力231の終了地点233の間で予め定義された形態に
関心領域221として決定し、ディスプレイを介してユーザに出力し提供することができ
る。
【0034】
図2Bを参照すると、血管映像処理装置は、ユーザから複数の入力を含む第1入力を受
信することができる。第1入力が含む複数の入力は、ディスプレイ上の任意の地点に対す
るクリック又はタッチを示する。血管映像処理装置はユーザから受信される第1入力によ
り、複数の入力に対応するディスプレイ上の地点241,242,243をユーザの入力
により連続的に直線に連結して形成される多角形内部の領域を関心領域222として決定
する。血管映像処理装置は、第1入力の検出が始まった地点から第1入力が現在検出され
る地点の間で形成される多角形の一部の形態をユーザに提供することができる。
【0035】
図2Cを参照すると、血管映像処理装置は、ユーザから開始地点251から開始地点と
同じ地点である終了地点251までのドラッグ入力を第1入力として受信することができ
る。血管映像処理装置は、ユーザの開始地点と終了地点が同じドラッグ入力に対応する自
由曲線(free curve)内部の領域を関心領域223として決定する。血管映像
処理装置は、第1入力の検出が始まった地点から第1入力が現在の検出される地点の間で
形成される自由曲線からなる自由図形の一部形態をユーザに提供することができる。
【0036】
一実施形態に係る血管映像処理装置は、ユーザから受信される第1入力に基づいて決定
された関心領域内に対象血管から抽出された血管分枝が存在する場合、関心領域内に含ま
れている1つの分枝地点を基準にして、互いに隣接する上位分枝及び下位分枝のうち上位
分枝を正解領域分枝に固定することができる。正解領域分枝とは、血管映像処理装置によ
って抽出された対象血管のうち、エラー部位として識別されていないか、ユーザが修正を
所望しない血管分枝である。血管映像処理装置は、正解領域分枝に固定された上位分枝を
基準にして、下位分枝についてのみエラー部位を識別し修正することができる。
【0037】
他の一実施形態に係る血管映像処理装置は、ユーザから受信される第1入力に基づいて
決定された関心領域を予め決定された条件に相応して修正してもよい。例えば、予め決定
された条件は、関心領域が関心領域境界の一部で血管映像処理装置によって抽出された対
象血管のうちエラー部位に該当しないか、ユーザが修正を所望しない少なくとも1つの正
解領域分枝と交差することを示す。例示的に、血管映像処理装置は、ユーザから受信され
る第1入力に基づいて決定された関心領域の境界の一部で血管映像処理装置によって抽出
された対象血管のうちエラー部位に該当していないか、ユーザが修正を所望しない少なく
とも1つの正解領域分枝と交差するよう、関心領域を拡張したり移動させる修正を行うこ
とが可能である。血管映像処理装置は、関心領域内部の血管分枝のうち、正解領域分枝と
関心領域が関心領域の上部境界で交差するように関心領域を修正してもよい。しかし、こ
れに限定されることなく、関心領域境界の任意の位置で対象血管と交差するように関心領
域を修正してもよい。また、血管映像処理装置は、ユーザから受信される第1入力に基づ
いて決定された関心領域内部に抽出された対象血管が全く含まれていない場合、ユーザか
ら第1入力を再び受信されてもよい。
【0038】
血管映像処理装置は、分枝地点(branch point)を基準としてエラー部位
を識別して修正することができる。分枝地点(branch point)は、2以上の
血管分枝が合わさる地点及び/又は複数の血管分枝に分かれる地点を示す。血管映像20
0にキャプチャーされた血管領域は、複数の分枝地点を有してもよい。
【0039】
一実施形態に係る血管映像処理装置は、最終的に
図2に示したような対象血管210を
決定するために、対象血管210の抽出、関心領域220の決定、決定された関心領域2
20内で抽出結果のエラー部位の識別及び修正を行うことができる。
【0040】
図3は、一実施形態に係る対象血管の抽出結果でエラー部位が発生した例示を示す。
【0041】
一実施形態に係る血管映像処理装置は、血管映像から分枝地点及び分枝を識別すること
ができる。例えば、血管映像処理装置は、全体血管領域を抽出し、抽出された全体血管領
域から分枝地点及び分枝を識別することができる。血管映像処理装置は、分枝地点(br
anch point)を基準にして血管分枝を識別することができる。血管映像から全
体血管領域を抽出することができる。一実施形態に係る血管映像処理装置は、全体血管抽
出モデルに基づいて血管映像から全体血管領域を抽出することができる。全体血管抽出モ
デルは、上述したように、血管映像から血管領域及び残りの非血管領域が区分された結果
を指示する出力データを生成するようにトレーニングされたモデルであり得る。
【0042】
図3は、抽出された全体血管領域のうち、
図2に図示された血管映像200の関心領域
220に対応する部分300を示す。血管映像処理装置は、関心領域220内で分枝地点
を基準に血管分枝を識別することができる。参考として、本明細書において、上位血管分
枝は、血流の進行方向又は造影剤の進行方向によって分枝地点以前の分枝を示し、下位血
管分枝は、分枝地点以後の分枝を示す。例えば、血管映像処理装置によって識別された結
果として、第1分枝ないし第7分枝301~307及び分枝地点311、312が図示さ
れている。第1分枝地点311を基準にして、第1分枝300は上位血管分枝であり、第
2分枝302及び第3分枝303は下位血管分枝である。また、上位血管分枝及び下位血
管分枝の関係は相対的なものであって、分枝地点ごとに変わり得る。例えば、第2分枝3
02は、第4分枝304及び第5分枝305については上位血管分枝である。血管映像処
理装置は、血管分枝それぞれに対応するノードを生成してインデックスすることで、血管
構造データを生成することができる。血管構造データは、下記の
図9を参照して後述する
。
【0043】
図3に示された例示で、血管映像処理装置は対象血管に属する血管分枝として、第1分
枝301、第3分枝303、及び第5分枝305を抽出することができる。但し、
図2に
示された対象血管220に対応する血管経路320は、第1分枝301、第2分枝302
、及び第5分枝305を通過する。したがって、例示的な対象血管の抽出結果において、
第1分枝301から第3分枝303に向かう第1分枝地点311はエラー部位である。以
下では、エラー部位の検出及び修正をについて説明する。
【0044】
図4~
図6は、関心領域内でユーザから受信される第2入力に基づいて抽出結果のエラ
ー部位を識別し、識別されたエラー部位を修正する方法を示す。
【0045】
図4は、一実施形態に係る血管映像処理装置がユーザから受信される第2入力に基づい
て、抽出結果の断絶部位を識別して修正する方法を説明する。血管映像処理装置は、第2
入力が関心領域内の複数の地点から検出される場合に応答して、第2入力の複数の地点に
基づいてエラー部位を修正することができる。
【0046】
一実施形態に係る血管映像処理装置がユーザから受信する第2入力は、ドラッグ(dr
ag)入力を示してもよい。血管映像処理装置は、第2入力が検出される地点が関心領域
内で移動する場合に応答して、第2入力491の移動軌跡(movement traj
ectory)に基づいてエラー部位を識別し修正することができる。血管映像処理装置
は、第2入力491に対応する地点が対象血管から抽出された領域に沿って移動する間に
、第2入力491が通過した地点で断絶部位が存在するかを検出する。例示的に、血管映
像処理装置が血管分枝401,405を対象血管に1次抽出し、ユーザの第2入力491
に対応する地点が対象血管から抽出された領域420に沿って移動する場合、血管映像処
理装置は、第2入力491が通過した地点で断絶部位が存在するかを検出する。参考とし
て、血管映像処理装置は、第2入力491に対応する地点が対象血管から抽出された領域
をしばらく離脱しても第2入力491に対応する地点が対象血管から抽出された領域に沿
って移動するものと判定することができる。例えば、血管映像処理装置は、第2入力49
1が対象血管から抽出された領域420内の分枝地点(branch point)でな
い地点から上述した領域420を離脱した地点に移動し、閾時間が経過する前に再び領域
420に復元する場合、第2入力491が領域420内で保持されたものと判定する。但
し、血管映像処理装置は、第2入力491が対象血管から抽出された領域420内の分枝
地点から領域420を離脱した他の分枝に移動する場合に応答して、第2入力491が領
域420を離脱したものと判定することができる。
【0047】
例えば、血管映像処理装置は、ユーザから関心領域内から抽出された対象血管の領域に
含まれる2つの地点に対応するグラフィック地点の間のドラッグ入力に対応する第2入力
491を受信することができる。前記ドラッグ入力は、ユーザが対象血管の領域に含まれ
ている2つの地点のうちの1つに対応するグラフィック地点をクリック又はタッチし、ク
リック又はタッチされた状態に移動し、残りの1つの地点に対応するグラフィック地点で
クリック又はタッチをリリースする入力を示す。血管映像処理装置は、ユーザから受信さ
れる第2入力491に応答して、第2入力491の開始地点に対応する血管分枝と第2入
力491の終了地点に対応する血管分枝との間の地点ごとに断絶部位が存在するかを検出
する。したがって、血管映像処理装置は、第2入力491が対象血管から抽出された領域
に沿って移動する間に持続的に断絶部位の検出を試みることができる。例示的に、血管映
像処理装置は、ユーザから受信した第2入力491に対応する開始地点及び終了地点がそ
れぞれ血管分枝401,405に対応する領域に含まれ、第2入力491に対応する地点
が対象血管から抽出された領域420に沿って移動する場合、血管映像処理装置は、血管
分枝401,405の間で断絶部位が存在するかを検出する。血管映像処理装置は、血管
分枝401,405を抽出された対象血管の血管分枝401,405に対応する領域が互
いに分離又は離隔される場合、断絶部位として判断することができる。例えば、血管映像
処理装置は、第2入力491が血管分枝401,405の間の地点を通過する間に、該当
地点が対象血管から抽出された領域420に属するかを判断する。血管映像処理装置は、
該当地点が領域420に属しない場合に応答して、該当地点を断絶部位として決定する。
一実施形態に係る血管映像処理装置は、断絶部位が検出される場合に応答して、第2入力
491の移動軌跡に沿って断絶した部位を連結することができる。例えば、血管映像処理
装置は、断絶部位として判断された血管分枝の外郭及び/又は境界に対して連結してもよ
い。例示的に、ユーザの第2入力491に対応する地点が対象血管から抽出された領域4
20に沿って移動する場合、血管映像処理装置は、断絶部位として判断された血管分枝4
01,405に対応する領域をユーザから受信された第2入力491の移動軌跡に沿って
連結してもよい。血管映像処理装置は、第2入力490に対応する地点が断絶した血管分
枝401,405の間の領域402に沿って移動する場合、血管映像処理装置は、断絶さ
れた血管分枝401,405の間の領域402を対象血管として抽出できる。即ち、血管
映像処理装置は、対象血管の抽出結果に領域402を追加させ得る。
【0048】
一実施形態に係る血管映像処理装置がユーザから受信する第2入力は、ポインティング
(pointing)入力を示すことができる。ポインティング入力は、ディスプレイ上
の一地点を指示する入力として、例えば、マウス操作によるクリック入力及び/又はタッ
チディスプレイに対するタッチ操作による入力(例えば、タッチ入力)を含んでもよい。
但し、ポインティング入力がこれに限定されることなく、設計に応じて、様々なポインテ
ィングデバイス(例えば、トラックボールマウス、タッチパッド、及びトラックパッドな
ど)による位置指示入力を含んでもよい。血管映像処理装置は、ユーザから開始地点及び
終了地点に対するポインティング入力を第2入力として受信することができる。しかし、
これに限定されることなく、血管映像処理装置は、ユーザから2地点以上に対するクリッ
ク又はタッチのポインティング入力を受信してもよい。血管映像処理装置は、ポインティ
ング入力により、ポインティング入力の開始及び終了地点の間の領域に基づいてエラー部
位を識別し修正することができる。例示的に、血管映像処理装置が血管分枝401,40
5を対象血管に1次抽出し、ユーザの第2入力に対応する地点492,493の間の血管
領域に対して断絶部位が存在するかを検出することができる。
【0049】
例えば、血管映像処理装置は、ユーザから関心領域内で抽出された対象血管の領域に含
まれている2つの地点492,493に対するクリック又はタッチ入力を含むポインティ
ング入力に対応する第2入力を受信することができる。血管映像処理装置は、ユーザから
受信される第2入力に応答して、第2入力の開始地点492に対応する血管分枝と第2入
力の終了地点に対応する血管分枝との間の地点ごとに断絶部位が存在するかを検出し、第
2入力でドラッグ入力を受信した場合と同様に断絶部位を修正することができる。
【0050】
図5は、一実施形態に係る血管映像処理装置がユーザから受信される入力の移動軌跡に
基づいて抽出結果の誤認部位を識別し修正する方法について説明する。血管映像処理装置
は、第2入力590に対応する地点が対象血管から抽出された領域内の分枝地点から対象
血管を離脱した領域に移動する場合に応答して、分枝地点と連結された対象血管から抽出
された血管分枝のうち、第2入力の移動軌跡に対応する領域の外側に位置する血管分枝を
誤認部位として決定することができる。血管映像処理装置は、分枝地点に関する部位を誤
認部位として判断した場合、第1入力に基づいた関心領域は、分枝地点を基準に全ての下
位分枝が関心領域内に含まれるように拡張されることができる。例示的に、血管映像処理
装置が血管分枝501,502,505を対象血管に1次抽出し、ユーザの第2入力59
0に対応する地点が対象血管から抽出された領域520内の分枝地点513から対象血管
を離脱した領域530に移動する場合、分枝地点513に関する部位を誤認部位として判
断することができる。例えば、血管映像処理装置は、分枝地点513を基準として対象血
管に1次抽出された下位血管分枝505と異なる下位血管分枝504に対応する領域に第
2入力590が移動する場合、ユーザから受信した第2入力590に対応する地点が、対
象血管を離脱した領域に移動したものと判断することができる。血管映像処理装置は、分
枝地点513に隣接する対象血管から抽出された血管分枝のうち少なくとも1つの分枝5
05を対象血管に対する抽出結果から誤認部位として判断することができる。
【0051】
血管映像処理装置は、誤認部位として識別された血管分枝のうち少なくとも1つを対象
血管を離脱した第2入力590によって指示される血管分枝に交替し、交替された血管分
枝に基づいて残りの抽出結果を修正することができる。例えば、血管映像処理装置は、第
2入力590に対応する地点が抽出された対象血管に対応する領域を離脱して移動する場
合、分枝地点513を基準にして対象血管に1次抽出された下位血管分枝505を血管分
枝504に交替することができる。血管映像処理装置は、交替された血管分枝504に基
づいて対象血管の抽出結果を修正し得る。例えば、血管映像処理装置は、対象血管の抽出
結果から1次抽出された下位血管分枝505に後続する血管分枝を排除し、交替された血
管分枝504に後続する血管分枝を対象血管の抽出結果に追加し得る。
【0052】
図6は、一実施形態に係る血管映像処理装置がユーザから受信される第2入力690に
基づいて修正候補をユーザに提供し、ユーザの選択入力によりエラー部位を識別して修正
する方法を示す。血管映像処理装置は、対象血管の抽出結果に対応する領域内の地点で、
第2入力690が第1閾時間以上検出される場合、該当の地点をエラー部位として決定す
ることができる。血管映像処理装置は、エラー部位として決定された地点に対応する修正
候補をユーザに提供する。修正候補は、第2入力690が保持された地点がエラー部位と
して判断される場合、断絶部位を補充可能な形態を有する候補血管分枝の集合又は誤認部
位を交替可能な形態及び構造を有する候補血管分枝の集合を示すことができる。例えば、
血管映像処理装置は、下記の
図7~
図14を参照して後述するような血管構造データ、血
管の曲率情報、血管の直径情報、及び明るさ情報などに基づいて修正候補を決定すること
ができる。例えば、第1修正候補661は血管構造データに基づいて決定された候補分枝
、第2修正候補662は曲率情報に基づいて決定された候補分枝、第3修正候補663は
直径情報に基づいて決定された候補分枝、及び第4修正候補664は明るさ情報に基づい
て決定された候補分枝であってもよい。但し、これは単なる例示に過ぎず、候補分枝の決
定は設計に応じて変わり得る。さらに、前述の第2入力690が保持された地点をエラー
部位として判断する例示について説明したが、血管映像処理装置は、第2入力690が保
持された地点に対して下記の
図7~
図14を参照して後述するような血管構造データ、血
管の曲率情報、血管の直径情報、及び明るさ情報などに基づいてエラー部位を決定しても
よい。
【0053】
血管映像処理装置は、ユーザから受信される修正候補を選択する第3入力に基づいて、
修正候補のうちの1つを選択する。血管映像処理装置は、選択された修正候補に含まれた
血管分枝を対象血管の抽出結果に追加してもよい。
【0054】
例示的に、血管映像処理装置が血管分枝601,602,605を対象血管に1次抽出
してもよい。血管映像処理装置がユーザから受信される第2入力690が検出される地点
が分枝地点611に対応する領域に含まれている場合、血管映像処理装置は、分枝地点6
11に対応する修正候補661,662,663,664のうちの1つに対する選択をユ
ーザに提供可能なグラフィックオブジェクト660が出力され得る。血管映像処理装置は
、ユーザから修正候補661,662,663,664のうちの1つを選択する第3入力
を受信し、選択された修正候補から構成された血管分枝(例えば、血管分枝602,60
4)を対象血管に抽出することができる。
【0055】
一実施形態に係る血管映像処理装置は、第2入力690に対応する地点が抽出された対
象血管の境界線(例えば、血管エッジ)に対応する地点であり、該当地点で第2入力69
0が検出される時間が第2閾値以上である場合、該当の境界線に対応する修正候補をユー
ザに提供することができる。例えば、血管映像処理装置は、ユーザから受信される第2入
力690に対応する対象血管の境界線に対して、境界線をスムーズに平坦化(smoot
hing)させる修正候補、背景とのコントラスト(contrast)を強調させる修
正候補、又は、既存の境界線とは異なる境界線を選択するようにする修正候補のオプショ
ンをユーザに提供することができる。
【0056】
血管映像処理装置は、関心領域の決定に応答して、対象血管の抽出結果からエラー部位
を識別し、識別されたエラー部位を修正することができる。血管映像処理装置は、エラー
部位の修正結果をユーザに提供することができる。血管映像処理装置は、エラー部位の修
正結果をユーザに提供し、ユーザから修正結果に対応する入力を受信してエラー部位を修
正し、エラー部位が修正された関心領域内でユーザから受信される第2入力690に基づ
いてエラー部位を識別して修正することができる。言い換えれば、血管映像処理装置は、
関心領域内でユーザから第2入力690を受信してエラー部位が識別されて修正される前
に、プロセッサによって自動にエラー部位を識別して修正し、ユーザに修正結果を提供す
る前処理過程を行うことができる。
【0057】
参考として、
図4~
図6において、説明の便宜のために第2入力490,590,69
0がタッチ入力であると示されているが、これに限定されることなく、クリック入力など
のようにディスプレイ上の地点をポインティングする別の形態の入力を含んでもよい。
【0058】
図7~
図8は、一実施形態に係るエラー部位を修正する方法を示す。
【0059】
図7は、対象血管の抽出結果からエラー部位が識別され、識別されたエラー部位が誤認
部位である場合、誤認部位の修正結果をユーザに提供する方法について説明する。一実施
形態によれば、血管映像処理装置は、対象血管でエラー部位が識別される場合、ユーザの
入力(例えば、タッチ(touch)入力)に基づいて識別されたエラー部位を修正する
ことができる。血管映像処理装置は、エラー部位が誤認部位である場合に応答して、1つ
以上の候補分枝をユーザに提供する。血管映像処理装置は、ユーザから1つ以上の候補分
枝のいずれか1つの分枝に対するポインティング入力を受信する場合に応答して、エラー
部位に対応する分枝を選択された分枝に交替する。例示的に、血管映像処理装置が血管分
枝701,702を対象血管として1次抽出した場合、対象血管に関する血管構造データ
、対象血管の曲率情報、対象血管の直径情報、及び対象血管の明るさ情報のうち少なくと
も1つに基づいて血管分枝701,702のうち少なくとも1つの分枝を対象血管に対す
る抽出結果でエラー部位として判断することができる。血管映像処理装置は、識別された
エラー部位が誤認部位である場合、対象血管から抽出されていない1つ以上の候補血管分
枝711,712,713をユーザに提供することができる。血管映像処理装置の入出力
インターフェースは、ディスプレイを介して候補血管分枝711,712,713に対す
る選択をユーザに提供可能なグラフィックオブジェクト771,772,773を出力す
る。グラフィックオブジェクトは、候補血管分枝に対応する領域を取囲む形態であっても
よい。
図7では、グラフィックオブジェクト771,772,773は長方形状に示され
ているが、形態がこれに限定されることはない。ユーザは、単にディスプレイに出力され
る候補血管分枝に対応するグラフィックオブジェクトのうちの1つに対応する地点に対し
てクリック(click)するかタッチ(touch)するポインティング入力によって
候補血管分枝を選択することができる。即ち、血管映像処理装置は、グラフィックオブジ
ェクトに対応する地点に対するユーザ入力を検出する場合、グラフィックオブジェクトに
対応する候補血管分枝が選択されたと判断し、エラー部位に対応する血管分枝を選択され
た候補血管分枝に交替することができる。例示的に、血管映像処理装置がユーザからグラ
フィックオブジェクト771に対応する地点に対するユーザの入力を検出する場合、グラ
フィックオブジェクト771に対応する候補血管分枝711を対象血管として抽出するこ
とができる。即ち、血管映像処理装置は、対象血管の抽出結果から血管分枝702を血管
分枝711に交替することができる。
【0060】
図8は、対象血管の抽出結果からエラー部位が識別され、識別されたエラー部位が断絶
部位である場合、断絶部位の修正結果をユーザに提供する方法を説明する。一実施形態に
よれば、血管映像処理装置は、対象血管で識別されたエラー部位が断絶部位である場合に
応答して、断絶部位を含む血管領域をユーザに提供することができる。血管映像処理装置
は、修正結果に対して複数の地点でユーザ入力が検出される場合に応答して、ユーザ入力
の開始地点に対応する血管分枝に対応する領域及び前記ユーザ入力の終了地点に対応する
血管分枝に対応する領域を連結することができる。
【0061】
一実施形態に係る血管映像処理装置は、修正結果に対してユーザから受信されるドラッ
グ入力891に応答して、ドラッグ入力891の開始地点に対応する血管分枝に対応する
領域及びドラッグ入力891の終了地点に対応する血管分枝に対応する領域を連結する。
例示的に、血管映像処理装置が血管分枝801,802を対象血管に1次抽出した場合、
血管映像処理装置は、抽出された対象血管の血管分枝801,802に対応する領域が互
いに分離される断絶部位として判断する。血管映像処理装置の入出力インターフェースは
、ディスプレイを介して血管分枝801,802に対応する領域の間の連結に関するグラ
フィックオブジェクト870を出力することができる。グラフィックオブジェクト870
は、断絶部位に対応する血管分枝801,802の少なくとも一部に対応する領域を取囲
む形態として、血管分枝801,802がユーザによって連結可能になることを示す。血
管映像処理装置は、ユーザから受信されるドラッグ入力891に応答して、ドラッグ入力
891により選択された血管分枝801,802に対応する領域を連結し、断絶した血管
分枝801,802の間の血管分枝803を対象血管として抽出する。ドラッグ入力89
1によって選択された分枝は、ドラッグ開始地点に対応する血管分枝及びドラッグ終了地
点に対応する血管分枝を示す。即ち、血管映像処理装置は、対象血管の抽出結果において
血管分枝803を含ませることができる。
【0062】
他の一実施形態に係る血管映像処理装置は、修正結果に対してユーザから受信される2
以上の地点に対応するポインティング(pointing)入力に応答して、ポインティ
ング入力に対応する開始地点892と終了地点893に対応する血管分枝に対応する領域
を連結することができる。即ち、血管映像処理装置は、ユーザから開始地点及び終了地点
に対するクリック又はタッチ入力を受信することができる。血管映像処理装置は、ユーザ
から受信されるポインティング入力に応答して、ポインティング入力の開始地点892に
対応する血管分枝801に対応する領域とポインティング入力の終了地点893に対応す
る血管分枝802に対応する領域を連結することができる。
【0063】
図9は、血管分枝に対応するノードに基づいた血管構造データのトポロジーを用いて対
象血管のエラーを識別する方法を示す。
【0064】
一実施形態によれば、血管映像処理装置は、対象血管に関する血管構造データ900に
基づいてエラー部位(error portion)を識別することができる。血管構造
データ900は、血管の構造を指示するトポロジーデータとして、例えば、血管分枝に対
応するノードがインデクシングされたトリ構造データであってもよい。例えば、血管映像
処理装置は、全体血管領域に対して血管分枝地点を基準にして血管分枝を識別し、識別さ
れた血管分枝のそれぞれに対応するノードを生成し、生成されたノードのインデクシング
に基づいて血管構造データ900を生成することができる。
【0065】
血管映像処理装置は、上位血管分枝から分枝地点を基準にして複数の下位血管分枝に分
岐される場合、上位血管分枝に対応するノードと下位血管分枝に対応するノードを連結す
ることができる。血管映像処理装置は、血管映像から識別される分枝地点及び血管分枝に
対して上述したノード連結を繰り返すことで、全体血管に対する血管構造データ900を
生成することができる。例えば、
図9に示された血管構造データ900において、第1ノ
ード~第7ノードN1~N7は、順次にそれぞれ
図3に示された第1分枝~第7分枝30
1~307に対応する。第1ノードN1は最上位ノードであり、第2ノードN2及び第3
ノードN3は第1ノードN1の下位ノードである。残りのノードも類似の上下関係を有す
る。
【0066】
一実施形態に係る血管映像処理装置は、血管映像から対象血管として抽出された血管分
枝に対応するノード間のノード連結データ910を算出することができる。例えば、血管
映像処理装置は、
図3に示された対象血管の抽出結果から第1ノードN1、第3ノードN
3、及び第5ノードN5が連結されたノード連結データ910を算出することができる。
【0067】
血管映像処理装置は、ノード連結データ910を血管構造データ900と比較すること
で対象血管のエラー部位を識別することができる。血管映像処理装置は、生成された血管
構造データ900に基づいて対象血管のノード間の連結エラーを検出する。血管映像処理
装置は、連結エラーが検出されたノードに対応する血管分枝及び/又は分枝地点をエラー
部位として判断する。血管映像処理装置は、ノード連結データ910で血管構造データ9
00にマッチングしないノードに基づいてエラー部位を判断することができる。例示的に
、
図9で抽出されたノード連結データ910は、第1ノードN1、第3ノードN3、及び
第5ノードN5が順に連結されたものを指示する。血管構造データ900において、第3
ノードN3は第5ノードN5と連結されない。言い換えれば、血管映像処理装置は、ノー
ド連結データ910において、第3ノードN3と第5ノードN5との間の連結が血管構造
データ900にマッチングしないものと決定することができる。第3ノードN3と第5ノ
ードN5との間の連結は、連結エラーである。血管映像処理装置は、連結エラーに対応す
るノードのうち少なくともいずれかのノードに対応する血管分枝をエラー部位として判断
することができる。例えば、
図9における血管映像処理装置は、第3ノードN3及び第5
ノードN5のうち少なくとも1つに対応する血管分枝をエラー部位として判断することが
できる。上述した例示は、第3ノードN3又は第5ノードN5に対応する血管分枝が対象
血管に属するものと間違って抽出されたため、誤認部位である。
【0068】
異なる例として、血管映像処理装置は、血管構造データ900に基づいてノード連結デ
ータ920から脱落したノードに対応する血管分枝を断絶部位として検出してもよい。血
管映像処理装置は、第1ノードN1~第5ノードN5に直接連結されているノード連結デ
ータ920を算出することができる。血管映像処理装置は、血管構造データ900に基づ
いてノード連結データ920で第2ノードN2が脱落(missing)されたことを検
出できる。この場合、血管映像処理装置は、第2ノードN2に対応する血管分枝を断絶部
位として検出することができる。
【0069】
図10及び
図11は、一実施形態に係るエラー部位を修正する方法を示す。
【0070】
図10は、
図9においてノード連結データ910が算出された場合の修正を説明する。
一実施形態によれば、血管映像処理装置は、誤認部位(misidentificati
on portion)が識別される場合に応答して、誤認部位に対応するノードを血管
構造データにマッチングするノードに交替できる。例示的に、血管映像処理装置は、ノー
ド連結データ910で第5ノードN5が血管構造データにマッチングしないものと判断す
ることができる。血管映像処理装置は、血管構造データにマッチングしない第5ノードN
5をノード連結データから排除し、血管構造データにマッチングする第6ノードN6をノ
ード連結データに追加することで、修正されたノード連結データ1010を生成すること
ができる。したがって、血管映像処理装置は、交替された第6ノードN6に対応する血管
分枝(例えば、
図3で第6分枝306)を対象血管として抽出することができる。
【0071】
図11は、
図9においてノード連結データ920が算出された場合の修正を説明する。
一実施形態によれば、血管映像処理装置は、断絶部位が識別される場合に応答して、断絶
部位に対応するノードの間に連結可能なノードを挿入することができる。例示的に、血管
映像処理装置は、ノード連結データ920で第1ノードN1と第5ノードN5との間が脱
落したものと判断する。血管映像処理装置は、ノードN1、N5の間に第2ノードN2を
挿入することで、修正されたノード連結データ1110を生成することができる。血管映
像処理装置は、第2ノードN2に対応する血管分枝(例えば、
図3で第2分枝302)を
対象血管として抽出することができる。
【0072】
上述したように、ノード交替及びノードさらによる誤認部位修正を介して、血管映像処
理装置は、血管構造データのトポロジーに基づいたノード連結性エラーを除去することが
できる。
【0073】
図12は、対象血管の曲率情報を用いて対象血管のエラーを識別して修正する方法を示
す。
【0074】
一実施形態によれば、血管映像処理装置は、対象血管で互いに隣接する血管分枝間の曲
率を用いて誤認部位を識別して修正することができる。例えば、血管映像処理装置は、対
象血管で互いに隣接する分枝間の曲率が閾値曲率を超過する場合に応答して、互いに隣接
する分枝を誤認部位として判断する。例示的に、血管映像処理装置は、血管分枝1201
,1202を対象血管として1次抽出した場合、血管分枝1201,1202間の曲率を
算出する。血管映像処理装置は、算出された曲率が閾値曲率を超過する場合に応答して、
上述した血管分枝1201,1202のうち少なくとも1つの分枝を対象血管に対する抽
出結果で誤認部位として判断することができる。血管映像において、実際に抽出しなけれ
ばならない対象血管に属する隣接している血管分枝は比較的に小さな曲率を示し、閾値曲
率を超過する曲率を示す隣接する血管分枝はエラー部位である可能性がある。
【0075】
血管映像処理装置は、対象血管で閾値曲率を用いてエラー部位が識別される場合に応答
して、識別されたエラー部位を修正することができる。血管映像処理装置は識別されたエ
ラー部位に対して、互いに隣接する分枝のいずれか1つの分枝を残りの分枝との曲率が閾
値曲率以下である候補分枝に交替することができる。候補分枝は、任意の分枝地点を基準
として1つの血管分枝に連結された複数の血管分枝のうち、対象血管から抽出されていな
い残り1つ以上の分枝を示す。
【0076】
例示的に、血管映像処理装置は、対象血管から抽出されていない血管分枝1203と上
位血管分枝1201との間の曲率が閾値曲率以下である場合、血管分枝1202の代わり
に、血管分枝1203を対象血管として抽出することができる。血管映像処理装置は、対
象血管の抽出結果から血管分枝1202を血管分枝1203に交替することができる。さ
らに、血管映像処理装置は、識別されたエラー部位を修正することにおいて、血管の種類
(例えば、左主冠状動脈(Left Main Coronary Artery、LM
)、左前下行動脈(Left Anterior Descending Artery
、LAD)、左回旋動脈(Left Circumflex Artery、LCX)、
右冠状動脈(Right Coronary Artery、RCA))又は、血管領域
(例えば、近位領域、中間領域、及び遠位領域)に応じて互いに異なる閾値曲率を適用で
きる。
【0077】
血管映像処理装置は、曲率差を分析するために血管分枝の主方向成分分析(例えば、主
成分分析(PCA、principal component analysis)を行
ってもよい。血管映像処理装置は、分枝地点を基準にして区分された血管分枝それぞれに
対して、主方向成分を分析することができる。血管分枝の主方向成分は、該当血管分枝の
方向を代表する成分を示す。例えば、血管映像処理装置は、各血管分枝に対する主方向成
分分析を用いて、各血管分枝ごとに主方向ベクトルを取得することができる。主方向ベク
トルは、分枝地点から血管分枝が延長する方向を代表する方向成分を有するベクトルであ
って、単位ベクトルの大きさを有する。例えば、任意の血管分枝に対する主方向ベクトル
は、分枝地点から該当の血管分枝に対応する地点に向かうベクトル成分の主成分の方向を
示す。例示的に、血管分枝1201,1202,1203の主方向ベクトルは、それぞれ
ベクトル1221,1222,1223に対応する。血管映像処理装置は、対象血管で互
いに隣接する血管分枝の主方向ベクトルの内積値が閾値を超過する場合に応答して、互い
に隣接する分枝を誤認部位として判断することができる。
【0078】
例示的に、血管映像処理装置は、対象血管で互いに隣接する血管分枝1201,120
2の主方向ベクトル1221,1222の内積値が閾値を超過する場合、互いに隣接する
血管分枝1201,1202を誤認部位(misidentification por
tion)として判断することができる。各血管分枝の主方向ベクトルは、単位ベクトル
の大きさを有するため、主方向ベクトルの内積値はベクトルが互いになしている角度に依
存する。結局、上位分枝に対応する主方向ベクトル及び下位分枝に対応する主方向ベクト
ルは互いに反対方向に向かっていることから2つの主方向ベクトルの内積は負数値を有す
るため、主方向ベクトルの内積値が閾値以上であることは、血管分枝の間の曲率が大きい
ことを意味する。血管映像で実際に抽出しなければならない対象血管は1つの血管として
、隣接する血管分枝間に大きい曲率の変化がないことが一般的であるため、隣接する血管
分枝間の主方向ベクトルの内積値が閾値を超過することは、血管映像処理装置が実際に探
すべき対象血管ではない他の血管を抽出したものを示す。さらに、識別されたエラー部位
を修正することにおいて、血管映像処理装置は、血管の種類又は血管領域に応じて互いに
異なる閾値を適用することができる。
【0079】
血管映像処理装置は、抽出された対象血管に対して分枝地点を基準として分割された血
管分枝ごとに主方向ベクトルを求めることができるが、予め指定された長さで血管を分割
し、予め指定された長さで分割された断片(piece)ごとに主方向ベクトルを求めて
もよい。血管映像処理装置は、抽出された対象血管に対して隣接する断片の主方向を比較
することで、曲率が閾値以上に大きくなった部分を捜し出す方式で対象血管でエラー部位
を識別してもよい。言い換えれば、血管映像処理装置は、抽出された対象血管を閾値長さ
以下に分割することができる。血管映像処理装置は、互いに隣接する予め指定された長さ
に分割された断片の主方向ベクトルの内積値が閾値を超過する場合に応答して、互いに隣
接する断片を誤認部位として判断することができる。血管映像処理装置は、対象血管を閾
値長さ以下に分割し、隣接する断片の間の曲率を算出することができるため、分枝地点を
基準として分割された血管分枝により対象血管のエラー部位を識別する場合よりもさらに
正確に対象血管のエラー部位を識別することができる。
【0080】
血管映像処理装置は、対象血管で主方向ベクトルを用いてエラー部位が識別される場合
に応答して、識別されたエラー部位を修正することができる。血管映像処理装置は、識別
されたエラー部位に対して、互いに隣接する分枝のいずれか1つの分枝を残りの分枝との
主方向ベクトルの内積値が閾値以下である候補分枝に交替することができる。例示的に、
血管映像処理装置は、対象血管から抽出されていない血管分枝1203と上位血管分枝1
201との間の主方向ベクトル1223,1221の内積値が閾値以下である場合、血管
分枝1202の代わりに、血管分枝1203を対象血管として抽出することができる。血
管映像処理装置は、対象血管の抽出結果から血管分枝1202を血管分枝1203に交替
することができる。
【0081】
図13は、対象血管の直径情報を用いて対象血管のエラーを識別して修正する方法を示
す。
【0082】
一実施形態によれば、血管映像処理装置は、対象血管で互いに隣接する血管分枝間の直
径の差を算出し、誤認部位を識別して修正することができる。例えば、血管映像処理装置
は、対象血管で互いに隣接する分枝間の直径の差が閾値直径の差以上である場合に応答し
て、互いに隣接する分枝を誤認部位として判断することができる。血管映像処理装置は、
分枝地点を基準として識別された血管分枝それぞれに対して直径情報を取得する。例えば
、
図13に示された血管分枝1301,1302,1303の直径は、それぞれr1、r
2、r3に対応する。例示的に、血管映像処理装置は、血管分枝1301,1302を対
象血管として1次抽出した場合、血管分枝1301,1302間の直径の差を算出する。
血管映像処理装置は、算出された直径の差が閾値直径の差以上である場合に応答して、上
述した血管分枝1301,1302のうち少なくともいずれかの分枝を対象血管に対する
抽出結果から誤認部位として判断する。血管映像において、実際に抽出しなければならな
い対象血管に属する隣接する血管分枝の間では、比較的に小径の変化を示しており、閾値
直径の差以上の直径差を示す隣接する血管分枝は、エラー部位である可能性がある。
【0083】
血管映像処理装置は、抽出された対象血管に対して隣接する血管分枝間の直径の差を算
出できるが、血管分枝の直径情報を平滑化(smoothing)して直径の差を算出し
てもよい。血管映像において、実際に抽出しなければならない対象血管に属する隣接する
血管分枝の間では、比較的に小径の変化を示すことが一般的である。しかし、抽出しなけ
ればならない対象血管が疾患のある血管分枝を含んでいる場合、疾患のある血管分枝と隣
接している血管分枝間の直径の変化は大きく示される。したがって、血管映像処理装置は
、複数の血管分枝をグルーピングして血管分枝の直径情報を平滑化し直径の差を算出する
ことで、抽出された対象血管から誤認部位を識別することができる。
【0084】
血管映像処理装置は、対象血管で直径情報を用いてエラー部位が識別される場合に応答
して、識別されたエラー部位を修正することができる。
【0085】
血管映像処理装置は、識別された誤認部位に対して、互いに隣接する分枝のいずれか1
つの分枝を残りの分枝との直径の差が閾値直径の差未満である候補分枝に交替することが
できる。例示的に、血管映像処理装置は、対象血管から抽出されていない血管分枝130
3と上位血管分枝1301との間の直径の差が閾値直径の差未満である場合、血管分枝1
302の代わりに、血管分枝1303を対象血管として抽出することができる。血管映像
処理装置は、対象血管の抽出結果から血管分枝1302を血管分枝1303に交替するこ
とができる。さらに、血管映像処理装置は、識別されたエラー部位を修正することにおい
て、血管の種類(例えば、LM、LAD、LCX、RCA)又は血管領域に応じて、互い
に異なる閾値直径の差を適用することができる。
【0086】
図14は、対象血管の明るさ情報を用いて対象血管のエラーを識別して修正する方法を
示す。
【0087】
一実施形態によれば、血管映像処理装置は、対象血管で互いに隣接する血管分枝間の明
度(brightness)差を算出し、誤認部位を識別して修正することができる。例
えば、血管映像処理装置は、対象血管で互いに隣接する分枝間の明度差が閾値の明度差以
上である場合に応答して、互いに隣接している分枝を誤認部位として判断することができ
る。血管映像処理装置は、分枝地点を基準にし識別された血管分枝それぞれに対して明度
情報を取得することができる。例えば、血管分枝の明度は、血管映像を取得するために投
与した造影剤の分布濃度を示す。例示的に、血管映像処理装置は、血管分枝1401,1
402を対象血管として1次抽出した場合、血管分枝1401,1402間の明度差を算
出することができる。血管映像処理装置は、算出された明度差が閾値の明度差以上である
場合に応答して、上述した血管分枝1401,1402のうち、少なくとも1つの分枝を
対象血管に対する抽出結果において誤認部位として判断することができる。血管映像にお
いて、実際に抽出しなければならない対象血管に属する隣接する血管分枝との間では、比
較的に小さな明度の変化を示しているところ、閾値の明度差以上の明度差を示す隣接する
血管分枝は、エラー部位である可能性がある。
【0088】
血管映像処理装置は、対象血管で明るさ情報を用いてエラー部位が識別される場合に応
答して、識別されたエラー部位を修正することができる。血管映像処理装置は、識別され
た誤認部位に対して、互いに隣接する分枝のうち1つの分枝を残り分枝との明るさの差が
閾値明るさの差未満である候補分枝に交換することができる。例えば、血管映像処理装置
は、対象血管に抽出されていない血管分枝1403と上位血管分枝1401との間の明る
さの差が閾値の明るさの差未満である場合、血管分枝1402の代わりに血管分枝140
3を対象血管として抽出することができる。血管画像処理装置は、対象血管の抽出結果か
ら血管分枝1402を血管分枝1403に交換することができる。さらに、血管映像処理
装置は、識別されたエラー部位を修正することにおいて、血管の種類(例えば、LMLM
LLADLCLCXRCRCA)又は血管領域に応じて互いに異なる閾値直径の差を適用
することができる。すなわち、血管映像処理装置は、
図8~
図14の方法に基づいた1次
抽出した対象血管のエラー部位を識別し、識別されたエラー部位の修正結果をユーザに提
供する前処理動作を行うことができる。
【0089】
一実施形態に係る血管映像処理装置は、エラー部位が識別される場合に応答して、以前
の抽出結果で適用されたモデルアンサンブルとは区別されるモデルアンサンブルに基づい
て、対象血管に対して新しい抽出結果を生成することができる。エラー部位が識別される
場合、血管映像処理装置は、直接エラー部位を修正せずに、格納された複数の機械学習モ
デルのうち、以前の抽出結果で適用されたモデルアンサンブルとは区別される1つのモデ
ルアンサンブルに基づいて、対象血管に対して新しい抽出結果を生成することができる。
【0090】
また、血管映像処理装置は、格納された複数の機械学習モデルのうち、以前抽出結果で
適用されたモデルアンサンブルとは区別されたモデルアンサンブルに基づいて複数のモデ
ルアンサンブルのそれぞれに対して対象血管に対する複数の新しい抽出結果を生成するこ
とができる。血管映像処理装置は、モデルアンサンブルにより生成された対象血管の抽出
結果ごとに対象血管に関する血管構造データ、対象血管の曲率情報、対象血管の直径情報
、及び対象血管の明度情報のうち少なくとも1つに基づいてエラー部位を識別することが
できる。血管映像処理装置は、生成された複数の対象血管に対する抽出結果のうち、実際
に抽出しなければならない対象血管と最も近い1つの抽出結果を対象血管として自動選択
してユーザに提供することができる。例えば、血管映像処理装置は、識別されたエラー部
位が最も少ない対象血管に対する抽出結果を実際に抽出しなければならない対象血管と最
も近い抽出結果として選択することができるが、これに限定されることはない。血管映像
処理装置は、ユーザの選択入力に応答して、選択された抽出結果を対象血管に抽出するこ
とができる。さらに、血管映像処理装置は、複数の対象血管に対する抽出結果に関する情
報をユーザに提供することができる。血管映像処理装置は、ユーザから複数の対象血管に
対する抽出結果のうちの1つが入力され、入力により指示される1つの抽出結果を対象血
管に抽出することができる。したがって、血管映像処理装置は、異なる機械学習モデルを
用いた対象血管の修正結果をユーザに提供する前処理過程を経ることができる。
【0091】
一実施形態に係る血管映像処理装置は、対象血管の抽出結果でエラー部位が識別される
場合に応答して、候補血管分枝それぞれに対する連結性スコア(connectivit
y score)に基づいて候補血管分枝のうち1つの血管分枝を対象血管に抽出するこ
とができる。血管映像処理装置は、対象血管の抽出結果からエラー部位が識別される場合
、エラー部位を修正できる候補血管分枝のうち1つの血管分枝を選択する。血管映像処理
装置は、候補血管分枝それぞれに対して連結性スコアを算出する。連結性スコアは、対象
血管の抽出結果で任意の候補血管分枝に隣接する血管分枝と該当の候補血管分枝との間の
連結性を指示するスコアとして、例えば、候補血管分枝及び隣接する血管分枝間の血管構
造データに対するマッチング程度、曲率差、直径の差、及び明度差などに基づいて算出さ
れ得る。連結性スコアは、候補血管分枝が対象血管に含まれている場合、修正された対象
血管が実際に抽出しなければならない対象血管に類似の程度に対応する。
【0092】
例えば、候補血管分枝が対象血管から抽出された場合、候補血管分枝と前記候補血管分
枝と隣接して連結されている血管分枝の間で対象血管に関する血管構造データ、前記対象
血管の曲率情報、前記対象血管の直径情報、及び前記対象血管の明度情報のうち少なくと
も1つに基づいて連結性スコアを算出することができる。しかし、これに限定されること
なく、様々な方法で候補血管分枝それぞれに対する連結性スコアを算出してもよい。血管
映像処理装置は、連結性スコアに基づいて候補血管分枝のうち1つの血管分枝を選択する
ことができる。例えば、候補血管分枝のうち連結性スコアが最も高い血管分枝として、エ
ラーが最も小さいと判断される血管分枝を選択する。血管映像処理装置は、選択された血
管分枝を対象血管に抽出することができる。
【0093】
例示的に、
図9において、血管映像処理装置が対象血管の抽出結果から第1ノードN1
、第3ノードN3、及び第5ノードN5が連結されているノード連結データ910を算出
した場合、血管映像処理装置は、ノード連結データ910で第3ノードN3及び第5ノー
ドN5間の連結が血管構造データ900にマッチングしないものと決定することができる
。血管映像処理装置は、連結エラーに対応するノードN3、N5のうち、少なくともいず
れかのノードに対応する血管分枝をエラー部位として判断する。血管映像処理装置は、第
3ノードN3に対応する血管分枝をエラーとして判断した場合、血管構造データにマッチ
ングしない第3ノードN3をノード連結データから排除し、血管構造データにマッチング
する第2ノードN2をノード連結データに追加する。また、血管映像処理装置は、第5ノ
ードN5に対応する血管分枝をエラーとして判断した場合、血管構造データにマッチング
しない第5ノードN3をノード連結データから排除し、血管構造データにマッチングする
第6ノードN6又は第7ノードN7をノード連結データに追加する。結局、血管映像処理
装置は、対象血管のノードになり得る第2ノード、第6ノード、第7ノードに対応する候
補血管分枝それぞれに対する連結性スコアを算出することができる。血管映像処理装置は
、候補血管分枝それぞれに対する連結性スコアに基づいて、エラーの最も小さいと判断さ
れる血管分枝を選択して対象血管に抽出することができる。
【0094】
更なる例示として、
図12において、血管映像処理装置が血管分枝1201、1202
を対象血管にして1次抽出した場合、血管分枝1201、1202間の曲率が閾値曲率を
超過してエラー部位として判断してもよい。血管映像処理装置は、互いに隣接する分枝の
うち、いずれか1つの分枝を残りの分枝との曲率が閾値曲率以下である候補分枝に交替し
てもよい。
図12とは異なって、候補血管分枝が複数である場合、血管映像処理装置は、
候補血管分枝それぞれに対して連結性スコアを算出してもよい。血管映像処理装置は、候
補血管分枝それぞれに対する連結性スコアに基づいて、エラーが最も小さいと判断される
血管分枝を選択し対象血管に抽出することができる。
図13及び
図14においても、血管
映像処理装置は上述と同じ方法で、候補血管分枝のうちの1つを対象血管として選択して
抽出することができる。
【0095】
図15は、一実施形態に係る血管映像処理装置を概略的に示すブロック図である。
【0096】
一実施形態に係る血管映像を処理するシステム1500は、血管映像処理装置1510
及び血管映像撮影装置1520を含む。血管映像処理装置1510は、映像受信部151
1、プロセッサ1512、及び入出力インターフェース1513を含む。
【0097】
映像受信部1511は、血管映像撮影装置1520によって撮影された血管映像を受信
する。映像受信部1511は、有無線データ通信を介して血管映像撮影装置1520から
血管映像を受信する。但し、これに限定されることなく、映像受信部1511に血管映像
撮影装置1520が統合されて構成されてもよい。
【0098】
プロセッサ1512は、機械学習モデルを用いて映像受信部から受信した血管映像から
対象血管を抽出し、ユーザから受信される第1入力に基づいて対象血管の抽出結果に対す
る関心領域を決定し、決定された関心領域内でユーザから受信される第2入力に基づいて
抽出結果のエラー部位を識別し、識別されたエラー部位を修正することができる。プロセ
ッサ1512の動作がこれに限定されることなく、プロセッサ1512は
図1~
図14を
参照して上述した動作を行うことができる。
【0099】
入出力インターフェース1513は、ユーザから入力を受信してプロセッサに伝達する
ことができる。例えば、入出力インターフェース1513は、マウス操作、及びタッチ操
作などによる入力を受信する。また、入出力インターフェース1513は、視覚的フィー
ドバックをユーザに提供してもよい。例えば、入出力インターフェース1513は、対象
血管の抽出結果をステップごとにディスプレイを介して出力する。
【0100】
本発明を支援した国家研究開発事業は次の通りである。
【0101】
[課題固有番号]1415166912
[課題番号]20001638
[部署名]産業通常資源部-科学技術情報通信部-保健福祉部-食品医薬品安全処
[課題管理(専門)機関名]韓国産業技術評価管理院
[研究事業名]人工知能バイオロボット医療融合事業
[研究課題名]心血管ビックデータ基盤の心臓仲裁施術補助人工知能及び半自動施術ツ
ール制御ロボットシステム開発
[主管機関]ソウルアサン病院
[研究期間]2018年05月01日~2020年12月31日
[課題固有番号]1711117085
[課題番号]2020-O-00159
[部署名]科学技術情報通信部
[課題管理(専門)機関名]情報通信企画評価院
[研究事業名]人工知能融合先導プロジェクト事業
[研究課題名]人工知能基盤の自動化された心血管疾患診断補助及び施術ツール推薦シ
ステム開発
[主管機関]株式会社Medipixel
[研究期間]2020年04月01日~2021年12月31日
[課題固有番号]1425133196
[課題番号]S2758883
[部署名]中小ベンチャー企業部
[課題管理(専門)機関名]中小企業技術情報振興院
[研究事業名]創業成長技術開発(R&D)
[研究課題名]人工知能基盤の完全閉塞病変再開通施術補助システム開発
[主管機関]株式会社 Medipixel
[研究期間]2019年06月01日~2020年05月31日
[課題固有番号]1711106903
[課題番号]2020R1C1C1010470
[部署名]科学技術情報通信部
[課題管理(専門)機関名]韓国研究財団
[研究事業名]新進研究者研修支援事業
[研究課題名]ディープラーニング基盤の血管内超音波映像分割技術を活用した心血管
診断法開発
[主管機関]蔚山大学校
[研究期間]2020年03月01日~2021年02月28日
【0102】
以上で説明された実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハ
ードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施
形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ALU(ar
ithmetic logic unit)、デジタル信号プロセッサ(digital
signal processor)、マイクロコンピュータ、FPA(field
programmable array)、PLU(programmable log
ic unit)、マイクロプロセッサー、又は命令(instruction)を実行
して応答する異なる装置のように、1つ以上の汎用コンピュータ又は特殊目的コンピュー
タを用いて具現される。処理装置は、オペレーティングシステム(OS)及びオペレーテ
ィングシステム上で実行される1つ以上のソフトウェアアプリケーションを実行する。ま
た、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、
及び生成する。理解の便宜のために、処理装置は1つが使用されるものとして説明する場
合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素(pro
cessing element)及び/又は複数類型の処理要素を含むことが把握する
。例えば、処理装置は、複数のプロセッサ又は1つのプロセッサ及び1つのコントローラ
を含む。また、並列プロセッサ(parallel processor)のような、他
の処理構成も可能である。
【0103】
ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の
組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処
理装置を命令することができる。ソフトウェア及び/又はデータは、処理装置によって解
釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要
素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永
久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコ
ンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウ
ェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。
【0104】
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令
の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プ
ログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及
びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コ
ンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能な
ものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク
、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD-ROM、D
VDのような光記録媒体、フロプティカルディスクのような磁気-光媒体、及びROM、
RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に
構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって
生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによ
って実行される高級言語コードを含む。上記で説明したハードウェア装置は、本発明に示
す動作を実行するために1つ以上のソフトウェアモジュールとして作動するように構成し
てもよく、その逆も同様である。
【0105】
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通
常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用
することができる。例えば、説明された技術が説明された方法と異なる順に実行され、及
び/又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法とは異
なる形態に結合又は組み合わせられてもよく、他の構成要素又は均等物によって置き換え
又は置換されたとしても適切な結果を達成することができる。
【手続補正書】
【提出日】2024-02-29
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
プロセッサによって行われる血管映像処理方法であって、
血管映像から対象血管を抽出するステップと、
前記対象血管の抽出結果に対する関心領域(Region of Interest、ROI)を決定するステップと、
前記決定された関心領域で、前記対象血管の抽出結果から第1エラー部位を識別し、前記第1エラー部位の修正結果をユーザに提供するステップと、
前記ユーザから受信された入力が前記関心領域内の複数の地点から検出される場合に応答して、前記複数の地点に基づいて前記抽出結果で対象領域を識別するステップと、
前記入力に対応する地点が前記対象血管から抽出された領域内の分枝地点から前記対象血管を離脱した場合に応答して、前記分枝地点と連結された血管分枝のうち、前記識別された対象領域に基づいて血管分枝を決定するステップと、
前記決定された血管分枝に基づいて前記抽出結果を修正するステップと、
を含む血管映像処理方法。
【請求項2】
前記関心領域を決定するステップは、他の入力が検出される地点に基づいて前記関心領域の形態を決定するステップを含む、請求項1に記載の血管映像処理方法。
【請求項3】
前記血管映像処理方法は、
前記入力の前記複数の地点に基づいて第2エラー部位を識別するステップと、
前記入力に対応する地点が前記対象血管から抽出された領域に沿って移動する間に、前記入力が通過した地点で断絶部位が存在するかを検出するステップと、
前記断絶部位が検出される場合に応答して、前記識別された対象領域に基づいて断絶した部位を連結するステップと、
をさらに含む、請求項1に記載の血管映像処理方法。
【請求項4】
前記第1エラー部位を識別し、前記第1エラー部位の修正結果をユーザに提供するステップは、
前記第1エラー部位が誤認部位である場合に応答して、1つ以上の候補分枝をユーザに提供するステップと、
前記ユーザから前記1つ以上の候補分枝のいずれか1つの分枝に対するポインティング入力を受信する場合に応答して、前記第1エラー部位に対応する分枝を選択された分枝に交替するステップと、
をさらに含む、請求項1に記載の血管映像処理方法。
【請求項5】
前記第1エラー部位を識別し、前記第1エラー部位の修正結果をユーザに提供するステップは、前記修正結果に対して複数の地点でユーザ入力が検出される場合に応答して、前記ユーザ入力の開始地点に対応する血管分枝に対応する領域及び前記ユーザ入力の終了地点に対応する血管分枝に対応する領域を連結するステップを含む、請求項1に記載の血管映像処理方法。
【請求項6】
前記第1エラー部位を識別し、前記第1エラー部位の修正結果をユーザに提供するステップは、前記関心領域が決定される場合に応答して、前記対象血管に関する血管構造データ、前記対象血管の曲率情報、前記対象血管の直径情報、及び前記対象血管の明るさ情報のうち少なくとも1つに基づいて前記第1エラー部位を識別するステップを含む、請求項1に記載の血管映像処理方法。
【請求項7】
前記第1エラー部位を識別し、前記第1エラー部位の修正結果をユーザに提供するステップは、前記第1エラー部位が識別される場合に応答して、前記対象血管に関する血管構造データ、前記対象血管の曲率情報、前記対象血管の直径情報、及び前記対象血管の明るさ情報のうち少なくとも1つに基づいて前記第1エラー部位を修正した修正結果を前記ユーザに提供するステップを含む、請求項1に記載の血管映像処理方法。
【請求項8】
前記第1エラー部位を識別し、前記第1エラー部位の修正結果をユーザに提供するステップは、
前記第1エラー部位が識別された場合に応答して、前記対象血管に対する複数の新しい抽出結果を生成するステップと、
ユーザの選択入力に応答して、前記複数の新しい抽出結果のうち前記選択入力によって指示される1つの抽出結果を選択するステップと、
を含む、請求項1に記載の血管映像処理方法。
【請求項9】
血管映像処理装置であって、
血管映像を受信する映像受信部と、
前記血管映像から対象血管を抽出し、前記対象血管の抽出結果に対する関心領域(Region of Interest、ROI)を決定し、前記決定された関心領域で前記対象血管の抽出結果から第1エラー部位を識別し、前記第1エラー部位の修正結果をユーザに提供し、前記ユーザから受信された入力が前記関心領域内の複数の地点から検出される場合に応答して、前記複数の地点に基づいて前記抽出結果で対象領域を識別し、前記入力に対応する地点が前記対象血管から抽出された領域内の分枝地点から前記対象血管を離脱した場合に応答して、前記分枝地点と連結された血管分枝のうち、前記識別された対象領域に基づいて血管分枝を決定し、前記決定された血管分枝に基づいて前記抽出結果を修正するプロセッサと、
を含む血管映像処理装置。
【請求項10】
プロセッサによって行われる血管映像処理方法であって、
血管映像から対象血管を抽出するステップと、
前記対象血管の抽出結果に対する関心領域(Region of Interest、ROI)を決定するステップと、
前記決定された関心領域で、前記対象血管の抽出結果から第1エラー部位を識別し、前記第1エラー部位の修正結果をユーザに提供するステップと、
前記第1エラー部位が修正された関心領域内で前記ユーザから受信される入力に基づいて前記抽出結果の第2エラー部位を識別し、前記識別された第2エラー部位を修正するステップと、
を含む、血管映像処理方法。
【外国語明細書】