特表 2023-501624 血管映像に基づいた主要血管領域抽出方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-01-18

(54)【発明の名称】血管映像に基づいた主要血管領域抽出方法及び装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230111BHJP

【ＦＩ】

G06T7/00 612

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022527853

(86)(22)【出願日】2021-02-05

(85)【翻訳文提出日】2022-05-11

(86)【国際出願番号】 KR2021001535

(87)【国際公開番号】W WO2021162354

(87)【国際公開日】2021-08-19

(31)【優先権主張番号】10-2020-0015856

(32)【優先日】2020-02-10

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＴＥＮＳＯＲＦＬＯＷ

２．ＰＹＴＨＯＮ

３．ＡＮＡＣＯＮＤＡ

(71)【出願人】

【識別番号】522186055

【氏名又は名称】メディピクセル インコーポレイテッド

【氏名又は名称原語表記】ＭＥＤＩＰＩＸＥＬ， ＩＮＣ．

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100186716

【弁理士】

【氏名又は名称】真能 清志

(72)【発明者】

【氏名】クウェオン ジフーン

(72)【発明者】

【氏名】キム ヨンハク

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA06

5L096BA13

5L096DA01

5L096GA51

5L096HA08

5L096HA11

5L096KA04

(57)【要約】

プロセッサによって行われる血管映像から主要血管領域を抽出する方法において、前記血管映像から全体血管領域（ｅｎｔｉｒｅ ｖｅｓｓｅｌ ｒｅｇｉｏｎ）を抽出するステップと、主要血管領域を抽出する機械学習モデルに基づいて前記血管映像から主要血管領域（ｍａｊｏｒ ｖｅｓｓｅｌ ｒｅｇｉｏｎ）を抽出するステップと、前記全体血管領域に基づいて血管が分離された部分を連結することによって前記主要血管領域を補正するステップとを含む。

【特許請求の範囲】

【請求項1】

プロセッサによって行われる血管映像から主要血管領域を抽出する方法であって、
前記血管映像から全体血管領域（ｅｎｔｉｒｅ ｖｅｓｓｅｌ ｒｅｇｉｏｎ）を抽出するステップと、
主要血管領域を抽出する機械学習モデルに基づいて前記血管映像から主要血管領域を抽出するステップと、
前記全体血管領域に基づいて血管が分離された部分を連結することによって前記主要血管領域を補正するステップと、
を含む主要血管領域抽出方法。

【請求項2】

前記機械学習モデルは、主要血管の予め決定された形態に対してトレーニングされた機械学習モデルである、請求項１に記載の主要血管領域抽出方法。

【請求項3】

前記機械学習モデルは、右冠状動脈（ｒｉｇｈｔ ｃｏｒｏｎａｒｙ ａｒｔｅｒｙ、ＲＣＡ）、左前下行動脈（ｌｅｆｔ ａｎｔｅｒｉｏｒ ｄｅｓｃｅｎｄｉｎｇ ａｒｔｅｒｙ、ＬＡＤ）、及び左回旋動脈（ｌｅｆｔ ｃｉｒｃｕｍｆｌｅｘ ａｒｔｅｒｙ、ＬＣＸ）のうち少なくとも１つの血管状態に対してトレーニングされた機械学習モデルである、請求項２に記載の主要血管領域抽出方法。

【請求項4】

前記主要血管領域のうち前記血管が分離された部分を探知するステップをさらに含む、請求項１に記載の主要血管領域抽出方法。

【請求項5】

前記血管が分離された部分を探知するステップは、前記主要血管領域に対応するビーロブ間の最短距離が、閾値距離未満であるビーロブ間の領域を前記血管が分離された部分として決定するステップを含む、請求項４に記載の主要血管領域抽出方法。

【請求項6】

前記主要血管領域を補正するステップは、
前記主要血管領域に対応するビーロブ間の最短距離が、閾値距離未満であるビーロブ間の領域を連結する連結線を生成するステップと、
前記全体血管領域のうち前記連結線に対応する領域に基づいて、前記主要血管領域のうち前記血管が分離された部分を連結することによって前記主要血管領域を補正するステップと、
を含む、請求項４に記載の主要血管領域抽出方法。

【請求項7】

前記主要血管領域を補正するステップは、前記全体血管領域のうち前記連結線に対応して前記血管が分離された部分を連結できる領域が複数である場合、複数の領域のうち前記血管が分離された部分を連結できる最短距離の領域に基づいて前記主要血管領域を補正するステップを含む、請求項６に記載の主要血管領域抽出方法。

【請求項8】

前記血管映像のＲＧＢ値をグレースケールレベル（ｇｒａｙｓｃａｌｅ ｌｅｖｅｌ）に変換するステップと、
前記グレースケールレベルに変換された血管映像に対して正規化するステップと、
をさらに含む、請求項１に記載の主要血管領域抽出方法。

【請求項9】

前記全体血管領域を抽出するステップは、前記全体血管映像から生成された部分血管映像に基づいて前記全体血管領域を抽出するステップを含み、
前記主要血管領域を抽出するステップは、前記全体血管映像から生成された部分血管映像に基づいて前記主要血管領域を抽出するステップを含む、請求項１に記載の主要血管領域抽出方法。

【請求項10】

前記主要血管領域を補正するステップは、
前記主要血管領域に対するユーザの位置指定入力に応答して前記血管が分離された部分を決定するステップと、
前記血管が分離された部分と隣接する周辺の主要血管領域に基づいて対象位置の主要血管領域を補正するステップと、
を含む、請求項１に記載の主要血管領域抽出方法。

【請求項11】

請求項１～請求項１０のいずれか一項に記載の方法を行うための命令語を含む１つ以上のコンピュータプログラムを格納したコンピュータで読み出し可能な記録媒体。

【請求項12】

血管映像から全体血管領域を抽出し、主要血管領域を抽出する機械学習モデルに基づいて前記血管映像から主要血管領域を抽出し、前記全体血管領域に基づいて血管が分離された部分を連結することによって前記主要血管領域を補正するプロセッサと、
前記血管映像、前記全体血管領域、前記主要血管領域、前記機械学習モデルのうち少なくとも１つを格納するメモリと、
を含む、主要血管領域抽出装置。

【請求項13】

前記機械学習モデルは、主要血管の予め決定された形態に対してトレーニングされた機械学習モデルである、請求項１２に記載の主要血管領域抽出装置。

【請求項14】

前記機械学習モデルは、右冠状動脈（ｒｉｇｈｔ ｃｏｒｏｎａｒｙ ａｒｔｅｒｙ、ＲＣＡ）、左前下行動脈（ｌｅｆｔ ａｎｔｅｒｉｏｒ ｄｅｓｃｅｎｄｉｎｇ ａｒｔｅｒｙ、ＬＡＤ）、及び左回旋動脈（ｌｅｆｔ ｃｉｒｃｕｍｆｌｅｘ ａｒｔｅｒｙ、ＬＣＸ）のうち少なくとも１つの血管状態に対してトレーニングされた機械学習モデルである、請求項１３に記載の主要血管領域抽出装置。

【請求項15】

前記プロセッサは、前記主要血管領域のうち前記血管が分離された部分を探知する、請求項１２に記載の主要血管領域抽出装置。

【請求項16】

前記プロセッサは、前記主要血管領域に対応するビーロブ間の最短距離が、閾値距離未満であるビーロブ間の領域を前記血管が分離された部分として決定する、請求項１５に記載の主要血管領域抽出装置。

【請求項17】

前記プロセッサは、前記主要血管領域に対応するビーロブ間の最短距離が、閾値距離未満であるビーロブ間の領域を連結する連結線を生成し、前記全体血管領域のうち前記連結線に対応する領域に基づいて前記主要血管領域のうち前記血管が分離された部分を連結することによって前記主要血管領域を補正する、請求項１５に記載の主要血管領域抽出装置。

【請求項18】

前記プロセッサは、前記全体血管領域のうち前記連結線に対応して前記血管が分離された部分を連結できる領域が複数である場合、複数の領域のうち前記血管が分離された部分を連結できる最短距離の領域に基づいて前記主要血管領域を補正する、請求項１７に記載の主要血管領域抽出装置。

【請求項19】

前記プロセッサは、前記血管映像のＲＧＢ値をグレースケールレベルに変換し、前記グレースケールレベルに変換された血管映像に対して正規化する、請求項１２に記載の主要血管領域抽出装置。

【請求項20】

前記プロセッサは、全体血管映像から生成された部分血管映像に基づいて前記全体血管領域及び前記主要血管領域を抽出する、請求項１２に記載の主要血管領域抽出装置。

【請求項21】

前記プロセッサは、前記主要血管領域に対するユーザの位置指定入力に応答して前記血管が分離された部分を決定し、前記血管が分離された部分と隣接する周辺の主要血管領域に基づいて対象位置の主要血管領域を補正する、請求項１２に記載の主要血管領域抽出装置。

【発明の詳細な説明】

【技術分野】

【0001】

以下、血管映像に基づいた主要血管領域抽出方法及び装置に関する技術が提供される。

【背景技術】

【0002】

心血管、脳血管、末梢血管を治療するとき、カテーテルを用いてステントなどを挿入する仲裁施術が広く普及されている。ガイドワイヤ又はカテーテルを通過して血管内にステントなどを移送する経路を設定するための道具として、ガイドワイヤを疾患のある血管末端まで移送させるために、血管造影術（ａｎｇｉｏｇｒａｐｈｙ）などの医療映像基盤の視覚情報と微細な手の感覚に基づいた触覚情報などが活用されている。

【0003】

最近、放射線露出など施術者の身体的な負担を軽減し、施術道具の精密な制御のために遠隔ロボットなどが開発されている。施術ロボットは、ＦＤＡを通過して商用化されているが、簡単な施術動作のために新しい道具に適応するための学習が必要な実状である。ガイドワイヤを後方に動いたり、一定の角度で回転するなど当該動作を直接行わなくてもロボットが代替する機能がより増加しているが、施術において占められている比重は少ない。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】大韓民国特許登録公報第１０－１９３７０１８号（登録日：２０１９年０１月０３日）

【発明の概要】

【課題を解決するための手段】

【0005】

一実施形態に係るプロセッサによって行われる血管映像から主要血管領域を抽出する方法であって、前記血管映像から全体血管領域（ｅｎｔｉｒｅ ｖｅｓｓｅｌ ｒｅｇｉｏｎ）を抽出するステップと、主要血管領域を抽出する機械学習モデルに基づいて前記血管映像から主要血管領域を抽出するステップと、前記全体血管領域に基づいて血管が分離された部分を連結することによって前記主要血管領域を補正するステップとを含む。

【0006】

一側面によると、前記機械学習モデルは、主要血管の予め決定された形態に対してトレーニングされた機械学習モデルであってもよい。具体的に、前記機械学習モデルは、右冠状動脈（ｒｉｇｈｔ ｃｏｒｏｎａｒｙ ａｒｔｅｒｙ、ＲＣＡ）、左前下行動脈（ｌｅｆｔ ａｎｔｅｒｉｏｒ ｄｅｓｃｅｎｄｉｎｇ ａｒｔｅｒｙ、ＬＡＤ）、及び左回旋動脈（ｌｅｆｔ ｃｉｒｃｕｍｆｌｅｘ ａｒｔｅｒｙ、ＬＣＸ）のうち少なくとも１つの血管状態に対してトレーニングされた機械学習モデルであってもよい。

【0007】

それと共に、前記主要血管領域のうち前記血管が分離された部分を探知するステップをさらに含むことができる。前記血管が分離された部分を探知するステップは、前記主要血管領域に対応するビーロブ間の最短距離が、閾値距離未満であるビーロブ間の領域を前記血管が分離された部分として決定するステップを含むことができる。

【0008】

さらに、前記主要血管領域を補正するステップは、前記主要血管領域に対応するビーロブ間の最短距離が、閾値距離未満であるビーロブ間の領域を連結する連結線を生成するステップと、前記全体血管領域のうち前記連結線に対応する領域に基づいて、前記主要血管領域のうち前記血管が分離された部分を連結することによって前記主要血管領域を補正するステップとを含む。具体的に、前記主要血管領域を補正するステップは、前記全体血管領域のうち前記連結線に対応して前記血管が分離された部分を連結できる領域が複数である場合、複数の領域のうち前記血管が分離された部分を連結できる最短距離の領域に基づいて前記主要血管領域を補正するステップを含むことができる。

【0009】

一実施形態に係る主要血管領域を抽出する方法は、前記血管映像のＲＧＢ値をグレースケールレベル（ｇｒａｙｓｃａｌｅ ｌｅｖｅｌ）に変換するステップと、前記グレースケールレベルに変換された血管映像に対して正規化するステップとを含むことができる。

【0010】

また、前記全体血管領域を抽出するステップは、前記全体血管映像から生成された部分血管映像に基づいて前記全体血管領域を抽出するステップを含み、前記主要血管領域を抽出するステップは、前記全体血管映像から生成された部分血管映像に基づいて前記主要血管領域を抽出するステップを含むことができる。

【0011】

一実施形態に係る前記主要血管領域を補正するステップは、前記主要血管領域に対するユーザの位置指定入力に応答して前記血管が分離された部分を決定するステップと、前記血管が分離された部分と隣接する周辺の主要血管領域に基づいて対象位置の主要血管領域を補正するステップとを含むことができる。

【発明の効果】

【0012】

一実施形態に係る主要血管領域抽出方法は、機械学習モデルを用いて血管映像から抽出された主要血管領域を補正することで、主要血管領域に対して途切れのない映像を提供することができ、施術者が正確な診断及び施術を実施することができる。

【0013】

さらに、一実施形態に係る主要血管領域抽出方法は、血管映像から微細血管などの映像を除去し、関心対象となる血管領域のみを分離して映像として表示することによって、施術者は、主要血管で詰まっている部位又は狭くなった部位を正確に把握することができる。

【図面の簡単な説明】

【0014】

【図1】一実施形態に係る医療道具挿入装置及び医療道具の動作を示す図である。

【図2】一実施形態に係る血管映像から主要血管領域を抽出し、補正する方法を示すフローチャートである。

【図3】一実施形態に係る主要血管領域に抽出しようとする心血管を示す図である。

【図4】一実施形態に係る主要血管領域及び全体血管領域を抽出するために前処理する方法を示すフローチャートである。

【図5】一実施形態により全体血管領域に基づいて主要血管領域を補正することを示す図である。

【図6】一実施形態により血管映像から補正された主要血管領域が抽出されたことを示す図である。

【図7】一実施形態により主要血管領域を抽出する装置の概略的な構成を示すブロック図である。

【発明を実施するための形態】

【0015】

実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものであって、様々な形態に変更されることができる。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。

【0016】

第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に、第２構成要素は第１構成要素にも命名することができる。

【0017】

いずれかの構成要素が他の構成要素に「連結」されているか「接続」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。

【0018】

単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

【0019】

異なるように定義さがれない限り、技術的又は科学的な用語を含んで、ここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈されなければならず、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

【0020】

以下、添付する図面を参照しながら実施形態を詳細に説明する。図面を参照して説明する際に、図面符号に拘わらず同じ構成要素は同じ参照符号を付与し、これに対する重複する説明は省略する。

【0021】

図１は、一実施形態に係る医療道具挿入装置１１０及び医療道具１２０の動作を示す図である。

【0022】

一実施形態に係る医療道具挿入装置１１０は、プロセッサによる駆動命令に応じて血管の目的領域まで医療道具１２０を移動させることができる。例えば、医療道具挿入装置１１０は、医療道具１２０の先端部を血管の目的領域まで移動させることができる。医療道具挿入装置１１０は、手術を行うためのロボットで実現でき、例えば、心血管仲裁術のための医療道具を制御するロボットであってもよい。

【0023】

医療道具１２０は、血管に挿入される部材（ｍｅｍｂｅｒ）として、医療道具１２０の先端部に配置される医療道具（ｍｅｄｉｃａｌ ｔｏｏｌ）及び医療道具を駆動部に連結する医療用ワイヤ（ｍｅｄｉｃａｌ ｗｉｒｅ）を含む。医療用ワイヤは、例えば、カテーテル（ｃａｔｈｅｔｅｒ）又はガイドワイヤを含んでもよい。ガイドワイヤは、上述した医療道具を血管の目的部位まで挿入及びガイドするために使用される医療用ワイヤを示す。医療道具は医師の制御により作動する手術用道具であり、例えば、イントロデューサーキット（ｉｎｔｒｏｄｕｃｅｒ ｋｉｔ）であってもよい。

【0024】

医療道具挿入装置１１０は、ガイドデータを用いて上述した駆動命令を決定することができる。例えば、医療道具挿入装置１１０は、機械学習モデルによる演算を行うことで、ガイドデータから駆動命令を出力することができる。機械学習モデルは、ガイドデータが入力されてガイドデータを出力するよう設計及びトレーニングされたモデルとして、例えば、ニューラルネットワークモデルとして実現されてもよい。

【0025】

駆動命令は、医療道具１２０に連結されて医療道具１２０を移動及び回転させる駆動部を動作させるための命令を示す。駆動命令は、例えば、前進命令、後進命令、時計回り回転命令、及び反時計回り回転命令であってもよいが、これに限定されることはない。

【0026】

ガイドデータは、血管映像又は血管構造映像にガイド情報がマッピングされたデータを示す。血管構造映像は、血管映像から特定血管が抽出された映像として、血管映像が前処理された映像であってもよい。血管構造映像は、下記の図３を参照して説明する。血管映像は、血管造影術（ｃｏｒｏｎａｒｙ ａｎｇｉｏｇｒａｐｈｙ、以下、ＣＡＧ）又は磁気共鳴映像（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ、以下、ＭＲＩ）を用いて生成された映像である。血管映像においては血管だけでなく、医療道具１２０も撮影されてもよい。

【0027】

ガイド情報は、医療道具１２０の移動及び回転をガイドするための情報として、例えば、血管内で医療道具１２０が出発すべき地点、経由すべき地点、及び目的領域に関する情報を含む。各地点に関する情報は、当該地点の血管構造映像内の映像座標を含むが、これに限定されることはない。一実施形態によれば、血管構造映像にガイド情報が視覚的にマッピングされてもよい。例えば、各目標領域に対応するグラフィックオブジェクトが血管構造映像に視覚化されてもよく、目標領域が視覚化された血管構造映像をガイド映像として示すことができる。

【0028】

例えば、医療道具挿入装置１１０は、外部装置（例えば、ガイドデータ提供装置）からガイドデータを受信することができる。ガイドデータ提供装置は、血管撮影装置１３０から血管映像を受信及び分析し、血管映像からガイドデータを生成する。異なる例として、医療道具挿入装置１１０は、上述したガイドデータ提供装置と一体に実現されてもよい。この場合、医療道具挿入装置１１０は、血管撮影装置１３０から血管映像を受信し、受信された血管映像を分析してガイドデータを生成することができる。

【0029】

医療道具挿入装置１１０のプロセッサは、血管映像を分析した結果に基づいて医療道具１２０の駆動を決定することができる。医療道具挿入装置１１０は、受信された血管映像を分析してガイドデータを生成し、生成されたガイドデータから駆動命令を決定する。例えば、医療道具挿入装置１１０は、ガイドデータから前進命令、後進命令、時計回り回転命令、及び反時計回り回転命令のうちの１つを動作命令として選択してもよい。医療道具挿入装置１１０の駆動部は、選択された動作命令に応じて駆動する。例えば、駆動部は、前進命令に応答して医療道具１２０を前進させてもよい。駆動部は、後進命令に応答して医療道具１２０を後退させてもよい。駆動部は、時計回り回転命令に応答して、ガイドワイヤの長さ軸を基準にして、ガイドワイヤを時計回りに回転させてもよい。駆動部は、反時計回り回転命令に応答して、ガイドワイヤの長さ軸を基準にしてガイドワイヤを反時計回りに回転させてもよい。

【0030】

従って、医療道具挿入装置１１０は、血管映像を分析することによって生成されたガイドデータを用いて一連の動作命令を決定することで、ガイドデータによってガイドされる地点で医療道具１２０の先端部を移動させることができる。医療道具挿入装置１１０は、ガイドデータを用いた動作決定を繰り返すことで、医療道具１２０の先端部を最終の目的領域まで移動させることができる。医療道具１２０の先端部、例えば、医療道具が目的領域まで到達した後、医療道具は、医師の制御に応じる手術動作を行うことができる。図２～図７を参照して後述する実施形態は、例示的に、医療道具施術装置が医療道具を目的領域まで到達させるよう、主要血管領域を抽出する方法に関する。しかし、これに限定されることなく、実施形態は、施術者が主要血管領域から施術の必要な血管領域がどこかを判断するために、主要血管領域を抽出する方法であってもよい。

【0031】

図２は、一実施形態に係る血管映像から主要血管領域を抽出し、補正する方法を示すフローチャートである。

【0032】

ステップ２１０において、主要血管領域を抽出するプロセッサは、血管映像から全体血管領域を抽出する。一実施形態に係るプロセッサは、全体血管領域を抽出する機械学習モデルに基づいて全体血管領域を抽出することができる。全体血管領域を抽出する機械学習モデルは、ｐｈｙｔｈｏｎ（ａｎａｃｏｎｄａ２．７．１４バージョン）を用いて学習されたモデルであってもよい。機械学習モデル学習に使用されるディープラーニングライブラリーは、ｋｅｒａｓのＴｈｅａｎｏ ｂａｃｋｅｎｄを使用してもよく、必ずこれに限定されず、ｔｅｎｓｆｏｒｆｌｏｗ又はｐｙｔｏｒｃｈも使用可能であり、機械学習モデルは、Ｕ－ｎｅｔを使用してもよい。Ｕ－ｎｅｔは、パッチ基盤の医療映像分割を目的にして作られたモデルであり、少ないデータで受容するほどの性能を示すことができる。

【0033】

他の一実施形態によれば、プロセッサは、血管映像におけるピクセルの周辺ピクセルとのグレースケールレベル差に基づいて境界を検出することで、全体血管領域を抽出することができる。例示的に、プロセッサは、任意のピクセルと周辺ピクセルのグレースケールレベルが急激に変わる領域を境界に検出してもよく、グレースケールレベルの勾配（ｇｒａｄｉｅｎｔ）値が閾値勾配値よりも大きい場合、当該ピクセルを境界にして検出してもよい。

【0034】

ステップ２２０において、プロセッサは、主要血管領域を抽出する機械学習モデルに基づいて血管映像から主要血管領域を抽出する。主要血管領域を抽出する機械学習モデルは、主要血管の予め決定された形態に対してトレーニングされた機械学習モデルであってもよい。例示的に、主要血管は、３つの心血管であってもよく、１つの右冠状動脈と２つの左冠状動脈を含む。ここで、機械学習モデルは、１つの右冠状動脈と２つの左冠状動脈のうち少なくとも１つの血管状態に対してトレーニングされてもよい。

【0035】

例示的に、プロセッサは、３つの主要血管の形態に対して学習が行われた機械学習モデルに基づいて主要血管領域を抽出することができる。主要血管学習としてｐｙｔｈｏｎ（ａｎａｃｏｎｄａ３．５．２バージョン）を用いてもよい。主要血管学習に使用されるディープラーニングライブラリーは、ｔｅｎｓｏｒｆｌｏｗ（１．４．０）を使用する。

【0036】

プロセッサは、主要血管領域を抽出する機械学習モデルとして、ＰＳＰＮＥＴを用いてもよい。ＰＳＰＮＥＴは、全体イメージ上のコンテキストを学習するために有効であり、様々な階層を同時に分割するのに優れている。ＰＳＰＮＥＴ以外にも、映像全体の大きさを入力にするディープラーニングモデルのいずれも使用可能である。

【0037】

学習に使用されるデータは５１２×５１２イメージを使用するが、モデルにおいて、学習を行うとき、７２０×７２０に再びリサイズして使用する。

【0038】

ステップ２３０において、プロセッサは、全体血管領域に基づいて血管が分離された部分を連結することによって主要血管領域を補正する。抽出された主要血管領域の補正については、図５及び図６を参照して後述する。

【0039】

図３は、一実施形態に係る主要血管領域に抽出しようとする心血管を示す図である。

【0040】

一実施形態に係る主要血管は心血管であってもよく、図３は、心臓に血液を供給する大動脈と、大動脈から血液が供給される３つの冠状動脈、即ち、１つの右冠状動脈３１０と２つの左冠状動脈３２０を示す図である。右冠状動脈３１０及び左冠状動脈３２０は、数多くの微細血管に血液を供給する。

【0041】

微細血管の数は極めて多いため、２つの微細血管が狭くなったり詰まっても、血液の供給には何らの問題がないことがほとんどであり、従って、施術者の診断は、通常、右冠状動脈３１０と左冠状動脈３２０に詰まったり狭くなる部分があるか否かを判断することにその主眼を置く。

【0042】

しかし、冠状動脈の周辺には数多くの微細血管があり、熟練の施術者であっても微細血管から冠状動脈のみを分離して、血管が狭くなったか又は詰まっているか否かを判断することは難しい問題がある。

【0043】

従って、一実施形態に係るプロセッサは、右冠状動脈及び左冠状動脈の形態に対して、トレーニングされた機械学習モデルに基づいて主要血管領域である右冠状動脈及び左冠状動脈領域を抽出することができるため、施術者は、プロセッサにより生成された主要血管領域に基づいて主要血管に対して施術が必要であるか否かを判断することができる。

【0044】

図４は、一実施形態に係る主要血管領域及び全体血管領域を抽出するために前処理する方法を示すフローチャートである。

【0045】

一実施形態に係るプロセッサは、ステップ４１０において、映像撮影装置から血管映像を受信した後、全体血管映像を前処理する。映像処理の対象となる血管イメージフォーマットは、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）形式から抽出されたｂｍｐフォーマットの５１２×５１２イメージを基本にして使用することができるが、必ずこれに限定されることはない。即ち、イメージの大きさは、血管の区分可能な大きさであればよく、イメージのフォーマットは、ｂｍｐ（ｂｉｔｍａｐ）フォーマット以外のｐｎｇ（Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃ）フォーマットなどの様々なフォーマットを用いてもよい。プロセッサは、イメージとマスクファイル共通にして全ての枠を２０ｐｉｘｅｌ ｃｒｏｐして周辺部のノイズを除去することができる。

【0046】

ステップ４２０において、プロセッサは、全体血管領域を抽出するために血管映像を前処理する。一実施形態に係るプロセッサは、全体血管映像から部分血管映像を生成することができる。ここで、部分血管映像は、ｂｍｐフォーマットを用いてもよい。しかし、部分血と映像のフォーマットはこれに限定されることなく、イメージの大きさは、血管の区分可能な大きさであればよく、イメージのフォーマットもｂｍｐフォーマット以外の様々なフォーマットを用いてもよい。

【0047】

プロセッサは、インハウス（ｉｎ－ｈｏｕｓｅ）プログラムを用いて部分血管映像のＲＧＢ値をグレイスケール（ｇｒａｙ ｓｃａｌｅ）値に変換し、その結果、得られたグレイスケール映像に対して正規化することができる。

【0048】

全体血管領域の部分血管映像は、白黒イメージでマスキングされない地域は０、マスキング地域は２５５の値を有することができ、イメージは、２５６×２５６にリサイズして使用されてもよい。

【0049】

プロセッサは、ステップ４２０で前処理の完了した映像からステップ２１０で全体血管領域を抽出することができる。

【0050】

ステップ４３０において、プロセッサは、主要血管領域を抽出するために血管映像を前処理する。一実施形態に係るプロセッサは、全体血管映像から部分血管映像を生成することができる。ここで、部分血管映像の血管イメージとマスクはｐｎｇフォーマットを使用することができるが、必ずこれに限定されることはない。マスクｐｎｇファイルは、マスキングされない地域が０、マスキングされた地域は１の値を有する。また、イメージは、５１２×５１２にリサイズして用いてもよい。プロセッサは、ステップ４３０で前処理が完了した映像からステップ２２０で主要血管領域を抽出することができる。

【0051】

図５は、一実施形態により全体血管領域に基づいて主要血管領域を補正することを示す図である。

【0052】

一実施形態に係るプロセッサは、血管映像５１０から主要血管領域５２０と全体血管領域５３０を抽出する。機械学習モデルに基づいてプロセッサが主要血管領域５２０を抽出する場合、実際には血管が連結されているが、血管の分離されている部分５２２が生じることがある。全体血管領域５３０は主要血管領域を含んでいるため、プロセッサは、全体血管領域５３０に基づいて主要血管領域５２０のうち血管が分離された部分５２２を連結することで、主要血管領域５２０を補正することができる。

【0053】

プロセッサは、主要血管領域５２０のうち血管が分離された部分５２２を探知することができる。一実施形態によれば、主要血管領域５２０に対応するビーロブ（ｂｌｏｂ）間の最短距離が閾値距離未満であるビーロブ５２１，５２３間の領域を血管の分離されている部分５２２として決定してもよい。ビーロブ（Ｂｉｎａｒｙ Ｌａｒｇｅ Ｏｂｊｅｃｔ、ＢＬＯＢ）は、イメージ（例えば、バイナリイメージ（ｂｉｎａｒｙ ｉｍａｇｅ））において、一定の大きさ以上であるかたまりとして、イメージサイズ対比閾値比率以上の個数のピクセルが連結されたグループであってもよい。例えば、血管映像５１０から血管領域を指示するピクセルが抽出され、抽出されたピクセル中閾値比率以上の個数が連結されているピクセルのグループによって指示されるオブジェクトが、図５に示されているビーロブ５２１，５２３であってもよい。例示的に、プロセッサは、ビーロブ５２１，５２３の大きさをピクセル個数の単位で測定してもよく、オブジェクトのうち、イメージサイズの１０％以上個数のピクセルが連結されているオブジェクトを主要血管の少なくとも一部に対応するビーロブ５２１，５２３として設定してもよい。プロセッサは、主要血管領域５２０に表示された部分のサイズが一定の大きさ未満である場合、一定の大きさ未満のオブジェクトをノイズとして分類する。プロセッサは、ノイズとして分類されたオブジェクトを主要血管領域５２０から排除することができる。

【0054】

主要血管領域５２０のうち、一定の大きさ以上のオブジェクトをビーロブ５２１，５２３として決定した後、プロセッサは、ビーロブ５２１，５２３間の最短距離と閾値距離とを比較することで、主要血管領域５２０に対応するビーロブ５２１，５２３間の領域が血管の分離されている部分５２２であるか否かを判断する。例示的に、ビーロブ５２１，５２３間の最短距離が短い場合、ビーロブ５２１，５２３が実際には連結されているものの、ノイズにより分離されているように撮影及び抽出されたものであってもよい。ここで、一実施形態に係るプロセッサは、ビーロブ５２１，５２３間の最短距離がイメージサイズの閾値比率距離未満である場合に応答して、ビーロブ５２１，５２３が同じ血管に対応するものと決定することができる。

【0055】

一実施形態に係るプロセッサは、主要血管領域５２０に対応するビーロブ５２１，５２３間の最短距離が閾値比率距離未満である場合に応答して、分離されたビーロブ５２１，５２３間の領域でビーロブ５２１，５２３を連結する連結線を生成することができる。連結線は、主要血管領域５２０で互いに離隔したビーロブ５２１，５２３を連結する線を示す。

【0056】

プロセッサは、全体血管領域５３０に基づいて主要血管領域５２０を補正するために、全体血管領域５３０のイメージサイズを主要血管領域５２０のイメージサイズと一致させることができる。例示的に、全体血管領域５３０のイメージサイズは２５６×２５６（ピクセル）であり、主要血管領域５２０のイメージサイズは７６８×７６８（ピクセル）であって、互いに異なってもよい。プロセッサは、全体血管領域５３０のイメージサイズ及び主要血管領域５２０のイメージサイズのうち少なくとも１つをスケーリング（ｓｃａｌｉｎｇ）することで、２つの領域のイメージサイズを一致させることができる。

【0057】

イメージサイズを一致させた後、プロセッサは、全体血管領域５３０のうち連結線に対応する領域に基づいて主要血管領域５２０のうち、血管が分離された部分５２２を連結することで補正された主要血管領域５４０を出力することができる。プロセッサは、全体血管領域５３０から主要血管領域５２０の連結線に対応する領域５３１を決定する。例えば、プロセッサは、全体血管領域５３０において、主要血管領域５２０の連結線が指示しているピクセル位置に対応する領域５３１を決定してもよい。プロセッサは、決定された領域５３１を主要血管領域５２０に適用することによって血管が分離された部分５２２を連結することができる。例えば、プロセッサは、ビーロブ５２１，５２３間の分離されている部分５２２において、決定された領域５３１に基づいて領域拡張（ｒｅｇｉｏｎ ｇｒｏｗｉｎｇ）を行うことでビーロブ５２１，５２３を連結することができる。

【0058】

全体血管領域５３０のうち、連結線に対応して血管が分離された部分５２２を連結できる領域が複数である場合、プロセッサは、複数の領域のうち血管が分離ている部分５２２を連結できる最短距離の領域に基づいて主要血管領域５２０を補正することができる。

【0059】

一実施形態に係るプロセッサは、全体血管領域５３０と主要血管領域５２０で対応する血管の厚さを比較することができ、実際の血管の厚さに比べて薄く抽出された主要血管領域５２０を全体血管領域５３０に基づいて拡張させることで、主要血管領域５２０を補正することができる。例えば、任意の血管地点において主要血管領域５２０の血管の厚さが第１厚さであり、全体血管領域５３０の血管の厚さが第１厚さよりも大きい第２厚さである場合、プロセッサは、主要血管領域５２０の血管の厚さを第１厚さから第２厚さまで拡張し得る。従って、プロセッサが主要血管領域を抽出する機械学習モデルから薄く又は分離されたまま出力された主要血管領域５２０を補正することで、機械学習モデルによって抽出されることができない血管領域についても巧みに抽出することができる。

【0060】

図６は、一実施形態により血管映像６１０，６３０から補正された主要血管領域６２０，６４０が抽出されたことを示す図である。

【0061】

図６において、左側の心血管Ｘ－ｒａｙ映像に表示されている血管映像６１０，６３０に対して、主要血管領域６２０，６４０を抽出する機械学習モデルによるイメージ生成のみを行い、全体血管領域に基づいて補正しない場合に実際の主要血管の一部が狭くなった場合でも、プロセッサは、当該狭くなった部分を微細血管などのノイズとして認識して除去してしまう恐れがある。しかし、該当の狭くなった部分は、主要血管の一部として狭くなった状態に表現されることが、現像を最もよく表現するものであるため、狭くなった部分を除去してしまうと正しい診断に支障を招く。

【0062】

一方、全体血管領域イメージは、血管幅の大きさに関わらず全体血管に対して生成されたイメージであるため、プロセッサは、主要血管の一部が狭くなった部分があっても、これをノイズとして判断して除去することなく、そのまま出力することができる。

【0063】

従って、プロセッサが血管映像６１０，６３０に対して主要血管領域６２０，６４０を抽出した後、血管が分離された部分６２１に全体血管領域により認識された部分に代えて表示することによって、血管映像６１０，６３０に表示された血管のうち主要血管のみを正確に抽出して画面に表示することが可能である。

【0064】

また、この場合、プロセッサは、主要血管領域６２０，６４０で血管が分離して抽出された部分に代える血管部分を互いに異なる色に表示することで、施術者に主要血管の当該部分が狭くなった部分であることを強調して表示することも可能である。

【0065】

また、プロセッサは、主要血管領域６２０，６４０から得られる映像と全体血管領域から得られる映像とを組み合わせて結果映像を出力するため、施術者に狭くなった部分が主要血管に大きさ及び太さに比べてどれ程に狭くなったかに関する情報を提供することができる。主要血管領域抽出装置は、主要血管の太さを基準にして血管で狭くなった部分の太さの比率を狭窄レベルとして算出して出力することができる。例えば、プロセッサは、全体血管領域及び主要血管領域６２０，６４０を互いに比較することで、狭くなった部分が主要血管の太さに比べてどのパーセントだけ狭くなったかを算出し、画面に数値で表示することができる。

【0066】

さらに、プロセッサは、全体血管領域及び主要血管領域６２０，６４０を互いに比較することで、患者に最も適切な措置が何かを画面に提示することができる。例えば、プロセッサは、次のような情報のうちの１つを画面に表示してもよい。

【0067】

「特別な措置が不要」
「薬物療法が必要」
「血管拡張術が必要」
以上、本発明によれば、プロセッサは、造影術検査を介して得られた主要血管映像６１０，６３０から微細血管の映像を除去し、関心対象となる主要血管のみを分離して映像として表示することで、施術者は、より正確に主要血管の詰まった部位又は狭くなった部位を把握することができ、より正確な診断を行うことができる。

【0068】

一実施形態に係る主要血管領域抽出装置は、主要血管のみを分離して映像の表示において、人工知能技術を活用することにより主要血管の分離度を増大させることができる。また、主要血管領域抽出装置は人工知能技術を活用して、プロセッサは、血管映像６１０，６３０に含まれている血管を血管でない要素、例えば、造影剤投与のためのプラスチック管又は臓器などの他の要素と区別し分離してディスプレイすることで、施術者は、主要血管が詰まったり狭くなった部位をより正確に探し出すことができる。さらに、主要血管領域抽出装置は、人工知能技術の活用において、プロセッサは、血管映像６１０，６３０に含まれている血管を主要血管に対する分離及びディスプレイと、全体血管に対する分離及びディスプレイをそれぞれ別途の経路として実行させ、その結果として得られた学習データを結合することで、主要血管のみを学習により抽出するときに比べて抽出の正確度を向上させることができる。さらに、主要血管領域抽出装置は、このように得られた出力に基づいて、主要血管の詰まり又は狭くなる程度を数値に表示することで、より客観的な判断を可能にする。

【0069】

図７は、一実施形態により主要血管領域を抽出する装置の概略的な構成を示すブロック図である。

【0070】

一実施形態に係る主要血管領域を抽出するシステム７００は、主要血管領域抽出装置７１０、医療道具施術装置７２０、及び血管映像撮影装置７３０のうち少なくとも１つを含む。主要血管領域抽出装置７１０は、プロセッサ７１１、メモリ７１２、及び入出力インターフェース７１３を含む。

【0071】

プロセッサ７１１は、血管映像から全体血管領域（ｅｎｔｉｒｅ ｖｅｓｓｅｌ ｒｅｇｉｏｎ）を抽出し、主要血管領域を抽出する機械学習モデルに基づいて前記血管映像から主要血管領域（ｍａｊｏｒ ｖｅｓｓｅｌ ｒｅｇｉｏｎ）を抽出し、前記全体血管領域に基づいて血管が分離された部分を連結することによって前記主要血管領域を補正することができる。プロセッサ７１１が主要血管領域を抽出した後補正することについては、図２～図６を参照して上述したため、詳しい説明は省略する。メモリ７１２は、血管映像、全体血管領域、主要血管領域、機械学習モデルのうち少なくとも１つを少なくとも一時的に格納し、プロセッサ７１１は、メモリ７１２に格納されているデータをロードすることによって主要血管領域を抽出し、補正することができる。入出力インターフェース７１３は、血管映像撮影装置７３０及び医療道具施術装置７２０のうち少なくとも１つに連結されてデータを送受信することができる。

【0072】

以上で説明された実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

【0073】

ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。

【0074】

本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。上記で説明したハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

【0075】

上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されるし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】