特許 7427293 血管映像を自動処理する方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-26

(45)【発行日】2024-02-05

(54)【発明の名称】血管映像を自動処理する方法及び装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240129BHJP

   A61B 6/00 20240101ALI20240129BHJP

【ＦＩ】

G06T7/00 612

A61B6/00 350D

A61B6/00 350Z

A61B6/00 360Z

【請求項の数】 12

(21)【出願番号】P 2022561515

(86)(22)【出願日】2021-02-05

(65)【公表番号】

(43)【公表日】2023-05-25

(86)【国際出願番号】 KR2021001538

(87)【国際公開番号】W WO2021246612

(87)【国際公開日】2021-12-09

【審査請求日】2022-10-13

(31)【優先権主張番号】10-2020-0066267

(32)【優先日】2020-06-02

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】522186055

【氏名又は名称】メディピクセル インコーポレイテッド

【氏名又は名称原語表記】ＭＥＤＩＰＩＸＥＬ， ＩＮＣ．

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100224683

【弁理士】

【氏名又は名称】齋藤 詩織

(72)【発明者】

【氏名】クウェオン ジフーン

(72)【発明者】

【氏名】キム ヨンハク

(72)【発明者】

【氏名】クォン ヒー

【審査官】真木 健彦

(56)【参考文献】

【文献】特開２０１１－２１２３１４（ＪＰ，Ａ）

【文献】特開２０１３－０９０７９９（ＪＰ，Ａ）

【文献】特開２０１４－１８０４９２（ＪＰ，Ａ）

【文献】特開２００４－２８３３７３（ＪＰ，Ａ）

【文献】特表２００８－５２５１２６（ＪＰ，Ａ）

【文献】特表２０１６－５３３８１５（ＪＰ，Ａ）

【文献】特開２０１９－１２２７６２（ＪＰ，Ａ）

【文献】特表２０１９－５１２２９５（ＪＰ，Ａ）

【文献】特表２０１９－５２１７３３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／０３５５８５８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ａ６１Ｂ ５／００

Ａ６１Ｂ ６／００

Ａ６１Ｂ ８／００

(57)【特許請求の範囲】

【請求項1】

プロセッサによって実行される血管映像処理方法であって、
血管映像から対象血管を抽出するステップと、
前記対象血管の抽出結果で前記対象血管に関する血管構造データ、前記対象血管の曲率情報、前記対象血管の直径情報、及び前記対象血管の明度情報のうち少なくとも１つに基づいてエラー部位を識別するステップと、
前記対象血管の抽出結果でエラー部位が識別される場合に応答して、前記識別されたエラー部位を修正するステップと、
を含み、
前記エラー部位を識別するステップは、前記対象血管の抽出結果で互いに隣接する上位分枝と下位分枝との間の明度差が閾値の明度差以上である場合に応答して、前記下位分枝を誤認部位として識別するステップを含み、
前記エラー部位を修正するステップは、前記識別されたエラー部位に対して、前記下位分枝を前記下位分枝との間の明度差が閾値の明度差未満である他の候補下位分枝に交替するステップを含む、血管映像処理方法。

【請求項2】

前記エラー部位を識別するステップは、
前記血管映像から血管領域及び非血管領域を分割するステップと、
前記血管領域で分枝地点を基準にして区分される血管分枝のそれぞれに対応するノードに基づいて前記血管構造データを生成するステップと、
前記対象血管のノード間の連結データを前記血管構造データに比較するステップと、
前記血管構造データのトポロジーに基づいてノード間の連結エラーが検出された場合、前記連結エラーに対応するノードを前記エラー部位として判断するステップと、
を含む、請求項１に記載の血管映像処理方法。

【請求項3】

前記エラー部位を修正するステップは、
前記エラー部位が断絶部位として識別される場合に応答して、前記断絶部位に対応する領域を連結するステップと、
前記エラー部位が誤認部位として識別される場合に応答して、前記誤認部位に対応するノードを血管構造データにマッチングするノードに交替するステップと、
を含む、請求項１に記載の血管映像処理方法。

【請求項4】

プロセッサによって実行される血管映像処理方法であって、
血管映像から対象血管を抽出するステップと、
前記対象血管の抽出結果で前記対象血管に関する血管構造データ、前記対象血管の曲率情報、前記対象血管の直径情報、及び前記対象血管の明度情報のうち少なくとも１つに基づいてエラー部位を識別するステップと、
前記対象血管の抽出結果でエラー部位が識別される場合に応答して、前記識別されたエラー部位を修正するステップと、
を含み、
前記エラー部位を識別するステップは、前記対象血管の抽出結果で互いに隣接する上位分枝と下位分枝との間の曲率が閾値曲率を超過する場合に応答して、前記下位分枝を誤認部位として識別するステップと、
前記対象血管の抽出結果で互いに隣接する上位分枝と下位分枝との間の直径の差が閾値以上である場合に応答して、前記下位分枝をエラー部位として識別するステップと、
を含む、血管映像処理方法。

【請求項5】

前記エラー部位を修正するステップは、前記識別された誤認部位に対して、前記下位分枝を前記上位分枝との曲率が臨界曲率以下である他の候補下位分枝に交替するステップを含む、請求項４に記載の血管映像処理方法。

【請求項6】

前記エラー部位を修正するステップは、前記識別されたエラー部位に対して、前記下位分枝を前記上位分枝との直径の差に基づいた交替、及び前記対象血管に対する新しい直径情報を含む新しい抽出結果の生成のうち少なくとも１つを行うことによって前記識別されたエラー部位を修正するステップを含む、請求項４に記載の血管映像処理方法。

【請求項7】

前記エラー部位を修正するステップは、エラー部位が識別された場合に応答して、前記対象血管に対する新しい抽出結果を生成するステップを含む、請求項１に記載の血管映像処理方法。

【請求項8】

前記エラー部位を修正するステップは、
前記エラー部位が誤認部位である場合に応答して、１つ以上の候補分枝をユーザに提供するステップと、
前記ユーザから前記１つ以上の候補分枝のいずれかの分枝に対する選択入力を受信する場合に応答して、前記エラー部位に対応する分枝を前記選択された分枝に交替するステップを含む、請求項１に記載の血管映像処理方法。

【請求項9】

前記エラー部位を修正するステップは、複数の地点でユーザ入力が検出される場合に応答して、前記ユーザ入力の開始地点に対応する血管分枝に対応する領域及び前記ユーザ入力の終了地点に対応する血管分枝に対応する領域を連結するステップを含む、請求項１に記載の血管映像処理方法。

【請求項10】

血管映像処理装置であって、
血管映像を受信する映像受信部と、
前記血管映像から対象血管を抽出し、前記対象血管の抽出結果で前記対象血管に関する血管構造データ、前記対象血管の曲率情報、前記対象血管の直径情報、及び前記対象血管の明度情報のうち少なくとも１つに基づいてエラー部位を識別し、前記対象血管の抽出結果でエラー部位が識別される場合に応答して、前記識別されたエラー部位を修正するプロセッサを含み、
前記プロセッサは、
前記対象血管の抽出結果で互いに隣接する上位分枝と下位分枝との間の明度差が閾値の明度差以上である場合に応答して、前記下位分枝を誤認部位として識別し、
前記識別されたエラー部位に対して、前記下位分枝を前記下位分枝との間の明度差が閾値の明度差未満である他の候補下位分枝に交替する、血管映像処理装置。

【請求項11】

前記エラー部位を識別するステップは、前記対象血管の分枝地点を基準にして上位分枝と下位分枝との間の主方向ベクトルの内積値が閾値を超過する場合に応答して、前記下位分枝を誤認部位として識別するステップを含む、請求項４に記載の血管映像処理方法。

【請求項12】

前記直径の差は、複数の血管分枝をグルーピングして血管分枝の直径情報を平滑化し算出される、請求項６に記載の血管映像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

以下、血管映像を処理する方法に関する技術が提供される。

【背景技術】

【0002】

血管造影検査（ａｎｇｉｏｇｒａｐｈｙ）映像は、主な血管を観察して血管内の問題部位を診断して必要な施術及び措置を行うために広範囲に活用されている。従来には、便宜性を高めて診断結果を定量化するために、血管映像から主な血管を自動識別する映像処理エンジンが利用されている。例えば、Ｐｉメディカル社のＣａａｓ ＱＣＡエンジンは、血管造影映像から主な血管を探して表示することができる。一方、エンジンから抽出された主な血管は、実際に抽出しなければならない主な血管部位ではない、他の血管部位（ｍｉｓｉｄｅｎｔｉｆｉｃａｔｉｏｎ）に該当し、一部が切れている（ｄｉｓｃｏｎｎｅｃｔｉｏｎ）など、エラーを示す場合が多い。したがって、臨床では、エンジンが主な血管を１次抽出した識別結果をそのまま使用されることができず、人力が投入されて血管造影映像を確認し前記エラーを人力が直接修正して活用して格納する。

【発明の概要】

【課題を解決しようとする手段】

【0003】

一実施形態によれば、プロセッサによって行われる血管映像処理方法は、血管映像から対象血管を抽出するステップと、前記対象血管の抽出結果で前記対象血管に関する血管構造データ、前記対象血管の曲率情報、前記対象血管の直径情報、及び前記対象血管の明度情報のうち少なくとも１つに基づいてエラー部位を識別するステップと、前記対象血管の抽出結果でエラー部位が識別される場合に応答して、前記識別されたエラー部位を修正するステップとを含む。

【0004】

一実施形態に係る血管映像処理方法の前記エラー部位を識別するステップは、前記血管映像から血管領域及び非血管領域を分割するステップと、前記血管領域で分枝地点を基準にして区分される血管分枝のそれぞれに対応するノードに基づいて前記血管構造データを生成するステップと、前記対象血管のノード間の連結データを前記血管構造データに比較するステップと、前記血管構造データのトポロジーに基づいてノード間の連結エラーが検出された場合、前記連結エラーに対応するノードを前記エラー部位として判断するステップとを含むことができる。

【0005】

一実施形態に係る血管映像処理方法の前記エラー部位を修正するステップは、
前記エラー部位が断絶部位として識別される場合に応答して、前記断絶部位に対応する領域を連結するステップと、前記エラー部位が誤認部位として識別される場合に応答して、前記誤認部位に対応するノードを血管構造データにマッチングするノードに交替するステップとを含むことができる。

【0006】

一実施形態に係る血管映像処理方法の前記エラー部位を識別するステップは、前記対象血管の抽出結果で互いに隣接する上位分枝と下位分枝との間の曲率が閾値曲率を超過する場合に応答して、前記下位分枝を誤認部位として識別するステップを含むことができる。

【0007】

一実施形態に係る血管映像処理方法の前記エラー部位を修正するステップは、前記識別された誤認部位に対して、前記下位分枝を前記上位分枝との曲率が臨界曲率以下である他の候補下位分枝に交替するステップを含むことができる。

【0008】

一実施形態に係る血管映像処理方法の前記エラー部位を識別するステップは、前記対象血管の抽出結果で互いに隣接する上位分枝と下位分枝との間の直径の差が閾値以上である場合に応答して、前記下位分枝をエラー部位として識別するステップを含むことができる。

【0009】

一実施形態に係る血管映像処理方法の前記エラー部位を修正するステップは、前記識別されたエラー部位に対して、前記下位分枝を前記上位分枝との直径の差に基づいた交替、及び前記対象血管に対する新しい直径情報を含む新しい抽出結果の生成のうち少なくとも１つを行うことによって前記識別されたエラー部位を修正するステップを含むことができる。

【0010】

一実施形態に係る血管映像処理方法の前記エラー部位を識別するステップは、前記対象血管の抽出結果で互いに隣接する上位分枝と下位分枝との間の明度差が閾値の明度差以上である場合に応答して、前記下位分枝を誤認部位として識別するステップを含むことができる。

【0011】

一実施形態に係る血管映像処理方法の前記エラー部位を修正するステップは、前記識別されたエラー部位に対して、前記下位分枝を前記上位分枝との明度差が閾値の明度差未満である他の候補下位分枝に交替するステップを含むことができる。

【0012】

一実施形態に係る血管映像処理方法の前記エラー部位を修正するステップは、エラー部位が識別された場合に応答して、前記対象血管に対する新しい抽出結果を生成するステップを含むことができる。

【0013】

一実施形態に係る血管映像処理方法の前記エラー部位を修正するステップは、
前記エラー部位が誤認部位である場合に応答して、１つ以上の候補分枝をユーザに提供するステップと、前記ユーザから前記１つ以上の候補分枝のいずれかの分枝に対する選択入力を受信する場合に応答して、前記エラー部位に対応する分枝を前記選択された分枝に交替するステップとを含むことができる。

【0014】

一実施形態に係る血管映像処理方法の前記エラー部位を修正するステップは、複数の地点でユーザ入力が検出される場合に応答して、前記ユーザ入力の開始地点に対応する血管分枝に対応する領域及び前記ユーザ入力の終了地点に対応する血管分枝に対応する領域を連結するステップを含むことができる。

【0015】

一実施形態に係る血管映像処理装置は、血管映像を受信する映像受信部と、前記血管映像から対象血管を抽出し、前記対象血管の抽出結果で前記対象血管に関する血管構造データ、前記対象血管の曲率情報、前記対象血管の直径情報、及び前記対象血管の明度情報のうち少なくとも１つに基づいてエラー部位を識別し、前記対象血管の抽出結果でエラー部位が識別される場合に応答して、前記識別されたエラー部位を修正するプロセッサを含む。

【発明の効果】

【0016】

一実施形態に係る血管映像処理装置によって行われる血管映像を処理する方法は、造影剤が挿入された血管映像から主な血管に対応する対象血管を抽出することができ、対象血管におけるエラー部位を人力が投入されて対象血管を確認する必要なく、自動にエラー部位を識別することができる。また、血管映像処理装置は、対象血管で識別されたエラー部位を自動に修正することができ、ユーザから入力を受信してエラー部位をユーザの意図の通りに修正することができる。

【図面の簡単な説明】

【0017】

【図1】一実施形態に係る血管映像を処理する方法を示すフローチャートである。

【図2】一実施形態に係る対象血管が表示された血管映像を示す図である。

【図3】一実施形態に係る対象血管の抽出結果でエラー部位が発生した例示を示す。

【図4】血管分枝に対応するノードに基づいた血管構造データのトポロジーを用いて対象血管のエラーを識別する方法を示す。

【図5】一実施形態に係るエラー部位を修正する方法を示す。

【図6】一実施形態に係るエラー部位を修正する方法を示す。

【図7】対象血管の曲率情報を用いて対象血管のエラーを識別して修正する方法を示す。

【図8】対象血管の直径情報を用いて対象血管のエラーを識別して修正する方法を示す。

【図9】対象血管の明度情報を用いて対象血管のエラーを識別して修正する方法を示す。

【図10】一実施形態に係るエラー部位を修正する方法を示す。

【図11】一実施形態に係るエラー部位を修正する方法を示す。

【図12】一実施形態に係る血管映像処理装置を概略的に示すブロック図である。

【発明を実施するための形態】

【0018】

実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものであって、様々な形態に変更されることができる。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。

【0019】

第１又は第２などの用語を様々な構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に、第２構成要素は第１構成要素にも命名することができる。

【0020】

いずれかの構成要素が他の構成要素に「連結」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。

【0021】

単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

【0022】

異なるように定義さがれない限り、技術的又は科学的な用語を含んで、ここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈されなければならず、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。以下、添付する図面を参照しながら実施形態を詳細に説明する。各図面に提示された同一の参照符号は同一の部材を示す。

【0023】

図１は、一実施形態に係る血管映像を処理する方法を示すフローチャートである。

【0024】

まず、ステップ１１０において、血管映像処理装置は、血管映像（ｂｌｏｏｄ ｖｅｓｓｅｌ ｉｍａｇｅ）から対象血管（ｔａｒｇｅｔ ｖｅｓｓｅｌ）を抽出する。対象血管は、主血管のように示してもよい。一実施形態によれば、血管映像処理装置の映像受信部は、血管映像撮影装置によって撮影された血管映像を受信する。血管映像は、生体（ｌｉｖｉｎｇ ｂｏｄｙ）の血管を撮影した映像であって、血管造影検査（ｃｏｒｏｎａｒｙ ａｎｇｉｏｇｒａｐｈｙ、以下ＣＡＧ）映像及び／又は磁気共鳴映像（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ、以下、ＭＲＩ）を用いて生成されてもよい。例示的に、血管映像は、造影剤の注入された生体に対してＸ線撮影することによって取得された映像であり得る。

【0025】

一実施形態によれば、血管映像処理装置は、機械学習モデル（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）に基づいて血管映像から対象血管を抽出することができる。機械学習モデルは、血管映像の入力に応答して、血管映像から対象血管を抽出するように設計された機械学習構造を有する１つ以上のモデルとして、例えば、ニューラルネットワークを含んでもよい。血管映像処理装置は、受信された血管映像に対して上述した機械学習モデルによる演算を行うことで、対象血管の抽出結果を算出することができる。例えば、機械学習モデルの出力データは、血管映像の複数のピクセルで各ピクセルが対象血管を指示する可能性（例えば、確率）に対応するスコアを含む。血管映像処理装置は、出力データで閾値以上のスコアを有するピクセルを対象血管として決定することで、対象血管の抽出結果を生成することができる。異なる例として、機械学習モデルの出力データは、血管映像から分割（ｓｅｇｍｅｎｔ）された対象血管領域として、血管映像の複数のピクセルのうち、対象血管として抽出されたピクセルを含むことができる。対象血管の抽出結果は、例えば、血管映像のピクセルのうち対象血管として抽出されたピクセルの集合及び／又は血管映像から分割された対象血管領域に対応する映像（例えば、対象血管映像）であり得る。

【0026】

参考として、ニューラルネットワークは、ディープニューラルネットワーク（ＤＮＮ、ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を含む。ＤＮＮは、完全接続ネットワーク（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｎｅｔｗｏｒｋ）、ディープコンボリューショナルネットワーク（ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）及びリカレントニューラルネットワーク（ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）などを含む。ニューラルネットワークは、ディープラーニングに基づいて非線形関係にある入力データ及び出力データを互いにマッピングすることで、オブジェクト分類、オブジェクト認識、及びレーダーイメージ認識などを行うことができる。ディープラーニングは、ビッグデータセットからオブジェクト認識のような問題を解決するための機械学習方式であって、教師有り学習又は教師なし学習を介して入力データ及び出力データを互いにマッピングすることができる。教師有り学習学習の場合、上述した機械学習モデルは、トレーニング入力（例えば、トレーニングのための血管映像）及び該当トレーニング入力にマッピングされたトレーニング出力（例えば、トレーニングのための血管映像に対して専門家などによって対象血管に分割された真の値（ｇｒｏｕｎｄ ｔｒｕｔｈ）映像）の対を含むトレーニングデータに基づいてトレーニングされ得る。例えば、機械学習モデルは、トレーニング入力からトレーニング出力を出力するようにトレーニングされてもよい。トレーニングのうちの機械学習モデル（以下、「臨時モデル」）は、トレーニング入力に応答して臨時出力を生成することができ、臨時出力及びトレーニング出力（例えば、真の値）間の損失が最小化されるようトレーニングされる。トレーニング過程の間に機械学習モデルのパラメータ（例えば、ニューラルネットワークでノード／レイヤ間の連結加重値）が損失に応じてアップデートされることができる。

【0027】

但し、機械学習モデルが血管映像から対象血管を直ちに抽出する例示について説明したが、これに限定されることはない。例えば、機械学習モデルは、全体血管抽出モデル及び対象血管抽出モデルを含む。全体血管抽出モデルは、血管映像から全体血管領域を抽出するように設計されたモデルであってもよい。対象血管抽出モデルは、全体血管領域を指示する映像（例えば、全体血管映像）から対象血管領域を抽出するよう設計されたモデルであってもよい。また、全体血管抽出モデルの代わりに、血管映像処理装置は、血管映像でのピクセルの周辺ピクセルとのグレースケールレベル差に基づいて境界を検出することで、全体血管領域を抽出することができる。例示的に、血管映像処理装置は、任意のピクセルと周辺ピクセルのグレースケールレベルの勾配（ｇｒａｄｉｅｎｔ）値が閾値の勾配値よりも大きい場合、該当ピクセルを境界として検出することができる。したがって、血管映像処理装置は、グレースケールレベルが急激に変わる領域を境界として検出することができる。血管映像処理装置は、グレースケールレベルの勾配値に基づいて抽出された全体血管映像から対象血管抽出モデルを用いて対象血管映像を抽出してもよい。

【0028】

さらに、血管映像処理装置は、血管の形態、種類及び／又は血管領域に応じて複数の機械学習モデルのうち、対象血管抽出に使用する機械学習モデルを選択的に使用してもよい。一実施形態によれば、血管映像処理装置は、血管の種類別（例えば、左主冠状動脈（Ｌｅｆｔ Ｍａｉｎ Ｃｏｒｏｎａｒｙ Ａｒｔｅｒｙ、ＬＭ）、左前下行動脈（Ｌｅｆｔ Ａｎｔｅｒｉｏｒ Ｄｅｓｃｅｎｄｉｎｇ Ａｒｔｅｒｙ、ＬＡＤ）、左回旋動脈（Ｌｅｆｔ Ｃｉｒｃｕｍｆｌｅｘ Ａｒｔｅｒｙ、ＬＣＸ）、右冠状動脈（Ｒｉｇｈｔ Ｃｏｒｏｎａｒｙ Ａｒｔｅｒｙ、ＲＣＡ））及び／又は血管領域別（例えば、近位領域（ｐｒｏｘｉｍａｌ ｒｅｇｉｏｎ）、中間領域（ｍｉｄ ｒｅｇｉｏｎ）、及び遠位領域（ｄｉｓｔａｌ ｒｅｇｉｏｎ））の複数の機械学習モデルを格納することができる。参考として、血管領域は、カテーテル（ｃａｔｈｅｔｅｒ）の挿入される血管地点から離れた距離に応じて、近位地点（ｐｒｏｘｉｍａｌ ｐｏｒｔｉｏｎ）、中間領域（ｍｉｄｄｌｅ ｐｏｒｔｉｏｎ）、及び遠位領域（ｄｉｓｔａｌ ｐｏｒｔｉｏｎ）に分類されるが、これに限定されない。血管領域は、血管映像を取得するために造影剤が血管挿入部に注入される地点から離れた距離、及び造影剤が注入され得る血管末端から離れた距離の比率に応じて分類してもよい。例えば、血管映像処理装置は、抽出しようとする血管の種類を選択し、識別された血管の種類に対応する機械学習モデルをロードすることができる。血管映像処理装置は、ロードされた機械学習モデルを用いて、血管映像から選択された血管の種類に対応する対象血管の抽出結果を生成することができる。例示的に、血管映像処理装置は、複数の心血管の種類（例えば、１個の右冠状動脈、２個の左冠状動脈）に対応する機械学習モデルを格納することができる。複数の心血管の種類に対応する機械学習モデルのそれぞれは、該当心血管の種類に対応するトレーニングデータに基づいてトレーニングされてもよい。心血管の種類ごとに機械学習モデルのトレーニングされたパラメータはそれぞれ異なってもよく、さらに、互いに機械学習構造（例えば、畳み込みニューラルネットワーク、Ｕ－ｎｅｔ構造など）が異なってもよい。説明の便宜のために、血管の種類ごとにパラメータ及び／又は機械学習構造が区別される機械学習モデルについて説明したが、これに限定されることはない。血管映像処理装置は、血管の形態、種類、及び／又は血管領域ごとに互いに区別される複数の機械学習モデルを格納し、必要な血管モデルを選択的にロードして対象血管抽出に使用してもよい。

【0029】

そして、ステップ１２０において、血管映像処理装置は、対象血管からエラー部位（ｅｒｒｏｒ ｐｏｒｔｉｏｎ）を識別（ｉｄｅｎｔｉｆｙ）する。エラー部位は、断絶部位（ｄｉｓｃｏｎｔｉｎｕｉｔｙ ｐｏｒｔｉｏｎ）及び／又は誤認部位（ｍｉｓｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｐｏｒｔｉｏｎ）を含む。断絶部位は、対象血管として抽出された対象血管領域及び／又は対象血管を指示するピクセルのうち、少なくとも１つの領域及び／又は少なくとも１つのピクセルが他の領域及び／又は他のピクセルから分離されたり離隔された部位を示す。誤認部位は、血管映像で実際に抽出しなければならない対象血管ではない他の血管に対応する領域及び／又はピクセルが対象血管であると間違って抽出された部位を示す。例示的に、血管映像処理装置は、対象血管の抽出結果から、対象血管に関する血管構造データ、対象血管の曲率情報、対象血管の直径情報、及び対象血管の明度情報のうち少なくとも１つに基づいてエラー部位を自動識別することができる。エラー部位識別に対する説明は後述する。

【0030】

次に、ステップ１３０において、血管映像処理装置は、対象血管でエラー部位が識別される場合に応答して、識別されたエラー部位を修正する。血管映像処理装置は、識別されたエラー部位を自動に修正できるが、これに限定されることはない。血管映像処理装置は、ユーザから受信された入力に基づいてエラー部位を修正してもよい。エラー部位修正については後述する。

【0031】

図２は、一実施形態に係る対象血管が表示された血管映像を示す図である。

【0032】

血管映像撮影装置は、血管映像２００を撮影することができる。血管映像処理装置は、血管映像撮影装置から血管映像２００を受信する。血管映像処理装置は、受信された血管映像２００から対象血管２２０を抽出する。血管映像処理装置は、機械学習モデルに基づいて対象血管２２０を抽出し、対象血管２２０に対する抽出結果からエラー部位を識別して修正できる。血管映像処理装置は、分枝地点（ｂｒａｎｃｈ ｐｏｉｎｔ）を基準にして、エラー部位を識別して修正することができる。分枝地点は、２以上の血管分枝が合わさる地点及び／又は複数の血管分枝に分かれる地点を示す。血管映像２００にキャプチャーされた血管領域は、複数の分枝地点を有してもよい。

【0033】

一実施形態に係る血管映像処理装置は、最終的に図２に示したような対象血管２２０を決定するために、対象血管２２０の抽出、抽出結果からエラー部位の識別及び修正を行うことができる。以下の図３では、説明の便宜のために分枝地点を含む領域２１１を中心に血管映像処理方法によるエラー部位識別及び修正について説明する。但し、血管映像処理方法は、いずれかの分枝地点に対してのみ適用されるものではなく、血管映像から抽出された対象血管を指示する対象血管領域内に存在する１つ以上の分枝地点（例えば、全ての分枝地点のそれぞれ）に対して適用されてもよい。また、血管映像処理装置は、分枝地点を含む領域２１１だけでなく、分枝地点を含んでいない領域２１２に対してもエラー部位の識別及び修正が可能である。

【0034】

図３は、一実施形態に係る対象血管の抽出結果でエラー部位が発生した例示を示す。

【0035】

一実施形態に係る血管映像処理装置は、血管映像から分枝地点及び分枝を識別することができる。例えば、血管映像処理装置は、全体血管領域を抽出し、抽出された全体血管領域から分枝地点及び分枝を識別することができる。血管映像処理装置は、分枝地点（ｂｒａｎｃｈ ｐｏｉｎｔ）を基準にして血管分枝を識別することができる。血管映像から全体血管領域を抽出することができる。一実施形態に係る血管映像処理装置は、全体血管抽出モデルに基づいて血管映像から全体血管領域を抽出することができる。全体血管抽出モデルは、上述したように、血管映像から血管領域及び残りの非血管領域が区分された結果を指示する出力データを生成するようにトレーニングされたモデルであり得る。
図３は、抽出された全体血管領域のうち、図２に図示された血管映像２００の一部領域２１０に対応する部分３００を示す。血管映像処理装置は、一部の領域２１０内で分枝地点を基準に血管分枝を識別することができる。参考として、本明細書において、上位血管分枝は、血流の進行方向又は造影剤の進行方向によって分枝地点以前の分枝を示し、下位血管分枝は、分枝地点以後の分枝を示し、母血管は、血管領域内の最上位分枝を示す。例えば、血管映像処理装置によって識別された結果として、第１分枝ないし第７分枝３０１～３０７及び分枝地点３１１、３１２が図示されている。第１分枝地点３１１を基準にして、第１分枝３００は上位血管分枝であり、第２分枝３０２及び第３分枝３０３は下位血管分枝である。また、上位血管分枝及び下位血管分枝の関係は相対的なものであって、分枝地点ごとに変わり得る。例えば、第２分枝３０２は、第４分枝３０４及び第５分枝３０５については上位血管分枝である。血管映像処理装置は、血管分枝それぞれに対応するノードを生成してインデックスすることで、血管構造データを生成することができる。血管構造データは、下記の図４を参照して後述する。。

【0036】

図３に示された例示で、血管映像処理装置は対象血管に属する血管分枝として、第１分枝３０１、第３分枝３０３、及び第５分枝３０５を抽出することができる。但し、図２に示された対象血管２２０に対応する血管経路３２０は、第１分枝３０１、第２分枝３０２、及び第５分枝３０５を通過する。したがって、例示的な対象血管の抽出結果において、第１分枝３０１から第３分枝３０３に向かう第１分枝地点３１１はエラー部位である。以下では、エラー部位の検出及び修正をについて説明する。

【0037】

図４は、血管分枝に対応するノードに基づいた血管構造データのトポロジーを用いて対象血管のエラーを識別する方法を示す。

【0038】

一実施形態によれば、血管映像処理装置は、対象血管に関する血管構造データ４００に基づいてエラー部位（ｅｒｒｏｒ ｐｏｒｔｉｏｎ）を識別することができる。血管構造データ４００は、血管の構造を指示するトポロジーデータとして、例えば、血管分枝に対応するノードがインデクシングされたトリ構造データであってもよい。例えば、血管映像処理装置は、全体血管領域に対して血管分枝地点を基準にして血管分枝を識別し、識別された血管分枝のそれぞれに対応するノードを生成し、生成されたノードのインデクシングに基づいて血管構造データ４００を生成することができる。

【0039】

血管映像処理装置は、上位血管分枝から分枝地点を基準にして複数の下位血管分枝に分岐される場合、上位血管分枝に対応するノードと下位血管分枝に対応するノードを連結することができる。血管映像処理装置は、血管映像から識別される分枝地点及び血管分枝に対して上述したノード連結を繰り返すことで、全体血管に対する血管構造データ４００を生成することができる。例えば、図４に示された血管構造データ４００において、第１ノード～第７ノードＮ１～Ｎ７は、順次にそれぞれ図３に示された第１分枝～第７分枝３０１～３０７に対応する。第１ノードＮ１は最上位ノードであり、第２ノードＮ２及び第３ノードＮ３は第１ノードＮ１の下位ノードである。残りのノードも類似の上下関係を有する。

【0040】

一実施形態に係る血管映像処理装置は、血管映像から対象血管として抽出された血管分枝に対応するノード間のノード連結データ４１０を算出することができる。例えば、血管映像処理装置は、図３に示された対象血管の抽出結果から第１ノードＮ１、第３ノードＮ３、及び第５ノードＮ５が連結されたノード連結データ４１０を算出することができる。

【0041】

血管映像処理装置は、ノード連結データ４１０を血管構造データ４００と比較することで対象血管のエラー部位を識別することができる。血管映像処理装置は、生成された血管構造データ４００に基づいて対象血管のノード間の連結エラーを検出する。血管映像処理装置は、連結エラーが検出されたノードに対応する血管分枝及び／又は分枝地点をエラー部位として判断する。血管映像処理装置は、ノード連結データ４１０で血管構造データ４００にマッチングしないノードに基づいてエラー部位を判断することができる。例示的に、図４で抽出されたノード連結データ４１０は、第１ノードＮ１、第３ノードＮ３、及び第５ノードＮ５が順に連結されたものを指示する。血管構造データ４００において、第３ノードＮ３は第５ノードＮ５と連結されない。言い換えれば、血管映像処理装置は、ノード連結データ４１０において、第３ノードＮ３と第５ノードＮ５との間の連結が血管構造データ４００にマッチングしないものと決定することができる。第３ノードＮ３と第５ノードＮ５との間の連結は、連結エラーである。血管映像処理装置は、連結エラーに対応するノードのうち少なくともいずれかのノードに対応する血管分枝をエラー部位として判断することができる。例えば、図４における血管映像処理装置は、第３ノードＮ３及び第５ノードＮ５のうち少なくとも１つに対応する血管分枝をエラー部位として判断することができる。上述した例示は、第３ノードＮ３又は第５ノードＮ５に対応する血管分枝が対象血管に属するものと間違って抽出されたため、誤認部位である。

【0042】

異なる例として、血管映像処理装置は、血管構造データ４００に基づいてノード連結データ４２０から脱落したノードに対応する血管分枝を断絶部位として検出することができる。血管映像処理装置は、第１ノードＮ１～第５ノードＮ５に直接連結されているノード連結データ４２０を算出することができる。血管映像処理装置は、血管構造データ４００に基づいてノード連結データ４２０で第２ノードＮ２が脱落（ｍｉｓｓｉｎｇ）されたことを検出できる。この場合、血管映像処理装置は、第２ノードＮ２に対応する血管分枝を断絶部位として検出することができる。

【0043】

図５及び図６は、一実施形態に係るエラー部位を修正する方法を示す。

【0044】

図５は、図４においてノード連結データ４１０が算出された場合の修正を説明する。一実施形態によれば、血管映像処理装置は、誤認部位（ｍｉｓｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｐｏｒｔｉｏｎ）が識別される場合に応答して、誤認部位に対応するノードを血管構造データにマッチングするノードに交替できる。例示的に、血管映像処理装置は、ノード連結データ４１０で第５ノードＮ５が血管構造データにマッチングしないものと判断することができる。血管映像処理装置は、血管構造データにマッチングしない第５ノードＮ５をノード連結データから排除し、血管構造データにマッチングする第６ノードＮ６をノード連結データに追加することで、修正されたノード連結データ５１０を生成することができる。したがって、血管映像処理装置は、交替された第６ノードＮ６に対応する血管分枝（例えば、図３で第６分枝３０６）を対象血管として抽出することができる。

【0045】

図６は、図４においてノード連結データ４２０が算出された場合の修正を説明する。一実施形態によれば、血管映像処理装置は、断絶部位が識別される場合に応答して、断絶部位に対応する領域を連結することができる。例えば、血管映像処理装置は、断絶部位に対応するノードの間に連結可能なノードを挿入することができる。例示的に、血管映像処理装置は、ノード連結データ４２０で第１ノードＮ１と第５ノードＮ５との間が脱落したものと判断する。血管映像処理装置は、ノードＮ１、Ｎ５の間に第２ノードＮ２を挿入することで、修正されたノード連結データ６１０を生成することができる。血管映像処理装置は、第２ノードＮ２に対応する血管分枝（例えば、図３で第２分枝３０２）を対象血管として抽出することができる。更なる例として、血管映像処理装置は、断絶部位に対応するノードに対応する領域を連結する修正も可能である。図４において、第１ノードＮ１、第２ノードＮ２及び第５ノードＮ５が順次連結されるものと示されているが、これに限定されることなく、第１ノードＮ１及び第５ノードＮ５が連結されてもよく、第１ノードＮ１に対応する領域及び第５ノードＮ５に対応する領域が断絶されてもよい。血管映像処理装置は、第１ノードＮ１に対応する領域及び第５ノードＮ５に対応する領域が断絶した場合、第１ノードＮ１に対応する領域と第５ノードＮ５に対応する領域が分離されないように自然に連結することができる。

【0046】

上述したように、ノード交替及びノードさらによる誤認部位修正を介して、血管映像処理装置は、血管構造データのトポロジーに基づいたノード連結性エラーを除去することができる。

【0047】

図７は、対象血管の曲率情報を用いて対象血管のエラーを識別して修正する方法を示す。

【0048】

一実施形態によれば、血管映像処理装置は、対象血管で分枝地点を基準にして互いに隣接する上位分枝と下位分枝との間の曲率を用いて誤認部位を識別して修正することができる。例えば、血管映像処理装置は、対象血管で分枝地点を基準にして互いに隣接する上位分枝と下位分枝との間の曲率が閾値曲率を超過する場合に応答して、下位分枝を誤認部位として判断することができる。例示的に、血管映像処理装置は、血管分枝７０１，７０２を対象血管として１次抽出した場合、血管分枝７０１，７０２間の曲率を算出する。血管映像処理装置は、算出された曲率が閾値曲率を超過する場合に応答して、上述した血管分枝７０１，７０２のうち、下位血管分枝７０２を対象血管に対する抽出結果において誤認部位として判断することができる。血管映像で実際に抽出しなければならない対象血管に属する互いに隣接している上位血管分枝と下位血管分枝との間には比較的に小さな曲率を示しているところ、閾値曲率を超過する曲率を示す互いに隣接する上位血管分枝及び下位血管分枝は、エラー部位を含む可能性がある。

【0049】

血管映像処理装置は、対象血管で閾値曲率を用いてエラー部位が識別される場合に応答して、識別されたエラー部位を修正することができる。血管映像処理装置は識別されたエラー部位に対して、対象血管のうちエラー部位が含む分枝地点を基準にして区分される上位分枝及び下位分枝のうち、下位分枝を前記分枝との曲率が閾値曲率以下である候補下位分枝に交替することができる。候補下位分枝は、任意の分枝地点を基準にして１つの血管分枝に連結された複数の下位血管分枝のうち、対象血管に抽出されていない残りの１つ以上の下位分枝を示す。

【0050】

例示的に、血管映像処理装置は、対象血管から抽出されていない候補下位血管分枝７０３と上位血管分枝７０１との間の曲率が閾値曲率以下である場合、下位血管分枝７０２の代わりに、候補下位血管分枝７０３を対象血管として抽出することができる。血管映像処理装置は、対象血管の抽出結果から下位血管分枝７０２を候補下位血管分枝７０３に交替することができる。さらに、血管映像処理装置は、識別されたエラー部位を修正することにおいて、血管の種類（例えば、左主冠状動脈（Ｌｅｆｔ Ｍａｉｎ Ｃｏｒｏｎａｒｙ Ａｒｔｅｒｙ、ＬＭ）、左前下行動脈（Ｌｅｆｔ Ａｎｔｅｒｉｏｒ Ｄｅｓｃｅｎｄｉｎｇ Ａｒｔｅｒｙ、ＬＡＤ）、左回旋動脈（Ｌｅｆｔ Ｃｉｒｃｕｍｆｌｅｘ Ａｒｔｅｒｙ、ＬＣＸ）、右冠状動脈（Ｒｉｇｈｔ Ｃｏｒｏｎａｒｙ Ａｒｔｅｒｙ、ＲＣＡ））又は、血管領域（例えば、近位領域、中間領域、及び遠位領域）に応じて互いに異なる閾値曲率を適用できる。

【0051】

血管映像処理装置は、曲率差を分析するために血管分枝の主方向成分分析（例えば、主成分分析（ＰＣＡ、ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ）を行ってもよい。血管映像処理装置は、分枝地点を基準にして区分された血管分枝それぞれに対して、主方向成分を分析することができる。血管分枝の主方向成分は、該当血管分枝の方向を代表する成分を示す。例えば、血管映像処理装置は、各血管分枝に対する主方向成分分析を用いて、各血管分枝ごとに主方向ベクトルを取得することができる。主方向ベクトルは、分枝地点から血管分枝が延長する方向を代表する方向成分を有するベクトルであって、単位ベクトルの大きさを有する。例えば、任意の血管分枝に対する主方向ベクトルは、分枝地点から該当の血管分枝に対応する地点に向かうベクトル成分の主成分の方向を示す。例示的に、血管分枝７０１，７０２，７０３の主方向ベクトルは、それぞれベクトル７２１，７２２，７２３に対応する。血管映像処理装置は、対象血管で分枝地点を基準にして上位分枝と下位分枝との間の主方向ベクトルの内積値が閾値を超過する場合に応答して、下位分枝を誤認部位として判断することができる。

【0052】

例示的、血管映像処理装置は、対象血管で上位分枝７０１及び下位分枝７０２の主方向ベクトル７２１，７２２の内積値が閾値を超過する場合、血管映像処理装置は、上位分枝７０１及び下位分枝７０２が誤認部位（ｍｉｓｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｐｏｒｔｉｏｎ）を含むものと判断する。各血管分枝の主方向ベクトルは、単位ベクトルの大きさを有するため、主方向ベクトルの内積値はベクトルが互いになしている角度に依存する。結局、上位分枝に対応する主方向ベクトル及び下位分枝に対応する主方向ベクトルは、互いに反対方向に向かっていることから２個の主方向ベクトルの内積は負数値を有するため、主方向ベクトルの内積値が閾値以上であることは、血管分枝間の曲率が大きいことを意味する。血管映像で実際に抽出しなければならない対象血管は１つの血管として、互いに隣接する上位血管分枝と下位血管分枝との間に大きい曲率の変化がないことが一般的であるため、互いに隣接する上位血管分枝と下位血管分枝との間の主方向ベクトルの内積値が閾値を超過することは、血管映像処理装置が実際に探すべき対象血管ではない他の血管を抽出したものを示す。さらに、識別されたエラー部位の修正において、血管映像処理装置は、血管の種類又は血管領域に応じて互いに異なる閾値を適用することができる。

【0053】

血管映像処理装置は、抽出された対象血管に対して分枝地点を基準にして分割された血管分枝ごとに主方向ベクトルを求めることができるが、予め指定された長さで血管を分割し、予め指定された長さで分割された断片（ｐｉｅｃｅ）ごとに主方向ベクトルを求めてもよい。血管映像処理装置は、抽出された対象血管に対して、上位断片及び下位断片の主方向を比較することで、曲率が閾値以上に大きくなった部分を捜し出す方式で対象血管でエラー部位を識別してもよい。上位断片及び下位断片は、血流の進行方向又は造影剤の進行方向により定義される。言い換えれば、血管映像処理装置は、抽出された対象血管を閾値の長さ以下に分割することができる。血管映像処理装置は、予め指定された長さに分割された互いに隣接する上位断片及び下位断片の主方向ベクトルの内積値が閾値を超過する場合に応答して、互いに隣接する上位断片及び下位断片のうちの１つを誤認部位として判断することができる。血管映像処理装置は、対象血管を閾値の長さ以下に分割し、上位断片と下位断片との間の曲率を算出できるため、分枝地点を基準にして分割された血管分枝により対象血管のエラー部位を識別する場合よりもさらに正確に対象血管のエラー部位を識別することができる。

【0054】

血管映像処理装置は、対象血管で主方向ベクトルを用いてエラー部位が識別される場合に応答して、識別されたエラー部位を修正することができる。血管映像処理装置は、識別されたエラー部位に対して、対象血管のうちエラー部位が含む分枝地点を基準にして区分される上位分枝及び下位分枝のうち、下位分枝を前記分枝との主方向ベクトルの内積値が閾値以下である候補下位分枝に交替することができる。

【0055】

例示的に、血管映像処理装置は、対象血管から抽出されていない候補下位血管分枝７０３と上位血管分枝７０１との間の主方向ベクトル７２３，７２１の内積値が閾値以下である場合、下位血管分枝７０２の代わりに候補下位血管分枝７０３を対象血管として抽出することができる。血管映像処理装置は、対象血管の抽出結果において、下位血管分枝７０２を候補下位血管分枝７０３に交替することができる。

【0056】

図８は、対象血管の直径情報を用いて対象血管のエラーを識別して修正する方法を示す。

【0057】

一実施形態に係る血管映像処理装置は、対象血管で分枝地点を基準にして互いに隣接する上位分枝と下位分枝との間の直径の差を算出し、誤認部位を識別して修正することができる。一実施形態によれば、血管映像処理装置は、対象血管で分枝地点を基準にして互いに隣接する上位分枝と下位分枝との間の直径の差が閾値以上である場合に応答して、下位分枝を誤認部位として判断することができる。血管映像処理装置は、モデルアンサンブルに基づいて分枝地点を基準にして識別された血管分枝それぞれに対して直径情報を取得することができる。例えば、図８に示された血管分枝８０１，８０２，８０３の直径は、それぞれｒ１、ｒ２、ｒ３に対応する。例示的に、血管映像処理装置は、血管分枝８０１，８０２を対象血管として１次抽出した場合、血管分枝８０１，８０２間の直径の差を算出することができる。血管映像処理装置は、算出された直径の差が閾値直径の差以上である場合に応答して、上述した血管分枝８０１，８０２のうち少なくともいずれかの分枝を対象血管に対する抽出結果から誤認部位として判断する。血管映像において、実際に抽出しなければならない対象血管に属する互いに隣接する上位血管分枝と下位血管分枝との間では、比較的に小径の変化を示しており、閾値直径の差以上の直径の差を示す互いに隣接する上位血管分枝及び下位血管分枝は、エラー部位を含んでいる可能性がある。他の一実施形態によれば、血管映像処理装置は、対象血管で互いに隣接する上位分枝と下位分枝との間の直径の差が閾値直径の差以上である場合に応答して、互いに隣接する上位分枝及び下位分枝に対して取得した直径情報をエラーとして判断することができる。言い換えれば、血管映像処理装置は、対象血管で分枝地点を基準にして互いに隣接する上位分枝と下位分枝との間の直径の差が閾値直径の差以上である場合、互いに隣接する上位分枝及び下位分枝のうちの１つをエラー部位として識別し、上位分枝及び下位分枝のうち少なくとも１つの血管分枝に対する直径情報が誤ったと判断することができる。即ち、血管映像処理装置が互いに隣接する上位分枝及び下位分枝のうち少なくとも１つの血管分枝に対して、血管分枝の実際の直径よりも広いか狭くその直径を間違って予測した場合である。例示的に、血管映像処理装置は、血管分枝８０１，８０２を対象血管から１次抽出した場合、上述した血管分枝８０１，８０２のうち少なくともいずれかの分枝に対する直径を間違って予測した場合として判断することができる。

【0058】

血管映像処理装置は、抽出された対象血管に対して隣接する上位血管分枝と下位血管分枝との間の直径の差を算出するが、血管分枝の直径情報を平滑化（ｓｍｏｏｔｈｉｎｇ）して直径の差を算出してもよい。血管映像において、実際に抽出しなければならない対象血管に属する互いに隣接する上位分枝及び下位分枝の間では、比較的に小径の変化を示すことが一般的である。しかし、抽出しなければならない対象血管が疾患のある血管分枝を含んでいる場合、疾患のある血管分枝と連結されている血管分枝間で直径の変化は大きく示される。したがって、血管映像処理装置は、複数の血管分枝をグルーピングして血管分枝の直径情報を平滑化し直径の差を算出することで、抽出された対象血管から誤認部位を識別することができる。

【0059】

血管映像処理装置は、対象血管で直径情報を用いてエラー部位が識別される場合に応答して、識別されたエラー部位を修正することができる。血管映像処理装置は、識別されたエラー部位に対して下位分枝を上位分枝との直径の差に基づいた交替及び対象血管に対する新しい直径情報を含む新しい抽出結果の生成のうち少なくとも１つを行うことで、識別されたエラー部位を修正することができる。

【0060】

一実施形態に係る血管映像処理装置は、識別された誤認部位に対して誤認部位が含む分枝地点を基準にして区分される下位分枝を上位分枝との直径の差が閾値未満である候補下位分枝に交替できる。血流の進行方向又は造影剤の進行方向に応じて血管の直径が減少することが一般的である。したがって、一実施形態に係る血管映像処理装置は、下位分枝を上位分枝よりも直径が小さく、上位分枝との直径の差が閾値直径の差未満である候補下位分枝に交替することができる。例示的に、血管映像処理装置は、対象血管から抽出されていない候補下位血管分枝８０３と上位血管分枝８０１との間の直径の差が閾値直径の差未満である場合、下位血管分枝８０２の代わりに、候補下位血管分枝８０３を対象血管として抽出することができる。血管映像処理装置は、対象血管の抽出結果で下位血管分枝８０２を候補下位血管分枝８０３に交替することができる。

【0061】

異なる例として、血管映像処理装置が対象血管で互いに隣接する上位分枝と下位分枝との間の直径の差が閾値直径の差以上である場合に応答して、互いに隣接する上位分枝及び下位分枝のうち、少なくとも１つに対して取得した直径情報をエラーとして判断することができる。血管映像処理装置は、対象血管に対して取得した直径情報がエラーとして判断された場合、対象血管に対する新しい抽出結果を生成することができる。即ち、血管映像処理装置は、互いに隣接する上位分枝及び下位分枝のうち少なくとも１つの血管分枝に対して、血管分枝の実際の直径よりも広いか狭く予測された場合として判断することができる。血管映像処理装置は、対象血管に対する新しい直径情報を取得するために、以前の抽出結果で適用されたモデルアンサンブルとは区別されるモデルアンサンブルに基づいて、対象血管に対して新しい直径情報を含む新しい抽出結果を生成することができる。さらに、血管映像処理装置は、全体血管に対する新しい直径情報を取得することも可能であるが、直径情報がエラーとして判断された血管分枝に対する新しい直径情報のみを新しく取得する修正も可能である。血管映像処理装置は、識別されたエラー部位の修正において、血管の種類（例えば、ＬＭ、ＬＡＤ、ＬＣＸ、ＲＣＡ）又は血管領域に応じて、互いに異なる閾値直径の差を適用することができる。

【0062】

図９は、対象血管の明度情報を用いて対象血管のエラーを識別して修正する方法を示す。

【0063】

一実施形態によれば、血管映像処理装置は、対象血管で分枝地点を基準にして互いに隣接する上位分枝と下位分枝との間の明度（ｂｒｉｇｈｔｎｅｓｓ）差を算出し、誤認部位を識別して修正することができる。例えば、血管映像処理装置は、対象血管で分枝地点を基準にして互いに隣接する上位分枝と下位分枝との間の明度差が閾値の明度差以上である場合に応答して、下位分枝を誤認部位として判断することができる。血管映像処理装置は、モデルアンサンブルに基づいて分枝地点を基準にし識別された血管分枝それぞれに対して明度情報を取得することができる。例えば、血管分枝の明度は、血管映像を取得するために投与した造影剤の分布濃度を示す。例示的に、血管映像処理装置は、血管分枝９０１，９０２を対象血管として１次抽出した場合、血管分枝９０１，９０２間の明度差を算出することができる。血管映像処理装置は、算出された明度差が閾値の明度差以上である場合に応答して、上述した血管分枝９０１，９０２のうち、下位血管分枝９０２を対象血管に対する抽出結果において誤認部位として判断することができる。血管映像において、実際に抽出しなければならない対象血管に属する互いに隣接する上位血管分枝と下位血管分枝との間では、比較的に小さな明度の変化を示しているところ、閾値の明度差以上の明度差を示す互いに隣接する上位血管分枝及び下位血管分枝は、エラー部位を含む可能性がある。他の一実施形態によれば、血管映像処理装置は、対象血管で互いに隣接する上位分枝と下位分枝との間の明度差が閾値の明度差以上である場合に応答して、互いに隣接する上位分枝及び下位分枝に対して取得した明度情報をエラーとして判断することができる。言い換えれば、血管映像処理装置は、対象血管で分枝地点を基準にして互いに隣接する上位分枝と下位分枝との間の明度差が閾値の明度差以上である場合、互いに隣接する上位分枝及び下位分枝のうちの１つをエラー部位として識別し、上位分枝及び下位分枝のうち少なくとも１つの血管分枝に対する明度情報が誤ったものと判断する。即ち、血管映像処理装置が互いに隣接する上位分枝及び下位分枝のうち少なくとも１つの血管分枝に対して、血管分枝の実際の明度よりも明るいか暗く、その明度を間違って予測した場合である。例示的に、血管映像処理装置は、血管分枝９０１，９０２を対象血管から１次抽出した場合、上述した血管分枝９０１，９０２のうち少なくともいずれかの分枝に対する直径を間違って予測した場合として判断する。

【0064】

血管映像処理装置は、対象血管で明度情報を用いてエラー部位が識別される場合に応答して、識別されたエラー部位を修正することができる。一実施形態によれば、血管映像処理装置は、対象血管で互いに隣接する上位血管分枝と下位血管分枝との間の明度差が閾値の明度差以上である場合に応答して、下位血管分枝を誤認部位として判断することができる。血管映像処理装置は、識別された誤認部位に対して、下位分枝を上位分枝との明度差が閾値の明度差未満である候補下位分枝に交替することができる。例示的に、血管映像処理装置は、対象血管から抽出されていない候補下位血管分枝９０３と上位血管分枝９０１との間の明度差が閾値の明度差未満である場合、下位血管分枝９０２の代わりに、候補下位血管分枝９０３を対象血管として抽出することができる。血管映像処理装置は、対象血管の抽出結果で、下位血管分枝９０２を候補下位血管分枝９０３に交替することができる。さらに、血管映像処理装置は、識別されたエラー部位の修正において、血管の種類（例えば、ＬＭ、ＬＡＤ、ＬＣＸ、ＲＣＡ）又は血管領域に応じて互いに異なる閾値直径の差を適用できる。

【0065】

他の一実施形態によれば、血管映像処理装置が対象血管で互いに隣接する上位分枝と下位分枝との間の明度差が閾値の明度差以上である場合に応答して、互いに隣接する上位分枝及び下位分枝のうち、少なくとも１つに対して取得した明度情報をエラーとして判断する。血管映像処理装置は、対象血管に対し取得した明度情報がエラーと判断された場合、対象血管に対する新しい抽出結果を生成することができる。即ち、血管映像処理装置は、互いに隣接する上位分枝及び下位分枝のうち少なくとも１つの血管分枝に対して、血管分枝の実際の明度よりも明るいか暗く予測した場合であると判断する。血管映像処理装置は、対象血管に対する新しい明度情報を取得するために、以前の抽出結果で適用されたモデルアンサンブルとは区別されるモデルアンサンブルに基づいて、対象血管に対して新しい直径情報を含む新しい抽出結果を生成することができる。さらに、血管映像処理装置は、全体血管に対する新しい明度情報を取得することも可能であるが、明度情報がエラーとして判断された血管分枝に対する新しい明度情報のみを新しく取得する修正も可能である。

【0066】

一実施形態に係る血管映像処理装置は、分枝地点を含む領域だけでなく、分枝地点を含んでいない領域に対するエラー部位識別及び修正も可能である。例えば、血管映像処理装置は、１つの血管分枝内で発生するエラー部位に対しても修正が可能である。１つの血管分枝に対応する領域が空間的に連結された領域ではない、分離されたり離隔される断絶部位を示す。血管映像処理装置は、１つの血管分枝に対応する領域が断絶した場合、１つの血管分枝に対応する領域が互いに分離しないように自然に連結する修正が可能である。更なる例として、血管映像処理装置は、１つの血管分枝内で血管の直径変化が閾値直径以上である場合、血管分枝の直径情報をエラーとして判断して血管分枝に対する新しい直径情報を新しく取得する修正も可能である。同様に、血管映像処理装置は、１つの血管分枝内で血管の明度変化が閾値の明度以上である場合、血管分枝の明度情報をエラーとして判断し、血管分枝に対する新しい明度情報を新しく取得する修正も可能である。

【0067】

一実施形態に係る血管映像処理装置は、エラー部位が識別される場合に応答して、以前の抽出結果で適用されたモデルアンサンブルとは区別されるモデルアンサンブルに基づいて、対象血管に対して新しい抽出結果を生成することができる。エラー部位が識別される場合、血管映像処理装置は、直接エラー部位を修正せずに、格納された複数の機械学習モデルのうち、以前の抽出結果で適用されたモデルアンサンブルとは区別される１つのモデルアンサンブルに基づいて、対象血管に対して新しい抽出結果を生成することができる。

【0068】

また、血管映像処理装置は、格納された複数の機械学習モデルのうち、２以上のモデルアンサンブルに基づいて対象血管に対して抽出結果をそれぞれ生成することができる。血管映像処理装置は、モデルアンサンブルにより生成された対象血管の抽出結果ごとに対象血管に関する血管構造データ、対象血管の曲率情報、対象血管の直径情報、及び対象血管の明度情報のうち少なくとも１つに基づいてエラー部位を識別することができる。血管映像処理装置は、生成された複数の対象血管に対する抽出結果のうち、実際に抽出しなければならない対象血管と最も近い１つの抽出結果を対象血管として自動選択する。例えば、血管映像処理装置は、識別されたエラー部位が最も少ない対象血管に対する抽出結果を実際に抽出しなければならない対象血管と最も近い抽出結果として選択することができるが、これに限定されることはない。さらに、血管映像処理装置は、複数の対象血管に対する抽出結果に関する情報をユーザに提供することができる。血管映像処理装置は、ユーザから複数の対象血管に対する抽出結果のうちの１つが入力され、入力された抽出結果を対象血管として選択することができる。

【0069】

一実施形態に係る血管映像処理装置は、対象血管の抽出結果でエラー部位が識別される場合に応答して、候補血管分枝それぞれに対する連結性スコア（ｃｏｎｎｅｃｔｉｖｉｔｙ ｓｃｏｒｅ）に基づいて候補血管分枝のうち１つの血管分枝を対象血管に抽出することができる。血管映像処理装置は、対象血管の抽出結果からエラー部位が識別される場合、エラー部位を修正できる候補血管分枝のうち１つの血管分枝を選択する。血管映像処理装置は、候補血管分枝それぞれに対して連結性スコアを算出する。連結性スコアは、対象血管の抽出結果で任意の候補血管分枝と連結されている血管分枝と該当の候補血管分枝との間の連結性を指示するスコアとして、例えば、候補血管分枝及び候補血管分枝と連結された血管分枝間の血管構造データに対するマッチング程度、曲率差、直径の差、及び明度差などに基づいて算出され得る。連結性スコアは、候補血管分枝が対象血管に含まれている場合、修正された対象血管が実際に抽出しなければならない対象血管に類似の程度に対応する。

【0070】

例えば、候補血管分枝が対象血管から抽出された場合、候補血管分枝と前記候補血管分枝と連結されている血管分枝の間で対象血管に関する血管構造データ、前記対象血管の曲率情報、前記対象血管の直径情報、及び前記対象血管の明度情報のうち少なくとも１つに基づいて連結性スコアを算出することができる。しかし、これに限定されることなく、様々な方法で候補血管分枝それぞれに対する連結性スコアを算出してもよい。血管映像処理装置は、連結性スコアに基づいて候補血管分枝のうち１つの血管分枝を選択することができる。例えば、候補血管分枝のうち連結性スコアが最も高い血管分枝として、エラーが最も小さいと判断される血管分枝を選択する。血管映像処理装置は、選択された血管分枝を対象血管に抽出することができる。

【0071】

例示的に、図５において、血管映像処理装置が対象血管の抽出結果から第１ノードＮ１、第３ノードＮ３、及び第５ノードＮ５が連結されているノード連結データ４１０を算出した場合、血管映像処理装置は、ノード連結データ４１０で第３ノードＮ３及び第５ノードＮ５間の連結が血管構造データ４００にマッチングしないものと決定することができる。血管映像処理装置は、連結エラーに対応するノードＮ３、Ｎ５のうち、少なくともいずれかのノードに対応する血管分枝をエラー部位として判断する。血管映像処理装置は、第３ノードＮ３に対応する血管分枝をエラーとして判断した場合、血管構造データにマッチングしない第３ノードＮ３をノード連結データから排除し、血管構造データにマッチングする第２ノードＮ２をノード連結データに追加する。また、血管映像処理装置は、第５ノードＮ５に対応する血管分枝をエラーとして判断した場合、血管構造データにマッチングしない第５ノードＮ３をノード連結データから排除し、血管構造データにマッチングする第６ノードＮ６又は第７ノードＮ７をノード連結データに追加する。結局、血管映像処理装置は、対象血管のノードになり得る第２ノード、第６ノード、第７ノードに対応する候補血管分枝それぞれに対する連結性スコアを算出することができる。血管映像処理装置は、候補血管分枝それぞれに対する連結性スコアに基づいて、エラーの最も小さいと判断される血管分枝を選択して対象血管に抽出することができる。

【0072】

更なる例示として、図７において、血管映像処理装置が血管分枝７０１，７０２を対象血管にして１次抽出した場合、血管分枝７０１，７０２間の曲率が閾値曲率を超過してエラー部位として判断してもよい。血管映像処理装置は、互いに隣接する上位分枝及び下位分枝のうち、下位分枝を上位分枝との曲率が閾値曲率以下である候補下位分枝に交替してもよい。図７とは異なって、候補下位血管分枝が複数である場合、血管映像処理装置は、候補血管分枝それぞれに対して連結性スコアを算出してもよい。血管映像処理装置は、候補血管分枝それぞれに対する連結性スコアに基づいて、エラーが最も小さいと判断される血管分枝を選択し対象血管に抽出することができる。図８及び図９においても、血管映像処理装置は上述と同じ方法で、候補血管分枝のうちの１つを対象血管として選択して抽出することができる。

【0073】

図１０～図１１は、一実施形態に係るエラー部位を修正する方法を示す。

【0074】

図１０は、識別されたエラー部位が誤認部位である場合、ユーザによる修正について説明する。一実施形態によれば、血管映像処理装置は、対象血管でエラー部位が識別される場合、ユーザの入力に基づいて識別されたエラー部位を修正する。血管映像処理装置は、対象血管で識別されたエラー部位が誤認部位である場合に応答して、１つ以上の候補分枝をユーザに提供する。血管映像処理装置は、ユーザから１つ以上の候補分枝のうち１つの血管分枝に対する選択入力を受信する場合に応答して、エラー部位に対応する分枝を選択された分枝に交替することができる。例示的に、血管映像処理装置が血管分枝１００１，１００２を対象血管として１次抽出した場合、対象血管に関する血管構造データ、対象血管の曲率情報、対象血管の直径情報、及び対象血管の明度情報のうち少なくとも１つに基づいて血管分枝１００１，１００２の少なくともいずれか１つの分枝を対象血管に対する抽出結果からエラー部位として判断することができる。血管映像処理装置は、識別されたエラー部位が誤認部位である場合、対象血管から抽出されていない１つ以上の候補血管分枝１０１０，１０２０，１０３０をユーザに提供する。血管映像処理装置の入出力インターフェースは、ディスプレイを介して候補血管分枝１０１０，１０２０，１０３０に対する選択をユーザに提供可能なグラフィックオブジェクト１０７１，１０７２，１０７３を出力する。グラフィックオブジェクトは、候補血管分枝に対応する領域を取り囲む形態であってもよい。図１０において、グラフィックオブジェクト１０７１，１０７２，１０７３は長方状に図示されているが、形態がこれに限定されることはない。ユーザは、単純にディスプレイに出力される候補血管分枝に対応するグラフィックオブジェクトのうちの１つに対応する地点に対して、クリックしたりタッチして候補血管分枝を選択してもよい。即ち、血管映像処理装置は、グラフィックオブジェクトに対応する地点に対してユーザ入力を検出する場合、グラフィックオブジェクトに対応する候補血管分枝が選択されたものと判断し、エラー部位に対応する血管分枝を選択された候補血管分枝に交替することができる。例示的に、血管映像処理装置がユーザからグラフィックオブジェクト１０７１に対応する地点に対するユーザの入力を検出する場合、グラフィックオブジェクト１０７１に対応する候補血管分枝１００２を対象血管として抽出することができる。即ち、血管映像処理装置は、対象血管の抽出結果で血管分枝１００２を血管分枝１０１０に交替することができる。

【0075】

図１１は、識別された誤り部位が断絶部位である場合、ユーザによる修正について説明する。一実施形態によると、血管映像処理装置は、対象血管でエラー部位が識別される場合、ユーザの入力に基づいて識別されたエラー部位を修正することができる。血管映像処理装置は、対象血管で識別されたエラー部位が断絶部位である場合に応答し、断絶部位を含む血管領域をユーザに提供する。血管映像処理装置は、修正結果に対して複数の地点からユーザ入力が検出される場合に応答して、ユーザ入力の開始地点に対応する血管分枝に対応する領域及びユーザ入力の終了地点に対応する血管分枝に対応する領域を連結することができる。

【0076】

一実施形態に係る血管映像処理装置は、ユーザから受信されるドラッグ入力に応答して、ドラッグ入力によって選択された断絶部位に対応する分枝を連結することができる。例示的に、血管映像処理装置が血管分枝１１０１，１１０２を対象血管に１次抽出した場合、血管映像処理装置は、抽出された対象血管の血管分枝１１０１，１１０２に対応する領域が互いに分離する断絶部位として判断することができる。血管映像処理装置の入出力インターフェースは、ディスプレイを介して血管分枝１１０１，１１０２に対応する領域間の連結に関するグラフィックオブジェクト１１７０を出力する。グラフィックオブジェクト１１７０は、断絶部位に対応する血管分枝１１０１，１１０２の少なくとも一部に対応する領域を取り囲む形態として、血管分枝１１０１，１１０２がユーザによって連結可能であることを示す。血管映像処理装置は、ユーザから受信されるドラッグ入力に応答して、ドラッグ入力によって選択された血管分枝１１０１，１１０２に対応する領域を連結し、断絶した血管分枝１１０１，１１０２間の血管分枝１１０３を対象血管として抽出することができる。ドラッグ入力によって選択された分枝は、ドラッグ開始地点に対応する血管分枝及びドラッグ終了地点に対応する血管分枝を示す。即ち、血管映像処理装置は、対象血管の抽出結果で血管分枝１１０３を含ませることができる。

【0077】

他の一実施形態に係る血管映像処理装置は、ユーザから受信される２以上の地点に対応するポインティング（ｐｏｉｎｔｉｎｇ）入力に応答して、ポインティング入力の開始地点と終了地点に対応する血管分枝の間の領域を連結することができる。ポインティング入力は、ディスプレイ上の一地点を指示する入力として、例えば、マウス操作によるクリック入力及び／又はタッチディスプレイに対するタッチ操作による入力（例えば、タッチ入力）を含んでもよい。但し、ポインティング入力がこれに限定されることなく、設計に応じて、様々なポインティングデバイス（例えば、トラックボールマウス、タッチパッド、及びトラックパッドなど）による位置指示入力を含んでもよい。即ち、血管映像処理装置は、ユーザから開始地点及び終了地点に対するクリック又はタッチ入力を受信することができる。血管映像処理装置は、ユーザから受信されるポインティング入力に応答して、ポインティング入力の開始地点に対応する血管分枝に対応する領域とポインティング入力の終了地点に対応する血管分枝に対応する領域とを連結することができる。

【0078】

図１２は、一実施形態に係る血管映像処理装置を概略的に示すブロック図である。

【0079】

一実施形態に係る血管映像を処理するシステム１２００は、血管映像処理装置１２１０及び血管映像撮影装置１２２０を含む。血管映像処理装置１２１０は、映像受信部１２１１、プロセッサ１２１２、及び入出力インターフェース１２１３を含む。映像受信部１２１１は、血管映像撮影装置１２２０によって撮影された血管映像を受信する。プロセッサ１２１２は、機械学習モデルを用いて映像受信部から受信した血管映像から対象血管を抽出し、エラー部位を識別し、識別されたエラー部位を修正することができる。プロセッサ１２１２の動作がこれに限定されることなく、プロセッサ１２１２は、図１～図１１を参照して上述した動作を行うことができる。

【0080】

入出力インターフェース１２１３は、ユーザから入力を受信してプロセッサに伝達する。例えば、入出力インターフェース１２１３は、マウス操作、及びタッチ操作などによる入力を受信してもよい。また、入出力インターフェース１２１３は、視覚的なフィードバックをユーザに提供することができる。例えば、入出力インターフェース１２１３は、対象血管の抽出結果をステップごとにディスプレイを通じて出力することができる。

【0081】

以上で説明された実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

【0082】

ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。

【0083】

本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。上記で説明したハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

【0084】

上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順に実行され、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法とは異なる形態に結合又は組み合わせられてもよく、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】