(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-02
(45)【発行日】2024-09-10
(54)【発明の名称】管状フィーチャのセグメント化
(51)【国際特許分類】
G06T 7/00 20170101AFI20240903BHJP
G06V 10/82 20220101ALI20240903BHJP
G06T 7/11 20170101ALI20240903BHJP
A61B 6/03 20060101ALI20240903BHJP
【ＦＩ】
G06T7/00 612
G06T7/00 350C
G06V10/82
G06T7/11
A61B6/03 560T
【請求項の数】
13
(21)【出願番号】P 2022511227
(86)(22)【出願日】2020-08-26
(65)【公表番号】
(43)【公表日】2022-11-04
(86)【国際出願番号】 EP2020073819
(87)【国際公開番号】W WO2021037892
(87)【国際公開日】2021-03-04
【審査請求日】2023-08-16
(31)【優先権主張番号】19193547.7
(32)【優先日】2019-08-26
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】100122769
【弁理士】
【氏名又は名称】笛田 秀仙
(74)【代理人】
【識別番号】100163809
【弁理士】
【氏名又は名称】五十嵐 貴裕
(72)【発明者】
【氏名】ウェース ロルフ ユルゲン
(72)【発明者】
【氏名】ティオ ドミニク シュー リ
(72)【発明者】
【氏名】シタル シェリル キンバリー
(72)【発明者】
【氏名】ブロッシュ トム
【審査官】伊知地 和之
(56)【参考文献】
【文献】国際公開第２０１２／１４４１６７（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１３／０１０８１３３（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１９／００１４９８２（ＵＳ，Ａ１）
【文献】Wu Aaron et al.，“Deep vessel tracking: A generalized probabilistic approach via deep learning”，2016 IEEE 13th International Symposium on Biomedical Imaging (ISBI)[online]，IEEE，2016年，pp.1363-1367，[検索日 2024.5.21], インターネット:<URL:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7493520&tag=1>，DOI: 10.1109/ISBI.2016.7493520
【文献】井上努 外３名，機械学習と最小全域木を用いた高精度な気管支領域の抽出，電子情報通信学会技術研究報告，社団法人電子情報通信学会 ，2012年01月12日，第111巻 第389号，pp.215～220
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ６／００ － ６／１４
Ｇ０６Ｎ １０／００ － ９９／００
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
ＣＳＤＢ（日本国特許庁）
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
画像内の管状フィーチャをセグメント化する方法であって、訓練済みモデルを使用して、前記画像の重複部分のシーケンスをセグメント化するステップであって、前記重複部分は、前記管状フィーチャの長手方向に沿って位置決定される、ステップと、
前記画像の重複部分のシーケンスのセグメンテーションを組み合わせて前記管状フィーチャのセグメンテーションを決定するステップと、を有し、前記画像の前記重複部分のシーケンスをセグメント化する前記ステップが、
前記画像の第１の部分をセグメント化するステップであって、前記画像の前記第１の部分は前記管状フィーチャの第１の部分を含む、ステップと、
前記画像の前記第１の部分のセグメンテーションに基づいて、前記管状フィーチャに含まれる第１の点を決定するステップと、
前記第１の点において管状フィーチャの長手方向に平行な第１のベクトルを決定するステップと、前記第１の点及び前記第１のベクトルに基づいて前記画像の重複部分のシーケンスにおける第２の部分を決定するステップと、を有し、前記画像の前記第２の部分は、前記管状フィーチャが前記第１のベクトルに基づいて前記画像の前記第２の部分内で回転されるように決定される、方法。
【請求項2】
前記画像の前記第２の部分の中心が、式、ｙｉ＋１ ＝ ｘｉ ＋ ａｄｉ
によって決定され、上式で、ｙｉ＋１は、前記画像の前記第２の部分の前記中心の座標であり、ｘｉは、前記第１の点の座標であり、ａは、前記第１の点と前記第２の部分の中心との間のシフトの大きさを表し、ｄｉは、第１のベクトルを表す、請求項１に記載の方法。
【請求項3】
前記管状フィーチャは、前記第１のベクトルが前記画像の前記第２の部分内の予め決められた向きに存在するように回転される、請求項１に記載の方法。
【請求項4】
前記訓練済みモデルは、ｉ）各例示の画像が前記予め決められた向きに基づいて回転される前記管状フィーチャの部分を含む例示の画像と、ｉｉ）各例示の画像の対応するグランドトゥルースセグメンテーションと、を有する訓練データに対して訓練される、請求項３に記載の方法。
【請求項5】
前記画像の前記第２の部分のセグメンテーションに基づいて前記管状フィーチャ内に含まれる第２の点を決定するステップと、前記第２の点において前記管状フィーチャの長手方向に平行な第２のベクトルを決定するステップと、
前記第２の点及び前記第２のベクトルに基づいて、前記画像の重複部分のシーケンスにおける第３の部分を決定するステップと、
を更に有する、請求項１乃至４のいずれか１項に記載の方法。
【請求項6】
前記画像の重複部分のシーケンスにおいて前記第１部分をセグメント化する前記ステップは、前記画像の前記第１の部分内の各画素について、当該画素が前記管状フィーチャ内に含まれる確率を示す確率値を決定するステップを更に有し、前記画像の前記第１の部分のセグメンテーションに基づいて前記管状フィーチャに含まれる前記第１の点を決定する前記ステップが、前記画像の前記第１の部分の前記セグメンテーション内の、所定の閾値を超える確率値を有する画素に基づいて、第１の点を決定することを含む、
請求項１乃至５のいずれか１項に記載の方法。
【請求項7】
前記画像の前記第１の部分の前記セグメンテーション内の第３の点を決定するステップであって、前記第３の点が、前記所定の閾値を上回る確率値を有し、かつ前記第１の点から所定の距離以上離れて存在する、ステップと、前記第１の点及び前記第３の点のロケーションに基づいて、前記管状フィーチャにおける分岐を決定するステップと、
を更に有する、請求項６に記載の方法。
【請求項8】
前記重複部分のシーケンスにおける部分のセグメンテーションが、すべての確率値が所定の閾値を下回る当該確率値を含む場合、前記画像の他の部分をセグメント化することを停止するステップを更に有する、請求項６又は７に記載の方法。
【請求項9】
前記画像の重複部分のシーケンスのセグメンテーションを組み合わせて、前記管状フィーチャのセグメンテーションを決定するステップと、重複している前記セグメンテーションの領域において、前記画像の前記重複部分のシーケンスのセグメンテーションの中の画素の値を平均するステップと、
を更に有する、請求項１乃至８のいずれか１項に記載の方法。
【請求項10】
前記画像が医用画像を含み、前記管状フィーチャが血管又は気管支構造のいずれかを含む、請求項１乃至９のいずれか１項に記載の方法。
【請求項11】
前記訓練済みモデルは、訓練済みニューラルネットワークモデル又は訓練済みランダムフォレストモデルを有する、請求項１乃至１０のいずれか１項に記載の方法。
【請求項12】
画像内の管状フィーチャをセグメント化するシステムであって、命令セットを表す命令データを有するメモリと、
前記メモリと通信し、命令セットを実行するように構成されたプロセッサと、
を有し、前記命令セットは、前記命令によって実行される場合、前記プロセッサに、
訓練済みモデルを使用して、前記画像の重複部分のシーケンスをセグメント化するステップであって、前記重複部分は、前記管状フィーチャの長手方向に沿って位置決定される、ステップと、
前記画像の前記重複部分のシーケンスのセグメンテーションを組み合わせて、前記管状フィーチャのセグメンテーションを決定するステップと、
を有し、前記訓練済みモデルを使用して前記画像の前記重複部分のシーケンスをセグメント化する前記ステップは、
前記画像の第１の部分をセグメント化するステップであって、前記画像の前記第１の部分は前記管状フィーチャの第１の部分を含む、ステップと、
前記画像の前記第１の部分のセグメンテーションに基づいて、前記管状フィーチャ内に含まれる第１の点を決定するステップと、
前記第１の点において前記管状フィーチャの長手方向に平行に存在する第１のベクトルを決定するステップと、
前記第１の点及び前記第１のベクトルに基づいて、前記画像の前記重複部分のシーケンスにおける第２の部分を決定するステップと、
を有し、前記画像の前記第２の部分は、前記管状フィーチャが前記第１のベクトルに基づいて前記画像の前記第２の部分内で回転されるように決定される、システム。
【請求項13】
具体化されたコンピュータ可読コードを有するコンピュータ可読媒体であって、前記コンピュータ可読コードは、適切なコンピュータ又はプロセッサによって実行される場合、前記コンピュータ又はプロセッサに請求項１乃至１１のいずれか１項に記載の方法を実行させる、コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像セグメンテーションに関する。非排他的な実施形態は、医用画像における血管構造のような管状構造を含む画像をセグメント化することに関する。
【背景技術】
【0002】
画像セグメンテーションは、画像を複数のセグメントに分割又は区分けすることを含み、各セグメントは画像コンテントの異なる部分に対応する。医用画像では、例えば、解剖学的フィーチャ（feature、特徴）の画像が、それぞれ異なる部分にセグメント化されることができ、それによって、各セグメント又は部分が、医用画像における異なる解剖学的フィーチャを表す。セグメンテーションは、更なる分析及び／又はモデリングのために、画像内の異なるフィーチャが抽出／分離されることを可能にする。セグメンテーションは、自動化されたやり方又は（部分的に）対話的なやり方で実行されることができ、医用画像処理において広範囲の応用を有する。
【発明の概要】
【発明が解決しようとする課題】
【0003】
Ｕネット（Ｕ－Ｎｅｔ）又はＦネット（Ｆ－Ｎｅｔ）のようなニューラルネットワーク（例えばRonneberger O., et al. (2015) "U-Net: Convolutional Networks for Biomedical Image Segmentation"; MICCAI 2015 Lecture Notes in Computer Science, vol 9351, 234-241及びBrosch T., Saalbach A. (2018) "Foveal fully convolutional nets for multi-organ segmentation" SPIE Volume 10574, 105740U)の文献に記載される）は、解剖学的構造のセグメンテーションに有用であることが分かっており、他のセグメンテーション方法と比較してしばしば最良の実行方法の１つである。かかるニューラルネットワークは更に、血管構造をセグメント化するためにも使用できる。
【0004】
血管セグメンテーション技法の最近の概要が、S. Moccia et al. 2018: "Blood vessel segmentation algorithms - Review of methods, datasets and evaluation metrics", Computer Methods and Programs in Biomedicine 2018, 158, 71-91に示されている。
【0005】
本開示の目的は、画像内の血管などの管状構造をセグメント化する改良された方法を提供することである。
【0006】
上で簡単に概説したように、ニューラルネットワークは、医用画像のセグメンテーションを含む画像セグメンテーションにおいて有望であることを示した。しかしながら、特に３Ｄにおける、標準的なネットワークアーキテクチャを用いた管状構造（例えば、血管構造）のセグメンテーションは、血管構造（非常に小さな領域）対背景（はるかに大きい領域）の相対的な大きさのため、困難である。その結果、良好な結果を達成するためには、非常に大きな訓練データセットが必要となる。
【0007】
これに対する１つの解決策は、ニューラルネットワークを訓練するために使用できるシミュレートされたデータを生成するために、敵対的生成ネットワーク（Generative Adversarial Networks）のようなデータ補強技術を使用することである。ただし、これらは２Ｄから３Ｄに一般化することが困難でありうる。
【0008】
従って、本明細書の実施形態の目的は、例えば血管構造のような管状構造をセグメント化する際に使用される改善されたセグメンテーション技法を提供することである。
【課題を解決するための手段】
【0009】
従って、第１の態様によれば、画像内の管状フィーチャをセグメント化する方法がある。本方法は、訓練済みモデルを用いて画像の重複部分（overlapping portions）のシーケンスをセグメント化するステップであって、重複部分が管状フィーチャの長さに沿って位置特定されるステップと、画像の重複部分のシーケンスのセグメンテーションを組み合わせて管状フィーチャのセグメンテーションを決定するステップと、を有する。
【0010】
このようにセグメンテーションをより小さな部分のシーケンスに分割することにより、訓練済みモデルに関するセグメンテーションタスクが簡素化される。各部分におけるコンテキスト情報又は背景（background）情報の量は、画像全体におけるものよりも少ない（潜在的に、著しく少ない）。言い換えると、管状フィーチャは、画像全体に対してよりも、各部分における背景に対してより顕著でありえ、従って、これによりセグメント化するのがより容易であり得る。モデルは、より小さなデータセットに基づいて、より迅速かつ容易に訓練されることができる。結果的に得られる訓練済みモデルは、（タスクの前述の簡素化のために）より信頼性が高くなることができる。更に、この方法は、いくつかの従来技術の方法よりも容易に３次元に一般化されることができる。
【0011】
いくつかの実施態様において、画像の重複部分のシーケンスをセグメント化するステップは、画像の第１の部分をセグメント化するステップであって、画像の第１の部分は、管状フィーチャの第１の部分を含む、ステップと、画像の第１の部分のセグメンテーションに基づいて、管状フィーチャに含まれる第１の点を決定するステップと、第１の点において管状フィーチャの長さに平行に横たわる第１のベクトルを決定するステップと、第１の点及び第１のベクトルに基づいて、画像の重複部分のシーケンスにおける第２の部分を決定することとを含み得る。
【0012】
いくつかの実施態様において、画像の第２の部分は、管状フィーチャが第１のベクトルに基づいて画像の第２の部分内で回転されるように決定されることができる。
【0013】
いくつかの実施態様において、管状フィーチャは、第１のベクトルが画像の第２の部分において予め決められた向きに存在するように回転されることができる。
【0014】
このようにして、血管が画像部分においてほぼ同じ方向を有するので、訓練済みモデルに関するタスクは、更に簡素化されることができる。更に、このようなアライメントは、訓練データを予め決められた向きに回転させることにより、３Ｄにおけるデータの補強を可能にする。２Ｄでは、補強は、予め決められた向きを使用して画像部分をミラーリングすることによって達成されることができる。
【0015】
第２の態様によれば、画像内の管状フィーチャをセグメント化するシステムがある。システムは、命令セットを表す命令データを有するメモリと、メモリと通信し、命令セットを実行するように構成されるプロセッサとを有する。命令セットは、プロセッサによって実行される場合、プロセッサに、訓練済みモデルを使用して、画像の重複部分のシーケンスをセグメント化するステップであって、重複部分が管状フィーチャの長さに沿って位置付けされる、ステップと、画像の重複部分のシーケンスのセグメンテーションを組み合わせて、管状フィーチャのセグメンテーションを決定するステップと、を実行させる。
【0016】
第３の態様によれば、コンピュータ可読媒体を含むコンピュータプログラム製品があり、前記コンピュータ可読媒体は、その中に具体化されたコンピュータ可読コードを有し、コンピュータ可読コードは、適切なコンピュータ又はプロセッサによって実行される場合、コンピュータ又はプロセッサが第１の態様の方法を実行するように構成される。
【0017】
より良い理解のために、また、本明細書中の実施形態がどのように実施され得るかをより明確に示すために、ここでは、単なる例として、以下の添付図面を参照する。
【図面の簡単な説明】
【0018】
【図1】本明細書のいくつかの実施形態による方法を示す図。
【図2】いくつかの実施形態に従って、重複部分のシーケンスの位置がどのように決定され得るかを示す概略図。
【図3】いくつかの実施形態によるニューラルネットワークの例示的なアーキテクチャを示す図。
【図4】いくつかの実施形態によるニューラルネットワークを訓練する方法を示すブロック図。
【図5】いくつかの実施形態に従う、画像内の管状フィーチャをセグメント化する方法を示すブロック図。
【図6a】本明細書に記載される方法の実施形態を使用してセグメント化された血管構造の出力されたセグメンテーションの例を示す図。
【図7】本明細書のいくつかの実施形態によるシステムを示す図。
【発明を実施するための形態】
【0019】
前述したように、医用画像セグメンテーションのような画像セグメンテーションにおいてニューラルネットワークなどの訓練済みモデルを用いることには、様々な利点がある。しかしながら、画像の背景領域又はボリュームに対する管状構造の低い面積又はボリュームのため、血管などの管状構造をセグメント化する場合には一般に非常に大きな訓練データセットが必要とされる。これは、特に３Ｄ画像では、このタスクのためにモデルを訓練することを困難にする。
【0020】
本明細書の実施形態は、医用画像内の血管などの管状構造をより良好にセグメント化するために、以前のセグメンテーション方法を改善することを目的とする。
【0021】
図１は、本明細書のいくつかの実施形態によるコンピュータ実現される方法１００を示す。簡単に説明すると、第１のブロック１０２において、方法１００は、訓練済みモデルを使用して、画像の重複部分のシーケンスをセグメント化するステップを含み、複数の重複部分が、管状フィーチャの長さに沿って位置決定される。第２のブロック１０４において、方法１００は、画像の重複部分のシーケンスのセグメンテーションを組み合わせて、管状フィーチャのセグメンテーションを決定することを含む。
【0022】
このようにして、長い及び／又は細い管状フィーチャのセグメンテーションは、画像のより小さい部分のより小さいセグメンテーションのシーケンスに分解されることができる。これは、各画像部分における管状フィーチャと背景の比が増加するほど訓練済みモデルのタスクを簡素化し、従って、各画像部分におけるコンテキスト情報の量を減少させる。以下により詳細に説明されるように、画像全体と比較して、画像の部分内の管状フィーチャをセグメント化するようモデルを訓練するために必要とされる訓練データセットは、より小さくて済む。従って、結果的に得られるモデルは、より信頼性が高く、訓練するのがより容易でありうる。
【0023】
より詳細には、一般に、画像は、任意の撮像モダリティを使用して取得される任意のタイプの画像を含むことができる。例えば、幾つかの実施例では、画像は医用画像を含むことができる。医用画像の例としては、ＣアームＣＴ画像、スペクトルＣＴ画像又は位相コントラストＣＴ画像などのＣＴ画像、Ｘ線画像（例えば、Ｘ線スキャンから）、磁気共鳴画像（例えば、ＭＲスキャンから）、超音波画像（例えば、超音波スキャンから）、透視画像、核医学画像、又は任意の他の医用画像が挙げられるが、これらに限定されない。
【0024】
画像が医用画像を含むいくつかの実施形態において、管状フィーチャは、例えば、血管又は動脈のような血管構造の一部を含むことができる。他の例では、管状フィーチャは、肺内の気管支構造を含むことができる。
【0025】
本明細書に記載されている方法は医用画像に関して説明されているが、本明細書に記載されている教示は、任意の他のタイプの画像における任意の他の管状構造のセグメンテーションにも同様に適用することができることは理解されるであろう。方法１００が適用され得るセグメンテーションタスクの種々の例は、以下に限定されるものではないが、衛星画像における河川又は支流システムのセグメンテーション、衛星画像における道路ネットワークのセグメンテーション、及び木の画像における枝のセグメンテーションを含むことができる。
【0026】
従って、一般に、本明細書の教示は、任意の管状フィーチャのセグメンテーションに適用されることができることが理解される。本明細書中のいくつかの実施態様において、管状は、「管体のような」の意味で使用されることができ、例えば、細長い又は実質的に筒形のフィーチャである。管状フィーチャは、例えば、前述の血管及び／又は気管支構造のような中空管を含むことができる。しかしながら、管状のフィーチャは必ずしも中空ではない（例えば、衛星画像における支流システム）。一般に、管状フィーチャは、湾曲、曲げ、又は他の方法で変形されることができる。更に、管状フィーチャは、その長さに沿って幅が狭くなり得、例えば、血管系内の血管は、主静脈及び動脈から離れるほど狭くなる。本明細書の実施形態は、血管及び／又は気管支構造で観察されるような枝別れした管状フィーチャ（例えば、管状フィーチャが２又はそれより多くのサブ分岐に分割される場合）にも適用される。更に、２次元画像では、管状フィーチャは、線、例えば、曲線を含みうることが理解されよう。
【0027】
本明細書に記載される実施態様のいずれにおいても、画像は、２次元画像、３次元画像、又は任意の他の次元画像であり得る。画像は、複数の（又はセットの）画素を含むことができる。画像が２次元画像である実施形態において、画素はピクセルである。画像が３次元画像である実施形態において、画素はボクセルである。
【0028】
方法１００に戻ると、ブロック１０２では、訓練済みモデルを使用して、画像の重複部分を次々に、順番にセグメント化することができる。訓練済みモデルは、訓練済みＦネット又は訓練済みＵネットのような訓練済みニューラルネットワークを含み得る。当業者はニューラルネットワークに精通しているであろうが、簡単に言えば、ニューラルネットワークは教師つき機械学習モデルの一種であり、与えられた入力データに対して所望の出力を予測するように訓練されることができる。ニューラルネットワークは、例示的な入力データと、所望の対応する「正しい」又はグランドトゥルースの結果とを含む訓練データを提供することによって訓練される。ニューラルネットワークは、ニューロンの複数の層を含み、各ニューロンは、入力データに適用される数学的演算を表す。ニューラルネットワークの各層の出力は、次の層に供給され、出力が生成される。訓練データの各部分について、ニューロンに関連する重み付けは、対応するグランドトゥルースを反映する訓練例のための予測を生成する最適重み付けが見出されるまで調整される。
【0029】
訓練済みモデルがニューラルネットワークを含む実施形態において、ニューラルネットワークは、ピクセル／ボクセルを血管及び背景に分類するのに適したＵネット又はＦネットのような畳み込みニューラルネットワークを含みうる。ネットワークは、血管方向及び／又は血管直径を推定するために、追加の出力チャネルで補完されることができる。ネットワーク構造は、サブ画像を構築するために使用される方向情報を反映することができ、例えば、一方向で畳み込み可能であり、直交方向で完全に接続されうる。更に、ネットワーク構造をリカレントネットワーク構造と組み合わせて、血管コースに沿った後続のセグメンテーションを説明することができる。
【0030】
訓練済みモデルがニューラルネットワークを含む実施形態において、モデルは、画像の数ｊ＝１，...，Ｍ及び対応するグランドトゥルースのセグメント化された管状フィーチャ（例えば、管状フィーチャである又は管状フィーチャではない、のいずれかとしてラベル付けされるバイナリ）を使用して訓練されることができる。セグメンテーションは、各訓練画像ごとに、点ｘｊ，ｉの各々における管状フィーチャの点ｘｊ，ｉ及び対応する方向ｄｊ，ｉの数Ｎｊを生成するために使用される。点及び方向は、ニューラルネットワークの訓練に使用できるサブ画像又は画像の部分を生成するために使用されることができる。これは、図４に関して以下により詳細に説明される。
【0031】
更に、訓練中にデータ増強を適用してもよい。例えば、わずかにシフトしたサブ画像、それらの中心の周りにわずかに回転したサブ画像、又はサブ画像に対応する方向を用いてそれらの中心の周りに大きな角度だけ回転したサブボリュームが、データ補強のために使用されることができる。
【0032】
本明細書の例では、ニューラルネットワークが説明されているが、この原理は、入力として画像を取得し、その画像のセグメンテーションを出力として予測するように訓練され得る任意の機械学習モデルにも、同様に適用され得ることが理解されよう。本明細書の実施形態で使用され得る他の訓練済みモデルには、訓練済みランダムフォレストモデルが含まれるが、これに限定されない。モデルがどのように訓練され得るかについての更なる詳細は、以下で議論される。
【0033】
一般に、訓練済みモデルは、入力として画像（本明細書に記載されるように、より大きな画像の一部であり得る）を取り込み、画像のセグメンテーションを出力として生成する。セグメンテーションは、入力画像内の管状フィーチャの可能性のあるロケーションの標示を提供することができる。
【0034】
いくつかの実施形態において、訓練済みモデルは、入力として画像（本明細書に記載されるように、より大きな画像の一部であり得る）を取得し、入力画像内の各画素が管状フィーチャの一部を含む尤度を記述する確率値を含む確率マップを出力として生成する。
【0035】
代替例として、一部の実施形態において、訓練済みモデルは、入力として画像（本明細書に記載されるように、より大きな画像の一部であってもよい）を取得し、管状フィーチャの一部として又は管状フィーチャの一部ではないものとして（例えば、血管又は非血管）、各画素を分類するマップを出力として生成することができる。
【0036】
セグメンテーションに加えて、訓練済みモデルは、画像内の管状フィーチャの他の特性の他の出力推定を提供することができ、例えば、訓練済みモデルは、画素（例えば、ピクセル／ボクセル）ごとに、当該画素における管状フィーチャの長さに平行なベクトル（例えば、各点における血管の方向又は中心線を記述する方向ベクトル）を出力するように訓練されることができる。例えば各画素における管状フィーチャの直径又は曲率のような、他のフィーチャもまた予測されることができる。
【0037】
いくつかの実施形態において、訓練済みモデル１０２を使用して画像の重複部分のシーケンスをセグメント化することは、ニューラルネットワークなどの訓練済みモデルを使用して管状フィーチャ（血管など）をセグメント化する再帰的アプローチを含み得る。例えば、血管を用いる場合、再帰的アプローチは、血管の中心線上又はその近くの点ｘｉとおおよその中心線方向ｄｉを使用することができる。中心線方向は、第１の点において管状フィーチャの長さに平行に又はそれに沿って存在する方向を含む。この情報は、点ｘｉに対して血管方向に（例えば血管に沿って）シフトされた中心を有する、リフォーマットされた部分又はサブ画像を生成するために使用される。その後、訓練済みモデル（例えば、ニューラルネットワーク又は他の学習されたフィルタ）は、ボリューム内の血管をセグメント化するために適用される。画像のリフォーマットされた部分のセグメンテーションから、新しい点が選択され、新しい点のところで新しい中心線方向が決定される。このプロセスが繰り返されることで、画像の重複部分のセグメント化されたシーケンスが生成される。
【0038】
これは、重複部分のシーケンスにおける２つの重複部分２０４及び２０６が、血管２０２の画像２００内でどのように決定又は位置決定され得るかを示す図２に示されている。この例では、血管セグメンテーションは、血管の中心線に近い点ｘｉと、点ｘｉにおける近似中心線方向ｄｉ（｜｜ｄｉ｜｜＝１）とを入力として得る。上述のように、中心線方向は、第１の点において管状フィーチャの長さに平行に（例えば、沿って）存在する方向を含む。
【0039】
この入力により、画素を中心とした画像２００（例えばサブ画像）の部分２０４が生成される。容器に沿った部分間の「シフト」の距離を決定する。この部分（又はサブボリューム）は、寸法及び解像度が固定されている場合がある。次に、部分２０４に訓練済みモデルを適用して、部分２０４をセグメント化する。
【0040】
この実施形態において、訓練済みモデルは、部分２０４内の各画素が血管を含む相対的尤度（例えば、「血管らしさ（vesselness）」の値）を記述する確率（probability）マップを出力する訓練済みニューラルネットワークを含む。また、ニューラルネットワークは、上述のような中心線ベクトルを記述する、各画素に関するベクトルを計算することもできる。その後、確率マップは（可能性として追加の方向情報とともに）２Ｄ画像の座標系に再変換される。
【0041】
確率マップから、血管に対応する可能性が高い新しい点ｘｉ＋１と、対応する中心線方向ｄｉ＋１が点ｘｉ＋１において決定される。点ｘｉ＋１は、例えば、血管を含む可能性が最も高い部分２０４のセグメンテーションにおいて画素として選択されることができる。この処理が繰り返されて、点ｘｉ＋１とベクトルｄｉ＋１から次の部分である部分２０６が得られる。このようにして、各繰り返しにおいて、血管の新しい部分がセグメント化され、画像２００全体をセグメント化する必要はない
【0042】
以上の説明をより一般的に言うと、いくつかの実施形態において、ステップ１０２は、次のブロックを繰り返し実行することを含み得る。すなわち、ｉ）画像の第１の部分（例えば、部分２０４）をセグメント化するステップであって、かかる画像の第１の部分が管状フィーチャの第１の部分を含む、ステップ、ｉｉ）画像の第１の部分のセグメンテーションに基づいて管状フィーチャに含まれる第１の点（例えば、ｘｉ＋１）を決定するステップ、ｉｉｉ）管状フィーチャの長さに平行に存在する第１のベクトル（例えば、ｄｉ＋１）を第１の点において決定するステップ、及びｉｖ）第１の点（例えば、ｘｉ＋１）及び第１のベクトル（例えば、ｄｉ＋１）に基づいて、画像の重複部分のシーケンスにおける第２の部分（例えば、部分２０６）を決定するステップ。
【0043】
いくつかの実施形態において、ブロックｉ）において、第１の部分２０４は、入力パラメータとして提供されることができ、例えば、第１の部分は、例えば、ユーザによって手動で決定されることができる。ユーザは、本方法への入力として、第１の部分のロケーションを提供することができる。
【0044】
他の実施形態において、本方法への入力パラメータは、第１の開始点ｘｉと、最初の部分２０４のロケーションが上述の式に従って決定され得る第１の開始方向ｄｉとを含むことができる。第１の開始点ｘｉ及び第１の開始方向ｄｉは、ユーザによって（例えば、手動で）入力されてもよく、あるいは、例えば、画像２００の最初の（例えば、粗い）セグメンテーションからの自動化された処理において決定されてもよい。
【0045】
ここでブロックｉｉに移り、第１の点（例えばｘｉ＋１）は、第１の部分のセグメンテーションから決定される。例えば、第１の部分のセグメンテーションが確率マップを生成する実施態様において（例えば、画像の第１の部分内の各画素について、画素が管状フィーチャ内に含まれる確率を示す確率値が決定される実施態様について）、画像の第１の部分のセグメンテーションに基づいて管状フィーチャ内に含まれる第１の点を決定するブロックは、所定の閾値を上回る確率値を有する画像の第１の部分のセグメンテーション内の画素に基づいて第１の点を決定することを含むことができる。所定の閾値は、画素が血管を含む高い尤度に対応する閾値（確率）を含むことができる。言い換えると、第１の点は、第１の部分のセグメンテーションにおいて管状フィーチャの部分を形成する可能性が最も高いと示される画素から選択されることができる。
【0046】
所定の閾値は、一定の値として設定されてもよく、又は画像の異なる部分における管状フィーチャの特性に基づいて設定／変更されてもよい。例えば、管状フィーチャの大きさが小さいほど、所定の閾値が低くされることで、管状フィーチャの大きさが小さいほど管状フィーチャは画像内でより薄くなり得るという事実を反映させることができる。上述のように、いくつかの実施形態において、訓練済みモデルは、画像の各画素における管状フィーチャの直径の推定値を出力するように訓練されてもよく、所定の閾値の大きさは、各点における管状フィーチャの推定直径に基づいて設定／変更されることができる。
【0047】
他の実施形態において、第１の点は、画素が血管を含む最も高い確率を有する画素（例えば、画像部分の中の、血管の部分である可能性が最もの高いピクセル又はボクセル）として、画像の第１の部分のセグメンテーションから決定されることができる。
【0048】
ブロックｉｉｉについて言及すると、第１のベクトル（例えば、図２に示されるｄｉ＋１；ここでは中心線方向又は方向ベクトルとも呼ばれる）は、開始点ｘｉにおける管状フィーチャの長さと平行である。言い換えると、第１のベクトルは、管状フィーチャの主軸に沿っており、従って、点ｘｉ＋１における管状フィーチャに沿った中心線方向を表す。ベクトルｄｉ＋１を等しく反転させて、管状フィーチャ２０２に沿って図２に示すものと反対方向の管状フィーチャの部分のシーケンスを決定することができることが理解される。通常、ｄｉ＋１の方向は（ｄｉ，ｄｉ＋１）＝ ｃｏｓα ＞＝ ０（ここでαはｄｉとｄｉ＋１の間の角度）のように選択することができ、このような例では、トラッキング方向は初期化によって定められる（例：第１の点と第１の方向）。
【0049】
いくつかの実施形態において、ブロックｉｉｉ）は、例えば、ヘッシアンフィルタを用いて第１の部分のセグメンテーションにおける確率値を分析し、ｄｉに最も平行な方向な±ｄＨ
ｉ＋１を選択することによって、第１のベクトルｄｉ＋１を決定することを含むことができる。
【0050】
他の実施形態において、ブロックｉｉｉ）は、部分内の各画素について、方向ｄｉ＋１を推定するためにニューラルネットワークを使用することを含むことができる。例えば、いくつかの実施形態において、訓練済みモデルは、画像の部分を入力として取得し、部分のセグメンテーションと、部分内の各画素について、その画素における管状フィーチャに沿って存在する推定方向を示すベクトルとの両方を出力するように訓練されることができる。
【0051】
ブロックｉｖに移り、第１の点（例えば、ｘｉ＋１）及び第１のベクトル（例えば、ｄｉ＋１）に基づいて、画像の重複部分のシーケンスにおける第２の部分（例えば、部分２０６）を決定することは、以下の式に従って、画像の第２の部分の中心を決定することを含むことができる：
ｙｉ＋２ ＝ ｘｉ＋１ ＋ ａｄｉ＋１；
上式で、ｙｉ＋２は、画像の第２の部分の中心の座標であり、ｘｉ＋１は第１の点の座標であり、ａは、血管に沿った部分間の「シフト」の距離を決定し、ｄｉ＋１は、第１のベクトルである。
ｙｉ＋２ ＝ ｘｉ＋１ ＋ ａｄｉ＋１；
上式で、ｙｉ＋２は、画像の第２の部分の中心の座標であり、ｘｉ＋１は第１の点の座標であり、ａは、血管に沿った部分間の「シフト」の距離を決定し、ｄｉ＋１は、第１のベクトルである。
【0052】
上述のように、ａは、距離、例えば、画像の第１部分２０４及び第２部分２０６間のシフト又はオフセットを表し、設定又は入力パラメータとして提供されることができる。いくつかの実施形態において、パラメータａ、及び部分の所望の幅及び／又は高さは、方法１００への入力パラメータとして提供されることができる。
【0053】
一部の実施形態において、ａは定数である。他の実施形態において、ａは、例えば、直径又は曲率（その推定値は、上述のように訓練済みモデルによって実行される分割の追加の出力として得られ得る）のような管状フィーチャの特性の依存性において、変化されることができる。
【0054】
画像の部分のサイズ（各次元におけるピクセル／ボクセルの数）及び解像度（ピクセル／ボクセルの幾何学的サイズ）は、一定の入力パラメータとして設定されることができる。代替として、それらは、変更されることもできる。例えば、血管のような管状構造を血流の方向に追跡する場合、血管の直径は一般に小さくなる。そのように、画像の部分のサイズ（各寸法におけるピクセル／ボクセルの数）及び解像度（ピクセル／ボクセルの幾何学的サイズ）は、例えば、直径又は曲率（その推定値は、上述のように訓練済みモデルの出力として得られ得る）に応じて変化されることができる。
【0055】
一例として、一実施形態において、管状フィーチャが狭くにつれて、解像度を増加させる（すなわち、ピクセル／ボクセルの幾何学的サイズを小さくする）一方で、画像の部分のサイズ（各次元におけるピクセル／ボクセルの数）は管状フィーチャに沿って維持されることができる。これは、全体を通して高解像度を選択する場合と比較して、より計算効率の良い方法を提供する。
【0056】
ここで他の実施形態に移ると、いくつかの実施形態において、第２の部分２０６は、管状フィーチャが第１のベクトルｄｉ＋１に基づいて画像の第２の部分内で回転されるようにして決定されることができる。例えば、管状フィーチャは、原画像に対して、各部分において回転されることができる。
【0057】
いくつかの実施形態において、第１のベクトル（例えば、ｄｉ＋１）は、（リフォーマットされた）第２の画像部分２０６の座標軸を定義することができる。例えば、第２の部分２０６は、第１のベクトルｄが第２の部分２０６のエッジと平行になるように、回転され又は画像２００から選択されることができる。このように画像部分を回転又は選択することによって、管状フィーチャが各画像部分においてほぼ同じ向きに存在するように、各画像部分における管状フィーチャの向きが変更される。例えば、第１のベクトルｄｉ＋１が第２の部分のｘ軸に平行になるように第２の部分が選択される場合、管状フィーチャは、第２の画像部分のエッジにほぼ平行になる。これは、管状フィーチャの向き及び外観が各画像部分においてより正規化されるので、訓練済みモデルに対する問題の複雑さを更に低減する技術的効果を有する。従って、モデルは、より少ない訓練データに基づいて、より高い精度で訓練されることができる。
【0058】
当然のことながら、画像内の管状フィーチャの特定の向きは重要ではなく、むしろ、管状フィーチャが各画像部分においてほぼ同じ向き（その向きが画像部分を横切って水平、斜め、又は垂直である）になるように画像の部分が選択又は回転される場合には、上記の利点が得られ得る。従って、いくつかの実施態様において、管状フィーチャは、第１のベクトルが画像の第２の部分において予め決められた向きに存在するように回転される。
【0059】
より一般的には、いくつかの実施形態において、管状フィーチャは、管状フィーチャが画像の第２の部分において予め決められた向きに存在するように回転される。例えば、重複部分のシーケンスにおける部分は、その中の管状フィーチャが特定の方向に（実質的に）存在するように、選択又は回転されることができる。
【0060】
いくつかの実施態様において、管状フィーチャは、管状フィーチャが、例えば、画像の各部分において特定の方向又は方向から＋／－４５度の範囲内に存在するように回転されることができる。
【0061】
更に、本明細書で検討される多くの管状フィーチャ（例えば、血管又は気管支構造）の曲率した性質のために、管状フィーチャは、画像のそれぞれの部分のエッジに対して特定の方向に完全にアラインされなくてもよいことが理解される（例えば、図２では、方向ベクトルｄｉ＋１が画像部分２０６のエッジにアラインされているが、管状フィーチャは、点ｘｉ＋１からｄｉ＋１方向の管状フィーチャの曲率により、前記エッジに対してある角度で存在する）。しかしながら、このようにして部分を回転／選択することは、管状フィーチャがランダムに方向付けられる場合と比較して、画像部分における管状フィーチャの向きの自由度の数を依然として低減させ、従って、これは、訓練済みモデルに対する問題の複雑さを低減させ、その精度を増加させ、必要とされる訓練データの量を減少させる。これは、３次元において特に当てはまり、上述した回転は、管状フィーチャが、各画像部分における類似の位置において、各３次元部分のボリュームに入ることを確実にし得る。
【0062】
画像の部分が回転される実施形態において、訓練済みモデルは、ａ）各例示の画像が予め決められた向きに基づいて回転される管状フィーチャの部分を含む例示の画像と、ｂ）各例示の画像について対応するグランドトゥルースのセグメンテーションと、を含む訓練データに対して、訓練されることができる。言い換えると、訓練データ内に含まれる画像部分は、訓練データ内の管状フィーチャが特定の方向に（実質的に）存在するように回転されることができる。上述のように、管状フィーチャの位置及び向きの変動が少ない場合に管状構造の少なくとも一部が共通の向きに存在するように画像部分が回転される実施形態においては、必要とされる訓練データがより少なくなる。
【0063】
次に、他の実施形態に移り、ブロックｉ）－ｉｖ）は、管状フィーチャの長さに沿って反復的に繰り返されることができることが理解される。例えば、幾つかの実施形態に於いて、本方法は、画像の第２の部分のセグメンテーションに基づき、管状フィーチャに含まれる第２の点を決定するステップと、第２の点において管状フィーチャの長さに平行に存在する第２のベクトルを決定するステップと、第２の点及び第２のベクトルに基づき、画像の重複部分のシーケンスにおいて第３の部分を決定するステップとを含むことができる。
【0064】
方法１００のブロック１０２は、例えば、部分のセグメンテーションがその部分に管状フィーチャが存在しないことを示す場合のように、管状フィーチャが終端に到達したときに終了することができる。例えば、本方法は、重複部分のシーケンス内の部分のセグメンテーションが、全ての確率値が（前述の）所定の閾値を下回る当該確率値を含む場合（例えば、確率値が、特定の画像部分内の管状フィーチャ上の次の点を選択するための閾値を下回る場合）、画像の更なる部分をセグメント化することを停止することを含むことができる。
【0065】
所定の閾値は、一定の値として設定されてもよく、又は画像の異なる部分における管状フィーチャの特性に基づいて設定／変更されてもよい。例えば、管状フィーチャの大きさが小さくなるほど、所定の閾値が低下されることで、管状フィーチャの大きさが小さくなるほど画像内で管状フィーチャがより薄くなり得るという事実を反映させることができる。上述のように、いくつかの実施形態において、訓練済みモデルは、画像の各画素における管状フィーチャの直径の推定値を出力するように訓練されてもよく、所定の閾値の大きさは、各点における管状フィーチャの推定直径に基づいて設定／変更されることができる。
【0066】
また、上述のように、管状フィーチャは、管状フィーチャが２以上の分岐又は別個の管状フィーチャに分割されるように分岐していることがある。管状フィーチャ内の既知の点から所定の距離のところに位置し、かつ閾値確率を超える、セグメンテーション内の確率値を有する複数の点を識別することは、分岐のそれぞれ異なる枝を示すことができる。
【0067】
従って、より一般的には、いくつかの実施態様において、本方法は、画像の第１の部分のセグメンテーション内の第３の点を決定するステップであって、第３の点は、所定の閾値を上回る確率値を有し、第１の点から所定の距離以上離れて存在するステップと、管状フィーチャにおいて、第１の点及び第３の点のロケーションに基づいて、分岐を決定するステップとを含むことができる。
【0068】
従って、所定の距離は、所定の閾値を上回る２つの点の間の最小の隔たりであり（それらは両方とも管状フィーチャの一部を形成する可能性が高いことを示す）、かかる点は、別個の分岐内にあるとラベル付けされる必要があり、また、方法は、重複画像の第２のシーケンスを処理する必要がある。
【0069】
また、所定の距離は、画像の異なる部分における管状フィーチャの特性に基づいて設定及び／又は変更されることができる。例えば、管状フィーチャのサイズが小さくなるほど、所定の距離が低減されることができる。訓練済みモデルが画像の各画素で管状フィーチャの直径の推定値を出力する実施形態において、所定の距離の大きさは、各点での管状フィーチャの推定直径に基づいて設定／変更されることができる。
【0070】
２つの（又はそれより多くの）画素がこのやり方で決定される場合、本方法は、２つの分岐に沿って進むことを含むことができる（例えば、画像の重複部分の第２の又はそれに続くシーケンスは、並行して処理されることができる）。
【0071】
ここで図１に戻って説明すると、ブロック１０４において、本方法は、画像の重複部分のシーケンスのセグメンテーションを組み合わせて、管状フィーチャのセグメンテーションを決定することを含む。画像の重複部分のシーケンスのセグメンテーションは、例えば平均されることができ、他の場合には、スーパーインポーズされて、完全な管状フィーチャの合成されたセグメンテーションを生成することができる。
【0072】
いくつかの実施形態に於いて、ブロック１０４は、重複しているセグメンテーションの領域内の、画像の重複部分のシーケンスのセグメンテーション内の画素値を平均することを含み得る。例えば、訓練済みモデルによって生成されたセグメントが確率マップを含む実施態様において、２又はそれより多くの確率が特定の画素について決定される場合（例えば、画素が２つの画像部分の間の重複領域に含まれている場合）、確率は平均化されることができる（例えば、平均、モード、又は中央値）。いくつかの実施形態において、閾値多数決処理を使用して、特定の画素の確率が決定されることができる。
【0073】
重複領域におけるセグメンテーションを組み合わせることは、例えば、画素が血管を含む確率の２又はそれより多くの推定を平均化することによって実施されることができ、こうして、画素が血管を含む確率の改善された推定及びゆえに改善されたセグメンテーションを提供する技術的効果を有する。関心のある管状フィーチャを含むように決定された／知られているより大きな画像の領域のみが分割されるので、セグメンテーションプロセスは、全体的により効率的である。
【0074】
いくつかの実施形態において、ブロック１０４において、セグメンテーションのシーケンスが組み合わされる場合に、重み付けマスクが適用されることができる。重み付けマスクは、画像部分の中心により近い画素が、画像部分の中心から更に離れた画素と比較して、より高い重みを得るように適用されることができる。
【0075】
ここで他の実施形態を参照すると、特定の実施形態において、管状フィーチャは、心臓コンピュータトモグラフィ血管造影（cardiac computed tomography angiography、ＣＣＴＡ）画像３００内の血管を含む。この実施形態において、モデルは、図３に示すようなニューラルネットワークを有する。図３の例では、採用されるアーキテクチャはＦネットである。Ｆネット１は、ローカル画像とグローバル画像のフィーチャを組み合わせるために異なる解像度を見ることができるため、Ｕネット２と似ている。Ｆネットにおけるフィーチャ抽出経路は、３つのＣＢＲブロック３０２（畳み込み、バッチ正規化、ＲｅＬｕ）を含む。Ｆネットにおけるフィーチャ統合経路は、ＣＢＲＵブロック３０４（畳み込み、バッチ正規化、ＲｅＬｕ、アップサンプリング）から構成される（最高解像度レベルを除く）。この実施形態において、使用される解像度レベルの数（ＣＢＲブロックを含む行によって示されるように）は４である。ニューラルネットワークは、画像３００のセグメンテーション３０６を出力する。
【0076】
ニューラルネットワークは、３９の心臓コンピュータトモグラフィ血管造影（ＣＣＴＡ）画像を含む訓練データセットを用いて、ＣＣＴＡ画像中の血管をセグメント化するように訓練される。これらの画像の３０は、ニューラルネットワークを訓練するために使用され、例えば上述のような部分を表す、管状フィーチャの長さに沿って位置決定された回転部分のシーケンスに分割される。画像のうち９つが、訓練済みニューラルネットワークの精度をテストするためのテスト／バリデーション画像として使用される。データ補強（模倣されたテストデータを生成するための自動化された方法など）を使用すると、訓練サンプルの数（訓練画像部分など）を最大２６，５００サンプリングまで増やすことができる。
【0077】
訓練戦略の一例を図４のフローチャートに示す。ブロック４０２及び４０４では、（方法１００のブロック１０２に関して上で概説したように第１の部分が決定されたやり方と同様の方法で）ブロック４０６内のサンプル部分を決定するために、部分の中心及び中心線方向を使用することができる。サンプル部分は、ブロック４０８内の部分において方向ベクトルが特定の方向にあるように、リフォーマットされるか、又は回転／選択される。これにより、訓練画像の座標系（ｘ，ｙ，ｚ）を基準とした、当該部分の新しい座標系（ｕ，ｖ，ｗ）が定められる。補強された部分は、ブロック４１０においてモデルを訓練するために使用される。モデルは、ブロック４１２において、座標系（ｕ，ｖ，ｗ）で出力確率マップを生成し、モデルによって生成された確率マップを、画像部分についてのグランドトゥルース確率マップと比較することによって、（勾配降下プロセスに従って）勾配４１４を更新するために使用される。モデルパラメータはブロック４１６で更新される。一般に、全ての（又は、画像部分のサブセットの）出力は蓄積されることができ、勾配更新は蓄積された値に基づくことができる。
【0078】
訓練済みモデルは、図５に示されるように使用され、ブロック５０２において、部分のロケーションを記述する座標（例えば、図２に示されるｙｉ＋１）が、ブロック５０４において、方向（例えば、図２に示されるｄｉ）が、入力として提供され、当該方向から、画像の第１の部分がブロック５０６において決定される。画像の第１の部分は、座標系（ｕ，ｖ，ｗ）を有し、前述のように、軸の１つがベクトルｄｉにアラインされる。第１の部分は、ブロック５０８内の訓練済みモデルへの入力として提供される。訓練済みモデルは、上の図４に関して説明したように訓練されたものである。訓練済みモデルは、第１の部分をセグメント化し、ブロック５１０において確率マップを出力する。出力確率マップは、第１の部分と同じ座標系（ｕ，ｖ，ｗ）にある。確率マップは、ブロック５１２において、（主要な又は完全な）画像（ｘ，ｙ，ｚ）の座標系に変換（例えば、回転及び／又はシフト）される。
【0079】
第１の部分のセグメンテーションから、管状フィーチャに含まれる第１の点が、画像の第１の部分のセグメンテーションに基づいて決定される。また、ブロック５１４において、第１の点における管状フィーチャの長さに平行に存在する第１のベクトルが決定される。これは、図１のブロック１０２に関して上述したように行われる。
第１の点及び第１のベクトルは、ブロック５１６内の画像の部分のシーケンスの次の部分の中心座標を決定するために使用される（例えば、方法１００のブロック１０２に関して上述したように、式ｙｉ＋２ ＝ ｘｉ＋１ ＋ ａｄｉ＋１を使用する）。次いで、次の部分の中心座標５１４及び決定されたベクトル５１６を使用して、ブロック５０６内のシーケンス内の次の部分のロケーションを抽出又は決定する。
第１の点及び第１のベクトルは、ブロック５１６内の画像の部分のシーケンスの次の部分の中心座標を決定するために使用される（例えば、方法１００のブロック１０２に関して上述したように、式ｙｉ＋２ ＝ ｘｉ＋１ ＋ ａｄｉ＋１を使用する）。次いで、次の部分の中心座標５１４及び決定されたベクトル５１６を使用して、ブロック５０６内のシーケンス内の次の部分のロケーションを抽出又は決定する。
【0080】
ブロック５０６、５０８、５１０、５１２、５１４、５１６は、このように繰り返されて、血管の長さに沿って位置決定された重複部分のシーケンスのセグメンテーションを生成する。部分のセグメンテーションは、（例えば、ブロック５０６、５０８、５１０、５１２、５１４、５１６の以前のループの以前のセグメント５２０と）マージ又は組み合わされて、方法１００のブロック１０４に関して上述したように、全体の血管５２２の最終のセグメンテーションを形成する。
【0081】
図６ａは、図３－図５に関して上述したプロセスを用いた、分岐血管６０２の画像の出力されるセグメンテーション６００の例を示す。この例では、開始点ｘｉとｄｉは、グランドトゥルースデータ（例えば、ユーザ入力開始位置と方向ベクトル）から生成された。図６ｂは、セグメンテーションの従来技術の方法を用いた同じ血管のセグメンテーション６０４を示す。この例では、２つのアプローチのダイスコアはそれぞれ０．８１と０．７である。
【0082】
次に、他の実施形態に移り、図７に示されるように、いくつかの実施形態において、画像内の管状フィーチャをセグメント化するシステム７００がある。システムは、特化した医療機器のような特化した機器の一部を形成することができ、代替的に、システムは、コンピュータシステム（例えば、ラップトップ、デスクトップ・コンピュータ、他の装置又はコンピューティングクラウドのようである）の一部を形成することもできる。システムは、命令セットを表す命令データを有するメモリ７０４と、メモリと通信し、命令セットを実行するように構成されたプロセッサ７０２とを有する。概して、命令セットは、プロセッサによって実行される場合、プロセッサに、上述した方法１００、４００又は５００の実施形態のいずれかを実行させることができる。
【0083】
より具体的には、命令セットは、プロセッサによって実行される場合、プロセッサに、訓練済みモデルを使用して、画像の重複部分のシーケンスをセグメント化するステップであって、前記重複部分が、管状フィーチャの長さに沿って位置決定される、ステップと、画像の重複部分のシーケンスのセグメンテーションを組み合わせて、管状フィーチャのセグメンテーションを決定するステップと、を実行させる。
【0084】
画像の重複部分のシーケンスをセグメント化することがブロック１０２に関して上で詳細に説明されたが、その中の方法１００及びその詳細は、プロセッサ７０２の構成にも等しく適用されることが理解される。画像の重複部分のシーケンスのセグメンテーションを組み合わせることが、方法１００のブロック１０４に関して上で説明されたが、その詳細は、プロセッサ７０２の構成に等しく適用されることが理解される。
【0085】
プロセッサ７０２は、本明細書に記載する方法でシステム７００を制御するように構成又はプログラムされる、１又は複数のプロセッサ、処理ユニット、マルチコアプロセッサ又はモジュールを有することができる。特定の実現例において、プロセッサ７０２は、本明細書に記載する方法の個々のステップ又は複数のステップを実行し又は実行するように各々が構成された複数のソフトウェアモジュール及び／又はハードウェアモジュールを有することができる。
【0086】
メモリ７０４は、本明細書に記載する方法を実行するためにプロセッサ１０２によって実行可能なプログラムコードを記憶するように構成される。代替的に、又は付加的に、１つ又は複数のメモリ７０４は、システム７００の外部にあってもよい（すなわち、そこから隔てられてもよいし、遠隔にあってもよい）。例えば、１つ又は複数のメモリ７０４は、別の装置の一部でありうる。メモリ７０４は、装置７００のプロセッサ７０２によって取得されるか、又は生成される画像、情報、データ、信号、及び測定値を記憶するために、又はシステム７００の外部にある任意のインタフェース、メモリ又は装置から使用されることができる。プロセッサ７０２は、メモリ７０４を制御して、画像、情報、データ、信号及び測定値を記憶するように構成されることができる。
【0087】
当然のことながら、システム７００は、例えば、画像を表示するためのスクリーン又はディスプレイなどの１つ又は複数のユーザインターフェース、及び／又は管状フィーチャのセグメンテーションなどの他のコンポーネントを含むことができる。システムは、例えば、本明細書に記載する方法で使用される初期入力パラメータを提供するために、ユーザがシステムと対話することを可能にするキーボード、マウス又は他の入力デバイスのようなユーザ入力を更に有することができる。
【0088】
当然のことながら、図７は、開示のこの態様を示すために必要なコンポーネントのみを示しており、実際の実現例において、システム７００は、示されたコンポーネントへの追加コンポーネントを含むことができる。例えば、システム７００は、システム７００に給電するためのバッテリ又は他の電源、又はシステム７００を主電源に接続するための手段を有することができる。
【0089】
別の実施形態において、コンピュータ可読媒体を含むコンピュータプログラム製品が提供され、前記コンピュータ可読媒体は、その中に具体化されたコンピュータ可読コードを有し、前記コンピュータ可読コードは、適切なコンピュータ又はプロセッサによる実行の際、コンピュータ又はプロセッサが本明細書に記載する方法又は方法を実行するように構成される。従って、本開示は、実施形態を実現するように構成されたコンピュータプログラム、特に担体上又は担体内のコンピュータプログラムにも適用されることが理解される。プログラムは、ソースコード、オブジェクトコード、コード中間ソース、及び、例えば、部分的にコンパイルされた形式でのオブジェクトコードの形成であってもよく、又は、本明細書に記載される実施形態による方法の実施において使用されるに適した任意の他の形式であってもよい。
【0090】
このようなプログラムは更に、多くの異なる建築設計を有することが理解される。例えば、方法又はシステムの機能を実現するプログラムコードは、１つ又は複数のサブルーチンに細分割されることができる。これらのサブルーチン間で機能を分配する多くの異なる方法は、当業者には明らかである。サブルーチンは、１つの実行可能ファイルに一緒に記憶されて、自己完結型プログラムを形成することができる。このような実行可能ファイルは、コンピュータ実行可能命令、例えば、プロセッサ命令及び／又はインタプリタ命令（例えば、Ｊａｖａインタプリタ命令）を含むことができる。代替として、１つ又は複数又はすべてのサブルーチンは、少なくとも１つの外部ライブラリファイルに記憶され、実行時などに静的又は動的にメインプログラムとリンクされることができる。メインプログラムには、少なくとも１つのサブルーチンに対する呼び出しが少なくとも１つ含まれている。サブルーチンは更に、互いに関数呼び出しを含むことができる。
【0091】
コンピュータプログラムの担体は、プログラムを担持することができる任意の実体物又は装置でありうる。例えば、担体は、ＲＯＭのようなデータ記憶装置、例えば、ＣＤ－ＲＯＭ又は半導体ＲＯＭ、又は磁気記録媒体、例えばハードディスクを含むことができる。更に、担体は、電気信号又は光信号のような伝送可能な担体であってもよく、かかる信号は、電気又は光ケーブルを介して、又は無線又は他の手段によって伝送されることができる。プログラムが上記のような信号で具体化される場合、担体は、このようなケーブル又は他のデバイス又は手段によって構成されることができる。代替として、担体は、プログラムが埋め込まれている集積回路であってもよく、この集積回路は、関連する方法を実行するように適応され、又は、その実行において使用されることができる。
【0092】
開示された実施形態に対する変更は、図面、開示及び特許請求範囲の検討から、当業者によって理解され、実施されることができる。請求項において、用語「有する、含む（comprising）」は、他の構成要素又はステップを排除するものではなく、不定冠詞「a」又は「an」は、複数性を排除するものではない。単一のプロセッサ又は他のユニットは、特許請求の範囲に列挙されるいくつかのアイテムの機能を果たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。コンピュータプログラムは他のハードウェアと一緒に、又はその一部として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体上に記憶／配布することができるが、インターネット又は他の有線もしくは無線電気通信システムなどを介して、他の形態で配布されることもできる。請求項におけるいかなる参照符号も、その範囲を制限するものとして解釈されるべきではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6(a)】
【図6(b)】
【図7】