知財求人 - 知財ポータルサイト「IP Force」
▶ 東芝メディカルシステムズ株式会社の特許一覧 ▶ 北京大学の特許一覧
特開2024-177091血管セグメンテーション装置、血管セグメンテーション方法、医用画像処理装置、及び、深層学習モデル生成装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024177091
(43)【公開日】2024-12-19
(54)【発明の名称】血管セグメンテーション装置、血管セグメンテーション方法、医用画像処理装置、及び、深層学習モデル生成装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20241212BHJP
A61B 6/03 20060101ALI20241212BHJP
A61B 5/00 20060101ALI20241212BHJP
G06T 7/11 20170101ALI20241212BHJP
【ＦＩ】
G06T7/00 612
A61B6/03 560T
A61B6/03 560J
A61B5/00 G
G06T7/00 350C
G06T7/11
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2024086158
(22)【出願日】2024-05-28
(31)【優先権主張番号】202310670979.2
(32)【優先日】2023-06-07
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(71)【出願人】
【識別番号】507232478
【氏名又は名称】北京大学
【氏名又は名称原語表記】ＰＥＫＩＮＧ ＵＮＩＶＥＲＳＩＴＹ
【住所又は居所原語表記】Ｎｏ．５， Ｙｉｈｅｙｕａｎ Ｒｏａｄ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １００８７１， Ｃｈｉｎａ
(74)【代理人】
【識別番号】110001771
【氏名又は名称】弁理士法人虎ノ門知的財産事務所
(72)【発明者】
【氏名】リ ビン
(72)【発明者】
【氏名】ジャン リ
(72)【発明者】
【氏名】ザォウ ヂィエ
(72)【発明者】
【氏名】チェン ヅゥファン
【テーマコード（参考）】
4C093
4C117
5L096
【Ｆターム（参考）】
4C093AA22
4C093AA26
4C093CA23
4C093DA02
4C093FD05
4C093FF07
4C093FF16
4C093FF20
4C093FF22
4C093FF28
4C093FG13
4C117XB09
4C117XE44
4C117XE45
4C117XE46
4C117XK04
4C117XK05
4C117XK09
4C117XR07
4C117XR08
4C117XR09
5L096BA06
5L096BA13
5L096EA02
5L096FA02
5L096HA11
5L096JA11
5L096KA04
(57)【要約】
【課題】医用画像において血管と組織のコントラストが高くない場合においても、血管セグメンテーションを高精度に行い、セグメンテーション結果における血管の接続性を改善すること。
【解決手段】本実施形態に係る血管セグメンテーション装置は、画像取得部と、深層学習モデル取得部と、セグメンテーション部と、を備える。前記画像取得部は、複数枚の医用画像を取得する。前記深層学習モデル取得部は、前記医用画像に基づいて、中心線強調損失関数、統計的形状制約損失関数を用いた深層学習モデル訓練を行って得られた訓練済み深層学習モデルを取得する。前記セグメンテーション部は、前記訓練済み深層学習モデルに基づいて、取得された対象医用画像をセグメンテーションすることにより、血管に関するセグメンテーション結果を得る。
【選択図】図１
【解決手段】本実施形態に係る血管セグメンテーション装置は、画像取得部と、深層学習モデル取得部と、セグメンテーション部と、を備える。前記画像取得部は、複数枚の医用画像を取得する。前記深層学習モデル取得部は、前記医用画像に基づいて、中心線強調損失関数、統計的形状制約損失関数を用いた深層学習モデル訓練を行って得られた訓練済み深層学習モデルを取得する。前記セグメンテーション部は、前記訓練済み深層学習モデルに基づいて、取得された対象医用画像をセグメンテーションすることにより、血管に関するセグメンテーション結果を得る。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数枚の医用画像を取得する画像取得部と、
前記医用画像に基づいて、中心線強調損失関数、統計的形状制約損失関数を用いた深層学習モデル訓練を行って得られた訓練済み深層学習モデルを取得する深層学習モデル取得部と、
前記訓練済み深層学習モデルに基づいて、取得された対象医用画像をセグメンテーションすることにより、血管に関するセグメンテーション結果を得るセグメンテーション部と、
を備える血管セグメンテーション装置。
前記医用画像に基づいて、中心線強調損失関数、統計的形状制約損失関数を用いた深層学習モデル訓練を行って得られた訓練済み深層学習モデルを取得する深層学習モデル取得部と、
前記訓練済み深層学習モデルに基づいて、取得された対象医用画像をセグメンテーションすることにより、血管に関するセグメンテーション結果を得るセグメンテーション部と、
を備える血管セグメンテーション装置。
【請求項2】
前記セグメンテーション結果に対して、管状物フィルタリングを用いて管状物特徴を抽出し、強調された管状物特徴の特徴領域を取得し、領域拡張法を用いて管状物特徴を接続させて、特徴領域強調後のセグメンテーション結果を得る特徴領域強調部
をさらに備える請求項１に記載の血管セグメンテーション装置。
をさらに備える請求項１に記載の血管セグメンテーション装置。
【請求項3】
前記セグメンテーション結果に対して、画像領域で前記セグメンテーション結果における遊離血管セグメントについて接続性修復処理を行って、画像領域強調後のセグメンテーション結果を得る画像領域強調部
をさらに備える請求項１に記載の血管セグメンテーション装置。
をさらに備える請求項１に記載の血管セグメンテーション装置。
【請求項4】
前記セグメンテーション結果に対して、画像領域で前記セグメンテーション結果における遊離血管セグメントについて接続性修復処理を行って、画像領域強調後のセグメンテーション結果を得る画像領域強調部
をさらに備える請求項２に記載の血管セグメンテーション装置。
をさらに備える請求項２に記載の血管セグメンテーション装置。
【請求項5】
前記セグメンテーション結果に対して、形態学的画像処理を行い、最終的なセグメンテーション結果を得る形態学的処理部
をさらに備える請求項１に記載の血管セグメンテーション装置。
をさらに備える請求項１に記載の血管セグメンテーション装置。
【請求項6】
前記特徴領域強調後のセグメンテーション結果に対して、形態学的画像処理を行い、最終的なセグメンテーション結果を得る形態学的処理部
をさらに備える請求項２に記載の血管セグメンテーション装置。
をさらに備える請求項２に記載の血管セグメンテーション装置。
【請求項7】
前記画像領域強調後のセグメンテーション結果に対して、形態学的画像処理を行い、最終的なセグメンテーション結果を得る形態学的処理部
をさらに備える請求項３に記載の血管セグメンテーション装置。
をさらに備える請求項３に記載の血管セグメンテーション装置。
【請求項8】
前記画像領域強調後のセグメンテーション結果に対して、形態学的画像処理を行い、最終的なセグメンテーション結果を得る形態学的処理部
をさらに備える請求項４に記載の血管セグメンテーション装置。
をさらに備える請求項４に記載の血管セグメンテーション装置。
【請求項9】
取得された複数枚の前記医用画像に対して前処理を行い、標準化医用画像を得る前処理部
をさらに備え、
前記深層学習モデル取得部は、前記標準化医用画像に基づいて、前記中心線強調損失関数、前記統計的形状制約損失関数を用いた深層学習モデル訓練を行って得られた前記訓練済み深層学習モデルを取得する、
請求項１に記載の血管セグメンテーション装置。
をさらに備え、
前記深層学習モデル取得部は、前記標準化医用画像に基づいて、前記中心線強調損失関数、前記統計的形状制約損失関数を用いた深層学習モデル訓練を行って得られた前記訓練済み深層学習モデルを取得する、
請求項１に記載の血管セグメンテーション装置。
【請求項10】
前記深層学習モデル取得部は、Ｄｉｃｅ係数損失関数、クロスエントロピー損失関数、前記中心線強調損失関数及び前記統計的形状制約損失関数を加重和した統合損失関数を用いて深層学習モデル訓練を行って得られた前記訓練済み深層学習モデルを取得する、
請求項１に記載の血管セグメンテーション装置。
請求項１に記載の血管セグメンテーション装置。
【請求項11】
前記特徴領域強調部は、前記セグメンテーション結果に対して、ヘッセ行列を適用して前記管状物特徴を抽出する、
請求項２に記載の血管セグメンテーション装置。
請求項２に記載の血管セグメンテーション装置。
【請求項12】
複数枚の医用画像を取得する画像取得ステップと、
前記医用画像に基づいて、中心線強調損失関数、統計的形状制約損失関数を用いた深層学習モデル訓練を行って得られた訓練済み深層学習モデルを取得する深層学習モデル取得ステップと、
前記訓練済み深層学習モデルに基づいて、取得された対象医用画像をセグメンテーションすることにより、血管に関するセグメンテーション結果を得るセグメンテーションステップと、
を含む血管セグメンテーション方法。
前記医用画像に基づいて、中心線強調損失関数、統計的形状制約損失関数を用いた深層学習モデル訓練を行って得られた訓練済み深層学習モデルを取得する深層学習モデル取得ステップと、
前記訓練済み深層学習モデルに基づいて、取得された対象医用画像をセグメンテーションすることにより、血管に関するセグメンテーション結果を得るセグメンテーションステップと、
を含む血管セグメンテーション方法。
【請求項13】
対象医用画像を取得する対象画像取得部と、
請求項１～１１のいずれか一項に記載の血管セグメンテーション装置と、
前記セグメンテーション結果を出力する出力部と、
を備える医用画像処理装置。
請求項１～１１のいずれか一項に記載の血管セグメンテーション装置と、
前記セグメンテーション結果を出力する出力部と、
を備える医用画像処理装置。
【請求項14】
複数枚の医用画像を取得する画像取得部と、
前記医用画像に基づいて、中心線強調損失関数、統計的形状制約損失関数を用いた深層学習モデル訓練を行って得られた訓練済み深層学習モデルであり、対象医用画像を入力することで、当該対象医用画像の血管に関するセグメンテーション結果を出力する訓練済み深層学習モデルを取得する深層学習モデル取得部と、
を備える深層学習モデル生成装置。
前記医用画像に基づいて、中心線強調損失関数、統計的形状制約損失関数を用いた深層学習モデル訓練を行って得られた訓練済み深層学習モデルであり、対象医用画像を入力することで、当該対象医用画像の血管に関するセグメンテーション結果を出力する訓練済み深層学習モデルを取得する深層学習モデル取得部と、
を備える深層学習モデル生成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書及び図面に開示の実施形態は、血管セグメンテーション装置、血管セグメンテーション方法、医用画像処理装置、及び、深層学習モデル生成装置に関する。
【背景技術】
【0002】
医学の臨床研究及び応用において、医用画像診断装置によって取得された医用画像に基づいて行われる血管の三次元再構築は、医師が器官、組織、腫瘍などの位置を迅速に位置決めするのを補助することができる。例えば、正確な肝臓血管の三次元再構築は、医師が迅速に肝臓腫瘍を特定することに役立つ。そのため、血管に対する迅速かつ正確なセグメンテーションは、医用画像処理において重要である。
【0003】
コンピュータ技術の発展により、血管セグメンテーションに用いられるアルゴリズムには、血管強調フィルタリング、変形可能モデル、追跡、および深層学習に基づくものが含まれる。
【0004】
血管強調フィルタリングによるアルゴリズムでは、元の画像における血管部分が強調されるが、ノイズが含まれる。
【0005】
また、変形可能モデルによるアルゴリズムでは、シードポイント初期化を行う必要がある。例えば、変形可能モデルによるアルゴリズムでは、血管強調後の階調値が高い点を初期シードポイントとし、その後、分水嶺（Watershed）アルゴリズム、領域拡張法等のアルゴリズムを組み合わせて血管セグメンテーションを行う。しかし、シードポイントの初期化は、血管セグメンテーションの精度に影響を与え、演算が複雑である。
【0006】
また、追跡によるアルゴリズムでは、複数の予め設定されたテンプレートを用い、初期位置と追跡方向を組み合わせて血管セグメンテーションを実現する必要がある。複数の予め設定されたテンプレートに係るプロセスは、複雑なものである。
【0007】
また、深層学習によるアルゴリズムでは、元の画像を画素ごとに分類する方式で血管セグメンテーションを実現している。しかし、深層学習に基づくアルゴリズムは、画像上でセグメンテーション対象を描画するアノテーションを行うことで、教師データ（例えば、Ground Truth；ＧＴ）を作成するため、アノテーションのデータ量及び品質に依存している。また、例えば、医師が着目する腫瘍が肝臓である場合、医用画像において肝臓血管と肝臓組織とのコントラストが低いため、血管アノテーションを行うことで高精度の教師データを取得することが難しい。そのため、深層学習に基づくアルゴリズムでは、高精度な血管セグメンテーションを実現しにくく、しかもセグメンテーション結果における血管の接続性が悪い。
【0008】
このように、血管セグメンテーションに用いられるアルゴリズムには、血管セグメンテーション精度のさらなる向上が必要である。並びに、血管と組織のコントラストによる血管の接続性不良（例えば、実際に血管が接続しているが、セグメンテーション結果において血管が接続していない状況）の低減が必要である。
【先行技術文献】
【非特許文献】
【0009】
【非特許文献1】Ruochen Gao, Zhihui Hou, Jun Li, Hu Han, Bin Lu, S. Kevin Zhou 著、「Joint Coronary Centerline Extraction And Lumen Segmentation From Ccta Using Cnntracker And Vascular Graph Convolutional Network」Published in: 2021 IEEE 18th International Symposium on Biomedical Imaging (ISBI)、Page：1897-1901、13 April 2021.
【発明の概要】
【発明が解決しようとする課題】
【0010】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、医用画像において血管と組織のコントラストが高くない場合においても、血管セグメンテーションを高精度に行い、セグメンテーション結果における血管の接続性を改善することである。ただし、本明細書及び図面に開示の実施形態により解決される課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
【課題を解決するための手段】
【0011】
本実施形態に係る血管セグメンテーション装置は、画像取得部と、深層学習モデル取得部と、セグメンテーション部と、を備える。前記画像取得部は、複数枚の医用画像を取得する。前記深層学習モデル取得部は、前記医用画像に基づいて、中心線強調損失関数、統計的形状制約損失関数を用いた深層学習モデル訓練を行って得られた訓練済み深層学習モデルを取得する。前記セグメンテーション部は、前記訓練済み深層学習モデルに基づいて、取得された対象医用画像をセグメンテーションすることにより、血管に関するセグメンテーション結果を得る。
【図面の簡単な説明】
【0012】
【発明を実施するための形態】
【0013】
以下では、本実施形態に係る血管セグメンテーション装置、血管セグメンテーション方法、医用画像処理装置、及び、深層学習モデル生成装置について図面を参照して説明する。
【0014】
（第１実施形態）
＜血管セグメンテーション装置１００の構成＞
まず、図１を参照して、第１実施形態に係る血管セグメンテーション装置１００の構成について説明する。なお、図１において、血管セグメンテーション装置は、各処理機能を含むが、図１には本実施形態に関する処理機能のみが示されており、その他の処理機能が省略されている。
＜血管セグメンテーション装置１００の構成＞
まず、図１を参照して、第１実施形態に係る血管セグメンテーション装置１００の構成について説明する。なお、図１において、血管セグメンテーション装置は、各処理機能を含むが、図１には本実施形態に関する処理機能のみが示されており、その他の処理機能が省略されている。
【0015】
図１に示すように、本実施形態の血管セグメンテーション装置１００は、画像取得部１０１と、深層学習モデル取得部１０２と、セグメンテーション部１０３とを備える。例えば、血管セグメンテーション装置１００は、コンピュータであり、各処理機能を実行する処理回路と、当該各処理機能をコンピュータによって実行可能なプログラムの形態で記憶する記憶回路とを備える。例えば、血管セグメンテーション装置１００の処理回路は、画像取得部１０１、深層学習モデル取得部１０２、セグメンテーション部１０３を備える。処理回路の構成要素が実行する各処理機能は、例えば、コンピュータによって実行可能なプログラムの形態で記憶回路に記録されている。処理回路は、各プログラムを記憶回路から読み出し、実行することで各プログラムに対応する処理機能を実現するプロセッサである。
【0016】
上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＭＣＵ（Micro Controller Unit）、ＧＰＵ（Graphics Processing Unit）、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサが例えばＣＰＵである場合、プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。一方、プロセッサが例えばＡＳＩＣである場合、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込まれる。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。
【0017】
画像取得部１０１は、複数枚の医用画像を取得する。画像取得部１０１は、例えば、通信インターフェースにより医用画像診断装置から複数枚の医用画像を取得する。または、複数枚の医用画像が予め記憶装置に記憶され、画像取得機能１０１は、記憶装置から複数枚の医用画像を読み取って取得してもよい。記憶装置の一例として、例えば、医用画像管理システム（ＰＡＣＳ：Picture Archiving and Communication System）や画像保管装置に当該医用画像が管理されてもよい。さらに、画像取得機能１０１は、他の装置により処理された複数枚の医用画像を読み取ってもよい。
【0018】
ここで、医用画像は、医用画像診断装置により生成される。医用画像診断装置としては、超音波システムである超音波診断装置や、超音波システム以外の他のモダリティーであるＸ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置などが挙げられる。即ち、医用画像は、三次元画像であってもよいし、２次元画像であってもよい。
【0019】
深層学習モデル取得部１０２は、複数枚の医用画像に基づいて深層学習モデルの訓練を行って得られた訓練済み深層学習モデルを取得する。深層学習モデル取得部１０２は、少なくとも中心線強調損失関数、統計的形状制約損失関数を用いて深層学習モデル訓練を行って得られた訓練済み深層学習モデルを取得する。具体的には、深層学習モデル取得部１０２は、例えば、Ｄｉｃｅ係数損失関数、クロスエントロピー損失関数、中心線強調損失関数、統計的形状制約損失関数を加重和した統合損失関数を用いて深層学習モデル訓練を行って得られた訓練済み深層学習モデルを取得する。
【0020】
図２は、深層学習モデル訓練の概略図である。図２に示すように、画像取得部１０１により取得された教師データ及び複数枚の医用画像に基づいて、深層学習モデル訓練が行われる。教師データは、事前にアノテーションされたものであり、画像取得機能１０１により取得される。以降、本実施形態では、教師データを、ＧＴ（Ground Truth）、アノテーションＧＴ等と記載する。深層学習モデル訓練では、医用画像を入力画像（input volume）として深層学習ネットワークに入力し、予測結果（Predication）を取得する。損失関数（ＬＯＳＳ）の値Ｌｔｏｔａｌは、予測結果（Predication）とＧＴ（Ground Truth）とのずれの程度を測定するために用いられる。
【0021】
本実施形態では、中心線強調損失関数と統計的形状制約損失関数とを導入して深層学習モデル訓練を行って得られた訓練済み深層学習モデルを用いる。
【0022】
中心線強調損失関数は、トポロジ性を考慮し、２つの要素（予測結果における血管の中心線構造とアノテーションＧＴにおける血管の中心線構造）の類似度を評価するための関数である。本実施形態では、トポロジ構造を維持しながら管状物（血管）をセグメンテーションすることにより、分岐による細い血管のセグメンテーション結果を向上させることができる。
【0023】
統計的形状制約損失関数は、血管の形状として、血管の輪郭線の長さと体積とを制約する関数である。本実施形態では、幾何学的な情報を考慮しながら管状物（血管）をセグメンテーションすることにより、幾何学的トポロジ構造を強調することができる。
【0024】
このように、本実施形態では、中心線強調損失関数と統計的形状制約損失関数とを導入して深層学習モデル訓練を行って得られた訓練済み深層学習モデルを用いることで、セグメンテーション結果における血管の接続性と幾何学的トポロジ構造を強調することができる。
【0025】
本実施形態では、例えば、Ｄｉｃｅ係数損失関数、クロスエントロピー損失関数、中心線強調損失関数、統計的形状制約損失関数を加重和して得られる統合損失関数を用いて深層学習モデル訓練を行って得られた訓練済み深層学習モデルを用いる。統合損失関数Ｌｔｏｔａｌは、以下の式１により得られる。
【0026】
【数1】
【0027】
式１において、Ｌｔｏｔａｌは、損失関数（ＬＯＳＳ）を表し、ＬＤＩＣＥは、Ｄｉｃｅ係数損失関数を表し、ＬＣＥは、クロスエントロピー損失関数を表し、ＬＣＬは、中心線強調損失関数を表し、ＬＡＣは、統計的形状制約損失関数を表す。
【0028】
ここで、本実施形態では、Ｄｉｃｅ係数損失関数ＬＤＩＣＥ、クロスエントロピー損失関数ＬＣＥ、中心線強調損失関数ＬＣＬ、統計的形状制約損失関数ＬＡＣの重みを、それぞれ、０．３：０．３：０．３：１に設定する。
【0029】
式１における中心線強調損失関数ＬＣＬは、以下の式２により得られる。
【0030】
【数2】
【数3】
【0031】
式２において、ＶＬは、アノテーションＧＴ（教師データ）における肝臓血管を表し、Ｖｐは、予測結果における肝臓血管を表し、ＳＬは、アノテーションＧＴ（教師データ）における血管の中心線構造を表し、ＳＰは、予測結果における血管の中心線構造を表す。また、Ｔｐｒｅｃ（ＳＰ，ＶＬ）は、予測結果における血管の中心線構造ＳＰが、アノテーションＧＴにおける肝臓血管ＶＬに含まれている割合を表す。また、Ｔｓｅｎｓ（ＳＬ，ＶＰ）は、アノテーションＧＴにおける血管の中心線構造ＳＬが、予測結果における肝臓血管Ｖｐに含まれている割合を表す。
【0032】
式２では、予測結果における血管の中心線構造ＳＰと、アノテーションＧＴにおける血管の中心線構造ＳＬとが、どのくらいずれているかが算出される。上述したように、式２により得られる中心線強調損失関数ＬＣＬは、トポロジ性を考慮し、血管セグメンテーションの教師データ（血管のアノテーションＧＴ）における血管の中心線構造を用いている。このため、本実施形態では、トポロジ構造を維持しながら管状物（血管）をセグメンテーションすることにより、分岐による細い血管のセグメンテーション結果を向上させることができる。
【0033】
式１における統計的形状制約損失関数ＬＡＣは、以下の式４により得られる。
【0034】
【数4】
【数5】
【0035】
式４において、ｃ１とｃ２は、それぞれ、セグメンテーション対象の輪郭Ｃの内部と外部の平均値を表す。ここで、ｆ（ｘ）は、位置ｘにおける画像の画素強度を表し、Length（Ｃ）は、セグメンテーション輪郭Ｃの長さを表し、λは、各重みをバランスさせるためのパラメータを表す。
【0036】
式４では、血管の形状として、血管の輪郭線の長さと体積とが算出される。式４により得られる統計的形状制約損失関数ＬＡＣは、セグメンテーションをエネルギー最小化問題と見なし、エネルギーは輪郭線に関する関数である。ここで、統計的形状制約損失関数では、偏微分に基づく方法を用いることによってエネルギー関数を最小化して、輪郭線を目標の境界の方向に向かって絶えず更新する。この場合、エネルギーが最小になる時の曲線位置が、目標の輪郭であり、セグメンテーションの輪郭と体積の関係が考慮される。このように、本実施形態では、統計的形状制約損失関数を導入することにより、正規化部分に形状についての先験知識を加えて、それをセグメンテーション目標の形状特徴によりフィットさせ、画像のセグメンテーション結果を改善することができる。即ち、本実施形態では、血管の形状として、幾何学的な情報を考慮しながら管状物（血管）をセグメンテーションすることにより、幾何学的トポロジ構造を強調することができる。
【0037】
式１におけるＤｉｃｅ係数損失関数ＬＤＩＣＥは、２つの要素の類似度を評価するためのＤｉｃｅ係数を用いた関数であり、例えば、血管セグメンテーションの教師データ（血管のアノテーションＧＴ）に対して予測結果がどのくらい検出できているかが算出される。
【0038】
式１におけるクロスエントロピー損失関数ＬＣＥは、２つの確率分布がどれくらい離れているかを表す指標であり、例えば、血管セグメンテーションの教師データ（血管のアノテーションＧＴ）に対して予測結果がどのくらい離れているかが算出される。
【0039】
なお、式１におけるＤｉｃｅ係数損失関数ＬＤＩＣＥ及びクロスエントロピー損失関数ＬＣＥについては、既存技術であるため、本実施形態では詳細な説明を省略する。
【0040】
本実施形態では、上述のように、式１により得られる統合損失関数Ｌｔｏｔａｌを用いて深層学習モデル訓練を行って得られた訓練済み深層学習モデルに基づいて、取得された対象医用画像をセグメンテーションする。例えば、深層学習モデル訓練にＤｉｃｅ係数損失関数ＬＤＩＣＥとクロスエントロピー損失関数ＬＣＥのみを用いた場合では、階調又はテクスチャに関する情報しか考慮していないため、幾何学的な情報が考慮されず、セグメンテーション結果における血管の接続性と幾何学的トポロジ構造が強調されない。一方、本実施形態では、深層学習モデル訓練に更に中心線強調損失関数ＬＣＬと統計的形状制約損失関数ＬＡＣを用いることで、幾何学的な情報を考慮しているため、既存技術における不足を補うことができ、セグメンテーション結果における血管の接続性と幾何学的トポロジ構造を強調することができる。
【0041】
図１に戻る。セグメンテーション部１０３は、深層学習モデル取得部１０２により得られた訓練済み深層学習モデルに基づいて、取得された対象医用画像をセグメンテーションすることにより、血管に関するセグメンテーション結果を得る。
【0042】
ここで、対象医用画像については、例えば、画像取得部１０１によって取得されてもよいし、他の装置により取得されてもよい。
【0043】
＜血管セグメンテーション装置１００の動作＞
次に、第１実施形態に係る血管セグメンテーション装置１００による処理（血管セグメンテーション方法）について説明する。図３は、第１実施形態に係る血管セグメンテーション装置１００による処理（血管セグメンテーション方法）の手順を示すフローチャートである。
次に、第１実施形態に係る血管セグメンテーション装置１００による処理（血管セグメンテーション方法）について説明する。図３は、第１実施形態に係る血管セグメンテーション装置１００による処理（血管セグメンテーション方法）の手順を示すフローチャートである。
【0044】
図３のステップＳ１００において、画像取得部１０１は、複数枚の医用画像を取得する。複数枚の医用画像は、例えば、肝部画像である。
【0045】
次に、アノテーションＧＴ（教師データ）が取得される。図３のステップＳ２００において、深層学習モデル取得部１０２は、ステップＳ１００において画像取得部１０１により取得された複数枚の医用画像、及び、教師データに基づいて、深層学習モデル訓練を行って得られた訓練済み深層学習モデルを取得する。ここで、深層学習モデル訓練において、中心線強調損失関数及び統計的形状制約損失関数を導入した。
【0046】
次に、図４Ａに示すような対象医用画像が取得される。図３のステップＳ３００において、セグメンテーション部１０３は、深層学習モデル取得部１０２により得られた訓練済み深層学習モデルに基づいて、取得された対象医用画像をセグメンテーションすることにより、血管に関するデータとして、図４Ｃに示すセグメンテーション結果を得る。ここで、取得された対象医用画像は、画像取得部１０１により取得された複数枚の医用画像の一部に類似しているものとする。例えば、図４Ｂに示す既存技術のセグメンテーション結果において、網目や斜線でハッチングした部分は、血管領域を示している。ここで、図４Ｃに示すセグメンテーション結果において、網目や斜線でハッチングした部分は、セグメンテーション部１０３によりセグメンテーションされた血管であり、図４Ｂに示す既存技術のセグメンテーション結果に対して、さらにセグメンテーションされた部分を実線枠で示している。
【0047】
図４Ａに示す対象医用画像、図４Ｂに示す既存技術のセグメンテーション結果、及び、図４Ｃに示すセグメンテーション結果を比較する。ここで、図４Ｃに示すセグメンテーション結果は、図４Ａに示す対象医用画像の血管がセグメンテーションされており、図４Ｂに示す既存技術のセグメンテーション結果より多くの血管がセグメンテーションされている。
【0048】
以上の説明により、本実施形態に係る血管セグメンテーション装置１００では、中心線強調損失関数及び統計的形状制約損失関数を導入して深層学習モデル訓練を行って得られた訓練済み深層学習モデルを用いる。これにより、本実施形態に係る血管セグメンテーション装置１００では、医用画像において血管と組織のコントラストが高くない場合においても、より多くの血管をセグメンテーションし、血管セグメンテーションを高精度に行い、セグメンテーション結果における血管の接続性を改善することができる。
【0049】
（第２実施形態）
＜血管セグメンテーション装置１００Ａの構成＞
まず、図５を参照して、第２実施形態に係る血管セグメンテーション装置１００Ａの構成について説明する。図５は、第２実施形態に係る血管セグメンテーション装置の構成を示すブロック図である。
＜血管セグメンテーション装置１００Ａの構成＞
まず、図５を参照して、第２実施形態に係る血管セグメンテーション装置１００Ａの構成について説明する。図５は、第２実施形態に係る血管セグメンテーション装置の構成を示すブロック図である。
【0050】
図５に示すように、本実施形態に係る血管セグメンテーション装置１００Ａは、画像取得部１０１と、深層学習モデル取得部１０２と、セグメンテーション部１０３とを備えるのに加えて、特徴領域強調部１０４をさらに備える。
【0051】
ここで、第２実施形態における画像取得部１０１、深層学習モデル取得部１０２及びセグメンテーション部１０３は、それぞれ第１実施形態における画像取得部１０１、深層学習モデル取得部１０２及びセグメンテーション部１０３と同一である。このため、本実施形態では重複する説明を省略する。
【0052】
第２実施形態では、特徴領域強調部１０４は、セグメンテーション部１０３によるセグメンテーション結果に対して、管状物フィルタリング（vesselness filtering）を用いて管状物特徴を抽出し、強調された管状物特徴の特徴領域を取得し、領域拡張法を用いて管状物特徴を接続させて、特徴領域強調後のセグメンテーション結果を得る。
【0053】
具体的には、まず、特徴領域強調部１０４は、上記セグメンテーション結果に対して、管状物フィルタリングとして、例えば、ヘッセ行列（Hessian Matrix）を用いて管状物特徴を抽出する。これは、ヘッセ行列の特徴値が管状構造の情報を測ることができるからである。ただし、管状物特徴を抽出する方法は、ヘッセ行列を適用した方法に限らず、公知技術における様々な方法を適用することが可能であり、本実施形態では詳細な説明を省略する。
【0054】
次に、特徴領域強調部１０４は、実際に接続しているが、セグメンテーション部１０３によるセグメンテーション結果において切断していると判断された血管切断箇所を領域拡張法（region growing）により接続させる。
【0055】
例えば、特徴領域強調部１０４において、画像に属するボクセルが管状であるか否かについての確率を記述するための管状物メトリックが用いられる。特徴領域強調部１０４は、管状物メトリックを用いることにより、例えば、画像において組織（例えば器官における血管以外の実質部分）とのコントラストが比較的低いことによる、当該組織と区別しにくい血管を識別することができる。特徴領域強調部１０４は、例えば、目標血管としての管径が略０．５ｍｍから６ｍｍであるとし、ステップサイズとして０．５ｍｍを選択し、ヘッセ行列を用いて、セグメンテーション部１０３のセグメンテーション結果となる画像の２階勾配情報を分析して抽出する。つまり、ボクセル毎にヘッセ行列に基づく演算を行い、ヘッセ行列に基づく演算結果において比較的に大きな特徴値が２つしかない場合、該ボクセルは管状構造におけるものに属すると考えられる。ここで、比較的に大きな特徴値は、例えば器官、画像等に応じて適宜設定され得る。なお、上述した目標血管の管径、ステップサイズとしての計測値の設定は一例にすぎず、これに限らず、必要に応じて任意に設定することができる。
【0056】
また、領域拡張法においては、特徴領域強調部１０４は、セグメンテーション部１０３のセグメンテーション結果に含まれる確率図（mask）のうち確率値が大きい点をシードポイントとし、例えば下限閾値として６０を用いて、管状物特徴領域にて領域拡張法を行い、切断血管（血管切断箇所）を補修し、微細血管を補充する。
【0057】
＜血管セグメンテーション装置１００Ａの動作＞
以下では、第２実施形態に係る血管セグメンテーション装置１００Ａによる処理（血管セグメンテーション方法）について説明する。図６は、第２実施形態に係る血管セグメンテーション装置１００Ａによる処理（血管セグメンテーション方法）の手順を示すフローチャートである。
以下では、第２実施形態に係る血管セグメンテーション装置１００Ａによる処理（血管セグメンテーション方法）について説明する。図６は、第２実施形態に係る血管セグメンテーション装置１００Ａによる処理（血管セグメンテーション方法）の手順を示すフローチャートである。
【0058】
まず、図６のステップＳ１００～Ｓ３００の処理が実行される。図６のステップＳ１００～Ｓ３００の処理は、図３のステップＳ１００～Ｓ３００の処理と同一であるため、ここでは詳細な説明を省略する。また、本実施形態において、セグメンテーション結果には、血管に関するデータに加えて、さらに確率図が含まれる。
【0059】
次に、図６のステップＳ３０１において、特徴領域強調部１０４は、ステップＳ３００におけるセグメンテーション部１０３のセグメンテーション結果に対して、管状物フィルタリングを用いて管状物特徴を抽出し、強調された管状物特徴の特徴領域を取得し、領域拡張法を用いて管状物特徴を接続させて、特徴領域強調後のセグメンテーション結果を得る。
【0060】
具体的には、ステップＳ３０１において、図７に示すように、特徴領域強調部１０４は、ステップＳ１００における画像取得部１０１によって取得された医用画像、及び、ステップＳ３００におけるセグメンテーション部１０３のセグメンテーション結果に含まれる確率図を基に、ヘッセ行列により管状物フィルタリングを用いて管状物特徴を抽出し、強調された管状物特徴の特徴領域を取得する。そして、特徴領域強調部１０４は、確率図における確率値の大きい点をシードポイントとして、管状物特徴領域にて領域拡張法を行い、管状物特徴を接続させることにより、切断血管（血管切断箇所）を補修し、微細血管を補充する。
【0061】
ここで、第２実施形態においても、第１実施形態の具体例を適用する。図４Ａに示す対象画像、図４Ｂに示す既存技術のセグメンテーション結果、図４Ｃに示す第１実施形態のセグメンテーション結果、及び、図８に示す第２実施形態のセグメンテーション結果を比較する。ここで、図８に示す第２実施形態のセグメンテーション結果において、網目や斜線でハッチングした部分は、セグメンテーション部１０３によりセグメンテーションされた血管であり、図４Ｂに示す既存技術のセグメンテーション結果に対して、さらにセグメンテーションされた部分を実線枠で示している。図８に示す第２実施形態のセグメンテーション結果は、図４Ａに示す対象医用画像の血管がセグメンテーションされており、図４Ｂに示す既存技術のセグメンテーション結果より多くの血管がセグメンテーションされている。さらに、図８に示す第２実施形態のセグメンテーション結果では、図４Ｃに示す第１実施形態のセグメンテーション結果よりも、実線枠で示した部分が多く、微細な血管までセグメンテーションされている。
【0062】
以上の説明により、第２実施形態に係る血管セグメンテーション装置１００Ａでは、第１実施形態と同様に、セグメンテーション結果として、より多くの血管がセグメンテーションされるため、血管セグメンテーションを高精度に行い、セグメンテーション結果における血管の接続性を改善することができる。また、第２実施形態に係る血管セグメンテーション装置１００Ａは、特徴領域強調部１０４を備えているため、管状物フィルタリング及び領域拡張法に基づいて、管状物特徴領域において、深層学習モデルによるセグメンテーション結果における血管切断箇所が補修され、さらに、微細血管のセグメンテーション品質を向上させ、微細血管を補充することもできる。
【0063】
（第３実施形態）
＜血管セグメンテーション装置１００Ｂの構成＞
まず、図９を参照して、第３実施形態に係る血管セグメンテーション装置１００Ｂの構成について説明する。図９は、第３実施形態に係る血管セグメンテーション装置の構成を示すブロック図である。
＜血管セグメンテーション装置１００Ｂの構成＞
まず、図９を参照して、第３実施形態に係る血管セグメンテーション装置１００Ｂの構成について説明する。図９は、第３実施形態に係る血管セグメンテーション装置の構成を示すブロック図である。
【0064】
図９に示すように、本実施形態の血管セグメンテーション装置１００Ｂは、画像取得部１０１と、深層学習モデル取得部１０２と、セグメンテーション部１０３とを備えるのに加えて、画像領域強調部１０５をさらに備える。
【0065】
ここで、第３実施形態における画像取得部１０１、深層学習モデル取得部１０２及びセグメンテーション部１０３は、それぞれ第１実施形態における画像取得部１０１、深層学習モデル取得部１０２及びセグメンテーション部１０３と同一である。このため、本実施形態では重複する説明を省略する。
【0066】
第３実施形態では、画像領域強調部１０５は、セグメンテーション部１０３のセグメンテーション結果に対して、画像領域でセグメンテーション結果における遊離血管セグメントについて接続性修復処理を行って、画像領域強調後のセグメンテーション結果を得る。例えば、画像領域強調部１０５は、スーパーボクセル（super voxel）法の適用により、セグメンテーション部１０３のセグメンテーション結果について接続性修復を行う。
【0067】
ここで、図１０を用いて、画像領域強調部１０５がスーパーボクセル（super voxel）法の適用により、セグメンテーション結果に対して接続性修復を行う過程について説明する。図１０は、画像領域強調部１０５がセグメンテーション結果を接続性修復する過程（接続性修復処理）を説明するための概略図である。なお、説明の便宜上、セグメンテーション結果の一部のみを示す。
【0068】
まず、接続性修復処理では、画像領域強調部１０５は、セグメンテーション部１０３のセグメンテーション結果について遊離分岐分析を行って、セグメンテーション結果における血管主幹部及び接続しない部分となる遊離分岐を判別する。例えば、図１０に示すように、画像領域強調部１０５は、セグメンテーション結果の中で最も体積の大きい接続領域を血管主幹部Ｍとし、血管主幹部Ｍ以外の、血管主幹部と接続せず且つ体積が比較的小さい血管セグメントを遊離分岐Ｄとする。図１０では、説明の便宜上、血管主幹部Ｍ及び１つの遊離分岐Ｄしか示されていないが、遊離分岐は複数であってもよい。画像領域強調部１０５が各遊離分岐について接続性修復を行う過程は同じであるため、図１０に示す遊離分岐Ｄの接続性修復過程のみについて説明する。また、遊離分岐が複数である場合、画像領域強調部１０５は、各遊離分岐について接続性修復を順次または並行に行うことができる。
【0069】
次に、接続性修復処理において、画像領域強調部１０５は、遊離分岐Ｄに対して中心線（図１０に示す太線）を抽出し、遊離分岐Ｄの中心線の２つの端点（図１０に示す星印マーク）であるＰ１及びＰ２を特定する。そして、画像領域強調部１０５は、２つの端点Ｐ１及びＰ２と血管主幹部Ｍとの距離を計算し、距離の短い端点を遊離分岐Ｄの近端点とする。ここで、２つの端点Ｐ１、Ｐ２から血管主幹部Ｍまでの至近距離（即ち、最短距離）を、端点と血管主幹部Ｍとの距離と定義する。図１０に示す例では、端点Ｐ２と血管主幹部Ｍとの距離は、端点Ｐ１と血管主幹部Ｍとの距離よりも短いため、端点Ｐ２を遊離分岐Ｄの近端点とする。
【0070】
次に、接続性修復処理において、画像領域強調部１０５は、スーパーボクセル分析として、遊離分岐Ｄから血管主幹部ＭまでのスーパーボクセルＳを分析する。そして、画像領域強調部１０５は、スーパーボクセル分析に基づいて、遊離分岐Ｄの近端点Ｐ２側を血管主幹部Ｍに接続させる。なお、スーパーボクセル分析に基づいて遊離分岐Ｄの近端点Ｐ２側を血管主幹部Ｍに接続させる方法は、既存技術であるため、本実施形態では詳細な説明を省略する。
【0071】
＜血管セグメンテーション装置１００Ｂの動作＞
次に、第３実施形態に係る血管セグメンテーション装置１００Ｂによる処理（血管セグメンテーション方法）について説明する。図１１は、第３実施形態に係る血管セグメンテーション装置１００Ｂによる処理（血管セグメンテーション方法）の手順を示すフローチャートである。
次に、第３実施形態に係る血管セグメンテーション装置１００Ｂによる処理（血管セグメンテーション方法）について説明する。図１１は、第３実施形態に係る血管セグメンテーション装置１００Ｂによる処理（血管セグメンテーション方法）の手順を示すフローチャートである。
【0072】
【0073】
次に、図１１のステップＳ３０２において、画像領域強調部１０５は、ステップＳ３００におけるセグメンテーション部１０３のセグメンテーション結果に対して、画像領域にて、図１０を参照して説明した遊離血管セグメントの接続性修復を行って、画像領域強調後のセグメンテーション結果を得る。
【0074】
ここで、第３実施形態においても、第１実施形態の具体例を適用する。図４Ａに示す対象画像、図４Ｂに示す既存技術のセグメンテーション結果、図４Ｃに示す第１実施形態のセグメンテーション結果、及び、図１２に示す第３実施形態のセグメンテーション結果を比較する。ここで、図１２に示す第３実施形態のセグメンテーション結果において、網目や斜線でハッチングした部分は、セグメンテーション部１０３によりセグメンテーションされた血管であり、図４Ｂに示す既存技術のセグメンテーション結果に対して、さらにセグメンテーションされた部分を実線枠で示している。図１２に示す第３実施形態のセグメンテーション結果は、図４Ａに示す対象医用画像の血管がセグメンテーションされており、図４Ｂに示す既存技術のセグメンテーション結果より多くの血管がセグメンテーションされている。さらに、図１２に示す第３実施形態のセグメンテーション結果では、図４Ｃに示す第１実施形態のセグメンテーション結果よりも、実線枠で示した部分が多く、微細な血管までセグメンテーションされている。
【0075】
以上の説明により、第３実施形態に係る血管セグメンテーション装置１００Ｂでは、第１実施形態と同様に、セグメンテーション結果として、より多くの血管がセグメンテーションされるため、血管セグメンテーションを高精度に行い、セグメンテーション結果における血管の接続性を改善することができる。また、第３実施形態に係る血管セグメンテーション装置１００Ｂは、画像領域強調部１０５を備えているため、スーパーボクセル法に基づいて血管セグメンテーション結果に対して遊離セグメント分析（上述の遊離分岐分析）が行われ、遊離セグメントの中心線の端点から主幹部までの距離の大きさに応じて、画像領域において切断血管（血管切断箇所）の接続性修復が行われる。これにより、第２実施形態における特徴領域強調部１０４では処理できない、突出管状構造を備えていない遊離血管の接続性の問題を解決することができる。
【0076】
（第４実施形態）
＜血管セグメンテーション装置１００Ｃの構成＞
まず、図１３を参照して、第４実施形態に係る血管セグメンテーション装置１００Ｃの構成について説明する。図１３は、第４実施形態に係る血管セグメンテーション装置の構成を示すブロック図である。
＜血管セグメンテーション装置１００Ｃの構成＞
まず、図１３を参照して、第４実施形態に係る血管セグメンテーション装置１００Ｃの構成について説明する。図１３は、第４実施形態に係る血管セグメンテーション装置の構成を示すブロック図である。
【0077】
図１３に示すように、本実施形態の血管セグメンテーション装置１００Ｃは、画像取得部１０１と、深層学習モデル取得部１０２と、セグメンテーション部１０３とを備えるのに加えて、特徴領域強調部１０４及び画像領域強調部１０５ａを備える。
【0078】
ここで、第４実施形態における画像取得部１０１、深層学習モデル取得部１０２及びセグメンテーション部１０３は、それぞれ第１実施形態における画像取得部１０１、深層学習モデル取得部１０２及びセグメンテーション部１０３と同一である。また、第４実施形態における特徴領域強調部１０４は、第２実施形態における特徴領域強調部１０４と同一である。また、第４実施形態における画像領域強調部１０５ａと第２実施形態における画像領域強調部１０５との相違点は、画像領域強調部１０５ａが処理する対象は、セグメンテーション部１０３のセグメンテーション結果ではなく、特徴領域強調部１０４によって特徴領域強調された後のセグメンテーション結果である。ここでは重複する説明を省略する。
【0079】
＜血管セグメンテーション装置１００Ｃの動作＞
次に、第４実施形態に係る血管セグメンテーション装置１００Ｃによる処理（血管セグメンテーション方法）について説明する。図１４は、第４実施形態に係る血管セグメンテーション装置１００Ｃによる処理（血管セグメンテーション方法）の手順を示すフローチャートである。
次に、第４実施形態に係る血管セグメンテーション装置１００Ｃによる処理（血管セグメンテーション方法）について説明する。図１４は、第４実施形態に係る血管セグメンテーション装置１００Ｃによる処理（血管セグメンテーション方法）の手順を示すフローチャートである。
【0080】
まず、図１４のステップＳ１００～Ｓ３０１の処理が実行される。図１４のステップＳ１００～Ｓ３０１の処理は、図６におけるステップＳ１００～Ｓ３０１の処理と同一である。このため、本実施形態では重複する説明を省略する。
【0081】
次に、図１４のステップＳ３０２において、画像領域強調部１０５は、ステップＳ３０１における特徴領域強調部１０４によって処理されたセグメンテーション結果について、画像領域にて、図１０を参照して説明した遊離血管セグメントの接続性修復を行って、画像領域強調後のセグメンテーション結果を得る。
【0082】
ここで、第４実施形態においても、第１実施形態の具体例を適用する。図４Ａに示す対象画像、図４Ｂに示す既存技術のセグメンテーション結果、図４Ｃに示す第１実施形態のセグメンテーション結果、及び、図１５に示す第４実施形態のセグメンテーション結果を比較する。ここで、図１５に示す第４実施形態のセグメンテーション結果において、網目や斜線でハッチングした部分は、セグメンテーション部１０３によりセグメンテーションされた血管であり、図４Ｂに示す既存技術のセグメンテーション結果に対して、さらにセグメンテーションされた部分を実線枠で示している。図１５に示す第４実施形態のセグメンテーション結果は、図４Ａに示す対象医用画像の血管がセグメンテーションされており、図４Ｂに示す既存技術のセグメンテーション結果より多くの血管がセグメンテーションされている。さらに、図１５に示す第４実施形態のセグメンテーション結果では、図４Ｃに示す第１実施形態のセグメンテーション結果よりも、実線枠で示した部分が多く、微細な血管までセグメンテーションされている。
【0083】
以上の説明により、第４実施形態に係る血管セグメンテーション装置１００Ｃでは、第１実施形態と同様に、セグメンテーション結果として、より多くの血管がセグメンテーションされるため、血管セグメンテーションを高精度に行い、セグメンテーション結果における血管の接続性を改善することができる。また、第４実施形態に係る血管セグメンテーション装置１００Ｃは、特徴領域強調部１０４を備えているため、セグメンテーション結果における血管切断箇所を補修し、微細血管を補充することができる。また、第４実施形態に係る血管セグメンテーション装置１００Ｃは、画像領域強調部１０５ａを備えているため、特徴領域強調部１０４では処理できない、突出管状構造を備えていない遊離血管の接続性の問題を解決することができる。
【0084】
（第５実施形態）
＜血管セグメンテーション装置１００Ｄの構成＞
まず、図１６を参照して、第５実施形態に係る血管セグメンテーション装置１００Ｄの構成について説明する。図１６は、第５実施形態に係る血管セグメンテーション装置の構成を示すブロック図である。
＜血管セグメンテーション装置１００Ｄの構成＞
まず、図１６を参照して、第５実施形態に係る血管セグメンテーション装置１００Ｄの構成について説明する。図１６は、第５実施形態に係る血管セグメンテーション装置の構成を示すブロック図である。
【0085】
図１６に示すように、本実施形態の血管セグメンテーション装置１００Ｄは、画像取得部１０１と、深層学習モデル取得部１０２と、セグメンテーション部１０３とを備えるのに加えて、さらに前処理部１０６を備える。
【0086】
ここで、第５実施形態における画像取得部１０１、深層学習モデル取得部１０２及びセグメンテーション部１０３は、それぞれ第１実施形態における画像取得部１０１、深層学習モデル取得部１０２及びセグメンテーション部１０３と同一である。このため、本実施形態では重複する説明を省略する。
【0087】
第５実施形態では、前処理部１０６は、画像取得部１０１により取得された複数枚の医用画像について前処理を行い、標準化医用画像を得る。
【0088】
さらに、第５実施形態では、深層学習モデル取得部１０２は、前処理部１０６により前処理された標準化医用画像、及び、アノテーションＧＴ（教師データ）に基づいて、中心線強調損失関数、統計的形状制約損失関数を用いた深層学習モデル訓練を行って得られた訓練済み深層学習モデルを取得する。
【0089】
前処理部１０６が複数枚の医用画像に対して行う前処理は、例えば、データフォーマット変換、クロップ（crop）、リサンプリング（resample）及び標準化（normalization）のうちの少なくとも１つが用いられる。
【0090】
データフォーマット変換による前処理では、よく用いられる医用画像フォーマットとしては、ＤＩＣＯＭ（拡張子は「.dcm」である）、ＭＨＤ（拡張子は「.mhd」または「.raw」である）、およびＮＩＦＴＹ（拡張子は「.nii」または「.nii.gz」である）がある。これらのフォーマットは、直接、深層学習操作には適さず、通常のデータフォーマット変換が必要である。
【0091】
また、クロップ（Crop）による前処理は、三次元の医用画像をその非ゼロ領域にクロップすることである。クロップ前に比べて、クロップ後の医用画像は最後のセグメンテーション結果に影響を与えることなく、画像サイズを小さくし、無駄な計算を回避し、計算効率を高めることができる。
【0092】
また、リサンプリング（Resample）による前処理では、いくつかの三次元医用画像データセットにおいて、異なる医用画像において１つのボクセル（voxel）により表される実際の空間サイズ（spacing）が一致しないという問題を解決することを目的としている。このような差異性を回避するためには、異なる医用画像データに対してボクセル空間において寸法リセットを行い、異なる画像データの中で、各ボクセルにより表される実際の物理空間が一致していることを保証する必要がある。
【0093】
また、標準化（Normalization）による前処理では、訓練セットにおける各医用画像の階調値が同じ分布を持つことができるようにすることを目的としている。
【0094】
ここで、本実施形態では、前処理部１０６は、例えば、少なくとも、クロップによる前処理、標準化による前処理を行う。
【0095】
＜血管セグメンテーション装置１００Ｄの動作＞
次に、第５実施形態に係る血管セグメンテーション装置１００Ｄによる処理（血管セグメンテーション方法）について説明する。図１７は、第５実施形態に係る血管セグメンテーション装置１００Ｄによる処理（血管セグメンテーション方法）の手順を示すフローチャートである。
次に、第５実施形態に係る血管セグメンテーション装置１００Ｄによる処理（血管セグメンテーション方法）について説明する。図１７は、第５実施形態に係る血管セグメンテーション装置１００Ｄによる処理（血管セグメンテーション方法）の手順を示すフローチャートである。
【0096】
まず、図１７のステップＳ１００の処理が実行される。
【0097】
次に、図１７のステップＳ１０１において、前処理部１０６は、例えば、取得された医用画像に対して、少なくとも、クロップによる前処理、標準化による前処理を行う。
【0098】
【0099】
ここで、第５実施形態による血管セグメンテーション装置１００Ｄは、第１実施形態と同様の効果を奏する。また、第５実施形態に係る血管セグメンテーション装置１００Ｄは、前処理部１０６を備えているため、血管セグメンテーションを迅速かつ効率的に行うことができる。
【0100】
（第６実施形態）
＜血管セグメンテーション装置１００Ｅの構成＞
まず、図１８を参照して、第６実施形態に係る血管セグメンテーション装置１００Ｅの構成について説明する。図１８は、第６実施形態に係る血管セグメンテーション装置の構成を示すブロック図である。
＜血管セグメンテーション装置１００Ｅの構成＞
まず、図１８を参照して、第６実施形態に係る血管セグメンテーション装置１００Ｅの構成について説明する。図１８は、第６実施形態に係る血管セグメンテーション装置の構成を示すブロック図である。
【0101】
図１８に示すように、本実施形態の血管セグメンテーション装置１００Ｅは、画像取得部１０１と、深層学習モデル取得部１０２と、セグメンテーション部１０３と、前処理部１０６とを備えるのに加えて、さらに形態学的処理部１０７を備える。
【0102】
ここで、第６実施形態における画像取得部１０１、深層学習モデル取得部１０２、セグメンテーション部１０３及び前処理部１０６は、それぞれ第５実施形態における画像取得部１０１、深層学習モデル取得部１０２、セグメンテーション部１０３及び前処理部１０６と同一である。このため、本実施形態では重複する説明を省略する。
【0103】
第６実施形態では、形態学的処理部１０７は、セグメンテーション結果に対して、形態学的画像処理を行い、最終的なセグメンテーション結果を得る。ここで、セグメンテーション結果は、セグメンテーション部１０３のセグメンテーション結果、第２実施形態における特徴領域強調後のセグメンテーション結果、第３実施形態における画像領域強調後のセグメンテーション結果、第４実施形態における特徴領域強調後および画像領域強調後のセグメンテーション結果であってもよい。
【0104】
画像形態学的処理としては、例えば、収縮、膨張、開演算、閉演算、骨格抽出、極線収縮、ヒットミス変換、Ｔｏｐ－ｈａｔ変換、粒子分析、流域変換、形態学的勾配などが挙げられる。その中で最も基本的な形態学的操作は、膨張（dilation）と収縮（erosion）という２種類であり、収縮と膨張の主な作用は、ノイズを除去すること、独立した画像要素をセグメンテーションして画像において隣接する要素を接続すること等にある。
【0105】
＜血管セグメンテーション装置１００Ｅの動作＞
次に、第６実施形態に係る血管セグメンテーション装置１００Ｅによる処理（血管セグメンテーション方法）について説明する。図１９は、第６実施形態に係る血管セグメンテーション装置１００Ｅによる処理（血管セグメンテーション方法）の手順を示すフローチャートである。
次に、第６実施形態に係る血管セグメンテーション装置１００Ｅによる処理（血管セグメンテーション方法）について説明する。図１９は、第６実施形態に係る血管セグメンテーション装置１００Ｅによる処理（血管セグメンテーション方法）の手順を示すフローチャートである。
【0106】
まず、図１９のステップＳ１００、Ｓ１０１、Ｓ２００、Ｓ３００の処理が実行される。ここで、図１９のステップＳ１００、Ｓ１０１、Ｓ２００、Ｓ３００の処理は、図１７におけるステップ１００、Ｓ１０１、Ｓ２００、Ｓ３００の処理と同一であるため、ここでは詳細な説明を省略する。
【0107】
次に、図１９のステップＳ４００では、セグメンテーション結果に対して、形態学的画像処理を行い、最終的なセグメンテーション結果を得る。
【0108】
ここで、第６実施形態による血管セグメンテーション装置１００Ｅは、第５実施形態と同様の効果を奏する。また、第６実施形態に係る血管セグメンテーション装置１００Ｅは、形態学的処理部１０７を備えていることで、セグメンテーション結果における、例えばノイズ等による小面積の遊離血管をさらに除去し、血管セグメンテーションの精度を高めることができる。
【0109】
以上、第１実施形態～第６実施形態について説明した。上述した各実施形態は、発明の要旨に合致する範囲で省略、置換、組み合わせ及び変更を行うことができる。
【0110】
例えば、第６実施形態では、第４実施形態における特徴領域強調部１０４及び画像領域強調部１０５ａを適用して、第７実施形態を構成することができる。
【0111】
ここで、比較例について説明する。
【0112】
既存の深層学習に基づく技術（既存技術）、本実施形態における統合損失関数を用いた深層学習に基づく技術（例えば、第５実施形態）について、それぞれ同一の肝血管セグメンテーションの具体例を適用した場合、係るセグメンテーション結果は表１に示す通りである。
【0113】
【表1】
【0114】
表１に示す例では、既存技術で肝血管セグメンテーションを行った結果、肝静脈及び門脈の中心線適合度は、それぞれ「０．７９５」、「０．８６８」である。また、本実施形態（第５実施形態）の構成で肝血管セグメンテーションを行った結果、肝静脈及び門脈の中心線適合度は、それぞれ「０．８１４」、「０．８７５」である。
【0115】
表１から明らかなように、本実施形態（第５実施形態）における肝血管セグメンテーションでは、既存技術に比べて、肝静脈及び門脈の何れもより高い中心線適合度を有する。中心線適合度は、血管セグメンテーション精度を特徴づけるための指標であり、中心線適合度が高いほど、血管セグメンテーションの精度が高い。
【0116】
また、第５実施形態と第７実施形態について、それぞれ同一の肝血管セグメンテーションの具体例を適用した場合、係るセグメンテーション結果は表２に示す通りである。
【0117】
【表2】
【0118】
表２に示す例では、第５実施形態の構成で肝血管セグメンテーションを行った結果、肝静脈及び門脈の主血管樹以外の非接続領域の数は、それぞれ「１．４」、「０．７」である。また、第７実施形態の構成で肝血管セグメンテーションを行った結果、肝静脈及び門脈の主血管樹以外の非接続領域の数は、それぞれ「０」、「０」である。
【0119】
表２から分かるように、第５実施形態の構成で肝血管セグメンテーションを行う場合、肝静脈及び門脈のセグメンテーション結果には、いずれも主血管樹以外の非接続領域が存在する。ここで、主血管樹以外の非接続接続領域とは、実際に接続しているがセグメンテーション結果が非接続となっている領域をいう。
【0120】
また、例えば、第６実施形態の構成に第４実施形態の特徴領域強調部１０４及び画像領域強調部１０５ａを適用して第７実施形態を構成し、第７実施形態の構成で肝血管セグメンテーションを行う場合、肝静脈及び門脈のセグメンテーション結果のいずれにおいても、主血管樹以外の非接続領域が存在しない。つまり、特徴領域強調部１０４及び画像領域強調部１０５ａにより、医用画像において血管と組織のコントラストが高くない場合においても、血管セグメンテーションを高精度に行い、セグメンテーション結果における血管の接続性を改善することができるということが実現されている。
【0121】
また、第５実施形態と第７実施形態について、それぞれ同一の肝血管セグメンテーションの具体例を適用し、セグメンテーション結果に係る肝静脈血管分岐及び門脈血管分岐の統計は表３に示す通りである。
【0122】
【表3】
【0123】
表３に示す例では、第５実施形態の構成で肝血管セグメンテーションを行った結果、肝静脈血管分岐の統計として、アノテーションＧＴ（教師データ）が「５５」であるのに対して、予測結果が「４５」であるため、その検出率は「８２％」である。また、第７実施形態の構成で肝血管セグメンテーションを行った結果、肝静脈血管分岐の統計として、アノテーションＧＴが「５５」であるのに対して、予測結果が「５２」であるため、その検出率は「９５％」である。
【0124】
表３に示す例では、第５実施形態の構成で肝血管セグメンテーションを行った結果、門脈血管分岐の統計として、アノテーションＧＴ（教師データ）が「３７」であるのに対して、予測結果が「３４」であるため、その検出率は「９２％」である。また、第７実施形態の構成で肝血管セグメンテーションを行った結果、門脈血管分岐の統計として、アノテーションＧＴが「３４」であるのに対して、予測結果が「３６」であるため、その検出率は「９７％」である。
【0125】
表３から分かるように、特徴領域強調部１０４及び画像領域強調部１０５ａを備える第７実施形態の構成では、第５実施形態の構成に比べて、アノテーションＧＴに対する、肝静脈及び門脈に関する予測結果の検出率は高く、それぞれ９５％及び９７％である。即ち、第７実施形態の構成では、第５実施形態の構成に比べて、血管セグメンテーションの精度が高い。
【0126】
このように、第７実施形態の構成では、特徴領域強調部１０４及び画像領域強調部１０５ａにより、医用画像において血管と組織のコントラストが高くない場合においても、血管セグメンテーションを高精度に行い、セグメンテーション結果における血管の接続性を改善することができるということが実現されている。
【0127】
また、本実施形態によれば、深層学習モデルに基づく訓練やセグメンテーションを行う際に、ＧＴにおいてアノテーションされている血管も、ＧＴにおいてアノテーションされていない血管も予測され得る。これは、完全に漏れのない血管アノテーションを実現することが実際には困難であるためである。
【0128】
（変形例）
これまで実施形態について説明したが、上述した実施形態以外にも、種々の異なる形態にて実施されてよいものである。
これまで実施形態について説明したが、上述した実施形態以外にも、種々の異なる形態にて実施されてよいものである。
【0129】
また、主に肝血管セグメンテーションを例に説明したが、本実施形態は各種の器官の血管セグメンテーションに適用され得る。すなわち、医用画像において血管と組織のコントラストが高くない場合に限り、本実施形態を有効に適用することができる。
【0130】
なお、本実施形態に係る数値範囲は一例にすぎず、必要に応じて適宜設定や変更を行うことができる。
【0131】
また、本実施形態では、血管セグメンテーション装置及び血管セグメンテーション方法を具体的に説明したが、本実施形態はこれに限られるものではなく、医用画像処理装置、集積回路、プログラム及びプログラムが記録された媒体等を含む種々の形態で具体化してもよい。
【0132】
例えば、本発明に係る医用画像処理装置は、対象医用画像を取得する対象画像取得部と、上述の血管セグメンテーション装置と、血管セグメンテーション装置によるセグメンテーション結果を出力する出力部と、を備える。
【0133】
例えば、医用画像処理装置は、コンピュータであり、各処理機能を実行する処理回路と、当該各処理機能をコンピュータによって実行可能なプログラムの形態で記憶する記憶回路とを備える。例えば、医用画像処理装置の処理回路は、対象画像取得部、画像取得部１０１、深層学習モデル取得部１０２、セグメンテーション部１０３、出力部を備える。
【0134】
医用画像処理装置において、対象画像取得部は、例えば、通信インターフェースにより医用画像診断装置から対象医用画像を取得する。または、対象医用画像が予め記憶装置に記憶され、対象画像取得部は、記憶装置から対象医用画像を読み取って取得してもよい。記憶装置の一例として、例えば、医用画像処理装置の記憶回路に当該対象医用画像が記憶されてもよいし、ＰＡＣＳや画像保管装置に当該対象医用画像が管理されてもよい。さらに、対象画像取得部は、医用画像診断装置以外の装置により処理された対象医用画像を読み取ってもよい。
【0135】
ここで、対象医用画像は、医用画像診断装置により生成される。即ち、対象医用画像は、三次元画像であってもよいし、２次元画像であってもよい。
【0136】
また、医用画像処理装置において、画像取得部１０１がアノテーションＧＴ（教師データ）及び複数枚の医用画像を取得する。深層学習モデル取得部１０２が、画像取得部１０１により取得された教師データ及び複数枚の医用画像に基づいて、少なくとも中心線強調損失関数、統計的形状制約損失関数を用いて深層学習モデル訓練を行って得られた訓練済み深層学習モデルを取得する。そして、セグメンテーション部１０３は、深層学習モデル取得部１０２により得られた訓練済み深層学習モデルに基づいて、対象画像取得部により取得された対象医用画像をセグメンテーションすることにより、血管に関するセグメンテーション結果を得る。出力部は、セグメンテーション部１０３により得られたセグメンテーション結果を出力する。
【0137】
上述の血管セグメンテーション装置の各構成は分散配置されてもよい。分散配置の一例として、例えば、訓練済み深層学習モデルは、深層学習モデル生成装置により生成されてもよい。例えば、深層学習モデル生成装置は、コンピュータであり、各処理機能を実行する処理回路と、当該各処理機能をコンピュータによって実行可能なプログラムの形態で記憶する記憶回路とを備える。例えば、深層学習モデル生成装置の処理回路は、画像取得部１０１と、深層学習モデル取得部１０２とを備える。
【0138】
深層学習モデル生成装置において、画像取得部１０１がアノテーションＧＴ（教師データ）及び複数枚の医用画像を取得する。深層学習モデル取得部１０２が、画像取得部１０１により取得された教師データ及び複数枚の医用画像に基づいて、少なくとも中心線強調損失関数、統計的形状制約損失関数を用いて深層学習モデル訓練を行って得られた訓練済み深層学習モデルを取得する。取得された訓練済み深層学習モデルは、対象医用画像を入力することで、当該対象医用画像の血管に関するセグメンテーション結果を出力するモデルである。
【0139】
さらに、深層学習モデル生成装置の処理回路は、前処理部１０６を備えてもよい。この場合、深層学習モデル生成装置において、前処理部１０６は、画像取得部１０１により取得された複数枚の医用画像について前処理を行い、標準化医用画像を得る。深層学習モデル取得部１０２は、画像取得部１０１により取得された教師データ、及び、前処理部１０６により前処理された標準化医用画像に基づいて、訓練済み深層学習モデルを取得する。
【0140】
また、医用画像処理装置において、セグメンテーション部１０３は、例えば、通信インターフェースにより深層学習モデル生成装置から訓練済み深層学習モデルを取得し、訓練済み深層学習モデルに基づいてセグメンテーション結果を得る。または、セグメンテーション部１０３は、深層学習モデル生成装置が取得した訓練済み深層学習モデルを記憶する記憶装置にアクセスして、訓練済み深層学習モデルを取得し、訓練済み深層学習モデルに基づいてセグメンテーション結果を得る。記憶装置の一例として、例えば、深層学習モデル生成装置の記憶回路に当該訓練済み深層学習モデルが記憶されてもよいし、医用画像処理装置の記憶回路に当該訓練済み深層学習モデルが記憶されてもよいし、それ以外の記憶装置に当該訓練済み深層学習モデルが記憶されてもよい。
【0141】
なお、本実施形態で図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。
【0142】
また、本実施形態で説明した方法は、予め用意されたプログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。このプログラムは、インターネット等のネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な非一時的な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【0143】
以上説明した少なくとも１つの実施形態によれば、医用画像において血管と組織のコントラストが高くない場合においても、血管セグメンテーションを高精度に行い、セグメンテーション結果における血管の接続性を改善することができる。
【0144】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0145】
１００、１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ 血管セグメンテーション装置
１０１ 画像取得部
１０２ 深層学習モデル取得部
１０３ セグメンテーション部
１０１ 画像取得部
１０２ 深層学習モデル取得部
１０３ セグメンテーション部
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】