特許 6986654 機械学習及び画像処理アルゴリズムを用いて医用画像の血管を自動的にセグメンテーションする方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6986654

(24)【登録日】2021年12月1日

(45)【発行日】2021年12月22日

(54)【発明の名称】機械学習及び画像処理アルゴリズムを用いて医用画像の血管を自動的にセグメンテーションする方法及びシステム

(51)【国際特許分類】

   A61B 6/03 20060101AFI20211213BHJP

   G06T 7/00 20170101ALI20211213BHJP

   G06T 7/11 20170101ALI20211213BHJP

【ＦＩ】

   A61B6/03 360J

   G06T7/00 350C

   G06T7/00 614

   G06T7/11

【請求項の数】6

【全頁数】16

(21)【出願番号】特願2021-512715(P2021-512715)

(86)(22)【出願日】2019年9月5日

(86)【国際出願番号】KR2019011438

(87)【国際公開番号】WO2020050635

(87)【国際公開日】20200312

【審査請求日】2021年3月5日

(31)【優先権主張番号】10-2018-0105726

(32)【優先日】2018年9月5日

(33)【優先権主張国】KR

【早期審査対象出願】

(73)【特許権者】

【識別番号】520478622

【氏名又は名称】エーアイ メディック インク．

(74)【代理人】

【識別番号】100109553

【弁理士】

【氏名又は名称】工藤 一郎

(72)【発明者】

【氏名】チョ ハンヨン

(72)【発明者】

【氏名】クォン スンスン

(72)【発明者】

【氏名】チョ ウサン

【審査官】 遠藤 直恵

(56)【参考文献】

【文献】 特開２０１１−９８１９５（ＪＰ，Ａ）

【文献】 国際公開第２０１６／１５９３７９（ＷＯ，Ａ１）

【文献】 Xiaoming LIU et al.，Automatic Organ Segmentation for CT Scans Based on Super-Pixel and Convolutional Neural Networks，Journal of Digital Imaging，2018年04月，Manuscript Number:JDIM-D-17-00244R1

【文献】 Huiyan JIANG et al.，A Region Growing Vessel Segmentation Algorithm Based on Spectrum Information，Conputational and Mathematical Methods in Medicine，2013年11月，Vol. 2013 Article ID 743870，1-9

【文献】 Weii-Chih HUNG et al.，Adversarial Learning for Semi-Supervised Semantic Segmentation，aeXiv.org，2018年07月

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ６／００−６／１４、５／０５５

Ｇ０６Ｔ １／００−１／４０、３／００−５／５０，７／００−７／９０、９／００−９／４０

(57)【特許請求の範囲】

【請求項1】

コンピュータを利用して患者の３次元医用画像データを３次元形状血管データにセグメンテーションする方法であって、
患者の３次元医用画像データの入力を受けるステップと、
３次元形状血管データを生成するように機械学習されたセグメンテーションプログラムを用いて、前記入力された３次元医用画像データから３次元形状の機械−学習血管データを生成するステップと、
画像処理セグメンテーションプログラムを用いて、前記入力された３次元医用画像データと前記生成された３次元形状の機械−学習血管データから補正された３次元形状血管データを生成するステップと、を含み、
前記３次元形状の機械−学習血管データは、血管領域ではない少なくとも一つのノイズデータセット、及び血管領域が欠落したデータセットで構成され、
前記画像処理セグメンテーションプログラムは、入力された３次元医用画像データと生成された３次元形状の機械−学習血管データとを比較して、入力された３次元医用画像データの血管領域データの座標をマッチングするステップと、マッチングされた血管領域データをシードとして用いて、入力された３次元医用画像データを処理して３次元形状の機械−学習血管データの欠落血管領域を連結するステップと、連結された血管セグメンテーションデータのボリュームを計算するステップと、前記計算されたボリュームが所定の値以下である血管領域のデータをノイズとして除去して、補正された３次元形状血管データを生成するステップと、を含む、３次元形状血管データを自動的にセグメンテーションする方法。

【請求項2】

前記機械学習されたセグメンテーションプログラムはＦＣＮアルゴリズムを含む、請求項１に記載の３次元形状血管データを自動的にセグメンテーションする方法。

【請求項3】

前記機械学習されたセグメンテーションプログラムのＦＣＮアルゴリズムは、
３次元医用画像のアキシアル方向スライスイメージをそれぞれビットマップイメージに変換し、それぞれの変換されたビットマップイメージの血管領域をラベリングし、それぞれのラベリングされたビットマップイメージを学習データとして活用するためにマスクイメージに変換し、前記変換されたビットマップイメージとマスクイメージとを１対にして学習されたＦＣＮアルゴリズムである、請求項２に記載の３次元形状血管データを自動的にセグメンテーションする方法。

【請求項4】

前記機械学習されたセグメンテーションプログラムはＧＡＮアルゴリズムをさらに含む、請求項３に記載の３次元形状血管データを自動的にセグメンテーションする方法。

【請求項5】

前記画像処理セグメンテーションプログラムの欠落血管領域を連結するステップは、マッチングされた血管領域データをシードとして用いて、３次元医用画像データを領域成長アルゴリズム（Ｒｅｇｉｏｎ Ｇｒｏｗｉｎｇ Ａｌｇｏｒｉｔｈｍ）で処理して３次元形状の機械−学習血管データの欠落血管領域を連結するように構成された、 請求項１乃至４のいずれか一項に記載の３次元形状血管データを自動的にセグメンテーションする方法。

【請求項6】

患者の３次元医用画像データを自動的に３次元形状血管データにセグメンテーションするコンピュータシステムであって、
前記コンピュータシステムは、プロセッサとメモリを含み、前記メモリは、前記プロセッサで実行されるためのアプリケーションプログラムを含み、
前記アプリケーションプログラムは、機械学習セグメンテーションプログラムと画像処理セグメンテーションプログラムを含み、
前記機械学習セグメンテーションプログラムは、入力された患者の３次元医用画像データを処理して、血管領域ではない少なくとも一つのノイズデータセットと血管領域が欠落したデータセットを含む３次元形状の機械−学習血管データを生成するように構成され、
前記画像処理セグメンテーションプログラムは、前記入力された３次元医用画像データと前記生成された３次元形状機械−学習血管データとを比較して、入力された３次元医用画像データの血管領域データの座標をマッチングし、マッチングされた血管領域データの座標をシードとして用いて３次元医用画像データを処理して３次元形状の機械−学習血管データの欠落血管領域を連結し、連結された血管セグメンテーションデータのボリュームを計算し、前記計算されたボリュームが所定の値以下である血管領域のデータをノイズとして除去して、補正された３次元形状血管データを生成するように構成されたことを特徴とする、患者の３次元医用画像データを自動的に３次元形状血管データにセグメンテーションするためのコンピュータシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、医用画像データから血管を自動的にセグメンテーションする方法及びシステムに関する。より詳細には、機械学習と画像処理アルゴリズムを用いて医用画像の血管を自動的にセグメンテーションする方法及びシステムに関する。

【背景技術】

【0002】

３次元医用画像データは、患者の血管や骨などのさまざまな人体部分についての情報を含んでいる。血管に異常がある患者の診断及び治療を行うために、３次元医用画像データから血管を抽出してセグメンテーション（Ｓｅｇｍｅｎｔａｔｉｏｎ）する作業が必要である。現在、医療現場で３次元医用画像データを解析して血管を抽出及びセグメンテーションする作業は、ほとんど手作業で行われている。血管のセグメンテーションを手作業で行う場合、血管のセグメンテーションに多くの時間がかかり、作業者（医師又は技術者）のミスによる血管セグメンテーションエラーが発生するおそれがあり、同じ３次元医用画像に対して作業者ごとに同じ結果を得るための標準化が難しいという問題点がある。

【0003】

３次元医用画像データから作業者の介入なしに血管を自動的に検出し、セグメンテーションして３次元形状データに再構成する技術は、血管に関連する疾患の診断、治療及びモニタリングをより迅速かつ正確に行うことができる。

【0004】

例えば、非特許文献１には、患者の心臓ＣＴ画像から冠状動脈の３次元形状を構成し、３次元形状の冠状動脈に対して血流力学シミュレーションを行って非侵襲的にＦＦＲ数値を予測し、冠状動脈疾患を診断する技術（ＣＴ−ＦＦＲ技術）が開示されている。もし心臓ＣＴ画像から冠状動脈を自動的に検出し、セグメンテーションすることができる場合には、ＣＴ画像を持って冠状動脈の狭窄による疾患の診断をより迅速かつ正確に行うことができる。また、特許文献１には、医用画像から脳血管の３次元形状を構成し、流体構造相互作用モデリング（ＦＳＩ、Ｆｌｕｉｄ Ｓｔｒｕｃｔｕｒｅ Ｉｎｔｅｒａｃｔｉｏｎ Ｍｏｄｅｌｉｎｇ）とシミュレーションを行って脳血管の機能を予測するための技術が開示されている。もし脳を撮影した３次元画像から脳血管の３次元形状を自動的に検出し、セグメンテーションすることができる場合には、脳血管に対する解剖学的状態を迅速に把握して診断に活用することができるだけでなく、脳血管に対するシミュレーションを迅速かつ正確に行って脳血管の血流の圧力及び速度を予測し、脳血管に対する状態を機能的に把握し、診断に活用することができる。

【0005】

最近、機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）を用いた血管のセグメンテーション技術が開発されている。特許文献２には、血管方向テンソルクラシファイア学習（ｔｒａｉｎｅｄ ｖｅｓｓｅｌ ｏｒｉｅｎｔａｔｉｏｎ ｔｅｎｓｏｒ ｃｌａｓｓｉｆｉｅｒ）を用いてボクセルから血管をセグメンテーションする技術が開示されている。また、機械学習を用いて血管をセグメンテーションする技術については、非特許文献２〜４に開示されている。また、特許文献３には、ユーザーが介入して３次元医用画像データから自動的に血管をセグメンテーションする技術が開示されている。

【0006】

本発明の発明者らが機械学習による血管のセグメンテーションを試みた結果、血管ではない部分を血管にセグメンテーションする場合（ノイズ又はアウトライアーの生成）と、血管である部分を血管ではないとしてセグメンテーションから除外する場合（血管領域の欠落）が発生することが分かった。このようなエラーが発生する原因としては、機械学習に使用されたデータの量が足りないことや、不正確にラベリングされたマスクデータが機械学習に使用されたことと推定される。結局、現在の技術レベルで機械学習方法で血管をセグメンテーションする場合、ある程度の血管ノイズと血管欠落を避けることが難しいことが分かった。

【0007】

一方、既知の画像処理アルゴリズムで３次元医用画像データから血管をセグメンテーションする場合、これまで知られている画像処理アルゴリズムが完璧ではないため、血管のセグメンテーションが完全に自動化されていない。特に、冠状動脈のセグメンテーション又は脳血管のセグメンテーションにおいて、血流力学シミュレーションを行うほどのレベルで正確な血管の形状と寸法を完全に自動的にセグメンテーションする方法は開発されていない。したがって、セグメンテーションの開始前に作業者がセグメンテーションのためのシードを入力するか、或いはセグメンテーション途中又は完了後に作業者が介入してセグメンテーションエラー領域を除去又は修正する過程が求められる。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】US 2012/0203530 A1, METHOD AND SYSTEM FOR PATIENTS PECIFIC COMPUTATIONAL MODELING AND SIMULATION FOR COUPLED HEMODYNAMIC ANALYSIS OF CEREBRAL VESSELS

【特許文献2】US 2017/0262981 A1, METHOD AND SYSTEM FOR MACHINE LEARNING BASED ESTIMATION OF ANISOTROPIC VESSEL ORIENTATION TENSOR

【非特許文献】

【0009】

【非特許文献1】Kwon, Soon-Sung, et al. "A novel patient-specific model to compute coronary fractional flow reserve." Progress in biophysics and molecular biology 116.1 (2014): 48-55.

【非特許文献2】Manoj, S., Sandeep PM Muralidharan, and M. Sandeep. "Neural network based classifier for retinal blood vessel segmentation." International Journal of Recent Trends in Electrical & Electronics Engineering 3.1 (2013): 44-53.

【非特許文献3】Moeskops, Pim, et al. "Deep learning for multi-task medical image segmentation in multiple modalities." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2016.

【非特許文献4】Long, Jonathan, Evan Shelhamer, and Trevor Darrell. "Fully convolutional networks for semantic segmentation." Proceedings of the IEEE conference on computer vision and pattern recognition. 2015.

【非特許文献5】Goodfellow, Ian, et al. "Generative adversarial nets." Advances in neural information processing systems. 2014.

【発明の概要】

【発明が解決しようとする課題】

【0010】

本発明は、作業者の介入なしに３次元医用画像データから迅速かつ正確に３次元形状血管データを完全自動的にセグメンテーションすることができる新規な方法及び装置に対する要求がある。本発明は、このような要求を満たすことができる新規な血管のセグメンテーション方法及び装置を提供することを目的とする。
特に、本発明は、機械学習方法によるセグメンテーション方法の欠点を画像処理アルゴリズムによるセグメンテーション方法で補完して作業者の介入なしに血管を自動的にセグメンテーションすることができる新規な方法及びシステムを提供する。

【課題を解決するための手段】

【0011】

本発明に係る患者の３次元医用画像データから３次元形状血管データをセグメンテーション（Ｓｅｇｍｅｎｔａｔｉｏｎ）する方法は、コンピュータシステム内でプログラムの形態で実行される。本発明に係る３次元形状血管データを自動的にセグメンテーションする方法は、患者の３次元医用画像データの入力を受けるステップと、３次元形状血管データを生成するように機械学習されたセグメンテーションプログラムを用いて、前記入力された３次元医用画像データから３次元形状の機械−学習血管データを生成するステップと、画像処理プログラムを用いて、前記入力された３次元医用画像データと前記生成された３次元形状の機械−学習血管データから補正された３次元形状血管データを生成するステップとを含む。また、前記３次元形状の機械−学習血管データは、血管領域ではない少なくとも一つのノイズデータセット、及び血管領域が欠落した少なくとも一つの欠落データで構成され、前記画像処理プログラムは、入力された３次元画像データと生成された３次元形状の機械−学習データとを比較して血管領域をマッチングし、前記欠落したデータセットを補充し、前記ノイズデータセットを除去するように構成され、前記補正された３次元形状血管データを生成する。

【0012】

本発明において、３次元医用画像データは、ＣＴ画像、ＭＲＩ画像及び超音波画像を含む。機械学習されたセグメンテーションプログラムは、ＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、ＦＣＮ（ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）アルゴリズムを含むことができる。

【0013】

幾つかの実施形態において、前記機械学習されたセグメンテーションプログラムは、ＦＣＮアルゴリズムを含むことが好ましい。前記機械学習されたセグメンテーションプログラムのＦＣＮアルゴリズムは、３次元医用画像のアキシアル（ａｘｉａｌ）方向スライスイメージ（ｓｌｉｃｅ ｉｍａｇｅ）をそれぞれビットマップイメージに変換し、それぞれの変換されたビットマップイメージの血管領域をラベリング（ｌａｂｅｌｉｎｇ）し、それぞれのラベリングされたビットマップイメージを学習データとして活用するためにマスクイメージに変換し、前記変換されたビットマップイメージとマスクイメージとを一対にして学習されたアルゴリズムである。幾つかの実施形態において、前記機械学習されたセグメンテーションプログラムは、ＧＡＮアルゴリズムをさらに含むことができる。

【0014】

幾つかの実施形態において、前記画像処理プログラムは、生成された３次元形状の機械−学習データの座標情報をシードとして用いて、前記入力された３次元画像データの血管領域をセグメンテーションし、セグメンテーションされた３次元形状血管データのボリュームを演算し、演算されたボリュームが所定の値以下である血管データはノイズデータセットと判断して除去するように構成できる。

【0015】

幾つかの実施形態において、前記画像処理プログラムは、生成された３次元形状の機械−学習データの座標情報をシードとして用いて、前記入力された３次元画像データ血管領域に領域成長アルゴリズム（Ｒｅｇｉｏｎ Ｇｒｏｗｉｎｇ Ａｌｇｏｒｉｔｈｍ）を用いて欠落データセット領域を連結し、欠落したデータセット領域が連結された３次元形状血管データのボリュームを演算し、演算されたボリュームが所定の値以下である血管データはノイズデータセットと判断して除去するように構成できる。

【0016】

本発明の他の側面によれば、コンピュータを利用して患者の３次元医用画像データから３次元形状血管データをセグメンテーションするための医用画像処理システムが提供される。本発明に係る３次元医用画像処理システムは、請求項１乃至６のいずれか一項に記載の方法を行うためのコンピュータプログラムがインストールされたコンピュータを含むシステムである。

【0017】

本発明に係る３次元医用画像で血管を自動的にセグメンテーションする方法は、コンピュータを利用して患者の３次元医用画像データから３次元形状血管データを自動的にセグメンテーションする方法であって、患者の３次元医用画像データの入力を受けるステップと、人工知能ニューラルネットワークを利用して、入力された患者の３次元医用画像データを処理して、１次３次元形状の血管データを生成するステップと、前記１次３次元形状の血管データを画像処理して２次３次元形状の血管データを生成するステップとを含み、前記２次３次元形状の血管データを生成するステップは、１次３次元形状の血管データをシードとして用いて２次３次元形状の血管データを生成する。本発明において、人工知能ニューラルネットワークは、ＣＮＮ又はＦＣＮを含む。

【0018】

幾つかの実施形態において、前記人工知能ニューラルネットワークを利用して１次に血管領域をセグメンテーションするステップは、人工知能ニューラルネットワークを構成するステップと、複数の患者の３次元医用画像を加工して人工知能ニューラルネットワークを学習させるステップと、学習された人工知能ニューラルネットワークで、学習資料として使用されていない患者の３次元医用画像を１次セグメンテーションするステップとを含む。また、前記人工知能ニューラルネットワークを構成するステップは、初動学習のためにＦＣＮを構成するステップと、ＧＡＮアルゴリズムを適用してニューラルネットワークの性能を向上させるために、前記ＦＣＮをジェネレータモジュールとして用いるステップと、ＧＡＮアルゴリズムの実行のためにディスクリミネータモジュールを構築するステップとを含むことができる。

【0019】

本発明において、前記人工知能ニューラルネットワークを利用して１次に生成された３次元形状の血管データは、血管領域ではない少なくとも一つのノイズデータセット、及び血管領域が欠落した少なくとも一つの欠落データセットで構成される。

【0020】

幾つかの実施形態において、前記２次３次元形状の血管データを生成するステップは、１次３次元形状の血管データと入力された３次元画像データとを比較して血管領域をマッチングするステップと、前記欠落データセットを補充して血管を連結するステップと、前記ノイズデータセットを除去するステップとを含む。また、前記欠落データセットを補充して血管を連結するステップは、生成された１次３次元形状の血管データの座標情報をシードとして用いて、前記入力された３次元画像データの血管領域に領域成長アルゴリズムを用いて欠落データ領域を連結することができる。また、前記ノイズデータセットを除去するステップは、欠落データ領域が連結された３次元形状血管データセットのボリュームを演算するステップと、演算されたボリュームが所定の値以下である血管データセットをノイズデータと判断して除去するステップとを含むことができる。

【発明の効果】

【0021】

本発明に係る患者の３次元医用画像データから３次元形状血管データをセグメンテーションする方法は、機械学習と画像処理アルゴリズムの欠点を補完して３次元形状の血管データセグメンテーションを完全自動的に処理する。

【0022】

本発明に係る方法は、機械学習によって生成された３次元形状血管データを画像処理アルゴリズムのシードとして使用する。機械学習によって生成された３次元形状血管データは、血管以外の部分がセグメンテーションされたノイズデータセットを含み、且つ血管領域のデータが欠落した不正確なデータである。３次元画像処理アルゴリズムは、不正確な機械学習によって生成された３次元形状血管データをシードとして用いて、原本医用画像データを処理し、欠落した血管データセットを補充して連結し、ノイズデータセットを除去することにより、３次元形状血管データを生成する。

【0023】

従って、本発明に係る方法は、作業者の介入なしに完全自動的に迅速かつ正確に３次元形状血管データを生成することができる。

【図面の簡単な説明】

【0024】

【図1】本発明に係る医用画像処理システムの構成を示す概略図である。

【図2】図２（ａ）は機械学習のための心臓ＣＴ画像の原本画像、図２（ｂ）は図２（ａ）の原本画像に血管領域をラベリングした画像である。

【図3】機械学習に使用するために図２（ｂ）のラベリングされた画像を用いて作成したマスクイメージである。

【図4】ニューラルネットワーク学習のための原本イメージセット（ａ）とマスクイメージセット（ｂ）を示す図である。

【図5】スライドが±ｋ枚で重畳するｗｉｎｄｏｗｉｎｇ技法の適用時にセグメンテーション対象である血管部分が重畳する分布を示す説明図である。

【図6】畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＣＮＮ）の一種であるＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）の構造を示す説明図である。

【図7】本発明に使用されたＧＡＮアルゴリズムを示す概略図である。

【図8】心臓ＣＴスライド一枚を本発明に係る機械学習セグメンテーションプログラムによって処理した結果を示すイメージである。

【図9】患者の３次元心臓ＣＴ画像を本発明による機械学習セグメンテーションプログラムによって処理した結果を示す冠状動脈の３次元形状図である。

【図10】本発明に係る画像処理セグメンテーションプログラムで行われる２次セグメンテーションの手順を示すフローチャートである。

【図11】本発明に係る画像処理セグメンテーションプログラムで行われた、図９に示された１次セグメンテーション結果を２次セグメンテーションした結果を示す冠状動脈の３次元形状図である。

【発明を実施するための形態】

【0025】

以下、添付図面を参照して、本発明の一実施形態に係る３次元形状血管データを自動的にセグメンテーションする方法を説明する。

【0026】

図１は本発明に係る医用画像処理システムの構成を示す概略図である。本発明に係る３次元医用画像処理システム２００は、典型的なコンピュータシステムを使用するか、或いはＣＴ撮影装置などの３次元医用画像取得装置のシステムに組み込まれた装置であり得る。典型的なコンピュータシステムは、プロセッサ、メモリ、ストレージ、入力及び出力装置、通信装置を備え、オペレーティングシステムとアプリケーションプログラムを備える。

【0027】

本発明に係る患者の３次元医用画像データから３次元形状血管データをセグメンテーション（Ｓｅｇｍｅｎｔａｔｉｏｎ）する方法は、コンピュータシステム２００内でプログラムの形態で実行される。画像処理システム２００は、アプリケーションプログラムとして機械学習セグメンテーションプログラム１１０と画像処理セグメンテーションプログラム１３０を含む。機械学習セグメンテーションプログラム１１０は、３次元医用画像データ１００（ＤＩＣＯＭ標準形式のファイルが好ましいが、これに限定されるものではない）の入力を受け、３次元形状の機械−学習血管データ１２０を生成して出力する。出力された３次元形状の機械−学習血管データ１２０は、画像処理システム２００のメモリに格納される。３次元形状の機械−学習血管データ１２０は、血管以外の部分がセグメンテーションされたノイズデータセットを含み、かつ血管領域のデータが欠落した不正確なデータである。画像処理セグメンテーションプログラム１３０は、機械−学習セグメンテーションプログラム１３０が生成した３次元形状の機械−学習血管データ１２０と３次元医用画像データ１００の入力を受け、補正された３次元形状血管データ１４０を生成して出力する。補正された３次元形状血管データ１４０は、欠落した血管領域データが連結され、ノイズが除去された３次元形状血管データである。

【0028】

以下、図２乃至図９を参照して機械学習セグメンテーションプログラム１１０について説明する。

【0029】

機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ又はＤｅｅｐ Ｌｅａｒｎｉｎｇ）アルゴリズムを利用して、３次元医用画像から３次元形状血管セグメンテーションを行うために、まずＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）又はＦＣＮ（ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）ニューラルネットワークを構築し、ニューラルネットワークに対する学習が先行すべきである。機械学習のためには、血管が含まれている原本画像データ、及び原本画像の血管領域を示すラベリング（ｌａｂｅｌｉｎｇ）されたデータが必要である。本明細書において、ＣＮＮ、ＦＣＮのように学習のためのニューラルネットワークを人工知能ニューラルネットワークで表現する。

【0030】

図２（ａ）は心臓ＣＴ画像の原本画像であり、図２（ｂ）は機械学習に使用されるグラウンドトゥルース（ｇｒｏｕｎｄ ｔｒｕｔｈ）画像であるマスク（ｍａｓｋ）イメージを生成するために図２（ａ）の原本画像に血管領域をラベリングした画像である。ラベリングは、心臓血管に対する解剖学知識があり、ＣＴ画像解析能力を備えた専門家によって行われる。

【0031】

図３は機械学習に使用するために、図２（ｂ）のラベリングされた画像を用いて作成したマスクイメージを示す。マスクイメージは、ラベリングされた部分のみを分離してニューラルネットワークの学習に直接利用するための目的で生成される。本実施形態において、マスクイメージは、図２に示すように、ラベリングされた（セグメンテーションされた）部分は緑色、残りの領域はすべて黒色で表示した。緑色で表示されたマスク（ｍａｓｋ）イメージは、図２（ａ）の原本画像における血管の位置と面積に関する情報を提供する。

【0032】

図４はニューラルネットワーク学習のための原本イメージセットとマスクイメージセットを示す。ニューラルネットワーク学習のためのデータは、図４に示すように、原本画像と原本画像に対応するマスクイメージとが１対として構成される。一般的にＣＴ、ＭＲＡなどの医用画像は、患者を撮影する場合、約１００〜３００枚程度のアキシアル（ａｘｉａｌ）シートイメージが生成される。したがって、一つのケースの学習データは、医用画像データの枚数の２倍である約２００〜６００枚になる。

【0033】

医用画像は、Ｚ軸を基準に順次連結されたそれぞれのスライドで構成されている。これにより、セグメンテーションしようとする血管の位置が前のスライドと比較して多く移動又は変化しない特徴を持つ。このような特徴のため、一枚のスライドをそれぞれニューラルネットワークに入力せずに、一枚のスライドから＋Ｚ軸方向にｋ枚、−Ｚ軸方向にｋ枚の画像を積んで（ｗｉｎｄｏｗｉｎｇ技法）前後の血管に対する情報を含むデータをニューラルネットワークに入力する。前記ｗｉｎｄｏｗｉｎｇ技法を使用すると、医用画像内の血管位置や血管連結に関する情報を提供するので、ピクセル単位の学習を繰り返し行わなくてもよいという利点があり、性能の向上にも役立つ。前記ｗｉｎｄｏｗｉｎｇ技法は、既存の機械学習を用いた血管セグメンテーション方法で主に使用されるボクセル（ｖｏｘｅｌ）単位の学習とは差別される。本発明では、ピクセル単位の学習のみ行い、±ｋ枚で構成されたデータは、血管に対する情報のみをニューラルネットワークに提供するだけであり、学習に直接利用しない。Ｗｉｎｄｏｗｉｎｇ技法を適用すると、上記で提起されたように、Ｚ軸を基準に±ｋ枚の層で構成するので、ターゲット（ｔａｒｇｅｔ）血管が存在するスライドと±ｋ枚内のスライドには、血管が重なり合う区間が必ず存在する。

【0034】

図５はスライドが±ｋ枚で重畳するｗｉｎｄｏｗｉｎｇ技法の適用時にセグメンテーションの対象である血管部分が重畳する分布を示す。結果的に、ニューラルネットワーク前後の血管情報を提供するための入力データは、単一画像ではなく、２ｋ＋１のｗｉｎｄｏｗｉｎｇ ｓｔａｃｋが入力され、医用画像に対してピクセル単位のＸ軸、Ｙ軸のサイズをそれぞれｘ、ｙと定義する場合、ｓｔａｃｋは（ｘ、ｙ、２ｋ＋１）次元のテンソル（ｔｅｎｓｏｒ）になる。ところが、上記で提起されたように、ニューラルネットワーク学習には直接利用されない。

【0035】

図６は畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＣＮＮ）の一種であるＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）の構造を示す。ＣＮＮ又はＦＣＮニューラルネットワーク学習をディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）又は人工知能（ＡＩ、ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）学習という。ＦＣＮの実現は、ｐｙｔｈｏｎ ｏｐｅｎ ｌｉｂｒａｒｙの中で最も効率性が高く、関連技術に多く用いられているテンソルフロー（ｔｅｎｓｏｒｆｌｏｗ）を使用する。本発明において、ＦＣＮは、Ｃｏｎｖｏｌｕｔｉｏｎ−Ｒｅｌｕ−Ｍａｘｐｏｏｌｉｎｇを一つのセットとし、１セットを４つの層で構成してダウンサンプリング（ｄｏｗｎｓａｍｐｌｉｎｇ）を行うようにした。また、ニューラルネットワークの最後の部分にはアップサンプリング（ｕｐｓａｍｐｌｉｎｇ）と同時にセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）を行うための３つのデコンボリューション（Ｄｅｃｏｎｖｏｌｕｔｉｏｎ）層で構成した。また、ダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）とアップサンプリング（ｕｐｓａｍｐｌｉｎｇ）を行う層の間には、ｓｋｉｐ−ｃｏｎｎｅｃｔｉｏｎを行うための層を構成した。Ｓｋｉｐ−ｃｏｎｎｅｃｔｉｏｎは、ディープラーニング層が深くなるほどｌｏｃａｌ ｆｅａｔｕｒｅの情報は失い、ｇｌｏｂａｌ ｆｅａｔｕｒｅの情報が優勢となるようにする役割を果たす。前記ｓｋｉｐ−ｃｏｎｎｅｃｔｉｏｎ技術は、医用画像から血管の位置はよく見付けるが、血管領域（ｌｕｍｅｎ）の面積を正確にセグメンテーションすることが難しいという問題を解決するための目的で適用した。前記ｓｋｉｐ−ｃｏｎｎｅｃｔｉｏｎを使用すると、ｌｏｃａｌ ｆｅａｔｕｒｅ情報の損失が発生する直前層のｆｅａｔｕｒｅ情報を格納して、ｇｌｏｂａｌ ｆｅａｔｕｒｅ情報が優勢な層のｆｅａｔｕｒｅ情報と結合するので、血管の領域（面積）に対する問題を解決することができる。

【0036】

前記ＦＣＮで構成された人工知能ニューラルネットワーク学習は、ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔアルゴリズムの中で最も最適化された技法であるＡＤＡＭ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ）を用いてｗｅｉｇｈｔとｂｉａｓを繰り返し更新しながらｃｒｏｓｓ ｅｎｔｒｏｐｙを最小値に収束するようにする。Ｃｒｏｓｓ ｅｎｔｒｏｐｙを最小化するために、１０万回程度のｉｔｅｒａｔｉｏｎによる初動学習を行う。非特許文献３及び４には、ＣＮＮ及びＦＣＮに対する技術が開示されている。

【0037】

また、ディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）ニューラルネットワークの精度を向上させるために、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）アルゴリズムをさらに適用することができる。図７は本発明に使用されたＧＡＮアルゴリズムに対する概略図である。ＧＡＮアルゴリズムは、血管セグメンテーションのためのニューラルネットワークである、前記開発されたＦＣＮをジェネレータモジュール３００として使用し、セグメンテーション結果を検収するためのニューラルネットワークであるディスクリミネータモジュール３１０を開発して統合した。ジェネレータモジュール３００とディスクリミネータモジュール３１０の出力が完全接続ニューラルネットワーク３２０に伝達される。前記ディスクリミネータモジュール３１０とジェネレータモジュール３００のｍｉｎ−ｍａｘ ｐｒｏｂｌｅｍで、ディスクリミネータモジュール３１０はｍａｘ値１に近接するための学習を行い、ジェネレータモジュール３００はｍｉｎ値０に近接する値を作るための学習を行う。完全接続ニューラルネットワーク３２０は、４つの層で構成されており、活性関数（ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）は、他の層と同様にＲｅｌｕ関数を使用した。完全接続ニューラルネットワーク３２０は、入力されたマスク（ｍａｓｋ）イメージがリアル（ｒｅａｌ）イメージであるか、ジェネレータモジュールから出力されたフェイク（ｆａｋｅ）イメージであるかを検収する。一般的に、ＧＡＮモデルは、最初から二つのニューラルネットワークを同時に学習し、ディスクリミネータのグラジエント（ｇｒａｄｉｅｎｔ）をジェネレータモジュールに適用して変数を修正するが、本発明では、学習過程を２ステップに分離して行った。本発明でも、二つのニューラルネットワークが同時に学習されるが、初動学習ステップではディスクリミネータのグラジエント（ｇｒａｄｉｅｎｔ）がジェネレータモジュールに伝達されない。１０万回程度のｉｔｅｒａｔｉｏｎによる初動学習過程で、ジェネレータモジュールは実際グラウンドトゥルース（ｇｒｏｕｎｄ ｔｒｕｔｈ）データの確率分布を調べ出して模写する方向に学習される。初動学習後にモデルが収束すると、追加学習を行うが、この時、ディスクリミネータモジュールのｇｒａｄｉｅｎｔをジェネレータモジュールに入力してウェイト（ｗｅｉｇｈｔ）、バイアス（ｂｉａｓ）を再修正する。ＧＡＮアルゴリズムの学習は、一種のｍｉｎ−ｍａｘ ｐｒｏｂｌｅｍを解決するために競争する方法であるといえる。非特許文献５には、ＧＡＮ学習に対する技術が公開されている。

【0038】

本発明に係る人工知能ニューラルネットワークの学習ステップは、複数の２次元断層の医用画像であるＤＩＯＣＭ形式の原本ファイルを学習に利用するためのデータとして活用するために、ビットマップイメージ（ｂｉｔｍａｐ ｉｍａｇｅ、ＢＭＰ）に変換するステップと、複数の２次元断層画像内の血管をセグメンテーションして学習に正解（ｌａｂｅｌｉｎｇ）データとして使用するためにビットマップイメージ（ｂｉｔｍａｐ ｉｍａｇｅ、ＢＭＰ）を格納するステップと、ニューラルネットワーク学習に直接用いることができるように加工された正解（ｌａｂｅｌｉｎｇ）データからマスク（ｍａｓｋ）イメージを生成する前処理（ｐｒｅ−ｐｒｏｃｅｓｓｉｎｇ）ステップと、ビーズマップイメージとマスクイメージでＦＣＮを学習させるステップとを含む。

【0039】

また、本発明に係る人工知能ニューラルネットワークの学習にＧＡＮアルゴリズムをさらに学習させることができる。本発明に係るＧＡＮアルゴリズムをさらに学習させるための人工知能ニューラルネットワークの学習ステップは、Ｚ軸を基準に積み上げた２次元断層画像を、Ｚ軸に積み上げた原本ファイルを用いてビットマップイメージに変換したデータと前処理ステップでマスク（ｍａｓｋ）されたイメージとを一対にしてＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）アルゴリズム（ジェネレータモジュール）に入力するステップと、ＦＣＮの初期の３層と後期のｄｅｃｏｎｖｏｌｕｔｉｏｎａｌ３層との間にｓｋｉｐ−ｃｏｎｎｅｃｔｉｏｎを構成して画像情報の補完を行うステップと、ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔアルゴリズムであるＡＤＡＭ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ）を用いてｃｒｏｓｓ ｅｎｔｒｏｐｙが最小化されるように変数を初動学習させるステップと、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）アルゴリズムをニューラルネットワークに適用するためのディスクリミネータ（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）モジュールを開発するステップと、ジェネレータ（ｇｅｎｅｒａｔｏｒ）モジュールであるＦＣＮから出力したフェイクイメージ（ｆａｋｅ ｉｍａｇｅ）又はマスク（ｍａｓｋ）されたイメージ（ｒｅａｌ ｉｍａｇｅ）を任意にディスクリミネータモジュールに入力してイメージを区分するステップと、前記ステップを繰り返し行ってディスクリミネータモジュールとジェネレータモジュールのｍｉｎ−ｍａｘ ｐｒｏｂｌｅｍを用いて競争学習を行うステップと、ディスクリミネータのｇｒａｄｉｅｎｔをジェネレータモジュールに適用してｗｅｉｇｈｔ及びｂｉａｓを修正し、ｃｒｏｓｓ ｅｎｔｒｏｐｙを前記ステップと比較してより一層最小化する変数を追跡するステップとを含むことができる。

【0040】

本発明に係る機械学習セグメンテーションプログラム１１０は、上述の方法によって学習されたアルゴリズムを含んでいるが、これに限定されるものではなく、既知の他の機械学習（ディープラーニング）アルゴリズムを含むこともできる。図８は心臓ＣＴスライド一枚を本発明に係る機械学習セグメンテーションプログラムによって処理した結果を示すイメージであり、図９は患者の３次元心臓ＣＴ画像を本発明による機械学習セグメンテーションプログラムによって処理した結果を示す冠状動脈の３次元形状である。

【0041】

機械学習セグメンテーションプログラム１１０で心臓ＣＴスライド一枚に対してセグメンテーションを行った場合、図８に示すように、血管領域に対するセグメンテーションがよく行われたことを確認することができるが、患者の心臓ＣＴを構成する２００〜３００枚のスライスに対してセグメンテーションを行った場合、図９に示すように、血管ではないところがセグメンテーションされた部分４００と血管である領域をセグメンテーションしていない欠落部分５００があることを確認することができる。

【0042】

一般的に、機械学習セグメンテーションプログラム１１０で生成された３次元形状の機械−学習血管データ１２０は、血管以外の部分がセグメンテーションされたノイズデータセットを含み、かつ血管領域のデータが欠落した欠落データセットを含む不正確にセグメンテーションされたデータである。

【0043】

本発明は、このように不正確な３次元形状の機械−学習血管データ１２０を補完するために、画像処理セグメンテーションプログラム１３０で、機械学習アルゴリズムによって１次にセグメンテーションされた３次元形状の機械−学習血管データ１２０を２次にセグメンテーションして補正するステップを行う。

【0044】

図１０は本発明に係る画像処理セグメンテーションプログラムで行われる２次セグメンテーションの手順を示すフローチャートである。図１０を参照すると、まず、画像処理セグメンテーションプログラム１３０で不正確な３次元形状の機械−学習血管データ１２０と３次元医用画像データ１００を入力する（Ｓ３００）。次に、画像処理セグメンテーションプログラム１３０で不正確な３次元形状の機械−学習血管データ１２０と３次元医用画像データ１００とを比較し、血管領域データの座標をマッチングする（Ｓ３１０）。次に、画像処理セグメンテーションプログラム１３０でマッチングされた血管領域データの座標をシードとして、３次元医用画像データ１００に領域成長を行うことにより、欠落した血管領域を連結する（Ｓ３２０）。欠落した部分５００の連結は、領域成長以外の画像処理方法でも可能である。次に、ノイズデータセット（血管以外の領域が血管で表示されたデータセット）を除去するために、画像処理セグメンテーションプログラム１３０で連結された血管セグメンテーションデータセットそれぞれのボリュームを計算し（Ｓ３３０）、計算されたボリュームが所定の値以下である血管データセットをノイズデータセットと判断して除去する（Ｓ３４０）。

【0045】

図１１は本発明に係る画像処理セグメンテーションプログラムで行われた、図９に示された１次セグメンテーション結果を２次セグメンテーションした結果を示す冠状動脈の３次元形状図である。図１１を参照すると、図９に示された血管ではない部分がセグメンテーションされたノイズ部分４００が除去され、血管である部分がセグメンテーションされていない欠落部分５００が連結されていることを確認することができる。

【0046】

本発明の中心的なアイデアは、機械学習セグメンテーションプログラムを用いて１次に３次元形状血管データをセグメンテーションした後、画像処理プログラムでその結果をシードとして用いて２次に３次元形状血管データをセグメンテーションしてノイズと欠落部分を補正することである。以下では、本発明の中心的なアイデアをもって本発明の他の実施形態の方法を説明する。

【0047】

本発明に係る３次元医用画像で血管を自動的にセグメンテーションする方法は、コンピュータを利用して、患者の３次元医用画像データから３次元形状血管データをセグメンテーションする方法であって、患者の３次元医用画像データの入力を受けるステップと、人工知能ニューラルネットワークを利用して、入力された患者の３次元医用画像データを処理して１次３次元形状の血管データを生成するステップと、前記１次３次元形状の血管データを画像処理して２次３次元形状の血管データを生成するステップとを含み、前記２次３次元形状の血管データを生成するステップは、１次３次元形状の血管データをシードとして用いて２次３次元形状の血管データを生成する。本発明において、人工知能ニューラルネットワークはＣＮＮ又はＦＣＮを含むことができる。

【0048】

幾つかの実施形態において、前記人工知能ニューラルネットワークを利用して、１次に血管領域をセグメンテーションするステップは、人工知能ニューラルネットワークを構成するステップと、複数の患者の３次元医用画像を加工して人工知能ニューラルネットワークを学習させるステップと、学習された人工知能ニューラルネットワークで、学習資料として使用されていない患者の３次元医用画像を１次セグメンテーションするステップとを含む。また、前記人工知能ニューラルネットワークを構成するステップは、初動学習のためにＦＣＮを構成するステップと、ＧＡＮアルゴリズムを適用してニューラルネットワークの性能を向上させるために前記ＦＣＮをジェネレータモジュールとして用いるステップと、ＧＡＮアルゴリズムを行うためにディスクリミネータモジュールを構築するステップとを含むことができる。

【0049】

本発明において、前記人工知能ニューラルネットワークを利用して１次に生成された３次元形状の血管データは、血管領域ではない少なくとも一つのノイズデータセット、及び血管領域が欠落した少なくとも一つの欠落データセットで構成される。

【0050】

幾つかの実施形態において、前記２次３次元形状の血管データを生成するステップは、１次３次元形状の血管データと入力された３次元画像データとを比較して血管領域をマッチングするステップと、前記欠落データセットを補充して血管を連結するステップと、前記ノイズデータセットを除去するステップとを含む。また、前記欠落データセットを補充して血管を連結するステップは、生成された１次３次元形状の血管データの座標情報をシードとして用いて、前記入力された３次元画像データの血管領域に領域成長アルゴリズムを用いて欠落データ領域を連結することができる。また、前記ノイズデータセットを除去するステップは、欠落データ領域が連結された３次元形状血管データセットのボリュームを演算するステップと、演算されたボリュームが所定の値以下である血管データセットをノイズデータと判断して除去するステップとを含むことができる。

【0051】

以上で説明した実施形態は、本発明の好適な実施形態を説明したものに過ぎず、本発明の権利範囲は、説明された実施形態に限定されるものではない。本発明のアイデアは、この分野の当業者によって様々な変更、変形又は置換が可能であり、それらの実施形態は、本発明の範囲に属するものと理解されるべきである。例えば、様々な方法で機械学習セグメンテーションプログラムを構成することができ、機械学習セグメンテーションプログラムで生成された不完全な３次元形状の機械−学習血管データを補正するための様々な画像処理セグメンテーションプログラムを実現することができる。

【要約】

【課題】本発明は、医用画像データから血管を自動的にセグメンテーションする方法及びシステムに関する。より詳細には、機械学習と画像処理アルゴリズムを用いて医用画像の血管を自動的にセグメンテーションする方法及びシステムに関する。
【解決手段】本発明に係る３次元医用画像で血管を自動的にセグメンテーションする方法は、コンピュータを利用して患者の３次元医用画像データから３次元形状血管データをセグメンテーションする方法であって、患者の３次元医用画像データの入力を受けるステップと、人工知能ニューラルネットワークを利用して、入力された患者の３次元医用画像データを処理して、１次３次元形状の血管データを生成するステップと、前記１次３次元形状の血管データを画像処理して２次３次元形状の血管データを生成するステップとを含み、前記２次３次元形状の血管データを生成するステップは、１次３次元形状の血管データをシードとして用いて２次３次元形状の血管データを生成する。本発明に係る方法は、作業者の介入なしに完全自動的に迅速かつ正確に３次元形状の血管データを生成することができる。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】