特表 2022-515465 機械学習に基づくＧＲＥ画像を活用した血栓分類方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-02-18

(54)【発明の名称】機械学習に基づくＧＲＥ画像を活用した血栓分類方法及びシステム

(51)【国際特許分類】

   A61B 5/055 20060101AFI20220210BHJP

   G06N 3/02 20060101ALI20220210BHJP

   G06T 7/00 20170101ALI20220210BHJP

【ＦＩ】

A61B5/055 380

G06N3/02

G06T7/00 612

G06T7/00 350C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021537199

(86)(22)【出願日】2019-12-24

(85)【翻訳文提出日】2021-08-23

(86)【国際出願番号】 KR2019018431

(87)【国際公開番号】W WO2020138932

(87)【国際公開日】2020-07-02

(31)【優先権主張番号】10-2018-0168341

(32)【優先日】2018-12-24

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】519144808

【氏名又は名称】ジェイエルケイ カンパニー，リミテッド

(71)【出願人】

【識別番号】514326683

【氏名又は名称】サムスン ライフ パブリック ウェルフェア ファウンデーション

【氏名又は名称原語表記】ＳＡＭＳＵＮＧ ＬＩＦＥ ＰＵＢＬＩＣ ＷＥＬＦＡＲＥ ＦＯＵＮＤＡＴＩＯＮ

(74)【代理人】

【識別番号】100091683

【弁理士】

【氏名又は名称】▲吉▼川 俊雄

(74)【代理人】

【識別番号】100179316

【弁理士】

【氏名又は名称】市川 寛奈

(72)【発明者】

【氏名】キム，ウォン テ

(72)【発明者】

【氏名】カン，シン ウク

(72)【発明者】

【氏名】リ，ミョン ジェ

(72)【発明者】

【氏名】キム，ドン ミン

(72)【発明者】

【氏名】ジャン，ジン ソン

(72)【発明者】

【氏名】パク，ジョン ヒョク

(72)【発明者】

【氏名】バン，オ ヨン

(72)【発明者】

【氏名】キム，ユン－チョル

(72)【発明者】

【氏名】チョン，ジョン－ウォン

(72)【発明者】

【氏名】ソ，ウ－クン

【テーマコード（参考）】

4C096

5L096

【Ｆターム（参考）】

4C096AB38

4C096AD14

4C096BA06

4C096DC20

4C096DC22

5L096AA03

5L096AA06

5L096AA09

5L096BA06

5L096BA13

5L096CA18

5L096DA02

5L096FA02

5L096FA62

5L096GA19

5L096GA30

5L096HA11

5L096JA22

5L096KA04

(57)【要約】

本発明は、機械学習に基づくＧＲＥ画像を活用した血栓分類方法及びシステムに関するもので、画像取得部がＧＲＥ（Ｇｒａｄｉｅｎｔ ｅｃｈｏ）画像を取得するステップと、病変検出部が、人工ニューラルネットワークモデルを用いて取得したＧＲＥ画像から病変領域を検出するステップと、パッチ領域設定部が、検出された病変領域を一定のサイズのパッチ領域として設定し、３次元方向のプロジェクションによりパッチ領域を再設定するステップと、血栓分類部が、人工ニューラルネットワークモデルを用いてパッチ領域における血栓を分類するステップと；を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

機械学習に基づくＧＲＥ画像を活用して血栓を分類する方法であって、
（ａ）画像取得部がＧＲＥ（Ｇｒａｄｉｅｎｔ ｅｃｈｏ）画像を取得するステップと、
（ｂ）病変検出部が、人工ニューラルネットワークモデルを用いて取得したＧＲＥ画像から病変領域を検出するステップと、
（ｃ）パッチ領域設定部が、検出された病変領域を一定のサイズのパッチ領域として設定し、３次元方向のプロジェクションによりパッチ領域を再設定するステップと、
（ｄ）血栓分類部が、人工ニューラルネットワークモデルを用いてパッチ領域を含む病変領域における血栓を分類するステップと、及び、
（ｅ）画像生成部が、分類結果に基づいて、ＲＥＤ－ＣＬＯＴ及びＷＨＩＴＥ－ＣＬＯＴのいずれかのプロジェクション情報を含む画像を生成するステップと、
を含み、
前記ステップ（ｃ）において、前記パッチ領域設定部は、前記３次元方向のプロジェクションにより再設定された前記一定のサイズのパッチ領域に現れる病変の特徴表現の形状を比較し、
前記ステップ（ｄ）において、前記血栓分類部は、前記パッチ領域設定部の比較結果に応じて前記病変領域におけるＲＥＤ－ＣＬＯＴ及びＷＨＩＴＥ－ＣＬＯＴのいずれかを分類する、機械学習に基づくＧＲＥ画像を活用した血栓分類方法。

【請求項2】

前記分類するステップは、前記パッチ領域においてＹＯＬＯニューラルネットワークを用いた認知によって予め学習された人工ニューラルネットワークモデルに基づいてＲＥＤ－ＣＬＯＴとＷＨＩＴＥ－ＣＬＯＴを分類し、ここで、前記ＹＯＬＯニューラルネットワークは、物体検知アルゴリズムの一種であり、ＲＥＤ－ＣＬＯＴ及びＷＨＩＴＥ－ＣＬＯＴのそれぞれを検出するアルゴリズムをトレーニングした後、最終出力グリッドセルに合わせてトレーニングセットのターゲットベクトルを生成する、請求項１に記載の機械学習に基づくＧＲＥ画像を活用した血栓分類方法。

【請求項3】

機械学習に基づくＧＲＥ（Ｇｒａｄｉｅｎｔ ｅｃｈｏ）画像を活用して血栓を分類するシステムであって、
ＧＲＥ画像を取得する画像取得部と、
人工ニューラルネットワークモデルを用いて取得したＧＲＥ画像から病変領域を検出する病変検出部と、
検出された病変領域を一定のサイズのパッチ領域として設定し、３次元方向のプロジェクションによりパッチ領域を再設定するパッチ領域設定部と、及び、
人工ニューラルネットワークモデルを用いてパッチ領域を含む病変領域における血栓を分類する血栓分類部と、
を含み、
前記パッチ領域設定部は、前記３次元方向のプロジェクションにより再設定された前記一定のサイズのパッチ領域に現れる病変の特徴表現の形状を比較し、
前記血栓分類部は、前記パッチ領域設定部の比較結果に応じて前記病変領域におけるＲＥＤ－ＣＬＯＴ及びＷＨＩＴＥ－ＣＬＯＴのいずれかを分類する、機械学習に基づくＧＲＥ画像を活用した血栓分類システム。

【請求項4】

前記血栓分類部は、前記パッチ領域においてＹＯＬＯニューラルネットワークを用いた認知によって予め学習された人工ニューラルネットワークモデルに基づいてＲＥＤ－ＣＬＯＴとＷＨＩＴＥ－ＣＬＯＴを分類し、ここで、前記ＹＯＬＯニューラルネットワークは、物体検知アルゴリズムの一種であり、ＲＥＤ－ＣＬＯＴ及びＷＨＩＴＥ－ＣＬＯＴのそれぞれを検出するアルゴリズムをトレーニングした後、最終出力グリッドセルに合わせてトレーニングセットのターゲットベクトルを生成する、請求項３に記載の機械学習に基づくＧＲＥ画像を活用した血栓分類システム。

【請求項5】

前記血栓分類部の分類結果に基づいて、ＲＥＤ－ＣＬＯＴ及びＷＨＩＴＥ－ＣＬＯＴのいずれかのプロジェクション情報を含む画像を生成する画像生西部をさらに含む、請求項３に記載の機械学習に基づくＧＲＥ画像を活用した血栓分類システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）に基づくグラディエントエコー（ＧＲＥ：Ｇｒａｄｉｅｎｔ ｅｃｈｏ：）画像を活用した血栓分類方法及びシステムに係り、特に、人工ニューラルネットワークモデルを用いてＧＲＥ画像から血栓領域を検出し、血栓の種類を自動的に分類して提供する方法及びシステムに関する。

【背景技術】

【0002】

コンピュータを用いた医用画像の分析・診断に関する研究が活発に行われており、特に、深層学習（ｄｅｅｐ ｌｅａｒｎｉｎｇ）に基づく人工知能技術の革新的な発展により、医用画像による診断技術が発展している。

【0003】

深層学習に基づく医用画像分析では、画像の分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）をはじめとして、オブジェクトの検出（Ｄｅｔｅｃｔｉｏｎ）、オブジェクト境界の抽出（Ｓｅｇｍｅｎｔａｔｉｏｎ）、互いに異なる画像の整合（Ｒｅｇｉｓｔｒａｔｉｏｎ）が医用画像分析の重要な問題であり、画像を入力とするため、画像から特徴を抽出することに特化した畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ；ＣＮＮ）が最も多く活用されている。

【0004】

一方、ＧＲＥ（Ｇｒａｄｉｅｎｔ Ｅｃｈｏ）画像は、磁気共鳴画像（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ、ＭＲＩ）の磁化成分を信号化して測定して血栓を高感度で表示できるＭＲＩシーケンスとして広く使用されているが、２Ｄ基準のＧＲＥ画像を用いて医師が画像を直接見て血栓の種類を判断しなければならないという不便さがある。

【0005】

先行技術としては、韓国公開特許第１０－２０１８－００２１６３５号公報（３Ｄ医用画像で深さ方向再帰学習を使用する病変特徴表現分析方法及びシステム）があるが、３Ｄ医用画像で畳み込みニューラルネットワーク及び再帰型ニューラルネットワークを用いて病変特徴表現を抽出する方法を開示しているものに過ぎない。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】韓国公開特許第１０－２０１８－００２１６３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、上記問題を解決するために案出されたものであり、ＧＲＥ（Ｇｒａｄｉｅｎｔ ｅｃｈｏ）人工ニューラルネットワークモデルを用いて画像から血栓領域を検出し、血栓の種類を自動的に分類して提供する、機械学習に基づくＧＲＥ画像を活用した血栓分類方法及びシステムを提供することである。

【課題を解決するための手段】

【0008】

上記技術的課題を解決するための本発明の一態様に係る方法は、機械学習に基づくＧＲＥ（Ｇｒａｄｉｅｎｔ ｅｃｈｏ）画像を活用して血栓を分類する方法であって、画像取得部がＧＲＥ画像を取得するステップと、病変検出部が、人工ニューラルネットワークモデルを用いて取得したＧＲＥ画像から病変領域を検出するステップと、パッチ領域設定部が、検出された病変領域を一定のサイズのパッチ領域として設定し、３次元方向のプロジェクションによりパッチ領域を再設定するステップと、血栓分類部が、人工ニューラルネットワークモデルを用いてパッチ領域における血栓を分類するステップと；を含む。

【0009】

上記技術的課題を解決するための本発明の他の態様に係る方法は、機械学習に基づくＧＲＥ（Ｇｒａｄｉｅｎｔ ｅｃｈｏ）画像を活用して血栓を分類する方法であって、（ａ）画像取得部がＧＲＥ画像を取得するステップと；（ｂ）病変検出部が、人工ニューラルネットワークモデルを用いて取得したＧＲＥ画像から病変領域を検出するステップと；（ｃ）パッチ領域設定部が、検出された病変領域を一定のサイズのパッチ領域として設定し、３次元方向のプロジェクションによりパッチ領域を再設定するステップと；（ｄ）血栓分類部が、人工ニューラルネットワークモデルを用いてパッチ領域を含む病変領域における血栓を分類するステップと；（ｅ）画像生成部が、分類結果に基づいて、ＲＥＤ－ＣＬＯＴ及びＷＨＩＴＥ－ＣＬＯＴのいずれかのプロジェクション情報を含む画像を生成するステップと；を含み、前記ステップ（ｃ）において、前記パッチ領域設定部は、前記３次元方向のプロジェクションにより再設定された前記一定のサイズのパッチ領域に現れる病変の特徴表現の形状を比較し、前記ステップ（ｄ）において、前記血栓分類部は、前記パッチ領域設定部の比較結果に応じて前記病変領域におけるＲＥＤ－ＣＬＯＴ及びＷＨＩＴＥ－ＣＬＯＴのいずれかを分類する。

【0010】

一実施形態において、前記血栓分類部は、前記パッチ領域においてＹＯＬＯニューラルネットワークを用いた認知によって予め学習された人工ニューラルネットワークモデルに基づいてＲＥＤ－ＣＬＯＴとＷＨＩＴＥ－ＣＬＯＴを分類することができる。前記ＹＯＬＯニューラルネットワークは、物体検知アルゴリズムの一種であり、ＲＥＤ－ＣＬＯＴ及びＷＨＩＴＥ－ＣＬＯＴのそれぞれを検出するアルゴリズムをトレーニングした後、最終出力グリッドセルに合わせてトレーニングセットのターゲットベクトルを生成してもよい。

【0011】

上記技術的課題を解決するための本発明のまた他の態様に係るシステムは、機械学習に基づくＧＲＥ（Ｇｒａｄｉｅｎｔ ｅｃｈｏ）画像を活用して血栓を分類するシステムであって、ＧＲＥ画像を取得する画像取得部と；人工ニューラルネットワークモデルを用いて取得したＧＲＥ画像から病変領域を検出する病変検出部と；検出された病変領域を一定のサイズのパッチ領域として設定し、３次元方向のプロジェクションによりパッチ領域を再設定するパッチ領域設定部と；人工ニューラルネットワークモデルを用いてパッチ領域を含む病変領域における血栓を分類する血栓分類部と；を含む。

【0012】

一実施形態において、前記パッチ領域設定部は、３次元方向のプロジェクションにより再設定された前記一定のサイズのパッチ領域に現れる病変の特徴表現の形状を比較することができる。また、前記血栓分類部は、前記パッチ領域設定部の比較結果に応じて前記病変領域におけるＲＥＤ－ＣＬＯＴ及びＷＨＩＴＥ－ＣＬＯＴのいずれかを分類してもよい。

【0013】

一実施形態において、前記血栓分類部の分類結果に基づいて、ＲＥＤ－ＣＬＯＴ及びＷＨＩＴＥ－ＣＬＯＴのいずれかのプロジェクション情報を含む画像を生成する画像生西部をさらに含んでいてもよい。

【発明の効果】

【0014】

前述した本発明の機械学習に基づくＧＲＥ（Ｇｒａｄｉｅｎｔ ｅｃｈｏ）画像を活用した血栓分類方法及びシステムを使用する場合、病変領域検出及び血栓の種類を自動的に分類して提供することにより、ユーザに利便性を提供することができ、３次元的に再構成された病変領域を様々な方向にプロジェクションして分析することにより、診断の精度を高めることができる。

【図面の簡単な説明】

【0015】

【図1】本発明の実施形態に係る機械学習に基づくＧＲＥ画像を活用した血栓分類システムの構成図である。

【図2】本発明の実施形態に係る血栓分類システムのデータ処理部の構成図である。

【図3】本発明の実施形態に係る機械学習に基づくＧＲＥ画像を活用した血栓分類方法を説明するフローチャートである。

【図4】本発明の実施形態に係るＲＥＤ－ＣＬＯＴとＷＨＩＴＥ－ＣＬＯＴを示すＧＲＥ画像例示図である。

【図5】本実施形態のシステム及び方法に採用できる畳み込みニューラルネットワークの構造の例示図である。

【発明を実施するための形態】

【0016】

本明細書に開示されている本発明の概念による実施形態に対する特定の構造的ないし機能的説明は、単に本発明の概念による実施形態を説明するための目的で例示されたものであり、本発明の概念による実施形態は、様々な形態で実施されることができ、本明細書に説明された実施形態に限定されるものではない。

【0017】

本発明の概念による実施形態は、様々な変更を加えることができ、様々な形態を有することができるため、実施形態を図面に例示し、本明細書において詳しく説明する。しかし、これは、本発明の概念による実施形態を特定の開示形態に対して限定しようとするものではなく、本発明の思想および技術範囲に含まれるすべての変更、均等物ないし対象物を含む。

【0018】

本明細書で使用した用語は、単に特定の実施形態を説明するために使用されたもので、本発明を限定しようとする意図ではない。単数の表現は、文脈上明白に異なるように意味しない限り、複数の表現を含む。本明細書において、「含む」又は「有する」などの用語は、本発明に記載された特徴、数字、ステップ、動作、構成要素、部分品またはこれらを組み合わせたものが存在することを指定しようとするものであって、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部分品またはこれらを組み合わせたものなどの存在または付加の可能性を予め排除しないものと理解されなければならない。

【0019】

本明細書で使用される用語は、次のとおりである。

【0020】

Ｔ２強調画像（Ｔ２－ｗｅｉｇｈｔｅｄ ｉｍａｇｉｎｇ）：磁気共鳴画像（ＭＲＩ：ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）からの特定のパルスシーケンス（ｐｕｌｓｅ ｓｅｑｕｅｎｃｅ）から得られる手法、或いは、この手法で得られる画像を指すものであり、画像は主に人体の内部組織の構造的な情報を提供する。

【0021】

ＦＬＡＩＲ（Ｆｌｕｉｄ ａｔｔｅｎｕａｔｅｄ ｉｎｖｅｒｓｉｏｎ ｒｅｃｏｖｅｒｙ）：長い反転時間とエコ時間で脳脊髄液の信号を弱めることにより、Ｔ２強調画像で見逃しやすい病変を簡単に検出する磁気画像装置を用いた信号取得手法や、この手法で得られる画像を指す。ＦＬＡＩＲは、流体減衰反転回復とも呼ばれている。

【0022】

ＤＷＩ（Ｄｉｆｆｕｓｉｏｎ ｗｅｉｇｈｔｅｄ ｉｍａｇｉｎｇ）：磁気共鳴画像から得られる拡散強調画像を主に指し、細胞組織内の水分子の特定の方向への拡散の程度及び有無に関する情報を提供する。

【0023】

ＰＷＩ（Ｐｅｒｆｕｓｉｏｎ ｗｅｉｇｈｔｅｄ ｉｍａｇｉｎｇ）：磁気共鳴画像から得られる灌流強調画像（簡単に灌流画像）を指し、投入された造影剤の経時的な濃度の変化を通知する。

【0024】

Ｐｅｎｕｍｂｒａ（ペナンブラ）：虚血性イベントや塞栓症などによって発生する画像内の半影領域であり、酸素運搬機能が局部的に低下して低酸素細胞死滅を引き起こすか、数時間以内に適切な処置を行うと生存可能な領域を指す。

【0025】

ＡＤＣ（Ａｐｐａｒｅｎｔ ｄｉｆｆｕｓｉｏｎ ｃｏｅｆｆｉｃｉｅｎｔ）：磁気共鳴画像から得られる見かけ拡散係数であり、人体の内部組織における拡散妨害因子に関する情報を提供する。

【0026】

Ａｒｔｅｒｉａｌ ｐｈａｓｅ（ＡＰ）：磁気共鳴画像から得られる特定の灌流の時期であり、経時的に投入された造影剤が動脈部分を通過する時期を示す。

【0027】

Ｃａｐｉｌｌａｒｙ ｐｈａｓｅ（ＣＰ）：磁気共鳴画像から得られる特定の灌流の時期であり、経時的に投入された造影剤が毛細血管部分を通過する時期を示す。

【0028】

Ｖｅｎｏｕｓ ｐｈａｓｅ（ＶＰ）：磁気共鳴画像から得られる特定の灌流の時期であり、経時的に投入された造影剤が静脈部分を通過する時期を示す。

【0029】

以下、本明細書の添付図面を参照して、本発明の実施形態について詳しく説明する。

【0030】

図１は、本発明の実施形態に係る機械学習に基づくＧＲＥ画像を活用した血栓分類システムの構成図である。

【0031】

図１を参照すると、本実施形態に係る機械学習に基づくＧＲＥ画像を活用した血栓分類システムは、制御部２、記憶部４、画像取得部６、表示部８、データ処理部１０を備えてなる。ＧＲＥ画像を活用した血栓分類システムは、ＧＲＥ（Ｇｒａｄｉｅｎｔ Ｅｃｈｏ）画像から病変領域を検出して血栓を自動的に分類し、分類結果に応じたプロジェクション情報を含む画像を提供することができる。

【0032】

制御部２は、記憶部４に格納されるプログラムやソフトウェアモジュールを実行することにより、病変領域を検出し、血栓を自動的に分類する方法を実現し、システムの各構成要素を制御することができる。

【0033】

記憶部４は、病変領域を検出し、血栓を自動的に分類する方法を実現するためのプログラムやソフトウェアモジュールを格納することができる。記憶部４は、外部装置から送信されたＧＲＥ画像を格納することができる。

【0034】

また、記憶部４は、機械学習や深層学習や人工知能のためのプログラムやソフトウェアモジュールを格納することができる。深層学習や人工知能は、精度を高めるためのアーキテクチャを備えてもよい。例えば、深層学習や人工知能アーキテクチャは、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＣＮＮ）とプーリング（ｐｏｏｌｉｎｇ）構造、アップサンプリング（ｕｐｓａｍｐｌｉｎｇ）用の逆畳み込み（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）構造、学習効率を向上させるためのスキップ接続（ｓｋｉｐ ｃｏｎｎｅｃｔｉｏｎ）構造などを用いて具現されてもよい。

【0035】

画像取得部６は、外部装置からＧＲＥ画像を取得することができる。画像取得部６は、ＭＲＩ（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｅｓ）装置、ＭＲＡ装置、ＣＴ装置などに接続されて、患者を撮影した３次元画像を取得することができる。

【0036】

表示部８は、記憶部４に格納されたデータ情報、画像取得部６が取得した画像情報、データ処理部１０が処理した病変領域検出結果、パッチ領域設定結果、血栓分類結果、及び生成された画像を、視覚的、聴覚的、またはそれらの混合方式で出力するように構成されてもよい。表示部８は、ディスプレイ装置を含んでいてもよい。

【0037】

データ処理部１０は、機械学習を用いてＧＲＥ画像から病変領域を検出し、パッチ領域を設定することで、前記パッチ領域内における血栓を分類し、分類結果に基づいてプロジェクション情報を含む画像を生成することができる。

【0038】

図２は、本発明の実施形態に係る血栓分類システムのデータ処理部の構成図である。図２を参照すると、データ処理部１０は、病変領域抽出部１００、パッチ領域設定部２００、血栓分類部３００、及び画像生成部４００を備えてなる。

【0039】

病変領域抽出部１００は、人工ニューラルネットワークモデルを用いてＧＲＥ画像から病変領域を検出することができる。病変領域抽出部１００は、ＧＲＥ画像から２次元畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）、３次元畳み込みニューラルネットワーク、及び仮想３次元畳み込みニューラルネットワークのうちのいずれか一つを用いて病変を抽出することができる。具体的には、病変領域抽出部１００は、畳み込みニューラルネットワーク（ＣＮＮ）、プーリング（ｐｏｏｌｉｎｇ）、逆畳み込み（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）、スキップ接続（ｓｋｉｐ ｃｏｎｎｅｃｔｉｏｎ）からなる深層学習構造により病変領域を抽出することができる。すなわち、ＧＲＥ画像信号内のアノテーション（Ａｎｎｏｔａｔｉｏｎ）、ＣＡＭの方法によって人工ニューラルネットワークを学習させたニューラルネットワークモデルにより病変領域を検出する。

【0040】

パッチ領域設定部２００は、検出された病変領域を一定のサイズのパッチ領域として設定することができる。また、パッチ領域設定部２００は、３次元方向のプロジェクションにより前記パッチ領域を再設定することができる。

【0041】

血栓分類部３００は、人工ニューラルネットワークモデルを用いてパッチ領域における血栓を分類することができる。この場合、前記血栓は、ＲＥＤ－ＣＬＯＴ及びＷＨＩＴＥ－ＣＬＯＴのいずれかに分類できる。血栓分類部３００は、前記パッチ領域においてＹＯＬＯニューラルネットワークを用いた認知によって分類を行うことができる。すなわち、血栓分類部は、前記パッチ領域においてＹＯＬＯニューラルネットワークを用いた認知によって予め学習された人工ニューラルネットワークモデルに基づいてＲＥＤ－ＣＬＯＴとＷＨＩＴＥ－ＣＬＯＴを分類することができる。

【0042】

ＹＯＬＯニューラルネットワークは、物体検知アルゴリズムの一種であり、ＲＥＤ－ＣＬＯＴとＷＨＩＴＥ－ＣＬＯＴのそれぞれを検出するアルゴリズムをトレーニングした後、最終出力グリッドセルに合わせてトレーニングセットのターゲットベクトルを生成することができる。ターゲットベクトルのサイズは、高さ、広さ、アンカーボックスの数、及びベクトルの積で表される。また、結果値のベクトルは、物体の存在、中心値の座標（ｘ，ｙ）、境界ボックス値の高さ、広さ及びクラスを含んでいてもよい。ここで、ＹＯＬＯニューラルネットワークによる分類の場合、トレーニングが良ければ、分類対象が存在する場合のＲＥＤ－ＣＬＯＴ及びＷＨＩＴＥ－ＣＬＯＴに対する存在の有無の確率が１に近く、グリッドセルに該当される中心値と境界ボックス値、及びクラスの確率を出力することができる。このとき、すべてのグリッドセルに対しては非最大値の抑制が適用されてもよい。

【0043】

血栓（ＣＬＯＴ）は、血液が固体状態で絡まった塊または塊を形成する過程を意味する。血管の通路を防いで血流減少を誘発する可能性があり、血小板成分が優勢なＷＨＩＴＥ－ＣＬＯＴと赤血球成分が優勢なＲＥＤ－ＣＬＯＴに分類できる。前記ＷＨＩＴＥ－ＣＬＯＴの場合、非手術的治療であるステント治療が可能であるが、前記ＲＥＤ－ＣＬＯＴは非手術的治療ができないため、ＷＨＩＴＥ－ＣＬＯＴとＲＥＤ－ＣＬＯＴを区別する方法が重要である。

【0044】

画像生成部４００は、病変領域抽出部及び血栓分類部から抽出されたパッチ領域のプロジェクション情報を視覚化することにより、３次元画像を生成することができる。一実施形態によれば、ＲＥＤ－ＣＬＯＴのプロジェクション情報を含む画像はＷ形状に生成できるが、これに限定されるものではない。

【0045】

図３は、本発明の実施形態に係る機械学習に基づくＧＲＥ画像を活用した血栓分類方法を説明するフローチャートである。

【0046】

図３を参照すると、画像取得部は、ＧＲＥ（Ｇｒａｄｉｅｎｔ ｅｃｈｏ）画像を取得する（Ｓ３１０）。前記ＧＲＥ画像は、３次元磁気共鳴画像（ＭＲＩ）の磁化成分を信号化して測定した画像である。その後、病変領域検出部は、人工ニューラルネットワークモデルを用いてＧＲＥ画像から病変領域を検出する（Ｓ３２０）。このとき、前記人工ニューラルネットワークモデルは、２次元畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）、３次元畳み込みニューラルネットワーク、仮想３次元畳み込みニューラルネットワークのうちの少なくとも一つであってもよい。

【0047】

パッチ領域設定部は、検出された病変領域を一定のサイズのパッチ領域として設定する（Ｓ３３０）。このとき、ユーザが既に指定したサイズでパッチ領域を設定してもよい。その後、パッチ領域設定部は、再び様々な３次元方向のプロジェクションによりパッチ領域を再設定する（Ｓ３４０）。

【0048】

血栓分類部は、人工ニューラルネットワークモデルを用いてパッチ領域においてＲＥＤ－ＣＬＯＴ及びＷＨＩＴＥ－ＣＬＯＴのいずれかに分類する（Ｓ３５０）。予め学習された人工ニューラルネットワークモデルに基づいてＲＥＤ－ＣＬＯＴとＷＨＩＴＥ－ＣＬＯＴを分類することができる。血栓分類部は、前記パッチ領域においてＹＯＬＯニューラルネットワークを用いた認知によって分類を行うことができる。

【0049】

画像生成部は、分類結果に基づいて、ＲＥＤ－ＣＬＯＴ及びＷＨＩＴＥ－ＣＬＯＴのいずれかのプロジェクション情報を含む画像を生成する（Ｓ３６０）。

【0050】

図４は、本発明の実施形態に係るＲＥＤ－ＣＬＯＴとＷＨＩＴＥ－ＣＬＯＴを示すＧＲＥ画像の例示図である。図５は、本実施形態のシステム及び方法に採用できる畳み込みニューラルネットワークの構造の例示図である。

【0051】

図４（ａ）は、ＷＨＩＴＥ－ＣＬＯＴが発見されたＧＲＥ画像であり、図４（ｂ）は、ＲＥＤ－ＣＬＯＴが発見されたＧＲＥ画像でであり、当該画像を学習データとして使用して人工ニューラルネットワークモデルを学習することができる。言い換えれば、畳み込み畳み込みニューラルネットワーク（ＣＮＮ）と病変情報の和のためのプーリング（ｐｏｏｌｉｎｇ）構造、アップサンプリング（ｕｐｓａｍｐｌｉｎｇ）のための逆畳み込み（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）構造、円滑な学習のためのスキップ接続（ｓｋｉｐ ｃｏｎｎｅｃｔｉｏｎ）構造からなる学習モジュールによって予め学習することができる。

【0052】

例えば、深層学習アーキテクチャは、畳み込みネットワーク、逆畳み込みネットワーク及びショートカット（ｓｈｏｒｔｃｕｔ）を含む形態を備えていてもよい。図５に示すように、深層学習アーキテクチャは、医用画像（Ｘ）の局所的な特徴を抽出するために３×３サイズのカラー畳み込み層（ｃｏｎｖｏｌｕｔｉｏｎ ｌａｙｅｒ）とアクティベーション層（ＲｅＬＵ）を積み、２×２サイズのフィルターをストライド（ｓｔｒｉｄｅ）１で適用して、次の下位深さのレベルに接続される畳み込みブロックの演算を４回繰り返して行い、その次に２×２サイズの逆畳み込み層（ｄｅｃｏｎｖｏｌｕｔｉｏｎ ｌａｙｅｒ）とアクティベーション層（ＲｅＬＵ）を適用して次の上位深さのレベルに接続した後、３×３サイズのカラー畳み込み層とアクティベーション層を積む逆畳み込みブロックの演算を４回繰り返して行い、ここで、各レベルの畳み込みブロックの演算を含む畳み込みネットワークの各レベルの畳み込みブロックのイメージに、同じレベルの逆畳み込みネットワークの対応レベルの畳み込み結果をコピーして接続し（ｃｏｐｙ ａｎｄ ｃｏｎｔａｔｅｎａｔｅ）、各ブロックで畳み込み演算をそれぞれ実行するように構成されてもよい。

【0053】

畳み込みネットワークと逆畳み込みネットワーク内の畳み込みブロックは、ｃｏｎｖ－ＲｅＬＵ－ｃｏｎｖ層の組み合わせにより実現され得る。また、深層学習アーキテクチャの出力は、畳み込みネットワークや逆畳み込みネットワークに接続される分類器を介して行われてもよいが、これに限定されない。分類器は、ＦＣＮ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｉｖｉｔｙ ｎｅｔｗｏｒｋ）手法を用いて画像から局所的な特徴を抽出するために使用できる。

【0054】

また、深層学習アーキテクチャは、具現に応じて、畳み込みブロック内でインセプションモジュール（ｉｎｓｅｐｔｉｏｎ ｍｏｄｕｌｅ）またはマルチフィルターパスウェイ（ｍｕｌｔｉ ｆｉｌｔｅｒ ｐａｔｈｗａｙ）をさらに使用してもよい。インセプションモジュールまたはマルチフィルターパスウェイ内の互いに異なるフィルターは、１×１フィルターを含んでいてもよい。

【0055】

ちなみに、深層学習アーキテクチャにおいて入力（ｉｎｐｕｔ）イメージが横３２、縦３２、そしてＲＧＢチャンネルを有する場合、ターゲットベクトルに対応する医用画像に対応する入力イメージ（Ｘ）のサイズは、［３２×３２×３］であってもよい。
このようなサイズは、ＹＯＬＯアルゴリズムに適用した場合、記載順に従って、高さ、広さ、そしてアンカーボックス数とクラスとの積にそれぞれ対応されてもよい。ここで、［３２×３２×３］の最後の３は、例えば、所定の値（例えば、０）にクラス（例えば、３）を加えた値にアンカーボックスの数（例えば、１）を掛けることによって得られる値、すなわち、３であり得る。

【0056】

深層学習アーキテクチャの畳み込みニューラルネットワーク（ｃｏｎｖｌｏｕｌｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＣＮＮ）において畳み込み（ｃｏｎｖｏｌｕｔｉｏｎａｌ、ＣＯＮＶ）層は、入力イメージの一部の領域と接続され、この接続された領域と自分の重み（加重値）の内的演算（ｄｏｔ ｐｒｏｄｕｃｔ）を計算するように設計されてもよい。

【0057】

ここで、正規化線形ユニット（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ、ＲｅＬＵ）層は、ｍａｘ（０，ｘ）のように各要素に適用される活性化関数（ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）である。ＲｅＬＵ層は、ボリュームのサイズを変更しない。プーリング層（ｐｏｏｌｉｎｇ ｌａｙｅｒ）は、縦及び横で表される次元に対してダウンサンプリング（ｄｏｗｎｓａｍｐｌｉｎｇ）またはサブサンプリング（ｓｕｂｓａｍｐｌｉｎｇ）を実行することにより、減少したボリュームを出力することができる。

【0058】

また、完全接続（ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅｄ、ＦＣ）層は、クラススコアを計算し、例えば［１×１×１０］のサイズのボリュームを出力することができる。この場合、１０個の数字は、１０個のカテゴリーに対するクラススコアに該当する。完全接続層は、以前のボリュームのすべての要素と接続される。そこで、ある層は母数（ｐａｒａｍｅｔｅｒ）を有するが、ある層は母数を有さなくてもよい。ＣＯＮＶ／ＦＣ層は、活性化関数であり、単純に入力ボリュームだけではなく、重み（ｗｅｉｇｈｔ）とバイアス（ｂｉａｓ）を含んでいてもよい。一方、ＲｅＬＵ／ＰＯＯＬＩＮＧ層は、固定関数であり、ＣＯＮＶ／ＦＣ層の母数は、各イメージに対するクラススコアが、当該イメージのラベルと同じになるように最急降下法（ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）で学習することができる。

【0059】

本発明は、図面に示された実施形態を参考として説明されたが、これは例示的なものに過ぎず、本技術分野における通常の知識を有する者であれば、これから様々な変形および均等な他の実施形態が可能であるということを理解するであろう。したがって、本発明の真の技術的な保護範囲は、添付の特許請求の範囲の技術的思想により定めなければならないであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】