特許 7299658 ニューラルネットワーク及び非局所的ブロックを用いてセグメンテーションを行う疾病診断システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-20

(45)【発行日】2023-06-28

(54)【発明の名称】ニューラルネットワーク及び非局所的ブロックを用いてセグメンテーションを行う疾病診断システム及び方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230621BHJP

   G06T 7/11 20170101ALI20230621BHJP

   G06V 10/82 20220101ALI20230621BHJP

【ＦＩ】

G06T7/00 350C

G06T7/00 612

G06T7/11

G06V10/82

【請求項の数】 10

(21)【出願番号】P 2022500883

(86)(22)【出願日】2020-07-10

(65)【公表番号】

(43)【公表日】2022-09-14

(86)【国際出願番号】 KR2020009096

(87)【国際公開番号】W WO2021010671

(87)【国際公開日】2021-01-21

【審査請求日】2022-03-18

(31)【優先権主張番号】10-2019-0084814

(32)【優先日】2019-07-13

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】519208133

【氏名又は名称】ディープ バイオ インク

(74)【代理人】

【識別番号】100120008

【弁理士】

【氏名又は名称】山田 くみ子

(72)【発明者】

【氏名】キム ソンウ

(72)【発明者】

【氏名】チョ ジュンヨン

(72)【発明者】

【氏名】イ サンフン

【審査官】藤原 敬利

(56)【参考文献】

【文献】韓国公開特許第１０－２０１８－００６６９８３（ＫＲ，Ａ）

【文献】Muyi Sun et al.，Accurate Gastric Cancer Segmentation in Digital Pathology Images Using Deformable Convolution and Multi-Scale Embedding Networks，IEEE Access，米国，IEEE，2019年05月24日，第7巻，第75530-75541頁，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8721664

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ －２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６ 、４０／２０

(57)【特許請求の範囲】

【請求項1】

プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに具現され、生体画像であるスライドと前記ニューラルネットワークを用いた疾病の診断システムにおいて、
前記システムは、
前記スライドが所定の大きさに分割された所定のパッチのそれぞれに対して、前記パッチを入力レイヤを介して入力されて前記パッチのうち疾病が存在する領域を特定するパッチレベル・セグメンテーション・ニューラルネットワークを備え、
前記パッチレベル・セグメンテーション・ニューラルネットワークは、
前記パッチを入力レイヤを介して入力されて前記パッチに前記疾病が存在するか否かについてのパッチレベルの分類結果を出力するパッチレベル・クラシフィケーション・ニューラルネットワークと、
前記パッチレベル・クラシフィケーション・ニューラルネットワークに含まれている隠れレイヤのうちの２以上の特徴抽出レイヤのそれぞれで生成される特徴マップを入力されて、前記パッチのうち疾病が存在する領域を特定するパッチレベル・セグメンテーション・アーキテクチャと、を備え、
前記パッチレベル・セグメンテーション・アーキテクチャは、
前記２以上の特徴抽出レイヤのそれぞれに対応する非局所相関関係算出ノードを含む非局所相関関係算出サブアーキテクチャであって、前記非局所相関関係算出ノードのそれぞれは、それに対応する特徴抽出レイヤから入力される特徴マップに対する非局所相関関係算出過程を行い、前記非局所相関関係算出過程は、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）実行過程、非局所的ブロック（Ｎｏｎ－ｌｏｃａｌ Ｂｌｏｃｋ）実行過程、または畳み込み及び非局所的ブロックを並列的に行う過程である非局所相関関係算出サブアーキテクチャと、
前記非局所相関関係算出サブアーキテクチャによって生成される結果に対して、畳み込み及び結合（ｃｏｎｃａｔｅｎａｔｉｏｎ）によって、前記パッチのうち疾病が存在する領域に相当するマスクを生成するセグメンテーション・サブアーキテクチャと、を備える疾病診断システム。

【請求項2】

前記パッチレベル・クラシフィケーション・ニューラルネットワークに含まれている特徴マップ抽出レイヤは、低レベルの特徴抽出レイヤ、中レベルの特徴抽出レイヤ、及び高レベルの特徴抽出レイヤを備え、
前記非局所相関関係算出サブアーキテクチャは、
前記低レベルの特徴抽出レイヤから入力される特徴マップに対する畳み込み過程を行うことで、第１の畳み込み結果物を生成する低レベルの非局所相関関係算出ノード、
前記中レベルの特徴抽出レイヤから入力される特徴マップに対する非局所的ブロック過程及び畳み込み過程を並列的に行うことで、第１の非局所結果物及び第２の畳み込み結果物を生成する中レベルの非局所相関関係算出ノード、及び
前記高レベルの特徴抽出レイヤから入力される特徴マップに対する非局所的ブロック過程を行うことで、第２の非局所結果物を生成する高レベルの非局所相関関係算出ノードを備える請求項１に記載の疾病診断システム。

【請求項3】

前記セグメンテーション・サブアーキテクチャは、
第１の非局所結果物、第２の畳み込み結果物、及び第２の非局所結果物をアップスケーリングした結果物を結合して第１の中間結果物を生成し、
前記第１の中間結果物に対する畳み込み及びアップスケーリングを行った第２の中間結果物を、前記第１の畳み込み結果物と結合して第３の中間結果物を生成し、
前記第３の中間結果物に対する畳み込みを行うことで、前記パッチのうち疾病が存在する領域に相当するマスクを生成する請求項２に記載の疾病診断システム。

【請求項4】

前記システムは、
前記スライドに含まれている多数のパッチのそれぞれのパッチレベルの分類結果、疾病として分類されたパッチをマーキングし、マーキングされた結果に基づいて、前記スライドに疾病が存在するか否かであるスライドレベルの診断結果を出力するスライド診断エンジンをさらに備える請求項１に記載の疾病診断システム。

【請求項5】

前記スライドは、生体組織の画像である請求項１に記載の疾病診断システム。

【請求項6】

プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに具現され、生体画像であるスライドと前記ニューラルネットワークを用いた疾病の診断方法において、
前記システムが、前記スライドが所定の大きさに分割された所定のパッチのそれぞれに対して、前記パッチをパッチレベル・セグメンテーション・ニューラルネットワークの入力レイヤを介して入力されて前記パッチのうち疾病が存在する領域を特定するステップを含み、
前記パッチレベル・セグメンテーション・ニューラルネットワークは、
前記パッチを入力レイヤを介して入力されて前記パッチに前記疾病が存在するか否かについてのパッチレベルの分類結果を出力するパッチレベル・クラシフィケーション・ニューラルネットワークと、
前記パッチレベル・クラシフィケーション・ニューラルネットワークに含まれている隠れレイヤのうちの２以上の特徴抽出レイヤのそれぞれで生成される特徴マップを入力されて、前記パッチのうち疾病が存在する領域を特定するパッチレベル・セグメンテーション・アーキテクチャと、を備え、
前記パッチレベル・セグメンテーション・アーキテクチャは、
前記２以上の特徴抽出レイヤのそれぞれに対応する非局所相関関係算出ノードを含む非局所相関関係算出サブアーキテクチャであって、前記非局所相関関係算出ノードのそれぞれは、それに対応する特徴抽出レイヤから入力される特徴マップに対する非局所相関関係算出過程を行い、前記非局所相関関係算出過程は、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）実行過程、非局所的ブロック（Ｎｏｎ－ｌｏｃａｌ Ｂｌｏｃｋ）実行過程、または畳み込み及び非局所的ブロックを並列的に行う過程である非局所相関関係算出サブアーキテクチャと、
前記非局所相関関係算出サブアーキテクチャによって生成される結果に対して、畳み込み及び結合（ｃｏｎｃａｔｅｎａｔｉｏｎ）によって、前記パッチのうち疾病が存在する領域に相当するマスクを生成するセグメンテーション・サブアーキテクチャと、を備える疾病診断方法。

【請求項7】

前記パッチレベル・クラシフィケーション・ニューラルネットワークに含まれている特徴マップ抽出レイヤは、低レベルの特徴抽出レイヤ、中レベルの特徴抽出レイヤ、及び高レベルの特徴抽出レイヤを備え、
前記非局所相関関係算出サブアーキテクチャは、
前記低レベルの特徴抽出レイヤから入力される特徴マップに対する畳み込み過程を行うことで、第１の畳み込み結果物を生成する低レベルの非局所相関関係算出ノード、
前記中レベルの特徴抽出レイヤから入力される特徴マップに対する非局所的ブロック過程及び畳み込み過程を並列的に行うことで、第１の非局所結果物及び第２の畳み込み結果物を生成する中レベルの非局所相関関係算出ノード、及び
前記高レベルの特徴抽出レイヤから入力される特徴マップに対する非局所的ブロック過程を行うことで、第２の非局所結果物を生成する高レベルの非局所相関関係算出ノードを備える請求項６に記載の疾病診断方法。

【請求項8】

前記セグメンテーション・サブアーキテクチャは、
第１の非局所結果物、第２の畳み込み結果物、及び第２の非局所結果物をアップスケーリングした結果物を結合して第１の中間結果物を生成し、
前記第１の中間結果物に対する畳み込み及びアップスケーリングを行った第２の中間結果物を、前記第１の畳み込み結果物と結合して第３の中間結果物を生成し、
前記第３の中間結果物に対する畳み込みを行うことで、前記パッチのうち疾病が存在する領域に相当するマスクを生成する請求項７に記載の疾病診断方法。

【請求項9】

前記疾病診断方法は、
前記システムが、前記スライドに含まれている多数のパッチのそれぞれのパッチレベルの分類結果、疾病として分類されたパッチをマーキングし、マーキングされた結果に基づいて、前記スライドに疾病が存在するか否かであるスライドレベルの診断結果を出力するステップをさらに含む請求項６に記載の疾病診断方法。

【請求項10】

データ処理装置にインストールされ、請求項６乃至請求項８のいずれか一項に記載の方法を行うための媒体に記録されたコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ニューラルネットワークを用いた疾病診断システム、及びその方法に関する。さらに詳しくは、ニューラルネットワークによる学習を行って、学習されたニューラルネットワーク及び非局所的ブロックを用いて生体組織の画像において疾病のある領域をセグメンテーションすることのできる疾病診断システム、及びその方法に関する。

【背景技術】

【0002】

病理学または病理科において行う主な業務の一つは、患者の生体画像を読み取って特定の疾病に対する状態または徴候を判断する診断を行うことである。このような診断は、長期間にわたって熟練された医療従事者の経験と知識に依存する。

【0003】

最近は、機械学習の発達により、画像を認識したり分類したりする等の業務をコンピュータシステムにより自動化させようとする試みが盛んに行われている。とりわけ、機械学習の一種であるニューラルネットワーク（例えば、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ＣＮＮ）を用いたディープラーニング方式）を用いて、熟練した医療従事者が行っていた診断を自動化させるための試みが行われている。

【0004】

特に、ニューラルネットワーク（例えば、ＣＮＮ）を用いたディープラーニングを通じた診断は、従来の熟練した医療従事者の経験と知識を単に自動化させることではなく、自ら学習を通じて特徴的な要素を見出して所望の解答を導き出すという点において、むしろ熟練した医療従事者が気づかなかった疾病因子の特徴を画像から見出す場合もある。

【0005】

一般に、生体画像を用いるニューラルネットワークによる疾病の診断では、生体画像の断片、すなわち、パッチ（ｐａｔｃｈ、またはタイル（ｔｉｌｅ）ともいう。）を用いる。すなわち、当該タイルに対して熟練した医療従事者は、特定の疾病の状態（例えば、癌が発現したか否か）をアノテーション（ａｎｎｏｔａｉｏｎ）し、このようなアノテーション済みの多数のタイルをトレーニングデータとして用いて、ニューラルネットワークを学習することになる。この際、ニューラルネットワークとしては、畳み込みニューラルネットワークが利用可能である。

【0006】

しかしながら、このような方式の場合、学習されたニューラルネットワークは、当該タイルの画像特徴だけで当該タイルの疾病の状態を判断することになるが、実際には、特定の疾病に対して特定の生体組織の状態を判断する際には、特定の生体組織それ自体だけではなく、特定の生体組織の周りの組織の現況（例えば、模様、特定のパターンが存在するか否か等）まで一緒に考慮されなければならない場合が存在する。しかしながら、従来の方式は、このような場合に向いていないという不都合がある。

【0007】

また、パッチ単位の診断結果に基づいて、疾病の発現有無をパッチ別に判断する場合、特定のパッチは、疾病が発現したと診断結果が出力されてもよいが、より広範な範囲では、疾病が発現しなかったと判断される可能性はいくらでも存在することができる。したがって、パッチ別の診断結果を踏まえて、当該パッチを含むスライドの全体において疾病が発現したか否かを別途に判断することが必要になることがある。

【0008】

また、パッチ単位の診断結果に基づいて、疾病の発現有無をパッチ別に判断（すなわち、パッチ別クラシフィケーション）し、パッチ単位の診断結果を直ちに視覚化する場合に実際に組織（ティッシュ）ではない部分まで視覚化されてしまう不具合が生じる虞がある。したがって、疾病と診断された組織部分を明確に把握できるようにパッチにおいて疾病領域を区別できるセグメンテーションが必要になることがある。

【0009】

一方、生体画像を用いるニューラルネットワークを通じた疾病の診断では、２次元の画像で３次元の前立腺の診断を行うので、接面（ｔａｎｇｅｎｔｉａｌ）の問題が発生することがある。例えば、病理学者は、相違したスライドから類似した分泌腺（ｇｌａｎｄ）が見い出されたとき、周りの分泌腺をみて診断結果（例えば、陽性／陰性、グリーソンスコア３点、４点等)を区別するようになる。すなわち、通常、病理学者は、周りをみて診断を行うが、現存のディープラーニングネットワークは、殆ど、それらを反映していないという不都合があった。

【先行技術文献】

【特許文献】

【0010】

【文献】大韓民国公開特許第１０－２０１６－００３４８１４号公報「ニューラルネットワークを伴ったクライアント装置及びそれを備えるシステム」

【発明の概要】

【発明が解決しようとする課題】

【0011】

本発明が解決しようとする技術的課題は、特定のパッチを用いて、疾病が発症したかどうかだけではなく、当該パッチにおいて疾病が発症した領域を区別できるニューラルネットワークを用いた診断システム、及びその方法を提供することである。特に、パッチに、疾病が存在するか否かを判断できるクラシフィケーション・ニューラルネットワーク・アーキテクチャにセグメンテーションのためのサブアーキテクチャを追加することにより、疾病が発症した領域を効率よく区別するためのセグメンテーションを行える診断システム、及びその方法を提供することである。

【0012】

また、特定のパッチの疾病に対する状態（例えば、疾病の発現有無、または疾病の状態を示す指標等）を判断するために特定のタイルだけではなく、周りのタイルまで学習に用いてさらに正確度を高めることのできるニューラルネットワークを用いる診断システム、及びその方法を提供することである。

【0013】

さらに、パッチ別の診断結果その自体ではなく、当該パッチを含む幅広い生体組織における疾病の発現有無をパッチ別の診断結果を活用して効果的に且つ高い正確度をもって診断することのできる診断システム、及びその方法を提供することである。

【課題を解決するための手段】

【0014】

本発明の一局面によれば、プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに具現され、生体画像であるスライドと前記ニューラルネットワークを用いた疾病の診断システムにおいて、前記システムは、前記スライドが所定の大きさに分割された所定のパッチのそれぞれに対して、前記パッチを入力レイヤを介して入力されて前記パッチのうち疾病が存在する領域を特定するパッチレベル・セグメンテーション・ニューラルネットワークを備え、前記パッチレベル・セグメンテーション・ニューラルネットワークは、前記パッチを入力レイヤを介して入力されて前記パッチに前記疾病が存在するか否かについてのパッチレベルの分類結果を出力するパッチレベル・クラシフィケーション・ニューラルネットワークと、
前記パッチレベル・クラシフィケーション・ニューラルネットワークに含まれている隠れレイヤのうちの２以上の特徴マップ抽出レイヤのそれぞれで生成される特徴マップを入力されて、前記パッチのうち疾病が存在する領域を特定するパッチレベル・セグメンテーション・アーキテクチャと、を備え、
前記パッチレベル・セグメンテーション・アーキテクチャは、前記２以上の特徴抽出レイヤのそれぞれに対応する非局所相関関係算出ノードを含む非局所相関関係算出サブアーキテクチャ－前記非局所相関関係算出ノードのそれぞれは、それに対応する特徴抽出レイヤから入力される特徴マップに対する非局所相関関係算出過程を行い、前記非局所相関関係算出過程は、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）実行過程、非局所的ブロック（Ｎｏｎ－ｌｏｃａｌ Ｂｌｏｃｋ）実行過程、または畳み込み及び非局所的ブロックを並列的に行う過程である－、前記非局所相関関係算出サブアーキテクチャによって生成される結果に基づいて、前記パッチのうち疾病が存在する領域を特定するセグメンテーション・サブアーキテクチャと、を備える疾病診断システムが提供される。

【0015】

一実施形態において、前記セグメンテーション・サブアーキテクチャは、前記非局所相関関係算出サブアーキテクチャによって生成される結果に対して、畳み込み及び結合（ｃｏｎｃａｔｅｎａｔｉｏｎ）によって、前記パッチのうち疾病が存在する領域に相当するマスクを生成してもよい。

【0016】

一実施形態において、前記パッチレベル・クラシフィケーション・ニューラルネットワークに含まれている特徴マップ抽出レイヤは、低レベルの特徴抽出レイヤ、中レベルの特徴抽出レイヤ、及び高レベルの特徴抽出レイヤを備え、前記非局所相関関係算出サブアーキテクチャは、前記低レベルの特徴抽出レイヤから入力される特徴マップに対する畳み込み過程を行うことで、第１の畳み込み結果物を生成する低レベルの非局所相関関係算出ノード、前記中レベルの特徴抽出レイヤから入力される特徴マップに対する非局所的ブロック過程及び畳み込み過程を並列的に行うことで、第１の非局所結果物及び第２の畳み込み結果物を生成する中レベルの非局所相関関係算出ノード、及び前記高レベルの特徴抽出レイヤから入力される特徴マップに対する非局所的ブロック過程を行うことで、第２の非局所結果物を生成する高レベルの非局所相関関係算出ノードを備えてもよい。

【0017】

一実施形態において、前記セグメンテーション・サブアーキテクチャは、第１の非局所結果物、第２の畳み込み結果物、及び第２の非局所結果物をアップスケーリングした結果物を結合して第１の中間結果物を生成し、前記第１の中間結果物に対する畳み込み及びアップスケーリングを行った第２の中間結果物を、前記第１の畳み込み結果物と結合して第３の中間結果物を生成し、前記第３の中間結果物に対する畳み込みを行うことで、前記パッチのうち疾病が存在する領域に相当するマスクを生成してもよい。

【0018】

一実施形態において、前記スライドに含まれている多数のパッチのそれぞれのパッチレベルの分類結果、疾病として分類されたパッチをマーキングし、マーキングされた結果に基づいて、前記スライドに疾病が存在するか否かであるスライドレベルの診断結果を出力するスライド診断エンジンをさらに備えていてもよい。

【0019】

一実施形態において、前記疾病は、前立腺癌であることを特徴としてもよい。

【0020】

本発明の他の局面によれば、プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに具現され、生体画像であるスライドと前記ニューラルネットワークを用いた疾病の診断方法において、前記システムが、前記スライドが所定の大きさに分割された所定のパッチのそれぞれに対して、前記パッチを前記ニューラルネットワークの入力レイヤを介して入力されて前記パッチのうち疾病が存在する領域を特定するステップを含み、前記パッチレベル・セグメンテーション・ニューラルネットワークは、前記パッチを入力レイヤを介して入力されて前記パッチに前記疾病が存在するか否かについてのパッチレベルの分類結果を出力するパッチレベル・クラシフィケーション・ニューラルネットワークと、前記パッチレベル・クラシフィケーション・ニューラルネットワークに含まれている隠れレイヤのうちの２以上の特徴マップ抽出レイヤのそれぞれで生成される特徴マップを入力されて、前記パッチのうち疾病が存在する領域を特定するパッチレベル・セグメンテーション・アーキテクチャと、を備え、前記パッチレベル・セグメンテーション・アーキテクチャは、前記２以上の特徴抽出レイヤのそれぞれに対応する非局所相関関係算出ノードを含む非局所相関関係算出サブアーキテクチャ－前記非局所相関関係算出ノードのそれぞれは、それに対応する特徴抽出レイヤから入力される特徴マップに対する非局所相関関係算出過程を行い、前記非局所相関関係算出過程は、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）実行過程、非局所的ブロック（Ｎｏｎ－ｌｏｃａｌ Ｂｌｏｃｋ）実行過程、または畳み込み及び非局所的ブロックを並列的に行う過程である－、前記非局所相関関係算出サブアーキテクチャによって生成される結果に基づいて、前記パッチのうち疾病が存在する領域を特定するセグメンテーション・サブアーキテクチャと、を備える疾病診断方法が提供される。

【0021】

一実施形態において、前記疾病診断方法は、前記システムが、前記スライドに含まれている多数のパッチのそれぞれのパッチレベルの分類結果、疾病として分類されたパッチをマーキングし、マーキングされた結果に基づいて、前記スライドに疾病が存在するか否かであるスライドレベルの診断結果を出力するステップをさらに含んでいてもよい。

【0022】

本発明のさらに他の局面によれば、データ処理装置にインストールされ、上述した方法を行うための媒体に記録されたコンピュータプログラムが提供される。

【発明の効果】

【0023】

本発明の技術的思想によれば、パッチ別に疾病の発症有無を判断するパッチレベル・クラシフィケーションだけではなく、当該パッチのうち疾病が発症した領域をも区別できるパッチレベル・セグメンテーションを行える、ニューラルネットワークを用いた疾病診断システム及び方法を提供することができ、病理学的観点(Ｐａｔｈｏｌｏｇｉｃ ｖｉｅｗ)を反映して、さらに精密な診断を可能にするディープラーニングネットワークを提供することができる。

【0024】

また、本発明の技術的思想によれば、特定のパッチに対する診断を行いながら、特定のパッチを含み、周りのパッチをさらに含む巨視パッチまで一緒に考慮して特定のパッチの疾病に対する状態を判断できるニューラルネットワークを提供することにより、さらに高い診断の正確度を提供することができるという効果がある。

【0025】

さらに、本発明の技術的思想によれば、パッチ別の診断結果それ自体だけで当該パッチを含むスライドに疾病が発現したと判断する場合の不都合を解決するために、当該パッチを含むスライドにおける疾病の発現有無をクラスタ及びクラスタの特徴（特徴）を用いて再び判断することにより、効果的に且つ高い正確度をもって診断を行うことができるという効果がある。

【図面の簡単な説明】

【0026】

本発明の詳細な説明の欄において引用される図面をより十分に理解するために、各図面の簡単な説明が提供する。

【図1】本発明の技術的思想に基づくニューラルネットワーク及び非局所的ブロックを用いてセグメンテーションを行う疾病診断システムの概略的なシステム構成を示す図である。

【図2】本発明の実施形態に係るニューラルネットワークを用いた疾病の診断システムのハードウェア的な構成を説明するための図である。

【図3】本発明の実施形態に係るニューラルネットワークを用いた疾病の診断システムの論理的な構成を説明するための図である。

【図4】本発明の一実施形態に係るパッチレベル・セグメンテーション・ニューラルネットワークの全体的な構造を説明するための図である。

【図5】本発明の一実施形態に係るパッチレベル・クラシフィケーション・ニューラルネットワークの構成を説明するための図である。

【図6】本発明の他の実施形態に係るパッチレベル・クラシフィケーション・ニューラルネットワークの例示的な構成を説明するための図である。

【図7】パッチレベル・セグメンテーション・アーキテクチャの全体的な構造を説明するための図である。

【図8】図８ａは、本発明の一実施形態に係るパッチレベル・セグメンテーション・ニューラルネットワークの具体例を示す図であり、図８ｂは、図８ａのディープニューラルネットワークの一例を示す図である。

【図9】本発明の実施形態に係る二段階疾病診断方法の概念を説明するための図である。

【図10】本発明の一実施形態に係るパッチレベル診断結果に基づくマーキング結果を示す図である。

【発明を実施するための形態】

【0027】

本発明は、様々な変更を加えることができ、種々の実施形態を有することができるため、特定の実施形態を図面に例示し、詳細な説明において詳しく説明する。しかし、これは、本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含まれるあらゆる変換、均等物乃至代替物を含むものと理解されるべきである。なお、本発明について説明するにあたって、関連する公知の技術についての具体的な説明が本発明の要旨を余計に曖昧にする虞があると認められる場合は、その詳細な説明を省略する。

【0028】

「第１の」、「第２の」等の用語は、様々な構成要素を説明するうえで使用可能であるが、構成要素は、用語によって何等限定されない。用語は、ある構成要素を他の構成要素から区別する目的でしか使えない。

【0029】

この出願において用いた用語は、単に特定の実施形態を説明するために用いられたものであり、本発明を限定しようとする意図はない。単数の表現は、文脈からみて明らかに他
の意味を有さない限り、複数の表現を含む。

【0030】

この明細書において、「備える」、「含む」または「有する」等の用語は、明細書の上に記載の特徴、数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定するものに過ぎず、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものの存在または付加の可能性を予め排除しないものと理解すべきである。

【0031】

また、この明細書においては、ある一つの構成要素が他の構成要素にデータを「送信」する場合、構成要素が、他の構成要素に直接的にデータを送信してもよく、少なくとも一つのさらに他の構成要素を介してデータを他の構成要素に送信してもよいことを意味する。逆に、ある一つの構成要素が他の構成要素にデータを「直接的に送信」する場合は、これは、構成要素から他の構成要素を介さずに他の構成要素にデータが送信することを意味する。

【0032】

以下、添付図面に基づいて、本発明の実施形態を中心に本発明について詳しく説明する。各図面に示されている同一の参照符号は、同一の部材を示す。

【0033】

図１は、本発明の技術的思想に基づくニューラルネットワーク及び非局所的ブロックを用いてセグメンテーションを行う疾病診断システム（以下、診断システム１００という。）の概略的なシステム構成を示す図である。

【0034】

図１を参照すると、本発明の技術的思想に基づく診断システム１００は、所定のサーバ１０に設けられ本発明の技術的思想を具現することができる。サーバ１０は、本発明の技術的思想を具現するための演算能力をもったデータ処理装置を意味し、一般に、ネットワークを介してクライアントが接続可能なデータ処理装置だけではなく、パソコン、携帯端末等のように特定のサービスが行えるいかなる装置もまたサーバとして定義可能であるということが、本発明の技術分野における平均的な知識を有する専門家であれば容易に推論できる筈である。

【0035】

サーバ１０は、図２に示すように、プロセッサ１１及び格納装置１２を備えていてもよい。プロセッサ１１は、本発明の技術的思想を具現するためのプログラム１２－１を駆動し得る演算装置を意味してもよく、プロセッサ１１は、プログラム１２－１と、本発明の技術的思想により定義されるニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）１２－２とを用いて診断を行うことができる。ニューラルネットワーク１２－２は、後述するように、パッチレベル診断を行うパッチレベル・セグメンテーション・ニューラルネットワークを備えていてもよい。また、パッチレベル・セグメンテーション・ニューラルネットワークは、パッチのうち疾病が存在する領域を特定するパッチレベル・セグメンテーションを行うこともできる。

【0036】

具現例に応じて、ニューラルネットワーク１２－２は、スライドレベル診断を行うニューラルネットワークをさらに備えていてもよい。実施形態に応じて、スライドレベル診断を行う構成は、ニューラルネットワークだけではなく、様々な機械学習手法を通じて具現されてもよい。本発明の技術的思想によれば、スライドレベル診断を行う診断エンジンとしては、公知のＸＧＢｏｏｓｔが用いられたが、様々な方式の機械学習手法に基づく診断エンジンが具現されてもよく、このような診断エンジンは、格納装置１２に格納されてもよいことはいうまでもない。

【0037】

サーバ１０は、図２に示すように、プロセッサ１１及び格納装置１２を備えていてもよい。プロセッサ１１は、本発明の技術的思想を具現するためのプログラム１２－１を駆動し得る演算装置を意味してもよく、プロセッサ１１は、プログラム１２－１と、本発明の技術的思想により定義されるニューラルネットワーク（Ｎｅｒｕａｌ Ｎｅｔｗｏｒｋ）１２－２とを用いて診断を行うことができる。

【0038】

ニューラルネットワーク１２－２は、後述するように、パッチレベル診断を行うニューラルネットワークを備えていてもよい。パッチレベル診断を行うニューラルネットワークは、スライドを分割した一部であるパッチに疾病が存在するか否かを判断することができる。また、パッチレベル診断を行うニューラルネットワークは、当該パッチのうち疾病の発症領域を特定するセグメンテーションを行うこともあるが、このようなニューラルネットワークを、以下では、パッチレベル・セグメンテーション・ニューラルネットワークと称する。

【0039】

具現例に応じて、ニューラルネットワーク１２－２は、スライドレベル診断を行うニューラルネットワークをさらに備えていてもよい。実施形態に応じて、スライドレベル診断を行う構成は、ニューラルネットワークだけではなく、様々な機械学習手法を通じて具現されてもよい。本発明の技術的思想によれば、スライドレベル診断を行う診断エンジンとしては、公知のＸＧＢｏｏｓｔが用いられたが、様々な方式の機械学習手法に基づく診断エンジンが具現されてもよく、このような診断エンジンは、格納装置１２に格納されてもよいことはいうまでもない。

【0040】

格納装置１２は、プログラム１２－１、ニューラルネットワーク１２－２、及び／またはスライドレベル診断を行う診断エンジンを格納し得るデータ格納手段を意味してもよく、具現例に応じて、複数の格納手段により具現されてもよい。また、格納装置１２は、サーバ１０に組み込まれている主記憶装置だけではなく、プロセッサ１１に組み込まれ得る一時格納装置またはメモリ等を網羅する意味であってもよい。

【0041】

診断システム１００は、図１または図２には、いずれか一つの物理的な装置により具現されるものとして示されているが、必要に応じて、複数の物理的な装置が有機的に結合されて本発明の技術的思想に基づく診断システム１００を具現することができるということが、本発明の技術分野における平均的な知識を有する専門家であれば容易に推論できる筈である。

【0042】

この明細書において、診断システム１００が診断を行うとは、生体組織が表現された生体画像、すなわち、スライドの全体またはスライドの一部であるパッチを入力されて、この明細書において定義された出力データを出力する一連のプロセスを意味してもよい。

【0043】

一例によれば、診断システム１００は、二段階（ｔｗｏ ｐｈａｓｅ）診断を行うことができる。一つ目のフェーズは、パッチレベル診断を行う過程であってもよく、このような過程において、診断システム１００は、スライドのパッチ別に入力され、当該パッチに疾病の発現有無を出力し、及び／または当該パッチにおいて疾病が発症した領域を特定することができる。このためのニューラルネットワークが学習されて具現されてもよいことはいうまでもない。

【0044】

二つ目のフェーズは、一つ目のフェーズの診断結果を通じてスライドに疾病が発現したか否かを出力することができる。このような過程には、ニューラルネットワークまたは所定の機械学習手法が用いられてもよい。

【0045】

すなわち、パッチ別の診断結果に基づいて、たとえ一部のパッチに疾病が発現したと判断されたとしても、当該パッチを含むスライドの全体に相当する生体組織において疾病が発現したと判断されない可能性がある。例えば、疾病が発現したと判断したパッチがスライド内においてぐちゃぐちゃに乱れているか、あるいは、その枚数が少ない場合、または密集度等その他の疾病が発現したと判断されたパッチの物理的な特性（例えば、位置、大きさ、密集度等）が実際に当該スライドにおける疾病の発現有無の判断に重要な意味を有することもある。したがって、二つ目のフェーズは、パッチ別の診断結果とこのような診断結果に基づいて判断されたパッチ（すなわち、疾病が発現したと診断されたパッチ）の特性に基づいて、スライドにおける疾病の発現有無を判断することにより、効果的に且つ高い正確度をもって診断を行うことができる。

【0046】

一方、パッチレベル診断を行うニューラルネットワークは、本発明の技術的思想によれば、当該パッチのみを用いて診断を行うわけではなく、当該パッチの周りのパッチまでさらに考慮して診断を行ってもよい。このような技術的思想は、本出願人が出願した韓国特許出願（出願番号第１０－２０１６－０１６８１７６号、ニューラルネットワークを用いた疾病の診断システム、及びその方法、以下、「以前の出願」と称する。）に詳しく開示されている。これを通じて、非常に枝葉の領域、すなわち、パッチに該当する領域のみを単独で考慮して診断を行う場合よりは、その周りの領域まで一緒に考慮する場合に診断の正確性を高めることができる。さらに、本発明の技術的思想によれば、特定のパッチの周りのパッチだけではなく、全体のスライドにおけるパッチの位置、密集度、クラスタの大きさ等の物理的な特性をさらに考慮することにより、スライドに疾病が存在するか否かをさらに正確に判断することができるという効果がある。以前の出願は、本発明の参照として取り込まれ、その内容は、この明細書に記載されたものとして取り扱われてもよい。

【0047】

いうまでもなく、本発明の他の実施形態によれば、以前の出願のように、微視ネットワークと巨視ネットワーク、すなわち、ツーウェイ（ｔｗｏ－ｗａｙ）方式のニューラルネットワークを用いるわけではなく、単一のワンウェイ（ｏｎｅ－ｗａｙ）ニューラルネットワークを用いてもよい。例えば、本発明の実施形態に係るニューラルネットワークは、図６に示す通りである。

【0048】

いかなる場合でも、ニューラルネットワークは、パッチを入力すると、入力されたパッチに疾病が発現したか否かを出力するニューラルネットワークであればよい。この際、ニューラルネットワークは、オリジナル入力値（例えば、ＲＧＢの３チャンネル）にさらにグレイチャンネルを入力値として入力し診断を行うように学習されることを特徴としてもよい。

【0049】

一方、パッチレベル診断を行うニューラルネットワークが出力する状態情報は、パッチに該当する組織に特定の疾病（例えば、特定の種類の癌）が発現したか否かに対する確率を示す情報であってもよい。ニューラルネットワークは、特定の基準値（しきい値）以上の確率が示される場合、パッチを疾病（例えば、前立腺癌）が発現したパッチと判断してもよい。

【0050】

いうまでもなく、ニューラルネットワークは、以前の出願に開示されているように、特定の疾病の発現有無だけではなく、特定の疾病の進み具合を示す情報（または、進み具合に該当する確率）であってもよい。例えば、本発明の技術的思想が前立腺癌の診断に用いられる場合、前立腺癌の進み具合を示す指標であるグリーソンパターン（Ｇｌｅａｓｏｎ Ｐａｔｔｅｒｎ）またはグリーソンスコア（Ｇｌｅａｓｏｎ Ｓｃｏｒｅ）が、ニューラルネットワークが出力する状態情報に含まれてもよい。例えば、グリーソンスコアは、２～５の値を有し、数字が大きくなれば大きくなるほど、前立腺癌が発現した度合いが激しいことを示す。したがって、状態情報は、診断の対象となるパッチに該当する生体組織がグリーソンスコアの特定の値（例えば、３、４、または５）に該当する確率を意味してもよい。

【0051】

状態情報は、複数存在してもよい。例えば、第１の状態情報は、グリーソンスコアが３である確率、第２の状態情報は、グリーソンスコアが４である確率、第３の状態情報は、グリーソンスコアが５である確率を示すことができ、これらの第１の状態情報、第２の状態情報、第３の状態情報に相当する状態チャンネルが全て出力レイヤに定義されてもよい。具現例に応じて、グリーソンスコアが一定の範囲（例えば、３～５、４～５等）を有する確率を示す状態情報が定義されてもよい。すなわち、一つの状態情報が疾病の進み具合を表現する複数の指標に対応してもよい。

【0052】

このような場合、ニューラルネットワークは、グリーソンスコアが３以上である状態情報が所定のしきい値以上である場合、パッチを疾病パッチ、すなわち、疾病が発現したパッチと判断することができる。

【0053】

一方、ニューラルネットワークが用いるしきい値は、種々に設定されてもよい。実施形態によれば、しきい値は、複数用いられてもよい。しきい値に基づいて、特定のパッチが疾病が発現したパッチ、すなわち、疾病パッチと判断されてもよく、ノーマルパッチと判断されてもよいことはいうまでもない。

【0054】

本発明の技術的思想によれば、ニューラルネットワークが用いるしきい値は、複数であってもよく、このような場合、複数のしきい値のそれぞれに応じて診断される疾病パッチは異なってくることがある。したがって、しきい値のそれぞれに応じて疾病パッチがスライド上において配置される特性もまた異なってくることがある。このため、あるしきい値を用いる場合、スライドにおける診断結果の正確度もまた異なってくることがある。

【0055】

したがって、本発明の技術的思想は、後述するように、複数のしきい値のそれぞれに応じて診断された疾病パッチがスライドにおいて有する物理的な特性を多重的に考慮して、スライド診断エンジンがスライドの診断を行うように具現されてもよい。このような技術的思想については、後述する。

【0056】

診断システム１００が所定のサーバ１０に組み込まれて具現される場合、診断システム１００は、サーバ１０に接続可能な少なくとも一つのクライアント（例えば、２０、２０－１）と通信を行うこともできる。このような場合、クライアント（例えば、２０、２０－１）は、生体画像を診断システム１００に送信してもよく、診断システム１００は、送信された生体画像に対して本発明の技術的思想に基づく診断を行ってもよい。そして、診断結果をクライアント（例えば、２０、２０－１）に送信してもよい。

【0057】

診断システム１００は、本発明の技術的思想に基づくニューラルネットワークを用いてパッチレベル診断を行ってもよい。いうまでもなく、このような診断を行うために、ニューラルネットワークを学習させるプロセスを先に行ってもよい。

【0058】

なお、スライドレベル診断にもまた、所定のニューラルネットワークが用いられてもよいことは、前述した通りである。

【0059】

したがって、診断システム１００は、本発明の技術的思想に基づいて学習されたニューラルネットワーク及びニューラルネットワークを用いて診断を行うためのプログラムを外部から受信して診断を行うシステムであってもよく、ニューラルネットワークの学習まで行うシステムであってもよい。なお、診断システム１００は、汎用のデータ処理装置ではなく、本発明の技術的思想のために製作された専用装置であってもよく、このような場合は、生体画像を走査するための手段等がさらに配備されてもよい。

【0060】

ニューラルネットワークは、以前の出願に開示されているように、特定のパッチに対する診断を行うために特定のパッチそれ自体の画像のみを考慮するわけではなく、特定のパッチの隣の少なくとも一つのパッチの画像までも考慮して特定のパッチの診断を行う特徴を有していてもよい。このような技術的思想によって、実際に特定のパッチに該当する生体組織の診断のために生体組織だけではなく、生体組織の周りの組織の状態まで考慮しなければならない疾病の診断に非常に有意味なレベルまで正確度を向上させることが可能になるという効果がある。なお、生体画像を多数のパッチに分割する場合、パッチの分割方式や分割された領域が生体組織のどのような位置であるかに応じて生じ得る診断結果の影響に強い効果を有することができる。

【0061】

いうまでもなく、前述したように、ニューラルネットワークは、以前の出願に開示されている特徴を有していなくてもよく、いかなる場合でも、ニューラルネットワークは、パッチ別に診断を行うように学習されるニューラルネットワークであってもよい。

【0062】

この際、ニューラルネットワークは、従来とは異なり、パッチに含まれているピクセルのそれぞれに対して追加チャンネルをさらに入力値として受け入れてもよい。追加チャンネルは、それぞれのピクセルのグレイ値であってもよい。したがって、ニューラルネットワークは、パッチ別に入力を受け入れながら、パッチに含まれているピクセルのオリジナル値（例えば、ＲＧＢ）の３チャンネルと併せて、追加チャンネルであるグレイチャンネルをさらに入力として受け入れてもよい。

【0063】

このような場合、生体画像のカラーが疾病に関連する画像特性とは無関係な要因（例えば、診断機関の特性、染色試薬等）により変化があり得る場合に強い効果を有することができる。いうまでもなく、単に元のオリジナル値を用いることなく、グレイチャンネルのみを用いる場合に生じ得る、疾病に関連する画像特性がカラーで反映されて表示される際、これらの重要な情報が学習に反映できなくなるという不都合を有する場合があり、このような不都合を解決することもできる。

【0064】

このような技術的思想を具現するための診断システム１００は、論理的に図３に示すような構成を有することができる。

【0065】

図３は、本発明の実施形態に係るニューラルネットワークを用いた疾病の診断システムの論理的な構成を説明するための図である。

【0066】

図３を参照すると、診断システム１００は、制御モジュール１１０及びニューラルネットワーク、及び／またはスライド診断エンジンが格納された診断モジュール１２０を備える。また、診断システム１００は、前処理モジュール１３０をさらに備えていてもよい。本発明の実施形態に応じては、上述した構成要素のうちの一部の構成要素は、必ずしも本発明の具現に欠かせない構成要素に該当するとは限らず、また、実施形態に応じて、診断システム１００は、これよりもさらに多い構成要素を備えていてもよいことはいうまでもない。例えば、診断システム１００は、クライアント（例えば、２０、２０－１）と通信するための通信モジュール（図示せず）をさらに備えていてもよい。

【0067】

診断システム１００は、本発明の技術的思想を具現するために必要とされるハードウェアリソース（ｒｅｓｏｕｒｃｅ）及び／またはソフトウェアを備えた論理的な構成を意味してもよく、必ずしも一つの物理的な構成要素を意味したり、一つの装置を意味したりするとは限らない。すなわち、診断システム１００は、本発明の技術的思想を具現するために配備されるハードウェア及び／またはソフトウェアの論理的な結合を意味してもよく、必要に応じて、互いに離れている装置に設けられてそれぞれの機能を行うことにより、本発明の技術的思想を具現するための論理的な構成の集まりとして具現されてもよい。また、診断システム１００は、本発明の技術的思想を具現するためのそれぞれの機能または役割別に別途に具現される構成の集まりを意味してもよい。例えば、制御モジュール１１０、診断モジュール１２０、及び／または前処理モジュール１３０のそれぞれは、互いに異なる物理的な装置に位置してもよく、同一の物理的な装置に位置してもよい。また、具現例に応じては、制御モジュール１１０、診断モジュール１２０及び／または前処理モジュール１３０のそれぞれを構成するソフトウェア及び／またはハードウェアの結合もまた互いに異なる物理的な装置に位置し、互いに異なる物理的な装置に位置している構成が互いに有機的に結合されてそれぞれのモジュールを具現してもよい。

【0068】

また、この明細書において、「モジュール」とは、本発明の技術的思想を行うためのハードウェア及びハードウェアを駆動するためのソフトウェアの機能的、構造的な結合を意味してもよい。例えば、モジュールは、所定のコードと所定のコードが実行されるためのハードウェアリソース（ｒｅｓｏｕｒｃｅ）の論理的な単位を意味してもよく、必ずしも物理的に連結されたコードを意味したり、１種類のハードウェアを意味したりするとは限らないということは、本発明の技術分野における平均的な知識を有する専門家にとっては容易に推論できる筈である。

【0069】

制御モジュール１１０は、本発明の技術的思想を具現するために、診断システム１００に備えられている他の構成要素（例えば、診断モジュール１２０及び／または前処理モジュール１３０等）を制御してもよい。

【0070】

また、制御モジュール１１０は、診断モジュール１２０に格納されたニューラルネットワーク及び／またはスライド診断エンジンを用いて、本発明の技術的思想に基づく診断を行うことができる。

【0071】

制御モジュール１１０は、診断モジュール１２０に格納されたパッチレベルニューラルネットワーク、すなわち、学習されたニューラルネットワークに入力データ、すなわち、パッチ別の入力を受けてもよい。そして、ニューラルネットワークにより定義される演算を行って出力データ、すなわち、パッチに該当する疾病の発現確率に相当する特徴値を出力してもよい。なお、実施形態に応じては、パッチのうち疾病が発現した領域を特定してもよい。また、実施形態に応じては、後述するように、スライドレベル診断のために特徴値が所定のしきい値であるか否かに応じて当該パッチに疾病が発現したか否かを出力してもよい。

【0072】

診断モジュール１２０は、パッチレベル診断を行うためのパッチ診断エンジン及びスライドレベル診断を行うスライド診断エンジンを備えていてもよい。

【0073】

パッチレベル診断エンジンは、前述したように、本発明の技術的思想に従ったディープラーニングに基づくニューラルネットワークにより具現されてもよい。スライド診断エンジンには、ディープラーニングに基づくニューラルネットワークが用いられてもよく、ニューラルネットワークではなく、所定の機械学習（例えば、ＸＧＢｏｏｓｔ）エンジンが用いられてもよい。

【0074】

ニューラルネットワークは、ニューラルネットワークを定義する一連の設計事項を表現する情報の集まりを意味してもよい。この明細書において、ニューラルネットワークは、畳み込みニューラルネットワークであってもよい。

【0075】

畳み込みニューラルネットワークは、周知のごとく、入力レイヤ、複数の隠れレイヤ、及び出力レイヤを備えていてもよい。複数の隠れレイヤのそれぞれは、畳み込みレイヤ及びプーリングレイヤ（または、サブサンプリングレイヤ）を備えていてもよい。

【0076】

畳み込みニューラルネットワークは、これらのそれぞれのレイヤを定義するための関数、フィルタ、ストライド（ｓｔｒｉｄｅ）、重み係数等により定義されてもよい。また、出力レイヤは、全結合（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）されたフィードフォワードレイヤ（ＦｅｅｄＦｏｒｗａｒｄ ｌａｙｅｒ）により定義されてもよい。

【0077】

畳み込みニューラルネットワークを構成するそれぞれのレイヤ別の設計事項は、広く知られている。例えば、複数のレイヤに備えられるべきレイヤの数、複数のレイヤを定義するための畳み込み関数、プーリング関数、活性化関数のそれぞれに対しては公知の関数が用いられてもよく、本発明の技術的思想を具現するために別途に定義された関数が用いられてもよい。

【0078】

前述したように、パッチレベル診断を行うニューラルネットワークは、パッチに疾病が存在するか否かを判断するだけではなく、当該パッチのうち疾病の発症領域を特定するためのセグメンテーションを行うパッチレベル・セグメンテーション・ニューラルネットワークであってもよい。

【0079】

本発明の一実施形態に係るパッチレベル・セグメンテーション・ニューラルネットワークは、パッチに疾病が存在するか否かを判断するためのクラシフィケーションを行うニューラルネットワーク（後述する「パッチレベル・クラシフィケーション・ニューラルネットワーク」）をベースにして、ここにセグメンテーションのためのサブアーキテクチャを組み合わせた形で具現されてもよい。このようなパッチレベル・セグメンテーション・ニューラルネットワークの構造が図４に示されている。

【0080】

図４は、本発明の一実施形態に係るパッチレベル・セグメンテーション・ニューラルネットワークの全体構造を説明するための図である。

【0081】

図４に示すように、本発明の一実施形態に係るパッチレベル・セグメンテーション・ニューラルネットワーク４００は、パッチレベル・クラシフィケーション・ニューラルネットワーク２００及びパッチレベル・セグメンテーション・アーキテクチャ５００を備えていてもよい。

【0082】

パッチレベル・クラシフィケーション・ニューラルネットワーク２００は、スライドを分割した一部のパッチを入力レイヤを介して入力されてパッチに疾病が存在するか否かについてのパッチレベルの分類結果（例えば、図４に示すようなスコア）を出力してもよい。これをクラシフィケーションと称するが、クラシフィケーション過程において、パッチレベル・クラシフィケーション・ニューラルネットワーク２００は、内部に含まれている一部隠れレイヤにおいて中間生成物として入力（すなわち、パッチ）に対する特徴を生成してもよい。特に、画像のような２次元以上のマトリックスを入力として受ける場合、生成される特徴は、２次元マトリックスの形態であるため、特徴マップという用語を使用してもよい。一方、以下では、パッチレベル・クラシフィケーション・ニューラルネットワーク２００に含まれている隠れレイヤにおける特徴マップを生成するレイヤを特徴マップ抽出レイヤと称する。

【0083】

一方、パッチレベル・セグメンテーション・アーキテクチャ５００は、パッチレベル・クラシフィケーション・ニューラルネットワーク２００に含まれている隠れレイヤのうちの２以上の特徴マップ抽出レイヤのそれぞれで生成される特徴マップ（例えば、図４に示すｆ１、ｆ２、ｆ３）を入力されてパッチのうち疾病が存在する領域を特定して出力してもよい。

【0084】

図４では、パッチレベル・クラシフィケーション・ニューラルネットワーク２００がクラシフィケーションを行う過程において３つの特徴マップ（低レベルの特徴マップｆ１、中レベルの特徴マップｆ２、高レベルの特徴マップｆ３）を生成する例を示しているが、実施形態に応じて、これより多いか少ない数の特徴マップが生成されてもよいことはいうまでもない。

【0085】

一方、本発明の実施形態によれば、パッチレベル・クラシフィケーションを行うパッチレベル・クラシフィケーション・ニューラルネットワーク２００としては、公知の高密度畳み込みネットワーク（ＤｅｎｓｅＮｅｔ）を利用し、この際、以前の出願に開示されているように、診断の対象となる特定のパッチだけではなく、周りのパッチまでも考慮できるように設計されてもよい。この他にも、様々なニューラルネットワークが活用されてもよく、いかなる場合でも、パッチレベル・クラシフィケーション・ニューラルネットワーク２００は、特定のパッチを入力され、当該特定のパッチの疾病発現の確率に相当する特徴値を出力するように定義されてもよい。

【0086】

図５は、本発明の実施形態に係るパッチレベル・クラシフィケーション・ニューラルネットワーク２００の構成を説明するための図である。

【0087】

図５を参照すると、本発明の技術的思想に基づくパッチレベル・クラシフィケーション・ニューラルネットワーク２００は、微視ニューラルネットワーク及び巨視ニューラルネットワークを備える。

【0088】

まず、図５ａを参照すると、以前の出願にも開示されているように、微視ニューラルネットワークは、複数のレイヤ２１０及び出力レイヤ２３０を備える。複数のレイヤ２１０には、入力レイヤ２１１及び複数の隠れレイヤ２１２が備えられる。

【0089】

巨視ニューラルネットワークは、複数のレイヤ２２０及び出力レイヤ２３０を備える。複数のレイヤ２２０には、入力レイヤ２２１及び複数の隠れレイヤ２２２が備えられる。

【0090】

微視ニューラルネットワークは、特定のパッチ３０を入力され、特定のパッチの診断結果、すなわち、出力レイヤ２３０に定義された出力データを出力するように定義される。

【0091】

また、巨視ニューラルネットワークは、特定のパッチ３０を備え、特定のパッチ３０の隣のパッチを少なくとも一つ含む巨視パッチ４０を入力され、特定のパッチの診断結果を出力するように定義される。

【0092】

すなわち、本発明の技術的思想に基づくパッチレベル・クラシフィケーション・ニューラルネットワーク２００は、特定のパッチ３０の診断結果を出力するために、特定のパッチ３０の画像特性だけではなく、特定のパッチ３０の隣のパッチの画像特性まで考慮して診断結果を出力してもよい。

【0093】

巨視パッチ４０としては、図５には、パッチを取り囲む３×３のパッチが用いられる一例を示しているが、様々な実施形態が採用可能であることはいうまでもない。

【0094】

出力レイヤ２３０は、微視ニューラルネットワークに備えられている出力レイヤ２３０の直前のレイヤである第１の直前のレイヤ２１２－１と、巨視ニューラルネットワークに備えられている出力レイヤ２３０の直前のレイヤである第２の直前のレイヤ２２２－１とのそれぞれの出力データを入力されて出力レイヤ２３０に定義された出力データを出力してもよい。第１の直前のレイヤ２１２－１、第２の直前のレイヤ２２２－１、及び出力レイヤ２３０は、全結合（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）されてもよい。

【0095】

出力レイヤ２３０を定義するフィードフォワード（Ｆｅｅｄｆｏｒｗａｒｄ）関数としては、入力レイヤを介して入力される入力データが、パッチレベル・クラシフィケーション・ニューラルネットワーク２００を介して、結果として出力レイヤ２３０に出力データを出力する様々な関数のいずれか一つが用いられてもよい。

【0096】

結局、パッチレベル・クラシフィケーション・ニューラルネットワーク２００は、特定のパッチ３０に対して診断を行うために、特定のパッチ３０の画像特性と、特定のパッチ３０を含む巨視パッチ４０の画像特性を一緒に考慮して、多数のトレーニングデータのアノテーション値に相当する出力レイヤ２３０の出力データを出力するように学習される。

【0097】

すなわち、パッチレベル・クラシフィケーション・ニューラルネットワーク２００を学習するためには、多数のトレーニングデータが用いられ、多数のトレーニングデータは、特定のパッチ３０及び巨視パッチ４０の一対を含んでいてもよい。そして、巨視パッチ４０もまた、特定のパッチ３０のアノテーション情報を用いて学習を行ってもよい。

【0098】

したがって、パッチレベル・クラシフィケーション・ニューラルネットワーク２００は、特定のパッチ３０と巨視パッチ４０の画像特性をいずれも考慮して、特定のパッチ３０のアノテーション情報に相当する出力データを出力できるように学習されてもよい。

【0099】

そして、学習されたニューラルネットワーク２００は、診断の対象となる対象パッチ及び対象パッチに相当する巨視パッチをそれぞれ微視ニューラルネットワーク及び巨視ニューラルネットワークの入力レイヤの入力データとして入力すると、対象パッチの診断結果、すなわち、出力レイヤ２３０の出力データを出力することができる。

【0100】

出力レイヤ２３０は、図５ａに示すように、診断の対象となる特定のパッチ３０の診断結果を出力データとして出力してもよい。診断結果は、特定のパッチ３０の疾病の状態に関する情報を少なくとも含んでいてもよい。疾病の状態に関する情報は、単に特定の疾病が特定のパッチ３０に発現したか否か（または、確率値）に関する情報を意味してもよい。しかしながら、疾病の種類に応じて、疾病の状態に関する情報には、より具体的に、疾病の進み具合を示す情報が含まれてもよい。

【0101】

出力レイヤは、以前の出願に開示されているように、単に疾病の発現有無を出力するだけではなく、色々なさらなる情報を出力するように設計されてもよい。例えば、疾病の進み具合を示す情報及び／または状態チャンネルの値と関連付けられた関連因子の発現の度合いを示す関連因子情報を含んでいてもよい。これについては以前の出願に詳しく開示されているため、その詳しい説明は省略する。

【0102】

図５ａに示すニューラルネットワーク２００が用いられる場合、図５ａには示されていないが、出力レイヤ２３０の出力データを入力されて最終的に入力されたパッチの疾病の発現確率に相当する特徴値を出力するレイヤがさらに存在してもよいことはいうまでもない。

【0103】

あるいは、図５ｂに示すように、パッチレベル・クラシフィケーション・ニューラルネットワーク２００は、図５ａに示すように、複数の状態チャンネル及び関連因子チャンネルを出力するレイヤの代わりに入力されたパッチの疾病の発現確率に相当する特徴値を出力するレイヤ２４０を有するように設計されてもよい。

【0104】

本発明の他の一実施形態によれば、パッチレベル・クラシフィケーション・ニューラルネットワーク２００は、図５ａに示すように、二つの経路（微視ネットワーク及び巨視ネットワークのそれぞれの経路）を有する方式ではなく、単一の経路を有するように設計されてもよい。このような一例は、図６に示す通りである。

【0105】

図６は、本発明の他の実施形態に係るパッチレベル・クラシフィケーション・ニューラルネットワーク２００の例示的な構成を説明するための図である。

【0106】

図６を参照すると、前述したように、パッチレベル・クラシフィケーション・ニューラルネットワーク２００は、パッチ単位で入力を受け、入力されたパッチの疾病有無を判断するように定義されてもよい。この際、図示のごとく、ニューラルネットワークは、４チャンネル（例えば、ＲＧＢ及びグレイチャンネル）データを入力されてもよい。

【0107】

入力されたデータは、図６に示すように、畳み込みレイヤ、最大プーリング当たりの多数のレイヤを通過して出力データ、すなわち、入力されたパッチが疾病パッチであるか否かを出力するように定義されてもよい。このようなニューラルネットワークは、公知のＤｅｎｓｅＮｅｔモデルを用いたニューラルネットワークであってもよい。そして、この際、本発明の技術的思想に基づくニューラルネットワークは、元のＤｅｎｓｅＮｅｔモデルに比べて１×１畳み込みが追加されることが分かり、これを通じて、内部の特徴マップを確認することができるという効果がある。なお、活性化関数としてシグモイド（Ｓｉｇｍｏｉｄ）関数が用いられているが、様々な活性化関数が用いられてもよい。

【0108】

その他の様々な方式でパッチレベル診断を行うニューラルネットワークが定義されてもよいことが、本発明の技術分野における平均的な知識を有する専門家であれば容易に推論できる筈である。

【0109】

一方、図７は、パッチレベル・セグメンテーション・アーキテクチャ５００の全体構造を説明するための図である。

【0110】

図７を参照すると、パッチレベル・セグメンテーション・アーキテクチャ５００は、非局所相関関係算出サブアーキテクチャ５１０、セグメンテーション・サブアーキテクチャ５２０を備えていてもよい。

【0111】

上述したように、パッチレベル・クラシフィケーション・ニューラルネットワーク２００で行われるクラシフィケーションの過程において、それぞれの特徴抽出レイヤにより特徴マップｆ１、ｆ２、ｆ３が生成されてもよいが、特徴マップのそれぞれは、非局所相関関係算出サブアーキテクチャ５１０に含まれている非局所相関関係算出ノード５１１－１乃至５１１－３に入力されてもよい。

【0112】

それぞれの非局所相関関係算出ノード５１１－１乃至５１１－３は、パッチレベル・クラシフィケーション・ニューラルネットワーク２００に含まれている２以上の特徴抽出レイヤのそれぞれに対応し、それに対応する特徴抽出レイヤから入力される特徴マップｆ１乃至ｆ３に対する非局所相関関係算出過程を行うことができる。

【0113】

それぞれの非局所相関関係算出ノードによって行われる非局所相関関係算出過程は、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）実行過程、非局所的ブロック（Ｎｏｎ－ｌｏｃａｌ Ｂｌｏｃｋ）実行過程、または畳み込み及び非局所的ブロックを並列的に行う過程であってもよい。

【0114】

したがって、それぞれの非局所相関関係算出ノード５１１－１乃至５１１－３は、少なくとも一つの畳み込み過程または非局所的ブロックを行うか、これらを並列的に行うことで、１つまたは２つ以上の結果物を生成することができる。

【0115】

実施形態に応じて、非局所相関関係算出ノード５１１－１乃至５１１－３の少なくとも一部により行われる畳み込みは、拡張畳み込み（Ｄｉｌａｔｅｄ ｃｏｎｖｏｌｕｔｉｏｎ；Ａｔｒｏｕｓ ｃｏｎｖｏｌｕｔｉｏｎともいう。）であってもよい。拡張畳み込みは、通常の畳み込みとは異なり、隣接するピクセルから特徴を抽出するのではなく、予め定められた間隔（ｒａｔｅ）を置いて畳み込みを行う方法である。例えば、非局所相関関係算出ノードのうちのいずれか一つ（例えば、５１１－２）は、１×１の拡張畳み込み、ｒａｔｅ６の３×３の拡張畳み込み、ｒａｔｅ１２の３×３の拡張畳み込み、ｒａｔｅ１８の３×３の拡張畳み込みを行うことで、４つの畳み込み結果物（特徴）を生成することができる。

【0116】

一方、非局所相関関係算出ノード５１１－１乃至５１１－３の少なくとも一部により行われる非局所的ブロックは、特徴マップの非局所的な相関関係を算出するのに用いられる演算を意味してもよく、これについての詳細な説明は、Ｋａｉｍｉｎｇ Ｈｅ等の論文である「Ｎｏｎ－ｌｏｃａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」（ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１７１１．０７９７１．ｐｄｆ）に開示されている。

【0117】

一方、実施形態に応じて、それぞれの非局所相関関係算出ノード５１１－１乃至５１１－３の少なくとも一部は、非局所相関関係算出過程の実行後、結果物に対するアップスケーリング（例えば、アップサンプリング）またはダウンスケーリング（ダウンサンプリング）を行ってもよい。

【0118】

一方、セグメンテーション・サブアーキテクチャ５２０は、非局所相関関係算出サブアーキテクチャ５１０によって生成される畳み込み結果に基づいて、パッチのうち疾病が存在する領域を特定することができる。

【0119】

セグメンテーション・サブアーキテクチャ５２０は、非局所相関関係算出サブアーキテクチャ５１０によって生成される畳み込み結果に対する所定の演算を行うことができる。セグメンテーション・サブアーキテクチャ５２０によって行われる演算は、結合（ｃｏｎｃａｔｅｎａｔｉｏｎ）及び／または畳み込みの組み合わせにより定義されてもよい。実施形態に応じて、結合及び畳み込みが様々な方法で組み合わせられてもよい。

【0120】

図８ａは、本発明の一実施形態に係るパッチレベル・セグメンテーション・ニューラルネットワーク４００の具体例を示す図であり、図８ｂは、図８ａのディープニューラルネットワーク（すなわち、パッチレベル・クラシフィケーション・ニューラルネットワーク２００）の一例を示す図である。

【0121】

まず、図８ｂを参照すると、パッチレベル・セグメンテーション・ニューラルネットワークに含まれているパッチレベル・クラシフィケーション・ニューラルネットワーク２００は、クラシフィケーションを行ってもよい。クラシフィケーションのために、パッチレベル・クラシフィケーション・ニューラルネットワーク２００は、パッチを入力レイヤを介して入力されてもよく、第１の特徴抽出レイヤＬ１において畳み込み及びプーリング演算により１／４大きさの低レベルの特徴マップ（ｌｏｗ ｆｅａｔｕｒｅ）ｆ１を生成してもよい。続いて、第１のデンスブロック及び第１のトランジションの演算（ｄｅｎｓｅｂｌｏｃｋ１、ｔｒａｎｓｉｔｉｏｎ１）、並びに第２のデンスブロック及び第２のトランジション演算（ｄｅｎｓｅｂｌｏｃｋ２、ｔｒａｎｓｉｔｉｏｎ２）を経て、第２の特徴抽出レイヤＬ２において１／１６大きさの中レベルの特徴マップ（ｍｉｄｄｌｅ ｆｅａｔｕｒｅ）ｆ２を生成してもよい。次いで、第３のデンスブロック及び第３のトランジション演算（ｄｅｎｓｅｂｌｏｃｋ３、ｔｒａｎｓｉｔｉｏｎ３）、第４デンスブロック（ｄｅｎｓｅｂｌｏｃｋ４）、１×１の畳み込みを順番に経て、第３の特徴抽出レイヤＬ３において１／１６大きさの高レベルの特徴マップ（ｅｎｄ ｆｅａｔｕｒｅ）ｆ３を生成してもよい。その後、平均プーリングにより疾病有無に対するスコアを出力してもよい。

【0122】

一方、図８ａに示すように、パッチレベル・セグメンテーション・アーキテクチャ５００では、パッチレベル・クラシフィケーション・ニューラルネットワーク２００によって生成された各特徴を用いてセグメンテーションを行ってもよい。

【0123】

さらに詳しくは、非局所相関関係算出サブアーキテクチャ５１０に含まれているそれぞれの非局所相関関係算出ノード５１１－１乃至５１１－３は、それに対応する特徴抽出レイヤから入力される特徴マップに対して、予め定義された方式の相関関係算出過程を行ってもよい。

【0124】

それぞれのノードによって行われる相関関係算出過程は、畳み込み実行過程、非局所的ブロック実行過程、または畳み込み及び非局所的ブロックを並列的に行う過程のいずれか一つであってもよい。

【0125】

図８ｂの例において、低レベルの非局所相関関係算出ノード５１１－１は、それに対応する第１の特徴抽出レイヤＬ１から入力される低レベルの特徴マップｆ１に対する１×１の畳み込みを行うことで、第１の畳み込み結果物を生成することができる。

【0126】

中レベルの非局所相関関係算出ノード５１１－２は、それに対応する第２の特徴抽出レイヤＬ２から入力される中レベルの特徴マップｆ２に対して、非局所的ブロック過程及び畳み込み過程を並列的に行うことで、第１の非局所結果物及び第２の畳み込み結果物を生成することができる。

【0127】

高レベルの非局所相関関係算出ノード５１１－３は、それに対応する第３の特徴抽出レイヤＬ３から入力される高レベルの特徴マップｆ３に対して、非局所的ブロック過程を行うことで、第２の非局所結果物を生成することができる。

【0128】

一方、セグメンテーション・サブアーキテクチャ５２０は、非局所相関関係算出サブアーキテクチャ５１０によって生成される結果を入力され、予め定義された演算を行ってもよい。図９ａの例において、セグメンテーション・サブアーキテクチャ５２０は、中レベルの非局所相関関係算出ノード５１１－２によって生成された第１の非局所結果物１及び第２の畳み込み結果物２と、高レベルの非局所相関関係算出ノード５１１－３によって生成された第２の非局所結果物をアップスケーリングした結果物３を結合して第１の中間結果物４を生成し、第１の中間結果物４に対する畳み込み及びアップスケーリングを行った第２の結果物５を第１の畳み込み結果物と結合して第３の中間結果物６を生成し、第３の中間結果物６に対する畳み込みを行うことで、パッチのうち疾病が存在する領域に相当するマスク７を生成することができる。

【0129】

このような本発明の技術的特徴を有するニューラルネットワークを用いることにより、接線における問題を実質的に解消することができ、セグメンテーションの正確度を非常に高めることができる。通常のニューラルネットワークにおいてセグメンテーション正確度を高めるためには、入力データから特徴を十分に抽出する必要があり、トレーニング（訓練）前にニューラルネットワークの初期重み値を適切に設定してトレーニングを行う必要があるということは、経験的によく知られている。ところで、上述したように、本発明の技術的思想によれば、セグメンテーションは、パッチレベル・クラシフィケーション・ニューラルネットワークに基づく特定の構造を有するセグメンテーション・アーキテクチャを組み合わせた方式のニューラルネットワークによって行われ、パッチレベル・クラシフィケーション過程から抽出された特徴には、入力データの特徴が非常によく反映されている。したがって、それをセグメンテーション過程にもそのまま用いることにより、セグメンテーションの正確度を高めることができるという効果がある。

【0130】

一方、図８ａ及び図８ｂに示したニューラルネットワークは、本発明の技術的思想が具現された一例であるだけで、様々な構造のパッチレベル・クラシフィケーション・ニューラルネットワーク及びパッチレベル・セグメンテーション・アーキテクチャが可能である。

【0131】

一方、図３に戻ると、診断モジュール１２０は、スライド診断エンジンを備えていてもよく、スライド診断エンジンもまた、制御モジュール１１０により学習されて具現されてもよい。

【0132】

スライド診断エンジンは、ニューラルネットワークの出力結果に基づいて、疾病パッチをマーキングしてもよい。マーキングとは、スライド内において疾病パッチを区別することを意味してもよい。一例によれば、スライド診断エンジンは、疾病パッチを他のパッチと区別されるように表示してヒートマップを生成してもよい。そして、生成されたヒートマップに基づいて、疾病パッチを複数枚にクラスタリングしてもよい。一実施形態によれば、スライド診断エンジンは、疾病パッチを少なくとも二枚にクラスタリングしてもよい。そして、これらの中で最も大きなクラスタの二つをスライド診断に用いてもよい。しかしながら、二つ以上のクラスタをスライド診断に用いてもよいことはいうまでもない。

【0133】

スライド診断エンジンは、それぞれのクラスタ別の所定の特徴値を算出してもよい。そして、算出された特徴値を入力データとして入力された入力データに相当するスライドに疾病が発現したか否かを出力するように学習される。

【0134】

さらに、スライド診断エンジンは、複数のしきい値をいずれも考慮して学習されてもよい。これを通じて、しきい値の設定に強いスライド診断結果を出力することができる。これについては、後述する。

【0135】

前処理モジュール１３０は、ニューラルネットワークを用いて診断を行う前に必要とされる生体画像の前処理を行ってもよい。例えば、生体画像の前処理は、生体画像を予め定義された大きさのパッチにパッチ化する過程を含んでいてもよく、前述したように、パッチ別のピクセルのグレイ値を算出してもよい。また、必要に応じて、ニューラルネットワークに適した方式で適切な画像処理を行ってもよいということが、本発明の技術分野における平均的な知識を有する専門家であれば容易に推論できる筈である。

【0136】

図９は、本発明の実施形態に係る二段階疾病診断方法の概念を説明するための図である。

【0137】

図９に示すように、生体組織に相当する生体画像、すなわち、スライドからサンプリングされたパッチがニューラルネットワーク２００の学習に用いられてもよい。パッチは、癌とラベル付けされるパッチとノーマルとラベル付けされるパッチとが、所定の割合を有するようにサンプリングされたものであってもよい。

【0138】

そして、ニューラルネットワーク２００は、前述したように、グレイチャンネルをさらに備えるパッチ別の入力データを入力されて学習され、その結果、ニューラルネットワーク２００は、それぞれのパッチが癌であるか否か（または、確率値）を出力するように学習される。

【0139】

すると、このようにして学習されたニューラルネットワーク２００は、図９の下部に示すように、スライドが入力された場合、それぞれのスライドに含まれているそれぞれのパッチに対してパッチレベル診断を行うことができる。

【0140】

そして、スライド診断エンジンは、パッチレベル診断結果に基づいて、疾病パッチをマーキングしてもよい。例えば、図９に示すように、ヒートマップを生成してもよい。

【0141】

また、図１０は、本発明の一実施形態に係るパッチレベル診断結果に基づくマーキング結果を示す図であるが、図１０ａは、熟練された専門家によりラベル付けされた生体組織の画像を示し、図１０ｂは、学習されたニューラルネットワーク２００により生成されたヒートマップを示す。図１０から明らかなように、非常に正確な診断を行うことが可能であるということが分かる。

【0142】

一方、生成したヒートマップに基づいて、スライド診断エンジンは、クラスタを生成してもよい。スライド診断エンジンは、所定のクラスタリングアルゴリズムを用いて疾病パッチをクラスタリングしてもよい。本発明の実施形態によれば、スライド診断エンジンは、公知のＤＢＳＣＡＮアルゴリズムを通じてクラスタリングを行ったが、様々なクラスタリング手法が利用可能であることはいうまでもない。

【0143】

スライド診断エンジンは、クラスタリングの結果として生成されたクラスタ別にクラスタ特徴を取り出しても良い。

【0144】

クラスタ特徴は、疾病の発現に関連する特徴を示し得る特徴的な値であってもよい。

【0145】

一例によれば、クラスタ特徴は、クラスタに含まれている疾病パッチの枚数、パッチ別の疾病である確率値の平均、パッチ別の疾病である確率値の最大値、及びパッチ別の疾病である確率値の最小値を含んでいてもよい。このようなクラスタ特徴が含まれる場合、スライド診断エンジンの診断結果が相対的に高くなることを確認することができた。

【0146】

また、実施形態に応じて、クラスタ特徴は、クラスタのそれぞれの長軸（ｍａｊｏｒ ａｘｉｓ）、短軸（ｍｉｎｏｒ ａｘｉｓ）、面積（ａｒｅａ）、及び密度（ｄｅｎｓｉｔｙ）をさらに含んでいてもよい。これは、クラスタの物理的な特徴と密接な関わりがあり、このようなクラスタ特徴が一緒に用いられる場合にさらに診断性能が高くなる。

【0147】

一方、クラスタは、それぞれのパッチが疾病パッチと判断されるか否かに応じて、その位置、大きさ、及び上述したようなクラスタ特徴が異なってくることがある。そして、これは、パッチレベル診断においてどのようなしきい値を用いるかに依存する。

【0148】

本発明の技術的思想によれば、スライドレベル診断のために複数のしきい値が一緒に用いられてもよい。

【0149】

一例によれば、本発明の実施形態においては、５個の互いに異なるしきい値が用いられているが、様々な実施形態が採用可能である。

【0150】

そして、それぞれのしきい値に基づいて、特定のパッチが疾病パッチと診断される結果は異なってくることがあり、これにより、クラスタリング結果もまた異なってくることがあることはいうまでもない。

【0151】

本発明の実施形態に係るスライド診断エンジンは、例えば、Ｎ（例えば、５）個のしきい値及びＮ個のしきい値のそれぞれを基準として疾病が発現したパッチを所定の方式でクラスタリングしてＭ（例えば、２）個のクラスタを形成した。

【0152】

そして、形成されたクラスタのそれぞれに対してＰ（例えば、上述した８個のクラスタ
特徴）個のクラスタ特徴を算出した。なお、このような場合、一つのスライドに対してＭ×Ｎ×Ｐ（例えば、８０）個のクラスタ特徴が取り出されてもよい。

【0153】

そして、このような特徴値が入力値として入力され、出力データとしてスライドに疾病が存在するか否かを出力するようにスライド診断エンジンは学習されてもよい。

【0154】

また、この明細書においては、前立腺癌に対して本発明の技術的思想が適用された一例について主として説明したが、特定の組織だけではなく、当該組織の周りの組織の状態まで考慮して特定の組織の診断を行う必要がある他の疾病に対しても本発明の技術的思想が適用される場合に正確な診断を行うことが可能であるということが、本発明の技術分野における平均的な知識を有する専門家であれば容易に推論できる筈である。

【0155】

一方、具現例に応じて、診断システム１００は、プロセッサ、及びプロセッサにより起動されるプログラムを格納するメモリを備えていてもよい。プロセッサは、シングルコア中央演算処理装置（ＣＰＵ）もしくはマルチコア中央演算処理装置（ＣＰＵ）を備えていてもよい。メモリは、高速ランダムアクセスメモリを備えていてもよく、一台以上の磁気ディスク格納装置、フラッシュメモリ装置、またはその他の不揮発性固体状態メモリ装置等の不揮発性メモリを備えていてもよい。プロセッサ及びその他の構成要素によるメモリへのアクセスは、メモリコントローラにより制御されてもよい。

【0156】

一方、本発明の実施形態に係る診断方法は、コンピュータ読み取り可能なプログラム指令の形態で具現されてコンピュータ読み取り可能な記録媒体に格納されてもよく、本発明の実施形態に係る制御プログラム及び対象プログラムもまた、コンピュータ読み取り可能な記録媒体に格納されてもよい。コンピュータ読み取り可能な記録媒体は、コンピュータシステムにより読み込まれるデータが格納されるあらゆる種類の記録装置を網羅する。

【0157】

記録媒体に記録されるプログラム指令は、本発明のために特別に設計され且つ構成されたものであってもよく、ソフトウェア分野における当業者にとって公知となって使用可能なものであってもよい。

【0158】

コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピディスク及び磁気テープ等の磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ－ＲＯＭ（読み込み専用のコンパクトディスク）、デジタル多用途ディスク（ＤＶＤ）等の光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）等の磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）及びＲＯＭ（読み出し専用メモリ）、ＲＡＭ（ランダムアクセスメモリ）、フラッシュメモリ等のプログラム指令を格納しかつ行うように特別に工夫されたハードウェア装置が挙げられる。また、コンピュータ読み取り可能な記録媒体は、ネットワークにより結ばれたコンピュータシステムに分散されて、分散方式によりコンピュータ読み取り可能なコードが格納され且つ実行されてもよい。

【0159】

プログラム指令の例としては、コンパイラにより作成されるような機械語コードだけではなく、インタプリタ等を用いて電子的に情報を処理する装置、例えば、コンピュータにより起動可能な高級言語コードが挙げられる。

【0160】

上述したハードウェア装置は、本発明の動作を行うために一つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。

【0161】

上述した本発明の説明は、単なる例示のためのものであり、本発明の属する技術分野における通常の知識を有する者は、本発明の技術的な思想や必須的な特徴を変更することなく、他の具体的な形態へと容易に変形できることが理解できる筈である。よって、上述した実施形態は、あらゆる面において例示的なものに過ぎず、限定的ではないものと理解すべきである。例えば、単一型であると説明されている各構成要素は、分散されて実施されてもよく、同様に、分散されていると説明されている構成要素も、組み合わせられた形態に実施されてもよい。

【0162】

本発明の範囲は、上記の詳細な説明よりは、特許請求の範囲によって表わされ、特許請求の範囲の意味及び範囲、並びにその均等概念から導き出されるあらゆる変更または変形された形態も本発明の範囲に含まれるものと解釈されるべきである。

【産業上の利用可能性】

【0163】

本発明は、ニューラルネットワーク及び非局所的ブロックを用いてセグメンテーションを行う疾病診断システム及び方法に利用可能である。

【図1】

【図2】

【図3】

【図4】

【図5a】

【図5b】

【図6】

【図7】

【図8a】

【図8b】

【図9】

【図10】