ホーム > 特許ランキング > ディープ バイオ インク
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-19
(45)【発行日】2023-06-27
(54)【発明の名称】診断結果生成システム及び方法
(51)【国際特許分類】
G16H 10/60 20180101AFI20230620BHJP
G06T 7/00 20170101ALI20230620BHJP
G01N 33/483 20060101ALI20230620BHJP
G16H 30/40 20180101ALI20230620BHJP
【ＦＩ】
G16H10/60
G06T7/00 612
G01N33/483 C
G16H30/40
【請求項の数】
9
(21)【出願番号】P 2021505756
(86)(22)【出願日】2019-08-07
(65)【公表番号】
(43)【公表日】2021-12-02
(86)【国際出願番号】 KR2019009845
(87)【国際公開番号】W WO2020032560
(87)【国際公開日】2020-02-13
【審査請求日】2021-03-05
(31)【優先権主張番号】10-2018-0092030
(32)【優先日】2018-08-07
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】519208133
【氏名又は名称】ディープ バイオ インク
(74)【代理人】
【識別番号】100120008
【弁理士】
【氏名又は名称】山田 くみ子
(72)【発明者】
【氏名】リー サン フム
(72)【発明者】
【氏名】キム ソン ワ
【審査官】玉木 宏治
(56)【参考文献】
【文献】国際公開第２０１８／０７６０２３（ＷＯ，Ａ１）
【文献】国際公開第２０１８／１０６００５（ＷＯ，Ａ１）
【文献】特開２００２－０５５７４８（ＪＰ，Ａ）
【文献】特開２０１０－２０３９４９（ＪＰ，Ａ）
【文献】特開２０１３－２３８４５９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／０１６５８０９（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１６Ｈ １０／００－８０／００
Ｇ０６Ｔ ７／００
Ｇ０１Ｎ ３３／４８３
(57)【特許請求の範囲】
【請求項1】
生体画像であるスライドに疾病が存在するか否かを診断した結果を示す前記スライドの各ピクセル別の疾病状態情報と、疾病とアノテーションされた領域画像を含むマーキング情報を生成するマーキング情報生成モジュールと、前記マーキング情報の前記疾病とアノテーションされた領域画像から少なくとも一つの輪郭を抽出する輪郭抽出モジュールと、
抽出された前記少なくとも一つの輪郭のそれぞれのアウトライン情報を含むＸＭＬ文書を生成するＸＭＬ生成モジュールと、
前記スライドとニューラルネットワークを用いて前記疾病が存在するか否かを診断した結果を出力する診断システムとを備え、
前記マーキング情報生成モジュールは、前記診断システムが出力した診断結果に基づいて前記マーキング情報を生成し、
前記診断システムは、
前記スライドが所定の大きさに分割された所定のパッチのそれぞれに疾病が存在するか否かであるパッチレベル診断結果を生成するパッチニューラルネットワークと、
前記スライドに含まれている多数のパッチのそれぞれのパッチ診断結果に基づいて、前記スライドに相当するパッチレベルヒートマップ画像を生成するヒートマップ生成モジュールと、
前記スライドに相当するＨＳＶ（Ｈｕｅ－Ｓａｔｕｒａｔｉｏｎ－Ｖａｌｕｅ）モデルに基づいて、前記スライドに相当するティッシュマスク画像を生成するティッシュマスク生成モジュールと、
前記スライドと前記パッチレベルヒートマップ画像と前記ティッシュマスク画像にソフトマックスをとることで疾病を示す確率空間を構成し、前記確率空間に対して条件付き確率場を適用して、前記スライドに相当する疾病診断視覚化画像を前記スライドに対する診断結果として生成する診断結果視覚化モジュールと、
を備える診断結果生成システム。
【請求項2】
前記疾病状態情報は、正常、グリーソンパターン３、グリーソンパターン４及びグリーソンパターン５を含む請求項１に記載の診断結果生成システム。
【請求項3】
前記ＸＭＬ文書は、抽出された前記少なくとも一つの輪郭のそれぞれの疾病状態情報をさらに含む請求項２に記載の診断結果生成システム。
【請求項4】
前記疾病は、前立腺癌であることを特徴とする請求項１に記載の診断結果生成システム。
【請求項5】
前記ティッシュマスク生成モジュールは、前記スライドに相当するＳ空間に対する画像二値化を行って第１の二値化結果を生成し（ここで、前記スライドに相当するＳ空間は、前記スライドに相当するＨＳＶモデルの彩度値（Ｓａｔｕｒａｔｉｏｎ）空間である）、
前記スライドに相当する１－Ｖ空間に対する画像二値化を行って第２の二値化結果を生成し（ここで、前記スライドに相当するＶ空間は、前記スライドに相当するＨＳＶモデルの明度値（Ｖａｌｕｅ）空間である）、
前記第１の二値化結果及び前記第２の二値化結果に基づいて、前記スライドに相当するティッシュマスク画像を生成する請求項１に記載の診断結果生成システム。
【請求項6】
生体画像であるスライドとニューラルネットワークを用いて疾病が存在するか否かを診断した結果を出力する診断ステップと
前記スライドに疾病が存在するか否かを診断した結果を示す前記スライドの各ピクセル別の疾病状態情報と、疾病とアノテーションされた領域画像を含むマーキング情報を生成するマーキング情報生成ステップと、
前記マーキング情報から少なくとも一つの輪郭を抽出する輪郭抽出ステップと、
抽出された前記少なくとも一つの輪郭のそれぞれのアウトライン情報を含むＸＭＬ文書を生成するＸＭＬ生成ステップと、
を有し、
前記診断ステップは、
ニューラルネットワークを用いて、前記スライドが所定の大きさに分割された所定のパッチのそれぞれに疾病が存在するか否かであるパッチレベル診断結果を生成するパッチレベル診断ステップと、
前記スライドに含まれている多数のパッチのそれぞれのパッチ診断結果に基づいて、前記スライドに相当するパッチレベルヒートマップ画像を生成するヒートマップ生成ステップと、
前記スライドに相当するＨＳＶ（Ｈｕｅ－Ｓａｔｕｒａｔｉｏｎ－Ｖａｌｕｅ）モデルに基づいて、前記スライドに相当するティッシュマスク画像を生成するティッシュマスク生成ステップと、
前記スライドと前記パッチレベルヒートマップ画像と前記ティッシュマスク画像にソフトマックスをとることで疾病を示す確率空間を構成し、前記確率空間に対して条件付き確率場を適用して、前記スライドに相当する疾病診断視覚化画像を前記スライドに対する診断結果として生成する診断結果視覚化ステップと、
を含む疾病の診断結果生成方法をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項7】
前記疾病状態情報は、正常、グリーソンパターン３、グリーソンパターン４及びグリーソンパターン５を含む請求項６に記載のコンピュータプログラム。
【請求項8】
前記ＸＭＬ文書は、抽出された前記少なくとも一つの輪郭のそれぞれの疾病状態情報をさらに含む請求項７に記載のコンピュータプログラム。
【請求項9】
前記ティッシュマスク生成ステップは、前記スライドに相当するＳ空間に対する画像二値化を行って第１の二値化結果を生成するステップ（ここで、前記スライドに相当するＳ空間は、前記スライドに相当するＨＳＶモデルの彩度値（Ｓａｔｕｒａｔｉｏｎ）空間である）と、
前記スライドに相当する１－Ｖ空間に対する画像二値化を行って第２の二値化結果を生成するステップ（ここで、前記スライドに相当するＶ空間は、前記スライドに相当するＨＳＶモデルの明度値（Ｖａｌｕｅ）空間である）と、
前記第１の二値化結果及び前記第２の二値化結果に基づいて、前記スライドに相当するティッシュマスク画像を生成するステップと、
を含む請求項６に記載のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、診断結果生成システム及び方法に関する。さらに詳しくは、生体組織画像を用いて疾病の診断を行った結果を機械と人間の両方が理解できる形態で出力することのできるシステム及び該方法に関する。
【背景技術】
【0002】
病理学または病理科において行う主な業務の一つは、患者の生体画像を読み取って特定の疾病に対する状態または兆候を判断する診断を行うことである。このような診断は、長期間にわたって熟練された医療従事者の経験と知識に依存する方式である。
【0003】
最近には、機械学習の発達により、画像を認識したり分類したりするなどの業務をコンピュータシステムにより自動化させようとする試みが盛んに行われている。とりわけ、機械学習の一種であるニューラルネットワーク（例えば、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒｌａ ｎｅｔｗｏｒｋ；ＣＮＮ）を用いたディープラーニング方式）を用いて、熟練された医療従事者が行っていた診断を自動化させるための試みが行われている。
【0004】
特に、ニューラルネットワーク（例えば、ＣＮＮ）を用いたディープラーニングを通じた診断は、従来に熟練された医療従事者の経験と知識を単に自動化させることではなく、自ら学習を通じて特徴的な要素を見出して所望の解答を導き出すという点において、むしろ熟練された医療従事者が気づかなかった疾病因子の特徴を画像から見出す場合もある。
【0005】
一般に、生体画像を用いるニューラルネットワークを通じた疾病の診断では、生体画像の断片、すなわち、パッチ（ｐａｔｃｈ、またはタイル（ｔｉｌｅ）ともいう。）を用いる。すなわち、当該パッチに対して熟練された医療従事者は、特定の疾病の状態（例えば、癌が発現したか否か）をアノテーション（ａｎｎｏｔａｉｏｎ）し、このようなアノテーション済みの多数のタイルをトレーニングデータとして用いて、ニューラルネットワークを学習することになる。このとき、ニューラルネットワークとしては、畳み込みニューラルネットワークが利用可能である。
【0006】
しかしながら、このような方式の場合、学習されたニューラルネットワークは、当該タイルの画像特徴だけで当該タイルの疾病の状態を判断することになるが、実際には、特定の疾病に対して特定の生体組織の状態を判断する際には、特定の生体組織それ自体だけではなく、特定の生体組織の周りの組織の現況（例えば、模様、特定のパターンが存在するか否かなど）まで一緒に考慮されなければならない場合が存在する。しかしながら、従来の方式は、このような場合に向いていないという不都合がある。
【0007】
一方、従来の学習には、生体画像またはパッチのカラーそれ自体を入力データとして入力することになる。すなわち、一般に、ＲＧＢの３種類のチャンネル値として定義される入力データをそのまま用いることになる。しかしながら、このような場合、生体画像に相当する生体組織の染色に使われる染色試薬の特性に応じて、染色される組織のカラーがそれぞれ異なることがあり、これは、学習されるニューラルネットワークに直接的な影響を及ぼす虞がある。したがって、このような根源的な組織の画像特性ではなく、染色などに伴う非根源的なカラー特性にさらに強い方式によりニューラルネットワークが学習されることが必要になることがある。
【0008】
また、パッチ単位の診断結果に基づいて、疾病の発現有無をパッチ別に判断し、パッチ単位の診断結果を直ちに視覚化する場合に実際に組織（ティッシュ）ではない部分まで視覚化されてしまう不具合が生じる虞がある。したがって、疾病と診断された組織部分を明確に把握できるようにする視覚化方法が必要になることがある。
【0009】
一方、生体組織画像に対する診断を行った後、これに対する結果を容易に管理したり、連携される他のシステムに共有したりするためには、診断結果物を適切な方式とフォーマットで構成する必要がある。
【先行技術文献】
【特許文献】
【0010】
【文献】韓国公開特許公報第１０－２０１６－００３４８１４号「ニューラルネットワークを伴ったクライアント装置及びそれを備えるシステム」
【発明の概要】
【発明が解決しようとする課題】
【0011】
本発明が解決しようとする技術的課題は、特定のタイルの疾病に対する状態（例えば、疾病の発現有無、または疾病に対する状態を示す指標など）を判断するために特定のタイルだけではなく、周りのタイルまで学習に用いてさらに正確度を高めることのできるニューラルネットワークを用いる診断システム及び該方法を提供することである。
【0012】
また、本発明が解決しようとする他の技術的課題は、疾病の発現有無の診断に根源的な画像特性ではなく、カラーに強い特性を有することのできるニューラルネットワークを用いた診断システム及び該方法を提供することである。
【0013】
さらに、本発明が解決しようとするさらに他の技術的課題は、疾病が発現した組織部位を明確に把握できるようにする視覚化方法及びこれが行えるニューラルネットワークを用いた診断システムを提供することである。
【0014】
さらにまた、本発明が解決しようとするさらに他の技術的課題は、生体組織画像を用いて、疾病の診断を行った結果を機械と人間の両方が理解できる形で出力することのできるシステム及び該方法を提供することである。
【課題を解決するための手段】
【0015】
本発明の一局面によれば、生体画像であるスライドに疾病が存在するか否かを診断した結果を示すマーキング情報を生成するマーキング情報生成モジュール（ここで、前記マーキング情報は、前記スライドの各ピクセル別の疾病状態情報を含む）と、前記マーキング情報から少なくとも一つの輪郭（ｃｏｎｔｏｕｒ）を抽出する輪郭抽出モジュールと、抽出された前記少なくとも一つの輪郭のそれぞれのアウトライン情報を含むＸＭＬ文書（ＸＭＬドキュメント）を生成するＸＭＬ生成モジュールと、を備える診断結果生成システムが提供される。
【0016】
一実施形態において、前記疾病状態情報は、正常、グリーソンパターン３、グリーソンパターン４及びグリーソンパターン５を含んでいてもよい。
【0017】
一実施形態において、前記ＸＭＬ文書は、抽出された前記少なくとも一つの輪郭のそれぞれの疾病状態情報をさらに含んでいてもよい。
【0018】
一実施形態において、前記疾病は、前立腺癌であることを特徴としてもよい。
【0019】
一実施形態において、前記診断結果生成システムは、前記スライドとニューラルネットワークを用いて前記疾病が存在するか否かを診断した結果を出力する診断システムをさらに備え、前記マーキング情報生成モジュールは、前記診断システムが出力した診断結果に基づいて前記マーキング情報を生成してもよい。
【0020】
一実施形態において、前記診断システムは、前記スライドが所定の大きさに分割された所定のパッチのそれぞれに疾病が存在するか否かであるパッチレベル診断結果を生成するパッチニューラルネットワークと、前記スライドに含まれている多数のパッチのそれぞれのパッチ診断結果に基づいて、前記スライドに相当するパッチレベルヒートマップ画像を生成するヒートマップ生成モジュールと、前記スライドに相当するＨＳＶ（Ｈｕｅ－Ｓａｔｕｒａｔｉｏｎ－Ｖａｌｕｅ）モデルに基づいて、前記スライドに相当するティッシュマスク画像を生成するティッシュマスク生成モジュールと、前記パッチレベルヒートマップ画像と前記ティッシュマスク画像に基づいて、前記スライドに対する診断結果を生成する診断結果視覚化モジュールと、を備えていてもよい。
【0021】
一実施形態において、前記ティッシュマスク生成モジュールは、前記スライドに相当するＳ空間に対する画像二値化を行って第１の二値化結果を生成し（ここで、前記スライドに相当するＳ空間は、前記スライドに相当するＨＳＶモデルの彩度値（Ｓａｔｕｒａｔｉｏｎ）空間である）、前記スライドに相当する１－Ｖ空間に対する画像二値化を行って第２の二値化結果を生成し（ここで、前記スライドに相当するＶ空間は、前記スライドに相当するＨＳＶモデルの明度値（Ｖａｌｕｅ）空間である）、前記第１の二値化結果及び前記第２の二値化結果に基づいて、前記スライドに相当するティッシュマスク画像を生成してもよい。
【0022】
一実施形態において、前記診断結果視覚化モジュールは、前記パッチレベルヒートマップ画像及び前記ティッシュマスク画像に条件付き確率場（Ｃｏｎｄｉｔｉｏｎａｌ Ｒａｎｄｏｍ Ｆｉｅｌｄ）を適用して前記スライドに相当する疾病診断視覚化画像を生成してもよい。
【0023】
本発明の他の一局面によれば、生体画像であるスライドに疾病が存在するか否かを診断した結果を示すマーキング情報を生成するマーキング情報ステップ（ここで、前記マーキング情報は、前記スライドの各ピクセル別の疾病状態情報を含む）と、前記マーキング情報から少なくとも一つの輪郭を抽出する輪郭抽出ステップと、抽出された前記少なくとも一つの輪郭のそれぞれのアウトライン情報を含むＸＭＬ文書を生成するＸＭＬ生成ステップと、を含む診断結果生成方法が提供される。
【0024】
一実施形態において、前記診断結果生成方法は、前記スライドとニューラルネットワークを用いて前記疾病が存在するか否かを診断した結果を出力する診断ステップをさらに含み、前記マーキング情報生成ステップは、前記診断システムが出力した診断結果に基づいて前記マーキング情報を生成するステップを含んでいてもよい。
【0025】
一実施形態において、前記診断ステップは、ニューラルネットワークを用いて、前記スライドが所定の大きさに分割された所定のパッチのそれぞれに疾病が存在するか否かであるパッチレベル診断結果を生成するパッチレベル診断ステップと、前記スライドに含まれている多数のパッチのそれぞれのパッチ診断結果に基づいて、前記スライドに相当するパッチレベルヒートマップ画像を生成するヒートマップ生成ステップと、前記スライドに相当するＨＳＶ（Ｈｕｅ－Ｓａｔｕｒａｔｉｏｎ－Ｖａｌｕｅ）モデルに基づいて、前記スライドに相当するティッシュマスク画像を生成するティッシュマスク生成ステップと、前記パッチレベルヒートマップ画像と前記ティッシュマスク画像に基づいて、前記スライドに対する診断結果を生成する診断結果視覚化ステップと、を含んでいてもよい。
【0026】
一実施形態において、前記ティッシュマスク生成ステップは、前記スライドに相当するＳ空間に対する画像二値化を行って第１の二値化結果を生成するステップ（ここで、前記スライドに相当するＳ空間は、前記スライドに相当するＨＳＶモデルの彩度値（Ｓａｔｕｒａｔｉｏｎ）空間である）と、前記スライドに相当する１－Ｖ空間に対する画像二値化を行って第２の二値化結果を生成するステップ（ここで、前記スライドに相当するＶ空間は、前記スライドに相当するＨＳＶモデルの明度値（Ｖａｌｕｅ）空間である）と、前記第１の二値化結果及び前記第２の二値化結果に基づいて、前記スライドに相当するティッシュマスク画像を生成するステップと、を含んでいてもよい。
【0027】
一実施形態において、前記診断結果視覚化ステップは、前記パッチレベルヒートマップ画像及び前記ティッシュマスク画像に条件付き確率場（Ｃｏｎｄｉｔｉｏｎａｌ Ｒａｎｄｏｍ Ｆｉｅｌｄ）を適用して前記スライドに相当する疾病診断視覚化画像を生成してもよい。
【0028】
本発明のさらに他の局面によれば、データ処理装置にインストールされ、上述した方法を行うための媒体に記録されたコンピュータプログラムが提供される。
【発明の効果】
【0029】
本発明の技術的思想によれば、特定のパッチに対する診断を行いながら、特定のパッチを含み、周りのパッチをさらに含む巨視パッチまで一緒に考慮して特定のパッチの疾病に対する状態を判断できるニューラルネットワークを提供することにより、さらに高い診断の正確度を提供することができるという効果がある。
【0030】
また、本発明の技術的思想によれば、入力される入力データ、すなわち、パッチのオリジナルカラー値（例えば、ＲＧＢ３チャンネル値）だけではなく、グレイチャンネルをさらに入力データとして活用することにより、単にグレイチャンネルのみを用いる場合に生じ得るカラー差が示す疾病に関連する画像特性が無視されることを防ぎながらも、疾病の発現有無の診断に根源的な画像特性ではなく、カラーの様々な要因に伴うバリエーション（ｖａｒｉａｔｏｎ）に強い特性を有することができる。
【0031】
さらに、本発明の技術的思想によれば、疾病が発現したと判断されたパッチ内において組織部分のみを区別して視覚化することができるという効果がある。
【0032】
さらにまた、本発明の技術的思想によれば、生体組織画像を用いて、疾病の診断を行った結果を機械と人間の両方が理解できる形で出力することができる。
【図面の簡単な説明】
【0033】
本発明の詳細な説明の欄において引用される図面をより十分に理解するために、各図面の簡単な説明が提供される。
【0034】
【図1】本発明の技術的思想に基づく診断結果生成システムの概略的なシステム構成を示す図である。
【図2a】本発明の一実施形態に係る診断結果生成システムの論理的な構成を説明するための図である。
【図2b】本発明の実施形態に係るニューラルネットワークを用いた疾病の診断システムの論理的な構成を説明するための図である。
【図3】本発明の実施形態に係る診断結果生成システムのハードウェア的な構成を説明するための図である。
【図4a】スライドに疾病領域がアノテーションされた画像を示す図である。
【図4b】本発明の一実施形態に係る診断結果生成システムが生成するＸＭＬ文書の一例を示す図である。
【図5】本発明の実施形態に係るニューラルネットワークの例示的な構成を説明するための図である。
【図6】本発明の他の実施形態に係るニューラルネットワークの例示的な構成を説明するための図である。
【図7a】スライドの一例を示す図である。
【図7d】疾病と診断された部分を視覚化した結果画像の一例を示す図である。
【発明を実施するための形態】
【0035】
本発明は、様々な変更を加えることができ、種々の実施形態を有することができるので、特定の実施形態を図面に例示し、詳細な説明において詳しく説明する。しかしながら、これは、本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含まれるあらゆる変換、均等物ないし代替物を含むものと理解されるべきである。なお、本発明について説明するにあたって、関連する公知の技術についての具体的な説明が本発明の要旨を余計に曖昧にする虞があると認められる場合にはその詳細な説明を省略する。
【0036】
「第１の」、「第２の」などの用語は、様々な構成要素を説明するうえで使用可能であるが、構成要素は、用語によって何等限定されない。用語は、ある構成要素を他の構成要素から区別する目的でしか使えない。
【0037】
この出願において用いた用語は、単に特定の実施形態を説明するために用いられたものであり、本発明を限定しようとする意図はない。単数の表現は、文脈からみて明らかに他の意味を有さない限り、複数の表現を含む。
【0038】
この明細書において、「備える」、「含む」または「有する」などの用語は、明細書の上に記載の特徴、数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定するものに過ぎず、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたもの存在または付加の可能性を予め排除しないものと理解すべきである。
【0039】
また、この明細書においては、ある一つの構成要素が他の構成要素にデータを「伝送」する場合には、これは、構成要素が、他の構成要素に直接的にデータを伝送してもよく、少なくとも一つのさらに他の構成要素を介してデータを他の構成要素に伝送してもよいことを意味する。逆に、ある一つの構成要素が他の構成要素にデータを「直接的に伝送」する場合には、これは、構成要素から他の構成要素を介さずに他の構成要素にデータが伝送されることを意味する。
【0040】
以下、添付図面に基づいて、本発明の実施形態を中心に本発明について詳しく説明する。各図面に示されている同一の参照符号は、同一の部材を示す。
【0041】
本発明の技術的思想に基づく診断結果生成方法は、診断結果生成システムによって行われてもよい。
【0042】
図１は、本発明の技術的思想に基づく診断結果生成システムの概略的なシステム構成を示す図である。
【0043】
図１を参照すると、本発明の技術的思想に基づく診断結果生成システム１００は、所定のサーバ１０に設けられて本発明の技術的思想を実現することができる。サーバ１０は、本発明の技術的思想を実現するための演算能力をもったデータ処理装置を意味し、一般に、ネットワークを介してクライアントが接続可能なデータ処理装置だけではなく、パソコン、携帯端末などのように特定のサービスが行えるいかなる装置もまたサーバとして定義可能であるということが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。
【0044】
サーバ１０は、図３に示すように、プロセッサ１１及び格納装置１２を備えていてもよい。プロセッサ１１は、本発明の技術的思想を実現するためのプログラム１２－１を駆動し得る演算装置を意味してもよく、プロセッサ１１は、特定の疾病（例えば前立腺癌）に対する診断結果を生成することができる。診断結果は、生体組織画像であるスライドに疾病が存在する場合、具体的な疾病領域に関する情報及び／又は各領域の疾病状態情報（例えば、疾病の進み具合に関する情報など）を含んでいてもよい。
【0045】
また、プロセッサ１１は、プログラム１２－１とニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）１２－２を用いて診断を行うことができる。ニューラルネットワーク１２－２は、後述するように、パッチレベル診断を行うパッチニューラルネットワークを備えていてもよい。
【0046】
格納装置１２は、プログラム１２－１及びニューラルネットワーク１２－２を格納し得るデータ格納手段を意味してもよく、実現例に応じて、複数の格納手段により実現されてもよい。また、格納装置１２は、サーバ１０に組み込まれている主記憶装置だけではなく、プロセッサ１１に組み込まれ得る一時格納装置またはメモリなどを網羅する意味であってもよい。
【0047】
診断結果生成システム１００は、図１または図３には、いずれか一つの物理的な装置により実現されるものとして示されているが、必要に応じて、複数の物理的な装置が有機的に結合されて本発明の技術的思想に基づく診断結果生成システム１００を実現することができるということが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。
【0048】
この明細書において、「診断結果生成システム１００が診断結果を生成する」とは、疾病と診断された部位に関するマーキング情報を含む電子的形態の文書を生成するための一連のプロセスを意味してもよい。とりわけ、診断結果生成システム１００は、診断した結果を示すマーキング情報を含むＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式の文書を生成することができる。ＸＭＬ文書は、人間と機械（コンピュータ）の両方が認識できるフォーマットにエンコードされた文書であり、ＷＷＷＣ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ Ｃｏｎｓｏｒｔｉｕｍ）によって標準化された方式で実現されてもよい。
【0049】
一実施形態において、診断結果生成システム１００は、生体組織画像であるスライドを人間あるいは他のシステムが診断を行い、疾病と判断した部位をアノテーションした結果物を用いてＸＭＬ文書を生成してもよい。すなわち、疾病に対する診断自体は人間や他のシステムにより行われ、それをＸＭＬ文書の形で出力する機能のみが、診断結果生成システム１００により行われてもよい。
【0050】
一方、他の一実施形態において、診断結果生成システム１００がスライドを用いて直接疾病の診断を行い、診断結果をＸＭＬ文書の形で出力してもよい。
【0051】
診断結果生成システム１００が直接診断を行う場合、診断結果生成システム１００は、生体組織が表現された生体画像、すなわち、スライドの全体またはスライドの一部であるパッチを入力されてこの明細書において定義された出力データを出力する一連のプロセスを行うことができ、これについては、後述する。
【0052】
診断結果生成システム１００が所定のサーバ１０に組み込まれて実現される場合、診断結果生成システム１００は、サーバ１０に接続可能な少なくとも一つのクライアント（例えば、２０、２０－１）と通信を行うこともできる。このような場合、クライアント（例えば、２０、２０－１）は、生体画像を診断結果生成システム１００に伝送してもよく、診断結果生成システム１００は、伝送された生体画像に対して本発明の技術的思想に基づく診断を行ってもよい。そして、診断結果をクライアント（例えば、２０、２０－１
）に伝送してもよい。
）に伝送してもよい。
【0053】
図２ａは、本発明の一実施形態に係る診断結果生成システムの論理的な構成を説明するための図である。
【0054】
図２ａを参照すると、診断結果生成システム１００は、マーキング情報生成モジュール１１０、輪郭抽出モジュール１２０、ＸＭＬ生成モジュール１３０を備えていてもよい。実施形態に応じて、診断結果生成システム１００は、診断システム３００をさらに備えていてもよい。本発明の実施形態に応じては、上述した構成要素のうちの一部の構成要素は、必ずしも本発明の実現に欠かせない構成要素に該当するとは限らず、また、実施形態に応じて、診断結果生成システム１００は、これよりもさらに多い構成要素を備えていてもよいことはいうまでもない。例えば、診断結果生成システム１００は、クライアント（例えば、２０、２０－１）と通信するための通信モジュール（図示せず）をさらに備えていてもよい。
【0055】
診断結果生成システム１００は、本発明の技術的思想を実現するために必要とされるハードウェアリソース（ｒｅｓｏｕｒｃｅ）及び／又はソフトウェアを備えた論理的な構成を意味してもよく、必ずしも一つの物理的な構成要素を意味したり、一つの装置を意味したりするとは限らない。すなわち、診断結果生成システム１００は、本発明の技術的思想を実現するために配備されるハードウェア及び／又はソフトウェアの論理的な結合を意味してもよく、必要に応じて、互いに離れている装置に設けられてそれぞれの機能を行うことにより、本発明の技術的思想を実現するための論理的な構成の集まりとして実現されてもよい。また、診断結果生成システム１００は、本発明の技術的思想を実現するためのそれぞれの機能または役割別に別途に実現される構成の集まりを意味してもよい。例えば、マーキング情報生成モジュール１１０、輪郭抽出モジュール１２０、ＸＭＬ生成モジュール１３０及び／又は診断システム３００のそれぞれは、互いに異なる物理的な装置に位置してもよく、同一の物理的な装置に位置してもよい。また、実現例に応じては、マーキング情報生成モジュール１１０、輪郭抽出モジュール１２０、ＸＭＬ生成モジュール１３０及び／又は診断システム３００のそれぞれを構成するソフトウェア及び／又はハードウェアの結合もまた互いに異なる物理的な装置に位置し、互いに異なる物理的な装置に位置している構成が互いに有機的に結合されてそれぞれのモジュールを実現してもよい。
【0056】
また、この明細書において、「モジュール２とは、本発明の技術的思想を行うためのハードウェア及びハードウェアを駆動するためのソフトウェアの機能的、構造的な結合を意味してもよい。例えば、モジュールは、所定のコードと所定のコードが実行されるためのハードウェアリソース（ｒｅｓｏｕｒｃｅ）の論理的な単位を意味してもよく、必ずしも物理的に連結されたコードを意味したり、１種類のハードウェアを意味したりするとは限らないということは、本発明の技術分野における平均的な専門家にとっては容易に推論できる筈である。
【0057】
マーキング情報生成モジュール１１０は、生体画像であるスライドに疾病が存在するか否かを診断した結果を示すマーキング情報を生成することができる。このとき、マーキング情報は、スライドの各ピクセル別の疾病状態情報を含んでいてもよい。
【0058】
例えば、スライドがＮ＊Ｍのピクセルで構成されている場合は、スライドに相当するマーキング情報は、Ｎ＊Ｍの行列の形態であり、行列のそれぞれの値は、それに対応するピクセルの状態情報を有することができる。
【0059】
一方、疾病状態は、正常、グリーソンパターン３、グリーソンパターン４及びグリーソンパターン５を含んでいてもよく、マーキング情報は、特定の状態に対応する値を有していてもよい。例えば、マーキング情報に含まれるそれぞれの疾病状態情報は、当該ピクセルが正常の場合には０、グリーソンパターン３の場合には１、グリーソンパターン４の場合には２、グリーソンパターン５の場合は３であってもよい。
【0060】
図４ａは、スライドに疾病領域がアノテーションされた画像を示す図である。図４ａに示すように、疾病領域が疾病状態に応じて特定の色でアノテーションされてもよい。マーキング情報生成モジュール１１０は、アノテーションされた領域に属する各ピクセルに対応するマーキング情報の値を、当該ピクセルの疾病状態に当該する値と設定することにより、マーキング情報を生成してもよい。
【0061】
輪郭抽出モジュール１２０は、マーキング情報から少なくとも一つの輪郭を抽出してもよい。スライドにおいて疾病とアノテーションされた個々の領域ごとに輪郭が抽出されてもよい。
【0062】
一方、ＸＭＬを生成モジュール１３０は、スライドに対する診断結果（さらに詳しくは、疾病領域とアノテーションされた結果）を含むＸＭＬ文書を生成してもよい。
【0063】
生成されたＸＭＬ文書は、輪郭抽出モジュール１２０により抽出された少なくとも一つの輪郭のそれぞれのアウトライン情報を含んでいてもよい。また、ＸＭＬ文書は、抽出された少なくとも一つの輪郭のそれぞれの疾病状態情報をさらに含んでいてもよい。
【0064】
図４ｂは、生成されたＸＭＬ文書の一例を示す図である。図４ｂに示すような実施形態において、それぞれのアノテーション領域は＜Ａｎｎｏｔａｔｉｏｎ＞というタグにより区別でき、当該領域の疾病状態情報はｃｌａｓｓというパラメータに指定されてもよい。一方、当該アノテーションの領域に相当する輪郭のアウトラインを構成する点群が少なくとも一つの＜Ｃｏｏｒｄｉｎａｔｅ＞タグを使用して格納されてもよい。
【0065】
上述したように、本発明の技術的思想によれば、スライドに対する診断結果がアノテーションされた領域ごとに区別され、標準化された書式に基づいてＸＭＬ形式で生成され得る。ＸＭＬ文書は、人間だけではなく機械も認識できる形態の文書であるため、他の診断者がそれを用いて診断結果を容易に把握することができ、他のシステムと診断結果を容易に共有することができるという効果がある。
【0066】
一方、上述したように、本発明の一実施形態に係る診断結果生成システム１００は、直接疾病に対する診断を行うことができるが、そのために診断結果生成システム１００は、ニューラルネットワークを用いて診断を行う診断システム３００をさらに備えていてもよい。以下では、診断システム３００について詳細に説明する。
【0067】
本発明の一実施形態によれば、診断システム３００は、パッチレベル診断を行うことができる。パッチレベル診断は、スライドをパッチ単位に分け、分けられたパッチに疾病が発現したか否かを診断することを意味してもよい。したがって、診断システム３００は、スライドのパッチ別に入力され、当該パッチに疾病が発現したか否かを出力することができる。このためのニューラルネットワークが学習されて実現されてもよいことはいうまでもない。
【0068】
一方、パッチレベル診断を行うニューラルネットワークは、本発明の技術的思想によれば、当該パッチのみを用いて診断を行うわけではなく、当該パッチの周りのパッチまでさらに考慮して診断を行ってもよい。このような技術的思想は、本出願人が出願した韓国特許出願（出願番号第１０－２０１６－０１６８１７６号、ニューラルネットワークを用いた疾病の診断システム及び該方法、以下、「以前の出願」と称する。）に詳しく開示されている。これを通じて、非常に枝葉の領域、すなわち、パッチに該当する領域のみを単独で考慮して診断を行う場合よりは、その周りの領域まで一緒に考慮する場合に診断の正確性を高めることができる。さらに、本発明の技術的思想によれば、特定のパッチの周りのパッチだけではなく、全体のスライドにおけるパッチの位置、密集度、クラスタの大きさなどの物理的な特性をさらに考慮することにより、スライドに疾病が存在するか否かをさらに正確に判断することができるという効果がある。以前の出願は、本発明のレファレンスとして取り込まれ、その内容は、この明細書に記載されたものとして取り扱われてもよい。
【0069】
一方、パッチレベル診断により出力される状態情報（疾病状態情報）は、パッチに該当する組織に特定の疾病（例えば、特定の種類の癌）が発現したか否かに対する確率を示す情報であってもよい。診断システム３００は、特定の基準値（しきい値）以上の確率が示される場合、パッチを疾病（例えば、前立腺癌）が発現したパッチと判断してもよい。
【0070】
いうまでもなく、診断システム３００は、以前の出願に開示されているように、特定の疾病の発現有無だけではなく、特定の疾病の進み具合を示す情報（または、進み具合に該当する確率）であってもよい。例えば、本発明の技術的思想が前立腺癌の診断に用いられる場合、前立腺癌の進み具合を示す指標であるグリーソンスコア（Ｇｌｅａｓｏｎ Ｐａｔｔｅｒｎ）またはグリーソンスコア（Ｇｌｅａｓｏｎ Ｓｃｏｒｅ）が、ニューラルネットワークが出力する疾病状態情報に含まれてもよい。例えば、グリーソンスコアは、２～５の値を有し、数字が大きくなれば大きくなるほど、前立腺癌が発現した度合いが激しいことを示す。したがって、状態情報は、診断の対象となるパッチに該当する生体組織がグリーソンスコアの特定の値（例えば、３、４、または５）に該当する確率を意味してもよい。
【0071】
状態情報は、複数存在してもよい。例えば、第１の状態情報は、グリーソンスコアが３である確率、第２の状態情報は、グリーソンスコアが４である確率、第３の状態情報は、グリーソンスコアが５である確率を示すことができ、これらの第１の状態情報、第２の状態情報、第３の状態情報に相当する状態チャンネルがすべて出力レイヤに定義されてもよい。実現例に応じては、グリーソンスコアが一定の範囲（例えば、３～５、４～５など）を有する確率を示す状態情報が定義されてもよい。すなわち、一つの状態情報が疾病の進み具合を表現する複数の指標に対応してもよい。
【0072】
このような場合、ニューラルネットワークは、グリーソンスコアが３以上である状態情報が所定のしきい値以上である場合、パッチを疾病パッチ、すなわち、疾病が発現したパッチと判断することができる。
【0073】
一方、ニューラルネットワークが用いるしきい値は、種々に設定されてもよい。実施形態によれば、しきい値は、複数用いられてもよい。しきい値に基づいて、特定のパッチが、疾病が発現したパッチ、すなわち、疾病パッチと判断されてもよく、ノーマルパッチと判断されてもよいことはいうまでもない。
【0074】
本発明の技術的思想によれば、ニューラルネットワークが用いるしきい値は、複数であってもよく、このような場合、複数のしきい値のそれぞれに応じて診断される疾病パッチは異なってくることがある。
【0075】
一方、また、診断システム３００は、行われたパッチレベル診断結果に対する視覚化又はアノテーションを行ってもよい。この明細書において、診断結果に対する視覚化とは、診断の結果、疾病と判断された部分に所定の視覚的な効果を与えることを意味してもよい。視覚的な効果は、視覚により認知可能な効果を意味してもよい。例えば、視覚化により疾病と判断された部分が他の色相で表わされたり強調されたりしてもよい。
【0076】
診断システム３００は、本発明の技術的思想に基づくニューラルネットワークを用いてパッチレベル診断を行ってもよい。いうまでもなく、このような診断を行うために、ニューラルネットワークを学習させるプロセスを先に行ってもよい。
【0077】
したがって、診断システム３００は、本発明の技術的思想に基づいて学習されたニューラルネットワーク及びニューラルネットワークを用いて診断を行うためのプログラムを外部から受信して診断を行うシステムであってもよく、ニューラルネットワークの学習まで行うシステムであってもよい。なお、診断システム３００は、汎用のデータ処理装置ではなく、本発明の技術的思想を実現するために製作された専用装置として実現されてもよく、このような場合には、生体画像を走査するための手段などがさらに配備されてもよい。
【0078】
ニューラルネットワークは、以前の出願に開示されているように、特定のパッチに対する診断を行うために特定のパッチそれ自体の画像のみを考慮するわけではなく、特定のパッチの隣の少なくとも一つのパッチの画像までも考慮して特定のパッチの診断を行う特徴を有していてもよい。このような技術的思想によって、実際に特定のパッチに該当する生体組織の診断のために生体組織だけではなく、生体組織の周りの組織の状態まで考慮しなければならない疾病の診断に非常に有意味なレベルまで正確度を向上させることが可能になるという効果がある。なお、生体画像を多数のパッチに分割する場合、パッチの分割方式や分割された領域が生体組織のどのような位置であるかに応じて生じ得る診断結果の影響に強い効果を有することができる。
【0079】
いうまでもなく、前述したように、ニューラルネットワークは、以前の出願に開示されている特徴を有していなくてもよく、いかなる場合でも、ニューラルネットワークは、パッチ別に診断を行うように学習されるニューラルネットワークであってもよい。
【0080】
このとき、ニューラルネットワークは、従来とは異なり、パッチに含まれているピクセルのそれぞれに対して追加チャンネルをさらに入力値として受け入れてもよい。追加チャンネルは、それぞれのピクセルのグレイ値であってもよい。したがって、ニューラルネットワークは、パッチ別に入力を受け入れながら、パッチに含まれているピクセルのオリジナル値（例えば、ＲＧＢ３チャンネル）と併せて、追加チャンネルであるグレイチャンネルをさらに入力として受け入れてもよい。
【0081】
このような場合、生体画像のカラーが疾病に関連する画像特性とは無関係な要因（例えば、診断機関の特性、染色試薬など）により変化があり得る場合に強い効果を有することができる。いうまでもなく、単に元のオリジナル値を用いることなく、グレイチャンネルのみを用いる場合に生じ得る、疾病に関連する画像特性がカラーで反映されて表示される際、これらの重要な情報が学習に反映できなくなるという不都合を有する場合があり、このような不都合を解決することもできる。
【0082】
本発明の技術的思想に基づく診断システム３００が用いるニューラルネットワークは、微視ニューラルネットワーク及び巨視ニューラルネットワークを備えていてもよい。
【0083】
微視ニューラルネットワークは、特定の一つのタイルを用いて学習を行い、タイルそれ自体の画像特徴を用いてタイルに対する診断を行うための一連のプロセスを行うネットワークを意味してもよい。
【0084】
巨視ニューラルネットワークは、タイルだけではなく、タイルを含み、タイルの隣のタイルを少なくとも一つ含む巨視タイルを用いて学習を行い、巨視タイルの全体の画像特徴を用いてタイルに対する診断を行うための一連のプロセスを行うネットワークを意味してもよい。
【0085】
したがって、本発明の技術的思想に基づくニューラルネットワークは、特定のタイルに対する診断を行うために特定のタイルそれ自体の画像のみを考慮するわけではなく、特定のタイルの隣の少なくとも一つのタイルの画像までも考慮して特定のタイルの診断を行う特徴を有することができる。このような技術的思想によって、実際に特定のタイルに該当する生体組織の診断のために生体組織だけではなく、生体組織の周りの組織の状態まで考慮しなければならない疾病の診断に非常に有意味なレベルまで正確度を向上させることが可能になるという効果がある。なお、生体画像を多数のタイルに分割する場合、タイルの分割方式や分割された領域が生体組織のどのような位置であるかに応じて生じ得る診断結果の影響に強い効果を有することができる。
【0086】
このような技術的思想を実現するための診断システム３００は、論理的に図２ｂに示すような構成を有することができる。
【0087】
図２ｂは、本発明の実施形態に係るニューラルネットワークを用いて疾病の診断を行う診断システム３００の論理的な構成を説明するための図である。
【0088】
図２ｂを参照すると、診断システム３００は、制御モジュール３１０、ニューラルネットワークが格納されたニューラルネットワークモジュール３２０、前処理モジュール３３０、ヒートマップ生成モジュール３４０、ティッシュマスク生成モジュール３５０、診断結果視覚化モジュール３６０を備えていてもよい。本発明の実施形態に応じては、上述した構成要素のうちの一部の構成要素は、必ずしも本発明の実現に欠かせない構成要素に該当するとは限らず、また、実施形態に応じて、診断システム３００は、これよりもさらに多い構成要素を備えていてもよいことはいうまでもない。
【0089】
診断システム３００は、本発明の技術的思想を実現するために必要とされるハードウェアリソース（ｒｅｓｏｕｒｃｅ）及び／又はソフトウェアを備えた論理的な構成を意味してもよく、必ずしも一つの物理的な構成要素を意味したり、一つの装置を意味したりするとは限らない。すなわち、診断システム３００は、本発明の技術的思想を実現するために配備されるハードウェア及び／又はソフトウェアの論理的な結合を意味してもよく、必要に応じて、互いに離れている装置に設けられてそれぞれの機能を行うことにより、本発明の技術的思想を実現するための論理的な構成の集まりとして実現されてもよい。また、診断システム３００は、本発明の技術的思想を実現するためのそれぞれの機能または役割別に別途に実現される構成の集まりを意味してもよい。例えば、制御モジュール３１０、ニューラルネットワークモジュール３２０、前処理モジュール３３０、ヒートマップ生成モジュール３４０、ティッシュマスク生成モジュール３５０及び／又は診断結果視覚化モジュール３６０のそれぞれは、互いに異なる物理的な装置に位置してもよく、同一の物理的な装置に位置してもよい。また、実現例に応じては、制御モジュール３１０、ニューラルネットワークモジュール３２０、前処理モジュール３３０、ヒートマップ生成モジュール３４０、ティッシュマスク生成モジュール３５０及び／又は診断結果視覚化モジュール３６０のそれぞれを構成するソフトウェア及び／又はハードウェアの結合もまた互いに異なる物理的な装置に位置し、互いに異なる物理的な装置に位置している構成が互いに有機的に結合されてそれぞれのモジュールを実現してもよい。
【0090】
制御モジュール３１０は、診断システム３００に備えられている他の構成要素（例えば、ニューラルネットワークモジュール３２０、前処理モジュール３３０、ヒートマップ生成モジュール３４０、ティッシュマスク生成モジュール３５０、診断結果視覚化モジュール３６０など）の機能及び／又はリソースを制御してもよい。
【0091】
制御モジュール３１０は、ニューラルネットワークモジュール３２０に格納されたニューラルネットワークを用いて、本発明の技術的思想に基づくパッチレベル診断を行うことができる。パッチレベル診断は、前述したように、本発明の技術的思想に従ったディープラーニングに基づくニューラルネットワークにより実現されてもよい。すなわち、制御モジュール３１０の制御により、ニューラルネットワークは、スライドが所定の大きさに分割された所定のパッチのそれぞれに疾病が存在するか否かであるパッチレベル診断結果を生成することができる。
【0092】
ニューラルネットワークは、ニューラルネットワークを定義する一連の設計事項を表現する情報の集まりを意味してもよい。この明細書において、ニューラルネットワークは、畳み込みニューラルネットワークであってもよい。
【0093】
畳み込みニューラルネットワークは、周知のごとく、入力レイヤ、複数の隠れレイヤ、及び出力レイヤを備えていてもよい。複数の隠れレイヤのそれぞれは、畳み込みレイヤ及びプーリングレイヤ（または、サブサンプリングレイヤ）を備えていてもよい。
【0094】
畳み込みニューラルネットワークは、これらのそれぞれのレイヤを定義するための関数、フィルタ、ストライド（ｓｔｒｉｄｅ）、重み係数などにより定義されてもよい。また、出力レイヤは、全結合（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）されたフィードフォワードレイヤ（ＦｅｅｄＦｏｒｗａｒｄ ｌａｙｅｒ）により定義されてもよい。
【0095】
畳み込みニューラルネットワークを構成するそれぞれのレイヤ別の設計事項は、広く知られている。例えば、複数のレイヤに備えられるべきレイヤの数、複数のレイヤを定義するための畳み込み関数、プーリング関数、活性化関数のそれぞれに対しては公知の関数が用いられてもよく、本発明の技術的思想を実現するために別途に定義された関数が用いられてもよい。
【0096】
本発明の実施形態によれば、パッチレベル診断を行うニューラルネットワークとしては、公知の高密度畳み込みネットワーク（ｄｅｎｓｅｎｅｔ）を利用し、このとき、以前の出願に開示されているように、診断の対象となる特定のパッチだけではなく、周りのパッチまでも考慮できるように設計されてもよい。この他にも、様々なニューラルネットワークが活用されてもよく、いかなる場合でも、ニューラルネットワークは、特定のパッチを入力され、当該特定のパッチの疾病発現の確率に相当する特徴量を出力するように定義されてもよい。
【0097】
制御モジュール３１０は、ニューラルネットワークモジュール３２０に格納されたニューラルネットワーク、すなわち、学習されたニューラルネットワークに入力データ、すなわち、パッチ別の入力を受けてもよい。このとき、前述したように、オリジナル値にグレイチャンネル値が追加された値を入力されてもよい。グレイチャンネル値は、ピクセル値をグレイ値に変換して取得されてもよいことはいうまでもない。そして、ニューラルネットワークにより定義される演算を行って出力データ、すなわち、パッチに該当する疾病の発現確率に相当する特徴量を出力してもよい。なお、実施形態に応じては、後述するように、スライドレベル診断のために特徴量が所定のしきい値であるか否かに応じて当該パッチに疾病が発現したか否かを出力してもよい。
【0098】
ニューラルネットワークモジュール３２０は、ニューラルネットワークを格納してもよい。ニューラルネットワークは、ニューラルネットワークを定義する一連の設計事項を表現する情報の集まりを意味してもよい。この明細書において、ニューラルネットワークは、畳み込みニューラルネットワークであってもよい。
【0099】
畳み込みニューラルネットワークは、よく知られているように、入力レイヤ、複数の隠れレイヤ、及び出力レイヤを備えていてもよい。複数の隠れレイヤのそれぞれは、畳み込みレイヤ及びプーリングレイヤ（または、サブサンプリングレイヤ）を備えていてもよい。
【0100】
畳み込みニューラルネットワークは、これらのそれぞれのレイヤを定義するための関数、フィルタ、ストライド（ｓｔｒｉｄｅ）、重み係数などにより定義されてもよい。また、出力レイヤは、全結合（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）されたフィードフォワードレイヤ（ＦｅｅｄＦｏｒｗａｒｄ ｌａｙｅｒ）により定義されてもよい。
【0101】
畳み込みニューラルネットワークを構成するそれぞれのレイヤ別の設計事項は、広く知られている。例えば、複数のレイヤに備えられるべきレイヤの数、複数のレイヤを定義するための畳み込み関数、プーリング関数、活性化関数のそれぞれに対しては公知の関数が用いられてもよく、本発明の技術的思想を実現するために別途に定義された関数が用いられてもよい。
【0102】
畳み込み関数の一例としては、離散畳み込み和などが挙げられる。プーリング関数の一例としては、最大プーリング（ｍａｘ ｐｏｏｌｉｎｇ）、平均プーリング（ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ）などが利用可能である。活性化関数の一例としては、シグモイド（ｓｉｇｍｏｉｄ）、タンジェントハイパボリック（ｔａｎｈ）、正規化線形ユニット（ＲｅＬＵ：ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ）などが挙げられる。
【0103】
このような畳み込みニューラルネットワークの設計事項が定義されれば、設計事項が定義された畳み込みニューラルネットワークが格納装置に格納されてもよい。そして、畳み込みニューラルネットワークが学習されれば、それぞれのレイヤに該当する重み係数が特定されてもよい。
【0104】
すなわち、畳み込みニューラルネットワークの学習は、それぞれのレイヤの重み係数が決定されるプロセスを意味してもよい。そして、畳み込みニューラルネットワークが学習されれば、学習された畳み込みニューラルネットワークは、入力レイヤに入力データを入力され、予め定義された出力レイヤを介して出力データを出力してもよい。
【0105】
本発明の実施形態に係るニューラルネットワークは、上記のように広く知られている設計事項のうちのいずれか一つまたは複数を選択して定義されてもよく、独自的な設計事項がニューラルネットワークのために定義されてもよい。
【0106】
制御モジュール１１０は、ニューラルネットワークモジュール３２０に格納されたニューラルネットワーク、すなわち、学習されたニューラルネットワークに入力データを入力してもよい。そして、ニューラルネットワークにより定義される演算を行って出力データを出力してもよい。
【0107】
前処理モジュール３３０は、ニューラルネットワークを用いて診断を行う前に必要とされる生体画像の前処理を行ってもよい。例えば、生体画像の前処理は、生体画像（すなわち、スライド）を予め定義された大きさのタイル（パッチ）にタイル化する過程を含んでいてもよく、必要に応じて、ニューラルネットワークに適した方式で適切な画像処理を行ってもよいということが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。
【0108】
一方、本発明の技術的思想に基づくニューラルネットワークは、前述したように、微視ニューラルネットワークと巨視ニューラルネットワークを備えるという技術的特徴を有する。このような一例については、図４に基づいて詳しく説明する。
【0109】
図４は、本発明の実施形態に係るニューラルネットワークの構成を説明するための図である。
【0110】
図４を参照すると、本発明の技術的思想に基づくニューラルネットワーク２００は、微視ニューラルネットワーク及び巨視ニューラルネットワークを備える。
【0111】
微視ニューラルネットワークは、複数のレイヤ２１０及び出力レイヤ２３０を備える。複数のレイヤ２１０には、入力レイヤ２１１及び複数の隠れレイヤ２１２が備えられる。
【0112】
巨視ニューラルネットワークは、複数のレイヤ２２０及び出力レイヤ２３０を備える。複数のレイヤ２２０には、入力レイヤ２２１及び複数の隠れレイヤ２２２が備えられる。
【0113】
微視ニューラルネットワークは、特定のタイル３０を入力され、特定のタイルの診断結果、すなわち、出力レイヤ２３０に定義された出力データを出力するように定義される。
【0114】
また、巨視ニューラルネットワークは、特定のタイル３０を備え、特定のタイル３０の隣のタイルを少なくとも一つ含む巨視タイル４０を入力され、特定のタイルの診断結果を出力するように定義される。
【0115】
すなわち、本発明の技術的思想に基づくニューラルネットワーク２００は、特定のタイル３０の診断結果を出力するために、特定のタイル３０の画像特性だけではなく、特定のタイル３０の隣のタイルの画像特性まで考慮して診断結果を出力してもよい。
【0116】
巨視タイル４０としては、図４には、タイルを取り囲む３×３のタイルが用いられる一例を示しているが、様々な実施形態が採用可能であることはいうまでもない。
【0117】
出力レイヤ２３０は、微視ニューラルネットワークに備えられている出力レイヤ２３０の直前のレイヤである第１の直前のレイヤ２１２－１と、巨視ニューラルネットワークに備えられている出力レイヤ２３０の直前のレイヤである第２の直前のレイヤ２２２－１とのそれぞれの出力データを入力されて出力レイヤ２３０に定義された出力データを出力してもよい。第１の直前のレイヤ２１２－１、第２の直前のレイヤ２２２－１、及び出力レイヤ２３０は、全結合（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）されてもよい。
【0118】
出力レイヤ２３０を定義するフィードフォワード（Ｆｅｅｄｆｏｒｗａｒｄ）関数としては、入力レイヤを介して入力される入力データがニューラルネットワーク２００を介して結果的に出力レイヤ２３０に出力データを出力する様々な関数のいずれか一つが用いられてもよい。
【0119】
結局、ニューラルネットワーク２００は、特定のタイル３０に対して診断を行うために、特定のタイル３０の画像特性と、特定のタイル３０を含む巨視タイル４０の画像特性を一緒に考慮して、多数のトレーニングデータのアノテーション値に相当する出力レイヤ２３０の出力データを出力するように学習される。
【0120】
すなわち、ニューラルネットワーク２００を学習するためには、多数のトレーニングデータが用いられ、多数のトレーニングデータは、特定のタイル３０及び巨視タイル４０の一対を含んでいてもよい。そして、巨視タイル４０もまた、特定のタイル３０のアノテーション情報を用いて学習を行ってもよい。
【0121】
すると、ニューラルネットワーク２００は、特定のタイル３０と巨視タイル４０の画像特性をいずれも考慮して、特定のタイル３０のアノテーション情報に相当する出力データを出力できるように学習されてもよい。
【0122】
そして、学習されたニューラルネットワーク２００は、診断の対象となる対象タイル及び対象タイルに相当する巨視タイルをそれぞれ微視ニューラルネットワーク及び巨視ニューラルネットワークの入力レイヤの入力データとして入力されると、対象タイルの診断結果、すなわち、出力レイヤ２３０の出力データを出力することができる。
【0123】
出力レイヤ２３０は、図５ａに示すように、診断の対象となる特定のパッチ３０の診断結果を出力データとして出力してもよい。診断結果は、特定のタイル３０の疾病の状態に関する情報を少なくとも含んでいてもよい。疾病の状態に関する情報は、単に特定の疾病が特定のパッチ３０に発現したか否か（または、確率値）に関する情報を意味してもよい。しかしながら、疾病の種類に応じて、疾病の状態に関する情報には、より具体的に、疾病の進み具合を示す情報が含まれてもよい。
【0124】
出力レイヤは、以前の出願に開示されているように、単に疾病の発現有無を出力するだけではなく、色々なさらなる情報を出力するように設計されてもよい。例えば、疾病の進み具合を示す情報及び／又は状態チャンネルの値と関連付けられた関連因子の発現の度合いを示す関連因子情報を含んでいてもよい。これについては以前の出願に詳しく開示されているため、その詳しい説明は省略する。
【0125】
図５ａに示すニューラルネットワーク２００が用いられる場合、図５ａには示されていないが、出力レイヤ２３０の出力データを入力されて最終的に入力されたパッチの疾病の発現確率に相当する特徴量を出力するレイヤがさらに存在してもよいことはいうまでもない。
【0126】
あるいは、図５ｂに示すように、ニューラルネットワークは、図５ａに示すように、複数の状態チャンネル及び関連因子チャンネルを出力するレイヤの代わりに入力されたパッチの疾病の発現確率に相当する特徴量を出力するレイヤ２４０を有するように設計されてもよい。
【0127】
本発明の他の一実施形態によれば、パッチレベル診断のためのニューラルネットワークは、図４に示すように、二つの経路（微視ネットワーク及び巨視ネットワークのそれぞれの経路）を有する方式ではなく、単一の経路を有するように設計されてもよい。このような一例は、図６に示す通りである。
【0128】
図６は、本発明の他の実施形態に係るニューラルネットワークの例示的な構成を説明するための図である。
【0129】
図６を参照すると、前述したように、ニューラルネットワークは、パッチ単位で入力を受け、入力されたパッチの疾病有無を判断するように定義されてもよい。このとき、図示のごとく、ニューラルネットワークは、４チャンネル（例えば、ＲＧＢ及びグレイチャンネル）データを入力されてもよい。
【0130】
入力されたデータは、図６に示すように、畳み込みレイヤ、最大プーリング当たりの多数のレイヤを通過して出力データ、すなわち、入力されたパッチが疾病パッチであるか否かを出力するように定義されてもよい。このようなニューラルネットワークは、公知のｄｅｎｓｅｎｅｔモデルを用いたニューラルネットワークであってもよい。そして、このとき、本発明の技術的思想に基づくニューラルネットワークは、元のｄｅｎｓｅｎｅｔモデルに比べて１×１畳み込みが追加されることが分かり、これを通じて、内部の特徴マップを確認することができるという効果がある。なお、活性関数としてシグノイド（Ｓｉｇｎｏｉｄ）関数が用いられているが、様々な活性関数が用いられてもよい。
【0131】
その他の様々な方式でパッチレベル診断を行うニューラルネットワークが定義されてもよいことが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。
【0132】
一方、本発明の技術的思想によれば、疾病が発現したと判断されたパッチ内において組織部分のみを区別して視覚化することができるが、以下では、これについてさらに詳しく説明する。
【0133】
図２ｂに戻ると、ヒートマップ生成モジュール３４０は、スライドに含まれている多数のパッチのそれぞれのパッチ診断結果に基づいて、スライドに相当するパッチレベルヒートマップ画像を生成してもよい。
【0134】
ヒートマップ生成モジュール３４０は、各パッチの診断結果に基づいて、疾病パッチをマーキングしてもよい。パッチレベル診断においては、各パッチが疾病の有無に応じてクラシフィケーション（分類）されるため、疾病パッチの全体が疾病とマーキングされることがある。ヒートマップ生成モジュール３４０は、図７ａに示すようなスライドに対するヒートマップを生成してもよい。例えば、ヒートマップ生成モジュール３４０は、図７ｂに示すようなヒートマップを生成してもよい。図７ｂに示すように、パッチレベル診断結果をヒートマップの形態に視覚化すると、疾病部位が格子状に現れる。
【0135】
一方、ティッシュマスク生成モジュール３５０は、スライドに対するティッシュマスク画像を生成してもよい。例えば、ティッシュマスク生成モジュール３５０は、図７ｃに示すようなティッシュマスク画像を生成してもよい。
【0136】
ティッシュマスク生成モジュール３５０がティッシュマスク画像を生成する方法には、次のような特徴がある。
【0137】
より具体的に説明すれば、次の通りである。ティッシュマスク生成モジュール３５０は、スライドに相当するＨＳＶ（Ｈｕｅ－Ｓａｔｕｒａｔｉｏｎ－Ｖａｌｕｅ）モデルに基づいて、スライドに相当するティッシュマスク画像を生成してもよい。
【0138】
一実施形態において、ティッシュマスク生成モジュール３５０は、スライドに相当するＳ空間に対する画像二値化を行って第１の二値化結果を生成してもよい。このとき、スライドに相当するＳ空間は、スライドに相当するＨＳＶモデルの彩度値（Ｓａｔｕｒａｔｉｏｎ）からなる空間である。
【0139】
ティッシュマスク生成モジュール３５０は、画像二値化方法として、大津の二値化（Ｏｔｓｕ Ｔｈｒｅｓｈｈｏｌｄｉｎｇ）を用いてもよい。大津の二値化は、コンピュータビジョンや画像処理分野において用いられるクラスタリングに基づく画像スレッショルディング技法である。
【0140】
また、ティッシュマスク生成モジュール３５０は、スライドに相当する１－Ｖ空間に対する画像二値化を行って第２の二値化結果を生成してもよい。このとき、スライドに相当するＶ空間は、スライドに相当するＨＳＶモデルの明度値（Ｖａｌｕｅ）からなる空間（すなわち、ｗ×ｈの大きさを有し、Ｖチャンネルの値（明度値）からなるマトリックス（ｗは、画像の幅、ｈは、画像の高さ））であり、１－Ｖ空間は、ｗ×ｈの大きさを有し、１で満たされたマトリックスからＶチャンネルの値を差し引いた空間であってもよい。
【0141】
一方、ティッシュマスク生成モジュール３５０は、第１の二値化結果及び第２の二値化結果に基づいて、スライドに相当するティッシュマスク画像を生成してもよい。
【0142】
第１の二値化結果及び第２の二値化結果は、スライドの各ピクセルに相当する二値値（例えば、０または１、もしくは、０または２５５）を含んでいてもよく、ティッシュマスク生成モジュール３５０は、スライドの各ピクセルに対して、ピクセルに相当する第１の二値化結果の二値値またはピクセルに相当する第２の二値化結果の二値値が１（もしくは、２５５）である場合にピクセルに相当するティッシュマスク画像の上のピクセルをティッシュピクセル（ティッシュに該当するピクセル）と判断し、そうではない場合に（すなわち、二値値が０である場合に）ピクセルに相当するティッシュマスク画像の上のピクセルをノンティッシュピクセル（ティッシュに該当しないピクセル）と判断することにより、スライドに相当するティッシュマスク画像を生成してもよい。要するに、ティッシュマスク生成モジュール３５０は、Ｓ空間に対する画像二値化結果と１－Ｖ空間に対する画像二値化結果との論理和演算を用いてティッシュマスク画像を生成してもよい。
【0143】
一方、診断結果視覚化モジュール３６０は、パッチレベルヒートマップ画像とティッシュマスク画像に基づいて、スライドに相当する疾病診断視覚化画像を生成してもよい。例えば、診断結果視覚化モジュール３６０は、図７ｄに示すような疾病診断視覚化画像を生成してもよい。
【0144】
一実施形態において、診断結果視覚化モジュール３６０は、パッチレベルヒートマップ画像及びティッシュマスク画像に条件付き確率場（Ｃｏｎｄｉｔｉｏｎａｌ Ｒａｎｄｏｍ Ｆｉｅｌｄ）を適用してスライドに相当する疾病診断視覚化画像を生成してもよい。特に、条件付き確率場は、ラベルの数が２であり、パッチレベルヒートマップ画像に含まれているピクセルのうち、特定のしきい値以下であるピクセルを０に変換することを特徴としてもよい。
【0145】
さらに詳しく説明すれば、次の通りである。
【0146】
診断結果視覚化モジュール３６０には、元の組織画像（すなわち、スライドまたはパッチ）、ティッシュマスク生成モジュール３５０により生成されたティッシュマスク画像及びヒートマップ生成モジュール３４０により生成されたパッチレベルヒートマップ画像が入力されてもよい。各入力値の大きさを調べてみると、元の組織画像は、ＲＧＢ３チャンネルであるため、大きさがｗ×ｈ×３となり、ティッシュマスク画像の大きさはｗ×ｈであり、パッチレベルヒートマップ画像もまたｗ×ｈとなる。一方、診断結果視覚化モジュール３６０は、ｗ×ｈのパッチレベルヒートマップ画像をｗ×ｈ×２に変換してもよい。このとき、ｗ×ｈ×［０］には元のパッチレベルヒートマップ画像が入り、ｗ×ｈ×［１］には１－パッチレベルヒートマップ画像の各ピクセル値が入る。次いで、デメンジョン＝３に対してソフトマックス（ｓｏｆｔｍａｘ）をとって各ピクセルが疾病（例えば、前立腺癌）を示す確率空間を構成し、この確率に応じて、条件付き確率場（ＣＲＦ）アルゴリズムにより実際の組織画像の模様が影響を受けて変形されながら実際の組織の模様に合うように疾病画像が視覚化されてもよい。
【0147】
特に、本発明の好適な一実施形態においては、ティッシュマスク生成モジュール３５０は、Ｓ空間に対する画像二値化結果と１－Ｖ空間に対する画像二値化結果との論理和演算を用いてティッシュマスク画像を生成する方法と、条件付き確率場（Ｃｏｎｄｉｔｉｏｎａｌ Ｒａｎｄｏｍ Ｆｉｅｌｄ）を適用する方法とを一括して適用することにより、スライドにおいて疾病と診断される部分を非常に正確に視覚化することができる。
【0148】
【0149】
一方、本発明の技術的思想に基づく診断結果視覚化方法は、パッチ単位で診断結果が導き出される通常のクラシフィケーション方法による診断結果にも適用可能である。パッチ単位のクラシフィケーションの場合、組織ではない部分までも疾病と表示されるが（図７ａ参照）、本発明の技術的思想に基づく診断結果視覚化方法を適用することにより、疾病と診断された組織部分のみが他の部分と明確に区別できるという効果がある。
【0150】
一方、診断結果視覚化モジュール３６０により生成される疾病診断視覚化画像は、先に説明したマーキング情報を生成モジュール１１０に提供されてもよく、輪郭抽出モジュール１２０及びＸＭＬ生成モジュール１３０によるプロセスが行われ、診断結果を含むＸＭＬ文書が生成されてもよい。
【0151】
一方、この明細書においては、前立腺癌に対して本発明の技術的思想が適用された一例について主として説明したが、特定の組織だけではなく、当該組織の周りの組織の状態まで考慮して特定の組織の診断を行う必要がある他の疾病に対しても本発明の技術的思想が適用される場合に正確な診断及び診断結果に対する視覚化を行うことが可能であるということが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。
【0152】
一方、実現例に応じて、診断結果生成システム１００は、プロセッサ、及びプロセッサにより起動されるプログラムを格納するメモリを備えていてもよい。プロセッサは、シングルコア中央演算処理装置（ＣＰＵ）もしくはマルチコア中央演算処理装置（ＣＰＵ）を備えていてもよい。メモリは、高速ランダムアクセスメモリを備えていてもよく、一台以上の磁気ディスク格納装置、フラッシュメモリ装置、またはその他の不揮発性固体状態メモリ装置などの不揮発性メモリを備えていてもよい。プロセッサ及びその他の構成要素によるメモリへのアクセスは、メモリコントローラにより制御されてもよい。
【0153】
一方、本発明の実施形態に係るニューラルネットワークを用いた診断方法は、コンピュータにて読み取り可能なプログラム指令の形態で実現されてコンピュータにて読み取り可能な記録媒体に格納されてもよく、本発明の実施形態に係る制御プログラム及び対象プログラムもまた、コンピュータにて読み取り可能な記録媒体に格納されてもよい。コンピュータにて読み取り可能な記録媒体は、コンピュータシステムにより読み込まれるデータが格納されるあらゆる種類の記録装置を網羅する。
【0154】
記録媒体に記録されるプログラム指令は、本発明のために特別に設計され且つ構成されたものであってもよく、ソフトウェア分野における当業者にとって公知となって使用可能なものであってもよい。
【0155】
コンピュータにて読み取り可能な記録媒体の例としては、ハードディスク、フロッピディスク及び磁気テープなどの磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ－ＲＯＭ（読み込み専用のコンパクトディスク）、デジタル多用途ディスク（ＤＶＤ）などの光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）などの磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）及びＲＯＭ（読み出し専用メモリ）、ＲＡＭ（ランダムアクセスメモリ）、フラッシュメモリなどのプログラム指令を格納しかつ行うように特別に工夫されたハードウェア装置が挙げられる。また、コンピュータにて読み取り可能な記録媒体は、ネットワークにより結ばれたコンピュータシステムに分散されて、分散方式によりコンピュータにて読み取り可能なコードが格納され且つ実行されてもよい。
【0156】
プログラム指令の例としては、コンパイラにより作成されるような機械語コードだけではなく、インタプリタなどを用いて電子的に情報を処理する装置、例えば、コンピュータにより起動可能な高級言語コードが挙げられる。
【0157】
上述したハードウェア装置は、本発明の動作を行うために一つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。
【0158】
上述した本発明の説明は、単なる例示のためのものであり、本発明の属する技術分野における通常の知識を有する者は、本発明の技術的な思想や必須的な特徴を変更することなく、他の具体的な形態へと容易に変形できることが理解できる筈である。よって、上述した実施形態は、あらゆる面において例示的なものに過ぎず、限定的ではないものと理解すべきである。例えば、単一型であると説明されている各構成要素は、分散されて実施されてもよく、同様に、分散されていると説明されている構成要素も、組み合わせられた形態に実施されてもよい。
【0159】
本発明の範囲は、上記の詳細な説明よりは、特許請求の範囲によって表わされ、特許請求の範囲の意味及び範囲、並びにその均等概念から導き出されるあらゆる変更または変形された形態も本発明の範囲に含まれるものと解釈されるべきである。
【産業上の利用可能性】
【0160】
本発明は、「診断結果生成システム及び方法」に利用可能である。
【図1】
【図2a】
【図2b】
【図3】
【図4a】
【図4b】
【図5a】
【図5b】
【図6】
【図7a】
【図7b】
【図7c】
【図7d】