(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-01
(45)【発行日】2024-02-09
(54)【発明の名称】半教師あり学習を用いて疾患の発症領域に対するアノテーションを行うための方法、およびそれを行う診断システム
(51)【国際特許分類】
G06V 10/72 20220101AFI20240202BHJP
G06T 7/00 20170101ALI20240202BHJP
G06V 10/82 20220101ALI20240202BHJP
G06N 3/0895 20230101ALI20240202BHJP
G01N 33/48 20060101ALI20240202BHJP
【FI】
G06V10/72
G06T7/00 350C
G06V10/82
G06T7/00 612
G06N3/0895
G01N33/48 M
(21)【出願番号】P 2023502693
(86)(22)【出願日】2020-07-23
(86)【国際出願番号】 KR2020009721
(87)【国際公開番号】W WO2022019356
(87)【国際公開日】2022-01-27
【審査請求日】2023-02-24
(73)【特許権者】
【識別番号】519208133
【氏名又は名称】ディープ バイオ インク
(74)【代理人】
【識別番号】100120008
【氏名又は名称】山田 くみ子
(72)【発明者】
【氏名】イ サンフン
(72)【発明者】
【氏名】キム ソンウ
【審査官】片岡 利延
(56)【参考文献】
【文献】米国特許第10430946(US,B1)
【文献】国際公開第2020/111754(WO,A2)
【文献】国際公開第2020/045848(WO,A1)
【文献】韓国公開特許第10-2018-0066983(KR,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06V 10/72
G06T 7/00
G06V 10/82
G06N 3/0895
G01N 33/48
(57)【特許請求の範囲】
【請求項1】
ニューラルネットワークを用いた診断システムが、生体画像である所定のスライドが分割された一部であるパッチを入力され、前記パッチに所定の疾患が存在しているか否かに関する分類結果を予測するパッチレベルの分類ニューラルネットワーク、および前記パッチを入力され、前記パッチを構成するピクセル毎に前記疾患に対する分類結果を予測するピクセルレベルの分類ニューラルネットワークを生成するステップと、
前記ニューラルネットワークを用いた診断システムが、複数の訓練用スライド画像(ここで、前記複数の訓練用スライド画像のそれぞれには、それに対応するスライドレベルの診断結果がラベル付けされている)を取得するステップと、
前記ニューラルネットワークを用いた診断システムが、前記複数の訓練用スライド画像を用いて、前記パッチレベルの分類ニューラルネットワークおよび前記ピクセルレベルの分類ニューラルネットワークを段階的に訓練するステップと、
を含み、
前記パッチレベルの分類ニューラルネットワークおよび前記ピクセルレベルの分類ニューラルネットワークを段階的に訓練するステップは、
(a)前記複数の訓練用スライドのそれぞれに対して、前記訓練用スライドに対応する訓練データを生成するステップ(ここで、前記訓練用スライドに対応する訓練データは、前記パッチレベルの分類ニューラルネットワークを訓練するためのパッチレベルの訓練データおよび前記ピクセルレベルの分類ニューラルネットワークを訓練するためのピクセルレベルの訓練データを含む)と、
(b)前記複数の訓練用スライドのそれぞれに対応するパッチレベルの訓練データを用いて、前記パッチレベルの分類ニューラルネットワークを訓練するステップと、
(c)前記複数の訓練用スライドのそれぞれに対応するピクセルレベルの訓練データを用いて、前記ピクセルレベルの分類ニューラルネットワークを訓練するステップと、
(d)前記(a)ステップないし前記(c)ステップを少なくとも一回繰り返すステップと、を含む、方法。
【請求項2】
前記訓練用スライドに対応する訓練データを生成するステップは、
前記訓練用スライドに対応する複数のパッチ画像のそれぞれを前記パッチレベルの分類ニューラルネットワークに入力し、前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する分類結果を取得するステップ(ここで、訓練用スライドに対応する複数のパッチ画像は、前記訓練用スライドを所定のサイズに分割した複数の画像である)と、
前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する分類結果に基づいて、前記訓練用スライドに対応する複数のパッチ画像のうち、前記訓練用スライドに対応する代表パッチ画像を決定するステップと、
前記訓練用スライドに対応する代表パッチ画像を前記訓練用スライド画像のスライドレベルの診断結果でラベル付けし、前記訓練用スライド画像に対応するパッチレベルの訓練データを生成するステップと、を含む、請求項1に記載の方法。
【請求項3】
前記訓練用スライドに対応する訓練データを生成するステップは、
前記訓練用スライドに対応する複数のパッチ画像のそれぞれを前記パッチレベルの分類ニューラルネットワークに入力し、前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する分類結果を取得するステップ(ここで、前記訓練用スライドに対応する複数のパッチ画像は、前記訓練用スライドを所定のサイズに分割した複数の画像である)と、
前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する分類結果に基づいて、前記訓練用スライドに対応する複数のパッチ画像のうち、前記訓練用スライドに対応する代表パッチ画像を決定するステップと、
前記代表パッチ画像に対する予測結果を出力した前記分類ニューラルネットワークに対する勾配-重み付けクラス活性化マッピング(Gradient-weighted Class Activation Mapping)を通じて、前記代表パッチ画像に対応するマスクを生成するステップと、
前記訓練用スライドに対応する代表パッチ画像を前記代表パッチ画像に対応するマスクでラベル付けし、前記訓練用スライドに対応するピクセルレベルの訓練データを生成するステップと、を含む、請求項1に記載の方法。
【請求項4】
訓練が完了した前記ピクセルレベルの分類ニューラルネットワークに所定の診断対象パッチ画像を入力し、前記診断対象パッチ画像を構成するピクセル毎の前記疾患に対する分類結果を取得するステップと、
前記診断対象パッチ画像を構成するピクセル毎の分類結果に基づいて、前記診断対象パッチ画像に前記疾患の発症領域をアノテーションするステップと、をさらに含む、請求項1に記載の方法。
【請求項5】
前記疾患は、
前立腺癌であることを特徴とする、請求項1に記載の方法。
【請求項6】
データ処理装置に設置され、請求項1ないし請求項5のいずれか一項に記載の方法を行うためのコンピュータ読み取り可能な媒体に記録されたコンピュータプログラム。
【請求項7】
プロセッサと、
コンピュータプログラムを格納するメモリと、
を含み、
前記コンピュータプログラムは、前記プロセッサによって実行される場合、前記ニューラルネットワークを用いた診断システムが請求項1ないし請求項5のいずれか一項に記載の方法を行うようにする、ニューラルネットワークを用いた診断システム。
【請求項8】
生体画像である所定のスライドが分割された一部であるパッチを入力され、前記パッチに所定の疾患が存在しているか否かに関する分類結果を予測するパッチレベルの分類ニューラルネットワーク、および前記パッチを入力され、前記パッチを構成するピクセル毎に前記疾患に対する分類結果を予測するピクセルレベルの分類ニューラルネットワークを格納する記憶モジュールと、
複数の訓練用スライド画像(ここで、前記複数の訓練用スライド画像のそれぞれには、それに対応するスライドレベルの診断結果がラベル付けされている)を取得する取得モジュールと、
前記複数の訓練用スライド画像を用いて、前記パッチレベルの分類ニューラルネットワークおよび前記ピクセルレベルの分類ニューラルネットワークを段階的に訓練する学習モジュールと、
を含み、
前記学習モジュールは、前記パッチレベルの分類ニューラルネットワークおよび前記ピクセルレベルの分類ニューラルネットワークを段階的に訓練するために、
前記複数の訓練用スライドのそれぞれに対して、訓練用スライドに対応する訓練データを生成するステップ(ここで、前記訓練用スライドに対応する訓練データは、前記パッチレベルの分類ニューラルネットワークを訓練するためのパッチレベルの訓練データおよび前記ピクセルレベルの分類ニューラルネットワークを訓練するためのピクセルレベルの訓練データを含む)と、
前記複数の訓練用スライドのそれぞれに対応するパッチレベルの訓練データを用いて、前記パッチレベルの分類ニューラルネットワークを訓練するステップと、
前記複数の訓練用スライドのそれぞれに対応するピクセルレベルの訓練データを用いて前記ピクセルレベルの分類ニューラルネットワークを訓練するステップと、を含む訓練過程を2回以上繰り返す、ニューラルネットワークを用いた診断システム。
【請求項9】
前記訓練用スライドに対応する訓練データを生成するステップは、
前記訓練用スライドに対応する複数のパッチ画像のそれぞれを前記パッチレベルの分類ニューラルネットワークに入力し、前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する分類結果を取得するステップ(ここで、訓練用スライドに対応する複数のパッチ画像は、前記訓練用スライドを所定のサイズに分割した複数の画像である)と、
前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する分類結果に基づいて、前記訓練用スライドに対応する複数のパッチ画像のうち、前記訓練用スライドに対応する代表パッチ画像を決定するステップと、
前記訓練用スライドに対応する代表パッチ画像を前記訓練用スライド画像のスライドレベルの診断結果でラベル付けし、前記訓練用スライド画像に対応するパッチレベルの訓練データを生成するステップと、を含む、請求項8に記載のニューラルネットワークを用いた診断システム。
【請求項10】
前記訓練用スライドに対応する訓練データを生成するステップは、
前記訓練用スライドに対応する複数のパッチ画像のそれぞれを前記パッチレベルの分類ニューラルネットワークに入力し、前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する分類結果を取得するステップ(ここで、前記訓練用スライドに対応する複数のパッチ画像は、前記訓練用スライドを所定のサイズに分割した複数の画像である)と、
前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する分類結果に基づいて、前記訓練用スライドに対応する複数のパッチ画像のうち、前記訓練用スライドに対応する代表パッチ画像を決定するステップと、
前記代表パッチ画像に対する予測結果を出力した前記分類ニューラルネットワークに対する勾配-重み付けクラス活性化マッピング(Gradient-weighted Class Activation Mapping)を通じて、前記代表パッチ画像に対応するマスクを生成するステップと、
前記訓練用スライドに対応する代表パッチ画像を前記代表パッチ画像に対応するマスクでラベル付けし、前記訓練用スライドに対応するピクセルレベルの訓練データを生成するステップと、を含む、請求項8に記載のニューラルネットワークを用いた診断システム。
【請求項11】
訓練が完了した前記ピクセルレベルの分類ニューラルネットワークに所定の診断対象パッチ画像を入力し、前記診断対象パッチ画像を構成するピクセル毎の前記疾患に対する分類結果を取得し、
前記診断対象パッチ画像を構成するピクセル毎の分類結果に基づいて、前記診断対象パッチ画像に前記疾患の発症領域をアノテーションするアノテーションモジュールをさらに含む、請求項8に記載の診断システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、半教師あり学習(semi-supervised learning)を用いて疾患の発症領域に対するアノテーションを行うための方法、およびこれを行う診断システムに関し、スライドレベルで診断結果がラベル付けされている訓練データをパッチレベルとピクセルレベルの半教師あり学習を行うことを可能にし、半教師あり学習を通じて訓練されたニューラルネットワークを用いて疾患の発症領域に対するアノテーションを自動的に行うための方法、およびこれを行う診断システムに関する。
【背景技術】
【0002】
病理学または病理科で行う主なタスクの1つは、患者の生体画像(例えば、患者の生体組織スライド等)を読み取ることによって、特定の疾患に対する状態または徴候の診断を行うことである。このような診断は、長期間にわたる経験豊富な医療従事者の経験と知識に依存している。近年の傾向としては、生体組織のデジタルイメージングによって生成されたスライド画像を読み取る方式が増えている。
【0003】
近年、機械学習の発達により、コンピュータシステムによる画像の認識や分類等の作業を自動化する試みがなされている。特に、機械学習の一種であるニューラルネットワーク(例えば、畳み込みニューラルネットワーク(Convolution neural network,CNN)を用いた深層学習手法)を用いることによって、熟練した医療従事者が行っていた診断を自動化する試みがなされており、ニューラルネットワーク(例えば、CNN)を用いた深層学習による画像に基づく疾患診断を代表的に挙げることができる。特に、ニューラルネットワーク(例えば、CNN)を用いた深層学習による診断は、従来の熟練した医療従事者の経験や知識を単に自動化するのではなく、自己学習によって特徴的な要素を見つけ出し、所望の答えを導出する点において、むしろ熟練した医療従事者が知っていない疾患因子の特徴を画像から見つける場合もある。
【0004】
一般に、生体画像を用いるニューラルネットワークによる疾患の診断は、生体画像であるスライドのセグメント、すなわちパッチ(patchまたはタイル(tile)とも呼ばれる)を用いる。すなわち、当該パッチ画像に対して精通した医療従事者は、特定の疾患の状態(例えば、癌が発現しているか否か)や疾患の発症領域をアノテーション(annotaion)し、このようなアノテーションされた複数のパッチ画像を訓練データとして用いてニューラルネットワークを学習することになる。この場合、ニューラルネットワークとして畳み込みニューラルネットワークが用いられてもよい。
【0005】
ところで、一般に、パッチ画像で発症領域をアノテーションする領域アノテーションを生成する作業は、他のアノテーション操作と比較して特に多くの時間とコストを要する。したがって、発症領域に対する予測を行うニューラルネットワークを訓練するための学習データを収集するためには、多くの時間とコストがかかる。
【0006】
一方、スライド全体に対する診断は従来の医療現場では一般的なプロセスであり、スライドレベルの診断結果がラベル付けされた学習データは、病院等の機関から比較的容易に入手できる。したがって、比較的容易に求められるスライドレベルの診断結果がタグ付けされたスライドデータをパッチ単位の診断を行うことができるニューラルネットワーク、さらにはピクセルレベルの診断を行うことで疾患の発症領域を予測できるニューラルネットワークを学習できる方法が必要となる。
【先行技術文献】
【特許文献】
【0007】
【文献】大韓民国特開10-2016-0034814号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明が達成しようとする技術的な課題は、スライドレベルの診断結果のみを用いて半教師あり学習を行うことによって、パッチ単位の診断結果を予測できるパッチレベルニューラルネットワーク、およびピクセル単位の診断結果を予測できるピクセルレベルニューラルネットワークを学習し、これを通じて疾患の発症領域に対するアノテーションを可能にする方法およびシステムを提供することである。
【課題を解決するための手段】
【0009】
本発明の一態様によると、ニューラルネットワークを用いた診断システムが、生体画像である所定のスライドが分割されたパッチを入力され、前記パッチに所定の疾患が存在しているか否かに関する分類結果を予測するパッチレベルの分類ニューラルネットワーク、および前記パッチを入力され、前記パッチを構成するピクセル毎に前記疾患に対する分類結果を予測するピクセルレベルの分類ニューラルネットワークを生成するステップと、前記ニューラルネットワークを用いた診断システムが、複数の訓練用スライド画像(ここで、前記複数の訓練用スライド画像のそれぞれには、それに対応するスライドレベルの診断結果がラベル付けされている)を取得するステップと、前記ニューラルネットワークを用いた診断システムが、前記複数の訓練用スライド画像を用いて、前記パッチレベルの分類ニューラルネットワークおよび前記ピクセルレベルの分類ニューラルネットワークを段階的に訓練するステップと、を含み、前記パッチレベルの分類ニューラルネットワークおよびピクセルレベルの分類ニューラルネットワークを段階的に訓練するステップは、(a)前記複数の訓練用スライドのそれぞれに対して、前記訓練用スライドに対応する訓練データを生成するステップ(ここで、前記訓練用スライドに対応する訓練データは、前記パッチレベルの分類ニューラルネットワークを訓練するためのパッチレベルの訓練データと、前記ピクセルレベルの分類ニューラルネットワークを訓練するためのピクセルレベルの訓練データと、を含む)と、(b)前記複数の訓練用スライドのそれぞれに対応するパッチレベルの訓練データを用いて前記パッチレベルの分類ニューラルネットワークを訓練するステップと、(c)前記複数の訓練用スライドのそれぞれに対応するピクセルレベルの訓練データを用いて前記ピクセルレベルの分類ニューラルネットワークを訓練するステップと、(d)前記(a)ステップないし前記(c)ステップを少なくとも1回繰り返して行うステップと、を含む方法が提供される。
【0010】
一実施形態において、前記訓練用スライドに対応する訓練データを生成するステップは、前記訓練用スライドに対応する複数のパッチ画像のそれぞれを前記パッチレベルの分類ニューラルネットワークに入力し、前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する分類結果を取得するステップ(ここで、前記訓練用スライドに対応する複数のパッチ画像は、前記訓練用スライドを所定のサイズに分割した複数の画像である)と、前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する予測結果に基づいて、前記訓練用スライドに対応する複数のパッチ画像のうち、前記訓練用スライドに対応する代表パッチ画像を決定するステップと、前記訓練用スライドに対応する代表パッチ画像を前記訓練用スライド画像のスライドレベルの診断結果ラベル付けして、前記訓練用スライド画像に対応するパッチレベルの訓練データを生成するステップと、を含んでもよい。
【0011】
一実施形態において、前記訓練用スライドに対応する訓練データを生成するステップは、前記訓練用スライドに対応する複数のパッチ画像のそれぞれを前記パッチレベルの分類ニューラルネットワークに入力し、前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する分類結果を取得するステップ(ここで、前記訓練用スライドに対応する複数のパッチ画像は、前記訓練用スライドを所定のサイズに分割した複数の画像である)と、前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する予測結果に基づいて、前記訓練用スライドに対応する複数のパッチ画像のうち、前記訓練用スライドに対応する代表パッチ画像を決定するステップと、前記代表パッチ画像に対する予測結果を出力した前記分類ニューラルネットワークに対する勾配-重み付けクラス活性化マッピング(Gradient-weighted Class Activation Mapping)を通じて、前記代表パッチ画像に対応するマスクを生成するステップと、前記訓練用スライドに対応する代表パッチ画像を前記代表パッチ画像に対応するマスクでラベル付けして、前記訓練用スライドに対応するピクセルレベルの訓練データを生成するステップと、を含んでもよい。
【0012】
一実施形態において、訓練が完了した前記ピクセルレベルの分類ニューラルネットワークに所定の診断対象パッチ画像を入力し、前記診断対象パッチ画像を構成するピクセル毎の前記疾患に対する分類結果を取得するステップと、前記診断対象パッチ画像を構成するピクセル毎の分類結果に基づいて、前記診断対象パッチ画像に前記疾患の発症領域をアノテーションするステップと、をさらに含んでもよい。
【0013】
一実施形態において、前記疾患は前立腺癌であることを特徴としてもよい。
【0014】
本発明の他の一態様によると、データ処理装置に設置され、上述した方法を行うためのコンピュータ読み取り可能な媒体に記録されたコンピュータプログラムが提供される。
【0015】
本発明の他の一態様によると、ニューラルネットワークを用いた診断システムであって、プロセッサと、コンピュータプログラムを格納するメモリと、を含み、前記コンピュータプログラムは、前記プロセッサによって実行される場合、前記ニューラルネットワークを用いた診断システムが上述した方法を行うようにする、ニューラルネットワークを用いた診断システムが提供される。
【0016】
本発明の他の一態様によると、生体画像である所定のスライドが分割された一部であるパッチを入力され、前記パッチに所定の疾患が存在しているか否かに関する分類結果を予測するパッチレベルの分類ニューラルネットワーク、および前記パッチを入力され、前記パッチを構成するピクセル毎に前記疾患に関する分類結果を予測するピクセルレベルの分類ニューラルネットワークを格納する記憶モジュール、複数の訓練用スライド画像(ここで、前記複数の訓練用スライド画像のそれぞれには、それに対応するスライドレベルの診断結果がラベル付けされている)を取得する取得モジュールと、前記複数の訓練用スライドのイメージを用いて、前記パッチレベルの分類ニューラルネットワークおよび前記ピクセルレベルの分類ニューラルネットワークを段階的に訓練する訓練モジュールを含み、前記訓練モジュールは、前記パッチレベルの分類ニューラルネットワークおよび前記ピクセルレベルの分類ニューラルネットワークを段階的に訓練するために、前記複数の訓練用スライドのそれぞれに対して、前記訓練用スライドに対応する訓練データを生成するステップ(ここで、前記訓練用スライドに対応する訓練データは、前記パッチレベルの分類ニューラルネットワークを訓練するためのパッチレベルの訓練データおよび前記ピクセルレベルの分類ニューラルネットワークを訓練するためのピクセルレベルの訓練データを含む)と、前記複数の訓練用スライドのそれぞれに対応するパッチレベルの訓練データを用いて、前記パッチレベルの分類ニューラルネットワークを訓練するステップと、前記複数の訓練用スライドのそれぞれに対応するピクセルレベルの訓練データを用いて、前記ピクセルレベルの分類ニューラルネットワークを訓練するステップと、を含む訓練過程を2回以上繰り返し行うニューラルネットワークを用いた診断システムが提供される。
【0017】
一実施形態において、前記訓練用スライドに対応する訓練データを生成するステップは、前記訓練用スライドに対応する複数のパッチ画像のそれぞれを前記パッチレベルの分類ニューラルネットワークに入力し、前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する分類結果を取得するステップ(ここで、前記訓練用スライドに対応する複数のパッチ画像は、前記訓練用スライドを所定のサイズに分割した複数の画像である)と、前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する予測結果に基づいて、前記訓練用スライドに対応する複数のパッチ画像のうち、前記訓練用スライドに対応する代表パッチ画像を決定するステップと、前記訓練用スライドに対応する代表パッチ画像を前記訓練用スライド画像のスライドレベルの診断結果ラベル付けし、前記訓練用スライド画像に対応するパッチレベルの訓練データを生成するステップと、を含んでもよい。
【0018】
一実施形態において、前記訓練用スライドに対応する訓練データを生成するステップは、前記訓練用スライドに対応する複数のパッチ画像のそれぞれを前記パッチレベルの分類ニューラルネットワークに入力し、前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する分類結果を取得するステップ(ここで、前記訓練用スライドに対応する複数のパッチ画像は、前記訓練用スライドを所定のサイズに分割した複数の画像である)と、前記訓練用スライドに対応する複数のパッチ画像のそれぞれに対する予測結果に基づいて、前記訓練用スライドに対応する複数のパッチ画像のうち、前記訓練用スライドに対応する代表パッチ画像を決定するステップと、前記代表パッチ画像に対する予測結果を出力した前記分類ニューラルネットワークに対する勾配-重み付けクラス活性化マッピング(Gradient-weighted Class Activation Mapping)を通じて、前記代表パッチ画像に対応するマスクを生成するステップと、前記訓練用スライドに対応する代表パッチ画像を前記代表パッチ画像に対応するマスクでラベル付けして、前記訓練用スライドに対応するピクセルレベルの訓練データを生成するステップと、を含んでもよい。
【0019】
一実施形態において、訓練が完了した前記ピクセルレベルの分類ニューラルネットワークに所定の診断対象パッチ画像を入力し、前記診断対象パッチ画像を構成するピクセル毎の前記疾患に対する分類結果を取得し、前記診断対象パッチ画像を構成するピクセル毎の分類結果に基づいて、前記診断対象パッチ画像に前記疾患の発症領域をアノテーションするアノテーションモジュールをさらに含んでもよい。
【発明の効果】
【0020】
本発明の技術的思想によると、スライドレベルの診断結果のみを用いて半教師あり学習を行うことによって、パッチ単位の診断結果を予測できるパッチレベルニューラルネットワークおよびピクセル単位の診断結果を予測できるピクセルレベルニューラルネットワークを学習し、これを通じて疾患の発症領域に対するアノテーションを可能とする方法およびシステムを提供できるという効果がある。
【図面の簡単な説明】
【0021】
本発明の詳細な説明において引用された図面をより完全に理解するために、各図面の簡単な説明を提供する。
【
図1】本発明の技術精神に従った半教師あり学習を用いてニューラルネットワークを学習し、それを用いて疾患の発症領域に対するアノテーションを行う方法の動作環境を示す図である。
【
図2】本発明の一実施形態による診断システムの概略構成を示す図である。
【
図3】本発明の一実施形態による診断システムが、複数の訓練用スライド画像を用いてパッチレベルの分類ニューラルネットワークおよびピクセルレベルの分類ニューラルネットワークを段階的に訓練する処理を示すフローチャートである。
【
図4】本発明の一実施形態による診断システムが1つの訓練用スライドに対応する訓練データを生成する処理の具体例を示す図である。
【発明を実施するための形態】
【0022】
本発明は種々の変換を適用することができ、種々の実施形態を有し得るので、具体的な実施形態を図面に図示し、詳細な説明において詳細に説明する。しかしながら、これは本発明を特定の実施形態に限定することを意図するものではなく、本発明の精神および範囲に含まれる全ての変換、均等物および代替物を含むことを理解すべきである。本発明を説明するにあたり、関連する公知の技術の詳細な説明が本発明の要旨を不明瞭にするおそれがあると判定した場合には、その詳細な説明は省略する。
【0023】
第1、第2等の用語は、様々な構成要素を記述するために使用され得るが、構成要素は、用語によって限定されるべきではない。これらの用語は、ある構成要素を他の構成要素と区別する目的でのみ使用される。
【0024】
本出願で使用される用語は、特定の実施形態を説明するためにのみ使用され、本発明を限定するものではない。単数形表現には、文脈が明確に別段の意味でない限り、複数形表現を含む。
【0025】
本明細書において、「含む」または「有する」等の用語は、明細書に記載の特徴、数字、ステップ、動作、構成要素、部品、またはそれらを組み合わせたものが存在していることを指定するものであり、1つまたは複数の他の特徴、数、ステップ、動作、構成要素、部品、またはそれらを組み合わせたものの存在または付加の可能性を予め除外しないことを理解されたい。
【0026】
加えて、本明細書において、ある構成要素が他の構成要素にデータを「送信する」とき、構成要素は、データを他の構成要素に直接送信してもよく、少なくとも1つのまた他の構成要素を介して他の構成要素に前記データを送信してもよい。逆に、ある構成要素が他の構成要素にデータを「直接送信」する場合、前記データはまた他の構成要素を経由せずに前記構成要素から前記他の構成要素に送信されることを意味する。
【0027】
以下、添付図面を参照しながら、本発明の実施の形態を中心に本発明を詳細に説明する。各図に示す同一の符号は同一の部材を表す。
【0028】
図1は、本発明の技術的思想による半教師あり学習を用いてニューラルネットワークを学習し、それを用いて疾患の発症領域に対するアノテーションを行う方法の動作環境を示す図である。
図1を参照すると、本発明の技術的思想による方法は、診断システム100によって行われてもよい。
【0029】
本発明の技術的思想において、診断システム100は、コンピューティングシステムであってもよい。あるいは、本発明の技術的思想を実現する所定のサーバ10に設置されてもよい。サーバ10は、本発明の技術的思想を実現するための演算能力を有するデータ処理装置を意味し、一般にネットワークを介してクライアント(端末;20から20−1)が接続可能なデータ処理装置だけでなく、パーソナルコンピュータ、携帯端末等のように特定サービスを行えるいかなる装置もサーバーと定義できることを、本発明の技術分野の平均的な専門家であれば容易に推論できるであろう。
【0030】
サーバ10は、プロセッサと記憶装置とを含んでもよい。プロセッサは、本発明の技術的思想を実現するためのプログラムを駆動できるコンピューティングデバイスを意味し得る。記憶装置は、本発明の技術的思想を実現するために必要なプログラムや各種データを記憶できるデータ記憶手段を意味してもよく、実施形態によって複数の記憶手段として実現されてもよい。また、記憶装置は、サーバ10に含まれる主記憶装置だけでなく、プロセッサに含まれ得る一時記憶装置やメモリ等を含む意味であってもよい。
【0031】
診断システム100は、
図1ではいずれかの物理デバイスで実現されているように示されているが、必要に応じて複数の物理デバイスが有機的に結合されて本発明の技術的思想による診断システム100を実現できることは、本発明の技術分野の平均的な専門家であれば容易に推論することができるであろう。
【0032】
図2は、本発明の一実施形態による診断システム100の概略構成を示す図である。
【0033】
図2を参照すると、システム100は、記憶モジュール110、生成モジュール120、取得モジュール130、学習モジュール140、およびアノテーションモジュール150を含んでもよい。本発明の実施形態によっては、上述した構成要素のうちの一部の構成要素は、必ずしも本発明の実現に必須な構成要素に該当しない場合があり、実施形態によっては、診断システム100は、より多くの構成要素を含めることもできることは言うまでもない。例えば、システム100は、システム100の他の構成(例えば、記憶モジュール110、生成モジュール120、取得モジュール130、学習モジュール140、およびアノテーションモジュール150等)の機能および/またはリソースを制御するための制御モジュール(図示せず)をさらに含んでもよい。さらに、実施形態によっては、システム100は、本発明の技術的思想を実現するのに必要な様々な情報および/またはデータを記憶するためのデータベース(Database;DB;200)をさらに含んでもよい。
【0034】
システム100は、本発明の技術的思想を実現するために必要なハードウェアリソースおよび/またはソフトウェアを含む論理構成を意味してもよく、必ずしも1つの物理的構成要素を意味するか、または1つの装置を意味するわけではない。すなわち、システム100は、本発明の技術的思想を実現するために備えられたハードウェアおよび/またはソフトウェアの論理的結合を意味してもよく、必要に応じて互いに離間した装置に設置され、それぞれの機能を行うことによって本発明の技術的思想を実現するための論理構成の集合として実現することもできる。加えて、システム100は、本発明の技術的思想を実現するための機能または役割毎に別に実現される構成の集合を意味し得る。例えば、 記憶モジュール110、生成モジュール120、取得モジュール130、学習モジュール140、およびアノテーションモジュール150のそれぞれは、異なる物理デバイスに配置されてもよく、同じ物理デバイスに配置されてもよい。さらに、実施形態によっては、記憶モジュール110、生成モジュール120、取得モジュール130、学習モジュール140、およびアノテーションモジュール150のそれぞれを構成するソフトウェアおよび/またはハードウェアの組み合わせも、異なる物理デバイスに配置され、異なる物理デバイス上に配置された構成は互いに有機的に結合され、それぞれの前記モジュールを実現することもできる。
【0035】
なお、本明細書において、モジュールという用語は、本発明の技術的思想を実現するためのハードウェアと、ハードウェアを駆動するためのソフトウェアとの機能的および構造的な組み合わせを意味し得る。例えば、モジュールは所定のコードと所定のコードが遂行されるためのハードウェアリソース(resource)の論理的な単位を意味してもよく、必ずしも物理的に連結されたコードを意味するか、一種のハードウェアを意味するわけではないことは、本発明の技術分野の平均的専門家には容易に推論できる。
【0036】
DB200は、病理画像である複数の訓練用スライドを記憶してもよい。訓練用スライドは、組織画像および生検画像を含む様々な生体画像であってもよい。複数の訓練用スライドのそれぞれは、スライドレベルの疾患診断結果がラベル付けされてもよい。
【0037】
例えば、疾患は前立腺癌であってもよく、以下は主に前立腺癌について説明するが、本発明の技術的思想が前立腺癌に限定されるものではないことは、本発明が属する分野における通常の技術者であれば容易に理解できるであろう。
【0038】
一方、各訓練用スライドにラベル付けされているスライドレベルの診断結果は、予めスライドに基づいて医療専門家が行った疾患に関する判定の結果であってもよい。
【0039】
例えば、スライドに対する診断結果は、特定の疾患の発現有無(陰性/陽性)だけでなく、特定の疾患の進行度(または進行確率)を含んでもよい。例えば、本発明の技術的思想が前立腺癌の診断に用いられる場合、前立腺癌の進行度の指標であるグリーソンパターン(Gleason Pattern)またはグリーソンスコア(Gleason Score)を診断結果に含んでもよい。例えば、グリーソンスコアの値は2から10であり、6から10の値は通常、癌と見なすことができ、数値が大きいほど前立腺癌発現の程度が重度であることを示す。グリーソンパターンは、1から5までのレベルに分類できる。
【0040】
記憶モジュール110は、パッチレベルの分類ニューラルネットワーク160およびピクセルレベルの分類ニューラルネットワーク170を記憶してもよく、パッチレベルの分類ニューラルネットワーク160およびピクセルレベルの分類ニューラルネットワーク170は、生成モジュール120によって生成されてもよい。
【0041】
パッチレベルの分類ニューラルネットワーク160は、パッチを入力され、パッチに所定の疾患が存在しているか否かに関する分類結果を予測するためのニューラルネットワークであってもよい。
【0042】
この場合、パッチは、所定のスライドを所定のサイズに分割した部分画像であってもよい。すなわち、1つのスライドを複数のパッチに分割してもよく、パッチレベルの分類ニューラルネットワーク160がパッチを入力されてパッチレベルの診断を行ってもよい。診断を行う前に、パッチレベルの分類ニューラルネットワーク160は、学習モジュール140によって予め学習されてもよい。
【0043】
一方、パッチレベルの診断を行うパッチレベルの分類ニューラルネットワーク160によって出力される情報は、パッチに対応する組織に特定の疾患(例えば、特定の種類の癌)が発現しているか否かの判定を可能にする情報であってもよい。例えば、パッチレベルの分類ニューラルネットワーク160によって出力される情報は、特定の疾患(例えば、特定の種類の癌)がパッチに対応する組織に発現されているか否かの確率を示す情報であってもよい。この場合、パッチレベルの分類ニューラルネットワーク160が出力した確率値が特定の基準値(閾値)以上である場合、パッチに疾患(例えば、前立腺癌)が発現していると判定してもよい。
【0044】
もちろん、実施形態によって、パッチレベルの分類ニューラルネットワーク160は、特定の疾患の進行度(または進行度に対応する確率)を示す情報、ならびに特定の疾患が発現されているか否かを示す情報を出力し得る。例えば、本発明の技術的思想が前立腺癌の診断に用いられる場合、前立腺癌の進行度の指標であるグリーソンパターンまたはグリーソンスコアは、前記パッチレベルの分類ニューラルネットワーク160が出力する情報に含まれてもよい。一方、パッチレベルの分類ニューラルネットワーク160が用いる閾値は種々設定してもよく、閾値に応じて、特定のパッチを疾患が発現したパッチ、すなわち疾患パッチと判定してもよく、または正常パッチと判定してもよい。
【0045】
一方、ピクセルレベルの分類ニューラルネットワーク170は、パッチを入力され、パッチを構成するピクセル毎に前記疾患に対する分類結果を予測するためのニューラルネットワークであってもよい。また、ピクセル毎の分類結果を出力するピクセルレベルの分類ニューラルネットワーク170は、疾患の病症領域を区別するためにセグメンテーションを行ってもよい。
【0046】
ピクセルレベルの分類ニューラルネットワーク170は、パッチを構成するピクセル毎の疾患の発症有無あるいは疾患の発症確率が出力され、発症したと判定されたピクセルあるいは発症確率が一定の閾値を超えたピクセルが構成する領域を発症領域と判定してもよい。
【0047】
実施形態によって、ピクセルレベルの分類ニューラルネットワーク170は、ピクセル毎の疾患の発症有無(あるいは疾患の発症確率)および/または疾患の進行度(または前記進行度に該当する確率)を予測して出力することもできる。
【0048】
一方、セグメンテーション(すなわち、ピクセル毎の診断結果の予測)を行う前に、ピクセルレベルの分類ニューラルネットワーク170は、学習モジュール140によって予め学習されてもよい。
【0049】
本明細書において、ニューラルネットワークは、ニューラルネットワークを定義する一連の設計項目を表す情報の集合を意味し得る。一実施形態において、ニューラルネットワーク160および170は、畳み込みニューラルネットワークであってもよい。
【0050】
周知のように、畳み込みニューラルネットワークは、入力層、複数の隠れ層、および出力層を含んでもよい。複数の隠れ層のそれぞれは、畳み込み層およびプーリング層(またはサブサンプリング層)を含んでもよい。
【0051】
畳み込みニューラルネットワークは、これらの層のそれぞれを定義するための関数、フィルタ、ストライド(stride)、重み係数等によって定義され得る。さらに、出力層は、全結合(fully connected)されたフィードフォワード層(FeedForward layer)として定義され得る。
【0052】
畳み込みニューラルネットワークを構成する各層の設計の詳細は周知である。例えば、複数の層に含まれる層の数、複数の層を定義するための畳み込み関数、プーリング関数、活性化関数のそれぞれに対しては、公知の関数を用いてもよく、本発明の技術的思想を実現するために別途定義された関数を用いてもよい。
【0053】
畳み込み関数の例としては、離散畳み込み和等がある。プーリング関数の一例として、最大プーリング(max pooling)、平均プーリング(average pooling)等を用いることができる。活性化関数の一例は、シグモイド(sigmoid)、正接双曲線(tanh)、整流線形ユニット(ReLU)等であってもよい。
【0054】
畳み込みニューラルネットワークの設計が定義されると、その設計が定義された畳み込みニューラルネットワークは記憶装置に格納されてもよい。また、畳み込みニューラルネットワークが学習されると、各層に該当する重み係数を特定することができる。
【0055】
すなわち、畳み込みニューラルネットワークの学習は、各層の重み係数が決定される過程を意味し得る。また、畳み込みニューラルネットワークが学習されると、学習された畳み込みニューラルネットワークは、入力層に入力データを入力され、予め定義された出力層を介してデータを出力することができる。
【0056】
本発明の実施形態によるニューラルネットワークは、上記のように広く知られている設計のうちの1つまたは複数を選択して定義してもよく、独自の設計をニューラルネットワークのために定義してもよい。
【0057】
再び
図2を参照すると、取得モジュール130は、パッチレベルの分類ニューラルネットワーク160およびピクセルレベルの分類ニューラルネットワーク170に対する半教師あり学習のための訓練データを取得してもよい。すなわち、取得モジュール130は、複数の訓練用スライド画像を取得してもよく、複数の訓練用スライド画像のそれぞれには、それに対応するスライドレベルの診断結果がラベル付けされていてもよい。例えば、取得モジュール130は、DB200から訓練用のスライド画像を取得してもよい。
【0058】
学習モジュール140は、複数の訓練用スライド画像を用いて、パッチレベルの分類ニューラルネットワーク160およびピクセルレベルの分類ニューラルネットワーク170を段階的に訓練することができ、段階的な訓練課程の一例を
図3に示す。
【0059】
図3を参照すると、取得モジュール130は、スライドレベルの診断結果がラベル付けされたN個(Nは2以上の整数)のスライド画像S
1からS
Nを取得してもよい(S100)。
【0060】
その後、学習モジュール140は、学習データを生成する処理を行ってもよい。より具体的には、学習モジュール140は、N個の訓練用スライドのそれぞれに対して、訓練用スライドに対応する訓練データを生成してもよい(S110およびS120)。このとき、訓練用スライドに対応する各訓練データは、パッチレベルの分類ニューラルネットワーク160を訓練するためのパッチレベルの訓練データと、ピクセルレベルの分類ニューラルネットワーク170を訓練するためのピクセルレベルの訓練データと、を含んでもよい。例えば、第Kのスライド(Kは1<=K<=Nの整数)に対応する訓練データは、パッチレベルの訓練データT(K,1)およびピクセルレベルの訓練データT(K,2)を含んでもよい(S120を参照)。
【0061】
ステップS110を通じてN個の訓練用データが生成されると、学習モジュール140は、N個のパッチレベルの訓練用データ(すなわち、第1の訓練用スライドに対応するパッチレベルの訓練データT(1,1)ないし第Nの訓練用スライドに対応するピクセルレベルの訓練データT(N,1))を用いてパッチレベルの分類ニューラルネットワーク160を訓練することができる。
【0062】
また、学習モジュール140は、N個のピクセルレベルの訓練用データ(すなわち、第1の訓練用スライドに対応するピクセルレベルの訓練データT(1,2)ないし第Nの訓練用スライドに対応するピクセルレベルの訓練データT(N,2))を用いてピクセルレベルの分類ニューラルネットワーク170を訓練することができる。
【0063】
一方、学習モジュール140は、パッチレベルの分類ニューラルネットワーク160およびピクセルレベルの分類ニューラルネットワーク170に対する一回の学習が完了すると、所定の訓練条件が満たされたか否かを判断することができ、満たした場合は訓練を終了してもよい(S150)。
【0064】
例えば、学習モジュール140は、訓練が一定回数繰り返されたときに訓練条件が満たされると判定し得る。学習モジュール140は、学習されたパッチレベルの分類ニューラルネットワーク160および/またはピクセルレベルの分類ニューラルネットワーク170が所定の条件を満たす場合に、訓練条件が満たされると判断し得る。
【0065】
一方、一実施形態において、学習モジュール140は、学習データを生成する過程において、まだ訓練中であるパッチレベルの分類ニューラルネットワーク160を用いることができる。
【0066】
図4は、学習モジュール140が1つの訓練用スライド(スライドS
K)に対応する訓練データを生成する過程(すなわち、
図3のステップS120)の具体例を示す図である。
【0067】
図4を参照すると、学習モジュール140は、訓練用スライドS
Kを構成する各パッチをパッチレベルの分類ニューラルネットワーク160に入力し、パッチレベルの分類ニューラルネットワーク160は、各パッチに対応するパッチレベルの診断結果を予測できる(S122)。
【0068】
さらに、学習モジュール140は、各パッチを入力されたパッチレベルの分類ニューラルネットワーク160に対する勾配-重み付けクラス活性化マッピングを介して各パッチに対応するマスク画像を生成するすることができる(S123)。勾配-重み付けクラス活性化マッピングは、画像からの結果予測に大きな影響を与えた領域を強調するローカライゼーションマップを生成するための手法である。
【0069】
例えば、学習モジュール140は、特定のパッチを入力されたパッチレベルの分類ニューラルネットワーク160に対する勾配-重み付けクラス活性化マッピングによって生成されたローカライゼーションマップにおいて、所定の閾値以上のピクセルをマスクすることによって、該当パッチに対応するマスク画像を生成することができる。
【0070】
一方、学習モジュール140は、ステップS122で行われたパッチレベルの分類ニューラルネットワーク160の各パッチの診断結果に基づいて、訓練用スライドSKを構成する各パッチのうちから代表パッチRK決定することができる(S124)。例えば、パッチレベルの分類ニューラルネットワーク160が疾患に対する発症確率を出力するニューラルネットワークである場合、学習モジュール140は、発症確率が最も高いパッチを代表パッチとして決定し得る。あるいは、学習モジュール140は、所定の値以上の発症確率を有する少なくとも1つのパッチを代表パッチとして決定してもよい。
【0071】
一方、ステップS124で代表パッチRKが決定されると、学習モジュール140は、訓練用スライドSKのラベルLKで代表パッチRKをラベル付けし、スライドSKに対応するパッチレベルの訓練データT(K,1)を生成することができる(S125)。
【0072】
また、学習モジュール140は、RKに対応するマスク画像で代表パッチRKをラベル付けし、スライドSKに対応するピクセルレベルの訓練データT(K,2)を生成するすることができる。
【0073】
このように
図3および
図4を参照して説明した訓練方法によると、パッチレベルの分類ニューラルネットワーク160およびピクセルレベルの分類ニューラルネットワークを訓練するための訓練データが、スライドレベルの訓練データ(すなわち、スライドレベルの診断結果がラベル付けされたスライド画像)から自動的に生成され、それによって各ニューラルネットワークが訓練される。これによって、スライドレベルの訓練データのみを用いてパッチレベルの分類ニューラルネットワーク160およびピクセルレベルの分類ニューラルネットワークを訓練することができる半教師あり学習を実現することができる。
【0074】
また、パッチレベルの分類ニューラルネットワーク160の予測結果に基づいて訓練データが生成され、このように生成された訓練データが再びパッチレベルの分類ニューラルネットワーク160の訓練に用いられる段階的方式の訓練によって、パッチレベルの分類ニューラルネットワーク160の高度化を行うことができる。
【0075】
一方、再び
図2を参照すると、前記アノテーションモジュール150は、訓練が完了した前記ピクセルレベルの分類ニューラルネットワーク170を用いて生体画像に対するアノテーションを行うことができる。
【0076】
すなわち、アノテーションモジュール150は、訓練が完了した前記ピクセルレベルの分類ニューラルネットワーク170に所定の診断対象パッチ画像を入力し、診断対象パッチ画像を構成する各ピクセル毎の前記疾患に対する分類結果を取得し、診断対象パッチ画像を構成する各ピクセル毎の分類結果に基づいて、診断対象パッチ画像に疾患の発症領域をアノテーションすることができる。
【0077】
また、本明細書では前立腺癌に対して本発明の技術的思想が適用された一例を主に説明したが、特定の組織だけでなく該当組織の周辺組織の状態まで考慮して前記特定の組織の診断を行う必要がある他の疾患に対しても、本発明の技術的思想が適用される場合、正確な診断が可能であることを本発明の技術分野の平均的専門家であれば容易に推論できるであろう。
【0078】
一方、実施形態によって、診断システム100は、プロセッサと、プロセッサによって実行されるプログラムを格納するメモリと、を含んでもよい。プロセッサは、シングルコアCPUまたはマルチコアCPUを含んでもよい。メモリは、高速ランダムアクセスメモリを含んでもよく、1つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、または他の不揮発性ソリッドステートメモリデバイス等の不揮発性メモリを含んでもよい。プロセッサおよび他の構成要素によるメモリへのアクセスは、メモリコントローラによって制御され得る。
【0079】
一方、本発明の一実施形態による方法は、コンピュータ読み取り可能なプログラムコマンドの形態で実現され、コンピュータ読み取り可能な記録媒体に格納されてもよく、本発明の一実施形態による制御プログラムおよび対象プログラムもコンピュータ読み取り可能な記録媒体に格納されてもよい。コンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読み取られ得るデータが格納されるあらゆる種類の記録装置を含む。
【0080】
記録媒体に記録されるプログラム命令は、本発明のために特に設計および構成されたものであってもよく、またはソフトウェア当業者に公知かつ利用可能であってもよい。
【0081】
コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピーディスク、磁気テープなどの磁気媒体、CD-ROM、DVDなどの光記録媒体、プロプティカルディスクなどの磁気-光媒体、ROM、RAM、フラッシュメモリなどのプログラムコマンドを格納して実行するように構成されたハードウェア装置が含まれる。また、コンピュータ読み取り可能な記録媒体はネットワークで連結されたコンピュータシステムに分散され、分散方式でコンピュータ読み取り可能なコードが格納され実行されることができる。
【0082】
プログラム命令の例としては、コンパイラによって作成されるような機械語コードだけでなく、インタプリタ等を用いて電子的に情報を処理する装置、例えば、コンピュータによって実行できる高度な言語コードを含む。
【0083】
上述のハードウェアデバイスは、本発明の動作を行うための1つ以上のソフトウェアモジュールとして動作するように構成されてもよく、逆もまた同様である。
【0084】
前述した本発明の説明は例示のためのものであり、本発明が属する技術分野の通常の知識を有する者であれば、本発明の技術的思想や必須的な特徴を変更することなく、他の具体的な形態に簡単に変形が可能であることを理解することができるであろう。したがって、以上で述べた実施形態は、あらゆる面で例示的なものであり、限定的でないものと理解しなければならない。例えば、単一の形態で記述された各構成要素が分散されてもよく、同様に分散として記述された構成要素が結合された形態で実施されてもよい。
【0085】
本発明の範囲は、上記の詳細な説明よりは後述の特許請求の範囲によって示され、特許請求の範囲の意味および範囲、そしてその均等概念から導出されるすべての変更または変形された形態が本発明の範囲に含まれるものと解釈されなければならない。
【産業上の利用可能性】
【0086】
本発明は、半教師あり学習を用いて疾患の発症領域に対するアノテーションを行う方法、およびそれを行うための診断システムに用いることができる。