(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-31
(45)【発行日】2024-11-11
(54)【発明の名称】病理検体に対する判断結果を提供する人工ニューラルネットワークの学習方法、及びこれを行うコンピューティングシステム
(51)【国際特許分類】
G06V 10/72 20220101AFI20241101BHJP
G06N 3/08 20230101ALI20241101BHJP
G06T 7/00 20170101ALI20241101BHJP
【FI】
G06V10/72
G06N3/08
G06T7/00 350C
G06T7/00 612
(21)【出願番号】P 2023540030
(86)(22)【出願日】2022-01-07
(86)【国際出願番号】 KR2022000269
(87)【国際公開番号】W WO2022149894
(87)【国際公開日】2022-07-14
【審査請求日】2023-08-04
(31)【優先権主張番号】10-2021-0001912
(32)【優先日】2021-01-07
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】519208133
【氏名又は名称】ディープ バイオ インク
(74)【代理人】
【識別番号】100120008
【氏名又は名称】山田 くみ子
(72)【発明者】
【氏名】カク テヨン
(72)【発明者】
【氏名】ペク イニョン
(72)【発明者】
【氏名】キム ソンウ
【審査官】村山 絢子
(56)【参考文献】
【文献】特表2019-525151(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00-7/90
G01N 33/48-33/98
G06V 10/00-10/98
G06N 3/08
(57)【特許請求の範囲】
【請求項1】
人工ニューラルネットワークを学習する方法であって、
ニューラルネットワーク学習システムが、M個の個別学習データ(ここで、Mは、2以上の自然数である)を含む学習データセットを生成するステップと、
前記ニューラルネットワーク学習システムが、前記学習データセットに基づいて前記人工ニューラルネットワークを学習するステップと、
を含み、
前記M個の個別学習データを含む学習データセットを生成するステップは、1<=m<=Mの全てのmに対して、前記学習データセットに含まれる第mの学習データを生成するステップを含み、
前記第mの学習データを生成するステップは、
単一の病理検体に対する連続したセクション(serial section)を互いに異なる染色試薬で染色した病理スライド画像である第1の病理スライド画像ないし第Nの病理スライド画像(ここで、Nは、2以上の自然数である)を取得するステップ)と、
前記第1の病理スライド画像ないし前記第Nの病理スライド画像に基づいて前記第mの学習データを生成するステップと、
を含
み、
前記第1の病理スライド画像ないし前記第Nの病理スライド画像に基づいて前記第mの学習データを生成するステップは、
前記第1の病理スライド画像ないし前記第Nの病理スライド画像をチャネル重畳(channel stacking)によって1つの多チャネル画像に変換するステップを含み、
前記第mの学習データは前記多チャネル画像を含む、
人工ニューラルネットワークの学習方法。
【請求項2】
前記第1の病理スライド画像ないし前記第Nの病理スライド画像に基づいて前記第mの学習データを生成するステップは、
前記第1の病理スライド画像ないし前記第Nの病理スライド画像内に存在する生体組織領域を特定するステップと、
前記第1の病理スライド
画像ないし前記第Nの病理スライド画像の各々に存在する生体組織領域間の位置及び形態が一致するように、前記第1の病理スライド
画像ないし前記第Nの病理スライド画像を整合するステップと、
前記整合された第1の病理スライド画像ないし前記整合された第Nの病理スライド画像をチャネル重畳によって1つの多チャネル画像に変換するステップと、
を含み、
前記第mの学習データは前記多チャネル画像を含む、請求項1に記載の人工ニューラルネットワークの学習方法。
【請求項3】
前記第1の病理スライド
画像ないし前記第Nの病理スライド画像の各々に存在する生体組織領域間の位置及び形態が一致するように、前記第1の病理スライド
画像ないし前記第Nの病理スライド画像を整合するステップは、
1<=i<=Nの全ての自然数iに対して、第iの病理スライド画像に対応する変換関係
であって前記第iの病理スライド画像と、それに対応する整合された第iの病理スライド画像との間の変換関係を算出するステップを含み、
前記第1の病理スライド画像ないし前記第Nの病理スライド画像に基づいて前記第mの学習データを生成するステップは、
1<=j<=Nの全ての自然数jに対して、第jの病理スライド画像に付与された病変アノテーション領域を前記第jの病理スライド画像に対応する変換関係を用いて変形するステップと、
前記変形された第1の病理スライド画像の病変アノテーション領域ないし前記変形された第Nの病理スライド画像の病変アノテーション領域をチャネル重畳によって1つの多チャネル病変アノテーション領域に変換するステップと、
をさらに含み、
前記第mの学習データは、前記多チャネル病変アノテーション領域をさらに含む、請求項
2に記載の人工ニューラルネットワークの学習方法。
【請求項4】
請求項1に記載の人工ニューラルネットワークの学習方法によって学習された人工ニューラルネットワークを介して所定の判断対象病理検体に対する判断結果を提供する方法であって、
コンピューティングシステムが、
前記判断対象病理検体に対する連続したセクションを互いに異なる染色試薬で染色した病理スライド画像である第1の判断対象病理スライド画像ないし第Nの判断対象病理スライド画像(ここで、Nは、2以上の自然数である)を取得するステップと、
前記第1の判断対象病理スライド画像ないし前記第Nの判断対象病理スライド画像をチャネル重畳によって1つの多チャネル画像に変換するステップと、
前記コンピューティングシステムが、前記人工ニューラルネットワークが
1つの多チャネル画像に変換された前記第1の判断対象病理スライド画像ないし前記第Nの判断対象病理スライド画像に基づいて判断した前記判断対象病理検体に対する判断結果を出力するステップと、
を含む、方法。
【請求項5】
データ処理装置に設置され、請求項1ないし請求項
4のいずれか一項に記載の方法を行うための記録媒体に記録されたコンピュータプログラム。
【請求項6】
請求項1ないし請求項
4のいずれか一項に記載の方法を行うためのコンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【請求項7】
人工ニューラルネットワーク学習システムであって、
プロセッサと、コンピュータプログラムを格納するメモリと、を含み、
前記コンピュータプログラムは、前記プロセッサによって実行される場合、前記
人工ニューラルネットワーク学習システムに人工ニューラルネットワークを学習する方法を実行させ、
前記人工ニューラルネットワーク学習システムは、
ニューラルネットワーク学習システムが、M個の個別学習データ(ここで、Mは、2以上の自然数である)を含む学習データセットを生成するステップと、
前記ニューラルネットワーク学習システムが、前記学習データセットに基づいて前記人工ニューラルネットワークを学習するステップと、
を含み、
前記M個の個別学習データを含む学習データセットを生成するステップは、1<=m<=Mの全てのmに対して、前記学習データセットに含まれる第mの学習データを生成するステップを含み、
前記第mの学習データを生成するステップは、
単一の病理検体に対する連続したセクションを互いに異なる染色試薬で染色した病理スライド画像である第1の病理スライド画像ないし第Nの病理スライド画像(ここで、Nは、2以上の自然数である)を取得するステップと、
前記第1の病理スライド画像ないし前記第Nの病理スライド画像に基づいて前記第mの学習データを生成するステップと、
を含み、
前記第1の病理スライド画像ないし前記第Nの病理スライド画像に基づいて前記第mの学習データを生成するステップは、
前記第1の病理スライド画像ないし前記第Nの病理スライド画像をチャネル重畳(channel stacking)によって1つの多チャネル画像に変換するステップを含み、
前記第mの学習データは前記多チャネル画像
を含む、人工ニューラルネットワーク学習システム。
【請求項8】
前記第1の病理スライド画像ないし前記第Nの病理スライド画像に基づいて前記第mの学習データを生成するステップは、
前記第1の病理スライド画像ないし前記第Nの病理スライド画像をチャネル重畳によって1つの多チャネル画像に変換するステップを含み、
前記第mの学習データは前記多チャネル画像を含む、請求項
7に記載の人工ニューラルネットワークの学習システム。
【請求項9】
前記第1の病理スライド画像ないし前記第Nの病理スライド画像に基づいて前記第mの学習データを生成するステップは、
前記第1の病理スライド画像ないし前記第Nの病理スライド画像内に存在する生体組織領域を特定するステップと、
前記第1の病理スライド
画像ないし前記第Nの病理スライド画像の各々に存在する生体組織領域間の位置及び形態が一致するように、前記第1の病理スライド
画像ないし前記第Nの病理スライド画像を整合するステップと、
前記整合された第1の病理スライド画像ないし前記整合された第Nの病理スライド画像をチャネル重畳によって1つの多チャネル画像に変換するステップと、
を含み、
前記第mの学習データは前記多チャネル画像を含む、請求項
7に記載の人工ニューラルネットワーク学習システム。
【請求項10】
前記第1の病理スライド
画像ないし前記第Nの病理スライド画像の各々に存在する生体組織領域間の位置及び形態が一致するように、前記第1の病理スライド
画像ないし前記第Nの病理スライド画像を整合するステップは、
1<=i<=Nの全ての自然数iに対して、第iの病理スライド画像に対応する変換関係
であって、前記第iの病理スライド画像と、それに対応する整合された第iの病理スライド画像との間の変換関係を算出するステップを含み、
前記第1の病理スライド画像ないし前記第Nの病理スライド画像に基づいて前記第mの学習データを生成するステップは、
1<=j<=Nの全ての自然数jに対して、第jの病理スライド画像に付与された病変アノテーション領域を前記第jの病理スライド画像に対応する変換関係を用いて変形するステップと、
前記変形された第1の病理スライド画像の病変アノテーション領域ないし前記変形された第Nの病理スライド画像の病変アノテーション領域をチャネル重畳によって1つの多チャネル病変アノテーション領域に変換するステップと、
をさらに含み、
前記第mの学習データは、前記多チャネル病変アノテーション領域をさらに含む、請求項
9に記載の人工ニューラルネットワーク学習システム。
【請求項11】
病理検体に対する判断結果提供システムであって、
プロセッサと、コンピュータプログラムを格納するメモリと、を含み、
前記コンピュータプログラムは、前記プロセッサによって実行される場合、前記
病理検体に対する判断結果提供システムに請求項1に記載の人工ニューラルネットワークの学習方法によって学習された人工ニューラルネットワークを介して病理検体に対する判断結果を提供する方法を実行させ、
前記判断結果を提供する方法は、
所定の判断対象病理検体に対する連続したセクションを互いに異なる染色試薬で染色した病理スライド画像である第1の判断対象病理スライド画像ないし第Nの判断対象病理スライド画像(ここで、Nは、2以上の自然数である)を取得するステップと、
前記第1の判断対象病理スライド画像ないし前記第Nの判断対象病理スライド画像をチャネル重畳によって1つの多チャネル画像に変換するステップと、
前記人工ニューラルネットワークが
1つの多チャネル画像に変換された前記第1の判断対象病理スライド画像ないし前記第Nの判断対象病理スライド画像に基づいて判断した前記判断対象病理検体に対する判断結果を出力するステップと、
を含む、病理検体に対する判断結果提供システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、病理検体に対する判断結果を提供する人工ニューラルネットワークの学習方法、及びこれを行うコンピューティングシステムに関する。より詳しくは、単一の検体に対する連続したセクション(serial sections)の各々を互いに異なる様々な染色試薬で染色した病理スライドを用いて人工ニューラルネットワークを学習することによって、疾患に対する正確な判断を行うようにする方法、及びこれを行うコンピューティングシステムに関する。
【背景技術】
【0002】
腫瘍周辺で腫瘍細胞と相互作用し、腫瘍の増殖に影響を与える隣接細胞を腫瘍微小環境という。腫瘍微小環境に関する研究は、癌の現在状態に関する診断、予後、及び特定の治療方法に対する反応性を把握し、新しい治療方法を開発する上で非常に重要である。
【0003】
従来、腫瘍微小環境の分析のために腫瘍微小環境内に存在すると予想される特定の免疫細胞又はタンパク質を標的とする免疫組織化学(immunohistochemistry;以下、IHC)染色試薬を活用していた。すなわち、特定の標的に対するIHC染色試薬で病理検体を染色し、染色結果を病理専門医が光学顕微鏡を介して目視で読み取って標的の位置関係を把握し、量を計量する過程を行っていた。このとき、様々な免疫細胞又はタンパク質を複合的に見て判断しなければならないので、単一の検体に対する連続したセクションからなる複数のスライドを製作し、それぞれをH&E及び様々な標的IHC染色試薬で染色した後、その結果をそれぞれ病理専門医が読み取り、その結果を総合している。腫瘍微小環境を構成する様々な要素の位置関係が重要であるため、このような方式の分析には限界があり、このような限界を超えるために様々な標的を一度に染色するマルチプレックスIHC方式の染色方法が登場したが、これは安価でなく一般化されていない。
【0004】
一方、ディープラーニング、特に畳み込みニューラルネットワーク(convolutional neural network;CNN)を用いた病理スライド画像の分析によって癌の現在状態に関する診断、重症度区分による予後診断、特定のIHC染色結果に対する計測などを行う技術が開発され、商用化されている。現在開発されている技術は、単一の染色病理スライド画像を対象とし、分析結果は特定の分類や数値の形態で提供されるため、これを簡単に組み合わせて腫瘍微小環境に対する位置関係を含めて把握することは容易でない。例えば、従来の特許(JP6650453B2)によると、癌の予後のために連続したセクションからなるスライド画像を活用しているが、各スライド画像を別に分析した結果スコアを総合して予後を判別し、全てのスライド画像の位置関係を総合した分析を行っていない。
【0005】
従って、マルチプレックスIHC方式を用いることなく腫瘍微小環境を分析できるように、単一の検体に対する連続したセクションからなる多種染色スライドに対して、位置関係を含んで総合的に分析できるようにする技術的思想が求められている。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明が達成しようとする技術的な課題は、単一の検体に対する連続したセクションの各々をH&Eや様々な標的IHC染色試薬などで染色した病理スライドを活用して人工ニューラルネットワークで学習することによって、学習された人工ニューラルネットワークが腫瘍微小環境を総合的に分析できるようにすることで、癌の現在の状態に関する診断、予後及び特定の治療方法に対する反応性を高精度で把握できるようにする方法及びシステムを提供することである。
【課題を解決するための手段】
【0008】
本発明の一態様によると、人工ニューラルネットワークを学習する方法であって、ニューラルネットワーク学習システムが、M個の個別学習データ(ここで、Mは、2以上の自然数である)を含む学習データセットを生成するステップと、前記ニューラルネットワーク学習システムが、前記学習データセットに基づいて前記人工ニューラルネットワークを学習するステップと、を含み、前記M個の個別学習データを含む学習データセットを生成するステップは、1<=m<=Mの全てのmに対して、前記学習データセットに含まれる第mの学習データを生成するステップを含み、前記第mの学習データを生成するステップは、第1の病理スライド画像ないし第Nの病理スライド画像(ここで、Nは、2以上の自然数である)を取得するステップ(ここで、前記第1の病理スライド画像ないし第Nの病理スライド画像は、単一の病理検体に対する連続したセクション(serial section)を互いに異なる染色試薬で染色した病理スライド画像である)と、前記第1の病理スライド画像ないし前記第Nの病理スライド画像に基づいて前記第mの学習データを生成するステップと、を含む、人工ニューラルネットワークの学習方法が提供される。
【0009】
一実施形態において、前記第1の病理スライド画像ないし前記第Nの病理スライド画像に基づいて前記第mの学習データを生成するステップは、前記第1の病理スライド画像ないし前記第Nの病理スライド画像をチャネル重畳(channel stacking)によって1つの多チャネル画像に変換するステップを含み、前記第mの学習データは、前記多チャネル画像を含んでもよい。
【0010】
一実施形態において、前記学習データはN個のチャネルを含み、前記第1の病理スライド画像ないし前記第Nの病理スライド画像をチャネル重畳によって1つの多チャネル画像に変換するステップは、1<=n<=Nの全ての自然数nに対して、第Nの病理スライド画像の各画素値で前記多チャネル画像の第nのチャネルを構成するステップを含んでもよい。
【0011】
一実施形態において、前記第1の病理スライド画像ないし前記第Nの病理スライド画像に基づいて前記第mの学習データを生成するステップは、前記第1の病理スライド画像ないし前記第Nの病理スライド画像内に存在する生体組織領域を特定するステップと、前記第1の病理スライドないし前記第Nの病理スライド画像の各々に存在する生体組織領域間の位置及び形態が一致するように、前記第1の病理スライドないし前記第Nの病理スライド画像を整合するステップと、前記整合された第1の病理スライド画像ないし前記整合された第Nの病理スライド画像をチャネル重畳によって1つの多チャネル画像に変換するステップと、を含み、前記第mの学習データは、前記多チャネル画像を含んでもよい。
【0012】
一実施形態において、前記学習データはN個のチャネルを含み、前記整合された第1の病理スライド画像ないし前記整合された第Nの病理スライド画像をチャネル重畳によって1つの多チャネル画像に変換するステップは、1<=n<=Nの全ての自然数nに対して、整合された第Nの病理スライド画像の各画素値で前記多チャネル画像の第nのチャネルを構成するステップを含んでもよい。
【0013】
一実施形態において、前記第1の病理スライドないし前記第Nの病理スライド画像の各々に存在する生体組織領域間の位置及び形態が一致するように、前記第1の病理スライドないし前記第Nの病理スライド画像を整合するステップは、1<=i<=Nの全ての自然数iに対して、第iの病理スライド画像に対応する変換関係を算出するステップを含み(ここで、前記第iの病理スライド画像に対応する変換関係は、前記第iの病理スライド画像と、それに対応する整合された第iの病理スライド画像との間の変換関係である)、前記第1の病理スライド画像ないし前記第Nの病理スライド画像に基づいて前記第mの学習データを生成するステップは、1<=j<=Nの全ての自然数jに対して、第jの病理スライド画像に付与された病変アノテーション領域を前記第jの病理スライド画像に対応する変換関係を用いて変形するステップと、前記変形された第1の病理スライド画像の病変アノテーション領域ないし前記変形された第Nの病理スライド画像の病変アノテーション領域をチャネル重畳によって1つの多チャネル病変アノテーション領域に変換するステップと、をさらに含み、前記第mの学習データは、前記多チャネル病変アノテーション領域をさらに含んでもよい。
【0014】
本発明の他の一態様によると、上述の人工ニューラルネットワークの学習方法によって学習された人工ニューラルネットワークを介して所定の判断対象病理検体に対する判断結果を提供する方法であって、コンピューティングシステムが、第1の判断対象病理スライド画像ないし第Nの判断対象病理スライド画像(ここで、Nは、2以上の自然数である)を取得するステップ(ここで、前記第1の判断対象病理スライド画像ないし前記第Nの判断対象病理スライド画像は、前記判断対象病理検体に対する連続したセクションを互いに異なる染色試薬で染色した病理スライド画像である)と、前記コンピューティングシステムが、前記人工ニューラルネットワークが前記第1の判断対象病理スライド画像ないし前記第Nの判断対象病理スライド画像に基づいて判断した前記判断対象病理検体に対する判断結果を出力するステップと、を含む方法が提供される。
【0015】
本発明の他の一態様によると、データ処理装置に設置され、上述の方法を行うための媒体に記録されたコンピュータプログラムが提供される。
【0016】
本発明の他の一態様によると、上述の方法を行うためのコンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体が提供される。
【0017】
本発明の他の一態様によると、人工ニューラルネットワーク学習システムであって、プロセッサと、コンピュータプログラムを格納するメモリと、を含み、前記コンピュータプログラムは、前記プロセッサによって実行される場合、前記コンピューティングシステムに人工ニューラルネットワークを学習する方法を実行させ、前記人工ニューラルネットワーク学習システムは、ニューラルネットワーク学習システムが、M個の個別学習データ(ここで、Mは、2以上の自然数である)を含む学習データセットを生成するステップと、前記ニューラルネットワーク学習システムが、前記学習データセットに基づいて前記人工ニューラルネットワークを学習するステップと、を含み、前記M個の個別学習データを含む学習データセットを生成するステップは、1<=m<=Mの全てのmに対して、前記学習データセットに含まれる第mの学習データを生成するステップを含み、前記第mの学習データを生成するステップは、第1の病理スライド画像ないし第Nの病理スライド画像(ここで、Nは、2以上の自然数である)を取得するステップ(ここで、前記第1の病理スライド画像ないし第Nの病理スライド画像は、単一の病理検体に対する連続したセクションを互いに異なる染色試薬で染色した病理スライド画像である)と、前記第1の病理スライド画像ないし前記第Nの病理スライド画像に基づいて前記第mの学習データを生成するステップと、を含む、人工ニューラルネットワーク学習システムが提供される。
【0018】
本発明の他の一態様によると、プロセッサと、コンピュータプログラムを格納するメモリと、を含み、前記コンピュータプログラムは、前記プロセッサによって実行される場合、前記コンピューティングシステムに上述の人工ニューラルネットワークの学習方法によって学習された人工ニューラルネットワークを介して病理検体に対する判断結果を提供する方法を実行させ、前記判断結果を提供する方法は、第1の判断対象病理スライド画像ないし第Nの判断対象病理スライド画像(ここで、Nは、2以上の自然数である)を取得するステップ(ここで、前記第1の判断対象病理スライド画像ないし前記第Nの判断対象病理スライド画像は、所定の判断対象病理検体に対する連続したセクションを互いに異なる染色試薬で染色した病理スライド画像である)と、前記人工ニューラルネットワークが前記第1の判断対象病理スライド画像ないし前記第Nの判断対象病理スライド画像に基づいて判断した前記判断対象病理検体に対する判断結果を出力するステップと、を含む病理検体に対する判断結果提供システムが提供される。
【発明の効果】
【0019】
本発明の技術的思想によると、単一の検体に対する連続したセクションの各々をH&Eや様々な標的IHC染色試薬などで染色した病理スライドを活用して人工ニューラルネットワークを学習することによって、学習された人工ニューラルネットワークが腫瘍微小環境を総合的に分析できるようにすることで、癌の現在状態に関する診断、予後及び特定の治療方法に対する反応性を高精度で把握できるようにする方法及びシステムを提供することができる。
【0020】
また、本発明の技術的思想によると、マルチプレックスIHCのような高コストの一般化されていない方法に代わり、広く用いられている方法を活用して生成した複数枚の病理スライド画像を重畳して活用できるようにすることで、マルチプレックスIHCと類似の効果を得ることができ、また、マルチプレックスIHCの結果をカラーフィルタリングを通じて標的毎に位置情報を分離する過程で発生し得る誤りの可能性を遮断することで、腫瘍微小環境分析の精度を高めることができるという効果がある。
【図面の簡単な説明】
【0021】
本発明の詳細な説明で引用される図面をより十分に理解するために、各図面の簡単な説明が提供される。
【
図1】本発明の技術的思想による人工ニューラルネットワークの学習方法及び病理検体に対する判断結果の提供方法が実行される環境を概略的に示す図である。
【
図2】本発明の一実施形態によるニューラルネットワークの学習方法を説明するためのフローチャートである。
【
図3】チャネル重畳によってRGB色モデルで表される複数の病理スライド画像により生成される1つの多チャネル画像を示す図である。
【
図4】本発明の一実施形態による個別学習データを生成する過程の一例を示す図である。
【
図5】本発明の一実施形態による病理検体に対する判断結果の提供方法の一例を示すフローチャートである。
【
図6】本発明の一実施形態による人工ニューラルネットワーク学習システムの概略的な構成を示す図である。
【
図7】本発明の一実施形態による判断結果提供システムの概略的な構成を示す図である。
【発明を実施するための形態】
【0022】
本発明は、様々な変換を加えることができ、様々な実施形態を有することができるので、特定の実施形態を図面に示し、詳細に説明する。しかし、これは本発明を特定の実施形態に限定することを意図するものではなく、本発明の精神及び技術範囲に含まれる全ての変換、等価物ないし代替物を含むものとして理解されたい。本発明の説明において、関連する公知技術についての具体的な説明が本発明の要旨を不明瞭にすると判断される場合、その詳細な説明を省略する。
【0023】
第1、第2などの用語は様々な構成要素を説明するために使用することができるが、構成要素は用語によって限定されるべきではない。第1、第2などの用語は特別な順序を表すものではなく、ある構成要素を他の構成要素から区別する目的でのみ使用される。
【0024】
本出願で使用される用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定することを意図していない。単数の表現は、文脈上明らかに他に意味がない限り、複数の表現を含む。
【0025】
本明細書において、「含む」又は「有する」などの用語は、本明細書に記載の特徴、数字、ステップ、動作、構成要素、部品、又はそれらを組み合わせたものが存在することを指定するものであり、1つ又はそれ以上の他の特徴、数、ステップ、動作、構成要素、部品、又はそれらを組み合わせたものの存在又は追加の可能性を事前に除外しないものとして理解されたい。
【0026】
また、本明細書において、ある構成要素が他の構成要素にデータを「伝送」する場合、構成要素は、他の構成要素に直接データを伝送することもでき、少なくとも1つのまた他の構成要素を介して、データを他の構成要素に伝送することもできることを意味する。逆に、ある構成要素が他の構成要素にデータを「直接伝送」する場合、ある構成要素はまた他の構成要素を介することなく、他の構成要素にデータを伝送することを意味する。
【0027】
以下、添付の図面を参照して本発明の実施形態を中心に本発明を詳しく説明する。各図に示されている同じ参照符号は同じ部材を示す。
【0028】
図1は、本発明の技術的思想による人工ニューラルネットワークの学習方法、及び病理検体に対する判断結果の提供方法が実行される環境を概略的に示す図である。
【0029】
図1を参照すると、本発明の一実施形態による人工ニューラルネットワークの学習方法は、ニューラルネットワーク学習システム100によって行うことができ、本発明の一実施形態による病理検体に対する判断結果の提供方法は、病理検体に対する判断結果提供システム(200;以下、「判断結果提供システム」という)によって行うことができる。ニューラルネットワーク学習システム100は、病理検体に対する診断情報、予後情報及び/又は治療方法に対する反応情報を提供するための人工ニューラルネットワーク300を学習することができ、判断結果提供システム200は、学習された人工ニューラルネットワーク300を用いて対象検体に対する各種の判断(例えば、疾患の発現有無、予後、治療方法に対する判断など)を行うことができる。
【0030】
ニューラルネットワーク学習システム100及び/又は判断結果提供システム200は、本発明の技術的思想を実現するための演算能力を有するデータ処理装置であるコンピューティングシステムであってもよく、一般にネットワークを介してクライアントが接続可能なデータ処理装置であるサーバだけでなく、パーソナルコンピュータや携帯端末などのようなコンピュータ装置を含んでもよい。
【0031】
ニューラルネットワーク学習システム100及び/又は判断結果提供システム200は、1つの物理装置で実現することもできるが、必要に応じて複数の物理装置が有機的に結合して本発明の技術的思想によるニューラルネットワーク学習システム100及び/又は判断結果提供システム200を実現できることを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。
【0032】
ニューラルネットワーク学習システム100は、複数の病理検体から生成された学習データに基づいてニューラルネットワーク300を学習することができる。
【0033】
病理検体は、人体の様々な臓器から採取した生検、及び手術によって切除した生体組織であってもよい。ニューラルネットワーク学習システム100は、病理検体の連続したセクションのデジタル病理スライド画像を用いて個別学習データを生成し、これをニューラルネットワーク300の入力層に入力することによって、ニューラルネットワーク300を学習することができる。
【0034】
一実施形態において、ニューラルネットワーク300は、所定の疾患に対して、疾患の発現有無に対する確率値を出力するように学習された人工ニューラルネットワークであってもよい。ニューラルネットワーク300は、入力層を介して入力されたデータに基づいて、対象検体に対する判断結果(例えば、疾患の発現有無の可能性)を示す数値、すなわち確率値を出力することができる。
【0035】
本明細書における人工ニューラルネットワークは、人間のニューロンの動作原理に基づいて人工的に構築したニューラルネットワークであり、多層パーセプトロンモデルを含み、人工ニューラルネットワークを定義する一連の設計事項を表す情報の集合を意味することができる。
【0036】
一実施形態において、人工ニューラルネットワークは、畳み込みニューラルネットワークであるか、又は畳み込みニューラルネットワークを含んでもよい。
【0037】
一方、学習したニューラルネットワーク300は、判断結果提供システム200に格納でき、判断結果提供システム200は、学習した人工ニューラルネットワークを用いて所定の診断対象検体に対する判断をすることができる。
【0038】
図1に示すように、ニューラルネットワーク学習システム100及び/又は判断結果提供システム200は、所定の親システム10のサブシステムの形態で実現することもできる。親システム10はサーバであってもよい。サーバ10は、本発明の技術的思想を実現するための演算能力を有するデータ処理装置を意味し、一般にネットワークを介してクライアントが接続可能なデータ処理装置だけでなく、パーソナルコンピュータ、携帯端末などのように特定のサービスを実行可能ないかなる装置もサーバとして定義できることを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。
【0039】
あるいは、実施形態によって、ニューラルネットワーク学習システム100及び判断結果提供システム200は、互いに分離した形態で実現することもできる。
【0040】
図2は、本発明の一実施形態によるニューラルネットワークの学習方法を説明するためのフローチャートである。
【0041】
図2を参照すると、ニューラルネットワーク学習システム100は、M個の個別学習データ(ここで、Mは、2以上の自然数である)を含む学習データセットを生成することができる。このために、ニューラルネットワーク学習システム100は、1<=m<=Mの全てのmに対して、学習データセットに含まれる第mの学習データを生成することができる(S100)。
【0042】
学習データセットに含まれる第mの学習データを生成するために、ニューラルネットワーク学習システム100は、第1の病理スライド画像ないし第Nの病理スライド画像(ここで、Nは、2以上の自然数である)を取得することができる(S110)。
【0043】
このとき、第1の病理スライド画像ないし第Nの病理スライド画像は、単一の病理検体に対する連続したセクションを互いに異なる染色試薬で染色した病理スライド画像であってもよい。
【0044】
病理検体の各セクションは、デジタルスライド画像を製作するために病理検体をスライスした一部であってもよく、病理検体を連続してスライスして複数のガラススライドを製作した後、これらをそれぞれ異なる染色試薬で染色してデジタル化することで、第1の病理スライド画像ないし第Nの病理スライド画像を生成することができる。このとき、染色試薬は、H&E(Hematoxylin and Eosin)染色のための試薬、又は特定の標的をIHC(immunohistochemistry)染色するための試薬であってもよい。
【0045】
例えば、1つの病理検体を連続してスライスし、スライスされた各セクションを順にH&E染色試薬、第1のIHC染色試薬、第2のIHC染色試薬などで染色してガラススライドを製作した後、これをデジタル画像化して該当の病理検体に対応する複数の病理スライド画像を生成することができる。
【0046】
実施形態によって、ニューラルネットワーク学習システム100は、外部の端末から所定の病理検体に対応する第1の病理スライド画像ないし第Nの病理スライド画像を受信することができ、病理検体に対応する第1の病理スライド画像ないし第Nの病理スライド画像を予め格納しているメモリ装置より、第1の病理スライド画像ないし第Nの病理スライド画像を取得することもできる。
【0047】
一方、ニューラルネットワーク学習システム100は、第1の病理スライド画像ないし第Nの病理スライド画像に基づいて第mの学習データを生成することができる(S120)。
【0048】
一実施形態において、ニューラルネットワーク学習システム100は、チャネル重畳方式によって第mの学習データを生成することができる。すなわち、ニューラルネットワーク学習システム100は、第1の病理スライド画像ないし第Nの病理スライド画像をチャネル重畳によって1つの多チャネル画像に変換することができ、第mの学習データは、多チャネル画像を含んでもよい。
【0049】
図3は、チャネル重畳によってRGB色モデルで表される複数の病理スライド画像により生成される1つの多チャネル画像を示す図である。
図3は、単一の病理検体から抽出された4個の連続したセクションのスライド画像を多チャネル画像に変換する場合を示す。
【0050】
図3を参照すると、多チャネル画像20は、スライド画像の数4と、各スライド画像を構成するチャネルの数3の積である12個のチャネルから構成されてもよい。
【0051】
第1チャネル21-1は、第1のスライド画像の各画素のRチャネル値から構成されてもよく、第2チャネル21-2は、第1のスライド画像の各画素のGチャネル値から構成されてもよく、第3チャネル21-3は、第1のスライド画像の各画素のBチャネル値から構成されてもよく、第4チャネル22-1は、第2のスライド画像の各画素のRチャネル値から構成されてもよく、第5チャネル22-2は、第2のスライド画像の各画素のGチャネル値から構成されてもよく、第6チャネル22-3は、第2のスライド画像の各画素のBチャネル値から構成されてもよく、第7チャネル23-1は、第3のスライド画像の各画素のRチャネル値から構成されてもよく、第8チャネル23-2は、第3のスライド画像の各画素のGチャネル値から構成されてもよく、第9チャネル23-3は、第1のスライド画像の各画素のBチャネル値から構成されてもよく、第10チャネル24-1は、第4のスライド画像の各画素のRチャネル値から構成されてもよく、第11チャネル24-2は、第4のスライド画像の各画素のGチャネル値から構成されてもよく、第12チャネル24-3は、第4のスライド画像の各画素のBチャネル値から構成されてもよい。
【0052】
一方、単一の病理検体から抽出された各病理スライド画像は、該当のスライド画像を製作する過程で位置や方向が少しずつずれることがある。この場合、各病理スライド画像のチャネル重畳を行う前に、各病理スライド画像を整合する過程が実行されるべきであり、この場合のフローチャートが
図4に示されている。
【0053】
図4を参照すると、ニューラルネットワーク学習システム100は、第1の病理スライド画像ないし第Nの病理スライド画像内に存在する生体組織領域を特定することができる(S121)。
【0054】
ニューラルネットワーク学習システム100が画像から生体組織領域を特定する方法は様々であり得る。一実施形態において、ニューラルネットワーク学習システム100は、スライド画像に生体組織領域に対する情報が予めアノテーションされている場合、該当の情報を用いて生体組織領域を特定することができる。又は、ニューラルネットワーク学習システム100は、予め学習された生体組織領域判断用ニューラルネットワークを用いて生体組織領域を特定することもできる。又は、公知の様々な方法により生体組織領域を特定することができる。
【0055】
一方、ニューラルネットワーク学習システム100は、第1の病理スライドないし第Nの病理スライド画像の各々に存在する生体組織領域間の位置及び形態が一致するように、第1の病理スライドないし第Nの病理スライド画像を整合することができる(S122)。一実施形態において、ニューラルネットワーク学習システム100は、2<=j<=Nの全ての自然数jに対して、第(j-1)の病理スライド画像内の生体組織領域と、第jの病理スライド画像内の生体組織領域との間の位置及び形態が一致するように、第(j-1)の病理スライド画像と第jの病理スライド画像とを整合する過程を繰り返して行うことができる。
【0056】
画像マッチングは、コンピュータビジョン分野で活用される技法であり、互いに異なる画像を変形して1つの座標系に示す処理技法を意味する。2つの画像を整合する方法としては、その画像に含まれた組織領域の輪郭ができるだけ類似するように変換する方法、又は組織領域内の特徴点ができるだけ一致するように変換する方法などがあり、具体的に、SIFT(Scale-Invariant Feature Transform)やSSD(Sum of Squared Difference)、SAD(Sum of Absolute Difference)、NCC(Normalized Cross Correlation)などにより測定される2つの画像間の類似度に基づく整合アルゴリズムを用いることができる。
【0057】
一方、第1の病理スライド画像ないし整合された第Nの病理スライド画像を整合する過程において、整合される各病理スライド間の変換関係を算出することができる。すなわち、ニューラルネットワーク学習システム100は、1<=i<=Nの全ての自然数iに対して、第iの病理スライド画像に対応する変換関係を算出することができる。ここで、第iの病理スライド画像に対応する変換関係は、第iの病理スライド画像と、それに対応する整合された第iの病理スライド画像との間の変換関係である。
【0058】
次いで、
図4を参照すると、ニューラルネットワーク学習システム100は、整合された第1の病理スライド画像ないし整合された第Nの病理スライド画像をチャネル重畳によって1つの多チャネル画像に変換することができ(S123)、これは、
図3を参照して上述したものと同様であるので、詳しい説明は省略する。
【0059】
一実施形態において、各病理スライド画像には、病変領域が予めアノテーションされていてもよく、このような場合、予めアノテーションされた病変アノテーション領域が学習データにさらに含まれてもよい。
【0060】
これに対して、より詳しく説明すると、ニューラルネットワーク学習システム100は、1<=j<=Nの全ての自然数jに対して、第jの病理スライド画像に付与された病変アノテーション領域を、第jの病理スライド画像に対応する変換関係を用いて変形し、変形された第1の病理スライド画像の病変アノテーション領域ないし変形された第Nの病理スライド画像の病変アノテーション領域をチャネル重畳によって1つの多チャネル病変アノテーション領域に変換することができ、第mの学習データは、多チャネル病変アノテーション領域をさらに含んでもよい。
【0061】
一方、第mの学習データに対応する病理検体に対する診断情報、予後情報、及び/又は特定の治療方法に対する反応情報が存在する場合、ニューラルネットワーク学習システム100は、これを第mの学習データのラベルに設定することができる。
【0062】
上記のような方法により、M個の個別学習データを含む学習データセットが生成されると、ニューラルネットワーク学習システム100は、生成された学習データセットをニューラルネットワーク300の入力層に入力してニューラルネットワーク300を学習することができる(
図2のS130)。
【0063】
このような本発明の技術的思想によるニューラルネットワークの学習方法は、マルチプレックスIHCのような高コストの一般化されていない方法に代わって、広く用いられている方法を活用して生成した複数枚の病理スライド画像を重畳して活用できるようにすることで、マルチプレックスIHCと類似の効果を得ることができ、また、マルチプレックスIHCの結果をカラーフィルタリングを通じて標的毎に位置情報を分離する過程で発生し得る誤りの可能性を遮断することで、腫瘍微小環境分析の精度を高めることができるという効果がある。
【0064】
図5は、本発明の一実施形態による病理検体に対する判断結果の提供方法の一例を示すフローチャートである。
図5による病理検体に対する判断結果の提供方法は、判断結果提供システム200によって行うことができ、判断結果提供システム200は、ニューラルネットワーク学習システム100によって学習された人工ニューラルネットワーク300を格納することができる。
【0065】
図5を参照すると、判断結果提供システム200は、所定の判断対象病理検体の第1の判断対象病理スライド画像ないし第Nの判断対象病理スライド画像を取得することができる(S210)。このとき、第1の判断対象病理スライド画像ないし第Nの判断対象病理スライド画像は、判断対象病理検体に対する連続したセクションを互いに異なる染色試薬で染色した病理スライド画像である。
【0066】
判断結果提供システム200は、判断対象検体の第1の病理スライド画像ないし第Nの病理スライド画像に基づいて入力データを生成することができる(S220)。判断対象検体の第1の病理スライド画像ないし第Nの病理スライド画像に対応する入力データを生成する過程は、
図3及び
図4を参照して説明した過程と非常に類似するので、別途の説明は省略する。
【0067】
判断結果提供システム200は、人工ニューラルネットワーク300に入力データを入力し、人工ニューラルネットワークが出力した結果に基づいて判断対象病理検体に対する判断結果を出力することができる(S230)。
【0068】
図6は、本発明の一実施形態による人工ニューラルネットワーク学習システム100の概略的な構成を示す図であり、
図7は、本発明の一実施形態による判断結果提供システム200の概略的な構成を示す図である。
【0069】
人工ニューラルネットワーク学習システム100及び判断結果提供システム200は、本発明の技術的思想を実現するために必要なハードウェアリソース(resource)及び/又はソフトウェアを備える論理的な構成を意味することができ、必ずしも1つの物理的な構成要素又は1つの装置を意味するわけではない。すなわち、人工ニューラルネットワーク学習システム100及び判断結果提供システム200は、本発明の技術的思想を実現するために備えられるハードウェア及び/又はソフトウェアの論理的な結合を意味することができ、必要に応じて互いに離隔した装置に設置され、それぞれの機能を行うことで本発明の技術的思想を実現するための論理的な構成の集合として実現することもできる。また、人工ニューラルネットワーク学習システム100及び判断結果提供システム200は、本発明の技術的思想を実現するためのそれぞれの機能又は役目毎に別に実現される構成の集合を意味することもできる。人工ニューラルネットワーク学習システム100及び判断結果提供システム200の各構成は、互いに異なる物理装置に位置することもでき、同じ物理装置に位置することもできる。また、実施形態によっては、人工ニューラルネットワーク学習システム100及び判断結果提供システム200の各構成要素を構成するソフトウェア及び/又はハードウェアの組み合わせも互いに異なる物理装置に位置し、互いに異なる物理装置に位置した構成が互いに有機的に結合してそれぞれのモジュールを実現することもできる。
【0070】
また、本明細書においてモジュールとは、本発明の技術的思想を行うためのハードウェア、及びハードウェアを駆動するためのソフトウェアの機能的、構造的結合を意味することができる。例えば、モジュールは、所定のコードと、所定のコードが実行されるためのハードウェアリソースの論理的な単位を意味することができ、必ずしも物理的に接続されたコード又は一種類のハードウェアを意味するわけではないことは、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。
【0071】
図6を参照すると、人工ニューラルネットワーク学習システム100は、記憶モジュール110、取得モジュール120、生成モジュール130、及び学習モジュール140を含んでもよい。本発明の実施形態によっては、上述の構成要素のうちで一部の構成要素は必ずしも本発明の実現に必須な構成要素に該当しないこともあり、また、実施形態によって、人工ニューラルネットワーク学習システム100は、これより多くの構成要素を含むこともできることは言うまでもない。例えば、人工ニューラルネットワーク学習システム100は、外部装置と通信するための通信モジュール(図示せず)、人工ニューラルネットワーク学習システム100の構成要素及びリソースを制御するための制御モジュール(図示せず)をさらに含んでもよい。
【0072】
記憶モジュール110は、学習される人工ニューラルネットワーク40を格納することができる。
【0073】
取得モジュール120は、それぞれの単一の病理検体に対する連続したセクションを互いに異なる染色試薬で染色した第1の病理スライド画像ないし第Nの病理スライド画像を取得することができる。
【0074】
生成モジュール130は、第1の病理スライド画像ないし第Nの病理スライド画像に基づいて個別学習データを生成することができ、複数の個別学習データを含む学習データセットを構成することができる。
【0075】
学習モジュール140は、学習データセットに基づいて人工ニューラルネットワーク300を学習することができる。
【0076】
図7を参照すると、判断結果提供システム200は、記憶モジュール210、取得モジュール220、生成モジュール230、及び判断モジュール240を含むことができる。本発明の実施形態によって、上述の構成要素のうちで一部の構成要素は必ずしも本発明の実現に必須な構成要素に該当しなくてもよく、また、実施形態によって、判断結果提供システム200は、これより多くの構成要素を含むこともできることは言うまでもない。例えば、判断結果提供システム200は、3軸振動センサー20と通信するための通信モジュール(図示せず)、判断結果提供システム200の構成要素及びリソースを制御するための制御モジュール(図示せず)をさらに含むことができる。
【0077】
記憶モジュール210は、学習された人工ニューラルネットワーク40を格納することができる。
【0078】
取得モジュール220は、所定の判断対象病理検体の連続したセクションを互いに異なる染色試薬で染色した第1の判断対象病理スライド画像ないし第Nの判断対象病理スライド画像を取得することができる。
【0079】
生成モジュール230は、第1の判断対象病理スライド画像ないし第Nの判断対象病理スライド画像に基づいて入力データを生成することができる。
【0080】
判断モジュール240は、入力データを人工ニューラルネットワークに入力し、人工ニューラルネットワーク40から出力される予測値に基づいて判断対象検体に対する判断を行うことができる。
【0081】
一方、実施形態の一例によって、人工ニューラルネットワーク学習システム100及び判断結果提供システム200は、プロセッサと、プロセッサによって実行されるプログラムを格納するメモリと、を含むことができる。プロセッサは、シングルコアCPU又はマルチコアCPUを含むことができる。メモリは、高速ランダムアクセスメモリを含むことができ、1つ以上の磁気ディスク記憶装置、フラッシュメモリ装置、又はその他不揮発性固体メモリ装置のような不揮発性メモリを含むこともできる。プロセッサ及びその他構成要素によるメモリへのアクセスは、メモリコントローラによって制御することができる。
【0082】
一方、本発明の実施形態による方法は、コンピュータで読み取り可能なプログラム命令形態で実現され、コンピュータで読み取り可能な記録媒体に格納でき、本発明の実施形態による制御プログラム及び対象プログラムもコンピュータで読み取り可能な記録媒体に格納することができる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取ることができるデータが記憶されるあらゆる種類の記録装置を含む。
【0083】
記録媒体に記録されるプログラム命令は、本発明のために特に設計及び構成されたものなどであってもよく、ソフトウェア分野における当業者に公知として使用可能なものであってもよい。
【0084】
コンピュータで読み取り可能な記録媒体の例としては、ハードディスク、プロッピィーディスク及び磁気テープのような磁気媒体(magnetic media)、CD-ROM、DVDのような光記録媒体(optical media)、光学ディスク(floptical disk)のような磁気-光媒体(magneto-optical media)、及びROM、RAM、フラッシュメモリなどのようなプログラム命令を記憶および実行するように特に構成されたハードウェア装置が含まれる。また、コンピュータで読み取り可能な記録媒体は、ネットワークで接続されたコンピュータシステムに分散され、分散方式でコンピュータが読み取り可能なコードを記憶及び実行することができる。
【0085】
プログラム命令の例としては、コンパイラによって作成されるような機械語コードだけでなく、インタプリタなどを用いて電子的に情報を処理する装置、例えば、コンピュータによって実行することができる高級言語コードも含まれる。
【0086】
上述のハードウェア装置は、本発明の動作を行うために、1つ以上のソフトウェアモジュールとして作動するように構成することができ、その逆も同様である。
【0087】
上述した本発明の説明は例示のためのものであり、本発明が属する技術分野における通常の知識を有する者であれば本発明の技術的思想や必須な特徴を変更することなく、他の具体的な形態に容易に変形が可能であることを理解することができるであろう。従って、上記で説明した実施形態は全ての点で例示的なものであり、限定的なものではないと理解すべきである。例えば、単一の形態で説明されている各構成要素は分散して実施することができ、同様に分散されたと記載されている構成要素も組み合わせた形で実施することができる。
【0088】
本発明の範囲は、上述の詳細な説明よりは後述する特許請求の範囲によって示され、特許請求の範囲の意味及び範囲そしてその均等概念から導出される全ての変更又は変形された形態が本発明の範囲に含まれるものと解釈されるべきである。
【産業上の利用可能性】
【0089】
本発明は、病理検体に対する判断結果を提供する人工ニューラルネットワークの学習方法、及びこれを行うコンピューティングシステムに用いることができる。