特許 7593692 ＴＵＲＰの病理画像から前立腺癌を検出するための人工ニューラルネットワークを学習する方法、及びこれを行うコンピューティングシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-25

(45)【発行日】2024-12-03

(54)【発明の名称】ＴＵＲＰの病理画像から前立腺癌を検出するための人工ニューラルネットワークを学習する方法、及びこれを行うコンピューティングシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241126BHJP

   G01N 33/483 20060101ALI20241126BHJP

   G01N 33/48 20060101ALI20241126BHJP

【ＦＩ】

G06T7/00 612

G01N33/483 C

G01N33/48 M

G01N33/48 Z

【請求項の数】 6

(21)【出願番号】P 2023551750

(86)(22)【出願日】2022-03-07

(65)【公表番号】

(43)【公表日】2024-02-29

(86)【国際出願番号】 KR2022003178

(87)【国際公開番号】W WO2022191539

(87)【国際公開日】2022-09-15

【審査請求日】2023-09-29

(31)【優先権主張番号】10-2021-0029876

(32)【優先日】2021-03-08

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】519208133

【氏名又は名称】ディープ バイオ インク

(74)【代理人】

【識別番号】100120008

【弁理士】

【氏名又は名称】山田 くみ子

(72)【発明者】

【氏名】チョ ジュニョン

(72)【発明者】

【氏名】チャン ヘヨン

(72)【発明者】

【氏名】カク テヨン

(72)【発明者】

【氏名】キム ソンウ

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０１９－１４８４７３（ＪＰ，Ａ）

【文献】特開２０２０－１０１８６０（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０１９－０１４３５１０（ＫＲ，Ａ）

【文献】米国特許第０６００４２６７（ＵＳ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０１Ｎ ３３／４８３

Ｇ０１Ｎ ３３／４８

(57)【特許請求の範囲】

【請求項1】

ニューラルネットワーク学習システムが、複数の一次学習用病理画像を取得するステップであって、前記複数の一次学習用病理画像のそれぞれは、前立腺針生検により採取された病理検体のスライドをスキャンした画像である前立腺針生検の病理画像、又は前立腺切除術により採取された病理検体のスライドをスキャンした画像である前立腺切除術の病理画像のうちのいずれか一方であることと、
前記ニューラルネットワーク学習システムが、前記複数の一次学習用病理画像を用いて、前立腺癌判定用人工ニューラルネットワークを一次学習するステップであって、前記前立腺癌判定用人工ニューラルネットワークは、病理画像から前立腺癌を検出するための人工ニューラルネットワークであることと、
前記ニューラルネットワーク学習システムが、ＴＵＲＰにより採取された病理検体のスライドをスキャンした画像である複数のＴＵＲＰの病理画像を取得するステップと、
前記ニューラルネットワーク学習システムが、前記複数のＴＵＲＰの病理画像を用いて、一次学習された前記人工ニューラルネットワークを二次学習するステップと、
を含み、
前記複数のＴＵＲＰの病理画像のそれぞれは、
非前立腺組織領域又は焼灼された前立腺組織領域の少なくとも一方を必ず含み、前立腺癌の病変領域は全く含んでいないことを特徴とする、ＴＵＲＰの病理画像から前立腺癌を検出するための人工ニューラルネットワークを学習する方法。

【請求項2】

請求項１に記載の人工ニューラルネットワークを学習する方法によって学習された人工ニューラルネットワークを介して、所定の判定対象ＴＵＲＰの病理画像に対する判定結果を提供する方法であって、
コンピューティングシステムが、前記判定対象ＴＵＲＰの病理画像を取得するステップと、
前記コンピューティングシステムが、前記人工ニューラルネットワークが前記判定対象ＴＵＲＰの病理画像に基づいて判定した前立腺癌検出結果を出力するステップと、
を含む、方法。

【請求項3】

データ処理装置に設置され、請求項１又は請求項２のいずれか一項に記載の方法を行うための媒体に記録されたコンピュータプログラム。

【請求項4】

請求項１又は請求項２のいずれか一項に記載の方法を行うためのコンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体。

【請求項5】

ニューラルネットワーク学習システムであって、
プロセッサと、コンピュータプログラムを記憶するメモリと、を含み、
前記コンピュータプログラムは、前記プロセッサによって実行される場合、前記ニューラルネットワーク学習システムが人工ニューラルネットワークを学習する方法を行うようにし、
前記人工ニューラルネットワーク学習方法は、
複数の一次学習用病理画像を取得するステップであって、前記複数の一次学習用病理画像のそれぞれは、前立腺針生検により採取された病理検体のスライドをスキャンした画像である前立腺針生検の病理画像、又は前立腺切除術により採取された病理検体のスライドをスキャンした画像である前立腺切除術の病理画像のいずれか一方であることと、
前記複数の一次学習用病理画像を用いて、前立腺癌判定用人工ニューラルネットワークを一次学習するステップであって、前記前立腺癌判定用人工ニューラルネットワークは、病理画像から前立腺癌を検出するための人工ニューラルネットワークであることと、
前記ニューラルネットワーク学習システムが、ＴＵＲＰにより採取された病理検体のスライドをスキャンした画像である複数のＴＵＲＰの病理画像を取得するステップと、
前記複数のＴＵＲＰの病理画像を用いて、一次学習された前記人工ニューラルネットワークを二次学習するステップと、
を含み、
前記複数のＴＵＲＰの病理画像のそれぞれは、
非前立腺組織領域又は焼灼された前立腺組織領域の少なくとも一方を必ず含み、前立腺癌の病変領域は全く含んでいないことを特徴とする、ニューラルネットワーク学習システム。

【請求項6】

所定の判定対象ＴＵＲＰの病理画像に対する判定結果を提供するコンピューティングシステムであって、
プロセッサと、
コンピュータプログラムを記憶するメモリと、
を含み、
前記コンピュータプログラムは、前記プロセッサによって実行される場合、前記コンピューティングシステムが、請求項１に記載の人工ニューラルネットワーク学習方法によって学習された人工ニューラルネットワークを介して、前記判定対象ＴＵＲＰの病理画像に対する判定結果を提供する方法を行うようにし、
前記判定結果を提供する方法は、
前記判定対象ＴＵＲＰの病理画像を取得するステップと、
前記人工ニューラルネットワークが前記判定対象ＴＵＲＰの病理画像に基づいて判定した前立腺癌検出結果を出力するステップと、
を含む、コンピューティングシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＴＵＲＰの病理画像から前立腺癌を検出するための人工ニューラルネットワークを学習する（ｔｒａｉｎｉｎｇ）方法、及びこれを行うコンピューティングシステムに関する。より詳しくは、ＴＵＲＰの病理画像に特徴的に現れる組織形態を考慮して、ＴＵＲＰの病理画像内の前立腺癌病変を効果的に検出できる人工ニューラルネットワークを学習する方法、及びこれを行うコンピューティングシステムに関する。

【背景技術】

【0002】

病理学又は病理科で行う主なタスクの１つは、患者の生体組織のスライド画像を読み取り、特定疾患に対する状態又は徴候を判定する診断を行うことである。従来の病理診断方法は、検体から製作された診断用病理スライド画像を光学顕微鏡を介して病理専門医が目視で観察及び読取する方式でなされていた。コンピュータに接続された顕微鏡カメラを活用して病理スライドをデジタル画像に変換した後、モニターで観察して読み取る方式がデジタル病理学の始まりといえる。最近、デジタルスライドスキャナが登場し、病理スライド全体を１つのデジタル画像に変換して病理スライド画像で製作した後、これをコンピュータモニターを介して観察して読み取る方式が広く普及されている。

【0003】

最近、機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）の発達により、画像を認識又は分類するなどのタスクをコンピューティングシステムによって自動化しようとする試みが盛んに行われている。特に、機械学習の一種であるニューラルネットワーク（例えば、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＣＮＮ）を用いたディープラーニング方式）を用いて、熟練した医療関係者が行っていた診断を自動化するための試みがなされている。特に、ニューラルネットワーク（例えば、ＣＮＮ）を用いたディープラーニングによる診断は、従来の熟練した医療関係者の経験と知識を単に自動化するのではなく、自ら学習を通じて特徴的な要素を見つけて所望の解答を導き出すという点において、むしろ熟練した医療関係者が知らない疾患因子の特徴を画像から見つける場合もある。

【0004】

一般に、生体画像を用いるニューラルネットワークを介した疾患の診断は、生体画像（例えば、生体組織のスライド画像）の断片、すなわちパッチ（ｐａｔｃｈ；タイル（ｔｉｌｅ）ともいう）を用いる。すなわち、該当パッチに対して熟練した医療関係者は、特定疾患の状態（例えば、癌の発現有無）をアノテーション（ａｎｎｏｔａｔｉｏｎ）し、このようなアノテーションされた複数のパッチをトレーニングデータとして用いてニューラルネットワークを学習することになる。このとき、ニューラルネットワークとして畳み込みニューラルネットワークを用いることができる。

【0005】

一方、前立腺肥大症などの良性疾患の治療のために経尿道的前立腺切除術（ｔｒａｎｓｕｒｅｔｈｒａｌ ｒｅｓｅｃｔｉｏｎ ｏｆ ｐｒｏｓｔａｔｅ；ＴＵＲＰ）を施術する場合が多く、ＴＵＲＰの施術時に採取された検体に対して前立腺癌の有無を病理的に判別することが必要である。

【0006】

ＴＵＲＰの病理画像から前立腺癌を検出する機械学習モデルを訓練するために、前立腺癌の病変領域がアノテーションされたＴＵＲＰの病理画像データのみを用いることは非常に困難であり、その理由は以下の通りである。

【0007】

第一に、ＴＵＲＰの病理画像の規模が非常に大きい。患者毎に平均Ｎ個（Ｎは２以上の整数）の２ｃｍ×３ｃｍガラススライドが製作され、これを４００倍率にスキャンしてデジタル画像にすることで、Ｎ×８０，０００×１２０，０００画素サイズの画像が製作される。第二に、ＴＵＲＰの病理画像内の前立腺癌の病変領域のサイズは非常に小さい。ＴＵＲＰ施術患者で前立腺癌が発見される割合は２０％未満であり、前立腺癌が発見された場合でも、病理画像１つの局所領域でのみ発見される場合がほとんどである。すなわち、学習データのサイズと容量は非常に膨大である一方、全体組織に対する前立腺癌で標識される領域の割合が非常に小さいため、ＴＵＲＰの病理画像データだけで感度が十分に高い機械学習モデルを訓練するためには、非常に多くのデータが必要であるという問題が発生する可能性がある。

【0008】

また、ＴＵＲＰの病理画像から前立腺癌を検出する機械学習モデルを訓練するために、前立腺癌の病変領域がアノテーションされた前立腺針生検（ｐｒｏｓｔａｔｅ ｎｅｅｄｌｅ ｂｉｏｐｓｙ）又は前立腺切除術（ｒａｄｉｃａｌ ｐｒｏｓｔａｔｅｃｔｏｍｙ）により採取された検体病理画像データを用いることは、以下のような理由で問題があり得る。ＴＵＲＰの特性上、前立腺ではなく組織（膀胱、尿路上皮など）又は焼灼された（ｃａｕｔｅｒｉｚｅｄ）前立腺組織が存在し、これは前立腺針生検又は切除術の検体では現れなくなる。よって、前立腺針生検（ｐｒｏｓｔａｔｅ ｎｅｅｄｌｅ ｂｉｏｐｓｙ）又は前立腺切除術（ｒａｄｉｃａｌ ｐｒｏｓｔａｔｅｃｔｏｍｙ）により採取された検体病理画像データを用いてＴＵＲＰの病理画像から前立腺癌を検出する機械学習モデルを訓練する場合、前立腺ではなく組織（膀胱、尿路上皮など）又は焼灼された（ｃａｕｔｅｒｉｚｅｄ）前立腺組織を癌と誤診するという問題が発生し得る。

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明が達成しようとする技術的な課題は、上記の問題を解決し、ＴＵＲＰの病理画像において前立腺癌を高性能で検出できる機械学習モデルを訓練する方法を提供することである。より詳しくは、ＴＵＲＰの病理画像に特徴的に現れる組織形態を考慮して、ＴＵＲＰの病理画像内の前立腺癌病変を効果的に検出できる機械学習モデルを訓練する効率的な方法を提供することである。

【課題を解決するための手段】

【0010】

本発明の一態様によると、ニューラルネットワーク学習システムが、複数の一次学習用病理画像を取得するステップ（ここで、前記複数の一次学習用病理画像のそれぞれは、前立腺針生検（ｐｒｏｓｔａｔｅ ｎｅｅｄｌｅ ｂｉｏｐｓｙ）により採取された病理検体のスライドをスキャンした画像である前立腺針生検の病理画像、又は前立腺切除術（ｒａｄｉｃａｌ ｐｒｏｓｔａｔｅｃｔｏｍｙ）により採取された病理検体のスライドをスキャンした画像である前立腺切除術の病理画像のいずれか一方である）と、前記ニューラルネットワーク学習システムが、前記複数の一次学習用病理画像を用いて、前立腺癌判定用人工ニューラルネットワークを一次学習するステップ（前記前立腺癌判定用人工ニューラルネットワークは、病理画像から前立腺癌を検出するための人工ニューラルネットワークである）と、前記ニューラルネットワーク学習システムが、経尿道的前立腺切除術（ｔｒａｎｓｕｒｅｔｈｒａｌ ｒｅｓｅｃｔｉｏｎ ｏｆ ｐｒｏｓｔａｔｅ；ＴＵＲＰ）により採取された病理検体のスライドをスキャンした画像である複数のＴＵＲＰの病理画像を取得するステップと、前記ニューラルネットワーク学習システムが、前記複数のＴＵＲＰの病理画像を用いて、一次学習された前記人工ニューラルネットワークを二次学習するステップと、を含み、前記複数のＴＵＲＰの病理画像のそれぞれは、非前立腺組織領域又は焼灼された（ｃａｕｔｅｒｉｚｅｄ）前立腺組織領域の少なくとも一方を必ず含み、前立腺癌の病変領域は全く含んでいないことを特徴とする、ＴＵＲＰの病理画像から前立腺癌を検出するための人工ニューラルネットワークを学習する方法が提供される。

【0011】

一実施形態において、前記人工ニューラルネットワークは、Ｕ－Ｎｅｔ、ＤｅｅｐＬａｂｖ３＋、Ｍａｓｋ Ｒ－ＣＮＮ、ＤｅｎｓｅＮｅｔのいずれかであることを特徴とすることができる。

【0012】

本発明の他の態様によると、前記人工ニューラルネットワークを学習する方法によって学習された人工ニューラルネットワークを介して、所定の判定対象ＴＵＲＰの病理画像に対する判定結果を提供する方法であって、コンピューティングシステムが、前記判定対象ＴＵＲＰの病理画像を取得するステップと、前記コンピューティングシステムが、前記人工ニューラルネットワークが前記判定対象ＴＵＲＰの病理画像に基づいて判定した前立腺癌検出結果を出力するステップと、を含む方法が提供される。

【0013】

本発明の他の態様によると、データ処理装置に設置され、上述の方法を行うための媒体に記録されたコンピュータプログラムが提供される。

【0014】

本発明の他の態様によると、上述の方法を行うためのコンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体が提供される。

【0015】

本発明の他の態様によると、ニューラルネットワーク学習システムであって、プロセッサ、及びコンピュータプログラムを記憶するメモリを含み、前記コンピュータプログラムは、前記プロセッサによって実行される場合、前記ニューラルネットワーク学習システムが、上述した人工ニューラルネットワークを学習する方法を行うようにするニューラルネットワーク学習システムが提供される。

【0016】

本発明の他の態様によると、所定の判定対象ＴＵＲＰの病理画像に対する判定結果を提供するコンピューティングシステムであって、プロセッサ、及びコンピュータプログラムを記憶するメモリを含み、前記コンピュータプログラムは、前記プロセッサによって実行される場合、前記コンピューティングシステムが、上述した人工ニューラルネットワーク学習方法によって学習された人工ニューラルネットワークを介して、前記判定対象ＴＵＲＰの病理画像に対する判定結果を提供する方法を行うようにするコンピューティングシステムが提供される。

【0017】

本発明の他の態様によると、ニューラルネットワーク学習システムが、前立腺針生検（ｐｒｏｓｔａｔｅ ｎｅｅｄｌｅ ｂｉｏｐｓｙ）により採取された病理検体のスライドをスキャンした画像である複数の前立腺針生検の病理画像を取得するステップと、前記ニューラルネットワーク学習システムが、前立腺切除術（ｒａｄｉｃａｌ ｐｒｏｓｔａｔｅｃｔｏｍｙ）により採取された病理検体のスライドをスキャンした画像である複数の前立腺切除術の病理画像を取得するステップと、前記ニューラルネットワーク学習システムが、前記複数の前立腺針生検の病理画像及び前記複数の前立腺切除術の病理画像を用いて、前立腺癌判定用人工ニューラルネットワークを一次学習するステップ（前記前立腺癌判定用人工ニューラルネットワークは、病理画像から前立腺癌を検出するための人工ニューラルネットワークである）と、前記ニューラルネットワーク学習システムが、経尿道的前立腺切除術（ｔｒａｎｓｕｒｅｔｈｒａｌ ｒｅｓｅｃｔｉｏｎ ｏｆ ｐｒｏｓｔａｔｅ；ＴＵＲＰ）により採取された病理検体のスライドをスキャンした画像である複数のＴＵＲＰの病理画像を取得するステップと、前記ニューラルネットワーク学習システムが、前記複数のＴＵＲＰの病理画像を用いて、一次学習された前記人工ニューラルネットワークを二次学習するステップと、を含み、前記複数のＴＵＲＰの病理画像は、非前立腺組織領域又は焼灼された（ｃａｕｔｅｒｉｚｅｄ）前立腺組織領域の少なくとも一方を必ず含み、前立腺癌の病変領域は全く含んでいないことを特徴とする、ＴＵＲＰの病理画像から前立腺癌を検出するための人工ニューラルネットワークを学習する方法が提供される。

【発明の効果】

【0018】

本発明の技術的思想によると、ＴＵＲＰの病理画像に特徴的に現れる組織形態を考慮して、ＴＵＲＰの病理画像内の前立腺癌病変を効果的に検出できる機械学習モデルを訓練する効率的な方法及びシステムを提供することができる。

【図面の簡単な説明】

【0019】

本発明の詳細な説明で引用される図面をより十分に理解するために各図面の簡単な説明が提供される。

【0020】

【図1】本発明の技術的思想による人工ニューラルネットワーク学習方法、及び病理検体に対する判定結果の提供方法が行われる環境を概略的に示す図である。

【図2】本発明の一実施形態によるニューラルネットワーク学習方法を説明するためのフローチャートである。

【図3】前立腺針生検の検体の病理画像の一例である。

【図4a】焼灼された前立腺組織領域が含まれた例である。

【図4b】焼灼された前立腺組織領域を拡大した図である。

【図5a】非前立腺組織領域が含まれた例である。

【図5b】非前立腺組織領域を拡大した図である。

【図6】本発明の一実施形態による判定結果の提供方法の一例を示す図である。

【図7】本発明の一実施形態による人工ニューラルネットワーク学習システムの概略的な構成を示す図である。

【図8】発明の一実施形態による判定結果提供システムの概略的な構成を示す図である。

【発明を実施するための形態】

【0021】

本発明は、様々な変換を加えることができ、様々な実施形態を有することができるので、特定の実施形態を図面に示し、詳細に説明する。しかしながら、これは本発明を特定の実施形態に限定することを意図するものではなく、本発明の精神および技術的範囲に含まれるすべての変換、等価物から代替物を含むことを理解されたい。本発明の説明において、関連する公知技術の具体的な説明が本発明の要旨を不明瞭にすると判定される場合、その詳細な説明は省略する。

【0022】

第１、第２などの用語は様々な構成要素を説明するために使用することができるが、構成要素はその用語によって限定されるべきではない。第１、第２などの用語は特別な順序を表すものではなく、ある構成要素を他の構成要素から区別する目的でのみ使用される。

【0023】

本出願で使用される用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定することを意図していない。単数の表現は、文脈上明らかに他に意味がない限り、複数の表現を含む。

【0024】

本明細書において、「含む」または「有する」などの用語は、本明細書に記載の特徴、数字、ステップ、動作、構成要素、部品、またはそれらを組み合わせたものが存在することを指定するものであり、１つまたは複数の他の特徴、数、ステップ、動作、構成要素、部品、またはそれらを組み合わせたものの存在または追加の可能性を事前に除外しないことを理解されたい。

【0025】

また、本明細書において、ある構成要素が他の構成要素にデータを「伝送」する場合、構成要素は、他の構成要素に直接データを伝送することもでき、少なくとも１つの別の構成要素を介して、データを他の構成要素に伝送することもできることを意味する。逆に、ある構成要素が他の構成要素にデータを「直接伝送」する場合、構成要素はまた他の構成要素を介さずに他の構成要素にデータを伝送することを意味する。

【0026】

以下、添付の図面を参照して本発明の実施形態を中心に本発明を詳細に説明する。各図に示されている同じ参照符号は同じ部材を示す。

【0027】

図１は、本発明の技術的思想による人工ニューラルネットワーク学習方法、及び病理検体に対する判定結果の提供方法が行われる環境を概略的に示す図である。

【0028】

図１を参照すると、本発明の一実施形態による人工ニューラルネットワーク学習方法は、ニューラルネットワーク学習システム１００によって行うことができ、本発明の一実施形態による病理検体に対する判定結果の提供方法は、病理検体に対する判定結果提供システム２００（以下、「判定結果提供システム」という）によって行うことができる。

【0029】

人工ニューラルネットワーク学習システム１００は、人工ニューラルネットワーク３００を学習することができる。人工ニューラルネットワーク３００は、経尿道的前立腺切除術により採取された病理検体に対する診断情報を提供するためのニューラルネットワークであってもよい。病理検体は、人体の様々な臓器で採取した生検及び手術によって切除された生体組織であってもよい。

【0030】

特に、人工ニューラルネットワーク３００は、ＴＵＲＰの病理画像を入力し、入力されたＴＵＲＰの病理画像から前立腺癌を検出するための人工ニューラルネットワークであってもよい。判定結果提供システム２００は、学習された人工ニューラルネットワーク３００を用いてＴＵＲＰの病理画像から前立腺癌に対する検出有無を判定することができる。本明細書において、ＴＵＲＰの病理画像は、経尿道的前立腺切除術（ＴＵＲＰ）により採取された病理検体のスライドをスキャンした画像又はその一部を意味し得る。ＴＵＲＰの病理画像は、病理スライドをスキャンした全体スライド画像（Ｗｈｏｌｅ Ｓｌｉｄｅ Ｉｍａｇｅ）を意味し、実施形態によっては、ＴＵＲＰの病理画像全体スライド画像を所定の単位サイズに分割したパッチ又はタイルを意味し得る。

【0031】

一実施形態において、ニューラルネットワーク３００は、前立腺癌の発現有無に対する確率値を出力するように学習された機械学習モデルであってもよい。ニューラルネットワーク３００は、入力層を介して入力されたデータに基づいて、対象検体に対する判定結果（例えば、疾患の発現有無の可能性）を示す数値、すなわち確率値を出力することができる。

【0032】

一実施形態において、人工ニューラルネットワーク３００は、全体スライド画像を入力し、前立腺癌による病変の有無を判定するか又は病変領域を検出する機械学習モデルであってもよく、実施形態によっては、スライド画像のパッチを入力し、該当パッチに前立腺癌による病変の有無又は病変領域を判定する機械学習モデルであってもよい。

【0033】

本明細書において、人工ニューラルネットワークは、人間のニューロンの動作原理に基づいて人工的に構築したニューラルネットワークであり、多層パーセプトロンモデルを含み、人工ニューラルネットワークを定義する一連の設計事項を表現する情報の集合を意味し得る。

【0034】

一実施形態において、人工ニューラルネットワーク３００は、画像分析に主に活用される畳み込みニューラルネットワークであるか、又は畳み込みニューラルネットワークを含んでもよい。特に、領域分割に効果的であると知られたＵ－Ｎｅｔ（Ｒｏｎｎｅｂｅｒｇｅｒ２０１５）やＤｅｅｐＬａｂｖ３＋（Ｃｈｅｎ２０１８）、Ｍａｓｋ Ｒ－ＣＮＮ（Ｈｅ２０１７）などが用いられてもよく、画素単位の微細な領域検出機能が不要な場合には、小さなサイズのパッチ画像単位で前立腺癌の有無を判別するように学習されたＲｅｓＮｅｔ（Ｈｅ２０１６）やＤｅｎｓｅＮｅｔ（Ｈｕａｎｇ２０１７）などの分類モデルが活用されてもよい。

【0035】

ニューラルネットワーク学習システム１００及び／又は判定結果提供システム２００は、本発明の技術的思想を実現するための演算能力を有するデータ処理装置であるコンピューティングシステムであってもよく、一般に、ネットワークを介してクライアントが接続可能なデータ処理装置であるサーバだけでなく、パーソナルコンピュータや携帯端末などのコンピューティタ装置を含んでもよい。

【0036】

ニューラルネットワーク学習システム１００及び／又は判定結果提供システム２００は、いずれかの物理装置で実現されてもよいが、必要に応じて複数の物理装置が有機的に結合されて本発明の技術的思想によるニューラルネットワーク学習システム１００及び／又は判定結果提供システム２００を実現できることを、本発明の技術分野の平均的な専門家であれば容易に推論することができるであろう。

【0037】

ニューラルネットワーク学習システム１００は、複数の病理検体から生成された学習データに基づいて人工ニューラルネットワーク３００を学習することができる。ニューラルネットワーク学習システム１００は、病理検体のスライドをスキャンした画像又はスキャンしたスライド画像の一部（すなわち、パッチ）を用いて個別学習データを生成し、これをニューラルネットワーク３００の入力層に入力してニューラルネットワーク３００を学習することができる。このとき、病理検体は、前立腺針生検又は前立腺切除術により採取された検体、又はＴＵＲＰ施術により採取された検体であってもよい。

【0038】

一方、学習されたニューラルネットワーク３００は、判定結果提供システム２００に記憶されてもよく、判定結果提供システム２００は、学習された人工ニューラルネットワークを用いて所定の診断対象ＴＵＲＰ検体に対する判定を行うことができる。

【0039】

図１に示すように、ニューラルネットワーク学習システム１００及び／又は判定結果提供システム２００は、所定の親システム１０のサブシステムの形態で実現されてもよい。親システム１０はサーバであってもよい。サーバ１０は、本発明の技術的思想を実現するための演算能力を有するデータ処理装置を意味し、一般に、ネットワークを介してクライアントが接続可能なデータ処理装置だけでなく、パーソナルコンピュータ、携帯端末などのように特定サービスを行うことができるいかなる装置もサーバとして定義できることを、本発明の技術分野の平均的な専門家であれば容易に推論することができるであろう。

【0040】

或いは、実施形態によって、ニューラルネットワーク学習システム１００及び判定結果提供システム２００は、互いに分離した形態で実現されてもよい。

【0041】

図２は、本発明の一実施形態によるニューラルネットワーク学習方法を説明するためのフローチャートである。図２の学習方法によって人工ニューラルネットワーク３００が学習されてもよく、前述のように、人工ニューラルネットワーク３００は、病理画像から前立腺癌を検出するための人工ニューラルネットワークである。

【0042】

人工ニューラルネットワーク３００は、ＴＵＲＰの病理画像で前立腺癌に対する診断を行うニューラルネットワークであるが、人工ニューラルネットワーク３００を学習する過程では、ＴＵＲＰの病理画像だけでなく、前立腺針生検又は前立腺切除術により採取された検体の画像を用いることができる。

【0043】

図２を参照すると、ニューラルネットワーク学習システム１００は、複数の一次学習用病理画像を取得することができる（Ｓ１００）。ここで、複数の一次学習用病理画像のそれぞれは、前立腺針生検（ｐｒｏｓｔａｔｅ ｎｅｅｄｌｅ ｂｉｏｐｓｙ）により採取された病理検体のスライドをスキャンした画像である前立腺針生検の病理画像、又は前立腺切除術（ｒａｄｉｃａｌ ｐｒｏｓｔａｔｅｃｔｏｍｙ）により採取された病理検体のスライドをスキャンした画像である前立腺切除術の病理画像のいずれか一方であってもよい。

【0044】

一方、複数の一次学習用病理画像のそれぞれには、前立腺癌による病変が予めアノテーションされていてもよく、アノテーションされた情報を学習データのラベルとして用いてもよい。

【0045】

前立腺針生検は、前立腺の生体組織を針（ニードル）によって採取する方法を意味する。前立腺針生検の検体の病理画像の一例が図３に示されている。

【0046】

ニューラルネットワーク学習システム１００は、複数の一次学習用病理画像を用いて、人工ニューラルネットワーク３００を一次学習することができる（Ｓ１１０）。

【0047】

アノテーションされた前立腺針生検の病理画像又はアノテーションされた前立腺切除術の病理画像は、比較的容易に採取することができるため、ニューラルネットワーク学習方法では、容易に採取可能なアノテーションされた前立腺針生検の病理画像又はアノテーションされた前立腺切除術の病理画像により人工ニューラルネットワーク３００を一次学習する。複数の一次学習用病理画像のうち一定比率以上を前立腺癌による病変領域を含む画像として構成してもよく、このようにすることで、人工ニューラルネットワーク３００の感度を一定レベル以上に高めることができる。

【0048】

一方、ＴＵＲＰの病理画像の場合、ＴＵＲＰ施術の特性上、前立腺ではなく組織（膀胱、尿路上皮など）の領域又は焼灼された前立腺組織領域が存在し、これは前立腺針生検の検体又は切除術の検体では現れない。よって、一次学習された人工ニューラルネットワーク３００のＴＵＲＰの病理画像に対する特異性を高めるために、以下のような過程をさらに行わなければならない。

【0049】

また、図２を参照すると、ニューラルネットワーク学習システム１００は、経尿道的前立腺切除術により採取された病理検体のスライドをスキャンした画像である複数のＴＵＲＰの病理画像を取得することができる（Ｓ１２０）。

【0050】

このとき、二次学習に用いられる複数のＴＵＲＰの病理画像のそれぞれは、非前立腺組織領域又は焼灼された（ｃａｕｔｅｒｉｚｅｄ）前立腺組織領域の少なくとも一方を必ず含み、前立腺癌の病変領域は全く含んではならない。図４ａ及び図５ａは、それぞれ二次学習に用いられるＴＵＲＰの病理画像の例を示す図である。図４ａは、焼灼された前立腺組織領域が含まれた例であり、図４ｂは、焼灼された前立腺組織領域を拡大した図である。図５ａは、非前立腺組織領域が含まれた例であり、図５ｂは、非前立腺組織領域を拡大した図である。

【0051】

一実施形態において、二次学習に用いられる複数のＴＵＲＰの病理画像のうちの一部は、非前立腺組織領域を含むが、前立腺癌の病変領域は全く含んでいない画像であり、残りの一部は、焼灼された前立腺組織領域を含むが、前立腺癌の病変領域は全く含んでいない画像であってもよい。

【0052】

このように、二次学習に用いられる複数のＴＵＲＰの病理画像は、いずれも前立腺癌の病変領域が全く含まれてはならないため、二次学習に用いられる複数のＴＵＲＰの病理画像は、一括して正常（ｂｅｎｉｇｎ）とラベル付けすることができ、別の病変領域に対するアノテーションが不要な学習データである。

【0053】

その後、ニューラルネットワーク学習システム１００は、複数のＴＵＲＰの病理画像を用いて、一次学習された人工ニューラルネットワーク３００を二次学習することができる（Ｓ１３０）。

【0054】

図６は、本発明の一実施形態による判定結果の提供方法の一例を示す図である。

【0055】

図６を参照すると、判定結果提供システム２００は、所定の判定対象ＴＵＲＰの病理画像を取得することができる（Ｓ２００）。判定対象ＴＵＲＰの病理画像は、経尿道的前立腺切除術（ＴＵＲＰ）により採取された所定の判定対象病理検体のスライドをスキャンした画像である。

【0056】

判定結果提供システム２００は、人工ニューラルネットワーク３００に判定対象ＴＵＲＰの病理画像を入力し、人工ニューラルネットワーク３００が判定対象ＴＵＲＰの病理画像に基づいて判定した前立腺癌検出結果を出力することができる（Ｓ２１０）。

【0057】

図７は、本発明の一実施形態による人工ニューラルネットワーク学習システム１００の概略的な構成を示す図であり、図８は、発明の一実施形態による判定結果提供システム２００の概略的な構成を示す図である。

【0058】

人工ニューラルネットワーク学習システム１００及び判定結果提供システム２００は、本発明の技術的思想を実現するために必要なハードウェアリソース（ｒｅｓｏｕｒｃｅ）及び／又はソフトウェアを備えた論理的な構成を意味し、必ずしも１つの物理的な構成要素又は１つの装置を意味するわけではない。すなわち、人工ニューラルネットワーク学習システム１００及び判定結果提供システム２００は、本発明の技術的思想を実現するために備えられるハードウェア及び／又はソフトウェアの論理的な結合を意味し、必要に応じては互いに離隔した装置に設置され、それぞれの機能を行うことで本発明の技術的思想を実現するための論理的な構成の集合で実現されてもよい。また、人工ニューラルネットワーク学習システム１００及び判定結果提供システム２００は、本発明の技術的思想を実現するためのそれぞれの機能又は役割毎に別に実現される構成の集合を意味し得る。人工ニューラルネットワーク学習システム１００及び判定結果提供システム２００の各構成は、互いに異なる物理装置に位置することもでき、同一の物理装置に位置することもできる。また、実施形態によっては、人工ニューラルネットワーク学習システム１００及び判定結果提供システム２００の構成要素のそれぞれを構成するソフトウェア及び／又はハードウェアの結合も互いに異なる物理装置に位置し、互いに異なる物理装置に位置した構成が互いに有機的に結合されてそれぞれのモジュールを実現することもできる。

【0059】

また、本明細書でモジュールとは、本発明の技術的思想を行うためのハードウェア、及びハードウェアを駆動するためのソフトウェアの機能的、構造的結合を意味し得る。例えば、モジュールは、所定のコードと、所定のコードが行われるためのハードウェアリソース（ｒｅｓｏｕｒｃｅ）の論理的な単位を意味し、必ずしも物理的に接続されたコードを意味したり、一種類のハードウェアを意味するわけではないことは、本発明の技術分野の平均的な専門家であれば容易に推論することができる。

【0060】

図７を参照すると、人工ニューラルネットワーク学習システム１００は、記憶モジュール１１０、取得モジュール１２０、及び学習モジュール１３０を含んでもよい。本発明の実施形態によっては、上述の構成要素のうちの一部の構成要素は、必ずしも本発明の実現に必須な構成要素に該当しなくてもよく、また実施形態によっては、人工ニューラルネットワーク学習システム１００は、これよりも多くの構成要素を含んでもよいことは言うまでもない。例えば、人工ニューラルネットワーク学習システム１００は、外部装置と通信するための通信モジュール（図示せず）、人工ニューラルネットワーク学習システム１００の構成要素及びリソースを制御するための制御モジュール（図示せず）をさらに含んでもよい。

【0061】

記憶モジュール１１０は、学習される人工ニューラルネットワーク３００を記憶することができる。

【0062】

取得モジュール１２０は、複数の一次学習用病理画像を取得することができ、複数の一次学習用病理画像のそれぞれは、前立腺針生検により採取された病理検体のスライドをスキャンした画像である前立腺針生検の病理画像、又は前立腺切除術により採取された病理検体のスライドをスキャンした画像である前立腺切除術の病理画像のいずれか一方であってもよい。

【0063】

また取得モジュール１２０は、経尿道的前立腺切除術により採取された病理検体のスライドをスキャンした画像である複数のＴＵＲＰの病理画像を取得することができる。このとき、複数のＴＵＲＰの病理画像のそれぞれは、非前立腺組織領域又は焼灼された（ｃａｕｔｅｒｉｚｅｄ）前立腺組織領域の少なくとも一方を必ず含み、前立腺癌の病変領域は全く含んでいなくてもよい。

【0064】

学習モジュール１３０は、複数の一次学習用病理画像を用いて、前立腺癌判定用人工ニューラルネットワークを一次学習することができ、複数のＴＵＲＰの病理画像を用いて、一次学習された人工ニューラルネットワークを二次学習することができる。

【0065】

図８を参照すると、判定結果提供システム２００は、記憶モジュール２１０、取得モジュール２２０、及び判定モジュール２３０を含んでもよい。本発明の実施形態によっては、上述の構成要素のうちの一部の構成要素は、必ずしも本発明の実現に必須な構成要素に該当しなくてもよく、また実施形態によって、判定結果提供システム２００は、これよりも多くの構成要素を含んでもよいことは言うまでもない。例えば、判定結果提供システム２００は、通信モジュール（図示せず）、判定結果提供システム２００の構成要素及びリソースを制御するための制御モジュール（図示せず）をさらに含んでもよい。

【0066】

記憶モジュール２１０は、学習された人工ニューラルネットワーク３００を記憶することができる。

【0067】

取得モジュール２２０は、所定の判定対象ＴＵＲＰの病理画像を取得することができる。

【0068】

判定モジュール２３０は、判定対象ＴＵＲＰの病理画像を人工ニューラルネットワーク３００に入力し、人工ニューラルネットワーク３００が判定対象ＴＵＲＰの病理画像に基づいて判定した前立腺癌検出結果を出力することができる。

【0069】

一方、実施形態によって、人工ニューラルネットワーク学習システム１００及び判定結果提供システム２００は、プロセッサ、及びプロセッサによって実行されるプログラムを記憶するメモリを含んでもよい。プロセッサは、シングルコアＣＰＵ又はマルチコアＣＰＵを含んでもよい。メモリは、高速ランダムアクセスメモリを含んでもよく、１つ以上の磁気ディスク記憶装置、フラッシュメモリ装置、又はその他不揮発性固体状態メモリ装置のような不揮発性メモリを含んでもよい。プロセッサ、及びその他構成要素によるメモリへのアクセスは、メモリコントローラによって制御することができる。

【0070】

一方、本発明の実施形態による方法は、コンピュータ読み取り可能なプログラム命令形態で実現され、コンピュータで読み取り可能な記録媒体に記憶されてもよく、本発明の実施形態による制御プログラム及び対象プログラムもコンピュータで読み取り可能な記録媒体に記憶されてもよい。コンピュータ読み取り可能な記録媒体は、コンピューティングシステムによって読み取り可能なデータが記憶されるあらゆる種類の記録装置を含む。

【0071】

記録媒体に記録されるプログラム命令は、本発明のために特別に設計及び構成されたものであってもよく、ソフトウェア分野の当業者に公知として使用可能なものであってもよい。

【0072】

コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を記憶して実行するために特別に構成されたハードウェア装置が含まれる。またコンピュータ読み取り可能な記録媒体は、ネットワークで接続されたコンピューティングシステムに分散され、分散方式でコンピュータ読み取り可能なコードを記憶して実行することができる。

【0073】

プログラム命令の例としては、コンパイラによって作成される機械語コードだけでなく、インタプリタなどを用いて電子的に情報を処理する装置、例えば、コンピュータによって実行することができる高級言語コードを含む。

【0074】

上述のハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。

【0075】

上述した本発明の説明は例示のためのものであり、本発明が属する技術分野の通常の知識を有する者であれば、本発明の技術的思想や必須の特徴を変更することなく他の具体的な形態に容易に変形が可能であることを理解することができるであろう。従って、上記で説明した実施形態はすべての点で例示的なものであり、限定的なものではないと理解すべきである。例えば、単一の形態で説明されている各構成要素は分散して実施することができ、同様に分散されたと記載されている構成要素も組み合わせた形で実施することができる。

【0076】

本発明の範囲は、上記の詳細な説明ではなく、後述する特許請求の範囲によって示され、特許請求の範囲の意味及び範囲、またその均等概念から導出される全ての変更又は変形された形態が本発明の範囲に含まれるものと解釈されるべきである。

【産業上の利用可能性】

【0077】

本発明は、ＴＵＲＰの病理画像から前立腺癌を検出するための人工ニューラルネットワークを学習する方法、及びこれを行うコンピューティングシステムに用いることができる。

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図5a】

【図5b】

【図6】

【図7】

【図8】