特表 2024-512272 ニューラルネットワークを用いた膀胱病変の診断方法及びそのシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-19

(54)【発明の名称】ニューラルネットワークを用いた膀胱病変の診断方法及びそのシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240312BHJP

   G06N 3/045 20230101ALI20240312BHJP

   G16B 40/00 20190101ALI20240312BHJP

【ＦＩ】

G06T7/00 612

G06N3/045

G06T7/00 350C

G16B40/00

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023551759

(86)(22)【出願日】2022-03-14

(85)【翻訳文提出日】2023-09-29

(86)【国際出願番号】 KR2022003546

(87)【国際公開番号】W WO2022197044

(87)【国際公開日】2022-09-22

(31)【優先権主張番号】10-2021-0033189

(32)【優先日】2021-03-15

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】519208133

【氏名又は名称】ディープ バイオ インク

(74)【代理人】

【識別番号】100120008

【弁理士】

【氏名又は名称】山田 くみ子

(72)【発明者】

【氏名】ペク イニョン

(72)【発明者】

【氏名】カク テヨン

(72)【発明者】

【氏名】キム ソンウ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA06

5L096BA13

5L096EA35

5L096HA11

5L096KA04

(57)【要約】

ニューラルネットワークを用いた膀胱病変の診断方法及びそのシステムが開示される。前記ニューラルネットワークを用いた膀胱病変の診断方法は、膀胱病変診断システムが単位病理画像を入力するステップと、前記膀胱病変診断システムが、前記単位病理画像を第１ニューラルネットワークに入力して、前記単位病理画像に複数の膀胱病変のうちの第１膀胱病変の診断結果を取得するステップと、前記膀胱病変診断システムが、前記単位病理画像を第２ニューラルネットワークに入力して、前記単位病理画像に前記複数の膀胱病変のうちの前記第１膀胱病変を除いた第２膀胱病変の診断結果を取得するステップと、を含み、前記第１ニューラルネットワークは、前記第１膀胱病変が発現した病変領域がアノテーションされた複数の第１学習データにより学習されたニューラルネットワークであることを特徴とし、前記第２ニューラルネットワークは、前記第２膀胱病変のうちの少なくとも１つの発現有無である発現病変の種類がアノテーションされた複数の第２学習データ（ここで、第２学習データは、病変領域に対するアノテーションが行われていないデータである）により学習されたニューラルネットワークであることを特徴とする。

【特許請求の範囲】

【請求項1】

膀胱病変診断システムが単位病理画像を入力するステップと、
前記膀胱病変診断システムが、前記単位病理画像を第１ニューラルネットワークに入力して、前記単位病理画像に複数の膀胱病変のうちの第１膀胱病変の診断結果を取得するステップと、
前記膀胱病変診断システムが、前記単位病理画像を第２ニューラルネットワークに入力して、前記単位病理画像に前記複数の膀胱病変のうちの前記第１膀胱病変を除いた第２膀胱病変の診断結果を取得するステップと、
を含み、
前記第１ニューラルネットワークは、
前記第１膀胱病変が発現した病変領域がアノテーションされた複数の第１学習データにより学習されたニューラルネットワークであることを特徴とし、
前記第２ニューラルネットワークは、
前記第２膀胱病変のうちの少なくとも１つの発現有無である発現病変の種類がアノテーションされた複数の第２学習データ（ここで、第２学習データは、病変領域に対するアノテーションが行われていないデータである）により学習されたニューラルネットワークであることを特徴とする、ニューラルネットワークを用いた膀胱病変の診断方法。

【請求項2】

前記単位病理画像は、
経尿道的膀胱切除術により採取された組織検体に対応する病理画像が所定のサイズに分割されたパッチ画像であることを特徴とする、請求項１に記載のニューラルネットワークを用いた膀胱病変の診断方法。

【請求項3】

前記第１膀胱病変は、
尿路上皮内がん（ＣＩＳ）病変を含む、請求項１に記載のニューラルネットワークを用いた膀胱病変の診断方法。

【請求項4】

前記第２膀胱病変は、
浸潤性膀胱癌、低悪性度／高悪性度 非浸潤性乳頭状尿路上皮がん、尿路上皮内がん（ＣＩＳ）、低悪性度乳頭状尿路上皮新生物（ＰＵＮＬＭＰ）、悪性度不明の尿路上皮増殖（ＵＰＵＭＰ）、尿路上皮乳頭腫、内反性尿路上皮乳頭腫、尿路上皮異形成のうちの少なくとも１つを含む、請求項１に記載のニューラルネットワークを用いた膀胱病変の診断方法。

【請求項5】

膀胱病変診断システムが単位病理画像を入力するステップと、
前記膀胱病変診断システムが、前記単位病理画像を第２ニューラルネットワークに入力して、前記単位病理画像に複数の膀胱病変のうちの第１膀胱病変を除いた第２膀胱病変の診断結果を取得するステップと、
前記膀胱病変診断システムが、前記単位病理画像を第１ニューラルネットワークに入力して、前記単位病理画像に前記複数の膀胱病変のうちの前記第１膀胱病変の診断結果を取得するステップと、
を含み、
前記第１ニューラルネットワークは、
前記第１膀胱病変が発現した病変領域がアノテーションされた複数の第１学習データにより学習されたニューラルネットワークであることを特徴とし、
前記第２ニューラルネットワークは、
前記第２膀胱病変のうちの少なくとも１つの発現有無である発現病変の種類がアノテーションされた複数の第２学習データ（ここで、第２学習データは、病変領域に対するアノテーションが行われていないデータである）により学習されたニューラルネットワークであることを特徴とする、ニューラルネットワークを用いた膀胱病変の診断方法。

【請求項6】

データ処理装置に設置され、請求項１ないし請求項５のいずれか一項に記載の方法を行うためのコンピュータで読み取り可能な記録媒体に記憶されたコンピュータプログラム。

【請求項7】

プロセッサと、
前記プロセッサによって実行されるプログラムが記録されたメモリと、
を含み、
前記プロセッサは、前記プログラムを駆動することで、
単位病理画像を第１ニューラルネットワークに入力して、前記単位病理画像に複数の膀胱病変のうちの第１膀胱病変の診断結果を取得し、前記単位病理画像を第２ニューラルネットワークに入力して、前記単位病理画像に前記複数の膀胱病変のうちの前記第１膀胱病変を除いた第２膀胱病変の診断結果を取得し、
前記第１ニューラルネットワークは、
前記第１膀胱病変が発現した病変領域がアノテーションされた複数の第１学習データにより学習されたニューラルネットワークであることを特徴とし、
前記第２ニューラルネットワークは、
前記第２膀胱病変のうちの少なくとも１つの発現有無である発現病変の種類がアノテーションされた複数の第２学習データ（ここで、第２学習データは、病変領域に対するアノテーションが行われていないデータである）により学習されたニューラルネットワークであることを特徴とする、ニューラルネットワークを用いた膀胱病変診断システム。

【請求項8】

前記第１膀胱病変は、
尿路上皮内がん（ＣＩＳ）病変を含む、請求項７に記載のニューラルネットワークを用いた膀胱病変診断システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ニューラルネットワークを用いた膀胱病変の診断方法及びそのシステムに関し、より詳しくは、膀胱の生体組織に基づく病理画像を用いて複数の膀胱病変を診断できる診断システムを効果的に学習させて診断に利用することができる方法及びそのシステムに関する。

【背景技術】

【0002】

膀胱癌は、よく発生する癌の１つであり、再発の可能性も高い方である。このような膀胱癌の診断及び局所的な治療方法として、経尿道的膀胱切除術（ｔｒａｎｓｕｒｅｔｈｒａｌ ｒｅｓｅｃｔｉｏｎ ｏｆ ｂｌａｄｄｅｒ；ＴＵＲＢ）が主に用いられている。

【0003】

一般的に、経尿道的膀胱切除術により採取された組織検体を病理的に判読して膀胱癌の確認、重症度の判別などの診断がなされている。

【0004】

このとき、経尿道的膀胱切除術により採取された組織検体は、膀胱癌の診断だけでなく膀胱に関連する様々な病変を診断するのにも利用することができる。

【0005】

例えば、経尿道的膀胱切除術により採取された組織検体より確認できる病変の種類は多く、大きく浸潤性癌病変と非浸潤性癌病変に分けられる。

【0006】

また、非浸潤性病変としては、低悪性度／高悪性度 非浸潤性乳頭状尿路上皮がん、尿路上皮内がん（ＣＩＳ）などの癌病変と、低悪性度乳頭状尿路上皮新生物（ＰＵＮＬＭＰ）、悪性度不明の尿路上皮増殖（ＵＰＵＭＰ）、尿路上皮乳頭腫、内反性尿路上皮乳頭腫、尿路上皮異形成などの増殖性病変とがある。

【0007】

また、このような様々な膀胱病変を診断することを病理専門家に全て任せると、非常に高価になるだけでなく、非効率的であり得る。

【0008】

したがって、経尿道的膀胱切除術により得られた組織検体の病理スライドをスキャナでスキャンして作成した病理画像を分析することで、膀胱癌病変を診断（検出）できる機械学習モデル（ニューラルネットワーク）の需要が増加している。

【0009】

特に、経尿道的膀胱切除術の組織検体のサイズは比較的大きい方であるため、ガラススライド形態の検体を光学顕微鏡で観察するか、又は病理画像形態の検体をモニターで判読することで、膀胱癌の病変を探して種類を判別することは病理専門医にとって複雑かつ面倒であるため、さらにこのような需要は増加している。

【0010】

また、このような機械学習モデルを効果的に構築するための技術的思想が必要とされている。

【先行技術文献】

【非特許文献】

【0011】

【非特許文献1】（Ａｎｔｏｎｉ２０１６）Ａｎｔｏｎｉ、Ｓ． ｅｔ ａｌ．、Ｂｌａｄｄｅｒ Ｃａｎｃｅｒ Ｉｎｃｉｄｅｎｃｅ ａｎｄ Ｍｏｒｔａｌｉｔｙ：Ａ Ｇｌｏｂａｌ Ｏｖｅｒｖｉｅｗ ａｎｄ Ｒｅｃｅｎｔ Ｔｒｅｎｄｓ．

【発明の概要】

【発明が解決しようとする課題】

【0012】

本発明が達成しようとする技術的な課題は、膀胱癌の診断及び局所的な治療方法によって行われる経尿道的膀胱切除術により得られる組織検体を通じて、さらに様々な膀胱病変を診断できるニューラルネットワークに基づく診断システムを実現する技術的思想を提供することである。

【0013】

また、このような診断システムにおいて、病変領域をアノテーションして学習させなければならない膀胱病変に対してのみ、制限的に病変領域をアノテーションした学習データを用いてニューラルネットワークを構築し、残りの膀胱病変に対しては、病変の種類のみアノテーションした学習データを用いてニューラルネットワークを構築することで、診断システムの構築の効率性を提供できる技術的思想を提供することである。

【課題を解決するための手段】

【0014】

上記技術的課題を達成するための本発明の実施形態によるニューラルネットワークを用いた膀胱病変の診断方法は、膀胱病変診断システムが単位病理画像を入力するステップと、前記膀胱病変診断システムが、前記単位病理画像を第１ニューラルネットワークに入力して、前記単位病理画像に複数の膀胱病変のうちの第１膀胱病変の診断結果を取得するステップと、前記膀胱病変診断システムが、前記単位病理画像を第２ニューラルネットワークに入力して、前記単位病理画像に前記複数の膀胱病変のうちの前記第１膀胱病変を除いた第２膀胱病変の診断結果を取得するステップと、を含み、前記第１ニューラルネットワークは、前記第１膀胱病変が発現した病変領域がアノテーションされた複数の第１学習データにより学習されたニューラルネットワークであることを特徴とし、前記第２ニューラルネットワークは、前記第２膀胱病変のうちの少なくとも１つの発現有無である発現病変の種類がアノテーションされた複数の第２学習データ（ここで、第２学習データは、病変領域に対するアノテーションが行われていないデータである）により学習されたニューラルネットワークであることを特徴とする。

【0015】

前記単位病理画像は、経尿道的膀胱切除術（ｔｒａｎｓｕｒｅｎｔｈｒａｌ ｒｅｓｅｃｔｉｏｎ ｏｆ ｂｌａｄｄｅｒ、ＴＵＲＢ）により採取された組織検体に対応する病理画像が所定のサイズに分割されたパッチ画像であってもよい。

【0016】

前記第１膀胱病変は、尿路上皮内がん（ＣＩＳ）病変を含んでもよい。

【0017】

前記第２膀胱病変は、浸潤性膀胱癌（ｉｎｖａｓｉｖｅ ｕｒｏｔｈｅｌｉａｌ ｃａｒｃｉｎｏｍａ）、低悪性度／高悪性度 非浸潤性乳頭状尿路上皮がん、尿路上皮内がん（ＣＩＳ）、低悪性度乳頭状尿路上皮新生物（ＰＵＮＬＭＰ）、悪性度不明の尿路上皮増殖（ＵＰＵＭＰ）、尿路上皮乳頭腫、内反性尿路上皮乳頭腫、尿路上皮異形成のうちの少なくとも１つを含んでもよい。

【0018】

上記技術的課題を解決するためのニューラルネットワークを用いた膀胱病変診断システムは、膀胱病変診断システムが単位病理画像を入力するステップと、前記膀胱病変診断システムが、前記単位病理画像を第２ニューラルネットワークに入力して、前記単位病理画像に複数の膀胱病変のうちの第１膀胱病変を除いた第２膀胱病変の診断結果を取得するステップと、前記膀胱病変診断システムが、前記単位病理画像を第１ニューラルネットワークに入力して、前記単位病理画像に前記複数の膀胱病変のうちの前記第１膀胱病変の診断結果を取得するステップと、を含み、前記第１ニューラルネットワークは、前記第１膀胱病変が発現した病変領域がアノテーションされた複数の第１学習データにより学習されたニューラルネットワークであることを特徴とし、前記第２ニューラルネットワークは、前記第２膀胱病変のうちの少なくとも１つの発現有無である発現病変の種類がアノテーションされた複数の第２学習データ（ここで、第２学習データは、病変領域に対するアノテーションが行われていないデータである）により学習されたニューラルネットワークであることを特徴とする。

【0019】

上記方法は、コンピュータで読み取り可能な記録媒体に記憶されたコンピュータプログラムによって実現することができる。

【0020】

本発明の他の態様によると、ニューラルネットワークを用いた膀胱病変診断システムは、プロセッサ、及び前記プロセッサによって実行されるプログラムが記録された記憶装置を含み、前記プロセッサは、前記プログラムを駆動することで、単位病理画像を第１ニューラルネットワークに入力して、前記単位病理画像に複数の膀胱病変のうちの第１膀胱病変の診断結果を取得し、前記単位病理画像を第２ニューラルネットワークに入力して、前記単位病理画像に前記複数の膀胱病変のうちの前記第１膀胱病変を除いた第２膀胱病変の診断結果を取得し、前記第１ニューラルネットワークは、前記第１膀胱病変が発現した病変領域がアノテーションされた複数の第１学習データにより学習されたニューラルネットワークであることを特徴とし、前記第２ニューラルネットワークは、前記第２膀胱病変のうちの少なくとも１つの発現有無である発現病変の種類がアノテーションされた複数の第２学習データ（ここで、第２学習データは、病変領域に対するアノテーションが行われていないデータである）により学習されたニューラルネットワークであることを特徴とする。

【発明の効果】

【0021】

本発明の技術的思想によると、膀胱癌の診断及び局所的な治療方法によって行われる経尿道的膀胱切除術により得られる組織検体を通じて、さらに様々な膀胱病変を診断できるニューラルネットワークに基づく診断システムによって、経尿道的膀胱切除術により膀胱癌だけでなく様々な膀胱病変を診断できるという効果がある。

【0022】

また、診断システムの構築において、病変領域をアノテーションして学習させなければならない膀胱病変に対してのみ、制限的に病変領域をアノテーションした学習データを用いてニューラルネットワークを構築し、残りの膀胱病変に対しては、病変の種類のみアノテーションした学習データを用いてニューラルネットワークを構築することで、診断システムを効果的に構築できるという効果がある。

【図面の簡単な説明】

【0023】

本発明の詳細な説明で引用される図面をより十分に理解するために、各図面の簡単な説明が提供される。

【図1】本発明の技術的思想によるニューラルネットワークを用いた膀胱病変の診断方法を実現するための概略的なシステムを説明するための図である。

【図2】本発明の技術的思想によるニューラルネットワークを用いた膀胱病変診断システムの論理的構成を説明するための図である。

【図3】本発明の技術的思想によるニューラルネットワークを用いた膀胱病変診断システムの物理的構成を説明するための図である。

【図4】本発明の技術的思想によるニューラルネットワークを用いた膀胱病変の診断方法の概念を説明するための図である。

【図5】本発明の技術的思想によるニューラルネットワークを用いた膀胱病変の診断方法を説明するためのフローチャートを示す。

【発明を実施するための形態】

【0024】

本発明と本発明の動作上の利点及び本発明の実施によって達成される目的を十分に理解するためには、本発明の好ましい実施形態を例示する添付図面、及び添付図面に記載された内容を参照しなければならない。

【0025】

また、本明細書において、ある構成要素が他の構成要素にデータを「伝送」する場合、構成要素は、他の構成要素に直接データを伝送することもでき、少なくとも１つのまた他の構成要素を介してデータを他の構成要素に伝送することもできることを意味する。逆に、ある構成要素が他の構成要素にデータを「直接伝送」する場合、構成要素からまた他の構成要素を介することなく他の構成要素にデータが伝送されることを意味する。

【0026】

以下、添付の図面を参照して本発明の好ましい実施形態を説明することで、本発明を詳しく説明する。各図に示されている同じ参照符号は同じ部材を示す。

【0027】

図１は、本発明の技術的思想によるニューラルネットワークを用いた膀胱病変の診断方法を実現するための概略的なシステムを説明するための図である。

【0028】

図１を参照すると、本発明の技術的思想によるニューラルネットワークを用いた膀胱病変の診断方法（以下、診断システム、１００）は、所定のサーバ１０に設置されて本発明の技術的思想を実現することができる。サーバ１０は、本発明の技術的思想を実現するための演算能力を有するデータ処理装置を意味し、一般的にネットワークを介してクライアントが接続可能なデータ処理装置だけでなく、パーソナルコンピュータ、携帯端末などのように特定サービスを実行することができるいかなる装置もサーバとして定義できることを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。

【0029】

サーバ１０は、図３に示すように、プロセッサ１１及び記憶装置１２を含んでもよい。プロセッサ１１は、本発明の技術的思想を実現するためのプログラム１２－１を駆動させることができる演算装置を意味し、プロセッサ１１は、プログラム１２－１と本発明の技術的思想によって定義する複数のニューラルネットワーク（Ｎｅｒｕａｌ Ｎｅｔｗｏｒｋ、１２－２、１２－３）とを用いて診断を行うことができる。

【0030】

プロセッサ１１０は、所定のプログラム（ソフトウェアコード）を実行できる演算装置を意味し、データ処理装置の実施例又はベンダー（Ｖｅｎｄｏｒ）モバイルプロセッサ、マイクロプロセッサー、ＣＰＵ、シングルプロセッサ、マルチプロセッサ、ＧＰＵなど、様々な名称で命名することができ、１つ以上のプロセッサで実現することができる。

【0031】

プロセッサ１１０は、プログラムを駆動することで、本発明の技術的思想に必要なデータ処理を行うことができることを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。

【0032】

記憶装置１２０は、本発明の技術的思想を実現するためのプログラムが記憶／設置される装置を意味することができる。実施形態によって、記憶装置１２０は、複数の異なる物理装置に分割されてもよく、実施形態によって、記憶装置１２０の一部は、プロセッサ１１０の内部に存在してもよい。記憶装置１２０は、実施形態によって、ハードディスク、ＧＰＵ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）、光ディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及び／又はその他様々な種類の記憶媒体で実現することができ、必要に応じて、記憶装置１２０に取り外し可能に実現することもできる。

【0033】

本明細書で診断システム１００が診断を行うとは、プロセッサ１１がプログラム１２－１を駆動することで、ニューラルネットワーク１２－２、１２－３を介して複数の膀胱病変のうちの少なくとも１つの発現有無及び／又は発現領域を出力することを意味することができる。

【0034】

所定の膀胱病変の発現領域は画素単位で決定されてもよく、このために、画素毎に所定の疾患の発現領域に含まれるか否かを判断するニューラルネットワークが学習され活用できることが知られているので、本明細書では詳細な説明は省略する。

【0035】

記憶装置１２は、プログラム１２－１及びニューラルネットワーク１２－２、１２－３を記憶できるデータ記憶手段を意味することができ、実施形態によって、複数の記憶手段で実現することもできる。また、記憶装置１２は、サーバ１０に含まれた主記憶装置だけでなく、プロセッサ１１に含まれ得る一時記憶装置又はメモリなどを含む意味であってもよい。

【0036】

診断システム１００は、図１又は図３では、いずれか１つの物理装置で実現したものと示しているが、必要に応じて、複数の物理装置が有機的に結合されて本発明の技術的思想による診断システム１００を実現できることを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。

【0037】

本明細書で診断システム１００が診断を行うとは、単位病理画像を入力し、本明細書で定義された出力データを出力する一連のプロセスを意味することができる。出力データは、上述したように、単位病理画像に複数の膀胱病変の１つ又は複数が発現した場合、発現した病変の種類を示すデータであってもよい。或いは、病変の種類のみでなく、上述したように病変が発現した領域を示す情報（例えば、画素毎に病変領域に含まれるか否か）が出力データにさらに含まれてもよい。

【0038】

単位病理画像は、経尿道的膀胱切除術により得られた組織検体のスライド画像が一定のサイズに分割されたパッチ画像であってもよい。このようなパッチ画像のサイズは、必要に応じて適切に決定されてもよい。

【0039】

上述したように、経尿道的膀胱切除術により得られた組織検体を通じて様々な膀胱病変を診断することができ、これを病理専門家が個々にスライド画像を確認して診断することは、非常に多くの時間とコストがかかる。

【0040】

したがって、経尿道的膀胱切除術により得られた組織検体を通じて様々な膀胱病変を診断できる機械学習モデル、すなわち少なくとも１つの学習されたニューラルネットワークの必要性が求められる。

【0041】

通常、このような機械学習モデルの開発にあたって、最も正確な結果を得る方法は、組織検体の病理画像（スライド画像又はスライド画像が分割されたパッチ画像）毎に発現した病変の種類と領域を個々にアノテーションした学習データを大量に採取し、採取した大量の学習データを、ニューラルネットワークを介して学習させることであり得る。すなわち、指導学習（ｓｕｐｅｒｖｉｓｅｄ－ｌｅａｒｎｉｎｇ）の方式で機械学習モデルを訓練することによって、病理画像上で膀胱病変が発現したか否か、発現した場合、どのような膀胱病変が発現したかを出力（診断）するニューラルネットワークを学習することができる。また、上述したように、必要に応じて、発現した膀胱病変の領域まで出力するようにニューラルネットワークを学習することもできる。

【0042】

ところが、経尿道的膀胱切除術により得られた組織検体及びその病理画像そのものが比較的大きいだけでなく、膀胱病変の種類も多様であるため、あらゆる種類の病変毎に病理専門家が病変の種類及び病変領域を個々にアノテーションすることは非常に難しいことであり、これによって、大量の学習データを構築することも非常に多くのコストと時間がかかる問題がある。

【0043】

特に、病理画像（単位病理画像）上で発現した病変の種類のみをアノテーションすることに比べて、発現した病変領域を病理画像上にアノテーションすることが比較的大きなリソースがかかるという問題があるが、このような問題を解決するためには、病理画像中の病変領域はアノテーションせず、該当の病理画像にどの病変が発現したか病変の種類のみをアノテーションする方法が考えられる。

【0044】

また、病変領域に対するアノテーション情報なしに病理画像内に存在する病変の種類情報だけでも、所定の指導学習方法を用いて病変領域及び／又は種類を判別する機械学習モデルを開発することができ、このとき、各病理画像には、画像内で確認できる複数の病変の種類がアノテーションされ、これを用いた指導学習方法としては、ｃｏｎｓｉｓｔｅｎｃｙ ｌｏｓｓなどを活用したｓｅｍｉ／ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ（Ｘｉｅ２０１９）、ｎｏｉｓｙ ｌａｂｅｌ ｆｒａｍｅｗｏｒｋ（Ｌｉ２０２０）、ｒｅｊｅｃｔ ｏｐｔｉｏｎ（Ｇｅｉｆｍａｎ２０１９）、（ｍｉｎ／ｍａｘ／ａｔｔｅｎｔｉｏｎ）ｍｕｌｔｉｐｌｅ－ｉｎｓｔａｎｃｅ ｌｅａｒｎｉｎｇ（Ｉｌｓｅ２０１８）などを活用することができる。

【0045】

また、本出願人は、このような方式で単位病理画像に発現した病変の種類のみをアノテーションしてニューラルネットワークを学習させ、様々な膀胱病変を診断する診断システムを構築することでその性能を実験した。

【0046】

ところが、様々な膀胱病変（例えば、低悪性度／高悪性度 非浸潤性乳頭状尿路上皮がん、尿路上皮内がん（ＣＩＳ）、低悪性度乳頭状尿路上皮新生物（ＰＵＮＬＭＰ）、悪性度不明の尿路上皮増殖（ＵＰＵＭＰ）、尿路上皮乳頭腫、内反性尿路上皮乳頭腫、尿路上皮異形成など）のうちのほとんどの場合は、このような病変の種類のみをアノテーションした学習データで学習させても、病変の種類及び／又は病変領域を良好に診断できることを確認した。

【0047】

ところが、ＣＩＳの病変は、上記のように単位病理画像上で病変の種類のみをアノテーションした学習データで学習させたニューラルネットワークでは診断が容易でない特性があることを確認した。これは、ＣＩＳの病変は、組織の形態よりは細胞の形態によって区分する場合が多く、他の種類の病変とは異なる方式で判別しなければならない特性があるためである。

【0048】

したがって、本発明は、このような問題を解決するための技術的思想を提供することができる。

【0049】

本発明の技術的思想によると、様々な膀胱病変を第１膀胱病変と第２膀胱病変に区分し、第１膀胱病変に分類された病変に対しては、病変の種類と病変領域の両方をアノテーションした複数の第１学習データで学習させたニューラルネットワーク、すなわち第１ニューラルネットワークを構築し、第１ニューラルネットワークを介して診断を行うことができる。

【0050】

また、残りの膀胱病変、すなわち第２膀胱病変に分類された病変に対しては、病変の種類のみをアノテーションした複数の第２学習データで学習させたニューラルネットワーク、すなわち第２ニューラルネットワークを構築し、第２ニューラルネットワークを介して診断を行うことができる。このとき、第２学習データは、前述の病変領域に対してはアノテーションが行われていない学習データであってもよい。

【0051】

これによって、様々な膀胱病変のうちで病変の種類のみをアノテーションして学習させた場合でも、診断性能の良好な病変は、病変の種類のみをアノテーションして学習させることで、できるだけ学習データの構築を効率的にさせるという効果がある。

【0052】

また、病変の特性上、病変領域までさらにアノテーションして学習させなければ診断の性能が一定レベル以上発揮されない、制限された病変（例えば、ＣＩＳ病変）に対してのみ病変の種類及び病変領域をアノテーションすることで、全体的に膀胱病変に対する診断性能を保障できるという効果がある。

【0053】

診断システム１００が所定のサーバ１０に含まれて実現される場合、診断システム１００は、サーバ１０に接続可能な少なくとも１つのクライアント（例えば、２０、２０－１）と通信を行うこともできる。このような場合、クライアント（例えば、２０、２０－１）は、病理画像又は単位病理画像を診断システム１００に伝送することができ、診断システム１００は、伝送された病理画像又は単位病理画像に対して本発明の技術的思想による診断を行うことができる。また、診断結果をクライアント（例えば、２０、２０－１）に伝送することもできる。

【0054】

もちろん、実施形態によっては、サーバ１０自体に病理画像又は単位病理画像を入力するためのインターフェースが備えられてもよい。

【0055】

診断システム１００は、本発明の技術的思想によるニューラルネットワークを用いて様々な膀胱病変に対する診断を行うことができる。もちろん、このような診断を行うために、ニューラルネットワークを学習させるプロセスを先に行ってもよい。

【0056】

したがって、診断システム１００は、本発明の技術的思想によって学習されたニューラルネットワーク、及びニューラルネットワークを用いて診断を行うためのプログラムを外部から受信して診断を行うシステムであってもよく、ニューラルネットワークの学習まで行うシステムであってもよい。また、診断システム１００は、汎用のデータ処理装置でなく、本発明の技術的思想を実現するために製作された専用装置で実現されてもよく、このような場合は、病理画像をスキャンするための手段などがさらに備えられてもよい。

【0057】

このような技術的思想を実現するための診断システム１００は、論理的に図２のような構成を有することができる。

【0058】

図２は、本発明の実施形態によるニューラルネットワークを用いた疾患の診断システムの論理的構成を説明するための図である。

【0059】

図２を参照すると、診断システム１００は、制御モジュール１１０、及びニューラルネットワークが記憶されたニューラルネットワークモジュール１２０を含む。また、診断システム１００は、前処理モジュール１３０をさらに含んでもよい。

【0060】

診断システム１００は、本発明の技術的思想を実現するために必要なハードウェアリソース（ｒｅｓｏｕｒｃｅ）及び／又はソフトウェアを備えた論理的な構成を意味することができ、必ずしも１つの物理的な構成要素を意味するか、１つの装置を意味するわけではない。すなわち、診断システム１００は、本発明の技術的思想を実現するために備えられるハードウェア及び／又はソフトウェアの論理的な結合を意味することができ、必要に応じては、互いに離隔した装置に設置されてそれぞれの機能を行うことで、本発明の技術的思想を実現するための論理的な構成の集合として実現することもできる。また、診断システム１００は、本発明の技術的思想を実現するためのそれぞれの機能又は役目毎に別に実現される構成の集合を意味することもできる。例えば、制御モジュール１１０、ニューラルネットワークモジュール１２０、及び／又は前処理モジュール１３０のそれぞれは、互いに異なる物理装置に位置してもよく、同一の物理装置に位置してもよい。また、実施形態によっては、制御モジュール１１０、ニューラルネットワークモジュール１２０及び／又は前処理モジュール１３０のそれぞれを構成するソフトウェア及び／又はハードウェアの結合も互いに異なる物理装置に位置し、互いに異なる物理装置に位置した構成が互いに有機的に結合されてそれぞれのモジュールを実現することもできる。

【0061】

また、本明細書でモジュールとは、本発明の技術的思想を実行するためのハードウェア、及びハードウェアを駆動するためのソフトウェアの機能的、構造的結合を意味することができる。例えば、モジュールは、所定のコードと、所定のコードが行われるためのハードウェアリソース（ｒｅｓｏｕｒｃｅ）の論理的な単位を意味することができ、必ずしも物理的に連結されたコードを意味するか、一種類のハードウェアを意味するわけではないことは、本発明の技術分野における平均的な専門家であれば容易に推論することができる。

【0062】

制御モジュール１１０は、本発明の技術的思想を実現するために診断システム１００に含まれた他の構成（例えば、ニューラルネットワークモジュール１２０及び／又は前処理モジュール１３０など）を制御することができる。

【0063】

また、制御モジュール１１０は、ニューラルネットワークモジュール１２０に記憶されたニューラルネットワークを用いて、本発明の技術的思想による診断を行うことができる。

【0064】

ニューラルネットワークモジュール１２０は、上述したように、複数のニューラルネットワークを記憶することができる。ニューラルネットワークは、ニューラルネットワークを定義する一連の設計事項を表現する情報の集合を意味することができる。本明細書において、ニューラルネットワークは、畳み込みニューラルネットワークであってもよいが、病理画像上にアノテーションされた病変の種類及び／又は領域に基づいてピッチャーを容易に抽出して診断を行うことができる様々な種類のニューラルネットワークを利用できることを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。

【0065】

畳み込みニューラルネットワークは、よく知られているように、入力層、複数の隠れ層、及び出力層を含んでもよい。複数の隠れ層のそれぞれは、畳み込み層及びプーリング層（又はサブサンプリング層）を含んでもよい。また、最近では、バッチ正規化（ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ（ＢＮ））層などの正規化層が含まれるように畳み込みニューラルネットワークを設計することもできる。

【0066】

畳み込みニューラルネットワークは、このようなそれぞれの層を定義するための関数、フィルタ、ストライド（ｓｔｒｉｄｅ）、重み係数などによって定義することができる。また、出力層は、完全接続（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）されたフィードフォワード層（ＦｅｅｄＦｏｒｗａｒｄ ｌａｙｅｒ）と定義することができる。

【0067】

畳み込みニューラルネットワークを構成するそれぞれの層毎の設計事項は広く知られている。例えば、複数の層に含まれる層の数、複数の層を定義するための畳み込み関数、プーリング関数、活性化関数のそれぞれに対しては、公知の関数が用いられてもよく、本発明の技術的思想を実現するために別に定義された関数が用いられてもよい。

【0068】

畳み込み関数の一例としては、離散畳み込み和などがある。プーリング関数の一例としては、最大値プーリング（ｍａｘ ｐｏｏｌｉｎｇ）、平均プーリング（ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ）などを利用することができる。活性化関数の一例としては、シグモイド（ｓｉｇｍｏｉｄ）、タンジェントハイパーボリック（ｔａｎｈ）、ＲｅＬＵ（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ）、Ｓｗｉｓｈ、ＥＬＵ（ｅｘｐｏｎｅｎｔｉａｌ ｌｉｎｅａｒ ｕｎｉｔ）などが挙げられる。

【0069】

このような畳み込みニューラルネットワークの設計事項が定義されると、設計事項が定義された畳み込みニューラルネットワークを記憶装置に記憶することができる。また、畳み込みニューラルネットワークを学習すると、それぞれの層に対応する重み係数を特定することができる。

【0070】

すなわち、畳み込みニューラルネットワークの学習は、それぞれの層の重み係数が決定されるプロセスを意味することができる。また、畳み込みニューラルネットワークを学習すると、学習された畳み込みニューラルネットワークは、入力層に入力データが入力されると、予め定義された出力層を介して出力データを出力することができる。

【0071】

本発明の実施形態によるニューラルネットワークは、上述のように広く知られている設計事項のうちの１つ又は複数を選択して定義することもでき、独自の設計事項をニューラルネットワークのために定義することもできる。

【0072】

制御モジュール１１０は、ニューラルネットワークモジュール１２０に記憶された複数のニューラルネットワークに順に単位病理画像、すなわち診断する病理画像を入力することができる。単位病理画像は、スライド画像が所定のサイズに分離されたパッチ画像であってもよいことは上述した通りである。

【0073】

この場合、複数のニューラルネットワークは、第１ニューラルネットワークと第２ニューラルネットワークを含んでもよい。また、第１ニューラルネットワークと第２ニューラルネットワークは、それぞれ別に学習されて構築され、このときに用いられる学習データにアノテーションされる情報も異なり得る。もちろん、第１ニューラルネットワークと第２ニューラルネットワークに用いられるディープラーニングモデルの種類も互いに異なり得る。

【0074】

第１ニューラルネットワークは、上述したように第１膀胱病変を診断するためのニューラルネットワークであってもよい。第１ニューラルネットワークの学習のために用いられる複数の第１学習データには、学習データすなわち病理画像毎に病変領域がアノテーションされた情報であってもよい。もちろん、第１膀胱病変の種類が複数である場合は、別に病変の種類がアノテーションされる必要があることは言うまでもない。

【0075】

このような第１膀胱病変は、尿路上皮内がん（ＣＩＳ）病変を含んでもよく、必要に応じて他の病変が第１膀胱病変にさらに含まれてもよい。

【0076】

第２ニューラルネットワークは、上述したように第２膀胱病変を診断するためのニューラルネットワークであってもよい。第２ニューラルネットワークの学習のために用いられる複数の第２学習データには、学習データすなわち病理画像毎に膀胱病変の領域はアノテーションされず、病変の種類のみアノテーションされてもよい。

【0077】

このような第２膀胱病変は、浸潤性膀胱癌（ｉｎｖａｓｉｖｅ ｕｒｏｔｈｅｌｉａｌ ｃａｒｃｉｎｏｍａ）、低悪性度／高悪性度 非浸潤性乳頭状尿路上皮がん、尿路上皮内がん（ＣＩＳ）、低悪性度乳頭状尿路上皮新生物（ＰＵＮＬＭＰ）、悪性度不明の尿路上皮増殖（ＵＰＵＭＰ）、尿路上皮乳頭腫、内反性尿路上皮乳頭腫、尿路上皮異形成を含んでもよく、必要に応じて他の病変が第２膀胱病変にさらに含まれてもよい。

【0078】

制御モジュール１１０は、単位病理画像を第１ニューラルネットワークに入力して、第１膀胱病変に対する診断を先に行うことができる。また、第２ニューラルネットワークに単位病理画像を入力して、第２膀胱病変に対する診断を行うことができる。もちろん、第２ニューラルネットワークに単位病理画像を先に入力した後、第１ニューラルネットワークに単位病理画像を入力してもよく、同時に入力して並行して診断が行われてもよいことは言うまでもない。

【0079】

前処理モジュール１３０は、ニューラルネットワークを用いて診断を行う前に必要な病理画像の前処理を行うことができる。例えば、病理画像の前処理は、病理画像を予め定義されたサイズのパッチに分割する過程を含んでもよく、必要に応じてニューラルネットワークそれぞれに適した方式で適切な画像処理を行ってもよいことを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。

【0080】

図４は、本発明の技術的思想によるニューラルネットワークを用いた膀胱病変の診断方法の概念を説明するための図である。

【0081】

また、図５は、本発明の技術的思想によるニューラルネットワークを用いた膀胱病変の診断方法を説明するためのフローチャートを示す。

【0082】

図４及び図５を参照すると、診断システム１００は、診断の対象となる複数の単位病理画像３１、３１－１、３１－２、３１－３などの入力を受ける（Ｓ１００）。

【0083】

単位病理画像３１、３１－１、３１－２、３１－３などは、経尿道的膀胱切除術により得られた組織検体から生成された少なくとも１つの病理画像（例えば、スライド画像、３０）が所定のサイズに分割されたパッチ画像であってもよい。

【0084】

各々の単位病理画像３１、３１－１、３１－２、３１－３などは、第１ニューラルネットワーク及び第２ニューラルネットワークの両方に入力されてもよい（Ｓ１１０、Ｓ１２０）。このとき、各々の単位病理画像３１、３１－１、３１－２、３１－３などは、第１ニューラルネットワークに先に入力されて第１膀胱病変が診断された後、第２ニューラルネットワークに入力されて第２膀胱病変が診断されてもよく、その手順が変更されるか又は同時に診断が行われてもよいことは言うまでもない。

【0085】

各々の単位病理画像３１、３１－１、３１－２、３１－３などに対して、第１ニューラルネットワークを介する第１膀胱病変に対する病変の種類及び／又は領域と、第２ニューラルネットワークを介する第２膀胱病変に対する病変の種類及び／又は領域とに対する診断が行われると、各々の単位病理画像３１、３１－１、３１－２、３１－３などの診断結果をスライド画像にマッピングすることができる（Ｓ１３０）。

【0086】

これにより、スライド画像に対する診断結果、すなわちスライド画像で病変領域及び／又は種類が表示された情報を取得することができる。

【0087】

結局、本発明の技術的思想によると、膀胱癌の診断及び局所的な治療方法によって行われる経尿道的膀胱切除術により得られる組織検体を通じて、さらに様々な膀胱病変を診断できるニューラルネットワークに基づく診断システムを実現することができ、このような診断システムにおいて、病変領域をアノテーションして学習させなければならない膀胱病変に対してのみ、制限的に病変領域をアノテーションした学習データを用いてニューラルネットワークを構築し、残りの膀胱病変に対しては、病変の種類のみアノテーションした学習データを用いてニューラルネットワークを構築することで、診断システムを効果的に構築できるという効果がある。

【0088】

本発明の実施形態によるニューラルネットワークを用いた膀胱病変の診断方法は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして実現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが記憶されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、ハードディスク、フロッピーディスク、光データ記憶装置などがある。また、コンピュータで読み取り可能な記録媒体は、ネットワークで接続されたコンピュータシステムに分散して、分散方式でコンピュータで読み取り可能なコードを記憶して実行することができる。また、本発明を実現するための機能的な（ｆｕｎｃｔｉｏｎａｌ）プログラム、コード及びコードセグメントは、本発明が属する技術分野におけるプログラマーであれば容易に推論することができる。

【0089】

本発明は、図面に示す一実施形態を参照して説明されたが、これは例示的なものに過ぎず、本技術分野の通常の知識を有する者であれば、これより様々な変形及び均等な他の実施形態が可能であることを理解するであろう。よって、本発明の真の技術的保護範囲は、添付の登録請求の範囲の技術的思想によって定められるべきである。

【産業上の利用可能性】

【0090】

本発明は、ニューラルネットワークを用いた膀胱病変の診断方法及びそのシステムに用いることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】