(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-03
(45)【発行日】2025-02-12
(54)【発明の名称】ニューラルネットワークを介した疾患の診断結果を用いた予後予測方法及びそのシステム
(51)【国際特許分類】
G01N 33/48 20060101AFI20250204BHJP
G06T 7/00 20170101ALI20250204BHJP
G06V 10/82 20220101ALI20250204BHJP
【FI】
G01N33/48 M
G06T7/00 350C
G06T7/00 614
G06V10/82
(21)【出願番号】P 2023551760
(86)(22)【出願日】2022-03-14
(86)【国際出願番号】 KR2022003547
(87)【国際公開番号】W WO2022197045
(87)【国際公開日】2022-09-22
【審査請求日】2023-10-13
(31)【優先権主張番号】10-2021-0034257
(32)【優先日】2021-03-16
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2021-0141101
(32)【優先日】2021-10-21
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】519208133
【氏名又は名称】ディープ バイオ インク
(74)【代理人】
【識別番号】100120008
【氏名又は名称】山田 くみ子
(72)【発明者】
【氏名】キム ソンウ
【審査官】大瀧 真理
(56)【参考文献】
【文献】特開2020-126598(JP,A)
【文献】国際公開第2020/261183(WO,A1)
【文献】韓国公開特許第2021-0008283(KR,A)
【文献】国際公開第2019/231844(WO,A1)
【文献】国際公開第2020/045848(WO,A1)
【文献】特表2020-504349(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 33/48 - 33/98
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
プロセッサ、及びニューラルネットワークを記憶する記憶装置を含むシステムによって実現される予後予測方法であって、
前記システムが生体画像を入力されるステップと、
前記システムが、入力された生体画像に対して、前記生体画像で疾患が発現した発症領域が判定された発症領域診断結果を生成するステップと、
前記システムが、前記生体画像上で全組織のサイズに対応する第1の情報、及び前記診断結果に基づいて前記生体画像上で発症領域のサイズに対応する第2の情報を判定し、判定結果に基づいた予後予測情報を生成するステップと、
を含み、
前記システムが、入力された生体画像に対して、前記生体画像で疾患が発現した発症領域が判定された発症領域診断結果を生成するステップは、
前記生体画像が所定のサイズに分割された所定のパッチのそれぞれに対して疾患が発現したか否かの判定結果に基づいて前記発症領域診断結果を生成するか、又は前記パッチのそれぞれに対して、パッチのうち疾患が発現した領域をセグメンテーションした結果に基づいて前記発症領域診断結果を生成
し、
前記疾患が発現したとき、発現した疾患の状態が複数のクラスに区分される場合、前記システムが各クラス毎に発症領域診断結果を生成するステップを含み、
前記システムが、前記生体画像上で全組織のサイズに対応する第1の情報、及び前記診断結果に基づいて前記生体画像上で発症領域のサイズに対応する第2の情報を判定し、判定結果に基づいた予後予測情報を生成するステップは、
前記システムが、前記発症領域診断結果に基づいて各クラス毎に前記生体画像上で発症領域のサイズに対応する第2の情報を判定することを特徴とする、ニューラルネットワークを介した疾患の診断結果を用いた予後予測方法。
【請求項2】
前記予後予測情報は、
前記全組織のサイズに対する前記発症領域のサイズに対応する発現割合に関する情報を含む、請求項1に記載のニューラルネットワークを介した疾患の診断結果を用いた予後予測方法。
【請求項3】
データ処理装置に設置され、請求項1
または請求項
2のいずれか一項に記載の方法を行うための媒体に記録されたコンピュータプログラム。
【請求項4】
プロセッサ、及びニューラルネットワークを記憶する記憶装置を含む予後予測のためのシステムであって、
プロセッサと、
前記プロセッサによって駆動されるプログラム及びニューラルネットワークを記憶するメモリと、
を含み、
前記プロセッサは、前記プログラムを駆動することによって、
生体画像を入力され、生体画像に対して、前記生体画像で疾患が発現した発症領域が判定された発症領域診断結果を生成し、前記生体画像上で全組織のサイズに対応する第1の情報、及び前記診断結果に基づいて前記生体画像上で発症領域のサイズに対応する第2の情報を判定し、判定結果に基づいた予後予測情報を生成し、
前記生体画像が所定のサイズに分割された所定のパッチのそれぞれに対して疾患が発現したか否かの判定結果に基づいて前記発症領域診断結果を生成するか、又は前記パッチのそれぞれに対して、パッチのうち疾患が発現した領域をセグメンテーションした結果に基づいて前記発症領域診断結果を生成
し、
前記疾患が発現したとき、発現した疾患の状態が複数のクラスに区分される場合、各クラス毎に発症領域診断結果を生成し、
前記発症領域診断結果に基づいて各クラス毎に前記生体画像上で発症領域のサイズに対応する第2の情報を判定することを特徴とする、ニューラルネットワークを介した疾患の診断結果を用いた予後予測のためのシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ニューラルネットワークを介した疾患の診断結果を用いた予後予測方法及びそのシステムに関する。より詳しくは、ニューラルネットワークを介して疾患の発症領域を分割することができる疾患診断システムの診断結果を用いて、該当疾患の予後予測のための予測因子を導き出し、これを用いた予後予測を行うことができる方法及びそのシステムに関する。
【背景技術】
【0002】
病理学又は病理科で行う主なタスクの1つは患者の生体画像を読み取り、特定疾患に対する状態又は徴候を判定する診断を行うことである。このような診断は、長年にわたって熟練した医療関係者の経験と知識に依存する方式である。
【0003】
最近、機械学習の発達により、画像を認識又は分類するなどのタスクをコンピューティングシステムによって自動化しようとする試みが盛んに行われている。特に、機械学習の一種であるニューラルネットワーク(例えば、畳み込みニューラルネットワーク(Convolution neural network、CNN)を用いたディープラーニング方式)を用いて、熟練した医療関係者が行っていた診断を自動化するための試みがなされている。
【0004】
特に、ニューラルネットワーク(例えば、CNN)を用いたディープラーニングによる診断は、従来の熟練した医療関係者の経験と知識を単に自動化するのではなく、自ら学習を通じて特徴的な要素を見つけて所望の解答を導き出すという点において、むしろ熟練した医療関係者が知らない疾患因子の特徴を画像から見つける場合もある。
【0005】
一般に、生体画像を用いるニューラルネットワークを介した疾患の診断は、生体画像の断片、すなわちパッチ(pathch、又はタイル(tile)ともいう)を用いる。すなわち、該当のタイルに対して熟練した医療関係者は、特定疾患の状態(例えば、癌の発現有無)をアノテーション(annotaion)し、このようなアノテーションされた複数のタイルを学習データとして用いてニューラルネットワークを学習させることに(training)になる。このとき、ニューラルネットワークとして畳み込みニューラルネットワークを用いることができる。
【0006】
一方、疾患の予後予測のためには、診断の対象となる全組織で疾患の発現部位がどれだけ大きな領域を占めるかに関する情報、すなわち発現割合を重要なファクタとして活用することができる。このような発現割合を通じて疾患の進行状況を予測し、適した治療方法、手術の有無、薬剤の選択などが行われるので、予後予測のための発現割合は非常に重要な情報であり得る。
【0007】
しかし、従来は、病理専門家が目視で組織検体が含まれたガラススライドを顕微鏡で観察しながら自分が判定した発病領域を所定のツール(例えば、サインペンなど)でガラススライド上にマーキングし、マーキング情報に基づいて概略的な発現割合のみを導き出すのにとどまっていた。
【0008】
このような従来の発現割合の判定方式は
図1に示されている。
【0009】
図1は、従来の病理専門家によって疾患の発現割合が判定される方式を説明するための図である。
【0010】
図1を参照すると、
図1の上部に示すように、従来には少なくとも1つの生体組織が所定の方式で染色された後にスライドに配置される。
【0011】
すると、
図1の下部に示すように、病理専門家は、このようなスライドに配置された組織を顕微鏡を介して逐一目視で確認しながら、各組織で疾患が発現した領域をマーキングする。このとき、目視で確認しながら疾患の発症領域をマーキングしなければならないので、非常に微細な領域単位(例えば、前立腺癌の場合はグランド単位)でマーキングを行うことは実質的に不可能であり、
図1の下部に示すように、疾患の発症領域の一方向の端点と他方向の端点をマーキングする方式のように、おおよその発現割合を判定できる最小限の情報のみマーキングすることになる。
【0012】
図1の下部には、病理専門家が赤色の筆記具でスライド(ガラススライド)上に直接マーキングした一例を示している。また、
図1では、疾患が前立腺癌の場合を例示として説明するが、本発明の権利範囲がこれに限定されず、様々な疾患に本発明の技術的思想を適用できることを、本発明の技術分野の平均的な専門家であれば容易に推論することができるであろう。
【0013】
すると、
図1の下部の場合に、第1の組織に対して病理専門家の判定より分かる発現割合に関する情報は、該当組織の全長は8.5mmであり、マーキングされた情報に基づいて判定された発症領域の長さは7mmであり、発現した領域にはグリソンスコア3及び4が混在しているという情報であるかもしれない。
【0014】
また、第2の組織に対して病理専門家の判定より分かる発現割合に関する情報は、該当組織の全長は8mmであり、マーキングされた情報に基づいて判定された発症領域の長さは6.5mmであり、発現した領域にはグリソンスコア3及び4が混在しているという情報であるかもしれない。
【0015】
また、第3の組織に対して病理専門家の判定より分かる発現割合に関する情報は、該当組織の全長は9.6mmであり、マーキングされた情報に基づいて判定された発症領域の長さは1.5mmであり、発現した領域にはグリソンスコア3のみあるという情報であるかもしれない。
【0016】
このように病理専門家の判定に基づいて予後予測のための発現割合に関する情報を取得する場合は、疾患の発症領域をマーキングする方式、筆記具の太さ,病理専門家の判定時の体調に支配的な影響を受けるしかなく、おそらくかなりの不正確性がある。
【0017】
また、
図1でのように、通常、病理専門家の場合は、疾患の発症領域の境界(例えば、両端点)のみマーキングし、該当境界内のすべての領域に疾患が発現したと仮定して発現割合を予測することが一般的である。しかし、実際は、該当の境界内にも疾患が発現した領域と発現していない領域とが混在し、正確な発現割合を判定しにくいという問題がある。
【0018】
また、
図1で説明したように、疾患が発現しても疾患の進行状態(例えば、前立腺癌のグリソンスコア)が区分される場合は、疾患の進行状態毎の発現割合が重要な情報(例えば、全組織でグリソンスコア3のみの発現割合、グリソンスコア4のみの発現割合)となり得る場合にも、このような情報の取得が実質的に困難であるという問題がある。
【0019】
従って、ニューラルネットワークを用いた診断結果を用いて正確に予後予測のための情報を取得することができ、これを用いて疾患の予後予測を行うことができる方法及びそのシステムが切実にもとめられる。
【先行技術文献】
【特許文献】
【0020】
【文献】韓国特許出願公開第10-2019-0084814「ニューラルネットワーク及び非局所的ブロックを用いてセグメンテーションを行う疾患診断システム及び方法」
【発明の概要】
【発明が解決しようとする課題】
【0021】
本発明が達成しようとする技術的な課題は、ニューラルネットワークを用いた診断結果を用いて正確に予後予測のための情報を取得することができ、これを用いて疾患の予後予測を行うことができる技術的思想を提供することである。
【0022】
特に、本発明の目的は、パッチ単位で疾患が発現したと判定するものでなく、パッチ内でも疾患が発現した領域の区分のためのセグメンテーションを行うことによって得られた診断結果を用いることによって、より正確な予後予測情報を取得することができる技術的思想を提供することである。
【課題を解決するための手段】
【0023】
本発明の一態様によると、プロセッサ、及びニューラルネットワークを記憶する記憶装置を含むシステムによって実現される予後予測方法は、前記システムが生体画像を入力されるステップ、前記システムが、入力された生体画像に対して、前記生体画像で疾患が発現した発症領域が判定された発症領域診断結果を生成するステップと、前記システムが、前記生体画像上で全組織のサイズに対応する第1の情報、及び前記診断結果に基づいて前記生体画像上で発症領域のサイズに対応する第2の情報を判定し、判定結果に基づいた予後予測情報を生成するステップと、を含み、前記システムが、入力された生体画像に対して、前記生体画像で疾患が発現した発症領域が判定された発症領域診断結果を生成するステップは、前記生体画像が所定のサイズに分割された所定のパッチのそれぞれに対して疾患が発現したか否かの判定結果に基づいて前記発症領域診断結果を生成するか、又は前記パッチのそれぞれに対して、パッチのうち疾患が発現した領域をセグメンテーションを行った結果に基づいて前記発症領域診断結果を生成する。
【0024】
前記システムが、入力された生体画像に対して、前記生体画像で疾患が発現した発症領域が判定された発症領域診断結果を生成するステップは、前記疾患が発現したとき、発現した疾患の状態が複数のクラスに区分される場合、前記システムが各クラス毎に発症領域診断結果を生成するステップを含み、前記システムが、前記生体画像上で全組織のサイズに対応する第1の情報、及び前記診断結果に基づいて前記生体画像上で発症領域のサイズに対応する第2の情報を判定し、判定結果に基づいた予後予測情報を生成するステップは、前記システムが、前記発症領域診断結果に基づいて各クラス毎に前記生体画像上で発症領域のサイズに対応する第2の情報を判定することを特徴とすることができる。
【0025】
前記予後予測情報は、前記全組織のサイズに対する前記発症領域のサイズに対応する発現割合に関する情報を含んでもよい。
【0026】
他の態様による予後予測のためのシステムは、プロセッサ、前記プロセッサによって駆動されるプログラム及びニューラルネットワークを記憶するメモリを含み、前記プロセッサは、前記プログラムを駆動することによって、生体画像が入力され、生体画像に対して、前記生体画像で疾患が発現した発症領域が判定された発症領域診断結果を生成し、前記生体画像上で全組織のサイズに対応する第1の情報、及び前記診断結果に基づいて前記生体画像上で発症領域のサイズに対応する第2の情報を判定し、判定結果に基づいた予後予測情報を生成し、前記生体画像が所定のサイズに分割された所定のパッチのそれぞれに対して疾患が発現したか否かの判定結果に基づいて前記発症領域診断結果を生成するか、又は前記パッチのそれぞれに対して、パッチのうち疾患が発現した領域をセグメンテーションした結果に基づいて前記発症領域診断結果を生成する。
【0027】
前記プロセッサは、前記プログラムを駆動することによって、前記疾患が発現したとき、発現した疾患の状態が複数のクラスに区分される場合、各クラス毎に発症領域診断結果を生成し、前記発症領域診断結果に基づいて各クラス毎に前記生体画像上で発症領域のサイズに対応する第2の情報を判定することを特徴とすることができる。
【0028】
上記の方法は、データ処理装置に設置されたプログラムによって実現することができる。
【発明の効果】
【0029】
本発明の技術的思想によると、ニューラルネットワークを用いた診断結果を用いて予後予測を相対的に正確に行うことができる予後予測情報を取得することができ、これを用いて疾患の予後予測を行うことで、正確かつ客観的な情報に基づいた予後予測が可能となるという効果がある。
【0030】
また、パッチ単位で疾患が発現したと判定するものでなく、パッチ内でも疾患が発現した領域の区分のためのセグメンテーションを行った診断結果を用いることによって、より正確な予後予測情報を取得することができるという効果がある。
【図面の簡単な説明】
【0031】
本発明の詳細な説明で引用される図面をより十分に理解するために各図面の簡単な説明が提供される。
【
図1】従来の病理専門家によって疾患の発現割合が判定される方式を説明するための図である。
【
図2】本発明の技術的思想によるニューラルネットワークを介した疾患の診断結果を用いた予後予測方法を実現するための概略的なシステム構成を示す図である。
【
図3】本発明の実施形態によるシステムのハードウェア的な構成を説明するための図である。
【
図4】本発明の実施形態によるシステムの論理的な構成を説明するための図である。
【
図5】本発明の一実施形態によるシステムを診断システムと予後予測システムとに区分した一例を示すための図である。
【
図6】本発明の一実施形態によるニューラルネットワークを介した疾患の診断結果を用いた予後予測方法を説明するための生体画像の発症領域診断結果を示す図である。
【
図7】本発明の一実施形態によるパッチレベルセグメンテーションニューラルネットワークの全体的な構造を説明するための図である。
【発明を実施するための形態】
【0032】
本発明は、様々な変換を加えることができ、様々な実施形態を有することができるので、特定の実施形態を図面に示し、詳細に説明する。しかしながら、これは本発明を特定の実施形態に限定することを意図するものではなく、本発明の精神および技術的範囲に含まれるすべての変換、等価物から代替物を含むことを理解されたい。本発明の説明において、関連する公知技術の具体的な説明が本発明の要旨を不明瞭にすると判定される場合、その詳細な説明は省略する。
【0033】
第1、第2などの用語は様々な構成要素を説明するために使用することができるが、構成要素はその用語によって限定されるべきではない。上記用語は、ある構成要素を他の構成要素から区別する目的でのみ使用される。
【0034】
本出願で使用される用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定することを意図していない。単数の表現は、文脈上明らかに他に意味がない限り、複数の表現を含む。
【0035】
本明細書において、「含む」または「有する」などの用語は、本明細書に記載の特徴、数字、ステップ、動作、構成要素、部品、またはそれらを組み合わせたものが存在することを指定するものであり、1つまたは複数の他の特徴、数、ステップ、動作、構成要素、部品、またはそれらを組み合わせたものの存在または追加の可能性を事前に除外しないことを理解されたい。
【0036】
また、本明細書において、ある構成要素が他の構成要素にデータを「伝送」する場合、構成要素は、他の構成要素に直接データを伝送することもでき、少なくとも1つの別の構成要素を介して、データを他の構成要素に伝送することもできることを意味する。逆に、ある構成要素が他の構成要素にデータを「直接伝送」する場合、構成要素はまた他の構成要素を介さずに他の構成要素にデータを伝送することを意味する。
【0037】
以下、添付の図面を参照して本発明の実施形態を中心に本発明を詳細に説明する。各図に示されている同じ参照符号は同じ部材を示す。
【0038】
図2は、本発明の技術的思想によるニューラルネットワークを介した疾患の診断結果を用いた予後予測方法を実現するための概略的なシステム構成を示す図である。
図3は、本発明の実施形態によるシステムのハードウェア的な構成を説明するための図である。
図4は、本発明の実施形態によるシステムの論理的な構成を説明するための図である。
図5は、本発明の一実施形態によるシステムを診断システムと予後予測システムとに区分した一例を示すための図である。
【0039】
図2ないし
図5を参照すると、本発明の技術的思想を実現するためにニューラルネットワークを介した疾患の診断結果を用いた予後予測のためのシステム100を備えることができる。
【0040】
本発明の技術的思想によるシステム100は、所定のサーバ10に設置され、本発明の技術的思想を実現することができる。サーバ10は、本発明の技術的思想を実現するための演算能力を有するデータ処理装置を意味し、一般に、ネットワークを介してクライアントが接続可能なデータ処理装置だけでなく、パーソナルコンピュータ、携帯端末などのように特定サービスを行うことができるいかなる装置もサーバとして定義できることを、本発明の技術分野の平均的な専門家であれば容易に推論することができるであろう。
【0041】
サーバ10は、
図3に示すように、プロセッサ11及び記憶装置12(メモリ)を含んでもよい。プロセッサ11は、本発明の技術的思想を実現するためのプログラム12-1を駆動できる演算装置を意味し、プロセッサ11は、プログラム12-1と、本発明の技術的思想によって定義されるニューラルネットワーク12-2(Neural Network)とを用いて診断を行うことができる。
【0042】
ニューラルネットワーク12-2は、生体画像で所定の疾患が発現した領域を判定することができる。一例によると、ニューラルネットワーク12-2は、生体画像が所定のサイズに分割されたパッチに疾患が発現したか否かを判定するように学習された(trained)ものであってもよい。このようなニューラルネットワーク12-2を、後述するようにパッチレベル診断を行うパッチレベルクラシフィケーションニューラルネットワークと定義することができる。
【0043】
実施形態によっては、ニューラルネットワーク12-2は、パッチレベルクラシフィケーションニューラルネットワークだけでなく、それぞれのパッチのうちでも疾患が発現した領域のみを区分して特定するためのニューラルネットワーク、すなわちパッチレベルセグメンテーションニューラルネットワークを含んでもよい。パッチレベルセグメンテーションニューラルネットワークは、パッチのうち疾患が存在する領域を特定するパッチレベルセグメンテーションを行うこともできる。
【0044】
実施形態によって、ニューラルネットワーク12-2は、スライドレベル診断を行うニューラルネットワークをさらに含んでもよい。実施形態によって、スライドレベル診断を行う構成は、ニューラルネットワークだけでなく、様々な機械学習技術により実現されてもよい。本発明の技術的思想によると、スライドレベル診断を行う診断エンジンは、公知のXGBoostが用いられたが、様々な方式の機械学習技術による診断エンジンが実現されてもよく、このような診断エンジンは、記憶装置12に記憶されてもよいことは言うまでもない。
【0045】
サーバ10は、
図3に示すように、プロセッサ11及び記憶装置12を含んでもよい。プロセッサ11は、本発明の技術的思想を実現するためのプログラム12-1を駆動できる演算装置を意味し、プロセッサ11は、プログラム12-1と、本発明の技術的思想によって定義されるニューラルネットワーク12-2(Nerual Network)とを用いて診断を行うことができる。
【0046】
ニューラルネットワーク12-2は、後述するように、パッチレベル診断を行うニューラルネットワークを含んでもよい。パッチレベル診断を行うニューラルネットワークは、スライドを分割した一部であるパッチに疾患が存在するか否かを判定することができる。また、パッチレベル診断を行うニューラルネットワークは、該当パッチのうち疾患の発症領域を特定するセグメンテーションを行うこともでき、このようなニューラルネットワークを以下ではパッチレベルセグメンテーションニューラルネットワークと呼ぶ。
【0047】
記憶装置12は、プログラム12-1、ニューラルネットワーク12-2、及び/又はスライドレベル診断を行う診断エンジンを記憶できるデータ記憶手段を意味し、実施形態によって複数の記憶手段で実現されてもよい。また記憶装置12は、サーバ10に含まれた主記憶装置だけでなく、プロセッサ11に含まれ得る一時記憶装置又はメモリなどを含む意味であってもよい。
【0048】
システム100は、
図2又は
図3では、いずれかの物理装置で実現されたように示しているが、必要に応じて複数の物理装置が有機的に結合されて本発明の技術的思想によるシステム100を実現できることを、本発明の技術分野の平均的な専門家であれば容易に推論することができるであろう。
【0049】
本明細書において、システム100が診断を行うとは、生体組織が表現された生体画像、すなわちスライドの全体又はスライドの一部であるパッチを入力し、本明細書で定義された出力データを出力する一連のプロセスを意味し得る。
【0050】
一例によると、システム100は、ツーフェイズ(two phase)診断を行うことができる。第1のフェイズは、パッチレベル診断を行う過程であってもよく、このような過程で、システム100は、スライドのパッチ毎に入力を受け、該当パッチに疾患の発現有無を出力し、及び/又は該当パッチで疾患が発症した領域を特定することができる。このためのニューラルネットワークを学習して実現することができることは言うまでもない。
【0051】
第2のフェイズは、第1のフェイズの診断結果よりスライドに疾患が発現したか否かを出力することができる。このような過程は、ニューラルネットワーク又は所定の機械学習技術を用いることができる。
【0052】
すなわち、パッチ毎の診断結果によって、一部のパッチが疾患が発現したと判定されても、該当パッチを含むスライド全体に対応する生体組織で疾患が発現したと判定されない可能性は存在し得る。例えば、疾患が発現したと判定されたパッチがスライド内で散らばっているか、又はその数が少ない場合、又は密集度などその他疾患が発現したと判定されたパッチの物理的特性(例えば、位置、サイズ、密集度など)が実際の該当スライドで疾患の発現有無の判定に重要な意味を有し得る。従って、第2のフェイズは、パッチ毎の診断結果と、このような診断結果に基づいて判定されたパッチ(すなわち、疾患が発現したと診断されたパッチ)の特性に基づいてスライドにおける疾患の発現有無を判定することで、効果的かつ精度の高い診断を行うことができる。
【0053】
一方、システム100がパッチ毎にセグメンテーションを行うためのパッチレベルセグメンテーションニューラルネットワークを含んでもよい。これは、パッチ単位の診断結果によって、疾患の発現有無をパッチ毎に判定(すなわち、パッチ毎にクラシフィケーション)し、パッチ単位で疾患が発現したと判定される場合は、パッチ内に疾患が発現していない領域が存在するにも、パッチ全体に疾患が発現したと判定される問題があり得る。従って、疾患と診断された組織部分を明確に把握できるように、いずれのパッチ内でも疾患領域を区分できるセグメンテーションが必要であり、このためにパッチレベルセグメンテーションニューラルネットワークを実現することができる。
【0054】
このようなセグメンテーションのための技術的思想の一例は、韓国公開特許10-2019-0084814「ニューラルネットワーク及び非局所的ブロックを用いてセグメンテーションを行う疾患診断システム及び方法」(以下、「以前出願」)に開示されており、以前出願は本発明の参照として含まれてもよい。
【0055】
いかなる場合においても、ニューラルネットワーク12-2は、疾患の発現有無をパッチ毎に判定し、実施形態によってそれぞれのパッチ内でも疾患の発症領域のみを特定することができる。
【0056】
すなわち、ニューラルネットワーク12-2は、疾患の発症領域を単にパッチ毎にのみ判定してもよく、パッチ内でも疾患の発症領域のみをさらに特定してもよい。
【0057】
また、ニューラルネットワーク12-2は、特定疾患の発現有無だけでなく、特定疾患の進行度を示す状態情報(又は進行度に該当する確率)を判定してもよい。
【0058】
例えば、本発明の技術的思想が前立腺癌の診断に用いられる場合、前立腺癌の進行度を示す指標であるグリソンパターン(Gleason Pattern)又はグリソンスコア(Gleason Score)がニューラルネットワークが出力する状態情報に含まれてもよい。例えば、グリソンスコアは2ないし5の値を有し、数字が大きいほど前立腺癌の発現程度が大きいことを示す。従って、状態情報は、診断の対象となるパッチに該当する生体組織がグリソンスコアの特定値(例えば、3、4、又は5)に該当する確率を意味し得る。
【0059】
すなわち、ニューラルネットワーク12-2は、パッチ毎に単に疾患の発現有無だけでなく、疾患が発現した場合でも該当パッチが複数のクラス(例えば、グリソンスコア3、4、又は5)のいずれのクラスに分類されるかを判定することができる。
【0060】
システム100が所定のサーバ10に含まれて実現される場合、システム100は、サーバ10に接続可能な少なくとも1つのクライアント(例えば、20、20-1)と通信を行ってもよい。このような場合、クライアント(例えば、20、20-1)は、生体画像をシステム100に伝送してもよく、システム100は、伝送された生体画像に対して本発明の技術的思想による診断を行ってもよい。また、診断結果をクライアント(例えば、20、20-1)に伝送してもよい。また、システム100は、生体画像の診断結果に基づいて予後予測情報を生成して出力してもよい。
【0061】
このために、システム100は、
図5に示すように診断システムと予後予測システムとを含んでもよい。
【0062】
診断システムは、上述したように、生体画像が入力されて診断を行う構成であってもよい。診断を行うとは、特に生体画像で疾患が発現した領域を特定できる情報、すなわち発症領域診断結果を出力することを意味し得る。発症領域診断結果は、生体画像上で疾患が発現した領域を特定できる情報であれば十分である。例えば、生体画像上で疾患が発現した領域が他の領域と区分されるように表示された画像情報自体が発症領域診断結果であってもよく、疾患が発現した領域に含まれる画素に関する情報(座標)が発症領域診断結果であってもよい。或いは疾患が発現したパッチの識別情報が発症領域診断結果であってもよい。発症領域診断結果を実現するための様々な実施形態が存在し得る。
【0063】
予後予測システムは、予後予測に用いられる情報を生成することができる。このために、予後予測システムは、診断システムから発症領域診断結果を受信することができる。
【0064】
すると、予後予測システムは、生体画像上で全組織のサイズに対応する第1の情報、及び診断結果に基づいて生体画像上で発症領域のサイズに対応する第2の情報を判定することができる。また、判定結果に基づいた予後予測情報を生成することができる。予後予測情報は、上述したように、発現割合に関する情報を含んでもよいが、これに限定されず、発症領域診断結果から導き出すことができ、予後予測に有意性を有するいかなる情報も予後予測情報に含まれ得る。
【0065】
第1の情報は、組織のサイズに関する情報を示すことができ、第1の情報は長さ、面積、画素数など様々な方式で定義することができる。
【0066】
第1の情報を判定するために、予後予測システムは、組織の染色された色と背景を所定の方式で区分して組織のサイズに対応する第1の情報を演算することができる。
【0067】
第2の情報は、組織のうち実際に疾患が発現した領域のサイズを示す情報であり得る。
【0068】
また、診断システムが、疾患が発現した場合に、疾患の状態によって複数のクラスのいずれかで発現した疾患を分類するように実現された場合、各クラス毎に発症領域のサイズを示す第2の情報が予後予測システムによって演算され得る。例えば、前立腺癌の場合、グリソンスコア3に対応する第2の情報、グリソンスコア4に対応する第2の情報、及びグリソンスコア5に対応する第2の情報がそれぞれ個別に判定されてもよい。
【0069】
一方、診断システムは、上述したように、単にパッチ毎に疾患の診断を行ってもよく、このような場合は、疾患が発現したと判定されたパッチに対しては、パッチ全体が該当する疾患(又は該当するクラスの疾患)が発現したものとして扱われてもよい。
【0070】
このような場合でも、
図1で上述したように、従来の病理専門家によって第2の情報が判定されることと比べると、遥かに正確な予後予測情報の演算が可能となり得る。
【0071】
実施形態によっては、診断システムは、パッチのそれぞれに対して、パッチのうち疾患が発現した領域をセグメンテーションすることができる。このような場合は、いずれのパッチ内でも疾患が発現した領域のみ区分して特定でき、これによって、第2の情報はより正確となり、その結果に基づいて第2の情報が判定される場合、より精度の高い予後予測情報の演算が可能となる。
【0072】
上記
図5に示すような診断システムと予後予測システムとの区分は、その論理的機能を区分したものであり、必ずしも物理的に区分された構成で本発明の技術的思想によるシステム100が実現されることを意味するわけではない。すなわち、上記
図3及び
図4に開示された構成が、診断システム及び予後予測システムを全て実現することができる。
【0073】
【0074】
図6は、本発明の一実施形態によるニューラルネットワークを介した疾患の診断結果を用いた予後予測方法を説明するための生体画像の発症領域診断結果を示す図である。
【0075】
図6は、
図1に示す組織が本発明の技術的思想による診断システムによって診断され、発症領域診断結果が生体画像上で表示された一例を示す。
【0076】
図6に黄色で表示された領域は、疾患状態のうち所定の第1のクラス(例えば、グリソンスコア3)と判定された領域であり、かば色で表示された領域は、疾患状態のうち所定の第2のクラス(例えば、グリソンスコア4)と判定された領域を示す。
【0077】
図6及び
図1を比較して参照すると、
図6に示すように、病理専門家が疾患が発現した領域の境界をマーキングし、境界内の組織をすべて疾患が発現したものとして扱うこととは異なり、本発明の技術的思想によると、境界内でも実際に疾患が発現した領域とそうではない領域とを画素レベル又はそれに近い細部領域まで区分して判定することができる。
【0078】
従って、従来はおおよその発現割合のみ推定されることに比べて、本発明の技術的思想によると、比較的に非常に正確な疾患の発症領域のサイズに関する情報を取得することができる。
【0079】
また、
図6に示すように、疾患が発現した領域だけでなく、疾患の状態、すなわちクラス毎に正確な領域の計算が可能となり得る。従って、システム100は、全組織に対する疾患の発症領域の割合だけでなく、疾患の発症領域に対する第1のクラス(例えば、グリソンスコア3)の発症領域の割合、疾患の発症領域に対する第2のクラスの発症領域の割合(例えば、グリソンスコア4)、第1のクラスの発症領域に対する第2のクラスの発症領域の割合など、予後予測のための様々な指標を設定することができる。
【0080】
このように様々な予後予測情報を活用できることは、現在の患者の状態をより詳しく区分することができ、それによる治療や処方が可能となることを意味し得る。
【0081】
一方、ニューラルネットワーク12-2は、上述したように、パッチレベルで疾患の診断を行い、生体画像上で疾患の発症領域を判定することができる。もちろん、このような診断を行うためにニューラルネットワークを学習させるプロセスを先に行ってもよい。また、スライドレベル診断にも所定のニューラルネットワークを利用可能なことは上述した通りである。
【0082】
従って、システム100は、本発明の技術的思想によって学習されたニューラルネットワーク、及びニューラルネットワークを用いて診断を行うためのプログラムを外部から受信して診断を行うシステムであってもよく、ニューラルネットワークの学習まで行うシステムであってもよい。また、システム100は、汎用のデータ処理装置でなく、本発明の技術的思想を実現するために製作された専用装置で実現されてもよく、このような場合は、生体画像をスキャンするための手段などをさらに備えてもよい。
【0083】
このような技術的思想を実現するためのシステムは、論理的に
図4のような構成を有することができる。
【0084】
図4を参照すると、システムは、制御モジュール110、及びニューラルネットワーク及び/又はスライド診断エンジンが記憶されたニューラルネットワークモジュール120を含む。また、システム100は、前処理モジュール130をさらに含んでもよい。本発明の実施形態によって、上述の構成要素のうちの一部の構成要素は、必ずしも本発明の実現に必須な構成要素に該当しなくてもよく、また実施形態によって、システム100は、これよりも多くの構成要素を含んでもよいことは言うまでもない。例えば、システム100は、クライアント(例えば、20、20-1)と通信するための通信モジュール(図示せず)をさらに含んでもよい。
【0085】
システム100は、本発明の技術的思想を実現するために必要なハードウェアリソース(resource)及び/又はソフトウェアを備えた論理的な構成を意味し、必ずしも1つの物理的な構成要素又は1つの装置を意味するわけではない。すなわち、システム100は、本発明の技術的思想を実現するために備えられるハードウェア及び/又はソフトウェアの論理的な結合を意味し、必要に応じては、互いに離隔した装置に設置され、それぞれの機能を行うことで本発明の技術的思想を実現するための論理的な構成の集合で実現されてもよい。また、システム100は、本発明の技術的思想を実現するためのそれぞれの機能又は役割毎に別に実現される構成の集合を意味し得る。例えば、制御モジュール110、ニューラルネットワークモジュール120、及び/又は前処理モジュール130のそれぞれは、互いに異なる物理装置に位置してもよく、同一の物理装置に位置してもよい。また、実施形態によっては、制御モジュール110、ニューラルネットワークモジュール120及び/又は前処理モジュール130のそれぞれを構成するソフトウェア及び/又はハードウェアの結合も互いに異なる物理装置に位置し、互いに異なる物理装置に位置した構成が互いに有機的に結合されてそれぞれのモジュールを実現することもできる。
【0086】
また、本明細書でモジュールとは、本発明の技術的思想を行うためのハードウェア及びハードウェアを駆動するためのソフトウェアの機能的、構造的結合を意味し得る。例えば、モジュールは、所定のコードと、所定のコードが行われるためのハードウェアリソース(resource)の論理的な単位を意味し、必ずしも物理的に接続されたコードを意味するか、一種類のハードウェアを意味するわけではないことは、本発明の技術分野の平均的な専門家であれば容易に推論することができるであろう。
【0087】
制御モジュール110は、本発明の技術的思想を実現するためにシステム100に含まれた他の構成(例えば、ニューラルネットワークモジュール120及び/又は前処理モジュール130など)を制御することができる。
【0088】
また、制御モジュール110は、生体画像を入力され、入力された生体画像に対して、記憶されたニューラルネットワークモジュール120及び/又はスライド診断エンジンを用いて本発明の技術的思想による診断を行うことができる。また発症領域診断結果を出力することができる。また、制御モジュール110は、予後予測情報を生成することができる。
【0089】
制御モジュール110は、ニューラルネットワークモジュール120に記憶されたパッチレベルニューラルネットワーク、すなわち学習されたニューラルネットワークに入力データ、すなわちパッチ毎に入力を受けることができる。また、ニューラルネットワークによって定義される演算を行って出力データ、すなわちパッチに該当する疾患発現確率に対応する特徴値を出力することができる。また、実施形態によっては、パッチのうち疾患が発現した領域を特定することができる。また、実施形態によっては、後述するようなスライドレベル診断のために特徴値が所定の閾値であるか否かによって、該当パッチが疾患が発現したか否かを出力することもできる。
【0090】
ニューラルネットワークモジュール120は、パッチレベル診断を行うパッチ診断エンジン、及びスライドレベル診断を行うスライド診断エンジンを含んでもよい。
【0091】
パッチレベル診断エンジンは、上述したように、本発明の技術的思想によるディープラーニングに基づくニューラルネットワークを介して実現することができる。スライド診断エンジンは、ディープラーニングに基づくニューラルネットワークが用いられてもよく、ニューラルネットワークでなく所定の機械学習(例えば、XGBoost)エンジンが用いられてもよい。
【0092】
ニューラルネットワークは、ニューラルネットワークを定義する一連の設計事項を表現する情報の集合を意味し得る。本明細書でニューラルネットワークは畳み込みニューラルネットワークであってもよい。
【0093】
畳み込みニューラルネットワークは、よく知られているように、入力層、複数の隠れ層、及び出力層を含んでもよい。複数の隠れ層のそれぞれは、畳み込み層及びプーリング層(又はサブサンプリング層)を含んでもよい。また、バッチ正規化(batch normalization;BN)層などの正規化層を含むように畳み込みニューラルネットワークが設計されてもよい。
【0094】
畳み込みニューラルネットワークは、このようなそれぞれの層を定義するための関数、フィルタ、ストライド(stride)、重み係数などによって定義することができる。また、出力層は、完全接続(fully connected)されたフィードフォワード層(FeedForward layer)と定義することができる。
【0095】
畳み込みニューラルネットワークを構成する各層毎の設計事項は広く知られている。例えば、複数の層に含まれる層の数、複数の層を定義するための畳み込み関数、プーリング関数、活性化関数のそれぞれに対しては、公知の関数を用いてもよく、本発明の技術的思想を実現するために別に定義された関数を用いてもよい。
【0096】
畳み込み関数の一例としては、離散畳み込み和などがある。プーリング関数の一例としては、マックスプーリング(max pooling)、アベレージプーリング(average pooling)などを用いることができる。活性化関数の一例としては、シグモイド(sigmoid)、タンジェントハイパーボリック(tanh)、ReLU(rectified linear unit)、Swish、ELU(exponential linear unit)などであってもよい。
【0097】
前述のように、パッチレベル診断を行うニューラルネットワークは、パッチに疾患が存在するか否かを判定するだけでなく、該当パッチのうち疾患の発症領域を特定するためのセグメンテーションを行うパッチレベルセグメンテーションニューラルネットワークであってもよい。
【0098】
本発明の一実施形態によるパッチレベルセグメンテーションニューラルネットワークは、パッチに疾患が存在するか否かを判定するためのクラシフィケーションを行うニューラルネットワーク(後述する「パッチレベルクラシフィケーションニューラルネットワーク」)に基づいて、これにセグメンテーションのための別途のアーキテクチャを結合した形態で実現することができる。このようなパッチレベルセグメンテーションニューラルネットワークの構造が
図7に示されている。
図7に示すパッチレベルセグメンテーションニューラルネットワークは、以前出願に詳しく開示されているので、簡単に説明すると以下の通りである。
【0099】
図7に示すように、本発明の一実施形態によるパッチレベルセグメンテーションニューラルネットワーク400は、パッチレベルクラシフィケーションニューラルネットワーク200及びパッチレベルセグメンテーションアーキテクチャ500を含んでもよい。
【0100】
パッチレベルクラシフィケーションニューラルネットワーク200は、スライドを分割した一部であるパッチを入力層に入力し、パッチに疾患が存在するか否かに関するパッチレベル分類結果(例えば、
図7に示すようなスコア)を出力することができる。これをクラシフィケーションと呼び、クラシフィケーション過程でパッチレベルクラシフィケーションニューラルネットワーク200は、内部に含まれた一部の隠れ層で中間生成物として入力(すなわち、パッチ)に対する特徴を生成することができる。特に、画像のような二次元以上のマトリックスを入力として受ける場合、生成される特徴は二次元マトリックスの形態であるので、特徴マップという用語を使用する場合もある。一方、以下では、パッチレベルクラシフィケーションニューラルネットワーク200に含まれた隠れ層のうち特徴マップを生成する層を特徴マップ抽出層と呼ぶ。
【0101】
一方、パッチレベルセグメンテーションアーキテクチャ500は、パッチレベルクラシフィケーションニューラルネットワーク200に含まれた隠れ層のうち2以上の特徴マップ抽出層のそれぞれで生成される特徴マップ(例えば、以前出願の
図4に示されているf1、f2、f3)の入力を受け、パッチのうち疾患が存在する領域を特定して出力することができる。
【0102】
図7では、パッチレベルクラシフィケーションニューラルネットワーク200がクラシフィケーションを行う過程で、3つの特徴マップ(低レベル特徴マップf1、中レベル特徴マップf2、高レベル特徴マップf3)を生成する例を示しているが、実施形態によって、これより多いまたは少ない数の特徴マップを生成できることは言うまでもない。
【0103】
一方、本発明の実施形態によると、パッチレベルクラシフィケーションを行うパッチレベルクラシフィケーションニューラルネットワーク200は、公知のdensenetを用いることができるが、これに限らない。他にも様々なニューラルネットワークを活用でき、いかなる場合においても、パッチレベルクラシフィケーションニューラルネットワーク200は、特定パッチを入力として受け、該当の特定パッチの疾患発現確率に対応する特徴値を出力するように定義することができる。
【0104】
パッチレベルセグメンテーションアーキテクチャ500は、上述したように、パッチレベルクラシフィケーションニューラルネットワーク200で行われるクラシフィケーション過程で、それぞれの特徴抽出層によって特徴マップf1、f2、f3が生成され、これに基づいてパッチのうち疾患が存在する領域を特定することができる。また、このために非局所的な相関関係を利用可能なことは以前出願に開示された通りである。
【0105】
上述したように、ニューラルネットワークモジュール120によって疾患が発現した領域が特定されると、すなわち、発症領域診断結果が生成されると、制御モジュール110は予後予測情報を生成することができる。
【0106】
制御モジュール110は、上述したように、診断の対象となった生体画像上で全組織のサイズに対応する第1の情報を判定することができる。例えば、画素の数及び/又はパッチの数に基づいて第1の情報を判定することができる。
【0107】
また、診断結果に基づいて生体画像上で発症領域のサイズに対応する第2の情報を判定することができる。例えば、疾患が発現したと判定された画素及び/又はパッチの数に基づいて第2の情報を判定することができる。
【0108】
すると、制御モジュール110は、第1の情報、及び第2の情報に基づいて予後予測情報を生成することができる。
【0109】
また、制御モジュール110は、ニューラルネットワークモジュール120が画素単位及び/又はパッチ毎に疾患の発現有無を判定して疾患を複数のクラスに区分した場合、各クラス毎に生体画像上で発症領域のサイズに対応する第2の情報を判定することができる。また、このような場合に予後予測情報には、全組織のサイズに対するそれぞれのクラス毎の疾患発症領域のサイズに対応する発現割合が含まれ得ることは言うまでもない。
【0110】
前処理モジュール130は、ニューラルネットワークを用いて診断を行う前に必要な生体画像の前処理を行うことができる。例えば、生体画像の前処理は、生体画像を予め定義されたサイズのパッチにパッチ化する過程を含んでもよく、上述したように、パッチ毎の画素のグレー値を算出してもよい。また、必要に応じて、ニューラルネットワークに適した方式で適切な画像処理を行うこともできることを、本発明の技術分野の平均的な専門家であれば容易に推論することができるであろう。
【0111】
一方、実施形態によって、システム100は、プロセッサ、及びプロセッサによって実行されるプログラムを記憶するメモリを含んでもよい。プロセッサは、シングルコアCPU又はマルチコアCPUを含んでもよい。メモリは、高速ランダムアクセスメモリを含んでもよく、1つ以上の磁気ディスク記憶装置、フラッシュメモリ装置、又はその他不揮発性固体状態メモリ装置のような不揮発性メモリを含んでもよい。プロセッサ、及びその他構成要素によるメモリへのアクセスは、メモリコントローラによって制御することができる。
【0112】
一方、本発明の実施形態による方法は、コンピュータで読み取り可能なプログラム命令形態で実現され、コンピュータで読み取り可能な記録媒体に記憶されてもよく、本発明の実施形態による制御プログラム及び対象プログラムもコンピュータで読み取り可能な記録媒体に記憶されてもよい。コンピュータで読み取り可能な記録媒体は、コンピューティングシステムによって読み取り可能なデータが記憶されるあらゆる種類の記録装置を含む。
【0113】
記録媒体に記録されるプログラム命令は、本発明のために特別に設計及び構成されたものなどや、ソフトウェア分野の当業者に公知として使用可能なものであってもよい。
【0114】
コンピュータで読み取り可能な記録媒体の例としては、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体(magnetic media)、CD-ROM、DVDのような光記録媒体(optical media)、フロプティカルディスク(floptical disk)のような磁気-光媒体(magneto-optical media)及びROM、RAM、フラッシュメモリなどのようなプログラム命令を記憶して実行するために特別に構成されたハードウェア装置が含まれる。またコンピュータで読み取り可能な記録媒体は、ネットワークで接続されたコンピューティングシステムに分散され、分散方式でコンピュータで読み取り可能なコードを記憶して実行することができる。
【0115】
プログラム命令の例としては、コンパイラによって作成される機械語コードだけでなく、インタプリタなどを用いて電子的に情報を処理する装置、例えば、コンピュータによって実行することができる高級言語コードを含む。
【0116】
上述のハードウェア装置は、本発明の動作を行うために1つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。
【0117】
上述した本発明の説明は例示のためのものであり、本発明が属する技術分野の通常の知識を有する者であれば、本発明の技術的思想や必須の特徴を変更することなく他の具体的な形態に容易に変形が可能であることを理解することができるであろう。従って、上記で説明した実施形態はすべての点で例示的なものであり、限定的なものではないと理解すべきである。例えば、単一の形態で説明されている各構成要素は分散して実施することができ、同様に分散されたと記載されている構成要素も組み合わせた形で実施することができる。
【0118】
本発明の範囲は、上記の詳細な説明ではなく、後述する特許請求の範囲によって示され、特許請求の範囲の意味及び範囲、またその均等概念から導出される全ての変更又は変形された形態が本発明の範囲に含まれるものと解釈されるべきである。
【産業上の利用可能性】
【0119】
本発明は、ニューラルネットワークを介した疾患の診断結果を用いた予後予測方法及びそのシステムに用いることができる。