特許7499364マルチスケールに基づく全スライド病理特徴融合抽出方法、システム、電子機器及び記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-05
(45)【発行日】2024-06-13
(54)【発明の名称】マルチスケールに基づく全スライド病理特徴融合抽出方法、システム、電子機器及び記憶媒体
(51)【国際特許分類】
G06T 7/00 20170101AFI20240606BHJP
G06V 10/82 20220101ALI20240606BHJP
【ＦＩ】
G06T7/00 350C
G06V10/82
【請求項の数】
5
(21)【出願番号】P 2023006840
(22)【出願日】2023-01-19
(65)【公開番号】P2024027078
(43)【公開日】2024-02-29
【審査請求日】2023-02-10
(31)【優先権主張番号】202210980583.3
(32)【優先日】2022-08-16
(33)【優先権主張国・地域又は機関】CN
【早期審査対象出願】
【前置審査】
(73)【特許権者】
【識別番号】521162399
【氏名又は名称】之江実験室
(74)【代理人】
【識別番号】110000729
【氏名又は名称】弁理士法人ユニアス国際特許事務所
(72)【発明者】
【氏名】朱 聞▲タオ▼
(72)【発明者】
【氏名】黄 海亮
(72)【発明者】
【氏名】金 源
(72)【発明者】
【氏名】薛 梦凡
【審査官】宮島 潤
(56)【参考文献】
【文献】中国特許出願公開第１１１９８５５３６（ＣＮ，Ａ）
【文献】中国特許出願公開第１１２３４８０５９（ＣＮ，Ａ）
【文献】中国特許出願公開第１１４２５５３８６（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
(57)【特許請求の範囲】
【請求項1】
マルチスケールに基づく全スライド病理特徴融合抽出方法であって、処理すべき全スライド病理画像を同じサイズの複数の前景病理画像に分割するステップと、
各前景病理画像に対して特徴抽出を行い、各前景病理画像に対応する前景病理画像特徴を得るステップであって、
前記各前景病理画像に対して、
処理すべき前景病理画像をダウンサンプリングし、低解像度の前景病理画像を得、
処理すべき前景病理画像を分割して同じサイズの複数の画像ブロックを得、
前記低解像度の前景病理画像及び前記複数の画像ブロックを訓練された第１の特徴抽出ネットワーク及び第２の特徴抽出ネットワークの特徴抽出モジュールにそれぞれ入力して特徴抽出を行い、ここで、前記第１の特徴抽出ネットワーク及び第２の特徴抽出ネットワークは、いずれも順に接続された特徴抽出モジュールと空間的アテンションモジュールからなり、前記第１の特徴抽出ネットワークの特徴抽出ネットワークの入力は前記低解像度の前景病理画像であり、出力は前記低解像度の前景病理画像に対応する特徴であり、前記第２の特徴抽出ネットワークの特徴抽出ネットワークの入力は前記複数の画像ブロックであり、出力は前記複数の画像ブロックに対応する特徴であり、
第１の特徴抽出ネットワークの空間的アテンションモジュール及び第２の特徴抽出ネットワークの空間的アテンションモジュールをそれぞれ介して、前記低解像度の前景病理画像及び前記複数の画像ブロックに対応する空間的アテンションスコアを出力し、ここで、第１の特徴抽出ネットワークの空間的アテンションモジュールの入力は前記低解像度の前景病理画像に対応する特徴であり、出力は前記低解像度の前景病理画像に対応する空間的アテンションスコアであり、第２の特徴抽出ネットワークの空間的アテンションモジュールの入力は前記複数の画像ブロックに対応する特徴であり、出力は前記複数の画像ブロックに対応する空間的アテンションスコアであり、
複数の画像ブロックにおける各画像ブロックについて、当該画像ブロックから抽出された特徴及び前記低解像度の前景病理画像から抽出された特徴を結合し、当該画像ブロックに対応する結合された特徴を得、当該画像ブロックに対応する空間的アテンションスコアを当該画像ブロックに対応する結合された特徴の重みとし、各結合された特徴の重みに基づいて各結合された特徴の重み付き和を求め、当該処理すべき前景病理画像に対応する前景病理画像特徴を得ることを含むステップと、
複数の前景病理画像における各前景病理画像について、当該前景病理画像をダウンサンプリングして得られた低解像度の前景病理画像に対応する空間的アテンションスコアを当該前景病理画像に対応する前景病理画像特徴の重みとして、前記各前景病理画像に対応する前景病理画像特徴の重み付き和を求め、全スライド病理画像の融合特徴を得るステップと、を含み、
前記マルチスケールは、複数の前景病理画像における各前景病理画像について、当該前景病理画像をダウンサンプリングして得られる低解像度の前景病理画像と、当該前景病理画像を分割して得られる元々の解像度の複数の画像ブロックとを取得することであり、
前記全スライド病理画像は、病理切片全体の全ての視野に対応する各スライド画像を、繋ぎ合わせることで得られた超高解像度を有するデジタル病理画像であり、全スライド病理特徴は前記全スライド病理画像の特徴であり、
前記空間的アテンションスコアは、画像のどの領域に注目するかを表すスコアであり、前記空間的アテンションモジュールは空間的アテンションスコアを算出するように構成されるモジュールである
ことを特徴とするマルチスケールに基づく全スライド病理特徴融合抽出方法。
【請求項2】
処理すべき全スライド病理画像を同じサイズの複数の前景病理画像に分割するステップは、処理すべき全スライド病理画像の前景マスクを取得し、
設定された画像サイズに従って、全スライド病理画像からパッチ画像をスライディングウィンドウで切り取り、切り取ったパッチ画像を規定する４辺の頂点のうち、３つ以上の頂点が前記前景マスク内にある場合、対応するパッチ画像を前景病理画像として残し、そうでない場合、破棄することを含む、
ことを特徴とする請求項１に記載のマルチスケールに基づく全スライド病理特徴融合抽出方法。
【請求項3】
マルチスケールに基づく全スライド病理特徴融合抽出システムであって、処理すべき全スライド病理画像を同じサイズの複数の前景病理画像に分割するように構成されるデータ事前処理モジュールと、
各前景病理画像に対して特徴抽出を行い、各前景病理画像に対応する前景病理画像特徴を得るように構成される特徴抽出モジュールであって、
処理すべき前景病理画像をダウンサンプリングし、低解像度の前景病理画像を得、
処理すべき前景病理画像を分割して同じサイズの複数の画像ブロックを得、
前記低解像度の前景病理画像及び前記複数の画像ブロックを訓練された第１の特徴抽出ネットワーク及び第２の特徴抽出ネットワークの特徴抽出モジュールにそれぞれ入力して特徴抽出を行い、ここで、前記第１の特徴抽出ネットワーク及び第２の特徴抽出ネットワークは、いずれも順に接続された特徴抽出モジュールと空間的アテンションモジュールからなり、前記第１の特徴抽出ネットワークの特徴抽出ネットワークの入力は前記低解像度の前景病理画像であり、出力は前記低解像度の前景病理画像に対応する特徴であり、前記第２の特徴抽出ネットワークの特徴抽出ネットワークの入力は前記複数の画像ブロックであり、出力は前記複数の画像ブロックに対応する特徴であり、
第１の特徴抽出ネットワークの空間的アテンションモジュール及び第２の特徴抽出ネットワークの空間的アテンションモジュールをそれぞれ介して、前記低解像度の前景病理画像及び前記複数の画像ブロックに対応する空間的アテンションスコアを出力し、ここで、第１の特徴抽出ネットワークの空間的アテンションモジュールの入力は前記低解像度の前景病理画像に対応する特徴であり、出力は前記低解像度の前景病理画像に対応する空間的アテンションスコアであり、第２の特徴抽出ネットワークの空間的アテンションモジュールの入力は前記複数の画像ブロックに対応する特徴であり、出力は前記複数の画像ブロックに対応する空間的アテンションスコアであり、
複数の画像ブロックにおける各画像ブロックについて、当該画像ブロックから抽出された特徴及び前記低解像度の前景病理画像から抽出された特徴を結合し、当該画像ブロックに対応する結合された特徴を得、当該画像ブロックに対応する空間的アテンションスコアを当該画像ブロックに対応する結合された特徴の重みとし、各結合された特徴の重みに基づいて各結合された特徴の重み付き和を求め、当該処理すべき前景病理画像に対応する前景病理画像特徴を得る特徴抽出モジュールと、
複数の前景病理画像における各前景病理画像について、当該前景病理画像をダウンサンプリングして得られた低解像度の前景病理画像に対応する空間的アテンションスコアを当該前景病理画像に対応する前景病理画像特徴の重みとして、前記各前景病理画像に対応する前景病理画像特徴の重み付き和を求め、全スライド病理画像の融合特徴を得るように構成される特徴融合モジュールと、を含み、
前記マルチスケールは、複数の前景病理画像における各前景病理画像について、当該前景病理画像をダウンサンプリングして得られる低解像度の前景病理画像と、当該前景病理画像を分割して得られる元々の解像度の複数の画像ブロックとを取得することであり、
前記全スライド病理画像は、病理切片全体の全ての視野に対応する各スライド画像を、繋ぎ合わせることで得られた超高解像度を有するデジタル病理画像であり、全スライド病理特徴は前記全スライド病理画像の特徴であり、
前記空間的アテンションスコアは、画像のどの領域に注目するかを表すスコアであり、前記空間的アテンションモジュールは空間的アテンションスコアを算出するように構成されるモジュールである
ことを特徴とするマルチスケールに基づく全スライド病理特徴融合抽出システム。
【請求項4】
メモリと、プロセッサと、メモリに記憶され、プロセッサで実行可能なコンピュータプログラムとを含む電子機器であって、前記プロセッサは、前記コンピュータプログラムを実行する時、請求項１に記載のマルチスケールに基づく全スライド病理特徴融合抽出方法を実施する、ことを特徴とする電子機器。
【請求項5】
コンピュータ実行可能命令を含む記憶媒体であって、前記コンピュータ実行可能命令は、コンピュータプロセッサにより実行される時、請求項１に記載のマルチスケールに基づく全スライド病理特徴融合抽出方法が実施される、コンピュータ実行可能命令を含む記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医用画像の分野に関し、具体的には、マルチスケールに基づく全スライド病理特徴融合抽出方法及びシステムに関する。
【背景技術】
【0002】
医療技術の継続的な発展に伴い、病理検査は、臨床作業及び科学研究に大量に応用され、臨床において、病理検査は、主に死体病理検査及び手術病理検査に適用する。手術病理検査の目的は、１つ目は、診断を明確にし、術前の診断を検証し、臨床の診断レベルを高めることであり、２つ目は、診断が明確になると、次の治療解決案の決定及び予後推定を行うことができ、臨床の治療レベルをさらに高めることである。臨床症例解析により、非常に価値のある科学研究の資料を大量に得ることもできる。手術病理検査では、主に患者の身体の病変部位から取り出した組織小片を病理切片に製作した後に、病理染色技術により染色し、続いて顕微鏡によって細胞形態学及び組織病理学などの検査を行うことで、患者の病変性質を決定し、病理診断を下すことは、生体組織検査と呼ばれる。即ち、人体の器官、組織又は細胞における病理学的変化を検査するための病理形態学的方法は、全ての検査の中で最も診断の正確度が高い検査方法であり、一般に「至適基準」として知られている。
【0003】
従来、病理の診断は、専門の病理医が顕微鏡上で病理切片を絶えず移動させて病変細胞を探すことで、疾患を特定して診断を行った。病理切片スキャナーの出現に伴い、病理切片全体の全ての視野を画像スティッチング技術で超高解像度を有するデジタル病理画像にスティッチングすることができ、これは、病理医を顕微鏡で病変細胞を探す長期的な操作から解放し、また、人工知能技術を病理診断に導入することに可能性を提供する。
【0004】
深層学習技術の継続的な発展に伴い、深層学習は、コンピュータビジョン分野において成功を収めただけでなく、医療分野においても、分類、検出、分割、位置合わせ、及び検索などの応用がますます広くなり、いずれも優れた効果が得られた。深層学習は、特定のタスクの顕著な高階特徴を大量のデータから自動的に学習することで、特定のタスクを完了することができる。しかしながら、病理画像の解像度が非常に高く、ハードウェア機器の制約もあるため、既存の深層学習ネットワークは、全スライド病理画像（Ｗｈｏｌｅ Ｓｌｉｄｅ Ｉｍａｇｅ）全体を一度に深層学習ネットワークに入力することができず、既存の通常操作は、全スライド病理画像を複数の固定サイズのパッチブロックに切り出し、続いて深層学習ネットワークに入力して順に計算する。このような方式は、病理画像の診断、細胞分割などのタスクにおいて、良好なパフォーマンスを有する。しかしながら、深層学習の開発は、マルチモーダルの方向に進んでいるが、この時に上記のモードをそのまま用いて各パッチブロックが個別に計算されると、特徴抽出時に、１枚の全スライド病理画像がいくつかの病理特徴を取得することになり、これはマルチモーダル解決案における特徴融合に極大の挑戦をもたらす。既存の解決案は、マルチモーダル特徴融合のために病理特徴をランダムに選択すること、又は、特徴間のユークリッド距離又はクラスタリングの解決案に従って、いくつかの病理特徴から代表的な病理特徴を選択することである。これらの解決案は、マルチモーダル特徴融合における１対多の状況を効果的に解決することができるが、これらの特徴選択の方式が最適な選択であるか否かを考慮していない。これらの解決案は、いずれか１つの全スライド病理画像から切り出されたパッチブロックの特徴を用いることであるが、この１つのブロックは、全スライド病理画像の現在位置又は周辺位置の特徴情報を表すものに過ぎず、全スライド病理画像全体の特徴情報を良好的且つ効果的に網羅するものではない。これ以外に、他の解決案として、全てのパッチブロックの病理特徴を直接平均化することであり、当該方法は、全ての病理特徴をうまく包含することができるが、それとともに主要な特徴を隠す可能性が高く、病理特徴抽出の優れた解決案ではない。従って、深層学習技術で、病理医による病理診断を支援し、臨床医にマルチモーダル情報を用いて疾患診断をよりよく行わせる時、どのように全スライド病理画像全体の特徴をよりよく得ることが特に重要である。
【発明の概要】
【0005】
本発明の目的は、既存技術の欠点に鑑み、マルチスケールに基づく全スライド病理特徴融合抽出システム及び構築方法を提供することであり、全スライド病理画像の高解像度の特性により、マルチスケールの解決案を用いて、複数の解像度次元から特徴融合抽出を行うことで、全スライド病理画像の主要な特徴情報を効果的に取得し、その後のマルチモーダル情報診断の使用に役立つ。
【0006】
本発明の目的は、以下の技術案により実現され、
マルチスケールに基づく全スライド病理特徴融合抽出方法であって、
処理すべき全スライド病理画像を複数の前景病理画像に分割するステップと、
各前景病理画像に対して特徴抽出を行い、対応する前景病理画像特徴を得るステップと、
複数の前景病理画像に対応する前景病理画像特徴を融合して全スライド病理画像の融合特徴を得るステップと、を含、み、
前記各前景病理画像に対して特徴抽出を行う方法は、
処理すべき前景病理画像をダウンサンプリングし、低解像度の前景病理画像を得、
処理すべき前景病理画像を分割して複数の画像ブロックを得、
前記低解像度の前景病理画像及び前記複数の画像ブロックを訓練された第１の特徴抽出ネットワーク及び第２の特徴抽出ネットワークにそれぞれ入力して特徴抽出を行い、且つ各前記画像ブロックから抽出された特徴及び前記低解像度の前景病理画像から抽出された特徴を結合して融合し、対応する前景病理画像特徴を得ることを含む。
マルチスケールに基づく全スライド病理特徴融合抽出方法であって、
処理すべき全スライド病理画像を複数の前景病理画像に分割するステップと、
各前景病理画像に対して特徴抽出を行い、対応する前景病理画像特徴を得るステップと、
複数の前景病理画像に対応する前景病理画像特徴を融合して全スライド病理画像の融合特徴を得るステップと、を含、み、
前記各前景病理画像に対して特徴抽出を行う方法は、
処理すべき前景病理画像をダウンサンプリングし、低解像度の前景病理画像を得、
処理すべき前景病理画像を分割して複数の画像ブロックを得、
前記低解像度の前景病理画像及び前記複数の画像ブロックを訓練された第１の特徴抽出ネットワーク及び第２の特徴抽出ネットワークにそれぞれ入力して特徴抽出を行い、且つ各前記画像ブロックから抽出された特徴及び前記低解像度の前景病理画像から抽出された特徴を結合して融合し、対応する前景病理画像特徴を得ることを含む。
【0007】
さらに、処理すべき全スライド病理画像を複数の前景病理画像に分割するステップは、
処理すべき全スライド病理画像の前景マスクを取得し、
設定された画像サイズに従って、全スライド病理画像からパッチ画像をスライディングウィンドウで切り取り、切り取ったパッチ画像の３つ以上の頂点が前記前景マスク内にある場合、対応するパッチ画像を前景病理画像として残し、そうでない場合、破棄することを含む。
処理すべき全スライド病理画像の前景マスクを取得し、
設定された画像サイズに従って、全スライド病理画像からパッチ画像をスライディングウィンドウで切り取り、切り取ったパッチ画像の３つ以上の頂点が前記前景マスク内にある場合、対応するパッチ画像を前景病理画像として残し、そうでない場合、破棄することを含む。
【0008】
さらに、前記第１の特徴抽出ネットワーク及び第２の特徴抽出ネットワークは、いずれも順に接続された特徴抽出モジュールと空間的アテンションモジュールからなる。
【0009】
さらに、低解像度の前景病理画像及び複数の画像ブロックを訓練された第１の特徴抽出ネットワーク及び第２の特徴抽出ネットワークにそれぞれ入力して特徴抽出を行うとともに、対応する空間的アテンションモジュールを介して、前記低解像度の前景病理画像及び複数の画像ブロックに対応する空間的アテンションスコアを出力し、各前記画像ブロックから抽出された特徴及び前記低解像度の前景病理画像から抽出された特徴を結合し、続いて前記複数の画像ブロックに対応する空間的アテンションスコアを重みとして、結合された特徴を重み付け融合して対応する前景病理画像特徴を得る。
【0010】
さらに、複数の前景病理画像に対応する前景病理画像特徴を融合して全スライド病理画像の融合特徴を得るステップは、
低解像度の前景病理画像に対応する空間的アテンションスコアを重みとして、複数の前景病理画像に対応する前景病理画像特徴を重み付け融合して全スライド病理画像の融合特徴を得ることを含む。
低解像度の前景病理画像に対応する空間的アテンションスコアを重みとして、複数の前景病理画像に対応する前景病理画像特徴を重み付け融合して全スライド病理画像の融合特徴を得ることを含む。
【0011】
さらに、前記第１の特徴抽出ネットワークは、
第１の訓練データセットを取得することであって、前記第１の訓練データセットのサンプルは、ダウンサンプリング処理された低解像度の前景病理画像である、ことと、
前記第１の訓練データセットのサンプルを第１の特徴抽出ネットワークに入力して特徴抽出を行い、抽出された特徴を全結合層により分類して予測された分類結果を得、予測された分類結果と真値との損失関数を最小化することで第１の特徴抽出ネットワーク及び全結合層を訓練し、訓練済み第１の特徴抽出ネットワークを得ることと、により訓練して得られ、
前記第２の特徴抽出ネットワークは、
第２の訓練データセットを取得することであって、前記第２の訓練データセットのサンプルは、前景病理画像を分割して得られた画像ブロックである、ことと、
前記第２の訓練データセットのサンプルを第２の特徴抽出ネットワークに入力して特徴抽出を行い、抽出された特徴を全結合層により分類して予測された分類結果を得、予測された分類結果と真値との損失関数を最小化することで第２の特徴抽出ネットワーク及び全結合層を訓練し、訓練済み第２の特徴抽出ネットワークを得ることと、により訓練して得られ、
マルチスケールに基づく全スライド病理特徴融合抽出システムであって、
処理すべき全スライド病理画像を複数の前景病理画像に分割するためのデータ事前処理モジュールと、
各前景病理画像に対して特徴抽出を行い、対応する前景病理画像特徴を得るための特徴抽出モジュールと、
複数の前景病理画像に対応する前景病理画像特徴を融合して全スライド病理画像の融合特徴を得るための特徴融合モジュールと、を含み、
特徴抽出モジュールは、
処理すべき前景病理画像をダウンサンプリングし、低解像度の前景病理画像を得、
処理すべき前景病理画像を分割して複数の画像ブロックを得、
前記低解像度の前景病理画像及び前記複数の画像ブロックを訓練された第１の特徴抽出ネットワーク及び第２の特徴抽出ネットワークにそれぞれ入力して特徴抽出を行い、且つ各前記画像ブロックから抽出された特徴及び前記低解像度の前景病理画像から抽出された特徴を結合し、続いて融合し、対応する前景病理画像特徴を得るために用いられる。
第１の訓練データセットを取得することであって、前記第１の訓練データセットのサンプルは、ダウンサンプリング処理された低解像度の前景病理画像である、ことと、
前記第１の訓練データセットのサンプルを第１の特徴抽出ネットワークに入力して特徴抽出を行い、抽出された特徴を全結合層により分類して予測された分類結果を得、予測された分類結果と真値との損失関数を最小化することで第１の特徴抽出ネットワーク及び全結合層を訓練し、訓練済み第１の特徴抽出ネットワークを得ることと、により訓練して得られ、
前記第２の特徴抽出ネットワークは、
第２の訓練データセットを取得することであって、前記第２の訓練データセットのサンプルは、前景病理画像を分割して得られた画像ブロックである、ことと、
前記第２の訓練データセットのサンプルを第２の特徴抽出ネットワークに入力して特徴抽出を行い、抽出された特徴を全結合層により分類して予測された分類結果を得、予測された分類結果と真値との損失関数を最小化することで第２の特徴抽出ネットワーク及び全結合層を訓練し、訓練済み第２の特徴抽出ネットワークを得ることと、により訓練して得られ、
マルチスケールに基づく全スライド病理特徴融合抽出システムであって、
処理すべき全スライド病理画像を複数の前景病理画像に分割するためのデータ事前処理モジュールと、
各前景病理画像に対して特徴抽出を行い、対応する前景病理画像特徴を得るための特徴抽出モジュールと、
複数の前景病理画像に対応する前景病理画像特徴を融合して全スライド病理画像の融合特徴を得るための特徴融合モジュールと、を含み、
特徴抽出モジュールは、
処理すべき前景病理画像をダウンサンプリングし、低解像度の前景病理画像を得、
処理すべき前景病理画像を分割して複数の画像ブロックを得、
前記低解像度の前景病理画像及び前記複数の画像ブロックを訓練された第１の特徴抽出ネットワーク及び第２の特徴抽出ネットワークにそれぞれ入力して特徴抽出を行い、且つ各前記画像ブロックから抽出された特徴及び前記低解像度の前景病理画像から抽出された特徴を結合し、続いて融合し、対応する前景病理画像特徴を得るために用いられる。
【0012】
さらに、前記第１の特徴抽出ネットワーク及び第２の特徴抽出ネットワークは、いずれも順に接続された特徴抽出モジュールと空間的アテンションモジュールからなる。
【0013】
電子機器であって、メモリと、プロセッサと、メモリに記憶され、プロセッサで実行可能なコンピュータプログラムとを含み、前記プロセッサは、前記コンピュータプログラムを実行する時、上述したようなマルチスケールに基づく全スライド病理特徴融合抽出方法を実施する。
【0014】
コンピュータ実行可能命令を含む記憶媒体であって、前記コンピュータ実行可能命令は、コンピュータプロセッサにより実行される時、上述したようなマルチスケールに基づく全スライド病理特徴融合抽出方法を実施する。
【0015】
本発明の有益な効果は、以下のとおりであり、本発明は、マルチスケールの全スライド病理特徴融合抽出の方式を使用することで、マルチスケールの解決案により、特徴抽出が、大局的な全体情報と局所的な詳細情報との両方を有する、より全面的な情報を有することを可能にする。さらにアテンションメカニズムの重み付け融合解決案との組み合わせにより、最終的に得られた特徴が、重点がより強調され、全スライド病理画像をさらに代表することができる。本発明により、全スライド病理画像の全体的な特徴をよりよく取得することができ、それにより、病理医による病理診断を支援し、臨床医に疾患診断のためのマルチモーダル情報をよりよく利用させ、マルチモーダル融合解析の正確性を向上させることができる。
【図面の簡単な説明】
【0016】
【図1】マルチスケールに基づく全スライド病理特徴融合抽出方法のフローチャートである。
【図2】全スライド病理画像の前景ｍａｓｋを計算するフローチャートである。
【図3】マルチスケール方法を用いて特徴抽出を行うモジュールの概略図である。
【図4】本発明のマルチスケールに基づく全スライド病理特徴融合抽出システムの構造図である。
【図5】本発明の電子機器の構造図である。
【発明を実施するための形態】
【0017】
本明細書では、例示的な実施例を詳細に説明し、その例が図面に示される。以下の記述が図面に関する場合、特に示さない限り、異なる図面における同一の数字は、同一又は類似の要素を示す。以下の例示的な実施例に記述された実施形態は、本発明と一致する全ての実施形態を表すものではない。むしろ、それらは、添付の特許請求の範囲に詳述されるように、本発明のいくつかの態様と一致する装置及び方法の例に過ぎない。
【0018】
本発明において使用される用語は、特定の実施例を記述する目的だけであり、本発明を限定するものではない。
【0019】
本発明及び添付の特許請求の範囲において使用される単数形の「１種」、「前記」及び「当該」は、文脈が明らかに他の意味を示さない限り、複数形も含むことを意図する。また、本明細書で使用される「及び／又は」という用語は、１つ又は複数の関連付けられた列挙された項目の任意の又は全ての可能な組み合わせを指し、含むことが理解されるべきである。
【0020】
なお、本発明では、第１、第２、第３などの用語を用いて各種の情報を記述する可能性があるが、これらの情報は、これらの用語に限定されるものではない。これらの用語は、同一の種類の情報を区別するためにのみ使用されると理解されるべきである。例えば、本発明の範囲を逸脱しない状況で、第１の情報は、第２の情報とも称され、同様に、第２の情報は、第１の情報とも称される。文脈に応じて、本明細書で使用される「もしあれば」という単語は、「……の時」又は「……の際」又は「決定に応答する」と解釈されることがある。
【0021】
図１は、本発明により提供されるマルチスケールに基づく全スライド病理特徴融合抽出方法のフローチャートであり、図１に示すように、本発明の方法は、以下のステップを含み、
（１）処理すべき全スライド病理画像を複数の前景病理画像に分割する。
好ましい実施態様として、当該ステップは、具体的には、以下のとおりである。
（１．１）まず、処理すべき全スライド病理画像の前景マスクを取得し、
病理画像のスキャンは、製作された病理スライドガラスをデータ病理切片全体スキャナーによりフルスキャンするため、スキャンされた画像には組織部位ではなく、大量のスライドガラス背景が存在し、これらの背景は、全スライド病理特徴融合抽出に実際的な意味がなく、全スライド病理画像は、解像度が高いので、これらの背景は、ネットワークの計算速度にも大きく影響する。従って、まず、全スライド病理画像の前景マスク（ｍａｓｋ）を計算し、これを抽出して後続の計算に用いる。処理すべき全スライド病理画像の前景マスクを取得することは、画像２値化方法を採用することができ、例示的に、本実施例の前景ｍａｓｋ計算方法のフローは、図２に示すように、以下のステップを含み、
ａ、全スライド病理画像の前景ｍａｓｋを、容易かつ迅速に、より正確に取得するために、まず、病理画像の色空間を、ＲＧＢフォーマットからＨＳＶフォーマットに変換し、
ｂ、ＨＳＶフォーマットの病理画像に対してメディアンフィルタ（ｍｅｄｉａｎ ｆｉｌｔｅｒ）を使用し、エッジを平滑化して一部の背景ノイズをフィルタリングし、
ｃ、ノイズがフィルタリングされた病理画像に対して２値化操作を行い、この時に前景がほぼぼやけるが、孔が多く存在する可能性があり、
ｄ、ステップｃで得られた２値画像の孔をモルフォロジー演算のクロージング（ｃｌｏｓｉｎｇ）で充填することで、よりよい前景ｍａｓｋを取得し、
ｅ、ステップｄで孔が充填された２値画像に基づき、前景ｍａｓｋのエッジ輪郭を取得し、後続の病理パッチ選択に用いられる。
（１）処理すべき全スライド病理画像を複数の前景病理画像に分割する。
好ましい実施態様として、当該ステップは、具体的には、以下のとおりである。
（１．１）まず、処理すべき全スライド病理画像の前景マスクを取得し、
病理画像のスキャンは、製作された病理スライドガラスをデータ病理切片全体スキャナーによりフルスキャンするため、スキャンされた画像には組織部位ではなく、大量のスライドガラス背景が存在し、これらの背景は、全スライド病理特徴融合抽出に実際的な意味がなく、全スライド病理画像は、解像度が高いので、これらの背景は、ネットワークの計算速度にも大きく影響する。従って、まず、全スライド病理画像の前景マスク（ｍａｓｋ）を計算し、これを抽出して後続の計算に用いる。処理すべき全スライド病理画像の前景マスクを取得することは、画像２値化方法を採用することができ、例示的に、本実施例の前景ｍａｓｋ計算方法のフローは、図２に示すように、以下のステップを含み、
ａ、全スライド病理画像の前景ｍａｓｋを、容易かつ迅速に、より正確に取得するために、まず、病理画像の色空間を、ＲＧＢフォーマットからＨＳＶフォーマットに変換し、
ｂ、ＨＳＶフォーマットの病理画像に対してメディアンフィルタ（ｍｅｄｉａｎ ｆｉｌｔｅｒ）を使用し、エッジを平滑化して一部の背景ノイズをフィルタリングし、
ｃ、ノイズがフィルタリングされた病理画像に対して２値化操作を行い、この時に前景がほぼぼやけるが、孔が多く存在する可能性があり、
ｄ、ステップｃで得られた２値画像の孔をモルフォロジー演算のクロージング（ｃｌｏｓｉｎｇ）で充填することで、よりよい前景ｍａｓｋを取得し、
ｅ、ステップｄで孔が充填された２値画像に基づき、前景ｍａｓｋのエッジ輪郭を取得し、後続の病理パッチ選択に用いられる。
【0022】
（１．２）全スライド病理画像は高解像度の特性があるため、それを深層畳み込みニューラルネットワークに直接入力して特徴抽出を行うことは、非常に非現実的であるため、通常、全スライド病理画像を複数のスライス、即ち前景病理画像に分割し、続いてそれぞれ特徴抽出を行う。一般に、同一の全スライド病理画像を分割して得た前景病理画像は、サイズが一致し、サイズは、特徴抽出のための深層畳み込みニューラルネットワークや実際のニーズに応じて設定されるが、例えば、１１５２×１１５２などに設定されることができる。分割の方法は、具体的には、以下のとおりであり、
設定された画像サイズに従って、全スライド病理画像からパッチ画像をスライドウィンドウで切り取り、切り取ったパッチ画像の３つ以上の頂点が前記前景マスク内にある場合、対応するパッチ画像を前景病理画像として残し、そうでない場合、破棄する。
設定された画像サイズに従って、全スライド病理画像からパッチ画像をスライドウィンドウで切り取り、切り取ったパッチ画像の３つ以上の頂点が前記前景マスク内にある場合、対応するパッチ画像を前景病理画像として残し、そうでない場合、破棄する。
【0023】
（２）各前景病理画像に対して特徴抽出を行い、対応する前景病理画像特徴を得、ここで、各前景病理画像に対して特徴抽出を行う方法のフローは、図３に示すように、具体的には、以下のとおりであり、
処理すべき前景病理画像をダウンサンプリングし、低解像度の前景病理画像を得、
処理すべき前景病理画像を分割して複数の画像ブロックを得、
低解像度の前景病理画像及び複数の画像ブロックを、訓練された第１の特徴抽出ネットワーク及び第２の特徴抽出ネットワークにそれぞれ入力して特徴抽出を行い、且つ各画像ブロックから抽出された特徴及び低解像度の前景病理画像から抽出された特徴を結合し、続いて融合し、対応する前景病理画像特徴を得る。
処理すべき前景病理画像をダウンサンプリングし、低解像度の前景病理画像を得、
処理すべき前景病理画像を分割して複数の画像ブロックを得、
低解像度の前景病理画像及び複数の画像ブロックを、訓練された第１の特徴抽出ネットワーク及び第２の特徴抽出ネットワークにそれぞれ入力して特徴抽出を行い、且つ各画像ブロックから抽出された特徴及び低解像度の前景病理画像から抽出された特徴を結合し、続いて融合し、対応する前景病理画像特徴を得る。
【0024】
（３）複数の前景病理画像に対応する前景病理画像特徴を融合して全スライド病理画像の融合特徴を得る。
【0025】
本発明の方法は、マルチスケールの解決案で各病理前景画像の主要な特徴を抽出し、さらに融合し、それにより各病理前景画像の特徴が大局的な全体情報と局所的な詳細情報との両方を有する。最後に、複数の前景病理画像に対応する前景病理画像特徴を融合し、最終的に取得された特徴が、重点がより強調され、全スライド病理画像をより良好的に代表することができる。
【0026】
さらに、第１の特徴抽出ネットワーク及び第２の特徴抽出ネットワークに空間的アテンション（ｓｐａｔｉａｌ ａｔｔｅｎｔｉｏｎ）メカニズム（画像のどの領域を注目すべきかを動的に特定する仕組み）を導入し、前記第１の特徴抽出ネットワーク及び第２の特徴抽出ネットワークは、いずれも順に接続された特徴抽出モジュールと空間的アテンションモジュールからなり、それぞれ訓練された第１の特徴抽出ネットワーク及び第２の特徴抽出ネットワークに基づき、低解像度の前景病理画像及び複数の画像ブロックに対して特徴抽出を行うとともに、対応する空間的アテンションモジュールを介して低解像度の前景病理画像及び複数の画像ブロックに対応する空間的アテンションスコア（画像のどの領域に注目するかを表すスコア）を出力する。第１の特徴抽出ネットワークにより抽出された低解像度の前景病理画像の特徴を、第２の特徴抽出ネットワークにより抽出された各画像ブロックの特徴とそれぞれ結合し、複数の結合された特徴を得、また、複数の画像ブロックに対応する空間的アテンションスコアを重みとして、複数の結合された特徴を重み付け融合し、当該前景病理画像特徴を得る。最後に、低解像度の前景病理画像に対応する空間的アテンションスコアを重みとして、複数の前景病理画像に対応する前景病理画像特徴を重み付け融合し、主要な特徴をよりよく強調し、より良好的な全スライド病理画像の融合特徴を得ることができる。
【0027】
本発明によれば、全スライド病理画像の全体的な特徴をよりよく取得することができ、それにより、病理医による病理診断を支援し、臨床医に疾患診断のためのマルチモーダル情報をよりよく利用させ、マルチモーダル融合解析の正確性を向上させることができる。
【0028】
ここで、第１の特徴抽出ネットワーク及び第２の特徴抽出ネットワークは、いずれも取得された訓練データセットに基づき、病理画像の診断分類結果を取得することを目標として訓練して得られ、以下、肺腺癌と肺の扁平上皮癌の全スライド病理画像に対する特徴抽出を例として、前記第１の特徴抽出ネットワーク及び第２の特徴抽出ネットワークの訓練、及び本発明の方法をさらに説明する。
【0029】
第１の特徴抽出ネットワーク及び第２の特徴抽出ネットワークの訓練は、以下のステップ１及び２を含んでもよい。
ステップ１において、訓練データセットを取得する。
前記訓練データセットは、ラベル付きの公開の訓練データセット（例えばＴＣＧＡの公開データセットなど）又は自己収集のデータセットであってもよく、自己収集のデータセットは、以下の方法により取得され、
腫瘍分類に従って、肺腺癌及び肺の扁平上皮癌に関する全スライド病理画像をそれぞれ収集し、本実施例では、デジタル病理切片全体スキャナーを使用して、４０×の対物レンズで病理切片組織をフルスキャンし、全スライド病理画像ＩＷＳＩを得、それとともに、医師は、各全スライド病理画像に対して病理腫瘍領域のラベル付きを行う。
ステップ１において、訓練データセットを取得する。
前記訓練データセットは、ラベル付きの公開の訓練データセット（例えばＴＣＧＡの公開データセットなど）又は自己収集のデータセットであってもよく、自己収集のデータセットは、以下の方法により取得され、
腫瘍分類に従って、肺腺癌及び肺の扁平上皮癌に関する全スライド病理画像をそれぞれ収集し、本実施例では、デジタル病理切片全体スキャナーを使用して、４０×の対物レンズで病理切片組織をフルスキャンし、全スライド病理画像ＩＷＳＩを得、それとともに、医師は、各全スライド病理画像に対して病理腫瘍領域のラベル付きを行う。
【0030】
病理切片の染色は、時間の経つこと、また、異なる人の染色操作により、ある程度の色の違いをもたらすが、これらの色の違いは、専門の臨床医にとって容易に対応できるが、コンピュータにとって診断解析結果に大きな影響を与える。従って、このような色の違いが深層ニューラルネットワークに対する影響を低減するために、収集された全ての全スライド病理画像ＩＷＳＩに対して色正規化操作を行う。具体的には、以下のとおりであり、臨床医の推奨に応じて、染色効果の高い病理画像を目標全スライド病理画像として選択し、改善された構造維持色正規化（ｓｔｒｕｃｔｕｒｅ‐ｐｒｅｓｅｒｖｉｎｇ ｃｏｌｏｒ ｎｏｒｍａｌｉｚａｔｉｏｎ、ＳＰＣＮ）技術で、他の全スライド病理画像の色を目標全スライド病理画像の同一の色レベルに正規化することで、色の違いが後続のネットワーク性能に与える影響を低減する。
【0031】
各正規化された全スライド病理画像を複数の前景病理画像に分割する。
【0032】
ダウンサンプリング方法により前景病理画像の長さや幅をそれぞれ減少させて低解像度の前景病理画像を得、長さや幅の減少の比例は、必要に応じて設定することができ、本実施例では、長さや幅をそれぞれ元の０．５に減少させ、即ち解像度を５７６×５７６に減少させる。全ての低解像度の前景病理画像は、第１の訓練データセットを構成し、ここで、各低解像度の前景病理画像を１つのサンプルとする。
【0033】
処理すべき前景病理画像を分割して複数の画像ブロックを得、ここで、画像ブロックのサイズは、低解像度の前景病理画像のサイズと一致し、本実施例では、前景病理画像を、画像の長さと幅の中間点で５７６×５７６サイズの高解像度の４つの画像ブロックに分割する。全ての画像ブロックは、第２の訓練データセットを構成し、ここで、各画像ブロックを１つのサンプルとする。
【0034】
ステップ２において、取得された訓練データセットを用いて第１の特徴抽出ネットワーク及び第２の特徴抽出ネットワークに対して事前訓練をする。本実施例では、第１の特徴抽出ネットワーク及び第２の特徴抽出ネットワークは、いずれも特徴抽出モジュールとアテンションモジュールとを含み、ここで、特徴抽出モジュールは、Ｒｅｓｎｅｔ１８の特徴抽出部分を選択し、アテンションモジュールの訓練は、チャネル注意メカニズムが行われなく、空間的アテンションメカニズムのみを使用すればよく、空間的アテンションメカニズムをそのままＲｅｓｎｅｔ－１８特徴抽出部分に挿入した後、即ち本実施例の第１の特徴抽出ネットワーク及び第２の特徴抽出ネットワークのネットワーク構造となり、訓練時、第１の特徴抽出ネットワーク及び第２の特徴抽出ネットワークは、さらに全結合層が接続され、具体的な構造は、表１に示すとおりである。
【0035】
特徴抽出ネットワークの事前訓練の方法は、以下のとおりであり、
構築された第１の訓練データセットのサンプルを第１の特徴抽出ネットワークに入力して特徴抽出を行い、抽出された特徴を全結合層により分類して予測された分類結果を得、予測された分類結果と真値との損失関数を最小化することで第１の特徴抽出ネットワーク及び全結合層を訓練し、訓練が完了した後にネットワークパラメータを保存し、訓練された第１の特徴抽出ネットワークを得、
同様に、構築された第２の訓練データセットのサンプルを第２の特徴抽出ネットワークに入力して特徴抽出を行い、抽出された特徴を全結合層により分類して予測された分類結果を得、予測された分類結果と真値との損失関数を最小化することで第２の特徴抽出ネットワーク及び全結合層を訓練し、訓練が完了した後にネットワークパラメータを保存し、訓練された第２の特徴抽出ネットワークを得る。
構築された第１の訓練データセットのサンプルを第１の特徴抽出ネットワークに入力して特徴抽出を行い、抽出された特徴を全結合層により分類して予測された分類結果を得、予測された分類結果と真値との損失関数を最小化することで第１の特徴抽出ネットワーク及び全結合層を訓練し、訓練が完了した後にネットワークパラメータを保存し、訓練された第１の特徴抽出ネットワークを得、
同様に、構築された第２の訓練データセットのサンプルを第２の特徴抽出ネットワークに入力して特徴抽出を行い、抽出された特徴を全結合層により分類して予測された分類結果を得、予測された分類結果と真値との損失関数を最小化することで第２の特徴抽出ネットワーク及び全結合層を訓練し、訓練が完了した後にネットワークパラメータを保存し、訓練された第２の特徴抽出ネットワークを得る。
【0036】
表１は空間的アテンションメカニズムを導入したＲｅｓＮｅｔ－１８ネットワーク構造を示す。
ここで、ｎｕｍ＿ｃｌａｓｓは、診断分類の数を表し、本実施例では、３であり、それぞれ腺癌、扁平上皮癌、及び正常組織であり、
マルチスケールに基づく全スライド病理特徴融合は以下のステップ（１）～（３）を含んでもよい。
（１）処理すべき全スライド病理画像を、１１５２×１１５２サイズの複数の前景病理画像に分割する。
（２）各前景病理画像に対して特徴抽出を行い、対応する前景病理画像特徴を得、ここで、各前景病理画像に対して特徴抽出を行う方法は、具体的には、以下のとおりである。
【表1】
マルチスケールに基づく全スライド病理特徴融合は以下のステップ（１）～（３）を含んでもよい。
（１）処理すべき全スライド病理画像を、１１５２×１１５２サイズの複数の前景病理画像に分割する。
（２）各前景病理画像に対して特徴抽出を行い、対応する前景病理画像特徴を得、ここで、各前景病理画像に対して特徴抽出を行う方法は、具体的には、以下のとおりである。
【0037】
（２．１）前景病理画像を解像度が５７６×５７６の低解像度の前景病理画像にダウンサンプリングする。
（２．２）前景病理画像を分割して５７６×５７６サイズの４つの画像ブロックを得る。
（２．３）低解像度の前景病理画像を訓練された第１の特徴抽出ネットワークの入力とし、低解像度の前景病理画像の特徴ＦＬｐａｔｃｈ及び空間的アテンションスコアＷＬｐａｔｃｈを出力して得、５７６×５７６サイズの４つの画像ブロックをそれぞれ訓練された第２の特徴抽出ネットワークの入力とし、４つの画像ブロックの特徴ＦＨｐａｔｃｈ＿１、ＦＨｐａｔｃｈ＿２、ＦＨｐａｔｃｈ＿３、ＦＨｐａｔｃｈ＿４及び空間的アテンションスコアＷＨｐａｔｃｈ＿１、ＷＨｐａｔｃｈ＿２、ＷＨｐａｔｃｈ＿３、ＷＨｐａｔｃｈ＿４を出力して得る。ネットワーク構造に基づいて、得られる特徴のサイズはいずれも１×５１２である。
（２．４）低解像度の前景病理画像ＦＬｐａｔｃｈを４つの高解像度の画像ブロックの特徴ＦＨｐａｔｃｈ＿１、ＦＨｐａｔｃｈ＿２、ＦＨｐａｔｃｈ＿３、ＦＨｐａｔｃｈ＿４とそれぞれ結合して４つのマルチスケールの特徴ベクトルを構成し、Ｆｐａｔｃｈ＿１、Ｆｐａｔｃｈ＿２、Ｆｐａｔｃｈ＿３、Ｆｐａｔｃｈ＿４と表記し、そのサイズはいずれも１×１０２４である。
（２．５）４つの画像ブロックに対応する低解像度のアテンションスコアＷＨｐａｔｃｈ＿１、ＷＨｐａｔｃｈ＿２、ＷＨｐａｔｃｈ＿３、ＷＨｐａｔｃｈ＿４を重みとし、結合された４つのマルチスケールの特徴ベクトルを重み付け融合し、当該前景病理画像特徴を得る。
（２．２）前景病理画像を分割して５７６×５７６サイズの４つの画像ブロックを得る。
（２．３）低解像度の前景病理画像を訓練された第１の特徴抽出ネットワークの入力とし、低解像度の前景病理画像の特徴ＦＬｐａｔｃｈ及び空間的アテンションスコアＷＬｐａｔｃｈを出力して得、５７６×５７６サイズの４つの画像ブロックをそれぞれ訓練された第２の特徴抽出ネットワークの入力とし、４つの画像ブロックの特徴ＦＨｐａｔｃｈ＿１、ＦＨｐａｔｃｈ＿２、ＦＨｐａｔｃｈ＿３、ＦＨｐａｔｃｈ＿４及び空間的アテンションスコアＷＨｐａｔｃｈ＿１、ＷＨｐａｔｃｈ＿２、ＷＨｐａｔｃｈ＿３、ＷＨｐａｔｃｈ＿４を出力して得る。ネットワーク構造に基づいて、得られる特徴のサイズはいずれも１×５１２である。
（２．４）低解像度の前景病理画像ＦＬｐａｔｃｈを４つの高解像度の画像ブロックの特徴ＦＨｐａｔｃｈ＿１、ＦＨｐａｔｃｈ＿２、ＦＨｐａｔｃｈ＿３、ＦＨｐａｔｃｈ＿４とそれぞれ結合して４つのマルチスケールの特徴ベクトルを構成し、Ｆｐａｔｃｈ＿１、Ｆｐａｔｃｈ＿２、Ｆｐａｔｃｈ＿３、Ｆｐａｔｃｈ＿４と表記し、そのサイズはいずれも１×１０２４である。
（２．５）４つの画像ブロックに対応する低解像度のアテンションスコアＷＨｐａｔｃｈ＿１、ＷＨｐａｔｃｈ＿２、ＷＨｐａｔｃｈ＿３、ＷＨｐａｔｃｈ＿４を重みとし、結合された４つのマルチスケールの特徴ベクトルを重み付け融合し、当該前景病理画像特徴を得る。
【0038】
（３）低解像度の空間的アテンションスコアＷＬｐａｔｃｈを前景病理画像特徴に対応するアテンション重みとし、全ての前景病理画像特徴に対して重み付け融合操作を行い、全スライド病理画像の融合特徴ベクトルを得る。
【0039】
本発明の方法により得られる融合特徴ベクトルは、病理画像分類及び疾患診断に用いることができる。
【0040】
前述のマルチスケールに基づく全スライド病理特徴融合方法の実施例に対応し、本発明は、さらに、マルチスケールに基づく全スライド病理特徴融合システムの実施例を提供する。
【0041】
図４を参照すると、本発明の実施例にて提供されるマルチスケールに基づく全スライド病理特徴融合抽出システムは、
処理すべき全スライド病理画像を複数の前景病理画像に分割するためのデータ事前処理モジュールと、
各前景病理画像に対して特徴抽出を行い、対応する前景病理画像特徴を得るための特徴抽出モジュールであって、各前景病理画像に対して特徴抽出を行う方法は、具体的には、以下のとおりであり、
前景病理画像をダウンサンプリングし、低解像度の前景病理画像を得、
処理すべき前景病理画像を分割して複数の画像ブロックを得、
低解像度の前景病理画像、及び複数の画像ブロックを訓練された第１の特徴抽出ネットワーク及び第２の特徴抽出ネットワークにそれぞれ入力して特徴抽出を行い、且つ各画像ブロックから抽出された特徴及び低解像度の前景病理画像から抽出された特徴を結合し、続いて融合し、対応する前景病理画像特徴を得る、特徴抽出モジュールと、
複数の前景病理画像に対応する前景病理画像特徴を融合して全スライド病理画像の融合特徴を得るための特徴融合モジュールと、を含む。
処理すべき全スライド病理画像を複数の前景病理画像に分割するためのデータ事前処理モジュールと、
各前景病理画像に対して特徴抽出を行い、対応する前景病理画像特徴を得るための特徴抽出モジュールであって、各前景病理画像に対して特徴抽出を行う方法は、具体的には、以下のとおりであり、
前景病理画像をダウンサンプリングし、低解像度の前景病理画像を得、
処理すべき前景病理画像を分割して複数の画像ブロックを得、
低解像度の前景病理画像、及び複数の画像ブロックを訓練された第１の特徴抽出ネットワーク及び第２の特徴抽出ネットワークにそれぞれ入力して特徴抽出を行い、且つ各画像ブロックから抽出された特徴及び低解像度の前景病理画像から抽出された特徴を結合し、続いて融合し、対応する前景病理画像特徴を得る、特徴抽出モジュールと、
複数の前景病理画像に対応する前景病理画像特徴を融合して全スライド病理画像の融合特徴を得るための特徴融合モジュールと、を含む。
【0042】
上記システムにおける各モジュールの機能及び作用の実現過程は、具体的には、上記方法の対応するステップの実現過程を詳細に参照し、ここではその説明が省略される。
【0043】
装置の実施例については、基本的に方法の実施例に対応するので、関連する内容は、方法の実施例の一部の説明を参照すればよい。上述の装置の実施例は、単に例示的なものであり、前記別個部材として説明されたユニットは、物理的に分離されてもよく、又は物理的に分離されなくてもよく、ユニットとして表示された部材は、物理的なユニットであってもよく、又は物理的なユニットでなくてもよく、即ち、１つの箇所に位置してもよく、又は複数のネットワークユニットに分散されてもよい。本発明の解決案の目的を実現するために、実際の要求に応じて、その一部又は全部のモジュールを選択して実現することができる。当業者であれば創造的な労力を行わずに、理解して実施することができる。
【0044】
本発明のシステムは、全スライド病理画像分類装置を構築するために用いられ、具体的には、全スライド病理画像分類装置は、
全スライド病理画像の融合特徴を融合抽出して得るためのマルチスケールに基づく全スライド病理特徴融合抽出システムと、
全スライド病理画像の融合特徴に基づいて分類結果を得るための分類モジュールであって、前述したような全結合層などであってもよい分類モジュールと、を含む。
全スライド病理画像の融合特徴を融合抽出して得るためのマルチスケールに基づく全スライド病理特徴融合抽出システムと、
全スライド病理画像の融合特徴に基づいて分類結果を得るための分類モジュールであって、前述したような全結合層などであってもよい分類モジュールと、を含む。
【0045】
本発明の実施例は、メモリと、プロセッサと、メモリに記憶され、プロセッサで実行可能なコンピュータプログラムとを含む電子機器をさらに提供し、前記プロセッサは、前記コンピュータプログラムを実行する時、上記マルチスケールに基づく全スライド病理特徴融合方法を実施する。
【0046】
電子機器は、論理的な意味での装置として、その備えられるデータ処理能力を有する任意の機器のプロセッサが、不揮発性メモリにおける対応するコンピュータプログラム命令をメモリに読み込んで実行することで形成される。ハードウェアのレベルから、図５に示すように、本発明のマルチスケールに基づく全スライド病理特徴融合システムに備えられたデータ処理能力を有する任意の機器のハードウェア構造図であり、図５に示すプロセッサ、メモリ、ネットワークインタフェース、及び不揮発性メモリに加えて、実施例における装置に備えられたデータ処理能力を備える任意の機器は、通常、当該データ処理能力を備える任意の機器の実際の機能に応じて、他のハードウェアを含んでもよく、ここではその説明が省略される。
【0047】
本発明の実施例は、プロセッサにより実行される時、上記実施例におけるマルチスケールに基づく全スライド病理特徴融合方法を実施するプログラムを記憶したコンピュータ可読記憶媒体をさらに提供する。
【0048】
前記コンピュータ可読記憶媒体は、ハードディスク又はメモリなど、前述いずれかの実施例に記載のデータ処理能力を備える任意の機器の内部記憶ユニットであってもよい。前記コンピュータ可読記憶媒体は、データ処理能力を備える任意の機器、例えば、前記機器に備えられたプラグインハードディスク、スマートメモリカード（Ｓｍａｒｔ Ｍｅｄｉａ（登録商標）Ｃａｒｄ、ＳＭＣ）、ＳＤカード、フラッシュメモリカード（Ｆｌａｓｈ Ｃａｒｄ）などであってもよい。さらに、前記コンピュータ可読記憶媒体は、データ処理能力を備える任意の機器の内部記憶ユニットと外部記憶機器の両方を含んでもよい。前記コンピュータ可読記憶媒体は、前記コンピュータプログラム及び前記データ処理能力を備える任意の機器に必要な他のプログラムとデータを記憶するために用いられ、また既に出力されたか又は出力しようとするデータを一時的に記憶するために用いられる。
【0049】
明らかに、上記実施例は、明確に説明するための例示に過ぎず、実施形態を限定するものではない。当業者であれば、上記説明に基づいて他の異なる形態の変化又は変更を行うことができる。本明細書では全ての実施形態を網羅する必要がなくて、また全ての実施形態を網羅することができない。このようにして導出された明らかな変化又は変更は、依然として本発明の保護範囲にある。
【図1】
【図2】
【図3】
【図4】
【図5】
