特表 2024-519459 乳がんの病変領域を判別するための人工ニューラルネットワークの学習方法、及びこれを行うコンピュータシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-05-14

(54)【発明の名称】乳がんの病変領域を判別するための人工ニューラルネットワークの学習方法、及びこれを行うコンピュータシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240507BHJP

【ＦＩ】

G06T7/00 350C

G06T7/00 612

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023564222

(86)(22)【出願日】2022-04-20

(85)【翻訳文提出日】2023-11-28

(86)【国際出願番号】 KR2022005634

(87)【国際公開番号】W WO2022231200

(87)【国際公開日】2022-11-03

(31)【優先権主張番号】10-2021-0055207

(32)【優先日】2021-04-28

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】519208133

【氏名又は名称】ディープ バイオ インク

(74)【代理人】

【識別番号】100120008

【弁理士】

【氏名又は名称】山田 くみ子

(72)【発明者】

【氏名】チェ ジュニョン

(72)【発明者】

【氏名】カク テヨン

(72)【発明者】

【氏名】キム ソンウ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA06

5L096BA13

5L096DA02

5L096GA19

5L096HA11

5L096KA04

(57)【要約】

生体組織の微視的特徴及び巨視的特徴の両方を考慮して乳がんの病変領域を判別できる人工ニューラルネットワークの学習方法、及びこれを行うコンピュータシステムが開示される。本発明の一態様によると、人工ニューラルネットワーク学習システムが、生体組織スライドのスライド画像を取得するステップと、前記人工ニューラルネットワーク学習システムが、前記スライド画像から第１の高解像度パッチないし第Ｎの高解像度パッチを取得するステップと、前記人工ニューラルネットワーク学習システムが、第ｉの高解像度パッチ（ここで、ｉは１≦ｉ≦Ｎの任意の整数）に対応する第ｉの低解像度パッチを取得するステップ（ここで、前記第ｉの高解像度パッチと、それに対応する第ｉの低解像度パッチは、同一のサイズを有し、前記第ｉの高解像度パッチの中心点と前記第ｉの低解像度パッチの中心点は、前記生体組織スライド上の同一の位置を指す）と、前記人工ニューラルネットワーク学習システムが、前記第ｉの高解像度パッチ及び前記第ｉの低解像度パッチを入力して前記人工ニューラルネットワークを学習するステップと、を含む畳み込みニューラルネットワークである人工ニューラルネットワーク学習方法を提供する。

【特許請求の範囲】

【請求項1】

人工ニューラルネットワーク学習システムが、生体組織スライドのスライド画像を取得するステップと、
前記人工ニューラルネットワーク学習システムが、前記スライド画像から第１の高解像度パッチないし第Ｎの高解像度パッチ（ここで、Ｎは２以上の整数）を取得するステップと、
前記人工ニューラルネットワーク学習システムが、第ｉの高解像度パッチ（ここで、ｉは１≦ｉ≦Ｎの任意の整数）に対応する第ｉの低解像度パッチを取得するステップ（ここで、前記第ｉの高解像度パッチと、それに対応する第ｉの低解像度パッチは、同一のサイズを有し、前記第ｉの高解像度パッチの中心点と前記第ｉの低解像度パッチの中心点は、前記生体組織スライド上の同一の位置を指す）と、
前記人工ニューラルネットワーク学習システムが、前記第ｉの高解像度パッチ及び前記第ｉの低解像度パッチを入力して前記人工ニューラルネットワークを学習するステップと、
を含み、
前記人工ニューラルネットワークは、第１のエンコーディング畳み込みニューラルネットワークと、第２のエンコーディング畳み込みニューラルネットワークと、デコーディング畳み込みニューラルネットワークと、を含み、
前記第１のエンコーディング畳み込みニューラルネットワークは、
第ｉの高解像度パッチを入力され、前記第ｉの高解像度パッチに対応する第１の特徴マップを出力する畳み込みニューラルネットワークであり、
前記第２のエンコーディング畳み込みニューラルネットワークは、
前記第ｉの低解像度パッチを入力され、前記第ｉの低解像度パッチに対応するコンテキスト情報（ｃｏｎｔｅｘｔ ｉｎｆｏｒｍａｔｉｏｎ）を出力する畳み込みニューラルネットワークであり、
前記デコーディングニューラルネットワークは、
前記第ｉの高解像度パッチに対応する第１の特徴マップに、前記第ｉの低解像度パッチに対応するコンテキスト情報を反映し、前記コンテキスト情報を反映した結果値に基づいて、前記第ｉの高解像度パッチ内の病変領域を判断するための所定の予測情報を生成する畳み込みニューラルネットワークである、人工ニューラルネットワーク学習方法。

【請求項2】

前記生体組織スライドは、乳がんの切除組織スライドであり、
前記スライド画像には、浸潤癌による病変領域である浸潤癌領域、及び上皮内乳管癌による病変領域である上皮内乳管癌領域がアノテーションされている、請求項１に記載の人工ニューラルネットワーク学習方法。

【請求項3】

前記デコーディングニューラルネットワークは、
前記第１の特徴マップに対する畳み込み演算を行う第１の畳み込み層と、
前記第２のエンコーディング畳み込みニューラルネットワークから出力した前記コンテキスト情報を用いて正規化パラメータを決定し、決定された前記正規化パラメータで前記第１の畳み込み層から出力された結果値に対する適応正規化（ａｄａｐｔｉｖｅ ｎｏｒｍａｌｉｚａｔｉｏｎ）を行うことで、前記第１の特徴マップに前記コンテキスト情報を反映する第１の後処理層を含む、請求項１に記載の人工ニューラルネットワーク学習方法。

【請求項4】

前記デコーディングニューラルネットワークは、
前記第１の特徴マップに対する畳み込み演算を行う第１の畳み込み層と、
前記第１の畳み込み層から出力された結果値を対象に前記第２のエンコーディング畳み込みニューラルネットワークから出力した前記コンテキスト情報に基づいたアテンションメカニズム（ａｔｔｅｎｔｉｏｎ ｍｅｃｈａｎｉｓｍ）を行うことで、前記第１の特徴マップに前記コンテキスト情報を反映する第１の後処理層を含む、請求項１に記載の人工ニューラルネットワーク学習方法。

【請求項5】

前記第１のエンコーディング畳み込みニューラルネットワークは、
前記第ｉの高解像度パッチに対応する第２の特徴マップをさらに出力し（ここで、前記第２の特徴マップは、前記第１の特徴マップよりも低レベルの特徴マップである）、
前記デコーディング畳み込みニューラルネットワークは、
前記第２の特徴マップに対する非ローカルブロック演算を行う非ローカルブロック層と、
前記第１の後処理層から伝達された結果、及び前記非ローカルブロック層から伝達された結果を結合（ｃｏｎｃａｔｅｎａｔｉｏｎ）する結合層と、
前記結合層から伝達された結果に対する畳み込み演算を行う第２の畳み込み層と、
前記第２の畳み込み層から出力された結果に、前記第ｉの低解像度パッチに対応するコンテキスト情報を反映する第２の後処理層と、
をさらに含み、
前記第２の後処理層から出力された結果に基づいて前記予測情報を出力する、請求項３又は請求項４に記載の人工ニューラルネットワーク学習方法。

【請求項6】

請求項１に記載の人工ニューラルネットワーク学習方法によって学習された人工ニューラルネットワークを介して所定の判断対象生体組織スライドに対する判断結果を提供する方法であって、
コンピュータシステムが、前記判断対象生体組織スライドの判断対象スライド画像を取得するステップと、
前記コンピュータシステムが、前記判断対象スライド画像から第１の判断対象高解像度パッチないし第Ｎの判断対象高解像度パッチを生成するステップと、
前記コンピュータシステムが、第ｊの判断対象高解像度パッチ（ここで、ｊは１≦ｊ≦Ｎの任意の整数）に対応する第ｊの判断対象低解像度パッチを生成するステップ（ここで、前記第ｊの判断対象高解像度パッチと、それに対応する第ｊの判断対象低解像度パッチは、同一のサイズを有し、前記第ｊの判断対象高解像度パッチの中心点と前記第ｊの判断対象低解像度パッチの中心点は、前記判断対象生体組織スライド上の同一の位置を指す）と、
前記コンピュータシステムが、前記第ｊの判断対象高解像度パッチ及び前記第ｊの判断対象低解像度パッチを入力された前記人工ニューラルネットワークが出力した予測結果に基づいて、前記第ｊの判断対象高解像度パッチに含まれた病変領域を判断するステップと、
を含む、方法。

【請求項7】

データ処理装置にインストールされ、請求項１又は請求項６に記載の方法を行うための媒体に記録されたコンピュータプログラム。

【請求項8】

請求項１又は請求項６に記載の方法を行うためのコンピュータプログラムが記録されたコンピュータで読み取り可能な記録媒体。

【請求項9】

人工ニューラルネットワーク学習システムであって、
プロセッサと、
コンピュータプログラムを記憶するメモリと、
を含み、
前記コンピュータプログラムは、前記プロセッサによって行われる場合、前記人工ニューラルネットワーク学習システムに人工ニューラルネットワーク学習方法を行わせ、
前記人工ニューラルネットワーク学習方法は、
人工ニューラルネットワーク学習システムが、生体組織スライドのスライド画像を取得するステップと、
前記人工ニューラルネットワーク学習システムが、前記スライド画像から第１の高解像度パッチないし第Ｎの高解像度パッチ（ここで、Ｎは２以上の整数）を取得するステップと、
前記人工ニューラルネットワーク学習システムが、第ｉの高解像度パッチ（ここで、ｉは１≦ｉ≦Ｎの任意の整数）に対応する第ｉの低解像度パッチを取得するステップ（ここで、前記第ｉの高解像度パッチと、それに対応する第ｉの低解像度パッチは、同一のサイズを有し、前記第ｉの高解像度パッチの中心点と前記第ｉの低解像度パッチの中心点は、前記生体組織スライド上の同一の位置を指す）と、
前記人工ニューラルネットワーク学習システムが、前記第ｉの高解像度パッチ及び前記第ｉの低解像度パッチを入力して前記人工ニューラルネットワークを学習するステップと、
を含み、
前記人工ニューラルネットワークは、第１のエンコーディング畳み込みニューラルネットワークと、第２のエンコーディング畳み込みニューラルネットワークと、デコーディング畳み込みニューラルネットワークと、
を含み、
前記第１のエンコーディング畳み込みニューラルネットワークは、
第ｉの高解像度パッチを入力し、前記第ｉの高解像度パッチに対応する第１の特徴マップを出力する畳み込みニューラルネットワークであり、
前記第２のエンコーディング畳み込みニューラルネットワークは、
前記第ｉの低解像度パッチを入力し、前記第ｉの低解像度パッチに対応するコンテキスト情報（ｃｏｎｔｅｘｔ ｉｎｆｏｒｍａｔｉｏｎ）を出力する畳み込みニューラルネットワークであり、
前記デコーディングニューラルネットワークは、
前記第ｉの高解像度パッチに対応する第１の特徴マップに、前記第ｉの低解像度パッチに対応するコンテキスト情報を反映し、前記コンテキスト情報を反映した結果値に基づいて、前記第ｉの高解像度パッチ内の病変領域を判断するための所定の予測情報を生成する畳み込みニューラルネットワークである、人工ニューラルネットワーク学習システム。

【請求項10】

前記生体組織スライドは、乳がんの切除組織スライドであり、
前記スライド画像には、浸潤癌による病変領域である浸潤癌領域、及び上皮内乳管癌による病変領域である上皮内乳管癌領域がアノテーションされている、請求項９に記載の人工ニューラルネットワーク学習システム。

【請求項11】

前記デコーディングニューラルネットワークは、
前記第１の特徴マップに対する畳み込み演算を行う第１の畳み込み層と、
前記第２のエンコーディング畳み込みニューラルネットワークから出力した前記コンテキスト情報を用いて正規化パラメータを決定し、決定された前記正規化パラメータで前記第１の畳み込み層から出力された結果値に対する適応正規化（ａｄａｐｔｉｖｅ ｎｏｒｍａｌｉｚａｔｉｏｎ）を行うことで、前記第１の特徴マップに前記コンテキスト情報を反映する第１の後処理層を含む、請求項９に記載の人工ニューラルネットワーク学習システム。

【請求項12】

前記デコーディングニューラルネットワークは、
前記第１の特徴マップに対する畳み込み演算を行う第１の畳み込み層と、
前記第１の畳み込み層から出力された結果値を対象に前記第２のエンコーディング畳み込みニューラルネットワークから出力した前記コンテキスト情報に基づいたアテンションメカニズム（ａｔｔｅｎｔｉｏｎ ｍｅｃｈａｎｉｓｍ）を行うことで、前記第１の特徴マップに前記コンテキスト情報を反映する第１の後処理層を含む、請求項９に記載の人工ニューラルネットワーク学習システム。

【請求項13】

前記第１のエンコーディング畳み込みニューラルネットワークは、
前記第ｉの高解像度パッチに対応する第２の特徴マップをさらに出力し（ここで、前記第２の特徴マップは、前記第１の特徴マップよりも低レベルの特徴マップである）、
前記デコーディング畳み込みニューラルネットワークは、
前記第２の特徴マップに対する非ローカルブロック演算を行う非ローカルブロック層と、
前記第１の後処理層から伝達された結果、及び前記非ローカルブロック層から伝達された結果を結合（ｃｏｎｃａｔｅｎａｔｉｏｎ）する結合層と、
前記結合層から伝達された結果に対する畳み込み演算を行う第２の畳み込み層と、
前記第２の畳み込み層から出力された結果に、前記第ｉの低解像度パッチに対応するコンテキスト情報を反映する第２の後処理層と、
をさらに含み、
前記第２の後処理層から出力された結果に基づいて前記予測情報を出力する、請求項１１又は請求項１２に記載の人工ニューラルネットワーク学習システム。

【請求項14】

所定の判断対象生体組織スライドに対する判断結果提供システムであって、
プロセッサと、
コンピュータプログラムを記憶するメモリと、
を含み、
前記コンピュータプログラムは、前記プロセッサによって行われる場合、判断結果提供システムに、請求項１に記載の人工ニューラルネットワーク学習方法によって学習された人工ニューラルネットワークを介して、前記判断対象生体組織スライドに対する判断結果を提供する方法を行わせ、
前記判断結果を提供する方法は、
前記判断結果提供システムが、前記判断対象生体組織スライドの判断対象スライド画像を取得するステップと、
前記判断結果提供システムが、前記判断対象スライド画像から第１の判断対象高解像度パッチないし第Ｎの判断対象高解像度パッチを生成するステップと、
前記判断結果提供システムが、第ｊの判断対象高解像度パッチ（ここで、ｊは１≦ｊ≦Ｎの任意の整数）に対応する第ｊの判断対象低解像度パッチを生成するステップ（ここで、前記第ｊの判断対象高解像度パッチと、それに対応する第ｊの判断対象低解像度パッチは、同一のサイズを有し、前記第ｊの判断対象高解像度パッチの中心点と前記第ｊの判断対象低解像度パッチの中心点は、前記判断対象生体組織スライド上の同一の位置を指す）と、
前記判断結果提供システムが、前記第ｊの判断対象高解像度パッチ及び前記第ｊの判断対象低解像度パッチが入力された前記人工ニューラルネットワークが出力した予測結果に基づいて、前記第ｊの判断対象高解像度パッチに含まれた病変領域を判断するステップを含む、判断結果提供システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、乳がんの病変領域を判別するための人工ニューラルネットワークの学習方法、及びこれを行うコンピュータシステムに関する。より詳しくは、生体組織の微視的特徴及び巨視的特徴の両方を考慮して乳がんの病変領域を判別できる人工ニューラルネットワークの学習方法、及びこれを行うコンピュータシステムに関する。

【背景技術】

【0002】

病理学又は病理科で行われる主な仕事の１つは、患者の生体組織画像を読み取って特定の疾患に対する状態、徴候又は病変を判断する診断を行うことである。このような診断は、長年にわたって経験豊富な医療従事者の経験と知識に依存する方法である。近年、機械学習の発達により画像を認識又は分類するなどの業務をコンピュータシステムによって自動化しようとする試みが活発に行われている。特に機械学習の一種である人工ニューラルネットワークを用いて、熟練した医療従事者が行っていた診断を自動化する試みがなされている。

【0003】

大量のデータを介して学習された人工ニューラルネットワークを用いて生体画像を診断する方法に期待できる大きな利点は、従来の経験豊富な医療従事者の経験と知識を単に自動化するのではなく、自分で学習を通じて特徴的な要素を見つけて所望する解答を導き出すという点で、むしろ熟練した医療従事者が知らなかった病気因子の特徴をイメージから見つけることもできるということである。

【0004】

一般に、人工ニューラルネットワークを生体画像の診断分野に適用するためには、スライドをスキャンしたデジタル画像に熟練した医療従事者が特定の疾患の状態（例えば、癌の発現の有無、特定の疾患による病変領域）をアノテーション（ａｎｎｏｔａｔｉｏｎ）して複数の学習データを作成した後、それによって人工ニューラルネットワークを学習する必要があり、このとき、人工ニューラルネットワークの学習に用いられる学習データは通常、単一の解像度で構成された画像である。

【0005】

乳がん患者の治療のために癌病変のある領域を切除する乳房切除術が広く利用されている。乳がん患者の手術後予後を予測したり、追加の抗癌治療を決定するためには、切除された乳がん組織の病理的検討が必要であり、乳がんの切除組織における浸潤癌（ｉｎｖａｓｉｖｅ ｃａｎｃｅｒ）病変領域と上皮内乳管癌（ｄｕｃｔａｌ ｃａｒｃｉｎｏｍａ ｉｎ ｓｉｔｕ；ＤＣＩＳ；乳管上皮内癌又は管上皮内癌ともいう）病変領域を区分して、サイズ、比率などを確認することは、主な病理検討項目である。

【0006】

従来の光学顕微鏡での目視による読み取り及びサイズ、比率などの計測は、判読者である病理専門医の疲労度を高めるだけでなく、主観的な読み取りによる不正確さを生じさせるため、人工ニューラルネットワークに基づく画像分析ディープラーニング技術を適用して病変領域を区分して検出し、そのサイズを測定する大きな必要性が生じている。

【0007】

畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）など人工ニューラルネットワークを介して乳がんの病変領域が浸潤癌か上皮内乳管癌かを判別するためには、巨視的な組織の形態が非常に重要であり、同時に微視的な細胞の形態及び細胞核のサイズなども非常に重要である。しかし、従来の単一解像度の畳み込みニューラルネットワークでは、このような特徴をよく捉えて病変領域を正確に分類するには限界があった。

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明が達成しようとする技術的な課題は、生体組織画像から特定の疾患による病変領域を検出できる人工ニューラルネットワークの構造を提案し、これを学習する方法を提供することである。より詳しくは、組織領域の巨視的特徴である組織形態と、微視的特徴である細胞の形態や細胞核のサイズなどを全て考慮して病変領域を判断できる人工ニューラルネットワークの構造を提案し、これを学習する方法を提供することである。

【0009】

特に、乳がんの場合には、乳がんの病変領域が浸潤癌か上皮内乳管癌かを判別する上で組織の巨視的形態と微視的特徴の両方を考慮する必要が高いため、乳がんの切除組織における巨視的な組織の形態と微視的な細胞の形態及び細胞核のサイズなどを全て考慮して病変領域を検出し、検出された病変領域を浸潤癌又は上皮内乳管癌に分類する生体画像分析用ディープラーニングモデルを提案することである。

【課題を解決するための手段】

【0010】

本発明の一態様によると、人工ニューラルネットワーク学習システムが、生体組織スライドのスライド画像を取得するステップと、前記人工ニューラルネットワーク学習システムが、前記スライド画像から第１の高解像度パッチないし第Ｎの高解像度パッチ（ここで、Ｎは２以上の整数）を取得するステップと、前記人工ニューラルネットワーク学習システムが、第ｉの高解像度パッチ（ここで、ｉは１≦ｉ≦Ｎの任意の整数）に対応する第ｉの低解像度パッチを取得するステップ（ここで、前記第ｉの高解像度パッチと、それに対応する第ｉの低解像度パッチは、同一のサイズを有し、前記第ｉの高解像度パッチの中心点と前記第ｉの低解像度パッチの中心点は、前記生体組織スライド上の同一の位置を指す）と、前記人工ニューラルネットワーク学習システムが、前記第ｉの高解像度パッチ及び前記第ｉの低解像度パッチを入力して前記人工ニューラルネットワークを学習するステップと、を含み、前記人工ニューラルネットワークは、第１のエンコーディング畳み込みニューラルネットワーク、第２のエンコーディング畳み込みニューラルネットワーク、及びデコーディング畳み込みニューラルネットワークを含み、前記第１のエンコーディング畳み込みニューラルネットワークは、第ｉの高解像度パッチを入力され、前記第ｉの高解像度パッチに対応する第１の特徴マップを出力する畳み込みニューラルネットワークであり、前記第２のエンコーディング畳み込みニューラルネットワークは、前記第ｉの低解像度パッチを入力し、前記第ｉの低解像度パッチに対応するコンテキスト情報（ｃｏｎｔｅｘｔ ｉｎｆｏｒｍａｔｉｏｎ）を出力する畳み込みニューラルネットワークであり、前記デコーディングニューラルネットワークは、前記第ｉの高解像度パッチに対応する第１の特徴マップに、前記第ｉの低解像度パッチに対応するコンテキスト情報を反映し、前記コンテキスト情報を反映した結果値に基づいて、前記第ｉの高解像度パッチ内の病変領域を判断するための所定の予測情報を生成する畳み込みニューラルネットワークである人工ニューラルネットワーク学習方法が提供される。

【0011】

一実施形態において、前記生体組織スライドは、乳がんの切除組織スライドであり、前記スライド画像には、浸潤癌による病変領域である浸潤癌領域、及び上皮内乳管癌による病変領域である上皮内乳管癌領域がアノテーションされていてもよい。

【0012】

一実施形態において、前記デコーディングニューラルネットワークは、前記第１の特徴マップに対する畳み込み演算を行う第１の畳み込み層、及び前記第２のエンコーディング畳み込みニューラルネットワークから出力した前記コンテキスト情報を用いて正規化パラメータを決定し、決定された前記正規化パラメータで前記第１の畳み込み層から出力された結果値に対する適応正規化（ａｄａｐｔｉｖｅ ｎｏｒｍａｌｉｚａｔｉｏｎ）を行うことで、前記第１の特徴マップに前記コンテキスト情報を反映する第１の後処理層を含んでもよい。

【0013】

一実施形態において、前記デコーディングニューラルネットワークは、前記第１の特徴マップに対する畳み込み演算を行う第１の畳み込み層、及び前記第１の畳み込み層から出力された結果値を対象に前記第２のエンコーディング畳み込みニューラルネットワークから出力した前記コンテキスト情報に基づいたアテンションメカニズム（ａｔｔｅｎｔｉｏｎ ｍｅｃｈａｎｉｓｍ）を行うことで、前記第１の特徴マップに前記コンテキスト情報を反映する第１の後処理層を含んでもよい。

【0014】

一実施形態において、前記第１のエンコーディング畳み込みニューラルネットワークは、前記第ｉの高解像度パッチに対応する第２の特徴マップをさらに出力し（ここで、前記第２の特徴マップは、前記第１の特徴マップよりも低レベルの特徴マップである）、前記デコーディング畳み込みニューラルネットワークは、前記第２の特徴マップに対する非ローカルブロック演算を行う非ローカルブロック層、前記第１の後処理層から伝達された結果、及び前記非ローカルブロック層から伝達された結果を結合（ｃｏｎｃａｔｅｎａｔｉｏｎ）する結合層、前記結合層から伝達された結果に対する畳み込み演算を行う第２の畳み込み層、前記第２の畳み込み層から出力された結果に、前記第ｉの低解像度パッチに対応するコンテキスト情報を反映する第２の後処理層をさらに含み、前記第２の後処理層から出力された結果に基づいて前記予測情報を出力してもよい。

【0015】

本発明の他の態様によると、前記人工ニューラルネットワーク学習方法によって学習された人工ニューラルネットワークを介して所定の判断対象生体組織スライドに対する判断結果を提供する方法であって、コンピュータシステムが、前記判断対象生体組織スライドの判断対象スライド画像を取得するステップと、前記コンピュータシステムが、前記判断対象スライド画像から第１の判断対象高解像度パッチないし第Ｎの判断対象高解像度パッチを生成するステップと、前記コンピュータシステムが、第ｊの判断対象高解像度パッチ（ここで、ｊは１≦ｊ≦Ｎの任意の整数）に対応する第ｊの判断対象低解像度パッチを生成するステップ（ここで、前記第ｊの判断対象高解像度パッチと、それに対応する第ｊの判断対象低解像度パッチは、同一のサイズを有し、前記第ｊの判断対象高解像度パッチの中心点と前記第ｊの判断対象低解像度パッチの中心点は、前記判断対象生体組織スライド上の同一の位置を指す）と、前記コンピュータシステムが、前記第ｊの判断対象高解像度パッチ及び前記第ｊの判断対象低解像度パッチを入力された前記人工ニューラルネットワークが出力した予測結果に基づいて、前記第ｊの判断対象高解像度パッチに含まれた病変領域を判断するステップと、を含む判断結果提供方法が提供される。

【0016】

本発明の他の態様によると、データ処理装置にインストールされ、上述の方法を行うための媒体に記録されたコンピュータプログラムが提供される。

【0017】

本発明の他の態様によると、上述の方法を行うためのコンピュータプログラムが記録されたコンピュータで読み取り可能な記録媒体が提供される。

【0018】

本発明の他の態様によると、人工ニューラルネットワーク学習システムであって、プロセッサ、及びコンピュータプログラムを記憶するメモリを含み、前記コンピュータプログラムは、前記プロセッサによって行われる場合、前記人工ニューラルネットワーク学習システムに前記人工ニューラルネットワーク学習方法を行わせる人工ニューラルネットワーク学習システムが提供される。

【0019】

本発明の他の態様によると、所定の判断対象生体組織スライドに対する判断結果提供システムであって、プロセッサ、及びコンピュータプログラムを記憶するメモリを含み、前記コンピュータプログラムは、前記プロセッサによって行われる場合、判断結果提供システムに前記判断結果提供方法を行わせる判断結果提供システムが提供される。

【発明の効果】

【0020】

本発明の技術的思想によると、組織領域の巨視的特徴である組織形態と、微視的特徴である細胞の形態や細胞核のサイズなどを全て考慮して病変領域を判断することができる。すなわち、高解像度画像を介して組織の微視的特徴を考慮すると共に、低解像度画像を介して組織の巨視的特徴まで考慮して病変領域を判断する人工ニューラルネットワーク、及びこれを学習する方法を提供することができる。

【0021】

特に、乳がんの場合は、乳がんの病変領域が浸潤癌か上皮内乳管癌かを判別する上で組織の巨視的形態と微視的特徴の両方を考慮する必要が高いため、本発明の技術的思想による人工ニューラルネットワーク、及びこれを学習する方法を乳がんの切除組織のスライド画像に適用する場合、非常に効果的に病変領域を検出し、検出された病変領域を浸潤癌又は上皮内乳管癌に分類することができる。

【図面の簡単な説明】

【0022】

本発明の詳細な説明で引用される図面をより十分に理解するために、各図面の簡単な説明が提供される。

【0023】

【図1】本発明の技術的思想による人工ニューラルネットワーク学習方法、及び生体組織スライドに対する判断結果提供方法が行われる環境を概略的に示す図である。

【図2】本発明の一実施形態による人工ニューラルネットワーク学習方法を説明するためのフローチャートである。

【図3】浸潤癌領域及び上皮内乳管癌領域がアノテーションされている生体組織スライド画像の一例を示す図である。

【図4a】高解像度パッチを説明するための図である。

【図4b】生体組織スライド画像上の中心点が同一の位置である、高解像度パッチがカバーする領域と、それに対応する低解像度パッチがカバーする領域との例を示す図である。

【図5】本発明の一実施形態による人工ニューラルネットワークの構造を説明するための図である。

【図6】本発明の一実施形態による生体組織スライドに対する判断結果提供方法の一例を示すフローチャートである。

【図7】本発明の一実施形態による人工ニューラルネットワーク学習システムの概略的な構成を示す図である。

【図8】本発明の一実施形態による判断結果提供システムの概略的な構成を示す図である。

【発明を実施するための形態】

【0024】

本発明は、様々な変換を加えることができ、様々な実施形態を有することができるので、特定の実施形態を図面に示し、詳細な説明に詳しく説明する。しかし、これは本発明を特定の実施形態に限定することを意図するものではなく、本発明の精神及び技術的範囲に含まれる全ての変換、等価物から代替物を含むことを理解すべきである。本発明の説明において、関連する公知技術の具体的な説明が本発明の要旨を不明瞭にすると判断される場合、その詳細な説明は省略する。

【0025】

第１、第２のなどの用語は様々な構成要素を説明するために使用することができるが、構成要素はその用語によって限定されるべきではない。第１、第２のなどの用語は特別な順序を表すものではなく、ある構成要素を他の構成要素から区別する目的でのみ使用される。

【0026】

本出願で使用される用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定することを意図していない。単数の表現は、文脈上明らかに他に意味がない限り、複数の表現を含む。

【0027】

本明細書において、「含む」又は「有する」などの用語は、本明細書に記載の特徴、数字、ステップ、動作、構成要素、部品、又はそれらを組み合わせたものが存在することを指定するものであり、１つ又はそれ以上の他の特徴、数、ステップ、動作、構成要素、部品、又はそれらを組み合わせたもの存在又は追加の可能性を予め除外しないことを理解すべきである。

【0028】

また、本明細書において、ある構成要素が他の構成要素にデータを「伝送」する場合、構成要素は、他の構成要素に直接データを伝送することもでき、少なくとも１つのまた他の構成要素を介してデータを他の構成要素に伝送することもできることを意味する。逆に、ある構成要素が他の構成要素にデータを「直接伝送」する場合、その構成要素はまた他の構成要素を介さずに他の構成要素にデータを伝送することを意味する。

【0029】

以下、添付の図面を参照して本発明の実施形態を中心に本発明を詳しく説明する。各図に示されている同じ参照符号は同じ部材を示す。

【0030】

図１は、本発明の技術的思想による人工ニューラルネットワーク学習方法、及び生体組織スライドに対する判断結果提供方法が行われる環境を概略的に示す図である。

【0031】

図１を参照すると、本発明の一実施形態による人工ニューラルネットワーク学習方法は、人工ニューラルネットワーク学習システム１００によって行われてもよく、本発明の一実施形態による生体組織スライドに対する判断結果提供方法は、所定の判断対象生体組織スライドに対する判断結果提供システム（２００；以下、「判断結果提供システム」という）によって行われてもよい。

【0032】

人工ニューラルネットワーク学習システム１００は、人工ニューラルネットワーク３００を学習することができる。

【0033】

人工ニューラルネットワーク学習システム１００は、複数の病理検体から生成された学習データに基づいて人工ニューラルネットワーク３００を学習することができる。

【0034】

病理検体は、人体の様々な臓器から採取された生検、又は手術によって切除された生体組織であってもよい。人工ニューラルネットワーク学習システム１００は、病理検体のデジタル病理スライド画像を用いて個別の学習データを生成し、これを人工ニューラルネットワーク３００の入力層に入力して人工ニューラルネットワーク３００を学習することができる。

【0035】

一実施形態において、人工ニューラルネットワーク３００は、所定の疾患が発現するかに対する確率値を出力するように学習できる人工ニューラルネットワークであってもよい。人工ニューラルネットワーク３００は、入力層を介して入力されたデータに基づいて、対象検体に対する判断結果（例えば、特定の疾患（特に、乳がん）による病変の有無）を示す数値、すなわち確率値を出力することができる。

【0036】

本明細書において人工ニューラルネットワークは、人間のニューロンの動作原理に基づいて人工的に構築されたニューラルネットワークであり、多層パーセプトロンモデルを含み、人工ニューラルネットワークを定義する一連の設計事項を表現する情報の集合を意味することができる。

【0037】

一実施形態において、人工ニューラルネットワーク３００は、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）であってもよく、又は畳み込みニューラルネットワークを含んでもよい。

【0038】

畳み込みニューラルネットワークはよく知られているように、入力層、複数の隠れ層、及び出力層を含んでもよい。複数の隠れ層のそれぞれは、畳み込み層及びプーリング層（又はサブサンプリング層）を含んでもよい。畳み込みニューラルネットワークは、このようなそれぞれの層を定義するための関数、フィルタ、ストライド（ｓｔｒｉｄｅ）、重み係数などによって定義することができる。また、出力層は、完全接続された（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）フィードフォワード層（ＦｅｅｄＦｏｒｗａｒｄ ｌａｙｅｒ）として定義することができる。畳み込みニューラルネットワークを構成する層ごとの設計事項は広く知られている。例えば、複数の層に含まれる層の数、複数の層を定義するための畳み込み関数、プーリング関数、及び活性化関数のそれぞれに対しては公知の関数を用いてもよく、本発明の技術的思想を実現するために別に定義された関数が用いられてもよい。

【0039】

一方、学習された人工ニューラルネットワーク３００は、判断結果提供システム２００に記憶されてもよく、判断結果提供システム２００は、学習された人工ニューラルネットワーク３００を用いて所定の診断対象検体又は診断対象検体のスライド画像に対する判断を行うことができる。

【0040】

一実施形態において、人工ニューラルネットワーク３００は、生体組織スライド画像、又は生体組織スライド画像の一部であるパッチ（又は「タイル」ともいう）を入力し、生体組織に対する診断情報、予後情報及び／又は治療方法に対する反応情報を提供するためのニューラルネットワークであってもよい。

【0041】

特に、一実施形態において、人工ニューラルネットワーク３００は、生体組織スライド画像、又は生体組織スライド画像の一部であるパッチが入力されてもよい。

【0042】

スライド画像は、生体組織スライドをスキャンした画像であってもよく、パッチは、生体組織スライド画像を格子状に分割した一部であってもよい。

【0043】

一実施形態において、生体組織スライドは、乳がんの切除組織スライドであってもよく、この場合、病変領域は、浸潤癌による病変領域である浸潤癌領域、及び上皮内乳管癌による病変領域である上皮内乳管癌領域を含んでもよい。

【0044】

一方、人工ニューラルネットワーク３００は、入力された画像に対する領域分割モデル（すなわち、画素単位の分類モデル）であってもよい。すなわち、人工ニューラルネットワーク３００の出力値は、領域分割結果（すなわち、画素単位分類結果）であってもよい。言い換えれば、人工ニューラルネットワーク３００は、該当の画像内の病変領域を判断するための所定の予測情報を出力してもよい。また、人工ニューラルネットワーク３００は、入力された画像を各画素単位で分類する画素レベルの分類ニューラルネットワークであってもよい。例えば、人工ニューラルネットワーク３００は、画像を構成する画素ごとに、浸潤癌である確率、上皮内乳管癌である確率、及び癌でない確率を出力するニューラルネットワークであってもよい。

【0045】

人工ニューラルネットワーク学習システム１００は、複数の生体組織パッチを入力して人工ニューラルネットワーク３００を学習することができる。このとき、学習データ（すなわち、生体組織パッチ）には、浸潤癌による病変領域である浸潤癌領域、及び上皮内乳管癌による病変領域である上皮内乳管癌領域がアノテーション（ａｎｎｏｔａｔｉｏｎ）されていてもよい。

【0046】

判断結果提供システム２００は、学習された人工ニューラルネットワーク３００を用いて対象検体に対する各種の判断（例えば、病変領域に対する判断、疾患発現の有無、予後、治療方法に対する判断など）を行うことができる。

【0047】

人工ニューラルネットワーク学習システム１００及び／又は判断結果提供システム２００は、本発明の技術的思想を実現するための演算能力を有するデータ処理装置であるコンピュータシステムであってもよく、一般にネットワークを介してクライアントが接続可能なデータ処理装置であるサーバだけでなく、パーソナルコンピュータや携帯端末などのようなコンピュータ装置を含んでもよい。

【0048】

人工ニューラルネットワーク学習システム１００及び／又は判断結果提供システム２００は、いずれかの物理的装置で実現されてもよいが、必要に応じて複数の物理的装置が有機的に結合され、本発明の技術的思想による人工ニューラルネットワーク学習システム１００及び／又は判断結果提供システム２００を実現してもよいことを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。

【0049】

図１に示すように、人工ニューラルネットワーク学習システム１００及び／又は判断結果提供システム２００は、所定の親システム１０のサブシステムの形態で実現されてもよい。親システム１０はサーバであってもよい。サーバ１０は、本発明の技術的思想を実現するための演算能力を有するデータ処理装置を意味し、一般にネットワークを介してクライアントが接続可能なデータ処理装置だけでなく、パーソナルコンピュータ、携帯端末などのように特定のサービスを行うことができるどんな装置もサーバと定義できることを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。

【0050】

或いは、実施形態によっては、人工ニューラルネットワーク学習システム１００及び判断結果提供システム２００は、互いに分離された形態で実現されてもよい。

【0051】

図２は、本発明の一実施形態による人工ニューラルネットワーク学習方法を説明するためのフローチャートである。

【0052】

図２を参照すると、人工ニューラルネットワーク学習システム１００は、生体組織スライド画像を取得することができる（Ｓ１００）。

【0053】

生体組織スライド画像には病変領域がアノテーションされていてもよい。一実施形態において、生体組織スライド画像には、浸潤癌による病変領域である浸潤癌領域、及び上皮内乳管癌による病変領域である上皮内乳管癌領域がアノテーションされていてもよい。

【0054】

１つの生体組織スライド画像に浸潤癌及び上皮内乳管癌が同時にそれぞれ存在する場合があり、病変領域ごとに病変の種類が共にアノテーションされている場合もある。

【0055】

図３は、浸潤癌領域及び上皮内乳管癌領域がアノテーションされている生体組織スライド画像の一例を示す図である。図３に赤色で表示された領域（例えば、１）が浸潤癌領域であり、黄色で表示された領域（例えば、２）が上皮内乳管癌領域である。

【0056】

また図２を参照すると、人工ニューラルネットワーク学習システム１００は、生体組織スライド画像からＮ個（ここで、Ｎは２以上の整数）の高解像度パッチを取得することができる（Ｓ１１０）。ここで、高解像度とは、特定の倍率又は特定の解像度以上を意味するのでなく、後述する低解像度パッチに比べて相対的に高い解像度を有するという意味である。

【0057】

一実施形態において、人工ニューラルネットワーク学習システム１００は、生体組織スライド画像を一定のサイズに分割してＮ個の高解像度パッチを取得することができる。

【0058】

図４ａは、高解像度パッチを説明するための図である。図４ａを参照すると、人工ニューラルネットワーク学習システム１００は、生体組織スライド画像１０を格子状に分割して高解像度パッチ（例えば、１１）を生成することができる。

【0059】

図４ａに示す例のように、Ｎ個の高解像度パッチを全て整合すると、元の生体組織スライド画像になり得る。Ｎ個の高解像度パッチは、互いに排他的であってもよいが、これに限定されるものでなく、Ｎ個の高解像度パッチの少なくとも一部は、他の高解像度パッチと重なる領域があってもよい。

【0060】

一方、人工ニューラルネットワーク学習システム１００は、１≦ｉ≦Ｎの全ての整数に対して、第ｉの高解像度パッチに対応する第ｉの低解像度パッチを取得することができる（Ｓ１２０、Ｓ１３０）。

【0061】

低解像度パッチは、高解像度パッチに比べて相対的に低い解像度を有するパッチであってもよい。例えば、高解像度パッチを５０倍率の画像とすると、低解像度パッチは１２．５倍率の画像であってもよく、以下では理解の便宜のために、特に明記しない限り、高解像度パッチは５０倍率の画像であり、低解像度パッチは１２．５倍率の画像であると仮定して説明する。

【0062】

第ｉの高解像度パッチの中心点と第ｉの低解像度パッチの中心点は、生体組織スライド上の同一の位置を指してもよい。また、第ｉの高解像度パッチと第ｉの低解像度パッチは、同一のサイズを有してもよい。例えば、高解像度パッチのサイズが２５６×２５６であると、低解像度パッチのサイズも２５６×２５６であってもよい。一方、高解像度パッチが５０倍率の画像であり、低解像度パッチがその１／４比の１２．５倍率の画像である場合、高解像度パッチがカバーするスライド画像上の領域の面積と、それに対応する低解像度パッチがカバーするスライド画像上の領域の面積は１：１６であってもよい。

【0063】

一実施形態において、人工ニューラルネットワーク学習システム１００は、高解像度パッチの中心点を中心に広い部分（厳密には低解像度パッチがカバーする部分）を抽出した後、これを縮小して低解像度パッチを取得することができる。例えば、サイズが２５６×２５６であり、中心点の座標が（２０４８、２５６０）である高解像度パッチに対応する低解像度パッチを取得するために、人工ニューラルネットワーク学習システム１００は、生体スライド画像で座標（２０４８、２５６０）を中心に１０２４×１０２４サイズの領域を抽出した後、これを２５６×２５６のサイズに縮小することで、低解像度パッチを生成することができる。

【0064】

図４ｂは、生体組織スライド画像上の中心点が同一の位置である、高解像度パッチがカバーする領域と、それに対応する低解像度パッチがカバーする領域との例を示す図である。図４ｂを参照すると、高解像度パッチ１１とそれに対応する低解像度パッチは、いずれもその中心点が生体組織スライド１０上の同一の位置１３であってもよく、低解像度パッチがカバーする領域１２の面積は、高解像度パッチがカバーする領域１１の面積の１６倍であってもよい。

【0065】

前述の例のように、生体組織スライドは、単一倍率の画像のみを含んでもよいが、実施形態によっては、生体組織スライドは、ピラミッド形式で高倍率から低倍率までの画像を複数含んでもよい。例えば、生体組織画像は、５０倍率の高解像度スライド画像、及び１２．５倍率の低解像度スライド画像を含んでもよい。この場合、人工ニューラルネットワーク学習システム１００は、高解像度スライド画像を分割して複数の高解像度パッチを取得し、それぞれの高解像度パッチごとにそれに対応する低解像度パッチを低解像度スライド画像から抽出することができる。例えば、人工ニューラルネットワーク学習システム１００は、サイズが２５６×２５６で中心点の座標が（２０４８、２５６０）である高解像度パッチに対応する低解像度パッチを取得するために、低解像度スライド画像のうちで座標（５１２、６４０）を中心に２５６×２５６サイズの領域を抽出することで、低解像度パッチを取得することができる。

【0066】

また図２を参照すると、人工ニューラルネットワーク学習システム１００は、第ｉの高解像度パッチ、及びそれに対応する第ｉの低解像度パッチを人工ニューラルネットワーク３００に入力して人工ニューラルネットワーク３００を学習することができる（Ｓ１４０）。

【0067】

図２は、１つの生体組織スライド画像で人工ニューラルネットワークを学習する過程を示しているが、実際には複数の生体組織スライド画像で人工ニューラルネットワークを学習してもよく、各生体組織スライド画像ごとに図２のＳ１００ステップないしＳ１４０ステップが行われてもよい。

【0068】

図５は、本発明の一実施形態による人工ニューラルネットワーク３００の構造を説明するための図である。

【0069】

図５を参照すると、人工ニューラルネットワーク３００は、第１のエンコーディング畳み込みニューラルネットワーク３１０、第２のエンコーディング畳み込みニューラルネットワーク３２０、及びデコーディング畳み込みニューラルネットワーク３３０を含んでもよい。

【0070】

第１のエンコーディング畳み込みニューラルネットワーク３１０及び第２のエンコーディング畳み込みニューラルネットワークは、畳み込みニューラルネットワークの一種であるＭＮＡＳＮＥＴで実現できるが、これに限定されず、ＲＥＳＮＥＴなどのような他の畳み込みニューラルネットワークで実現することもできる。

【0071】

第１のエンコーディング畳み込みニューラルネットワーク３１０は、高解像度パッチ３０１を入力されてもよく、第２のエンコーディング畳み込みニューラルネットワーク３２０は、高解像度パッチ３０１に対応する低解像度パッチ３０２を入力されてもよい。図５に示す例において、第１のエンコーディング畳み込みニューラルネットワーク３１０は、５１２×５１２サイズの５０倍率の高解像度パッチが入力され、第２のエンコーディング畳み込みニューラルネットワーク３２０は、５１２×５１２サイズの１２．５倍率の低解像度パッチが入力される。

【0072】

一方、第１のエンコーディング畳み込みニューラルネットワーク３１０は、最終出力物を生成する過程で特徴マップを生成してもよい。すなわち、特徴マップは、第１のエンコーディング畳み込みニューラルネットワーク３１０の隠れ層（例えば、畳み込み層）で生成される中間生成物であってもよい。

【0073】

第１のエンコーディング畳み込みニューラルネットワーク３１０は、入力された高解像度パッチ３０１に対応する２以上の特徴マップを生成することができ、図５では、低レベルの特徴マップである第１の特徴マップ３１１と、高レベルの特徴マップである第２の特徴マップ３１２が生成される例を示している。第１の特徴マップ３１１は、３２×１２８×１２８次元（サイズ１２８×１２８、３２チャネル）の低レベルの特徴マップであり、第２の特徴マップ３１２は、１２８×３２×３２次元（サイズ３２×３２、１２８チャネル）の高レベルの特徴マップであってもよい。本明細書において、特徴マップが低レベルであるとは、高レベルの特徴マップに比べて相対的に入力層から近い隠れ層で生成されるか、又は高レベルの特徴マップに比べて相対的にあまり抽象化されておらず、より大きな情報量を有することを意味することができる。また、本明細書で特定のニューラルネットワーク又は層から出力される値の次元をｃ×ａ×ｂで表記した場合、該当の値はサイズがａ×ｂのｃチャネルの値であることを示す。

【0074】

一方、高レベルの特徴マップが低レベルの特徴マップに比べてチャネルの数の多い理由は、通常、畳み込みニューラルネットワークの途中で最大プーリング（ｍａｘ ｐｏｏｌｉｎｇ）などによって画像のサイズを縦横それぞれ半分ずつ減らしていき、このとき、情報損失を低減するためにチャネルの数を増やすためである。すなわち、入力に近い畳み込み層から出力に近い畳み込み層にデータが流れている間、特徴マップのサイズは縮小して抽象化を試み、代わりに抽象的な情報の量を増やすためにチャネルの数を増やすことである。

【0075】

一方、第２のエンコーディング畳み込みニューラルネットワーク３２０は、低解像度パッチ３０２を入力され、低解像度パッチ３０２に対応するコンテキスト情報（ｃｏｎｔｅｘｔ ｉｎｆｏｒｍａｔｉｏｎ；３２１）を出力することができる。

【0076】

第２のエンコーディング畳み込みニューラルネットワーク３２０が出力するコンテキスト情報３２１は、第２のエンコーディング畳み込みニューラルネットワーク３２０の最終出力値でなくてもよく、第２のエンコーディング畳み込みニューラルネットワーク３２０の最終出力のための完全接続層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）の直前の層の出力がコンテキスト情報３２１であってもよい。

【0077】

図５は、１２８０次元のコンテキスト情報３２１を出力する例を示しているが、コンテキスト情報３２１のサイズは、ニューラルネットワークの構造によって変わり得ることは言うまでもない。

【0078】

一方、デコーディングニューラルネットワーク３３０は、第１のエンコーディング畳み込みニューラルネットワーク３１０が出力した特徴マップ（３１１及び／又は３１２）に、低解像度パッチ３０２に対応するコンテキスト情報３２１を反映し、コンテキスト情報３２１を反映した結果値に基づいて、高解像度パッチ３０１内の病変領域を判断するための所定の予測情報３４０を生成することができる。

【0079】

一実施形態において、デコーディングニューラルネットワーク３３０は、高解像度パッチ３０１を構成する画素ごとに正常領域／浸潤癌病変領域／上皮内乳管癌病変領域に該当する確率を出力することができる。この場合、デコーディングニューラルネットワーク３３０は、３×５１２×５１２次元の予測情報を出力することができるが、これに限定されない。実施形態によっては、デコーディングニューラルネットワーク３３０は、高解像度パッチ３０１を構成する各画素群（例えば、正方形の４つの画素で構成された画素群）ごとに正常／浸潤癌病変領域／上皮内乳管癌病変領域に該当する確率を出力することができる。この場合、デコーディングニューラルネットワーク３３０は、３×１２８×１２８次元の予測情報を出力することができる。

【0080】

各画素又は各画素群が正常である確率、浸潤癌病変領域である確率、及び上皮内乳管癌病変領域である確率を合わせると１であってもよい。

【0081】

図５を参照すると、デコーディングニューラルネットワーク３３０は、第１の畳み込み層３３１及び第１の後処理層３３２を含んでもよい。また、デコーディングニューラルネットワーク３３０は、非ローカルブロック層（ｎｏｎ－ｌｏｃａｌ ｂｌｏｃｋ ｌａｙｅｒ；３３３）、結合層（ｃｏｎｃａｔｅｎａｔｉｏｎ ｌａｙｅｒ；３３４）、第２の畳み込み層３３５、及び第２の後処理層３３６をさらに含んでもよい。

【0082】

実施形態によっては、デコーディングニューラルネットワーク３３０は、図５に示す層の一部のみを含んでもよく、図５に示す層以外の他の層をさらに含んでもよい。例えば、デコーディングニューラルネットワーク３３０は、図５に示す層のうち第１の畳み込み層３３１及び第１の後処理層３３２のみを含んでもよく、場合によっては、１つ以上の畳み込み層及び後処理層をさらに含んでもよい。

【0083】

第１の畳み込み層３３１は、第１の特徴マップ３１１に対する畳み込み演算を行うことができる。例えば、第１の畳み込み層３３１は、３×３畳み込みフィルターを介する畳み込み演算を行って３２×１２８×１２８次元の結果物を出力することができる。

【0084】

第１の後処理層３３２は、第１の畳み込み層３３１が生成した結果物に、第２のエンコーディング畳み込みニューラルネットワーク３２０から出力したコンテキスト情報３２１を反映してもよい。

【0085】

一実施形態において、第１の後処理層３３２は、適応正規化（ａｄａｐｔｉｖｅ ｎｏｒｍａｌｉｚａｔｉｏｎ）手法によってコンテキスト情報３２１を反映してもよい。適応正規化とは、コンテキスト情報を入力として正規化パラメータである平均と標準偏差（又は分散）を出力する１つの完全接続層を置き、これから出力される平均及び標準偏差を用いて正規化を行う手法を意味する。

【0086】

より詳しくは、第１の後処理層３３２は、コンテキスト情報３２１を用いて正規化パラメータ（例えば、平均及び標準偏差）を決定し、決定された正規化パラメータで第１の畳み込み層３３１から出力された結果値に対する適応正規化を行うことで、第１の特徴マップ３１１にコンテキスト情報３２１を反映してもよい。

【0087】

他の一実施形態において、第１の後処理層３３２は、アテンションメカニズム（ａｔｔｅｎｔｉｏｎ ｍｅｃｈａｎｉｓｍ）によってコンテキスト情報３２１を反映することができる。すなわち、第１の後処理層３３２は、第１の畳み込み層３３１から出力された結果値を対象に、第２のエンコーディング畳み込みニューラルネットワーク３２０から出力したコンテキスト情報３２１に基づいたアテンションメカニズムを行うことで、第１の特徴マップ３１１にコンテキスト情報３２１を反映することができる。

【0088】

アテンションメカニズムにおいて、コンテキスト情報は、これを入力としてアテンションメカニズムで用いることができるパラメータを出力する１つの完全接続層を通過する方式で活用される。アテンションメカニズムを適用するための多様な方法があり得る。例えば、チャネル単位の重み値（チャネルごとの重み値を掛ける）をアテンションでみる方法もあり、非ローカルブロックのように、セルフアテンション（ｓｅｌｆ－ａｔｔｅｎｔｉｏｎ）につながる構造で、元の入力から完全接続層を介して生成されるクエリー（ｑｕｅｒｙ）部分をコンテキスト情報だけで生成するか、又は元の入力とコンテキスト情報を特徴マップサイズの調整によってサイズを合わせて連結（ｃｏｎｃａｔｅｎａｔｉｏｎ）した後、これをクエリーを生成する完全接続層に入力する方式もあり得る。

【0089】

図５には示されていないが、第１の後処理層３３２を含む後処理層（例えば、第２の後処理層３３６）から出力される値は、ＲｅｌｕやＳｉｇｍｏｉｄのような所定の活性関数（ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）を経て、次の層に伝達することができる。

【0090】

一方、非ローカルブロック層３３３は、第２の特徴マップに対する非ローカルブロック演算を行ってもよい。非ローカルブロック演算は、入力された特徴マップの非局所的な相関関係を算出するために用いられる演算を意味し、これについても詳細な説明はＫａｉｍｉｎｇ Ｈｅらの論文「Ｎｏｎ－ｌｏｃａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」（ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１７１１．０７９７１．ｐｄｆ）に開示されている。

【0091】

一方、図５には示されていないが、非ローカルブロック層３３３から出力された値にアップスケーリング（ｕｐｓｃａｌｉｎｇ）が行われてもよく、これにより第１の後処理層３３２から出力される結果物と同一のサイズ（例えば、１２８×１２８）を有する結果物が生成され、次の層（すなわち、結合層３３４）に伝達されてもよい。一方、アップスケーリング手法として補間法（ｉｎｔｅｒｐｏｌａｔｉｏｎ）や転置畳み込み（ｔｒａｎｓｐｏｓｅｄ ｃｏｎｖｏｌｕｔｉｏｎ）が用いられてもよい。

【0092】

結合層３３４は、第１の後処理層３３２から伝達された結果、及び非ローカルブロック層３３３から伝達された結果を結合（ｃｏｎｃａｔｅｎａｔｉｏｎ）することができる。結合層は、チャネルスタッキング（ｃｈａｎｎｅｌ ｓｔａｃｋｉｎｇ）によって結合演算を行うことができる。例えば、第１の後処理層３３２から３２×１２８×１２８次元の結果物が伝達され、非ローカルブロック層３３３から１２８×１２８×１２８次元の結果物が伝達された場合、結合層３３４は、チャネルスタッキングによって１６０×１２８×１２８次元の結合結果物を出力することができる。

【0093】

第２の畳み込み層３３５は、結合層３３４から出力した結果に対する畳み込み演算を行うことができる。例えば、第２の畳み込み層３３５は、３×３畳み込みフィルターを介する畳み込み演算を行って１２８×１２８×１２８次元の結果物を出力することができる。

【0094】

第２の後処理層３３６は、第２の畳み込み層３３５から出力された結果に、低解像度パッチに対応するコンテキスト情報３２１を反映することができる。第２の後処理層３３６も第１の後処理層３３２と同様にコンテキスト情報３２１を適用した適応正規化手法又はアテンションメカニズムを行うことができる。

【0095】

一方、デコーディング畳み込みニューラルネットワーク３３０は、第２の後処理層３３６から出力された結果物に基づいて予測情報３４０を出力することができる。

【0096】

本発明の一実施形態によると、第２の後処理層３３６と予測情報３４０を最終的に出力する層の間に、１つ以上の追加の畳み込み層、及びこれと連結された追加の後処理層がさらに含まれてもよい。例えば、図５に示すように、デコーディング畳み込みニューラルネットワーク３３０は、第３の畳み込み層３３７及び第３の後処理層３３８をさらに含んでもよい。追加の畳み込み層は、上述の他の畳み込み層と同様に、前の層から出力された結果値に対する畳み込み演算を行い、追加の後処理層も上述の他の後処理層と同様に、コンテキスト情報３２１を適用した適応正規化手法又はアテンションメカニズムを行うことができる。

【0097】

これに加えて、実施形態によっては、デコーディング畳み込みニューラルネットワーク３３０は、さらなる層（例えば、追加の畳み込み層及び／又は完全接続層、出力層など）をさらに経て予測情報３４０を出力してもよい。例えば、図５に示すように、デコーディング畳み込みニューラルネットワーク３３０は、第４の畳み込み層３３９をさらに含んでもよい。上述したように、人工ニューラルネットワーク３００は、生体組織の広い領域を含む低解像度画像を入力されるエンコーディング畳み込みニューラルネットワークから出力される値を、高解像度画像を入力とするエンコーディング畳み込みニューラルネットワークの出力値に反映する構造を有する。すなわち、人工ニューラルネットワーク３００は、広い領域をカバーする低解像度画像に現れる生体組織の巨視的特徴だけでなく、狭い領域をカバーし、組織の細部特徴をよく現れる高解像度画像から抽出された微視的特徴を全て反映できるという長所がある。

【0098】

図６は、本発明の一実施形態による生体組織スライドに対する判断結果提供方法の一例を示すフローチャートである。図６による生体組織スライドに対する判断結果提供方法は、判断結果提供システム２００によって行われてもよく、判断結果提供システム２００には、人工ニューラルネットワーク学習システム１００によって予め学習された人工ニューラルネットワーク３００が記憶されていてもよい。

【0099】

図６を参照すると、判断結果提供システム２００は、所定の判断対象生体組織スライドのスライド画像である判断対象スライド画像を取得することができる（Ｓ２００）。

【0100】

判断結果提供システム２００は、判断対象スライド画像から第１の判断対象高解像度パッチないし第Ｎの判断対象高解像度パッチを取得することができる（Ｓ２２０）。

【0101】

また、判断結果提供システム２００は、第１の判断対象高解像度パッチないし第Ｎの高解像度判断対象高解像度パッチそれぞれに対応する低解像度パッチを生成することができる（Ｓ２２０、Ｓ２３０）。このとき、第ｊの判断対象高解像度パッチと、それに対応する第ｊの判断対象低解像度パッチ（ｊは、１≦ｊ≦Ｎの任意の整数）は同一のサイズを有し、第ｊの高解像度パッチの中心点と第ｊの低解像度パッチの中心点は、判断対象生体組織スライド上の同一の位置を指してもよい。

【0102】

判断対象スライド画像から第１の判断対象高解像度パッチないし第Ｎの判断対象高解像度パッチ、及びこれらのそれぞれに対応する低解像度パッチを取得する過程は、図４ａ及び図４ｂを参照して上述した過程と非常に類似しているので、別途説明は省略する。

【0103】

一方、判断結果提供システム２００は、第ｊの判断対象高解像度パッチ及び第ｊの判断対象低解像度パッチを入力された人工ニューラルネットワーク３００が出力した予測結果に基づいて、第ｊの判断対象高解像度パッチに含まれた病変領域を判断することができる（Ｓ２４０）。

【0104】

図７は、本発明の一実施形態による人工ニューラルネットワーク学習システム１００の概略的な構成を示す図であり、図８は、発明の一実施形態による判断結果提供システム２００の概略的な構成を示す図である。

【0105】

人工ニューラルネットワーク学習システム１００及び判断結果提供システム２００は、本発明の技術的思想を実現するために必要なハードウェアリソース（ｒｅｓｏｕｒｃｅ）及び／又はソフトウェアを備えた論理的な構成を意味することができ、必ずしも１つの物理的な構成要素又は１つの装置を意味するものではない。すなわち、人工ニューラルネットワーク学習システム１００及び判断結果提供システム２００は、本発明の技術的思想を実現するために備えられるハードウェア及び／又はソフトウェアの論理的な結合を意味することができ、必要に応じては、互いに離隔した装置にインストールされてそれぞれの機能を行うことで、本発明の技術的思想を実現するための論理的な構成の集合で実現されてもよい。また、人工ニューラルネットワーク学習システム１００及び判断結果提供システム２００は、本発明の技術的思想を実現するためのそれぞれの機能又は役割ごとに別に実現される構成の集合を意味することもできる。人工ニューラルネットワーク学習システム１００及び判断結果提供システム２００の各構成は、互いに異なる物理的装置に位置してもよく、同一の物理的装置に位置してもよい。また、実施形態によっては、人工ニューラルネットワーク学習システム１００及び判断結果提供システム２００の構成要素のそれぞれを構成するソフトウェア及び／又はハードウェアの結合も互いに異なる物理的装置に位置し、互いに異なる物理的装置に位置する構成が互いに有機的に結合されてそれぞれのモジュールを実現することもできる。

【0106】

また、本明細書でモジュールとは、本発明の技術的思想を実現するためのハードウェア、及びハードウェアを駆動するためのソフトウェアの機能的又は構造的結合を意味することができる。例えば、モジュールは、所定のコードと、所定のコードが行われるためのハードウェアリソース（ｒｅｓｏｕｒｃｅ）の論理的な単位を意味することができ、必ずしも物理的に連結されたコードを意味するか、一種のハードウェアを意味するわけではないことは、本発明の技術分野における平均的な専門家であれば容易に推論することができる。

【0107】

図７を参照すると、人工ニューラルネットワーク学習システム１００は、記憶モジュール１１０、取得モジュール１２０、生成モジュール１３０及び学習モジュール１４０を含んでもよい。本発明の実施形態によっては、上述した構成要素のうち一部の構成要素は、必ずしも本発明の実現に必須な構成要素に該当しなくてもよく、また、実施形態によっては、人工ニューラルネットワーク学習システム１００は、これより多くの構成要素を含んでもよいことは言うまでもない。例えば、人工ニューラルネットワーク学習システム１００は、外部装置と通信するための通信モジュール（図示せず）、人工ニューラルネットワーク学習システム１００の構成要素及びリソースを制御するための制御モジュール（図示せず）をさらに含んでもよい。

【0108】

記憶モジュール１１０は、学習される人工ニューラルネットワーク３０を記憶することができる。また、記憶モジュール１１０は、人工ニューラルネットワーク３０の学習に用いられるデータ（例えば、病変領域がアノテーションされた生体組織スライド画像）をさらに記憶してもよい。

【0109】

取得モジュール１２０は、生体組織スライドのスライド画像を取得することができる。

【0110】

生成モジュール１３０は、スライド画像から第１の高解像度パッチないし第Ｎの高解像度パッチ（ここで、Ｎは２以上の整数）を生成することができ、第ｉの高解像度パッチ（ここで、ｉは１≦ｉ≦Ｎの任意の整数）に対応する第ｉの低解像度パッチを取得することができる。ここで、第ｉの高解像度パッチと、それに対応する第ｉの低解像度パッチは、同一のサイズを有し、第ｉの高解像度パッチの中心点と第ｉの低解像度パッチの中心点は、生体組織スライド上の同一の位置を指してもよい。

【0111】

学習モジュール１４０は、第ｉの高解像度パッチ及び第ｉの低解像度パッチを入力して人工ニューラルネットワーク３００を学習することができる。

【0112】

図８を参照すると、判断結果提供システム２００は、記憶モジュール２１０、取得モジュール２２０、生成モジュール２３０、及び判断モジュール２４０を含んでもよい。本発明の実施形態によっては、上述した構成要素のうち一部の構成要素は、必ずしも本発明の実現に必須な構成要素に該当しなくてもよく、また、実施形態によっては、判断結果提供システム２００は、これより多くの構成要素を含んでもよいことは言うまでもない。例えば、判断結果提供システム２００は、外部装置と通信するための通信モジュール（図示せず）、判断結果提供システム２００の構成要素及びリソースを制御するための制御モジュール（図示せず）をさらに含んでもよい。

【0113】

記憶モジュール２１０は、予め学習された人工ニューラルネットワーク３００を記憶することができる。

【0114】

取得モジュール２２０は、所定の判断対象生体組織スライドのスライド画像である判断対象スライド画像を取得することができる。

【0115】

生成モジュール２３０は、判断対象スライド画像から第１の判断対象高解像度パッチないし第Ｎの判断対象高解像度パッチを生成することができ、第ｊの判断対象高解像度パッチ（ここで、ｊは１≦ｊ≦Ｎの任意の整数）に対応する第ｊの判断対象低解像度パッチを生成することができる。ここで、第ｊの判断対象高解像度パッチと、それに対応する第ｊの判断対象低解像度パッチは、同一のサイズを有し、第ｊの判断対象高解像度パッチの中心点と第ｊの判断対象低解像度パッチの中心点は、判断対象生体組織スライド上の同一の位置を指してもよい。

【0116】

判断モジュール２４０は、第ｊの判断対象高解像度パッチ及び第ｊの判断対象低解像度パッチを入力された人工ニューラルネットワーク３００が出力した予測結果に基づいて、第ｊの判断対象高解像度パッチに含まれた病変領域を判断することができる。

【0117】

一方、実施形態によっては、人工ニューラルネットワーク学習システム１００及び判断結果提供システム２００は、プロセッサ、及びプロセッサによって行われるプログラムを記憶するメモリを含んでもよい。プロセッサは、シングルコアＣＰＵ又はマルチコアＣＰＵを含んでもよい。メモリは、高速ランダムアクセスメモリを含んでもよく、１つ以上の磁気ディスク記憶装置、フラッシュメモリ装置、又はその他非揮発性固体状態メモリ装置のような非揮発性メモリを含んでもよい。プロセッサ及びその他構成要素によるメモリへのアクセスは、メモリコントローラによって制御することができる。

【0118】

一方、本発明の実施形態による方法は、コンピュータで読み取り可能なプログラム命令形態で実現され、コンピュータで読み取り可能な記録媒体に記憶されてもよく、本発明の実施形態による制御プログラム及び対象プログラムもコンピュータで読み取り可能な記録媒体に記憶されてもよい。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが記憶されるあらゆる種類の記録装置を含む。

【0119】

記録媒体に記録されるプログラム命令は、本発明のために特に設計及び構成されたものや、ソフトウェア分野の当業者に公知となって使用可能なものであってもよい。

【0120】

コンピュータで読み取り可能な記録媒体の例としては、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を記憶して実行するように特に構成されたハードウェア装置が含まれる。また、コンピュータで読み取り可能な記録媒体は、ネットワークによって接続されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードを記憶して実行することができる。

【0121】

プログラム命令の例としては、コンパイラによって作成されるような機械語コードだけでなく、インタプリタなどを用いて電子的に情報を処理する装置、例えば、コンピュータによって実行できる高級言語コードを含む。

【0122】

上述したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。

【0123】

上述した本発明の説明は例示のためのものであり、本発明が属する技術分野における通常の知識を有する者であれば、本発明の技術的思想や必須な特徴を変更することなく他の具体的な形態に容易に変形が可能であることを理解することができるであろう。したがって、上記で説明した実施形態は全ての点で例示的なものであり、限定的なものでないと理解すべきである。例えば、単一の形態で説明されている各構成要素は分散して実施することもでき、同様に分散されたと説明されている構成要素も組み合わせた形で実施することができる。

【0124】

本発明の範囲は、上記の詳細な説明よりは後述する特許請求の範囲によって示され、特許請求の範囲の意味及び範囲、及びその均等概念から導出される全ての変更又は変形された形態が本発明の範囲に含まれるものと解釈されるべきである。

【産業上の利用可能性】

【0125】

本発明は、乳がんの病変領域を判別するための人工ニューラルネットワークの学習方法、及びこれを行うコンピュータシステムに用いることができる。

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図5】

【図6】

【図7】

【図8】

【国際調査報告】