【課題】浸潤性乳癌のハーセプチンによる治療に先立って、短期間かつ高精度にHER2遺伝子の増幅及びHER2タンパクの過剰発現の状況を確認できるシステム、検査結果推定方法、学習モデル、及び学習モデル生成方法を提供する。
【解決手段】システム1は、対象画像取得部4と、推定部5とを備える。対象画像取得部4は、乳腺組織検体のHE染色標本の画像からなる対象画像データを取得する。推定部5は、学習データに基づいて、取得された前記対象画像データに対応する乳腺組織検体のHER2検査の検査結果を推定する。学習データは、浸潤性乳癌に関して既に病理診断された乳腺組織検体のHE染色標本の画像からなる検査済み画像データと、検査済み画像データに対応する乳腺組織検体のIHC法に基づくHER2検査の検査結果データとを含む。
前記IHC法に基づくHER2検査の検査結果データは、前記検査済み画像データに対応する乳腺組織検体のIHC法によるHER2検査の検査結果データと、前記検査済み画像データに対応する乳腺組織検体のうち前記IHC法によるスコアが2+である乳腺組織検体のISH法によるHER2検査の検査結果データとを含む請求項1又は2に記載のシステム。
浸潤性乳癌に関して既に病理診断された乳腺組織検体のHE染色標本の画像からなる検査済み画像データと、前記検査済み画像データに対応する乳腺組織検体のIHC法に基づくHER2検査の検査結果データとを含む学習データを用いて学習した推定モデルに、乳腺組織検体のHE染色標本の画像からなる対象画像データを入力し、
前記推定モデルからHER2検査の検査結果の推定値を取得する、検査結果推定方法。
非浸潤性乳癌の組織、正常乳腺組織、間質組織、脂肪組織及び炎症細胞のうち少なくとも一つの画像を含む不要画像データと、浸潤性乳癌に関して既に病理診断された乳腺組織検体のHE染色標本の画像からなる検査済み画像データと、前記検査済み画像データに対応する乳腺組織検体のIHC法に基づくHER2検査の検査結果データとを含む学習データを用いて学習した推定モデルに、乳腺組織検体のHE染色標本の撮像画像が行列状に分割された複数の画像からなる準備画像データを入力し、
前記準備画像データについて前記HER2検査の検査結果の推定値を前記推定モデルから取得する、検査結果推定方法。
前記IHC法に基づくHER2検査の検査結果データは、前記検査済み画像データに対応する乳腺組織検体のIHC法によるHER2検査の検査結果データと、前記検査済み画像データに対応する乳腺組織検体のうち前記IHC法によるスコアが2+である乳腺組織検体のISH法によるHER2検査の検査結果データとを含む請求項9又は10に記載の学習モデル。
浸潤性乳癌に関して既に病理診断された乳腺組織検体のHE染色標本の画像からなる検査済み画像データと、前記検査済み画像データに対応する乳腺組織検体のIHC法に基づくHER2検査の検査結果データとを含む学習データを取得し、
前記学習データを用いて、乳腺組織検体のHE染色標本の画像からなる対象画像データを入力とし、HER2検査の検査結果の推定値を出力とする学習モデルを生成する学習モデル生成方法。
前記IHC法に基づくHER2検査の検査結果データは、前記検査済み画像データに対応する乳腺組織検体のIHC法によるHER2検査の検査結果データと、前記検査済み画像データに対応する乳腺組織検体のうち前記IHC法によるスコアが2+である乳腺組織検体のISH法によるHER2検査の検査結果データとを含む請求項13又は14に記載の学習モデル生成方法。
非浸潤性乳癌の組織、正常乳腺組織、間質組織、脂肪組織及び炎症細胞のうち少なくとも一つの画像を含む不要画像データと、浸潤性乳癌に関して既に病理診断された乳腺組織検体のHE染色標本の画像からなる検査済み画像データと、前記検査済み画像データに対応する乳腺組織検体のIHC法に基づくHER2検査の検査結果データとを含む学習データを取得し、
前記学習データを用いて、乳腺組織検体のHE染色標本の撮像画像が行列状に分割された複数の画像からなる準備画像データを入力とし、非浸潤性乳癌の組織、正常乳腺組織、間質組織、脂肪組織、及び炎症細胞のうち少なくとも一つを含む画像を前記準備画像データから除いた画像データに対応する乳腺組織検体のHER2検査の検査結果の推定値を出力とする学習モデルを生成する学習モデル生成方法。
【発明の概要】
【発明が解決しようとする課題】
【0004】
乳癌組織におけるHER2検査には、免疫組織化学(IHC:Immunohistochemistry)法が用いられている。これによって、乳癌組織検体におけるHER2タンパクの過剰発現のスコアリングがなされている。このスコアリングの結果に応じて、HER2検査における陰性陽性の判定が行われる。HER2検査において陽性と判定された場合には、ハーセプチンによる治療が行われる。しかしながら、浸潤性乳癌のHER2検査では網羅的にIHC法が施行されるため、たとえ陰性の検体であったとしてもHER2検査は比較的高額な費用を要する。また、IHC法を用いたスコアリングには、HER2検査の結果報告に比較的長い時間を要する。たとえば、院内検査において検体の提出から結果報告までに、1週間程度の時間を要する。
【0005】
これらの問題を考慮して、IHC法を用いずに、乳癌組織検体に対して染色のみが行われた標本について組織学的異型度又は組織型を人が観察することで、HER2検査の検査結果を推定する試みがなされている。この場合、たとえば、検体に対してヘマトキシリン・エオジン(HE:Hematoxylin-Eosin)染色のみが行われた標本が観察される。たとえば、組織学的異型度が増えるほど、HER2検査における陽性率が高いとされている。たとえば、標本における細胞組織の構造について組織学的異型度又組織型を観察することによって、充実性腺管癌(Solid-tubular carcinoma)、乳頭腺管癌(Papillotubular carcinoma)、硬癌(Scirrhous carcinoma)、及び特殊型に標本を分類する。充実性腺管癌、乳頭腺管癌、及び硬癌の順でHER2検査における陽性率が高いとされている。特殊型については、陽性でないと判定される。しかしながら、これらの組織学的異型度又は組織型に基づく検査結果の推定では、十分な精度が得られ難い。
【0006】
本開示は、上記課題に鑑みて為されたものであり、浸潤性乳癌のハーセプチンによる治療に先立って、短期間かつ高精度にHER2遺伝子の増幅及びHER2タンパクの過剰発現の状況を推定できるシステム、検査結果推定方法、学習モデル、及び学習モデル生成方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様におけるシステムは、対象画像取得部と、推定部とを備える。対象画像取得部は、乳腺組織検体のHE染色標本の画像からなる対象画像データを取得する。推定部は、学習データを用いて学習した推定モデルに、取得された対象画像データを入力し、対象画像データに対応する乳腺組織検体のHER2検査の検査結果を推定する。学習データは、検査済み画像データと、検査済み画像データに対応する乳腺組織検体のIHC法に基づくHER2検査の検査結果データとを含む。検査済み画像データは、浸潤性乳癌に関して既に病理診断された乳腺組織検体のHE染色標本の画像からなる。
【0008】
本発明の別の態様における検査結果推定方法は、学習データを用いて学習した推定モデルに、対象画像データを入力し、推定モデルからHER2検査の検査結果の推定値を取得する。対象画像データは、乳腺組織検体のHE染色標本の画像からなる。学習データは、検査済み画像データと、検査済み画像データに対応する乳腺組織検体のIHC法に基づくHER2検査の検査結果データとを含む。検査済み画像データは、浸潤性乳癌に関して既に病理診断された乳腺組織検体のHE染色標本の画像からなる。
【0009】
本発明のさらに別の態様における学習モデルは、入力層と、出力層と、中間層とを備える。この学習モデルは、対象画像データを取得し、対象画像データを入力層に入力し、中間層にて演算し、出力層から対象画像データについてHER2検査の検査結果の推定値を出力するようコンピュータを機能させる。入力層には、乳腺組織検体のHE染色標本の画像からなる対象画像データが入力される。出力層は、対象画像データに対応する乳腺組織検体についてHER2検査の検査結果の推定値を出力する。中間層は、学習データを用いて学習されている。学習データは、検査済み画像データと、検査済み画像データに対応する乳腺組織検体のIHC法に基づくHER2検査の検査結果データとを含む。検査済み画像データは、浸潤性乳癌に関して既に病理診断された乳腺組織検体のHE染色標本の画像からなる。
【0010】
これらの態様では、乳腺組織検体のHE染色標本の画像からなる対象画像データから、対象画像データに対応する乳腺組織検体のHER2検査の検査結果が推定される。したがって、浸潤性乳癌のハーセプチンによる治療に先立って、短期間でHER2遺伝子の増幅及びHER2タンパクの過剰発現の状況が推定され得る。上記学習モデルによってHER2検査の検査結果の推定を行う場合、人がHE染色標本を観察してHER2検査の検査結果を推定する場合よりも極めて高精度に上記検査結果が推定される。
【0011】
本発明のさらに別の態様における学習モデルの生成方法は、学習データを取得し、学習データを用いて、乳腺組織検体のHE染色標本の画像からなる対象画像データを入力とし、HER2検査の検査結果の推定値を出力とする学習モデルを生成する。学習データは、検査済み画像データと、検査済み画像データに対応する乳腺組織検体のIHC法に基づくHER2検査の検査結果データとを含む。検査済み画像データは、浸潤性乳癌に関して既に病理診断された乳腺組織検体のHE染色標本の画像からなる。
【0012】
この態様では、乳腺組織検体のHE染色標本の画像からなる対象画像データから、対象画像データに対応する乳腺組織検体のHER2検査の検査結果を推定する学習モデルが生成される。このため、浸潤性乳癌のハーセプチンによる治療に先立って、HER2遺伝子の増幅及びHER2タンパクの過剰発現の状況の推定に要する期間が短縮され得る。この学習モデルによってHER2検査の検査結果の推定を行う場合、人がHE染色標本を観察してHER2検査の検査結果を推定する場合よりも極めて高精度に上記検査結果が推定される。
【0013】
IHC法に基づくHER2検査の検査結果データは、IHC法によるスコアを含んでもよい。この場合、上記検査結果がさらに高精度に推定され得る。
【0014】
IHC法に基づくHER2検査の検査結果データは、検査済み画像データに対応する乳腺組織検体のIHC法によるHER2検査の検査結果データを含んでもよい。さらに、IHC法に基づくHER2検査の検査結果データは、検査済み画像データに対応する乳腺組織検体のうちIHC法によるスコアが2+である乳腺組織検体のISH法によるHER2検査の検査結果データを含んでもよい。この場合、IHC法の判定が「equivocal」である検体について、ISH法による判定も含めて短期間かつ高精度に検査結果が推定される。
【0015】
上記システムは、準備画像取得部と、画像選択部とをさらに備えてもよい。準備画像取得部は、乳腺組織検体のHE染色標本の撮像画像が行列状に分割された複数の画像からなる準備画像データを取得してもよい。画像選択部は、学習データを用いて学習した画像選択モデルに、取得された準備画像データを入力し、非浸潤性乳癌の組織、正常乳腺組織、間質組織、脂肪組織、及び炎症細胞のうち少なくとも一つを含む画像を準備画像データから除いた画像データを対象画像データとして出力してもよい。学習データは、不要画像データと、必要画像データとを含んでもよい。不要画像データは、非浸潤性乳癌の組織、正常乳腺組織、間質組織、脂肪組織及び炎症細胞のうち少なくとも一つの画像を含んでもよい。必要画像データは、浸潤性乳癌の組織の画像を含む必要画像データを含んでもよい。
【0016】
上記検査結果推定方法は、準備画像データを取得し、学習データを用いて学習された画像選択モデルに準備画像データを入力し、非浸潤性乳癌の組織、正常乳腺組織、間質組織、脂肪組織、及び炎症細胞のうち少なくとも一つを含む画像を準備画像データから除いた画像データを対象画像データとして画像選択モデルから取得してもよい。準備画像データは、乳腺組織検体のHE染色標本の撮像画像が行列状に分割された複数の画像からなってもよい。学習データは、不要画像データと、必要画像データとを含んでもよい。不要画像データは、非浸潤性乳癌の組織、正常乳腺組織、間質組織、脂肪組織及び炎症細胞のうち少なくとも一つの画像を含んでもよい。必要画像データは、浸潤性乳癌の組織の画像を含んでもよい。
【0017】
これらの場合、乳腺組織検体のHE染色標本の撮像画像から、より容易に短期間でHER2遺伝子の増幅及びHER2タンパクの過剰発現の状況が推定され得る。
【0018】
本発明のさらに別の態様におけるシステムは、準備画像取得部と、推定部とを備える。準備画像取得部は、乳腺組織検体のHE染色標本の撮像画像が行列状に分割された複数の画像からなる準備画像データを取得する。推定部は、学習データを用いて学習した推定モデルに、取得された準備画像データを入力し、非浸潤性乳癌の組織、正常乳腺組織、間質組織、脂肪組織、及び炎症細胞のうち少なくとも一つを含む画像を準備画像データから除いた画像データに対応する乳腺組織検体のHER2検査の検査結果を推定する。学習データは、不要画像データと、検査済み画像データと、検査済み画像データに対応する乳腺組織検体のIHC法に基づくHER2検査の検査結果データとを含む。不要画像データは、非浸潤性乳癌の組織、正常乳腺組織、間質組織、脂肪組織及び炎症細胞のうち少なくとも一つの画像を含む。検査済み画像データは、浸潤性乳癌に関して既に病理診断された乳腺組織検体のHE染色標本の画像からなる。
【0019】
本発明のさらに別の態様における検査結果推定方法は、学習データを用いて学習した推定モデルに、準備画像データを入力し、準備画像データについてHER2検査の検査結果の推定値を推定モデルから取得する。学習データは、不要画像データと、検査済み画像データと、検査済み画像データに対応する乳腺組織検体のIHC法に基づくHER2検査の検査結果データとを含む。不要画像データは、非浸潤性乳癌の組織、正常乳腺組織、間質組織、脂肪組織及び炎症細胞のうち少なくとも一つの画像を含む。検査済み画像データは、浸潤性乳癌に関して既に病理診断された乳腺組織検体のHE染色標本の画像からなる。準備画像データは、乳腺組織検体のHE染色標本の撮像画像が行列状に分割された複数の画像からなる。
【0020】
本発明のさらに別の態様における学習モデルは、入力層と、出力層と、中間層とを備える。この学習モデルは、準備画像データを取得し、準備画像データを入力層に入力し、中間層にて演算し、出力層から準備画像データについてHER2検査の検査結果の推定値を出力するようコンピュータを機能させる。入力層には、乳腺組織検体のHE染色標本の撮像画像が行列状に分割された複数の画像からなる準備画像データが入力される。出力層は、準備画像データに対応する乳腺組織検体についてHER2検査の検査結果の推定値を出力する。中間層は、学習データを用いて学習されている。学習データは、不要画像データと、検査済み画像データと、検査済み画像データに対応する乳腺組織検体のIHC法に基づくHER2検査の検査結果データとを含む。不要画像データは、非浸潤性乳癌の組織、正常乳腺組織、間質組織、脂肪組織及び炎症細胞のうち少なくとも一つの画像を含む。検査済み画像データは、浸潤性乳癌に関して既に病理診断された乳腺組織検体のHE染色標本の画像からなる。
【0021】
これらの態様では、乳腺組織検体のHE染色標本の撮像画像から、準備画像データに対応する乳腺組織検体のHER2検査の検査結果が推定される。したがって、浸潤性乳癌のハーセプチンによる治療に先立って、容易に短期間でHER2遺伝子の増幅及びHER2タンパクの過剰発現の状況が推定され得る。上記学習データを用いて学習した学習モデルによってHER2検査の検査結果の推定を行う場合、人がHE染色標本を観察してHER2検査の検査結果を推定する場合よりも極めて高精度に上記検査結果が推定される。
【0022】
本発明のさらに別の態様における学習モデル生成方法は、学習データを取得し、学習データを用いて、準備画像データを入力とし、非浸潤性乳癌の組織、正常乳腺組織、間質組織、脂肪組織、及び炎症細胞のうち少なくとも一つを含む画像を前記準備画像データから除いた画像データに対応する乳腺組織検体のHER2検査の検査結果の推定値を出力とする学習モデルを生成する。学習データは、不要画像データと、検査済み画像データと、検査済み画像データに対応する乳腺組織検体のIHC法に基づくHER2検査の検査結果データとを含む。不要画像データは、非浸潤性乳癌の組織、正常乳腺組織、間質組織、脂肪組織及び炎症細胞のうち少なくとも一つの画像を含む。検査済み画像データは、浸潤性乳癌に関して既に病理診断された乳腺組織検体のHE染色標本の画像からなる。準備画像データは、乳腺組織検体のHE染色標本の撮像画像が行列状に分割された複数の画像からなる。
【0023】
この態様では、乳腺組織検体のHE染色標本の撮像画像から、準備画像データに対応する乳腺組織検体のHER2検査の検査結果を推定する学習モデルが生成される。このため、浸潤性乳癌のハーセプチンによる治療に先立って、容易に短期間でHER2遺伝子の増幅及びHER2タンパクの過剰発現の状況の推定に要する時間が短縮され得る。この学習モデルによってHER2検査の検査結果の推定を行う場合、人がHE染色標本を観察してHER2検査の検査結果を推定する場合よりも極めて高精度に上記検査結果が推定される。
【発明の効果】
【0024】
本開示は、上記課題に鑑みて為されたものであり、浸潤性乳癌のハーセプチンによる治療に先立って、短期間かつ高精度にHER2遺伝子の増幅及びHER2タンパクの過剰発現の状況を確認できるシステム、検査結果推定方法、学習モデル、及び学習モデル生成方法を提供する。
【発明を実施するための形態】
【0026】
以下、図面を参照しつつ本発明に係るシステムの実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。
【0027】
まず、
図1を参照して、本発明の一実施形態にかかるシステム1の機能および構成を説明する。
図1に示すシステム1は、浸潤性乳癌のハーセプチン療法に関して、IHC法に基づくHER2検査の検査結果を推定するコンピュータシステムである。このHER2検査は、ハーセプチンを用いた浸潤性乳癌の治療に先立って、乳癌組織におけるHER2遺伝子の増幅又はHER2タンパクの過剰発現の状況を確認する検査である。システム1は、IHC法を用いることなく、乳腺組織検体の染色標本の画像のみからHER2検査の検査結果の推定値を出力する。「乳腺組織検体」は、たとえば、乳腺組織の生検検体である。システム1は、染色標本の画像として、HE染色のみが行われたHE染色標本の画像を用いる。「染色標本」は、免疫染色が行われた標本を含まないが、HE染色が行われた標本に限定されない。
【0028】
「IHC法に基づくHER2検査」は、IHC法のみによるHER2検査と、IHC法とin situ ハイブリダイゼーション(ISH:in situ hybridization)法とを組み合わせたHER2検査とを含む。本実施形態では、システム1は、IHC法によるHER2検査の検査結果を推定するコンピュータシステムである。IHC法によるHER2検査では、HER2タンパク過剰発現の判定がなされる。IHC法では、HER2タンパク過剰発現が免疫染色された癌細胞の膜における染色性および染色強度によって、3+,2+,1+,0の4種のスコアのうちいずれに当て嵌まるかが判定される。ハーセプチン療法に関するHER2検査では、スコアが3+である場合、HER2検査は「陽性」と判定される。スコアが2+である場合、HER2検査は「equivocal」と判定される。スコアが1+及び0である場合、HER2検査は「陰性」と判定される。
【0029】
IHC法とISH法とを組み合わせたHER2検査では、IHC法によるHER2検査のスコアが2+である場合、すなわち、「equivocal」と判定された場合に、ISH法によるHER2検査が行われる。この場合、IHC法によるHER2検査の判定が「equivocal」であっても、ISH法によって、さらに詳細に、HER2検査の「陽性」、「equivocal」、又は「陰性」に判定される。ISH法は、FISH法、DISH法、CISH法、CLIA法を含む、HER2遺伝子増幅の検出法の一つである。
【0030】
システム1は、HER2検査の検査結果の推定値を出力するために機械学習を利用する。機械学習とは、与えられた情報に基づいて反復的に学習することで法則又はルールを自律的に見つけ出す手法である。本実施形態では、システム1において行われる機械学習では、学習データを用いた学習によって、活性化関数、重み付け値等のモデルのパラメータが最適化される。これによって、学習モデルが構築される。本実施形態では、システム1は、2つの学習モデルを備えている。
【0031】
システム1において行われる機械学習は、多層パーセプトロン(MLP:Multilayer perceptron)によって構成される教師あり学習である。本実施形態では、システム1は、ニューラルネットワークを含むように構成される機械学習を用いる。システム1において行われる機械学習は、教師あり学習に限定されない。システム1において行われる機械学習は、ランダムフォレスト、サポートベクトルマシン、ニューラルネットワーク(NN)、ディープニューラルネットワーク(DNN)などを含むように構成されてもよい。ニューラルネットワークとは、人間の脳神経系の仕組みを模した情報処理モデルをいう。本実施形態のシステム1において用いられるニューラルネットワークは、畳み込みニューラルネットワーク(CNN:Convolution Neural Network)である。システム1で用いられるニューラルネットワークの種類はこれに限定されず、例えば、再帰型ニューラルネットワーク(RNN:Recurrent Neural Network)、長短期記憶(LSTM:Long Short―Term Memory)、又は、敵対的生成ネットワーク(GAN:Generative Adversarial Network)が用いられてもよい。
【0032】
システム1は、入力された学習データを用いて機械学習を繰り返すことで生成された学習モデルを有している。システム1は、学習モデルに乳腺組織検体のHE染色標本に関する画像を入力し、学習モデルから出力されたHER2検査の検査結果の推定値を取得する。したがって、システム1は、HE染色標本について人が組織学的異型度又は組織型を観察して、HER2検査の検査結果を推定することを要しない。システム1は、学習フェーズにおいて学習モデルを生成し、推定フェーズにおいてHER2検査の検査結果の推定値を出力する。
【0033】
システム1における学習モデルは、コンピュータ間において移植できる。したがって、あるコンピュータにおいて生成された学習モデルを、別のコンピュータで用いることができる。システム1における学習モデルは、1つのコンピュータにおいて生成されてもよいし、複数のコンピュータにおいて生成されてもよい。システム1における学習モデルは、1つのコンピュータによって構成されていてもよいし、複数のコンピュータにおいて構築されていてもよい。
【0034】
図1に示されているように、システム1は、準備画像取得部2と、画像選択部3と、対象画像取得部4と、推定部5と、学習制御部6と、推定制御部7とを備えている。準備画像取得部2、画像選択部3、対象画像取得部4、推定部5、学習制御部6、及び推定制御部7は、1つのコンピュータによって構成されていてもよいし、任意の組み合わせで互いに異なる複数のコンピュータによって構成されていてもよい。準備画像取得部2、画像選択部3、対象画像取得部4、推定部5、学習制御部6、及び推定制御部7のそれぞれは、1つのコンピュータによって構成されていてもよいし、複数のコンピュータによって構成されていてもよい。複数のコンピュータを備える場合には、各機能要素は分散処理により実現される。個々のコンピュータの種類は限定されない。例えば、据置型または携帯型のパーソナルコンピュータ(PC)を用いてもよいし、ワークステーションを用いてもよいし、高機能携帯電話機(スマートフォン)、携帯電話機、携帯情報端末(PDA)などの携帯端末を用いてもよい。様々な種類のコンピュータの組み合わせによって、システム1が構築されていてよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続される。
【0035】
図2は、HE染色標本の撮像画像が行列状に分割された状態を示す図である。準備画像取得部2は、乳腺組織検体のHE染色標本の撮像画像αを取得する。この撮像画像は、システム1の外部から有線通信あるいは無線通信によって取得される。準備画像取得部2において取得される撮像画像αは、乳腺の針生検(CNB:core needle biopsy)の標本がHE染色された病理ガラス標本を撮像したデジタル画像である。本実施形態では、上記撮像画像αは、Whole Slide Imaging(WSI)装置によって、病理ガラス標本のプレパラート全体が撮像された画像である。
【0036】
準備画像取得部2は、
図2に示されているように、WSI装置によって撮像された撮像画像αが行列状に分割された複数の画像βからなる準備画像データを取得する。本実施形態では、準備画像取得部2が、WSI装置によって撮像された撮像画像αを行列状に分割する。準備画像データは、たとえば、WSI装置によって撮像された撮像画像αが256×256ピクセルに分割された複数の画像βを含む。準備画像取得部2は、上記撮像画像αが分割された画像βからなる準備画像データを外部から取得してもよい。
【0037】
画像選択部3は、準備画像取得部2において取得された準備画像データから、浸潤性乳癌におけるHER2検査の検査結果の推定に必要な複数の画像を選択し、選択された複数の画像を対象画像データとして出力する。本実施形態では、画像選択部3は、予め用意された不要画像データと必要画像データとに基づいて、浸潤性乳癌におけるHER2検査の検査結果の推定に不要な画像を準備画像データから除いた画像データを対象画像データとして出力する。
【0038】
不要画像データは、浸潤性乳癌におけるHER2検査の検査結果の推定に不要な画像データである。不要画像データは、非浸潤性乳癌の組織、正常乳腺組織、間質組織、脂肪組織及び炎症細胞のうち少なくとも一つの画像を含む。炎症細胞は、たとえば、リンパ球、好中球、好酸球、単球、マクロファージ、及び、形質細胞の少なくとも一つを含む。不要画像データは、上記に加えて、ピントが合っていない画像、変性が大きい組織の画像、色調が所定値よりも濃い画像、色調が所定値よりも薄い画像の少なく一つを含んでいてもよい。必要画像データは、浸潤性乳癌におけるHER2検査の検査結果の推定に必要な画像データである。必要画像データは、浸潤性乳癌の組織の画像を含む。
【0039】
画像選択部3は、非浸潤性乳癌の組織、正常乳腺組織、間質組織、脂肪組織及び炎症細胞のうち少なくとも一つを含む画像を準備画像データから除いた画像データを対象画像データとして出力する。対象画像データは、浸潤性乳癌の組織の画像を含む複数の画像からなる。
【0040】
画像選択部3は、学習モデル10を備えている。学習モデル10は、「画像選択モデル」とも称する。画像選択部3は、学習データを用いて学習した学習モデル10に準備画像データを入力し、対象画像データを出力する。本実施形態では、学習モデル10は、教師あり学習の機械学習モデルであり、畳み込みニューラルネットワークである。学習モデル10は、これに限定されず、教師なし学習による機械学習モデルであってもよい。学習モデル10は、入力層11と、中間層12と、出力層13と、を備えている。入力層11は、複数のノードを含む。中間層12は、それぞれが1つ以上のノードを含む1つ以上の層からなる。中間層12におけるそれぞれの層は、全結合層(FC:Fully Connected layer)を含む。この学習モデル10は、個々のノードの活性化関数、又は個々のノード間の出力における重み付け値等の各種のパラメータによって規定されている。これらのパラメータは、学習フェーズにおいて最適なパラメータに設定されている。学習モデル10は、準備画像データを準備画像取得部2から取得し、準備画像データを入力層11に入力して、中間層12にて演算し、出力層13から対象画像データを出力するようコンピュータを機能させる。
【0041】
入力層11は、準備画像取得部2において取得された準備画像データが入力される層である。換言すれば、入力層11には、乳腺組織検体のHE染色標本の撮像画像が行列状に分割された複数の画像が入力される。
【0042】
中間層12は、入力層11と出力層13とを接続する隠れ層である。中間層12には、入力層11から出力されたデータが入力される。中間層12において、入力層11から出力されたデータが変換される。中間層12から出力されたデータは、出力層13に入力される。中間層12は、学習データを用いてパラメータの学習がなされている。中間層12の学習に用いる学習データは、各々がサンプルとして用意された乳腺組織のHE染色標本の撮像画像である複数の画像からなるサンプル画像データと、各画像が浸潤性乳癌におけるHER2検査の検査結果の推定に必要であるか否かを示す情報とを含む。例えば、サンプル画像データは、HER2検査において、陽性に判定された乳腺組織検体と、陰性に判定された乳腺組織検体とのそれぞれのHE染色標本のWSI装置による撮像画像を、行列状に分割した複数の画像を含む。上記学習データは、上述した不要画像データと必要画像データとを含む。
【0043】
出力層13は、準備画像取得部2から出力された準備画像データから、浸潤性乳癌におけるHER2検査の検査結果の推定に不要な画像データを除いた画像データを対象画像データとして出力する。本実施形態において、出力層13は、準備画像データから、非浸潤性乳癌の組織、正常乳腺組織、間質組織、脂肪組織及び炎症細胞のうち少なくとも一つを含む画像を除く。画像選択部3は、出力層13から出力された対象画像データを出力する。対象画像データは、乳腺組織検体のHE染色標本の画像を含む。
【0044】
対象画像取得部4は、対象画像データを取得する。本実施形態では、対象画像取得部4は、画像選択部3から出力された対象画像データを取得する。対象画像取得部4は、システム1の外部、例えばユーザから直接、対象画像データを取得してもよい。
【0045】
推定部5は、対象画像取得部4において取得された対象画像データから、当該対象画像データに対応する乳腺組織検体のHER2検査の検査結果を推定する。推定部5は、学習モデル20を備えている。学習モデル20は、「推定モデル」とも称する。推定部5は、学習データを用いて学習した学習モデル20に、対象画像データを入力し、HER2検査の検査結果を推定する。
【0046】
本実施形態では、学習モデル20は、教師あり学習の機械学習モデルであり、畳み込みニューラルネットワークである。学習モデル20は、入力層21と、出力層23と、中間層22と、を備えている。入力層21は、複数のノードを含む。中間層22は、それぞれが1つ以上のノードを含む1つ以上の層からなる。中間層22におけるそれぞれの層は、全結合層(FC:Fully Connected layer)を含む。この学習モデル20は、個々のノードの活性化関数、又は個々のノード間の出力における重み付け値等の各種のパラメータによって規定されている。これらのパラメータは、学習フェーズにおいて最適なパラメータに設定されている。学習モデル20は、対象画像取得部4から対象画像データを取得し、対象画像データを入力層21に入力し、中間層22にて演算し、出力層23から対象画像データについてHER2検査の検査結果の推定値を出力するようコンピュータを機能させる。
【0047】
入力層21は、対象画像取得部4において取得された対象画像データが入力される層である。換言すれば、入力層21には、乳腺組織検体のHE染色標本の画像からなる対象画像データが入力される。
【0048】
中間層22は、入力層21と出力層23とを接続する隠れ層である。中間層22には、入力層21から出力されたデータが入力される。中間層22において、入力層21から出力されたデータが変換される。中間層22から出力されたデータは、出力層23に入力される。中間層22は、学習データを用いてパラメータの学習がなされている。中間層22の学習に用いる学習データは、検査済み画像データと、当該検査済み画像データに対応するHER2検査の検査結果データとを含む。検査済み画像データは、浸潤性乳癌に関して既に病理診断された乳腺組織検体のHE染色標本の画像からなる。検査済み画像データは、既にIHC法に基づくHER2検査が行われた乳腺組織検体のHE染色標本の画像データである。HER2検査の検査結果データは、検査済み画像データに対応する乳腺組織検体のIHC法に基づくHER2検査の検査結果である。「画像データに対応する乳腺組織検体」とは、当該画像データの各画像が示す乳性組織検体を意味する。
【0049】
本実施形態では、検査済み画像データは、既にIHC法によるHER2検査が行われた乳腺組織検体のHE染色標本の画像データである。IHC法に基づくHER2検査の検査結果データは、検査済み画像データに対応する乳腺組織検体のIHC法によるHER2検査の「陽性」、「equivocal」、又は「陰性」の判定である。本実施形態の変形例として、学習データは、「equivocal」と判定された検体のHE染色標本の画像及び検査結果を含んでいなくてもよい。本実施形態の変形例として、IHCに基づくHER2検査の検査結果データは、IHC法によるスコアを含んでもよい。
【0050】
出力層23は、対象画像データに対応する乳腺組織生体検体について、浸潤性乳癌のハーセプチン療法に関するHER2検査の検査結果の推定値を出力する。出力層23は、IHC法に基づくHER2検査の検査結果の推定値を出力する。本実施形態では、出力層23は、IHC法によるHER2検査の「陽性」、「陰性」又は「不明」の判定を推定値として出力する。
【0051】
学習制御部6は、学習フェーズにおいて、準備画像取得部2、画像選択部3、対象画像取得部4、および推定部5を制御する。学習制御部6は、画像選択部3の学習モデル10及び推定部5の学習モデル20の学習を制御する。学習制御部6は、上述した学習データによって、学習モデル10の中間層12及び学習モデル20の中間層22におけるパラメータを決定させる。学習制御部6は、システム1の外部に配置され、学習フェーズにおいてシステム1に接続されることで、システム1の各機能部、例えば画像選択部3及び推定部5を制御してもよい。学習制御部6は、学習フェーズの終了後に、システム1から除外されてもよい。
【0052】
推定制御部7は、推定フェーズにおいて、準備画像取得部2、画像選択部3、対象画像取得部4、および推定部5を制御する。推定制御部7は、システム1に入力される画像データに基づくHER2検査の検査結果の推定を制御する。推定制御部7は、学習モデル10及び学習モデル20によって、乳腺組織検体のIHC法に基づくHER2検査の検査結果を推定させる。推定制御部7は、システム1の外部に配置され、推定フェーズにおいてシステム1に接続されることで、システム1の各機能部、例えば画像選択部3及び推定部5を制御してもよい。
【0053】
次に、本実施形態のさらに別の変形例におけるシステムについて説明する。本変形例は、概ね、上述した実施形態と類似又は同じであるが、推定部5の出力層23がIHC法とISH法とを組み合わせたHER2検査の検査結果の推定値を出力する点において相違する。以下、上述した実施形態と変形例との相違点を主として説明する。
【0054】
本変形例では、検査済み画像データは、既にIHC法とISH法との組み合わせによるHER2検査が行われた乳腺組織検体のHE染色標本の画像データである。本変形例では、検査済み画像データに対応する乳腺組織検体においてIHC法によるHER2検査のスコアが2+である場合に、当該乳腺組織検体についてISH法によるHER2検査が行われている。本変形例では、ISH法によるHER2検査として、例えば、FISH法によるHER2検査が行われる。この場合、IHC法によるHER2検査の判定が「equivocal」であっても、FISH法によって、さらに詳細に、HER2検査の「陽性」、「equivocal」、又は「陰性」に判定される。
【0055】
本変形例では、IHC法に基づくHER2検査の検査結果データは、検査済み画像データに対応する乳腺組織検体のIHC法とISH法とを組み合わせたHER2検査の検査結果である。本変形例において、IHC法に基づくHER2検査の検査結果データは、検査済み画像データに対応する乳腺組織検体のIHC法によるHER2検査の検査結果データと、検査済み画像データに対応する乳腺組織検体のうちIHC法によるスコアが2+である乳腺組織検体のISH法によるHER2検査の検査結果データとを含む。本変形例では、IHC法に基づくHER2検査の検査結果データは、IHC法とFISH法とを組み合わせたHER2検査における「陽性」、「equivocal」、又は「陰性」の判定である。
【0056】
本変形例では、出力層23は、IHC法とISH法との組み合わせによるHER2検査の検査結果の推定値を出力する。出力層23は、IHC法とISH法との組み合わせによるHER2検査の「陽性」、「陰性」又は「不明」の判定を推定値として出力する。
【0057】
次に、
図3を参照して、システム1のハードウェア構成について説明する。システム1は、コンピュータ100によって構成されている。コンピュータ100は、オペレーティングシステムやアプリケーション・プログラムなどを実行する演算装置であるCPU(プロセッサ)101と、ROM及びRAMで構成される主記憶部102と、ハードディスクやフラッシュメモリなどで構成される補助記憶部103と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部104と、キーボードやマウスなどの入力装置105と、ディスプレイやプリンタなどの出力装置106とを備える。当然ながら、搭載されるハードウェアモジュールはコンピュータ100の種類により異なる。例えば、据置型のPCおよびワークステーションは入力装置および出力装置としてキーボード、マウス、およびディスプレイを備えることが多いが、スマートフォンではタッチパネルが入力装置および出力装置として機能することが多い。システム1は、複数のコンピュータによって構築されていてもよい。
【0058】
後述するシステム1の各機能要素は、CPU101または主記憶部102の上に所定のソフトウェアを読み込ませ、CPU101の制御の下で通信制御部104や入力装置105、出力装置106などを動作させ、主記憶部102または補助記憶部103におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部102または補助記憶部103内に格納される。
【0059】
次に、
図4を参照して、学習モデル10,20の生成方法、すなわち学習フェーズについて説明する。
図4は、学習モデル10,20の生成方法の一例を示すフローチャートである。学習フェーズでは、学習制御部6によって準備画像取得部2、画像選択部3、対象画像取得部4、及び推定部5が制御される。学習フェーズが開始されると、学習制御部6は、学習データの一部が取得されるように制御を実行する(ステップS1)。次に、学習制御部6は、取得された学習データに基づいて学習処理を実行する(ステップS2)。次に、学習制御部6は、学習フェーズを終了するか否かを判定する(ステップS3)。たとえば、学習制御部6は、新たに取得する学習データがない場合に、学習フェーズを終了すると判定する。学習制御部6が学習フェーズを終了しないと判定した場合(ステップS3のNO)は、ステップS1に処理を進める。学習制御部6が学習フェーズを終了すると判定した場合(ステップS3のYES)は、学習フェーズを終了する。学習制御部6は、ステップS1〜ステップS3を、学習モデル10,20のそれぞれの生成において行う。
【0060】
次に、学習モデル10の生成方法の一例について説明する。学習モデル10の生成では、ステップS1において、準備画像取得部2が学習データを取得する。準備画像取得部2において取得された学習データは、ステップS1が実行される毎に、画像選択部3に逐次入力される。
【0061】
準備画像取得部2によって取得される学習データは、浸潤性乳癌におけるHER2検査の検査結果の推定に不要な不要画像データと、当該推定に必要な必要画像データとを含む。学習フェーズにおいて準備画像取得部2によって取得される不要画像データ及び必要画像データは、各々がサンプルとして用意された乳腺組織のHE染色標本の撮像画像である複数の画像からなるサンプル画像データである。本実施形態では、準備画像取得部2によって取得される学習データは、サンプル画像データと、当該サンプル画像データの各画像が浸潤性乳癌におけるHER2検査の検査結果の推定に必要であるか否かを示す情報とを含む。サンプル画像データの各画像は、推定フェーズにおいて準備画像取得部2によって取得される分割画像と同一の縮尺である。「同一」には、誤差の範囲が含まれる。
【0062】
学習モデル10の学習フェーズでは、サンプル画像のうち1つの画像と、当該画像が浸潤性乳癌におけるHER2検査の検査結果の推定に必要であるか否かを示す情報とが1セットで扱われる。準備画像取得部2は、ステップS1が実行される毎に当該1セットを取得する。例えば、準備画像取得部2は、取得された画像が必要画像データである場合には、当該画像と共にこの画像がHER2検査の検査結果の推定に必要であることを示す情報を取得する。準備画像取得部2は、取得された画像が不要画像データである場合には、当該画像と共にこの画像がHER2検査の検査結果の推定に不要であることを示す情報を取得する。
【0063】
画像選択部3の中間層12は、ステップS2において、取得された上記画像と当該画像に対応する上記情報とに基づいてパラメータを更新することで学習処理を行う。例えば、入力層11に上記画像が入力された場合における出力層13の出力と当該画像に対応する上記情報とが比較され、出力層13の出力と当該画像に対応する上記情報とが一致するように中間層12のパラメータが更新される。ステップS1とステップS2とが繰り返されることによって、学習モデル10が生成される。
【0064】
次に、学習モデル20の生成方法の一例について説明する。学習モデル20の生成では、ステップS1において、対象画像取得部4が学習データを取得する。取得された学習データは、ステップS1が実行される毎に、推定部5に逐次入力される。対象画像取得部4によって取得される学習データは、検査済み画像データと、当該検査済み画像データに対応するHER2検査の検査結果データとを含む。この検査済み画像データは、浸潤性乳癌に関して既に病理診断された乳腺組織検体のHE染色標本の画像からなる。検査済み画像データは、既にIHC法に基づくHER2検査が行われた乳腺組織検体のHE染色標本の画像データである。本実施形態では、検査済み画像データに対応するIHC法に基づくHER2検査の検査結果データは、IHC法によるHER2検査の「陽性」、「equivocal」、及び「陰性」の判定である。本実施形態の変形例として、当該検査結果データは、IHC法によるHER2検査のスコアであってもよいし、IHC法とISH法とを組み合わせたHER2検査の「陽性」、「equivocal」、及び「陰性」の判定であってもよい。
【0065】
学習モデル20の学習フェーズでは、検査済み画像データのうち1つの画像と、当該画像の乳癌組織生体検体におけるHER2検査の検査結果とが1セットで扱われる。対象画像取得部4は、ステップS1が実行される毎に当該1セットを取得する。本実施形態では、対象画像取得部4によって取得される検査済み画像データは、IHC法によるHER2検査において、陽性と判定された乳性組織検体の浸潤性乳癌組織の画像14000枚と、陰性と判定された乳性組織検体の浸潤性乳癌組織の画像14000枚とを含む。対象画像取得部4によって取得された検査済み画像データが含む画像の枚数は、上記に限らない。当該画像の枚数は、陽性と判定された乳性組織検体の浸潤性乳癌組織と陰性と判定された乳性組織検体の浸潤性乳癌組織とのそれぞれについて、たとえば、数千枚〜数十万枚であってもよい。
【0066】
推定部5の中間層22は、ステップS2において、取得された上記画像と当該画像に対応するHER検査の検査結果とに基づいてパラメータを更新することで学習処理を行う。例えば、入力層21に上記画像が入力された場合における出力層23の出力と当該画像に対応する上記検査結果とが比較され、出力層23の出力と当該画像に対応する上記検査結果とが一致するように中間層22のパラメータが更新される。ステップS1とステップS2とが繰り返されることによって、学習モデル20が生成される。
【0067】
次に、
図5を参照しながら、システム1によるHER2検査の検査結果の推定処理、すなわち推定フェーズについて説明する。
図5は、HER2検査の検査結果の推定処理の一例を示すフローチャートである。推定フェーズでは、推定制御部7によって、準備画像取得部2、画像選択部3、対象画像取得部4、および推定部5が制御される。
【0068】
推定フェーズが開始されると、準備画像取得部2が、乳腺組織検体のHE染色標本の撮像画像を取得する(ステップS11)。本実施形態では、上記撮像画像は、WSI装置によって、HE染色された病理ガラス標本のプレパラート全体が撮像された画像である。次に、準備画像取得部2は、WSI装置によって撮像された撮像画像を行列状に分割して、準備画像データを取得する(ステップS12)。準備画像データは、撮影画像が行列状に分割された複数の画像からなる。
【0069】
次に、画像選択部3が、準備画像データから不要な画像データを除外する(ステップS13)。画像選択部3は、学習モデル10に、準備画像データを入力する。これによって、画像選択部3は、浸潤性乳癌におけるHER2検査の検査結果の推定に不要な画像データを準備画像データから除いた画像データを学習モデル10から取得する。画像選択部3は、学習モデル10から取得したデータを対象画像データとして出力する。画像選択部3は、準備画像データのうち、HE染色標本における浸潤性乳癌の組織の画像データを学習モデル10から取得する。画像選択部3は、準備画像データを癌組織の画像データと非癌組織の画像データとに分類した後に、癌組織の画像データから非浸潤性乳癌の組織の画像データを除いた画像データを取得してもよい。
【0070】
次に、対象画像取得部4が、画像選択部3から出力された対象画像データを取得する(ステップS14)。対象画像取得部4は、システム1の外部、例えばユーザから直接、対象画像データを取得してもよい。本実施形態では、対象画像取得部4は、対象画像データとして、HE染色標本における浸潤性乳癌の組織の画像10枚を取得する。
【0071】
次に、推定部5が、対象画像取得部4において取得された対象画像データからHER2検査の検査結果を推定する(ステップS15)。推定部5は、学習モデル20に、対象画像データを入力する。これによって、推定部5は、対象画像データの乳腺組織生体検体について、IHC法に基づくHER2検査の検査結果の推定値を学習モデル20から取得する。本実施形態では、推定部5は、IHC法によるHER2検査の検査結果の推定値を出力する。本実施形態では、推定部5は、上記推定値として、「陽性」、「陰性」、又は「不明」を出力する。例えば、推定値が「陰性」である場合には、ハーセプチン療法は適用されない。例えば、推定値が「陽性」である場合には、ハーセプチン療法が適用される。推定値が「陽性」である場合に、さらに、ISH法によってHER2検査を行ってもよい。例えば、推定値が「不明」である場合には、従来のようにIHC法などによるHER2検査を実際に行う。
【0072】
本実施形態の変形例として、上述した学習フェーズにおける検査結果データをIHC法とISH法とを組み合わせたHER2検査の検査結果とし、推定部5が、IHC法とISH法とを組み合わせたHER2検査の検査結果の推定値を出力してもよい。この場合も、推定部5は、上記推定値として、「陽性」、「陰性」、又は「不明」を出力してもよい。
【0073】
次に、
図4、
図6、及び
図7を参照して、本実施形態の変形例におけるシステムについて説明する。
図6は、本実施形態の変形例にかかるシステムの概略構成を示す図である。
図7は、本変形例のシステムの学習モデルにおける推定方法を示すフローチャートである。本変形例は、概ね、上述した実施形態と類似又は同じである。以下、上述した実施形態と変形例との相違点を主として説明する。
【0074】
上述した実施形態において、システム1が、画像選択部3と推定部5において、2つの学習モデル10,20を有している構成について説明した。本変形例では、システム1Aは、1つの学習モデルによって、HER2検査の検査結果を推定する。システム1Aは、
図7に示されているように、準備画像取得部2、推定部5、学習制御部6、および推定制御部7を備えている。システム1Aでは、画像選択部3及び対象画像取得部4の機能が推定部5に含まれている。本変形例において、推定部5は、準備画像取得部2において取得された準備画像データから、HER2検査の検査結果を推定する。
【0075】
本変形例において、推定部5は、学習モデル20でなく、学習モデル30を有する。学習モデル30は、「推定モデル」とも称する。推定部5は、学習データを用いて学習した学習モデル30に、準備画像データを入力し、HER2検査の検査結果を推定する。学習制御部6は、推定部5の学習モデル30の学習を制御する。推定制御部7は、システム1Aに入力される画像データに基づくHER2検査の検査結果の推定を制御する。
【0076】
学習モデル30は、入力層31と、出力層33と、中間層32とを備えている。入力層31は、複数のノードを含む。中間層32は、それぞれが1つ以上のノードを含む1つ以上の層からなる。中間層32におけるそれぞれの層は、全結合層(FC:Fully Connected layer)を含む。この学習モデル30は、個々のノードの活性化関数、又は個々のノード間の出力における重み付け値等の各種のパラメータによって規定されている。これらのパラメータは、学習フェーズにおいて最適なパラメータに設定されている。学習モデル30は、分割された複数の画像からなる準備画像データを準備画像取得部2から取得する。学習モデル30は、準備画像データを入力層31に入力して、中間層32にて演算し、出力層33から準備画像データについてHER2検査の検査結果の推定値を出力するようコンピュータを機能させる。
【0077】
入力層31は、準備画像取得部2において取得された準備画像データが入力される層である。換言すれば、入力層31には、乳腺組織検体のHE染色標本の撮像画像が行列状に分割された複数の画像が入力される。
【0078】
中間層32は、入力層31と出力層33とを接続する隠れ層である。中間層32には、入力層31から出力されたデータが入力される。中間層32において、入力層31から出力されたデータが変換される。中間層32から出力されたデータは、出力層33に入力される。中間層32は、学習データに基づいてパラメータの学習がなされている。中間層32の学習に用いる学習データは、浸潤性乳癌におけるHER2検査の検査結果の推定に不要な不要画像データと、検査済み画像データと、当該検査済み画像データに対応する乳腺組織検体のHER2検査の検査結果データとを含む。本変形例では、不要画像データは、非浸潤性乳癌の組織、正常乳腺組織、間質組織、脂肪組織及び炎症細胞のうち少なくとも一つを含む画像である。不要画像データは、ピントが合っていない画像、変性が大きい組織の画像、色調が所定値よりも濃い画像、及び色調が所定値よりも薄い画像を含んでいてもよい。検査済み画像データは、浸潤性乳癌に関して既に病理診断された乳腺組織検体のHE染色標本の画像からなる。
【0079】
出力層33は、準備画像データの乳腺組織生体検体について、浸潤性乳癌のハーセプチン療法に関するHER2検査の検査結果の推定値を出力する。出力層33は、出力層23と同様に、IHC法に基づくHER2検査の検査結果の推定値を出力する。
【0080】
本変形例では、推定部5は、不要画像データと、検査済み画像データと、検査済み画像データに対応する乳腺組織検体のIHC法に基づくHER2検査の検査結果データとを含む学習データを用いて学習した学習モデル30に、準備画像データを入力する。これよって、推定部5は、準備画像データの乳腺組織検体についてIHC法に基づくHER2検査の検査結果の推定値を学習モデル30から取得する。例えば、不要画像データが非浸潤性乳癌の組織、正常乳腺組織、間質組織、脂肪組織、及び炎症細胞のうち少なくとも一つを含む画像を含む場合には、推定部5は、学習モデル30によってHER2検査の検査結果を推定してもよい。この場合、推定部5は、学習モデル30によって、非浸潤性乳癌の組織、正常乳腺組織、間質組織、脂肪組織、及び炎症細胞のうち少なくとも一つを含む画像を準備画像データから除いた画像データに対応する乳腺組織生体検体のHER2検査の検査結果を推定してもよい。
【0081】
学習モデル30の学習フェーズでは、学習モデル30は、学習モデル10,20と同様に、例えば
図4に示したフローチャートにおけるステップS1〜S3を実行することによって生成される。学習モデル30の生成では、準備画像取得部2が学習データを取得する。取得された学習データは、ステップS1が実行される毎に、推定部5に逐次入力される。
【0082】
準備画像取得部2によって取得される学習データは、浸潤性乳癌におけるHER2検査の検査結果の推定に不要な不要画像データと、検査済み画像データと、当該検査済み画像データに対応する乳腺組織検体のHER2検査の検査結果データとを含む。検査済み画像データは、浸潤性乳癌に関して既に病理診断された乳腺組織検体のHE染色標本の画像からなる。したがって、検査済み画像データは、浸潤性乳癌におけるHER2検査の検査結果の推定に必要な必要画像データに相当する。検査済み画像データは、既にIHC法に基づくHER2検査が行われた乳腺組織検体のHE染色標本の画像データである。
【0083】
学習フェーズにおいて準備画像取得部2によって取得される不要画像データ及び検査済み画像データは、各々がサンプルとして用意された乳腺組織のHE染色標本の撮像画像である複数の画像からなるサンプル画像データである。本変形例では、準備画像取得部2によって取得される学習データは、サンプル画像データと、当該サンプル画像データの各画像に関して浸潤性乳癌におけるHER2検査の検査結果を示す情報とを含む。学習フェーズにおいて準備画像取得部2によって取得される各画像は、推定フェーズにおいて準備画像取得部2によって取得される分割画像と同一の縮尺である。
【0084】
学習モデル30の学習フェーズでは、サンプル画像のうち1つの画像と、当該画像に関して浸潤性乳癌におけるHER2検査の検査結果を示す情報とが1セットで扱われる。準備画像取得部2は、ステップS1が実行される毎に当該1セットを取得する。例えば、準備画像取得部2は、取得された画像が検出済み画像データである場合には、当該画像と共にこの画像の乳癌組織生体検体におけるIHC法に基づくHER2検査の検査結果を示す情報を取得する。準備画像取得部2は、取得された画像が不要画像データである場合には、当該画像と共にHER2検査の検査結果を有さないことを示す情報を取得する。
【0085】
推定部5の中間層32は、ステップS2において、取得された上記画像と当該画像に対応するHER検査の検査結果とに基づいてパラメータを更新することで学習処理を行う。例えば、入力層31に上記画像が入力された場合における出力層33の出力と当該画像に対応する上記検査結果とが比較され、出力層33の出力と当該画像に対応する上記検査結果とが一致するように中間層32のパラメータが更新される。ステップS1とステップS2とが繰り返されることによって、学習モデル30が生成される。
【0086】
次に、
図7を参照しながら、本変形例におけるシステム1によるHER2検査の検査結果の推定処理、すなわち推定フェーズについて説明する。推定フェーズは、推定制御部7によって制御される。
【0087】
推定フェーズが開始されると、準備画像取得部2が、乳腺組織検体のHE染色標本の撮像画像を取得する(ステップS21)。次に、準備画像取得部2は、WSI装置によって撮像された撮像画像を行列状に分割し、準備画像データを取得する(ステップS22)。準備画像データは、撮影画像が行列状に分割された複数の画像からなる。
【0088】
次に、推定部5が、準備画像データに基づいて、HER2検査の検査結果を推定する(ステップS23)。推定部5は、学習モデル30に、準備画像データを入力する。これによって、推定部5は、準備画像データについて、IHC法に基づくHER2検査の検査結果の推定値を学習モデル30から取得する。本変形例では、推定部5は、IHC法によるHER2検査の検査結果の推定値を出力する。本変形例では、推定部5は、上記推定値として、「陽性」、「陰性」、又は「不明」を出力する。例えば、推定値が「陰性」である場合には、ハーセプチン療法は適用されない。例えば、推定値が「陽性」である場合には、ハーセプチン療法が適用される。推定値が「陽性」である場合に、さらに、ISH法によってHER2検査を行ってもよい。例えば、推定値が「不明」である場合には、従来のようにIHC法などによるHER2検査を実際に行う。
【0089】
本実施形態の変形例として、上述した学習フェーズにおける検査結果データをIHC法とISH法とを組み合わせたHER2検査の検査結果とし、推定部5が、IHC法とISH法とを組み合わせたHER2検査の検査結果の推定値を出力してもよい。この場合も、推定部5は、上記推定値として、「陽性」、「陰性」、又は「不明」を出力してもよい。
【0090】
以上説明した実施形態に係るシステム1、検査結果推定方法、および学習モデル20によれば、乳腺組織検体のHE染色標本の画像からなる対象画像データから、対象画像データに対応する乳腺組織検体のHER2検査の検査結果が推定される。したがって、浸潤性乳癌のハーセプチンによる治療に先立って、短期間でHER2遺伝子の増幅及びHER2タンパクの過剰発現の状況が推定され得る。学習モデル20によってHER2検査の検査結果の推定を行う場合、人がHE染色標本を観察してHER2検査の検査結果を推定する場合よりも極めて高精度に上記検査結果が推定される。
【0091】
上述した変形例では、IHC法に基づくHER2検査の検査結果データは、IHC法によるスコアを含む。この場合、上記検査結果がさらに高精度に推定され得る。
【0092】
上述した実施形態では、IHC法に基づくHER2検査の検査結果データは、検査済み画像データに対応する乳腺組織検体のIHC法によるHER2検査の検査結果データを含む。さらに、IHC法に基づくHER2検査の検査結果データは、検査済み画像データに対応する乳腺組織検体のうちIHC法によるスコアが2+である乳腺組織検体のISH法によるHER2検査の検査結果データを含む。この場合、IHC法の判定が「equivocal」である検体について、ISH法による判定も含めて短期間かつ高精度に検査結果が推定される。
【0093】
上述した実施形態においてシステム1は、準備画像取得部2と、画像選択部3とをさらに備えている。準備画像取得部2は、乳腺組織検体のHE染色標本の撮像画像が行列状に分割された複数の画像からなる準備画像データを取得する。画像選択部3は、学習データを用いて学習した学習モデル10に、取得された準備画像データを入力し、非浸潤性乳癌の組織、正常乳腺組織、間質組織、脂肪組織、及び炎症細胞のうち少なくとも一つを含む画像を準備画像データから除いた画像データを対象画像データとして出力する。学習データは、不要画像データと、必要画像データとを含む。不要画像データは、非浸潤性乳癌の組織、正常乳腺組織、間質組織、脂肪組織及び炎症細胞のうち少なくとも一つの画像を含む。必要画像データは、浸潤性乳癌の組織の画像を含む必要画像データを含む。
【0094】
上述した実施形態において検査結果推定方法は、準備画像データを取得し、学習データを用いて学習された学習モデル10に準備画像データを入力し、非浸潤性乳癌の組織、正常乳腺組織、間質組織、脂肪組織、及び炎症細胞のうち少なくとも一つを含む画像を準備画像データから除いた画像データを対象画像データとして画像選択モデルから取得する。準備画像データは、乳腺組織検体のHE染色標本の撮像画像が行列状に分割された複数の画像からなる。学習データは、不要画像データと、必要画像データとを含む。
【0095】
これらの場合、乳腺組織検体のHE染色標本の撮像画像から、より容易に短期間でHER2遺伝子の増幅及びHER2タンパクの過剰発現の状況が推定され得る。
【0096】
上述した変形例においてシステム1A、検査結果推定方法、および学習モデル30は、乳腺組織検体のHE染色標本の撮像画像から、準備画像データに対応する乳腺組織検体のHER2検査の検査結果を推定する。したがって、浸潤性乳癌のハーセプチンによる治療に先立って、より容易に短期間でHER2遺伝子の増幅及びHER2タンパクの過剰発現の状況が推定され得る。上記学習データを用いて学習した学習モデル30によってHER2検査の検査結果の推定を行う場合、人がHE染色標本を観察してHER2検査の検査結果を推定する場合よりも極めて高精度に上記検査結果が推定される。
【0097】
以上、本発明の実施形態及び変形例について説明してきたが、本発明は必ずしも上述した実施形態及び変形例に限定されるものではなく、その要旨を逸脱しない範囲で様々な変更が可能である。
【0098】
例えば、画像選択部3は、準備画像データを癌組織と非癌組織とに分類した後に、癌組織と分類された複数の画像から、HER2検査の検査結果の推定に適切な画像を選択してもよい。例えば、画像選択部3は、癌組織と分類された複数の画像から、HER2検査の検査結果の推定に不適切な画像を削除してもよい。非癌組織は、例えば、正常乳腺組織、間質組織、脂肪組織、及び炎症細胞を含む。HER2検査の検査結果の推定に不適切な画像は、例えば、ピントが合っていない画像、変性が大きい組織の画像、色調が所定値よりも濃い画像、色調が所定値よりも薄い画像、及び非浸潤性乳癌の組織の画像の少なくとも一つを含む。
【0099】
癌組織と非癌組織との分類とHER2検査の検査結果の推定に適切な画像の選択との一方が、学習モデル10によって処理され、他方がシステム1の外部で処理されてもよい。例えば、画像選択部3は、学習モデル10によって準備画像データを癌組織と非癌組織とに分類し、癌組織と分類された複数の画像からHER2検査の検査結果の推定に適切又は不適切な画像をユーザに選択させてもよい。この場合、学習制御部6は、予め用意された癌組織の画像データと非癌組織の画像データとを学習データとして学習モデル10を生成する。画像選択部3は、ユーザに選択された又は選択されなかった画像を、HER2検査の検査結果の推定に適切又は不適切な画像として取得してもよい。
【0100】
学習モデル10が2つの学習モデルを含んでもよい。この場合、癌組織と非癌組織との分類と、HER2検査の検査結果の推定に適切な画像の選択とが互いに異なる学習モデルによって行われてもよい。
【0101】
上述した実施形態および変形例では、システム1が学習モデル10,20を有し、システム1Aが学習モデル30を有する例を説明した。しかし、学習モデル10,20,30は、システム1,1Aの外部にあってもよい。
【0102】
準備画像取得部2及び対象画像取得部4は、学習フェーズにおいて、画像の水増し(Data Augmentation)を行ってもよい。例えば、学習モデル10の生成において、準備画像取得部2は、サンプル画像データに対して上記水増しを行うことで学習データを生成し、当該学習データを画像選択部3に入力してもよい。学習モデル20の生成において、対象画像取得部4は、検査済み画像データに対して上記水増しを行うことで学習データを生成し、当該学習データを推定部5に入力してもよい。学習モデル30の生成において、準備画像取得部2は、サンプル画像データに対して上記水増しを行うことで学習データを生成し、当該学習データを推定部5に入力してもよい。