特開2022-102161癌の再発可能性を判定する再発判定装置および再発判定方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022102161
(43)【公開日】2022-07-07
(54)【発明の名称】癌の再発可能性を判定する再発判定装置および再発判定方法
(51)【国際特許分類】
G01N 33/48 20060101AFI20220630BHJP
G06T 7/00 20170101ALI20220630BHJP
G01N 33/483 20060101ALI20220630BHJP
【ＦＩ】
G01N33/48 M
G06T7/00 350B
G06T7/00 630
G01N33/483 C
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2020216728
(22)【出願日】2020-12-25
(71)【出願人】
【識別番号】398047054
【氏名又は名称】株式会社カイ
(74)【代理人】
【識別番号】100129137
【弁理士】
【氏名又は名称】中山 ゆみ
(72)【発明者】
【氏名】小林 匡治
(72)【発明者】
【氏名】堀内 智明
(72)【発明者】
【氏名】橋本 幹弘
(72)【発明者】
【氏名】樋口 浩太郎
【テーマコード（参考）】
2G045
5L096
【Ｆターム（参考）】
2G045AA26
2G045CB02
2G045FA19
2G045JA01
5L096BA06
5L096BA13
5L096HA13
5L096JA11
5L096KA04
5L096MA07
(57)【要約】 （修正有）
【課題】癌の治療を行った後の再発の可能性を容易に判断できる、新たな装置を提供する。
【解決手段】判定装置１は、癌組織のスライド画像を取得する画像取得部１１、スライド画像から複数の部分画像を抽出する抽出部１２、癌細胞領域および間質領域のいずれの種類に該当するかの判定と特徴ベクトル生成とを行う生成部１３、種類と特徴ベクトルとに基づいて該当するクラスタにクラスタリングするクラスタリング部１４、種類と再発の有無との組み合わせによりクラスタをグルーピングした複数のクラスタグループに対して、スライド画像から抽出した複数の部分画像の各クラスタが、どのような組み合わせで該当するのかを示すクラスタグループの組合わせパターンを決定する組合わせパターン決定部１５、該パターンに基づいて、癌組織の再発可能性を判定する判定部１６、癌組織の再発可能性の判定結果を出力する出力部１７を含む。
【選択図】図１
【解決手段】判定装置１は、癌組織のスライド画像を取得する画像取得部１１、スライド画像から複数の部分画像を抽出する抽出部１２、癌細胞領域および間質領域のいずれの種類に該当するかの判定と特徴ベクトル生成とを行う生成部１３、種類と特徴ベクトルとに基づいて該当するクラスタにクラスタリングするクラスタリング部１４、種類と再発の有無との組み合わせによりクラスタをグルーピングした複数のクラスタグループに対して、スライド画像から抽出した複数の部分画像の各クラスタが、どのような組み合わせで該当するのかを示すクラスタグループの組合わせパターンを決定する組合わせパターン決定部１５、該パターンに基づいて、癌組織の再発可能性を判定する判定部１６、癌組織の再発可能性の判定結果を出力する出力部１７を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
画像取得部、抽出部、生成部、クラスタリング部、組合わせパターン決定部、分類部、判定部、および出力部を含み、
前記画像取得部は、被検者の癌組織のスライド画像を取得し、
前記抽出部は、前記スライド画像から複数の部分画像を抽出し、
前記生成部は、第１モデルにより、前記部分画像ごと、癌細胞領域および間質領域のいずれの種類に該当するかの判定ならびに特徴ベクトルの生成を行い、
前記クラスタリング部は、第２モデルにより、前記部分画像ごと、前記種類と前記特徴ベクトルとに基づいて、該当するクラスタにクラスタリングし、
前記組合わせパターン決定部は、前記種類と再発の有無との組み合わせによりクラスタをグルーピングした複数のクラスタグループに対して、前記スライド画像から抽出した複数の部分画像の各クラスタが、どのような組み合わせで該当するのかを示すクラスタグループの組合わせパターンを決定し、
前記判定部は、第３モデルにより、前記スライド画像の前記クラスタグループの組合わせパターンに基づいて、前記スライド画像の癌組織の再発可能性を判定し、
前記出力部は、前記スライド画像の癌組織の再発可能性の判定結果を出力し、
前記第１モデルは、
学習データとして、複数の癌患者の癌組織の学習用スライド画像から抽出された部分画像、ならびに前記部分画像が癌細胞領域および間質領域のいずれの種類に該当するかの種類情報を用い、学習により生成された、癌細胞領域および間質領域のいずれの種類に該当するかの判定ならびに特徴ベクトルの生成を行うモデルであり、
前記第２モデルは、
学習データとして、前記部分画像の種類情報および前記部分画像の特徴ベクトルを用い、学習により生成された、癌細胞領域の複数のクラスタおよび間質領域の複数のクラスタへの分類を行うクラスタリングモデルであり、
前記第３モデルは、
学習データとして、前記複数の癌患者について、外科手術後の補助治療後の再発の有無に関する再発情報およびクラスタグループの組合わせパターンを用い、学習により生成された、再発可能性の有無を判定するモデルであり、
前記癌患者のクラスタグループの組合わせパターンは、
前記第２モデルにより得られるクラスタごと、それに含まれる前記部分画像について、外科手術後の補助治療後に再発した癌患者由来の部分画像と外科手術後の補助治療後に再発していない癌患者由来の部分画像とをカウントし、再発ありのカウント数が有意に大きい場合は、そのクラスタを再発ありのクラスタとし、再発なしのカウント数が有意に大きい場合は、そのクラスタを再発なしのクラスタとし、
前記複数の癌患者の学習用スライド画像ごと、それに含まれる前記複数の部分画像の各クラスタが、前記癌細胞領域の再発ありのクラスタグループ、前記癌細胞領域の再発なしのクラスタグループ、前記間質領域の再発ありのクラスタグループ、および前記間質領域の再発なしのクラスタグループにどのような組み合わせで該当するかを示すパターンとして決定される
ことを特徴とする癌の再発可能性を判定する判定装置。
前記画像取得部は、被検者の癌組織のスライド画像を取得し、
前記抽出部は、前記スライド画像から複数の部分画像を抽出し、
前記生成部は、第１モデルにより、前記部分画像ごと、癌細胞領域および間質領域のいずれの種類に該当するかの判定ならびに特徴ベクトルの生成を行い、
前記クラスタリング部は、第２モデルにより、前記部分画像ごと、前記種類と前記特徴ベクトルとに基づいて、該当するクラスタにクラスタリングし、
前記組合わせパターン決定部は、前記種類と再発の有無との組み合わせによりクラスタをグルーピングした複数のクラスタグループに対して、前記スライド画像から抽出した複数の部分画像の各クラスタが、どのような組み合わせで該当するのかを示すクラスタグループの組合わせパターンを決定し、
前記判定部は、第３モデルにより、前記スライド画像の前記クラスタグループの組合わせパターンに基づいて、前記スライド画像の癌組織の再発可能性を判定し、
前記出力部は、前記スライド画像の癌組織の再発可能性の判定結果を出力し、
前記第１モデルは、
学習データとして、複数の癌患者の癌組織の学習用スライド画像から抽出された部分画像、ならびに前記部分画像が癌細胞領域および間質領域のいずれの種類に該当するかの種類情報を用い、学習により生成された、癌細胞領域および間質領域のいずれの種類に該当するかの判定ならびに特徴ベクトルの生成を行うモデルであり、
前記第２モデルは、
学習データとして、前記部分画像の種類情報および前記部分画像の特徴ベクトルを用い、学習により生成された、癌細胞領域の複数のクラスタおよび間質領域の複数のクラスタへの分類を行うクラスタリングモデルであり、
前記第３モデルは、
学習データとして、前記複数の癌患者について、外科手術後の補助治療後の再発の有無に関する再発情報およびクラスタグループの組合わせパターンを用い、学習により生成された、再発可能性の有無を判定するモデルであり、
前記癌患者のクラスタグループの組合わせパターンは、
前記第２モデルにより得られるクラスタごと、それに含まれる前記部分画像について、外科手術後の補助治療後に再発した癌患者由来の部分画像と外科手術後の補助治療後に再発していない癌患者由来の部分画像とをカウントし、再発ありのカウント数が有意に大きい場合は、そのクラスタを再発ありのクラスタとし、再発なしのカウント数が有意に大きい場合は、そのクラスタを再発なしのクラスタとし、
前記複数の癌患者の学習用スライド画像ごと、それに含まれる前記複数の部分画像の各クラスタが、前記癌細胞領域の再発ありのクラスタグループ、前記癌細胞領域の再発なしのクラスタグループ、前記間質領域の再発ありのクラスタグループ、および前記間質領域の再発なしのクラスタグループにどのような組み合わせで該当するかを示すパターンとして決定される
ことを特徴とする癌の再発可能性を判定する判定装置。
【請求項2】
前記種類情報において、前記癌細胞領域の種類が、２～２０種類であり、前記間質領域の種類が、２～１０種類である、請求項１に記載の再発判定装置。
【請求項3】
前記種類情報において、前記癌細胞領域の種類が、癌の湿潤部領域および癌の主要部領域であり、前記間質領域が、間質の成熟領域および間質の未熟領域である、請求項２に記載の再発判定装置。
【請求項4】
前記クラスタグループが、癌の湿潤部領域の再発ありのクラスタグループ、癌の湿潤部領域の再発なしのクラスタグループ、癌の主要部領域の再発ありのクラスタグループ、癌の主要部領域の再発なしのクラスタグループ、間質の成熟領域の再発ありのクラスタグループ、間質の成熟領域の再発なしのクラスタグループ、間質の未熟領域の再発ありのクラスタグループ、および間質の未熟領域の再発なしのクラスタグループを含む、請求項３に記載の再発判定装置。
【請求項5】
前記クラスタリング部において、クラスタの数が１００～１０００個である、請求項１から４のいずれか一項に記載の再発判定装置。
【請求項6】
前記第３モデルは、前記学習データとして、前記複数の癌患者のうち、外科手術後に任意の補助治療を行った癌患者について、補助治療後の再発の有無に関する再発情報およびクラスタグループの組合わせパターンを用い、学習により生成された、補助治療ありのモデルと、前記学習データとして、前記複数の癌患者のうち、前記任意の補助治療を行っていない癌患者について、補助治療後の再発の有無に関する再発情報およびクラスタグループの組合わせパターンを用い、学習により生成された、補助治療なしのモデルとのモデルセットであり、
前記判定部は、
前記第３モデルとして前記モデルセットを用い、
前記補助治療ありのモデルによる再発可能性の判定と、前記補助治療なしのモデルによる再発可能性の判定とを行う、請求項１から５のいずれか一項に記載の再発判定装置。
前記判定部は、
前記第３モデルとして前記モデルセットを用い、
前記補助治療ありのモデルによる再発可能性の判定と、前記補助治療なしのモデルによる再発可能性の判定とを行う、請求項１から５のいずれか一項に記載の再発判定装置。
【請求項7】
前記判定部は、前記補助治療ありのモデルによる再発可能性の判定結果と、前記補助治療なしのモデルによる再発可能性の判定結果とに基づく総合判定を行う、請求項６に記載の再発判定装置。
【請求項8】
画像取得工程、抽出工程、生成工程、クラスタリング工程、組合わせパターン決定工程、分類工程、判定工程、および出力工程を含み、これらの工程をコンピュータが実行し、
前記画像取得工程は、被検者の癌組織のスライド画像を取得し、
前記抽出工程は、前記スライド画像を複数の部分画像に抽出し、
前記生成工程は、第１モデルにより、前記部分画像ごと、癌細胞領域および間質領域のいずれの種類に該当するかの判定ならびに特徴ベクトルの生成を行い、
前記クラスタリング工程は、第２モデルにより、前記部分画像ごと、前記種類と前記特徴ベクトルとに基づいて、該当するクラスタにクラスタリングし、
前記組合わせパターン決定工程は、前記種類と再発の有無との組み合わせによりクラスタをグルーピングした複数のクラスタグループに対して、前記スライド画像から抽出した複数の部分画像の各クラスタが、どのような組み合わせで該当するのかを示すクラスタグループの組合わせパターンを決定し、
前記判定工程は、
第３モデルにより、前記スライド画像の前記クラスタグループの組合わせパターンに基づいて、前記スライド画像の癌組織の再発可能性を判定し、
前記出力工程は、前記スライド画像の癌組織の再発可能性の判定結果を出力し、
前記第１モデルは、
学習データとして、複数の癌患者の癌組織の学習用スライド画像から抽出された部分画像、ならびに前記部分画像が癌細胞領域および間質領域のいずれの種類に該当するかの種類情報を用い、学習により生成された、癌細胞領域および間質領域のいずれの種類に該当するかの判定ならびに特徴ベクトルの生成を行うモデルであり、
前記第２モデルは、
学習データとして、前記部分画像の種類情報および前記部分画像の特徴ベクトルを用い、学習により生成された、癌細胞領域の複数のクラスタおよび間質領域の複数のクラスタへの分類を行うクラスタリングモデルであり、
前記第３モデルは、
学習データとして、前記複数の癌患者について、外科手術後の補助治療後の再発の有無に関する再発情報およびクラスタグループの組合わせパターンを用い、学習により生成された、再発可能性の有無を判定するモデルであり、
前記癌患者のクラスタグループの組合わせパターンは、
前記第２モデルにより得られるクラスタごと、それに含まれる前記部分画像について、外科手術後の補助治療後に再発した癌患者由来の部分画像と外科手術後の補助治療後に再発していない癌患者由来の部分画像とをカウントし、再発ありのカウント数が有意に大きい場合は、そのクラスタを再発ありのクラスタとし、再発なしのカウント数が有意に大きい場合は、そのクラスタを再発なしのクラスタとし、
前記複数の癌患者の学習用スライド画像ごと、それに含まれる前記複数の部分画像の各クラスタが、前記癌細胞領域の再発ありのクラスタグループ、前記癌細胞領域の再発なしのクラスタグループ、前記間質領域の再発ありのクラスタグループ、および前記間質領域の再発なしのクラスタグループにどのような組み合わせで該当するかを示すパターンとして決定される
ことを特徴とする癌の再発可能性を判定する再発判定方法。
前記画像取得工程は、被検者の癌組織のスライド画像を取得し、
前記抽出工程は、前記スライド画像を複数の部分画像に抽出し、
前記生成工程は、第１モデルにより、前記部分画像ごと、癌細胞領域および間質領域のいずれの種類に該当するかの判定ならびに特徴ベクトルの生成を行い、
前記クラスタリング工程は、第２モデルにより、前記部分画像ごと、前記種類と前記特徴ベクトルとに基づいて、該当するクラスタにクラスタリングし、
前記組合わせパターン決定工程は、前記種類と再発の有無との組み合わせによりクラスタをグルーピングした複数のクラスタグループに対して、前記スライド画像から抽出した複数の部分画像の各クラスタが、どのような組み合わせで該当するのかを示すクラスタグループの組合わせパターンを決定し、
前記判定工程は、
第３モデルにより、前記スライド画像の前記クラスタグループの組合わせパターンに基づいて、前記スライド画像の癌組織の再発可能性を判定し、
前記出力工程は、前記スライド画像の癌組織の再発可能性の判定結果を出力し、
前記第１モデルは、
学習データとして、複数の癌患者の癌組織の学習用スライド画像から抽出された部分画像、ならびに前記部分画像が癌細胞領域および間質領域のいずれの種類に該当するかの種類情報を用い、学習により生成された、癌細胞領域および間質領域のいずれの種類に該当するかの判定ならびに特徴ベクトルの生成を行うモデルであり、
前記第２モデルは、
学習データとして、前記部分画像の種類情報および前記部分画像の特徴ベクトルを用い、学習により生成された、癌細胞領域の複数のクラスタおよび間質領域の複数のクラスタへの分類を行うクラスタリングモデルであり、
前記第３モデルは、
学習データとして、前記複数の癌患者について、外科手術後の補助治療後の再発の有無に関する再発情報およびクラスタグループの組合わせパターンを用い、学習により生成された、再発可能性の有無を判定するモデルであり、
前記癌患者のクラスタグループの組合わせパターンは、
前記第２モデルにより得られるクラスタごと、それに含まれる前記部分画像について、外科手術後の補助治療後に再発した癌患者由来の部分画像と外科手術後の補助治療後に再発していない癌患者由来の部分画像とをカウントし、再発ありのカウント数が有意に大きい場合は、そのクラスタを再発ありのクラスタとし、再発なしのカウント数が有意に大きい場合は、そのクラスタを再発なしのクラスタとし、
前記複数の癌患者の学習用スライド画像ごと、それに含まれる前記複数の部分画像の各クラスタが、前記癌細胞領域の再発ありのクラスタグループ、前記癌細胞領域の再発なしのクラスタグループ、前記間質領域の再発ありのクラスタグループ、および前記間質領域の再発なしのクラスタグループにどのような組み合わせで該当するかを示すパターンとして決定される
ことを特徴とする癌の再発可能性を判定する再発判定方法。
【請求項9】
前記種類情報において、前記癌細胞領域の種類が、２～２０種類であり、前記間質領域の種類が、２～１０種類である、請求項８に記載の再発判定方法。
【請求項10】
前記種類情報において、前記癌細胞領域の種類が、癌の湿潤部領域および癌の主要部領域であり、前記間質領域が、間質の成熟領域および間質の未熟領域である、請求項９に記載の再発判定方法。
【請求項11】
前記クラスタグループが、癌の湿潤部領域の再発ありのクラスタグループ、癌の湿潤部領域の再発なしのクラスタグループ、癌の主要部領域の再発ありのクラスタグループ、癌の主要部領域の再発なしのクラスタグループ、間質の成熟領域の再発ありのクラスタグループ、間質の成熟領域の再発なしのクラスタグループ、間質の未熟領域の再発ありのクラスタグループ、および間質の未熟領域の再発なしのクラスタグループを含む、請求項１０に記載の再発判定方法。
【請求項12】
前記クラスタリング工程において、クラスタの数が１００～１０００個である、請求項８から１１のいずれか一項に記載の再発判定装置。
【請求項13】
前記第３モデルは、前記学習データとして、前記複数の癌患者のうち、外科手術後に任意の補助治療を行った癌患者について、補助治療後の再発の有無に関する再発情報およびクラスタグループの組合わせパターンを用い、学習により生成された、補助治療ありのモデルと、前記学習データとして、前記複数の癌患者のうち、前記任意の補助治療を行っていない癌患者について、補助治療後の再発の有無に関する再発情報およびクラスタグループの組合わせパターンを用い、学習により生成された、補助治療なしのモデルとの第３モデルセットであり、
前記判定工程は、
前記第３モデルとして前記第３モデルセットを用い、
前記補助治療ありのモデルによる再発可能性の判定と、前記補助治療なしのモデルによる再発可能性の判定とを行う、請求項８から１２のいずれか一項に記載の再発判定方法。
前記判定工程は、
前記第３モデルとして前記第３モデルセットを用い、
前記補助治療ありのモデルによる再発可能性の判定と、前記補助治療なしのモデルによる再発可能性の判定とを行う、請求項８から１２のいずれか一項に記載の再発判定方法。
【請求項14】
前記判定工程は、前記補助治療ありのモデルによる再発可能性の判定結果と、前記補助治療なしのモデルによる再発可能性の判定結果とに基づく総合判定を行う、請求項１３に記載の再発判定方法。
【請求項15】
請求項８から１４のいずれか一項に記載の癌の再発可能性を判定する再発判定方法をコンピュータに実行させることを特徴とするプログラム。
【請求項16】
請求項１５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、癌の再発可能性を判定する再発判定装置および再発判定方法に関する。
【背景技術】
【0002】
癌の治療方法としては、様々な療法が知られているが、臨床の現場においては、再発の可能性を考慮しながら、患者の希望、ＱＯＬ等も考慮することが求められている。しかし、癌の程度、身体状態等、患者によって様々な違いがあることから、再発の可能性を考慮した治療の判断は非常に困難である。
【発明の概要】
【発明が解決しようとする課題】
【0003】
そこで、本発明は、癌の治療を行った後の再発の可能性を容易に判断できる、新たな装置および方法の提供を目的とする。
【課題を解決するための手段】
【0004】
前記目的を達成するために、本発明の癌の再発可能性を判定する判定装置は、
画像取得部、抽出部、生成部、クラスタリング部、組合わせパターン決定部、分類部、判定部、および出力部を含み、
前記画像取得部は、被検者の癌組織のスライド画像を取得し、
前記抽出部は、前記スライド画像から複数の部分画像を抽出し、
前記生成部は、第１モデルにより、前記部分画像ごと、癌細胞領域および間質領域のいずれの種類に該当するかの判定ならびに特徴ベクトルの生成を行い、
前記クラスタリング部は、第２モデルにより、前記部分画像ごと、前記種類と前記特徴ベクトルとに基づいて、該当するクラスタにクラスタリングし、
前記組合わせパターン決定部は、前記種類と再発の有無との組み合わせによりクラスタをグルーピングした複数のクラスタグループに対して、前記スライド画像から抽出した複数の部分画像の各クラスタが、どのような組み合わせで該当するのかを示すクラスタグループの組合わせパターンを決定し、
前記判定部は、第３モデルにより、前記スライド画像の前記クラスタグループの組合わせパターンに基づいて、前記スライド画像の癌組織の再発可能性を判定し、
前記出力部は、前記スライド画像の癌組織の再発可能性の判定結果を出力し、
前記第１モデルは、
学習データとして、複数の癌患者の癌組織の学習用スライド画像から抽出された部分画像、ならびに前記部分画像が癌細胞領域および間質領域のいずれの種類に該当するかの種類情報を用い、学習により生成された、癌細胞領域および間質領域のいずれの種類に該当するかの判定ならびに特徴ベクトルの生成を行うモデルであり、
前記第２モデルは、
学習データとして、前記部分画像の種類情報および前記部分画像の特徴ベクトルを用い、学習により生成された、癌細胞領域の複数のクラスタおよび間質領域の複数のクラスタへの分類を行うクラスタリングモデルであり、
前記第３モデルは、
学習データとして、前記複数の癌患者について、外科手術後の補助治療後の再発の有無に関する再発情報およびクラスタグループの組合わせパターンを用い、学習により生成された、再発可能性の有無を判定するモデルであり、
前記癌患者のクラスタグループの組合わせパターンは、
前記第２モデルにより得られるクラスタごと、それに含まれる前記部分画像について、外科手術後の補助治療後に再発した癌患者由来の部分画像と外科手術後の補助治療後に再発していない癌患者由来の部分画像とをカウントし、再発ありのカウント数が有意に大きい場合は、そのクラスタを再発ありのクラスタとし、再発なしのカウント数が有意に大きい場合は、そのクラスタを再発なしのクラスタとし、
前記複数の癌患者の学習用スライド画像ごと、それに含まれる前記複数の部分画像の各クラスタが、前記癌細胞領域の再発ありのクラスタグループ、前記癌細胞領域の再発なしのクラスタグループ、前記間質領域の再発ありのクラスタグループ、および前記間質領域の再発なしのクラスタグループにどのような組み合わせで該当するかを示すパターンとして決定される
ことを特徴とする。
画像取得部、抽出部、生成部、クラスタリング部、組合わせパターン決定部、分類部、判定部、および出力部を含み、
前記画像取得部は、被検者の癌組織のスライド画像を取得し、
前記抽出部は、前記スライド画像から複数の部分画像を抽出し、
前記生成部は、第１モデルにより、前記部分画像ごと、癌細胞領域および間質領域のいずれの種類に該当するかの判定ならびに特徴ベクトルの生成を行い、
前記クラスタリング部は、第２モデルにより、前記部分画像ごと、前記種類と前記特徴ベクトルとに基づいて、該当するクラスタにクラスタリングし、
前記組合わせパターン決定部は、前記種類と再発の有無との組み合わせによりクラスタをグルーピングした複数のクラスタグループに対して、前記スライド画像から抽出した複数の部分画像の各クラスタが、どのような組み合わせで該当するのかを示すクラスタグループの組合わせパターンを決定し、
前記判定部は、第３モデルにより、前記スライド画像の前記クラスタグループの組合わせパターンに基づいて、前記スライド画像の癌組織の再発可能性を判定し、
前記出力部は、前記スライド画像の癌組織の再発可能性の判定結果を出力し、
前記第１モデルは、
学習データとして、複数の癌患者の癌組織の学習用スライド画像から抽出された部分画像、ならびに前記部分画像が癌細胞領域および間質領域のいずれの種類に該当するかの種類情報を用い、学習により生成された、癌細胞領域および間質領域のいずれの種類に該当するかの判定ならびに特徴ベクトルの生成を行うモデルであり、
前記第２モデルは、
学習データとして、前記部分画像の種類情報および前記部分画像の特徴ベクトルを用い、学習により生成された、癌細胞領域の複数のクラスタおよび間質領域の複数のクラスタへの分類を行うクラスタリングモデルであり、
前記第３モデルは、
学習データとして、前記複数の癌患者について、外科手術後の補助治療後の再発の有無に関する再発情報およびクラスタグループの組合わせパターンを用い、学習により生成された、再発可能性の有無を判定するモデルであり、
前記癌患者のクラスタグループの組合わせパターンは、
前記第２モデルにより得られるクラスタごと、それに含まれる前記部分画像について、外科手術後の補助治療後に再発した癌患者由来の部分画像と外科手術後の補助治療後に再発していない癌患者由来の部分画像とをカウントし、再発ありのカウント数が有意に大きい場合は、そのクラスタを再発ありのクラスタとし、再発なしのカウント数が有意に大きい場合は、そのクラスタを再発なしのクラスタとし、
前記複数の癌患者の学習用スライド画像ごと、それに含まれる前記複数の部分画像の各クラスタが、前記癌細胞領域の再発ありのクラスタグループ、前記癌細胞領域の再発なしのクラスタグループ、前記間質領域の再発ありのクラスタグループ、および前記間質領域の再発なしのクラスタグループにどのような組み合わせで該当するかを示すパターンとして決定される
ことを特徴とする。
【0005】
本発明の癌の再発可能性を判定する再発判定方法は、
画像取得工程、抽出工程、生成工程、クラスタリング工程、組合わせパターン決定工程、分類工程、判定工程、および出力工程を含み、これらの工程をコンピュータが実行し、
前記画像取得工程は、被検者の癌組織のスライド画像を取得し、
前記抽出工程は、前記スライド画像を複数の部分画像に抽出し、
前記生成工程は、第１モデルにより、前記部分画像ごと、癌細胞領域および間質領域のいずれの種類に該当するかの判定ならびに特徴ベクトルの生成を行い、
前記クラスタリング工程は、第２モデルにより、前記部分画像ごと、前記種類と前記特徴ベクトルとに基づいて、該当するクラスタにクラスタリングし、
前記組合わせパターン決定工程は、前記種類と再発の有無との組み合わせによりクラスタをグルーピングした複数のクラスタグループに対して、前記スライド画像から抽出した複数の部分画像の各クラスタが、どのような組み合わせで該当するのかを示すクラスタグループの組合わせパターンを決定し、
前記判定工程は、
第３モデルにより、前記スライド画像の前記クラスタグループの組合わせパターンに基づいて、前記スライド画像の癌組織の再発可能性を判定し、
前記出力工程は、前記スライド画像の癌組織の再発可能性の判定結果を出力し、
前記第１モデルは、
学習データとして、複数の癌患者の癌組織の学習用スライド画像から抽出された部分画像、ならびに前記部分画像が癌細胞領域および間質領域のいずれの種類に該当するかの種類情報を用い、学習により生成された、癌細胞領域および間質領域のいずれの種類に該当するかの判定ならびに特徴ベクトルの生成を行うモデルであり、
前記第２モデルは、
学習データとして、前記部分画像の種類情報および前記部分画像の特徴ベクトルを用い、学習により生成された、癌細胞領域の複数のクラスタおよび間質領域の複数のクラスタへの分類を行うクラスタリングモデルであり、
前記第３モデルは、
学習データとして、前記複数の癌患者について、外科手術後の補助治療後の再発の有無に関する再発情報およびクラスタグループの組合わせパターンを用い、学習により生成された、再発可能性の有無を判定するモデルであり、
前記癌患者のクラスタグループの組合わせパターンは、
前記第２モデルにより得られるクラスタごと、それに含まれる前記部分画像について、外科手術後の補助治療後に再発した癌患者由来の部分画像と外科手術後の補助治療後に再発していない癌患者由来の部分画像とをカウントし、再発ありのカウント数が有意に大きい場合は、そのクラスタを再発ありのクラスタとし、再発なしのカウント数が有意に大きい場合は、そのクラスタを再発なしのクラスタとし、
前記複数の癌患者の学習用スライド画像ごと、それに含まれる前記複数の部分画像の各クラスタが、前記癌細胞領域の再発ありのクラスタグループ、前記癌細胞領域の再発なしのクラスタグループ、前記間質領域の再発ありのクラスタグループ、および前記間質領域の再発なしのクラスタグループにどのような組み合わせで該当するかを示すパターンとして決定されることを特徴とする。
画像取得工程、抽出工程、生成工程、クラスタリング工程、組合わせパターン決定工程、分類工程、判定工程、および出力工程を含み、これらの工程をコンピュータが実行し、
前記画像取得工程は、被検者の癌組織のスライド画像を取得し、
前記抽出工程は、前記スライド画像を複数の部分画像に抽出し、
前記生成工程は、第１モデルにより、前記部分画像ごと、癌細胞領域および間質領域のいずれの種類に該当するかの判定ならびに特徴ベクトルの生成を行い、
前記クラスタリング工程は、第２モデルにより、前記部分画像ごと、前記種類と前記特徴ベクトルとに基づいて、該当するクラスタにクラスタリングし、
前記組合わせパターン決定工程は、前記種類と再発の有無との組み合わせによりクラスタをグルーピングした複数のクラスタグループに対して、前記スライド画像から抽出した複数の部分画像の各クラスタが、どのような組み合わせで該当するのかを示すクラスタグループの組合わせパターンを決定し、
前記判定工程は、
第３モデルにより、前記スライド画像の前記クラスタグループの組合わせパターンに基づいて、前記スライド画像の癌組織の再発可能性を判定し、
前記出力工程は、前記スライド画像の癌組織の再発可能性の判定結果を出力し、
前記第１モデルは、
学習データとして、複数の癌患者の癌組織の学習用スライド画像から抽出された部分画像、ならびに前記部分画像が癌細胞領域および間質領域のいずれの種類に該当するかの種類情報を用い、学習により生成された、癌細胞領域および間質領域のいずれの種類に該当するかの判定ならびに特徴ベクトルの生成を行うモデルであり、
前記第２モデルは、
学習データとして、前記部分画像の種類情報および前記部分画像の特徴ベクトルを用い、学習により生成された、癌細胞領域の複数のクラスタおよび間質領域の複数のクラスタへの分類を行うクラスタリングモデルであり、
前記第３モデルは、
学習データとして、前記複数の癌患者について、外科手術後の補助治療後の再発の有無に関する再発情報およびクラスタグループの組合わせパターンを用い、学習により生成された、再発可能性の有無を判定するモデルであり、
前記癌患者のクラスタグループの組合わせパターンは、
前記第２モデルにより得られるクラスタごと、それに含まれる前記部分画像について、外科手術後の補助治療後に再発した癌患者由来の部分画像と外科手術後の補助治療後に再発していない癌患者由来の部分画像とをカウントし、再発ありのカウント数が有意に大きい場合は、そのクラスタを再発ありのクラスタとし、再発なしのカウント数が有意に大きい場合は、そのクラスタを再発なしのクラスタとし、
前記複数の癌患者の学習用スライド画像ごと、それに含まれる前記複数の部分画像の各クラスタが、前記癌細胞領域の再発ありのクラスタグループ、前記癌細胞領域の再発なしのクラスタグループ、前記間質領域の再発ありのクラスタグループ、および前記間質領域の再発なしのクラスタグループにどのような組み合わせで該当するかを示すパターンとして決定されることを特徴とする。
【0006】
本発明のプログラムは、前記本発明の癌の再発可能性を判定する再発判定方法をコンピュータに実行させることを特徴とする。
【0007】
本発明の記録媒体は、前記本発明のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【0008】
本発明によれば、例えば、外科手術後に補助治療を施し、その後の再発の有無が診断されている癌患者のスライド画像に由来する癌細胞領域の部分画像と間質領域の部分画像とを用いた学習により生成されたモデルを使用することで、被検者の補助治療後の再発の可能性をより容易に判断することができる。このため、本発明によれば、外科手術後の癌患者の再発の可能性を考慮した上で、術後におけるさらなる補助治療の要否や補助治療の種類の選択を行うことが可能となる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
本発明の再発判定装置は、例えば、前記種類情報において、前記癌細胞領域の種類が、２～２０種類であり、前記間質領域の種類が、２～１０種類である。
【0011】
本発明の再発判定装置は、例えば、前記種類情報において、前記癌細胞領域の種類が、癌の湿潤部領域および癌の主要部領域であり、前記間質領域が、間質の成熟領域および間質の未熟領域である。
【0012】
本発明の再発判定装置は、例えば、前記クラスタグループが、癌の湿潤部領域の再発ありのクラスタグループ、癌の湿潤部領域の再発なしのクラスタグループ、癌の主要部領域の再発ありのクラスタグループ、癌の主要部領域の再発なしのクラスタグループ、間質の成熟領域の再発ありのクラスタグループ、間質の成熟領域の再発なしのクラスタグループ、間質の未熟領域の再発ありのクラスタグループ、および間質の未熟領域の再発なしのクラスタグループを含む。
【0013】
本発明の再発判定装置は、例えば、前記クラスタリング部において、クラスタの数が１００～１０００個である。
【0014】
本発明の再発判定装置において、例えば、前記第３モデルは、前記学習データとして、前記複数の癌患者のうち、外科手術後に任意の治療を行った癌患者について、補助治療後の再発の有無に関する再発情報およびクラスタグループの組合わせパターンを用い、学習により生成された、補助治療ありのモデルと、前記学習データとして、前記複数の癌患者のうち、前記任意の補助治療を行っていない癌患者について、補助治療後の再発の有無に関する再発情報およびクラスタグループの組合わせパターンを用い、学習により生成された、補助治療なしのモデルとのモデルセットであり、
前記判定部は、
前記第３モデルとして前記モデルセットを用い、
前記補助治療ありのモデルによる再発可能性の判定と、前記補助治療なしのモデルによる再発可能性の判定とを行う。
前記判定部は、
前記第３モデルとして前記モデルセットを用い、
前記補助治療ありのモデルによる再発可能性の判定と、前記補助治療なしのモデルによる再発可能性の判定とを行う。
【0015】
本発明の再発判定方法において、例えば、前記判定部は、前記補助治療ありのモデルによる再発可能性の判定結果と、前記補助治療なしのモデルによる再発可能性の判定結果とに基づく総合判定を行う。
【0016】
本発明の再発判定方法は、例えば、前記種類情報において、前記癌細胞領域の種類が、２～２０種類であり、前記間質領域の種類が、２～１０種類である。
【0017】
本発明の再発判定方法は、例えば、前記種類情報において、前記癌細胞領域の種類が、癌の湿潤部領域および癌の主要部領域であり、前記間質領域が、間質の成熟領域および間質の未熟領域である。
【0018】
本発明の再発判定方法は、例えば、前記クラスタグループが、癌の湿潤部領域の再発ありのクラスタグループ、癌の湿潤部領域の再発なしのクラスタグループ、癌の主要部領域の再発ありのクラスタグループ、癌の主要部領域の再発なしのクラスタグループ、間質の成熟領域の再発ありのクラスタグループ、間質の成熟領域の再発なしのクラスタグループ、間質の未熟領域の再発ありのクラスタグループ、および間質の未熟領域の再発なしのクラスタグループを含む。
【0019】
本発明の再発判定方法は、例えば、前記クラスタリング工程において、クラスタの数が１００～１０００個である。
【0020】
本発明の再発判定方法において、例えば、前記第３モデルは、前記学習データとして、前記複数の癌患者のうち、外科手術後に任意の治療を行った癌患者について、補助治療後の再発の有無に関する再発情報およびクラスタグループの組合わせパターンを用い、学習により生成された、補助治療ありのモデルと、前記学習データとして、前記複数の癌患者のうち、前記任意の補助治療を行っていない癌患者について、補助治療後の再発の有無に関する再発情報およびクラスタグループの組合わせパターンを用い、学習により生成された、補助治療なしのモデルとの第３モデルセットであり、
前記判定工程は、
前記第３モデルとして前記第３モデルセットを用い、
前記補助治療ありのモデルによる再発可能性の判定と、前記補助治療なしのモデルによる再発可能性の判定とを行う。
前記判定工程は、
前記第３モデルとして前記第３モデルセットを用い、
前記補助治療ありのモデルによる再発可能性の判定と、前記補助治療なしのモデルによる再発可能性の判定とを行う。
【0021】
本発明の再発判定方法において、例えば、前記判定工程は、前記補助治療ありのモデルによる再発可能性の判定結果と、前記補助治療なしのモデルによる再発可能性の判定結果とに基づく総合判定を行う。
【0022】
本発明によれば、癌患者について、例えば、治療（具体的には、外科手術後の補助治療）を行った場合における再発の可能性を判定できる。本発明において対象となる癌の種類は、特に制限されず、消化器系癌、呼吸器系癌、生殖器系癌、皮膚癌、神経系癌等の、病理画像を得ることができるあらゆる癌があげられる。前記補助治療の手段は、特に制限されず、例えば、薬物療法（化学療法）、放射線治療、免疫療法、移植等があげられる。
【0023】
本発明において、対象となる癌は、特に制限されないが、再発の判定において、例えば、被検者の癌の種類と前記モデルセットの癌の種類とは一致させることが好ましい。また、本発明によれば、外科手術後に行われる補助治療後の再発の可能性を判定できることから、前記モデルセットは、例えば、想定する補助治療の方法と一致する補助治療に関する学習データを用いて生成されたモデルセットを使用することが好ましい。
【0024】
本発明において、前記第１モデル、前記第２モデルおよび前記第３モデルをあわせてモデルセットともいう。
【0025】
本発明の実施形態について、図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。各実施形態の説明は、特に言及がない限り、互いの説明を援用できる。各実施形態の構成は、特に言及がない限り、組合わせ可能である。
【0026】
［実施形態１］
本発明の癌の再発可能性を判定する判定装置（以下、再発判定装置ともいう）および判定方法（以下、再発判定方法ともいう）の一例について、図を用いて説明する。本発明において、判定は、推定に読み替え可能である。
本発明の癌の再発可能性を判定する判定装置（以下、再発判定装置ともいう）および判定方法（以下、再発判定方法ともいう）の一例について、図を用いて説明する。本発明において、判定は、推定に読み替え可能である。
【0027】
図１は、本実施形態の再発判定装置１の一例の構成を示すブロック図である。再発判定装置１は、画像取得部１１、抽出部１２、生成部１３、クラスタリング部１４、組合わせパターン決定部１５、判定部１６、および出力部１７を含む。再発判定装置１は、例えば、さらにモデルセット１９を含む。再発判定装置１は、例えば、さらに記憶部１８を含み、記憶部１８にモデルセット１９が記憶されている。モデルセット１９は、第１モデル１９１、第２モデル１９２、および第３モデル１９３を含む。再発判定装置１は、例えば、再発判定システムともいう。
【0028】
つぎに、図２に、再発判定装置１のハードウエア構成のブロック図を例示する。再発判定装置１は、例えば、ＣＰＵ（中央処理装置）１０１、メモリ１０２、バス１０３、入力装置１０４、表示部１０５、通信デバイス１０６、記憶装置１０７、撮像装置１０９を有する。再発判定装置１の各部は、それぞれのインターフェース（Ｉ／Ｆ）により、バス１０３を介して、相互に接続されている。
【0029】
ＣＰＵ１０１は、再発判定装置１の全体の制御を担うプロセッサであり、ＣＰＵには限定されず、他のプロセッサでもよい。再発判定装置１において、ＣＰＵ１０１により、例えば、本発明のプログラムやその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。
【0030】
再発判定装置１は、例えば、バス１０３に接続された通信デバイス１０６により、通信回線網に接続でき、前記通信回線網を介して、外部機器とも接続できる。前記外部機器は、特に制限されず、例えば、端末、ＰＣ（パーソナルコンピュータ）、サーバ等があげられる。前記端末は、例えば、スマートフォン、携帯電話、タブレット等があげられる。再発判定装置１と前記外部機器との接続方式は、特に制限されず、例えば、有線による接続でもよいし、無線による接続でもよい。前記有線による接続は、例えば、コードによる接続でもよいし、通信回線網を利用するためのケーブル等による接続でもよい。前記無線による接続は、例えば、通信回線網を利用した接続でもよいし、無線通信を利用した接続でもよい。前記通信回線網は、特に制限されず、例えば、公知の通信回線網を使用でき、例えば、インターネット回線、電話回線、ＬＡＮ（Local Area Network）、ＷｉＦｉ（Wireless Fidelity）等があげられる。
【0031】
メモリ１０２は、例えば、メインメモリを含み、前記メインメモリは、主記憶装置ともいう。ＣＰＵ１０１が処理を行う際には、例えば、後述する補助記憶装置に記憶されている、本発明のプログラム等の種々の動作プログラム１０８をメモリ１０２が読み込み、ＣＰＵ１０１は、メモリ１０２からデータを受け取って、プログラム１０８を実行する。また、例えば、後述する補助記憶装置に記憶されている、本発明におけるモデルセット１９（第１モデル１９１、第２モデル１９２、第３モデル１９３）を、メモリ１０２が読み込み、ＣＰＵ１０１は、メモリ１０２からデータを受け取って、モデルセット１９を用いてプログラム１０８を実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。メモリ１０２は、例えば、さらに、ＲＯＭ（読み出し専用メモリ）を含む。
【0032】
記憶装置１０７は、例えば、前述の記憶部１８を含み、前記メインメモリ（主記憶装置）に対して、いわゆる補助記憶装置ともいう。記憶装置１０７は、例えば、記憶媒体と、前記記憶媒体に読み書きするドライブとを含む。前記記憶媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等があげられ、前記ドライブは、特に制限されない。記憶装置１０７は、例えば、記憶媒体とドライブとが一体化されたハードディスクドライブ（ＨＤＤ）も例示できる。記憶装置１０７には、例えば、前述のように、プログラム１０８、およびモデルセット１９が格納されている。再発判定装置１に入力された様々な情報およびスライド画像、再発判定装置１において得られた情報等は、例えば、記憶装置１０７（記憶部１８）に記憶されてもよい。
【0033】
再発判定装置１は、例えば、さらに、入力装置１０４を有してもよい。入力装置１０４は、例えば、スキャナー、タッチパネル、キーボード等である。再発判定装置１は、例えば、被検者情報、スライド画像等を、入力装置１０４により入力してもよく、また、通信デバイス１０６を介して、入力装置１０４により入力してもよい。
【0034】
再発判定装置１は、例えば、さらに撮像装置１０９を有してもよく、撮像装置１０９により、例えば、癌組織のスライドの撮影を行い、得られたスライド画像を記憶部１８に記憶してもよい。撮像装置１０９は、特にされず、例えば、ＣＣＤカメラ等のカメラである。
【0035】
再発判定装置１は、例えば、表示部１０５を有してもよい。表示部１０５は、例えば、ディスプレイであり、具体例として、ＬＥＤディスプレイ、液晶ディスプレイ等があげられる。再発判定装置１は、例えば、得られた判定結果を、出力部１７を介して表示部１０５に表示させてもよいし、出力部１６から通信デバイス１０６を介して、外部の端末等に出力してもよい。
【0036】
再発判定装置１について、さらに詳細に説明する。
【0037】
再発判定装置１において、画像取得部１１は、被検者の癌組織のスライド画像を取得する。前記被検者は、例えば、癌患者であり、前記スライド画像は、例えば、前記癌患者の外科手術により切除された癌組織を撮像することで取得できる。
【0038】
前記スライド画像の種類は、特に制限されず、例えば、免疫染色等の染色処理を行った癌組織切片の画像である。前記スライド画像１枚に写っている前記切片の実寸は、例えば、縦２０～４０ｍｍ×横２０～４０ｍｍである。
【0039】
前記被検者のスライド画像は、例えば、前記被検者の情報と紐づけて、記憶部１８に記憶させてもよい。前記被検者の情報は、例えば、氏名等の識別情報、癌の種類およびステージ等を含む癌の罹患情報、治療情報等があげられる。
【0040】
抽出部１２は、前記スライド画像から複数の部分画像を抽出する。前記部分画像の抽出は、例えば、前記部分画像の切り出しともいう。前記スライド１枚から得られる部分画像の個数は、特に制限されず、例えば、１０００～４０，０００個である。前記スライド画像から部分画像を抽出する方法は、特に制限されず、例えば、以下のように行うことができる。すなわち、再発判定装置１において、表示部１０５に前記スライド画像を表示する。そして、作業者が、表示部１０５の前記スライド画像から部分領域を選択し、その選択内容を入力装置１０４を介して入力することにより、前記部分画像の抽出を行うことができる。前記部分領域の選択は、例えば、表示部１０５上で、表示された前記スライド画像について、ポインターによる領域指定、座標指定等を行うことで選択できる。
【0041】
また、再発判定装置１において、抽出部１２は、例えば、自動的に部分画像を抽出してもよい。自動的な部分画像の抽出は、例えば、以下のように行うことができる。すなわち、例えば、前記スライド画像を撮影した際の顕微鏡倍率を元に、仮想的な倍率（例えば、５ｘ、１０ｘ、２０ｘ、４０ｘ）を指定する。具体例として、例えば、倍率４０ｘで撮影した前記スライド画像の画像ファイルに対して、１画素おきに画素を取得すると、仮想的な倍率２０ｘで撮影した画像を取得できることになる。そして、部分画像のサイズ（例えば、１辺が１２８、２５６、５１２ピクセルの正方形）を指定して、前記スライド画像からタイル状に前記部分画像を切り出す。前記部分画像に組織が写っているかについての判定は、例えば、前記部分画像の各画素値に対して、彩度が所定の閾値以上の画素を取り出し、それが１枚の部分画像の全画素数に対して、どの程度の割合で存在しているのか（例えば、３０％以上）によって、組織が写っている部分画像か否かが判定できる。
【0042】
生成部１３は、第１モデル１９１により、前記部分画像ごと、癌細胞領域および間質領域のいずれの種類に該当するかの判定ならびに特徴ベクトルの生成を行う。第１モデル１９１によれば、前記部分画像を前記モデルに供することで、前記部分画像に写っている対象の種類（すなわち、癌細胞領域であるか間質領域であるか等の種類）が推定され、且つ前記部分画像の特徴ベクトルを生成できる。
【0043】
クラスタリング部１４は、第２モデル１９２により、前記部分画像ごと、前記種類と前記特徴ベクトルとに基づいて、該当するクラスタにクラスタリングする。第２モデル１９２によれば、前記部分画像の種類とその特徴ベクトルとを前記モデルに供することで、複数のクラスタのうち、いずれのクラスタに該当するかが決定できる。
【0044】
組合わせパターン決定部１５は、前記種類と再発の有無との組み合わせによりクラスタをグルーピングした複数のクラスタグループに対して、前記スライド画像から抽出した複数の部分画像の各クラスタが、どのような組み合わせで該当するのかを示すクラスタグループの組合わせパターンを決定する。後述のように、クラスタリングにより分類される複数のクラスタは、それぞれ、前記種類と再発の有無の再発情報との組み合わせにより、さらに、複数のグループ（クラスタグループ）に分類できる。このため、前記被検者のスライド画像由来の複数の部分画像の各クラスタから、それらがどのような組み合わせで前記クラスタグループに該当するのかを、クラスタグループの組合わせパターンとして決定できる。
【0045】
判定部１６は、第３モデル１９３により、前記スライド画像の前記クラスタグループの組合わせパターンに基づいて、前記スライド画像の癌組織の再発可能性を判定する。第３モデル１９３によれば、前記被検者のスライド画像の前記組合わせパターンから、前記被検者が再発の可能性があるのか、再発の可能性がないのかを判定することができる。
【0046】
出力部１７は、前記被検者のスライド画像の癌組織の再発可能性の判定結果を出力する。
【0047】
本発明の再発判定方法は、例えば、前述のように、画像取得工程、抽出工程、生成工程、クラスタリング工程、組合わせパターン決定工程、分類工程、判定工程、および出力工程を含み、これらの工程をコンピュータが実行する。本発明の再発判定方法は、例えば、本発明の再発判定装置を使用することにより実行できる。本発明の再発判定判定方法は、例えば、特に示さない限り、本発明の再発判定装置の記載を援用できる。
【0048】
前記画像取得工程は、被検者の癌組織のスライド画像を取得し、この工程は、例えば、再発判定装置１の画像取得部１１により実行できる。
【0049】
前記抽出工程は、前記スライド画像を複数の部分画像に抽出し、この工程は、例えば、再発判定装置１の抽出部１２により実行できる。
【0050】
前記生成工程は、第１モデルにより、前記部分画像ごと、癌細胞領域および間質領域のいずれの種類に該当するかの判定ならびに特徴ベクトルの生成を行う。この工程は、例えば、第１モデル１９１を用いて、再発判定装置１の生成部１３により実行できる。
【0051】
前記クラスタリング工程は、第２モデルにより、前記部分画像ごと、前記種類と前記特徴ベクトルとに基づいて、該当するクラスタにクラスタリングする。この工程は、例えば、第２モデル１９２を用いて、再発判定装置のクラスタリング部１４により実行できる。
【0052】
前記組合わせパターン決定工程は、前記種類と再発の有無との組み合わせによりクラスタをグルーピングした複数のクラスタグループに対して、前記スライド画像から抽出した複数の部分画像の各クラスタが、どのような組み合わせで該当するのかを示すクラスタグループの組合わせパターンを決定する。この工程は、例えば、再発判定装置１の組合わせパターン決定部１５により実行できる。
【0053】
前記判定工程は、第３モデルにより、前記スライド画像の前記クラスタグループの組合わせパターンに基づいて、前記スライド画像の癌組織の再発可能性を判定する。この工程は、例えば、第３モデル１９３を用いて、再発判定装置１の判定部１６により実行できる。
【0054】
前記出力工程は、前記スライド画像の癌組織の再発可能性の判定結果を出力し、この工程は、例えば、再発判定装置１の出力部１７により実行できる。
【0055】
［実施形態２］
本発明の再発判定装置および再発判定方法における前記モデルセットは、本発明のモデルセットである。本発明のモデルセットは、前記実施形態１をはじめとるする他の実施形態における記載を援用できる。以下、本発明のモデルセットについて、例をあげて説明するが、本発明は、この例には制限されない。
本発明の再発判定装置および再発判定方法における前記モデルセットは、本発明のモデルセットである。本発明のモデルセットは、前記実施形態１をはじめとるする他の実施形態における記載を援用できる。以下、本発明のモデルセットについて、例をあげて説明するが、本発明は、この例には制限されない。
【0056】
本発明のモデルセットは、前記本発明の再発判定装置用のモデルセットまたは前記本発明の再発判定方法用のモデルセットであり、前記第１モデル、前記第２モデル、および前記第３を含む。各モデルは、学習モデルであり、その形態は、特に制限されず、例えば、サポートベクタマシンである。
【0057】
前記第１モデルは、
学習データとして、複数の癌患者の癌組織の学習用スライド画像から抽出された部分画像、ならびに前記部分画像が癌細胞領域および間質領域のいずれの種類に該当するかの種類情報を用い、学習により生成された、癌細胞領域および間質領域のいずれの種類に該当するかの判定ならびに特徴ベクトルの生成を行うモデルであり、
前記第２モデルは、
学習データとして、前記部分画像の種類情報および前記部分画像の特徴ベクトルを用い、学習により生成された、癌細胞領域の複数のクラスタおよび間質領域の複数のクラスタへの分類を行うクラスタリングモデルであり、
前記第３モデルは、
学習データとして、前記複数の癌患者について、外科手術後の補助治療後の再発の有無に関する再発情報およびクラスタグループの組合わせパターンを用い、学習により生成された、再発可能性の有無を判定するモデルであり、
前記癌患者のクラスタグループの組合わせパターンは、
前記第２モデルにより得られるクラスタごと、それに含まれる前記部分画像について、外科手術後の補助治療後に再発した癌患者由来の部分画像と外科手術後の補助治療後に再発していない癌患者由来の部分画像とをカウントし、再発ありのカウント数が有意に大きい場合は、そのクラスタを再発ありのクラスタとし、再発なしのカウント数が有意に大きい場合は、そのクラスタを再発なしのクラスタとし、
前記複数の癌患者の学習用スライド画像ごと、それに含まれる前記複数の部分画像の各クラスタが、前記癌細胞領域の再発ありのクラスタグループ、前記癌細胞領域の再発なしのクラスタグループ、前記間質領域の再発ありのクラスタグループ、および前記間質領域の再発なしのクラスタグループにどのような組み合わせで該当するかを示すパターンとして決定される。
学習データとして、複数の癌患者の癌組織の学習用スライド画像から抽出された部分画像、ならびに前記部分画像が癌細胞領域および間質領域のいずれの種類に該当するかの種類情報を用い、学習により生成された、癌細胞領域および間質領域のいずれの種類に該当するかの判定ならびに特徴ベクトルの生成を行うモデルであり、
前記第２モデルは、
学習データとして、前記部分画像の種類情報および前記部分画像の特徴ベクトルを用い、学習により生成された、癌細胞領域の複数のクラスタおよび間質領域の複数のクラスタへの分類を行うクラスタリングモデルであり、
前記第３モデルは、
学習データとして、前記複数の癌患者について、外科手術後の補助治療後の再発の有無に関する再発情報およびクラスタグループの組合わせパターンを用い、学習により生成された、再発可能性の有無を判定するモデルであり、
前記癌患者のクラスタグループの組合わせパターンは、
前記第２モデルにより得られるクラスタごと、それに含まれる前記部分画像について、外科手術後の補助治療後に再発した癌患者由来の部分画像と外科手術後の補助治療後に再発していない癌患者由来の部分画像とをカウントし、再発ありのカウント数が有意に大きい場合は、そのクラスタを再発ありのクラスタとし、再発なしのカウント数が有意に大きい場合は、そのクラスタを再発なしのクラスタとし、
前記複数の癌患者の学習用スライド画像ごと、それに含まれる前記複数の部分画像の各クラスタが、前記癌細胞領域の再発ありのクラスタグループ、前記癌細胞領域の再発なしのクラスタグループ、前記間質領域の再発ありのクラスタグループ、および前記間質領域の再発なしのクラスタグループにどのような組み合わせで該当するかを示すパターンとして決定される。
【0058】
本発明のモデルセットの生成の一例として、前記実施形態１における、第１モデル１９１、第２モデル１９２、および第３モデル１９３を含むモデルセット１９をあげて説明する。
【0059】
前記モデルセットは、例えば、癌の種類（癌が生じている組織の種類）を区別せずに生成してもよいが、より信頼性の高い判断につながることから、癌の種類（例えば、大腸癌、膵臓癌、肺癌等の種類ごと）に応じて、生成することが好ましい。なお、以下の例示においては、対象となる癌を「特定の癌Ｘ」と仮定して説明するが、本発明は、この例示には何ら制限されない。
【0060】
モデルセット１９の生成には、外科手術後に補助治療が行われ、その結果として再発の有無が臨床的に診断されている癌患者の情報が使用される。前記情報は、例えば、外科手術で切除された癌組織のスライド画像；癌の種類およびステージ等の罹患情報；補助治療の有無、補助治療の内容および補助治療後の経過情報；患者を特定するＩＤ等の識別情報等を含み、これらが互いに紐づけられている。モデルセット１９の説明における前記癌患者は、再発可能性を判定する被検者と区別する点から、学習用癌患者という。また、本発明においては、補助治療によって癌が再発していない対象者についても、便宜上、癌への罹患履歴の点から癌患者という。
【0061】
第１モデル１９１は、前述のように、癌細胞領域および間質領域のいずれの種類に該当するかの判定ならびに特徴ベクトルを生成するモデルである。第１モデル１９１は、例えば、以下のように生成できる。
【0062】
まず、学習用スライド画像として、癌Ｘの外科手術後に補助治療が行われ、その結果として再発の有無が臨床的に診断されている癌患者の、補助治療前における癌組織のスライド画像を使用する。前記スライド画像の数は、特に制限されないが、より信頼性に優れたモデルを生成する点から、例えば、学習用癌患者の人数として、例えば、４００以上が好ましい。
【0063】
前記スライド画像の種類は、特に制限されず、例えば、免疫染色等の染色処理を行った癌組織切片の画像である。前記スライド画像１枚に写っている前記切片の実寸は、例えば、縦２０～４０ｍｍ×横２０～４０ｍｍである。
【0064】
つぎに、前記スライド画像から複数の部分画像を抽出する。前記部分画像の抽出は、例えば、前記部分画像の切り出しともいう。前記スライド１枚から得られる部分画像の個数は、特に制限されず、例えば、１０００～４０，０００個である。前記スライド画像から部分画像を抽出する方法は、特に制限されず、例えば、病理学に基づいて、前記スライド画像において、癌細胞領域が写っている部分および間質領域が写っている部分を選択し、抽出することができる。前記スライド画像から抽出される部分画像は、例えば、ＲＯＩ（Region of interest）画像ともいう。前記部分画像は、例えば、タグ付け（アノテーション）し、学習に使用する。
【0065】
そして、学習データとして、前記部分画像と、前記部分画像の種類情報（すなわち、癌細胞領域であるか間質領域であるかの情報）とを用い、学習を行うことによって、第１モデル１９を生成できる。第１モデル１９によれば、例えば、癌細胞領域および間質領域のいずれであるかが不明な部分画像であっても、その種類を判定でき、また、その部分画像の特徴ベクトルの生成を行うことができる。
【0066】
前記種類情報は、例えば、癌細胞領域であるか間質領域であるかの２種類には限定されず、前記癌細胞領域は、例えば、２～２０種類、前記間質領域は、例えば、２～１０種類に、さらに分類されてもよい。具体例として、前記癌細胞領域は、例えば、浸潤部（先進部ともいう）領域および主要部領域の２種類、間質領域は、例えば、成熟領域および未熟領域の２種類に分類してもよい。
【0067】
第２モデル１９２は、前述のように、癌細胞領域の複数のクラスタおよび間質領域の複数のクラスタへの分類を行うクラスタリングモデルである。第２モデル１９２は、例えば、以下のように生成できる。
【0068】
学習データとして、第１モデル１９１の生成にも使用した、前記部分画像の種類情報と、それに紐づけた前記部分画像の特徴ベクトルとを用い、学習を行うことによって、第２モデル１９２を生成できる。第２モデル１９２によれば、後述するように、被検者のスライド画像から抽出された複数の部分画像を、それぞれ、該当するクラスタに分類できる。
【0069】
前記学習においては、例えば、分類されるクラスタの数を任意に設定することができる。具体例として、例えば、大まかな分類とする場合には、クラスタの数を１０～５０個程度とし、中程度の分類とする場合には、クラスタの数を５０～１００個程度とし、詳細な分類とする場合には、クラスタの数を１００～１０００個程度としてもよい。
【0070】
第３モデル１９３は、前述のように、再発可能性の有無を判定するモデルである。第３モデル１９３は、例えば、以下のように生成できる。
【0071】
まず、前記学習用癌患者の学習用スライド画像から抽出した各部分画像について、第２モデル１９２により、クラスタリングを行う。そして、前記学習用癌患者は再発の有無がわかっていることから、クラスタごと、それに含まれる前記部分画像について、補助治療後に再発した学習用癌患者由来の部分画像と補助治療後に再発していない学習用癌患者由来の部分画像とをカウントする。これによって、各クラスタについて、再発あり学習用癌患者由来の部分画像のカウント数と、再発ありの学習用癌患者由来の部分画像のカウント数とが得られる。そして、各クラスタについて、再発ありのカウント数と再発なしのカウント数とを比較して、例えば、再発ありのカウント数が他方に対して有意に大きい場合は、そのクラスタを再発ありのクラスタとし、再発なしのカウント数が他方に対して有意に大きい場合は、そのクラスタを再発なしのクラスタとする。前記有意の程度は、特に制限されず、任意に設定でき、例えば、個数の差（例えば、５０個以上大きい等）として設定してもよいし、他方に対する比率（例えば、１．５倍以上大きい等）として設定してもよい。また、両者の間に有意差を示さないクラスタは、例えば、除外してもよい。
【0072】
つぎに、前記複数の学習用癌患者の学習用スライド画像ごと、クラスタグループの組合わせパターンを決定する。
【0073】
ここで、一例として、前記種類情報が、例えば、癌細胞の浸潤部領域、癌細胞の主要部領域、間質の成熟領域、および間質の未熟領域の４種類である場合を例にあげて説明する。前記種類情報と再発の有無との組み合わせにより、クラスタリングによって分類される複数のクラスタは、それぞれ、下記表１に示すように８種類のグループに分類される。そして、前記学習用癌患者Ａの学習用スライド画像からの複数の部分画像が、クラスタＮｏ．１、１５、１９、２７であったとする。この場合、前記学習用スライド画像のクラスタグループの組合わせパターンは、グループ１／グループ４／グループ５／グループ７の組合わせパターンとなる。
【0074】
【表1】
【0075】
このような組み合わせパターンを、前記複数の学習用癌患者のスライド画像のそれぞれについて決定する。そして、複数の学習用癌患者に関する、前記組合わせパターンとそれに紐づけた前記再発情報（再発の有無に関する情報）とを学習データとし、学習を行うことにより、第３モデル１９３を生成できる。第３モデル１９３によれば、後述するように、被検者のスライド画像のクラスタグループの組合わせパターンから、再発の可能性を判定することが可能となる。
【0076】
前記実施形態１で例示したように、組み合わせパターン決定部１５を用いた組み合わせパターン工程においては、前記被検者のスライド画像について、クラスタグループの組合わせパターンが決定される。この場合も、前記表１を例にとると、被検者のスライド画像由来の複数の部分画像のクラスタが、クラスタＮｏ．１、１５、１９、２７であったならば、前記スライド画像のクラスタグループの組合わせパターンは、グループ１／グループ４／グループ５／グループ７の組合わせパターンと決定できる。
【0077】
（変形例１）
前記第３モデルは、例えば、前述のように、任意の補助治療のありなしにかかわらず、全学習用患者由来の学習データを用いて生成した第３モデル（３Ｍ）でもよいし、本変形例のように、前記学習用患者由来の学習データを２種類にわけて学習に用いて生成した２つの第３モデルのセットでもよい。すなわち、任意の補助治療を行った学習用患者由来の学習データを用いて生成した、補助治療あり第３モデル（３Ｍ（＋））と、任意の補助治療を行っていない学習用患者由来の学習データを用いて生成した、補助治療なし第３モデル（３Ｍ（－））とのセットでもよい。本発明の再発判定装置または再発判定方法において、このような２種類の第３モデルを含む第３モデルセットを使用することで、例えば、任意の補助治療を行った場合の再発の有無、任意の補助治療を行っていない場合の再発の有無を判定できる。これにより、例えば、再発の点から、被検者にとって任意の補助治療が適しているか否かの判断が可能になる。前記任意の補助治療は、特に制限されず、前述のような治療の中から任意に選択できる。
前記第３モデルは、例えば、前述のように、任意の補助治療のありなしにかかわらず、全学習用患者由来の学習データを用いて生成した第３モデル（３Ｍ）でもよいし、本変形例のように、前記学習用患者由来の学習データを２種類にわけて学習に用いて生成した２つの第３モデルのセットでもよい。すなわち、任意の補助治療を行った学習用患者由来の学習データを用いて生成した、補助治療あり第３モデル（３Ｍ（＋））と、任意の補助治療を行っていない学習用患者由来の学習データを用いて生成した、補助治療なし第３モデル（３Ｍ（－））とのセットでもよい。本発明の再発判定装置または再発判定方法において、このような２種類の第３モデルを含む第３モデルセットを使用することで、例えば、任意の補助治療を行った場合の再発の有無、任意の補助治療を行っていない場合の再発の有無を判定できる。これにより、例えば、再発の点から、被検者にとって任意の補助治療が適しているか否かの判断が可能になる。前記任意の補助治療は、特に制限されず、前述のような治療の中から任意に選択できる。
【0078】
本変形例においては、任意の補助治療として化学療法を例にあげるが、これには制限されない。すなわち、癌治療においては、患者によって、補助治療の方法として化学療法を採用するか行うか否かで、再発の有無が異なる可能性が考えられる。このため、本変形例で生成した２種類の第３モデル、すなわち化学療法ありの第３モデル（３Ｍ（＋））と、化学療法なしの第３モデル（３Ｍ（－））とを、本発明の再発判定装置または再発判定方法に使用すれば、下記表２に示すように、各第３モデルにより、それぞれから、再発（Ｒｅ）あり（＋）／再発なし（－）の２つの判定結果を得ることができる。そして、この２つの判定結果から、さらに総合的な判定結果を得ることができる。このため、本変形例を利用することで、さらに、再発の可能性を考慮した被検者の補助治療の要否とその方法の選択とが可能である。
【0079】
【表2】
【0080】
（変形例２）
本変形例２は、例えば、変形例１の第３モデルセット（３Ｍ（＋）、３Ｍ（－））と、さらに、前述の全学習用患者由来の学習データを用いて生成した第３モデル（３Ｍ）とを、併用してもよい。この場合、治療ありの第３モデル（３Ｍ（＋））、治療なしの第３モデル（３Ｍ（－））、全データの第３モデル（３Ｍ）により、それぞれから、再発（Ｒｅ）あり（＋）／再発なし（－）の３つの判定結果を得ることができる。そして、この３つの判定結果から、さらに総合的な判定結果を得ることができる。このため、本変形例を利用することで、さらに、再発の可能性を考慮した被検者の補助治療の選択が可能である。
本変形例２は、例えば、変形例１の第３モデルセット（３Ｍ（＋）、３Ｍ（－））と、さらに、前述の全学習用患者由来の学習データを用いて生成した第３モデル（３Ｍ）とを、併用してもよい。この場合、治療ありの第３モデル（３Ｍ（＋））、治療なしの第３モデル（３Ｍ（－））、全データの第３モデル（３Ｍ）により、それぞれから、再発（Ｒｅ）あり（＋）／再発なし（－）の３つの判定結果を得ることができる。そして、この３つの判定結果から、さらに総合的な判定結果を得ることができる。このため、本変形例を利用することで、さらに、再発の可能性を考慮した被検者の補助治療の選択が可能である。
【0081】
この場合、前記変形例１における各第３モデルセット（３Ｍ（＋）、３Ｍ（－））の結果と、全体データの第３モデル（３Ｍ）の結果とから、例えば、下記表３に示すような総合的な判断結果とすることができる。
【0082】
【表3】
【0083】
（変形例３）
前記表１に例示したように、前記学習用スライド画像に由来する部分画像の種類と再発有無との組み合わせにより、複数のクラスタは、複数のクラスタグループに分類される。この際、クラスタグループは、それぞれ、該当する全クラスタが構成クラスタとして採用されてもよいし、ランキング上位のクラスタのみが構成クラスタとして採用されてもよい。クラスタのランキングとは、例えば、カウント数の有意差が大きい順のランキングがあげられる。すなわち、再発ありのクラスタの場合、再発なしのカウント数に対して再発ありのカウント数が有意に大きいことが前提であるが、そのカウント数の大きさが大きいものから順に、ランクを付けることができる。そして、再発なしのカウント数よりも相対的に大きなカウント数を示したクラスタのみを、再発ありのクラスタグループを構成するクラスタとして選択することもできる。また、再発なしのクラスタグループに関しても、同様である。
前記表１に例示したように、前記学習用スライド画像に由来する部分画像の種類と再発有無との組み合わせにより、複数のクラスタは、複数のクラスタグループに分類される。この際、クラスタグループは、それぞれ、該当する全クラスタが構成クラスタとして採用されてもよいし、ランキング上位のクラスタのみが構成クラスタとして採用されてもよい。クラスタのランキングとは、例えば、カウント数の有意差が大きい順のランキングがあげられる。すなわち、再発ありのクラスタの場合、再発なしのカウント数に対して再発ありのカウント数が有意に大きいことが前提であるが、そのカウント数の大きさが大きいものから順に、ランクを付けることができる。そして、再発なしのカウント数よりも相対的に大きなカウント数を示したクラスタのみを、再発ありのクラスタグループを構成するクラスタとして選択することもできる。また、再発なしのクラスタグループに関しても、同様である。
【0084】
［実施形態３］
本発明のプログラムは、前記本発明の再発判定方法を、コンピュータ上で実行可能なプログラムである。本発明のプログラムは、コンピュータのプロセッサにより前記本発明の再発判定方法を実効させることができる。または、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、前述のような記憶媒体等があげられる。
本発明のプログラムは、前記本発明の再発判定方法を、コンピュータ上で実行可能なプログラムである。本発明のプログラムは、コンピュータのプロセッサにより前記本発明の再発判定方法を実効させることができる。または、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、前述のような記憶媒体等があげられる。
【実施例0085】
［実施例１］
大腸癌患者の外科手術により切除した大腸癌組織のスライド画像を用いて、以下の条件により、本発明のモデルセットを生成した。
大腸癌患者の外科手術により切除した大腸癌組織のスライド画像を用いて、以下の条件により、本発明のモデルセットを生成した。
【0086】
患者の全人数：４００人
うち再発した患者の人数：１４０人
うち再発していない患者の人数：２６０人
部分画像の種類ごとのクラスタの数：１０００個
クラスタグループの構成クラスタ：ランキングのトップから２０％に該当するクラスタ
学習モデル（ＳＶＭ）のカーネル：ｒｂｆ
うち再発した患者の人数：１４０人
うち再発していない患者の人数：２６０人
部分画像の種類ごとのクラスタの数：１０００個
クラスタグループの構成クラスタ：ランキングのトップから２０％に該当するクラスタ
学習モデル（ＳＶＭ）のカーネル：ｒｂｆ
【0087】
比較例のモデルセットおよび実施例のモデルセットは、学習データとして、それぞれ、癌患者のスライド画像から得られる以下の部分画像を用いて生成した。
比較例１Ａ：癌の浸潤部領域の部分画像
比較例１Ｂ：癌の主要部領域の部分画像
比較例１Ｃ：癌の浸潤部領域の部分画像および主要部領域の部分画像
比較例２Ａ：間質の成熟領域の部分画像
比較例２Ｂ：間質の未熟領域の部分画像
比較例２Ｃ：間質の成熟領域の部分画像および間質の未熟領域の部分画像
実施例１：癌の浸潤部領域の部分画像、癌の主要部領域の部分画像、間質の成熟領域の部分画像
比較例１Ａ：癌の浸潤部領域の部分画像
比較例１Ｂ：癌の主要部領域の部分画像
比較例１Ｃ：癌の浸潤部領域の部分画像および主要部領域の部分画像
比較例２Ａ：間質の成熟領域の部分画像
比較例２Ｂ：間質の未熟領域の部分画像
比較例２Ｃ：間質の成熟領域の部分画像および間質の未熟領域の部分画像
実施例１：癌の浸潤部領域の部分画像、癌の主要部領域の部分画像、間質の成熟領域の部分画像
【0088】
生成した各モデルセットを用いて、コンピュータにより、学習データに使用した患者のスライド画像について再評価を行い、再発あり／再発なしの正解率を求めた。また、同じ各モデルセットを用いて、補助治療後の再発の有無が診断されている新たな被検者の補助治療前のスライド画像ついて評価を行い、再発あり／再発なしの正解率を求めた。正解率（Ａｃｃｕｒａｃｙ）は、１に近い程、精度が高いことを意味する。これらの結果を下記表４に示す。
【0089】
下記表４に示すように、実施例によれば、学習データが高い正解率を示し、さらに、被検者についても、同様に高い正解率を示した。
【0090】
【表4】
【0091】
以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
【産業上の利用可能性】
【0092】
以上のように、本発明によれば、例えば、外科手術後に補助治療を施し、その後の再発の有無が診断されている癌患者のスライド画像に由来する癌細胞領域の部分画像と間質領域の部分画像とを用いた学習により生成されたモデルを使用することで、被検者の補助治療後の再発の可能性をより容易に判断することができる。このため、本発明によれば、外科手術後の癌患者の再発の可能性を考慮した上で、外科手術後におけるさらなる補助治療の要否や補助治療の選択を行うことが可能となる。
【図1】
【図2】