特許 7174371 データセット生成システム及びデータセット生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-09

(45)【発行日】2022-11-17

(54)【発明の名称】データセット生成システム及びデータセット生成方法

(51)【国際特許分類】

   G01N 33/48 20060101AFI20221110BHJP

   G06T 1/00 20060101ALI20221110BHJP

   G01N 33/483 20060101ALI20221110BHJP

   G01N 33/53 20060101ALI20221110BHJP

【ＦＩ】

G01N33/48 P

G06T1/00 290Z

G01N33/483 C

G01N33/53 Y

【請求項の数】 6

(21)【出願番号】P 2019153239

(22)【出願日】2019-08-23

(65)【公開番号】P2021032705

(43)【公開日】2021-03-01

【審査請求日】2020-07-08

(73)【特許権者】

【識別番号】304021831

【氏名又は名称】国立大学法人千葉大学

(73)【特許権者】

【識別番号】301063496

【氏名又は名称】東芝デジタルソリューションズ株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】佐藤 有

(72)【発明者】

【氏名】水谷 博之

(72)【発明者】

【氏名】古藤 晋一郎

(72)【発明者】

【氏名】林 秀樹

(72)【発明者】

【氏名】松嶋 惇

(72)【発明者】

【氏名】大西 峻

【審査官】白形 優依

(56)【参考文献】

【文献】特表２０１５－５２２８５３（ＪＰ，Ａ）

【文献】特開２０１２－１２２８５２（ＪＰ，Ａ）

【文献】特開２０１４－２２８７５５（ＪＰ，Ａ）

【文献】特表２０１６－５１７５１５（ＪＰ，Ａ）

【文献】特開２０１５－１７２５５８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０３３８０１６（ＵＳ，Ａ１）

【文献】特開２０１２－２４２２９７（ＪＰ，Ａ）

【文献】特表２０１７－５１６９９２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ３３／４８ － ３３／９８

Ｇ０６Ｔ １／００ － １／６０

(57)【特許請求の範囲】

【請求項1】

生体組織の画像の画像データを説明変数とし病変を示す情報を目的変数とする機械学習モデルを学習するためのデータセットを生成するデータセット生成システムであって、
生体組織を第１の染色方法によって染色する第１染色部と、
前記第１の染色方法によって染色された前記生体組織を脱色する脱色部と、
前記脱色部による脱色後の前記生体組織を構成する生体組織のうち生体組織の状態に関する所定の条件を満たす生体組織について、前記条件を満たさない他の生体組織と異なる色に染色する方法である第２の染色方法によって、前記条件を満たす生体組織を染色する第２染色部と、
前記第１染色部による染色後の前記生体組織と、前記第２染色部による染色後の前記生体組織とを撮影する撮像部と、
前記第１染色部による染色後の前記生体組織の画像である第１画像の画像データである第１画像データと、前記第２染色部による染色後の前記生体組織の画像である第２画像の画像データである第２画像データとを対応付けて記憶部に記録する管理部と、
前記第２画像データに基づいて、前記第１画像に写る生体組織の配置及び形状と略同一の配置及び形状の画像の画像データであって、前記条件を満たす生体組織を他の生体組織と異なる色相、明度又は彩度の色で示す画像の画像データである第３画像データを生成する画像処理部と、
を備え、
前記生体組織は前記第１の染色方法による染色の前から予め、前記生体組織を固定する固定部材に、前記生体組織の位置のズレを所定の範囲内に抑える強度で固定されており、
前記画像処理部は、前記第１画像データと前記第２画像データとの類似の度合が最も高くなるように前記第２画像に対するアフィン変換を実行することで前記第３画像データを生成し、
前記管理部は、前記第１画像データと前記第３画像データとを対応付けて前記記憶部に記録し、
前記記憶部に記録された前記第１画像データは前記データセットの入力側の学習データであり、前記記憶部に記録された前記第３画像データは前記データセットの教師データである、
データセット生成システム。

【請求項2】

前記画像処理部は、前記アフィン変換の実行後の前記第２画像データが示す画像からノイズを除去する処理を実行する、
請求項１に記載のデータセット生成システム。

【請求項3】

前記画像処理部は、前記第２画像データが示す画像中のノイズを除去する処理を実行する、
請求項１に記載のデータセット生成システム。

【請求項4】

前記第１の染色方法は、ＨＥ（ヘマトキシリン・エオジン）染色である、
請求項１から３のいずれか一項に記載のデータセット生成システム。

【請求項5】

前記第２の染色方法は、免疫染色である、
請求項１から４のいずれか一項に記載のデータセット生成システム。

【請求項6】

生体組織の画像の画像データを説明変数とし病変を示す情報を目的変数とする機械学習モデルを学習するためのデータセットを生成するデータセット生成方法であって、
生体組織を第１の染色方法によって染色する第１染色ステップと、
前記第１の染色方法によって染色された前記生体組織を脱色する脱色ステップと、
前記脱色ステップによる脱色後の前記生体組織を構成する生体組織のうち生体組織の状態に関する所定の条件を満たす生体組織について、前記条件を満たさない他の生体組織と異なる色に染色する方法である第２の染色方法によって、前記条件を満たす生体組織を染色する第２染色ステップと、
前記第１染色ステップによる染色後の前記生体組織と、前記第２染色ステップによる染色後の前記生体組織とを撮影する撮像ステップと、
前記第１染色ステップによる染色後の前記生体組織の画像である第１画像の画像データである第１画像データと、前記第２染色ステップによる染色後の前記生体組織の画像である第２画像の画像データである第２画像データとを対応付けて記憶部に記録する管理ステップと、
前記第２画像データに基づいて、前記第１画像に写る生体組織の配置及び形状と略同一の配置及び形状の画像の画像データであって、前記条件を満たす生体組織を他の生体組織と異なる色相、明度又は彩度の色で示す画像の画像データである第３画像データを生成する画像処理ステップと、
を有し、
前記生体組織は前記第１の染色方法による染色の前から予め、前記生体組織を固定する固定部材に、前記生体組織の位置のズレを所定の範囲内に抑える強度で固定されており、
前記画像処理ステップは、前記第１画像データと前記第２画像データとの類似の度合が最も高くなるように前記第２画像に対するアフィン変換を実行することで前記第３画像データを生成し、
前記管理ステップは、前記第１画像データと前記第３画像データとを対応付けて前記記憶部に記録し、
前記記憶部に記録された前記第１画像データは前記データセットの入力側の学習データであり、前記記憶部に記録された前記第３画像データは前記データセットの教師データである、
データセット生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、データセット生成システム及びデータセット生成方法に関する。

【背景技術】

【0002】

従来、病理診断においては、まず、細胞等の生体組織をＨＥ（ヘマトキシリン・エオジン）染色する。ＨＥ染色は無色透明の生体組織を可視化する技術であり、病変のない生体組織も病変を有する生体組織と同様に染色する。ＨＥ染色後、病理医が生体組織を観察し、各生体組織に病変が生じているか否かを病理医が知識と経験とに基づいて判断する。このように、病理医の知識と経験とに基づいて生体組織中の病変の有無が判断されるため、病変が見過ごされてしまう場合があった。そこで、より精度の高い病理診断が求められていた。

【0003】

現在、より精度の高い病理診断を実現するため、機械学習の方法を用いて病理診断を補助することが提案されている。具体的には、病変組織を示す情報を推定する機械学習モデルをコンピュータに学習させ、学習した機械学習モデルに基づいてコンピュータに病変組織を示す情報を生成させるという方法である。しかしながら、機械学習は機械学習モデルの作成のために、入力側の学習データと教師データとのデータセットを大量に準備する必要がある。提案されている機械学習の方法では、ＨＥ染色された生体組織の画像の画像データを入力側の学習データとし、病理医の判断結果を教師データとして機械学習することが提案されている。しかしながら、このような方法は、１つの教師データの作成のたびに病理医が病変組織の判別をする必要があるため、病理医の負担が大きくなる場合があった。更に、病理医の見間違え、見落とし等に基づく誤った教師データの混入も問題となっている。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１９／００８９３５号

【文献】特開２０１８－１８０７９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする課題は、データセットの作成負担を軽減することができるデータセット生成システム及びデータセット生成方法を提供することである。

【課題を解決するための手段】

【0006】

実施形態のデータセット生成システムは、第１染色部と、脱色部と、第２染色部と、撮像部と、管理部とを持つ。第１染色部は、生体組織を第１の染色方法によって染色する。脱色部は、前記第１の染色方法によって染色された前記生体組織を脱色する。第２染色部は、前記脱色部による脱色後の前記生体組織を構成する生体組織のうち生体組織の状態に関する所定の条件を満たす生体組織について、前記条件を満たさない他の生体組織と異なる色に染色する方法である第２の染色方法によって、前記条件を満たす生体組織を染色する。撮像部は、前記第１染色部による染色後の前記生体組織と、前記第２染色部による染色後の前記生体組織とを撮影する。管理部は、前記第１染色部による染色後の前記生体組織の画像である第１画像の画像データである第１画像データと、前記第２染色部による染色後の前記生体組織の画像である第２画像の画像データである第２画像データとを対応付けて記憶部に記録する。

【図面の簡単な説明】

【0007】

【図1】実施形態のデータセット生成方法の説明図。

【図2】実施形態のデータセット生成システム１００のシステム構成の一例を示す図。

【図3】実施形態における制御部２０１の機能構成の一例を示す図。

【図4】実施形態のデータセット生成システム１００が実行するデータセット生成処理の流れの概要を説明する説明図。

【図5】実施形態のデータセット生成システム１００が実行するデータセット生成処理の流れの一例を示すフローチャート。

【図6】実施形態のデータセット生成システム１００によって生成されたデータセットを用いた機械学習の処理内容の一例を説明する説明図。

【図7】実施形態におけるデータセットを用いた機械学習によって学習された学習済みモデルを用いる装置による免疫染色画像の推定の処理内容を説明する説明図。

【発明を実施するための形態】

【0008】

以下、実施形態のデータセット生成システム及びデータセット生成方法を、図面を参照して説明する。なお、このデータセットは（以下で記載の「学習用データセット」も含め）、機械学習の学習に用いるのが主な目的であるが、データの集合体であるのでその他の用途にも、もちろん用いることができる。

【0009】

図１は、実施形態のデータセット生成方法の説明図である。データセット生成方法は、生体組織の画像の画像データを説明変数とし病変を示す情報を目的変数とする機械学習モデルを学習するためのデータセット（以下「学習用データセット」という。）を生成する方法である。機械学習モデルは、深層学習を含む機械学習における機械学習モデルを意味する。

【0010】

学習用データセットの生成方法においては、検体である生体組織の一部を切り出し、切り出した検体の一部である単一の切片に対してＨＥ（ヘマトキシリン・エオジン）染色を行う。学習用データセットの生成方法においては、ＨＥ染色された切片の画像（以下「ＨＥ染色画像」という。）を撮影し、ＨＥ染色画像の画像データ（以下「ＨＥ染色画像データ」という。）を取得する。学習用データセットの生成方法においては、取得されたＨＥ染色画像データを補助記憶装置等に記録する。

【0011】

学習用データセットの生成方法においては、ＨＥ染色画像を撮影後の切片を脱色し、脱色後の切片に対して免疫染色による再染色を行う。免疫染色によって染色される生体組織は、生体組織の状態に関する所定の条件（以下「状態条件」という。）を満たす生体組織である。状態条件は、例えば、病変を有しているという条件である。より具体的には、状態条件は、例えば、正常組織には発現のみられない蛋白や遺伝子などを発現しているという条件である。この場合、状態条件を満たす生体組織は、癌細胞などである。学習用データセットの生成方法においては、免疫染色された切片の画像（以下「免疫染色画像」という。）を撮影し、免疫染色画像の画像データ（以下「免疫染色画像データ」という。）を取得する。

【0012】

なお、図１は、細胞９０１の内部に免疫染色によって染色されない生体組織があることを示す。細胞９０１の内部の免疫染色によって染色されない生体組織は、たとえば細胞核などである。細胞核は、ＨＥ染色によっては染色される。また、図１は、細胞外の位置が染色される場合があることを示す。図１の位置９０２、９０３及び９０４は、染色された細胞外の位置である。細胞外の位置は、例えば、染色液の非特異的な反応によって染色される。

【0013】

学習用データセットの生成方法においては、取得された免疫染色画像データを、ＨＥ染色画像データに対応付けて補助記憶装置等に記録する。

【0014】

学習用データセットの生成方法においては、免疫染色画像に基づいて被補正免疫染色画像データを生成する画像処理（以下「被補正免疫染色画像データ生成処理」という。）が実行されてもよい。被補正免疫染色画像データは、ＨＥ染色画像に写る生体組織の配置及び形状と略同一の配置及び形状の画像の画像データであって、病変組織を他の生体組織と異なる色相、明度又は彩度の色で示す画像の画像データである。以下、被補正免疫染色画像データ生成処理の手順の一例を示す。

【0015】

まず、位置合わせ処理が実行される。位置合わせ処理では、ＨＥ染色画像が示す生体組織の位置及び形状と免疫染色画像が示す生体組織の位置及び形状とを略同一にするようにアフィン変換が実行される。位置合わせ処理では、例えば、ＨＥ染色画像と免疫染色画像とに基づき、画像の類似の度合（以下「画像類似度」という。）が最も高くなるように免疫染色画像に対するアフィン変換が実行される。画像類似度は、例えば、Ｊａｃｃａｒｄ係数、Ｄｉｃｅ係数、Ｓｉｍｐｓｏｎ係数等の類似度を示す係数によって示される。この場合、免疫染色画像は、Ｊａｃｃａｒｄ係数、Ｄｉｃｅ係数、Ｓｉｍｐｓｏｎ係数等の画像類似度を示す係数が最大になるようにアフィン変換される。免疫染色画像は、例えば、ＨＥ染色画像とアフィン変換後の免疫染色画像との色ヒストグラムの差が最も小さくなるようにアフィン変換されてもよい。免疫染色画像は、例えば、ＨＥ染色画像とアフィン変換後の免疫染色画像との間の所定の特徴点の距離が最も小さくなるようにアフィン変換されてもよい。

【0016】

次に、画像変換処理が実行される。画像変換処理の実行によって、アフィン変換された免疫染色画像が２値化画像に変換される。２値化画像は、アフィン変換された免疫染色画像が２値化された画像である。２値化の方法はどのような方法であってもよい。２値化の方法は、例えば、ＨＳＶ色空間に免疫染色画像を射影した後、所定の色相又は彩度の範囲内にあるピクセルの画素値を１に決定しそれ以外のピクセルの画素値を０に決定する方法であってもよい。２値化の方法は、例えば、免疫染色によって染色された領域の輪郭を表すピクセルの画素値を１にし、輪郭以外の領域を表すピクセルの画素値を０にする方法であってもよい。

【0017】

最後に、ノイズ除去画像処理が実行される。ノイズ除去画像処理は、画像変換処理が実行された免疫染色画像に対して実行される。ノイズ除去画像処理は、画像中のノイズを除去する。画像中のノイズとは、ノイズ条件を満たすピクセルの画素値である。ノイズ条件は、状態条件を満たさない生体組織のうち状態条件を満たす生体組織と同様の色相、明度又は彩度の色で染色された生体組織を表すという条件である。画像中のノイズは、例えば、染色液の残留によって染色された細胞外の位置を表すピクセルの画素値である。画像中のノイズを除去するとは、ノイズ条件を満たすピクセルの画素値をノイズ条件を満たさないピクセルの画素値に変更する処理である。ノイズ除去画像処理は、例えば、モルフォロジー処理であってもよい。モルフォロジー処理は、２値画像に対して実行される。具体的には、モルフォロジー処理では、画素値が０のピクセルに隣接する画素値が１のピクセルの画素値を０に反転する操作が複数回実行される。反転する操作が複数回実行された後、画素値が１のピクセルに隣接する画素値が０のピクセルの画素値が１に反転される。モルフォロジー処理では、反転する操作の実行回数が細胞よりも一回り小さいピクセルの数であれば、細胞よりも小さい孤立したノイズが除去される。

【0018】

ノイズ除去画像処理は、例えば、条件付き確率場の理論に基づく処理であってもよい。ノイズ除去画像処理は、例えば、カーネルでフィルターをかける処理であってもよい。フィルターは平均値を出力するフィルターであってもよいし、中央値を出力するフィルターであってもよい。

【0019】

ノイズ除去画像処理は、例えば以下の処理であってもよい。まず、ＨＥ染色画像に基づいて細胞の輪郭を検出する。次に輪郭の内部の領域が染色されているかどうかを判定し、染色されているか否かに応じて細胞内のピクセルの画素値を１にし、それ以外のピクセルの画素値を０にする。

【0020】

ノイズ除去画像処理は、例えば、ＨＥ染色画像において、ピクセルごと又は所定の領域ごとの画素値又は特徴量に基づき、類似度の高い画素値又は特徴量のピクセルは同じカテゴリに属すると判定する処理であってもよい。

【0021】

位置合わせ処理、画像変換処理及びノイズ除去画像処理の実行後の免疫染色画像が被補正免疫染色画像データである。
なお、被補正免疫染色画像データ生成処理においては、必ずしも、位置合わせ処理、画像変換処理及びノイズ除去画像処理の全ての処理が実行される必要は無い。例えば、被補正免疫染色画像データ生成処理においては、位置合わせ処理のみが実行されてもよい。例えば、被補正免疫染色画像データ生成処理においては、画像変換処理のみが実行されてもよい。例えば、被補正免疫染色画像データ生成処理においては、ノイズ除去画像処理のみが実行されてもよい。例えば、被補正免疫染色画像データ生成処理においては、位置合わせ処理及び画像変換処理のみが実行されてもよい。例えば、被補正免疫染色画像データ生成処理においては、位置合わせ処理及びノイズ除去画像処理のみが実行されてもよい。例えば、被補正免疫染色画像データ生成処理においては、画像変換処理及びノイズ除去画像処理のみが実行されてもよい。
ここまでで被補正免疫染色画像データ生成処理の手順の一例の説明を終了する。

【0022】

学習用データセットの生成方法においては、被補正免疫染色画像データ生成処理が実行された場合、取得された被補正免疫染色画像データをＨＥ染色画像データに対応付けて補助記憶装置等に記録する。

【0023】

学習用データセットの生成方法の使用によって取得されたＨＥ染色画像データと免疫染色画像データ又は被補正免疫染色画像データとのセットが学習用データセットの一例である。特に、ＨＥ染色画像データは、学習用データセットの入力側の学習データである。また、免疫染色画像データ又は被補正免疫染色画像データは、学習用データセットの教師データである。
ここまでで図１の説明を終了する。

【0024】

次に、学習用データセットの生成方法によって学習用データセットを生成するシステムであるデータセット生成システム１００について説明する。
図２は、実施形態のデータセット生成システム１００のシステム構成の一例を示す図である。データセット生成システム１００は、学習用データセットを生成する。以下、データセット生成システム１００が学習用データセットを生成する処理をデータセット生成処理という。データセット生成システム１００は、染色画像データ生成装置１及び画像処理装置２を備える。

【0025】

染色画像データ生成装置１は、バスで接続されたＣＰＵ（Central Processing Unit）等のプロセッサとメモリとを備える制御部１０１を備えプログラムを実行する。染色画像データ生成装置１は、プログラムの実行によって制御部１０１、記憶部１０２、切片作製部１０３、第１染色部１０４、撮像部１０５、脱色部１０６、第２染色部１０７及び通信部１０８を備える装置として機能する。制御部１０１は、染色画像データ生成装置１が備える各機能部の動作を制御する。制御部１０１は、例えば、記憶部１０２に各種情報を記録する。記憶部１０２は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部１０２は、染色画像データ生成装置１の動作に関する各種情報を記憶する。

【0026】

切片作製部１０３は、組織片等の検体から切片を作製する。切片作製部１０３は、例えば、１次処理と２次処理との２回の切片の作製に関する処理を実行することで切片を作製する。１次処理は、検体を固定し、固定された検体が包埋されたブロックを作製する処理である。検体を固定する固定液としては、例えば、ホルマリンが挙げられる。１次処理は、例えば、検体のＦＦＰＥ（ホルマリン固定パラフィン包埋）ブロックを作製する処理である。１次処理は、例えば、凍結した検体を包埋剤に埋め込んで急速冷凍することで検体を包埋する処理であってもよい。２次処理は、１次処理によって作製されたブロックから切片を切り出す処理である。

【0027】

＜ＦＦＰＥブロック作製手順＞
ＦＦＰＥブロックは、例えば、以下の手順で作製される。
検体がホルマリンによって固定される。

【0028】

次に、検体に対してパラフィン置換の処理が実行される。ＦＦＰＥブロック作製の過程で実行されるパラフィン置換の処理は、例えば、以下の手順で実行される。パラフィン置換において、検体は、まずエタノールに漬けられる。エタノールに漬けられた検体は水分がエタノールに置換される。水分がエタノールに置換された検体は、次にキシレンに漬けられる。キシレンに漬けられた検体は、エタノールがキシレンに置換される。エタノールがキシレンに置換された検体は、パラフィンに漬けられる。パラフィンに漬けられた検体は、キシレンがパラフィンに置換される。なお、各置換は、置換される液との混合液を用いて段階的に行われてもよい。ここまででパラフィン置換の処理の説明を終了する。

【0029】

パラフィン置換された検体は冷却される。冷却されることで、パラフィンが固まり、検体は包埋される。このようにしてＦＦＰＥブロックが作製される。ここまででＦＦＰＥブロックの作製の手順の説明を終了する。

【0030】

２次処理は、１次処理によって包埋されたブロックから切片を切り出し、切り出した切片をシランコーティングガラス等の固定部材に載せる処理である。切片作製部１０３が１次処理においてＦＦＰＥブロックを作製する場合、切片作製部１０３は２次処理の実行後に、脱パラフィンの処理を実行し、脱パラフィンの処理の実行後に流水で切片を洗う。脱パラフィンの処理は、パラフィン置換の逆の操作である。

【0031】

なお、２次処理の処理によって固定部材に載せられた切片は、染色画像データ生成装置１によって学習用データセットが生成されるまでは、固定部材から剥離されることは無い。固定部材から剥離されないため、染色画像データ生成装置１によって取得されるＨＥ染色画像に写る生体組織と染色画像データ生成装置１によって取得される免疫染色画像に写る生体組織との画像内の位置及び形状は略同一である。そのため、染色画像データ生成装置１によって生成された学習用データセットを用いた機械学習は、精度のよい機械学習モデルを学習することができる。

【0032】

第１染色部１０４は、固定部材に載せられた切片をＨＥ染色する。第１染色部１０４は、染色後の切片をカバーガラスによって封入する。第１染色部１０４は、切片をＨＥ染色可能であればどのような方法でＨＥ染色してもよい。例えば、第１染色部１０４は、市販の全自動のＨＥ染色装置であってもよい。切片は、例えば、以下の手順でＨＥ染色されてもよい。

【0033】

＜ＨＥ染色の手順＞
まず、切片は蒸留水で水洗いされる。水洗いされた切片は、ヘマトキシリン液に浸される。ヘマトキシリン液に浸された後、切片は流水水洗される。流水水洗されることで切片が色出しされる。なお、切片は、蒸留水で水洗後にアルコールに浸されてもよい。色出しされた切片はエオジン液に浸される。エオジン液に浸された切片は、アルコールで複数回脱水される。脱水後の切片は、キシレンに浸される。キシレンに浸された切片は透徹する。ここまででＨＥ染色の手順の説明を終了する。

【0034】

撮像部１０５は、第１スキャナ５０１及び第２スキャナ５０２を備える。第１スキャナ５０１は、第１染色部１０４によってＨＥ染色された切片を撮影する。第１スキャナ５０１は、例えば、デジタルスライドスキャナである。第１スキャナ５０１が撮影した切片の画像（すなわちＨＥ染色画像）の画像データ（すなわちＨＥ染色画像データ）は、制御部１０１によって記憶部１０２に記録される。第２スキャナ５０２の詳細は後述する。

【0035】

脱色部１０６は、ＨＥ染色された切片を脱色する。脱色部１０６は、ＨＥ染色された切片を脱色可能であればどのような方法で脱色してもよい。切片がカバーガラスによって封入された場合を例に、脱色の手順の一例を示す。

【0036】

＜脱色の手順＞
まず、切片がキシレンに浸される。キシレンに浸されることで封入剤であるマリノールなどが除去される。次に、切片がアルコールに浸される。アルコールに浸されることで、キシレン置換とエオジン脱色との二つの化学反応が起きる。次いで、キシレン置換及びエオジン脱色後の切片が希釈アルコール及び塩酸に浸される。希釈アルコール及び塩酸に浸されることで、ヘマトキシリンが脱色される。そして、ヘマトキシリンが脱色された後の切片が流水水洗される。ここまでで脱色の手順の一例の説明を終了する。

【0037】

第２染色部１０７は、脱色部１０６によって脱色された切片を免疫染色する。第２染色部１０７による免疫染色によって癌細胞が他の生体組織と異なる色に染色される。第２染色部１０７は、染色後の生体組織をカバーガラスによって封入する。第２染色部１０７は、第１染色部１０４以外の方法でなされる染色法で、可能であればどのような方法で染色してもよい。例えば、第２染色部１０７は、市販の全自動の染色装置であってもよい。切片は、例えば、以下の手順で免疫染色されてもよい。

【0038】

＜免疫染色の手順＞
切片は、Ｐｒｏｔｅｉｎａｓｅ Ｋによって酵素処理される。酵素処理された切片は、オキシドールに浸される。オキシドールに浸されることで内因性ペルオキシターゼが除去される。なお、内因性ペルオキシターゼが除去されれば、切片は、必ずしもオキシドールに浸される必要は無い。内因性ペルオキシターゼが除去された切片に、ＣＫ ＣＡＭ５．２（Cytokeratin CAM5.2（Cytokeratinはタンパク質の一種であり、CAM5.2は特定のCytokeratinに反応する抗体の識別番号である））等の１次抗体が適用される。１次抗体の適用後の生体組織に、２次抗体が適用される。２次抗体の適用後の切片に、ＤＡＢ（3３、３´－ジアミノベンジジン四塩酸塩）等の発色剤が適用される。発色剤によって切片が発色する。発色後の切片は、ヘマトキシリン液に浸される。ヘマトキシリン液に浸された後、切片は流水水洗で色出しされる。流水水洗された切片は、アルコールで複数回脱水される。脱水された切片は、キシレンに浸される。キシレンに浸された切片は透徹する。

【0039】

なお、切片がヘマトキシリン液に浸されない場合、切片の核は染色されない。切片がヘマトキシリン液に浸されることで、核と癌細胞とが異なる色で染色される。切片がヘマトキシリン液に浸される場合、核と癌細胞と他の生体組織とがそれぞれ色分けされる。そのため、切片がヘマトキシリン液に浸されない場合よりも、核と癌細胞と他の生体組織との各位置及び形状が明確になる。ここまでで免疫染色の手順の説明を終了する。

【0040】

第２スキャナ５０２は、第２染色部１０７によって免疫染色された切片を撮影する。第２スキャナ５０２によって撮影された切片の画像（すなわち免疫染色画像）の画像データ（すなわち免疫染色画像データ）は、第１スキャナ５０１が撮影したＨＥ染色画像の画像データに対応付けて記憶部１０２に記録される。第２スキャナ５０２は、例えば、デジタルスライドスキャナである。

【0041】

通信部１０８は、自装置を画像処理装置２に接続するための通信インタフェースを含んで構成される。通信部１０８は、有線又は無線を介して、画像処理装置２と通信する。

【0042】

画像処理装置２は、バスで接続されたＣＰＵ等のプロセッサとメモリとを備える制御部２０１を備えプログラムを実行する。画像処理装置２は、プログラムの実行によって制御部２０１、記憶部２０２及び通信部２０３を備える装置として機能する。

【0043】

制御部２０１は、免疫染色画像に対して被補正免疫染色画像データ生成処理を実行することで、被補正免疫染色画像データを生成する。被補正免疫染色画像データは、通信部２０３を介して染色画像データ生成装置１に送信され、第１スキャナ５０１が撮影したＨＥ染色画像の画像データに対応付けて記憶部１０２に記録される。

【0044】

図３は、実施形態における制御部２０１の機能構成の一例を示す図である。
制御部２０１は、画像取得部２１１、位置合わせ部２１２及び画像補正部２１３を備える。画像取得部２１１は、通信部２０３を介して染色画像データ生成装置１からＨＥ染色画像及び免疫染色画像を取得する。位置合わせ部２１２は、位置合わせ処理を実行する。画像補正部２１３は、画像変換処理及びノイズ除去画像処理を実行する。

【0045】

図２の説明に戻る。記憶部２０２は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部２０２は、画像処理装置２の動作に関する各種情報を記憶する。記憶部２０２は、ＨＥ染色画像データ、免疫染色画像データ及び被補正免疫染色画像データを記憶してもよい。通信部２０３は、自装置を染色画像データ生成装置１に接続するための通信インタフェースを含んで構成される。通信部２０３は、有線又は無線を介して、染色画像データ生成装置１と通信する。

【0046】

図４は、実施形態のデータセット生成システム１００が実行するデータセット生成処理の流れの概要を説明する説明図である。
データセット生成システム１００は、検体を包埋するブロックから切片を切り出す。データセット生成システム１００は、切片をスライドガラス等の固定部材に載せる。データセット生成システム１００は、固定部材に載せられた切片に対してＨＥ染色を実行し、ＨＥ染色された切片を第１スキャナ５０１によって撮影する。データセット生成システム１００は、第１スキャナ５０１による撮影が終了した切片を脱色した後、免疫染色する。免疫染色された切片は、第２スキャナ５０２によって撮影される。制御部１０１は、第１スキャナ５０１によって撮影された切片の画像の画像データと第２スキャナ５０２によって撮影された切片の画像の画像データとを対応付けて記憶部１０２に記憶する。画像処理装置２が、第２スキャナ５０２によって撮影された切片の画像の画像データに対してノイズ除去画像処理を実行する。画像処理装置２は、第２スキャナ５０２によって取得された切片の画像に対してアフィン変換を実行してもよい。

【0047】

図５は、実施形態のデータセット生成システム１００が実行するデータセット生成処理の流れの一例を示すフローチャートである。
切片作製部１０３が、切片を作製する（ステップＳ１０１）。次に、切片作製部１０３が、作製された切片を、スライドガラス等の固定部材に載せる（ステップＳ１０２）。次に、第１染色部１０４が、固定部材に載せられた切片をＨＥ染色する（ステップＳ１０３）。次に、第１スキャナ５０１が、ＨＥ染色された切片を撮影する（ステップＳ１０４）。これによって、ＨＥ染色画像が取得される。ここで、免疫染色時の通常のフローとしてスライドガラスはシランコーティングガラスが好ましいが、ＨＥ染色前から予めシランコーティングガラスに固定することによって、脱色から再染色の間、標本がずっと貼り付いた状態になっている（それ以外の条件では標本が剥がれてしまうことが多い）。
次に、脱色部１０６が、切片を脱色する（ステップＳ１０５）。次に、第２染色部１０７が、切片を免疫染色する（ステップＳ１０６）。即ち、同じ標本を脱色後に再染色するということになる。次に、第２スキャナ５０２が、免疫染色された切片を撮影する（ステップＳ１０７）。これによって、免疫染色画像が取得される。次に、制御部１０１が、ステップＳ１０４において取得されたＨＥ染色画像の画像データとステップＳ１０７において取得された免疫染色画像の画像データとを対応付けて記憶部１０２に記録する（ステップＳ１０８）。
上述の方法では、スライドガラス等へ切片を載せる際に、従来よりも強く固定されているため、免疫染色の際にヘマトキシリン（Ｈ）で細胞核だけを再染色する場合、位置合わせのターゲット（画像同士の特徴点マッチング等）として、効果的に機能する（細胞核のみを染色するので細胞全体を染色するエオジン（Ｅ）は用いない）。即ち、“Ｈ染色+Ｅ染色”（ＨＥ染色）と“サイトケラチン（Cytokeratin）＋Ｈ染色”（免疫染色）という２つの画像を位置合わせする際に、Ｈ染色した細胞核の位置をより正確に補正することができる。ここで、免疫染色の操作においては、サイトケラチンで発色させた後にヘマトキシリンによる核染色を行なう。
従って、切片がスライドガラス等に従来よりも強く固定されている上述の方法によれば、後述のＳ１０９でＨＥ染色と免疫染色のそれぞれで得られた画像同士のズレをできるだけ少なくする場合、ＨＥ染色がなされた画像のヘマトキシリンで染まった場所と免疫染色で染まった場所とを見比べて、何ピクセル分だけ動かせば良いかが認識し易くなる。

【0048】

次に、画像処理装置２が備える制御部２０１が、ステップＳ１０７で取得された免疫染色画像に対して位置合わせ処理を実行する（ステップＳ１０９）。次に、画像処理装置２が備える制御部２０１が、位置合わせ処理実行後の免疫染色画像に対して画像変換処理を実行する（ステップＳ１１０）。次に、画像処理装置２が備える制御部２０１が、画像変換処理実行後の免疫染色画像に対してノイズ除去画像処理を実行する（ステップＳ１１１）。次に、制御部１０１が、ステップＳ１０４において取得されたＨＥ染色画像の画像データとステップＳ１１１の処理の実行後の免疫染色画像の画像データとを対応付けて記憶部１０２に記録する（ステップＳ１１２）。図５において、ステップＳ１０９からステップＳ１１１の一連の処理は、被補正免疫染色画像データ生成処理の一例である。

【0049】

図６は、実施形態のデータセット生成システム１００によって生成された学習用データセットを用いた機械学習の処理内容の一例を説明する説明図である。つまり、同じ標本を脱色後に再染色し、更にそれを機械学習に使うということになる。
実施形態の学習用データセットを用いた機械学習は、ＨＥ染色画像データを入力側の学習データとし、対応する免疫染色画像データを教師データとして、機械学習モデルのパラメータを好適に調整する。機械学習モデルは、ニューラルネットワークであってもよい。ニューラルネットワークとしては、例えば、エンコーダとデコーダとであってもよい。ニューラルネットワークは、畳み込みニューラルネットワークであってもよい。機械学習モデルのパラメータは、誤差逆伝搬法のアルゴリズムによって調整されてもよい。
終了条件が満たされた時点における機械学習モデルが学習済みモデルである。終了条件は、学習の終了に関する条件であればどのような条件であってもよい。終了条件は、例えば、所定数のデータセットによる学習が実行された、という条件であってもよいし、終了条件は、例えば、学習によるパラメータの変化量が所定の大きさ未満であるという条件であってもよい。

【0050】

図７は、実施形態における学習用データセットを用いた機械学習によって学習された学習済みモデルを用いる装置による免疫染色画像の推定の処理内容を説明する説明図である。図６に示す処理の実行により学習された学習済みモデルを用いて免疫染色画像を推定する装置は、新たなＨＥ染色画像データを取得すると、学習済みモデルに基づいて、免疫染色画像を推定する。ここまでで図７の説明を終了する。

【0051】

このように構成されたデータセット生成システム１００は、ＨＥ染色画像に写る生体組織における病変部分を示すデータ（すなわち免疫染色画像データ又は被補正免疫染色画像データ）を生成する染色画像データ生成装置１を備える。そのため、このように構成されたデータセット生成システム１００は、ＨＥ染色画像に写る病変組織に印をつける作業を行う病理医の負担を軽減することができる。

【0052】

また、このように構成された実施形態のデータセット生成システム１００は、単一の生体組織を複数回染色することで学習用データセットを生成する染色画像データ生成装置１を備える。そのため、このように構成されたデータセット生成システム１００は、ＨＥ染色画像に写る生体組織と免疫染色画像に写る生体組織とが同一でないことに起因する学習の精度の低下を抑制することができる。

【0053】

また、このように構成された学習用データセットを用いて学習された学習済みモデルに基づいて病変組織を示す装置は、高価な免疫染色を用いることなく安価なＨＥ染色によって病変部分を示すことができる。

【0054】

（変形例）
データセット生成システム１００は必ずしも画像処理装置２を備える必要は無い。この場合、学習用データセットの教師データは被補正免疫染色画像データではなく、免疫染色画像データである。

【0055】

第１染色部１０４は、生体組織を染色可能であり、かつ、染色後に脱色可能であれば、ＨＥ染色に限らずどのような方法によって生体組織を染色してもよい。第１染色部１０４は、例えば、アザン染色やマッソン染色といった方法によって生体組織を染色してもよい。

【0056】

第２染色部１０７は、状態条件を満たす生体組織を、状態条件を満たさない生体組織と異なる色相、明度又は彩度の色で染色可能であれば必ずしも免疫染色によって生体組織を染色しなくてもよい。第２染色部１０７は、例えば、蛍光ｉｎ－ｓｉｔｕハイブリダイゼーション法（ＦＩＳＨ法）などの方法によって特定の塩基配列（遺伝子）を標的にした染色をしてもよい。

【0057】

撮像部１０５は、必ずしも、第１スキャナ５０１及び第２スキャナ５０２の２つのスキャナを備える必要はない。撮像部１０５は、例えば、第１スキャナ５０１のみを備え、第１スキャナ５０１が、ＨＥ染色後の生体組織と免疫染色後の生体組織とを撮影してもよい。

【0058】

なお、染色画像データ生成装置１と画像処理装置２とは必ずしも異なる筐体に実装される必要はない。染色画像データ生成装置１と画像処理装置２とは１つの筐体で構成されてもよい。なお、生体組織は、切片作製部１０３、第１染色部１０４、脱色部１０６及び第２染色部１０７の間をベルトコンベア等の搬送機構によって搬送される。

【0059】

また、学習用データセットの生成方法は、必ずしも、図２に示すデータセット生成システム１００のように、全てが自動化された装置によって実行される必要は無い。学習用データセット生成方法では、部分的に人の作業がはいってもよい。

【0060】

更に、ＨＥ染色は、第１の染色方法の一例である。免疫染色は、第２の染色方法の一例である。なお、制御部１０１は管理部の一例である。なお、ＨＥ染色画像は、第１画像の一例である。なお、第１画像データは、ＨＥ染色画像データの一例である。なお、免疫染色画像は、第２画像の一例である。なお、第２画像データは、免疫染色画像データの一例である。なお、第３画像データは、被補正免疫染色画像データの一例である。なお、画像処理装置２は、画像処理部の一例である。

【0061】

上記の各実施形態では、制御部１０１及び制御部２０１はソフトウェア機能部であるものとしたが、ＬＳＩ等のハードウェア機能部であってもよい。

【0062】

以上で説明した少なくともひとつの実施形態によれば、データセット生成システム１００は、生体組織をＨＥ染色によって染色する第１染色部１０４と、ＨＥ染色によって染色された生体組織を脱色する脱色部１０６と、脱色部１０６による脱色後の生体組織を構成する生体組織のうち状態条件を満たす生体組織について、状態条件を満たさない他の生体組織と異なる色に染色する方法である免疫染色によって、状態条件を満たす生体組織を染色する第２染色部１０７と、第１染色部１０４による染色後の生体組織と、第２染色部１０７による染色後の生体組織とを撮影する撮像部１０５と、第１染色部１０４による染色後の生体組織の画像であるＨＥ染色画像の画像データであるＨＥ染色画像データと、第２染色部１０７による染色後の生体組織の画像である免疫染色画像の画像データである免疫染色画像データとを対応付けて記憶部１０２に記録する制御部１０１と、を備える。そのため、このように構成されたデータセット生成システム１００は、データセットの作成負担を軽減することができる。また、このように構成されたデータセット生成システム１００は、ＨＥ染色画像に写る生体組織と免疫染色画像に写る生体組織とが同一でないことに起因する学習の精度の低下を抑制することができる。

【0063】

なお、制御部１０１及び制御部２０１の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。

【0064】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0065】

１００…データセット生成システム、１…染色画像データ生成装置、２…画像処理装置、１０１…制御部、１０２…記憶部、１０３…切片作製部、１０４…第１染色部、１０５…撮像部、１０６…脱色部、１０７…第２染色部、１０８…通信部、２０１…制御部、２０２…記憶部、２０３…通信部、５０１…第１スキャナ、５０２…第２スキャナ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】