(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023180647
(43)【公開日】2023-12-21
(54)【発明の名称】創薬研究支援装置、創薬研究支援方法、および、創薬研究支援プログラム
(51)【国際特許分類】
C12M 1/34 20060101AFI20231214BHJP
C12Q 1/02 20060101ALI20231214BHJP
【FI】
C12M1/34 Z
C12Q1/02
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022094124
(22)【出願日】2022-06-10
(71)【出願人】
【識別番号】517038051
【氏名又は名称】株式会社HACARUS
(74)【代理人】
【識別番号】100124039
【弁理士】
【氏名又は名称】立花 顕治
(74)【代理人】
【識別番号】100207217
【弁理士】
【氏名又は名称】樋口 智夫
(72)【発明者】
【氏名】内野 宏俊
(72)【発明者】
【氏名】井上 晴幾
【テーマコード(参考)】
4B029
4B063
【Fターム(参考)】
4B029AA07
4B029BB11
4B029FA04
4B063QA01
4B063QA20
4B063QQ08
4B063QQ61
4B063QQ91
4B063QR41
4B063QR51
4B063QR77
4B063QS36
4B063QS39
4B063QX01
(57)【要約】
【課題】細胞の遺伝子解析を必要とすることなく、創薬研究を支援可能な情報を出力する創薬研究支援装置等を提供する。
【解決手段】本発明の一側面に係る創薬研究支援装置は、基準状態にある細胞を撮像した基準画像の入力に対して機械学習の実施後の符号器が出力する基準特徴量と、基準状態にあるかを推定する細胞が撮像された対象画像の入力に対して機械学習の実施後の符号器が出力する対象特徴量との違いを数値化して出力する。
【選択図】
図7
【特許請求の範囲】
【請求項1】
細胞内容物が撮像された細胞画像であって、基準状態にある細胞の細胞内容物が撮像された細胞画像である基準画像を取得する基準画像取得部であって、
前記基準状態にある細胞の核が撮像された前記細胞画像である基準核画像を含む前記基準画像を取得する、
基準画像取得部と、
前記基準画像と前記基準状態との組み合わせによりそれぞれ構成される複数の学習データセットを使用して、学習モデルの機械学習を実施する学習処理部であって、
前記学習モデルは、符号器と推定器とを含み、
前記符号器は、与えられた前記細胞画像を、前記細胞画像に撮像されている細胞内容物の形態および輝度の少なくとも一方の特徴量へと変換するように構成され、
前記推定器は、前記特徴量の入力を受け付け、入力された前記特徴量に基づいて、前記細胞画像に撮像されている細胞内容物を含む細胞の状態を推定するように構成され、
前記機械学習を実施することは、前記複数の学習データセットの各々について、前記基準画像を前記符号器に与えたときに、前記推定器が前記基準画像に撮像されている細胞内容物を含む細胞は前記基準状態にあると推定するように、前記符号器と前記推定器とを訓練する訓練ステップを含む、
学習処理部と、
前記基準状態にあるか否かを推定する対象の細胞の細胞内容物が撮像された前記細胞画像である対象画像であって、前記基準状態にあるか否かを推定する対象の細胞の核が撮像された前記細胞画像である対象核画像を含む、対象画像を取得する対象画像取得部と、
前記機械学習の実施後の前記符号器が前記基準画像の入力に対して出力する前記特徴量である基準特徴量と、前記機械学習の実施後の前記符号器が前記対象画像の入力に対して出力する前記特徴量である対象特徴量との違いを数値化して示す情報である参照情報を出力する参照情報出力部と、
を備える創薬研究支援装置。
【請求項2】
前記基準画像は、前記基準状態にある細胞の、核以外の細胞内容物が撮像された前記細胞画像である追加基準画像をさらに含み、
前記対象画像は、前記基準状態にあるか否かを推定する対象の細胞の、前記追加基準画像に撮像されている細胞内容物が撮像された前記細胞画像である追加対象画像をさらに含む、
請求項1に記載の創薬研究支援装置。
【請求項3】
前記追加基準画像は、
前記基準状態にある細胞の細胞質または細胞質内分子が撮像された前記細胞画像である基準細胞質画像、
前記基準状態にある細胞の核小体または核小体内分子が撮像された前記細胞画像である基準核小体画像、
前記基準状態にある細胞のゴルジ体またはゴルジ体内分子が撮像された前記細胞画像である基準ゴルジ体画像、
前記基準状態にある細胞のミトコンドリアまたはミトコンドリア内分子が撮像された前記細胞画像である基準ミトコンドリア画像、および、
前記基準状態にある細胞の細胞膜または細胞膜に結合する分子が撮像された前記細胞画像である基準細胞膜画像、
の少なくとも1つを含み、
前記追加対象画像は、
前記基準状態にあるか否かを推定する対象の細胞の細胞質または細胞質内分子が撮像された前記細胞画像である対象細胞質画像、
前記基準状態にあるか否かを推定する対象の細胞の核小体または核小体内分子が撮像された前記細胞画像である対象核小体画像、
前記基準状態にあるか否かを推定する対象の細胞のゴルジ体またはゴルジ体内分子が撮像された前記細胞画像である対象ゴルジ体画像、
前記基準状態にあるか否かを推定する対象の細胞のミトコンドリアまたはミトコンドリア内分子が撮像された前記細胞画像である対象ミトコンドリア画像、および、
前記基準状態にあるか否かを推定する対象の細胞の細胞膜または細胞膜に結合する分子が撮像された前記細胞画像である対象細胞膜画像、
の少なくとも1つを含む、
請求項2に記載の創薬研究支援装置。
【請求項4】
前記細胞内容物の形態の特徴量は、前記細胞内容物の面積、前記細胞内容物と同じ面積を有する円の直径、前記細胞内容物の長径、前記細胞内容物の短径、前記細胞内容物の離心率、前記細胞内容物の周囲径の少なくとも1つを含む、
請求項1から3の何れか1項に記載の創薬研究支援装置。
【請求項5】
前記細胞内容物の輝度の特徴量は、前記細胞内容物の輝度の平均を含む、
請求項1から3の何れか1項に記載の創薬研究支援装置。
【請求項6】
前記参照情報は、
前記基準核画像に撮像されている核の輝度の平均についてのヒストグラムと、前記対象核画像に撮像されている核の輝度の平均についてのヒストグラムとの間のズレを数値化して示す情報と、
前記追加基準画像の、前記基準核画像において核が撮像されている領域に対応する領域の輝度の平均についてのヒストグラムと、前記追加対象画像の、前記対象核画像において核が撮像されている領域に対応する領域の輝度の平均についてのヒストグラムとの間のズレを数値化して示す情報と、
を含む、
請求項2または3に記載の創薬研究支援装置。
【請求項7】
前記参照情報は、前記基準画像に撮像されている細胞内容物を含む細胞ごとの前記基準特徴量の分布である基準特徴量分布と、前記対象画像に撮像されている細胞内容物を含む細胞ごとの前記対象特徴量の分布である対象特徴量分布とのKLダイバージェンス(Kullback-Leibler divergence)である、
請求項1から3の何れか1項に記載の創薬研究支援装置。
【請求項8】
前記機械学習の実施後の前記学習モデルに前記対象画像を入力して、前記対象画像に撮像されている細胞内容物を含む細胞が前記基準状態にあるか否かを推定する推定部をさらに備える、
請求項1から3の何れか1項に記載の創薬研究支援装置。
【請求項9】
コンピュータが、
細胞内容物が撮像された細胞画像であって、基準状態にある細胞の細胞内容物が撮像された細胞画像である基準画像を取得する基準画像取得ステップであって、
前記基準状態にある細胞の核が撮像された前記細胞画像である基準核画像を含む前記基準画像を取得する、
基準画像取得ステップと、
前記基準画像と前記基準状態との組み合わせによりそれぞれ構成される複数の学習データセットを使用して、学習モデルの機械学習を実施する学習処理ステップであって、
前記学習モデルは、符号器と推定器とを含み、
前記符号器は、与えられた前記細胞画像を、前記細胞画像に撮像されている細胞内容物の形態および輝度の少なくとも一方の特徴量へと変換するように構成され、
前記推定器は、前記特徴量の入力を受け付け、入力された前記特徴量に基づいて、前記細胞画像に撮像されている細胞内容物を含む細胞の状態を推定するように構成され、
前記機械学習を実施することは、前記複数の学習データセットの各々について、前記基準画像を前記符号器に与えたときに、前記推定器が前記基準画像に撮像されている細胞内容物を含む細胞は前記基準状態にあると推定するように、前記符号器と前記推定器とを訓練する訓練ステップを含む、
学習処理ステップと、
前記基準状態にあるか否かを推定する対象の細胞の細胞内容物が撮像された前記細胞画像である対象画像であって、前記基準状態にあるか否かを推定する対象の細胞の核が撮像された前記細胞画像である対象核画像を含む、対象画像を取得する対象画像取得ステップと、
前記機械学習の実施後の前記符号器が前記基準画像の入力に対して出力する前記特徴量である基準特徴量と、前記機械学習の実施後の前記符号器が前記対象画像の入力に対して出力する前記特徴量である対象特徴量との違いを数値化して示す情報である参照情報を出力する参照情報出力ステップと、
を実行する、
創薬研究支援方法。
【請求項10】
コンピュータに、
細胞内容物が撮像された細胞画像であって、基準状態にある細胞の細胞内容物が撮像された細胞画像である基準画像を取得する基準画像取得ステップであって、
前記基準状態にある細胞の核が撮像された前記細胞画像である基準核画像を含む前記基準画像を取得する、
基準画像取得ステップと、
前記基準画像と前記基準状態との組み合わせによりそれぞれ構成される複数の学習データセットを使用して、学習モデルの機械学習を実施する学習処理ステップであって、
前記学習モデルは、符号器と推定器とを含み、
前記符号器は、与えられた前記細胞画像を、前記細胞画像に撮像されている細胞内容物の形態および輝度の少なくとも一方の特徴量へと変換するように構成され、
前記推定器は、前記特徴量の入力を受け付け、入力された前記特徴量に基づいて、前記細胞画像に撮像されている細胞内容物を含む細胞の状態を推定するように構成され、
前記機械学習を実施することは、前記複数の学習データセットの各々について、前記基準画像を前記符号器に与えたときに、前記推定器が前記基準画像に撮像されている細胞内容物を含む細胞は前記基準状態にあると推定するように、前記符号器と前記推定器とを訓練する訓練ステップを含む、
学習処理ステップと、
前記基準状態にあるか否かを推定する対象の細胞の細胞内容物が撮像された前記細胞画像である対象画像であって、前記基準状態にあるか否かを推定する対象の細胞の核が撮像された前記細胞画像である対象核画像を含む、対象画像を取得する対象画像取得ステップと、
前記機械学習の実施後の前記符号器が前記基準画像の入力に対して出力する前記特徴量である基準特徴量と、前記機械学習の実施後の前記符号器が前記対象画像の入力に対して出力する前記特徴量である対象特徴量との違いを数値化して示す情報である参照情報を出力する参照情報出力ステップと、
を実行させるための、
創薬研究支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、創薬研究支援装置等に関する。
【背景技術】
【0002】
創薬研究等においては一般に、刺激による細胞の状態の変化を評価する必要があり、従来、細胞を撮像した画像に対する画像解析の結果を利用して、細胞の状態を把握しようとする各種の試みが知られている。例えば、下掲の特許文献1には、以下の新規創薬スクリーニング方法が開示されている。すなわち、先ず、細胞サンプルに候補薬剤が添加された試料を撮影した画像を画像解析して取得する形態情報と、その細胞サンプルに含まれる1細胞を遺伝子解析して取得する分子情報と、両者の相関関係とを、互いに関連付けて格納したデータベースを用意する。そして、特許文献1の新規創薬スクリーニング方法は、スクリーニング対象の細胞サンプルに候補薬剤が添加された試料を撮影した画像を画像解析して取得する形態情報を用いて、前述のデータベースを参照して、前記試料に含まれる細胞の状態を推定する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
本件発明者は、上述のような新規創薬スクリーニング方法には、次のような問題点があることを見出した。すなわち、特許文献1の新規創薬スクリーニング方法においては、前述の形態情報と分子情報と両者の相関関係とを、互いに関連付けて格納したデータベースを用意する必要がある。しかしながら、係る分子情報を取得するためには、細胞の遺伝子解析を必要とするとの問題点があることを見出した。
【0005】
本発明は、一側面では、このような事情を鑑みてなされたものであり、その目的は、細胞の遺伝子解析を必要とすることなく、創薬研究を支援可能な情報を出力する創薬研究支援装置等を提供することである。
【課題を解決するための手段】
【0006】
本発明は、上述した課題を解決するために、以下の構成を採用する。
【0007】
第1の観点に係る創薬研究支援装置は、細胞内容物が撮像された細胞画像であって、基準状態にある細胞の細胞内容物が撮像された細胞画像である基準画像を取得する基準画像取得部であって、前記基準状態にある細胞の核が撮像された前記細胞画像である基準核画像を含む前記基準画像を取得する、基準画像取得部と、前記基準画像と前記基準状態との組み合わせによりそれぞれ構成される複数の学習データセットを使用して、学習モデルの機械学習を実施する学習処理部であって、前記学習モデルは、符号器と推定器とを含み、前記符号器は、与えられた前記細胞画像を、前記細胞画像に撮像されている細胞内容物の形態および輝度の少なくとも一方の特徴量へと変換するように構成され、前記推定器は、前記特徴量の入力を受け付け、入力された前記特徴量に基づいて、前記細胞画像に撮像されている細胞内容物を含む細胞の状態を推定するように構成され、前記機械学習を実施することは、前記複数の学習データセットの各々について、前記基準画像を前記符号器に与えたときに、前記推定器が前記基準画像に撮像されている細胞内容物を含む細胞は前記基準状態にあると推定するように、前記符号器と前記推定器とを訓練する訓練ステップを含む、学習処理部と、前記基準状態にあるか否かを推定する対象の細胞の細胞内容物が撮像された前記細胞画像である対象画像であって、前記基準状態にあるか否かを推定する対象の細胞の核が撮像された前記細胞画像である対象核画像を含む、対象画像を取得する対象画像取得部と、前記機械学習の実施後の前記符号器が前記基準画像の入力に対して出力する前記特徴量である基準特徴量と、前記機械学習の実施後の前記符号器が前記対象画像の入力に対して出力する前記特徴量である対象特徴量との違いを数値化して示す情報である参照情報を出力する参照情報出力部と、を備える。
【0008】
当該構成では、前記符号器と前記推定器とは、前記複数の学習データセットの各々について、前記基準画像を前記符号器に与えたときに、前記推定器が前記基準画像に撮像されている細胞内容物を含む細胞は前記基準状態にあると推定するように、訓練される。そして、前記創薬研究支援装置は、前記機械学習の実施後の前記符号器が前記基準画像の入力に対して出力する前記基準特徴量と、前記機械学習の実施後の前記符号器が前記対象画像の入力に対して出力する前記対象特徴量との違いを数値化して示す前記参照情報を出力する。すなわち、前記創薬研究支援装置は、ユーザが前記基準状態にあるか否かを推定する対象の細胞の状態を把握しようとする際に注目すべき指標として、つまり、ユーザによる創薬研究を支援する情報として、前記参照情報を出力する。前記創薬研究支援装置は、例えば、前記参照情報を表示装置等に出力して、前記参照情報をユーザに表示する。
【0009】
しかも、前記創薬研究支援装置は、細胞の遺伝子解析を必要とすることなく、前記学習データセットに対する前記機械学習と、前記対象画像とを利用して、前記参照情報を出力する。
【0010】
そのため、前記創薬研究支援装置は、細胞の遺伝子解析を必要とすることなく、創薬研究を支援可能な情報を出力することができるとの効果を奏する。
【0011】
なお、基準状態とは、例えば、試薬投入前の状態、偽薬で処理した状態であり、基準状態にあるか否かを推定する対象の細胞(対象細胞)は、例えば、試薬投入後の細胞である。前述の細胞内容物とは、細胞内小器官および細胞内分子の少なくとも一方である。細胞内小器官としては、例えば、細胞核(核)、細胞質、核小体、ゴルジ体、および、ミトコンドリアなどを挙げることができる。細胞内分子としては、例えば、細胞核内分子、細胞質内分子、核小体内分子、ゴルジ体内分子、および、ミトコンドリア内分子などが挙げることができる。色素で染色可能な細胞内容物は、係る細胞内容物を撮像した撮像画像から、係る細胞内容物についての、形態、輝度等についての特徴量を抽出することができる。また、顕微鏡等によって観察可能な細胞内容物についても、同様に、特徴量の抽出が可能である。
【0012】
第2の観点に係る創薬研究支援装置は、上記第1の観点に係る創薬研究支援装置において、前記基準画像は、前記基準状態にある細胞の、核以外の細胞内容物が撮像された前記細胞画像である追加基準画像をさらに含み、前記対象画像は、前記基準状態にあるか否かを推定する対象の細胞の、前記追加基準画像に撮像されている細胞内容物が撮像された前記細胞画像である追加対象画像をさらに含んでもよい。
【0013】
当該構成では、前記基準画像は、前記基準核画像に加えて、前記基準状態にある細胞の、核以外の細胞内容物が撮像された前記追加基準画像をさらに含む。また、前記対象画像は、前記対象核画像に加えて、前記基準状態にあるか否かを推定する対象の細胞の、前記追加基準画像に撮像されている細胞内容物が撮像された前記追加対象画像をさらに含む。そのため、前記創薬研究支援装置は、細胞の核についての前記特徴量に加えて、核以外の細胞内容物についての前記特徴量も考慮して、前記機械学習および細胞の状態の推定を実行することができる。
【0014】
第3の観点に係る創薬研究支援装置は、上記第2の観点に係る創薬研究支援装置において、前記追加基準画像は、前記基準状態にある細胞の細胞質または細胞質内分子が撮像された前記細胞画像である基準細胞質画像、前記基準状態にある細胞の核小体または核小体内分子が撮像された前記細胞画像である基準核小体画像、前記基準状態にある細胞のゴルジ体またはゴルジ体内分子が撮像された前記細胞画像である基準ゴルジ体画像、前記基準状態にある細胞のミトコンドリアまたはミトコンドリア内分子が撮像された前記細胞画像である基準ミトコンドリア画像、および、前記基準状態にある細胞の細胞膜または細胞膜に結合する分子が撮像された前記細胞画像である基準細胞膜画像、の少なくとも1つを含み、前記追加対象画像は、前記基準状態にあるか否かを推定する対象の細胞の細胞質または細胞質内分子が撮像された前記細胞画像である対象細胞質画像、前記基準状態にあるか否かを推定する対象の細胞の核小体または核小体内分子が撮像された前記細胞画像である対象核小体画像、前記基準状態にあるか否かを推定する対象の細胞のゴルジ体またはゴルジ体内分子が撮像された前記細胞画像である対象ゴルジ体画像、前記基準状態にあるか否かを推定する対象の細胞のミトコンドリアまたはミトコンドリア内分子が撮像された前記細胞画像である対象ミトコンドリア画像、および、前記基準状態にあるか否かを推定する対象の細胞の細胞膜または細胞膜に結合する分子が撮像された前記細胞画像である対象細胞膜画像、の少なくとも1つを含んでもよい。
【0015】
当該構成では、前記創薬研究支援装置は、細胞の核についての前記特徴量に加えて、細胞質または細胞質内分子、核小体または核小体内分子、ゴルジ体またはゴルジ体内分子、ミトコンドリアまたはミトコンドリア内分子、および、細胞膜または細胞膜に結合する分子の少なくとも1つについての前記特徴量を考慮して、前記機械学習および細胞の状態の推定を実行することができる。
【0016】
第4の観点に係る創薬研究支援装置は、上記第1から第3のいずれかの観点に係る創薬研究支援装置において、前記細胞内容物の形態の特徴量は、前記細胞内容物の面積、前記細胞内容物と同じ面積を有する円の直径、前記細胞内容物の長径、前記細胞内容物の短径、前記細胞内容物の離心率、前記細胞内容物の周囲径の少なくとも1つを含んでもよい。
【0017】
当該構成では、前記創薬研究支援装置は、前記細胞内容物の面積、前記細胞内容物と同じ面積を有する円の直径、前記細胞内容物の長径、前記細胞内容物の短径、前記細胞内容物の離心率、前記細胞内容物の周囲径の少なくとも1つを、前記細胞内容物の形態の特徴量として考慮して、前記機械学習および細胞の状態の推定を実行することができる。
【0018】
第5の観点に係る創薬研究支援装置は、上記第1から第4のいずれかの観点に係る創薬研究支援装置において、前記細胞内容物の輝度の特徴量は、前記細胞内容物の輝度の平均を含んでもよい。当該構成では、前記創薬研究支援装置は、前記細胞内容物の輝度の平均を、前記細胞内容物の輝度の特徴量として考慮して、前記機械学習および細胞の状態の推定を実行することができる。
【0019】
第6の観点に係る創薬研究支援装置は、上記第2から第5のいずれかの観点に係る創薬研究支援装置において、前記参照情報は、前記基準核画像に撮像されている核の輝度の平均についてのヒストグラムと、前記対象核画像に撮像されている核の輝度の平均についてのヒストグラムとの間のズレを数値化して示す情報と、前記追加基準画像の、前記基準核画像において核が撮像されている領域に対応する領域の輝度の平均についてのヒストグラムと、前記追加対象画像の、前記対象核画像において核が撮像されている領域に対応する領域の輝度の平均についてのヒストグラムとの間のズレを数値化して示す情報と、を含んでもよい。
【0020】
当該構成では、前記創薬研究支援装置は、前記参照情報として、前記基準核画像に撮像されている核の輝度の平均についてのヒストグラムと、前記対象核画像に撮像されている核の輝度の平均についてのヒストグラムとの間のズレを数値化して示す情報、および、前記追加基準画像の、前記基準核画像において核が撮像されている領域に対応する領域の輝度の平均についてのヒストグラムと、前記追加対象画像の、前記対象核画像において核が撮像されている領域に対応する領域の輝度の平均についてのヒストグラムとの間のズレを数値化して示す情報を、出力することができる。
【0021】
ここで、基準核画像に撮像されている核の輝度の平均についてのヒストグラムとは、例えば、基準核画像に撮像されている核ごとの平均輝度の分布を示す情報である。また、対象核画像に撮像されている核の輝度の平均についてのヒストグラムとは、例えば、対象核画像に撮像されている核ごとの平均輝度の分布を示す情報である。基準核画像に撮像されている核の輝度の平均についてのヒストグラムと対象核画像に撮像されている核の輝度の平均についてのヒストグラムと間のズレを数値化して示す情報は、例えば、核ごとの平均輝度の分布についてのKLダイバージェンスである。
【0022】
同様に、追加基準画像の、基準核画像において核が撮像されている領域に対応する領域の輝度の平均についてのヒストグラムとは、例えば、基準細胞質画像等における、「基準核画像において核が撮像されている領域に対応する領域」ごとの平均輝度の分布を示す情報である。また、追加対象画像の、対象核画像において核が撮像されている領域に対応する領域の輝度の平均についてのヒストグラムとは、例えば、対象細胞質画像等における、「対象核画像において核が撮像されている領域に対応する領域」ごとの平均輝度の分布を示す情報である。追加基準画像の、基準核画像において核が撮像されている領域に対応する領域の輝度の平均についてのヒストグラムと、追加対象画像の、対象核画像において核が撮像されている領域に対応する領域の輝度の平均についてのヒストグラムとの間のズレを数値化して示す情報は、例えば、「基準核画像において核が撮像されている領域に対応する領域」ごとの平均輝度の分布についてのKLダイバージェンスである。
【0023】
第7の観点に係る創薬研究支援装置は、上記第1から第6のいずれかの観点に係る創薬研究支援装置において、前記参照情報は、前記基準画像に撮像されている細胞内容物を含む細胞ごとの前記基準特徴量の分布である基準特徴量分布と、前記対象画像に撮像されている細胞内容物を含む細胞ごとの前記対象特徴量の分布である対象特徴量分布とのKLダイバージェンス(Kullback-Leibler divergence)であってもよい。当該構成では、前記創薬研究支援装置は、前記参照情報として、前記基準特徴量分布と前記対象特徴量分布とのKLダイバージェンスを出力することができる。
【0024】
第8の観点に係る創薬研究支援装置は、上記第1から第7のいずれかの観点に係る創薬研究支援装置において、前記機械学習の実施後の前記学習モデルに前記対象画像を入力して、前記対象画像に撮像されている細胞内容物を含む細胞が前記基準状態にあるか否かを推定する推定部をさらに備えてもよい。当該構成では、前記創薬研究支援装置は、前記機械学習の実施後の前記学習モデルに前記対象画像を入力して、前記対象画像に撮像されている細胞内容物を含む細胞が前記基準状態にあるか否かを推定することができる。特に、前記創薬研究支援装置は、細胞の遺伝子解析を必要とすることなく、前記対象画像に撮像されている細胞内容物を含む細胞が前記基準状態にあるか否かを推定することができる。
【0025】
上記各観点に係る創薬研究支援装置の別の態様として、本発明の一側面は、以上の各構成の全部またはその一部を実現する情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記憶した、コンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記憶媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、または、化学的作用によって蓄積する媒体である。また、本発明の一側面は、上記いずれかの形態に係るモデル生成装置および推定装置により構成される推定システムであってもよい。
【0026】
例えば、本発明の一側面に係る創薬研究支援方法は、コンピュータが、細胞内容物が撮像された細胞画像であって、基準状態にある細胞の細胞内容物が撮像された細胞画像である基準画像を取得する基準画像取得ステップであって、前記基準状態にある細胞の核が撮像された前記細胞画像である基準核画像を含む前記基準画像を取得する、基準画像取得ステップと、前記基準画像と前記基準状態との組み合わせによりそれぞれ構成される複数の学習データセットを使用して、学習モデルの機械学習を実施する学習処理ステップであって、前記学習モデルは、符号器と推定器とを含み、前記符号器は、与えられた前記細胞画像を、前記細胞画像に撮像されている細胞内容物の形態および輝度の少なくとも一方の特徴量へと変換するように構成され、前記推定器は、前記特徴量の入力を受け付け、入力された前記特徴量に基づいて、前記細胞画像に撮像されている細胞内容物を含む細胞の状態を推定するように構成され、前記機械学習を実施することは、前記複数の学習データセットの各々について、前記基準画像を前記符号器に与えたときに、前記推定器が前記基準画像に撮像されている細胞内容物を含む細胞は前記基準状態にあると推定するように、前記符号器と前記推定器とを訓練する訓練ステップを含む、学習処理ステップと、前記基準状態にあるか否かを推定する対象の細胞の細胞内容物が撮像された前記細胞画像である対象画像であって、前記基準状態にあるか否かを推定する対象の細胞の核が撮像された前記細胞画像である対象核画像を含む、対象画像を取得する対象画像取得ステップと、前記機械学習の実施後の前記符号器が前記基準画像の入力に対して出力する前記特徴量である基準特徴量と、前記機械学習の実施後の前記符号器が前記対象画像の入力に対して出力する前記特徴量である対象特徴量との違いを数値化して示す情報である参照情報を出力する参照情報出力ステップと、を実行する。
【0027】
また、例えば、本発明の一側面に係る創薬研究支援プログラムは、コンピュータに、細胞内容物が撮像された細胞画像であって、基準状態にある細胞の細胞内容物が撮像された細胞画像である基準画像を取得する基準画像取得ステップであって、前記基準状態にある細胞の核が撮像された前記細胞画像である基準核画像を含む前記基準画像を取得する、基準画像取得ステップと、前記基準画像と前記基準状態との組み合わせによりそれぞれ構成される複数の学習データセットを使用して、学習モデルの機械学習を実施する学習処理ステップであって、前記学習モデルは、符号器と推定器とを含み、前記符号器は、与えられた前記細胞画像を、前記細胞画像に撮像されている細胞内容物の形態および輝度の少なくとも一方の特徴量へと変換するように構成され、前記推定器は、前記特徴量の入力を受け付け、入力された前記特徴量に基づいて、前記細胞画像に撮像されている細胞内容物を含む細胞の状態を推定するように構成され、前記機械学習を実施することは、前記複数の学習データセットの各々について、前記基準画像を前記符号器に与えたときに、前記推定器が前記基準画像に撮像されている細胞内容物を含む細胞は前記基準状態にあると推定するように、前記符号器と前記推定器とを訓練する訓練ステップを含む、学習処理ステップと、前記基準状態にあるか否かを推定する対象の細胞の細胞内容物が撮像された前記細胞画像である対象画像であって、前記基準状態にあるか否かを推定する対象の細胞の核が撮像された前記細胞画像である対象核画像を含む、対象画像を取得する対象画像取得ステップと、前記機械学習の実施後の前記符号器が前記基準画像の入力に対して出力する前記特徴量である基準特徴量と、前記機械学習の実施後の前記符号器が前記対象画像の入力に対して出力する前記特徴量である対象特徴量との違いを数値化して示す情報である参照情報を出力する参照情報出力ステップと、を実行させる。
【発明の効果】
【0028】
本発明によれば、細胞の遺伝子解析を必要とすることなく、創薬研究を支援可能な情報を出力する創薬研究支援装置等を提供することができる。
【図面の簡単な説明】
【0029】
【
図1】
図1は、実施の形態に係る研究支援装置のハードウェア構成の一例を模式的に例示する。
【
図2】
図2は、実施の形態に係る研究支援装置のソフトウェア構成の一例を模式的に例示する。
【
図3】
図3は、実施の形態に係る研究支援装置がディスプレイに表示させる設定画像の一例を模式的に例示する。
【
図4】
図4は、実施の形態に係る研究支援装置がディスプレイに表示させる基準登録画像の一例を模式的に例示する。
【
図5】
図5は、実施の形態に係る研究支援装置による準備処理の過程の一例を模式的に例示する。
【
図6】
図6は、実施の形態に係る研究支援装置による適用処理の過程の一例を模式的に例示する。
【
図7】
図7は、実施の形態に係る研究支援装置がディスプレイに表示させる参照情報の一例を例示する。
【
図8】
図8は、実施の形態に係る研究支援装置が行なう準備処理の手順の一例を例示する。
【
図9】
図9は、実施の形態に係る研究支援装置が行なう適用処理の手順の一例を例示する。
【発明を実施するための形態】
【0030】
以下、本発明の一側面に係る実施の形態(以下、「本実施形態」とも表記する)を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。
【0031】
§1 適用例
本件発明者らは、創薬研究等において必要とされる細胞の状態の評価を行なうに際して注目すべき情報を、細胞の遺伝子解析を必要とすることなく、研究者等に提供可能な創薬研究支援装置として、以下に詳細を説明する研究支援装置1を実現した。研究支援装置1は、細胞の細胞内容物が撮像された細胞画像CIに対する画像解析により、細胞の状態を推定すると共に、研究者等が細胞の状態を評価する際に注目すべき指標として、後述する参照情報Riを出力する。しかも、研究支援装置1は、細胞の遺伝子解析を必要とすることなく、細胞の状態を推定すると共に、細胞の状態を評価する際に注目すべき情報として参照情報Riを出力する。
【0032】
ここで、細胞の細胞内容物とは、細胞の細胞内小器官および細胞内分子の少なくとも一方である。細胞内小器官としては、例えば、細胞核(核)、細胞質、核小体、ゴルジ体、ミトコンドリア、および、細胞膜などを挙げることができる。細胞内分子としては、例えば、細胞核内分子、細胞質内分子、核小体内分子、ゴルジ体内分子、ミトコンドリア内分子、および、細胞膜に結合する分子などが挙げることができる。色素で染色可能な細胞内容物は、係る細胞内容物を撮像した撮像画像(細胞画像CIなど)から、係る細胞内容物についての、形態、輝度等についての特徴量Fcを抽出することができる。また、顕微鏡等によって観察可能な細胞内容物についても、同様に、特徴量Fcの抽出が可能である。本実施形態において細胞内容物の特徴量Fcは、細胞画像CIに撮像されている細胞内容物の形態の特徴量Fcである「形態特徴量Fcf」と、係る細胞内容物の輝度の特徴量Fcである「輝度特徴量Fcl」との少なくとも一方を含む。「形態特徴量Fcf」と「輝度特徴量Fcl」とを区別せずに両者を総称する場合に「特徴量Fc」との語を用いることがある。
【0033】
細胞画像CIは、細胞の細胞内容物が撮像された画像であり、例えば、1つ以上の細胞を含む標本SPを、各細胞の細胞内容物に対応する周波数で、具体的には、各細胞の細胞内容物に対応する色素の周波数で、撮像することにより得られる。本実施形態において細胞画像CIは、複数の細胞を含む標本SPを、各細胞の細胞内容物に対応する周波数で撮像することにより得られる撮像画像である。
【0034】
細胞画像CIとしては、例えば、標本SP中の各細胞の細胞核(核)または細胞核内分子が撮像された核画像CI(1)、標本SP中の各細胞の細胞質または細胞質内分子が撮像された細胞質画像CI(2)、標本SP中の各細胞の核小体または核小体内分子が撮像された核小体画像CI(3)、標本SP中の各細胞のゴルジ体またはゴルジ体内分子が撮像されたゴルジ体画像CI(4)、標本SP中の各細胞のミトコンドリアまたはミトコンドリア内分子が撮像されたミトコンドリア画像CI(5)、標本SP中の各細胞の細胞膜または細胞膜に結合する分子が撮像された細胞膜画像CI(6)などを挙げることができる。以下の説明において、細胞質画像CI(2)は標本SP中の各細胞の細胞質が撮像された細胞画像CIであり、核小体画像CI(3)は標本SP中の各細胞の核小体が撮像された細胞画像CIであるものとする。同様に、ゴルジ体画像CI(4)は標本SP中の各細胞のゴルジ体が撮像された細胞画像CIであり、ミトコンドリア画像CI(5)は、標本SP中の各細胞のミトコンドリアが撮像された細胞画像CIであるものとする。また、細胞膜画像CI(6)は、標本SP中の各細胞の細胞膜が撮像された細胞画像CIである。
【0035】
核画像CI(1)は、標本SPを核に対応する周波数w1で撮像した細胞画像CIであり、細胞質画像CI(2)は、標本SPを細胞質に対応する周波数w2で撮像した細胞画像CIである。同様に、核小体画像CI(3)、ゴルジ体画像CI(4)、ミトコンドリア画像CI(5)、および、細胞膜画像CI(6)は、各々、標本SPを、核小体に対応する周波数w3、ゴルジ体に対応する周波数w4、ミトコンドリアに対応する周波数w5、細胞膜に対応する周波数w6で撮像した細胞画像CIである。
【0036】
(全体概要)
研究支援装置1は、準備処理と適用処理とを行なう。準備処理は、複数の学習データセット122を使用して学習モデル4(符号器41および推定器42)の機械学習を実施する処理(機械学習処理)と、基準特徴量Fc_s(基準特徴量データ124)を生成する処理(基準特徴量生成処理)とを含む。適用処理は、対象特徴量生成処理と推定処理とを含む。対象特徴量生成処理において研究支援装置1は、訓練済みの符号器41に対象細胞画像5を与えることによって、対象特徴量Fc_o(対象特徴量データ224)を出力させる。推定処理において研究支援装置1は、訓練済みの学習モデル4に対象細胞画像5を与えることによって、対象細胞Ce_oが基準状態S_sにあるか否かを推定する。以下、各処理の概要を説明する。
【0037】
(機械学習処理)
研究支援装置1は、基準状態S_sにある細胞(基準細胞Ce_s)の細胞内容物が撮像された細胞画像CIである基準細胞画像2を取得する。基準状態S_sは、正常状態とも称され、例えば、試薬投入前の状態であってもよいし、偽薬で処理した状態であってもよいし、または、試薬投入後の状態であってもよい。例えば、研究支援装置1は、基準状態S_sにある(例えば、試薬を投入する前の)標本SPである基準標本SP_sを撮像した基準細胞画像2を取得する。基準標本SP_sは、基準細胞Ce_sを1つ以上の細胞を含んでおり、本実施形態において基準標本SP_sは、複数の基準細胞Ce_sを含む。
【0038】
本実施形態では、研究支援装置1は、基準細胞画像2として、基準標本SP_sを周波数w1で撮像した細胞画像CIである基準核画像2(1)、基準標本SP_sを周波数w2で撮像した細胞画像CIである基準細胞質画像2(2)、基準標本SP_sを周波数w3で撮像した細胞画像CIである基準核小体画像2(3)、基準標本SP_sを周波数w4で撮像した細胞画像CIである基準ゴルジ体画像2(4)、基準標本SP_sを周波数w5で撮像した細胞画像CIである基準ミトコンドリア画像2(5)を取得する。さらに、研究支援装置1は、基準細胞画像2として、基準標本SP_sを周波数w6で撮像した細胞画像CIである基準細胞膜画像2(6)を取得してもよい。基準核画像2(1)、基準細胞質画像2(2)、基準核小体画像2(3)、基準ゴルジ体画像2(4)、基準ミトコンドリア画像2(5)、および、基準細胞膜画像2(6)は、各々、基準標本SP_sについての、核画像CI(1)、細胞質画像CI(2)、核小体画像CI(3)、ゴルジ体画像CI(4)、ミトコンドリア画像CI(5)、および、細胞膜画像CI(6)である。
【0039】
研究支援装置1は、それぞれ、基準細胞画像2に対して、推定タスクの正解として「基準状態S_s」が対応付けられた、複数の学習データセット122を使用して、学習モデル4の機械学習を実施する。学習モデル4は、与えられた細胞画像CIを、細胞画像CIに撮像されている細胞内容物の特徴量Fcに変換する符号器41と、特徴量Fcに基づいて、細胞画像CIに撮像されている細胞内容物を含む細胞の状態を推定する推定器42と、を含む。学習モデル4(つまり、符号器41および推定器42)は、機械学習において、基準細胞画像2を符号器41に与えたときに、推定器42が「基準細胞画像2に撮像されている細胞内容物を含む細胞は基準状態S_sにある」と推定するように訓練される。
【0040】
(基準特徴量生成処理)
また、研究支援装置1は、上述の機械学習を実施することにより生成される訓練済みの符号器41に基準細胞画像2を与えて、基準細胞画像2に撮像されている細胞内容物の特徴量Fcである基準特徴量Fc_sへと変換させ、つまり、基準特徴量データ124を出力させる。
【0041】
(対象特徴量生成処理および推定処理)
研究支援装置1は、基準状態S_s(例えば、正常状態)にあるか否かを推定する対象の細胞(対象細胞Ce_o)の細胞内容物が撮像された細胞画像CIである対象細胞画像5を取得する。対象細胞Ce_oは、例えば、試薬を投入した後の細胞である。本実施形態において研究支援装置1は、対象細胞Ce_oを1つ以上含む標本SPである対象標本SP_oを撮像した対象細胞画像5を取得する。対象標本SP_oは、対象細胞Ce_oを1つ以上の細胞を含んでおり、本実施形態において対象標本SP_oは、複数の対象細胞Ce_oを含んでいる。
【0042】
本実施形態では、研究支援装置1は、対象細胞画像5として、対象標本SP_oを周波数w1で撮像した細胞画像CIである対象核画像5(1)、対象標本SP_oを周波数w2で撮像した細胞画像CIである対象細胞質画像5(2)、対象標本SP_oを周波数w3で撮像した細胞画像CIである対象核小体画像5(3)、対象標本SP_oを周波数w4で撮像した細胞画像CIである対象ゴルジ体画像5(4)、対象標本SP_oを周波数w5で撮像した細胞画像CIである対象ミトコンドリア画像5(5)を取得する。さらに、研究支援装置1は、対象細胞画像5として、対象標本SP_oを周波数w6で撮像した細胞画像CIである対象細胞膜画像5(6)を取得してもよい。対象核画像5(1)、対象細胞質画像5(2)、対象核小体画像5(3)、対象ゴルジ体画像5(4)、対象ミトコンドリア画像5(5)、および、対象細胞膜画像5(6)は、各々、対象標本SP_oについての、核画像CI(1)、細胞質画像CI(2)、核小体画像CI(3)、ゴルジ体画像CI(4)、ミトコンドリア画像CI(5)、および、細胞膜画像CI(6)である。
【0043】
基準細胞Ce_sと対象細胞Ce_oとは、同じ日に播種され、実験当日まで同一条件で培養された、同一種の細胞(比較したい条件(例えば、試薬投入の有無など)以外が同一の条件のもの)であることが望ましい。ただし、基準細胞Ce_sと対象細胞Ce_oとの関係はこれに限られるものではない。例えば、培養条件を比較したい場合には、基準細胞Ce_sは摂氏37度で培養し、対象細胞Ce_oは摂氏35度で培養してもよい。
【0044】
研究支援装置1は、取得した対象細胞画像5を、上述の機械学習を実施することにより生成される訓練済みの学習モデル4に入力することにより、対象細胞の状態を推定すると共に、対象細胞の状態を評価する際に注目すべき情報として参照情報Riを出力する。
【0045】
すなわち、研究支援装置1は、対象細胞画像5を訓練済みの符号器41に与えて、対象細胞画像5に撮像されている細胞内容物の特徴量Fcである対象特徴量Fc_oへと変換させ、つまり、対象特徴量データ224を出力させる(対象特徴量生成処理)。研究支援装置1は、基準特徴量データ124(基準特徴量Fc_s)と対象特徴量データ224(対象特徴量Fc_o)とを比較し、両者の違いを数値化して示す情報である参照情報Riを出力する。また、研究支援装置1は、対象細胞画像5を訓練済みの学習モデル4(つまり、符号器41および推定器42)に与えて、対象細胞の状態を推定し、推定結果を出力する(推定処理)。
【0046】
研究支援装置1が画像解析(機械学習処理、参照情報Riの出力処理、推定処理など)の対象とする細胞画像CIは、少なくとも核画像CI(1)を含んでいればよい。研究支援装置1にとって、画像解析の対象として、細胞質画像CI(2)、核小体画像CI(3)、ゴルジ体画像CI(4)、ミトコンドリア画像CI(5)、および、細胞膜画像CI(6)を取得することは、必須ではない。研究支援装置1は、核画像CI(1)のみを取得してもよいし、核画像CI(1)に加えて、細胞質画像CI(2)、核小体画像CI(3)、ゴルジ体画像CI(4)、ミトコンドリア画像CI(5)、および、細胞膜画像CI(6)の少なくとも1つを取得してもよい。また、研究支援装置1は、核画像CI(1)に加えて、細胞質画像CI(2)、核小体画像CI(3)、ゴルジ体画像CI(4)、ミトコンドリア画像CI(5)、および、細胞膜画像CI(6)の何れとも異なる、別の細胞内容物が撮像された細胞画像CIを取得してもよい。以下では、核画像CI(1)(具体的には、基準核画像2(1)および対象核画像5(1))を「必須細胞画像CI_md」と称することがある。また、核画像CI(1)以外の細胞画像CIを、「追加細胞画像CI_op」と称することがある。
【0047】
すなわち、学習データセット122に含まれる基準細胞画像2としては、基準核画像2(1)が必須であり、基準細胞画像2に、核以外の基準細胞Ce_sの細胞内容物が撮像された細胞画像CIを含めるか否かは任意である。例えば、基準細胞画像2に、基準細胞質画像2(2)、基準核小体画像2(3)、基準ゴルジ体画像2(4)、基準ミトコンドリア画像2(5)、および、基準細胞膜画像2(6)などを含めるか否かは任意である。以下では、基準細胞質画像2(2)、基準核小体画像2(3)、基準ゴルジ体画像2(4)、基準ミトコンドリア画像2(5)、および、基準細胞膜画像2(6)などの、核以外の基準細胞Ce_sの細胞内容物が撮像された細胞画像CIを、「追加基準画像2(x)」(xは、「2」以上の整数)と称する。
【0048】
同様に、対象細胞画像5としては、対象核画像5(1)が必須であり、対象細胞画像5に、核以外の対象細胞Ce_oの細胞内容物が撮像された細胞画像CIを含めるか否かは任意である。例えば、対象細胞画像5に、対象細胞質画像5(2)、対象核小体画像5(3)、対象ゴルジ体画像5(4)、対象ミトコンドリア画像5(5)、および、対象細胞膜画像5(6)などを含めるか否かは任意である。以下では、対象細胞質画像5(2)、対象核小体画像5(3)、対象ゴルジ体画像5(4)、対象ミトコンドリア画像5(5)、および、対象細胞膜画像5(6)などの、核以外の対象細胞Ce_oの細胞内容物が撮像された細胞画像CIを、「追加対象画像5(x)」と称する。
【0049】
なお、基準細胞画像2に含まれる追加基準画像2(x)に撮像されている細胞内容物と、対象細胞画像5に含まれる追加対象画像5(x)に撮像されている細胞内容物とは、一致させる必要がある。例えば、基準細胞画像2に基準細胞質画像2(2)が含まれる場合、対象細胞画像5は対象細胞質画像5(2)を含んでいる必要がある。同様に、基準細胞画像2に基準核小体画像2(3)が含まれる場合、対象細胞画像5は対象核小体画像5(3)を含んでいる必要がある。基準細胞画像2に基準ゴルジ体画像2(4)が含まれる場合、対象細胞画像5は対象ゴルジ体画像5(4)を含んでいる必要がある。基準細胞画像2に基準ミトコンドリア画像2(5)が含まれる場合、対象細胞画像5は対象ミトコンドリア画像5(5)を含んでいる必要がある。基準細胞画像2に基準細胞膜画像2(6)が含まれる場合、対象細胞画像5は対象細胞膜画像5(6)を含んでいる必要がある。
【0050】
核画像CI(1)(つまり、基準核画像2(1)および対象核画像5(1))は、標本SP(つまり、基準標本SP_sおよび対象標本SP_o)に含まれる1つ以上の細胞の各々の核の特徴量Fc(1)を算出するために用いられる。また、核画像CI(1)は、標本SPに含まれる1つ以上の細胞の各々の核を個別に認識するためにも用いられる。画像解析の対象とする細胞画像CIに細胞質画像CI(2)が含まれる場合(つまり、基準細胞画像2に基準細胞質画像2(2)が含まれ、かつ、対象細胞画像5に対象細胞質画像5(2)が含まれる場合)、標本SPに含まれる1つ以上の細胞の各々の細胞質も個別に認識される。標本SPに含まれる1つ以上の細胞の各々の細胞質を個別に認識するためには、標本SPに含まれる1つ以上の細胞の各々の核を個別に認識する必要がある(それぞれの細胞に核が1つしか含まれないことが前提である)。
【0051】
追加細胞画像CI_op(つまり、追加基準画像2(x)および追加対象画像5(x))は、撮像されている「標本SP(つまり、基準標本SP_sおよび対象標本SP_o)に含まれる各細胞の細胞内容物」の特徴量Fc(x)を算出するために用いられる。核画像CI(1)(つまり、基準核画像2(1)および対象核画像5(1))のみを画像解析の対象とする場合、標本SP(つまり、基準標本SP_sおよび対象標本SP_o)に含まれる各細胞の核の特徴量Fc(1)を利用することになる。核画像CI(1)に加えて、核画像CI(1)以外の細胞画像CIも画像解析の対象とすることで、各細胞の「核以外の細胞内容物」の特徴量Fc(x)を利用して、標本SP(つまり、基準標本SP_sおよび対象標本SP_o)に含まれる各細胞の状態を把握できるようになる。
【0052】
これまでに説明してきた通り、研究支援装置1は、基準細胞画像2と基準状態S_sとの組み合わせによりそれぞれ構成される複数の学習データセット122に対する機械学習により、学習モデル4を訓練する。そして、研究支援装置1は、対象細胞画像5を、訓練済みの学習モデル4に入力することにより、対象細胞の状態を推定すると共に、対象細胞の状態を評価する際に注目すべき情報として参照情報Riを出力する。そのため、研究支援装置1は、細胞の遺伝子解析を必要とすることなく、対象細胞の状態を推定すると共に、対象細胞の状態を評価する際に注目すべき情報として参照情報Riを出力することができる。以上に概要を説明してきた研究支援装置1について、以下に
図1から
図9を参照しながら、その詳細を説明していく。
【0053】
§2 構成例
[ハードウェア構成]
図1は、本実施形態に係る研究支援装置1のハードウェア構成の一例を模式的に例示する。
図1に示されるとおり、本実施形態に係る研究支援装置1は、制御部11、記憶部12、通信インタフェース13、外部インタフェース14、入力装置15、出力装置16、およびドライブ17が電気的に接続されたコンピュータである。なお、
図1では、通信インタフェースおよび外部インタフェースを「通信I/F」および「外部I/F」と記載している。
【0054】
制御部11は、ハードウェアプロセッサであるCPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を含み、プログラムおよび各種データに基づいて情報処理を実行するように構成される。CPUは、プロセッサ・リソースの一例である。プロセッサ・リソースとして、CPUに代えて、または、CPUと共に、GPU(Graphics Processing Unit)を利用してもよい。記憶部12は、メモリ・リソース(ストレージ・リソース)の一例であり、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。本実施形態では、記憶部12は、創薬研究支援プログラム121、複数の学習データセット122、学習結果データ123、基準特徴量データ124等の各種情報を記憶する。
【0055】
創薬研究支援プログラム121は、学習モデル4の機械学習処理、および、機械学習済みの学習モデル4を用いた推定処理等に関する後述の情報処理(
図5および
図6)を研究支援装置1に実行させるためのプログラムである。創薬研究支援プログラム121は、当該情報処理の一連の命令を含む。複数の学習データセット122は、学習モデル4の機械学習に使用される。各学習データセット122は、基準細胞画像2と基準状態S_sとの組み合わせにより構成される。学習結果データ123は、機械学習の結果を示すデータであり、本実施形態では、機械学習により生成された訓練済みの符号器41および推定器42に関する情報を示す。基準特徴量データ124は、機械学習により生成された訓練済みの符号器41が、基準細胞画像2の入力に対して出力する、基準細胞画像2に撮像されている細胞内容物の特徴量Fcである基準特徴量Fc_sを示すデータである。本実施形態では、学習結果データ123および基準特徴量データ124は、各々、創薬研究支援プログラム121を実行した結果として生成される。
【0056】
通信インタフェース13は、例えば、有線LAN(Local Area Network)モジュール、無線LANモジュール等であり、ネットワークを介した有線または無線通信を行うためのインタフェースである。研究支援装置1は、この通信インタフェース13を利用して、他の情報処理装置との間で、ネットワークを介したデータ通信を実行してもよい。外部インタフェース14は、例えば、USB(Universal Serial Bus)ポート、専用ポート等であり、外部装置と接続するためのインタフェースである。外部インタフェース14の種類および数は、接続される外部装置の種類および数に応じて適宜選択されてよい。基準細胞画像2、対象細胞画像5等のデータを撮像装置、データベースから取得する場合、研究支援装置1は、通信インタフェース13および外部インタフェース14の少なくとも一方を介して、対象の撮像装置、データベースに接続されてよい。
【0057】
入力装置15は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置16は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。ユーザ等のオペレータは、入力装置15および出力装置16を利用することで、研究支援装置1を操作することができる。
【0058】
ドライブ17は、例えば、CDドライブ、DVDドライブ等であり、記憶媒体91に記憶されたプログラム等の各種情報を読み込むためのドライブ装置である。記憶媒体91は、コンピュータその他装置、機械等が、記憶されたプログラム等の各種情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的または化学的作用によって蓄積する媒体である。上記創薬研究支援プログラム121、基準細胞画像2、対象細胞画像5の少なくともいずれかは、記憶媒体91に記憶されていてもよい。研究支援装置1は、この記憶媒体91から、上記創薬研究支援プログラム121、基準細胞画像2、対象細胞画像5の少なくともいずれかを取得してもよい。なお、
図1では、記憶媒体91の一例として、CD、DVD等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体91の種類は、ディスク型に限られなくてもよく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。ドライブ17の種類は、記憶媒体91の種類に応じて任意に選択されてよい。
【0059】
なお、研究支援装置1の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換および追加が可能である。例えば、プロセッサ・リソースは、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、FPGA(field-programmable gate array)、DSP(digital signal processor)等で構成されてよい。記憶部12は、制御部11に含まれるRAMおよびROMにより構成されてもよい。通信インタフェース13、外部インタフェース14、入力装置15、出力装置16およびドライブ17の少なくともいずれかは省略されてもよい。研究支援装置1は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、研究支援装置1は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、PC(Personal Computer)等であってもよい。
【0060】
[ソフトウェア構成]
図2は、本実施形態に係る研究支援装置1のソフトウェア構成の一例を模式的に例示する。研究支援装置1の制御部11は、記憶部12に記憶された創薬研究支援プログラム121をRAMに展開する。そして、制御部11は、CPUにより、RAMに展開された創薬研究支援プログラム121に含まれる命令を解釈および実行して、各構成要素を制御する。これにより、
図2に示される通り、本実施形態に係る研究支援装置1は、表示制御部111、受付部112、データチェック部113、基準画像取得部131、学習処理部132、保存処理部133、対象画像取得部141、推定部142、推定結果出力部143、特徴量比較部144、および、参照情報出力部145をソフトウェアモジュールとして備えるコンピュータとして動作する。すなわち、本実施形態では、研究支援装置1の各ソフトウェアモジュールは、制御部11(CPU)により実現される。
【0061】
表示制御部111は、
図3に例示する設定画像ImS、
図4に例示する基準登録画像ImUb、および、不図示の対象登録画像ImUoなどを、出力装置16の一例であるディスプレイ(表示装置)に表示させて、ユーザに各種の操作を促す。
【0062】
図3は、表示制御部111がディスプレイに表示させる設定画像ImSの一例を示す図である。設定画像ImSにおいてユーザは、研究支援装置1が画像解析を実行する細胞画像CIの種類を、言い換えれば、研究支援装置1が注目する細胞内容物の種類を、登録する(設定する)操作(以下、「設定操作」とも称する)を行なう。
図3に示す例では、研究支援装置1が注目する細胞内容物の種類として、「核」、「細胞質」、「核小体」、「ゴルジ体」、および、「ミトコンドリア」が登録されている。
【0063】
図4は、表示制御部111がディスプレイに表示させる基準登録画像ImUbの一例を示す図である。基準登録画像ImUbにおいてユーザは、研究支援装置1に基準細胞画像2を取得させる指示を与え、言い換えれば、研究支援装置1に基準細胞画像2を取得させる操作(以下、「基準画像アップロード操作」とも称する)を入力する。本実施形態においてユーザは、基準核画像2(1)、基準細胞質画像2(2)、基準核小体画像2(3)、基準ゴルジ体画像2(4)、および、基準ミトコンドリア画像2(5)の5つの細胞画像CIを、基準細胞画像2として準備する。そして、ユーザは、これらの5つの細胞画像CIを、基準細胞画像2として取得するよう、基準画像アップロード操作において、研究支援装置1に指示する。
【0064】
また、表示制御部111は、基準登録画像ImUbと同様の対象登録画像ImUoを、ディスプレイに表示させる。対象登録画像ImUoにおいてユーザは、研究支援装置1に対象細胞画像5を取得させる指示を与え、言い換えれば、研究支援装置1に対象細胞画像5を取得させる操作(以下、「対象画像アップロード操作」とも称する)を入力する。本実施形態においてユーザは、対象核画像5(1)、対象細胞質画像5(2)、対象核小体画像5(3)、対象ゴルジ体画像5(4)、および、対象ミトコンドリア画像5(5)の5つの細胞画像CIを、対象細胞画像5として準備する。そして、ユーザは、これらの5つの細胞画像CIを、対象細胞画像5として取得するよう、対象画像アップロード操作において、研究支援装置1に指示する。
【0065】
受付部112は、入力装置15を用いてユーザが入力した各種の操作(ユーザ操作)を受け付ける。本実施形態において受付部112は、上述の設定画像ImS、基準登録画像ImUb、および、対象登録画像ImUoなどにおいてユーザが行なった操作を受け付け、受け付けた操作に応じた処理を、研究支援装置1に実行させる。
【0066】
例えば、受付部112は、前述の設定操作を受け付けると、係る設定操作において設定された細胞内容物の種類(数)を、データチェック部113に通知する。また、受付部112は、前述の基準画像アップロード操作を受け付けると、基準細胞画像2としてユーザによって所定のフォルダ等にアップされた細胞画像CIの種類(数)を確認し、確認した細胞画像CIの種類(数)を、データチェック部113に通知する。さらに、受付部112は、前述の対象画像アップロード操作を受け付けると、対象細胞画像5としてユーザによって所定のフォルダ等にアップされた細胞画像CIの種類(数)を確認し、確認した細胞画像CIの種類(数)を、データチェック部113に通知する。
【0067】
データチェック部113は、設定操作において設定された細胞内容物の種類(数)と、ユーザがアップロードしようとしている細胞画像CIの種類(数)とに齟齬がないかをチェックし、齟齬があると、その旨をユーザに通知する(チェック処理)。
【0068】
具体的には、データチェック部113は、先ず、前述の設定操作において設定された「研究支援装置1が注目する細胞内容物の種類(数)」を確認する。また、データチェック部113は、前述の基準画像アップロード操作において基準細胞画像2として取得するよう指示された「細胞画像CIの種類(数)」を確認する。そして、両者が一致すると判定すると、データチェック部113は、基準画像取得部131に、「基準画像アップロード操作において基準細胞画像2として取得するよう指示された」細胞画像CIの取得を、指示する。両者が一致しないと判定すると、データチェック部113は、設定操作において設定された「細胞内容物の種類(数)」と、基準画像アップロード操作において基準細胞画像2として取得するよう指示された「細胞画像CIの種類(数)」とが一致しない旨を、ユーザに通知する。そして、データチェック部113は、設定操作において設定された「細胞内容物の種類(数)」と一致する種類(数)の細胞画像CIを、基準細胞画像2として提供するよう、ユーザに促す。
【0069】
例えば、前述の設定操作において「細胞内容物の種類(数)」として、核、細胞質、核小体、ゴルジ体、および、ミトコンドリアの「5」つが挙げられている場合、データチェック部113は、所定のフォルダに基準細胞画像2としてアップされた細胞画像CIが「5」つであるかを判定する。所定のフォルダに基準細胞画像2としてアップされた細胞画像CIが「5」つであると判定すると、データチェック部113は、これら5つの細胞画像CIを基準細胞画像2として取得するよう、基準画像取得部131に指示する。所定のフォルダに基準細胞画像2としてアップされた細胞画像CIが「5」つでないと判定すると、データチェック部113は、設定操作において設定された細胞画像CIの種類(数)と、所定のフォルダに基準細胞画像2として置かれた細胞画像CIの種類(数)とが一致しない旨を、ユーザに通知する。そして、データチェック部113は、設定操作において設定された「細胞内容物の種類(数)」と一致する種類(数)の細胞画像CIを、基準細胞画像2として、所定のフォルダにアップするようにユーザに促す。
【0070】
同様に、データチェック部113は、前述の対象画像アップロード操作において対象細胞画像5として取得するよう指示された「細胞画像CIの種類(数)」を確認する。そして、設定操作において設定された「細胞内容物の種類(数)」と、対象画像アップロード操作において対象細胞画像5として取得するよう指示された「細胞画像CIの種類(数)」とが一致すると判定すると、データチェック部113は、以下の処理を実行する。すなわち、データチェック部113は、対象画像取得部141に、「対象画像アップロード操作において対象細胞画像5として取得するよう指示された」細胞画像CIの取得を、指示する。両者が一致しないと判定すると、データチェック部113は、設定操作において設定された「細胞内容物の種類(数)」と、対象画像アップロード操作において対象細胞画像5として取得するよう指示された「細胞画像CIの種類(数)」とが一致しない旨を、ユーザに通知する。そして、データチェック部113は、設定操作において設定された「細胞内容物の種類(数)」と一致する種類(数)の細胞画像CIを、対象細胞画像5として提供するよう、ユーザに促す。
【0071】
ユーザは、表示制御部111がディスプレイに表示させる設定画像ImS、基準登録画像ImUb、対象登録画像ImUoに沿って操作を行なうだけで簡単に、研究支援装置1に、機械学習処理、参照情報Riの出力処理、推定処理などを実行させることができる。そのため、研究支援装置1は、従来の創薬研究支援装置よりもユーザ利便性が高い。また、データチェック部113による上述のチェック処理により、ユーザが、研究支援装置1に誤った基準細胞画像2を取得させたり、誤った対象細胞画像5を取得させたりしてしまうのを防ぐことができ、ユーザ利便性を向上させることができる。
【0072】
基準画像取得部131は、基準細胞画像2を取得し、取得した基準細胞画像2を、「基準状態S_s」と対応付けて、記憶部12に各学習データセット122として格納する(保存する)。これにより、記憶部12には、基準細胞画像2に対して「基準状態S_s」が対応付けられた、つまり、基準細胞画像2と基準状態S_sとの組み合わせにより構成される各学習データセット122が保存される。
【0073】
本実施形態において基準画像取得部131は、データチェック部113からの指示に従って、ユーザが所定のフォルダにアップした前述の5つの細胞画像CIを、基準細胞画像2として取得する。すなわち、基準画像取得部131は、基準核画像2(1)、基準細胞質画像2(2)、基準核小体画像2(3)、基準ゴルジ体画像2(4)、および、基準ミトコンドリア画像2(5)を、基準細胞画像2として取得する。基準画像取得部131は、取得した5つの細胞画像CIを、「基準状態S_s」と対応付けて、記憶部12に各学習データセット122として格納する。これにより、記憶部12には、基準核画像2(1)、基準細胞質画像2(2)、基準核小体画像2(3)、基準ゴルジ体画像2(4)、および、基準ミトコンドリア画像2(5)に対して「基準状態S_s」が対応付けられた各学習データセット122が保存される。
【0074】
学習処理部132は、記憶部12に格納されている複数の学習データセット122を使用して、学習モデル4の機械学習を実施する(機械学習処理)。上記のとおり、学習モデル4は、符号器41および推定器42を含んでいる。
【0075】
本実施形態では、符号器41は、例えば、定義済みの特徴抽出器であり、また、推定器42は、例えば、公知の異常検知モデル(機械学習モデル)である。符号器41は、細胞画像CIから、細胞画像CIに撮像されている各細胞の細胞内容物を認識し、例えば、核画像CI(1)から、標本SP中の各細胞の核を認識する。そして、符号器41は、認識した各細胞の細胞内容物の特徴量Fcを定量し、例えば、標本SP中の各細胞の核の面積などを定量する。また、異常検知モデルである推定器42は、符号器41によって定量された特徴量Fcを用いて、標本SP中の各細胞の状態を推定する。
【0076】
学習処理部132は、基準細胞画像2に対して基準状態S_sが対応付けられた各学習データセット122を使用して、符号器41に、基準標本SP_s中の基準細胞Ce_sごとの、細胞内容物の特徴量Fc(基準特徴量Fc_s)を出力させる。つまり、学習処理部132は、基準標本SP_s中の基準細胞Ce_sごとの、細胞内容物の基準特徴量Fc_sを決定する。学習処理部132は、例えば、基準核画像2(1)から、基準標本SP_s中の基準細胞Ce_sごとの、核の基準特徴量Fc_s(すなわち、基準特徴量Fc_s(1))を決定する。また、学習処理部132は、基準特徴量Fc_sを入力された推定器42が「基準細胞Ce_sは、基準状態S_sにある」と推定するように、推定器42を訓練する。すなわち、学習処理部132は、推定器42の演算パラメータの値を、基準特徴量Fc_sを入力された推定器42が「基準細胞Ce_sは、基準状態S_sにある」と推定するように、調整する。
【0077】
なお、推定器42として異常検知モデルを利用することは必須ではない。例えば、推定器42は、多層構造の全結合型ニューラルネットワークにより構成されてもよい。推定器42は、入力層、中間(隠れ)層、および、出力層を備えていてもよい。ただし、推定器42の構造は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、中間層の数は、1つに限られなくてよく、2つ以上であってもよい。或いは、推定器42は、2層以下のニューラルネットワークにより構成されてよい(すなわち、中間層は省略されてよい)。各層はそれぞれ、1または複数のニューロン(ノード)を備えている。それぞれに含まれるニューロン(ノード)の数は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。隣接する層のニューロン同士は適宜結合される。各結合には、重み(結合荷重)が設定されている。各ニューロンには閾値が設定されており、基本的には、各入力と各重みとの積の和が閾値を超えているか否かによって各ニューロンの出力が決定される。閾値は、活性化関数により表現されてもよい。この場合、各入力および各重みの積の和を活性化関数に入力し、活性化関数の演算を実行することで、各ニューロンの出力が決定される。活性化関数の種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。それぞれに含まれる各ニューロン間の結合の重みおよび各ニューロンの閾値は、それぞれの演算処理に利用される演算パラメータの一例である。学習モデル4の構成要素(具体的には、推定器42)の演算パラメータの値は、機械学習の訓練ステップにより調整される。
【0078】
(符号器についての詳細)
符号器41は、細胞画像CIを与えられると、与えられた細胞画像CIを、細胞画像CIに撮像されている細胞内容物の特徴量Fcへと変換するように構成される。前述の通り、本実施形態において符号器41は、定義済みの特徴抽出器であるが、符号器41が定義済みの特徴抽出器であることは必須ではない。符号器41は、推定器42と同様に、機械学習モデルを用いてもよい。符号器41は、推定器42が推定タスク(識別タスク)を実行するための好適な特徴量Fcを、例えば、定義済みの特徴量Fcを、出力するように、各学習データセット122を使用して学習処理部132によって訓練されてもよい。すなわち、符号器41は、学習処理部132による各学習データセット122を使用した機械学習によって構築されてもよい。同様に、本実施形態において特徴量Fcは、定義済みの特徴量Fcであるが、特徴量Fcは、推定器42が推定タスク(識別タスク)を実行するために利用可能な、定義済みの特徴量Fc以外の特徴量を含んでいてもよい。係る観点から、本実施形態において定義済みの符号器41は、「訓練済みの符号器41」と称することがある。本実施形態において符号器41は、細胞画像CIを、細胞画像CIに撮像されている細胞内容物の形態特徴量Fcfと、係る細胞内容物の輝度特徴量Fclとの少なくとも一方へと変換するように構成される。
【0079】
例えば、符号器41は、核画像CI(1)を、標本SP中の細胞ごとの、核の形態特徴量Fcf(1)および輝度特徴量Fcl(1)へと変換する。同様に、符号器41は、細胞質画像CI(2)を、標本SP中の細胞ごとの、細胞質の形態特徴量Fcf(2)および輝度特徴量Fcl(2)へと変換する。符号器41は、核小体画像CI(3)を、標本SP中の細胞ごとの、核小体の形態特徴量Fcf(3)および輝度特徴量Fcl(3)へと変換する。符号器41は、ゴルジ体画像CI(4)を、標本SP中の細胞ごとの、ゴルジ体の形態特徴量Fcf(4)および輝度特徴量Fcl(4)へと変換する。符号器41は、ミトコンドリア画像CI(5)を、標本SP中の細胞ごとの、ミトコンドリアの形態特徴量Fcf(5)および輝度特徴量Fcl(5)へと変換する。
【0080】
「細胞内容物の形態特徴量Fcf」は、細胞画像CIに撮像されている細胞内容物の面積、係る細胞内容物と同じ面積を有する円の直径、係る細胞内容物の長径、係る細胞内容物の短径、係る細胞内容物の離心率、係る細胞内容物の周囲径の少なくとも1つを含む。当該構成では、研究支援装置1は、細胞画像CIに撮像されている細胞内容物の面積、係る細胞内容物と同じ面積を有する円の直径、係る細胞内容物の長径、係る細胞内容物の短径、係る細胞内容物の離心率、係る細胞内容物の周囲径の少なくとも1つを、係る細胞内容物の形態特徴量Fcfとして考慮して、機械学習処理および推定処理を実行することができる。
【0081】
例えば、符号器41は、核画像CI(1)から、標本SP中の細胞ごとの、核の形態特徴量Fcf(1)として、係る核の、「面積」、「同じ面積を有する円の直径」、「長径」、「短径」、「離心率」、「周囲径」を算出する(生成する)。同様に、符号器41は、細胞質画像CI(2)から、標本SP中の細胞ごとの、細胞質の形態特徴量Fcf(2)として、係る細胞質の、「面積」、「同じ面積を有する円の直径」、「長径」、「短径」、「離心率」、「周囲径」を算出する。符号器41は、核小体画像CI(3)から、標本SP中の細胞ごとの、核小体の形態特徴量Fcf(3)として、係る核小体の、「面積」、「同じ面積を有する円の直径」、「長径」、「短径」、「離心率」、「周囲径」を算出する。符号器41は、ゴルジ体画像CI(4)から、標本SP中の細胞ごとの、ゴルジ体の形態特徴量Fcf(4)として、係るゴルジ体の、「面積」、「同じ面積を有する円の直径」、「長径」、「短径」、「離心率」、「周囲径」を算出する。符号器41は、ミトコンドリア画像CI(5)から、標本SP中の細胞ごとの、ミトコンドリアの形態特徴量Fcf(5)として、係るミトコンドリアの、「面積」、「同じ面積を有する円の直径」、「長径」、「短径」、「離心率」、「周囲径」を算出する。
【0082】
「細胞内容物の輝度特徴量Fcl」は、細胞画像CIに撮像されている細胞内容物の輝度の平均を含む。当該構成では、研究支援装置1は、細胞画像CIに撮像されている細胞内容物の輝度の平均を、係る細胞内容物の輝度特徴量Fclとして考慮して、機械学習処理および推定処理を実行することができる。
【0083】
本実施形態において符号器41は、核画像CI(1)から、標本SP中の細胞ごとの、核の輝度特徴量Fcl(1)として、細胞ごとの核の平均輝度Al_w1_核を算出する(生成する)。同様に、符号器41は、細胞質画像CI(2)から、標本SP中の細胞ごとの、細胞質の輝度特徴量Fcl(2)として、細胞ごとの細胞質の平均輝度Al_w2_細胞質を算出する。符号器41は、核小体画像CI(3)から、標本SP中の細胞ごとの、核小体の輝度特徴量Fcl(3)として、細胞ごとの核小体の平均輝度Al_w3_核小体を算出する。符号器41は、ゴルジ体画像CI(4)から、標本SP中の細胞ごとの、ゴルジ体の輝度特徴量Fcl(4)として、細胞ごとのゴルジ体の平均輝度Al_w4_ゴルジ体を算出する。符号器41は、ミトコンドリア画像CI(5)から、標本SP中の細胞ごとの、ミトコンドリアの輝度特徴量Fcl(5)として、細胞ごとのミトコンドリアの平均輝度Al_w5_ミトコンドリアを算出する。
【0084】
本実施形態における符号器41は、細胞ごとの細胞内容物の輝度特徴量Fclとして、さらに、各細胞画像CIから、各細胞内容物が撮像されている領域に対応する領域の平均輝度を算出する(生成する)。例えば、符号器41は、細胞質画像CI(2)から、細胞質画像CI(2)の「核画像CI(1)において核が撮像されている領域に対応する領域」の平均輝度Al_w2_核を算出する。符号器41は、核小体画像CI(3)から、核小体画像CI(3)の「核画像CI(1)において核が撮像されている領域に対応する領域」の平均輝度Al_w3_核を算出する。符号器41は、ゴルジ体画像CI(4)から、ゴルジ体画像CI(4)の「核画像CI(1)において核が撮像されている領域に対応する領域」の平均輝度Al_w4_核を算出する。符号器41は、ミトコンドリア画像CI(5)から、ミトコンドリア画像CI(5)の「核画像CI(1)において核が撮像されている領域に対応する領域」の平均輝度Al_w5_核を算出する。
【0085】
符号器41は、核画像CI(1)から、核画像CI(1)の「細胞質画像CI(2)において細胞質が撮像されている領域に対応する領域」ごとの平均輝度Al_w1_細胞質を算出する。符号器41は、核小体画像CI(3)から、核小体画像CI(3)の「細胞質画像CI(2)において細胞質が撮像されている領域に対応する領域」ごとの平均輝度Al_w3_細胞質を算出する。符号器41は、ゴルジ体画像CI(4)から、ゴルジ体画像CI(4)の「細胞質画像CI(2)において細胞質が撮像されている領域に対応する領域」ごとの平均輝度Al_w4_細胞質を算出する。符号器41は、ミトコンドリア画像CI(5)から、ミトコンドリア画像CI(5)の「細胞質画像CI(2)において細胞質が撮像されている領域に対応する領域」ごとの平均輝度Al_w5_細胞質を算出する。
【0086】
同様に、符号器41は、核画像CI(1)、細胞質画像CI(2)、ゴルジ体画像CI(4)、ミトコンドリア画像CI(5)の各々から、「核小体画像CI(3)において核小体が撮像されている領域に対応する領域」ごとの平均輝度Al_w1_核小体、平均輝度Al_w2_核小体、平均輝度Al_w4_核小体、平均輝度Al_w5_核小体を算出する。また、符号器41は、核画像CI(1)、細胞質画像CI(2)、核小体画像CI(3)、ミトコンドリア画像CI(5)の各々から、「ゴルジ体画像CI(4)においてゴルジ体が撮像されている領域に対応する領域」ごとの平均輝度Al_w1_ゴルジ体、平均輝度Al_w2_ゴルジ体、平均輝度Al_w3_ゴルジ体、平均輝度Al_w5_ゴルジ体を算出する。さらに、符号器41は、核画像CI(1)、細胞質画像CI(2)、核小体画像CI(3)、ゴルジ体画像CI(4)の各々から、「ミトコンドリア画像CI(5)においてミトコンドリアが撮像されている領域に対応する領域」ごとの平均輝度Al_w1_ミトコンドリア、平均輝度Al_w2_ミトコンドリア、平均輝度Al_w3_ミトコンドリア、平均輝度Al_w4_ミトコンドリアを算出する。
【0087】
以上に説明した通り、本実施形態において核の輝度特徴量Fcl(1)は、標本SP中の細胞ごとの核の平均輝度Al_w1_核に加えて、核画像CI(1)以外の、各細胞画像CIの「核画像CI(1)において核が撮像されている領域に対応する領域」ごとの平均輝度Al_w2_核、Al_w3_核、Al_w4_核、Al_w5_核を含む。同様に、細胞質の輝度特徴量Fcl(2)は、標本SP中の細胞ごとの細胞質の平均輝度Al_w2_細胞質に加えて、細胞質画像CI(2)以外の、各細胞画像CIの「細胞質画像CI(2)において細胞質が撮像されている領域に対応する領域」ごとの平均輝度Al_w1_細胞質、Al_w3_細胞質、Al_w4_細胞質、Al_w5_細胞質を含む。核小体の輝度特徴量Fcl(3)は、標本SP中の細胞ごとの核小体の平均輝度Al_w3_核小体に加えて、核小体画像CI(3)以外の、各細胞画像CIの「核小体画像CI(3)において核小体が撮像されている領域に対応する領域」ごとの平均輝度Al_w1_核小体、Al_w2_核小体、Al_w4_核小体、Al_w5_核小体を含む。ゴルジ体の輝度特徴量Fcl(4)は、標本SP中の細胞ごとのゴルジ体の平均輝度Al_w4_ゴルジ体に加えて、ゴルジ体画像CI(4)以外の、各細胞画像CIの「ゴルジ体画像CI(4)においてゴルジ体が撮像されている領域に対応する領域」ごとの平均輝度Al_w1_ゴルジ体、Al_w2_ゴルジ体、Al_w3_ゴルジ体、Al_w5_ゴルジ体を含む。ミトコンドリアの輝度特徴量Fcl(5)は、標本SP中の細胞ごとのミトコンドリアの平均輝度Al_w5_ミトコンドリアに加えて、ミトコンドリア画像CI(5)以外の、各細胞画像CIの「ミトコンドリア画像CI(5)においてミトコンドリアが撮像されている領域に対応する領域」ごとの平均輝度Al_w1_ミトコンドリア、Al_w2_ミトコンドリア、Al_w3_ミトコンドリア、Al_w4_ミトコンドリアを含む。
【0088】
(推定器についての詳細)
推定器42は、符号器41から特徴量Fcの入力を受け付け、入力された特徴量Fcに基づいて、細胞画像CIに撮像されている核などの細胞内容物を含む細胞の状態を推定するように構成される。本実施形態において推定器42は、細胞画像CIに撮像されている細胞内容物の形態特徴量Fcfおよび輝度特徴量Fclから、細胞画像CIに撮像されている細胞内容物を含む細胞が、基準状態S_sにあるか否かを推定する。
【0089】
学習処理部132は、複数の学習データセット122に対する機械学習により、符号器41と推定器42とを含む学習モデル4を訓練する。前述の通り、各学習データセット122は、基準細胞画像2と基準状態S_sとの組み合わせによりそれぞれ構成される。
【0090】
図5は、学習処理部132による準備処理(機械学習処理および基準特徴量生成処理)の過程の一例を模式的に例示する。本実施形態において、機械学習を実施することは、以下の訓練ステップを含む。すなわち、機械学習を実施することは、基準細胞画像2を符号器41に与えたときに、推定器42が「基準細胞画像2に撮像されている細胞内容物を含む細胞は、基準状態S_sにある」と推定するように、符号器41と推定器42とを訓練する訓練ステップを含む。
【0091】
符号器41は、基準細胞画像2を、基準細胞画像2に撮像されている細胞内容物の基準特徴量Fc_sへと変換する。本実施形態において符号器41は、基準細胞画像2を、基準標本SP_s中の基準細胞Ce_sごとの、各細胞内容物の基準形態特徴量Fcf_sおよび基準輝度特徴量Fcl_sへと変換する。
【0092】
図5に示す例では、符号器41には、基準細胞画像2として、基準核画像2(1)、基準細胞質画像2(2)、基準核小体画像2(3)、基準ゴルジ体画像2(4)、および、基準ミトコンドリア画像2(5)が与えられる。符号器41は、与えられた基準核画像2(1)を、核の基準特徴量Fc_s(1)へと変換し、具体的には、基準標本SP_s中の基準細胞Ce_sごとの、核の基準形態特徴量Fcf_s(1)および基準輝度特徴量Fcl_s(1)(特に、基準平均輝度Al_w1_核_s)へと変換する。符号器41は、与えられた基準細胞質画像2(2)を、細胞質の基準特徴量Fc_s(2)へと変換し、具体的には、基準標本SP_s中の基準細胞Ce_sごとの、細胞質の基準形態特徴量Fcf_s(2)および基準輝度特徴量Fcl_s(2)(特に、基準平均輝度Al_w2_細胞質_s)へと変換する。符号器41は、与えられた基準核小体画像2(3)を、核小体の基準特徴量Fc_s(3)へと変換し、具体的には、基準標本SP_s中の基準細胞Ce_sごとの、核小体の基準形態特徴量Fcf_s(3)および基準輝度特徴量Fcl_s(3)(特に、基準平均輝度Al_w3_核小体_s)へと変換する。符号器41は、与えられた基準ゴルジ体画像2(4)を、ゴルジ体の基準特徴量Fc_s(4)へと変換し、具体的には、基準標本SP_s中の基準細胞Ce_sごとの、ゴルジ体の基準形態特徴量Fcf_s(4)および基準輝度特徴量Fcl_s(4)(特に、基準平均輝度Al_w4_ゴルジ体_s)へと変換する。符号器41は、与えられた基準ミトコンドリア画像2(5)を、ミトコンドリアの基準特徴量Fc_s(5)へと変換し、具体的には、基準標本SP_s中の基準細胞Ce_sごとの、ミトコンドリアの基準形態特徴量Fcf_s(5)および基準輝度特徴量Fcl_s(5)(特に、基準平均輝度Al_w5_ミトコンドリア_s)へと変換する。
【0093】
(基準細胞の各細胞内容物の形態特徴量について)
核の基準形態特徴量Fcf_s(1)は、基準標本SP_s中の基準細胞Ce_sごとの、核の「同面積の円の直径」、「面積」、「長径」、「離心率」、「周囲径」、「短径」の少なくとも1つである。細胞質の基準形態特徴量Fcf_s(2)は、基準標本SP_s中の基準細胞Ce_sごとの、細胞質の「同面積の円の直径」、「面積」、「長径」、「離心率」、「周囲径」、「短径」の少なくとも1つである。核小体の基準形態特徴量Fcf_s(3)は、基準標本SP_s中の基準細胞Ce_sごとの、核小体の「同面積の円の直径」、「面積」、「長径」、「離心率」、「周囲径」、「短径」の少なくとも1つである。ゴルジ体の基準形態特徴量Fcf_s(4)は、基準標本SP_s中の基準細胞Ce_sごとの、ゴルジ体の「同面積の円の直径」、「面積」、「長径」、「離心率」、「周囲径」、「短径」の少なくとも1つである。ミトコンドリアの基準形態特徴量Fcf_s(5)は、基準標本SP_s中の基準細胞Ce_sごとの、ミトコンドリアの「同面積の円の直径」、「面積」、「長径」、「離心率」、「周囲径」、「短径」の少なくとも1つである。
【0094】
(基準細胞の各細胞内容物の輝度特徴量について)
符号器41は、基準細胞質画像2(2)、基準核小体画像2(3)、基準ゴルジ体画像2(4)、基準ミトコンドリア画像2(5)の各々から、「基準核画像2(1)において核が撮像されている領域に対応する領域」ごとの基準平均輝度Al_w2_核_s、基準平均輝度Al_w3_核_s、基準平均輝度Al_w4_核_s、基準平均輝度Al_w5_核_sを算出する。そのため、基準標本SP_s中の基準細胞Ce_sごとの、核の基準輝度特徴量Fcl_s(1)は、基準平均輝度Al_w1_核_s、基準平均輝度Al_w2_核_s、基準平均輝度Al_w3_核_s、基準平均輝度Al_w4_核_s、基準平均輝度Al_w5_核_sを含む。符号器41は、基準核画像2(1)、基準核小体画像2(3)、基準ゴルジ体画像2(4)、基準ミトコンドリア画像2(5)の各々から、「基準細胞質画像2(2)において細胞質が撮像されている領域に対応する領域」ごとの基準平均輝度Al_w1_細胞質_s、基準平均輝度Al_w3_細胞質_s、基準平均輝度Al_w4_細胞質_s、基準平均輝度Al_w5_細胞質_sを算出する。そのため、基準標本SP_s中の基準細胞Ce_sごとの、細胞質の基準輝度特徴量Fcl_s(2)は、基準平均輝度Al_w1_細胞質_s、基準平均輝度Al_w2_細胞質_s、基準平均輝度Al_w3_細胞質_s、基準平均輝度Al_w4_細胞質_s、基準平均輝度Al_w5_細胞質_sを含む。符号器41は、基準核画像2(1)、基準細胞質画像2(2)、基準ゴルジ体画像2(4)、基準ミトコンドリア画像2(5)の各々から、「基準核小体画像2(3)において核小体が撮像されている領域に対応する領域」ごとの基準平均輝度Al_w1_核小体_s、基準平均輝度Al_w2_核小体_s、基準平均輝度Al_w4_核小体_s、基準平均輝度Al_w5_核小体_sを算出する。そのため、基準標本SP_s中の基準細胞Ce_sごとの、核小体の基準輝度特徴量Fcl_s(3)は、基準平均輝度Al_w1_核小体_s、基準平均輝度Al_w2_核小体_s、基準平均輝度Al_w3_核小体_s、基準平均輝度Al_w4_核小体_s、基準平均輝度Al_w5_核小体_sを含む。符号器41は、基準核画像2(1)、基準細胞質画像2(2)、基準核小体画像2(3)、基準ミトコンドリア画像2(5)の各々から、「基準ゴルジ体画像2(4)においてゴルジ体が撮像されている領域に対応する領域」ごとの基準平均輝度Al_w1_ゴルジ体_s、基準平均輝度Al_w2_ゴルジ体_s、基準平均輝度Al_w3_ゴルジ体_s、基準平均輝度Al_w5_ゴルジ体_sを算出する。そのため、基準標本SP_s中の基準細胞Ce_sごとの、ゴルジ体の基準輝度特徴量Fcl_s(4)は、基準平均輝度Al_w1_ゴルジ体_s、基準平均輝度Al_w2_ゴルジ体_s、基準平均輝度Al_w3_ゴルジ体_s、基準平均輝度Al_w4_ゴルジ体_s、基準平均輝度Al_w5_ゴルジ体_sを含む。符号器41は、基準核画像2(1)、基準細胞質画像2(2)、基準核小体画像2(3)、基準ゴルジ体画像2(4)の各々から、「基準ミトコンドリア画像2(5)においてミトコンドリアが撮像されている領域に対応する領域」ごとの基準平均輝度Al_w1_ミトコンドリア_s、基準平均輝度Al_w2_ミトコンドリア_s、基準平均輝度Al_w3_ミトコンドリア_s、基準平均輝度Al_w4_ミトコンドリア_sを算出する。そのため、基準標本SP_s中の基準細胞Ce_sごとの、ミトコンドリアの基準輝度特徴量Fcl_s(5)は、基準平均輝度Al_w1_ミトコンドリア_s、基準平均輝度Al_w2_ミトコンドリア_s、基準平均輝度Al_w3_ミトコンドリア_s、基準平均輝度Al_w4_ミトコンドリア_s、基準平均輝度Al_w5_ミトコンドリア_sを含む。
【0095】
推定器42は、符号器41の出力した基準特徴量Fc_s(1)(具体的には、基準形態特徴量Fcf_s(1)および基準輝度特徴量Fcl_s(1))~基準特徴量Fc_s(5)(具体的には、基準形態特徴量Fcf_s(5)および基準輝度特徴量Fcl_s(5))を入力として受け付けて推定タスクを実行する。つまり、推定器42は、基準特徴量Fc_s(1)~基準特徴量Fc_s(5)から、「基準細胞Ce_sが基準状態S_sにあるか否か」を推定する。
【0096】
前述の通り訓練ステップは、基準細胞画像2を符号器41に与えたときに、推定器42が「基準細胞Ce_sは、基準状態S_sにある」と推定するように、推定器42を訓練する。すなわち、定義済みの特徴抽出器である符号器41は、基準細胞画像2から、基準標本SP_s中の基準細胞Ce_sごとの、細胞内容物の基準特徴量Fc_sを出力する。推定器42は、符号器41により得られる特徴量Fc(基準特徴量Fc_s)に基づいて推定する基準細胞Ce_sの状態が、正解データである「基準状態S_s」に適合(一致)するように、訓練される。係る訓練ステップにより、推定器42は、符号器41により得られる特徴量Fcから推定タスクを遂行する能力を獲得する。学習処理部132は、このような機械学習処理を実施することによって、言い換えれば上述の訓練ステップを実行することによって、訓練済みの学習モデル4(特に、訓練済みの推定器42)を生成する。
【0097】
また、学習処理部132は、訓練済み(定義済みの)の符号器41に基準細胞画像2を与えて、基準細胞画像2に撮像されている細胞内容物の特徴量Fcを、基準特徴量Fc_sとして出力させる(基準特徴量生成処理)。本実施形態において学習処理部132は、訓練済みの符号器41に基準細胞画像2を与えて、基準標本SP_sに含まれる基準細胞Ce_sごとの、各細胞内容物の基準形態特徴量Fcf_sと、各細胞内容物の基準輝度特徴量Fcl_sとを出力させる。訓練済みの符号器41に基準細胞画像2を与えて生成される基準特徴量Fc_s(つまり、基準形態特徴量Fcf_sおよび基準輝度特徴量Fcl_s)は前述の通りなので、再度の説明は省略する。
【0098】
保存処理部133は、訓練済みの学習モデル4に関する情報を学習結果データ123として生成する。例えば、保存処理部133は、訓練済みの学習モデル4(特に、推定器42)を再現可能な情報を、具体的には、訓練済みの推定器42の構造および演算パラメータの値を示す情報を学習結果データ123として生成する。本実施形態においては研究支援装置1内でモデルの構造が共通化されるため、この構造に関する情報は学習結果データ123から省略されてもよい。また、利用場面で使用されない情報は、学習結果データ123から省略されてよい。保存処理部133は、生成された学習結果データ123を所定の記憶領域に保存し、本実施形態においては記憶部12に保存する。
【0099】
また、保存処理部133は、基準細胞画像2を訓練済みの符号器41に与えて符号器41に出力させた基準特徴量Fc_sを、記憶部12に、基準特徴量データ124として格納する。本実施形態において基準特徴量データ124には、基準標本SP_s中の基準細胞Ce_sごとの、各細胞内容物の基準特徴量Fc_sの分布を示す基準特徴量分布Dfc_sが含まれる。すなわち、基準特徴量データ124には、基準標本SP_s中の基準細胞Ce_sごとの、各細胞内容物の基準形態特徴量Fcf_sの分布を示す基準形態特徴量分布Dfcf_sと、基準標本SP_s中の基準細胞Ce_sごとの、各細胞内容物の基準輝度特徴量Fcl_sの分布を示す基準輝度特徴量分布Dfcl_sとが含まれる。
【0100】
具体的には、基準特徴量データ124には、基準標本SP_s中の基準細胞Ce_sごとの、核の基準形態特徴量Fcf_s(1)の分布を示す基準形態特徴量分布Dfcf_s(1)と、核の基準輝度特徴量Fcl_s(1)の分布を示す基準輝度特徴量分布Dfcl_s(1)とが含まれる。また、基準特徴量データ124には、基準標本SP_s中の基準細胞Ce_sごとの、細胞質の基準形態特徴量Fcf_s(2)の分布を示す基準形態特徴量分布Dfcf_s(2)と、細胞質の基準輝度特徴量Fcl_s(2)の分布を示す基準輝度特徴量分布Dfcl_s(2)とが含まれる。同様に、基準特徴量データ124には、基準標本SP_s中の基準細胞Ce_sごとの、核小体の基準形態特徴量Fcf_s(3)の分布を示す基準形態特徴量分布Dfcf_s(3)と、核小体の基準輝度特徴量Fcl_s(3)の分布を示す基準輝度特徴量分布Dfcl_s(3)とが含まれる。基準特徴量データ124には、基準標本SP_s中の基準細胞Ce_sごとの、ゴルジ体の基準形態特徴量Fcf_s(4)の分布を示す基準形態特徴量分布Dfcf_s(4)と、ゴルジ体の基準輝度特徴量Fcl_s(4)の分布を示す基準輝度特徴量分布Dfcl_s(4)とが含まれる。基準特徴量データ124には、基準標本SP_s中の基準細胞Ce_sごとの、ミトコンドリアの基準形態特徴量Fcf_s(5)の分布を示す基準形態特徴量分布Dfcf_s(5)と、ミトコンドリアの基準輝度特徴量Fcl_s(5)の分布を示す基準輝度特徴量分布Dfcl_s(5)とが含まれる。
【0101】
対象画像取得部141は、推定タスクの遂行対象となる細胞画像CIとして対象細胞画像5を取得し、取得した対象細胞画像5を、推定部142に出力する。本実施形態において対象画像取得部141は、データチェック部113からの指示に従って、ユーザが所定のフォルダにアップした前述の5つの細胞画像CIを、対象細胞画像5として取得する。すなわち、対象画像取得部141は、対象核画像5(1)、対象細胞質画像5(2)、対象核小体画像5(3)、対象ゴルジ体画像5(4)、および、対象ミトコンドリア画像5(5)を、対象細胞画像5として取得する。
【0102】
推定部142は、学習処理部132により生成された訓練済みの機械学習モデル(学習モデル4)を使用して、取得された対象細胞画像5に対する推定タスクの遂行などの処理を実行する。本実施形態において推定部142は、学習結果データ123を保持することで、学習処理部132により生成された訓練済みの符号器41および推定器42を備えている。
【0103】
図6は、推定部142による適用処理(対象特徴量生成処理および推定処理)の過程の一例を模式的に例示する。推定部142は、訓練済みの符号器41および推定器42を使用して、取得された対象細胞画像5に対して推定タスクを遂行し、つまり、対象細胞画像5に撮像されている細胞内容物を含む対象細胞Ce_oが基準状態S_sにあるか否かを推定する(推定処理)。推定部142は、推定タスクの遂行結果を、推定結果出力部143に通知する。
【0104】
また、推定部142は、訓練済みの符号器41に対象細胞画像5を与えて、対象細胞画像5に撮像されている細胞内容物の特徴量Fc(対象特徴量Fc_o)を出力させる。本実施形態において、訓練済みの符号器41は、対象細胞画像5を、対象標本SP_o中の対象細胞Ce_oごとの、各細胞内容物の対象形態特徴量Fcf_oおよび対象輝度特徴量Fcl_oへと変換する(対象特徴量生成処理)。推定部142は、訓練済みの符号器41に出力させた「対象細胞画像5に撮像されている細胞内容物の対象特徴量Fc_o」を示すデータを、対象特徴量データ224として、特徴量比較部144に通知する。
【0105】
例えば、推定部142は、訓練済みの符号器41に、対象核画像5(1)、対象細胞質画像5(2)、対象核小体画像5(3)、対象ゴルジ体画像5(4)、および、対象ミトコンドリア画像5(5)を、与える。訓練済みの符号器41は、与えられた対象核画像5(1)を、核の対象特徴量Fc_o(1)へと変換し、具体的には、対象標本SP_o中の対象細胞Ce_oごとの、核の対象形態特徴量Fcf_o(1)および対象輝度特徴量Fcl_o(1)(特に、対象平均輝度Al_w1_核_o)へと変換する。訓練済みの符号器41は、与えられた基準細胞質画像2(2)を、細胞質の対象特徴量Fc_o(2)へと変換し、具体的には、対象標本SP_o中の対象細胞Ce_oごとの、細胞質の対象形態特徴量Fcf_o(2)および対象輝度特徴量Fcl_o(2)(特に、対象平均輝度Al_w2_細胞質_o)へと変換する。訓練済みの符号器41は、与えられた基準核小体画像2(3)を、核小体の対象特徴量Fc_o(3)へと変換し、具体的には、対象標本SP_o中の対象細胞Ce_oごとの、核小体の対象形態特徴量Fcf_o(3)および対象輝度特徴量Fcl_o(3)(特に、対象平均輝度Al_w3_核小体_o)へと変換する。訓練済みの符号器41は、与えられた基準ゴルジ体画像2(4)を、ゴルジ体の対象特徴量Fc_o(4)へと変換し、具体的には、対象標本SP_o中の対象細胞Ce_oごとの、ゴルジ体の対象形態特徴量Fcf_o(4)および対象輝度特徴量Fcl_o(4)(特に、対象平均輝度Al_w4_ゴルジ体_o)へと変換する。訓練済みの符号器41は、与えられた基準ミトコンドリア画像2(5)を、ミトコンドリアの対象特徴量Fc_o(5)へと変換し、具体的には、対象標本SP_o中の対象細胞Ce_oごとの、ミトコンドリアの対象形態特徴量Fcf_o(5)および対象輝度特徴量Fcl_o(5)(特に、対象平均輝度Al_w5_ミトコンドリア_o)へと変換する。
【0106】
訓練済みの符号器41は、対象細胞質画像5(2)、対象核小体画像5(3)、対象ゴルジ体画像5(4)、対象ミトコンドリア画像5(5)の各々から、「対象核画像5(1)において核が撮像されている領域に対応する領域」ごとの対象平均輝度Al_w2_核_o、対象平均輝度Al_w3_核_o、対象平均輝度Al_w4_核_o、対象平均輝度Al_w5_核_oを算出する。そのため、対象標本SP_o中の対象細胞Ce_oごとの、核の対象輝度特徴量Fcl_o(1)は、対象平均輝度Al_w1_核_o、対象平均輝度Al_w2_核_o、対象平均輝度Al_w3_核_o、対象平均輝度Al_w4_核_o、対象平均輝度Al_w5_核_oを含む。訓練済みの符号器41は、対象核画像5(1)、対象核小体画像5(3)、対象ゴルジ体画像5(4)、対象ミトコンドリア画像5(5)の各々から、「対象細胞質画像5(2)において細胞質が撮像されている領域に対応する領域」ごとの対象平均輝度Al_w1_細胞質_o、対象平均輝度Al_w3_細胞質_o、対象平均輝度Al_w4_細胞質_o、対象平均輝度Al_w5_細胞質_oを算出する。そのため、対象標本SP_o中の対象細胞Ce_oごとの、細胞質の対象輝度特徴量Fcl_o(2)は、対象平均輝度Al_w1_細胞質_o、対象平均輝度Al_w2_細胞質_o、対象平均輝度Al_w3_細胞質_o、対象平均輝度Al_w4_細胞質_o、対象平均輝度Al_w5_細胞質_oを含む。訓練済みの符号器41は、対象核画像5(1)、対象細胞質画像5(2)、対象ゴルジ体画像5(4)、対象ミトコンドリア画像5(5)の各々から、「対象核小体画像5(3)において核小体が撮像されている領域に対応する領域」ごとの対象平均輝度Al_w1_核小体_o、対象平均輝度Al_w2_核小体_o、対象平均輝度Al_w4_核小体_o、対象平均輝度Al_w5_核小体_oを算出する。そのため、対象標本SP_o中の対象細胞Ce_oごとの、核小体の対象輝度特徴量Fcl_o(3)は、対象平均輝度Al_w1_核小体_o、対象平均輝度Al_w2_核小体_o、対象平均輝度Al_w3_核小体_o、対象平均輝度Al_w4_核小体_o、対象平均輝度Al_w5_核小体_oを含む。訓練済みの符号器41は、対象核画像5(1)、対象細胞質画像5(2)、対象核小体画像5(3)、対象ミトコンドリア画像5(5)の各々から、「対象ゴルジ体画像5(4)においてゴルジ体が撮像されている領域に対応する領域」ごとの対象平均輝度Al_w1_ゴルジ体_o、対象平均輝度Al_w2_ゴルジ体_o、対象平均輝度Al_w3_ゴルジ体_o、対象平均輝度Al_w5_ゴルジ体_oを算出する。そのため、対象標本SP_o中の対象細胞Ce_oごとの、ゴルジ体の対象輝度特徴量Fcl_o(4)は、対象平均輝度Al_w1_ゴルジ体_o、対象平均輝度Al_w2_ゴルジ体_o、対象平均輝度Al_w3_ゴルジ体_o、対象平均輝度Al_w4_ゴルジ体_o、対象平均輝度Al_w5_ゴルジ体_oを含む。訓練済みの符号器41は、対象核画像5(1)、対象細胞質画像5(2)、対象核小体画像5(3)、対象ゴルジ体画像5(4)の各々から、「対象ミトコンドリア画像5(5)においてミトコンドリアが撮像されている領域に対応する領域」ごとの対象平均輝度Al_w1_ミトコンドリア_o、対象平均輝度Al_w2_ミトコンドリア_o、対象平均輝度Al_w3_ミトコンドリア_o、対象平均輝度Al_w4_ミトコンドリア_oを算出する。そのため、対象標本SP_o中の対象細胞Ce_oごとの、ミトコンドリアの対象輝度特徴量Fcl_o(5)は、対象平均輝度Al_w1_ミトコンドリア_o、対象平均輝度Al_w2_ミトコンドリア_o、対象平均輝度Al_w3_ミトコンドリア_o、対象平均輝度Al_w4_ミトコンドリア_o、対象平均輝度Al_w5_ミトコンドリア_oを含む。
【0107】
本実施形態において対象特徴量データ224には、対象標本SP_o中の対象細胞Ce_oごとの、各細胞内容物の対象特徴量Fc_oの分布を示す対象特徴量分布Dfc_oが含まれる。すなわち、対象特徴量データ224には、対象標本SP_o中の対象細胞Ce_oごとの、各細胞内容物の対象形態特徴量Fcf_oの分布を示す対象形態特徴量分布Dfcf_oと、対象標本SP_o中の対象細胞Ce_oごとの、各細胞内容物の対象輝度特徴量Fcl_oの分布を示す対象輝度特徴量分布Dfcl_oとが含まれる。
【0108】
具体的には、対象特徴量データ224には、対象標本SP_o中の対象細胞Ce_oごとの、核の対象形態特徴量Fcf_o(1)の分布を示す対象形態特徴量分布Dfcf_o(1)と、核の対象輝度特徴量Fcl_o(1)の分布を示す対象輝度特徴量分布Dfcl_o(1)とが含まれる。また、対象特徴量データ224には、対象標本SP_o中の対象細胞Ce_oごとの、細胞質の対象形態特徴量Fcf_o(2)の分布を示す対象形態特徴量分布Dfcf_o(2)と、細胞質の対象輝度特徴量Fcl_o(2)の分布を示す対象輝度特徴量分布Dfcl_o(2)とが含まれる。同様に、対象特徴量データ224には、対象標本SP_o中の対象細胞Ce_oごとの、核小体の対象形態特徴量Fcf_o(3)の分布を示す対象形態特徴量分布Dfcf_o(3)と、核小体の対象輝度特徴量Fcl_o(3)の分布を示す対象輝度特徴量分布Dfcl_o(3)とが含まれる。対象特徴量データ224には、対象標本SP_o中の対象細胞Ce_oごとの、ゴルジ体の対象形態特徴量Fcf_o(4)の分布を示す対象形態特徴量分布Dfcf_o(4)と、ゴルジ体の対象輝度特徴量Fcl_o(4)の分布を示す対象輝度特徴量分布Dfcl_o(4)とが含まれる。対象特徴量データ224には、対象標本SP_o中の対象細胞Ce_oごとの、ミトコンドリアの対象形態特徴量Fcf_o(5)の分布を示す対象形態特徴量分布Dfcf_o(5)と、ミトコンドリアの対象輝度特徴量Fcl_o(5)の分布を示す対象輝度特徴量分布Dfcl_o(5)とが含まれる。
【0109】
推定結果出力部143は、推定タスクの遂行結果に関する情報を出力し、例えば、推定部142による「対象細胞Ce_oが基準状態S_sにあるか否か」についての推定の結果を出力する。本実施形態において、推定結果出力部143は、「対象細胞Ce_oが基準状態S_sにあるか否か」についての推定結果を示す推定結果画像を、ディスプレイに表示させる。なお、研究支援装置1にとって、推定結果出力部143を備えることは必須ではなく、また、推定結果出力部143が推定結果画像をディスプレイに表示させることも必須ではない。
【0110】
特徴量比較部144は、基準特徴量データ124によって示される基準特徴量Fc_sと、対象特徴量データ224によって示される対象特徴量Fc_oとを比較し、比較の結果(比較結果)を、参照情報出力部145に通知する。
【0111】
本実施形態において特徴量比較部144は、基準特徴量データ124によって示される「基準標本SP_s中の基準細胞Ce_sごとの、各細胞内容物の基準特徴量Fc_sの分布を示す基準特徴量分布Dfc_s」と、対象特徴量データ224によって示される「対象標本SP_o中の対象細胞Ce_oごとの、各細胞内容物の対象特徴量Fc_oの分布を示す対象特徴量分布Dfc_o」とを比較する。特に、特徴量比較部144は、基準細胞Ce_sごとの、各細胞内容物の基準特徴量分布Dfc_sと、対象細胞Ce_oごとの、各細胞内容物の対象特徴量分布Dfc_oとのKLダイバージェンス(Kullback-Leibler divergence)を、算出する。特徴量比較部144は、算出した各細胞内容物の特徴量Fcに係るKLダイバージェンスを、参照情報出力部145に通知する。
【0112】
参照情報出力部145は、特徴量比較部144から通知された「基準特徴量Fc_sと、対象特徴量データ224によって示される対象特徴量Fc_oとの比較結果(違い)」を数値化して示す参照情報Riを出力する。例えば、参照情報出力部145は、参照情報Riを示す参照情報画像を、ディスプレイに表示させる。
【0113】
本実施形態において参照情報出力部145は、特徴量比較部144によって算出された「各細胞内容物の特徴量Fcに係るKLダイバージェンス」を、参照情報Riとして、ディスプレイに表示させる。
【0114】
図7は、参照情報出力部145がディスプレイに表示させる参照情報画像(参照情報Ri)の一例を例示する。
図7に例示する参照情報Riは、「基準標本SP_s中の基準細胞Ce_sごとの、各細胞内容物の基準特徴量Fc_sの分布を示す基準特徴量分布Dfc_s」と、「対象標本SP_o中の対象細胞Ce_oごとの、各細胞内容物の対象特徴量Fc_oの分布を示す対象特徴量分布Dfc_o」とのKLダイバージェンスである。
【0115】
(核の特徴量について)
図7には、「核の基準特徴量Fc_s(1)の分布を示す基準特徴量分布Dfc_s(1)」と、「核の対象特徴量Fc_o(1)の分布を示す対象特徴量分布Dfc_o(1)」とのKLダイバージェンスが、参照情報Riとして示されている。
【0116】
特に、「核の基準形態特徴量Fcf_s(1)の分布を示す基準形態特徴量分布Dfcf_s(1)」と、「核の対象形態特徴量Fcf_o(1)の分布を示す対象形態特徴量分布Dfcf_o(1)」とのKLダイバージェンスとして、以下の情報が示されている。すなわち、「核と同面積の円の直径」、「核の面積」、「核の長径」、「核の離心率」、「核の周囲径」、および、「核の短径」の各々について、基準形態特徴量分布Dfcf_s(1)と対象形態特徴量分布Dfcf_o(1)とのKLダイバージェンスが示されている。
【0117】
また、「核の基準輝度特徴量Fcl_s(1)の分布を示す基準輝度特徴量分布Dfcl_s(1)」と、「核の対象輝度特徴量Fcl_o(1)の分布を示す対象輝度特徴量分布Dfcl_o(1)」とのKLダイバージェンスとして、以下の情報が示されている。すなわち、「核の平均輝度_w1(平均輝度Al_w1_核)」、「核の平均輝度_w2(平均輝度Al_w2_核)」、「核の平均輝度_w3(平均輝度Al_w3_核)」、「核の平均輝度_w4(平均輝度Al_w4_核)」、および、「核の平均輝度_w5(平均輝度Al_w5_核)」の各々について、基準輝度特徴量分布Dfcl_s(1)と対象輝度特徴量分布Dfcl_o(1)とのKLダイバージェンスが示されている。「核の平均輝度_w1」についての、基準輝度特徴量分布Dfcl_s(1)と対象輝度特徴量分布Dfcl_o(1)とのKLダイバージェンスとは、基準平均輝度Al_w1_核_sの分布と対象平均輝度Al_w1_核_oの分布とのKLダイバージェンスである。また、「核の平均輝度_w2」についての、基準輝度特徴量分布Dfcl_s(1)と対象輝度特徴量分布Dfcl_o(1)とのKLダイバージェンスとは、基準平均輝度Al_w2_核_sの分布と対象平均輝度Al_w2_核_oの分布とのKLダイバージェンスである。「核の平均輝度_w3」、「核の平均輝度_w4」、および、「核の平均輝度_w5」の各々についての、基準輝度特徴量分布Dfcl_s(1)と対象輝度特徴量分布Dfcl_o(1)とのKLダイバージェンスも、同様である。
【0118】
(細胞質の特徴量について)
図7には、「細胞質の基準特徴量Fc_s(2)の分布を示す基準特徴量分布Dfc_s(2)」と、「細胞質の対象特徴量Fc_o(2)の分布を示す対象特徴量分布Dfc_o(2)」とのKLダイバージェンスが、参照情報Riとして示されている。
【0119】
特に、「細胞質の基準形態特徴量Fcf_s(2)の分布を示す基準形態特徴量分布Dfcf_s(2)」と、「細胞質の対象形態特徴量Fcf_o(2)の分布を示す対象形態特徴量分布Dfcf_o(2)」とのKLダイバージェンスとして、以下の情報が示されている。すなわち、「細胞質と同面積の円の直径」、「細胞質の面積」、「細胞質の長径」、「細胞質の離心率」、「細胞質の周囲径」、および、「細胞質の短径」の各々について、基準形態特徴量分布Dfcf_s(2)と対象形態特徴量分布Dfcf_o(2)とのKLダイバージェンスが示されている。
【0120】
また、「細胞質の基準輝度特徴量Fcl_s(2)の分布を示す基準輝度特徴量分布Dfcl_s(2)」と、「細胞質の対象輝度特徴量Fcl_o(2)の分布を示す対象輝度特徴量分布Dfcl_o(2)」とのKLダイバージェンスとして、以下の情報が示されている。すなわち、「細胞質の平均輝度_w1(平均輝度Al_w1_細胞質)」、「細胞質の平均輝度_w2(平均輝度Al_w2_細胞質)」、「細胞質の平均輝度_w3(平均輝度Al_w3_細胞質)」、「細胞質の平均輝度_w4(平均輝度Al_w4_細胞質)」、および、「細胞質の平均輝度_w5(平均輝度Al_w5_細胞質)」の各々について、基準輝度特徴量分布Dfcl_s(2)と対象輝度特徴量分布Dfcl_o(2)とのKLダイバージェンスが示されている。「細胞質の平均輝度_w1」についての、基準輝度特徴量分布Dfcl_s(2)と対象輝度特徴量分布Dfcl_o(2)とのKLダイバージェンスとは、基準平均輝度Al_w1_細胞質_sの分布と対象平均輝度Al_w1_細胞質_oの分布とのKLダイバージェンスである。また、「細胞質の平均輝度_w2」についての、基準輝度特徴量分布Dfcl_s(2)と対象輝度特徴量分布Dfcl_o(2)とのKLダイバージェンスとは、基準平均輝度Al_w2_細胞質_sの分布と対象平均輝度Al_w2_細胞質_oの分布とのKLダイバージェンスである。「細胞質の平均輝度_w3」、「細胞質の平均輝度_w4」、および、「細胞質の平均輝度_w5」の各々についての、基準輝度特徴量分布Dfcl_s(2)と対象輝度特徴量分布Dfcl_o(2)とのKLダイバージェンスも、同様である。
【0121】
(その他の細胞内容物について)
その他の細胞内容物についても、「基準特徴量Fc_sの分布を示す基準特徴量分布Dfc_s」と、「対象特徴量Fc_oの分布を示す対象特徴量分布Dfc_o」とのKLダイバージェンスが、参照情報Riとして示されている。すなわち、「核小体の基準特徴量Fc_s(3)の分布を示す基準特徴量分布Dfc_s(3)」と、「核小体の対象特徴量Fc_o(3)の分布を示す対象特徴量分布Dfc_o(3)」とのKLダイバージェンスが、参照情報Riとして示されている。また、「ゴルジ体の基準特徴量Fc_s(4)の分布を示す基準特徴量分布Dfc_s(4)」と、「ゴルジ体の対象特徴量Fc_o(4)の分布を示す対象特徴量分布Dfc_o(4)」とのKLダイバージェンスが、参照情報Riとして示されている。さらに、「ミトコンドリアの基準特徴量Fc_s(5)の分布を示す基準特徴量分布Dfc_s(5)」と、「ミトコンドリアの対象特徴量Fc_o(5)の分布を示す対象特徴量分布Dfc_o(5)」とのKLダイバージェンスが、参照情報Riとして示されている。
【0122】
これまで説明してきたように、本実施形態において、参照情報Riは、基準細胞画像2に撮像されている細胞内容物を含む細胞(基準細胞Ce_s)ごとの各細胞内容物の基準特徴量Fc_sの分布である基準特徴量分布Dfc_sと、対象細胞画像5に撮像されている細胞内容物を含む細胞(対象細胞Ce_o)ごとの各細胞内容物の対象特徴量Fc_oの分布である対象特徴量分布Dfc_oとのKLダイバージェンスである。当該構成では、研究支援装置1は、参照情報Riとして、基準特徴量分布Dfc_sと対象特徴量分布Dfc_oとのKLダイバージェンスを出力することができる。
【0123】
基準特徴量分布Dfc_sと対象特徴量分布Dfc_oとのKLダイバージェンスは、基準細胞Ce_sごとの各細胞内容物の基準特徴量Fc_sについてのヒストグラムと、対象細胞Ce_oごとの各細胞内容物の対象特徴量Fc_oについてのヒストグラムとの間のズレを数値化して示す情報と言い換えてもよい。
【0124】
図7を用いて説明したように、本実施形態において、参照情報Riは、「核の平均輝度_w1(平均輝度Al_w1_核)」についての、基準輝度特徴量分布Dfcl_s(1)と対象輝度特徴量分布Dfcl_o(1)とのKLダイバージェンスを含む。また、参照情報Riは、「核の平均輝度_w(x)(平均輝度Al_w(x)_核)」についての、基準輝度特徴量分布Dfcl_s(1)と対象輝度特徴量分布Dfcl_o(1)とのKLダイバージェンスを含む。すなわち、参照情報Riは、「核の平均輝度_w2(平均輝度Al_w2_核)」、「核の平均輝度_w3(平均輝度Al_w3_核)」、「核の平均輝度_w4(平均輝度Al_w4_核)」、および、「核の平均輝度_w5(平均輝度Al_w5_核)」の少なくとも1つについての、基準輝度特徴量分布Dfcl_s(1)と対象輝度特徴量分布Dfcl_o(1)とのKLダイバージェンスを含む。
【0125】
前述の通り、「核の平均輝度_w1」についての、基準輝度特徴量分布Dfcl_s(1)と対象輝度特徴量分布Dfcl_o(1)とのKLダイバージェンスは、基準核画像2(1)に撮像されている、基準細胞Ce_sごとの核の輝度の平均(基準平均輝度Al_w1_核_s)についてのヒストグラムと、対象核画像5(1)に撮像されている、対象細胞Ce_oごとの核の輝度の平均(対象平均輝度Al_w1_核_o)についてのヒストグラムとの間のズレを数値化して示す情報と言い換えてもよい。「核の平均輝度_w2」についての、基準輝度特徴量分布Dfcl_s(1)と対象輝度特徴量分布Dfcl_o(1)とのKLダイバージェンスは、基準細胞質画像2(2)の「基準核画像2(1)において核が撮像されている領域に対応する領域」の輝度の平均(基準平均輝度Al_w2_核_s)についてのヒストグラムと、対象細胞質画像5(2)の「対象核画像5(1)において核が撮像されている領域に対応する領域」の輝度の平均(対象平均輝度Al_w2_核_o)についてのヒストグラムとの間のズレを数値化して示す情報と言い換えてもよい。「核の平均輝度_w3」、「核の平均輝度_w4」、「核の平均輝度_w5」の各々についての、基準輝度特徴量分布Dfcl_s(1)と対象輝度特徴量分布Dfcl_o(1)とのKLダイバージェンスも同様である。すなわち、「核の平均輝度_w(x)(平均輝度Al_w(x)_核)」についての、基準輝度特徴量分布Dfcl_s(1)と対象輝度特徴量分布Dfcl_o(1)とのKLダイバージェンスは、追加基準画像2(x)の「基準核画像2(1)において核が撮像されている領域に対応する領域」の輝度の平均(基準平均輝度Al_w(x)_核_s)についてのヒストグラムと、追加対象画像5(x)の「対象核画像5(1)において核が撮像されている領域に対応する領域」の輝度の平均(対象平均輝度Al_w(x)_核_o)についてのヒストグラムとの間のズレを数値化して示す情報と言い換えてもよい。
【0126】
「基準核画像2(1)に撮像されている核の輝度の平均(基準平均輝度Al_w1_核_s)についてのヒストグラム」とは、基準核画像2(1)に撮像されている核ごとの平均輝度の分布を示す情報である。また、「対象核画像5(1)に撮像されている核の輝度の平均(対象平均輝度Al_w1_核_o)についてのヒストグラム」とは、対象核画像5(1)に撮像されている核ごとの平均輝度の分布を示す情報である。両者のズレを数値化して示す
図7の「核の平均輝度_w1」は、基準核画像2(1)および対象核画像5(1)における核ごとの平均輝度の分布についてのKLダイバージェンスと言い換えてもよい。
【0127】
『追加基準画像2(x)の、「基準核画像2(1)において核が撮像されている領域」に対応する領域』の輝度の平均(基準平均輝度Al_w(x)_核_s)についてのヒストグラムとは、基準細胞質画像2(2)等における、「基準核画像2(1)において核が撮像されている領域に対応する領域」ごとの平均輝度の分布を示す情報である。また、『追加対象画像5(x)の、「対象核画像5(1)において核が撮像されている領域」に対応する領域』の輝度の平均(対象平均輝度Al_w(x)_核_o)についてのヒストグラムとは、対象細胞質画像5(2)等における、「対象核画像5(1)において核が撮像されている領域に対応する領域」ごとの平均輝度の分布を示す情報である。例えば、両者のズレを数値化して示す
図7の「核の平均輝度_w2」は、基準細胞質画像2(2)および対象細胞質画像5(2)における、「基準核画像2(1)(対象核画像5(1))において核が撮像されている領域に対応する領域」ごとの平均輝度の分布についてのKLダイバージェンスと言い換えてもよい。
【0128】
当該構成では、研究支援装置1は、参照情報Riとして、(A)基準核画像2(1)に撮像されている、基準細胞Ce_sごとの核の輝度の平均(基準平均輝度Al_w1_核_s)についてのヒストグラムと、対象核画像5(1)に撮像されている、対象細胞Ce_oごとの核の輝度の平均(対象平均輝度Al_w1_核_o)についてのヒストグラムとの間のズレを数値化して示す情報、および、(B)追加基準画像2(x)の、「基準核画像2(1)において核が撮像されている領域に対応する領域」の輝度の平均(基準平均輝度Al_w(x)_核_s)についてのヒストグラムと、追加対象画像5(x)の、「対象核画像5(1)において核が撮像されている領域に対応する領域」の輝度の平均(対象平均輝度Al_w(x)_核_o)についてのヒストグラムとの間のズレを数値化して示す情報を、出力することができる。
【0129】
<その他>
研究支援装置1の各ソフトウェアモジュールに関しては後述する動作例で詳細に説明する。なお、本実施形態では、研究支援装置1の各ソフトウェアモジュールがいずれも汎用のCPUによって実現される例について説明している。しかしながら、上記ソフトウェアモジュールの一部または全部が、1または複数の専用のプロセッサにより実現されてもよい。例えば、上記ソフトウェアモジュールの一部または全部が、グラフィックスプロセッシングユニットにより処理されてもよい。また、研究支援装置1のソフトウェア構成に関して、実施形態に応じて、適宜、ソフトウェアモジュールの省略、置換および追加が行われてもよい。
【0130】
§3 動作例
図8は、本実施形態に係る研究支援装置1が行なう準備処理(機械学習処理および基準特徴量生成処理)の手順の一例を示すフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。更に、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、および追加が可能である。
【0131】
(ステップS101、基準画像取得ステップ)
ステップS101では、制御部11は、基準画像取得部131として動作し、基準細胞画像2を取得する。制御部11は、取得した基準細胞画像2を「基準状態S_s」と対応付けて、記憶部12に各学習データセット122として格納する(保存する)。
【0132】
(ステップS102、学習処理ステップ)
ステップS102では、制御部11は、学習処理部132として動作し、複数の学習データセット122を使用して、学習モデル4の機械学習を実施する。すなわち、制御部11は、基準細胞画像2と「基準状態S_s」との組み合わせによりそれぞれ構成される複数の学習データセット122を用いて機械学習を実施し、符号器41と推定器42とを訓練する(特に、推定器42を訓練する)。機械学習を実施することは、複数の学習データセット122の各々について、基準細胞画像2を符号器41に与えたときに、推定器42が「基準細胞画像2に撮像されている細胞内容物を含む細胞(基準細胞Ce_s)は、基準状態S_sにある」と推定するように、符号器41と推定器42とを訓練する訓練ステップを含む。
【0133】
機械学習の処理対象となる学習モデル4の構成要素(本実施形態では、推定器42)は、公知の機械学習モデルを利用することができ、本実施形態では、公知の異常検知モデルを、推定器42として用いた。異常検知モデルとしては、近傍法(nearest neighbor)に準拠した異常検知モデルを用いてもよい。近傍法に準拠した異常検知モデルとしては、「k近傍法(k-nearest neighbor)」での距離を異常度として利用するモデルを用いてもよいし、データインスタンスの相対密度を異常度として計算するモデルを用いてもよい。
【0134】
ただし、推定器42として異常検知モデルを利用することは必須ではない。また、推定器42は、教師あり学習によって訓練されるものであってもよいし、教師なし学習によって訓練されるものであってもよい。例えば、推定器42は、正解データのみから、正解、不正解を識別する教師なし学習によって訓練されるものであってもよい。
【0135】
制御部11は、各学習データセット122について、定義済みの特徴抽出器である符号器41に基準細胞画像2を入力して、符号器41に、基準標本SP_s中の基準細胞Ce_sごとの、細胞内容物の基準特徴量Fc_sを出力させる。そして、制御部11は、符号器41の出力した基準特徴量Fc_sを推定器42に与え、推定器42が「基準細胞Ce_sは、基準状態S_sにある」と推定(識別)するように、推定器42を訓練する。例えば、制御部11は、基準特徴量Fc_sを入力された推定器42から得られる出力値が正解データである「基準状態S_s」に一致するように、推定器42の各演算パラメータを調整してもよい。また、制御部11は、基準特徴量Fc_sを用いた教師なし学習によって、「基準状態S_sにあるか否か」を識別(推定)できるように、推定器42の各演算パラメータを調整してもよい。各演算パラメータには、推定器42が「基準状態S_sにあるか否か」を識別(推定)するための閾値が含まれていてもよい。推定器42の各演算パラメータの初期値は、予めテンプレートにより与えられてもよいし、オペレータの入力により与えられてもよい。また、再学習を行う場合には、制御部11は、過去の機械学習を行うことで得られた学習結果データに基づいて、推定器42の各演算パラメータを用意してもよい。
【0136】
制御部11は、所定の回数(例えば、1回または複数回)、上述の調整を実行する。制御部11は、推定器42の推定精度(識別精度)が所定の値以上となるまで、係る調整を繰り返してもよい。制御部11は、各学習データセット122について、基準細胞画像2を符号器41に与えることで推定器42から得られる推定タスクの遂行結果が正解データ(「基準状態S_s」)に適合するように、推定器42の各演算パラメータを調整し、つまり、推定器42を訓練する。ステップS102の訓練処理が完了すると、制御部11は、次のステップS103に処理を進める。
【0137】
(ステップS103、基準特徴量生成ステップ)
ステップS103では、制御部11は、学習処理部132として動作し、機械学習により構築された訓練済みの符号器41に、各学習データセット122に含まれる基準細胞画像2を入力して、基準細胞画像2に撮像されている細胞内容物の特徴量Fc(基準特徴量Fc_s)を出力させる。
【0138】
(ステップS104、準備処理結果保存ステップ)
ステップS104では、制御部11は、保存処理部133として動作し、ステップS102による機械学習の結果に関する情報を学習結果データ123として生成する。本実施形態において制御部11は、機械学習により構築された訓練済みの符号器41および推定器42の構造および各演算パラメータの値を示す情報を学習結果データ123として生成する。そして、制御部11は、生成された学習結果データ123を所定の記憶領域に保存する。また、ステップS104では、制御部11は、基準細胞画像2を訓練済みの符号器41に与えて出力させた基準特徴量Fc_sを、基準特徴量データ124として所定の記憶領域に保存する。
【0139】
所定の記憶領域は、例えば、制御部11内のRAM、記憶部12、外部記憶装置、記憶メディアまたはこれらの組み合わせであってよい。記憶メディアは、例えば、CD、DVD等であってよく、制御部11は、ドライブ17を介して記憶メディアに学習結果データ123および基準特徴量データ124を格納してもよい。外部記憶装置は、例えば、NAS(Network Attached Storage)等のデータサーバであってよい。この場合、制御部11は、通信インタフェース13を利用して、ネットワークを介してデータサーバに学習結果データ123および基準特徴量データ124を格納してもよい。また、外部記憶装置は、例えば、外部インタフェース14を介して研究支援装置1に接続された外付けの記憶装置であってもよい。学習結果データ123および基準特徴量データ124の保存が完了すると、制御部11は、本動作例に係る処理手順を終了する。
【0140】
研究支援装置1は、通信インタフェース13を利用して、データサーバにネットワークを介してアクセスすることで、学習結果データ123および基準特徴量データ124を取得してもよい。また、例えば、研究支援装置1は、記憶媒体91を介して、学習結果データ123および基準特徴量データ124を取得してもよい。また、例えば、学習結果データ123および基準特徴量データ124は、研究支援装置1に組み込まれてもよい。
【0141】
更に、制御部11は、上記ステップS101~ステップS104の処理を定期または不定期に繰り返すことで、学習結果データ123および基準特徴量データ124を更新または新たに生成してもよい。この繰り返しの際には、複数の学習データセット122の少なくとも一部の変更、修正、追加、削除等が適宜実行されてよい。そして、制御部11は、更新した、または、新たに生成した学習結果データ123および基準特徴量データ124を任意の方法で、研究支援装置1に提供することで、研究支援装置1の保持する学習結果データ123および基準特徴量データ124を更新してもよい。
【0142】
図9は、本実施形態に係る研究支援装置1が行なう適用処理(対象特徴量生成処理および推定処理)の手順の一例を示すフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。更に、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、および追加が可能である。
【0143】
(ステップS201、対象画像取得ステップ)
ステップS201では、制御部11は、対象画像取得部141として動作し、対象細胞画像5を取得する。本実施形態において制御部11は、対象核画像5(1)、対象細胞質画像5(2)、対象核小体画像5(3)、対象ゴルジ体画像5(4)、および、対象ミトコンドリア画像5(5)を、対象細胞画像5として取得する。対象細胞画像5を取得すると、制御部11は、次のステップS202に処理を進める。
【0144】
(ステップS202、対象特徴量生成ステップ)
ステップS202では、制御部11は、推定部142として動作し、学習結果データ123を参照して、訓練済みの符号器41および推定器42の設定を行う。制御部11は、取得された対象細胞画像5を訓練済みの符号器41の入力層に入力し、訓練済みの符号器41および推定器42の順伝播の演算処理を実行する。この演算処理の過程において、制御部11は、訓練済みの(定義済みの)符号器41の演算処理により、符号器41の出力層から対象細胞画像5に撮像されている各細胞内容物の特徴量Fc(対象特徴量Fc_o)に対応する出力値(対象特徴量データ224)を取得する。係る対象特徴量生成ステップの実行が完了すると、制御部11は、次のステップS203に処理を進める。
【0145】
(ステップS203、推定結果出力ステップ)
ステップS203では、制御部11は、推定部142として動作し、訓練済みの推定器42に対象特徴量Fc_oを入力して、対象細胞画像5に撮像されている細胞内小器官を含む細胞(対象細胞Ce_o)の状態を推定させる。すなわち、制御部11は、S202において訓練済みの(定義済みの)符号器41に出力させた対象特徴量Fc_oを、訓練済みの推定器42の入力層に入力し、訓練済みの推定器42の順伝播の演算処理を実行する。これにより、制御部11は、対象細胞画像5に対して推定タスクを遂行した結果に対応する出力値を訓練済みの推定器42の出力層から取得することができる。すなわち、制御部11は、「対象細胞Ce_oが基準状態S_sにあるか否か」についての推定の結果を、訓練済みの推定器42から取得する。以上に説明した通り、本実施形態では、対象細胞画像5に対する推定タスクを遂行することは、対象細胞画像5を符号器41に与えて、訓練済みの符号器41および推定器42の順伝播の演算処理を実行することにより達成される。
【0146】
(ステップS204、参照情報出力ステップ)
ステップS204では、制御部11は、先ず特徴量比較部144として動作し、基準特徴量データ124によって示される基準特徴量Fc_sと、対象特徴量データ224によって示される対象特徴量Fc_oとを比較する。本実施形態において制御部11は、基準細胞Ce_sごとの、各細胞内容物の基準特徴量分布Dfc_sと、対象細胞Ce_oごとの、各細胞内容物の対象特徴量分布Dfc_oとのKLダイバージェンスを算出する。
【0147】
ステップS204では、制御部11は、次に参照情報出力部145として動作し、「基準特徴量Fc_sと、対象特徴量データ224によって示される対象特徴量Fc_oとの比較結果(違い)」を数値化して示す参照情報Riを出力する。本実施形態において制御部11は、「基準細胞Ce_sごとの、各細胞内容物の基準特徴量分布Dfc_sと、対象細胞Ce_oごとの、各細胞内容物の対象特徴量分布Dfc_oとのKLダイバージェンス」を、参照情報Riとして、ディスプレイに表示させる。すなわち、制御部11は、各細胞内容物の各特徴量Fcに係るKLダイバージェンスを、参照情報Riとして、ディスプレイに表示させる。
【0148】
(ステップS205、推定結果出力ステップ)
ステップS205では、制御部11は、推定結果出力部143として動作し、S203の推定タスクを遂行した結果(推定結果)に関する情報を出力する。例えば、制御部11は、「対象細胞Ce_oが基準状態S_sにあるか否か」についての推定結果を示す推定結果画像を、ディスプレイに表示させる。なお、研究支援装置1にとって、推定結果出力ステップ(S205)を実行することは必須ではなく、また、推定結果出力ステップにおいて推定結果画像をディスプレイに表示させることも必須ではない。
【0149】
[特徴]
以上のとおり、本実施形態において研究支援装置1(創薬研究支援装置)は、基準画像取得部131と、学習処理部132と、対象画像取得部141と、参照情報出力部145と、を備える。
【0150】
基準画像取得部131は、細胞内容物が撮像された細胞画像CIであって、基準状態S_s(例えば、試薬投入前の状態、偽薬で処理した状態)にある細胞(基準細胞Ce_s)の細胞内容物が撮像された細胞画像CIである基準細胞画像2(基準画像)を取得する。特に、基準画像取得部131は、基準状態S_sにある細胞の核が撮像された細胞画像CIである基準核画像2(1)を含む、基準細胞画像2を取得する。
【0151】
学習処理部132は、基準細胞画像2と基準状態S_sとの組み合わせによりそれぞれ構成される複数の学習データセット122を使用して、学習モデル4の機械学習を実施する。学習モデル4は、符号器41と推定器42とを含む。符号器41は、与えられた細胞画像CIを、係る細胞画像CIに撮像されている細胞内容物の特徴量Fc(形態特徴量Fcfおよび輝度特徴量Fclの少なくとも一方)へと変換するように構成される。推定器42は、特徴量Fcの入力を受け付け、入力された特徴量Fcに基づいて、細胞画像CIに撮像されている細胞内容物を含む細胞の状態を推定するように構成される。
【0152】
機械学習を実施することは、複数の学習データセット122の各々について、基準細胞画像2を符号器41に与えたときに、推定器42が「基準細胞画像2に撮像されている細胞内容物を含む細胞(基準細胞Ce_s)は基準状態S_sにある」と推定するように、符号器41と推定器42とを訓練する訓練ステップを含む。
【0153】
対象画像取得部141は、対象細胞Ce_o(例えば、試薬投入後の細胞)の細胞内容物が撮像された細胞画像CIである対象細胞画像5を取得する。特に、対象画像取得部141は、対象細胞Ce_oの核が撮像された細胞画像CIである対象核画像5(1)を含む、対象細胞画像5(対象画像)を取得する。
【0154】
参照情報出力部145は、前述の機械学習の実施後の(つまり、訓練済みの)符号器41が基準細胞画像2の入力に対して出力する特徴量Fcである基準特徴量Fc_sと、訓練済みの符号器41が対象細胞画像5の入力に対して出力する特徴量Fcである対象特徴量Fc_oとの違いを数値化して示す情報である参照情報Riを出力する。
【0155】
当該構成では、符号器41と推定器42とは、複数の学習データセット122の各々について、基準細胞画像2を符号器41に与えたときに、推定器42が「基準細胞Ce_sは基準状態S_sにある」と推定するように、訓練される。そして、研究支援装置1は、機械学習の実施後の(つまり、訓練済みの)符号器41が基準細胞画像2の入力に対して出力する基準特徴量Fc_sと、訓練済みの符号器41が対象細胞画像5の入力に対して出力する対象特徴量Fc_oとの違いを数値化して示す参照情報Riを出力する。すなわち、研究支援装置1は、ユーザが対象細胞Ce_oの状態を把握しようとする際に注目すべき指標として、つまり、ユーザによる創薬研究を支援する情報として、参照情報Riを出力する。研究支援装置1は、例えば、参照情報Riを表示装置等に出力して、参照情報Riをユーザに表示する。
【0156】
しかも、研究支援装置1は、細胞の遺伝子解析を必要とすることなく、学習データセット122に対する機械学習と、対象細胞画像5とを利用して、参照情報Riを出力する。そのため、研究支援装置1は、細胞の遺伝子解析を必要とすることなく、創薬研究を支援可能な情報を出力することができるとの効果を奏する。
【0157】
本実施形態において、基準細胞画像2は、基準状態S_sにある細胞(基準細胞Ce_s)の、核以外の細胞内容物が撮像された細胞画像CIである追加基準画像2(x)をさらに含む。また、対象細胞画像5は、対象細胞Ce_oの、前述の追加基準画像2(x)に撮像されている細胞内容物が撮像された細胞画像CIである追加対象画像5(x)をさらに含む。
【0158】
当該構成では、基準細胞画像2は、基準核画像2(1)に加えて、基準細胞Ce_sの、核以外の細胞内容物が撮像された追加基準画像2(x)をさらに含む。また、対象細胞画像5は、対象核画像5(1)に加えて、対象細胞Ce_oの、前述の追加基準画像2(x)に撮像されている細胞内容物が撮像された追加対象画像5(x)をさらに含む。そのため、研究支援装置1は、細胞の核についての特徴量Fcに加えて、核以外の細胞内容物についての特徴量Fcも考慮して、前述の機械学習および細胞の状態の推定を実行することができる。
【0159】
本実施形態において、追加基準画像2(x)は、基準状態S_sにある細胞(基準細胞Ce_s)の細胞質または細胞質内分子が撮像された細胞画像CIである基準細胞質画像2(2)、基準細胞Ce_sの核小体または核小体内分子が撮像された細胞画像CIである基準核小体画像2(3)、基準細胞Ce_sのゴルジ体またはゴルジ体内分子が撮像された細胞画像CIである基準ゴルジ体画像2(4)、基準細胞Ce_sのミトコンドリアまたはミトコンドリア内分子が撮像された細胞画像CIである基準ミトコンドリア画像2(5)、および、基準細胞Ce_sの細胞膜または細胞膜に結合する分子が撮像された細胞画像CIである基準細胞膜画像2(6)の少なくとも1つを含む。また、追加対象画像5(x)は、対象細胞Ce_oの細胞質または細胞質内分子が撮像された細胞画像CIである対象細胞質画像5(2)、対象細胞Ce_oの核小体または核小体内分子が撮像された細胞画像CIである対象核小体画像5(3)、対象細胞Ce_oのゴルジ体またはゴルジ体内分子が撮像された細胞画像CIである対象ゴルジ体画像5(4)、対象細胞Ce_oのミトコンドリアまたはミトコンドリア内分子が撮像された細胞画像CIである対象ミトコンドリア画像5(5)、および、対象細胞Ce_oの細胞膜または細胞膜に結合する分子が撮像された細胞画像CIである対象細胞膜画像5(6)の少なくとも1つを含む。
【0160】
当該構成では、研究支援装置1は、細胞の核についての特徴量Fcに加えて、細胞質または細胞質内分子、核小体または核小体内分子、ゴルジ体またはゴルジ体内分子、ミトコンドリアまたはミトコンドリア内分子、および、細胞膜または細胞膜に結合する分子の少なくとも1つについての特徴量Fcを考慮して、前述の機械学習および細胞の状態の推定を実行することができる。
【0161】
本実施形態において、研究支援装置1は、推定部142をさらに備える。推定部142は、機械学習の実施後の(つまり、訓練済みの)学習モデル4に対象細胞画像5を入力して、対象細胞画像5に撮像されている細胞内容物を含む細胞(対象細胞Ce_o)が基準状態S_sにあるか否かを推定する。当該構成では、研究支援装置1は、訓練済みの学習モデル4に対象細胞画像5を入力して、対象細胞Ce_oが基準状態S_sにあるか否かを推定することができる。特に、研究支援装置1は、細胞の遺伝子解析を必要とすることなく、対象細胞Ce_oが基準状態S_sにあるか否かを推定することができる。
【0162】
§4 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良または変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
【0163】
<4.1>
上記実施形態では、細胞画像CIに撮像されている細胞の細胞内容物が、細胞の細胞内小器官(核、細胞質、核小体、ゴルジ体、ミトコンドリア、および、細胞膜など)である例を説明した。しかしながら、細胞画像CIに撮像されている細胞の細胞内容物は、細胞の細胞内分子であってもよく、例えば、細胞核内分子、細胞質内分子、核小体内分子、ゴルジ体内分子、ミトコンドリア内分子、および、細胞膜に結合する分子などであってもよい。
【0164】
<4.2>
上記実施形態では、符号器41が生成する細胞内容物の特徴量Fcが、係る細胞内容物の形態特徴量Fcfおよび輝度特徴量Fclである例を説明した。しかしながら、符号器41が生成する細胞内容物の特徴量Fcは、係る細胞内容物の形態特徴量Fcfおよび輝度特徴量Fclの少なくとも一方であればよい。
【0165】
<4.3>
上記実施形態では、「細胞内容物の形態特徴量Fcf」が、係る細胞内容物の「面積」、「同じ面積を有する円の直径」、「長径」、「短径」、「離心率」、「周囲径」である例を説明した。しかしながら、「細胞内容物の形態特徴量Fcf」は、係る細胞内容物の「面積」、「同じ面積を有する円の直径」、「長径」、「短径」、「離心率」、「周囲径」の少なくとも1つを含んでいればよい。また、「細胞内容物の形態特徴量Fcf」は、上に挙げた以外の形態に係る特徴量を含んでいてもよい。
【0166】
<4.4>
上記実施形態では、「細胞内容物の輝度特徴量Fcl」が、細胞画像CIに撮像されている細胞内容物の輝度の平均(平均輝度)である例を説明した。しかしながら、「細胞内容物の輝度特徴量Fcl」は、細胞内容物の平均輝度以外の、輝度に係る特徴量を含んでいてもよい。
【符号の説明】
【0167】
1…研究支援装置(創薬研究支援装置)、2…基準細胞画像(基準画像)、
2(1)…基準核画像、2(2)…基準細胞質画像、2(3)…基準核小体画像、2(4)…基準ゴルジ体画像、2(5)…基準ミトコンドリア画像、
2(6)…基準細胞膜画像、2(x)…追加基準画像、4…学習モデル、
5…対象細胞画像(対象画像)、5(1)…対象核画像、
5(2)…対象細胞質画像、5(3)…対象核小体画像、5(4)…対象ゴルジ体画像、
5(5)…対象ミトコンドリア画像、5(6)…対象細胞膜画像、
5(x)…追加対象画像、41…符号器、42…推定器、
122…学習データセット、131…基準画像取得部、132…学習処理部、
141…対象画像取得部、142…推定部、143…推定結果出力部、
145…参照情報出力部、CI…細胞画像、Dfc_s…基準特徴量分布、
Dfc_o…対象特徴量分布、Fc…特徴量、Fcf…形態特徴量(形態の特徴量)、
Fcl…輝度特徴量(輝度の特徴量)、Ri…参照情報、
S101…基準画像取得ステップ、S102…学習処理ステップ、
S201…対象画像取得ステップ、S204…参照情報出力ステップ、S_s…基準状態