(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-17
(45)【発行日】2025-02-26
(54)【発明の名称】判定装置、判定方法、および判定プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20250218BHJP
C12M 1/00 20060101ALI20250218BHJP
C12M 1/34 20060101ALI20250218BHJP
C12Q 1/02 20060101ALI20250218BHJP
【FI】
G06T7/00 630
G06T7/00 350B
C12M1/00 A
C12M1/34 B
C12Q1/02
(21)【出願番号】P 2021114016
(22)【出願日】2021-07-09
【審査請求日】2023-09-28
(73)【特許権者】
【識別番号】000006507
【氏名又は名称】横河電機株式会社
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人RYUKA国際特許事務所
(72)【発明者】
【氏名】中村 亮介
(72)【発明者】
【氏名】河野 武尊
(72)【発明者】
【氏名】秋吉 竜太郎
(72)【発明者】
【氏名】中林 暁男
【審査官】伊知地 和之
(56)【参考文献】
【文献】特開2011-229410(JP,A)
【文献】特開2011-002995(JP,A)
【文献】特開2021-069667(JP,A)
【文献】特開2015-114172(JP,A)
【文献】特表2014-502151(JP,A)
【文献】田中孝二郎 外4名,回帰型CNNを用いたiPS細胞の分化・未分化検出,電子情報通信学会技術研究報告,一般社団法人電子情報通信学会,2018年02月12日,第117巻 第443号,pp.109~114
(58)【調査した分野】(Int.Cl.,DB名)
C12M 1/00 - 3/10
C12Q 1/00 - 3/00
G01N 33/48 - 33/98
G06T 1/00 - 1/40
G06T 3/00 - 5/94
G06T 7/00 - 7/90
G06V 10/00 - 20/90
G06V 30/418
G06V 40/16
G06V 40/20
CSDB(日本国特許庁)
(57)【特許請求の範囲】
【請求項1】
細胞を含む視野を撮影した撮影画像を取得する取得部と、
正常に培養された細胞を撮影した1または複数の基準画像を基準とする、前記撮影画像の非正常度を算出する算出部と、
前記非正常度に基づいて、前記撮影画像に撮影された細胞の培養に異常があったか否かを判定する判定部と
を備え、
前記算出部は、
前記撮影画像を前記1または複数の基準画像に類似するように再構成した再構成画像を生成する再構成画像生成部と、
前記撮影画像および前記再構成画像の差に基づいて、前記非正常度を算出する非正常度算出部と
を有し、
前記再構成画像生成部は、前記1または複数の基準画像のうちの各基準画像の特徴を抽出し、抽出した特徴から各基準画像を復元するように学習された再構成モデルに前記撮影画像を入力して、前記再構成画像を生成し、
正常に培養されたと判断された細胞を含む視野を撮影した前記1または複数の基準画像を用いて前記再構成モデルの学習処理を行なう学習処理部を更に備える
判定装置。
【請求項2】
前記学習処理部は、前記判定部により細胞の培養に異常があったと判定されなかった前記撮影画像を、新たな基準画像として前記1または複数の基準画像の組に追加して、前記再構成モデルの学習処理を行なう請求項
1に記載の判定装置。
【請求項3】
細胞を含む視野を撮影した撮影画像を取得する取得部と、
正常に培養された細胞を撮影した1または複数の基準画像を基準とする、前記撮影画像の非正常度を算出する算出部と、
前記非正常度に基づいて、前記撮影画像に撮影された細胞の培養に異常があったか否かを判定する判定部と
を備え、
前記算出部は、
前記撮影画像を前記1または複数の基準画像に類似するように再構成した再構成画像を生成する再構成画像生成部と、
前記撮影画像および前記再構成画像の差に基づいて、前記非正常度を算出する非正常度算出部と
を有し、
前記再構成画像生成部は、前記1または複数の基準画像のうちの各基準画像の特徴を抽出し、抽出した特徴から各基準画像を復元するように学習された再構成モデルに前記撮影画像を入力して、前記再構成画像を生成し、
複数の前記算出部を備え、
前記複数の算出部が有する複数の前記再構成画像生成部は、互いに異なる複数の前記再構成モデルのそれぞれに前記撮影画像を入力して、複数の前記再構成画像を生成し、
前記複数の算出部が有する複数の前記非正常度算出部は、前記複数の再構成画像のそれぞれについて、前記非正常度を算出し、
前記判定部は、前記複数の再構成画像のそれぞれの前記非正常度を統合した判定結果を出力する
判定装置。
【請求項4】
細胞を含む視野を撮影した撮影画像を取得する取得部と、
正常に培養された細胞を撮影した1または複数の基準画像を基準とする、前記撮影画像の非正常度を算出する算出部と、
前記非正常度に基づいて、前記撮影画像に撮影された細胞の培養に異常があったか否かを判定する判定部と
を備え、
前記取得部は、複数の視野のそれぞれについて前記撮影画像を取得し、
複数の前記算出部を備え、
前記複数の算出部は、前記複数の視野のそれぞれの前記撮影画像の前記非正常度を算出し、
前記判定部は、前記複数の視野のそれぞれの前記撮影画像の前記非正常度を統合した判定結果を出力する
判定装置。
【請求項5】
前記判定部は、培養用プレートまたはウェル毎に、前記非正常度を統合した判定結果を出力する請求項
4に記載の判定装置。
【請求項6】
前記判定部は、複数の培養用プレートまたはウェルについての前記非正常度を統合した判定結果を出力する請求項
4に記載の判定装置。
【請求項7】
細胞を含む視野を撮影した撮影画像を取得する取得部と、
正常に培養された細胞を撮影した1または複数の基準画像を基準とする、前記撮影画像の非正常度を算出する算出部と、
前記非正常度に基づいて、前記撮影画像に撮影された細胞の培養に異常があったか否かを判定する判定部と
を備え、
前記取得部は、細胞の培養条件を更に取得し、
前記算出部は、取得した前記培養条件に対応する培養条件で正常に培養された細胞を撮影した前記1または複数の基準画像を基準とする前記非正常度を算出する
判定装置。
【請求項8】
前記算出部は、
前記撮影画像の特徴量を算出する特徴量算出部と、
前記撮影画像の特徴量と、前記1または複数の基準画像のそれぞれの基準特徴量とに基づいて、前記非正常度を算出する非正常度算出部と
を有する請求項1または
4から
7のいずれか一項に記載の判定装置。
【請求項9】
前記取得部は、細胞培養過程を時系列で撮影した前記撮影画像を取得し、
前記算出部は、正常な細胞培養過程を時系列で撮影した前記1または複数の基準画像を基準とする前記非正常度を算出する
請求項1から
8のいずれか一項に記載の判定装置。
【請求項10】
前記撮影画像に前処理を行なう前処理部を更に備え、
前記算出部は、前処理を行なった前記撮影画像を用いて前記非正常度を算出する
請求項1から
9のいずれか一項に記載の判定装置。
【請求項11】
前記前処理は、細胞または細胞塊の画像の3次元再構成処理またはエッジ強調処理のうちの少なくとも1つを含む請求項
10に記載の判定装置。
【請求項12】
判定装置が、細胞を含む視野を撮影した撮影画像を取得することと、
前記判定装置が、正常に培養された細胞を撮影した1または複数の基準画像を基準とする、前記撮影画像の非正常度を算出することと、
前記判定装置が、前記非正常度に基づいて、前記撮影画像に撮影された細胞の培養に異常があったか否かを判定することと
を含み、
前記撮影画像の非正常度を算出することは、
前記判定装置が、前記撮影画像を前記1または複数の基準画像に類似するように再構成した再構成画像を生成することと、
前記判定装置が、前記撮影画像および前記再構成画像の差に基づいて、前記非正常度を算出することと
を含み、
前記再構成画像の生成において、前記判定装置が、前記1または複数の基準画像のうちの各基準画像の特徴を抽出し、抽出した特徴から各基準画像を復元するように学習された再構成モデルに前記撮影画像を入力して、前記再構成画像を生成し、
前記判定装置が、正常に培養されたと判断された細胞を含む視野を撮影した前記1または複数の基準画像を用いて前記再構成モデルの学習処理を行なうことを更に含む
判定方法。
【請求項13】
判定装置が、細胞を含む視野を撮影した撮影画像を取得することと、
前記判定装置が、正常に培養された細胞を撮影した1または複数の基準画像を基準とする、前記撮影画像の非正常度を算出することと、
前記判定装置が、前記非正常度に基づいて、前記撮影画像に撮影された細胞の培養に異常があったか否かを判定することと
を含み、
前記撮影画像の非正常度を算出することは、
前記判定装置が、前記撮影画像を前記1または複数の基準画像に類似するように再構成した再構成画像を生成することと、
前記判定装置が、前記撮影画像および前記再構成画像の差に基づいて、前記非正常度を算出することと
を含み、
前記再構成画像の生成において、前記判定装置が、前記1または複数の基準画像のうちの各基準画像の特徴を抽出し、抽出した特徴から各基準画像を復元するように学習された、互いに異なる複数の再構成モデルに前記撮影画像を入力して、複数の前記再構成画像を生成し、
前記細胞の培養に異常があったか否かの判定において、前記判定装置が、前記複数の再構成画像のそれぞれの前記非正常度を統合した判定結果を出力する
判定方法。
【請求項14】
判定装置が、細胞を含む視野を撮影した撮影画像を取得することと、
前記判定装置が、正常に培養された細胞を撮影した1または複数の基準画像を基準とする、前記撮影画像の非正常度を算出することと、
前記判定装置が、前記非正常度に基づいて、前記撮影画像に撮影された細胞の培養に異常があったか否かを判定することと
を含み、
前記撮影画像の取得において、前記判定装置が、複数の視野のそれぞれについて前記撮影画像を取得し、
前記撮影画像の非正常度の算出において、前記判定装置が、前記複数の視野のそれぞれの前記撮影画像の前記非正常度を算出し、
前記細胞の培養に異常があったか否かの判定において、前記判定装置が、前記複数の視野のそれぞれの前記撮影画像の前記非正常度を統合した判定結果を出力する
判定方法。
【請求項15】
判定装置が、細胞を含む視野を撮影した撮影画像を取得することと、
前記判定装置が、正常に培養された細胞を撮影した1または複数の基準画像を基準とする、前記撮影画像の非正常度を算出することと、
前記判定装置が、前記非正常度に基づいて、前記撮影画像に撮影された細胞の培養に異常があったか否かを判定することと
を含み、
前記判定装置が、細胞の培養条件を更に取得し、
前記撮影画像の非正常度の算出において、前記判定装置が、取得した前記培養条件に対応する培養条件で正常に培養された細胞を撮影した前記1または複数の基準画像を基準とする前記非正常度を算出する
判定方法。
【請求項16】
コンピュータにより実行され、前記コンピュータを、
細胞を含む視野を撮影した撮影画像を取得する取得部と、
正常に培養された細胞を撮影した1または複数の基準画像を基準とする、前記撮影画像の非正常度を算出する算出部と、
前記非正常度に基づいて、前記撮影画像に撮影された細胞の培養に異常があったか否かを判定する判定部と
して機能させ、
前記算出部は、
前記撮影画像を前記1または複数の基準画像に類似するように再構成した再構成画像を生成する再構成画像生成部と、
前記撮影画像および前記再構成画像の差に基づいて、前記非正常度を算出する非正常度算出部と
を有し、
前記再構成画像生成部は、前記1または複数の基準画像のうちの各基準画像の特徴を抽出し、抽出した特徴から各基準画像を復元するように学習された再構成モデルに前記撮影画像を入力して、前記再構成画像を生成し、
前記コンピュータを、
正常に培養されたと判断された細胞を含む視野を撮影した前記1または複数の基準画像を用いて前記再構成モデルの学習処理を行なう学習処理部
として更に機能させる判定プログラム。
【請求項17】
コンピュータにより実行され、前記コンピュータを、
細胞を含む視野を撮影した撮影画像を取得する取得部と、
正常に培養された細胞を撮影した1または複数の基準画像を基準とする、前記撮影画像の非正常度を算出する算出部と、
前記非正常度に基づいて、前記撮影画像に撮影された細胞の培養に異常があったか否かを判定する判定部と
して機能させ、
前記算出部は、
前記撮影画像を前記1または複数の基準画像に類似するように再構成した再構成画像を生成する再構成画像生成部と、
前記撮影画像および前記再構成画像の差に基づいて、前記非正常度を算出する非正常度算出部と
を有し、
前記再構成画像生成部は、前記1または複数の基準画像のうちの各基準画像の特徴を抽出し、抽出した特徴から各基準画像を復元するように学習された再構成モデルに前記撮影画像を入力して、前記再構成画像を生成し、
前記コンピュータを複数の前記算出部として機能させ、
前記複数の算出部が有する複数の前記再構成画像生成部は、互いに異なる複数の前記再構成モデルのそれぞれに前記撮影画像を入力して、複数の前記再構成画像を生成し、
前記複数の算出部が有する複数の前記非正常度算出部は、前記複数の再構成画像のそれぞれについて、前記非正常度を算出し、
前記判定部は、前記複数の再構成画像のそれぞれの前記非正常度を統合した判定結果を出力する
判定プログラム。
【請求項18】
コンピュータにより実行され、前記コンピュータを、
細胞を含む視野を撮影した撮影画像を取得する取得部と、
正常に培養された細胞を撮影した1または複数の基準画像を基準とする、前記撮影画像の非正常度を算出する算出部と、
前記非正常度に基づいて、前記撮影画像に撮影された細胞の培養に異常があったか否かを判定する判定部と
して機能させ、
前記取得部は、複数の視野のそれぞれについて前記撮影画像を取得し、
前記コンピュータを複数の前記算出部として機能させ、
前記複数の算出部は、前記複数の視野のそれぞれの前記撮影画像の前記非正常度を算出し、
前記判定部は、前記複数の視野のそれぞれの前記撮影画像の前記非正常度を統合した判定結果を出力する
判定プログラム。
【請求項19】
コンピュータにより実行され、前記コンピュータを、
細胞を含む視野を撮影した撮影画像を取得する取得部と、
正常に培養された細胞を撮影した1または複数の基準画像を基準とする、前記撮影画像の非正常度を算出する算出部と、
前記非正常度に基づいて、前記撮影画像に撮影された細胞の培養に異常があったか否かを判定する判定部と
して機能させ、
前記取得部は、細胞の培養条件を更に取得し、
前記算出部は、取得した前記培養条件に対応する培養条件で正常に培養された細胞を撮影した前記1または複数の基準画像を基準とする前記非正常度を算出する
判定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、判定装置、判定方法、および判定プログラムに関する。
【背景技術】
【0002】
特許文献1には、「培養容器内で培養される複数の細胞が時系列に撮像されている複数の画像を読み込む画像読込部と、前記画像に含まれる各々の前記細胞について、前記細胞の異なる複数の形態的な特徴を示す複数の異なる特徴量を前記画像からそれぞれ求める特徴量演算部と、前記細胞について評価する対象となる特性を、前記特徴量により評価することが適しているか否かを、各々の前記複数の画像に対応する前記特徴量のそれぞれについて、判定する特徴量判定部と、前記特徴量に対しての前記特徴量判定部による判定結果が、前記時系列において連続しているか否かを、前記特徴量のそれぞれについて判定する連続性判定部と、前記特徴量演算部により求められた特徴量と前記連続性判定部による判定結果とを組み合わせて、前記細胞における前記特性を評価するための計算モデルを構築する計算モデル構築部と、を備えていることを特徴とする細胞評価装置」が記載されている(請求項1)。特許文献2には、「畳み込みニューラルネットワークを用いて、前記明視野画像及び前記蛍光画像の画像特徴を抽出して、前記細胞に係る識別情報を出力するCNN処理部」を備える画像処理装置が記載されている(請求項1)。また、特許文献2には、「前記細胞に係る識別情報は、前記細胞の種別、形態、若しくは分布、又は、前記細胞内に含まれる生体物質の種別、形態、若しくは分布に係る情報を含む」と記載されている(請求項2)。
[先行技術文献]
[特許文献]
[特許文献1] 特開2011-229410号公報
[特許文献2] 特開2018-180635号公報
【発明の概要】
【0003】
本発明の第1の態様においては、判定装置を提供する。判定装置は、細胞を含む視野を撮影した撮影画像を取得する取得部を備えてよい。判定装置は、正常に培養された細胞を撮影した1または複数の基準画像を基準とする、撮影画像の非正常度を算出する算出部を備えてよい。判定装置は、非正常度に基づいて、撮影画像に撮影された細胞の培養に異常があったか否かを判定する判定部を備えてよい。
【0004】
判定装置は、撮影画像上に、判定に対する影響の分布を表示する解析用画像を生成する解析処理部を備えてよい。
【0005】
算出部は、撮影画像を1または複数の基準画像に類似するように再構成した再構成画像を生成する再構成画像生成部を有してよい。算出部は、撮影画像および再構成画像の差に基づいて、非正常度を算出する非正常度算出部を有してよい。
【0006】
再構成画像生成部は、1または複数の基準画像のうちの各基準画像の特徴を抽出し、抽出した特徴から各基準画像を復元するように学習された再構成モデルに撮影画像を入力して、再構成画像を生成してよい。
【0007】
判定装置は、正常に培養されたと判断された細胞を含む視野を撮影した1または複数の基準画像を用いて再構成モデルの学習処理を行なう学習処理部を備えてよい。
【0008】
学習処理部は、判定部により細胞の培養に異常があったと判定されなかった撮影画像を、新たな基準画像として1または複数の基準画像の組に追加して、再構成モデルの学習処理を行なってよい。
【0009】
判定装置は、複数の算出部を備えてよい。複数の算出部が有する複数の再構成画像生成部は、互いに異なる複数の再構成モデルのそれぞれに撮影画像を入力して、複数の再構成画像を生成してよい。複数の算出部が有する複数の非正常度算出部は、複数の再構成画像のそれぞれについて、非正常度を算出してよい。判定部は、複数の再構成画像のそれぞれの非正常度を統合した判定結果を出力してよい。
【0010】
算出部は、撮影画像の特徴量を算出する特徴量算出部を有してよい。算出部は、撮影画像の特徴量と、1または複数の基準画像のそれぞれの基準特徴量とに基づいて、非正常度を算出する非正常度算出部を有してよい。
【0011】
取得部は、細胞培養過程を時系列で撮影した撮影画像を取得してよい。算出部は、正常な細胞培養過程を時系列で撮影した1または複数の基準画像を基準とする非正常度を算出してよい。
【0012】
判定装置は、撮影画像に前処理を行なう前処理部を備えてよい。算出部は、前処理を行なった撮影画像を用いて非正常度を算出してよい。
【0013】
前処理は、細胞または細胞塊の画像の3次元再構成処理またはエッジ強調処理のうちの少なくとも1つを含んでよい。
【0014】
取得部は、複数の視野のそれぞれについて撮影画像を取得してよい。判定装置は、複数の算出部を備えてよい。複数の算出部は、複数の視野のそれぞれの撮影画像の非正常度を算出してよい。判定部は、複数の視野のそれぞれの撮影画像の非正常度を統合した判定結果を出力してよい。
【0015】
判定部は、培養用プレートまたはウェル毎に、非正常度を統合した判定結果を出力してよい。
【0016】
判定部は、複数の培養用プレートまたはウェルについての非正常度を統合した判定結果を出力してよい。
【0017】
取得部は、細胞の培養条件を更に取得してよい。算出部は、取得した培養条件に対応する培養条件で正常に培養された細胞を撮影した1または複数の基準画像を基準とする非正常度を算出してよい。
【0018】
本発明の第2の態様によれば、判定方法を提供する。判定方法は、判定装置が、細胞を含む視野を撮影した撮影画像を取得することを含んでよい。判定方法は、判定装置が、正常に培養された細胞を撮影した1または複数の基準画像を基準とする、撮影画像の非正常度を算出することを含んでよい。判定方法は、判定装置が、非正常度に基づいて、撮影画像に撮影された細胞の培養に異常があったか否かを判定することを含んでよい。
【0019】
本発明の第3の態様によれば、コンピュータにより実行される判定プログラムを提供する。判定プログラムは、コンピュータを細胞を含む視野を撮影した撮影画像を取得する取得部として機能させてよい。判定プログラムは、コンピュータを、正常に培養された細胞を撮影した1または複数の基準画像を基準とする、撮影画像の非正常度を算出する算出部として機能させてよい。判定プログラムは、コンピュータを、非正常度に基づいて、撮影画像に撮影された細胞の培養に異常があったか否かを判定する判定部として機能させてよい。
【0020】
なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【0021】
【
図1】本実施形態に係る判定装置10の構成を示す。
【
図2】本実施形態に係る判定装置10の判定フローを示す。
【
図3】本実施形態に係る判定装置10の学習フローを示す。
【
図4】本実施形態の第1変形例に係る算出部415の構成を示す。
【
図5】本実施形態の第1変形例に係る算出部415の動作フローを示す。
【
図6】本実施形態の第2変形例に係る判定装置600の構成を示す。
【
図7】本実施形態の第3変形例に係る判定装置700の構成を示す。
【
図8】本実施形態の第4変形例に係る判定装置800の構成を示す。
【
図9】本実施形態の第4変形例に係る判定装置800の判定フローを示す。
【
図10】本実施形態の第5変形例に係る判定装置1000の構成を示す。
【
図11】本実施形態の第5変形例に係る判定装置1000の判定フローを示す。
【
図12】本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ2200の例を示す。
【発明を実施するための形態】
【0022】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0023】
図1は、本実施形態に係る判定装置10の構成を示す。細胞培養等のバイオプロセスには、原理が十分に解明されていない部分も多い。このため、同一プロトコルを用いたとしても、例えば実験者の手技の差異、装置を変更した場合の機差、原料となる細胞の劣化度合、コンタミネーション、およびその他の未解明の要因により、培養過程に変動が生じる。
【0024】
正常に培養された細胞の画像から特徴を抽出するように学習されたモデルを用いた場合、対象となる細胞の培養に異常があると、培養の異常によって生じた画像から誤った特徴を抽出してしまう可能性がある。判定装置10は、細胞の培養が正常に行なわれたか、または異常があったかを判定することにより、正常に培養された細胞として利用してよいか否か、すなわち例えば、細胞を撮影した撮影画像を細胞の特徴抽出に用いてよいか否か等を示すことを可能とする。
【0025】
判定装置10は、細胞を含む測定対象20を撮影した撮像画像を用いて、培養に異常があったか否かを判定する。判定装置10は、PC(パーソナルコンピュータ)、タブレット型コンピュータ、スマートフォン、ワークステーション、サーバコンピュータ、または汎用コンピュータ等のコンピュータであってよく、複数のコンピュータが接続されたコンピュータシステムであってもよい。このようなコンピュータシステムもまた広義のコンピュータである。また、判定装置10は、コンピュータ内で1または複数実行可能な仮想コンピュータ環境によって実装されてもよい。これに代えて、判定装置10は、細胞の培養状態の判定用に設計された専用コンピュータであってもよく、専用回路によって実現された専用ハードウェアであってもよい。コンピュータを用いる場合、判定装置10は、コンピュータにより判定プログラムを実行することによって実現される。判定装置10は、撮像部100と、撮影画像記憶部105と、取得部110と、算出部115と、判定部130と、解析処理部132と、結果出力部135と、モデル生成部137とを備える。
【0026】
撮像部100は、細胞を含む視野を撮影する。撮影画像記憶部105は、撮像部100に接続され、撮像部100が撮影した撮影画像を格納する。取得部110は、撮影画像記憶部105に接続され、細胞を含む視野を撮影した撮影画像を撮影画像記憶部105から取得する。なお、他の実施形態においては、判定装置10は、撮像部100および撮影画像記憶部105を備えず、外部の撮像装置または記憶装置等から撮影画像を取得してもよい。
【0027】
算出部115は、取得部110に接続される。算出部115は、正常に培養された細胞を撮影した1または複数の基準画像を基準とする、撮影画像の非正常度を算出する。ここで、「非正常度」は、撮影画像が、1または複数の基準画像を用いて定義される基準(標準)からどの程度乖離しているかを示す指標値である。本実施形態において、算出部115は、再構成画像生成部120および非正常度算出部125を有する。
【0028】
再構成画像生成部120は、取得部110により取得された撮影画像を1または複数の基準画像に類似するように再構成した再構成画像を生成する。これにより、再構成画像生成部120は、撮影画像から、正常に培養された細胞を撮影した1または複数の基準画像には見られないような、培養の異常によって生じる画像の特徴を除去または減衰させた再構成画像を出力することができる。
【0029】
非正常度算出部125は、再構成画像生成部120に接続される。非正常度算出部125は、撮影画像および再構成画像の差に基づいて、撮影画像の非正常度を算出する。ここで、再構成画像は、培養の異常によって生じる画像の特徴を除去等したものであるから、培養の異常によって生じる画像の特徴が撮影画像に大きく含まれる程、撮影画像および再構成画像の差は大きくなる。したがって、このような場合には、「非正常度」は、標準からより乖離していることを示す値となる。
【0030】
判定部130は、算出部115に接続される。判定部130は、算出部115が算出した非正常度に基づいて、撮影画像に撮影された細胞の培養に異常があったか否かを判定する。
【0031】
解析処理部132は、判定部130に接続される。解析処理部132は、撮影画像上に、判定部130による判定に対する影響の分布を表示する解析用画像を生成する。解析用画像は、撮影画像中のどの領域が細胞の培養に異常があったとの判定に寄与したかを示す。例えば、解析処理部132は、撮影画像上に、再構成画像との差分を表示した解析用画像を生成する。なお、他の実施形態においては、判定装置10は、解析処理部132を備えず、解析用画像を生成する機能を有しなくてもよい。
【0032】
結果出力部135は、解析処理部132に接続される。結果出力部135は、判定部130による判定結果、および解析処理部132が生成した解析用画像を出力する。例えば、結果出力部135は、判定結果および解析用画像をユーザが使用する表示装置または端末等に表示させる表示処理を行なう。結果出力部135は、判定結果および解析用画像を、記憶装置に格納してもよい。
【0033】
モデル生成部137は、取得部110に接続される。モデル生成部137は、正常に培養されたと判断された細胞を含む視野を撮影した1または複数の基準画像を用いて再構成モデルを生成する。本実施形態に係るモデル生成部137は、取得部110により取得された撮影画像の中から基準画像を選択して、再構成モデルの生成に用いる。なお、他の実施形態においては、判定装置10はモデル生成部137を備えず、結果出力部135は、予め定められた再構成モデルまたは外部から与えられた再構成モデルを用いて再構成画像を生成してもよい。
【0034】
モデル生成部137は、基準画像記憶部145と、学習処理部150と、モデル記憶部155とを有する。基準画像記憶部145は、正常に培養された細胞を撮影した1または複数の基準画像を記憶する。
【0035】
学習処理部150は、取得部110、判定部130、および基準画像記憶部145に接続される。学習処理部150は、基準画像記憶部145に格納された1または複数の基準画像を用いて、再構成画像生成部120が撮影画像を再構成するために用いる再構成モデルの学習処理を行なう。本実施形態において、学習処理部150は、取得部110が取得した撮影画像のうち、判定部130により細胞の培養に異常があったと判定されなかった撮影画像を、新たな基準画像として、基準画像記憶部145に格納された1または複数の基準画像の組に追加する。そして、学習処理部150は、新たな基準画像が追加された1または複数の基準画像を用いて再構成モデルの学習処理を行なう。なお、他の実施形態においては、学習処理部150は、新たな基準画像を基準画像記憶部145に追加して再構成モデルの更新を行なうオンライン学習の機能を有しなくてもよい。
【0036】
モデル記憶部155は、学習処理部150に接続される。モデル記憶部155は、学習処理部150が生成した再構成モデルを格納する。そして、モデル記憶部155は、再構成モデルを算出部115内の再構成画像生成部120に供給する。
【0037】
図2は、本実施形態に係る判定装置10の判定フローを示す。ステップ200(S200)において、撮像部100は、細胞を含む視野を撮影する。撮像部100は、一例として撮影機能を有する顕微鏡であってよい。本実施形態において、撮像部100は、測定対象20における細胞を含む視野の明視野画像を撮影する。撮像部100は、例えば細胞を含む視野の位相差画像を撮影してもよく、染色した細胞を含む視野の染色画像を撮影してもよく、その他の各種の手法を用いた観察画像を撮影してもよい。撮像部100は、撮影画像を撮影画像記憶部105に格納する。S210において、取得部110は、撮影画像を撮影画像記憶部105から取得する。
【0038】
S220において、再構成画像生成部120は、撮影画像を1または複数の基準画像に類似するように再構成した再構成画像を生成する。本実施形態において、再構成画像生成部120は、モデル生成部137により生成され、モデル記憶部155に格納された再構成モデルを用いて、撮影画像を再構成した再構成画像を生成する。ここで、モデル生成部137内の学習処理部150は、1または複数の基準画像のうちの各基準画像の特徴を抽出し、抽出した特徴から各基準画像を復元するように再構成モデルを学習により生成する。再構成画像生成部120は、このような再構成モデルに撮影画像を入力して、再構成画像を生成する。なお、再構成画像生成部120は、再構成前の撮影画像を再構成して、同じ解像度の再構成画像を生成してよく、異なる解像度の再構成画像を生成してもよい。このようにして、再構成画像生成部120は、撮影画像を1または複数の基準画像に類似するように再構成することによって、撮影画像に撮影された状況における、1または複数の基準画像に則した基準(標準)となる画像を生成する。
【0039】
S230において、非正常度算出部125は、撮影画像および再構成画像の差に基づいて、撮影画像の非正常度を算出する。本実施形態において、非正常度算出部125は、撮影画像および再構成画像の各画素の二乗誤差を合計した二乗誤差和を非正常度を表す指標として用いる。すなわち、ある時刻tに撮影された撮影画像x(t)の非正常度a(t)は、再構成画像をx
rec(t)とすると、以下の式(1)で表される。ここで、添え字iは、画像内の各画素を表す変数である。
【数1】
【0040】
式(1)で表される非正常度a(t)は、撮影画像および再構成画像の差がより大きくなると、より大きくなる指標値である。このようにして算出される非正常度a(t)は、撮影画像に撮影された状況における1または複数の基準画像に則した再構成画像を基準とした、撮影画像の乖離度を示す指標値となる。これに代えて、非正常度は、撮影画像および再構成画像の差がより大きくなると、より小さくなる指標値であってもよい。なお、撮影画像および再構成画像の解像度が異なる場合には、非正常度算出部125は、対応する位置の画素同士の差を用いて式(1)により非正常度a(t)を算出してよい。
【0041】
また、非正常度算出部125は、上記と異なる計算手法を用いて非正常度を算出してもよい。非正常度算出部125は、撮影画像x(t)および再構成画像xrec(t)の各画素の誤差のうちの最大誤差等の、撮像画像および再構成画像の差に応じて変化する任意の統計量を用いてもよい。
【0042】
S240において、判定部130は、算出部115が算出した非正常度に基づいて、撮影画像に撮影された細胞の培養に異常があったか否かを判定する。判定部130は、非正常度が正常範囲外となったことに応じて細胞の培養に異常があったと判定する。撮影画像および再構成画像の差がより大きくなると値が大きくなる非正常度を用いる場合、判定部130は、非正常度a(t)が予め定められた閾値を超えたことに応じて、細胞の培養に異常があったと判定してよい。
【0043】
S240において細胞の培養が正常であったと判定されると、モデル生成部137内の学習処理部150は、S270において、細胞の培養が正常であったと判定された撮影画像を、新たな基準画像として、基準画像記憶部145に格納された1または複数の基準画像の組に追加する。そして、判定装置10は、処理をS260へと進める。
【0044】
S240において細胞の培養に異常があったと判定されると、解析処理部132は、S250において、撮影画像中のどの領域が細胞の培養に異常があったとの判定に寄与したかを示す解析用画像を生成する。解析処理部132は、撮影画像中における判定に影響を与えた部分およびその影響度合いを示す解析用画像を生成してよい。本実施形態において、解析処理部132は、撮影画像上に、再構成画像との差分を表示した解析用画像を生成する。解析処理部132は、ヒートマップまたは等高線等を用いた解析用画像を生成してもよい。例えば、解析処理部132は、撮影画像の各画素について、撮影画像および再構成画像の画素値の差の大きさに応じた色を撮影画像の画素値に加える等により、撮影画像上に再構成画像との差分を反映する。また例えば、解析処理部132は、撮影画像上に、撮影画像および再構成画像の画素値の差を示す等高線を加えてもよい。
【0045】
S260において、結果出力部135は、判定部130による判定結果、すなわち撮影画像に撮影された細胞の培養に異常があったか否かを出力する。また、結果出力部135は、細胞の培養に異常があったと判定された場合には、解析処理部132が生成した解析用画像を出力する。
【0046】
以上に示した判定装置10によれば、1または複数の基準画像を用いて学習した再構成モデルを用いて撮影画像を再構成した再構成画像と撮影画像とを比較することにより、1または複数の基準画像を基準とする撮影画像の非正常度を算出し、細胞の培養に異常があったか否かを判定することができる。また、判定装置10によれば、撮影画像および再構成画像の差が比較的大きい領域を撮影画像上に表示することができるので、細胞の培養に異常があったと判定された撮影画像における重点的に解析すべき箇所を特定することができる。
【0047】
図3は、本実施形態に係る判定装置10の学習フローを示す。学習処理に先立って、基準画像記憶部145は、正常に培養された細胞を撮影した1または複数の基準画像を格納する。ここで、1または複数の基準画像は、培養過程の開始から終了に至るまで正常に培養された細胞を撮影した画像であってよく、培養過程の開始から終了前の任意の時点まで正常に培養された細胞をその時点で撮影した画像であってもよい。
【0048】
基準画像記憶部145は、学習前に、正常に培養された細胞が撮影されたものであるとしてユーザが選択した1または複数の基準画像を、初期の基準画像のセットとして格納してよい。また、学習処理部150は、取得部110が取得した撮影画像のうち、判定部130によって細胞の培養が正常であったと判定された撮影画像を選択して、基準画像記憶部145に格納してよい。
【0049】
ループの先頭に対応するS300およびループの末尾に対応するS320の間において、学習処理部150は、基準画像記憶部145に格納された基準画像毎にS300およびS320の間の処理を繰り返すループ処理を行なう。S310において、学習処理部150は、学習対象の基準画像について、基準画像の特徴を抽出し、抽出した特徴から基準画像を復元するように、モデル記憶部155に格納された再構成モデルを生成または更新する。
【0050】
再構成モデルは、一例として、入力される基準画像を次元数がより小さい特徴ベクトルに圧縮するエンコーダと、特徴ベクトルから基準画像を復元するデコーダとを含み、復元された基準画像が入力された基準画像とより近似するようにエンコーダおよびデコーダがトレーニングされるオートエンコーダであってよい。エンコーダおよびデコーダは、CNN(Convolutional Neural Network)および全結合ニューラルネットワーク等のニューラルネットワークを含んでよい。学習処理部150は、入力された基準画像と復元された基準画像との誤差を用いて、誤差逆伝搬法によりエンコーダおよびデコーダの学習処理を行なってよい。
【0051】
また、学習処理部150は、敵対的生成ネットワーク(GAN:Generative Adversarial Network)を用いて、入力画像を次元数がより小さい特徴ベクトルに圧縮し、特徴ベクトルを用いて画像を再構成する再構成モデルを生成してもよい。例えば、学習処理部150は、再構成モデルを用いて基準画像を再構成した画像を生成する生成器と、画像が再構成されたものか否かを判別する判別器とを含む系において、基準画像および基準画像を再構成した画像の判別精度を向上するように判別器の学習処理を行なうと共に、判別器による判別精度を低下させるように生成器の学習処理を行なう。学習処理部150は、このようにして学習された生成器で使用された再構成モデルを、モデル記憶部155に格納する。
【0052】
S330において、学習処理部150は、学習処理が完了したか否かを判定する。例えば、学習処理部150は、再構成モデルを用いて基準画像を再構成した画像と元の基準画像との誤差が予め定められた閾値未満となったことを条件として、学習処理が完了したと判定する。また、学習処理部150は、S300からS320までの学習処理を予め定められた回数繰り返したことに応じて、学習処理が完了したと判定してもよい。学習処理が完了していないと判定した場合、学習処理部150は、処理をS300に進めて学習処理を継続する。
【0053】
以上に示した学習処理部150によれば、撮影画像を1または複数の基準画像に類似するように再構成する再構成モデルの学習処理を行なうことができる。具体的には、学習処理部150は、基準画像の特徴をできる限り再現するように再構成モデルを学習させるのに対し、基準画像に含まれないような特徴を再現するようには再構成モデルを学習させない。したがって、再構成モデルは、撮影画像に含まれる、基準画像と類似する特徴については再構成画像上に再現し、撮影画像に含まれる、基準画像とは類似しない特徴については再構成画像にほとんど再現できなくなる。このため、再構成モデルは、撮影画像における、正常に培養された細胞を撮影した基準画像には見られない特徴を除去または減衰させ、基準画像により類似する再構成画像に変換することができるようになる。
【0054】
なお、学習処理部150は、細胞の培養に異常があったと判断されなかった撮影画像を新たな基準画像として受け取る度に、新たな基準画像についてS310の処理を行なうことにより、再構成モデルのオンライン学習を行なってもよい。
【0055】
また、判定装置10は、単一時刻tで撮影された撮影画像の代わりに、複数のタイミングのそれぞれで撮影された時系列の撮影画像を用いて細胞の培養状態を判定してもよい。この場合、撮像部100は、
図2のS200において、細胞培養過程を時系列で撮影した撮影画像を撮影画像記憶部105に格納し、取得部110は、
図2のS210において、時系列の撮影画像を取得する。
【0056】
算出部115は、正常な細胞培養過程を時系列で撮影した1または複数の基準画像を基準とする、撮影画像の非正常度を算出してよい。ここで、取得部110は、時系列の撮影画像および基準画像として、画素毎に、複数のタイミングのそれぞれにおける画素値をその画素における異なるチャネルにエンコードしたマルチチャネル画像を用いてよい。
【0057】
図4は、本実施形態の第1変形例に係る算出部415の構成を示す。本変形例においては、
図1に示した判定装置10における算出部115に代えて、算出部415を用いる。本変形例において、
図1の判定装置10における算出部115以外の構成要素は基本的には同様であるから、以下相違点を除き説明を省略する。
【0058】
算出部415は、取得部110およびモデル生成部137に接続される。算出部415は、正常に培養された細胞を撮影した1または複数の基準画像を基準とする、撮影画像の非正常度を算出する。算出部415は、特徴量算出部420と、非正常度算出部425とを有する。特徴量算出部420は、取得部110により取得された撮影画像の特徴量を算出する。
【0059】
非正常度算出部425は、特徴量算出部420に接続される。非正常度算出部425は、撮影画像の特徴量と、1または複数の基準画像のそれぞれの基準特徴量とに基づいて、非正常度を算出する。これにより、判定装置10は、撮影画像に撮影された細胞の培養に異常があったか否かを、正常に培養された細胞を撮影した1または複数の基準画像との特徴量の相違に基づいて判定することができる。
【0060】
図5は、本実施形態の第1変形例に係る算出部415の動作を示す。本変形例において、判定装置10は、
図2のS220およびS230に代えて、S520およびS530を実行する。
【0061】
S520において、特徴量算出部420は、撮影画像の特徴量を算出する。一例として、特徴量算出部420は、多層パーセプトロン、CNN、全結合ニューラルネットワーク、またはその他のニューラルネットワークを用いて、撮影画像をより低次元の空間へと非線形写像した特徴量を算出する。特徴量算出部420は、ニューラルネットワーク以外の機械学習モデルを用いて、撮影画像よりも低次元の特徴量を算出してもよい。また、特徴量算出部420は、SURF、またはAKAZE等の、画像解析における従来の特徴量抽出法を用いて撮影画像の特徴量を算出してもよい。以上に示した特徴量は、画素毎の輝度値を含むような画像とは異なる形式のデータであってよい。
【0062】
S530において、非正常度算出部425は、撮影画像の特徴量と、1または複数の基準画像のそれぞれの基準特徴量とに基づいて、非正常度を算出する。例えば、非正常度算出部425は、撮影画像の特徴量h(t)と、1または複数の基準画像のそれぞれの基準特徴量を平均した平均基準特徴量との相違度を非正常度として算出する。この場合、非正常度算出部425は、以下の式(2)を用いて非正常度a(t)を算出してもよい。ここで、μは平均基準特徴量、Σは基準特徴量の共分散である。
【数2】
【0063】
このような非正常度a(t)は、撮影画像に撮影された状況が、1または複数の基準画像を基準としてどの程度乖離しているかを、撮影画像および各基準画像の基準特徴量の相違度を用いて算出したものである。このように、非正常度算出部425は、1または複数の基準画像を基準として、撮影画像の非正常度を算出してもよい。
【0064】
非正常度算出部425は、上記と異なる計算手法を用いて非正常度を算出してもよい。例えば、非正常度算出部425は、1または複数の基準画像における1または複数の基準特徴量の組{hi(t)}(添え字iは、基準特徴量の番号を示す。)から基準特徴量の確率分布モデルp(t)を生成し、確率分布モデルp(t)における撮影画像の特徴量h(t)の尤度に基づく非正常度a(t)を算出する。非正常度算出部425は、非正常度として、負の対数尤度を用いてもよい。このようにして算出した非正常度a(t)は、正常に近い場合(尤度が大きい場合)により小さくなり、異常に近い場合(尤度が小さい場合)に大きくなる。
【0065】
以上に示した算出部415によれば、撮影画像および1または複数の基準画像の特徴量を用いて、1または複数の基準画像を基準とする撮影画像の非正常度を算出し、細胞の培養に異常があったか否かを判定することができる。なお、算出部415を用いる場合、モデル生成部137は、以下に例示する方法を用いて特徴量算出部420が使用する特徴抽出モデルを生成してよい。
【0066】
本変形例に係るモデル生成部137内の学習処理部150は、培養した細胞を撮影した様々な撮影画像の特徴を抽出し、抽出した特徴から撮影画像を復元する機械学習モデルを学習により生成してよい。この学習に用いる撮影画像は、培養に異常があった細胞を撮影したものを含んでもよい。そして、学習処理部150は、この機械学習モデルにおける撮影画像から特徴を抽出する部分を取り出して、特徴抽出モデルとしてモデル記憶部155に格納してよい。例えば、学習処理部150は、様々な撮影画像を用いてオートエンコーダを学習により生成し、オートエンコーダにおけるエンコーダ部分を特徴抽出モデルとして取り出してよい。
【0067】
これに代えて、判定装置10は、特徴抽出モデルとして、例えば、一般的な画像認識(分類、物体検出)のために作られた深層学習モデルの中間特徴量までのネットワークを利用するなど、他ドメインの学習済みモデルを用いてもよい。また、学習処理部150は、培養した細胞を撮影した各撮影画像に、培養に異常があったか否かを人手でラベル付けした学習用データを用いて、培養に異常があったか否かを撮影画像から予測するニューラルネットワークを学習により生成し、このニューラルネットワークの中間段までを取り出して、特徴抽出モデルとしてよい。また、学習処理部150は、同様の学習用データを用いて、正常な培養に対応付けられた各撮影画像に応じて特徴抽出モデルが出力する特徴量同士と、異常な培養に対応付けられた各撮影画像に応じて特徴抽出モデルが出力する特徴量同士とをより近付け、正常な培養に対応付けられた撮影画像に応じて特徴抽出モデルが出力する特徴量と異常な培養に対応付けられた撮影画像に応じて特徴抽出モデルが出力する特徴量とをより遠ざけるように、特徴抽出モデルの学習処理を行なってもよい。
【0068】
また、算出部415を用いる場合、解析処理部132は、撮影画像上に、特徴量および基準特徴量の差に対する領域毎の影響度を表示した解析用画像を生成する。例えば、解析処理部132は、特徴量算出部420に入力される撮影画像に対する非正常度計算の勾配を算出し、撮影画像における勾配がより大きい領域をより強調した解析用画像を生成してよい。また、解析処理部132は、撮影画像中の複数の部分領域のそれぞれに対して、撮影画像におけるその部分領域を変更したことに応じて算出される非正常度と、撮影画像から算出される非正常度との差に基づいて解析用画像を生成してよい。例えば、撮影画像中のある部分領域を例えばマスクした画像から算出される非正常度が、撮影画像自体から算出された非正常度よりも非常に小さい値(標準からの乖離度が小さい値)となった場合、解析処理部132は、その部分領域の影響度が大きいと判断することができる。これに代えて、解析処理部132は、撮影画像の特徴量h(t)と、1または複数の基準画像の平均基準特徴量μとの誤差により大きく寄与した撮影画像上の領域をより強調した解析用画像を生成してもよい。この場合、解析処理部132は、GradCAM等の手法を用いて、特徴量および基準特徴量の差に対する領域毎の影響度を特定することができる。
【0069】
また、時系列の撮影画像を用いる場合、算出部415内の特徴量算出部420は、時系列の撮影画像から特徴量を抽出してよく、算出部415内の非正常度算出部425は、時系列の撮影画像の特徴量と、1または複数の時系列の基準画像から抽出した1または複数の基準特徴量とに基づいて、非正常度を算出してもよい。この場合、特徴量算出部420は、特徴抽出モデルとして例えば回帰型ニューラルネットワーク(RNN:Recurrent Neural Network)を用いて、時系列の撮影画像および時系列の基準画像の特徴量および基準特徴量を抽出してよい。
【0070】
図6は、本実施形態の第2変形例に係る判定装置600の構成を示す。本変形例に係る判定装置600は、
図1に示した判定装置10に前処理部610を加えた構成をとる。なお、
図6における、
図1と同じ符号を付した構成要素は
図1と同様であるから、以下相違点を除き説明を省略する。
【0071】
判定装置600は、取得部110に接続された前処理部610を更に備える。前処理部610は、撮影画像に前処理を行なって、算出部115と、モデル生成部137とに供給する。撮像部100が視野の深さ方向に焦点位置を変えながら複数枚の撮影画像を撮影可能な場合には、前処理部610は、これらの複数枚の撮影画像を用いて、細胞または細胞塊(コロニー、スフェロイド、またはオルガノイド等)の画像の3次元再構成処理を行なってよい。すなわち、前処理部610は、深さ方向にスライスした複数枚の撮影画像から、細胞または細胞塊を立体データに変換した3次元の撮影画像として再構成してよい。これにより、算出部115は、3次元の撮影画像を用いて非正常度を算出することができる。
【0072】
また、前処理部610は、細胞または細胞塊の画像のエッジ強調処理を行なってもよい。例えば、前処理部610は、取得部110が取得した撮影画像に対し、位相コントラスト法等を用いて3次元情報を2次元情報に畳み込んでエッジ強調を行なった撮影画像を出力してもよい。判定装置600のモデル生成部137は、基準画像記憶部145に格納する1または複数の基準画像のそれぞれとして、前処理部610と同様の前処理を行なった基準画像を用いてよい。なお、前処理部610は、
図1における算出部115に代えて算出部415を用いる構成にも適用することができる。
【0073】
図7は、本実施形態の第3変形例に係る判定装置700の構成を示す。本変形例に係る判定装置700は、
図1の判定装置10を、細胞の培養条件および撮影条件を加味した判定を行なうように変更したものである。
図6における、
図1と同じ符号を付した構成要素は、培養条件または撮影条件の少なくとも1つを用いる点を除いて
図1と同様であるから、以下相違点を除き説明を省略する。
【0074】
判定装置700は、培養部710を更に備える。培養部710は、細胞の培養条件を入力し、培養条件に従って測定対象20中の細胞を培養する。細胞の培養条件は、温度等の環境パラメータ、培養過程における薬剤投入等の作業パラメータ、またはその他の培養に関するパラメータ等のうちの少なくとも1つのパラメータのセットによって表されてよい。
【0075】
本変形例において、撮像部100は、測定対象20の撮影条件を入力し、撮影条件に従って測定対象20を撮像する。撮影条件は、レンズ倍率、露光時間、照明、撮影位置(X、Y、Z座標等)、またはその他の、同一の被写体を撮影した場合においても撮影画像に違いを生じうるパラメータのうちの少なくとも1つのパラメータのセットによって表されてよい。
【0076】
撮影画像記憶部105は、撮影画像に培養条件および撮影条件を対応付けて格納する。取得部110は、撮影画像に加えて、処理対象の撮影画像に関する培養条件および撮影条件を取得する。算出部115は、取得した培養条件に対応する培養条件で正常に培養された細胞を、取得した撮影条件に対応する撮影条件で撮影した1または複数の基準画像を基準とする非正常度を算出する。この場合、モデル記憶部155は、培養条件および撮影条件毎の複数の再構成モデルを格納し、算出部115は、モデル記憶部155に格納された複数の再構成モデルのうち、処理対象となる撮影画像に関する培養条件および撮影条件に対応する再構成モデルを用いて、撮影画像を再構成してよい。また、非正常度算出部125は、培養条件および撮影条件に応じて、細胞の培養に異常があったか否かの判定に用いる閾値を切り替えてもよい。学習処理部150は、培養条件および撮影条件毎に、1または複数の基準画像を用いて再構成モデルの学習処理を行なってよい。
【0077】
本変形例によれば、判定装置700は、様々な培養条件および撮影条件で得られた撮影画像に対し、撮影画像に関連する培養条件および撮影条件に適した再構成処理および非正常度計算を行なうことができる。これにより、判定装置700は、様々な培養条件および撮影条件で得られた撮影画像に基づいて、細胞の培養に異常があったか否かを適切に判定することができる。
【0078】
なお、判定装置700は、培養条件および撮影条件のうち、いずれか一方のみを加味して判定を行なってもよい。また、判定装置700は、算出部115に代えて算出部415を備えてもよい。
【0079】
図8は、本実施形態の第4変形例に係る判定装置800の構成を示す。本変形例に係る判定装置800は、
図1の判定装置10を、複数箇所の撮影画像を用いて判定を行なうように変更したものである。
図8における、
図1と同じ符号を付した構成要素は、培養条件または撮影条件の少なくとも1つを用いる点を除いて
図1と同様であるから、以下相違点を除き説明を省略する。
【0080】
本変形例において、取得部110は、複数の視野のそれぞれについて撮影画像を取得する。取得部110は、複数の視野を含む1枚の撮影画像を取得することによって、複数の視野のそれぞれに対応する部分的な撮影画像を一括して取得してよい。これに代えて、取得部110は、複数の視野のそれぞれを別々に撮像した複数の撮影画像を取得してもよい。
【0081】
ここで、取得部110は、測定対象20の培養に用いたプレートまたはプレート内のウェル等の培養の構成単位内において、複数箇所を撮影した複数の撮影画像を取得してよい。これに代えて、取得部110は、複数のプレートまたは複数のウェルのそれぞれを視野として撮影した各撮影画像を取得してもよい。
【0082】
判定装置800は、
図1の算出部115に代えて、分配部810と、複数の算出部815-1~N(「算出部815」とも示す。)とを備える。分配部810は、複数の視野の撮影画像を複数の算出部815-1~Nに分配する。本図の例においては、判定装置800は、N個の算出部815を備える。
【0083】
複数の算出部815-1~Nのそれぞれは、分配部810に接続される。各算出部815は、分配部810から受け取った撮影画像の非正常度を算出する。各算出部815は、
図1の算出部115と同様の構成をとってよく、算出部115と同様にして撮影画像の非正常度を算出してよい。これに代えて、各算出部815は、
図4の算出部415と同様の構成をとってよく、算出部415と同様にして撮影画像の非正常度を算出してもよい。
【0084】
判定部130は、複数の算出部815-1~Nのそれぞれに接続される。判定部130は、複数の算出部815のそれぞれが算出した、複数の視野のそれぞれの撮影画像の非正常度を統合した判定結果を出力する。
【0085】
本変形例において、モデル生成部137は、分配部810および複数の算出部815-1~Nに接続される。モデル生成部137内の学習処理部150は、複数の撮影画像を算出部815から受け取る。学習処理部150は、各算出部815が処理対象とした撮影画像の非正常度を各算出部815から受け取り、その撮影画像に撮影された細胞の培養が正常であったことを条件として、撮影画像を新たな基準画像として基準画像記憶部145に追加する。そして、学習処理部150は、新たな基準画像が追加された1または複数の基準画像を用いて再構成モデルまたは特徴抽出モデルの学習処理を行なう。学習処理部150が生成した再構成モデルまたは特徴抽出モデルは、複数の算出部815-1~Nのそれぞれで使用される。
【0086】
図9は、本実施形態の第4変形例に係る判定装置800の判定フローを示す。本変形例の判定フローにおける、
図2と同じステップ番号を付したブロックの動作は、
図2における対応するブロックの動作と同様であるから、以下相違点を除き説明を省略する。
【0087】
S200において、撮像部100は、複数の視野のそれぞれについての撮影画像を撮影する。S210において、取得部110は、複数の視野のそれぞれについて撮影画像を取得する。ここで、取得部110は、培養用プレートまたはウェル毎に、複数の視野が含まれる撮影画像を取得してよい。これに代えて、取得部110は、複数の培養用プレートまたはウェルのそれぞれに複数の視野のそれぞれが含まれる撮影画像を取得してもよい。
【0088】
S915において、分配部810は、取得部110が取得した複数の視野の撮影画像を、複数の算出部815に分配する。ここで、複数の視野を含む1枚の撮影画像を受け取った場合、分配部810は、受け取った撮影画像から複数の視野のそれぞれについての部分的な撮影画像を切り出して、複数の算出部815-1~Nのそれぞれに分配する。複数の視野のそれぞれについて個別の撮影画像を受け取った場合、分配部810は、複数の算出部815-1~Nのそれぞれに対して、複数の撮影画像のそれぞれを分配する。
【0089】
ループの先頭に対応するS917およびループの末尾に対応するS945の間において、算出部815-1~Nは、分配部810により分配された撮影画像毎にS917およびS945の間の処理を実行するループ処理を行なう。本変形例では、S940およびS270において、モデル生成部137内の学習処理部150は、複数の撮影画像のうち、非正常度を用いて細胞の培養が正常であったと判定した撮影画像を(S940の「Y」)、新たな基準画像として基準画像記憶部145に追加する(S270)。すなわち、本変形例においては、学習処理部150は、複数の撮影画像の一部において細胞の培養が正常であったと判定し、残りの撮影画像については細胞の培養に異常があったと判定した場合には、判定部130により全体としては細胞の培養に異常があったと判定されたとしても、個別に細胞の培養が正常であったと判定された一部の撮影画像を新たな基準画像として用いる。
【0090】
S947において、判定部130は、複数の算出部815のそれぞれが算出した、複数の視野のそれぞれの撮影画像の非正常度を統合した判定結果を出力する。例えば、判定部130は、細胞の培養が異常であるほど値が大きくなる非正常度を用いている場合に、少なくとも1つの撮影画像の非正常度が閾値を超えたことに応じて、細胞の培養に異常があったとの判定結果を出力する。これに代えて、判定部130は、予め定められた数を超える撮影画像の非正常度が閾値を超えたことに応じて、細胞の培養に異常があったとの判定結果を出力してもよい。
【0091】
細胞の培養に異常があったとの判定結果が出力されると(S240の「N」)、解析処理部132は、S250において、各撮影画像中のどの領域が細胞の培養に異常があったとの判定に寄与したかを示す解析用画像を生成する。S260において、結果出力部135は、判定部130による統合された判定結果を出力する。また、結果出力部135は、細胞の培養に異常があったと判定された場合には、解析処理部132が生成した、各撮影画像に対応する各解析用画像を出力する。
【0092】
以上に示した判定装置800によれば、培養プレートもしくはウェル毎等の、または複数の培養プレートもしくは複数のウェルについて等の、複数の視野の撮影画像を用いて、細胞の培養に異常があったか否かを統合的に判定することができる。これにより、判定装置800は、統計的にはある確率で一部の細胞の培養に異常が生じる可能性がある場合においても、複数の視野の撮像画像を用いて合理的な判定を行なうことができる。
【0093】
図10は、本実施形態の第5変形例に係る判定装置1000の構成を示す。本変形例に係る判定装置800は、
図1の判定装置10を、複数種類のモデルを用いて判定を行なうように変更したものである。
図10における、
図1と同じ符号を付した構成要素は、基本的には
図1と同様であるから、以下相違点を除き説明を省略する。
【0094】
判定装置1000は、
図1の算出部115に代えて、複数の算出部1015-1~M(「算出部1015」とも示す。)を備える。本図の例においては、判定装置1000は、M個の算出部1015を備える。
【0095】
複数の算出部1015-1~Mは、取得部110に接続される。各算出部1015は、取得部110が取得した、同じ撮影画像をそれぞれ受け取る。そして、各算出部1015は、各算出部1015に与えられたモデルを用いて、撮影画像の非正常度を算出する。
【0096】
各算出部1015は、
図1の算出部115と同様の構成をとってよい。この場合、複数の算出部1015が有する複数の再構成画像生成部120は、互いに異なる複数の再構成モデルのそれぞれに撮影画像を入力して、複数の再構成画像を生成する。複数の算出部1015が有する複数の非正常度算出部125は、複数の再構成画像のそれぞれについて、非正常度を算出する。
【0097】
また、各算出部1015は、
図4の算出部415と同様の構成をとってよい。この場合、複数の算出部1015が有する複数の特徴量算出部420は、互いに異なる複数の特徴抽出モデルのそれぞれに撮影画像を入力して、複数の特徴量を算出する。複数の算出部1015が有する複数の非正常度算出部425のそれぞれは、互いに異なる特徴抽出モデルを用いて撮影画像から算出した特徴量と、その特徴抽出モデルを用いて算出した、1または複数の基準画像のそれぞれの基準特徴量とに基づいて、非正常度を算出する。なお、複数の算出部1015の一部は
図1の算出部115と同様の構成をとり、他の一部は
図4の算出部415と同様の構成をとってもよい。
【0098】
判定部130は、複数の算出部1015-1~Mのそれぞれに接続される。判定部130は、複数の算出部1015のそれぞれが算出したモデル毎の非正常度を統合した判定結果を出力する。
【0099】
また、判定装置1000は、
図1のモデル生成部137に代えて、複数のモデル生成部1037-1~M(「判定装置1037」とも示す。)を備えてもよい。各判定装置1037は、その撮影画像に撮影された細胞の培養が正常であった判断されたことを条件として、撮影画像を新たな基準画像として各判定装置1037内の基準画像記憶部145に追加する。そして、各判定装置1037内の学習処理部150は、新たな基準画像が追加された1または複数の基準画像を用いて再構成モデルまたは特徴抽出モデルの学習処理を行なう。本変形例において、複数の判定装置1037が生成する複数のモデルは、複数の算出部1015-1~Mでそれぞれ使用される。
【0100】
ここで、複数の再構成モデルまたは特徴抽出モデルは、例えば、オートエンコーダを用いるモデル、敵対的生成ネットワークを用いるモデル、または、SVMもしくは統計的学習モデル等のニューラルネットワーク以外の機械学習モデルのように、機械学習のアルゴリズムが異なることによって互いに相違するものであってよい。また、複数の再構成モデルまたは特徴抽出モデルは、例えばニューラルネットワークにおける層数または層毎のニューロン数のような、機械学習のパラメータが異なることによって互いに相違するものであってよい。また、複数の再構成モデルまたは特徴抽出モデルは、学習に用いた訓練データのセット(例えば、学習に用いた基準画像のセット)が異なること、または学習強度が異なること等のように、学習の仕方が異なるものであってもよい。
【0101】
図11は、本実施形態の第5変形例に係る判定装置1000の判定フローを示す。本変形例の判定フローにおける、
図2と同じステップ番号を付したブロックの動作は、
図2における対応するブロックの動作と同様であるから、以下相違点を除き説明を省略する。
【0102】
S200において、撮像部100は、細胞を含む視野を撮影して、撮影画像を撮影画像記憶部105に格納する。S210において、取得部110は、撮影画像を撮影画像記憶部105から取得する。
【0103】
判定装置1000は、互いに異なる複数の特徴抽出モデル毎に、ループの先頭に対応するS1117からループの末尾に対応するS1145の間の各処理を実行するループ処理を行なう。ループ処理において、複数の算出部1015-1~Mは、
図2のS220およびS230または
図5のS520およびS530と同様の処理を実行する。
【0104】
S1147において、判定部130は、複数の算出部1015が出力する複数の非正常度を統合した判定結果を出力する。判定部130は、複数の非正常度の統計量を用いて、細胞の培養に異常があったか否かの判定結果を算出してよい。判定部130は、このような統計量として、平均値、中央値、最大値、最小値、分散、またはその他の値のうちの少なくとも1つを用いてもよい。例えば、判定部130は、複数の非正常度の平均値が、予め定められた閾値を超える場合に、細胞の培養に異常があったと判定する。
【0105】
また、判定部130は、各算出部1015が出力する非正常度を用いて、各算出部1015による単独の判定結果を算出し、多数決等により最終的な判定結果を決定してもよい。例えば、判定部130は、細胞の培養に異常があったことに応じて大きな値となる非正常度を用いる場合には、各算出部1015が出力する非正常度が予め定められた閾値を超える場合に、その算出部1015単独の結果としては細胞の培養に異常があったと判定する。そして、判定部130は、各算出部1015の非正常度による判定結果の多数決をとること、または予め定められた数を超える非正常度について細胞の培養に異常があったと判定されたこと等を条件として、細胞の培養に異常があった旨の判定結果を決定する。
【0106】
判定装置1000は、
図2のS240~S270と同様にして
図11のS240~S270の処理を行なう。ここで、解析処理部132は、S250において、撮影画像上に、各算出部1015が出力した非正常度に対する影響度の分布を表示する解析用画像を生成してよい。例えば、解析処理部132は、撮影画像上に、各算出部1015内の再構成画像生成部120が生成した再構成画像と撮影画像との差分を合成した解析用画像を生成してよい。この場合において、解析処理部132は、算出部1015が出力した非正常度が、予め定められた閾値を超えることを条件として、再構成画像と撮影画像との差分を解析用画像に反映してもよい。これにより、解析処理部132は、例えば算出部1015単独の非正常度に基づけば細胞の培養に異常があったと判定すべき場合に、撮影画像におけるその非正常度に影響を与えた領域を示すことができる。
【0107】
以上に示した判定装置1000によれば、細胞の培養に異常があったか否かの判定を、複数のモデルを用いて行うことができる。これにより、判定装置1000は、判定の精度をより高めることができる。
【0108】
なお、撮影画像を解析するモデルの中には、確率的な出力を行なうものがある。複数の算出部1015のうちの少なくとも1つがこのような確率モデルを用いる場合には、判定装置1000は、確率モデルを用いる算出部1015による撮影画像の評価を複数回試行して、この結果得られる複数回分の非正常度の統計量を用いて判定結果を決定してよい。
【0109】
本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階または(2)操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および/またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび/またはアナログハードウェア回路を含んでよく、集積回路(IC)および/またはディスクリート回路を含んでよい。プログラマブル回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。
【0110】
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(登録商標)ディスク、メモリスティック、集積回路カード等が含まれてよい。
【0111】
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk(登録商標)、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、および「C」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。
【0112】
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のコンピュータ等のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
【0113】
図12は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ2200の例を示す。コンピュータ2200にインストールされたプログラムは、コンピュータ2200に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の1または複数のセクションとして機能させることができ、または当該操作または当該1または複数のセクションを実行させることができ、および/またはコンピュータ2200に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ2200に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、CPU2212によって実行されてよい。
【0114】
本実施形態によるコンピュータ2200は、CPU2212、RAM2214、グラフィックコントローラ2216、およびディスプレイデバイス2218を含み、それらはホストコントローラ2210によって相互に接続されている。コンピュータ2200はまた、通信インターフェイス2222、ハードディスクドライブ2224、DVD-ROMドライブ2226、およびICカードドライブのような入/出力ユニットを含み、それらは入/出力コントローラ2220を介してホストコントローラ2210に接続されている。コンピュータはまた、ROM2230およびキーボード2242のようなレガシの入/出力ユニットを含み、それらは入/出力チップ2240を介して入/出力コントローラ2220に接続されている。
【0115】
CPU2212は、ROM2230およびRAM2214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ2216は、RAM2214内に提供されるフレームバッファ等またはそれ自体の中にCPU2212によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス2218上に表示されるようにする。
【0116】
通信インターフェイス2222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ2224は、コンピュータ2200内のCPU2212によって使用されるプログラムおよびデータを格納する。DVD-ROMドライブ2226は、プログラムまたはデータをDVD-ROM2201から読み取り、ハードディスクドライブ2224にRAM2214を介してプログラムまたはデータを提供する。ICカードドライブは、プログラムおよびデータをICカードから読み取り、および/またはプログラムおよびデータをICカードに書き込む。
【0117】
ROM2230はその中に、アクティブ化時にコンピュータ2200によって実行されるブートプログラム等、および/またはコンピュータ2200のハードウェアに依存するプログラムを格納する。入/出力チップ2240はまた、様々な入/出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入/出力コントローラ2220に接続してよい。
【0118】
プログラムが、DVD-ROM2201またはICカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ2224、RAM2214、またはROM2230にインストールされ、CPU2212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ2200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ2200の使用に従い情報の操作または処理を実現することによって構成されてよい。
【0119】
例えば、通信がコンピュータ2200および外部デバイス間で実行される場合、CPU2212は、RAM2214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インターフェイス2222に対し、通信処理を命令してよい。通信インターフェイス2222は、CPU2212の制御下、RAM2214、ハードディスクドライブ2224、DVD-ROM2201、またはICカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。
【0120】
また、CPU2212は、ハードディスクドライブ2224、DVD-ROMドライブ2226(DVD-ROM2201)、ICカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がRAM2214に読み取られるようにし、RAM2214上のデータに対し様々なタイプの処理を実行してよい。CPU2212は次に、処理されたデータを外部記録媒体にライトバックする。
【0121】
様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU2212は、RAM2214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM2214に対しライトバックする。また、CPU2212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU2212は、第1の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
【0122】
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ2200上またはコンピュータ2200近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはRAMのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ2200に提供する。
【0123】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0124】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【0125】
10 判定装置、20 測定対象、100 撮像部、105 撮影画像記憶部、110 取得部、115 算出部、120 再構成画像生成部、125 非正常度算出部、130 判定部、132 解析処理部、135 結果出力部、137 モデル生成部、145 基準画像記憶部、150 学習処理部、155 モデル記憶部、415 算出部、420 特徴量算出部、425 非正常度算出部、600 判定装置、610 前処理部、700 判定装置、710 培養部、800 判定装置、810 分配部、815-1~N 算出部、1000 判定装置、1015-1~M 算出部、1037-1~M モデル生成部、2200 コンピュータ、2201 DVD-ROM、2210 ホストコントローラ、2212 CPU、2214 RAM、2216 グラフィックコントローラ、2218 ディスプレイデバイス、2220 入/出力コントローラ、2222 通信インターフェイス、2224 ハードディスクドライブ、2226 DVD-ROMドライブ、2230 ROM、2240 入/出力チップ、2242 キーボード