特開 2023-10124 判定装置、判定方法、および判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023010124

(43)【公開日】2023-01-20

(54)【発明の名称】判定装置、判定方法、および判定プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230113BHJP

   C12M 1/00 20060101ALI20230113BHJP

   C12M 1/34 20060101ALI20230113BHJP

   C12Q 1/02 20060101ALI20230113BHJP

【ＦＩ】

G06T7/00 630

G06T7/00 350B

C12M1/00 A

C12M1/34 B

C12Q1/02

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2021114016

(22)【出願日】2021-07-09

(71)【出願人】

【識別番号】000006507

【氏名又は名称】横河電機株式会社

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】中村 亮介

(72)【発明者】

【氏名】河野 武尊

(72)【発明者】

【氏名】秋吉 竜太郎

(72)【発明者】

【氏名】中林 暁男

【テーマコード（参考）】

4B029

4B063

5L096

【Ｆターム（参考）】

4B029AA07

4B029BB11

4B029CC01

4B029CC02

4B029FA02

4B063QA01

4B063QQ01

4B063QS36

4B063QS39

5L096AA06

5L096BA03

5L096CA04

5L096DA01

5L096FA32

5L096FA33

5L096FA69

5L096GA30

5L096GA51

5L096HA11

5L096KA04

(57)【要約】      （修正有）

【課題】撮影画像に撮影された細胞の培養に異常があったか否かを判定する判定装置、判定方法及び判定プログラムを提供する。
【解決手段】判定装置１０は、細胞を含む視野を撮影した撮影画像を取得する取得部１１０と、正常に培養された細胞を撮影した１又は複数の基準画像を基準とする、撮影画像の非正常度を算出する算出部と１１５、非正常度に基づいて、前記撮影画像に撮影された細胞の培養に異常があったか否かを判定する判定部１３０と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

細胞を含む視野を撮影した撮影画像を取得する取得部と、
正常に培養された細胞を撮影した１または複数の基準画像を基準とする、前記撮影画像の非正常度を算出する算出部と、
前記非正常度に基づいて、前記撮影画像に撮影された細胞の培養に異常があったか否かを判定する判定部と
を備える判定装置。

【請求項2】

前記撮影画像上に、前記判定に対する影響の分布を表示する解析用画像を生成する解析処理部を更に備える請求項１に記載の判定装置。

【請求項3】

前記算出部は、
前記撮影画像を前記１または複数の基準画像に類似するように再構成した再構成画像を生成する再構成画像生成部と、
前記撮影画像および前記再構成画像の差に基づいて、前記非正常度を算出する非正常度算出部と
を有する請求項１または２に記載の判定装置。

【請求項4】

前記再構成画像生成部は、前記１または複数の基準画像のうちの各基準画像の特徴を抽出し、抽出した特徴から各基準画像を復元するように学習された再構成モデルに前記撮影画像を入力して、前記再構成画像を生成する請求項３に記載の判定装置。

【請求項5】

正常に培養されたと判断された細胞を含む視野を撮影した前記１または複数の基準画像を用いて前記再構成モデルの学習処理を行なう学習処理部を更に備える請求項４に記載の判定装置。

【請求項6】

前記学習処理部は、前記判定部により細胞の培養に異常があったと判定されなかった前記撮影画像を、新たな基準画像として前記１または複数の基準画像の組に追加して、前記再構成モデルの学習処理を行なう請求項５に記載の判定装置。

【請求項7】

複数の前記算出部を備え、
前記複数の算出部が有する複数の前記再構成画像生成部は、互いに異なる複数の前記再構成モデルのそれぞれに前記撮影画像を入力して、複数の前記再構成画像を生成し、
前記複数の算出部が有する複数の前記非正常度算出部は、前記複数の再構成画像のそれぞれについて、前記非正常度を算出し、
前記判定部は、前記複数の再構成画像のそれぞれの前記非正常度を統合した判定結果を出力する
請求項４から６のいずれか一項に記載の判定装置。

【請求項8】

前記算出部は、
前記撮影画像の特徴量を算出する特徴量算出部と、
前記撮影画像の特徴量と、前記１または複数の基準画像のそれぞれの基準特徴量とに基づいて、前記非正常度を算出する非正常度算出部と
を有する請求項１または２に記載の判定装置。

【請求項9】

前記取得部は、細胞培養過程を時系列で撮影した前記撮影画像を取得し、
前記算出部は、正常な細胞培養過程を時系列で撮影した前記１または複数の基準画像を基準とする前記非正常度を算出する
請求項１から８のいずれか一項に記載の判定装置。

【請求項10】

前記撮影画像に前処理を行なう前処理部を更に備え、
前記算出部は、前処理を行なった前記撮影画像を用いて前記非正常度を算出する
請求項１から９のいずれか一項に記載の判定装置。

【請求項11】

前記前処理は、細胞または細胞塊の画像の３次元再構成処理またはエッジ強調処理のうちの少なくとも１つを含む請求項１０に記載の判定装置。

【請求項12】

前記取得部は、複数の視野のそれぞれについて前記撮影画像を取得し、
複数の前記算出部を備え、
前記複数の算出部は、前記複数の視野のそれぞれの前記撮影画像の前記非正常度を算出し、
前記判定部は、前記複数の視野のそれぞれの前記撮影画像の前記非正常度を統合した判定結果を出力する
請求項１から６または８のいずれか一項に記載の判定装置。

【請求項13】

前記判定部は、培養用プレートまたはウェル毎に、前記非正常度を統合した判定結果を出力する請求項１２に記載の判定装置。

【請求項14】

前記判定部は、複数の培養用プレートまたはウェルについての前記非正常度を統合した判定結果を出力する請求項１２に記載の判定装置。

【請求項15】

前記取得部は、細胞の培養条件を更に取得し、
前記算出部は、取得した前記培養条件に対応する培養条件で正常に培養された細胞を撮影した前記１または複数の基準画像を基準とする前記非正常度を算出する
請求項１から１４のいずれか一項に記載の判定装置。

【請求項16】

判定装置が、細胞を含む視野を撮影した撮影画像を取得することと、
前記判定装置が、正常に培養された細胞を撮影した１または複数の基準画像を基準とする、前記撮影画像の非正常度を算出することと、
前記判定装置が、前記非正常度に基づいて、前記撮影画像に撮影された細胞の培養に異常があったか否かを判定することと
を含む判定方法。

【請求項17】

コンピュータにより実行され、前記コンピュータを、
細胞を含む視野を撮影した撮影画像を取得する取得部と、
正常に培養された細胞を撮影した１または複数の基準画像を基準とする、前記撮影画像の非正常度を算出する算出部と、
前記非正常度に基づいて、前記撮影画像に撮影された細胞の培養に異常があったか否かを判定する判定部と
して機能させる判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、判定装置、判定方法、および判定プログラムに関する。

【背景技術】

【0002】

特許文献１には、「培養容器内で培養される複数の細胞が時系列に撮像されている複数の画像を読み込む画像読込部と、前記画像に含まれる各々の前記細胞について、前記細胞の異なる複数の形態的な特徴を示す複数の異なる特徴量を前記画像からそれぞれ求める特徴量演算部と、前記細胞について評価する対象となる特性を、前記特徴量により評価することが適しているか否かを、各々の前記複数の画像に対応する前記特徴量のそれぞれについて、判定する特徴量判定部と、前記特徴量に対しての前記特徴量判定部による判定結果が、前記時系列において連続しているか否かを、前記特徴量のそれぞれについて判定する連続性判定部と、前記特徴量演算部により求められた特徴量と前記連続性判定部による判定結果とを組み合わせて、前記細胞における前記特性を評価するための計算モデルを構築する計算モデル構築部と、を備えていることを特徴とする細胞評価装置」が記載されている（請求項１）。特許文献２には、「畳み込みニューラルネットワークを用いて、前記明視野画像及び前記蛍光画像の画像特徴を抽出して、前記細胞に係る識別情報を出力するＣＮＮ処理部」を備える画像処理装置が記載されている（請求項１）。また、特許文献２には、「前記細胞に係る識別情報は、前記細胞の種別、形態、若しくは分布、又は、前記細胞内に含まれる生体物質の種別、形態、若しくは分布に係る情報を含む」と記載されている（請求項２）。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２０１１－２２９４１０号公報
［特許文献２］ 特開２０１８－１８０６３５号公報

【発明の概要】

【0003】

本発明の第１の態様においては、判定装置を提供する。判定装置は、細胞を含む視野を撮影した撮影画像を取得する取得部を備えてよい。判定装置は、正常に培養された細胞を撮影した１または複数の基準画像を基準とする、撮影画像の非正常度を算出する算出部を備えてよい。判定装置は、非正常度に基づいて、撮影画像に撮影された細胞の培養に異常があったか否かを判定する判定部を備えてよい。

【0004】

判定装置は、撮影画像上に、判定に対する影響の分布を表示する解析用画像を生成する解析処理部を備えてよい。

【0005】

算出部は、撮影画像を１または複数の基準画像に類似するように再構成した再構成画像を生成する再構成画像生成部を有してよい。算出部は、撮影画像および再構成画像の差に基づいて、非正常度を算出する非正常度算出部を有してよい。

【0006】

再構成画像生成部は、１または複数の基準画像のうちの各基準画像の特徴を抽出し、抽出した特徴から各基準画像を復元するように学習された再構成モデルに撮影画像を入力して、再構成画像を生成してよい。

【0007】

判定装置は、正常に培養されたと判断された細胞を含む視野を撮影した１または複数の基準画像を用いて再構成モデルの学習処理を行なう学習処理部を備えてよい。

【0008】

学習処理部は、判定部により細胞の培養に異常があったと判定されなかった撮影画像を、新たな基準画像として１または複数の基準画像の組に追加して、再構成モデルの学習処理を行なってよい。

【0009】

判定装置は、複数の算出部を備えてよい。複数の算出部が有する複数の再構成画像生成部は、互いに異なる複数の再構成モデルのそれぞれに撮影画像を入力して、複数の再構成画像を生成してよい。複数の算出部が有する複数の非正常度算出部は、複数の再構成画像のそれぞれについて、非正常度を算出してよい。判定部は、複数の再構成画像のそれぞれの非正常度を統合した判定結果を出力してよい。

【0010】

算出部は、撮影画像の特徴量を算出する特徴量算出部を有してよい。算出部は、撮影画像の特徴量と、１または複数の基準画像のそれぞれの基準特徴量とに基づいて、非正常度を算出する非正常度算出部を有してよい。

【0011】

取得部は、細胞培養過程を時系列で撮影した撮影画像を取得してよい。算出部は、正常な細胞培養過程を時系列で撮影した１または複数の基準画像を基準とする非正常度を算出してよい。

【0012】

判定装置は、撮影画像に前処理を行なう前処理部を備えてよい。算出部は、前処理を行なった撮影画像を用いて非正常度を算出してよい。

【0013】

前処理は、細胞または細胞塊の画像の３次元再構成処理またはエッジ強調処理のうちの少なくとも１つを含んでよい。

【0014】

取得部は、複数の視野のそれぞれについて撮影画像を取得してよい。判定装置は、複数の算出部を備えてよい。複数の算出部は、複数の視野のそれぞれの撮影画像の非正常度を算出してよい。判定部は、複数の視野のそれぞれの撮影画像の非正常度を統合した判定結果を出力してよい。

【0015】

判定部は、培養用プレートまたはウェル毎に、非正常度を統合した判定結果を出力してよい。

【0016】

判定部は、複数の培養用プレートまたはウェルについての非正常度を統合した判定結果を出力してよい。

【0017】

取得部は、細胞の培養条件を更に取得してよい。算出部は、取得した培養条件に対応する培養条件で正常に培養された細胞を撮影した１または複数の基準画像を基準とする非正常度を算出してよい。

【0018】

本発明の第２の態様によれば、判定方法を提供する。判定方法は、判定装置が、細胞を含む視野を撮影した撮影画像を取得することを含んでよい。判定方法は、判定装置が、正常に培養された細胞を撮影した１または複数の基準画像を基準とする、撮影画像の非正常度を算出することを含んでよい。判定方法は、判定装置が、非正常度に基づいて、撮影画像に撮影された細胞の培養に異常があったか否かを判定することを含んでよい。

【0019】

本発明の第３の態様によれば、コンピュータにより実行される判定プログラムを提供する。判定プログラムは、コンピュータを細胞を含む視野を撮影した撮影画像を取得する取得部として機能させてよい。判定プログラムは、コンピュータを、正常に培養された細胞を撮影した１または複数の基準画像を基準とする、撮影画像の非正常度を算出する算出部として機能させてよい。判定プログラムは、コンピュータを、非正常度に基づいて、撮影画像に撮影された細胞の培養に異常があったか否かを判定する判定部として機能させてよい。

【0020】

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0021】

【図1】本実施形態に係る判定装置１０の構成を示す。

【図2】本実施形態に係る判定装置１０の判定フローを示す。

【図3】本実施形態に係る判定装置１０の学習フローを示す。

【図4】本実施形態の第１変形例に係る算出部４１５の構成を示す。

【図5】本実施形態の第１変形例に係る算出部４１５の動作フローを示す。

【図6】本実施形態の第２変形例に係る判定装置６００の構成を示す。

【図7】本実施形態の第３変形例に係る判定装置７００の構成を示す。

【図8】本実施形態の第４変形例に係る判定装置８００の構成を示す。

【図9】本実施形態の第４変形例に係る判定装置８００の判定フローを示す。

【図10】本実施形態の第５変形例に係る判定装置１０００の構成を示す。

【図11】本実施形態の第５変形例に係る判定装置１０００の判定フローを示す。

【図12】本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。

【発明を実施するための形態】

【0022】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0023】

図１は、本実施形態に係る判定装置１０の構成を示す。細胞培養等のバイオプロセスには、原理が十分に解明されていない部分も多い。このため、同一プロトコルを用いたとしても、例えば実験者の手技の差異、装置を変更した場合の機差、原料となる細胞の劣化度合、コンタミネーション、およびその他の未解明の要因により、培養過程に変動が生じる。

【0024】

正常に培養された細胞の画像から特徴を抽出するように学習されたモデルを用いた場合、対象となる細胞の培養に異常があると、培養の異常によって生じた画像から誤った特徴を抽出してしまう可能性がある。判定装置１０は、細胞の培養が正常に行なわれたか、または異常があったかを判定することにより、正常に培養された細胞として利用してよいか否か、すなわち例えば、細胞を撮影した撮影画像を細胞の特徴抽出に用いてよいか否か等を示すことを可能とする。

【0025】

判定装置１０は、細胞を含む測定対象２０を撮影した撮像画像を用いて、培養に異常があったか否かを判定する。判定装置１０は、ＰＣ（パーソナルコンピュータ）、タブレット型コンピュータ、スマートフォン、ワークステーション、サーバコンピュータ、または汎用コンピュータ等のコンピュータであってよく、複数のコンピュータが接続されたコンピュータシステムであってもよい。このようなコンピュータシステムもまた広義のコンピュータである。また、判定装置１０は、コンピュータ内で１または複数実行可能な仮想コンピュータ環境によって実装されてもよい。これに代えて、判定装置１０は、細胞の培養状態の判定用に設計された専用コンピュータであってもよく、専用回路によって実現された専用ハードウェアであってもよい。コンピュータを用いる場合、判定装置１０は、コンピュータにより判定プログラムを実行することによって実現される。判定装置１０は、撮像部１００と、撮影画像記憶部１０５と、取得部１１０と、算出部１１５と、判定部１３０と、解析処理部１３２と、結果出力部１３５と、モデル生成部１３７とを備える。

【0026】

撮像部１００は、細胞を含む視野を撮影する。撮影画像記憶部１０５は、撮像部１００に接続され、撮像部１００が撮影した撮影画像を格納する。取得部１１０は、撮影画像記憶部１０５に接続され、細胞を含む視野を撮影した撮影画像を撮影画像記憶部１０５から取得する。なお、他の実施形態においては、判定装置１０は、撮像部１００および撮影画像記憶部１０５を備えず、外部の撮像装置または記憶装置等から撮影画像を取得してもよい。

【0027】

算出部１１５は、取得部１１０に接続される。算出部１１５は、正常に培養された細胞を撮影した１または複数の基準画像を基準とする、撮影画像の非正常度を算出する。ここで、「非正常度」は、撮影画像が、１または複数の基準画像を用いて定義される基準（標準）からどの程度乖離しているかを示す指標値である。本実施形態において、算出部１１５は、再構成画像生成部１２０および非正常度算出部１２５を有する。

【0028】

再構成画像生成部１２０は、取得部１１０により取得された撮影画像を１または複数の基準画像に類似するように再構成した再構成画像を生成する。これにより、再構成画像生成部１２０は、撮影画像から、正常に培養された細胞を撮影した１または複数の基準画像には見られないような、培養の異常によって生じる画像の特徴を除去または減衰させた再構成画像を出力することができる。

【0029】

非正常度算出部１２５は、再構成画像生成部１２０に接続される。非正常度算出部１２５は、撮影画像および再構成画像の差に基づいて、撮影画像の非正常度を算出する。ここで、再構成画像は、培養の異常によって生じる画像の特徴を除去等したものであるから、培養の異常によって生じる画像の特徴が撮影画像に大きく含まれる程、撮影画像および再構成画像の差は大きくなる。したがって、このような場合には、「非正常度」は、標準からより乖離していることを示す値となる。

【0030】

判定部１３０は、算出部１１５に接続される。判定部１３０は、算出部１１５が算出した非正常度に基づいて、撮影画像に撮影された細胞の培養に異常があったか否かを判定する。

【0031】

解析処理部１３２は、判定部１３０に接続される。解析処理部１３２は、撮影画像上に、判定部１３０による判定に対する影響の分布を表示する解析用画像を生成する。解析用画像は、撮影画像中のどの領域が細胞の培養に異常があったとの判定に寄与したかを示す。例えば、解析処理部１３２は、撮影画像上に、再構成画像との差分を表示した解析用画像を生成する。なお、他の実施形態においては、判定装置１０は、解析処理部１３２を備えず、解析用画像を生成する機能を有しなくてもよい。

【0032】

結果出力部１３５は、解析処理部１３２に接続される。結果出力部１３５は、判定部１３０による判定結果、および解析処理部１３２が生成した解析用画像を出力する。例えば、結果出力部１３５は、判定結果および解析用画像をユーザが使用する表示装置または端末等に表示させる表示処理を行なう。結果出力部１３５は、判定結果および解析用画像を、記憶装置に格納してもよい。

【0033】

モデル生成部１３７は、取得部１１０に接続される。モデル生成部１３７は、正常に培養されたと判断された細胞を含む視野を撮影した１または複数の基準画像を用いて再構成モデルを生成する。本実施形態に係るモデル生成部１３７は、取得部１１０により取得された撮影画像の中から基準画像を選択して、再構成モデルの生成に用いる。なお、他の実施形態においては、判定装置１０はモデル生成部１３７を備えず、結果出力部１３５は、予め定められた再構成モデルまたは外部から与えられた再構成モデルを用いて再構成画像を生成してもよい。

【0034】

モデル生成部１３７は、基準画像記憶部１４５と、学習処理部１５０と、モデル記憶部１５５とを有する。基準画像記憶部１４５は、正常に培養された細胞を撮影した１または複数の基準画像を記憶する。

【0035】

学習処理部１５０は、取得部１１０、判定部１３０、および基準画像記憶部１４５に接続される。学習処理部１５０は、基準画像記憶部１４５に格納された１または複数の基準画像を用いて、再構成画像生成部１２０が撮影画像を再構成するために用いる再構成モデルの学習処理を行なう。本実施形態において、学習処理部１５０は、取得部１１０が取得した撮影画像のうち、判定部１３０により細胞の培養に異常があったと判定されなかった撮影画像を、新たな基準画像として、基準画像記憶部１４５に格納された１または複数の基準画像の組に追加する。そして、学習処理部１５０は、新たな基準画像が追加された１または複数の基準画像を用いて再構成モデルの学習処理を行なう。なお、他の実施形態においては、学習処理部１５０は、新たな基準画像を基準画像記憶部１４５に追加して再構成モデルの更新を行なうオンライン学習の機能を有しなくてもよい。

【0036】

モデル記憶部１５５は、学習処理部１５０に接続される。モデル記憶部１５５は、学習処理部１５０が生成した再構成モデルを格納する。そして、モデル記憶部１５５は、再構成モデルを算出部１１５内の再構成画像生成部１２０に供給する。

【0037】

図２は、本実施形態に係る判定装置１０の判定フローを示す。ステップ２００（Ｓ２００）において、撮像部１００は、細胞を含む視野を撮影する。撮像部１００は、一例として撮影機能を有する顕微鏡であってよい。本実施形態において、撮像部１００は、測定対象２０における細胞を含む視野の明視野画像を撮影する。撮像部１００は、例えば細胞を含む視野の位相差画像を撮影してもよく、染色した細胞を含む視野の染色画像を撮影してもよく、その他の各種の手法を用いた観察画像を撮影してもよい。撮像部１００は、撮影画像を撮影画像記憶部１０５に格納する。Ｓ２１０において、取得部１１０は、撮影画像を撮影画像記憶部１０５から取得する。

【0038】

Ｓ２２０において、再構成画像生成部１２０は、撮影画像を１または複数の基準画像に類似するように再構成した再構成画像を生成する。本実施形態において、再構成画像生成部１２０は、モデル生成部１３７により生成され、モデル記憶部１５５に格納された再構成モデルを用いて、撮影画像を再構成した再構成画像を生成する。ここで、モデル生成部１３７内の学習処理部１５０は、１または複数の基準画像のうちの各基準画像の特徴を抽出し、抽出した特徴から各基準画像を復元するように再構成モデルを学習により生成する。再構成画像生成部１２０は、このような再構成モデルに撮影画像を入力して、再構成画像を生成する。なお、再構成画像生成部１２０は、再構成前の撮影画像を再構成して、同じ解像度の再構成画像を生成してよく、異なる解像度の再構成画像を生成してもよい。このようにして、再構成画像生成部１２０は、撮影画像を１または複数の基準画像に類似するように再構成することによって、撮影画像に撮影された状況における、１または複数の基準画像に則した基準（標準）となる画像を生成する。

【0039】

Ｓ２３０において、非正常度算出部１２５は、撮影画像および再構成画像の差に基づいて、撮影画像の非正常度を算出する。本実施形態において、非正常度算出部１２５は、撮影画像および再構成画像の各画素の二乗誤差を合計した二乗誤差和を非正常度を表す指標として用いる。すなわち、ある時刻ｔに撮影された撮影画像ｘ（ｔ）の非正常度ａ（ｔ）は、再構成画像をｘ_ｒｅｃ（ｔ）とすると、以下の式（１）で表される。ここで、添え字ｉは、画像内の各画素を表す変数である。

【数1】

【0040】

式（１）で表される非正常度ａ（ｔ）は、撮影画像および再構成画像の差がより大きくなると、より大きくなる指標値である。このようにして算出される非正常度ａ（ｔ）は、撮影画像に撮影された状況における１または複数の基準画像に則した再構成画像を基準とした、撮影画像の乖離度を示す指標値となる。これに代えて、非正常度は、撮影画像および再構成画像の差がより大きくなると、より小さくなる指標値であってもよい。なお、撮影画像および再構成画像の解像度が異なる場合には、非正常度算出部１２５は、対応する位置の画素同士の差を用いて式（１）により非正常度ａ（ｔ）を算出してよい。

【0041】

また、非正常度算出部１２５は、上記と異なる計算手法を用いて非正常度を算出してもよい。非正常度算出部１２５は、撮影画像ｘ（ｔ）および再構成画像ｘ_ｒｅｃ（ｔ）の各画素の誤差のうちの最大誤差等の、撮像画像および再構成画像の差に応じて変化する任意の統計量を用いてもよい。

【0042】

Ｓ２４０において、判定部１３０は、算出部１１５が算出した非正常度に基づいて、撮影画像に撮影された細胞の培養に異常があったか否かを判定する。判定部１３０は、非正常度が正常範囲外となったことに応じて細胞の培養に異常があったと判定する。撮影画像および再構成画像の差がより大きくなると値が大きくなる非正常度を用いる場合、判定部１３０は、非正常度ａ（ｔ）が予め定められた閾値を超えたことに応じて、細胞の培養に異常があったと判定してよい。

【0043】

Ｓ２４０において細胞の培養が正常であったと判定されると、モデル生成部１３７内の学習処理部１５０は、Ｓ２７０において、細胞の培養が正常であったと判定された撮影画像を、新たな基準画像として、基準画像記憶部１４５に格納された１または複数の基準画像の組に追加する。そして、判定装置１０は、処理をＳ２６０へと進める。

【0044】

Ｓ２４０において細胞の培養に異常があったと判定されると、解析処理部１３２は、Ｓ２５０において、撮影画像中のどの領域が細胞の培養に異常があったとの判定に寄与したかを示す解析用画像を生成する。解析処理部１３２は、撮影画像中における判定に影響を与えた部分およびその影響度合いを示す解析用画像を生成してよい。本実施形態において、解析処理部１３２は、撮影画像上に、再構成画像との差分を表示した解析用画像を生成する。解析処理部１３２は、ヒートマップまたは等高線等を用いた解析用画像を生成してもよい。例えば、解析処理部１３２は、撮影画像の各画素について、撮影画像および再構成画像の画素値の差の大きさに応じた色を撮影画像の画素値に加える等により、撮影画像上に再構成画像との差分を反映する。また例えば、解析処理部１３２は、撮影画像上に、撮影画像および再構成画像の画素値の差を示す等高線を加えてもよい。

【0045】

Ｓ２６０において、結果出力部１３５は、判定部１３０による判定結果、すなわち撮影画像に撮影された細胞の培養に異常があったか否かを出力する。また、結果出力部１３５は、細胞の培養に異常があったと判定された場合には、解析処理部１３２が生成した解析用画像を出力する。

【0046】

以上に示した判定装置１０によれば、１または複数の基準画像を用いて学習した再構成モデルを用いて撮影画像を再構成した再構成画像と撮影画像とを比較することにより、１または複数の基準画像を基準とする撮影画像の非正常度を算出し、細胞の培養に異常があったか否かを判定することができる。また、判定装置１０によれば、撮影画像および再構成画像の差が比較的大きい領域を撮影画像上に表示することができるので、細胞の培養に異常があったと判定された撮影画像における重点的に解析すべき箇所を特定することができる。

【0047】

図３は、本実施形態に係る判定装置１０の学習フローを示す。学習処理に先立って、基準画像記憶部１４５は、正常に培養された細胞を撮影した１または複数の基準画像を格納する。ここで、１または複数の基準画像は、培養過程の開始から終了に至るまで正常に培養された細胞を撮影した画像であってよく、培養過程の開始から終了前の任意の時点まで正常に培養された細胞をその時点で撮影した画像であってもよい。

【0048】

基準画像記憶部１４５は、学習前に、正常に培養された細胞が撮影されたものであるとしてユーザが選択した１または複数の基準画像を、初期の基準画像のセットとして格納してよい。また、学習処理部１５０は、取得部１１０が取得した撮影画像のうち、判定部１３０によって細胞の培養が正常であったと判定された撮影画像を選択して、基準画像記憶部１４５に格納してよい。

【0049】

ループの先頭に対応するＳ３００およびループの末尾に対応するＳ３２０の間において、学習処理部１５０は、基準画像記憶部１４５に格納された基準画像毎にＳ３００およびＳ３２０の間の処理を繰り返すループ処理を行なう。Ｓ３１０において、学習処理部１５０は、学習対象の基準画像について、基準画像の特徴を抽出し、抽出した特徴から基準画像を復元するように、モデル記憶部１５５に格納された再構成モデルを生成または更新する。

【0050】

再構成モデルは、一例として、入力される基準画像を次元数がより小さい特徴ベクトルに圧縮するエンコーダと、特徴ベクトルから基準画像を復元するデコーダとを含み、復元された基準画像が入力された基準画像とより近似するようにエンコーダおよびデコーダがトレーニングされるオートエンコーダであってよい。エンコーダおよびデコーダは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）および全結合ニューラルネットワーク等のニューラルネットワークを含んでよい。学習処理部１５０は、入力された基準画像と復元された基準画像との誤差を用いて、誤差逆伝搬法によりエンコーダおよびデコーダの学習処理を行なってよい。

【0051】

また、学習処理部１５０は、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を用いて、入力画像を次元数がより小さい特徴ベクトルに圧縮し、特徴ベクトルを用いて画像を再構成する再構成モデルを生成してもよい。例えば、学習処理部１５０は、再構成モデルを用いて基準画像を再構成した画像を生成する生成器と、画像が再構成されたものか否かを判別する判別器とを含む系において、基準画像および基準画像を再構成した画像の判別精度を向上するように判別器の学習処理を行なうと共に、判別器による判別精度を低下させるように生成器の学習処理を行なう。学習処理部１５０は、このようにして学習された生成器で使用された再構成モデルを、モデル記憶部１５５に格納する。

【0052】

Ｓ３３０において、学習処理部１５０は、学習処理が完了したか否かを判定する。例えば、学習処理部１５０は、再構成モデルを用いて基準画像を再構成した画像と元の基準画像との誤差が予め定められた閾値未満となったことを条件として、学習処理が完了したと判定する。また、学習処理部１５０は、Ｓ３００からＳ３２０までの学習処理を予め定められた回数繰り返したことに応じて、学習処理が完了したと判定してもよい。学習処理が完了していないと判定した場合、学習処理部１５０は、処理をＳ３００に進めて学習処理を継続する。

【0053】

以上に示した学習処理部１５０によれば、撮影画像を１または複数の基準画像に類似するように再構成する再構成モデルの学習処理を行なうことができる。具体的には、学習処理部１５０は、基準画像の特徴をできる限り再現するように再構成モデルを学習させるのに対し、基準画像に含まれないような特徴を再現するようには再構成モデルを学習させない。したがって、再構成モデルは、撮影画像に含まれる、基準画像と類似する特徴については再構成画像上に再現し、撮影画像に含まれる、基準画像とは類似しない特徴については再構成画像にほとんど再現できなくなる。このため、再構成モデルは、撮影画像における、正常に培養された細胞を撮影した基準画像には見られない特徴を除去または減衰させ、基準画像により類似する再構成画像に変換することができるようになる。

【0054】

なお、学習処理部１５０は、細胞の培養に異常があったと判断されなかった撮影画像を新たな基準画像として受け取る度に、新たな基準画像についてＳ３１０の処理を行なうことにより、再構成モデルのオンライン学習を行なってもよい。

【0055】

また、判定装置１０は、単一時刻ｔで撮影された撮影画像の代わりに、複数のタイミングのそれぞれで撮影された時系列の撮影画像を用いて細胞の培養状態を判定してもよい。この場合、撮像部１００は、図２のＳ２００において、細胞培養過程を時系列で撮影した撮影画像を撮影画像記憶部１０５に格納し、取得部１１０は、図２のＳ２１０において、時系列の撮影画像を取得する。

【0056】

算出部１１５は、正常な細胞培養過程を時系列で撮影した１または複数の基準画像を基準とする、撮影画像の非正常度を算出してよい。ここで、取得部１１０は、時系列の撮影画像および基準画像として、画素毎に、複数のタイミングのそれぞれにおける画素値をその画素における異なるチャネルにエンコードしたマルチチャネル画像を用いてよい。

【0057】

図４は、本実施形態の第１変形例に係る算出部４１５の構成を示す。本変形例においては、図１に示した判定装置１０における算出部１１５に代えて、算出部４１５を用いる。本変形例において、図１の判定装置１０における算出部１１５以外の構成要素は基本的には同様であるから、以下相違点を除き説明を省略する。

【0058】

算出部４１５は、取得部１１０およびモデル生成部１３７に接続される。算出部４１５は、正常に培養された細胞を撮影した１または複数の基準画像を基準とする、撮影画像の非正常度を算出する。算出部４１５は、特徴量算出部４２０と、非正常度算出部４２５とを有する。特徴量算出部４２０は、取得部１１０により取得された撮影画像の特徴量を算出する。

【0059】

非正常度算出部４２５は、特徴量算出部４２０に接続される。非正常度算出部４２５は、撮影画像の特徴量と、１または複数の基準画像のそれぞれの基準特徴量とに基づいて、非正常度を算出する。これにより、判定装置１０は、撮影画像に撮影された細胞の培養に異常があったか否かを、正常に培養された細胞を撮影した１または複数の基準画像との特徴量の相違に基づいて判定することができる。

【0060】

図５は、本実施形態の第１変形例に係る算出部４１５の動作を示す。本変形例において、判定装置１０は、図２のＳ２２０およびＳ２３０に代えて、Ｓ５２０およびＳ５３０を実行する。

【0061】

Ｓ５２０において、特徴量算出部４２０は、撮影画像の特徴量を算出する。一例として、特徴量算出部４２０は、多層パーセプトロン、ＣＮＮ、全結合ニューラルネットワーク、またはその他のニューラルネットワークを用いて、撮影画像をより低次元の空間へと非線形写像した特徴量を算出する。特徴量算出部４２０は、ニューラルネットワーク以外の機械学習モデルを用いて、撮影画像よりも低次元の特徴量を算出してもよい。また、特徴量算出部４２０は、ＳＵＲＦ、またはＡＫＡＺＥ等の、画像解析における従来の特徴量抽出法を用いて撮影画像の特徴量を算出してもよい。以上に示した特徴量は、画素毎の輝度値を含むような画像とは異なる形式のデータであってよい。

【0062】

Ｓ５３０において、非正常度算出部４２５は、撮影画像の特徴量と、１または複数の基準画像のそれぞれの基準特徴量とに基づいて、非正常度を算出する。例えば、非正常度算出部４２５は、撮影画像の特徴量ｈ（ｔ）と、１または複数の基準画像のそれぞれの基準特徴量を平均した平均基準特徴量との相違度を非正常度として算出する。この場合、非正常度算出部４２５は、以下の式（２）を用いて非正常度ａ（ｔ）を算出してもよい。ここで、μは平均基準特徴量、Σは基準特徴量の共分散である。

【数2】

【0063】

このような非正常度ａ（ｔ）は、撮影画像に撮影された状況が、１または複数の基準画像を基準としてどの程度乖離しているかを、撮影画像および各基準画像の基準特徴量の相違度を用いて算出したものである。このように、非正常度算出部４２５は、１または複数の基準画像を基準として、撮影画像の非正常度を算出してもよい。

【0064】

非正常度算出部４２５は、上記と異なる計算手法を用いて非正常度を算出してもよい。例えば、非正常度算出部４２５は、１または複数の基準画像における１または複数の基準特徴量の組｛ｈ_ｉ（ｔ）｝（添え字ｉは、基準特徴量の番号を示す。）から基準特徴量の確率分布モデルｐ（ｔ）を生成し、確率分布モデルｐ（ｔ）における撮影画像の特徴量ｈ（ｔ）の尤度に基づく非正常度ａ（ｔ）を算出する。非正常度算出部４２５は、非正常度として、負の対数尤度を用いてもよい。このようにして算出した非正常度ａ（ｔ）は、正常に近い場合（尤度が大きい場合）により小さくなり、異常に近い場合（尤度が小さい場合）に大きくなる。

【0065】

以上に示した算出部４１５によれば、撮影画像および１または複数の基準画像の特徴量を用いて、１または複数の基準画像を基準とする撮影画像の非正常度を算出し、細胞の培養に異常があったか否かを判定することができる。なお、算出部４１５を用いる場合、モデル生成部１３７は、以下に例示する方法を用いて特徴量算出部４２０が使用する特徴抽出モデルを生成してよい。

【0066】

本変形例に係るモデル生成部１３７内の学習処理部１５０は、培養した細胞を撮影した様々な撮影画像の特徴を抽出し、抽出した特徴から撮影画像を復元する機械学習モデルを学習により生成してよい。この学習に用いる撮影画像は、培養に異常があった細胞を撮影したものを含んでもよい。そして、学習処理部１５０は、この機械学習モデルにおける撮影画像から特徴を抽出する部分を取り出して、特徴抽出モデルとしてモデル記憶部１５５に格納してよい。例えば、学習処理部１５０は、様々な撮影画像を用いてオートエンコーダを学習により生成し、オートエンコーダにおけるエンコーダ部分を特徴抽出モデルとして取り出してよい。

【0067】

これに代えて、判定装置１０は、特徴抽出モデルとして、例えば、一般的な画像認識（分類、物体検出）のために作られた深層学習モデルの中間特徴量までのネットワークを利用するなど、他ドメインの学習済みモデルを用いてもよい。また、学習処理部１５０は、培養した細胞を撮影した各撮影画像に、培養に異常があったか否かを人手でラベル付けした学習用データを用いて、培養に異常があったか否かを撮影画像から予測するニューラルネットワークを学習により生成し、このニューラルネットワークの中間段までを取り出して、特徴抽出モデルとしてよい。また、学習処理部１５０は、同様の学習用データを用いて、正常な培養に対応付けられた各撮影画像に応じて特徴抽出モデルが出力する特徴量同士と、異常な培養に対応付けられた各撮影画像に応じて特徴抽出モデルが出力する特徴量同士とをより近付け、正常な培養に対応付けられた撮影画像に応じて特徴抽出モデルが出力する特徴量と異常な培養に対応付けられた撮影画像に応じて特徴抽出モデルが出力する特徴量とをより遠ざけるように、特徴抽出モデルの学習処理を行なってもよい。

【0068】

また、算出部４１５を用いる場合、解析処理部１３２は、撮影画像上に、特徴量および基準特徴量の差に対する領域毎の影響度を表示した解析用画像を生成する。例えば、解析処理部１３２は、特徴量算出部４２０に入力される撮影画像に対する非正常度計算の勾配を算出し、撮影画像における勾配がより大きい領域をより強調した解析用画像を生成してよい。また、解析処理部１３２は、撮影画像中の複数の部分領域のそれぞれに対して、撮影画像におけるその部分領域を変更したことに応じて算出される非正常度と、撮影画像から算出される非正常度との差に基づいて解析用画像を生成してよい。例えば、撮影画像中のある部分領域を例えばマスクした画像から算出される非正常度が、撮影画像自体から算出された非正常度よりも非常に小さい値（標準からの乖離度が小さい値）となった場合、解析処理部１３２は、その部分領域の影響度が大きいと判断することができる。これに代えて、解析処理部１３２は、撮影画像の特徴量ｈ（ｔ）と、１または複数の基準画像の平均基準特徴量μとの誤差により大きく寄与した撮影画像上の領域をより強調した解析用画像を生成してもよい。この場合、解析処理部１３２は、ＧｒａｄＣＡＭ等の手法を用いて、特徴量および基準特徴量の差に対する領域毎の影響度を特定することができる。

【0069】

また、時系列の撮影画像を用いる場合、算出部４１５内の特徴量算出部４２０は、時系列の撮影画像から特徴量を抽出してよく、算出部４１５内の非正常度算出部４２５は、時系列の撮影画像の特徴量と、１または複数の時系列の基準画像から抽出した１または複数の基準特徴量とに基づいて、非正常度を算出してもよい。この場合、特徴量算出部４２０は、特徴抽出モデルとして例えば回帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて、時系列の撮影画像および時系列の基準画像の特徴量および基準特徴量を抽出してよい。

【0070】

図６は、本実施形態の第２変形例に係る判定装置６００の構成を示す。本変形例に係る判定装置６００は、図１に示した判定装置１０に前処理部６１０を加えた構成をとる。なお、図６における、図１と同じ符号を付した構成要素は図１と同様であるから、以下相違点を除き説明を省略する。

【0071】

判定装置６００は、取得部１１０に接続された前処理部６１０を更に備える。前処理部６１０は、撮影画像に前処理を行なって、算出部１１５と、モデル生成部１３７とに供給する。撮像部１００が視野の深さ方向に焦点位置を変えながら複数枚の撮影画像を撮影可能な場合には、前処理部６１０は、これらの複数枚の撮影画像を用いて、細胞または細胞塊（コロニー、スフェロイド、またはオルガノイド等）の画像の３次元再構成処理を行なってよい。すなわち、前処理部６１０は、深さ方向にスライスした複数枚の撮影画像から、細胞または細胞塊を立体データに変換した３次元の撮影画像として再構成してよい。これにより、算出部１１５は、３次元の撮影画像を用いて非正常度を算出することができる。

【0072】

また、前処理部６１０は、細胞または細胞塊の画像のエッジ強調処理を行なってもよい。例えば、前処理部６１０は、取得部１１０が取得した撮影画像に対し、位相コントラスト法等を用いて３次元情報を２次元情報に畳み込んでエッジ強調を行なった撮影画像を出力してもよい。判定装置６００のモデル生成部１３７は、基準画像記憶部１４５に格納する１または複数の基準画像のそれぞれとして、前処理部６１０と同様の前処理を行なった基準画像を用いてよい。なお、前処理部６１０は、図１における算出部１１５に代えて算出部４１５を用いる構成にも適用することができる。

【0073】

図７は、本実施形態の第３変形例に係る判定装置７００の構成を示す。本変形例に係る判定装置７００は、図１の判定装置１０を、細胞の培養条件および撮影条件を加味した判定を行なうように変更したものである。図６における、図１と同じ符号を付した構成要素は、培養条件または撮影条件の少なくとも１つを用いる点を除いて図１と同様であるから、以下相違点を除き説明を省略する。

【0074】

判定装置７００は、培養部７１０を更に備える。培養部７１０は、細胞の培養条件を入力し、培養条件に従って測定対象２０中の細胞を培養する。細胞の培養条件は、温度等の環境パラメータ、培養過程における薬剤投入等の作業パラメータ、またはその他の培養に関するパラメータ等のうちの少なくとも１つのパラメータのセットによって表されてよい。

【0075】

本変形例において、撮像部１００は、測定対象２０の撮影条件を入力し、撮影条件に従って測定対象２０を撮像する。撮影条件は、レンズ倍率、露光時間、照明、撮影位置（Ｘ、Ｙ、Ｚ座標等）、またはその他の、同一の被写体を撮影した場合においても撮影画像に違いを生じうるパラメータのうちの少なくとも１つのパラメータのセットによって表されてよい。

【0076】

撮影画像記憶部１０５は、撮影画像に培養条件および撮影条件を対応付けて格納する。取得部１１０は、撮影画像に加えて、処理対象の撮影画像に関する培養条件および撮影条件を取得する。算出部１１５は、取得した培養条件に対応する培養条件で正常に培養された細胞を、取得した撮影条件に対応する撮影条件で撮影した１または複数の基準画像を基準とする非正常度を算出する。この場合、モデル記憶部１５５は、培養条件および撮影条件毎の複数の再構成モデルを格納し、算出部１１５は、モデル記憶部１５５に格納された複数の再構成モデルのうち、処理対象となる撮影画像に関する培養条件および撮影条件に対応する再構成モデルを用いて、撮影画像を再構成してよい。また、非正常度算出部１２５は、培養条件および撮影条件に応じて、細胞の培養に異常があったか否かの判定に用いる閾値を切り替えてもよい。学習処理部１５０は、培養条件および撮影条件毎に、１または複数の基準画像を用いて再構成モデルの学習処理を行なってよい。

【0077】

本変形例によれば、判定装置７００は、様々な培養条件および撮影条件で得られた撮影画像に対し、撮影画像に関連する培養条件および撮影条件に適した再構成処理および非正常度計算を行なうことができる。これにより、判定装置７００は、様々な培養条件および撮影条件で得られた撮影画像に基づいて、細胞の培養に異常があったか否かを適切に判定することができる。

【0078】

なお、判定装置７００は、培養条件および撮影条件のうち、いずれか一方のみを加味して判定を行なってもよい。また、判定装置７００は、算出部１１５に代えて算出部４１５を備えてもよい。

【0079】

図８は、本実施形態の第４変形例に係る判定装置８００の構成を示す。本変形例に係る判定装置８００は、図１の判定装置１０を、複数箇所の撮影画像を用いて判定を行なうように変更したものである。図８における、図１と同じ符号を付した構成要素は、培養条件または撮影条件の少なくとも１つを用いる点を除いて図１と同様であるから、以下相違点を除き説明を省略する。

【0080】

本変形例において、取得部１１０は、複数の視野のそれぞれについて撮影画像を取得する。取得部１１０は、複数の視野を含む１枚の撮影画像を取得することによって、複数の視野のそれぞれに対応する部分的な撮影画像を一括して取得してよい。これに代えて、取得部１１０は、複数の視野のそれぞれを別々に撮像した複数の撮影画像を取得してもよい。

【0081】

ここで、取得部１１０は、測定対象２０の培養に用いたプレートまたはプレート内のウェル等の培養の構成単位内において、複数箇所を撮影した複数の撮影画像を取得してよい。これに代えて、取得部１１０は、複数のプレートまたは複数のウェルのそれぞれを視野として撮影した各撮影画像を取得してもよい。

【0082】

判定装置８００は、図１の算出部１１５に代えて、分配部８１０と、複数の算出部８１５－１～Ｎ（「算出部８１５」とも示す。）とを備える。分配部８１０は、複数の視野の撮影画像を複数の算出部８１５－１～Ｎに分配する。本図の例においては、判定装置８００は、Ｎ個の算出部８１５を備える。

【0083】

複数の算出部８１５－１～Ｎのそれぞれは、分配部８１０に接続される。各算出部８１５は、分配部８１０から受け取った撮影画像の非正常度を算出する。各算出部８１５は、図１の算出部１１５と同様の構成をとってよく、算出部１１５と同様にして撮影画像の非正常度を算出してよい。これに代えて、各算出部８１５は、図４の算出部４１５と同様の構成をとってよく、算出部４１５と同様にして撮影画像の非正常度を算出してもよい。

【0084】

判定部１３０は、複数の算出部８１５－１～Ｎのそれぞれに接続される。判定部１３０は、複数の算出部８１５のそれぞれが算出した、複数の視野のそれぞれの撮影画像の非正常度を統合した判定結果を出力する。

【0085】

本変形例において、モデル生成部１３７は、分配部８１０および複数の算出部８１５－１～Ｎに接続される。モデル生成部１３７内の学習処理部１５０は、複数の撮影画像を算出部８１５から受け取る。学習処理部１５０は、各算出部８１５が処理対象とした撮影画像の非正常度を各算出部８１５から受け取り、その撮影画像に撮影された細胞の培養が正常であったことを条件として、撮影画像を新たな基準画像として基準画像記憶部１４５に追加する。そして、学習処理部１５０は、新たな基準画像が追加された１または複数の基準画像を用いて再構成モデルまたは特徴抽出モデルの学習処理を行なう。学習処理部１５０が生成した再構成モデルまたは特徴抽出モデルは、複数の算出部８１５－１～Ｎのそれぞれで使用される。

【0086】

図９は、本実施形態の第４変形例に係る判定装置８００の判定フローを示す。本変形例の判定フローにおける、図２と同じステップ番号を付したブロックの動作は、図２における対応するブロックの動作と同様であるから、以下相違点を除き説明を省略する。

【0087】

Ｓ２００において、撮像部１００は、複数の視野のそれぞれについての撮影画像を撮影する。Ｓ２１０において、取得部１１０は、複数の視野のそれぞれについて撮影画像を取得する。ここで、取得部１１０は、培養用プレートまたはウェル毎に、複数の視野が含まれる撮影画像を取得してよい。これに代えて、取得部１１０は、複数の培養用プレートまたはウェルのそれぞれに複数の視野のそれぞれが含まれる撮影画像を取得してもよい。

【0088】

Ｓ９１５において、分配部８１０は、取得部１１０が取得した複数の視野の撮影画像を、複数の算出部８１５に分配する。ここで、複数の視野を含む１枚の撮影画像を受け取った場合、分配部８１０は、受け取った撮影画像から複数の視野のそれぞれについての部分的な撮影画像を切り出して、複数の算出部８１５－１～Ｎのそれぞれに分配する。複数の視野のそれぞれについて個別の撮影画像を受け取った場合、分配部８１０は、複数の算出部８１５－１～Ｎのそれぞれに対して、複数の撮影画像のそれぞれを分配する。

【0089】

ループの先頭に対応するＳ９１７およびループの末尾に対応するＳ９４５の間において、算出部８１５－１～Ｎは、分配部８１０により分配された撮影画像毎にＳ９１７およびＳ９４５の間の処理を実行するループ処理を行なう。本変形例では、Ｓ９４０およびＳ２７０において、モデル生成部１３７内の学習処理部１５０は、複数の撮影画像のうち、非正常度を用いて細胞の培養が正常であったと判定した撮影画像を（Ｓ９４０の「Ｙ」）、新たな基準画像として基準画像記憶部１４５に追加する（Ｓ２７０）。すなわち、本変形例においては、学習処理部１５０は、複数の撮影画像の一部において細胞の培養が正常であったと判定し、残りの撮影画像については細胞の培養に異常があったと判定した場合には、判定部１３０により全体としては細胞の培養に異常があったと判定されたとしても、個別に細胞の培養が正常であったと判定された一部の撮影画像を新たな基準画像として用いる。

【0090】

Ｓ９４７において、判定部１３０は、複数の算出部８１５のそれぞれが算出した、複数の視野のそれぞれの撮影画像の非正常度を統合した判定結果を出力する。例えば、判定部１３０は、細胞の培養が異常であるほど値が大きくなる非正常度を用いている場合に、少なくとも１つの撮影画像の非正常度が閾値を超えたことに応じて、細胞の培養に異常があったとの判定結果を出力する。これに代えて、判定部１３０は、予め定められた数を超える撮影画像の非正常度が閾値を超えたことに応じて、細胞の培養に異常があったとの判定結果を出力してもよい。

【0091】

細胞の培養に異常があったとの判定結果が出力されると（Ｓ２４０の「Ｎ」）、解析処理部１３２は、Ｓ２５０において、各撮影画像中のどの領域が細胞の培養に異常があったとの判定に寄与したかを示す解析用画像を生成する。Ｓ２６０において、結果出力部１３５は、判定部１３０による統合された判定結果を出力する。また、結果出力部１３５は、細胞の培養に異常があったと判定された場合には、解析処理部１３２が生成した、各撮影画像に対応する各解析用画像を出力する。

【0092】

以上に示した判定装置８００によれば、培養プレートもしくはウェル毎等の、または複数の培養プレートもしくは複数のウェルについて等の、複数の視野の撮影画像を用いて、細胞の培養に異常があったか否かを統合的に判定することができる。これにより、判定装置８００は、統計的にはある確率で一部の細胞の培養に異常が生じる可能性がある場合においても、複数の視野の撮像画像を用いて合理的な判定を行なうことができる。

【0093】

図１０は、本実施形態の第５変形例に係る判定装置１０００の構成を示す。本変形例に係る判定装置８００は、図１の判定装置１０を、複数種類のモデルを用いて判定を行なうように変更したものである。図１０における、図１と同じ符号を付した構成要素は、基本的には図１と同様であるから、以下相違点を除き説明を省略する。

【0094】

判定装置１０００は、図１の算出部１１５に代えて、複数の算出部１０１５－１～Ｍ（「算出部１０１５」とも示す。）を備える。本図の例においては、判定装置１０００は、Ｍ個の算出部１０１５を備える。

【0095】

複数の算出部１０１５－１～Ｍは、取得部１１０に接続される。各算出部１０１５は、取得部１１０が取得した、同じ撮影画像をそれぞれ受け取る。そして、各算出部１０１５は、各算出部１０１５に与えられたモデルを用いて、撮影画像の非正常度を算出する。

【0096】

各算出部１０１５は、図１の算出部１１５と同様の構成をとってよい。この場合、複数の算出部１０１５が有する複数の再構成画像生成部１２０は、互いに異なる複数の再構成モデルのそれぞれに撮影画像を入力して、複数の再構成画像を生成する。複数の算出部１０１５が有する複数の非正常度算出部１２５は、複数の再構成画像のそれぞれについて、非正常度を算出する。

【0097】

また、各算出部１０１５は、図４の算出部４１５と同様の構成をとってよい。この場合、複数の算出部１０１５が有する複数の特徴量算出部４２０は、互いに異なる複数の特徴抽出モデルのそれぞれに撮影画像を入力して、複数の特徴量を算出する。複数の算出部１０１５が有する複数の非正常度算出部４２５のそれぞれは、互いに異なる特徴抽出モデルを用いて撮影画像から算出した特徴量と、その特徴抽出モデルを用いて算出した、１または複数の基準画像のそれぞれの基準特徴量とに基づいて、非正常度を算出する。なお、複数の算出部１０１５の一部は図１の算出部１１５と同様の構成をとり、他の一部は図４の算出部４１５と同様の構成をとってもよい。

【0098】

判定部１３０は、複数の算出部１０１５－１～Ｍのそれぞれに接続される。判定部１３０は、複数の算出部１０１５のそれぞれが算出したモデル毎の非正常度を統合した判定結果を出力する。

【0099】

また、判定装置１０００は、図１のモデル生成部１３７に代えて、複数のモデル生成部１０３７－１～Ｍ（「判定装置１０３７」とも示す。）を備えてもよい。各判定装置１０３７は、その撮影画像に撮影された細胞の培養が正常であった判断されたことを条件として、撮影画像を新たな基準画像として各判定装置１０３７内の基準画像記憶部１４５に追加する。そして、各判定装置１０３７内の学習処理部１５０は、新たな基準画像が追加された１または複数の基準画像を用いて再構成モデルまたは特徴抽出モデルの学習処理を行なう。本変形例において、複数の判定装置１０３７が生成する複数のモデルは、複数の算出部１０１５－１～Ｍでそれぞれ使用される。

【0100】

ここで、複数の再構成モデルまたは特徴抽出モデルは、例えば、オートエンコーダを用いるモデル、敵対的生成ネットワークを用いるモデル、または、ＳＶＭもしくは統計的学習モデル等のニューラルネットワーク以外の機械学習モデルのように、機械学習のアルゴリズムが異なることによって互いに相違するものであってよい。また、複数の再構成モデルまたは特徴抽出モデルは、例えばニューラルネットワークにおける層数または層毎のニューロン数のような、機械学習のパラメータが異なることによって互いに相違するものであってよい。また、複数の再構成モデルまたは特徴抽出モデルは、学習に用いた訓練データのセット（例えば、学習に用いた基準画像のセット）が異なること、または学習強度が異なること等のように、学習の仕方が異なるものであってもよい。

【0101】

図１１は、本実施形態の第５変形例に係る判定装置１０００の判定フローを示す。本変形例の判定フローにおける、図２と同じステップ番号を付したブロックの動作は、図２における対応するブロックの動作と同様であるから、以下相違点を除き説明を省略する。

【0102】

Ｓ２００において、撮像部１００は、細胞を含む視野を撮影して、撮影画像を撮影画像記憶部１０５に格納する。Ｓ２１０において、取得部１１０は、撮影画像を撮影画像記憶部１０５から取得する。

【0103】

判定装置１０００は、互いに異なる複数の特徴抽出モデル毎に、ループの先頭に対応するＳ１１１７からループの末尾に対応するＳ１１４５の間の各処理を実行するループ処理を行なう。ループ処理において、複数の算出部１０１５－１～Ｍは、図２のＳ２２０およびＳ２３０または図５のＳ５２０およびＳ５３０と同様の処理を実行する。

【0104】

Ｓ１１４７において、判定部１３０は、複数の算出部１０１５が出力する複数の非正常度を統合した判定結果を出力する。判定部１３０は、複数の非正常度の統計量を用いて、細胞の培養に異常があったか否かの判定結果を算出してよい。判定部１３０は、このような統計量として、平均値、中央値、最大値、最小値、分散、またはその他の値のうちの少なくとも１つを用いてもよい。例えば、判定部１３０は、複数の非正常度の平均値が、予め定められた閾値を超える場合に、細胞の培養に異常があったと判定する。

【0105】

また、判定部１３０は、各算出部１０１５が出力する非正常度を用いて、各算出部１０１５による単独の判定結果を算出し、多数決等により最終的な判定結果を決定してもよい。例えば、判定部１３０は、細胞の培養に異常があったことに応じて大きな値となる非正常度を用いる場合には、各算出部１０１５が出力する非正常度が予め定められた閾値を超える場合に、その算出部１０１５単独の結果としては細胞の培養に異常があったと判定する。そして、判定部１３０は、各算出部１０１５の非正常度による判定結果の多数決をとること、または予め定められた数を超える非正常度について細胞の培養に異常があったと判定されたこと等を条件として、細胞の培養に異常があった旨の判定結果を決定する。

【0106】

判定装置１０００は、図２のＳ２４０～Ｓ２７０と同様にして図１１のＳ２４０～Ｓ２７０の処理を行なう。ここで、解析処理部１３２は、Ｓ２５０において、撮影画像上に、各算出部１０１５が出力した非正常度に対する影響度の分布を表示する解析用画像を生成してよい。例えば、解析処理部１３２は、撮影画像上に、各算出部１０１５内の再構成画像生成部１２０が生成した再構成画像と撮影画像との差分を合成した解析用画像を生成してよい。この場合において、解析処理部１３２は、算出部１０１５が出力した非正常度が、予め定められた閾値を超えることを条件として、再構成画像と撮影画像との差分を解析用画像に反映してもよい。これにより、解析処理部１３２は、例えば算出部１０１５単独の非正常度に基づけば細胞の培養に異常があったと判定すべき場合に、撮影画像におけるその非正常度に影響を与えた領域を示すことができる。

【0107】

以上に示した判定装置１０００によれば、細胞の培養に異常があったか否かの判定を、複数のモデルを用いて行うことができる。これにより、判定装置１０００は、判定の精度をより高めることができる。

【0108】

なお、撮影画像を解析するモデルの中には、確率的な出力を行なうものがある。複数の算出部１０１５のうちの少なくとも１つがこのような確率モデルを用いる場合には、判定装置１０００は、確率モデルを用いる算出部１０１５による撮影画像の評価を複数回試行して、この結果得られる複数回分の非正常度の統計量を用いて判定結果を決定してよい。

【0109】

本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および／またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび／またはアナログハードウェア回路を含んでよく、集積回路（ＩＣ）および／またはディスクリート回路を含んでよい。プログラマブル回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。

【0110】

コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

【0111】

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。

【0112】

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のコンピュータ等のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

【0113】

図１２は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。コンピュータ２２００にインストールされたプログラムは、コンピュータ２２００に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の１または複数のセクションとして機能させることができ、または当該操作または当該１または複数のセクションを実行させることができ、および／またはコンピュータ２２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ２２００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ２２１２によって実行されてよい。

【0114】

本実施形態によるコンピュータ２２００は、ＣＰＵ２２１２、ＲＡＭ２２１４、グラフィックコントローラ２２１６、およびディスプレイデバイス２２１８を含み、それらはホストコントローラ２２１０によって相互に接続されている。コンピュータ２２００はまた、通信インターフェイス２２２２、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６、およびＩＣカードドライブのような入／出力ユニットを含み、それらは入／出力コントローラ２２２０を介してホストコントローラ２２１０に接続されている。コンピュータはまた、ＲＯＭ２２３０およびキーボード２２４２のようなレガシの入／出力ユニットを含み、それらは入／出力チップ２２４０を介して入／出力コントローラ２２２０に接続されている。

【0115】

ＣＰＵ２２１２は、ＲＯＭ２２３０およびＲＡＭ２２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ２２１６は、ＲＡＭ２２１４内に提供されるフレームバッファ等またはそれ自体の中にＣＰＵ２２１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス２２１８上に表示されるようにする。

【0116】

通信インターフェイス２２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ２２２４は、コンピュータ２２００内のＣＰＵ２２１２によって使用されるプログラムおよびデータを格納する。ＤＶＤ－ＲＯＭドライブ２２２６は、プログラムまたはデータをＤＶＤ－ＲＯＭ２２０１から読み取り、ハードディスクドライブ２２２４にＲＡＭ２２１４を介してプログラムまたはデータを提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、および／またはプログラムおよびデータをＩＣカードに書き込む。

【0117】

ＲＯＭ２２３０はその中に、アクティブ化時にコンピュータ２２００によって実行されるブートプログラム等、および／またはコンピュータ２２００のハードウェアに依存するプログラムを格納する。入／出力チップ２２４０はまた、様々な入／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入／出力コントローラ２２２０に接続してよい。

【0118】

プログラムが、ＤＶＤ－ＲＯＭ２２０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ２２２４、ＲＡＭ２２１４、またはＲＯＭ２２３０にインストールされ、ＣＰＵ２２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ２２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ２２００の使用に従い情報の操作または処理を実現することによって構成されてよい。

【0119】

例えば、通信がコンピュータ２２００および外部デバイス間で実行される場合、ＣＰＵ２２１２は、ＲＡＭ２２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インターフェイス２２２２に対し、通信処理を命令してよい。通信インターフェイス２２２２は、ＣＰＵ２２１２の制御下、ＲＡＭ２２１４、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭ２２０１、またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。

【0120】

また、ＣＰＵ２２１２は、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６（ＤＶＤ－ＲＯＭ２２０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ２２１４に読み取られるようにし、ＲＡＭ２２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ２２１２は次に、処理されたデータを外部記録媒体にライトバックする。

【0121】

様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ２２１２は、ＲＡＭ２２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ２２１４に対しライトバックする。また、ＣＰＵ２２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ２２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

【0122】

上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ２２００上またはコンピュータ２２００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ２２００に提供する。

【0123】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0124】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0125】

１０ 判定装置、２０ 測定対象、１００ 撮像部、１０５ 撮影画像記憶部、１１０ 取得部、１１５ 算出部、１２０ 再構成画像生成部、１２５ 非正常度算出部、１３０ 判定部、１３２ 解析処理部、１３５ 結果出力部、１３７ モデル生成部、１４５ 基準画像記憶部、１５０ 学習処理部、１５５ モデル記憶部、４１５ 算出部、４２０ 特徴量算出部、４２５ 非正常度算出部、６００ 判定装置、６１０ 前処理部、７００ 判定装置、７１０ 培養部、８００ 判定装置、８１０ 分配部、８１５－１～Ｎ 算出部、１０００ 判定装置、１０１５－１～Ｍ 算出部、１０３７－１～Ｍ モデル生成部、２２００ コンピュータ、２２０１ ＤＶＤ－ＲＯＭ、２２１０ ホストコントローラ、２２１２ ＣＰＵ、２２１４ ＲＡＭ、２２１６ グラフィックコントローラ、２２１８ ディスプレイデバイス、２２２０ 入／出力コントローラ、２２２２ 通信インターフェイス、２２２４ ハードディスクドライブ、２２２６ ＤＶＤ－ＲＯＭドライブ、２２３０ ＲＯＭ、２２４０ 入／出力チップ、２２４２ キーボード

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】