特許 7210355 細胞観察システム、コロニー生成位置推定方法、推論モデル生成方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-13

(45)【発行日】2023-01-23

(54)【発明の名称】細胞観察システム、コロニー生成位置推定方法、推論モデル生成方法、およびプログラム

(51)【国際特許分類】

   C12M 1/34 20060101AFI20230116BHJP

   C12Q 1/02 20060101ALI20230116BHJP

   G01N 21/17 20060101ALI20230116BHJP

【ＦＩ】

C12M1/34 D

C12Q1/02

G01N21/17 A

【請求項の数】 17

(21)【出願番号】P 2019060850

(22)【出願日】2019-03-27

(65)【公開番号】P2020156419

(43)【公開日】2020-10-01

【審査請求日】2021-11-08

(73)【特許権者】

【識別番号】322004393

【氏名又は名称】株式会社エビデント

(74)【代理人】

【識別番号】100121083

【弁理士】

【氏名又は名称】青木 宏義

(74)【代理人】

【識別番号】100138391

【弁理士】

【氏名又は名称】天田 昌行

(74)【代理人】

【識別番号】100074099

【弁理士】

【氏名又は名称】大菅 義之

(74)【代理人】

【識別番号】100182936

【弁理士】

【氏名又は名称】矢野 直樹

(74)【代理人】

【識別番号】100109209

【弁理士】

【氏名又は名称】小林 一任

(72)【発明者】

【氏名】原 聡司

(72)【発明者】

【氏名】菅原 淳

(72)【発明者】

【氏名】岡田 圭司

(72)【発明者】

【氏名】堀 美香子

(72)【発明者】

【氏名】出澤 拓磨

(72)【発明者】

【氏名】山岸 聖明

(72)【発明者】

【氏名】長 和彦

(72)【発明者】

【氏名】野中 修

【審査官】太田 雄三

(56)【参考文献】

【文献】国際公開第２０１８／１７９９７１（ＷＯ，Ａ１）

【文献】特開２０１８－０２８５９３（ＪＰ，Ａ）

【文献】国際公開第２０１５／１９３９５１（ＷＯ，Ａ１）

【文献】特開２０１０－０２２３１８（ＪＰ，Ａ）

【文献】特開２０１９－０１６３０５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｃ１２Ｍ １／００

Ｃ１２Ｑ １／００

Ｇ０１Ｎ ２１／００

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

ＣＡｐｌｕｓ／ＭＥＤＬＩＮＥ／ＥＭＢＡＳＥ／ＢＩＯＳＩＳ（ＳＴＮ）

(57)【特許請求の範囲】

【請求項1】

撮像部と、
上記撮像部によって取得した複数の細胞の画像に基づいて、上記画像中の複数の細胞の位置情報または形状情報からコロニーが生成又は成長する位置を推論し、推論位置で撮像を行うように上記撮像部の位置を制御する制御部と、
を有することを特徴とする細胞観察システム。

【請求項2】

上記推論位置が、上記コロニーが生成すると予測される位置であることを特徴とする請求項１に記載の細胞観察システム。

【請求項3】

上記撮像部を水平方向に移動させる移動部を有し、
上記制御部は、上記推論位置に基づいて、上記撮像部が上記コロニーの中心位置で画像を撮像するように上記移動部を制御することを特徴とする請求項１に記載の細胞観察システム。

【請求項4】

上記制御部は、上記推論位置上の細胞またはコロニーを所定時間間隔でタイムラプス撮像するように上記撮像部を制御することを特徴とする請求項１または２に記載の細胞観察システム。

【請求項5】

上記撮像部によって取得された細胞またはコロニーの画像を表示する表示部を有することを特徴とする請求項１に記載の細胞観察システム。

【請求項6】

上記制御部が、上記撮像部が上記推論位置上で取得した複数の画像を解析し、画像中の細胞数を計測し、上記細胞数の経時変化を上記表示部に出力することを特徴とする請求項５に記載の細胞観察システム。

【請求項7】

細胞画像を教師データとして生成されたコロニー化推論モデルを備えた推論部を更に有し、
上記推論部は、上記撮像部が撮像した画像の入力に基づいて、コロニーが生成する位置を推論し、推論結果を上記推論位置の情報として出力することを特徴とする請求項１に記載の細胞観察システム。

【請求項8】

上記推論部が、上記画像または上記推論位置の情報に基づき培養の良否の判定結果を出力することを特徴とする請求項７に記載の細胞観察システム。

【請求項9】

上記コロニー化推論モデルは、細胞培養の様子を時系列で撮像した画像データから得られる情報の履歴を、上記画像データの取得時刻ごとにブロックチェーンのブロック生成処理で管理されることによって生成されることを特徴とする請求項７に記載の細胞観察システム。

【請求項10】

上記推論部が推論した上記推論位置を記録可能である記録部を有することを特徴とする請求項１に記載の細胞観察システム。

【請求項11】

上記細胞は、多能性幹細胞であることを特徴とする請求項１に記載の細胞観察システム

【請求項12】

上記コロニーは、複数のｉＰＳ細胞が形成したコロニーであることを特徴とする請求項１に記載の細胞観察システム。

【請求項13】

上記撮像部は、水平方向に移動可能であることを特徴とする請求項１に記載の細胞観察システム。

【請求項14】

上記コロニーは、上記画像中の複数の細胞の少なくとも一部が凝集して生成又は成長したものであることを特徴とする請求項１に記載の細胞観察システム。

【請求項15】

細胞のコロニー形成に至る細胞培養の様子を時系列で撮像した複数の画像データを取得し、
取得した上記画像データのうち、コロニー化する画像部分をアノテーションとして指定し、このアノテーションで指定した画像データを教師データとし、
上記教師データを用いて、入力をコロニー化前の細胞画像、出力をコロニー化予想位置としたコロニー化推論モデルを生成する、
ことを特徴とする推論モデル生成方法。

【請求項16】

請求項１５に記載の推論モデル生成方法によって作成したコロニー化推論モデルに、コロニー化前の細胞画像を入力し、
上記コロニー化推論モデルを用いた演算処理を実行し、上記コロニーが生成又は成長する位置を推定する、
ことを特徴とするコロニー生成位置推定方法。

【請求項17】

細胞観察システム内に設けられたコンピュータに、
撮像部によって取得した細胞の画像を用いて、上記画像中の複数の細胞の位置情報または形状情報からコロニーが生成又は成長する位置を推論し、
上記推論位置で撮像を行うように上記撮像部の位置を制御する、
ことを実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、インキュベータ内等、安定した環境下に配置された培地で培養される細胞を観察する細胞観察システム、コロニー生成位置推定方法、推論モデル生成方法、およびプログラムに関する。

【背景技術】

【0002】

培地を充填した容器内で細胞を培養し、この細胞を観察する観察装置は種々提案されている。例えば、特許文献１には、観察地点を順番に顕微鏡画像を撮影し、この撮影画像を記録しておき、記録画像の中から所定の条件を満たす画像のみを検索可能とした培養装置が提案されている。また、特許文献２には、観察地点を順番に顕微鏡画像を撮影し、この撮影画像から細胞の培養状態を評価する評価情報を生成する培養状態評価装置が提案されている。特許文献３には、特別な性質を有する細胞や細胞コロニーを選択し、この選択された細胞や細胞コロニーを除去するようにした装置が提案されている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開２００９／０３１２８３号公報

【文献】国際公開２０１０／０９８１０５号公報

【文献】特開２０１０－５０４０８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

培養容器内の細胞を顕微鏡等で撮影する際の視野は、一般に拡大観察の用途ゆえに狭いことから、培養容器内の細胞等を顕微鏡等で撮影するには、時間がかかってしまう。例えば、ｉＰＳ細胞等の多機能性幹細胞を取得するために、また望ましい性質をもつ単クローン性細胞集団を創り出すために細胞を培養すると、次第にコロニーが形成される。しかし、培養する細胞の全てが特定の想定したコロニーとはならず、そのため培養容器内の全ての地点で撮影すると、効率が悪く、撮影間隔が長くなってしまう。上述の特許文献１～３では、設定されている全ての地点で培養容器内の細胞を撮影しており、効率がよくない。また、特許文献２、３には、細胞を評価することについて記載されているが、細胞の評価結果に基づいて、撮像や観察の位置を選択することについては何ら記載されていない。

【0005】

本発明は、このような事情を鑑みてなされたものであり、培養器内の細胞等を撮像や観察する際に、細胞の培養状態（コロニーの生成状態）の変化に応じて、撮像や観察地点を変更することが可能な細胞観察システム、コロニー生成位置推定方法、推論モデル生成方法、およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため第１の発明に係る細胞観察システムは、撮像部と、上記撮像部によって取得した複数の細胞の画像に基づいて、上記画像中の複数の細胞の位置情報または形状情報からコロニーが生成又は成長する位置を推論し、推論位置で撮像を行うように上記撮像部の位置を制御する制御部と、を有する。

【0007】

第２の発明に係る細胞観察システムは、上記第１の発明において、 上記推論位置が、上記コロニーが生成すると予測される位置である。
第３の発明に係る細胞観察システムは、上記第１の発明において、上記撮像部を水平方向に移動させる移動部を有し、上記制御部は、上記推論位置に基づいて、上記撮像部が上記コロニーの中心位置で画像を撮像するように上記移動部を制御する。

【0008】

第４の発明に係る細胞観察システムは、上記第１または第２の発明において、 上記制御部は、上記推論位置上の細胞またはコロニーを所定時間間隔でタイムラプス撮像するように上記撮像部を制御する。
第５の発明に係る細胞観察システムは、上記第１の発明において、上記撮像部によって取得された細胞またはコロニーの画像を表示する表示部を有する。

【0009】

第６の発明に係る細胞観察システムは、上記第５の発明において、上記制御部が、上記撮像部が上記推論位置上で取得した複数の画像を解析し、画像中の細胞数を計測し、上記細胞数の経時変化を上記表示部に出力する。
第７の発明に係る細胞観察システムは、上記第１の発明において、細胞画像を教師データとして生成されたコロニー化推論モデルを備えた推論部を更に有し、 上記推論部は、上記撮像部が撮像した画像の入力に基づいて、コロニーが生成する位置を推論し、推論結果を上記推論位置の情報として出力する。
第８の発明に係る細胞観察システムは、上記第７の発明において、上記推論部が、上記画像または上記推論位置の情報に基づき培養の良否の判定結果を出力する。
第９の発明に係る細胞観察システムは、上記第７の発明において、上記コロニー化推論モデルは、細胞培養の様子を時系列で撮像した画像データから得られる情報の履歴を、上記画像データの取得時刻ごとにブロックチェーンのブロック生成処理で管理されることによって生成される。
第１０の発明に係る細胞観察システムは、上記第１の発明において、上記推論部が推論した上記推論位置を記録可能である記録部を有する。
第１１の発明に係る細胞観察システムは、上記第１の発明において、上記細胞は、多能性幹細胞である。
第１２の発明に係る細胞観察システムは、上記第１の発明において、上記コロニーは、複数のｉＰＳ細胞が形成したコロニーである。
第１３の発明に係る細胞観察システムは、上記第１の発明において、上記撮像部は、水平方向移動可能である。
第１４の発明に係る細胞観察システムは、上記第１の発明において、上記コロニーは、上記画像中の複数の細胞の少なくとも一部が凝集して生成又は成長したものである。

【0010】

第１５の発明に係る推論モデル生成方法は、細胞のコロニー形成に至る細胞培養の様子を時系列で撮像した複数の画像データを取得し、取得した上記画像データのうち、コロニー化する画像部分をアノテーションとして指定し、このアノテーションで指定した画像データを教師データとし、上記教師データを用いて、入力をコロニー化前の細胞画像、出力をコロニー化予想位置としたコロニー化推論モデルを生成する。
第１６の発明に係るコロニー生成位置推定方法は、上記第１５の発明に係る推論モデル生成方法によって作成したコロニー化推論モデルに、コロニー化前の細胞画像を入力し、上記コロニー化推論モデルを用いた演算処理を実行し、上記コロニーが生成又は成長する位置を推定する。
第１７の発明に係るプログラムは、細胞観察システム内に設けられたコンピュータに、撮像部によって取得した細胞の画像を用いて、上記画像中の複数の細胞の位置情報または形状情報からコロニーが生成又は成長する位置を推論し、上記推論位置で撮像を行うように上記撮像部の位置を制御することを実現させる。

【発明の効果】

【0011】

本発明によれば、培養器内の細胞等を撮像や観察する際に、細胞の培養状態（コロニーの生成状態）の変化に応じて、撮像や観察の地点を変更することが可能な細胞観察システム、コロニー生成位置推定方法、推論モデル生成方法、およびプログラムを提供することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態に係る細胞観察装置によって観察される一例であり、細胞からコロニーが発生する様子を示す図である。

【図2】本発明の一実施形態に係る細胞観察装置と情報端末装置からなる細胞観察システムの外観図である。

【図3】本発明の一実施形態に係る細胞観察装置と推論装置からなる細胞観察システムの主として電気的構成を示すブロック図である。

【図4】本発明の一実施形態に係る細胞観察システムで推論モデルを生成する際に使用する教師画像の例である。

【図5】本発明の一実施形態に係る細胞観察システムの撮像部の動作を示すフローチャートである。

【図6A】本発明の一実施形態に係る細胞観察システムの情報端末装置の動作を示すフローチャートである。

【図6B】本発明の一実施形態に係る細胞観察システムの情報端末装置の動作を示すフローチャートである。

【図7】本発明の一実施形態に係る細胞観察システムの情報端末装置において、アイコン表示を示す図である。

【図8】本発明の一実施形態に係る細胞観察装置と情報端末装置からなる細胞観察システムにおいて、情報端末装置における表示画像の第１の変形例を示す外観図である。

【図9】本発明の一実施形態に係る細胞観察装置と情報端末装置からなる細胞観察システムにおいて、情報端末装置における表示画像の第２の変形例を示す外観図である。

【図10】本発明の一実施形態に係る細胞観察システムの情報端末装置おいて、合成画像の表示を示す図である。

【図11】本発明の一実施形態に係る細胞観察システムの情報端末装置おいて、コロニーの位置と、撮影画像を示す図である。

【図12】本発明の一実施形態に係る細胞観察システムにおいて、コロニー化判定の他の例を示すフローチャートである。

【発明を実施するための形態】

【0013】

以下、本発明の一実施形態として細胞観察装置と情報端末装置を有する細胞観察システムに適用した例について説明する。

【0014】

本実施形態に係る細胞観察システムにおいては、細胞画像を取得し、この細胞画像に基づいて、細胞のコロニーが形成されている位置や形成が予測される位置を推論している（図３の推論エンジン１１１ｃ、図６ＢのＳ６１、Ｓ６３参照）。この推論されたコロニーの形成位置や形成予測位置を考慮して、撮像部（図１のカメラ部１０、図３の画像入力部２３ａ）によって、細胞を撮像する位置を調整している（図５のＳ１７参照）。なお、細胞のコロニー形成位置や形成予測位置は、推論に限らず、フローチャートを用いたロジックにより求めてもよい（図１２）。

【0015】

前述したように、本実施形態に係る細胞観察システムでは、細胞を培養し、コロニーを作成する際に、コロニーが形成される位置および形成される予想位置を予測し、この予測位置等に基づいて、撮像部による撮影を行うようにしている。そこで、最初に、図１を用いて、細胞の培養時に、コロニーがどのように形成されるかについて説明する。

【0016】

様々な組織に分化する能力を持つ多能性幹細胞の研究は、再生医療の分野で注目されている。多能性幹細胞としては「胚性幹細胞（ＥＳ細胞）」が知られており、最近では、体細胞に遺伝子を導入することにより人工的に作成した「人工多能性幹細胞（ｉＰＳ細胞）」なども知られている。患者の治療を想定したヒト多能性幹細胞はコロニーとして培養される。コロニーは培地中で細胞が分裂し、また接着することによって、細胞が細胞塊となったものである。細胞複製によって単一の先祖細胞から誘導される複数の培養細胞を単クローン性と呼ぶが、本実施形態においては、このような細胞培養にも適用可能である。培地交換や継代と呼ばれる細胞を植え継ぐプロセス等を行い、コロニーを適度な小さな塊として管理する。この管理を怠ると、特殊化していない細胞が特殊化したタイプの細胞に変化する「分化」が起こってしまう。

【0017】

したがって、例えば、この未分化細胞のコロニーを適切に培養して管理する技術が必要であるが、培養の細かな条件によっては細胞が死滅し、また想定とは異なるコロニーとなることがあった。培養には日数がかかるので、これが出来てしまってから判断したのでは、効率が悪い。

【0018】

ヒトの皮膚細胞由来の線維芽細胞に転写因子を入れると、この転写因子によって細胞内において遺伝子発現状態が変化した核が初期化を起こし、因子導入後、数時間から４８時間以内にｉＰＳ化が始まるとされる。元の線維芽細胞に似た形状で分裂を行いながらｉＰＳ細胞コロニーの形に変わる。しかし、分化能を保持したまま半永久的に自己複製を繰り返して失敗してしまうことがある。そこで、この状態を早い段階で検出して処置する。

【0019】

図１は、培養している細胞の変化を示す模式図である。図１（ａ）が最初の様子であり、図１（ｂ）（ｃ）・・・（ｅ）と、時間が経過に応じて細胞が変化していく様子を示す。細胞に因子が導入されると、培養後、一週間程度で、図１（ｅ）に示すようにコロニーが形成される。図１（ｄ）に示すように、コロニー形成の一日前までは元の線維芽細胞の形状なので、図１（ｄ）の状態から図１（ｅ）への予測が困難であった。細胞分裂と接着がほぼ同時に、接触（接着）した細胞間の相互作用によって分裂や結合（コロニー化）が促進されるからである。そこで本実施形態では、複数の細胞の接触時の両細胞の態様変化に基づいてコロニー化を予測する。

【0020】

次に、図２を用いて、本実施形態に係る細胞観察システムの構成について説明する。細胞観察システムは、細胞観察装置１、情報端末１００、および推論エンジン２００を有する。細胞観察装置１と細胞培養容器８０は、インキュベータ内に配置され、情報端末１００および推論エンジン２００はインキュベータの外に配置される。

【0021】

細胞観察装置１の透明な天板４０の上には細胞培養容器８０を載置でき、細胞培養容器８０で培養される試料８１を透明な天板４０を透して撮像し、撮像画像データを取得することができる。このため、細胞をインキュベータ等内で環境を維持したまま培養し、インキュベータ外の情報端末１００等において、試料８１等の計測や観察を行うことができる。インキュベータ内で培養された細胞の観察や計測を遠隔で行うので、細胞観察装置１は省エネ性であり、製品の信頼性が高い設計を行うことが望ましい。

【0022】

カメラ部１０には、撮影レンズ、撮像素子、撮像制御回路等を有する撮像部（図２の画像入力部２３ａ）を有し、撮像部は試料８１を撮像し、画像データを生成する。照明用のＬＥＤ（Light Emitted Diode）等の光源が配置されている。ＬＥＤ等の照明光は、天板４０および細胞培養容器８０の方向に照射され、細胞培養容器８０の蓋によって反射され、この反射光によって試料８１を透過光で照明する。なお、ＬＥＤ等の光源は、細胞培養容器８０の上方に配置し、試料８１を透過光で照明するようにしてもよい。なお、照明光源は、ＬＥＤ以外の光源を使用しても勿論かまわない。

【0023】

また、細胞観察装置１内には無線通信装置（図３の通信部２４参照）が配置されており、細胞観察装置１の外部に配置される情報端末１００内の通信部１１４と無線通信が可能である。細胞観察装置１内のカメラ部１０の詳しい電気的構成については、図３を用いて後述する。

【0024】

カメラ部１０は、Ｘ軸方向およびＹ軸方向に移動可能、すなわち水平方向の平面内で移動することができる。すなわち、カメラ１０は、Ｘ送りネジ３２ｂに保持され、Ｘ送りネジ３２ｂが回転することによって、Ｘ軸方向に移動可能である。Ｘ送りネジ３２ｂは、Ｘアクチュエータ３１ｂによって回転駆動される。Ｘアクチュエータ３１ｂは、Ｙ送りネジ３２ａに保持され、Ｙ送りネジ３２ａが回転することによって、Ｙ軸方向に移動可能である。Ｙ送りネジ３２ａは、Ｙアクチュエータ３１ａによって回転駆動される。カメラ部１０内の制御部２１（図３参照）は、Ｙアクチュエータ３１ａおよびＸアクチュエータ３１ｂの駆動制御を行い、カメラ部１０を、予めプログラムされた手順に従って、Ｘ軸およびＹ軸方向に駆動制御する。また、ユーザがカメラ部１０を特定の位置に移動させることも可能であり、この場合には、情報端末１００によって手動で指示するので、移動制御部３３はユーザの指示に従ってカメラ部１０を移動させる（図５のＳ１１、Ｓ１３、図６ＢのＳ４７、Ｓ４９参照）。

【0025】

なお、細胞観察装置１内には、内蔵の電源電池が備えられ、Ｙアクチュエータ３１ａ、Ｘアクチュエータ３１ｂ、カメラ部１０に電源が供給され、また各部の間で制御信号を双方向で通信するための通信ラインが設けられている。本実施形態では、細胞観察装置１をインキュベータ内に配置し易くするために、電源として電源電池を使用することを想定しているが、これに限らず、ＡＣ電源によって電源供給するようにしてもよい。また各部の間の制御信号は有線通信で行うことを想定しているが、無線通信によって行うようにしてもよい。

【0026】

上述のカメラ部１０、Ｙアクチュエータ３１ａ、Ｘアクチュエータ３１ｂ、Ｙ送りネジ３２ａ、Ｘ送りネジ３２ｂは、天板４０および外装体４２で構成される筐体内に配置されている。天板４０および外装体４２は、その内部に外部からの湿気が入り込まないような気密構造となっている。このため、インキュベータ内が高湿であっても、天板４０および外装体４２により構成される筐体の内部は、高湿となることがない。一方、細胞観察装置１の天板４０の上に置かれた細胞培養容器８０はインキュベータによって調整された温度・湿度が維持される。

【0027】

透明な天板４０の上側には、細胞培養容器８０を載置することが可能であり、細胞培養容器８０内には培地を充填し、試料８１（細胞）を培養することができる。カメラ部１０のレンズは、透明な天板４０を透して細胞培養容器８０内の培地を撮像し、画像を観察することができる。この撮像にあたっては、前述したように、ＬＥＤ等の光源が試料８１を照明する。細胞培養容器８０内の細胞は、カメラ部１０によって撮像されることから、細胞培養容器８０の底面（天板４０と接する側）は透明であることが望ましい。

【0028】

情報端末１００は、インキュベータの外部にあり、外部から細胞観察装置１の制御を行う。すなわち、情報端末１００は、図３に示すように、通信部１１４を有し、細胞観察装置１内の通信部２４と無線通信が可能である。このため、情報端末１００は、細胞観察装置１と離れた位置から、通信を行い、カメラ部１０を移動させ、またカメラ部１０が取得した画像データを受信することができる。なお、情報端末１００は、専用機器であってもよく、またスマートフォン等の情報端末機器を操作部として兼用するようにしてもよい。さらに、情報端末１００は、パーソナルコンピュータ（ＰＣ）、サーバ等のコンピュータの付属の操作部を兼用するようにしてもよい。

【0029】

また、情報端末１００は表示部１１２を有し、この表示部１１２に細胞観察装置１が取得した画像を表示することができる。また、表示部１１２は、カウントモード（予測表示付き）が設定されている場合には、図２に示すように、細胞培養容器８０内における位置（場所）１、位置２、位置３、・・・毎に、細胞数のグラフ１１２ａを示す。このグラフ１１２ａは、位置毎に細胞のカウント結果（実線）と、細胞数の予測（破線）を示す。また、細胞培養に関する培養情報１１２ｂも示される。図２に示す例では、培養情報１１２ｂとして、細胞培養が「良好」であり、「１０時間後」に「培地交換」が必要であることを表示している。「戻る」アイコン１１２ｃは、表示部１１２の画面を前の画面に戻らせるためのアイコンである。「コロニー化」アイコン１１２ｄは、表示されている場所がコロニー化することを示している。図２に示す例では、場所３のみがコロニー化し、場所１、２はコロニー化しないことを示している。

【0030】

推論エンジン２００は、コロニー化を推論するための推論モデルを生成する。推論エンジン２００は、情報端末１００内に設けてもよいが、情報端末１００とインターネット等を通じて接続可能なサーバ等に設ける。推論エンジン２０は、教師データを入力し、コロニー化を予測する推論するための推論モデルを生成する。教師データについては図４を用いて後述する。推論エンジン２００が生成した推論モデルは、情報端末１００内の推論エンジン１１１ｃに格納され、コロニーの発生を予測するのに用いられる。

【0031】

次に、図３を用いて、本実施形態に係る細胞観察装置１と情報端末１００の電気的構成を説明する。細胞観察装置１は、制御部２１、移動部２２、情報取得部２３、通信部２４、記録部２５を有する。情報取得部２３は、画像入力部２３ａと位置入力部２３ｂを有し、種々の情報を取得する。さらに、装置単体での作動チェックなどのための操作部を具備してもよく、作動チェック結果を表示する表示部等を具備してもよい。

【0032】

画像入力部２３ａは、図２に示したカメラ部１０内に配置され、撮影レンズ、撮像素子、撮像制御回路等を有する。画像入力部２３ａは、試料８１の画像を画像データに変換し、制御部２１に出力する。カメラ部１０は前述したように、水平方向に移動可能であり、指定した位置で試料８１の画像を取得することができる。カメラ部１０は、容器８０内の試料８１（細胞）の下まで潜り込み、試料８１を撮像することができる。画像入力部２３ａは、水平方向に移動可能であり、容器中で培養される細胞を撮像する撮像部として機能する。位置入力部２３ｂは、カメラ部１０の位置情報、すなわち撮影位置を入力する。撮影位置は、カメラ部１０の位置を測定するためのＸ軸方向エンコーダやＹ軸方向エンコーダ等の位置センサを設け、この位置センサ出力を入力するようにしてもよい。また、カメラ部１０を移動部２２によって移動させる際の位置制御信号を入力し検出するようにしてもよい。なお、カメラ部１０は撮像、観察に必要な補助光源を具備してもよく、別の光源を利用してもよい。

【0033】

移動部２２は、前述のＸ軸アクチュエータ３１ｂ、Ｙ軸アクチュエータ３１ａ等の駆動源と、これらの駆動源の駆動を制御する制御回路を有する。移動部２２は、制御部２１からの制御信号に基づいて、カメラ部１０を移動させる。移動部２２は、コロニー位置判定部によって判定されたコロニーの位置に基づいて、コロニーの中心位置で撮像部によって上記撮像部による撮像するように位置を制御する移動部として機能する。

【0034】

通信部２４は、通信回路を有し、情報端末１００内の通信部１１４と通信を行う。細胞観察装置１は画像入力部２３ａによって取得した細胞の画像と、撮影時の位置情報を、通信部２４を通じて、情報端末装置１００に送信する。また、情報端末１００は、細胞観察装置１から受信した画像を解析し、細胞のコロニーが生成されると予測される位置情報を、通信部２４を通じて、細胞観察装置１に送信する。制御部２１は受信したコロニーの生成予測位置に基づいて、撮影位置の制御を行う。

【0035】

記録部２５は、電気的に書き換え可能な不揮発性メモリおよび電気的に書き換え可能な揮発性メモリを有し、移動パターン２５ａと画角情報２５ｂを記録する。移動パターン２５ａは、移動部２２によってカメラ１０を移動させるパターンである。この移動パターンは、予め情報端末１００から受信し、記憶しておく。制御部２１はこの移動パターン２１を読み出し、移動部２２の制御を行い、画像入力部２３ａによって画像を取得する。また、細胞培養中に取得した画像に基づいて、情報端末１００がコロニーの発生個所を予測し、予測結果に基づいて移動パターンを生成した場合には、細胞観察装置１が、この予測結果に基づく移動パターンを受信し、移動パターン２５ａとして記憶する。画角情報２５ｂは、画像入力部２３ａの撮影レンズの焦点距離情報である。コロニー全体を撮像して表示する方法としては、画像入力部２３ａ（撮像ユニット）によって取得した複数の画像を合成し、全体を表示するようにしてもよい。

【0036】

制御部２１は、ＣＰＵ（Central Processing Unit）、プログラムを記憶したメモリ、および周辺回路をし、プログラムに従って、細胞観察装置１の全体制御を行う。制御部２１が行う制御としては、例えば、予め記憶されている移動パターン２５ａ、または情報端末１００から指示された移動パターン２５ａに従って、カメラ１０を移動部２２によって移動させ、また指定された位置で画像入力部２３ａによって画像を取得する。取得した画像は、通信部２４を通じて、情報端末１００に送信する。

【0037】

制御部２１は、情報端末１００からタイムラプスの指示を受信すると、撮像部によってコロニーを所定時間間隔で撮像制御を行うタイムラプス制御部として機能する。このタイムラプス制御部は、予測されたコロニー位置でコロニーを所定時間間隔で撮像する。

【0038】

情報端末１００は、制御部１１１、表示部１１２、情報取得部１１３、通信部１１４を有する。表示部１１２は、表示用のモニタ画面を有し、細胞観察装置１から受信した細胞の画像を表示する。また、図２に示すように、細胞をカウントした結果をグラフ表示し、その他、細胞培養に関する情報も表示する。なお、表示部１１２における表示の変形例について、図８および図９を用いて後述する。表示部１１２は、撮像部によって取得されたコロニーの画像を表示する表示部として機能する。この表示部は、複数のコロニーを比較して表示可能である（図９参照）。また、表示部は、コロニーが複数の細胞の画像に跨る場合に、コロニーの全体が入るように調整する（図１０参照）。情報取得部１１３は、画像入力部１１３ａを有する。画像入力部１１３ａは、撮影レンズ、撮像素子、撮像制御回路等を有し、画像を取得する。

【0039】

通信部１１４は、通信回路を有し、細胞観察装置１内の通信部２４と通信を行う。この通信部１１４を通じて、前述したように、細胞観察装置１が取得した画像を受信し、また推論エンジン１１１ｃによって推論されたコロニーの生成位置等の情報を細胞観察装置１に送信する。操作部１１５は、ユーザが細胞観察装置１および情報端末に指示を入力するためのインターフェースである。操作部１１５としては、操作用のスイッチ等の操作部材、タッチ操作可能なタッチパネルを有する。

【0040】

制御部１１１は、ＣＰＵ（Central Processing Unit）、プログラムを記憶したメモリ、および周辺回路をし、プログラムに従って、情報端末１００の全体制御を行う。情報端末１００における制御として、例えば、細胞観察装置１から受信した細胞の画像（例えば、図１参照）に基づいて、将来、コロニーが発生する位置を予測し、この予測位置に基づいて、細胞観察装置１において細胞の画像を撮影するように指示する。

【0041】

制御部１１１は、コロニー位置判定部１１１ａ、コロニー化判定部１１１ｂ、推論エンジン１１１ｃを有する。推論エンジン１１１ｃは推論エンジン２００から受信した推論モデルを格納し、推論を行う。この推論は、細胞観察装置１から受信した画像を入力層に入力し、推論モデルを用いて、コロニーが発生しているか否かの判定を行い、またコロニーが発生している位置を判定する。これらの判定は、現在に限らず、将来の予測も行う。

【0042】

制御部１１１内のコロニー化判定部１１１ｂおよびコロニー位置判定部１１１ａは、推論エンジン１１１ｃによる推論結果に基づいて、将来、コロニーが発生し、またはコロニーが成長していく位置を予測し、この予測結果に基づいて、細胞観察装置１において画像を取得すべき位置を、細胞観察装置１に送信する。また制御部１１１は周辺回路として画像解析部（画像解析回路）を有し、細胞観察装置１によって取得された画像に基づいて、細胞を識別し、細胞の数をカウントする。なお、細胞の識別は、推論エンジンによって識別し、数をカウントしてもよい。

【0043】

推論エンジン１１１ｃにおいて使用する推論モデルは、情報端末１００または情報端末１００の外部に設けられたサーバ内に設けられた推論モデル生成装置において生成する。この推論モデルの生成にあたっては、まず、細胞のコロニー形成に至る細胞培養の様子を時系列で撮像して取得した画像データのうち、コロニー化する画像部分をアノテーションとして指定し、このアノテーションで指定した画像デーを教師データとし、次に、教師データを用いて、入力をコロニー化前の細胞画像、出力をコロニー化予想部位としたコロニー化推論モデルを生成する。

【0044】

コロニー位置判定部１１１ａは、細胞観察装置１から受信した画像に基づいて、コロニーの発生する位置を判定する。またコロニー化判定部１１１ｂはコロニーが発生したか否かを判定する。コロニー化判定部１１１ｂは、撮像部を水平方向に移動させることによって位置を変えて、撮像部によって取得した細胞の画像に基づいてコロニーを判定する判定部として機能する。コロニー位置判定部１１１ａは、コロニーを判定した際の撮像部の移動位置と撮像範囲に基づいてコロニーの位置を判定するコロニー位置判定部として機能する。上述の判定部は、複数の細胞の位置と形状情報からコロニーとなることを予測することによって、コロニー位置判定する。また判定部は、複数の細胞の位置と形状情報からコロニーとなることを予測することによって、コロニー位置を判定する。

【0045】

次に、図４を用いて、推論エンジン２００において深層学習を行い、推論モデルを生成するための教師データについて説明する。図４（ａ）は、細胞画像Ｆ１～Ｆ３において、コロニーが発生する位置Ｐ１～Ｐ３にアノテーションを施した例を示す。位置Ｐ１～Ｐ３は、コロニーが発生した位置にアノテーションを施してもよいが、コロニーが具現化される前の画像に対して、アノテーションを施すようにしてもよい。実際にコロニーが発生した位置において、発生前の画像において対応する位置にアノテーションを施すようにしてもよい。また、熟練した専門家が、コロニーが発生すると予測される位置にアノテーションを施してもよい。

【0046】

図４（ｂ）は、コロニーが発生した画像と、その位置で撮影した発生前の画像を対にし、この対の画像を用いてアノテーションを施す例である。細胞画像Ｆ４ａとＦ４ｂは対の画像であり、細胞画像Ｆ５ａとＦ５ｂも対の画像である。細胞画像Ｆ４ｂ、５ｂにはコロニーＣ４、Ｃ５が発生していることから、細胞画像Ｆ４ａ，５ａの対応する位置に、アノテーションを施してもよい。このように、実際にコロニーが発生する前の画像に、発生が予測される場所をアノテーションすることにより、推論モデル生成のための教師データが作成される。この教師データを用いて深層学習することにより、コロニーが発生する場所を予測することが可能な推論モデルを生成することができる。

【0047】

なお、コロニーが発生しないと予測される場所を推論するための教師データを生成してもよい。この場合には、細胞画像Ｆ１～Ｆ３、Ｆ４ａ，Ｆ５ａにおいて、コロニーが発生しないと予測される位置にアノテーションを施して、ネガティブな教師データを作成する。この教師データを用いて深層学習することにより、コロニーが発生しない場所を推論することが可能となる。

【0048】

このように、本実施形態においては、細胞培養時の経過を観察した画像や細胞カウントなどで、予め取得していたコロニー化などの実績あるデータを利用して、将来を予測することが出来るような変化の特徴を推論するようにしている。このために、コロニー化に先立つデータに良否判断や位置情報を追記するアノテーションを行っている。具体的には、容器中で培養される細胞を時系列的に順次撮像する撮像部によって取得した細胞の時系列画像に基づいてコロニーが形成されることを推論する。この推論を行う推論モデルの作成時には、複数の細胞の位置と形状情報を利用する。つまり、細胞のコロニー形成に至る細胞培養を時系列で撮像して得た画像データが有効活用される。すなわち、細胞のコロニー形成に至る細胞培養の様子を時系列で撮像して得た画像データのうち、コロニー化する画像部分をアノテーションとして指定して得られた教師データを教師データとし、入力をコロニー化前の細胞画像、出力をコロニー化予想部位としたコロニー化推論モデルを生成する。

【0049】

本実施形態においては、想定どおりの細胞培養が行われるのをコロニーの形成で判定していたが、もちろんそれ以外の方法で想定通りの細胞培養が行われることを判定してもよい。つまり、想定通りに培養されている培養において得られた、同じ培養位置における時系列の撮像結果や細胞カウントデータがあれば、その変化の特徴から推論モデル作成用の教師データが得られるので、この推論モデルによって想定通りの培養の予測判定を行ってもよい。

【0050】

また、培養の良否見極めを早めに行う効率化を想定した用途であれば、想定通りにならない場合を判定してもよく、この場合も同様の考え方が適用できる。つまり想定通りに培養されてなかった培養において得られた、同じ培養位置における時系列の撮像結果や細胞カウントデータがあれば、その変化の特徴からうまく行かないことを推論する推論モデル作成用の教師データが得られるので、これによって想定通りにならない培養の予測判定を行ってもよい。細胞培養の成功に至る培養された細胞の様子を時系列で撮像して得た画像データのうち、想定通り、または想定通りにならずに培養される細胞の部分を画像内でアノテーションとして指定して得られた教師データを教師データとし、入力を細胞画像、出力を、想定通り、または想定通りにならずに培養される細胞がある画像部分とした細胞培養成否表示用推論モデルを生成してもよい。

【0051】

ここで、深層学習について、説明する。「深層学習（ディープ・ラーニング）」は、ニューラル・ネットワークを用いた「機械学習」の過程を多層構造化したものである。情報を前から後ろに送って判定を行う「順伝搬型ニューラル・ネットワーク」が代表的なものである。順伝搬型ニューラル・ネットワークは、最も単純なものでは、Ｎ１個のニューロンで構成される入力層、パラメータで与えられるＮ２個のニューロンで構成される中間層、判別するクラスの数に対応するＮ３個のニューロンで構成される出力層の３層があればよい。入力層と中間層、中間層と出力層の各ニューロンはそれぞれが結合加重で結ばれ、中間層と出力層はバイアス値が加えられることによって、論理ゲートを容易に形成できる。

【0052】

ニューラル・ネットワークは、簡単な判別を行うのであれば３層でもよいが、中間層を多数にすることにより、機械学習の過程において複数の特徴量の組み合わせ方を学習することも可能となる。近年では、９層～１５２層のものが、学習にかかる時間や判定精度、消費エネルギーの観点から実用的になっている。また、画像の特徴量を圧縮する、「畳み込み」と呼ばれる処理を行い、最小限の処理で動作し、パターン認識に強い「畳み込み型ニューラル・ネットワーク」を利用してもよい。また、より複雑な情報を扱え、順番や順序によって意味合いが変わる情報分析に対応して、情報を双方向に流れる「再帰型ニューラル・ネットワーク」（全結合リカレントニューラルネット）を利用してもよい。

【0053】

これらの技術を実現するために、ＣＰＵやＦＰＧＡ（Field Programmable Gate Array）等の従来からある汎用的な演算処理回路を使用してもよい。しかし、これに限らず、ニューラル・ネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したＧＰＵ（Graphic Processing Unit）やTensor Processing Unit（TPU）と呼ばれるプロセッサを利用してもよい。近年ではこのような人工知能（ＡＩ）専用ハードの「ニューラル・ネットワーク・プロセッシング・ユニット（ＮＰＵ）」がＣＰＵ等その他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある。

【0054】

その他、機械学習の方法としては、例えば、サポートベクトルマシン、サポートベクトル回帰という手法もある。ここでの学習は、識別器の重み、フィルター係数、オフセットを算出するものあり、これ以外にも、ロジスティック回帰処理を利用する手法もある。機械に何かを判定させる場合、人間が機械に判定の仕方を教える必要がある。本実施形態においては、画像の判定を、機械学習により導出する手法を採用したが、そのほか、人間が経験則・ヒューリスティクスによって獲得したルールを適応するルールベースの手法を用いてもよい。

【0055】

次に、図５に示すフローチャートを用いて、細胞観察装置の動作を説明する。このフローチャートは、細胞観察装置１内の制御部２１に設けられたＣＰＵがメモリに記憶されたプログラムに従って、細胞観察装置１内の各部を制御することにより実現する。

【0056】

図５に示す細胞観察装置のフローチャートが開始すると、まず通信待ちの状態となる（Ｓ１）。ここでは、情報端末１００から通信が開始されるのを待つ。すなわち、インキュベータ等、外部から隔離された室内に配置された細胞観察装置１に対して、ユーザが指示を与える場合には、情報端末１００を操作する。このステップは、この操作に基づく制御信号が無線通信によって受信するのを待つ状態である。

【0057】

次に、電源オフ／オフ通信がなされたか否かを判定する（Ｓ３）。ここでは、通信部と判定機能を所定時間間隔（例えば、１分間隔）で起動し、情報端末１００から通信があるか否かを判定する。前述したように、本実施形態においては、細胞観察装置１の電源は電池によって供給されるので、電源電池の消耗を防止するために、ユーザは情報端末１００から電源オンまたは電源オフの指示を行うことができる（図６ＡのＳ３９参照）。なお、通常の通信ではなく、ＢＬＥ（Bluetooth Low Energy）などの別の省エネ通信によって通信を行ってもよい。

【0058】

ステップＳ３における判定の結果、電源オン／オフ通信があった場合には、撮像オン／オフ処理を行う（Ｓ５）。ここでは、電源オンであった場合には、細胞観察装置１の電源をオフとし、一方、電源オフであった場合には、細胞観察装置１の電源をオンとする。但し、情報端末１００からの指示を判定するための機能を実行するための最低限の電源は供給されるようにする。この電源制御により、無駄なエネルギー消費が削減可能となる。撮像オン／オフ処理を行うと、ステップＳ１に戻る。

【0059】

ステップＳ３における判定の結果、電源オフ／オフ通信でない場合には、各種無線通信情報を取得したか否かを判定する（Ｓ７）。ユーザが情報端末１００の操作部１１５を操作して種々の設定を行うと、この設定情報が、情報端末１００の通信部１１４から無線通信で送信されてくる（図６ＡのＳ４５参照）。また撮像にあたって必要となる情報も通信部１１４から無線通信で送信されてくる（図６ＡのＳ４５参照）。例えば、ここで送信されてくる情報としては、画像データの送信先に関する情報、撮影にあたっての条件、各種パラメータ、試料８１を測定するにあたっての測定条件等がある。また、推論エンジン１１１ｂによって、推論されたコロニー発生位置に基づいて、細胞観察装置１の画像入力部２３ａによる細胞画像の取得位置情報も含まれる。このステップでは、これらの情報や設定を、細胞観察装置１内の通信部２４で受信したか否かを判定する。

【0060】

ステップ７における判定の結果、各種無線通信情報を取得した場合には、情報取得、各種設定、通信等を行う（Ｓ９）。このステップでは、通信部２４で取得した各種情報や設定に基づいて、細胞観察装置１内の各種設定を行う。

【0061】

ステップＳ９において、情報取得、各種設定、通信等を行うと、次に、マニュアル位置指定を受信したか否かを判定する（Ｓ１１）。ユーザは、細胞容器８０内の試料８１を観察・測定・撮影するに先立って又は観察・測定・撮影中に、位置を指定し、またその位置で画像を観察したい場合がある。この場合には、ユーザは情報端末１００を操作して撮像位置を指定することができる（図６ＢのＳ４９参照）。このステップでは、このマニュアル位置指定を行うための無線通信を受信したか否かを判定する。なお、コロニー化の位置についても受信してもよい（図６ＢのＳ６３参照）。

【0062】

ステップＳ１１における判定の結果、マニュアル位置指定を受信した場合には、指定された位置で撮像を行い、撮像結果を送信する（Ｓ１３）。ここでは、移動部２２が無線通信で受信したマニュアル位置に、カメラ部（撮像ユニット）１０を移動させるように制御信号を出力する。移動部２２は、Ｙアクチュエータ３１ａとＸアクチュエータ３１ｂの駆動制御を行い、カメラ部１０を指定されたマニュアル位置に移動させる。指定された位置としては、初期位置、カメラ部１０が障害物等に絶対、衝突しないような場所とする。

【0063】

ステップＳ１３において撮像結果の画像を送信すると、またはステップＳ１１における判定の結果、マニュアル位置指定信号を受信していない場合には、次に、測定開始信号を受信したか否かを判定する（Ｓ１５）。ユーザは、細胞容器８０内の試料８１の細胞の数をカウントし、またコロニーが形成されているか否か等、測定を開始する場合には、その旨を細胞観察装置１に指示する（図６Ｂの５３参照）。ここでは、この測定開始を指示する測定開始信号を受信したか否かを判定する。この判定の結果、測定開始信号を受信していない場合には、ステップＳ２１に進む。

【0064】

ステップＳ１５における判定の結果、測定開始信号を受信した場合には、スキャンパターンに従った位置において画像を取得し、取得した画像を送信する（Ｓ１７）。ここでは、細胞観察装置１は、記録部２５に記録されている移動パターン２５ａに従ってカメラ部１０を移動させ、個々の撮影位置において、画像入力部２３ａは細胞画像を取得する。細胞観察装置１は、細胞画像を取得すると、この画像を情報端末１００に送信する。

【0065】

情報端末１００は、推論エンジン１１１ｃを用いて、コロニーが発生すると予測される位置を推論し、この結果に基づいて、コロニーの発生予測位置を細胞観察装置１に送信する（図６ＢのＳ６３参照）。細胞観察装置１は、このコロニー発生予測位置を受信すると（Ｓ９参照）、この予測位置に従ってスキャンパターンを変更する。例えば、コロニーが発生しないと予測される位置での撮影を取りやめ、コロニーが発生すると予測される位置でのみ撮影を行う。また、コロニーが発生すると予測される位置であっても、撮像画面の中心にない場合には、中心となるように撮像位置の調整を行う。

【0066】

この撮像位置の調整について、図１１を用いて説明する。図１１（ａ）は、撮像部（画像入力部２３ａの撮影レンズおよび撮像素子）によって観察される細胞画像を示す。撮像部の撮像中心位置の座標は、Ｘ＝Ｘ１、Ｙ＝Ｙ１であり、撮像範囲はＸａ、Ｙａである。今、推論エンジン１１１ｃによって、コロニーＣが予測されるとする。コロニーＣは楕円形状しており、長円方向の長さが１／２Ｙａであり、短円方向の長さが１／２Ｘａとする。このため、コロニーＣの中心位置は、撮像中心位置Ｘ１、Ｙ１より、ΔＸ＝１／４Ｘａ、ΔＹ＝１／４Ｙａだけずれている。画像入力部２３ａによって細胞画像を取得するにあたって、コロニーが発生する位置を撮像することが望ましい。そこで、スキャンパターンに従って、カメラ部１０（撮像部）を移動させ、細胞を撮影する際の撮影中心を、ΔＸ、ΔＹだけ位置を調整する。

【0067】

また、ステップＳ１７において、制御部２１は情報端末１００からタイムラプスの指示を受信すると、撮像部によってコロニーを所定時間間隔で撮像制御を行う（図６ＢのＳ６３、図９Ｃ参照）。タイムラプス表示するために、予測されたコロニー位置でコロニーを所定時間間隔で撮像する。

【0068】

次に、撮像および測定が終了か否かを判定する（Ｓ１９）。ここでは、記録部２５に記録されている全ての移動パターン２５ａ（予測位置に従って変更した場合も含む）に従って、撮像及び測定が終了したか否かを判定する。この判定の結果、終了していない場合には、ステップＳ７に戻り、前述の動作を実行する。測定中に、ユーザが操作部１１５を操作して、各種設定や、マニュアル位置の指定、画像要求を行った場合には、これらの指示に従った処理が実行される。

【0069】

ステップＳ１９における判定の結果、終了の場合には、またはステップＳ１５における判定の結果、測定開始信号を受信していない場合には、画像要求がなされているか否かを判定する（Ｓ２１）。ユーザは、測定終了後に、または測定開始前に、細胞観察装置１において取得した画像を閲覧したい場合がある。この場合には、情報端末１００の操作部１１５を操作して、画像を要求してくる。このステップでは、この画像要求があったか否かを判定する。また、上述のループでは、画像処理や通信のスピードを考慮して、デジタルカメラのライブビュー表示に相当する縮小された画像を送信し、即座に確認することを優先してもよい。一方、このステップでは、デジタルカメラにおける記録画像のような、より高精細の画像を記録しておいて、比較的大きなサイズの画像を送信してもよい。特定の部位で、微小なスキャンを行い、いわゆる超解像処理を行った結果を記録しておき、このタイミングで外部に送信出力しても良い。

【0070】

ステップＳ２１における判定の結果、画像要求があった場合には、記録画像を無線送信する（Ｓ２３）。ここでは、ステップＳ１１において取得し、記録部２５に記録した細胞画像を情報端末１００に送信する。記録画像を送信すると、またはステップＳ２１における判定の結果、画像要求がなかった場合には、ステップＳ１に戻り、前述の動作を実行する。

【0071】

このように、細胞観察装置のフローにおいては、細胞観察装置１は撮像した細胞の画像を情報端末１００に送信する（Ｓ１７参照）。情報端末１００からコロニーが生成しているまたは生成すると予測される位置を受信すると、この位置に応じて、スキャンパターンを変更するようにしている（Ｓ１７参照）。

【0072】

次に、図６Ａおよび図６Ｂに示すフローチャートを用いて、情報端末の動作を説明する。このフローチャートは、情報端末１００内の制御部１１１に設けられたＣＰＵがメモリに記憶されたプログラムに従って、情報端末１００内の各部を制御することにより実現する。

【0073】

情報端末通信のフローに入ると、まず、モード表示を行う（Ｓ３１）。ここでは、情報端末１００で設定可能なおけるモードを、表示部１１２に表示する。例えば、図７（ａ）に示すように、情報端末で設定可能な機能Ａのアイコン１１２ａ、機能Ｂのアイコン１１２ｂ、機能Ｃのアイコン１１２ｃ、細胞アプリのアイコン１１２ｄが表示される。細胞アプリは、本実施形態に係るアプリケーションソフトであり、細胞の数のカウント、細胞撮影の際の条件設定、細胞のコロニーの推論等、細胞培養に適したソフトウエアである。機能Ａ等のモードは、情報端末がスマートフォンならば、電話機能、メール機能等がある。また情報端末が科学者によって使用されるパーソナルコンピュータならば、画像解析機能、科学論文執筆支援機能等がある。

【0074】

モード表示がなされると、次に、細胞アプリを起動するか否かの判定を行う（Ｓ３３）。ユーザはモードが表示されると、その中からタッチ操作等によって、いずれかのモードを選択することができる。このステップでは、複数あるモードの中から、細胞アプリが選択され起動するか否かを判定する。この判定の結果、細胞アプリが起動されない場合には、選択されたモード（機能）を実行する。モードが選択されない場合には、モード表示を行った状態で待機状態となる。なお、モードの選択は、タッチ操作に限らず、操作部１１５の操作部材を操作することによって選択してもよい。

【0075】

ステップＳ３３における判定の結果、細胞アプリ起動の場合には、選択用ＧＵＩを表示する（Ｓ３５）。ここでは、制御部１１１は、細胞アプリを利用する場合の選択項目を表示部１１２に表示する。例えば、図７（ｂ）に示すように、条件設定アイコン１１２ｆ、マニュアル位置設定アイコン１１２ｇ、細胞カウントアイコン１１２ｈ、電源オフアイコン１１２ｉが表示部１１２に表示される。条件設定アイコン１１２ｆは、撮影条件等を設定するためのアイコンである。マニュアル位置設定アイコン１１２ｇは、ユーザが指定した位置において、細胞を観察・撮影するためのアイコンである。細胞カウントアイコン１１２ｈは細胞数を自動的にカウントさせるためのアイコンである。電源オフアイコン１１２ｉは細胞観察装置１の電源をオフさせるためのアイコンである。ユーザはこれらのアイコンの中からいずれかをタッチ操作等により選択することができる。

【0076】

選択用ＧＵＩを表示すると、次に、撮像オフか否かを判定する（Ｓ３７）。ここでは、制御部１１１は、ユーザがＧＵＩ表示（Ｓ３５、図７（ｂ）参照）の中から電源オフアイコン１１２ｉを選択したか否かを判定する。

【0077】

ステップＳ３７における判定の結果、電源オフが選択されていた場合には、オン／オフ信号を送信する（Ｓ３９）。ここでは、制御部１１１は、通信部１１４を通じて、細胞観察装置１に、電源のオンオフ信号を無線送信する。オン／オフ信号を送信すると、ステップＳ３５に戻る。

【0078】

ステップＳ３７における判定の結果、撮像オフでない場合には、次に、条件設定か否かを判定する（Ｓ４１）。ここでは、制御部１１１は、ユーザがＧＵＩ表示（Ｓ３５、図７（ｂ）参照）の中から条件設定アイコン１１２ｆを選択した否かを判定する。

【0079】

ステップＳ４１における判定の結果、条件設定の場合には、設定条件を判定する（Ｓ４３）。ユーザがＧＵＩ表示の中から条件設定アイコン１１２ｆを選択すると、制御部１１１は、各種設定条件を示す複数のアイコンを表示部１１２に表示する。各種設定条件としては、例えば、画像の送信先、撮影条件、撮影パラメータ、測定条件がある。ユーザはこれらのアイコンの中から設定したい条件を選択するので、このステップでは制御部１１１はいずれのアイコンが選択されたか否かを判定する。

【0080】

ステップＳ４３における判定の結果、設定の場合には、各種設定を行う（Ｓ４５）。ここでは、制御部１１１は、選択された設定条件を表示する。例えば、設定条件として画像の送信先が選択された場合には、表示部１１２に細胞観察装置１で取得した画像の送信先として、情報端末１００、または情報端末１００以外のＰＣ、サーバ等が表示され、ユーザはこれらの中から選択する。また、設定条件として撮影条件が選択された場合には、露出制御値、焦点調節（自動か手動）等が表示され、ユーザはこれらの中から選択もしくは数値を設定する。

【0081】

ステップＳ４５において各種設定を行うと、またはステップＳ４３における判定の結果、設定でなかった場合には、またはステップＳ４１における判定の結果、条件設定でなかった場合には、マニュアル操作入力か否かを判定する（Ｓ４７）。ここでは、制御部１１１は、ユーザがＧＵＩ表示（Ｓ３５、図７（ｂ）参照）の中からマニュアル位置設定アイコン１１２ｇを選択したか否かを判定する。

【0082】

ステップＳ４７における判定の結果、マニュアル操作入力の場合には、指定位置で撮像を指示に、取得結果を表示する（Ｓ４９）。制御部１１１は、ユーザが撮像位置を指定するための入力画面を表示部１１２に表示する。入力画面としては、撮像位置をｘ、ｙ座標で指定してもよい。撮像位置が指定されると、制御部１１１は通信部１１４を通じて、細胞観察装置１に送信する。細胞観察装置１は撮像位置を受信すると、その位置で撮像を行い、取得した画像を情報端末１００に送信する（図５のＳ１３参照）。情報端末１００は取得画像を受信すると、取得画像を表示部１１２に表示する。

【0083】

ステップＳ４９において取得画像を表示した場合、またはステップＳ４７における判定の結果、マニュアル操作入力でなかった場合には、次に、細胞カウントか否かを判定する（Ｓ５１）。ここでは、制御部１１１は、ユーザがＧＵＩ表示（Ｓ３５、図７（ｂ）参照）の中から細胞カウントアイコン１１２ｈを選択したか否かを判定する。

【0084】

ステップＳ５１における判定の結果、細胞カウントであった場合には、開始信号を細胞観察装置１に送信する（Ｓ５３）。ここでは、制御部１１１は、細胞の数を測定開始させるための開始信号を、通信物１１４を通じて細胞観察装置１に送信する。細胞観察装置１は開始信号を受信すると（図５のＳ１５）、画像入力部２３ａが細胞の画像を取得し、取得した画像を情報端末１００に送信する（図５のＳ１７参照）。

【0085】

ステップＳ５３において開始信号を送信すると、またはステップＳ５１における判定の結果、細胞カウントでなかった場合には、測定結果を受信した否かを判定する（Ｓ５５）。前述したように、細胞観察装置１は、画像入力部２３ａによって細胞の画像を取得すると、情報端末１００に送信する（図５のＳ１７参照）。このステップでは、情報端末１００から画像を受信したか否かを判定する。

【0086】

ステップＳ５５における判定の結果、測定結果を受信した場合には、細胞の数をカウントし、予測結果を表示する（Ｓ５９）。ここでは、制御部１１１が、細胞観察装置１が取得した画像に基づいて、細胞の数をカウントし、また細胞の数の今後の変化を予測する。今後の数の予測は推論エンジン１１１ｃによって求めてもよく、また過去の実績から線形予測演算によって求めてもよい。

【0087】

制御部１１１は、ステップＳ５９において、カウントされた細胞の数と今後の変化の予測を表示部１１２に表示する。例えば、図２の例では、表示部１１２に細胞容器８０内の場所ごと（図２に示す例では場所１～３）、細胞の数の経時的変化を示すグラフ１１２ａを示す。グラフ１１２ａにおいて、実線は細胞の数の変化の実績を示し、破線は細胞の数の今後の変化の予想を示す。図２に示す例では、細胞容器８０内の位置は３か所のみであるが、４か所以上でもよく、また１、２か所でもよい。表示する場所は、図示しないアイコンをタッチ操作するたびにサイクリックに変更してもよい。

【0088】

次に、前の画面に戻るか否かを判定する（Ｓ５９）。ステップＳ５７において、細胞の数のカウント結果と、今後の予測表示をした後、ユーザが前の画面に戻りたい場合がある。この場合には、ユーザは表示部１１２の戻りアイコン１１２ｃ（図２参照）をタッチ操作する。このステップにおける判定の結果、戻り操作がなされた場合には、ステップＳ５５に戻り、前の画面が表示される。

【0089】

一方、ステップＳ５９における判定の結果、戻るでなかった場合には、コロニー推論結果確認か否かを判定する（Ｓ６１）。図１を用いて説明したように、細胞が集まりコロニーが形成されるが、コロニーが発生する場所を予測することは容易ではない。そこで、本実施形態においては、推論モデルを用いて推論エンジン１１１ｃによって、コロニーが発生する場所を推論する。このステップでは、コロニーが発生する場所を推論できたか否かを判定する。この判定の結果、コロニーの発生を推論できない場合には、ステップＳ６７に進む。

【0090】

ステップＳ６１における判定の結果、コロニーの発生を推論できた場合には、位置情報の送信、モニタに結果を表示し、また複数を比較表示し、また大きさ判定合成の表示を行う（Ｓ６３）。ここでは、まず制御部１１１は、コロニーの発生予測位置情報を細胞観察装置１に送信する。細胞観察装置１は、測定中にコロニー発生予測位置情報を取得すると（図５のＳ１１）、予測された位置で撮影を行うように、スキャンパターンを変更する（図５のＳ１７）。これにより、コロニーが発生しない位置での撮像をスキップすることができ、効率のよい測定を行うことができる。但し、予測精度を勘案して、直ちにスキップしなくてもよい。

【0091】

また、制御部１１１は、表示部１１２にコロニーの発生する位置を表示する。例えば、図２に示す例では、コロニーが発生すると予測される場所に「コロニー化」を示すアイコン１１２ｄを表示する。図２では、場所３において細胞がコロニーになると予測されることから、場所３に対応する位置にてコロニー化アイコン１１２ｄが表示されている。場所１、２はコロニーが発生すると予測されていないことから、この場所に対応する位置には、コロニー化アイコン１１２ｄは表示されていない。

【0092】

また、制御部１１１は、コロニー化する場所における細胞画像を表示するようにしてもよい。例えば、図８（ａ）に示すコロニー化アイコン１１２ｄをタッチ操作すると、表示部１１２は、図８（ｂ）に示すように、細胞画像１１２ｊを表示する。ユーザは細胞画像１１２ｊが表示されることにより、現時点における細胞の状態を観察することができる。また、予測表示アイコン１１２ｍをタッチ操作することにより、所定時間後の将来の細胞画像が表示される。この予測画像は、推論エンジン１１１ｃによって推論し、この推論結果を表示すればよい。また、細胞のカウント結果がこのあとどうなるか（例えば、コロニーの細胞数の増減の変化等）を表示してもよく、良し悪しの予測表示（例えば、コロニーが今後の良い方向に変化するか悪い方向に変化するか等）を行うようにしてもよい。

【0093】

また、表示部１１２には、タイムラプスアイコン１１２ｋが表示される。タイムラプスアイコン１１２ｋを操作することにより、指定された場所（図８（ｂ）の例では、場所３）において所定時間間隔で細胞画像が記録される。記録された画像を順次表示することにより、タイムラプス画像を観察することができる。また、タイムラプスアイコン１１２ｋが操作された際に、細胞観察装置１内の記録部２５に記録されている画像を読み出し、現時点までの記録画像に基づいて、タイムラプス表示を行ってもよい。

【0094】

また、制御部１１１は、複数比較を行ってもよい。ここでの複数比較は、複数の場所において撮像した細胞画像を比較表示することである。例えば、図９（ａ）に示す例では、場所２および場所３において、コロニーが発生すると推論されている場合であり、それぞれの場所において、コロニー化アイコン１１２ｄ２、１１２ｄ３が表示されている。この場合に、コロニー化アイコン１１２ｄ２、１１２ｄ３を操作すると、図９（ｂ）に示すように、それぞれの場所に対応する細胞画像１１２ｊ２、１１２ｊ３が表示される。

【0095】

さらに、図９（ｂ）に示す状態でタイムラプスアイコン１１２ｋを操作すると、図９（ｃ）に示すように、間隔表示１１２ｎに示すように、６時間間隔のタイムラプス表示がなされる。直近の細胞画像１１２ｊ２ａ、１１２ｊ３ａが最前面に表示され、それぞれの画像の後ろに６時間前の細胞画像１１２ｊ２ｂ、１１２ｊ３ｂが表示される。この比較表示がなされた状態で、例えば、再度、タイムラプスアイコン１１２ｋを操作することにより、後ろ側の画像を最前面に置き換えるようにしてもよい。タイムラプス画像を撮影するにあたって、変化を比較できるようにするために、同じ条件で撮影することが望ましい。

【0096】

また、制御部１１１は、大きさ判定し、この判定結果に基づいて合成表示を行ってもよい。この合成表示は、図１０（ｂ）に示す２枚の細胞画像を合成して、図１０（ｃ）に示すように１枚の合成画像を表示したものである。画像入力部２３ａの撮像部（撮影レンズおよび撮像素子）の位置と、細胞のコロニーの位置の関係で、細胞画像を取得すると、１つのコロニーが別々の２枚の画像に写ってしまう場合がある。図１０（ｂ）に示す例では、１つのコロニーが、画像Ｆ６、Ｆ７に跨って写っている。この場合には、コロニーの輪郭線を抽出し、画像Ｆ６、Ｆ７で輪郭線が接続するように、画像Ｆ６、Ｆ７を合成し、図１０（ｃ）に示すような合成画像Ｆ８を生成する。この合成表示は、複数の画像の特徴を用いて自動判定してもよいし、培養で成長する前の状況から予測した適性位置からはみ出す場合に、次回以降の画像取得から複数枚撮像合成を行うようにしてもよい。このような予測が可能なのも、本実施形態の技術的な効果と言える。また、自動ではなく、手動で合成モードを指定可能にしてもよく、この時は、ユーザが撮像位置や合成枚数を指定できるようなスイッチを設けて行ってもよい。

【0097】

複数枚の画像を合成した合成画像Ｆ８は、図１０（ａ）に示すように、表示部１１２に表示される。合成画像Ｆ８の表示にあたって、合成画像に対応する撮像部の座標（モニタ座標）を表示するようにしてもよい。

【0098】

また、制御部１１１の推論エンジン１１１ｃによって、コロニーが発生する位置が推論されると、この位置は細胞観察装置１に送信される。細胞観察装置１は、前述したように、所定のスキャンパターンに沿って撮像部を移動する際に、このコロニーの予測発生位置に基づいて撮像位置を修正する（図５のＳ１７参照）。

【0099】

ステップＳ６３における処理を実行すると、次に、前の画面に戻るか否かを判定する（Ｓ６５）。ステップＳ６３において、コロニー推論に伴ういずれかの処理を実行した後、ユーザが前の画面に戻りたい場合がある。この場合には、ユーザは表示部１１２の戻りアイコン１１２ｃをタッチ操作する。このステップにおける判定の結果、戻り操作がなされた場合には、ステップＳ６１に戻り、前の画面が表示される。

【0100】

一方、ステップＳ６５における判定の結果、戻り操作がなされなかった場合、またはステップＳ６１における判定の結果、コロニー推論の結果、コロニーを確認できなかった場合、またはステップＳ５５における判定の結果、測定結果を受信しなかった場合には、アプリ終了か否かを判定する（Ｓ６７）。ここでは、ステップＳ３３において起動された細胞アプリの動作を終了する指示がなされたか否かを判定する。この判定の結果、細胞アプリを終了するのでなければ、ステップＳ３５に戻り、一方、細胞アプリを終了する場合には、ステップＳ３１に戻る。

【0101】

このように、情報端末通信のフローにおいては、細胞観察装置１から送信されてきた細胞画像に基づいて、コロニーが生成することが予測される位置を推論している（Ｓ６１参照）。そして、コロニーが生成されると予測される場合には、その位置を細胞観察装置１に送信し（Ｓ６３）、細胞観察装置１においてスキャンパターンを変更可能としている（Ｓ１７）。また、表示部１１２に推論結果を表示するようにしている（Ｓ６３、図２、８等の場所１－３におけるグラフ参照）。また、複数の場所における画像を比較して表示できるようにしている（図９（ｂ）参照）。また、タイムラプス表示も可能としている（Ｓ６３、図９（ｃ）参照）。また、コロニーが複数の画像に跨る場合には、コロニーの部分を合成して表示している（Ｓ６３、図１０参照）。

【0102】

次に、図１２に示すフローチャートを用いて、コロニー化判定の変形例について説明する。本発明の一実施形態においては、細胞のコロニーが発生する位置の予測を推論エンジン１１１ｃによって行っていた。すなわち、コロニーの発生位置に関する教師データを用いて深層学習を行って、推論モデルを生成し、推論エンジン１１１ｃはこの推論モデルを用いて、コロニーの発生位置を予測していた。しかし、推論エンジン１１１ｃによる推論以外にも、制御部１１１内のＣＰＵによって、プログラムに従って、コロニーの発生位置を予測するようにしてもよい。図１２に示すフローチャートは、プログラムによってコロニーの発生位置を予測する。

【0103】

図１２に示すコロニー化判定のフローが開始すると、まず、細胞間判定を行う（Ｓ７１）。ここでは、制御部１１１は、停止位置と画角情報を取得する。すなわち、制御部１１１は、細胞観察装置１から、位置入力部２３ｂによって取得された撮像部（カメラ部１０）の停止位置と、記録部２５の画角情報２５ｂから撮影レンズの画角情報を取得する。次に、制御部１１１は、細胞観察装置１からの細胞画像を解析し、細胞の輪郭線を抽出し、細胞と細胞の位置関係を判定する。

【0104】

次に、所定時間の間、細胞の位置関係に変化がないか否かを判定する（Ｓ７３）。ここでは、制御部１１１は、細胞観察装置１から細胞画像を入力するたびに、細胞と細胞の間の位置関係を判定する。この位置関係が所定時間の間、変化がないか否かを判定する。この判定の結果、変化がなければ、コロニーが形成されていないことから、ステップＳ７１に戻る。

【0105】

一方、ステップＳ７３における判定の結果、細胞と細胞の間の位置関係に変化があった場合には、変化が細胞分裂または細胞結合であるか否かを判定する（Ｓ７５）。図１を用いて説明したように、細胞のコロニーが形成されるときには、細胞が分裂したり、また複数の細胞が結合したりする。ここでは、制御部１１１が細胞画像を解析して判定する。この判定の結果、細胞分裂や細胞結合がない場合には、コロニー形成されていないことから、ステップＳ７１に戻る。

【0106】

一方、ステップＳ７５における判定の結果、細胞分裂または細胞結合がある場合には、コロニー化していると判定する（Ｓ７７）。細胞の位置関係に変化があり、しかも、細胞分裂や細胞結合があることから、コロニーが形成される可能性が高いといえる。そこで、コロニー化していると判定する。このコロニー化判定情報には、コロニーが形成されている位置の情報を関連付けておく。コロニー化判定をすると、このフローを終了する。

【0107】

このように、コロニー化判定では、推論エンジンを使用しなくても、ＣＰＵがプログラムに従って、コロニーが形成されると予測される位置を推論することができる。すなわち、細胞画像の画像解析を行って、細胞画像の時間的変化や、細胞の位置関係を解析することにより、コロニーの形成を予測している。なお、図１２に示したフローは、情報端末１００内で、コロニー化判定を行っていた。しかし、これに限らず、例えば、細胞観察装置１内の制御部２１において、コロニー化判定を行ってもちろん構わない。ここでは、想定どおりの細胞培養が行われるか否かをコロニーの形成に基づいて判定した。しかし、この方法以外の方法で想定通りの細胞培養が行われることを判定してもよい。つまり、想定通りに培養されている培養において得られた、同じ培養位置における時系列の撮像結果や細胞カウントデータがあれば、その変化の特徴から推論モデル作成用の教師データが得られるので、これによって想定通りの培養の予測判定を行ってもよい。

【0108】

また、培養の良否見極めを早めに行う効率化を想定した用途であれば、想定通りにならない場合を判定してもよく、この場合も同様の考え方が適用できる。つまり想定通りに培養されてなかった培養において得られた、同じ培養位置における時系列の撮像結果や細胞カウントデータがあれば、その変化の特徴からうまく行かないことを推論する推論モデル作成用の教師データが得られるので、これによって想定通りにならない培養の予測判定を行ってもよい。細胞の培養は、温湿度管理の問題や光などの外乱、異物混入などで予期せぬ事が起こる場合が多く、それを事前に早く見極めることは、専門家であっても難しい場合が多かった。

【0109】

以上説明したように、本発明の一実施形態や変形例においては、細胞観察システムは、水平方向に移動可能であり、容器中で培養される細胞を撮像する撮像部を有している。そして、撮像部を水平方向に移動させることによって位置を変えて（図５のＳ１７参照）、撮像部によって取得した細胞の画像に基づいてコロニーを判定し（図６ＢのＳ６１参照）、コロニーを判定した際の撮像部の移動位置と撮像範囲に基づいてコロニーの位置を判定している（図６ＢのＳ６３参照）。このため、培養器内の細胞等を撮像する際に、細胞の培養状態（コロニーの生成状態）の変化に応じて、撮像地点を変更することが可能となる。ここで水平方向を、カメラの撮像用レンズの光軸方向と直交する方向とか、その方向からずらした方向と書き換えて表現してもよい。

【0110】

なお、本発明の一実施形態や変形例においては、情報端末１００において、細胞観察装置１において取得した画像に基づいて、コロニー化を判定していた。しかし、これに限らず、細胞観察装置１内において、コロニー化を判定し、この判定結果に基づいてスキャンパターンを変更するようにしてもよい。情報端末１００と細胞観察装置１を一体化してもよい。

【0111】

また、本発明の一実施形態や変形例においては、撮像ユニット全体が移動するタイプの説明を行った。しかし、これに限らず、観察視野、撮像視野を動かす（撮像や観察の位置を変更する）方法としては撮像素子やレンズのみを可動にして実現する方法もある。もちろん、試料を載置したステージ等を移動するようにしても同様の効果が得られる。また、必ずしも機械的な移動を伴うスキャンである必要はなく、広い撮像を行い、視野内の特定部位のみを超解像処理する方法もある。本発明の一実施形態や変形例においては、そうした方式や方法、あるいはそれを採用した機器、装置に適用することも出来る。したがって、容器中で培養される細胞を撮像する撮像部と、撮像部を構成する撮像用レンズの光軸方向に対する撮像位置を移動させることによって撮像位置を変えて、撮像部によって取得した細胞の画像に基づいてコロニーを判定、または予測判定する判定部を有するようにしてもよい。

【0112】

また、本発明の一実施形態や変形例においては、細胞観察装置１内の制御部２１、移動部２２、情報取得部２３、通信部２４、記録部２５を別体の構成としたが、各部の全部または一部をソフトウエアで構成し、１つまたは複数のＣＰＵおよびその周辺回路によって実行するようにしても勿論かまわない。また、情報端末１００内の制御部１１１、表示部１１２、情報取得部１１３、通信部１１４を別体の構成としたが、各部の全部または一部をソフトウエアで構成し、１つまたは複数のＣＰＵおよびその周辺回路によって実行するようにしても勿論かまわない。細胞観察装置１および情報端末１００内の各部を、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またＤＳＰ（Digital Signal Processor）等のソフトを利用したハードウエア構成を利用してもよい。これらは適宜組み合わせてもよいことは勿論である。また、ＣＰＵに限らず、コントローラとしての機能を果たす素子であればよく、上述した各部の処理は、ハードウエアとして構成された１つ以上のプロセッサが行うようにしてもよい。例えば、各部は、それぞれが電子回路として構成されたプロセッサであっても構わないし、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路で構成されたプロセッサにおける各回路部であってもよい。または、１つ以上のＣＰＵで構成されるプロセッサが、記録媒体に記録されたコンピュータプログラムを読み込んで実行することにより、各部としての機能を実行するようにしても構わない。

【0113】

また、近年は、様々な判断基準を一括して判定できるような人工知能が用いられる事が多く、ここで示したフローチャートの各分岐などを一括して行うような改良もまた、本発明の範疇に入るものであることは言うまでもない。そうした制御に対して、ユーザが善し悪しを入力可能であれば、ユーザの嗜好を学習して、そのユーザにふさわしい方向に、本願で示した実施形態はカスタマイズすることが可能である。

【0114】

また、実施形態中で用いられる画像データやアノテーション関係のデータは、端末で管理されているものであってもよく、インターネット上で特定のサーバ内の記録部で管理されていてもよい。ネットワークを介して管理される様々なデータやその一部データは、中央集権型のデータベースで管理しても良く、非中央集権型（分散型）のブロックチェーンのようなデータベースによって相互監視型で管理しても良い。中央集権型は、何かのトラブルが発生した時に、システムの障害修復までの間、このデータ管理が出来なくなるが、分散型であれば、障害を軽微にすることが出来る。

【0115】

ブロックチェーンでは、管理するデータに変更があると、その処理内容等をブロック単位にして暗号化し、各データベースに分散することで全員がその情報を共有できるようにしている（分散型台帳）。このブロックにはネットワークの識別用の数字や、ブロックサイズ、ヘッダ情報などがまとめられている。ブロックチェーンでは、ブロック（つまりデータベースで管理される情報をまとめたもの）が新しく生成される時に、一つ前に生成されたブロックのデータを一部含むように設計され、すべての処理履歴が一つの鎖となって繋がっていくのでチェーンと名付けられている。

【0116】

上述したような管理方法であるため、時間軸に沿って状況が変化する細胞培養等の管理と、ブロックチェーンは整合性が良い。例えば、新しく培養過程画像が得られるごとに、その画像の特徴、あるいは細胞のカウント結果をブロックにして、前の結果と関連付けて繋げていく。すなわち、細胞培養の様子を時系列で撮像した画像データを取得し、取得した画像データから得られる情報の履歴を画像データの取得時刻ごとにブロックチェーンのブロック生成処理で管理するようにする。このような推論モデル生成方法を採用することにより、安全性が重要である細胞培養の経過の正しさを管理することができ、形成されたコロニーや細胞シート等の品質を、工程の履歴を保証することが可能となる。何か問題があれば、チェーンでつながったブロックをたどっていくことによって履歴の管理も可能となる。また、こうして得られた画像や、画像からの取得データ（画像特徴量や細胞カウント数）を使用して推論を行う場合、その経過のデータが正しくなければ正しい推論は出来ない。したがって、ブロックチェーンで保証されたデータで推論を行うのは極めて理にかなった高精度な推論技術となる。つまり、細胞培養の様子を時系列で撮像した画像データを取得し、取得した画像データから得られる情報の履歴を画像データの取得時刻ごとにブロックチェーンのブロックを生成する処理によって管理するので、相互監視や履歴照会の点でも結果表示に信憑性が得やすい推論モデルが生成可能となる。

【0117】

つまり、ブロックとブロックの間の繋がりや関係性を持たせるために、新しいブロックのヘッダに一つ前のブロックのヘッダの一部が暗号化されて組み込まれている。この新しいブロックのヘッダには、一つ前のブロックのヘッダを、ハッシュ関数を用いて暗号化した「ハッシュ値」と「処理記録」、それから、「ナンス」という任意のデータが組み込まれている。ハッシュ値はデータを要約するものであり、かつ、データ変更によって大きく変化するので改竄が困難になっている。また、このハッシュ値に特別なルールによる制約を設ければ、ハッシュ値がそれを満たすようにするための追加データ、「ナンス」（Number used once：一時利用の使い捨て数字の略）を決める必要がある。

【0118】

ナンスを探す作業をマイニングと呼び、作業者をマイナーと呼ぶが、正しいナンスを求めたマイナーがブロックを繋げられ、かつ、報酬を受け取れるようにすれば仮想通貨のような経済的インセンティブを合わせた運営も可能となる。この「ナンス」とハッシュが一緒に使われることで、より通貨の信頼性を高めることができる。

【0119】

分散的に取引を記録していくためには、分散されたコンピュータ（ノード）を操作（分散保有しているその他のノードとのデータ同一性が保証）する参加者にインセンティブが必要なため、仮想通貨を利用しているが、他のインセンティブが与えられたり、データ同一性保証の仕組みが簡単化できれば仮想通貨を前提にする必要はない。例えば、複数台のパソコンにブロックチェーン用の相互監視のソフトウエアが存在すればよい。

【0120】

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

【0121】

また、本発明の一実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。

【0122】

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

【0123】

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

【符号の説明】

【0124】

１・・・細胞観察装置、１０・・・カメラ部、２１・・・制御部、２２・・・移動部、２３・・・情報取得部、２３ａ・・・画像入力部、２３ｂ・・・位置入力部、２４・・・通信部、２５・・・記録部、２５ａ・・・移動パターン２５ａ、２５ｂ・・・画角情報、３１ａ・・・Ｙアクチュエータ、３１ｂ・・・Ｘアクチュエータ、３２ａ・・・Ｙ送りネジ、３２ｂ・・・Ｘ送りネジ、１００・・・情報端末、１１１・・・制御部、１１１ａ・・・コロニー位置判定部、１１１ｂ・・・コロニー化判定部、１１１ｃ・・・推論エンジン、１１２・・・表示部、１１３・・・情報取得部、１１３ａ・・・画像入力部、１１４・・・通信部、１１５・・・操作部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】