特許 7428173 細胞観察装置及び細胞観察方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-29

(45)【発行日】2024-02-06

(54)【発明の名称】細胞観察装置及び細胞観察方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240130BHJP

   C12M 1/34 20060101ALI20240130BHJP

   C12N 5/0735 20100101ALI20240130BHJP

【ＦＩ】

G06T7/00 630

C12M1/34 D

C12N5/0735

【請求項の数】 11

(21)【出願番号】P 2021147618

(22)【出願日】2021-09-10

(62)【分割の表示】P 2020507180の分割

【原出願日】2018-03-20

(65)【公開番号】P2021184766

(43)【公開日】2021-12-09

【審査請求日】2021-09-15

【前置審査】

(73)【特許権者】

【識別番号】000001993

【氏名又は名称】株式会社島津製作所

(74)【代理人】

【識別番号】110001069

【氏名又は名称】弁理士法人京都国際特許事務所

(72)【発明者】

【氏名】木村 克利

【審査官】大塚 俊範

(56)【参考文献】

【文献】国際公開第２０１５／１４１２７５（ＷＯ，Ａ１）

【文献】特開２０１１－００２９９５（ＪＰ，Ａ）

【文献】特表２０１６－５１１８４５（ＪＰ，Ａ）

【文献】特開２００８－２３５９８９（ＪＰ，Ａ）

【文献】国際公開第２０１７／０６１１５５（ＷＯ，Ａ１）

【文献】特開２００９－２０７４１６（ＪＰ，Ａ）

【文献】国際公開第２００６／０８０２３９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｃ１２Ｍ １／３４

Ｃ１２Ｎ ５／０７３５

(57)【特許請求の範囲】

【請求項1】

a)細胞を対象とした顕微観察画像を観察画像として取得する観察画像取得部と、
b)前記観察画像取得部で取得された観察画像の全体又はその一部について、観察画像の入力に対し該観察画像中の画素毎に３以上の特徴領域を識別することで該観察画像を該３以上の特徴領域に区分けした画像を出力する機械学習モデルを利用して、画像上で画素毎に前記３以上の特徴領域を識別してそれぞれ画素毎にラベル付けする領域識別部と、
c)前記領域識別部により画像上で画素毎にラベル付けされた前記３以上の特徴領域を、それぞれ視覚的に識別可能な態様で区分けして描出した領域識別画像を作成し、該領域識別画像と前記観察画像とを表示部の同一画面内に表示する画像表示処理部と、
を備え、前記観察画像中で区分けされた前記特徴領域のうちの一つは細胞領域であって且つ未分化細胞である領域であり、前記特徴領域のうちの別の一つは細胞領域であって且つ未分化逸脱細胞である領域であり、前記特徴領域のうちのさらに別の一つは異物が存在している領域であることを特徴とする細胞観察装置。

【請求項2】

請求項１に記載の細胞観察装置であって、
前記画像表示処理部は、ユーザの操作により、前記表示部に表示された領域識別画像上で所定の範囲が選択されたときに、該所定の範囲の領域識別画像の拡大画像と、前記観察画像又は該観察画像内で前記拡大画像に対応した範囲の画像と、を同一画面内に表示することを特徴とする細胞観察装置。

【請求項3】

請求項２に記載の細胞観察装置であって、
前記画像表示処理部は、前記領域識別画像の拡大画像と前記観察画像の拡大画像とのいずれかで拡大・縮小の操作がなされたときに、該操作に応じて前記領域識別画像及び前記観察画像を連動させて拡大・縮小させることを特徴とする細胞観察装置。

【請求項4】

請求項１～３のいずれか１項に記載の細胞観察装置であって、
前記画像表示処理部は、前記領域識別画像と前記観察画像とを重ね合わせた合成画像を表示することを特徴とする細胞観察装置。

【請求項5】

請求項４に記載の細胞観察装置であって、
前記画像表示処理部は、重ね合わせた少なくとも一方の画像の透明度をユーザによる操作に応じて調整することを特徴とする細胞観察装置。

【請求項6】

請求項１～５のいずれか１項に記載の細胞観察装置であって、
前記機械学習モデルは、細胞についての観察画像と、該観察画像中の３以上の特徴領域を画素単位でラベル付けしたラベル画像である正解画像と、を教師データとして機械学習を行うことで作成された学習済みモデルである、ことを特徴とする細胞観察装置。

【請求項7】

請求項１～６のいずれか１項に記載の細胞観察装置であって、
前記画像表示処理部は、画素単位又は隣接する複数の画素をまとめた小領域の単位で、異なる特徴領域を視覚的に識別可能な態様で区分けして描出することを特徴とする細胞観察装置。

【請求項8】

請求項１～７のいずれか１項に記載の細胞観察装置であって、
前記画像表示処理部は、前記領域識別部での識別対象である細胞状態及び特徴領域毎の識別可能な態様を示す情報を前記領域識別画像と共に表示することを特徴とする細胞観察装置。

【請求項9】

請求項１～８のいずれか１項に記載の細胞観察装置であって、
前記画像表示処理部は、ユーザの操作により、前記領域識別画像上で所定の範囲が選択されたときに、該範囲の拡大画像とその拡大前の領域識別画像とを同一画面内に表示することを特徴とする細胞観察装置。

【請求項10】

請求項２、３又は９のいずれか１項に記載の細胞観察装置であって、
前記画像表示処理部は、前記領域識別部での識別対象である細胞状態及び特徴領域毎の識別可能な態様を示す情報を前記拡大画像と共に表示することを特徴とする細胞観察装置。

【請求項11】

a)細胞を対象とする顕微観察画像を観察画像として取得する観察画像取得ステップと、
b)取得された前記観察画像の全体又はその一部について、観察画像の入力に対し該観察画像中の画素毎に３以上の特徴領域を識別することで該観察画像を該３以上の特徴領域に区分けした画像を出力する機械学習モデルを利用して、画像上で画素毎に前記３以上の特徴領域を識別してそれぞれ画素毎にラベル付けする領域識別ステップと、
c)前記領域識別ステップにおいて画像上で画素毎にラベル付けされた前記３以上の特徴領域を、それぞれ視覚的に識別可能な態様で区分けして描出した領域識別画像を作成し、該領域識別画像と前記観察画像とを表示部の同一画面内に表示する画像表示ステップと、
を有し、前記観察画像中で区分けされた前記特徴領域のうちの一つは細胞領域であって且つ未分化細胞である領域であり、前記特徴領域のうちの別の一つは細胞領域であって且つ未分化逸脱細胞である領域であり、前記特徴領域のうちのさらに別の一つは異物が存在している領域であることを特徴とする細胞観察方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、細胞の状態を観察する細胞観察装置及び方法に関し、さらに詳しくは、多能性幹細胞（ＥＳ細胞やｉＰＳ細胞）を培養する過程等において細胞の状態を非侵襲で判定したり培養に不具合がないか等を確認したりするのに好適な細胞観察装置及び方法に関する。

【背景技術】

【0002】

再生医療分野では、近年、ｉＰＳ細胞やＥＳ細胞等の多能性幹細胞を用いた研究が盛んに行われている。こうした多能性幹細胞を利用した再生医療の研究・開発においては、多能性を維持した状態の未分化の細胞を大量に培養する必要がある。そのため、適切な培養環境の選択と環境の安定的な制御が必要であるとともに、培養中の細胞の状態を高い頻度で確認する必要がある。例えば、細胞コロニー内の細胞が未分化状態から逸脱すると、この場合、細胞コロニー内にある全ての細胞は分化する能力を有しているために、最終的にはコロニー内の細胞全てが未分化逸脱状態に遷移してしまう。そのため、作業者は培養している細胞中に未分化状態を逸脱した細胞（すでに分化した細胞や分化しそうな細胞、以下「未分化逸脱細胞」という）が発生していないかを日々確認し、未分化逸脱細胞を見つけた場合にはこれを迅速に除去する必要がある。また、培養の過程で塵埃などの異物が培地に混入してしまうことがあるが、そうした異物もできるだけ迅速に除去する必要がある。

【0003】

多能性幹細胞が未分化状態を維持しているか否かの判定は、未分化マーカーによる染色を行うことで確実に行うことができる。しかしながら、染色を行った細胞は死滅するため、再生医療用の多能性幹細胞の判定には未分化マーカー染色を実施することができない。そこで、現在の再生医療用細胞培養の現場では、位相差顕微鏡を用いた細胞の形態的観察に基づいて、作業者が未分化細胞であるか否かを判定するようにしている。位相差顕微鏡を用いるのは、一般に細胞は透明であって通常の光学顕微鏡では観察しにくいためである。

【0004】

また、非特許文献１に開示されているように、最近では、ホログラフィ技術を用いて細胞の観察画像を取得する装置も実用化されている。この装置は、特許文献１～４等に開示されているように、デジタルホログラフィック顕微鏡で得られたホログラムデータに対し位相回復や画像再構成等のデータ処理を行うことで、細胞が鮮明に観察し易い位相像（インライン型ホログラフィック顕微鏡（In-line Holographic Microscopy：ＩＨＭ）を用いていることから、以下「ＩＨＭ位相像」という）を作成するものである。デジタルホログラフィック顕微鏡では、ホログラムデータを取得したあとの演算処理の段階で任意の距離における位相情報を算出することができるため、撮影時にいちいち焦点合わせを行う必要がなく測定時間を短くすることができるという利点がある。

【0005】

しかしながら、位相差顕微画像やＩＨＭ位相画像では細胞を或る程度鮮明に観察可能であるものの、作業者が目視で未分化細胞等を正確に判定するにはかなり熟練が必要である。そのため、そうした判定を担当できる作業者がかなり限られる。また、人間の判断に基づくために判定にばらつきが生じることは避けられない。また、熟練した作業者であっても正確な判定には時間が掛かるため、大量の画像を処理することは難しい。そのため、こうした従来の手法は大学や研究機関での研究レベルであれば許容可能であるものの、多能性幹細胞を工業的に大量生産するのには適さない。

【先行技術文献】

【特許文献】

【0006】

【文献】国際特許公開第２０１７／２０３７１８号パンフレット

【文献】国際特許公開第２０１７／２０４０１３号パンフレット

【文献】国際特許公開第２０１６／０８４４２０号パンフレット

【文献】特開平１０－２６８７４０号公報

【非特許文献】

【0007】

【文献】「細胞培養解析装置 CultureScanner CS-1」、［online］、株式会社島津製作所、［平成３０年２月１４日検索］、インターネット＜URL: https://www.an.shimadzu.co.jp/bio/cell/cs1/index.htm＞

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明は上記課題を解決するためになされたものであり、その目的とするところは、細胞について得られた観察画像に基づいて細胞の状態や品質などを判定したり、異物混入等の不適切な状態がないかを確認したりする作業を、経験や技量に乏しい作業者であっても行うことができ、且つそうした作業を効率的に行うことができる細胞観察装置を提供することである。

【課題を解決するための手段】

【0009】

上記課題を解決するために成された本発明に係る細胞観察装置は、
a)細胞を対象とする顕微観察画像を観察画像として取得する観察画像取得部と、
b)前記観察画像取得部で取得された観察画像の全体又はその一部について、観察画像の入力に対し該観察画像中の２以上の特徴領域を区分けした画像を出力する機械学習モデルを利用して、２以上の細胞状態をそれぞれ示す特徴領域を識別する領域識別部と、
c)前記領域識別部により識別された２以上の特徴領域を、それぞれ視覚的に識別可能な態様で区分けして描出した領域識別画像を作成し、該領域識別画像と観察画像とを表示部の同一画面内に表示する画像表示処理部と、
を備えることを特徴としている。

【0010】

観察画像取得部で観察画像が得られると、領域識別部は、その観察画像の全体又は例えばユーザにより指定された範囲の部分的な観察画像について、互いに異なる細胞状態をそれぞれ示す２以上の特徴領域を識別する。領域識別部における領域識別のアルゴリズムは特に問わないが、教師有りの機械学習をその一部に利用したものが有用である。

【0011】

教師有りの機械学習としては、サポートベクターマシン（Support Vector Machine：ＳＶＭ）、ランダムフォレスト（Random Forest）、アダブースト（AdaBoost）、単純ベイズ、ｋ近傍法、さらにはニューラルネットワークを含むディープラーニング（Deep Learning）など、適宜の手法を用いることができる。また、画像そのものを学習するのではなく、画像からテクスチャ解析などにより抽出した特徴量を学習するものでもよい。

【0012】

上記特徴領域は観察対象の細胞の種類や観察の目的等によって異なるが、例えば観察対象の細胞がヒトｉＰＳ細胞を含む多能性幹細胞である場合、互いに異なる細胞状態とは未分化細胞と未分化逸脱細胞などである。そこで、本発明では、前記観察画像中で区分けされた前記特徴領域のうちの一つは細胞又は細胞コロニーである領域であって且つ細胞又は細胞コロニーが未分化細胞である領域であり、前記特徴領域のうちの別の一つは細胞又は細胞コロニーである領域であって且つ細胞又は細胞コロニーが未分化逸脱細胞である領域であり、前記特徴領域のうちのさらに別の一つは異物が存在している領域としている。また、互いに異なる細胞状態として、目的とする器官（例えば心臓移植用の心筋）の細胞へ分化した細胞と、それ以外の細胞（例えば神経細胞など）としてもよい。

【0013】

画像表示処理部は、上述したように識別された２以上の特徴領域を、それぞれ視覚的に識別可能な態様で区分けして描出した領域識別画像を作成する。そして、該領域識別画像を表示部の画面上に表示する。ここで「視覚的に識別可能な態様」とは、典型的には、互いに異なる表示色を用いた塗りつぶし処理、つまりは特徴領域の色分けである。もちろん、グレイスケール上の異なる濃淡で特徴領域を区分けしてもよいし、塗りつぶし部分の図形パターンが異なるもので特徴領域を区分けしてもよい。

【0014】

こうして表示された領域識別画像では、例えば未分化細胞領域、未分化逸脱細胞領域、異物領域などがそれぞれ異なる色等で示される。それにより、観察画像からは細胞の状態の判別が行えないような経験の乏しい作業者であっても、細胞コロニー中に未分化逸脱細胞が存在するかどうか、存在するとすれば未分化細胞と未分化逸脱細胞との境界はどこか、或いは、培地中に異物が混入していないかどうか、などを一目で把握することができる。

【0015】

本発明において好ましくは、前記領域識別部は、画素単位で前記特徴領域を識別した情報を生成し、前記画像表示処理部は、画素単位又は隣接する複数の画素をまとめた小領域の単位で、異なる特徴領域を視覚的に識別可能な態様で区分けして描出する構成とするとよい。

【0016】

例えば倍率の小さな観察画像では１個の細胞が画像の１画素程度の大きさになる場合もあり得るが、１個の細胞が未分化逸脱細胞であると判定されて該細胞に対応する１画素が領域識別画像上で周りの画素と異なる色で表示されても分かりにくいことが多い。そうした場合に、画素単位ではなく隣接する複数の画素をまとめた小領域の単位で、一つの小領域に含まれる複数の画素のいずれか一つで或る特徴領域であると識別されたならば、その小領域をその特徴領域に対応付けられた色で示すことにより、その特徴領域が存在することが視覚的に分かり易くなる。これにより、作業者による画像の確認時に、ごく小さい特徴領域の見逃しを防止することができる。

【0017】

また本発明において、前記画像表示処理部は、前記領域識別部での識別対象である細胞状態及び特徴領域毎の識別可能な態様を示す情報を前記領域識別画像と共に表示する構成とするとよい。

【0018】

具体的には、領域識別画像中の各特徴領域を異なる表示色で示す場合に、「赤色：未分化逸脱、緑色：未分化」などの情報を該画像の一部に、又は該画像の近傍に表示するとよい。これにより、作業者は一目で画像中の細胞状態を把握することができる。

【0019】

また本発明において前記画像表示処理部は、ユーザの操作に応じて、前記表示部の画面上に表示した領域識別画像を拡大又は縮小させる構成とするとよい。
これにより、作業者は例えば細胞１個程度のごく小さい範囲の細胞状態も正確に把握することができる。

【0020】

また上記構成において、前記画像表示処理部は、前記拡大画像とその拡大前の領域識別画像とを同一画面内に表示するとよい。
これにより、作業者は、試料上の広い範囲における細胞状態の分布状態と、その中の一部の細かい細胞状態とを併せて把握することができる。

【0021】

また上記構成において、前記画像表示処理部は、前記領域識別部での識別対象である細胞状態及び特徴領域毎の識別可能な態様を示す情報を前記拡大画像と共に表示するとよい。
これにより、作業者は拡大画像を見ただけで該画像中の細胞状態を的確に把握することができる。

【0022】

本発明において観察画像は、インライン型ホログラフィック顕微鏡で得られたホログラムデータから求まる位相画像である。

【0023】

この構成によれば、ホログラムデータに基づいて位相情報や強度情報を算出する段階で任意の焦点位置における情報を計算によって求めることができ、細胞を含む試料をホログラフィック顕微鏡で撮影する段階では面倒な焦点合わせを行う必要がない。そのため、試料の撮影を短時間で円滑に行うことができ、生きた状態の細胞を観察するのに好適である。また、一般的な光学顕微画像に比べて細胞が比較的明瞭に観察可能な位相画像や異物等が比較的明瞭に観察可能な強度画像と領域識別画像とを同一画面上で比較することができるので、それら画像を見比べながら、自動的な識別処理による特徴領域の識別が適切に行われているか否かをチェックすることができる。

【0024】

また上記構成において、前記画像表示処理部は、前記領域識別画像上で所定の範囲が選択されたときに、該範囲の拡大画像と、前記位相画像及び／又は強度画像内で前記拡大画像に対応した範囲の画像とを同一画面内に表示するとよい。

【0025】

さらにまた、上記構成において、前記画像表示処理部は、前記拡大画像と前記位相画像及び／又は強度画像の拡大画像とのいずれかで拡大・縮小の操作がなされたときに、該操作に応じて全ての画像を連動させて拡大・縮小させるとよい。
これにより、常に同じ範囲の領域識別画像と位相画像又は強度画像とを見比べることができるので、領域識別が適切かどうか等の確認を正確に行うことができる。また、作業者自らが一つ一つの画像を個別に拡大・縮小する必要がないので、観察作業を効率的に行うことができる。

【0026】

また上記構成において、前記画像表示処理部は、前記領域識別画像と前記位相画像又は強度画像とを重ね合わせた合成画像を表示する構成としてもよい。

【0027】

またその場合、前記画像表示処理部は、重ね合わせた少なくとも一方の画像の透明度をユーザによる操作に応じて調整する構成とするとよい。

【0028】

こうした構成によれば、位相画像や強度画像上の模様や境界と特徴領域との関係を作業者が容易に且つ視覚的に把握することができるようになる。もちろん、複数の画像を並べて配置する表示と重ねた表示とをユーザが適宜に切り替えられるようにしておくと便利である。

【発明の効果】

【0029】

本発明によれば、例えばｉＰＳ細胞やＥＳ細胞などの多能性幹細胞を培養する現場において、作業者が、培養中の細胞が未分化状態を維持しているのか未分化逸脱状態であるのか、細胞コロニー中に未分化逸脱細胞が存在するか否か、或いは、培地に異物が混入していないか否かなど判定する作業の労力を軽減することができる。また、そうした作業を担当する作業者の熟練や技量が不足している場合であっても、判定のばらつきを軽減し、判定ミスや見逃しを減らして判定精度を向上させることができる。また、大量の観察画像を効率良く処理することができ、作業の効率を向上させることができる。こうしたことから、培養中の細胞の品質管理が容易になり、細胞培養における生産性の向上を図ることができる。

【図面の簡単な説明】

【0030】

【図1】本発明の一実施例である細胞観察装置の概略構成図。

【図2】本実施例の細胞観察装置における観察画像の領域識別処理の流れを示すフローチャート。

【図3】本実施例の細胞観察装置における領域識別処理の一例を示す模式図。

【図4】本実施例の細胞観察装置における領域識別画像の表示の一態様を示す図。

【図5】本実施例の細胞観察装置における領域識別画像の表示の他の態様を示す図。

【発明を実施するための形態】

【0031】

以下、本発明に係る細胞観察装置の一実施例について、添付図面を参照して説明する。
図１は本実施例の細胞観察装置の概略構成図である。

【0032】

本実施例の細胞観察装置は、顕微観察部１０と、制御・処理部２０と、ユーザインターフェイスである入力部３０及び表示部４０と、を備える。
顕微観察部１０はインライン型ホログラフィック顕微鏡であり、レーザダイオードなどを含む光源部１１とイメージセンサ１２とを備え、光源部１１とイメージセンサ１２との間に、細胞コロニー（又は細胞単体）１４を含む培養プレート１３が配置される。

【0033】

制御・処理部２０は、顕微観察部１０の動作を制御するとともに顕微観察部１０で取得されたデータを処理するものであって、撮影制御部２１と、ホログラムデータ記憶部２２と、位相情報算出部２３と、画像再構成部２４と、再構成画像データ記憶部２５と、領域識別処理部２６と、領域識別結果データ記憶部２７と、領域識別画像作成部２８と、表示処理部２９と、を機能ブロックとして備える。領域識別処理部２６の詳細は後述する。

【0034】

通常、制御・処理部２０の実体は、所定のソフトウェアがインストールされたパーソナルコンピュータやより性能の高いワークステーション、或いは、そうしたコンピュータと通信回線を介して接続された高性能なコンピュータを含むコンピュータシステムである。即ち、制御・処理部２０に含まれる各ブロックの機能は、コンピュータ単体又は複数のコンピュータを含むコンピュータシステムに搭載されているソフトウェアを実行することで実施される、該コンピュータ又はコンピュータシステムに記憶されている各種データを用いた処理によって具現化されるものとすることができる。

【0035】

本実施例の細胞観察装置では様々な細胞についての観察を行うことができるが、ここでは、ヒトｉＰＳ細胞を培養する際に必要な細胞観察を目的として細胞の観察画像を取得し、該観察画像から細胞コロニー中の未分化細胞領域、及び未分化逸脱細胞領域を識別してその識別結果を出力する際の処理について説明する。

【0036】

図２は本実施例の細胞観察装置における観察画像の領域識別処理の流れを示すフローチャート、図３はその領域識別処理の一例を示す模式図である。
作業者は細胞コロニー１４を含む培養プレート１３を所定位置にセットして入力部３０で所定の操作を行う。この操作を受けて撮影制御部２１は、顕微観察部１０を制御して以下のようにホログラムデータを取得する（ステップＳ１）。

【0037】

即ち、光源部１１は１０°程度の微小角度の広がりを持つコヒーレント光を培養プレート１３の所定の領域に照射する。培養プレート１３及び細胞コロニー１４を透過したコヒーレント光（物体光１６）は、培養プレート１３上で細胞コロニー１４に近接する領域を透過した光（参照光１５）と干渉しつつイメージセンサ１２に到達する。物体光１６は細胞コロニー１４を透過する際に位相が変化した光であり、他方、参照光１５は細胞コロニー１４を透過しないので該コロニー１４に起因する位相変化を受けない光である。したがって、イメージセンサ１２の検出面（像面）上には、細胞コロニー１４により位相が変化した物体光１６と位相が変化していない参照光１５との干渉縞による像が形成される。

【0038】

なお、光源部１１から発せられたコヒーレント光の照射領域（観察領域）は培養プレート１３の大きさに比べて小さい。そこで、図示しない移動機構によって、光源部１１及びイメージセンサ１２を一体に、Ｘ軸方向及びＹ軸方向に所定距離ずつ移動させながら、光源部１１から発せられたコヒーレント光を培養プレート１３に照射し、該培養プレート１３の一部の範囲の干渉像の撮影を繰り返し行う。これにより、培養プレート１３上の広い２次元領域に亘るホログラムデータ（イメージセンサ１２の検出面で形成されたホログラムの２次元的な光強度分布データ）を取得することができる。

【0039】

上述したように顕微観察部１０で得られたホログラムデータは逐次、制御・処理部２０に送られ、ホログラムデータ記憶部２２に格納される。制御・処理部２０において、位相情報算出部２３はホログラムデータ記憶部２２からホログラムデータを読み出し、位相回復のための所定の演算処理を実行することで観察領域（撮影領域）全体の位相情報を算出する。そして画像再構成部２４は、算出された位相情報に基づいてＩＨＭ位相像を作成し、該画像データを再構成画像データ記憶部２５に保存する（ステップＳ２）。こうした位相情報の算出やＩＨＭ位相像の作成の際には、特許文献３、４等に開示されている周知のアルゴリズムを用いればよい。一般にＩＨＭ位相像では、透明であって光学顕微鏡では見えにくい細胞の輪郭（境界）やその内部の模様が見え易くなる。

【0040】

なお、ホログラムデータに基づいて位相情報のほかに、強度情報、擬似位相情報なども併せて算出し、画像再構成部２４はこれらに基づく再生像（ＩＨＭ強度像、ＩＨＭ擬似位相像）を作成することもできる。ＩＨＭ強度像はＩＨＭ位相像に代えて使用されることもある。また、ＩＨＭ擬似位相像は、ＩＨＭ位相像とＩＨＭ強度像とを合わせたような画像であり、位相差顕微鏡で得られる位相差顕微画像に相当する。また、ホログラムデータに基づいてＩＨＭ位相像等を作成する際には、複数の焦点位置におけるＩＨＭ位相像等をそれぞれ作成することができる。

【0041】

領域識別処理部２６は作成されたＩＨＭ位相像に対し、細胞コロニー中の未分化細胞領域と未分化逸脱細胞領域という二つの特徴領域を識別する処理を実施する（ステップＳ３）。ここで、この領域識別処理について説明する。

【0042】

領域識別処理部２６は、予め多数の教師データを用いた学習によって構築された識別器を含み、この識別器を用い、入力された画像に対し複数の特徴領域を画素単位で識別してその識別結果を出力するものである。どのような特徴領域を識別するのかは、学習時に使用される教師データに依存する。したがって、ここでは、予め用意された多数のＩＨＭ位相像、及び、これを熟練した作業者が見て未分化細胞領域と未分化逸脱細胞領域とを識別した結果（つまりは正解画像）、を教師データとした学習を行う。

【0043】

正解画像とは、与えられたＩＨＭ位相像上の未分化細胞領域、未分化逸脱細胞領域、及び背景領域（細胞が存在しない領域）を画素単位でラベル付けしたラベル画像である。ラベル画像は、ごく概略的に言えば、未分化細胞領域と判定された画素に「１」、未分化逸脱細胞領域と判定された画素に「２」、それ以外の背景領域と判定された画素に「０」などの所定の画素値を割り当てた画像であり、これは換言すれば、各画素の位置情報と「０」、「１」又は「２」の画素値とを対応付けた情報である。このラベル画像において異なるラベルにそれぞれ異なる表示色を割り当てて描出すれば、未分化細胞領域、未分化逸脱細胞領域、及び背景領域を色分け表示した画像となる。

【0044】

教師データとしてＩＨＭ位相像と正解画像との組を多数用意し、このＩＨＭ位相像を入力画像として出力画像が正解画像にできるだけ近くなるように、機械学習の学習モデル（つまりは識別器）を構築する。こうした教師有りの機械学習のアルゴリズムとしては、例えば、サポートベクターマシン、ランダムフォレスト、アダブースト、単純ベイズ、ｋ近傍法、さらにはニューラルネットワークを含むディープラーニングなど、様々な手法が知られており、いずれの手法を用いてもよい。また、画像を入力する場合でも、その画像そのものを学習するのではなく、画像からテクスチャ解析などにより抽出した特徴量を学習するようなアルゴリズムでもよい。

【0045】

上述したような識別器（学習済みの機械学習モデル）を構築する機能はこの制御・処理部２０に内蔵させてもよいが、一般に、こうした学習処理の計算はコンピュータにとってかなり負荷が大きく、高性能のコンピュータでないと時間も掛かる。したがって、別の高性能なコンピュータを用いて学習処理を行って精度の高い領域識別が可能な識別器を構築しておき、それを領域識別処理部２６の一部であるメモリに記憶させておく。そして領域識別処理部２６はその識別器を利用した識別処理のみを実施するのが一般的である。

【0046】

なお、上記ステップＳ３では、ステップＳ２で作成されたＩＨＭ位相像の全体について領域識別処理を実施してもよいが、作業者により指定された該ＩＨＭ位相像の一部の範囲のみについて領域識別処理を実施してもよい。

【0047】

上述した識別器を利用した領域識別処理部２６による領域の識別結果は、元のＩＨＭ画像を画素単位で各特徴領域（ここでは未分化細胞領域、未分化逸脱細胞領域、及びそれ以外の背景領域）に対応してラベル付けしたラベル画像である。この識別結果が領域識別結果データ記憶部２７に保存される。領域識別画像作成部２８はこうしたデータを受け、ラベル付けされている各特徴領域に含まれる画素を、各ラベルに予め割り当てられている表示色で色付けすることにより領域識別画像を作成する（ステップＳ４）。

【0048】

各特徴領域に割り当てられる表示色は予めデフォルトで決められているが、作業者が入力部３０から任意に指定することも可能である。具体的には例えば、未分化細胞領域は「緑」、未分化逸脱細胞領域は「赤」、背景領域は「黒」で表示されるようにすると、背景と細胞コロニーとの境界（つまりは細胞コロニーの輪郭）や細胞コロニー内の未分化細胞と未分化逸脱細胞との境界が明瞭である。

【0049】

図３はＩＨＭ位相像に対する領域識別画像の一例を示す模式図である。この図では、カラーを表現できないためにグレイスケール上の濃淡の違いで各特徴領域を区分している。このように、カラー表示による各特徴領域の区分に限らず、グレイスケール上の濃淡の違いや塗りつぶしのパターンの違いなど、各特徴領域の境界が視覚的に見やすい表示であれば、様々な態様を採ることができる。

【0050】

表示処理部２９は、ステップＳ５で作成された領域識別画像とＩＨＭ位相像とを横に並べた表示画面を作成し、これを表示部４０の画面上に表示する（ステップＳ５）。図４はこうした表示画面の態様を示す図である。

【0051】

図４では、識別結果表示画面５０内に、領域識別画像表示枠５１とＩＨＭ位相像表示枠５２とが設けられ、それぞれの画像が表示枠５１、５２内に表示されている。両画像は培養プレート１３上の全く同じ範囲の画像であり、例えば、いずれか一方の画像上で作業者が入力部（具体的にはマウス等のポインティングデバイス）３０を用いて、画像の拡大・縮小、移動、回転等の操作を行うと、その操作を認識した表示処理部２９は、表示に必要なデータを再構成画像データ記憶部２５及び領域識別結果データ記憶部２７から読み出し、領域識別画像表示枠５１及びＩＨＭ位相像表示枠５２に表示される画像を更新する。これにより、作業者は、常に同じ観察範囲のＩＨＭ位相像及び領域識別画像を確認することができる。

【0052】

また、領域識別画像とＩＨＭ位相像とを横に並べるのではなく、いずれか一方の画像を半透明化して重ねて表示させることもできる。図５はこうした表示画面の態様を示す図である。図５では、識別結果表示画面５０内に、重ね合わせ画像表示枠５３と半透明化する画像の透明度を指定するための操作子であるスライダー５４とが設けられ、重ね合わせ画像表示枠５３内に同じ観察範囲の領域識別画像とＩＨＭ位相像とを重ね合わせた画像が表示されている。作業者は図４又は図５に示す表示画面のいずれかを用いて、領域識別画像とＩＨＭ位相像とを見比べ、例えば未分化細胞領域と未分化逸脱細胞領域との区分けの正誤を確認することができる。

【0053】

また、領域識別画像とＩＨＭ位相像とを並べて又は重ねて表示するのではなく、領域識別画像のみを表示できるようにしてもよい。どのような形式で領域識別画像を表示するのかは、例えば同じ画面上に配置したラジオボタンやチェックボックスなどのＧＵＩウィジェットによりユーザが選択できるようにするとよい。

【0054】

また、領域識別画像表示枠５１中に又はその枠外の近傍に、表示色とその表示色で示される細胞状態（つまりは未分化細胞状態、未分化逸脱細胞状態）との対応関係を示す情報を文字で示してもよい。これにより、作業者は表示されている領域識別画像において未分化逸脱細胞の範囲を一目で把握することができる。

【0055】

上述したように、特徴領域の識別は画素単位で行われ、その識別結果も画素単位で記録されるため、領域識別画像においても画素単位での色分けが可能であるが、画素単位ではなく隣接する複数の画素をまとめた小領域の単位で各特徴領域を色分けするようにしてもよい。この場合、例えば一つの小領域に含まれる複数の画素のいずれか一つで未分化逸脱細胞領域であると識別されたならば、その小領域を未分化逸脱細胞領域に対応付けられた色で示すとよい。これにより、例えば培養プレート全体など、低倍率の画像を表示させたときにでも、１個又は少数の未分化逸脱細胞が存在することを視覚的に明瞭に示すことができる。その結果、作業者による画像の確認時に、未分化逸脱細胞領域の見逃しを防止することができる。

【0056】

なお、上記実施例では、ＩＨＭ位相像等を背景領域を含めて三つの特徴領域に区分していたが、異物領域など、識別する領域の数を適宜増やしてもよい。

【0057】

また、図１に示した細胞観察装置では、制御・処理部２０において全ての処理を実施しているが、一般に、ホログラムデータに基づく位相情報の計算やその計算結果の画像化には膨大な量の計算が必要である。また、機械学習による領域識別の処理の負荷も大きい。そこで、顕微観察部１０に接続されたパーソナルコンピュータを端末装置とし、この端末装置と高性能なコンピュータであるサーバとがインターネットやイントラネット等の通信ネットワークを介して接続されたコンピュータシステムを利用し、上記のような煩雑な計算や処理は高性能なコンピュータで行い、顕微観察部１０の制御や処理後のデータを用いた表示処理などを比較的低性能のパーソナルコンピュータで実行するように役割を分けるとよい。

【0058】

また、上記実施例はあくまでも本発明の一例であり、本発明の趣旨の範囲でさらに適宜変形、修正、追加を行っても本願特許請求の範囲に包含されることは明らかである。

【符号の説明】

【0059】

１０…顕微観察部
１１…光源部
１２…イメージセンサ
１３…培養プレート
１４…細胞コロニー
１５…参照光
１６…物体光
２０…制御・処理部
２１…撮影制御部
２２…ホログラムデータ記憶部
２３…位相情報算出部
２４…画像再構成部
２５…再構成画像データ記憶部
２６…領域識別処理部
２７…領域識別画像作成部
２８…領域識別結果データ記憶部
２９…表示処理部
３０…入力部
４０…表示部

【図1】

【図2】

【図3】

【図4】

【図5】