特開 2023-15674 細胞塊の内部予測方法、プログラム、及び、画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023015674

(43)【公開日】2023-02-01

(54)【発明の名称】細胞塊の内部予測方法、プログラム、及び、画像処理装置

(51)【国際特許分類】

   C12Q 1/06 20060101AFI20230125BHJP

   C12M 1/34 20060101ALI20230125BHJP

   G01N 33/48 20060101ALI20230125BHJP

【ＦＩ】

C12Q1/06

C12M1/34 A

G01N33/48 M

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2021119597

(22)【出願日】2021-07-20

(71)【出願人】

【識別番号】322004393

【氏名又は名称】株式会社エビデント

(74)【代理人】

【識別番号】100121083

【弁理士】

【氏名又は名称】青木 宏義

(74)【代理人】

【識別番号】100138391

【弁理士】

【氏名又は名称】天田 昌行

(74)【代理人】

【識別番号】100074099

【弁理士】

【氏名又は名称】大菅 義之

(74)【代理人】

【識別番号】100182936

【弁理士】

【氏名又は名称】矢野 直樹

(72)【発明者】

【氏名】鎌戸 耀子

(72)【発明者】

【氏名】下地 恵令奈

(72)【発明者】

【氏名】出澤 拓磨

【テーマコード（参考）】

2G045

4B029

4B063

【Ｆターム（参考）】

2G045AA24

2G045CB01

2G045FA19

2G045JA01

2G045JA07

4B029AA07

4B029BB11

4B029CC02

4B029DG10

4B029FA15

4B063QA01

4B063QA20

4B063QQ02

4B063QQ08

4B063QR72

4B063QR77

4B063QR90

4B063QS36

4B063QS39

4B063QX01

(57)【要約】

【課題】細胞塊の内部構造を容易に把握する。
【解決手段】細胞塊の内部構造を予測する内部予測方法は、細胞塊の画像を取得することと、画像に基づいて細胞塊の形状に関する特徴量を算出することと、特徴量に基づいて細胞塊の内部構造に関する構造情報を出力することと、を含む。
【選択図】図４

【特許請求の範囲】

【請求項1】

細胞塊の画像を取得することと、
前記画像に基づいて、前記細胞塊の形状に関する特徴量を算出することと、
前記特徴量に基づいて、前記細胞塊の内部構造に関する構造情報を出力することと、を含む
ことを特徴とする内部予測方法。

【請求項2】

請求項１に記載の内部予測方法において、
前記細胞塊の画像を取得することは、前記細胞塊を互いに異なる方向から撮像した２枚以上の画像を取得することを含む
ことを特徴とする内部予測方法。

【請求項3】

請求項２に記載の内部予測方法において、
前記２枚以上の画像を取得することは、前記細胞塊を第１方向から撮像した画像と、前記第１方向と交差する第２方向から撮像した画像と、を取得することを含む
ことを特徴とする内部予測方法。

【請求項4】

請求項３に記載の内部予測方法において、
前記２枚以上の画像を取得することは、
前記第１方向から前記細胞塊の互いに異なる面を撮像した複数の第１画像を取得することと、
前記第２方向から前記細胞塊の互いに異なる面を撮像した複数の第２画像を取得することと、を含み、
前記特徴量を算出することは、前記複数の第１画像の中から選択された第３画像と前記複数の第２画像の中から選択された第４画像との各々に基づいて、前記特徴量を算出することを含み、
前記内部構造に関する構造情報を出力することは、前記第３画像と前記第４画像との位置関係と、前記第３画像に対応する特徴量と、前記第４画像に対応する特徴量と、に基づいて、前記構造情報を取得することを含む
ことを特徴とする内部予測方法。

【請求項5】

請求項４に記載の内部予測方法において、
前記特徴量を算出することは、
前記複数の第１画像と前記複数の第２画像の各々に基づいて、前記細胞塊の輪郭を特定することと、
前記複数の第１画像に対応する複数の輪郭に基づいて、前記第３画像を選択することと、
前記複数の第２画像に対応する複数の輪郭に基づいて、前記第４画像を選択することと、を含む
ことを特徴とする内部予測方法。

【請求項6】

請求項１に記載の内部予測方法において、
前記特徴量を算出することは、
前記画像に基づいて、前記細胞塊の輪郭を特定することと、
前記輪郭を表示装置に表示することと、
前記輪郭の修正を受け付けることと、
修正された輪郭に基づいて、前記特徴量を算出することと、を含む
ことを特徴とする内部予測方法。

【請求項7】

請求項１乃至請求項６のいずれか１項に記載の内部予測方法において、
前記特徴量は、前記細胞塊の表面の凹凸に関する第１特徴量を含む
ことを特徴とする内部予測方法。

【請求項8】

請求項７に記載の内部予測方法において、
前記特徴量を算出することは、
前記画像に基づいて、前記細胞塊の輪郭を特定することと、
前記輪郭に基づいて、前記輪郭を近似する近似曲線を算出することと、
前記輪郭と前記近似曲線とに基づいて、前記第１特徴量を算出することと、を含む
ことを特徴とする内部予測方法。

【請求項9】

請求項１乃至請求項８のいずれか１項に記載の内部予測方法において、
前記特徴量は、前記細胞塊の理想形状からのずれに関する第２特徴量を含む
ことを特徴とする内部予測方法。

【請求項10】

請求項１乃至請求項９のいずれか１項に記載の内部予測方法において、
前記内部構造に関する構造情報を出力することは、前記特徴量に基づいて予測した前記細胞塊内の細胞分布を模したモデル画像を出力することを含む
ことを特徴とする内部予測方法。

【請求項11】

請求項１０に記載の内部予測方法において、
前記モデル画像は、前記細胞塊を構成する細胞を分類した分類結果を含む
ことを特徴とする内部予測方法。

【請求項12】

細胞塊の内部予測プログラムであって、
前記細胞塊の画像を取得し、
前記画像に基づいて、前記細胞塊の形状に関する特徴量を算出し、
前記特徴量に基づいて、前記細胞塊の内部構造に関する構造情報を出力する
処理をコンピュータに実行させることを特徴とするプログラム。

【請求項13】

細胞塊の画像を取得する取得部と、
前記画像に基づいて、前記細胞塊の形状に関する特徴量を算出する算出部と、
前記特徴量に基づいて、前記細胞塊の内部構造に関する構造情報を出力する出力部と、
を備えることを特徴とする画像処理装置。

【請求項14】

請求項１３に記載の画像処理装置において、さらに、
前記特徴量と前記構造情報とを関連付けて記憶した記憶部を備える
ことを特徴とする画像処理装置。

【請求項15】

請求項１３又は請求項１４に記載の画像処理装置において、さらに、
前記構造情報を表示する表示部を備える
ことを特徴とする画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書の開示は、細胞塊の内部予測方法、プログラム、及び、画像処理装置に関する。

【背景技術】

【0002】

多能性幹細胞を用いた創薬や再生医療の普及に当たっては、大量の細胞を一定以上の品質を維持しながら安定的に供給する技術が欠かせない。このため、近年、単層培養よりも一度に大量の細胞を培養可能な浮遊培養が注目されている。

【0003】

浮遊培養では、平面的に細胞を培養する単層培養とは異なり、細胞が立体的に培養されて、細胞塊が作製される。細胞塊の細胞は、生体内と同様に、周囲の細胞等との相互作用の中で活動する。このため、例えば、薬効評価を行う場合、浮遊培養で培養された細胞塊を用いることで、単層培養で培養された細胞を用いた場合よりも生体内に近い条件下で的確な評価が可能となる。このような薬効評価に関する技術は、例えば、特許文献１に記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１５－１８１３４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、細胞培養中に細胞塊の内部構造を外部から観察することは難しく、観察できる部分は細胞塊の一部に限られる。このため、浮遊培養では、細胞全体を観察可能な単層培養に比べて細胞培養が順調に進んでいるかどうかを判断することが難しい。

【0006】

以上のような実情を踏まえ、本発明の一側面に係る目的は、細胞塊の内部構造を容易に把握可能な技術を提供することである。

【課題を解決するための手段】

【0007】

本発明の一態様に係る内部予測方法は、細胞塊の画像を取得することと、前記画像に基づいて、前記細胞塊の形状に関する特徴量を算出することと、前記特徴量に基づいて、前記細胞塊の内部構造に関する構造情報を出力することと、を含む。

【0008】

本発明の一態様に係るプログラムは、細胞塊の内部予測プログラムであって、前記細胞塊の画像を取得し、前記画像に基づいて、前記細胞塊の形状に関する特徴量を算出し、前記特徴量に基づいて、前記細胞塊の内部構造に関する構造情報を出力する処理をコンピュータに実行させる。

【0009】

本発明の一態様に係る画像処理装置は、細胞塊の画像を取得する取得部と、前記画像に基づいて、前記細胞塊の形状に関する特徴量を算出する算出部と、前記特徴量に基づいて、前記細胞塊の内部構造に関する構造情報を出力する出力部と、を備える。

【発明の効果】

【0010】

上記の態様によれば、細胞塊の内部構造を容易に把握することができる。

【図面の簡単な説明】

【0011】

【図1】システム１の構成を例示した図である。

【図2】顕微鏡２０の構成を例示した図である。

【図3】サーバ装置４０の機能的構成を例示した図である。

【図4】第１の実施形態に係る内部予測処理のフローチャートの一例を示した図である。

【図5】特徴量算出処理のフローチャートの一例を示した図である。

【図6】画像選択処理について説明するための図である。

【図7】輪郭抽出処理と特徴量算出処理について説明するための図である。

【図8】第２特徴量に基づいて細胞塊の異常が検出される例を示した図である。

【図9】第１特徴量に基づいて細胞塊の異常が検出される例を示した図である。

【図10】細胞塊の内部構造のデータベースの一例を示した図である。

【図11】細胞塊の内部構造の予測結果の出力の一例を示した図である。

【図12】細胞塊の内部構造のデータベースの別の例を示した図である。

【図13】細胞塊の内部構造の予測結果の出力の別の例を示した図である。

【図14】第２の実施形態に係る内部予測処理のフローチャートの一例を示した図である。

【図15】細胞塊の輪郭の表示例を示した図である。

【図16】細胞塊の輪郭の修正例を示した図である。

【図17】細胞塊の内部構造の予測結果の出力の更に別の例を示した図である。

【図18】サーバ装置４０を実現するためのコンピュータ１００のハードウェア構成を例示した図である。

【発明を実施するための形態】

【0012】

［第１の実施形態］
図１は、システム１の構成を例示した図である。図２は、顕微鏡２０の構成を例示した図である。システム１は、浮遊培養で細胞を培養することで作製されたスフェロイドなどの細胞塊を観察し、その内部構造を予測するシステムである。以下、図１及び図２を参照しながら、システム１の構成について説明する。

【0013】

システム１は、互いにネットワークを介して通信可能に接続された、顕微鏡システム１０と、サーバ装置４０と、複数のクライアント装置（クライアント装置５０、クライアント装置６０、クライアント装置７０）を備えている。

【0014】

なお、装置間を接続するネットワークの種類は、特に限定しない。ネットワークは、例えば、インターネットなどの公衆回線であってもよく、専用回線であってもよく、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよい。装置間の接続は、有線接続であっても、無線接続であってもよい。

【0015】

顕微鏡システム１０は、細胞塊を撮像する顕微鏡２０と、顕微鏡２０を制御する制御装置３０を含んでいる。制御装置３０が顕微鏡２０を制御することで培養環境から取り出された細胞塊を顕微鏡２０が撮像し、さらに、生成された細胞塊の画像を制御装置３０がサーバ装置４０へ送信する。

【0016】

顕微鏡２０は、細胞塊を撮像するイメージング機能を有していればよい。図１では、顕微鏡システム１０が接眼レンズを有する顕微鏡２０を含む例を示したが、顕微鏡２０は、接眼レンズを有しないデジタルマイクロスコープであってもよい。顕微鏡２０は、図２に示すような、ステージ２１に対して対物レンズ２２およびデジタルカメラ２３の向きを自由に変更可能な構造を有していることが望ましい。また、対物レンズ２２の光軸方向への焦点面の移動と撮像とを繰り返す機能を有することが望ましい。即ち、顕微鏡２０は、様々な方向から様々な深さで細胞塊を撮像可能な構成を有することが望ましい。

【0017】

顕微鏡２０が対応する観察法は、例えば、明視野観察法や位相差観察法などである。ただし、後述するように、顕微鏡２０は、少なくとも細胞塊の輪郭を認識可能な画像を取得できればよく、上記以外の任意の観察法に対応してもよい。

【0018】

サーバ装置４０は、細胞塊の画像に基づいて後述する内部予測処理を実行する画像処理装置である。サーバ装置４０は、顕微鏡システム１０で生成された細胞塊の画像を取得し、画像に基づいて細胞塊の内部構造を予測し、予測結果を出力する。より詳細には、サーバ装置４０は、細胞塊の画像に表れる細胞塊の形状的特徴に基づいて内部構造を予測する。

【0019】

クライアント装置（クライアント装置５０、クライアント装置６０、クライアント装置７０）は、制御装置３０が出力する予測結果をユーザからの要求に応じて取得して、表示装置に表示する。このため、クライアント装置は、少なくとも、ユーザからの要求を受ける入力装置と、予測結果を表示する表示装置と、サーバ装置４０とやり取りする通信装置を備えていればよい。なお、制御装置３０がクライアント装置として動作してもよく、制御装置３０が予測結果を制御装置３０が有する表示装置（表示部）に出力してもよい。即ち、制御装置３０が予測結果を出力することは、制御装置３０が予測結果を表示することであってもよい。

【0020】

なお、クライアント装置は、例えば、クライアント装置５０のようなデスクトップ型コンピュータであってもよく、クライアント装置６０のようなタブレット型コンピュータであってもよく、クライアント装置７０のようなラップトップ型コンピュータであってもよい。さらに、スマートフォン、携帯電話などであってもよい。また、各クライアント装置は、特定のユーザの専用端末であってもよく、複数のユーザに共有される共有端末であってもよい。

【0021】

以上のように構成されたシステム１によれば、ユーザは、クライアント装置に表示された予測結果を確認することで、細胞塊の内部構造を容易に把握することができる。従って、細胞培養中に定期的に細胞塊をサンプリングして画像を取得しておくことで、細胞培養の異常を早期に検出することが可能であり、無駄な培養を回避して効率良く細胞を培養することができる。

【0022】

また、システム１では、細胞塊の内部構造は、細胞塊の形状的特徴から予測される。このため、立体的に成長した細胞塊の内部を詳細に可視化する高機能な装置は必ずしも必要ではなく、イメージングデバイスとして既存の多くの顕微鏡システムを利用可能である。また、輪郭を抽出可能な程度の画質が確保できればよいため、撮像時間も短縮可能である。従って、予測結果を短時間で得ることが可能であり、ユーザは培養状態を遅滞なく把握することができる。

【0023】

図３は、サーバ装置４０の機能的構成を例示した図である。サーバ装置４０は、図３に示すように、少なくとも、細胞塊の画像を取得する取得部４１と、細胞塊の形状に関する特徴量を算出する算出部４２と、細胞塊の内部構造に関する構造情報を出力する出力部４６と、を備えている。サーバ装置４０は、さらに、後述するデータベースが構築された記憶部４７を備えてもよい。以下、図３を参照しながら、細胞塊の内部構造を予測する予測処理方法に関連するサーバ装置４０の機能的構成について説明する。

【0024】

取得部４１は、例えば、顕微鏡システム１０で生成した細胞塊の画像を取得する。取得部４１は、細胞塊を互いに異なる方向から撮像した２枚以上の画像を取得することが望ましい。異なる方向から撮像した画像を用いることで１方向から撮像した画像のみを用いた場合よりも後述する算出部４２において細胞塊の全体的な形状を把握しやすいためである。また、取得部４１は、撮像方向毎に細胞塊の互いに異なる面を撮像した複数の画像を取得することがより望ましい。同じ方向から撮像した複数の画像を取得することで細胞塊の形状の把握に適した画像を撮像方向毎に選択可能となる。これにより、算出部４２において細胞塊の全体的な形状をより把握しやすくなる。さらに、異なる方向は、互いに交差する方向であることが望ましい。方向が交差すれば重力方向に対して異なる角度から細胞塊を撮像した画像を得ることができる。例えば、取得部４１は、鉛直方向（第１方向）から細胞塊の互いに異なる面を撮像した複数の第１画像Ｄ１と、水平方向（第２方向）から細胞塊の互いに異なる面を撮像した複数の第２画像Ｄ２を取得してもよい。なお、細胞塊の画像は、例えば、予めサーバ装置４０の記憶部４７に格納されていてもよく、取得部４１は、記憶部４７から画像を読み出してもよい。

【0025】

算出部４２は、取得部４１で取得した画像に基づいて、細胞塊の形状に関する特徴量を算出する。算出部４２は、例えば、輪郭抽出部４３と、画像選択部４４と、特徴量算出部４５を含んでもよい。

【0026】

輪郭抽出部４３は、取得部４１で取得した画像に基づいて、細胞塊の輪郭を特定する。輪郭を抽出し特定する方法は特に限定しない。既知の任意の抽出方法が採用し得る。取得部４１で複数の画像を取得した場合には、輪郭抽出部４３は、取得した画像毎に細胞塊の輪郭を特定することが望ましい。例えば、取得部４１で複数の第１画像と複数の第２画像を取得した場合であれば、輪郭抽出部４３は、複数の第１画像の各々毎に細胞塊の輪郭を特定し、複数の第２画像の各々毎に細胞塊の輪郭を特定することが望ましい。

【0027】

画像選択部４４は、輪郭抽出部４３で特定された輪郭に基づいて、特徴量算出に用いる画像を選択する。画像選択部４４は、撮像方向毎に画像を選択することが望ましく、さらに、同じ撮像方向の画像の中から最大輪郭を有する画像を選択することが望ましい。即ち、撮像方向毎に最大輪郭を有する画像を選択することが望ましい。例えば、取得部４１で複数の第１画像と複数の第２画像を取得した場合であれば、画像選択部４４は、画像選択部４４は、複数の第１画像に対応する複数の輪郭に基づいて第３画像を選択し、複数の第２画像に対応する複数の輪郭に基づいて第４画像を選択すればよい。画像選択部４４は、複数の第１画像の中から最大輪郭を有する画像を第３画像として選択し、複数の第２画像の中から最大輪郭を有する画像を第４画像として選択することが望ましい。なお、画像選択部４４は、例えば、区画される領域の面積が最大になる輪郭を最大輪郭として、画像を選択してもよい。

【0028】

特徴量算出部４５は、画像選択部４４で選択した画像に基づいて、細胞塊の形状に関する特徴量を算出する。特徴量算出部４５は、撮像方向毎に特徴量を算出することが望ましく、従って、画像選択部４４で選択した画像毎に特徴量を算出することが望ましい。例えば、画像選択部４４で複数の第１画像から第３画像が選択され、複数の第２画像から第４画像が選択された場合であれば、特徴量算出部４５は、第３画像と第４画像の各々に基づいて特徴量を算出することが望ましい。

【0029】

特徴量算出部４５で算出する特徴量は、細胞塊の輪郭から把握可能な細胞塊の形状に関する特徴量であればよい。特徴量算出部４５で算出する特徴量は、細胞塊の表面の凹凸に関する特徴量（以降、第１特徴量と記す）と、細胞塊の理想形状からのずれに関する特徴量（以降、第２特徴量と記す）の少なくとも一方を含むことが望ましい。なお、細胞塊の理想形状は例えば球形状であり、画像に表れる形状としては例えば円形状である。

【0030】

出力部４６は、特徴量算出部４５で算出した特徴量に基づいて、細胞塊の内部構造に関する構造情報を出力する。出力部４６は、細胞塊の内部構造に関する構造情報を特徴量と関連付けたデータベースを参照することが望ましい。出力部４６は、例えば、特徴量算出部４５で算出した特徴量を用いて、記憶部４７に構築されたデータベースから細胞塊の内部構造に関する構造情報を取得し、取得した構造情報を出力することが望ましい。即ち、記憶部４７は、特徴量と構造情報とが関連付けて記憶している。なお、データベースは、サーバ装置４０とは異なる装置に構築されていてもよい。

【0031】

データベースには、多くの細胞塊について予め詳細に観察し、その内部構造に関して収集した情報が構造情報として記録されている。データベースに記録されている構造情報は、例えば、光干渉断層撮影（ Ｏ Ｃ Ｔ ：Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）で取得した細胞塊の断層像に基づいて生成された情報であってもよく、蛍光観察法で取得した細胞塊の断層像に基づいて生成された情報であってもよく、細胞塊を実際に切断し切断面を撮像した画像に基づいて生成された情報であってもよい。これらの情報は、特徴量と関連付けられている限り、細胞塊を撮像した画像そのものであってもよく、画像から作成された細胞塊内における細胞の分布を示すモデル画像であってもよい。

【0032】

以上のように構成されたサーバ装置４０が後述する内部予測処理を実行する。細胞が弱るなど細胞塊の品質が劣化すると細胞間の結合も弱まって全体的な形状が崩れ始める。このため、正常ではない細胞塊では、細胞塊の形状が理想形状から乖離し、また、表面の凹凸も顕著になる。サーバ装置４０は、細胞塊の形状を特徴量として定量化することで、人間の目では把握しにくい細胞塊の形状のわずかな違いを検出することができる。そして、検出した細胞塊の形状に基づいてデータベースを参照することで、細胞塊の内部構造を高い精度で予測することができる。従って、上述したサーバ装置４０及びサーバ装置４０が行う内部予測方法によれば、細胞塊の画像から細胞塊の内部構造を容易に把握することが可能であり、細胞培養の異常を早期に検出することができる。

【0033】

図４は、本実施形態に係る内部予測処理のフローチャートの一例を示した図である。図５は、特徴量算出処理のフローチャートの一例を示した図である。図６は、画像選択処理について説明するための図である。図７は、輪郭抽出処理と特徴量算出処理について説明するための図である。図８は、第２特徴量に基づいて細胞塊の異常が検出される例を示した図である。図９は、第１特徴量に基づいて細胞塊の異常が検出される例を示した図である。図１０は、細胞塊の内部構造のデータベースの一例を示した図である。図１１は、細胞塊の内部構造の予測結果の出力の一例を示した図である。以下、図４から図１１を参照しながら、サーバ装置４０で行われる細胞塊の内部構造を予測する内部予測処理について具体的に説明する。

【0034】

以降では、顕微鏡システム１０で撮像した予測対象の細胞塊の画像がサーバ装置４０に予め格納されている場合を例に説明する。この例では、サーバ装置４０に格納されている画像には、細胞塊を鉛直方向から撮像した複数の第１画像Ｄ１と、細胞塊を例えば水平方向から撮像した複数の第２画像Ｄ２とが含まれている。また、複数の第１画像はＤ１互いに異なる焦点面に対応する細胞塊の画像であり、複数の第２画像Ｄ２も互いに異なる焦点面に対応する細胞塊の画像である。

【0035】

サーバ装置４０は、例えば、クライアント装置からの要求に応じて、所定のプログラムを実行して、図４に示す内部予測処理を開始する。ここでは、制御装置３０がクライアント装置としてサーバ装置４０へ細胞塊の内部予測を要求する場合を例に説明する。

【0036】

サーバ装置４０は、制御装置３０から要求を受け付けると、まず、予測対象の細胞塊ＣＭ１の画像を取得する（ステップＳ１０）。ここでは、取得部４１は、記憶部４７から複数の第１画像Ｄ１と複数の第２画像Ｄ２を取得する。複数の第１画像Ｄ１は、例えば、図６に示すように、鉛直方向から細胞塊ＣＭ１の異なる位置（面）を撮像した画像であり、複数の第２画像Ｄ２は、例えば、図６に示すように、水平方向から細胞塊ＣＭ１の異なる位置（面）を撮像した画像である。なお、図６では、第１画像Ｄ１と第２画像Ｄ２に細胞塊を構成する細胞がはっきりと写っている様子が描かれているが、第１画像Ｄ１と第２画像Ｄ２は細胞塊の輪郭を特定できる程度の情報を含んでいればよい。

【0037】

ステップＳ１０で取得する画像は、鉛直方向と水平方向とから取得した画像に限らない。ただし、鉛直方向と水平方向から撮像した画像を含むことで、重力の影響が大きい方向（水平方向）から撮像した画像と重力の影響が小さい方向（鉛直方向）から撮像した画像が含まれることになるため、細胞塊の劣化度合いを把握しやすいというメリットがある。なお、ステップＳ１０で取得する画像は、３つ以上の方向から撮像した画像を含んでもよく、また、互いに逆向きの２方向から撮像した画像を含んでもよい。

【0038】

画像を取得すると、サーバ装置４０は、取得した画像に基づいて細胞塊の輪郭を抽出する（ステップＳ２０）。ここでは、輪郭抽出部４３がステップＳ１０で取得した画像の各々から細胞塊の輪郭を抽出する。

【0039】

さらに、サーバ装置４０は、ステップＳ２０で抽出した輪郭から特徴量算出に用いる画像を選択する（ステップＳ３０）。ここでは、画像選択部４４が撮影方向毎に最大の輪郭を特定し、最大の輪郭を有する画像を選択する。即ち、画像選択部４４は、図６に示すように、複数の第１画像Ｄ１から最大輪郭を有する第３画像Ｄ３を選択し、複数の第２画像Ｄ２から最大輪郭を有する第４画像Ｄ４を選択する。

【0040】

その後、サーバ装置４０は、図５に示す特徴量算出処理を実行する（ステップＳ４０）。特徴量算出処理では、特徴量算出部４５は、まず、近似曲線を算出する（ステップＳ４１）。ステップＳ４１では、特徴量算出部４５は、例えば、図７に示すように、ステップＳ３０で選択された画像から抽出された細胞塊ＣＭ１の輪郭Ｌ１に基づいて、輪郭Ｌ１を近似する近似曲線Ｌ２を算出する。近似曲線Ｌ２は、細胞塊ＣＭ１の全体的な形状を表すために算出され、細胞塊の表面の凹凸に関する第１特徴量を算出する際に表面の凹凸に対する基準面として利用される。従って、過度に高次の関数で近似する必要はなく、例えば、円や楕円の方程式で近似すればよい。

【0041】

近似曲線が算出されると、特徴量算出部４５は、輪郭Ｌ１とステップＳ４１で算出した近似曲線Ｌ２に基づいて、第１特徴量を算出する（ステップＳ４２）。ここでは、特徴量算出部４５は、例えば、図７に示すように、輪郭Ｌ１と近似曲線Ｌ２で囲まれた領域の面積を第１特徴量として算出することで、細胞塊の表面に生じた凹凸の量を定量化する。

【0042】

さらに、特徴量算出部４５は、輪郭Ｌ１に基づいて、細胞塊の理想形状からのずれに関する第２特徴量を算出する（ステップＳ４３）。ここでは、特徴量算出部４５は、例えば、図７に示すように、輪郭Ｌ１に内接する円Ｒ１と輪郭Ｌ１に外接する円Ｒ２の半径の差ΔＲを用いて第２特徴量を算出する。なお、第２特徴量は、例えば、円径からの狂いの大きさを示す真円度であってもよい。

【0043】

第１特徴量と第２特徴量の算出方法は上記の例に限らない。例えば、第２特徴量は理想形状から乖離度合いを示すものであればよいため、真円度の代わり近似曲線に基づいて算出してもよい。例えば、近似曲線が楕円方程式を用いて表現される場合であれば、真円度の代わりに楕円率を第２特徴量として算出してもよい。

【0044】

第１特徴量と第２特徴量はともに細胞塊の異常検出の好適なパラメータである。これらのパラメータから内部構造を予測することで、細胞塊の異常を早期に発見することができる。具体的には、真円度など理想形状からのずれを示す第２特徴量を用いることで、例えば、図８に示す細胞塊ＣＭ２のように、細胞塊ＣＭ２が劣化して結合力が弱まった結果、重力の影響などによって細胞塊の形状が崩れた状態を定量的に捉えることができる。また、表面の凹凸を示す第１特徴量を用いることで、例えば、図９に示す細胞塊ＣＭ３のように、細胞間の結合が弱まって離散することで表面に粗い凹凸が生じた状態を定量的に把握することができる。従って、第２特徴量だけで判断すると理想形状を維持しているように見える細胞塊ＣＭ３についても異常を検出することができる。

【0045】

特徴量算出処理が終了すると、サーバ装置４０は、算出された特徴量に基づいて、細胞塊の内部構造を関する構造情報を出力する（ステップＳ５０）。ここでは、出力部４６は、記憶部４７に構築されているデータベースＤＢ１を参照して、ステップＳ４２で算出した第１特徴量とステップＳ４３で算出した第２特徴量に関連付けられた構造情報を取得する。図１０に示すように、データベースＤＢ１には、例えば、特徴量（第１特徴量と第２特徴量の２組の組み合わせ）に関連付けて、細胞塊内における細胞の分布を示すモデル画像ＩＭ１が格納されている。さらに、データベースＤＢ１には、３Ｄ画像であるモデル画像ＩＭ１の各断面（断面ａ１～ａ４、断面ｂ１～ｂ４）の断層像も格納されている。

【0046】

出力部４６が記憶部４７から取得した構造情報を制御装置３０へ出力すると、サーバ装置４０は、図４に示す内部予測処理を終了する。なお、サーバ装置４０から構造情報を受信した制御装置３０は、図１１に示すように構造情報を細胞塊の内部構造の予測結果として表示する。図１１には、データベースＤＢ１から取得したモデル画像ＩＭ１と断層画像ＩＭ２が内部構造の予測結果として表示された様子が示されている。なお、断層画像ＩＭ２は、例えば、特徴量の算出に用いられた第３画像と第４画像に対応する位置の断層画像を組み合わせた画像である。

【0047】

以上のように、サーバ装置４０が図４に示す内部予測処理を実行することで、細胞塊の内部構造の予測結果が出力される。これにより、ユーザは、クライアント装置に表示された予測結果に基づいて細胞塊の内部構造を容易に把握することができるため、早期に細胞塊の異常を検出することができる。特に、上述した内部予測処理では、細胞塊の内部構造が画像に写っていない場合であっても輪郭が認識できれば内部構造を予測することができる。従って、ユーザは、特殊な装置を用いることなく細胞塊の内部構造を把握することができる。

【0048】

なお、予測結果の表示方法は特に限定しない。図１０では、断層画像ＩＭ２に示されるように、特徴量算出に用いた断面における細胞分布を予測した断層画像を表示する例を示したが、サーバ装置４０は、ユーザが指定した任意の断面における断層像をクライアント装置に出力してもよい。また、２断面以上の断層画像が同時に表示されてもよい。

【0049】

図１２は、細胞塊の内部構造のデータベースの別の例を示した図である。図１０では、データベースＤＢ１に構造情報が特徴量と関連付けて格納されている例を示したが、図１２のデータベースＤＢ２に示すように、構造情報は、特徴量と交差位置の組み合わせに関連付けられてもよい。なお、交差位置は、２組の特徴量に対応する画像（第３画像、第４画像）間の位置関係を示している。

【0050】

最大輪郭を有する断面における特徴量の組み合わせが同じであっても、断面間の位置関係によって細胞塊の全体形状は大きく異なり得る。このため、特徴量と断面の交差位置の組み合わせ毎に構造情報を収集しデータベースを構築することで、細胞塊の内部構造をより他界精度で予測可能となる。従って、図４のステップＳ５０では、出力部４６は、第３画像と第４画像との位置関係と、第３画像に対応する特徴量と、第４画像に対応する特徴量と、に基づいて、構造情報を取得してもよい。

【0051】

図１３は、細胞塊の内部構造の予測結果の出力の別の例を示した図である。図１１では、細胞塊内に分布する細胞を分類することなく表示する例を示したが、細胞塊内に分布する細胞を分類して表示してよい。この場合、予めデータベースに格納されるモデル画像や断層画像に細胞塊を構成する細胞を分類した分類結果を含めておけばよい。これにより、図１３に示すように、モデル画像ＩＭ３や断層画像ＩＭ４内で細胞を分類して表示することができる。なお、図１３には、腫瘍細胞を正常な細胞と区別して表示した例が示されている。また、図１３に示すように、腫瘍細胞の存在を強調してユーザに警告してもよい。さらに、モデル画像ＩＭ３に対して他のユーザが付したコメントを同時に表示することで、他のユーザの細胞塊に対する見解などの情報を共有してもよい。

【0052】

［第２の実施形態］
図１４は、本実施形態に係る内部予測処理のフローチャートの一例を示した図である。図１５は、細胞塊の輪郭の表示例を示した図である。図１６は、細胞塊の輪郭の修正例を示した図である。以下、図１４から図１６を参照しながら、本実施形態に係る内部予測処理について具体的に説明する。なお、本実施形態に係るシステムは、第１の実施形態に係るシステム１と同様の構成を有している。このため、各構成要素については、第１の実施形態と同一の符号で参照する。また、本実施形態に係る内部予測処理は、第１の実施形態に係るに内部予測処理と同様にサーバ装置４０で行われる。

【0053】

サーバ装置４０は、例えば、クライアント装置からの要求に応じて、所定のプログラムを実行して、図１４に示す内部予測処理を開始する。ここでは、第１の実施形態と同様に、制御装置３０がクライアント装置としてサーバ装置４０へ細胞塊の内部予測を要求する場合を例に説明する。

【0054】

サーバ装置４０は、制御装置３０から要求を受け付けると、まず、予測対象の細胞塊の画像を取得し（ステップＳ１１０）、取得した画像に基づいて細胞塊の輪郭を抽出する（ステップＳ１２０）。ステップＳ１１０とステップＳ１２０の処理は、図４に示すステップＳ１０とステップＳ２０の処理と同様である。

【0055】

輪郭が抽出されると、サーバ装置４０は、輪郭を表示装置に表示する。ここでは、サーバ装置４０は、サーバ装置４０が認識した輪郭Ｌ１をユーザが把握することができるように、例えば、図１５に示すように、ステップＳ１１０で取得した画像にステップＳ１２０で算出した輪郭Ｌ１を重ねた画像を、制御装置３０に、表示させてもよい。

【0056】

さらに、サーバ装置４０は、修正指示の有無を判定し（ステップＳ１４０）、修正指示が入力されると（ステップＳ１４０ＹＥＳ）、細胞塊の輪郭を修正指示に従って更新する（ステップＳ１５０）。例えば、ユーザが図１５に示す修正ボタンを押下することで、サーバ装置４０は、ステップＳ１２０で抽出した輪郭Ｌ１の修正を受けつけてもよく、ユーザが図１６に示す決定ボタンを押下することで、細胞塊の輪郭を、輪郭Ｌ１からユーザがＧＵＩを用いて修正した輪郭Ｌ１ａに更新してもよい。

【0057】

なお、図１５及び図１６に示す細胞Ｃ１と細胞Ｃ２は、それぞれ、焦点面に存在する細胞と、焦点面の前後に存在する細胞である。図１５及び図１６では、ユーザが焦点面の前後に存在する細胞Ｃ２を避けて輪郭を画定することで、サーバ装置４０に焦点面における細胞塊の輪郭をより正しく認識させる例が示されている。

【0058】

その後、サーバ装置４０は、特徴量算出に用いる画像を選択し（ステップＳ１６０）、選択した画像に基づいて特徴量算出処理を実行し（ステップＳ１７０）、算出された特徴量に基づいて、細胞塊の内部構造を関する構造情報を出力する（ステップＳ１８０）。ステップＳ１６０からステップＳ１８０の処理は、図４に示すステップＳ３０からステップＳ５０の処理と同様である。ただし、ステップＳ１５０で輪郭が更新された場合には、ステップＳ１６０では、更新前の輪郭の代わりに更新後の輪郭に基づいて画像が選択され、選択された画像に基づいて特徴量が算出される。即ち、更新後の輪郭に基づいて特徴量が算出される。

【0059】

以上のように、サーバ装置４０が図１４に示す内部予測処理を実行した場合も、細胞塊の内部構造の予測結果が出力される。従って、本実施形態においても、ユーザは、第１の実施形態と同様に、クライアント装置に表示された予測結果に基づいて細胞塊の内部構造を容易に把握することが可能であり、早期に細胞塊の異常を検出することができる。

【0060】

また、本実施形態では、サーバ装置４０が認識した細胞塊の輪郭をユーザが手動で修正することができる。輪郭抽出においてユーザの判断を加えることでより高い精度で輪郭抽出が可能となる。これにより、輪郭に基づいて算出される細胞塊の特徴量についてもより高い精度で算出可能となるため、内部構造の予測精度の向上が期待できる。

【0061】

以上では、細胞塊の内部構造をある時点における細胞塊の画像に基づいて予測する例を示したが、例えば、同じ細胞塊を継続して観察して内部構造を繰り返し予測する場合であれば、図１７に示すように、最新の予測において、過去の予測を利用してもよい。

【0062】

例えば、前回の予測時点における細胞塊ＣＭ１が今回の予測時点において細胞塊ＣＭ４に成長した場合であれば、図１７に示すように、今回の予測結果としてモデル画像ＩＭ５を表示する際に、前回の予測結果と比較して増殖が異常に進行した部分を特定して、当該部分を腫瘍細胞として分類してもよい。このように、過去の予測結果を利用することで、細胞塊内に分布している細胞を予めデータベースに分類して記録していない場合であっても、細胞を分類して表示することが可能となる。

【0063】

図１８は、上述した実施形態に係る、サーバ装置４０を実現するためのコンピュータ１００のハードウェア構成を例示した図である。図１８に示すように、コンピュータ１００は、ハードウェア構成として、プロセッサ１０１、メモリ１０２、記憶装置１０３、読取装置１０４、通信インタフェース１０６、及び入出力インタフェース１０７を備えている。なお、プロセッサ１０１、メモリ１０２、記憶装置１０３、読取装置１０４、通信インタフェース１０６、及び入出力インタフェース１０７は、例えば、バス１０８を介して互いに接続されている。

【0064】

プロセッサ１０１は、例えば、シングルプロセッサであっても、マルチプロセッサやマルチコアプロセッサであってもよい。プロセッサ１０１は、記憶装置１０３に格納されているプログラムを読み出して実行することで、上述した取得部４１、算出部４２、及び、出力部４６として動作する。なお、プロセッサ１０１は、電気回路の一例である。

【0065】

メモリ１０２は、例えば、半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んでいてよい。記憶装置１０３は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、または外部記憶装置である。

【0066】

読取装置１０４は、例えば、プロセッサ１０１の指示に従って着脱可能記憶媒体１０５にアクセスする。着脱可能記憶媒体１０５は、例えば、半導体デバイス、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体などにより実現される。なお、半導体デバイスは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリである。また、磁気的作用により情報が入出力される媒体は、例えば、磁気ディスクである。光学的作用により情報が入出力される媒体は、例えば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、Ｂｌｕ－ｒａｙ Ｄｉｓｃ等（Ｂｌｕ－ｒａｙは登録商標）である。

【0067】

通信インタフェース１０６は、例えば、プロセッサ１０１の指示に従って、他の装置と通信する。入出力インタフェース１０７は、例えば、入力装置および出力装置との間のインタフェースである。入力装置は、例えば、ユーザからの指示を受け付けるキーボード、マウス、タッチパネルなどのデバイスである。出力装置は、例えばディスプレイなどの表示装置、およびスピーカなどの音声装置である。

【0068】

上述した記憶部４７は、例えば、メモリ１０２、記憶装置１０３、および着脱可能記憶媒体１０５を含んでもよい。また、上述した取得部４１および出力部４６は、入出力インタフェース１０７と通信インタフェース１０６の少なくとも一方を含んでもよい。

【0069】

プロセッサ１０１が実行するプログラムは、例えば、下記の形態でコンピュータ１００に提供される。
（１）記憶装置１０３に予めインストールされている。
（２）着脱可能記憶媒体１０５により提供される。
（３）プログラムサーバなどのサーバから提供される。

【0070】

なお、図１８を参照して述べたサーバ装置４０を実現するためのコンピュータ１００のハードウェア構成は例示であり、実施形態はこれに限定されるものではない。例えば、上述の構成の一部が、削除されてもよく、また、新たな構成が追加されてもよい。また、別の実施形態では、例えば、上述の算出部４２の一部または全部の機能がＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、およびＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）などによるハードウェアとして実装されてもよい。即ち、サーバ装置４０に含まれる任意の電気回路が上述した内部予測処理を行ってもよい。

【0071】

上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施形態に限定されるものではない。上述の実施形態を変形した変形形態および上述した実施形態に代替する代替形態が包含され得る。つまり、各実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形することが可能である。また、１つ以上の実施形態に開示されている複数の構成要素を適宜組み合わせることにより、新たな実施形態を実施することができる。また、各実施形態に示される構成要素からいくつかの構成要素を削除してもよく、または実施形態に示される構成要素にいくつかの構成要素を追加してもよい。さらに、各実施形態に示す処理手順は、矛盾しない限り順序を入れ替えて行われてもよい。即ち、本発明の細胞塊の内部予測方法、プログラム、画像処理装置、及び、システムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。

【0072】

上述した実施形態では、デジタルカメラ２３を備えたデジタルマイクロスコープを例示したが、細胞塊の画像を生成するイメージング装置は、例えば、レーザ走査型顕微鏡などであってもよい。また、細胞塊の画像を生成するイメージング装置は、顕微鏡に限らず、その他のイメージング装置が細胞塊の画像生成に用いられてもよい。

【0073】

上述した実施形態では、異なる方向から撮像した断層画像に表れる細胞塊の輪郭の各々から特徴量を算出することで、二次元画像から算出した特徴量を用いて細胞塊の三次元形状の特徴を定量化して細胞塊の内部構造を予測する例を示したが、細胞塊の三次元画像を生成し、三次元画像から特徴量を算出することで、細胞塊の三次元形状の特徴を定量化して細胞塊の内部構造を予測してもよい。この場合も、特徴量としては、細胞塊の表面の凹凸に関する第１特徴量と細胞塊の理想形状からのずれに関する第２特徴量の少なくとも一方を含むことが望ましく、両方を含むことがさらに望ましい。

【0074】

上述した実施形態では、特徴量と関連付けてデータベースに格納される構造情報として、３次元モデル画像と断層画像を例示したが、データベースには、その他の情報が格納されてもよい。例えば、細胞数（生細胞数と死細胞数など）、細胞密度、細胞塊内に存在する空隙の有無、大きさ、割合などの、画像以外の情報が構造情報として含まれていてもよい。また、データベースには、構造情報とともに、例えば、正常／異常、腫瘍有／腫瘍無などの、細胞塊の品質に関する情報が含まれてもよい。さらに、データベースには、ユーザが付したアノテーション情報が含まれてもよい。

【0075】

上述した実施形態では、細胞塊の構造情報として、ある時点における細胞塊の情報がデータベースに格納されている例を示したが、データベースには、継続して観察した細胞塊の経時変化に関する情報が含まれてもよい。サーバ装置４０は、データベース内の経時変化に関する情報を参照することで、異なるタイミングで行われた予測結果の比較から特定される細胞塊の変化が正常か異常かを判断してもよい。例えば、一定期間中の細胞の増殖率や増殖数などに基づいて正常か異常かを判断してもよい。

【0076】

上述した実施形態では、内部予測結果としてモデル画像や断層画像を表示したが、必ずしも画像を表示しなくてもよく、その他の情報を表示してもよい。例えば、細胞塊内に存在する細胞数、一定期間（例えば、前回の予測から今回の予測までの期間）内における細胞増殖率や細胞増殖数、細胞塊の品質情報（正常／異常、腫瘍の有無、生存率（生細胞数／全細胞数））などを表示してもよい。

【0077】

上述した実施形態では、サーバ装置４０で内部予測処理が行われる例を示したが、内部予測処理は、細胞塊を撮像した顕微鏡システム１０内で行われてもよく、より具体的には、顕微鏡２０で生成した画像に基づいて制御装置３０が内部予測処理を実行してもよい。また、内部予測処理は、データベースが構築されている装置とは異なる装置で行われてよい。例えば、サーバ装置４０に構築されているデータベースを参照して制御装置３０が内部予測処理を実行してもよい。

【符号の説明】

【0078】

１ システム
１０ 顕微鏡システム
２０ 顕微鏡
２１ ステージ
２２ 対物レンズ
２３ デジタルカメラ
３０ 制御装置
４１ 取得部
４２ 算出部
４３ 輪郭抽出部
４４ 画像選択部
４５ 特徴量算出部
４６ 出力部
４７ 記憶部
４０ サーバ装置
５０、６０、７０ クライアント装置
Ｄ１ 第１画像
Ｄ２ 第２画像
Ｄ３ 第３画像
Ｄ４ 第４画像
ＣＭ１～ＣＭ４ 細胞塊
Ｃ１、Ｃ２ 細胞
Ｌ１、Ｌ１ａ 輪郭
Ｌ２ 近似曲線
１００ コンピュータ
１０１ プロセッサ
１０２ メモリ
１０３ 記憶装置
１０４ 読取装置
１０５ 着脱可能記憶媒体
１０６ 通信インタフェース
１０７ 入出力インタフェース
１０８ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】