特許 6971758 観察システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6971758

(24)【登録日】2021年11月5日

(45)【発行日】2021年11月24日

(54)【発明の名称】観察システム

(51)【国際特許分類】

   G02B 21/00 20060101AFI20211111BHJP

   G01N 21/64 20060101ALI20211111BHJP

【ＦＩ】

   G02B21/00

   G01N21/64 F

   G01N21/64 E

【請求項の数】7

【全頁数】18

(21)【出願番号】特願2017-196528(P2017-196528)

(22)【出願日】2017年10月10日

(65)【公開番号】特開2019-70729(P2019-70729A)

(43)【公開日】2019年5月9日

【審査請求日】2020年10月9日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100163050

【弁理士】

【氏名又は名称】小栗 眞由美

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(72)【発明者】

【氏名】山下 裕介

【審査官】 瀬戸 息吹

(56)【参考文献】

【文献】 特開２０１５−１８１３４８（ＪＰ，Ａ）

【文献】 国際公開第２０１７／１５０４９７（ＷＯ，Ａ１）

【文献】 特開２０１６−２２３８９３（ＪＰ，Ａ）

【文献】 特開２０１２−０３４５７７（ＪＰ，Ａ）

【文献】 特開２０１１−０４４０１６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１７／０２１３３４７（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ １９／００ − ２１／３６

Ｇ０１Ｎ ２１／６２ − ２１／７４

Ｇ０１Ｎ ３３／４８ − ３３／９８

Ｇ０６Ｔ １／００ − １／４０

Ｇ０６Ｔ ３／００ − ５／５０

Ｇ０６Ｔ ７／００ − ７／９０

Ｇ０６Ｔ ９／００ − ９／４０

(57)【特許請求の範囲】

【請求項1】

蛍光標本の３次元画像から観察対象の３次元形状を認識する形状認識部と、
該形状認識部により認識された前記３次元形状の外接面の全域に亘って該外接面からの径方向の距離が一定で、かつ前記外接面に形状が相似する相似領域を設定する相似領域設定部と、
該相似領域設定部により設定された前記相似領域内に含まれる細胞または該細胞を構成する細胞構成要素を識別する識別部とを備える観察システム。

【請求項2】

前記相似領域設定部により設定される前記相似領域の前記径方向の厚さをユーザに指定させる厚さ指定部を備え、
前記相似領域設定部が、前記厚さ指定部によりユーザが指定した前記厚さに従って前記相似領域を設定する請求項１に記載の観察システム。

【請求項3】

前記相似領域設定部により設定される前記相似領域を形成する前記外接面からの前記径方向の距離をユーザに指定させる距離指定部を備え、
前記相似領域設定部が、前記距離指定部によりユーザが指定した前記距離に従って前記相似領域を設定する請求項１または請求項２に記載の観察システム。

【請求項4】

前記３次元画像を構成する互いに交差する３つの断面画像を互いに対応付けて同時に表示可能な表示部と、
該表示部により表示される各前記断面画像上に、前記相似領域と該相似領域内に含まれる前記細胞または前記細胞構成要素とを重ね合わせて表示させるとともに、前記相似領域内に含まれる前記細胞または前記細胞構成要素と前記相似領域外に含まれる前記細胞または前記細胞構成要素とを区別可能に表示させる表示制御部とを備える請求項１から請求項３のいずれかに記載の観察システム。

【請求項5】

前記相似領域に含まれる前記細胞または前記細胞構成要素を抽出して、抽出した前記細胞または前記細胞構成要素の情報を出力する抽出部を備える請求項４に記載の観察システム。

【請求項6】

前記形状認識部が、複数の前記細胞が集合してなる細胞集塊を前記観察対象として前記細胞集塊の前記３次元形状を認識し、
前記相似領域設定部が、前記細胞集塊の前記外接面の内側に前記相似領域を設定し、
前記識別部が、前記相似領域内に含まれる前記細胞を識別する請求項１から請求項５のいずれかに記載の観察システム。

【請求項7】

前記形状認識部が、前記細胞の核を前記観察対象として前記細胞の核の前記３次元形状を認識し、
前記相似領域設定部が、前記細胞の核の前記外接面の外側に前記相似領域を設定し、
前記識別部が、前記相似領域内に含まれる前記細胞構成要素を識別する請求項１から請求項５のいずれかに記載の観察システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、観察システムに関するものである。

【背景技術】

【0002】

従来、細胞を立体的に培養する３次元培養において、複数の細胞が立体的に集合した３次元的な構造を有する細胞集塊等の培養状態を観察する観察システムが知られている（例えば、特許文献１参照。）。

【0003】

特許文献１に記載の観察システムは、２次元的な蛍光観察画像において、細胞集塊、核、細胞膜、細胞質等の細胞構成要素の領域を色素別に認識し、色素量を基に２次元的な蛍光観察画像から各標的部位を認識および抽出して、標的部位の例えば面積等の計測値を出力している。また、特許文献１に記載の観察システムは、標的部位の認識処理の妥当性を判断するために、２次元的な蛍光観察画像上で認識された標的部位の形状と標的部位の解析結果から得られるヒストグラム上の分布との両方を確認している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１１−１７９９２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の観察システムのように、２次元的な蛍光画像を用いた解析では、スフェロイドのように３次元的な組織構造を有する細胞の計測に対しては精度が得られないという不都合がある。また、特許文献１は、標的部位の認識結果を２次元的な蛍光観察画像と合成して、認識結果を検証する手段が記載されているが、３次元的な蛍光画像を用いて、標的部位の認識結果を検証する手段については言及されていない。したがって、特許文献１の観察システムでは、３次元的な構造を有するサンプルの外周部や内周部の一定の領域を選択的に精度よく解析することができないという問題がある。

【0006】

本発明は、３次元的な構造を有するサンプルの外周部や内周部の一定の領域を選択的に精度よく解析することができる観察システムを提供することを目的としている。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、蛍光標本の３次元画像から観察対象の３次元形状を認識する形状認識部と、該形状認識部により認識された前記３次元形状の外接面の全域に亘って該外接面からの径方向の距離が一定で、かつ前記外接面に形状が相似する相似領域を設定する相似領域設定部と、該相似領域設定部により設定された前記相似領域内に含まれる細胞または該細胞を構成する細胞構成要素を識別する識別部とを備える観察システムである。

【0008】

本態様によれば、形状認識部により蛍光標本の３次元画像から認識される観察対象の３次元形状に形状が相似する相似領域が相似領域設定部により設定され、その相似領域内に含まれる細胞または細胞構成要素が識別部により識別される。相似領域設定部により設定される相似領域は、観察対象の３次元形状の外接面の全域に亘って外接面からの径方向の距離が一定なので、その一定の距離に存在する細胞または細胞構成要素を、それ以外の位置に存在する細胞または細胞構成要素と区別することができる。したがって、３次元的な構造を有する蛍光標本の観察対象における外周部や内周部の一定の領域を選択的に精度よく解析することができる。

【0009】

ここで、蛍光標本に対して外部に薬剤を投与した場合は、その薬剤が蛍光標本の内側に向かって浸潤していくことから、観察対象の外接面から一定の距離に存在する細胞または細胞構成要素に対する薬剤の効果を、それ以外の位置に存在する細胞または細胞構成要素に対する薬剤の効果と区別して正しく評価することができる。

【0010】

上記態様においては、前記相似領域設定部により設定される前記相似領域の前記径方向の厚さをユーザに指定させる厚さ指定部を備え、前記相似領域設定部が、前記厚さ指定部によりユーザが指定した前記厚さに従って前記相似領域を設定することとしてもよい。
このように構成することで、ユーザが厚さ指定部によって指定する所望の厚さの相似領域内に存在する細胞または細胞構成要素を選択的に解析することができる。

【0011】

上記態様においては、前記相似領域設定部により設定される前記相似領域を形成する前記外接面からの前記径方向の距離をユーザに指定させる距離指定部を備え、前記相似領域設定部が、前記距離指定部によりユーザが指定した前記距離に従って前記相似領域を設定することとしてもよい。
このように構成することで、ユーザが距離指定部によって指定する径方向の所望の位置の相似領域内に存在する細胞または細胞構成要素を選択的に解析することができる。

【0012】

上記態様においては、前記３次元画像を構成する互いに交差する３つの断面画像を互いに対応付けて同時に表示可能な表示部と、該表示部により表示される各前記断面画像上に、前記相似領域と該相似領域内に含まれる前記細胞または前記細胞構成要素とを重ね合わせて表示させるとともに、前記相似領域内に含まれる前記細胞または前記細胞構成要素と前記相似領域外に含まれる前記細胞または前記細胞構成要素とを区別可能に表示させる表示制御部とを備えることとしてもよい。

【0013】

このように構成することで、ユーザは、表示部により同時に表示される３次元画像の３つの断面画像により、観察対象の互いに交差する３方向の各断面形状を同時に視認することができる。この場合において、表示制御部により各断面画像上に相似領域とその中に含まれる細胞または細胞構成要素とが重ね合わせられて表示されることで、ユーザは、相似領域内に細胞または細胞構成要素がどれくらいの量含まれるか一見して把握することができる。さらに、表示制御部により各断面画像上に相似領域内と相似領域外とで細胞または細胞構成要素が区別可能に表示されることで、ユーザは、観察対象の外接面から一定の距離に存在する細胞または細胞構成要素をそれ以外の領域に存在する細胞または細胞構成要素と容易かつ正確に区別して観察することができる。

【0014】

上記態様においては、前記相似領域に含まれる前記細胞または前記細胞構成要素を抽出して、抽出した前記細胞または前記細胞構成要素の情報を出力する抽出部を備えることとしてもよい。
このように構成することで、抽出部により、ユーザは、観察対象の外接面から一定の距離に存在する細胞または細胞構成要素の情報を容易に収集することができる。

【0015】

上記態様においては、前記形状認識部が、複数の前記細胞が集合してなる細胞集塊を前記観察対象として前記細胞集塊の前記３次元形状を認識し、前記相似領域設定部が、前記細胞集塊の前記外接面の内側に前記相似領域を設定し、前記識別部が、前記相似領域内に含まれる前記細胞を識別することとしてもよい。
このように構成することで、細胞集塊内の一定の領域に存在する細胞を選択的に精度よく解析することができる。

【0016】

上記態様においては、前記形状認識部が、前記細胞の核を前記観察対象として前記細胞の核の前記３次元形状を認識し、前記相似領域設定部が、前記細胞の核の前記外接面の外側に前記相似領域を設定し、前記識別部が、前記相似領域内に含まれる前記細胞構成要素を識別することとしてもよい。
このように構成することで、個々の細胞内の一定の領域に存在する細胞構成要素を選択的に精度よく解析することができる。

【発明の効果】

【0017】

本発明によれば、３次元的な構造を有するサンプルの外周部や内周部の一定の領域を選択的に精度よく解析することができるという効果を奏する。

【図面の簡単な説明】

【0018】

【図1】本発明の第１実施形態に係る観察システムを示す概略構成図である。

【図2】細胞の認識を説明する図である。

【図3】スフェロイドの認識を説明する図である。

【図4】細胞質からスフェロイドを認識することを説明する図である。

【図5】ラベル画像の一例を示す図である。

【図6】細胞のテーブルの一例を示す図である。

【図7】スフェロイドのテーブルの一例を示す図である。

【図8】スフェロイドの内側に設定される３ＤＭａｓｋの一例を示す図である。

【図9】図８の３ＤＭａｓｋに重複する細胞を識別して抽出する様子を説明する図である。

【図10】スフェロイドの３次元画像の各断面図を３面表示する様子を説明する図である。

【図11】図１０の各断面図上に３ＤＭａｓｋと細胞を区別可能に表示した様子を説明する図である。

【図12】モニタに各断面画像とグラフとを並列して表示する様子を示す図である。

【図13】入力部により３ＤＭａｓｋの厚さを指定する様子を説明する図である。

【図14】細胞認識処理を説明するフローチャートである。

【図15】３ＤＭａｓｋ生成処理を説明するフローチャートである。

【図16】３ＤＭａｓｋに重複する細胞のみの輝度値と大きさとの関係を示すグラフと、３ＤＭａｓｋに重複する細胞と重複しない細胞の両方の輝度値と大きさとの関係を示すグラフの一例を示す図である。

【図17】入力部により３ＤＭａｓｋの厚さと距離を指定する様子を説明する図である。

【図18】本発明の第１実施形態の変形例に係る観察システムによる３ＤＭａｓｋ生成処理を説明するフローチャートである。

【図19】スフェロイド内に径方向の距離と厚さを指定して設定される３ＤＭａｓｋの一例を示す図である。

【図20】図１９の３ＤＭａｓｋに重複する細胞を識別して表示した様子を説明する図である。

【図21】各断面図上に３ＤＭａｓｋと細胞を区別可能に表示した様子を説明する図である。

【図22】細胞核の外接面の外側に設定される３ＤＭａｓｋの一例を示す図である。

【図23】本発明の第２実施形態に係る観察システムによる３ＤＭａｓｋ生成処理を説明するフローチャートである。

【発明を実施するための形態】

【0019】

〔第１実施形態〕
本発明の第１実施形態に係る観察システムについて図面を参照して以下に説明する。
本実施形態に係る観察システム１は、図１に示されるように、レーザ走査型顕微鏡３と、レーザ走査型顕微鏡３を制御したり画像を構築したりする制御装置５と、制御装置５により構築された画像を表示するモニタ（表示部）７と、ＰＣ（Personal Computer）９と、ユーザが各種入力を行うマウスやキーボード等の入力部（厚さ指定部）１１とを備えている。

【0020】

レーザ走査型顕微鏡３は、図２，３に示すような複数の細胞（蛍光標本）Ｓにより構成されるスフェロイド（細胞集塊）Ｗを収容するシャーレ等の透明な容器（不図示）を搭載する電動ステージ１３と、レーザ光を出射するレーザ光源部１５と、レーザ光源部１５から出射されたレーザ光を２次元的に走査するスキャナ１７と、スキャナ１７により走査されたレーザ光を細胞Ｓに集光する対物レンズ１９と、対物レンズ１９によるレーザ光の照射により細胞Ｓにおいて発生する蛍光を検出して細胞Ｓの画像を取得する画像取得部２１と、これらを収容する暗箱２３とを備えている。

【0021】

電動ステージ１３は、図示しない３個のモータを備え、相互に直交するＸ，Ｙ，Ｚ方向の移動軸に沿って独立して移動して、搭載した容器を３次元方向に移動させることができるようになっている。

【0022】

暗箱２３内は、電動ステージ１３を含んだ上方領域２５Ａと、それよりも下方の下方領域２５Ｂとに区画されている。上方領域２５Ａにはヒータ２７が配置され、上方領域２５Ａ内の温度が所定の培養条件（例えば、２７℃±０．５℃）となるように調整されている。また、上方領域２５Ａ内には、電動ステージ１３に位置決め状態に搭載されるサンプルホルダ２９が配置されている。

【0023】

サンプルホルダ２９は、電動ステージ１３上で容器を位置決め状態に保持することができるようになっている。サンプルホルダ２９により保持された容器は、簡易型インキュベータ３１内に収容されてその培養条件（例えば、湿度１００％およびＣＯ_２濃度０．５％）が維持されるようになっている。図中符号３３は、位相差観察用の位相差コンデンサである。

【0024】

レーザ光源部１５は、異なる波長のレーザ光を発生する複数のレーザダイオード３５と、これら複数のレーザダイオード３５から発せられたレーザ光を単一の光路に合流させるミラー３７およびダイクロイックミラー３９とを備えている。
スキャナ１７は、例えば、相互に直交する軸線回りに揺動させられる２枚のガルバノミラーを対向させて構成されたいわゆる近接ガルバノミラーである。

【0025】

対物レンズ１９は、ドライ観察用の対物レンズ１９Ａと、油浸または水浸観察用の対物レンズ１９Ｂとがレボルバ４１によって切り替え可能に設けられている。また、対物レンズ１９にはオートフォーカス機能が備えられていて、定期的にまたは必要に応じて合焦位置を検出し、対物レンズ１９が光軸に沿う方向に移動させられることにより、対物レンズ１９の焦点位置を細胞Ｓの表面に一致させることができるようになっている。

【0026】

図中符号４３は、対物レンズ１９Ｂと容器底面との間に油浸用のエマージョンオイルまたは水浸用の水を供給するポンプであり、図中符号４５は、水またはエマージョンオイルを除去するためのエアブラシである。
スキャナ１７と対物レンズ１９との間には、スキャナ１７により走査されたレーザ光を集光する瞳投影レンズ４７および結像レンズ４９が配置されている。

【0027】

画像取得部２１は、レーザ光源部１５とスキャナ１７との間に挿入されて、細胞Ｓから発せられ対物レンズ１９、結像レンズ４９、瞳投影レンズ４７およびスキャナ１７を介して戻る蛍光をレーザ光の光路から分岐するビームスプリッタ５１と、ビームスプリッタ５１により分岐された蛍光を集光するコンフォーカルレンズ５３と、可変ピンホール５５と、コリメートレンズ５７と、コリメートレンズ５７により略平行光とされた蛍光を回折させて波長ごとに分離するグレーティング５９と、グレーティング５９により分離された蛍光を集光する集光レンズ６１と、集光された蛍光を波長ごとに分岐するビームスプリッタ６３と、ビームスプリッタ６３により分岐された蛍光をそれぞれ検出する光検出器６５とを備えている。可変ピンホール５５は、対物レンズ１９の焦点位置と光学的に共役な位置関係に配置されている。符号６７はピンホールである。

【0028】

制御装置５は、電動ステージ１３およびスキャナ１７の駆動を制御し、光検出器６５から出力される輝度情報に基づいて画像を構築するようになっている。例えば、制御装置５は、ステージ８を対物レンズ１９に対して３次元的に移動させることによってスフェロイドＷを対物レンズ１９の焦点位置に対して３次元的に移動させながら、各焦点位置においてスキャナ１７によりレーザ光を２次元的に走査させ、細胞Ｓから発せられる蛍光を検出した光検出器６５から出力される輝度信号に基づいて対物レンズ１９の焦点位置に配置されている細胞Ｓのスライス画像（撮像画像）を構築していくことにより、各細胞Ｓについて複数枚のスライス画像を取得するようになっている。

【0029】

そして、制御装置５は、各細胞Ｓの複数枚のスライス画像を画像処理することにより、スフェロイドＷ全体の３次元画像を構築するようになっている。制御装置５により取得された複数枚のスライス画像および３次元画像のデータはＰＣ９に送られるようになっている。

【0030】

制御装置５は、ＰＣ９との間でデータ通信するための第１の通信Ｉ／Ｆ回路（不図示）と、電動ステージ１３、スキャナ１７、光検出器６５などを制御するためにレーザ走査型顕微鏡３とデータ通信するための第２の通信Ｉ／Ｆ回路（不図示）と、ＣＰＵ（Central Processing Unit、不図示）と、メモリ（不図示）などとで構成されている。なお、３次元画像を効率よく作成するために、ＣＰＵとは別にＧＰＵ（Graphics Processing Unit：不図示）を備えていてもよい。

【0031】

ＰＣ９は、各種プログラムや画像データ、グラフデータ等を記憶するディスク（HDD：Hard Disk Drive）６９と、ディスク６９に記憶されているプログラムを実行するＣＰＵ（形状認識部、相似領域設定部、識別部、表示制御部、抽出部）７１と、ＣＰＵ７１によるプログラムの実行により得られた細胞Ｓの認識結果や解析結果を記憶するＲＡＭ（Random Access Memory）等のメモリ７３とを備えている。

【0032】

ディスク６９には、ＣＰＵ７１が実行するプログラムとして、例えば、認識プログラム、表示プログラム、３ＤＭａｓｋ生成プログラム（不図示）および計測プログラムが記憶されている。また、ディスク６９には、制御装置５により取得された各細胞Ｓの複数枚のスライス画像およびスフェロイドＷ全体の３次元画像等の画像データが記憶されるようになっている。

【0033】

ＣＰＵ７１は、認識プログラムの実行により、３次元画像上の個々の細胞ＳやスフェロイドＷに対して認識処理を行うようになっている。認識処理においては、例えば、サイズが異なる複数のＬｏＧ（Laplacian Of Gaussian）フィルタを採用して、これらＬｏＧフィルタの出力値から局所的なピーク位置およびそのサイズを検出し、これをシード（細胞Ｓの中心位置）とする。そして、２次元的および３次元的にＬｏＧフィルタを適用し、その結果を組み合わせる。次いで、シード周辺の近傍領域をそのサイズに基づいてトリミングおよび適応的に２値化処理を行い、図２に示すように、認識した細胞Ｓの領域を形成する。また、認識した複数の細胞Ｓの集合を１つの塊（スフェロイドＷ）として認識し、図３に示すように、それら複数の細胞Ｓに外接する領域、すなわち認識したスフェロイドＷの領域を形成する。なお、図４に示すように、細胞質Ｃを認識して、認識した各細胞質Ｃの集合を１つのスフェロイドＷとして認識することとしてもよい。

【0034】

また、ＣＰＵ７１は、認識した個々の細胞ＳおよびスフェロイドＷをそれぞれ互いに異なるラベルを付して特定し、例えば図５に示すようなラベル画像と、図６に示すような個々の細胞Ｓのテーブルと、図７に示すようなスフェロイドＷのテーブルを作成するようになっている。

【0035】

ラベル画像は、図５に示すように、認識された細胞ＳごとにラベルとしてオブジェクトＩＤ（例えば、１、２、３、４、・・・ｋ・・・ｎ。）が付与されるとともに、認識されていないバックグラウンドには０が付与されて表された２次元的な画像である。細胞Ｓのテーブルは、図６に示すように、細胞Ｓごとに付されたラベル（オブジェクトＩＤ）とその中心位置情報とその外接矩形とが関連付けられた情報である。スフェロイドＷのテーブルは、図７に示すように、スフェロイドＷに付されたラベル（オブジェクトＩＤ）とその重心位置情報とその外接矩形とが関連付けられた情報である。ＣＰＵ７１により作成されたラベル画像およびテーブルはメモリ７３に記憶されるようになっている。

【0036】

また、ＣＰＵ７１は、３ＤＭａｓｋ生成プログラムの実行により、図８に示すように、認識したスフェロイドＷの３次元形状における外接面Ｐの全域に亘って、外接面Ｐからの径方向の距離が一定で、かつ、外接面Ｐに形状が相似する３ＤＭａｓｋ（相似領域）１０を設定するようになっている。具体的には、ＣＰＵ７１は、入力部１１によりユーザが指定した３ＤＭａｓｋ１０の径方向の厚さに従って、スフェロイドＷの内側に、外接面Ｐの全域に亘って外接面Ｐからその厚さの分だけ内側に広がる３ＤＭａｓｋ１０を設定するようになっている。

【0037】

また、ＣＰＵ７１は、計測プログラムの実行により、図９に示すように、設定した３ＤＭａｓｋ１０内に含まれる細胞Ｓ、すなわち３ＤＭａｓｋ１０と重複する細胞Ｓを識別して、該当する細胞Ｓを抽出するようになっている。例えば、ＣＰＵ７１は、３ＤＭａｓｋ１０内に核の重心が含まれる細胞Ｓを抽出することとしてもよい。また、ＣＰＵ７１は、抽出した細胞Ｓのデータ（情報）を作成するようになっている。細胞Ｓのデータとしては、例えば、細胞数、輝度値、長軸長などである。そして、ＣＰＵ７１は、作成したデータを示すグラフを作成してモニタ７に表示させるようになっている。グラフとしては、例えば、ヒストグラム、散布図、ライングラフ等が挙げられる。ＣＰＵ７１により作成されたグラフはディスク６９に記憶されるようになっている。

【0038】

また、ＣＰＵ７１は、表示プログラムの実行により、例えば図１０に示すように、３次元画像を構成する互いに直交する３つの断面画像、すなわち、ＸＹ断面画像、ＸＺ断面画像およびＹＺ断面画像を対応付けてモニタ７に同時に表示させるようになっている（３面表示）。各断面画像は、ＸＹ方向の撮像画像と、３次元画像をＸＺ方向およびＹＺ方向に切断した断面により作成される２次元的な画像である。

【0039】

また、ＣＰＵ７１は、図１１に示すように、モニタ７により表示されている各断面画像上に、３ＤＭａｓｋ１０と３ＤＭａｓｋ１０内に含まれる細胞Ｓとを重ね合わせて表示させるとともに、３ＤＭａｓｋ１０内に含まれる細胞Ｓと３ＤＭａｓｋ１０外に含まれる細胞Ｓとを区別可能に表示させるようになっている。例えば、ＣＰＵ７１は、スフェロイドＷにおける３ＤＭａｓｋ１０が設定された領域と、スフェロイドＷにおける３ＤＭａｓｋ１０が設定されていない領域と、３ＤＭａｓｋ１０内に含まれる細胞Ｓと、３ＤＭａｓｋ１０外に含まれる細胞Ｓとをそれぞれ異なる色に分けて表示するようになっている。

【0040】

モニタ７は、図１２に示すように、３次元画像を構成する互いに直交する３つの断面画像と、ヒストグラムやスキャッタグラム等のグラフとを並列に表示させることができるようになっている。

【0041】

入力部１１は、図１３に示すように、ＣＰＵ７１により設定しようとする３ＤＭａｓｋ１０におけるスフェロイドＷの径方向に沿う方向の厚さ（Width。以下、本実施形態において３ＤＭａｓｋ１０の厚さという。）をユーザが指定することができるようになっている。３ＤＭａｓｋ１０の厚さは、例えば、ピクセル数や距離で示すこととしてもよい。図１３は、３ＤＭａｓｋ１０の厚さをピクセル数で指定する場合を例示している。

【0042】

このように構成された観察システム１の作用について説明する。
最初に、本実施形態に係る観察システム１により、細胞Ｓの３次元画像を取得する場合について説明する。
まず、サンプルホルダ２９により容器を保持させて、容器を電動ステージ１３上に搭載し、レーザ光源部１５からレーザ光を発生させる。

【0043】

レーザ光源部１５から発せられたレーザ光は、スキャナ１７によって２次元的に走査され、瞳投影レンズ４７、結像レンズ４９および対物レンズ１９を介して容器内の細胞Ｓに集光される。レーザ光の照射位置においては、細胞Ｓ内に存在している蛍光物質が励起されて蛍光が発生する。発生した蛍光は、対物レンズ１９、結像レンズ４９、瞳投影レンズ４７およびスキャナ１７を介してレーザ光の光路を戻り、ビームスプリッタ５１によって分岐されて画像取得部２１に入射する。

【0044】

画像取得部２１に入射した蛍光は、コンフォーカルレンズ５３によって集光され、可変ピンホール５５を通過した蛍光のみがコリメートレンズ５７によって略平行光とされた後、グレーティング５９によって分光されて集光レンズ６１およびビームスプリッタ６３を介して波長毎に異なる光検出器６５により検出される。そして、制御装置５において、光検出器６５から出力される輝度信号に基づいて細胞Ｓのスライス画像が構築され、構築された複数枚のスライス画像が画像処理されて３次元画像が構築される。

【0045】

この場合において、可変ピンホール５５を十分に絞っておくことにより、対物レンズ１９の焦点位置から発生した蛍光のみを通過させて光検出器６５により検出し、鮮明な共焦点蛍光画像を取得することができる。

【0046】

次に、本実施形態に係る観察システム１により、所望のスフェロイドＷを観察する場合について説明する。
まず、ＣＰＵ７１により、表示プログラムが実行され、スフェロイドＷの３次元画像を構成するＸＹ断面画像、ＸＺ断面画像およびＹＺ断面画像とグラフとが相互に対応付けられてモニタ７に並列に表示される。

【0047】

また、図１４のフローチャートに示すように、ＣＰＵ７１により、認識プログラムが実行される。具体的には、ディスク６９に記憶されているスフェロイドＷの３次元画像のノイズが除去され（ステップＳＡ１）、３次元画像に対して二値化による基点が抽出される（ステップＳＡ２）。次いで、抽出した基点が統合されて（ステップＳＡ３）、各細胞Ｓの領域が形成され（ステップＳＡ４）、形成された細胞Ｓの領域が分割されてその分割結果が出力される（ステップＳＡ５）。

【0048】

そして、ＣＰＵ７１により、３次元画像上の個々の細胞Ｓが認識されて互いに異なるラベルを付されて特定され、図５に示すようなラベル画像と図６に示すような細胞Ｓのテーブルが作成される。また、ＣＰＵ７１により、複数の細胞Ｓの集合が１つのスフェロイドＷとして認識されてラベルが付され、図７に示すようなスフェロイドＷのテーブルが作成される。

【0049】

続いて、図１５のフローチャートに示すように、ＣＰＵ７１により、３ＤＭａｓｋ生成プログラムが実行される。具体的には、まず、ユーザが、入力部１１により、３ＤＭａｓｋ１０の厚さを指定すると（ステップＳＢ１）、ＣＰＵ７１により、ユーザが指定した厚さに従って、図８に示すように、スフェロイドＷの外接面Ｐの全域に亘って、外接面Ｐからその厚さの分だけ内側に広がる３ＤＭａｓｋ１０が設定される（ステップＳＢ２）。

【0050】

次いで、ＣＰＵ７１により、計測プログラムが実行され、ディスク６９に記憶されているラベル画像と細胞ＳおよびスフェロイドＷのテーブルにおいて、ラベルが付されている全ての細胞Ｓの核の検索が開始される（ステップＳＢ３）。そして、図９に示すように、設定した３ＤＭａｓｋ１０と重複する細胞Ｓ、すなわち、３ＤＭａｓｋ１０内に核の重心が含まれる細胞Ｓが抽出される（ステップＳＢ４）。３ＤＭａｓｋ１０と重複する全ての細胞Ｓが抽出されると、検索が終了する（ステップＳＢ５）。

【0051】

次いで、ＣＰＵ７１により、表示プログラムが実行され、モニタ７により表示されているＸＹ断面画像、ＸＺ断面画像およびＹＺ断面画像上にそれぞれ３ＤＭａｓｋ１０が合成される（ステップＳＢ６）。そして、ＣＰＵ７１により、図１１に示すように、各断面画像において、３ＤＭａｓｋ１０が設定されている領域と、３ＤＭａｓｋ１０が設定されていない領域と、３ＤＭａｓｋ１０に重複する細胞Ｓと、３ＤＭａｓｋ１０に重複しない細胞Ｓとがそれぞれ区別可能に色分けされて表示される（ステップＳＢ７）。

【0052】

また、ＣＰＵ７１により、計測プログラムが実行され、３ＤＭａｓｋ１０と重複する細胞Ｓの計測結果、例えば細胞数等が計測されてモニタ７に表示される（ステップＳＢ８）。また、図１６に示すように、３ＤＭａｓｋ１０と重複する細胞Ｓの核（死んでいる細胞Ｓの核。）のみがグラフに表示されたり、３ＤＭａｓｋ１０と重複する細胞Ｓの核（死んでいる細胞Ｓの核。）と重複しない細胞Ｓ（生きている細胞Ｓの核。）の核とが区別可能に色分けされてグラフに表示されたりすることとしてもよい。図１６において、縦軸は細胞Ｓの核のサイズ（長軸長、Length）を示し、横軸は細胞Ｓの核の輝度値（Intensity）を示している。また、図１６において、紙面右上のグラフは３ＤＭａｓｋ１０と重複する細胞Ｓの核（死んでいる細胞Ｓの核。）のみを表示したものであり、紙面右下のグラフは３ＤＭａｓｋ１０と重複する細胞Ｓの核（死んでいる細胞Ｓの核。）と重複しない細胞Ｓ（生きている細胞Ｓの核。）の核とを色分けして表示したものである。

【0053】

ここで、スフェロイドＷは形状が必ずしも真球ではないため、例えば、スフェロイドＷの重心を基準に周方向の全域に亘って重心から径方向に一定の領域内を３ＤＭａｓｋとして設定したのでは、その３ＤＭａｓｋに重複する細胞ＳごとにスフェロイドＷの外接面Ｐからの距離にばらつきが生じることになる。

【0054】

これに対し、本実施形態に係る観察システム１によれば、スフェロイドＷの３次元形状の外接面Ｐを基準として、外接面Ｐの全域に亘って外接面Ｐから内側に向かって径方向の距離が一定の３ＤＭａｓｋ１０を設定し、３ＤＭａｓｋ１０と重複する細胞Ｓを識別することで、外接面Ｐから一定の距離に存在する細胞Ｓをそれ以外の位置に存在する細胞Ｓと区別することができる。したがって、３次元的な構造を有するスフェロイドＷ内の一定の領域に存在する細胞Ｓを精度よく解析することができる。

【0055】

これにより、例えば、スフェロイドＷに対して外部に薬剤を投与した場合は、その薬剤がスフェロイドＷの内側に向かって浸潤していくことから、スフェロイドＷの外接面Ｐから一定の距離に存在する細胞Ｓに対する薬剤の効果を、それ以外の位置に存在する細胞Ｓに対する薬剤の効果と区別して正しく評価することができる。

【0056】

本実施形態においては、ユーザが３ＤＭａｓｋ１０の厚さのみを指定し、ＣＰＵ７１が、スフェロイドＷの外接面Ｐからユーザが指定する厚さの分だけ内側に広がる３ＤＭａｓｋ１０を設定する場合を例示して説明したが、これに代えて、ユーザが、図１７に示すように、３ＤＭａｓｋ１０の厚さに加えて、３ＤＭａｓｋ１０を設定しようとするスフェロイドＷの外接面Ｐからの径方向の距離（Distance。以下、本変形例において３ＤＭａｓｋ１０の距離という。）を指定し、ＣＰＵ７１が、ユーザが指定する厚さと距離に従って３ＤＭａｓｋ１０を設定することとしてもよい。

【0057】

この場合、入力部１１が厚さ指定部および距離指定部として機能することとすればよい。そして、図１８のフローチャートに示すように、ユーザが入力部１１により距離と厚さを指定すると（ステップＳＢ１´）、ＣＰＵ７１により、ユーザが指定した距離と厚さに従って、図１９に示すように、スフェロイドＷの外接面Ｐの全域に亘って、外接面Ｐからその距離の分だけ内側にずらした位置にその厚さの分だけ内側に広がる３ＤＭａｓｋ１０が設定されることとすればよい（ステップＳＢ２）。

【0058】

ステップＳＢ３〜ＳＢ８については本実施形態と同様である。これにより、ＣＰＵ７１によって、図２０に示すように、設定した３ＤＭａｓｋ１０と重複する細胞Ｓ、すなわち、３ＤＭａｓｋ１０内に核の重心が含まれる細胞Ｓが抽出される（ステップＳＢ４）。そして、図２１に示すように、ＣＰＵ７１によって、各断面画像において、３ＤＭａｓｋ１０が設定されている領域と、３ＤＭａｓｋ１０が設定されていない領域と、３ＤＭａｓｋ１０に重複する細胞Ｓと、３ＤＭａｓｋ１０に重複しない細胞Ｓとがそれぞれ区別可能に色分けされて表示される（ステップＳＢ７）。

【0059】

このようにすることで、ユーザが指定する径方向の所望の位置に所望の厚さの３ＤＭａｓｋ１０を設定して、その３ＤＭａｓｋ１０内に存在する細胞Ｓを選択的に解析することができる。例えば、３ＤＭａｓｋ１０の厚さを細胞Ｓ１つ分の大きさに合わせて設定し、その厚さは一定のままで３ＤＭａｓｋ１０の大きさを徐々に小さくして位置をずらしていくことで、スフェロイドＷの外接面Ｐから内側に向かってどの深さの層の細胞Ｓまで薬剤の効果があるかが分かる。つまり、薬剤の効果がある細胞Ｓの層と薬剤の効果がない細胞Ｓの層との境目が分かる。

【0060】

これにより、例えば、抗がん剤をスフェロイドＷの外部から投与した場合にどの層まで細胞Ｓが死滅したかを正しく評価することができる。また、薬や化粧品等を皮膚に塗ったような場合に、どの層の細胞Ｓまで悪い影響を与えてしまうかなど、細胞Ｓに対する毒性を正しく評価して安全性を知ることもできる。

【0061】

〔第２実施形態〕
次に、本発明の第２実施形態に係る観察システムについて説明する。
本実施形態に係る観察システム１は、図２２に示すように、個々の細胞Ｓを観察対象として、細胞Ｓの核Ｎの外接面Ｒの外側に３ＤＭａｓｋ１０を設定する点で第１実施形態と異なる。
以下、第１実施形態に係る観察システム１と構成を共通する箇所には、同一符号を付して説明を省略する。

【0062】

ＣＰＵ７１は、認識プログラムの実行により、３次元画像上の個々の細胞ＳやミトコンドリアＭ等の小器官（細胞構成要素）に対して認識処理を行うようになっている。また、ＣＰＵ７１は、認識した個々の細胞Ｓおよび小器官をそれぞれ互いに異なるラベルを付して特定し、ラベル画像やテーブルを作成するようになっている。

【0063】

ＣＰＵ７１は、３ＤＭａｓｋ生成プログラムの実行により、認識した細胞Ｓの核Ｎの３次元形状における外接面Ｒの全域に亘って、外接面Ｒからの径方向の距離が一定で、かつ、外接面Ｒに形状が相似する３ＤＭａｓｋ（相似領域）１０を細胞質Ｃ内に設定するようになっている。具体的には、ＣＰＵ７１は、入力部１１によりユーザが指定した３ＤＭａｓｋ１０の径方向の厚さに従って、細胞質Ｃ内において、核Ｎの外接面Ｒの全域に亘って外接面Ｒからその厚さの分だけ外側に広がる３ＤＭａｓｋ１０を設定するようになっている。

【0064】

また、ＣＰＵ７１は、計測プログラムの実行により、設定した３ＤＭａｓｋ１０内に含まれるミトコンドリアＭ等の小器官を識別して、該当する小器官を抽出するようになっている。例えば、ＣＰＵ７１は、３ＤＭａｓｋ１０内に重心が含まれる小器官を抽出することとしてもよい。また、ＣＰＵ７１は、抽出した小器官のデータ（情報）を作成するようになっている。小器官のデータとしては、例えば蛍光強度などである。

【0065】

また、ＣＰＵ７１は、表示プログラムの実行により、モニタ７により表示されている各断面画像上に、３ＤＭａｓｋ１０と３ＤＭａｓｋ内に含まれるミトコンドリアＭ等の小器官とを重ね合わせて表示させるとともに、３ＤＭａｓｋ１０内に含まれるミトコンドリアＭ等の小器官と３ＤＭａｓｋ１０外に含まれるミトコンドリアＭ等の小器官とを色分けにより区別可能に表示させるようになっている。また、ＣＰＵ７１は、作成したミトコンドリアＭ等の小器官のデータ、例えば蛍光輝度等を示すヒストグラムやスキャッタグラム等のグラフをモニタ７に各断面画像と並列に表示させるようになっている。

【0066】

入力部１１は、３ＤＭａｓｋ１０の厚さとして、ＣＰＵ７１により設定しようとする３ＤＭａｓｋ１０における細胞Ｓの核Ｎの径方向に沿う方向の厚さ（以下、本実施形態において３ＤＭａｓｋ１０の厚さという。）をユーザが指定することができるようになっている。３ＤＭａｓｋ１０の厚さは、例えば、ピクセル数や距離で示すこととしてもよい。

【0067】

このように構成された観察システム１の作用について説明する。
本実施形態に係る観察システム１による細胞Ｓの３次元画像の取得については第１実施形態と同様であるので説明を省略し、所望の細胞Ｓを観察する場合について説明する。

【0068】

まず、ＣＰＵ７１により、表示プログラムが実行され、細胞Ｓの３次元画像を構成するＸＹ断面画像、ＸＺ断面画像およびＹＺ断面画像とグラフとが相互に対応付けられてモニタ７に並列に表示される。

【0069】

次いで、第１実施形態と同様に、ＣＰＵ７１により、認識プログラムが実行されて、３次元画像上の個々の細胞Ｓの核ＮとミトコンドリアＭ等の小器官が認識されてそれぞれ互いに異なるラベルを付されて特定され、ラベル画像とテーブルが作成される。

【0070】

続いて、３ＤＭａｓｋ生成プログラムが実行され、図２３のフローチャートに示すように、ユーザが、入力部１１により、細胞質Ｃ内に納まるような３ＤＭａｓｋ１０の厚さを指定すると（ステップＳＢ１）、ＣＰＵ７１により、ユーザが指定した厚さに従って、図２２に示すように、細胞Ｓの核Ｎの外接面Ｒの全域に亘って外接面Ｒからその厚さの分だけ外側に広がる３ＤＭａｓｋ１０が細胞質Ｃ内に設定される（ステップＳＢ２）。

【0071】

次いで、ＣＰＵ７１により、計測プログラムが実行され、ディスク６９に記憶されているラベル画像と細胞Ｓおよび小器官のテーブルにおいて、ラベルが付されている全てのミトコンドリアＭ等の小器官の検索が開始される（ステップＳＣ３）。そして、設定した３ＤＭａｓｋ１０と重複するミトコンドリアＭ等の小器官が抽出される（ステップＳＣ４）。３ＤＭａｓｋ１０と重複する全てのミトコンドリアＭ等の小器官が抽出されると、検索が終了する（ステップＳＣ５）。

【0072】

次いで、ＣＰＵ７１により、表示プログラムが実行され、モニタ７により表示されているＸＹ断面画像、ＸＺ断面画像およびＹＺ断面画像上にそれぞれ３ＤＭａｓｋ１０が合成され（ステップＳＢ６）、各断面画像において、３ＤＭａｓｋ１０が設定されている領域と、３ＤＭａｓｋ１０が設定されていない領域と、３ＤＭａｓｋ１０に重複するミトコンドリアＭ等の小器官と、３ＤＭａｓｋ１０に重複しないミトコンドリアＭ等の小器官とがそれぞれ区別可能に色分けされて表示される（ステップＳＢ７）。

【0073】

また、ＣＰＵ７１により、計測プログラムが実行され、３ＤＭａｓｋ１０と重複するミトコンドリアＭ等の小器官の計測結果、例えば蛍光輝度等が抽出されてモニタ７に表示される（ステップＳＢ８）。

【0074】

以上説明したように、本実施形態に係る観察システム１によれば、個々の細胞Ｓ内の核Ｎを含まない一定の領域に存在するミトコンドリアＭ等の小器官を選択的に精度よく解析することができる。例えば、細胞Ｓの核Ｎの外側近辺における一定の距離内に存在するミトコンドリアＭ等の小器官の状態を計測することができる。

【0075】

本実施形態においては、第１実施形態の変形例と同様にして、ユーザが細胞Ｓの核Ｎを基準とする３ＤＭａｓｋ１０の厚さと径方向の距離を指定し、ＣＰＵ７１が、ユーザが指定する厚さと径方向の距離に従って、細胞質Ｃ内において、核Ｎの外接面Ｒの全域に亘って外接面Ｒからその距離の分だけ外側にずらした位置にその厚さの分だけ外側に広がる３ＤＭａｓｋ１０を設定することとしてもよい。

【0076】

また、第１実施形態と第２実施形態とに分けて説明したが、例えば、ユーザが、第１実施形態のようにスフェロイドＷを観察対象とするか、第２実施形態のように個々の細胞Ｓの核Ｎを観察対象とするかを選択して、ユーザが選択した観察対象について、第１実施形態または第２実施形態と同様の処理を切り替えて行うこととしてもよい。

【0077】

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本発明を上記の各実施形態に適用したものに限定されることなく、これらの実施形態を適宜組み合わせた実施形態に適用してもよく、特に限定されるものではない。

【符号の説明】

【0078】

１ 観察システム
７ モニタ（表示部）
１０ ３ＤＭａｓｋ（相似領域）
１１ 入力部（厚さ指定部、距離指定部）
７１ ＣＰＵ（形状認識部、相似領域設定部、識別部、表示制御部、抽出部）
Ｐ，Ｒ 外接面
Ｓ 細胞（蛍光標本）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】