特開 2018-163249 領域判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2018-163249(P2018-163249A)

(43)【公開日】2018年10月18日

(54)【発明の名称】領域判定方法

(51)【国際特許分類】

   G02B 21/36 20060101AFI20180921BHJP

   G02B 21/06 20060101ALI20180921BHJP

   G06T 7/11 20170101ALI20180921BHJP

   G06T 7/00 20170101ALI20180921BHJP

【ＦＩ】

   G02B21/36

   G02B21/06

   G06T7/11

   G06T7/00 630

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

【全頁数】19

(21)【出願番号】特願2017-59952(P2017-59952)

(22)【出願日】2017年3月24日

(71)【出願人】

【識別番号】000207551

【氏名又は名称】株式会社ＳＣＲＥＥＮホールディングス

(71)【出願人】

【識別番号】509349141

【氏名又は名称】京都府公立大学法人

(74)【代理人】

【識別番号】100135013

【弁理士】

【氏名又は名称】西田 隆美

(72)【発明者】

【氏名】森脇 三造

(72)【発明者】

【氏名】小久保 正彦

(72)【発明者】

【氏名】疋田 雄一郎

(72)【発明者】

【氏名】荻 寛志

(72)【発明者】

【氏名】伊東 恭子

【テーマコード（参考）】

2H052

5L096

【Ｆターム（参考）】

2H052AC14

2H052AF14

2H052AF25

5L096BA06

5L096CA17

5L096CA24

5L096FA02

5L096FA06

5L096FA14

5L096FA35

5L096KA04

5L096MA07

(57)【要約】

【課題】細胞等の生体試料を明視野で撮影するとともに、得られた観察対象画像に含まれる複数種類の領域を、自動的に判定できる技術を提供する。
【解決手段】まず、既知の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の学習用画像を取得する。次に、取得した学習用画像について、画素ごとに、波長プロファイルを得る。続いて、波長プロファイルに応じて、学習用画像の各画素を複数のクラスターに分類する。その後、学習用画像に含まれる領域ごとに、クラスターの情報を学習する。一方、観察対象の生体試料についても、同様に画像を取得し、得られた画像の各画素を、複数のクラスターに分類する。そして、当該クラスターの情報と、上述した学習の結果とに基づいて、観察対象画像に含まれる複数種類の領域を判定する。これにより、観察対象画像に含まれる複数種類の領域を自動的に判定できる。
【選択図】図１１

【特許請求の範囲】

【請求項1】

生体試料の画像に含まれる複数種類の領域を判定する領域判定方法であって、
学習工程と実行工程とを有し、
前記学習工程は、
ａ−１）既知の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の学習用画像を取得する工程と、
ａ−２）前記工程ａ−１）で取得した複数の前記学習用画像について、画素ごとに、前記波長帯域の変化に対する輝度の変化を表す波長プロファイルを得る工程と、
ａ−３）前記工程ａ−２）で得た前記波長プロファイルに応じて、前記学習用画像の各画素を複数のクラスターに分類する工程と、
ａ−４）前記学習用画像に含まれる複数種類の領域を指定する工程と、
ａ−５）前記領域ごとに、前記複数のクラスターの情報を学習する工程と、
を有し、
前記実行工程は、
ｂ−１）観察対象の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の観察対象画像を取得する工程と、
ｂ−２）前記工程ｂ−１）で取得した複数の前記観察対象画像について、画素ごとに、前記波長帯域の変化に対する輝度の変化を表す波長プロファイルを得る工程と、
ｂ−３）前記工程ｂ−２）で得た前記波長プロファイルに応じて、前記観察対象画像の各画素を複数のクラスターに分類する工程と、
ｂ−４）前記観察対象画像における前記クラスターの情報と、前記工程ａ−５）で学習した前記クラスターの情報とに基づいて、前記観察対象画像に含まれる複数種類の領域を判定する工程と、
を有する領域判定方法。

【請求項2】

請求項１に記載の領域判定方法であって、
前記学習工程では、既知の生体試料を含む複数の視野について、前記工程ａ−１）〜ａ−５）が実行される領域判定方法。

【請求項3】

請求項１または請求項２に記載の領域判定方法であって、
前記工程ａ―３）および前記工程ｂ−３）では、ｋ−ｍｅａｎｓ法を用いて、各画素を複数のクラスターに分類する領域判定方法。

【請求項4】

請求項１ないし請求項３のいずれかに記載の領域判定方法であって、
前記工程ａ−３）では、複数の視野について、クラスターの分類処理をまとめて行い、
前記工程ｂ−３）では、前記工程ａ−３）において構成されたモデルに基づいて、前記観察用画像の各画素を複数のクラスターに分類する領域判定方法。

【請求項5】

請求項１ないし請求項３のいずれかに記載の領域判定方法であって、
前記工程ａ−３）では、複数の視野について、クラスターの分類処理をまとめてまたは個別に行い、
前記工程ｂ−３）では、複数の視野について、クラスターの分類処理を個別に行う領域判定方法。

【請求項6】

請求項１ないし請求項５のいずれかに記載の領域判定方法であって、
前記工程ａ−５）では、ランダムフォレスト法により、前記領域ごとに、前記複数のクラスターの情報を学習する領域判定方法。

【請求項7】

請求項１ないし請求項６のいずれかに記載の領域判定方法であって、
前記生体試料は細胞である領域判定方法。

【請求項8】

請求項１ないし請求項７のいずれかに記載の領域判定方法であって、
前記複数のクラスターの情報は、前記複数のクラスターの構成比率である領域判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生体試料の画像に含まれる複数種類の領域を判定する領域判定方法に関する。

【背景技術】

【0002】

医療や生物化学の分野では、観察対象である細胞の撮像を行う。観察用の容器内に収容された細胞を観察する際、透明な細胞はその特徴を観察するのが困難な場合がある。そこで、従来、細胞の視認性を高めるため、染料を用いた細胞の染色が行われている。しかしながら、染色を行うと細胞がダメージを負うという問題がある。このため、無染色で細胞の視認性を高める必要がある。従来の明視野における細胞の撮像方法は、例えば、特許文献１に記載されている。特許文献１に記載の撮像方法では、撮像系の焦点距離を合焦点からずらすことにより、コントラストの向上を図っている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８−２０４９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

また、細胞の撮影により得られた画像には、大型細胞の細胞質が存在する領域、大型細胞の核が存在する領域、小型細胞が存在する領域、細胞が存在しない領域、等の複数種類の領域が存在する。従来は、染色された細胞を撮影することによって、観察者が、これらの複数種類の領域を判断していた。しかしながら、染色を行うことで細胞がダメージを負うため、長期にわたる観察が難しかった。また、観察者の判断に依存すると、多数の画像を比較・分析する際に、観察者の負担が大きくなる。また、観察者によって判断にばらつきが生じたり、判断ミスが生じたりすることもあり得る。

【0005】

本発明は、このような事情に鑑みなされたものであり、細胞等の生体試料を明視野で撮影するとともに、得られた観察対象画像に含まれる複数種類の領域を、自動的に判定できる技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本願の第１発明は、生体試料の画像に含まれる複数種類の領域を判定する領域判定方法であって、学習工程と実行工程とを有し、前記学習工程は、ａ−１）既知の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の学習用画像を取得する工程と、ａ−２）前記工程ａ−１）で取得した複数の前記学習用画像について、画素ごとに、前記波長帯域の変化に対する輝度の変化を表す波長プロファイルを得る工程と、ａ−３）前記工程ａ−２）で得た前記波長プロファイルに応じて、前記学習用画像の各画素を複数のクラスターに分類する工程と、ａ−４）前記学習用画像に含まれる複数種類の領域を指定する工程と、ａ−５）前記領域ごとに、前記複数のクラスターの情報を学習する工程と、を有し、前記実行工程は、ｂ−１）観察対象の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の観察対象画像を取得する工程と、ｂ−２）前記工程ｂ−１）で取得した複数の前記観察対象画像について、画素ごとに、前記波長帯域の変化に対する輝度の変化を表す波長プロファイルを得る工程と、ｂ−３）前記工程ｂ−２）で得た前記波長プロファイルに応じて、前記観察対象画像の各画素を複数のクラスターに分類する工程と、ｂ−４）前記観察対象画像における前記クラスターの情報と、前記工程ａ−５）で学習した前記クラスターの情報とに基づいて、前記観察対象画像に含まれる複数種類の領域を判定する工程と、を有する。

【0007】

本願の第２発明は、第１発明の領域判定方法であって、前記学習工程では、既知の生体試料を含む複数の視野について、前記工程ａ−１）〜ａ−５）が実行される。

【0008】

本願の第３発明は、第１発明または第２発明の領域判定方法であって、前記工程ａ―３）および前記工程ｂ−３）では、ｋ−ｍｅａｎｓ法を用いて、各画素を複数のクラスターに分類する。

【0009】

本願の第４発明は、第１発明ないし第３発明のいずれかの領域判定方法であって、前記工程ａ−３）では、複数の視野について、クラスターの分類処理をまとめて行い、前記工程ｂ−３）では、前記工程ａ−３）において構成されたモデルに基づいて、前記観察用画像の各画素を複数のクラスターに分類する。

【0010】

本願の第５発明は、第１発明ないし第３発明のいずれかの領域判定方法であって、前記工程ａ−３）では、複数の視野について、クラスターの分類処理をまとめてまたは個別に行い、前記工程ｂ−３）では、複数の視野について、クラスターの分類処理を個別に行う。

【0011】

本願の第６発明は、第１発明ないし第５発明のいずれかの領域判定方法であって、前記工程ａ−５）では、ランダムフォレスト法により、前記領域ごとに、前記複数のクラスターの情報を学習する。

【0012】

本願の第７発明は、第１発明ないし第６発明のいずれかの領域判定方法であって、前記生体試料は細胞である。

【0013】

本願の第８発明は、第１発明ないし第７発明のいずれかの領域判定方法であって、前記複数のクラスターの情報は、前記複数のクラスターの構成比率である領域判定方法。

【発明の効果】

【0014】

本願の第１発明から第８発明によれば、既知の学習用画像のクラスターの情報を学習して、観察対象画像のクラスターの情報と比較することにより、観察対象画像に含まれる複数種類の領域を自動的に判定できる。

【0015】

特に、本願の第２発明によれば、画像に含まれる複数種類の領域の特徴を、より精度よく学習できる。したがって、実行工程において、観察対象画像に含まれる複数種類の領域を、より精度よく判定できる。

【0016】

特に、本願の第４発明によれば、学習用画像と観察対象画像とで、同一の波長プロファイルをもつ画素は同一のクラスターに分類される。これにより、分類の精度を向上させることができる。

【0017】

特に、本願の第５発明によれば、撮影条件の違い等により同種の領域の波長プロファイルが異なる場合に、クラスターの分類処理を個別に行うことによって、撮影条件の違いを吸収できる。

【図面の簡単な説明】

【0018】

【図1】細胞観察装置の概略図である。

【図2】培養容器の斜視図である。

【図3】細胞観察装置を用いた観察処理の流れを示したフローチャートである。

【図4】学習工程の流れを示したフローチャートである。

【図5】撮影処理の流れを示したフローチャートである。

【図6】複数の撮影画像を概念的に示した図である。

【図7】波長プロファイルの例を示したグラフである。

【図8】撮影画像の例を示した図である。

【図9】クラスター画像の例を示した図である。

【図10】領域指定の例を示した図である。

【図11】ヒストグラムの例を示した図である。

【図12】実行工程の流れを示したフローチャートである。

【図13】コヒーレンスファクターによる撮影画像の変化を示した図である。

【図14】波長帯域の半値幅による撮影画像の変化を示した図である。

【図15】焦点位置と細胞の見え方との関係を模式的に示した図である。

【発明を実施するための形態】

【0019】

以下、本発明の実施形態について、図面を参照しつつ説明する。

【0020】

＜１．細胞観察装置の構成＞
図１は、本発明の領域判定方法を実行する装置の一例である細胞観察装置１の構成を示した概略図である。この細胞観察装置１は、細胞９２の画像を取得するとともに、得られた画像を解析する装置である。細胞観察装置１の使用時には、装置内の所定の撮影位置Ｐに、培養容器９が配置される。培養容器９内には、培養液９１とともに、生体試料である細胞９２が保持される。

【0021】

図２は、培養容器９の斜視図である。培養容器９は、複数の窪部９００を有するウェルプレートである。複数の窪部９００は、二次元的に規則的に配列されている。また、各窪部９００は、光透過性の底部を有する。培養容器９は、各窪部９００内に、培養液９１を収容するとともに、観察対象である細胞９２を培養液９１内に保持する。各窪部９００の内部において細胞９２を培養することにより、窪部９００の底部に沿って細胞９２が培養される。以下では、培養容器９と、培養容器９内の培養液９１および細胞９２を併せて試料９０と称する。なお、培養容器９は、ウェルプレートに代えて、ガラスや樹脂等で形成された光透過性のシャーレであってもよい。

【0022】

図１に示すように、細胞観察装置１は、照明部２０と、撮像光学系３０と、撮像部４０と、コンピュータ６０とを有する。照明部２０、撮像光学系３０および撮像部４０は、装置本体（図示せず）に支持される。

【0023】

照明部２０は、光源２１と、照明光学系２２とを含む。照明部２０は、撮影位置Ｐの上方に配置される。照明部２０は、細胞９２の撮影時に、撮影対象となる試料９０に対して上側から照明光を照射する。

【0024】

本実施形態の光源２１は、ハロゲンランプである。このため、光源２１は、多数の波長の光が混在する白色光を出射する。

【0025】

照明光学系２２は、バンドパスフィルタ５０と、コレクタレンズ２２１、視野絞り２２２、開口絞り２２３、およびコンデンサレンズ２２４とを有する。光源２１から出射された照明光は、コレクタレンズ２２１、視野絞り２２２、バンドパスフィルタ５０、開口絞り２２３およびコンデンサレンズ２２４を順に通過した後、試料９０に照射される。

【0026】

バンドパスフィルタ５０は、特定の狭波長帯域を通過帯域とする光学フィルタである。バンドパスフィルタ５０は、光源２１から出射された、広い波長帯を有する白色光のうち、狭波長帯の光（単色光）のみを通過させる。照明光学系２２がバンドパスフィルタ５０を含むことにより、照明部２０は、試料９０に対して、狭波長帯の照明光を照射する。また、本実施形態のバンドパスフィルタ５０には、通過帯域を変化させることが可能なフィルタ（例えば、液晶チューナブルフィルタ）が用いられる。

【0027】

コレクタレンズ２２１は、光源２１から出射された照明光の向きを調整するレンズである。視野絞り２２２は、撮影位置Ｐにおける照明領域を調節する。開口絞り２２３は、照明光学系２２の開口数ＮＡを調整する。コンデンサレンズ２２４は、照明光を集光させる。照明光学系２２の開口数ＮＡは、例えば、０．３以下とすることが好ましい。

【0028】

撮像光学系３０は、撮影位置Ｐと撮像部４０との間に配置される。撮像光学系３０は、対物レンズ３１、開口絞り３２、結像レンズ３３、ビームスプリッター３４および接眼レンズ３５を有する。対物レンズ３１は、観察対象を拡大して像を映し出すためのレンズである。開口絞り３２は、撮像光学系３０の開口数ＮＡを調整する。結像レンズ３３は、撮像部４０の受光面および接眼レンズ３５に撮像対象物の像を結像させる。ビームスプリッター３４は、結像レンズ３３を通過した光を撮像部４０側と接眼レンズ３５側とに分岐させる。

【0029】

照明部２０により照射され、試料９０を透過した光は、対物レンズ３１、開口絞り３２および結像レンズ３３を介して進む。そして、ビームスプリッター３４において接眼レンズ３５へと向かう光と、撮像部４０へと向かう光とに分かれる。ビームスプリッター３４は、接眼レンズ３５へ向かう光と撮像部４０へ向かう光との比率を、切り替え可能であってもよい。接眼レンズ３５は、結像位置３５０よりもビームスプリッター３４から離れた位置に配置される。接眼レンズ３５は、観察者が観察を行う際に覗くレンズである。対物レンズ３１で拡大した像を接眼レンズ３５でさらに拡大して観察できる。

【0030】

なお、図１において、照明光学系２２および撮像光学系３０を構成する各部は、光軸に沿って一列に配列されている。しかしながら、照明光学系２２および撮像光学系３０における光路は、反射鏡等によって折り返されてもよい。

【0031】

撮像部４０は、受光面に結像した試料９０の二次元画像を、デジタル画像データとして取得する。すなわち、撮像部４０は、撮影位置Ｐに配置された細胞９２を撮像する。撮像部４０には、例えば、ＣＣＤカメラや、ＣＭＯＳカメラが用いられる。

【0032】

この細胞観察装置１では、照明部２０が、上述したバンドパスフィルタ５０によって、白色光よりも波長帯域が小さい狭波長帯の照明光を試料９０へ照射する。また、この細胞観察装置１は、バンドパスフィルタ５０の通過帯域を変化させることができる。このため、撮像部４０は、中心波長の異なる複数の波長帯域において、細胞９２の画像を取得することが可能である。

【0033】

なお、本実施形態では、照明部２０が試料９０の上方から照明光を照射し、撮像部４０が試料９０の下方からの映像を撮像する。しかしながら、本発明の細胞観察装置は、このような構造に限られない。照明部２０が試料９０の下方から照明光を照射し、撮像部４０が試料９０の上方からの映像を撮像してもよい。

【0034】

コンピュータ６０は、細胞観察装置１内の各部を動作制御する制御部としての機能と、撮像部４０により取得された画像を処理して、画像に含まれる複数種類の領域を判定する画像処理部としての機能と、を有する。図１中に概念的に示したように、コンピュータ６０は、ＣＰＵ等のプロセッサ６０１、ＲＡＭ等のメモリ６０２、およびハードディスクドライブ等の記憶部６０３を有する。記憶部６０３には、動作制御プログラムＰ１と画像処理プログラムＰ２とが、記憶されている。また、コンピュータ６０は、上述した光源２１、バンドパスフィルタ５０、および撮像部４０と、電気的に接続されている。

【0035】

コンピュータ６０は、動作制御プログラムＰ１に従って動作することにより、上述した光源２１、バンドパスフィルタ５０、および撮像部４０を動作制御する。これにより、細胞観察装置１における細胞９２の撮影処理が進行する。後述の通り、この細胞観察装置１では、バンドパスフィルタ５０の通過帯域を変化させつつ、複数回の撮影を行う。これにより、コンピュータ６０は、撮像部４０から、複数の撮影画像Ｉ１〜Ｉｎを取得する。また、コンピュータ６０は、複数の撮影画像Ｉ１〜Ｉｎに、画像処理プログラムＰ２に基づく画像処理を行う。これにより、１つのクラスター画像Ｉｏを生成するとともに、クラスター画像Ｉｏに含まれる複数種類の領域を判定する。

【0036】

＜２．細胞観察装置を用いた細胞観察について＞
続いて、上述した細胞観察装置１を用いて細胞９２の観察を行うときの手順について、より詳細に説明する。

【0037】

図３は、細胞観察装置１を用いた観察処理の大まかな流れを示したフローチャートである。図３に示すように、この細胞観察装置１を用いて細胞９２の観察を行うときには、学習工程（ステップＳ１）と、実行工程（ステップＳ２）とが行われる。学習工程では、既知の細胞９２の画像を取得し、画像の特徴を学習する。実行工程では、未知の細胞９２の画像を取得し、ステップＳ１の学習により得られた情報に基づいて、未知の細胞９２の画像に含まれる複数種類の領域を判定する。

【0038】

＜２−１．学習工程について＞
図４は、学習工程の流れを示したフローチャートである。学習工程では、まず、既知の細胞９２が保持された培養容器９を、細胞観察装置１の撮影位置Ｐにセットする。そして、コンピュータ６０に撮影開始の指示を入力する。すると、コンピュータ６０は、光源２１を点灯させて、細胞９２に照明光を照射する。そして、コンピュータ６０は、バンドパスフィルタ５０と撮像部４０とを動作させて、細胞９２のマルチスペクトル撮影（多波長撮影）を行う（ステップＳ１１）。すなわち、バンドパスフィルタ５０の通過帯域を変化させつつ、撮像部４０による細胞９２の撮影を、複数回行う。

【0039】

図５は、ステップＳ１１における撮影処理の流れを、より詳細に示したフローチャートである。図５に示すように、ステップＳ１１では、撮像部４０による１回の細胞９２の撮影（ステップＳ１１１）を実行した後、撮影すべき次の波長帯域があるか否かが、コンピュータ６０によって判断される（ステップＳ１１２）。撮影すべき波長帯域の数は、例えば、４つ以上とすればよい。撮影すべき次の波長帯域がある場合には（ステップＳ１１２においてｙｅｓ）、バンドパスフィルタ５０の通過帯域を、その波長帯域に切り替えて（ステップＳ１１３）、再び細胞９２の撮影を行う（ステップＳ１１１）。そして、予め設定された全ての波長帯域の撮影画像が取得されるまで、ステップＳ１１１〜Ｓ１１３の処理を繰り返す。やがて、撮影すべき波長帯域が無くなると（ステップＳ１１２においてｎｏ）、細胞観察装置１は、細胞９２の撮影を終了する。これにより、中心波長の異なる複数の波長帯域において撮影された、複数の撮影画像Ｉ１〜Ｉｎ（ｎ：２以上の整数）が得られる。以下では、この学習工程のマルチスペクトル撮影により得られる複数の撮影画像Ｉ１〜Ｉｎ（学習用画像）を、符号ＩＡｎ〜ＩＡｎで表す。

【0040】

なお、図５は、培養容器９内の１つの撮影視野についての撮影手順である。複数の撮影視野において学習用の撮影画像ＩＡ１〜ＩＡｎを取得したい場合には、細胞観察装置１は、撮影視野ごとに、図５の処理を実行すればよい。

【0041】

図６は、ステップＳ１１で取得された複数の撮影画像ＩＡ１〜ＩＡｎを、概念的に示した図である。複数の撮影画像ＩＡ１〜ＩＡｎは、それぞれ、複数の画素ｐにより構成される。コンピュータ６０は、まず、複数の撮影画像ＩＡ１〜ＩＡｎについて、同一の座標に位置する画素ｐ同士（例えば、図５中に示した画素ｐ同士）を比較する。そして、画素ｐが存在する座標（以下、「画素座標Ｃ」と称する）ごとに、波長プロファイルＷを作成する（ステップＳ１２）。具体的には、同一の画素座標Ｃに位置する画素ｐ同士を比較して、輝度の変化を表す波長プロファイルＷを作成する。そして、このような波長プロファイルＷを、全ての画素座標Ｃについて作成する。

【0042】

その結果、例えば、図７のように、波長帯域の変化に対する輝度の変化を表す波長プロファイルＷが、画素座標Ｃごとに得られる。図７の横軸は、撮影時の波長帯域の中心波長を示す。図７の縦軸は、輝度を示す。

【0043】

図４に戻る。複数の波長プロファイルＷが得られると、続いて、コンピュータ６０は、各画素座標Ｃを、複数のクラスターに分類する（ステップＳ１３）。ここでは、画素座標Ｃごとに、ステップＳ１２で得られた波長プロファイルＷを参照する。そして、各画素座標Ｃを、波長プロファイルＷの特徴に応じて、予め用意された複数のクラスターの１つに分類する。このとき、コンピュータ６０は、波長プロファイルＷの特徴が近い画素座標Ｃを、同一のクラスターに分類する。例えば、波長プロファイルＷの傾き、変曲点の数、変曲点の位置、輝度の平均値、輝度の最大値、輝度の最小値等の複数の要素を考慮して、画素座標Ｃを、複数のクラスターに分類する。

【0044】

また、ステップＳ１３のクラスターの分類には、ｋ−ｍｅａｎｓ法を用いてもよい。ｋ−ｍｅａｎｓ法を用いる場合には、まず、複数の画素座標Ｃを、予め決められた数のクラスターに、ランダムまたは所定の法則に従って分類する。次に、各クラスターに属する波長プロファイルＷの中心を求める。このとき、中心位置の計算に、各画素座標Ｃの波長プロファイルＷの要素を含める。その後、複数の画素座標Ｃを、波長プロファイルＷの中心が最も近いクラスターに分類し直す。コンピュータ６０は、このような処理を、各画素座標Ｃの分類結果が変動しなくなるまで、あるいは、所定の停止条件を満たすまで繰り返す。このようなｋ−ｍｅａｎｓ法を用いれば、各画素座標Ｃを、波長プロファイルＷに応じて、複数のクラスターに適切かつ自動的に分類できる。

【0045】

その後、コンピュータ６０は、ステップＳ１３の分類結果に基づいて、クラスター画像Ｉｏを生成する（ステップＳ１４）。以下では、この学習工程において生成されるクラスター画像Ｉｏ（学習用画像）を、符号ＩＡｏで表す。ここでは、クラスター画像ＩＡｏの各画素に（すなわち各画素座標Ｃに）、分類されたクラスターに対応する階調値を割り当てる。階調値は、クラスターごとに予め決められた値であってもよく、撮影画像ＩＡ１〜ＩＡｎがもつ輝度値を使って、クラスターごとに算出された値であってもよい。これにより、１つの視野におけるクラスター画像ＩＡｏが得られる。

【0046】

図８は、ステップＳ１１において取得される撮影画像ＩＡ１〜ＩＡｎの例を示した図である。図９は、ステップＳ１４において生成されるクラスター画像ＩＡｏの例を示した図である。図８と図９とを比較すると、図８の撮影画像よりも、図９のクラスター画像ＩＡｏの方が、細胞９２の位置や形を明瞭に把握できる。すなわち、上述した波長プロファイルＷに基づくクラスター分けによって、撮影画像ＩＡ１〜ＩＡｎよりも領域の分類に適したクラスター画像ＩＡｏが生成されていることが分かる。

【0047】

続いて、クラスター画像ＩＡｏに含まれる既知の複数種類の領域が指定される（ステップＳ１５）。図１０は、ステップＳ１５の領域指定の例を示した図である。ここでは、細胞観察装置１のユーザが、クラスター画像ＩＡｏ内に存在する各領域を指定する。例えば、クラスター画像ＩＡｏ内において、大型細胞の細胞質が存在する領域、大型細胞の核が存在する領域、小型細胞が存在する領域、細胞が存在しない領域、等の複数種類の領域をそれぞれ指定する。図１０の例では、クラスター画像ＩＡｏに対して、３種類の領域Ｔ１，Ｔ２，Ｔ３が指定されている。領域の指定は、例えば、ユーザが、コンピュータ６０のディスプレイに表示されるクラスター画像ＩＡｏを見ながら、コンピュータ６０の入力部を操作することにより、行えばよい。

【0048】

なお、上述したステップＳ１１において、複数の撮影視野でマルチスペクトル撮影を行った場合には、上述したステップＳ１４において、撮影視野ごとにクラスター画像ＩＡｏが生成される。その場合、ユーザは、ステップＳ１５において、生成された各クラスター画像ＩＡｏについて、複数種類の領域を指定する。

【0049】

ユーザによる既知の領域の指定が完了すると、コンピュータ６０は、指定された領域ごとに、クラスターの構成比率を学習する（ステップＳ１６）。ここでは、まず、領域ごとに、クラスターの構成比率を示すヒストグラムＨを作成する。図１１は、領域ごとに作成されたヒストグラムＨの例を示した図である。ヒストグラムＨの横軸は、ステップＳ１３において分類されるクラスターを示す。図１１の縦軸は、画素数を示す。ヒストグラムＨは、当該領域において、どのクラスターにどれだけの画素が属しているかを表す情報となる。

【0050】

コンピュータ６０は、ステップＳ１５において指定された領域ごとに、このようなヒストグラムＨを作成する。そして、当該領域ごとに、ヒストグラムＨの特徴を学習する。すなわち、クラスターの構成比率として任意の情報が入力されたときに、１つの領域を出力できるように、ヒストグラムＨの特徴を一般化する。ステップＳ１６の処理には、例えば、ランダムフォレストなどの機械学習の手法を用いることができる。ランダムフォレストを用いれば、クラスターの構成比率から各領域へ辿り着くための複数の条件分岐を、自動的に作成することができる。

【0051】

ステップＳ１の学習工程では、以上のステップＳ１１〜Ｓ１６を、既知の細胞９２を含む複数の視野について行うことが好ましい。より多くの視野について学習を行えば、画像に含まれる複数種類の領域の特徴を、より精度よく得ることができる。したがって、後述する実行工程において、観察対象の画像に含まれる複数種類の領域を、より精度よく判定できる。

【0052】

＜２−２．実行工程について＞
以上の学習工程（ステップＳ１）が終了すると、次に、コンピュータ６０は、実行工程（ステップＳ２）を行う。

【0053】

図１２は、実行工程の流れを示したフローチャートである。実行工程では、まず、観察対象となる細胞９２が保持された培養容器９を、細胞観察装置１の撮影位置Ｐにセットする。そして、コンピュータ６０に撮影開始の指示を入力する。すると、コンピュータ６０は、光源２１を点灯させて、細胞９２に照明光を照射する。そして、コンピュータ６０は、バンドパスフィルタ５０と撮像部４０とを動作させて、細胞９２のマルチスペクトル撮影を行う（ステップＳ２１）。すなわち、バンドパスフィルタ５０の通過帯域を変化させつつ、撮像部４０による細胞９２の撮影を、複数回行う。これにより、中心波長の異なる複数の波長帯域において撮影された、複数の撮影画像Ｉ１〜Ｉｎ（ｎ：２以上の整数）が得られる。以下では、この実行工程のマルチスペクトル撮影により得られる複数の撮影画像Ｉ１〜Ｉｎ（観察対象画像）を、符号ＩＢｎ〜ＩＢｎで表す。

【0054】

なお、マルチスペクトル撮影の詳細な手順については、ステップＳ１１と同様であるため、重複説明を省略する。

【0055】

次に、コンピュータ６０は、複数の撮影画像ＩＢ１〜ＩＢｎについて、上述したステップＳ１２と同様に、画素座標Ｃごとに、波長プロファイルＷを作成する（ステップＳ２２）。すなわち、同一の画素座標Ｃに位置する画素ｐ同士を比較して、波長帯域の変化に対する輝度の変化を表す波長プロファイルＷを作成する。そして、このような波長プロファイルＷを、全ての画素座標Ｃについて作成する。

【0056】

複数の波長プロファイルＷが得られると、続いて、コンピュータ６０は、上述したステップＳ１３と同様に、各画素座標Ｃを、複数のクラスターに分類する（ステップＳ２３）。ここでは、画素座標Ｃごとに、ステップＳ２２で得られた波長プロファイルＷを参照する。そして、各画素座標Ｃを、波長プロファイルＷの特徴に応じて、予め用意された複数のクラスターの１つに分類する。ステップＳ２３のクラスターの分類には、ステップＳ１３と同様に、ｋ−ｍｅａｎｓ法を用いてもよい。

【0057】

その後、コンピュータ６０は、ステップＳ２３の分類結果に基づいて、上述したステップＳ１４と同様に、クラスター画像Ｉｏを生成する（ステップＳ２４）。以下では、この実行工程において生成されるクラスター画像Ｉｏ（観察対象画像）を、符号ＩＢｏで表す。ここでは、クラスター画像ＩＢｏの各画素に（すなわち各画素座標Ｃに）、分類されたクラスターに対応する階調値を割り当てる。階調値は、クラスターごとに予め決められた値であってもよく、撮影画像ＩＢ１〜ＩＢｎがもつ輝度値を使って、クラスターごとに算出された値であってもよい。これにより、観察対象の撮影視野におけるクラスター画像ＩＢｏが得られる。

【0058】

続いて、コンピュータ６０は、クラスター画像ＩＢｏに含まれる複数種類の領域を判定する（ステップＳ２５）。ここでは、観察対象のクラスター画像ＩＢｏにおけるクラスターの分布と、上述したステップＳ１６の学習結果とに基づいて、領域の判定が行われる。具体的には、観察対象のクラスター画像ＩＢｏを複数の小領域に分割し、各小領域のクラスターの構成比率に、ステップＳ１６で得られた学習結果を適用して、各小領域が、上述したステップＳ１５で指定された複数の領域のうち、どの領域に最も近似するかが判定される。例えば、ステップＳ１６で、ランダムフォレストによる条件分岐を取得した場合には、クラスター画像ＩＢｏの各小領域のクラスターの分布を、当該条件分岐に当てはめて、辿り着く領域を判定結果とする。

【0059】

その後、コンピュータ６０は、領域の判定結果を画面に表示する。例えば、クラスター画像ＩＢｏに、領域に応じた着色を施すことによって、各領域を、ユーザに対して視覚的に明示する。

【0060】

このように、この細胞観察装置１では、既知の細胞９２の画像のクラスター分布を学習して、観察対象の細胞９２のクラスター分布と比較することにより、観察対象の画像に含まれる複数種類の領域を判定する。これにより、観察対象の画像に含まれる複数種類の領域を、自動的かつ精度よく判定することができる。

【0061】

特に、この細胞観察装置１では、撮影画像の輝度そのもので領域を判定するのではなく、マルチスペクトル撮影により得られる複数の撮影画像から、クラスター分布を導出し、そのクラスター分布に基づいて、複数種類の領域を判定する。これにより、透明な細胞９２の画像に含まれる複数種類の領域を、より精度よく判定することができる。

【0062】

＜３．撮影条件について＞
続いて、上述したステップＳ１１およびステップＳ２１における、好ましい撮影条件について、説明する。この細胞観察装置１では、無染色の細胞９２を観察することを想定している。一般的に細胞９２は無色透明に近いため、無染色状態の細胞９２を明視野下で観察しようとすると、その構成要素の輪郭を特定しにくい。このため、ステップＳ１１およびステップＳ２１のマルチスペクトル撮影においては、コヒーレンスファクターσ、照明光の波長帯域の半値幅、および焦点位置を、適切に設定して、撮影画像のコントラストを高めることが好ましい。

【0063】

＜３−１．コヒーレンスファクターについて＞
初めに、コヒーレンスファクターσの条件について、図１３を参照しつつ説明する。図１３は、コヒーレンスファクターσの値を変化させて撮像部４０が取得した撮影画像を示した図である。

【0064】

コヒーレンスファクターσは、照明光学系２２の開口数ＮＡと、撮像光学系３０の開口数ＮＡとの比である。具体的には、コヒーレンスファクターσは、照明光学系２２の開口数ＮＡを撮像光学系３０の開口数ＮＡで割った値である。コヒーレンスファクターσを小さくすることにより、撮像部４０で取得できる画像のコントラストを向上できる。

【0065】

図１３には、コヒーレンスファクターσの値をσ＝１．００、σ＝０．８３、σ＝０．５８、σ＝０．３６、σ＝０．２６、およびσ＝０．１４とした場合の細胞９２の撮影画像の例が示されている。図１３の例の細胞９２は、細胞体９２１と、細胞体９２１から突出した突起９２２と、細胞体９２１の内部の微細構造９２３とを有する。なお、このときのバンドパスフィルタ５０の中心波長は５５０ｎｍであり、半値幅は３９ｎｍである。したがって、細胞９２に照射される狭波長帯の照明光の中心波長は５５０ｎｍ、半値幅は３９ｎｍである。

【0066】

図１３に示すように、コヒーレンスファクターσの値が小さくなるにつれ、細胞９２の撮影画像のコントラストが向上する。特に、σ＝０．８３の場合にはぼやけていた細胞体９２１の輪郭が、σ＝０．５８の場合にははっきりと視認できる。また、σ＝０．８３の場合には視認が困難な突起９２２の輪郭や、細胞体９２１の微細構造９２３の輪郭の存在を、σ＝０．５８の場合には視認できる。このように、コヒーレンスファクターσの値をσ＝０．６以下とすることにより、明視野において透明な細胞９２の各部を視認できる程度まで、撮影画像のコントラストを向上できる。

【0067】

また、σ＝０．５８の場合にはぼやけていた突起９２２の輪郭や、細胞体９２１の微細構造９２３の輪郭を、σ＝０．３６の場合には視認できる。このように、コヒーレンスファクターσの値をσ＝０．４以下とすることにより、明視野において透明な細胞９２の各部をより鮮明に視認できる程度まで、撮影画像のコントラストをより向上できる。

【0068】

σ＝０．２６の場合には、σ＝０．３６の場合と同様、細胞体９２１の輪郭を鮮明に視認できる。また、σ＝０．２６の場合には、σ＝０．３６の場合よりもさらに撮影画像のコントラストが向上する。一方、σ＝０．１４の場合では、σ＝０．２６の場合と比べて明らかな視認性およびコントラストの向上は見られなかった。

【0069】

以上の結果より、上述したステップＳ１１およびステップＳ２１においては、コヒーレンスファクターσが０．６以下となるように、照明光学系２２および撮像光学系３０を調整して、マルチスペクトル撮影を行うことが好ましいと言える。また、コヒーレンスファクターσを０．４以下とすれば、より好ましいと言える。また、コヒーレンスファクターσを０．３以下とすれば、さらに好ましいと言える。

【0070】

＜３−２．照明光の波長帯域の半値幅について＞
次に、照明光の波長帯域の半値幅について、説明する。照明部２０から照射される照明光は、細胞９２の表面において屈折する。このとき、照明光が、白色光よりも波長帯域が小さい狭波長帯の光である場合には、白色光の場合よりも、屈折箇所における光の拡がりが少ない。すなわち、狭波長帯の照明光は、屈折後もほぼ同一方向へ進行する。このため、狭波長帯の照明光を用いれば、視認性が高く，領域の判定に必要な高精度な情報を含む撮影画像を得ることができる。

【0071】

図１４には、バンドパスフィルタ５０を使用しない場合と、バンドパスフィルタ５０の半値幅を１５３ｎｍ、１２４ｎｍ、および１０ｎｍとした場合との細胞９２の撮影画像の例が示されている。バンドパスフィルタ５０の半値幅が小さいほど、バンドパスフィルタ５０を通過した照明光の波長帯域は小さくなる。図１４の例の細胞９２は、細胞体９２１と、細胞体９２１から突出した突起９２２とを有する。なお、このときのコヒーレンスファクターσの値はσ＝０．２６であり、バンドパスフィルタ５０の中心波長は５５０ｎｍである。

【0072】

図１４に示すように、バンドパスフィルタ５０を使用しない白色光における撮影画像と比べて、バンドパスフィルタ５０を使用した狭波長帯における３つの撮影画像では、細胞９２の各部を視認しやすい。特に、白色光における撮影画像では、細胞体９２１から延びる突起９２２を視認するのが困難であるのに対し、狭波長帯における３つの撮影画像では、突起９２２を視認できる。このように、狭波長帯における細胞９２の像を撮像することにより、コントラストが高い撮影画像を得ることができる。このように、バンドパスフィルタ５０が介在することにより、細胞９２による拡がりが生じにくい狭波長帯の光のみを撮像部４０が撮像する。したがって、コントラストの高い撮影画像を取得できる。

【0073】

また、図１４に示すように、狭波長帯における３つの撮影画像を比較すると、狭波長帯の半値幅が小さくなるにつれ、画像のコントラストが向上する。特に、半値幅が１２４ｎｍの場合には、半値幅が１５３ｎｍの場合と比べて、突起９２２の輪郭の視認性が大きく向上している。このように、狭波長帯の半値幅は、１５０ｎｍ以下であることが好ましい。一方、半値幅が１０ｎｍの場合には、半値幅１２４ｎｍの場合と比べて、突起９２２の輪郭の視認性がさらに向上する。したがって、狭波長帯の半値幅は、１００ｎｍ以下であることがより好ましい。すなわち、狭波長帯の半値幅を１５０ｎｍ以下や、１００ｎｍ以下とすることにより、よりコントラストの高い細胞画像を取得できる。

【0074】

以上の結果より、上述したステップＳ１１およびステップＳ２１においては、マルチスペクトル撮影に用いられる各波長帯域の半値幅を、１５０ｎｍ以下とすることが好ましいと言える。また、マルチスペクトル撮影に用いられる各波長帯域の半値幅を、１００ｎｍ以下とすれば、より好ましいと言える。これにより、上述したステップＳ１２およびステップＳ２２において、変化の大きい波長プロファイルＷを得ることができる。その結果、上述したステップＳ１３およびステップＳ２３において、各画素をより適切に分類できる。

【0075】

＜３−３．焦点位置について＞
最後に、焦点位置の条件について、図１５を参照しつつ説明する。図１５は、焦点位置と細胞９２の見え方との関係を模式的に示した図である。図１５中に模式的に示したように、細胞９２は透明であるため、撮像光学系３０の焦点位置を細胞９２に合わせた合焦点位置とすると、撮像部４０により取得された画像において、細胞内部と細胞外部との輝度は近似する。このため、合焦点位置では、細胞９２が視認しにくくなる。

【0076】

撮像光学系３０の焦点位置を合焦点位置から近距離方向（撮像部４０側）へとずらすと、細胞内部が細胞外部よりも白く見える。そして、撮像光学系３０の焦点位置を合焦点位置から一定距離近距離方向へずらした第１位置において、エッジの強さが極大値をとる。このため、第１位置において、細胞９２および細胞９２の各部の視認性が高くなる。撮像光学系３０の焦点位置を第１位置よりもさらに近距離方向へずらすと、画像がぼけて、エッジが弱くなり、細胞９２の視認性が低下する。

【0077】

一方、撮像光学系３０の焦点距離を合焦点位置から遠距離方向（照明部２０側）へとずらすと、細胞内部が細胞外部よりも黒く見える。そして、撮像光学系３０の焦点位置を合焦点位置から一定距離遠距離方向へずらした第２位置において、エッジの強さが極大値をとる。このため、第２位置において、細胞９２および細胞９２の各部の視認性が高くなる。撮像光学系３０の焦点位置を第２位置よりもさらに遠距離方向へずらすと、画像がぼけて、エッジが弱くなり、細胞９２の視認性が低下する。

【0078】

したがって、上述したステップＳ１１およびステップＳ２１においては、撮像光学系３０の焦点位置を、合焦点位置から一定距離ずらした第１位置または第２位置として、マルチスペクトル撮影を行うことが好ましい。これにより、より高いコントラストの撮影画像Ｉ１〜Ｉｎを取得できる。なお、合焦点位置から第１位置または第２位置までの距離は、細胞９２の種類ごとに予め決めた所定の距離であってもよい。また、合焦点位置から第１位置または第２位置までの距離は、観察しながら調整して決定してもよい。

【0079】

＜４．変形例＞
以上、本発明の一実施形態について説明したが、本発明は、上記の実施形態に限定されるものではない。

【0080】

上記の実施形態では、学習工程におけるクラスターの分類処理（ステップＳ１３）と、実行工程におけるクラスターの分類処理（ステップＳ２３）とを、個別の処理によって行っていた。しかしながら、学習工程におけるクラスターの分類処理と、実行工程におけるクラスターの分類処理とを、共通の処理によって行ってもよい。例えば、複数の視野の学習用画像について、まとめてｋ−ｍｅａｎｓ法を適用し、構成したモデルに基づいて、観察用画像について、クラスターの分類処理を行ってもよい。このようにすれば、同一の波長プロファイルＷをもつ画素は同一のクラスターに分類される。したがって、分類の精度を向上させることができる。

【0081】

ただし、学習用の撮影画像ＩＡ１〜ＩＡｎと観察用の撮影画像ＩＢ１〜ＩＢｎとで、撮影条件の違い等により、同種の領域の波長プロファイルＷが異なる場合がある。そのような場合には、上記の実施形態のように、学習工程におけるクラスターの分類処理と、実行工程におけるクラスターの分類処理とを、個別に行うことによって、生体試料の違いや撮影条件の違いを吸収できる。このため、学習工程におけるクラスターの分類処理と、実行工程におけるクラスターの分類処理とを、個別に行う方が、精度のよい結果が得られる場合がある。なお、学習工程および実行工程を通して、全視野を個別に処理してもよい。また、学習工程では複数の視野について個別に処理し、実行工程では複数の視野を個別に処理してもよい。

【0082】

また、上記の実施形態では、各領域におけるクラスターの構成比率に基づいて、領域を判定していた。しかしながら、学習用画像の領域ごとに、クラスターの配置状態などの、構成比率以外の情報を学習し、当該情報と、観察対象画像におけるクラスターの情報とに基づいて、観察対象画像に含まれる複数種類の領域を判定してもよい。

【0083】

また、照明光学系２２および撮像光学系３０の構成は、上記の実施形態と異なっていてもよい。例えば、照明光学系２２および撮像光学系３０が、他の要素を有していてもよいし、上記の実施形態に含まれる要素が省略されていてもよい。また、照明光学系２２または撮像光学系３０におけるバンドパスフィルタ５０の位置は、上記の実施形態と異なっていてもよい。

【0084】

上記の実施形態では、照明光学系２２にバンドパスフィルタ５０が設けられていた。しかしながら、撮像光学系３０にバンドパスフィルタ５０を設けてもよい。その場合、細胞９２には、照明光として白色光が照射されるが、撮像光学系３０のバンドパスフィルタ５０によって、撮像部４０に到達する光の波長帯域を変更することができる。したがって、撮像部４０において、複数の波長帯域における撮影画像Ｉ１〜Ｉｎを取得することができる。

【0085】

また、上記の実施形態では、光源２１としてハロゲンランプを用い、バンドパスフィルタ５０によって、照明光の波長帯域を変化させていた。しかしながら、光源２１として、波長変調が可能なレーザ発振器またはＬＥＤを用いてもよい。そうすれば、光源２１からの出射光自体の波長帯域を変化させることができるため、バンドパスフィルタ５０を省略することができる。

【0086】

また、上記の実施形態の細胞観察装置１は、観察者が直接観察を行うための接眼レンズ３５を有していた。しかしながら、接眼レンズ３５は省略されてもよい。

【0087】

また、上記の実施形態や変形例に登場した各要素を、矛盾が生じない範囲で、適宜に組み合わせてもよい。

【符号の説明】

【0088】

１ 細胞観察装置
９ 培養容器
２０ 照明部
２１ 光源
２２ 照明光学系
３０ 撮像光学系
３１ 対物レンズ
３２ 開口絞り
３３ 結像レンズ
３４ ビームスプリッター
３５ 接眼レンズ
４０ 撮像部
５０ バンドパスフィルタ
６０ コンピュータ
９０ 試料
９１ 培養液
９２ 細胞
２２１ コレクタレンズ
２２２ 視野絞り
２２３ 開口絞り
２２４ コンデンサレンズ
Ｃ 画素座標
Ｈ ヒストグラム
Ｉ１，ＩＡ１，ＩＢ１ 撮影画像
Ｉｏ，ＩＡｏ，ＩＢｏ クラスター画像
Ｐ 撮影位置
Ｔ１，Ｔ２，Ｔ３ 領域
Ｗ 波長プロファイル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】