特許 5953195 撮影解析装置、その制御方法及び撮影解析装置用のプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5953195

(24)【登録日】2016年6月17日

(45)【発行日】2016年7月20日

(54)【発明の名称】撮影解析装置、その制御方法及び撮影解析装置用のプログラム

(51)【国際特許分類】

   G02B 21/36 20060101AFI20160707BHJP

   G01N 21/64 20060101ALI20160707BHJP

   H04N 5/225 20060101ALI20160707BHJP

【ＦＩ】

   G02B21/36

   G01N21/64 F

   G01N21/64 E

   H04N5/225 F

【請求項の数】11

【全頁数】24

(21)【出願番号】特願2012-208304(P2012-208304)

(22)【出願日】2012年9月21日

(65)【公開番号】特開2014-63041(P2014-63041A)

(43)【公開日】2014年4月10日

【審査請求日】2015年3月11日

(73)【特許権者】

【識別番号】000129253

【氏名又は名称】株式会社キーエンス

(74)【代理人】

【識別番号】100107847

【弁理士】

【氏名又は名称】大槻 聡

(72)【発明者】

【氏名】近藤 亮介

(72)【発明者】

【氏名】康 宇範

【審査官】 瀬戸 息吹

(56)【参考文献】

【文献】 特開２００９−２７６２５０（ＪＰ，Ａ）

【文献】 特開２００８−１３９７９５（ＪＰ，Ａ）

【文献】 特開２０００−２０９４２５（ＪＰ，Ａ）

【文献】 特開２００４−３４０６６３（ＪＰ，Ａ）

【文献】 特開２００９−１４６０３３（ＪＰ，Ａ）

【文献】 特開２０１２−０３２１８３（ＪＰ，Ａ）

【文献】 国際公開第２０１３／１６４２８１（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ １９／００ − ２１／３６

Ｇ０１Ｎ ２１／６２ − ２１／７４

Ｈ０４Ｎ ５／２２２− ５／２５７

(57)【特許請求の範囲】

【請求項1】

励起波長が異なる複数の蛍光色素が付与された観察対象物を載置するステージと、
上記ステージに載置された観察対象物に対し、上記複数の蛍光色素をそれぞれ励起するための複数の励起光を照射する励起光照射手段と、
上記複数の励起光の各々が照射されたときに観察対象物を撮影してモノクロ階調からなる２以上の撮影画像を取得する撮影手段と、
上記撮影画像の各々に異なる色成分を割り当てて、複数の異なる色成分画像を生成することにより、当該複数の異なる色成分画像を重ね合わせたオーバーレイ画像を生成するオーバーレイ画像生成手段と、
上記オーバーレイ画像生成手段により生成されたオーバーレイ画像を表示する表示手段と、
ユーザ操作に基づいて、上記オーバーレイ画像を構成する色成分のいずれかをマスク用色成分として選択するマスク用色成分選択手段と、
上記マスク用色成分が割り当てられた色成分画像から解析対象領域以外の領域をマスク領域として特定するマスク領域特定手段と、
上記オーバーレイ画像を構成する色成分のうち上記マスク用色成分以外の色成分が割り当てられている色成分画像から、上記マスク領域を用いて上記解析対象領域以外の領域がマスクされた抽出画像を生成する抽出画像生成手段とを備えたことを特徴とする撮影解析装置。

【請求項2】

上記マスク領域特定手段は、マスク用閾値を用いて、上記マスク用色成分が割り当てられた色成分画像を二値化して、解析対象領域以外の領域をマスクするためのマスク画像を生成する二値化手段を備え、上記二値化手段により生成されたマスク画像に基づいて、上記マスク領域を特定することを特徴とする請求項１に記載の撮影解析装置。

【請求項3】

上記オーバーレイ画像が表示される表示手段上で、上記複数の異なる色成分のうち、上記マスク用色成分以外の複数の色成分のいずれかを解析用色成分として選択する解析用色成分選択手段を備え、
上記抽出画像生成手段は、上記解析用色成分選択手段により選択された解析用色成分が割り当てられた色成分画像に対し、上記解析対象領域以外の領域がマスクされるマスク処理を行って上記抽出画像を生成することを特徴とする請求項１又は２に記載の撮影解析装置。

【請求項4】

上記マスク用色成分選択手段は、上記オーバーレイ画像が表示される表示手段上で、上記オーバーレイ画像を構成する色成分のうち解析対象領域以外の領域の色成分をマスク用色成分として色成分の選択を受け付けることを特徴とする請求項１〜３のいずれかに記載の撮影解析装置。

【請求項5】

上記マスク画像を表示するマスク画像表示手段と、
上記マスク画像表示手段上で、ユーザ操作に基づいて、上記マスク用閾値を変更するマスク用閾値調整手段とを備え、
上記二値化手段は、変更後の上記マスク用閾値を用いて、上記マスク用色成分が割り当てられた色成分画像を二値化して上記マスク画像を生成し、
上記マスク画像表示手段は、変更後の上記マスク用閾値を用いて二値化された上記マスク画像を表示することを特徴とする請求項２に記載の撮影解析装置。

【請求項6】

上記抽出画像を表示する抽出画像表示手段と、
上記抽出画像表示手段上で、ユーザ操作に基づいて、抽出用閾値を指定する抽出用閾値調整手段とを備え、
上記抽出画像生成手段は、上記抽出用閾値を用いて、上記オーバーレイ画像を構成する色成分のうち上記マスク用色成分以外の色成分が割り当てられている色成分画像から、上記マスク領域を用いて上記解析対象領域以外の領域がマスクされた画像を二値化して、抽出画像を生成することを特徴とする請求項１〜５のいずれかに記載の撮影解析装置。

【請求項7】

上記抽出用閾値調整手段は、上記抽出画像が表示されている状態で、上記抽出用閾値の変更を受け付け、
上記抽出画像生成手段は、上記抽出用閾値調整手段により変更された上記抽出用閾値に基づいて、抽出画像を再生成することを特徴とする請求項６に記載の撮影解析装置。

【請求項8】

３つの異なる色成分のうち、ユーザがそれぞれ指定したマスク用色成分、第１の解析用色成分及び第２の解析用色成分に対し、上記マスク用色成分が割り当てられた色成分画像及び上記第１の解析用色成分が割り当てられた色成分画像を用いて得られた第１の抽出画像と、上記マスク用色成分が割り当てられた色成分画像及び上記第２の解析用色成分が割り当てられた色成分画像を用いて得られた第２の抽出画像とを合成し、合成画像を生成する抽出画像合成手段を備えたことを特徴とする請求項３に記載の撮影解析装置。

【請求項9】

上記抽出画像生成手段により生成された上記抽出画像に基づいて、解析対象領域内の上記マスク用色成分以外の色成分の領域である抽出領域の総数を上記表示手段に表示することを特徴とする請求項１〜８のいずれかに記載の撮影解析装置。

【請求項10】

励起波長が異なる複数の蛍光色素が付与された観察対象物をステージに載置するステップと、
上記ステージに載置された観察対象物に対し、上記複数の蛍光色素をそれぞれ励起するための複数の励起光を照射するステップと、
上記複数の励起光の各々が照射されたときに観察対象物を撮影してモノクロ階調からなる２以上の撮影画像を取得する撮影ステップと、
上記撮影画像の各々に異なる色成分を割り当てて、複数の異なる色成分画像を生成することにより、当該複数の異なる色成分画像を重ね合わせたオーバーレイ画像を生成するオーバーレイ画像生成ステップと、
上記オーバーレイ画像生成ステップにおいて生成されたオーバーレイ画像を表示する表示ステップと、
ユーザ操作に基づいて、上記オーバーレイ画像を構成する色成分のいずれかをマスク用色成分として選択するマスク用色成分選択ステップと、
上記マスク用色成分が割り当てられた色成分画像から解析対象領域以外の領域をマスク領域として特定するマスク領域特定ステップと、
上記オーバーレイ画像を構成する色成分のうち上記マスク用色成分以外の色成分が割り当てられている色成分画像から、上記マスク領域を用いて上記解析対象領域以外の領域がマスクされた抽出画像を生成する抽出画像生成ステップとを備えたことを特徴とする撮影解析装置の制御方法。

【請求項11】

励起波長が異なる複数の蛍光色素が付与された観察対象物をステージに載置する手順と、
上記ステージに載置された観察対象物に対し、上記複数の蛍光色素をそれぞれ励起するための複数の励起光を照射する手順と、
上記複数の励起光の各々が照射されたときに観察対象物を撮影してモノクロ階調からなる２以上の撮影画像を取得する撮影手順と、
上記撮影画像の各々に異なる色成分を割り当てて、複数の異なる色成分画像を生成することにより、当該複数の異なる色成分画像を重ね合わせたオーバーレイ画像を生成するオーバーレイ画像生成手順と、
上記オーバーレイ画像生成手順において生成されたオーバーレイ画像を表示する表示手順と、
ユーザ操作に基づいて、上記オーバーレイ画像を構成する色成分のいずれかをマスク用色成分として選択するマスク用色成分選択手順と、
上記マスク用色成分が割り当てられた色成分画像から解析対象領域以外の領域をマスク領域として特定するマスク領域特定手順と、
上記オーバーレイ画像を構成する色成分のうち上記マスク用色成分以外の色成分が割り当てられている色成分画像から、上記マスク領域を用いて上記解析対象領域以外の領域がマスクされた抽出画像を生成する抽出画像生成手順とをコンピュータに実行させることを特徴とする撮影解析装置用のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影解析装置、その制御方法及び撮影解析装置用のプログラムに係り、さらに詳しくは、観察対象物を撮影してモノクロ階調からなる２以上の撮影画像を取得する撮影解析装置の改良に関する。

【背景技術】

【0002】

蛍光観察は、試薬を付与した観察対象物に励起光を照射し、観察対象物が発する蛍光を利用して観察対象物を撮影し、得られた撮影画像を閲覧することにより行われる（例えば、特許文献１）。試薬は、励起光を吸収して蛍光を放射する蛍光色素からなり、細胞や生体組織に取り込まれることにより、無色透明の細胞、生体組織、細胞内の器官を蛍光によって識別することができる。通常、複数の試薬を用いて多重染色された観察対象物を観察する場合、試薬に対応する様々な波長の励起光を含む光が観察対象物に照射され、観察対象物がカラーカメラにより撮影される。

【0003】

一方、蛍光の強さや位置を正確に特定するといった定量測定には、カラーカメラよりも感度が高いモノクロカメラが用いられる。また、多重染色された観察対象物をモノクロカメラにより撮影する場合には、観察対象物に対し、試薬に対応する波長の励起光が順に照射される。モノクロカメラは、励起光が照射されるごとに観察対象物を順に撮影し、試薬ごとのモノクロ階調画像を取得する。

【0004】

モノクロ階調画像は、細胞や生体組織における試薬の分布を示すことから、観察対象物上で各試薬がどの様に影響し合っているのかといったことを確認する場合は、順に撮影して得られた複数のモノクロ階調画像から疑似カラー画像が作成される。この疑似カラー画像は、各モノクロ階調画像をそれぞれ異なる色成分に割り当てることによって作成される。疑似カラー画像は、元の蛍光色とは異なるものの、疑似カラー画像を閲覧すれば、試薬ごとに蛍光色の異なる各染色部位が相互にどの様に影響し合っているのかを容易に識別することができる。

【0005】

また、遺伝情報を保持するＤＮＡ（デオキシリボ核酸）分子又は染色体の大きさ、細胞内における数などを測定する場合には、染色部位が細胞を示すモノクロ階調画像と、染色部位がＤＮＡ分子や染色体といった器官を示すモノクロ階調画像が取得される。細胞などを示す染色部位は、モノクロ階調画像を二値化することにより、互いに隣接する画素からなる画像領域として抽出することができる。しかしながら、例えば細胞内の遺伝情報を確認したい場合に、染色部位がＤＮＡ分子などの器官を示すモノクロ階調画像全体を単に二値化する方法では、確認対象である細胞内の染色部位だけでなく、確認対象ではない細胞外の領域から多数のノイズが抽出されてしまい、ユーザがモニタ上で遺伝情報を視認し難くなるのみならず、染色部位の数や面積などを測定しようとしたときに正しい結果が得られない可能性がある。

【0006】

一般に、染色部位が細胞を示すモノクロ階調画像と、染色部位がＤＮＡ分子などの器官を示すモノクロ階調画像とは、別個独立の画像ファイルに格納及び保存されている。したがって、仮に、これらの複数の画像ファイルを用いて細胞内の遺伝情報を確認する方法があったとしても、ユーザは複数の画像ファイルを扱う画像処理アルゴリズムや画像処理プログラムを熟知していなければならず、画像処理の経験やプログラミング知識の浅いユーザが簡易な操作で撮影画像の解析を行うのは困難である。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００８−１３９７９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明は、上記の事情に鑑みてなされたものであり、画像処理の経験やプログラミング知識の浅いユーザでも簡易な操作で撮影画像の解析を行うことができる撮影解析装置を提供することを目的とする。

【0009】

また、本発明は、細胞外の領域からノイズを抽出することなく、ＤＮＡ分子や染色体といった器官を示す染色部位を正しく抽出することができる撮影解析装置を提供することを他の目的とする。

【0010】

また、本発明は、第１の試薬による染色部位を容易に識別することができるとともに、当該染色部位以外の領域をマスクするためのマスク用閾値をユーザが任意に変更することができる撮影解析装置を提供することを他の目的とする。

【0011】

また、本発明は、第２の試薬による染色部位を容易に識別することができるとともに、第２の試薬に対応する色成分画像を二値化するのに用いる抽出用閾値をユーザが任意に指定することができる撮影解析装置を提供することを他の目的とする。

【0012】

また、本発明は、上述した撮影解析装置の制御方法を提供することを他の目的とする。さらに、本発明は、コンピュータを上述した撮影解析装置として機能させることができるプログラムを提供することを他の目的とする。

【課題を解決するための手段】

【0013】

第１の本発明による撮影解析装置は、励起波長が異なる複数の蛍光色素が付与された観察対象物を載置するステージと、上記ステージに載置された観察対象物に対し、上記複数の蛍光色素をそれぞれ励起するための複数の励起光を照射する励起光照射手段と、上記複数の励起光の各々が照射されたときに観察対象物を撮影してモノクロ階調からなる２以上の撮影画像を取得する撮影手段と、上記撮影画像の各々に異なる色成分を割り当てて、複数の異なる色成分画像を生成することにより、当該複数の異なる色成分画像を重ね合わせたオーバーレイ画像を生成するオーバーレイ画像生成手段と、上記オーバーレイ画像生成手段により生成されたオーバーレイ画像を表示する表示手段と、ユーザ操作に基づいて、上記オーバーレイ画像を構成する色成分のいずれかをマスク用色成分として選択するマスク用色成分選択手段と、上記マスク用色成分が割り当てられた色成分画像から解析対象領域以外の領域をマスク領域として特定するマスク領域特定手段と、上記オーバーレイ画像を構成する色成分のうち上記マスク用色成分以外の色成分が割り当てられている色成分画像から、上記マスク領域を用いて上記解析対象領域以外の領域がマスクされた抽出画像を生成する抽出画像生成手段とを備えて構成される。

【0014】

ユーザは、表示手段にてオーバーレイ画像を視認して、オーバーレイ画像を構成する複数の異なる色成分画像のうち、マスク画像として使用したい色成分をマスク用色成分として選択する。そうすると、マスク領域特定手段によってマスク領域が特定され、抽出画像生成手段によって、オーバーレイ画像を構成する色成分のうちマスク用色成分以外の色成分が割り当てられている色成分画像から、マスク領域を用いて解析対象領域以外の領域がマスクされた抽出画像が生成される。したがって、画像処理の経験やプログラミング知識の浅いユーザでも簡易な操作で撮影画像の解析を行うことができる。例えば、細胞内の遺伝情報を確認したい場合、表示手段に表示されたオーバーレイ画像を構成する複数の異なる色成分画像のうち、染色部位が細胞を示す一の色成分をマスク用色成分として選択する、という簡易な操作で、解析対象となる解析画像から一部の領域が抽出された（マスクされた）抽出画像において、細胞外の領域に現れるノイズを低減することができる。また、細胞や生体組織に取り込まれた蛍光色素が放射する蛍光を利用して観察対象物が撮影されるので、無色透明の細胞や生体組織であっても、ノイズに影響されることなく、所望の染色部位を抽出することができる。特に、細胞外の領域からノイズを抽出することなく、ＤＮＡ分子や染色体といった器官を示す染色部位を正しく抽出することができる。

【0015】

第２の本発明による撮影解析装置は、上記構成に加え、上記マスク領域特定手段が、マスク用閾値を用いて、上記マスク用色成分が割り当てられた色成分画像を二値化して、解析対象領域以外の領域をマスクするためのマスク画像を生成する二値化手段を備え、上記二値化手段により生成されたマスク画像に基づいて、上記マスク領域を特定するように構成される。

【0016】

第３の本発明による撮影解析装置は、上記構成に加え、上記オーバーレイ画像が表示される表示手段上で、上記複数の異なる色成分のうち、上記マスク用色成分以外の複数の色成分のいずれかを解析用色成分として選択する解析用色成分選択手段を備え、上記抽出画像生成手段が、上記解析用色成分選択手段により選択された解析用色成分が割り当てられた色成分画像に対し、上記解析対象領域以外の領域がマスクされるマスク処理を行って上記抽出画像を生成するように構成される。

【0017】

第４の本発明による撮影解析装置は、上記構成に加え、上記マスク用色成分選択手段が、上記オーバーレイ画像が表示される表示手段上で、上記オーバーレイ画像を構成する色成分のうち解析対象領域以外の領域の色成分をマスク用色成分として色成分の選択を受け付けるように構成される。

【0019】

第５の本発明による撮影解析装置は、上記構成に加え、上記マスク画像を表示するマスク画像表示手段と、上記マスク画像表示手段上で、ユーザ操作に基づいて、上記マスク用閾値を変更するマスク用閾値調整手段とを備え、上記二値化手段が、変更後の上記マスク用閾値を用いて、上記マスク用色成分が割り当てられた色成分画像を二値化して上記マスク画像を生成し、上記マスク画像表示手段が、変更後の上記マスク用閾値を用いて二値化された上記マスク画像を表示するように構成される。

【0020】

この様な構成によれば、第１の試薬による染色部位を容易に識別することができるとともに、当該染色部位以外の領域をマスクするためのマスク用閾値をユーザが任意に変更することができる。

【0021】

第６の本発明による撮影解析装置は、上記構成に加え、上記抽出画像を表示する抽出画像表示手段と、上記抽出画像表示手段上で、ユーザ操作に基づいて、抽出用閾値を指定する抽出用閾値調整手段とを備え、上記抽出画像生成手段が、上記抽出用閾値を用いて、上記オーバーレイ画像を構成する色成分のうち上記マスク用色成分以外の色成分が割り当てられている色成分画像から、上記マスク領域を用いて上記解析対象領域以外の領域がマスクされた画像を二値化して、抽出画像を生成するように構成される。

【0022】

この様な構成によれば、第２の試薬による染色部位を容易に識別することができるとともに、第２の試薬に対応する色成分画像を二値化するのに用いる抽出用閾値をユーザが任意に変更することができる。

【0023】

第７の本発明による撮影解析装置は、上記構成に加え、上記抽出用閾値調整手段が、上記抽出画像が表示されている状態で、上記抽出用閾値の変更を受け付け、上記抽出画像生成手段が、上記抽出用閾値調整手段により変更された上記抽出用閾値に基づいて、抽出画像を再生成するように構成される。この様な構成によれば、抽出画像を閲覧しながら抽出用閾値の調整を行うことができる。

【0024】

第８の本発明による撮影解析装置は、上記構成に加え、３つの異なる色成分のうち、ユーザがそれぞれ指定したマスク用色成分、第１の解析用色成分及び第２の解析用色成分に対し、上記マスク用色成分が割り当てられた色成分画像及び上記第１の解析用色成分が割り当てられた色成分画像を用いて得られた第１の抽出画像と、上記マスク用色成分が割り当てられた色成分画像及び上記第２の解析用色成分が割り当てられた色成分画像を用いて得られた第２の抽出画像とを合成し、合成画像を生成する抽出画像合成手段を備えて構成される。

【0025】

この様な構成によれば、第１の解析用色成分に対応する試薬を第２の試薬とし、第２の解析用色成分に対応する試薬を第３の試薬とすれば、マスク画像に対応する第１の試薬による染色部位上において、第２及び第３の試薬による各染色部位が相互にどの様に影響し合っているのかといったことを容易に識別することができる。

【0026】

第９の本発明による撮影解析装置は、上記構成に加え、上記抽出画像生成手段により生成された上記抽出画像に基づいて、解析対象領域内の上記マスク用色成分以外の色成分の領域である抽出領域の総数を上記表示手段に表示するように構成される。
第１０の本発明による撮影解析装置の制御方法は、励起波長が異なる複数の蛍光色素が付与された観察対象物をステージに載置するステップと、上記ステージに載置された観察対象物に対し、上記複数の蛍光色素をそれぞれ励起するための複数の励起光を照射するステップと、上記複数の励起光の各々が照射されたときに観察対象物を撮影してモノクロ階調からなる２以上の撮影画像を取得する撮影ステップと、上記撮影画像の各々に異なる色成分を割り当てて、複数の異なる色成分画像を生成することにより、当該複数の異なる色成分画像を重ね合わせたオーバーレイ画像を生成するオーバーレイ画像生成ステップと、上記オーバーレイ画像生成ステップにおいて生成されたオーバーレイ画像を表示する表示ステップと、ユーザ操作に基づいて、上記オーバーレイ画像を構成する色成分のいずれかをマスク用色成分として選択するマスク用色成分選択ステップと、上記マスク用色成分が割り当てられた色成分画像から解析対象領域以外の領域をマスク領域として特定するマスク領域特定ステップと、上記オーバーレイ画像を構成する色成分のうち上記マスク用色成分以外の色成分が割り当てられている色成分画像から、上記マスク領域を用いて上記解析対象領域以外の領域がマスクされた抽出画像を生成する抽出画像生成ステップとを備えて構成される。

【0027】

第１１の本発明による撮影解析装置用のプログラムは、励起波長が異なる複数の蛍光色素が付与された観察対象物をステージに載置する手順と、上記ステージに載置された観察対象物に対し、上記複数の蛍光色素をそれぞれ励起するための複数の励起光を照射する手順と、上記複数の励起光の各々が照射されたときに観察対象物を撮影してモノクロ階調からなる２以上の撮影画像を取得する撮影手順と、上記撮影画像の各々に異なる色成分を割り当てて、複数の異なる色成分画像を生成することにより、当該複数の異なる色成分画像を重ね合わせたオーバーレイ画像を生成するオーバーレイ画像生成手順と、上記オーバーレイ画像生成手順において生成されたオーバーレイ画像を表示する表示手順と、ユーザ操作に基づいて、上記オーバーレイ画像を構成する色成分のいずれかをマスク用色成分として選択するマスク用色成分選択手順と、上記マスク用色成分が割り当てられた色成分画像から解析対象領域以外の領域をマスク領域として特定するマスク領域特定手順と、上記オーバーレイ画像を構成する色成分のうち上記マスク用色成分以外の色成分が割り当てられている色成分画像から、上記マスク領域を用いて上記解析対象領域以外の領域がマスクされた抽出画像を生成する抽出画像生成手順とを備えて構成される。

【発明の効果】

【0028】

本発明による撮影解析装置では、画像処理の経験やプログラミング知識の浅いユーザでも簡易な操作で撮影画像の解析を行うことができる。

【0029】

また、本発明による撮影解析装置では、細胞や生体組織に取り込まれた蛍光色素が放射する蛍光を利用して観察対象物が撮影されるので、無色透明の細胞や生体組織であっても、ノイズに影響されることなく、所望の染色部位を抽出することができる。特に、細胞外の領域からノイズを抽出することなく、ＤＮＡ分子や染色体といった器官を示す染色部位を正しく抽出することができる。

【0030】

また、本発明による撮影解析装置では、第１の試薬による染色部位を容易に識別することができるとともに、当該染色部位以外の領域をマスクするためのマスク用閾値をユーザが任意に変更することができる。

【0031】

また、本発明による撮影解析装置では、第２の試薬による染色部位を容易に識別することができるとともに、第２の試薬に対応する色成分画像を二値化するのに用いる抽出用閾値をユーザが任意に変更することができる。

【0032】

また、本発明によれば、上述した撮影解析装置の制御方法を提供することができる。さらに、本発明によれば、コンピュータを上述した撮影解析装置として機能させるプログラムを提供することができる。

【図面の簡単な説明】

【0033】

【図1】本発明の実施の形態による撮影解析装置１００の一構成例を示したブロック図である。

【図2】図１のＰＣ１２０の動作の一例を示した図であり、表示部１２１上に表示される蛍光観察画面５０が示されている。

【図3】図１のＰＣ１２０の構成例を示したブロック図である。

【図4】図１の撮影解析装置１００における蛍光観察時の動作の一例を示したフローチャートである。

【図5】図１の撮影解析装置１００における蛍光観察時の動作の一例を示したフローチャートである。

【図6】図１のＰＣ１２０の動作の一例を示した図であり、蛍光観察画面５０内の解析ボタン５６を操作した際に表示される抽出設定画面６０が示されている。

【図7】図１のＰＣ１２０の動作の一例を示した図であり、起動ボタン６２の操作によって表示される解析アプリ画面７０が示されている。

【図8】図１のＰＣ１２０の動作の一例を示した図であり、マスク用チャネルを選択した後の解析アプリ画面７０が示されている。

【図9】図１のＰＣ１２０の動作の一例を示した図であり、マスク用チャネルを確定した後の解析アプリ画面７０が示されている。

【図10】図１のＰＣ１２０の動作の一例を示した図であり、マスク画像の二値化により判定された注目領域を整形する場合の解析アプリ画面７０が示されている。

【図11】図１のＰＣ１２０の動作の一例を示した図であり、１つ目の解析用チャネルを選択した後の解析アプリ画面７０が示されている。

【図12】図１のＰＣ１２０の動作の一例を示した図であり、１つ目の解析用チャネルを確定した後の解析アプリ画面７０が示されている。

【図13】図１のＰＣ１２０の動作の一例を示した図であり、２つ目の解析用チャネルを選択した後の解析アプリ画面７０が示されている。

【図14】図１のＰＣ１２０の動作の一例を示した図であり、２つ目の解析用チャネルを選択した後の解析アプリ画面７０が示されている。

【図15】図１のＰＣ１２０の動作の一例を示した図であり、抽出結果の確認時の解析アプリ画面７０が示されている。

【図16】図１のＰＣ１２０の動作の一例を示した図であり、詳細ボタンを操作した後に表示される計測結果確認画面８０が示されている。

【発明を実施するための形態】

【0034】

＜撮影解析装置１００＞
図１は、本発明の実施の形態による撮影解析装置１００の一構成例を示したブロック図である。この撮影解析装置１００は、試薬を付与した観察対象物２に励起光１を照射し、観察対象物２が発する蛍光３を利用して観察対象物２を撮影する蛍光顕微鏡システムであり、撮影ユニット１１０及びＰＣ（パーソナルコンピュータ）１２０により構成される。

【0035】

例えば、撮影解析装置１００は、撮影解析プログラムに基づいてコンピュータを動作させることにより実現することができる。また、その様な撮影解析プログラムは、ＣＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体に記録して提供され、或いは、ネットワークを介して提供される。

【0036】

撮影ユニット１１０は、観察対象物２を撮影してモノクロ階調画像を取得する顕微鏡本体部であり、ＰＣ１２０により撮影制御が行われ、取得したモノクロ階調画像をＰＣ１２０へ送信する。

【0037】

ＰＣ１２０は、モノクロ階調画像に基づいて定量測定を行う解析ユニットであり、表示部１２１、キーボード１２２及びマウス１２３により構成される。表示部１２１には、撮影画像、撮影条件の設定画面、定量測定の結果などが表示される。キーボード１２２及びマウス１２３は、ユーザ操作を受け付ける入力デバイスである。

【0038】

この撮影ユニット１１０は、蛍光観察と、透過光４を利用した明視野観察とを切替可能であり、フィルタホルダ１１１、対物レンズ１１２、可動ステージ１１３、結像レンズ１１４、観察切替手段１１５、カラーフィルタ１１６、モノクロカメラ１１７、接眼レンズ１１８、カラーカメラ１１９、励起光源２０、光量調整部２１、コレクタレンズ２２、透過照明光源３０、透過照明レンズ３１、フィルタ切替部４０、ステージ駆動部４１、画像転送部４２及び制御部４３により構成される。

【0039】

励起光源２０は、試薬に含まれる蛍光色素を励起するための励起光１を生成する蛍光観察用光源装置であり、試薬に対応する波長を含む励起光１が出射される。例えば、水銀ランプが励起光源２０として用いられ、可視光よりも波長の短い紫外光が励起光１として出射される。

【0040】

光量調整部２１は、励起光１の透過光量を調整する。コレクタレンズ２２は、光量調整部２１を介して励起光源２０から入射された励起光１を平行な光束に変換し、フィルタホルダ１１１内の励起フィルタ１２に向けて出射する。

【0041】

フィルタホルダ１１１は、２以上のフィルタユニット１０を保持し、所定方向に移動させることにより、フィルタユニット１０のいずれか一つを観察光の光路上に配置し、或いは、当該光路から退避させることができる。フィルタユニット１０は、励起フィルタ１１、ダイクロイックミラー１２及び吸収フィルタ１３からなる。

【0042】

励起フィルタ１１は、所定の波長の励起光１を選択的に透過させる波長選択フィルタである。ダイクロイックミラー１２は、励起フィルタ１１を透過した励起光１を対物レンズ１１２に向けて反射する一方、観察対象物２から対物レンズ１１２を介して入射された観察光を吸収フィルタ１２側へ透過させる。

【0043】

吸収フィルタ１３は、観察対象物２により散乱され、対物レンズ１１２及びダイクロイックミラー１４を介して入射された励起光１を吸収するとともに、所定の波長の蛍光３を選択的に透過させる波長選択フィルタである。励起光１は、観察対象物２に対し、観察光と同軸に対物レンズ１１２側から落射される。

【0044】

可動ステージ１１３は、２以上の試薬を付与した観察対象物２を載置する載置台であり、ｘ，ｙ，ｚ方向に移動させることができる。ｚ方向は、対物レンズ１１２の光軸に平行な方向であり、ｘ，ｙ方向は、上記光軸に垂直な方向である。ステージ駆動部４１は、可動ステージ１１３の駆動を行う。可動ステージ１１３をｚ方向に移動させることにより、撮影画像のピント合わせを行うことができる。また、可動ステージ１１３をｘ又はｙ方向に移動させることにより、モノクロカメラ１１７の視野内へ観察対象物２を移動させることができる。

【0045】

各試薬は、励起波長が互いに異なる蛍光色素からなる。フィルタホルダ１１１には、試薬ごとのフィルタユニット１０が保持される。フィルタ切替部４０は、フィルタユニット１０の切替を行う。発光させる試薬に応じてフィルタユニット１０を変更することにより、観察対象物２に対し試薬に対応する波長の励起光１を順に照射することができるとともに、観察対象物２を順に撮影することができ、試薬ごとのモノクロ階調画像を取得することができる。

【0046】

フィルタユニット１０を透過した蛍光３は、結像レンズ１１４、観察切替部１１５及びカラーフィルタ１１６を介して、モノクロカメラ１１７に入射される。観察切替部１１５は、蛍光観察時に、観察対象物２から結像レンズ１１４を介して入射された蛍光３をモノクロカメラ１１７側へ透過させ、透過光４による明視野観察時に、観察対象物２から結像レンズ１１４を介して入射された透過光４をカラーカメラ１１９に向けて反射する。

【0047】

カラーフィルタ１１６は、モノクロカメラ１１７を用いて明視野観察を行う場合に使用されるフィルタであり、ＲＧＢの色成分を選択的に透過させる。モノクロカメラ１１７は、蛍光３を受光してモノクロ階調画像を生成する蛍光観察用撮像装置であり、ＣＣＤ（Charge Coupled Devices：電荷結合素子）などの撮像素子により構成される。

【0048】

透過照明光源３０は、明視野観察用の可視光を生成する光源装置である。透過照明レンズ３１は、透過照明光源３０から入射された可視光を可動ステージ１１３に向けて集光する。接眼レンズ１１８は、観察対象物２を透過し、結像レンズ１１４及び観察切替部１１５を介して入射された透過光４をカラーカメラ１１９に向けて集光する。カラーカメラ１１９は、透過光４を受光してカラー画像を生成する撮像装置である。

【0049】

画像転送部４２は、モノクロカメラ１１７からモノクロ階調画像を取得し、或いは、カラーカメラ１１９からカラー画像を取得し、撮影画像としてＰＣ１２０へ送信する。制御部４３は、光量調整部２１、フィルタ切替部４０、ステージ駆動部４１及び画像転送部４２を制御する。

【0050】

ＰＣ１２０では、蛍光観察時に、励起光１が照射されるごとに観察対象物２を順に撮影して取得された２以上のモノクロ階調画像を用いて、疑似カラー画像が作成され、また、所望の染色部位がモノクロ階調画像から抽出される。

【0051】

＜蛍光観察画面５０＞
図２は、図１のＰＣ１２０の動作の一例を示した図であり、表示部１２１上に表示される蛍光観察画面５０が示されている。蛍光観察画面５０は、蛍光観察時の操作画面であり、モノクロ階調画像ＦＩｒ，ＦＩｇ，ＦＩｂや疑似カラー画像Ｐｃを閲覧したり、撮影条件を設定することができる。

【0052】

この蛍光観察画面５０には、撮影画像の表示欄５１と、観察方法の選択欄５２と、撮影倍率の選択欄５３と、ステージ制御の入力欄５４と、顕微鏡操作タブ５５ａ及びカメラ設定タブ５５ｂと、解析ボタン５６が設けられている。表示欄５１には、モノクロ階調画像ＦＩｒ，ＦＩｇ，ＦＩｂや疑似カラー画像Ｐｃが表示される。

【0053】

モノクロ階調画像ＦＩｒ，ＦＩｇ及びＦＩｂは、観察対象物２に対して試薬に対応する波長の励起光１が順に照射されるごとに、観察対象物２を順に撮影して取得された試薬ごとの撮影画像であり、画素ごとに保持される所定階調の輝度値、例えば、８ビットの輝度値からなる。

【0054】

この例では、励起波長が互いに異なる３つの試薬が観察対象物２に付与され、これらの試薬に対応する３つのモノクロ階調画像ＦＩｒ，ＦＩｇ，ＦＩｂが取得されている。各モノクロ階調画像ＦＩｒ，ＦＩｇ，ＦＩｂは、任意の色を表示色に指定して表示させることができ、試薬による染色部位を識別することができる。

【0055】

疑似カラー画像Ｐｃは、各モノクロ階調画像ＦＩｒ，ＦＩｇ，ＦＩｂを異なる色成分に割り当てることによって作成されるオーバーレイ画像である。この例では、ＲＧＢの３つの色成分にモノクロ階調画像ＦＩｒ，ＦＩｇ，ＦＩｂをそれぞれ割り当ててこれらのモノクロ階調画像を重畳することにより、疑似カラー画像Ｐｃが作成されている。また、ＲＧＢの各色成分は、色チャネルと呼び、色チャネル「チャネル１」には、緑色（Ｇ）が指定され、色チャネル「チャネル２」には、赤色（Ｒ）が指定され、色チャネル「チャネル３」には、青色（Ｂ）が指定されている。

【0056】

モノクロ階調画像ＦＩｒは、色チャネル「チャネル２」に割り当てられ、モノクロ階調画像ＦＩｇは、色チャネル「チャネル１」に割り当てられ、モノクロ階調画像ＦＩｂは、色チャネル「チャネル３」に割り当てられている。撮影画像中における緑色の染色部位は、ハッチングにより表され、赤色の染色部位は、ドットにより表され、青色の染色部位は、グレー階調により表されている。図中の表示欄５１には、モノクロ階調画像ＦＩｒ，ＦＩｇ，ＦＩｂ及び疑似カラー画像Ｐｃが配置されている。

【0057】

選択欄５２は、各色チャネルに割り当てる表示色又はモノクロ階調画像を指定し、或いは、観察方法を選択するための操作領域である。顕微鏡操作タブ５５ａは、撮影ユニット１１０内の各デバイスを操作するための操作項目であり、当該顕微鏡操作タブ５５ａを選択することにより、選択欄５３及び入力欄５４が表示される。

【0058】

選択欄５３は、撮影倍率を選択するための操作領域であり、この例では、対物レンズ１１２を変更することにより、４０倍、２０倍又は１０倍のいずれか一つを選択することができる。入力欄５４には、可動ステージ１１３をｘｙ平面内で移動させるための方向ボタンと、対物レンズ１１２をｚ方向に移動させてピント合わせを行うための方向ボタンが設けられている。

【0059】

カメラ設定タブ５５ｂは、撮影条件を設定するための操作項目である。解析ボタン５６は、モノクロ階調画像ＦＩｒ，ＦＩｇ，ＦＩｂを用いて定量測定を行うための操作アイコンである。

【0060】

＜ＰＣ１２０＞
図３は、図１のＰＣ１２０の構成例を示したブロック図である。このＰＣ１２０は、操作部１０１、マスク用色成分選択部１０２、解析用色成分選択部１０３、画像記憶部１０４、オーバーレイ画像生成部１０５、マスク領域特定部１０６、抽出画像生成部１０７、抽出画像合成部１０８及び表示部１２１により構成される。

【0061】

操作部１０１は、キーボード１２２及びマウス１２３からなり、ユーザ操作に応じた操作信号を生成する。画像記憶部１０４には、同一の観察対象物２を繰り返し撮影して取得された２以上のモノクロ階調画像ＦＩが保持される。

【0062】

オーバーレイ画像生成部１０５は、２以上のモノクロ階調画像ＦＩをそれぞれ異なる色成分に割り当てることにより、疑似カラー画像Ｐｃを生成する。具体的には、２つ又は３つのモノクロ階調画像ＦＩをＲＧＢの各色チャネルに割り当てることにより、これらのモノクロ階調画像ＦＩの合成画像として、疑似カラー画像Ｐｃが作成される。ここでいう疑似カラー画像は、「オーバーレイ画像」の一例に相当する。

【0063】

「オーバーレイ画像」について詳しく説明すると、２以上のモノクロ階調画像（例えば８ビット画像であれば、各画素で０〜２５５の輝度値を有する）にそれぞれ異なる色成分（例えばＲＧＢ）を割り当てると、複数の異なる色成分画像が生成される。例えば、赤の色成分（Ｒ）が割り当てられたとき、各画素が有する輝度値をそのままＲの輝度値とし、緑の色成分（Ｇ）が割り当てられたとき、各画素が有する輝度値をそのままＧの輝度値とし、青の色成分（Ｂ）が割り当てられたとき、各画素が有する輝度値をそのままＢの輝度値とすることができる（勿論、各画素が有する輝度値をそのままＲＧＢの輝度値とするのではなく、何らかの補正処理を施した補正輝度値をＲＧＢの輝度値としてもよい）。

【0064】

そして、これらの色成分画像を重ね合わせると、各画素にてＲＧＢの輝度値を有する１枚のカラー画像、すなわち一個の「オーバーレイ画像」が生成される。この「オーバーレイ画像」は、一般的な色分解と同様に、各色成分画像に色分解（分離）することが可能である。なお、本実施例では、ＲＧＢの色成分を割り当ててオーバーレイ画像を生成することとしたが、他にも例えば、ＣＭＹ（シアン・マゼンダ・イエロー）の色成分を割り当ててもよい。要するに、直交座標空間により表される色空間の各色成分を割り当てればよい。

【0065】

画像記憶部１０４には、オーバーレイ画像生成部１０５により生成された疑似カラー画像Ｐｃが保持され、表示部１２１は、当該疑似カラー画像Ｐｃを表示する。マスク用色成分選択部１０２は、ユーザ操作に基づいて、疑似カラー画像Ｐｃを構成する色成分のいずれかをマスク用色成分として選択する。マスク用色成分は、試薬による染色領域又は非染色領域を示す解析対象領域以外の領域をマスク領域としてマスクするのに用いる色チャネルである。

【0066】

解析用色成分選択部１０３は、ユーザ操作に基づいて、疑似カラー画像Ｐｃを構成する複数の異なる色成分のうち、マスク用色成分以外の色成分を解析用色成分として選択する。解析用色成分は、所望の染色部位を抽出するための色チャネルである。表示部１２１は、マスク用色成分が割り当てられたモノクロ階調画像ＦＩや、解析用色成分が割り当てられたモノクロ階調画像ＦＩを必要に応じて表示する。

【0067】

ここでは、ユーザがオーバーレイ画像Ｐｃを構成する色成分の中からマスク用色成分及び解析用色成分を任意に指定するものとしたが、試薬の組合せに応じてマスク用色成分又は解析用色成分が自動的に選択されるような構成であっても良い。

【0068】

マスク領域特定部１０６は、マスク用色成分が割り当てられた色成分画像から解析対象領域以外の領域をマスク領域として特定する。このマスク領域特定部１０６は、閾値調整部６１及び二値化部６２からなり、マスク用閾値Ｔｈｍを用いて、マスク用色成分が割り当てられた色成分画像を二値化する画像処理部である。

【0069】

二値化部６２は、マスク用色成分が割り当てられた色成分画像に対し、画素ごとの輝度値をマスク用閾値Ｔｈｍと比較し、その比較結果に基づいて輝度値を二値化することにより、解析対象領域以外の領域をマスクするためのマスク画像を生成する。マスク領域特定部１０６では、二値化部６２により生成されたマスク画像に基づいて、マスク領域を特定する。なお、このマスク領域特定部１０６は、二値化部６２によってマスク画像を生成するものに限られない。例えば、細胞を示す領域などの解析対象領域のみが着色し、それ以外の領域（例えば細胞を示す領域以外の領域）はほとんど着色していない色成分画像の場合、ほとんど着色していない領域（輝度値が一定値以下の領域）をそのままマスク領域（マスク領域を示すマスク画像情報）として特定（認識）してもよい。この場合、マスク画像自体を生成しなくてもマスク領域を特定できる。

【0070】

表示部１２１は、ユーザ操作に基づいて、マスク画像を表示する。解析対象領域は、所定値以上の面積を有する連続領域からなる注目領域として識別可能に表示される。この注目領域は、例えば、マスク画像（二値化画像）における高輝度側の領域として特定され、注目領域を視認することにより、染色部位を識別することができる。

【0071】

閾値調整部６１は、ユーザ操作に基づいて、マスク用閾値Ｔｈｍを変更する。二値化部６２は、閾値調整部６１による変更後のマスク用閾値Ｔｈｍを用いて、マスク用色成分が割り当てられた色成分画像を二値化してマスク画像を生成する。

【0072】

画像記憶部１０４には、変更後のマスク用閾値Ｔｈｍを用いて二値化されたマスク画像が保持され、表示部１２１は、当該マスク画像を表示する。この様なマスク画像を閲覧することにより、特定の試薬により染色された染色部位を容易に識別することができる。

【0073】

抽出画像生成部１０７は、疑似カラー画像Ｐｃを構成する色成分のうちマスク用色成分以外の色成分が割り当てられている色成分画像から、マスク領域を用いて解析対象領域以外の領域がマスクされた抽出画像を生成する。具体的には、解析用色成分選択部１０３により選択された解析用色成分が割り当てられた色成分画像を解析画像とし、この解析画像に対し、マスク処理を行って抽出画像を生成する。

【0074】

この抽出画像生成部１０７は、閾値調整部７１及び二値化処理部７２からなり、マスク画像を用いて解析画像の一部をマスクするとともに、抽出用閾値Ｔｈｔを用いて解析画像を二値化することにより、マスクされない領域の二値化画像として、抽出画像を生成する。具体的には、注目領域以外の領域が解析画像からマスクされ、解析画像において注目領域に相当する画像領域が二値化される。注目領域は、マスクされない領域、すなわち、非マスク領域である。

【0075】

解析画像の二値化処理は、画素ごとの輝度値を抽出用閾値Ｔｈｔと比較し、その比較結果に基づいて、輝度値を二値化することにより行われる。画像記憶部１０４には、抽出用閾値Ｔｈｔを用いて生成された抽出画像が保持され、表示部１２１は、当該抽出画像を表示する。

【0076】

閾値調整部７１は、ユーザ操作に基づいて、抽出用閾値Ｔｈｔを指定する。二値化処理部７２は、閾値調整部７１により指定された抽出用閾値Ｔｈｔを用いて、解析画像の二値化を行い、染色部位を示す１又は２以上の画像領域を抽出する。二値化処理部７２により抽出される画像領域は、互いに隣接する画素からなる連続領域であり、二値化画像における高輝度側の領域として特定される。

【0077】

ここでは、解析画像全体を二値化してから、マスク画像を用いて解析画像の一部をマスクすることにより、抽出画像が生成されるものとする。ただし、マスク画像を用いて解析画像の一部をマスクした後、非マスク領域、すなわち、注目領域だけを二値化するような構成であっても良い。

【0078】

画像記憶部１０４には、変更後の抽出用閾値Ｔｈｔを用いて生成された抽出画像が保持され、表示部１２１は、当該抽出画像を表示する。この様な抽出画像を閲覧することにより、ノイズに影響されることなく、特定の試薬により染色された染色部位を容易に識別することができる。

【0079】

抽出画像合成部１０８は、３つの異なる色成分のうち、ユーザがそれぞれ指定したマスク用色成分、第１の解析用色成分及び第２の解析用色成分に対し、マスク用色成分が割り当てられた色成分画像及び第１の解析用色成分が割り当てられた色成分画像を用いて得られた第１の抽出画像と、マスク用色成分が割り当てられた色成分画像及び第２の解析用色成分が割り当てられた色成分画像を用いて得られた第２の抽出画像とを合成し、合成画像を生成する。この合成画像は、２つの抽出画像を重畳することによって作成される。

【0080】

画像記憶部１０４には、抽出画像合成部１０８により生成された合成画像が保持され、表示部１２１は、当該合成画像を表示する。この様な合成画像を閲覧することにより、２つの試薬が観察対象物２上で相互にどの様に影響し合っているのかを容易に識別することができる。

【0081】

ここでは、画像記憶部１０４内に保持されているモノクロ階調画像ＦＩを用いて抽出画像が作成されるものとしたが、疑似カラー画像Ｐｃを用いて抽出画像や合成画像を作成するような構成であっても良い。

【0082】

特に、本実施例では、画像記憶部１０４内に保持されている複数のモノクロ階調画像（複数の色成分画像）は、各画素でＲＧＢ成分を有する１枚のカラー画像を各色成分に色分解することにより得られる。つまり、画像記憶部１０４に１枚の疑似カラー画像（オーバーレイ画像）が保持されていれば、必要に応じて色成分画像を作成し、これらの色成分画像を用いて抽出画像を作成することができる。

【0083】

なお、本実施例では、１枚の疑似カラー画像（オーバーレイ画像）は、単一のファイルに格納されている。本発明においては、ＲＧＢなど直交する色成分を疑似カラー表示に用いるため、専用のファイルフォーマットや閲覧ソフトを導入する必要がなく、Ｊｐｅｇやｔｉｆｆなど、汎用のファイル形式を用いることができる。これにより、ユーザは、一般的な画像閲覧及び編集ソフトを用いて疑似カラー画像を閲覧及び編集することが可能であり、汎用性が向上する。ユーザは、一般的な画像処理ソフトウェアを用いてファイルを開くことにより、疑似カラー画像を事前に確認することができる。そして、解析を行いたい疑似カラー画像を選んで、必要に応じて本実施例に係る撮影解析装置１００を利用すればよい。これにより、撮影解析装置１００のユーザビリティ及び汎用性を高めることができる。

【0084】

例えば、複数の疑似カラー画像Ｐｃが互いに観察対象物２の異なる画像ファイルとして保持され、ユーザが任意に指定した疑似カラー画像Ｐｃを用いて抽出画像が作成される。具体的には、疑似カラー画像Ｐｃを色チャネルごとのモノクロ階調画像に分離し、これらのモノクロ階調画像の中からマスク画像及び解析画像を選択して抽出画像が作成される。

【0085】

図４及び図５のステップＳ１０１〜Ｓ１１４は、図１の撮影解析装置１００における蛍光観察時の動作の一例を示したフローチャートである。まず、撮影ユニット１１０は、ＰＣ１２０の指示に基づいて観察対象物２を撮影し、試薬ごとのモノクロ階調画像ＦＩを取得する（ステップＳ１０１）。

【0086】

次に、ＰＣ１２０のオーバーレイ画像生成部１０５は、同一の観察対象物２を順に撮影して得られた３つのモノクロ階調画像ＦＩをそれぞれＲＧＢの各色チャネルに割り当て、３色合成画像として疑似カラー画像Ｐｃを生成する（ステップＳ１０２）。表示部１２１は、この疑似カラー画像Ｐｃを表示する（ステップＳ１０３）。

【0087】

次に、マスク領域特定部１０６は、マスク用チャネルが選択されれば、マスク用チャネルとして指定されたマスク画像をマスク用閾値Ｔｈｍに基づいて二値化する処理を実行し、注目領域の判定を行う（ステップＳ１０４，Ｓ１０５）。表示部１２１は、二値化されたマスク画像を表示する（ステップＳ１０６）。マスク用閾値Ｔｈｍが変更されれば、ステップＳ１０５及びステップＳ１０６の処理手順が繰り返される（ステップＳ１０７）。

【0088】

次に、抽出画像生成部１０７は、マスク用チャネルとは異なる色チャネルとして解析用チャネルが選択されれば、解析用チャネルとして指定された解析画像全体を抽出用閾値Ｔｈｔに基づいて二値化する処理を実行し、解析画像において注目領域に相当する領域以外の領域をマスクすることにより、抽出画像を生成する（ステップＳ１０８，Ｓ１０９）。表示部１２１は、この抽出画像を表示する（ステップＳ１１０）。抽出用閾値Ｔｈｔが変更されれば、ステップＳ１０９及びステップＳ１１０の処理手順が繰り返される（ステップＳ１１１）。

【0089】

ステップＳ１０４からステップＳ１１１までの処理手順は、１つの色チャネルがマスク用チャネルとして選択され、かつ、互いに異なる２つの色チャネルが解析用チャネルとして選択されるまで繰り返される（ステップＳ１１２）。抽出画像合成部１０８は、２つの抽出画像が作成され、ユーザによるマージの指示があれば、これらの抽出画像を合成し、合成画像を生成する（ステップＳ１１３）。表示部１２１は、この合成画像を表示する（ステップＳ１１４）。

【0090】

＜抽出設定画面６０＞
図６は、図１のＰＣ１２０の動作の一例を示した図であり、蛍光観察画面５０内の解析ボタン５６を操作した際に表示される抽出設定画面６０が示されている。この抽出設定画面６０は、抽出条件を設定するための操作画面であり、解析ボタン５６の操作に基づいて表示される。

【0091】

この抽出設定画面６０には、３つの選択ボタン６１及び起動ボタン６２が設けられている。選択ボタン６１を操作することにより、１つの抽出画像を作成するのか、或いは、２つの抽出画像を作成するのか、或いは、抽出画像を作成しないのかのいずれか一つを選択することができる。起動ボタン６２を操作すれば、モノクロ階調画像ＦＩｒ、ＦＩｇ，ＦＩｂを用いて定量測定を行うための解析アプリを起動することができる。

【0092】

＜解析アプリ画面７０＞
図７は、図１のＰＣ１２０の動作の一例を示した図であり、起動ボタン６２の操作によって表示される解析アプリ画面７０が示されている。解析アプリ画面７０は、定量測定を行うための操作画面であり、起動ボタン６２の操作に基づいて表示される。

【0093】

この解析アプリ画面７０は、マスク画像の選択時における操作画面であり、解析フローの表示欄７１と、撮影画像や処理画像を表示するための表示欄７２と、マスク用閾値の入力欄７４と、表示設定欄７５が設けられている。表示欄７１には、マスク画像の選択から計測結果の確認までの処理手順が表示される。表示欄７２には、疑似カラー画像Ｐｃ、二値化前後のマスク画像、解析画像、抽出画像、合成画像などが表示される。

【0094】

入力欄７４は、マスク用閾値Ｔｈｍの値を調整するための操作領域であり、０以上２５５以下の任意の整数をマスク用閾値Ｔｈｍとして指定することができる。表示設定欄７５は、抽出結果を表示欄７２に表示するか否かを選択し、或いは、染色部位を示す画像領域に割り当てる表示色を抽出色として指定し、或いは、抽出色で塗りつぶされた画像領域の透過率を指定するための操作領域である。この例では、抽出結果を表示欄７２に表示することが選択され、かつ、赤色を抽出色とすることが指定されている。

【0095】

図中の表示欄７２には、図２の疑似カラー画像Ｐｃが拡大表示され、マスク用チャネルを選択するためのダイアログ画面７３が表示されている。このダイアログ画面７３には、ＲＧＢの各色チャネルを選択するための選択ボタンと、確定ボタンとが設けられている。

【0096】

図８は、図１のＰＣ１２０の動作の一例を示した図であり、マスク用チャネルを選択した後の解析アプリ画面７０が示されている。この解析アプリ画面７０は、青の色チャネルがマスク用チャネルとして選択された場合の操作画面であり、表示欄７２には、当該色チャネルに割り当てられているモノクロ階調画像が表示されている。

【0097】

ダイアログ画面７３内の確定ボタンを操作すれば、マスク用チャネルが確定され、マスク用閾値Ｔｈｍを用いてマスク画像が二値化されるとともに、表示設定欄７５の設定内容がマスク画像に適用される。

【0098】

図９は、図１のＰＣ１２０の動作の一例を示した図であり、マスク用チャネルを確定した後の解析アプリ画面７０が示されている。この解析アプリ画面７０の表示欄７２には、マスク用閾値Ｔｈｍを用いて二値化されたマスク画像が表示されている。また、染色部位を示す注目領域は、抽出色として指定された表示色で塗りつぶされている。

【0099】

図１０は、図１のＰＣ１２０の動作の一例を示した図であり、マスク画像の二値化により判定された注目領域を整形する場合の解析アプリ画面７０が示されている。この解析アプリ画面７０は、注目領域の整形時における操作画面であり、注目領域を整形する画像処理を選択するための選択欄７６が配置されている。

【0100】

選択欄７６には、領域除去ボタン、穴埋めボタン、領域補正ボタン、領域分離ボタンが配置されている。領域除去ボタンは、不要な領域を除去する画像処理を選択するための操作アイコンである。この画像処理は、二値化画像における高輝度側の連続領域について、面積、周囲長、長径などの特徴量が予め定められる条件を満たさない領域を除去する。

【0101】

穴埋めボタンは、領域内の穴を埋める画像処理を選択するための操作アイコンである。この画像処理は、二値化画像における高輝度側の連続領域から、全体が重複する低輝度領域を領域の膨張又は収縮によって除去する。

【0102】

領域補正ボタンは、欠けた領域を補正する画像処理を選択するための操作アイコンである。この画像処理は、二値化画像における高輝度側の連続領域に対し、領域の境界の凹みを領域の膨張又は収縮によって除去する。

【0103】

領域分離ボタンは、領域を分離する画像処理を選択するための操作アイコンである。この画像処理は、二値化画像における高輝度側の連続領域に対し、領域のくびれ度などの特徴量に基づいて分離する。例えば、ウォーターシェッド（water-shed）法を利用した円形分離処理によって、領域が分離される。

【0104】

図中の表示欄７２には、マスク画像の二値化によって抽出された複数の注目領域５と、領域分離処理によって領域が分離されたことを示す分離線６とが表示されている。この様な領域の整形処理を行うことにより、細胞や細胞内の器官を示す染色部位を正しく識別することができる。

【0105】

図１１は、図１のＰＣ１２０の動作の一例を示した図であり、１つ目の解析用チャネルを選択した後の解析アプリ画面７０が示されている。この解析アプリ画面７０は、緑の色チャネルが１つ目の解析用チャネルとして選択された場合の操作画面であり、表示欄７２には、当該色チャネルに割り当てられているモノクロ階調画像が表示されている。

【0106】

ダイアログ画面７３内の確定ボタンを操作すれば、解析用チャネルが確定され、抽出用閾値Ｔｈｔ１を用いて解析画像が二値化され、抽出画像が作成されるとともに、表示設定欄７５の設定内容が抽出画像に適用される。

【0107】

図１２は、図１のＰＣ１２０の動作の一例を示した図であり、１つ目の解析用チャネルを確定した後の解析アプリ画面７０が示されている。この解析アプリ画面７０の表示欄７２には、抽出用閾値Ｔｈｔ１を用いて二値化され、注目領域５以外の領域がマスクされた抽出画像が表示されている。また、当該抽出画像上で染色部位を示す抽出領域は、抽出色として指定された表示色で塗りつぶされている。また、抽出領域は、マスク画像の注目領域に対して行ったのと同様の整形処理を行うことができる。

【0108】

図１３は、図１のＰＣ１２０の動作の一例を示した図であり、２つ目の解析用チャネルを選択した後の解析アプリ画面７０が示されている。この解析アプリ画面７０は、赤の色チャネルが２つ目の解析用チャネルとして選択された場合の操作画面であり、表示欄７２には、当該色チャネルに割り当てられているモノクロ階調画像が表示されている。

【0109】

ダイアログ画面７３内の確定ボタンを操作すれば、解析用チャネルが確定され、抽出用閾値Ｔｈｔ２を用いて解析画像が二値化され、抽出画像が作成されるとともに、表示設定欄７５の設定内容が抽出画像に適用される。

【0110】

図１４は、図１のＰＣ１２０の動作の一例を示した図であり、２つ目の解析用チャネルを選択した後の解析アプリ画面７０が示されている。この解析アプリ画面７０の表示欄７２には、抽出用閾値Ｔｈｔ２を用いて二値化され、注目領域５以外の領域がマスクされた抽出画像が表示されている。また、当該抽出画像上で染色部位を示す抽出領域は、抽出色として指定された表示色で塗りつぶされている。また、抽出領域は、マスク画像の注目領域に対して行ったのと同様の整形処理を行うことができる。

【0111】

図１５は、図１のＰＣ１２０の動作の一例を示した図であり、抽出結果の確認時の解析アプリ画面７０が示されている。この解析アプリ画面７０は、２つ目の抽出画像が確定された後の操作画面であり、計測結果の表示欄７７が配置され、表示欄７２には、２つの抽出画像から得られた合成画像が表示されている。

【0112】

表示欄７７には、注目領域５から抽出された抽出領域の総数がカウント値として表示され、また、抽出領域の総面積が表示されている。表示欄７７内の詳細ボタンを操作すれば、計測結果の詳細情報を確認することができる。

【0113】

図１６は、図１のＰＣ１２０の動作の一例を示した図であり、解析アプリ画面７０内の詳細ボタンを操作した後に表示される計測結果確認画面８０が示されている。図中の（ａ）には、標準タブを選択した場合が示され、（ｂ）には、マスクタブを選択した場合が示されている。

【0114】

計測結果確認画面８０は、詳細ボタンの操作に基づいて表示される操作画面であり、標準タブ８１及びマスクタブ８２が設けられている。標準タブ８１が選択された場合、染色部位を示す抽出領域ごとの計測結果が表形式により表示される。抽出領域及び注目領域５には、それぞれシリアル番号が自動的に割り付けられる。

【0115】

標準タブ８１では、抽出領域の面積、周囲長、長径、短径及び輝度が計測結果として表示されている。輝度は、元のモノクロ階調画像における画素ごとの輝度値の積算値である。また、抽出領域が属する注目領域５のシリアル番号がマスク番号として表示されている。また、面積、周囲長、長径、短径及び輝度の各計測値に対し、各種の統計処理を行った結果が表示されている。具体的には、平均値、標準偏差、最大値、最小値、総計が統計処理結果として表示されている。

【0116】

マスクタブ８２が選択された場合には、注目領域５ごとの計測結果が表形式により表示される。マスクタブ８２では、抽出領域の総数及び総面積と、注目領域５の面積が計測結果として表示されている。

【0117】

１つ目の抽出画像から得られた抽出領域の総数及び総面積は、「カウント１」及び「面積１」として表示され、２つ目の抽出画像から得られた抽出領域の総数及び総面積は、「カウント２」及び「面積２」として表示されている。また、抽出領域の総数及び総面積と、注目領域５の面積との各計測値に対し、各種の統計処理を行った結果が表示されている。

【0118】

本実施の形態によれば、マスク画像に対応する試薬を第１の試薬とし、解析画像に対応する試薬を第２の試薬とすれば、第２の試薬による染色部位を抽出する際に、第１の試薬による染色領域以外の領域を解析画像においてマスクすることができる。このため、第１の試薬による染色部位以外の領域からノイズを抽出することなく、第２の試薬による染色部位を正しく抽出することができる。

【0119】

特に、細胞や生体組織に取り込まれた試薬が放射する蛍光３を利用して観察対象物２が撮影されるので、無色透明の細胞や生体組織であっても、ノイズに影響されることなく、所望の染色部位を抽出することができる。例えば、細胞外の領域からノイズを抽出することなく、ＤＮＡ分子や染色体といった器官を示す染色部位を正しく抽出することができる。

【0120】

また、第１の試薬による染色部位を二値化されたマスク画像により容易に識別することができるとともに、当該染色部位以外の領域をマスクするためのマスク用閾値Ｔｈｍをユーザが任意に変更することができる。さらに、第２の試薬による染色部位を抽出画像により容易に識別することができるとともに、第２の試薬に対応する解析画像を二値化するのに用いる抽出用閾値Ｔｈｔをユーザが任意に変更することができる。

【0121】

また、第１の解析画像に対応する試薬を第２の試薬とし、第２の解析画像に対応する試薬を第３の試薬とすれば、マスク画像に対応する第１の試薬による染色部位上において、第２及び第３の試薬による各染色部位が相互にどの様に影響し合っているのかといったことを合成画像により容易に識別することができる。

【0122】

なお、本実施の形態では、励起光１を照射した際の蛍光３を利用して観察対象物２を撮影する蛍光顕微鏡システムに本発明を適用する場合の例について説明した。しかし、本発明は、その様な蛍光顕微鏡システムに限らず、可視光を利用して観察対象物を撮影する光学顕微鏡システムにも適用することができる。また、共焦点顕微鏡、特に、レーザー光を走査させる共焦点顕微鏡システムにも本発明は適用することができる。

【符号の説明】

【0123】

１００ 撮影解析装置
１１０ 撮影ユニット
１１１ フィルタホルダ
１１２ 対物レンズ
１１３ 可動ステージ
１１４ 結像レンズ
１１７ モノクロカメラ
１０ フィルタユニット
１１ 励起フィルタ
１２ ダイクロイックミラー
１３ 吸収フィルタ
２０ 励起光源
２１ 光量調整部
４０ フィルタ切替部
４１ ステージ駆動部
４２ 画像転送部
４３ 制御部
５０ 蛍光観察画面
７０ 解析アプリ画面
１２０ ＰＣ
１２１ 表示部
１２２ キーボード
１２３ マウス
１０１ 操作部
１０２ マスク用色成分選択部
１０３ 解析用色成分選択部
１０４ 画像記憶部
１０５ オーバーレイ画像生成部
１０６ マスク領域特定部
１０７ 抽出画像生成部
１０８ 抽出画像合成部
１ 励起光
２ 観察対象物
３ 蛍光

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】