ホーム > 特許ランキング > 浜松ホトニクス株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2024-163162蛍光画像取得方法、蛍光画像取得装置、及び蛍光画像取得プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024163162
(43)【公開日】2024-11-21
(54)【発明の名称】蛍光画像取得方法、蛍光画像取得装置、及び蛍光画像取得プログラム
(51)【国際特許分類】
G01N 21/64 20060101AFI20241114BHJP
【ＦＩ】
G01N21/64 E
【審査請求】未請求
【請求項の数】3
【出願形態】ＯＬ
(21)【出願番号】P 2024148540
(22)【出願日】2024-08-30
(62)【分割の表示】P 2024539324の分割
【原出願日】2023-12-26
(31)【優先権主張番号】P 2023027521
(32)【優先日】2023-02-24
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000236436
【氏名又は名称】浜松ホトニクス株式会社
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100140442
【弁理士】
【氏名又は名称】柴山 健一
(74)【代理人】
【識別番号】100124800
【弁理士】
【氏名又は名称】諏澤 勇司
(72)【発明者】
【氏名】樋口 貴文
(72)【発明者】
【氏名】池村 賢一郎
(72)【発明者】
【氏名】加茂 航
(72)【発明者】
【氏名】加藤 なつみ
(57)【要約】
【課題】蛍光画像における単色画素を判別すること。
【解決手段】蛍光画像取得システム１は、複数の波長分布の励起光のそれぞれを試料に照射する照射装置２と、複数の励起光のそれぞれに対応する複数の蛍光のそれぞれについて、複数の反射波長域及び複数の透過波長域を有する蛍光フィルタ部を介して、第１光学状態における第１蛍光画像、及び、第１光学状態とは異なる波長特性で蛍光を測定する第２光学状態における第２蛍光画像を取得する画像取得装置３と、複数の第１蛍光画像及び複数の第２蛍光画像を処理する画像処理装置４と、を備え、画像処理装置４は、第１蛍光画像及び第２蛍光画像について、第１蛍光画像の画素の強度値、及び、画素に対応する第２蛍光画像の画素の強度値の比である強度比を算出し、複数の励起光毎の強度比を算出し、複数の励起光毎の強度比に基づき、画素が単色画素であるかを判別する。
【選択図】図１
【解決手段】蛍光画像取得システム１は、複数の波長分布の励起光のそれぞれを試料に照射する照射装置２と、複数の励起光のそれぞれに対応する複数の蛍光のそれぞれについて、複数の反射波長域及び複数の透過波長域を有する蛍光フィルタ部を介して、第１光学状態における第１蛍光画像、及び、第１光学状態とは異なる波長特性で蛍光を測定する第２光学状態における第２蛍光画像を取得する画像取得装置３と、複数の第１蛍光画像及び複数の第２蛍光画像を処理する画像処理装置４と、を備え、画像処理装置４は、第１蛍光画像及び第２蛍光画像について、第１蛍光画像の画素の強度値、及び、画素に対応する第２蛍光画像の画素の強度値の比である強度比を算出し、複数の励起光毎の強度比を算出し、複数の励起光毎の強度比に基づき、画素が単色画素であるかを判別する。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数の波長分布の励起光のそれぞれを試料に照射する照射ステップと、
前記複数の励起光のそれぞれに対応する複数の蛍光のそれぞれについて、複数の反射波長域及び複数の透過波長域を有する蛍光フィルタ部を介して、第１光学状態における第１蛍光画像、及び、前記第１光学状態とは異なる波長特性で前記蛍光を測定する第２光学状態における第２蛍光画像を取得する取得ステップと、
前記第１蛍光画像及び前記第２蛍光画像について、前記第１蛍光画像の画素の強度値、及び、前記画素に対応する前記第２蛍光画像の画素の強度値の比である強度比を算出し、前記複数の励起光毎の強度比を算出する算出ステップと、
前記複数の励起光毎の強度比に基づき、前記画素が単色画素であるかを判別する判別ステップと、
を備える、蛍光画像取得方法。
前記複数の励起光のそれぞれに対応する複数の蛍光のそれぞれについて、複数の反射波長域及び複数の透過波長域を有する蛍光フィルタ部を介して、第１光学状態における第１蛍光画像、及び、前記第１光学状態とは異なる波長特性で前記蛍光を測定する第２光学状態における第２蛍光画像を取得する取得ステップと、
前記第１蛍光画像及び前記第２蛍光画像について、前記第１蛍光画像の画素の強度値、及び、前記画素に対応する前記第２蛍光画像の画素の強度値の比である強度比を算出し、前記複数の励起光毎の強度比を算出する算出ステップと、
前記複数の励起光毎の強度比に基づき、前記画素が単色画素であるかを判別する判別ステップと、
を備える、蛍光画像取得方法。
【請求項2】
複数の波長分布の励起光のそれぞれを試料に照射する照射装置と、
前記複数の励起光のそれぞれに対応する複数の蛍光のそれぞれについて、複数の反射波長域及び複数の透過波長域を有する蛍光フィルタ部を介して、第１光学状態における第１蛍光画像、及び、前記第１光学状態とは異なる波長特性で前記蛍光を測定する第２光学状態における第２蛍光画像を取得する画像取得装置と、
複数の前記第１蛍光画像及び複数の前記第２蛍光画像を処理する画像処理装置と、を備え、
前記画像処理装置は、
前記第１蛍光画像及び前記第２蛍光画像について、前記第１蛍光画像の画素の強度値、及び、前記画素に対応する前記第２蛍光画像の画素の強度値の比である強度比を算出し、前記複数の励起光毎の強度比を算出し、
前記複数の励起光毎の強度比に基づき、前記画素が単色画素であるかを判別する、
蛍光画像取得装置。
前記複数の励起光のそれぞれに対応する複数の蛍光のそれぞれについて、複数の反射波長域及び複数の透過波長域を有する蛍光フィルタ部を介して、第１光学状態における第１蛍光画像、及び、前記第１光学状態とは異なる波長特性で前記蛍光を測定する第２光学状態における第２蛍光画像を取得する画像取得装置と、
複数の前記第１蛍光画像及び複数の前記第２蛍光画像を処理する画像処理装置と、を備え、
前記画像処理装置は、
前記第１蛍光画像及び前記第２蛍光画像について、前記第１蛍光画像の画素の強度値、及び、前記画素に対応する前記第２蛍光画像の画素の強度値の比である強度比を算出し、前記複数の励起光毎の強度比を算出し、
前記複数の励起光毎の強度比に基づき、前記画素が単色画素であるかを判別する、
蛍光画像取得装置。
【請求項3】
複数の波長分布の励起光のそれぞれを試料に照射することにより、前記複数の励起光のそれぞれに対応する複数の蛍光のそれぞれについて、複数の反射波長域及び複数の透過波長域を有する蛍光フィルタ部を介して取得される、第１光学状態における第１蛍光画像、及び、前記第１光学状態とは異なる波長特性で前記蛍光を測定する第２光学状態における第２蛍光画像を基に、画素が単色画素であるかを判別するための蛍光画像取得プログラムであって、
コンピュータを、
前記第１蛍光画像及び前記第２蛍光画像について、前記第１蛍光画像の画素の強度値、及び、前記画素に対応する前記第２蛍光画像の画素の強度値の比である強度比を算出し、前記複数の励起光毎の強度比を算出する強度比算出部、及び、
前記複数の励起光毎の強度比に基づき、前記画素が単色画素であるかを判別する単色画素判別部、として機能させる蛍光画像取得プログラム。
コンピュータを、
前記第１蛍光画像及び前記第２蛍光画像について、前記第１蛍光画像の画素の強度値、及び、前記画素に対応する前記第２蛍光画像の画素の強度値の比である強度比を算出し、前記複数の励起光毎の強度比を算出する強度比算出部、及び、
前記複数の励起光毎の強度比に基づき、前記画素が単色画素であるかを判別する単色画素判別部、として機能させる蛍光画像取得プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
実施形態の一側面は、蛍光画像取得方法、蛍光画像取得装置、及び蛍光画像取得プログラムに関する。
【背景技術】
【0002】
従来から、生体組織等の試料を対象に複数の試料内物質を同時に染色する多重染色の手法が用いられている。そして、多重染色が行われた試料内の物質を観察するために、試料に励起光を照射して蛍光画像を取得することも行われている。例えば、下記非特許文献１には、複数の波長域の蛍光を観察した蛍光画像をブラインドアンミキシングして試料内物質ごとの分離画像を得るために、非負値行列因子分解（NMF: Nonnegative Matrix Factorization）の手法を適用することが開示されている。また、下記非特許文献２には、蛍光画像をアンミキシングする手法として、蛍光画像をクラスタリングして、クラスタリングされた各画素群で蛍光強度の最大値を抽出し、その最大値を基に分離画像を生成することが開示されている。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Binjie Qin et al.，“Target/Background ClassificationRegularized Nonnegative Matrix Factorization for Fluorescence Unmixing”， IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT, VOL.65, NO.4, APRIL2016
【非特許文献2】Tristan D. McRae et al.，“Robust blind spectral unmixing forfluorescence microscopy using unsupervised learning”， PLOSONE, December 2,2019
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、従来の技術では、蛍光画像を観察する際に蛍光画像における単色画素を判別することは困難な傾向にある。そのため、蛍光画像を効率よく観察するために蛍光画像における単色画素を判別することが望まれている。
【0005】
そこで、実施形態の一側面は、かかる課題に鑑みてなされたものであり、蛍光画素における単色画素を判別することが可能な蛍光画像取得方法、蛍光画像取得装置、及び蛍光画像取得プログラムを提供することを課題とする。
【課題を解決するための手段】
【0006】
実施形態の第一の側面に係る蛍光画像取得方法は、複数の波長分布の励起光のそれぞれを試料に照射する照射ステップと、複数の励起光のそれぞれに対応する複数の蛍光のそれぞれについて、複数の反射波長域及び複数の透過波長域を有する蛍光フィルタ部を介して、第１光学状態における第１蛍光画像、及び、第１光学状態とは異なる波長特性で蛍光を測定する第２光学状態における第２蛍光画像を取得する取得ステップと、第１蛍光画像及び第２蛍光画像について、第１蛍光画像の画素の強度値、及び、画素に対応する第２蛍光画像の画素の強度値の比である強度比を算出し、複数の励起光毎の強度比を算出する算出ステップと、複数の励起光毎の強度比に基づき、画素が単色画素であるかを判別する判別ステップと、を備える。
【0007】
あるいは、実施形態の第二の側面に係る蛍光画像取得装置は、複数の波長分布の励起光のそれぞれを試料に照射する照射装置と、複数の励起光のそれぞれに対応する複数の蛍光のそれぞれについて、複数の反射波長域及び複数の透過波長域を有する蛍光フィルタ部を介して、第１光学状態における第１蛍光画像、及び、第１光学状態とは異なる波長特性で蛍光を測定する第２光学状態における第２蛍光画像を取得する画像取得装置と、複数の第１蛍光画像及び複数の第２蛍光画像を処理する画像処理装置と、を備え、画像処理装置は、第１蛍光画像及び第２蛍光画像について、第１蛍光画像の画素の強度値、及び、当該画素に対応する第２蛍光画像の画素の強度値の比である強度比を算出し、複数の励起光毎の強度比を算出し、複数の励起光毎の強度比に基づき、画素が単色画素であるかを判別する。
【0008】
あるいは、実施形態の第三の側面に係る蛍光画像取得プログラムは、複数の波長分布の励起光のそれぞれを試料に照射することにより、複数の励起光のそれぞれに対応する複数の蛍光のそれぞれについて、複数の反射波長域及び複数の透過波長域を有する蛍光フィルタ部を介して取得される、第１光学状態における第１蛍光画像、及び、第１光学状態とは異なる波長特性で蛍光を測定する第２光学状態における第２蛍光画像を基に、画素が単色画素であるかを判別するための蛍光画像取得プログラムであって、コンピュータを、第１蛍光画像及び第２蛍光画像について、第１蛍光画像の画素の強度値、及び、当該画素に対応する第２蛍光画像の画素の強度値の比である強度比を算出し、複数の励起光毎の強度比を算出する強度比算出部、及び、複数の励起光毎の強度比に基づき、画素が単色画素であるかを判別する単色画素判別部、として機能させる。
【0009】
上記第一の側面、上記第二の側面、あるいは上記第三の側面によれば、複数の励起光のそれぞれに対応する複数の蛍光のそれぞれについて、第１光学状態における第１蛍光画像、及び、第１光学状態とは異なる波長特性で蛍光を測定する第２光学状態における第２蛍光画像が取得される。さらに、第１蛍光画像の画素の強度値、及び、第２蛍光画像の画素の強度値の比である強度比が算出され、複数の励起光毎の強度比が算出される。加えて、複数の励起光毎の強度比に基づき、画素が単色画素であるか判別される。これにより、複数の色素からの蛍光が混ざって反映される画素、及び、単一の色素からの単色の蛍光が反映される単色画素を含む蛍光画像においても、蛍光画像の複数の画素から単色画素を判別することができる。すなわち、蛍光画像における単色画素を判別することができる。
【発明の効果】
【0010】
本開示の一側面によれば、蛍光画像における単色画素を判別することができる。
【図面の簡単な説明】
【0011】
【図1】第１実施形態にかかる蛍光画像取得システム１の概略構成図である。
【図5】第１蛍光画像及び第２蛍光画像の蛍光強度を説明するための図である。
【図6】第１励起光に対する第１画素における強度比、及び、第２励起光に対する第１画素における強度比の特徴を説明するための図である。
【図7】強度比の特徴を模式的に示す図である。
【図8】クラスタリング部２０４によってクラスタリングされた画素群のイメージを示す図である。
【図9】統計値計算部２０５によって再生成される行列データＹ’、及びそれに対応する色素行列データＸ’のイメージを示している。
【図10】第１実施形態にかかる蛍光画像取得方法の手順を示すフローチャートである。
【図11】第２実施形態にかかる蛍光画像取得システム１Ａの概略構成図である。
【図12】カラーカメラを用いた場合の各画素の強度比を説明するための図である。
【図13】ハイパースペクトルカメラを用いた場合の各画素の強度比を説明するための図である。
【図14】第３実施形態にかかる蛍光画像取得システム１Ｂの概略構成図である。
【図15】第４実施形態にかかる蛍光画像取得システム１Ｃの概略構成図である。
【図16】蛍光画像の生成例においてクラスタリングの結果を示す図である。
【図17】蛍光画像の生成例において各色素からの蛍光画像を生成した結果を示す図である。
【発明を実施するための形態】
【0012】
以下、添付図面を参照して、本開示の実施形態について詳細に説明する。なお、説明において、同一要素又は同一機能を有する要素には、同一符号を用いることとし、重複する説明は省略する。
【0013】
［第１実施形態］
図１は、第１実施形態にかかる蛍光画像取得装置である蛍光画像取得システム１の概略構成図である。蛍光画像取得システム１は、観察対象である生体組織等の試料内の色素の分布を特定するための蛍光画像を生成するための装置である。蛍光画像取得システム１によって生成される画像は、その画像の解析を通じた、薬剤の開発、治療法の検討等の目的に用いられる。蛍光画像取得システム１は、試料Ｓに励起光を照射するように構成される照射装置２と、試料Ｓに励起光を照射してそれに応じて生じた蛍光の画像を取得する画像取得装置３と、画像取得装置３によって取得された画像をデータ処理する画像処理装置４とを備えている。画像取得装置３と画像処理装置４とは、それらの間で有線通信あるいは無線通信を用いて画像データが送受信可能に構成されていてもよいし、記録媒体を介して画像データが入出力可能に構成されていてもよい。
図１は、第１実施形態にかかる蛍光画像取得装置である蛍光画像取得システム１の概略構成図である。蛍光画像取得システム１は、観察対象である生体組織等の試料内の色素の分布を特定するための蛍光画像を生成するための装置である。蛍光画像取得システム１によって生成される画像は、その画像の解析を通じた、薬剤の開発、治療法の検討等の目的に用いられる。蛍光画像取得システム１は、試料Ｓに励起光を照射するように構成される照射装置２と、試料Ｓに励起光を照射してそれに応じて生じた蛍光の画像を取得する画像取得装置３と、画像取得装置３によって取得された画像をデータ処理する画像処理装置４とを備えている。画像取得装置３と画像処理装置４とは、それらの間で有線通信あるいは無線通信を用いて画像データが送受信可能に構成されていてもよいし、記録媒体を介して画像データが入出力可能に構成されていてもよい。
【0014】
図２は、図１の蛍光画像取得システム１の構成を示す斜視図である。図２においては、励起光の光路を矢印付きの点線で示し、蛍光の光路を矢印付きの実線で示す。照射装置２は、励起光源２ａ及び励起光フィルタ部２ｂを含んで構成される。画像取得装置３は、ダイクロイックミラー１１、蛍光フィルタ部３ａ、第１光学フィルタ１３、及び第１カメラ１５を含んで構成される。
【0015】
励起光源２ａは、複数の波長帯（波長分布）の励起光を切り替えて照射可能な光源であり、例えば、ＬＥＤ（Light Emitting Diode）光源、複数の単色レーザ光源からなる光源、あるいは白色光源と波長選択光学素子とを組み合わせた光源などである。励起光フィルタ部２ｂは、励起光源２ａの励起光の光路上に設けられ、所定の複数の波長域の光を透過させる性質を有するマルチバンドパスフィルタである。この励起光フィルタ部２ｂの透過波長帯は、使用されうる励起光の複数の波長帯に応じて設定される。ダイクロイックミラー１１は、励起光フィルタ部２ｂと試料Ｓとの間に設けられ、励起光を試料Ｓに向けて反射し、それに応じて試料Ｓから発せられる蛍光を透過する性質を有する光学部材である。第１実施形態では、照射装置２は、Ｍ個（Ｍは２以上の整数）の波長帯の励起光を照射する。以下、Ｍ個の波長帯の励起光のそれぞれを、第１励起光、第２励起光、…、及び第Ｍ励起光と言う。
【0016】
蛍光フィルタ部３ａは、ダイクロイックミラー１１によって透過される蛍光の光路上に設けられ、所定の複数の波長域の光を透過させる性質を有するマルチバンドパスフィルタである。蛍光フィルタ部３ａは、複数の反射波長域及び複数の透過波長域を有する。反射波長域と透過波長域とは、互いに交互に並んでいる。反射波長域は、例えば、各透過波長域の間の波長域である。この蛍光フィルタ部３ａの透過波長域は、観察対象の試料Ｓに含まれうる色素において生じる蛍光の波長帯に応じて設定される。
【0017】
第１光学フィルタ１３は、蛍光フィルタ部３ａによって透過される蛍光の光路上に設けられ、蛍光の波長情報を取得するための光学系である。この第１光学フィルタ１３は、蛍光フィルタ部３ａからの蛍光の光路上の位置と当該光路上から外れた位置との間をスライドさせるように、第１光学フィルタ１３の位置を切替可能とする切替機構（図示せず）を含んでいる。第１実施形態では、第１光学フィルタ１３を蛍光の光路上に設けることで第１光学フィルタ１３を介して蛍光の波長情報を取得できる状態を第１光学状態と記し、第１光学フィルタ１３を蛍光の光路上に設けないことで第１光学フィルタ１３を介さずに蛍光の波長情報を取得できる状態を第２光学状態と記す。画像取得装置３は、第１光学状態と、第１光学状態とは異なる波長特性で蛍光を測定する第２光学状態において、蛍光を測定することができる。
【0018】
第１光学フィルタ１３は、蛍光フィルタ部３ａの各反射波長域又は各透過波長域において透過率が異なるフィルタである。第１実施形態では、第１光学フィルタ１３は、波長が大きくなるに従って透過率が線形的に大きくなるような透過率の波長特性を有する傾斜フィルタである。すなわち、第１光学フィルタ１３の透過率は、蛍光フィルタ部３ａの各透過波長域にわたって単調に増加している。以降の第１実施形態の説明では、このような傾斜フィルタである第１光学フィルタ１３を第１傾斜フィルタ１３とも記す。第１光学フィルタ１３は、波長が大きくなるに従って透過率が線形的に小さくなるような透過率の波長特性を有する傾斜フィルタであってもよい。第１光学フィルタ１３は、蛍光フィルタ部３ａの各反射波長域にわたって透過率が単調に変化する傾斜フィルタであってもよい。
【0019】
第１カメラ１５は、Ｎ個（Ｎは２以上の整数、例えば、２０４８×２０４８）の画素によって構成される二次元画像を撮像する撮像装置であり、第１傾斜フィルタ１３が蛍光の光路上に設けられた際に、第１傾斜フィルタ１３を透過する蛍光を撮像して第１蛍光画像を取得するカメラである。すなわち、第１蛍光画像は、第１光学状態において取得された蛍光画像である。また、第１カメラ１５は、第１傾斜フィルタ１３が蛍光の光路上から外された際に、蛍光を撮像し、第２蛍光画像を取得する。すなわち、第２蛍光画像は、第２光学状態において取得された蛍光画像である。第１カメラ１５は、取得した第１蛍光画像及び第２蛍光画像を、通信を用いて、あるいは記録媒体を介して、画像処理装置４に出力する。第１実施形態では、Ｎ個の画素のそれぞれを、第１画素、第２画素、…、及び第Ｎ画素とする。
【0020】
【0021】
図３に示すように、画像処理装置４は、物理的には、プロセッサであるＣＰＵ（Central Processing Unit）１０１、記録媒体であるＲＡＭ（Random Access Memory）１０２又はＲＯＭ（Read Only Memory）１０３、通信モジュール１０４、及び入出力モジュール１０６等を含んだコンピュータ等であり、各々は電気的に接続されている。なお、画像処理装置４は、入出力デバイスとして、ディスプレイ、キーボード、マウス、タッチパネルディスプレイ等を含んでいてもよいし、ハードディスクドライブ、半導体メモリ等のデータ記録装置を含んでいてもよい。また、画像処理装置４は、複数のコンピュータによって構成されていてもよい。
【0022】
図４に示すように、画像処理装置４は、機能的な構成要素として、画像取得部２０１、強度比算出部２０２、単色画素判別部２０３、クラスタリング部２０４、統計値計算部２０５及び画像生成部２０６を備えている。図４に示す画像処理装置４の各機能部は、ＣＰＵ１０１及びＲＡＭ１０２等のハードウェア上にプログラム（実施形態にかかる蛍光画像取得プログラム）を読み込ませることにより、ＣＰＵ１０１の制御のもとで、通信モジュール１０４、及び入出力モジュール１０６等を動作させるとともに、ＲＡＭ１０２におけるデータの読み出し及び書き込みを行うことで実現される。画像処理装置４のＣＰＵ１０１は、このコンピュータプログラムを実行することによって図４の各機能部を機能させ、後述する蛍光画像取得方法に対応する処理を順次実行する。なお、ＣＰＵ１０１は、単体のハードウェアでもよく、ソフトプロセッサのようにＦＰＧＡのようなプログラマブルロジックの中に実装されたものでもよい。ＲＡＭやＲＯＭについても単体のハードウェアでもよく、ＦＰＧＡのようなプログラマブルロジックの中に内蔵されたものでもよい。このコンピュータプログラムの実行に必要な各種データ、及び、このコンピュータプログラムの実行によって生成された各種データは、全て、ＲＯＭ１０３、ＲＡＭ１０２等の内蔵メモリ、又は、ハードディスクドライブなどの記憶媒体に格納される。以下、画像処理装置４の機能的な構成要素の機能について詳細に説明する。
【0023】
画像取得部２０１は、第１～第Ｍ励起光毎に第１蛍光画像及び第２蛍光画像を画像取得装置３から取得する。第１蛍光画像は、照射装置２から照射される第１～第Ｍ励起光のそれぞれに対応する複数の蛍光について、第１光学状態において取得される蛍光画像である。第２蛍光画像は、照射装置２から照射される第１～第Ｍ励起光のそれぞれに対応する複数の蛍光について、第２光学状態において取得される蛍光画像である。
【0024】
図５を参照しつつ、第１蛍光画像及び第２蛍光画像の蛍光強度の一例を説明する。図５において、（ａ）部には第１光学状態において取得された第１蛍光画像の蛍光強度の波長特性を示し、（ｂ）部には第２光学状態において取得された第２蛍光画像の蛍光強度の波長特性を示している。ここでは、３種類の蛍光である第１蛍光、第２蛍光及び第３蛍光を撮像した場合を想定している。図５の（ａ）部において、ＦＩ１、ＦＩ２及びＦＩ３のそれぞれは、第１傾斜フィルタ１３を透過した第１蛍光、第２蛍光及び第３蛍光のそれぞれの蛍光強度を示している。図５の（ｂ）部において、ＦＩ４、ＦＩ５及びＦＩ６のそれぞれは、第１傾斜フィルタを透過していない第１蛍光、第２蛍光及び第３蛍光のそれぞれの蛍光強度を示している。また、Ｔ１は蛍光フィルタ部３ａの透過波長域における透過率を模式的に示している。図５の（ｂ）部に示すように、第２光学状態では各蛍光強度の大きさは同程度であるが、図５の（ａ）部に示すように、第１光学状態では、第１蛍光の蛍光強度ＦＩ１、第２蛍光の蛍光強度ＦＩ２、及び第３蛍光の蛍光強度ＦＩ３の順で大きくなっている。これは、第１傾斜フィルタ１３の透過率が、波長が大きくなるに従って線形的に大きくなっているためである。
【0025】
強度比算出部２０２は、第１～第Ｍ励起光毎に取得された第１蛍光画像及び第２蛍光画像を対象にして、第１蛍光画像の画素の強度値、及び、当該画素に対応する第２蛍光画像の画素の強度値の比である強度比を算出し、第１～第Ｍ励起光毎の強度比を算出する。ここで、第ｍ励起光（ｍは１以上Ｍ以下の整数）に対して、第１蛍光画像の第ｎ画素（ｎは１以上Ｎ以下の整数）における強度値、及び、第２蛍光画像の第ｎ画素における強度値の比である強度比をＲｍｎとすると、強度比算出部２０２は、測定された強度値に基づき、強度比Ｒｍｎを算出する。第１実施形態では、強度比は、第２蛍光画像の画素の強度値に対する第１蛍光画像の画素の強度値の比である。強度比は、第１蛍光画像の画素の強度値に対する第２蛍光画像の画素の強度値の比であってもよい。
【0026】
図６を参照しつつ、一例として第１励起光に対する第１画素における強度比Ｒ１１、及び、第２励起光に対する第１画素における強度比Ｒ２１の特徴を説明する。図６においては、一例として１種類の第１色素に対して第１励起光及び第２励起光を照射した場合を想定している。
【0027】
図６の（ａ）部には、第１色素の吸収スペクトルＡＳに対して、第１励起光及び第２励起光の励起光スペクトルＥＳ１，ＥＳ２が模式的に示されている。図６の（ｂ）部には、第１色素の蛍光スペクトルＦＳに対して、蛍光フィルタ部３ａの透過波長域における透過率Ｔ１、及び、透過率Ｔ１を加味した第１傾斜フィルタ１３の透過率Ｔ２が模式的に示されている。ここで、波長をλ、吸収スペクトルＡＳをｆＡＳ（λ）、励起光スペクトルＥＳ１をｆＥＳ１（λ）、励起光スペクトルＥＳ２をｆＥＳ２（λ）、蛍光スペクトルＦＳをｆＦＳ（λ）、透過率Ｔ１をＳＴ1（λ）、透過率Ｔ２をＳＴ２（λ）とすると、第１励起光を照射した際に、第１光学状態において取得される第１画素の強度値Ｉ１１は、下記式（１）のように算出することができる。一方、第１励起光を照射した際に、第２光学状態において取得される第１画素の強度値Ｉ１２は、下記式（２）のように算出することができる。
【0028】
【数1】
【0029】
第２励起光を照射した際に、第１光学状態において取得される第１画素の強度値Ｉ２１は、下記式（３）のように算出することができる。一方、第２励起光を照射した際に、第２光学状態において取得される第１画素の強度値Ｉ２２は、下記式（４）のように算出することができる。
【0030】
【数2】
【0031】
上記式（１）及び（２）から、第１励起光に対応する第１画素における強度比Ｒ１１は下記式（５）のように算出される。上記式（３）及び（４）から、第２励起光に対応する第１画素における強度比Ｒ２１は下記式（６）のように算出される。
【0032】
【数3】
【0033】
上記式（５）では、分母及び分子に共通している第１励起光に依存する値である∫ｆＡＳ（λ）ｆＥＳ１（λ）ｄλがキャンセルされるため、強度比Ｒ１１は第１励起光に依存しない。同様に、強度比Ｒ２１は第２励起光に依存しない。このため、上記式（５）及び（６）に示されるように、強度比Ｒ１１及び強度比Ｒ２１が同じ値となっている。ただし、強度比Ｒ１１及び強度比Ｒ２１は、実際には測定された強度値に基づいて算出されるため、測定誤差等の影響により強度比Ｒ１１及び強度比Ｒ２１が必ずしも同じ値になるとは限らないことに留意されたい。
【0034】
ここで、第１画素が第１色素に加えて第２色素からの蛍光が混ざって反映される画素である場合、第１励起光に対応する第１画素における強度比Ｒ’１１、及び、第２励起光に対応する第１画素における強度比Ｒ’２１について説明する。第２色素の吸収スペクトルをｆ’ＡＳ（λ）、第２色素の蛍光スペクトルをｆ’ＦＳ（λ）とする。強度比Ｒ’１１及びＲ’２１は下記式（７）及び（８）のように算出される。
【0035】
【数4】
【0036】
上記式（７）では、分母及び分子における第１励起光に依存する値がキャンセルされないため、強度比Ｒ’１１は第１励起光に依存している。同様に、強度比Ｒ’２１は第２励起光に依存している。すなわち、強度比Ｒ’１１及び強度比Ｒ’２１が同じ値とはならない。
【0037】
上述した強度比の特徴について説明する。図７は、第１画素が第１色素からの蛍光が反映される場合の強度比ＲＸ１、第１画素が第２色素からの蛍光が反映される場合の強度比ＲＸ２、及び、第１画素が第１色素と第２色素とからの蛍光が混ざって反映される場合の強度比ＲＸ３を模式的に示すグラフである。図７では、第１～第３励起光毎の強度比が示されている。図７に示されるように、強度比ＲＸ１及び強度比ＲＸ２は励起光毎に同じ値となっているのに対し、強度比ＲＸ３は励起光毎に異なった値となっている。さらに、図７に示されるように、強度比ＲＸ１及び強度比ＲＸ２は、互いに異なった値となっている。これは、上記式（５）及び（６）に示されるように、透過率Ｔ１を加味した第１傾斜フィルタ１３の透過率Ｔ２（すなわち、ＳＴ２）が波長λに依存した値であるからであり、また、蛍光フィルタ部３ａの透過波長域における透過率Ｔ１（すなわち、ＳＴ１）が波長λに依存した値であるからである。仮に、ＳＴ１及びＳＴ２が波長λに依存せず定数である場合、強度比は定数となり、強度比ＲＸ１及び強度比ＲＸ２は、同じ値となる。後述する単色画素判別部２０３では、このような強度比の特徴に基づき、画素が単色画素であるかを判別できる。
【0038】
単色画素判別部２０３は、第１～第Ｍ励起光毎の強度比に基づき、各画素が単色画素であるかを判別する。単色画素判別部２０３は、第１～第Ｎ画素のそれぞれにおいて第１～第Ｍ励起光毎の強度比のばらつきの指標であるＶ１～ＶＮのそれぞれを算出し、当該指標に基づき各画素が単色であるかを判別する。以下では、単色画素判別部２０３による第１画素における指標Ｖ１の算出方法を説明する。単色画素判別部２０３は、指標Ｖ１と同様に、指標Ｖ２～ＶＮを算出する。
【0039】
単色画素判別部２０３は、一例として、指標Ｖ１を下記式（９）により算出する。ここで、Ｒａｖｅ１は、第１画素における第１～第Ｍ励起光の強度比Ｒ１１～ＲＭ１の平均値である。この場合、単色画素判別部２０３は、指標Ｖ１を容易に算出することができる。Ｒａｖｅ１は、例えば下記式（１０）もしくは（１１）により算出される。ここで、ｙ１ｉは、第ｉ励起光を照射した際の第１光学状態おける第１画素の強度、ｙ２ｉは、第ｉ励起光を照射した際の第２光学状態おける第１画素の強度である。Ｒａｖｅ１は下記式（１０）及び（１１）に限られず、Ｒａｖｅ１は重み付き平均或いはＲ１１～ＲＭ１の中間値であってもよい。
【0040】
【数5】
【0041】
あるいは、単色画素判別部２０３は、指標Ｖ１を下記式（１２）により算出する。ここで、σｉ１はＲｉ１のノイズである。例えば、ノイズσｉ１は、第１カメラ１５がＣＭＯＳ（Complementary Metal-Oxide Semiconductor）カメラである場合、下記式（１３）により算出される。ここで、ｙ’１ｉは、ｙ１ｉを電子数に変換した際の強度、ｙ’２ｉは、ｙ２ｉを電子数に変換した際の強度、εは、ＣＭＯＳカメラの読み出しノイズである。なお、ショットノイズが支配的であれば、読み出しノイズεを無視することができる。下記式（１２）の場合、単色画素判別部２０３は、自由度Ｍ－１のカイ二乗分布に従うため、試料Ｓによらずに後述する閾値を設定することができる。
【0042】
【数6】
【0043】
あるいは、単色画素判別部２０３は、指標Ｖ１を下記式（１４）により算出する。ここで、ｐは１以上の定数であり、ｗｉは第ｉ励起光に対応した重みであり、ＲＦｉは、例えば、Ｒａｖｅ１、色素リファレンス情報から算出した強度比、複数の画素から求めた強度比の統計値である。ＲＦｉは、励起光ごとの測定条件やノイズ、背景光の影響等を考慮して励起光ごとに変えてもよい。あるいは、任意の値でもよい。下記式（１４）において、Ｒｉ１をＲｉ１に関する関数Ｇ（Ｒｉ１）に置き換えてもよい。
【0044】
【数7】
【0045】
指標Ｖ１～ＶＮは上記式（９）～（１４）の指標に限定されず、強度比のばらつきを評価できるものであれば、上記式（９）～（１４）以外の指標であってもよい。
【0046】
単色画素判別部２０３は、上述のように算出した指標Ｖ１～ＶＮに基づき、第１～第Ｎ画素のそれぞれが単色画素であるか判別する。単色画素判別部２０３は、一例として、ばらつきの指標が閾値以下である画素を単色画素と判別し、ばらつきの指標が閾値より大きい画素を単色画素ではないと判別する。閾値は、ユーザによって予め設定された値であってもよく、単色画素判別部２０３により決定されてもよい。なお、単色画素判別部２０３により閾値が決定される場合は、単色画素判別部２０３により自動的に決定される場合に限らず、ユーザから入力されたパラメータに応じて単色画素判別部２０３が閾値を決定してもよい。
【0047】
クラスタリング部２０４は、単色画素判別部２０３によって単色画素であると判別された複数の画素（以下、「複数の単色画素」と記す。）を対象にクラスタリングを実行する。クラスタリングの処理に先立って、クラスタリング部２０４は、Ｃ個（Ｃは２以上の整数）の波長分布の励起光のそれぞれを試料に照射することで取得されるＣ個の蛍光画像であって、それぞれがＮ個の画素によって構成されるＣ個の蛍光画像のそれぞれを構成するＮ個の画素の蛍光強度の値を並列に一次元に配列した行列データＹを生成する。Ｃ個の蛍光画像は、第１～第Ｍ励起光を照射することで画像取得装置３により取得されたＭ個の第１蛍光画像及びＭ個の第２蛍光画像をまとめたものであってもよいし、Ｍ個の第２蛍光画像であってもよい。もしくは、第１～第Ｍ励起光とは別にＣ個の励起光を照射し、第２光学状態において撮像されたＣ個の蛍光画像であってもよい。
【0048】
クラスタリング部２０４は、一例として、複数の単色画素のそれぞれの強度比の平均値を基に、複数の単色画素を、Ｌ個（Ｌは２以上Ｎ－１以下の整数）の画素群にクラスタリングする。ここで、クラスタリングする画素群の数Ｌは、例えば試料Ｓに存在しうる色素の種類の数に対応させて、画像処理装置４内に記憶されるパラメータとして予め設定される。画素群の数Ｌは、励起光の種類や励起光の波長分布の数Ｃに応じて決められてもよいし、励起光の種類や励起光の波長分布の数Ｃとは無関係に決められてもよい。同色の単色画素同士の強度比の平均値は、同じ、あるいは互いに近い値である。クラスタリング部２０４は、複数の単色画素毎の強度比の平均値の間の距離（値の近さ）を判断することにより、複数の単色画素をＬ個の画素群にクラスタリングする。クラスタリング部２０４は、Ｃ個の蛍光画像の画素の蛍光強度の値を一次元に並列に配列した行列データＹを、Ｌ個の画素群毎のクラスタ行列に分割して再生成する。複数の単色画素のそれぞれの強度比の平均値は、例えば単純平均、重み付き平均である。当該平均値は、他の演算方法を用いて算出されてもよい。クラスタリング部２０４は、複数の単色画素のそれぞれの強度比の中間値を基に、クラスタリングしてもよい。クラスタリング部２０４は、複数の単色画素のそれぞれのＣ個の励起光ごとの強度に基づいて、クラスタリングしてもよい。
【0049】
図８には、クラスタリング部２０４によってクラスタリングされた画素群のイメージが示されている。図８に示すように、試料Ｓに含まれる色素が、色素Ｃ１、色素Ｃ２、色素Ｃ３の３種類であり、クラスタリング部２０４は、複数の単色画素を３個の画素群ＰＧｒ１～ＰＧｒ３にクラスタリングする。
【0050】
統計値計算部２０５は、試料Ｓを対象にして得られたＬ個のクラスタ行列を基に、Ｃ個の蛍光画像からＫ個（Ｋは２以上Ｃ以下の整数）の色素のそれぞれの分布を示すＫ個の色素画像を生成するためのミキシング行列Ａを求める。一般に、非負値行列因子分解（NMF）の演算方式によれば、観測値行列である行列データＹと、Ｋ個の色素画像を画素毎に一次元に並列に配列した色素行列データＸとの関係は、ミキシング行列Ａを用いて、下記式；
Ｙ＝ＡＸ
で表わされる。ここで、Ｙは、Ｃ行Ｎ列の行列データであり、Ａは、Ｃ行Ｋ列の行列データであり、Ｘは、Ｋ行Ｎ列の行列データである。逆に、ミキシング行列Ａの値が求まれば、色素行列データＸは、ミキシング行列Ａの逆行列Ａ－１と行列データＹとを用いて、下記式；
Ｘ＝Ａ－１Ｙ
によって導き出すことができる。この処理をアンミキシングと言う。
Ｙ＝ＡＸ
で表わされる。ここで、Ｙは、Ｃ行Ｎ列の行列データであり、Ａは、Ｃ行Ｋ列の行列データであり、Ｘは、Ｋ行Ｎ列の行列データである。逆に、ミキシング行列Ａの値が求まれば、色素行列データＸは、ミキシング行列Ａの逆行列Ａ－１と行列データＹとを用いて、下記式；
Ｘ＝Ａ－１Ｙ
によって導き出すことができる。この処理をアンミキシングと言う。
【0051】
ここで、統計値計算部２０５は、クラスタリング部２０４によって生成された行列データＹを、クラスタリング部２０４によってクラスタリングされた画素群単位で圧縮することによって、行列データＹ’を再生成する。詳細には、統計値計算部２０５は、行列データＹの各行の蛍光強度を対象に、クラスタリングされたクラスタ行列の画素群毎に統計値を計算し、各行の画素群を、計算した統計値を有する１つの画素に圧縮する。これにより、統計値計算部２０５は、Ｃ行Ｌ列の行列データである行列データＹ’を再生成する。統計値計算部２０５は、統計値として、蛍光強度の積算値に基づいた平均値を計算してもよいし、蛍光強度の最頻値を計算してもよいし、蛍光強度の中間値を計算してもよい。
【0052】
さらに、統計値計算部２０５は、再生した行列データＹ’、及び、色素行列データＸから同様にして圧縮される色素行列データＸ’にも、ミキシング行列Ａを含む下記式；
Ｙ’＝ＡＸ’
が成立する性質を利用して、行列データＹ’を基にミキシング行列Ａを導出する。図９には、統計値計算部２０５によって再生成される行列データＹ’、及びそれに対応する色素行列データＸ’のイメージを示している。図９に図示される１つの升目は行列データの１つの要素を表している。このように、３つの画素群ＰＧｒ１～ＰＧｒ３に分割された色素行列データＸ及び行列データＹは、画素群ＰＧｒ１～ＰＧｒ３毎の統計値を代表値として、３列の色素行列データＸ’及び行列データＹ’に圧縮されたデータである。
Ｙ’＝ＡＸ’
が成立する性質を利用して、行列データＹ’を基にミキシング行列Ａを導出する。図９には、統計値計算部２０５によって再生成される行列データＹ’、及びそれに対応する色素行列データＸ’のイメージを示している。図９に図示される１つの升目は行列データの１つの要素を表している。このように、３つの画素群ＰＧｒ１～ＰＧｒ３に分割された色素行列データＸ及び行列データＹは、画素群ＰＧｒ１～ＰＧｒ３毎の統計値を代表値として、３列の色素行列データＸ’及び行列データＹ’に圧縮されたデータである。
【0053】
統計値計算部２０５は、次のようにして、行列データＹ’を基にミキシング行列Ａを導出する。すなわち、統計値計算部２０５は、ミキシング行列Ａに初期値を設定し、ミキシング行列Ａの値を順次変更しながら下記式（１５）のロス関数（損失値）Ｌｏｓを計算し、ロス関数Ｌｏｓの値を低減させるようなミキシング行列Ａを導出する。なお、このロス関数には、Ｌ１ノルムλ｜Ａ｜（λは正則化項を重視する度合いを示す係数）等の正則化項が追加されてもよい。
【0054】
【数8】
上記式（１５）中、ｊは行列データの行の位置（励起光の波長帯に対応）を示すパラメータであり、行列の添え字１ｊは、１番目のクラスタ行列のｊ番目の行の行列データを示し、行列の添え字２ｊは、２番目のクラスタ行列のｊ番目の行の行列データを示し、行列の添え字３ｊは、３番目のクラスタ行列のｊ番目の行の行列データを示す。また、パラメータａ、ｂ、ｃは、行列データＹ’の各列の統計値の平均値を示している。
【0055】
上記のように、統計値計算部２０５は、クラスタリング部２０４によって分割されたＬ個のクラスタ行列毎に、Ｃ個の行列データＹ’の統計値を参照してロス関数を計算し、Ｌ個のロス関数の和を基にロス関数Ｌｏｓを計算し、そのロス関数Ｌｏｓを基にミキシング行列Ａを求める。この際、統計値計算部２０５は、Ｌ個のクラスタ行列毎に計算したロス関数を、Ｃ個の行列データＹ’の統計値の平均値ａ，ｂ，ｃで除算することによって補正してから、補正したロス関数の和を計算することによってロス関数Ｌｏｓを求めている。なお、統計値計算部２０５は、Ｌ個のクラスタ行列毎のロス関数を、差分値Ｙ’－ＡＸ’の励起光の波長帯毎の行成分を励起光の各波長帯に対応するＣ個の統計値を用いて除算して補正することによって、計算してもよい。
【0056】
あるいは、統計値計算部２０５は、次のようにミキシング行列Ａを生成してもよい。統計値計算部２０５は、Ｃ個の蛍光画像のそれぞれについて、クラスタリングされたＬ個の画素群毎に上記統計値を計算し、そして計算された統計値をＣ個の蛍光画像ごとに並べてＣ行Ｌ列のミキシング行列Ａを生成してもよい。すなわち、ミキシング行列Ａは、行列データＹ’と同じであってもよい。この場合、クラスタ数と色素の数は等しくなり、ミキシング行列Ａをより容易に生成することができる。
【0057】
画像生成部２０６は、観察対象の試料Ｓを対象にして得られたＣ個の蛍光画像に対して、統計値計算部２０５によって導出されたミキシング行列Ａを用いてアンミキシングすることによって、Ｋ個の色素画像を取得する。具体的には、画像生成部２０６は、クラスタリング部２０４によってＣ個の蛍光画像を基に生成された行列データＹに、ミキシング行列Ａの逆行列Ａ－１を適用することにより、色素行列データＸを計算する。そして、画像生成部２０６は、色素行列データＸからＫ個の色素画像を再生し、再生したＫ個の色素画像を出力する。このときの出力先は、ディスプレイ、タッチパネルディスプレイ等の画像処理装置４の出力デバイスであってもよいし、画像処理装置にデータ通信可能に接続された外部の装置であってもよい。
【0058】
次に、第１実施形態に係る蛍光画像取得システム１を用いた試料Ｓを対象にした観察処理の手順、すなわち、第１実施形態に係る蛍光画像取得方法の流れについて説明する。図１０は、蛍光画像取得システム１による観察処理の手順を示すフローチャートである。
【0059】
まず、照射装置２によって、複数の波長分布の励起光のそれぞれが試料Ｓに照射される（ステップＳ１；照射ステップ）。次に、画像処理装置４の画像取得部２０１によって、複数の励起光のそれぞれに対応する複数の蛍光のそれぞれについて、蛍光フィルタ部３ａを介して、第１光学状態における第１蛍光画像、及び、第１光学状態とは異なる波長特性で蛍光を測定する第２光学状態における第２蛍光画像が取得される（ステップＳ２；取得ステップ）。第１実施形態では、ステップＳ２は、第１光学状態において蛍光を撮像し、第１蛍光画像を取得する第１取得ステップと、第２光学状態において蛍光を撮像し、第２蛍光画像を取得する第２取得ステップと、を含んでいる。なお、ステップＳ１及びステップＳ２は交互に繰り返されてもよい。例えば、照射ステップにおいて第１励起光を照射し、第１取得ステップにおいて第１蛍光画像を取得した後、照射ステップに戻って第１励起光を照射し、第２取得ステップにおいて第２蛍光画像を取得してもよいし、この後さらに照射ステップに戻って第２励起光を照射してもよい。
【0060】
さらに、画像処理装置４の強度比算出部２０２によって、第１蛍光画像及び第２蛍光画像について、第１蛍光画像の画素の強度値、及び、当該画素に対応する第２蛍光画像の画素の強度値の比である強度比が算出され、複数の励起光毎の強度比が算出される（ステップＳ３；算出ステップ）。次に、画像処理装置４の単色画素判別部２０３によって、複数の励起光毎の強度比に基づき、画素が単色画素であるかが判別される（ステップＳ４；判別ステップ）。
【0061】
さらに、画像処理装置４のクラスタリング部２０４によって、Ｃ個の波長分布の励起光のそれぞれを試料に照射することで取得されるＣ個の蛍光画像であって、それぞれがＮ個の画素によって構成されるＣ個の蛍光画像を対象に、判別ステップによって単色画素であると判別された複数の画素が、Ｌ個の画素群にクラスタリングされる（ステップＳ５；クラスタリングステップ）。次に、画像処理装置４のクラスタリング部２０４によって、Ｃ個の蛍光画像のＮ個の画素を並列に配列した行列データＹが生成される（ステップＳ６；クラスタリングステップ）。
【0062】
さらに、画像処理装置４の統計値計算部２０５により、Ｌ個の画素群の統計値を計算することにより、クラスタリング部２０４によって生成された行列データＹを基に行列データＹ’が再生成される（ステップＳ７；計算ステップ）。次に、画像処理装置４の統計値計算部２０５により、行列データＹ’を基にミキシング行列Ａが導出される（ステップＳ８；画像生成ステップ）。次に、画像処理装置４の画像生成部２０６により、試料Ｓを対象にしたＣ個の蛍光画像を基に生成された行列データＹがミキシング行列Ａを用いてアンミキシングされることにより、Ｋ個の色素画像が再生される（ステップＳ９；画像生成ステップ）。最後に、画像処理装置４の画像生成部２０６によって、再生されたＫ個の色素画像が出力される（ステップＳ１０）。以上により、試料Ｓを対象にした観察処理が完了する。
【0063】
以上説明した第１実施形態に係る蛍光画像取得システム１によれば、複数の励起光のそれぞれに対応する複数の蛍光のそれぞれについて、第１光学状態における第１蛍光画像、及び、第１光学状態とは異なる波長特性で蛍光を測定する第２光学状態における第２蛍光画像が取得される。さらに、第１蛍光画像の画素の強度値、及び、第２蛍光画像の画素の強度値の比である強度比が算出され、複数の励起光毎の強度比が算出される。加えて、複数の励起光毎の強度比に基づき、画素が単色画素であるか判別される。これにより、複数の色素からの蛍光が混ざって反映される画素、及び、単一の色素からの単色の蛍光が反映される単色画素を含む蛍光画像においても、蛍光画像の複数の画素から単色画素を判別することができる。すなわち、蛍光画像における単色画素を判別することができる。
【0064】
上記作用効果を具体的に説明する。第１実施形態に係る蛍光画像取得システム１によれば、強度比算出部２０２により第ｎ画素における強度値の比である強度比Ｒｍｎが算出される。第ｎ画素が単色画素である場合、強度比Ｒ１ｎ～ＲＭｎが同じ値、もしくは、第ｎ画素が単色画素でない場合と比較して、強度比Ｒ１ｎ～ＲＭｎが互いに近い値となる。このような特徴に基づき、単色画素判別部２０３が、強度比Ｒ１ｎ～ＲＭｎに対してばらつきの指標を算出し、且つ、当該指標が閾値以下であるかを判定することにより、第ｎ画素が単色画素であるか判別することができる。
【0065】
また、第１実施形態においては、取得ステップ（ステップＳ２）は、複数の蛍光のそれぞれについて、蛍光フィルタ部３ａの各反射波長域又は各透過波長域において透過率が異なる第１光学フィルタ１３を用いた第１光学状態において蛍光を撮像し、第１蛍光画像を取得する第１取得ステップと、複数の蛍光のそれぞれについて、第２光学状態において蛍光を撮像し、第２蛍光画像を取得する第２取得ステップと、を含んでいる。これにより、単色画素の判別の精度を向上させることができる。さらに、第１光学フィルタ１３を用いることで複数の波長域間で複数の蛍光の透過特性あるいは反射特性を変えることができ、複数色の単色画像をさらに判別することができる。加えて、第１光学フィルタ１３を用いることで容易に第１光学状態とすることができ、第１蛍光画像を容易に取得することができる。
【0066】
また、第１実施形態においては、第１光学フィルタ１３は、各透過波長域にわたって透過率が単調に変化する第１傾斜フィルタ１３である。第１傾斜フィルタ１３を用いることで各透過波長域にわたって透過率を単調に変化させることができ、複数色の単色画像をさらに精度よく判別することができる。さらに、第１傾斜フィルタ１３を用いることで容易に第１光学状態とすることができ、第１蛍光画像を容易に取得することができる。
【0067】
また、第１実施形態においては、第２取得ステップでは、第１光学フィルタ１３を取り外した状態である第２光学状態において蛍光を撮像する。第１光学フィルタ１３を取り外すことにより第２光学状態とすることができるため、より容易に第２光学状態とすることができる。よって、第２蛍光画像をより容易に取得することができる。
【0068】
また、第１実施形態においては、画像処理装置４は、Ｃ個（Ｃは２以上の整数）の波長分布の励起光のそれぞれを試料に照射することで取得されるＣ個の蛍光画像であって、それぞれがＮ個（Ｎは２以上の整数）の画素によって構成されるＣ個の蛍光画像を対象に、単色画素であると判別された複数の画素を、Ｌ個（Ｌは２以上Ｎ－１以下の整数）の画素群にクラスタリングし、Ｃ個の蛍光画像をクラスタリングした画素群毎に配列したＬ個のクラスタ行列を生成し、Ｌ個のクラスタ行列ごとにＣ個の蛍光画像を構成する画素群の強度値の統計値を計算し、Ｌ個のクラスタ行列ごとのＣ個の蛍光画像の統計値を用いて、Ｃ個の蛍光画像を対象にアンミキシングを行い、Ｋ個（Ｋは２以上Ｃ以下の整数）の色素毎の分布を示すＫ個の蛍光画像を生成する。この場合、単色画素であると判別された複数の画素が、Ｌ個の画素群にクラスタリングされ、Ｃ個の波長分布の励起光のそれぞれを試料に照射することで取得されるＣ個の蛍光画像をクラスタリングした画素群毎に配列したＬ個のクラスタ行列が生成される。加えて、Ｌ個のクラスタ行列ごとにＣ個の蛍光画像を構成する画素群の強度値の統計値が計算され、それぞれのＣ個の蛍光画像の統計値を用いてＣ個の蛍光画像がアンミキシングされてＫ個の蛍光画像が生成される。これにより、色素ごとの分離画像を精度よく得ることができる。
【0069】
上記作用効果を具体的に説明する。第１実施形態では、第１傾斜フィルタ１３が波長λに依存した透過率を有しているため、同じ単色を示す単色画素同士の強度比は同じ値、もしくは互いに近い値となる。このような特徴に基づき、クラスタリング部２０４は、例えば複数の単色画素毎の強度比の平均値の間の距離（値の近さ）を判断することにより、複数の単色画素をＬ個の画素群にクラスタリングすることができる。複数の単色画素毎の強度比の平均値は、例えば単純平均、重み付き平均である。当該平均値は、他の演算方法を用いて算出されてもよい。クラスタリング部２０４は、複数の単色画素毎の強度比の中間値の間の距離を判断することにより、クラスタリングしてもよい。クラスタリング部２０４は、複数の単色画素毎のＣ個の励起光ごとの強度に基づいて、クラスタリングしてもよい。
【0070】
［第２実施形態］
本開示の第２実施形態について説明する。図１１は、第２実施形態にかかる蛍光画像取得装置である蛍光画像取得システム１Ａの概略構成図である。蛍光画像取得システム１Ａでは、画像取得装置３Ａの構成が、蛍光画像取得システム１の画像取得装置３の構成と異なる。画像取得装置３Ａは、第１光学フィルタ１３を含んでいない。画像取得装置３Ａは、第１カメラ１５と構成が異なる第１カメラ１５Ａを含んでいる。
本開示の第２実施形態について説明する。図１１は、第２実施形態にかかる蛍光画像取得装置である蛍光画像取得システム１Ａの概略構成図である。蛍光画像取得システム１Ａでは、画像取得装置３Ａの構成が、蛍光画像取得システム１の画像取得装置３の構成と異なる。画像取得装置３Ａは、第１光学フィルタ１３を含んでいない。画像取得装置３Ａは、第１カメラ１５と構成が異なる第１カメラ１５Ａを含んでいる。
【0071】
第１カメラ１５Ａは、試料Ｓからの蛍光を異なる波長特性で測定した少なくとも２つ以上の蛍光画像を取得するカメラである。第１カメラ１５Ａは、複数の蛍光のそれぞれを撮像し、少なくとも第１蛍光画像及び第２蛍光画像を含む複数の蛍光画像を取得することができる。第２実施形態では、このような第１カメラ１５Ａとして、例えばカラーカメラあるいはハイパースペクトルカメラを用いることができる。
【0072】
第１カメラ１５Ａとしてカラーカメラを用いた場合、複数の蛍光のそれぞれを１回撮像することにより、例えばＲＧＢ成分ごとに分離された複数の画像を取得することができる。一例として、カラーカメラは次のようにＲＧＢ成分ごとに分離された複数の画像を取得する。カラーカメラには、固体撮像素子上の各画素に対応して特定の色フィルタ、たとえば赤、緑、及び青の色フィルタが設けられている。赤色のフィルタが設けられた素子をＲ素子、緑色のフィルタが設けられた素子をＧ素子、青色のフィルタが設けられた素子をＢ素子、と記す。カラーカメラでは、Ｒ素子、Ｇ素子、及びＢ素子がモザイク状に並んでいる。Ｂ素子は、蛍光のＢ成分（青色成分）のみを取得し、Ｂ素子における蛍光のＲ成分（赤色成分）及びＧ成分（緑色成分）はベイヤー変換処理により補間される。同様の処理をＲ素子及びＧ素子でも行うことにより、カラーカメラはＲＧＢ成分ごとに分離された複数の画像を取得することができる。ベイヤー変換処理とは、周りの素子から足りない色を一定のアルゴリズムで補う処理のことをいう。画像取得部２０１は、ＲＧＢ成分ごとに分離された複数の画像から、第１蛍光画像及び第２蛍光画像を取得することができる。以降の説明では、Ｇ成分の画像を第１蛍光画像、Ｂ成分の画像を第２蛍光画像とする。
【0073】
図１２を参照しつつ、上記カラーカメラを用いた場合の各画素の強度比について説明する。図１２は、蛍光スペクトルに対して、各フィルタの分光特性を模式的に示す図である。ＳＣ１は赤色フィルタの分光特性、ＳＣ２は緑色フィルタの分光特性、ＳＣ３は青色フィルタの分光特性である。第１励起光を試料Ｓに照射した際に、Ｇ成分の画像である第１蛍光画像の画素の強度ＩＡ１１と、Ｂ成分の画像である第２蛍光画像の当該画素の強度ＩＡ１２と、強度比ＲＡ１１とが、例えば下記式（１６）～（１８）のように算出される。ここで、緑色フィルタの分光特性をＳＧ（λ）、青色フィルタの分光特性をＳＢ（λ）とする。第１実施形態と同様に、単色画素である場合、強度比が第１励起光に依存しない。このため、第２実施形態においても、複数の励起光毎の強度比を算出することにより、各画素が単色画素であるか判別することができる。なお、各画素の強度には、ベイヤー変換処理の際に生じる係数が掛かっていてもよい。当該係数は励起光に依存しないため、当該係数が掛かっている場合であっても、単色画素の強度比は励起光に依存しない。
【0074】
【数9】
【0075】
第１カメラ１５Ａとしてハイパースペクトルカメラを用いた場合、複数の蛍光のそれぞれを１回撮像することにより、異なる波長特性ごとに分離された複数の画像を取得することができる。一例として、ハイパースペクトルカメラは次のように異なる波長特性ごとに分離された複数の画像を取得する。ハイパースペクトルカメラでは、固体撮像素子上の各画素に様々な波長バンドのフィルタがモザイク状に構成されている。例えば、各画素では４×４＝１６個の波長バンドのフィルタが構成されており、各画素は１６個の波長バンドの情報を持つ。これにより、ハイパースペクトルカメラは、例えば１６個の異なる波長特性ごとに分離された複数の画像を取得することができる。画像取得部２０１は、異なる波長特性ごとに分離された複数の画像から、第１蛍光画像及び第２蛍光画像を取得する。以降の説明では、ハイパースペクトルカメラの１６個の波長バンドのそれぞれが、一例として、４６５ｎｍ、４７４ｎｍ、４８５ｎｍ、４９６ｎｍ、５１０ｎｍ、５２２ｎｍ、５３４ｎｍ、５４６ｎｍ、５４８ｎｍ、５６２ｎｍ、５７８ｎｍ、５８６ｎｍ、６００ｎｍ、６０８ｎｍ、６２４ｎｍ、６３０ｍの波長のそれぞれに対応するとし、４７４ｎｍに対応する波長バンドのフィルタにより取得された画像を第１蛍光画像、６３０ｎｍに対応する波長バンドのフィルタにより取得された画像を第２蛍光画像とする。
【0076】
図１３を参照しつつ、上記ハイパースペクトルカメラを用いた場合の各画素の強度比について説明する。図１３は、蛍光スペクトルに対して、各フィルタの分光特性を模式的に示す図である。ＳＣ４は４７４ｎｍに対応する波長バンドのフィルタの分光特性、ＳＣ５は６３０ｎｍに対応する波長バンドのフィルタの分光特性である。第１励起光を試料Ｓに照射した際に、第１蛍光画像の画素の強度ＩＢ１１と、第２蛍光画像の当該画素の強度ＩＢ１２と、強度比ＲＢ１１とが、例えば下記式（１９）～（２１）のように算出される。ここで、４７４ｎｍに対応する波長バンドのフィルタの分光特性をＳ４７４（λ）、６３０ｎｍに対応する波長バンドのフィルタの分光特性をＳ６３０（λ）とする。第１実施形態と同様に、単色画素である場合、強度比が第１励起光に依存しない。このため、第２実施形態においても、複数の励起光毎の強度比を算出することにより、各画素が単色画素であるか判別することができる。
【0077】
【数10】
【0078】
あるいは、ハイパースペクトルカメラは、固体撮像素子上のフィルタにより蛍光を分光するのではなく、分光器により蛍光を分光してもよい。このようなハイパースペクトルカメラでは、例えば、レンズを介して蛍光を分光器に入射させることで、当該蛍光を複数の波長バンドに分光し、波長バンドごとの蛍光を撮像素子に受光させることにより、各画素が複数の波長バンドの情報を持つ。このようなハイパースペクトルカメラであっても、異なる波長特性ごとに分離された複数の画像を取得することができる。よって、画像取得部２０１は、異なる波長特性ごとに分離された複数の画像から、第１蛍光画像及び第２蛍光画像を取得することができる。
【0079】
上記の第２実施形態に係る蛍光画像取得システム１Ａでも、画像取得装置３Ａが複数の蛍光のそれぞれを撮像することにより、第１蛍光画像、及び、第２蛍光画像が取得される。したがって、蛍光画像取得システム１Ａによっても、第１実施形態に係る蛍光画像取得システム１と同様の作用効果が奏される。さらに、複数の蛍光のそれぞれを１回撮像することにより、第１蛍光画像及び第２蛍光画像の双方を取得することができる。よって、第１蛍光画像及び第２蛍光画像を効率的に取得することができる。
【0080】
また、第２実施形態においては、画像取得装置３Ａは、例えばカラーカメラを用いて複数の蛍光のそれぞれを撮像する。カラーカメラを用いて複数の蛍光のそれぞれを１回撮像することにより、例えばＲＧＢ成分ごとに分離された複数の画像を取得することができる。これら複数の画像から、第１蛍光画像及び第２蛍光画像を取得することができる。
【0081】
また、第２実施形態においては、画像取得装置３Ａは、例えばハイパースペクトルカメラを用いて複数の蛍光のそれぞれを撮像する。ハイパースペクトルカメラを用いて複数の蛍光のそれぞれを１回撮像することにより、異なる波長特性ごとに分離された複数の画像を取得することができる。これら複数の画像から、第１蛍光画像及び第２蛍光画像を取得することができる。
【0082】
［第３実施形態］
本開示の第３実施形態について説明する。図１４は、第３実施形態にかかる蛍光画像取得装置である蛍光画像取得システム１Ｂの概略構成図である。蛍光画像取得システム１Ｂの画像取得装置３Ｂは、蛍光画像取得システム１の画像取得装置３の構成に加えて、第２カメラ１７をさらに備える。
本開示の第３実施形態について説明する。図１４は、第３実施形態にかかる蛍光画像取得装置である蛍光画像取得システム１Ｂの概略構成図である。蛍光画像取得システム１Ｂの画像取得装置３Ｂは、蛍光画像取得システム１の画像取得装置３の構成に加えて、第２カメラ１７をさらに備える。
【0083】
第２カメラ１７は、例えば第１カメラ１５と同じ構成を備えるカメラである。第２カメラ１７は、第１傾斜フィルタ１３が蛍光の光路上に設けられた際に、第１傾斜フィルタ１３を反射する蛍光を撮像して第２蛍光画像を取得するカメラである。すなわち、蛍光画像取得システム１Ｂでは、第１傾斜フィルタ１３を透過する蛍光を第１カメラ１５により撮像して第１蛍光画像を取得し、第１傾斜フィルタ１３を反射する蛍光を第２カメラ１７により撮像して第２蛍光画像を取得する。
【0084】
上記の第３実施形態に係る蛍光画像取得システム１Ｂでも、第１傾斜フィルタ１３を透過する蛍光を第１カメラ１５により撮像し、第１傾斜フィルタ１３を反射する蛍光を第２カメラ１７により撮像することにより、第１蛍光画像、及び、第２蛍光画像が取得される。したがって、蛍光画像取得システム１Ｂによっても、第１実施形態に係る蛍光画像取得システム１と同様の作用効果が奏される。
【0085】
［第４実施形態］
本開示の第４実施形態について説明する。図１５は、第４実施形態にかかる蛍光画像取得装置である蛍光画像取得システム１Ｃの概略構成図である。蛍光画像取得システム１Ｃの画像取得装置３Ｃは、蛍光画像取得システム１の画像取得装置３の構成に加えて、第２光学フィルタ１９をさらに備える。画像取得装置３Ｃには、第１光学フィルタ１３が蛍光フィルタ部３ａからの蛍光の光路上に設けられている状態から、第２光学フィルタ１９が蛍光フィルタ部３ａからの蛍光の光路上に設けられている状態に切り替えるように、第１光学フィルタ１３と第２光学フィルタ１９とを切替可能とする切替機構（図示せず）が設けられる。
本開示の第４実施形態について説明する。図１５は、第４実施形態にかかる蛍光画像取得装置である蛍光画像取得システム１Ｃの概略構成図である。蛍光画像取得システム１Ｃの画像取得装置３Ｃは、蛍光画像取得システム１の画像取得装置３の構成に加えて、第２光学フィルタ１９をさらに備える。画像取得装置３Ｃには、第１光学フィルタ１３が蛍光フィルタ部３ａからの蛍光の光路上に設けられている状態から、第２光学フィルタ１９が蛍光フィルタ部３ａからの蛍光の光路上に設けられている状態に切り替えるように、第１光学フィルタ１３と第２光学フィルタ１９とを切替可能とする切替機構（図示せず）が設けられる。
【0086】
第２光学フィルタ１９は、第１光学フィルタ１３とは異なる透過率を有し、蛍光フィルタ部３ａの各反射波長域又は各透過波長域において透過率が異なるフィルタである。第４実施形態では、第２光学フィルタ１９は、波長が大きくなるに従って透過率が線形的に小さくなるような透過率の波長特性を有する傾斜フィルタである。すなわち、第２光学フィルタ１９の透過率は、蛍光フィルタ部３ａの各透過波長域にわたって単調に減少している。以降の第４実施形態の説明では、このような傾斜フィルタである第２光学フィルタ１９を第２傾斜フィルタ１９とも記す。第２傾斜フィルタ１９は、第１傾斜フィルタ１３とは異なる透過率の変化を示す。第２光学フィルタ１９は、波長が大きくなるに従って透過率が線形的に大きくなるような透過率の波長特性を有する傾斜フィルタであってもよい。第２光学フィルタ１９は、蛍光フィルタ部３ａの各反射波長域にわたって透過率が単調に変化する傾斜フィルタであってもよい。
【0087】
第１カメラ１５は、第１傾斜フィルタ１３が蛍光の光路上に設けられている際に、蛍光を撮像し、第１蛍光画像を取得する。また、第１カメラ１５は、第２傾斜フィルタ１９が蛍光の光路上に設けられている際に、蛍光を撮像し、第２蛍光画像を取得する。
【0088】
上記の第４実施形態に係る蛍光画像取得システム１Ｃでも、第１傾斜フィルタ１３が蛍光の光路上に設けられている際に、蛍光を撮像し、第２傾斜フィルタ１９が蛍光の光路上に設けられている際に、蛍光を撮像することにより、第１蛍光画像及び第２蛍光画像が取得される。したがって、蛍光画像取得システム１Ｃによっても、第１実施形態に係る蛍光画像取得システム１と同様の作用効果が奏される。
【0089】
また、第４実施形態においては、画像取得装置３Ｃは、第１傾斜フィルタ１３とは異なる透過率の変化を示す第２傾斜フィルタ１９を用いた第２光学状態において蛍光を撮像する。第２傾斜フィルタ１９を用いることで各透過波長域にわたって透過率を単調に変化させることができ、複数色の単色画像をさらに精度よく判別することができる。さらに、第２傾斜フィルタ１９を用いることで容易に第２光学状態とすることができ、第２蛍光画像を容易に取得することができる。
【0090】
また、第４実施形態においては、画像取得装置３Ｃは、第１光学フィルタ１３とは異なる透過率を有する第２光学フィルタ１９を用いた第２光学状態において蛍光を撮像する。第２光学フィルタ１９を用いることで容易に第２光学状態とすることができ、第２蛍光画像を容易に取得することができる。
【0091】
［蛍光画像の生成例］
第１実施形態に係る蛍光画像取得システム１による蛍光画像の生成例を説明する。本生成例では、赤色の蛍光テープである試料Ｓ１１，Ｓ２１、橙色の蛍光テープである試料Ｓ１２，Ｓ２２、緑色の蛍光テープである試料Ｓ１３，Ｓ２３、青色の蛍光テープである試料Ｓ１４，Ｓ２４を準備し、これら蛍光テープをスライド上に十字状に配置した。図１６の（ａ）部は、これら蛍光テープをモノクロカメラにより撮像して取得される蛍光画像である。図１６の（ｂ）部は、クラスタリング部２０４によってクラスタリングされた画素群のうち、青色の単色画素から構成される画素群を示している。図１６の（ｂ）部に示されるように、本生成例では、単色画素が精度よくクラスタリングされている。
第１実施形態に係る蛍光画像取得システム１による蛍光画像の生成例を説明する。本生成例では、赤色の蛍光テープである試料Ｓ１１，Ｓ２１、橙色の蛍光テープである試料Ｓ１２，Ｓ２２、緑色の蛍光テープである試料Ｓ１３，Ｓ２３、青色の蛍光テープである試料Ｓ１４，Ｓ２４を準備し、これら蛍光テープをスライド上に十字状に配置した。図１６の（ａ）部は、これら蛍光テープをモノクロカメラにより撮像して取得される蛍光画像である。図１６の（ｂ）部は、クラスタリング部２０４によってクラスタリングされた画素群のうち、青色の単色画素から構成される画素群を示している。図１６の（ｂ）部に示されるように、本生成例では、単色画素が精度よくクラスタリングされている。
【0092】
図１７の（ａ）部は、画像生成部２０６によって生成される色素画像のうち青色の色素（試料Ｓ１４，Ｓ２４）からの蛍光画像を示し、図１７の（ｂ）部は、緑色の色素（試料Ｓ１３，Ｓ２３）からの蛍光画像を示し、図１７の（ｃ）部は、橙色の色素（試料Ｓ１２，Ｓ２２）からの蛍光画像を示し、図１７の（ｄ）部は、赤色の色素（試料Ｓ１１，Ｓ２１）からの蛍光画像を示している。図１７の（ａ）部～（ｄ）部に示されるように、本生成例では、各色素からの蛍光画像が精度よく生成されている。
【0093】
以上、本開示の種々の実施形態について説明したが、本開示は上記実施形態に限定されるものではなく、各請求項に記載した要旨を変更しない範囲で変形し、又は他のものに適用したものであってもよい。
【0094】
第２実施形態においては、第１カメラは、透過波長域或いは反射波長域を任意に切り替えられるフィルタを固体撮像素子上に設けていてもよい。このようなフィルタとして、バリアブルフィルタとバンドパスフィルタとの機能を備えたバリアブルバンドパスフィルタ、液晶チューナブルフィルタ、ＡＯＴＦ（Acousto-Optic Tunable Filter）が挙げられる。もしくは、第１カメラは、プリズム等の分光器によって蛍光を異なる波長特性ごとに分離してもよい。
【0095】
各実施形態に係る画像処理装置４は、クラスタリングされる前の行列データＹを生成する際には、画像を構成するＮ個の画素を規定の規則で行方向に並べたデータとして生成してもよいし、ランダムな規則で行方向に並べたデータとして生成してもよい。ただし、１つの行列データＹを構成するＣ行の蛍光画像のデータは同じ規則でＮ個の画素を並べたデータとして設定される。ランダムに配列することによって生成された行列データＹを用いてもクラスタリングによって同じ行列データＹ’を再生成することができる。
【0096】
また、各実施形態に係る画像処理装置４は、クラスタリングされる前の行列データＹを生成する際には、蛍光画像に含まれるバックグラウンド画素（色素の存在しない画素）は除外して生成してもよい。
【0097】
画像処理装置４における画素群のクラスタリングの手法としては、K-means法のような機械学習を用いた手法、ディープラーニングを用いた手法等が採用されてもよい。
【0098】
各実施形態に係る画像取得装置は、第１蛍光画像及び第２蛍光画像に加えて、第１光学状態及び第２光学状態とは異なる波長特性で蛍光を測定する第３光学状態、…、第Ｑ光学状態（Ｑは３以上の整数）における第３蛍光画像、…、第Ｑ蛍光画像を取得してもよい。第３～第Ｑ光学状態では互いに異なる波長特性で蛍光が測定される。この場合、第１～第Ｑ蛍光画像のうち２つの蛍光画像の組合せから励起光毎の強度比及びばらつきの指標を算出し、全ての組合せでのばらつきの指標の平均を算出して、単色画素であるか判別してもよい。
【0099】
また、上記第１、第３及び第４実施形態においては、取得ステップは、複数の蛍光のそれぞれについて、蛍光フィルタ部の各反射波長域又は各透過波長域において透過率が異なる第１光学フィルタを用いた第１光学状態において蛍光を撮像し、第１蛍光画像を取得する第１取得ステップと、複数の蛍光のそれぞれについて、第２光学状態において蛍光を撮像し、第２蛍光画像を取得する第２取得ステップと、を含む、ことが好適である。また、上記第１、第３及び第４実施形態においては、画像取得装置は、複数の蛍光のそれぞれについて、蛍光フィルタ部の各反射波長域又は各透過波長域において透過率が異なる第１光学フィルタを用いた第１光学状態において蛍光を撮像し、第１蛍光画像を取得し、複数の蛍光のそれぞれについて、第２光学状態において蛍光を撮像し、第２蛍光画像を取得する、ことが好適である。この場合、単色画素の判別の精度を向上させることができる。さらに、第１光学フィルタを用いることで複数の波長域間で複数の蛍光の透過特性あるいは反射特性を変えることができ、複数色の単色画素をさらに判別することができる。加えて、第１光学フィルタを用いることで容易に第１光学状態とすることができ、第１蛍光画像を容易に取得することができる。
【0100】
また、上記第１、第３及び第４実施形態においては、第１光学フィルタは、各反射波長域にわたって透過率が単調に変化する、又は、各透過波長域にわたって透過率が単調に変化する第１傾斜フィルタである、ことが好適である。この場合、第１傾斜フィルタを用いることで各反射波長域にわたって透過率、又は、各透過波長域にわたって透過率を単調に変化させることができ、複数色の単色画素をさらに精度よく判別することができる。さらに、第１傾斜フィルタを用いることで容易に第１光学状態とすることができ、第１蛍光画像を容易に取得することができる。
【0101】
また、上記第４実施形態においては、第２取得ステップでは、第１傾斜フィルタとは異なる透過率の変化を示す第２傾斜フィルタを用いた第２光学状態において蛍光を撮像する、ことが好適である。また、上記第４実施形態においては、画像取得装置は、第１傾斜フィルタとは異なる透過率の変化を示す第２傾斜フィルタを用いた第２光学状態において蛍光を撮像する、ことが好適である。この場合も、第２傾斜フィルタを用いることで各反射波長域にわたって透過率、又は、各透過波長域にわたって透過率を単調に変化させることができ、複数色の単色画像をさらに精度よく判別することができる。さらに、第２傾斜フィルタを用いることで容易に第２光学状態とすることができ、第２蛍光画像を容易に取得することができる。
【0102】
また、上記第４実施形態においては、第２取得ステップでは、第１光学フィルタとは異なる透過率を有する第２光学フィルタを用いた第２光学状態において蛍光を撮像する、ことが好適である。また、上記第４実施形態においては、画像取得装置は、第１光学フィルタとは異なる透過率を有する第２光学フィルタを用いた第２光学状態において蛍光を撮像する、ことが好適である。この場合、第２光学フィルタを用いることで容易に第２光学状態とすることができ、第２蛍光画像を容易に取得することができる。
【0103】
また、上記第１実施形態においては、第２取得ステップでは、第１光学フィルタを取り外した状態である第２光学状態において蛍光を撮像する、ことが好適である。また、上記第１実施形態においては、画像取得装置は、第１光学フィルタを取り外した状態である第２光学状態において蛍光を撮像する、ことが好適である。この場合、第１光学フィルタを取り外すことにより第２光学状態とすることができるため、より容易に第２光学状態とすることができる。よって、第２蛍光画像をより容易に取得することができる。
【0104】
また、上記第２実施形態においては、取得ステップでは、複数の蛍光のそれぞれを撮像し、第１蛍光画像、及び、第２蛍光画像を取得する、ことが好適である。また、上記第２実施形態においては、画像取得装置は、複数の蛍光のそれぞれを撮像し、第１蛍光画像、及び、第２蛍光画像を取得する、ことが好適である。この場合、複数の蛍光のそれぞれを１回撮像することにより、第１蛍光画像及び第２蛍光画像の双方を取得することができる。よって、第１蛍光画像及び第２蛍光画像を効率的に取得することができる。
【0105】
また、上記第２実施形態においては、取得ステップでは、カラーカメラを用いて複数の蛍光のそれぞれを撮像する、ことが好適である。また、上記第２実施形態においては、画像取得装置は、カラーカメラを用いて複数の蛍光のそれぞれを撮像する、ことが好適である。カラーカメラを用いて複数の蛍光のそれぞれを１回撮像することにより、例えばＲＧＢ成分ごとに分離された複数の画像を取得することができる。これら複数の画像から、第１蛍光画像及び第２蛍光画像を取得することができる。
【0106】
また、上記第２実施形態においては、取得ステップでは、ハイパースペクトルカメラを用いて複数の蛍光のそれぞれを撮像する、ことが好適である。また、上記第２実施形態においては、画像取得装置は、ハイパースペクトルカメラを用いて複数の蛍光のそれぞれを撮像する、ことが好適である。ハイパースペクトルカメラを用いて複数の蛍光のそれぞれを１回撮像することにより、異なる波長特性ごとに分離された複数の画像を取得することができる。これら複数の画像から、第１蛍光画像及び第２蛍光画像を取得することができる。
【0107】
また、上記第１～第４実施形態においては、Ｃ個（Ｃは２以上の整数）の波長分布の励起光のそれぞれを試料に照射することで取得されるＣ個の蛍光画像であって、それぞれがＮ個（Ｎは２以上の整数）の画素によって構成されるＣ個の蛍光画像を対象に、判別ステップによって単色画素であると判別された複数の画素を、Ｌ個（Ｌは２以上Ｎ－１以下の整数）の画素群にクラスタリングし、Ｃ個の蛍光画像をクラスタリングした画素群毎に配列したＬ個のクラスタ行列を生成するクラスタリングステップと、Ｌ個のクラスタ行列ごとにＣ個の蛍光画像を構成する画素群の強度値の統計値を計算する計算ステップと、Ｌ個のクラスタ行列ごとのＣ個の蛍光画像の統計値を用いて、Ｃ個の蛍光画像を対象にアンミキシングを行い、Ｋ個（Ｋは２以上Ｃ以下の整数）の色素毎の分布を示すＫ個の蛍光画像を生成する画像生成ステップと、をさらに備える、ことも好適である。また、上記第１～第４実施形態においては、画像処理装置は、Ｃ個（Ｃは２以上の整数）の波長分布の励起光のそれぞれを試料に照射することで取得されるＣ個の蛍光画像であって、それぞれがＮ個（Ｎは２以上の整数）の画素によって構成されるＣ個の蛍光画像を対象に、単色画素であると判別された複数の画素を、Ｌ個（Ｌは２以上Ｎ－１以下の整数）の画素群にクラスタリングし、Ｃ個の蛍光画像をクラスタリングした画素群毎に配列したＬ個のクラスタ行列を生成し、Ｌ個のクラスタ行列ごとにＣ個の蛍光画像を構成する画素群の強度値の統計値を計算し、Ｌ個のクラスタ行列ごとのＣ個の蛍光画像の統計値を用いて、Ｃ個の蛍光画像を対象にアンミキシングを行い、Ｋ個（Ｋは２以上Ｃ以下の整数）の色素毎の分布を示すＫ個の蛍光画像を生成する、ことも好適である。この場合、単色画素であると判別された複数の画素が、Ｌ個の画素群にクラスタリングされ、Ｃ個の波長分布の励起光のそれぞれを試料に照射することで取得されるＣ個の蛍光画像をクラスタリングした画素群毎に配列したＬ個のクラスタ行列が生成される。加えて、Ｌ個のクラスタ行列ごとにＣ個の蛍光画像を構成する画素群の強度値の統計値が計算され、それぞれのＣ個の蛍光画像の統計値を用いてＣ個の蛍光画像がアンミキシングされてＫ個の蛍光画像が生成される。これにより、色素ごとの分離画像を精度よく得ることができる。
【0108】
実施形態の蛍光画像取得方法は、［１］「複数の波長分布の励起光のそれぞれを試料に照射する照射ステップと、複数の励起光のそれぞれに対応する複数の蛍光のそれぞれについて、複数の反射波長域及び複数の透過波長域を有する蛍光フィルタ部を介して、第１光学状態における第１蛍光画像、及び、第１光学状態とは異なる波長特性で蛍光を測定する第２光学状態における第２蛍光画像を取得する取得ステップと、第１蛍光画像及び第２蛍光画像について、第１蛍光画像の画素の強度値、及び、画素に対応する第２蛍光画像の画素の強度値の比である強度比を算出し、複数の励起光毎の強度比を算出する算出ステップと、複数の励起光毎の強度比に基づき、画素が単色画素であるかを判別する判別ステップと、を備える、蛍光画像取得方法」である。
【0109】
実施形態の蛍光画像取得方法は、［２］「取得ステップは、複数の蛍光のそれぞれについて、蛍光フィルタ部の各反射波長域又は各透過波長域において透過率が異なる第１光学フィルタを用いた第１光学状態において蛍光を撮像し、第１蛍光画像を取得する第１取得ステップと、複数の蛍光のそれぞれについて、第２光学状態において蛍光を撮像し、第２蛍光画像を取得する第２取得ステップと、を含む、上記［１］に記載の蛍光画像取得方法」であってもよい。
【0110】
実施形態の蛍光画像取得方法は、［３］「第１光学フィルタは、各反射波長域にわたって透過率が単調に変化する、又は、各透過波長域にわたって透過率が単調に変化する第１傾斜フィルタである、上記［２］に記載の蛍光画像取得方法」であってもよい。
【0111】
実施形態の蛍光画像取得方法は、［４］「第２取得ステップでは、第１傾斜フィルタとは異なる透過率の変化を示す第２傾斜フィルタを用いた第２光学状態において蛍光を撮像する、上記［３］に記載の蛍光画像取得方法」であってもよい。
【0112】
実施形態の蛍光画像取得方法は、［５］「第２取得ステップでは、第１光学フィルタとは異なる透過率を有する第２光学フィルタを用いた第２光学状態において蛍光を撮像する、上記［２］又は［３］に記載の蛍光画像取得方法」であってもよい。
【0113】
実施形態の蛍光画像取得方法は、［６］「第２取得ステップでは、第１光学フィルタを取り外した状態である第２光学状態において蛍光を撮像する、上記［２］又は［３］に記載の蛍光画像取得方法」であってもよい。
【0114】
実施形態の蛍光画像取得方法は、［７］「取得ステップでは、複数の蛍光のそれぞれを撮像し、第１蛍光画像、及び、第２蛍光画像を取得する、上記［１］に記載の蛍光画像取得方法」であってもよい。
【0115】
実施形態の蛍光画像取得方法は、［８］「取得ステップでは、カラーカメラを用いて複数の蛍光のそれぞれを撮像する、上記［７］に記載の蛍光画像取得方法」であってもよい。
【0116】
実施形態の蛍光画像取得方法は、［９］「取得ステップでは、ハイパースペクトルカメラを用いて複数の蛍光のそれぞれを撮像する、上記［７］に記載の蛍光画像取得方法」であってもよい。
【0117】
実施形態の蛍光画像取得方法は、［１０］「Ｃ個（Ｃは２以上の整数）の波長分布の励起光のそれぞれを試料に照射することで取得されるＣ個の蛍光画像であって、それぞれがＮ個（Ｎは２以上の整数）の画素によって構成されるＣ個の蛍光画像を対象に、判別ステップによって単色画素であると判別された複数の画素を、Ｌ個（Ｌは２以上Ｎ－１以下の整数）の画素群にクラスタリングし、Ｃ個の蛍光画像をクラスタリングした画素群毎に配列したＬ個のクラスタ行列を生成するクラスタリングステップと、Ｌ個のクラスタ行列ごとにＣ個の蛍光画像を構成する画素群の強度値の統計値を計算する計算ステップと、Ｌ個のクラスタ行列ごとのＣ個の蛍光画像の統計値を用いて、Ｃ個の蛍光画像を対象にアンミキシングを行い、Ｋ個（Ｋは２以上Ｃ以下の整数）の色素毎の分布を示すＫ個の蛍光画像を生成する画像生成ステップと、をさらに備える、上記［２］～［９］の何れかに記載の蛍光画像取得方法」であってもよい。
【0118】
実施形態の蛍光画像取得装置は、［１１］「複数の波長分布の励起光のそれぞれを試料に照射する照射装置と、複数の励起光のそれぞれに対応する複数の蛍光のそれぞれについて、複数の反射波長域及び複数の透過波長域を有する蛍光フィルタ部を介して、第１光学状態における第１蛍光画像、及び、第１光学状態とは異なる波長特性で蛍光を測定する第２光学状態における第２蛍光画像を取得する画像取得装置と、複数の第１蛍光画像及び複数の第２蛍光画像を処理する画像処理装置と、を備え、画像処理装置は、第１蛍光画像及び第２蛍光画像について、第１蛍光画像の画素の強度値、及び、画素に対応する第２蛍光画像の画素の強度値の比である強度比を算出し、複数の励起光毎の強度比を算出し、複数の励起光毎の強度比に基づき、画素が単色画素であるかを判別する、蛍光画像取得装置」である。
【0119】
実施形態の蛍光画像取得装置は、［１２］「画像取得装置は、複数の蛍光のそれぞれについて、蛍光フィルタ部の各反射波長域又は各透過波長域において透過率が異なる第１光学フィルタを用いた第１光学状態において蛍光を撮像し、第１蛍光画像を取得し、複数の蛍光のそれぞれについて、第２光学状態において蛍光を撮像し、第２蛍光画像を取得する、上記［１１］に記載の蛍光画像取得装置」であってもよい。
【0120】
実施形態の蛍光画像取得装置は、［１３］「第１光学フィルタは、各反射波長域にわたって透過率が単調に変化する、又は、各透過波長域にわたって透過率が単調に変化する第１傾斜フィルタである、上記［１２］に記載の蛍光画像取得装置」であってもよい。
【0121】
実施形態の蛍光画像取得装置は、［１４］「画像取得装置は、第１傾斜フィルタとは異なる透過率の変化を示す第２傾斜フィルタを用いた第２光学状態において蛍光を撮像する、上記［１３］に記載の蛍光画像取得装置」であってもよい。
【0122】
実施形態の蛍光画像取得装置は、［１５］「画像取得装置は、第１光学フィルタとは異なる透過率を有する第２光学フィルタを用いた第２光学状態において蛍光を撮像する、上記［１２］又は［１３］に記載の蛍光画像取得装置」であってもよい。
【0123】
実施形態の蛍光画像取得装置は、［１６］「画像取得装置は、第１光学フィルタを取り外した状態である第２光学状態において蛍光を撮像する、上記［１２］又は［１３］に記載の蛍光画像取得装置」であってもよい。
【0124】
実施形態の蛍光画像取得装置は、［１７］「画像取得装置は、複数の蛍光のそれぞれを撮像し、第１蛍光画像、及び、第２蛍光画像を取得する、上記［１１］に記載の蛍光画像取得装置」であってもよい。
【0125】
実施形態の蛍光画像取得装置は、［１８］「画像取得装置は、カラーカメラを用いて複数の蛍光のそれぞれを撮像する、上記［１７］に記載の蛍光画像取得装置」であってもよい。
【0126】
実施形態の蛍光画像取得装置は、［１９］「画像取得装置は、ハイパースペクトルカメラを用いて複数の蛍光のそれぞれを撮像する、上記［１７］に記載の蛍光画像取得装置」であってもよい。
【0127】
実施形態の蛍光画像取得装置は、［２０］「画像処理装置は、Ｃ個（Ｃは２以上の整数）の波長分布の励起光のそれぞれを試料に照射することで取得されるＣ個の蛍光画像であって、それぞれがＮ個（Ｎは２以上の整数）の画素によって構成されるＣ個の蛍光画像を対象に、単色画素であると判別された複数の画素を、Ｌ個（Ｌは２以上Ｎ－１以下の整数）の画素群にクラスタリングし、Ｃ個の蛍光画像をクラスタリングした画素群毎に配列したＬ個のクラスタ行列を生成し、Ｌ個のクラスタ行列ごとにＣ個の蛍光画像を構成する画素群の強度値の統計値を計算し、Ｌ個のクラスタ行列ごとのＣ個の蛍光画像の統計値を用いて、Ｃ個の蛍光画像を対象にアンミキシングを行い、Ｋ個（Ｋは２以上Ｃ以下の整数）の色素毎の分布を示すＫ個の蛍光画像を生成する、上記［１２］～［１９］の何れかに記載の蛍光画像取得装置」であってもよい。
【0128】
実施形態の蛍光画像取得プログラムは、「複数の波長分布の励起光のそれぞれを試料に照射することにより、複数の励起光のそれぞれに対応する複数の蛍光のそれぞれについて、複数の反射波長域及び複数の透過波長域を有する蛍光フィルタ部を介して取得される、第１光学状態における第１蛍光画像、及び、第１光学状態とは異なる波長特性で蛍光を測定する第２光学状態における第２蛍光画像を基に、画素が単色画素であるかを判別するための蛍光画像取得プログラムであって、コンピュータを、第１蛍光画像及び第２蛍光画像について、第１蛍光画像の画素の強度値、及び、画素に対応する第２蛍光画像の画素の強度値の比である強度比を算出し、複数の励起光毎の強度比を算出する強度比算出部、及び、複数の励起光毎の強度比に基づき、画素が単色画素であるかを判別する単色画素判別部、として機能させる蛍光画像取得プログラム」である。
【符号の説明】
【0129】
１，１Ａ，１Ｂ，１Ｃ…蛍光画像取得システム、２…照射装置、２ａ…励起光源、２ｂ…励起光フィルタ部、３，３Ａ，３Ｂ，３Ｃ…画像取得装置、３ａ…蛍光フィルタ部、４…画像処理装置、１１…ダイクロイックミラー、１３…第１光学フィルタ（第１傾斜フィルタ）、１５，１５Ａ…第１カメラ、１７…第２カメラ、１９…第２光学フィルタ（第２傾斜フィルタ）、２０１…画像取得部、２０２…強度比算出部、２０３…単色画素判別部、２０４…クラスタリング部、２０５…統計値計算部、２０６…画像生成部、Ｃ１～Ｃ３…色素、ＰＧｒ１～ＰＧｒ３…画素群、Ｓ，Ｓ１１，Ｓ１２，Ｓ１３，Ｓ１４，Ｓ２１，Ｓ２２，Ｓ２３，Ｓ２４…試料。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
