ホーム > 特許ランキング > 浜松ホトニクス株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2024-156915色素画像取得方法、色素画像取得装置、及び色素画像取得プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024156915
(43)【公開日】2024-11-06
(54)【発明の名称】色素画像取得方法、色素画像取得装置、及び色素画像取得プログラム
(51)【国際特許分類】
G01N 21/64 20060101AFI20241029BHJP
G01N 21/17 20060101ALI20241029BHJP
G06T 7/00 20170101ALI20241029BHJP
G06V 20/69 20220101ALI20241029BHJP
【ＦＩ】
G01N21/64 Z
G01N21/17 A
G06T7/00 630
G06V20/69
【審査請求】未請求
【請求項の数】3
【出願形態】ＯＬ
(21)【出願番号】P 2024130155
(22)【出願日】2024-08-06
(62)【分割の表示】P 2023543753の分割
【原出願日】2022-07-25
(31)【優先権主張番号】P 2021137177
(32)【優先日】2021-08-25
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000236436
【氏名又は名称】浜松ホトニクス株式会社
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100140442
【弁理士】
【氏名又は名称】柴山 健一
(74)【代理人】
【識別番号】100124800
【弁理士】
【氏名又は名称】諏澤 勇司
(72)【発明者】
【氏名】樋口 貴文
(72)【発明者】
【氏名】池村 賢一郎
(57)【要約】 （修正有）
【課題】分離画像の精度を高めつつスループットの向上を図ること。
【解決手段】色素画像取得システム１は、Ｃ個（Ｃは２以上の整数）の波長分布の励起光のそれぞれを試料Ｓに照射し、Ｎ個（Ｎは２以上の整数）の画素によってそれぞれが構成されるＣ個の蛍光画像を取得する画像取得装置３と、色素画像を生成する画像処理装置５と、を備え、画像処理装置５は、Ｃ個の蛍光画像の各画素の蛍光強度を基に、Ｎ個の画素をＬ個（Ｌは２以上Ｎ－１以下の整数）に画素群にクラスタリングして、Ｃ個の蛍光画像をクラスタリングした画素群毎に配列したＬ個のクラスタ行列を生成し、Ｌ個のクラスタ行列ごとにＣ個の蛍光画像を構成する画素群の蛍光強度の統計値を計算し、Ｌ個のクラスタ行列ごとのＣ個の蛍光画像の統計値を用いて、Ｃ個の蛍光画像を対象にアンミキシングを行い、Ｋ個（Ｋは２以上Ｃ以下の整数）の色素毎の分布を示すＫ個の色素画像を生成する。
【選択図】図１
【解決手段】色素画像取得システム１は、Ｃ個（Ｃは２以上の整数）の波長分布の励起光のそれぞれを試料Ｓに照射し、Ｎ個（Ｎは２以上の整数）の画素によってそれぞれが構成されるＣ個の蛍光画像を取得する画像取得装置３と、色素画像を生成する画像処理装置５と、を備え、画像処理装置５は、Ｃ個の蛍光画像の各画素の蛍光強度を基に、Ｎ個の画素をＬ個（Ｌは２以上Ｎ－１以下の整数）に画素群にクラスタリングして、Ｃ個の蛍光画像をクラスタリングした画素群毎に配列したＬ個のクラスタ行列を生成し、Ｌ個のクラスタ行列ごとにＣ個の蛍光画像を構成する画素群の蛍光強度の統計値を計算し、Ｌ個のクラスタ行列ごとのＣ個の蛍光画像の統計値を用いて、Ｃ個の蛍光画像を対象にアンミキシングを行い、Ｋ個（Ｋは２以上Ｃ以下の整数）の色素毎の分布を示すＫ個の色素画像を生成する。
【選択図】図１
【特許請求の範囲】
【請求項1】
Ｃ個（Ｃは２以上の整数）の波長分布の励起光のそれぞれを試料に照射し、Ｎ個（Ｎは２以上の整数）の画素によってそれぞれが構成される前記Ｃ個の蛍光画像を取得する画像取得ステップと、
前記Ｃ個の蛍光画像の各画素の強度値を基に、前記Ｎ個の画素をＬ個（Ｌは２以上Ｎ－１以下の整数）に画素群にクラスタリングして、前記Ｃ個の蛍光画像をクラスタリングした画素群毎に配列したＬ個のクラスタ行列を生成するクラスタリングステップと、
Ｌ個のクラスタ行列ごとにＣ個の蛍光画像を構成する前記画素群の前記強度値の統計値を計算する計算ステップと、
Ｌ個のクラスタ行列ごとの前記Ｃ個の蛍光画像の前記統計値を用いて、前記Ｃ個の蛍光画像を対象にアンミキシングを行い、Ｋ個（Ｋは２以上Ｃ以下の整数）の色素毎の分布を示す前記Ｋ個の色素画像を生成する画像生成ステップと、
を備える色素画像取得方法。
前記Ｃ個の蛍光画像の各画素の強度値を基に、前記Ｎ個の画素をＬ個（Ｌは２以上Ｎ－１以下の整数）に画素群にクラスタリングして、前記Ｃ個の蛍光画像をクラスタリングした画素群毎に配列したＬ個のクラスタ行列を生成するクラスタリングステップと、
Ｌ個のクラスタ行列ごとにＣ個の蛍光画像を構成する前記画素群の前記強度値の統計値を計算する計算ステップと、
Ｌ個のクラスタ行列ごとの前記Ｃ個の蛍光画像の前記統計値を用いて、前記Ｃ個の蛍光画像を対象にアンミキシングを行い、Ｋ個（Ｋは２以上Ｃ以下の整数）の色素毎の分布を示す前記Ｋ個の色素画像を生成する画像生成ステップと、
を備える色素画像取得方法。
【請求項2】
Ｃ個（Ｃは２以上の整数）の波長分布の励起光のそれぞれを試料に照射し、Ｎ個（Ｎは２以上の整数）の画素によってそれぞれが構成される前記Ｃ個の蛍光画像を取得する画像取得装置と、
前記試料における色素の分布を示す色素画像を生成する画像処理装置と、を備え、
前記画像処理装置は、
前記Ｃ個の蛍光画像の各画素の強度値を基に、前記Ｎ個の画素をＬ個（Ｌは２以上Ｎ－１以下の整数）に画素群にクラスタリングして、前記Ｃ個の蛍光画像をクラスタリングした画素群毎に配列したＬ個のクラスタ行列を生成し、
Ｌ個のクラスタ行列ごとにＣ個の蛍光画像を構成する前記画素群の前記強度値の統計値を計算し、
Ｌ個のクラスタ行列ごとの前記Ｃ個の蛍光画像の前記統計値を用いて、前記Ｃ個の蛍光画像を対象にアンミキシングを行い、Ｋ個（Ｋは２以上Ｃ以下の整数）の色素毎の分布を示す前記Ｋ個の色素画像を生成する、
色素画像取得装置。
前記試料における色素の分布を示す色素画像を生成する画像処理装置と、を備え、
前記画像処理装置は、
前記Ｃ個の蛍光画像の各画素の強度値を基に、前記Ｎ個の画素をＬ個（Ｌは２以上Ｎ－１以下の整数）に画素群にクラスタリングして、前記Ｃ個の蛍光画像をクラスタリングした画素群毎に配列したＬ個のクラスタ行列を生成し、
Ｌ個のクラスタ行列ごとにＣ個の蛍光画像を構成する前記画素群の前記強度値の統計値を計算し、
Ｌ個のクラスタ行列ごとの前記Ｃ個の蛍光画像の前記統計値を用いて、前記Ｃ個の蛍光画像を対象にアンミキシングを行い、Ｋ個（Ｋは２以上Ｃ以下の整数）の色素毎の分布を示す前記Ｋ個の色素画像を生成する、
色素画像取得装置。
【請求項3】
Ｃ個（Ｃは２以上の整数）の波長分布の励起光のそれぞれを試料に照射することにより取得された蛍光画像であって、Ｎ個（Ｎは２以上の整数）の画素によってそれぞれが構成される前記Ｃ個の蛍光画像を基に、前記試料における色素の分布を示す色素画像を生成するための色素画像取得プログラムであって、
コンピュータを、
前記Ｃ個の蛍光画像の各画素の強度値を基に、前記Ｎ個の画素をＬ個（Ｌは２以上Ｎ－１以下の整数）に画素群にクラスタリングして、前記Ｃ個の蛍光画像をクラスタリングした画素群毎に配列したＬ個のクラスタ行列を生成するクラスタリング部、
Ｌ個のクラスタ行列ごとにＣ個の蛍光画像を構成する前記画素群の前記強度値の統計値を計算する計算部、及び
Ｌ個のクラスタ行列ごとの前記Ｃ個の蛍光画像の前記統計値を用いて、前記Ｃ個の蛍光画像を対象にアンミキシングを行い、Ｋ個（Ｋは２以上Ｃ以下の整数）の色素毎の分布を示す前記Ｋ個の色素画像を生成する画像生成部、
として機能させる色素画像取得プログラム。
コンピュータを、
前記Ｃ個の蛍光画像の各画素の強度値を基に、前記Ｎ個の画素をＬ個（Ｌは２以上Ｎ－１以下の整数）に画素群にクラスタリングして、前記Ｃ個の蛍光画像をクラスタリングした画素群毎に配列したＬ個のクラスタ行列を生成するクラスタリング部、
Ｌ個のクラスタ行列ごとにＣ個の蛍光画像を構成する前記画素群の前記強度値の統計値を計算する計算部、及び
Ｌ個のクラスタ行列ごとの前記Ｃ個の蛍光画像の前記統計値を用いて、前記Ｃ個の蛍光画像を対象にアンミキシングを行い、Ｋ個（Ｋは２以上Ｃ以下の整数）の色素毎の分布を示す前記Ｋ個の色素画像を生成する画像生成部、
として機能させる色素画像取得プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
実施形態の一側面は、色素画像取得方法、色素画像取得装置、及び色素画像取得プログラムに関する。
【背景技術】
【0002】
従来から、生体組織等の試料を対象に複数の試料内物質を同時に染色する多重識別化の手法が用いられている。そして、多重識別化が行われた試料内の物質を観察するために、試料に励起光を照射して蛍光画像を取得することも行われている。例えば、下記非特許文献１には、複数の波長域の蛍光を観察した蛍光画像をブラインドアンミキシングして試料内物質ごとの分離画像を得るために、非負値行列因子分解（NMF: Nonnegative Matrix Factorization）の手法を適用することが開示されている。また、下記非特許文献２には、蛍光画像をアンミキシングする手法として、蛍光画像をクラスタリングして、クラスタリングされた各画素群で蛍光強度の最大値を抽出し、その最大値を基に分離画像を生成することが開示されている。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Binjie Qin et al.，“Target/Background ClassificationRegularized Nonnegative Matrix Factorization for Fluorescence Unmixing”， IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT, VOL.65, NO.4, APRIL2016
【非特許文献2】Tristan D. McRae et al.，“Robust blind spectral unmixing forfluorescence microscopy using unsupervised learning”， PLOSONE, December 2,2019
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述したような従来の手法においては、アンミキシングによって取得される分離画像の精度を上げるためには、励起光の種類、観察する蛍光バンドの数、あるいは画像枚数を増加させる必要があるため、アンミキシングの計算時間が増加しスループットの低下を招く傾向にある。
【0005】
そこで、実施形態の一側面は、かかる課題に鑑みてなされたものであり、アンミキシングによって取得される分離画像の精度を高めつつスループットの向上を図ることが可能な色素画像取得方法、色素画像取得装置、及び色素画像取得プログラムを提供することを課題とする。
【課題を解決するための手段】
【0006】
実施形態の第一の側面に係る色素画像取得方法は、Ｃ個（Ｃは２以上の整数）の波長分布の励起光のそれぞれを試料に照射し、Ｎ個（Ｎは２以上の整数）の画素によってそれぞれが構成されるＣ個の蛍光画像を取得する画像取得ステップと、Ｃ個の蛍光画像の各画素の強度値を基に、Ｎ個の画素をＬ個（Ｌは２以上Ｎ－１以下の整数）に画素群にクラスタリングして、Ｃ個の蛍光画像をクラスタリングした画素群毎に配列したＬ個のクラスタ行列を生成するクラスタリングステップと、Ｌ個のクラスタ行列ごとにＣ個の蛍光画像を構成する画素群の強度値の統計値を計算する計算ステップと、Ｌ個のクラスタ行列ごとのＣ個の蛍光画像の統計値を用いて、Ｃ個の蛍光画像を対象にアンミキシングを行い、Ｋ個（Ｋは２以上Ｃ以下の整数）の色素毎の分布を示すＫ個の色素画像を生成する画像生成ステップと、を備える。
【0007】
あるいは、実施形態の第二の側面に係る色素画像取得装置は、Ｃ個（Ｃは２以上の整数）の波長分布の励起光のそれぞれを試料に照射し、Ｎ個（Ｎは２以上の整数）の画素によってそれぞれが構成されるＣ個の蛍光画像を取得する画像取得装置と、試料における色素の分布を示す色素画像を生成する画像処理装置と、を備え、画像処理装置は、Ｃ個の蛍光画像の各画素の強度値を基に、Ｎ個の画素をＬ個（Ｌは２以上Ｎ－１以下の整数）に画素群にクラスタリングして、Ｃ個の蛍光画像をクラスタリングした画素群毎に配列したＬ個のクラスタ行列を生成し、Ｌ個のクラスタ行列ごとにＣ個の蛍光画像を構成する画素群の強度値の統計値を計算し、Ｌ個のクラスタ行列ごとのＣ個の蛍光画像の統計値を用いて、Ｃ個の蛍光画像を対象にアンミキシングを行い、Ｋ個（Ｋは２以上Ｃ以下の整数）の色素毎の分布を示すＫ個の色素画像を生成する。
【0008】
あるいは、実施形態の第三の側面に係る色素画像取得プログラムは、Ｃ個（Ｃは２以上の整数）の波長分布の励起光のそれぞれを試料に照射することにより取得された蛍光画像であって、Ｎ個（Ｎは２以上の整数）の画素によってそれぞれが構成されるＣ個の蛍光画像を基に、試料における色素の分布を示す色素画像を生成するための色素画像取得プログラムであって、コンピュータを、Ｃ個の蛍光画像の各画素の強度値を基に、Ｎ個の画素をＬ個（Ｌは２以上Ｎ－１以下の整数）に画素群にクラスタリングして、Ｃ個の蛍光画像をクラスタリングした画素群毎に配列したＬ個のクラスタ行列を生成するクラスタリング部、Ｌ個のクラスタ行列ごとにＣ個の蛍光画像を構成する画素群の強度値の統計値を計算する計算部、及びＬ個のクラスタ行列ごとのＣ個の蛍光画像の統計値を用いて、Ｃ個の蛍光画像を対象にアンミキシングを行い、Ｋ個（Ｋは２以上Ｃ以下の整数）の色素毎の分布を示すＫ個の色素画像を生成する画像生成部、として機能させる。
【0009】
上記第一の側面、上記第二の側面、あるいは上記第三の側面によれば、異なる波長分布の励起光を用いて試料の蛍光像を捉えたＣ個の蛍光画像が取得され、これらのＣ個の蛍光画像のＮ個の画素が各画素の強度値を基にＬ個の画素群にクラスタリングされ、Ｃ個の蛍光画像をＬ個の画素群毎に配列したＬ個のクラスタ行列が生成される。加えて、Ｌ個のクラスタ行列ごとにＣ個の蛍光画像を構成する画素群の強度値の統計値が計算され、それぞれのＣ個の蛍光画像の統計値を用いてＣ個の蛍光画像がアンミキシングされてＫ個の色素画像が生成される。これにより、観察に用いる励起光の種類、あるいは、観察する蛍光バンドの数が増加しても、アンミキシングを行う際の計算量を抑えることができる。また、クラスタリングされたクラスタ行列ごとの蛍光画像の統計値を用いてアンミキシングを行うことで、色素画像の分離の精度も向上させることができる。その結果、分離画像の精度を高めつつ分離画像を取得する際のスループットの向上を図ることができる。
【0010】
実施形態の色素画像取得方法は、［１］「Ｃ個（Ｃは２以上の整数）の波長分布の励起光のそれぞれを試料に照射し、Ｎ個（Ｎは２以上の整数）の画素によってそれぞれが構成される前記Ｃ個の蛍光画像を取得する画像取得ステップと、
前記Ｃ個の蛍光画像の各画素の強度値を基に、前記Ｎ個の画素をＬ個（Ｌは２以上Ｎ－１以下の整数）に画素群にクラスタリングして、前記Ｃ個の蛍光画像をクラスタリングした画素群毎に配列したＬ個のクラスタ行列を生成するクラスタリングステップと、
Ｌ個のクラスタ行列ごとにＣ個の蛍光画像を構成する前記画素群の前記強度値の統計値を計算する計算ステップと、
Ｌ個のクラスタ行列ごとの前記Ｃ個の蛍光画像の前記統計値を用いて、前記Ｃ個の蛍光画像を対象にアンミキシングを行い、Ｋ個（Ｋは２以上Ｃ以下の整数）の色素毎の分布を示す前記Ｋ個の色素画像を生成する画像生成ステップと、
を備える色素画像取得方法。」である。
前記Ｃ個の蛍光画像の各画素の強度値を基に、前記Ｎ個の画素をＬ個（Ｌは２以上Ｎ－１以下の整数）に画素群にクラスタリングして、前記Ｃ個の蛍光画像をクラスタリングした画素群毎に配列したＬ個のクラスタ行列を生成するクラスタリングステップと、
Ｌ個のクラスタ行列ごとにＣ個の蛍光画像を構成する前記画素群の前記強度値の統計値を計算する計算ステップと、
Ｌ個のクラスタ行列ごとの前記Ｃ個の蛍光画像の前記統計値を用いて、前記Ｃ個の蛍光画像を対象にアンミキシングを行い、Ｋ個（Ｋは２以上Ｃ以下の整数）の色素毎の分布を示す前記Ｋ個の色素画像を生成する画像生成ステップと、
を備える色素画像取得方法。」である。
【0011】
実施形態の色素画像取得方法は、［２］「前記クラスタリングステップでは、前記強度値の前記Ｃ個の励起光毎の分布情報を基に前記Ｎ個の画素をクラスタリングする、
上記［１］に記載の色素画像取得方法。」であってもよい。
上記［１］に記載の色素画像取得方法。」であってもよい。
【0012】
実施形態の色素画像取得方法は、［３］「前記蛍光画像の各画素に対応する蛍光波長に関する波長情報を取得する波長情報取得ステップをさらに備え、
前記クラスタリングステップでは、前記各画素に対応する前記波長情報を基に前記Ｎ個の画素をクラスタリングする、
上記［１］又は［２］に記載の色素画像取得方法。」であってもよい。
前記クラスタリングステップでは、前記各画素に対応する前記波長情報を基に前記Ｎ個の画素をクラスタリングする、
上記［１］又は［２］に記載の色素画像取得方法。」であってもよい。
【0013】
実施形態の色素画像取得方法は、［４］「前記波長情報取得ステップでは、前記Ｃ個の波長分布のいずれかの波長分布の励起光を前記試料に照射し、前記試料からの蛍光を異なる波長特性で分離する波長情報取得光学系を介して分離し、分離された前記蛍光をそれぞれ撮像して複数の分離蛍光画像を取得し、前記複数の分離蛍光画像を基に前記波長情報を取得する、
上記［３］に記載の色素画像取得方法。」であってもよい。
上記［３］に記載の色素画像取得方法。」であってもよい。
【0014】
実施形態の色素画像取得方法は、［５］「前記波長情報取得ステップでは、前記Ｃ個の波長分布のいずれかの波長分布の励起光を前記試料に照射し、前記試料からの蛍光を少なくとも２つ以上の蛍光波長を検出可能なカメラで撮像して蛍光画像を取得し、前記蛍光画像を基に前記波長情報を取得する、
上記［３］に記載の色素画像取得方法。」であってもよい。
上記［３］に記載の色素画像取得方法。」であってもよい。
【0015】
実施形態の色素画像取得方法は、［６］「前記計算ステップでは、前記統計値を、前記画素群の前記強度値の積算値、最頻値、あるいは中間値に基づいて計算する、
上記［１］～［５］のいずれかに記載の色素画像取得方法。」であってもよい。
上記［１］～［５］のいずれかに記載の色素画像取得方法。」であってもよい。
【0016】
実施形態の色素画像取得方法は、［７］「前記画像生成ステップでは、Ｌ個のクラスタ行列ごとの前記Ｃ個の蛍光画像の前記統計値を用いて、ミキシング行列を求め、前記ミキシング行列を用いてアンミキシングを行う、
上記［１］～［６］のいずれかに記載の色素画像取得方法。」であってもよい。
上記［１］～［６］のいずれかに記載の色素画像取得方法。」であってもよい。
【0017】
実施形態の色素画像取得方法は、［８］「前記画像生成ステップでは、非負値行列因子分解を用いて、Ｌ個のクラスタ行列ごとの前記Ｃ個の蛍光画像の前記統計値を基に損失値を計算し、前記損失値の和を基に前記ミキシング行列を求める、
上記［７］に記載の色素画像取得方法。」であってもよい。
上記［７］に記載の色素画像取得方法。」であってもよい。
【0018】
実施形態の色素画像取得方法は、［９］「前記画像生成ステップでは、Ｌ個のクラスタ行列ごと前記損失値を前記統計値を基に補正し、補正した前記損失値の和を基に前記ミキシング行列を求める、
上記［８］に記載の色素画像取得方法。」であってもよい。
上記［８］に記載の色素画像取得方法。」であってもよい。
【0019】
実施形態の色素画像取得装置は、［１０］「Ｃ個（Ｃは２以上の整数）の波長分布の励起光のそれぞれを試料に照射し、Ｎ個（Ｎは２以上の整数）の画素によってそれぞれが構成される前記Ｃ個の蛍光画像を取得する画像取得装置と、
前記試料における色素の分布を示す色素画像を生成する画像処理装置と、を備え、
前記画像処理装置は、
前記Ｃ個の蛍光画像の各画素の強度値を基に、前記Ｎ個の画素をＬ個（Ｌは２以上Ｎ－１以下の整数）に画素群にクラスタリングして、前記Ｃ個の蛍光画像をクラスタリングした画素群毎に配列したＬ個のクラスタ行列を生成し、
Ｌ個のクラスタ行列ごとにＣ個の蛍光画像を構成する前記画素群の前記強度値の統計値を計算し、
Ｌ個のクラスタ行列ごとの前記Ｃ個の蛍光画像の前記統計値を用いて、前記Ｃ個の蛍光画像を対象にアンミキシングを行い、Ｋ個（Ｋは２以上Ｃ以下の整数）の色素毎の分布を示す前記Ｋ個の色素画像を生成する、
色素画像取得装置。」である。
前記試料における色素の分布を示す色素画像を生成する画像処理装置と、を備え、
前記画像処理装置は、
前記Ｃ個の蛍光画像の各画素の強度値を基に、前記Ｎ個の画素をＬ個（Ｌは２以上Ｎ－１以下の整数）に画素群にクラスタリングして、前記Ｃ個の蛍光画像をクラスタリングした画素群毎に配列したＬ個のクラスタ行列を生成し、
Ｌ個のクラスタ行列ごとにＣ個の蛍光画像を構成する前記画素群の前記強度値の統計値を計算し、
Ｌ個のクラスタ行列ごとの前記Ｃ個の蛍光画像の前記統計値を用いて、前記Ｃ個の蛍光画像を対象にアンミキシングを行い、Ｋ個（Ｋは２以上Ｃ以下の整数）の色素毎の分布を示す前記Ｋ個の色素画像を生成する、
色素画像取得装置。」である。
【0020】
実施形態の色素画像取得装置は、［１１］「前記画像処理装置は、前記強度値の前記Ｃ個の励起光毎の分布情報を基に前記Ｎ個の画素をクラスタリングする、
上記［１０］に記載の色素画像取得装置。」であってもよい。
上記［１０］に記載の色素画像取得装置。」であってもよい。
【0021】
実施形態の色素画像取得装置は、［１２］「前記画像処理装置は、
前記蛍光画像の各画素に対応する蛍光波長に関する波長情報をさらに取得し、
前記各画素に対応する前記波長情報を基に前記Ｎ個の画素をクラスタリングする、
上記［１０］又は［１１］に記載の色素画像取得装置。」であってもよい。
前記蛍光画像の各画素に対応する蛍光波長に関する波長情報をさらに取得し、
前記各画素に対応する前記波長情報を基に前記Ｎ個の画素をクラスタリングする、
上記［１０］又は［１１］に記載の色素画像取得装置。」であってもよい。
【0022】
実施形態の色素画像取得装置は、［１３］「前記画像取得装置は、
前記Ｃ個の波長分布のいずれかの波長分布の励起光を前記試料に照射し、前記試料からの蛍光を異なる波長特性で分離する波長情報取得光学系を介して分離し、分離された前記蛍光をそれぞれ撮像して複数の分離蛍光画像を取得し、
前記画像処理装置は、前記複数の分離蛍光画像を基に前記波長情報を取得する、
上記［１２］に記載の色素画像取得装置。」であってもよい。
前記Ｃ個の波長分布のいずれかの波長分布の励起光を前記試料に照射し、前記試料からの蛍光を異なる波長特性で分離する波長情報取得光学系を介して分離し、分離された前記蛍光をそれぞれ撮像して複数の分離蛍光画像を取得し、
前記画像処理装置は、前記複数の分離蛍光画像を基に前記波長情報を取得する、
上記［１２］に記載の色素画像取得装置。」であってもよい。
【0023】
実施形態の色素画像取得装置は、［１４］「前記画像取得装置は、前記Ｃ個の波長分布のいずれかの波長分布の励起光を前記試料に照射し、前記試料からの蛍光を少なくとも２つ以上の蛍光波長を検出可能なカメラで撮像して蛍光画像を取得し、前記蛍光画像を基に前記波長情報を取得する、
上記［１２］に記載の色素画像取得装置。」であってもよい。
上記［１２］に記載の色素画像取得装置。」であってもよい。
【0024】
実施形態の色素画像取得装置は、［１５］「前記画像処理装置は、前記統計値を、前記画素群の前記強度値の積算値、最頻値、あるいは中間値に基づいて計算する、
上記［１０］～［１４］のいずれかに記載の色素画像取得装置。」であってもよい。
上記［１０］～［１４］のいずれかに記載の色素画像取得装置。」であってもよい。
【0025】
実施形態の色素画像取得装置は、［１６］「前記画像処理装置は、Ｌ個のクラスタ行列ごとの前記Ｃ個の蛍光画像の前記統計値を用いて、ミキシング行列を求め、前記ミキシング行列を用いてアンミキシングを行う、
上記［１０］～［１５］のいずれかに記載の色素画像取得装置。」であってもよい。
上記［１０］～［１５］のいずれかに記載の色素画像取得装置。」であってもよい。
【0026】
実施形態の色素画像取得装置は、［１７］「前記画像処理装置は、非負値行列因子分解を用いて、Ｌ個のクラスタ行列ごとの前記Ｃ個の蛍光画像の前記統計値を基に損失値を計算し、前記損失値の和を基に前記ミキシング行列を求める、
上記［１６］に記載の色素画像取得装置。」であってもよい。
上記［１６］に記載の色素画像取得装置。」であってもよい。
【0027】
実施形態の色素画像取得装置は、［１８］「前記画像処理装置は、Ｌ個のクラスタ行列ごと前記損失値を前記統計値を基に補正し、補正した前記損失値の和を基に前記ミキシング行列を求める、
上記［１７］に記載の色素画像取得装置。」であってもよい。
上記［１７］に記載の色素画像取得装置。」であってもよい。
【0028】
実施形態の色素画像取得プログラムは、［１９］「Ｃ個（Ｃは２以上の整数）の波長分布の励起光のそれぞれを試料に照射することにより取得された蛍光画像であって、Ｎ個（Ｎは２以上の整数）の画素によってそれぞれが構成される前記Ｃ個の蛍光画像を基に、前記試料における色素の分布を示す色素画像を生成するための色素画像取得プログラムであって、
コンピュータを、
前記Ｃ個の蛍光画像の各画素の強度値を基に、前記Ｎ個の画素をＬ個（Ｌは２以上Ｎ－１以下の整数）に画素群にクラスタリングして、前記Ｃ個の蛍光画像をクラスタリングした画素群毎に配列したＬ個のクラスタ行列を生成するクラスタリング部、
Ｌ個のクラスタ行列ごとにＣ個の蛍光画像を構成する前記画素群の前記強度値の統計値を計算する計算部、及び
Ｌ個のクラスタ行列ごとの前記Ｃ個の蛍光画像の前記統計値を用いて、前記Ｃ個の蛍光画像を対象にアンミキシングを行い、Ｋ個（Ｋは２以上Ｃ以下の整数）の色素毎の分布を示す前記Ｋ個の色素画像を生成する画像生成部、
として機能させる色素画像取得プログラム。」である。
コンピュータを、
前記Ｃ個の蛍光画像の各画素の強度値を基に、前記Ｎ個の画素をＬ個（Ｌは２以上Ｎ－１以下の整数）に画素群にクラスタリングして、前記Ｃ個の蛍光画像をクラスタリングした画素群毎に配列したＬ個のクラスタ行列を生成するクラスタリング部、
Ｌ個のクラスタ行列ごとにＣ個の蛍光画像を構成する前記画素群の前記強度値の統計値を計算する計算部、及び
Ｌ個のクラスタ行列ごとの前記Ｃ個の蛍光画像の前記統計値を用いて、前記Ｃ個の蛍光画像を対象にアンミキシングを行い、Ｋ個（Ｋは２以上Ｃ以下の整数）の色素毎の分布を示す前記Ｋ個の色素画像を生成する画像生成部、
として機能させる色素画像取得プログラム。」である。
【発明の効果】
【0029】
実施形態の一側面によれば、アンミキシングによって取得される分離画像の精度を高めつつスループットの向上を図ることができる。
【図面の簡単な説明】
【0030】
【図1】実施形態にかかる色素画像取得システム１の概略構成図である。
【図6】試料Ｓに含まれる複数の色素の励起光の吸収率の波長特性を示すグラフである。
【図10】実施形態に係る色素画像取得方法の手順を示すフローチャートである。
【図11】実施形態に係る色素画像取得システム１によって生成された色素画像の一例を示す図である。
【発明を実施するための形態】
【0031】
以下、添付図面を参照して、本発明の実施形態について詳細に説明する。なお、説明において、同一要素又は同一機能を有する要素には、同一符号を用いることとし、重複する説明は省略する。
【0032】
図１は、実施形態にかかる色素画像取得装置である色素画像取得システム１の概略構成図である。色素画像取得システム１は、観察対象である生体組織等の試料内の色素の分布を特定するための色素画像を生成するための装置である。色素画像取得システム１によって生成される画像は、その画像の解析を通じた、薬剤の開発、治療法の検討等の目的に用いられる。そのため、色素画像取得システム１には、定量的に試料に含まれる多くの物質（色素）の分布を特定可能な画像を高スループットで生成することが求められる。色素画像取得システム１は、試料Ｓに励起光を照射してそれに応じて生じた蛍光の画像を取得する画像取得装置３と、画像取得装置３によって取得された画像をデータ処理する画像処理装置５とを備えている。画像取得装置３と画像処理装置５とは、それらの間で有線通信あるいは無線通信を用いて画像データが送受信可能に構成されていてもよいし、記録媒体を介して画像データが入出力可能に構成されていてもよい。
【0033】
図２は、図１の画像取得装置３の構成を示す斜視図である。図２においては、励起光の光路を矢印付きの点線で示し、蛍光の光路を矢印付きの実線で示す。画像取得装置３は、励起光源７、光源側フィルタセット９ａ、ダイクロイックミラー１１、カメラ側フィルタセット９ｂ、波長情報取得光学系１３、第１のカメラ１５ａ、及び第２のカメラ１５ｂを含んで構成される。
【0034】
励起光源７は、複数の波長帯（波長分布）の励起光を切り替えて照射可能な光源であり、例えば、ＬＥＤ（Light Emitting Diode）光源、複数の単色レーザ光源からなる光源、あるいは白色光源と波長選択光学素子を組み合わせた光源などである。光源側フィルタセット９ａは、励起光源７の励起光の光路上に設けられ、所定の複数の波長帯の光を透過させる性質を有するマルチバンドパスフィルタである。この光源側フィルタセット９ａの透過波長帯は、使用されうる励起光の複数の波長帯に応じて設定される。ダイクロイックミラー１１は、光源側フィルタセット９ａと試料Ｓとの間に設けられ、励起光を試料Ｓに向けて反射し、それに応じて試料Ｓから発せられる蛍光を透過する性質を有する光学部材である。カメラ側フィルタセット９ｂは、ダイクロイックミラー１１によって透過される蛍光の光路上に設けられ、所定の複数の波長帯の光を透過させる性質を有するマルチバンドパスフィルタである。このカメラ側フィルタセット９ｂの透過波長帯は、観察対象の試料Ｓに含みうる色素において生じる蛍光の波長帯に応じて設定される。
【0035】
波長情報取得光学系１３は、カメラ側フィルタセット９ｂによって透過される蛍光の光路上に設けられ、蛍光の波長情報を取得するための光学系である。すなわち、波長情報取得光学系１３は、試料Ｓからの蛍光を異なる波長特性で２つの光路に分離する。例えば、波長情報取得光学系１３としては、波長が大きくなるに従って透過率が線形的に大きくなるような透過率の波長特性を有するダイクロイックミラーが用いられる。このようなダイクロイックミラーを用いた波長情報取得光学系１３は、異なる波長特性で蛍光を分離し、波長が大きくなるほど反射率が小さくなるような波長特性で蛍光の一部を反射し、波長が大きくなるほど透過率が大きくなるような波長特性で蛍光の一部を透過する。この波長情報取得光学系１３には、波長情報取得光学系１３をカメラ側フィルタセット９ｂからの蛍光の光路上において着脱可能に支持する支持機構（図示せず）が設けられる。
【0036】
第１のカメラ１５ａは、Ｎ個（Ｎは２以上の整数、例えば、２０４８×２０４８）の画素によって構成される二次元画像を撮像する撮像装置であり、波長情報取得光学系１３が蛍光の光路上に支持された際に、波長情報取得光学系１３によって分離された蛍光の一方の成分を撮像して一方の分離蛍光画像を取得するカメラである。また、第１のカメラ１５ａは、波長情報取得光学系１３が蛍光の光路上から離脱された際に、カメラ側フィルタセット９ｂを透過した蛍光を撮像し、蛍光画像を取得する。第１のカメラ１５ａは、取得した分離蛍光画像あるいは蛍光画像を、通信を用いて、あるいは記録媒体を介して、画像処理装置５に出力する。第２のカメラ１５ｂは、第１のカメラ１５ａと同じＮ個の画素によって構成される二次元画像を撮像する撮像装置であり、波長情報取得光学系１３が蛍光の光路上に支持された際に、波長情報取得光学系１３によって分離された蛍光の他方の成分を撮像して他方の分離蛍光画像を取得するカメラである。第２のカメラ１５ｂは、取得した分離蛍光画像を、通信を用いてあるいは記録媒体を介して画像処理装置５に出力する。
【0037】
なお、蛍光画像は、第１のカメラ１５ａによって取得された一方の分離蛍光画像、及び第２のカメラ１５ｂによって取得された他方の分離蛍光画像を用いて、画像処理装置５によって画像を足し合わせることによって取得されてもよい。その場合は、波長情報取得光学系１３における支持機構は除かれてもよい。
【0038】
【0039】
図３に示すように、画像処理装置５は、物理的には、プロセッサであるＣＰＵ（Central Processing Unit）１０１、記録媒体であるＲＡＭ（Random Access Memory）１０２又はＲＯＭ（Read Only Memory）１０３、通信モジュール１０４、及び入出力モジュール１０６等を含んだコンピュータ等であり、各々は電気的に接続されている。なお、画像処理装置５は、入出力デバイスとして、ディスプレイ、キーボード、マウス、タッチパネルディスプレイ等を含んでいてもよいし、ハードディスクドライブ、半導体メモリ等のデータ記録装置を含んでいてもよい。また、画像処理装置５は、複数のコンピュータによって構成されていてもよい。
【0040】
図４に示すように、画像処理装置５は、機能的な構成要素として、画像取得部２０１、波長情報取得部２０２、クラスタリング部２０３、統計値計算部２０４、及び画像生成部２０５を備えている。図４に示す画像処理装置５の各機能部は、ＣＰＵ１０１及びＲＡＭ１０２等のハードウェア上にプログラム（実施形態にかかる色素画像取得プログラム）を読み込ませることにより、ＣＰＵ１０１の制御のもとで、通信モジュール１０４、及び入出力モジュール１０６等を動作させるとともに、ＲＡＭ１０２におけるデータの読み出し及び書き込みを行うことで実現される。画像処理装置５のＣＰＵ１０１は、このコンピュータプログラムを実行することによって図４の各機能部を機能させ、後述する色素画像取得方法に対応する処理を順次実行する。なお、ＣＰＵ１０１は、単体のハードウェアでもよく、ソフトプロセッサのようにＦＰＧＡのようなプログラマブルロジックの中に実装されたものでもよい。ＲＡＭやＲＯＭについても単体のハードウェアでもよく、ＦＰＧＡのようなプログラマブルロジックの中に内蔵されたものでもよい。このコンピュータプログラムの実行に必要な各種データ、及び、このコンピュータプログラムの実行によって生成された各種データは、全て、ＲＯＭ１０３、ＲＡＭ１０２等の内蔵メモリ、又は、ハードディスクドライブなどの記憶媒体に格納される。以下、画像処理装置５の機能的な構成要素の機能について詳細に説明する。
【0041】
画像取得部２０１は、試料Ｓを対象とした予め指定されたＣ個（Ｃは２以上の整数）の蛍光画像を、画像取得装置３から取得する。これらのＣ個の蛍光画像は、波長情報取得光学系１３が蛍光の光路上から離脱された状態で、Ｃ個の波長帯の励起光が試料Ｓにそれぞれ照射されて、それに応じて試料Ｓから生じた蛍光を撮像することによって生成されるＮ個の画素によって構成される蛍光画像である。このとき、取得される蛍光画像の個数Ｃ（試料Ｓに照射される励起光の波長帯の数Ｃ）は、試料Ｓに含まれうる色素の最大の数以上になるように予め指定される。なお、画像取得装置３がＣ個の蛍光画像を得る際の励起光の強度の比は同じとされているか、または、画像取得部２０１が、励起光の強度が同等とみなされる蛍光画像となるように、Ｃ個の蛍光画像の輝度値を相対的に補正するものとする。
【0042】
また、画像取得部２０１は、試料Ｓを対象とした予め指定されたＣ組の分離蛍光画像を、画像取得装置３から取得する。これらのＣ組の分離蛍光画像は、波長情報取得光学系１３が蛍光の光路上に支持された状態で、Ｃ個の波長帯の励起光が試料Ｓにそれぞれ照射されて、それに応じて試料Ｓから生じた蛍光を２つの成分に分離して撮像することによって生成されるＮ個の画素によって構成される分離蛍光画像の組である。
【0043】
波長情報取得部２０２は、Ｃ組の分離蛍光画像のそれぞれを対象にして、一方の分離蛍光画像の蛍光強度（輝度値）と他方の分離蛍光画像の蛍光強度との比を計算することにより、蛍光の波長分布の重心を示す重心蛍光波長を推定する。このとき、波長情報取得部２０２は、下記のクラスタリング部２０３によってクラスタリングされた画素群を対象にして、一方の分離蛍光画像の蛍光強度の平均値と他方の分離蛍光画像の蛍光強度の平均値を計算し、これらの平均値の比を計算する。波長情報取得部２０２は、推定した重心蛍光波長を、蛍光波長に関する波長情報として取得する。
【0044】
クラスタリング部２０３は、画像取得部２０１によって取得されたＣ個の蛍光画像及び波長情報取得部２０２によって取得された波長情報を基に、Ｃ個の蛍光画像を構成するＮ個の画素を対象にクラスタリングを実行する。クラスタリングの処理に先立って、クラスタリング部２０３は、Ｃ個の蛍光画像のそれぞれを構成するＮ個の画素の蛍光強度の値を並列に一次元に配列した行列データＹを生成する。
【0045】
次に、クラスタリング部２０３は、蛍光強度のＣ個の波長帯の励起光毎の分布情報を基に、Ｎ個の画素をＣ個の画素群にクラスタリングする機能（第１のクラスタリング機能）を有する。詳細には、クラスタリング部２０３は、蛍光強度の一番大きい励起光の波長帯が同一である画素を同一の画素群にクラスタリングする。図５には、クラスタリング部２０３による第１のクラスタリング機能によってクラスタリングされた画素群のイメージを示し、図６には、試料Ｓに含まれる複数の色素の励起光の吸収率の波長特性が示されている。図５に示すように、試料Ｓに含まれる色素が、色素Ｃ１、色素Ｃ２、色素Ｃ３の３種類であり、６種類の波長帯の励起光を用いて６個の蛍光画像が得られた場合を想定すると、クラスタリング部２０３は、６個の蛍光画像ＧＣ１～ＧＣ６に含まれるＮ個の画素を、６個の画素群ＰＧｒ１～ＰＧｒ６にクラスタリングする。図６に示すように、一般に、種類の異なる色素は異なる吸収率の波長特性を有し、３種類の色素Ｃ１，Ｃ２，Ｃ３も異なるピーク波長を有する波長特性ＣＷ１，ＣＷ２，ＣＷ３を有する。従って、励起光の６種類の波長帯ＥＷ１，ＥＷ２，ＥＷ３，ＥＷ４，ＥＷ５，ＥＷ６において、吸収率が一番大きい色素は３種類の色素Ｃ１，Ｃ２，Ｃ３のうちの１つと決まっている。例えば、波長帯ＥＷ１の励起光の吸収率が一番大きいのは色素Ｃ１であり、波長帯ＥＷ２の励起光の吸収率が一番大きいのは色素Ｃ１であり、波長帯ＥＷ３の励起光の吸収率が一番大きいのは色素Ｃ２である。この性質を利用して、クラスタリング部２０３は、第１のクラスタリング機能により、Ｎ個の画素を、同じ色素が分布する範囲の画素群にクラスタリングできる。ただし、第１のクラスタリング機能によりクラスタリングされた６個の画素群ＰＧｒ１～ＰＧｒ６は、３種類の色素Ｃ１，Ｃ２，Ｃ３に１対１には対応していない。
【0046】
加えて、クラスタリング部２０３は、波長情報を基に、第１のクラスタリング機能によってクラスタリングしたＣ個の画素群をさらにＬ個（Ｌは２以上Ｎ－１以下の整数）の画素群にクラスタリングする機能（第２のクラスタリング機能）を有する。ここで、クラスタリングする画素群の数Ｌは、試料Ｓに存在しうる色素の種類の数に対応させて、画像処理装置５内に記憶されるパラメータとして予め設定される。すなわち、クラスタリング部２０３は、第１のクラスタリング機能によってクラスタリングしたＣ個の画素群毎に、その画素群に対応する励起光の波長帯を対象にして推定された重心蛍光波長を特定する。より具体的には、クラスタリング部２０３は、ある波長帯の吸収率が一番大きいとしてクラスタリングした画素群を対象にした波長情報を、波長情報取得部２０２から取得し、取得した波長情報を基に重心蛍光波長を特定する。この際、波長情報取得部２０２においては、その波長帯に対応して得られた一組の分離蛍光画像の画素群における蛍光強度の平均値を用いて、波長情報が取得される。さらに、クラスタリング部２０３は、Ｃ個の画素群毎に特定した重心蛍光波長の間の距離（値の近さ）を判断することにより、Ｃ個の画素群をＬ個の画素群にクラスタリングする。そして、クラスタリング部２０３は、Ｃ個の蛍光画像の画素の蛍光強度の値を一次元に並列に配列した行列データＹを、Ｌ個の画素群毎のクラスタ行列に分割して再生成する。
【0047】
図７には、クラスタリング部２０３によって特定された重心蛍光波長の分布を示し、図８には、クラスタリング部２０３による第２のクラスタリング機能によってクラスタリングされた画素群のイメージを示している。図７及び図８に示す例では、第１のクラスタリング機能によってクラスタリングされた６個の画素群ＰＧｒ１～ＰＧｒ６毎に重心蛍光波長ＦＷ１～ＦＷ６が特定され、重心蛍光波長の距離が互いに近い画素群ＰＧｒ１と画素群ＰＧｒ２とが、新たな画素群ＰＧｒ０１にクラスタリングされ、同様に、画素群ＰＧｒ３と画素群ＰＧｒ４とが画素群ＰＧｒ０２にクラスタリングされ、画素群ＰＧｒ５と画素群ＰＧｒ６とが画素群ＰＧｒ０３にクラスタリングされる。これにより、Ｃ個の蛍光画像の画素を試料Ｓに含まれると想定される画素の分布に対応したＬ個の画素群に分けることができる。ただし、第２のクラスタリング機能による分割数Ｌは、蛍光画像の数Ｃ（励起光の波長帯の数Ｃ）以下に設定される。
【0048】
統計値計算部２０４は、試料Ｓを対象にして得られたＬ個のクラスタ行列を基に、Ｃ個の蛍光画像からＫ個（Ｋは２以上Ｃ以下の整数）の色素のそれぞれの分布を示すＫ個の色素画像を生成するためのミキシング行列Ａを求める。一般に、非負値行列因子分解（NMF）の演算方式によれば、観測値行列である行列データＹと、Ｋ個の色素画像を画素毎に一次元に並列に配列した色素行列データＸとの関係は、ミキシング行列Ａを用いて、下記式；
Ｙ＝ＡＸ
で表わされる。ここで、Ｙは、Ｃ行Ｎ列の行列データであり、Ａは、Ｃ行Ｋ列の行列データであり、Ｘは、Ｋ行Ｎ列の行列データである。逆に、ミキシング行列Ａの値が求まれば、色素行列データＸは、ミキシング行列Ａの逆行列Ａ－１と行列データＹとを用いて、下記式；
Ｘ＝Ａ－１Ｙ
によって導き出すことができる（この処理をアンミキシングと言う。）。
Ｙ＝ＡＸ
で表わされる。ここで、Ｙは、Ｃ行Ｎ列の行列データであり、Ａは、Ｃ行Ｋ列の行列データであり、Ｘは、Ｋ行Ｎ列の行列データである。逆に、ミキシング行列Ａの値が求まれば、色素行列データＸは、ミキシング行列Ａの逆行列Ａ－１と行列データＹとを用いて、下記式；
Ｘ＝Ａ－１Ｙ
によって導き出すことができる（この処理をアンミキシングと言う。）。
【0049】
ここで、統計値計算部２０４は、クラスタリング部２０３によって生成された行列データＹを、クラスタリング部２０３によってクラスタリングされた画素群単位で圧縮することによって、行列データＹ’を再生成する。詳細には、統計値計算部２０４は、行列データＹの各行の蛍光強度を対象に、クラスタリングされたクラスタ行列の画素群毎に統計値を計算し、各行の画素群を、計算した統計値を有する１つの画素に圧縮する。これにより、統計値計算部２０４は、Ｃ行Ｌ列の行列データである行列データＹ’を再生成する。統計値計算部２０４は、統計値として、蛍光強度の積算値に基づいた平均値を計算してもよいし、蛍光強度の最頻値を計算してもよいし、蛍光強度の中間値を計算してもよい。
【0050】
さらに、統計値計算部２０４は、再生した行列データＹ’、及び、色素行列データＸから同様にして圧縮される色素行列データＸ’にも、ミキシング行列Ａを含む下記式；
Ｙ’＝ＡＸ’
が成立する性質を利用して、行列データＹ’を基にミキシング行列Ａを導出する。図９には、統計値計算部２０４によって再生成される行列データＹ’、及びそれに対応する色素行列データＸ’のイメージを示している。図９に図示される１つの升目は行列データの１つの要素を表している。このように、３つの画素群ＰＧｒ０１～ＰＧｒ０３に分割された色素行列データＸ及び行列データＹは、画素群ＰＧｒ０１～ＰＧｒ０３毎の統計値を代表値として、３列の色素行列データＸ’及び行列データＹ’に圧縮されたデータである。
Ｙ’＝ＡＸ’
が成立する性質を利用して、行列データＹ’を基にミキシング行列Ａを導出する。図９には、統計値計算部２０４によって再生成される行列データＹ’、及びそれに対応する色素行列データＸ’のイメージを示している。図９に図示される１つの升目は行列データの１つの要素を表している。このように、３つの画素群ＰＧｒ０１～ＰＧｒ０３に分割された色素行列データＸ及び行列データＹは、画素群ＰＧｒ０１～ＰＧｒ０３毎の統計値を代表値として、３列の色素行列データＸ’及び行列データＹ’に圧縮されたデータである。
【0051】
統計値計算部２０４は、次のようにして、行列データＹ’を基にミキシング行列Ａを導出する。すなわち、統計値計算部２０４は、ミキシング行列Ａに初期値を設定し、ミキシング行列Ａの値を順次変更しながら下記のロス関数（損失値）Ｌｏｓを計算し、ロス関数Ｌｏｓの値を低減させるようなミキシング行列Ａを導出する。なお、このロス関数には、L１ノルムλ|A|（λは正則化項を重視する度合いを示す係数）等の正則化項が追加されてもよい。
上記式中、ｊは行列データの行の位置（励起光の波長帯に対応）を示すパラメータであり、行列の添え字１ｊは、１番目のクラスタ行列のｊ番目の行の行列データを示し、行列の添え字２ｊは、２番目のクラスタ行列のｊ番目の行の行列データを示し、行列の添え字３ｊは、３番目のクラスタ行列のｊ番目の行の行列データを示す。また、パラメータａ、ｂ、ｃは、行列データＹ’の各列の統計値の平均値を示している。
【数1】
上記式中、ｊは行列データの行の位置（励起光の波長帯に対応）を示すパラメータであり、行列の添え字１ｊは、１番目のクラスタ行列のｊ番目の行の行列データを示し、行列の添え字２ｊは、２番目のクラスタ行列のｊ番目の行の行列データを示し、行列の添え字３ｊは、３番目のクラスタ行列のｊ番目の行の行列データを示す。また、パラメータａ、ｂ、ｃは、行列データＹ’の各列の統計値の平均値を示している。
【0052】
上記のように、統計値計算部２０４は、クラスタリング部２０３によって分割されたＬ個のクラスタ行列毎に、Ｃ個の行列データＹ’の統計値を参照してロス関数を計算し、Ｌ個のロス関数の和を基にロス関数Ｌｏｓを計算し、そのロス関数Ｌｏｓを基にミキシング行列Ａを求める。この際、統計値計算部２０４は、Ｌ個のクラスタ行列毎に計算したロス関数を、Ｃ個の行列データＹ’の統計値の平均値ａ，ｂ，ｃで除算することによって補正してから、補正したロス関数の和を計算することによってロス関数Ｌｏｓを求めている。なお、統計値計算部２０４は、Ｌ個のクラスタ行列毎のロス関数を、差分値Ｙ’－ＡＸ’の励起光の波長帯毎の行成分を励起光の各波長帯に対応するＣ個の統計値を用いて除算して補正することによって、計算してもよい。
【0053】
なお、上記式は、次のように一般化することもできる。つまり、統計値計算部２０４は、次のようにして、行列データＹ’を基にミキシング行列Ａと色素行列データＸ’を導出する。すなわち、統計値計算部２０４は、ミキシング行列Ａと色素行列データＸ’に初期値を設定し、ミキシング行列Ａと色素行列データＸ’の値を順次変更しながら下記式を用いてロス関数（損失値）Ｌｏｓを計算し、ロス関数Ｌｏｓの値を低減させるようなミキシング行列Ａと色素行列データＸ’を導出する。なお、このロス関数には、L１ノルムλ|A|（λは正則化項を重視する度合いを示す係数）等の正則化項が追加されてもよい。また、ミキシング行列Ａと色素行列データＸ’が非負値になるような制約をかけて計算してもよい。
上記式中、ｊは行列データの行の位置（励起光の波長帯に対応）を示すパラメータであり、iは行列データの列の位置（i番目のクラスタに対応）を示すパラメータである。また、ｗｉｊは行列データの各要素の重みを表しており、各要素の値またはその標準偏差から計算しても良い。また、ｗｉｊを全て同じ値にして各要素の重みを考慮しないことも可能である。なお、上記式における行列データＹ’の各列の統計値の平均値をa、b、c、…とし、ｗ１ｊ＝１／ａ、ｗ２ｊ＝１／ｂ、ｗ３ｊ＝１／ｃと置き換えた式は、先に示したロス関数Ｌｏｓの式と同じとなる。
【数2】
上記式中、ｊは行列データの行の位置（励起光の波長帯に対応）を示すパラメータであり、iは行列データの列の位置（i番目のクラスタに対応）を示すパラメータである。また、ｗｉｊは行列データの各要素の重みを表しており、各要素の値またはその標準偏差から計算しても良い。また、ｗｉｊを全て同じ値にして各要素の重みを考慮しないことも可能である。なお、上記式における行列データＹ’の各列の統計値の平均値をa、b、c、…とし、ｗ１ｊ＝１／ａ、ｗ２ｊ＝１／ｂ、ｗ３ｊ＝１／ｃと置き換えた式は、先に示したロス関数Ｌｏｓの式と同じとなる。
【0054】
上記のように、統計値計算部２０４は、クラスタリング部２０３によって分割されたＬ個のクラスタ行列毎に、Ｃ個の行列データＹ’の統計値を参照してロス関数を計算し、Ｌ個のロス関数Ｌｏｓｉの和を基にロス関数Ｌｏｓを計算し、そのロス関数Ｌｏｓを基にミキシング行列Ａを求める。なお、統計値計算部２０４は、Ｌ個のクラスタ行列毎のロス関数Ｌｏｓｉを、差分値Ｙ’－ＡＸ’の励起光の波長帯毎の行成分を励起光の各波長帯に対応するＣ個の統計値を用いて除算して補正することによって、計算してもよい。
【0055】
画像生成部２０５は、観察対象の試料Ｓを対象にして得られたＣ個の蛍光画像に対して、統計値計算部２０４によって導出されたミキシング行列Ａを用いてアンミキシングすることによって、Ｋ個の色素画像を取得する。具体的には、画像生成部２０５は、クラスタリング部２０３によってＣ個の蛍光画像を基に生成された行列データＹに、ミキシング行列Ａの逆行列Ａ－１を適用することにより、色素行列データＸを計算する。そして、画像生成部２０５は、色素行列データＸからＫ個の色素画像を再生し、再生したＫ個の色素画像を出力する。このときの出力先は、ディスプレイ、タッチパネルディスプレイ等の画像処理装置５の出力デバイスであってもよいし、画像処理装置にデータ通信可能に接続された外部の装置であってもよい。
【0056】
次に、本実施形態に係る色素画像取得システム１を用いた試料Ｓを対象にした観察処理の手順、すなわち、本実施形態に係る色素画像取得方法の流れについて説明する。図１０は、色素画像取得システム１による観察処理の手順を示すフローチャートである。
【0057】
まず、画像処理装置５の画像取得部２０１によって、試料Ｓを撮像したＣ個の蛍光画像及びＣ組の分離蛍光画像が取得される（ステップＳ１；画像取得ステップ）。次に、画像処理装置５のクラスタリング部２０３によって、Ｃ個の蛍光画像のＮ個の画素を並列に配列した行列データＹが生成される（ステップＳ２）。
【0058】
さらに、画像処理装置５のクラスタリング部２０３によって、第１のクラスタリング機能が実行され、励起波長帯毎の蛍光強度の分布情報を用いて、蛍光画像のＮ個の画素がＣ個の画素群にクラスタリングされる（ステップＳ３；クラスタリングステップ）。次に、画像処理装置５の波長情報取得部２０２により、Ｃ個の画素群毎に、分離蛍光画像の組を参照して重心蛍光波長を示す波長情報が取得される（ステップＳ４；波長情報取得ステップ）。その後、画像処理装置５のクラスタリング部２０３により、第２のクラスタリング機能が実行され、Ｃ個の画素群毎に波長情報を基に特定した重心蛍光波長の間の距離が判断されることにより、Ｃ個の画素群がＬ個の画素群にクラスタリングされる（ステップＳ５；クラスタリングステップ）。
【0059】
次に、画像処理装置５の統計値計算部２０４により、Ｌ個の画素群の統計値を計算することにより、クラスタリング部２０３によって生成された行列データＹを基に行列データＹ’が再生成される（ステップＳ６；計算ステップ）。そして、画像処理装置５の統計値計算部２０４により、行列データＹ’を基にミキシング行列Ａが導出される（ステップＳ７；画像生成ステップ）。さらに、画像処理装置５の画像生成部２０５により、試料Ｓを対象にしたＣ個の蛍光画像を基に生成された行列データＹがミキシング行列Ａを用いてアンミキシングされることにより、Ｋ個の色素画像が再生される（ステップＳ８；画像生成ステップ）。最後に、画像処理装置５の画像生成部２０５によって、再生されたＫ個の色素画像が出力される（ステップＳ９）。以上により、試料Ｓを対象にした観察処理が完了する。
【0060】
以上説明した色素画像取得システム１によれば、異なる波長帯の励起光を用いて試料Ｓの蛍光像を捉えたＣ個の蛍光画像が取得され、これらのＣ個の蛍光画像のＮ個の画素が各画素の蛍光強度を基にＬ個の画素群にクラスタリングされ、Ｃ個の蛍光画像をＬ個の画素群毎に配列したＬ個のクラスタ行列が生成される。加えて、Ｌ個のクラスタ行列ごとにＣ個の蛍光画像を構成する画素群の蛍光強度の統計値が計算され、それぞれのＣ個の蛍光画像の統計値を用いてＣ個の蛍光画像がアンミキシングされてＫ個の色素画像が生成される。これにより、観察に用いる励起光の種類、あるいは、観察する蛍光バンドの数が増加しても、アンミキシングを行う際の計算量を抑えることができる。また、クラスタリングされたクラスタ行列ごとの蛍光画像の統計値を用いてアンミキシングを行うことで、色素画像の分離の精度も向上させることができる。その結果、分離された色素画像の精度を高めつつ色素画像を取得する際のスループットの向上を図ることができる。
【0061】
また、本実施形態においては、クラスタリングステップにおいて、蛍光強度のＣ個の励起光毎の分布情報を基にＮ個の画素がクラスタリングされている。これにより、励起光毎の蛍光強度によって画素をクラスタリングすることができ、そのクラスタリング結果を基にアンミキシングすることにより、色素画像の分離の精度を向上させることができる。
【0062】
また、本実施形態においては、第１のクラスタリング機能によってクラスタリングされた画素群毎に蛍光波長に関する波長情報を取得する波長情報取得ステップがさらに実行され、クラスタリングステップでは、各画素群に対応する波長情報を基にＣ個の画素群がＬ個の画素群にさらにクラスタリングされる。これにより、蛍光画像の各画素群に対応する蛍光波長を用いて画素をクラスタリングすることができ、そのクラスタリング結果を用いて蛍光画像をアンミキシングすることで、試料Ｓに存在しうる色素毎の色素画像の分離の精度を向上させることができる。
【0063】
また、本実施形態においては、Ｃ個の波長帯のいずれかの波長帯の励起光を用いて生じた試料Ｓからの蛍光が波長情報取得光学系１３を介して２つの成分に分離され、分離された２つの成分の蛍光をそれぞれ撮像した分離蛍光画像の組が取得され、分離蛍光画像の組を基に波長情報が取得される。この場合、励起光の照射によって生じる試料Ｓからの蛍光が異なる波長特性で分離され、分離された蛍光を撮像した分離蛍光画像の組を基に波長情報が取得されるので、波長情報を精度よく解析することができる。その結果、色素画像の分離の精度を向上させることができる。
【0064】
複数の色素を含む試料を対象にした従来の蛍光イメージング手法では、光源に設けられた複数の透過波長帯をそれぞれ有する複数の励起光フィルタ（バンドパスフィルタ）を切り替えながら、複数の波長帯の励起光が順次照射され、それに応じて試料から生じる蛍光を複数の透過波長帯をそれぞれ有する複数の蛍光フィルタ（バンドパスフィルタ）を切り替えながら蛍光フィルタを介して撮像することにより、複数の蛍光画像が取得されていた。そのため、励起光フィルタの切り替えとそれに応じた蛍光フィルタの切り替えが必要となる。その結果、フィルタの切り替えの時間と、フィルタの切り替えに応じて試料Ｓの励起光の照射範囲を合わせるための試料Ｓのステージの位置調整の時間とが必要となるため、蛍光画像の取得時間が長くなる傾向にある。これに対して、本実施形態では、マルチバンドパスフィルタが光源側フィルタセット９ａ及びカメラ側フィルタセット９ｂとして用いられ、フィルタの切り替えが不要とされており、励起光源７も同視野で励起光の波長帯を切り替えることができるので、蛍光画像の取得時間を大幅に短縮できる。なお、本実施形態では、マルチバンドフィルタを用いて蛍光画像を撮像することで、それぞれの蛍光画像に複数の蛍光バンドの蛍光が混合して反映されるが、アンミキシング処理を行うことでＫ個の色素画像に高精度に分離することができる。
【0065】
さらに、本実施形態の計算ステップにおいては、クラスタ行列を圧縮する際に計算する統計値を、画素群の蛍光強度の積算値、最頻値、あるいは中間値に基づいて計算している。この場合、クラスタ行列における蛍光画像のＬ個の画素群の蛍光強度の全体的傾向を基にアンミキシングを実行することができ、生成される色素画像の精度を向上させることができる。
【0066】
さらに、本実施形態の画像生成ステップにおいては、Ｌ個のクラスタ行列ごとのＣ個の蛍光画像の統計値を用いて、ミキシング行列Ａが求められ、ミキシング行列Ａを用いてＣ個の蛍光画像がアンミキシングされている。こうすれば、クラスタリングされた蛍光画像のＬ個の画素群の統計値を基にミキシング行列Ａが求められ、そのミキシング行列Ａを用いてアンミキシングを実行することができ、生成される色素画像の精度を向上させることができる。従来は、ミキシング行列Ａの導出を各色素のリファレンス情報（蛍光スペクトル、吸収スペクトル等）を基に計算することによって行っていた。本実施形態では、このようなリファレンス情報が未知の場合であっても、蛍光画像から得られる行列データＹからミキシング行列Ａを推定することができる。
【0067】
さらに、本実施形態の画像生成ステップにおいては、ＮＭＦの計算方式を用いて、Ｌ個のクラスタ行列ごとのＣ個の蛍光画像の統計値を基にロス関数を計算し、Ｌ個のクラスタ行列毎のロス関数の和であるロス関数Ｌｏｓを基にミキシング行列Ａが求められている。こうすれば、クラスタリングされた蛍光画像のＬ個の画素群の統計値を基にロス関数が計算され、これらのロス関数の和を基にミキシング行列Ａが求められ、そのミキシング行列Ａを用いてアンミキシングを実行することができる。これにより、試料Ｓの蛍光画像における各色素の分布領域の大きさに差がある場合であっても、生成される色素画像の精度をさらに向上させることができる。すなわち、クラスタリングすることなく蛍光画像を対象にロス関数を計算する場合には、分布領域の相対的に大きい色素の分離精度が重視されるため、結果として分布領域の相対的に小さい色素の分離精度が低下してしまうが、本実施形態では、複数の色素の分離精度を一律に向上させることができる。
【0068】
また、本実施形態の画像生成ステップでは、Ｌ個のクラスタ行列ごとのロス関数を、クラスタ行列の統計値を基にした係数ａ，ｂ，ｃで除算することで補正し、補正したロス関数の和を基にミキシング行列Ａが求められてもよい。かかる構成を採れば、クラスタリングされた蛍光画像のＬ個の画素群の統計値を基にロス関数が計算され、ロス関数の和を求める際に統計値を基にそれぞれのロス関数が補正される。これにより、試料Ｓの蛍光画像における各色素の蛍光強度に差がある場合であっても、精度よく色素画像を生成することができる。すなわち、Ｌ個のロス関数を補正することなくロス関数Ｌｏｓを計算する場合には、蛍光強度の相対的に大きい色素の分離精度が重視されるため、結果として蛍光強度の相対的に小さい色素の分離精度が低下してしまうが、本実施形態では、複数の色素の分離精度を一律に向上させることができる。
【0069】
また、本実施形態では、クラスタリングの実行及び統計値を基にした行列データＹ’を用いたアンミキシングを行うことにより、色素画像を生成するための計算時間を大幅に短縮できる。例えば、１タイルが２０４８×２０４８個の画像をタイル数６６０分含む蛍光画像を処理対象とし、励起光のバンド数Ｃを“１０”とした場合の計算時間は、クラスタリングを行わずに行列データＹをそのまま用いてアンミキシングを行った場合に１７，０００秒程度であった。これに対して、本実施形態の手法によれば、処理データ数が大幅に削減されることにより、、クラスタリングの数Ｌを“６”とした場合の計算時間が０．０６秒程度に大幅に削減される。それに加えて、本実施形態の手法によれば、統計値を用いてアンミキシングすることで色素画像の精度を維持することができる。
【0070】
図１１には、本実施形態に係る色素画像取得システム１によって生成された色素画像の一例を示している。このように、本実施形態によれば、試料Ｓに含まれる色素であるローダミンの分布が精度よく得られる。従来のバンドパスフィルタを用いた蛍光イメージング手法と比較しても同等の精度の蛍光画像が得られることが分かった。
【0071】
以上、本発明の種々の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、各請求項に記載した要旨を変更しない範囲で変形し、又は他のものに適用したものであってもよい。
【0072】
例えば、本実施形態の画像処理装置５においては、クラスタリングする画素群の数Ｌ及び色素画像の数Ｋが、試料Ｓに含まれる色素の数に応じて予めパラメータとして設定されているが、画像処理装置５がパラメータＬ，Ｋを順次変更して色素画像の生成を繰り返してもよい。例えば、クラスタ数Ｌ＝Ｃ－１、色素数Ｋ＝Ｃ－１としてアンミキシングを実行して色素画像を生成し、得られた色素毎の色素画像の精度が悪ければ、クラスタ数Ｌ及び色素数Ｋを、Ｃ－２、Ｃ－３、…と順次変更してアンミキシングを繰り返してもよい。
【0073】
また、本実施形態の色素画像取得システム１は、第１のカメラ１５ａ及び第２のカメラ１５ｂによって得られたＣ組の分離蛍光画像をそのまま用いてアンミキシングを実行して色素画像を生成してもよい。この場合のアンミキシング対象の蛍光画像の数は２×Ｃとなる。また、色素画像取得システム１は、カメラ側フィルタセット９ｂとして１つの蛍光バンドを透過するＭ個のバンドパスフィルタを切り替えて用い、その結果得られるＭ×Ｃ個の蛍光画像を対象にアンミキシングを実行してもよい。
【0074】
また、色素画像取得システム１は、複数の波長帯の励起光を同時に試料Ｓに向けて照射する複数の励起光源７を備え、複数の波長帯の励起光間の強度比を変更してＣ個の種類の波長分布の励起光を照射しながらＣ個の蛍光画像を取得してもよい。この場合も、複数の色素毎の色素画像を精度よく得ることができる。
【0075】
本実施形態に係る画像処理装置５は、クラスタリングされる前の行列データＹを生成する際には、画像を構成するＮ個の画素を規定の規則で行方向に並べたデータとして生成してもよいし、ランダムな規則で行方向に並べたデータとして生成してもよい。ただし、１つの行列データＹを構成するＣ行の蛍光画像のデータは同じ規則でＮ個の画素を並べたデータとして設定される。ランダムに配列することによって生成された行列データＹを用いてもクラスタリングによって同じ行列データＹ’を再生成することができる。
【0076】
また、本実施形態に係る画像処理装置５は、クラスタリングされる前の行列データＹを生成する際には、蛍光画像に含まれるバックグラウンド画素（色素の存在しない画素）は除外して生成してもよい。
【0077】
画像処理装置５における画素群のクラスタリングの手法としては、K-means法のような機械学習を用いた手法、ディープラーニングを用いた手法等が採用されてもよい。
【0078】
また、画像処理装置５における画素群のクラスタリングの手法としては、K-means法の他に、決定木、サポートベクタマシン、KNN(K最近傍)、自己組織化マップ、スペクトラルクラスタリング、混合ガウスモデル、DBSCAN、Affinity Propagation、MeanShift、Ward、Agglomerative Clustering、OPTICS、BIRCHのような機械学習を用いた手法、ディープラーニングを用いた手法等が採用されてもよい。また、クラスタリングを適用する前に行列データＹに前処理を行ってもよい。例えば、Phasor Analysisや主成分分析、特異値分解、独立成分分析、線形判別分析、t-SNE、UMAP、その他機械学習などにより、各画素C次元のデータを次元削減してもよい。
【0079】
本実施形態の画像取得装置３は、波長情報取得光学系１３として、上述したような波長に対して透過率が線形的に変化する波長特性を有する傾斜ダイクロイックミラーの他、１つの波長帯を透過するシングルバンドダイクロイックミラー、あるいは、複数の波長帯を透過するマルチバンドダイクロイックミラーが採用されてもよい。この際には、カメラ側フィルタセット９ｂとして上述したマルチバンドパスフィルタが採用されてもよいし、１つの波長帯を透過するシングルバンドパスフィルタが採用されてもよい。
【0080】
ここで、カメラ側フィルタセット９ｂとしてシングルバンドパスフィルタが採用され、波長情報取得光学系１３として、波長λに対して透過率特性ｔ（λ）＝ａ１λ＋ｂ１の特性を有する傾斜ダイクロイックミラーが採用された場合は、画像処理装置５の波長情報取得部２０２は、下記式；
を用いて重心蛍光波長を示す波長情報ＷＬＣを計算する。ここで、ｘ１は一方の分離蛍光画像の蛍光強度であり、Ｘ２は他方の分離蛍光画像の蛍光強度である。一方、カメラ側フィルタセット９ｂとしてシングルバンドパスフィルタが採用され、波長情報取得光学系１３として、シングルバンドダイクロイックミラーあるいはマルチバンドダイクロイックミラーが採用された場合は、画像処理装置５の波長情報取得部２０２は、下記式；
ＷＬｒａｔｉｏ＝ｘ２／ｘ１
を用いて波長情報ＷＬｒａｔｉｏを計算する。
【数3】
を用いて重心蛍光波長を示す波長情報ＷＬＣを計算する。ここで、ｘ１は一方の分離蛍光画像の蛍光強度であり、Ｘ２は他方の分離蛍光画像の蛍光強度である。一方、カメラ側フィルタセット９ｂとしてシングルバンドパスフィルタが採用され、波長情報取得光学系１３として、シングルバンドダイクロイックミラーあるいはマルチバンドダイクロイックミラーが採用された場合は、画像処理装置５の波長情報取得部２０２は、下記式；
ＷＬｒａｔｉｏ＝ｘ２／ｘ１
を用いて波長情報ＷＬｒａｔｉｏを計算する。
【0081】
また、波長情報取得光学系１３としては、ダイクロイックミラーには限定されず、同様の波長特性を有するフィルタセットが用いられてもよいし、蛍光を分割するビームスプリッタ（偏光ビームスプリッタ等）が用いられてもよい。また、異なる波長特性を有するフィルタを切り替えて使用して１つのカメラを用いて複数回撮像することにより１組の分離蛍光画像を得るようにしてもよい。また、波長情報取得光学系１３によって分離した２つの成分の蛍光を１つのカメラで視野を分割して撮像するようにしてもよい。
【0082】
また、本実施形態の画像取得装置３の波長情報取得部２０２は、蛍光波長に関する波長情報を取得するために、少なくとも２つ以上の蛍光波長を検出可能なカメラを用いて取得された蛍光画像を用いて処理してもよい。このようなカメラは、例えば、カラーセンサ（カラーカメラ）あるいはマルチバンドセンサ（マルチバンドカメラ）等が挙げられる。例えば、カラーセンサを用いる場合、波長情報取得部２０２は、カラーセンサから得られるＲ画素、Ｇ画素、Ｂ画素の３つの強度値を比較することにより蛍光波長に関する情報を計算および取得することもできる。また、マルチバンドセンサの場合、波長情報取得部２０２は、マルチバンドセンサから得られる異なる波長ごとの強度値を比較することにより蛍光波長に関する情報を計算および取得することもできる。この場合も、蛍光を撮像した蛍光画像を基に波長情報が取得されるので、波長情報を精度よく解析することができる。その結果、色素画像の分離の精度を向上させることができる。
【0083】
本開示の色素画像取得方法においては、クラスタリングステップでは、強度値のＣ個の励起光毎の分布情報を基にＮ個の画素をクラスタリングする、ことが好適である。本開示の色素画像取得装置においては、画像処理装置は、強度値のＣ個の励起光毎の分布情報を基にＮ個の画素をクラスタリングする、ことが好適である。これにより、励起光毎の蛍光強度によって画素をクラスタリングすることができ、そのクラスタリング結果を基にアンミキシングすることにより、色素画像の分離の精度を向上させることができる。
【0084】
また、本開示の色素画像取得方法においては、蛍光画像の各画素に対応する蛍光波長に関する波長情報を取得する波長情報取得ステップをさらに備え、クラスタリングステップでは、各画素に対応する波長情報を基にＮ個の画素をクラスタリングする、ことも好適である。また、本開示の色素画像取得装置においては、画像処理装置は、蛍光画像の各画素に対応する蛍光波長に関する波長情報をさらに取得し、各画素に対応する波長情報を基にＮ個の画素をクラスタリングする、ことも好適である。これにより、蛍光画像の各画素に対応する波長情報を用いて画素をクラスタリングすることができ、そのクラスタリング結果を基にアンミキシングすることにより、色素画像の分離の精度を向上させることができる。
【0085】
また、本開示の色素画像取得方法においては、波長情報取得ステップでは、Ｃ個の波長分布のいずれかの波長分布の励起光を試料に照射し、試料からの蛍光を異なる波長特性で分離する波長情報取得光学系を介して分離し、分離された蛍光をそれぞれ撮像して複数の分離蛍光画像を取得し、複数の分離蛍光画像を基に波長情報を取得する、ことも好適である。また、本開示の色素画像取得装置においては、画像取得装置は、Ｃ個の波長分布のいずれかの波長分布の励起光を試料に照射し、試料からの蛍光を異なる波長特性で分離する波長情報取得光学系を介して分離し、分離された蛍光をそれぞれ撮像して複数の分離蛍光画像を取得し、画像処理装置は、複数の分離蛍光画像を基に波長情報を取得する、ことも好適である。この場合、励起光の照射によって生じる試料からの蛍光が異なる波長特性で分離され、分離された蛍光を撮像した複数の分離蛍光画像を基に波長情報が取得されるので、波長情報を精度よく解析することができる。その結果、色素画像の分離の精度を向上させることができる。
【0086】
また、本開示の色素画像取得方法においては、波長情報取得ステップでは、Ｃ個の波長分布のいずれかの波長分布の励起光を試料に照射し、試料からの蛍光を少なくとも２つ以上の蛍光波長を検出可能なカメラで撮像して蛍光画像を取得し、蛍光画像を基に波長情報を取得する、ことが好適である。また、本開示の色素画像取得装置においては、画像取得装置は、Ｃ個の波長分布のいずれかの波長分布の励起光を試料に照射し、試料からの蛍光を少なくとも２つ以上の蛍光波長を検出可能なカメラで撮像して蛍光画像を取得し、蛍光画像を基に波長情報を取得する、ことが好適である。この場合も、励起光の照射によって生じる試料からの蛍光を撮像した蛍光画像を基に波長情報が取得されるので、波長情報を精度よく解析することができる。その結果、色素画像の分離の精度を向上させることができる。
【0087】
さらに、本開示の色素画像取得方法においては、計算ステップでは、統計値を、画素群の強度値の積算値、最頻値、あるいは中間値に基づいて計算する、ことも好適である。さらに、本開示の色素画像取得装置においては、画像処理装置は、統計値を、画素群の強度値の積算値、最頻値、あるいは中間値に基づいて計算する、ことも好適である。この場合、クラスタリングされた蛍光画像のＬ個の画素群の強度値の全体的傾向を基にアンミキシングを実行することができ、生成される色素画像の精度を向上させることができる。
【0088】
なお、本開示の色素画像取得方法或いは色素画像取得装置においては、統計値を計算する前に外れ値あるいは一部の画素を除外してから計算しても良い。また、各画素は異なるクラスタに重複して含まれていてもよい。その場合、それぞれのクラスタでの統計値計算に利用される。
【0089】
またさらに、本開示の色素画像取得方法においては、画像生成ステップでは、Ｌ個のクラスタ行列ごとのＣ個の蛍光画像の統計値を用いて、ミキシング行列を求め、ミキシング行列を用いてアンミキシングを行う、ことも好適である。またさらに、本開示の色素画像取得装置においては、画像処理装置は、Ｌ個のクラスタ行列ごとのＣ個の蛍光画像の統計値を用いて、ミキシング行列を求め、ミキシング行列を用いてアンミキシングを行う、ことも好適である。こうすれば、クラスタリングされた蛍光画像のＬ個の画素群の統計値を基にミキシング行列が求められ、そのミキシング行列を用いてアンミキシングを実行することができ、生成される色素画像の精度を向上させることができる。
【0090】
さらにまた、本開示の色素画像取得方法においては、画像生成ステップでは、非負値行列因子分解を用いて、Ｌ個のクラスタ行列ごとのＣ個の蛍光画像の統計値を基に損失値を計算し、損失値の和を基にミキシング行列を求める、ことも好適である。さらにまた、本開示の色素画像取得装置においては、画像処理装置は、非負値行列因子分解を用いて、Ｌ個のクラスタ行列ごとのＣ個の蛍光画像の統計値を基に損失値を計算し、損失値の和を基にミキシング行列を求める、ことも好適である。こうすれば、クラスタリングされた蛍光画像のＬ個の画素群の統計値を基に損失値が計算され、損失値の和を基にミキシング行列が求められ、そのミキシング行列を用いてアンミキシングを実行することができる。これにより、試料の蛍光画像における各色素の分布領域の大きさに差がある場合であっても、生成される色素画像の精度を向上させることができる。
【0091】
また、本開示の色素画像取得方法においては、画像生成ステップでは、Ｌ個のクラスタ行列ごと損失値を統計値を基に補正し、補正した損失値の和を基にミキシング行列を求める、ことも好適である。また、本開示の色素画像取得装置においては、画像処理装置は、Ｌ個のクラスタ行列ごと損失値を統計値を基に補正し、補正した損失値の和を基にミキシング行列を求める、ことも好適である。かかる構成を採れば、クラスタリングされた蛍光画像のＬ個の画素群の統計値を基に損失値が計算され、損失値の和を求める際に統計値を基にそれぞれの損失値が補正される。これにより、試料の蛍光画像における各色素の蛍光強度に差がある場合であっても、精度よく色素画像を生成することができる。
【符号の説明】
【0092】
１…色素画像取得システム、３…画像取得装置、５…画像処理装置、７…励起光源、９ａ…光源側フィルタセット、９ｂ…カメラ側フィルタセット、１１…ダイクロイックミラー、１５ａ，１５ｂ…カメラ、１３…波長情報取得光学系、２０１…画像取得部、２０２…波長情報取得部、２０３…クラスタリング部、２０４…統計値計算部、２０５…画像生成部、Ｃ１，Ｃ２，Ｃ３…色素、ＧＣ１～ＧＣ６…蛍光画像、ＰＧｒ０１～ＰＧｒ０３，ＰＧｒ１～ＰＧｒ６…画素群、Ｓ…試料。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
