特許 7566216 分離画像取得方法、分離画像取得装置、及び分離画像取得プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-10-03

(45)【発行日】2024-10-11

(54)【発明の名称】分離画像取得方法、分離画像取得装置、及び分離画像取得プログラム

(51)【国際特許分類】

   G01N 21/64 20060101AFI20241004BHJP

【ＦＩ】

G01N21/64 Z

【請求項の数】 19

(21)【出願番号】P 2024537453

(86)(22)【出願日】2023-12-26

(86)【国際出願番号】 JP2023046652

【審査請求日】2024-06-20

(31)【優先権主張番号】P 2023027522

(32)【優先日】2023-02-24

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】000236436

【氏名又は名称】浜松ホトニクス株式会社

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100140442

【弁理士】

【氏名又は名称】柴山 健一

(74)【代理人】

【識別番号】100124800

【弁理士】

【氏名又は名称】諏澤 勇司

(72)【発明者】

【氏名】樋口 貴文

(72)【発明者】

【氏名】池村 賢一郎

(72)【発明者】

【氏名】加茂 航

(72)【発明者】

【氏名】加藤 なつみ

【審査官】伊藤 裕美

(56)【参考文献】

【文献】特表２００８－５４１１７９（ＪＰ，Ａ）

【文献】国際公開第２００５／０３６１４３（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０２１／０２０８０７６（ＵＳ，Ａ１）

【文献】国際公開第２０２３／０２６７４２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／００－Ｇ０１Ｎ ２１／８３

Ｇ０１Ｎ １５／００－Ｇ０１Ｎ １５／１４９２

Ｇ０６Ｔ ７／００－Ｇ０６Ｔ ７／９０

Ｇ０１Ｎ ３３／４８－Ｇ０１Ｎ ３３／９８

(57)【特許請求の範囲】

【請求項1】

異なる波長特性を有する複数の光学状態における複数の参照蛍光画像に基づいて取得された、蛍光像を分離した蛍光分離画像を得るための画像分離情報を複数記憶した記憶部から所望の画像分離情報を選択する選択ステップと、
複数波長の励起光のそれぞれを試料に照射する照射ステップと、
前記複数波長の励起光のそれぞれによって前記試料から生じた複数の蛍光のそれぞれについて、複数の反射波長域及び複数の透過波長域を有する蛍光フィルタ部を介して、前記複数の光学状態のうちの少なくとも１つの光学状態における対象蛍光画像を取得する取得ステップと、
前記複数の蛍光のそれぞれについて、前記取得ステップにおいて取得された前記対象蛍光画像と、前記選択ステップで選択された前記画像分離情報とに基づいて、蛍光分離画像を生成する生成ステップと、
を備える分離画像取得方法。

【請求項2】

前記画像分離情報は、前記複数の参照蛍光画像を取得した際の画像取得条件と紐づけて記憶され、
前記選択ステップでは、前記対象蛍光画像の取得時の画像取得条件に対応する画像取得条件に紐づけられた前記画像分離情報を選択する、
請求項１に記載の分離画像取得方法。

【請求項3】

前記生成ステップでは、前記対象蛍光画像及び選択された前記画像分離情報を基に補正された画像分離情報である補正画像分離情報を取得する、
請求項１又は２に記載の分離画像取得方法。

【請求項4】

前記生成ステップでは、前記補正画像分離情報及び前記対象蛍光画像を用いて前記蛍光分離画像を生成する、
請求項３に記載の分離画像取得方法。

【請求項5】

前記生成ステップでは、前記対象蛍光画像及び前記画像分離情報を基に前記蛍光分離画像を補正する、
請求項１又は２に記載の分離画像取得方法。

【請求項6】

前記生成ステップでは、前記対象蛍光画像及び前記画像分離情報を基に生成した前記蛍光分離画像を学習済み推論モデルに入力し、前記学習済み推論モデルの出力を補正された前記蛍光分離画像として得る、
請求項１又は２に記載の分離画像取得方法。

【請求項7】

前記生成ステップでは、前記対象蛍光画像及び前記画像分離情報を学習済み推論モデルに入力し、前記学習済み推論モデルの出力を補正された前記蛍光分離画像として得る、
請求項１又は２に記載の分離画像取得方法。

【請求項8】

前記複数の光学状態は、前記蛍光を光学フィルタを透過させた状態である第１光学状態と、前記蛍光を前記光学フィルタを透過させない状態である第２光学状態を少なくとも含む、
請求項１又は２に記載の分離画像取得方法。

【請求項9】

前記生成ステップでは、前記画像分離情報と、前記第２光学状態において取得された前記対象蛍光画像とを基に、蛍光分離画像を生成する、
請求項８に記載の分離画像取得方法。

【請求項10】

異なる波長特性を有する複数の光学状態における複数の参照蛍光画像に基づいて取得された、蛍光像を分離した蛍光分離画像を得るための画像分離情報を記憶した記憶部と、
複数の波長分布の励起光のそれぞれを試料に照射する照射装置と、
複数波長の前記励起光のそれぞれによって前記試料から生じた複数の蛍光のそれぞれについて、複数の反射波長域及び複数の透過波長域を有する蛍光フィルタ部を介して、前記複数の光学状態のうちの少なくとも１つの光学状態における対象蛍光画像を取得する画像取得装置と、
蛍光画像を処理する画像処理装置と、を備え、
前記画像処理装置は、
前記記憶部に記憶された複数の画像分離情報の中から所望の画像分離情報を選択し、
前記複数の蛍光のそれぞれについて、前記画像取得装置において取得された前記対象蛍光画像と、選択した前記画像分離情報とに基づいて、蛍光分離画像を生成する、
分離画像取得装置。

【請求項11】

前記記憶部は、前記画像分離情報を、前記複数の参照蛍光画像を取得した際の画像取得条件と紐づけて記憶し、
前記画像処理装置は、前記対象蛍光画像の取得時の画像取得条件に対応する画像取得条件に紐づけられた前記画像分離情報を選択する、
請求項１０に記載の分離画像取得装置。

【請求項12】

前記画像処理装置は、
前記蛍光分離画像の生成において、前記対象蛍光画像及び選択された前記画像分離情報を基に補正された画像分離情報である補正画像分離情報を取得する、
請求項１０又は１１に記載の分離画像取得装置。

【請求項13】

前記画像処理装置は、
前記蛍光分離画像の生成において、前記補正画像分離情報及び前記対象蛍光画像を用いて前記蛍光分離画像を生成する、
請求項１２に記載の分離画像取得装置。

【請求項14】

前記画像処理装置は、
前記蛍光分離画像の生成において、前記対象蛍光画像及び前記画像分離情報を基に前記蛍光分離画像を補正する、
請求項１０又は１１に記載の分離画像取得装置。

【請求項15】

前記画像処理装置は、
前記蛍光分離画像の生成において、前記対象蛍光画像及び前記画像分離情報を基に生成した前記蛍光分離画像を学習済み推論モデルに入力し、前記学習済み推論モデルの出力を補正された前記蛍光分離画像として得る、
請求項１０又は１１に記載の分離画像取得装置。

【請求項16】

前記画像処理装置は、
前記蛍光分離画像の生成において、前記対象蛍光画像及び前記画像分離情報を学習済み推論モデルに入力し、前記学習済み推論モデルの出力を補正された前記蛍光分離画像として得る、
請求項１０又は１１に記載の分離画像取得装置。

【請求項17】

前記複数の光学状態は、前記蛍光を光学フィルタを透過させた状態である第１光学状態と、前記蛍光を前記光学フィルタを透過させない状態である第２光学状態を少なくとも含む、
請求項１０又は１１に記載の分離画像取得装置。

【請求項18】

前記画像処理装置は、
前記蛍光分離画像の生成において、前記画像分離情報と、前記第２光学状態において取得された前記対象蛍光画像とを基に、蛍光分離画像を生成する、
請求項１７に記載の分離画像取得装置。

【請求項19】

複数の波長分布の励起光のそれぞれを試料に照射することにより、複数波長の前記励起光のそれぞれによって前記試料から生じた複数の蛍光のそれぞれについて、複数の反射波長域及び複数の透過波長域を有する蛍光フィルタ部を介して取得される、異なる波長特性を有する複数の光学状態における複数の参照蛍光画像を基に、蛍光分離画像を生成するための分離画像取得プログラムであって、
コンピュータに対して、
複数の参照蛍光画像に基づいて取得された、蛍光を分離した蛍光分離画像を得るための画像分離情報を複数記憶する記憶処理と、
前記記憶された複数の画像分離情報の中から、所望の画像分離情報を選択する選択処理と、
前記複数の蛍光のそれぞれについて前記複数の光学状態のうち少なくとも１つの光学状態において取得された対象蛍光画像と、選択した前記画像分離情報とに基づいて、蛍光分離画像を生成する生成処理と、
を実行させる分離画像取得プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

実施形態の一側面は、分離画像取得方法、分離画像取得装置、及び分離画像取得プログラムに関する。

【背景技術】

【0002】

従来から、生体組織等の試料を対象に複数の試料内物質を同時に染色する多重染色の手法が用いられている。そして、多重染色が行われた試料内の物質を観察するために、試料に励起光を照射して蛍光画像を取得することも行われている。例えば、下記非特許文献１には、複数の波長域の蛍光を観察した蛍光画像をブラインドアンミキシングして試料内物質ごとの分離画像を得るために、非負値行列因子分解（NMF: Nonnegative Matrix Factorization）の手法を適用することが開示されている。また、下記非特許文献２には、蛍光画像をアンミキシングする手法として、蛍光画像をクラスタリングして、クラスタリングされた各画素群で蛍光強度の最大値を抽出し、その最大値を基に分離画像を生成することが開示されている。

【先行技術文献】

【非特許文献】

【0003】

【文献】Binjie Qin et al.，“Target/Background Classification Regularized Nonnegative Matrix Factorization for Fluorescence Unmixing”， IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT, VOL.65, NO.4, APRIL 2016

【文献】Tristan D. McRae et al.，“Robust blind spectral unmixing for fluorescence microscopy using unsupervised learning”， PLOS ONE, December 2,2019

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述したような従来の手法においては、励起光の種類、あるいは観察する蛍光色素の数等に応じてアンミキシングの計算時間が増加しスループットの低下を招く傾向にある。

【0005】

そこで、実施形態の一側面は、かかる課題に鑑みてなされたものであり、アンミキシングによる分離画像の取得時のスループットの向上を図ることが可能な分離画像取得方法、分離画像取得装置、及び分離画像取得プログラムを提供することを課題とする。

【課題を解決するための手段】

【0006】

実施形態の第一の側面に係る分離画像取得方法は、異なる波長特性を有する複数の光学状態における複数の参照蛍光画像に基づいて取得された、蛍光像を分離した蛍光分離画像を得るための画像分離情報を複数記憶した記憶部から所望の画像分離情報を選択する選択ステップと、複数波長の励起光のそれぞれを試料に照射する照射ステップと、複数波長の励起光のそれぞれによって試料から生じた複数の蛍光のそれぞれについて、複数の反射波長域及び複数の透過波長域を有する蛍光フィルタ部を介して、複数の光学状態のうちの少なくとも１つの光学状態における対象蛍光画像を取得する取得ステップと、複数の蛍光のそれぞれについて、取得ステップにおいて取得された対象蛍光画像と、選択ステップで選択された画像分離情報とに基づいて、蛍光分離画像を生成する生成ステップと、を備える。

【0007】

あるいは、実施形態の第二の側面に係る分離画像取得装置は、異なる波長特性を有する複数の光学状態における複数の参照蛍光画像に基づいて取得された、蛍光像を分離した蛍光分離画像を得るための画像分離情報を記憶した記憶部と、複数の波長分布の励起光のそれぞれを試料に照射する照射装置と、複数波長の励起光のそれぞれによって試料から生じた複数の蛍光のそれぞれについて、複数の反射波長域及び複数の透過波長域を有する蛍光フィルタ部を介して、複数の光学状態のうちの少なくとも１つの光学状態における対象蛍光画像を取得する画像取得装置と、蛍光画像を処理する画像処理装置と、を備え、画像処理装置は、記憶部に記憶された複数の画像分離情報の中から所望の画像分離情報を選択し、複数の蛍光のそれぞれについて、画像取得装置において取得された対象蛍光画像と、選択した画像分離情報とに基づいて、蛍光分離画像を生成する。

【0008】

あるいは、実施形態の第三の側面に係る分離画像取得プログラムは、複数の波長分布の励起光のそれぞれを試料に照射することにより、複数波長の励起光のそれぞれによって試料から生じた複数の蛍光のそれぞれについて、複数の反射波長域及び複数の透過波長域を有する蛍光フィルタ部を介して取得される、異なる波長特性を有する複数の光学状態における複数の参照蛍光画像を基に、蛍光分離画像を生成するための分離画像取得プログラムであって、コンピュータに対して、複数の参照蛍光画像に基づいて取得された、蛍光を分離した蛍光分離画像を得るための画像分離情報を複数記憶する記憶処理と、記憶された複数の画像分離情報の中から、所望の画像分離情報を選択する選択処理と、複数の蛍光のそれぞれについて複数の光学状態のうち少なくとも１つの光学状態において取得された対象蛍光画像と、選択した画像分離情報とに基づいて、蛍光分離画像を生成する生成処理と、を実行させる。

【0009】

上記第一の側面、上記第二の側面、あるいは上記第三の側面によれば、複数の参照蛍光画像を基に取得された複数の画像分離情報から所望の画像分離情報が選択され、異なる波長分布の励起光を用いて、試料の蛍光像を蛍光フィルタ部を介して、複数の参照蛍光画像のいずれかの光学状態と同じ光学状態で捉えた対象蛍光画像が取得され、取得された対象蛍光画像と、選択された画像分離情報とを用いて蛍光分離画像が生成される。これにより、観察に用いる励起光の種類、あるいは、観察する蛍光色素の数が多い場合であっても、過去に取得された画像分離情報を活用してアンミキシングすることができ、アンミキシングの計算量を抑えることができる。その結果、アンミキシングによる分離画像の取得時のスループットの向上を図ることができる。

【発明の効果】

【0010】

本発明の一側面によれば、アンミキシングによる分離画像の取得時のスループットの向上を図ることができる。

【図面の簡単な説明】

【0011】

【図1】実施形態にかかる蛍光色素画像取得システム１の概略構成図である。

【図2】図１の画像取得装置３の構成を示す斜視図である。

【図3】図１の画像処理装置５のハードウェア構成の一例を示すブロック図である。

【図4】図１の画像処理装置５の機能構成を示すブロック図である。

【図5】図４の行列取得部２０３による第１のクラスタリング機能によってクラスタリングされた画素群のイメージを示す図である。

【図6】試料Ｓに含まれる複数の蛍光色素の励起光の吸収率の波長特性を示すグラフである。

【図7】図４の行列取得部２０３によって特定された重心蛍光波長の分布を示すグラフである。

【図8】図４の行列取得部２０３による第２のクラスタリング機能によってクラスタリングされた画素群のイメージを示す図である。

【図9】図４の行列取得部２０３によって再生成される行列データＹ’及び蛍光色素行列データＸ’のイメージを示す図である。

【図10】実施形態に係る分離画像取得方法の手順を示すフローチャートである。

【図11】本実施形態に係る蛍光色素画像取得システム１によって対象蛍光画像を基に生成された蛍光色素画像の一例を示す図である。

【図12】本実施形態に係る蛍光色素画像取得システム１によってミキシング行列の補正をせずに対象蛍光画像を基に生成された蛍光色素画像の一例を示す図である。

【図13】変形例に係る画像処理装置５Ａの機能構成を示すブロック図である。

【発明を実施するための形態】

【0012】

以下、添付図面を参照して、本発明の実施形態について詳細に説明する。なお、説明において、同一要素又は同一機能を有する要素には、同一符号を用いることとし、重複する説明は省略する。

【0013】

図１は、実施形態にかかる分離画像取得装置である蛍光色素画像取得システム１の概略構成図である。蛍光色素画像取得システム１は、観察対象である生体組織等の試料内の蛍光色素の分布を特定するための蛍光色素画像（蛍光分離画像）を生成するための装置である。蛍光色素画像取得システム１によって生成される画像は、その画像の解析を通じた、薬剤の開発、治療法の検討等の目的に用いられる。そのため、蛍光色素画像取得システム１には、定量的に試料に含まれる多くの物質（蛍光色素）の分布を特定可能な画像を高スループットで生成することが求められる。蛍光色素画像取得システム１は、試料Ｓに励起光を照射してそれに応じて生じた蛍光の画像を取得する画像取得装置３と、画像取得装置３によって取得された画像をデータ処理する画像処理装置５とを備えている。画像取得装置３と画像処理装置５とは、それらの間で有線通信あるいは無線通信を用いて画像データが送受信可能に構成されていてもよいし、記録媒体を介して画像データが入出力可能に構成されていてもよい。

【0014】

図２は、図１の画像取得装置３の構成を示す斜視図である。図２においては、励起光の光路を矢印付きの点線で示し、蛍光の光路を矢印付きの実線で示す。画像取得装置３は、励起光源（照射装置）７、光源側フィルタセット９ａ、ダイクロイックミラー１１、カメラ側フィルタセット（蛍光フィルタ部）９ｂ、波長情報取得光学系（光学フィルタ）１３、カメラ（画像取得装置）１５を含んで構成される。

【0015】

励起光源７は、複数の波長帯（波長分布）の励起光を切り替えて照射可能な光源であり、例えば、ＬＥＤ（Light Emitting Diode）光源、複数の単色レーザ光源からなる光源、あるいは白色光源と波長選択光学素子を組み合わせた光源などである。光源側フィルタセット９ａは、励起光源７の励起光の光路上に設けられ、所定の複数の波長帯の光を透過させる性質を有するマルチバンドパスフィルタである。この光源側フィルタセット９ａの透過波長帯は、使用されうる励起光の複数の波長帯に応じて設定される。ダイクロイックミラー１１は、光源側フィルタセット９ａと試料Ｓとの間に設けられ、励起光を試料Ｓに向けて反射し、それに応じて試料Ｓから発せられる蛍光を透過する性質を有する光学部材である。カメラ側フィルタセット９ｂは、ダイクロイックミラー１１によって透過される蛍光の光路上に設けられ、所定の複数の波長帯の光を透過させる性質を有するマルチバンドパスフィルタである。このカメラ側フィルタセット９ｂの透過波長帯は、観察対象の試料Ｓに含みうる蛍光色素において生じる蛍光の波長帯に応じて設定される。詳細には、カメラ側フィルタセット９ｂは、その波長特性として、複数の蛍光の波長帯に対応した透過波長帯（透過波長域）と、それらの複数の透過波長帯の間の反射波長帯（反射波長域）とを有する。

【0016】

波長情報取得光学系１３は、カメラ側フィルタセット９ｂによって透過される蛍光の光路上に着脱可能に支持され、蛍光の波長情報を取得するための光学系である。すなわち、波長情報取得光学系１３は、試料Ｓからの蛍光の光路上に配置された状態（第１光学状態）と蛍光の光路上から離脱した状態（第２光学状態）との２つの状態を切り替え可能に設けられる。なお、波長情報取得光学系１３は、波長特性の異なる複数の光学状態を実現できればよく、例えば、異なる波長特性を有する２つ以上の蛍光フィルタを備えた蛍光フィルタセットなどであってもよい。波長情報取得光学系１３は、第１光学状態では、試料Ｓにおいて生じてダイクロイックミラー１１及びカメラ側フィルタセット９ｂを透過した蛍光を、所定の波長特性でカメラ１５に向けて透過させる。波長情報取得光学系１３は、第１光学状態とは異なる第２光学状態では、ダイクロイックミラー１１及びカメラ側フィルタセット９ｂを透過した蛍光を、そのままの光学状態（波長情報取得光学系１３を透過させないで）でカメラ１５に入射させる。例えば、波長情報取得光学系１３としては、波長が大きくなるに従って透過率が線形的に大きくなるような透過率の波長特性を有するダイクロイックミラー（傾斜フィルタとも言う。）が用いられる。また、波長情報取得光学系１３として、波長が小さくなるに従って透過率が線形的に小さくなるような透過率の波長特性を有するダイクロイックミラー（傾斜フィルタ）を用いてもよい。このようなダイクロイックミラーを用いた波長情報取得光学系１３は、蛍光を異なる二通りの波長透過特性でカメラ１５に入射させることができる。

【0017】

カメラ１５は、Ｎ個（Ｎは２以上の整数、例えば、２０４８×２０４８）の画素によって構成される二次元画像を撮像する撮像装置であり、波長情報取得光学系１３が蛍光の光路上に切り替えられた際（第１光学状態の時）に、波長情報取得光学系１３を透過した蛍光を撮像して第１蛍光画像を取得するカメラである。また、カメラ１５は、波長情報取得光学系１３が蛍光の光路上から離脱された際（第２光学状態の時）に、波長情報取得光学系１３を透過しない蛍光を撮像し、第２蛍光画像を取得する。カメラ１５は、励起光源７によって照射された複数の波長帯の励起光のそれぞれによって試料Ｓから生じた複数の蛍光のそれぞれについて、第１蛍光画像及び第２蛍光画像を取得する。カメラ１５は、取得した第１蛍光画像及び第２蛍光画像を、通信を用いて、あるいは記録媒体を介して、画像処理装置５に出力する。

【0018】

次に、図３および図４を参照して、画像処理装置５の構成を説明する。図３は、画像処理装置５のハードウェア構成の一例を示すブロック図であり、図４は、画像処理装置５の機能構成を示すブロック図である。

【0019】

図３に示すように、画像処理装置５は、物理的には、プロセッサであるＣＰＵ（Central Processing Unit）１０１、記録媒体であるＲＡＭ（Random Access Memory）１０２又はＲＯＭ（Read Only Memory）１０３、通信モジュール１０４、及び入出力モジュール１０６等を含んだコンピュータ等であり、各々は電気的に接続されている。なお、画像処理装置５は、入出力デバイスとして、ディスプレイ、キーボード、マウス、タッチパネルディスプレイ等を含んでいてもよいし、ハードディスクドライブ、半導体メモリ等のデータ記録装置を含んでいてもよい。また、画像処理装置５は、複数のコンピュータによって構成されていてもよい。

【0020】

図４に示すように、画像処理装置５は、機能的な構成要素として、情報検索部（選択部）２０１、画像取得部２０２、行列取得部２０３、行列補正部２０４、画像生成部２０５、及び画像分離情報格納部（記憶部）２０６を備えている。なお、情報検索部２０１及び画像分離情報格納部２０６は、画像処理装置５に接続された外部装置であってもよい。図４に示す画像処理装置５の各機能部は、ＣＰＵ１０１及びＲＡＭ１０２等のハードウェア上にプログラム（実施形態にかかる分離画像取得プログラム）を読み込ませることにより、ＣＰＵ１０１の制御のもとで、通信モジュール１０４、及び入出力モジュール１０６等を動作させるとともに、ＲＡＭ１０２におけるデータの読み出し及び書き込みを行うことで実現される。画像処理装置５のＣＰＵ１０１は、このコンピュータプログラムを実行することによって図４の各機能部を機能させ、後述する分離画像取得方法に対応する処理を順次実行する。

【0021】

なお、ＣＰＵ１０１は、単体のハードウェアでもよく、ソフトプロセッサのようにＦＰＧＡのようなプログラマブルロジックの中に実装されたものでもよい。ＲＡＭやＲＯＭについても単体のハードウェアでもよく、ＦＰＧＡのようなプログラマブルロジックの中に内蔵されたものでもよい。このコンピュータプログラムの実行に必要な各種データ、及び、このコンピュータプログラムの実行によって生成された各種データは、全て、ＲＯＭ１０３、ＲＡＭ１０２等の内蔵メモリ、又は、ハードディスクドライブなどの記憶媒体に格納される。以下、画像処理装置５の機能的な構成要素の機能について詳細に説明する。

【0022】

情報検索部２０１は、試料Ｓを対象とした第１蛍光画像あるいは第２蛍光画像の取得時の画像取得条件、第１蛍光画像及び第２蛍光画像を基にしたミキシング行列（画像分離情報）の推定処理に関する情報（推定処理情報）、及び、画像分離情報格納部２０６へのミキシング行列の保存時の保存設定情報等を基に、画像分離情報格納部２０６に格納されたデータから所望のミキシング行列を検索する（選択する）。情報検索部２０１は、検索に用いる画像取得条件、推定処理情報、及び保存設定情報等を、画像処理装置５の入出力モジュール１０６を介してユーザから入力された情報に基づいて設定してもよいし、画像取得装置３等の外部装置から送信された情報に基づいて設定してもよいし、画像処理装置５のＲＡＭ１０２あるいはＲＯＭ１０３等から参照した情報に基づいて設定してもよい。

【0023】

上記の画像取得条件としては、試料Ｓの種類、試料Ｓに付されたバーコードの情報、試料Ｓに含まれる蛍光色素の種類、試料Ｓの染色の日時、試料Ｓの測定日時、励起光の種類、各励起光の強度、フィルタの種類あるいは数（傾斜フィルタの有無など）、カメラの種類、対物レンズの種類あるいは倍率、各励起光の露光時間、環境温度、取得された蛍光画像そのもののデータ、等が挙げられる。上記の推定処理情報としては、推定処理に用いられるソフトウェアのバージョン情報、推定処理に用いたアルゴリズム、パラメータ、あるいはオプション、推定処理に要した時間、等が挙げられる。上記の保存設定情報としては、保存したユーザ名、プロジェクト名、アッセイ名、ミキシング行列名、タグ情報（自由に付したキーワード、ＳＮＳのハッシュタグ）等、が挙げられる。

【0024】

画像分離情報格納部２０６には、後述する行列取得部２０３によって取得されたミキシング行列が、そのミキシング行列の基となった複数の蛍光画像（例えば、第１蛍光画像及び第２蛍光画像）の取得時の画像取得条件、そのミキシング行列の取得時に用いた推定処理に関する推定処理情報、及び、そのミキシング行列の保存時の保存設定情報に紐づけて記憶されている。情報検索部２０１は、ユーザ、外部装置等によって設定された画像取得条件、推定処理情報、あるいは保存設定情報を含む検索キーに一致あるいは対応（類似）する情報に紐づけられたミキシング行列を検索する（選択する）。そして、情報検索部は２０１は、ミキシング行列の検索結果を画像取得部２０２及び行列取得部２０３に引き渡す。このとき、情報検索部２０１は、上述した画像取得条件、推定処理情報、及び保存設定情報の各項目のうち少なくとも１つの項目を検索キーとして用いてミキシング行列を検索する。情報検索部２０１は、少なくとも画像取得条件の項目を１以上含む検索キーを用いてミキシング行列を検索する。

【0025】

画像取得部２０２は、情報検索部２０１による検索処理において画像取得条件等の検索キーが一致あるいは対応（類似）するミキシング行列が見つからなかった場合は、ミキシング行列を新たに取得するために、画像取得装置３から、第１蛍光画像（第１参照蛍光画像）及び第２蛍光画像（第２参照蛍光画像）を取得する。

【0026】

具体的には、情報検索部２０１によってミキシング行列が見つからなかった場合は、画像取得部２０２は、試料Ｓを対象とした予め指定されたＣ個（Ｃは２以上の整数）の第１参照蛍光画像を、画像取得装置３から取得する。これらのＣ個の第１参照蛍光画像は、第１光学状態において、Ｃ個の波長帯の励起光が試料Ｓにそれぞれ照射されて、それに応じて試料Ｓから生じた蛍光を撮像することによって生成されるＮ個の画素によって構成される蛍光画像である。このとき、取得される第１参照蛍光画像の個数Ｃ（試料Ｓに照射される励起光の波長帯の数Ｃ）は、試料Ｓに含まれうる蛍光色素の最大の数以上になるように予め指定される。また、画像取得部２０２は、同様にして、第２光学状態において、Ｃ個の第２参照蛍光画像を取得する。

【0027】

一方で、画像取得部２０２は、情報検索部２０１によってミキシング行列が見つかった場合は、第１光学状態における蛍光画像は取得することなく、上記と同様にして、第２光学状態において試料Ｓを対象としたＣ個の蛍光画像を、蛍光色素画像を取得するためのＣ個の対象蛍光画像として取得する。

【0028】

行列取得部２０３は、画像取得部２０２によって取得されたＣ組の第１参照蛍光画像及び第２参照蛍光画像を基に、ミキシング行列を取得する。このミキシング行列の取得の機能は、クラスタリング機能及び統計値計算機能を含む。

【0029】

行列取得部２０３のクラスタリング機能について説明する。

【0030】

行列取得部２０３は、Ｃ組の第１参照蛍光画像及び第２参照蛍光画像のそれぞれを対象にして、一方の蛍光画像の蛍光強度（輝度値）と他方の蛍光画像の蛍光強度との比を計算することにより、蛍光の波長分布の重心を示す重心蛍光波長を推定する。このとき、行列取得部２０３は、下記のクラスタリング処理によってクラスタリングされた画素群を対象にして、一方の蛍光画像の蛍光強度の平均値と他方の蛍光画像の蛍光強度の平均値を計算し、これらの平均値の比を計算する。行列取得部２０３は、推定した重心蛍光波長を、蛍光波長に関する波長情報として取得する。

【0031】

行列取得部２０３は、画像取得部２０２によって取得されたＣ個の第１参照蛍光画像、Ｃ個の第２参照画像及び取得した波長情報を基に、Ｃ個の第１参照蛍光画像及びＣ個の第２参照蛍光画像を構成するＮ個の画素を対象にクラスタリングを実行する。クラスタリングの処理に先立って、行列取得部２０３は、Ｃ個の第１参照蛍光画像及びＣ個の第２参照蛍光画像のそれぞれを構成するＮ個の画素の蛍光強度の値を並列に一次元に配列した行列データＹを生成する。

【0032】

行列取得部２０３は、蛍光強度のＣ個の波長帯の励起光毎の分布情報を基に、第２参照蛍光画像のＮ個の画素をＣ個の画素群にクラスタリングする機能（第１のクラスタリング機能）を有する。詳細には、行列取得部２０３は、蛍光強度の一番大きい励起光の波長帯が同一である画素を同一の画素群にクラスタリングする。図５には、行列取得部２０３による第１のクラスタリング機能によってクラスタリングされた画素群のイメージを示し、図６には、試料Ｓに含まれる複数の蛍光色素の励起光の吸収率の波長特性が示されている。図５に示すように、試料Ｓに含まれる蛍光色素が、蛍光色素Ｃ_１、蛍光色素Ｃ_２、蛍光色素Ｃ_３の３種類であり、６種類の波長帯の励起光を用いて６個の第２参照蛍光画像が得られた場合を想定すると、行列取得部２０３は、６個の第２参照蛍光画像ＧＣ_１～ＧＣ_６に含まれるＮ個の画素を、６個の画素群ＰＧｒ_１～ＰＧｒ_６にクラスタリングする。図６に示すように、一般に、種類の異なる蛍光色素は異なる吸収率の波長特性を有し、３種類の蛍光色素Ｃ_１，Ｃ_２，Ｃ_３も異なるピーク波長を有する波長特性ＣＷ_１，ＣＷ_２，ＣＷ_３を有する。従って、励起光の６種類の波長帯ＥＷ_１，ＥＷ_２，ＥＷ_３，ＥＷ_４，ＥＷ_５，ＥＷ_６において、吸収率が一番大きい蛍光色素は３種類の蛍光色素Ｃ_１，Ｃ_２，Ｃ_３のうちの１つと決まっている。例えば、波長帯ＥＷ_１の励起光の吸収率が一番大きいのは蛍光色素Ｃ_１であり、波長帯ＥＷ_２の励起光の吸収率が一番大きいのは蛍光色素Ｃ_１であり、波長帯ＥＷ_３の励起光の吸収率が一番大きいのは蛍光色素Ｃ_２である。この性質を利用して、行列取得部２０３は、第１のクラスタリング機能により、Ｎ個の画素を、同じ蛍光色素が分布する範囲の画素群にクラスタリングできる。ただし、第１のクラスタリング機能によりクラスタリングされた６個の画素群ＰＧｒ_１～ＰＧｒ_６は、３種類の蛍光色素Ｃ_１，Ｃ_２，Ｃ_３に１対１には対応していない。

【0033】

加えて、行列取得部２０３は、波長情報を基に、第１のクラスタリング機能によってクラスタリングしたＣ個の画素群をさらにＬ個（Ｌは２以上Ｎ－１以下の整数）の画素群にクラスタリングする機能（第２のクラスタリング機能）を有する。ここで、クラスタリングする画素群の数Ｌは、例えば試料Ｓに存在しうる蛍光色素の種類の数に対応させて、画像処理装置５内に記憶されるパラメータとして予め設定される。画素群の数Ｌは、励起光の種類や励起光の波長分布の数Ｃに応じて決められてもよいし、励起光の種類や励起光の波長分布の数Ｃとは無関係に決められてもよい。すなわち、行列取得部２０３は、第１のクラスタリング機能によってクラスタリングしたＣ個の画素群毎に、その画素群に対応する励起光の波長帯を対象にして推定された重心蛍光波長を特定する。より具体的には、行列取得部２０３は、ある波長帯の吸収率が一番大きいとしてクラスタリングした画素群を対象にした波長情報を取得し、取得した波長情報を基に重心蛍光波長を特定する。この際、その波長帯に対応して得られた一組の第１参照蛍光画像及び第２参照蛍光画像の画素群における蛍光強度の平均値を用いて、波長情報が取得される。さらに、行列取得部２０３は、Ｃ個の画素群毎に特定した重心蛍光波長の間の距離（値の近さ）を判断することにより、Ｃ個の画素群をＬ個の画素群にクラスタリングする。そして、行列取得部２０３は、Ｃ個の第１参照蛍光画像の画素の蛍光強度の値、及びＣ個の第２参照蛍光画像の画素の蛍光強度の値を一次元に並列に配列した行列データＹを、Ｌ個の画素群毎のクラスタ行列に分割して再生成する。

【0034】

図７には、行列取得部２０３によって特定された重心蛍光波長の分布を示し、図８には、行列取得部２０３による第２のクラスタリング機能によってクラスタリングされた画素群のイメージを示している。図７及び図８に示す例では、第１のクラスタリング機能によってクラスタリングされた６個の画素群ＰＧｒ_１～ＰＧｒ_６毎に重心蛍光波長ＦＷ_１～ＦＷ_６が特定され、重心蛍光波長の距離が互いに近い画素群ＰＧｒ_１と画素群ＰＧｒ_２とが、新たな画素群ＰＧｒ_０１にクラスタリングされ、同様に、画素群ＰＧｒ_３と画素群ＰＧｒ_４とが画素群ＰＧｒ_０２にクラスタリングされ、画素群ＰＧｒ_５と画素群ＰＧｒ_６とが画素群ＰＧｒ_０３にクラスタリングされる。これにより、Ｃ個の蛍光画像の画素を試料Ｓに含まれると想定される蛍光色素の分布に対応したＬ個の画素群に分けることができる。ただし、第２のクラスタリング機能による分割数Ｌは、蛍光画像の数Ｃ（励起光の波長帯の数Ｃ）以下に設定される。

【0035】

次に、行列取得部２０３の統計値計算機能について説明する。

【0036】

行列取得部２０３は、試料Ｓを対象にして得られたＬ個のクラスタ行列を基に、Ｃ個の第１参照蛍光画像及びＣ個の第２参照蛍光画像からＫ個（Ｋは２以上Ｃ以下の整数）の蛍光色素のそれぞれの分布を示すＫ個の蛍光色素画像を生成するためのミキシング行列Ａを求める。一般に、非負値行列因子分解（NMF）の演算方式によれば、観測値行列である行列データＹと、Ｋ個の蛍光色素画像を画素毎に一次元に並列に配列した蛍光色素行列データＸとの関係は、ミキシング行列Ａを用いて、下記式；
Ｙ＝ＡＸ
で表わされる。ここで、Ｙは、Ｃ×２行Ｎ列の行列データであり、Ａは、Ｃ×２行Ｋ列の行列データであり、Ｘは、Ｋ行Ｎ列の行列データである。逆に、ミキシング行列Ａの値が求まれば、蛍光色素行列データＸは、ミキシング行列Ａの逆行列Ａ^－１と行列データＹとを用いて、下記式；
Ｘ＝Ａ^－１Ｙ
によって導き出すことができる（この処理をアンミキシングと言う。）。

【0037】

ここで、行列取得部２０３は、クラスタリング機能によって生成された行列データＹを、クラスタリング機能によってクラスタリングされた画素群単位で圧縮することによって、行列データＹ’を再生成する。詳細には、行列取得部２０３は、行列データＹの各行の蛍光強度を対象に、クラスタリングされたクラスタ行列の画素群毎に統計値を計算し、各行の画素群を、計算した統計値を有する１つの画素に圧縮する。これにより、行列取得部２０３は、Ｃ×２行Ｌ列の行列データである行列データＹ’を再生成する。行列取得部２０３は、統計値として、蛍光強度の積算値に基づいた平均値を計算してもよいし、蛍光強度の最頻値を計算してもよいし、蛍光強度の中間値を計算してもよい。

【0038】

さらに、行列取得部２０３は、再生した行列データＹ’、及び、蛍光色素行列データＸから同様にして圧縮される蛍光色素行列データＸ’にも、ミキシング行列Ａを含む下記式；
Ｙ’＝ＡＸ’
が成立する性質を利用して、行列データＹ’を基にミキシング行列Ａを導出する。図９には、行列取得部２０３によって再生成される行列データＹ’、及びそれに対応する蛍光色素行列データＸ’のイメージを示している。図９に図示される１つの升目は行列データの１つの要素を表している。このように、３つの画素群ＰＧｒ_０１～ＰＧｒ_０３に分割された蛍光色素行列データＸ及び行列データＹは、画素群ＰＧｒ_０１～ＰＧｒ_０３毎の統計値を代表値として、３列の蛍光色素行列データＸ’及び行列データＹ’に圧縮されたデータである。

【0039】

行列取得部２０３は、次のようにして、行列データＹ’を基にミキシング行列Ａを導出する。すなわち、行列取得部２０３は、ミキシング行列Ａに初期値を設定し、ミキシング行列Ａの値を順次変更しながら下記のロス関数（損失値）Ｌｏｓを計算し、ロス関数Ｌｏｓの値を低減させるようなミキシング行列Ａを導出する。なお、このロス関数には、L１ノルムλ|A|（λは正則化項を重視する度合いを示す係数）等の正則化項が追加されてもよい。

【数1】

上記式中、ｊは行列データの行の位置（２つの蛍光画像毎の励起光の波長帯に対応）を示すパラメータであり、行列の添え字１ｊは、１番目のクラスタ行列のｊ番目の行の行列データを示し、行列の添え字２ｊは、２番目のクラスタ行列のｊ番目の行の行列データを示し、行列の添え字３ｊは、３番目のクラスタ行列のｊ番目の行の行列データを示す。また、パラメータａ、ｂ、ｃは、行列データＹ’の各列の統計値の平均値を示している。

【0040】

上記のように、行列取得部２０３は、クラスタリング機能によって分割されたＬ個のクラスタ行列毎に、Ｃ×２個の行列データＹ’の統計値を参照してロス関数を計算し、Ｌ個のロス関数の和を基にロス関数Ｌｏｓを計算し、そのロス関数Ｌｏｓを基にミキシング行列Ａを求める。この際、行列取得部２０３は、Ｌ個のクラスタ行列毎に計算したロス関数を、Ｃ×２個の行列データＹ’の統計値の平均値ａ，ｂ，ｃで除算することによって補正してから、補正したロス関数の和を計算することによってロス関数Ｌｏｓを求めている。なお、行列取得部２０３は、Ｌ個のクラスタ行列毎のロス関数を、差分値Ｙ’－ＡＸ’の励起光の波長帯毎の行成分を励起光の各波長帯に対応するＣ×２個の統計値を用いて除算して補正することによって、計算してもよい。

【0041】

なお、上記式は、次のように一般化することもできる。つまり、行列取得部２０３は、次のようにして、行列データＹ’を基にミキシング行列Ａと蛍光色素行列データＸ’を導出する。すなわち、行列取得部２０３は、ミキシング行列Ａと蛍光色素行列データＸ’に初期値を設定し、ミキシング行列Ａと蛍光色素行列データＸ’の値を順次変更しながら下記式を用いてロス関数（損失値）Ｌｏｓを計算し、ロス関数Ｌｏｓの値を低減させるようなミキシング行列Ａと蛍光色素行列データＸ’を導出する。なお、このロス関数には、L１ノルムλ|A|（λは正則化項を重視する度合いを示す係数）等の正則化項が追加されてもよい。また、ミキシング行列Ａと蛍光色素行列データＸ’が非負値になるような制約をかけて計算してもよい。

【数2】

上記式中、ｊは行列データの行の位置（励起光の波長帯に対応）を示すパラメータであり、iは行列データの列の位置（i番目のクラスタに対応）を示すパラメータである。また、ｗ_ｉｊは行列データの各要素の重みを表しており、各要素の値またはその標準偏差から計算しても良い。また、ｗ_ｉｊを全て同じ値にして各要素の重みを考慮しないことも可能である。なお、上記式における行列データＹ’の各列の統計値の平均値をa、b、c、…とし、ｗ_１ｊ＝１／ａ、ｗ_２ｊ＝１／ｂ、ｗ_３ｊ＝１／ｃと置き換えた式は、先に示したロス関数Ｌｏｓの式と同じとなる。

【0042】

上記のように、行列取得部２０３は、クラスタリング機能によって分割されたＬ個のクラスタ行列毎に、Ｃ×２個の行列データＹ’の統計値を参照してロス関数を計算し、Ｌ個のロス関数Ｌｏｓ_ｉの和を基にロス関数Ｌｏｓを計算し、そのロス関数Ｌｏｓを基にミキシング行列Ａを求める。なお、行列取得部２０３は、Ｌ個のクラスタ行列毎のロス関数Ｌｏｓ_ｉを、差分値Ｙ’－ＡＸ’の励起光の波長帯毎の行成分を励起光の各波長帯に対応するＣ×２個の統計値を用いて除算して補正することによって、計算してもよい。

【0043】

行列取得部２０３は、上述したクラスタリング機能及び統計値計算機能を用いて取得したミキシング行列（蛍光を分離した蛍光色素画像を得るための画像分離情報）を、画像取得条件、推定処理情報、及び保存設定情報等に紐づけて画像分離情報格納部２０６に記憶する。ミキシング行列に紐づけられる画像取得条件、推定処理情報、及び保存設定情報は、第１蛍光画像あるいは第２蛍光画像の取得時に対応した情報、ミキシング行列の推定時に対応した情報、あるいは、ミキシング行列の保存時に対応した情報である。

【0044】

行列補正部２０４は、情報検索部２０１によってミキシング行列が見つかった場合は、当該ミキシング行列と画像取得部２０２によって取得されたＣ個の対象蛍光画像とを基に、補正されたミキシング行列である補正ミキシング行列を取得する。すなわち、行列補正部２０４は、Ｃ個の対象蛍光画像の画素の蛍光強度の値を一次元に並列に配列した行列データＹ_２を生成する。また、行列補正部２０４は、検索されたミキシング行列Ａの要素の中から第２蛍光画像の行に対応した、Ｃ行Ｋ列の行列データをミキシング行列Ａ_０として抽出する。さらに、行列補正部２０４は、行列データＹ_２と、ミキシング行列Ａ_０とを用いて、補正されたミキシング行列（補正画像分離情報）Ａ_２を取得する。ここで、ミキシング行列Ａ_２は、ミキシング行列Ａの要素のうちで第２蛍光画像の行に対応した行のみを含むＣ行Ｋ列の行列データである。

【0045】

例えば、補正されたミキシング行列の取得は、次のようにして実行される。行列補正部２０４は、行列データＹ_２を、クラスタリング機能によってクラスタリングし画素群単位で圧縮することによって、行列データＹ_２’を再生成する。このクラスタリングは、例えば、Ｃ個の波長帯毎の蛍光強度の分布を基に、行列取得部２０３における処理と同様に行われる。そして、行列補正部２０４は、ミキシング行列Ａ_０を初期値として用いて、下記式；
Ｌ＝||Ｙ_２’－Ａ_２Ｘ’||^２
によって計算されるユークリッド距離を最小にするミキシング行列Ａ_２及び蛍光色素行列データＸ’を求める。ここで、上記の式に代えて、下記式のような正則化項が追加された式が使用されてもよい。
Ｌ＝||Ｙ_２’－Ａ_２Ｘ’||^２＋λ||Ａ_２－Ａ_０||^２
正則化項の追加により、初期値からのずれが大きくなりすぎないように制御することができる。上記正則化項のほか、行列Ａ_２についてスパース性の制約をかけるために、Ｌ１ノルム||Ａ_２||_１などの項が追加されてもよい。また、ミキシング行列Ａ_０の要素のうち正しい値と予想される値は固定してその他の要素の値を補正するようにしてもよい。また、ユークリッド距離の代わりに、Kullback-Leibler divergence、Itakura-Saito divergence等のロス関数が用いられてもよい。

【0046】

画像生成部２０５は、情報検索部２０１によってミキシング行列が見つからなかった場合は、観察対象の試料Ｓを対象にして得られたＣ個の第２参照蛍光画像に対して、行列取得部２０３によって新たに取得されたミキシング行列Ａを用いてアンミキシングすることによって、Ｋ個の蛍光色素画像を取得する。具体的には、画像生成部２０５は、ミキシング行列Ａからミキシング行列Ａ_２を抽出し、Ｃ個の第２参照蛍光画像を基に生成された行列データＹ_２に、ミキシング行列Ａ_２の逆行列Ａ_２ ^－１を適用することにより、蛍光色素行列データＸを計算する。

【0047】

画像生成部２０５は、情報検索部２０１によってミキシング行列が見つかった場合は、観察対象の試料Ｓを対象にして得られたＣ個の対象蛍光画像に対して、行列補正部２０４によって補正されたミキシング行列Ａ_２を用いて、上記の手順と同様にアンミキシングすることによって、蛍光色素行列データＸを計算する。

【0048】

そして、画像生成部２０５は、蛍光色素行列データＸからＫ個の蛍光色素画像を再生し、再生したＫ個の蛍光色素画像を出力する。このときの出力先は、ディスプレイ、タッチパネルディスプレイ等の画像処理装置５の出力デバイスであってもよいし、画像処理装置にデータ通信可能に接続された外部の装置であってもよい。

【0049】

次に、本実施形態に係る蛍光色素画像取得システム１を用いた試料Ｓを対象にした観察処理の手順、すなわち、本実施形態に係る分離画像取得方法の流れについて説明する。図１０は、蛍光色素画像取得システム１による観察処理の手順を示すフローチャートである。

【0050】

まず、画像処理装置５の情報検索部２０１によって、設定された画像取得条件等を検索キーとして、画像分離情報格納部２０６に格納されたデータの中からミキシング行列Ａが検索される（ステップＳ１）。検索の結果、ミキシング行列が見つからなかった場合（ステップＳ２；Ｎｏ）、画像処理装置５の画像取得部２０２によって、試料Ｓの蛍光観察の結果であるＣ個の第１参照蛍光画像及びＣ個の第２参照蛍光画像が取得される（ステップＳ３）。

【0051】

次に、画像処理装置５の行列取得部２０３によって、Ｃ個の第１参照蛍光画像及びＣ個の第２参照蛍光画像を基に、ミキシング行列Ａが取得される（ステップＳ４）。その後、行列取得部２０３によって、取得されたミキシング行列Ａが、画像取得条件等に紐づけられて画像分離情報格納部２０６に記憶される（ステップＳ５；記憶ステップ）。さらに、画像生成部２０５によって、Ｃ個の第２参照蛍光画像のＮ個の画素を並列に配列した行列データＹ_２と、ミキシング行列Ａから抽出された行列Ａ_２とを基に、蛍光色素行列データＸが取得される（ステップＳ６）。

【0052】

一方で、検索の結果ミキシング行列が見つかった場合（ステップＳ２；Ｙｅｓ）、画像処理装置５の画像取得部２０２によって、試料Ｓの蛍光観察の結果であるＣ個の対象蛍光画像が取得される（ステップＳ７；取得ステップ）。次に、画像処理装置５の行列補正部２０４によって検索されたミキシング行列Ａからミキシング行列Ａ_０が抽出される（選択される）（ステップＳ８）。さらに、行列補正部２０４によって、Ｃ個の対象蛍光画像から生成された行列データＹ_２と、ミキシング行列Ａ_０とを用いて補正されたミキシング行列Ａ_２が取得される（ステップＳ９）。そして、画像生成部２０５によって、行列データＹ_２とミキシング行列Ａ_２とを基に、蛍光色素行列データＸが取得される（ステップＳ１０；生成ステップ）。なお、補正されたミキシング行列Ａ_２を画像分離情報格納部２０６に記憶させてもよい。

【0053】

最後に、画像処理装置５の画像生成部２０５により、ステップＳ６あるいはステップＳ１０で取得された蛍光色素行列データＸからＫ個の蛍光色素画像が再生され、これらのＫ個の蛍光色素画像が出力される（ステップＳ１１；生成ステップ）。以上により、試料Ｓを対象にした観察処理が完了する。

【0054】

以上説明した蛍光色素画像取得システム１によれば、Ｃ個の第１参照蛍光画像とＣ個の第２参照蛍光画像とを基に取得された、蛍光色素画像を得るための複数のミキシング行列から所望のミキシング行列が選択され、第１参照蛍光画像と第２参照蛍光画像のいずれかの光学状態と同じ光学状態で捉えたＣ個の対象蛍光画像が取得され、取得されたＣ個の対象蛍光画像と、選択されたミキシング行列とを用いて蛍光色素画像が生成される。これにより、観察に用いる励起光の種類、あるいは、観察する蛍光色素の数が多い場合であっても、過去に取得されたミキシング行列を活用してアンミキシングすることができ、アンミキシングの計算量を抑えることができる。その結果、アンミキシングによる蛍光色素画像の取得時のスループットの向上を図ることができる。

【0055】

また、本実施形態では、過去に取得された蛍光画像を基に生成されたミキシング行列の中で画像取得条件が対応するミキシング行列が選択され、選択されたミキシング行列を利用してアンミキシングされている。その結果、対象蛍光画像に適したミキシング行列が選択されるので、取得される蛍光色素画像の分離精度を向上させることができる。

【0056】

また、本実施形態では、対象蛍光画像及び検索されたミキシング行列を基に、補正されたミキシング行列を取得している。これにより、過去に取得されたミキシング行列が対象蛍光画像を用いて補正されるので、対象蛍光画像に適したアンミキシングが行われ、取得される蛍光色素画像の分離精度をさらに向上させることができる。

【0057】

また、本実施形態では、補正されたミキシング行列及び対象蛍光画像を用いて蛍光色素画像を生成している。この場合、対象蛍光画像に適したアンミキシングが行われ、取得される蛍光色素画像の分離精度をさらに向上させることができる。つまり、過去に生成されたミキシング行列は、ミキシング行列の推定に用いた過去の蛍光画像のノイズの影響により誤差を含むことがある。この場合に、対象蛍光画像にそのままミキシング行列を用いると、異なる性質のノイズを含んだ対象蛍光画像から生成される蛍光色素画像の誤差が大きくなる傾向にある。これに対して、本実施形態では、対象蛍光画像を基に補正されたミキシング行列を用いるので、生成される蛍光色素画像の誤差を抑えることができる。

【0058】

図１１には、本実施形態に係る蛍光色素画像取得システム１によって対象蛍光画像を基に生成された蛍光色素画像の一例を示している。また、図１２には、本実施形態に係る蛍光色素画像取得システム１によってミキシング行列の補正をせずに対象蛍光画像を基に生成された蛍光色素画像の一例を示している。図１１及び図１２における互いに対応する位置に、同じ蛍光色素画像が示されている。このように、本実施形態によれば、ミキシング行列の補正によって一部の蛍光色素画像（特に右上の蛍光色素画像）の画質が大きく改善されていることが分かった。

【0059】

以上、本発明の種々の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、各請求項に記載した要旨を変更しない範囲で変形し、又は他のものに適用したものであってもよい。

【0060】

例えば、本実施形態の画像取得装置３においては、波長情報取得光学系１３を着脱することによって第１蛍光画像及び第２蛍光画像を取得していた。その代わりに、画像取得装置３は、２つのカメラを備え、それぞれのカメラで波長情報取得光学系１３を透過する蛍光、及び波長情報取得光学系１３を反射する蛍光を検出させることによって、異なる２つ以上の光学状態における蛍光画像を取得するように構成されていてもよい。

【0061】

また、その代わりに、画像取得装置３は、ＲＧＢカラーカメラなどのカラーカメラを備え、カラーカメラからの出力される波長特性ごとの画像データに基づいて、参照蛍光画像及び対象蛍光画像を取得してもよい。このような場合でも、異なる２つ以上光学状態における蛍光画像を取得するように構成される。さらに、また、その代わりに、画像取得装置３は、ハイパースペクトルカメラを備え、ハイパースペクトルカメラからの出力される波長特性ごとの画像データに基づいて、蛍光画像を取得してもよい。このような場合でも、異なる２つ以上光学状態における蛍光画像を取得するように構成される。

【0062】

また、画像処理装置５の行列補正部２０４は、情報検索部２０１によってミキシング行列が見つかった場合にミキシング行列Ａを補正するように機能していた。これに対して、画像処理装置５の行列補正部２０４は、情報検索部２０１によるミキシング行列の検索結果に関わらずに、常にミキシング行列Ａを補正するように機能してもよい。

【0063】

図１３には、変形例に係る画像処理装置５Ａの機能構成を示している。画像処理装置５Ａの画像処理装置５との相違点は、行列補正部２０４及び画像生成部２０５の代わりに、画像補正部２０４Ａ及び画像出力部２０５Ａを備え、ミキシング行列を補正せずに蛍光色素行列データＸを補正する機能を有する点である。

【0064】

画像補正部２０４Ａは、Ｃ個の対象蛍光画像に対して、情報検索部２０１によって検索されたミキシング行列Ａから抽出されたミキシング行列Ａ_０をそのまま用いてアンミキシングすることによって、蛍光色素行列データＸを生成する。そして、画像補正部２０４Ａは、行列データＹ_２及びミキシング行列Ａ_０を用いて補正された蛍光色素行列データＸ_Ｃを生成する。

【0065】

例えば、補正された蛍光色素行列データＸ_Ｃの取得は次のようにして実行される。画像補正部２０４Ａは、ミキシング行列Ａ_０及び最初に生成した蛍光色素行列データＸを初期値として、下記式；
Ｌ＝||Ｙ_２－Ａ_２Ｘ||^２
によって計算されるユークリッド距離を最小にするミキシング行列Ａ_２及び蛍光色素行列データＸを求めることができる。ここで、上記式に代えて、下記式のような正則化項が追加された式が使用されてもよい。
Ｌ＝||Ｙ_２－Ａ_２Ｘ||^２＋λ（|Δ_ｘＸ|＋|Δ_ｙＸ|）
この正則化項は、Total Variation Lossの正則化項であり、行列データＸを画像としてｘ、ｙ方向それぞれの微分のＬ１ノルムが計算された項である。また、上記式にミキシング行列Ａに関する正則化項が組み合わされた式が使用されてもよい。

【0066】

画像出力部２０５Ａは、画像補正部２０４Ａによって補正された蛍光色素行列データＸ_ＣからＫ個の蛍光色素画像を再生し、再生したＫ個の蛍光色素画像を出力する。

【0067】

上記の変形例によれば、過去に取得されたミキシング行列と対象蛍光画像とを基に補正された蛍光色素画像を得ることができ、取得される蛍光色素画像の分離精度をさらに向上させることができる。

【0068】

また、他の変形例として、画像処理装置５Ａの画像補正部２０４Ａは、以下の２通りの方法のいずれかによって、補正された蛍光色素行列データＸを得てもよい。

【0069】

第１の方法として、画像補正部２０４Ａは、Ｃ個の対象蛍光画像に対して、情報検索部２０１によって検索されたミキシング行列Ａから抽出されたミキシング行列Ａ_０をそのまま用いてアンミキシングすることによって、蛍光色素行列データＸを生成する。そして、画像補正部２０４Ａは、生成した蛍光色素行列データＸを学習済み推論モデルに入力し、学習済み推論モデルの出力を、補正された蛍光色素行列データＸ_Ｃとして取得する。なお、画像補正部２０４Ａは、推論モデルの学習時には、行列取得部２０３においてアンミキシングによって導出された蛍光色素行列データＸと、ミキシング行列Ａ_０をそのまま用いてＣ個の対象蛍光画像を対象にアンミキシングすることによって得られた蛍光色素行列データＸとの組み合わせを訓練データとして用いることにより、学習済み推論モデルを構築することができる。

【0070】

このような第１の方法によれば、生成された蛍光色素画像を推論モデルに入力し、推論モデルの出力を基に補正された蛍光色素画像を得ることができる。その結果、取得される蛍光色素画像の分離精度をさらに向上させることができる。

【0071】

また、第２の方法として、画像補正部２０４Ａは、Ｃ個の対象蛍光画像を基にした行列データＹ_２と、情報検索部２０１によって検索されたミキシング行列Ａから抽出されたミキシング行列Ａ_０とを、学習済み推論モデルに入力し、学習済み推論モデルの出力を、補正された蛍光色素行列データＸ_Ｃとして取得する。なお、画像補正部２０４Ａは、推論モデルの学習時には、行列取得部２０３においてアンミキシングによって導出された蛍光色素行列データＸと、検索されたミキシング行列Ａから抽出されたミキシング行列Ａ_０と、Ｃ個の対象蛍光画像を基にした行列データＹ_２との組み合わせを訓練データとして用いることにより、学習済み推論モデルを構築することができる。

【0072】

上記の第２の方法によれば、対象蛍光画像及びミキシング行列を推論モデルに入力し、推論モデルの出力を基に補正された蛍光色素画像を得ることができる。その結果、取得される蛍光色素画像の分離精度をさらに向上させることができる。

【0073】

上記第一の側面においては、画像分離情報は、複数の参照蛍光画像を取得した際の画像取得条件と紐づけて記憶され、選択ステップでは、対象蛍光画像の取得時の画像取得条件に対応する画像取得条件に紐づけられた画像分離情報を選択する、ことが好適である。上記第二の側面においては、記憶部は、画像分離情報を、複数の参照蛍光画像を取得した際の画像取得条件と紐づけて記憶し、画像処理装置は、対象蛍光画像の取得時の画像取得条件に対応する画像取得条件に紐づけられた画像分離情報を選択する、ことが好適である。これにより、過去に取得された蛍光画像を基に生成された画像分離情報の中で画像取得条件が対応する画像分離情報が選択され、選択された画像分離情報を利用してアンミキシングされる。その結果、取得される分離画像の分離精度を向上させることができる。

【0074】

また、上記第一の側面においては、生成ステップでは、対象蛍光画像及び選択された画像分離情報を基に補正された画像分離情報である補正画像分離情報を取得する、ことも好適である。また、上記第二の側面においては、画像処理装置は、蛍光分離画像の生成において、対象蛍光画像及び選択された画像分離情報を基に補正された画像分離情報である補正画像分離情報を取得する、ことも好適である。これにより、過去に取得された画像分離情報が対象蛍光画像を用いて補正されるので、対象蛍光画像に適したアンミキシングが行われ、取得される分離画像の分離精度をさらに向上させることができる。

【0075】

また、上記第一の側面においては、生成ステップでは、補正画像分離情報及び対象蛍光画像を用いて蛍光分離画像を生成する、ことも好適である。また、上記第二の側面においては、画像処理装置は、蛍光分離画像の生成において、補正画像分離情報及び対象蛍光画像を用いて蛍光分離画像を生成する、ことも好適である。この場合、対象蛍光画像に適したアンミキシングが行われ、取得される分離画像の分離精度をさらに向上させることができる。

【0076】

また、上記第一の側面においては、生成ステップでは、対象蛍光画像及び画像分離情報を基に蛍光分離画像を補正する、ことが好適である。また、上記第二の側面においては、画像処理装置は、蛍光分離画像の生成において、対象蛍光画像及び画像分離情報を基に蛍光分離画像を補正する、ことが好適である。この場合も、過去に取得された画像分離情報と対象蛍光画像とを基に補正された蛍光分離画像を得ることができ、取得される分離画像の分離精度をさらに向上させることができる。

【0077】

さらに、上記第一の側面においては、生成ステップでは、対象蛍光画像及び画像分離情報を基に生成した蛍光分離画像を学習済み推論モデルに入力し、学習済み推論モデルの出力を補正された蛍光分離画像として得る、ことも好適である。さらに、上記第二の側面においては、画像処理装置は、蛍光分離画像の生成において、対象蛍光画像及び画像分離情報を基に生成した蛍光分離画像を学習済み推論モデルに入力し、学習済み推論モデルの出力を補正された蛍光分離画像として得る、ことも好適である。この場合、生成された蛍光分離画像を推論モデルに入力し、推論モデルの出力を基に補正された蛍光分離画像を得ることができる。その結果、取得される分離画像の分離精度をさらに向上させることができる。

【0078】

またさらに、上記第一の側面においては、生成ステップでは、対象蛍光画像及び画像分離情報を学習済み推論モデルに入力し、学習済み推論モデルの出力を補正された蛍光分離画像として得る、ことも好適である。またさらに、画像処理装置は、蛍光分離画像の生成において、対象蛍光画像及び画像分離情報を学習済み推論モデルに入力し、学習済み推論モデルの出力を補正された蛍光分離画像として得る、ことも好適である。こうすれば、対象蛍光画像及び画像分離情報を推論モデルに入力し、推論モデルの出力を基に補正された蛍光分離画像を得ることができる。その結果、取得される分離画像の分離精度をさらに向上させることができる。

【0079】

さらにまた、上記第一の側面においては、複数の光学状態は、蛍光を光学フィルタを透過させた状態である第１光学状態と、蛍光を光学フィルタを透過させない状態である第２光学状態を少なくとも含む、ことも好適である。さらにまた、上記第二の側面においては、複数の光学状態は、蛍光を光学フィルタを透過させた状態である第１光学状態と、蛍光を光学フィルタを透過させない状態である第２光学状態を少なくとも含む、ことも好適である。こうすれば、２種類の光学状態における蛍光画像を基に蛍光の波長情報を取得させることができ、その波長情報を基にした蛍光画像の画素群のクラスタリングの結果得られた画像分離情報を記憶することができる。これにより、全体の計算時間を削減しつつ精度の高い分離画像を取得することができる。

【0080】

また、上記第一の側面においては、生成ステップでは、画像分離情報と、第２光学状態において取得された対象蛍光画像とを基に、蛍光分離画像を生成する、ことも好適である。また、上記第二の側面においては、画像処理装置は、蛍光分離画像の生成において、画像分離情報と、第２光学状態において取得された対象蛍光画像とを基に、蛍光分離画像を生成する、ことも好適である。かかる構成を採れば、第２光学状態における対象分離画像を用いてアンミキシングすることで精度の高い分離画像を取得することができる。

【0081】

実施形態の分離画像取得方法は、［１］「異なる波長特性を有する複数の光学状態における複数の参照蛍光画像に基づいて取得された、蛍光像を分離した蛍光分離画像を得るための画像分離情報を複数記憶した記憶部から所望の画像分離情報を選択する選択ステップと、複数波長の励起光のそれぞれを試料に照射する照射ステップと、前記複数波長の励起光のそれぞれによって前記試料から生じた複数の蛍光のそれぞれについて、複数の反射波長域及び複数の透過波長域を有する蛍光フィルタ部を介して、前記複数の光学状態のうちの少なくとも１つの光学状態における対象蛍光画像を取得する取得ステップと、前記複数の蛍光のそれぞれについて、前記取得ステップにおいて取得された前記対象蛍光画像と、前記選択ステップで選択された前記画像分離情報とに基づいて、蛍光分離画像を生成する生成ステップと、を備える分離画像取得方法」である。

【0082】

実施形態の分離画像取得方法は、［２］「前記画像分離情報は、前記複数の参照蛍光画像を取得した際の画像取得条件と紐づけて記憶され、前記選択ステップでは、前記対象蛍光画像の取得時の画像取得条件に対応する画像取得条件に紐づけられた前記画像分離情報を選択する、上記［１］に記載の分離画像取得方法」であってもよい。

【0083】

実施形態の分離画像取得方法は、［３］「前記生成ステップでは、前記対象蛍光画像及び選択された前記画像分離情報を基に補正された画像分離情報である補正画像分離情報を取得する、上記［１］又は［２］に記載の分離画像取得方法」であってもよい。

【0084】

実施形態の分離画像取得方法は、［４］「前記生成ステップでは、前記補正画像分離情報及び前記対象蛍光画像を用いて前記蛍光分離画像を生成する、上記［３］に記載の分離画像取得方法」であってもよい。

【0085】

実施形態の分離画像取得方法は、［５］「前記生成ステップでは、前記対象蛍光画像及び前記画像分離情報を基に前記蛍光分離画像を補正する、上記［１］又は［２］に記載の分離画像取得方法」であってもよい。

【0086】

実施形態の分離画像取得方法は、［６］「前記生成ステップでは、前記対象蛍光画像及び前記画像分離情報を基に生成した前記蛍光分離画像を学習済み推論モデルに入力し、前記学習済み推論モデルの出力を補正された前記蛍光分離画像として得る、上記［１］又は［２］に記載の分離画像取得方法」であってもよい。

【0087】

実施形態の分離画像取得方法は、［７］「前記生成ステップでは、前記対象蛍光画像及び前記画像分離情報を学習済み推論モデルに入力し、前記学習済み推論モデルの出力を補正された前記蛍光分離画像として得る、上記［１］又は［２］に記載の分離画像取得方法」であってもよい。

【0088】

実施形態の分離画像取得方法は、［８］「前記複数の光学状態は、前記蛍光を光学フィルタを透過させた状態である第１光学状態と、前記蛍光を前記光学フィルタを透過させない状態である第２光学状態を少なくとも含む、上記［１］～［７］のいずれかに記載の分離画像取得方法」であってもよい。

【0089】

実施形態の分離画像取得方法は、［９］「前記生成ステップでは、前記画像分離情報と、前記第２光学状態において取得された前記対象蛍光画像とを基に、蛍光分離画像を生成する、上記［８］に記載の分離画像取得方法」であってもよい。

【0090】

実施形態の分離画像取得装置は、［１０］「異なる波長特性を有する複数の光学状態における複数の参照蛍光画像に基づいて取得された、蛍光像を分離した蛍光分離画像を得るための画像分離情報を記憶した記憶部と、複数の波長分布の励起光のそれぞれを試料に照射する照射装置と、複数波長の前記励起光のそれぞれによって前記試料から生じた複数の蛍光のそれぞれについて、複数の反射波長域及び複数の透過波長域を有する蛍光フィルタ部を介して、前記複数の光学状態のうちの少なくとも１つの光学状態における対象蛍光画像を取得する画像取得装置と、蛍光画像を処理する画像処理装置と、を備え、前記画像処理装置は、前記記憶部に記憶された複数の画像分離情報の中から所望の画像分離情報を選択し、前記複数の蛍光のそれぞれについて、前記画像取得装置において取得された前記対象蛍光画像と、選択した前記画像分離情報とに基づいて、蛍光分離画像を生成する、分離画像取得装置」である。

【0091】

実施形態の分離画像取得装置は、［１１］「前記記憶部は、前記画像分離情報を、前記複数の参照蛍光画像を取得した際の画像取得条件と紐づけて記憶し、前記画像処理装置は、前記対象蛍光画像の取得時の画像取得条件に対応する画像取得条件に紐づけられた前記画像分離情報を選択する、上記［１０］に記載の分離画像取得装置」であってもよい。

【0092】

実施形態の分離画像取得装置は、［１２］「前記画像処理装置は、前記蛍光分離画像の生成において、前記対象蛍光画像及び選択された前記画像分離情報を基に補正された画像分離情報である補正画像分離情報を取得する、上記［１０］又は［１１］に記載の分離画像取得装置」であってもよい。

【0093】

実施形態の分離画像取得装置は、［１３］「前記画像処理装置は、前記蛍光分離画像の生成において、前記補正画像分離情報及び前記対象蛍光画像を用いて前記蛍光分離画像を生成する、上記［１２］に記載の分離画像取得装置」であってもよい。

【0094】

実施形態の分離画像取得装置は、［１４］「前記画像処理装置は、前記蛍光分離画像の生成において、前記対象蛍光画像及び前記画像分離情報を基に前記蛍光分離画像を補正する、上記［１０］又は［１１］に記載の分離画像取得装置」であってもよい。

【0095】

実施形態の分離画像取得装置は、［１５］「前記画像処理装置は、前記蛍光分離画像の生成において、前記対象蛍光画像及び前記画像分離情報を基に生成した前記蛍光分離画像を学習済み推論モデルに入力し、前記学習済み推論モデルの出力を補正された前記蛍光分離画像として得る、上記［１０］又は［１１］に記載の分離画像取得装置」であってもよい。

【0096】

実施形態の分離画像取得装置は、［１６］「前記画像処理装置は、前記蛍光分離画像の生成において、前記対象蛍光画像及び前記画像分離情報を学習済み推論モデルに入力し、前記学習済み推論モデルの出力を補正された前記蛍光分離画像として得る、上記［１０］又は［１１］に記載の分離画像取得装置」であってもよい。

【0097】

実施形態の分離画像取得装置は、［１７］「前記複数の光学状態は、前記蛍光を光学フィルタを透過させた状態である第１光学状態と、前記蛍光を前記光学フィルタを透過させない状態である第２光学状態を少なくとも含む、上記［１０］～［１６］のいずれかに記載の分離画像取得装置」であってもよい。

【0098】

実施形態の分離画像取得装置は、［１８］「前記画像処理装置は、前記蛍光分離画像の生成において、前記画像分離情報と、前記第２光学状態において取得された前記対象蛍光画像とを基に、蛍光分離画像を生成する、上記［１７］に記載の分離画像取得装置」であってもよい。

【0099】

実施形態の分離画像取得プログラムは、［１９］「複数の波長分布の励起光のそれぞれを試料に照射することにより、複数波長の前記励起光のそれぞれによって前記試料から生じた複数の蛍光のそれぞれについて、複数の反射波長域及び複数の透過波長域を有する蛍光フィルタ部を介して取得される、異なる波長特性を有する複数の光学状態における複数の参照蛍光画像を基に、蛍光分離画像を生成するための分離画像取得プログラムであって、コンピュータに対して、複数の参照蛍光画像に基づいて取得された、蛍光を分離した蛍光分離画像を得るための画像分離情報を複数記憶する記憶処理と、前記記憶された複数の画像分離情報の中から、所望の画像分離情報を選択する選択処理と、前記複数の蛍光のそれぞれについて前記複数の光学状態のうち少なくとも１つの光学状態において取得された対象蛍光画像と、選択した前記画像分離情報とに基づいて、蛍光分離画像を生成する生成処理と、を実行させる分離画像取得プログラム」である。

【符号の説明】

【0100】

１…蛍光色素画像取得システム、３…画像取得装置、５，５Ａ…画像処理装置、７…励起光源（照射装置）、９ａ…光源側フィルタセット、９ｂ…カメラ側フィルタセット（蛍光フィルタ部）、１１…ダイクロイックミラー、１５…カメラ（画像取得装置）、１３…波長情報取得光学系（光学フィルタ）、２０１…情報検索部（選択部）、２０２…画像取得部、２０３…行列取得部、２０４…行列補正部、２０４Ａ…画像補正部、２０５…画像生成部、２０５Ａ…画像出力部、２０６…画像分離情報格納部（記憶部）、Ｃ_１，Ｃ_２，Ｃ_３…蛍光色素、ＧＣ_１～ＧＣ_６…蛍光画像、ＰＧｒ_０１～ＰＧｒ_０３，ＰＧｒ_１～ＰＧｒ_６…画素群、Ｓ…試料。

【要約】

蛍光色素画像取得システム１は、複数の波長分布の励起光のそれぞれを試料Ｓに照射する励起光源７と、複数波長の励起光のそれぞれによって試料Ｓから生じた複数の蛍光について、カメラ側フィルタセット９ｂを介して、波長特性の異なる複数の光学状態における対象蛍光画像を取得するカメラ１５と、画像処理装置５と、を備え、画像処理装置５は、蛍光を分離した蛍光色素画像を得るためのミキシング行列を複数記憶し、複数の蛍光のそれぞれについて、カメラ１５において一の光学状態において取得された対象蛍光画像と、選択したミキシング行列とに基づいて、蛍光色素画像を生成する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】