IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-18
(45)【発行日】2023-12-26
(54)【発明の名称】情報処理装置、及び顕微鏡システム
(51)【国際特許分類】
   G01N 21/64 20060101AFI20231219BHJP
   G02B 21/00 20060101ALI20231219BHJP
【FI】
G01N21/64 F
G01N21/64 E
G02B21/00
【請求項の数】 20
(21)【出願番号】P 2020018466
(22)【出願日】2020-02-06
(65)【公開番号】P2020144109
(43)【公開日】2020-09-10
【審査請求日】2022-12-26
(31)【優先権主張番号】P 2019038500
(32)【優先日】2019-03-04
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】池田 憲治
(72)【発明者】
【氏名】岸井 典之
(72)【発明者】
【氏名】中鉢 秀弥
(72)【発明者】
【氏名】田口 歩
(72)【発明者】
【氏名】中川 和博
(72)【発明者】
【氏名】安川 咲湖
【審査官】吉田 将志
(56)【参考文献】
【文献】特開2012-52985(JP,A)
【文献】特開2012-143204(JP,A)
【文献】国際公開第2011/074448(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/64
G02B 21/00
JSTPlus/JMEDPlus/JST7580(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
標本が蛍光試薬により染色されることで作成された蛍光染色標本に対して、波長が互いに異なる複数の励起光が照射され、前記複数の励起光それぞれに対応する複数の蛍光スペクトルを取得する蛍光信号取得部と、
前記複数の蛍光スペクトルの少なくとも一部を波長方向に連結することで連結蛍光スペクトルを生成する連結部と、
前記標本における自家蛍光物質のスペクトルが波長方向に連結された連結自家蛍光参照スペクトルと、前記蛍光染色標本における蛍光物質のスペクトルが波長方向に連結された連結蛍光参照スペクトルとを含む参照スペクトルを用いて、前記連結蛍光スペクトルを前記蛍光物質ごとのスペクトルに分離する分離部と、
前記分離部によって分離された前記蛍光物質ごとのスペクトルを用いて、前記連結自家蛍光参照スペクトルを更新する抽出部と、
を備える、
情報処理装置。
【請求項2】
前記抽出部は、前記標本と同一または類似のものに対して前記複数の励起光が照射され取得される複数の自家蛍光スペクトルの少なくとも一部を波長方向に連結したものから前記連結自家蛍光参照スペクトルを抽出する、
請求項1に記載の情報処理装置。
【請求項3】
前記抽出部は、前記標本と同一または類似のものに対して前記複数の励起光が照射され取得される複数の自家蛍光スペクトルの少なくとも一部を波長方向に連結したものを用いて非負値行列因子分解を行うことで前記連結自家蛍光参照スペクトルを抽出する、
請求項2に記載の情報処理装置。
【請求項4】
前記抽出部は、予め取得された自家蛍光スペクトルを用いて、前記非負値行列因子分解における初期値を設定することで、前記連結自家蛍光参照スペクトルを抽出する、
請求項3に記載の情報処理装置。
【請求項5】
前記分離部は、前記参照スペクトルを用いて最小二乗法または重み付き最小二乗法のいずれか一方を用いて、前記蛍光物質ごとのスペクトルに分離する、
請求項1に記載の情報処理装置。
【請求項6】
前記分離部は、前記連結蛍光スペクトルを表す行列をSignal、前記参照スペクトルを表す行列をSt、前記連結蛍光スペクトルにおける前記参照スペクトルそれぞれの混色率を表す行列をaとし、以下の式(1)で表される値の2乗和が最小となるときの前記混色率を表す行列aを算出することで、前記蛍光物質ごとのスペクトルに分離する、
請求項5に記載の情報処理装置。
【数1】
【請求項7】
前記分離部は、前記重み付き最小二乗法を用いる場合、加重が行われない上限値をOffset値とし、式(1)における前記参照スペクトルを表す行列Stを、以下の式(2)で表される行列St_に置換する、
請求項6に記載の情報処理装置。
【数2】
【請求項8】
前記分離部は、蛍光分子の数若しくは前記蛍光分子と結合している抗体の数に基づいて算出された前記連結自家蛍光参照スペクトル及び前記連結蛍光参照スペクトルを含む前記参照スペクトル、又は、1つの前記蛍光分子あたり若しくは1つの前記抗体あたりの前記連結自家蛍光参照スペクトル及び前記連結蛍光参照スペクトルを含む前記参照スペクトルを用いて、前記連結蛍光スペクトルを前記蛍光物質ごとのスペクトルに分離する、
請求項1に記載の情報処理装置。
【請求項9】
前記分離部は、前記連結蛍光スペクトルに対して非負値行列因子分解を行うことで前記蛍光物質ごとのスペクトルに分離する、
請求項1に記載の情報処理装置。
【請求項10】
前記分離部は、前記非負値行列因子分解で抽出されたスペクトルに対して当該非負値行列因子分解に用いた初期値との積率相関係数を計算することで、前記蛍光物質と前記抽出されたスペクトルとの対応関係を特定する、
請求項9に記載の情報処理装置。
【請求項11】
前記連結部は、前記複数の蛍光スペクトルを補正し、補正後の前記複数の蛍光スペクトルの少なくとも一部を前記波長方向に連結する、
請求項1に記載の情報処理装置。
【請求項12】
前記連結部は、前記複数の蛍光スペクトルの強度を補正する、
請求項11に記載の情報処理装置。
【請求項13】
前記連結部は、励起パワー密度で前記複数の蛍光スペクトルを除算することで、前記複数の蛍光スペクトルの強度を補正する、
請求項12に記載の情報処理装置。
【請求項14】
前記連結部は、前記複数の蛍光スペクトルのうちの少なくとも1つの波長分解能を他の蛍光スペクトルの波長分解能とは異なる波長分解能に補正する、
請求項11に記載の情報処理装置。
【請求項15】
前記連結部は、前記複数の蛍光スペクトルそれぞれから強度ピークを含む波長帯域の蛍光スペクトルを抽出し、当該抽出した蛍光スペクトルを連結することで前記連結蛍光スペクトルを生成する、
請求項1に記載の情報処理装置。
【請求項16】
前記連結蛍光スペクトルは、前記複数の蛍光スペクトル間にて波長方向に不連続で連結される、
請求項1に記載の情報処理装置。
【請求項17】
前記蛍光信号取得部は、前記蛍光染色標本を撮像することで得られた、前記複数の蛍光スペクトルよりなる第1画像データを取得し、
前記分離部は、前記第1画像データの第1グラム行列に対して非負値行列因子分解を行うことで、前記第1画像データを前記蛍光物質ごとのスペクトルに分離する、
請求項1に記載の情報処理装置。
【請求項18】
前記分離部は、前記第1画像データを分割した複数の第2画像データそれぞれの第2グラム行列を畳み込むことで、前記第1グラム行列を算出する、
請求項17に記載の情報処理装置。
【請求項19】
前記蛍光信号取得部は、前記励起光が照射されている非染色の前記標本を撮像することで第1画像データを取得し、
前記抽出部は、前記第1画像データの第1グラム行列に対して非負値行列因子分解を行うことで、前記第1画像データから前記自家蛍光物質ごとのスペクトルを抽出し、抽出した前記自家蛍光物質ごとのスペクトルを用いて前記連結自家蛍光参照スペクトルを更新する、
請求項1に記載の情報処理装置。
【請求項20】
標本が蛍光試薬により染色されることで作成された蛍光染色標本に対して、波長が互いに異なる複数の励起光を照射する光源を備え、前記複数の励起光それぞれに対応する複数の蛍光スペクトルを取得する撮像装置と、前記複数の蛍光スペクトルを用いる処理に使われるソフトウェアとを含んで構成される顕微鏡システムであって、
前記ソフトウェアは、情報処理装置で実行され、
前記複数の蛍光スペクトルの少なくとも一部を波長方向に連結することで連結蛍光スペクトルを生成することと、
前記標本における自家蛍光物質のスペクトルが波長方向に連結された連結自家蛍光参照スペクトルと、前記蛍光染色標本における蛍光物質のスペクトルが波長方向に連結された連結蛍光参照スペクトルとを含む参照スペクトルを用いて、前記連結蛍光スペクトルを前記蛍光物質ごとのスペクトルに分離することと、
分離された前記蛍光物質ごとのスペクトルを用いて、前記連結自家蛍光参照スペクトルを更新することと、
を実現する、
顕微鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、及び顕微鏡システムに関する。
【背景技術】
【0002】
近年、がん免疫療法等の発展により免疫染色の蛍光化及び多重標識化が進展している。例えば、同一組織ブロックの非染色切片から自家蛍光スペクトルを抽出した上で、当該自家蛍光スペクトルを用いて染色切片の蛍光分離を行う手法が行われている。
【0003】
また、例えば以下の特許文献1には、複数の蛍光色素により多重標識された微小粒子に励起光が照射されることで得られた蛍光スペクトルを、各蛍光色素が個別に標識された微小粒子で得られる単染色スペクトルの線形和により近似する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2012-18108号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、これらの技術や手法によっては、適切に蛍光分離を行うことができない場合があった。例えば、同一組織ブロックの非染色切片から自家蛍光スペクトルを抽出した上で、当該自家蛍光スペクトルを用いて染色切片の蛍光分離が行われる場合、実施者は非染色切片における適切な空間から自家蛍光スペクトルを抽出することが求められるため、蛍光分離の精度が、実施者による作業に依存してしまう。また、励起波長毎に蛍光分離が行われるため、励起波長毎に分離結果が出力され、分離結果として得られるスペクトルが一意に定まらない。
【0006】
そこで、本開示は、上記事情に鑑みてなされたものであり、より適切に蛍光分離を行うことが可能な、新規かつ改良された情報処理装置、及び顕微鏡システムを提供する。
【課題を解決するための手段】
【0007】
本開示の実施形態によれば、標本が蛍光試薬により染色されることで作成された蛍光染色標本に対して、波長が互いに異なる複数の励起光が照射され、前記複数の励起光それぞれに対応する複数の蛍光スペクトルを取得する蛍光信号取得部と、前記複数の蛍光スペクトルの少なくとも一部を波長方向に連結することで連結蛍光スペクトルを生成する連結部と、前記標本における自家蛍光物質のスペクトルが波長方向に連結された連結自家蛍光参照スペクトルと、前記蛍光染色標本における蛍光物質のスペクトルが波長方向に連結された連結蛍光参照スペクトルとを含む参照スペクトルを用いて、前記連結蛍光スペクトルを前記蛍光物質ごとのスペクトルに分離する分離部と、前記分離部によって分離された前記蛍光物質ごとのスペクトルを用いて、前記連結自家蛍光参照スペクトルを更新する抽出部とを備える。
【図面の簡単な説明】
【0008】
図1】第1の実施形態に係る情報処理システムの構成例を示すブロック図である。
図2】蛍光信号取得部によって取得された蛍光スペクトルの具体例である。
図3】連結部による連結蛍光スペクトルの生成方法を説明する図である。
図4】波長分解能を8nmとした場合のAF546とAF555との蛍光スペクトルを示す図である。
図5】波長分解能を1nmとした場合のAF546とAF555との蛍光スペクトルを示す図である。
図6図3のA~Dに示す蛍光スペクトルから生成される連結蛍光スペクトルの一例を示す図である。
図7】第1の実施形態に係る実施形態に係る分離処理部のより具体的な構成例を示すブロック図である。
図8】連結自家蛍光参照スペクトルの具体例を示す図である。
図9】連結蛍光参照スペクトルの具体例を示す図である。
図10】第1の実施形態に係る情報処理システムが顕微鏡システムとして実現される場合における顕微鏡システムの構成例を示すブロック図である。
図11】第1の実施形態に係る情報処理装置による蛍光分離の処理フロー例を示すフローチャートである。
図12】第2の実施形態に係る分離処理部のより具体的な構成例を示すブロック図である。
図13】非負値行列因子分解の概要を説明する図である。
図14】クラスタリングの概要を説明する図である。
図15】第2の実施形態に係る情報処理装置による蛍光分離の処理フロー例を示すフローチャートである。
図16】変形例において、撮像素子1[pixel]における蛍光分子数(または抗体数)を算出する方法について説明する図である。
図17】第3の実施形態に係る分離処理部の概略構成例を示すブロック図である。
図18】第3の実施形態において行列Aに入力する標本画像の例を示す図である(励起波長392nm)。
図19】第3の実施形態において行列Aに入力する標本画像の例を示す図である(励起波長470nm)。
図20】第3の実施形態において行列Aに入力する標本画像の例を示す図である(励起波長515nm)。
図21】第3の実施形態において行列Aに入力する標本画像の例を示す図である(励起波長549nm)。
図22】第3の実施形態において行列Aに入力する標本画像の例を示す図である(励起波長628nm)。
図23】第3の実施形態において図18図22に示す標本画像を入力とした場合にNMFにより行列Wとして取得される蛍光分離画像の例を示す図である(その1)。
図24】第3の実施形態において図18図22に示す標本画像を入力とした場合にNMFにより行列Wとして取得される蛍光分離画像の例を示す図である(その2)。
図25】第3の実施形態において図18図22に示す標本画像を入力とした場合にNMFにより行列Wとして取得される蛍光分離画像の例を示す図である(その3)。
図26】第3の実施形態において図18図22に示す標本画像を入力とした場合にNMFにより行列Wとして取得される蛍光分離画像の例を示す図である(その4)。
図27】第3の実施形態において図18図22に示す標本画像を入力とした場合にNMFにより行列Wとして取得される蛍光分離画像の例を示す図である(その5)。
図28】第3の実施形態において図18図22に示す標本画像を入力とした場合にNMFにより行列Wとして取得される蛍光分離画像の例を示す図である(その6)。
図29】第3の実施形態において図18図22に示す標本画像を入力とした場合にNMFにより行列Wとして取得される蛍光分離画像の例を示す図である(その7)。
図30】第4の実施形態に係るNMFの流れを説明するためのフローチャートである。
図31図30に示すNMFの最初のループにおける処理の流れを説明するための図である。
図32】染色蛍光スペクトルの初期値の一例を示すグラフである。
図33】第4の実施形態に係るNMFを実行後の染色蛍光スペクトルの一例を示すグラフである。
図34】第4の実施形態に係る非染色サンプルを使用しない方法により抽出された蛍光物質のスペクトルの一例を示す図である。
図35】非染色サンプルを使用した場合に抽出される蛍光物質のスペクトルの一例を示す図である。
図36】第6の実施形態に係る情報処理システムの測定系の一例を示す図である。
図37】第6の実施形態に係る処理部の動作例を示すフローチャートである。
図38図37における各ステップにおいて処理部が実行する処理を説明するための図である(その1)。
図39図37における各ステップにおいて処理部が実行する処理を説明するための図である(その2)。
図40図37における各ステップにおいて処理部が実行する処理を説明するための図である(その3)。
図41】第6の実施形態の変形例1に係る処理部の動作例を示すフローチャートである。
図42】各実施形態及び変形例に係る情報処理装置のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【0009】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0010】
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1.1.構成例
1.2.処理フロー例
2.第2の実施形態
2.1.処理フロー例
2.2.非染色切片から連結自家蛍光参照スペクトルを抽出する方法として、PCAが適さない理由
2.3.応用例
3.変形例
4.第3の実施形態
5.第4の実施形態
5.1 漸化式を用いた平均平方二乗残差Dの極小化における染色蛍光スペクトルの固定方法
5.2 DFP法やBFGS法等を用いた平均平方二乗残差Dの極小化における染色蛍光スペクトルの固定方法
6.第5の実施形態
6.1.処理部による処理の概要
6.2.測定系の構成例
6.3.動作例
6.4.1.変形例1
6.4.2.変形例2
6.5.効果
7.ハードウェア構成例
8.むすび
【0011】
<1.第1の実施形態>
まず、本開示に係る第1の実施形態について説明する。
【0012】
(1.1.構成例)
図1を参照して、本実施形態に係る情報処理システムの構成例について説明する。図1に示すように、本実施形態に係る情報処理システムは、情報処理装置100と、データベース200と、を備え、情報処理システムへの入力として、蛍光試薬10、標本20と、蛍光染色標本30と、が存在する。
【0013】
(蛍光試薬10)
蛍光試薬10は、標本20の染色に使用される薬品である。蛍光試薬10は、例えば、蛍光抗体(直接標識に使用される一次抗体、または間接標識に使用される二次抗体が含まれる)、蛍光プローブ、または核染色試薬等であるが、蛍光試薬10の種類はこれらに限定されない。また、蛍光試薬10は、蛍光試薬10(または蛍光試薬10の製造ロット)を識別可能な識別情報(以降「試薬識別情報11」と呼称する)を付されて管理される。試薬識別情報11は、例えばバーコード情報等(一次元バーコード情報や二次元バーコード情報等)であるが、これに限定されない。蛍光試薬10は、同一の製品であっても、製造方法や抗体が取得された細胞の状態等に応じて製造ロット毎にその性質が異なる。例えば、蛍光試薬10において、製造ロット毎にスペクトル、量子収率、または蛍光標識率等が異なる。そこで、本実施形態に係る情報処理システムにおいて、蛍光試薬10は、試薬識別情報11を付されることによって製造ロット毎に管理される。これによって、情報処理装置100は、製造ロット毎に現れる僅かな性質の違いも考慮した上で蛍光分離を行うことができる。
【0014】
(標本20)
標本20は、人体から採取された検体または組織サンプルから病理診断などを目的に作製されたものである。標本20は、組織切片や細胞や微粒子でもよく、標本20について、使用される組織(例えば臓器等)の種類、対象となる疾病の種類、対象者の属性(例えば、年齢、性別、血液型、または人種等)、または対象者の生活習慣(例えば、食生活、運動習慣、または喫煙習慣等)は特に限定されない。なお、組織切片には、例えば、染色される組織切片(以下、単に切片ともいう)の染色前の切片、染色された切片に隣接する切片、同一ブロック(染色切片と同一の場所からサンプリングされたもの)における染色切片と異なる切片、又は同一組織における異なるブロック(染色切片と異なる場所からサンプリングされたもの)における切片、異なる患者から採取した切片などが含まれ得る。また、標本20は、各標本20を識別可能な識別情報(以降、「標本識別情報21」と呼称する)を付されて管理される。標本識別情報21は、試薬識別情報11と同様に、例えばバーコード情報等(一次元バーコード情報や二次元バーコード情報等)であるが、これに限定されない。標本20は、使用される組織の種類、対象となる疾病の種類、対象者の属性、または対象者の生活習慣等に応じてその性質が異なる。例えば、標本20において、使用される組織の種類等に応じて計測チャネルまたはスペクトル等が異なる。そこで、本実施形態に係る情報処理システムにおいて、標本20は、標本識別情報21を付されることによって個々に管理される。これによって、情報処理装置100は、標本20毎に現れる僅かな性質の違いも考慮した上で蛍光分離を行うことができる。
【0015】
(蛍光染色標本30)
蛍光染色標本30は、標本20が蛍光試薬10により染色されることで作成されたものである。本実施形態において、蛍光染色標本30は、標本20が1以上の蛍光試薬10によって染色されることを想定しているところ、染色に用いられる蛍光試薬10の数は特に限定されない。また、染色方法は、標本20および蛍光試薬10それぞれの組み合わせ等によって決まり、特に限定されるものではない。
【0016】
(情報処理装置100)
情報処理装置100は、図1に示すように、取得部110と、保存部120と、処理部130と、表示部140と、制御部150と、操作部160と、を備える。情報処理装置100は、例えば蛍光顕微鏡等であり得るところ、必ずしもこれに限定されず種々の装置を含んでもよい。例えば、情報処理装置100は、PC(Personal Computer)等であってもよい。
【0017】
(取得部110)
取得部110は、情報処理装置100の各種処理に使用される情報を取得する構成である。図1に示すように、取得部110は、情報取得部111と、蛍光信号取得部112と、を備える。
【0018】
(情報取得部111)
情報取得部111は、蛍光試薬10に関する情報(以降、「試薬情報」と呼称する)や、標本20に関する情報(以降、「標本情報」と呼称する)を取得する構成である。より具体的には、情報取得部111は、蛍光染色標本30の生成に使用された蛍光試薬10に付された試薬識別情報11、および標本20に付された標本識別情報21を取得する。例えば、情報取得部111は、バーコードリーダー等を用いて試薬識別情報11および標本識別情報21を取得する。そして、情報取得部111は、試薬識別情報11に基づいて試薬情報を、標本識別情報21に基づいて標本情報をそれぞれデータベース200から取得する。情報取得部111は、取得したこれらの情報を後述する情報保存部121に保存する。
【0019】
ここで、本実施形態において、標本情報には、標本20における自家蛍光物質のスペクトルが波長方向に連結された連結自家蛍光参照スペクトルが含まれ、試薬情報には、蛍光染色標本30における蛍光物質のスペクトルが波長方向に連結された連結蛍光参照スペクトルが含まれるとする。なお、連結自家蛍光参照スペクトル及び連結蛍光参照スペクトルを併せて「参照スペクトル」と呼称する。
【0020】
(蛍光信号取得部112)
蛍光信号取得部112は、蛍光染色標本30(標本20が蛍光試薬10により染色されることで作成されたもの)に対して、波長が互いに異なる複数の励起光が照射されたときの、複数の励起光それぞれに対応する複数の蛍光信号を取得する構成である。より具体的には、蛍光信号取得部112は、光を受光し、その受光量に応じた検出信号を出力することで、当該検出信号に基づいて蛍光染色標本30の蛍光スペクトルを取得する。ここで、励起光の内容(励起波長や強度等を含む)は試薬情報等(換言すると、蛍光試薬10に関する情報等)に基づいて決定される。なお、ここでいう蛍光信号は蛍光に由来する信号であれば特に限定されず、例えば蛍光スペクトルでもよい。
【0021】
図2のA~Dは、蛍光信号取得部112によって取得された蛍光スペクトルの具体例である。図2のA~Dでは蛍光染色標本30に、DAPI、CK/AF488、PgR/AF594、およびER/AF647という4種の蛍光物質が含まれ、それぞれの励起波長として392[nm](図2のA)、470[nm](図2のB)、549[nm](図2のC)、628[nm](図2のD)を有する励起光が照射された場合に取得された蛍光スペクトルの具体例が示されている。なお、蛍光発光のためにエネルギーが放出されることにより、蛍光波長は励起波長よりも長波長側にシフトしている点に留意されたい(ストークスシフト)。また、蛍光染色標本30に含まれる蛍光物質、及び照射される励起光の励起波長は上記に限定されない。蛍光信号取得部112は、取得した蛍光スペクトルを後述する蛍光信号保存部122に保存する。
【0022】
(保存部120)
保存部120は、情報処理装置100の各種処理に使用される情報、または各種処理によって出力された情報を保存する構成である。図1に示すように、保存部120は、情報保存部121と、蛍光信号保存部122と、を備える。
【0023】
(情報保存部121)
情報保存部121は、情報取得部111によって取得された試薬情報および標本情報を保存する構成である。
【0024】
(蛍光信号保存部122)
蛍光信号保存部122は、蛍光信号取得部112によって取得された蛍光染色標本30の蛍光信号を保存する構成である。
【0025】
(処理部130)
処理部130は、蛍光分離処理を含む各種処理を行う構成である。図1に示すように、処理部130は、連結部131と、分離処理部132と、画像生成部133と、を備える。
【0026】
(連結部131)
連結部131は、蛍光信号取得部112によって取得された複数の蛍光スペクトルの少なくとも一部を波長方向に連結することで連結蛍光スペクトルを生成する構成である。例えば、連結部131は、上記で蛍光信号取得部112によって取得された4つの蛍光スペクトル(図3のA~D)それぞれにおける蛍光強度の最大値を含むように、各蛍光スペクトルにおける所定幅のデータを抽出する。連結部131がデータを抽出する波長帯域の幅は、試薬情報、励起波長又は蛍光波長等に基づいて決定され得、各蛍光物質についてそれぞれ異なっていてもよい(換言すると、連結部131がデータを抽出する波長帯域の幅は、図3のA~Dに示された蛍光スペクトルそれぞれで異なっていてもよい)。そして図3のEに示すように、連結部131は、抽出したデータを波長方向に互いに連結することで一つの連結蛍光スペクトルを生成する。なお、連結蛍光スペクトルは、複数の蛍光スペクトルから抽出されたデータによって構成されるため、連結された各データの境界では波長が連続していない点に留意されたい。
【0027】
このとき、連結部131は、励起光の強度に基づいて、複数の蛍光スペクトルそれぞれに対応する励起光の強度を揃えた後に(換言すると、複数の蛍光スペクトルを補正した後に)上記の連結を行う。より具体的には、連結部131は、励起光の強度である励起パワー密度で各蛍光スペクトルを除算することで、複数の蛍光スペクトルそれぞれに対応する励起光の強度を揃えた後に上記の連結を行う。これによって、同一強度の励起光が照射された場合の蛍光スペクトルが求められる。また、照射される励起光の強度が異なる場合、その強度に応じて蛍光染色標本30に吸収されるスペクトル(以降、「吸収スペクトル」と呼称する)の強度も異なる。したがって、上記のように、複数の蛍光スペクトルそれぞれに対応する励起光の強度が揃えられることで、吸収スペクトルを適切に評価することができる。
【0028】
本説明における励起光の強度は、上述したように、励起パワーや励起パワー密度であってよい。励起パワー又は励起パワー密度は、光源104から出射した励起光を実測することで得られたパワー又はパワー密度であってもよいし、光源104に与える駆動電圧から求まるパワー又はパワー密度であってもよい。なお、本説明における励起光の強度は、上記励起パワー密度を、観測対象である切片の各励起光に対する吸収率や、切片から放射した蛍光を検出する検出系(蛍光信号取得部112等)における検出信号の増幅率等で補正することで得られた値であってもよい。すなわち、本説明における励起光の強度は、蛍光物質の励起に実際に寄与した励起光のパワー密度や、そのパワー密度を検出系の増幅率等で補正した値等であってもよい。吸収率や増幅率等を考慮することで、マシン状態や環境等の変化に応じて変化する励起光の強度を適切に補正することが可能となるため、より高い精度の色分離を可能にする連結蛍光スペクトルを生成することが可能となる。
【0029】
なお、各蛍光スペクトルに対する励起光の強度に基づいた補正値(強度補正値ともいう)は、複数の蛍光スペクトルそれぞれに対応する励起光の強度を揃えるための値に限定されず、種々変形されてよい。例えば、長波長側に強度ピークを持つ蛍光スペクトルのシグナル強度は、短波長側に強度ピークを蛍光スペクトルのシグナル強度よりも低い傾向にある。そのため、連結蛍光スペクトルに長波長側に強度ピークを持つ蛍光スペクトルと短波長側に強度ピークを持つ蛍光スペクトルとの両方が含まれる場合、長波長側に強度ピークを持つ蛍光スペクトルが殆加味されず、短波長側に強度ピークを持つ蛍光スペクトルだけが抽出されてしまう場合がある。そのような場合、例えば、長波長側に強度ピークを持つ蛍光スペクトルに対する強度補正値をより大きな値とすることで、短波長側に強度ピークを蛍光スペクトルの分離精度を高めることも可能である。
【0030】
また、連結部131は、連結する複数の蛍光スペクトルそれぞれの波長分解能を他の蛍光スペクトルから独立して補正してもよい。例えば、AF546の蛍光スペクトルとAF555の蛍光スペクトルとは、そのスペクトル形状及びピーク波長が殆ど同じであり、違いがAF555の蛍光スペクトルには高波長側の裾部分にショルダがあるのに対してAF546の蛍光スペクトルにはそれが無い点である。このように、2つの蛍光スペクトルが近しい場合、スペクトル抽出にて両者を色分離することが困難になるという問題が発生する。
【0031】
このような問題は、連結蛍光スペクトルの波長分解能を高くすることで解決できる場合がある。図4は、波長分解能を8nmとした場合のAF546とAF555との蛍光スペクトルを示す図であり、図5は、波長分解能を1nmとした場合のAF546とAF555との蛍光スペクトルを示す図である。図4に示すように、波長分解能を8nmとした場合、AF546のスペクトル形状及びピーク波長とAF555のスペクトル形状及びピーク波長とは略一致してしまう。そのため、例えば最小二乗法を用いてこれらを色分離することは事実上困難になる。それに対し、図5に示すように、波長分解能を図4に示す波長分解能の8倍、すなわち、1nmとした場合、AF546のスペクトル形状及びピーク波長とAF555のスペクトル形状及びピーク波長とを明確に分離することができる。これは、スペクトル形状及びピーク波長が近しい複数の蛍光スペクトルを用いる場合でも、波長分解能を高くすることでそれらを用いて色分離することが可能であることを示している。
【0032】
ただし、波長分解能を高めると、連結蛍光スペクトルのデータ量が大きくなり、必要なメモリ容量や蛍光分離処理における計算コスト等が増大してしまう。そこで、連結部131は、連結する複数の蛍光スペクトルのうち、色分離が困難であることが想定される蛍光スペクトルをその波長分解能が高くなるように補正し、色分離が容易であることが想定される蛍光スペクトルをその波長分解能が低くなるように補正する。それにより、データ量の増大化を抑制しつつ、色分離精度を向上させることが可能となる。
【0033】
ここで、連結部131による連結蛍光スペクトルの生成方法について、具体例を挙げて説明する。本説明では、上述において図3を用いて説明した連結蛍光スペクトルの生成方法と同様に、DAPI、CK/AF488、PgR/AF594、およびER/AF647という4種の蛍光物質を含む蛍光染色標本30に、それぞれの励起波長として392nm、470nm、549nm、628nmを有する励起光を照射することで得られた4つの蛍光スペクトルを連結する場合を例示する。
【0034】
図6は、図3のA~Dに示す蛍光スペクトルから生成される連結蛍光スペクトルの一例を示す図である。図6に示すように、連結部131は、図3のAに示す蛍光スペクトルから励起波長392nm以上591nm以下の波長帯域の蛍光スペクトルSP1を抽出し、図3のBに示す蛍光スペクトルから励起波長470nm以上669nm以下の波長帯域の蛍光スペクトルSP2を抽出し、図3のCに示す蛍光スペクトルから励起波長549nm以上748nm以下の波長帯域の蛍光スペクトルSP3を抽出し、図3のDに示す蛍光スペクトルから励起波長628nm以上827nm以下の波長帯域の蛍光スペクトルSP4を抽出する。次に、連結部131は、抽出した蛍光スペクトルSP1の波長分解能を16nmに補正し(強度補正は無し)、蛍光スペクトルSP2の強度を1.2倍に補正するとともに波長分解能を8nmに補正し、蛍光スペクトルSP3の強度を1.5倍に補正し(波長分解能の補正は無し)、蛍光スペクトルSP4の強度を4.0倍に補正するとともに波長分解能を4nmに補正する。そして、連結部131は、補正後の蛍光スペクトルSP1~SP4を順番に連結することで、図6に示すような連結蛍光スペクトルを生成する。
【0035】
なお、図6には、連結部131が各蛍光スペクトルを取得した際の励起波長から所定帯域幅(図6では200nm幅)の蛍光スペクトルSP1~SP4を抽出して連結した場合が示されているが、連結部131が抽出する蛍光スペクトルの帯域幅は、各蛍光スペクトルで一致している必要はなく、異なっていてもよい。すなわち、連結部131が各蛍光スペクトルから抽出する領域は、各蛍光スペクトルのピーク波長を含む領域であればよく、その波長帯域及び帯域幅については適宜変更されてよい。その際、ストークスシフトによるスペクトル波長のズレが考慮されてもよい。このように、抽出する波長帯域を絞り込むことで、データ量を削減することが可能となるため、より高速に蛍光分離処理を実行することが可能となる。
【0036】
(分離処理部132)
分離処理部132は、連結蛍光スペクトルを分子毎に分離する構成である。図7は、本実施形態に係る分離処理部のより具体的な構成例を示すブロック図である。図7に示すように、分離処理部132は、色分離部1321と、スペクトル抽出部1322とを備える。
【0037】
色分離部1321は、例えば、第1色分離部1321aと第2色分離部1321bとを備え、連結部131から入力された染色切片(染色サンプルともいう)の連結蛍光スペクトルを分子毎に色分離する。
【0038】
スペクトル抽出部1322は、連結自家蛍光参照スペクトルをより精度の高い色分離結果を得ることができるように改良するための構成であり、情報保存部121から入力された標本情報に含まれる連結自家蛍光参照スペクトルを、色分離部1321による色分離結果に基づいて、より精度の高い色分離結果を得られるものに調整する。
【0039】
より具体的には、第1色分離部1321aは、連結部131から入力された染色サンプルの連結蛍光スペクトルに対して、情報保存部121から入力された、試薬情報に含まれる連結蛍光参照スペクトルと標本情報に含まれる連結自家蛍光参照スペクトルとを用いた色分離処理を実行することで、連結蛍光スペクトルを分子ごとのスペクトルに分離する。なお、色分離処理には、例えば、最小二乗法(LSM)や重み付き最小二乗法(WLSM)等が用いられてもよい。
【0040】
スペクトル抽出部1322は、情報保存部121から入力された連結自家蛍光参照スペクトルに対して、第1色分離部1321から入力された色分離結果を用いたスペクトル抽出処理を実行し、その結果に基づいて連結自家蛍光参照スペクトルを調整することで、連結自家蛍光参照スペクトルをより精度の高い色分離結果を得られるものに改良する。なお、スペクトル抽出処理には、例えば、非負値行列因子分解(NMF)や特異値分解(SVD)等が用いられてもよい。
【0041】
第2色分離部1321bは、連結部131から入力された染色サンプルの連結蛍光スペクトルに対して、スペクトル抽出部1322から入力された調整後の連結自家蛍光参照スペクトルを用いた色分離処理を実行することで、連結蛍光スペクトルを分子ごとのスペクトルに分離する。なお、色分離処理には、第1色分離部1321aと同様に、例えば、最小二乗法(LSM)や重み付最小二乗法(WLSM)等が用いられてもよい。
【0042】
なお、図7では、連結自家蛍光参照スペクトルの調整を1回とした場合を例示したが、これに限定されず、第2色分離部1321bによる色分離結果をスペクトル抽出部1322に入力し、スペクトル抽出部1322において連結自家蛍光参照スペクトルの調整を再度実行する処理を1回以上繰り返した後に、最終的な色分離結果を取得するようにしてもよい。
【0043】
図8には、自家蛍光物質が、Hemoglobin、ArchidonicAcid、Catalase、Collagen、FAD、NADPH、およびProLongDiamondである場合の連結自家蛍光参照スペクトルの具体例が示されている。図9には、蛍光物質が、CK、ER、PgR、およびDAPIである場合の連結蛍光参照スペクトルの具体例が示されている。連結蛍光参照スペクトルおよび連結自家蛍光参照スペクトルは、共に、連結部131による連結蛍光スペクトルと同様の方法で生成され得る(必ずしもこれに限定されない)。より具体的には、連結蛍光参照スペクトルおよび連結自家蛍光参照スペクトルは、連結蛍光スペクトルの生成時と同一の励起波長を有する複数の励起光によって取得された複数のスペクトルにおける所定の波長帯域幅のデータが波長方向に連結されることで生成され得る。このとき、励起光の強度(例えば、励起パワー密度)に基づいて、複数のスペクトルそれぞれに対応する励起光の強度が揃えられていることを想定している(必ずしもこれに限定されない)。なお、連結蛍光参照スペクトルおよび連結自家蛍光参照スペクトルの生成方法は必ずしも上記に限定されない。例えば、連結蛍光参照スペクトルおよび連結自家蛍光参照スペクトルは、各物質が有するスペクトルの理論値やカタログ値等に基づいて生成されてもよい。
【0044】
次に、最小二乗法に関する計算について説明する。最小二乗法は、連結部131によって生成された連結蛍光スペクトルを、参照スペクトルにフィッティングすることで、混色率を算出するものである。なお、混色率は、各物質が混ざり合う度合を示す指標である。以下の式(1)は、連結蛍光スペクトル(Signal)から、参照スペクトル(St。連結蛍光参照スペクトル及び連結自家蛍光参照スペクトル)が混色率aで混色されたものを減算して得られる残差を表す式である。なお、式(1)における「Signal(1×チャンネル数)」とは、連結蛍光スペクトル(Signal)が波長のチャンネル数だけ存在することを示している(例えば、Signalは、連結蛍光スペクトルを表す行列である)。また、「St(物質数×チャンネル数)」とは、参照スペクトルが、それぞれの物質(蛍光物質及び自家蛍光物質)について波長のチャンネル数だけ存在することを示している(例えば、Stは、参照スペクトルを表す行列である)。また、「a(1×物質数)」とは、混色率aが各物質(蛍光物質及び自家蛍光物質)について設けられることを示している(例えば、aは、連結蛍光スペクトルにおける参照スペクトルそれぞれの混色率を表す行列である)。
【0045】
【数1】
【0046】
そして、第1色分離部1321a/第2色分離部1321bは、残差式(1)の2乗和が最小となる各物質の混色率aを算出する。残差の2乗和が最小となるのは、残差を表す式(1)について、混色率aに関する偏微分の結果が0である場合であるため、第1色分離部1321a/第2色分離部1321bは、以下の式(2)を解くことで残差の2乗和が最小となる各物質の混色率aを算出する。なお、式(2)における「St´」は、参照スペクトルStの転置行列を示している。また、「inv(St*St´)」は、St*St´の逆行列を示している。
【0047】
【数2】
【0048】
ここで、上記式(1)の各値の具体例を以下の式(3)~式(5)に示す。式(3)~式(5)の例では、連結蛍光スペクトル(Signal)において、3種の物質(物質数が3)の参照スペクトル(St)がそれぞれ異なる混色率aで混色される場合が示されている。
【0049】
【数3】
【0050】
【数4】
【0051】
【数5】
【0052】
そして、式(3)および式(5)の各値による上記式(2)の計算結果の具体例を以下の式(6)に示す。式(6)のとおり、計算結果として正しく「a=(3 2 1)」(すなわち上記式(4)と同一の値)が算出されることがわかる。
【0053】
【数6】
【0054】
第1色分離部1321a/第2色分離部1321bは、上記のように、波長方向に連結された参照スペクトル(連結自家蛍光参照スペクトル及び連結蛍光参照スペクトル)を用いて蛍光分離処理を行うことで、分離結果として一意のスペクトルを出力することができる(励起波長毎に分離結果が分かれない)。したがって、実施者は、より容易に正しいスペクトルを得ることができる。また、分離に用いられる自家蛍光に関する参照スペクトル(連結自家蛍光参照スペクトル)が自動的に取得され、蛍光分離処理が行われることにより、実施者が非染色切片の適切な空間から自家蛍光に相当するスペクトルを抽出しなくてもよくなる。
【0055】
なお、第1色分離部1321a/第2色分離部1321bは、上述したように、最小二乗法ではなく重み付き最小二乗法(Weighted Least Square Method)に関する計算を行うことにより連結蛍光スペクトルから蛍光物質ごとのスペクトルを抽出してもよい。重み付き最小二乗法においては、測定値である連結蛍光スペクトル(Signal)のノイズがポアソン分布になることを利用して、低いシグナルレベルの誤差を重視するように重みが付けられる。ただし、重み付き最小二乗法で加重が行われない上限値をOffset値とする。Offset値は測定に使用されるセンサの特性によって決まり、センサとして撮像素子が使用される場合には別途最適化が必要である。重み付き最小二乗法が行われる場合には、上記の式(1)及び式(2)における参照スペクトルStが以下の式(7)で表されるSt_に置換される。なお、以下の式(7)は、行列で表されるStの各要素(各成分)を、同じく行列で表される「Signal+Offset値」においてそれぞれ対応する各要素(各成分)で除算(換言すると、要素除算)することでSt_を算出することを意味する。
【0056】
【数7】
【0057】
ここで、Offset値が1であり、参照スペクトルStおよび連結蛍光スペクトルSignalの値がそれぞれ上記の式(3)および式(5)で表される場合の、上記式(7)で表されるSt_の具体例を以下の式(8)に示す。
【0058】
【数8】
【0059】
そして、この場合の混色率aの計算結果の具体例を以下の式(9)に示す。式(9)のとおり、計算結果として正しく「a=(3 2 1)」が算出されることがわかる。
【0060】
【数9】
【0061】
(画像生成部133)
画像生成部133は、分離処理部132による連結蛍光スペクトルの分離結果に基づいて画像情報を生成する構成である。例えば、画像生成部133は、1つ又は複数の蛍光分子に対応する蛍光スペクトルを用いて画像情報を生成したり、1つ又は複数の自家蛍光分子に対応する自家蛍光スペクトルを用いて画像情報を生成したりすることができる。なお、画像生成部133が画像情報の生成に用いる蛍光分子又は自家蛍光分子の数や組合せは特に限定されない。また、分離後の蛍光スペクトル又は自家蛍光スペクトルを用いた各種処理(例えば、セグメンテーション、またはS/N値の算出等)が行われた場合、画像生成部133は、それらの処理の結果を示す画像情報を生成してもよい。
【0062】
(表示部140)
表示部140は、画像生成部133によって生成された画像情報をディスプレイに表示することで実施者へ提示する構成である。なお、表示部140として用いられるディスプレイの種類は特に限定されない。また、本実施形態では詳細に説明しないが、画像生成部133によって生成された画像情報がプロジェクターによって投影されたり、プリンタによってプリントされたりすることで実施者へ提示されてもよい(換言すると、画像情報の出力方法は特に限定されない)。
【0063】
(制御部150)
制御部150は、情報処理装置100が行う処理全般を統括的に制御する機能構成である。例えば、制御部150は、操作部160を介して行われる実施者による操作入力に基づいて、上記で説明したような各種処理(例えば、蛍光染色標本30の載置位置の調整処理、蛍光染色標本30に対する励起光の照射処理、スペクトルの取得処理、連結蛍光スペクトルの生成処理、蛍光分離処理、画像情報の生成処理、および画像情報の表示処理等)の開始や終了等を制御する。なお、制御部150の制御内容は特に限定されない。例えば、制御部150は、汎用コンピュータ、PC、タブレットPC等において一般的に行われる処理(例えば、OS(Operating System)に関する処理)を制御してもよい。
【0064】
(操作部160)
操作部160は、実施者からの操作入力を受ける構成である。より具体的には、操作部160は、キーボード、マウス、ボタン、タッチパネル、またはマイクロホン等の各種入力手段を備えており、実施者はこれらの入力手段を操作することで情報処理装置100に対して様々な入力を行うことができる。操作部160を介して行われた操作入力に関する情報は制御部150へ提供される。
【0065】
(データベース200)
データベース200は、試薬情報および標本情報等を管理する装置である。より具体的に説明すると、データベース200は、試薬識別情報11と試薬情報、標本識別情報21と標本情報をそれぞれ紐づけて管理する。これによって、情報取得部111は、蛍光試薬10の試薬識別情報11に基づいて試薬情報を、標本20の標本識別情報21に基づいて標本情報をデータベース200から取得することができる。
【0066】
データベース200が管理する試薬情報は、蛍光試薬10が有する蛍光物質固有の計測チャネルおよび連結蛍光参照スペクトルを含む情報であることを想定している(必ずしもこれらに限定されない)。「計測チャネル」とは、蛍光試薬10に含まれる蛍光物質を示す概念であり、図9の例では、CK、ER、PgR、およびDAPIを指す概念である。蛍光物質の数は蛍光試薬10によって様々であるため、計測チャネルは、試薬情報として各蛍光試薬10に紐づけられて管理されている。また、試薬情報に含まれる連結蛍光参照スペクトルとは、上記のとおり、計測チャネルに含まれる蛍光物質それぞれについて、蛍光スペクトルが波長方向に連結されたものである。
【0067】
また、データベース200が管理する標本情報は、標本20が有する自家蛍光物質固有の計測チャネルおよび連結自家蛍光参照スペクトルを含む情報であることを想定している(必ずしもこれらに限定されない)。「計測チャネル」とは、標本20に含まれる自家蛍光物質を示す概念であり、図8の例では、Hemoglobin、ArchidonicAcid、Catalase、Collagen、FAD、NADPH、およびProLongDiamondを指す概念である。自家蛍光物質の数は標本20によって様々であるため、計測チャネルは、標本情報として各標本20に紐づけられて管理されている。また、標本情報に含まれる連結自家蛍光参照スペクトルとは、上記のとおり、計測チャネルに含まれる自家蛍光物質それぞれについて、自家蛍光スペクトルが波長方向に連結されたものである。なお、データベース200で管理される情報は必ずしも上記に限定されない。
【0068】
以上、本実施形態に係る情報処理システムの構成例について説明した。なお、図1を参照して説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、情報処理装置100は、図1に示す構成の全てを必ずしも備えなくてもよいし、図1に示されていない構成を備えてもよい。
【0069】
ここで、本実施形態に係る情報処理システムは、蛍光スペクトルを取得する撮像装置(例えば、スキャナ等を含む)と、蛍光スペクトルを用いて処理を行う情報処理装置と、を備えていてもよい。この場合、図1に示した蛍光信号取得部112は撮像装置によって実現され得、その他の構成は情報処理装置によって実現され得る。また、本実施形態に係る情報処理システムは、蛍光スペクトルを取得する撮像装置と、蛍光スペクトルを用いる処理に使われるソフトウェアと、を備えていてもよい。換言すると、当該ソフトウェアを記憶したり実行したりする物理構成(例えば、メモリやプロセッサ等)が情報処理システムに備えられていなくてもよい。この場合、図1に示した蛍光信号取得部112は撮像装置によって実現され得、その他の構成は当該ソフトウェアが実行される情報処理装置によって実現され得る。そして、ソフトウェアは、ネットワークを介して(例えば、ウェブサイトやクラウドサーバ等から)情報処理装置に提供されたり、任意の記憶媒体(例えば、ディスク等)を介して情報処理装置に提供されたりする。また、当該ソフトウェアが実行される情報処理装置は、各種サーバ(例えば、クラウドサーバ等)、汎用コンピュータ、PC、またはタブレットPC等であり得る。なお、ソフトウェアが情報処理装置に提供される方法、および情報処理装置の種類は上記に限定されない。また、本実施形態に係る情報処理システムの構成は必ずしも上記に限定されず、使用時の技術水準に基づいて、いわゆる当業者が想到可能な構成が適用され得る点に留意されたい。
【0070】
上記で説明してきた情報処理システムは、例えば顕微鏡システムとして実現されてもよい。そこで、続いて図10を参照して、本実施形態に係る情報処理システムが顕微鏡システムとして実現される場合における顕微鏡システムの構成例について説明する。
【0071】
図10に示すように、本実施形態に係る顕微鏡システムは、顕微鏡101と、データ処理部107と、を備える。
【0072】
顕微鏡101は、ステージ102と、光学系103と、光源104と、ステージ駆動部105と、光源駆動部106と、蛍光信号取得部112と、を備える。
【0073】
ステージ102は、蛍光染色標本30を載置可能な載置面を有し、ステージ駆動部105の駆動により当該載置面に対して平行方向(x-y平面方向)及び垂直方向(z軸方向)へ移動可能とされている。蛍光染色標本30は、Z方向に例えば数μmから数十μmの厚さを有し、スライドガラスSG及びカバーガラス(図示無し)に挟まれて所定の固定手法により固定されている。
【0074】
ステージ102の上方には光学系103が配置される。光学系103は、対物レンズ103Aと、結像レンズ103Bと、ダイクロイックミラー103Cと、エミッションフィルタ103Dと、励起フィルタ103Eと、を備える。光源104は、例えば水銀ランプ等の電球やLED(Light Emitting Diode)等であり、光源駆動部106の駆動により蛍光染色標本30に付された蛍光標識に対する励起光を照射するものである。
【0075】
励起フィルタ103Eは、蛍光染色標本30の蛍光像を得る場合に、光源104から出射された光のうち蛍光色素を励起する励起波長の光のみを透過させることで励起光を生成する。ダイクロイックミラー103Cは、当該励起フィルタで透過されて入射する励起光を反射させて対物レンズ103Aへ導く。対物レンズ103Aは、当該励起光を蛍光染色標本30へ集光する。そして対物レンズ103A及び結像レンズ103Bは、蛍光染色標本30の像を所定の倍率に拡大し、当該拡大像を蛍光信号取得部112の撮像面に結像させる。
【0076】
蛍光染色標本30に励起光が照射されると、蛍光染色標本30の各組織に結合している染色剤が蛍光を発する。この蛍光は、対物レンズ103Aを介してダイクロイックミラー103Cを透過し、エミッションフィルタ103Dを介して結像レンズ103Bへ到達する。エミッションフィルタ103Dは、上記対物レンズ103Aによって拡大された、励起フィルタ103Eを透過した光を吸収し発色光の一部のみを透過する。当該外光が喪失された発色光の像は、上述のとおり、結像レンズ103Bにより拡大され、蛍光信号取得部112上に結像される。
【0077】
データ処理部107は、光源104を駆動させ、蛍光信号取得部112を用いて蛍光染色標本30の蛍光像を取得し、これを用いて各種処理を行う構成である。より具体的には、データ処理部107は、図1を参照して説明した、情報処理装置100の情報取得部111、保存部120、処理部130、表示部140、制御部150、操作部160、又はデータベース200の一部又は全部の構成として機能し得る。例えば、データ処理部107は、情報処理装置100の制御部150として機能することで、ステージ駆動部105及び光源駆動部106の駆動を制御したり、蛍光信号取得部112によるスペクトルの取得を制御したりする。また、データ処理部107は、情報処理装置100の処理部130として機能することで、連結蛍光スペクトルを生成したり、連結蛍光スペクトルを分子毎に分離したり、分離結果に基づいて画像情報を生成したりする。
【0078】
以上、本実施形態に係る情報処理システムが顕微鏡システムとして実現される場合における顕微鏡システムの構成例について説明した。なお、図10を参照して説明した上記の構成はあくまで一例であり、本実施形態に係る顕微鏡システムの構成は係る例に限定されない。例えば、顕微鏡システムは、図10に示す構成の全てを必ずしも備えなくてもよいし、図10に示されていない構成を備えてもよい。
【0079】
(1.2.処理フロー例)
上記では、本実施形態に係る情報処理システムの構成例について説明した。続いて、図11を参照して、情報処理装置100による蛍光分離に伴う一連の処理フロー例について説明する。図11は、情報処理装置100による蛍光分離に伴う一連の処理フロー例を示すフローチャートである。
【0080】
ステップS1000では、情報処理装置100の蛍光信号取得部112が蛍光スペクトルを取得する。より具体的には、蛍光染色標本30に対して互いに異なる励起波長の複数の励起光が照射され、蛍光信号取得部112は、各励起光に対応する複数の蛍光スペクトルを取得する。そして、蛍光信号取得部112は、取得した蛍光スペクトルを蛍光信号保存部122に保存する。
【0081】
ステップS1004では、連結部131が蛍光信号保存部122に保存されている複数の蛍光スペクトルの少なくとも一部を波長方向に連結することで連結蛍光スペクトルを生成する。より具体的には、連結部131が、複数の蛍光スペクトルそれぞれにおける蛍光強度の最大値を含むように、各蛍光スペクトルにおける所定幅のデータを抽出し、当該データを波長方向に互いに連結することで一つの連結蛍光スペクトルを生成する。
【0082】
ステップS1008では、分離処理部132が、連結蛍光スペクトルを分子毎に分離する(蛍光分離を行う)。より具体的には、分離処理部132が、図7を用いて説明した処理を実行することで、連結蛍光スペクトルを分子毎に分離する。
【0083】
その後の処理では、例えば画像生成部133が、分離後の、1つ又は複数の蛍光分子に対応する蛍光スペクトル(又は自家蛍光分子に対応する自家蛍光スペクトル)を用いて画像情報を生成し、表示部140が当該画像情報をディスプレイに表示することで実施者へ提示したりする。
【0084】
<2.第2の実施形態>
上記では、本開示に係る第1の実施形態について説明した。続いて、本開示に係る第2の実施形態について説明する。
【0085】
第1の実施形態に係る情報処理装置100は、予め用意された連結自家蛍光参照スペクトル(および連結蛍光参照スペクトル)を用いて蛍光分離処理を行った。一方で、第2の実施形態に係る情報処理装置100は、実測した連結自家蛍光参照スペクトルを用いて蛍光分離処理を行う。
【0086】
より具体的に説明すると、第2の実施形態に係る分離処理部132のスペクトル抽出部1322は、標本20と同一または類似のものに対して、互いに異なる励起波長の複数の励起光が照射され取得される複数の自家蛍光スペクトルの少なくとも一部を波長方向に連結したものから、各自家蛍光物質についての連結自家蛍光参照スペクトルを抽出する。そして、スペクトル抽出部1322は、抽出された連結自家蛍光参照スペクトル、及び連結蛍光参照スペクトル(第1の実施形態と同様のもの)を参照スペクトルとして用いて蛍光分離処理を行う。
【0087】
図12は、本実施形態に係る分離処理部のより具体的な構成例を示すブロック図である。図12に示すように、本実施形態に係る分離処理部132は、第1の実施形態において図7を用いて説明した分離処理部132と同様の構成を備える。
【0088】
このような構成において、スペクトル抽出部1322には、標本情報に含まれる連結自家蛍光参照スペクトルに代えて、連結部131から入力された非染色切片(非染色サンプルともいう)の連結蛍光スペクトル(連結自家蛍光スペクトルともいう)が入力される。
【0089】
スペクトル抽出部1322は、連結部131から入力された非染色サンプルの連結自家蛍光スペクトルに対して、第1色分離部1321から入力された色分離結果を用いたスペクトル抽出処理を実行し、その結果に基づいて連結自家蛍光参照スペクトルを調整することで、連結自家蛍光参照スペクトルをより精度の高い色分離結果を得られるものに改良する。スペクトル抽出処理には、例えば、第1の実施形態と同様に、非負値行列因子分解(NMF)や特異値分解(SVD)等が用いられてもよい。また、その他の動作は、第1の実施形態に係る分離処理部132と同様であってよいため、個々では詳細な説明を省略する。
【0090】
なお、連結自家蛍光参照スペクトルの抽出に用いる標本20と同一又は類似の切片には、非染色切片と染色切片とのいずれの切片を使用することも可能である。例えば、非染色切片を用いる場合には、染色切片として用いられる染色前の切片、染色切片に隣接する切片、同一ブロック(染色切片と同一の場所からサンプリングされたもの)における染色切片と異なる切片、又は同一組織における異なるブロック(染色切片と異なる場所からサンプリングされたもの)における切片等を用いることができる。
【0091】
また、染色切片を用いる場合には、後述する第3の実施形態に係る方法にて蛍光分離処理を実行することで、連結自家蛍光参照スペクトルを抽出することなく、連結蛍光スペクトルから直接、分子ごとの色分離結果を得ることも可能である。
【0092】
ここで、非染色切片から自家蛍光スペクトルを抽出する方法としては、一般的に主成分分析(以降、「PCA:Principal Component Analysis」と呼称する)が用いられ得るが、本実施形態のように、波長方向に連結された自家蛍光スペクトルが処理に用いられる場合にはPCAは適さない。そこで、本実施形態に係るスペクトル抽出部1322は、PCAではなく非負値行列因子分解(以降、「NMF:Non-negative Matrix Factorization」と呼称する)を行うことで、非染色切片から連結自家蛍光参照スペクトルを抽出する。なお、非染色切片から連結自家蛍光参照スペクトルを抽出する方法として、PCAが適さない理由については後段にて詳述する。
【0093】
図13は、NMFの概要を説明する図である。図13に示すように、NMFは、非負のN行M列(N×M)の行列Aを、非負のN行k列(N×k)の行列W、及び非負のk行M列(k×M)の行列Hに分解する。行列Aと、行列W及び行列Hの積(W*H)間の平均平方二乗残差Dが最小となるように行列W及び行列Hが決定される。本実施形態においては、行列Aが、連結自家蛍光参照スペクトルが抽出される前のスペクトル(Nが画素数であり、Mが波長チャネル数である)に相当し、行列Hが、抽出された連結自家蛍光参照スペクトル(kが連結自家蛍光参照スペクトルの数(換言すると、自家蛍光物質の数)であり、Mが波長チャネル数である)に相当する。ここで、平均平方二乗残差Dは、以下の式(10)で表される。なお、「norm(D,‘fro’)」とは、平均平方二乗残差Dのフロベニウスノルムを指す。
【0094】
【数10】
【0095】
NMFにおける因子分解は、行列W及び行列Hに対する無作為な初期値で始まる反復法が用いられる。NMFにおいてkの値(連結自家蛍光参照スペクトルの数)は必須であるが、行列W及び行列Hの初期値は必須ではなくオプションとして設定され得、行列W及び行列Hの初期値が設定されると解が一定となる。一方で、行列W及び行列Hの初期値が設定されない場合、これらの初期値は無作為に設定され、解が一定とならない。
【0096】
標本20は、使用される組織の種類、対象となる疾病の種類、対象者の属性、または対象者の生活習慣等に応じてその性質が異なり、自家蛍光スペクトルも異なる。そのため、第2の実施形態に係る情報処理装置100が、上記のように、標本20毎に連結自家蛍光参照スペクトルを実測することで、より精度の高い蛍光分離処理を実現することができる。
【0097】
なお、NMFの入力である行列Aは、上述したように、標本画像の画素数N(=Hpix×Vpix)と同数の行と、波長チャネル数Mと同数の列とからなる行列である。そのため、標本画像の画素数が大きい場合や波長チャネル数Mが大きい場合には、行列Aが非常に大きな行列となり、NMFの計算コストが増大して処理時間が長くなる。
【0098】
そのような場合には、例えば、図14に示すように、標本画像の画素数N(=Hpix×Vpix)を指定しておいたクラス数N(<Hpix×Vpix)にクラスタリングすることで、行列Aの巨大化による処理時間の冗長化を抑制することができる。
【0099】
クラスタリングでは、例えば、標本画像のうち、波長方向や強度方向において類似したスペクトル同士が同じクラスに分類される。これにより、標本画像よりも画素数の小さい画像が生成されるため、この画像を入力とした行列A’の規模を縮小することが可能となる。
【0100】
(2.1.処理フロー例)
続いて、図15を参照して、第2の実施形態に係る情報処理装置100による蛍光分離に伴う一連の処理フロー例について説明する。図15は、第2の実施形態に係る情報処理装置100による蛍光分離に伴う一連の処理フロー例を示すフローチャートである。
【0101】
ステップS1100及びステップS1104では、第1の実施形態における処理フロー例(図11のステップS1000及びステップS1004)と同様に、蛍光信号取得部112が、励起波長の異なる励起光に対応する複数の蛍光スペクトルを取得し、連結部131が複数の蛍光スペクトルの少なくとも一部を波長方向に連結することで連結蛍光スペクトルを生成する。
【0102】
ステップS1108では、スペクトル抽出部1322が、非染色切片に対して、互いに異なる励起波長の複数の励起光が照射され取得される複数の自家蛍光スペクトルの少なくとも一部を波長方向に連結したものを用いてNMFを行うことで連結自家蛍光参照スペクトルを抽出する。
【0103】
ステップS1112では、色分離部1321が、上記で抽出された連結自家蛍光参照スペクトル、及び連結蛍光参照スペクトル(第1の実施形態と同様のもの)を参照スペクトルとして用いて蛍光分離処理を行う。
【0104】
その後の処理では、第1の実施形態と同様に、例えば画像生成部133が、分離後の、1つ又は複数の蛍光分子に対応する蛍光スペクトル(又は自家蛍光分子に対応する自家蛍光スペクトル)を用いて画像情報を生成し、表示部140が当該画像情報をディスプレイに表示することで実施者へ提示したりする。
【0105】
(2.2.非染色切片から連結自家蛍光参照スペクトルを抽出する方法として、PCAが適さない理由)
上記では、第2の実施形態に係る情報処理装置100による蛍光分離に伴う一連の処理フロー例について説明した。続いて、非染色切片から連結自家蛍光参照スペクトルを抽出する方法として、PCAが適さない理由の詳細について説明する。
【0106】
まず、画素数nにおけるある画素iの、1つの励起波長に対する蛍光スペクトルをaiとし、解像度をmとすると、蛍光スペクトルaiは以下の式(11)(m次のベクトル)で表される。
【0107】
【数11】
【0108】
他の励起波長に対する蛍光スペクトルも同様に、m次のベクトルであるbi、ci、diとして表される(ここでは、一例として励起波長が4種である場合を想定している)。そして、全画素(画素1~画素n)に関するこれらのベクトルが統合されたものは、以下の式(12)(n行4m列の行列P)で表される。画素数が波長分解能に比べて格段に(相当程度)大きいことから、式(12)で表される行列Pのランクは最大4mとなり、最大で4m個の固有値及び固有ベクトルが存在する。
【0109】
【数12】
【0110】
ここで、n行m列(n×m)でランクkの実数行列Aは、以下の式(13)で示すように、特異値分解(Singular Value Decomposition:SVD)が可能である。式(13)におけるU及びVは、それぞれ特異行列を示し、正規直行系をなす(すなわち、U=U-1かつUU-1=1)。また、実数行列Aが、固有値が互いに異なる正方行列の場合、U及びVは固有ベクトルになる。
【0111】
【数13】
【0112】
実数行列Aを固有値分解(Eigenvalue Decomposition:ED)、もしくは特異値分解(SVD)して、特異(固有)ベクトルを算出することで、独立した実数行列Aの因子を解析することができる。実数行列Aが正方行列で互いに異なる固有値を有する場合、AAの固有値はAの固有値の2乗で、固有ベクトルはAの固有ベクトルに等しくなる(以下の式(14)を参照。式(14)においてA=VDV)。
【0113】
【数14】
【0114】
本実施形態において得られるスペクトルは正方行列ではないが、自家蛍光を構成する要素の一次結合でスペクトルが決まっていると考え得るため、重複や線形変換でスペクトルを正方行列まで畳み込むことが可能であると考えられる。誤差がある場合でもtAA=0の固有値はAの最小二乗解となることから、tAAの固有ベクトルを求めることで、スペクトルにおける独立成分(固有ベクトル)を算出することができる。また、以下の式(15)および式(16)は、特異値分解が成り立つことから自明である。ただし、ランクが満たされない場合にはLおよびRは固有ベクトルのサブセットになり、すべての点を表せるわけではない。
【0115】
【数15】
【0116】
【数16】
【0117】
PCAとは、データ行列の分散共分散行列の固有値および固有ベクトルを求めることに等しい。以下の式(17)に示すように、分散共分散行列は、データ行列から平均値が引かれた行列の転置行列との積である。これは、データ行列の転置との積から、各列の平均の積を引いたものとなる。
【0118】
【数17】
【0119】
【数18】
【0120】
以下の式(19)~式(23)で示すように、BBの固有ベクトルはBの固有ベクトルとなりBを構築でき、BBとAAの差分はaaとなる(Aの列の平均値の積の行列)。したがってAの特異値分解は、点を構成する固有ベクトルを求めるのに対し、PCAでは点のばらつきの程度を表す固有ベクトルが算出される(BBの固有ベクトルとAAの固有ベクトルは等しくない)。
【0121】
【数19】
【0122】
【数20】
【0123】
【数21】
【0124】
【数22】
【0125】
【数23】
【0126】
このとき、各励起波長に対する蛍光スペクトルが統合された上記の式(12)のような行列の場合、特異値分解においては相互に独立ならば影響が出ないが、PCAでは平均の積の項が発生するため、固有ベクトルに影響が生じる。したがって、PCAを行うには、それぞれのデータセットで分析を行うことが求められる。以上によって、本実施形態のように波長方向に連結されたスペクトルが処理に用いられる場合にはPCAは適さない。
【0127】
(2.3.応用例)
上記では、非染色切片から連結自家蛍光参照スペクトルを抽出する方法として、PCAが適さない理由の詳細について説明した。続いて、第2の実施形態に係る応用例について説明する。
【0128】
第2の実施形態に係る分離処理部132のスペクトル抽出部1322は、上記のとおり、非染色切片に対して、互いに異なる励起波長の複数の励起光が照射され取得される複数の自家蛍光スペクトルの少なくとも一部を波長方向に連結したものを用いてNMFを行うことで連結自家蛍光参照スペクトルを抽出する。このとき、応用例に係るスペクトル抽出部1322は、第1の実施形態等によって予め取得された自家蛍光スペクトルを用いて、NMFにおける初期値(図13における行列Hの初期値)を設定することで(より具体的には、自家蛍光スペクトルの少なくとも一部を波長方向に連結したものをNMFにおける初期値として設定することで)、連結自家蛍光参照スペクトルを抽出してもよい。これによって、分離結果として得られるスペクトルが一意に定まり、より高い精度の蛍光分離を行うことができる。
【0129】
<3.変形例>
上記では、本開示に係る第2の実施形態について説明した。続いて、本開示の変形例について説明する。
【0130】
上記で説明してきた蛍光分離処理で得られる情報は、画像情報における輝度(または蛍光強度)であるため、実施者が定量的な分析を十分に行えない場合があった。より具体的には、実施者は、蛍光分子数、または蛍光分子と結合している抗体数等の情報を得ることができないため、複数の蛍光物質間で蛍光分子数を比較したり、異なる条件で撮像されたデータを比較したりすることが困難であった。
【0131】
本変形例は上記に鑑みて創作されたものであり、変形例に係るスペクトル抽出部1322は、蛍光分子の数、または蛍光分子と結合している抗体の数に基づいて算出された、連結自家蛍光参照スペクトル及び連結蛍光参照スペクトルを含む参照スペクトルを用いて、連結蛍光スペクトルから前記蛍光物質ごとのスペクトルを抽出する。より具体的には、変形例に係るスペクトル抽出部1322は、上記の実施形態で用いられた連結自家蛍光参照スペクトル及び連結蛍光参照スペクトルそれぞれを撮像素子1[pixel]における蛍光分子数または抗体数で除算することで、1つの蛍光分子あたり、または1つの抗体あたりの連結自家蛍光参照スペクトル及び連結蛍光参照スペクトルを算出し、これらを用いて最小二乗法(または重み付き最小二乗法)に関する計算を行うことで連結蛍光スペクトルから前記蛍光物質ごとのスペクトルを抽出する。これによって、変形例に係る分離処理部132は、蛍光染色標本30における蛍光分子数または抗体数を、蛍光分離処理の結果として算出することができる。
【0132】
ここで、図16を参照して、撮像素子1[pixel]における蛍光分子数(または抗体数)を算出する方法について説明する。図16に示すように、撮像素子とサンプルが対物レンズを介して配置された場合において、撮像素子1[pixel]に対応するサンプルの底面のサイズが、仮に、13/20[μm]×13/20[μm]であるとする。そして、サンプルの厚みが、仮に10[μm]であるとすると、この直方体の体積[m3]は、13/20[μm]×13/20[μm]×10[μm]で表される(なお、体積[L]は、13/20[μm]×13/20[μm]×10[μm]×103で表される)。
【0133】
そして、サンプルに含まれる抗体(もちろん、蛍光分子数でもよい)の濃度が均一であり、300[nM]であるとすると、撮像素子1[pixel]における抗体数は、以下の式(24)によって表される。
【0134】
【数24】
【0135】
上記のように、蛍光染色標本30における蛍光分子数または抗体数が、蛍光分離処理の結果として算出されることで、実施者は、複数の蛍光物質間で蛍光分子数を比較したり、異なる条件で撮像されたデータを比較したりすることができる。また、輝度(または蛍光強度)が連続値である一方で、蛍光分子数または抗体数は離散値であるため、変形例に係る情報処理装置100は、蛍光分子数または抗体数に基づいて画像情報を出力することでデータ量を削減することができる。
【0136】
その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
【0137】
<4.第3の実施形態>
上述した第1及び第2の実施形態では、連結自家蛍光参照スペクトル(及び連結蛍光参照スペクトル)を用いて蛍光分離処理を行うことで、連結蛍光スペクトルから蛍光物質ごとのスペクトルを抽出する場合を例示した。これに対し、第3の実施形態では、染色切片から直接、蛍光物質ごとの蛍光スペクトルを抽出する場合を例示する。
【0138】
図17は、本実施形態に係る分離処理部の概略構成例を示すブロック図である。本実施形態に係る情報処理装置100では、分離処理部132が図17に示す分離処理部232に置き換えられる。
【0139】
図17に示すように、分離処理部232は、色分離部2321と、スペクトル抽出部2322と、データセット作成部2323とを備える。
【0140】
色分離部2321は、連結部131から入力された染色切片(染色サンプルともいう)の連結蛍光スペクトルを分子毎に色分離する。
【0141】
スペクトル抽出部2322は、自家蛍光スペクトルをより精度の高い色分離結果を得ることができるように改良するための構成であり、情報保存部121から入力された標本情報に含まれる連結自家蛍光参照スペクトルをより精度の高い色分離結果を得られるものに調整する。
【0142】
データセット作成部2323は、スペクトル抽出部2322から入力されたスペクトル抽出結果から、自家蛍光参照スペクトルのデータセットを作成する。
【0143】
より具体的には、スペクトル抽出部2322は、情報保存部121から入力された連結自家蛍光参照スペクトルに対して非負値行列因子分解(NMF)や特異値分解(SVD)等を用いたスペクトル抽出処理を実行し、その結果をデータセット作成部2323に入力する。なお、本実施形態に係るスペクトル抽出処理では、例えば、組織マイクロアレイ(Tissue Micro Array:TMA)を用いた細胞組織ごと及び/又はタイプごとの自家蛍光参照スペクトルが抽出される。
【0144】
データセット作成部2323は、スペクトル抽出部2322から入力された細胞組織ごと及び/又はタイプごとの自家蛍光参照スペクトルから、色分離部2321による色分離処理に必要なデータセット(以下、自家蛍光データセットともいう)を作成し、作成した自家蛍光データセットを色分離部2321に入力する。
【0145】
色分離部2321は、連結部131から入力された染色サンプルの連結蛍光スペクトルに対して、情報保存部121から入力された連結蛍光参照スペクトル及び連結自家蛍光参照スペクトルと、データセット作成部2323から入力された自家蛍光データセットとを用いた色分離処理を実行することで、連結蛍光スペクトルを分子ごとのスペクトルに分離する。なお、色分離処理には、NMFやSVDを用いることができる。
【0146】
本実施形態に係る色分離部2321が実行するNMFには、例えば、第2の実施形態において説明した、非染色切片から自家蛍光スペクトルを抽出する際のNMF(図13等参照)を以下のように変更したものを用いることができる。
【0147】
すなわち、本実施形態においては、行列Aが、染色切片から取得された複数の標本画像(Nが画素数であり、Mが波長チャネル数である)に相当し、行列Hが、抽出された蛍光物質ごとの蛍光スペクトル(kが蛍光スペクトルの数(換言すると、蛍光物質の数)であり、Mが波長チャネル数である)に相当し、行列Wが、蛍光分離後の各蛍光物質の画像に相当する。なお、行列Dは、平均平方二乗残差である。
【0148】
また、本実施形態において、NMFの初期値は、第2の実施形態と同様に、無作為であってよい。ただし、NMFの施工回数ごとに結果が違ってしまう場合には、それを防止するために、初期値を設定しておく必要がある。
【0149】
図18図22は、本実施形態において行列Aに入力する標本画像の例を示す図であり、図23図29は、図18図22に示す標本画像を入力とした場合にNMFにより行列Wとして取得される蛍光分離画像の例を示す図である。なお、図18図22には、説明の簡略化のため、それぞれ単一の蛍光試薬10で標本20を染色した場合が示されている。また、NMFの初期値としては、ArachidonicAcidとCatalaseとCollagenとFADとHemoglobinとNADPHとProLongDiamondとCKとの計8つの蛍光色素の蛍光スペクトルが与えられたものとする。
【0150】
図18図22に示すような、5つの励起波長(波長チャネル数M=5)それぞれで取得された標本画像を行列AとしてNMFを解くと、図23図29に示すような7つの蛍光分離画像が行列Wとして取得されるとともに、それぞれの蛍光スペクトルが行列Hとして取得される。
【0151】
なお、NMFのような、計算アルゴリズムによって対応するスペクトルの順番を入れ替えるようなアルゴリズムや、処理の高速化や結果の収束性を向上するためにスペクトルの順番を入れ替えることが必要なアルゴリズムを用いて蛍光分離処理を行った場合、行列Hとして得られた蛍光スペクトルそれぞれが何れの蛍光色素に相当するかは、例えば、組み合わせ全通りそれぞれについてピアソンの積率相関係数(又はcosine類似度)を求めることで特定することができる。
【0152】
また、MATLAB(登録商標)のデフォルト関数(NMF)を用いた場合には、初期値を与えたとしても順序が変わって出力される。これは、自己関数で固定することも可能であるが、デフォルト関数を使って順番入れ替わったとしても、上述したように、ピアソンの積率相関係数(又はcosine類似度)を使うことで、物質と蛍光スペクトルとの正しい組み合わせを求めることが可能である。
【0153】
以上のように、染色切片から取得された標本画像を行列AとしたNMFを解く構成とすることで、非染色切片の撮影や連結自家蛍光参照スペクトルの生成などの手順を必要とせずに、染色切片から直接、蛍光物質ごとの蛍光スペクトルを抽出することが可能となる。それにより、蛍光分離処理に要する時間や作業コストを大幅に削減することが可能となる。
【0154】
さらに、本実施形態では、同一の染色切片から得られた標本画像から蛍光物質ごとの蛍光スペクトルを抽出するため、例えば、染色切片とは異なる非染色切片から得られた自家蛍光スペクトルを用いる場合と比較して、より正確な蛍光分離結果を取得することが可能となる。
【0155】
その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
【0156】
なお、本実施形態においては、蛍光物質ごとの蛍光スペクトルを抽出する際に、連結蛍光スペクトルが使用されてもよいし、連結されなくてもよい。すなわち、本実施形態では、連結部131が連結蛍光スペクトルを生成してもよいし、生成しなくてもよい。連結蛍光スペクトルを生成しない場合、分離処理部132の抽出部は、蛍光信号取得部112によって取得された複数の蛍光スペクトルに対して、蛍光物質ごとの蛍光スペクトルを抽出する処理を実行する。
【0157】
<5.第4の実施形態>
上述した第3の実施形態において、染色した色素に対する濃度等の定量性を高める方法としては、以下に示す方法を挙げることができる。
【0158】
図30は、第4の実施形態に係るNMFの流れを説明するためのフローチャートである。図31は、図30に示すNMFの最初のループにおける処理の流れを説明するための図である。
【0159】
図30に示すように、本実施形態に係るNMFでは、まず、変数iをゼロにリセットする(ステップS401)。変数iは、NMFにおける因子分解を繰り返した回数を示している。したがって、図31の(a)に示す行列Hは、行列Hの初期値に相当する。なお、本例では、明確化のため、行列Hにおける染色蛍光スペクトルの位置を最下行としているが、これに限定されず、最上行や中間の行など、種々変更することが可能である。
【0160】
つぎに、本実施形態に係るNMFでは、通常のNMFと同様に、非負のN行M列(N×M)の行列Aを非負のN行k列(N×k)の行列Wで除算することで、非負のk行M列(k×M)の行列Hi+1を求める(ステップS402)。これにより、例えば1回目のループにおいては、図31の(b)に示すような行列Hが求められる。
【0161】
つぎに、ステップS402で求められた行列Hi+1における蛍光染色スペクトルの行が、蛍光染色スペクトルの初期値、すなわち、行列Hにおける染色蛍光スペクトルの行に置換される(ステップS403)。すなわち、本実施形態では、行列Hにおける蛍光染色スペクトルが初期値に固定される。例えば、1回目のループにおいては、図31の(c)に示すように、行列Hにおける最下行を行列Hにおける最下行に置換することで、染色蛍光スペクトルを固定することが可能である。
【0162】
つぎに、本実施形態に係るNMFでは、ステップS403で求められた行列Hi+1で行列Aを除算することで、行列Wi+1を求める(ステップS404)。
【0163】
その後、本実施形態に係るNMFでは、通常のNMFと同様に、平均平方二乗残差Dが所定の分岐条件を満たすか否かが判断され(ステップS405)、満たす場合(ステップS405のYES)、最終的に得られた行列Hi+1及びWi+1を解として、NMFを終了する。一方、所定の分岐条件が満たされない場合(ステップS405のNO)、変数iが1インクリメントされた後(ステップS406)、ステップS402へ戻り、次のループが実行される。
【0164】
図32は、染色蛍光スペクトルの初期値の一例を示すグラフである。図33は、本実施形態に係るNMFを実行後の染色蛍光スペクトルの一例を示すグラフである。図32及び図33に示すように、染色蛍光スペクトルは、本実施形態に係るNMFを実行した場合でも、初期値と同等のスペクトルが維持されていることが分かる。
【0165】
また、図34は、本実施形態に係る非染色サンプルを使用しない方法により抽出された蛍光物質のスペクトルの一例を示す図であり、図35は、非染色サンプルを使用した場合に抽出される蛍光物質のスペクトルの一例を示す図である。なお、図34及び図35では、マーカ抗体にCD8を使用し、蛍光色素にAlexa Fluor 680を使用した場合を例示する。図34及び図35に示すように、本実施形態によれば、非染色サンプルを使用した場合と同等の正確性で、蛍光物質のスペクトルを抽出することが可能である。
【0166】
以上のように、第1の方法では、多重染色の病理切片画像(標本画像)のスペクトル抽出及び色分離において、自家蛍光スペクトル抽出用の同一組織切片非染色サンプルの撮影を必要とせずに、染色蛍光の定量性を担保したまま、すなわち、染色蛍光のスペクトルを維持したまま、NMFを用いて直接染色サンプルを色分離することが可能となる。それにより、例えば、別標本を用いる場合と比較して、正確な色分離を達成することが可能となる。また、別標本を撮影する手間などを削減することも可能となる。
【0167】
なお、平均平方二乗残差Dを極小化する方法としては、D=|A-WH|を極小化する漸化式を用いる方法や、準ニュートン法(DFP(Davidon-Fletcher-Powell)法ともいう)やBFGS(Broyden-Fletcher-Goldfarb-Shanno)法等を用いる方法などが考えられる。それらの場合、染色蛍光スペクトルを初期値に固定する方法としては、以下のような方法が考えられる。
【0168】
5.1 漸化式を用いた平均平方二乗残差Dの極小化における染色蛍光スペクトルの固定方法
D=|A-WH|を極小化する漸化式を用いて平均平方二乗残差Dを極小化する方法では、以下の式(25)及び式(26)に示すような乗算型の更新式からなるステップを繰り返すループ処理が実行される。なお、式(25)及び式(26)において、A=(ai,jN×Mであり、H=(hi,jk×Mであり、W=(wi,jN×kである。また、h、wは、それぞれ部分行列h、wの転置行列である。
【数25】
【数26】
【0169】
このようなループ処理において、染色蛍光スペクトルを初期値に固定するには、式(25)を実行するステップと式(26)を実行するステップとの間に、以下に示す式(27)を実行するステップを挿入する方法を用いることができる。なお、式(27)は、更新したwi,j k+1における染色蛍光スペクトルに相当する部分行列を染色蛍光スペクトルの初期値である部分行列wi,j(part) で上書きすることを示している。
【数27】
【0170】
5.2 DFP法やBFGS法等を用いた平均平方二乗残差Dの極小化における染色蛍光スペクトルの固定方法
また、DFP法やBFGS法等を用いて平均平方二乗残差Dを極小化する方法では、極小化対象の平均平方二乗残差DをD(x)、xを座標とすると(k番目の更新時はx=(a1,a2,...,an))、以下のステップを経ることで、D(x)が極小化される。以下のステップにおいて、Bはヘッセ行列を示している。
・xk+1=x-αB -1D’(x)により座標を更新
・新しい座標xk+1での勾配への変位
・y=D’(xk+1)-D’(x)からヘッセの逆行列Bk+1 -1を更新
【0171】
ヘッセ行列Bk+1の更新には、例えば、以下の式(28)に示すDFP法や、式(29)に示すBFGF法など、種々の方式を適用することが可能である。
【数28】
【数29】
【0172】
このようなDFP法やBFGS法等を用いて平均平方二乗残差Dを極小化する方法において、任意の座標を固定する方法、すなわち、染色蛍光スペクトルを初期値に固定する方法には、幾つかの方法が存在する。例えば、座標を更新するタイミングで以下の処理(1)又は処理(2)を実行する方法にて、染色蛍光スペクトルを初期値に固定することが可能である。
(1)-αB -1D’(x)=0、すなわち、偏微分D’(x)をゼロに置換
(2)座標更新後にxk+1を算出した後、得られた座標xk+1の一部を強制的にx(又はその一部)で置換
【0173】
<6.第5の実施形態>
次に、本開示の第6の実施形態について、図面を参照して詳細に説明する。
【0174】
あるデータを、それを構成する要素とその係数とに分離し解析する方法は、機械学習をはじめとして広く使われている。データを要素(基底若しくはスペクトル。本開示ではこれらをスペクトルと称している)と係数とに分解する方法としては、上述の実施形態において説明した固有値分解や特異値分解、非負値因子分解(NMF)等、種々の方法が存在する。特に、非負のデータに対するNMFは、スペクトル及び係数の両方ともが非負の値となるため、得られた解と実際のスペクトル(例えば材料の吸収スペクトル、蛍光スペクトルなど)との類似性が高く、データを解釈するうえで有利であると言える。
【0175】
上述したように、NMFは、データ行列AをスペクトルS(図13の行列Hに相当)及び係数C(図13の行列Wに相当)の積と誤差f(図13の平均平方二乗残差Dに相当)との合計で表し、誤差f=|A-S×C|が最小となるように、非負の束縛条件下で行列因子分解を実行する手法であり、最小限のスペクトルでデータを近似することが容易という特徴を備える(低ランク近似)。このNMFでは、漸化式による計算手法が確立されており、以下の式(30)を繰り返し計算することで、誤差fが極小となる(S,C)の組み合わせが得られる。
【数30】
【0176】
なお、Xij、Yijは、それぞれ以下の式(31)で表される値である。
【数31】
【0177】
また、式(31)において、行列C、行列Sは、それぞれ行列C、行列Sの転置行列である。
【0178】
ここで、行列Aが要素成分数w(図13の波長チャネル数Mに相当)のp個のデータ(図13の画素数Nに相当)とし、これをn個の要素成分数wのスペクトルで近似する場合を考える。その場合、行列Aは、以下の式(32)で表すことができる。
【数32】
【0179】
式(32)では、上述の式(31)で与えられるXij,Yijを算出する際に行列A(p,w)を参照する必要がある。そのため、繰返し演算毎にすべての点pについて計算を行う必要が生じる。
【0180】
繰返し演算毎にすべての点pについて計算を行うことは、解析すべきデータが小規模であれば問題にはなり難いが、データ点数が非常に多い大規模なデータの場合には、演算時間を長くさせる要因となる。また、p個のデータをすべてメモリ(例えば、後述の図42におけるRAM903)上に展開することができない場合には、外部の記憶装置(例えば、図42のストレージ装置908)へのアクセスが頻発して、処理時間がより冗長化してしまうという問題も発生し得る。
【0181】
一方で、本発明者らは、分解すべきデータ行列Aに代えて、そのグラム行列AAを非負値分解することでも、スペクトルSを得ることが可能であることを発見した。
【0182】
そこで本実施形態では、データ行列Aをグラム行列AAに変換し、このグラム行列AAを非負値分解することで、その解であるスペクトルSを求める。データ行列Aをグラム行列AAに変換することで、処理対称の行列を正方行列とすることができる。それにより、例えば、波長チャネル数Mに対して画素数Nが非常に大きな数であるデータ行列AがM×Mのグラム行列AAに変換されるため、データ点数を大幅に削減して演算時間を短縮すること、及び、計算に必要なメモリ量を大幅に削減することが可能となる。その結果、解析の効率化を達成することが可能となる。
【0183】
(6.1.処理部による処理の概要)
本実施形態に係る情報処理装置は、例えば、上述した実施形態に係る情報処理装置100(図1参照)と同様の構成において、処理部130(例えば、分離処理部132)が以下の動作を実行する。
【0184】
まず、第1に、本実施形態に係る処理部130は、データ行列AをA=S×Cに非負値因子分解や特異値分解する工程において、予め行列Aのグラム行列AAを算出し、算出されたグラム行列AAをAA=S×Eに非負値分解することで、スペクトルSを求める。
【0185】
第2に、本実施形態に係る処理部130は、グラム行列AAを算出する工程において、A(p,w)=A1(p1-pn1,w)+A2(pn1+1-pm,w)+...+Ao(pm+1-p,w)となるサブセットを用い、それぞれのグラム行列AqAq(qは1以上n以下の整数)を以下の式(33)のように畳み込むことで、グラム行列AAを求める。
【数33】
【0186】
第3に、上記グラム行列に対する非負値分解により得られたスペクトルSを用い、A=S×Cを解くことで、係数Cを求める。
【0187】
(6.2.測定系の構成例)
次に、本実施形態に係る情報処理装置100における測定系の構成例について説明する。図36は、本実施形態に係る情報処理システムの測定系の一例を示す図である。なお、図36には、WSI(Whole Slide Imaging)など、蛍光染色標本30(又は無染色標本である標本20)の広視野を撮影する際の測定系の一例が示されている。ただし、本実施形態に係る測定系は、図36に例示する測定系に限定されず、撮影領域全体又はこのうちの必要な領域(関心領域ともいう)を一度に撮影する測定系や、ラインスキャンにより撮影領域全体又は関心領域の画像を取得する測定系など、撮影領域全体又は関心領域の十分な解像度の画像データ(以下、広視野画像データという)を取得することが可能な測定系であれば、種々変形されてよい。
【0188】
図36に示すように、本実施形態に係る測定系は、例えば、情報処理装置100と、XYステージ501と、励起光源510と、ビームスプリッタ511と、対物レンズ512と、分光器513と、光検出器514とを備える。
【0189】
XYステージ501は、解析対象の蛍光染色標本30(又は標本20)が載置されるステージであって、例えば、蛍光染色標本30(又は標本20)の載置面と平行な平面(XY平面)において移動可能なステージであってよい。
【0190】
励起光源510は、蛍光染色標本30(又は標本20)を励起させるための光源であり、例えば、波長が互いに異なる複数の励起光を所定の光軸に沿って出射する。
【0191】
ビームスプリッタ511は、例えば、ダイクロイックミラー等で構成され、励起光源510からの励起光を反射し、蛍光染色標本30(又は標本20)からの蛍光を透過する。
【0192】
対物レンズ512は、ビームスプリッタ511で反射した励起光をXYステージ501上の蛍光染色標本30(又は標本20)に照射する。
【0193】
分光器513は、1以上のプリズムやレンズ等を用いて構成され、蛍光染色標本30(又は標本20)から放射し、対物レンズ512及びビームスプリッタ511を透過した蛍光を所定方向に分光する。
【0194】
光検出器514は、分光器513で分光された蛍光の波長ごとの光強度を検出し、これにより得られた蛍光信号(蛍光スペクトル及び/又は自家蛍光スペクトル)を情報処理装置100の蛍光信号取得部112に入力する。
【0195】
以上のような構成において、WSIのような、撮影領域全体が1回で撮影できる領域(以下、視野という)を超える場合、1回の撮影ごとにXYステージ501を動かして視野を移動させることで、各視野の撮影が順次行われる。そして、各視野の撮影により得られた画像データ(以下、視野画像データという)をタイリングすることで、撮影領域全体の広視野画像データが生成される。生成された広視野画像データは、例えば、蛍光信号保存部122に保存される。なお、視野画像データのタイリングは、情報処理装置100の取得部110において実行されてもよいし、保存部120において実行されてもよいし、処理部130において実行されてもよい。
【0196】
そして、本実施形態に係る処理部130は、得られた広視野画像データに対して上述した処理を実行することで、係数C、すなわち、蛍光分子ごとの蛍光分離画像(又は自家蛍光分子ごとの自家蛍光分離画像)を取得する。
【0197】
(6.3.動作例)
つづいて、本実施形態に係る情報処理装置100の動作例について説明する。なお、以下の説明では、処理部130の動作に着目する。
【0198】
図37は、本実施形態に係る処理部の動作例を示すフローチャートである。また、図38図40は、図37における各ステップにおいて処理部が実行する処理を説明するための図である。
【0199】
図37に示すように、本実施形態に係る処理部130は、まず、各視野の撮影により得られた視野画像データをタイリングすることで、撮影領域全体の広視野画像データ(例えば、図38の広視野画像データAを参照)を生成する(ステップS2001)。
【0200】
次に、処理部130は、広視野画像データAから、その一部である単位画像データ(例えば、図38の単位画像データAq(qは1以上n以下の整数)を取得する(ステップS2002)。単位画像データAqは、1つの視野に相当する画像データや、予め設定しておいたサイズの画像データなど、広視野画像データAよりも狭い領域の画像データであれば種々変更されてよい。なお、予め設定しておいたサイズの画像データには、情報処理装置100が一度に処理可能なデータ量より定められたサイズの画像データが含まれ得る。
【0201】
次に、処理部130は、図38に例示するように、取得した単位画像データAq(以下の説明では、明確化のため、単位画像データA1とする)のデータ行列(説明の明確化のため、このデータ行列をA1とする)に対し、この転置行列A1を乗算することで、単位画像データA1のグラム行列A1A1を生成する(ステップS2003)。
【0202】
次に、処理部130は、全ての単位画像データA1~Anに対するグラム行列A1A1~AnAnの生成が完了したか否かを判定し(ステップS2004)、全ての単位画像データA1~Anに対するグラム行列A1A1~AnAnの生成が完了するまで、ステップS2002~ステップS2004を繰返し実行する(ステップS2004のNO)。
【0203】
一方、全ての単位画像データA1~Anに対するグラム行列A1A1~AnAnの生成が完了すると(ステップS2004のYES)、処理部130は、例えば、最小二乗法(又は重み付き最小二乗法)を用いることで、得られたグラム行列A1A1~AnAnから係数Cの初期値を算出する(ステップS2005)。
【0204】
次に、処理部130は、生成したグラム行列A1A1~AnAnを加算することで、広視野画像データAに対するグラム行列AAを算出する(ステップS2006)。具体的には、上述したように、A(p,w)=A1(p1-pn1,w)+A2(pn1+1-pm,w)+...+Ao(pm+1-p,w)となるサブセットを用い、それぞれのグラム行列AqAq(qは1以上n以下の整数)を上記式(33)のように畳み込むことで、グラム行列AAを求める。
【0205】
次に、処理部130は、図39に例示するように、算出されたグラム行列AAをAA=S×Eに非負値分解することで、スペクトルSを求める(ステップS2007)。なお、行列Eは、広視野画像データAから蛍光分離された分離画像に相当する。
【0206】
その後、処理部130は、図40に例示するように、グラム行列AAに対するNMFにより得られたスペクトルSを用いた最小二乗法(又は重み付き最小二乗法)によりA=S×Cを解くことで、係数C、すなわち、蛍光分子ごとの蛍光分離画像(又は自家蛍光分子ごとの自家蛍光分離画像)を取得し(ステップS2008)、その後、本動作を終了する。
【0207】
なお、ステップS2007のNMFでは、特定のスペクトルを固定してデータの非負値因子分解が実行されてもよい。
【0208】
(6.4.1.変形例1)
なお、図37図40では、撮影領域全体を処理対象領域とした場合を例示したが、これに限定されず、処理対象領域を撮影領域全体よりも狭い領域(関心領域)とすることも可能である。この関心領域には、例えば、広視野画像データAにおいて蛍光染色標本30(又は標本20)が存在する領域など、解析の対象が映し出された領域であってもよい。また、関心領域の設定には、例えば、蛍光染色標本30又は標本20(例えば、細胞や組織等)の形態情報等が使用されてもよい。なお、形態情報とは、同一組織ブロックの明視野画像や無染色画像及び染色情報であってよく、例えば、標本20における標的の発現マップであってもよい。また、形態情報は、機械学習の画像認識技術におけるセグメンテーション(1ピクセル単位で領域を獲得・ラベリング)などの技術を用いて生成された情報であってよい。
【0209】
図41は、本実施形態の変形例1に係る処理部の動作例を示すフローチャートである。図41に示すように、本変形例1に係る処理部130は、まず、各視野の撮影により得られた視野画像データをタイリングすることで、撮影領域全体の広視野画像データAを生成する(ステップS2101)。本変形例1においては、広視野画像データAの解像度は、処理対象とする画像データ(例えば、後述する高解像度画像データ)の解像度よりも低くてもよい。
【0210】
次に、処理部130は、広視野画像データAに対して、処理対象領域とする監視領域を設定する(ステップS2102)。この関心領域の設定は、例えば、上述したように、形態情報等に基づいて実行されてもよい。ただし、関心領域の設定は、処理部130が形態情報等に基づいて自動で行ってもよいし、ユーザが手動で行ってもよい。
【0211】
次に、処理部130は、例えば制御部150に対して、関心領域の高解像度画像データを取得を要求する(ステップS2103)。これに対し、制御部150は、上述した測定系(図36参照)と取得部110及び保存部120とを制御することで、関心領域の高解像度画像データを取得する。なお、関心領域は、1視野よりも広い範囲であってよい。
【0212】
次に、処理部130は、例えば、図37のステップS2002~S2004と同様の動作を実行することで、関心領域の高解像度画像データから取得した単位画像データAqそれぞれのグラム行列AqAqを生成する(ステップS2104~S2106)。
【0213】
次に、処理部130は、例えば、図37のステップS2005と同様に、最小二乗法(又は重み付き最小二乗法)を用いることで、得られたグラム行列A1A1~AnAnから係数Cの初期値を算出する(ステップS2107)。
【0214】
次に、処理部130は、例えば、図37のステップS2006~S2008と同様に、生成したグラム行列A1A1~AnAnを加算することで、広視野画像データAに対するグラム行列AAを算出し(ステップS2108)、算出されたグラム行列AAをAA=S×Eに非負値分解することで、スペクトルSを求め(ステップS2109)、グラム行列AAに対するNMFにより得られたスペクトルSを用いた最小二乗法(又は重み付き最小二乗法)によりA=S×Cを解くことで、係数C、すなわち、蛍光分子ごとの蛍光分離画像(又は自家蛍光分子ごとの自家蛍光分離画像)を取得し(ステップS2110)、その後、本動作を終了する。なお、ステップS2109のNMFでは、特定のスペクトルを固定してデータの非負値因子分解が実行されてもよい。
【0215】
(6.4.2.変形例2)
なお、図37に示す動作例及びその変形例(図41)では、先に撮影領域全体の広視野画像データ又は関心領域全体の高解像度画像データを取得しておき、その後、その一部である単位画像データを順次取得して処理する場合を例示したが、これに限定されず、例えば、その全部又は一部をパイプライン処理とすることも可能である。具体的には、例えば、各単位画像データのグラム行列AqAqを生成するまでの処理(例えば、図37におけるステップS2001~S2004、又は、図41におけるステップS2103~S106)については、測定系(図36参照)から出力された各視野の画像データを単位画像データとし、単位画像データの入力に応じて上記処理を実行することで、各単位画像データに対するグラム行列AqAqが生成されてもよい。
【0216】
(6.5.効果)
本実施形態により期待される効果について、以下に、NMFでA=S×CのスペクトルSと係数Cとの解を得るまでの工程について、行列A(p,w)のNMFを行った場合(ケース1)と、行列Aから求めたグラム行列AA(w,w)のNMFを行った場合(ケース1)とを例示して説明する。
【0217】
四則演算については計算時間が概ね等しいと仮定し、また、オーバーヘッドを考慮しないと仮定した場合、それぞれのケース1、2についてNMFループの演算量を試算すると、グラム行列tAAを経由するケース2では、行列AをNMFするケース1と比較して、処理速度を約6000倍高速化できると推定される。
【0218】
また、WSIのような広視野画像データで10~100個分の単位画像データの演算を考えた場合、広視野画像データAをそのままNMFするケース1に対し、各単位画像データのグラム行列の畳み込みで広視野画像データのグラム行列AAを算出するケース2では、処理速度を約6万~60万倍高速化できると推定される。
【0219】
さらに、各単位画像データが1024×1024の画像データで且つ波長チャネル数(M)が100点あるデータである場合、データの展開に必要となる最大メモリ量は、行列A(p,w)をNMFするケース1に対して、行列Aのグラム行列AA(w,w)をNMFするケース2では、約10000分の1に減縮することが可能となる。加えて、10~100個の単位画像データを考えた場合はさらにメモリ量を節約でき、例えば、10万~100万分の1のメモリ量に減縮することが可能となる。
【0220】
その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
【0221】
<7.ハードウェア構成例>
上記では、本開示の変形例について説明した。続いて、図42を参照して、各実施形態及び変形例に係る情報処理装置100のハードウェア構成例について説明する。図42は、情報処理装置100のハードウェア構成例を示すブロック図である。情報処理装置100による各種処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
【0222】
図42に示すように、情報処理装置100は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903及びホストバス904aを備える。また、情報処理装置100は、ブリッジ904、外部バス904b、インタフェース905、入力装置906、出力装置907、ストレージ装置908、ドライブ909、接続ポート911、通信装置913、及びセンサ915を備える。情報処理装置100は、CPU901に代えて、又はこれとともに、DSP若しくはASICなどの処理回路を有してもよい。
【0223】
CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置100内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。CPU901は、例えば、情報処理装置100の少なくとも処理部130及び制御部150を具現し得る。
【0224】
CPU901、ROM902及びRAM903は、CPUバスなどを含むホストバス904aにより相互に接続されている。ホストバス904aは、ブリッジ904を介して、PCI(Peripheral Component Interconnect/Interface)バス等の外部バス904bに接続されている。なお、必ずしもホストバス904a、ブリッジ904および外部バス904bを分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
【0225】
入力装置906は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、実施者によって情報が入力される装置によって実現される。また、入力装置906は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置100の操作に対応した携帯電話やPDA等の外部接続機器であってもよい。さらに、入力装置906は、例えば、上記の入力手段を用いて実施者により入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などを含んでいてもよい。実施者は、この入力装置906を操作することにより、情報処理装置100に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置906は、例えば、情報処理装置100の少なくとも操作部160を具現し得る。
【0226】
出力装置907は、取得した情報を実施者に対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音響出力装置や、プリンタ装置等がある。出力装置907は、例えば、情報処理装置100の少なくとも表示部140を具現し得る。
【0227】
ストレージ装置908は、データ格納用の装置である。ストレージ装置908は、例えば、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置908は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置908は、CPU901が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置908は、例えば、情報処理装置100の少なくとも保存部120を具現し得る。
【0228】
ドライブ909は、記憶媒体用リーダライタであり、情報処理装置100に内蔵、あるいは外付けされる。ドライブ909は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、RAM903に出力する。また、ドライブ909は、リムーバブル記憶媒体に情報を書き込むこともできる。
【0229】
接続ポート911は、外部機器と接続されるインタフェースであって、例えばUSB(Universal Serial Bus)などによりデータ伝送可能な外部機器との接続口である。
【0230】
通信装置913は、例えば、ネットワーク920に接続するための通信デバイス等で形成された通信インタフェースである。通信装置913は、例えば、有線若しくは無線LAN(Local Area Network)、LTE(Long Term Evolution)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置913は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置913は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。
【0231】
センサ915は、本実施形態においては、スペクトルを取得可能なセンサ(例えば、撮像素子等)を含むところ、他のセンサ(例えば、加速度センサ、ジャイロセンサ、地磁気センサ、感圧センサ、音センサ、または測距センサ等)を含んでもよい。センサ915は、例えば、情報処理装置100の少なくとも蛍光信号取得部112を具現し得る。
【0232】
なお、ネットワーク920は、ネットワーク920に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク920は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク920は、IP-VPN(Internet Protocol-Virtual Private Network)などの専用回線網を含んでもよい。
【0233】
以上、情報処理装置100の機能を実現可能なハードウェア構成例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本開示を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【0234】
なお、上記のような情報処理装置100の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等を含む。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【0235】
<8.むすび>
以上で説明してきたように、本開示の第1の実施形態に係る情報処理装置100は、蛍光染色標本30に対して、波長が互いに異なる複数の励起光が照射され、当該複数の励起光それぞれに対応する複数の蛍光スペクトルを取得し、当該励起光の強度に基づいて、複数の蛍光スペクトルを補正し、当該複数の蛍光スペクトルの少なくとも一部を波長方向に連結することで連結蛍光スペクトルを生成する。そして、情報処理装置100は、自家蛍光物質のスペクトルが波長方向に連結された連結自家蛍光参照スペクトル、及び蛍光物質のスペクトルが波長方向に連結された連結蛍光参照スペクトルを含む参照スペクトルから蛍光物質ごとのスペクトルを抽出する。そして、情報処理装置100は、抽出した蛍光物質ごとのスペクトルを用いて、連結蛍光スペクトルを分子毎に分離する。
【0236】
このように、情報処理装置100は、波長方向に連結された参照スペクトルを用いて蛍光分離処理を行うことで、分離結果として一意のスペクトルを出力することができる(励起波長毎に分離結果が分かれない)。したがって、実施者は、より容易に正しいスペクトルを得ることができる。また、分離に用いられる自家蛍光に関する参照スペクトル(連結自家蛍光参照スペクトル)が自動的に取得され、蛍光分離処理が行われることにより、実施者が非染色切片の適切な空間から自家蛍光に相当するスペクトルを抽出しなくてもよくなる。
【0237】
また、本開示の第2の実施形態に係る情報処理装置100は、標本20毎に実測した連結自家蛍光参照スペクトルを用いて蛍光分離処理を行う。これによって、情報処理装置100は、より精度の高い蛍光分離処理を実現することができる。
【0238】
さらに、本開示の変形例に係る情報処理装置100は、蛍光分子の数、または蛍光分子と結合している抗体の数に基づいて算出された、連結自家蛍光参照スペクトル及び連結蛍光参照スペクトルを含む参照スペクトルを用いて、連結蛍光スペクトルを分子毎に分離する。これによって、情報処理装置100は、蛍光染色標本30における蛍光分子数または抗体数を、蛍光分離処理の結果として算出することができる。
【0239】
さらにまた、本開示の第3の実施形態に係る情報処理装置100は、染色切片から取得された標本画像を行列AとしたNMFを解く。それにより、蛍光分離処理に要する時間や作業コストを大幅に削減しつつ、染色切片から直接、蛍光物質ごとの蛍光スペクトルを抽出することが可能となる。加えて、本開示の第3の実施形態では、同一の染色切片から得られた標本画像から蛍光物質ごとの蛍光スペクトルを抽出するため、例えば、染色切片とは異なる非染色切片から得られた自家蛍光スペクトルを用いる場合と比較して、より正確な蛍光分離結果を取得することが可能となる。
【0240】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0241】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0242】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
標本が蛍光試薬により染色されることで作成された蛍光染色標本に対して、波長が互いに異なる複数の励起光が照射され、前記複数の励起光それぞれに対応する複数の蛍光スペクトルを取得する蛍光信号取得部と、
前記複数の蛍光スペクトルの少なくとも一部を波長方向に連結することで連結蛍光スペクトルを生成する連結部と、
前記標本における自家蛍光物質のスペクトルが波長方向に連結された連結自家蛍光参照スペクトルと、前記蛍光染色標本における蛍光物質のスペクトルが波長方向に連結された連結蛍光参照スペクトルとを含む参照スペクトルを用いて、前記連結蛍光スペクトルを前記蛍光物質ごとのスペクトルに分離する分離部と、
前記分離部によって分離された前記蛍光物質ごとのスペクトルを用いて、前記連結自家蛍光参照スペクトルを更新する抽出部と、
を備える、
情報処理装置。
(2)
前記抽出部は、前記標本と同一または類似のものに対して前記複数の励起光が照射され取得される複数の自家蛍光スペクトルの少なくとも一部を波長方向に連結したものから前記連結自家蛍光参照スペクトルを抽出する、
前記(1)に記載の情報処理装置。
(3)
前記抽出部は、前記標本と同一または類似のものに対して前記複数の励起光が照射され取得される複数の自家蛍光スペクトルの少なくとも一部を波長方向に連結したものを用いて非負値行列因子分解を行うことで前記連結自家蛍光参照スペクトルを抽出する、
前記(2)に記載の情報処理装置。
(4)
前記抽出部は、予め取得された自家蛍光スペクトルを用いて、前記非負値行列因子分解における初期値を設定することで、前記連結自家蛍光参照スペクトルを抽出する、
前記(3)に記載の情報処理装置。
(5)
前記分離部は、前記参照スペクトルを用いて最小二乗法または重み付き最小二乗法のいずれか一方を用いて、前記蛍光物質ごとのスペクトルに分離する、
前記(1)~(4)の何れか1項に記載の情報処理装置。
(6)
前記分離部は、前記連結蛍光スペクトルを表す行列をSignal、前記参照スペクトルを表す行列をSt、前記連結蛍光スペクトルにおける前記参照スペクトルそれぞれの混色率を表す行列をaとし、以下の式(34)で表される値の2乗和が最小となるときの前記混色率を表す行列aを算出することで、前記蛍光物質ごとのスペクトルに分離する、
前記(5)に記載の情報処理装置。
【数34】
(7)
前記分離部は、前記重み付き最小二乗法を用いる場合、加重が行われない上限値をOffset値とし、式(34)における前記参照スペクトルを表す行列Stを、以下の式(35)で表される行列St_に置換する、
前記(6)に記載の情報処理装置。
【数35】
(8)
前記分離部は、蛍光分子の数、または前記蛍光分子と結合している抗体の数に基づいて算出された、前記連結自家蛍光参照スペクトル及び前記連結蛍光参照スペクトルを含む前記参照スペクトルを用いて、前記連結蛍光スペクトルを前記蛍光物質ごとのスペクトルに分離する、
前記(1)~(7)の何れか1項に記載の情報処理装置。
(9)
前記分離部は、1つの前記蛍光分子あたり、または1つの前記抗体あたりの前記連結自家蛍光参照スペクトル及び前記連結蛍光参照スペクトルを含む前記参照スペクトルを用いて、前記連結蛍光スペクトルを前記蛍光物質ごとのスペクトルに分離する、
前記(8)に記載の情報処理装置。
(10)
前記分離部は、前記連結蛍光スペクトルに対して非負値行列因子分解を行うことで前記蛍光物質ごとのスペクトルに分離する、
前記(1)~(9)の何れか1項に記載の情報処理装置。
(11)
前記分離は、前記非負値行列因子分解で抽出されたスペクトルに対して当該非負値行列因子分解に用いた初期値との積率相関係数を計算することで、前記蛍光物質と前記抽出されたスペクトルとの対応関係を特定する、
前記(10)に記載の情報処理装置。
(12)
前記連結部は、前記複数の蛍光スペクトルを補正し、補正後の前記複数の蛍光スペクトルの少なくとも一部を前記波長方向に連結する、
前記(1)~(11)の何れか1項に記載の情報処理装置。
(13)
前記連結部は、前記複数の蛍光スペクトルの強度を補正する、
前記(12)に記載の情報処理装置。
(14)
前記連結部は、励起パワー密度で前記複数の蛍光スペクトルを除算することで、前記複数の蛍光スペクトルの強度を補正する、
前記(13)に記載の情報処理装置。
(15)
前記連結部は、前記複数の蛍光スペクトルのうちの少なくとも1つの波長分解能を他の蛍光スペクトルの波長分解能とは異なる波長分解能に補正する、
前記(12)~(14)の何れか1項に記載の情報処理装置。
(16)
前記連結部は、前記複数の蛍光スペクトルそれぞれから強度ピークを含む波長帯域の蛍光スペクトルを抽出し、当該抽出した蛍光スペクトルを連結することで前記連結蛍光スペクトルを生成する、
前記(1)~(15)の何れか1項に記載の情報処理装置。
(17)
前記連結蛍光スペクトルは、前記複数の蛍光スペクトル間にて波長方向に不連続で連結される、
前記(1)~(16)の何れか1項に記載の情報処理装置。
(18)
前記蛍光信号取得部は、前記蛍光染色標本を撮像することで得られた、前記複数の蛍光スペクトルよりなる第1画像データを取得し、
前記分離部は、前記第1画像データの第1グラム行列に対して非負値行列因子分解を行うことで、前記第1画像データを前記蛍光物質ごとのスペクトルに分離する、
前記(1)~(17)の何れか1項に記載の情報処理装置。
(19)
前記分離部は、前記第1画像データを分割した複数の第2画像データそれぞれの第2グラム行列を畳み込むことで、前記第1グラム行列を算出する、
前記(18)に記載の情報処理装置。
(20)
前記蛍光信号取得部は、前記励起光が照射されている非染色の前記標本を撮像することで得られた第1画像データを取得し、
前記抽出部は、前記第1画像データの第1グラム行列に対して非負値行列因子分解を行うことで、前記第1画像データから前記自家蛍光物質ごとのスペクトルを抽出し、抽出した前記自家蛍光物質ごとのスペクトルを用いて前記連結自家蛍光参照スペクトルを更新する、
前記(1)~(17)の何れか1項に記載の情報処理装置。
(21)
前記抽出部は、前記第1画像データを分割した複数の第2画像データそれぞれの第2グラム行列を畳み込むことで、前記第1グラム行列を算出する、
前記(20)に記載の情報処理装置。
(22)
標本が蛍光試薬により染色されることで作成された蛍光染色標本に対して、波長が互いに異なる複数の励起光を照射する光源を備え、前記複数の励起光それぞれに対応する複数の蛍光スペクトルを取得する撮像装置と、前記複数の蛍光スペクトルを用いる処理に使われるソフトウェアとを含んで構成される顕微鏡システムであって、
前記ソフトウェアは、情報処理装置で実行され、
前記複数の蛍光スペクトルの少なくとも一部を波長方向に連結することで連結蛍光スペクトルを生成することと、
前記標本における自家蛍光物質のスペクトルが波長方向に連結された連結自家蛍光参照スペクトルと、前記蛍光染色標本における蛍光物質のスペクトルが波長方向に連結された連結蛍光参照スペクトルとを含む参照スペクトルを用いて、前記連結蛍光スペクトルを前記蛍光物質ごとのスペクトルに分離することと、
分離された前記蛍光物質ごとのスペクトルを用いて、前記連結自家蛍光参照スペクトルを更新することと、
を実現する、
顕微鏡システム。
【符号の説明】
【0243】
10 蛍光試薬
11 試薬識別情報
20 標本
21 標本識別情報
30 蛍光染色標本
100 情報処理装置
110 取得部
111 情報取得部
112 蛍光信号取得部
120 保存部
121 情報保存部
122 蛍光信号保存部
130 処理部
131 連結部
132 分離処理部
133 画像生成部
140 表示部
150 制御部
160 操作部
200 データベース
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33
図34
図35
図36
図37
図38
図39
図40
図41
図42