(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024150743
(43)【公開日】2024-10-23
(54)【発明の名称】情報処理システムおよび情報処理方法
(51)【国際特許分類】
G01N 21/64 20060101AFI20241016BHJP
G01N 33/48 20060101ALI20241016BHJP
G01N 33/483 20060101ALI20241016BHJP
G06T 7/00 20170101ALI20241016BHJP
【FI】
G01N21/64 Z
G01N21/64 F
G01N21/64 E
G01N33/48 P
G01N33/483 C
G06T7/00 612
【審査請求】有
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2024126489
(22)【出願日】2024-08-02
(62)【分割の表示】P 2019132300の分割
【原出願日】2019-07-17
(31)【優先権主張番号】P 2018138662
(32)【優先日】2018-07-24
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】中村 友彦
(72)【発明者】
【氏名】中川 和博
(72)【発明者】
【氏名】辰田 寛和
(72)【発明者】
【氏名】中鉢 秀弥
(57)【要約】
【課題】計測対象である蛍光シグナルと標本の自家蛍光シグナルとのうちの少なくとも1つを、より適切に標本の画像情報から分離することを可能にする。
【解決手段】蛍光試薬で染色された標本の画像情報を取得する画像取得部と、前記標本に関する情報および前記蛍光試薬に関する情報を取得する情報取得部と、前記標本に関する情報および前記蛍光試薬に関する情報に基づいて、前記画像情報から第1蛍光シグナルと第2蛍光シグナルを分離する解析部と、を備える、情報処理装置が提供される。
【選択図】
図3
【特許請求の範囲】
【請求項1】
蛍光試薬で染色された標本の画像情報を取得する画像取得部と、
前記標本に関する情報および前記蛍光試薬に関する情報を取得する情報取得部と、
前記標本に関する情報および前記蛍光試薬に関する情報に基づいて、前記画像情報から第1蛍光シグナルと第2蛍光シグナルを分離する解析部と、
を備える情報処理装置。
【請求項2】
前記第1蛍光シグナルは、前記標本の自家蛍光シグナルであり、
前記第2蛍光シグナルは、前記蛍光試薬の蛍光シグナルである、
請求項1に記載の情報処理装置。
【請求項3】
前記標本は、第1自家蛍光成分と第2自家蛍光成分を含み、
前記第1蛍光シグナルは、前記第1自家蛍光成分の自家蛍光シグナルであり、
前記第2蛍光シグナルは、前記第2自家蛍光成分の自家蛍光シグナルである、
請求項1に記載の情報処理装置。
【請求項4】
前記蛍光試薬は、第1蛍光試薬と第2蛍光試薬を含み、
前記第1蛍光シグナルは、前記第1蛍光試薬の蛍光シグナルであり、
前記第2蛍光シグナルは、前記第2蛍光試薬の蛍光シグナルである、
請求項1に記載の情報処理装置。
【請求項5】
前記解析部は、前記標本に関する情報および前記蛍光試薬に関する情報に基づいて、前記画像情報から更に第3蛍光シグナルを分離し、
前記第3蛍光シグナルは、前記標本の自家蛍光シグナルである、
請求項4に記載の情報処理装置。
【請求項6】
前記解析部は、前記第1自家蛍光成分の自家蛍光シグナルと前記第2自家蛍光成分の自家蛍光シグナルの構成比に基づいて前記標本の固定化状態を解析する、
請求項3に記載の情報処理装置。
【請求項7】
前記標本に関する情報は、標本に含まれる自家蛍光成分、および前記自家蛍光成分のスペクトル情報を含む、
請求項1に記載の情報処理装置。
【請求項8】
前記標本に含まれる自家蛍光成分は、NADH(nicotinamide adenine dinucleotide還元型)、FAD(flavin adenine dinucleotide)、およびPorphinのうち少なくとも1つ以上である、
請求項7に記載の情報処理装置。
【請求項9】
前記標本に関する情報は、更に、使用される組織の種類、対象となる疾病の種類、対象者の属性、対象者の生活習慣に関する情報を含む、
請求項7に記載の情報処理装置。
【請求項10】
前記蛍光試薬に関する情報は、前記蛍光試薬に含まれる蛍光成分のスペクトル情報を含む、
請求項1に記載の情報処理装置。
【請求項11】
前記情報取得部は、前記標本を識別可能な標本識別情報に基づいて前記標本に関する情報を取得し、前記蛍光試薬を識別可能な試薬識別情報に基づいて前記蛍光試薬に関する情報を取得する、
請求項1に記載の情報処理装置。
【請求項12】
前記試薬識別情報は、前記蛍光試薬の製造ロットを更に識別可能である、
請求項11に記載の情報処理装置。
【請求項13】
前記第1蛍光シグナルまたは前記第2蛍光シグナルに基づいて生成された画像情報を表示する表示部をさらに備える、
請求項1に記載の情報処理装置。
【請求項14】
前記表示部は、前記第1蛍光シグナルと前記第2蛍光シグナルを区別するよう制御し生成された画像情報を表示する、
請求項13に記載の情報処理装置。
【請求項15】
前記第1蛍光シグナルは、前記標本の自家蛍光シグナルであり、
前記第2蛍光シグナルは、前記蛍光試薬の蛍光シグナルであり、
前記表示部は、前記標本の自家蛍光シグナルを減算処理して前記蛍光試薬の蛍光シグナルを区別するよう制御し、生成された画像を表示する、
請求項14に記載の情報処理装置。
【請求項16】
前記解析部は、分離された前記自家蛍光シグナルを用いて、他の標本の画像情報に対して減算処理を行うことで前記他の標本の画像情報から前記蛍光シグナルを抽出する、
請求項2に記載の情報処理装置。
【請求項17】
前記解析部は、前記画像情報における前記第1蛍光シグナルおよび前記第2蛍光シグナルの分布に基づいて前記画像情報に含まれる物体の領域を認識する、
請求項1に記載の情報処理装置。
【請求項18】
前記解析部は、分離後の前記第1蛍光シグナルおよび前記第2蛍光シグナルと、分離に用いられた前記画像情報、前記標本に関する情報および前記蛍光試薬に関する情報とを用いて行われた機械学習の結果に基づいて前記分離を行う、
請求項1に記載の情報処理装置。
【請求項19】
前記第1及び第2蛍光シグナルのうち少なくとも1つは、自家蛍光シグナルであり、
前記蛍光試薬に関する情報は、前記蛍光試薬に関する量子収率、蛍光標識率、および吸収断面積もしくはモル吸光係数を含み、
前記解析部は、前記自家蛍光シグナルが除去された前記画像情報、および前記蛍光試薬に関する情報を用いて、前記画像情報における蛍光分子の数、または前記蛍光分子と結合している抗体の数のうちの少なくともいずれか一方を算出する、
請求項1に記載の情報処理装置。
【請求項20】
蛍光試薬で染色された標本の画像情報を取得する画像取得部と、前記標本に関する情報および前記蛍光試薬に関する情報を取得する情報取得部とを有する情報処理装置と、
前記標本に関する情報および前記蛍光試薬に関する情報に基づいて、前記画像情報から第1蛍光シグナルと第2蛍光シグナルを分離するよう制御する制御機能を情報処理装置に実行させるプログラムと、
を有する顕微鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、情報処理システム、およびプログラムに関する。
【背景技術】
【0002】
従来から蛍光免疫染色においては、蛍光標識された二次抗体を用いて抗原の可視化が行われてきた。この方法が用いられる場合、一次抗体に用いられる抗体の種類によって可視化が可能な抗原の種類が限定される。
【0003】
この問題の解決策として、酵素標識された二次抗体を用いた蛍光増幅法が実施されている。この方法の場合、従来の免疫染色と同様に利用可能な酵素の種類によって可視化が可能な抗原の種類が限定されるところ、抗原抗体反応、蛍光色素の標本への沈着、抗体の剥離を繰り返すことで、多数の抗原の可視化が実現されている。しかし、蛍光増幅法では、以下の非特許文献1にも開示されているように、抗原抗体反応、抗体の剥離のサイクルを繰り返すほど作業に長時間を要し、サイクルを繰り返す度に標本が劣化する可能性がある。
【0004】
これらの問題の解決策として、一次抗体や蛍光プローブに直接蛍光色素が標識された試薬を用いる方法が開発された。この方法では蛍光色素の種類だけ抗原またはターゲット分子の可視化が可能となる。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】Zhang W. et al.“Fully automated 5-plex fluorescent immunohistochemistry with tyramide signal amplification and same species antibodies”、[online]、平成29年5月15日、Laboratory Investigation、インターネット〈URL:http://www.nature.com/articles/labinvest201737〉
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、この方法においては、一次抗体や蛍光プローブに結合可能な蛍光色素の種類に限りがあるため、計測対象である蛍光シグナルが標本の自家蛍光シグナルに埋もれ、その検出が困難になる場合があった。
【0007】
そこで、本開示は、上記問題に鑑みてなされたものであり、本開示の目的とするところは、計測対象である蛍光シグナルと標本の自家蛍光シグナルとのうちの少なくとも1つを、より適切に標本の画像情報から分離することが可能な、新規かつ改良された情報処理装置、情報処理方法、情報処理システム、およびプログラムを提供することにある。
【課題を解決するための手段】
【0008】
本開示によれば、蛍光試薬で染色された標本の画像情報を取得する画像取得部と、前記標本に関する情報および前記蛍光試薬に関する情報を取得する情報取得部と、前記標本に関する情報および前記蛍光試薬に関する情報に基づいて、前記画像情報から第1蛍光シグナルと第2蛍光シグナルを分離する解析部と、を備える、情報処理装置が提供される。
【発明の効果】
【0009】
以上説明したように本開示によれば、計測対象である蛍光シグナルと標本の自家蛍光シグナルとのうちの少なくとも1つを、より適切に標本の画像情報から分離することを可能にする。
【0010】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【0011】
【
図1】標本20由来の自家蛍光シグナルの除去について説明するための図である。
【
図2】標本20由来の自家蛍光シグナルの除去について説明するための図である。
【
図3】本実施形態に係る情報処理システムの構成例を示すブロック図である。
【
図4】情報処理装置100による各種処理のフローの例を示すフローチャートである。
【
図5】情報処理装置100による各種処理のフローの例を示すフローチャートである。
【
図6】標本20由来の自家蛍光シグナルの除去の実施例について説明するための図である。
【
図7】標本20由来の自家蛍光シグナルの除去の実施例について説明するための図である。
【
図8A】標本20由来の自家蛍光シグナルの除去の実施例について説明するための図である。
【
図8B】標本20由来の自家蛍光シグナルの除去の実施例について説明するための図である。
【
図9A】標本20由来の自家蛍光シグナルの除去の実施例について説明するための図である。
【
図9B】標本20由来の自家蛍光シグナルの除去の実施例について説明するための図である。
【
図10】標本20として扁桃組織を使用し、画像情報から蛍光シグナルを抽出する際の色分離計算に用いる自家蛍光シグナルに扁桃組織から得られた自家蛍光シグナルを使用した場合の画像情報の一例を示す図である。
【
図11】標本20として扁桃組織を使用し、画像情報から蛍光シグナルを抽出する際の色分離計算に用いる自家蛍光シグナルに、扁桃組織とは異なる組織である肺組織から得られた自家蛍光シグナルを使用した場合の画像情報の一例を示す図である。
【
図12】蛍光試薬10として蛍光色素Alexa Fluor 488で標識されたマーカ抗体CD4を用いた場合の色分離結果を説明するための図である。
【
図13】蛍光試薬10として蛍光色素Alexa Fluor 594で標識されたマーカ抗体PDL-1を用いた場合の色分離結果を説明するための図である。
【
図14】標本20の固定化状態の解析の実施例について説明するための図である。
【
図15】標本20の固定化状態の解析の実施例について説明するための図である。
【
図16】標本20の固定化状態の解析の実施例について説明するための図である。
【
図17】標本20の固定化状態の解析の実施例について説明するための図である。
【
図18】情報処理装置100のハードウェア構成例を示すブロック図である。
【
図19】実際の標本情報および試薬情報がカタログ値や文献値と異なることを説明するための図である。
【
図20】実際の標本情報および試薬情報がカタログ値や文献値と異なることを説明するための図である。
【
図21】本実施形態の変形例に係る情報処理システムの構成例を示すブロック図である。
【
図22】診断支援システムの概略的な構成の一例を示すブロック図である。
【発明を実施するための形態】
【0012】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0013】
なお、説明は以下の順序で行うものとする。
1.概要
2.実施形態
3.実施例
4.ハードウェア構成例
5.備考
6.システム構成の変形例
7.まとめ
8.応用例
【0014】
<1.概要>
まず、本開示の概要について説明する。
【0015】
従来の免疫染色では、例えば、酵素標識された二次抗体を用いて発色(吸色)色素を標本に沈着させることで、一次抗体によって認識された抗原が可視化されていた。この方法によって多数の抗原の可視化が図られる場合、利用可能な酵素の種類には限りがある。また、色素スペクトルの分離能に応じて可視化が可能な抗原の種類にも限りがある。
【0016】
一方、蛍光免疫染色では、従来から蛍光標識された二次抗体を用いて抗原の可視化が行われてきた。この方法が用いられる場合、一次抗体に用いられる抗体の種類によって可視化が可能な抗原の種類が限定される。
【0017】
この問題の解決策として、酵素標識された二次抗体を用いた蛍光増幅法が実施されている。この方法の場合、従来の蛍光免疫染色と同様に利用可能な酵素の種類によって可視化が可能な抗原の種類が限定されるところ、抗原抗体反応、蛍光色素の標本への沈着、および抗体の剥離を繰り返すことで多数の抗原の可視化が実現されている。しかし、蛍光増幅法では、上記の非特許文献1にも開示されているように、抗原抗体反応、および抗体の剥離のサイクルを繰り返すほど作業に長時間を要し、サイクルを繰り返す度に標本が劣化する可能性がある。
【0018】
これらの問題の解決策として、一次抗体や蛍光プローブに直接蛍光色素が標識された試薬を用いる方法が開発された。この方法では蛍光色素の種類だけ抗原またはターゲット分子の可視化が可能となる。しかし、この方法においては、一次抗体や蛍光プローブに結合可能な蛍光色素の種類に限りがあるため、計測対象である蛍光シグナルが標本の自家蛍光シグナルに埋もれ、その検出が困難になる場合があった。
【0019】
特に、組織サンプルが用いられる場合においては、臓器毎の自家蛍光成分の相違や、組織サンプルの固定状況による自家蛍光強度の相違が生じるため、計測対象である蛍光シグナルと標本の自家蛍光シグナルとの区別がより困難になる。
【0020】
従来、組織サンプルに対する蛍光標識後の計測時には、標本由来の自家蛍光シグナルを除去するために、当該標本と由来が同じかまたは類似した非標識の標本の蛍光シグナルを測定した上で、組織サンプルから取得された蛍光シグナルから非標識の標本の蛍光シグナルを減算することなどが行われている。しかし、標本自体の状態、標本の保存方法、および標本の作製方法などによって自家蛍光のスペクトルや、スペクトルの空間分布が異なるため、この方法が用いられる場合、計測の度に非標識の標本の蛍光シグナルの測定および当該蛍光シグナルを用いた減算処理を行うことが求められるため、実施者への負荷が大きい。
【0021】
本件の開示者は、上記事情に鑑みて本開示に係る技術を創作するに至った。本件の開示者は、標本の固定化方法により標本全体の自家蛍光スペクトルは変化するが、自家蛍光スペクトルを構成する自家蛍光成分のスペクトルは変化せず、各成分の蛍光シグナルの構成比の問題に帰着するという発見に基づいて本開示に係る技術に想到した。
【0022】
より具体的には、本開示に係る情報処理装置100は、標本に関する情報および蛍光試薬に関する情報に基づいて、少なくとも1つの蛍光試薬で染色された標本の画像情報から標本の自家蛍光シグナルと、蛍光試薬の蛍光シグナルとを分離する。また、標本が、2以上の蛍光試薬で染色されている場合、情報処理装置100は、標本に関する情報および蛍光試薬に関する情報に基づいて、画像情報から2以上の蛍光試薬それぞれの蛍光シグナルを分離する。
【0023】
ここで、「標本に関する情報」(以降、便宜的に「標本情報」と呼称する)とは、標本に含まれる自家蛍光成分固有の計測チャネルおよびスペクトル情報を含む情報である。「計測チャネル」とは、自家蛍光シグナルを構成する1以上の要素を示す概念である。より具体的に説明すると、自家蛍光スペクトルは、1以上の自家蛍光成分が有する蛍光スペクトルが混合されたものである。例えば、
図1には、蛍光試薬としてAlexa Fluor 488(図中には「Alexa 488」と表記)、Alexa Fluor 555(図中には「Alexa 555」と表記)、およびAlexa Fluor 647(図中には「Alexa 647」と表記)が用いられた場合の、自家蛍光を含む蛍光スペクトルが示されている。自家蛍光成分としては、NADH(nicotinamide adenine dinucleotide還元型)、FAD(flavin adenine dinucleotide)、およびPorphinが含まれており、これらの自家蛍光成分が有する蛍光スペクトルが混合されたものが自家蛍光スペクトルとして
図1に含まれている。本開示に係る計測チャネルとは、
図1の例では、自家蛍光スペクトルを構成するNADH、FAD、およびPorphinを指す概念であり、計3チャネルが用いられていることになる(換言すると、本開示に係る計測チャネルは、標本に含まれる自家蛍光成分を示す情報である)。自家蛍光成分の数は標本によって様々であるため、計測チャネルは、標本情報として各標本に紐づけられて管理されている。また、標本情報に含まれる「スペクトル情報」とは、各標本に含まれる自家蛍光成分それぞれが有する自家蛍光スペクトルに関する情報である。なお、標本情報の内容は上記に限定されない。標本情報については後段にてさらに詳細に説明する。
【0024】
「蛍光試薬に関する情報」(以降、便宜的に「試薬情報」と呼称する)とは、蛍光試薬に含まれる蛍光成分のスペクトル情報を含む情報である。試薬情報に含まれる「スペクトル情報」とは、各蛍光試薬に含まれる蛍光成分それぞれが有する蛍光スペクトルに関する情報である。なお、試薬情報の内容は上記に限定されない。試薬情報については後段にてさらに詳細に説明する。
【0025】
本開示に係る情報処理装置100は、標本情報に含まれる計測チャネルおよびスペクトル情報と、試薬情報に含まれるスペクトル情報に基づいて、標本由来の自家蛍光シグナルを推定し、画像情報から自家蛍光シグナルを除去することで蛍光試薬の蛍光シグナルを抽出することができる。例えば、情報処理装置100は、自家蛍光成分であるNADH、FAD、およびPorphinによる自家蛍光シグナルを画像情報から除去することによって、
図2に示すようにAlexa Fluor 488、Alexa Fluor 555、およびAlexa Fluor 647による蛍光シグナルを抽出することができる。
【0026】
本開示に係る情報処理装置100については、上記のように自家蛍光シグナルの減算処理のために非標識の標本の蛍光シグナルを測定することが不要であるため、実施者への負担が軽減される。また、情報処理装置100は、標本情報または試薬情報のいずれか一方ではなく、標本情報および試薬情報の両方を用いることによってより高い精度で自家蛍光シグナルと蛍光シグナルとを分離することができる。
【0027】
また、従来、計測対象である蛍光シグナルを取得するために、標本由来の自家蛍光シグナルを無視できる程度にまで計測対象となる蛍光シグナルを増幅させる方法が広く一般的に行われているところ、この方法では標本由来の自家蛍光シグナルの取得は困難である。一方、本開示に係る情報処理装置100は、画像情報から標本由来の自家蛍光シグナルを抽出することができる。したがって、情報処理装置100は、画像情報における自家蛍光シグナルおよび蛍光シグナルの分布に基づいて、画像情報に含まれる物体(例えば、細胞、細胞内構造(細胞質、細胞膜、核、など)、または組織(腫瘍部、非腫瘍部、結合組織、血管、血管壁、リンパ管、繊維化構造、壊死、など))の領域を認識するセグメンテーション(または領域分割)を行うことができる。
【0028】
また、標本の固定化状態(例えば、固定化方法など)によって標本全体の自家蛍光シグナルは変化するため、情報処理装置100は、抽出した自家蛍光シグナルに基づいて標本の固定化状態を解析(評価)することができる。より具体的には、情報処理装置100は、自家蛍光を発する2以上の成分それぞれの自家蛍光シグナルの構成比に基づいて標本の固定化状態を解析することができる。
【0029】
<2.実施形態>
上記では、本開示の概要について説明した。続いて、本開示の一実施形態について説明する。
【0030】
(2.1.構成例)
まず、
図3を参照して、本実施形態に係る情報処理システムの構成例について説明する。
図3に示すように、本実施形態に係る情報処理システムは、情報処理装置100と、データベース200と、を備え、情報処理システムへの入力として、蛍光試薬10、標本20と、蛍光染色標本30と、が存在する。
【0031】
(蛍光試薬10)
蛍光試薬10は、標本20の染色に使用される薬品である。蛍光試薬10は、例えば、蛍光抗体(直接標識に使用される一次抗体、または間接標識に使用される二次抗体が含まれる)、蛍光プローブ、または核染色試薬などであるが、蛍光試薬10の種類はこれらに特に限定されない。また、蛍光試薬10は、蛍光試薬10(および蛍光試薬10の製造ロット)を識別可能な識別情報(以降「試薬識別情報11」と呼称する)を付されて管理される。試薬識別情報11は、例えばバーコード情報など(一次元バーコード情報や二次元バーコード情報など)であるが、これに限定されない。蛍光試薬10は、同一(同種類)の製品であっても、製造方法や抗体が取得された細胞の状態などに応じて製造ロット毎にその性質が異なる。例えば、蛍光試薬10において、製造ロット毎にスペクトル情報、量子収率、または蛍光標識率(「F/P値:Fluorescein/Protein」とも呼称される。抗体を標識する蛍光分子数を指す)などが異なる。そこで、本実施形態に係る情報処理システムにおいて、蛍光試薬10は、試薬識別情報11を付されることによって製造ロット毎に管理される(換言すると、各蛍光試薬10の試薬情報は製造ロット毎に管理される)。これによって、情報処理装置100は、製造ロット毎に現れる僅かな性質の違いも考慮した上で蛍光シグナルと自家蛍光シグナルとを分離することができる。なお、蛍光試薬10が製造ロット単位で管理されることはあくまで一例であり、蛍光試薬10は製造ロットよりも細かい単位で管理されてもよい。
【0032】
(標本20)
標本20は、人体から採取された検体または組織サンプルから病理診断または臨床検査などを目的に作製されたものである。標本20について、使用される組織(例えば臓器または細胞など)の種類、対象となる疾病の種類、対象者の属性(例えば、年齢、性別、血液型、または人種など)、または対象者の生活習慣(例えば、食生活、運動習慣、または喫煙習慣など)は特に限定されない。また、標本20は、各標本20を識別可能な識別情報(以降、「標本識別情報21」と呼称する)を付されて管理される。標本識別情報21は、試薬識別情報11と同様に、例えばバーコード情報など(一次元バーコード情報や二次元バーコード情報など)であるが、これに限定されない。標本20は、使用される組織の種類、対象となる疾病の種類、対象者の属性、または対象者の生活習慣などに応じてその性質が異なる。例えば、標本20において、使用される組織の種類などに応じて計測チャネルまたはスペクトル情報などが異なる。そこで、本実施形態に係る情報処理システムにおいて、標本20は、標本識別情報21を付されることによって個々に管理される。これによって、情報処理装置100は、標本20毎に現れる僅かな性質の違いも考慮した上で蛍光シグナルと自家蛍光シグナルとを分離することができる。
【0033】
(蛍光染色標本30)
蛍光染色標本30は、標本20が蛍光試薬10によって染色されることで作成されたものである。本実施形態において、蛍光染色標本30は、標本20が少なくとも1つの蛍光試薬10によって染色されることを想定しているところ、染色に用いられる蛍光試薬10の数は特に限定されない。また、染色方法は、標本20および蛍光試薬10それぞれの組み合わせなどによって決まり、特に限定されるものではない。蛍光染色標本30は、情報処理装置100に対して入力され、撮像される。
【0034】
(情報処理装置100)
情報処理装置100は、
図3に示すように、取得部110と、保存部120と、処理部130と、表示部140と、制御部150と、操作部160と、を備える。
【0035】
(取得部110)
取得部110は、情報処理装置100の各種処理に使用される情報を取得する構成である。
図3に示すように、取得部110は、情報取得部111と、画像取得部112と、を備える。
【0036】
(情報取得部111)
情報取得部111は、試薬情報および標本情報を取得する構成である。より具体的には、情報取得部111は、蛍光染色標本30の生成に使用された蛍光試薬10に付された試薬識別情報11、および標本20に付された標本識別情報21を取得する。例えば、情報取得部111は、バーコードリーダーなどを用いて試薬識別情報11および標本識別情報21を取得する。そして、情報取得部111は、試薬識別情報11に基づいて試薬情報を、標本識別情報21に基づいて標本情報をそれぞれデータベース200から取得する。情報取得部111は、取得したこれらの情報を後述する情報保存部121に保存する。
【0037】
(画像取得部112)
画像取得部112は、蛍光染色標本30(少なくとも1つの蛍光試薬10で染色された標本20)の画像情報を取得する構成である。より具体的には、画像取得部112は、任意の撮像素子(例えば、CCDやCMOSなど)を備えており、当該撮像素子を用いて蛍光染色標本30を撮像することで画像情報を取得する。ここで、「画像情報」は、蛍光染色標本30の画像自体だけでなく、像として視覚化されていない測定値なども含む概念であることに留意されたい。例えば、画像情報には、蛍光染色標本30から放射した蛍光の波長スペクトル(以下、蛍光スペクトルという)に関する情報が含まれていてもよい。画像取得部112は、画像情報を後述する画像情報保存部122に保存する。
【0038】
(保存部120)
保存部120は、情報処理装置100の各種処理に使用される情報、または各種処理によって出力された情報を保存(記憶)する構成である。
図3に示すように、保存部120は、情報保存部121と、画像情報保存部122と、解析結果保存部123と、を備える。
【0039】
(情報保存部121)
情報保存部121は、情報取得部111によって取得された試薬情報および標本情報を保存する構成である。なお、後述する解析部131による解析処理および画像生成部132による画像情報の生成処理(画像情報の再構築処理)が終了した後には、情報保存部121は、処理に用いられた試薬情報および標本情報を削除することで空き容量を増やしてもよい。
【0040】
(画像情報保存部122)
画像情報保存部122は、画像取得部112によって取得された蛍光染色標本30の画像情報を保存する構成である。なお、情報保存部121と同様に、解析部131による解析処理および画像生成部132による画像情報の生成処理(画像情報の再構築処理)が終了した後には、画像情報保存部122は、処理に用いられた画像情報を削除することで空き容量を増やしてもよい。
【0041】
(解析結果保存部123)
解析結果保存部123は、後述する解析部131によって行われた解析処理の結果を保存する構成である。例えば、解析結果保存部123は、解析部131によって分離された、蛍光試薬の蛍光シグナルまたは標本20の自家蛍光シグナルを保存する。また、解析結果保存部123は、別途、機械学習などによって解析精度を向上させるために、解析処理の結果をデータベース200へ提供する。なお、解析結果保存部123は、解析処理の結果をデータベース200へ提供した後には、自らが保存している解析処理の結果を適宜削除することで空き容量を増やしてもよい。
【0042】
(処理部130)
処理部130は、画像情報、試薬情報、および標本情報を用いて各種処理を行う機能構成である。
図3に示すように、処理部130は、解析部131と、画像生成部132と、を備える。
【0043】
(解析部131)
解析部131は、画像情報、標本情報、および試薬情報を用いて各種解析処理を行う構成である。例えば、解析部131は、標本情報および試薬情報に基づいて画像情報から標本20の自家蛍光シグナルと蛍光試薬10の蛍光シグナルとを分離する処理を行う。
【0044】
より具体的には、解析部131は、標本情報に含まれる計測チャネルに基づいて自家蛍光シグナルを構成する1以上の要素を認識する。例えば、解析部131は、自家蛍光シグナルを構成する1以上の自家蛍光成分を認識する。そして、解析部131は、標本情報に含まれる、これらの自家蛍光成分のスペクトル情報を用いて画像情報に含まれる自家蛍光シグナルを予想する。そして、解析部131は、試薬情報に含まれる、蛍光試薬10の蛍光成分のスペクトル情報、および予想した自家蛍光シグナルに基づいて画像情報から自家蛍光シグナルと蛍光シグナルとを分離する。
【0045】
ここで、標本20が2以上の蛍光試薬10で染色されている場合、解析部131は、標本情報および試薬情報に基づいて画像情報(または、自家蛍光シグナルと分離された後の蛍光シグナル)からこれら2以上の蛍光試薬10それぞれの蛍光シグナルを分離する。例えば、解析部131は、試薬情報に含まれる、各蛍光試薬10の蛍光成分のスペクトル情報を用いて、自家蛍光シグナルと分離された後の蛍光シグナル全体から各蛍光試薬10それぞれの蛍光シグナルを分離する。
【0046】
また、自家蛍光シグナルが2以上の自家蛍光成分によって構成されている場合、解析部131は、標本情報および試薬情報に基づいて画像情報(または、蛍光シグナルと分離された後の自家蛍光シグナル)から各自家蛍光成分それぞれの自家蛍光シグナルを分離する。例えば、解析部131は、標本情報に含まれる各自家蛍光成分のスペクトル情報を用いて、蛍光シグナルと分離された後の自家蛍光シグナル全体から各自家蛍光成分それぞれの自家蛍光シグナルを分離する。
【0047】
蛍光シグナルおよび自家蛍光シグナルを分離した解析部131は、これらのシグナルを用いて各種処理を行う。例えば、解析部131は、分離後の自家蛍光シグナルを用いて、他の標本20の画像情報に対して減算処理(「バックグラウンド減算処理」とも呼称する)を行うことで当該他の標本20の画像情報から蛍光シグナルを抽出してもよい。標本20に使用される組織、対象となる疾病の種類、対象者の属性、および対象者の生活習慣などの観点で同一または類似の標本20が複数存在する場合、これらの標本20の自家蛍光シグナルは類似している可能性が高い。ここでいう類似の標本とは、例えば染色される組織切片(以下切片)の染色前の組織切片、染色された切片に隣接する切片、同一ブロック(染色切片と同一の場所からサンプリングされたもの)における染色切片と異なる切片、又は同一組織における異なるブロック(染色切片と異なる場所からサンプリングされたもの)における切片等)、異なる患者から採取した切片などが含まれる。そこで、解析部131は、ある標本20から自家蛍光シグナルを抽出できた場合、他の標本20の画像情報から当該自家蛍光シグナルを除去することで、当該他の標本20の画像情報から蛍光シグナルを抽出してもよい。また、解析部131は、他の標本20の画像情報を用いてS/N値を算出する際に、自家蛍光シグナルを除去した後のバックグラウンドを用いることでS/N値を改善することができる。
【0048】
また、解析部131は、バックグラウンド減算処理以外にも分離後の蛍光シグナルまたは自家蛍光シグナルを用いて様々な処理を行うことができる。例えば、解析部131は、これらのシグナルを用いて標本20の固定化状態の解析を行ったり、画像情報に含まれる物体(例えば、細胞、細胞内構造(細胞質、細胞膜、核、など)、または組織(腫瘍部、非腫瘍部、結合組織、血管、血管壁、リンパ管、繊維化構造、壊死、など))の領域を認識するセグメンテーション(または領域分割)を行ったりすることができる。標本20の固定化状態の解析およびセグメンテーションについては後段にて詳述する。
【0049】
(画像生成部132)
画像生成部132は、解析部131によって分離された蛍光シグナルまたは自家蛍光シグナルに基づいて画像情報を生成(再構成)する構成である。例えば、画像生成部132は、蛍光シグナルのみが含まれる画像情報を生成したり、自家蛍光シグナルのみが含まれる画像情報を生成したりすることができる。その際、蛍光シグナルが複数の蛍光成分によって構成されていたり、自家蛍光シグナルが複数の自家蛍光成分によって構成されたりしている場合、画像生成部132は、それぞれの成分単位で画像情報を生成することができる。さらに、解析部131が分離後の蛍光シグナルまたは自家蛍光シグナルを用いた各種処理(例えば、標本20の固定化状態の解析、セグメンテーション、またはS/N値の算出など)を行った場合、画像生成部132は、それらの処理の結果を示す画像情報を生成してもよい。本構成によれば、標的分子等に標識された蛍光試薬10の分布情報、つまり蛍光の二次元的な広がりや強度、波長、及びそれぞれの位置関係が可視化され、特に標的物質の情報が複雑な組織画像解析領域においてユーザである医師や研究者の視認性を向上させることができる。
【0050】
また画像生成部132は解析部131によって分離された蛍光シグナルまたは自家蛍光シグナルに基づいて自家蛍光シグナルに対する蛍光シグナルを区別するよう制御し、画像情報を生成しても良い。具体的には、標的分子等に標識された蛍光試薬10の蛍光スペクトルの輝度を向上させる、標識された蛍光試薬10の蛍光スペクトルのみを抽出し変色させる、2以上の蛍光試薬10によって標識された標本20から2以上の蛍光試薬10の蛍光スペクトルを抽出しそれぞれを別の色に変色する、標本20の自家蛍光スペクトルのみを抽出し除算または減算する、ダイナミックレンジを向上させる、等を制御し画像情報を生成してもよい。これによりユーザは目的となる標的物質に結合した蛍光試薬由来の色情報を明確に区別することが可能となり、ユーザの視認性を向上させることができる。
【0051】
(表示部140)
表示部140は、画像生成部132によって生成された画像情報をディスプレイに表示することでユーザへ提示する構成である。なお、表示部140として用いられるディスプレイの種類は特に限定されない。また、本実施形態では詳細に説明しないが、画像生成部132によって生成された画像情報がプロジェクターによって投影されたり、プリンターによってプリントされたりすることでユーザへ提示されてもよい(換言すると、画像情報の出力方法は特に限定されない)。
【0052】
(制御部150)
制御部150は、情報処理装置100が行う処理全般を統括的に制御する機能構成である。例えば、制御部150は、操作部160を介して行われるユーザによる操作入力に基づいて、上記で説明したような各種処理(例えば、蛍光染色標本30の撮像処理、解析処理、画像情報の生成処理(画像情報の再構築処理)、および画像情報の表示処理など)の開始や終了などを制御する。なお、制御部150の制御内容は特に限定されない。例えば、制御部150は、汎用コンピュータ、PC、タブレットPCなどにおいて一般的に行われる処理(例えば、OS(Operating System)に関する処理)を制御してもよい。
【0053】
(操作部160)
操作部160は、ユーザからの操作入力を受ける構成である。より具体的には、操作部160は、キーボード、マウス、ボタン、タッチパネル、またはマイクロホンなどの各種入力手段を備えており、ユーザはこれらの入力手段を操作することで情報処理装置100に対して様々な入力を行うことができる。操作部160を介して行われた操作入力に関する情報は制御部150へ提供される。
【0054】
(データベース200)
データベース200は、標本情報、試薬情報、および解析処理の結果を管理する装置である。より具体的に説明すると、データベース200は、標本識別情報21と標本情報、試薬識別情報11と試薬情報をそれぞれ紐づけて管理する。これによって、情報取得部111は、計測対象である標本20の標本識別情報21に基づいて標本情報を、蛍光試薬10の試薬識別情報11に基づいて試薬情報をデータベース200から取得することができる。
【0055】
データベース200が管理する標本情報は、上記のとおり、標本20に含まれる自家蛍光成分固有の計測チャネルおよびスペクトル情報を含む情報である。しかし、これら以外にも、標本情報には、各標本20についての対象情報、具体的には、使用される組織(例えば臓器、細胞、血液、体液、腹水、胸水など)の種類、対象となる疾病の種類、対象者の属性(例えば、年齢、性別、血液型、または人種など)、または対象者の生活習慣(例えば、食生活、運動習慣、または喫煙習慣など)に関する情報が含まれてもよく、標本20に含まれる自家蛍光成分固有の計測チャネルおよびスペクトル情報を含む情報及び対象情報は標本20ごとに紐づけられてもよい。これにより、対象情報から標本20に含まれる自家蛍光成分固有の計測チャネルおよびスペクトル情報を含む情報を容易にたどることができ、例えば複数の標本20における対象情報の類似性から解析部に過去に行われた類似の分離処理を実行させ、測定時間を短縮することが可能となる。なお、「使用される組織」は対象から採取された組織には特に限定されず、ヒトや動物等の生体内組織や細胞株、測定の対象物に含まれる溶液、溶剤、溶質、材料も含めてもよい。
【0056】
また、データベース200が管理する試薬情報は、上記のとおり、蛍光試薬10のスペクトル情報を含む情報であり、しかし、これ以外にも、試薬情報には、製造ロット、蛍光成分、抗体、クローン、蛍光標識率、量子収率、褪色係数(蛍光試薬10の蛍光強度の低減し易さを示す情報)、および吸収断面積(またはモル吸光係数)などの蛍光試薬10に関する情報が含まれてもよい。さらに、データベース200が管理する標本情報および試薬情報は異なる構成で管理されていてもよく、特に試薬に関する情報はユーザに最適な試薬の組み合わせを提示する試薬データベースであってもよい。
【0057】
ここで、標本情報および試薬情報は、製造者(メーカー)などから提供されるか、本開示に係る情報処理システム内で独自に計測されることを想定している。例えば、蛍光試薬10の製造者は、製造ロット毎にスペクトル情報や蛍光標識率などを計測し提供することなどをしない場合が多い。したがって、本開示に係る情報処理システム内で独自にこれらの情報を計測し、管理することで蛍光シグナルと自家蛍光シグナルの分離精度が向上され得る。また、管理の簡略化のために、データベース200は、製造者(メーカー)などによって公開されているカタログ値、または各種文献に記載されている文献値などを標本情報および試薬情報(特に試薬情報)として用いてもよい。しかし、一般的に、実際の標本情報および試薬情報はカタログ値や文献値とは異なる場合が多いため、上記のように標本情報および試薬情報が本開示に係る情報処理システム内で独自に計測され管理される方がより好ましい。
【0058】
また、データベース200にて管理されている標本情報、試薬情報、および解析処理の結果を用いる機械学習技術などによって、解析処理(例えば、蛍光シグナルと自家蛍光シグナルとの分離処理など)の精度が向上され得る。機械学習技術などを用いて学習を行う主体は特に限定されないところ、本実施形態では情報処理装置100の解析部131が学習を行う場合を一例として説明する。例えば、解析部131は、ニューラルネットワークを用いて、分離後の蛍光シグナルおよび自家蛍光シグナルと、分離に用いられた画像情報、標本情報および試薬情報とが紐づけられた学習データによって機械学習された分類器または推定器を生成する。そして、画像情報、標本情報および試薬情報が新たに取得された場合、解析部131は、それらの情報を分類器または推定器に入力することで、当該画像情報に含まれる蛍光シグナルおよび自家蛍光シグナルを予測して出力することができる。
【0059】
また、予測される蛍光シグナルおよび自家蛍光シグナルよりも精度の高い、過去に行われた類似の分離処理(類似の画像情報、標本情報、または試薬情報が用いられる分離処理)を算出し、それらの処理における処理の内容(処理に用いられる情報やパラメータなど)を統計的または回帰的に分析し、分析結果に基づいて蛍光シグナルと自家蛍光シグナルの分離処理を改善する方法が出力されてもよい。なお、機械学習の方法は上記に限定されず、公知の機械学習技術が用いられ得る。また、人工知能によって蛍光シグナルと自家蛍光シグナルの分離処理が行われてもよい。また、蛍光シグナルと自家蛍光シグナルとの分離処理だけでなく、分離後の蛍光シグナルまたは自家蛍光シグナルを用いた各種処理(例えば、標本20の固定化状態の解析、またはセグメンテーションなど)が機械学習技術などによって改善されてもよい。
【0060】
以上、本実施形態に係る情報処理システムの構成例について説明した。なお、
図3を参照して説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、情報処理装置100は、
図3に示す機能構成の全てを必ずしも備えなくてもよい。また、情報処理装置100は、データベース200を内部に備えていてもよい。情報処理装置100の機能構成は、仕様や運用に応じて柔軟に変形可能である。
【0061】
また、情報処理装置100は、上記で説明してきた処理以外の処理を行ってもよい。例えば、蛍光試薬10に関する量子収率、蛍光標識率、および吸収断面積(もしくはモル吸光係数)などの情報が試薬情報に含まれることによって、情報処理装置100は、自家蛍光シグナルが除去された画像情報、および試薬情報を用いて画像情報における蛍光分子数や、蛍光分子と結合している抗体数などを算出してもよい。より具体的に説明すると、撮像素子(CMOSなど)によって蛍光染色標本30の撮像処理が行われる場合、ある画素Aの蛍光分子数は、以下の式1および式2によって表される。また、式2における吸収フォトン数は、以下の式3によって表される。
【0062】
【0063】
【0064】
【0065】
情報処理装置100は、式3の励起フォトン密度を実測した上で吸収断面積と乗算することで吸収フォトン数を算出する。また、情報処理装置100は、式2に基づいて吸収フォトン数と試薬情報における量子収率を乗算することで1分子当りの放出フォトン数を算出する。そして、情報処理装置100は、式1に基づいてある画素Aで検出されたフォトン数を1分子当りの放出フォトン数で除算することで画素Aの蛍光分子数を算出する。その後、情報処理装置100は、全画素に対して上記の演算を行うことで、画素毎の蛍光分子数を算出することができる。
【0066】
さらに、情報処理装置100は、試薬情報における蛍光標識率を用いて以下の式4の演算を行うことで画素Aにて検出された蛍光分子数を抗体数へ変換することができる。その後、情報処理装置100は、全画素に対して式4の演算を行うことで、画素毎の抗体数を算出することができる。
【0067】
【0068】
なお、蛍光強度の低減し易さを示す褪色係数が試薬情報に含まれることによって、情報処理装置100は、蛍光分子数や抗体数の算出処理を行うにあたり、画像情報における輝度を褪色前の輝度に補正してもよい。これによって、情報処理装置100は、蛍光成分の褪色の影響を考慮して蛍光分子数や抗体数をより精度の高く算出することができる。蛍光分子数や抗体数の算出処理は、情報処理装置100の解析部131によって実現され得るが、これに限定されない。情報処理装置100は、算出した蛍光分子数や抗体数に関する情報を反映した画像情報などをユーザに提示してもよい。
【0069】
(2.2.処理フロー)
上記では、本実施形態に係る情報処理システムの構成例について説明した。続いて、
図4および
図5を参照して、情報処理装置100による各種処理のフローの例について説明する。
【0070】
ステップS1000では、ユーザが解析に用いる蛍光試薬10および標本20を決定する。ステップS1004では、ユーザが蛍光試薬10を用いて標本20を染色することで蛍光染色標本30を作成する。
【0071】
ステップS1008では、情報処理装置100の画像取得部112が蛍光染色標本30を撮像することで画像情報を取得する。ステップS1012では、情報取得部111が蛍光染色標本30の生成に使用された蛍光試薬10に付された試薬識別情報11、および標本20に付された標本識別情報21に基づいて試薬情報および標本情報をデータベース200から取得する。
【0072】
ステップS1016では、解析部131が、標本情報および試薬情報に基づいて画像情報から標本の自家蛍光シグナルと蛍光試薬10の蛍光シグナルとを分離する。ここで、蛍光シグナルに複数の蛍光色素のシグナルが含まれる場合(ステップS1020/Yes)、ステップS1024にて、解析部131が各蛍光色素の蛍光シグナルを分離する。なお、蛍光シグナルに複数の蛍光色素のシグナルが含まれない場合(ステップS1020/No)には、ステップS1024にて各蛍光色素の蛍光シグナルの分離処理は行われない。
【0073】
ステップS1028では、画像生成部132が解析部131によって分離された蛍光シグナルを用いて画像情報を生成する。例えば、画像生成部132は、画像情報から自家蛍光シグナルが除去された画像情報を生成したり、蛍光シグナルを蛍光色素ごとに表示した画像情報を生成したりする。ステップS1032では、表示部140が画像生成部132によって生成された画像情報を表示することで一連の処理が終了する。
【0074】
なお、
図4および
図5のフローチャートにおける各ステップは、必ずしも記載された順序に沿って時系列に処理される必要はない。すなわち、フローチャートにおける各ステップは、記載された順序と異なる順序で処理されても、並列的に処理されてもよい。例えば、解析部131は、ステップS1016にて画像情報から標本の自家蛍光シグナルと蛍光試薬10の蛍光シグナルとを分離した後に、ステップS1024にて各蛍光色素の蛍光シグナルを分離するのではなく、直に画像情報から各蛍光色素の蛍光シグナルを分離してもよい(また、解析部131は、画像情報から各蛍光色素の蛍光シグナルを分離した後に、画像情報から標本の自家蛍光シグナルを分離してもよい)。また、情報処理装置100は、
図4および
図5には示されていない処理を併せて実行してもよい。例えば、解析部131はシグナルを分離するだけでなく、分離した蛍光シグナルまたは自家蛍光シグナルに基づいてセグメンテーションを行ったり、標本20の固定化状態の解析を行ったりしてもよい。
【0075】
<3.実施例>
(3.1.自家蛍光シグナルの除去の実施例)
上記では、情報処理装置100による各種処理のフローの例について説明した。続いて、自家蛍光シグナルの除去の実施例について説明する。
【0076】
図6は、慢性骨髄性白血病株細胞であるK562とヒトT細胞由来細胞株であるJurkatが標本20として用いられた場合の画像情報の一例である。より具体的には、
図6のA-1には、蛍光試薬10であるAF488-β-tubulin、AF555-E-cadherin、AF647-CD3、およびPE-Cy5-CD45によって染色された蛍光染色標本30の画像情報が表示されている。そして、
図6のA-2には、染色されていない標本20の画像情報(自家蛍光成分であるNADH、FAD、およびPorphinの自家蛍光シグナルのみが表示されている画像情報)が表示されている。
【0077】
一方、
図6のB-1およびB-2には、解析部131によって蛍光シグナルと自家蛍光シグナルの分離が行われ、画像情報から自家蛍光シグナルが除去された後の、蛍光染色標本30の画像情報および標本20の画像情報がそれぞれ表示されている(上記のとおりA-2の画像情報には自家蛍光シグナルのみが含まれており、B-2では当該自家蛍光シグナルが除去されるため、B-2の画像情報にはシグナルが含まれていない状態である)。
【0078】
続いて、
図7~
図9を参照して、標本20としてホルマリン固定パラフィン包埋(FFPE:Formalin fixed paraffin embedded)乳癌スライドが用いられた場合における、自家蛍光シグナルの除去の実施例について説明する。
【0079】
図7には、自家蛍光シグナルが除去される前の蛍光染色標本30の画像情報が表示されている。
図8のAには蛍光シグナルと自家蛍光シグナルのスペクトル情報が示されている。
図8の例では、Alexa Fluor 488(図中には「Alexa 488」と表記)、バックグラウンド(図中には「Background」と表記)、組織(図中には「Tissue」と表記)、および赤血球(図中には「Blood cell」と表記)のスペクトル情報が表示されている。そして、比較対象として、
図8のBには、非染色の標本20のシグナル(バックグラウンド、組織、および赤血球の自家蛍光シグナル)が測定された上で、蛍光染色標本30の画像情報からこれらの自家蛍光シグナルが除去された場合(換言すると、従来の方法で自家蛍光シグナルが除去された場合)の画像情報が表示されている。
【0080】
一方、
図9のAには、Alexa Fluor 488(図中には「Alexa 488」と表記)、NADH、FAD、およびPorphinのスペクトル情報が表示されている。そして、
図9のBには、本開示に係る情報処理装置100の解析部131が、標本情報および試薬情報を用いて蛍光染色標本30の画像情報から自家蛍光シグナル(NADH、FAD、およびPorphinの自家蛍光シグナル)を除去した場合の画像情報が表示されている。
【0081】
もちろん、上記はあくまで一例であり、本開示に係る技術は、任意の蛍光試薬10および任意の標本20に適用され得る。
【0082】
(3.2.蛍光シグナル同士の分離の実施例)
また、上述にもあるように、複数のマーカ分子を複数の蛍光色素で各々標識した抗体分子を用いて標本20を染色し、その蛍光染色標本30を撮像することで得られた画像情報から自家蛍光シグナルと蛍光シグナルとを色分離計算することで、特異的な染色を確認することできる。
【0083】
そこで、本実施例では、自家蛍光シグナルと蛍光シグナルとの分離、及び、自家蛍光シグナル同士の分離に加えて、蛍光シグナル同士の分離についても、具体例を挙げて説明する。
【0084】
図10は、標本20として扁桃組織を使用し、画像情報から蛍光シグナルを抽出する際の色分離計算に用いる自家蛍光シグナルに扁桃組織から得られた自家蛍光シグナルを使用した場合の画像情報の一例を示す図である。具体的には、
図10の(A1)~(A6)は、画像情報から分離された自家蛍光シグナルの画像(以下、自家蛍光画像という)を示し、(B1)~(B8)は、画像情報から分離された各蛍光試薬10由来の蛍光シグナルの画像(以下、蛍光画像という)を示している。
【0085】
なお、
図10に示す例では、標本20として使用したヒトの扁桃組織が8種類の蛍光試薬10を用いて染色された場合が示されている。8種類の蛍光試薬10としては、本例では、主として核染色に用いられる蛍光色素DAPIと、蛍光色素Alexa Fluor 488で標識されたマーカ抗体CD4と、蛍光色素Alexa Fluor 555で標識されたマーカ抗体CD3と、蛍光色素Alexa Fluor 568で標識されたマーカ抗体Ki-67と、蛍光色素Alexa Fluor 594で標識されたマーカ抗体PDL-1と、蛍光色素Alexa Fluor 647で標識されたマーカ抗体PD-1と、蛍光色素Alexa Fluor 680で標識されたマーカ抗体CD8と、蛍光色素Alexa Fluor 700で標識されたマーカ抗体CD68とが用いられている。
【0086】
図10の(A1)~(A6)には、画像情報から分離された標本20由来の6つの自家蛍光画像が示されている。また、
図10の(B1)には、画像情報から分離された蛍光色素DAPI由来の蛍光画像が示され、(B2)には、同じく画像情報から分離された蛍光色素Alexa Fluor 488(図中には「AF488」と表記)由来の蛍光画像が示され、(B3)には、同じく画像情報から分離された蛍光色素Alexa Fluor 555(図中には「AF555」と表記)由来の蛍光画像が示され、(B4)には、同じく画像情報から分離された蛍光色素Alexa Fluor 568(図中には「AF568」と表記)由来の蛍光画像が示され、(B5)は、同じく画像情報から分離された蛍光色素Alexa Fluor 594(図中には「AF594」と表記)由来の蛍光画像が示され、(B6)には、同じく画像情報から分離された蛍光色素Alexa Fluor 647(図中には「AF647」と表記)由来の蛍光画像が示され、(B7)には、同じく画像情報から分離された蛍光色素Alexa Fluor 680(図中には「AF680」と表記)由来の蛍光画像が示され、(B8)には、同じく画像情報から分離された蛍光色素Alexa Fluor 700(図中には「AF700」と表記)由来の蛍光画像が示されている。
【0087】
図10の(A1)~(A6)と(B1)~(B8)とを参照すると分かるように、本実施形態によれば、複数の蛍光試薬10を用いて標本20を染色した場合でも、解析部131は、試薬情報に含まれる、蛍光試薬10の蛍光成分のスペクトル情報および予想した自家蛍光シグナルに基づいて、画像取得部112が蛍光染色標本30を撮像することで得られた画像情報から自家蛍光シグナルと蛍光シグナルとを分離することができる。そして、解析部131は、試薬情報に含まれる、各蛍光試薬10の蛍光成分のスペクトル情報を用いて、自家蛍光シグナルと分離された後の蛍光シグナル全体から各蛍光試薬10それぞれの蛍光シグナルを分離することができる。さらに、解析部131は、標本情報に含まれる各自家蛍光成分のスペクトル情報を用いて、蛍光シグナルと分離された後の自家蛍光シグナル全体から各自家蛍光成分それぞれの自家蛍光シグナルを分離することもできる。
【0088】
自家蛍光シグナルと蛍光シグナルとの分離では、例えば、画像情報のスペクトルに対して、試薬情報に含まれるスペクトル情報に基づいて推定された自家蛍光スペクトルをフィッティングし、その際の係数に基づいて画像情報から自家蛍光シグナルを減算する処理が実行される。
【0089】
また、蛍光シグナル同士の分離では、試薬情報に含まれる各蛍光試薬10のスペクトルを、自家蛍光シグナルが除去された後の画像情報のスペクトルにフィッティングし、その際の係数に基づいて画像情報から各蛍光試薬10の蛍光シグナルを抽出する処理が実行される。
【0090】
さらに、自家蛍光シグナル同士の分離も同様に、画像情報から抽出された自家蛍光スペクトル全体に対して、試薬情報に含まれるスペクトル情報に基づいて推定された自家蛍光スペクトルをフィッティングし、その際の係数に基づいて画像情報から各自家蛍光シグナルを抽出する処理が実行される。
【0091】
もちろん、上記はあくまで一例であり、本開示に係る技術は、任意の蛍光試薬10および任意の標本20に適用され得る。
【0092】
(3.3.蛍光シグナルの抽出に使用する自家蛍光シグナルの実施例)
続いて、蛍光シグナルの抽出に使用する自家蛍光シグナルの実施例について説明する。上述したように、標本20に使用される組織、対象となる疾病の種類、対象者の属性、および対象者の生活習慣などの観点で同一または類似の標本20が複数存在する場合、これらの標本20の自家蛍光シグナルは類似している可能性が高い。これは、同一の患者から採取した組織に限られず、異なる患者から採取した組織についても同様に言えることである。
【0093】
そこで、本実施例では、画像情報から蛍光シグナルを抽出する、言い換えれば、蛍光シグナルと自家蛍光シグナルとを色分離計算する際に、標本20と同一又は類似する組織から得られた自家蛍光シグナルと、標本20とは異なる組織から得られた自家蛍光シグナルとを用いた場合それぞれについて、具体例を挙げつつその効果を説明する。なお、画像情報から蛍光シグナルを抽出する色分離処理は、例えば、上述した「バックグラウンド減算処理」に相当する処理であってもよい。
【0094】
上述の実施例で参照した
図10では、標本20として扁桃組織を使用し、画像情報から蛍光シグナルを抽出する際の色分離計算に用いる自家蛍光シグナルに扁桃組織から得られた自家蛍光シグナルを使用した場合が例示されていた。これに対し、
図11には、標本20として扁桃組織を使用し、画像情報から蛍光シグナルを抽出する際の色分離計算に用いる自家蛍光シグナルに、扁桃組織とは異なる組織である肺組織から得られた自家蛍光シグナルを使用した場合の画像情報の一例が示されている。
【0095】
なお、
図11では、
図10と同様に、(A1)~(A6)に、画像情報から分離された標本20由来の6つの自家蛍光画像が示されている。また、
図11の(B1)には、画像情報から分離された蛍光色素DAPI由来の蛍光画像が示され、(B2)には、同じく画像情報から分離された蛍光色素Alexa Fluor 488(図中には「AF488」と表記)由来の蛍光画像が示され、(B3)には、同じく画像情報から分離された蛍光色素Alexa Fluor 555(図中には「AF555」と表記)由来の蛍光画像が示され、(B4)には、同じく画像情報から分離された蛍光色素Alexa Fluor 568(図中には「AF568」と表記)由来の蛍光画像が示され、(B5)は、同じく画像情報から分離された蛍光色素Alexa Fluor 594(図中には「AF594」と表記)由来の蛍光画像が示され、(B6)には、同じく画像情報から分離された蛍光色素Alexa Fluor 647(図中には「AF647」と表記)由来の蛍光画像が示され、(B7)には、同じく画像情報から分離された蛍光色素Alexa Fluor 680(図中には「AF680」と表記)由来の蛍光画像が示され、(B8)には、同じく画像情報から分離された蛍光色素Alexa Fluor 700(図中には「AF700」と表記)由来の蛍光画像が示されている。
【0096】
図10と
図11とを比較すると分かるように、色分離計算に、標本20と同一又は類似する組織(本例では、扁桃組織)由来の自家蛍光シグナルを使用した場合の方が、標本20とは異なる組織(本例では、肺組織)由来の自家蛍光シグナルを使用した場合と比較して、より鮮明な蛍光画像が得られている(
図10の(B1)~(B8)及び
図11の(B1)~(B8)参照)。これは、画像情報からバックグラウンドにおける自家蛍光シグナルがより正確に除去された結果、蛍光画像におけるS/N比が改善されたことを示している。
【0097】
このことを、蛍光試薬10として、蛍光色素Alexa Fluor 488で標識されたマーカ抗体CD4を用いた場合(
図10の(B1)及び
図11の(B1))と、蛍光色素Alexa Fluor 594で標識されたマーカ抗体PDL-1を用いた場合(
図10の(B5)及び
図11の(B5))とに着目して説明する。
【0098】
なお、本説明において、バックグラウンドとは、蛍光試薬10により染色されていない領域、又は、その領域におけるシグナル値のことであってよい。したがって、バックグラウンドには、バックグラウンド減算処理を行う前であれば、自家蛍光シグナルやその他のノイズ等が含まれ得る。また、バックグラウンド減算処理を行った後であれば、除去しきれなかった自家蛍光シグナルやその他のノイズ等が含まれ得る。
【0099】
図12は、蛍光試薬10として蛍光色素Alexa Fluor 488で標識されたマーカ抗体CD4を用いた場合を説明するための図であり、
図13は、蛍光試薬10として蛍光色素Alexa Fluor 594で標識されたマーカ抗体PDL-1を用いた場合を説明するための図である。
図12及び
図13において、(A1)は、色分離計算に使用する自家蛍光シグナルとして標本20と同一又は類似する組織(本例では、扁桃組織)由来の自家蛍光シグナルを用いた場合の蛍光画像を示し、(A2)は、(A1)における線X1-X2に沿った画素値(Gray Value)を示している。また、(B1)は、色分離計算に使用する自家蛍光シグナルとして標本20とは異なる組織(本例では、肺組織)由来の自家蛍光シグナルを用いた場合の蛍光画像を示し、(B2)は、(B1)における線X1-X2に沿った画素値(Gray Value)を示している。なお、
図12及び
図13において、X1は蛍光画像の左端のピクセル(0)に対応し、X2は蛍光画像の右端のピクセル(1023)に対応している。
【0100】
図12及び
図13において、(A1)及び(B1)を比較すると明らかなように、色分離計算に使用する自家蛍光シグナルとして標本20と同一又は類似する組織(本例では、扁桃組織)由来の自家蛍光シグナルを用いた場合の方が、標本20とは異なる組織(本例では、肺組織)由来の自家蛍光シグナルを使用した場合と比較して、画像情報からバックグラウンドにおけるシグナル値(画素値に相当)がより低減されている。その結果、蛍光画像におけるS/N比が改善されて、より鮮明な蛍光画像が得られている。
【0101】
これは、同一又は類似する組織由来の自家蛍光スペクトルの方が、異なる組織由来の自家蛍光スペクトルよりも、標本20の自家蛍光スペクトルに近しいことに起因しているものと考えられる。
【0102】
このことから、色分離計算に使用する自家蛍光シグナルとして、標本20と同一又は類似する組織由来の自家蛍光シグナルを用いることの方が好ましいと言うことができる。ただし、このことは、標本20とは異なる組織由来の自家蛍光シグナルを色分離計算に用いることを本開示の技術的範囲から除外するものではない。
【0103】
また、標本20と同一又は類似する組織由来の自家蛍光シグナルに関する情報は、例えば、データベース200において管理されていてよい。情報取得部111は、取得した標本識別情報21に基づいて、標本20と同一又は類似する標本の標本情報をデータベース200から取得し、取得した標本情報を情報保存部121を介して解析部131に入力し得る。解析部131は、入力された標本情報に基づくことで、自家蛍光シグナルと蛍光シグナルとの分離、蛍光シグナル同士の分離、自家蛍光シグナル同士の分離等の処理を実行する。
【0104】
(3-4.固定化状態の解析)
上記では、自家蛍光シグナルの除去の実施例について説明した。続いて、標本20の固定化状態の解析の実施例について説明する。
【0105】
上記のとおり、標本20の固定化状態(例えば、固定化方法など)によって標本20全体の自家蛍光シグナルは変化するため、情報処理装置100は、自家蛍光を発する2以上の成分それぞれの自家蛍光シグナルの構成比に基づいて標本20の固定化状態を解析(評価)することができる。より具体的には、例えば、NADPH(nicotinamide adenine dinucleotide phosphate還元型)やFADなどの自家蛍光成分に関しては、ホルマリンを用いた固定によっては自家蛍光スペクトルの形状がほとんど変化することなく蛍光強度が変化する。したがって、情報処理装置100は、これらの自家蛍光成分に関しては、画像情報から分離された各自家蛍光成分の蛍光強度の比率に基づいて標本20の固定化状態(例えば、固定化方法など)を解析することができる。
【0106】
ここで、
図14~
図17を参照して、様々な自家蛍光成分がホルマリンにより固定された場合の自家蛍光スペクトルの変化の様子について説明する。
【0107】
図14は、慢性骨髄性白血病株細胞であるK562が、5%の濃度を有するホルマリンによって固定された場合において固定開始(0分)から、15分、30分、45分、60分にそれぞれ計側された自家蛍光スペクトルを示す図である。
図14に示すように、K562については、ホルマリンによって固定される時間が長くなるにつれて、自家蛍光スペクトルの形状が変化し、蛍光強度が低下していくことが分かる。なお、「自家蛍光スペクトルの形状が変化する」とは、各タイミングで取得された自家蛍光スペクトルを平行移動させても、各自家蛍光スペクトルが互いに重ならないことを指している。
【0108】
図15は、NADPHが、2%の濃度を有するホルマリンによって固定された場合において固定開始(0分)から、10分、30分、60分、90分、120分にそれぞれ計側された自家蛍光スペクトルを示す図である。
図15に示すように、NADPHについては上記のK562と異なり、ホルマリンによって固定される時間が長くなっても、自家蛍光スペクトルの形状はほとんど変化しない一方で、蛍光強度が低下していくことが分かる。なお、「自家蛍光スペクトルの形状が変化せず、蛍光強度が低下する」とは、各タイミングで取得された自家蛍光スペクトルの蛍光強度を上下に変化させると(換言すると、自家蛍光スペクトルを上下方向に平行移動させると)、各自家蛍光スペクトルが互いにほぼ重なることを指している。
【0109】
図16は、FAD(30μM)が、2%の濃度を有するホルマリンによって固定された場合において固定開始(0分)から、10分、30分、60分、90分、120分にそれぞれ計側された自家蛍光スペクトルを示す図である。
図16に示すように、FAD(30μM)については、ホルマリンによって固定される時間が長くなっても、自家蛍光スペクトルの形状および蛍光強度がほとんど変化しないことが分かる。
【0110】
図17は、FAD(50μM)が細胞抽出液と混合され、2%の濃度を有するホルマリンによって固定された場合において固定開始(0分)から、15分、30分、60分にそれぞれ計側された自家蛍光スペクトルを示す図である。
図17に示すように、FAD(50μM)については、ホルマリンによって固定される時間が長くなっても、自家蛍光スペクトルの形状はほとんど変化しない一方で、蛍光強度が増強されていくことが分かる。
【0111】
図15~
図17で示した例のように、NADPHやFADなどの自家蛍光成分に関しては、固定化状態(例えば、固定化方法など)によっては自家蛍光スペクトルの形状がほとんど変化することなく蛍光強度が変化する(なお、
図16に示したように、蛍光強度もほとんど変化しない場合もある)。ここで、情報取得部111がデータベース200から取得する標本情報に、
図15~
図17で示したようなスペクトル情報が含まれることによって、解析部131は、自家蛍光を発する2以上の成分それぞれの自家蛍光シグナルの構成比に基づいて標本20の固定化状態を解析(評価)することができる。
【0112】
例えば、解析部131は、標本情報に含まれる計測チャネルに基づいて標本20に含まれる自家蛍光成分を認識し、固定化によって変化する各自家蛍光成分のスペクトル情報を標本情報として取得する。そして、解析部131は、取得した各自家蛍光成分のスペクトル情報と、画像情報から分離した自家蛍光シグナルにおける各成分の構成比に基づいて、固定化方法(例えば、固定化に用いられた薬品、薬品の濃度、または固定化の工程など)や固定化されてからの経過時間などを解析することができる。
【0113】
なお、上記では、自家蛍光成分としてNADPHおよびFADを挙げたが、固定化状態を解析可能な自家蛍光成分の種類はこれらに限定されない。すなわち、固定によって自家蛍光スペクトルの形状がほとんど変化しない自家蛍光成分であれば固定化状態の解析に用いられ得る。
【0114】
(3-5.セグメンテーション)
上記では、標本20の固定化状態の解析の実施例について説明した。続いて、画像情報に含まれる物体(例えば、細胞、細胞内構造(細胞質、細胞膜、核、など)、または組織(腫瘍部、非腫瘍部、結合組織、血管、血管壁、リンパ管、繊維化構造、壊死、など))の領域を認識するセグメンテーション(または領域分割)について説明する。
【0115】
従来、計測対象となる蛍光シグナルを取得するために、標本20由来の自家蛍光シグナルを無視できる程度にまで計測対象となる蛍光シグナルを増幅させる方法が広く一般的に行われているところ、この方法では自家蛍光シグナルの取得は困難であった。したがって、従来の方法では、自家蛍光シグナルを用いて標本20に含まれる細胞、細胞内構造(細胞質、細胞膜、核、など)、または組織(腫瘍部、非腫瘍部、結合組織、血管、血管壁、リンパ管、繊維化構造、壊死、など)の領域を認識することは困難であった。
【0116】
一方、情報処理装置100の解析部131は、標本情報および試薬情報に基づいて蛍光染色標本30の画像情報から自家蛍光シグナルを抽出することができるため、解析部131は、画像情報における自家蛍光シグナルおよび蛍光シグナルの分布に基づいて標本20に含まれる細胞、細胞内構造(細胞質、細胞膜、核、など)、または組織(腫瘍部、非腫瘍部、結合組織、血管、血管壁、リンパ管、繊維化構造、壊死、など)の領域を認識し、セグメンテーションを行うことができる。これによって、解析部131は、ターゲット分子の局在情報を得ることができ、異なる染色間の画像情報の位置合わせなどを行うことができるようになる。
【0117】
従来から、各細胞や各細胞内構造に特有の標識を付することによってセグメンテーションを行う方法が提案されていたり、ターゲット分子と同じ領域に定常的に発現する、ターゲット分子とは異なる分子(内在性コントロール)を別の蛍光で標識することにより、細胞膜におけるターゲット分子の発現量を補正する方法が提案されていたりする。自家蛍光成分は固有の局在を有しているため、本開示によって得られた自家蛍光成分の局在情報が用いられることで、従来の方法によるセグメンテーションや内在性コントロールのための染色数を抑制しつつ処理精度を向上させることが可能となる。なお、本開示に係る技術を用いたセグメンテーションの方法は上記に限定されない
【0118】
<4.ハードウェア構成例>
上記では、本開示に係る技術を用いたセグメンテーションについて説明した。続いて、
図18を参照して、情報処理装置100のハードウェア構成例について説明する。
【0119】
図18は、情報処理装置100のハードウェア構成例を示すブロック図である。情報処理装置100は、CPU(Central Processing Unit)901と、ROM(Read Only Memory)902と、RAM(Random Access Memory)903と、ホストバス904と、ブリッジ905と、外部バス906と、インタフェース907と、入力装置908と、出力装置909と、ストレージ装置(HDD)910と、ドライブ911と、通信装置912とを備える。
【0120】
CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置100内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバス904により相互に接続されている。当該CPU901、ROM902およびRAM903の協働により、処理部130および制御部150の機能が実現される。
【0121】
本技術に係る情報処理装置の制御用プログラムは、前述した情報処理装置の制御部150が行う制御機能と同様の機能を、情報処理装置に実行させるプログラムであり、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等の記録媒体に格納された状態で提供され、これをPC等にダウンロードして用いられる。あるいは、インターネット等のネットワークを介して、外部から配信された制御用プログラムを、PC等にダウンロードして用いることもできる。
【0122】
すなわち、本実施形態に係る情報処理システム(例えば、顕微鏡システム)は、上述の情報処理装置100と、標本20に関する情報および蛍光試薬10に関する情報に基づいて、画像情報から蛍光シグナル及び/又は自家蛍光シグナルを分離するよう制御する制御機能を情報処理装置100に実行させるプログラムとから構成されていると言うこともできる。
【0123】
ホストバス904は、ブリッジ905を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス906に接続されている。なお、必ずしもホストバス904、ブリッジ905および外部バス906を分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
【0124】
入力装置908は、マウス、キーボード、タッチパネル、ボタン、マイクロホン、スイッチ、レバー、または各種センサ(撮像素子を含む)などユーザが情報を入力するための装置として機能し、ユーザによる入力に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。入力装置908により、取得部110の一部の機能、および操作部160の機能が実現される。
【0125】
出力装置909は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置およびランプなどの表示装置を含む。さらに、出力装置909は、スピーカおよびヘッドホンなどの音声出力装置を含む。出力装置909は、映像データ等の各種情報をイメージまたはテキストで表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。当該出力装置909により、表示部140の機能が実現される。
【0126】
ストレージ装置910は、データ格納用の装置である。ストレージ装置910は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置910は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置910は、ハードディスクを駆動し、CPU901が実行するプログラムや各種データを格納する。当該ストレージ装置910により保存部120の機能が実現される。
【0127】
ドライブ911は、記憶媒体用リーダライタであり、情報処理装置100に内蔵、あるいは外付けされる。ドライブ911は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体913に記録されている情報を読み出して、RAM903に出力する。また、ドライブ911は、リムーバブル記憶媒体913に情報を書き込むこともできる。
【0128】
通信装置912は、例えば、通信網914に接続するための通信デバイス等で構成された通信インタフェースである。当該通信装置912により、取得部110の一部の機能が実現される。
【0129】
なお、情報処理装置100のハードウェア構成は、
図18に示す構成に限られない。例えば、情報処理装置100は、接続されている外部の通信デバイスを介して通信を行う場合には、通信装置912を備えていなくてもよい。また、通信装置912は、複数の通信方式によって通信を行うことが可能な構成であってもよい。また、例えば、
図18に示す構成の一部または全部は、1または2以上のIC(Integrated Circuit)で実現されてもよい。
【0130】
<5.備考>
上記では、一般的に、実際の標本情報および試薬情報はカタログ値や文献値とは異なる場合が多いため、標本情報および試薬情報が本開示に係る情報処理システム内で独自に計測され管理される方がより好ましい旨を説明した。そこで備考として、
図19および
図20を参照しながら、実際の標本情報および試薬情報がカタログ値や文献値と異なることを説明する。
【0131】
図19は、蛍光成分の一種であるPE(Phycoerythrin)のスペクトル情報の実測値とカタログ値の比較結果を示す図である。また、
図20は、蛍光成分の一種であるBV421(Brilliant Violet 421)のスペクトル情報の実測値とカタログ値の比較結果を示す図である。なお、実測値としては、これらの蛍光成分と封入剤が調合されたサンプルが用いられた測定結果が示されている。
【0132】
図19および
図20が示すように、スペクトル情報におけるピークの位置は実測値とカタログ値でほぼ一致しているものの、ピーク波長よりも長波長側のスペクトルの形状が互いに異なる。したがって、スペクトル情報としてカタログ値が用いられることによって蛍光シグナルと自家蛍光シグナルの分離精度が低くなる。
【0133】
なお、スペクトル情報だけに限らず、標本情報および試薬情報に含まれる各種情報は、一般的に、本開示に係る情報処理システム内で独自に計測される方が精度の観点からより好ましいと言える。
【0134】
<6.システム構成の変形例>
なお、上述した実施形態に係る情報処理システム(
図3参照)は、サーバ・クライアント型のシステム構成とすることも可能である。
図21は、サーバ・クライアント型で構成された情報処理システムの概略構成例を示すブロック図である。
【0135】
図21に示すように、本変形例に係る情報処理システムは、クライアント端末100Aと、サーバ装置100Bと、データベース200とを備え、これらが所定のネットワーク300を介して相互に通信可能に接続されている。ネットワーク300には、WAN(Wide Area Network)(インターネットを含む)やLAN(Local Area Network)や公衆回線網や移動体通信網などの種々のネットワークを適用することができる。
【0136】
クライアント端末100Aは、医師や研究者等が使用する端末装置であり、例えば、少なくとも、
図3に示す構成における、取得部110と、表示部140と、制御部150と、操作部160とを備える。
【0137】
一方、サーバ装置100Bは、単一サーバに限定されず、複数のサーバで構成されていてもよく、また、クラウドサーバであってもよい。このサーバ装置100Bは、例えば、
図3に示す構成における、情報保存部121、画像情報保存部122、解析結果保存部123、解析部131、及び画像生成部132のうちの少なくとも1つを備え得る。これらの構成のうち、サーバ装置100Bに含まれないものとされた構成は、クライアント端末100Aに設けられていてよい。
【0138】
同じサーバ装置100Bに接続されるクライアント端末100Aは、1台に限られず、複数台であってもよい。その場合、複数のクライアント端末100Aは、互いに異なる病院に導入されてもよい。
【0139】
このようなシステム構成とすることで、より計算能力の高いシステムを医師や研究者等のユーザへ提供できるだけでなく、より多くの情報をデータベース200に蓄積することが可能となる。これは、データベース200内に蓄積されたビックデータに対して機械学習等を実行するシステムへの拡張を容易化することを示唆している。
【0140】
ただし、上記のような構成に限定されず、例えば、データベース200のみが複数の情報処理装置100でネットワーク300を介して共有された構成など、種々変更することが可能である。
【0141】
<7.まとめ>
以上で説明してきたように、本開示に係る情報処理装置100は、標本情報および試薬情報に基づいて、少なくとも1つの蛍光試薬10で染色された標本20の画像情報から標本20の自家蛍光シグナルと、蛍光試薬10の蛍光シグナルとを分離することができる。また、情報処理装置100は、分離後の蛍光シグナルまたは自家蛍光シグナルを用いて各種処理(例えば、標本20の固定化状態の解析、またはセグメンテーションなど)を行うことができる。さらに、情報処理装置100は、データベース200にて管理されている標本情報、試薬情報、および解析処理の結果を用いて機械学習を行うことで、自家蛍光シグナルと蛍光シグナルの分離処理などの上記処理を改善していくことができる。
【0142】
<8.応用例>
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、医師等が患者から採取された細胞や組織を観察して病変を診断する病理診断システムやその支援システム等(以下、診断支援システムと称する)に適用されてもよい。この診断支援システムは、デジタルパソロジー技術を利用して取得された画像に基づいて病変を診断又はその支援をするDPI(Digital Pathology Imaging)システムであってもよい。
【0143】
図22は、本開示に係る技術が適用される診断支援システム5500の概略的な構成の一例を示す図である。
図22に示すように、診断支援システム5500は、1以上の病理システム5510と、医療情報システム5530と、導出装置5540とを含む。
【0144】
1以上の病理システム5510それぞれは、主に病理医が使用するシステムであり、例えば研究所や病院に導入される。各病理システム5510は、互いに異なる病院に導入されてもよく、それぞれWAN(Wide Area Network)(インターネットを含む)やLAN(Local Area Network)や公衆回線網や移動体通信網などの種々のネットワークを介して医療情報システム5530及び導出装置5540に接続される。
【0145】
各病理システム5510は、顕微鏡5511と、サーバ5512と、表示制御装置5513と、表示装置5514とを含む。
【0146】
顕微鏡5511は、光学顕微鏡の機能を有し、ガラススライドに収められた観察対象物を撮像し、デジタル画像である病理画像を取得する。観察対象物とは、例えば、患者から採取された組織や細胞であり、臓器の肉片、唾液、血液等であってよい。
【0147】
サーバ5512は、顕微鏡5511によって取得された病理画像を図示しない記憶部に記憶、保存する。また、サーバ5512は、表示制御装置5513から閲覧要求を受け付けた場合に、図示しない記憶部から病理画像を検索し、検索された病理画像を表示制御装置5513に送る。
【0148】
表示制御装置5513は、ユーザから受け付けた病理画像の閲覧要求をサーバ5512に送る。そして、表示制御装置5513は、サーバ5512から受け付けた病理画像を、液晶、EL(Electro‐Luminescence)、CRT(Cathode Ray Tube)などを用いた表示装置5514に表示させる。なお、表示装置5514は、4Kや8Kに対応していてもよく、また、1台に限られず、複数台であってもよい。
【0149】
ここで、観察対象物が臓器の肉片等の固形物である場合、この観察対象物は、例えば、染色された薄切片であってよい。薄切片は、例えば、臓器等の検体から切出されたブロック片を薄切りすることで作製されてもよい。また、薄切りの際には、ブロック片がパラフィン等で固定されてもよい。
【0150】
薄切片の染色には、HE(Hematoxylin-Eosin)染色などの組織の形態を示す一般染色や、IHC(Immunohistochemistry)染色などの組織の免疫状態を示す免疫染色など、種々の染色が適用されてよい。その際、1つの薄切片が複数の異なる試薬を用いて染色されてもよいし、同じブロック片から連続して切り出された2以上の薄切片(隣接する薄切片ともいう)が互いに異なる試薬を用いて染色されてもよい。
【0151】
顕微鏡5511は、低解像度で撮像するための低解像度撮像部と、高解像度で撮像するための高解像度撮像部とを含み得る。低解像度撮像部と高解像度撮像部とは、異なる光学系であってもよいし、同一の光学系であってもよい。同一の光学系である場合には、顕微鏡5511は、撮像対象に応じて解像度が変更されてもよい。
【0152】
観察対象物が収容されたガラススライドは、顕微鏡5511の画角内に位置するステージ上に載置される。顕微鏡5511は、まず、低解像度撮像部を用いて画角内の全体画像を取得し、取得した全体画像から観察対象物の領域を特定する。続いて、顕微鏡5511は、観察対象物が存在する領域を所定サイズの複数の分割領域に分割し、各分割領域を高解像度撮像部により順次撮像することで、各分割領域の高解像度画像を取得する。対象とする分割領域の切替えでは、ステージを移動させてもよいし、撮像光学系を移動させてもよいし、それら両方を移動させてもよい。また、各分割領域は、ガラススライドの意図しない滑りによる撮像漏れ領域の発生等を防止するために、隣接する分割領域との間で重複していてもよい。さらに、全体画像には、全体画像と患者とを対応付けておくための識別情報が含まれていてもよい。この識別情報は、例えば、文字列やQRコード(登録商標)等であってよい。
【0153】
医療情報システム5530は、いわゆる電子カルテシステムであり、患者を識別する情報、患者の疾患情報、診断に用いた検査情報や画像情報、診断結果、処方薬などの診断に関する情報を記憶する。例えば、ある患者の観察対象物を撮像することで得られる病理画像は、一旦、サーバ5512を介して保存された後、表示制御装置5513によって表示装置5514に表示され得る。病理システム5510を利用する病理医は、表示装置5514に表示された病理画像に基づいて病理診断を行う。病理医によって行われた病理診断結果は、医療情報システム5530に記憶される。
【0154】
導出装置5540は、病理画像に対する解析を実行し得る。この解析には、機械学習によって作成された学習モデルを用いることができる。導出装置5540は、当該解析結果として、特定領域の分類結果や組織の識別結果等を導出してもよい。さらに、導出装置5540は、細胞情報、数、位置、輝度情報等の識別結果やそれらに対するスコアリング情報等を導出してもよい。導出装置5540によって導出されたこれらの情報は、診断支援情報として、病理システム5510の表示装置5514に表示されてもよい。
【0155】
本開示に係る技術は、以上説明した構成のうち、診断支援システム5500全体に好適に適用され得る。具体的には、取得部110が顕微鏡5511に相当し、表示制御装置5513が制御部150に相当し、表示装置5514が表示部140に相当し、病理システム5510の残りの構成並びに導出装置5540が情報処理装置100の残りの構成に相当し、医療情報システム5530がデータベース200に相当し得る。このように、本開示に係る技術を診断支援システム5500に適用することにより、医師や研究者に対して病変の診断や解析をより正確に行わせることが可能になる等の効果を奏することができる。
【0156】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0157】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0158】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
蛍光試薬で染色された標本の画像情報を取得する画像取得部と、
前記標本に関する情報および前記蛍光試薬に関する情報を取得する情報取得部と、
前記標本に関する情報および前記蛍光試薬に関する情報に基づいて、前記画像情報から第1蛍光シグナルと第2蛍光シグナルを分離する解析部と、
を備える情報処理装置。
(2)
前記第1蛍光シグナルは、前記標本の自家蛍光シグナルであり、
前記第2蛍光シグナルは、前記蛍光試薬の蛍光シグナルである、
前記(1)に記載の情報処理装置。
(3)
前記標本は、第1自家蛍光成分と第2自家蛍光成分を含み、
前記第1蛍光シグナルは、前記第1自家蛍光成分の自家蛍光シグナルであり、
前記第2蛍光シグナルは、前記第2自家蛍光成分の自家蛍光シグナルである、
前記(1)に記載の情報処理装置。
(4)
前記蛍光試薬は、第1蛍光試薬と第2蛍光試薬を含み、
前記第1蛍光シグナルは、前記第1蛍光試薬の蛍光シグナルであり、
前記第2蛍光シグナルは、前記第2蛍光試薬の蛍光シグナルである、
前記(1)に記載の情報処理装置。
(5)
前記解析部は、前記標本に関する情報および前記蛍光試薬に関する情報に基づいて、前記画像情報から更に第3蛍光シグナルを分離し、
前記第3蛍光シグナルは、前記標本の自家蛍光シグナルである、
前記(4)に記載の情報処理装置。
(6)
前記解析部は、前記第1自家蛍光成分の自家蛍光シグナルと前記第2自家蛍光成分の自家蛍光シグナルの構成比に基づいて前記標本の固定化状態を解析する、
前記(3)に記載の情報処理装置。
(7)
前記標本に関する情報は、標本に含まれる自家蛍光成分、および前記自家蛍光成分のスペクトル情報を含む、
前記(1)~(6)の何れか1項に記載の情報処理装置。
(8)
前記標本に含まれる自家蛍光成分は、NADH(nicotinamide adenine dinucleotide還元型)、FAD(flavin adenine dinucleotide)、およびPorphinのうち少なくとも1つ以上である、
前記(7)に記載の情報処理装置。
(9)
前記標本に関する情報は、更に、使用される組織の種類、対象となる疾病の種類、対象者の属性、対象者の生活習慣に関する情報を含む、
前記(7)に記載の情報処理装置。
(10)
前記蛍光試薬に関する情報は、前記蛍光試薬に含まれる蛍光成分のスペクトル情報を含む、
前記(1)~(9)の何れか1項に記載の情報処理装置。
(11)
前記情報取得部は、前記標本を識別可能な標本識別情報に基づいて前記標本に関する情報を取得し、前記蛍光試薬を識別可能な試薬識別情報に基づいて前記蛍光試薬に関する情報を取得する、
前記(1)~(10)の何れか1項に記載の情報処理装置。
(12)
前記試薬識別情報は、前記蛍光試薬の製造ロットを更に識別可能である、
前記(11)に記載の情報処理装置。
(13)
前記第1蛍光シグナルまたは前記第2蛍光シグナルに基づいて生成された画像情報を表示する表示部をさらに備える、
前記(1)~(12)の何れか1項に記載の情報処理装置。
(14)
前記表示部は、前記第1蛍光シグナルと前記第2蛍光シグナルを区別するよう制御し生成された画像情報を表示する、
前記(13)に記載の情報処理装置。
(15)
前記第1蛍光シグナルは、前記標本の自家蛍光シグナルであり、
前記第2蛍光シグナルは、前記蛍光試薬の蛍光シグナルであり、
前記表示部は、前記標本の自家蛍光シグナルを減算処理して前記蛍光試薬の蛍光シグナルを区別するよう制御し、生成された画像を表示する、
前記(14)に記載の情報処理装置。
(16)
前記解析部は、分離された前記自家蛍光シグナルを用いて、他の標本の画像情報に対して減算処理を行うことで前記他の標本の画像情報から前記蛍光シグナルを抽出する、
前記(2)に記載の情報処理装置。
(17)
前記解析部は、前記画像情報における前記第1蛍光シグナルおよび前記第2蛍光シグナルの分布に基づいて前記画像情報に含まれる物体の領域を認識する、
前記(1)~(16)の何れか1項に記載の情報処理装置。
(18)
前記解析部は、分離後の前記第1蛍光シグナルおよび前記第2蛍光シグナルと、分離に用いられた前記画像情報、前記標本に関する情報および前記蛍光試薬に関する情報とを用いて行われた機械学習の結果に基づいて前記分離を行う、
前記(1)~(17)の何れか1項に記載の情報処理装置。
(19)
前記第1及び第2蛍光シグナルのうち少なくとも1つは、自家蛍光シグナルであり、
前記蛍光試薬に関する情報は、前記蛍光試薬に関する量子収率、蛍光標識率、および吸収断面積もしくはモル吸光係数を含み、
前記解析部は、前記自家蛍光シグナルが除去された前記画像情報、および前記蛍光試薬に関する情報を用いて、前記画像情報における蛍光分子の数、または前記蛍光分子と結合している抗体の数のうちの少なくともいずれか一方を算出する、
前記(1)~(18)の何れか1項に記載の情報処理装置。
(20)
蛍光試薬で染色された標本の画像情報を取得する画像取得部と、前記標本に関する情報および前記蛍光試薬に関する情報を取得する情報取得部とを有する情報処理装置と、
前記標本に関する情報および前記蛍光試薬に関する情報に基づいて、前記画像情報から第1蛍光シグナルと第2蛍光シグナルを分離するよう制御する制御機能を情報処理装置に実行させるプログラムと、
を有する顕微鏡システム。
(21)
少なくとも1つの蛍光試薬で染色された標本の画像情報を取得する画像取得部と、
前記標本に関する情報および前記蛍光試薬に関する情報を取得する情報取得部と、
前記標本に関する情報および前記蛍光試薬に関する情報に基づいて、前記画像情報から前記標本の自家蛍光シグナルと前記蛍光試薬の蛍光シグナルの分離を行う解析部と、を備える、
情報処理装置。
(22)
前記標本が2以上の蛍光試薬で染色される場合、
前記解析部は、前記標本に関する情報および前記蛍光試薬に関する情報に基づいて、前記画像情報から前記2以上の蛍光試薬それぞれの前記蛍光シグナルの分離を行う、
前記(21)に記載の情報処理装置。
(23)
前記自家蛍光シグナルが自家蛍光を発する2以上の成分によって構成される場合、
前記解析部は、前記標本に関する情報および前記蛍光試薬に関する情報に基づいて、前記画像情報から前記自家蛍光を発する2以上の成分それぞれの前記自家蛍光シグナルの分離を行う、
前記(21)または(22)に記載の情報処理装置。
(24)
前記解析部は、前記自家蛍光を発する2以上の成分それぞれの前記自家蛍光シグナルの構成比に基づいて前記標本の固定化状態を解析する、
前記(23)に記載の情報処理装置。
(25)
前記標本に関する情報は、前記標本が有する自家蛍光を発する成分を示す情報、および前記自家蛍光を発する成分のスペクトル情報を含む、
前記(21)~(24)のいずれか1項に記載の情報処理装置。
(26)
前記蛍光試薬に関する情報は、前記蛍光試薬に含まれる蛍光成分のスペクトル情報を含む、
前記(21)~(25)のいずれか1項に記載の情報処理装置。
(27)
前記情報取得部は、前記標本を識別可能な標本識別情報に基づいて前記標本に関する情報を取得し、前記蛍光試薬を識別可能な試薬識別情報に基づいて前記蛍光試薬に関する情報を取得する、
前記(21)~(26)のいずれか1項に記載の情報処理装置。
(28)
前記試薬識別情報は、前記蛍光試薬の製造ロットも識別可能である、
前記(27)に記載の情報処理装置。
(29)
前記蛍光シグナルまたは前記自家蛍光シグナルに基づいて生成された画像情報を表示する表示部をさらに備える、
前記(21)~(28)のいずれか1項に記載の情報処理装置。
(30)
前記解析部は、前記自家蛍光シグナルを用いて、他の標本の画像情報に対して減算処理を行うことで前記他の標本の画像情報から前記蛍光シグナルを抽出する、
前記(21)~(29)のいずれか1項に記載の情報処理装置。
(31)
前記解析部は、前記画像情報における前記自家蛍光シグナルおよび前記蛍光シグナルの分布に基づいて前記画像情報に含まれる物体の領域を認識する、
前記(21)~(30)のいずれか1項に記載の情報処理装置。
(32)
前記解析部は、分離後の前記蛍光シグナルおよび前記自家蛍光シグナルと、分離に用いられた前記画像情報、前記標本に関する情報および前記蛍光試薬に関する情報とを用いて行われた機械学習の結果に基づいて前記分離を行う、
前記(21)~(31)のいずれか1項に記載の情報処理装置。
(33)
前記蛍光試薬に関する情報は、前記蛍光試薬に関する量子収率、蛍光標識率、および吸収断面積もしくはモル吸光係数を含み、
前記解析部は、前記自家蛍光シグナルが除去された前記画像情報、および前記蛍光試薬に関する情報を用いて、前記画像情報における蛍光分子の数、または前記蛍光分子と結合している抗体の数のうちの少なくともいずれか一方を算出する、
前記(21)~(32)のいずれか1項に記載の情報処理装置。
(34)
少なくとも1つの蛍光試薬で染色された標本の画像情報を取得することと、
前記標本に関する情報および前記蛍光試薬に関する情報を取得することと、
前記標本に関する情報および前記蛍光試薬に関する情報に基づいて、前記画像情報から前記標本の自家蛍光シグナルと前記蛍光試薬の蛍光シグナルの分離を行うことと、を有する、
コンピュータにより実行される情報処理方法。
(35)
少なくとも1つの蛍光試薬で染色された標本の画像情報を取得することと、
前記標本に関する情報および前記蛍光試薬に関する情報を取得することと、
前記標本に関する情報および前記蛍光試薬に関する情報に基づいて、前記画像情報から前記標本の自家蛍光シグナルと前記蛍光試薬の蛍光シグナルの分離を行うことと、
をコンピュータに実現させるためのプログラム。
(36)
少なくとも1つの蛍光試薬で染色された標本の画像情報を取得する画像取得部と、
前記標本に関する情報および前記蛍光試薬に関する情報を取得する情報取得部と、
前記標本に関する情報および前記蛍光試薬に関する情報に基づいて、前記画像情報から前記標本の自家蛍光シグナルと前記蛍光試薬の蛍光シグナルの分離を行う解析部と、
前記蛍光シグナルまたは前記自家蛍光シグナルに基づいて生成された画像情報を表示する表示部と、を備える、
情報処理システム。
【符号の説明】
【0159】
10 蛍光試薬
11 試薬識別情報
20 標本
21 標本識別情報
30 蛍光染色標本
100 情報処理装置
100A クライアント端末
100B サーバ装置
110 取得部
111 情報取得部
112 画像取得部
120 保存部
121 情報保存部
122 画像情報保存部
123 解析結果保存部
130 処理部
131 解析部
132 画像生成部
140 表示部
150 制御部
160 操作部
200 データベース
300 ネットワーク
【手続補正書】
【提出日】2024-08-29
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
第1の標本が蛍光試薬で標識された第1の蛍光標識標本の情報を取得する取得部と、
前記第1の標本に含まれる自家蛍光成分と前記自家蛍光成分のスペクトル情報とを含む標本情報、および、前記蛍光試薬に含まれる蛍光成分のスペクトル情報を含む試薬情報を取得する情報取得部と、
第2の標本が蛍光試薬で染色された第2の蛍光標識標本の情報と、分離後の第1蛍光シグナルおよび第2蛍光シグナルと、前記第2の標本に含まれる自家蛍光成分と前記自家蛍光成分のスペクトル情報とを含む標本情報、および、前記蛍光成分のスペクトル情報を含む試薬情報と、が紐づけられた学習データによって機械学習された推定器を用いて、前記第2の蛍光標識標本の情報から第1蛍光シグナルと第2蛍光シグナルを推定する解析部と、
を備える、
情報処理システム。
【請求項2】
前記第1の蛍光標識標本の情報および前記第2の蛍光標識標本の情報は、それぞれ、前記第1の蛍光標識標本および前記第2の蛍光標識標本のそれぞれから放射した蛍光の波長スペクトルを含む、
請求項1に記載の情報処理システム。
【請求項3】
前記第1蛍光シグナルは、前記第1の標本および/または前記第2の標本の自家蛍光シグナルであり、
前記第2蛍光シグナルは、前記蛍光試薬の蛍光シグナルである、
請求項1に記載の情報処理システム。
【請求項4】
前記第1の標本および/または前記第2の標本は、第1自家蛍光成分と第2自家蛍光成分を含み、
前記第1蛍光シグナルは、前記第1自家蛍光成分の自家蛍光シグナルであり、
前記第2蛍光シグナルは、前記第2自家蛍光成分の自家蛍光シグナルである、
請求項1に記載の情報処理システム。
【請求項5】
前記蛍光試薬は、第1蛍光試薬と第2蛍光試薬を含み、
前記第1蛍光シグナルは、前記第1蛍光試薬の蛍光シグナルであり、
前記第2蛍光シグナルは、前記第2蛍光試薬の蛍光シグナルである、
請求項1に記載の情報処理システム。
【請求項6】
前記標本情報は、標本に含まれる自家蛍光成分、および前記自家蛍光成分のスペクトル情報を含む、
請求項1に記載の情報処理システム。
【請求項7】
前記標本情報は、更に、使用される組織の種類、対象となる疾病の種類、対象者の属性、対象者の生活習慣に関する情報を含む、
請求項6に記載の情報処理システム。
【請求項8】
前記試薬情報は、前記蛍光試薬に含まれる蛍光成分のスペクトル情報を含む、
請求項1に記載の情報処理システム。
【請求項9】
前記情報取得部は、前記第1の標本および/または前記第2の標本を識別可能な標本識別情報に基づいて前記標本情報を取得し、前記蛍光試薬を識別可能な試薬識別情報に基づいて前記試薬情報を取得する、
請求項1に記載の情報処理システム。
【請求項10】
前記試薬識別情報は、前記蛍光試薬の製造ロットを更に識別可能である、
請求項9に記載の情報処理システム。
【請求項11】
前記第1蛍光シグナルまたは前記第2蛍光シグナルに基づいて生成された画像情報を表示する表示部をさらに備える、
請求項1に記載の情報処理システム。
【請求項12】
前記表示部は、前記第1蛍光シグナルと前記第2蛍光シグナルを区別するよう制御し生成された画像情報を表示する、
請求項11に記載の情報処理システム。
【請求項13】
前記第1蛍光シグナルは、前記第1の標本および/または前記第2の標本の自家蛍光シグナルであり、
前記第2蛍光シグナルは、前記蛍光試薬の蛍光シグナルであり、
前記表示部は、前記第1の標本および/または前記第2の標本の自家蛍光シグナルを減算処理して前記蛍光試薬の蛍光シグナルを区別するよう制御し、生成された画像を表示する、
請求項12に記載の情報処理システム。
【請求項14】
プロセッサにより実行される、
第1の標本が蛍光試薬で標識された第1の蛍光標識標本の情報を取得する取得ステップと、
前記第1の標本に含まれる自家蛍光成分と前記自家蛍光成分のスペクトル情報とを含む標本情報、および、前記蛍光試薬に含まれる蛍光成分のスペクトル情報を含む試薬情報を取得する情報取得ステップと、
第2の標本が蛍光試薬で染色された第2の蛍光標識標本の情報、分離後の第1蛍光シグナルおよび第2蛍光シグナルと、前記第2の標本に含まれる自家蛍光成分と前記自家蛍光成分のスペクトル情報とを含む標本情報、および、前記蛍光成分のスペクトル情報を含む試薬情報とが紐づけられた学習データによって機械学習された推定器を用いて、前記第2の蛍光標識標本の情報から第1蛍光シグナルと第2蛍光シグナルを推定する解析ステップと、
を含む、
情報処理方法。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0001
【補正方法】変更
【補正の内容】
【0001】
本開示は、情報処理システムおよび情報処理方法に関する。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0007
【補正方法】変更
【補正の内容】
【0007】
そこで、本開示は、上記問題に鑑みてなされたものであり、本開示の目的とするところは、計測対象である蛍光シグナルと標本の自家蛍光シグナルとのうちの少なくとも1つを、より適切に標本の画像情報から分離することが可能な、新規かつ改良された情報処理システムおよび情報処理方法を提供することにある。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0008
【補正方法】変更
【補正の内容】
【0008】
本開示によれば、第1の標本が蛍光試薬で標識された第1の蛍光標識標本の情報を取得する取得部と、前記第1の標本に含まれる自家蛍光成分と前記自家蛍光成分のスペクトル情報とを含む標本情報、および、前記蛍光試薬に含まれる蛍光成分のスペクトル情報を含む試薬情報を取得する情報取得部と、第2の標本が蛍光試薬で染色された第2の蛍光標識標本の情報と、分離後の第1蛍光シグナルおよび第2蛍光シグナルと、前記第2の標本に含まれる自家蛍光成分と前記自家蛍光成分のスペクトル情報とを含む標本情報、および、前記蛍光成分のスペクトル情報を含む試薬情報と、が紐づけられた学習データによって機械学習された推定器を用いて、前記第2の蛍光標識標本の情報から第1蛍光シグナルと第2蛍光シグナルを推定する解析部と、を備える、情報処理システムが提供される。