特許 7601325 標本解析方法および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-09

(45)【発行日】2024-12-17

(54)【発明の名称】標本解析方法および画像処理方法

(51)【国際特許分類】

   G01N 33/53 20060101AFI20241210BHJP

   G01N 33/48 20060101ALI20241210BHJP

   G01N 33/483 20060101ALI20241210BHJP

   G06T 7/00 20170101ALI20241210BHJP

   G01N 21/27 20060101ALN20241210BHJP

【ＦＩ】

G01N33/53 Y

G01N33/48 P

G01N33/483 C

G06T7/00 630

G01N21/27 A

【請求項の数】 10

(21)【出願番号】P 2020141765

(22)【出願日】2020-08-25

(65)【公開番号】P2022037567

(43)【公開日】2022-03-09

【審査請求日】2023-06-20

(73)【特許権者】

【識別番号】000207551

【氏名又は名称】株式会社ＳＣＲＥＥＮホールディングス

(73)【特許権者】

【識別番号】509349141

【氏名又は名称】京都府公立大学法人

(74)【代理人】

【識別番号】100105935

【弁理士】

【氏名又は名称】振角 正一

(74)【代理人】

【識別番号】100136836

【弁理士】

【氏名又は名称】大西 一正

(72)【発明者】

【氏名】平井 真紀

(72)【発明者】

【氏名】荻 寛志

(72)【発明者】

【氏名】石原 駿太

(72)【発明者】

【氏名】辻川 敬裕

(72)【発明者】

【氏名】伊東 恭子

【審査官】▲高▼原 悠佑

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０１６０１７１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１３／０１０８１３９（ＵＳ，Ａ１）

【文献】国際公開第２０１９／１８８６４７（ＷＯ，Ａ１）

【文献】特表２０１９－５０９０５７（ＪＰ，Ａ）

【文献】特表２０１９－５１１９１４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０１０３５２１（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１１２６０６７７（ＣＮ，Ａ）

【文献】米国特許出願公開第２００９／０２９７０１５（ＵＳ，Ａ１）

【文献】特表２００５－５２５５５０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ３３／４８－３３／９８

Ｇ０６Ｔ ７／００－ ７／９０

(57)【特許請求の範囲】

【請求項1】

評価対象の標本に対し複数種の染色を順番に施すとともに、少なくとも２回の前記染色につき当該染色後の前記標本を撮像して、複数の標本画像を取得する工程と、
前記標本画像の少なくとも１つに基づき、前記標本中の細胞のうち細胞膜よりも内側の内部領域として、前記細胞膜により囲まれた閉領域を抽出する工程と、
抽出された前記内部領域を外側に拡張させることで、前記標本に含まれる個々の細胞に対応する細胞領域を決定する工程と、
複数の前記標本画像について、前記細胞領域に対するイメージサイトメトリーを実施する工程と
を備える標本解析方法。

【請求項2】

前記複数種の染色のうち少なくとも１つは、細胞膜を選択的に染色するものであり、当該染色後に撮影された前記標本画像から前記内部領域を抽出する請求項１に記載の標本解析方法。

【請求項3】

前記標本は、厚さが４μｍよりも小さい組織切片である請求項１または２に記載の標本解析方法。

【請求項4】

前記組織切片の厚さが２μｍ以下である請求項３に記載の標本解析方法。

【請求項5】

前記複数種の染色のうち少なくとも１つは、細胞膜よりも内側にのみ存在する生体物質を選択的に染色するものであり、当該染色後に撮像された前記標本画像から前記内部領域を抽出する請求項１ないし４のいずれかに記載の標本解析方法。

【請求項6】

前記内部領域の輪郭上の各点を前記内部領域の外側に向けて拡張する画像処理を、当該点における拡張量が画像中における細胞膜の厚さに応じて予め定められた規定値に達するか、他の拡張された前記内部領域と接するまで実行し、前記内部領域と当該画像処理で拡張された領域とを合わせた領域を前記細胞領域とする請求項１ないし５のいずれかに記載の標本解析方法。

【請求項7】

前記内部領域の抽出は、予め機械学習により構築された学習モデルに前記標本画像を入力し、その出力画像を取得することにより行う請求項１ないし６のいずれかに記載の標本解析方法。

【請求項8】

複数の前記標本画像間で互いに対応する位置を利用して位置合わせを行い、位置合わせされた複数の前記標本画像に基づき前記内部領域を抽出する請求項１ないし７のいずれかに記載の標本解析方法。

【請求項9】

前記撮像の後、次の前記染色を行う前に前記標本を脱色する請求項１ないし８のいずれかに記載の標本解析方法。

【請求項10】

評価対象の標本に対し複数種の染色を順番に施すとともに、少なくとも２回の前記染色につき当該染色後の前記標本を撮像することにより取得される、複数の標本画像を用いた画像処理方法であって、
前記標本画像の少なくとも１つに基づき、前記標本中の細胞のうち細胞膜よりも内側の内部領域として、前記細胞膜により囲まれた閉領域を抽出する工程と、
抽出された前記内部領域を外側に拡張させることで、前記標本に含まれる個々の細胞に対応する細胞領域を決定する工程と、
複数の前記標本画像について、前記細胞領域に対するイメージサイトメトリーを実施する工程と
を備える画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、病理標本を撮像した標本画像を細胞単位で解析する方法およびそれを支援する画像処理方法に関し、特に免疫組織化学的手法を用いた解析に関するものである。

【背景技術】

【0002】

近年の免疫組織化学の分野においては、標本を細胞の集団として見るだけでなく、それを構成する個々の細胞に着目して、タンパク質やその関連物質等の生体物質の発現量や位置等を細胞単位で計測する、いわゆるシングルセル解析が注目されている。その代表的な解析技術として、フローサイトメトリー技術がある。この技術は、細胞を分散させた流体を細い流路に流通させ、流路を１つずつ通過する細胞を順次計測するというものである。

【0003】

このフローサイトメトリー技術では、標本における細胞の位置情報が失われるという問題がある。このため、組織切片を撮像した画像から、画像処理技術を用いて個々の細胞を直接的に計測する技術が考案されている。例えば特許文献１に記載の技術では、同一の標本中の異なる生体物質に対しそれぞれ明視野観察可能な染色と蛍光を生じる染色とを施し、これを撮像した明視野画像と蛍光画像との比較により観察対象の生体物質の発現位置を特定するとともに、蛍光量の計測結果からその発現量を特定している。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１５／０４５９６２号

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記した特許文献１に記載の従来技術では、特定の生体物質の発現位置と発現量とを高精度に検出することが可能であるが、次のような解決すべき課題がある。すなわち、特許文献１には生体物質の位置を特定する方法について詳しく記載されておらず、特に細胞が高密度に密集している標本では、個々の細胞を明確に分離することが困難な場合があり得る。また最近では、多重免疫染色技術の向上に伴い同一の標本に複数種の染色を施して複数種の生体物質について計測することが行われるが、上記従来技術は、染色方法についての制約条件があるため、このような多重免疫染色標本へ直ちに適用することはできない。

【0006】

具体的には、多重免疫染色用の標本としては一般的に厚さが４μｍ以上の組織切片が用いられるが、このような組織切片では細胞同士が厚さ方向にも重なることにより個々の細胞を画像上で分離することが困難になる。特に、細胞密度の高い標本においてはこの問題が顕著である。組織切片を薄くすれば細胞の識別という点では有利であるが、標本が損傷しやすいという別の問題から染色回数が制限される。

【0007】

この発明は上記課題に鑑みなされたものであり、病理標本を細胞単位で解析するのに当たり、多重免疫染色にも対応可能で、しかも標本内の細胞密度が高い場合においても個々の細胞の位置を特定しその計測を行うことができる技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

この発明に係る一の態様は、上記目的を達成するため、評価対象の標本に対し複数種の染色を順番に施すとともに、少なくとも２回の前記染色につき当該染色後の前記標本を撮像して、複数の標本画像を取得する工程と、前記標本画像の少なくとも１つに基づき、前記標本中の細胞のうち細胞膜よりも内側の内部領域として、前記細胞膜により囲まれた閉領域を抽出する工程と、抽出された前記内部領域を外側に拡張させることで、前記標本に含まれる個々の細胞に対応する細胞領域を決定する工程と、複数の前記標本画像について、前記細胞領域に対するイメージサイトメトリーを実施する工程とを備える標本解析方法である。

【0009】

また、この発明に係る他の一の態様は、評価対象の標本に対し複数種の染色を順番に施すとともに、少なくとも２回の前記染色につき当該染色後の前記標本を撮像することにより取得される、複数の標本画像を用いた画像処理方法であって、上記目的を達成するため、前記標本画像の少なくとも１つに基づき、前記標本中の細胞のうち細胞膜よりも内側の内部領域として、前記細胞膜により囲まれた閉領域を抽出する工程と、抽出された前記内部領域を外側に拡張させることで、前記標本に含まれる個々の細胞に対応する細胞領域を決定する工程と、複数の前記標本画像について、前記細胞領域に対するイメージサイトメトリーを実施する工程とを備えている。

【0010】

これらの発明において、「イメージサイトメトリー」とは、標本画像の画像データに基づき、標本中の細胞の形状、大きさ、細胞中の生体物質（例えばタンパク質）の発現量等の定量的情報の少なくとも１つを細胞単位で計測する画像処理を指している。

【0011】

このように構成された発明では、標本画像に現れる細胞のうち、細胞膜よりも内側の領域が抽出される。複数の細胞が接している場合でも、細胞膜よりも内側の領域については細胞間で互いに孤立している。したがって、細胞膜を介して互いに接している細胞であっても、それらを個別のものとして識別することが可能である。すなわち、この段階で標本中の個々の細胞の位置や個数等を把握することが可能である。その上で、内部領域を外側に拡張することで細胞領域を決定することにより、細胞膜まで含む細胞が画像内で占める位置を個別に決定することができる。

【0012】

多くの細胞が高密度に密集しているとき、それらの境界はあいまいになりがちである。特に、細胞膜まで含めた構造として細胞領域を抽出しようとするとき、境界の不明確さに起因して、複数の細胞が一体として１つの細胞として抽出されてしまうことがある。このことに鑑み、本発明では、細胞膜よりも内側の内部領域を標本画像内でまず特定し、これを拡張することで、個々の細胞に対応する細胞領域を決定する。そのため、細胞密度が高い組織であっても、それを構成する個々の細胞を的確に抽出することが可能である。

【0013】

こうして標本画像中で個々の細胞が占める領域が特定されると、画像中の細胞１つ１つの定量的情報を抽出する画像処理技術であるイメージサイトメトリー技術を適用することで、標本組織を構成する細胞をそれぞれ個別に解析し、個々の定量的情報を取得することが可能である。

【発明の効果】

【0014】

上記のように、本発明では、標本を複数種の染色方法で染色し、その過程で複数回撮像を行うことにより複数の標本画像を取得する。そして、それらの標本画像の少なくとも１つから、細胞膜よりも内側の内部領域をまず特定し、さらにそれを外側へ拡張することで細胞領域を決定する。このため、標本の細胞密度が高い場合であっても個々の細胞を的確に識別することができ、また多重免疫染色される標本にも対応することが可能である。

【図面の簡単な説明】

【0015】

【図1】本実施形態の標本解析処理の流れを示すフローチャートである。

【図2】標本の撮像方法の一例を示す図である。

【図3】レジストレーション処理の原理を示す図である。

【図4】細胞領域の抽出処理を示すフローチャートである。

【図5】処理過程における画像の変化を模式的に示す第１の図である。

【図6】処理過程における画像の変化を模式的に示す第２の図である。

【図7】内部領域を拡張する処理を模式的に示す図である。

【図8】本実施形態で利用可能な機械学習モデルの例を示す図である。

【発明を実施するための形態】

【0016】

以下、本発明に係る標本解析方法の一実施形態である標本解析処理（以下、単に「解析処理」という）について説明する。この解析処理は、例えば病理組織標本など多数の細胞を含む標本の画像から、個々の細胞の位置を特定し、各細胞における生体物質の発現状態やその発現量などの定量的情報を取得するための処理である。この処理の基本的な技術思想は多重免疫染色の技法を踏襲したものであり、多重免疫染色の基本原理は公知であるため説明を省略する。最初に、図１を参照しつつこの解析処理の概要を説明し、その後で各処理工程の内容について詳しく説明する。

【0017】

図１は本実施形態の標本解析処理の流れを示すフローチャートである。最初に、解析対象となる病理組織の標本が準備される（ステップＳ１０１）。例えば、組織切片をスライドガラス上に固定することで標本を作製することができる。

【0018】

こうして作製された標本については、目的に応じた染色方法による染色処理（ステップＳ１０２）、染色後の画像を撮像することによる標本画像データの取得（ステップＳ１０３）および脱色処理（ステップＳ１０４）が、この順番で複数回繰り返される。より具体的には、標本が染色処理されると、その都度後述する撮像方法により標本が撮像され、標本画像データとしてデジタル化される。撮像後の標本は次の染色に備えて脱色される。予め用意された全種の染色方法での撮像が終了するまで（ステップＳ１０５）、上記処理が繰り返される。これにより、同一の標本に対し、染色状態が互いに異なる複数の標本画像に対応する標本画像データが取得される。

【0019】

このような撮像により取得された複数の標本画像間では、撮像の合間に脱色および染色の作業が行われるため、同一の撮像装置による撮像であっても画像フレーム内での標本の位置がずれていることがある。このようなずれを補正して各画像間での位置合わせを行うため、レジストレーション処理が実行される（ステップＳ１０６）。

【0020】

相互の位置ずれが補正された複数の標本画像を用いて、標本中の個々の細胞それぞれが占める領域を特定するための細胞領域抽出処理が実行される（ステップＳ１０７）。これにより、標本画像中における細胞１つ１つの位置およびそれらが占める領域が特定される。その結果、標本において多数の細胞が高密度に密集している場合においても、それらの細胞がそれぞれ別個のものとして認識されることとなる。

【0021】

特定された個々の細胞に対し、イメージサイトメトリーによる定量的解析が実行される（ステップＳ１０８）。これにより、各細胞に発現した生体物質の状態や発現量などの定量的情報が、細胞ごとに取得される。得られた情報は、必要に応じて統計的に処理されてユーザー（臨床医、研究者等）による評価のために供される。イメージサイトメトリー技術としては各種のものが実用化されており、本実施形態においても、それらの中から目的に応じて適宜選択したものを適用可能であるため、イメージサイトメトリーの内容についての詳しい説明は省略する。

【0022】

上記の各処理工程のうち、ステップＳ１０６～Ｓ１０８については、例えばコンピューター装置による画像処理として実行することが可能である。この意味において、これらの各工程をコンピューター装置に実行させるためのプログラム、あるいはそれを非一時的に記録した記録媒体として本発明を実施することが可能である。

【0023】

次に、上記した解析処理における各処理工程のより詳細な処理内容について、順に説明する。まずステップＳ１０１における標本作製については、一般に行われている方法を適用することが可能である。ただし、標本画像中の細胞１つ１つを分離するという目的から、標本となる組織切片は、単層の細胞で構成されたものであることが望ましい。つまり、標本の厚みは、当該組織を構成する細胞の厚みと同等またはこれより小さいことが好ましい。具体的には、免疫組織化学的解析に用いられる組織標本としては一般的な厚さである４μｍよりは薄いことが望ましく、例えば２μｍ以下とすることができる。薄い組織切片を用いることで、標本の厚さ方向における細胞の重なりが減少し、膜染色、細胞質染色、核染色など核染色の鮮明さが向上し、細胞領域の特定における精度向上を図ることができる。このように標本を薄くすると細胞の認識には有利である一方、標本が損傷しやすくなり染色回数を増やすことができなくなるため、多重染色に対しては不利になる。このため、染色については、目的とする解析を実行するために必要な最小限の回数に留めることが望ましい。

【0024】

ステップＳ１０２の染色処理については、実用化されている各種の染色方法から目的に応じて選択されたものを用いることができる。免疫組織化学的な解析を行う目的においては、抗原抗体反応を利用した染色方法を少なくとも１種含ませておくことが好ましい。例えば、解析の目的に応じて、細胞の種類や機能を分類するために有効なタンパク（膜局在タンパク、核局在タンパク、細胞質局在タンパクなど）の染色を行うことができる。最近研究が盛んな免疫に関する領域では、細胞の種類・成熟度分別のために膜局在タンパクがよく使用される。また、細胞領域を精度よく特定するとの観点からは、膜局在タンパクまたは細胞質局在タンパクに対する染色が含まれることが好ましい。

【0025】

また、後述するように、この実施形態では、標本画像中の細胞において、細胞膜よりも内側の領域である内部領域を抽出する。この目的のためには、細胞膜より内側の生体物質を選択的に染色する染色方法、細胞膜のみを選択的に染色する染色方法のうち少なくとも一方が含まれることが望ましい。細胞膜の内側の生体物質としては、例えば細胞核、細胞質等を利用することができる。このためには細胞核および／または細胞質を選択的に染色する染色方法が含まれていることが望ましい。さらに、ユーザーによる目視観察にも供することができるように、明視野細胞観察用の一般的な染色方法であるヘマトキシリン・エオジン（ＨＥ）染色またはその代替染色方法を含めるようにしてもよい。ＨＥ染色は細胞核、細胞質をそれぞれ青色、赤色に染めることができるため、上記した内部領域の抽出にも有効である。

【0026】

解析対象となる細胞の種類が予め定まっている場合には、その細胞において発現が確認されている、あるいは発現が予想されるタンパク質を染色対象とすることが有効である。例えば免疫細胞の解析には、ＬＣＡ（leukocyte common antigen、白血球共通抗原）タンパク質を染色することが有効である。また例えば、上皮系腫瘍細胞の解析には、サイトケラチンに対する染色が有効である。

【0027】

複数の抗原に対する免疫染色を組み合わせる多重免疫染色を実行することで、複数種の生体物質をそれぞれ個別に可視化することが可能となり、例えばそれらの共局在性を調べる目的に好適に適用可能である。このような多重免疫染色に適用し得る染色方法としては、例えば次のようなものがあり、これらを適宜組み合わせて利用可能である。例えば腫瘍免疫の研究では、ＣＤ３、ＣＤ４、ＣＤ８、ＣＤ２０、ＣＤ７９ａ等や、免疫機構の役割を担うＰＤ－１といった抗原・タンパク質に対する免疫染色が用いられる。そして、それらの陽性／陰性の組み合わせ情報から、Ｔ細胞やＢ細胞の種類や状態の区別が解析される。また、これらの免疫染色においては、全ての細胞が等しく理想的に染色されるものは存在しないため、複数の免疫染色画像を組み合わせて用いることで、細胞領域特定の精度を向上させることが可能となる。

【0028】

ステップＳ１０３では、染色された標本を撮像によりデジタルデータ化する。なお、図１に示す処理では１回の染色ごとに撮像が行われるが、目的に応じて、例えば複数種の染色を順次行った後に１回の撮像を行うようなケースが含まれてもよい。撮像は、具体的には以下のようにして行うことができる。

【0029】

図２は標本の撮像方法の一例を示す図である。図２（ａ）は撮像を実現する撮像装置１の主要な構成例を示している。例えばスライドガラス上に作製された標本Ｓは、コンタクトガラス１１のような適宜の支持手段により略水平姿勢に支持される。標本Ｓの上方には照明光源１２が配置され、標本Ｓに対し略均一な照明光Ｌを入射させる。照明光Ｌが可視光であれば明視野撮像が、蛍光物質に対する励起光であれば蛍光撮像がそれぞれ可能である。

【0030】

コンタクトガラス１１により支持される標本Ｓの下方に、イメージスキャナ１３が配置される。イメージスキャナ１３は、紙面に垂直な方向を長手方向とする一次元（リニア）イメージセンサ（図示省略）を有している。点線矢印で示すように、長手方向と直交する方向、つまり紙面の横方向にイメージスキャナ１３が移動することで標本Ｓを走査し、これにより標本Ｓの二次元像に対応するデジタル画像データが取得される。二次元イメージセンサを用いて撮像が行われてもよい。

【0031】

図２（ｂ）は標本画像の一例を示す。図２（ｂ）に例示するように、標本画像Ｉｓは標本中の組織切片Ｔの全体が視野に収まるように撮像される。このような画像はバーチャルスライドと称されることがある。大きな組織切片Ｔについては複数の画像に分割されて撮像されてもよい。撮像の分解能は細胞のサイズよりも十分に細かいことが望ましい。この意味において、高分解能のリニアイメージスキャナを標本Ｓに対し走査させることで撮像を行う原理の撮像装置が有効である。取得された画像については、種々の表示倍率でユーザーに提示可能とされることが望ましい。

【0032】

ステップＳ１０４では、撮像後の標本を脱色処理する。このようにすることで、新たな染色に先立って、先の染色の影響を排除することが可能である。例えば２種類の染色方法で発色する生体物質について、それぞれの染色の結果を個別に取得することが可能となる。また例えば、１種類の染色方法で発色する複数種の生体物質を、他の染色方法の結果を用いて判別することができる。なお、先の染色の影響が問題とならない場合には、脱色を行うことなく次の染色を行うようにしてもよい。

【0033】

多重免疫染色は、標本上で複数種類の染色結果を重ね合わせることにより、１つの画像上で複数種の生体物質を可視化するものである。脱色を行うことでこのような重ね合わせの効果は得られないことになるが、各染色状態での標本が撮像されて標本画像データとして保存されている。このため、画像処理によりそれらの標本画像を合成することにより、多重免疫染色の効果を擬似的に実現することが可能である。むしろ、染色の順番に関わらず任意の染色状態の画像を選択して重ね合わせることができるので、標本上での多重免疫染色では実現できないような擬似的な染色画像を作成することも可能である。

【0034】

各標本画像は染色および脱色を繰り返しながら撮像されるため、撮像時の標本Ｓのセット位置のばらつき等により、画像間で組織切片Ｔの位置が互いにずれていることがある。この問題に対応するため、ステップＳ１０６では、各撮像により取得された標本画像間の位置合わせ（レジストレーション）を行う。レジストレーションは、各標本画像間で互いに対応する点を利用して行う。

【0035】

図３はレジストレーション処理の原理を示す図である。ここでは、同一標本で染色方法が互いに異なる３枚の標本画像Ｉｓ１～Ｉｓ３の間でのレジストレーションを例として説明する。標本画像Ｉｓ１と標本画像Ｉｓ２との間で互いに対応する点をそれぞれ符号Ｐ、Ｐ’とする。ここで、「互いに対応する点」とは、一方の画像における１つの点と他方の画像における１つの点とが、標本Ｓ上の同一位置を表す関係にあることを意味する。同様に、標本画像Ｉｓ２と標本画像Ｉｓ３との間で互いに対応する点をそれぞれ符号Ｑ、Ｑ’とする。

【0036】

標本画像Ｉｓ１～Ｉｓ３の間では染色方法が異なるため、１つの画像で可視化されている生体物質が他の画像では可視化されておらず、画像から識別することが困難な場合もあり得る。例えば、標本画像Ｉｓ１には点Ｑに対応する点が現れず、標本画像Ｉｓ３には点Ｐに対応する点が現れないといったケースである。しかしながら、以下に例示するように、各標本画像が他の少なくとも１つの標本画像との間で互いに対応する点を有していれば、それらの間でそれぞれ位置補正を行うことにより、対応する点が見出せない画像間についても間接的に補正を行うことが可能である。

【0037】

図３の事例において、標本画像Ｉｓ１内の点Ｐと標本画像Ｉｓ２内の点Ｐ’とは互いに対応している。また、標本画像Ｉｓ２内の点Ｑと標本画像Ｉｓ３内の点Ｑ’とは互いに対応している。これらの標本画像Ｉｓ１～Ｉｓ３をレジストレーションなしで重ね合わせた場合、図３左下に示すように、合成画像Ｉｍにおいては、上記した撮像時の位置ずれにより、点Ｐと点Ｐ’との間、および点Ｑと点Ｑ’との間の少なくとも一方において、互いの位置が異なっている場合が生じ得る。このような位置ずれは、標本画像から個々の細胞の位置を特定する際の誤差要因となり得る。

【0038】

そこで、図３右下に示すように、標本画像Ｉｓ１、Ｉｓ２の間で点Ｐ、Ｐ’が互いに重なるように、また標本画像Ｉｓ２、Ｉｓ３の間で点Ｑ、Ｑ’が互いに重なるように、画像の位置を補正した上で合成する。そうすると、合成画像Ｉｍ上では点Ｐと点Ｐ’とが一致し、点Ｑと点Ｑ’とが一致するようになる。これにより、複数の標本画像から総合的に個々の細胞の位置を特定する際における誤差の原因を解消することができる。具体的な補正方法としては、複数の標本画像において互いに対応する点の位置座標をそれぞれの標本画像について求め、それらの座標の差分に応じて画像間の相対位置をシフトさせる方法を用いることができる。また、対応する点の位置座標を用いず、画像全体の画素情報を用いる方法、例えば同じ位置の画素値の差を小さくする相対位置を求める方法や、画素の相関値を最大にする相対位置を求める方法を用いることも可能である。以上がレジストレーション処理の原理である。

【0039】

次に、ステップＳ１０７の細胞領域の抽出処理について、図４ないし図８を参照して説明する。標本中の細胞の形状や大きさは個体差が大きく、また多数の細胞が互いに密着した状態となっている場合も多い。以下に説明する本実施形態の抽出処理は、このような標本においても個々の細胞を的確に抽出することができるものである。

【0040】

図４は細胞領域の抽出処理を示すフローチャートである。また、図５および図６はこの処理過程における画像の変化を模式的に示す図である。図５（ａ）は複数の細胞が互いに密着している画像の例を模式的に示したものである。ここでは４つの細胞Ｃ１～Ｃ４が互いに接した状態となっている。各細胞Ｃ１～Ｃ４のそれぞれは、内部に核（細胞核）Ｎ１～Ｎ４を有する。各細胞Ｃ１～Ｃ４の周囲は細胞膜Ｍで覆われているが、それらが互いに接していれば境界が不明瞭となる場合がある。細胞核Ｃ１～Ｃ４と細胞膜Ｍとの間には細胞質Ｃｙが存在している。図示を省略しているが、細胞質Ｃｙ１～Ｃｙ４内には各種の細胞小器官（ミトコンドリア、ゴルジ体等）や細胞質基質、液胞など各種の生体物質が含まれ得る。

【0041】

このような細胞の集団から、個々の細胞を分離して識別する必要がある。これを可能とするために、この実施形態では、まず染色方法の異なる複数の標本画像のうち少なくとも１つを用いて、標本画像中で細胞の内部の、より具体的には細胞内で細胞膜Ｍよりも内側の領域（本明細書では「内部領域」と称する）を抽出する（ステップＳ２０１）。例えば細胞膜よりも内側にのみ存在するような生体物質を選択的に染色する染色方法が適用された標本画像があれば、その標本画像を用いることができる。また例えば、細胞膜のみが選択的に染色された画像では、細胞膜に囲まれた閉領域を内部領域とみなすことができるから、そのような画像を標本画像として用いることができる。

【0042】

また、内部領域の抽出においては、染色状態の異なる複数の標本画像が用いられてもよい。例えば１種の染色方法で２種類以上の生体物質が染色されるような場合、その標本画像のみでは所望の生体物質を抽出できない場合があり得る。染色状態の異なる複数の標本画像を組み合わせることで、このような問題を解消することができる場合がある。具体的には、例えば細胞核が染色された標本画像と細胞質が染色された標本画像とを組み合わせて、内部領域を抽出することができる。また例えば、細胞膜のみが染色された標本画像と細胞核が染色された標本画像とから、細胞膜に囲まれ内部に細胞核を含む領域を内部領域として抽出することができる。

【0043】

また、細胞内で細胞膜より内側に存在する各種の生体物質の任意のものを抽出対象として用いることができる。例えば細胞核や、細胞質基質、ミトコンドリア、ゴルジ体等の細胞質から選択したいずれかを用いることができる。精度のよい抽出を行うためには、ある種の染色方法によって当該生体物質だけが選択的に染色されるような性質を有する生体物質が選ばれることが望ましい。例えば細胞核は、細胞核のみを選択的に染色する各種の方法が確立されていることから、このような目的に好適な生体物質である。

【0044】

なお、内部領域に含まれるとされる生体物質は必ずしも１種でなくてもよい。例えば、２種以上の生体物質が同時に発現している標本画像において、それらの生体物質がいずれも細胞内に存在するものであることが明らかな場合には、それらの生体物質を区別する必要はない。すなわち、複数種の生体物質が区別されることなくいずれも内部領域として抽出されてもよい。

【0045】

図５（ｂ）は、図５（ａ）の画像から、細胞核Ｎ１～Ｎ４とその周囲の細胞質Ｃｙ１～Ｃｙ４とに対応する領域とが抽出された結果を模式的に示している。ここで、細胞核Ｎ１とその周囲の細胞質Ｃｙ１とを合わせた領域を、１つの細胞Ｃ１の「内部領域」Ｒ１とみなすことができる。同様に、細胞核Ｎ２とその周囲の細胞質Ｃｙ２とを合わせた領域が細胞Ｃ２の、細胞核Ｎ３とその周囲の細胞質Ｃｙ３とを合わせた領域が細胞Ｃ３の、細胞核Ｎ４とその周囲の細胞質Ｃｙ４とを合わせた領域が細胞Ｃ４の、それぞれ「内部領域」Ｒ２～Ｒ４に相当する。

【0046】

図５（ｃ）は、例えばリンパ球のような小細胞の構造例を模式的に示している。多重免疫染色がより有効な解析対象であるリンパ球のような小型の細胞Ｃ５～Ｃ１１では、細胞質Ｃｙが乏しく、実質的には細胞膜の内側の領域はほぼ細胞核Ｎ５～Ｎ１１が占めているとみなすことができるケースがある。このような場合には、標本画像中で細胞核Ｎ５～Ｎ１１が占める領域を「内部領域」とみなしても大きな誤差は生じないと考えられる。すなわち、図５（ｄ）に示すように、画像から抽出された細胞核Ｎ５～Ｎ１１の領域をそのまま内部領域Ｒ５～Ｒ１１とすることができる。したがって、細胞核のみが染色された標本画像から内部領域の抽出を行うことも可能である。

【0047】

こうして抽出される内部領域Ｒ１～Ｒ４（または内部領域Ｒ５～Ｒ１１）は、周囲の細胞膜Ｍの領域を含んでいないため、たとえ標本中で細胞同士が細胞膜Ｍを介して接触していたとしても、互いに孤立したものとなる。つまり、内部領域Ｒ１～Ｒ４（Ｒ５～Ｒ１１）のそれぞれは、細胞Ｃ１～Ｃ４（Ｃ５～Ｃ１１）のそれぞれと１対１に対応している。このような対応付けにより、密着した状態であっても細胞Ｃ１～Ｃ４（Ｃ５～Ｃ１１）は互いに別個のものとして認識されることになり、以後は個々の細胞Ｃ１～Ｃ４（Ｃ５～Ｃ１１）を個別に扱うことが可能になる。そこで、特定された各内部領域Ｃ１～Ｃ４（Ｃ５～Ｃ１１）を区別するためのラベル付けを行っておく（ステップＳ２０２）。このラベル付けは、最終的にはシングルセル単位での解析処理における個々の細胞Ｃ１～Ｃ４（Ｃ５～Ｃ１１）の区別にも利用することができる。

【0048】

内部領域Ｒ１～Ｒ４（Ｒ５～Ｒ１１）は、少なくとも当該領域が細胞内に含まれることを示すが、細胞膜Ｍまで含めた細胞の外縁を示さない。そこで、この実施形態では、既に互いに分離されている内部領域Ｒ１～Ｒ４（Ｒ５～Ｒ１１）の輪郭を外向きに拡張させる画像処理を行う（ステップＳ２０３）。図６（ａ）は図５（ｂ）の抽出結果に、また図６（ｂ）は図５（ｄ）の抽出結果に基づく拡張処理の結果を模式的に示しており、点線が拡張後の輪郭の例を表している。拡張後の領域、つまり元の内部領域とその拡張部分とを合わせた領域が、最終的に個々の細胞Ｃ１～Ｃ４（Ｃ５～Ｃ１１）に対応する細胞領域として特定される（ステップＳ２０４）。

【0049】

図７は内部領域を拡張する処理を模式的に示す図である。ここでは、２つの細胞Ｃ１，Ｃ２の接点近傍における内部領域Ｒ１，Ｒ２の拡張を例として説明する。図７（ａ）に矢印で示すように、内部領域Ｒ１，Ｒ２の外縁に当たる輪郭部分を所定量（例えば１画素分）ずつ外側に拡張する。これにより、内部領域Ｒ１，Ｒ２は、これらの周囲を取り巻く細胞膜Ｍに対応する領域に向けて所定量分だけ広がる。図７（ａ）における点線は、内部領域Ｒ１，Ｒ２が拡張された後の輪郭を示している。

【0050】

図７（ｂ）に示すように、このような輪郭の拡張は、拡張部分の幅（拡張幅）Ｄが予め定められた規定値に達するまで、あるいは拡張後の輪郭が他の（拡張された）内部領域に接するまで行われる。拡張幅Ｄに対する規定値は、細胞の種類に応じて、当該細胞の細胞膜が取り得る標準的な厚さに対応する値として予め設定しておくことができる。図５（ｄ）に示すように、細胞核の領域のみを内部領域として抽出する場合には、細胞核の周囲における細胞質と細胞膜との標準的な厚さの合計を規定値とすることができる。

【0051】

このようにすると、拡張後の内部領域Ｒ１ａは、元の内部領域Ｒ１とその周囲を取り囲む所定幅の領域とを合わせたものとなり、これは細胞膜Ｍまで含めた個々の細胞が占める領域と概ね一致することになる。２つの細胞が接している部分においても、図７（ｂ）に破線で示すように、両者の中間的な位置に境界が画定される。

【0052】

こうして拡張処理を行うことで、図６に示すように、標本画像中で各細胞Ｃ１～Ｃ４（Ｃ５～Ｃ１１）が占める領域と概ね一致した領域Ｒ１ａ～Ｒ４ａ（Ｒ５ａ～Ｒ１１ａ）を、細胞ごとに特定することができる。この意味において、拡張後の内部領域Ｒ１ａ～Ｒ１１ａは、各細胞Ｃ１～Ｃ１１のそれぞれが画像内に占める領域、すなわち細胞領域を表すものとなる。仮に隣り合う細胞領域同士が接していたとしても、それらは既に個別のものとして区別されている。元の画像から細胞領域に対応する領域を切り出せば、細胞Ｃ１～Ｃ４（Ｃ５～Ｃ１１）を画像から切り出すことができる。このようにして、個々の細胞が明確に区別されつつ、それぞれの輪郭が適切に画定される。

【0053】

この方法では、拡張量に対する規定値を孤立した細胞における細胞膜の厚さに基づいて定めることにより、孤立した細胞についても当該細胞が占める領域を適切に特定することが可能である。また、標本において多数の細胞が密接していることが明らかな場合には、そのような場合の細胞膜の厚さに基づいて規定値が定められてもよい。

【0054】

このようにして各細胞が占める細胞領域を特定することで、複数の細胞が高密度に密集している場合でも、１つ１つの細胞を個別に計測し、その定量的情報を計測により個別に取得することが可能になる。すなわち、イメージサイトメトリーを実行することにより（図１のステップＳ１０８）、各細胞の位置や大きさ、形状、生体物質の発現状態や発現量など、各種の情報を取得することができる。本実施形態では、イメージサイトメトリーの内容やそれにより取得される情報の種類については特に限定されないが、その結果は例えば免疫染色の染色性の提示や、特定の疾患に関する陽性、陰性の判断などに利用することができる。

【0055】

標本画像からの内部領域の抽出や、細胞領域が特定された各細胞を解析する目的には、機械学習により構築された学習モデルを利用することが可能である。多数の細胞を含む標本では、細胞間の個体差が大きいため、単純な閾値処理やパターンマッチング等によって個々の細胞を抽出することは困難である。細胞の形態的特徴に基づいて適切に機械学習を行わせた学習モデルを用いれば、このような個体差にも柔軟に対応することのできる解析処理を実現可能である。

【0056】

図８は本実施形態で利用可能な機械学習モデルの例を示す図である。ここでは一例として、標本画像から細胞核と細胞質とを合わせた領域に対応する内部領域を抽出する際に利用可能な学習モデルの構築について説明する。しかしながら、抽出対象が他の生体物質である場合や、細胞領域特定後の各細胞から所望の生体物質を検出、計測する目的等にも、同様の手法を適用することが可能である。

【0057】

図８（ａ）は学習モデルを構築するための処理を示すフローチャートであり、図８（ｂ）は学習モデルを模式的に示す図である。最初に、ユーザーにより、機械学習における教師となる典型画像Ｉａが多数収集され（ステップＳ３０１）、それに対応する正解画像Ｉｂが準備される（ステップＳ３０２）。正解画像Ｉｂは、典型画像Ｉａにおいて抽出対象となる生体物質が占める領域を教示するための画像である。細胞の画像から細胞膜より内側の内部領域を抽出するという目的においては、典型画像Ｉａとしては、膜染色、細胞質染色、核染色など各種の染色画像が、また正解画像Ｉｂとしては抽出対象である染色画像に対応した内部領域を明示した画像が適切である。収集された典型画像Ｉａのそれぞれにつき正解画像Ｉｂが準備され、典型画像Ｉａとそれに対応する正解画像Ｉｂとを対にした教師データＤｔが作成される（ステップＳ３０３）。

【0058】

教師データＤｔは適宜の学習アルゴリズムを有する学習モデル１００に与えられ、学習モデル１００が機械学習を実行する（ステップＳ３０４）。学習モデルとしては種々のものが提案されており、本実施形態でもそれらから適宜のものを選択して適用可能である。多様な細胞および生体物質に対応する汎用性の高い学習モデルを構築するためには、例えばディープラーニング（深層学習）アルゴリズムを好適に利用することができる。

【0059】

このようにして構築された学習モデル１００は次のような機能を有するものとなる。すなわち、細胞を含むテスト画像Ｉｔを学習モデル１００の入力画像として与えると、学習モデル１００は、テスト画像Ｉｔ中の細胞Ｃｔのうち細胞膜Ｍよりも内側の領域、つまり内部領域Ｒｏのみを表した出力画像Ｉｏを出力する。つまり、学習モデル１００は、未知のテスト画像Ｉｔから内部領域Ｒｏ領域のみを抽出する機能を有する。所望する抽出対象に応じた適切な教師データを与えることで、学習モデル１００はテスト画像から各種の生体物質を抽出する機能を有することとなる。

【0060】

染色状態が異なる複数の標本画像が用いられる本実施形態においては、個々の標本画像に対して上記のような学習モデルを用いた領域抽出が実行されてもよく、また複数の標本画像を合成した画像に対して学習モデルによる領域抽出が実行されてもよい。合成画像を用いて領域抽出を行う場合でも、元の標本画像が有する情報を利用しているという点において、「元の標本画像に基づく抽出」であると言うことができる。

【0061】

以上のように、この実施形態では、評価対象の標本Ｓに対し複数種の染色を順番に施し、その都度標本Ｓが撮像される。そして、それらのうち少なくとも１つ、例えば細胞核、細胞質、あるいは細胞膜が染色された標本画像に基づき、細胞膜よりも内側の内部領域が抽出される。こうして抽出された内部領域は細胞膜の領域を含まない。したがって、細胞同士が互いに接している場合でも、個々の細胞から抽出される内部領域は互いに孤立している。言い換えれば、抽出された内部領域のそれぞれが、１つの細胞の存在を示している。これにより標本中個々の細胞が、たとえ互いに接している状態であっても個別に識別される。

【0062】

内部領域を外側へ拡張することによって、その周囲を取り囲む細胞膜の領域を包含させることができる。その拡張量は、細胞膜が取り得る厚さに応じて設定される。これにより、個々の細胞の独立を維持したまま、細胞膜まで含めた細胞の輪郭を特定することができる。標本画像中において個々の細胞が占める領域が特定されると、各細胞に対し目的に応じた計測（イメージサイトメトリー）が実行されることにより、個々の細胞に関する定量的情報を取得することができる。

【0063】

このように、本実施形態においては、標本中に多数の細胞が含まれ、かつそれらが互いに接しているような場合にも、個々の細胞を個別に識別し、必要な計測を行うことで、細胞単位で定量的情報を取得することが可能である。すなわち、シングルセル解析が可能となる。複数種の染色としては種々の組み合わせを適用することができ、したがって多重免疫染色にも対応することが可能である。

【0064】

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば上記実施形態では、本発明の「内部領域」として細胞核に対応する領域、およびこれと細胞質に対応する領域とを合わせた領域が用いられているが、これに限定されない。すなわち、膜染色、核染色、細胞質染色の少なくとも１つを用いて、細胞膜よりも内側にある生体物質を染色し、あるいは細胞膜のみを染色し、その標本画像から当該生体物質を検出して内部領域を抽出することが可能である。

【0065】

また上記実施形態では、細胞の解析に、機械学習アルゴリズムとしてディープラーニングを採用した学習モデルが用いられ、典型画像と正解画像との対が教師データとして学習が行われている。しかしながら、学習アルゴリズムおよびそれに与える教師データはこれらに限定されるものではなく、画像の領域分割に利用可能なものであれば、各種の機械学習アルゴリズムを適用することが可能である。また、対象となる生体物質が、閾値処理やパターンマッチング処理等の他の画像処理により抽出可能なものである場合には、機械学習によらずに抽出する方法が併用されてもよい。

【0066】

また、上記実施形態では、複数の標本画像間で位置合わせ（レジストレーション）を行っているが、各標本画像間での位置ずれが無視できるような撮像が可能であれば、レジストレーションについては省略することが可能である。

【0067】

また、上記実施形態では、標本中の細胞が個別に識別された後、それぞれの細胞について計測（イメージサイトメトリー）が実行される。しかしながら、例えばある装置が細胞領域の抽出処理までを実行して個々の細胞を識別し、その識別結果を外部へ出力するようにして、計測については他の装置で行うことも可能である。

【0068】

以上、具体的な実施形態を例示して説明してきたように、この発明に係る標本解析方法において、標本は厚さが４μｍよりも小さい組織切片であることが好ましく、より望ましくは２μｍ以下である。このような標本では、厚さ方向における細胞の重なりによる個々の細胞領域の誤認識を低減させることができる。

【0069】

また例えば、複数種の染色のうち少なくとも１つは、細胞膜よりも内側にのみ存在する生体物質を選択的に染色するものであれば、当該染色後に撮像された標本画像から内部領域を抽出することができる。こうして抽出される内部領域は細胞膜よりも内側の細胞内に存在する生体物質に対応するものであるから、細胞の内部である蓋然性が極めて高いと言える。

【0070】

また例えば、細胞核が染色された標本画像から、細胞膜に囲まれかつ細胞核を含む領域を内部領域として抽出することができる。細胞核は細胞膜より内側に存在する生体物質の代表的なものであり、細胞核は細胞内で比較的大きな構造体であり、また細胞核を選択的に染色する方法として種々のものが確立されている。このため、個々の細胞の存在を示す生体物質として、細胞核は好適なものである。

【0071】

また例えば、複数種の染色のうち少なくとも１つは、細胞膜を選択的に染色するものであり、当該染色後に撮影された標本画像から内部領域が抽出されてもよい。この場合さらに、細胞膜が染色された標本画像と細胞核が染色された標本画像とから、細胞核を含む領域が内部領域として抽出されてもよい。細胞膜のみが染色された標本画像においては、染色された細胞膜に囲まれた閉領域を細胞の内部とみなすことができる。したがって、細胞膜を選択的に染色した標本画像を用いて内部領域を抽出することが可能である。特に、細胞の内部にある細胞核が染色された標本画像と併用することで、細胞の内部領域をより精度よく抽出することができる。

【0072】

また例えば、内部領域の輪郭上の各点を内部領域の外側に向けて拡張する画像処理を、当該点における拡張量が画像中における細胞膜の厚さに応じて予め定められた規定値に達するか、他の拡張された内部領域と接するまで実行し、内部領域と当該画像処理で拡張された領域とを合わせた領域を細胞領域とすることができる。このような構成によれば、規定値を適宜に定めておくことで、抽出された内部領域をその周囲の細胞膜の領域まで拡張させることで、実際の細胞が占める領域と概ね一致する細胞領域を特定することができる。

【0073】

また例えば、内部領域の抽出は、予め機械学習により構築された学習モデルに標本画像を入力し、その出力画像を取得することにより行うことができる。標本中の細胞は個体ばらつきが大きく、そのような場合でも特定の生体物質を精度よく抽出する方法として、多数の事例を用いて予め機械学習された学習モデルを好適に利用可能である。また、各種の細胞に適用可能な、汎用性の高い学習モデルを構築することも可能である。

【0074】

また例えば、複数の標本画像間で互いに対応する位置を利用して位置合わせを行い、位置合わせされた複数の標本画像に基づき内部領域を抽出するようにしてもよい。染色作業と撮像とを繰り返して行う場合、撮像ごとに標本の位置ずれが生じることが避けられない。この位置ずれに起因する計測誤差を低減するためには、複数の標本画像間で互いに対応する位置の位置関係に基づいて位置合わせを行うことが有効である。

【0075】

また例えば、撮像の後、次の染色を行う前に標本を脱色するようにしてもよい。このような構成によれば、後の染色および撮像において、先の染色結果の影響を排除することができる。また、先の染色の影響を受けない標本を個別に撮像しておけば、それらを合成することで擬似的な多重免疫染色画像を生成することも可能となる。

【産業上の利用可能性】

【0076】

この発明は、多数の細胞を含む標本の解析に有用なものであり、特に病理標本に対する免疫組織化学的手法による解析処理に好適に適用可能である。

【符号の説明】

【0077】

１ 撮像装置
１１ コンタクトガラス
１２ 照明光源
１３ イメージスキャナ
１００ 学習モデル
Ｃ１～Ｃ４ 細胞
Ｃｙ，Ｃｙ１～Ｃｙ４ 細胞質
Ｉｓ，Ｉｓ１～Ｉｓ３ 標本画像
Ｍ 細胞膜
Ｎ，Ｎ１～Ｎ１１ 細胞核
Ｒ１～Ｒ１１、Ｒｏ 内部領域
Ｒ１ａ～Ｒ１１ａ 拡張された内部領域（細胞領域）
Ｓ 標本

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】