特許7201681単一チャネル全細胞セグメンテーションのためのシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-26
(45)【発行日】2023-01-10
(54)【発明の名称】単一チャネル全細胞セグメンテーションのためのシステム及び方法
(51)【国際特許分類】
G06T 7/11 20170101AFI20221227BHJP
G06T 7/00 20170101ALI20221227BHJP
【ＦＩ】
G06T7/11
G06T7/00 630
G06T7/00 350B
【請求項の数】
16
(21)【出願番号】P 2020527819
(86)(22)【出願日】2018-11-15
(65)【公表番号】
(43)【公表日】2021-02-12
(86)【国際出願番号】 US2018061242
(87)【国際公開番号】W WO2019099641
(87)【国際公開日】2019-05-23
【審査請求日】2021-11-10
(31)【優先権主張番号】15/814,511
(32)【優先日】2017-11-16
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】511227336
【氏名又は名称】モレキュラー デバイシーズ， エルエルシー
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(72)【発明者】
【氏名】ユーセフ・アル－コファヒ
(72)【発明者】
【氏名】ミラベラ・ルス
【審査官】▲広▼島 明芳
(56)【参考文献】
【文献】米国特許出願公開第２０１７／０２４９５４８（ＵＳ，Ａ１）
【文献】特開２０１３－２３８４５９（ＪＰ，Ａ）
【文献】特開２０１２－０９９０７０（ＪＰ，Ａ）
【文献】Fuyong Xing, et al.，An Automatic Learning-Based Framework for Robust Nucleus Segmentation，IEEE Transactions on Medical Imaging，2016年，Volume: 35, Issue: 2，https://ieeexplore.ieee.org/document/7274740
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
(57)【特許請求の範囲】
【請求項1】
１つ以上の非核細胞マーカー染色剤で染色された生体サンプルのサンプル画像を、輪郭を描かれた核及び細胞質領域を有する１つ以上の細胞を含むセグメント化画像に変換するためのコンピュータ実施方法であって、（ａ）命令を実行するように構成されたプロセッサと、
前記プロセッサに動作可能に結合されたメモリ又はストレージデバイスであって、前記メモリ及び前記ストレージデバイスのうちの少なくとも１つは、
生体サンプルの複数のトレーニング画像を含むトレーニングデータから生成されるモデルであって、前記トレーニング画像は、核、細胞、及びバックグラウンドの少なくとも１つとして識別された領域を含む、モデル；
１つ以上の非核細胞マーカー染色剤で染色された前記生体サンプルの前記サンプル画像；及び
プロセッサ実行可能命令；
を格納するように構成される、メモリ又はストレージデバイスと、
を有するコンピュータシステムを提供することと、
（ｂ）前記メモリ又は前記ストレージデバイス内で、前記モデル及び１つ以上の非核細胞マーカー染色剤で染色された前記生体サンプルの前記サンプル画像にアクセスすることと、
（ｃ）前記モデルを前記サンプル画像に適用することにより、予測された核領域を含む核確率マップと、予測された細胞領域を含む細胞確率マップと、を生成することと、
（ｄ）前記プロセッサにより、前記核確率マップからバイナリ核マスクを抽出することと、
（ｅ）前記プロセッサにより、前記バイナリ核マスクから核種マップを抽出することであって、前記核種マップは、輪郭を描かれた核領域によって分離された、抽出された個々の核種を含む、ことと、
（ｆ）前記プロセッサにより、前記抽出された核種を前記サンプル画像に適用することと、
（ｇ）前記サンプル画像を、輪郭を描かれた核及び細胞質領域を有する１つ以上の細胞を含む前記セグメント化画像に変換することと、
を含む、方法。
【請求項2】
前記サンプル画像は複数の画素を含み、ステップ（ｃ）は、バックグラウンド画素、細胞画素、又は核画素である前記複数の画素の各画素の確率スケールを決定することをさらに含む、請求項１に記載の方法。
【請求項3】
前記確率スケールは連続スケールである、請求項２に記載の方法。
【請求項4】
ステップ（ｄ）は、ブロブ検出及びマルチレベルの閾値処理のうちの少なくとも１つを実行することをさらに含む、請求項１に記載の方法。
【請求項5】
前記核確率マップ上で異なるサイズを有する核の領域を識別することと、識別された前記核の領域にマルチレベルの閾値処理を適用することと、
前記核確率マップ内の複数の画素の各画素にバイナリ値を割り当てることと、
前記核確率マップから前記バイナリ核マスクを抽出することと、
をさらに含む、請求項４に記載の方法。
【請求項6】
ステップ（ｅ）は、形状ベースのウォーターシェッドセグメンテーションを実行することをさらに含む、請求項１に記載の方法。
【請求項7】
前記プロセッサにより、前記バイナリ核マスクの逆距離変換を決定することと、前記プロセッサにより、決定された前記逆距離変換に拡張ｈ－ｍｉｎｉｍａ変換を適用することと、
前記プロセッサにより、前記バイナリ核マスクから局所最小値を抽出することと、
前記プロセッサにより、前記局所最小値をシードとして使用して、決定された前記逆距離変換にシードウォーターシェッド変換を適用することと、
をさらに含む、請求項６に記載の方法。
【請求項8】
前記拡張ｈ－ｍｉｎｉｍａ変換を適用することは、深さｈでＨ－ｍｉｎｉｍａ変換を適用して、ｈ未満の深さを有する局所最小値を抑えることと、前記抑えられた局所最小値を有する結果として得られる画像から局所最小値を抽出することと、を含む、請求項７に記載の方法。
【請求項9】
前記深さｈはユーザー定義の値である、請求項８に記載の方法。
【請求項10】
前記深さｈは３μｍのデフォルト値を有する、請求項８に記載の方法。
【請求項11】
前記サンプル画像は強度調整のために前処理され、前記前処理は、前記プロセッサにより、前記サンプル画像のノイズ除去；
前記サンプル画像のバックグラウンド照明補正：及び
前記サンプル画像の再スケーリング；
のステップの少なくとも１つを実行することを含む、請求項１に記載の方法。
【請求項12】
前記サンプル画像は、画素レベルの重み付けを前記サンプル画像に適用することによって生成された、増強されたサンプル画像である、請求項１に記載の方法。
【請求項13】
ステップ（ｇ）は、前記画像のバックグラウンドを決定することと、マルチレベルの閾値処理に基づいてバックグラウンドラベルを割り当てることと、をさらに含む、請求項１に記載の方法。
【請求項14】
前記マルチレベルの閾値処理は、前記プロセッサにより、前記核確率マップ内の幾つかの核領域と、前記細胞確率マップ内の細胞領域の期待される面積と、を識別するステップと、
前記プロセッサにより、前記細胞領域の期待される面積に最も近いと推定される面積をもたらす閾値を選択することと、
によって実行される、請求項１３に記載の方法。
【請求項15】
ステップ（ｇ）は、割り当てられたバックグラウンドラベルと、輪郭を描かれた核領域によって分離された個々の核種を含む抽出された核種と、を使用してシードウォーターシェッドセグメンテーションを実行することをさらに含む、請求項１２に記載の方法。
【請求項16】
１つ以上の非核細胞マーカー染色剤で染色された生体サンプルのサンプル画像を、輪郭を描かれた核及び細胞質領域を有する１つ以上の細胞を含むセグメント化画像に変換するためのコンピュータシステムであって、命令を実行するように構成されたプロセッサと、
前記プロセッサに動作可能に結合されたメモリ又はストレージデバイスと、
を含み、前記メモリ及び前記ストレージデバイスのうちの一方又は両方は、
生体サンプルの複数のトレーニング画像を含むトレーニングデータから生成されるモデルであって、前記トレーニング画像は、核、細胞、及びバックグラウンドの少なくとも１つとして識別された領域を含む、モデル；
１つ以上の非核細胞マーカー染色剤で染色された前記生体サンプルの前記サンプル画像；及び
プロセッサ実行可能命令であって、前記プロセッサによって実行されたときに、
（ａ）前記メモリ又は前記ストレージデバイス内で、前記モデル及び１つ以上の非核細胞マーカー染色剤で染色された前記生体サンプルの前記サンプル画像にアクセスすることと、
（ｂ）前記モデルを前記サンプル画像に適用することにより、予測された核領域を含む核確率マップと、予測された細胞領域を含む細胞確率マップと、を生成することと、
（ｃ）前記プロセッサにより、前記核確率マップからバイナリ核マスクを抽出することと、
（ｄ）前記プロセッサにより、前記バイナリ核マスクから核種マップを抽出することであって、前記核種マップは、輪郭を描かれた核領域によって分離された、抽出された個々の核種を含む、ことと、
（ｆ）前記プロセッサにより、前記抽出された核種を前記サンプル画像に適用することと、
（ｇ）前記サンプル画像を、輪郭を描かれた核及び細胞質領域を有する１つ以上の細胞を含む前記セグメント化画像に変換することと、
を含む動作の実行を引き起こす、プロセッサ実行可能命令；
を格納するように構成される、コンピュータシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書で開示される主題は、一般に、生体サンプルの画像の全細胞セグメンテーションに関し、より具体的には、１つ以上の非核細胞マーカー染色剤で染色された生体サンプルの画像の単一チャネル全細胞セグメンテーションに関する。
【背景技術】
【0002】
細胞は、全ての生物における基本的な構造的、機能的、及び生物学的ユニットである。さらに、細胞には、幾つかの細胞内区画（核、細胞質、及び膜など）及びオルガネラ（ミトコンドリアなど）が含まれる。細胞を画像化、セグメント化、及び研究する能力は、学術調査及び臨床研究の中心である。１つの例は、正常状態及び病的状態における細胞動態を理解するための研究である。別の例は、細胞に対する様々な薬物治療条件の効果を測定することが重要である創薬である。別の例は、タイムラプス顕微鏡を使用して生細胞の細胞動態を研究するための生細胞画像化である。高解像度蛍光顕微鏡の最近の進歩は、細胞及びそれらの細胞内構造の詳細な可視化への道を開いた。顕微鏡法の進歩は、コンピューティング機能の進歩、並びに正確な高処理量の細胞分析を可能にする画像セグメンテーションのためのコンピュータビジョン及び画像処理の技術の発達を伴ってきた。
【0003】
細胞セグメンテーション、特に全細胞セグメンテーションは、過去数十年にわたって多くの研究の焦点となってきた。本明細書で使用されるセグメンテーションとの用語は、細胞などの生物学的ユニットの境界の識別を指す。例えば、全細胞セグメンテーションでは、細胞の境界及び核、細胞質、及び／又は膜などの細胞の細胞内区画が、サンプル画像内に描かれている。全細胞セグメンテーションプロセスにより、サンプル画像は輪郭を描かれた領域を有するセグメント化画像に変換される。サンプル画像は、顕微鏡、例えば蛍光顕微鏡を使用して得ることができる。正確なセグメンテーションを達成することは、サンプル画像の複雑さ及び明確な境界を有さない組織構造の高密度さのために、しばしば困難になる可能性がある。特定の分析技術では、セグメンテーションを使用して、バイオマーカーの定量化及び特徴抽出（形態学的特徴及び表現型など）のための領域及び／又はユニットを特定する。例えば、細胞分析ワークフローには、細胞セグメンテーション、細胞レベルの定量化、及びデータ分析が含まれ得る。細胞セグメンテーションステップは、複数の構造マーカーを使用して、異なる細胞内区画をセグメント化し、次いで全細胞セグメンテーションで細胞境界を描くことができる。第２のステップでは、各バイオマーカーを細胞レベル（各細胞に対する平均又は合計強度など）及び細胞内レベルの両方で定量化する。そして、これらの細胞レベルの測定値は通常、データ分析段階の初めに画像レベル又は対象レベルで集計される。全細胞セグメンテーションは詳細な細胞レベルの定量化を容易にするが、既存の細胞分析ワークフローは幾つかの欠点を有する。例えば、細胞セグメンテーションステップからのエラーにより、定量化エラーが発生することがある。さらに、画像の詳細な細胞セグメンテーション及び細胞レベルの定量化は時間がかかる場合があり、処理時間は、組織の特徴及び画像内の細胞の数に応じて画像間で異なり得る。さらに、時間がかかる細胞セグメンテーションの手動による確認がしばしば必要になる。
【0004】
細胞セグメンテーションのための幾つかの技術が一般的に使用されている。全細胞セグメンテーションのための既存の技術は、セグメンテーションを実行するために機器（顕微鏡など）の２つ以上のチャネルに依存する場合が多く、本明細書では「２チャネル全細胞セグメンテーション」又は「マルチチャネル全細胞セグメンテーション」と呼ぶ。例えば、既存の技術の多くは、第１チャネルにおける核を特異的に染色する核細胞マーカーと、全細胞セグメンテーションのための第１チャネルとは異なる第２チャネルにおける１つ以上の非核細胞マーカーと、の両方の使用に依存している。核細胞マーカーとは対照的に、非核細胞マーカーは、核を特異的に染色しない細胞マーカー、例えば、膜及び／又は細胞質マーカーを指す。従って、このような２チャネル又はマルチチャネル全細胞セグメンテーション技術は、核細胞マーカーのために確保された第１チャネルと、非核細胞マーカーのための第２及び／又はさらなるチャネルと、を備えた２つ以上のチャネルを必要とする。
【0005】
しかしながら、多くの顕微鏡のチャネルの数は限られていることを考えると、セグメンテーションには単一のチャネルのみを使用して、残りのチャネルを異なる生物学的現象の研究に使用される他の分析バイオマーカーに利用できるようにすることが非常に望ましい。さらに、特に生細胞の画像化では、本明細書で「単一チャネル全細胞セグメンテーション」と呼ばれる、顕微鏡などの機器の単一チャネルを使用して全細胞セグメンテーションを実行し、核細胞マーカーが細胞に及ぼす毒性効果と、それらの使用により生じる可能性のある形態の変化とにより、核を特異的に染色する核細胞マーカー（ＤＡＰＩ（４’，６－ジアミジノ－２－フェニルインドール）など）の使用を避けたいという要望がしばしばある。
【0006】
幾つかの既存の単一チャネル細胞セグメンテーション技術は、強度及び／又は形態などの画像特徴に依存している。例えば、ウォーターシェッド変換は、接触する／重なり合う細胞又は核を分離し、細胞の画像をセグメント化するために使用されてきた画像処理技術である。ウォーターシェッド変換を使用すると、サンプル画像を３次元の位相幾何学的表面（ｔｏｐｏｌｏｇｉｃａｌ ｓｕｒｆａｃｅ）としてモデル化することができ、画像内の画素の値（明るさ又はグレーレベルなど）は地理的な高さを表す。細胞の画像をセグメント化するために使用されてきた他の画像処理技術には、形態学ベースの技術、例えば、細胞又は核に対して塊（ｂｌｏｂ）のような形状を仮定するブロブベースの検出が含まれる。動的輪郭モデル及び／又はヘビアルゴリズムも使用されている。しかしながら、これらの既存の技術は、細胞に関連する変動のために、正確な全細胞セグメンテーションを可能にしない。
【0007】
例えば、異なる組織タイプの組織学における変動のために、セグメンテーションは、特定の組織タイプの用途に対する有意な適応及び最適化なしに正確なセグメンテーションを生成しない場合がある。セグメンテーション技術により、画像が過剰にセグメント化される（例えば、単一の細胞として表示されるものが実際には細胞の一部にすぎない）か、又は少なくセグメント化される（例えば、単一の細胞として表示されるものが実際には幾つかの異なる細胞の組み合わせであり得る）場合があることに留意されたい。さらに、画像の１つの領域に適したセグメンテーションパラメータは、同じ画像の他の領域ではうまく機能しない場合がある。従って、既存の技術は、多くの形態学的変動を有する多数の細胞のセグメンテーションには十分に堅牢ではない可能性がある。さらに、細胞はしばしば異なるマーカーで染色され、異なる倍率で画像化されるため、細胞の形状及び外観に大きなばらつきが生じ、セグメンテーション結果が低下する可能性がある。
【0008】
より最近では、深層学習ベースの技術が生物医学的画像分析の分野において大きな関心を集めている。これらの機械学習技術（画素分類など）は、細胞セグメンテーションにも適用されている。例えば、深層学習モデルを使用して、３つのチャネルから異なる分類の細胞を識別した。しかしながら、細胞境界の実際のセグメンテーションは実行されなかった。
【0009】
従って、生体サンプルの画像の単一チャネル全細胞セグメンテーション、より具体的には、非核細胞マーカーで染色された生体サンプルの画像の単一チャネル全細胞セグメンテーションを実行するための改善されたシステム及び方法を開発することが非常に望ましい。
【発明の概要】
【発明が解決しようとする課題】
【0010】
最初に特許請求の範囲に記載された主題と範囲が相応する特定の実施形態を以下に要約する。これらの実施形態は、特許請求の範囲に記載される主題の範囲を限定することを意図しておらず、むしろこれらの実施形態は、可能な実施形態の簡単な要約を提供することのみを意図している。実際に、本開示は、以下に記載される実施形態と同様又は異なる場合がある様々な形態を包含し得る。
【課題を解決するための手段】
【0011】
一実施形態において、１つ以上の非核細胞マーカー染色剤で染色された生体サンプルのサンプル画像を、輪郭を描かれた核及び細胞質領域を有する１つ以上の細胞を含むセグメント化画像に変換するためのコンピュータ実施方法が提供される。この方法は、（ａ）命令を実行するように構成されたプロセッサと、プロセッサに動作可能に結合されたメモリ又はストレージデバイスであって、メモリ及びストレージデバイスのうちの少なくとも１つは、生体サンプルの複数のトレーニング画像を含むトレーニングデータから生成されるモデルであって、トレーニング画像は、核、細胞、及びバックグラウンドの少なくとも１つとして識別された領域を含む、モデル；１つ以上の非核細胞マーカー染色剤で染色された生体サンプルのサンプル画像；及びプロセッサ実行可能命令；を格納するように構成される、メモリ又はストレージデバイスと、を有するコンピュータシステムを提供することと、（ｂ）メモリ又はストレージデバイス内で、モデル及び１つ以上の非核細胞マーカー染色剤で染色された生体サンプルのサンプル画像にアクセスすることと、（ｃ）モデルをサンプル画像に適用することにより、予測された核領域を含む核確率マップと、予測された細胞領域を含む細胞確率マップと、を生成することと、（ｄ）プロセッサにより、核確率マップからバイナリ核マスクを抽出することと、（ｅ）プロセッサにより、バイナリ核マスクから核種（ｎｕｃｌｅｉ ｓｅｅｄｓ）マップを抽出することであって、核種マップは、輪郭を描かれた核領域によって分離された、抽出された個々の核種を含む、ことと、（ｆ）プロセッサにより、抽出された核種をサンプル画像に適用することと、（ｇ）サンプル画像を、輪郭を描かれた核及び細胞質領域を有する１つ以上の細胞を含むセグメント化画像に変換することと、を含む。
【0012】
別の実施形態では、１つ以上の非核細胞マーカー染色剤で染色された生体サンプルのサンプル画像を、輪郭を描かれた核及び細胞質領域を有する１つ以上の細胞を含むセグメント化画像に変換するためのコンピュータシステムが提供される。このコンピュータシステムは、命令を実行するように構成されたプロセッサと、プロセッサに動作可能に結合されたメモリ又はストレージデバイスと、を含み、メモリ及びストレージデバイスのうちの一方又は両方は、生体サンプルの複数のトレーニング画像を含むトレーニングデータから生成されるモデルであって、トレーニング画像は、核、細胞、及びバックグラウンドの少なくとも１つとして識別された領域を含む、モデル；１つ以上の非核細胞マーカー染色剤で染色された生体サンプルのサンプル画像；及び、プロセッサによって実行されたときに、（ａ）メモリ又はストレージデバイス内で、モデル及び１つ以上の非核細胞マーカー染色剤で染色された生体サンプルのサンプル画像にアクセスすることと、（ｂ）モデルをサンプル画像に適用することにより、予測された核領域を含む核確率マップと、予測された細胞領域を含む細胞確率マップと、を生成することと、（ｃ）プロセッサにより、核確率マップからバイナリ核マスクを抽出することと、（ｄ）プロセッサにより、バイナリ核マスクから核種マップを抽出することであって、核種マップは、輪郭を描かれた核領域によって分離された、抽出された個々の核種を含む、ことと、（ｆ）プロセッサにより、抽出された核種をサンプル画像に適用することと、（ｇ）サンプル画像を、輪郭を描かれた核及び細胞質領域を有する１つ以上の細胞を含むセグメント化画像に変換することと、を含む動作の実行を引き起こす、プロセッサ実行可能命令；を格納するように構成される。
【0013】
本開示のこれら及び他の特徴、態様、及び利点は、同様の符号が図面全体を通じて同様の部分を表す添付図面を参照して以下の詳細な説明を読むと、よりよく理解されるであろう。
【図面の簡単な説明】
【0014】
【図1】本開示の実施形態による画像化システムの概略図である。
【図2】本開示の実施形態によるコンピューティング装置のブロック図を示す。
【図3】本開示の実施形態による深層学習ネットワークアーキテクチャを示す。
【図4】本開示の実施形態に従って構築された、核、細胞、及びバックグラウンドラベルに対するトレーニング又は予測モデルの結果を示す。
【図5】本開示の実施形態による単一チャネル全細胞セグメンテーションワークフローを示す。
【図7】本開示の実施形態による、サンプル画像を細胞確率マップ及び核確率マップに変換するステップを示すブロック図である。
【図8】本開示の実施形態による、核確率マップからバイナリ核マスクを抽出するステップを示すブロック図である。
【図9】本開示の実施形態による、バイナリ核マスクから、輪郭を描かれた核領域によって分離された個々の核種を有する核種マップを抽出するステップを示すブロック図である。
【図10】本開示の実施形態による、抽出された核種をサンプル画像に適用するステップを示すブロック図である。
【図11】本開示の実施形態による、細胞セグメンテーション品質スコアを計算するために使用されるアルゴリズムを示す。
【図12】図１２Ａ～図１２Ｄは、異なる倍率で撮られ、様々な非核細胞マーカーで染色されたサンプル画像の例を示す。図１２Ａでは、サンプル画像は１０倍の倍率で撮られ、ｄｓＲｅｄで染色されている。図１２Ｂでは、サンプル画像は１０倍の倍率で撮られ、ＴｅｘａｓＲｅｄで染色されている。図１２Ｃでは、サンプル画像は２０倍の倍率で撮られ、Ｃｙ５で染色されている。図１２Ｄでは、サンプル画像は２０倍の倍率で撮られ、ｄｓＲｅｄで染色されている。
【図13】図１３Ａ～図１３Ｄは、表１の例に対するセグメンテーション結果を示す。図１３Ａは、半自動化グラウンドトゥルースセグメンテーションを使用したセグメンテーション結果を示す。図１３Ｂは、本開示の実施形態による、深層学習ベースのアプローチを使用したセグメンテーション結果を示す。図１３Ｃ及び図１３Ｄはそれぞれ、図１３Ａ及び図１３Ｂの白いボックスの領域のクローズアップを示す。
【図14】図１４Ａ～図１４Ｄは、表１の別の例に対するセグメンテーション結果を示す。図１４Ａは、半自動化グラウンドトゥルースセグメンテーションを使用したセグメンテーション結果を示す。図１４Ｂは、本開示の実施形態による、深層学習ベースのアプローチを使用したセグメンテーション結果を示す。図１４Ｃ及び図１４Ｄはそれぞれ、図１４Ａ及び図１４Ｂの白いボックスの領域のクローズアップを示す。
【図15】図１５Ａ～図１５Ｄは、表１のさらに別の例に対するセグメンテーション結果を示す。図１５Ａは、半自動化グラウンドトゥルースセグメンテーションを使用したセグメンテーション結果を示す。図１５Ｂは、本開示の実施形態による、深層学習ベースのアプローチを使用したセグメンテーション結果を示す。図１５Ｃ及び図１５Ｄはそれぞれ、図１５Ａ及び図１５Ｂの白いボックスの領域のクローズアップを示す。
【図16】本開示の実施形態による、表１の実験１からの合計１６６６のセグメント化細胞に対する細胞レベル品質スコアのヒストグラムの結果を示す。
【図17】本開示の実施形態による、深層学習ベースのアプローチの交差検証実験の結果を示す。
【発明を実施するための形態】
【0015】
本開示の実施形態は、例えば、無傷の器官又は組織、あるいは器官又は組織の代表的な部分を含む、インサイチュで実行され得る。インサイチュ分析は、生物、器官、組織サンプル、又は細胞培養を含む様々な供給源から得られた細胞を含み得る。それらの分析は、細胞がそれらの生物学的環境から取り出された場合に得ることが困難な標本データを提供することができる。標本内の細胞がそれらの自然組織環境から乱されている場合、そのようなものを取得することは不可能である場合がある。
【0016】
本開示の全細胞セグメンテーションは、既存のセグメンテーション技術が直面する多くの課題を解決した。本開示のシステム及び方法の利点には、それだけには限定されないが、（ａ）セグメント化に単一のチャネルを使用する、（ｂ）個々のサンプルのパラメータをカスタマイズする必要なしに、異なるマーカーで染色され、異なる倍率で画像化されたサンプルに適用可能である、（ｃ）クラスター化された細胞が分離され、細胞境界が明確に描かれており、またグラウンドトゥルースセグメンテーションと同等の精度を有する全細胞セグメンテーションを提供することが含まれる。
【0017】
［システム概要］
本技術は、画像分析のためのシステム及び方法を提供する。特定の実施形態では、本技術は、過去に取得された画像、例えば、デジタルに保存された画像とともに遡及的研究において使用され得ることが想定される。他の実施形態では、画像は、物理的サンプルから取得されてもよい。そのような実施形態では、本技術は、画像取得システムとともに使用することができる。本技術に従って動作することができる例示的な撮像システム１０を図１に示す。一般に、撮像システム１０は、信号を検出し、その信号を下流のプロセッサによって処理され得るデータに変換する撮像素子１２を含む。撮像素子１２は、画像データを作成するための様々な物理的原理に従って動作することができ、蛍光顕微鏡、明視野顕微鏡、又は適切な撮像様式に適合されたデバイスを含むことができる。しかしながら、一般に、撮像素子１２は、ここでは写真フィルムなどの従来の媒体又はデジタル媒体の何れかにおいて組織マイクロアレイ上の複数のサンプルとして示されている、細胞の集団１４を含む生体サンプルを示す画像データを作成する。本明細書で使用する場合、「標本」、「生体標本」、「生体材料」、又は「生体サンプル」との用語は、哺乳動物などの任意の生体系から単離された又はその中にある体液（血液、血漿、血清、又は尿など）、器官、組織、生検、画分、及び細胞を含むがそれらに限定されない、生体組織を含む生体対象から得られた又はその中にある材料、又は対象から得られた液体を指す。標本、生体標本、生体サンプル、及び／又は生体材料はまた、生体サンプル、標本、又は組織を含む材料の断面（器官又は組織の断面部分など）を含むことがあり、また、生体サンプルからの抽出物、例えば、体液（血液又は尿など）からの抗原を含むことがある。標本、生体標本、生体サンプル、及び／又は生体材料は、スライドの一部として画像化されてもよい。
本技術は、画像分析のためのシステム及び方法を提供する。特定の実施形態では、本技術は、過去に取得された画像、例えば、デジタルに保存された画像とともに遡及的研究において使用され得ることが想定される。他の実施形態では、画像は、物理的サンプルから取得されてもよい。そのような実施形態では、本技術は、画像取得システムとともに使用することができる。本技術に従って動作することができる例示的な撮像システム１０を図１に示す。一般に、撮像システム１０は、信号を検出し、その信号を下流のプロセッサによって処理され得るデータに変換する撮像素子１２を含む。撮像素子１２は、画像データを作成するための様々な物理的原理に従って動作することができ、蛍光顕微鏡、明視野顕微鏡、又は適切な撮像様式に適合されたデバイスを含むことができる。しかしながら、一般に、撮像素子１２は、ここでは写真フィルムなどの従来の媒体又はデジタル媒体の何れかにおいて組織マイクロアレイ上の複数のサンプルとして示されている、細胞の集団１４を含む生体サンプルを示す画像データを作成する。本明細書で使用する場合、「標本」、「生体標本」、「生体材料」、又は「生体サンプル」との用語は、哺乳動物などの任意の生体系から単離された又はその中にある体液（血液、血漿、血清、又は尿など）、器官、組織、生検、画分、及び細胞を含むがそれらに限定されない、生体組織を含む生体対象から得られた又はその中にある材料、又は対象から得られた液体を指す。標本、生体標本、生体サンプル、及び／又は生体材料はまた、生体サンプル、標本、又は組織を含む材料の断面（器官又は組織の断面部分など）を含むことがあり、また、生体サンプルからの抽出物、例えば、体液（血液又は尿など）からの抗原を含むことがある。標本、生体標本、生体サンプル、及び／又は生体材料は、スライドの一部として画像化されてもよい。
【0018】
撮像素子１２は、システム制御回路１６の制御下で動作する。システム制御回路１６は、照明源制御回路、タイミング回路、サンプルの動きに関連してデータ取得を調整するための回路、光源及び検出器の位置を制御するための回路などの広範囲の回路を含み得る。本文脈において、システム制御回路１６はまた、システム制御回路１６によって、又はシステム１０の関連するコンポーネントによって実行されるプログラム及びルーチンを格納するための、磁気、電子、又は光学ストレージ媒体などのコンピュータ可読メモリ素子を含むことができる。格納されたプログラム又はルーチンは、本技術の全て又は一部を実行するためのプログラム又はルーチンを含んでもよい。
【0019】
撮像素子１２によって取得された画像データは、例えば、取得されたデータ又は信号をデジタル値に変換するためなどの様々な目的のために撮像素子１２によって処理され、データ取得回路１８に提供され得る。データ取得回路１８は、デジタルダイナミックレンジの調整、データの平滑化又は鮮鋭化、並びにデータストリーム及びファイルのコンパイルなど、必要に応じて、幅広い処理機能を実行することができる。
【0020】
データ取得回路１８はまた、取得した画像データをデータ処理回路２０に転送することもでき、そこで追加の処理及び分析を実行することができる。従って、データ処理回路２０は、順序付け、鮮鋭化、平滑化、特徴認識などを含むがこれらに限定されない画像データの実質的な分析を実行することができる。さらに、データ処理回路２０は、１つ以上のサンプル源（マルチウェルプレートの複数のウェルなど）に対するデータを受け取ることができる。処理された画像データは、撮像システム１０内に配置され得るか、又は、撮像システム１０から遠く離れて配置され、かつ／又はオペレータワークステーション２２などオペレータのために再構築及び表示され得る、画像保管通信システムなどの短期又は長期のストレージデバイスに格納されてもよい。
【0021】
再構成された画像を表示することに加えて、オペレータワークステーション２２は、通常はシステム制御回路１６とのインターフェースを介して、撮像システム１０の上述の動作及び機能を制御することができる。オペレータワークステーション２２は、汎用又は特定用途向けコンピュータ２４などの１つ以上のプロセッサベースのコンポーネントを含んでもよい。プロセッサベースのコンポーネントに加えて、コンピュータ２４は、磁気及び光学大容量ストレージデバイス、ＲＡＭチップなどの内部メモリを含む様々なメモリ及び／又はストレージコンポーネントを含むことができる。メモリ及び／又はストレージコンポーネントは、オペレータワークステーション２２又はシステム１０の関連するコンポーネントによって実行される、本明細書に記載の技術を実行するためのプログラム及びルーチンを格納するために使用され得る。あるいは、プログラム及びルーチンは、コンピュータのアクセス可能なストレージ、及び／又は、オペレータワークステーション２２から遠く離れているがコンピュータ２４上に存在するネットワーク及び／又は通信インターフェースによってアクセス可能なメモリに格納されてもよい。コンピュータ２４はまた、様々な入力／出力（Ｉ／Ｏ）インターフェース、並びに様々なネットワーク又は通信インターフェースを含むことができる。様々なＩ／Ｏインターフェースは、構成情報を閲覧及び入力するため、及び／又は撮像システム１０を操作するために使用され得る、ディスプレイ２６、キーボード２８、マウス３０、及びプリンタ３２などのユーザーインターフェースデバイスとの通信を可能にし得る。様々なネットワーク及び通信インターフェースは、局所的及び広域の両方のイントラネット及びストレージネットワーク、並びにインターネットへの接続を可能にし得る。様々なＩ／Ｏ及び通信インターフェースは、適切に又は必要に応じて、ワイヤ、ライン、又は適切なワイヤレスインターフェース（ＷＩＦＩ、Ｂｌｕｅｔｏｏｔｈ、又は携帯電話インターフェースを含む）を利用することができる。
【0022】
撮像システム１０には、複数のオペレータワークステーション２２を設けることができる。例えば、撮像スキャナ又はステーションは、画像データ取得手順に含まれるパラメータの調整を可能にするオペレータワークステーション２２を含むことができ、一方で、異なるオペレータワークステーション２２が、結果及び再構成された画像を操作、増強、及び閲覧するために提供され得る。従って、本明細書に記載される画像処理、セグメント化、及び／又は増強技術は、生の、処理された、又は部分的に処理された画像データにアクセスし、本明細書に記載されたステップ及び機能を実行して画像出力を改善するか又は追加の出力の種類（生データ、強度値、細胞プロファイルなど）を提供する完全に分離された独立したワークステーションなどにおいて、撮像システムから遠隔で実行することができる。
【0023】
さらに、開示された出力はまた、システム１０を介して提供されてもよいことを理解されたい。例えば、システム１０は、開示された技術に基づいてメトリック又は値を生成し、そのような値の他の指標をシステム１０によって表示又は提供することができる。
【0024】
開示された実施形態の少なくとも１つの態様では、本明細書に開示されたシステム及び方法は、非一時的コンピュータ可読媒体などのコンピュータ可読媒体に格納された１つ以上のプログラムの制御下で、１つ以上のコンピュータ又はプロセッサベースのコンポーネントによって実行され得る。図２は、本開示の態様を実施するために使用され得る例示的なコンピューティング装置４０のブロック図を示す。少なくとも１つの例示的な態様では、システム制御回路１６、データ取得回路１８、データ処理回路２０、オペレータワークステーション２２、及び他の開示されたデバイス、コンポーネント、及びシステムは、コンピューティング装置４０のインスタンス又はレプリカを使用して実装され得るか、又はコンピューティング装置４０の任意の数のインスタンス又はレプリカ間で結合又は分散され得る。
【0025】
コンピューティング装置４０は、コンピュータ可読プログラムコード、少なくとも１つのコンピュータ可読媒体４４に格納された機械可読実行可能命令、又は、実行されたときに本開示の実施形態の全て又は一部を含む本明細書に記載されたプロセス及び方法を実施及び実行するように構成されたプロセッサ実行可能命令（ファームウェア又はソフトウェアなど）を含むことができる。コンピュータ可読媒体４４は、コンピューティング装置４０のメモリデバイスとすることができる。メモリデバイスは、ランダムアクセスメモリ（ＲＡＭ）などの揮発性メモリ、及び／又は、読み取り専用メモリ（ＲＯＭ）などの不揮発性メモリを含むことができる。メモリデバイスは、様々な情報を格納してもよく、様々な目的に使用されてもよい。代替の態様では、コンピュータ可読プログラムコードは、装置４０の外部、又は装置４０から遠く離れたメモリに格納することができる。メモリは、磁気媒体、半導体媒体、光学媒体、又はコンピュータによって読み取り可能かつ実行可能であり得る任意の媒体を含むことができる。コンピューティング装置４０はまた、ＲＯＭ、フラッシュメモリ、ハードドライブ、又は任意の他の適切な光学、磁気、又はソリッドステートストレージ媒体などのストレージデバイス４６（不揮発性ストレージなど）を含み得る。ストレージデバイス４６は、データ（例えば、入力データ、処理結果など）、命令（例えば、データを処理するためのソフトウェア又はファームウェア）などを格納することができる。コンピューティング装置４０はまた、メモリ又は他のコンピュータ可読媒体４４及び／又はストレージデバイス４６が動作可能に結合された１つ以上のプロセッサ４２を含むことができ、メモリ又は少なくとも１つのコンピュータ可読媒体４４に格納されたコンピュータ可読プログラムコードを実行する。少なくとも１つの態様では、コンピューティング装置４０は、１つ以上の入力又は出力デバイスを含み、例えば、撮像システム１０に含まれる他のコンポーネントを操作し得る上述のオペレータワークステーション２２などのユーザーインターフェース４８と一般的に呼ばれ得るものを含む、例示的な撮像システム１０のコンポーネント間の通信を可能にするか、又はコンピューティング装置４０からの入力又は出力を撮像システム１０の他のコンポーネントに、若しくは撮像システム１０の他のコンポーネントから提供することができる。
【0026】
［トレーニングモデルの開発］
本開示の特定の実施形態によれば、トレーニングモデルが開発され、単一チャネル全細胞セグメンテーションワークフローで使用される。トレーニングモデルは、深層学習フレームワーク上に構築され得る深層学習モデルであることができる。深層学習フレームワークのネットワークアーキテクチャは、畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）及び逆畳み込み（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）層のカスケードを使用して画像又は画素ラベルの予測に使用することができる画像機能の階層（低レベルから高レベル）を学習する、畳み込みニューラルネットワークであり得る。Ｍｘｎｅｔライブラリ及びＵ－ｎｅｔアーキテクチャを使用して、深層学習フレームワークにおいて複数の分類又はラベルの画素レベルの予測を計算することができる。
本開示の特定の実施形態によれば、トレーニングモデルが開発され、単一チャネル全細胞セグメンテーションワークフローで使用される。トレーニングモデルは、深層学習フレームワーク上に構築され得る深層学習モデルであることができる。深層学習フレームワークのネットワークアーキテクチャは、畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）及び逆畳み込み（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）層のカスケードを使用して画像又は画素ラベルの予測に使用することができる画像機能の階層（低レベルから高レベル）を学習する、畳み込みニューラルネットワークであり得る。Ｍｘｎｅｔライブラリ及びＵ－ｎｅｔアーキテクチャを使用して、深層学習フレームワークにおいて複数の分類又はラベルの画素レベルの予測を計算することができる。
【0027】
特定の実施形態において、全細胞セグメンテーションにおける深層学習モデルは、ｍｘｎｅｔを使用してｐｙｔｈｏｎで実装され得、一方で、核種マップ及び輪郭を描かれた領域を有する細胞セグメンテーションは、ＩＴＫを使用してｐｙｔｈｏｎ及びＣ＋＋で開発され得る。深層学習モデルは、ｎｖｉｄｉａグラフィックカードＴｅｓｌａ Ｋ８０を使用して、Ｕｂｕｎｔｕベースのａｍａｚｏｎクラウド環境（ＡＷＳ）でトレーニングすることができる。深層学習モデルのトレーニングは、エポック毎に約１１～１３分かかることがあるが、ここでエポックは、フルトレーニングセットの１パスであり、交差検証の集団（ｆｏｌｄ）毎に約６時間かかる。トレーニング済みモデル及び後処理ステップを新しい画像に適用することは、画像毎に約４～６秒かかり得る。
【0028】
図３は、Ｕ－ｎｅｔアーキテクチャが使用される本開示の実施形態による深層学習ネットワークアーキテクチャを示す。深層学習トレーニングモデルは１６０×１６０画素の画像パッチを使用して生成され、核、細胞、及びバックグラウンドラベルを含む３つの異なるラベルを予測する。図３に示すように、１６０×１６０画素の入力画像パッチから、一連の５つの畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）及びプーリング（ｐｏｏｌｉｎｇ）ステップが適用される。畳み込みカーネルのサイズは３×３であり、５つの層に対するフィルター数はそれぞれ、３２、６４、１２８、１２８、及び２５６である。従って、最下層は５×５の画像になる。
【0029】
トレーニングは反復的に進行し、反復／エポックの数は経験的に約３０～５０の範囲に設定される。各トレーニングの反復において、目標は、損失関数が最小になるようにネットワークの重みを推定することである。より具体的には、以下の式（１）に示すように、ｌｎ、ｌｃ、及びｌｂはそれぞれ、トレーニングデータセットにおける核、細胞、及びバックグラウンドラベルを示し、ｐｎ、ｐｃ、及びｐｂはそれぞれ、核、細胞及びバックグラウンドに対する深層学習アーキテクチャの予測を示す。そして、損失関数ｆ（ｘ）は、予測及び示されたラベルの二乗平均平方根偏差（ＲＳＭＤ）として定義され得る。損失関数には、以下の式（１）のように、異なるラベル間の関係の制約を含めることができ、ここで、ｗｎ、ｗｃ、ｗｂ、及びｗは、様々なラベルに関連付けられた重みを表す。重みは１に等しい場合がある。
【0030】
【数1】
【0031】
図４は、本開示の実施形態に従って構築された、核、細胞、及びバックグラウンドラベルに対するトレーニング又は予測モデル４０３（深層学習モデルなど）の結果を示す。３つのラベルにはそれぞれ独自の顕著な特徴があり、その特徴を利用して深層学習モデルを構築する。例えば、核は細胞体と比較してより低い強度の信号を有し得る。一般に、核の強度範囲は、画像のバックグラウンドの強度範囲に近い。より明るい細胞体（すなわち、細胞質）のテクスチャパターンは、使用されるマーカーに基づいて、画像毎に変化し得る。図４に示すように、ラベル４０２でラベル付けされたトレーニング画像４０１は、後続の画像処理のためのトレーニングセット（すなわち、トレーニングデータ）として使用され得る。
【0032】
特定の実施形態では、トレーニングに使用される画像は前処理されてもよい。例として、不均一な照明を補正するために、画像のバックグラウンドを抑制してもよい。例えば、トップハットフィルタリングを２００×２００のカーネルサイズで適用してもよい。画像の倍率（故に画素サイズ）の違いを明らかにするために、画像を約１０倍（画素サイズ＝０．６５×０．６５μｍなど）になるように低解像度処理してもよい。その後、入力画像を、各辺から８画素の重なりがある１７６×１７６画素の重なり合ったパッチに分割してもよい。従って、内部の１６０×１６０画素のみが各パッチに固有である。トレーニングデータは、元のパッチを９０度回転させることで拡張することができる。さらに任意で、左右反転したパッチをトレーニングデータに含めることができる。生成されたトレーニングモデルは、ファイルに保存され、コンピューティング装置４０のメモリ又はストレージデバイスに格納され、後続のステップ、例えば、本明細書で後述するステップ５０１又は６０１で使用され得る。
【0033】
［単一チャネル全細胞セグメンテーションワークフロー］
図５は、本開示の実施形態による単一チャネル全細胞セグメンテーションワークフローを示す。図６は、本開示の実施形態による、例示的な入力及び変換された画像を伴う、図５に対応する単一チャネル全細胞セグメンテーションワークフローを示す。
図５は、本開示の実施形態による単一チャネル全細胞セグメンテーションワークフローを示す。図６は、本開示の実施形態による、例示的な入力及び変換された画像を伴う、図５に対応する単一チャネル全細胞セグメンテーションワークフローを示す。
【0034】
図７は、サンプル画像を細胞確率マップ及び核確率マップに変換するための、それぞれ図５及び図６のステップ５０１／６０１として示される深層学習変換ステップに含まれるステップを示すブロック図を示す。ステップ７０１において、サンプル画像、例えば、任意に前処理されてもよい図５及び図６のサンプル画像５１／６１は、コンピューティング装置４０のプロセッサ４２などのプロセッサに提供される。ステップ７０２において、サンプル画像はパッチに分割され、例えば、一実施形態では、サンプル画像は１７６×１７６パッチに分割される。サンプル画像は、目的の用途に適した他のサイズのパッチに分割してもよい。ステップ７０３において、パッチの各画素に、適用されたトレーニング／予測モデルに基づいた予測ラベルが割り当てられる。ラベルは、核、細胞、及びバックグラウンドラベルを含むがこれらに限定されないラベルの群から選択することができる。ステップ７０４において、割り当てられたラベルを含むパッチが縫い合わされて、割り当てられた各ラベルを有する完全な予測画像を形成する。ステップ７０５において、プロセッサは、割り当てられた予測ラベルに基づいて、核確率マップ、例えば、それぞれ図５及び図６の核確率マップ５２／６２と、細胞確率マップ、例えば、それぞれ図５及び図６の細胞確率マップ５３／６３と、を抽出する。
【0035】
図５及び図６に示すように、生成された核確率マップ５２／６２は、核確率マップ５２／６２及び細胞確率マップ５３／６３の隣の確率スケールバーによって示されるように、他の細胞領域と比較して画像内のより明るい領域として核を示し得る。核確率マップにおけるより明るい領域の画素はまた、核である確率がより高い画素とも呼ばれ得る。従って、核は、核確率マップにおいてより高い確率を有するこれらの画素によって定義され得る。後続の核二値化変換ステップ５０２／６０２では、バイナリ核マスク５４／６４が核確率マップから抽出される。幾つかの実施形態では、核確率マップの画像閾値処理は、核マスクを抽出するのに十分であり得る（例えば、０．５より高い確率）。しかしながら、画像閾値処理アプローチには欠点があり得る。第一に、画像閾値処理を使用すると、核であると誤って分類された画像アーチファクトが原因で、誤陽性が発生する可能性がある。第二に、隣接する細胞の核は、複数の核を含む大きな連結成分を形成する可能性がある。従って、本開示では、核確率マップからバイナリ核マスクを抽出するための改善された機能をプロセッサに提供する方法が想定される。
【0036】
【0037】
ステップ８０１において、前のステップ５０１／６０１から生成された核確率マップ５２／６２がプロセッサに提供される。核確率マップは複数の画素を含み、各画素は割り当てられた核である確率を有する。核確率マップにおける画素の確率は、０～１００％の連続確率スケールから選択された値である。従って、核確率マップは、「連続スケール核確率マップ」と呼ばれることがある。本明細書で使用される場合、「連続スケール」は、最小値及び最大値を有するスケールを指し、連続スケール上の値は、最小値と最大値との間の任意の値を取ることができる。例えば、連続確率スケールは０～１００％の値を有することができ、画素の確率は０～１００％のスケールに沿ってどこかに数値が割り当てられる。
【0038】
ステップ８０２において、プロセッサは、核確率マップ上で異なるサイズを有する核を識別するように構成される。特定の実施形態では、ブロブ検出が実行される。本明細書で使用される場合、「ブロブ検出」は、画像又はデジタル対象内の塊のような核を含む領域の識別を指す。例えば、異なるサイズを有する核を検出するために、核確率マップにおいて塊のような核を含む領域が識別される。ブロブ検出を実行することは、ラプラシアン・オブ・ガウシアン（ＬｏＧ）ブロブ検出器の使用をさらに含み得る。一実施形態では、マルチレベル（又はマルチスケール）のラプラシアン・オブ・ガウシアン（ＬｏＧ）ブロブ検出器を複数のスケールで適用して、塊のような核を含む識別された領域を強調する。ラプラシアン・オブ・ガウシアンブロブ検出器は、予測される核の期待される形態並びに強度プロファイルを考慮する。複数のスケールでラプラシアン・オブ・ガウシアンフィルターを適用すると、異なるサイズを有する核の検出が向上する。２次元画像Ｉを仮定すると、スケールσでの任意の画素（ｘ、ｙ）におけるラプラシアン・オブ・ガウシアン（ＬｏＧ）は、式（２）に示すように定式化される。
【0039】
【数2】
【0040】
上記の関数は、最初にスケールσでガウシアンフィルターによって画像Ｉを畳み込み、その後、ガウシアンフィルターで処理された画像上でラプラシアン微分演算子を計算することによって実施される。
【0041】
ステップ８０３において、プロセッサは、マルチレベルの閾値処理、例えばマルチレベルのＯｔｓｕ閾値処理を、異なるサイズを有する核の識別された領域に適用する。マルチレベルの閾値処理は、自動で又はユーザー入力を使用して実行され得る。異なるサイズを有する核の識別された領域にマルチレベルの閾値処理を適用する際に、３つのレベルを割り当てることができ、各レベルはそれぞれ、画像のバックグラウンド、薄暗い核（ブロブ）、及び明るい核（ブロブ）を定義する。
【0042】
ステップ８０４において、プロセッサは、ステップ８０３で定義された画像のバックグラウンド、薄暗い核、及び明るい核の割り当てられたレベルをそれぞれ有する各画素にバイナリ値を割り当てる。各画素のバイナリ値は、バイナリスケールから選択された値である。本明細書で使用される場合、「バイナリスケール」は、スケールが別個のバイナリデジットの対（例えば、「０」と「１」、「１」と「２」、「＋」と「－」の対、又は「オン」と「オフ」の対など）のみを有するスケールを指し、バイナリ値は、バイナリスケール上の２つのバイナリデジットの１つとしてのみ選択することができる。バイナリデジットの表現の例は、単に例示の目的で与えられており、当業者に知られている様々な別個のバイナリデジットの他の対が使用され得ることを理解されたい。幾つかの実施形態では、薄暗い核と明るい核とを組み合わせて、１つのバイナリ値を割り当てることができる。例えば、バックグラウンド画素に「０」のバイナリ値を割り当て、薄暗い核と明るい核とを組み合わせて「１」のバイナリ値を割り当てることができる。
【0043】
ステップ８０５において、プロセッサは、核確率マップの画素に割り当てられたバイナリ値に基づいて、連続スケール核確率マップ５２／６２からバイナリ核マスク５４／６４を抽出する。画素が０～１００％の連続スケール内のどこかにある確率値を有する核確率マップとは異なり、抽出されたバイナリ核マスク５４／６４における画素は、バイナリスケール上の２つのバイナリデジットの１つとなるように選択された確率値のみを有する。従って、抽出されたバイナリ核マスクはまた、「バイナリスケール核マスク」とも呼ばれる。連続スケール核確率マップ５２／６２をバイナリスケール核マスク５４／６４に変換することで、プロセッサは非常に効率的な方法で画像処理を実行することができ、はるかに高速な画像処理が可能になる。全体として、現在の技術では、数秒のうちに大きな画像を処理することができる。これらの改善は、研究中の細胞が画像化、例えば生細胞の画像化の過程で急速かつ動的に変化する可能性がある用途にとって特に重要である。
【0044】
再び図５及び図６を参照すると、後続の核分離変換ステップ５０３／６０３において、プロセッサはさらに、抽出されたバイナリ核マスク５４／６４を核種マップ５５／６５に変換する。ステップ５０２／６０２から得られた抽出されたバイナリ核マスク５４／６４は、画像のバックグラウンドから分離された核を含む。しかしながら、バイナリ核マスクはまた、大きな多核接続構成要素を形成する接触核を含むこともある。ワークフローの後続のステップで細胞セグメンテーションの核種としてこれらの多核接続構成要素を使用すると、隣接する細胞が望ましくない状態で結合される。従って、本開示の実施形態によれば、核種マップ５５／６５は、バイナリ核マスクからさらに抽出され、核種マップは、輪郭を描かれた核領域によって分離された個々の核種を有する。
【0045】
図９は、輪郭を描かれた核領域によって分離された個々の核種を有する核種マップへのバイナリ核マスクの変換に含まれるステップ、例えば、図５及び図６のステップ５０３／６０３を示すブロック図を示す。形状ベースのウォーターシェッドセグメンテーションアプローチが説明の目的で図９に示されているが、本開示の実施形態に従って他のアプローチが使用され得ることを理解されたい。ステップ９０１において、バイナリ核マスクの距離変換が決定されて、バイナリ核マスクにおける各画素の値がバックグラウンドからの画素のユークリッド距離に等しい距離マップ画像が生成される。次に、ステップ９０２において、拡張ｈ－ｍｉｎｉｍａ変換が距離マップ画像に適用される。これは、レベルｈでＨ－ｍｉｎｉｍａ変換を適用することで始まり、その深さが値ｈ未満である距離マップ画像における全ての局所最小値を抑える。ステップ９０３において、プロセッサは、抑えられた局所最小値を有する結果として生じる画像の局所最小値を抽出する。パラメータｈはユーザー又はコンピュータによって設定され得、そのデフォルト値は約３μｍである。ステップ９０４において、シード（ｓｅｅｄｅｄ）ウォーターシェッド変換が逆距離変換に適用され、ステップ９０３で抽出された局所最小値を核種として使用する。ステップ９０４の結果は、輪郭を描かれた核領域によって分離された個々の核種を有する核種マップである。
【0046】
再び図５及び図６を参照すると、細胞増強変換ステップ５０４／６０４及び細胞描写変換ステップ５０５／６０５は、輪郭を描かれた核及び細胞質領域を有する１つ以上の細胞を有するセグメント化画像５７／６７にサンプル画像を変換するワークフローの最終ステップを示す。
【0047】
細胞増強変換ステップ、例えば、図５及び図６のステップ５０４／６０４は任意のステップであることを理解されたい。ステップ５０４／６０４において、サンプル画像５１／６１は、細胞増強変換プロセスを介して、増強されたサンプル画像５６／６６に変換される。図５及び図６の深層学習変換ステップ５０２／６０２においてサンプル画像から生成された細胞確率マップ５３／６３がここで、細胞増強変換ステップ５０４／６０４においてサンプル画像に再度適用される。一実施形態では、細胞確率マップ５３／６３とサンプル画像５１／６１との間の画素レベルの重み付けが実行される。例えば、プロセッサは、細胞確率マップ内の画素値を重みとして使用して、画素レベルの重み付けをサンプル画像強度に適用し、増強されたサンプル画像を生成することができる。サンプル画像５１／６１、又は増強されたサンプル画像５６／６６は、細胞描写変換ステップ、例えば、図５及び図６のステップ５０５／６０５においてプロセッサによってさらに使用される。
【0048】
細胞確率マップを単独で使用することは、プロセッサが輪郭を描かれた領域で識別された１つ以上の細胞を有するセグメント化画像にサンプル画像を変換することを可能にするのに十分ではないことに留意されたい。プロセッサの機能を改善し、プロセッサがサンプル画像又は増強されたサンプル画像に対して単一チャネル全細胞セグメンテーションを実行することを可能にするために、図５及び図６のステップ５０３／６０３で抽出された核種マップがプロセッサに提供される。プロセッサは、図５及び図６のステップ５０４／６０４に従って、個々の核種を有する核種マップを抽出し、図５及び図６のステップ５０５／６０５中に、抽出された核種をサンプル画像又は増強されたサンプル画像に適用することができる。結果として、サンプル画像又は増強されたサンプル画像は、核及び細胞質領域を含むがそれらに限定されない、輪郭を描かれた細胞及び／又は細胞内領域を有する１つ以上の細胞を含むセグメント化画像に変換される。図６の例示的な画像６７に示すように、細胞及び／又は細胞内区画の境界の輪郭が描かれている。画像中の細胞及び／又は細胞内区画の境界は白黒の線画で示されているが、特定の実施形態では、境界は異なる細胞輪郭を表すために異なる色で描くことができることを理解されたい。
【0049】
図１０は、図５及び図６のステップ５０４／６０４に含まれる変換ステップの一実施形態を示すブロック図である。任意のステップ１００１において、サンプル画像は、強度調整のためにプロセッサによって、例えば、ノイズ除去、不均一なバックグラウンド照明などのバックグラウンド照明の補正、又は再スケーリング（ログスペースでの再スケーリングなど）、又はそれらの任意の組み合わせによって前処理される。
【0050】
任意のステップ１００２において、プロセッサは、細胞確率マップ内の画素値を重みとして使用して、画素レベルの重み付けをサンプル画像強度に適用し、サンプル画像を増強されたサンプル画像に変換する。
【0051】
ステップ１００３において、プロセッサは、画像のバックグラウンドを決定し、全ての細胞の期待される面積に基づいてバックグラウンドラベルを割り当てる。プロセッサは、抽出された核種をサンプル画像又は増強されたサンプル画像に適用する。細胞の期待される面積は、核種マップにおいて抽出された核種の数に基づいて決定され得、各細胞に対する期待される平均面積は１つの核種が１つの細胞に対応するとの仮定に基づく。マルチレベルの閾値処理、例えばマルチレベルのＯｔｓｕ閾値処理もまた、画像に適用することができる。期待される細胞面積に最も近いと推定される面積に対応するように、最適なＯｔｓｕ閾値が選択される。期待される細胞面積に対応しない領域には、バックグラウンドラベルが割り当てられる。
【0052】
ステップ１００４において、輪郭を描かれた核領域によって分離された個々の核種を含む抽出された核種マップとともに、ステップ１００３からの割り当てられたバックグラウンドラベルが、画像のシードウォーターシェッドセグメンテーションで使用される。このアプローチにより、細胞の識別及び分離が可能になる。画像内の核ごとに、そのアプローチは対応する細胞を識別する。
【0053】
本開示の実施形態による単一チャネル全細胞セグメンテーションワークフローは、既存の技術では容易に得ることができない改善された機能、例えば、輪郭を描かれた核及び細胞質領域で識別された１つ以上の個々の細胞を有するセグメント化画像に１つ以上の非核細胞マーカー染色剤で染色された生体サンプルのサンプル画像を変換するプロセッサの画像処理能力を、プロセッサに提供する。さらに、本開示の技術は、既存の技術が直面する複数の技術的課題を成功裏に解決した。例えば、本開示の技術は、プロセッサに、顕微鏡の単一チャネルを使用して単一チャネル全細胞セグメンテーションを実行する能力を提供する。これは、チャネルの１つが核特異的細胞マーカー染色剤で使用するために確保されている２つ以上のチャネルを使用するセグメンテーション技術とは対照的である。
【0054】
本開示の実施形態によれば、サンプルは、細胞核を特異的に染色しない非核細胞マーカー染色剤のみで染色されるため、核特異的細胞マーカー染色剤のために確保されたチャネルの必要性を排除し、多くの機器の限られた数のチャネルの使用を最大化する。さらに、核特異的細胞マーカー染色剤を使用する必要性を排除することにより、現在の技術は、生細胞の画像化を含むがこれに限定されない様々な技術分野において顕著な技術改善を提供し、核細胞マーカー染色剤の細胞、特に生細胞の画像化を受けている細胞に対する潜在的に有害な毒性効果を回避することができる。
【0055】
本明細書で言及され、本開示全体を通して使用されるように、「核特異的細胞マーカー染色剤」との用語はまた、「核細胞マーカー染色剤」、「核マーカー染色剤」、又は「核染色剤」と呼ばれることもあり、具体的に細胞核を染色し得る。幾つかの実施形態では、核細胞マーカー染色剤は、ＤＡＰＩ染色剤である。幾つかの実施形態では、核細胞マーカー染色剤は、核ＤＮＡに特異的な蛍光染料などの核特異的染料又は染色剤を含み得る。幾つかの実施形態では、核細胞マーカー染色剤は、細胞の核に特異的な細胞マーカータンパク質を検出し、核及びその構造の形態及び動態の研究を助けることができる核細胞マーカー抗体を含み得る。核に特異的な細胞マーカータンパク質には、ＡＳＨ２Ｌ、ＡＴＰ２Ａ２、ＣＡＬＲ、ＣＤ３ＥＡＰ、ＣＥＮＰＡ、ＣＯＬ１Ａ１、ＤＤＩＴ３、ＥＩＦ６、ＥＳＲ１、ＥＳＲ２、ＧＡＰＤＨ、Ｈ２ＡＦＸ、Ｈ２ＡＦＺ、ＨＩＦ１Ａ、ＨＩＳＴ１Ｈ４Ａ、Ｋｉ６７、ＬａｍｉｎＡ／Ｃ、ＭＹＣ、ＮＯＰ２、ＮＯＳ２、ＮＲ３Ｃ１、ＮＵＰ９８、ｐＣＲＥＢ、ＳＩＲＴ１、ＳＲＳＦ２、又はＴＮＦ、又はそれらの任意の組み合わせが含まれるが、これらに限定されない。
【0056】
本明細書で言及され、本開示全体を通して使用されるように、「非核細胞マーカー染色剤」との用語はまた、「非核マーカー染色剤」又は「非核染色剤」と呼ばれることもある。本開示による幾つかの実施形態では、核細胞マーカー染色剤は、ＤＡＰＩ染色剤であり、非核細胞マーカー染色剤は、ＤＡＰＩではない染色剤（すなわち、非ＤＡＰＩ染色剤）である。幾つかの実施形態では、非核細胞マーカー染色剤は、核ＤＮＡに特異的でない蛍光染料などの染料又は染色剤を含み得る。幾つかの実施形態では、非核細胞マーカー染色剤はまた、非核細胞マーカー、例えば、細胞の核に特異的でない非核細胞マーカータンパク質を検出する非核細胞マーカー抗体も含み得る。幾つかの実施形態では、非核細胞マーカーは、ＮａＫＡＴＰａｓｅ、ＰＭＣＡ、パンカドヘリン（ｐａｎ－Ｃａｄｈｅｒｉｎ）、ＣＤ９８、ＣＤ４５、ＡＴＰ２Ａ２、Ｃ３、ＣＤ４０Ｌ、ＣＤ２７、ＣＤ４０、ＥＳＲ１、ＣＤ９５、ＤＩｇ４、Ｇｒｂ２、ＦＡＤＤ、ＧＡＰＤＨ、ＬＣＫ、ＭＡＰＴ、ＩＬ６、メンブリン、ＮＯＳ３、ＲＹＲ１、Ｐ４ＨＢ、ＲＡＩＤＤ、ＣＡＬＲなどを含むがこれらに限定されない任意の原形質膜マーカー、及び、ＡＣＴＢ、ＡＨＲ、ＣＡＬＲ、ＤＤＩＴ３、ＤＬｇ４、ＥＳＲ１、ＧＡＰＤＨ、ＨＩＦ１Ａ、ＨＳＰＡ１Ａ、ＮＯＳ２、ＮＯＳ３Ｔ、ＮＲ３Ｃ１、ＭＡＰＴ、ＲＹＲ１などを含むがこれらに限定されない任意の細胞質マーカーなどの構造マーカーを含む。非核細胞マーカーの他の非限定的な例は、ＡＣＴＣ１、ＡＣＴＣ２、ＨＳＰＢ１、ＫＲＴ１７、ＭＡＰ１ＬＣ３Ｂ、ＮＦＡＴＣ２、ＴＮＮＴ２、ＴＵＢＡ１Ａ、ＴＵＢＢ３、ＦＰ３、Ｓ６、ｐＳ６、ＣＦＰ４、Ｇｌｕｌ、ＣＦＰ５、ｐＳ６２３５、ＣＦＰ６、ＣＦＰ７、ＦＯＸＯ３ａ、ＣＦＰＳ、ｐＡｋｔ、ＣＦＰ９、ｐＧＳＫ３ｂｅｔａ、パンケラチン（ｐａｎ－Ｋｅｒａｔｉｎ）など、及び意図されている特定の用途に特異的な他の非核細胞マーカーを含むが、これらに限定されない。１つの個々の非核細胞マーカー染色剤が全細胞区画を染色しない場合、非核細胞マーカー染色剤の組み合わせを同じチャネルで使用して均一な染色を提供することができることを理解されたい。多種多様な非核細胞マーカー染色剤が当業者に知られており、本開示による非核細胞マーカー染色剤の範囲内であることが意図されることも理解されたい。
【0057】
本開示によって提供される追加の利点には、例えば、技術が様々な細胞タイプ及びサンプルに適用可能であることが含まれる。さらに、以下の実施例セクションに示すように、本開示の実施形態に従って、多種多様な非核細胞マーカー染色剤で染色され、様々な倍率で画像化されたサンプルは、ワークフローへの追加の変更の必要なしに、同じ全細胞セグメンテーションワークフローにかけることができる。カスタマイズされた変更を排除することで、プロセッサははるかに高速で効率的な方法で画像処理を実行することができ、これは、画像化の過程で細胞が急速かつ動的に変化するような用途で重要である。
【0058】
［セグメンテーション結果の評価］
特定の実施形態では、セグメンテーション結果の評価が実行されてもよい。コンピューティング装置４０は評価ユニットを含み、評価ユニットは品質管理（ＱＣ）評価を実行するように構成され、品質スコアの形でＱＣ評価結果を提供する。ＱＣ評価は、例えば類似性メトリックなどのメトリックに基づくことができる。類似性メトリックは、例えば、細胞セグメンテーション結果をゴールドスタンダード（又はグラウンドトゥルース）細胞セグメンテーション結果と比較するためのメトリックとして定義された細胞セグメンテーション類似性メトリックを含み得る。グラウンドトゥルース細胞セグメンテーションは、以下の実施例セクションで説明するような、自動又は半自動のグラウンドトゥルース細胞セグメンテーションであり得る。幾つかの実施形態では、細胞セグメンテーション類似性メトリックは、セグメント化画像に適用され、細胞セグメンテーションの品質又は良さを評価し、細胞セグメンテーション品質スコアを生成する。セグメント化画像が１つ又は幾つかのセグメント化された対象を含む幾つかの実施形態では、バイナリ類似性メトリック（ダイスオーバーラップ比メトリックなど）を使用することができる。セグメント化画像が多数のセグメント化された対象（数百又は数千のセグメント化された細胞など）を含む特定の実施形態では、バイナリ類似性メトリックは十分ではなく、図１１のアルゴリズムによって定義される細胞セグメンテーション類似性メトリックがＱＣ評価に使用され得る。
特定の実施形態では、セグメンテーション結果の評価が実行されてもよい。コンピューティング装置４０は評価ユニットを含み、評価ユニットは品質管理（ＱＣ）評価を実行するように構成され、品質スコアの形でＱＣ評価結果を提供する。ＱＣ評価は、例えば類似性メトリックなどのメトリックに基づくことができる。類似性メトリックは、例えば、細胞セグメンテーション結果をゴールドスタンダード（又はグラウンドトゥルース）細胞セグメンテーション結果と比較するためのメトリックとして定義された細胞セグメンテーション類似性メトリックを含み得る。グラウンドトゥルース細胞セグメンテーションは、以下の実施例セクションで説明するような、自動又は半自動のグラウンドトゥルース細胞セグメンテーションであり得る。幾つかの実施形態では、細胞セグメンテーション類似性メトリックは、セグメント化画像に適用され、細胞セグメンテーションの品質又は良さを評価し、細胞セグメンテーション品質スコアを生成する。セグメント化画像が１つ又は幾つかのセグメント化された対象を含む幾つかの実施形態では、バイナリ類似性メトリック（ダイスオーバーラップ比メトリックなど）を使用することができる。セグメント化画像が多数のセグメント化された対象（数百又は数千のセグメント化された細胞など）を含む特定の実施形態では、バイナリ類似性メトリックは十分ではなく、図１１のアルゴリズムによって定義される細胞セグメンテーション類似性メトリックがＱＣ評価に使用され得る。
【実施例】
【0059】
［データセット］
以下の表１は、実施例セクションで使用されるデータセット及び実験条件の詳細を示す。データセットは、本開示の態様によるモデルのトレーニング、又は本開示の実施形態によるセグメンテーション方法のテストの何れかのために使用された。
以下の表１は、実施例セクションで使用されるデータセット及び実験条件の詳細を示す。データセットは、本開示の態様によるモデルのトレーニング、又は本開示の実施形態によるセグメンテーション方法のテストの何れかのために使用された。
【0060】
【表1】
【0061】
表１では、６つのプレート（プレート＃１～６）からのデータを含むデータセットが使用され、各プレートは、９６のウェルマイクロプレート（簡潔のために「プレート」と呼ばれる）で複数のアッセイを受けたサンプルの画像を含む。細胞体／細胞質を識別するための非核細胞マーカー染色剤としての蛍光染料で、サンプルを染色した。表１では、ｄｓＲｅｄ、Ｃｙ５、ＴｅｘａｓＲｅｄなどの蛍光染料を使用した。しかしながら、他の用途では、それらの特定の用途に適した非核細胞マーカー染色剤を使用することができる。その意図された用途による適切な細胞マーカー染色剤の選択は、当業者の知識の範囲内である。画像を、ＧＥのＩＮＣｅｌｌアナライザーシステムを使用して取得した。プレートを、１０倍（画素サイズ０．６５×０．６５）及び２０倍（画素サイズ０．３２５×０．３２５）を含む様々な倍率でスキャンした。４０倍及び６０倍（データは示されていない）を含むがこれらに限定されない他の倍率が使用されてもよい。倍率に関係なく、各画像のサイズは２０４８×２０４８画素であった。各プレートにおけるウェルの小さなサブセット（例えば、各プレートの１列又は２列）のみを実験で使用した。表１の実験１～３には、それぞれ合計１２３の画像があった。他の数の画像が使用されてもよいことを理解されたい。画像の数の選択及びその意図される用途によるデータセットの選択は、当業者の知識の範囲内である。図１２Ａ～図１２Ｄは、様々な非核細胞マーカーで染色され、異なる倍率で撮られたサンプル画像の例を示す：（Ａ）１０倍、ｄｓＲｅｄチャネル；（Ｂ）１０倍、ＴｅｘａｓＲｅｄチャネル；（Ｃ）２０倍、Ｃｙ５チャネル；及び（Ｄ）２０倍、ｄｓＲｅｄチャネル。
【0062】
トレーニングモデル、例えば深層学習ベースのモデルを生成するために、グラウンドトゥルースセグメンテーションと呼ばれるセグメント化画像のセットが使用される。トレーニングモデルを生成するプロセスは、「モデルのトレーニング」と呼ばれることがある。グラウンドトゥルースセグメンテーションは、モデルをトレーニングするため、並びにトレーニングモデルを使用してセグメンテーションの結果を評価するために使用することができる。理想的には、人間の専門家がそのようなグラウンドトゥルースセグメンテーションを作成する。しかしながら、画像には数百の細胞が含まれる可能性があるため、これには非常に時間がかかる。この制限を克服するために、本開示の態様によるモデルは、自動的に得られた準最適セグメンテーション（「自動グラウンドトゥルースセグメンテーション」と呼ばれる）を使用してトレーニングされる。幾つかの実施形態では、核特異的マーカー染色剤及び非核細胞マーカー染色剤の両方で染色されたサンプル画像が、以前に開発された２チャネル細胞セグメンテーション技術を受け、モデルをトレーニングする際に自動グラウンドトゥルースセグメンテーションとして使用される２チャネルセグメンテーションを生成する。
【0063】
特定の実施形態では、自動的に生成されたグラウンドトゥルースセグメンテーションに加えて、専門家によって画像が半自動的にセグメント化され（「半自動グラウンドトゥルースセグメンテーション」と呼ばれる）、自動セグメンテーション結果を検証するために使用され得る。半自動グラウンドトゥルースセグメンテーションの場合、専門家はソフトウェア（例えば、オープンソースソフトウェアであるＣｅｌｌＰｒｏｆｉｌｅｒ）を使用して、初期の準最適セグメンテーションを生成することができる。次に、専門家はソフトウェアを使用して、細胞を分割、結合、追加、及び削除することにより、セグメンテーション結果を手動で調整／編集することができる。
【0064】
表１は、３つの実験を要約する（実験１～３）。３つの実験全てにおいて、自動化された２チャネルのグラウンドトゥルースセグメンテーションが深層学習モデルのトレーニングに使用された。データセットは、トレーニングに使用されるデータセット（すなわち、トレーニングセット）、テストに使用されるデータセット（すなわち、テストセット）、及びそれぞれの実験のセグメンテーション結果の検証に使用されるデータセットに別々に分割することができる。
【0065】
［実験１：セグメンテーション］
実験１では、表１のプレート＃１～５が使用され、合計１０８のサンプル画像が得られた。１０８の画像のうち、１０の画像をテストセットとして使用し、残りの９８の画像をさらにトレーニングセット（８８画像）と検証セット（１０画像）とに分割した。テストセットの１０の画像のセグメンテーション結果を、それらを半自動グラウンドトゥルースセグメンテーションと比較することによって評価した。図１３Ａ～図１３Ｄは、表１の実験１の１つのサンプルに対するセグメンテーション結果を示す。図１３Ａ（左上の列）は、半自動グラウンドトゥルースセグメンテーションを受けた画像のセグメンテーション結果を示す。図１３Ｂ（右上の列）は、本開示の実施形態によるセグメンテーション技術を受けた画像のセグメンテーション結果を示す。図１３Ｃ及び図１３Ｄ（最下行）はそれぞれ、図１３Ａ及び図１３Ｂの白いボックス内の領域のクローズアップを示す。２つのセグメンテーション結果で高い類似性が観察された。
実験１では、表１のプレート＃１～５が使用され、合計１０８のサンプル画像が得られた。１０８の画像のうち、１０の画像をテストセットとして使用し、残りの９８の画像をさらにトレーニングセット（８８画像）と検証セット（１０画像）とに分割した。テストセットの１０の画像のセグメンテーション結果を、それらを半自動グラウンドトゥルースセグメンテーションと比較することによって評価した。図１３Ａ～図１３Ｄは、表１の実験１の１つのサンプルに対するセグメンテーション結果を示す。図１３Ａ（左上の列）は、半自動グラウンドトゥルースセグメンテーションを受けた画像のセグメンテーション結果を示す。図１３Ｂ（右上の列）は、本開示の実施形態によるセグメンテーション技術を受けた画像のセグメンテーション結果を示す。図１３Ｃ及び図１３Ｄ（最下行）はそれぞれ、図１３Ａ及び図１３Ｂの白いボックス内の領域のクローズアップを示す。２つのセグメンテーション結果で高い類似性が観察された。
【0066】
図１４Ａ～図１４Ｄは、表１の実験１の別の例に対するセグメンテーション結果を示す。図１４Ａ（左上の列）は、半自動グラウンドトゥルースセグメンテーションを受けた画像のセグメンテーション結果を示す。図１４Ｂ（右上の列）は、本開示の実施形態によるセグメンテーションを受けた画像のセグメンテーション結果を示す。図１４Ｃ及び図１４Ｄ（最下行）はそれぞれ、図１４Ａ及び１４Ｂの白いボックス内の領域のクローズアップを示す。
【0067】
図１５Ａ～図１５Ｄは、表１の実験１のさらに別の例に対するセグメンテーション結果を示す。図１５Ａ（左上の列）は、半自動グラウンドトゥルースセグメンテーションを受けた画像のセグメンテーション結果を示す。図１５Ｂ（右上の列）は、本開示の実施形態によるセグメンテーションを受けた画像のセグメンテーション結果を示す。図１５Ｃ及び１５Ｄ（最下行）はそれぞれ、図１５Ａ及び図１５Ｂの白いボックス内の領域のクローズアップを示す。
【0068】
細胞セグメンテーション結果の品質をさらに評価するために、細胞セグメンテーション類似性メトリックをセグメント化画像に適用して、本開示の実施形態による単一チャネル全細胞セグメンテーション結果を、自動グラウンドトゥルースセグメンテーション及び／又は半自動グラウンドトゥルースセグメンテーション結果を含むグラウンドトゥルースセグメンテーション結果と定量的に比較することができる。細胞セグメンテーション類似性メトリックは、図１１のアルゴリズムによって定義され得る。実験１では、１０のテスト画像が半自動グラウンドトゥルースセグメンテーションを受けた。本開示の実施形態に従って、全ての画像における合計１６６６の細胞が、単一チャネル全細胞セグメンテーションを受けた。次に、個々の細胞のセグメンテーション結果を同じ細胞の対応するグラウンドトゥルースセグメンテーションと比較することにより、１６６６の細胞の個々の細胞ごとにセグメンテーション品質スコアを決定した。
【0069】
図１６は、実験１のサンプル画像における細胞に対する細胞レベルのセグメンテーション品質スコアのヒストグラムを示す。全体的な（平均の）細胞レベルのセグメンテーション品質スコアは、約０．８７であることが分かった。セグメンテーション結果を２チャネルのセグメンテーション結果と比較することによる全体的な細胞レベルのスコアは、平均スコアが約０．８６であった。比較のために、２チャネルのセグメンテーション結果を半自動グラウンドトゥルースセグメンテーションと比較すると、平均スコアは約０．９３であった。
【0070】
細胞レベルのセグメンテーション品質スコアに加えて、画像レベルの品質スコアがまた、図１１に記載されたワークフローに従って画像レベルで平均化することによって決定された。画像レベルのセグメンテーション品質評価の結果を表２に示す。
【0071】
【表2】
【0072】
表２は、本開示の実施形態による、実験１におけるサンプルのセグメンテーション結果を示す。表２に示すように、１０の画像（画像ＩＤ＃１～１０）が選択され、３つのセグメンテーション比較が実行された。第一のセグメンテーション結果セットは、専門家がソフトウェアを使用して手動でセグメンテーションを編集又は変更する、専門家によって実行される半自動セグメンテーションによって開発された。これは、表２では「グラウンドトゥルースセグメンテーション」と呼ばれている。第二のセグメンテーション結果セットは、以前に開発された２チャネルセグメンテーション技術を適用することにより自動的に生成され、表２では「２チャネルセグメンテーション」と呼ばれている。第三のセグメンテーション結果セットは、本開示の実施形態による単一チャネル全細胞セグメンテーション技術によって開発され、表２では「深層学習セグメンテーション」と呼ばれている。深層学習セグメンテーションの結果を、２チャネルセグメンテーション（左の列「２チャネルに対する深層学習の類似性」）、並びに、半自動グラウンドトゥルースセグメンテーション（中央の列「グラウンドトゥルースに対する深層学習の類似性」）と比較し、平均画像レベルの品質スコアはそれぞれ、０．８５及び０．８６であった。比較のために、単一チャネル全細胞セグメンテーションで使用されるモデルをトレーニングするために使用された２チャネルセグメンテーションの結果を、半自動グラウンドトゥルースセグメンテーションの結果と比較した（表２の右の列、グラウンドトゥルースに対する２チャネルの類似性」）。比較の結果、平均画像レベルのスコアは０．９３であった。
【0073】
［実験２：交差検証］
図１７は、交差検証実験の結果－表１の実験２の結果を示す。この実験では、１０の集団の交差検証を行って、受信者動作曲線（ＲＯＣ）を構築した。次に、交差検証を使用して、核確率マップ及び細胞確率マップの曲線下面積（ＡＵＣ）及び精度（ＡＣＣ）を評価した。交差検証では、表１（実験２）の最初の５つのプレート＃１～５から取得した１０８の独立したサンプル画像を使用した。各交差検証の反復で、画像は３つの重なり合わない画像セットに分割された：トレーニングセット（８８画像）、検証セット（１０画像）、及びテストセット（１０画像）。
図１７は、交差検証実験の結果－表１の実験２の結果を示す。この実験では、１０の集団の交差検証を行って、受信者動作曲線（ＲＯＣ）を構築した。次に、交差検証を使用して、核確率マップ及び細胞確率マップの曲線下面積（ＡＵＣ）及び精度（ＡＣＣ）を評価した。交差検証では、表１（実験２）の最初の５つのプレート＃１～５から取得した１０８の独立したサンプル画像を使用した。各交差検証の反復で、画像は３つの重なり合わない画像セットに分割された：トレーニングセット（８８画像）、検証セット（１０画像）、及びテストセット（１０画像）。
【0074】
表３は、図１７の受信者動作曲線の曲線下面積（「ＡＵＣ」）及び精度（「ＡＣＣ」）の結果を示す。核及び細胞の両方に対するＡＵＣは０．９５よりも大きく、ＡＣＣは核及び細胞に対してそれぞれ、約０．９１５及び０．８７８である。ＡＣＣ値は、０．５０の閾値を使用して決定される。全ての核に１つのバイナリ値が割り当てられ、全ての細胞の残りに他のバイナリ値が割り当てられていると仮定すると、ＡＵＣ及びＡＣＣはバイナリ核マスクで決定されることに留意されたい。
【0075】
【表3】
【0076】
表４は、異なるデータセット（プレート）に対するセグメンテーション精度の要約を示す。４つのデータセットに対する全体的な精度は、約０．８４と計算された。
【0077】
【表4】
【0078】
［実験３：モデル又はネットワークのトレーニング］
表１のプレート＃１～５からの合計１０８の画像を、モデル／ネットワーク、例えば、深層学習モデルをトレーニングするために使用した。実験３の１０８の画像を、トレーニングセットとしての９８の画像と、検証セットとしての１０の画像とに分割した。次に、モデル／ネットワークを、テストセットとしての表１のプレート＃６からの１５の画像を使用してテストした。テストデータセットに対して利用可能な半自動グラウンドトゥルースセグメンテーションがなかったため、２チャネルセグメンテーションが生成され、専門家による定性的評価の後にグラウンドトゥルースセグメンテーションとして使用された。前のセクションで説明した実験１に示したようなプロセスを適用すると、全体的な細胞レベルのセグメンテーション品質スコアは約０．８４と決定された。次に、画像レベルのセグメンテーション品質スコアを、図１１に示すようなアルゴリズムで定義された類似性メトリックを使用して、各画像に対する細胞レベルの品質スコアを平均化することによって決定した。
表１のプレート＃１～５からの合計１０８の画像を、モデル／ネットワーク、例えば、深層学習モデルをトレーニングするために使用した。実験３の１０８の画像を、トレーニングセットとしての９８の画像と、検証セットとしての１０の画像とに分割した。次に、モデル／ネットワークを、テストセットとしての表１のプレート＃６からの１５の画像を使用してテストした。テストデータセットに対して利用可能な半自動グラウンドトゥルースセグメンテーションがなかったため、２チャネルセグメンテーションが生成され、専門家による定性的評価の後にグラウンドトゥルースセグメンテーションとして使用された。前のセクションで説明した実験１に示したようなプロセスを適用すると、全体的な細胞レベルのセグメンテーション品質スコアは約０．８４と決定された。次に、画像レベルのセグメンテーション品質スコアを、図１１に示すようなアルゴリズムで定義された類似性メトリックを使用して、各画像に対する細胞レベルの品質スコアを平均化することによって決定した。
【0079】
表５は、第６のプレートからの１５の画像に対する画像レベルのセグメンテーション品質スコアの結果を示す。ほとんどの画像レベルのセグメンテーション品質スコアの範囲は約０．８と約０．９との間であり、平均の画像レベルのセグメンテーション品質スコアは約０．８４であり、同じプレート＃６に対する全体的な細胞レベルのセグメンテーション品質スコアと同様である。結果は専門家によって批評され、承認された。
【0080】
【表5】
【0081】
図１８Ａ～図１８Ｄは、表１の実験３の例に対する半自動グラウンドトゥルースセグメンテーションと、本開示の態様による全細胞セグメンテーションとの比較を示す。図１８Ａ（左上の列）は、半自動グラウンドトゥルースセグメンテーションを受けた画像のセグメンテーション結果を示す。図１８Ｂ（右上の列）は、本開示の実施形態によるセグメンテーションを受けた画像のセグメンテーション結果を示す。図１８Ｃ及び図１８Ｄ（最下行）はそれぞれ、図１８Ａ及び図１８Ｂの白いボックス内の領域のクローズアップを示す。
【0082】
実施例セクションの定性的及び定量的結果の両方は、本開示の実施形態によるセグメンテーション技術が、グラウンドトゥルースセグメンテーションと同等の精度を提供し、１つ以上の非核細胞マーカー染色剤で染色された生体サンプルのサンプル画像を、輪郭を描かれた核及び細胞質領域を有する１つ以上の細胞を含むセグメント化画像に変換し、単一チャネルを利用してセグメンテーションを達成するというさらなる利点を有することを実証する。従って、本開示に示される技術は、改善された技術的解決策を明確に提供し、細胞の研究を含むがこれに限定されない分野において既存の技術が直面する課題を解決する。
【0083】
この書面による説明は、開示の一部として、また、任意のデバイス又はシステムの作成及び使用、及び組み込まれた方法の実行を含む開示された実装を当業者が実施できるようにするために、最良のモードを含む例を使用する。特許可能な範囲は特許請求の範囲によって定義され、当業者が思い付く他の例を含み得る。そのような他の例は、特許請求の範囲の文言と異ならない構造要素を有する場合、又は特許請求の範囲の文言と実質的には異ならない同等の構造要素を含む場合は、特許請求の範囲内にあることが意図される。
【符号の説明】
【0084】
１０ 撮像システム
１２ 撮像素子
１４ 細胞の集団
１６ システム制御回路
１８ データ取得回路
２０ データ処理回路
２２ オペレータワークステーション
２４ コンピュータ
２６ ディスプレイ
２８ キーボード
３０ マウス
３２ プリンタ
４０ コンピューティング装置
４２ プロセッサ
４４ メモリデバイス
４６ ストレージデバイス
４８ ユーザーインターフェース
１２ 撮像素子
１４ 細胞の集団
１６ システム制御回路
１８ データ取得回路
２０ データ処理回路
２２ オペレータワークステーション
２４ コンピュータ
２６ ディスプレイ
２８ キーボード
３０ マウス
３２ プリンタ
４０ コンピューティング装置
４２ プロセッサ
４４ メモリデバイス
４６ ストレージデバイス
４８ ユーザーインターフェース
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図12C】
【図12D】
【図13A】
【図13B】
【図13C】
【図13D】
【図14A】
【図14B】
【図14C】
【図14D】
【図15A】
【図15B】
【図15C】
【図15D】
【図16】
【図17】
【図18A】
【図18B】
【図18C】
【図18D】