▶ ベンタナ メディカル システムズ， インコーポレイテッドの特許一覧
特表2022-504871改善された核検出およびセグメンテーションを可能にする画像強化
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-01-13
(54)【発明の名称】改善された核検出およびセグメンテーションを可能にする画像強化
(51)【国際特許分類】
G06T 7/00 20170101AFI20220105BHJP
G01N 33/48 20060101ALI20220105BHJP
G01N 33/483 20060101ALI20220105BHJP
G01N 21/27 20060101ALI20220105BHJP
【ＦＩ】
G06T7/00 630
G01N33/48 M
G01N33/483 C
G01N21/27 A
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021520356
(86)(22)【出願日】2019-10-10
(85)【翻訳文提出日】2021-04-13
(86)【国際出願番号】 US2019055529
(87)【国際公開番号】W WO2020081340
(87)【国際公開日】2020-04-23
(31)【優先権主張番号】62/745,730
(32)【優先日】2018-10-15
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】507179346
【氏名又は名称】ベンタナ メディカル システムズ， インコーポレイテッド
(74)【代理人】
【識別番号】100118902
【弁理士】
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【弁理士】
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100196508
【弁理士】
【氏名又は名称】松尾 淳一
(74)【代理人】
【識別番号】100119781
【弁理士】
【氏名又は名称】中村 彰吾
(72)【発明者】
【氏名】ニエ，ヤオ
【テーマコード（参考）】
2G045
2G059
5L096
【Ｆターム（参考）】
2G045AA24
2G045CB01
2G045FA11
2G045FA13
2G045FA16
2G045GB02
2G059AA05
2G059BB09
2G059BB14
2G059DD03
2G059EE01
2G059EE07
2G059EE12
2G059FF01
2G059FF03
2G059HH01
2G059JJ01
2G059JJ03
2G059KK04
2G059MM05
5L096AA02
5L096BA06
5L096BA13
5L096BA18
5L096CA02
5L096DA01
5L096FA06
5L096FA15
5L096GA02
5L096GA10
5L096GA40
(57)【要約】
本開示の態様は、核検出をより良く可能にするために明視野または暗視野画像を強化するためのシステムおよび方法に関する。いくつかの実施形態では、本明細書に記載のシステムおよび方法は、生物学的サンプルの染色画像中の膜染色バイオマーカおよび核／細胞質染色バイオマーカを同定するために有用である。いくつかの実施形態では、現在開示されているシステムおよび方法は、特に核がかすかに見える生物学的サンプルの元の染色画像に対して、生物学的サンプルの染色画像における迅速かつ正確な核検出を可能にする。
【特許請求の範囲】
【請求項1】
染色された生物学的サンプルの画像内の細胞核の検出を強化する方法であって、（ａ） １つまたは複数の入力画像チャネル画像を取得することであって、取得された各入力画像チャネル画像は、膜染色または核染色のうちの１つに対応する信号を含む、取得することと、
（ｂ） Ｆｒａｎｇｉフィルタを前記１つまたは複数の取得された入力チャネル画像の第１の画像に適用して、第１の強化された画像を提供することにより、前記１つまたは複数の取得された入力チャネル画像の前記第１の画像内の前記膜染色または前記核染色に対応する前記信号を強化することと、
（ｃ） 少なくとも前記第１の強化された画像に基づいて精細な画像を生成することと、
（ｄ） 前記生成された精細な画像内の核を検出すること
を含む方法。
【請求項2】
前記精細な画像は、前記第１の強化された画像を閾値処理することによって生成される、請求項１に記載の方法。
【請求項3】
前記精細な画像が、（ｉ）前記第１の強化された画像を少なくとも第２の画像と組み合わせて、組み合わせ画像を提供することと、（ｉｉ）前記組み合わせ画像を閾値処理することとによって生成される、請求項１または２に記載の方法。
【請求項4】
前記第２の画像は、前記１つまたは複数の入力チャネル画像の第２の画像である、請求項３に記載の方法。
【請求項5】
前記１つまたは複数の入力チャネル画像の前記第２の画像は、前記１つまたは複数の入力チャネル画像の前記第１の画像とは異なる、請求項４に記載の方法。
【請求項6】
前記第２の画像が、第２の強化された画像である、請求項３に記載の方法。
【請求項7】
前記第２の強化された画像は、前記１つまたは複数の入力チャネル画像の第２の画像から得られる、請求項６に記載の方法。
【請求項8】
前記第２の強化された画像は、前記１つまたは複数の入力チャネル画像の前記第１の画像から得られ、第１および第２の強化された画像は、異なるスケール係数で前記Ｆｒａｎｇｉフィルタを適用することによって生成される、請求項６に記載の方法。
【請求項9】
前記１つまたは複数の入力チャネル画像の前記第１および第２の画像の両方が膜染色を含む、請求項７に記載の方法。
【請求項10】
前記膜染色が、腫瘍膜染色およびリンパ球膜染色からなる群から選択される、請求項９に記載の方法。
【請求項11】
前記１つまたは複数の入力チャネル画像の前記第１および第２の画像のうちの１つが核染色を含む、請求項７に記載の方法。
【請求項12】
前記組み合わせ画像が、少なくとも前記第１の強化された画像、前記第２の画像、および第３の画像から得られる、請求項３に記載の方法。
【請求項13】
前記第２の画像または前記第３の画像のうちの少なくとも１つが、前記Ｆｒａｎｇｉフィルタの適用によって強化されている、請求項１２に記載の方法。
【請求項14】
前記第２の画像が膜染色を含み、前記第３の画像が核染色を含む、請求項１２に記載の方法。
【請求項15】
前記組み合わせ画像が第４の画像からさらに得られる、請求項１４に記載の方法。
【請求項16】
前記精細な画像が、前記第１の強化された画像の反転像と少なくとも第２の画像とを組み合わせることによって得られる組み合わせ画像である、請求項１から１５のいずれか一項に記載の方法。
【請求項17】
前記第１の強化された画像または前記第２の画像のうちの１つが核染色を含む、請求項１６に記載の方法。
【請求項18】
前記少なくとも前記第２の画像は、前記１つまたは複数の入力チャネル画像の第２の画像である、請求項１６に記載の方法。
【請求項19】
前記１つまたは複数の入力チャネル画像の前記第２の画像が核染色を含み、前記１つまたは複数の入力チャネル画像の前記第１の画像が膜染色を含む、請求項１７に記載の方法。
【請求項20】
前記膜染色がＤＡＢであり、前記核染色がヘマトキシリンである、請求項１９に記載の方法。
【請求項21】
前記取得された入力チャネル画像が、混合解除された明視野画像または暗視野画像である、請求項１から２０のいずれか一項に記載の方法。
【請求項22】
染色された生物学的サンプルの画像内の細胞核の検出を強化するためのシステムであって、前記システムは、（ｉ）１つまたは複数のプロセッサと、（ｉｉ）前記１つまたは複数のプロセッサに結合された１つまたは複数のメモリと、を備え、前記１つまたは複数のメモリが、前記１つまたは複数のプロセッサによって実行されたときに、前記システムに、（ａ） １つまたは複数の入力画像チャネル画像を取得することであって、取得された各入力画像チャネル画像は、膜染色または核染色に対応する信号を含むことと、
（ｂ） Ｆｒａｎｇｉフィルタを前記１つまたは複数の取得された入力チャネル画像の第１の画像に適用して、第１の強化された画像を提供することにより、前記１つまたは複数の取得された入力チャネル画像の前記第１の画像内の前記膜染色または核染色に対応する前記信号を強化することと、
（ｃ） 少なくとも前記第１の強化された画像に基づいて精細な画像を生成することと、
（ｄ） 前記生成された精細な画像内の核を検出することと
を含む動作を実行させるシステム。
【請求項23】
前記１つまたは複数の取得された入力チャネル画像の前記第１の画像が膜染色を含む、請求項２２に記載のシステム。
【請求項24】
前記精細な画像が、（ｉ）前記第１の強化された画像またはそのさらに処理された変形と、（ｉｉ）前記１つまたは複数の取得された入力チャネル画像の第２の画像とを組み合わせることによって生成され、前記１つまたは複数の取得された入力チャネル画像の前記第２の画像は核染色を含む、請求項２３に記載のシステム。
【請求項25】
前記１つまたは複数の取得された入力チャネル画像の第２の画像から第２の強化された画像を生成するための命令をさらに含む、請求項２３に記載のシステム。
【請求項26】
前記精細な画像は、（ａ）組み合わせ画像を計算することであって、前記組み合わせ画像は少なくとも前記第１の強化された画像および前記第２の強化された画像から得られる、計算することと、（ｂ）前記計算された組み合わせ画像に閾値を適用することとによって生成される、請求項２５に記載のシステム。
【請求項27】
前記１つまたは複数の取得された入力チャネル画像の前記第２の画像は膜染色を含む、請求項２５に記載のシステム。
【請求項28】
前記１つまたは複数の取得された入力チャネル画像の前記第２の画像は核染色を含む、請求項２５に記載のシステム。
【請求項29】
前記組み合わせが、前記第１および第２の強化された画像ならびに少なくとも第３の強化された画像から得られ、前記第３の強化された画像は、核染色に対応する信号を含む、請求項２７に記載のシステム。
【請求項30】
前記精細な画像は、前記第１の強化された画像を閾値処理することによって生成される、請求項２２から２９のいずれか一項に記載のシステム。
【請求項31】
染色された生物学的サンプルの画像内の細胞核の検出を強化するための命令を保存する非一時的コンピュータ可読媒体であって、前記命令は、（ａ） １つまたは複数の入力画像チャネル画像を取得することであって、取得された各入力画像チャネル画像は、膜染色または核染色のうちの１つに対応する信号を含む、取得することと、
（ｂ） 境界構造を強化するように適合されたフィルタを前記１つまたは複数の取得された入力チャネル画像の第１の画像に適用することにより、前記１つまたは複数の取得された入力チャネル画像の前記第１の画像内の前記膜染色または前記核染色に対応する前記信号を強化して、第１の強化された画像を提供することと、
（ｃ） 少なくとも前記第１の強化された画像に基づいて組み合わせ画像を生成することと、
（ｄ） 前記生成された組み合わせ画像または前記生成された組み合わせ画像から得られたセグメンテーションマスク画像内の核を検出することと
を含む、非一時的コンピュータ可読媒体。
【請求項32】
前記組み合わせ画像は、（ｉ）前記第１の強化された画像またはそのさらに処理された変形と、（ｉｉ）少なくとも第２の画像との合計を計算することによって生成される、請求項３１に記載の非一時的コンピュータ可読媒体。
【請求項33】
前記第２の画像は、前記１つまたは複数の取得された入力チャネル画像の第２の画像である、請求項３２に記載の非一時的コンピュータ可読媒体。
【請求項34】
前記１つまたは複数の取得された入力チャネル画像の前記第１の画像は膜染色を含み、前記１つまたは複数の取得された入力チャネル画像の前記第２の画像は核染色を含む、請求項３３に記載の非一時的コンピュータ可読媒体。
【請求項35】
前記組み合わせ画像は、前記第１の強化された画像の反転から得られる、請求項３４に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【背景技術】
【0001】
（関連出願の相互参照）
本出願は、２０１８年１０月１５日に出願された米国特許出願第６２／７４５，７３０号に対する優先権および利益を主張するものであり、その開示は、参照によりその全体が本明細書に組み込まれる。
本出願は、２０１８年１０月１５日に出願された米国特許出願第６２／７４５，７３０号に対する優先権および利益を主張するものであり、その開示は、参照によりその全体が本明細書に組み込まれる。
【0002】
デジタル病理には、組織病理学または細胞病理学のスライドガラス全体をスキャンして、コンピュータ画面で説明可能なデジタル画像にすることが含まれる。これらの画像は、その後、画像化アルゴリズムによって処理されるか、病理学者によって解釈される。組織切片（実質的に透明）を調べるために、細胞成分に選択的に結合する着色組織化学染色剤を使用して組織切片が調製される。色が強化された、または染色された細胞構造は、臨床医またはコンピュータ支援診断（ＣＡＤ）アルゴリズムによって使用され、疾患の形態学的マーカを特定し、それに応じて治療を進める。アッセイを観察することは、疾患の診断、治療への反応の評価、および疾患と戦うための新薬の開発を含む様々なプロセスを可能にする。
【0003】
免疫組織化学的（ＩＨＣ）スライド染色は、組織切片の細胞内のタンパク質を特定するために利用可能であるため、生体組織内の癌性細胞や免疫細胞など、異なる種類の細胞の研究に広く使用されている。したがって、ＩＨＣ染色は、免疫反応研究のために、癌性組織における免疫細胞（Ｔ細胞やＢ細胞など）の差次的に発現するバイオマーカの分布と局在を理解するための研究に使用されることができる。例えば、腫瘍は、免疫細胞の浸潤物を含んでいることが多く、これは、腫瘍の発生を妨げたり、腫瘍の増殖を促進したりする場合がある。
【0004】
原位置ハイブリッド形成（ＩＳＨ）を使用して、顕微鏡で見ると形態学的に悪性であるように見える細胞内に特異的に遺伝子を生じさせる癌の増幅などの遺伝的異常または状態の存在を探すことができる。原位置ハイブリッド形成（ＩＳＨ）は、標的遺伝子配列または転写物に対してアンチセンスである標識ＤＮＡまたはＲＮＡプローブ分子を使用して、細胞または組織サンプル内の標的核酸標的遺伝子を検出または局在化する。ＩＳＨは、スライドガラスに固定化された細胞または組織サンプルを、細胞または組織サンプル内の所与の標的遺伝子に特異的にハイブリッド形成することができる標識核酸プローブに曝露することによって実行される。複数の異なる核酸タグによって標識された複数の核酸プローブに細胞または組織サンプルを曝露することにより、いくつかの標的遺伝子を同時に分析することができる。異なる発光波長を有する標識を利用することにより、単一の標的細胞または組織サンプルに対して単一のステップで同時多色分析を実行することができる。例えば、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．のＩＮＦＯＲＭ ＨＥＲ２ Ｄｕａｌ ＩＳＨ ＤＮＡプローブカクテルアッセイは、ＨＥＲ２遺伝子と第１７染色体の比率を列挙することによってＨＥＲ２遺伝子状態を判定することを目的としている。ＨＥＲ２および第１７染色体プローブは、ホルマリン固定パラフィン包埋ヒト乳癌組織標本で２色の発色性ＩＳＨを使用して検出される。
【発明の概要】
【0005】
細胞検出は、ＩＨＣアッセイによって染色された組織病理学画像におけるバイオマーカ表現の定量化された評価のための重要なタスクである。文献には、明視野画像（ＩＨＣやＨ＆Ｅなど）と暗視野画像（免疫蛍光法など）の両方について、多くの核検出およびセグメンテーション方法が存在する。ほとんどの方法は、核染色を表す元のＲＧＢ画像または単一チャネル画像での核検出／セグメンテーションのための特徴抽出または機械学習技術の開発に焦点を当てている（例えば、明視野ＩＨＣの色混合解除アルゴリズムを介して取得されたヘマトキシリンチャネル画像、または免疫蛍光多重イメージングを介して直接取得されたＤＡＰＩチャネル画像）。場合によっては、核染色の質が悪いか、または画像に存在すらしない可能性があり（例えば、図６Ａおよび８Ａを参照）、したがって、核検出を困難にする。
【0006】
本開示の態様は、生物学的サンプルの染色された画像内の核検出をよりよく可能にするために明視野または暗視野画像を強化するように設計されたシステムおよび方法に関する。いくつかの実施形態では、本明細書に開示される画像処理システムおよび方法は、既存の細胞検出アルゴリズムを、核染色の質が悪いものを含む、より広い範囲の細胞染色パターンに適用することを可能にする。いくつかの実施形態では、画像前処理アルゴリズムを適用して、細胞境界を定義する構造（例えば、核染色によって描写される自然境界、または別個の膜／細胞質染色によって定義される境界）を強化して、全ての細胞は、それらの元の形態に係わらず、強化された画像（すなわち、画像前処理アルゴリズムの適用後に生成された画像）において類似のパターン（例えば、「ブロブ」）として現れる。いくつかの実施形態では、「境界構造」は、核染色によって示される自然の境界、または別個の膜染色によって定義される境界を含む。いくつかの実施形態では、Ｆｒａｎｇｉフィルタを利用して、細胞核を取り囲む境界構造または連続エッジを強化する。いくつかの実施形態では、Ｆｒａｎｇｉフィルタの適用によって強化された画像は、核が検出される前にさらに処理され得る。例えば、強化された画像は、元の入力画像の１つなどの少なくとも第２の画像と組み合わされて、自動化された核検出アルゴリズムが適用され得る精細な画像を生成し得る。次に、自動化された細胞検出アルゴリズムを強化された画像に対して実行して、計算により速く、より正確な検出結果を提供し得る。暗視野画像と明視野画像の両方に適用される方法の例が本明細書に開示されている。
【0007】
本開示の一態様では、染色された生物学的サンプルの画像内の細胞核の検出を強化する方法であり、１つまたは複数の入力画像チャネル画像（例えば、多重化された明視野画像を混合解除した後に得られる画像チャネル画像）を取得することであって、取得された各入力画像チャネル画像は、膜染色（例えば、リンパ球バイオマーカ膜染色）または核染色（ヘマトキシリン）の１つに対応する信号を含む、取得することと、境界構造を強化するように適合されたフィルタ（例えば、Ｆｒａｎｇｉフィルタ）を１つまたは複数の取得された入力チャネル画像の第１の画像に適用することにより、１つまたは複数の取得された入力チャネル画像の第１の画像内の膜染色または核染色に対応する信号を強化して、第１の強化された画像を提供することと、少なくとも第１の強化された画像から得られた精細な画像内の核を（例えば、自動化された核検出アルゴリズムを用いて）検出することとを含む。いくつかの実施形態では、膜染色は３，３’－ジアミノベンジジン（ＤＡＢ）であり、核染色はヘマトキシリンである。いくつかの実施形態では、取得された入力チャネル画像は、混合解除された明視野画像である。いくつかの実施形態では、取得された入力チャネル画像は暗視野画像である。
【0008】
いくつかの実施形態では、精細な画像は、第１の強化された画像を閾値処理することによって生成される。いくつかの実施形態では、精細な画像は、（ｉ）第１の強化された画像を少なくとも第２の画像と組み合わせて、組み合わせ画像を提供することと、（ｉｉ）組み合わせ画像を閾値処理することとによって生成される。いくつかの実施形態では、第２の画像は、第２の強化された画像（すなわち、それにＦｒａｎｇｉフィルタが適用された第２の取得された入力チャネル画像）である。いくつかの実施形態では、第２の強化された画像は、１つまたは複数の入力チャネル画像の第２の画像から得られる。いくつかの実施形態では、第２の強化された画像は、１つまたは複数の入力チャネル画像の第１の画像から得られ、第１および第２の強化された画像は、異なる倍率でＦｒａｎｇｉフィルタを適用することによって生成されるスケール係数（例えば、１つの画像に適用される２のスケール係数、別の画像に適用される５のスケール係数）でＦｒａｎｇｉフィルタを適用することによって生成される。
【0009】
いくつかの実施形態では、１つまたは複数の入力チャネル画像の第１および第２の画像の両方が膜染色を含む。いくつかの実施形態において、膜染色は、腫瘍膜染色およびリンパ球膜染色からなる群から選択される。いくつかの実施形態では、１つまたは複数の入力チャネル画像の第１および第２の画像１つは、核染色を含む。
【0010】
いくつかの実施形態では、組み合わせ画像は、少なくとも第１の強化された画像、第２の画像、および第３の画像から得られる。いくつかの実施形態では、第２の画像または第３の画像のうちの少なくとも１つは、Ｆｒａｎｇｉフィルタの適用によって強化されている。いくつかの実施形態では、第２の画像は膜染色を含み、第３の画像は核染色を含む。いくつかの実施形態では、組み合わせ画像は、第４の画像からさらに得られる。
【0011】
いくつかの実施形態では、精細な画像は、第１の強化された画像の反転像を少なくとも第２の画像と組み合わせることによって得られる組み合わせ画像である。いくつかの実施形態では、第１の強化された画像または第２の画像のうちの１つは、核染色を含む。いくつかの実施形態では、少なくとも第２の画像は、１つまたは複数の入力チャネル画像の第２の画像である。いくつかの実施形態では、１つまたは複数の入力チャネル画像の第２の画像は核染色を含み、１つまたは複数の入力チャネル画像の第１の画像は膜染色を含む。
【0012】
本開示の別の態様は、染色された生物学的サンプルの画像内の細胞核の検出を強化する方法であって、（ａ）１つまたは複数の入力画像チャネル画像を取得することであって、取得された各入力画像チャネル画像は、膜染色または核染色のうちの１つに対応する信号を含む、取得することと、（ｂ）Ｆｒａｎｇｉフィルタを１つまたは複数の取得された入力チャネル画像の第１の画像に適用して、第１の強化された画像を提供することにより、１つまたは複数の取得された入力チャネル画像の第１の画像内の膜染色または核染色に対応する信号を強化することと、（ｃ）少なくとも第１の強化された画像に基づいて精細な画像を生成することと、（ｄ）生成された精細な画像内の核を自動的に検出することであって、核は自動核検出アルゴリズムを適用することによって検出される、検出することを含む。次に、いくつかの実施形態では、検出された核は、元のスライド画像全体またはその任意の部分に重ね合わされる、すなわち視覚化される。いくつかの実施形態では、膜染色はＤＡＢであり、核染色はヘマトキシリンである。いくつかの実施形態では、核染色は、ＤＡＰＩである。いくつかの実施形態では、取得された入力チャネル画像は、混合解除された明視野画像である。いくつかの実施形態では、取得された入力チャネル画像は暗視野画像である。
【0013】
いくつかの実施形態では、精細な画像は、セグメンテーションマスク画像である。いくつかの実施形態では、セグメンテーションマスク画像は、組み合わせ画像から得られ、組み合わせ画像は、少なくとも第１の強化された画像および第２の画像から生成され、それによって、少なくとも第１の強化された画像および第２の画像は、加法的、または加重的に組み合わされる。いくつかの実施形態では、組み合わせ画像は、膜強化された画像と核染色強化された画像との組み合わせなど、少なくとも第１および第２の強化された画像から得られる。
【0014】
いくつかの実施形態では、精細な画像は、少なくとも第１の強化された画像および第２の画像、例えば、第２の強化された画像、別の取得された入力画像、またはそれらのさらに処理された変形から得られる組み合わせ画像である。いくつかの実施形態では、第１および第２の画像は、加法的な方法で組み合わされる、すなわち、それらは一緒に合計される。いくつかの実施形態では、第１の強化された画像は、組み合わせ画像の生成の前にさらに処理される。いくつかの実施形態では、第１の強化された画像のさらなる処理は、第１の強化された画像の反転を生成することを含む。
【0015】
本開示の別の態様は、染色された生物学的サンプルの画像内の細胞核の検出を強化する方法であり、１つまたは複数の入力画像チャネル画像を取得することであって、取得された各入力画像チャネル画像は、膜染色または核染色のうちの１つに対応する信号を含む、取得することと、Ｆｒａｎｇｉフィルタを１つまたは複数の取得された入力チャネル画像の第１の画像に適用して、第１の強化された画像を提供することにより、１つまたは複数の取得された入力チャネル画像の第１の画像内の膜染色または核染色に対応する信号を強化することと、少なくとも第１の強化された画像に基づいて精細な画像を生成することと、精細な画像内の核を検出することとを含む。いくつかの実施形態では、精細な画像は、第１の強化された画像を閾値処理することによって生成される。いくつかの実施形態では、精細な画像は、第１の強化された画像を少なくとも第２の画像と組み合わせて、組み合わせ画像を提供することによって生成される。いくつかの実施形態では、精細な画像は、（ｉ）第１の強化された画像を少なくとも第２の画像と組み合わせて、組み合わせた画像を提供することと、（ｉｉ）結合された画像を閾値処理することによって生成される。いくつかの実施形態では、第２の画像は、１つまたは複数の入力チャネル画像の第２の画像である。いくつかの実施形態では、第２の画像は、第２の強化された画像である。いくつかの実施形態では、任意の組み合わせ画像は、元の入力画像チャネル画像または強化された画像の任意の組み合わせを含む、３つ以上の画像から得られ得る。
【0016】
本開示の別の態様は、染色された生物学的サンプルの画像内の細胞核の検出を強化する方法であって、（ａ）核染色に対応する信号を含む少なくとも１つの入力チャネル画像を取得することと、（ｂ）核染色に対応する信号を含む少なくとも１つの取得された入力チャネル画像にＦｒａｎｇｉフィルタを適用することによって、核染色に対応する信号を含む少なくとも１つの取得された入力チャネル画像における核染色に対応する信号を強化して、第１の強化された画像を提供することと、（ｃ）少なくとも第１の強化された画像から精細な画像を生成することと、（ｄ）生成された精細な画像内の核を自動的に検出することであって、核は、自動核検出アルゴリズムを適用することによって検出される、検出することとを含む。いくつかの実施形態では、方法は、膜染色に対応する信号を含む少なくとも１つの入力チャネル画像を取得することと、膜染色に対応する信号を含む少なくとも１つの取得された入力チャネル画像にＦｒａｎｇｉフィルタを適用することによって、膜染色に対応する信号を含む少なくとも１つの取得された入力チャネル画像における膜染色を強化して、第２の強化された画像を提供することとをさらに含む。いくつかの実施形態では、少なくとも第１および第２の強化された画像は、例えば、加法的または加重的に組み合わされて、精細な画像を提供する。いくつかの実施形態では、組み合わせ画像を使用して核を検出することができるか、あるいは、閾値を組み合わせ画像に適用し、結果として生じるセグメンテーションマスク画像を使用して核を検出し得る。
【0017】
本開示の別の態様は、染色された生物学的サンプルの画像内の細胞核の検出を強化する方法であって、（ａ）膜染色に対応する信号を含む少なくとも１つの入力チャネル画像を取得することと、（ｂ）膜染色に対応する信号を含む少なくとも１つの取得された入力チャネル画像にＦｒａｎｇｉフィルタを適用することによって、膜染色に対応する信号を含む少なくとも１つの取得された入力チャネル画像における膜染色に対応する信号を強化して、第１の強化された画像を提供することと、（ｃ）少なくとも第１の強化された画像から精細な画像を生成することと、（ｄ）生成された精細な画像内の核を自動的に検出することであって、核は、自動核検出アルゴリズムを適用することによって検出される、検出することを含む。いくつかの実施形態では、精細な画像は組み合わせ画像であって、（ｉ）第１の強化された画像のさらに処理された変形と、（ｉｉ）第２の取得された入力チャネル画像であって、第２の取得された画像チャネル画像は、核染色に対応する信号を含む、第２の取得された入力チャネル画像とを含む。いくつかの実施形態では、第１の強化された画像のさらに処理された変形は、第１の強化された画像の反転である。いくつかの実施形態では、他の取得された入力チャネル画像は、ヘマトキシリンに対応する信号を含む。
【0018】
本開示の別の態様は、ヘマトキシリンおよびエオシンで染色され、および／または複数のバイオマーカの存在について染色された生物学的サンプルの画像内の細胞核の検出を強化する方法であり、１つまたは複数の入力画像チャネル画像を取得することであって、取得された各入力画像チャネル画像は、ヘマトキシリン、ＤＡＰＩ、またはバイオマーカの存在を示す染色の１つに対応する信号を含む、取得することと、１つまたは複数の画像チャネル画像の少なくとも第１の画像にＦｒａｎｇｉフィルタを適用することによって、１つまたは複数の入力画像チャネル画像の少なくとも第１の画像内の境界構造を強化して、少なくとも第１のＦｒａｎｇｉ強化された画像チャネル画像を提供することと、少なくとも１つのＦｒａｎｇｉ強化された画像チャネルから得られた精細な画像内の核を検出することとを含む。
【0019】
いくつかの実施形態では、精細な画像は、セグメンテーションマスク画像である。いくつかの実施形態では、セグメンテーションマスク画像は、少なくとも第１のＦｒａｎｇｉ強化された画像チャネル画像を閾値処理することによって生成される。いくつかの実施形態では、セグメンテーションマスク画像は、少なくとも第１のＦｒａｎｇｉ強化された画像チャネル画像から得られた組み合わせ画像を閾値処理することによって生成される。いくつかの実施形態では、組み合わせ画像は、（ｉ）少なくとも第１のＦｒａｎｇｉ強化された画像チャネル画像と、（ｉｉ）（ａ）１つまたは複数の入力画像チャネル画像の第２の画像、および／または（ｂ）第２のＦｒａｎｇｉ強化された画像チャネル画像の少なくとも１つとを組み合わせることによって得られる。いくつかの実施形態では、組み合わせ画像は、少なくとも第１のＦｒａｎｇｉ強化された画像チャネル画像と第２のＦｒａｎｇｉ強化された画像チャネル画像との組み合わせを含む。いくつかの実施形態では、第１のＦｒａｎｇｉ強化された画像チャネル画像および第２のＦｒａｎｇｉ強化された画像チャネル画像は、異なる入力画像チャネル画像から得られる。いくつかの実施形態では、第１のＦｒａｎｇｉ強化された画像チャネル画像および第２のＦｒａｎｇｉ強化された画像チャネル画像は、同じ入力画像チャネル画像から得られる。いくつかの実施形態では、第１および第２のＦｒａｎｇｉ強化された画像チャネル画像は、異なるスケール係数でＦｒａｎｇｉフィルタを適用することによって得られる。いくつかの実施形態では、第１または第２のＦｒａｎｇｉ強化された画像チャネル画像のうちの１つは、強化された膜境界を含み、第１または第２のＦｒａｎｇｉ強化された画像チャネル画像の別のものは、強化された核境界を含む。いくつかの実施形態では、組み合わせ画像は、少なくとも第１のＦｒａｎｇｉ強化された画像チャネル画像、第２のＦｒａｎｇｉ強化された画像チャネル画像、および第３のＦｒａｎｇｉ強化された画像チャネル画像の組み合わせを含み、第１、第２、または第３のＦｒａｎｇｉ強化された画像チャネル画像のうちの少なくとも２つは、異なる入力チャネル画像から得られる。
【0020】
いくつかの実施形態では、精細な画像は、（ｉ）第１のＦｒａｎｇｉ強化された画像チャネル画像の反転と、（ｉｉ）１つまたは複数の入力チャネル画像の第２の画像とを組み合わせることによって得られた組み合わせ画像である。いくつかの実施形態では、組み合わせ画像は、（ｉ）少なくとも第１のＦｒａｎｇｉ強化された画像チャネル画像と、（ｉｉ）（ａ）１つまたは複数の入力画像チャネル画像の第２の画像、および／または（ｂ）第２のＦｒａｎｇｉ強化された画像チャネル画像の少なくとも１つとを組み合わせることによって得られる。
【0021】
本開示の別の態様は、染色された生物学的サンプルの画像内の細胞核の検出を強化するためのシステムであり、このシステムは、（ｉ）１つまたは複数のプロセッサと、（ｉｉ）１つまたは複数のプロセッサに結合された１つまたは複数のメモリと、を備え、１つまたは複数のメモリが、１つまたは複数のプロセッサによって実行されたときに、システムに、１つまたは複数の入力画像チャネル画像を取得することであって、取得された各入力画像チャネル画像は、膜染色または核染色に対応する信号を含む、取得することと、Ｆｒａｎｇｉフィルタを１つまたは複数の取得された入力チャネル画像の第１の画像に適用して、第１の強化された画像を提供することにより、１つまたは複数の取得された入力チャネル画像の第１の画像内の膜染色または核染色に対応する信号を強化することと、少なくとも第１の強化された画像に基づいて精細な画像を生成することと、生成された精細な画像内の核を検出することと、を含む動作を実行させるコンピュータ実行可能命令を記憶する。
【0022】
いくつかの実施形態では、１つまたは複数の取得された入力チャネル画像の第１の画像は、膜染色を含む。いくつかの実施形態では、精細な画像が、（ｉ）第１の強化された画像またはそのさらに処理された変形と、（ｉｉ）１つまたは複数の取得された入力チャネル画像の第２の画像とを組み合わせることによって生成され、１つまたは複数の取得された入力チャネル画像の第２の画像は核染色を含む。いくつかの実施形態では、１つまたは複数の取得された入力チャネル画像の第２の画像から第２の強化された画像を生成するための命令をさらに含む。いくつかの実施形態では、精細な画像は、第１の強化された画像を閾値処理することによって生成される。
【0023】
いくつかの実施形態では、精細な画像は、（ａ）組み合わせ画像を計算することであって、組み合わせ画像は少なくとも第１の強化された画像および第２の強化された画像から得られる、計算することと、（ｂ）計算された組み合わせ画像に閾値を適用することとによって生成される。いくつかの実施形態では、１つまたは複数の取得された入力チャネル画像の第２の画像は、膜染色を含む。いくつかの実施形態では、１つまたは複数の取得された入力チャネル画像の第２の画像は、核染色を含む。いくつかの実施形態では、組み合わせが、第１および第２の強化された画像ならびに少なくとも第３の強化された画像から得られ、第３の強化された画像は、核染色に対応する信号を含む。
【0024】
本開示の別の態様は、染色された生物学的サンプルの画像内の細胞核の検出を強化するための命令を保存する非一時的コンピュータ可読媒体であって、命令は、１つまたは複数の入力画像チャネル画像を取得することであって、取得された各入力画像チャネル画像は、膜染色または核染色の１つに対応する信号を含む、取得することと、境界構造を強化するように適合されたフィルタを１つまたは複数の取得された入力チャネル画像の第１の画像に適用することにより、１つまたは複数の取得された入力チャネル画像の第１の画像内の膜染色または核染色に対応する信号を強化して、第１の強化された画像を提供することと、少なくとも第１の強化された画像に基づいて組み合わせ画像を生成することと、生成された組み合わせ画像または生成された組み合わせ画像から得られたセグメンテーションマスク画像内の核を検出することとを含む。いくつかの実施形態では、境界構造を強化するように適合されたフィルタは、画像前処理アルゴリズムである。いくつかの実施形態では、境界構造を強化するように適合されたフィルタは、Ｆｒａｎｇｉフィルタである。いくつかの実施形態では、組み合わせ画像は、第１の強化された画像またはそのさらに処理された変形と、少なくとも第２の画像との合計を計算することによって生成される。いくつかの実施形態では、第２の画像は、１つまたは複数の取得された入力チャネル画像の第２の画像である。いくつかの実施形態では、１つまたは複数の取得された入力チャネル画像の第１の画像は膜染色を含み、１つまたは複数の取得された入力チャネル画像の第２の画像は核染色を含む。いくつかの実施形態では、組み合わせ画像は、第１の強化された画像の反転から得られる。
【0025】
本開示の特徴の一般的な理解のために、図面を参照する。図面では、同一の要素を識別するために、全体を通して同様の参照番号が使用されている。
【図面の簡単な説明】
【0026】
【図1】いくつかの実施形態にかかる、画像スキャナおよびコンピュータシステムを含む代表的なデジタル病理学システムを示している。
【図2】いくつかの実施形態にかかる、デジタル病理学システムまたはデジタル病理学ワークフロー内で利用されることができる様々なモジュールを示している。
【図3A】いくつかの実施形態による、取得された入力画像中の核を検出するステップを示すフローチャートを示している。
【図3B】いくつかの実施形態による、取得された入力画像中の核を検出するステップを示すフローチャートを示している。
【図4A】いくつかの実施形態による、取得された入力画像中の核を検出するステップを示すフローチャートを示している。
【図4B】いくつかの実施形態による、取得された入力画像中の核を検出するステップを示すフローチャートを示している。
【図5A】いくつかの実施形態による、取得された入力画像における膜染色細胞を強化するステップを示すフローチャートを示している。
【図5B】いくつかの実施形態による、取得された入力画像におけるかすかな核を強化するステップを示すフローチャートを示している。
【図5C】いくつかの実施形態による、取得された入力画像におけるかすかな核の強化および膜染色細胞の強化の両方のステップを示すフローチャートを示している。
【図5D】いくつかの実施形態による、取得された入力画像におけるかすかな核の強化および膜染色細胞の強化の両方のステップを示すフローチャートを示している。
【図6A】Ｂ細胞リンパ腫のＣＤ２０で染色されたＩＨＣ明視野画像の視野を提供する。
【図6B】Ｂ細胞リンパ腫のＣＤ２０で染色されたＩＨＣ明視野画像の視野を提供する。
【図6C】Ｂ細胞リンパ腫のＣＤ２０で染色されたＩＨＣ明視野画像の視野を提供する。
【図6D】Ｂ細胞リンパ腫のＣＤ２０で染色されたＩＨＣ明視野画像の視野を提供する。
【図6E】Ｂ細胞リンパ腫のＣＤ２０で染色されたＩＨＣ明視野画像の視野を提供する。
【図6A】ＤＡＢ染色が非常に強い元の画像を示している。
【図6B】個々の核の形態が認識されにくい、色混合解除アルゴリズムによって生成されたヘマトキシリンチャネル画像を示している。
【図6C】混合解除されたＤＡＢ画像を示している。
【図6D】スケール係数２のＦｒａｎｇｉフィルタを適用した後の出力画像を示している。
【図7A】混合解除ヘマトキシリン画像チャネル画像を示している。
【図7B】組み合わせ画像、すなわち、ヘマトキシリン画像チャネル画像と、Ｆｒａｎｇｉフィルタを使用して強化されたＤＡＢ画像チャネル画像の反転との組み合わせを示している。
【図8A】入力画像を示している。
【図9A】Ｋｉ６７、ＫＲＴ、ＰＤＣＤ１、ＤＡＰＩ、ＣＤ８Ａ、ＣＤ３Ｅに対応する信号を含む多重画像を示す。
【図9B】ＤＡＰＩチャネルを示している。
【図9E】サイトケラチン（ＫＲＴ）画像チャネル画像を示している。
【図9G】全てのＴ細胞染色の組み合わせ画像を示している。
【図9L】元のＤＡＰＩ画像チャネル画像でのシード検出結果を示している。
【図10A】範囲（－ｓ、ｓ）のコントラストの内側／外側のガウスカーネルプローブの二次導関数を示している。
【図10B】２次元ヘッセ固有ベクトルが局所構造の存在をどのように示すかを要約し、ここで、Ｈ＝高、Ｌ＝低、Ｎ＝ノイズが多く、通常は小さい、＋／－は固有値の符号を示す。
【発明を実施するための形態】
【0027】
反対に明確に示されない限り、複数のステップまたは行為を含む本明細書で請求される方法において、方法のステップまたは行為の順序は、必ずしも方法のステップまたは行為が記載されている順序に限定されないことも理解されたい。
【0028】
本明細書で使用される場合、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が別途明確に指示しない限り、複数の指示対象を含む。同様に、「または」という単語は、文脈が明確に別のことを示さない限り、「および」を含むことを意図している。「含む」という用語は、「ＡまたはＢを含む」がＡ、Ｂ、またはＡおよびＢを含むことを意味するように、包括的に定義される。
【0029】
本明細書で使用される場合、「または」という用語は、上記で定義された「および／または」と同じ意味を有することを理解されたい。例えば、リスト内の項目を区切る場合、「または」または「および／または」は包括的であると解釈されるものとする。つまり、要素の数またはリストの少なくとも１つ、および、オプションで、追加のリストされていないアイテムを含むが、複数を含むと解釈される。「ただ１つまたは「正確に１つ」、または特許請求の範囲で使用される場合、「からなる」など、反対に明確に示される用語のみが、数または要素のリストの正確に１つの要素を含むことを指す。一般に、本明細書で使用される「または」という用語は、「いずれか」、「いずれか」、「のみ」、「正確にいずれか」などの排他性の用語が前に付いている場合、排他的な代替案を示すものとしてのみ解釈されるものとする（すなわち、「一方または他方であるが両方ではない」）。「本質的にからなる」は、特許請求の範囲で使用される場合、特許法の分野で使用される通常の意味を有するものとする。
【0030】
本明細書で使用される場合、「備える」、「含む」、「有する」などの用語は、交換可能に使用され、同じ意味を有する。同様に、「備える」、「含む」、「有する」などは同じ意味で使用され、同じ意味を有する。具体的には、各用語は、「含む」という一般的な米国特許法の定義と一致して定義されているため、「少なくとも以下」を意味するオープンな用語として解釈され、また追加の機能、制限、側面などを除外しないと解釈される。したがって、例えば、「構成要素ａ、ｂ、およびｃを有する装置」は、装置が少なくとも構成要素ａ、ｂ、およびｃを含むことを意味する。同様に、「ステップａ、ｂ、およびｃを含む方法」という句は、その方法が少なくともステップａ、ｂ、およびｃを含むことを意味する。さらに、ステップおよびプロセスは、本明細書において特定の順序で概説され得るが、当業者は、順序立っているステップおよびプロセスが変化し得ることを認識するであろう。
【0031】
本明細書で使用される場合、１つまたは複数の要素のリストに関連する「少なくとも１つ」という句は、要素のリストの任意の１つまたは複数の要素から選択される少なくとも１つの要素を意味すると理解されるべきであるが、必ずしも要素のリスト内に具体的にリスト化されているありとあらゆる要素の少なくとも１つを含まなくてもなく、要素のリスト内の要素の任意の組み合わせを除外するものではない。この定義はまた、「少なくとも１つ」という句が参照する要素のリスト内で具体的に識別される要素以外の要素が、具体的に識別される要素に関連するかどうかにかかわらず、任意選択で存在し得ることを可能にする。したがって、非限定的な例として、「ＡおよびＢの少なくとも１つ」（または、同等に、「ＡまたはＢの少なくとも１つ」、または同等に「Ａおよび／またはＢの少なくとも１つ」）は、一実施形態では、少なくとも１つ、任意選択で２つまたはそれ以上のＡを含み、Ｂが存在しない（および任意選択でＢ以外の要素を含む）ことを指すことができ、別の実施形態では、少なくとも１つ、任意選択で２つまたはそれ以上のＢを含み、Ａが存在しない（および任意選択でＡ以外の要素を含む）ことを指し、さらに別の実施形態では、少なくとも１つ、任意選択で２つまたはそれ以上のＡを含み、少なくとも１つ、任意選択で２つまたはそれ以上のＢを含む（および任意選択で他の要素を含む）、等を指すことができる。
【0032】
本明細書で使用される場合、「生物学的サンプル」、「生物学的サンプル」、「標本」などの用語は、ウイルスを含む任意の生物から得られる生体分子（タンパク質、ペプチド、核酸、脂質、炭水化物、またはそれらの組み合わせなど）を含む任意のサンプルを指す。生物の他の例は、哺乳類（人間、猫、犬、馬、牛、および豚などの獣医動物、ならびにマウス、ラット、霊長類などの実験動物など）、昆虫、環形動物、クモ形類動物、有袋類、爬虫類、両生類、細菌、および菌類などを含む。生物学的サンプルは、生化学的サンプル（組織切片や組織の針生検など）、細胞サンプル（Ｐａｐ塗抹標本もしくは血液塗抹標本などの細胞学的塗抹標本、またはマイクロダイセクションによって取得された細胞のサンプルなど）、または細胞分画、断片または細胞小器官（細胞を溶解し、遠心分離などによってそれらの成分を分離することによって得られる）を含む。生物学的サンプルの他の例は、血液、血清、尿、精液、糞便、脳脊髄液、間質液、粘膜、涙、汗、膿、生検組織（例えば、外科的生検または針生検によって得られる）、乳頭吸引物、耳垢、乳、膣液、唾液、ぬぐい液（頬スワブなど）、または最初の生物学的サンプルに由来する生体分子を含む任意の材料を含む。特定の実施形態では、本明細書で使用される「生物学的サンプル」という用語は、対象から取得された腫瘍またはその一部から調製されたサンプル（均質化または液化されたサンプルなど）を指す。
【0033】
本明細書で使用される場合、「ブロブ」は、いくつかの特性が一定またはほぼ一定であるデジタル画像の領域を指す。いくつかの実施形態では、ブロブ内の全ての画素は、ある意味で互いに類似していると見なすことができる。
【0034】
本明細書で使用される場合、「画像データ」という用語は、光学センサまたはセンサアレイなどによって生物学的サンプルから取得された生の画像データ、または前処理された画像データを包含する。特に、画像データは、画素行列を含むことができる。
【0035】
本明細書で使用される場合、「画像」、「画像スキャン」、または「スキャンされた画像」という用語は、光学センサまたはセンサアレイなどによって生物学的サンプルから取得された生の画像データ、または前処理された画像データを包含する。特に、画像データは、画素行列を含むことができる。
【0036】
本明細書で使用される場合、「マルチチャネル画像」または「多重画像」という用語は、核および組織構造などの異なる生物学的構造が、それぞれが異なるスペクトルバンドで蛍光を発するか、さもなければ検出可能であり、したがってマルチチャネル画像のチャネルの１つを構成する特定の蛍光色素、量子ドット、色原体などによって同時に染色される生物学的サンプルから得られるデジタル画像を包含する。
【0037】
本明細書で使用される場合、「スライド」という用語は、生物学的標本が分析のために配置される任意の適切な寸法の任意の基材（例えば、全体的または部分的に、ガラス、石英、プラスチック、シリコンなどから作製された基材）、より具体的には、標準の３インチ×１インチの顕微鏡スライドまたは標準の７５ｍｍ×２５ｍｍの顕微鏡スライドなどの「顕微鏡スライド」を指す。スライド上に配置することができる生物学的標本の例は、限定されるものではないが、細胞学的塗抹標本、薄い組織切片（生検からのものなど）、および生物学的標本の配列、例えば、組織配列、細胞配列、ＤＮＡ配列、ＲＮＡ配列、タンパク質配列、またはそれらの任意の組み合わせを含む。したがって、一実施形態では、組織切片、ＤＮＡサンプル、ＲＮＡサンプル、および／またはタンパク質は、スライド上の特定の位置に配置される。いくつかの実施形態では、スライドという用語は、ＳＥＬＤＩおよびＭＡＬＤＩチップ、ならびにシリコンウェーハを指すことができる。
【0038】
本明細書で使用される場合、「特異的結合実体」という用語は、特異的結合対のメンバーを指す。特異的結合対は、他の分子への結合を実質的に排除して互いに結合することを特徴とする分子の対である（例えば、特異的結合対は、生物学的サンプル中の他の分子との結合対の２つのメンバーのいずれかの結合定数よりも少なくとも１０＾３Ｍ－１大きい、１０＾４Ｍ－１大きいまたは１０＾５Ｍ－１大きい結合定数を有することができる）。特異的結合部分の特定の例は、特異的結合タンパク質（例えば、抗体、レクチン、ストレプトアビジンなどのアビジン、およびプロテインＡ）を含む。特異的結合部分はまた、そのような特異的結合タンパク質によって特異的に結合される分子（またはその部分）を含むことができる。
【0039】
本明細書で使用される場合、本明細書で使用される「染色」、「染色している」などの用語は、一般に、生物学的標本中の特定の分子（脂質、タンパク質、または核酸など）または特定の構造（正常または悪性の細胞、細胞質ゾル、核、ゴルジ装置、または細胞骨格など）の存在、位置、および／または量（濃度など）を検出および／または区別する生物学的標本の任意の処理を指す。例えば、染色は、特定の分子または特定の細胞構造と生物学的標本の周囲の部分との間のコントラストを提供することができ、染色の強度は、標本中の特定の分子の量の尺度を提供することができる。染色は、明視野顕微鏡だけでなく、位相差顕微鏡、電子顕微鏡、および蛍光顕微鏡などの他の観察ツールを使用して、分子、細胞構造、および生物の観察を支援するために使用されることができる。システムによって実行されるいくつかの染色は、細胞の輪郭を視覚化するために使用されることができる。システムによって実行される他の染色は、他の細胞成分の染色なしで、または比較的少ない染色で、染色される特定の細胞成分（分子または構造など）に依存することができる。システムによって実行される染色方法のタイプの例は、これらに限定されるものではないが、組織化学的方法、免疫組織化学的方法、および核酸分子間のハイブリッド形成反応などの分子間の反応（非共有結合相互作用を含む）に基づく他の方法を含む。特定の染色法は、これらに限定されるものではないが、一次染色法（例えば、Ｈ＆Ｅ染色、Ｐａｐ染色など）、酵素結合免疫組織化学的方法、および蛍光原位置ハイブリッド形成（ＦＩＳＨ）などの原位置ＲＮＡおよびＤＮＡハイブリッド形成法を含む。
【0040】
本明細書に開示されるのは、明視野および／または暗視野画像を強化して、画像内の核検出をよりよく可能にするように設計されたシステムおよび方法である。いくつかの実施形態では、細胞核を取り囲む境界構造または連続エッジを強化するように適合されたフィルタが適用される。いくつかの実施形態では、適用されるフィルタは、Ｆｒａｎｇｉフィルタである。強化された画像の生成に続いて、精細な画像が計算され得、精細な画像は、少なくとも部分的に強化された画像に基づく。いくつかの実施形態では、次に、精細な画像を、自動化された核検出アルゴリズムの入力画像として使用することがある。出願人は、本明細書に開示されるシステムおよび方法が、特に膜または核の染色が弱いかまたは検出できない場合に、改善された核検出を可能にすると考えている。いくつかの実施形態では、システムおよび方法は、比較的効率的であり、細胞核の検出を可能にするために必要な計算リソースが少ない。いくつかの実施形態では、システムは、従来技術のシステムよりも迅速な核の検出を可能にする。
【0041】
本開示の少なくともいくつかの実施形態は、１つまたは複数の一次染色（例えば、ヘマトキシリンおよびエオシン（Ｈ＆Ｅ））および１つまたは複数の検出プローブ（例えば、サンプル内の標的の標識を容易にする特定の結合実体を含むプローブ）によって染色された、生物学的サンプルを含む生物学的サンプルから撮像された画像データを分析するデジタル病理学システムおよび方法に関する。いくつかの実施形態において、生物学的標本は、細胞核および／または細胞膜が検出されるように染色される（例えば、膜バイオマーカまたは核バイオマーカの存在について生物学的サンプルを染色する）。
【0042】
いくつかの実施形態にかかる、標本を画像化および分析するデジタル病理学システム２００が図１に示されている。いくつかの実施形態では、デジタル病理学システムは、例えば、スライドスキャナ、カメラ、ネットワーク、および／または記憶媒体から画像データを受信するためのインターフェースを備えるコンピュータなどのデジタルデータ処理装置を含む。他の実施形態では、デジタル病理学システム２００は、画像化装置１２（例えば、標本を担持する顕微鏡スライドをスキャンするための手段を有する装置）およびコンピュータ１４を備えることができ、それにより、画像化装置１２およびコンピュータは、互いに通信可能に結合されることができる（例えば、直接的に、またはネットワーク２０を介して間接的に）。コンピュータシステム１４は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットなど、デジタル電子回路、ファームウェア、ハードウェア、メモリ、コンピュータ記憶媒体、コンピュータプログラムまたは一連の命令（例えば、メモリまたは記憶媒体内にプログラムが記憶される）、１つまたは複数のプロセッサ（プログラムされたプロセッサを含む）、および任意の他のハードウェア、ソフトウェア、ファームウェアモジュールまたはそれらの組み合わせを含むことができる。例えば、図１に示されるコンピューティングシステム１４は、ディスプレイ装置１６およびエンクロージャ１８を備えたコンピュータを備えることができる。コンピュータは、デジタル画像をバイナリ形式で（メモリ、サーバ、または別のネットワーク接続装置などにローカルに）記憶することができる。デジタル画像はまた、画素の行列に分けることもできる。画素は、ビット深度によって定義される１以上のビットのデジタル値を含むことができる。当業者は、他のコンピュータデバイスまたはシステムを利用することができ、本明細書に記載のコンピュータシステムを追加のコンポーネント、例えば、標本分析装置、顕微鏡、その他の画像システム、自動スライド準備装置などに通信可能に結合することがあることを理解するであろう。これらの追加のコンポーネントのいくつか、および利用できる様々なコンピュータ、ネットワークなどは、本明細書でさらに説明される。
【0043】
一般に、画像化装置１２（またはメモリまたは１つまたは複数のメモリに記憶された事前にスキャンされた画像を含む他の画像ソース）は、限定されるものではないが、１つまたは複数の画像撮像装置を含むことができる。画像撮像装置には、限定されるものではないが、カメラ（例えば、アナログカメラ、デジタルカメラなど）、光学系（例えば、１つまたは複数のレンズ、センサフォーカスレンズ群、顕微鏡対物レンズなど）、画像化センサ（例えば、電荷結合素子（ＣＣＤ）、相補的金属酸化物半導体（ＣＭＯＳ）イメージセンサなど）、写真フィルムなどを含む。デジタル実施形態では、画像撮像装置は、オンザフライフォーカシングを証明するために協働する複数のレンズを含むことができる。イメージセンサ、例えば、ＣＣＤセンサは、標本のデジタル画像を撮像することができる。いくつかの実施形態では、画像化装置１２は、明視野画像化システム、マルチスペクトル画像化（ＭＳＩ）システム、または蛍光顕微鏡法システムである。デジタル化された組織データは、例えば、ＶＥＮＴＡＮＡ ＭＥＤＩＣＡＬ ＳＹＳＴＥＭＳ，Ｉｎｃ．（アリゾナ州トゥーソン）によるＶＥＮＴＡＮＡ ＤＰ２００スキャナなどの画像スキャンシステムまたは他の適切な画像化装置によって生成されることができる。さらなる画像化装置およびシステムは、本明細書でさらに説明される。当業者は、画像化装置１２によって取得されたデジタルカラー画像が、従来、基本色画素から構成されることができることを理解するであろう。各色付き画素は、それぞれが同じビット数を含む３つのデジタルコンポーネントでコード化されることができ、各コンポーネントは、「ＲＧＢ」コンポーネントという用語によっても示される、一般に赤、緑、または青の原色に対応する。
【0044】
図２は、現在開示されているデジタル病理学システム２００内で利用される様々なモジュールの概要を提供する。いくつかの実施形態では、デジタル病理学システム２００は、１つまたは複数のプロセッサ２２０および少なくとも１つのメモリ２０１を有するコンピュータ装置またはコンピュータ実装方法を採用し、少なくとも１つのメモリ２０１は、１つまたは複数のプロセッサ（２２０）に１つまたは複数のモジュール（例えば、モジュール２０２から２１０）において命令（または記憶されたデータ）を実行させるための非一時的コンピュータ可読命令を記憶する。
【0045】
再び図２を参照すると、いくつかの実施形態では、システムは、（ａ）染色された生物学的サンプルの画像データ、例えば、１つまたは複数のタンパク質バイオマーカの存在について染色された第１の画像、および１つまたは複数の核酸バイオマーカの存在について染色された第２の画像、を生成するように適合された画像化モジュール２０２と、（ｂ）個々のチャネル画像に２つ以上の染色を有する取得された画像（例えば、明視野画像）を混合解除するための混合解除モジュール２０３と、（ｃ）取得された入力画像内の特定の境界構造を強化するためにＦｒａｎｇｉフィルタを適用するように適合されたＦｒａｎｇｉフィルタモジュール２０４と、（ｄ）Ｆｒａｎｇｉフィルタ強化された画像などの画像をさらに処理するための画像改良モジュール２０５と、（ｅ）核シード中心を検出するための核検出モジュール２０６と、（ｆ）特定の画像オーバレイを生成するための視覚化モジュール２０７とを含む。当業者はまた、図２に示されていない追加のモジュールまたはデータベースがワークフローに組み込まれることができることを理解するであろう。例えば、画像前処理モジュールを実行して、取得した画像に特定のフィルタを適用するか、または組織サンプル内の特定の組織学的および／または形態学的構造を特定することができる。さらに、関心領域選択モジュールを利用して、分析のために画像の特定の部分を選択することができる。
【0046】
図３Ａに目を向けると、本開示は、第１の入力画像内の境界構造を強化するコンピュータ実施システムおよび方法を提供する（ステップ３００）。境界構造は、Ｆｒａｎｇｉフィルタモジュール２０４などを用いて、Ｆｒａｎｇｉフィルタを適用することによって強化され得る。いくつかの実施形態では、Ｆｒａｎｇｉフィルタの適用によって強化される境界構造には、膜構造、細胞質内の構造、および核構造が含まれる。Ｆｒａｎｇｉフィルタの適用によって強化された画像の生成に続いて、核シード中心が、少なくとも生成された画像内で検出される（ステップ３１０）。当然、ステップ３００で生成された境界構造が強化された画像は、他の画像、例えば、他の取得された入力画像または他の強化された画像と組み合わされる（例えば、加法的または加重的組み合わせ）ことがあり、その組み合わせ画像またはその変形は、核シード中心の検出に使用され得る。
【0047】
いくつかの実施形態では、図３Ｂを参照して、コンピュータ実施方法が提供され、（ａ）１つまたは複数の入力画像、例えば、混合解除された画像チャネル画像、暗視野画像などを取得することと（ステップ３１０）、（ｂ）取得された入力画像の少なくとも第１の画像にＦｒａｎｇｉフィルタを適用して、少なくとも第１の強化された画像を提供することと（ステップ３１１）、（ｃ）少なくとも第１の強化された画像に基づいて精細な画像を生成する（ステップ３１２）ことと、（ｄ）精細な画像内の核を検出する（ステップ３１３）こととを含む。これらのモジュールのそれぞれは、本明細書でより詳細に説明される。
【0048】
画像取得モジュール
【0049】
いくつかの実施形態では、最初のステップとして、図２を参照すると、デジタル病理学システム２００は、画像化モジュール２０２を実行して、１つまたは複数の染色を有する生物学的サンプルの画像または画像データ（例えば、スキャン装置１２からなど）を撮像する（ステップ３１０）。いくつかの実施形態では、受信または取得された画像は、ＲＧＢ画像またはマルチスペクトル画像（例えば、多重明視野および／または暗視野画像）である。いくつかの実施形態では、撮像された画像は、メモリ２０１に記憶される。いくつかの実施形態では、取得された画像は、１つまたは複数の取得された入力画像として使用される（図３Ｂのステップ３１０を参照）。
【0050】
画像または画像データ（本明細書で交換可能に使用される）は、リアルタイムになど、スキャン装置１２を使用して取得されることができる。いくつかの実施形態では、画像は、本明細書に記載されているように、標本を担持する顕微鏡スライドの画像データを撮像することができる顕微鏡または他の機器から取得される。いくつかの実施形態では、画像は、画像タイルをスキャンすることができるものなどの２Ｄスキャナ、またはＶＥＮＴＡＮＡ ＤＰ ２００スキャナなどの行ごとの方法で画像をスキャンすることができるラインスキャナを使用して取得される。あるいは、画像は、以前に取得され（例えば、スキャンされ）且つ１つまたは複数のメモリ２０１に記憶された（または、さらに言えば、ネットワーク２０を介してサーバから検索された）画像とすることができる。
【0051】
いくつかの実施形態では、入力として受信される画像は、ホールスライド画像である。他の実施形態では、入力として受信される画像は、ホールスライド画像の一部である。いくつかの実施形態では、ホールスライド画像は、例えばタイルなどのいくつかの部分に分割され、各部分またはタイルは、独立して分析されることができる（例えば、図２に示されるモジュールおよび少なくとも図３Ｂに示される方法を使用して）。部分またはタイルが独立して分析された後、各部分またはタイルからのデータは、独立して記憶され、および／またはホールスライドレベルで報告されることができる。
【0052】
生物学的サンプルは、１つまたは複数の染色の適用によって染色されることができ、結果として得られる画像または画像データは、１つまたは複数の染色のそれぞれに対応する信号を含む。発色性染色は、ヘマトキシリン、エオシン、ファストレッド、または３，３’－ジアミノベンジジン（ＤＡＢ）を含む。いくつかの実施形態では、生物学的サンプルは、一次染色（例えば、ヘマトキシリン）によって染色される。いくつかの実施形態では、生物学的サンプルはまた、二次染色（例えば、エオシン）によって染色される。いくつかの実施形態では、生物学的サンプルは、特定のバイオマーカについてのＩＨＣアッセイにおいて染色される。もちろん、当業者は、任意の生物学的サンプルが１つまたは複数のフルオロフォアによって染色されてもよいことを理解するであろう。
【0053】
いくつかの実施形態では、入力画像は、単一の染色のみを有する単純な画像である（例えば、３，３’－ジアミノベンジジン（ＤＡＢ）によって染色された）。いくつかの実施形態では、取得された入力チャネル画像は、一連の単純な画像である。いくつかの実施形態では、生物学的サンプルは、２つ以上の染色についての多重アッセイで染色されることができる（したがって、多重画像を提供する）。いくつかの実施形態では、生物学的サンプルは、少なくとも２つのバイオマーカについて染色される。他の実施形態では、生物学的サンプルは、少なくとも２つのバイオマーカの存在について染色され、また、一次染色（例えば、ヘマトキシリン）によって染色される。
【0054】
いくつかの実施形態では、サンプルは、少なくともリンパ球マーカの存在について染色される。リンパ球マーカには、ＣＤ３、ＣＤ４、およびＣＤ８が含まれる。一般的に、ＣＤ３はＴ細胞の「普遍的なマーカ」である。いくつかの実施形態では、特定のタイプのＴ細胞、例えば、調節、ヘルパー、または細胞傷害性Ｔ細胞を同定するために、さらなる分析（染色）が行われる。例えば、ＣＤ３＋Ｔ細胞は、ＣＤ８バイオマーカに陽性の細胞傷害性Ｔリンパ球であるとさらに区別できる（ＣＤ８は細胞傷害性Ｔリンパ球の特異的マーカである）。ＣＤ３＋Ｔ細胞は、パーフォリン陽性の細胞傷害性Ｔリンパ球であると区別することもできる（パーフォリンは、細胞傷害性Ｔ細胞およびナチュラルキラー細胞の細胞質顆粒で発現する膜混合解除性タンパク質である）。細胞傷害性Ｔ細胞は、腫瘍細胞を実際に「殺す」エフェクタ細胞である。それらは直接接触によって作用し、消化酵素グランザイムＢを腫瘍細胞の細胞質に導入し、それによってそれを殺すと考えられている。同様に、ＣＤ３＋Ｔ細胞は、ＦＯＸＰ３バイオマーカに陽性の制御性Ｔ細胞としてさらに区別することができる。ＦＯＸＰ３は、制御性Ｔ細胞の最も特異的なマーカである核転写因子である。同様に、ＣＤ３＋Ｔ細胞は、ＣＤ４バイオマーカに陽性のヘルパーＴ細胞としてさらに区別することができる。
【0055】
いくつかの実施形態において、サンプルは、ヘマトキシリンおよびエオシン染色によって検出されるように、少なくともＣＤ３または全リンパ球を含む１つまたは複数の免疫細胞マーカについて染色される。いくつかの実施形態において、ＣＤ８（細胞傷害性Ｔリンパ球のマーカ）、ＣＤ４（ヘルパーＴリンパ球のマーカ）、ＦＯＸＰ３（調節性Ｔリンパ球のマーカ）、ＣＤ４５ＲＡ（ナイーブＴリンパ球のマーカ）、およびＣＤ４５ＲＯ（メモリーＴリンパ球のマーカ）などの少なくとも１つの追加のＴ細胞特異的マーカも含まれ得る。１つの特定の実施形態において、ヒトＣＤ３（またはＨ＆Ｅ染色によって検出されるような全リンパ球）およびヒトＣＤ８を含む少なくとも２つのマーカが使用され、その場合、腫瘍組織の単一の切片が両方のマーカで標識され得るか、または連続切片が使用され得る。その他の場合、免疫細胞バイオマーカの少なくとも１つは、ヘマトキシリン＆エオシン染色切片において同定されたリンパ球である。
【0056】
いくつかの実施形態において、サンプルは、リンパ球バイオマーカおよび腫瘍バイオマーカの存在について染色される。例えば、上皮腫瘍（癌腫）では、サイトケラチン染色により、正常な上皮だけでなく腫瘍細胞も同定される。この情報は、腫瘍細胞が正常な上皮細胞と比較してサイトケラチンを異常に過剰発現しているという事実とともに、腫瘍と正常組織を区別することを可能にする。神経外胚葉起源の黒色腫組織の場合、Ｓ１００バイオマーカは同様の目的を果たす。
【0057】
Ｔ細胞、例えばＣＤ８陽性細胞傷害性Ｔ細胞は、ＰＤ－１、ＴＩＭ－３、ＬＡＧ－３、ＣＤ２８、およびＣＤ５７を含む様々なバイオマーカによってさらに区別できる。したがって、いくつかの実施形態において、Ｔ細胞は、それらの同定のために様々なリンパ球バイオマーカ（例えば、ＣＤ３、ＣＤ４、ＣＤ８、ＦＯＸＰ３）の少なくとも１つで染色され、またさらに差別化するため追加のバイオマーカ（ＬＡＧ－３、ＴＩＭ－３、ＰＤ－Ｌ１など）で染色される。いくつかの実施形態では、生物学的サンプルは、リンパ球バイオマーカおよびＰＤ－Ｌ１について染色される。例えば、腫瘍細胞は、腫瘍細胞と免疫細胞の相互作用に影響を与えると考えられているバイオマーカＰＤ－Ｌ１に対して陽性であると区別することができる。
【0058】
典型的な生物学的サンプルは、サンプルに染色を適用する自動染色／アッセイプラットフォームで処理される。染色／アッセイプラットフォームとしての使用に適した様々な市販製品が市場に存在しており、その一例は、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．（アリゾナ州トゥーソン）のＤｉｓｃｏｖｅｒｙ（商標）製品である。カメラプラットフォームはまた、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．のＶＥＮＴＡＮＡ ｉＳｃａｎ ＨＴもしくはＶＥＮＴＡＮＡ ＤＰ ２００スキャナなどの明視野顕微鏡、または１つまたは複数の対物レンズおよびデジタルイメージャを備えた任意の顕微鏡を含むことができる。異なる波長で画像を撮像するための他の技術を使用することができる。染色された生物学的標本を画像化するのに適したさらなるカメラプラットフォームが当該技術分野において知られており、Ｚｅｉｓｓ、Ｃａｎｏｎ、Ａｐｐｌｉｅｄ Ｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇなどの企業から市販されており、そのようなプラットフォームは、この主題の開示のシステム、方法、および装置における使用に容易に適応することができる。
【0059】
いくつかの実施形態では、入力画像は、組織領域のみが画像内に存在するようにマスクされる。いくつかの実施形態では、組織領域マスクは、組織領域から非組織領域をマスクするために生成される。いくつかの実施形態では、組織領域マスクは、組織領域を特定し、背景領域（例えば、画像化ソースからの白色光のみが存在する場合など、サンプルのないガラスに対応するホールスライド画像の領域）を除外して、自動的にまたは半自動的に（すなわち、最小限のユーザ入力で）作製されることができる。当業者は、組織領域から非組織領域をマスクすることに加えて、組織マスキングモジュールはまた、特定の組織タイプに属するまたは疑わしい腫瘍領域に属すると特定される組織の一部など、必要に応じて他の関心領域もマスクすることができることを理解するであろう。いくつかの実施形態では、セグメンテーション技術を使用して、入力画像内の非組織領域から組織領域をマスクすることによって組織領域マスク画像を生成する。適切なセグメンテーション技術は、先行技術からそれ自体が知られている（デジタル画像処理、第３版、Ｒａｆａｅｌ Ｃ．Ｇｏｎｚａｌｅｚ，Ｒｉｃｈａｒｄ Ｅ．Ｗｏｏｄｓ、第１０章、６８９ページおよび医療画像化、処理および分析のハンドブック、Ｉｓａａｃ Ｎ．Ｂａｎｋｍａｎ Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ、２０００年、第２章を参照）。
【0060】
いくつかの実施形態では、画像セグメンテーション技術を利用して、デジタル化された組織データと画像内のスライドを区別し、組織データは前景に対応し、スライドは背景に対応する。いくつかの実施形態では、関心領域（ＡＯＩ）は、分析される背景の非組織領域の量を制限しながら、ホールスライド画像においてＡＯＩ内の全ての組織領域を検出するために計算される。広範囲の画像セグメンテーション技術（例えば、ＨＳＶカラーベースの画像セグメンテーション、ラボ画像セグメンテーション、平均シフトカラー画像セグメンテーション、領域成長、レベルセット法、高速マーチング法など）を使用して、例えば、組織データと非組織または背景データとの境界を判定することができる。少なくとも部分的にセグメンテーションに基づいて、方法はまた、組織データに対応するデジタル化されたスライドデータのそれらの部分を特定するために使用されることができる組織前景マスクを生成することができる。あるいは、方法は、組織データに対応しないデジタル化されたスライドデータの部分を特定するために使用される背景マスクを生成することができる。
【0061】
この識別は、エッジ検出などの画像分析動作によって可能になり得る。組織領域マスクを使用して、画像内の非組織背景ノイズ、例えば非組織領域を除去し得る。いくつかの実施形態では、組織領域マスクの生成は、以下の動作のうちの１つまたは複数を備える（しかしながら、以下の動作に限定されるものではない）：低解像度分析入力画像の輝度の計算、輝度画像の生成、輝度画像への標準偏差フィルタの適用、フィルタリングされた輝度画像の生成、および、所与の閾値を超える輝度を有する画素が１に設定され、閾値を下回る画素がゼロに設定されるようにフィルタリングされた輝度画像への閾値の適用、組織領域マスクの生成。組織領域マスクの生成に関連する追加情報および例は、「Ａｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ａｎａｌｙｚｉｎｇ ａ Ｍｕｌｔｉ－Ｃｈａｎｎｅｌ Ｉｍａｇｅ Ｏｂｔａｉｎｅｄ ｆｒｏｍ ａ Ｂｉｏｌｏｇｉｃａｌ ｓａｍｐｌｅ Ｂｅｉｎｇ Ｓｔａｉｎｅｄ ｂｙ Ｍｕｌｔｉｐｌｅ Ｓｔａｉｎｓ」と題された米国特許出願公開第２０１７／０１５４４２０号明細書に開示されており、その開示は、参照によりその全体が本明細書に組み込まれる。
【0062】
混合解除モジュール
【0063】
いくつかの実施形態では、入力として受け取られる画像は、多重画像であり得る、すなわち、受け取られる画像は、２つ以上の染色で染色された生物学的サンプルのものである。これらの実施形態では、さらなる処理の前に、複数の画像は、最初に、混合解除モジュール２０３などを使用して、その構成チャネルに混合解除され、混合解除された各チャネルは、特定の染色または信号に対応する。いくつかの実施形態では、多重化された明視野画像は、最初に混合解除されて、少なくとも２つの画像チャネル画像、例えば、ＤＡＢ画像チャネル画像またはヘマトキシリン画像チャネル画像を取得する。いくつかの実施形態では、混合解除された画像チャネル画像を、Ｆｒａｎｇｉフィルタを適用し得る取得された１つまたは複数の入力画像として使用することがある（図３Ｂのステップ３１０を参照）。
【0064】
いくつかの実施形態では、１つまたは複数の染色を含むサンプルでは、１つまたは複数の染色の各チャネルについて個々の画像を生成することができる。当業者は、これらのチャネルから抽出された特徴が、組織の任意の画像（例えば、核、膜、細胞質、核酸など）内に存在する異なる生物学的構造を記述するのに有用であることを理解するであろう。
【0065】
いくつかの実施形態では、画像化モジュール２０２によって提供されるマルチスペクトル画像は、個々のバイオマーカおよびノイズ成分に関連する基礎となるスペクトル信号の加重混合である。任意の特定の画素において、混合加重は、組織内の特定の場所での基礎となる共局在バイオマーカのバイオマーカ表現とその場所での背景ノイズに比例する。したがって、混合加重は、画素ごとに異なる。本明細書に開示されるスペクトル混合解除方法は、全ての画素におけるマルチチャネル画素値ベクトルを構成バイオマーカ端成分または成分の集合に混合解除し、各バイオマーカの個々の構成染色の比率を推定する。
【0066】
混合解除は、混合画素の測定されたスペクトルを、構成スペクトルまたは端成分の集合、および画素に存在する各端成分の割合を示す対応する画分または存在量のセットに混合解除する手順である。具体的には、混合解除プロセスは、染色固有のチャネルを抽出して、標準タイプの組織と染色との組み合わせでよく知られている参照スペクトルを使用して、個々の染色の局所濃度を判定することができる。混合解除は、対照画像から取得された、または観察中の画像から推定された参照スペクトルを使用することができる。各入力画素の成分信号の混合解除は、Ｈ＆Ｅ画像のヘマトキシリンチャネルとエオシンチャネル、またはＩＨＣ画像のジアミノベンジジン（ＤＡＢ）チャネルと対比染色（ヘマトキシリンなど）チャネルなどの染色固有のチャネルの取得および分析を可能にする。「混合解除」および「カラーデコンボリューション」（または「デコンボリューション」）などの用語（例えば、「デコンボリューション」、「混合解除」）は、当該技術分野において交換可能に使用される。
【0067】
いくつかの実施形態では、多重画像は、線形混合解除を使用して混合解除モジュール２０５によって混合解除される。線形混合解除は、例えば、「Ｚｉｍｍｅｒｍａｎｎ「Ｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｌｉｎｅａｒ Ｕｎｍｉｘｉｎｇ ｉｎ Ｌｉｇｈｔ Ｍｉｃｒｏｓｃｏｐｙ」Ａｄｖ Ｂｉｏｃｈｅｍ Ｅｎｇｉｎ／Ｂｉｏｔｅｃｈｎｏｌｏｇｙ（２００５）９５：２４５－２６５」ならびにＣ．Ｌ．ＬａｗｓｏｎおよびＲ．Ｊ．Ｈａｎｓｏｎ、「Ｓｏｌｖｉｎｇ ｌｅａｓｔ ｓｑｕａｒｅｓ Ｐｒｏｂｌｅｍｓ」ＰｒｅｎｔｉｃｅＨａｌｌ，１９７４、第２３章、１６１ページに記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。線形染色混合解除では、任意の画素で測定されたスペクトル（Ｓ（λ））は、染色スペクトル成分の線形混合と見なされ、画素において表現される個々の染色のカラーリファレンス（Ｒ（λ））の比率または重み（Ａ）の合計に等しい。
【0068】
Ｓ（λ）＝Ａ１・Ｒ１（λ）＋Ａ２・Ｒ２（λ）＋Ａ３・Ｒ３（λ）・・・Ａｉｒｙ（λ）
【0069】
これは、より一般には、以下のように行列形式で表すことができる。
【0070】
Ｓ（λ）＝ΣＡｉｒｙ（λ）またはＳ＝Ｒ・Ａ
【0071】
取得されたＭ個のチャネル画像とＮ個の個別の染色がある場合、Ｍ×Ｎ行列Ｒの列は、本明細書で得られた最適な表色系であり、Ｎ×１ベクトルＡは、個々の染色の比率が不明であり、Ｍ×１ベクトルＳは、画素で測定されたマルチチャネルスペクトルベクトルである。これらの方程式において、各画素（Ｓ）の信号は、多重画像の取得中に測定され、参照スペクトル、すなわち、最適な表色系は、本明細書に記載されるように得られる。様々な染色（Ａｉ）の寄与は、測定されたスペクトルの各ポイントへの寄与を計算することによって判定されることができる。いくつかの実施形態では、解は、以下の方程式のセットを解くことによって、測定されたスペクトルと計算されたスペクトルとの間の二乗差を最小化する逆最小二乗フィッティングアプローチを使用して得られる。
【0072】
［∂Σｊ｛Ｓ（λｊ）－ΣｉＡｉｒｙ（λｊ）｝２］／∂Ａｉ＝０
【0073】
この式で、ｊは検出チャネルの数を表し、ｉは染色の数に等しい。線形方程式の解法では、制約付きの非混合を許可して、重み（Ａ）の合計を単一にする必要がある。
【0074】
他の実施形態では、混合解除は、２０１４年５月２８日に出願された「Ｉｍａｇｅ Ａｄａｐｔｉｖｅ Ｐｈｙｓｉｏｌｏｇｉｃａｌｌｙ Ｐｌａｕｓｉｂｌｅ Ｃｏｌｏｒ Ｓｅｐａｒａｔｉｏｎ」と題された国際公開第２０１４／１９５１９３号パンフレットに記載された方法を使用して達成され、その開示は、参照によりその全体が本明細書に組み込まれる。一般に、国際公開第２０１４／１９５１９３号パンフレットは、反復的に最適化された参照ベクトルを使用して入力画像の成分信号を混合解除することによって混合解除する方法を記載している。いくつかの実施形態では、アッセイからの画像データは、品質測定基準を判定するために、アッセイの特性に特有の期待されるまたは理想的な結果と相関している。低品質の画像または理想的な結果との相関が低い場合、行列Ｒの１つまたは複数の参照列ベクトルが調整され、相関が生理学的および解剖学的要件に一致する高品質の画像を示すまで、調整された参照ベクトルを使用して混合解除が繰り返される。解剖学的、生理学的、およびアッセイ情報を使用して、測定された画像データに適用される規則を定義して、品質メトリックを判定することができる。この情報は、組織がどのように染色されたか、組織内のどの構造が染色されることを意図されたかまたは意図されなかったか、および処理されているアッセイに固有の構造、染色、およびマーカ間の関係を含む。反復プロセスは、目的の構造と生物学的に関連する情報とを正確に特定し、ノイズの多いスペクトルや不要なスペクトルがないため、分析に適した画像を生成できる染色固有のベクトルをもたらす。参照ベクトルは、探索空間内に調整される。探索空間は、参照ベクトルが染色を表すために取ることができる値の範囲を定義する。探索空間は、既知のまたは一般的に発生する問題を含む様々な代表的なトレーニングアッセイをスキャンし、トレーニングアッセイのための参照ベクトルの高品質のセットを判定することによって判定されることができる。
【0075】
Ｆｒａｎｇｉフィルタモジュール
【0076】
いくつかの実施形態では、Ｆｒａｎｇｉフィルタモジュール２０４は、取得された混合解除された画像チャネル画像を含む、１つまたは複数の取得された入力画像に（個別にまたは組み合わせて）Ｆｒａｎｇｉフィルタを適用するためにシステム２００によって利用されて、１つまたは複数の強化された画像を提供する（図３Ｂのステップ３１１を参照）。いくつかの実施形態において、Ｆｒａｎｇｉフィルタは、膜染色された細胞を強化するために、および／または１つまたは複数の入力画像におけるかすかな核を強化するために適用され得る。いくつかの実施形態では、Ｆｒａｎｇｉフィルタモジュール２０４を利用して、膜境界構造が強化された第１の強化された画像と、核境界構造が強化された第２の強化された画像など、少なくとも２つの強化された画像を生成することができる。（または、さらに言えば、核境界構造で強化された２つの画像、あるいは膜境界構造で強化された２つの画像）。他の実施形態では、Ｆｒａｎｇｉフィルタモジュール２０４を利用して、複数の強化された画像、例えば、３つ以上の強化された画像を生成することがある（膜強化された画像および／または核強化された画像の任意の組み合わせを含む）。いくつかの実施形態では、モジュール２０４によって生成された強化された画像は、画像改良モジュール２０５の入力として使用され得る。
【0077】
Ｆｒａｎｇｉフィルタは、Ａｌｅｊａｎｄｒｏ Ｆ．Ｆｒａｎｇｉ，Ｗｉｒｏ Ｊ．Ｎｉｅｓｓｅｎ，Ｋｏｅｎ Ｌ．Ｖｉｎｃｋｅｎ，Ｍａｘ Ａ．Ｖｉｅｒｇｅｖｅｒ，“Ｍｕｌｔｉｓｃａｌｅ ｖｅｓｓｅｌ ｅｎｈａｎｃｅｍｅｎｔ ｆｉｌｔｅｒｉｎｇ，”ＭＩＣＣＡＩ １９９８によって記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。Ｆｒａｎｇｉフィルタは、線構造のヘッセ行列の固有ベクトル方向および固有値を利用して、線構造を強化する。いくつかの実施形態では、Ｆｒａｎｇｉフィルタは、入力画像内の境界構造、例えば、膜境界構造または核境界構造を強化するために利用される。いくつかの実施形態では、Ｆｒａｎｇｉフィルタの適用は、膜などの細長い構造、および細胞核などのブロブ様構造が強化された画像を生成する。いくつかの実施形態では、Ｆｒａｎｇｉフィルタは、異なるレベルの局所線形性を有する構造を検出するように構成することができる。いくつかの実施形態では、膜および核のエッジは、各局所点で特定の線形性を示す。これを説明するために、いくつかの実施形態では、β本明細書でさらに説明するように、Ｆｒａｎｇｉフィルタの変数（以下に示す）は変更され得る（例えば、設定＝β０．５）。
【0078】
「血管性（ｖｅｓｓｅｌｎｅｓｓ）」測定は、ヘッセ行列の全ての固有値に基づいて取得される。二次情報（ヘシアン）の分析は、血管検出の文脈で直感的に正当化される。スケールｓでのガウスカーネルの２次導関数は、導関数の方向の範囲（－ｓ、ｓ）の内側と外側の領域間のコントラストを測定するプローブカーネルを生成する（ここでの式および図４Ａを参照）。
【0079】
「ｎ」次元の連続関数「ｆ」のヘッセ行列には、２次導関数が含まれている。２次元画像のヘッセ行列は次のように与えられる。
【数1】
【0080】
ヘッセ行列Ｈｏ，ｓは、各画素位置ｘ０およびスケールｓで計算される。Ｆｒａｎｇｉフィルタはｓを二次導関数を近似するためのガウス分布の標準偏差（σ）として使用する。「ｖｅｓｓｅｌｎｅｓｓ」特徴Ｖ０（ｓ）は、「相違測定」ＲＢおよび「２次構造性」Ｓの方程式を使用して、ヘッセ行列Ｈ０，ｓの固有値λ１＜λ２から画素位置ｘ０で計算される（以下を参照）。２Ｄ画像の場合、λｋをｋ番目に小さい大きさ（つまり、｜λ１｜≦｜λ２｜を持つヘッセ行列の固有値とする。特に、血管領域に属する画素は、小さいλ１（理想的にはゼロ）、大きいλ２（符号は明るさ／暗さの指標である）によって、信号が送られる。スケールｓで明るい線状構造を検出するためのＦｒａｎｇｉフィルタの定義は次のとおりである：
式中、
【数2】
【数3】
【0081】
ここで、βおよびｃは、フィルタの感度を制御する定数である。Ｄは画像の寸法である。RBは２Ｄのブロブネス測定値であり、２次楕円の離心率を説明する。ＲＢは、ブロブ様構造からの逸脱を説明するが、背景ノイズを実際の血管と区別することはできない。背景画素の導関数は小さいため、小さい固有値Ｓは、ノイズと背景を区別するのに役立つ。パラメータβおよびｃはユーザ定義であり、フィルタの感度を制御するように調整できる。いくつかの実施形態では、より小さなβパラメータにより、Ｆｒａｎｇｉファイラはより細長い構造に敏感になる。いくつかの実施形態では、より小さなｃパラメータは、フィルタを弱い信号に対してより敏感にする。パラメータｓは、フィルタの空間スケールを表し、これは、導関数の計算に使用されるガウスカーネルプローブの幅に対応する。より大きなｓパラメータを適用すると、Ｆｒａｎｇｉフィルタはより広い構造に対してより敏感になる。
【0082】
図１０Ａは、範囲（－ｓ、ｓ）のコントラストの内側／外側のガウスカーネルプローブの二次導関数を示している。図１０Ａに示される特定の例では、ｓ＝１。図１０Ｂは、２Ｄヘッセ固有ベクトルがどのように局所構造の存在を示すかを示している。例えば、Ｈ＝高い、Ｌ＝低い、Ｎ＝ノイズが多い、通常は小さい、＋／－は固有値の符号を示す。いくつかの実施形態では、両方の固有値の絶対値が小さい場合（Ｎ、Ｎ）、明らかな線状構造の存在はない。他の実施形態では、一方の固有値が低く、他方の固有値が高い場合、「山」のような明るい（Ｌ、Ｈ－）または谷のような暗い（Ｌ、Ｈ＋）のいずれかの線状構造が存在することが示される。さらに他の実施形態では、両方の固有値が高い場合、明るい（Ｈ－、Ｈ－）または暗い（Ｈ＋、Ｈ＋）のいずれかのブロブ様構造が存在することが示される。
【0083】
異なるスケールで明るい線状構造と暗い線状構造の両方を検出するためのＦｒａｎｇｉフィルタの多様性を利用して、細胞の様々な境界定義構造（膜構造、核構造、細胞質構造など）を検出できる。この特定のタスクでは、構造を定義する細胞境界（例えば、核のエッジ、または細胞膜）の形態学的線形性は、完全な線とブロブの間に直感的にあるため、パラメータβは最初に０．５に設定されて、フィルタを、任意の局所点で形態学的に楕円に近い構造に対してより敏感にする。
【0084】
元の染色パターン、つまり、検出されるバイオマーカが核マーカであるか膜／細胞質マーカであるかに応じて、Ｆｒａｎｇｉ＋またはＦｒａｎｇｉ－フィルタのいずれかを使用し得る。いくつかの実施形態では、核または細胞質染色画像に現れる細胞「エッジ」は、細胞「エッジ」の暗い側は通常、ＩＨＣ画像においてより良好な信号均一性を有するため、暗い構造として（すなわち、Ｆｒａｎｇｉフィルタを使用して）検出されるべきである。一方、膜染色画像では、膜は染色強度マップで「山」として表示され、明るい構造として検出すべきである（つまり、Ｆｒａｎｇｉ＋フィルタを使用）。
【0085】
Ｆｒａｎｇｉフィルタのスケールに関しては、細胞検出について、細胞エッジまたは膜の幅に大きな変動はないと考えられている。実験によれば、固定値は、様々な組織の適応症における様々な細胞タイプに対して一般的にうまく機能することが示されている。いくつかの実施形態では、値ｓは約１ミクロンに設定され、これは、約２０倍の倍率でスキャンされた顕微鏡画像の約２画素にほぼ対応する。
【0086】
最後に、パラメータ「ｃ」は、画像の信号レベルに応じて経験的に設定する必要がある唯一のパラメータである。いくつかの実施形態では、フィルタ応答はブロブ性測定項によっても大きく支配されるため、このパラメータは、フィルタの強い信号レベル依存性を強制しない。パラメータ「ｃ」を設定することにより、実際には、実際の用途で必要とされる信号レベルの最小要件の設定に近づく。
【0087】
いくつかの実施形態では、取得された入力画像へのＦｒａｎｇｉフィルタの適用中に使用されるスケール係数は、約２画素から約５画素の範囲であり、これは、約２０倍の倍率、すなわち画素あたり約０．５ミクロンでスキャンされた画像の約１ミクロンから約３ミクロンに対応する。他の実施形態では、スケール係数は、細胞境界の強化、例えば、約２のスケール係数を支持するように選択される。（図９Ｃを参照）。さらに他の実施形態では、スケール係数は、例えば、約５のスケール係数で、細胞体の強化に有利に働くように選択される（図９Ｄを参照）。いくつかの実施形態では、細胞の核が画像に存在する場合、細胞体の強化は望ましく、これは細胞セグメンテーションタスク（すなわち、個々の細胞ごとに覆われる領域を描写する）に有利である。
【0088】
いくつかの実施形態では、Ｆｒａｎｇｉフィルタは、同じ取得された入力画像に複数回適用することができるが、Ｆｒａｎｇｉフィルタは、異なるスケール係数を使用して各画像に独立して適用される。例えば、Ｆｒａｎｇｉフィルタは、最初に第１のスケール係数（例えば２）でＤＡＰＩで染色された取得された入力画像に適用され、次に第２のスケール係数（例えば５）で同じ元の画像に別個に適用されて、それぞれが異なる強化パターンを有する第１および第２の強化された画像を提供し得る（図９Ｃと９Ｄを比較）。いくつかの実施形態では、比較的大きなスケール係数（例えば、スケール係数５）を使用することによって、スケール内の幅を有するセル全体が強化される。いくつかの実施形態では、より広い（より大きな）細胞の場合、元の信号レベルに関係なく、全ての細胞が背景と同様のコントラストを有するように強化されるように輪郭が強化され、Ｆｒａｎｇｉフィルタを使用して強化される画像上の細胞検出／セグメンテーションを、元の画像（つまり、Ｆｒａｎｇｉフィルタが適用されていない画像）で同じ動作を実行するよりも比較的簡単なタスクにする。他の実施形態では、より小さなスケール係数（例えば、スケール係数２）を使用して、細胞エッジを強化し（背景での信号の均一性のために暗い側が望ましい）、これは、他の細胞境界定義構造、例えば、膜の強化に追加して任意であり得る。
【0089】
画像改良モジュール
【0090】
取得された画像チャネル画像にＦｒａｎｇｉフィルタを適用することによる１つまたは複数の強化された画像の生成に続いて、画像改良モジュール２０５を使用して、生成された強化された画像の少なくとも１つに基づいて精細な画像を生成する（図３Ｂのステップ３１２）。
【0091】
いくつかの実施形態では、画像改良モジュールによって生成される精細な画像は、少なくとも２つの画像を組み合わせることによって生成され、その組み合わせは、例えば、加法的または加重的であり得る。いくつかの実施形態では、入力画像（例えば、取得された入力チャネル画像、強化された画像、またはそれらの任意の組み合わせ）は、（画素ごとに）平均化または合計などによって組み合わされて、出力組み合わせ画像を生成する。他の実施形態では、組み合わせ画像は、２つ以上の画像の重み付けされた組み合わせである。いくつかの実施形態では、１つの入力画像のダイナミックレンジがＦｒａｎｇｉフィルタ出力画像のダイナミックレンジと異なる場合、重み付けされた組み合わせ画像が望ましい。いくつかの実施形態では、画像の重み付けを使用して、膜信号が核の上に存在する場合に、望ましくない逆強化（例えば、膜が位置する領域の核染色画像に谷を作成する）を防止または軽減する。これは、細長い細胞の場合、または他の細胞からの膜の破片が画像の核の上に現れる場合に発生する可能性があると考えられている。例えば、ＤＡＰＩ信号が低い場合、強化された膜画像はより高く重み付けされることがあるか、または、ＤＡＰＩ信号が高い場合、強化された膜画像の重みは比較的小さくなる。
【0092】
図４Ａに目を向け、いくつかの実施形態では、取得された１つまたは複数の入力画像（ステップ４１０）は、Ｆｒａｎｇｉフィルタの適用を通じて強化され得る（ステップ４１１）。次に、それらの強化された画像は、画像絞り込みモジュール２０５と組み合わされて、強化された画像の少なくとも１つから得られた組み合わせ画像を生成することができる（ステップ４１２）。いくつかの実施形態では、組み合わせ画像は、強化された画像および第２の画像から得られる。いくつかの実施形態では、第２の画像は、取得された入力チャネル画像である。他の実施形態では、第２の画像は別の強化された画像である。さらに他の実施形態では、組み合わせ画像は、少なくとも３つの画像から得られ、少なくとも３つの画像は、強化された画像または取得された入力画像の任意の組み合わせから得られる。例として、４つの入力チャネル画像がＡ、Ｂ、Ｃ、およびＤで取得されたと仮定する。また、Ｂ’およびＣ’の強化された画像を提供するために、Ｆｒａｎｇｉフィルタの適用によって２つの強化された画像が生成されると仮定する。この例によれば、組み合わせ画像はＡ＋Ｂ’を含み得る。あるいは、組み合わせ画像はＡ＋Ａ’を含むことができる。さらに別の可能な組み合わせ画像には、Ａ＋Ｃ’＋Ｄが含まれる。
【0093】
いくつかの実施形態では、画像改良モジュール２０５を使用して、入力画像または強化された画像を、別の画像と組み合わせる前にさらに処理することができる。いくつかの実施形態では、改良モジュール２０５は、入力として受信された画像の反転を生成する。例えば、改良モジュールは、強化された画像の反転（または相補）が生成される命令を含み得る（例えば、図６Ｄおよび６Ｅと比較される）。上記の例を促進するために、強化された画像Ｂ’の反転を生成して、Ｂ’’を提供することができる。結果として得られる組み合わせ画像は、例えば、Ｂ’’＋Ａの加法的組み合わせを含み得るか、または、例えば、Ｂ’’＋Ａ＋Ｄの加法的または加重的組み合わせを含む場合がある。
【0094】
いくつかの実施形態では、改良モジュール２０５は、強化された画像または組み合わせ画像のいずれかから、セグメンテーションマスク画像を生成する。「セグメンテーションマスク」は、例えば、１つまたは複数の画素ブロブ（「前景画素」として使用される）を他の画素（「背景」を構成する）から分離することを可能にするセグメンテーションアルゴリズムによって作成された画像マスクである。例えば、セグメンテーションマスクは、核セグメンテーションアルゴリズムによって生成され得、組織切片を描写する画像にセグメンテーションマスクを適用することにより、画像内の核ブロブの識別が可能になり得る。
【0095】
図４Ｂに目を向け、いくつかの実施形態では、取得された１つまたは複数の入力画像（ステップ４２０）は、Ｆｒａｎｇｉフィルタの適用を通じて強化され得る（ステップ４２１）。次に、取得された強化された画像を画像改良モジュール２０５に供給して、セグメンテーションマスク画像を生成することができ（ステップ４２２）、それによって、セグメンテーションマスク画像を核の検出に使用することができる（ステップ４２３）。
【0096】
いくつかの実施形態では、セグメンテーションマスク画像は、単一の強化された画像から生成される。例えば、単一の強化された画像が生成され、閾値処理されて、セグメンテーションマスク画像を提供し得る。他の実施形態では、セグメンテーションマスク画像は、組み合わせ画像、少なくとも第１の強化された画像および別の画像（例えば、第２の強化された画像、別の入力チャネル画像、またはそれらの任意の組み合わせ）から得られた組み合わせ画像から生成される。組み合わせ画像は、上記の手順のいずれかを使用して、前述の例に示されているように生成することができる。
【0097】
当業者に知られている任意のフィルタを適用して、本開示の基準を満たすセグメンテーションマスクを提供することができる。いくつかの実施形態では、前景セグメンテーションは、グローバル閾値処理、局地適応閾値処理、形態学的操作、および流域変換を含む一連のフィルタを適用することによって達成される。フィルタは、当業者によって必要と思われる連続的または任意の順序で実行することができる。もちろん、任意のフィルタを、目的の結果が得られるまで繰り返し適用できる。いくつかの実施形態では、セグメンテーションマスク画像は、第１の強化された画像または少なくとも計算された強化された画像から得られた組み合わせ画像のいずれかを閾値処理することによって生成される。一般に、閾値処理は、強度が特定の閾値（ここではグローバル閾値）より上または下の場合、全ての画素に値１または０を割り当てることにより、強度画像（Ｉ）をバイナリ画像（Ｉ’）に変換するために使用される方法である。言い換えると、グローバル閾値は、画素の強度値に応じてパーティション画素に適用される。閾値処理の追加の方法は、国際公開第２０１７／０３３７６９５号および国際公開第２０１８／０２４０２３９号に記載されており、それらの開示は、参照によりその全体が本明細書に組み込まれる。いくつかの実施形態では、生成されたセグメンテーションマスク画像は、核検出モジュール２０６に供給される。
【0098】
いくつかの実施形態では、形態学的演算子を適用して、アーチファクトを除去し、および／または穴を埋める。実際、形態学的演算子の適用が、必要に応じてアーチファクトの除去および／または穴埋めをもたらすという条件で、当技術分野で知られている形態学的演算子のいずれかを適用することができる。
【0099】
形態学は、画像を集合の要素と見なし、画像を幾何学的形状として処理する集合理論的アプローチである。基本的な考え方は、単純な事前定義された形状で画像をプローブすることであり、アルゴリズムは、この形状が画像内の形状にどのように適合しているか、または欠落しているかについて結論を導き出す。この単純なプローブは、構造化要素と呼ばれる。いくつかの実施形態では、形態学的操作は、ディスク形状の構造要素を使用して実行される。いくつかの実施形態では、ディスク形状要素の半径は、約２から約３の範囲である。他の実施形態では、ディスク状要素の半径は２である。
【0100】
いくつかの実施形態では、「閉じる」形態学的操作は、前景オブジェクトの円形の性質が保持され得るように実行される。「閉じる」ことは、狭い切れ目を融合し、画像の小さな穴や隙間を埋めると考えられている。いくつかの実施形態では、「穴を埋める」形態学的操作が実行されるとき、連結成分を使用して、約１５０画素以下のサイズを有する任意の「穴」を決定する。「穴を埋める」操作は、内部の穴が埋められると、意味のあるブロブを返すのに役立ち、最終的にはより正確なセグメンテーションマスクが返されると考えられている。
【0101】
あるいは、穴は、形態学的操作、すなわち条件付き拡張操作によって埋めることができる。例えば、Ａを１つまたは複数の連結成分を含むセットとする。配列Ｘ０が形成され（Ａを含む配列と同じサイズ）、その要素はゼロ（背景値）であるが、ただし、１に設定されている（前景値）Ａの各連結成分の点に対応することがわかっている各位置を除く。目的は、Ｘ０から開始し、次の反復手順によって接続されている全ての成分を見つけることである：
【0102】
【数4】
【0103】
式中、Ｂは適切な構造化要素である。Ｘｋ＝Ｘｋ－１で、ＸｋがＡの全ての連結成分を含む場合、手順は終了する。次に、ドット検出モジュールの結果が分類モジュールに提供される。
【0104】
いくつかの実施形態では、連結成分ラベリングは、次に、前景セグメンテーションマスク（すなわち、連結成分ラベリングがセグメンテーションマスク内の個々の核へのアクセスを提供する、上記のセグメンテーションファイラの適用を通じて描写されたバイナリ画像）に適用される。いくつかの実施形態では、接続された成分のラベリングプロセスは、その開示は参照によりその全体が本明細書に組み込まれる、Ｈａｎａｎ Ｓａｍｅｔ ａｎｄ Ｍａｒｋｋｕ Ｔａｍｍｉｎｅｎ，“Ａｎ ｉｍｐｒｏｖｅｄ ａｐｐｒｏａｃｈ ｔｏ ｃｏｎｎｅｃｔｅｄ ｃｏｍｐｏｎｅｎｔ ｌａｂｅｌｉｎｇ ｏｆ ｉｍａｇｅｓ，”ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｍｉａｍｉ，Ｆｌｏｒｉｄａ，１９８６，ｐｐ．３１２－３１８、に説明されているなどの標準アルゴリズムを使用して、バイナリ画像内に連続領域を返すために使用される。一般に、連結成分ラベリングは、画像をスキャンし、画素の接続性に基づいてその画素を成分にグループ化し、すなわち、連結成分の全ての画素は、同様の画素強度値を共有し、何らかの方法で相互に連結される。
【0105】
自動核検出モジュール
【0106】
精細な画像の生成に続いて、精細な画像は、核検出モジュール２０６に提供されて、精細な画像内の核を自動的に検出する。いくつかの実施形態では、入力として受信された洗練された画像は、核の中心（シード）を検出するため、および／または核をセグメント化するために処理される。いくつかの実施形態では、自動候補核検出は、放射状対称性に基づく方法を適用することによって実行することができる（Ｐａｒｖｉｎ、Ｂａｈｒａｍら「Ｉｔｅｒａｔｉｖｅ ｖｏｔｉｎｇ ｆｏｒ ｉｎｆｅｒｅｎｃｅ ｏｆ ｓｔｒｕｃｔｕｒａｌ ｓａｌｉｅｎｃｙ ａｎｄ ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｏｆ ｓｕｂｃｅｌｌｕｌａｒ ｅｖｅｎｔｓ」、画像処理、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ １６．３（２００７）：６１５－６２３、その開示は参照によりその全体が本明細書に組み込まれる）。いくつかの実施形態では、核は、核の中心を検出するために放射状対称性を使用して検出され、次に、核は、細胞中心の周りの染色の強度に基づいて分類される。いくつかの実施形態では、放射状対称性に基づく核検出動作は、共通に譲受された同時係属中の特許出願である国際公開第２０１４／１４００８５号パンフレットに記載されているように使用され、その全体が参照により本明細書に組み込まれる。例えば、画像の大きさは、画像内で計算されることができ、各画素における１つまたは複数の投票は、選択された領域内の大きさの合計を加算することによって累積される。平均シフトクラスタリングを使用して、領域内の局所中心を見つけることができ、局所中心は、実際の核の場所を表す。
【0107】
いくつかの実施形態では、放射状対称投票に基づく核検出は、カラー画像強度データに対して実行され、核が様々なサイズと偏心を有する楕円形のブロブであるという先験的なドメイン知識を明示的に利用する。これを実現するために、入力画像の色の強度とともに、画像勾配情報が放射状対称投票で使用され、適応セグメンテーションプロセスと組み合わせて、細胞核を正確に検出して局在化する。本明細書で使用される「勾配」は、例えば、特定の画素を取り囲む画素のセットの強度値勾配を考慮に入れることによって特定の画素について計算された画素の強度勾配である。各勾配は、そのｘ軸およびｙ軸がデジタル画像の２つの直交するエッジによって定義される座標系に対して特定の「方向」を有することができる。例えば、核シード検出は、細胞核の内側にあると想定され、細胞核を局在化するための開始点として機能する点としてシードを定義することを含む。第１のステップは、放射状対称性に基づく非常にロバストなアプローチを使用して、各細胞核に関連するシード点を検出し、細胞核に似た構造である楕円形のブロブを検出することである。放射状対称性アプローチは、カーネルベースの投票手順を使用して勾配画像に対して動作する。投票応答行列は、投票カーネルを介して投票を蓄積する各画素を処理することによって作成される。カーネルは、その特定の画素で計算された勾配方向と、最小および最大の核サイズの予想範囲、および投票カーネル角度（通常は［π／４、π／８］の範囲）に基づいている。結果の投票空間では、事前定義された閾値よりも高い投票値を有する極大値がシード点として保存される。無関係なシードは、後でセグメンテーションまたは分類プロセス中に破棄される場合がある。他の方法は、米国特許出願公開第２０１７／０１４０２４６号明細書に記載されており、その開示は、参照により本明細書に組み込まれる。
【0108】
いくつかの実施形態、核は、当業者に知られている他の技術を使用して特定されることができる。例えば、画像の大きさは、洗練された画像から計算されることがあり、指定された大きさの周りの各ピクセルには、ピクセルの周りの領域内の大きさの合計に基づく投票数を割り当てられることができる。あるいは、平均シフトクラスタリング動作を実行して、核の実際の位置を表す投票画像内の局所中心を見つけることができる。他の実施形態では、核セグメンテーションを使用して、形態学的操作および局所閾値処理を介して、現在知られている核の中心に基づいて核全体をセグメント化することができる。さらに他の実施形態では、モデルベースのセグメンテーションを利用して核を検出することができる（すなわち、トレーニングデータセットから核の形状モデルを学習し、それを試験画像内の核をセグメント化するための事前知識として使用する）。
【0109】
次に、いくつかの実施形態では、核は、その後、各核について個別に計算された閾値を使用してセグメント化される。例えば、Ｏｔｓｕの方法は、核領域のピクセル強度が変化すると考えられるため、特定された核の周りの領域のセグメンテーションに使用されることができる。当業者によって理解されるように、Ｏｔｓｕの方法は、クラス内分散を最小化することによって最適な閾値を判定するために使用され、当業者に知られている。より具体的には、Ｏｔｓｕの方法は、クラスタリングベースの画像閾値処理、またはグレーレベル画像のバイナリ画像への縮小を自動的に実行するために使用される。このアルゴリズムは、画像がバイモーダルヒストグラムに続く２つのクラスのピクセル（前景ピクセルおよび背景ピクセル）を含むことを前提としている。次に、クラス間分散が最大になるように、それらの組み合わされた広がり（クラス内分散）が最小になるか、同等になるように（ペアワイズ二乗距離の合計が一定であるため）、２つのクラスを分離する最適な閾値を計算する。
【0110】
いくつかの実施形態では、システムおよび方法は、さらに、非腫瘍細胞の核を特定するために、画像内の特定された核のスペクトルおよび／または形状の特徴を自動的に分析することを含む。例えば、ブロブは、第１のステップの第１のデジタル画像において特定されることができる。本明細書で使用される「ブロブ」は、例えば、いくつかの特性、例えば、強度またはグレー値が一定であるかまたは指定された値の範囲内で変化するデジタル画像の領域とすることができる。ブロブ内の全ての画素は、ある意味で互いに類似していると見なすことができる。例えば、ブロブは、デジタル画像上の位置の関数の導関数に基づく微分法、および局所極値に基づく方法を使用して特定されることができる。核ブロブは、その画素および／またはその輪郭形状が、ブロブがおそらく第１の染色によって染色された核によって生成されたことを示すブロブである。例えば、ブロブの放射状対称性を評価して、ブロブを核のブロブとして特定するかまたは任意の他の構造、例えば染色アーチファクトとして特定する必要があるかを判定することができる。例えば、ブロブが長い形状を有し、放射状対称性でない場合、前記ブロブは、核ブロブとしてではなく、むしろ染色アーチファクトとして特定されることができる。実施形態に応じて、「核ブロブ」として特定されるブロブは、候補核として特定され、前記核ブロブが核を表すかどうかを判定するためにさらに分析されることができる画素のセットを表すことができる。いくつかの実施形態では、任意の種類の核ブロブが「特定された核」として直接使用される。いくつかの実施形態では、フィルタリング動作は、バイオマーカ陽性腫瘍細胞に属さない核を特定するため、および既に特定された核のリストから前記特定された非腫瘍核を除去するため、または最初から特定された核のリストに前記核を追加しないために、特定された核または核ブロブに適用される。
【0111】
例えば、特定された核ブロブの追加のスペクトルおよび／または形状の特徴を分析して、核または核ブロブが腫瘍細胞の核であるかどうかを判定することができる。例えば、リンパ球の核は、他の組織細胞、例えば肺細胞の核よりも大きい。腫瘍細胞が肺組織に由来する場合、リンパ球の核は、正常な肺細胞核の平均サイズまたは直径よりも有意に大きい最小サイズまたは直径の全ての核ブロブを特定することによって特定される。リンパ球の核に関連する特定された核ブロブは、既に特定された核のセットを除去する（すなわち、「フィルタにかけて除去する」）ことができる。非腫瘍細胞の核を除去することにより、本方法の精度を高めることができる。バイオマーカに応じて、非腫瘍細胞もある程度バイオマーカを発現する可能性があり、したがって、腫瘍細胞に由来しない第１のデジタル画像で強度信号を生成する可能性がある。既に特定された核の全体から腫瘍細胞に属さない核を特定およびフィルタリングすることにより、バイオマーカ陽性腫瘍細胞を特定する精度を高めることができる。これらのおよび他の方法は、米国特許出願公開第２０１７／０１０３５２１号明細書に記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。いくつかの実施形態では、シードが検出されると、局所的に適応可能な閾値法が使用されることができ、検出された中心の周りのブロブが作成される。いくつかの実施形態では、マーカベースの分水界アルゴリズムを使用して、検出された核中心の周りの核ブロブを特定することができるなど、他の方法も組み込むことができる。これらのおよび他の方法は、ＰＣＴ公開である国際公開第２０１６／１２０４４２号パンフレットに記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。
【0112】
視覚化モジュール
【0113】
迅速かつロバストな分析を容易にするために、検出された核またはシード点を示すことができるように、視覚化モジュール２０７を利用することができる。いくつかの実施形態では、オーバレイが生成され、これはホールスライド画像またはその任意の部分に重ね合わせることができる（例えば、レビューアへの結果の伝達を容易にするために）。いくつかの実施形態では、視覚化モジュール２０７を使用して、入力画像上に後で重ね合わせることができるオーバレイを計算する。図７Ｄおよび図８Ｅは、各セルについて個々に検出されたスポット（赤い点）がスライド画像全体の一部に重ね合わされる適切なオーバレイの例を提供する。いくつかの実施形態では、検出された核および／またはシード点は、特定の色を有する成形された物体（例えば、点、白丸、正方形など）として示され得る。
【0114】
いくつかの実施形態では、検出された各核は、各細胞内の中心にあるものなどのシード点で視覚化される。シード点は、識別された各リンパ球の重心または重心を計算することによって得られる（リンパ球の得られた領域に基づくなど）。不規則な物体の重心を決定する方法は、当業者に知られている。計算されると、核の重心にラベルが付けられる。いくつかの実施形態では、重心または重心の位置は、入力画像に重ね合わせることができ、これもまた、スライド画像全体またはその任意の部分であり得る。
【0115】
例－形態が不良な核を有する膜染色細胞の検出
【0116】
いくつかの実施形態において、本明細書に開示されるシステムおよび方法は、膜染色された細胞を強化することによって、形態が不良な画像中の核を検出するために使用され得る。いくつかの実施形態では、明視野画像の場合、色の混合解除（混合解除モジュール２０３など）を最初に適用して、核染色と標的バイオマーカ染色を分離する。いくつかの実施形態では、図５Ａを参照すると、第１のステップ５１０において、膜染色された細胞は、第１の強化された画像を提供するために、Ｆｒａｎｇｉフィルタの適用を通じて強化される。いくつかの実施形態では、２のスケール係数が適用される。続いて、精細な画像が生成され得る（ステップ５１１）。いくつかの実施形態では、精細な画像は組み合わせ画像である。いくつかの実施形態では、組み合わせ画像は、少なくとも第１の強化された画像と第２の画像との組み合わせである。いくつかの実施形態では、第２の画像は、別の入力画像、すなわち、Ｆｒａｎｇｉフィルタが適用されていない画像である。いくつかの実施形態では、第２の画像は、核染色、例えば、ヘマトキシリンまたはＤＡＰＩに対応する信号を有する画像である。精細な画像の生成に続いて、核が精細な画像で検出される（ステップ５１２）。いくつかの実施形態では、生成されたオーバレイは、スライド画像全体またはその一部に重ね合わされる。
【0117】
図６Ａは、ＤＡＢ染色されたＣＤ２０リンパ腫画像の例を示している（ここで、ＤＡＢおよびヘマトキシリンは、Ｂ細胞リンパ腫組織サンプル中のＣＤ２０バイオマーカを検出するために使用される）。ＣＤ２０は膜マーカであるため、図６Ａに示されるように、「茶色の輪」によってＣＤ２０＋細胞が特徴付けられる。一方、ＣＤ２０－細胞では通常「青い塊」として現れる核は、ＣＤ２０＋細胞に存在する場合と存在しない場合がある。したがって、「輪」または「ブロブ」パターンを見つけるように機能する細胞検出方法は、典型的な染色パターンに付着しない細胞を検出できない可能性がある。図６Ｂは、混合解除ヘマトキシリン画像チャネル画像（ＩＨＴＸ）を提供する。ＩＨＴＸ画像に示されているように、各核の形態を識別することは困難である（ここでも、ＣＤ２０＋細胞の核は、明確に定義された「ブロブ」のような外観を持たないことが多いことを示している）。
【0118】
図５Ａに示されるように、Ｆｒａｎｇｉフィルタが、混合解除されたＤＡＢ画像、ＩＤＡＢ（図６Ｃ）に適用され、出力が図６Ｄに示されている（Ｆｒａｎｇｉ＿ＤＡＢ）。次に、混合解除ヘマトキシリン画像（図６Ｂ）は、以下の式を使用して、Ｆｒａｎｇｉフィルタ出力画像（図６Ｄ）と組み合わされる。この特定の実施形態では、組み合わせ画像は、核染色画像と、強化された膜染色画像の反転との組み合わせである。別の言い方をすれば、Ｆｒａｎｇｉ＿ＤＡＢ強化された画像の反転が生成され、混合解除ヘマトキシリン画像チャネル画像と組み合わされる。結果として得られた画像、図６Ｅは、核検出に使用される。
【0119】
ＩＣｏｍｂｉｎｅ１．＝ＩＨＴＸ＋ｍａｘ（ＩＦｒａｎｇｉ＋＿ＤＡＢ）－ＩＦｒａｎｇｉ＋＿ＤＡＢ
【0120】
いくつかの実施形態では、混合解除された画像は、８ビットＲＧＢ入力画像から得られる。（光学密度を表す）強度値の理論上の上限はないと考えられているが、光学密度値は一般に０から約５の範囲内であり、これは加法演算を数値的に合理的にすると考えられている。また、元の膜染色画像（ＩＤＡＢ）と比較して、強化された膜画像（ＩＦｒａｎｇｉ＋＿ＤＡＢ）は、空間的にノイズが少なく、強度の変動が少ない（出力ダイナミックレンジが０から１の範囲に制限されているため）。結果として得られた組み合わせ画像（図６Ｅ）では、ＣＤ２０－およびＣＤ２０＋細胞の両方が、黒または灰色の背景上に明確な「ブロブ」として現れる。したがって、一般的な「ブロブ」検出方法は、細胞検出のために組み合わせ画像に適用することができ、例えば、自動画像分析アルゴリズムは、図６Ｅに提示された出力画像に対して実行され得る。
【0121】
図７Ａ～図７Ｄは、本開示の特定の実施形態（例えば、図７Ｂ）による精細な画像への自動核検出アルゴリズムの適用が、核の検出不足の可能性を低減することを比較して示す（図７Ｄと図７Ｃを比較）。図７Ｃは、混合解除されたＨＴＸ画像に放射状対称に基づく細胞検出方法（本明細書に記載）を適用することによる細胞検出結果の例を示し、ＣＤ２０＋細胞が十分に検出されていないと考えられる。対照的に、生成された組み合わせ画像（図５Ａに概説されるような）を使用することによって、「青い塊」および「茶色のリング」の両方が検出される（図７Ｄ）。この例は、提案された画像前処理ステップの後に、単一の従来の細胞検出方法を使用して、異なる染色パターンを有する高度にクラスタ化された細胞を検出できることを確立している。
【0122】
例－かすかな核の検出
【0123】
いくつかの実施形態では、本明細書に開示されるシステムおよび方法を使用して、取得された画像中のかすかな核を検出することができる。図５Ｂに目を向けると、第１のステップ５２３０において、核染色された細胞は、Ｆｒａｎｇｉフィルタを適用することによって強化されて、第１の強化された画像を提供する。いくつかの実施形態では、適用されるスケール係数は５である。続いて、精細な画像が生成され得る（ステップ５２１）。いくつかの実施形態では、精細な画像は、セグメンテーションマスク画像である。精細な画像の生成に続いて、核が精細な画像で検出される（ステップ５２２）。いくつかの実施形態では、生成されたオーバレイは、スライド画像全体またはその一部に重ね合わされる。
【0124】
図８Ａは、Ｖｅｎｔａｎａ ＤＰ２００スキャナを使用してスキャンされた乳癌ＨＥＲ２染色画像を示している。示されるように、ヘマトキシリン染色は非常にかすかに見える（図８Ｂを参照）。より大きなスケールパラメータ（例えば、スケール係数５）を備えたＦｒａｎｇｉフィルタを使用して、ヘマトキシリン混合解除された画像チャネル画像の核を強化して、図８Ｃに示す強化された画像を提供する。次に、固定閾値がＦｒａｎｇｉフィルタ出力に適用されて、核マスク画像を生成する（図８Ｄ）。これは、弱く染色された核を強化する効果的な方法であり、Ｆｒａｎｇｉフィルタの出力が値（０から１）内にあるため、セグメンテーションマスクを生成するための閾値を得るのが比較的簡単であると考えられる。
【0125】
Ｉｍａｇｅ＿ｃｏｍｂｉｎａｔｉｏｎ２＝Ｆｒａｎｇｉ＿ＨＴＸ＿Ｓｃａｌｅ５
【0126】
【0127】
例－多重化膜染色細胞を検出する
【0128】
いくつかの実施形態では、暗視野画像を多重化する場合のように、各チャネル画像は、１つのバイオマーカを視覚化するために使用される。いくつかの実施形態では、核および膜の両方の染色は、Ｆｒａｎｇｉフィルタの適用によって強化され得、自動化された核検出／セグメンテーション方法は、生成された精細な画像に適用され得る。したがって、本明細書に開示されるシステムおよび方法は、取得された画像中のかすかな核を検出するために、また、図５Ｃおよび図５Ｄに示されるように、取得された画像中の膜境界を強化するために使用され得る。いくつかの実施形態では、核染色された細胞は、Ｆｒａｎｇｉフィルタを適用することによって強化されて、第１の強化された画像を提供する（ステップ５３０または５４０）。いくつかの実施形態では、Ｆｒａｎｇｉフィルタは、同じ入力画像に対して２回目に実行されるが、異なるスケール係数で実行されて、第２の強化された画像を提供する（ステップ５４１）。続いてまたは同時に、膜染色された細胞は、Ｆｒａｎｇｉフィルタの適用によって強化されて、第３の強化された画像を提供する（ステップ５３１）。いくつかの実施形態では、Ｆｒａｎｇｉフィルタは、それぞれが膜染色を有する異なる入力画像に適用されて、例えば、第３および第４の強化された画像を提供する（ステップ５４２または５４３）。強化された画像の生成に続いて、精細な画像が生成される（ステップ５３２または５４４）。いくつかの実施形態では、精細な画像は、第１、第２、第３、または第４の強化された画像のうちの少なくとも２つからなるものなどの組み合わせ画像であり、組み合わせは加算的または加重され得る。いくつかの実施形態では、第１、第２、第３、または第４の強化された画像のいずれかを、組み合わせ画像に組み合わせる前にさらに処理することができる（例えば、強化された画像の１つの反転を生成し、組み合わせ画像を得るために使用することができる）。次に、いくつかの実施形態では、閾値が組み合わせ画像に適用されて、セグメンテーションマスク画像が生成される。次に、いくつかの実施形態では、核は、生成されたセグメンテーションマスク画像で検出される（ステップ５３３または５４５）。いくつかの実施形態では、核検出結果は視覚化され、例えば、スライド画像全体またはその一部に重ね合わされる。
【0129】
一例として、図９Ａは５Ｐｌｅｘ画像を示しており、Ｋｉ６７、ＫＲＴ、ＰＤＣＤ１、ＤＡＰＩ、ＣＤ８Ａ、ＣＤ３Ｅは偽色で表されている。特に、６チャネル免疫蛍光（ＩＦ）パネルは、様々なタイプのＴ細胞を識別するためのＣＤ３、ＣＤ８、およびＰＤ１膜マーカを含む様々な５つのバイオマーカを検出するために使用される（サイトケラチンは腫瘍細胞を識別するための細胞質マーカであり、Ｋｉ６７は増殖中の細胞を識別するための核マーカであり、そして最後に、ＤＡＰＩは全ての細胞核を染色するために使用される）。この例では、Ｆｒａｎｇｉフィルタを適用して、膜、細胞質、核の染色を個別に強化し、全ての生成された強化された境界定義構造をＤＡＰＩチャネル画像と組み合わせて核検出モジュール２０６に供給され得る精細な画像を形成するという戦略で、３つの異なる染色パターンを持つ細胞の識別を可能にする。
【0130】
いくつかの実施形態では、Ｆｒａｎｇｉフィルタがサイトケラチン（ＫＲＴ）染色画像（図９Ｅ）（ＩＦｒａｎｇｉ－＿Ｃｙｔｏ）に適用されて、強化された図９Ｆを提供する。Ｆｒａｎｇｉフィルタは、スケール＝１ミクロン（図９Ｈを参照）を使用して、ＰＤ１、ＣＤ８およびＣＤ３染色画像ＩＴｃｅｌｌ（図９Ｇ）の組み合わせにも適用される。画像の最終的な組み合わせは次のように提供される。
【0131】
ＩＴｃｅｌｌ＝ｍａｘ（ＩＣＤ８，ＩＣＤ３，ＩＰＤ１），
【0132】
ＩＦｒａｎｇｉ＝ｍａｘ（ＩＦｒａｎｇｉ＋＿Ｔｃｅｌｌ，ＩＦｒａｎｇｉ－＿Ｃｙｔｏ，ＩＦｒａｎｇｉ－＿Ｋｉ６７）
【0133】
ＩＣｏｍｂｉｎｅ２＝ＩＤＡＰＩ－（１．０－ＩＦｒａｎｇｉ），
【0134】
ここで、ＩＴｃｅｌｌは３つのＴ細胞マーカ画像全ての最大値であり、ＩＦｒａｎｇｉ＋＿Ｔｃｅｌｌ、ＩＦｒａｎｇｉ－＿Ｃｙｔｏ、およびＩＦｒａｎｇｉ－＿Ｋｉ６７は、それぞれＩＴｃｅｌｌ、サイトケラチン画像ＩＣｙｔｏ、およびＫｉ６７画像ＩＫｉ６７のＦｒａｎｇｉフィルタ出力である。
【0135】
別の実施形態では、ＤＡＰＩチャネル（核）は、膜染色によって強化され、ＤＡＰＩライン構造信号（スケール＝１ミクロンでＦｒａｎｇｉフィルタを使用して得られ、ＩＦｒａｎｇｉ＋＿ＤＡＰＩ（ｓ＝１）で表される）によって重み付けされ、核に強いＴ細胞寄与信号がある場合、核のＤＡＰＩ信号の抑制を回避する。
【0136】
ＩＣｏｍｂｉｎｅ３＝ＩＤＡＰＩ－（１－ＩＦｒａｎｇｉ＋＿ＤＡＰＩ（ｓ＝１））－（１．０－ＩＦｒａｎｇｉ）
【0137】
別のアプローチとして、ＤＡＰＩ画像ＩＤＡＰＩは、より大きなスケール（３ミクロンのスケールなど）でＦｒａｎｇｉフィルタ（Ｆｒａｎｇｉ＋）を適用することによって強化できる。より小さいスケールでＦｒａｎｇｉフィルタ（Ｆｒａｎｇｉ＋）を適用することと比較して、より大きいスケールでＦｒａｎｇｉフィルタ（Ｆｒａｎｇｉ＋）を適用すると、少なくともこの特定の実施形態では、核本体の強化が改善される。次に、強化された核画像を、以下の式に示されているように、強化された細胞境界を定義する構造画像と組み合わせることができる。
【0138】
ＩＣｏｍｂｉｎｅ４＝ＩＦｒａｎｇｉ＋＿ＤＡＰＩ（ｓ＝３）－（１．０－ＩＦｒａｎｇｉ）または
【0139】
ＩＣｏｍｂｉｎｅ５＝ＩＦｒａｎｇｉ＋＿ＤＡＰＩ（ｓ＝３）－（１－ＩＦｒａｎｇｉ＋＿ＤＡＰＩ（ｓ＝１））－（１．０－ＩＦｒａｎｇｉ）
【0140】
この特定の実施形態では、全ての細胞は、背景と同様のコントラストで明確に定義された「ブロブ」として現れる。このプロセスは、細胞の検出／セグメンテーションタスクを簡素化すると考えられている。図９Ｋは、単純な閾値処理と連結成分分析が良好なセグメンテーション結果につながる可能性があることを示している。
【0141】
本開示の実施形態を実施するための他の構成要素
【0142】
本開示のシステム２００は、組織標本に対して１つまたは複数の調製プロセスを実行することができる標本処理装置に結び付けられることができる。調製プロセスは、限定されるものではないが、標本の脱パラフィン、標本のコンディショニング（例えば、細胞コンディショニング）、標本の染色、抗原検索の実行、免疫組織化学染色（標識を含む）または他の反応の実行、および／または原位置ハイブリッド形成（例えば、ＳＩＳＨ、ＦＩＳＨなど）染色（標識を含む）または他の反応の実行、ならびに顕微鏡検査、微量分析、質量分析法、または他の分析方法のための標本を調製するための他のプロセスを含むことができる。
【0143】
処理装置は、標本に固定液を塗布することができる。固定剤は、架橋剤（例えば、ホルムアルデヒド、パラホルムアルデヒド、およびグルタルアルデヒドなどのアルデヒド、ならびに非アルデヒド架橋剤）、酸化剤（例えば、四酸化オスミウムおよびクロム酸などの金属イオンおよび複合体）、タンパク質変性剤（例えば、酢酸、メタノール、エタノール）、メカニズム不明の固定剤（例えば、塩化水銀、アセトン、およびピクリン酸）、配合試薬（例えば、カルノイ固定剤、メタカーン、ブアン液、Ｂ５固定剤）、ロスマンの液体、およびゲンドレの液体、マイクロ波、およびその他の固定剤（例えば、容積固定および蒸気固定を除外）を含むことができる。
【0144】
標本がパラフィンに埋め込まれたサンプルである場合、サンプルは、適切な脱パラフィン液を使用して脱パラフィン化されることができる。パラフィンを除去した後、任意の数の物質を連続して標本に塗布することができる。物質は、前処理（例えば、タンパク質架橋を逆転させる、核酸を露出させるなど）、変性、ハイブリッド形成、洗浄（例えば、厳密洗浄）、検出（例えば、視覚的またはマーカ分子のプローブへの連結）、増幅（例えば、タンパク質、遺伝子などの増幅）、逆染色、カバースリップなどのためのものとすることができる。
【0145】
標本処理装置は、標本に幅広い物質を塗布することができる。物質は、これらに限定されるものではないが、染色剤、プローブ、試薬、リンス、および／またはコンディショナを含む。物質は、流体（例えば、気体、液体、または気体／液体混合物）などとすることができる。液体は、溶媒（例えば、極性溶媒、非極性溶媒など）、溶液（例えば、水溶液または他のタイプの溶液）などとすることができる。試薬には、染色剤、湿潤剤、抗体（例えば、モノクローナル抗体、ポリクローナル抗体など）、抗原回収液（例えば、水性または非水性ベースの抗原回収溶液、抗原回収緩衝液など）が含まれ得るが、これらに限定されない。プローブは、検出可能な標識またはレポータ分子に付着した、単離された核酸または単離された合成オリゴヌクレオチドとすることができる。標識は、放射性同位元素、酵素基質、補因子、リガンド、化学発光または蛍光剤、ハプテン、および酵素を含むことができる。
【0146】
標本処理装置は、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ、Ｉｎｃが販売しているＢＥＮＣＨＭＡＲＫＸＴ装置やＳＹＭＰＨＯＮＹ装置などの自動装置であり得る。Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．は、米国特許第５，６５０，３２７号明細書、第５，６５４，２００号明細書、第６，２９６，８０９号明細書、第６，３５２，８６１号明細書、第６，８２７，９０１号明細書および第６，９４３，０２９号明細書、ならびに米国公開特許出願第２００３０２１１６３０号明細書および第２００４００５２６８５号明細書を含む、自動分析を実行するシステムおよび方法を開示する複数の米国特許の譲受人であり、これらのそれぞれは、参照によりその全体が本明細書に組み込まれる。あるいは、標本を手動で処理することもできる。
【0147】
標本が処理された後、ユーザは、標本を含むスライドを画像化装置に輸送することができる。いくつかの実施形態では、画像化装置は、明視野イメージャスライドスキャナである。明視野イメージャの１つは、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ、Ｉｎｃが販売しているｉＳｃａｎ Ｃｏｒｅｏ明視野スキャナである。自動化された実施形態では、画像化装置は、「ＩＭＡＧＩＮＧ ＳＹＳＴＥＭ ＡＮＤ ＴＥＣＨＮＩＱＵＥＳ」と題された、国際特許出願第ＰＣＴ／ＵＳ２０１０／００２７７２（特許公開第ＷＯ／２０１１／０４９６０８号）号に開示された、または２０１１年９月９日に出願され、「ＩＭＡＧＩＮＧ ＳＹＳＴＥＭＳ，ＣＡＳＳＥＴＴＥＳ，ＡＮＤ ＭＥＴＨＯＤＳ ＯＦ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ」と題された米国特許出願第６１／５３３，１１４号に開示されたデジタル病理装置である。国際特許出願第ＰＣＴ／ＵＳ２０１０／００２７７２号および米国特許出願第６１／５３３，１１４号は、参照によりそれらの全体が組み込まれる。
【0148】
画像化システムまたは装置は、マルチスペクトル画像化（ＭＳＩ）システムまたは蛍光顕微鏡システムとすることができる。ここで使用されている画像化システムはＭＳＩである。ＭＳＩは、一般に、画素レベルでの画像のスペクトル分布へのアクセスを提供することにより、病理標本の分析にコンピュータ化された顕微鏡ベースの画像化システムを装備する。様々なマルチスペクトル画像化システムが存在するが、これら全てのシステムに共通する動作態様は、マルチスペクトル画像を形成する機能である。マルチスペクトル画像は、特定の波長または電磁スペクトル全体の特定のスペクトル帯域幅で画像データを撮像するものである。これらの波長は、光学フィルタによって、または例えば赤外線（ＩＲ）などの可視光範囲の範囲を超える波長での電磁放射を含む所定のスペクトル成分を選択することができる他の機器の使用によって選択されることができる。
【0149】
ＭＳＩシステムは、光学画像化システムを含むことができ、その一部は、離散光学帯域の所定の数Ｎを定義するために調整可能なスペクトル選択システムを含む。光学システムは、広帯域光源で透過して光検出器に照射された生物学的サンプルを画像化するように適合されることができる。一実施形態では、例えば顕微鏡などの拡大システムを含むことができる光学画像化システムは、光学システムの単一の光出力と概ね空間的に位置合わせされた単一の光軸を有する。システムは、画像が異なる離散スペクトル帯域で確実に取得されるようになど、スペクトル選択システムが調整または調節されているときに（例えば、コンピュータプロセッサを使用して）、組織の一連の画像を形成する。装置は、さらに、取得された一連の画像から組織の少なくとも１つの視覚的に知覚可能な画像が現れるディスプレイを含むことができる。スペクトル選択システムは、回折格子などの光学分散要素、薄膜干渉フィルタなどの光学フィルタの集合、またはユーザ入力または事前にプログラムされたプロセッサのコマンドのいずれかに応答して、光源からサンプルを介して検出器に向かって透過する光のスペクトルからの特定の通過帯域を選択するように適合された任意の他のシステムを含むことができる。
【0150】
代替実装であるスペクトル選択システムは、Ｎ個の離散スペクトル帯域に対応するいくつかの光出力を定義する。このタイプのシステムは、光学システムからの透過光出力を取り込み、この特定されたスペクトル帯域に対応する光路に沿った検出器システム上で特定されたスペクトル帯域のサンプルを撮像するように、この光出力の少なくとも一部を、Ｎ個の空間的に異なる光路に沿って空間的にリダイレクトする。
【0151】
本明細書に記載の主題および動作の実施形態は、デジタル電子回路、または本明細書に開示される構造およびそれらの構造的同等物を含むコンピュータソフトウェア、ファームウェア、またはハードウェア、またはそれらの１つまたは複数の組み合わせで実装することができる。本明細書に記載の主題の実施形態は、１つまたは複数のコンピュータプログラム、すなわち、データ処理装置による実行のために、またはデータ処理装置の動作を制御するためにコンピュータ記憶媒体上に符号化されたコンピュータプログラム命令の１つまたは複数のモジュールとして実装することができる。本明細書で説明されるモジュールのいずれも、プロセッサによって実行されるロジックを含み得る。本明細書で使用される「論理」は、プロセッサの動作に影響を与えるために適用され得る命令信号および／またはデータの形態を有する任意の情報を指す。ソフトウェアはロジックの一例である。
【0152】
コンピュータ記憶媒体は、コンピュータ可読記憶装置、コンピュータ可読記憶基板、ランダムまたはシリアルアクセスメモリアレイまたは装置、あるいはそれらの１つまたは複数の組み合わせであり得るか、またはそれらに含まれ得る。さらに、コンピュータ記憶媒体は伝搬信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝搬信号に符号化されたコンピュータプログラム命令のソースまたは宛先であり得る。コンピュータ記憶媒体はまた、１つまたは複数の別個の物理的構成要素または媒体（例えば、複数のＣＤ、ディスク、または他の記憶装置）であり得るか、またはそれらに含まれ得る。本明細書に記載されている動作は、１つまたは複数のコンピュータ可読記憶装置に記憶されているか、または他のソースから受信されたデータに対してデータ処理装置によって実行される動作として実施することができる。
【0153】
「プログラムされたプロセッサ」という用語は、データを処理するためのあらゆる種類の装置、装置、およびマシンを包含し、例えば、プログラム可能なマイクロプロセッサ、コンピュータ、チップ上のシステム、または前述の複数のもの、またはそれらの組み合わせを含む。装置は、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）などの特別な目的の論理回路を含むことができる。装置はまた、ハードウェアに加えて、問題のコンピュータプログラムの実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、またはそれらの１つまたは複数の組み合わせを構成するコードを含むことができる。装置および実行環境は、ウェブサービス、分散コンピューティング、グリッドコンピューティングインフラストラクチャなど、様々な異なるコンピューティングモデルインフラストラクチャを実現できる。
【0154】
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる）は、コンパイルまたは解釈された言語、宣言言語または手続き型言語を含む、あらゆる形式のプログラミング言語で記述でき、あらゆる形式で展開できる。スタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、オブジェクト、またはコンピューティング環境での使用に適したその他のユニットとして含まれる。コンピュータプログラムは、ファイルシステム内のファイルに対応する場合があるが、対応する必要はない。プログラムは、他のプログラムまたはデータを保持するファイルの一部（例えば、マークアップ言語ドキュメントに保存された１つまたは複数のスクリプト）、問題のプログラム専用の単一ファイル、または複数の調整されたファイル（例えば、１つまたは複数のモジュール、サブプログラム、またはコードの一部を格納するファイル）。コンピュータプログラムは、１台のコンピュータ、または１つのサイトに配置されているか、複数のサイトに分散され、通信ネットワークによって相互接続されている複数のコンピュータで実行されるように展開できる。
【0155】
本明細書に記載のプロセスおよび論理フローは、１つまたは複数のコンピュータプログラムを実行する１つまたは複数のプログラム可能なプロセッサによって実行され、入力データを操作して出力を生成することによってアクションを実行することができる。プロセスおよびロジックフローは、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）などの特殊用途のロジック回路によって実行することもでき、装置を実装することもできる。
【0156】
コンピュータプログラムの実行に適したプロセッサには、例として、汎用および特殊目的の両方のマイクロプロセッサ、および任意の種類のデジタルコンピュータの任意の１つまたは複数のプロセッサが含まれる。一般に、プロセッサは、読み取り専用メモリまたはランダムアクセスメモリ、あるいはその両方から命令とデータを受信する。コンピュータの本質的な要素は、命令に従ってアクションを実行するためのプロセッサと、命令およびデータを格納するための１つまたは複数のメモリ装置である。一般に、コンピュータはまた、データを格納するための１つまたは複数の大容量記憶装置、例えば、磁気ディスク、光磁気ディスク、または光ディスクを含むか、またはデータを受信するか、データを転送するか、またはその両方に動作可能に結合される。ただし、コンピュータにそのような装置が必要なわけではない。さらに、コンピュータは、ほんの数例を挙げると、別の装置、例えば、携帯電話、携帯情報端末（ＰＤＡ）、モバイルオーディオまたはビデオプレーヤ、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、またはポータブル記憶装置（例：ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ）に組み込むことができる。コンピュータプログラムの命令およびデータを格納するのに適した装置には、例として半導体メモリ装置、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリ装置を含む、全ての形態の不揮発性メモリ、メディアおよびメモリ装置、磁気ディスク、例えば、内蔵ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクが含まれる。プロセッサとメモリは、特別な目的の論理回路によって補完または組み込むことができる。
【0157】
ユーザとの相互作用を提供するために、本明細書に記載の主題の実施形態は、ディスプレイ装置、例えば、ＬＤＣ（液晶ディスプレイ）、ＬＥＤ（発光ダイオード）ディスプレイ、またはＯＬＥＤ（有機発光ダイオード）ディスプレイ、ユーザに情報を表示するためのディスプレイ、およびユーザがコンピュータに入力を提供することができる、キーボードおよびポインティング装置、例えば、マウスまたはトラックボールを有するコンピュータ上に実装することができる。いくつかの実装形態では、タッチスクリーンを使用して、情報を表示し、ユーザからの入力を受け取ることができる。他の種類の装置を使用して、ユーザとの対話を提供することもできる。例えば、ユーザに提供されるフィードバックは、視覚的フィードバック、聴覚的フィードバック、または触覚的フィードバックなど、任意の形態の感覚的フィードバックであり得る。また、ユーザからの入力は、音響、音声、または触覚入力を含む任意の形式で受信できる。さらに、コンピュータは、ユーザが使用する装置との間でドキュメントを送受信することにより、ユーザと対話できる。例えば、Ｗｅｂブラウザから受信した要求に応答して、ユーザのクライアント装置上のＷｅｂブラウザにＷｅｂページを送信する。
【0158】
本明細書に記載される主題の実施形態は、例えばデータサーバとしてのバックエンドコンポーネントを含むか、またはアプリケーションサーバなどのミドルウェアコンポーネントを含むか、またはフロントエンドコンポーネントを含むコンピューティングシステムに実装することができる。エンドコンポーネント、例えば、ユーザがこの仕様に記載されている主題の実装と対話できるグラフィカルユーザインターフェースまたはＷｅｂブラウザを備えたクライアントコンピュータ、または１つまたは複数のそのようなバックエンド、ミドルウェア、またはフロントエンドコンポーネント。システムのコンポーネントは、デジタルデータ通信の任意の形式または媒体、例えば通信ネットワークによって相互接続することができる。通信ネットワークの例には、ローカルエリアネットワーク（「ＬＡＮ」）およびワイドエリアネットワーク（「ＷＡＮ」）、ネットワーク間（例えば、インターネット）、およびピアツーピアネットワーク（例えば、アドホックピア－ピアツーピアネットワーク）が含まれる。例えば、図１のネットワーク２０は、１つまたは複数のローカルエリアネットワークを含めることができる。
【0159】
コンピューティングシステムには、任意の数のクライアントとサーバを含めることができる。クライアントとサーバは通常、互いにリモートであり、通常は通信ネットワークを介して相互作用する。クライアントとサーバの関係は、それぞれのコンピュータで実行され、クライアントとサーバの関係を持っているコンピュータプログラムによって発生する。いくつかの実施形態では、サーバは、データ（例えば、ＨＴＭＬページ）をクライアント装置に送信する（例えば、データを表示し、クライアント装置と対話するユーザからのユーザ入力を受信する目的で）。クライアント装置で生成されたデータ（例えば、ユーザの操作の結果）は、サーバのクライアント装置から受信できる。
【0160】
追加の実施形態
【0161】
本開示の別の態様は、ヘマトキシリンおよびエオシンで染色され、および／または複数のバイオマーカの存在について染色された生物学的サンプルの、マルチチャネル画像、例えば、マルチチャネル明視野画像内のマルチチャネル画像内の核の検出を強化する方法であって、マルチチャネル画像を複数の混合解除された画像チャネル画像に混合解除することであって、各混合解除された画像チャネル画像は、ヘマトキシリン、エオシン、または単一のバイオマーカのいずれかに対応する信号を含む、混合解除することと、複数の混合解除された画像チャネル画像の混合解除された画像チャネル画像の少なくとも第１の画像にＦｒａｎｇｉフィルタを適用して、少なくとも第１のＦｒａｎｇｉ強化された画像チャネル画像を提供することと、第１の組み合わせ画像を生成することであって、第１の組み合わせ画像は、少なくとも（ｉ）第１のＦｒａｎｇｉ強化された画像チャネル画像または第１のＦｒａｎｇｉ強化された画像チャネル画像の派生物と、（ｉｉ）（ａ）第２の混合解除された画像チャネル画像、および／または（ｂ）第２のＦｒａｎｇｉ強化された画像チャネル画像のうちの少なくとも１つを含む、生成することと、少なくとも第１の組み合わせ画像に基づいて精細な画像を生成することと、自動画像分析アルゴリズムを使用して、第１の精細な画像内の核を検出することとを含む、方法である。いくつかの実施形態では、精細な画像は、第１の組み合わせ画像の反転である。いくつかの実施形態では、精細な画像は、セグメンテーションマスク画像である。いくつかの実施形態では、少なくとも第１のＦｒａｎｇｉ強化された画像チャネル画像は、Ｆｒａｎｇｉ強化膜画像チャネル画像である。いくつかの実施形態では、Ｆｒａｎｇｉ強化膜画像チャネル画像は、１つまたは複数の混合解除膜画像チャネル画像から得られる。いくつかの実施形態では、少なくとも第１のＦｒａｎｇｉ強化された画像チャネル画像は、Ｆｒａｎｇｉ強化核画像チャネル画像である。
【0162】
いくつかの実施形態では、少なくとも第１のＦｒａｎｇｉ強化された画像チャネル画像は、第２のＦｒａｎｇｉ強化された画像チャネル画像と組み合わされ、少なくとも第１のＦｒａｎｇｉ強化された画像チャネル画像および第２のＦｒａｎｇｉ強化された画像チャネル画像は、異なる混合解除チャネル画像に由来する。いくつかの実施形態では、少なくとも第１のＦｒａｎｇｉ強化された画像チャネル画像は、第２のＦｒａｎｇｉ強化された画像チャネル画像および第３のＦｒａｎｇｉ強化された画像チャネル画像と組み合わされ、少なくとも第１のＦｒａｎｇｉ強化された画像チャネル画像と、第２または第３のＦｒａｎｇｉ強化された画像チャネル画像のうちの１つは、異なる混合解除チャネル画像に由来する。いくつかの実施形態では、少なくとも第１のＦｒａｎｇｉ強化された画像チャネル画像および第２のＦｒａｎｇｉ強化された画像チャネル画像は、同じ混合解除された画像チャネル画像から得られるが、Ｆｒａｎｇｉフィルタは異なるスケール係数で同じ混合解除された画像チャネル画像に適用される。いくつかの実施形態では、Ｆｒａｎｇｉフィルタは、第１のスケール係数で、混合解除された画像チャネル画像の第１の複製に適用されて、細長い構造の強化された画像チャネル画像を生成し、フィルタは、第２のスケール係数で、混合解除された画像チャネル画像の第２の複製に適用されて、ブロブ様構造の強化された画像チャネル画像を生成する。いくつかの実施形態では、Ｆｒａｎｇｉ強化膜画像チャネル画像は、少なくとも混合解除核画像チャネル画像と組み合わされる。いくつかの実施形態では、混合解除された核チャネル画像および強化された膜画像チャネル画像は、少なくとも第２の強化された画像チャネル画像とさらに組み合わされる。
【0163】
本開示の別の態様は、染色された生物学的サンプルの画像内の細胞核の検出を強化するためのシステムであり、このシステムは、（ｉ）１つまたは複数のプロセッサと、（ｉｉ）１つまたは複数のプロセッサに結合された１つまたは複数のメモリと、を備え、１つまたは複数のメモリが、１つまたは複数のプロセッサによって実行されたときに、システムに、１つまたは複数の入力画像チャネル画像を取得することであって、取得された各入力画像チャネル画像は、膜染色または核染色の１つに対応する信号を含む、取得することと、境界構造を強化するように適合されたフィルタを１つまたは複数の取得された入力チャネル画像の第１の画像に適用して、第１の強化された画像を提供することにより、１つまたは複数の取得された入力チャネル画像の第１の画像内の膜染色または核染色を強化することと、少なくとも第１の強化された画像に基づいて組み合わせ画像を生成することと、生成された組み合わせ画像または生成された組み合わせ画像から得られたセグメンテーションマスク画像内の核を検出することと、を含む動作を実行させるコンピュータ実行可能命令を記憶する。
【0164】
いくつかの実施形態では、組み合わせ画像は、第１の強化された画像またはそのさらに処理された変形と、少なくとも第２の画像との合計を計算することによって生成される。いくつかの実施形態では、第２の画像は、１つまたは複数の取得された入力チャネル画像の第２の画像である。いくつかの実施形態では、１つまたは複数の取得された入力チャネル画像の第１の画像は膜染色を含み、１つまたは複数の取得された入力チャネル画像の第２の画像は核染色を含む。いくつかの実施形態では、組み合わせ画像は、第１の強化された画像の反転から得られる。
【0165】
本開示の別の態様は、染色された生物学的サンプルの画像内の細胞核の検出を強化するための方法であって、１つまたは複数の入力画像チャネル画像を取得することであって、取得された各入力画像チャネル画像は、膜染色または核染色の１つに対応する信号を含む、取得することと、境界構造を強化するように適合されたフィルタを１つまたは複数の取得された入力チャネル画像の第１の画像に適用することにより、１つまたは複数の取得された入力チャネル画像の第１の画像内の膜染色または核染色を強化して、第１の強化された画像を提供することと、少なくとも第１の強化された画像に基づいて組み合わせ画像を生成することと、生成された組み合わせ画像または生成された組み合わせ画像から得られたセグメンテーションマスク画像内の核を検出することを含む。
【0166】
いくつかの実施形態では、組み合わせ画像は、第１の強化された画像またはそのさらに処理された変形と、少なくとも第２の画像との合計を計算することによって生成される。いくつかの実施形態では、第２の画像は、１つまたは複数の取得された入力チャネル画像の第２の画像である。いくつかの実施形態では、１つまたは複数の取得された入力チャネル画像の第１の画像は膜染色を含み、１つまたは複数の取得された入力チャネル画像の第２の画像は核染色を含む。いくつかの実施形態では、組み合わせ画像は、第１の強化された画像の反転から得られる。
【0167】
本開示の別の態様は、染色された生物学的サンプルの画像内の細胞核の検出を強化する方法であって、（ａ）１つまたは複数の入力画像チャネル画像を取得することであって、取得された各入力画像チャネル画像は、膜染色または核染色のうちの１つに対応する信号を含む、取得することと、（ｂ）Ｆｒａｎｇｉフィルタを１つまたは複数の取得された入力チャネル画像の第１の画像に適用して、第１の強化された画像を提供することにより、１つまたは複数の取得された入力チャネル画像の第１の画像内の膜染色または核染色を強化することと、（ｃ）少なくとも第１の強化された画像に基づいて精細な画像を生成することと、（ｄ）生成された精細な画像内の核を自動的に検出することであって、核は自動核検出アルゴリズムを適用することによって検出される、検出することを含む。次に、いくつかの実施形態では、検出された核は、元のスライド画像全体またはその任意の部分に重ね合わされる、すなわち視覚化される。いくつかの実施形態では、膜染色はＤＡＢであり、核染色はヘマトキシリンである。いくつかの実施形態において、核染色は、ＤＡＰＩである。いくつかの実施形態では、取得された入力チャネル画像は、混合解除された明視野画像である。いくつかの実施形態では、取得された入力チャネル画像は暗視野画像である。
【0168】
いくつかの実施形態では、精細な画像は、セグメンテーションマスク画像である。いくつかの実施形態では、セグメンテーションマスク画像は、組み合わせ画像から得られ、組み合わせ画像は、少なくとも第１の強化された画像および第２の画像から生成され、それによって、少なくとも第１の強化された画像および第２の画像は、加法的、または加重的に組み合わされる。いくつかの実施形態では、組み合わせ画像は、膜強化された画像と核染色強化された画像の組み合わせなど、少なくとも第１および第２の強化された画像から得られる。
【0169】
いくつかの実施形態では、精細な画像は、少なくとも第１の強化された画像および第２の画像、例えば、第２の強化された画像、別の取得された入力画像、またはそれらのさらに処理された変形から得られる組み合わせ画像である。いくつかの実施形態では、第１および第２の画像は、加法的な方法で組み合わされる、すなわち、それらは一緒に合計される。いくつかの実施形態では、第１の強化された画像は、組み合わせ画像の生成の前にさらに処理される。いくつかの実施形態では、第１の強化された画像のさらなる処理は、第１の強化された画像の反転を生成することを含む。
【0170】
本開示の別の態様は、染色された生物学的サンプルの画像内の細胞核の検出を強化するための方法であり、システムは、（ｉ）１つまたは複数のプロセッサと、（ｉｉ）１つまたは複数のプロセッサに結合された１つまたは複数のメモリと、を備え、１つまたは複数のメモリが、１つまたは複数のプロセッサによって実行されたときに、システムに、１つまたは複数の入力画像チャネル画像を取得することであって、取得された各入力画像チャネル画像は、膜染色または核染色の１つに対応する信号を含む、取得することと、Ｆｒａｎｇｉフィルタを１つまたは複数の取得された入力チャネル画像の第１の画像に適用して、第１の強化された画像を提供することにより、１つまたは複数の取得された入力チャネル画像の第１の画像内の膜染色または核染色を強化することと、少なくとも第１の強化された画像に基づいて精細な画像を生成することと、精細な画像内の核を検出することと、を含む動作を実行させるコンピュータ実行可能命令を記憶する。いくつかの実施形態では、精細な画像は、第１の強化された画像を閾値処理することによって生成される。いくつかの実施形態では、精細な画像は、第１の強化された画像を少なくとも第２の画像と組み合わせて、組み合わせ画像を提供することによって生成される。いくつかの実施形態では、精細な画像は、以下によって生成される。（ｉ）第１の強化された画像を少なくとも第２の画像と組み合わせて、組み合わせ画像を提供することと、（ｉｉ）組み合わせ画像を閾値処理することとによって生成される。いくつかの実施形態では、第２の画像は、１つまたは複数の入力チャネル画像の第２の画像である。いくつかの実施形態では、第２の画像は、第２の強化された画像である。いくつかの実施形態では、任意の組み合わせ画像は、元の入力画像チャネル画像または強化された画像の任意の組み合わせを含む、３つ以上の画像から得られ得る。
【0171】
本開示の別の態様は、染色された生物学的サンプルの画像内の細胞核の検出を強化するためのシステムであり、このシステムは、（ｉ）１つまたは複数のプロセッサと、（ｉｉ）１つまたは複数のプロセッサに結合された１つまたは複数のメモリと、を備え、１つまたは複数のメモリが、１つまたは複数のプロセッサによって実行されたときに、システムに、（ａ）核染色に対応する信号を含む少なくとも１つの入力チャネル画像を取得することと、（ｂ）核染色に対応する信号を含む少なくとも１つの取得された入力チャネル画像にＦｒａｎｇｉフィルタを適用することによって、核染色に対応する信号を含む少なくとも１つの取得された入力チャネル画像における核染色を強化して、第１の強化された画像を提供することと、（ｃ）少なくとも第１の強化された画像から精細な画像を生成することと、（ｄ）生成された精細な画像内の核を自動的に検出することであって、核は、自動核検出アルゴリズムを適用することによって検出される、検出することを含む動作を実行させるコンピュータ実行可能命令を記憶する。いくつかの実施形態では、方法は、膜染色に対応する信号を含む少なくとも１つの入力チャネル画像を取得することと、膜染色に対応する信号を含む少なくとも１つの取得された入力チャネル画像にＦｒａｎｇｉフィルタを適用することによって、膜染色に対応する信号を含む少なくとも１つの取得された入力チャネル画像における膜染色を強化して、第２の強化された画像を提供することとをさらに含む。いくつかの実施形態では、少なくとも第１および第２の強化された画像は、例えば、加法的または加重的に組み合わされて、精細な画像を提供する。いくつかの実施形態では、組み合わせ画像を使用して核を検出することができるか、あるいは、閾値を組み合わせ画像に適用し、結果として生じるセグメンテーションマスク画像を使用して核を検出し得る。
【0172】
本開示の別の態様は、染色された生物学的サンプルの画像内の細胞核の検出を強化するためのシステムであり、このシステムは、（ｉ）１つまたは複数のプロセッサと、（ｉｉ）１つまたは複数のプロセッサに結合された１つまたは複数のメモリと、を備え、１つまたは複数のメモリが、１つまたは複数のプロセッサによって実行されたときに、システムに、（ａ）膜染色に対応する信号を含む少なくとも１つの入力チャネル画像を取得することと、（ｂ）膜染色に対応する信号を含む少なくとも１つの取得された入力チャネル画像にＦｒａｎｇｉフィルタを適用することによって、膜染色に対応する信号を含む少なくとも１つの取得された入力チャネル画像における膜染色を強化して、第１の強化された画像を提供することと、（ｃ）少なくとも第１の強化された画像から精細な画像を生成することと、（ｄ）生成された精細な画像内の核を自動的に検出することであって、核は、自動核検出アルゴリズムを適用することによって検出される、検出することを含む、動作を実行させるコンピュータ実行可能命令を記憶する。いくつかの実施形態では、精細な画像は組み合わせ画像であって、（ｉ）第１の強化された画像のさらに処理された変形と、（ｉｉ）第２の取得された入力チャネル画像であって、第２の取得された画像チャネル画像は、核染色に対応する信号を含む、第２の取得された入力チャネル画像とを含む。いくつかの実施形態では、第１の強化された画像のさらに処理された変形は、第１の強化された画像の反転である。いくつかの実施形態では、他の取得された入力チャネル画像は、ヘマトキシリンに対応する信号を含む。
【0173】
本開示の別の態様は、ヘマトキシリンおよびエオシンで染色され、および／または複数のバイオマーカの存在について染色された生物学的サンプルの画像内の細胞核の検出を強化するシステムであり、システムは、（ｉ）１つまたは複数のプロセッサと、（ｉｉ）１つまたは複数のプロセッサに結合された１つまたは複数のメモリと、を備え、１つまたは複数のメモリが、１つまたは複数のプロセッサによって実行されたときに、システムに、１つまたは複数の入力画像チャネル画像を取得することであって、取得された各入力画像チャネル画像は、ヘマトキシリン、ＤＡＰＩ、またはバイオマーカの存在を示す染色の１つに対応する信号を含む、取得することと、１つまたは複数の画像チャネル画像の少なくとも第１の画像にＦｒａｎｇｉフィルタを適用することによって、１つまたは複数の入力画像チャネル画像の少なくとも第１の画像内の境界構造を強化して、少なくとも第１のＦｒａｎｇｉ強化された画像チャネル画像を提供することと、少なくとも１つのＦｒａｎｇｉ強化された画像チャネルから得られた精細な画像内の核を検出することを含む、動作を実行させるコンピュータ実行可能命令を記憶する。
【0174】
いくつかの実施形態では、精細な画像は、セグメンテーションマスク画像である。いくつかの実施形態では、セグメンテーションマスク画像は、少なくとも第１のＦｒａｎｇｉ強化された画像チャネル画像を閾値処理することによって生成される。いくつかの実施形態では、セグメンテーションマスク画像は、少なくとも第１のＦｒａｎｇｉ強化された画像チャネル画像から得られた組み合わせ画像を閾値処理することによって生成される。いくつかの実施形態では、組み合わせ画像は、（ｉ）少なくとも第１のＦｒａｎｇｉ強化された画像チャネル画像と、（ｉｉ）（ａ）１つまたは複数の入力画像チャネル画像の第２の画像、および／または（ｂ）第２のＦｒａｎｇｉ強化された画像チャネル画像の少なくとも１つとを組み合わせることによって得られる。いくつかの実施形態では、組み合わせ画像は、少なくとも第１のＦｒａｎｇｉ強化された画像チャネル画像と第２のＦｒａｎｇｉ強化された画像チャネル画像との組み合わせを含む。いくつかの実施形態では、第１のＦｒａｎｇｉ強化された画像チャネル画像および第２のＦｒａｎｇｉ強化された画像チャネル画像は、異なる入力画像チャネル画像から得られる。いくつかの実施形態では、第１のＦｒａｎｇｉ強化された画像チャネル画像および第２のＦｒａｎｇｉ強化された画像チャネル画像は、同じ入力画像チャネル画像から得られる。いくつかの実施形態では、第１および第２のＦｒａｎｇｉ強化された画像チャネル画像は、異なるスケール係数でＦｒａｎｇｉフィルタを適用することによって得られる。いくつかの実施形態では、第１または第２のＦｒａｎｇｉ強化された画像チャネル画像のうちの１つは、強化された膜境界を含み、第１または第２のＦｒａｎｇｉ強化された画像チャネル画像の別のものは、強化された核境界を含む。いくつかの実施形態では、組み合わせ画像は、少なくとも第１のＦｒａｎｇｉ強化された画像チャネル画像、第２のＦｒａｎｇｉ強化された画像チャネル画像、および第３のＦｒａｎｇｉ強化された画像チャネル画像の組み合わせを含み、第１、第２、または第３のＦｒａｎｇｉ強化された画像チャネル画像のうちの少なくとも２つは、異なる入力チャネル画像から得られる。
【0175】
いくつかの実施形態では、精細な画像は、（ｉ）第１のＦｒａｎｇｉ強化された画像チャネル画像の反転と、（ｉｉ）１つまたは複数の入力チャネル画像の第２の画像とを組み合わせることによって得られた組み合わせ画像である。いくつかの実施形態では、組み合わせ画像は、（ｉ）少なくとも第１のＦｒａｎｇｉ強化された画像チャネル画像と、（ｉｉ）（ａ）１つまたは複数の入力画像チャネル画像の第２の画像、および／または（ｂ）第２のＦｒａｎｇｉ強化された画像チャネル画像の少なくとも１つとを組み合わせることによって得られる。
【0176】
本明細書中で言及される、および／または出願データシートにリスト化された全ての米国特許、米国特許出願公開、米国特許出願、外国特許、外国特許出願、および非特許刊行物は、参考によりそれらの全体が本明細書に組み込まれる。実施形態の態様は、必要に応じて、様々な特許、出願、および刊行物の概念を使用してさらに別の実施形態を提供するように修正することができる。
【0177】
本開示は、いくつかの例示的な実施形態を参照して説明されてきたが、本開示の原理の精神および範囲内に入るであろう多くの他の修正および実施形態が当業者によって考案され得ることを理解されたい。より具体的には、合理的な変形および修正は、開示の精神から逸脱することなく、前述の開示、図面、および添付の特許請求の範囲内の主題の組み合わせ配置の構成部品および／または配置において可能である。構成部品および／または配置の変形および修正に加えて、代替の使用法も当業者には明らかであろう。
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図5A】
【図5B】
【図5C】
【図5D】
【図6A】
【図6B】
【図6C】
【図6D】
【図6E】
【図7A】
【図7B】
【図7C】
【図7D】
【図8A】
【図8B】
【図8C】
【図8D】
【図8E】
【図9A】
【図9B】
【図9C】
【図9D】
【図9E】
【図9F】
【図9G】
【図9H】
【図9I】
【図9J】
【図9K】
【図9L】
【図10A】
【図10B】
【国際調査報告】