▶ シーディーエックス・メディカル・アイピー・インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-27
(45)【発行日】2022-11-07
(54)【発明の名称】生体試料への拡張強化された合焦深度
(51)【国際特許分類】
G01N 33/48 20060101AFI20221028BHJP
G01N 21/17 20060101ALI20221028BHJP
G06T 1/00 20060101ALI20221028BHJP
【ＦＩ】
G01N33/48 M
G01N21/17 A
G06T1/00 295
【請求項の数】
6
(21)【出願番号】P 2021529243
(86)(22)【出願日】2019-08-01
(65)【公表番号】
(43)【公表日】2021-12-02
(86)【国際出願番号】 US2019044639
(87)【国際公開番号】W WO2020028648
(87)【国際公開日】2020-02-06
【審査請求日】2022-05-20
(31)【優先権主張番号】62/713,076
(32)【優先日】2018-08-01
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】521045106
【氏名又は名称】シーディーエックス・メディカル・アイピー・インコーポレイテッド
【氏名又は名称原語表記】ＣＤＸ ＭＥＤＩＣＡＬ ＩＰ， ＩＮＣ．
【住所又は居所原語表記】２ Ｅｘｅｃｕｔｉｖｅ Ｂｌｖｄ．， Ｓｕｆｆｅｒｎ， ＮＹ １０９０１， Ｕ．Ｓ．Ａ．
(74)【代理人】
【識別番号】100110423
【弁理士】
【氏名又は名称】曾我 道治
(74)【代理人】
【識別番号】100111648
【弁理士】
【氏名又は名称】梶並 順
(74)【代理人】
【識別番号】100221729
【弁理士】
【氏名又は名称】中尾 圭介
(72)【発明者】
【氏名】ルーテンバーグ、マーク
(72)【発明者】
【氏名】スコット、リチャード
(72)【発明者】
【氏名】チョン、ロバート
(72)【発明者】
【氏名】セルツァー、ポール
【審査官】小澤 理
(56)【参考文献】
【文献】米国特許出願公開第２００９／００４６９０９（ＵＳ，Ａ１）
【文献】特表２０１８－５１６５９１（ＪＰ，Ａ）
【文献】特開２０１５－１０８８３７（ＪＰ，Ａ）
【文献】特開２０１８－０８１６６６（ＪＰ，Ａ）
【文献】特開２０１３－０２０２１２（ＪＰ，Ａ）
【文献】特開２００７－０５８２２２（ＪＰ，Ａ）
【文献】特開２０１１－１０９６４４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ ３３／４８
Ｇ０１Ｎ ２１／１７
Ｇ０６Ｔ １／００
ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）
Ｓｃｏｐｕｓ
(57)【特許請求の範囲】
【請求項1】
生体試料の合成デジタル画像を生成するシステムであって、前記生体試料の複数の画像から前記生体試料の合成画像を生成するように構成されたコンピュータ装置を含み、前記複数の画像の各々は、単一の軸に沿って撮影され、
前記コンピュータ装置は、
（ａ）前記生体試料の第１のｘ－ｙロケーションにおける画像物体の第１の集合の、第１のｚロケーションを含む第１の焦点面を識別することと、
（ｂ）前記生体試料の第２のｘ－ｙロケーションにおける画像物体の第２の集合の、第２のｚロケーションを含む第２の焦点面を識別することと、
（ｃ）前記（ａ）及び前記（ｂ）にそれぞれ基づいて、第１の最適な焦点面及び第２の最適な焦点面を識別することと、
（ｄ）第１の最適な焦点面からの画像物体及び第２の最適な焦点面からの画像物体を結合し、且つ前記合成デジタル画像を生成することと
を行い、
前記コンピュータ装置は、前記第１の焦点面における前記画像物体の鮮鋭値を計算し、前記第２の焦点面における前記画像物体の鮮鋭値を計算し、最高鮮鋭値を有する前記画像物体のロケーションの二次元マップを生成し、
前記コンピュータ装置は、前記第１及び第２の焦点面において前記最高鮮鋭値を有する前記画像物体の前記ロケーションの前記二次元マップに対して１つ又は複数の膨張及び収縮を実行することにより、第１及び第２の画像物体の集合の最適な第１の焦点面及び最適な第２の焦点面を識別し、
前記膨張及び収縮の数は、健康な組織における細胞境界間の距離に比例し、それによって前記第１及び前記第２の最適な焦点面を識別し、
前記第１の最適な焦点面に配置された画像物体は、ピントが合った状態で提示され、及び前記第１の最適な焦点面の下の画像物体は、強調抑制され、
前記第２の最適な焦点面に配置された画像物体は、ピントが合った状態で提示され、及び前記第２の最適な焦点面の下の画像物体は、強調抑制される、システム。
【請求項2】
前記複数の画像における前記画像の１つ又は複数は、カラー画像であり、及び前記コンピュータ装置は、前記複数の画像の最適な焦点面を識別する前に、前記複数の画像における前記１つ又は複数のカラー画像をグレースケールに変換する、請求項１に記載のシステム。
【請求項3】
前記合成画像は、前記生体試料のハニカム構造を含む、請求項１に記載のシステム。
【請求項4】
前記ハニカム構造は、ピントが合っている、請求項３に記載のシステム。
【請求項5】
顕微鏡及びカメラを更に含む、請求項１に記載のシステム。
【請求項6】
顕微鏡ステージを更に含む、請求項５に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概して、医療診断の分野に関する。より詳細には、本発明は、デジタル顕微鏡画像を処理して、癌性及び前癌性組織及び細胞の検出を促進する改良されたシステム及び方法に関する。
【背景技術】
【0002】
病理医は、典型的には、高解像度顕微鏡を利用して組織試料を調べ、例えば癌性又は前癌性細胞の兆候を識別する。正確で正しい診断をするために、病理医は、高解像度顕微鏡下でピントが合った状態で細胞特徴及び組織特徴を見なければならない。しかしながら、病理医が使用する高解像度顕微鏡には、関心のある物体を異なる平面に有する厚い生体標本の分析が難しくなる制限を有する。
【0003】
特に、顕微鏡のレンズは、単一の点にのみ合焦することができる。鮮鋭であると見なされ得る有限距離がこの焦点の前後に存在する。この有限距離は、被写界深度として知られている。周知のように、病理医によって使用されるもの等の高解像度顕微鏡は、限られた又は狭い被写界深度を有する。結果として、顕微鏡の所与の被写界深度外又は焦点面外に現れる物体は、ぼやけ、ピントがずれ、厚い試料を見る場合に病理医に手動で連続してフォーカスを変更させる。これは、病理医の生産性を制限すると共に、病理医が、狭い焦点面でのみ現れ得る微細な特徴を見落とす危険性を増大させる。
【0004】
この制限は、標本全体を単一の焦点面で撮像することができないため、厚い組織標本（例えば、顕微鏡対物レンズの被写界深度よりも厚いもの）又は不均一な組織標本の分析において特に深刻である。そのような標本の三次元特性により、試料の種々の輪郭において細胞を観察するために絶えずリフォーカスする必要がある。結果として、病理医は、試料全体をピントが合った状態で見ず、幾つかの焦点面にわたって広がる微細な診断特徴を認識する病理医の能力を制限する。
【0005】
例えば、組織の非裂傷ブラシ生検を取得する場合、組織を穿通するのに十分な剛性のブラシが使用される。全厚組織標本を取得するプロセスでは、単一の細胞及び細胞集団に加えて、組織断片が取得され、顕微鏡スライドに移される。そのような厚い試料の集合は、例えば、特許文献１に記載されている。
【0006】
そのような標本は、単一の細胞、細胞集団及び組織断片を含み、基本的に細胞学的スメアと組織学的切片との間のハイブリッドである。そのような標本は、例えば、２０～６０ミクロン厚であり得る。しかしながら、０．７５ＮＡ（開口数）を有する典型的な２０×顕微鏡の被写界深度は、わずか４ミクロンであり得る。したがって、そのような標本は、容易に撮像することができない。結果として、従来の顕微鏡は、診断を行う場合、病理医が必要とする情報の全て（例えば、全体的にピントが合った画像）を提示しない。
【0007】
単一の細胞に加えて組織断片を見る能力は、診断を行うに当たり、病理に利点を与える。例えば、そのままの組織は、細胞学的スメアで利用可能でない、組織のアーキテクチャについての重要な情報を病理医に提供する。この恩恵は、例えば、腺上皮、扁平上皮及び円柱上皮を含む種々の細胞タイプを含む複雑な組織である胃腸組織の評価において特に重大である。
【0008】
上記の問題に対する１つの解決策は、特許文献２（「’９９７特許」）に提供されている。その特許は、厚い三次元標本から二次元画像を作成するシステム及び方法を開示している。これは、病理医が、従来の顕微鏡に関連する欠点なしで三次元標本から入手可能な情報を捕捉できるようにする。’９９７特許に開示されているシステム及び方法は、拡張被写界深度（「ＥＤＦ」）処理技法を利用する。そこに記載されるように、ＥＤＦ処理を用いる場合、自動顕微鏡は、ｚ軸に沿って一定間隔で撮影された（同じロケーションにおける）画像スライスの組を捕捉し、次に各スライスからピントが合ったピクセルを復元して、ピントが合ったピクセルから単一の合成画像を構築する。
【0009】
’９９７特許の発明は、従来の顕微鏡技法からの大きい改良を表す。しかし、厚く半透明な生体標本を撮像するために、ＥＤＦベースの撮像システムにおける更なる改良が必要とされている。これに関して、従来のＥＤＦシステム及び方法は、画像の組におけるロケーションに関係なく、全ての画素を鮮鋭にする。これらのシステム及び方法は、画像の集合を繰り返しトラバースし、各画像の最も鮮鋭な部分を識別することによってそれを行い得る。次に、画像の組内の各画像の最も鮮鋭な部分に配置されたピクセルのみを使用して、合成画像が形成される。この従来のプロセスは、表面下のいかなる物体も見ることが可能でない非透明又は不透明な物体で良好に機能する。しかしながら、組織試料等の半透明の画像物体では、表面下の物体は、顕微鏡にとって可視であり、追加の複雑性をもたらす。
【0010】
特に、従来のＥＤＦシステム及び方法は、表面における物体及び表面下の物体をピントが合った状態にし、上及び下の物体の両方が同じ焦点面にあるように見せ、物体が実際よりも互いに近く見えるようにする。そのような望ましくない画像アーチファクトは、細胞が密集しているように見せ得、したがって不健康に見せ得、病理医及び／又はコンピュータシステムによってなされるエリアの診断を大きく変える、例えば良性から異形成（すなわち前癌性）に変える恐れがある。これに関して、健康な組織は、細胞間に一定の間隔を有して見える。一方、癌組織では、細胞の間隔がかなり不規則であるか、又は細胞が互いと均一に位置合わせされない。従来のＥＤＦは、真の診断のために核の間隔の保存が望ましいのに反して、フォーカスを強化するために物体間のｚ関係をデシメートする自然な傾向も有する。
【0011】
したがって、異なる平面における物体間の空間的関係を保存しながら、画像の集合から合成画像を作成するシステム及び方法が必要とされている。更に、画像の集合に最適な焦点面を識別するシステム及び方法が必要とされている。
【0012】
従来のＥＤＦシステムに伴う別の問題は、顕微鏡の対物レンズが焦点面間で上下に移動する際に倍率が変わることである。特に、対物レンズが移動する際、新しい物体は、ピントが合って見え、その間、他の物体のピントは、よりボケる。同時に、ピントがよりボケた物体は、倍率変化に起因してより小さくも見える。結果として、画像におけるエッジは、フォーカスが変化するにつれて移動する。それに対応して、画像は、縮み、潜在的にアルゴリズムに移動する各エッジを各焦点面における別個のエッジとして認識させる。これにより、システムは、合成ＥＤＦ画像において、単一のエッジを、複数の隣接するエッジの「階段状」に分割することになり得る。そのような状況では、「移動する」偽のエッジは、画像自体を圧倒し、合成ＥＤＦ画像に階段状のアーチファクトをもたらす可能性がある。これらのアーチファクトは、例えば、合成画像において白いフレークとして見え得る。
【0013】
ＥＤＦシステムでは、画像間で大きいステップを用いて、ｚ軸に沿った画像のスタックを取得することが有利であることが多い（例えば、撮像プロセスを加速させるために）。このステップサイズは、システムの被写界深度に近いことがある。したがって、物体のエッジを保存し、それでもなお画像間に大きいステップを可能にするシステム及び方法が必要とされている。
【0014】
更に、ブラシ生検試料に独自に含まれる有価値診断情報を利用するシステム及び方法が必要とされている。例として、米国及び世界中の多数の患者は、内視鏡処置を受ける。それにより、医師は、内視鏡を使用して上部消化管、胆管又は体の他の部位のセクションを観察する。そのような処置では、医師は、鉗子生検及び／又はブラシ生検を実行して、研究所での分析のために組織試料を回収し得る。
【0015】
鉗子生検処置中、組織の小さいセクションが食道のフォーカスエリアから所与の間隔で切除される。研究所において、病理医による分析のために、切除された組織セグメントは、ミクロトームを用いて平坦シートにスライスされる。したがって、これらの従来の組織標本を検査する病理医は、必要とされるリフォーカスが最小である略平坦な組織切片を分析する。
【0016】
他方、ブラシ生検処置中、剛性ブラシを有するブラシ生検器具を使用して、組織の広いエリアを掃引し、広い組織エリアの組織の全厚試料を取得する。生検ブラシは、小さい組織セグメントを採取する。小さい組織セグメントは、標本スライドに実質的にそのままで移される。これらの組織セグメントは、（鉗子生検に関して上述したように）スライスされない。そのため、組織の自然なアーキテクチャが維持される。意義深いことに、これは、病理医による観察及び／又はコンピュータシステムによる分析のために組織の正面像を保存する（正面像が組織スライスに起因して破壊される従来の組織学的組織準備と異なる）。
【0017】
組織の正面像は、有価値診断情報を与える。例えば、消化管の細胞は、「ハニカム」を形成する格子構造で編成される。この六角形組織アーキテクチャは、胆管、結腸、胸部等の体内の腺細胞並びに食道細胞又は子宮頚管細胞等の扁平上皮細胞及び腺組織が遭遇する遷移領域に典型的である。
【0018】
健康な組織では、ハニカムの外観を形成する均等間隔の核を観察することができる。しかしながら、初期異形成では、個々の核がわずかに拡大し得、正常核細胞質比が増大する。これが生じる場合、近傍核は、互いのより近くに成長し、一緒に密集し始める。加えて、編成されたハニカムに詰め込まれる代わりに、核は、編成を崩する。互いに対する細胞の関係は、場当たり的な性質になる。したがって、ハニカム構造の有無並びに密集及び編成崩れの程度は、初期段階の疾患の検出及び異形成状態と良性状態との区別において重要な診断特徴である。
【0019】
ブラシ生検は、組織の正面像を保持し、臨床観察に向けてハニカムを保持した組織断片を取得することが可能である。しかし、ハニカムを形成する構成細胞は、多くの場合、異なる焦点面に配置される。したがって、病理医は、ピントの合った状態でハニカムを観察することができない。むしろ、病理医は、第１の焦点距離において孤立して離れた１つ又は複数の細胞を見、次に第２の焦点距離において孤立して離れた１つ又は複数の細胞を見る等の必要がある。この手動プロセスは、面倒であるのみならず、望ましくもない。これに関して、病理医は、異なる焦点距離における細胞間の関係及び距離を記憶し、次に観察した全ての情報を一緒に頭の中でつなぎ合わせなければならない。比喩的に言えば、病理医は、森の像を見るのではなく、個々の木々を見て、頭の中で森のイメージを構築することを強いられる。
【0020】
既知のＥＤＦ技法は、厚い半透明試料における細胞間の空間的関係を保存することができないため、ハニカムを適宜撮像するに至っていない。結果として、ハニカムは、明確に撮像されない。その規則性及び潜在的な異常は、評価がより難しい。従来のＥＤＦシステムでは、全ての核は、同じ平面に見え、それによりハニカムをより密集させて見せ、細胞が異形成になりつつあるという誤った印象を病理医に与えることになる。
【先行技術文献】
【特許文献】
【0021】
【文献】米国特許第６，２５８，０４４号明細書
【文献】米国特許第８，１９９，９９７号明細書
【発明の概要】
【発明が解決しようとする課題】
【0022】
したがって、コンピュータ及び／又は病理医による分析に向けてハニカム構造のピントが合ったビューを作成することができる改良されたシステム及び方法が必要とされている。
【課題を解決するための手段】
【0023】
本発明の目的は、生体試料のピントが合った合成画像を生成し、それにより、診断的に重要な画像物体が、ピントが合った状態で提示され、及び下にある物体が強調抑制されるＥＤＦシステムを提供することである。
【0024】
本発明の別の目的は、生体試料の異なるセグメントについて複数の最適焦点面を特定し、且つ複数の最適焦点面から画像物体を取得して、デジタル合成画像を生成することである。
【0025】
本発明の更に別の目的は、組織における細胞間の距離が所定の健康な距離内にあるかどうかを判断し、且つそのような判断がなされる場合、所定の健康な距離内の細胞が占める平面の下にある画像物体を強調抑制することである。
【0026】
本発明の別の目的は、組織を構成する構成細胞が異なる平面に配置されている組織の正面画像を生成することである。
【0027】
本開示の特徴及び利点は、添付図面図と併せて解釈される場合、以下の詳細な説明を参照してより詳細に理解される。
【図面の簡単な説明】
【0028】
【図1】従来のＥＤＦシステムを使用して撮像された代表的な組織試料の概略断面図である。
【図2】本発明の強化ＥＤＦシステムの実施形態を使用して撮像された代表的な組織試料の概略断面図である。
【図3】本発明の実施形態による強化ＥＤＦシステムのブロック図である。
【図4】本発明の実施形態による強化ＥＤＦ処理方法の実施形態のフローチャートである。
【図5】本発明の実施形態による強化ＥＤＦシステムを使用して捕捉された代表的な画像の要素を示す図である。
【図6】本発明の実施形態による強化ＥＤＦシステムによって実行される方法の一ステップを示すチャートである。
【図7】本発明の実施形態による強化ＥＤＦシステムによって実行される方法の別のステップを示すチャートである。
【図8A】円柱上皮組織切片の概略側面斜視図である。
【図9】組織切片の構成細胞が異なる平面を占める円柱上皮組織切片の概略側面図を示す。
【図10】一連の細胞が上部平面を占め、下の細胞が下の平面を占める円柱上皮組織切片の概略側面図を示す。
【図11】本発明の実施形態による強化ＥＤＦシステムを用いずに取得された組織標本の合成画像を示す。
【図12】本発明の実施形態による強化ＥＤＦシステムを使用して取得された組織標本の合成画像を示す。
【図13】「階段状のアーチファクト」を有する標本エリア及び本発明の実施形態により、アーチファクトがなくなった同じ標本エリアの概略比較表現を示す。
【発明を実施するための形態】
【0029】
本発明の実施形態について、図面の上記の識別した図を参照してここで説明する。しかしながら、本発明の図面及び本明細書における説明は、本発明の範囲の限定を意図しない。本発明の趣旨から逸脱することなく、本発明の本説明の種々の変更形態が可能であることが理解されるであろう。また、本明細書に記載される特徴は、省略され得、追加の特徴は、含められ得、且つ／又は本明細書に記載される特徴は、本明細書に記載される特定の組合せと異なって組み合わされ得る。これらは、全て本発明の趣旨から逸脱しない。
【0030】
上述したように、従来のＥＤＦシステムは、通常、合成画像を生成する際、各焦点面から最も鮮鋭なピクセルを盲目的に抽出する。したがって、そのようなアルゴリズムが厚い半透明生体標本に適用される場合、何れの特定のピクセルが何れの特定の物体に属するかを必ずしも考慮に入れるわけではない。したがって、そのような物体の空間配置を保存できないことがある。例えば、複数の物体又は細胞が異なる平面にある（しかし、互いに重なる）場合、従来のＥＤＦシステムによって生成される合成画像は、実際には幾つかの細胞が互いに上下に積み重なっている場合、単一の細胞を表すように見えることがある。これは、従来のＥＤＦが使用される場合、異なる平面における物体間の空間的関係が常に保存されるわけではないためである。この問題は、病理医及び／又はコンピュータシステムによってなされるエリアの診断を大きく変える、例えば良性から異形成（すなわち前癌性）に変える恐れがある。
【0031】
図１は、従来のＥＤＦシステムの動作を実証する。標本１は、深さＤを有する半透明組織試料であり、関心のある物体（例えば、細胞）１０、２０及び３０を含む。物体３０は、第１の焦点面（標本の上部に最も近い）に配置される。物体２０は、第２のより低い焦点面に配置される。物体１０は、第２の焦点面の下の第３の焦点面に配置される。第２の焦点面に配置された物体２０は、第３の焦点面に配置された物体１０と重なる。標準ＥＤＦシステムの出力は、合成画像５に示される。見て取ることができるように、従来のＥＤＦシステムは、合成画像を生成する際、各焦点面における最も鮮鋭な物体に対応するピクセルを盲目的に抽出する。従来のＥＤＦ平面６は、標本１における種々の物体の空間的関係を考慮に入れないか又は保存しない。結果として、物体１０及び２０は、実際には異なる平面に配置されているにもかかわらず、合成画像５では一緒に密集して見える。これらの物体は、合成画像５では単一の細胞又は塊として誤って見え得、病理医又はコンピュータシステムによる誤った診断に繋がる恐れがある。これに関して、病理医は、合成画像５が、単に、異なる平面に配置された健康な細胞を含む場合、合成画像５を異形成として解釈する恐れがある。したがって、ＥＤＦシステムが、物体２０及び３０にピントが合っているが、物体１０にピントが合っていない合成ＥＤＦ画像を提供することができる場合に望ましいであろう。
【0032】
本発明の強化ＥＤＦシステムの動作は、図１と同じ概略標本を示す図２を参照して実証されている。特に、標本１は、深さＤを有する半透明組織試料であり、関心のある物体（例えば、細胞）１０、２０及び３０を含む。物体３０は、第１の焦点面（標本の上部に最も近い）に配置される。物体２０は、第２の焦点面（物体３０の下）に配置される。物体１０は、第３の焦点面（物体２０の下）に配置される。物体２０は、物体１０に重なる。しかしながら、各焦点面における最も鮮鋭な物体に対応するピクセルを合成画像５に盲目的にコピーするのではなく、強化ＥＤＦシステムは、標本１における最適な焦点面７を識別する。結果として、合成画像５が生成される際、物体１０は、強調抑制される。物体２０に対する物体１０の空間的表現は、保存される。
【0033】
試料の収集及び準備：
多くの分野に適用可能であるが、本発明のシステム及び方法は、他のスメア準備及び高ＮＡ対物レンズを用いて４０×で撮像された従来の組織学的試料に関するブラシ生検器具を使用して収集された組織試料の分析において有用であることが分かっている。上述したように、組織のブラシ生検を取得する際、組織（例えば、上皮組織）の種々の層を穿通するのに十分な剛性のブラシが使用される。全厚組織標本を取得するプロセスにおいて、単一の細胞及び細胞集団に加えて、組織断片が収集される。
多くの分野に適用可能であるが、本発明のシステム及び方法は、他のスメア準備及び高ＮＡ対物レンズを用いて４０×で撮像された従来の組織学的試料に関するブラシ生検器具を使用して収集された組織試料の分析において有用であることが分かっている。上述したように、組織のブラシ生検を取得する際、組織（例えば、上皮組織）の種々の層を穿通するのに十分な剛性のブラシが使用される。全厚組織標本を取得するプロセスにおいて、単一の細胞及び細胞集団に加えて、組織断片が収集される。
【0034】
通常、病理学に向けた細胞標本の準備において、臨床医は、細胞及び／又は組織をガラス顕微鏡スライドに移して固定する。次に、スライドは、更なる処理及び医療診断に向けて研究所に送られる。更なる処理は、顕微鏡下で見た場合、スライドを染色して試料（又は試料の特定の特徴）のコントラストを増強させることを含み得る。そのような染色は、例えば、フォイルゲン、パパニコロウ、ヘマトキシリン及びエオシン（Ｈ＆Ｍ）、アルシアンブルー並びにＩＨＣ染色を含み得る。研究所の技師は、カバースリップ及びラベルをスライドに適用することもできる。特に、ラベルは、試料に適用された染色のタイプを識別し得る。この情報は、バーコードで表され得るか、又は電子追跡デバイス（例えば、ＲＦＩＤ）に組み込まれ得る。更に後述するように、後の処理ステップにおいて、コンピュータシステムは、この情報を読み取り、特定の試料に適用するのに最適な処理アルゴリズムを特定することができる。
【0035】
しかしながら、本発明では、スライドは、病理医及び／又はコンピュータシステムの何れかによって調べられる前に追加の処理を受け得る。特に、細胞標本の捕捉されたデジタル顕微鏡画像は、診断的に重要な物体及び互いに対する空間的関係を保存する強化デジタル画像を生じさせる、本明細書に記載される強化ＥＤＦシステムによって更に処理される。アーチファクト及び誤った画像が低減し、関心のある診断的に重要な物体が、コンピュータにピントが合った状態で提示されるため、これは、コンピュータ分析システムの精度を増大させる。
【0036】
本発明の強化ＥＤＦシステム１００のブロック図は、図３に示される。システム１００は、スライドから画像の集合を取得する光学系４０を含む。光学系４０は、高出力顕微鏡、スライド位置決めステージ及びカメラを含み得る。コンピュータ装置４４は、ｚ方向におけるステージの移動を制御して、特定のｘ－ｙ位置の画像を合成するのに十分な数の画像スライスを取得する。システム１００は、画像の集合を記憶する記憶装置４２を更に含む。記憶装置４２は、ハードドライブ、ＳＳＤ（固体状態ドライブ）又は他のタイプの高速メモリデバイスを含み得る。コンピュータ装置４４（又は一緒に機能する複数のコンピュータ）は、ｚスタック画像の集合を処理して、本明細書に記載される強化合成画像を生成する。コンピュータ装置４４は、専用画像処理ハードウェア（グラフィカル処理ユニット又は「ＧＰＵ」等）を利用して処理速度を増大させ得る。
【0037】
光学系４０は、ステージのあらゆる移動後、画像を捕捉して記憶するように構成され得るか、又は代替的にステージが一定速度で移動する間、画像を規則正しい時間間隔で連続して継続的に捕捉するように構成され得ることが当業者によって理解されるであろう。本発明の実施形態では、後者の方法は、ｚスタックの生成においてより高速であり得る。しかしながら、画像捕捉積分時間を最小に保つことができるように、十分な光をシステムに追加する（例えば、ストロボスコープを介して）ことに注意を払わなければならない。本発明の他の実施形態では、システムは、ｚスタック画像に対して不可逆的又は可逆的圧縮の何れかを実行し、より集約的なＥＤＦ計算に向けてｚスタック画像を圧縮したものをオフラインで移動させる（例えば、イーサネットを介して）ように構成される。これは、画像ｚスタック捕捉プロセスを最大速度（機械的移動によって制約される）で行うことができるように行われる。ここで、ＥＤＦ処理は、複数のコンピュータによって並列に実行することができる。この分離により、最小のコストで最大のスケーラビリティと共に最大のスループットが可能になる。全ての機械的な移動は、スキャナ／画像部に分離される。一方、第２の部分は、必要に応じて追加のコンピュータを追加して、ラウンドロビン方式で個々のｚスタックで作業することによって高度にスケーラブルである。
【0038】
強化ＥＤＦシステムによって実行される処理ステップの一実施形態は、図４のフローチャートに示される。
【0039】
画像収集：
図４のステップＳ１に示されるように、光学系は、画像スライスの集合を取得する。各画像スライスは、ｚ軸（すなわち顕微鏡軸）に沿って異なる焦点深度（又は焦点面）で撮影される。画像の集合は、好ましくは、集約的ＥＤＦ演算を行うために、ＣＰＵが直接アクセスを有するコンピュータのメモリに記憶される。又は別の実施形態では、ｚスタック画像は、高速ＥＤＦ演算を行うことが可能な別個のＣＰＵ、ＲＩＳＣ、ＧＰＵ若しくはＦＰＧＡプロセッサを有する別個の処理又はグラバーボードに記憶することができる。ＥＤＦが完了すると、画像の集合は、コンピュータ装置による検索のためにデータ記憶装置（図３の４２）に記憶される。スタック中の画像数は、検査中の試料の厚さ及び顕微鏡対物レンズの被写界深度を含め、幾つかの要因に依存し得る。一般に、オーバーサンプリングの基準を満たすために、顕微鏡対物レンズの被写界深度未満の間隔を使用することが好ましい。これは、標本の全厚を通して一貫した鮮鋭さを保証する。例えば、試料が６０μｍ厚であり、画像が４μｍ焦点深度間隔で撮影されると仮定すると、合計で１５枚以上の画像（又はスライス）を収集し得る。
図４のステップＳ１に示されるように、光学系は、画像スライスの集合を取得する。各画像スライスは、ｚ軸（すなわち顕微鏡軸）に沿って異なる焦点深度（又は焦点面）で撮影される。画像の集合は、好ましくは、集約的ＥＤＦ演算を行うために、ＣＰＵが直接アクセスを有するコンピュータのメモリに記憶される。又は別の実施形態では、ｚスタック画像は、高速ＥＤＦ演算を行うことが可能な別個のＣＰＵ、ＲＩＳＣ、ＧＰＵ若しくはＦＰＧＡプロセッサを有する別個の処理又はグラバーボードに記憶することができる。ＥＤＦが完了すると、画像の集合は、コンピュータ装置による検索のためにデータ記憶装置（図３の４２）に記憶される。スタック中の画像数は、検査中の試料の厚さ及び顕微鏡対物レンズの被写界深度を含め、幾つかの要因に依存し得る。一般に、オーバーサンプリングの基準を満たすために、顕微鏡対物レンズの被写界深度未満の間隔を使用することが好ましい。これは、標本の全厚を通して一貫した鮮鋭さを保証する。例えば、試料が６０μｍ厚であり、画像が４μｍ焦点深度間隔で撮影されると仮定すると、合計で１５枚以上の画像（又はスライス）を収集し得る。
【0040】
サンプリング間隔は、例えば、予め確立されたデータに基づいて予め決定することができる。代替的に、サンプリング間隔は、例えば、各焦点面における鮮鋭ピクセル数を測定し、比較的少数の鮮鋭ピクセルが見つけられる場合、処理を適応させることにより、コンピュータシステムによって動的に決定することができる。アルゴリズムは、ｚスキャンを時期尚早に終了することによって適合され得るか、又は追加の鮮鋭ピクセルをなお見つけるべき場合、ｚスキャンを拡張することによって適応され得るか、又は見つかった鮮鋭ピクセル数が最小である場合、焦点面間のｚ距離を増大させることによって適合され得る。行うことができるステップが少ないほど、システムは、最終的なＥＤＦ画像を高速で提示することができる。しかし、これは、ステップが大きすぎる場合に生じ得る画質損失とバランスされる必要がある。
【0041】
前処理：
一実施形態では、図４のステップＳ２に示されるように、スタック中の画像は、グレースケールに変換される。各画像をグレースケールに変換することにより、画像データ量及び関連する処理量は、診断精度を犠牲にすることなく大きく低減することが分かっている。これに関して、グレースケール変換は、特定の免疫染色、例えばＨ＆Ｅ又はアルシアンブルーに最適化し得る。例えば、色逆重畳を使用して、免疫染色された細胞を強化し、特定の色にピントが合ったままであることを保証することができる。一実施形態では、システムは、スライドから、適用された染色に関する情報を自動的に読み取り、特定の試料に適用するのに最適な処理アルゴリズムを決定する。
一実施形態では、図４のステップＳ２に示されるように、スタック中の画像は、グレースケールに変換される。各画像をグレースケールに変換することにより、画像データ量及び関連する処理量は、診断精度を犠牲にすることなく大きく低減することが分かっている。これに関して、グレースケール変換は、特定の免疫染色、例えばＨ＆Ｅ又はアルシアンブルーに最適化し得る。例えば、色逆重畳を使用して、免疫染色された細胞を強化し、特定の色にピントが合ったままであることを保証することができる。一実施形態では、システムは、スライドから、適用された染色に関する情報を自動的に読み取り、特定の試料に適用するのに最適な処理アルゴリズムを決定する。
【0042】
別の実施形態では、収集された画像をグレースケールに変換するのではなく、強化ＥＤＦシステムは、ＥＤＦ処理をカラー画像に対して直接実行する。例えば、赤、緑及び青のコントラストの最大として３つのＲＧＢカラー画像からエッジコントラストを直接計算することができる。
【0043】
ステップＳ３において、画像処理に必要な種々のデータ構造を初期化し得る。これらは、最大鮮鋭度アレイ及びＺインデックスアレイを含め、二次元アレイの数を含み得る。これについては、更に後述する。集合、テーブル又はデータオブジェクト等の当業者に既知の代替のデータ構造をピクセルアレイの代わりに使用し得る。
【0044】
画像の集合において最も鮮鋭な物体の発見：
図４のステップＳ４、Ｓ５及びＳ６を参照すると、強化ＥＤＦシステムは、ｚ軸に沿って異なる焦点距離から撮影された画像の集合を繰り返しトラバースして、画像の集合において最も鮮鋭な物体のロケーションを識別する。特に、画像スタックの上（又は下）から始まり、システムは、第１の画像平面における物体の鮮鋭度を計算することによって開始する。計算された鮮鋭値は、最大鮮鋭度アレイに記憶され、Ｚインデックスアレイに開始画像平面（例えば、一番上の平面を表す平面１）のインデックスが入れられる。ｚ軸に沿った続く全ての平面について、システムは、その平面における各ピクセル又は物体の鮮鋭度を計算し、新しい画像平面におけるそれらの物体の鮮鋭度を、最大鮮鋭度アレイに記憶された鮮鋭度と比較する。新しい最大鮮鋭値が見つけられた場合、システムは、（１）新しい最大鮮鋭値を最大鮮鋭度アレイに記憶し（古い最大値に代えて）、（２）そのロケーション（すなわちそれが配置された画像スライスのインデックス）をＺインデックスアレイに記憶する。
図４のステップＳ４、Ｓ５及びＳ６を参照すると、強化ＥＤＦシステムは、ｚ軸に沿って異なる焦点距離から撮影された画像の集合を繰り返しトラバースして、画像の集合において最も鮮鋭な物体のロケーションを識別する。特に、画像スタックの上（又は下）から始まり、システムは、第１の画像平面における物体の鮮鋭度を計算することによって開始する。計算された鮮鋭値は、最大鮮鋭度アレイに記憶され、Ｚインデックスアレイに開始画像平面（例えば、一番上の平面を表す平面１）のインデックスが入れられる。ｚ軸に沿った続く全ての平面について、システムは、その平面における各ピクセル又は物体の鮮鋭度を計算し、新しい画像平面におけるそれらの物体の鮮鋭度を、最大鮮鋭度アレイに記憶された鮮鋭度と比較する。新しい最大鮮鋭値が見つけられた場合、システムは、（１）新しい最大鮮鋭値を最大鮮鋭度アレイに記憶し（古い最大値に代えて）、（２）そのロケーション（すなわちそれが配置された画像スライスのインデックス）をＺインデックスアレイに記憶する。
【0045】
最適焦点面の特定：
強化ＥＤＦシステムは、次に、調査中の試料の最適焦点面を計算する（ステップＳ７）。上述したように、このステップは、試料内の関心のある物体間の空間的関係が維持されることを保証する。最適焦点面を取得し、導出された最適焦点面を使用して合成画像を作成する結果として、上にある物体は、ピントが合った状態で提示される。下にある物体は、ピントが合わない状態で維持される。
強化ＥＤＦシステムは、次に、調査中の試料の最適焦点面を計算する（ステップＳ７）。上述したように、このステップは、試料内の関心のある物体間の空間的関係が維持されることを保証する。最適焦点面を取得し、導出された最適焦点面を使用して合成画像を作成する結果として、上にある物体は、ピントが合った状態で提示される。下にある物体は、ピントが合わない状態で維持される。
【0046】
本発明の実施形態では、最適焦点面は、細胞間の距離を計算し、細胞が互いから正常距離又は健康距離（図２では「ｈ距離」と呼ばれる）内にあるかどうかを判断することによって特定される。本発明の実施形態では、健康距離又は「ｈ距離」は、細胞エッジ間又は２つの核間の所定の距離である。例えば、本発明の一実施形態では、ｈ距離は、近傍細胞の核のエッジ間の距離を測定することによって計算される。別の実施形態では、ｈ距離は、近傍核の中心間の距離を測定することによって計算される。
【0047】
２つの細胞がｈ距離内にあると判断される場合、システムは、それらの２つの細胞が同じ組織のものであると結論付ける。したがって、近傍細胞によって占められる平面は、焦点面になる。下にある細胞は、ピントが合わないままになる。しかしながら、２つの細胞間の距離がｈ距離よりも大きい場合、システムは、関連しない両方の細胞にピントが合った状態を維持することができるように焦点面をシフトさせることになる。
【0048】
例えば、図２を参照すると、システムは、物体２０間の距離（例えば、距離Ａ）がｈ距離内であると判断した。したがって、物体２０によって占められた平面は、そのスライドセグメントの最適焦点面として選択される。物体２０は、ピントが合った状態で提示される。他方、下にある物体１０は、ピントが合わないままである。逆に、物体２０’と物体３０’との間の距離Ｂは、ｈ距離よりも大きいと判断される。結果として、焦点面は、物体３０が互いからｈ距離内に位置するスライドセグメントに（示される向きでは右に）シフトする。本発明の実施形態によれば、ｈ距離は、線形メートル系単位又はピクセル数によって測定され得る。
【0049】
本発明の一実施形態では、焦点面は、「クロージング」をＺインデックスアレイに対して実行することによって特定される。クロージングとは、予め定義された数のグレースケール膨張後、等数のグレースケール収縮が続く演算の組である。例えば、ｈ距離が５ピクセルであると仮定すると、システムは、５ピクセルの構造化要素を利用するか又は複数の繰り返しを実行してｈ距離をカバーする。したがって、膨張は、ｈ距離ギャップを完全にカバーすることになる。ギャップが埋められ、ギャップの両側にあるピクセルが融合されると、いかなる後続の収縮も何らの効果も有さない。しかしながら、ギャップが埋められない場合、後続の収縮は、エッジを元の位置に復元する。したがって、クロージングは、ギャップを完全に埋める（すなわち同じｚインデックスをもたらす）ことができ、したがってそのような画像がギャップ間に存在する場合、下にある画像（例えば、細胞核）を表面に持ってこない。しかしながら、クロージングがギャップを埋めず、ギャップ間の下に１つ又は複数の核がある場合、クロージングは、核を表面の停止位置に持ってくる。
収縮及び膨張は、当技術分野で既知の種々の技法の何れか、例えばギル－キンメル膨張／収縮アルゴリズム（Ｇｉｌ，Ｊ．Ｙ．，＆Ｋｉｍｍｅｌ，Ｒ，Ｅｆｆｉｃｉｅｎｔ ｄｉｌａｔｉｏｎ，ｅｒｏｓｉｏｎ，ｏｐｅｎｉｎｇ，ａｎｄ ｃｌｏｓｉｎｇ ａｌｇｏｒｉｔｈｍｓ．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２４（１２），１６０６－１６１７（２００２）を参照されたい）によって実行され得ることが理解されるであろう。
収縮及び膨張は、当技術分野で既知の種々の技法の何れか、例えばギル－キンメル膨張／収縮アルゴリズム（Ｇｉｌ，Ｊ．Ｙ．，＆Ｋｉｍｍｅｌ，Ｒ，Ｅｆｆｉｃｉｅｎｔ ｄｉｌａｔｉｏｎ，ｅｒｏｓｉｏｎ，ｏｐｅｎｉｎｇ，ａｎｄ ｃｌｏｓｉｎｇ ａｌｇｏｒｉｔｈｍｓ．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２４（１２），１６０６－１６１７（２００２）を参照されたい）によって実行され得ることが理解されるであろう。
【0050】
したがって、図２に示される例示的な実施形態では、細胞２０’及び３０’間の距離Ｂは、ｈ距離よりも大きい。したがって、膨張は、細胞２０’の画像を全方向において拡張すると共に、細胞３０’の画像も全方向において拡張する。しかし、各細胞間のギャップは、埋められない。結果として、収縮が実行された後、細胞２０’及び３０’の元のエッジは、復元される。細胞２０によって占められた平面は、細胞３０によって占められた平面と融合しない。代わりに、焦点面は、細胞２０によって占められた平面から、細胞３０によって占められた平面に効果的にシフトする。逆に、細胞２０間の距離は、ｈ距離内であるため、細胞２０に対して実行された膨張は、各細胞２０間のギャップを埋める効果を有する。これは、後続する収縮によって逆にならない。したがって、細胞２０によって占められた平面は、焦点面として特定される。その結果、細胞２０は、ピントが合った状態で提示される。一方、細胞２０間のギャップの下にある細胞１０は、ピントが合わない状態で提示される。これは、細胞２０と、下にある細胞１０との間の空間的関係が保存されることを保証する。
【0051】
一実施形態では、平坦な５×５の概ね円形のカーネルが収縮及び膨張に使用される。別の実施形態では、先に引用したギル－キンメル引用文献において教示されるもの等のグレースケールガウスカーネルが使用される。収縮及び膨張の数は、上にある物体にピントを合わせ、下にある物体をピントが合わない状態に維持するように選択される。最適焦点面の特定は、物体間の距離に応じて行われるため、最適焦点面は、システムが標本の距離にわたって移動するにつれて変化し得、核が最も可視である上部核層によって集中し、最も鮮鋭な特徴（光は、半透明媒体の表面の近くでは回折の程度が低い）を有するが、より深い核を表面に持ってくることがなお可能である。
【0052】
先に考察した膨張／収縮手順の結果は、図５及び図６に更に示される。図５では、画像のスタック１５が示されている。画像Ｉ１０は、画像スタックの一番上に位置している。画像Ｉ５及びＩ１は、これらの画像平面の各々においてピントがあった種々の物体を含む。物体２０は、ｚ軸において物体１０に重なる。画像スタック１５から生成された代表的なＺインデックスアレイ１１の一部が図６に示される。見て取ることができるように、Ｚインデックスアレイは、画像スタック１５（図５）における最も鮮鋭な物体に対応するピクセルのロケーション（すなわち画像平面番号）を含む。特に、物体２０のロケーションは、「５」で示される。物体１０のロケーションは、「１」で示される。仮に最終的な合成画像を図６のＺインデックスアレイ１１から編纂する（すなわち従来のＥＤＦのように）場合、物体１０及び２０は、単一の物体として見える（すなわち、物体１０は、物体２０に群がる）。上述したように、これは、誤診に繋がる恐れがある。したがって、標本を正確に示し、且つ正確な診断を行うために、合成画像における空間的関係は、保存される必要がある。
【0053】
図７は、幾つかの膨張及び収縮が実行された後の図６の代表的なＺインデックスアレイを示す。特に、画像Ｉ１に配置された物体は、問題なく強調抑制されている。物体の空間的関係は、維持されている。見て取ることができるように、「５」で示される物体２０のみがインデックス１２に残っている。したがって、最終的な合成画像が編纂される際、本発明を用いない場合に画像Ｉ１から回収されたであろうピクセルは、画像Ｉ５から回収される。
【0054】
一実施形態では、膨張又は収縮の数は、健康な組織における核間のｈ距離に等しい。先に述べたように、強化ＥＤＦシステムは、上層の核間の距離がｈ距離未満である場合、下の物体を強調抑制し、すなわち下の物体にピントを合わせない。他方、上層の核間の距離がｈ距離よりも大きい場合、２つの核は、同じ組織のものではないと仮定することができる。したがって、先に考察した密集作用を導入することなく、安全に任意の下のレベルにある物体にピントを合わせることができる。例えば、ｈ距離は、５ピクセル又は１８ミクロンであり得る。
【0055】
このプロセスは、画像の集合の最適焦点面を効果的に見つけ、望ましくない密集作用をなくすことが分かっている。本明細書に記載されるシステムは、細胞核等の関心のある細胞構造の最適焦点面を見つけるのに使用され得る。しかしながら、システムは、関心のある他の構造、特に杯細胞における細胞質粘液ポケット及び／又は細胞境界にフォーカスして、細胞のハニカム配列の検出を強化するように構成することができる。
【0056】
大きく明るい粘液エリアを見つけるために、システムは、（画像の解像度に応じて）１０×１０～２０×２０範囲内等のより大きいサイズのカーネルを用いて膨張及び収縮を実行し得ることが分かっている。このプロセスは、杯細胞において見られるムチン領域等の大きく明るい高コントラスト物体のＺインデックスアレイを生成する。細胞境界を見つけるために、アルゴリズムは、モルフォロジ演算を実行して、細く暗い線を強化する（リング構造化要素による収縮後、同サイズのソリッド構造化要素による膨張が続く）。これは、細胞の頂端面における魚鱗等の細く暗い線のＺインデックスアレイを生成する。３つのＺインデックスアレイを使用して、３つの別個のＥＤＦ画像を作成し得、ユーザが異なる焦点面における関心のある異なる細胞構造を見られるようにする。代替的に、Ｚインデックスを最大鮮鋭度と一緒に解釈し、次に５×５ガウスカーネルによって平滑化することにより、３つのＺインデックスアレイを結合し得る。
【0057】
合成画像の生成及び後処理：
ステップＳ８に示されるように、システムは、次に、Ｚインデックスアレイ（ここでは、合成画像に含める最適ピクセルのロケーションを含む）及び元の画像の集合に基づいて合成画像を生成する。単一のスライドで複数の画像スタックを取得し、別個に分析し（後述するように）、その結果生成された合成画像を一緒にステッチングして、単一の合成画像を形成できることも理解されたい。又は画像の単一のスタックを取得し、複数のアルゴリズムに送信し得る。各アルゴリズムは、特定の特徴を探し、独自の合成画像を生成する。例えば、あるユーザは、杯細胞の最適合成画像を選択することができ、異形成細胞に別の合成画像、ハニカムパターンに別の合成画像を選択することができる。
ステップＳ８に示されるように、システムは、次に、Ｚインデックスアレイ（ここでは、合成画像に含める最適ピクセルのロケーションを含む）及び元の画像の集合に基づいて合成画像を生成する。単一のスライドで複数の画像スタックを取得し、別個に分析し（後述するように）、その結果生成された合成画像を一緒にステッチングして、単一の合成画像を形成できることも理解されたい。又は画像の単一のスタックを取得し、複数のアルゴリズムに送信し得る。各アルゴリズムは、特定の特徴を探し、独自の合成画像を生成する。例えば、あるユーザは、杯細胞の最適合成画像を選択することができ、異形成細胞に別の合成画像、ハニカムパターンに別の合成画像を選択することができる。
【0058】
種々の後処理演算（ステップＳ９）を合成画像に対して任意選択的に実行し得る。一実施形態では、後処理は、鮮鋭度補正を含む。これは、物体のエッジをより目立たせ、診断を支援する。一実施形態では、鮮鋭度補正は、ノイズを増やさずにエッジを鮮鋭化することが知られているアンシャープマスキングを含む。一般に、アンシャープマスキングは、ぼやけたネガ画像（ガウスぼかし）を使用して、高周波及び低周波のエリアを識別する元画像のマスクを作成する。マスクは、次に、元画像と結合されて、元画像よりも鮮鋭な画像を作成する。更なる後処理ステップは、後述するように、ガイデッドフィルタ、ＸＹＺ膨張、霞除去及びＺ補間を含む。
【0059】
ハニカム構造の分析：
述べたように、ブラシ生検組織収集は、組織の正面像をそのまま維持する組織断片の収集を可能にする。すなわち、従来の組織学的試料は、スライスされ、組織スライスとして病理医に提示される。したがって、病理医は、組織の正面像を決して観察しない。組織の正面ハニカム外観は、ブラシ生検収集を用いて独自に入手可能な重要な臨床情報をもたらす。強化ＥＤＦシステムの実施形態は、ハニカムを形成する構成細胞が幾つかの焦点面を占め得るにもかかわらず、組織のハニカム構造の全体としての観察及び分析を可能にする。
述べたように、ブラシ生検組織収集は、組織の正面像をそのまま維持する組織断片の収集を可能にする。すなわち、従来の組織学的試料は、スライスされ、組織スライスとして病理医に提示される。したがって、病理医は、組織の正面像を決して観察しない。組織の正面ハニカム外観は、ブラシ生検収集を用いて独自に入手可能な重要な臨床情報をもたらす。強化ＥＤＦシステムの実施形態は、ハニカムを形成する構成細胞が幾つかの焦点面を占め得るにもかかわらず、組織のハニカム構造の全体としての観察及び分析を可能にする。
【0060】
図８Ａは、腺上皮組織４８の断片の概略図を示す。示されるように、組織は、縦方向に一緒に詰め込まれた円柱細胞（例えば、５０）で形成される。細胞の核５２は、細胞５０の下セグメントに配置されている。細胞５０は、基底膜５３に配置されている。細胞の頂端面は、組織表面を形成する。核のレベルにフォーカスして顕微鏡下で見た場合、核は、六角形パターンで見える。フォーカスが上にある場合、細胞膜は、六角「魚鱗」パターンを形成する。フォーカスが上面と核との間にある場合、杯細胞の明確なムチン領域を最も明確に見ることができる。病理医の観察の大半は、核のレベルにフォーカスされる。しかし、ムチン及び魚鱗レベルビューも診断において病理医を支援するのに利用される。
【0061】
【0062】
しかしながら、三次元ブラシ生検組織準備では、ハニカムを形成する細胞は、異なる焦点面に配置され得る。これに関して、合成画像を作成せずにハニカムをピントが合った状態で見ることは、不可能であろう。
【0063】
例えば、図９を参照すると、核細胞５４及び６０は、第１の焦点面Ｐ１に示されている。核細胞５６は、異なる焦点面Ｐ２に示されている。細胞５８の核は、更に異なる焦点面Ｐ３に示されている。顕微鏡対物レンズが核細胞５８をピントが合った状態で見るように設定される場合、細胞５４、６０及び５６の核は、ピントが合わない。細胞５６の核にピントが合う場合、細胞５８及び細胞５４の核は、ピントが合わない。これに関して、手動顕微鏡を利用する病理医は、ハニカムパターン全体をピントが合った状態で見ることが可能ではない。従来のＥＤＦシステムは、無差別に全ての細胞核を上面に持ってくるため、この問題に適宜対処しない。したがって、ハニカムの下に有り得る細胞又は組織に関連する下にある核が合成画像に含まれ得、画像アーチファクトを生じさせ得る。
【0064】
他方、本発明のシステムは、標本の各セグメントに最良の焦点面を捕捉するように焦点面を動的にシフトさせる。結果として、ハニカム構造の構成細胞が複数の焦点面に配置される場合でも、ハニカム構造は、ピントが合った状態で撮像される。更に、ハニカムに関連しない細胞は、ピントが合わないままである。
【0065】
例えば、図９をなお参照すると、本発明のＥＤＦシステムは、動的に、標本のセクションＥの最適焦点面としてＰ１を選択し、標本のセクションＦの最適焦点面としてＰ２を選択し、標本のセクションＧの最適焦点面としてＰ３を選択し、標本のセクションＨの最適焦点面としてＰ１を選択する。加えて、述べたように、本発明のＥＤＦシステムは、計算された最適焦点面の下に配置された特徴を強調抑制した合成画像を作成する。したがって、最適焦点面が一連の上部細胞の近傍に基づいて特定される場合、上部細胞の真下にあり得る細胞は、ピントが合わないままであり、それにより上部細胞と下部細胞との間の空間的関係を保存する。例えば、図１０では、一連の細胞６２は、各核が焦点面Ｐ４を占めた状態で示されている。細胞６４は、細胞６２の下に示されている。しかしながら、示される実施形態では、細胞６２間の距離は、ｈ距離内である。したがって、焦点面Ｐ４は、システムによって最適焦点面として特定される。結果として、下にある細胞６４は、ピントが合わないままである。意義深いことに、細胞６４に関連する特徴は、表面に持ってこられない。
【0066】
ハニカムにおける細胞の各々は、ピントが合った状態で提示され、下にある細胞は、画像アーチファクトを生じさせないため、生成された合成画像を分析するコンピュータは、より正確且つより高感度になる。同様に、孤立して離れた細胞及び細胞の集団を分析するのではなく、合成画像は、ハニカムのゲシュタルトビューを病理医に提供する。これは、病理医が他の細胞及び細胞集団との関連において細胞及び細胞集団を分析できるようにする。
【0067】
図１１は、強化ＥＤＦシステムを用いずに取得された組織標本の合成画像である。見て取ることができるように、画像の大部分は、ぼやけており、ピントが合っていない。とりわけ、ハニカム構造は、全体として観察することができない。
【0068】
図１２は、本発明の強化ＥＤＦシステムを使用して取得された組織標本の合成画像である。この画像では、ハニカム構造は、ピントが合っている。したがって、病理医は、ハニカムをより容易に観察及び分析することができる。
【0069】
意義深いことに、強化ＥＤＦシステムは、ハニカム全体を撮像するため、コンピュータシステムは、モルフォロジ分析を実行して、試料の異常を識別することができる。例えば、細胞核を細胞質から区別できることが分かっている。核が分離されると、核間の距離（ｈ距離）を測定することができる。コンピュータシステムは、次に、例えば核の最近傍への平均及び標準偏差ｈ距離を計算し、次に通常の六角形非異形成組織で見られる範囲外のｈ距離を有する核の割合を計算することにより、ハニカムが正常であるか又は異常であるかを査定することができる。更に、核レベルの代わりに、図１１に示されるように画像が別個の核なしで規則正しい六角形「魚鱗」外観をとる細胞境界レベルの焦点面を用いて、六角形配列を視覚化し、評価することができる。
【0070】
ガイデッドフィルタ：
標本に存在する組織及び細胞構造のエッジを保存することが有利である。しかしながら、標準の平均化又は他の無差別平滑化技法は、エッジを区別することができない。したがって、本発明の実施形態では、新規のガイデッドフィルタを利用して、厚い試料の場合に特に深刻なＺインデックスアレイにおける急な輪郭のｘｙロケーションのシフトなしで正確なエッジ保存平滑化を実行する。拡大レンズを使用する任意の対物レンズを用いる場合、倍率は、焦点面から離れるにつれて変化する。ｚ移動毎に、撮像されている物体は、縮み、それに従って偽エッジを移動させる。ガイデッドフィルタを使用すると、強調は、真のエッジがある場所に置かれ、それにより偽エッジの影響をヌル化する。ガイデッドフィルタは、グレースケール画像又はカラー画像に適用され得る。本願におけるガイデッドフィルタの新規使用は、最も鮮鋭なピクセルのｚロケーションを含むＺインデックスアレイを平滑化する。これは、ｚインデックスノイズを動的に除去し、他の平滑化技法よりも好ましい。
標本に存在する組織及び細胞構造のエッジを保存することが有利である。しかしながら、標準の平均化又は他の無差別平滑化技法は、エッジを区別することができない。したがって、本発明の実施形態では、新規のガイデッドフィルタを利用して、厚い試料の場合に特に深刻なＺインデックスアレイにおける急な輪郭のｘｙロケーションのシフトなしで正確なエッジ保存平滑化を実行する。拡大レンズを使用する任意の対物レンズを用いる場合、倍率は、焦点面から離れるにつれて変化する。ｚ移動毎に、撮像されている物体は、縮み、それに従って偽エッジを移動させる。ガイデッドフィルタを使用すると、強調は、真のエッジがある場所に置かれ、それにより偽エッジの影響をヌル化する。ガイデッドフィルタは、グレースケール画像又はカラー画像に適用され得る。本願におけるガイデッドフィルタの新規使用は、最も鮮鋭なピクセルのｚロケーションを含むＺインデックスアレイを平滑化する。これは、ｚインデックスノイズを動的に除去し、他の平滑化技法よりも好ましい。
【0071】
ＸＹＺ膨張アルゴリズム：
種々の焦点距離から複数の画像を取得することの潜在的な望ましくない一影響は、各焦点で生じ得るアーチファクトエッジの出現である。すなわち、各ＥＤＦ画像スライスの取得に伴い、真のエッジに隣接するピントが合っていないピクセルは、「偽」エッジとして存在し得る。そのようなアーチファクトエッジの連続が生成される場合、それらは、階段状の外観をとり得る（すなわち階段効果）。例えば、図１３の（前）画像は、合成画像において階段のような提示をとる一連のアーチファクトエッジ６６を示す。これは、試料を歪ませ得、有用で診断的に重要な組織又は細胞特徴を曖昧にし得る。
種々の焦点距離から複数の画像を取得することの潜在的な望ましくない一影響は、各焦点で生じ得るアーチファクトエッジの出現である。すなわち、各ＥＤＦ画像スライスの取得に伴い、真のエッジに隣接するピントが合っていないピクセルは、「偽」エッジとして存在し得る。そのようなアーチファクトエッジの連続が生成される場合、それらは、階段状の外観をとり得る（すなわち階段効果）。例えば、図１３の（前）画像は、合成画像において階段のような提示をとる一連のアーチファクトエッジ６６を示す。これは、試料を歪ませ得、有用で診断的に重要な組織又は細胞特徴を曖昧にし得る。
【0072】
本発明の実施形態では、階段状の問題は、述べたようにＥＤＦアルゴリズムステップを実行する際、ピントが合っていないピクセルの選択によって生じる階段状のアーチファクトエッジをなくすように設計されたｚインデックス後処理アルゴリズムによって対処される。これは、複数の隣接するエッジを抑制し、最も強いエッジのみを保存することによって達成される。本発明の実施形態では、これは、ｚ値の「持ち歩き」を用いて膨張を実行することによって達成される。このために、システムは、エッジを特定し、エッジ強度を１６ビット画像の上位８ビットに置き、最良フォーカスのｚインデックスを下位８ビットに置くルーチン又はアルゴリズムを実行するように構成される。膨張（例えば、１２×１２膨張）中、下位８ビットにおけるｚ値は、膨張アルゴリズムの副作用として、上位８ビットにおける対応するエッジコントラストと共に運ばれる。結果として、誤ったｚインデックスを有する隣接するより弱いエッジは、より良好なｚインデックスを有するより強いエッジで置換される。次に、最良フォーカスｚインデックス画像は、膨張した画像からの下位８ビットを使用して更新される。
【0073】
したがって、図１３の（前）画像は、述べたような「持ち運び」特徴を含まないＥＤＦシステムを用いて処理された合成画像を示す。示されるように、一連の偽エッジ６６が組織エッジに存在する。他方、（後）画像では、述べたような「持ち運び」アルゴリズムを使用して後処理された同じ標本が示される。示されるように、階段状のアーチファクトがなくなっており、鮮鋭な真のエッジ６８が存在する。
【0074】
霞除去：
顕微鏡画像は、通常、非集束散乱光によって生じる霞を含む。霞除去は、画像霞を推定し、元画像から霞を差し引いて、診断情報がより容易に可視であるより明確な画像を生成することによって実行することができる。一実施形態では、システムは、平坦な５×５の概ね円形のカーネルを用いてＲ、Ｇ、Ｂ画像を収縮させ、収縮の最小値をとり、ガイデッド画像フィルタリングを実行して霞を平滑化し、除去された霞コントラストを３２グレーレベルの最大値（２５６のスケールで）にクリッピングすることによって霞をなくす。
顕微鏡画像は、通常、非集束散乱光によって生じる霞を含む。霞除去は、画像霞を推定し、元画像から霞を差し引いて、診断情報がより容易に可視であるより明確な画像を生成することによって実行することができる。一実施形態では、システムは、平坦な５×５の概ね円形のカーネルを用いてＲ、Ｇ、Ｂ画像を収縮させ、収縮の最小値をとり、ガイデッド画像フィルタリングを実行して霞を平滑化し、除去された霞コントラストを３２グレーレベルの最大値（２５６のスケールで）にクリッピングすることによって霞をなくす。
【0075】
Ｚ補間：
記載されるＥＤＦシステムにおいて、現実では、フォーカスレベルが滑らかに変化する場合、あるフォーカスレベルから次のフォーカスレベルにＺインデックス値の大きいジャンプがあり得る。そのような不一致は、画像アーチファクトを生じさせ得る。この問題に対処するために、ＥＤＦシステムは、後処理Ｚ補間ルーチンを実行して、そのようなアーチファクトをなくすように構成され得る。この実施形態では、システムは、顕微鏡フォーカスステップのサイズを決定する。このサイズは、顕微鏡の被写界深度ほどの大きいサイズであり得、例えば２０×対物レンズの場合に最大で４ミクロンであり得る。Ｚ補間アルゴリズムは、Ｚインデックスアレイのガイデッドフィルタリングが実行される前に、Ｚインデックスアレイを伸長させてコントラストを上げる。これは、平滑化されたｚインデックスを生成する。次に、アルゴリズムは、２つの最良近傍フォーカスレベルを使用して画像強度を補間し、それにより平滑な画像を達成する。
記載されるＥＤＦシステムにおいて、現実では、フォーカスレベルが滑らかに変化する場合、あるフォーカスレベルから次のフォーカスレベルにＺインデックス値の大きいジャンプがあり得る。そのような不一致は、画像アーチファクトを生じさせ得る。この問題に対処するために、ＥＤＦシステムは、後処理Ｚ補間ルーチンを実行して、そのようなアーチファクトをなくすように構成され得る。この実施形態では、システムは、顕微鏡フォーカスステップのサイズを決定する。このサイズは、顕微鏡の被写界深度ほどの大きいサイズであり得、例えば２０×対物レンズの場合に最大で４ミクロンであり得る。Ｚ補間アルゴリズムは、Ｚインデックスアレイのガイデッドフィルタリングが実行される前に、Ｚインデックスアレイを伸長させてコントラストを上げる。これは、平滑化されたｚインデックスを生成する。次に、アルゴリズムは、２つの最良近傍フォーカスレベルを使用して画像強度を補間し、それにより平滑な画像を達成する。
【0076】
上述したように、テレセントリック及び非テレセントリックＥＤＦシステムの両方において、単一のエッジが合成ＥＤＦ画像において複数のエッジとして見えることがある。上記の処理ステップの１つ又は複数により、この問題に対処できることが分かっている。代替の実施形態では、ステップの順序は、例えば、ガイデッドフィルタリング前にＸＹＺ膨張を適用することによって変更され得る。
【0077】
本発明について、先に概説した実施形態と併せて説明した。一方、多くの代替形態、変更形態及び変形態形が当業者に明白になることが明らかである。したがって、先に記載した本発明の例示的な実施形態は、限定ではなく、例示であることが意図される。本発明の趣旨及び範囲から逸脱することなく、に種々の変更形態がなされ得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12】
【図13】
