知財求人 - 知財ポータルサイト「IP Force」
▶ シーディーエックス・メディカル・アイピー・インコーポレイテッドの特許一覧
特表2024-508079細胞及び組織をそれらの診断上の有意性の順で動的に優先順位付け、体系化及び表示する技術
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-22
(54)【発明の名称】細胞及び組織をそれらの診断上の有意性の順で動的に優先順位付け、体系化及び表示する技術
(51)【国際特許分類】
G01N 33/48 20060101AFI20240215BHJP
G06T 7/00 20170101ALI20240215BHJP
G06V 20/69 20220101ALI20240215BHJP
【ＦＩ】
G01N33/48 M
G01N33/48 Z
G06T7/00 630
G06V20/69
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023539783
(86)(22)【出願日】2022-02-08
(85)【翻訳文提出日】2023-06-28
(86)【国際出願番号】 US2022015588
(87)【国際公開番号】W WO2022170235
(87)【国際公開日】2022-08-11
(31)【優先権主張番号】63/146,956
(32)【優先日】2021-02-08
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】521045106
【氏名又は名称】シーディーエックス・メディカル・アイピー・インコーポレイテッド
【氏名又は名称原語表記】ＣＤＸ ＭＥＤＩＣＡＬ ＩＰ， ＩＮＣ．
【住所又は居所原語表記】２ Ｅｘｅｃｕｔｉｖｅ Ｂｌｖｄ．， Ｓｕｆｆｅｒｎ， ＮＹ １０９０１， Ｕ．Ｓ．Ａ．
(74)【代理人】
【識別番号】100167689
【弁理士】
【氏名又は名称】松本 征二
(72)【発明者】
【氏名】トジョン， ロバート
【テーマコード（参考）】
2G045
5L096
【Ｆターム（参考）】
2G045AA24
2G045CB02
2G045JA03
5L096BA03
5L096BA13
5L096DA01
5L096FA52
5L096FA77
5L096GA19
(57)【要約】
病理学者によって標本スライドを再見するのに用いられる対話型表示をレンダリングするシステム及び方法が提供される。本システムは、デジタル化スライドのすべての情報を含む一連のスライドをレンダリングし、診断上の有意性の順にタイルを線形的態様で提示する。さらに、高い異常性の程度を有する細胞を含むタイルには、再見する病理学者に異常性の判定に有益なコンテキストが提供されるように、隣接する細胞／組織の画像が提供される。
【選択図】 図１１
【選択図】 図１１
【特許請求の範囲】
【請求項1】
診断上の有意性を示す態様においてサンプルの細胞を動的に提示するコンピュータ実装方法であって、ａ．異常性の程度に応じてデジタル化標本における細胞をランク付けするステップと、
ｂ．前記ランク付けするステップに基づいて第１の細胞群を形成するステップであって、それにより該第１の細胞群の少なくとも１個の細胞が診断上有意となる、ステップと、
ｃ．前記ランク付けするステップに基づいて第２の細胞群を形成するステップであって、それにより該第２の細胞群は前記第１の細胞群よりも診断上の有意性が低くなる、ステップと、
ｄ．前記第１の細胞群を含む第１の画像タイルを生成するステップと、
ｅ．前記第２の細胞群を含む第２の画像タイルを生成するステップであって、前記第１の画像タイルは前記第２の画像タイルよりも大きい、ステップと、
を備える方法。
【請求項2】
前記第１の細胞群が、前記第２の群における診断上有意な細胞の量よりも多い診断上有意な細胞の量を含む、請求項１に記載の方法。
【請求項3】
前記第１の細胞群と前記第２の細胞群の間の空間的重なりを検出するステップと、前記第１の細胞群及び前記第２の細胞群を、該第１の細胞群及び該第２の細胞群を含む画像タイルに組み合わせるステップと、をさらに備える請求項１に記載の方法。
【請求項4】
前記第１の画像タイル及び前記第２の画像タイルを表示上に表示するステップをさらに備える請求項１に記載の方法。
【請求項5】
前記表示は、画像タイルの線形状提示を備える、請求項４に記載の方法。
【請求項6】
前記タイルの線形状提示において、前記第１の画像タイルは、前記第２の画像タイルよりも先に提示される、請求項５に記載の方法。
【請求項7】
画像タイルを動的に生成するシステムであって、電子ディスプレイと、
細胞を含むデジタル化細胞標本を記憶する記憶媒体と、
前記記憶媒体及び前記電子ディスプレイに動作可能に接続されたプロセッサであって、
ｉ）前記記憶媒体に記憶された前記デジタル化細胞標本にアクセスし、
ｉｉ）分類器の使用を通じて前記デジタル化細胞標本における第１の少なくとも１個の細胞に関連する第１の異常特徴及び前記デジタル化細胞標本における第２の少なくとも１個の細胞に関連する第２の異常特徴を識別し、
ｉｉｉ）前記第１の少なくとも１個の細胞に関連する前記第１の異常特徴に基づいて第１のスコアを計算し、
ｉｖ）前記第２の少なくとも１個の細胞に関連する前記第２の異常特徴に基づいて第２のスコアを計算し、
ｖ）前記第１の少なくとも１個の細胞を囲む前記デジタル化細胞標本の第１の対象領域を生成し、それにより該第１の対象領域のサイズは前記第１のスコアに基づいて前記プロセッサによって計算され、
ｖｉ）前記第２の少なくとも１個の細胞を囲む前記デジタル化細胞標本の第２の対象領域を生成し、それにより該第２の対象領域のサイズは前記第２のスコアに基づいて前記プロセッサによって計算され、
ｖｉｉ）前記第１の対象領域は、（ｉ）該第１の対象領域及び前記第２の対象領域が各々共通の外周部分を含むという判定、及び（ｉｉ）前記第１の対象領域及び前記第２の対象領域が各々共通の内部部分を含むという判定のうちの少なくとも一方に基づいて、前記第２の対象領域に接触するか否かを判定し、
ｖｉｉｉ）選択的に、前記判定が、前記第１の対象領域は前記第２の対象領域に接触するということである場合、
ａ．前記第１の対象領域及び前記第２の対象領域を、該第１の対象領域及び該第２の対象領域を含む前記デジタル化細胞標本の第３の対象領域に組み合わせ、
ｂ．前記第１の少なくとも１個の細胞、前記第２の少なくとも１個の細胞及び前記第３の対象領域を示す組合せ画像タイルを前記電子ディスプレイに表示する、
ように構成されたプロセッサと、
を備えるシステム。
【請求項8】
前記プロセッサは、選択的に、前記判定が、前記第１の対象領域は前記第２の対象領域に接触しないということである場合、前記第１の少なくとも１個の細胞及び前記第１の対象領域を示す第１の画像タイルを前記電子ディスプレイに表示し、前記第２の少なくとも１個の細胞及び前記第２の対象領域を示す第２の画像タイルを前記電子ディスプレイに表示するようにさらに構成される、請求項７に記載のシステム。
【請求項9】
前記デジタル化標本が細胞学的標本を含む、請求項７に記載のシステム。
【請求項10】
前記デジタル化標本は、細胞ブロックの少なくとも１つのスライスを含む、請求項７に記載のシステム。
【請求項11】
前記第１の対象領域及び前記第２の対象領域は、略四角形の形状である、請求項７に記載のシステム。
【請求項12】
前記第１のスコアは、異常性の指標でタグ付けされた細胞の複数の画像を備える学習セットを用いて学習されたニューラルネットワークに、入力として前記第１の少なくとも１個の細胞の画像を提供することに基づいて、前記コンピュータプロセッサによって判定されるニューラルネットスコアを含み、該ニューラルネットスコアは、前記ニューラルネットワークの出力である、請求項７に記載のシステム。
【請求項13】
前記ニューラルネットスコアは、異常性の程度を含むスコアの連続体から前記ニューラルネットワークによって選択される、請求項１２に記載のシステム。
【請求項14】
被検体からの標本における癌の診断又は識別を受けるステップであって、前記癌は請求項１から６のいずれか一項に記載の方法を用いて前記標本において診断又は識別されている、ステップと、前記診断又は識別された癌のための所定量の療法を前記被検体に施すステップと、を備える被検体における癌を処置する方法。
【請求項15】
被検体からの標本における形成異常の診断又は識別を受けるステップであって、前記形成異常は請求項１から６のいずれか一項に記載の方法を用いて前記標本において診断又は識別されている、ステップと、癌の可能性を低減し又は形成異常を処置する所定量の療法を前記被検体に施すステップと、を備える被検体における癌の可能性を低減し又は形成異常を処置する方法。
【請求項16】
前記療法が、抗癌小分子療法、抗癌放射線療法、抗癌化学療法、抗癌外科手術又は抗癌免疫療法である、請求項１４に記載の方法。
【請求項17】
前記療法が、形成異常のための小分子療法、放射線療法、化学療法、外科手術又は免疫療法である、請求項１５に記載の方法。
【請求項18】
被検体からの標本における癌の診断又は識別を受けるステップであって、前記癌は請求項７から１３のいずれか一項に記載のシステムを用いて前記標本において診断又は識別されている、ステップと、前記診断又は識別された癌のための所定量の療法を前記被検体に施すステップと、を備える被検体における癌を処置する方法。
【請求項19】
被検体からの標本における形成異常の診断又は識別を受けるステップであって、前記形成異常は請求項７から１３のいずれか一項に記載のシステムを用いて前記標本において診断又は識別されている、ステップと、癌の可能性を低減し又は形成異常を処置するための所定量の療法を前記被検体に施すステップと、を備える被検体における癌の可能性を低減し又は形成異常を処置する方法。
【請求項20】
前記療法が、抗癌小分子療法、抗癌放射線療法、抗癌化学療法、抗癌外科手術又は抗癌免疫療法である、請求項１８に記載の方法。
【請求項21】
前記療法が、形成異常のための小分子療法、放射線療法、化学療法、外科手術又は免疫療法である、請求項１９に記載の方法。
【請求項22】
前記癌は食道癌又は口腔癌である、請求項１４、１６又は１８から２１のいずれか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本発明は、２０２１年２月８日に出願された米国仮特許出願第６３／１４６，９５６号の利益を主張し、その内容が参照によりここに取り込まれる。
本発明は、２０２１年２月８日に出願された米国仮特許出願第６３／１４６，９５６号の利益を主張し、その内容が参照によりここに取り込まれる。
【0002】
本発明は一般に、潜在的に有害な組織及び細胞を識別、分類及び提示する分野に関する。より具体的には、本発明は、スライド上の組織及び細胞のデジタル顕微鏡画像を分析し、そして最も関心対象となる（例えば、癌性の可能性がある）スライド上の特定の領域を動的に識別、優先順位付け及び強調して、医療専門家が従来技術よりも高い効率及び精度で診断、予後評価、処置の決断及び処置を行うことを可能とする、改良されたコンピュータシステム及び方法に関する。
【背景技術】
【0003】
細胞を含む顕微鏡スライドの再見は、時間のかかる作業であり、それは人的エラーを起こしやすい。例えば、組織及び細胞の細胞学的標本は、様々な診断上のシナリオにおいて日常的に取得され、病理学者によって手動で分析される。他の状況では、組織の非裂傷性ブラシ生検サンプルは、組織及び細胞の適切なサンプルを取得するために、組織を貫通するのに十分に硬いブラシを用いて取得される。これらの全層組織標本を取得する処理において、単一細胞、細胞クラスター及び組織断片は採取されて顕微鏡スライドに移され、病理学者はその顕微鏡スライドを異常細胞（例えば、形成異常）について検査することになる。これは、以下で説明するように、手間暇がかかり、診断の見逃し及び不適切、非理想的又は不十分な処置につながり得る。
【0004】
病理学者によって検査される他の種類の細胞標本は、セルブロックスライド調製物を含む。セルブロックは、細胞及び組織を管内の液体培地に懸濁し、そして調製物を遠心分離して沈殿物を得ることによって調製される。遠心分離後、溶液は廃棄され、沈殿物は、パラフィン又は同様の媒体に包埋されてペレットを形成する。形成されると、ペレットは連続したスライスに切断され、それにより各スライスはペレット内の所与の平面における細胞／組織の断面を表す。スライスは、病理学者による顕微鏡下の検査のために、顕微鏡スライドに貼付されて処理される。
【0005】
組織及び細胞サンプルを採取するのにどのような生検技術が用いられたとしても、生検標本は通常、スライドの表面にわたってランダムに広がった数十万個の細胞を含む。細胞調製物は通常、高い細胞密度を有する領域、低い細胞密度を有する他の領域及び全く細胞を含まない他の領域がスライド上に存在するように、不均一である。疾患をスクリーニング及び検出するために、病理学者は、スライド上のすべての細胞、細胞クラスター及び組織断片を検査する必要がある。これは、手動でスライドの表面全体を通じて横断し、顕微鏡を用いて細胞及び組織を診査する必要があるので、非常に困難である。
【0006】
この手動アプローチに関連する問題は、多種多様である。
【0007】
第１に、病理学者は、疾患を示唆する細胞についてスライド上を見始める場所を知らない。多くの場合、病理学者は、疾患の兆候のないスライドの領域を選択し、そしてスライドを通じてスキャンして疾患を示唆する細胞を探し出す必要がある。結果として、病理学者がスライドのいずれの領域に問題があり、いずれの領域に疾患の兆候がないのかを最初に知っていたとしても、手動アプローチは、他の方法よりも時間がかかる。
【0008】
第２に、病理学者は、細胞の各領域を検査するために、スライドにわたってセクターごとに移動する必要がある。これによって、病理学者はスライド上の多大な表面領域をゆっくりと注意深く横断して異常細胞を探し、そしていずれの細胞が検査されているのか、その細胞がスライド上のどこに位置するのか、かついずれの細胞が異常であるのかを手動で記録することが必要となる。この手動処理は面倒であり、対象の細胞又は組織（例えば、形成異常、化生）を見落とす病理学者などの人的エラーをもたらしてしまうことが多い。スライドのスクリーニングの間、病理学者は、まず低解像度でスライドを再見し、対象領域を識別する。さらなる分析を必要とする領域が識別されると、病理学者は顕微鏡を高倍率に切り替えて細胞及び組織を詳しく観察する。ただし、病理学者は、この処理で小さな又は孤立した悪性細胞を見逃す可能性もあり、その場合、疾患又は異常性の証拠が見逃されてしまう。
【0009】
第３に、病理学者が診断対象の孤立した細胞又は組織（悪性細胞など）をスライド上で識別する場合、対象の細胞又は組織に隣接する領域内にある細胞及び組織に関する情報を閲覧することは、病理学者に非常に役立つことになる。これに関して、多くの場合、対象の孤立した細胞又は組織は、必ずしも疾患の指標であるとは限らない。一方、隣接する細胞及び組織も診断対象である（例えば、それらも異常又は悪性である）場合、疾患の可能性は、より一層高くなる。逆に、隣接する細胞及び組織が健全である場合、疾患の可能性は低い。
【0010】
特定の細胞又は組織は診断対象のものであるという判定又はタグに関連する対象タイルを提示する、コンピュータベースのシステム、例えば、Ｉｎｄｉｃａ Ｌａｂｓによって提供されるものなどのシステムが存在する。一方、本出願の発明者が認識しているように、そのようなコンピュータベースのシステムは、タイルの動的なサイズ変更、例えば、スライドの隣接する領域における複数の個別の診断対象の識別に基づくサイズ変更について、コンピュータによる技術を活用しない。むしろ、本発明の発明者が認識しているように、それらは、各診断対象の判定若しくはタグに関連する個別のタイルを単純に提示し、又はスライド全体を単純に提示する。
【0011】
残念ながら、本発明の発明者が認識しているように、周知のコンピュータシステムによって生成された対象タイルを検査する場合、病理学者は所与のタイル又はスライド全体を再見するので、隣接する領域に特異的に位置する細胞及び組織に関する情報は、病理学者には単純には入手不可となる。その結果、疾患の有無を判定するために、病理学者は、物理的（又はデジタル）標本スライド上で、関心対象の細胞及び組織に隣接する領域を調査するのに多大な時間を費やす必要がある。
【0012】
前述の処理は、非常に手間暇がかかり、多くの場合、病理学者は、隣接する領域の調査に長時間を費やした後に、その隣接する領域には対象の細胞又は組織がない（例えば、異常がない）ことを発見することになる。
【0013】
本発明の発明者が認識しているように、病理学者がより高い効率で疾患を除外又は診断を行い得るように彼らが対象の細胞又は組織領域に隣接する領域内の細胞及び組織に関する情報へのアクセスを即時に供与された場合、それは、診断上の利点及び有効性の著しい改良となる。残念ながら、そのような周知のシステム又は方法は存在しない。
【0014】
第４に、病理学者にとって、すでに再見したスライドの領域及び未だ再見していないスライドの領域並びに異常細胞が位置する領域を正確に記録することは非常に困難である。これらの困難のため、病理学者は、スライドの同一領域を複数回再見することが多く、それにより、処理にさらに時間がかかり、資源が無駄になり、さらなる人的エラーをもたらし得る。
【0015】
最後に、対象の細胞及び組織断片（例えば、形成異常組織）はスライドの様々な領域の全体を通じてランダムに分布しているため、そのようなスライドの再見は一般に、非系統的及び体系化されていない態様で行われる。そのため、病理学者は、場合によっては重要な疾患細胞を見逃してまで、異常細胞を追求して正常細胞又は対象とならない細胞を再見することに貴重な時間を費やすこともある。
【0016】
これらの理由のため、スライド上の細胞及び組織を再見及び分析するのに病理学者によって用いられる手動方法は、体系化されておらず、時間浪費的であり、（癌などの）疾患の診断の見逃しをもたらし得ることが多い。
【0017】
従来のシステムは、標本スライドのコンピュータ支援分析を行う目的で作成されており、それは、病理学者によって用いられる手動方法に関連する問題のすべてではないが一部に対処している。そのような従来のシステムは、出願人及びその前任者によって作成されたコンピュータ及びソフトウェアシステム（例えば、米国特許第６，３２７，３７７号）を含む。これらのシステムは、標本スライド上で最も異常に見える細胞を識別するように構成された分類器及び特別に学習されたニューラルネットワークコンピュータを含む。
【0018】
しかし、そのようなシステムは、孤立したそれぞれの個々の細胞を識別するのみであり、識別された個々の細胞に隣接する組織領域を示さない。消化管（及び他の身体部位）の組織に関連する異常性の診断では、単一の異常細胞に基づいて診断を行うことは非常に困難である。したがって、病理学者にとって、異常細胞に隣接する組織を再見して、同一領域に他の異常細胞が存在するか否かを評価することは非常に重要である。隣接する細胞の完全なクラスター又はグループ化が病理学者に提示される場合、病理学者には、診断を行うのに必要なコンテキストが提供される。したがって、隣接する細胞に関する情報を有することは、診断を行う際の病理学者の信用性及び精度を増加することになる。残念ながら、本発明の発明者は、従来技術は隣接する細胞の診断対象のレベルに基づいて、検討中の細胞とともに、隣接する細胞に関する有用な情報を選択的に提供できないことを認識した。さらに、本発明の発明者らは、従来技術は動的サイズ変更などのコンピュータによる技法を任意のそのような目的のために採用できないことを認識した。
【0019】
さらに、異常性について陽性である細胞は、クラスターにグループ化される傾向がある。一方、従来のシステムは、通常はそのようなクラスターのすべてではなく、１つのセクション又は一部のみを示す。特に、本発明の発明者らは、現在のコンピュータベースのシステムが、近傍細胞又は組織の（クラスタリングなどの）特徴に基づいて、診断上の有意性のある細胞又は組織に関連する提示画像の動的なサイズ変更に対応できないことを認識した。その結果、病理学者は、クラスターの完全なコンテキストの利点を常に有することはできず、それにより診断上の精度を損なう可能性がある。あるいは、病理学者は、提示された部分的な情報を決定的ではないと判断し、表示されていない情報を見つけるために、顕微鏡下で完全なクラスターを手動で検索することを強要され得る。これは時間浪費的な処理であり、病理学者が残りのクラスターを見つけることができなかった場合、そのような失敗は誤診をもたらし得る。
【0020】
従来のシステムは有用であるが、それらは、病理学者に対して、すべての異常細胞が表示されていることの合理的な信用性も、細胞の完全なクラスター又はグループ化が表示されていることの合理的な信用性も提供しない。これは、そのような従来のシステムは、スライドの動的なサイズ変更可能な領域内のすべての異常細胞に関してコンピュータによる信頼できる判定を行って表示するように構成されているのではなく、代わりにそのような細胞のサブセットの個別及び非集約的な検討に基づいてタイルを提示するにすぎないためである。さらに、従来のシステムは、病理学者に対して、彼らがスライド上のすべての対象の領域及び細胞を再見したことを保証する方法を提供しない。従来のシステムは、診断上の高次な対象の標本の領域を識別及び体系化することも、病理学者がそのような高次な対象の領域に彼らの分析を集中できるようにその領域をスマートギャラリーに優先的に体系化することもしない。これらの欠点も、診断の見逃し又は不完全な診断及び誤診をもたらし得る。
【0021】
前述の説明からわかるように、病理学者によって用いられる方法（従来のコンピュータシステムの有り及び無しの双方とも）は、標本スライドの多大な手動再見を伴う。一方、手動再見は非常に手間暇がかかり、エラーが発生しやすく、診断の見逃し及び誤診をもたらすこともあり、診断を行うのに必要な手動再見の程度を低減することは有利となる。（癌などの）疾患の検出を扱う場合、目標は常に、エラーを最小化し、精度を最大化することである。他の目標は、精度を犠牲にすることなく、スライドを再見する効率を最大化することである。従来の方法はこれらの目的に合致するのにある程度成功してきたが、従来の方法の精度及び効率について改良するシステム及びスライドの順序付けされていない手動再見を置換するシステムについて、長年にわたるニーズが存在する。
【0022】
サンプルスライドから悪性腫瘍、前悪性腫瘍及び病状の識別まで進めることにおける空間的及び時間的非効率性の問題並びに非効率的な作業の重複、誤診及び精度の課題は、本開示によって解決される。
【発明の概要】
【0023】
本発明の実施形態は、特に（１）標本スライド上の細胞及び組織を自動的にスキャン及び分析し、（２）そのような細胞及び組織を診断上の重要度によって分類し、（３）個々の対象領域がコンピュータ実装スコアリング方法論により特定されるサイズを有する態様などのように、複数の組み合わされた対象領域を取り込むデジタルスライドのコンピュータによる動的なサイズ変更を採用し、（４）標本スライド全体に対応する画像タイルのギャラリーを作成し、（５）画像タイルを病理学者に診断上の重要性の順に体系化して提示するコンピュータシステムを提供する。
【0024】
診断上の重要性は、個々の異常細胞の存在、及びそのような異常細胞が物理的又は空間的にともにグループ化されているか否かの判定に直接関係する。これに関して、異常性について陽性である細胞は、通常、孤立して現れるのではなく、むしろ、それらは、より一般に（例えば、隣接する領域における）他の異常細胞とグループ化される。したがって、異常細胞群の存在は、診断上重要であり、識別される場合、「陽性」診断が正確であるというある程度の信用性を病理学者に提供する。
【0025】
本発明の実施形態では、本発明のシステムは、診断上重要な細胞群（例えば、異常細胞群）を動的に識別し、そして、病理学者がスライドの分析を開始する場合、彼らがそのような群を即時に再見できるように、そのような診断上重要な群をディスプレイに（例えば、動的にサイズ変更されたタイルの一部として、ともに）体系化する。これに関して、本発明の実施形態によると、システムは、そのような診断上重要な群を、そのような群が最初に再見されることを可能とすることになる態様において、病理学者に提示する。例えば、実施形態では、システムは、（より小さなタイルとして表示されることになる）孤立した細胞などの診断上有意ではない細胞よりも目立つことになる、診断上重要な細胞の画像タイル（例えば、大きな画像タイル）を生成する。
【0026】
本発明の実施形態では、（診断上最も有意である）より大きなタイルは、それらが診断を行うのに必要とされる最重要の情報（例えば、関心対象の細胞群及び組織）を含むため、線形表示において最初に表示され得る。孤立した異常細胞及び／又はグループ化されていない異常細胞は、それらが診断上の有意性が低い情報を含むため、より小さなタイルで表示され、大きなタイルの後に示される。画像のサイズは、同一付近における陽性事象の数と相関する。同一付近における事象が多いほど画像が大きくなり、画像のサイズはより高い信用性を表す。何が同一付近であるかは、検査される細胞の種類又はクラスターによって判定され得る。一般に、サンプルでは、細胞間の距離は、細胞のクラスター間の距離よりもはるかに小さいことが多い。実施形態では、近接距離が求められ、ここで、その距離は細胞間の距離よりも大きいが、クラスター間の距離よりも小さい。実施形態では、細胞間の距離の５．５倍から６．５倍、例えば、６倍が、ＧＩ又は食道標本に適切となり得る。例えば、陽性事象間の距離が細胞間の距離の６倍未満の場合、それら２つの事象は同一クラスターのものであると想定され得る。他の身体部位は、異なる距離を有し得る。近接の例を図１８に示す。
【0027】
本発明の実施形態では、システムは、デジタルメモリに記憶されたデジタル化標本スライドを分析し、例えば、異常度により、デジタル化標本のそれぞれの領域にスコアを割り当てる。すなわち、例示的な実施形態では、スコアの連続体に沿って、高度に異常であるとみなされる標本領域には高いスコアが与えられ、正常な標本領域には低いスコアが与えられる。例示的な実施形態では、システムはスコアを用いて対象領域を指定し、それにより、より高いスコアによってより大きな対象領域がもたらされ、より低いスコアによってより少ない（例えば、小さい）対象領域がもたらされる。対象領域は、診断対象の細胞又は組織に隣接する（例えば、細胞又は組織を囲む）画像セグメント又は画像領域である。本発明の実施形態では、スコアによって判定されるこれらの対象領域は、対象の細胞又は組織を囲むどの程度の画像領域が画像タイルに含まれ、ユニットとして病理学者に提供されるのかを判定するのに用いられる。実施形態では、閾値が適用されてもよく、例えば、対象領域は、スコアが所定の閾値、例えば０．５又は０．８を超えた場合にのみ指定され得る。
【0028】
本発明の実施形態では、対象領域（例えば、診断上重要な細胞群又はデジタルスライドの領域に対応する幾何学的に境界のある形状）が、前述のスコアリングシステムを用いて識別されると、システムは（例えば、少なくとも最初にそのような幾何学的に境界のある形状に対応する）一連のタイルを動的に生成し、その各々は任意の組み合わせで細胞、細胞クラスター及び／又は組織断片の画像を含み得る。実施形態では、タイルは、診断上の重要度に応じて（例えば、診断上の重要性が最も高い細胞を有するタイルから診断上の重要性が最も低いタイルまで）ディスプレイに線形的態様で提示され、（例えば、左から右へ若しくは上から下へ、又は時系列での提示若しくは強調を通じて）体系化され、順序付けられる。ランク付けは、ニューラルネットワークスコアに基づいてもよい。ニューラルネットワークは、異常性を認識するように学習されており、通常は０から１までのスコアを与え、１にはそれが異常であるという信用が最もある。本発明の実施形態によると、スライド全体が画像化され、凝縮され、かつ順序付けられた態様で病理学者に提示される。実施形態では、標本情報のすべて、すなわち、コンピュータ処理を通じて診断上関連性があると判定された標本情報のすべてが、例えば、電子ディスプレイに一連のタイルにおいて提示されるため、システムは、病理学者が、標本スライドを個別に再見する必要なく、タイルを再見することを可能とする。たとえ高スコアが割り当てられていても、それが（確率論的）偽陽性事象であり得るという、有限かつ小さい可能性が存在する。これに対処するために、隣接する陽性事象を識別することが、問題を改善する。同一付近に複数の陽性事象が存在する場合、それらの組み合わせられた事象が偽陽性である可能性は低い。これは、陽性細胞が本質的にどのように生じるのかを反映しており、それらはほとんど存在しないが、それらが出現する場合には、それらは一般にクラスターにおいて出現する。これにより、病理学者が、診断上重要な潜在的に有害な細胞及び組織を見落とす可能性を全体的に低減しながら、より迅速にかつより高い精度で標本スライドを再見することが可能となる。
【0029】
実施形態によると、一連のタイルを作成するために、顕微鏡スライドは、最初にデジタル化され、そしてコンピュータによって形態学的に分類される。そのような自動分類の一部として、スライド上に存在する細胞は、それらの異常度についてのスケールに応じてコンピュータによってスコアリングされる。システムは、コンピュータが生成したスコアを用いて、対象の細胞を囲む画像領域のどれほどが病理学者に提示されるのかを判定する。例えば、本発明の実施形態では、細胞が異常性について高くランク付けされるほど、タイルに含まれる高ランクの細胞に隣接する画像領域のサイズは大きくなる。ｒ－ｔｒｅｅデータ構造方法が採用されてもよい。これに関して、病理学者が異常細胞を検出する場合、正確な診断を提供するために、異常細胞に隣接する組織及び細胞を検査することが重要である。これは、（例えば、消化管又は食道の）組織を診断する場合、１つの異常細胞は、正確な診断を行うのに十分な情報を必ずしも提供するとは限らないためである。むしろ、周囲組織も閲覧する必要があることが多い。隣接する細胞も異常であり、又はまさに限りなく異常に近い場合、病理学者は、隣接する細胞がタイルに含まれていなかった場合よりも、より効率的な（例えば、より迅速な）診断を行うことができることになり、より正確な診断を行うこともできることになる。
【0030】
したがって、本発明の実施形態では、最も診断対象となるタイル（及び、例えば、ここでさらに説明するように、コンピュータ実装アプローチが複数の接触領域をともにグループ化したため、物理的にともにグループ化されたタイル）は、大きい方のタイルが、対象細胞及び／又は付随する隣接する１以上の陽性領域の診断上の重要性に関して判定された対象細胞及び周囲領域を含むことになるので、診断上対象とならない及び／又は孤立した特徴を有するタイルよりも大きくなることになる。大きい方のタイルは、病理学者の電子ディスプレイに時系列的に又は位置的に表示される場合、それらが最重要となり得るため、一連のタイルにおいて優先的に最初に位置し、最小のタイルは、それらが孤立しており、最も重要性ではないこともあるため、一連のタイルにおいて最後に位置する。結果として、重要である可能性が最も高いスライドの領域は、病理学者によって最初に再見可能であり、又はそうでなければ、病理学者がこれらの領域に病理学者の最大限の注意を払うべきであることを示唆する態様で病理学者に提示され得る。
【0031】
本発明の実施形態はまた、スライド上の「デッド領域（ｄｅａｄ ａｒｅａ）」（例えば、細胞を有さない領域又は見かけの診断状関連性が所定の程度よりも少ない細胞を有する領域）を除去し、したがって、病理学者によって再見される、例えば、電子ディスプレイにおける２次元表面領域を大幅に低減し、それにより、そうでなければスライドを再見するのに要することになる時間を低減する。
【0032】
したがって、本発明の目的は、病理学者が従来のスライドを横断する必要がないように、一連のタイル又は他の順序付けられたタイルの提示として標本調製物をレンダリングし、それにより、病理学者によって横断されるのに必要とされる時間及び／又は２次元のスライド表面領域の双方を低減することである。
【0033】
本発明の他の目的は、タイルを診断上の重要性に応じた優先順位で病理学者に提示することである。
【0034】
本発明のさらに他の目的は、どの程度の補助的な画像コンテキストを病理学者に提供するのかを判定することである。
【0035】
本発明のさらに他の目的は、全体スライド画像から線形表示又は他の順序付けられた表示を作成することである。
【0036】
本発明の他の目的は、ユーザの再見活動を追跡する診断表示プラットフォームを提供することである。
【0037】
本発明の他の目的は、ユーザが、異常性について陽性及び／又は陰性である標本領域を選択し、それを比較及び表示する種々の表示形式のいずれかをレンダリングすることを可能とする診断表示を提供することである。
【0038】
さらに、本発明は、サンプルスライドから悪性腫瘍、前悪性腫瘍及び病状の識別まで進めることにおける空間的及び時間的非効率性の問題、並びに非効率的な作業の重複、誤診及び精度の課題に、現実の実用的な解決策で対処する。ここで記載される処理及びシステムは、最初のサンプルから提供される画像データとの動的な相互作用をもたらして、サンプルスライドから悪性腫瘍、前悪性腫瘍、及び病状の識別まで進めることにおける空間的及び時間的非効率性を生じさせる態様、並びに非効率的な作業の重複、誤診、不正確性が拡がることを低減する課題において、表示を変形する。本発明が存在しない場合、サンプルの定量化及び格付けはより遅く、あまり定量的ではなく、定性的に異なる。
【0039】
本発明は、とりわけ、（１）生検から採取され、スライド上に配置された細胞及び組織のデジタル顕微鏡画像を分析し、（２）細胞及び組織の潜在的な悪性腫瘍を格付けするスコアに基づいて、（ａ）最も危険（例えば、癌性）である可能性が高い複数の細胞及び／又は組織を含み、したがって病理学者による最初の及び非常に慎重な再見を必要とするスライド上の領域を特定及び強調し、（ｂ）細胞が孤立している（したがって良性である可能性が高い）スライド上の領域を特定及び強調解除して、それにより、そのような領域はあまり重要ではなく、迅速に再見され得ることを病理学者に示すデジタル化された画像タイルを動的に出力し、（３）病理学者が再見したスライド上の領域を追跡し（これはこのソフトウェアが存在しなければ行うのは非常に困難である）、そして（４）病理学者がスライドに注釈を付けることを可能とする、改良されたコンピュータシステム及び方法で前述の目的を充足する。
【0040】
このシステム及び方法は、疾患の検出及び診断の精度を増加させながら、上記の従来の方法及びシステムに関連するエラーの可能性を減少させる。本発明のシステムはまた、従来の方法及びシステムと比較して、スライドが病理学者によって診断所見の精度を犠牲にすることなく再見されて診断を行い得る効率を増加する。
【0041】
被検体における癌を処置する方法は、被検体からの標本における癌の診断又は識別を受けるステップであって、癌はここで記載される方法を用いて標本において診断又は識別されている、ステップと、診断又は識別された癌のための所定量の療法を被検体に施すステップと、を備える。
【0042】
被検体における癌の可能性を低減し又は形成異常を処置する方法は、被検体からの標本における形成異常の診断又は識別を受けるステップであって、形成異常はここで記載の方法を用いて標本において診断又は識別されている、ステップと、癌の可能性を低減し又は形成異常を処置する所定量の療法を被検体に施すステップと、を備える。
【0043】
実施形態では、療法は、抗癌小分子療法、抗癌放射線療法、抗癌化学療法、抗癌外科手術又は抗癌免疫療法である。
【0044】
実施形態では、療法は、形成異常についての小分子療法、放射線療法、化学療法、外科手術又は免疫療法である。
【0045】
被検体における癌を処置する方法は、被検体からの標本における癌の診断又は識別を受けるステップであって、癌はここで記載されるシステム又はプロセスを少なくともある程度用いて診断又は識別されている、ステップと、診断又は識別された癌のための所定量の療法を被検体に施すステップと、を備える。一実施形態では、施す医療提供者には、ここで記載の処理又は方法を用いる識別又は診断による、被検体からの標本における癌の完全又は部分的な診断又は識別が提供されている。
【0046】
被検体における癌の可能性を低減し又は形成異常を処置する方法は、被検体からの標本における形成異常の診断又は識別を受けるステップであって、形成異常は診断又は識別の一部としてここで記載のシステムを用いて標本において診断又は識別されている、ステップと、癌の可能性を低減し又は形成異常を処置する所定量の療法を被検体に施すステップと、を備える。
【0047】
実施形態では、療法は、抗癌小分子療法、抗癌放射線療法、抗癌化学療法、抗癌外科手術又は抗癌免疫療法である。
【0048】
実施形態では、療法は、形成異常についての小分子療法、放射線療法、化学療法、陽子線療法、外科手術又は免疫療法である。実施形態では、外科手術は、ステントを挿入する。実施形態では、外科手術は、悪性組織を除去する。実施形態では、癌は、食道癌又は口腔癌である。実施形態では、食道癌は、腺癌又は扁平上皮癌である。実施形態では、癌はＥＳＣＣ（食道扁平上皮癌）である。実施形態では、処置は、ペムブロリズマブを含む。実施形態では、処置は、ニボルマブを含む。
【0049】
本開示の特徴及び有利な効果は、添付の図面と併せて以下の詳細な説明を参照して、より完全に理解される。
【図面の簡単な説明】
【0050】
【図6】図６は、本発明の例示的な実施形態による、分割画面の第１の側の一連のタイル、及び分割画面の第２の側に示されるデジタル化全体スライドの縮小図における２つのそれぞれタグ付けされた領域を示す表示画面の概略図である。
【発明を実施するための形態】
【0051】
ここで、本発明の実施形態を、上記図の図面を参照して説明する。ただし、本発明のここでの図面及び説明は、本発明の範囲を限定することを意図したものではない。本発明の本説明の種々の変形例は、本発明の趣旨から逸脱することなく可能となることが理解される。また、いずれも本発明の趣旨から逸脱することなく、ここで説明された特徴が省略されてもよく、追加の特徴が含まれてもよく、及び／又はここで説明された特徴がここで説明された特定の組合せとは異なる態様において組み合わされてもよい。
【0052】
上記のように、本発明の実施形態は、細胞調製物をデジタル化し、診断上有意な情報についてデジタル化画像を分析し、そしてデジタル化全体スライドを、それらの診断上の有意性に応じて体系化された一連のタイルにパッケージングすることに関する。分析は、アルゴリズム分類器、ニューラルネットワークコンピュータのいずれか又はそれら双方を用いて細胞及び組織の形態学的及びその他の生物学的特徴を検出することを含む。例えば、そのような分類器及びコンピュータは、細胞成熟の欠如及び付随する悪性腫瘍を示す傾向のある異常な核対細胞質比を有する細胞を識別するのに用いられてもよい。実施形態では、入力として及び／又はニューラルネット分類器の学習セットの画像として提供される画像のサイズは、２１×２１若しくは５０×５０ピクセル又はそれら程度のものであってもよく、実施形態では、各方向に２個、３個又は４個の細胞の幅を反映するためにサイズ設定されてもよい。そして、システムは、細胞又は組織の診断上有意な群を識別する。その後、診断上最も有意な（例えば、疑わしい）細胞群を含む、様々なサイズのタイルが、動的に作成される。
【0053】
通常、病理学に関する細胞標本の調製では、臨床医は、細胞及び／又は組織をガラス製の顕微鏡スライドに移動及び貼付する。そして、スライドは、さらなる処理及び医学的診断のために研究室に送られる。さらなる処理は、スライドを染色して、顕微鏡下で見た場合、サンプル（又はサンプルの特定の特徴）のコントラストを鮮明化し、又は特定のタンパク質に結合する抗体を用いることによってこれらのタンパク質を強調表示することを含み得る。そのような染色は、例えば、フォイルゲン、パパニコロウ、ヘマトキシリンエオシン（Ｈ＆Ｅ）、アルシアンブルー、並びに、例えば、いくつか例を挙げると、ｃｄｘ２、ｍｕｃ２及びｐ５３などの免疫組織化学的染色を含み得る。検査技師は、スライドにカバースリップ及びラベルも適用し得る。
【0054】
いくつかの細胞／組織調製物は比較的平坦であり、２次元平面を占める。一方、他のサンプルは３次元性を含み得ることが理解される。例えば、硬いブラシを用いて上皮組織をサンプリングする経上皮ブラシ生検器具は、細胞、細胞クラスター及び組織断片を取り出すことが多い。結果として得られた標本は独特の厚みがあり、スライドにわたって広がった生物学的材料は、少なくともいくつかの領域では本質的に３次元となり得る。そのような厚みのある３次元標本は、例えば、患者の食道の上皮組織をサンプリングするのに用いられる出願人のＷＡＴＳ３Ｄサンプリング器具の使用により生成される。実施形態では、サンプルは、広域経上皮サンプリングによって取得される。実施形態では、サンプルは、ブラシ又はスパチュラによって取得され、液体固定剤を含む瓶などの容器に配置される。実施形態では、生体サンプルを取得するのに用いられるブラシ器具の部分を含む毛がブラシ器具の残りの部分から切取され、生体サンプルを含む部分を含む毛が、液体固定剤を含む瓶内の適所に配置される。サンプルを含むその液体は、瓶が開封され、サンプルスライドを作製する器具上に配置される研究室に送られる。
【0055】
本発明の実施形態は、従来の平坦な調製物又は特徴において厚みがあり３次元である調製物のいずれかをスキャンすることに関する。
【0056】
本発明の実施形態では、例えば図１に示すように、本発明の実施形態によるシステム構成２０は、スライドから画像の集合を取得する光学システム２１を含む。光学システム２１は、顕微鏡（例えば、高倍率顕微鏡）、スライド位置決めステージ及びカメラを含み得る。例えば、コンピュータのプロセッサ２４は、例えば、ｚ方向及び／又は他の方向においてステージの移動を制御して、十分な数の画像を入手して標本スライドの全体スライド画像を構成する。システム２０は、入手した画像を記憶する記憶装置２６をさらに備える。記憶装置２６は、ハードドライブ若しくはＳＳＤ（ソリッドステートドライブ）、若しくは他の種類のメモリ装置（例えば、高速メモリ装置）及び／又はクラウドベースのストレージなどの分散ストレージを備え得る。プロセッサ２４（又は協働する複数のプロセッサ）は、デジタル化全体スライド画像を生成するために、スライド画像の集合を処理する。プロセッサ２４は、処理速度を増加させるために、（グラフィック処理装置、すなわち「ＧＰＵ」などの）特殊な画像処理ハードウェアであってもよく、又はそれと併用されてもよい。
【0057】
当業者であれば、光学システム２１は、ステージの毎回の移動後に画像を撮像及び記憶するように構成されてもよく、又は代替的に、例えば、Ｘ方向若しくはＹ方向に沿ってステージが一定速度若しくは可変速度で移動する間、定期的な時間若しくは距離間隔で連続的及び継続的に画像を撮像するように構成されてもよいことが理解される。実施形態では、間隔は、対象の細胞の種類の平均サイズに応じて判定され、例えば、細胞幅の０．２５倍、０．５倍、０．７５倍又は１倍の間隔であり得る。実施形態では、間隔は、各位置で撮影される画像サイズに応じて判定され、例えば、画像幅の０．１２５倍、０．２５倍又は０．５倍であり得る。蛇行経路又は他の経路は、スライドのイメージを全体として提供するために採用され得る。例えば、そのような経路では、移動は、Ｘ方向及びＹ方向の双方に生じてもよく、定期的で小さな間隔での結果がニューラルネットワークに提供される。実施形態では、経路に沿った近傍スコアの低い単一又は少数の（例えば、０．５以上などの閾値を超える）高い方のスコアは（例えば、偽陽性の可能性があるとして）選択的に廃棄されてもよく、一方、例えば、エンベロープは、一連の高い方のスコアの中心位置又は高いスコアリング経路セグメントに沿った最高スコアの中心位置の周りに形成された状態で、より長い一連の高い方のスコアはエンベロープ形成に選択的に用いられてもよい。例えば、２番目、３番目、４番目又は中央値のスコアの位置がエンベロープの中心に用いられた状態で、３、５又は７個の連続した高い方のスコアがエンベロープ形成に必要となり得る。実施形態では、経路セグメントを形成する高い方のスコアの数が、初期エンベロープサイズの判定において検討されてもよい。例えば、実施形態では、エンベロープサイズは、検討される高いスコアの数に比例し、又はこの数に比例する係数で乗算され得る。有利なことに、これは、エンベロープサイズが、潜在的な対象の細胞若しくは細胞クラスター若しくは組織のサイズ又は他の特徴に、より密接に一致又は比例することをもたらし得る。実施形態では、高スコアを有する位置の発見は、経路の変更又は経路への追加をもたらすこともあり、例えば、高スコア（例えば、０．９以上）は、所定のセグメント長に（例えば、３、５、７、９又は１１個の間隔又は撮像回について）、高スコアの部位で、先行経路に対して垂直な追加の経路付けをもたらす。例えば、ｚ方向における焦点調整は、手動又は自動で行われ得る。本発明の実施形態では、連続的及び継続的なアプローチは、デジタル化全体スライド画像の生成時に、より高速となり得る。実施形態では、ＡＰＥＲＩＯ又は３ＤＨＩＳＴＥＣＨのものなどの市販スキャナが採用され得る。
【0058】
本発明の実施形態では、実質的に３次元である標本スライドは、病理学者及び／又はコンピュータシステムによって検査される前に追加の処理を受ける。具体的には、撮像された細胞標本のデジタル顕微鏡画像は、診断上重要な対象物及びそれらの相互の空間的関係を保存したエンハンスト合焦デジタル画像を生成するエンハンストＥＤＦシステムによってさらに処理され得る。これは、アーチファクト及び偽の画像が低減され、診断上重要な対象となる対象物が焦点を合わせてコンピュータに表示されるため、コンピュータ分析システムの精度を増加する。例えば、本発明の実施形態では、標本スライドは、参照によりその内容が完全にここに取り込まれる米国特許第８，１９９，９９７号に説明される画像処理技術によりデジタル化される。
【0059】
実施形態では、細胞又は組織のイメージ、例えば食道細胞又は組織のイメージは、ブラシによるサンプリング技術を用いて（例えば、ＷＡＴＳ若しくはＷＡＴＳ－３Ｄブラシ又は広域経上皮サンプリング技術及び器具を用いて）取得され得る。実施形態では、そのようなアプローチは、ここで説明されるようにシステムによる分析に入力を供給するために、ここで説明されるようにニューラルネットワークの学習セットにおいて用いられ得るライブラリにイメージを提供するために、又はその双方のために用いられ得る。
【0060】
標本スライドがデジタル化された後、スライドのデジタル画像は、例えば、コンピュータのプロセッサ（例えば、２４）によって分析されて、対象の細胞、細胞クラスター及び組織断片を検出する。本発明の実施形態では、デジタル化全体スライド画像は、最初にアルゴリズム分類器によって処理され、そして、２次的にニューラルネットワークコンピュータによって処理される。アルゴリズム分類器は、デジタル化画像内に、細胞核であり得る候補対象物の第１の群を位置特定する。デジタル化画像は、その後に２次的にニューラルネットワークコンピュータによって分析されてもよい。実施形態では、アルゴリズム分類器又はニューラルネットワークはまた、細胞のスコアを計算し得る。例えば、スコアの数値は、例えば癌性細胞又は形成異常細胞に関連するものなどの形態学的な特徴の、存在又は見かけ上の若しくは確率的な存在と相関し得る。アルゴリズム分類は、概略として米国特許第５，９３９，２７８号、第５，２８７，２７２号、及び第６，３２７，３７７号に記載され、それらのすべてが参照によりここに取り込まれる。適切なニューラルネットワークは、畳み込みニューラルネットワークを含む。
【0061】
本発明の実施形態では、改良されたアルゴリズム分類器は、診断対象の特徴、例えば、形成異常細胞又は癌性細胞と一致する形態学的な属性を有する個々の細胞を識別する。本発明の実施形態では、そのような分類は、例えばプロセッサ２４にストレージ２６との組合せで実装され、形成異常又は癌性の細胞又は細胞クラスターを表す可能性が最も高い細胞又は細胞クラスターを認識するように学習されたニューラルネットワークによって行われ得る。本発明の実施形態では、ニューラルネットワークは、アルゴリズム分類器の後に２次的な分類を提供するのに用いられ得る。本発明の実施形態では、ニューラルネットワークには、第１のパスにおいてアルゴリズム分類器によって識別された１以上の画像が入力として提供される。ニューラルネットワークは、細胞又は組織の、それらの形態学的な特徴に応じたスコアでタグ付けされた複数の画像を備える学習セットで学習され得る。例示的な実施形態では、画像は、少なくとも１セットのライブラリ画像を有するデータベースから取得され、又はそのデータベースに記憶され得る。例示的な実施形態では、画像は、細胞又は組織が異常状態を有するか否かの指標、例えば、病理学者によって以前に割り当てられたもので（例えば、陽性の診断又は評価に関連する１、及び陰性の診断又は評価に関連する０で）タグ付けされ得る。他の実施形態では、診断の確度の程度が低い方のライブラリ画像には、確率スコア、例えば、０．５が割り当てられ得る。他の実施形態では、スコアは、様々なスケール、例えば１つ挙げると（例えば、割合として示される確率を示す）０～１００に応じて割り当てられ得る。
【0062】
実施形態では、学習セットデータは、例えば、複数人の病理学者が各々評価に同意したか、又は設定された割合（例えば、８０％）を超えて評価に同意したかに応じてフィルタリングされたフィルタリング済み画像データを含み得る。そのような評価は、１人又は数人の病理学者によって、例えば、本開示の他の箇所で説明される表示及び評価の方法論を通じて提供され得る。実施形態では、これらの結果は、学習データが結果的にフィルタリング可能となるように、例えば、インターネットを介した安全な接続を介して１以上のニューラルネットワークに関連付けられたプロセッサに電子送信され得る。
【0063】
本発明の実施形態では、検査中の細胞又は組織は、画像データで学習された複数のニューラルネットワークに選択的に供給され得る。例えば、本発明の実施形態では、細胞は、正常細胞及び異常細胞の、そのように（例えば、０又は１に）ラベル付けされた鮮明な又は相対的に鮮明な画像で（例えば、ライブラリに応じて）学習されたニューラルネットワークに入力として提供され得る。そのようなニューラルネットワークによって判定された結果が十分に明確ではない事象（例えば、０．３～０．７の結果）では、入力は第２のニューラルネットワークに選択的に提供されてもよく、第２のニューラルネットワークは、細胞又は組織についてあまり鮮明ではないケース又はエッジケースの画像であって、それらが正常又は異常状態をそれでも表すか否かを病理学者によってタグ付けされた（例えば、第２のライブラリからの、又は評価が病理学者間で変動する画像に関する）画像を含む学習セットで学習されたものである。これにより、評価は、入力された細胞又は組織の画像に対してより適合可能な画像セットを通じて行われ得る。例示的な実施形態では、さらなるパスが、例えば、スコアリングに伴うニューラルネットワークの学習セットとして用いられるさらなる画像のライブラリ又はそれらの一部に応じて反復的態様で行われてもよい。実施形態では、特異的な細胞の種類、特定の異常状態又はその双方に関する画像に応じて学習された異なるニューラルネットワーク又は異なる学習セットが用いられてもよい。
【0064】
実施形態では、例えば、ニューラルネットワークによって出力されたスコアリングが、関連のタイルに関して、病理学者による後の評価又は数人の病理学者の投票若しくは平均評価による後の評価と一致するか否かを評価することの結果として（例えば、本出願の他の箇所で説明されるように、そのような表示機能性を用いて再見されている間に）、ニューラルネットワークの最適化が行われてもよい。例えば、学習セット内の特定の画像が有し得る重要度を、例えば、出力スコアにおいて判定し得るニューラルネットワークに関連付けられた重みが、調整され得る。実施形態では、これは、逆伝播処理に従って生じてもよく、ニューラルネットワーク又は学習データに関連付けられたエラー曲線に関する勾配関数に基づいてもよい。実施形態では、そのような最適化は、畳み込みニューラルネットワーク上で行われてもよい。
【0065】
実施形態では、ニューラルネットワーク及び／又は学習セットは、初期分類、例えば、改良されたアルゴリズム分類器の分類に応じて具体的に選択され得る。例えば、アルゴリズム分類器が形成異常と思われる細胞を識別する場合、形成異常の見かけの診断可能性の様々な程度の細胞によって学習されたニューラルネットワークが選択的に採用されてもよく、一方、アルゴリズム分類器が癌性と思われる細胞を識別する場合、見かけの癌の様々な程度の細胞によって学習されたニューラルネットワークが選択的に採用されてもよい。
【0066】
本発明の実施形態によると、ニューラルネットワークコンピュータは、所与の画像が形成異常性又は癌に関連する形態学的な異常性を表しやすいという可能性に応じてデジタル化画像内のそれぞれの画像にスコアを割り当てるように学習される。異常となりやすい細胞及び対象物にはニューラルネットワークコンピュータによって高スコアが与えられる一方、異常である可能性が低い対象物には低スコアが与えられる。例えば、実施形態では、スコアは、異常な特徴を有する見かけの可能性に基づいて、０～１のスケールで割り当てられてもよい。例えば、実施形態では、良性細胞の形態学的な特徴を示す細胞は０．１又はその付近のニューラルネットスコアを受け得るものであり、一方で既知の悪性画像に非常に近似する細胞には０．９又はその付近のスコアが与えられ得る。これらの制限の間のいずれかに出現する細胞には、例えば、０．５若しくはその付近、又は０．３～０．７の範囲の間のどこかのスコアが与えられることになる。したがって、例示的な実施形態では、学習されたニューラルネットワークの出力の範囲は、細胞が異常であるという確度の程度に対応する連続体を表す。例示的な実施形態では、プロセッサ２４及び／又はストレージ２６は、例えば、表示を介した病理学者への提示のために、又はここで説明するコンピュータによる動的サイズ変更及び提示処理における使用のために分類を追跡し得る。
【0067】
本発明の実施形態では、システムは、ニューラルネットワークの出力スコアを（単独で、又は追加情報、例えば分類との組合せで）用いて、所与の対象の細胞に付随する情報量を判定する。例えば、図２に示すフローチャートを参照すると、最初に、ステップ５１において、顕微鏡スライドは、スライドの画像を体系的に撮像する光学系を通過する。デジタル化されるスライドの特徴が３次元となる事象では、拡張焦点深度（ＥＤＦ）ルーチンが開始されて（ステップ５１．１）診断情報を撮像し、細胞間の空間的関係を保存する。ステップ５２において、顕微鏡スライドのデジタル画像は、例えば、プロセッサ２４によってレンダリングされ、コンピュータ又はストレージ２６などのデジタル記憶媒体に記憶される。次に、ステップ５３において、コンピュータは、画像解析を実行して診断対象の対象物を検出する。ステップ５４において、ニューラルネットワークコンピュータは、細胞の異常性の程度に基づいて、それぞれの細胞画像にスコアを割り当てる。ステップ５５において、システムは、ここで「エンベロープ」といわれる、それぞれの対象の細胞から外側に広がる画像領域を割り当てる。
【0068】
例示的な実施形態では、ニューラルネットワークスコアは、細胞核のサイズ、形状及び／若しくは光学密度についての異常状態の確率に関する上述の特徴又は診断上関連性があると判定され得る他のそのような細胞の特徴に基づいてもよく、それらの特徴に加えられてもよく、又はそれらの特徴の代わりとされてもよい。これに関して、例えば、実施形態によると、高度に非定型な核を示す細胞には、より大きなスコア（及び、したがって、より大きなそのエンベロープに基づく、より大きな影響範囲）が与えられ得る。したがって、例えば、例示的な実施形態では、（形成異常又は癌を示す異数性状態を示し得る）大きな核を有する細胞は、病理学者が診断を行う追加のコンテキストの恩恵を受け得る。
【0069】
図３Ａ～図３Ｃは、本発明の実施形態による、スライドからタイルを作製する例示的な方法を示し、そこで、タイルのサイズはニューラルネットワークスコアから導出される。図３Ａを参照すると、デジタル化スライド領域２８が示される。スライド領域２８は、個々の細胞（例えば、３４、３８、４２）から形成される組織断片（例えば、３２）の画像を含む。ニューラルネットワークスコアリングのステップでは、領域２８における各細胞には、ニューラルネットワークスコアが与えられ得る。例えば、細胞３４は、異常性に関して相対的に高くランク付けされ得る（例えば、０．７５）。その結果、システムは、細胞３４をその正確な中心又は略中心に有する、対応する大きな（例えば、固定の定数倍のスコアに応じて計算された、例えば１５×１５ミクロン、例えば、境界四角形の縁に関して、例えば２０ミクロンの）エンベロープ３６を作成する。実施形態では、エンベロープのサイズは、検査中の種類の平均的な細胞のサイズを参照して判定され得る。例えば、実施形態では、検査中の細胞が、直径の平均サイズが所与のミクロン数（例えば、食道細胞の場合、５～１０ミクロン）の細胞である場合、エンベロープの寸法は、スコアに基づいて、その平均サイズの倍数、例えば、平均サイズの２倍、３倍、４倍、５倍又は６倍のスコアに基づいて判定され得る。実施形態では、エンベロープの寸法は、スコアに応じて、例えば、寸法サイズに、スコアを累乗した定数の底（例えば、２、３、４）を乗算することによって、又はスコアの逆数を累乗した１未満の定数の底（例えば、０．５、０．７５）を乗算することによって指数関数的に変化し得るため、スコアが低いときの寸法サイズはスコアが大きなときの寸法サイズに対して大きく低減する。
【0070】
他の実施形態では、スコアが所定の閾値（例えば、０．５又は０．８）を超えるとすると、エンベロープの寸法は、固定サイズ（例えば、平均サイズの２倍、３倍、４倍、５倍又は６倍）のものとなり得る。閾値は、例えば、ここで説明するような表示方法論を用いて、例えば、後の病理学者の評価によって測定されるように、結果として生じる偽陽性率又は偽陰性率が所定の比率を超えるか否かに基づいて動的に変形され得る。
【0071】
対照的に、細胞３８は、形態学的に正常に近いため、低い方のニューラルネットワークスコアを受け、その結果、システムは、細胞３８の周りにエンベロープ３６よりもサイズが小さなエンベロープ４０を生成する。
【0072】
細胞４２も適度なレベルの異常性を示し、このように、システムは細胞４２を囲むエンベロープ４４を生成した。エンベロープ４４は、それがエンベロープ４０の細胞よりも高い信用性又は特異性（すなわち、高い方のニューラルネットワークスコア）を有する細胞を有するため、エンベロープ４０よりも大きい。一方、説明したように、エンベロープ３６は、その細胞がエンベロープ４４の細胞よりも異常であるため、エンベロープ４４よりも大きい。
【0073】
それぞれのエンベロープの各々は、左右の境界線（例えば、３６ａ、３６ｂ）及び上下の境界線（例えば、３６ｃ、３６ｄ）を有する四角形又は矩形の形状であり得る。例えば、矩形の形状について、実施形態では、病理学者によって用いられる画面の既知のアスペクト比（例えば、そのような一般的なアスペクト比に従う１６：９）を構成するように、判定された高さは幅に到達するように固定値で乗算され得る。例示的な実施形態では、スコアが導出された細胞を囲む円（例えば、中心点及び半径によって定義される円）などの他の形状が採用され得る。さらに示すように、エンベロープ４４はエンベロープ３６の上部境界線３６ｃと重なる領域を有し、エンベロープ３６はエンベロープ４０の上方セグメントと重なる下方セグメントを有する。エンベロープ４４、３６及び４０は、エンベロープの各々内の高ランクの細胞の存在のために、相対的に大きくなることが理解される。エンベロープ４４、３６及び４０の各々内の高ランクの細胞の存在によって、これらの３つのエンベロープは比較的に大きくなり、したがって、それらは重なるセグメントを有する。さらに、ここで説明するように、種々の実施形態において、それぞれのエンベロープが領域において重ならないが共通の境界線又はその一部を共有する（すなわち、それぞれのエンベロープが正接又は隣接している）場合、同様の処理が提供されてもよく、又は提供されなくてもよいことがさらに理解される。
【0074】
本発明の実施形態では、エンベロープのサイズは、システムが細胞のクラスター又は細胞群を含むすべての細胞を実質的に捕捉することを保証することに組合せで寄与する要因の組合せによって判定され得る。数百万個の細胞を有するスライドでは、いずれが各細胞の隣接物であるのかを識別するのは困難な問題である。実施形態では、隣接する四角形を組み合わせてより大きな四角形を得るために、ｒ－ｔｒｅｅデータ構造が、速度の目的のために用いられることが好ましい。（例えば、細胞クラスター内に）グループ化された細胞は、その群に無関係な細胞よりも相互に近くに位置決めされる傾向がある。システムは、これらの空間傾向を考慮して、エンベロープが、グループ化がエンベロープ内に提示されるという高い信用性の程度の細胞のグループ化を包含するのに適切なサイズであることを保証する。例示的な実施形態では、エンベロープのサイズがニューラルネットワークスコアから直接又は単独で導出されるのではなく、むしろ、ニューラルネットワークスコアがさらに変形され得る。例えば、本発明の実施形態では、ニューラルネットワークスコアは、動的に生成された乗数、例えば、細胞間の距離に基づくものによって乗算され得る。例えば、本発明の実施形態では、乗数は、所与のサンプル又はサンプル領域（例えば、乗算前にニューラルネットワークスコアに応じて行われた領域判定に応じて定義された領域）のそれぞれの細胞核間の平均距離を計算し、そして、平均距離に数値（例えば、２、３以上）を乗算することによって導出され得る。したがって、細胞核間の平均距離が２を乗算される場合、乗数は細胞間の距離の２倍を提示することになる。他の実施形態では、乗数又は追加の乗数は、分類に基づき得る。例えば、一般に密接な細胞のグループ化に関連する第１の種類の推定細胞異常性は０．７などの１未満の関連した乗数を有することもあり、一方、一般に異種の細胞のグループ化に関連する第２の種類の細胞異常性は１．５などの１より大きな関連した乗数を有し得る。本発明の実施形態では、ニューラルネットワークスコアは、１以上の乗数を乗算されて、最終的な結果を得る。そして、最終的な結果は、エンベロープを形成する距離の単位に変換される。特定の乗数は、一般に又は通常、所与の点、例えば、対象の細胞の周りに生じる傾向のある関連性のある特徴を囲む影響領域を包含するように、セット又はリセットされ得る。サンプルについて、細胞核間の平均距離が、例えば、対象の細胞の種類の平均細胞幅の０．５倍と判定される場合、この領域内に収まる細胞は影響領域内にあるとみなされる影響領域は、そのような細胞幅の、例えば、０．５～１．５倍に設定される。これは、各細胞について繰り返されて影響範囲全体を判定し得る。例えば、１個の細胞からその細胞幅の値２．０に収まる細胞は影響範囲の外側にあるとみなされ得る。
【0075】
本発明の実施形態で説明された乗数は、タイルが適切なサイズであること、及び細胞のグループ化のそれぞれの細胞が含まれるという高い信用性の程度があることを保証するのに役立つ。これに関して、例えば、細胞が密接に一塊にされることにより、それぞれの核間の距離が小さい場合、小さな乗数が用いられる。一方、細胞がより緩く関連付けられ、相互に離れて遠くに位置する場合、十分な代表細胞が得られることを保証するために、より大きな乗数が生成されてより大きなエンベロープサイズを生成することになる。フィードバック機構、例えば、示されたエンベロープが過大であるか過小であるかの、本発明のシステムを用いる１以上の病理学者によって提供されるフィードバックが導入されてもよく、そのようなフィードバックが、採用されるタイルサイズ又は乗数を調整又は動的に調整するのに用いられてもよい。ニューラルも、例えば、乗数が（クラスター全体を含まない画像の場合のように）増加される必要があるか否か、（クラスター全体よりもはるかに多くを含む画像の場合のように）減少される必要があるか否か、又は（クラスター全体を適切に示す画像の場合のように）維持される必要があるか否かの指標でタグ付けされた最適サイズ及び準最適サイズの細胞クラスターの画像で学習されることによって、そのようなフィードバックを提供し得る。
【0076】
本発明の実施形態では、エンベロープが生成されると、システムは、重なる領域又はいくつかの実施形態では隣接した領域を含むエンベロープを検出し（ステップ５６、図２）、例えば、図３Ｂに示すように、すべての近接して重なるエンベロープを取り込むサイズ及び形状のタイルを生成する。具体的には、システムは、エンベロープ４４、３６及び４０を捕捉するサイズ及び形状のフレーム４６を動的に生成する。図３Ｂに示すように、エンベロープ４４、３６及び４０を１つのタイルに捕捉するために、一実施形態では、エンベロープ４４の上部境界線４４ａによって定義される最高点、エンベロープ４０の下部境界線４０ｄによって定義される最低点、エンベロープ４４の左境界線４４ｂによって定義される最左点及びエンベロープ４０の右境界線４０ａによって定義される最右点を、最小境界矩形の態様で取り込むのに十分に大きなフレーム４６が形成される。他の実施形態では、特定のアスペクト比、病理学者の電子ディスプレイに関連するそのような比率（例えば、１６：９）を維持しながらボックスを含むために、矩形が形成され得る。他の実施形態では、フレーム４６は、その組合せ形状のみからなり、又はその組合せ形状に基づくように、潜在的に矩形以外として形成され得る。例えば、２つの矩形でそれらの角の周りの領域を共有するものは、凹型の８角形のフレームに組み合わせられてもよい。Ｒ－ｔｒｅｅは、矩形のマージに用いられ得る。あるいは、２つの重なる円は、そのような構成円を境界付ける、より大きな円若しくは楕円又はその他の形状に組み合わせられてもよい。２つの円の間の重なり存在は、例えば、それらの中心間の距離がそれらの半径の合計より小さい（又は、重なりよりも隣接が十分であるいくつかの実施形態では、それ以下となる）か否かに応じて判定され得る。一方、四角形及び矩形の使用は、例えば、そのようなエンベロープ又はタイルをより大きなタイルに再形成することに関して、有利に計算資源を節約し得る。そのようなより複雑な又はより大きなフレームは、各々に関する図が、例えば、特定の表示ソフトウェアに応じて、又はプログラムを用いる病理学者の特定の選択に応じて、任意選択的に選択又は提示されるように、その対応する境界矩形又は他のフレームとともに記憶され得る。
【0077】
図３Ｃは、本発明の種々の実施形態による、例えば、全体スライドを表す一連のタイルの一部として、又は適切な診断上関連性があると判定された側面の一部として形成され（ステップＳ７、図２）、表示されることになる、結果として得られるタイル４１を示す。
【0078】
本発明の実施形態では、システムは、重なるエンベロープをマージするか否かを判定することに、閾値基準を適用するように構成される。例えば、本発明の実施形態では、システムは、特定の閾値を超えるニューラルネットワークスコアを有する細胞を有するエンベロープのみをマージする。本発明の実施形態では、重なるエンベロープは、ニューラルネットワークスコアが少なくとも０．６、又は少なくとも０．７又は少なくとも０．８である場合にマージされる。したがって、本発明の実施形態では、システムは、重なるエンベロープを盲目的にマージせず、むしろこれらの基準を適用して、マージされるエンベロープが診断上重要な情報を含むことを保証する。
【0079】
したがって、実施形態では、「不良」細胞、例えば、悪性細胞を識別するために、重なりを判定する影響領域処理を用いてクラスターが構築され得るが、ニューラルネットワークスコア及び／又は分類器の結果は、重なっているものと判定された細胞に信用性スコアを帰すのに用いられ得る。例えば、信用性スコアが適用されてもよく、ここで、ニューラルネットワーク（例えば、それらが病的であるか否か、又はそれらが病的である確率に基づいた確率スコアで各々がタグ付けされた、病的な及び非病的な細胞クラスターの画像で学習されたもの）によって判定されたように病的原型を表示する細胞には最大１．０の信用性スコアが与えられ、正常細胞には０以下のスコアが与えられ得る。実施形態では、信用性スコアは、細胞又は判定された領域が、近傍の細胞又は判定された領域と重なるとみなされることになるか否かを確定する距離の乗数として用いられてもよく、それに基づく健康で正常な細胞又は領域はゼロの乗数を有し、したがって除外される。実施形態では、これは、細胞及び領域の近さ並びにそのような細胞／領域の見かけの病的性の双方の関数として生じる、表示されたフィールド又は領域へのマージをもたらす。したがって、「不良」細胞又は潜在的な「不良」細胞（例えば、悪性細胞、形成異常細胞など）の相互の位置及び近接性が、マージを含め、最終的に表示されるタイルにおいて考慮される。例示的な実施形態では、分類の種類（例えば、潜在的な癌性、潜在的な形成異常など）も、マージの判定における乗数として考慮され得る。究極的には、実施形態では、病理学者に示す電子ディスプレイにおけるビンパッキング又は他の提示が、例えば、読みやすさ及び利用可能な画面空間の制約を受けて、ユーザ、例えば、病理学者にとって重要な情報を可能な限り多く所与のディスプレイに配置され得る。例えば、最も重要な領域は、次に最重要の領域とともにディスプレイ内で読みやすいサイズで表示されてもよく、追加の領域を画面に追加することができなくなるまで、同様となる。表示された結果は、例えば、サイズによって、構成細胞に関する構成エンベロープの組合せスコア若しくは平均スコアによって、又は信用性によって、重み付けされ、強調され、又は並べ替えられ得る。左手側における最も重要な最も大きなタイル情報を有し、そして、右に向かってより小さなタイルサイズ／あまり重要ではない情報へと線形状に進む線形表示は、一実施形態である。有利なことに、実施形態では、これは、識別又は診断を行うのに必要な評価時間において、従来技術に対して５倍以上の時間的減少をもたらし得る。
【0080】
特に、実施形態では、システムによって生成されたエンベロープが隣接するエンベロープと重ならず、又はエンベロープに接触しない場合、そのエンベロープはそれ自体でタイルとしてレンダリングされ得る。例えば、図３Ａを参照すると、例えば、その構成細胞が偶然に大幅に上及び／又は左に位置するために、エンベロープ４４がエンベロープ３６と重ならず、又はエンベロープ３６に接触しない場合、エンベロープ４４はそれ自体のタイルである（かつ、エンベロープ３６における細胞を含まない）ものとしてレンダリングされてもよく、重なるエンベロープから作られたタイル（例えば、エンベロープ３６及び４０の組合せから作られたタイル）よりも小さくてもよい。
【0081】
図４は、本発明のソフトウェアに従って生成されたタイルを表示する、本発明の実施形態による表示画面４８を示す。図示するように、表示４８は、左閲覧ペイン５０と右閲覧ペイン５２に分割される。実施形態では、ペイン５０、５２は分割線５４によって分離され得る。図示するように、閲覧ペイン５０は、上方境界線５６、下方境界線５８、左境界線６０及び（それは、例えば、図示するように分割線５４であり得る）右境界線を有する。本発明の実施形態では、左閲覧ペイン５０は、本発明の一実施形態によるタイルを表示し、右ペイン５２は、全体スライドのデジタル化画像を表示する。実施形態では、ペイン５０、５２の各々に表示される画像は、画像上若しくは画像内をクリックすることによって、又はマウススクロールホイールを用いて、又は閲覧ソフトウェア若しくは表示画面に内蔵若しくは一体化される他の１以上のツールによって、パンされ、拡大され得る。
【0082】
本発明の実施形態では、左ペイン５０に表示されるタイルは、上方境界線５６と下方境界線５８との間でｙ方向に閉じ込められる。実施形態では、タイルは、ｙ方向にのみ（又は他の実施形態ではｘ方向のみ）スクロールされ得る。実施形態では、スクロール又は移動は、異なる方向に（例えば、ｘ方向にも、又は他の実施形態ではｙ方向にも）生じ得るが、病理学者がｙ方向におけるスクロールを完了すると、最終的にすべての関連イメージが病理学者の画面に現れることを保証するために（例えば、移動に用いられたマウスボタンが解除された場合）、画像が境界線の間の領域を含む図に自動的にスナップし、又はそうでなければ立ち戻ることもある。実施形態では、スナップ又は立戻りは、病理学者による入力（例えば、マウスクリック）を必要とするが、主方向における追加のスクロールが生じ得る前に必要とされる。したがって、図のカスタマイズ可能性及び再見の完全性は、有利に達成され得る。さらに、かつ有利なことに、実施形態では、タイルは、診断上の有意性が最も高い領域（例えば、大きなタイル、又はそうでなければ高い信用性スコア若しくは組合せスコア若しくは重要な種類の分類に関連付けられるタイル）から診断上の有意性が最も低いタイル（例えば、より小さなタイル、又はそうでなければより低い信用性スコア又はそれほど重要でない種類の分類に関連付けられるタイル）まで、線形状の連続体で提示され得る。実施形態では、より大きなタイルは診断上最も有意な情報（関心対象の細胞群）を含み得るので、例えば、診断上の有意性が最も高い最初のタイルが、病理学的再見が依頼された「不良」（例えば、悪性）の結果を即時に確認する事象では、病理学者は、最初に大きなタイルを再見することができ、迅速かつ正確な診断を行うことが可能となり得る。実施形態では、より小さなタイルは、そのようなタイルが関心対象の細胞を含みにくい（又は含まない）ため、処理において後に再見され得る。
【0083】
これに関して、前述したように、重なるエンベロープを含むタイルは、多くの場合、単一のエンベロープで形成されたタイルよりも大きくなる傾向があることになる。本発明の実施形態では、ビンパッキングアルゴリズムが採用されて、生成されたタイルを最大（診断上最も有意）から最小（診断上最も有意でない）までのサイズの降順で優先的にパッキングする。これは、最大のタイルを線形状提示に沿って最初に配置し、重要性のより低いタイルは、線形状提示の最後尾に向かって提示される。
【0084】
実施形態では、採用されるビンパッキングアルゴリズムは、１相アルゴリズム、２相アルゴリズム、ｈｙｂｒｉｄ ｆｉｒｓｔ－ｆｉｔ、ｈｙｂｒｉｄ－ｎｅｘｔ ｆｉｔ、ｈｙｂｒｉｄ ｆｅｓｔ－ｆｉｔ、ｆｌｏｏｒ－ｃｅｉｌｉｎｇ、ｆｉｎｉｔｅ ｎｅｘｔ－ｆｉｔ、ｆｉｎｉｔｅ ｆｉｒｓｔ－ｆｉｔ、ｆｉｎｉｔｅ ｂｏｔｔｏｍ－ｌｅｆｔ、ｎｅｘｔ ｂｏｔｔｏｍ－ｌｅｆｔ、代替方向２次元ビンパッキングアルゴリズム及びｒｅｃｔｐａｃｋなどの２次元ビンパッキングアルゴリズムであり得る。実施形態では、スペースが許せば、より大きなタイルが最初に配置され、そして、より大きなタイルの間により小さなタイルが配置され得る。
【0085】
実施形態では、他の又は追加の体系が採用されてもよく、例えば、様々な状態の再見が、病理学者によって順に行なわれ、又は病理学者若しくはソフトウェアの選択のプログラミングの順序で行われ得るように、スライドは、（例えば、各々が個別の分類に関する）別個のセットに並べ替えられ得る。実施形態では、タイルは、２次元空間にパッキングされるというよりも、再見のために線形状に（例えば、他のタイルの上部にタイルが提示されずに一列に）提示され得る。
【0086】
例えば、図６～図１０を参照すると、連続画面４８が示され、ユーザがｙ方向（例えば、右から左）にスクロールするのに応じた閲覧ペイン５０のそれぞれの図を示している。他の実施形態では、スクロールは、上から下（例えば、ｘ方向）又は右から左又は下から上に生じ得る。図示するように、図６のペイン５０には大きなタイルはほとんどない。これらのタイルは、標本における診断上最も有意な情報を提示し得る。図７において、タイルは、概略的に、図６のものよりもサイズが小さい。図８及び図９を参照すると、タイルがｙ方向に継続するにつれて、タイルのサイズは徐々に小さくなる。図１０は、一連の最後尾で提示されるタイルを表す。特に、図６～図９のタイルが組織断片及び細胞クラスターを含む一方で、図１０に示すタイルは、説明したように、クラスター化された診断情報の最小限の量を提供し得る単一細胞を主に含む。
【0087】
実施形態では、病理学者は、最大タイルを（ここで、図６において）最初に再見することができ、それらは診断上最も有意な情報を含み得るため、これらのタイルを再見するのに最も多くの時間を費やすことになり得る。本発明が存在しない場合、病理学者は、スライド上の細胞の再見を開始する場所を知ることはなく、したがって、ランダムな領域を選んで開始することになる。したがって、多くの場合、病理学者は、従来のコンピュータ実装再見ツール及びコンピュータ非実装再見ツールを用いて、推測を通じて、スライド上の診断上最も重要性の低い領域から開始して、より重要な領域を探し出すのに多大な時間を費やしてしまうことになりかねない。
【0088】
病理学者が図６のタイルの彼らの再見を完了すると、図７の次の一連のタイルが次に診断上有意なタイルであるため、彼らは、それらに取りかかることになる。そして、病理学者は、図８～図１０のタイルを通じて進んでいき、各一連のタイルが小さくなるにつれて、それらに費やす時間を減らしていく。これは、タイルが小さくなるにつれて、それらの有する診断上有意な情報が少なくなり得るためである。
【0089】
診断上最も有意な情報を最大のタイルに含めることによって、及びタイルを最大から最小に体系化することによって、病理学者は、診断上最も有意な情報から開始する（及び再見に最も多くの時間を費やす）ように導かれる。これは、公知の手動及びコンピュータによる再見方法で病理学者が直面する重大な問題を解決する。実際に、従来技術では、病理学者は着手するためのスライド上の場所を無造作に推測することになり、多くの場合、診断目的には有意ではないスライドの領域に過大な時間を費やすことになる。
【0090】
さらに、最大のタイルは診断上最も有意な細胞をともにグループ化するため、病理学者がまず関心対象の細胞を見つけ、そして関心対象の隣接する細胞に対するそれらの位置をマッピングすることを必要とした従来の診断方法と比較して、病理学者がより正確な診断を行うことができるという可能性が一層高くなる。従来の方法は、煩雑なだけでなく、重大な人的エラーを起こしやすい。
【0091】
本発明の実施形態では、左閲覧ペイン５０に表示されるタイルは、右閲覧ペイン５２にマッピングされる。これに関して、ユーザは、閲覧ペイン５０におけるタイルを選択してもよく、それは右閲覧ペイン５２での完全デジタル化スライドのコンテキストで表示されることになる。例えば、図４は、左閲覧ペイン５０におけるタイル群を示す。右閲覧ペイン５２は、デジタル化スライド全体の縮小図を示す。実施形態では、例えば、ユーザがデジタル化スライドのコンテキスト内でタイル４１の情報が見られる場所を見たい場合、ユーザはタイル４１を選択することができ、図５に示すように、右閲覧ペイン５２は、タイル４１が導出される場所からスライドの領域に拡大する。そして、実施形態では、ユーザは縮小して隣接する領域を見ることもでき、あるいは、ユーザは拡大して対象の細胞をより詳細に見ることもできる。これにより、検査されている細胞（例えば、閲覧ペイン５０のタイル）が（閲覧ペイン５２に示される）スライドの情報のすべてに対して位置する場所を病理学者が容易に記録することが可能となり得る。従来技術では、病理学者は、スライド上の対象の細胞の位置を手動でマッピングすることを必要とすることになるので、これは、従来の手動方法及びコンピュータによる方法に対する大幅な改良となる。本発明の実施形態では、例えば、タイルが縮小図又は相対的な縮小図で示される場合、スライド部分の表示バージョンは圧縮画像データに基づき得る。有利なことに、画像に関して利用可能なデータ全体を表示されるコンピュータに送信する必要がないので、必要なデータ送信の量はこれにより低減し得る。いくつかの実施形態では、非圧縮スライドの合計サイズは、例えば、２０ギガバイトに近づくこともあるため、非圧縮スライド画像全体を病理学者に同時に提示するニーズを回避することによって大幅な時間及びデータ転送の節約が生じ得る。実施形態では、非圧縮画像全体の受信の前に最初の再見を可能とするために、非圧縮スライド画像を再見処理の間に病理学者のディスプレイにストリーミングし得る。遅延をさらに回避するために、病理学者が先行の、例えば、より重要なタイルを再見している間に、後で提示されるタイルのストリーミングがダウンロードされてもよいため、ストリーミングは、スライドのタイルに関してそれらが病理学者に提示される順序で行われ得る。ユーザが拡大動作を行う場合、拡大された結果としてタイルに表示される画像の関連部分が再見に適切な解像度で表示されることを可能とするために、追加のデータがユーザのコンピュータに提供され得る。有利なことに、これにより、表示を閲覧している病理学者は、例えば、そのような拡大図における場合、診断に十分な細胞の核に関する詳細を閲覧することが可能となり得る。実施形態では、病理学者のスライド画像の再見におけるカスタマイズを提供するために、様々なタイルが、病理学者によって別個に拡大及び縮小され得る。
【0092】
図６を参照すると、本発明の他の実施形態では、システムは、ユーザがより大きな全体スライド画像のコンテキストにおいて２つの異なるタイルの関係を閲覧することを可能とする。例えば、図示するように、ユーザはタイル４１及び２２を選択することができ、これらのタイルの各々が導出されるスライド領域が右閲覧ペイン５２において強調表示される。
【0093】
図１１を参照すると、実施形態では、システムは、デジタル化スライドの、コンピュータによって以前に異常性について「陽性」として識別された部分及び／又は異常性について「陰性」として識別された部分を（例えば、フラグで）マーキングするように構成され得る。システムは、種々の任意の構成で陽性及び陰性領域に関する情報を提示するように構成される。この特徴は、病理学者がスライドを再見するにつれて、彼らが診断上有意な細胞に容易に「ジャンプバックする」ことを可能とする。実施形態では、他のマーキング、例えば、特にスコアの高い領域に関するマーキング、特定の分類を与えられたマーキング、組み合わせられたタイル及び／又はそれらの構成部分のマーキング並びにコンピュータによるシステム及び／又はニューラルネットワークによって行われるようにここで説明したそのような他の判定に関係するマーキングが、病理学者への提示に利用可能に行われ得る。
【0094】
例えば、一実施形態では、システムは、ユーザが特定の図を出力し、各種図の間を切り替えるアクションを選択することを可能とするツールバー又は同様のメニュー５６を提供する。一実施例では、ユーザは、デジタル化スライド上にすべての「陽性」領域を表示することを選択し得る。図１１に示すように、ユーザによる陽性領域をスライド上に表示する選択に際して、システムは、そのようなスライド領域上に、例えば、四角形５８又は他の画像マーカーの形態でマークを表示する。ユーザは、任意の四角形（例えば、５８）をクリックして、マーキングされた陽性領域の画像を拡大し得る。本発明の実施形態では、陽性領域を識別するマークは、第１の色若しくは異なる色又は（例えば、いくつか例を挙げると、赤色又は点滅若しくは破線で示される）視覚明確化的なものであってもよい。
【0095】
本発明の実施形態では、システムは、同様に、異常性について「陰性」であるデジタル化スライドの部分をマーキングするように構成される。例えば、図１２を参照すると、ユーザは、「陰性」であるデジタル化スライドの領域をマーキングすることを（例えば、メニュー５６のオプションから）選択することができ、それによりシステムは、そのような選択に際して、例えば、四角形６０又は他の画像マーカーの形態で陰性スライド領域上にマークを表示する。ユーザは、いずれかの四角形（例えば、６０）をクリックして、陰性領域の画像を拡大し得る。本発明の実施形態では、陰性領域を識別するマークは、第２の色（例えば、青色）なものである。
【0096】
本発明の実施形態では、ユーザは、画面に表示されるマーカーを切り替えてもよく、又はユーザは、陽性マーカー（例えば、５８）及び陰性マーカー（例えば、６０）の双方を同時に表示するオプションを選択してもよい。例えば、図１３に示すように、サンプルのデジタル化画像には、それぞれ陽性及び陰性のスライド領域（例えば、２８、６０）をマーキングする陽性及び陰性のマーカーが提供される。
【0097】
「陽性」領域及び「陰性」領域は、本発明の種々の実施形態における種々の技術のいずれかによって判定され得ることが理解される。例えば、上部消化管から取得される組織などの腺上皮を分析する場合、異常な円柱細胞に結合し、そのような異常細胞を特定の色（例えば、茶色）で染色する染料（例えば、ｃｄｘ２）が、一般に用いられる。そして、システムは、対象の染料の色（例えば、茶色）を検索することによって、異常である円柱細胞を識別することが可能となる。染色されていない（すなわち、陰性の）円柱細胞を識別するために、分類器及び／又は学習されたニューラルネットワークコンピュータなどの画像認識システムを用いるシステムは、形態学的な特徴に基づいて円柱細胞を識別する。したがって、システムは、染色された領域に関する（色分析によって得られる）情報及び染色されていない円柱細胞に関する（例えば、コンピュータ画像分析によって得られる）情報を記憶する。
【0098】
例えば、本発明の実施形態では、システムは、スライド上の陰性領域に対する陽性領域の比率を視覚的に提示し、空間的関係に基づいて割合値を計算するように構成される。本発明の実施形態では、システムは、デジタル化スライドのすべての陽性及び陰性領域について、デジタル化画像（又はデジタル化画像に基づく情報を含むデータベース）を照会する。そして、システムは、それぞれの陽性領域を組み立て、それらをディスプレイの第１の領域に提示する。システムは、同様に、それぞれの陰性領域を組み立て、それらをディスプレイの第２の領域に、第１の領域に並べて又は近接して、再見者が陰性領域の全体像に対して陽性領域の全体像を観察し得るような態様において提示する。
【0099】
例えば、図１４を参照すると、本発明の実施形態による、上方閲覧ペイン６２及び下方閲覧ペイン６４を有する表示画面を示す。上方閲覧ペイン６２及び下方閲覧ペイン６４を分離する分割線６６が存在し得る。図示するように、分割線６６には、連続体に沿ってスライドの割合値を識別するマーカーが設けられる。例えば、１０％のマーカー６８及び等間隔の２０％のマーカー７０が分割線６６に示される。陰性全体像の約２０％のみが図１４に示され、陰性領域の全体（すなわち、１００％まで）は、右にスクロールすることによって観察され得ることが理解されるはずである。図示するように、陽性細胞７２の凝集は、空間的に陰性細胞７４の凝集の約１２％を表す（すなわち、陰性領域と比較して、ｘ軸に沿って大幅に小さな空間を占める）。これにより、病理学者には、検体がどの程度陽性であり得るかの視覚的表示が提供される。
【0100】
本発明の実施形態では、システムは、ユーザに下位区分又は同様のユーザ定義の検索領域を全体スライド画像内に動的に作成することを可能とする検索ウィンドウ機能を提供する。例えば、図１５を参照すると、システムは、ユーザがコンピュータマウスを用いて又は同様のコマンドを介して検索ウィンドウ７６を描くことを可能とする。本発明の実施形態では、検索ウィンドウ７６のサイズは、ユーザによってカスタマイズ可能である。
【0101】
本発明の実施形態では、検索特徴の開始に際して、システムは、閲覧ペイン５２内又はその近くに付随のツールバー７８を表示する。図１５に示す実施形態では、ツールバー７８は、右閲覧ペイン５２の右上隅に示される。ツールバー７８は、ユーザによって選択される場合、ユーザに検索ウィンドウ７６内をナビゲートすることを可能とするナビゲーションツールなどの制御アイコンを含む。
【0102】
本発明の実施形態では、システムは、ユーザが検索ウィンドウ７６内の所与の領域にナビゲートする各インスタンスを追跡及び記憶する。例えば、図１６を参照すると、システムは、ユーザ定義の検索ウィンドウ７６のマップ８０を提供し、そのマップ８０において、ユーザによってナビゲートされた領域には陰影が付けられ、２回以上ナビゲートされた領域には１回だけナビゲートされた領域よりもより暗い色で陰影が付けられる（例えば、８２）。したがって、本発明の実施形態では、マップ８０は、検索ウィンドウ７６内のいずれの領域が再見されたかの視覚的ガイドをユーザに提供する。本発明の実施形態では、システムは、ユーザが検索ウィンドウ７６内の所与の領域を横断するたびに、マップ８０の領域を暗くする。これに関して、ユーザには、いずれの領域が他の領域よりも多く再見されたかの視覚的表示が提示される。例示的な実施形態では、領域は、例えば、潜在的な関心対象であるものとして、そのような潜在的な関心対象でないものとして、更なる再見を必要とするものとしてなど、ユーザ（例えば、病理学者）によって選択及びマーキングされてもよい。実施形態では、ユーザは、例えば、電子メールの自動作成によって又はパスワードで保護されたファイルディレクトリへの自動挿入を通じて、選択されたタイル又は領域のセットを他人と共有し得る。
【0103】
本発明の実施形態では、システムは、固定細胞ブロックセグメントを含むスライドを分析するように構成される。例えば、システムは、スライドに貼付された細胞ブロックスライスを含むスライドをデジタル化し、ここで説明されるようにタイルのギャラリーを生成する。説明したように、細胞ブロックの切断は近くで連続して行われるため、通常、２つの隣接する細胞ブロックスライスは相互に非常に似ることになり、同一に見えることさえもあり得る。したがって、本発明の実施形態では、システムは、２つの異なる染色又は免疫組織化学マーカーへの同一組織構造の反応を比較する能力を病理学者に提供する。
【0104】
例えば、図１７を参照すると、第１の閲覧ペイン８４及び隣接する第２の閲覧ペイン８６を有するディスプレイを示す。本発明の実施形態では、第１の細胞ブロックスライス（又はそのセグメント）が第１の閲覧ペイン８４に表示され、第２の細胞ブロックスライスが第２の閲覧ペイン８６に表示される。第２の細胞ブロックスライスは、第１の細胞ブロックスライスと連続して、又は第１の細胞ブロックスライスの付近内の近くで切断され得る。したがって、第１及び第２の細胞ブロックスライスは、実質的に同一の組織及び細胞構造を含む。したがって、システムは、第１の染料で染色された第１の細胞ブロック及び第２の染料での第２の細胞ブロックを、病理学者が２つの異なる染色条件下の同一組織領域を並置態様で閲覧し得るように表示し得る。
【0105】
本発明の実施形態では、システムは、第１の閲覧ペイン８４及び第２の閲覧ペイン８６に表示される画像を揃えて移動させる能力をユーザにさらに提供する。例えば、図１７に示すように、システムは、ユーザに閲覧ペイン８４、閲覧ペイン８６におけるそれぞれの各画像上のアンカーポイントを選択するためのオプションを提供する。図示するように、ユーザは、例えば、ペイン８４、８６のいずれかにおいて対応する点を選択することに応じて、同時に、第１の画像内の点に第１の画像アンカー８８を配置し、第２の画像内の点に第２の画像アンカー９０を配置し得る。このように、画像の双方は、種々の比較及びナビゲーションオプションを可能とするために、ユーザによって同時に移動及び拡縮されることになる。
【0106】
本発明は、上記に概説した実施形態と併せて説明されてきたが、多くの代替例、変形例及び変更例が当業者には明白であることは明らかである。したがって、上記で説明した本発明の例示的な実施形態は、例示を目的とするものであり、限定するものではない。種々の変更は、本発明の趣旨及び範囲から逸脱することなく行われ得る。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【国際調査報告】