特許 7592599 組織学的画像および術後腫瘍辺縁評価における腫瘍のコンピュータ支援レビュー

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-22

(45)【発行日】2024-12-02

(54)【発明の名称】組織学的画像および術後腫瘍辺縁評価における腫瘍のコンピュータ支援レビュー

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241125BHJP

   G01N 33/48 20060101ALI20241125BHJP

   G01N 33/483 20060101ALI20241125BHJP

【ＦＩ】

G06T7/00 350C

G06T7/00 630

G01N33/48 M

G01N33/483 C

【請求項の数】 21

(21)【出願番号】P 2021538332

(86)(22)【出願日】2020-05-29

(65)【公表番号】

(43)【公表日】2022-07-28

(86)【国際出願番号】 US2020035286

(87)【国際公開番号】W WO2020243545

(87)【国際公開日】2020-12-03

【審査請求日】2023-05-12

(31)【優先権主張番号】62/854,014

(32)【優先日】2019-05-29

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/854,055

(32)【優先日】2019-05-29

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】503293765

【氏名又は名称】ライカ バイオシステムズ イメージング インコーポレイテッド

【氏名又は名称原語表記】Ｌｅｉｃａ Ｂｉｏｓｙｓｔｅｍｓ Ｉｍａｇｉｎｇ， Ｉｎｃ．

【住所又は居所原語表記】１３６０ Ｐａｒｋ Ｃｅｎｔｅｒ Ｄｒ．， Ｖｉｓｔａ， ＣＡ ９２０８１， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100135633

【弁理士】

【氏名又は名称】二宮 浩康

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ウォルター ジョージェスク

【審査官】長谷川 素直

(56)【参考文献】

【文献】国際公開第２０１８／０７６０２３（ＷＯ，Ａ１）

【文献】国際公開第２０１３／０２７３９９（ＷＯ，Ａ１）

【文献】国際公開第２０１８／０６５４３４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０１Ｎ ３３／４８

(57)【特許請求の範囲】

【請求項1】

組織学的画像内の腫瘍を同定するためのコンピュータ装置であって、前記コンピュータ装置は、
コンピュータ実行可能命令を保存するように構成されたメモリと、
前記メモリと通信するハードウェアプロセッサと、
を含み、
前記コンピュータ実行可能命令は、前記プロセッサによって実行される際に、
畳み込みニューラルネットワークにより組織学的画像に基づいて生成された出力画像から、前記出力画像内の、個々の腫瘍によって占有された領域がマーキングされているセグメンテーションマスクを生成し、前記出力画像は、前記組織学的画像にマッピングされており、かつ前記組織学的画像の分類された組織を表す前記出力画像の各ピクセルに割り当てられた複数の組織クラスのうちの１つを有し、
前記セグメンテーションマスク内でマーキングされた各腫瘍の統計量を計算し、
前記腫瘍の統計量にフィルタを適用して前記セグメンテーションマスクを編集し、前記フィルタの適用により、重要でない腫瘍の除去のために前記セグメンテーションマスクを編集する前記フィルタに従って腫瘍が選択および選択解除され、
スコアリングアルゴリズムに従って、編集された前記セグメンテーションマスク内の各腫瘍をスコアリングして、各腫瘍にスコアを割り当て、
そのスコアに従って前記腫瘍をランク付けする、
ように前記プロセッサを構成する、
装置。

【請求項2】

前記コンピュータ実行可能命令は、前記プロセッサによって実行される際に、さらに、
ピクセルの２次元アレイを含む組織学的画像を受信し、
（ａ）訓練用組織学的画像と（ｂ）前記複数の組織クラスのうちの１つを前記訓練用組織学的画像のピクセルに割り当てる注釈とを含む訓練データセットに基づいて訓練される畳み込みニューラルネットワークを使用して出力画像を生成する、
ように前記プロセッサを構成し、
前記複数の組織クラスは、非腫瘍組織を表す少なくとも１つのクラスおよび腫瘍組織を表す少なくとも１つのクラスを含む、
請求項１記載の装置。

【請求項3】

ランク付けされた腫瘍は、前記フィルタを適用した後に残った腫瘍である、
請求項１記載の装置。

【請求項4】

前記コンピュータ実行可能命令は、前記プロセッサによって実行される際に、さらに、前記腫瘍のランク付けを保存するように、前記プロセッサを構成する、
請求項１記載の装置。

【請求項5】

前記コンピュータ実行可能命令は、前記プロセッサによって実行される際に、さらに、編集された前記セグメンテーションマスクに基づいて前記組織学的画像のビジュアライゼーションを作成するように、前記プロセッサを構成する、
請求項１記載の装置。

【請求項6】

前記ビジュアライゼーションは、前記セグメンテーションマスクおよび前記組織学的画像が互いに隣接して提示されるそれぞれの概観表示ペインを含む、
請求項５記載の装置。

【請求項7】

前記セグメンテーションマスクの前記概観表示ペインは、各腫瘍のランク付けラベルを含む、
請求項６記載の装置。

【請求項8】

前記コンピュータ実行可能命令は、前記プロセッサによって実行される際に、さらに、編集された前記セグメンテーションマスク内の腫瘍を選択するためにユーザが前記ビジュアライゼーションとのインタラクションを行うことを可能にするように動作可能なユーザインタフェース腫瘍選択制御を表示するように、前記プロセッサを構成する、
請求項５記載の装置。

【請求項9】

前記ビジュアライゼーションは、現在選択されている腫瘍にズームインされた拡大表示ペインを含む、
請求項５記載の装置。

【請求項10】

前記ビジュアライゼーションは、前記セグメンテーションマスクが前記組織学的画像上にオーバレイされる概観表示ペインを含む、
請求項５記載の装置。

【請求項11】

前記概観表示ペインは、各腫瘍のランク付けラベルを含む、
請求項６記載の装置。

【請求項12】

前記組織学的画像は、組織の領域の異なって染色された隣接するセクションから取得された複数の組織学的画像を含む合成物である、
請求項１記載の装置。

【請求項13】

組織学的画像内の腫瘍を同定するための非一時的なコンピュータ可読媒体であって、前記コンピュータ可読媒体は、プログラム命令を含み、前記プログラム命令は、ハードウェアプロセッサに、
畳み込みニューラルネットワークにより組織学的画像に基づいて生成された出力画像から、前記出力画像内の、個々の腫瘍によって占有された領域がマーキングされているセグメンテーションマスクを生成するステップであって、前記出力画像は、前記組織学的画像にマッピングされており、かつ前記組織学的画像の分類された組織を表す前記出力画像の各ピクセルに割り当てられた複数の組織クラスのうちの１つを有するステップと、
前記セグメンテーションマスク内でマーキングされた各腫瘍の統計量を計算するステップと、
前記腫瘍の統計量にフィルタを適用して前記セグメンテーションマスクを編集するステップであって、前記フィルタの適用により、重要でない腫瘍の除去のために前記セグメンテーションマスクを編集する前記フィルタに従って腫瘍が選択および選択解除されるステップと、
スコアリングアルゴリズムに従って、編集された前記セグメンテーションマスク内の各腫瘍をスコアリングして、各腫瘍にスコアを割り当てるステップと、
そのスコアに従って前記腫瘍をランク付けするステップと、
を含む方法を実行させるコンピュータ可読媒体。

【請求項14】

前記方法は、
ピクセルの２次元アレイを含む組織学的画像を受信するステップと、
（ａ）訓練用組織学的画像と（ｂ）前記複数の組織クラスのうちの１つを前記訓練用組織学的画像のピクセルに割り当てる注釈とを含む訓練データセットに基づいて訓練される畳み込みニューラルネットワークを使用して出力画像を生成するステップであって、前記複数の組織クラスは、非腫瘍組織を表す少なくとも１つのクラスおよび腫瘍組織を表す少なくとも１つのクラスを含むステップと、
をさらに含む、
請求項１３記載のコンピュータ可読媒体。

【請求項15】

前記方法は、前記腫瘍のランク付けを保存するステップをさらに含む、
請求項１３記載のコンピュータ可読媒体。

【請求項16】

前記方法は、編集された前記セグメンテーションマスクに基づいて前記組織学的画像のビジュアライゼーションを作成するステップをさらに含み、前記ビジュアライゼーションは、前記セグメンテーションマスクが前記組織学的画像上にオーバレイされる概観表示ペインを含み、前記概観表示ペインは、各腫瘍のランク付けラベルを含む、
請求項１３記載のコンピュータ可読媒体。

【請求項17】

前記方法は、編集された前記セグメンテーションマスクに基づいて前記組織学的画像のビジュアライゼーションを作成するステップをさらに含み、前記ビジュアライゼーションは、前記セグメンテーションマスクおよび前記組織学的画像が互いに隣接して提示される概観表示ペインを含む、
請求項１３記載のコンピュータ可読媒体。

【請求項18】

組織学的画像内の腫瘍を同定するための方法であって、前記方法は、
畳み込みニューラルネットワークにより組織学的画像に基づいて生成された出力画像から、前記出力画像内の、個々の腫瘍によって占有された領域がマーキングされているセグメンテーションマスクを生成するステップであって、前記出力画像は、前記組織学的画像にマッピングされており、かつ前記組織学的画像の分類された組織を表す前記出力画像の各ピクセルに割り当てられた複数の組織クラスのうちの１つを有するステップと、
前記セグメンテーションマスク内でマーキングされた各腫瘍の統計量を計算するステップと、
前記腫瘍の統計量にフィルタを適用して前記セグメンテーションマスクを編集するステップであって、前記フィルタの適用により、重要でない腫瘍の除去のために前記セグメンテーションマスクを編集する前記フィルタに従って腫瘍が選択および選択解除されるステップと、
スコアリングアルゴリズムに従って、編集された前記セグメンテーションマスク内の各腫瘍をスコアリングして、各腫瘍にスコアを割り当てるステップと、
そのスコアに従って前記腫瘍をランク付けするステップと、
を含む方法。

【請求項19】

前記方法は、
ピクセルの２次元アレイを含む組織学的画像を受信するステップと、
（ａ）訓練用組織学的画像と（ｂ）前記複数の組織クラスのうちの１つを前記訓練用組織学的画像のピクセルに割り当てる注釈とを含む訓練データセットに基づいて訓練される畳み込みニューラルネットワークを使用して出力画像を生成するステップであって、前記複数の組織クラスは、非腫瘍組織を表す少なくとも１つのクラスおよび腫瘍組織を表す少なくとも１つのクラスを含むステップと、
をさらに含む、
請求項１８記載の方法。

【請求項20】

前記方法は、編集された前記セグメンテーションマスクに基づいて前記組織学的画像のビジュアライゼーションを作成するステップをさらに含み、前記ビジュアライゼーションは、前記セグメンテーションマスクが前記組織学的画像上にオーバレイされる概観表示ペインを含む、
請求項１８記載の方法。

【請求項21】

前記方法は、編集された前記セグメンテーションマスクに基づいて前記組織学的画像のビジュアライゼーションを作成するステップをさらに含み、前記ビジュアライゼーションは、前記セグメンテーションマスクおよび前記組織学的画像が互いに隣接して提示される概観表示ペインを含む、
請求項１８記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、切除によって患者から除去された腫瘍塊の辺縁を評価する病理医によるレビューおよび診断を支援するために、畳み込みニューラルネットワーク（ＣＮＮ）を用いた、腫瘍を含む組織学的画像の画像処理に関する。

【背景技術】

【0002】

デジタルパソロジーにより、病理医がスライドを観察して診断する手法は変化を続けている。従来の手法では、病理医は、スライドガラスを顕微鏡下で観察することによりスライドを検査する。病理医はまず、低倍率の対物レンズでスライドを観察する。診断価値がある可能性が高い領域が観察された場合、病理医は、高倍率の対物レンズに切り替えて、その領域をより詳細に観察する。その後、病理医は低倍率に戻し、スライド上の他の領域の検査を続ける。スライドに対する確定的かつ完全な診断が可能となるまで、低倍率－高倍率－低倍率の観察シーケンスがスライド上で数回繰り返される場合がある。

【0003】

過去２０年間で、デジタルスキャナの導入によりこのワークフローが変化している。デジタルスキャナは、スライドガラス全体の画像、いわゆる全スライド画像（ＷＳＩ）を取得し、病理医を必要としない、大部分が自動化されたプロセスにおいて、デジタル画像データファイルとしてＷＳＩを保存することができる。得られた画像データファイルは、通常、スライドデータベースに保存される。高解像度ディスプレイを備えた観察ワークステーションにいる病理医は、スライドデータベースからクリニカルネットワークを介して、これを利用することができる。当該ワークステーションは、この目的のためのビジュアライゼーションアプリケーションを有している。

【0004】

病理学におけるより最近の進展として、ＣＮＮ法が研究上の関心を高めていることが挙げられる。組織学的画像から腫瘍を同定し診断する際に、ＣＮＮ法が、病理医と同等のまたはそれ以上の性能を発揮していることが報告されるようになってきている。

【0005】

Ｗａｎｇ ｅｔ ａｌ．（２０１６）では、乳癌のリンパ節への転移を検出するためのＣＮＮアプローチについて説明されている。

【0006】

米国特許出願公開第２０１５／２１３３０２号明細書では、癌性組織の領域で細胞の有糸分裂がどのように検出されるかが説明されている。ＣＮＮを訓練した後、有糸分裂カウントを実行する自動核検出システムに基づいて分類が実行され、有糸分裂カウントは、腫瘍の等級付けに使用されている。

【0007】

Ｈｏｕ ｅｔ ａｌ．（２０１６）では、脳癌および肺癌の画像処理が行われている。ＷＳＩの画像パッチが、パッチレベルＣＮＮによって与えられるパッチレベルの予測を行うために使用されている。

【0008】

Ｌｉｕ ｅｔ ａｌ．（２０１７）では、ギガピクセルの乳癌の組織学的画像から抽出された画像パッチをＣＮＮで処理し、画像内の全てのピクセルに腫瘍確率を割り当てることで、腫瘍が検出され、その位置が特定されている。

【0009】

Ｂｅｊｎｏｒｄｉ ｅｔ ａｌ．（２０１７）では、２つの積層ＣＮＮを適用して、ヘマトキシリンおよびエオシン（Ｈ＆Ｅ）染色で染色された乳房組織のＷＳＩから抽出された画像パッチの腫瘍が分類されている。その性能は、これらの病理画像での物体の検出およびセグメンテーションに適していることを示している。さらに、Ｂｅｊｎｏｒｄｉ ｅｔ ａｌ．は、乳癌サンプルに適用される他のＣＮＮベースの腫瘍分類方法の概要も提供していることに留意されたい（参考文献１０～１３を参照）。

【0010】

Ｅｓｔｅｖａ ｅｔ ａｌ．（２０１７）では、深層ＣＮＮを適用して皮膚病変が分析され、木構造分類に従って、病変が種々の悪性型、非悪性型および非腫瘍性型に分類されている。これには、悪性型の末端黒子型黒色腫、無色素性黒色腫および黒子黒色腫、ならびに非悪性型の青色母斑、ハロー母斑および蒙古斑が含まれている。皮膚病変（黒色腫など）の画像が、臨床クラス全体の確率分布に順次ワーピングされて、分類が実行される。

【0011】

Ｍｏｂａｄｅｒｓａｎｙ ｅｔ ａｌ．（２０１７）では、脳腫瘍と診断された患者の全生存率を予測する生存ＣＮＮに基づく計算方法が開示されている。患者の転帰を予測するために、組織生検による病理画像データ（組織学的画像データ）がモデルおよび患者固有のゲノムバイオマーカーに入力されている。この方法では、適応フィードバックを使用して、患者の転帰に関連する視覚パターンおよび分子バイオマーカーが同時に学習される。

【0012】

腫瘍切除術は、通常、臓器または腺の一部または全部を切除することによって腫瘍組織を切除する手術であり、部分的な切除術は、部分切除術と称される。腫瘍切除の目的は、腫瘍の辺縁の周囲の少量の正常組織とともに全ての腫瘍を含む組織塊を除去することである。

【0013】

切除により腫瘍が完全に切除されたことを確認するために、身体から組織塊を切除した後、以下の病理検査が行われる。切除された組織塊の表面に着色染料で着色される。微視的な組織構造を保存するために組織塊が種々の方法で準備される。次に、組織塊がミクロトームで薄片にスライスされる。スライスされた後、微視的組織構造のさらなる保存措置を実施することができる。組織切片がスライドにマウントされる。組織切片は、概して、特殊な染色またはマーカーで染色され、例えばコントラストによって、細胞の視認性が高められ、あるいは特定の遺伝子発現または関連する受容体に固有のマーカーで、特定の種類の細胞が同定される。乳癌腫瘍の場合、標的となる典型的な受容体は、ＥＲ＋、ＥＲ－、ＰＲ＋、ＰＲ－、ＨＥＲ２＋、およびＨＥＲ２－である。ここで、ＥＲはエストロゲン受容体を表し、ＰＲはプロゲステロン受容体を表し、ＨＥＲ２はヒト上皮成長因子受容体２を表す。

【0014】

従来の辺縁の評価方法では、病理医が染色されたスライドを顕微鏡下で観察し、いずれかの腫瘍細胞が染料表面上にあるか、または染料表面に過度に近接しているかどうかを判別している。染料上に腫瘍細胞が見つかった場合、病理医は、その外科的切除辺縁が陽性であると報告する（Ｌｅｓｔｅｒ ｅｔ ａｌ．（２００９））。陽性の辺縁は、通常、より多くの組織塊を除去するためにさらなる手術が必要であることを示す。陽性の辺縁の場合、病理医は、辺縁への湿潤の量に関連する、巣性分類、最小／中程度分類、および広範囲分類などの下位分類を使用して、辺縁病変の程度を報告することができる。癌細胞が染料表面に近接しているが、完全に染料表面の上にはない場合、例えば２ｍｍ未満で近接している場合、病理医は腫瘍の辺縁を「クロース」と報告することができる。染料表面に癌細胞がない（「陽性」ではない）場合、またはその近傍にない（「クロース」ではない）場合、病理医は辺縁を「クリア」として報告する。この場合、例えば、辺縁は２ｍｍ以上である。クリアな辺縁またはクロースな辺縁の場合、病理医は、染料表面と染料表面に最も近接した腫瘍細胞との間の距離を示す辺縁距離を報告することができる。辺縁が陽性の場合、残った癌性組織を除去するためにさらに手術を行う必要がある場合がある。辺縁状態を正確に報告することはその後の癌治療にとって重要であるが、辺縁状態の報告の質には大きなばらつきがある（Ｐｅｒｓｉｎｇ ｅｔ ａｌ．（２０１１））。

【0015】

このため、上記のような従来のシステムに見られる重大な問題を克服したシステムおよび方法が求められている。

【発明の概要】

【課題を解決するための手段】

【0016】

本開示の一態様によれば、組織学的画像（またはそのセット）内の腫瘍を同定する方法が提供され、この方法は、
ピクセルの２次元アレイを含む組織学的画像を受信することと、
畳み込みニューラルネットワーク（ＣＮＮ）を適用して、組織学的画像の２次元アレイに対するマッピングを有するピクセルの２次元アレイを有する出力画像を生成することであって、出力画像が、複数の組織クラスのうちの１つを各ピクセルに割り当てることによって生成され、複数の組織クラスが、非腫瘍組織を表す少なくとも１つのクラスおよび腫瘍組織を表す少なくとも１つのクラスを含む、ことと、
個々の腫瘍によって占有された領域がマーキングされている出力画像から、セグメンテーションマスクを生成することと、
各腫瘍の要約統計量を計算することと、
各腫瘍の要約統計量にフィルタを適用して、フィルタに従って腫瘍を選択および選択解除することにより、セグメンテーションマスクを編集することと、
を含む。

【0017】

提案しているアプローチにより、画像内の潜在的なまたは潜在的に重要な腫瘍がどこにあるかを病理医に示すことができ、これにより、病理医に、これらの領域への直接のナビゲートを誘導することが可能となる。このようにして、腫瘍を含む領域が病理医によって見落とされる可能性が低くなるため、分析の信頼性を向上させることができる。さらに、病理医が腫瘍領域を発見するためにスライド領域全体を検査する必要がなくなるため、スループットを向上させることができる。病理医はまた、ＣＮＮ分析結果に基づいて行われたフィルタリングおよびランク付けを考慮に入れて、限られた分析時間を配分するように暗黙的に支援される。これにより、特定のスライド画像の調査における病理医の時間がより良好に全体的に配分される。

【0018】

この方法は、スコアリングアルゴリズムに従って各腫瘍をスコアリングして、各腫瘍にスコアを割り当てることによって拡張することができる。このスコアに基づいて、腫瘍をランク付けすることができる。ランク付け順は、多種多様な有用な順序を表すことができ、例えば、知覚された臨床的関連性を示してよく、臨床医が腫瘍のレビューを希望する順序を予測してもよい。ランク付けは、フィルタを適用した後に残った腫瘍に限定されうる。ランク付けは、組織学的画像に関連付けられた追加のメタデータとして、レコードに保存されうる。組織学的画像は、仮想スライドライブラリもしくは他のデータベースに保存されたレコードから受信することができ、またはデジタルスキャナによる取得の直後に受信することができ、この場合、この方法は、デジタルスキャナによって、または例えばデジタルスキャナに接続されているコンピュータ装置によって、または別のデータソースから、実行可能である。

【0019】

次に、編集されたセグメンテーションマスクを考慮して、組織学的画像のビジュアライゼーションを作成することができる。次に、ビジュアライゼーションは、コンピュータ装置上で実行されているビジュアライゼーションアプリケーションによって、ディスプレイ上でユーザに表示されうる。例えば、ビジュアライゼーションには、セグメンテーションマスクが組織学的画像上にオーバレイされる概観表示ペインが含まれうる。ビジュアライゼーションの別の選択肢は、セグメンテーションマスクおよび組織学的画像が１対１の比較のために、例えば並べて、互いに隣接して提示されるそれぞれの概観表示ペインを含むことである。概観表示ペインには、ランク付けに基づいた各腫瘍のランク付けラベルが含まれうる。ユーザがビジュアライゼーションとのインタラクションを行って、編集されたセグメンテーションマスク内の腫瘍を選択することを許可するために、ユーザインタフェース腫瘍選択制御が提供されうる。ビジュアライゼーションには、現在選択されている腫瘍にズームインされた拡大表示ペインが含まれうる。腫瘍選択制御は、編集されたセグメンテーションマスク内の腫瘍をランク付け順でスイープするためのスクロール機能を組み込むことができる。腫瘍選択制御はまた、ユーザが現在選択されている腫瘍に対して追加の計算診断プロセスを実行することを可能にするための診断機能を組み込むことができる。

【0020】

最も単純な形式では、ＣＮＮには２つの組織クラスしか存在しない。１つは腫瘍組織のクラスであり、もう１つは非腫瘍組織のクラスである。ただし、２つ以上の腫瘍組織のクラスが提供されてもよい。例えば、腫瘍組織の組織クラスでは、浸潤性腫瘍と非浸潤性（ｉｎ ｓｉｔｕ）腫瘍とが区別されてもよい。非腫瘍組織の組織クラスには、１つの組織クラスしかない場合もあれば、例えば骨と他の組織とを区別するために複数のクラスがある場合もある。また、非組織のクラス、すなわちスライド画像全体の中でサンプルが存在しない領域のクラスがあってもよく、これは、特に組織マイクロアレイサンプルに有効でありうる。

【0021】

この方法は、割り当てステップの後に、出力画像パッチを組織学的画像（またはそのセット）の確率マップにアセンブルするステップをさらに含みうる。

【0022】

この方法は、アセンブルするステップの後に、確率マップを組織学的画像（またはそのセット）にリンクするように、例えばデータリポジトリ内のレコードに確率マップを保存するステップをさらに含みうる。

【0023】

本実装形態において、連続する各畳み込み段階では、次元が削減されるにつれて深度が増大するため、畳み込み層の深度は増大し、次元は削減される。また、連続する転置畳み込み段階では、次元が増大するにつれて深度が減少するため、逆畳み込み層の深度は減少し、次元は増大する。最終畳み込み層は、最大の深度および最小の次元を有する。畳み込み段階および逆畳み込み段階でそれぞれ深度が増大および減少するアプローチの代わりに、入力層と出力層とを除く全ての層が同じ深度を有するニューラルネットワークを設計することもできる。

【0024】

この方法はさらに、組織学的画像（またはそのセット）を確率マップとともにディスプレイ上に表示すること、例えば、その上にオーバレイして、または互いに並べて表示することを含みうる。確率マップを使用して、使用する免疫組織化学（ＩＨＣ）スコアリングアルゴリズムがどんなものであれ、これによってスコアリングすべき領域を判別できる。確率マップを使用して、例えば、病理医がＣＮＮによって生成された結果を評価するために、ディスプレイに表示されうる腫瘍細胞の周囲の等高線のセットを生成することもできる。

【0025】

特定の実施形態では、畳み込みニューラルネットワークは、１つ以上のスキップ接続を有する。各スキップ接続は、畳み込み層のうちの最終畳み込み層よりも大きな次元の少なくとも１つの畳み込み層から中間結果を取得し、当該結果を、なし、１つ、または２つ以上でありうる必要な数の転置畳み込みに供して、入力画像パッチにサイズが一致する少なくとも１つのさらなる復元された層を取得する。次に、これらは、各ピクセルに組織クラスを割り当てる該ステップの前に、上記の復元された層と組み合わされる。さらなる処理ステップでは、確率を再計算するために、復元された層をさらなる復元された層の各々と組み合わせ、これによって、スキップ接続から得られた結果が考慮される。

【0026】

特定の実施形態では、ソフトマックス演算を使用して確率を生成する。

【0027】

組織学的画像から抽出された画像パッチは、画像の全領域をカバーすることができる。パッチは、重複しない画像タイル、またはマージン部分で重複して確率マップのつなぎ合わせを支援する画像タイルでありうる。ＣＮＮは固定サイズのピクセルアレイのみを受け入れるように設計されているため、各画像パッチは、ＣＮＮに一致する幅および高さの固定数のピクセルを有する必要があるが、このことは、各画像パッチが組織学的画像上の同じ物理的領域に対応する必要があることを意味するものではない。なぜなら、組織学的画像のピクセルは、より広い領域をカバーする低解像度のパッチに結合される可能性があるからである。例えば、隣接するピクセルの各２×２アレイを組み合わせて、１つの「スーパー」ピクセルとし、組織学的画像のネイティブ解像度で抽出されたパッチの物理的領域の４倍のパッチを形成することができる。

【0028】

本方法は、ＣＮＮが訓練された後、予測のために実行することができる。この訓練の目的は、層間接続に適切な重み値を割り当てることである。訓練のために、組織学的画像（またはそのセット）の各ピクセルを組織クラスの１つに割り当てるグラウンドトゥルースデータが提供される。グラウンドトゥルースデータは、専門の臨床医が十分な数の画像に注釈を付けることにより得られる。訓練は、ＣＮＮを繰り返し適用することによって実行され、各反復では、グラウンドトゥルースデータと出力画像パッチとの比較に基づいて重み値が調整される。本実装形態では、重みは、勾配降下法による訓練中に調整される。

【0029】

組織クラスの設定には種々の選択肢があるが、全ての実施形態でないにしても、大部分の実施形態では、非腫瘍組織と腫瘍組織との間でクラスが区別されることが共通している。非腫瘍組織クラスは、１つ、２つ、またはそれ以上のクラスを含みうる。腫瘍組織クラスはまた、１つ、２つ、またはそれ以上のクラスを含みうる。例えば、本実装形態では、３つの組織クラスがある。１つは非腫瘍組織クラス、２つは腫瘍組織クラスである。２つの腫瘍組織クラスは、浸潤性腫瘍クラスおよび非浸潤性腫瘍クラスである。

【0030】

幾つかの実施形態では、ＣＮＮは、一度に１つの組織学的画像に適用される。他の実施形態では、ＣＮＮは、組織の領域の異なって染色された隣接するセクションから取得された組織学的画像のセットを組み合わせることによって形成された合成組織学的画像に適用されうる。さらに別の実施形態では、ＣＮＮは、組織の領域の異なって染色された隣接するセクションから取得された画像のセットの画像の各々と並行して適用されうる。

【0031】

ＣＮＮの結果を用いて、本方法は、ピクセル分類および確率マップを参照してその分類から定義される腫瘍に基づくスコアリングプロセスを含むように拡張されうる。例えば、本方法は、確率マップに従って、腫瘍に対応する組織学的画像内の領域を画定することと、スコアリングアルゴリズムに従って各腫瘍をスコアリングして、各腫瘍にスコアを割り当てることと、スコアを、例えばデータリポジトリのレコードに保存することと、をさらに含みうる。したがって、スコアリングは、組織学的画像上で行われるが、確率マップによって腫瘍組織を含むと特定された領域に限定される。

【0032】

結果は、臨床医のディスプレイに表示されうる。すなわち、組織学的画像は、関連する確率マップとともに表示することができ、例えば、その上にオーバレイして、または互いに並べて表示することができる。腫瘍スコアは、例えば、腫瘍にテキストラベルを付けたり、腫瘍を指し示したり、画像の横に表示したりするなど、便利な方法で表示することもできる。

【0033】

畳み込みニューラルネットワークは、完全な畳み込みニューラルネットワークでありうる。

【0034】

本発明のさらなる一態様は、組織学的画像（またはそのセット）内の腫瘍を同定するためのコンピュータプログラム製品、上記の方法を実行するための機械可読命令を有するコンピュータプログラム製品に関する。

【0035】

本発明のさらに別の態様は、組織学的画像（またはそのセット）内の腫瘍を同定するためのコンピュータ装置に関し、当該装置は、
例えば、保存されたレコードから、組織学的画像（またはそのセット）を受信するように動作可能な入力部であって、組織学的画像が、ピクセルの２次元アレイを含む、入力部と、
処理モジュールであって、
畳み込みニューラルネットワークを適用して、組織学的画像の２次元アレイに対するマッピングを有するピクセルの２次元アレイを有する出力画像を生成することであって、出力画像が、複数の組織クラスのうちの１つを各ピクセルに割り当てることによって生成され、複数の組織クラスが、非腫瘍組織を表す少なくとも１つのクラスおよび腫瘍組織を表す少なくとも１つのクラスを含む、ことと、
個々の腫瘍によって占有された領域がマーキングされている出力画像から、セグメンテーションマスクを生成することと、
各腫瘍の要約統計量を計算することと、
各腫瘍の要約統計量にフィルタを適用して、フィルタに従って腫瘍を選択および選択解除することにより、セグメンテーションマスクを編集することと、を行うように構成された、処理モジュールと、を含む。

【0036】

コンピュータ装置は、出力画像パッチを組織学的画像（またはそのセット）の確率マップにアセンブルするように構成された後処理モジュールをさらに含みうる。さらに、コンピュータ装置は、確率マップを、例えば、データリポジトリ内のレコードに保存するように動作可能な出力部をさらに含んでもよく、その結果、確率マップは、組織学的画像（またはそのセット）にリンクされる。装置はさらに、組織学的画像（またはそのセット）および確率マップをディスプレイに送信するように動作可能なディスプレイおよびディスプレイ出力部を含んでもよく、その結果、組織学的画像は、確率マップとともに、例えば、その上にオーバレイして、または確率マップとともに表示される。

【0037】

本発明の別の態様は、１つ以上の他の要素と組み合わせて上記で指定されたコンピュータ装置を含むシステムに関する。例えば、システムは、組織学的画像またはそのセットを取得し、それらをデータリポジトリ内のレコードに保存するように動作可能な顕微鏡など、組織学的画像を取得するように動作可能な画像取得装置を含みうる。かかる顕微鏡は、デジタルスキャナに組み込むことができる。システムはまた、組織学的画像を含む患者データのレコードを保存するように構成されたデータリポジトリと、コンピュータ装置とデータリポジトリとの間の患者データレコードまたはその一部の転送を可能にするネットワーク接続と、を含みうる。

【0038】

要約すると、組織学的画像において腫瘍を同定および可視化するための方法、コンピュータ装置、コンピュータプログラム製品およびシステムが提供されうる。畳み込みニューラルネットワークＣＮＮを使用して、画像内のピクセルは、非腫瘍組織に関連すると判別されたのか、または腫瘍組織を表す１つ以上のクラスに関連すると判別されたのかに従って分類される。ＣＮＮの結果に基づいてセグメンテーションが実行され、マスクが生成され、当該マスクにより、個々の腫瘍によって占有された領域がマーキングされる。次に、各腫瘍の要約統計量が計算され、フィルタに提供される。フィルタにより、重要でないとみなされた腫瘍を除外することによってセグメンテーションマスクが編集される。任意に、フィルタを通過する腫瘍は、要約統計量に従って、例えば臨床的関連性の順序で、または病理医にとって常識的なレビューの順序でランク付けすることができる。次に、ビジュアライゼーションアプリケーションにより、セグメンテーションマスク、要約統計量、および／またはランク付けを考慮して組織学的画像を表示することができる。

【0039】

組織学的画像は、１つ以上のさらなる２次元ピクセルアレイを含んでもよく、したがって、幾つかの場合では、例えば、複数の染色の各々に１つ、または有限の深度の透明または半透明のサンプルを通して顕微鏡の焦点面をステップすることによって得られたサンプル（いわゆるｚスタック）の異なる深度の各々に１つなど、ピクセルの複数の２次元アレイを含みうる。ＣＮＮによって生成された出力画像はまた、ピクセルの１つ以上の２次元アレイを含む。ここで、（入力）組織学的画像と出力画像との間に定義されたマッピングが存在しており、これは１対１のマッピング、多対１のマッピング、または１対多のマッピングでありうる。少なくとも幾つかの実施形態では、組織学的画像は、顕微鏡、特に光学顕微鏡によってセクション化された組織サンプルから撮影された２次元画像のデジタル表現であることが理解されよう。これは、従来の光学顕微鏡、共焦点顕微鏡、または未染色もしくは染色された組織サンプルの組織学的画像を取得するのに適した他の種類の顕微鏡でありうる。組織学的画像のセットの場合、これらは、組織の領域の隣接するセクション（すなわちスライス）から撮影された一連の顕微鏡画像であってよく、各セクションは、異なって染色されていてよい。単一の組織学的画像はまた、単純なオーバレイまたはワーピング変換によって支援されたオーバレイを使用して、組織の領域の異なって染色された隣接するセクションから取得された複数の組織学的画像をマージすることによって計算された合成物でありうる。

【0040】

一実施形態では、ＣＮＮは、外科的切除後の腫瘍辺縁の状態を自動的に求めるためのコンピュータ自動化方法に適用されうる。

【0041】

本開示の一態様によれば、腫瘍塊の辺縁状態を求めるために組織学的画像を画像処理する方法が提供され、当該方法は、
切除によって抽出され、その表面を強調表示するために染料で着色された腫瘍塊から得られた組織サンプル切片の組織学的画像を受信することであって、組織学的画像が、ピクセルの２次元アレイを含む、ことと、
組織クラスを区別するように訓練された少なくとも１つのニューラルネットワークを使用してＣＮＮプロセスを適用して、組織学的画像の２次元アレイに対するマッピングを有するピクセルの２次元アレイを有する出力画像を生成することであって、出力画像が、組織クラスを各ピクセルに割り当てて、染料および非染料ならびに腫瘍および非腫瘍を区別することによって生成される、ことと、
腫瘍染料ピクセルの有無に応じて、辺縁状態を陽性または陰性としてそれぞれ計算することと、
辺縁状態を出力することと、
を含む。

【0042】

陽性または陰性の辺縁状態は、腫瘍染料ピクセルの数が閾値数を上回っているか、または下回っているかに少なくとも部分的に基づいて計算されうる。陽性状態および陰性状態は細分化できる。辺縁状態の計算により、陰性状態をクロースサブ状態とクリアサブ状態との間で細分化することができ、クロースとクリアとは、腫瘍非染料ピクセルと染料非腫瘍ピクセルとの間の距離が閾値を下回っているかまたは上回っていることによって区別される。辺縁状態の計算により、当技術分野でまとめて辺縁病変と称される複数のサブ状態間で陽性状態を細分化することができる。辺縁病変は、巣性、最小／中程度、および広範囲であると言われている。辺縁病変は、腫瘍染料ピクセルの有病率に基づいて求めることができ、有病率は、腫瘍染料ピクセル間の最大距離の計算に少なくとも部分的に基づいて定量化することができる。

【0043】

発明者らは、深層学習を使用して腫瘍の辺縁状態を検出し、辺縁距離および辺縁病変をも報告しうる画像分析アルゴリズムを使用することを提案する。アルゴリズムは、病理医がレビューできる仮想スライド画像のバッチに対して教師なしで実行できる。このコンピュータ自動化方法を通じてこの辺縁情報を病理医に提供することにより、病理医のワークフローの速度を向上させ、より高品質でより一貫性のある腫瘍辺縁レポートを作成できる。

【0044】

実施形態の１つのグループでは、単一の畳み込みニューラルネットワークを使用して、完全な分類が実行される。つまり、畳み込みニューラルネットワークプロセスは、腫瘍染料、腫瘍非染料、非腫瘍染料、および非腫瘍非染料の組織クラスを区別するように訓練された１つのニューラルネットワークを適用することを含む。

【0045】

実施形態の別のグループでは、別個の畳み込みニューラルネットワークが適用され、一方は腫瘍型を分類し、他方は染料と非染料とを分類し、これらの２つのニューラルネットワークの結果を論理的に組み合わせてクラスの完全なセットが生成される。すなわち、畳み込みニューラルネットワークプロセスは、腫瘍および非腫瘍の組織クラスを区別し、第１の出力画像を出力するように訓練された第１のニューラルネットワークと、染料および非染料の組織クラスを区別して第２の出力画像を出力するように訓練された第２のニューラルネットワークとを別々に適用することを含み、当該出力画像は、第１の出力画像および第２の出力画像を組み合わせて、組織クラスを腫瘍染料、腫瘍非染料、非腫瘍染料、および非腫瘍非染料の組織クラスに割り当てることによって生成される。

【0046】

分類スキームには、腫瘍組織型が１つしかない場合もあれば、複数ある場合もある。一実施形態では、浸潤性腫瘍用および非浸潤性腫瘍用に別個の腫瘍組織型があり、非腫瘍組織用に１つのクラスがあり、そのため、腫瘍組織型と並行して、染料と非染料との間の違いを考慮した６つのクラスのセットが提供される。

【0047】

処理のための方法によって受信された組織学的画像は、仮想スライドライブラリまたは他のデータベースに保存されたレコードからロードされうるか、またはデジタルスキャナによる組織学的画像の取得の直後に取得されうる。その場合、この方法は、デジタルスキャナ自体によって実行可能であり、あるいは例えば、デジタルスキャナに接続されているか、または別のデータソースから接続されたコンピュータ装置によって実行されうる。

【0048】

この方法は、割り当てステップの後に、出力画像を組織学的画像（またはそのセット）の確率マップにアセンブルするステップをさらに含みうる。この方法は、アセンブルするステップの後、組織学的画像またはそのセットにリンクされた確率マップを、例えば、組織学的画像データのメタデータを構成する確率マップとの共通レコードに保存するステップをさらに含みうる。

【0049】

本実装形態において、連続する各畳み込み段階では、次元が削減されるにつれて深度が増大するため、畳み込み層の深度は増大し、次元は削減される。また、連続する転置畳み込み段階では、次元が増大するにつれて深度が減少するため、逆畳み込み層の深度は減少し、次元は増大する。最終畳み込み層は、最大の深度および最小の次元を有する。畳み込み段階および逆畳み込み段階でそれぞれ深度が増大および減少するアプローチの代わりに、入力層と出力層とを除く全ての層が同じ深度を有するニューラルネットワークを設計することもできる。

【0050】

この方法はさらに、組織学的画像またはそのセットを確率マップとともにディスプレイ上に表示すること、例えば、その上にオーバレイして、または互いに並べて表示することを含みうる。

【0051】

特定の実施形態では、畳み込みニューラルネットワークは、１つ以上のスキップ接続を有する。各スキップ接続は、畳み込み層のうちの最終畳み込み層よりも大きな次元の少なくとも１つの畳み込み層から中間結果を取得し、当該結果を、なし、１つ、または２つ以上でありうる必要な数の転置畳み込みに供して、入力画像パッチにサイズが一致する少なくとも１つのさらなる復元された層を取得する。次に、これらは、各ピクセルに組織クラスを割り当てる該ステップの前に、上記の復元された層と組み合わされる。さらなる処理ステップでは、確率を再計算するために、復元された層をさらなる復元された層の各々と組み合わせ、これによって、スキップ接続から得られた結果が考慮される。

【0052】

特定の実施形態では、ソフトマックス演算を使用して確率を生成する。

【0053】

組織学的画像から抽出された画像パッチは、画像の全領域をカバーすることができる。パッチは、重複しない画像タイル、またはマージン部分で重複して確率マップのつなぎ合わせを支援する画像タイルでありうる。ＣＮＮは固定サイズのピクセルアレイのみを受け入れるように設計されているため、各画像パッチは、ＣＮＮに一致する幅および高さの固定数のピクセルを有する必要があるが、このことは、各画像パッチが組織学的画像上の同じ物理的領域に対応する必要があることを意味するものではない。なぜなら、組織学的画像のピクセルは、より広い領域をカバーする低解像度のパッチに結合される可能性があるからである。例えば、隣接するピクセルの各２×２アレイを組み合わせて、１つの「スーパー」ピクセルとし、組織学的画像のネイティブ解像度で抽出されたパッチの物理的領域の４倍のパッチを形成することができる。

【0054】

本方法は、ＣＮＮが訓練された後、予測のために実行することができる。この訓練の目的は、層間接続に適切な重み値を割り当てることである。訓練の場合、使用されるグラウンドトゥルースデータは、訓練データの組織学的画像の各ピクセルを組織クラスの１つに割り当てる。グラウンドトゥルースデータは、専門の臨床医が十分な数の画像に注釈を付けることにより得られる。訓練は、ＣＮＮを繰り返し適用することによって実行され、各反復では、グラウンドトゥルースデータと出力画像パッチとの比較に基づいて重み値が調整される。本実装形態では、重みは、勾配降下法による訓練中に調整される。

【0055】

一方が腫瘍組織型を分類し、他方が染料および非染料を分類する別々の畳み込みニューラルネットワークを使用する実施形態では、一方は腫瘍のセグメンテーションのみに基づき、他方は染料境界のセグメンテーションのみに基づく２つの別々の訓練データセットを使用できるため、訓練データの提供はより容易でありうる。したがって、染料訓練データは、腫瘍型、または腫瘍組織型の下位分類の種類に固有ではない可能性がある。さらに、腫瘍訓練データには、具体的に染料を使用した切除スライドからの画像ではなく、任意の適切な病理画像を使用することができる。一方、同じ畳み込みニューラルネットワークを４方向分類、６方向分類、またはそれ以上の偶数の分類で使用する場合、訓練データセットは、適切に専門的に分析され、グラウンドトゥルースデータで補強された、着色された切除組織塊の画像である必要がある。

【0056】

腫瘍組織クラスの設定には種々の選択肢があるが、全ての実施形態でないにしても、大部分の実施形態では、非腫瘍組織と腫瘍組織との間でクラスが区別されることが共通している。非腫瘍組織クラスは、１つ、２つ、またはそれ以上のクラスを含みうる。腫瘍組織クラスはまた、１つ、２つ、またはそれ以上のクラスを含みうる。例えば、本実装形態では、３つの組織クラスがある。１つは非腫瘍組織クラス、２つは腫瘍組織クラスである。２つの腫瘍組織クラスは、浸潤性腫瘍クラスおよび非浸潤性腫瘍クラスである。

【0057】

幾つかの実施形態では、ＣＮＮは、一度に１つの組織学的画像に適用される。他の実施形態では、ＣＮＮは、組織の領域の異なって染色された隣接するセクションから取得された組織学的画像のセットを組み合わせることによって形成された合成組織学的画像に適用されうる。さらに別の実施形態では、ＣＮＮは、組織の領域の異なって染色された隣接するセクションから取得された画像のセットの画像の各々と並行して適用されうる。

【0058】

結果は、臨床医のディスプレイに表示されうる。すなわち、組織学的画像は、関連する確率マップとともに表示することができ、例えば、その上にオーバレイして、または互いに並べて表示することができる。腫瘍スコアは、例えば、腫瘍にテキストラベルを付けたり、腫瘍を指し示したり、画像の横に表示したりするなど、便利な方法で表示することもできる。

【0059】

畳み込みニューラルネットワークは、完全な畳み込みニューラルネットワークでありうる。

【0060】

本発明のさらなる一態様は、組織学的画像またはそのセット内の腫瘍を同定するためのコンピュータプログラム製品、上記の方法を実行するための機械可読命令を有するコンピュータプログラム製品に関する。

【0061】

本発明のさらに別の態様は、組織学的画像を画像処理して腫瘍塊の辺縁状態を求めるためのコンピュータ装置に関し、当該装置は、
切除によって抽出され、その表面を強調表示するために染料で着色された腫瘍塊から得られた組織サンプル切片の組織学的画像を受信するように動作可能な入力部であって、組織学的画像が、ピクセルの２次元アレイを含む、入力部と、
組織クラスを区別し、組織学的画像の２次元アレイに対するマッピングを有するピクセルの２次元アレイを有する出力画像を生成するように訓練された少なくとも１つのニューラルネットワークを含む畳み込みニューラルネットワーク処理モジュールであって、出力画像が、組織クラスを各ピクセルに割り当てて、染料および非染料ならびに腫瘍および非腫瘍を区別することによって生成される、畳み込みニューラルネットワーク処理モジュールと、
出力画像内の腫瘍染料ピクセルの有無に応じて、辺縁状態を陽性または陰性としてそれぞれ計算するように動作可能な辺縁評価モジュールと、
辺縁状態を出力するように動作可能な出力部と、
を含む。

【0062】

出力をデータリポジトリに接続して、辺縁状態を保存し、任意に出力画像をレコードに保存することもできる。保存された出力画像は、各ピクセルの組織クラスおよび／または各ピクセルの確率、すなわち確率マップを含みうる。出力画像を保存することは、ビジュアライゼーションを構築するのに役立ちうる。これは、例えば、組織学的画像は、組織クラスマップまたは確率マップをオーバレイして表示できるためである。レコードに保存されているかどうかにかかわらず、出力部は、組織学的画像が出力画像とともに表示されるように、組織学的画像および出力画像をディスプレイに送信するように動作可能でありうる。

【0063】

本発明の別の態様は、以下の要素、すなわち、組織学的画像またはそのセットを取得するように動作可能な顕微鏡などの画像取得装置、および組織学的画像（またはそのセット）を含む患者データのレコードを保存するように構成されたデータリポジトリのうちの１つ以上と組み合わせた上記のようなコンピュータ装置を含む、クリニカルネットワークなどのシステムに関する。コンピュータ装置とデータリポジトリとの間の患者データレコードまたはその一部の転送など、データ転送を可能にするこれらの要素のうちのいずれかの要素間に適切なネットワーク接続が提供されることが理解されよう。

【0064】

少なくとも幾つかの実施形態では、組織学的画像は、顕微鏡、特に光学顕微鏡によってセクション化された組織サンプルから撮影された２次元画像のデジタル表現であることが理解されよう。これは、従来の光学顕微鏡、共焦点顕微鏡、または未染色もしくは染色された組織サンプルの組織学的画像を取得するのに適した他の種類の顕微鏡でありうる。組織学的画像のセットの場合、これらは、組織の領域の隣接するセクション（すなわちスライス）から撮影された一連の顕微鏡画像であってよく、各セクションは、異なって染色されていてよい。

【0065】

本発明の他の特徴および利点は、以下の詳細な説明および添付の図面を検討した後、当業者にはより容易に明らかになるであろう。

【0066】

本発明の構造および動作は、以下の詳細な説明および添付図面を検討することで理解され、ここで、同様の参照番号は、同様の部品を指す。

【図面の簡単な説明】

【0067】

【図1A】本発明の一実施形態で使用されるニューラルネットワークアーキテクチャの概略図である。

【図1B】図１Ａのニューラルネットワークアーキテクチャ内で、大域特徴および局所特徴マップがどのように組み合わされて、入力画像パッチ内の各ピクセルの個々のクラスを予測する特徴マップを生成するかを示す図である。

【図2A】生の組織パッチ画像を示す図であり、当該画像は、動作中、カラー画像である。

【図2B】図２ＡのＣＮＮ予測を示す図であり、当該図面は、動作中、カラー画像である。ＣＮＮ予測は、予測された腫瘍領域を示しており、これは、カラー画像では暗赤色で示されている。

【図2C】生の組織学的画像を示す図であり、当該画像は、動作中、カラー画像である。マーキングされた生の組織学的画像は、病理医の手による注釈（赤色）とＣＮＮ予測（ピンク色および黄色）とを示している。

【図2D】ＣＮＮ予測を示す図であり、当該図面は、動作中、カラー画像である。ＣＮＮ予測画像は、非腫瘍領域（緑色）、浸潤性腫瘍領域（赤色、図２Ｃのピンク色に対応）、および非浸潤性腫瘍（青色、図２Ｃの黄色に対応）を示している。

【図3A】入力ＲＧＢ画像パッチの例を示す図であり、当該図面は、動作中、カラー画像である。画像パッチは、病理医による浸潤性腫瘍の手動での輪郭付け（赤色）を示し、さらにニューラルネットワークの予測（ピンク色および黄色）のオーバレイを示している。

【図3B】最終出力腫瘍確率ヒートマップを示す図であり、当該図面は、動作中、カラー画像である。ヒートマップは、ニューラルネットワークの予測のオーバレイを示している（それぞれ赤褐色および青色）。

【図4】ＣＮＮの訓練に含まれるステップを示すフロー図である。

【図5】ＣＮＮを使用した予測に含まれるステップを示すフロー図である。

【図6】訓練済みＣＮＮを使用して辺縁を評価することに含まれるステップを示すフロー図である。

【図7】本開示の一実施形態による方法のフロー図である。

【図8】図１Ａおよび図１Ｂのニューラルネットワークアーキテクチャの実装に含まれる計算を実行するために使用されうるＴＰＵのブロック図である。

【図9】本発明の実施形態と併せて使用することができる例示的なコンピュータネットワークを示す図である。

【図10】例えば、図８のＴＰＵのホストコンピュータとして使用することができるコンピューティング装置のブロック図である。

【図11A】本明細書に記載の種々の実施形態に関連して使用されうる例示的なプロセッサ対応デバイス５５０を示すブロック図である。

【図11B】単一の線形アレイを有する例示的なラインスキャンカメラを示すブロック図である。

【図11C】３つの線形アレイを有する例示的なラインスキャンカメラを示すブロック図である。

【図11D】複数の線形アレイを有する例示的なラインスキャンカメラを示すブロック図である。

【発明を実施するための形態】

【0068】

以下の詳細な説明では、限定ではなく説明の目的で、本開示のより良い理解を提供するために特定の詳細が記載されている。本開示は、これらの特定の詳細から逸脱する他の実施形態で実施されうることが当業者には明らかであろう。

【0069】

癌は、北米女性の第２に多い死因である。全種類の女性の癌の中で、乳癌は最も一般的なものであり、癌による死亡原因の第２位となっている。そのため、女性は、人生のどこかで乳癌に罹患する割合が多く、乳癌治療の精度は、女性の寿命および生活の質に大きな影響を及ぼしている。

【0070】

乳癌は、特定の遺伝子の発現に基づいて、種々の分子サブタイプに分類できる。概して使用される分類スキームは、
１．ルミナルＡ型：ＥＲ＋、ＰＲ＋、ＨＥＲ２－
２．ルミナルＢ型：ＥＲ＋、ＰＲ－、ＨＥＲ２＋
３．トリプルネガティブ乳癌（ＴＮＢＣ）型：ＥＲ－、ＰＲ－、ＨＥＲ２－
４．ＨＥＲ２濃縮型：ＨＥＲ２＋、ＥＲ－、ＰＲ－
５．ノーマル－ｌｉｋｅ型
の通りである。

【0071】

ＥＲはエストロゲン受容体の略である。ＰＲはプロゲステロン受容体の略である。ＨＥＲ２はヒト上皮成長因子受容体２の略である。

【0072】

浸潤性および非浸潤性乳癌細胞の核を自動的に検出して輪郭を描画するコンピュータ自動腫瘍発見法について説明する。この方法は、ＷＳＩなどの単一の入力画像、またはＷＳＩのセットなどの入力画像のセットに適用される。各入力画像は、ＷＳＩなどのデジタル化された組織学的画像である。入力画像のセットの場合、これらは隣接する組織切片の異なって染色された画像でありうる。染色という用語は、広く使用されており、バイオマーカーによる染色だけでなく、従来のコントラスト増強染色による染色も含む。

【0073】

コンピュータで自動化された腫瘍の輪郭付けは手動の輪郭付けよりもはるかに高速であるため、画像から選択した抽出タイルに手動で注釈を付すだけでなく、画像全体を処理することができる。したがって、提案している自動腫瘍輪郭付けにより、病理医は画像内の全ての腫瘍細胞の陽性（または陰性）割合を計算できるようになり、これにより、より正確で再現性のある結果が得られる。

【0074】

腫瘍の発見、輪郭付け、および分類のために提案されたコンピュータ自動化方法は、畳み込みニューラルネットワーク（ＣＮＮ）を使用して、ＷＳＩ上の各核ピクセルを発見し、かかる各ピクセルを、本実装形態の乳房腫瘍クラスにおいて、非腫瘍クラスの１つと複数の腫瘍クラスの１つとに分類する。

【0075】

発明者らの実装形態におけるニューラルネットワークは、設計の点で、<http://www.robots.ox.ac.uk/^～vgg/research/very_deep/>で入手可能なＶＧＧ－１６アーキテクチャと類似しており、Ｓｉｍｏｎｙａｎ ａｎｄ Ｚｉｓｓｅｒｍａｎ（２０１４）により説明されている。その内容は全て、参照により本明細書に組み込まれている。

【0076】

入力画像は、病理画像であり、本明細書の他の箇所でより詳細に説明されるように、複数の従来の染色のうちのいずれかで染色された画像である。ＣＮＮの場合、画像パッチは特定のピクセル寸法、例えば１２８×１２８、２５６×２５６、５１２×５１２、または１０２４×１０２４ピクセルで抽出される。画像パッチは任意のサイズであってよく、正方形である必要はないが、パッチの行および列のピクセル数は２ｎに一致し、ｎは正の整数であることが理解されよう。これは、かかる数値が、一般に、適切な単一ＣＰＵ（中央処理装置）、ＧＰＵ（グラフィックス処理装置）、ＴＰＵ（テンソル処理装置）、またはそのアレイによる直接のデジタル処理により適しているためである。

【0077】

「パッチ」は、ＷＳＩから取得された画像部分を指すために使用される専門用語であり、通常、正方形または長方形の形状であることに留意されたい。この点で、ＷＳＩには１０億以上のピクセル（ギガピクセル画像）が含まれうるため、画像処理は通常、ＣＮＮで処理するための管理可能なサイズ（例えば、約５００×５００ピクセル）のパッチに適用される。したがって、ＷＳＩは、パッチに分割し、ＣＮＮでパッチを分析し、出力（画像）パッチをＷＳＩと同じサイズの確率マップに再アセンブルすることに基づいて処理される。次に、確率マップを、例えば半透明に、ＷＳＩまたはその一部にオーバレイすることができ、その結果、病理画像および確率マップの両方を一緒に観察することができる。その意味で、確率マップは病理画像のオーバレイ画像として使用される。ＣＮＮによって分析されるパッチは、全て同じ倍率のものでありうるか、または異なる倍率、例えば５倍、２０倍、５０倍などの混合物を有しうるため、サンプル組織の異なるサイズの物理的領域に対応する。異なる倍率によって、これらは、ＷＳＩが取得された物理的倍率に対応することができ、あるいはより高倍率（すなわち、より高解像度）の物理的画像をデジタル的に縮小することで得られる有効倍率に対応することができる。

【0078】

図１Ａは、発明者らのニューラルネットワークアーキテクチャの概略図である。層Ｃ１，Ｃ２，．．．，Ｃ１０は畳み込み層である。層Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５およびＤ６は、転置畳み込み（つまり逆畳み込み）層である。特定の層を相互接続する線は、畳み込みＣ層と逆畳み込みＤ層との間のスキップ接続を示している。スキップ接続により、より次元が大きく深度が浅い層（「大きい」および「浅い」は、より低いインデックスの畳み込み層を意味する）の局所特徴を、最後の（つまり、最小、最深の）畳み込み層からの大域特徴と組み合わせることができる。これらのスキップ接続により、より正確なアウトラインが提供される。最大プール層は、その各々がパッチの幅および高さを２分の１に減らすために使用されており、層Ｃ２、Ｃ４およびＣ７の後に存在しているが、概略図には直接に示されておらず、パッチのサイズを結果的に小さくすることで暗示的に示されている。ニューラルネットワークの幾つかの実現形態では、最大プール層が１×１畳み込みに置き換えられ、完全な畳み込みネットワークになる。

【0079】

ニューラルネットワークの畳み込み部分は、順番に、入力層（ＲＧＢ入力画像パッチ）と、２つの畳み込み層Ｃ１、Ｃ２と、第１の最大プール層（図示せず）と、２つの畳み込み層Ｃ３、Ｃ４と、第２の最大プール層（図示せず）と、３つの畳み込み層Ｃ５、Ｃ６、Ｃ７と、第３の最大プール層（図示せず）とを有する。第２および第３の最大プール層からの出力は、それぞれ、層Ｃ５およびＣ８への通常の接続に加えて、スキップ接続を使用して逆畳み込み層に直接に接続される。

【0080】

次に、最後の畳み込み層Ｃ１０、第２の最大プール層（つまり、層Ｃ４の後の層）からの出力、および第３の最大プール層（つまり、層Ｃ７の後の層）からの出力は、それぞれ「逆畳み込み層」の個別のシーケンスに接続され、これらは、入力（画像）パッチと同じサイズにアップスケールされる。つまり、畳み込み特徴マップを、入力画像パッチと同じ幅および高さで、検出される組織クラスの数に等しい、すなわち非腫瘍型および１つ以上の腫瘍型に等しいチャネル数（つまり、特徴マップの数）を有する特徴マップに変換する。第２の最大プール層では、逆畳み込みの１つのステージのみが必要なため、層Ｄ６への直接のリンクが表示される。第３の最大プール層の場合、層Ｄ５に到達するには、中間逆畳み込み層Ｄ４を介して２段階の逆畳み込みが必要である。最も深い畳み込み層Ｃ１０の場合、Ｄ１およびＤ２を経由して層Ｄ３に至る３段階の逆畳み込みが必要である。結果は、入力パッチと同じサイズの３つのアレイＤ３、Ｄ５、Ｄ６である。

【0081】

図１Ａに示されているものを単純化したバージョンでは、おそらく性能は劣るものの、スキップ接続を省略することができ、この場合、層Ｄ４、Ｄ５およびＤ６は存在せず、出力パッチは層Ｄ３からのみ計算される。

【0082】

図１Ｂは、図１Ａのニューラルネットワークアーキテクチャにおける最終ステップがどのように実行されるかをより詳細に示している。すなわち、大域特徴マップ層Ｄ３および局所特徴マップ層Ｄ５、Ｄ６が組み合わされて、入力画像パッチの各ピクセルの個々のクラスを予測する特徴マップを生成している。具体的には、図１Ｂは、最後の３つの転置畳み込み層Ｄ３、Ｄ５、Ｄ６が腫瘍クラスの出力パッチにどのように処理されるかを示している。

【0083】

ここで、上記のアプローチが、デジタルパソロジーで現在使用されている既知のＣＮＮとどのように異なるかについて説明する。この既知のＣＮＮでは、複数の利用可能なクラスから選択された１つのクラスを各画像パッチに割り当てている。かかるタイプのＣＮＮの例として、Ｗａｎｇ ｅｔ ａｌ．（２０１６）、Ｌｉｕ ｅｔ ａｌ．（２０１７）、Ｃｒｕｚ－Ｒｏａ ｅｔ ａｌ．（２０１７）、Ｖａｎｄｅｎｂｅｒｇｈｅ ｅｔ ａｌ．（２０１７）の論文が挙げられる。ただし、ここで説明されているのは、所与の画像パッチ内で、複数の使用可能なクラスから選択された１つのクラスが全てのピクセルに割り当てられるということである。したがって、画像パッチごとに１つのクラスラベルを生成する代わりに、発明者らのニューラルネットワークは、所与のパッチの個々のピクセルごとにクラスラベルを出力している。発明者らの出力パッチは、入力パッチと１対１のピクセル間で対応しているため、出力パッチの各ピクセルには、複数の利用可能なクラスのうちの１つ（非腫瘍、腫瘍１、腫瘍２、腫瘍３など）が割り当てられている。

【0084】

かかる既知のＣＮＮでは、各パッチに単一のクラスを割り当てるために、一連の畳み込み層が使用され、その後に１つ以上の全結合層が続き、検出するクラスと同じ数の値を有する出力ベクトルが続いている。予測されるクラスは、出力ベクトルの最大値の位置によって求められる。

【0085】

訓練済みＣＮＮは、入力としてデジタルスライド画像からピクセルを取得し、各ピクセルの確率のベクトルを返す（Ｇｏｏｄｆｅｌｌｏｗ，Ｂｅｎｇｉｏ，ａｎｄ Ｃｏｕｒｖｉｌｌｅ（２０１６））。ベクトル長はＮであり、Ｎは、ＣＮＮが検出するように訓練されたクラスの数である。例えば、ＣＮＮが、浸潤性腫瘍、非浸潤性腫瘍、非腫瘍の３つのクラスを区別するように訓練されている場合、ベクトル長ｖは３になる。ベクトルの各座標は、ピクセルが特定のクラスに属する確率を示している。したがって、ｖ［０］は、ピクセルが浸潤性腫瘍クラスに属する確率、ｖ［１］はピクセルが非浸潤性クラスに属する確率、ｖ［２］はピクセルが非腫瘍クラスに属する確率を示すことができる。各ピクセルのクラスは、確率ベクトルから求められる。ピクセルをクラスに割り当てる単純な方法は、ピクセルを最も確率の高いクラスに割り当てることである。

【0086】

個々のピクセルのクラスを予測するために、発明者らのＣＮＮでは、畳み込み層に続く異なるアーキテクチャが使用される。一連の全結合層の代わりに、一連の転置畳み込み層により畳み込み層が追跡される。全結合層は、このアーキテクチャから削除される。各転置層は、特徴マップの幅および高さを２倍にすると同時に、チャネル数を半分にする。このようにして、特徴マップは入力パッチのサイズにアップスケールされる。

【0087】

さらに、予測を改善するために、Ｌｏｎｇ ｅｔ ａｌ．（２０１５）に記載されているスキップ接続が使用され、その内容は全て、参照により本明細書に組み込まれている。

【0088】

スキップ接続により、より浅い特徴を使用して、最終畳み込み層Ｃ１０からのアップスケーリングによって行われる粗予測が改善される。図１Ａの層Ｄ５およびＤ６に含まれるスキップ接続からの局所特徴は、図１Ａの層Ｄ３に含まれる大域特徴を最終畳み込み層からアップスケーリングすることによって生成された特徴と連結される。次に、大域特徴層および局所特徴層Ｄ３、Ｄ５およびＤ６は、図１Ｂに示されるように、組み合わされた層に連結される。

【0089】

図１Ｂの連結された層から（またはスキップ接続が使用されない場合は最後の逆畳み込み層Ｄ３から直接に）、チャネルの数は、組み合わされた層の１×１畳み込みによってクラスの数と一致するように減少される。次に、この分類層でのソフトマックス演算により、結合された層の値が確率に変換される。出力パッチ層のサイズはＮ×Ｎ×Ｋであり、Ｎは入力パッチのピクセル単位の幅および高さ、Ｋは検出されているクラスの数である。したがって、画像パッチ内の任意のピクセルＰに対して、サイズＫの出力ベクトルＶが存在する。次に、対応するベクトルＶの最大値の位置によって、一意のクラスを各ピクセルＰに割り当てることができる。

【0090】

したがって、ＣＮＮは、各ピクセルを、非癌性または複数の異なる癌（腫瘍）タイプのうちの１つ以上に属するものとしてラベル付けする。特に関心のある癌は乳癌であるが、本方法は、膀胱癌、結腸癌、直腸癌、腎臓癌、血液（白血病）、子宮内膜癌、肺癌、肝臓癌、皮膚癌、膵臓癌、前立腺癌、脳癌、脊椎癌、甲状腺癌などの他の癌の組織学的画像にも適用可能である。

【0091】

発明者らの特定のニューラルネットワークの実装形態は、特定の固定ピクセル寸法を有する入力画像で動作するように構成されている。したがって、訓練および予測の両方の前処理ステップとして、Ｎ×Ｎ×ｎピクセルなどの目的のピクセル寸法を有するパッチがＷＳＩから抽出され、ここで、ＷＳＩが従来の可視光顕微鏡によって取得されたカラー画像であるとき、各物理的位置に３つの原色（通常はＲＧＢ）に関連付けられた３つのピクセルがある場合はｎ＝３となる（以下でさらに説明するように、２つ以上のカラーＷＳＩが組み合わされている場合、「ｎ」は合成ＷＳＩの数の３倍になりうる）。さらに、単一のモノクロＷＳＩの場合、「ｎ」の値は１になる。訓練を高速化するために、入力パッチもこの段階でセンタリングされ、正規化される。

【0092】

発明者らの好ましいアプローチは、ＷＳＩ全体、または少なくとも組織を含むＷＳＩの領域全体を処理することである。したがって、この場合のパッチは、少なくともＷＳＩの組織領域全体をカバーするタイルである。タイルは、オーバラップすることなく隣接している場合があり、あるいは例えば１、２、３、４、５、６、７、８、９、または１０ピクセル幅の重複するエッジマージン領域を有しているため、ＣＮＮの出力パッチを、不一致を考慮してつなぎ合わせることができる。しかしながら、発明者らのアプローチは、必要に応じて、従来技術のように、または病理医によって実行されるように、同じまたは異なる倍率であるＷＳＩ上のパッチのランダムサンプルに適用することもできる。

【0093】

発明者らのニューラルネットワークは、設計の点で、Ｓｉｍｏｎｙａｎ ａｎｄ Ｚｉｓｓｅｒｍａｎ（２０１４）のＶＧＧ－１６アーキテクチャに類似している。全ての畳み込みフィルタにおいて、非常に小さい３×３カーネルが使用される。最大プーリングは、２×２の小さなウィンドウおよび２のストライドで実行される。畳み込み層の後に一連の全結合層を有するＶＧＧ－１６アーキテクチャとは対照的に、発明者らは、畳み込み層の後に一連の「逆畳み込み」（より正確には転置畳み込み）のシーケンスを行い、セグメンテーションマスクを生成している。セマンティックセグメンテーションのためのこのタイプのアップサンプリングは、過去に、Ｌｏｎｇ ｅｔ ａｌ．（２０１５）によって自然画像処理に使用されており、その内容は全て、参照により本明細書に組み込まれている。

【0094】

各逆畳み込み層は、入力特徴マップを幅および高さの次元で２倍に拡大する。これにより、最大プール層の縮小効果が打ち消され、入力画像と同じサイズのクラス特徴マップが作成される。各畳み込み層および逆畳み込み層からの出力は、非線形アクティベーション層によって変換される。ここでは、非線形アクティベーション層は、整流関数ＲｅＬＵ（ｘ）＝ｍａｘ（０，ｘ）を使用している。必要に応じて、ＲｅＬＵ、リーキーＲｅＬＵ、ｅＬＵなどの種々のアクティベーション関数を使用できる。

【0095】

提案している方法は、任意の数の組織クラスに変更を加えることなく適用できる。その制約は、ニューラルネットワークで複製することが望ましい方法で分類された適切な訓練データの可用性にすぎない。さらなる乳房病変の例として、浸潤性小葉癌または浸潤性乳管癌が挙げられる。すなわち、前述の例の単一の浸潤性腫瘍クラスは、複数の浸潤性腫瘍クラスで置き換えることができる。ニューラルネットワークの精度は、ほとんどの場合、各クラスで使用可能な画像の数、クラスの類似性、およびメモリ制限に陥る前にニューラルネットワークをどれだけ深くすることができるかによって決まる。概して、クラスごとの画像の数が多い、ネットワークが深い、クラスが異なるなどの条件が揃うと、ネットワークの精度が高くなる。

【0096】

ソフトマックス回帰層（つまり、多項ロジスティック回帰層）がチャネルパッチの各々に適用され、特徴マップの値が確率に変換される。

【0097】

最終特徴マップのチャネルＣの位置（ｘ，ｙ）の値には、確率Ｐ（ｘ，ｙ）が含まれ、確率Ｐ（ｘ，ｙ）では、入力画像パッチの位置（ｘ，ｙ）のピクセルがチャネルＣによって検出された腫瘍型に属している。

【0098】

畳み込み層および逆畳み込み層の数は、必要に応じて増減され、ニューラルネットワークを実行するハードウェアのメモリ制限を受けうることが理解されよう。

【0099】

ミニバッチ勾配降下法を使用してニューラルネットワークが訓練される。学習率は、指数関数的減衰を用いて、初期率０．１から減少する。Ｓｒｉｖａｓｔａｖａ ｅｔ ａｌ．（２０１４）［２０１７］によって説明されている「ドロップアウト」手順を使用することにより、ニューラルネットワークの過剰適合が防止されており、その内容は全て、参照により本明細書に組み込まれている。ネットワークの訓練は、利用可能な複数の深層学習フレームワークのいずれかを使用して、ＧＰＵ、ＣＰＵ、またはＦＰＧＡで実行できる。本実装形態では、Google Tensorflowを使用しているが、同じニューラルネットワークをMicrosoft CNTKなどの別の深層学習フレームワークに実装することもできる。

【0100】

ニューラルネットワークは、サイズＮ×Ｎ×Ｋの確率マップを出力する。ここで、Ｎは入力パッチのピクセル単位の幅および高さ、Ｋは検出されているクラスの数である。これらの出力パッチは、サイズＷ×Ｈ×Ｋの確率マップにステッチバックされ、ＷおよびＨは、パッチに分割される前の元のＷＳＩの幅および高さである。

【0101】

次に、ラベル画像の各位置（ｘ，ｙ）で最大確率でクラスインデックスを記録することにより、確率マップをＷ×Ｈラベル画像に折りたたむことができる。

【0102】

本実装形態では、発明者らのニューラルネットワークにより、全てのピクセルが３つのクラス（非腫瘍、浸潤性腫瘍、非浸潤性腫瘍）のいずれかに割り当てられる。

【0103】

複数の腫瘍クラスを使用する場合、出力画像を後処理して、非腫瘍および腫瘍のより単純なバイナリ分類にすることができる。つまり、複数の腫瘍クラスを組み合わせることができる。バイナリ分類は、ベースデータから画像を作成する際の選択肢として使用できるが、マルチクラスの腫瘍分類は保存データに保持される。

【0104】

本発明の特定の実装形態に関する上記の説明は、ＣＮＮを使用する特定のアプローチに集中しているが、発明者らのアプローチは、多種多様な異なるタイプの畳み込みニューラルネットワークで実装できることが理解されよう。概して、畳み込みを使用してますます複雑となる特徴を検出し、その後転置畳み込み（「逆畳み込み」）を使用して特徴マップを入力画像の幅および高さにアップスケールするニューラルネットワークが適している。

【0105】

実施例１
図２Ａ～図２Ｄは、動作中のカラー画像であり、Ｃａｍｅｌｙｏｎコンペティション用のＧｏｏｇｌｅのＣＮＮソリューション（Ｌｉｕ ｅｔ ａｌ．（２０１７））によって生成されたパッチレベルの予測と、本明細書で説明されているＣＮＮによって生成された腫瘍クラスのピクセルレベルの予測との違いを示している。

【0106】

図２Ａおよび図２Ｂは、Ｌｉｕ ｅｔ ａｌ．（２０１７）の図７からコピーされたものであり、一方、図２Ｃおよび図２Ｄは、腫瘍組織クラス（染料／非染料を含まない）によって分類するために適用される、本明細書で説明されているＣＮＮによる例の比較可能なタイルである。

【0107】

図２Ａは、Ｈ＆Ｅ染色されたＷＳＩからのパッチであり、右下の象限にある大きな濃い紫色の細胞のクラスタは腫瘍であり、小さな濃い紫色の細胞はリンパ球である。

【0108】

図２Ｂは、Ｌｉｕ ｅｔ ａｌ．（２０１７）のＣＮＮによって生成された腫瘍確率ヒートマップであり、著者は、結合組織およびリンパ球を無視して、腫瘍細胞を正確に同定していると述べている。

【0109】

図２Ｃは、本発明を具現化したＣＮＮ法が適用された例示的なＷＳＩの生の画像パッチである。生の画像と同様に、図２Ｃは病理医によって手動で描画された輪郭（赤い実線の周囲線）を示している。さらに、図２Ｄを参照すると、図２Ｃはまた、本明細書で説明されているＣＮＮ法の結果を示している（ピンク色の周囲線でピンク色に網掛けされた第１の領域は、第１の腫瘍型、すなわち、図２Ｄに赤色で示されている腫瘍型に対応し、ピンク色の周囲線で黄色に網掛けされた第２の領域は、第２の腫瘍型、すなわち、図２Ｄで青色に網掛けされた腫瘍型に対応する）。

【0110】

図２Ｄは、発明者らのＣＮＮによって生成された腫瘍確率ヒートマップである。発明者らのピクセルレベルの予測のアプローチにより、滑らかな周囲の輪郭を有する領域が得られることがわかる。発明者らのヒートマップの場合、異なる（任意に選択された）色は異なるクラスを示す。つまり、非腫瘍の場合は緑色、第１の腫瘍型の場合は赤色、第２の腫瘍型の場合は青色で示されている。

【0111】

実施例２
図３Ａ～図３Ｂは、動作中のカラー画像であり、入力ＲＧＢ画像パッチ（図３Ａ）および最終出力腫瘍確率ヒートマップ（図３Ｂ）の例を示している。

【0112】

図３Ａは、さらに、図３Ｂに別々に示されているように、浸潤性腫瘍の病理医の手動の輪郭付け（赤色の輪郭）、および発明者らのニューラルネットワークの予測のオーバレイ（影付きのピンク色および黄色の領域）をさらに示している。

【0113】

図３Ｂは、発明者らのＣＮＮによって生成された腫瘍確率ヒートマップである。発明者らのヒートマップでは、異なる（任意に選択された）色は異なるクラスを示す。つまり、非腫瘍の場合は緑色、浸潤性腫瘍の場合は赤褐色（図３Ａにピンク色で表示）、非浸潤性腫瘍の場合は青色（図３Ａに黄色で表示）で示されている。繰り返しになるが、発明者らのピクセルレベルの予測のアプローチにより、滑らかな周囲の輪郭を有する領域が得られることがわかる。さらに、ＣＮＮ予測が病理医の手動マーキングといかに適合しているかがわかる。さらに、ＣＮＮは、病理医によって実行されなかった浸潤性組織および非浸潤性（ｉｎ ｓｉｔｕ）組織をさらに区別する。これは、本質的には、組織を必要に応じて臨床的に関連する様々なタイプに分類するようにプログラムおよび訓練されうるマルチチャネルＣＮＮ設計の一部である。

【0114】

取得および画像処理
本方法では、組織サンプルがセクション化されていること、すなわちスライスされており、隣接するセクションが異なる染色で染色されていることが出発点となる。隣接するセクションは、セクションが薄いため非常に類似した組織構造を有しているが、異なる層であるため、同一ではない。

【0115】

例えば、５つの隣接するセクションがあり、それぞれがＥＲ、ＰＲ、ｐ５３、ＨＥＲ２、Ｈ＆ＥおよびＫｉ－６７などの異なる染色でありうる。次に、各セクションの顕微鏡画像が取得される。隣接するセクションは非常に類似した組織形状を有するが、染色によって、様々な特徴、例えば、核、細胞質、一般的なコントラスト強調による全ての特徴が強調表示される。次に、異なる画像が位置合わせ、ワーピング、または前処理されて、ある画像の所与の特徴の座標が他の画像の同じ特徴にマッピングされる。マッピングにより、わずかに異なる倍率、顕微鏡でのスライドの位置合わせの違いによる方向の違い、またはスライドへの組織スライスの取り付けなどの要因によって引き起こされる画像間の差異が処理される。

【0116】

異なって染色された隣接セクションを含むセットの異なるＷＳＩ間の座標マッピングにより、ＷＳＩを単一の合成ＷＳＩにマージすることができ、そこから合成パッチを抽出して、ＣＮＮによる処理が可能であることに留意されたい。かかる合成パッチの寸法はＮ×Ｎ×３ｍであり、「ｍ」は、セットを形成する合成ＷＳＩの数である。

【0117】

次に、標準的な画像処理が実行される。これらの画像処理ステップは、ＷＳＩレベルまたは個々の画像パッチのレベルで実行できる。ＣＮＮがカラー画像ではなくモノクロ画像で動作するように構成されている場合、画像はカラーからグレースケールに変換されうる。画像は、コントラスト強調フィルタを適用することによって変更できる。次に、画像のセット内の一般的な組織領域を特定するため、または単に組織に関係のない背景を除外するために、幾つかのセグメンテーションが実行されうる。セグメンテーションには、次の画像処理技術、すなわち
１．シード組織領域を特定するための分散ベースの分析
２．適応閾値処理
３．モルフォロジー演算（例えば、ブロブ分析）
４．輪郭特定
５．近接ヒューリスティックルールに基づく輪郭のマージ
６．不変画像モーメントの計算
７．エッジ抽出（例えば、ソーベル（Ｓｏｂｅｌ）エッジ検出）
８．曲率流フィルタリング
９．連続セクション間の強度変動を排除するためのヒストグラムマッチング
１０．多重解像度のリジッド／アフィン画像レジストレーション（勾配降下オプティマイザ）
１１．非剛体変位／変形
１２．スーパーピクセルクラスタリング
のうちのいずれかまたは全てが含まれうる。

【0118】

上記の種類の画像処理ステップがＷＳＩ上またはパッチ抽出後の個々のパッチ上で実行できることも理解されよう。幾つかの場合では、パッチ抽出の前後の両方で、つまりそれぞれＣＮＮ前処理およびＣＮＮ後処理として、同じタイプの画像処理を実行することが有効でありうる。つまり、一部の画像処理はパッチ抽出の前にＷＳＩで実行されてもよく、他の画像処理がＷＳＩからのパッチ抽出後に実行されてもよい。

【0119】

これらの画像処理ステップは例として説明されており、本発明の範囲を制限するものとして解釈されるべきではない。例えば、十分な処理能力が利用できる場合、ＣＮＮはカラー画像を直接に操作できる。

【0120】

訓練および予測
図４は、ＣＮＮの訓練に含まれるステップを示すフロー図である。

【0121】

ステップＳ４０では、腫瘍を発見し、輪郭を描画し、分類するために臨床医によって注釈が付された処理用のＷＳＩを含む訓練データが取得される。臨床医の注釈は、グラウンドトゥルースデータを表している。

【0122】

ステップＳ４１では、ＷＳＩが、ＣＮＮの入力画像パッチである画像パッチに分解される。つまり、画像パッチが、ＷＳＩから抽出される。

【0123】

ステップＳ４２では、画像パッチが、上記のように前処理される（代替的にもしくは付加的に、ＷＳＩは、ステップＳ４１の前に上記のように前処理されうる）。

【0124】

ステップＳ４３では、ＣＮＮの重みすなわち層間の重みに対して初期値が設定される。

【0125】

図１Ａおよび図１Ｂを参照してさらに上述したように、ステップＳ４４では、入力画像パッチのバッチの各々がＣＮＮに入力され、ピクセルごとにパッチを発見し、輪郭を描画し、分類するために処理される。発明者らの方法は各腫瘍（または腫瘍型）ピクセルを特定するためのものであるため、本明細書の用語の概要は必ずしも厳密に技術的に正しい用語として使用されるとは限らず、したがって、ＣＮＮにより各腫瘍型の腫瘍領域が求められるというほうがおそらくより正確である。

【0126】

ステップＳ４５では、ＣＮＮ出力画像パッチがグラウンドトゥルースデータと比較される。このことは、パッチごとに実行されうる。代替的にＷＳＩ全体をカバーするパッチが抽出されている場合、このことは、ＷＳＩレベルで、またはパッチの連続したバッチで構成されるＷＳＩのサブエリア（例えば、ＷＳＩの１つの象限）で実行されうる。かかる変形例では、出力画像パッチは、ＷＳＩ全体またはその隣接部分の確率マップに再アセンブルでき、確率マップは、例えば確率マップがＷＳＩへの半透明のオーバレイとしてディスプレイに表示される場合、コンピュータおよびユーザの両方によって、グラウンドトゥルースデータと視覚的に比較できる。

【0127】

次に、ステップＳ４６で、ＣＮＮは、この比較から学習を行い、例えば勾配降下法を用いてＣＮＮの重みを更新する。このようにして、学習は、図４にプロセスフローのリターンループによって示すように、訓練データの繰り返し処理にフィードバックされ、ＣＮＮの重みを最適化することができる。

【0128】

訓練後、ＣＮＮは、グラウンドトゥルースデータとは関係なくＷＳＩに適用できる。つまり、ＣＮＮは、予測のためにライブで使用できる。

【0129】

図５は、ＣＮＮを使用した予測に含まれるステップを示すフロー図である。

【0130】

ステップＳ５０では、例えば、検査情報システム（ＬＩＳ）または他の組織学的データリポジトリから、１つ以上のＷＳＩが処理のために取得される。ＷＳＩは、例えば上記のように前処理される。

【0131】

ステップＳ５１では、画像パッチが、ＷＳＩから、または各ＷＳＩから抽出される。パッチは、ＷＳＩ全体をカバーする場合もあれば、ランダムまたは非ランダムの選択である場合もある。

【0132】

ステップＳ５２では、画像パッチが例えば上記のように前処理される。

【0133】

図１Ａおよび図１Ｂを参照してさらに上述したように、ステップＳ５３では、入力画像パッチのバッチの各々はＣＮＮに入力され、ピクセルごとにパッチを発見し、輪郭を描画し、分類するために処理される。次に、出力パッチは、入力画像パッチが抽出されたＷＳＩの確率マップとして再アセンブルできる。確率マップは、例えば、確率マップがＷＳＩへの半透明のオーバレイとしてディスプレイに表示されている場合、またはＷＳＩと並んでディスプレイに表示されている場合に、コンピュータ装置によるデジタル処理だけでなく、ユーザが視覚的にＷＳＩと比較することもできる。

【0134】

ステップＳ５４では、偽陽性である可能性が高い腫瘍、例えば、小さすぎる領域またはエッジアーチファクトである可能性がある領域を除外して、腫瘍領域がフィルタリングされる。

【0135】

ステップＳ５５では、スコアリングアルゴリズムが実行される。スコアリングは細胞特異的であり、スコアは腫瘍ごとに集計され、かつ／またはＷＳＩ（あるいはＷＳＩのサブエリア）についてさらに集計することができる。

【0136】

ステップＳ５６では、結果が、例えば適切な高解像度モニタ上に注釈付きＷＳＩを表示することによって、診断のために、病理医または他の関連する熟練した臨床医に提示される。

【0137】

ステップＳ５７では、ＣＮＮの結果、すなわち確率マップデータ、および任意にＣＮＮパラメータに関連するメタデータ、ならびに病理医によって追加された追加の診断情報が、ＣＮＮによって処理されたＷＳＩまたはＷＳＩのセットを含む患者データファイルにリンクされた方法で保存される。したがって、ＬＩＳまたはその他の組織学的データリポジトリ内の患者データファイルは、ＣＮＮの結果により補完される。

【0138】

辺縁の評価
図６は、ＣＮＮを使用した予測に含まれるステップを示すフロー図である。

【0139】

ステップＳ１では、処理のために、染料で着色された組織サンプルと染色した組織サンプルのうちの１つ以上のＷＳＩとを取得し、例えば、検査情報システム（ＬＩＳ）を使用して、仮想スライドライブラリまたはその他の組織学的データリポジトリからデータを取得する。

【0140】

ステップＳ２では、ＷＳＩは、例えば上記のように前処理される。

【0141】

ステップＳ３では、第１のＣＮＮを適用して、３方向の組織型分類（非腫瘍、浸潤性腫瘍、非浸潤性腫瘍）を実行する。画像パッチは、１つ以上のＷＳＩから抽出される。パッチは、ＷＳＩ全体をカバーする場合もあれば、ランダムまたは非ランダムの選択である場合もある。画像パッチは、例えば上記のように前処理することができる。入力画像パッチのバッチの各々は、ＣＮＮに入力され、図１Ａおよび図１Ｂを参照してさらに上述したように、ピクセルごとにパッチを分類するために処理される。出力パッチは、腫瘍の位置の確率マップとして再アセンブルされる。

【0142】

ステップＳ４では、第２のＣＮＮが適用されて、バイナリ分類を実行して、染料ピクセル（染料、非染料）が認識される。ステップＳ３について説明したように確率マップが生成され、ここで、確率マップにより、染料の位置、すなわち組織塊の境界が特定される。

【0143】

ステップＳ５では、２つの確率マップの後処理を実行して、単純な閾値処理またはより複雑な数値処理に従って確率値がフィルタリングされる。例えば、セグメンテーションを確率値に適用して染料境界を特定し、これによって染料カテゴリのピクセルの確率値を調整することができる。後処理では、セグメンテーションを使用して、偽陽性の可能性が高い腫瘍領域、例えば小さすぎる領域またはエッジアーチファクトである可能性がある領域を除外することもできる。必要に応じて、ステップＳ３およびＳ４から出力された２つの確率マップを単一の確率マップにマージまたは結合し、マージされた確率マップに後処理を適用することができる。

【0144】

上記でさらに説明したように、ステップＳ３およびＳ４は、単一のＣＮＮが６方向分類を実行し、単一の確率マップを生成する他の実施形態で効果的にマージされる。この場合、ステップＳ５の後処理は、単一の確率マップで実行される（確率マップはまた、例えば、図６のプロセスフローから出力された辺縁評価データとともに病理医に提示されうる組織学的画像のオーバレイとして、観察アプリケーションにおいてビジュアライゼーションを生成するために使用されうることに留意されたい）。

【0145】

ステップＳ６では、各ピクセルを６つのクラスのうちの１つに割り当てることによってマスクが作成される（マスクはまた、例えば、染料境界オーバレイまたは腫瘍ピクセルオーバレイなどの組織学的画像の１つ以上のオーバレイとして、観察アプリケーションでビジュアライゼーションを生成するために使用されうることにも留意されたい。これらのオーバレイは、図６のプロセスフローから出力された辺縁評価データと一緒に病理医に提示することができる）。

【0146】

ステップＳ７において、腫瘍染料クラスに閾値数εを超えるピクセルが存在するかどうかが判別される。「ノー」の場合、辺縁状態はステップＳ８で「陰性」に設定され、プロセスフローは辺縁距離の計算に進む。一方、「イエス」の場合、辺縁状態はステップＳ１２で「陽性」に設定され、プロセスフローは辺縁病変の計算、すなわち腫瘍組織が切除手術によって切除された組織塊の境界に浸潤した程度の計算に進む。閾値テキストは、全ての腫瘍染料クラスのピクセルの合計に単一の閾値を適用することも、各腫瘍染料クラスの個別の合計に個別の閾値を適用することもできる。例えば、後者の場合、「浸潤性腫瘍染料」または「染料上の非浸潤性腫瘍」クラスのいずれかがそれぞれの（同じか、または異なりうる）閾値よりも高いレベルで検出された場合、閾値テスト結果は「イエス」であり、辺縁状態は「陽性」となり、一方、両方の閾値の比較でレベルが閾値以下である場合、テスト結果は「ノー」であり、辺縁状態は「陰性」となる。閾値は、経験的に定義された値またはその他の適切な値に設定できる。

【0147】

陰性の分岐に続いて、ステップＳ９で辺縁距離が計算され、ステップＳ１０で適切な閾値に対してテストされる。染料上腫瘍クラスのピクセルが閾値ε未満のレベルで検出された場合、辺縁が存在するため、辺縁状態は、辺縁距離に応じて「クリア」または「クロース」のいずれかである必要がある。ステップＳ１１で、辺縁距離が閾値を下回っている場合、状態は陰性／クロースに設定される。ステップＳ１４において、辺縁距離が閾値を下回っている場合、状態は陰性／クリアに設定される。辺縁距離は、腫瘍組織と染料表面との間の最も近い距離として定義される。集合Ｓ１を全ての腫瘍ピクセルの座標（ｘｔ，ｙｔ）∈Ｒ^２を含むものとして定義し、集合Ｓ２を全ての辺縁ピクセルの座標（ｘｍ，ｙｍ）∈Ｒ^２を含むものとして定義できる。したがって、辺縁距離を計算する問題は、２つの集合の平面点間の最小距離を計算する問題となる。この測定値はＯ（ｎＬｏｇｎ）時間で計算できるため、大きな点の集合でもすばやく計算できることが示されている（Ｔｏｕｓｓａｉｎｔ ａｎｄ Ｂｈａｔｔａｃｈａｒｙａ（１９８３））。辺縁距離Ｄｍが、ユーザによって設定されうる指定の閾値θを下回っている場合、辺縁状態は「クロース」として返される。Ｄｍ＞θの場合、辺縁状態は「クリア」として返される。もちろん、実際に計算された辺縁距離が出力されうる。これは、最小距離を表す単純な数値、または最小辺縁距離および最大辺縁距離の個別の距離、平均辺縁距離などの統計値、ならびに標準偏差などの確率分布などの追加データを提供するより高度な出力でありうる。陽性の分岐に続いて、ステップＳ１３で辺縁病変が計算される。腫瘍染料クラスのピクセルは、閾値ε、またはそのうちの１つ以上のレベルで検出されているため、腫瘍のない辺縁は存在せず、陽性の辺縁が存在することになる。陽性の辺縁の場合、辺縁病変は、染料表面の腫瘍細胞の全長として計算できる。これは、各腫瘍に属する２つのピクセル間の最大距離を見出し、結果を合計することと同じである。これは最小距離の問題と同等の問題であるため、Ｏ（ｎＬｏｇｎ）時間で解決することもできる（Ｖａｉｄｙａ（１９８９））。現在の米国病理学会のガイドラインでは、おおよその範囲を報告することしか求められていない。全長に基づいて辺縁病変の程度を分類するための１つのスキームは、次の通り、すなわち
－単巣性：最大距離が閾値未満、例えば４ｍｍ未満の辺縁にある癌腫の１つの巣性領域
－多巣性：辺縁にある２つ以上の癌腫の病巣で、最大距離の合計が単巣性の閾値未満
－最小／中程度：単巣性または多巣性の場合と同様に、最大距離の合計が、単巣性または多巣性の分類に採用された閾値よりも大きい第２の閾値（例えば５ｍｍ未満）よりも小さい
－広範囲：広範な前部の辺縁に癌腫が存在する（最大距離の合計＞５ｍｍ）
である。

【0148】

必要に応じて、単巣性および多巣性を、「巣性」というラベルの付いた単一のクラスにマージできる。

【0149】

最後に、プロセスフローはステップＳ１５で終了し、辺縁状態が報告される。つまり、辺縁状態がディスプレイなどに出力され、かつ／またはファイルに保存される。

【0150】

要約すると、切除によって抽出され、その表面領域を強調表示するために染料で着色された腫瘍塊から得られた組織切片の組織学的画像を画像処理するためのコンピュータ自動化方法が説明された。１つまたは２つの畳み込みニューラルネットワークは、染料および非染料ならびに腫瘍および非腫瘍を区別する組織クラスを区別するように訓練されている。訓練されたニューラルネットワークは、組織学的画像に適用され、ピクセルが組織クラスに割り当てられている出力画像を生成する。次に、組織切片の陽性または陰性の辺縁状態は、腫瘍染料分類ピクセルの有無に応じてそれぞれ判別することができる。さらに、陽性および陰性の辺縁状態をさらに調べて、分類で指定されたピクセル間距離に基づいて追加のパラメータを計算することにより、辺縁病変（陽性のサブ状態）および辺縁距離（陰性のサブ状態）のサブ状態を生成できる。

【0151】

腫瘍領域のフィルタリングおよびランク付け
図７は、本開示の一実施形態によるフロー図である。

【0152】

ステップＳ７１では、スライドスキャナによって生成された可能性があるＷＳＩの画像データを含む画像データファイルが提供される。画像データファイルには、複数の画像が含まれていてよく、例えば、複数の染色の各々に１つ、または有限の深度の透明または半透明のサンプルを通して顕微鏡の焦点面をステップすることによって得られたサンプル（いわゆるｚスタック）の異なる深度の各々に１つの画像が含まれうることが理解されよう。

【0153】

ステップＳ７２は、上記の例としてさらに説明したように、分散ベースの分析、適応閾値処理、モルフォロジー演算など、幾つかのＣＮＮ前処理を実行しうる任意のステップである。

【0154】

ステップＳ７３では、特に図５のステップＳ５１～Ｓ５４を参照して説明したように、上記のＣＮＮが実行される。組織型のピクセルごとの分類を実行して腫瘍ピクセルをマーキングし、続いて、腫瘍（すなわち腫瘍領域）の輪郭を描画するためにセグメンテーションが実行される。組織型は、癌の種類による分類である。セグメンテーションの場合、概して、隣接する腫瘍ピクセル、すなわち互いに接触しているかまたは互いに近接しているピクセルが、共通の腫瘍に属していると考えられる。ただし、信頼性を向上させるために、例えば２つの異なる癌細胞分類に関連付けられた、異なるピクセル分類を有する２つの接触する腫瘍を同定するために、通常、より複雑なセグメンテーション基準が含まれている。ＣＮＮにより、各ピクセルに確率が割り当てられる。これは、ＣＮＮが検出するように訓練されたＮ個のクラスの各々に属するピクセルの確率を表す確率ベクトルである。例えば、浸潤性領域、非浸潤性領域、および非腫瘍領域を区別するように訓練されたＣＮＮの場合、各ピクセルには長さ３のベクトルが割り当てられる。位置ｋのピクセルは、確率ベクトル［０．１，０．２，０．７］を有してもよく、これは、ピクセルが浸潤性領域にある確率が１０％、非浸潤性領域にある確率が２０％、非腫瘍領域にある確率が７０％であることを示す。

【0155】

ステップＳ７４では、ステップＳ７３で腫瘍を発見するＣＮＮによって生成されたデータ、すなわち腫瘍固有のデータを使用して、各腫瘍の要約統計量のセットを計算する。例えば、各腫瘍について、スコアは、その腫瘍（領域）に含まれる全てのピクセルについての上記の確率値の数学的平均として計算されうる。中央値、加重平均などの他の要約統計量もスコアの計算に使用できる。他の測定値、例えば、腫瘍内のピクセル数または腫瘍領域の形状によって測定される腫瘍領域、または浸潤性腫瘍および非浸潤性腫瘍などの特定のピクセル分類の有病率などの腫瘍の寸法属性またはモルフォロジー属性を使用することができる。通常、各腫瘍について、腫瘍の確率、腫瘍の面積、および腫瘍の最大寸法の長さの平均および標準偏差が含まれる。腫瘍領域は、必ずしも単一のスライドからの領域ではなく、別々のスライドに属していてもよい。例えば、２つのスライドの組織サンプルは異なる染色で染色され、異なるクラスの腫瘍細胞が強調表示されうるため、幾つかの腫瘍は第１のスライドで同定され、他の腫瘍は第２のスライドで同定される。任意に、より高度なスコアを計算できる。例えば、組織学的画像データ（すなわち画像データで同定された腫瘍）と患者固有の遺伝子（すなわちゲノム）データとの組み合わせで訓練されたＣＮＮを使用して、患者のリスクを予測することができる。この種のＣＮＮは、Ｍｏｂａｄｅｒｓａｎｙ ｅｔ ａｌ．（２０１８）によって説明されている。他の実装形態では、スコアは、ＣＮＮによって同定された腫瘍に適用される従来の画像処理技術（例えば、セグメンテーションに関連して上記にさらに列挙されている）を使用して計算することができる。例えば、形状およびテクスチャの測定値を遺伝子データと組み合わせて、要約統計量に含める一連の統計測定値を作成できる。サポートベクターマシンまたはランダムフォレストアルゴリズムは、これらの特徴を使用して転移のリスクを予測することができる。転移のリスクは、この腫瘍の細胞が身体の他の部分に転移する確率として定義される。いずれにせよ、転移リスクスコアが計算され、各腫瘍領域に関連付けられる。

【0156】

ステップＳ７５では、ステップＳ７４で計算および編集された要約統計量に基づいて腫瘍のフィルタリングが実行される。フィルタは、要約統計量のパラメータの１つの値、あるいは要約統計量に存在するパラメータの複数のものを含む論理的な組み合わせおよび／または式から導出された複合値と、閾値とを比較し、腫瘍のリストを単純に通過することで動作することができ、比較結果に基づいて腫瘍物体を削除または保持する。例えば、病理医によって構成されうるか、または事前設定されうるフィルタにより、閾値、例えば、閾値５０％を超えた平均確率を有する、１００マイクロメートルを超える最大寸法を有する腫瘍のみを通過させることが選択されてもよい。別の例のフィルタは、浸潤性として分類された腫瘍のみを通過させ、浸潤性腫瘍の中で、平均確率が例えば８０％を超えるもののみを通過させる。

【0157】

ステップＳ７６では、ステップＳ７５でフィルタを通過した腫瘍のセットが取得され、順番にランク付けされる。次に、要約統計量に基づいて、一連の基準を適用して、腫瘍のランク付けを実行できる。標準的なランク付けアプローチのプリセットがユーザに提供され、ユーザがプリセットの１つを選択できるようにされうる。さらに、どの基準が適用されるかを定義するためのユーザインタフェースがユーザに提供されうる。例えば、長さの寸法または面積、または整数カウント（例えば、セル数）に基づくスカラー値を基準とする場合、ユーザは、これらの基準の閾値または値の範囲を設定できる。ランク付け順は、患者の生存の重要性を示す複合スコア（５年生存率など）に基づく場合もあれば、単純な単一パラメータのランク付けに基づく場合もある。例えば、面積または最大寸法などの腫瘍のサイズパラメータ、または真円度などのモルフォロジーパラメータに基づいてもよい。

【0158】

ステップＳ７７では、スライド画像のビジュアライゼーションが生成され、それが表示デバイスのＧＵＩウィンドウでユーザに表示される。ビジュアライゼーションでは、フィルタリングおよびランク付けも考慮される。特に、ＷＳＩ内の最も重要な腫瘍とみなされる領域は、臨床的に関連性のある方式でその要約統計量とともに表示され、当該要約統計量は、全ての場合に全体的な表示の一部として、またはユーザからのＧＵＩコマンド、例えば、ＷＳＩの関心腫瘍のカーソルでの「クリック」に選択的に応答して利用でき、その腫瘍の統計を表形式またはその他の適切な形式で表示するポップアップウィンドウが生成される。このアプローチにより、潜在的に重要な腫瘍を強調表示して、潜在的に重要な腫瘍間のランク付け情報およびこれらの腫瘍の統計的要約をユーザに提供する方法で、ユーザに提示することができる。統計的要約により、各腫瘍の個々のパラメータ値、特にフィルタリングおよび／またはランク付け基準として使用されるもの、ならびに複数のフィルタリングおよび／またはランク付け基準の公式および／またはブール論理積から計算されるランク付け番号または有意性スコアなどの合成パラメータが提示されうる。

【0159】

通常、表示される画像は、オーバレイビューまたはマルチタイルビューの組み合わせのいずれかの形態になる。オーバレイビューでは、（処理済みの可能性がある）生データが表示され、セグメンテーションデータがその上にオーバレイされる。セグメンテーションデータは、ビジュアライゼーションのために各腫瘍のシェーディングおよび／または輪郭に変換される。シェーディングまたは輪郭付けは、例えば腫瘍分類によって色分けすることができる。組織の非腫瘍領域は、まったくマーキングされていなくてもよく、または透明度の高いカラーウォッシュ（ブルーウォッシュなど）でシェーディングされてもよい。マルチタイルビューでは、オーバレイビューの種々の層がタイルとして並べて表示されるため、フィルタリングされた腫瘍領域の（処理済みの可能性がある）生の画像データおよびセグメンテーションデータを示すタイルが表示される。必要に応じて、腫瘍分類タイプごとに個別のセグメンテーションデータタイルを表示できる。ディスプレイ内の腫瘍領域の提示では、ステップＳ７５で実行されるフィルタリング、および好ましくはステップＳ７６で実行されるランク付けも考慮に入れられる。腫瘍スコア、分類された腫瘍型、および腫瘍領域に関連する要約統計量の他のパラメータなどの要素を単独で、または組み合わせて使用して、表示を構成することができる。

【0160】

検出され、フィルタリングされ、ランク付けされた腫瘍をユーザに表示するための複数の選択肢がある。

【0161】

ＷＳＩビューにおいて、腫瘍情報を表示する１つの方法は、サムネイル画像および／またはテキスト情報を含みうる一連のマーカーをＷＳＩの低解像度の画像にオーバレイすることである。マーカーは、ランク付けで並べ替えることができ、またはランク付けを明示的に示すこともできる。病理医には、マーカーを選択することで腫瘍を選択するための、また任意に、ランクの高い腫瘍からランクの低い腫瘍へまたは逆にランクの低い腫瘍からランクの高い腫瘍への両方でのランク付けによって腫瘍をナビゲートするための、適切なＧＵＩツールが提供される。適切なＧＵＩツールとして、キーボードショートカット、キーボードの上下もしくは左右の矢印キー、キーボードのページアップキーおよびページダウンキー、マウスナビゲーション（スクロールホイールで上下にスクロールするなど）またはその他の入力デバイス（音声ナビゲーション、タッチセンサでのマルチタッチジェスチャなど）が挙げられる。ＧＵＩでランク付けマーカーを選択すると、その腫瘍の要約統計量もしくはそのサブセットの表示、および／または低解像度の画像での腫瘍の表示にリンクされたポップアップ、あるいは別の高解像度の表示ペインでの腫瘍の高解像度ビューの表示が促されうる。ユーザは、キーボードコマンド、マウスコマンド（例えば、ダブルクリック）または他の適切な入力などの適切なＧＵＩコマンドによって、腫瘍の高解像度の、例えば完全なネイティブの解像度の画像のディスプレイを引き起こすことができる。低解像度のＷＳＩビューに戻るための対応するＧＵＩコマンドが用意されている。ビジュアライゼーションアプリケーションにより、好ましくは、ＧＵＩ制御が提供され、これにより、ユーザは、低解像度および高解像度の両方のビューで順序をランク付けして、腫瘍を上下にステップスルーさせることができる。

【0162】

ＷＳＩビューの一例は、ステップＳ７６のフィルタを通過した全ての腫瘍を、ランク付けマーカーラベル１、２、３などとともに表示する（つまり、そのセグメンテーションデータを表示する）ことである。次に、ランク付けマーカー（または腫瘍）のラベルをクリックすると、選択された要約統計量のセット、特にフィルタで使用される統計量および／または腫瘍のサムネイルビューをＷＳＩビューより高い解像度で一覧表示するポップアップが生成されうる。代替的に、ビューは、画面の一部にオーバレイ画像または画像タイルが表示され、画面の別の部分にフィルタリングされた腫瘍のテーブルが表示される、分割画面ビューであってもよい。テーブルは最初にランク付けして並べ替えて表示できるが、ＧＵＩは、他の列または複数の列の組み合わせでユーザが並べ替えることができる機能も有しうる。ここで、他の列とは、腫瘍領域、腫瘍分類、転移確率など、要約統計量またはフィルタ基準からの任意の基準でありうる。例えば、腫瘍分類による並べ替えの後、腫瘍領域による並べ替えを行うことができる。マルチスライド画像ファイルの場合、スライド番号による並べ替えの後、他のパラメータで並べ替えを行うことができる。

【0163】

多重解像度ビューには、通常はＷＳＩを再現する低解像度（１０倍の倍率など）の１つの表示ペインと、高解像度（例えば、倍率６０倍、つまり１０倍ビューに対して６倍または６００％ズーム）の別の表示ペインとが含まれる。例えば、表示される初期ビューは、ＷＳＩの低解像度の画像ペインおよび上位の腫瘍領域を中心とした高解像度の画像ペインでありうる。次に、ステップスルー下矢印（もしくは下矢印および上矢印のペア）または他の適切なＧＵＩボタンもしくはボタンの組み合わせ（物理的もしくは仮想スクロールホイールなど）により、ユーザは、フィルタリングされた腫瘍領域を１つずつランク付けしてステップスルーすることができる。ＧＵＩを使用することで、ユーザは、ユーザ入力を介して高解像度の画像ペインの解像度を調整できる。また、ＧＵＩによって、腫瘍が高解像度の表示ペインを実質的に満たすようなサイズ設定が行われるように、高解像度の画像ペインの初期解像度を選択することができる。

【0164】

このように、ビジュアライゼーションアプリケーションにより、ユーザに表示されるもの、セグメンテーションデータおよび要約統計量で強調表示される腫瘍、ならびに選択ビューの場合、腫瘍がユーザに表示される時系列、つまり順序が求められる。

【0165】

スライドセットに特に適した腫瘍領域を表示する別の方法は、腫瘍の低解像度の画像およびその要約統計量が並べ替えられたタイルとして表示されるモンタージュを作成することである。並べ替えは、１次元（１Ｄ）リストまたは２次元（２Ｄ）グリッドを表示する方法で行うことができる。バーチャルリアリティゴーグルを使用して、腫瘍を３次元で配置することも可能である。ユーザは、キーストローク、マウススクロール、またはその他の入力モダリティ（音声、タッチなど）を使用して、１Ｄリストまたは２Ｄタイルアレイをナビゲートできる。タイルが選択されると、病理医は、適切なスライドで腫瘍の高解像度バージョンにすばやく移動し、要約統計量およびセグメンテーションデータによって提示されたＣＮＮ分析の結果と比較して、任意に腫瘍のより詳細な検証を行うことができ、また、任意に、診断に役立ちうる１つ以上の追加の分析アルゴリズムを腫瘍に適用することにより、腫瘍に対して追加の処理を実行することができる。

【0166】

ステップＳ７８において、フィルタリングされランク付けされた腫瘍を観察した後、病理医は、さらなる調査のためにこれらの腫瘍のいずれか（またはランク付けされた腫瘍のサブセット、もしくは実際にフィルタリングされた腫瘍の完全なセット）を選択して追加の調査を行う選択肢を有する。

【0167】

ステップＳ７９では、この追加の調査が実行される。追加の調査とは、１つ以上の追加アルゴリズムを適用して、選択した腫瘍に関する詳細情報を提供し、それらの診断を支援することを意味する。これは、暫定的な診断を確認するのに役立ち、または病理医が出発点として検討するための初期診断を行うのに役立ちうる。

【0168】

例えば、乳癌の場合、病理医が、ステップＳ７８で浸潤性乳癌を含む腫瘍を選択することができ、ステップＳ７９で腫瘍の有糸分裂数を計算するアルゴリズムを適用する。つまり、ビジュアライゼーションアプリケーションには、かかるアルゴリズムが含まれている。ＩＨＣ染色スライドからの画像データに関連する別の乳癌の例では、アルゴリズムが適用されて、選択した腫瘍におけるＥＲ、ＰＲ、またはＨＥＲ２などの１つ以上の診断に関連する遺伝子の発現のスコアが計算される。

【0169】

要約すると、ビジュアライゼーションは、潜在的に重要な腫瘍を含む画像内の領域を調べるようにユーザを誘導するように構成されている。特に、従来のビジュアライゼーションアプリケーションと比較して、ユーザは、潜在的な腫瘍領域に遭遇するたびに、低解像度でスライド領域全体を手動で視覚的に走査し、高解像度のビューにズームインおよびズームアウトする必要がない。したがって、上記のようにＣＮＮ支援フィルタリングとランク付けとに基づいて病理医に提示されたビジュアライゼーションの自動前処理により、病理医がスライドをレビューして適切な診断を行うために必要な時間が短縮されるだけでなく、人為的ミスによって重要な腫瘍を見落とす可能性を減らすことができる。

【0170】

例示的な実施形態
一実施形態では、組織学的画像内の腫瘍を同定するためのシステムは、組織学的画像内の腫瘍を同定する方法を実行するように構成される。この方法は、ピクセルの２次元アレイを含む組織学的画像を受信することと、畳み込みニューラルネットワークを適用して、ピクセルの２次元アレイを有する出力画像を生成し、出力画像内のピクセルを組織学的画像のピクセルにマッピングすることと、を含む。出力画像は、複数の組織クラスのうちの１つを各ピクセルに割り当てることによって生成され、複数の組織クラスは、非腫瘍組織を表す少なくとも１つのクラスおよび腫瘍組織を表す少なくとも１つのクラスを含む。

【0171】

次に、システムにより、出力画像からセグメンテーションマスクが生成される。セグメンテーションマスクにより、個々の腫瘍によって占有された領域が特定される。システムはまた、各腫瘍の要約統計量を計算し、システムは、セグメンテーションマスクをフィルタリングして、各腫瘍の要約統計量に従って個々の腫瘍を選択および選択解除するように構成されている。システムはまた、編集されたセグメンテーションマスクに従って組織学的画像のビジュアライゼーションを作成し、フィルタリングされたセグメンテーションマスク内の個々の腫瘍の選択を受信し、次に、現在選択されている腫瘍に対して追加の計算診断プロセスの実行を調整するように構成されている。

【0172】

一実施形態では、追加の計算診断プロセスは、処理タスクを追加の計算診断プロセスに送信することと、処理タスクの結果を追加の計算診断から受信することと、を含む。追加の計算診断プロセスは、ローカルで実行することも、データ通信ネットワークを介して通信可能に結合されたリモートプロセッサ対応デバイスで実行することもできる。処理タスクの一部には、組織学的画像が含まれうる。処理タスクはまた、組織学的画像に関連するメタデータを含んでもよく、状況によっては、組織学的画像に関連するメタデータは、セグメンテーションマスクを含みうる。さらに、組織学的画像に関連するメタデータはまた、患者情報、染色情報、染色プロトコル情報、および走査プロトコル情報のうちの１つ以上を含みうる。

【0173】

ＣＮＮコンピューティングプラットフォーム
提案している画像処理は、多種多様なコンピューティングアーキテクチャ、特に、ＣＰＵ、ＧＰＵ、ＴＰＵ、ＦＰＧＡ、および／またはＡＳＩＣに基づくニューラルネットワーク用に最適化されたコンピューティングアーキテクチャで実行されうる。幾つかの実施形態では、ニューラルネットワークは、テスラＫ８０ ＧＰＵなどの、カリフォルニア州サンタクララ在のNvidia CorporationのNvidia ＧＰＵ上で実行されるGoogleのTensorflowソフトウェアライブラリを使用して実装される。他の実施形態では、ニューラルネットワークは、汎用ＣＰＵ上で実行することができる。より高速な処理は、ＣＮＮ計算を実行するための目的に合わせて設計されたプロセッサ、例えば、Ｊｏｕｐｐｉ ｅｔ ａｌ．（２０１７）に開示されたＴＰＵによって得ることができ、その内容は全て、参照により本明細書に組み込まれている。

【0174】

図８は、Ｊｏｕｐｐｉ ｅｔ ａｌ．（２０１７）のＴＰＵを示しており、Ｊｏｕｐｐｉの図１を簡略化したものである。ＴＰＵ１００は、２５６×２５６ＭＡＣを含む収縮行列乗算ユニット（ＭＭＵ）１０２を有しており、この２５６×２５６ＭＡＣにより、符号付きまたは符号なし整数に対する８ビットの乗算および加算が実行されうる。ＭＭＵの重みは、重みＦＩＦＯバッファ１０４を介して供給され、次に、適切なメモリインタフェース１０８を介して、オフチップ８ＧＢ ＤＲＡＭの形態で、メモリ１０６から重みを読み取る。中間結果を保存するために、統合バッファ（ＵＢ）１１０が提供される。ＭＭＵ１０２は、重みＦＩＦＯインタフェース１０４およびＵＢ１１０からの入力を（収縮期データセットアップユニット１１２を介して）受信し、ＭＭＵ処理の１６ビット積をアキュムレータユニット１１４に出力するように接続されている。アクティベーションユニット１１６は、アキュムレータユニット１１４に保持されているデータに対して非線形な機能を実行する。正規化ユニット１１８およびプーリングユニット１２０によるさらなる処理の後、中間結果は、データセットアップユニット１１２を介してＭＭＵ１０２に再供給するためにＵＢ１１０に送信される。プーリングユニット１２０は、必要に応じて、最大プーリング（すなわち、マックスプーリング）または平均プーリングを実行することができる。プログラム可能なＤＭＡコントローラ１２２は、ＴＰＵのホストコンピュータとＵＢ１１０との間でデータを転送する。ＴＰＵ命令は、ホストインタフェース１２４および命令バッファ１２６を介して、ホストコンピュータからコントローラ１２２に送信される。

【0175】

ニューラルネットワークを実行するために使用される計算能力は、ＣＰＵ、ＧＰＵ、またはＴＰＵのいずれに基づくものであっても、例えば後述するクリニカルネットワークでローカルにホストされうるものであり、またはデータセンタでリモートでホストされうるものであることが理解されよう。

【0176】

ネットワークおよびコンピューティングおよびスキャン環境
提案しているコンピュータ自動化方法は、より大きなクリニカルネットワーク環境の一部である検査情報システム（ＬＩＳ）、例えば、病院情報システム（ＨＩＳ）または画像アーカイブおよび通信システム（ＰＡＣＳ）などのコンテキストで動作する。ＬＩＳでは、ＷＳＩは、データベース、通常は個々の患者の電子医療記録を含む患者情報データベースに保持される。ＷＳＩは、スライドにマウントされた染色組織サンプルから取得される。ＷＳＩを取得する顕微鏡にはバーコードリーダが装備されているため、スライドには、ＷＳＩに適切なメタデータがタグ付けされたバーコードラベルが印刷される。ハードウェアの観点からは、ＬＩＳは、必要に応じて有線および無線接続を備えたローカルエリアネットワーク（ＬＡＮ）などの従来のコンピュータネットワークとなる。

【0177】

図９は、本発明の実施形態と併せて使用することができる例示的なコンピュータネットワークを示す図である。ネットワーク１５０は、病院１５２内のＬＡＮを含む。病院１５２は、複数のワークステーション１５４を備えており、複数のワークステーション１５４は、それぞれがローカルエリアネットワークを介して、関連するストレージデバイス１５８を有する病院コンピュータサーバ１５６にアクセスすることができる。ＬＩＳ、ＨＩＳまたはＰＡＣＳアーカイブは、ストレージデバイス１５８に保存され、これにより、アーカイブ内のデータは、任意のワークステーション１５４からアクセスすることができる。ワークステーション１５４のうちの１つ以上は、グラフィックカードおよびソフトウェアにアクセスして、前述の画像生成方法をコンピュータで実装することができる。ソフトウェアは、またはいずれかのワークステーション１５４または各ワークステーション１５４にローカルに保存可能であるか、またはリモートにて保存可能であり、必要に応じてネットワーク１５０を介してワークステーション１５４にダウンロードされうる。他の例では、本発明を具現化する方法は、端末として動作するワークステーション１５４を備えたコンピュータサーバ上で実行されうる。例えば、ワークステーションは、所望の組織学的画像データセットを定義するユーザ入力を受信し、ＣＮＮ分析がシステムの他の場所で実行されている間、結果の画像を表示するように構成されうる。また、複数の組織学的および他の医療撮像デバイス１６０、１６２、１６４、１６６が、病院のコンピュータサーバ１５６に接続されている。デバイス１６０、１６２、１６４、１６６で収集された画像データは、ストレージデバイス１５６上のＬＩＳ、ＨＩＳ、またはＰＡＣＳアーカイブに直接に保存することができる。したがって、組織学的画像は、対応する組織学的画像データが記録された直後に観察および処理することができる。ローカルエリアネットワークは、病院インターネットサーバ１７０によってインターネット１６８に接続されており、これにより、ＬＩＳ、ＨＩＳ、またはＰＡＣＳアーカイブへのリモートアクセスが可能になる。これは、データへのリモートアクセスや、例えば患者が移動した場合などに病院間でデータを転送したり、外部調査を実施したりする場合に役立つ。

【0178】

図１０は、本明細書に記載の種々の実施形態に関連して使用されうる例示的なコンピューティング装置５００を示すブロック図である。例えば、コンピューティング装置５００は、上記のＬＩＳまたはＰＡＣＳシステムにおけるコンピューティングノード、例えば、適切なＧＰＵ、または図８に示されるＴＰＵと組み合わせてＣＮＮ処理が実行されるホストコンピュータとして使用されてもよい。

【0179】

コンピューティング装置５００は、サーバまたは任意の従来のパーソナルコンピュータ、あるいは有線または無線のデータ通信が可能な他の任意のプロセッサ対応デバイスでありうる。当業者には明らかであるように、有線または無線のデータ通信が不可能なデバイスを含む、他のコンピューティング装置、システム、および／またはアーキテクチャも使用することができる。

【0180】

コンピューティング装置５００は、好ましくは、プロセッサ５１０などの１つ以上のプロセッサを含む。プロセッサ５１０は、例えば、ＣＰＵ、ＧＰＵ、ＴＰＵ、またはアレイ、あるいはこれらの組み合わせであってよく、例えば、ＣＰＵとＴＰＵとの組み合わせ、またはＣＰＵとＧＰＵとの組み合わせであってよい。入出力を管理するための補助プロセッサ、浮動小数点数学演算を実行するための補助プロセッサ（例えば、ＴＰＵ）、信号処理アルゴリズム（デジタルシグナルプロセッサ、イメージプロセッサなど）の高速実行に適したアーキテクチャを備えた専用マイクロプロセッサ、メイン処理システムに従属するスレーブプロセッサ（バックエンドプロセッサなど）、デュアルもしくはマルチプロセッサシステム用の追加のマイクロプロセッサもしくはコントローラ、またはコプロセッサなどの追加のプロセッサを提供することができる。かかる補助プロセッサは、個別のプロセッサでありうるか、またはプロセッサ５１０と統合されうる。コンピューティング装置５００で使用できるＣＰＵの例は、Ｐｅｎｔｉｕｍプロセッサ、Ｃｏｒｅ ｉ７プロセッサ、およびＸｅｏｎプロセッサであり、これらは全て、カリフォルニア州サンタクララ在のインテルコーポレーションから市販されている。コンピューティング装置５００で使用されうるＧＰＵの例は、カリフォルニア州サンタクララ在のNvidia CorporationのテスラＫ８０ ＧＰＵである。

【0181】

プロセッサ５１０は、通信バス５０５に接続されている。通信バス５０５には、ストレージとコンピューティング装置５００の他の周辺コンポーネントとの間の情報転送を容易にするためのデータチャネルが含まれうる。通信バス５０５はさらに、プロセッサ５１０との通信に使用される信号のセットを提供することができ、これには、データバス、アドレスバス、および制御バス（図示せず）が含まれる。通信バス５０５には、任意の標準または非標準バスアーキテクチャが含まれていてよく、例えば業界標準アーキテクチャ（ＩＳＡ）、拡張業界標準アーキテクチャ（ＥＩＳＡ）に準拠するバスアーキテクチャなど、マイクロチャネルアーキテクチャ（ＭＣＡ）、周辺コンポーネントインタコネクト（ＰＣＩ）ローカルバス、またはＩＥＥＥ４８８汎用インタフェースバス（ＧＰＩＢ）、ＩＥＥＥ６９６／Ｓ－１００などを含む、米国電気電子学会（ＩＥＥＥ）によって公布された規格が含まれていてよい。

【0182】

コンピューティング装置５００は、好ましくはメインメモリ５１５を含み、セカンダリメモリ５２０も含みうる。メインメモリ５１５は、上記で論じた機能および／またはモジュールのうちの１つ以上など、プロセッサ５１０上で実行されるプログラムのための命令およびデータの記憶を提供する。メモリに保存され、プロセッサ５１０によって実行されるコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路の構成データ、もしくはＳｍａｌｌｔａｌｋ、Ｃ／Ｃ＋＋、Ｊａｖａ、ＪａｖａＳｃｒｉｐｔ、Ｐｅｒｌ、ＶｉｓｕａｌＢａｓｉｃ．ＮＥＴなどを含むがこれらに限定されない１つ以上のプログラミング言語の任意の組み合わせで記述および／またはコンパイルされたソースコードまたはオブジェクトコードのいずれかでありうることを理解されたい。メインメモリ５１５は、典型的には、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）および／または静的ランダムアクセスメモリ（ＳＲＡＭ）などの半導体ベースのメモリである。他の半導体ベースのメモリタイプには、例えば、同期動的ランダムアクセスメモリ（ＳＤＲＡＭ）、ランバス動的ランダムアクセスメモリ（ＲＤＲＡＭ）、強誘電体ランダムアクセスメモリ（ＦＲＡＭ）などが含まれ、読み取り専用メモリ（ＲＯＭ）が含まれる。

【0183】

コンピュータ可読プログラム命令は、スタンドアロンソフトウェアパッケージとして、完全にユーザのコンピュータ上で、一部はユーザのコンピュータ上で実行可能であり、一部はユーザのコンピュータ上で、一部はリモートコンピュータ上で、または完全にリモートコンピュータもしくはサーバ上で実行されうる。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続可能であり、または（例えば、インターネットサービスプロバイダを使用したインターネット経由で）外部コンピュータに接続可能である。

【0184】

セカンダリメモリ５２０は、任意に、内部メモリ５２５および／またはリムーバブル媒体５３０を含みうる。リムーバブル媒体５３０は、任意の周知の方法で読み取られ、かつ／または書き込まれる。リムーバブル記憶媒体５３０は、例えば、磁気テープドライブ、コンパクトディスク（ＣＤ）ドライブ、デジタル多用途ディスク（ＤＶＤ）ドライブ、他の光学ドライブ、フラッシュメモリドライブなどであってもよい。

【0185】

リムーバブル記憶媒体５３０は、非一時的コンピュータ可読媒体であり、コンピュータ実行可能コード（すなわち、ソフトウェア）および／またはデータがその上に保存されている。リムーバブル記憶媒体５３０に保存されたコンピュータソフトウェアまたはデータは、プロセッサ５１０による実行のためにコンピューティング装置５００に読み込まれる。

【0186】

セカンダリメモリ５２０には、コンピュータプログラムまたは他のデータもしくは命令をコンピューティング装置５００にロードすることを可能にするための他の同様の要素が含まれうる。かかる手段には、例えば、外部記憶媒体５４５および通信インタフェース５４０が含まれていてよく、これにより、ソフトウェアおよびデータが外部記憶媒体５４５からコンピューティング装置５００に転送されることが可能となる。外部記憶媒体５４５の例として、外付けハードディスクドライブ、外付け光学ドライブ、外付け光磁気ドライブなどが挙げられる。セカンダリメモリ５２０の他の例として、プログラム可能な読み取り専用メモリ（ＰＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、またはフラッシュメモリ（ＥＥＰＲＯＭと類似のブロック指向のメモリ）などの半導体ベースのメモリが挙げられる。

【0187】

上記のように、コンピューティング装置５００は、通信インタフェース５４０を含みうる。通信インタフェース５４０により、ソフトウェアおよびデータが、コンピューティング装置５００と外部デバイス（例えば、プリンタ）、ネットワーク、または他の情報源との間で転送されることが可能となる。例えば、コンピュータソフトウェアまたは実行可能コードは、通信インタフェース５４０を介してネットワークサーバからコンピューティング装置５００に転送されうる。通信インタフェース５４０の例として、内蔵ネットワークアダプタ、ネットワークインタフェースカード（ＮＩＣ）、パーソナルコンピュータメモリカード国際協会（ＰＣＭＣＩＡ）ネットワークカード、カードバスネットワークアダプタ、ワイヤレスネットワークアダプタ、ユニバーサルシリアルバス（ＵＳＢ）ネットワークアダプタ、モデム、ネットワークインタフェースカード（ＮＩＣ）、ワイヤレスデータカード、通信ポート、赤外線インタフェース、ＩＥＥＥ１３９４ファイアワイヤ、またはネットワークもしくは別のコンピューティングデバイスによりシステム５５０とインタフェースを有しうるその他のデバイスが挙げられる。好ましくは、通信インタフェース５４０により、業界で公布されたプロトコル標準が実装され、好ましくは、イーサネットＩＥＥＥ８０２標準、ファイバチャネル、デジタル加入者線（ＤＳＬ）、非同期デジタル加入者線（ＡＤＳＬ）、フレームリレー、非同期転送モード（ＡＴＭ）、統合デジタルサービスネットワーク（ＩＳＤＮ）、パーソナル通信サービス（ＰＣＳ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、シリアルラインインターネットプロトコル／ポイントツーポイントプロトコル（ＳＬＩＰ／ＰＰＰ）などが実装されるが、カスタマイズされた、または非標準のインタフェースプロトコルも実装されうる。

【0188】

通信インタフェース５４０を介して転送されるソフトウェアおよびデータは、概して、電気通信信号５５５の形態である。これらの信号５５５は、通信チャネル５５０を介して通信インタフェース５４０に提供されうる。一実施形態では、通信チャネル５５０は、有線または無線ネットワーク、あるいは任意の多種多様な他の通信リンクでありうる。通信チャネル５５０は、信号５５５を伝送しており、幾つかの例を挙げると、ワイヤもしくはケーブル、光ファイバ、従来の電話回線、携帯電話リンク、無線データ通信リンク、無線周波数（「ＲＦ」）リンク、または赤外線リンクを含む多種多様な有線または無線通信手段を使用して実装することができる。

【0189】

コンピュータ実行可能コード（すなわち、コンピュータプログラムまたはソフトウェア）は、メインメモリ５１５および／またはセカンダリメモリ５２０に保存される。コンピュータプログラムはまた、通信インタフェース５４０を介して受信され、メインメモリ５１５および／またはセカンダリメモリ５２０に保存されうる。本明細書の他の箇所で説明されるように、かかるコンピュータプログラムは、実行される際に、コンピューティング装置５００に、開示される実施形態の種々の機能を実行させることを可能にする。

【0190】

本明細書において、「コンピュータ可読媒体」という用語は、コンピュータ実行可能コード（例えば、ソフトウェアおよびコンピュータプログラム）をコンピューティング装置５００に提供するために使用される任意の非一時的コンピュータ可読記憶媒体を指すために使用される。かかる媒体の例として、メインメモリ５１５、セカンダリメモリ５２０（内部メモリ５２５、リムーバブル媒体５３０、および外部記憶媒体５４５を含む）、および通信インタフェース５４０と通信可能に結合された任意の周辺デバイス（ネットワーク情報サーバまたは他のネットワークデバイスを含む）が挙げられる。これらの非一時的コンピュータ可読媒体は、実行可能コード、プログラミング命令、およびソフトウェアをコンピューティング装置５００に提供するための手段である。ソフトウェアを使用して実装される一実施形態では、ソフトウェアは、コンピュータ可読媒体に保存され、リムーバブル媒体５３０、Ｉ／Ｏインタフェース５３５、または通信インタフェース５４０を介してコンピューティング装置５００にロードされうる。かかる一実施形態では、ソフトウェアは、電気通信信号５５５の形態でコンピューティング装置５００にロードされる。ソフトウェアは、プロセッサ５１０によって実行される際に、好ましくはプロセッサ５１０に、本明細書の他の箇所で説明されている特徴および機能を実行させる。

【0191】

Ｉ／Ｏインタフェース５３５により、コンピューティング装置５００の１つ以上のコンポーネントと１つ以上の入力および／または出力デバイスとの間のインタフェースが提供される。入力デバイスの例として、キーボード、タッチスクリーンまたは他のタッチセンシティブデバイス、生体認証デバイス、コンピュータマウス、トラックボール、ペンベースのポインティングデバイスなどが挙げられるが、これらに限定されない。出力デバイスの例として、ブラウン管（ＣＲＴ）、プラズマディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、プリンタ、真空蛍光表示管（ＶＦＤ）、表面伝導型電子放出ディスプレイ（ＳＥＤ）、電界放出ディスプレイ（ＦＥＤ）などが挙げられるが、これらに限定されない。

【0192】

コンピューティング装置５００にはまた、音声ネットワークおよび／またはデータネットワークを介した無線通信を容易にする任意の無線通信コンポーネントが含まれる。無線通信コンポーネントには、アンテナシステム５７０、無線システム５６５、およびベースバンドシステム５６０が含まれる。コンピューティング装置５００では、無線周波数（ＲＦ）信号は、無線システム５６５の管理下にあるアンテナシステム５７０によって無線で送受信される。

【0193】

アンテナシステム５７０は、アンテナシステム５７０に送信および受信信号経路を提供するためにスイッチング機能を実行する１つ以上のアンテナおよび１つ以上のマルチプレクサ（図示せず）を含みうる。受信経路において、受信されたＲＦ信号は、低ノイズ増幅器（図示せず）に結合可能であり、低ノイズ増幅器は、マルチプレクサから、受信されたＲＦ信号を増幅し、増幅された信号を無線システム５６５に送信する。

【0194】

無線システム５６５は、種々の周波数で通信するように構成された１つ以上の無線を含みうる。一実施形態では、無線システム５６５は、復調器（図示せず）および変調器（図示せず）を１つの集積回路（ＩＣ）に組み合わせることができる。復調器および変調器は、別々のコンポーネントにすることもできる。着信経路において、復調器は、ＲＦ搬送波信号を除去し、ベースバンド受信オーディオ信号を残す。ベースバンド受信オーディオ信号は、無線システム５６５からベースバンドシステム５６０に送信される。

【0195】

受信信号が音声情報を含む場合、ベースバンドシステム５６０は、信号を復号し、これをアナログ信号に変換する。次に、信号が増幅されてスピーカに送信される。ベースバンドシステム５６０はまた、マイクロフォンからアナログオーディオ信号を受信する。これらのアナログオーディオ信号は、デジタル信号に変換され、ベースバンドシステム５６０によって符号化される。ベースバンドシステム５６０はまた、送信用のデジタル信号をコード化し、無線システム５６５の変調器部分にルーティングされるベースバンド送信オーディオ信号を生成する。変調器は、ベースバンド送信オーディオ信号をＲＦ搬送波信号と混合して、ＲＦ送信信号を生成し、ＲＦ送信信号は、アンテナシステム５７０にルーティングされ、電力増幅器（図示せず）を通過しうる。電力増幅器は、ＲＦ送信信号を増幅し、これをアンテナシステム５７０にルーティングし、そこで、信号は、送信のためにアンテナポートに切り替えられる。

【0196】

ベースバンドシステム５６０はまた、プロセッサ５１０と通信可能に結合されており、プロセッサ５１０は、中央処理装置（ＣＰＵ）でありうる。プロセッサ５１０は、データ記憶領域５１５および５２０にアクセスすることができる。プロセッサ５１０は、好ましくは、メインメモリ５１５またはセカンダリメモリ５２０に保存されうる命令（すなわち、コンピュータプログラムまたはソフトウェア）を実行するように構成される。コンピュータプログラムはまた、ベースバンドプロセッサ５６０から受信され、メインメモリ５１０またはセカンダリメモリ５２０に保存されるか、または受信時に実行されうる。かかるコンピュータプログラムは、実行される際に、コンピューティング装置５００に、開示される実施形態の種々の機能を実行させることを可能にするためのものである。例えば、データ記憶領域５１５または５２０は、種々のソフトウェアモジュールを含んでもよい。

【0197】

コンピューティング装置は、通信バス５０５に直接に接続されたディスプレイ５７５をさらに含み、これは、上記のＩ／Ｏインタフェース５３５に接続された任意のディスプレイに代えて、またはこれに加えて提供されうる。

【0198】

種々の実施形態はまた、例えば、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックアレイ（ＰＬＡ）、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのコンポーネントを使用して、主にハードウェアに実装されうる。本明細書に記載の機能を実行しうるハードウェアステートマシンの実装形態もまた、関連技術分野の当業者には明らかであろう。ハードウェアおよびソフトウェアの両方の組み合わせを使用して、種々の実施形態を実装することもできる。

【0199】

さらに、当業者は、上記の図および本明細書に開示される実施形態に関連して説明される種々の例示的な論理ブロック、モジュール、回路、および方法ステップが、多くの場合、電子ハードウェア、コンピュータソフトウェア、または両者の組み合わせとして実装されうることを理解するであろう。このハードウェアおよびソフトウェアの互換性を明確に説明するために、種々の例示的なコンポーネント、ブロック、モジュール、回路、およびステップを、概してその機能の観点から上述した。かかる機能がハードウェアとして実装されるか、またはソフトウェアとして実装されるかは、システム全体に課せられる特定のアプリケーションおよび設計上の制約によって異なる。当業者は、特定のアプリケーションごとに種々の方法で説明した機能を実装できるが、かかる実装形態の決定は、本発明の範囲からの逸脱を引き起こすと解釈されるべきではない。さらに、モジュール、ブロック、回路、またはステップ内の機能のグループ化は、説明を容易にするためのものである。特定の機能またはステップは、本発明から逸脱することなく、あるモジュール、ブロック、または回路から別のモジュール、ブロック、または回路に移動することができる。

【0200】

さらに、本明細書に開示される実施形態に関連して説明される種々の例示的な論理ブロック、モジュール、機能、および方法は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ、ＦＰＧＡ、または他のプログラマブルロジックデバイス、ディスクリートゲートもしくはトランジスタロジック、ディスクリートハードウェアコンポーネント、あるいは本明細書に記載の機能を実行するように設計されたこれらの任意の組み合わせによって実装または実行することができる。汎用プロセッサはマイクロプロセッサであってよく、代替的に、プロセッサが、任意のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであってもよい。プロセッサはまた、コンピューティングデバイスの組み合わせとして実装可能であり、例えば、ＤＳＰおよびマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと組み合わせた１つ以上のマイクロプロセッサ、または任意の他のかかる構成として実装可能である。

【0201】

付加的に、本明細書に開示される実施形態に関連して説明される方法またはアルゴリズムのステップは、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、または両者の組み合わせで直接に具現化することができる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ－ＲＯＭ、またはネットワーク記憶媒体を含むその他の形態の記憶媒体に常駐しうる。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合することができる。別の方法として、記憶媒体をプロセッサに統合することもできる。プロセッサおよび記憶媒体はＡＳＩＣに常駐することもできる。

【0202】

本明細書で言及されるコンピュータ可読記憶媒体は、それ自体が、電波もしくは他の自由に伝搬する電磁波、導波管もしくは他の伝送媒体を伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、またはワイヤを介して伝送される電気信号などの一時的な信号であると解釈されるべきではない。

【0203】

本明細書に記載されているソフトウェアコンポーネントのいずれも、多種多様な形態をとりうる。例えば、コンポーネントは、スタンドアロンのソフトウェアパッケージであってもよく、またはより大きなソフトウェア製品に「ツール」として組み込まれているソフトウェアパッケージであってもよい。これは、Ｗｅｂサイトなどのネットワークからスタンドアロン製品として、または既存のソフトウェアアプリケーションにインストールするためのアドインパッケージとしてダウンロード可能であってもよい。また、クライアントサーバソフトウェアアプリケーション、Ｗｅｂ対応ソフトウェアアプリケーション、および／またはモバイルアプリケーションとして利用されてもよい。

【0204】

本発明の実施形態は、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して本明細書に記載されている。フローチャート図および／またはブロック図の各ブロック、ならびにフローチャート図および／またはブロック図のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装できることが理解されよう。

【0205】

コンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供され、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび／またはブロック図の単一もしくは複数のブロックで指定された機能／動作を実施するための手段を作成するような機械を作り出すことができる。これらのコンピュータ可読プログラム命令はまた、コンピュータ、プログラム可能なデータ処理装置、および／または他のデバイスに特定の方法で機能するように指示しうるコンピュータ可読記憶媒体に保存可能であり、命令が保存されたコンピュータ可読記憶媒体には、フローチャートおよび／またはブロック図の単一もしくは複数のブロックで指定された機能／動作の態様を実施する命令を含む製造品が含まれる。

【0206】

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスにロードされて、コンピュータ、他のプログラム可能な装置または他のデバイス上で一連の操作ステップを実行させ、コンピュータ実装プロセスを生成可能であり、その結果、コンピュータ、他のプログラム可能な装置、または他のデバイス上で実行される命令により、フローチャートおよび／またはブロック図の単一もしくは複数のブロックで指定された機能／動作が実装される。

【0207】

図示のフローチャートおよびブロック図は、本発明の種々の実施形態による、システム、方法、およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能、および動作を示している。これに関して、フローチャートまたはブロック図の各ブロックは、モジュール、セグメント、または命令の一部を表すことができ、これには、指定された論理機能を実装するための１つ以上の実行可能命令が含まれる。幾つかの代替の実装形態では、ブロックに示されている機能は、図に示されている順序とは異なる場合がある。例えば、連続して表示される２つのブロックは、実際には実質的に同時に実行される場合があり、または関連する機能に応じてブロックが逆の順序で実行される場合がある。ブロック図および／またはフローチャート図の各ブロック、およびブロック図および／またはフローチャート図のブロックの組み合わせは、指定された機能もしくは動作を実行するか、または専用ハードウェアおよびコンピュータ命令の組み合わせを実行する専用ハードウェアベースのシステムによって実装されうることにも留意されたい。

【0208】

本発明を具現化する装置および方法は、クラウドコンピューティング環境でホストされ、クラウドコンピューティング環境によって配信されうる。クラウドコンピューティングは、構成可能なコンピューティングリソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン、およびサービス）の共有プールへの便利なオンデマンドネットワークアクセスを可能にするサービス提供のモデルであり、最小限の管理作業またはサービスのプロバイダとのインタラクションにより、迅速にプロビジョニングおよびリリースされうる。このクラウドモデルには、少なくとも５つの特徴、少なくとも３つのサービスモデル、および少なくとも４つの展開モデルが含まれうる。

【0209】

その特徴は以下の通りである。

【0210】

オンデマンドセルフサービス：クラウドコンシューマは、人間のサービスプロバイダとのインタラクションを必要とせずに、必要に応じてサーバ時間およびネットワークストレージなどのコンピューティング機能を一方的にプロビジョニングできる。

【0211】

ブロードネットワークアクセス：ネットワーク経由で機能が利用可能であり、異種のシンクライアントまたはシッククライアントプラットフォーム（携帯電話、ラップトップ、ＰＤＡなど）による使用を促進する標準メカニズムを介してアクセスされる。

【0212】

リソースプーリング：プロバイダのコンピューティングリソースは、マルチテナントモデルを使用して複数のコンシューマにサービスを提供するためにプールされ、種々の物理リソースおよび仮想リソースが需要に応じて動的に割り当てられ、かつ再割り当てされる。コンシューマは通常、提供されたリソースの正確な場所を制御したり、知ったりすることはできないが、より高い抽象度で場所（国、州、データセンタなど）を指定する可能性があるという点で、場所の独立性がある。

【0213】

迅速な弾力性（Rapid elasticity）：迅速にかつ弾力的に、幾つかの場合には自動的に、機能がプロビジョニングされ、迅速にスケールアウトされ、迅速にリリースされて迅速にスケールインされる。コンシューマにとっては、プロビジョニングに利用できる機能は無制限で、いつでも好きなだけ購入できるように見えることが多い。

【0214】

計測可能なサービス（Measured service）：クラウドシステムにより、サービスのタイプ（ストレージ、処理、帯域幅、アクティブなユーザアカウントなど）に適した抽象化レベルで計測機能を活用することで、リソースの使用が自動的に制御および最適化される。リソースの使用状況を監視、制御、および報告できるため、利用するサービスのプロバイダおよびコンシューマの両方に透明性が提供される。

【0215】

サービスモデルは以下の通りである。

【0216】

サービスとしてのソフトウェア（ＳａａＳ）：コンシューマに提供される機能は、クラウドインフラストラクチャで実行されているプロバイダのアプリケーションを使用することである。アプリケーションには、Ｗｅｂブラウザ（Ｗｅｂベースの電子メールなど）などのシンクライアントインタフェースを介して、種々のクライアントデバイスからアクセスできる。コンシューマは、限られたユーザ固有のアプリケーション構成設定を除いて、ネットワーク、サーバ、オペレーティングシステム、ストレージ、さらには個々のアプリケーション機能を含む基盤となるクラウドインフラストラクチャを管理または制御しない。

【0217】

サービスとしてのプラットフォーム（ＰａａＳ）：コンシューマに提供される機能は、プロバイダがサポートするプログラミング言語およびツールを使用して作成された、コンシューマが作成または取得したアプリケーションをクラウドインフラストラクチャにデプロイすることである。コンシューマは、ネットワーク、サーバ、オペレーティングシステム、ストレージなどの基盤となるクラウドインフラストラクチャを管理または制御しないが、デプロイされたアプリケーションと、幾つかの場合にはアプリケーションホスティング環境の構成とを制御する。

【0218】

サービスとしてのインフラストラクチャ（ＩａａＳ）：コンシューマに提供される機能は、処理、ストレージ、ネットワーク、およびその他の基本的なコンピューティングリソースをプロビジョニングすることであり、コンシューマはオペレーティングシステムおよびアプリケーションを含みうる任意のソフトウェアをデプロイし、かつ実行できる。コンシューマは、基盤となるクラウドインフラストラクチャを管理または制御しないが、オペレーティングシステム、ストレージ、デプロイされたアプリケーションを制御し、幾つかの場合には選択したネットワークコンポーネント（ホストファイアウォールなど）の制御を制限する。

【0219】

展開モデルは以下の通りである。

【0220】

プライベートクラウド：クラウドインフラストラクチャは、組織のためのみに運用される。組織またはサードパーティによって管理可能であり、オンプレミスまたはオフプレミスに存在しうる。

【0221】

コミュニティクラウド：クラウドインフラストラクチャは複数の組織で共有されており、問題（ミッション、セキュリティ要件、ポリシー、コンプライアンスの考慮事項など）を共有している特定のコミュニティをサポートする。組織またはサードパーティによって管理可能であり、オンプレミスまたはオフプレミスに存在しうる。

【0222】

パブリッククラウド：クラウドインフラストラクチャは、一般の人々または大規模な業界団体が利用できるようになっており、クラウドサービスを販売する組織が所有している。

【0223】

ハイブリッドクラウド：クラウドインフラストラクチャは、２つ以上のクラウド（プライベート、コミュニティ、またはパブリック）の構成であり、当該クラウドは、一意のエンティティのままであるが、データおよびアプリケーションの移植性（例えば、クラウド間の負荷分散のためのクラウドバースト）を可能にする標準化されたテクノロジーまたは独自のテクノロジーによって結び付けられている。

【0224】

クラウドコンピューティング環境は、サービス指向であり、ステートレス、低結合、モジュール性、およびセマンティック相互運用性に重点を置いている。クラウドコンピューティングの中心は、相互接続されたノードのネットワークを含むインフラストラクチャである。

【0225】

本開示の範囲から逸脱することなく、前述の例示的な実施形態に対して多くの改善および修正を行うことができることは、当技術分野の当業者には明らかであろう。

【0226】

図１１Ａは、本明細書に記載の種々の実施形態に関連して使用されうる例示的なプロセッサ対応デバイス５５１を示すブロック図である。デバイス５５１の代替形態もまた、当業者によって理解されるように使用されうる。図示の実施形態では、デバイス５５１は、デジタル撮像デバイス（本明細書では、スキャナシステムまたはスキャンシステムとも称される）として提示されており、当該デジタル撮像デバイスには、１つ以上のプロセッサ５５６、１つ以上のメモリ５６６、１つ以上のモーションコントローラ５７１、１つ以上のインタフェースシステム５７６、各々が１つ以上のサンプル５９０を備えた１つ以上のスライドガラス５８５を支持する１つ以上の可動ステージ５８０、サンプルを照明する１つ以上の照明システム５９５、各々が光軸に沿って移動する光路６０５を確定する１つ以上の対物レンズ６００、１つ以上の対物レンズポジショナ６３０、（例えば、蛍光スキャナシステムに含まれる）１つ以上の任意の落射照明システム６３５、１つ以上の集束光学系６１０、１つ以上のラインスキャンカメラ６１５および／または１つ以上のエリアスキャンカメラ６２０が含まれ、各々がサンプル５９０および／またはスライドガラス５８５上に別個の視野６２５を定めている。スキャナシステム５５１の種々の要素は、１つ以上の通信バス５６０を介して通信可能に結合されている。スキャナシステム５５１の種々の各要素のうちの１つ以上が存在しうるが、以下の説明を容易にするために、これらの要素は、適切な情報を伝えるために複数形で説明する必要がある場合を除いて、単数形で説明する。

【0227】

１つ以上のプロセッサ５５６は、例えば、命令を並列に処理しうる中央処理装置（「ＣＰＵ」）および別個のグラフィックス処理装置（「ＧＰＵ」）を含みうるか、あるいは１つ以上のプロセッサ５５６は、命令を並行して処理しうるマルチコアプロセッサを含みうる。特定のコンポーネントを制御したり、画像処理などの特定の機能を実行したりするために、追加の個別のプロセッサを提供することもできる。例えば、追加のプロセッサには、データ入力を管理するための補助プロセッサ、浮動小数点数学演算を実行するための補助プロセッサ、信号処理アルゴリズムの高速実行に適したアーキテクチャを有する専用プロセッサ（例えば、デジタル信号プロセッサ）、メインプロセッサに従属するスレーブプロセッサ（例えば、バックエンドプロセッサ）、ラインスキャンカメラ６１５、ステージ５８０、対物レンズ６００、および／またはディスプレイ（図示せず）を制御するための追加のプロセッサが含まれてもよい。かかる追加のプロセッサは、別個の離散的なプロセッサであってもよいし、またはプロセッサ５５６と統合されてもよい。

【0228】

メモリ５６６は、プロセッサ５５６によって実行されうるプログラムのためのデータおよび命令のストレージを提供する。メモリ５６６は、データおよび命令、例えば、ランダムアクセスメモリ、読み取り専用メモリ、ハードディスクドライブ、リムーバブルストレージドライブなどを保存する１つ以上の揮発性かつ永続性のコンピュータ可読記憶媒体を含みうる。プロセッサ５５６は、メモリ５６６に保存され、通信バス５６０を介してスキャナシステム５５１の種々の要素と通信して、スキャナシステム５５１の全体的な機能を実行する命令を実行するように構成される。

【0229】

１つ以上の通信バス５６０は、アナログ電気信号を伝達するように構成された通信バス５６０を含むことができ、デジタルデータを伝達するように構成された通信バス５６０を含むことができる。したがって、１つ以上の通信バス５６０を介したプロセッサ５５６、モーションコントローラ５７１、および／またはインタフェースシステム５７６からの通信には、電気信号およびデジタルデータの両方が含まれうる。プロセッサ５５６、モーションコントローラ５７１、および／またはインタフェースシステム５７６はまた、無線通信リンクを介してスキャンシステム５５１の種々の要素のうちの１つ以上と通信するように構成されうる。

【0230】

モーション制御システム５７１は、ステージ５８０および対物レンズ６００のＸＹＺ移動を（例えば、対物レンズポジショナ６３０を介して）正確に制御および調整するように構成される。モーション制御システム５７１はまた、スキャナシステム５５１内の他の可動部分の移動を制御するように構成される。例えば、蛍光スキャナの実施形態では、モーション制御システム５７１は、落射照明システム６３５内の光学フィルタなどの移動を調整するように構成される。

【0231】

インタフェースシステム５７６により、スキャナシステム５５１は、他のシステムおよび人間のオペレータとのインタフェースを有することが可能となる。例えば、インタフェースシステム５７６は、情報をオペレータに直接に提供するため、かつ／またはオペレータからの直接の入力を可能にするためのユーザインタフェースを含みうる。インタフェースシステム５７６はまた、スキャンシステム５５１と、直接に接続されている１つ以上の外部デバイス（例えば、プリンタ、リムーバブル記憶媒体）または外部デバイス、例えばネットワーク（図示せず）を介してスキャナシステム５５１に接続されている画像サーバシステム、オペレータステーション、ユーザステーション、および管理サーバシステムとの間の通信およびデータ転送を容易にするように構成される。

【0232】

照明システム５９５は、サンプル５９０の一部を照明するように構成される。照明システムには、例えば、光源および照明光学系が含まれてもよい。光源は、光出力を最大化するための凹面反射鏡と熱を抑制するためのＫＧ－１フィルタとを備えた可変強度ハロゲン光源でありうる。光源はまた、任意のタイプのアークランプ、レーザ、または他の光源でありうる。一実施形態では、照明システム５９５は、ラインスキャンカメラ６１５および／またはエリアスキャンカメラ６２０がサンプル５９０を介して送信される光エネルギをセンシングするように、透過モードでサンプル５９０を照明する。代替的に、または組み合わせて、照明システム５９５はまた、反射モードでサンプル５９０を照明するように構成可能であり、これにより、ラインスキャンカメラ６１５および／またはエリアスキャンカメラ６２０は、サンプル５９０から反射される光エネルギをセンシングする。全体として、照明システム５９５は、任意の既知の光学顕微鏡モードでの顕微鏡サンプル５９０の調査に適しているように構成される。

【0233】

一実施形態では、スキャナシステム５５１は、任意に落射照明システム６３５を含み、落射照明システム６３５は、スキャナシステム５５１を最適化して蛍光スキャンを行う。蛍光スキャンは、蛍光分子を含むサンプル５９０のスキャンであり、この蛍光分子は、特定の波長（励起）の光を吸収しうる光子感受性分子である。これらの光子感受性分子はまた、より高い波長（発光）で発光する。このフォトルミネッセンス現象の効率は非常に低いため、多くの場合、放出される光の量は非常に少ない。この放出光が少量であるため、従来の技術（例えば、透過モード顕微鏡）では、通常、サンプル５９０をスキャンおよびデジタル化することは困難である。有利には、スキャナシステム５５１の任意の蛍光スキャナシステムの実施形態では、複数の線形センサアレイ（例えば、時間遅延積分（「ＴＤＩ」）ラインスキャンカメラ）を含むラインスキャンカメラ６１５を使用して、サンプル５９０の同じ領域をラインスキャンカメラ６１５の複数の線形センサアレイの各々に露光することによって、ラインスキャンカメラの光に対する感度が高められる。これは、放出光が少ない微弱な蛍光サンプルを走査する場合に特に便利である。

【0234】

したがって、蛍光スキャナシステムの実施形態では、ラインスキャンカメラ６１５は、好ましくは、モノクロＴＤＩラインスキャンカメラである。有利には、モノクロ画像は、サンプル上に存在する種々のチャネルからの実際の信号のより正確な表現を提供するため、蛍光顕微鏡に理想的な画像である。当業者によって理解されるように、蛍光サンプル５９０は、異なる波長で光を放出する複数の蛍光色素で標識することができ、これは「チャネル」とも称される。

【0235】

さらに、種々の蛍光サンプルのローエンドおよびハイエンドの信号レベルは、ラインスキャンカメラ６１５がセンシングしうる広範なスペクトルの波長を提示するので、ラインスキャンカメラ６１５がセンシングしうるローエンドおよびハイエンドの信号レベルは、同様に広範であることが望ましい。したがって、蛍光スキャナの実施形態では、蛍光スキャンシステム５５１で使用されるラインスキャンカメラ６１５は、モノクロの１０ビット６４線形アレイＴＤＩラインスキャンカメラである。スキャンシステム５５１の蛍光スキャナの実施形態で使用するために、ラインスキャンカメラ６１５の多種多様なビット深度が利用されうることに留意されたい。

【0236】

可動ステージ５８０は、プロセッサ５５６またはモーションコントローラ５７１の制御下の正確なＸＹ移動のために構成される。可動ステージはまた、プロセッサ５５６またはモーションコントローラ５７１の制御下でＺ方向内で移動するように構成されうる。可動ステージは、ラインスキャンカメラ６１５および／またはエリアスキャンカメラによる画像データの取り込み中に、所望の位置にサンプルを位置決めするように構成される。可動ステージはまた、サンプル５９０を走査方向に実質的に一定の速度に加速し、ついで、ラインスキャンカメラ６１５による画像データの取り込み中に実質的に一定の速度を維持するように構成される。一実施形態では、スキャナシステム５５１は、可動ステージ５８０上のサンプル５９０の位置を補助するために、高精度で密に調整されたＸＹグリッドを使用することができる。一実施形態では、可動ステージ５８０は、高精度エンコーダがＸ軸およびＹ軸の両方に採用された、リニアモータベースのＸＹステージである。例えば、非常に精密なナノメートルエンコーダを、走査方向の軸上で使用することができ、かつ走査方向に垂直な方向にあり、走査方向と同じ平面上にある軸上で使用することができる。ステージはまた、サンプル５９０が配設されたスライドガラス５８５を支持するように構成される。

【0237】

サンプル５９０は、光学顕微鏡によって調査されうるものであればいかなるものであってもよい。例えば、顕微鏡スライドガラス５８５は、標本の観察基板として頻繁に使用されており、当該観察基板としては、組織および細胞、染色体、ＤＮＡ、タンパク質、血液、骨髄、尿、細菌、ビーズ、生検材料、または死んでいるもしくは生きている、染色もしくは非染色の、標識を有するもしくは非標識であるその他の種類の生物学的材料または物質が挙げられる。サンプル５９０はまた、任意のタイプのスライドまたは他の基板上に堆積される、任意のタイプのＤＮＡまたはｃＤＮＡもしくはＲＮＡもしくはタンパク質などのＤＮＡ関連材料のアレイであってよく、これには、マイクロアレイとして一般に既知である全てのサンプルが含まれる。サンプル５９０は、マイクロタイタープレート、例えば、９６ウェルプレートでありうる。サンプル５９０の他の例として、集積回路基板、電気泳動記録、ペトリ皿、フィルム、半導体材料、法医学材料、または機械加工部品が挙げられる。

【0238】

対物レンズ６００は、一実施形態では、対物レンズポジショナ６３０に取り付けられており、対物レンズポジショナ６３０は、非常に精密なリニアモータを使用して、対物レンズ６００によって定められる光軸に沿って対物レンズ６００を移動させうる。例えば、対物レンズポジショナ６３０のリニアモータは、５０ナノメートルのエンコーダを含んでもよい。ＸＹＺ軸におけるステージ５８０および対物レンズ６００の相対位置は、情報および命令を保存するためにメモリ５６６を使用するプロセッサ５５６の制御下でモーションコントローラ５７１を使用して、閉ループ方式で調整および制御される。ここで、当該情報および命令には、全体的なスキャンシステム５５１の動作のためのコンピュータ実行可能なプログラムされたステップが含まれる。

【0239】

一実施形態では、対物レンズ６００は、望ましい最高の空間分解能に対応する開口数を備えた平面アポクロマティック（「ＡＰＯ」）無限遠補正対物レンズであり、ここで、対物レンズ６００は、透過モード照明顕微鏡、反射モード照明顕微鏡、および／または落射照明モード蛍光顕微鏡（例えば、オリンパス社４０Ｘ、０．７５ＮＡまたは２０Ｘ、０．７５ＮＡ）に適している。有利には、対物レンズ６００は、色収差および球面収差を補正することができる。対物レンズ６００は無限遠補正されているので、集束光学系６１０は、対物レンズ６００の上の光路６０５に配置することができ、当該光路において、対物レンズを通過する光ビームは、コリメートされた光ビームとなる。集束光学系６１０は、対物レンズ６００によって捕捉された光信号を、ラインスキャンカメラ６１５および／またはエリアスキャンカメラ６２０の光応答要素に集束させる。また、集束光学系６１０は、フィルタ、倍率変更レンズなどの光学部品を含みうる。集束光学系６１０と組み合わされた対物レンズ６００により、スキャンシステム５５１の総合倍率が提供される。一実施形態では、集束光学系６１０は、管レンズおよび任意の２倍倍率チェンジャを含みうる。有利には、２倍倍率チェンジャにより、ネイティブ２０倍の対物レンズ６００は、４０倍の倍率でサンプル５９０を走査することが可能となる。

【0240】

ラインスキャンカメラ６１５は、画像要素（「ピクセル」）の少なくとも１つの線形アレイを含む。ラインスキャンカメラは、モノクロカメラまたはカラーカメラでありうる。カラーラインスキャンカメラは通常、少なくとも３つの線形アレイを有するが、モノクロラインスキャンカメラは、単一の線形アレイまたは複数の線形アレイを有しうる。また、任意のタイプの単数または複数の線形アレイは、カメラの一部としてパッケージ化されているか、撮像電子モジュールにカスタム統合されているかにかかわらず使用できる。例えば、３線形アレイ（「赤色－緑色－青色」または「ＲＧＢ」）カラーラインスキャンカメラまたは９６線形アレイモノクロＴＤＩも使用できる。ＴＤＩラインスキャンカメラは、通常、過去に撮像された標本の領域の強度データを合計することにより、実質的により優れた出力信号の信号対雑音比（「ＳＮＲ」）をもたらす。ここで、ＳＮＲの増大は、積分段数の平方根に比例する。ＴＤＩラインスキャンカメラは複数の線形アレイで構成され、例えば、ＴＤＩラインスキャンカメラは２４、３２、４８、６４、９６個、またはそれ以上の線形アレイで利用できる。スキャナシステム５５１はまた、５１２ピクセルのもの、１０２４ピクセルのもの、および４０９６ピクセルものものを含む多種多様なフォーマットで製造される線形アレイをサポートしている。同様に、多種多様なピクセルサイズの線形アレイもスキャナシステム５５１で使用することができる。任意のタイプのラインスキャンカメラ６１５を選択するための重要な要件は、ステージ５８０のモーションが、ラインスキャンカメラ６１５のラインレートと同期されうることにより、サンプル５９０のデジタル画像の取り込み中に、ステージ５８０がラインスキャンカメラ６１５に対して移動しうることである。

【0241】

ラインスキャンカメラ６１５によって生成された画像データは、メモリ５６６の一部に保存され、プロセッサ５５６によって処理されて、サンプル５９０の少なくとも一部の連続デジタル画像が生成される。連続デジタル画像は、プロセッサ５５６によってさらに処理することができ、修正された連続デジタル画像はまた、メモリ５６６に保存することができる。

【0242】

２つ以上のラインスキャンカメラ６１５を有する一実施形態では、ラインスキャンカメラ６１５の少なくとも１つは集束センサとして機能するように構成可能であり、当該集束センサは、イメージセンサとして機能するように構成されたラインスキャンカメラ６１５のうちの少なくとも１つと組み合わされて動作する。集束センサは、イメージセンサと同じ光軸上に論理的に位置決め可能であり、あるいは集束センサは、スキャナシステム５５１の走査方向に関してイメージセンサの前または後に論理的に位置決め可能である。かかる集束センサとして機能する少なくとも１つのラインスキャンカメラ６１５を有する一実施形態では、集束センサによって生成された画像データは、メモリ５６６の一部に保存され、１つ以上のプロセッサ５５６によって処理されて、焦点情報を生成し、スキャナシステム５５１は、サンプル５９０と対物レンズ６００との間の相対距離を調整して、走査中にサンプルに焦点を合わせ続ける。さらに、一実施形態では、集束センサとして機能する少なくとも１つのラインスキャンカメラ６１５は、集束センサの複数の個々のピクセルの各々が、光路６０５に沿って異なる論理高さに位置決めされるように配向されうる。

【0243】

動作中、スキャナシステム５５１の種々の構成要素およびメモリ５６６に保存されたプログラムされたモジュールにより、スライドガラス５８５上に配設されたサンプル５９０の自動走査およびデジタル化が可能となる。スライドガラス５８５は、サンプル５９０を走査するために、スキャナシステム５５１の可動ステージ５８０上に堅固に配置されている。プロセッサ５５６の制御下で、可動ステージ５８０は、ラインスキャンカメラ６１５によるセンシングのためにサンプル５９０を実質的に一定の速度に加速する。ここで、ステージの速度は、ラインスキャンカメラ６１５のライン速度と同期されている。画像データのストリップを走査した後、可動ステージ５８０は減速して、サンプル５９０を実質的に完全に停止させる。次に、可動ステージ５８０は、走査方向に直交して移動して、画像データの後続のストリップ、例えば、隣接するストリップを走査するために、サンプル５９０を位置決めする。続いて、サンプル５９０の全体またはサンプル５９０全体が走査されるまで、追加のストリップが走査される。

【0244】

例えば、サンプル５９０のデジタル走査中、複数の連続する視野としてサンプル５９０の連続デジタル画像が取得され、これらは一緒に組み合わされて画像ストリップが形成される。複数の隣接する画像ストリップが同様に一緒に組み合わされて、サンプル５９０の一部または全体の連続したデジタル画像が形成される。サンプル５９０のスキャンには、垂直画像ストリップまたは水平画像ストリップの取得が含まれうる。サンプル５９０のスキャン方向は、上から下、下から上、またはその両方（双方向）のいずれかであってよく、サンプル上の任意の点で開始されうる。代替的に、サンプル５９０のスキャン方向は、左から右、右から左、またはその両方（双方向）のいずれかであってもよく、サンプル上の任意の点で開始されうる。さらに、画像ストリップを隣接または連続して取得する必要はない。さらに、結果として得られるサンプル５９０の画像は、サンプル５９０全体の画像であってもよく、サンプル５９０の一部のみの画像であってもよい。

【0245】

一実施形態では、コンピュータ実行可能命令（例えば、プログラムされたモジュールおよびソフトウェア）は、メモリ５６６に保存され、実行される際に、スキャンシステム５５１は、本明細書に記載の種々の機能を実施することができる。この説明では、「コンピュータ可読記憶媒体」という用語は、プロセッサ５５６によって実行するために、コンピュータ実行可能命令を保存し、スキャンシステム５５１に提供するために使用される任意の媒体を指すために使用される。これらの媒体の例には、メモリ５６６、および例えばネットワーク（図示せず）を介して直接的にまたは間接的にスキャンシステム５５１と通信可能に結合された任意のリムーバブル媒体または外部記憶媒体（図示せず）が含まれる。

【0246】

図１１Ｂは、電荷結合デバイス（「ＣＣＤ」）アレイとして実装されうる単一の線形アレイ６４０を有するラインスキャンカメラを示している。単一の線形アレイ６４０は、複数の個別のピクセル６４５を含む。図示の実施形態では、単一の線形アレイ６４０は、４０９６ピクセルを有する。代替的な実施形態では、線形アレイ６４０は、より多くのピクセルまたはより少ないピクセルを有しうる。例えば、線形アレイの一般的なフォーマットには、５１２、１０２４、および４０９６ピクセルが含まれる。ピクセル６４５は、線形アレイ６４０の視野６２５を定めるために線形に配置されている。視野の大きさは、スキャナシステム５５１の倍率に応じて変化する。

【0247】

図１１Ｃは、３つの線形アレイを有するラインスキャンカメラを示しており、その各々は、ＣＣＤアレイとして実装されうる。３つの線形アレイが組み合わさって、カラーアレイ６５０を形成している。一実施形態では、カラーアレイ６５０内の個々の線形アレイは、様々な色強度、例えば、赤色、緑色、または青色を検出する。カラーアレイ６５０内の個々の線形アレイからのカラー画像データは、組み合わされて、カラー画像データの単一の視野６２５を形成している。

【0248】

図１１Ｄは、複数の線形アレイを有するラインスキャンカメラを示しており、その各々は、ＣＣＤアレイとして実装されうる。複数の線形アレイが組み合わさって、ＴＤＩアレイ６５５を形成している。有利には、ＴＤＩラインスキャンカメラは、過去に撮像された標本の領域の強度データを合計することにより、実質的により優れた出力信号のＳＮＲをもたらしうる。ここで、ＳＮＲの増大は、（積分段とも称される）線形アレイの数の平方根に比例する。ＴＤＩラインスキャンカメラは、より多くの多種多様な線形アレイを含みうる。例えば、ＴＤＩラインスキャンカメラの一般的なフォーマットには、２４、３２、４８、６４、９６、１２０個、およびさらに多くの線形アレイが含まれる。

【0249】

開示した実施形態の上記の説明は、当業者が本発明を作製または使用することを可能にするために提供されている。これらの実施形態に対する種々の修正例は、当業者には容易に明らかとなり、本明細書に記載の全般的な基本方式は、本発明の精神または範囲から逸脱することなく、他の実施形態に適用することができる。したがって、本明細書に提示される説明および図面は、本発明の現在の好ましい実施形態を表し、したがって、本発明によって広く企図される主題を代表するものであることが理解されるべきである。さらに、本発明の範囲は、当技術分野の当業者に明らかになりうる他の実施形態を完全に包含しており、これによって本発明の範囲は限定されないことが理解されよう。

【図1A】

【図1B】

【図2A】

【図2B】

【図2C】

【図2D】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図11C】

【図11D】