特許 7553451 デジタルパソロジーのための人工知能処理システムおよび自動化された事前診断ワークフロー

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-09

(45)【発行日】2024-09-18

(54)【発明の名称】デジタルパソロジーのための人工知能処理システムおよび自動化された事前診断ワークフロー

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240910BHJP

【ＦＩ】

G06T7/00 350C

G06T7/00 612

【請求項の数】 14

(21)【出願番号】P 2021538324

(86)(22)【出願日】2020-05-29

(65)【公表番号】

(43)【公表日】2022-07-28

(86)【国際出願番号】 US2020035342

(87)【国際公開番号】W WO2020243583

(87)【国際公開日】2020-12-03

【審査請求日】2023-05-12

(31)【優先権主張番号】62/854,030

(32)【優先日】2019-05-29

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/854,110

(32)【優先日】2019-05-29

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】503293765

【氏名又は名称】ライカ バイオシステムズ イメージング インコーポレイテッド

【氏名又は名称原語表記】Ｌｅｉｃａ Ｂｉｏｓｙｓｔｅｍｓ Ｉｍａｇｉｎｇ， Ｉｎｃ．

【住所又は居所原語表記】１３６０ Ｐａｒｋ Ｃｅｎｔｅｒ Ｄｒ．， Ｖｉｓｔａ， ＣＡ ９２０８１， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100135633

【弁理士】

【氏名又は名称】二宮 浩康

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ウォルター ジョージェスク

(72)【発明者】

【氏名】キラン サリグラマ

(72)【発明者】

【氏名】カルロス ルナ

(72)【発明者】

【氏名】ダラ ローラー

(72)【発明者】

【氏名】クロード レイシー

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】国際公開第２０１９／０８４６９７（ＷＯ，Ａ１）

【文献】特開２００７－１４３７１９（ＪＰ，Ａ）

【文献】特開２０１６－１６１４１７（ＪＰ，Ａ）

【文献】特表２０２２－５３０２８０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

(57)【特許請求の範囲】

【請求項1】

装置であって、前記装置は、
コンピュータ実行可能命令を保存するように構成されたメモリと、
前記メモリと通信するプロセッサと、
を備え、
前記コンピュータ実行可能命令は、前記プロセッサによって実行される際に、
患者レコードから組織学的画像を受信し、
（ａ）組織学的画像と（ｂ）前記組織学的画像の各ピクセルに割り当てられた組織クラスのグラウンドトゥルースデータとを含む訓練データセットに基づいて訓練される畳み込みニューラルネットワークを使用して、前記組織学的画像にマッピングされ、各ピクセルに割り当てられた複数の組織クラスのうちの１つを有する出力画像を生成し、前記複数の組織クラスは、非腫瘍組織を表す少なくとも１つのクラスおよび腫瘍組織を表す少なくとも１つのクラスを含み、
前記出力画像における組織クラスごとに、その組織クラスに対するプロトコルに基づいて、組織サンプルに対して１つ以上のテストを実行すべきかどうかを判別し、
１つ以上のテストを実行すべきであるとの判別に応じて、実行される各テストの順序付けを生成して送信する、
ように前記プロセッサを構成し、
前記プロセッサは、１つ以上のテストを実行すべきかどうかを判別するように構成されており、前記１つ以上のテストを実行すべきかどうかを判別することは、実行されるテストを指定するプロトコルを保存するように編成されたデータベースに、前記出力画像に割り当てられた組織クラスのうちの少なくとも１つを含むクエリを送信することを含み、
前記コンピュータ実行可能命令は、前記プロセッサによって実行される際に、さらに、組織クラスごとに、その組織クラスにつき保存されているプロトコルを参照して、前記組織サンプルに対して任意のさらなるテストを実行すべきかどうかを判別するように、前記プロセッサを構成する、
装置。

【請求項2】

前記装置は、組織学的画像を含む患者データのレコードを保存するように構成されたデータリポジトリをさらに備える、
請求項１記載の装置。

【請求項3】

前記組織学的画像は、Ｈ＆Ｅ（ヘマトキシリンおよびエオシン）画像である、
請求項１記載の装置。

【請求項4】

前記コンピュータ実行可能命令は、前記プロセッサによって実行される際に、さらに、実行される各さらなるテストの順序付けを送信するように、前記プロセッサを構成する、
請求項１記載の装置。

【請求項5】

前記コンピュータ実行可能命令は、前記プロセッサによって実行される際に、さらに、実行される各さらなるテストの順序付けを生成するように、前記プロセッサを構成する、
請求項４記載の装置。

【請求項6】

前記組織クラスは、少なくとも浸潤性腫瘍の第１のクラスおよび非浸潤性腫瘍の第２のクラスを含む、
請求項１記載の装置。

【請求項7】

前記組織クラスは、非腫瘍組織の組織クラスを含む、
請求項１記載の装置。

【請求項8】

前記組織クラスは、組織が同定されていない領域を表す組織クラスを含む、
請求項１記載の装置。

【請求項9】

組織サンプルのデータを処理するための非一時的なコンピュータ可読媒体であって、
前記コンピュータ可読媒体は、プログラム命令を含み、前記プログラム命令は、プロセッサに、
患者レコードから組織学的画像を受信し、
（ａ）組織学的画像と（ｂ）前記組織学的画像の各ピクセルに割り当てられた組織クラスのグラウンドトゥルースデータとを含む訓練データセットに基づいて訓練される畳み込みニューラルネットワークを使用して、前記組織学的画像にマッピングされ、各ピクセルに割り当てられた複数の組織クラスのうちの１つを有する出力画像を生成し、前記複数の組織クラスは、非腫瘍組織を表す少なくとも１つのクラスおよび腫瘍組織を表す少なくとも１つのクラスを含み、
前記出力画像における組織クラスごとに、その組織クラスに対するプロトコルに基づいて、組織サンプルに対して１つ以上のテストを実行すべきかどうかを判別し、
１つ以上のテストを実行すべきであるとの判別に応じて、実行される各テストの順序付けを生成して送信する、
方法を実行させ、
１つ以上のテストを実行すべきかどうかを判別することは、実行されるテストを指定するプロトコルを保存するように編成されたデータベースに、前記出力画像に割り当てられた組織クラスのうちの少なくとも１つを含むクエリを送信することを含み、
前記プログラム命令は、前記プロセッサによって実行される際に、さらに、組織クラスごとに、その組織クラスにつき保存されているプロトコルを参照して、前記組織サンプルに対して任意のさらなるテストを実行すべきかどうかを判別するように、前記プロセッサを構成する、
コンピュータ可読媒体。

【請求項10】

前記プログラム命令は、前記プロセッサによって実行される際に、さらに、実行される各さらなるテストの順序付けを送信するように、前記プロセッサを構成する、
請求項９記載のコンピュータ可読媒体。

【請求項11】

前記プログラム命令は、前記プロセッサによって実行される際に、さらに、実行される各さらなるテストの順序付けを生成するように、前記プロセッサを構成する、
請求項１０記載のコンピュータ可読媒体。

【請求項12】

前記組織学的画像は、Ｈ＆Ｅ（ヘマトキシリンおよびエオシン）画像である、
請求項９記載のコンピュータ可読媒体。

【請求項13】

前記組織クラスは、浸潤性腫瘍の組織クラス、非浸潤性腫瘍の第２の組織クラス、非腫瘍組織の組織クラス、および、組織が同定されていない領域を表す組織クラスを含む、
請求項９記載のコンピュータ可読媒体。

【請求項14】

組織サンプルのデータを処理する方法であって、前記方法は、
患者レコードから組織学的画像を受信するステップと、
（ａ）組織学的画像と（ｂ）前記組織学的画像の各ピクセルに割り当てられた組織クラスのグラウンドトゥルースデータとを含む訓練データセットに基づいて訓練される畳み込みニューラルネットワークを使用して、前記組織学的画像にマッピングされ、各ピクセルに割り当てられた複数の組織クラスのうちの１つを有する出力画像を生成するステップであって、前記複数の組織クラスは、非腫瘍組織を表す少なくとも１つのクラスおよび腫瘍組織を表す少なくとも１つのクラスを含むステップと、
前記出力画像における組織クラスごとに、その組織クラスに対するプロトコルに基づいて、組織サンプルに対して１つ以上のテストを実行すべきかどうかを判別するステップと、
１つ以上のテストを実行すべきであるとの判別に応じて、実行される各テストの順序付けを生成して送信するステップと、
を含み、
１つ以上のテストを実行すべきかどうかを判別するステップは、実行されるテストを指定するプロトコルを保存するように編成されたデータベースに、前記出力画像に割り当てられた組織クラスのうちの少なくとも１つを含むクエリを提出することを含み、
前記方法は、組織クラスごとに、その組織クラスにつき保存されているプロトコルを参照して、前記組織サンプルに対して任意のさらなるテストを実行すべきかどうかを判別するステップと、実行される各さらなるテストの順序付けを生成するステップと、実行される各さらなるテストの順序付けを送信するステップと、をさらに含む、
方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、デジタルパソロジーデータを処理するための分散型人工知能（「ＡＩ」）処理システムに関するものであり、より具体的には、診断評価の前に生体組織サンプルから画像データを取得および処理するための自動化された事前診断ワークフローに関する。

【背景技術】

【0002】

デジタルパソロジーの分野では、畳み込みニューラルネットワーク（ＣＮＮ）およびその他の人工知能処理技術が、全スライド画像（ＷＳＩ）として仮想スライドに保存される乳癌およびその他の癌の組織学的画像の画像処理に注目されている。原理的には、組織学的画像を分析して腫瘍を同定するための自動ＡＩ処理方法は、手動で輪郭を描画するよりもはるかに高速で、より正確で再現性のある結果が得られるはずである。ＡＩおよびＣＮＮ処理機能は、クラウドコンピューティング環境などの分散ネットワークでホストして配信することができる。クラウドコンピューティングは、構成可能なコンピューティングリソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン、およびサービス）の共有プールへの便利なオンデマンドネットワークアクセスを可能にするサービス提供のモデルであり、最小限の管理作業またはサービスのプロバイダとのインタラクションにより、迅速にプロビジョニングおよびリリースされうる。したがって、かかるサービスのモデルをデジタルパソロジーの分野で組織学的画像データの処理に適応させることは興味深い課題である。

【0003】

生検などの生体組織サンプルの画像分析では、通常、組織サンプルを連続セクションと称される複数の隣接する薄い断面にスライスして、組織サンプル内の目的の構造を可視化する。連続セクションは通常、それぞれの顕微鏡スライドに取り付けられる。取り付けられた連続セクションの視覚的分析は、肉眼で（おおまかに）実行でき、従来の顕微鏡またはデジタル顕微鏡でより詳細に実行できる。組織サンプルのコヒーレントな、つまり連続的な連続セクションは、通常、組織学者、病理医、および他の関連する医療専門家によって相互に比較され、連続セクションを通じて同じ組織構造が同定され、位置特定される。各連続セクションは異なる染色で染色され、各染色は異なる組織型の異なる細胞または異なる細胞の特徴を強調表示するために異なる組織親和性を有している。例えば、病理医は、腫瘍を形成する癌細胞または前癌細胞のグループなど、目的の組織構造を同定して位置特定するのに役立つように、様々に染色された連続セクションを相互に比較することが多い。

【0004】

従来の手法では、病理医は、スライドガラスを顕微鏡下で観察することによりスライドを検査する。病理医はまず、低倍率の対物レンズでスライドを観察する。診断価値がある可能性が高い領域が観察された場合、病理医は、高倍率の対物レンズに切り替えて、その領域をより詳細に観察する。その後、病理医は低倍率に戻し、スライド上の他の領域の検査を続ける。スライドの組織サンプルに対する確定的かつ完全な診断が可能となるまで、低倍率－高倍率－低倍率の観察シーケンスがスライドまたは連続セクションのスライドのセット上で数回繰り返される場合がある。

【0005】

過去２０年間で、デジタルスキャナの導入により、この従来のワークフローが変化している（Ｍｏｌｉｎ ｅｔ ａｌ．（２０１５））。デジタルスキャナは、スライドガラス全体の画像、いわゆる全スライド画像（ＷＳＩ）を取得し、病理医を必要としない大部分が自動化されたプロセスにおいて、デジタル画像データファイルとしてＷＳＩを保存することができる。得られた画像データファイルは、通常、スライドデータベースに保存される。高解像度ディスプレイを備えた観察ワークステーションにいる病理医は、スライドデータベースからクリニカルネットワークを介して、これを利用することができる。当該ワークステーションは、この目的のためのビジュアライゼーションアプリケーションを有している。したがって、病理医はもはや顕微鏡で作業する必要はなく、クリニカルネットワークを介してスライドデータベースから事前に走査された画像にアクセスする。

【0006】

広く使用されている診断アプローチは、組織サンプルの第１の連続セクションをヘマトキシリンおよびエオシン（ｈｅｍａｔｏｘｙｌｉｎ ａｎｄ ｅｏｓｉｎ）で染色しており、これは、Ｈ＆Ｅ染色と称される。ヘマトキシリンおよびエオシンは、組織を補完的に染色する。すなわち、ヘマトキシリンは核に対して比較的高い親和性を有し、一方、エオシンは細胞質に対して比較的高い親和性を有する。Ｈ＆Ｅ染色された組織は、病理医に組織に関する重要なモルフォロジーおよび位置的情報を提供する。例えば、典型的なＨ＆Ｅ染色では、核は青黒色、細胞質は種々の色合いのピンク色、筋線維は濃いピンクがかった赤色、フィブリンは濃いピンク色、赤血球はオレンジ色／赤色に着色される。病理医は、Ｈ＆Ｅ染色組織から得られた位置（色など）情報を使用して、通常は特定のマーカーで免疫組織化学（ＩＨＣ）染色され、癌細胞および前癌細胞を着色する組織の連続する連続セクション上の対応する組織領域の位置を推定する。乳癌を例にとると、特定の遺伝子の発現に基づいて、乳癌に関与する組織型は、種々の分子サブタイプに分類できる。概して使用される分類スキームは、
１．ルミナルＡ型：ＥＲ＋、ＰＲ＋、ＨＥＲ２－
２．ルミナルＢ型：ＥＲ＋、ＰＲ－、ＨＥＲ２＋
３．トリプルネガティブ乳癌（ＴＮＢＣ）型：ＥＲ－、ＰＲ－、ＨＥＲ２－
４．ＨＥＲ２濃縮型：ＨＥＲ２＋、ＥＲ－、ＰＲ－
５．ノーマル－ｌｉｋｅ型
である。

【0007】

ＥＲはエストロゲン受容体の略である。ＰＲはプロゲステロン受容体の略である。ＨＥＲ２はヒト上皮成長因子受容体２の略である。上記の遺伝子の発現に特異的なＩＨＣ染色は、例として、ＨＥＲ２タンパク質（膜特異的マーカー）、Ｋｉ６７タンパク質（核特異的マーカー）、ＥＲおよびＰＲマーカーを含めて開発された。

【0008】

広く実践されているワークフローの１つは、病理医がＨ＆Ｅ染色を使用して、癌性が疑われる組織の初期診断を実行することである。Ｈ＆Ｅ染色されたセクションで癌性組織が明らかになった場合、病理医は、追加のテストを順序付けることができる。病理医が選択する特定の追加テストは、存在する癌の種類によって異なる。例えば、病理医がＨ＆Ｅスライドで浸潤性乳癌を検出した場合、ＨＥＲ２染色を順序付けて、癌をＨＥＲ２受容体を標的とするハーセプチンなどの薬剤で治療できるかどうかが判別されうる（Ｗｏｌｆｆ ｅｔ ａｌ．（２０１３））。特定の種類の癌またはＨ＆Ｅ染色画像からの癌の暫定診断に基づいて、実行する追加のテストを指定する標準プロトコルがある。これらのテストには、さらに連続したセクションを染色し、関連するマーカーおよびその連続セクションからの組織学的画像を取得することが含まれるが、これに限定されない。これらの追加テストの結果が利用可能になると、病理医は、Ｈ＆Ｅ染色画像と一緒に追加のテスト染色から新たに利用可能な画像をレビューし、診断を下す。

【0009】

このため、上記のような従来のシステムに見られる重大な問題を克服したシステムおよび方法が求められている。

【発明の概要】

【課題を解決するための手段】

【0010】

本開示の一態様によれば、分散型デジタルパソロジーシステムが提供される。システムは、組織学的画像またはその一部から画像データを処理するための人工知能処理アプリケーションのインスタンスを呼び出すように構成された人工知能処理モジュールを含む。システムは、人工知能処理モジュールに動作可能に接続可能であり、患者レコードに関連付けられた組織学的画像に対して画像処理タスクを実行するように動作可能なアプリケーションのインスタンスを呼び出すように構成されたアプリケーションモジュールをさらに含み、画像処理タスクは、人工知能要素を含み、アプリケーションインスタンスは、人工知能要素を処理するための処理ジョブを作成し、これらのジョブを処理のために人工知能処理インスタンスに送信し、人工知能処理モジュールから処理結果を受信するように構成されている。システムは、組織学的画像またはそのセットを含む患者データのレコードを保存するように構成されており、仮想スライドライブラリまたはデータベースなどの、患者データを交換するためにアプリケーションモジュールに動作可能に接続可能なデータリポジトリをさらに含みうる。

【0011】

幾つかの実施形態では、人工知能処理モジュールは、画像データの処理が完了した後、実用上可能な限り速く、受信した処理ジョブに含まれる画像データを迅速かつ永続的に削除するデータ保持ポリシーで構成されている。さらに、画像データは、例えばパケットベースの通信プロトコルを使用して、アプリケーションモジュールから人工知能処理モジュールに順次または非順次に送信されうるタイルのサブユニットに分割されうる。特定のＣＮＮアルゴリズムの場合のように、人工知能処理インスタンスがパッチ単位で画像データを処理するように構成されている場合、画像データは、パッチにマッピングされるタイル単位でアプリケーションモジュールから人工知能処理モジュールに提供されうる。例えば、タイルとパッチとの間に１対１のマッピング、多対１のマッピング、または隣接するパッチ間に重複する辺縁を提供するなど、より複雑なマッピングが存在する場合がある。データ保持ポリシーは、各パッチまたはタイルの処理後、実用上可能な限り速く、パッチごとまたはタイルごとの処理ジョブに含まれる画像データを迅速かつ永続的に削除するように構成されている。さらに、画像タイルは、アプリケーションモジュールによって他の画像からのタイルとシャッフルされる可能性があるため、アプリケーションモジュールと人工知能処理モジュールとの間の通信チャネルを盗み見た第三者には、完全な画像に見えるが、実際にはそうではない場合がある。

【0012】

幾つかの実施形態では、患者データは、画像データがメタデータから切り離されたときに画像データが匿名であるように、患者識別情報を画像データにリンクするメタデータをさらに含む。データリポジトリとアプリケーションモジュールとの間の通信は、画像データを患者識別情報にリンクするメタデータが、データリポジトリに保持され、処理ジョブの実行時にアプリケーションモジュールに送信されないように構成できる。これにより、アプリケーションモジュールによって受信された画像データが匿名化される。

【0013】

データリポジトリによって保持され、アプリケーションモジュールに送信されない可能性のあるメタデータには、スライドのバーコード、マクロ画像（つまり、高解像度タイルの方向付けに役立つスライド全体の低解像度の画像）、スライドの非組織領域に関連する画像データが含まれうる。このメタデータをアプリケーションモジュールから取り除くと、患者識別情報を推測できるような情報を抽出することが非常に困難になる。

【0014】

これらの措置により、データがデータリポジトリ（例えば仮想スライドライブラリなど）からアプリケーションモジュール、次に人工知能処理モジュールに移動するにつれて、データは次第に特定できなくなる。データリポジトリは、全ての情報にアクセスすることができる。アプリケーションモジュールは、患者データから導出された画像データとその他のパラメータのみを受信するが、患者データを明らかにすることはない。人工知能処理モジュールは、例えば、他の画像のタイルをシャッフルしたり、画像データの小さなサブセットのみが、常に人工知能処理モジュールに存在し、アプリケーションモジュールと人工知能処理モジュールとの間を移動していることを確認したりすることによって、情報コンテンツがさらに難読化される可能性のある画像タイルのみを受信する。

【0015】

幾つかの実施形態では、人工知能処理モジュールは、人工知能要素の処理を監視および記録するように動作可能な統計収集ユニットを含む。

【0016】

人工知能処理構成モジュールを提供することができ、このモジュールは、ユーザインタフェースおよび人工知能処理モジュールとのインタフェースを有し、これにより、ユーザが人工知能処理モジュール内の人工知能処理リソースを構成することを可能にする。

【0017】

アプリケーションモジュールは、アプリケーションモジュール内の内部のパフォーマンスと処理ジョブを伴う人工知能処理モジュールによるパフォーマンスとの間の画像処理タスクの人工知能要素の割り当てを決定するように動作可能な画像処理タスクアロケータをさらに含みうる。機械学習分類器などの人工知能タスクは、実行する場所を柔軟に決定することができるため、ローカルマシン、仮想マシン、またはＡｚｕｒｅ関数などのハードウェアを完全に抽象化するアプリケーションプログラミングインタフェース（ＡＰＩ）を介して実行することができる。これらの決定は、ユーザの設定および好み、ならびに特定の処理ジョブのタスク実行に必要な処理能力、および種々のコンピューティングリソースの可用性およびロードの自動推定に基づきうる。

【0018】

人工知能処理は、畳み込みニューラルネットワークに基づきうる。畳み込みニューラルネットワークは、完全な畳み込みニューラルネットワークでありうる。例えば、畳み込みニューラルネットワークは、組織学的画像から画像データ内の腫瘍を同定するように構成することができる。

【0019】

本開示の別の態様によれば、デジタルパソロジー画像処理方法が提供され、当該方法は、患者レコードに関連付けられた組織学的画像に対して画像処理を実行するリクエストを受信することと、それに応答して、組織学的画像に対して画像処理タスクを実行するように動作可能なアプリケーションのインスタンスを呼び出すことであって、画像処理タスクが、人工知能の要素を含む、ことと、人工知能要素を処理するために、人工知能処理アプリケーションの処理ジョブを作成することと、人工知能処理モジュールへの通信接続を確立することと、処理ジョブを人工知能処理モジュールに送信することと、人工知能処理モジュールから処理ジョブの結果を受信することと、画像処理タスクを完了することと、を含む。

【0020】

本開示の一態様によれば、検査情報システムまたは他のコンピュータネットワーク環境で実行されうるような、組織サンプルからのデータを処理する方法が提供され、当該方法は、
データリポジトリに保存された患者レコードから、組織サンプルのセクションの組織学的画像を畳み込みニューラルネットワークにロードすることであって、組織学的画像が、ピクセルの２次元アレイを含む、ことと、
畳み込みニューラルネットワーク（ＣＮＮ）を適用して、組織学的画像の２次元アレイに対するマッピングを有するピクセルの２次元アレイを有する出力画像を生成することであって、出力画像が、複数の組織クラスのうちの１つを各ピクセルに割り当てることによって生成され、複数の組織クラスが、非腫瘍組織を表す少なくとも１つのクラスおよび腫瘍組織を表す少なくとも１つのクラスを含む、ことと、
臨床的関連性のある組織クラスごとに、その組織クラスにつき保存されているプロトコルを参照して、例えば、検査情報システムに保存されうるかどうか、組織サンプルに対して任意のさらなるテストを実行すべきかどうかを判別することと、
実行されるさらなるテストごとに順序付けを作成および提出することと、
を含む。

【0021】

特定の実施形態では、任意のさらなるテストが実行される際に、そのテスト結果を患者レコードに保存することができる。

【0022】

提案している自動化されたワークフローを使用すると、例えば、病理医による、最初に提供されたＨ＆Ｅ（ヘマトキシリンおよびエオシン）画像（または未染色画像などの他の初期画像）の中間テストを排除することができる。これは、病理医の最初のレビューの時点で、Ｈ＆Ｅ画像を表示できるだけでなく、その結果、特に初期画像の自動ＣＮＮベースの画像処理に応答して実行された追加のテストからのさらなる画像も表示できるようになるためである。

【0023】

したがって、提案している、病理医による最初のレビューの前のワークフローの自動化により、生検から診断までの時間が短縮される。これは、デジタルＨ＆Ｅスライドまたは他の最初に走査された組織学的画像のコンピュータ自動ＣＮＮ処理が、デジタルスライドを取得した直後に実行できるためである。したがって、デジタルスキャナによって最初のデジタル画像（例えば、Ｈ＆Ｅ染色されたスライドの画像）が取得されてから、必要な追加のテストが順序付けられるまでの大幅な待機時間をなくすことができる。この待機時間は、従来のワークフローでは、病理医がＨ＆Ｅスライドをレビューできるようにする必要があるだけでなく、病理医によるＨ＆Ｅスライドのレビューが患者の予約にリンクされ、レビューがこの予約を待って、追加のテストがこの患者の予約中または予約直後にのみ順序付けされるようなワークフローが一般的であるため、非常に長くなりうるものであった。

【0024】

組織学的画像は、１つ以上のさらなる２次元ピクセルアレイを含んでもよく、したがって、幾つかの場合では、例えば、複数の染色の各々に１つ、または有限の深度の透明または半透明のサンプルを通して顕微鏡の焦点面をステップすることによって得られたサンプル（いわゆるｚスタック）の異なる深度の各々に１つなど、ピクセルの複数の２次元アレイを含みうる。ＣＮＮによって生成された出力画像はまた、ピクセルの１つ以上の２次元アレイを含む。ここで、（入力）組織学的画像と出力画像との間に定義されたマッピングが存在しており、これは１対１のマッピング、多対１のマッピング、または１対多のマッピングでありうる。ＣＮＮによって処理される組織学的画像はＨ＆Ｅ画像でありうる。ＣＮＮが適用される組織学的画像の特定の例であるＨ＆Ｅ画像では、ＣＮＮ処理は、腫瘍を発見し分類するアルゴリズムをＨ＆Ｅスライドに適用して、腫瘍組織および組織型が同定される。Ｈ＆Ｅスライドに、信頼できる診断が可能になる前に追加のテストが必要な組織型の腫瘍組織が含まれている場合、追加のテストは、ＣＮＮの出力を入力として受信する順序付けアルゴリズムによって、自動的に順序付けられる。Ｈ＆Ｅスライドのデジタルスキャン、ＣＮＮ処理およびそれに続く追加テストの順序付け、ならびに追加テストに関連する追加スライドのデジタルスキャンは、単一の自動ワークフローで単一のコンピュータプログラムによって調整できるため、検査情報システム、ならびに病院ネットワークなどのより広範な臨床ネットワーク、または研究所などの別の種類のコンピュータネットワークに統合できる。

【0025】

臨床的関連性のある組織クラスの少なくとも１つのピクセルがＣＮＮからの出力画像に存在する場合、フィルタは、その組織クラスのピクセルをスクリーニングするために適用され、ピクセルが有意に豊富に存在するかどうかを判別することができ、その組織クラスに対して任意のさらなるテストの順序が作成されるかどうかは、その組織クラスのピクセルが有意に豊富であると判別することを条件とする。

【0026】

自動的に順序付けられた追加のテストは、例えば、異なる染色またはマーカーで標識された同じサンプル由来のさらなる組織切片から１つ以上の追加の組織学的画像を取得することに関連してもよく、あるいは特定のクラスの腫瘍に関連するものとしてプロトコルによって想定される他の種類のテストであってもよい。マーカーは、ＥＲ（エストロゲン受容体）、ＰＲ（プロゲステロン受容体）、およびＨＥＲ２（ヒト上皮成長因子受容体２）の群から選択できる。組織学的画像および追加の組織学的画像をディスプレイに表示することができる。

【0027】

幾つかの実施形態では、各順序付けを作成および提出することは、その順序付けに承認が必要かどうかを確認し、承認がまだ提供されていない場合は、かかる承認を求めるようにユーザにリクエストを発行することを条件としてさらに行うことができる。

【0028】

それぞれの組織クラスに関連付けられた保存されたプロトコルは、データベースに編成することができる。次に、ＣＮＮによってサンプルで特定された組織クラスを少なくとも１つ含むデータベースクエリを提出することにより、さらにテストを実行するかどうかを判別することができる。任意のさらなるテストを実施するかどうかの判別は、かかるさらなるテストの結果がまだ利用可能でないことを確認するための患者レコードへの参照を条件として行うこともできる。

【0029】

ワークフローは、スライドスキャナの元の画像の取得と統合できる。例えば、ＣＮＮは、スライドスキャナによる画像取得の直後に適用されてもよい。スライドスキャナは、取得した画像を仮想スライドライブラリ、例えば病院または研究所のネットワークにあるデータベースに自動的に保存し、新規に取得した特定のタイプの画像をトリガして、自動テスト順序付け方法を実行することができる。

【0030】

本実装形態において、連続する各畳み込み段階では、次元が削減されるにつれて深度が増大するため、畳み込み層の深度は増大し、次元は削減される。また、連続する転置畳み込み段階では、次元が増大するにつれて深度が減少するため、逆畳み込み層の深度は減少し、次元は増大する。最終畳み込み層は、最大の深度および最小の次元を有する。畳み込み段階および逆畳み込み段階でそれぞれ深度が増大および減少するアプローチの代わりに、入力層と出力層とを除く全ての層が同じ深度を有するニューラルネットワークを設計することもできる。

【0031】

この方法はさらに、組織学的画像またはそのセットを確率マップとともにディスプレイ上に表示すること、例えば、その上にオーバレイして、または互いに並べて表示することを含みうる。確率マップを使用して、使用する免疫組織化学（ＩＨＣ）スコアリングアルゴリズムによってスコアリングする領域を判別できる。確率マップを使用して、例えば、病理医がＣＮＮによって生成された結果を評価するために、ディスプレイに表示されうる腫瘍細胞の周囲の等高線のセットを生成することもできる。

【0032】

ＣＮＮは、パッチで組織学的画像を入力として受信するように構成することができ、その場合、ＣＮＮは、対応するサイズのパッチを出力する。次に、出力画像パッチは、組織学的画像をカバーする確率マップにアセンブルされる。アセンブルするステップの後、確率マップは、データリポジトリ内のレコードに保存することができ、その結果、確率マップは、組織学的画像またはそのセットにリンクされる。

【0033】

特定の実施形態では、畳み込みニューラルネットワークは、１つ以上のスキップ接続を有する。各スキップ接続は、最終畳み込み層よりも大きな次元の畳み込み層のうちの少なくとも１つから中間結果を取得し、当該結果を、なし、１つ、または２つ以上でありうる、必要な数の転置畳み込みに供して、入力画像パッチにサイズが一致する少なくとも１つのさらなる復元された層を取得する。次に、これらは、各ピクセルに組織クラスを割り当てる該ステップの前に、上記の復元された層と組み合わされる。さらなる処理ステップでは、確率を再計算するために、復元された層をさらに復元された層の各々と組み合わせ、これによって、スキップ接続から得られた結果が考慮される。

【0034】

特定の実施形態では、ソフトマックス演算を使用して確率を生成する。

【0035】

組織学的画像から抽出された画像パッチは、画像の全領域をカバーすることができる。パッチは、重複しない画像タイル、またはマージン部分で重複して確率マップのつなぎ合わせを支援する画像タイルでありうる。ＣＮＮは固定サイズのピクセルアレイのみを受け入れるように設計されているため、各画像パッチは、ＣＮＮに一致する幅および高さの固定数のピクセルを有する必要があるが、このことは、各画像パッチが組織学的画像上の同じ物理的領域に対応する必要があることを意味するものではない。なぜなら、組織学的画像のピクセルは、より広い領域をカバーする低解像度のパッチに結合される可能性があるからである。例えば、隣接するピクセルの各２×２アレイを組み合わせて、１つの「スーパー」ピクセルとし、組織学的画像のネイティブ解像度で抽出されたパッチの物理的領域の４倍のパッチを形成することができる。

【0036】

本方法は、ＣＮＮが訓練された後、予測のために実行することができる。この訓練の目的は、層間接続に適切な重み値を割り当てることである。訓練の場合、使用されるレコードには、グラウンドトゥルースデータが含まれ、グラウンドトゥルースデータにより、組織学的画像またはそのセットの各ピクセルが組織クラスの１つに割り当てられる。グラウンドトゥルースデータは、専門の臨床医が十分な数の画像に注釈を付けることにより得られる。訓練は、ＣＮＮを繰り返し適用することによって実行され、各反復では、グラウンドトゥルースデータと出力画像パッチとの比較に基づいて重み値が調整される。本実装形態では、重みは、勾配降下法による訓練中に調整される。

【0037】

組織クラスの設定には種々の選択肢があるが、全ての実施形態でないにしても、大部分の実施形態では、非腫瘍組織と腫瘍組織との間でクラスが区別されることが共通している。非腫瘍組織クラスは、１つ、２つ、またはそれ以上のクラスを含みうる。組織が同定されない領域、すなわちスライド上の空白領域を表すクラスも存在しうる。これは、特に組織マイクロアレイサンプルに有効でありうる。腫瘍組織クラスはまた、１つ、２つ、またはそれ以上のクラスを含みうる。例えば、本実装形態では、３つの組織クラスがある。１つは非腫瘍組織クラス、２つは腫瘍組織クラスである。２つの腫瘍組織クラスは、浸潤性腫瘍クラスおよび非浸潤性腫瘍クラスである。

【0038】

幾つかの実施形態では、ＣＮＮは、一度に１つの組織学的画像に適用される。他の実施形態では、ＣＮＮは、組織の領域の異なって染色された隣接するセクションから取得された組織学的画像のセットを組み合わせることによって形成された合成組織学的画像に適用されうる。さらに別の実施形態では、ＣＮＮは、組織の領域の異なって染色された隣接するセクションから取得された画像のセットの画像の各々と並行して適用されうる。

【0039】

ＣＮＮの結果を用いて、本方法は、ピクセル分類および確率マップを参照してその分類から定義される腫瘍に基づくスコアリングプロセスを含むように拡張されうる。例えば、本方法は、確率マップに従って、腫瘍に対応する組織学的画像内の領域を画定することと、スコアリングアルゴリズムに従って各腫瘍をスコアリングして、各腫瘍にスコアを割り当てることと、スコアを、データリポジトリのレコードに保存することと、をさらに含みうる。したがって、スコアリングは、組織学的画像上で行われるが、確率マップによって腫瘍組織を含むと特定された領域に限定される。

【0040】

結果は、臨床医のディスプレイに表示されうる。すなわち、組織学的画像は、関連する確率マップとともに表示することができ、例えば、その上にオーバレイして、または互いに並べて表示することができる。腫瘍スコアは、例えば、腫瘍にテキストラベルを付けたり、腫瘍を指し示したり、画像の横に表示したりするなど、便利な方法で表示することもできる。

【0041】

本開示のさらなる一態様によれば、上記の方法を実行するための機械可読命令を有するコンピュータプログラム製品が提供される。

【0042】

本発明のさらに別の態様は、組織サンプルからのデータを処理するための、病院、診療所、研究所または調査施設などのコンピュータネットワークシステムに関し、当該システムは、
組織サンプルのセクションの組織学的画像を含む患者レコードを保存するように動作可能なデータリポジトリであって、組織学的画像が、ピクセルの２次元アレイを含む、データリポジトリと、
処理モジュールであって、患者レコードから組織学的画像を受信し、それに畳み込みニューラルネットワークを適用して、組織学的画像の２次元アレイに対するマッピングを有するピクセルの２次元アレイを有する出力画像を生成し、出力画像が、複数の組織クラスのうちの１つを各ピクセルに割り当てることによって生成され、複数の組織クラスが、非腫瘍組織を表す少なくとも１つのクラスおよび腫瘍組織を表す少なくとも１つのクラスを含むように構成されたコンピュータプログラムがロードされている、処理モジュールと、
テスト順序付けモジュールであって、
コンピュータネットワークシステムに保存されているその組織クラスのプロトコルを参照して、組織クラスのうちの少なくとも１つについて、組織サンプルに対して任意のさらなるテストを実行すべきかどうかを判別することと、
実行されるさらなるテストごとに、コンピュータネットワークシステム内で順序付けを作成および提出することと、
さらなるテストごとに、テスト結果を患者レコードに保存することと、を行うように構成されたコンピュータプログラムがロードされたテスト順序付けモジュールと、
を含む。

【0043】

特定の実施形態では、処理モジュールは、
データリポジトリに保存されたレコードから組織学的画像またはそのセットを受信するように動作可能な入力部と、
組織学的画像またはそのセットから画像パッチを抽出するように構成された前処理モジュールであって、画像パッチが、幅および高さのピクセル数によって定められるサイズを有する組織学的画像またはそのセットの領域部分である、前処理モジュールと、
重みのセットおよび複数のチャネルを有する畳み込みニューラルネットワークであって、各チャネルが、特定される複数の組織クラスの１つに対応し、組織クラスのうちの少なくとも１つが、非腫瘍組織を表し、組織クラスのうちの少なくとも１つが、腫瘍組織を表す、畳み込みニューラルネットワークと、を含み、畳み込みニューラルネットワークは、
各画像パッチを入力画像パッチとして入力として受信することと、
多段畳み込みを実行して、最小次元の最終畳み込み層までさらに次元削減された畳み込み層であって、最小次元の最終畳み込み層を含む、畳み込み層を生成し、続いて、多段転置畳み込みにより、入力画像パッチとサイズが一致する層が復元されるまで、さらに次元増大された逆畳み込み層を生成することにより、畳み込みを反転する多段転置畳み込みを実行することであって、復元された層の各ピクセルが、組織クラスの各々に属する確率を含む、ことと、
出力画像パッチに到達する該確率に基づいて、復元された層の各ピクセルに組織クラスを割り当てることと、
を行うように動作可能である。

【0044】

システムは、出力画像パッチを組織学的画像またはそのセットの確率マップにアセンブルするように構成された後処理モジュールをさらに含みうる。さらに、システムは、確率マップをデータリポジトリ内のレコードに保存するように動作可能な出力をさらに含んでもよく、その結果、確率マップは、組織学的画像またはそのセットにリンクされる。システムはさらに、組織学的画像またはそのセットおよび確率マップをディスプレイに送信するように動作可能なディスプレイおよびディスプレイ出力部を含んでもよく、その結果、組織学的画像は、確率マップとともに、例えば、その上にオーバレイして、または確率マップとともに表示される。

【0045】

システムは、組織学的画像またはそのセットを取得し、それらをデータリポジトリ内の記録に保存するように動作可能な顕微鏡などの画像取得装置をさらに含みうる。

【0046】

少なくとも幾つかの実施形態では、組織学的画像は、顕微鏡、特に光学顕微鏡によってセクション化された組織サンプルから撮影された２次元画像のデジタル表現であることが理解されよう。これは、従来の光学顕微鏡、共焦点顕微鏡、または未染色のもしくは染色された組織サンプルの組織学的画像を取得するのに適した他の種類の顕微鏡でありうる。組織学的画像のセットの場合、これらは、組織の領域の隣接するセクション（すなわちスライス）から撮影された一連の顕微鏡画像であってよく、各セクションは、異なって染色されていてよい。

【0047】

本発明の他の特徴および利点は、以下の詳細な説明および添付の図面を検討した後、当業者にはより容易に明らかになるであろう。

【0048】

本発明の構造および動作は、以下の詳細な説明および添付図面を検討することで理解され、ここで、同様の参照番号は、同様の部品を指す。

【図面の簡単な説明】

【0049】

【図1】本開示によるシステムの概要ブロック図である。

【図2】図１のシステム要素の一部、特にＡＩ処理モジュールおよびその構成モジュールをより詳細に示す。

【図3】図１のシステム要素の一部、特にデジタルパソロジーアプリケーションモジュールをより詳細に示す。

【図4】図３のデジタルパソロジーアプリケーションモジュールの入出力の詳細を示す。

【図5A】本発明の一実施形態で使用されるニューラルネットワークアーキテクチャの概略図である。

【図5B】図５Ａのニューラルネットワークアーキテクチャ内で、大域特徴マップおよび局所特徴マップがどのように組み合わされて、入力画像パッチ内の各ピクセルの個々のクラスを予測する特徴マップを生成するかを示す図である。

【図6A】生のデジタルパソロジー画像を示す図であり、当該画像は、動作中、カラー画像である。

【図6B】図６ＡのＣＮＮ予測を示す図であり、当該図面は、動作中、カラー画像である。ＣＮＮ予測画像は、非腫瘍領域（緑色）、浸潤性腫瘍領域（赤色）、および非浸潤性腫瘍（青色）を示している。

【図7A】入力ＲＧＢ画像パッチの例を示す図であり、当該図面は、動作中、カラー画像である。画像パッチは、病理医による浸潤性腫瘍の輪郭付け（赤色）を示し、さらにニューラルネットワークの予測（ピンク色および黄色）のオーバレイを示している。

【図7B】最終出力腫瘍確率ヒートマップを示す図であり、当該図面は、動作中、カラー画像である。ヒートマップは、ニューラルネットワークの予測のオーバレイを示している（それぞれ赤褐色および青色）。

【図8】ＣＮＮの訓練に含まれるステップを示すフロー図である。

【図9】ＣＮＮを使用した予測に含まれるステップを示すフロー図である。

【図10】本開示の一実施形態による方法のフロー図である。

【図11】図５Ａおよび図５Ｂのニューラルネットワークアーキテクチャの実装に含まれる計算を実行するために使用されうるＴＰＵのブロック図である。

【図12】本発明の実施形態と併せて使用することができる例示的なコンピュータネットワークを示す図である。

【図13】例えば、図１１のＴＰＵのホストコンピュータとして使用することができるコンピューティング装置のブロック図である。

【図14A】本明細書に記載の種々の実施形態に関連して使用されうる例示的なプロセッサ対応デバイス５５０を示すブロック図である。

【図14B】単一の線形アレイを有する例示的なラインスキャンカメラを示すブロック図である。

【図14C】３つの線形アレイを有する例示的なラインスキャンカメラを示すブロック図である。

【図14D】複数の線形アレイを有する例示的なラインスキャンカメラを示すブロック図である。

【発明を実施するための形態】

【0050】

以下の詳細な説明では、限定ではなく説明の目的で、本開示のより良い理解を提供するために特定の詳細が記載されている。本開示は、これらの特定の詳細から逸脱する他の実施形態で実施されうることが当業者には明らかであろう。

【0051】

図１は、本開示によるシステムの概要ブロック図である。システムは、各処理インスタンスへの人工知能（ＡＩ）処理機能の分配を容易にし、オーケストレーションする。システムは、処理インスタンスへのＡＩ処理ジョブの委任と、これらの処理ジョブからの結果データの受信とを管理できる。これには、結果データの一貫性のある完全な結果セットへの統合が含まれる。システムにより、ユーザによる独自のクラウド処理領域内の処理インスタンスのスループットおよび処理能力特性の構成がサポートされる。システムは、デジタルパソロジーアプリケーションの実行を開始するために使用されうるメカニズムを提供する。これには、ユーザが開始するメカニズム、および別のアプリケーションなどの外部イベントを介してトリガされるメカニズムが含まれる。

【0052】

システムは、より大規模なクリニカルネットワーク環境の一部でありうる検査情報システム（ＬＩＳ）、例えば、病院情報システム（ＨＩＳ）または画像保存通信システム（ＰＡＣＳ）を含む。ＬＩＳでは、ＷＳＩは、仮想スライドとしてデータベースに保持される。通常、データベースは、個々の患者の電子医療記録を含む患者情報データベースである。ＷＳＩは、スライドにマウントされた染色組織サンプルから取得される。ＷＳＩを取得する顕微鏡にはバーコードリーダが装備されているため、スライドには、ＷＳＩに適切なメタデータがタグ付けされたバーコードラベルが印刷される。ハードウェアの観点からは、ＬＩＳは、必要に応じて有線および無線接続を備えたローカルエリアネットワーク（ＬＡＮ）などの従来のコンピュータネットワークとなる。

【0053】

システムはさらに、１つ以上のデジタルパソロジーアプリケーションをホストするように構成されたデジタルパソロジーアプリケーションモジュールを含み、これは、本出願の文脈において、畳み込みニューラルネットワーク（ＣＮＮ）を使用するなどの人工知能（ＡＩ）処理に依存するデジタルパソロジーアプリケーションを含む。デジタルパソロジーアプリケーションモジュールは、ユーザインタフェースを備えており、これを介して、ユーザは、デジタルパソロジーアプリケーションモジュール上で実行されているデジタルパソロジーアプリケーションにタスクを割り当てることができる。

【0054】

システムは、ＡＩ処理モジュールをさらに含み、その例示的な腫瘍を発見するＣＮＮ機能は、以下でさらに詳細に説明される。ＡＩ処理モジュールはデジタルパソロジーアプリケーションモジュールと動作可能に接続されているため、ＡＩジョブをデジタルパソロジーアプリケーションモジュールからＡＩ処理モジュールに送信して処理し、ＡＩ処理結果とともにデジタルパソロジーアプリケーションモジュールに戻すことができる。ＡＩ処理モジュールは、リソースを構成するためのユーザインタフェースを有する。これにより、例えば、処理能力またはスループット構成によって指定されるように、ユーザはＡＩ処理能力を予約および構成できる。サービスモデルを参照して以下でさらに説明する。

【0055】

図２は、図１のシステム要素の一部、特にＡＩ処理モジュールをより詳細に示している。例えば、処理能力またはスループット構成によって指定されるように、ユーザおよびＡＩ処理モジュールの中間に、ユーザがＡＩ処理能力を予約および構成できるようにする、ＡＩ処理構成モジュールが提供されており、サービスモデルを参照して以下でさらに説明される。ユーザは、構成モジュールとのインタラクションを行って、ＡＩ処理モジュール内のユーザ領域を予約および管理できる。ここで、ユーザ領域には適切なセキュリティが提供され、ユーザ領域はユーザ専用でありうる。処理能力は、ユーザ専用に予約することも、他のユーザとのプール構成において予約することもできる。システムにより、各ユーザまたはユーザグループがクラウド上の独自の画像処理領域の実行特性を構成することが容易となる。ユーザが利用できる設定の選択肢として、
－各処理インスタンスの処理能力
－同時に実行または呼び出されうる処理インスタンスの数
－所与の時点で実行できる処理インスタンスの最大数
－期間ごとの最大実行時間（例えば、１時間あたり５時間の処理時間、１日あたり１００時間の処理時間など）
が挙げられる（ただし、これらに限定されるものではない）。

【0056】

３つのユーザ領域の例が概略的に示されており、それぞれに異なる数の処理インスタンスが予約されている。ユーザ領域の使用量およびスループットにより、ＡＩ処理モジュールの監視ユニットによって収集されうる統計データが生成される。ユーザ／ユーザグループの専用処理領域の処理特性に関する使用統計が収集される。かかる統計には、各処理インスタンスがアクティブで処理されている時間および期間に関するデータが含まれうる。使用統計には、患者データ、特に、患者の画像データ、実行の初期化、メタデータ、または症例を特定できるデータなど、個々の患者に起因するデータは含まれないことが想定されている。監視ユニットは、これらの統計を、定期的に、例えば毎月、編集および出力することができる。

【0057】

図３は、図１のシステム要素の一部、特に対応するモジュール上で実行されうるデジタルパソロジーアプリケーションインスタンスをより詳細に示している。アプリケーションの内部ワークフローの例を示す。デジタルパソロジーアプリケーションのインスタンスは、例えば、次の複数のメカニズム、すなわち
－ＵＩを介したアプリケーションモジュールとの直接的なユーザインタラクション
－アプリケーションモジュールのイベントからの内部トリガ
－ＬＩＳとのユーザインタラクション
－ＬＩＳの内部イベント
を介して開始できる。

【0058】

組織学的画像データなどの患者データは、以下のように入手することができる。アプリケーションの初期化時に、アプリケーションインスタンスがトリガされた条件に従ってデータ（画像データおよび必要なメタデータまたはその他の処理データの両方）が提供される。例えば、デジタルパソロジーアプリケーションモジュールからの分析トリガイベントでは、内部でデータを取得する必要がありうるが、ＬＩＳからの分析トリガイベントでは、ＬＩＳからデータを取得する必要がありうる。

【0059】

アプリケーションインスタンスには、包括的な患者データを提供する必要はない。通常、画像分析アプリケーションインスタンスは、画像データ自体を必要とし、場合によってはアプリケーション構成データのみを必要とする。アプリケーションは、画像データの特性を評価して、必要な画像処理を並列化する機会を特定することができる。ここで、当該処理には、ＡＩ処理ジョブが含まれうる。可能な並列処理は、様々な組織学的画像全体の処理、または組織学的画像の様々なサブセットの並列処理に基づきうる。サブセットは、画像タイル、またはマルチチャネル組織学的画像の場合はチャネルに基づきうる。蛍光ｉｎ ｓｉｔｕハイブリダイゼーション（ＦＩＳＨ）などの特定のプロトコルも並列化の機会を提供する可能性があり、ＦＩＳＨでは、核領域と信号の検出を並行して処理を行うことができる。ＡＩ処理モジュールに割り当てるためのＡＩ処理ジョブの準備において、アプリケーションは、そのジョブの処理を完了するためにＡＩ処理インスタンスによって必要とされるデータのみを選択することができる。不要なデータは処理ジョブから除外される。このようにして、ＡＩ処理ジョブのために収集されたデータセットから患者の機密データを省略できる。ＡＩ処理ジョブのために収集されたデータセットが患者の機密データを含む場合、ＡＩ処理ジョブは、ジョブをＡＩ処理インスタンスに送信する前に、かかるデータを匿名化、難読化、および／または暗号化するようにさらに修正されうる。処理インスタンスで実行できる並列化可能なジョブの数が使用可能な処理インスタンスの数を超える可能性があるため、アルゴリズムによって、クラウド処理の複数の反復が必要になる場合がある。このため、アルゴリズムは、プロセスインスタンスがジョブの処理を開始し、これらのジョブを完了して別のジョブで使用できるようになると、プロセスインスタンスへの多くの呼び出しをオーケストレーションする可能性がある。

【0060】

ジョブを処理するとき、各ＡＩ処理インスタンスがその処理データをアプリケーションモジュールに返すと、このデータは、デジタルパソロジーアプリケーション内のデータ統合ユニットによって統合される。これにより、デジタルパソロジーアプリケーションモジュール、ＬＩＳ、またはシステム内の他のモジュールなどでありうる、呼び出し元の関数に返す準備として、まとまりのある結果セット全体を構築することが容易になる。

【0061】

図４は、図３のデジタルパソロジーアプリケーションモジュールの入出力の詳細を示している。アプリケーションモジュールは、ユーザによって、画像処理を初期化するように構成することができる。アプリケーションインスタンスは、ユーザからのリクエスト、またはその他の外部または内部のリクエストソースに応答してロードできる。仮想スライドからの組織学的画像データは、ＬＩＳに保存され、アプリケーションモジュール内にも保存されて概略的に表示される。ＬＩＳからアプリケーションモジュールへの画像データの転送は、匿名化および／または暗号化することができる。上記のように、ユーザは、利用可能とする必要があるＡＩ処理インスタンスの数および処理能力を指定する機能を利用できる。ＡＩ処理インスタンスは、デジタルパソロジーアプリケーションインスタンスから新規に到着したＡＩ処理インスタンスデータを介して初期化されると、ジョブデータを復号化する。ＡＩ処理インスタンスは、データを処理し、呼び出し元の関数に返す。ＡＩ処理インスタンスは、データ保持ポリシーによって構成され、データ保持ポリシーは、受信したＡＩジョブに含まれる画像データおよびその他の潜在的に患者の機密データ、ならびにＡＩジョブが閉じられた後、実用上可能な限り速く、呼び出し元の関数に返送される出力データを即座に永続的に削除する。ただし、各処理インスタンスは、初期化された日時および処理に費やした時間に関するデータをコンパイルする。このデータはＡＩ処理モジュール内で照合され、ユーザおよびＡＩ処理モジュール管理者の両方の使用状況の統計的要約を提供してもよい。次に、アプリケーションインスタンスは、アプリケーションプロセスフローの指示に従って、ＡＩ処理ジョブ、またはＡＩ処理を含むより広範なタスクの結果を、内部または外部（ユーザもしくはＬＩＳなど）に出力できる。

【0062】

上記の拡張において、アプリケーションインスタンスは、データ入出力を標準化するためのコンテナを提供する非依存ラッパーにさらにカプセル化されてもよく、これにより、アプリケーションインスタンスを特定のデータ入力もしくは出力のフォーマットまたは標準に関連付けられないようにする。非依存ラッパーにより、アプリケーションインスタンスと外部要素との間のインタフェースが提供され、初期化、処理データの受け入れ、外部ＡＩ処理インスタンスとのインタラクション、ＡＩ処理データの返送などの外部機能が処理される。インタフェースで指定された入出力機能を利用する場合、非依存ラッパーは、データの入出力構造を標準化しながら、種々の初期化シナリオを容易にする。このシステムにより、多種多様な異なるクラウドアーキテクチャに存在しうる、外部でホストされるＡＩ処理インスタンスのセットアップおよび構成もサポートされる。非依存ラッパーは、初期化が可能であり、システム内で機能および処理することができ、システムにデータを返すことができる。これらは全て、システム内の定義されたアルゴリズムインタフェースを介して提供される構造内にある。本明細書で説明する非依存ラッパーにより、画像処理タスクを実行するために定義されたインタフェースの使用例が提供される。初期化は、非依存ラッパーおよびそれに含まれるアプリケーションインスタンスが実行されている環境に関するメタデータ、並列処理を使用する場合に使用される処理インスタンスのガイダンス、およびその他のメタデータを考慮して行われる。アプリケーションインスタンスからの出力データに基づいて実行する必要がありうる他の処理タスクに関するデータ、またはアプリケーションインスタンスからの出力に基づいて、非依存ラッパーに含まれるアプリケーションインスタンスによって呼び出されうる他のアプリケーションに関するデータも含まれうる。

【0063】

必要な入力データをアプリケーションインスタンスにルーティングできるようにするために、インタフェース機能「入力データをアプリケーションインスタンスに提供する」が提供される。システムにより、完成したアプリケーションインスタンスから新しいアプリケーションインスタンスの入力への出力データのルーティングが容易となる。このルーティングは、初期化中に２次、３次などのアプリケーションインスタンスを指定する機能と組み合わせて、アプリケーションインスタンスの「デイジーチェーン接続」を実現するために使用されうる。また、定義されたインタフェースにより、ＡＩ処理インスタンスへの処理データのエクスポートに使用されうる関数、ならびにＡＩ処理インスタンスから分析データを受信するために使用されうる関数が指定される。定義されたインタフェースは、ＡＩ処理の完了時にデータを送信できる「結果データの受信」機能を指定する。

【0064】

非依存ラッパー内にあり、アプリケーションインスタンスの外部にあるテスト決定ポイントは、アプリケーションインスタンス内のローカル処理が必要かどうか、またどの程度必要か、処理をＡＩ処理モジュールなどにアウトソーシングする必要があるかどうかを確認し、かつその程度を確認する。テスト決定ポイントにより、並列化可能なＡＩ処理ジョブの特定およびアウトソーシングも提供されうる。入力画像データの画像特性を評価したアルゴリズムは、ＡＩ処理モジュールに送信されるＡＩ処理ジョブを生成して実行することにより、画像処理のＡＩ要素を並列化する機会を特定することができる。非依存ラッパー（含まれているアプリケーションインスタンスを含む）が各処理ジョブを処理インスタンスに送信する準備として、非依存ラッパーは、ＡＩ処理インスタンスがそのジョブの処理を完了するために必要なデータを選択してもよく、すなわち、処理ジョブの実行に必要でないデータを含まないようにしてもよく、例えば、患者データおよびマクロ画像を省略してもよい。さらに、ＡＩ処理インスタンス宛てのデータは、ＡＩ処理インスタンスに送信する前に暗号化されうる。

【0065】

非依存ラッパーは、アプリケーションインスタンス内での処理の反復実行の可能性を提供する。ローカル処理および／または外部処理の反復を可能にするために、「追加の分析が必要か」という判別ポイントが存在する。必要な処理が完了すると、エクスポートの準備として「分析データアキュムレータ」からデータが収集される。初期化には、ピットＡＩ処理ジョブをＡＩ処理インスタンスに送信するときにユーザが使用しうるユーザ領域に関する情報が含まれうる。このようにして、ユーザは、アプリケーションインスタンスにタスクを実行させるように非依存ラッパーに指示し、アプリケーションインスタンスがＡＩ処理ジョブを送信できるＡＩ処理モジュールまたはインスタンスを指定することもできる。

【0066】

図１～図４を参照して説明されるシステムは、以下でさらに詳細に説明されるように、部分的または全体的にクラウドコンピューティング環境に実装されうることが理解されるであろう。さらに、上記のモジュールのいずれか、ならびにＬＩＳも、分散システム内のネットワークノードであるかまたはネットワークノードに関連付けられうることが理解されよう。

【0067】

ＡＩ処理モジュールの機能
ＡＩ処理モジュールによって提供および実行される可能性のあるＡＩ処理機能の一例は、畳み込みニューラルネットワーク（ＣＮＮ）である。ＣＮＮは、例えば、各画像ピクセルを非腫瘍クラスまたは複数の腫瘍クラスのうちの１つに分類するために、デジタルパソロジー組織学的画像における腫瘍発見のために設計されうる。以下では、例として、乳癌腫瘍について言及する。発明者らの例示的な実装形態におけるニューラルネットワークは、設計の点で、<http://www.robots.ox.ac.uk/^～vgg/research/very_deep/>で入手可能なＶＧＧ－１６アーキテクチャと類似しており、Ｓｉｍｏｎｙａｎ ａｎｄ Ｚｉｓｓｅｒｍａｎ（２０１４）により説明されている。その内容は全て、参照により本明細書に組み込まれている。浸潤性および非浸潤性乳癌細胞の核を自動的に検出して輪郭を描画するＣＮＮ腫瘍発見アプリケーションのコンテキストにおけるシステムの操作について説明する。この方法は、ＷＳＩなどの単一の入力画像、またはＷＳＩのセットなどの入力画像のセットに適用される。各入力画像は、ＷＳＩなどのデジタル化された組織学的画像である。入力画像のセットの場合、これらは隣接する組織切片の異なって染色された画像でありうる。染色という用語は、広く使用されており、バイオマーカーによる染色だけでなく、従来のコントラスト増強染色による染色も含む。ＣＮＮベースの腫瘍の自動の輪郭付けは、手動の輪郭付けよりもはるかに高速であるため、画像から選択した抽出タイルに手動で注釈を付すだけでなく、画像全体を処理することができる。したがって、自動化された腫瘍の輪郭付けにより、病理医は画像内の全ての腫瘍細胞の陽性（または陰性）割合を計算できるようになり、これにより、より正確で再現性のある結果が得られる。

【0068】

入力画像は、病理画像であり、本明細書の他の箇所でより詳細に説明されるように、複数の従来の染色のうちのいずれかで染色された画像である。ＣＮＮの場合、画像パッチは特定のピクセル寸法、例えば１２８×１２８、２５６×２５６、５１２×５１２、または１０２４×１０２４ピクセルで抽出される。画像パッチは任意のサイズであってよく、正方形である必要はないが、パッチの行および列のピクセル数は２ｎに一致し、ｎは正の整数であることが理解されよう。これは、かかる数値が、一般に、適切な単一ＣＰＵ（中央処理装置）、ＧＰＵ（グラフィックス処理装置）、ＴＰＵ（テンソル処理装置）、またはそのアレイによる直接のデジタル処理に適しているためである。

【0069】

「パッチ」は、ＷＳＩから取得された画像部分を指すために使用される専門用語であり、通常、正方形または長方形の形状であることに留意されたい。この点で、ＷＳＩには１０億以上のピクセル（ギガピクセル画像）が含まれうるため、画像処理は通常、ＣＮＮで処理するための管理可能なサイズ（例えば、約５００×５００ピクセル）のパッチに適用される。したがって、ＷＳＩは、パッチに分割し、ＣＮＮでパッチを分析し、出力（画像）パッチをＷＳＩと同じサイズの確率マップに再アセンブルすることに基づいて処理される。次に、確率マップを、例えば半透明に、ＷＳＩまたはその一部にオーバレイすることができ、その結果、病理画像および確率マップの両方を一緒に観察することができる。その意味で、確率マップは病理画像のオーバレイ画像として使用される。ＣＮＮによって分析されるパッチは、全て同じ倍率のものでありうるか、または異なる倍率、例えば５倍、２０倍、５０倍などの混合物を有しうるため、サンプル組織の異なるサイズの物理的領域に対応する。異なる倍率によって、これらは、ＷＳＩが取得された物理的倍率に対応することができ、あるいはより高倍率（すなわち、より高解像度）の物理的画像をデジタル的に縮小することで得られる有効倍率に対応することができる。

【0070】

病理学の最近の傾向として、畳み込みニューラルネットワーク（ＣＮＮ）法が研究上の関心を高めていることが挙げられる。組織学的画像から腫瘍を同定し診断する際に、ＣＮＮ法が、病理医と同等のまたはそれ以上の性能を発揮していることが報告されるようになってきている。

【0071】

Ｗａｎｇ ｅｔ ａｌ．（２０１６）では、乳癌のリンパ節への転移を検出するためのＣＮＮアプローチについて説明されている。

【0072】

米国特許出願公開第２０１５／２１３３０２号明細書では、癌性組織の領域で細胞の有糸分裂がどのように検出されるかが説明されている。ＣＮＮを訓練した後、有糸分裂カウントを実行する自動核検出システムに基づいて分類が実行され、有糸分裂カウントは、腫瘍の等級付けに使用されている。

【0073】

Ｈｏｕ ｅｔ ａｌ．（２０１６）では、脳癌および肺癌の画像処理が行われている。ＷＳＩの画像パッチが、パッチレベルＣＮＮによって与えられるパッチレベルの予測を行うために使用されている。

【0074】

Ｌｉｕ ｅｔ ａｌ．（２０１７）では、ギガピクセルの乳癌の組織学的画像から抽出された画像パッチをＣＮＮで処理し、画像内の全てのピクセルに腫瘍確率を割り当てることで、腫瘍が検出され、その位置が特定されている。

【0075】

Ｂｅｊｎｏｒｄｉ ｅｔ ａｌ．（２０１７）では、２つの積層ＣＮＮを適用して、ヘマトキシリンおよびエオシン（Ｈ＆Ｅ）染色で染色された乳房組織のＷＳＩから抽出された画像パッチの腫瘍が分類されている。その性能は、これらの病理画像での物体の検出およびセグメンテーションに適していることを示している。さらに、Ｂｅｊｎｏｒｄｉ ｅｔ ａｌ．は、乳癌サンプルに適用される他のＣＮＮベースの腫瘍分類方法の概要も提供していることに留意されたい（参考文献１０～１３を参照）。

【0076】

Ｅｓｔｅｖａ ｅｔ ａｌ．（２０１７）では、深層ＣＮＮを適用して皮膚病変が分析され、木構造分類に従って、病変が種々の悪性型、非悪性型および非腫瘍性型に分類されている。これには、悪性型の無色素性黒色腫、無色素性黒色腫および黒子黒色腫、ならびに非悪性型の青色母斑、ハロー母斑および蒙古斑が含まれている。皮膚病変（黒色腫など）の画像が、臨床クラス全体の確率分布に順次ワーピングされて、分類が実行される。

【0077】

Ｍｏｂａｄｅｒｓａｎｙ ｅｔ ａｌ．（２０１７）では、脳腫瘍と診断された患者の全生存率を予測する生存ＣＮＮに基づく計算方法が開示されている。患者の転帰を予測するために、組織生検による病理画像データ（組織学的画像データ）がモデルおよび患者固有のゲノムバイオマーカーに入力されている。この方法では、適応フィードバックを使用して、患者の転帰に関連する視覚パターンおよび分子バイオマーカーが同時に学習される。

【0078】

以下では、浸潤性および非浸潤性乳癌細胞の核を自動的に検出して輪郭を描画するＣＮＮベースのコンピュータ自動腫瘍発見法について説明する。この方法は、ＷＳＩなどの単一の入力画像、またはＷＳＩのセットなどの入力画像のセットに適用される。各入力画像は、ＷＳＩなどのデジタル化された組織学的画像である。入力画像のセットの場合、これらは隣接する組織切片の異なって染色された画像でありうる。染色という用語は、広く使用されており、バイオマーカーによる染色だけでなく、従来のコントラスト増強染色による染色も含む。

【0079】

コンピュータで自動化された腫瘍の輪郭付けは手動の輪郭付けよりもはるかに高速であるため、画像から選択した抽出タイルに手動で注釈を付すだけでなく、画像全体を処理することができる。したがって、提案している自動腫瘍輪郭付けにより、病理医は画像内の全ての腫瘍細胞の陽性（または陰性）割合を計算できるようになり、これにより、より正確で再現性のある結果が得られる。

【0080】

腫瘍の発見、輪郭付け、分類のために提案されたコンピュータ自動化方法は、畳み込みニューラルネットワーク（ＣＮＮ）を使用して、ＷＳＩ上の各核ピクセルを発見し、かかる各ピクセルを、本実装形態の乳房腫瘍クラスにおいて、非腫瘍クラスの１つと複数の腫瘍クラスの１つとに分類する。

【0081】

発明者らの実装形態におけるニューラルネットワークは、http://www.robots.ox.ac.uk/^～vgg/research/very_deep/で入手可能なＶＧＧ－１６アーキテクチャと設計が類似しており、Ｓｉｍｏｎｙａｎ ａｎｄ Ｚｉｓｓｅｒｍａｎ（２０１４）により説明されている。その内容は全て、参照により本明細書に組み込まれている。

【0082】

入力画像は、病理画像であり、本明細書の他の箇所でより詳細に説明されるように、複数の従来の染色のうちのいずれかで染色された画像である。ＣＮＮの場合、画像パッチは特定のピクセル寸法、例えば１２８×１２８、２５６×２５６、５１２×５１２、または１０２４×１０２４ピクセルで抽出される。画像パッチは任意のサイズであってよく、正方形である必要はないが、パッチの行および列のピクセル数は２ｎに一致し、ｎは正の整数であることが理解されよう。これは、かかる数値が、一般に、適切な単一ＣＰＵ（中央処理装置）、ＧＰＵ（グラフィックス処理装置）、ＴＰＵ（テンソル処理装置）、またはそのアレイによる直接のデジタル処理に適しているためである。

【0083】

図５Ａは、発明者らのニューラルネットワークアーキテクチャの概略図である。層Ｃ１，Ｃ２，．．．，Ｃ１０は畳み込み層である。層Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５およびＤ６は、転置畳み込み（つまり逆畳み込み）層である。特定の層を相互接続する線は、畳み込みＣ層と逆畳み込みＤ層との間のスキップ接続を示している。スキップ接続により、より次元が大きく深度が浅い層（「大きい」および「浅い」は、より低いインデックスの畳み込み層を意味する）の局所特徴を、最後の（つまり、最小、最深の）畳み込み層からの大域特徴と組み合わせることができる。これらのスキップ接続により、より正確なアウトラインが提供される。最大プール層は、その各々がパッチの幅および高さを２分の１に減らすために使用されており、層Ｃ２、Ｃ４およびＣ７の後に存在しているが、概略図には直接に示されておらず、パッチのサイズを結果的に小さくすることで暗示的に示されている。ニューラルネットワークの幾つかの実現形態では、最大プール層が１×１畳み込みに置き換えられ、完全な畳み込みネットワークになる。

【0084】

ニューラルネットワークの畳み込み部分は、順番に、入力層（ＲＧＢ入力画像パッチ）と、２つの畳み込み層Ｃ１、Ｃ２と、第１の最大プール層（図示せず）と、２つの畳み込み層Ｃ３、Ｃ４と、第２の最大プール層（図示せず）と、３つの畳み込み層Ｃ５、Ｃ６、Ｃ７と、第３の最大プール層（図示せず）とを有する。第２および第３の最大プール層からの出力は、それぞれ、層Ｃ５およびＣ８への通常の接続に加えて、スキップ接続を使用して逆畳み込み層に直接に接続される。

【0085】

次に、最後の畳み込み層Ｃ１０、第２の最大プール層（つまり、層Ｃ４の後の層）からの出力、および第３の最大プール層（つまり、層Ｃ７の後の層）からの出力は、それぞれ「逆畳み込み層」の個別のシーケンスに接続され、これらは、入力（画像）パッチと同じサイズにアップスケールされる。つまり、畳み込み特徴マップを、入力画像パッチと同じ幅および高さで、検出される組織クラスの数に等しい、すなわち非腫瘍型および１つ以上の腫瘍型に等しいチャネル数（つまり、特徴マップの数）を有する特徴マップに変換する。第２の最大プール層では、逆畳み込みの１つのステージのみが必要なため、層Ｄ６への直接のリンクが表示される。第３の最大プール層の場合、層Ｄ５に到達するには、中間逆畳み込み層Ｄ４を介して２段階の逆畳み込みが必要である。最も深い畳み込み層Ｃ１０の場合、Ｄ１およびＤ２を経由して層Ｄ３に至る３段階の逆畳み込みが必要である。結果は、入力パッチと同じサイズの３つのアレイＤ３、Ｄ５、Ｄ６である。

【0086】

図５Ａに示されているものを単純化したバージョンでは、おそらく性能は劣るものの、スキップ接続を省略することができ、この場合、Ｄ４、Ｄ５およびＤ６層は存在せず、出力パッチはＤ３層からのみ計算される。

【0087】

図５Ｂは、図５Ａのニューラルネットワークアーキテクチャにおける最終ステップがどのように実行されるかをより詳細に示している。すなわち、大域特徴マップ層Ｄ３および局所特徴マップ層Ｄ５、Ｄ６が組み合わされて、入力画像パッチの各ピクセルの個々のクラスを予測する特徴マップを生成している。具体的には、図５Ｂは、最後の３つの転置畳み込み層Ｄ３、Ｄ５、Ｄ６が腫瘍クラスの出力パッチにどのように処理されるかを示している。

【0088】

ここで、上記のアプローチが、デジタルパソロジーで現在使用されている既知のＣＮＮとどのように異なるかについて説明する。この既知のＣＮＮでは、複数の利用可能なクラスから選択された１つのクラスを各画像パッチに割り当てている。かかるタイプのＣＮＮの例として、Ｗａｎｇ ｅｔ ａｌ．（２０１６）、Ｌｉｕ ｅｔ ａｌ．（２０１７）、Ｃｒｕｚ－Ｒｏａ ｅｔ ａｌ．（２０１７）、Ｖａｎｄｅｎｂｅｒｇｈｅ ｅｔ ａｌ．（２０１７）の論文が挙げられる。ただし、ここで説明されているのは、所与の画像パッチ内で、複数の使用可能なクラスから選択された１つのクラスが全てのピクセルに割り当てられるということである。したがって、画像パッチごとに１つのクラスラベルを生成する代わりに、ニューラルネットワークは、所与のパッチの個々のピクセルごとにクラスラベルを出力している。発明者らの出力パッチは、入力パッチと１対１のピクセル間で対応しているため、出力パッチの各ピクセルには、複数の利用可能なクラスのうちの１つ（非腫瘍、腫瘍１、腫瘍２、腫瘍３など）が割り当てられている。

【0089】

かかる既知のＣＮＮでは、各パッチに単一のクラスを割り当てるために、一連の畳み込み層が使用され、その後に１つ以上の全結合層が続き、検出するクラスと同じ数の値を有する出力ベクトルが続いている。予測されるクラスは、出力ベクトルの最大値の位置によって求められる。

【0090】

訓練済みＣＮＮは、入力としてデジタルスライド画像からピクセルを取得し、各ピクセルの確率のベクトルを返す（Ｇｏｏｄｆｅｌｌｏｗ，Ｂｅｎｇｉｏ，ａｎｄ Ｃｏｕｒｖｉｌｌｅ（２０１６））。ベクトル長はＮであり、Ｎは、ＣＮＮが検出するように訓練されたクラスの数である。例えば、ＣＮＮが、浸潤性腫瘍、非浸潤性腫瘍、非腫瘍の３つのクラスを区別するように訓練されている場合、ベクトル長ｖは３になる。ベクトルの各座標は、ピクセルが特定のクラスに属する確率を示している。したがって、ｖ［０］は、ピクセルが浸潤性腫瘍クラスに属する確率、ｖ［１］は非浸潤性クラスに属する確率、ｖ［２］は非腫瘍クラスに属する確率を示すことができる。各ピクセルのクラスは、確率ベクトルから求められる。ピクセルをクラスに割り当てる単純な方法は、ピクセルを最も確率の高いクラスに割り当てることである。

【0091】

個々のピクセルのクラスを予測するために、ＣＮＮには、畳み込み層に続く異なるアーキテクチャが使用される。一連の全結合層の代わりに、一連の転置畳み込み層により畳み込み層が追跡される。全結合層は、このアーキテクチャから削除される。各転置層は、特徴マップの幅および高さを２倍にすると同時に、チャネル数を半分にする。このようにして、特徴マップは入力パッチのサイズにアップスケールされる。

【0092】

さらに、予測を改善するために、Ｌｏｎｇ ｅｔ ａｌ．（２０１５）に記載されているスキップ接続が使用され、その内容は全て、参照により本明細書に組み込まれている。

【0093】

スキップ接続により、より浅い特徴を使用して、最終畳み込み層Ｃ１０からのアップスケーリングによって行われる粗予測が改善される。図５Ａの層Ｄ５およびＤ６に含まれるスキップ接続からの局所特徴は、図５Ａの層Ｄ３に含まれる大域特徴を最終畳み込み層からアップスケーリングすることによって生成された特徴と連結される。次に、大域特徴層および局所特徴層Ｄ３、Ｄ５およびＤ６は、図５Ｂに示されるように、組み合わされた層に連結される。

【0094】

図５Ｂの連結された層から（またはスキップ接続が使用されない場合は最後の逆畳み込み層Ｄ３から直接に）、チャネルの数は、組み合わされた層の１×１畳み込みによってクラスの数と一致するように減少される。次に、この分類層でのソフトマックス演算により、結合された層の値が確率に変換される。出力パッチ層のサイズはＮ×Ｎ×Ｋであり、Ｎは入力パッチのピクセル単位の幅および高さ、Ｋは検出されているクラスの数である。したがって、画像パッチ内の任意のピクセルＰに対して、サイズＫの出力ベクトルＶが存在する。次に、対応するベクトルＶの最大値の位置によって、一意のクラスを各ピクセルＰに割り当てることができる。

【0095】

したがって、ＣＮＮは、各ピクセルを、非癌性または複数の異なる癌（腫瘍）タイプのうちの１つ以上に属するものとしてラベル付けする。特に関心のある癌は乳癌であるが、本方法は、膀胱癌、結腸癌、直腸癌、腎臓癌、血液（白血病）、子宮内膜癌、肺癌、肝臓癌、皮膚癌、膵臓癌、前立腺癌、脳癌、脊椎癌、甲状腺癌などの他の癌の組織学的画像にも適用可能である。

【0096】

発明者らの特定のニューラルネットワークの実装形態は、特定の固定ピクセル寸法を有する入力画像で動作するように構成されている。したがって、訓練および予測の両方の前処理ステップとして、Ｎ×Ｎ×ｎピクセルなどの目的のピクセル寸法を有するパッチがＷＳＩから抽出され、ここで、ＷＳＩが従来の可視光顕微鏡によって取得されたカラー画像であるとき、各物理的位置に３つの原色（通常はＲＧＢ）に関連付けられた３つのピクセルがある場合はｎ＝３となる（以下でさらに説明するように、２つ以上のカラーＷＳＩが組み合わされている場合、「ｎ」は合成ＷＳＩの数の３倍になりうる）。さらに、単一のモノクロＷＳＩの場合、「ｎ」の値は１になる。訓練を高速化するために、入力パッチもこの段階でセンタリングされ、正規化される。

【0097】

発明者らの好ましいアプローチは、ＷＳＩ全体、または少なくとも組織を含むＷＳＩの領域全体を処理することである。したがって、この場合のパッチは、少なくともＷＳＩの組織領域全体をカバーするタイルである。タイルは、オーバラップすることなく隣接している場合があり、あるいは例えば１、２、３、４、５、６、７、８、９、または１０ピクセル幅の重複するエッジマージン領域を有しているため、ＣＮＮの出力パッチを、不一致を考慮してつなぎ合わせることができる。しかしながら、発明者らのアプローチは、必要に応じて、従来技術のように、または病理医によって実行されるように、同じまたは異なる倍率であるＷＳＩ上のパッチのランダムサンプルに適用することもできる。

【0098】

発明者らのニューラルネットワークは、設計の点で、Ｓｉｍｏｎｙａｎ ａｎｄ Ｚｉｓｓｅｒｍａｎ（２０１４）のＶＧＧ－１６アーキテクチャに類似している。全ての畳み込みフィルタにおいて、非常に小さい３×３カーネルが使用される。最大プーリングは、２×２の小さなウィンドウおよび２のストライドで実行される。畳み込み層の後に一連の全結合層を有するＶＧＧ－１６アーキテクチャとは対照的に、発明者らは、畳み込み層の後に一連の「逆畳み込み」（より正確には転置畳み込み）のシーケンスを行い、セグメンテーションマスクを生成している。セマンティックセグメンテーションのためのこのタイプのアップサンプリングは、過去に、Ｌｏｎｇ ｅｔ ａｌ．（２０１５）によって自然画像処理に使用されており、その内容は全て、参照により本明細書に組み込まれている。

【0099】

各逆畳み込み層は、入力特徴マップを幅および高さの次元で２倍に拡大する。これにより、最大プール層の縮小効果が打ち消され、入力画像と同じサイズのクラス特徴マップが作成される。各畳み込み層および逆畳み込み層からの出力は、非線形アクティベーション層によって変換される。ここでは、非線形アクティベーション層は、整流関数ＲｅＬＵ（ｘ）＝ｍａｘ（０，ｘ）を使用している。必要に応じて、ＲｅＬＵ、リーキーＲｅＬＵ、ｅＬＵなどの種々のアクティベーション関数を使用できる。

【0100】

提案している方法は、任意の数の組織クラスに変更を加えることなく適用できる。その制約は、ニューラルネットワークで複製することが望ましい方法で分類された適切な訓練データの可用性にすぎない。さらなる乳房病変の例として、浸潤性小葉癌または浸潤性乳管癌が挙げられる。すなわち、前述の例の単一の浸潤性腫瘍クラスは、複数の浸潤性腫瘍クラスで置き換えることができる。ニューラルネットワークの精度は、ほとんどの場合、各クラスで使用可能な画像の数、クラスの類似性、およびメモリ制限に陥る前にニューラルネットワークをどれだけ深くすることができるかによって決まる。概して、クラスごとの画像の数が多い、ネットワークが深い、クラスが異なるなどの条件が揃うと、ネットワークの精度が高くなる。

【0101】

ソフトマックス回帰層（つまり、多項ロジスティック回帰層）がチャネルパッチの各々に適用され、特徴マップの値が確率に変換される。

【0102】

最終特徴マップのチャネルＣの位置（ｘ，ｙ）の値には、確率Ｐ（ｘ，ｙ）が含まれ、確率Ｐ（ｘ，ｙ）では、入力画像パッチの位置（ｘ，ｙ）のピクセルがチャネルＣによって検出された腫瘍型に属している。

【0103】

畳み込み層および逆畳み込み層の数は、必要に応じて増減されうる、ニューラルネットワークを実行するハードウェアのメモリ制限を受けることが理解されよう。

【0104】

ミニバッチ勾配降下法を使用してニューラルネットワークが訓練される。学習率は、指数関数的減衰を用いて、初期率０．１から減少する。Ｓｒｉｖａｓｔａｖａ ｅｔ ａｌ．（２０１４）［２０１７］によって説明されている「ドロップアウト」手順を使用することにより、ニューラルネットワークの過剰適合が防止されており、その内容は全て、参照により本明細書に組み込まれている。ネットワークの訓練は、利用可能な複数の深層学習フレームワークのいずれかを使用して、ＧＰＵ、ＣＰＵ、またはＦＰＧＡで実行できる。本実装形態では、Google Tensorflowを使用しているが、同じニューラルネットワークをMicrosoft CNTKなどの別の深層学習フレームワークに実装することもできる。

【0105】

ニューラルネットワークは、サイズＮ×Ｎ×Ｋの確率マップを出力する。ここで、Ｎは入力パッチのピクセル単位の幅および高さ、Ｋは検出されているクラスの数である。これらの出力パッチは、サイズＷ×Ｈ×Ｋの確率マップにステッチバックされ、ＷおよびＨは、パッチに分割される前の元のＷＳＩの幅および高さである。

【0106】

次に、ラベル画像の各位置（ｘ，ｙ）で最大確率でクラスインデックスを記録することにより、確率マップをＷ×Ｈラベル画像に折りたたむことができる。

【0107】

本実装形態では、ニューラルネットワークにより、全てのピクセルが３つのクラス（非腫瘍、浸潤性腫瘍、非浸潤性腫瘍）のいずれかに割り当てられる。

【0108】

複数の腫瘍クラスを使用する場合、出力画像を後処理して、非腫瘍および腫瘍のより単純なバイナリ分類にすることができる。つまり、複数の腫瘍クラスを組み合わせることができる。バイナリ分類は、ベースデータから画像を作成する際の選択肢として使用できるが、マルチクラスの腫瘍分類は保存データに保持される。

【0109】

本発明の特定の実装形態に関する上記の説明は、ＣＮＮを使用する特定のアプローチに集中しているが、発明者らのアプローチは、多種多様な異なるタイプの畳み込みニューラルネットワークで実装できることが理解されよう。概して、畳み込みを使用して複雑な特徴を検出し、その後転置畳み込み（「逆畳み込み」）を使用して特徴マップを入力画像の幅および高さにアップスケールするニューラルネットワークが適している。

【0110】

実施例１
図６Ａは、動作中のカラー画像であり、生の画像を示している。図６Ｂは、動作中のカラー画像であり、ＣＮＮによって生成されたピクセルレベルの予測を示している。

【0111】

図６Ａは、Ｈ＆Ｅ染色されたＷＳＩからのパッチであり、右下の象限にある大きな濃い紫色の細胞のクラスタは腫瘍であり、小さな濃い紫色の細胞はリンパ球である。

【0112】

図６Ｂは、ＣＮＮによって生成された腫瘍確率ヒートマップである。ピクセルレベルの予測のアプローチにより、滑らかな周囲の輪郭を有する領域が得られることがわかる。ヒートマップの場合、異なる（任意に選択された）色は異なるクラスを示す。つまり、非腫瘍の場合は緑色、第１の腫瘍型の場合は赤色、第２の腫瘍型の場合は青色で示されている。

【0113】

実施例２
図７Ａ～図７Ｂは、動作中のカラー画像であり、入力ＲＧＢ画像パッチ（図７Ａ）および最終出力腫瘍確率ヒートマップ（図７Ｂ）の例を示している。

【0114】

図７Ａはさらに、ニューラルネットワークの予測のオーバレイ（影付きのピンク色および黄色の領域）とともに、浸潤性腫瘍の病理医の手動の輪郭付（赤色の輪郭）を示している。

【0115】

図７Ｂは、ＣＮＮによって生成された腫瘍確率ヒートマップである。ヒートマップでは、異なる（任意に選択された）色は異なるクラスを示す。つまり、非腫瘍の場合は緑色、浸潤性腫瘍の場合は赤褐色（図７Ａに対応してピンク色で表示）、非浸潤性腫瘍の場合は青色（図７Ａに対応して黄色で表示）で示されている。繰り返しになるが、ピクセルレベルの予測のアプローチにより、滑らかな周囲の輪郭を有する領域が得られることがわかる。さらに、ＣＮＮの予測が、図７Ａに示される病理医の手動マーキングといかに適合しているかがわかる。さらに、ＣＮＮは、病理医によって実行されなかった浸潤性組織および非浸潤性（ｉｎ ｓｉｔｕ）組織をさらに区別する。これは、本質的には、組織を必要に応じて臨床的に関連する様々なタイプに分類するようにプログラムおよび訓練されうるマルチチャネルＣＮＮ設計の一部である。

【0116】

取得および画像処理
本方法では、組織サンプルがセクション化されていること、すなわちスライスされており、隣接するセクションが異なる染色で染色されていることが出発点となる。隣接するセクションは、セクションが薄いため非常に類似した組織構造を有しているが、異なる層であるため、同一ではない。

【0117】

例えば、５つの隣接するセクションがあり、それぞれがＥＲ、ＰＲ、ｐ５３、ＨＥＲ２、Ｈ＆ＥおよびＫｉ－６７などの異なる染色でありうる。次に、各セクションの顕微鏡画像が取得される。隣接するセクションは非常に類似した組織形状を有するが、染色によって、様々な特徴、例えば、核、細胞質、一般的なコントラスト強調による全ての特徴が強調表示される。

【0118】

次に、異なる画像が位置合わせ、ワーピング、または前処理されて、ある画像の所与の特徴の座標が他の画像の同じ特徴にマッピングされる。マッピングにより、わずかに異なる倍率、顕微鏡でのスライドの位置合わせの違いによる方向の違い、またはスライドへの組織スライスの取り付けなどの要因によって引き起こされる画像間の差異が処理される。

【0119】

異なって染色された隣接セクションを含むセットの異なるＷＳＩ間の座標マッピングにより、ＷＳＩを単一の合成ＷＳＩにマージすることができ、そこから合成パッチを抽出して、ＣＮＮによる処理が可能であることに留意されたい。かかる合成パッチの寸法はＮ×Ｎ×３ｍであり、「ｍ」は、セットを形成する合成ＷＳＩの数である。

【0120】

次に、標準的な画像処理が実行される。これらの画像処理ステップは、ＷＳＩレベルまたは個々の画像パッチのレベルで実行できる。ＣＮＮがカラー画像ではなくモノクロ画像で動作するように構成されている場合、画像はカラーからグレースケールに変換されうる。画像は、コントラスト強調フィルタを適用することによって変更できる。次に、画像のセット内の一般的な組織領域を特定するため、または単に組織に関係のない背景を除外するために、幾つかのセグメンテーションが実行されうる。セグメンテーションには、次の画像処理技術、すなわち
１．シード組織領域を特定するための分散ベースの分析
２．適応閾値処理
３．モルフォロジー演算（例えば、ブロブ分析）
４．輪郭特定
５．近接ヒューリスティックルールに基づく輪郭のマージ
６．不変画像モーメントの計算
７．エッジ抽出（例えば、ソーベル（Ｓｏｂｅｌ）エッジ検出）
８．曲率流フィルタリング
９．連続セクション間の強度変動を排除するためのヒストグラムマッチング
１０．多重解像度のリジッド／アフィン画像レジストレーション（勾配降下オプティマイザ）
１１．非剛体変位／変形
１２．スーパーピクセルクラスタリング
のうちのいずれかまたは全てが含まれうる。

【0121】

上記の種類の画像処理ステップがＷＳＩ上またはパッチ抽出後の個々のパッチ上で実行できることも理解されよう。幾つかの場合では、パッチ抽出の前後の両方で、つまりそれぞれＣＮＮ前処理およびＣＮＮ後処理として、同じタイプの画像処理を実行することが有効でありうる。つまり、一部の画像処理はパッチ抽出の前にＷＳＩで実行されてもよく、他の画像処理がＷＳＩからのパッチ抽出後に実行されてもよい。

【0122】

これらの画像処理ステップは例として説明されており、本発明の範囲を制限するものとして解釈されるべきではない。例えば、十分な処理能力が利用できる場合、ＣＮＮはカラー画像を直接操作できる。

【0123】

訓練および予測
図８は、ＣＮＮの訓練に含まれるステップを示すフロー図である。

【0124】

ステップＳ４０では、腫瘍を発見し、輪郭を描画し、分類するために臨床医によって注釈が付された処理用のＷＳＩを含む訓練データが取得される。臨床医の注釈は、グラウンドトゥルースデータを表している。

【0125】

ステップＳ４１では、ＷＳＩが、ＣＮＮの入力画像パッチである画像パッチに分解される。つまり、画像パッチが、ＷＳＩから抽出される。

【0126】

ステップＳ４２では、画像パッチが、上記のように前処理される（代替的にもしくは付加的に、ＷＳＩは、ステップＳ４１の前に上記のように前処理されうる）。

【0127】

ステップＳ４３では、ＣＮＮの重みすなわち層間の重みに対して初期値が設定される。

【0128】

図１Ａおよび図１Ｂを参照してさらに上述したように、ステップＳ４４では、入力画像パッチのバッチの各々はＣＮＮに入力され、ピクセルごとにパッチを発見し、輪郭を描画し、分類するために処理される。発明者らの方法は各腫瘍（または腫瘍型）ピクセルを特定するためのものであるため、本明細書の用語の概要は必ずしも厳密に技術的に正しい用語であるとは限らず、したがって、ＣＮＮにより各腫瘍型の腫瘍領域が求められると言う方がおそらくより正確である。

【0129】

ステップＳ４５では、ＣＮＮ出力画像パッチがグラウンドトゥルースデータと比較される。このことは、パッチごとに実行されうる。代替的にＷＳＩ全体をカバーするパッチが抽出されている場合、このことは、ＷＳＩレベルで、またはパッチの連続したバッチで構成されるＷＳＩのサブエリア（例えば、ＷＳＩの１つの象限）で実行されうる。かかる変形例では、出力画像パッチは、ＷＳＩ全体またはその隣接部分の確率マップに再アセンブルでき、確率マップは、例えば確率マップがＷＳＩへの半透明のオーバレイとしてディスプレイに表示される場合、コンピュータおよびユーザの両方によって、グラウンドトゥルースデータと視覚的に比較できる。

【0130】

次に、ステップＳ４６で、ＣＮＮは、この比較から学習を行い、例えば勾配降下法を用いてＣＮＮの重みを更新する。このようにして、学習は、図８にプロセスフローのリターンループによって示すように、訓練データの繰り返し処理にフィードバックされ、ＣＮＮの重みを最適化することができる。

【0131】

訓練後、ＣＮＮは、グラウンドトゥルースデータとは関係なくＷＳＩに適用できる。つまり、ＣＮＮは、予測のためにライブで使用できる。

【0132】

図９は、ＣＮＮを使用した予測に含まれるステップを示すフロー図である。

【0133】

ステップＳ５０では、例えば、検査情報システム（ＬＩＳ）または他の組織学的データリポジトリから、１つ以上のＷＳＩが処理のために取得される。ＷＳＩは、例えば上記のように前処理される。

【0134】

ステップＳ５１では、画像パッチが、ＷＳＩから、または各ＷＳＩから抽出される。パッチは、ＷＳＩ全体をカバーする場合もあれば、ランダムまたは非ランダムの選択である場合もある。

【0135】

ステップＳ５２では、画像パッチが例えば上記のように前処理される。

【0136】

図１Ａおよび図１Ｂを参照してさらに上述したように、ステップＳ５３では、入力画像パッチのバッチの各々はＣＮＮに入力され、ピクセルごとにパッチを発見し、輪郭を描画し、分類するために処理される。次に、出力パッチは、入力画像パッチが抽出されたＷＳＩの確率マップとして再アセンブルできる。確率マップは、例えば、確率マップが半透明のオーバレイとしてＷＳＩ上に表示されている場合、またはＷＳＩと並んで表示されている場合に、コンピュータ装置によるデジタル処理だけでなく、ユーザが視覚的にＷＳＩと比較することもできる。

【0137】

ステップＳ５４では、偽陽性である可能性が高い腫瘍、例えば、小さすぎる領域またはエッジアーチファクトである可能性がある領域を除外して、腫瘍領域がフィルタリングされる。

【0138】

ステップＳ５５では、スコアリングアルゴリズムが実行される。スコアリングは細胞特異的であり、スコアは腫瘍ごとに集計され、かつ／またはＷＳＩ（あるいはＷＳＩのサブエリア）についてさらに集計することができる。

【0139】

ステップＳ５６では、結果が、例えば適切な高解像度モニタ上に注釈付きＷＳＩを表示することによって、診断のために、病理医または他の関連する熟練した臨床医に提示される。

【0140】

ステップＳ５７では、ＣＮＮの結果、すなわち確率マップデータ、および任意ＣＮＮパラメータに関連するメタデータ、ならびに病理医によって追加された追加の診断情報が、ＣＮＮによって処理されたＷＳＩまたはＷＳＩのセットを含む患者データファイルにリンクされた方法で保存される。したがって、ＬＩＳまたはその他の組織学的データリポジトリ内の患者データファイルは、ＣＮＮの結果により補完される。

【0141】

追加テストの必要性の自動判別
図１０は、本開示の一実施形態によるワークフロー制御ソフトウェアによって提供されるフロー図である。

【0142】

ステップＳ７１では、スライドスキャナによって生成された可能性があるＷＳＩの画像データを含む画像データファイルが提供される。画像データファイルには、複数の画像が含まれていてよく、例えば、複数の染色の各々に１つ、または有限の深度の透明または半透明のサンプルを通して顕微鏡の焦点面をステップすることによって得られたサンプル（いわゆるｚスタック）の異なる深度の各々に１つの画像が含まれうることが理解されよう。現在のワークフローのコンテキストでは、例として、開始点は、Ｈ＆Ｅ染色画像、または同じＨ＆Ｅスライドからの画像のｚスタックを含む画像データファイルである。他の例では、ステップＳ７１で提供される初期画像または画像のセットは、染色されていないスライド、または他の適切な染色もしくは染色の組み合わせで染色されたスライドからのものでありうる。

【0143】

ステップＳ７２は、上記の例としてさらに説明したように、分散ベースの分析、適応閾値処理、モルフォロジー演算など、幾つかの画像前処理を実行しうる任意のステップである。

【0144】

ステップＳ７３では、特に図９のステップＳ５１～Ｓ５４を参照して説明したように、上記のＣＮＮが実行される。組織型のピクセルごとの分類を実行して腫瘍ピクセルをマーキングし、続いて、任意に、腫瘍（すなわち腫瘍領域）の輪郭を描画するためにセグメンテーションが実行される。

【0145】

組織型は、癌の種類による分類である。所望のセグメンテーションの場合、概して、隣接する腫瘍ピクセル、すなわち、互いに接触しているかまたは互いに近接しているピクセルが、共通の腫瘍に属していると考えられる。ただし、信頼性を向上させるために、例えば２つの異なる癌細胞分類に関連付けられた、異なるピクセル分類を有する２つの接触する腫瘍を同定するために、通常、より複雑なセグメンテーション基準が含まれている。ＣＮＮにより、各ピクセルに確率が割り当てられる。これは、ＣＮＮが検出するように訓練されたＮ個のクラスの各々に属するピクセルの確率を表す確率ベクトルである。例えば、浸潤性領域、非浸潤性領域、および非腫瘍領域を区別するように訓練されたＣＮＮの場合、各ピクセルには長さ３のベクトルが割り当てられる。位置ｋのピクセルは、確率ベクトル［０．１，０．２，０．７］を有してもよく、これは、ピクセルが浸潤性領域にある確率が１０％、非浸潤性領域にある確率が２０％、非腫瘍領域にある確率が７０％であることを示す。

【0146】

ステップＳ７４において、上記のＣＮＮが画像内の各ピクセルに確率ベクトルを割り当てたステップＳ７３の後に実行され、（例えば、セグメンテーションに関連して上記でさらに列挙された）従来の画像処理技術に基づく２次アルゴリズムは、各画像内の異なる腫瘍型のピクセルの存在および存在量を計算する。例えば、確率マップを１回通過させて、各ピクセルをそのクラスに割り当て、合計を計算して、各クラスのピクセルの数をＷＳＩのために計算することができる。クラス内のピクセル数がそのクラスの事前設定された有意な閾値を超えている場合、クラスによって表される腫瘍型は、組織サンプルに存在する、つまり診断的に有意な程度に存在するとみなされる。閾値は、種々の方法で指定できる。例えば、閾値は、特定の最小面積（または同等のピクセル数）として絶対的に定義してもよく、ＷＳＩ内の組織の割合として（つまり、ＷＳＩの非組織領域を無視して）相対的に定義してもよい。ＷＳＩの組織領域および非組織領域への細分化は、従来の画像処理に基づきうるか、上記と同様に機能するＣＮＮを使用する別の前処理アルゴリズムによって検出できる。代替的に、組織を非腫瘍性および複数の腫瘍型に分類する同じＣＮＮはまた、非組織クラスを含みうる。閾値は、セグメンテーションの結果を考慮して計算することもでき、例えば、特定のサイズ未満の腫瘍に配置されていないピクセルを無視したり、腫瘍全体が特定のクラスの腫瘍であると判別された場合にクラスに関係なく腫瘍内の全てのピクセルをカウントしたりする。このカウントは、どの組織クラスが存在し、腫瘍領域全体の絶対的または相対的な存在量を集計して計算することによって行われる。

【0147】

所与の組織クラスで有意な閾値を超えているかどうかを特定するためのより高度なアプローチは、多因子スコアリングに基づくアプローチである。例えば、ステップＳ７３で腫瘍を発見するＣＮＮによって生成されたデータ、つまり腫瘍固有のデータを使用して、セグメンテーションによって求められた各腫瘍の要約統計量のセットを計算できる。例えば、各腫瘍について、スコアは、その腫瘍（領域）に含まれる全てのピクセルについての上記の確率値の数学的平均として計算されうる。中央値、加重平均などの他の要約統計量もスコアの計算に使用できる。要約統計量のセットには、例えば、腫瘍内のピクセル数または腫瘍領域の形状によって測定される腫瘍領域、または浸潤性腫瘍および非浸潤性腫瘍などの特定のピクセル分類の有病率などの腫瘍の寸法属性またはモルフォロジー属性が含まれうる。通常、各腫瘍について、腫瘍の確率、腫瘍の面積、および腫瘍の最大寸法の長さの平均および標準偏差が含まれる。腫瘍領域は、必ずしも単一のスライドからの領域ではなく、別々のスライドに属していてもよい。例えば、２つのスライドの組織サンプルは異なる染色で染色され、異なるクラスの腫瘍細胞が強調表示されうるため、幾つかの腫瘍は第１のスライドで同定され、他の腫瘍は第２のスライドで同定される。

【0148】

さらに高度なスコアリングアプローチには、ＣＮＮ訓練データから導出された他のパラメータを含めることができる。例えば、組織学的画像データ（画像データで同定された腫瘍）と患者固有の遺伝子（ゲノム）データとの組み合わせで訓練されたＣＮＮを使用して、患者のリスクを予測することができる。この種のＣＮＮは、Ｍｏｂａｄｅｒｓａｎｙ ｅｔ ａｌ．（２０１８）によって説明されている。

【0149】

他の実装形態では、スコアは、ＣＮＮによって特定された腫瘍に適用される従来の画像処理技術を使用して計算できる。例えば、形状およびテクスチャの測定値を遺伝子データと組み合わせて、要約統計量に含める一連の統計測定値を作成できる。スコアは、患者の生存の重要性を示す複合スコア（５年生存率など）に基づく場合もあれば、単純な単一パラメータのランキングに基づく場合もある。例えば、面積または最大寸法などの腫瘍のサイズパラメータ、または真円度などのモルフォロジーパラメータに基づいてもよい。サポートベクターマシンまたはランダムフォレストアルゴリズムは、これらの特徴を使用して転移のリスクを予測することができる。いずれにせよ、転移リスクスコアが計算され、各腫瘍領域に関連付けられる。転移のリスクは、この腫瘍の細胞が身体の他の部分に転移する確率として定義される。ＷＳＩで同定された有意に存在する腫瘍型がリストとして返される。

【0150】

スコアリングを使用して所与の腫瘍型が有意な量で存在するかどうかを定義する代わりに、またはスコアリングを使用することと同様に、腫瘍のフィルタリングを適用することによって、重要でないと考えられる腫瘍、例えば非常に小さな腫瘍をフィルタにより除外することができる。フィルタリングは、例えば、上記の要約統計量に基づいていてもよい。フィルタにより、閾値、例えば、閾値５０％を超えた平均確率を有する、１００マイクロメートルを超える最大寸法を有する腫瘍のみを通過させることが選択されてもよい。

【0151】

ステップＳ７４において少なくとも１つの腫瘍型の組織クラスが臨床的に有意な量で存在することが特定された場合、プロセスフローは、ステップＳ７５に続く。

【0152】

ステップＳ７５では、ＷＳＩで同定された有意に存在する各腫瘍型、すなわちステップＳ７４の出力として返されるリスト内の各腫瘍型が、プロトコル定義を保存するデータベースで確認される。各プロトコルの定義は、腫瘍型を、その腫瘍型を含むサンプルで実行する必要があるテストまたは実行する可能性のあるテストにリンクしており、かつ任意に、かかる各テストを順序付けるために必要なパーミッションにもリンクしている。データベースは、テストを追加、削除、もしくは変更および／またはテストの順序に関連する可能性のあるパーミッション権限を変更するための適切な権限を有するユーザによって変更されうる。このユーザは、スーパーユーザまたは管理者の権限を有するユーザである。ステップＳ７４からの出力としてリストを適用することに基づくデータベースクエリは、生検の分析をさらに進めるために必要とされる追加のテストおよび関連する許可をリストするクエリ結果を返す。特定のテストの承認は、個々の順序付けに基づいて、例えば必要な権限を有するユーザによって、または包括的に付与されうるものであり、これにより、システムは特定のユーザパーミッションをフェッチする必要なしにかかるテストの順序付けを行うことができる。患者レコード内のポインタ内またはポインタを介してアクセス可能な患者のプロファイルも、パーミッションを推測するために参照されうる。ワークフロー制御ソフトウェアでのユーザの権限に従って、現在ログインしているユーザからのパーミッションが示唆される場合もある。

【0153】

必要な承認が存在する場合、例えば、承認が特定のテストの包括的パーミッションによって提供された場合、または適切な権限を有するユーザからフェッチされた場合、プロセスフローはステップＳ７７に進む。

【0154】

ステップＳ７７において、ワークフロー制御ソフトウェアは、例えば、ＬＩＳであるクリニカルネットワーク、具体的にはステップＳ７１～Ｓ７６で処理されたＷＳＩを含む患者レコードに接続される。

【0155】

ステップＳ７８において、ワークフロー制御ソフトウェアは、ステップＳ７６から出力されたテストの順序付けを作成し、実行する（ここでは、複数形の使用は便宜上のものであり、テスト順序が１つしかない可能性を排除するものではない）。例えば、システムはＨｅａｌｔｈ Ｌｅｖｅｌ－７（ＨＬ７）プロトコル（Ｋｕｓｈ ｅｔ ａｌ．（２００８））を使用してＬＩＳに接続し、そのテストの順序付けを提出してもよい。

【0156】

ステップＳ７９では、順序付けられたテストが実施される。順序付けを行うことで、例えば、１つ以上の新規スライドを準備するために、Ｈ＆Ｅスライドに使用されるセクションのうちの１つ以上の連続セクションに、タンパク質固有のマーカーなどの１つ以上の染色剤を適用する際の追加の手動実験作業がトリガされ、その後、新規スライドごとにＷＳＩが自動取得されうる。他の例では、追加のテストの実施は完全に自動化され、ワークフロー制御ソフトウェアの制御下で実行されうる。画像取得の後に、さらに自動化された新規スライドのＷＳＩの画像処理が続いてもよく、これには、必要に応じて、従来の画像処理および／またはＣＮＮベースの画像処理が含まれうる。さらに、各新規スライドのＷＳＩの画像処理は、Ｈ＆Ｅ ＷＳＩ、および場合によっては他の染色からの追加の新規スライドＷＳＩを参照して共同で行われる可能性が高いことが理解されよう。例えば、同じ生検からの連続セクションの異なるＷＳＩは、異なるＷＳＩ間のピクセルマッピングを生成するために適切なワーピング変換の助けを借りて合成されてもよい。

【0157】

ステップＳ７１０において、追加のテスト結果が、元の、すなわち最初のＨ＆Ｅ画像を含む生検記録に追加され、これには、特に、新しい染色を伴うＷＳＩと、その新しいＷＳＩでのその後の画像処理とが含まれる。

【0158】

ステップＳ７１１において、ステップＳ７５～Ｓ７９で特定され、順序付けられ、実行された追加のテストを含む患者レコードが、病理ビジュアライゼーションアプリケーションを実行している病理医のワークステーションにロードされる。この病理ビジュアライゼーションアプリケーションは、これは、スライド画像のビジュアライゼーションを生成し、ワークステーションの一部を形成する表示デバイスのグラフィカルユーザインタフェース（ＧＵＩ）ウィンドウでかかる各画像をユーザに表示するように動作可能である。通常、表示される画像は、オーバレイビューまたはマルチタイルビューの組み合わせのいずれかの形態になる。オーバレイビューでは、（処理される可能性がある）生データが組織型分類データ（通常はセグメンテーションデータと統合される）の上にオーバレイされて表示される。組織型分類データおよび／またはセグメンテーションデータは、ビジュアライゼーションのために各腫瘍のシェーディングおよび／または輪郭に変換することができる。例えば、輪郭は、セグメンテーションを表してもよく、シェーディングは、色または異なる種類のハッチングを使用して異なる組織クラスを表してもよい。特に、オーバレイ画像の場合、かかる組織クラスまたは腫瘍クラス固有のシェーディングおよび／または輪郭を組み込むことはビジュアライゼーションにとって有益であろう。組織の非腫瘍領域は、まったくマーキングされていなくてもよく、または透明度の高いカラーウォッシュ（グレーまたはブルーウォッシュなど）でシェーディングされてもよい。マルチタイルビューでは、オーバレイビューの種々の層がタイルとして並べて表示されるため、フィルタリングされた腫瘍領域の（処理済みの可能性がある）生の画像データおよび組織型の分類データを示すタイルおよび／またはセグメンテーションデータを示すタイルが表示される。必要に応じて、組織型または腫瘍型の分類ごとに個別のタイルを表示できる。ビジュアライゼーションはまた、特定の染色でテストされたものとは異なり、その組織クラスに特に関連する染色で特にテストされていない組織クラスの腫瘍を提示することができる。例えば、灰色のシェーディングまたはアウトラインなどのモノクロは、テストされていないタイプの腫瘍クラスに関連する腫瘍に使用されてもよく、テストされたタイプの腫瘍クラスにはそれぞれの色が使用されてもよい。

【0159】

要約すると、ＣＮＮでは、組織学的画像を処理して、画像ピクセルを、腫瘍組織の１つ以上のクラス複数の組織クラスの１つに属するものとして分類することにより、腫瘍が同定される。その後のテストの必要性は、ＣＮＮによって画像で検出された組織クラスに基づいて、組織クラス固有のプロトコルを参照して判別される。かかる決定された後続テストごとに、テスト情報システム内で順序付けが自動的に作成され、提出される。この自動化されたワークフローにより、病理医による最初のレビュー時に、患者レコードには基本的な組織学的画像（ＣＮＮによってレビューされたもの）だけでなく、ＣＮＮ分析の結果として自動的に順序付けられた追加のテストの結果も含まれることが保証される。

【0160】

ＣＮＮコンピューティングプラットフォーム
提案している画像処理は、多種多様なコンピューティングアーキテクチャ、特に、ＣＰＵ、ＧＰＵ、ＴＰＵ、ＦＰＧＡ、および／またはＡＳＩＣに基づくニューラルネットワーク用に最適化されたコンピューティングアーキテクチャで実行されうる。幾つかの実施形態では、ニューラルネットワークは、テスラＫ８０ ＧＰＵなどの、カリフォルニア州サンタクララ在のNvidia CorporationのNvidia ＧＰＵ上で実行されるGoogleのTensorflowソフトウェアライブラリを使用して実装される。他の実施形態では、ニューラルネットワークは、汎用ＣＰＵ上で実行することができる。より高速な処理は、ＣＮＮ計算を実行するための目的に合わせて設計されたプロセッサ、例えば、Ｊｏｕｐｐｉ ｅｔ ａｌ．（２０１７）に開示されたＴＰＵによって得ることができ、その内容は全て、参照により本明細書に組み込まれている。

【0161】

図１１は、Ｊｏｕｐｐｉ ｅｔ ａｌ．（２０１７）のＴＰＵを示しており、Ｊｏｕｐｐｉの図１を簡略化したものである。ＴＰＵ１００は、２５６×２５６ＭＡＣを含む収縮行列乗算ユニット（ＭＭＵ）１０２を有しており、この２５６×２５６ＭＡＣにより、符号付きまたは符号なし整数に対する８ビットの乗算および加算が実行されうる。ＭＭＵの重みは、重みＦＩＦＯバッファ１０４を介して供給され、次に、適切なメモリインタフェース１０８を介して、オフチップ８ＧＢ ＤＲＡＭの形態で、メモリ１０６から重みを読み取る。中間結果を保存するために、統合バッファ（ＵＢ）１１０が提供される。ＭＭＵ１０２は、重みＦＩＦＯインタフェース１０４およびＵＢ１１０からの入力を（収縮期データセットアップユニット１１２を介して）受信し、ＭＭＵ処理の１６ビット積をアキュムレータユニット１１４に出力するように接続されている。起動ユニット１１６は、アキュムレータユニット１１４に保持されているデータに対して非線形な機能を実行する。正規化ユニット１１８およびプーリングユニット１２０によるさらなる処理の後、中間結果は、データセットアップユニット１１２を介してＭＭＵ１０２に再供給するためにＵＢ１１０に送信される。プーリングユニット１２０は、必要に応じて、最大プーリング（すなわち、マックスプーリング）または平均プーリングを実行することができる。プログラム可能なＤＭＡコントローラ１２２は、ＴＰＵのホストコンピュータおよびＵＢ１１０との間でデータを転送する。ＴＰＵ命令は、ホストインタフェース１２４および命令バッファ１２６を介して、ホストコンピュータからコントローラ１２２に送信される。

【0162】

ニューラルネットワークを実行するために使用される計算能力は、ＣＰＵ、ＧＰＵ、またはＴＰＵのいずれに基づくものであっても、例えば後述するクリニカルネットワークでローカルにホストされうるものであり、またはデータセンタでリモートでホストされうるものであることが理解されよう。

【0163】

ネットワークおよびコンピューティングおよびスキャン環境
提案しているコンピュータ自動化方法は、より大きなクリニカルネットワーク環境の一部である検査情報システム（ＬＩＳ）、例えば、病院情報システム（ＨＩＳ）または画像アーカイブおよび通信システム（ＰＡＣＳ）などのコンテキストで動作する。ＬＩＳでは、ＷＳＩは、データベース、通常は個々の患者の電子医療記録を含む患者情報データベースに保持される。ＷＳＩは、スライドにマウントされた染色組織サンプルから取得される。ＷＳＩを取得する顕微鏡にはバーコードリーダが装備されているため、スライドには、ＷＳＩに適切なメタデータがタグ付けされたバーコードラベルが印刷される。ハードウェアの観点からは、ＬＩＳは、必要に応じて有線および無線接続を備えたローカルエリアネットワーク（ＬＡＮ）などの従来のコンピュータネットワークとなる。

【0164】

図１２は、本発明の実施形態と併せて使用することができる例示的なコンピュータネットワークを示す図である。ネットワーク１５０は、病院１５２内のＬＡＮを含む。病院１５２は、複数のワークステーション１５４を備えており、複数のワークステーション１５４は、それぞれがローカルエリアネットワークを介して、関連するストレージデバイス１５８を有する病院コンピュータサーバ１５６にアクセスすることができる。ＬＩＳ、ＨＩＳまたはＰＡＣＳアーカイブは、ストレージデバイス１５８に保存され、これにより、アーカイブ内のデータは、任意のワークステーション１５４からアクセスすることができる。ワークステーション１５４のうちの１つ以上は、グラフィックカードおよびソフトウェアにアクセスして、前述の画像生成方法をコンピュータで実装することができる。ソフトウェアは、または各ワークステーション１５４にローカルに保存可能であるか、またはリモートにて保存可能であり、必要に応じてネットワーク１５０を介してワークステーション１５４にダウンロードされうる。他の例では、本発明を具現化する方法は、端末として動作するワークステーション１５４を備えたコンピュータサーバ上で実行されうる。例えば、ワークステーションは、所望の組織学的画像データセットを定義するユーザ入力を受信し、ＣＮＮ分析がシステムの他の場所で実行されている間、結果の画像を表示するように構成されうる。また、複数の組織学的および他の医療撮像デバイス１６０、１６２、１６４、１６６が、病院のコンピュータサーバ１５６に接続されている。デバイス１６０、１６２、１６４、１６６で収集された画像データは、ストレージデバイス１５６上のＬＩＳ、ＨＩＳ、またはＰＡＣＳアーカイブに直接に保存することができる。したがって、組織学的画像は、対応する組織学的画像データが記録された直後に観察および処理することができる。ローカルエリアネットワークは、病院のインターネットサーバ１７０によってインターネット１６８に接続されており、これにより、ＬＩＳ、ＨＩＳ、またはＰＡＣＳアーカイブへのリモートアクセスが可能になる。これは、データへのリモートアクセスや、例えば患者が移動した場合などに病院間でデータを転送したり、外部調査を実施したりする場合に役立つ。

【0165】

図１３は、本明細書に記載の種々の実施形態に関連して使用されうる例示的なコンピューティング装置５００を示すブロック図である。例えば、コンピューティング装置５００は、上記のＬＩＳまたはＰＡＣＳシステムにおけるコンピューティングノード、例えば、適切なＧＰＵ、または図１１に示されるＴＰＵと組み合わせてＣＮＮ処理が実行されるホストコンピュータとして使用されてもよい。

【0166】

コンピューティング装置５００は、サーバまたは任意の従来のパーソナルコンピュータ、あるいは有線または無線のデータ通信が可能な他の任意のプロセッサ対応デバイスでありうる。当業者には明らかであるように、有線または無線のデータ通信が不可能なデバイスを含む、他のコンピューティング装置、システム、および／またはアーキテクチャも使用することができる。

【0167】

コンピューティング装置５００は、好ましくは、プロセッサ５１０などの１つ以上のプロセッサを含む。プロセッサ５１０は、例えば、ＣＰＵ、ＧＰＵ、ＴＰＵ、またはアレイ、あるいはこれらの組み合わせであってよく、例えば、ＣＰＵとＴＰＵとの組み合わせ、またはＣＰＵとＧＰＵとの組み合わせであってよい。入出力を管理するための補助プロセッサ、浮動小数点数学演算を実行するための補助プロセッサ（例えば、ＴＰＵ）、信号処理アルゴリズム（デジタルシグナルプロセッサ、イメージプロセッサなど）の高速実行に適したアーキテクチャを備えた専用マイクロプロセッサ、メイン処理システムに従属するスレーブプロセッサ（バックエンドプロセッサなど）、デュアルもしくはマルチプロセッサシステム用の追加のマイクロプロセッサもしくはコントローラ、またはコプロセッサなどの追加のプロセッサを提供することができる。かかる補助プロセッサは、個別のプロセッサでありうるか、またはプロセッサ５１０と統合されうる。コンピューティング装置５００で使用できるＣＰＵの例は、Ｐｅｎｔｉｕｍプロセッサ、Ｃｏｒｅ ｉ７プロセッサ、およびＸｅｏｎプロセッサであり、これらは全て、カリフォルニア州サンタクララ在のインテルコーポレーションから市販されている。コンピューティング装置５００で使用されうるＧＰＵの例は、カリフォルニア州サンタクララ在のNvidia CorporationのテスラＫ８０ ＧＰＵである。

【0168】

プロセッサ５１０は、通信バス５０５に接続されている。通信バス５０５には、ストレージとコンピューティング装置５００の他の周辺コンポーネントとの間の情報転送を容易にするためのデータチャネルが含まれうる。通信バス５０５はさらに、プロセッサ５１０との通信に使用される信号のセットを提供することができ、これには、データバス、アドレスバス、および制御バス（図示せず）が含まれる。通信バス５０５には、任意の標準または非標準バスアーキテクチャが含まれていてよく、例えば業界標準アーキテクチャ（ＩＳＡ）、拡張業界標準アーキテクチャ（ＥＩＳＡ）に準拠するバスアーキテクチャなど、マイクロチャネルアーキテクチャ（ＭＣＡ）、周辺コンポーネントインタコネクト（ＰＣＩ）ローカルバス、またはＩＥＥＥ４８８汎用インタフェースバス（ＧＰＩＢ）、ＩＥＥＥ６９６／Ｓ－１００などを含む、米国電気電子学会（ＩＥＥＥ）によって公布された規格が含まれていてよい。

【0169】

コンピューティング装置５００は、好ましくはメインメモリ５１５を含み、セカンダリメモリ５２０も含みうる。メインメモリ５１５は、上記で論じた機能および／またはモジュールのうちの１つ以上など、プロセッサ５１０上で実行されるプログラムのための命令およびデータの記憶を提供する。メモリに保存され、プロセッサ５１０によって実行されるコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路の構成データ、もしくはＳｍａｌｌｔａｌｋ、Ｃ／Ｃ＋＋、Ｊａｖａ、ＪａｖａＳｃｒｉｐｔ、Ｐｅｒｌ、ＶｉｓｕａｌＢａｓｉｃ．ＮＥＴなどを含むがこれらに限定されない１つ以上のプログラミング言語の任意の組み合わせで記述および／またはコンパイルされたソースコードまたはオブジェクトコードのいずれかでありうることを理解されたい。メインメモリ５１５は、典型的には、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）および／または静的ランダムアクセスメモリ（ＳＲＡＭ）などの半導体ベースのメモリである。他の半導体ベースのメモリタイプには、例えば、同期動的ランダムアクセスメモリ（ＳＤＲＡＭ）、ランバス動的ランダムアクセスメモリ（ＲＤＲＡＭ）、強誘電体ランダムアクセスメモリ（ＦＲＡＭ）などが含まれ、読み取り専用メモリ（ＲＯＭ）が含まれる。

【0170】

コンピュータ可読プログラム命令は、スタンドアロンソフトウェアパッケージとして、完全にユーザのコンピュータ上で、一部はユーザのコンピュータ上で実行可能であり、一部はユーザのコンピュータ上で、一部はリモートコンピュータ上で、または完全にリモートコンピュータもしくはサーバ上で実行されうる。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続可能であり、または（例えば、インターネットサービスプロバイダを使用したインターネット経由で）外部コンピュータに接続可能である。

【0171】

セカンダリメモリ５２０は、任意に、内部メモリ５２５および／またはリムーバブル媒体５３０を含みうる。リムーバブル媒体５３０は、任意の周知の方法で読み取られ、かつ／または書き込まれる。リムーバブル記憶媒体５３０は、例えば、磁気テープドライブ、コンパクトディスク（ＣＤ）ドライブ、デジタル多用途ディスク（ＤＶＤ）ドライブ、他の光学ドライブ、フラッシュメモリドライブなどであってもよい。

【0172】

リムーバブル記憶媒体５３０は、非一時的コンピュータ可読媒体であり、コンピュータ実行可能コード（すなわち、ソフトウェア）および／またはデータがその上に保存されている。リムーバブル記憶媒体５３０に保存されたコンピュータソフトウェアまたはデータは、プロセッサ５１０による実行のためにコンピューティング装置５００に読み込まれる。

【0173】

セカンダリメモリ５２０には、コンピュータプログラムまたは他のデータもしくは命令をコンピューティング装置５００にロードすることを可能にするための他の同様の要素が含まれうる。かかる手段には、例えば、外部記憶媒体５４５および通信インタフェース５４０が含まれていてよく、これにより、ソフトウェアおよびデータが外部記憶媒体５４５からコンピューティング装置５００に転送されることが可能となる。外部記憶媒体５４５の例として、外付けハードディスクドライブ、外付け光学ドライブ、外付け光磁気ドライブなどが挙げられる。セカンダリメモリ５２０の他の例として、プログラム可能な読み取り専用メモリ（ＰＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、またはフラッシュメモリ（ＥＥＰＲＯＭと類似のブロック指向のメモリ）などの半導体ベースのメモリが挙げられる。

【0174】

上記のように、コンピューティング装置５００は、通信インタフェース５４０を含みうる。通信インタフェース５４０により、ソフトウェアおよびデータが、コンピューティング装置５００と外部デバイス（例えば、プリンタ）、ネットワーク、または他の情報源との間で転送されることが可能となる。例えば、コンピュータソフトウェアまたは実行可能コードは、通信インタフェース５４０を介してネットワークサーバからコンピューティング装置５００に転送されうる。通信インタフェース５４０の例として、内蔵ネットワークアダプタ、ネットワークインタフェースカード（ＮＩＣ）、パーソナルコンピュータメモリカード国際協会（ＰＣＭＣＩＡ）ネットワークカード、カードバスネットワークアダプタ、ワイヤレスネットワークアダプタ、ユニバーサルシリアルバス（ＵＳＢ）ネットワークアダプタ、モデム、ネットワークインタフェースカード（ＮＩＣ）、ワイヤレスデータカード、通信ポート、赤外線インタフェース、ＩＥＥＥ１３９４ファイアワイヤ、またはネットワークもしくは別のコンピューティングデバイスによりシステム５５０とインタフェースを有しうるその他のデバイスが挙げられる。好ましくは、通信インタフェース５４０により、業界で公布されたプロトコル標準が実装され、好ましくは、イーサネットＩＥＥＥ８０２標準、ファイバチャネル、デジタル加入者線（ＤＳＬ）、非同期デジタル加入者線（ＡＤＳＬ）、フレームリレー、非同期転送モード（ＡＴＭ）、統合デジタルサービスネットワーク（ＩＳＤＮ）、パーソナル通信サービス（ＰＣＳ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、シリアルラインインターネットプロトコル／ポイントツーポイントプロトコル（ＳＬＩＰ／ＰＰＰ）が実装されるが、カスタマイズされた、または非標準のインタフェースプロトコルも実装されうる。

【0175】

通信インタフェース５４０を介して転送されるソフトウェアおよびデータは、概して、電気通信信号５５５の形態である。これらの信号５５５は、通信チャネル５５０を介して通信インタフェース５４０に提供されうる。一実施形態では、通信チャネル５５０は、有線または無線ネットワーク、あるいは任意の多種多様な他の通信リンクでありうる。通信チャネル５５０は、信号５５５を伝送しており、幾つかの例を挙げると、ワイヤもしくはケーブル、光ファイバ、従来の電話回線、携帯電話リンク、無線データ通信リンク、無線周波数（「ＲＦ」）リンク、または赤外線リンクを含む多種多様な有線または無線通信手段を使用して実装することができる。

【0176】

コンピュータ実行可能コード（すなわち、コンピュータプログラムまたはソフトウェア）は、メインメモリ５１５および／またはセカンダリメモリ５２０に保存される。コンピュータプログラムはまた、通信インタフェース５４０を介して受信され、メインメモリ５１５および／またはセカンダリメモリ５２０に保存されうる。本明細書の他の箇所で説明されるように、かかるコンピュータプログラムは、実行される際に、コンピューティング装置５００に、開示される実施形態の種々の機能を実行させることを可能にする。

【0177】

本明細書において、「コンピュータ可読媒体」という用語は、コンピュータ実行可能コード（例えば、ソフトウェアおよびコンピュータプログラム）をコンピューティング装置５００に提供するために使用される任意の非一時的コンピュータ可読記憶媒体を指すために使用される。かかる媒体の例として、メインメモリ５１５、セカンダリメモリ５２０（内部メモリ５２５、リムーバブル媒体５３０、および外部記憶媒体５４５を含む）、および通信インタフェース５４０と通信可能に結合された任意の周辺デバイス（ネットワーク情報サーバまたは他のネットワークデバイスを含む）が挙げられる。これらの非一時的コンピュータ可読媒体は、実行可能コード、プログラミング命令、およびソフトウェアをコンピューティング装置５００に提供するための手段である。ソフトウェアを使用して実装される一実施形態では、ソフトウェアは、コンピュータ可読媒体に保存され、リムーバブル媒体５３０、Ｉ／Ｏインタフェース５３５、または通信インタフェース５４０を介してコンピューティング装置５００にロードされうる。かかる一実施形態では、ソフトウェアは、電気通信信号５５５の形態でコンピューティング装置５００にロードされる。ソフトウェアは、プロセッサ５１０によって実行される際に、好ましくはプロセッサ５１０に、本明細書の他の箇所で説明されている特徴および機能を実行させる。

【0178】

Ｉ／Ｏインタフェース５３５により、コンピューティング装置５００の１つ以上のコンポーネントと１つ以上の入力および／または出力デバイスとの間のインタフェースが提供される。入力デバイスの例として、キーボード、タッチスクリーンまたは他のタッチセンシティブデバイス、生体認証デバイス、コンピュータマウス、トラックボール、ペンベースのポインティングデバイスなどが挙げられるが、これらに限定されない。出力デバイスの例として、ブラウン管（ＣＲＴ）、プラズマディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、プリンタ、真空蛍光表示管（ＶＦＤ）、表面伝導型電子放出ディスプレイ（ＳＥＤ）、電界放出ディスプレイ（ＦＥＤ）などが挙げられるが、これらに限定されない。

【0179】

コンピューティング装置５００にはまた、音声ネットワークおよび／またはデータネットワークを介した無線通信を容易にする任意の無線通信コンポーネントが含まれる。無線通信コンポーネントには、アンテナシステム５７０、無線システム５６５、およびベースバンドシステム５６０が含まれる。コンピューティング装置５００では、無線周波数（ＲＦ）信号は、無線システム５６５の管理下にあるアンテナシステム５７０によって無線で送受信される。

【0180】

アンテナシステム５７０は、アンテナシステム５７０に送信および受信信号経路を提供するためにスイッチング機能を実行する１つ以上のアンテナおよび１つ以上のマルチプレクサ（図示せず）を含みうる。受信経路において、受信されたＲＦ信号は、低ノイズ増幅器（図示せず）に結合可能であり、低ノイズ増幅器は、マルチプレクサから、受信されたＲＦ信号を増幅し、増幅された信号を無線システム５６５に送信する。

【0181】

無線システム５６５は、種々の周波数で通信するように構成された１つ以上の無線を含みうる。一実施形態では、無線システム５６５は、復調器（図示せず）および変調器（図示せず）を１つの集積回路（ＩＣ）に組み合わせることができる。復調器および変調器は、別々のコンポーネントにすることもできる。着信経路において、復調器は、ＲＦ搬送波信号を除去し、ベースバンド受信オーディオ信号を残す。ベースバンド受信オーディオ信号は、無線システム５６５からベースバンドシステム５６０に送信される。

【0182】

受信信号が音声情報を含む場合、ベースバンドシステム５６０は、信号を復号し、これをアナログ信号に変換する。次に、信号が増幅されてスピーカーに送信される。ベースバンドシステム５６０はまた、マイクロフォンからアナログオーディオ信号を受信する。これらのアナログオーディオ信号は、デジタル信号に変換され、ベースバンドシステム５６０によって符号化される。ベースバンドシステム５６０はまた、送信用のデジタル信号をコード化し、無線システム５６５の変調器部分にルーティングされるベースバンド送信オーディオ信号を生成する。変調器は、ベースバンド送信オーディオ信号をＲＦ搬送波信号と混合して、ＲＦ送信信号を生成し、ＲＦ送信信号は、アンテナシステム５７０にルーティングされ、電力増幅器（図示せず）を通過しうる。電力増幅器は、ＲＦ送信信号を増幅し、これをアンテナシステム５７０にルーティングし、そこで、信号は、送信のためにアンテナポートに切り替えられる。

【0183】

ベースバンドシステム５６０はまた、プロセッサ５１０と通信可能に結合されており、プロセッサ５１０は、中央処理装置（ＣＰＵ）でありうる。プロセッサ５１０は、データ記憶領域５１５および５２０にアクセスすることができる。プロセッサ５１０は、好ましくはメインメモリ５１５またはセカンダリメモリ５２０に保存されうる命令（すなわち、コンピュータプログラムまたはソフトウェア）を実行するように構成される。コンピュータプログラムはまた、ベースバンドプロセッサ５６０から受信され、メインメモリ５１０またはセカンダリメモリ５２０に保存されるか、または受信時に実行されうる。かかるコンピュータプログラムは、実行される際に、コンピューティング装置５００に、開示される実施形態の種々の機能を実行させることを可能にするためのものである。例えば、データ記憶領域５１５または５２０は、種々のソフトウェアモジュールを含んでもよい。

【0184】

コンピューティング装置は、通信バス５０５に直接接続されたディスプレイ５７５をさらに含み、これは、上記のＩ／Ｏインタフェース５３５に接続された任意のディスプレイに代えて、またはこれに加えて提供されうる。

【0185】

種々の実施形態はまた、例えば、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックアレイ（ＰＬＡ）、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのコンポーネントを使用して、主にハードウェアに実装されうる。本明細書に記載の機能を実行しうるハードウェアステートマシンの実装形態もまた、関連技術分野の当業者には明らかであろう。ハードウェアおよびソフトウェアの両方の組み合わせを使用して、種々の実施形態を実装することもできる。

【0186】

さらに、当業者は、上記の図および本明細書に開示される実施形態に関連して説明される種々の例示的な論理ブロック、モジュール、回路、および方法ステップが、多くの場合、電子ハードウェア、コンピュータソフトウェア、または両者の組み合わせとして実装されうることを理解するであろう。このハードウェアおよびソフトウェアの互換性を明確に説明するために、種々の例示的なコンポーネント、ブロック、モジュール、回路、およびステップを、概してその機能の観点から上述した。かかる機能がハードウェアとして実装されるか、またはソフトウェアとして実装されるかは、システム全体に課せられる特定のアプリケーションおよび設計上の制約によって異なる。当業者は、特定のアプリケーションごとに種々の方法で説明した機能を実装できるが、かかる実装形態の決定は、本発明の範囲からの逸脱を引き起こすと解釈されるべきではない。さらに、モジュール、ブロック、回路、またはステップ内の機能のグループ化は、説明を容易にするためのものである。特定の機能またはステップは、本発明から逸脱することなく、あるモジュール、ブロック、または回路から別のモジュール、ブロック、または回路に移動することができる。

【0187】

さらに、本明細書に開示される実施形態に関連して説明される種々の例示的な論理ブロック、モジュール、機能、および方法は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ、ＦＰＧＡ、または他のプログラマブルロジックデバイス、ディスクリートゲートもしくはトランジスタロジック、ディスクリートハードウェアコンポーネント、あるいは本明細書に記載の機能を実行するように設計されたこれらの任意の組み合わせによって実装または実行することができる。汎用プロセッサは、マイクロプロセッサでありうる、代わりに、プロセッサは、任意のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンでありうる。プロセッサはまた、コンピューティングデバイスの組み合わせとして実装可能であり、例えば、ＤＳＰおよびマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと組み合わせた１つ以上のマイクロプロセッサ、または任意の他のかかる構成として実装可能である。

【0188】

付加的に、本明細書に開示される実施形態に関連して説明される方法またはアルゴリズムのステップは、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、または両者の組み合わせで直接に具現化することができる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ－ＲＯＭ、またはネットワーク記憶媒体を含むその他の形態の記憶媒体に常駐しうる。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合することができる。別の方法として、記憶媒体をプロセッサに統合することもできる。プロセッサおよび記憶媒体はＡＳＩＣに常駐することもできる。

【0189】

本明細書で言及されるコンピュータ可読記憶媒体は、それ自体が、電波もしくは他の自由に伝搬する電磁波、導波管もしくは他の伝送媒体を伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、またはワイヤを介して伝送される電気信号などの一時的な信号であると解釈されるべきではない。

【0190】

本明細書に記載されているソフトウェアコンポーネントのいずれも、多種多様な形態をとりうる。例えば、コンポーネントは、スタンドアロンのソフトウェアパッケージであってもよく、またはより大きなソフトウェア製品に「ツール」として組み込まれているソフトウェアパッケージであってもよい。これは、Ｗｅｂサイトなどのネットワークからスタンドアロン製品として、または既存のソフトウェアアプリケーションにインストールするためのアドインパッケージとしてダウンロード可能であってもよい。また、クライアントサーバソフトウェアアプリケーション、Ｗｅｂ対応ソフトウェアアプリケーション、および／またはモバイルアプリケーションとして利用されてもよい。

【0191】

本発明の実施形態は、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して本明細書に記載されている。フローチャート図および／またはブロック図の各ブロック、およびフローチャート図および／またはブロック図のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装できることが理解されよう。

【0192】

コンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供され、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび／またはブロック図の単一もしくは複数のブロックで指定された機能／動作を実施するための手段を作成するような機械を作り出すことができる。これらのコンピュータ可読プログラム命令はまた、コンピュータ、プログラム可能なデータ処理装置、および／または他のデバイスに特定の方法で機能するように指示しうるコンピュータ可読記憶媒体に保存可能であり、命令が保存されたコンピュータ可読記憶媒体には、フローチャートおよび／またはブロック図の単一もしくは複数のブロックで指定された機能／動作の態様を実施する命令を含む製造品が含まれる。

【0193】

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスにロードされて、コンピュータ、他のプログラム可能な装置または他のデバイス上で一連の操作ステップを実行させ、コンピュータ実装プロセスを生成可能であり、その結果、コンピュータ、他のプログラム可能な装置、または他のデバイス上で実行される命令により、フローチャートおよび／またはブロック図の単一もしくは複数のブロックで指定された機能／動作が実装される。

【0194】

図示のフローチャートおよびブロック図は、本発明の種々の実施形態による、システム、方法、およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能、および動作を示している。これに関して、フローチャートまたはブロック図の各ブロックは、モジュール、セグメント、または命令の一部を表すことができ、これには、指定された論理機能を実装するための１つ以上の実行可能命令が含まれる。幾つかの代替の実装形態では、ブロックに示されている機能は、図に示されている順序とは異なる場合がある。例えば、連続して表示される２つのブロックは、実際には実質的に同時に実行されうるか、または関連する機能に応じて、ブロックが逆の順序で実行されうる。ブロック図および／またはフローチャート図の各ブロック、およびブロック図および／またはフローチャート図のブロックの組み合わせは、指定された機能または動作を実行するか、または専用ハードウェアおよびコンピュータ命令の組み合わせを実行する専用ハードウェアベースのシステムによって実装されうる。

【0195】

本発明を具現化する装置および方法は、クラウドコンピューティング環境でホストされ、クラウドコンピューティング環境によって配信されうる。クラウドコンピューティングは、構成可能なコンピューティングリソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン、およびサービス）の共有プールへの便利なオンデマンドネットワークアクセスを可能にするサービス提供のモデルであり、最小限の管理作業またはサービスのプロバイダとのインタラクションにより、迅速にプロビジョニングおよびリリースされうる。このクラウドモデルには、少なくとも５つの特性、少なくとも３つのサービスモデル、および少なくとも４つの展開モデルが含まれうる。

【0196】

その特徴は以下の通りである。

【0197】

オンデマンドセルフサービス：クラウドコンシューマは、人間のサービスプロバイダとのインタラクションを必要とせずに、必要に応じてサーバ時間およびネットワークストレージなどのコンピューティング機能を一方的にプロビジョニングできる。

【0198】

ブロードネットワークアクセス：ネットワーク経由で機能が利用可能であり、異種のシンクライアントまたはシッククライアントプラットフォーム（携帯電話、ラップトップ、ＰＤＡなど）による使用を促進する標準メカニズムを介してアクセスされる。

【0199】

リソースプーリング：プロバイダのコンピューティングリソースは、マルチテナントモデルを使用して複数のコンシューマにサービスを提供するためにプールされ、種々の物理リソースおよび仮想リソースが需要に応じて動的に割り当てられ、かつ再割り当てされる。コンシューマは通常、提供されたリソースの正確な場所を制御したり、知ったりすることはできないが、より高い抽象度で場所（国、州、データセンタなど）を指定する可能性があるという点で、場所の独立性がある。

【0200】

迅速な弾力性（Rapid elasticity）：迅速にかつ弾力的に、幾つかの場合には自動的に、機能がプロビジョニングされ、迅速にスケールアウトされ、迅速にリリースされて迅速にスケールインされる。コンシューマにとっては、プロビジョニングに利用できる機能は無制限で、いつでも好きなだけ購入できるように見えることが多い。

【0201】

計測可能なサービス（Measured service）：クラウドシステムにより、サービスのタイプ（ストレージ、処理、帯域幅、アクティブなユーザアカウントなど）に適した抽象化レベルで計測機能を活用することで、リソースの使用が自動的に制御および最適化される。リソースの使用状況を監視、制御、および報告できるため、利用するサービスのプロバイダおよびコンシューマの両方に透明性が提供される。

【0202】

サービスモデルは以下の通りである。

【0203】

サービスとしてのソフトウェア（ＳａａＳ）：コンシューマに提供される機能は、クラウドインフラストラクチャで実行されているプロバイダのアプリケーションを使用することである。アプリケーションには、Ｗｅｂブラウザ（Ｗｅｂベースの電子メールなど）などのシンクライアントインタフェースを介して、種々のクライアントデバイスからアクセスできる。コンシューマは、限られたユーザ固有のアプリケーション構成設定を除いて、ネットワーク、サーバ、オペレーティングシステム、ストレージ、さらには個々のアプリケーション機能を含む基盤となるクラウドインフラストラクチャを管理または制御しない。

【0204】

サービスとしてのプラットフォーム（ＰａａＳ）：コンシューマに提供される機能は、プロバイダがサポートするプログラミング言語およびツールを使用して作成された、コンシューマが作成または取得したアプリケーションをクラウドインフラストラクチャにデプロイすることである。コンシューマは、ネットワーク、サーバ、オペレーティングシステム、ストレージなどの基盤となるクラウドインフラストラクチャを管理または制御しないが、デプロイされたアプリケーションと、幾つかの場合にはアプリケーションホスティング環境の構成とを制御する。

【0205】

サービスとしてのインフラストラクチャ（ＩａａＳ）：コンシューマに提供される機能は、処理、ストレージ、ネットワーク、およびその他の基本的なコンピューティングリソースをプロビジョニングすることであり、コンシューマはオペレーティングシステムおよびアプリケーションを含む任意のソフトウェアをデプロイし、かつ実行できる。コンシューマは、基盤となるクラウドインフラストラクチャを管理または制御しないが、オペレーティングシステム、ストレージ、デプロイされたアプリケーションを制御し、幾つかの場合には選択したネットワークコンポーネント（ホストファイアウォールなど）の制御を制限する。

【0206】

展開モデルは以下の通りである。

【0207】

プライベートクラウド：クラウドインフラストラクチャは、組織のためのみに運用される。組織またはサードパーティによって管理可能であり、オンプレミスまたはオフプレミスに存在しうる。

【0208】

コミュニティクラウド：クラウドインフラストラクチャは複数の組織で共有されており、問題（ミッション、セキュリティ要件、ポリシー、コンプライアンスの考慮事項など）を共有している特定のコミュニティをサポートする。組織またはサードパーティによって管理可能であり、オンプレミスまたはオフプレミスに存在しうる。

【0209】

パブリッククラウド：クラウドインフラストラクチャは、一般の人々または大規模な業界団体が利用できるようになっており、クラウドサービスを販売する組織が所有している。

【0210】

ハイブリッドクラウド：クラウドインフラストラクチャは、２つ以上のクラウド（プライベート、コミュニティ、またはパブリック）の構成であり、当該クラウドは、一意のエンティティのままであるが、データおよびアプリケーションの移植性（例えば、クラウド間の負荷分散のためのクラウドバースト）を可能にする標準化されたテクノロジーまたは独自のテクノロジーによって結び付けられている。

【0211】

クラウドコンピューティング環境は、サービス指向であり、ステートレス、低結合、モジュール性、およびセマンティック相互運用性に重点を置いている。クラウドコンピューティングの中心は、相互接続されたノードのネットワークを含むインフラストラクチャである。

【0212】

本開示の範囲から逸脱することなく、前述の例示的な実施形態に対して多くの改善および修正を行うことができることは、当技術分野の当業者には明らかであろう。

【0213】

図１４Ａは、本明細書に記載の種々の実施形態に関連して使用されうる例示的なプロセッサ対応デバイス５５１を示すブロック図である。デバイス５５１の代替形態もまた、当業者によって理解されるように使用されうる。図示の実施形態では、デバイス５５１は、デジタル撮像デバイス（本明細書では、スキャナシステムまたはスキャンシステムとも称される）として提示されており、当該デジタル撮像デバイスには、１つ以上のプロセッサ５５６、１つ以上のメモリ５６６、１つ以上のモーションコントローラ５７１、１つ以上のインタフェースシステム５７６、各々が１つ以上のサンプル５９０を備えた１つ以上のスライドガラス５８５を支持する１つ以上の可動ステージ５８０、サンプルを照明する１つ以上の照明システム５９５、各々が光軸に沿って移動する光路６０５を確定する１つ以上の対物レンズ６００、１つ以上の対物レンズポジショナ６３０、（例えば、蛍光スキャナシステムに含まれる）１つ以上の任意の落射照明システム６３５、１つ以上の集束光学系６１０、１つ以上のラインスキャンカメラ６１５および／または１つ以上のエリアスキャンカメラ６２０が含まれ、各々がサンプル５９０および／またはスライドガラス５８５上に別個の視野６２５を定めている。スキャナシステム５５１の種々の要素は、１つ以上の通信バス５６０を介して通信可能に結合されている。スキャナシステム５５１の種々の各要素のうちの１つ以上が存在しうるが、以下の説明を容易にするために、これらの要素は、適切な情報を伝えるために複数形で説明する必要がある場合を除いて、単数形で説明する。

【0214】

１つ以上のプロセッサ５５６は、例えば、命令を並列に処理しうる中央処理装置（「ＣＰＵ」）および別個のグラフィックス処理装置（「ＧＰＵ」）を含みうるか、あるいは１つ以上のプロセッサ５５６は、命令を並行して処理しうるマルチコアプロセッサを含みうる。特定のコンポーネントを制御したり、画像処理などの特定の機能を実行したりするために、追加の個別のプロセッサを提供することもできる。例えば、追加のプロセッサには、データ入力を管理するための補助プロセッサ、浮動小数点数学演算を実行するための補助プロセッサ、信号処理アルゴリズムの高速実行に適したアーキテクチャを有する専用プロセッサ（例えば、デジタル信号プロセッサ）、メインプロセッサに従属するスレーブプロセッサ（例えば、バックエンドプロセッサ）、ラインスキャンカメラ６１５、ステージ５８０、対物レンズ６００、および／またはディスプレイ（図示せず）を制御するための追加のプロセッサが含まれてもよい。かかる追加のプロセッサは、別個の離散的なプロセッサであってもよいし、またはプロセッサ５５６と統合されてもよい。

【0215】

メモリ５６６は、プロセッサ５５６によって実行されうるプログラムのためのデータおよび命令のストレージを提供する。メモリ５６６は、データおよび命令、例えば、ランダムアクセスメモリ、読み取り専用メモリ、ハードディスクドライブ、リムーバブルストレージドライブなどを保存する１つ以上の揮発性かつ永続性のコンピュータ可読記憶媒体を含みうる。プロセッサ５５６は、メモリ５６６に保存され、通信バス５６０を介してスキャナシステム５５１の種々の要素と通信して、スキャナシステム５５１の全体的な機能を実行する命令を実行するように構成される。

【0216】

１つ以上の通信バス５６０は、アナログ電気信号を伝達するように構成された通信バス５６０を含むことができ、デジタルデータを伝達するように構成された通信バス５６０を含むことができる。したがって、１つ以上の通信バス５６０を介したプロセッサ５５６、モーションコントローラ５７１、および／またはインタフェースシステム５７６からの通信には、電気信号およびデジタルデータの両方が含まれうる。プロセッサ５５６、モーションコントローラ５７１、および／またはインタフェースシステム５７６はまた、無線通信リンクを介してスキャンシステム５５１の種々の要素のうちの１つ以上と通信するように構成されうる。

【0217】

モーション制御システム５７１は、ステージ５８０および対物レンズ６００のＸＹＺ移動を（例えば、対物レンズポジショナ６３０を介して）正確に制御および調整するように構成される。モーション制御システム５７１はまた、スキャナシステム５５１内の他の可動部分の移動を制御するように構成される。例えば、蛍光スキャナの実施形態では、モーション制御システム５７１は、落射照明システム６３５内の光学フィルタなどの移動を調整するように構成される。

【0218】

インタフェースシステム５７６により、スキャナシステム５５１は、他のシステムおよび人間のオペレータとインタフェースを有することが可能となる。例えば、インタフェースシステム５７６は、情報をオペレータに直接に提供するため、かつ／またはオペレータからの直接の入力を可能にするためのユーザインタフェースを含みうる。インタフェースシステム５７６はまた、スキャンシステム５５１と、直接に接続されている１つ以上の外部デバイス（例えば、プリンタ、リムーバブル記憶媒体）または外部デバイス、例えばネットワーク（図示せず）を介してスキャナシステム５５１に接続されている画像サーバシステム、オペレータステーション、ユーザステーション、および管理サーバシステムとの間の通信およびデータ転送を容易にするように構成される。

【0219】

照明システム５９５は、サンプル５９０の一部を照明するように構成される。照明システムには、例えば、光源および照明光学系が含まれてもよい。光源は、光出力を最大化するための凹面反射鏡と熱を抑制するためのＫＧ－１フィルタを備えた可変強度ハロゲン光源でありうる。光源はまた、任意のタイプのアークランプ、レーザ、または他の光源でありうる。一実施形態では、照明システム５９５は、ラインスキャンカメラ６１５および／またはエリアスキャンカメラ６２０がサンプル５９０を介して送信される光エネルギをセンシングするように、透過モードでサンプル５９０を照明する。代替的に、または組み合わせて、照明システム５９５はまた、反射モードでサンプル５９０を照明するように構成可能であり、これにより、ラインスキャンカメラ６１５および／またはエリアスキャンカメラ６２０は、サンプル５９０から反射される光エネルギをセンシングする。全体として、照明システム５９５は、任意の既知の光学顕微鏡モードでの顕微鏡サンプル５９０の調査に適しているように構成される。

【0220】

一実施形態では、スキャナシステム５５１は、任意に落射照明システム６３５を含み、落射照明システム６３５は、スキャナシステム５５１を最適化して蛍光スキャンを行う。蛍光スキャンは、蛍光分子を含むサンプル５９０のスキャンであり、この蛍光分子は、特定の波長（励起）の光を吸収しうる光子感受性分子である。これらの光子感受性分子はまた、より高い波長（発光）で発光する。このフォトルミネッセンス現象の効率は非常に低いため、多くの場合、放出される光の量は非常に少ない。この放出光が少量であるため、従来の技術（例えば、透過モード顕微鏡）では、通常、サンプル５９０をスキャンおよびデジタル化することは困難である。有利には、スキャナシステム５５１の任意の蛍光スキャナシステムの実施形態では、複数の線形センサアレイ（例えば、時間遅延積分（「ＴＤＩ」）ラインスキャンカメラ）を含むラインスキャンカメラ６１５を使用して、サンプル５９０の同じ領域をラインスキャンカメラ６１５の複数の線形センサアレイの各々に露光することによって、ラインスキャンカメラの光に対する感度が高められる。これは、放出光が少ない微弱な蛍光サンプルを走査する場合に特に便利である。

【0221】

したがって、蛍光スキャナシステムの実施形態では、ラインスキャンカメラ６１５は、好ましくは、モノクロＴＤＩラインスキャンカメラである。有利には、モノクロ画像は、サンプル上に存在する種々のチャネルからの実際の信号のより正確な表現を提供するため、蛍光顕微鏡に理想的な画像である。当業者によって理解されるように、蛍光サンプル５９０は、異なる波長で光を放出する複数の蛍光色素で標識することができ、これは「チャネル」とも称される。

【0222】

さらに、種々の蛍光サンプルのローエンドおよびハイエンドの信号レベルは、ラインスキャンカメラ６１５がセンシングしうる広範なスペクトルの波長を提示するので、ラインスキャンカメラ６１５がセンシングしうるローエンドおよびハイエンドの信号レベルは、同様に広範であることが望ましい。したがって、蛍光スキャナの実施形態では、蛍光スキャンシステム５５１で使用されるラインスキャンカメラ６１５は、モノクロの１０ビット６４線形アレイＴＤＩラインスキャンカメラである。スキャンシステム５５１の蛍光スキャナの実施形態で使用するために、ラインスキャンカメラ６１５の多種多様なビット深度が利用されうることに留意されたい。

【0223】

可動ステージ５８０は、プロセッサ５５６またはモーションコントローラ５７１の制御下の正確なＸＹ移動のために構成される。可動ステージはまた、プロセッサ５５６またはモーションコントローラ５７１の制御下でＺ方向内で移動するように構成されうる。可動ステージは、ラインスキャンカメラ６１５および／またはエリアスキャンカメラによる画像データの取り込み中に、所望の位置にサンプルを位置決めするように構成される。可動ステージはまた、サンプル５９０を走査方向に実質的に一定の速度に加速し、ついで、ラインスキャンカメラ６１５による画像データの取り込み中に実質的に一定の速度を維持するように構成される。一実施形態では、スキャナシステム５５１は、可動ステージ５８０上のサンプル５９０の位置を補助するために、高精度で密に調整されたＸＹグリッドを使用することができる。一実施形態では、可動ステージ５８０は、高精度エンコーダがＸ軸およびＹ軸の両方に採用された、リニアモータベースのＸＹステージである。例えば、非常に精密なナノメートルエンコーダを、走査方向の軸上で使用することができ、かつ走査方向に垂直な方向にあり、走査方向と同じ平面上にある軸上で使用することができる。ステージはまた、サンプル５９０が配設されたスライドガラス５８５を支持するように構成される。

【0224】

サンプル５９０は、光学顕微鏡によって調査されうるものであればいかなるものであってもよい。例えば、顕微鏡スライドガラス５８５は、標本の観察基板として頻繁に使用されており、当該観察基板としては、組織および細胞、染色体、ＤＮＡ、タンパク質、血液、骨髄、尿、細菌、ビーズ、生検材料、または死んでいるもしくは生きている、染色もしくは非染色の、標識を有するもしくは非標識であるその他の種類の生物学的材料または物質が挙げられる。サンプル５９０はまた、任意のタイプのスライドまたは他の基板上に堆積される、任意のタイプのＤＮＡまたはｃＤＮＡまたはＲＮＡまたはタンパク質などのＤＮＡ関連材料のアレイであってよく、これには、マイクロアレイとして一般に既知である全てのサンプルが含まれる。サンプル５９０は、マイクロタイタープレート、例えば、９６ウェルプレートでありうる。サンプル５９０の他の例として、集積回路基板、電気泳動記録、ペトリ皿、フィルム、半導体材料、法医学材料、または機械加工部品が挙げられる。

【0225】

対物レンズ６００は、一実施形態では、対物レンズポジショナ６３０に取り付けられており、対物レンズポジショナ６３０は、非常に精密なリニアモータを使用して、対物レンズ６００によって定められる光軸に沿って対物レンズ６００を移動させうる。例えば、対物レンズポジショナ６３０のリニアモータは、５０ナノメートルのエンコーダを含んでもよい。ＸＹＺ軸におけるステージ５８０および対物レンズ６００の相対位置は、情報および命令を保存するためにメモリ５６６を使用するプロセッサ５５６の制御下でモーションコントローラ５７１を使用して、閉ループ方式で調整および制御される。ここで、当該情報および命令には、全体的なスキャンシステム５５１の動作のためのコンピュータ実行可能なプログラムされたステップが含まれる。

【0226】

一実施形態では、対物レンズ６００は、望ましい最高の空間分解能に対応する開口数を備えた平面アポクロマティック（「ＡＰＯ」）無限遠補正対物レンズであり、ここで、対物レンズ６００は、透過モード照明顕微鏡、反射モード照明顕微鏡、および／または落射照明モード蛍光顕微鏡（例えば、オリンパス社４０Ｘ、０．７５ＮＡまたは２０Ｘ、０．７５ＮＡ）に適している。有利には、対物レンズ６００は、色収差および球面収差を補正することができる。対物レンズ６００は無限遠補正されているので、集束光学系６１０は、対物レンズ６００の上の光路６０５に配置することができ、当該光路において、対物レンズ６００を通過する光ビームは、コリメートされた光ビームとなる。集束光学系６１０は、対物レンズ６００によって捕捉された光信号を、ラインスキャンカメラ６１５および／またはエリアスキャンカメラ６２０の光応答要素に集束させる。また、集束光学系６１０は、フィルタ、倍率変更レンズなどの光学部品を含みうる。集束光学系６１０と組み合わされた対物レンズ６００により、スキャンシステム５５１の総合倍率が提供される。一実施形態では、集束光学系６１０は、管レンズおよび任意の２倍倍率チェンジャを含みうる。有利には、２倍倍率チェンジャにより、ネイティブ２０倍の対物レンズ６００は、４０倍の倍率でサンプル５９０を走査することが可能となる。

【0227】

ラインスキャンカメラ６１５は、画像要素（「ピクセル」）の少なくとも１つの線形アレイを含む。ラインスキャンカメラは、モノクロカメラまたはカラーカメラでありうる。カラーラインスキャンカメラは通常、少なくとも３つの線形アレイを有するが、モノクロラインスキャンカメラは、単一の線形アレイまたは複数の線形アレイを有しうる。また、任意のタイプの単数または複数の線形アレイは、カメラの一部としてパッケージ化されているか、撮像電子モジュールにカスタム統合されているかにかかわらず使用できる。例えば、３線形アレイ（「赤色－緑色－青色」または「ＲＧＢ」）カラーラインスキャンカメラまたは９６線形アレイモノクロＴＤＩも使用できる。ＴＤＩラインスキャンカメラは、通常、過去に撮像された標本の領域の強度データを合計することにより、実質的により優れた出力信号の信号対雑音比（「ＳＮＲ」）をもたらす。ここで、ＳＮＲの増大は、積分段数の平方根に比例する。ＴＤＩラインスキャンカメラは複数の線形アレイで構成され、例えば、ＴＤＩラインスキャンカメラは２４、３２、４８、６４、９６個、またはそれ以上の線形アレイで利用できる。スキャナシステム５５１はまた、５１２ピクセルのもの、１０２４ピクセルのもの、および４０９６ピクセルものものを含む多種多様なフォーマットで製造される線形アレイをサポートしている。同様に、多種多様なピクセルサイズの線形アレイもスキャナシステム５５１で使用することができる。任意のタイプのラインスキャンカメラ６１５を選択するための重要な要件は、ステージ５８０のモーションが、ラインスキャンカメラ６１５のラインレートと同期されうることにより、サンプル５９０のデジタル画像の取り込み中に、ステージ５８０がラインスキャンカメラ６１５に対して移動しうることである。

【0228】

ラインスキャンカメラ６１５によって生成された画像データは、メモリ５６６の一部に保存され、プロセッサ５５６によって処理されて、サンプル５９０の少なくとも一部の連続デジタル画像が生成される。連続デジタル画像は、プロセッサ５５６によってさらに処理することができ、修正された連続デジタル画像はまた、メモリ５６６に保存することができる。

【0229】

２つ以上のラインスキャンカメラ６１５を有する一実施形態では、ラインスキャンカメラ６１５の少なくとも１つは集束センサとして機能するように構成可能であり、当該集束センサは、イメージセンサとして機能するように構成されたラインスキャンカメラ６１５のうちの少なくとも１つと組み合わされて動作する。集束センサは、イメージセンサと同じ光軸上に論理的に位置決め可能であり、あるいは集束センサは、スキャナシステム５５１の走査方向に関してイメージセンサの前または後に論理的に位置決め可能である。かかる集束センサとして機能する少なくとも１つのラインスキャンカメラ６１５を有する一実施形態では、集束センサによって生成された画像データは、メモリ５６６の一部に保存され、１つ以上のプロセッサ５５６によって処理されて、焦点情報を生成し、スキャナシステム５５１は、サンプル５９０と対物レンズ６００との間の相対距離を調整して、走査中にサンプルに焦点を合わせ続ける。さらに、一実施形態では、集束センサとして機能する少なくとも１つのラインスキャンカメラ６１５は、集束センサの複数の個々のピクセルの各々が、光路６０５に沿って異なる論理高さに位置決めされるように配向されうる。

【0230】

動作中、スキャナシステム５５１の種々の構成要素およびメモリ５６６に保存されたプログラムされたモジュールにより、スライドガラス５８５上に配設されたサンプル５９０の自動走査およびデジタル化が可能となる。スライドガラス５８５は、サンプル５９０を走査するために、スキャナシステム５５１の可動ステージ５８０上に堅固に配置されている。プロセッサ５５６の制御下で、可動ステージ５８０は、ラインスキャンカメラ６１５によるセンシングのためにサンプル５９０を実質的に一定の速度に加速する。ここで、ステージの速度は、ラインスキャンカメラ６１５のライン速度と同期されている。画像データのストリップを走査した後、可動ステージ５８０は減速して、サンプル５９０を実質的に完全に停止させる。次に、可動ステージ５８０は、走査方向に直交して移動して、画像データの後続のストリップ、例えば、隣接するストリップを走査するために、サンプル５９０を位置決めする。続いて、サンプル５９０の全体またはサンプル５９０全体が走査されるまで、追加のストリップが走査される。

【0231】

例えば、サンプル５９０のデジタル走査中、複数の連続する視野としてサンプル５９０の連続デジタル画像が取得され、これらは一緒に組み合わされて画像ストリップが形成される。複数の隣接する画像ストリップが同様に一緒に組み合わされて、サンプル５９０の一部または全体の連続したデジタル画像が形成される。サンプル５９０のスキャンには、垂直画像ストリップまたは水平画像ストリップの取得が含まれうる。サンプル５９０のスキャン方向は、上から下、下から上、またはその両方（双方向）のいずれかであってもよく、サンプル上の任意の点で開始されうる。代替的に、サンプル５９０のスキャン方向は、左から右、右から左、またはその両方（双方向）のいずれかであってもよく、サンプル上の任意の点で開始されうる。さらに、画像ストリップを隣接または連続して取得する必要はない。さらに、結果として得られるサンプル５９０の画像は、サンプル５９０全体の画像であってもよく、サンプル５９０の一部のみの画像であってもよい。

【0232】

一実施形態では、コンピュータ実行可能命令（例えば、プログラムされたモジュールおよびソフトウェア）は、メモリ５６６に保存され、実行される際に、スキャンシステム５５１は、本明細書に記載の種々の機能を実施することができる。この説明では、「コンピュータ可読記憶媒体」という用語は、プロセッサ５５６によって実行するために、コンピュータ実行可能命令を保存し、スキャンシステム５５１に提供するために使用される任意の媒体を指すために使用される。これらの媒体の例には、メモリ５６６、および例えばネットワーク（図示せず）を介して直接的または間接的にスキャンシステム５５１と通信可能に結合された任意のリムーバブル媒体または外部記憶媒体（図示せず）が含まれる。

【0233】

図１４Ｂは、電荷結合デバイス（「ＣＣＤ」）アレイとして実装されうる単一の線形アレイ６４０を有するラインスキャンカメラを示している。単一の線形アレイ６４０は、複数の個別のピクセル６４５を含む。図示の実施形態では、単一の線形アレイ６４０は、４０９６ピクセルを有する。代替的な実施形態では、線形アレイ６４０は、より多くのピクセルまたはより少ないピクセルを有しうる。例えば、線形アレイの一般的なフォーマットには、５１２、１０２４、および４０９６ピクセルが含まれる。ピクセル６４５は、線形アレイ６４０の視野６２５を定めるために線形に配置されている。視野の大きさは、スキャナシステム５５１の倍率に応じて変化する。

【0234】

図１４Ｃは、３つの線形アレイを有するラインスキャンカメラを示しており、その各々は、ＣＣＤアレイとして実装されうる。３つの線形アレイが組み合わさって、カラーアレイ６５０を形成している。一実施形態では、カラーアレイ６５０内の個々の線形アレイは、様々な色強度、例えば、赤色、緑色、または青色を検出する。カラーアレイ６５０内の個々の線形アレイからのカラー画像データは、組み合わされて、カラー画像データの単一の視野６２５を形成している。

【0235】

図１４Ｄは、複数の線形アレイを有するラインスキャンカメラを示しており、その各々は、ＣＣＤアレイとして実装されうる。複数の線形アレイが組み合わさって、ＴＤＩアレイ６５５を形成している。有利には、ＴＤＩラインスキャンカメラは、過去に撮像された標本の領域の強度データを合計することにより、実質的により優れた出力信号のＳＮＲをもたらしうる。ここで、ＳＮＲの増大は、（積分段とも称される）線形アレイの数の平方根に比例する。ＴＤＩラインスキャンカメラは、より多くの多種多様な線形アレイを含みうる。例えば、ＴＤＩラインスキャンカメラの一般的なフォーマットには、２４、３２、４８、６４、９６、１２０個、およびさらに多くの線形アレイを含む。

【0236】

開示した実施形態の上記の説明は、当業者が本発明を作製または使用することを可能にするために提供されている。これらの実施形態に対する種々の修正例は、当業者には容易に明らかとなり、本明細書に記載の全般的な基本方式は、本発明の精神または範囲から逸脱することなく、他の実施形態に適用することができる。したがって、本明細書に提示される説明および図面は、本発明の現在の好ましい実施形態を表し、したがって、本発明によって広く企図される主題を代表するものであることが理解されるべきである。さらに、本発明の範囲は、当技術分野の当業者に明らかになりうる他の実施形態を完全に包含しており、これによって本発明の範囲は限定されないことが理解されよう。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14A】

【図14B】

【図14C】

【図14D】