特表 2022-534155 デジタルパソロジー画像の関心領域のニューラルネットワークベースの特定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-07-28

(54)【発明の名称】デジタルパソロジー画像の関心領域のニューラルネットワークベースの特定方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220721BHJP

【ＦＩ】

G06T7/00 350C

G06T7/00 630

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021538305

(86)(22)【出願日】2020-05-29

(85)【翻訳文提出日】2021-08-27

(86)【国際出願番号】 US2020035302

(87)【国際公開番号】W WO2020243556

(87)【国際公開日】2020-12-03

(31)【優先権主張番号】62/854,040

(32)【優先日】2019-05-29

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/854,130

(32)【優先日】2019-05-29

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＰＥＮＴＩＵＭ

２．ＳＭＡＬＬＴＡＬＫ

３．ＪＡＶＡ

４．ＪＡＶＡＳＣＲＩＰＴ

５．ＦＲＡＭ

(71)【出願人】

【識別番号】503293765

【氏名又は名称】ライカ バイオシステムズ イメージング インコーポレイテッド

【氏名又は名称原語表記】Ｌｅｉｃａ Ｂｉｏｓｙｓｔｅｍｓ Ｉｍａｇｉｎｇ， Ｉｎｃ．

【住所又は居所原語表記】１３６０ Ｐａｒｋ Ｃｅｎｔｅｒ Ｄｒ．， Ｖｉｓｔａ， ＣＡ ９２０８１， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100135633

【弁理士】

【氏名又は名称】二宮 浩康

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ウォルター ジョージェスク

(72)【発明者】

【氏名】キラン サリグラマ

(72)【発明者】

【氏名】アレン オルソン

(72)【発明者】

【氏名】ギリシュ マリヤ ウドゥピ

(72)【発明者】

【氏名】ブルーノ オリヴェイラ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA06

5L096BA13

5L096CA17

5L096CA22

5L096DA01

5L096EA03

5L096EA11

5L096EA39

5L096FA34

5L096FA59

5L096FA66

5L096FA69

5L096GA10

5L096GA30

5L096GA34

5L096GA40

5L096GA51

5L096GA55

5L096HA11

(57)【要約】

ＣＮＮを組織学的画像に適用して、関心領域が特定される。ＣＮＮは、関連性クラスに従ってピクセルを分類し、前記関連性クラスには、関心レベルを示す１つ以上のクラスと、関心の欠如を示す少なくとも１つのクラスと、が含まれる。ＣＮＮは、訓練データセットで訓練され、前記訓練データセットには、病理医が組織学的画像のビジュアライゼーションとのインタラクションをどのように行ったかを記録したデータが含まれる。訓練済みＣＮＮでは、関心ベースのピクセル分類を使用して、関心領域を画定するセグメンテーションマスクが生成される。マスクを使用して、画像のどこに臨床的に関連する特徴が配置されているかを示すことができる。さらに、マスクを使用して、組織学的画像の可変データ圧縮を誘導することができる。さらに、マスクを使用して、クライアントサーバモデルまたはメモリキャッシュポリシー内のいずれかで画像データの読み込みを制御することができる。さらに、試験化合物で処理された組織型の組織サンプルの組織学的画像は、試験化合物に対する毒性反応が生じた可能性のある領域を検出するために画像処理される。オートエンコーダは、組織サンプルの組織学的画像を含む訓練データセットで訓練されており、前記組織サンプルは、所与の組織型であるが、試験化合物で処理されていない。訓練済みオートエンコーダを適用して、訓練プロセスで学習された組織型で見られる通常の変動からの偏差によって組織領域が検出され、画像の毒性マップが作成される。次に、前記毒性マップを使用して、毒性病理医に、組織型の不均一性の通常の範囲外にあるとオートエンコーダによって特定された領域を調べるように指示することができる。これにより、病理医のレビューがより迅速かつ信頼性の高いものになる。毒性マップは、関心領域を示すセグメンテーションマスクでオーバレイすることもできる。関心領域および組織型の不均一性の通常の範囲外にあると特定された領域の場合、信頼スコアの増大が重複領域に適用される。

【特許請求の範囲】

【請求項1】

組織学的画像のデータセットを処理する方法であって、前記方法は、
ピクセルの２次元アレイを含む組織学的画像のデータセットを受信することと、
畳み込みニューラルネットワークを適用して、前記組織学的画像の２次元アレイに対するマッピングを有するピクセルの２次元アレイを有する出力画像パッチを生成することであって、前記出力画像パッチが、複数の関連性クラスのうちの１つを各ピクセルに割り当てることによって生成され、前記複数の関連性クラスは、関心ピクセルを表す少なくとも１つのクラスおよび非関心ピクセルを表す少なくとも１つのクラスを含み、前記畳み込みニューラルネットワークが、組織学的画像および病理医インタラクションデータを含む訓練データセットを使用して訓練され、前記病理医インタラクションデータは、病理医が組織学的画像のビジュアライゼーションとのインタラクションをどのように行ったかに関連する複数のパラメータを記録する、ことと、
関心ピクセルによって占有された関心領域がマーキングされている前記出力画像パッチから、セグメンテーションマスクを生成することと、
を含む、方法。

【請求項2】

前記方法は、前記関心領域に含まれる各関心ピクセルからのスコア寄与を集約することに基づくスコアリングアルゴリズムに従って、各関心領域のスコアを求めることをさらに含む、
請求項１記載の方法。

【請求項3】

前記方法は、前記関心領域をそのスコアに従ってランク付けすることをさらに含む、
請求項２記載の方法。

【請求項4】

前記方法は、
各関心領域の要約統計量を計算することと、
前記各関心領域の要約統計量にフィルタを適用して、前記フィルタに従って関心領域を選択および選択解除することにより、セグメンテーションマスクを編集することと、
をさらに含む、
請求項１記載の方法。

【請求項5】

関心ピクセルを表す複数のクラスが存在しており、前記クラスが、関心レベルの増大に関連付けられている、
請求項１記載の方法。

【請求項6】

関心レベルに従って、前記スコア寄与がピクセルを重み付けしている、
請求項２に従属する請求項５記載の方法。

【請求項7】

前記複数のパラメータは、ピクセルの観察時間およびピクセルの観察倍率を含む、
請求項１記載の方法。

【請求項8】

前記複数のパラメータは、病理医の注釈に関連付けられた前記組織学的画像上の場所または領域のピクセルを含む、
請求項１記載の方法。

【請求項9】

前記複数のパラメータが、より高倍率で観察するためのユーザコマンドの対象となった前記組織学的画像上の場所または領域のピクセルを含む、
請求項１記載の方法。

【請求項10】

前記訓練データセットにおいて、所与の組織学的画像についての前記病理医インタラクションデータは、複数の病理医からのインタラクションを含み、前記パラメータは、複数の病理医からの同じ組織学的画像に対するインタラクション間の相関係数を含む、
請求項１記載の方法。

【請求項11】

前記組織学的画像データセットは、組織の領域の異なって染色された隣接するセクションから取得された複数の組織学的画像の合成物である、
請求項１記載の方法。

【請求項12】

前記畳み込みニューラルネットワークを適用することが、
前記組織学的画像から画像パッチを抽出することであって、前記画像パッチが、幅および高さのピクセル数によって定められるサイズを有する前記組織学的画像またはそのセットの領域部分である、ことと、
前記畳み込みニューラルネットワークに重みのセットおよび複数のチャネルを提供することであって、各チャネルが、特定される複数の前記関連性クラスのうちの１つに対応する、ことと、
各画像パッチを入力画像パッチとして前記畳み込みニューラルネットワークに入力することと、
多段畳み込みを実行して、最小次元の最終畳み込み層までさらに次元削減された畳み込み層であって、最小次元の最終畳み込み層を含む、畳み込み層を生成し、続いて、多段転置畳み込みにより、前記入力画像パッチとサイズが一致する層が復元されるまで、さらに次元増大された逆畳み込み層を生成することにより、前記畳み込みを反転する多段転置畳み込みを実行することであって、前記復元された層の各ピクセルが、前記関連性クラスの各々に属する確率を含む、ことと、
出力画像パッチに到達する前記確率に基づいて、前記復元された層の各ピクセルに前記関連性クラスを割り当てることと、
を含む、
請求項１から１１までのいずれか１項記載の方法。

【請求項13】

前記方法が、前記出力画像パッチを前記組織学的画像の確率マップにアセンブルすることをさらに含む、
請求項１２記載の方法。

【請求項14】

前記方法が、前記確率マップに従って前記組織学的画像内の前記関心領域を画定することをさらに含む、
請求項１２または１３記載の方法。

【請求項15】

前記方法が、前記組織学的画像にリンクされた前記確率マップを保存することをさらに含む、
請求項１２記載の方法。

【請求項16】

前記方法が、
前記畳み込みニューラルネットワークに少なくとも１つのスキップ接続を提供することであって、各スキップ接続が、前記最終畳み込み層よりも大きな次元の前記畳み込み層のうちの少なくとも１つから中間結果を取得し、前記結果を、なし、１つ、または２つ以上でありうる、必要な数の転置畳み込みに供して、入力画像パッチにサイズが一致する少なくとも１つのさらなる復元された層を取得することと、
各ピクセルに前記関連性クラスを割り当てる前記ステップの前に、前記復元された層をさらに処理して、前記少なくとも１つのスキップ接続を考慮して前記確率を再計算するために、前記少なくとも１つのさらに復元された層と組み合わせることと、
をさらに含む、
請求項１２記載の方法。

【請求項17】

ソフトマックス演算を使用して前記確率を生成する、
請求項１２記載の方法。

【請求項18】

前記方法が、予測のために実行され、前記畳み込みニューラルネットワークが、事前の訓練中にその重み値を割り当てられている、
請求項１２記載の方法。

【請求項19】

前記方法が、訓練のために実行され、前記組織学的画像内の各ピクセルを前記関連性クラスのうちの１つに割り当てるグラウンドトゥルースデータをさらに含み、
請求項１２記載の方法が反復的に実行され、ここで、各反復が、前記グラウンドトゥルースデータと前記出力画像パッチの比較に基づいて前記畳み込みニューラルネットワークのその重み値を調整することを含む、
請求項１２記載の方法。

【請求項20】

訓練中に前記重みを調整することが、勾配降下法によって実行される、
請求項１２記載の方法。

【請求項21】

前記方法が、ビジュアライゼーションアプリケーションを使用して、前記セグメンテーションマスクに依存する前記組織学的画像のビジュアライゼーションを生成することをさらに含む、
請求項１記載の方法。

【請求項22】

前記ビジュアライゼーションが、前記ランク付けの視覚的表示を含むように、前記ランク付けを考慮して生成される、
請求項３に従属する請求項２１記載の方法。

【請求項23】

前記ビジュアライゼーションが、概観表示ペインおよびセグメンテーションマスク表示ペインを含む、
請求項２１記載の方法。

【請求項24】

前記概観表示ペインおよび前記セグメンテーションマスク表示ペインが、前記組織学的画像上に、または前記組織学的画像と一緒にオーバレイされた前記セグメンテーションマスクとともに表示される、
請求項２３記載の方法。

【請求項25】

前記ビジュアライゼーションが、前記関心領域のうちの１つについての複数の画像を含むモンタージュを含む、
請求項２１記載の方法。

【請求項26】

前記ビジュアライゼーションアプリケーションは、関心領域を選択するためにユーザが前記ビジュアライゼーションとのインタラクションを行うことを可能にするように動作可能なグラフィカルユーザインタフェース選択制御を含む、
請求項２１から２５までのいずれか１項記載の方法。

【請求項27】

前記ビジュアライゼーションアプリケーションが、エージェントを含み、前記エージェントは、前記組織学的画像データセットのビジュアライゼーションとのユーザのインタラクションを監視して、前記ユーザが具体的に観察した前記関心領域を追跡する、
請求項２１から２６までのいずれか１項記載の方法。

【請求項28】

前記ビジュアライゼーションアプリケーションが、組織学的画像上のビジュアライゼーションセッションを終了するためのユーザコマンドに応答する確認機能をさらに含み、前記確認機能が、前記ユーザが前記関心領域の論理サンプルを具体的に観察したかどうかの確認を実行する、
請求項２７記載の方法。

【請求項29】

前記方法が、前記ユーザが前記関心領域の論理サンプルを具体的に観察しなかったことを前記確認が示す場合に、前記ビジュアライゼーションセッションを終了する前にさらなる確認入力を必要とする通知が前記ユーザに発行されることをさらに含む、
請求項２８記載の方法。

【請求項30】

前記方法が、前記ユーザが前記関心領域の論理サンプルを具体的に観察しなかったことを前記確認が示す場合に、前記ユーザが、まだ具体的に観察されていない１つもしくは複数の関心領域を観察するように誘導されることをさらに含む、
請求項２７記載の方法。

【請求項31】

前記方法が、前記ビジュアライゼーションをディスプレイ上に表示することをさらに含む、
請求項２１から３０までのいずれか１項記載の方法。

【請求項32】

前記方法が、
前記関心領域の外側のピクセルを優先的に圧縮する圧縮アルゴリズムを適用して、前記組織学的画像データセットの圧縮バージョンを生成することと、
前記圧縮バージョンを保存することと、
によって、前記組織学的画像データセットに可変画像圧縮を適用することをさらに含む、
請求項１から２０までのいずれか１項記載の方法。

【請求項33】

前記圧縮アルゴリズムが、可逆および不可逆のうちの１つである、
請求項３２記載の方法。

【請求項34】

前記組織学的画像データセットの前記圧縮バージョンが、圧縮元の前記組織学的画像データセットを上書きすることによって保存される、
請求項３２または３３記載の方法。

【請求項35】

画像データ取得方法であって、前記方法が、
組織学的サンプルを含むスライドを提供することと、
スライドスキャナを使用して前記スライドを走査し、組織学的画像データセットを取得することと、
請求項１から２０までのいずれか１項記載の方法を実行して、関心領域を特定することと、
請求項３２記載の追加の手段を実行して、前記関心領域に基づいて前記組織学的画像データセットを可変的に圧縮することと、
前記圧縮された組織学的画像データセットを保存することと、
を含む、方法。

【請求項36】

前記スライドスキャナまたはその制御コンピュータが、
請求項１から２０までのいずれか１項記載の方法、および請求項３２から３４までのいずれか１項記載の追加の手段を実行する、
請求項３５記載の方法。

【請求項37】

前記スライドスキャナは、前記組織学的画像データセットが、ネットワーク接続によって前記スライドスキャナまたはその制御コンピュータに選択的に接続可能なデータリポジトリ内のレコードに保存された後、
請求項１から２０までのいずれか１項記載の方法、および請求項３２から３４までのいずれか１項記載の追加の手段を実行する、
請求項３５記載の方法。

【請求項38】

組織学的画像のビジュアライゼーションアプリケーションを操作する方法であって、前記方法が、
組織学的画像データセットの組織学的画像をユーザにインタラクティブに表示するように動作可能なビジュアライゼーションアプリケーションがロードされたコンピュータ装置を提供することと、
請求項１から２０までまたは請求項３２から３７までのいずれか１項に従って前処理され、前記組織学的画像内の関心領域をマーキングするセグメンテーションマスクを含む組織学的画像データセットを利用可能にすることと、
前記ビジュアライゼーションアプリケーションのために前記組織学的画像データセットを前記コンピュータ装置にロードすることであって、前記ロードすることが、関心領域を含まない他のサブ画像をロードする前に、前記関心領域を含む前記組織学的画像データセットの小面積のサブ画像を優先的にロードする、ことと、
を含む、方法。

【請求項39】

前記小面積のサブ画像が、前記組織学的画像データセットに保存されたネイティブ解像度でロードされる、
請求項３８記載の方法。

【請求項40】

前記組織学的画像データセットが請求項３に従って前処理されている場合、前記小面積のサブ画像が、ランキング順を考慮してロードされる、
請求項３８または３９記載の方法。

【請求項41】

組織学的画像またはそのセット内の関心領域を特定するためのコンピュータプログラム製品であって、
請求項１から２０までまたは請求項３２から３４までのいずれか１項記載の方法を実行するための機械可読命令を有する、コンピュータプログラム製品。

【請求項42】

組織学的画像内の関心領域を特定するためのコンピュータ装置であって、前記装置が、
メモリに保存されたレコードから組織学的画像データセットを受信するように動作可能な入力部と、
請求項１から２０までまたは請求項３２から３４までのいずれか１項記載の方法を実行するように構成された処理モジュールと、
を含む、装置。

【請求項43】

前記装置が、前記セグメンテーションマスクに関連するメタデータを前記レコードに保存し、これにより、前記メタデータが前記組織学的画像データセットにリンクされるように動作可能な出力部をさらに含む、
請求項４２記載の装置。

【請求項44】

前記装置が、
ディスプレイと、
前記セグメンテーションマスクを考慮して前記組織学的画像を表示できるように、前記組織学的画像データセットおよび前記セグメンテーションマスクを前記ディスプレイに送信するように動作可能なディスプレイ出力部と、
をさらに含む、
請求項４２または４３記載の装置。

【請求項45】

クリニカルネットワークであって、
請求項４２から４４までのいずれか１項記載のコンピュータ装置と、
組織学的画像を含む患者データのレコードを保存するように構成されたデータリポジトリと、
前記コンピュータ装置と前記データリポジトリとの間の患者データレコードまたはその一部の転送を可能にするネットワーク接続と、
を含む、クリニカルネットワーク。

【請求項46】

前記クリニカルネットワークが、組織学的画像を取得し、前記組織学的画像を前記データリポジトリ内のレコードに保存するように動作可能な画像取得装置をさらに含む、
請求項４５記載のクリニカルネットワーク。

【請求項47】

組織学的スライドから組織学的画像データセットを取得するためのスライドスキャナであって、前記スライドスキャナが、
スライドローダおよび対物レンズを含む顕微鏡モジュールと、
前記顕微鏡モジュールを制御して組織学的画像データセットを取得するように動作可能な制御コンピュータと、
請求項１から２０までのいずれか１項記載の方法を実行して、前記関心領域を特定するように動作可能なニューラルネットワーク処理モジュールと、
を含む、スライドスキャナ。

【請求項48】

前記スライドスキャナが、
請求項３２から３４までのいずれか１項記載の追加の手段を実行し、前記関心領域に基づいて前記組織学的画像データセットを可変的に圧縮するように動作可能な圧縮モジュールをさらに含む、
請求項４７記載のスライドスキャナ。

【請求項49】

組織学的画像データセットの組織学的画像をユーザにインタラクティブに表示するためのビジュアライゼーションアプリケーションがロードされたコンピュータ装置であって、前記コンピュータ装置が、
遅延が増大する階層に配置された複数のメモリ層で構成されるメモリであって、少なくとも最小の遅延のメモリ層がキャッシュ層である、メモリと、
ビジュアライゼーションアプリケーションであって、
前記メモリのより高い遅延の部分に保存された組織学的画像データセットにアクセスするように動作可能であり、前記組織学的画像データセットが、
請求項１から２０までまたは請求項３２から３７までのいずれか１項に従って前処理され、前記組織学的画像の関心領域をマーキングするセグメンテーションマスクを含み、前記組織学的画像データセットが、前記最小の遅延のメモリ層でのみ保持できるよりも大きく、かつ
関心領域を含まない他のサブ画像と比較して、
前記関心領域を含む前記データセットの前記少なくとも１つのキャッシュ層を高解像度の小面積のサブ画像へ優先的にプリロードして保持することにより、前記組織学的画像データセットを観察するコマンドの受信に応答する、
ビジュアライゼーションアプリケーションと、
を含む、コンピュータ装置。

【請求項50】

前記組織学的画像データセットが請求項３に従って前処理されている場合、前記小面積のサブ画像が、ランキング順を考慮して、前記少なくとも１つのキャッシュ層へ優先的にロードされて保持され、これにより、高ランキングが、低遅延および／または優先キャッシュ保持にマッピングされる、
請求項４９記載のコンピュータ装置。

【請求項51】

前記コンピュータ装置が、グラフィックス処理ユニットをさらに含み、前記グラフィックス処理ユニットに割り当てられた少なくとも１つのキャッシュ層が存在している、
請求項４９または５０記載のコンピュータ装置。

【請求項52】

コンピュータ装置であって、
組織学的画像データセットの組織学的画像をユーザにインタラクティブに表示するためのビジュアライゼーションアプリケーションと、
組織学的画像データセットを遠隔データリポジトリから前記コンピュータ装置に転送することを可能にするネットワーク接続を確立するためのネットワークコネクタと、
を含み、
前記ビジュアライゼーションアプリケーションが、関心領域を含まない他のサブ画像をプリロードする前に、前記関心領域を含む前記データセットの小面積のサブ画像を優先的にプリロードすることによって、
請求項１から２０までまたは請求項３２から３７までのいずれか１項に従って前処理され、前記組織学的画像の関心領域をマーキングするセグメンテーションマスクを含む組織学的画像データセットをロードするように動作可能である、
コンピュータ装置。

【請求項53】

関心領域を含む小面積のサブ画像の前記優先的なロードが、前記データリポジトリに保存されたネイティブ解像度で前記サブ画像をロードするために適用される、
請求項５２記載のコンピュータ装置。

【請求項54】

前記データリポジトリに保存された組織学的画像データセットが請求項３に従って前処理されている場合、前記小面積のサブ画像が、そのランキング順を考慮して優先的にロードされる、
請求項５２または５３記載のコンピュータ装置。

【請求項55】

試験化合物で処理された所与の組織型の組織サンプルの組織学的画像を処理するためのコンピュータ自動化方法であって、前記方法が、
試験化合物で処理された組織サンプルの組織学的画像を受信することであって、前記組織学的画像が、複数の画像タイルに細分化することができるピクセルの２次元アレイを含む、ことと、
前記試験化合物で処理されていない前記所与の組織型の組織サンプルの複数の組織学的画像を含む訓練データセットで訓練されたオートエンコーダを提供することと、
前記オートエンコーダを前記組織学的画像にタイルごとに適用して、
ａ．前記組織学的画像から画像タイルを抽出し、
ｂ．前記画像タイルを前記オートエンコーダに入力し、
ｃ．対応する画像タイルを出力として受信し、
ｄ．前記入力画像タイルと前記出力画像タイルとの間の距離を計算する
ことと、
前記計算された距離に基づいて前記組織学的画像の毒性マップを生成することと、
前記毒性マップを保存することと、
を含む、方法。

【請求項56】

各タイルの前記距離が閾値と比較され、前記距離が前記閾値を超える場合、その画像タイルが毒性を有するとラベル付けされる、
請求項５５記載の方法。

【請求項57】

前記毒性マップは、各タイルが毒性を有するものとしてラベル付けされているか否かに基づくバイナリマスクを含む、
請求項５６記載の方法。

【請求項58】

前記毒性マップは、毒性を有するものとしてラベル付けされたタイルがその距離値に比例する温度値を割り当てられるヒートマップを含む、
請求項５６記載の方法。

【請求項59】

前記ヒートマップが、毒性を有するものとしてラベル付けされていないタイルに共通のベース温度値を割り当てる、
請求項５８記載の方法。

【請求項60】

前記方法が、毒性ラベル全体を保存することをさらに含み、前記毒性ラベル全体は、前記組織学的画像を、前記画像タイルのいずれかが毒性を有すると判別された場合は毒性を有するものとして指定し、前記画像タイルのいずれも毒性を有すると判別されなかった場合には非毒性であると指定する、バイナリラベルである、
請求項１から５９までのいずれか１項記載の方法。

【請求項61】

前記方法が、セグメンテーションアルゴリズムを前記毒性マップに適用して、毒性タイルを毒性領域にグループ化し、これによって前記毒性領域のセグメンテーションマスクを生成することをさらに含む、
請求項１から６０までのいずれか１項記載の方法。

【請求項62】

前記方法が、前記セグメンテーションマスクを前記毒性マップに保存することをさらに含む、
請求項６１記載の方法。

【請求項63】

前記方法が、前記距離によって測定される毒性に従って、前記毒性タイルまたは毒性領域をランク付けすることをさらに含む、
請求項５５記載の方法。

【請求項64】

前記方法が、前記ランク付けを前記毒性マップに保存することをさらに含む、
請求項６３記載の方法。

【請求項65】

前記方法が、
ビジュアライゼーションアプリケーションを提供することと、
前記毒性マップを考慮して前記組織学的画像のビジュアライゼーションを作成することと、
をさらに含む、
請求項１から６４までのいずれか１項記載の方法。

【請求項66】

前記ビジュアライゼーションは、前記毒性マップが前記組織学的画像上にオーバレイされる概観表示ペインを含む、
請求項６５記載の方法。

【請求項67】

前記概観表示ペインが、各毒性領域のランク付けラベルを含む、
請求項６３に付加される請求項６５記載の方法。

【請求項68】

前記ビジュアライゼーションは、前記毒性マップおよび前記組織学的画像が１対１の比較のために互いに隣接して提示されるそれぞれの概観表示ペインを含む、
請求項６５記載の方法。

【請求項69】

前記毒性マップの前記概観表示ペインが、各毒性領域のランク付けラベルを含む、
請求項６３に付加される請求項６７記載の方法。

【請求項70】

前記方法が、毒性領域を選択するためにユーザが前記ビジュアライゼーションとのインタラクションを行うことを可能にするように動作可能なユーザインタフェース毒性領域選択制御をさらに含む、
請求項１から６９までのいずれか１項記載の方法。

【請求項71】

前記ビジュアライゼーションが、現在選択されている毒性領域にズームインされた拡大表示ペインを含む、
請求項７０記載の方法。

【請求項72】

前記毒性領域選択制御が、前記毒性領域をランキング順でスイープするためのスクロール機能を有する、
請求項７０または７１記載の方法。

【請求項73】

前記ビジュアライゼーションが、ランキング順に提示された毒性領域のランク付けされたリストを含み、各々が前記毒性領域のサムネイル画像を伴う、
請求項６３に付加される請求項６５記載の方法。

【請求項74】

前記ビジュアライゼーションが、前記毒性領域の画像のモザイクを含む、
請求項６５記載の方法。

【請求項75】

前記閾値は、前記ユーザによって設定することができる、
請求項１から７４までのいずれか１項記載の方法。

【請求項76】

前記ビジュアライゼーションアプリケーションは、前記ユーザが前記閾値を設定することができるユーザ制御を有する、
請求項６５に付加される請求項７５記載の方法。

【請求項77】

前記ヒートマップが、カラースケールまたはグレースケールで前記可視化されて提示される、
請求項５８に付加される請求項６５記載の方法。

【請求項78】

前記ヒートマップが、等高線で前記可視化されて提示される、
請求項５８に付加される請求項６５記載の方法。

【請求項79】

前記オートエンコーダが、前記訓練データセットの前記組織学的画像から画像タイルを抽出することによって訓練され、訓練に使用される前記抽出された画像タイルは、前記試験化合物で処理された前記組織サンプルの前記組織学的画像が前記毒性マップを生成するために細分化されるものと同じサイズである、
請求項１から７８までのいずれか１項記載の方法。

【請求項80】

請求項１から７９までのいずれか１項記載の方法を実行するための機械可読命令を有するコンピュータプログラム製品。

【請求項81】

試験化合物で処理された所与の組織型の組織サンプルの組織学的画像を処理するためのコンピュータ装置であって、前記装置が、
試験化合物で処理された組織サンプルの組織学的画像を受信するように動作可能な入力部であって、前記組織学的画像が、複数の画像タイルに細分化することができるピクセルの２次元アレイを含む、入力部と、
前記試験化合物で処理されていない前記所与の組織型の組織サンプルの複数の組織学的画像を含む訓練データセットで訓練されたオートエンコーダを実行するための機械可読命令がロードされた処理モジュールであって、
前記オートエンコーダを前記組織学的画像にタイルごとに適用して、
ａ．前記組織学的画像から画像タイルを抽出し、
ｂ．前記画像タイルを前記オートエンコーダに入力し、
ｃ．対応する画像タイルを出力として受信し、
ｄ．前記入力画像タイルと前記出力画像タイルとの間の距離を計算する
ことと、
前記計算された距離に基づいて前記組織学的画像の毒性マップを生成することと、
を行うように構成された、処理モジュールと、
前記毒性マップを保存するように動作可能な出力部と、
を含む、装置。

【請求項82】

前記装置が、
組織学的画像の毒性マップを考慮して前記組織学的画像のビジュアライゼーションを作成するように動作可能なビジュアライゼーションアプリケーションと、
前記ビジュアライゼーションアプリケーションからビジュアライゼーションを受信するように構成されたディスプレイと、
をさらに含む、
請求項８１記載の装置。

【請求項83】

システムであって、
請求項８１または８２記載のコンピュータ装置と、
関連する毒性マップを伴う組織学的画像を含む患者データのレコードを保存するように構成されたデータリポジトリと、
前記コンピュータ装置と前記データリポジトリとの間の患者データレコードまたはその一部の転送を可能にするネットワーク接続と、
を含む、システム。

【請求項84】

前記システムが、
請求項８１または８２記載のコンピュータ装置と、
組織学的画像を取得するように動作可能な画像取得装置と、
を含む、システム。

【請求項85】

前記システムが、
関連する毒性マップを伴う組織学的画像を含む患者データのレコードを保存するように構成されたデータリポジトリと、
前記コンピュータ装置と前記データリポジトリとの間の患者データレコードまたはその一部の転送を可能にするネットワーク接続と、
をさらに含む、
請求項８４記載のシステム。

【請求項86】

試験化合物で処理された組織サンプルの組織学的画像を処理するためのコンピュータ自動化方法であって、前記方法が、
前記組織サンプルの前記組織学的画像を受信することであって、前記組織学的画像が、ピクセルの２次元アレイを含む、ことと、
第１の畳み込みニューラルネットワークを前記組織学的画像に適用して、前記組織学的画像の前記２次元アレイに対するマッピングを有するピクセルの２次元アレイを有する第１の出力画像パッチを生成することであって、前記第１の出力画像パッチが、複数の関連性クラスのうちの１つを各ピクセルに割り当てることによって生成され、前記複数の関連性クラスが、関心ピクセルを表す少なくとも１つのクラスおよび非関心ピクセルを表す少なくとも１つのクラスを含み、前記第１の畳み込みニューラルネットワークが、組織学的画像および病理医インタラクションデータを含む訓練データセットを使用して訓練され、前記病理医インタラクションデータは、病理医が組織学的画像のビジュアライゼーションとのインタラクションをどのように行ったかに関連する複数のパラメータを記録する、ことと、
前記第１の出力画像パッチから関心領域マップを生成することであって、前記関心領域マップが、関心ピクセルによって占有された関心領域を特定する、ことと、
第２の畳み込みニューラルネットワークを前記組織学的画像に適用して、前記組織学的画像の前記２次元アレイに対するマッピングを有するピクセルの２次元アレイを有する第２の出力画像パッチを生成することであって、前記第２の畳み込みネットワークが、前記試験化合物で処理されていない組織サンプルの複数の組織学的画像を含む訓練データセットで訓練される、ことと、
前記マッピングに従って、前記第２の出力画像パッチと前記組織学的画像の対応する部分との間の距離を計算することと、
前記計算された距離に基づいて、前記組織学的画像の毒性マップを生成することと、
前記関心領域マップおよび前記毒性マップを分析して、前記関心領域マップおよび前記毒性マップの両方に現れる前記組織学的画像の領域を特定することと、
前記関心領域マップおよび前記毒性マップの両方に現れる前記組織学的画像の各領域の毒性信頼スコアを増大させることと、
を含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、臨床的な関心領域および毒性病理を含む領域を発見するためのニューラルネットワークを用いた病理画像の画像処理に関する。

【背景技術】

【0002】

デジタルパソロジーにより、病理医がスライドを観察して診断する手法は変化を続けている。従来の手法では、病理医は、スライドガラスを顕微鏡下で観察することによりスライドを検査する。病理医はまず、低倍率の対物レンズでスライドを観察する。診断価値がある可能性が高い領域が観察された場合、病理医は、高倍率の対物レンズに切り替えて、その領域をより詳細に観察する。その後、病理医は低倍率に戻し、スライド上の他の領域の検査を続ける。スライドに対する確定的かつ完全な診断が可能となるまで、低倍率－高倍率－低倍率の観察シーケンスをスライド上で数回繰り返すことができる。

【0003】

過去２０年間で、デジタルスキャナの導入によりこのワークフローが変化している。デジタルスキャナは、スライドガラス全体の画像、いわゆる全スライド画像（ＷＳＩ）を取得し、病理医を必要としない大部分が自動化されたプロセスにおいて、デジタル画像データファイルとしてＷＳＩを保存することができる。得られた画像データファイルは、通常、スライドデータベースに保存される。高解像度ディスプレイを備えた観察ワークステーションにいる病理医は、スライドデータベースからクリニカルネットワークを介して、これを利用することができる。当該ワークステーションは、この目的のためのビジュアライゼーションアプリケーションを有している。

【0004】

病理学におけるより最近の進展として、ＣＮＮ法が研究上の関心を高めていることが挙げられる。病理画像から腫瘍を同定し診断する際に、ＣＮＮ法が、病理医と同等のまたはそれ以上の性能を発揮していることが報告されるようになってきている。

【0005】

Ｗａｎｇ ｅｔ ａｌ．（２０１６）では、乳癌のリンパ節への転移を検出するためのＣＮＮアプローチについて説明されている。

【0006】

米国特許出願公開第２０１５／２１３３０２号明細書では、癌性組織の領域で細胞の有糸分裂がどのように検出されるかが説明されている。ＣＮＮを訓練した後、有糸分裂カウントを実行する自動核検出システムに基づいて分類が実行され、有糸分裂カウントは、腫瘍の等級付けに使用されている。

【0007】

Ｈｏｕ ｅｔ ａｌ．（２０１６）では、脳癌および肺癌の画像処理が行われている。ＷＳＩの画像パッチが、パッチレベルＣＮＮによって与えられるパッチレベルの予測を行うために使用されている。

【0008】

Ｌｉｕ ｅｔ ａｌ．（２０１７）では、ギガピクセルの乳癌の組織学的画像から抽出された画像パッチをＣＮＮで処理し、画像内の全てのピクセルに腫瘍確率を割り当てることで、腫瘍が検出され、その位置が特定されている。

【0009】

Ｂｅｊｎｏｒｄｉ ｅｔ ａｌ．（２０１７）では、２つの積層ＣＮＮを適用して、ヘマトキシリンおよびエオシン（Ｈ＆Ｅ）染色で染色された乳房組織のＷＳＩから抽出された画像パッチの腫瘍が分類されている。その性能は、これらの病理画像での物体の検出およびセグメンテーションに適していることを示している。さらに、Ｂｅｊｎｏｒｄｉ ｅｔ ａｌ．は、乳癌サンプルに適用される他のＣＮＮベースの腫瘍分類方法の概要も提供していることに留意されたい（参考文献１０～１３を参照）。

【0010】

Ｅｓｔｅｖａ ｅｔ ａｌ．（２０１７）では、深層ＣＮＮを適用して皮膚病変が分析され、木構造分類に従って、病変が種々の悪性型、非悪性型および非腫瘍性型に分類されている。これには、悪性型の無色素性黒色腫、無色素性黒色腫および黒子黒色腫、ならびに非悪性型の青色母斑、ハロー母斑および蒙古斑が含まれている。皮膚病変（黒色腫など）の画像が、臨床クラス全体の確率分布に順次ワーピングされて、分類が実行される。

【0011】

Ｍｏｂａｄｅｒｓａｎｙ ｅｔ ａｌ．（２０１７）では、脳腫瘍と診断された患者の全生存率を予測する生存ＣＮＮに基づく計算方法が開示されている。患者の転帰を予測するために、組織生検による病理画像データ（組織学的画像データ）がモデルおよび患者固有のゲノムバイオマーカーに入力されている。この方法では、適応フィードバックを使用して、患者の転帰に関連する視覚パターンおよび分子バイオマーカーが同時に学習される。

【0012】

Ｓｃｈａｕｍｂｅｒｇ ｅｔ ａｌ．（２０１７）では、別のアプローチが採用されている。病理医の診断を模倣して腫瘍の同定を試みるのではなく、病理医が顕微鏡下でスライドの（パッチと称される）各領域を観察するのに費やした時間を監視することによってＣＮＮが訓練されている。病理画像は、膀胱癌または前立腺癌の患者の組織サンプルである。ＣＮＮは、顕微鏡下でスライドを検査する従来のワークフローに基づいて訓練されている。つまり、病理医はまず、低倍率でスライドをレビューする。診断価値のある領域が観察された場合、病理医は、高倍率の対物レンズに切り替え、そのレビューが終了すると、低倍率に戻す。このプロセスが、確定診断が得られるまで数回繰り返される。訓練データは、スライドの種々の領域にわたって病理医の動きおよび観察の時間を観察することによって収集され、これがＣＮＮによって使用されて、スライドの空間的および時間的な「顕著性」マップが生成される。このモデルでは、病理医がパッチをより詳細に調査するために高倍率の対物レンズでパッチを観察した場合のみ、つまり低倍率から高倍率の対物レンズに切り替えて観察した場合のみ、パッチを「顕著」であるとして、つまり潜在的に癌性であるとして分類することができる。次に、より高倍率で観察されたパッチは、この高倍率での病理医の観察時間が閾値時間より上であるか下であるかに応じて、「顕著」であるか、または「非顕著」であるとして分類される。このＣＮＮアプローチにより、８５～９１％のテスト精度で顕著なスライドパッチを予測できると報告されている。

【0013】

Ｒｏａ－Ｐｅｎａ ｅｔ ａｌ．（２０１０）では、様々な病理医が仮想スライド画像をレビューし、その結果を使用して仮想スライド画像を低解像度および高解像度のビューで病理医に提示するための、ビジュアライゼーションアプリケーションのグラフィカルユーザインタフェースの設計を改善する方法の検討を報告している。当該結果により、パラメータ、すなわちどの領域が病理医によって往診されたか、往診された領域で費やした時間、および病理医の間の一致レベルなどの組み合わせによって、関心領域が定義されることが示唆されている。ここで、一致レベルとは、病理医の間の相関性の尺度であり、同じ仮想スライドをレビューした複数の病理医のうち、同じ領域を往診した人数を示している。

【0014】

さらに、薬剤候補などの試験化合物を同定する際には、健康への悪影響があるかどうかを知ることが不可欠である。これらの影響は微小でありうるので、微視的レベルでしか認識できない場合もある。健康への悪影響を確認するために、毒性病理医により、試験化合物で処理されたか、または処理されていない組織サンプルの献体スライド画像がレビューされている（Ｇｒｅａｖｅｓ（２０１２））。処理済みおよび未処理のサンプルスライドを比較することにより、訓練を受けた病理医は、他の変化および正常な組織の変化から、試験化合物によって引き起こされた変化を特定することができる。正常な組織の変化の範囲は非常に広範な場合があるため、これは容易な作業ではない。

【0015】

従来、病理医は顕微鏡下のスライドガラス上で観察を行っていた。しかし、デジタルスキャナの導入により、デジタル画像を作成することが可能になった。デジタルスキャナは、スライドガラス全体の画像、いわゆる全スライド画像（ＷＳＩ）を取得するものであり、病理医を必要としない大部分が自動化されたプロセスにおいて、ＷＳＩは、デジタル画像データファイル、いわゆる仮想スライドとして保存することができる。得られる画像データファイルは、通常、スライドデータベースに保存され、スライドデータベースからクリニカルネットワークを介して、高解像度ディスプレイを備えた観察ワークステーションにいる病理医がこれを利用することができる。当該ワークステーションは、この目的のためのビジュアライゼーション（または観察）アプリケーションを有している。デジタルパソロジーにより、毒性病理医は、他の病理医と相談して診断を確立することができる。これらのデジタルＷＳＩで実行された画像分析により、手動による定量化の必要性が減少または排除された（Ｄｏｂｓｏｎ ｅｔ ａｌ．（２０１０））。デジタルパソロジーによって効率の改善が導入されたにもかかわらず、試験化合物によるモルフォロジー変化の検出では、毒性病理医が多くの組織サンプルを調べ、観察された変化が試験化合物によるものなのか、正常な組織の不均一性またはその他の疾患プロセスによるものなのかを判別する必要があり、冗長でエラーが発生しやすいプロセスとなっている。

【0016】

デジタルパソロジーにおけるより最近の進展として、ＣＮＮ法が研究上の関心を高めていることが挙げられる。組織学的画像による腫瘍の同定および診断において、ＣＮＮ法が複数の分野で病理医と同等、あるいはそれ以上の性能を発揮していることが報告されるようになってきている。

【0017】

Ｗａｎｇ ｅｔ ａｌ．（２０１６）では、乳癌のリンパ節への転移を検出するためのＣＮＮアプローチについて説明されている。

【0018】

Ｌｉｕ ｅｔ ａｌ．（２０１７）では、ギガピクセルの乳癌の組織学的画像から抽出された画像パッチがＣＮＮで処理され、画像内の全てのピクセルに腫瘍確率を割り当てることで、腫瘍が検出され、その位置が特定されている。

【0019】

Ｅｓｔｅｖａ ｅｔ ａｌ．（２０１７）では、深層ＣＮＮが適用されて皮膚病変が分析され、木構造分類に従って、病変が、種々の悪性型、非悪性型および非腫瘍性型に分類されている。これには、悪性型の無色素性黒色腫、無色素性黒色腫および黒子黒色腫、ならびに非悪性型の青色母斑、ハロー母斑および蒙古斑が含まれている。皮膚病変（黒色腫など）の画像は、臨床クラス全体の確率分布に順次ワーピングされて、分類が実行される。

【0020】

このため、上記のような従来のシステムに見られる重大な問題を克服したシステムおよび方法が求められている。

【発明の概要】

【課題を解決するための手段】

【0021】

本開示の一態様によれば、組織学的画像のデータセットを処理する方法が提供され、この方法は、
ピクセルの２次元アレイを含む組織学的画像のデータセットを受信することと、
畳み込みニューラルネットワークを適用して、組織学的画像の２次元アレイに対するマッピングを有するピクセルの２次元アレイを有する出力画像パッチを生成することであって、出力画像パッチが、複数の関連性クラスのうちの１つを各ピクセルに割り当てることによって生成され、複数の関連性クラスが、関心ピクセルを表す少なくとも１つのクラスおよび非関心ピクセルを表す少なくとも１つのクラスを含み、畳み込みニューラルネットワークが、組織学的画像および病理医インタラクションデータを含む訓練データセットを使用して訓練され、病理医インタラクションデータは、病理医が組織学的画像のビジュアライゼーションとどのようにインタラクションを行ったかに関連する複数のパラメータを記録する、ことと、
関心ピクセルによって占有された関心領域がマーキングされている出力画像パッチから、セグメンテーションマスクを生成することと、
を含む。

【0022】

提案しているアプローチにより、画像内の潜在的な、または潜在的に重要な腫瘍、病変、または他の臨床的に関連する特徴がどこに位置しうるかを病理医に示すことができ、これにより、これらの領域への直接にナビゲートを病理医に促すことが可能となる。このようにして、関連する領域が病理医によって見落とされる可能性が低くなるため、分析の信頼性を向上させることができる。さらに、病理医はＣＮＮ法でマーキングされた関心領域に誘導されることで恩恵を受け、関連領域を誤って見落とす心配が少なくなり、ＣＮＮ法が関心領域であると特定した領域をより徹底的にレビューできるため、病理医のスループットを向上させることができる。病理医はまた、ＣＮＮ分析結果に基づいて行われた関心領域の任意のフィルタリングおよび／またはランキングを考慮に入れて、限られた分析時間を配分するように暗黙的に支援される。これにより、仮想スライド画像の調査における病理医の時間がより良好に全体的に配分される。

【0023】

本方法は、関心領域に含まれる各関心ピクセルからのスコア寄与を集約することに基づくスコアリングアルゴリズムに従って、各関心領域のスコアを求めることをさらに含みうる。さらに、関心領域は、そのスコアに従ってランク付けされうる。

【0024】

要約統計量は、関心領域ごとに計算でき、各関心領域の要約統計量にフィルタを適用して、フィルタに従って関心領域を選択および選択解除することにより、セグメンテーションマスクを編集することができる。

【0025】

クラスは、関心ピクセルを表す複数のクラスを含むことができ、これらのクラスは、関心レベルの増大に関連付けられている。その場合、関心レベルに応じて、スコアの寄与は、ピクセルを重み付けしうる。

【0026】

パラメータには、ピクセルの観察時間、ピクセルの観察倍率、病理医の注釈に関連付けられた組織学的画像上の場所または領域のピクセル、およびより高倍率で観察するためのユーザコマンドの対象となった組織学的画像上の場所または領域のピクセルのうちの１つ以上を任意の組み合わせで含めることができる。

【0027】

訓練データセットにおいて、所与の組織学的画像の病理医インタラクションデータには、複数の病理医からのインタラクションが含まれうる。パラメータには、複数の病理医からの同じ組織学的画像に対するインタラクション間の相関係数が含まれる。

【0028】

畳み込みニューラルネットワークは、特定の実施形態において、組織学的画像から画像パッチを抽出することであって、画像パッチが、幅および高さのピクセル数によって定められるサイズを有する組織学的画像またはそのセットの領域部分である、ことと、畳み込みニューラルネットワークに重みのセットおよび複数のチャネルを提供することであって、各チャネルが、特定される複数の関連性クラスのうちの１つに対応する、ことと、各画像パッチを入力画像パッチとして畳み込みニューラルネットワークに入力することと、多段畳み込みを実行して、最小次元の最終畳み込み層までさらに次元削減された畳み込み層であって、最小次元の最終畳み込み層を含む、畳み込み層を生成し、続いて、多段転置畳み込みにより、入力画像パッチとサイズが一致する層が復元されるまで、さらに次元増大された逆畳み込み層を生成することにより、畳み込みを反転する多段転置畳み込みを行うことであって、復元された層の各ピクセルが、関連性クラスの各々に属する確率を含む、ことと、出力画像パッチに到達する当該確率に基づいて、復元された層の各ピクセルに関連性クラスを割り当てることとによって、適用される。

【0029】

さらに、出力画像パッチは、組織学的画像の確率マップにアセンブルされうる。さらに、組織学的画像内の関心領域は、確率マップに従って画定されうる。

【0030】

本実装形態において、連続する各畳み込み段階では、次元が削減されるにつれて深度が増大するため、畳み込み層の深度は増大し、次元は削減される。また、連続する転置畳み込み段階では、次元が増大するにつれて深度が減少するため、逆畳み込み層の深度は減少し、次元は増大する。最終畳み込み層は、最大の深度および最小の次元を有する。畳み込み段階および逆畳み込み段階でそれぞれ深度が増大および減少するアプローチの代わりに、入力層と出力層とを除く全ての層が同じ深度を有するニューラルネットワークを設計することもできる。

【0031】

特定の実施形態では、畳み込みニューラルネットワークは、１つ以上のスキップ接続を有する。各スキップ接続は、最終畳み込み層よりも大きな次元の畳み込み層のうちの少なくとも１つから中間結果を取得し、これらの結果を、なし、１つ、または２つ以上でありうる、必要な数の転置畳み込みに供して、入力画像パッチにサイズが一致する少なくとも１つのさらなる復元された層を取得する。次に、これらは、各ピクセルにクラスを割り当てる当該ステップの前に、上記の復元された層と組み合わされる。さらなる処理ステップでは、確率を再計算するために、復元された層をさらに復元された層の各々と組み合わせ、これによって、スキップ接続から得られた結果が考慮される。

【0032】

特定の実施形態では、ソフトマックス演算を使用して確率を生成する。

【0033】

組織学的画像から抽出された画像パッチは、画像の全領域をカバーすることができる。パッチは、重複しない画像タイル、またはマージン部分で重複して確率マップのつなぎ合わせを支援する画像タイルでありうる。ＣＮＮは固定サイズのピクセルアレイのみを受け入れるように設計されているため、各画像パッチは、ＣＮＮに一致する幅および高さの固定数のピクセルを有する必要があるが、このことは、各画像パッチが組織学的画像上の同じ物理的領域に対応する必要があることを意味するものではない。なぜなら、組織学的画像のピクセルは、より広い領域をカバーする低解像度のパッチに結合される可能性があるからである。例えば、隣接するピクセルの各２×２アレイを組み合わせて、１つの「スーパー」ピクセルとし、組織学的画像のネイティブ解像度で抽出されたパッチの物理的領域の４倍のパッチを形成することができる。

【0034】

本方法は、ＣＮＮが訓練された後、予測のために実行することができる。この訓練の目的は、層間接続に適切な重み値を割り当てることである。訓練の場合、使用されるレコードには、グラウンドトゥルースデータが含まれ、グラウンドトゥルースデータにより、組織学的画像またはそのセットの各ピクセルがクラスの１つに割り当てられる。グラウンドトゥルースデータは、専門の臨床医が十分な数の画像に注釈を付けることにより得られる。訓練は、ＣＮＮを繰り返し適用することによって実行され、各反復では、グラウンドトゥルースデータと出力画像パッチとの比較に基づいて重み値が調整される。本実装形態では、重みは、訓練中に、勾配降下法によって調整される。

【0035】

組織学的画像データセットは、１つの組織学的画像のみを含みうるか、または例えば、組織の領域の異なって染色された隣接するセクションから得られた複数の組織学的画像の合成物でありうる。幾つかの実施形態では、ＣＮＮは、一度に１つの（合成物でありうる）組織学的画像に適用される。他の実施形態では、ＣＮＮは、組織の領域の異なって染色された隣接するセクションから取得された画像のセットの画像の各々と並行して適用されうる。

【0036】

結果は、臨床医のディスプレイに表示されうる。すなわち、組織学的画像は、関連する確率マップとともに表示することができ、例えば、その上にオーバレイして、または互いに並べて表示することができる。スコアは、例えば、関心領域にテキストラベルを付けたり、関心領域を指し示したり、画像の横に表示したりするなど、便利な方法で表示することもできる。

【0037】

上記の方法による結果は、セグメンテーションマスクに依存する組織学的画像のビジュアライゼーションを生成するためのビジュアライゼーションアプリケーションの補助を受けて、ユーザに提示することができる。ビジュアライゼーションは、ランキングの視覚的表示を含むように、ランキングを考慮して生成することができる。

【0038】

グラフィカルユーザインタフェースのレイアウトには種々の選択肢がある。表示装置での表示に適したビジュアライゼーションは、概観表示ペインおよびセグメンテーションマスク表示ペインを含みうる。概観表示ペインおよびセグメンテーションマスク表示ペインは、組織学的画像の上に、または組織学的画像と一緒にオーバレイされたセグメンテーションマスクとともに表示することができる。ビジュアライゼーションはまた、関心領域の全ての領域または選択された領域についての複数の並置された画像を含む、モンタージュの形態でありうる。ビジュアライゼーションアプリケーションは、関心領域を選択するために、ユーザがビジュアライゼーションとのインタラクションを行うことを可能にするように動作可能なグラフィカルユーザインタフェース選択制御を含みうる。

【0039】

ユーザが具体的に観察した関心領域を追跡するために、ビジュアライゼーションアプリケーションのエージェントを提供することができ、これにより、組織学的画像データセットのビジュアライゼーションとのユーザのインタラクションが監視されるこの追跡に基づいて、ビジュアライゼーションアプリケーションは、組織学的画像のビジュアライゼーションセッションを終了するためのユーザコマンドに応答して呼び出される確認機能を組み込むことができる。ここで、確認機能は、ユーザが関心のある領域の論理サンプルを具体的に観察したかどうかの確認を実行するものであり、この確認は、何らかの方法でランク付けすることによって制限されうる。例えば、上位の５個または１０個など、上位にランク付けされた関心領域が具体的に観察されていることのみを確認することができる。あるいは具体的に観察された関心領域のリストに、少なくとも上位ランクの関心領域と、ユーザが具体的に観察した最低ランクの関心領域までのランキングに含まれる他の全ての関心領域とが含まれていることのみを確認できる。例えば、ユーザが第３のおよび第５のランク付けされた関心領域のみを具体的に観察した場合、確認機能は、第１、第２および第４のランク付けされた関心領域も具体的に観察するようにユーザを誘導することができる。この確認により、ユーザが関心領域の論理サンプルを具体的に観察していないことが示された場合、ビジュアライゼーションセッションを終了する前にさらなる確認入力を必要とする通知がユーザに発行されうる、かつ／またはユーザがまだ具体的に観察されていない関心領域を観察するように誘導されうる。

【0040】

上記の方法の結果は、組織学的画像データのデータ圧縮を支援するために使用することができる。特に、可変画像圧縮が、畳み込みニューラルネットワークによって検出された関心領域を考慮に入れる組織学的画像データセットに適用されうる。すなわち、関心領域の外側のピクセルを優先的に圧縮する圧縮アルゴリズムを適用することができ、これにより、組織学的画像データセットの圧縮バージョンが生成される。当該圧縮バージョンは、これが由来するデータセットとは別に、またはこれとともに、またはソースデータセットを上書きすることによって保存することができる。

【0041】

圧縮アルゴリズムは、可逆または不可逆でありうる。使用されている圧縮規格は、可逆のみ、または不可逆のみである場合もあれば、可逆圧縮と不可逆圧縮との選択肢を組み合わせている場合もある。

【0042】

関心領域を特定する上記の方法は、組織学的画像データセットの取得を含むワークフローに統合することができる。すなわち、この方法には、組織学的サンプルを含むスライドを提供することと、スライドスキャナを使用してスライドを走査し、組織学的画像データセットを取得することとに基づく画像データ取得が含まれうる。次に、ＣＮＮで関心領域を特定する上記の方法を適用することができる。この場合、結果は、組織学的画像データセットとともに保存することができ、ここで、組織学的画像データセットは、取得されたままの状態であってよく、または上記の可変圧縮アルゴリズムを使用して圧縮されたバージョンであってもよい。

【0043】

ＣＮＮ処理は、スライドスキャナと統合可能であり、例えば、取得された組織学的画像データをレコードとして仮想スライドライブラリまたは他のデータリポジトリに適切なネットワーク接続を介して保存する前に、スライドスキャナまたはその制御コンピュータによって実行されうる。別の選択肢は、ＣＮＮ処理をデータリポジトリと統合することである。これにより、取得した組織学的画像データは、ＣＮＮ処理が適用される前に、最初にスライドスキャナからデータリポジトリに転送される。

【0044】

本開示のさらなる一態様は、組織学的画像のビジュアライゼーションアプリケーションを操作する方法に関する。この方法は、組織学的画像データセットの組織学的画像をユーザにインタラクティブに表示するように動作可能なビジュアライゼーションアプリケーションがロードされたコンピュータ装置を提供することを含む。コンピュータ装置により、例えば、データリポジトリからネットワーク接続を介して組織学的画像データセットがロードされる。この組織学的画像データセットは、上記のＣＮＮ法に従って前処理されたものであるため、組織学的画像内の関心領域をマーキングするセグメンテーションマスクを含んでいる。このロードにより、関心領域を含まない他のサブ画像をロードする前に、関心領域を含む組織学的画像データセットの小面積のサブ画像が優先的にロードされる。このように、画像データが保存されている場所からコンピュータ装置へのデータ転送に遅れがある場合、例えばネットワーク接続の帯域幅制限などによって、関心領域に関連する高解像度の画像データが最初にロードされる。小面積のサブ画像は、組織学的画像データセットに保存されたネイティブ解像度でロードできる。組織学的画像データセットが関心領域をランク付けするために前処理されている場合、小面積のサブ画像は、ランキング順を考慮してロードすることができる。

【0045】

本開示のさらなる一態様は、上記の方法のいずれかを実行するための機械可読命令を有するコンピュータプログラム製品に関する。

【0046】

本開示のさらなる一態様によれば、組織学的画像内の関心領域を特定するためのコンピュータ装置が提供され、この装置は、メモリに保存されたレコードから組織学的画像データセットを受信するように動作可能な入力部と、上記のＣＮＮ法を実行するように構成されたＣＮＮ処理モジュールとを含む。コンピュータ装置は、セグメンテーションマスクに関連するメタデータを、組織学的画像データセットも含むレコードに保存し、その結果、メタデータが組織学的画像データセットにリンクされるように動作可能な出力部を備えうる。ディスプレイは、セグメンテーションマスクを考慮して組織学的画像を表示できるように、組織学的画像データセットおよびセグメンテーションマスクをディスプレイに送信するように動作可能なディスプレイ出力部を介してコンピュータ装置に接続されうる。

【0047】

本開示のさらなる一態様によれば、以下の要素のうちの１つ以上と組み合わせた、上記で指定されたコンピュータ装置を含むシステム、例えば、クリニカルネットワークが提供される。１つのシステム要素は、組織学的画像を含む患者データのレコードを保存するように構成されたデータリポジトリである。適切なネットワーク接続により、コンピュータ装置とデータリポジトリとの間で患者データレコードまたはその一部を転送できることが理解されよう。別のシステム要素は、組織学的画像を取得するように動作可能な画像取得装置である。画像取得装置は、適切なネットワーク接続を介して、取得した組織学的画像をデータリポジトリ内の記録に保存するように動作可能でありうる。

【0048】

本開示のさらなる一態様によれば、組織学的スライドから組織学的画像データセットを取得するためのスライドスキャナが提供され、スライドスキャナは、スライドローダおよび対物レンズを含む顕微鏡モジュールと、顕微鏡モジュールを制御して組織学的画像データセットを取得するように動作可能な制御コンピュータと、関心領域を特定するために上記のＣＮＮ処理方法を実行するように動作可能なニューラルネットワーク処理モジュールと、を含む。スライドスキャナは、関心領域に基づいて組織学的画像データセットの上記で指定された可変圧縮を実行するように動作可能な圧縮モジュールをさらに含みうる。

【0049】

本開示のさらなる一態様によれば、組織学的画像データセットの組織学的画像をユーザにインタラクティブに表示するためのビジュアライゼーションアプリケーションがロードされたコンピュータ装置が提供され、コンピュータ装置は、遅延が増大する階層に配置された複数のメモリ層で構成されるメモリであって、少なくとも最小の遅延のメモリ層が、キャッシュ層である、メモリと、ビジュアライゼーションアプリケーションと、を含む。ビジュアライゼーションアプリケーションは、メモリのより高い遅延の部分に保存された組織学的画像データセットにアクセスするように動作可能であり、組織学的画像データセットは、上記のＣＮＮ法のいずれかに従って前処理されており、そのため、組織学的画像の関心領域をマーキングするセグメンテーションマスクを含んでおり、組織学的画像データセットは、最小の遅延のメモリ層でのみ保持できるよりも大きいデータセットである。さらに、ビジュアライゼーションアプリケーションは、関心領域を含まない他のサブ画像と比較して、関心領域を含むデータセットの少なくとも１つのキャッシュ層の高解像度の小面積のサブ画像に優先的にプリロードして保持することにより、組織学的画像データセットを観察するコマンドの受信に応答する。組織学的画像データセットが関心領域をランク付けするために前処理されている場合、小面積のサブ画像は、ランキング順を考慮して少なくとも１つのキャッシュ層に優先的にロードされ、保持され、その結果、高ランキングが、低遅延および／または優先キャッシュ保持にマッピングされる。

【0050】

少なくとも幾つかの実施形態では、組織学的画像は、顕微鏡、特に光学顕微鏡によってセクション化された組織サンプルから撮影された２次元画像のデジタル表現であることが理解されよう。これは、従来の光学顕微鏡、共焦点顕微鏡、または未染色のもしくは染色された組織サンプルの組織学的画像を取得するのに適した他の種類の顕微鏡でありうる。組織学的画像のセットの場合、これらは、組織の領域の隣接するセクション（すなわちスライス）から撮影された一連の顕微鏡画像であってよく、各セクションは、異なって染色されていてよい。

【0051】

本開示の一態様を要約すると、畳み込みニューラルネットワークを組織学的画像に適用して、関心領域が特定される。ＣＮＮは、関連性クラスに従ってピクセルを分類し、当該関連性クラスには、関心レベルを示す１つ以上のクラスと、関心の欠如を示す少なくとも１つのクラスと、が含まれる。ＣＮＮは、訓練データセットで訓練され、当該訓練データセットには、病理医が組織学的画像のビジュアライゼーションとのインタラクションをどのように行ったかを記録したデータが含まれる。訓練済みＣＮＮでは、関心ベースのピクセル分類を使用して、関心領域を画定するセグメンテーションマスクが生成される。マスクは種々の目的に使用できる。ビジュアライゼーションアプリケーションで使用して、画像のどこに臨床的に関連する特徴が配置されているかを示すことができる。さらに、マスクを使用して、組織学的画像の可変データ圧縮を誘導することができる。さらに、マスクを使用して、クライアントサーバモデルまたはメモリキャッシュポリシー内のいずれかで画像データの読み込みを制御することができる。

【0052】

本開示の別の態様によれば、ニューラルネットワークを使用して、試験化合物によって引き起こされる組織の潜在的に危険な変化を特定することができ、その結果、より速く、より信頼性が高く、より安価な毒性調査がもたらされる。ニューラルネットワークとして、発明者らは、オートエンコーダの使用を提案している（Ｅｌｍａｎ ａｎｄ Ｚｉｐｓｅｒ（１９８８））。オートエンコーダは、非毒性であることが既知の試験化合物以外の化合物で未処理および／または処理された、特定の組織型の組織サンプルを含む訓練データセットを使用して、自己教師あり学習プロセスで訓練できる。訓練プロセスを通じて、オートエンコーダは、幾つかの組織型では不均一性の量が大きいことを念頭に置きながら、組織型の病理画像のどの変動が正常範囲内にあるかを学習する。次に、訓練済みオートエンコーダを適用して、特定の組織型で見られる通常の変動からの偏差順に組織領域を検出およびランク付けすることができる。オートエンコーダによって特定された領域、つまり組織型の不均一性の通常の範囲外にあるとオートエンコーダによって判別された領域を調べることにより、毒性病理医は、より迅速かつ確実に、健康への悪影響が存在するかどうかを判別することができる。提案したアプローチにより、試験化合物の健康への悪影響が見落とされる可能性を減らし、毒性病理医のワークフローの速度を上げることができる。

【0053】

本開示の一態様によれば、試験化合物で処理された所与の組織型の組織サンプルの組織学的画像を処理するためのコンピュータ自動化方法が提供される。この方法は、試験化合物で処理された組織サンプルの組織学的画像を受信することであって、組織学的画像が、複数の画像タイルに細分化することができるピクセルの２次元アレイを含む、ことと、試験化合物で処理されていない当該所与の組織型の組織サンプルの複数の組織学的画像を含む訓練データセットで訓練されたオートエンコーダを提供することと、オートエンコーダを組織学的画像に適用して、組織学的画像の毒性マップを生成することと、を含む。オートエンコーダは、タイルごとに操作され、組織学的画像から画像タイルを抽出し、画像タイルをオートエンコーダに入力し、対応する画像タイルを出力として受信し、入力画像タイルと出力画像タイルとの間の距離を計算する。これらの距離を使用して、毒性マップが生成される。次に、毒性マップを、例えばレコードに含まれうる組織学的画像にリンクされたメタデータとして保存することができる。レコードは、データリポジトリに集合的に保存されたかかる複数のレコードのうちの１つでありうる。データリポジトリは、仮想スライドライブラリなどのデータベース、またはストレージドライブのフォルダなどの単純なファイル構造でありうる。

【0054】

幾つかの実施形態では、各タイルの距離が閾値と比較され、距離が閾値を超える場合、その画像タイルが毒性を有するとラベル付けされる。これらのバイナリタイルの結果を使用して、各タイルが毒性を有するものとしてラベル付けされているかどうかに基づいて、バイナリマスクとして毒性マップを生成できる。また、毒性マップは、毒性とラベル付けされたタイルに距離値に比例する温度値が割り当てられたヒートマップの形態でありうる。ヒートマップが非毒性タイル、つまり毒性を有するものとしてラベル付けされていないタイルに共通のベース温度値を割り当てるように、値をフィルタリングすることができる。そのため、ビジュアライゼーションでは、非毒性のタイルは、例えばまったくマーキングしないか、または例えば半透明の洗浄によってユーザに非毒性であると明確に特定する何らかの方法でマーキングすることにより、均一に可視化される。

【0055】

全体としての組織学的画像の場合、タイルの結果を集計することにより、毒性または非毒性の単一のバイナリラベルを生成できる。すなわち、毒性ラベル全体を生成することができ、これは、画像タイルのいずれかが毒性を有すると判別された場合に、組織学的画像を毒性を有するものとして指定するバイナリラベルである。したがって、毒性ラベル全体は、その画像タイルのいずれも毒性を有すると判別されていない場合にのみ非毒性となる。

【0056】

上記の方法の拡張として、セグメンテーションアルゴリズムを毒性マップに適用して、毒性タイルを毒性領域にグループ化し、これによって毒性領域のセグメンテーションマスクを生成することができる。セグメンテーションマスクは、毒性マップに保存することもできる。

【0057】

所与の組織学的画像の毒性マップは、２つ以上のマップ（例えば、バイナリマップ、ヒートマップ、セグメンテーションマップ）の集合、または１つのマップのみでありうる。

【0058】

この方法はまた、距離によって測定された毒性に従って、毒性タイルまたは毒性領域をランク付けすることができ、このランキングは、毒性マップに保存することができる。

【0059】

組織学的画像処理の結果、すなわち毒性マップは、この毒性マップを考慮して組織学的画像のビジュアライゼーションを作成するように構成されたビジュアライゼーションアプリケーションと有用に組み合わせることができる。

【0060】

ビジュアライゼーションには、種々の選択肢が存在する。ビジュアライゼーションには、毒性マップが組織学的画像にオーバレイされる概観表示ペインが含まれうる。概観表示ペインには、各毒性領域のランク付けラベルが含まれうる。ビジュアライゼーションには、それぞれの概観表示ペインが含まれていてよく、毒性マップおよび組織学的画像が１対１の比較のために互いに隣接して表示される。ビジュアライゼーションアプリケーションには、１つ以上の毒性領域を選択するためのユーザインタフェース制御が含まれうる。次に、選択された毒性領域がその要約統計量をポップアップウィンドウまたはサイドバーに表示するか、または選択された毒性領域でユーザがさらに数値処理を開始することができる。ビジュアライゼーションには、現在選択されている毒性領域のビジュアライゼーションを提示する拡大表示ペインが含まれていてよく、ここで、拡大表示ペインには、現在選択されている毒性領域のビューを拡大した高解像度が表示される。毒性領域選択制御は、例えばマウスのスクロールホイールを使用して、ランキング順で毒性領域をスイープするためのスクロール機能を有しうる。

【0061】

ビジュアライゼーションの別の形態は、毒性領域をランキング順にリストに表示し、各毒性領域をサムネイル画像として表示することである。これは、分割画面形式の上記の拡大表示ペインと組み合わせて行うことができ、拡大表示ペインは、最初に高解像度で最高ランクの毒性領域を表示し、次にユーザが現在選択しているリスト項目を表示するように変更される。

【0062】

ビジュアライゼーションの別の形態は、ディスプレイに収まるように配置された画像のモザイクで毒性領域を提示することである。各モザイク要素には、ランクキングラベルが表示されうる。

【0063】

バイナリマスクを設定するために使用される閾値は、例えば、ビジュアライゼーションアプリケーションの適切なユーザ制御を用いて、ユーザによって設定および／または調整されうる。

【0064】

ヒートマップのビジュアライゼーションは、カラースケールもしくはグレースケール、または等高線など、種々の方法で表示できる。

【0065】

オートエンコーダを訓練する場合、訓練に使用される抽出された画像タイルは、後にライブシステムにおいて使用されるタイルと同じサイズであることが有用でありうる。つまり、訓練タイルは、試験化合物で処理された組織サンプルの組織学的画像から抽出された毒性マップを生成するためのライブシステムのタイルと同じサイズである。

【0066】

本開示のさらなる一態様は、上記の方法を実行するための機械可読命令を有するコンピュータプログラム製品に関する。

【0067】

本開示のさらに別の態様は、試験化合物で処理された所与の組織型の組織サンプルの組織学的画像を処理するためのコンピュータ装置に関し、装置が、試験化合物で処理された組織サンプルの組織学的画像を受信するように動作可能な入力部であって、組織学的画像が、複数の画像タイルに細分化することができるピクセルの２次元アレイを含む、入力部と、試験化合物で処理されていない当該所与の組織型の組織サンプルの複数の組織学的画像を含む訓練データセットで訓練されたオートエンコーダを実行するための機械可読命令がロードされた処理モジュールであって、処理モジュールが、オートエンコーダを組織学的画像にタイルごとに適用して、組織学的画像から画像タイルを抽出し、画像タイルをオートエンコーダに入力し、対応する画像タイルを出力として受信し、入力画像タイルと出力画像タイルとの間の距離を計算することと、計算された距離に基づいて組織学的画像の毒性マップを生成することと、を行うように構成された処理モジュールと、毒性マップを保存するように動作可能な出力部と、を含む。

【0068】

装置は、これらの毒性マップを考慮して組織学的画像のビジュアライゼーションを作成するように動作可能なビジュアライゼーションアプリケーションをさらに含みうる。ビジュアライゼーションアプリケーションからビジュアライゼーションを受信および提示するために、ディスプレイを提供することもできる。

【0069】

本開示のさらなる態様は、１つ以上の要素と組み合わせた上記のコンピュータ装置を含むシステムを提供する。特に、システムは、デジタルスライドスキャナなどの組織学的画像を取得するように動作可能な画像取得装置を含みうる。システムはまた、関連する毒性マップを伴う組織学的画像を含む患者データのレコードを保存するように構成された、仮想スライドライブラリなどのデータリポジトリを含みうる。コンピュータ装置とデータリポジトリとの間で患者データレコードまたはその一部を転送することを可能にするネットワーク接続もまた、システムの一部でありうることが理解されよう。

【0070】

本開示のこの態様を要約すると、試験化合物に対する毒性反応を検出するために、試験化合物で処理された所与の組織型の組織サンプルの組織学的画像を処理するための方法、装置、およびシステムが提供される。組織サンプルの組織学的画像を含む訓練データセットで訓練されたオートエンコーダが使用されており、当該組織サンプルは、所与の組織型であるが、試験化合物で処理されていない。訓練済みオートエンコーダは、組織型に見られる通常の変動からの偏差の順に組織領域を検出し、任意にランク付けするために適用され、画像の毒性マップを作成する。次に、当該毒性マップを使用して、毒性病理医に、組織型の不均一性の通常の範囲外にあるとオートエンコーダによって特定された領域を調べるように指示することができる。このように病理医をサポートすることで、平均して病理医のレビューが迅速になり、また信頼性も高まる。

【0071】

少なくとも幾つかの実施形態では、組織学的画像は、顕微鏡、特に光学顕微鏡によってセクション化された組織サンプルから撮影された２次元画像のデジタル表現であることが理解されよう。これは、従来の光学顕微鏡、共焦点顕微鏡、または未染色もしくは染色された組織サンプルの組織学的画像を取得するのに適した他の種類の顕微鏡でありうる。組織学的画像のセットの場合、これらは、組織の領域の隣接するセクション（すなわちスライス）から撮影された一連の顕微鏡画像であってよく、各セクションは、異なって染色されていてよい。

【0072】

本発明の他の特徴および利点は、以下の詳細な説明および添付の図面を検討した後、当業者にはより容易に明らかになるであろう。

【0073】

本発明の構造および動作は、以下の詳細な説明および添付図面を検討することで理解され、ここで、同様の参照番号は、同様の部品を指す。

【図面の簡単な説明】

【0074】

【図1A】本発明の一実施形態で使用されるニューラルネットワークアーキテクチャの概略図である。

【図1B】図１Ａのニューラルネットワークアーキテクチャ内で、大域特徴および局所特徴マップがどのように組み合わされて、一実施形態による入力画像パッチ内の各ピクセルの個々のクラスを予測する特徴マップを生成するかを示す図である。

【図1C】図１Ａのニューラルネットワークアーキテクチャ内で、大域特徴および局所特徴マップがどのように組み合わされて、一実施形態による入力画像パッチ内の各ピクセルの個々のクラスを予測する特徴マップを生成するかを示す図である。

【図2A】一実施形態による生の病理画像を示す図面であり、動作中、この画像はカラーである。

【図2B】一実施形態による、ＣＮＮによって生成された予測関心領域を示す図面である。

【図3】ＣＮＮの訓練に含まれるステップを示すフロー図である。

【図4】ＣＮＮを使用した予測に含まれるステップを示すフロー図である。

【図5】本開示の一実施形態による方法のフロー図である。

【図6】本開示の別の実施形態による方法のフロー図である。

【図7】本開示のさらに別の実施形態による方法のフロー図である。

【図8】異常を検出するために訓練済みオートエンコーダＣＮＮを適用することに含まれるステップを示すフロー図である。

【図9】図５Ａおよび５Ｂのニューラルネットワークアーキテクチャの実装に含まれる計算を実行するために使用されうるＴＰＵのブロック図である。

【図10】本発明の実施形態と併せて使用されうる例示的なコンピュータネットワークを示す図である。

【図11】例えば、図９のＴＰＵのホストコンピュータとして使用することができるコンピューティング装置のブロック図である。

【図12A】本明細書に記載の種々の実施形態に関連して使用されうる例示的なプロセッサ対応デバイス５５０を示すブロック図である。

【図12B】単一の線形アレイを有する例示的なラインスキャンカメラを示すブロック図である。

【図12C】３つの線形アレイを有する例示的なラインスキャンカメラを示すブロック図である。

【図12D】複数の線形アレイを有する例示的なラインスキャンカメラを示すブロック図である。

【発明を実施するための形態】

【0075】

以下の詳細な説明では、限定ではなく説明の目的で、本開示のより良い理解を提供するために特定の詳細が記載されている。本開示は、これらの特定の詳細から逸脱する他の実施形態で実施されうることが当業者には明らかであろう。

【0076】

要約すると、発明者らは、経験豊富な病理医による綿密な検討が期待される領域を特定することに基づいた、臨床的に関心領域を自動的に検出するコンピュータ自動化方法について説明している。この方法は、畳み込みニューラルネットワークを適用することに基づいており、当該畳み込みニューラルネットワークは、組織学的画像と、ビジュアライゼーションアプリケーションを使用した診断レビューの過程で病理医がこれらの画像とのインタラクションをどのように行ったかに関するデータとを含む訓練データセットを使用して訓練されている。インタラクションは、病理医が組織学的画像のビジュアライゼーションとのインタラクションをどのように行ったかを示す選択パラメータをログに記録することによって測定される。ＣＮＮは、組織学的画像の２次元アレイに対するマッピングを有するピクセルの２次元アレイを有する出力画像パッチを生成し、出力画像パッチは、複数の関連性クラスのうちの１つを各ピクセルに割り当てることによって生成され、複数の関連性クラスには、関心ピクセルを表す１つ以上のクラスと、非関心ピクセルを表す１つ以上のクラスと、が含まれる。次に、セグメンテーションを適用して、分類に従ってピクセルが関心領域にグループ化される。関心ピクセルを表す２つ以上のクラスがある場合、これらのクラスは、関心レベルの増大に関連付けられているか、または異なるタイプの関心に関連付けられている可能性がある。後者の場合、訓練データを編集する際に、レビューする病理医の関心が何であったかを知る必要がある。これは、ユーザのインタラクションの性質から推測可能であり、あるいは例えば病理医が特定の種類の癌をスクリーニングしていることを示す、病理医による事前の手動入力でありうる。

【0077】

この方法は、ＷＳＩなどの単一の入力画像、またはＷＳＩのセットなどの入力画像のセットに適用される。各入力画像は、ＷＳＩなどのデジタル化された組織学的画像である。入力画像のセットの場合、これらは隣接する組織切片の異なって染色された画像でありうる。染色という用語は、広く使用されており、バイオマーカーによる染色だけでなく、従来のコントラスト増強染色による染色も含む。したがって、組織学的画像データセットは、単一のスキャンから得られた単一のＷＳＩ、または複数の組織学的画像データサブセットから構成される合成物であってよく、各サブセットは、異なって染色された組織の領域の隣接セクションに関連する。合成物の別の例は、複数の組織学的画像データサブセットが存在する場合であって、各サブセットが同じサンプル内の異なる焦点深度、すなわちいわゆるｚスタックに関連している場合である。

【0078】

関心領域を発見するために、提案しているコンピュータ自動化方法は、畳み込みニューラルネットワーク（ＣＮＮ）を使用して、各ピクセルを、そのピクセルが関心ピクセルであるか非関心ピクセルであるかどうかを表す関連性クラスに分類する。

【0079】

発明者らの実装形態におけるニューラルネットワークは、<http://www.robots.ox.ac.uk/^～vgg/research/very_deep/>で入手可能なＶＧＧ－１６アーキテクチャと設計が類似しており、ＳｉｍｏｎｙａｎおよびＺｉｓｓｅｒｍａｎ（２０１４）により説明されている。その内容は全て、参照により本明細書に組み込まれている。

【0080】

入力画像は、病理画像であり、例えば、本明細書の他の箇所でより詳細に説明されるように、複数の従来の染色のうちのいずれかで染色された画像である。ＣＮＮの場合、画像パッチは特定のピクセル寸法、例えば１２８×１２８、２５６×２５６、５１２×５１２、または１０２４×１０２４ピクセルで抽出される。画像パッチは任意のサイズであってよく、正方形である必要はないが、パッチの行および列のピクセル数は２ｎに一致し、ｎは正の整数であることが理解されよう。これは、かかる数値が、一般に、適切な単一ＣＰＵ（中央処理装置）、ＧＰＵ（グラフィックス処理装置）、ＴＰＵ（テンソル処理装置）、またはそのアレイによる直接のデジタル処理に適しているためである。

【0081】

「パッチ」は、ＷＳＩから取得された画像部分を指すために使用される専門用語であり、通常、正方形または長方形の形状であることに留意されたい。この点で、ＷＳＩには１０億以上のピクセル（ギガピクセル画像）が含まれうるため、画像処理は通常、ＣＮＮで処理するための管理可能なサイズ（例えば、約５００×５００ピクセル）のパッチに適用される。したがって、ＷＳＩは、パッチに分割し、ＣＮＮでパッチを分析し、出力（画像）パッチをＷＳＩと同じサイズの確率マップに再アセンブルすることに基づいて処理される。次に、確率マップを、例えば半透明に、ＷＳＩまたはその一部にオーバレイすることができ、その結果、病理画像および確率マップの両方を一緒に観察することができる。その意味で、確率マップは病理画像のオーバレイ画像として使用される。ＣＮＮによって分析されるパッチは、全て同じ倍率のものでありうるか、または異なる倍率、例えば５倍、２０倍、５０倍などの混合物を有しうるため、サンプル組織の異なるサイズの物理的領域に対応する。異なる倍率によって、これらは、ＷＳＩが取得された物理的倍率に対応することができ、あるいはより高倍率（すなわち、より高解像度）の物理的画像をデジタル的に縮小することで得られる有効倍率に対応することができる。

【0082】

図１Ａは、発明者らのニューラルネットワークアーキテクチャの概略図である。層Ｃ１，Ｃ２，．．．，Ｃ１０は畳み込み層である。層Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５およびＤ６は、転置畳み込み（つまり逆畳み込み）層である。特定の層を相互接続する線は、畳み込みＣ層と逆畳み込みＤ層との間のスキップ接続を示している。スキップ接続により、より次元が大きく深度が浅い層（「大きい」および「浅い」は、より低いインデックスの畳み込み層を意味する）の局所特徴を、最後の（つまり、最小、最深の）畳み込み層からの大域特徴と組み合わせることができる。これらのスキップ接続により、より正確なアウトラインが提供される。最大プール層は、その各々がパッチの幅および高さを２分の１に減らすために使用されており、層Ｃ２、Ｃ４およびＣ７の後に存在している。回路図には直接に示されていないが、パッチのサイズを結果的に小さくすることで、暗示的に示されている。ニューラルネットワークの幾つかの実現形態では、最大プール層が１×１畳み込みに置き換えられ、完全な畳み込みネットワークになる。

【0083】

ニューラルネットワークの畳み込み部分は、順番に、入力層（ＲＧＢ入力画像パッチ）と、２つの畳み込み層Ｃ１、Ｃ２と、第１の最大プール層（図示せず）と、２つの畳み込み層Ｃ３、Ｃ４と、第２の最大プール層（図示せず）と、３つの畳み込み層Ｃ５、Ｃ６、Ｃ７と、第３の最大プール層（図示せず）とを有する。第２および第３の最大プール層からの出力は、それぞれ、層Ｃ５およびＣ８への通常の接続に加えて、スキップ接続を使用して逆畳み込み層に直接に接続される。

【0084】

次に、最後の畳み込み層Ｃ１０、第２の最大プール層（つまり、層Ｃ４の後の層）からの出力、および第３の最大プール層（つまり、層Ｃ７の後の層）からの出力は、それぞれ「逆畳み込み層」の個別のシーケンスに接続され、これらは、入力（画像）パッチと同じサイズにアップスケールされる。つまり、畳み込み特徴マップを、入力画像パッチと同じ幅および高さで、検出される関連性クラス、例えば、関心ピクセル用の１つのクラスおよび非関心ピクセル用の１つのクラスの数に等しいチャネル数（つまり、特徴マップの数）を有する特徴マップに変換する。第２の最大プール層では、逆畳み込みの１つのステージのみが必要なため、層Ｄ６への直接のリンクが表示される。第３の最大プール層の場合、層Ｄ５に到達するには、中間逆畳み込み層Ｄ４を介して２段階の逆畳み込みが必要である。最も深い畳み込み層Ｃ１０の場合、Ｄ１およびＤ２を経由して層Ｄ３に至る３段階の逆畳み込みが必要である。結果は、入力パッチと同じサイズの３つのアレイＤ３、Ｄ５、Ｄ６である。

【0085】

図１に示されているものを単純化したバージョンでは、おそらく性能は劣るものの、スキップ接続を省略することができ、この場合、Ｄ４、Ｄ５およびＤ６層は存在せず、出力パッチはＤ３層からのみ計算される。

【0086】

図１Ｂは、図１Ａのニューラルネットワークアーキテクチャにおける最終ステップがどのように実行されるかをより詳細に示している。すなわち、大域特徴マップ層Ｄ３および局所特徴マップ層Ｄ５、Ｄ６が組み合わされて、入力画像パッチの各ピクセルの個々のクラスを予測する特徴マップを生成している。具体的には、図２は、最後の３つの転置畳み込み層Ｄ３、Ｄ５、Ｄ６が関連性クラスの出力パッチにどのように処理されるかを示している。

【0087】

ここで、上記のアプローチが、デジタルパソロジーで現在使用されている既知のＣＮＮとどのように異なるかについて説明する。この既知のＣＮＮでは、複数の利用可能なクラスから選択された１つのクラスを各画像パッチに割り当てている。かかるタイプのＣＮＮの例として、Ｗａｎｇ ｅｔ ａｌ．（２０１６）、Ｌｉｕ ｅｔ ａｌ．（２０１７）、Ｃｒｕｚ－Ｒｏａ ｅｔ ａｌ．（２０１７）、Ｖａｎｄｅｎｂｅｒｇｈｅ ｅｔ ａｌ．（２０１７）の論文が挙げられる。ただし、ここで説明されているのは、所与の画像パッチ内で、複数の使用可能なクラスから選択された１つのクラスが全てのピクセルに割り当てられるということである。したがって、画像パッチごとに１つのクラスラベルを生成する代わりに、ニューラルネットワークは、所与のパッチの個々のピクセルごとにクラスラベルを出力している。発明者らの出力パッチは、入力パッチと１対１のピクセル間で対応しているため、出力パッチの各ピクセルには、複数の利用可能なクラスのうちの１つ（例えば、二項分類の非関心クラスおよび関心クラス）が割り当てられている。

【0088】

かかる既知のＣＮＮでは、各パッチに単一のクラスを割り当てるために、一連の畳み込み層が使用され、その後に１つ以上の全結合層が続き、検出するクラスと同じ数の値を有する出力ベクトルが続いている。予測されるクラスは、出力ベクトルの最大値の位置によって求められる。

【0089】

訓練済みＣＮＮは、入力としてデジタルスライド画像からピクセルを取得し、各ピクセルの確率のベクトルを返す。ベクトル長はＮであり、Ｎは、ＣＮＮが検出するように訓練されたクラスの数である。例えば、ＣＮＮが、関心組織、非関心組織、および非関心非組織の３つのクラスを区別するように訓練されている場合、ベクトル長ｖは３になる。ベクトルの各座標は、ピクセルが特定のクラスに属する確率を示している。したがって、ｖ［０］は、ピクセルが関心領域の単一クラスに属する確率、ｖ［１］は、ピクセルが組織の非関心クラスに属する確率、およびｖ［２］は、組織ではないピクセルの非関心クラスに属する確率を示すことができる。各ピクセルのクラスは、確率ベクトルから求められる。ピクセルをクラスに割り当てる単純な方法は、ピクセルを最も確率の高いクラスに割り当てることである。

【0090】

個々のピクセルのクラスを予測するために、ＣＮＮには、畳み込み層に続く異なるアーキテクチャが使用される。一連の全結合層の代わりに、一連の転置畳み込み層により畳み込み層が追跡される。全結合層は、このアーキテクチャから削除される。各転置層は、特徴マップの幅および高さを２倍にすると同時に、チャネル数を半分にする。このようにして、特徴マップは入力パッチのサイズにアップスケールされる。

【0091】

さらに、予測を改善するために、Ｌｏｎｇ ｅｔ ａｌ．（２０１５）に記載されているスキップ接続が使用され、その内容は全て、参照により本明細書に組み込まれている。

【0092】

スキップ接続により、より浅い特徴を使用して、最終畳み込み層Ｃ１０からのアップスケーリングによって行われる粗予測が改善される。図１Ａの層Ｄ５およびＤ６に含まれるスキップ接続からの局所特徴は、図１の層Ｄ３に含まれる大域特徴を最終畳み込み層からアップスケーリングすることによって生成された特徴と連結される。次に、大域特徴層および局所特徴層Ｄ３、Ｄ５およびＤ６は、図１Ｂに示されるように、組み合わされた層に連結される。

【0093】

図１Ｂの連結された層から（またはスキップ接続が使用されない場合は最後の逆畳み込み層Ｄ３から直接に）、チャネルの数は、組み合わされた層の１×１畳み込みによってクラスの数と一致するように減少される。次に、この分類層でのソフトマックス演算により、結合された層の値が確率に変換される。出力パッチ層のサイズはＮ×Ｎ×Ｋであり、Ｎは入力パッチのピクセル単位の幅および高さ、Ｋは検出されているクラスの数である。したがって、画像パッチ内の任意のピクセルＰに対して、サイズＫの出力ベクトルＶが存在する。次に、対応するベクトルＶの最大値の位置によって、一意のクラスを各ピクセルＰに割り当てることができる。

【0094】

したがって、ＣＮＮは、各ピクセルを関心ピクセルまたは非関心ピクセルとしてラベル付けする。

【0095】

発明者らの特定のニューラルネットワークの実装形態は、特定の固定ピクセル寸法を有する入力画像で動作するように構成されている。したがって、訓練および予測の両方の前処理ステップとして、Ｎ×Ｎ×ｎピクセルなどの目的のピクセル寸法を有するパッチがＷＳＩから抽出され、ここで、ＷＳＩが従来の可視光顕微鏡によって取得されたカラー画像であるとき、各物理的位置に３つの原色（通常はＲＧＢ）に関連付けられた３つのピクセルがある場合はｎ＝３となる（以下でさらに説明するように、２つ以上のカラーＷＳＩが組み合わされている場合、「ｎ」は合成ＷＳＩの数の３倍になりうる）。さらに、単一のモノクロＷＳＩの場合、「ｎ」の値は１になる。訓練を高速化するために、入力パッチもこの段階でセンタリングされ、正規化される。

【0096】

発明者らの好ましいアプローチは、ＷＳＩ全体、または少なくとも組織を含むＷＳＩの領域全体を処理することである。したがって、この場合のパッチは、少なくともＷＳＩの組織領域全体をカバーするタイルである。タイルは、オーバラップすることなく隣接している場合があり、あるいは例えば１、２、３、４、５、６、７、８、９、または１０ピクセル幅の重複するエッジマージン領域を有しているため、ＣＮＮの出力パッチを、不一致を考慮してつなぎ合わせることができる。しかしながら、発明者らのアプローチは、必要に応じて、従来技術のように、または病理医によって実行されるように、同じまたは異なる倍率であるＷＳＩ上のパッチのランダムサンプルに適用することもできる。

【0097】

発明者らのニューラルネットワークは、設計の点で、Ｓｉｍｏｎｙａｎ ａｎｄ Ｚｉｓｓｅｒｍａｎ（２０１４）のＶＧＧ－１６アーキテクチャに類似している。全ての畳み込みフィルタにおいて、非常に小さい３×３カーネルが使用される。最大プーリングは、２×２の小さなウィンドウおよび２のストライドで実行される。畳み込み層の後に一連の全結合層を有するＶＧＧ－１６アーキテクチャとは対照的に、発明者らは、畳み込み層の後に一連の「逆畳み込み」（より正確には転置畳み込み）のシーケンスを行い、セグメンテーションマスクを生成している。セマンティックセグメンテーションのためのこのタイプのアップサンプリングは、過去に、Ｌｏｎｇ ｅｔ ａｌ．（２０１５）によって自然画像処理に使用されており、その内容は全て、参照により本明細書に組み込まれている。

【0098】

各逆畳み込み層は、入力特徴マップを幅および高さの次元で２倍に拡大する。これにより、最大プール層の縮小効果が打ち消され、入力画像と同じサイズのクラス特徴マップが作成される。各畳み込み層および逆畳み込み層からの出力は、非線形アクティベーション層によって変換される。ここでは、非線形アクティベーション層は、整流関数ＲｅＬＵ（ｘ）＝ｍａｘ（０，ｘ）を使用している。必要に応じて、ＲｅＬＵ、リーキーＲｅＬＵ、ｅＬＵなどの種々のアクティベーション関数を使用できる。

【0099】

提案している方法は、任意の数の関連性クラスに変更を加えることなく適用できる。その制約は、ニューラルネットワークで複製することが望ましい方法で分類された適切な訓練データの可用性にすぎない。例えば、訓練データにより、レビューを行う臨床専門家の分野またはサブ分野が区別される場合、各分野またはサブ分野に、異なる関連性クラスが存在する可能性がある。別の例は、異なる疾患の種類の異なる関連性クラスである。そのため、各関連性クラスは、例えば、特定の腫瘍型に固有でありうる。その場合、訓練データには、病理画像でレビュー担当者が探している病気の種類が含まれている必要がある。非関心クラスが複数あると便利な場合もある。例えば、組織をまったく含まないため基本的に非関心であるＷＳＩの領域と、組織を含むが臨床的な関心組織を含まない領域とを区別することができる。病理医は通常、非組織領域を完全にスキップするが、全てまたは少なくともほとんどの組織領域を低倍率で確認レビューするため、訓練データには、この区別が反映されうる。

【0100】

ソフトマックス回帰層（つまり、多項ロジスティック回帰層）がチャネルパッチの各々に適用され、特徴マップの値が確率に変換される。

【0101】

最終特徴マップのチャネルＣの位置（ｘ，ｙ）の値には、確率Ｐ（ｘ，ｙ）が含まれ、確率Ｐ（ｘ，ｙ）では、入力画像パッチの位置（ｘ，ｙ）のピクセルがチャネルＣによって検出されたタイプに属している。

【0102】

畳み込み層および逆畳み込み層の数は、必要に応じて増減されうる、ニューラルネットワークを実行するハードウェアのメモリ制限を受けることが理解されよう。

【0103】

ミニバッチ勾配降下法を使用してニューラルネットワークが訓練される。学習率は、指数関数的減衰を用いて、初期率０．１から減少する。Ｓｒｉｖａｓｔａｖａ ｅｔ ａｌ．（２０１４）によって説明されている「ドロップアウト」手順を使用することにより、ニューラルネットワークの過剰適合が防止されており、その内容は全て、参照により本明細書に組み込まれている。ネットワークの訓練は、利用可能な複数の深層学習フレームワークのいずれかを使用して、ＧＰＵ、ＣＰＵ、またはＦＰＧＡで実行できる。本実装形態では、Google Tensorflowを使用しているが、同じニューラルネットワークをMicrosoft CNTKなどの別の深層学習フレームワークに実装することもできる。

【0104】

ニューラルネットワークは、サイズＮ×Ｎ×Ｋの確率マップを出力する。ここで、Ｎは入力パッチのピクセル単位の幅および高さ、Ｋは検出されているクラスの数である。これらの出力パッチは、サイズＷ×Ｈ×Ｋの確率マップにステッチバックされ、ＷおよびＨは、パッチに分割される前の元のＷＳＩの幅および高さである。

【0105】

次に、ラベル画像の各位置（ｘ，ｙ）で最大確率でクラスインデックスを記録することにより、確率マップをＷ×Ｈラベル画像に折りたたむことができる。

【0106】

本実装形態では、ニューラルネットワークにより、全てのピクセルが２つのクラス（関心クラスおよび非関心クラス）のいずれかに割り当てられる。

【0107】

関心領域に複数の関連性クラスが使用されている場合、出力画像は、関心領域の単一のクラスおよび非関心領域の単一のクラスを使用して、より単純なバイナリ分類に後処理でき、例えば、関心領域の種々の関連性クラスを組み合わせることができる。バイナリ分類は、ベースデータから画像を作成する際の選択肢として使用できるが、一方で、マルチクラスの関心分類（または非関心分類）は、保存データに保持される。

【0108】

本発明の特定の実装形態に関する上記の説明は、ＣＮＮを使用する特定のアプローチに集中しているが、発明者らのアプローチは、多種多様な異なるタイプの畳み込みニューラルネットワークで実装できることが理解されよう。概して、畳み込みを使用して複雑な特徴を検出し、その後転置畳み込み（「逆畳み込み」）を使用して特徴マップを入力画像の幅および高さにアップスケールするニューラルネットワークが適している。

【0109】

図１Ｃは、一実施形態による図１Ａのニューラルネットワークアーキテクチャにおける最終ステップがどのように実行されるかをより詳細に示している。すなわち、大域特徴マップ層Ｄ３および局所特徴マップ層Ｄ５、Ｄ６が組み合わされて、入力画像パッチの各ピクセルの個々のクラスを予測する特徴マップを生成している。具体的には、図１Ｂは、最後の３つの転置畳み込み層Ｄ３、Ｄ５、Ｄ６が出力パッチにどのように処理されるかを示している。

【0110】

発明者らのニューラルネットワークは、可能な限り入力画像に近似した画像を出力するものである。再構成の品質は、入力画像が訓練セットの画像にどれだけ近似しているかに依存している。訓練中に頻繁に見られる画像タイプの場合、再構成画像は入力画像とほぼ一致する。毒性効果を示す画像など、訓練セットに存在しない画像タイプの場合、入力画像と再構成画像との近似性は低下する。

【0111】

訓練済みのオートエンコーダＣＮＮにより、入力としてデジタルスライド画像からピクセルが取得され、入力ピクセルと可能な限り一致させたピクセルのセットが返される。ネットワークが単に入力ピクセルを出力にコピーすることを学習することを防ぐために、スパース性制約が訓練中に損失関数に追加される。同時に起動するアクティベーションが多すぎる場合、スパース性制約により損失が増大する。これにより、ネットワークは、所与の入力に対して少数のユニットのみがアクティブになるようなエンコーディングを学習することになる。

【0112】

再構成された画像の品質を向上させるために、オートエンコーダＣＮＮは、畳み込み層に続く異なるアーキテクチャを使用する。一連の全結合層の代わりに、一連の転置畳み込み層で畳み込み層を追跡する。全結合層は、このアーキテクチャから削除される。各転置層は、特徴マップの幅および高さを２倍にすると同時に、チャネル数を半分にする。このようにして、特徴マップは入力パッチのサイズにアップスケールされる。

【0113】

さらに、予測を改善するために、Ｌｏｎｇ ｅｔ ａｌ．（２０１５）に記載されているスキップ接続が使用され、その内容は全て、参照により本明細書に組み込まれている。スキップ接続は、より浅い特徴を使用して、最終畳み込み層Ｃ１０からのアップスケーリングによって行われる粗予測を改善する。図１Ａの層Ｄ５およびＤ６に含まれるスキップ接続からの局所特徴は、図１Ａの層Ｄ３に含まれる大域特徴を最終畳み込み層からアップスケーリングすることによって生成された特徴と連結される。次に、大域特徴層および局所特徴層Ｄ３、Ｄ５およびＤ６は、図１Ｃに示されているように、組み合わされた層に連結される。

【0114】

図１Ｃの連結された層から（またはスキップ接続が使用されない場合は最後の逆畳み込み層Ｄ３から直接に）、チャネルの数は、組み合わされた層の１×１畳み込みによって入力画像のチャネルの数の数と一致するように減少される。出力パッチ層のサイズはＮ×Ｎ×Ｃであり、Ｎは入力パッチのピクセル単位の幅および高さ、Ｃは入力画像のチャネル数である。

【0115】

発明者らの特定のニューラルネットワークの実装形態は、特定の固定ピクセル寸法を有する入力画像で動作するように構成されている。したがって、訓練および予測の両方の前処理ステップとして、Ｎ×Ｎ×ｎピクセルなどの目的のピクセル寸法を有するパッチがＷＳＩから抽出され、ここで、ＷＳＩが従来の可視光顕微鏡によって取得されたカラー画像であるとき、各物理的位置に３つの原色（通常はＲＧＢ）に関連付けられた３つのピクセルがある場合はｎ＝３となる（以下でさらに説明するように、２つ以上のカラーＷＳＩが組み合わされている場合、「ｎ」は合成ＷＳＩの数の３倍になりうる）。さらに、単一のモノクロＷＳＩの場合、「ｎ」の値は１になる。訓練を高速化するために、入力パッチもこの段階でセンタリングされ、正規化される。

【0116】

発明者らの好ましいアプローチは、ＷＳＩ全体、または少なくとも組織を含むＷＳＩの領域全体を処理することである。したがって、この場合のパッチは、少なくともＷＳＩの組織領域全体をカバーするタイルである。タイルは、重なり合うことなく隣接している場合があり、あるいは例えば１、２、３、４、５、６、７、８、９、または１０ピクセル幅の重複するエッジマージン領域を有しているため、ＣＮＮの出力パッチを、不一致を考慮してつなぎ合わせることができる。しかしながら、発明者らのアプローチは、必要に応じて、従来技術のように、または病理医によって実行されうるように、同じまたは異なる倍率であるＷＳＩ上のパッチのランダムサンプルに適用することもできる。

【0117】

発明者らのニューラルネットワークは、設計の点で、ＳｉｍｏｎｙａｎおよびＺｉｓｓｅｒｍａｎ（２０１４）のＶＧＧ－１６アーキテクチャに類似している。全ての畳み込みフィルタにおいて、非常に小さい３×３カーネルが使用される。最大プーリングは、２×２の小さなウィンドウおよび２のストライドで実行される。畳み込み層の後に一連の全結合層を有するＶＧＧ－１６アーキテクチャとは対照的に、発明者らは、畳み込み層の後に一連の「逆畳み込み」（より正確には転置畳み込み）のシーケンスを行い、出力画像をアップスケールして、その次元を入力画像の次元と一致させている。このタイプのアップサンプリングは、過去に、Ｌｏｎｇ ｅｔ ａｌ．（２０１５）によって自然画像処理に使用されており、その内容は全て、参照により本明細書に組み込まれている。

【0118】

各逆畳み込み層は、入力特徴マップを幅および高さの次元で２倍に拡大する。これにより、最大プール層の縮小効果が打ち消され、入力画像と同じサイズの出力画像が作成される。各畳み込み層および逆畳み込み層からの出力は、非線形アクティベーション層によって変換される。ここでは、非線形アクティベーション層は、整流関数ＲｅＬＵ（ｘ）＝ｍａｘ（０，ｘ）を使用している。必要に応じて、ＲｅＬＵ、リーキーＲｅＬＵ、ｅＬＵなどの種々のアクティベーション関数を使用できる。

【0119】

提案している方法は、任意の数の組織型に変更を加えることなく適用できる。その制約は、ニューラルネットワークによって学習される組織型に適した数および多種多様な組織学的画像の可用性にすぎない。組織学的画像は、画像が健康な組織、または少なくとも将来テストされる可能性のある化合物で処理されていない組織を表すことを確認する以外には、事前に専門家によるレビューを受ける必要はない。

【0120】

畳み込み層および逆畳み込み層の数は、必要に応じて増減されうる、ニューラルネットワークを実行するハードウェアのメモリ制限を受けることが理解されよう。

【0121】

ミニバッチ勾配降下法を使用してニューラルネットワークが訓練される。学習率は、指数関数的減衰を用いて、初期率０．１から減少する。Ｓｒｉｖａｓｔａｖａ ｅｔ ａｌ．（２０１４）によって説明されている「ドロップアウト」手順を使用することにより、ニューラルネットワークの過剰適合が防止されており、その内容は全て、参照により本明細書に組み込まれている。ネットワークの訓練は、利用可能な複数の深層学習フレームワークのいずれかを使用して、ＧＰＵ、ＣＰＵ、またはＦＰＧＡで実行できる。本実装形態では、Google Tensorflowを使用しているが、同じニューラルネットワークをMicrosoft CNTKなどの別の深層学習フレームワークに実装することもできる。

【0122】

オートエンコーダニューラルネットワークは、サイズＮ×Ｎ×Ｃの画像タイルを出力する。ここで、Ｎは入力パッチのピクセル単位の幅および高さ、Ｃは入力画像のチャネル数である。入力画像タイルおよび出力画像タイルの各ペアについて、アースムーバーの距離（ＥＭＤ）などの距離メトリックが計算される。距離メトリックが経験的に求められた閾値Ｔを超えている場合、入力画像のタイルの位置に対応するピクセルは、サイズＷ×Ｈ×１の出力マップで毒性効果に対して陽性としてマーキングされる。ここで、ＷおよびＨは元のＷＳＩの幅および高さである。

【0123】

本発明の特定の実装形態に関する上記の説明は、１つの特定のオートエンコーダＣＮＮを使用する特定のアプローチに集中しているが、発明者らのアプローチは、多種多様な異なるタイプのオートエンコーダ畳み込みニューラルネットワークで実装できることが理解されよう。概して、畳み込みを使用して複雑な特徴を検出し、その後転置畳み込み（「逆畳み込み」）を使用して特徴マップを入力画像の幅および高さにアップスケールするオートエンコーダニューラルネットワークが適している。

【0124】

実施例
図２Ａは、Ｈ＆Ｅ染色されたＷＳＩからのパッチとしての生画像の一部を示している。右下の象限にある大きな濃い紫色の細胞のクラスタは腫瘍であり、小さな濃い紫色の細胞はリンパ球である。

【0125】

図２Ｂは、マスクとしてＣＮＮによって生成された予測関心領域を示している。図２Ｂは、ＣＮＮによって生成されうるバイナリマスクの概略図である。ここで、バイナリマスクは重複しない画像タイルに基づいており、ハッチングされていないタイルが関心領域であり、ハッチングされていないタイルが非関心領域として予測される領域である。タイルベースのアプローチが採用された場合、タイルの数は、通常、示されている１２×８アレイよりもはるかに多く、例えば１オーダー多いことが理解されよう。他の例では、関心領域は、形状ベースのセグメンテーションアルゴリズムに従うようにその周囲が構成されており、正方形または長方形ではなく、任意の形状であってもよい。

【0126】

取得および画像処理
本方法では、組織サンプルがセクション化されていること、すなわちスライスされており、隣接するセクションが異なる染色で染色されていることが出発点となる。隣接するセクションは、セクションが薄いため非常に類似した組織構造を有しているが、異なる層であるため、同一ではない。

【0127】

例えば、５つの隣接するセクションがあり、それぞれがＥＲ、ＰＲ、ｐ５３、ＨＥＲ２、Ｈ＆ＥおよびＫｉ－６７などの異なる染色でありうる。次に、各セクションの顕微鏡画像が取得される。隣接するセクションは非常に類似した組織形状を有するが、染色によって、様々な特徴、例えば、核、細胞質、一般的なコントラスト強調による全ての特徴が強調表示される。

【0128】

次に、異なる画像が位置合わせ、ワーピング、または前処理されて、ある画像の所与の特徴の座標が他の画像の同じ特徴にマッピングされる。マッピングにより、わずかに異なる倍率、顕微鏡でのスライドの位置合わせの違いによる方向の違い、またはスライドへの組織スライスの取り付けなどの要因によって引き起こされる画像間の差異が処理される。

【0129】

異なって染色された隣接セクションを含むセットの異なるＷＳＩ間の座標マッピングにより、ＷＳＩを単一の合成ＷＳＩにマージすることができ、そこから合成パッチを抽出して、ＣＮＮによる処理が可能であることに留意されたい。かかる合成パッチの寸法はＮ×Ｎ×３ｍであり、「ｍ」は、セットを形成する合成ＷＳＩの数である。

【0130】

次に、標準的な画像処理が実行される。これらの画像処理ステップは、ＷＳＩレベルまたは個々の画像パッチのレベルで実行できる。ＣＮＮがカラー画像ではなくモノクロ画像で動作するように構成されている場合、画像はカラーからグレースケールに変換されうる。画像は、コントラスト強調フィルタを適用することによって変更できる。次に、画像のセット内の一般的な組織領域を特定するため、または単に組織に関係のない背景を除外するために、幾つかのセグメンテーションが実行されうる。セグメンテーションには、次の画像処理技術、すなわち
１．シード組織領域を特定するための分散ベースの分析
２．適応閾値処理
３．モルフォロジー演算（例えば、ブロブ分析）
４．輪郭特定
５．近接ヒューリスティックルールに基づく輪郭のマージ
６．不変画像モーメントの計算
７．エッジ抽出（例えば、ソーベル（Ｓｏｂｅｌ）エッジ検出）
８．曲率流フィルタリング
９．連続セクション間の強度変動を排除するためのヒストグラムマッチング
１０．多重解像度のリジッド／アフィン画像レジストレーション（勾配降下オプティマイザ）
１１．非剛体変位／変形
１２．スーパーピクセルクラスタリング
のうちのいずれかまたは全てが含まれうる。

【0131】

上記の種類の画像処理ステップがＷＳＩ上またはパッチ抽出後の個々のパッチ上で実行できることも理解されよう。幾つかの場合では、パッチ抽出の前後の両方で、つまりそれぞれＣＮＮ前処理およびＣＮＮ後処理として、同じタイプの画像処理を実行することが有効でありうる。つまり、一部の画像処理はパッチ抽出の前にＷＳＩで実行されてもよく、他の画像処理がＷＳＩからのパッチ抽出後に実行されてもよい。

【0132】

これらの画像処理ステップは例として説明されており、決して制限的であると解釈されるべきではない。

【0133】

訓練および予測
図３は、ＣＮＮの訓練に含まれるステップを示すフロー図である。

【0134】

ステップＳ４０では、少なくとも１人の臨床医によって過去にレビューされ、臨床医のＷＳＩとのインタラクションに関連するパラメータを記録するためにレビューセッションが記録された処理用のＷＳＩを含む訓練データが取得される。訓練データセットは、組織学的画像および病理医インタラクションデータで構成されている。病理医インタラクションデータには、病理医が訓練データセットに含まれる所与の組織学的画像の１つ以上のビジュアライゼーションとのインタラクションをどのように行ったかに関連する複数のパラメータが含まれる。適切なパラメータには、次の任意の組み合わせ、すなわち
－ピクセルの観察時間およびピクセルの観察倍率、
－病理医の注釈に関連付けられた組織学的画像上の場所または領域のピクセル、
－より高倍率で観察するためのユーザコマンドの対象となった組織学的画像上の場所または領域のピクセル、
－マウス（または他のポインタ）のクリック情報（ピクセル座標、倍率レベル、タイムスタンプなど）、
－ズームピーク、すなわち病理医が最大倍率（ＷＳＩのネイティブ解像度）に複数回ズームインしたスライド内の領域、
－スローパンニングゾーン、すなわち病理医がゆっくりと移動したゾーン、
－固定ゾーン、すなわち病理医が長時間観察したゾーン、
が含まれる。

【0135】

さらに、所与の組織学的画像が複数の病理医からのインタラクションを含む場合、合成パラメータが生成されうる。その場合、複数の病理医からの同じ組織学的画像とのインタラクション間の相関係数に基づくパラメータを計算して、例えば、１人の病理医だけが詳細に調べた領域と比較して、同じ領域を複数の病理医が詳細に調べた場合を強調表示できる。

【0136】

ステップＳ４１では、ＷＳＩが、ＣＮＮの入力画像パッチである画像パッチに分解される。つまり、画像パッチが、ＷＳＩから抽出される。

【0137】

ステップＳ４２では、画像パッチが、上記のように前処理される（代替的にもしくは付加的に、ＷＳＩは、ステップＳ４１の前に上記のように前処理されうる）。

【0138】

ステップＳ４３では、初期値が、ＣＮＮの重みすなわち層間の重みに設定される。

【0139】

ステップＳ４４では、入力画像パッチのバッチの各々がＣＮＮに入力され、ピクセル単位でパッチを発見して分類するために処理される。

【0140】

ステップＳ４５では、ＣＮＮ出力画像パッチがグラウンドトゥルースデータと比較される。このことはパッチごとに実行されうる。代替的に、ＷＳＩ全体をカバーするパッチが抽出されている場合、このことは、ＷＳＩレベルで、またはパッチの連続したバッチで構成されるＷＳＩのサブエリア（例えば、ＷＳＩの１つの象限）で実行されうる。かかる変形例では、出力画像パッチは、ＷＳＩ全体またはその隣接部分の確率マップに再アセンブルでき、確率マップは、例えば確率マップがＷＳＩへの半透明のオーバレイとしてディスプレイに表示される場合、コンピュータおよびユーザの両方によって、グラウンドトゥルースデータと視覚的に比較できる。

【0141】

次に、ステップＳ４６で、ＣＮＮは、この比較から学習を行い、例えば勾配降下法を用いてＣＮＮの重みを更新する。このようにして得られた学習結果は、図４にプロセスフローのリターンループによって示すように、訓練データの繰り返し処理にフィードバックされ、ＣＮＮの重みを最適化することができる。

【0142】

訓練後、ＣＮＮは、グラウンドトゥルースデータとは関係なくＷＳＩに適用できる。つまり、ＣＮＮは、予測のためにライブで使用できる。

【0143】

次に、図３の代替的な実施形態について説明する。この代替的な実施形態では、図３は、オートエンコーダＣＮＮの訓練に含まれるステップを示すフロー図である。

【0144】

ステップＳ４０では、処理のためのＷＳＩを含む訓練データが取得される。この学習は自己教師型であるため、専門家の注釈、専門家のセグメンテーションなどのグラウンドトゥルースデータは必要ない。

【0145】

ステップＳ４１では、ＷＳＩが、ＣＮＮの入力画像パッチである画像パッチに分解される。つまり、画像パッチがＷＳＩから抽出される。

【0146】

ステップＳ４２では、画像パッチは、上記のように前処理される（代替的にもしくは付加的に、ＷＳＩは、ステップＳ４１の前に上記のように前処理されうる）。

【0147】

ステップＳ４３では、ＣＮＮの重み、すなわち層間の重みに初期値が設定される。

【0148】

図１Ａおよび図１Ｂを参照してさらに上述したように、ステップＳ４４では、入力画像パッチのバッチの各々がＣＮＮに入力され、ピクセルごとに処理される。

【0149】

ステップＳ４５では、ＣＮＮ出力画像パッチがＣＮＮ入力画像パッチと比較される。これは、パッチごとに実行されうる。代替的に、ＷＳＩ全体をカバーするパッチが抽出されている場合、これは、ＷＳＩレベルで、またはパッチの連続したバッチを含むＷＳＩのサブエリア（例えば、ＷＳＩの１つの象限）で実行されうる。かかる変形例では、出力画像パッチは、ＷＳＩ全体またはその隣接部分の確率マップに再アセンブルすることができる。

【0150】

次に、ステップＳ４６では、ＣＮＮは、例えば、勾配降下アプローチを使用して、ＣＮＮの重みを繰り返し更新することによって、入力パッチと出力パッチとの間の差を最小化することを目的として学習する。このようにして、自己教師あり学習は、図２にプロセスフローのリターンループによって示すように、訓練データの繰り返し処理にフィードバックされ、ＣＮＮの重みを最適化することができる。

【0151】

訓練後、ＣＮＮはＷＳＩに適用できる。つまり、ＣＮＮは異常検出のためにライブで使用できる。

【0152】

図４は、ＣＮＮを使用した予測に含まれるステップを示すフロー図である。

【0153】

ステップＳ５０では、例えば、検査情報システム（ＬＩＳ）または他の組織学的データリポジトリから、１つ以上のＷＳＩが処理のために取得される。ＷＳＩは、例えば上記のように前処理される。

【0154】

ステップＳ５１では、画像パッチが、ＷＳＩから、または各ＷＳＩから抽出される。パッチは、ＷＳＩ全体をカバーする場合もあれば、ランダムまたは非ランダムの選択である場合もある。

【0155】

ステップＳ５２では、画像パッチが例えば上記のように前処理される。

【0156】

図１および図２を参照してさらに上述したように、ステップＳ５３では、入力画像パッチのバッチの各々はＣＮＮに入力され、ピクセルごとにパッチを発見して分類するために処理される。次に、出力パッチは、入力画像パッチが抽出されたＷＳＩの確率マップとして再アセンブルできる。確率マップは、例えば、確率マップが半透明のオーバレイとしてＷＳＩ上に表示されている場合、またはＷＳＩと並んで表示されている場合に、コンピュータ装置によるデジタル処理だけでなく、ユーザが視覚的にＷＳＩと比較することもできる。

【0157】

ステップＳ５４では、偽陽性である可能性が高い関心領域、例えば、小さすぎる領域またはエッジアーチファクトである可能性がある領域を除外して、関心領域がフィルタリングされる。

【0158】

ステップＳ５５では、スコアリングアルゴリズムが実行される。スコアの計算には、スコアリング式（ステップＳ５４の一部）を適用する前に、またはスコアリング式を適用してスコアを変更した後のフィルタの適用（ステップＳ５５の一部）の適用の前に、特定のピクセルまたはピクセルのグループ（タイルなど）をフィルタで除外するためのフィルタを適用することが含まれうる。スコアリングは、関心領域ごとに集約され、かつ／またはＷＳＩ（またはＷＳＩのサブエリア）のためにさらに集約されうる。スコアを集約するための１つの有用な種類のサブエリアは、ＷＳＩのデータセットが隣接する画像タイル、つまり、重複しないか、または重複する長方形または正方形のタイルの２次元アレイのメモリに保存されている場合の画像タイル（または画像タイルのグループ）でありうる。重複する場合、これは通常、マージンにおける比較的小さな重複となる。このようにして、画像タイルを事前にキャッシュするかどうかの決定は、その画像タイルのスコアを考慮して行うことができる。

【0159】

ステップＳ５６では、結果が、例えば適切な高解像度モニタ上に注釈付きＷＳＩを表示することによって、レビューおよび診断のために、病理医または他の関連する熟練した臨床医に提示される。

【0160】

ステップＳ５７では、ＣＮＮの結果、すなわち確率マップデータ、および任意にＣＮＮパラメータに関連するメタデータ、ならびに病理医によって追加された追加の診断情報が、ＣＮＮによって処理されたＷＳＩまたはＷＳＩのセットを含む患者データファイルにリンクされた方法で保存される。したがって、ＬＩＳまたはその他の組織学的データリポジトリ内の患者データファイルは、ＣＮＮの結果により補完される。

【0161】

要約すると、訓練済みＣＮＮにより、デジタル、つまり仮想のスライド画像から入力ピクセルとして取得され、例えば、０～１の範囲のスコア比としてスコアが計算された。当該スコアは、ビジュアライゼーションアプリケーションを使用する際に病理医が仮想スライド画像とのインタラクションをどのように行うかという訓練データからＣＮＮが学習した内容に基づいて、ある領域が病理医にとってどの程度関連性があるかを示している。

【0162】

以下で説明するように、スコア出力をアセンブルして、例えば、関心領域のヒートマップを作成し、各入力スライド領域をそのスコアにマッピングすることができる。互いに接触しているか、または互いに近接している関心ピクセルは、セグメンテーションアルゴリズムによってグループ化されて、個々の関心領域が求められうる。各領域について、スコアは、ピクセルのグループをカバーするセグメント化された領域内のピクセルの全ての確率にわたる数学的平均として計算されうる。中央値、加重平均などの他の要約統計量を使用して、エリアのスコアを計算することもできる。

【0163】

関心領域を使用したグラフィカルユーザインタフェースの強化
図５は、本開示の一実施形態による、上記のように訓練されたＣＮＮによって発見された関心領域をサポートするＧＵＩを備えたビジュアライゼーションアプリケーションによって実行されるフロー図である。

【0164】

ステップＳ７１では、スライドスキャナによって生成された可能性があるＷＳＩの画像データを含む画像データファイルが提供される。画像データファイルには、複数の画像が含まれていてよく、例えば、複数の染色の各々に１つ、または有限の深度の透明または半透明のサンプルを通して顕微鏡の焦点面をステップすることによって得られたサンプル（いわゆるｚスタック）の異なる深度の各々に１つの画像が含まれうることが理解されよう。

【0165】

ステップＳ７２は、上記の例としてさらに説明したように、分散ベースの分析、適応閾値処理、モルフォロジー演算など、幾つかのＣＮＮ前処理を実行しうる任意のステップである。

【0166】

ステップＳ７３では、特に図４のステップＳ５１～Ｓ５４を参照して説明したように、上記のＣＮＮが実行される。組織型のピクセルごとの分類を実行して、関心ピクセルをマーキングし、続いて、関心領域の輪郭を描画するためにセグメンテーションが実行される。セグメンテーションの場合、概して、隣接する関心ピクセル、すなわち互いに接触しているかまたは互いに近接しているピクセルが、共通の関心領域に属していると考えられる。ただし、信頼性を向上させるために、例えば２つの異なる関心分類に関連付けられた、異なるピクセル分類を有する２つの接触する関心領域を特定するために、通常、より複雑なセグメンテーション基準が含まれている。ＣＮＮにより、各ピクセルに確率が割り当てられる。個々のピクセルスコアは、セグメンテーションによって求められた個々の領域に基づいて組み合わされ、どの関心領域を画定するかが判別される。関心領域は、ソフトウェアアプリケーションで設定された基準によってフィルタリング可能であり、この基準は任意に事前に設定されてもよいし、またはユーザが調整してもよい。例えば、病理医は、平均関心度スコアが５０％以上である直径１００マイクロメートル以上の関心領域のみを表示するように選択してもよい。平均関心スコアが８０％を超える領域のみを調べたいと別の病理医が望む場合もある。

【0167】

ステップＳ７４では、ステップＳ７３で関心領域を示すＣＮＮによって生成されたデータ、すなわち関心領域固有のデータが、関心領域ごとの要約統計量のセットを計算するために使用される。例えば、関心領域ごとに、スコアは、その関心領域に含まれる全てのピクセルについての上記の確率値の数学的平均として計算されうる。中央値、加重平均などの他の要約統計量もスコアの計算に使用できる。要約統計量のセットには、例えば、関心領域の次元属性またはモルフォロジー属性、例えば、関心領域のピクセル数または形状によって測定される総面積、または複数の関心ピクセルクラスがある場合の特定のピクセル分類の普及率などが含まれてもよい。関心領域は、必ずしも単一のスライドからの領域ではなく、別々のスライドに属していてもよい。例えば、２つのスライドの組織サンプルは異なる染色で染色され、異なるクラスの腫瘍細胞が強調表示されうるため、幾つかの関心領域は第１のスライドに関連付けられ、他の関心領域は第２のスライドに関連付けられる。他の実装形態では、スコアは、ＣＮＮによって特定された関心領域に適用される従来の画像処理技術を使用して計算できる。例えば、形状およびテクスチャの測定値を使用して、要約統計量に含める一連の統計測定値を作成できる。所望により、ステップＳ７４では、追加で、要約統計量に基づいて関心領域のフィルタリングが実行される。例えば、病理医によって構成されうるか、または事前設定されうるフィルタにより、閾値、例えば１００マイクロメートルを超える最大寸法を有する関心領域のみを通過させることが選択されてもよい。

【0168】

ステップＳ７５では、ステップＳ７４によって渡された関心領域のセットが取得され、順番にランク付けされる。次に、要約統計量に基づいて、一連の基準を適用して、関心領域のランク付けが実行されうる。標準的なランク付けアプローチのプリセットがユーザに提供され、ユーザがプリセットに基づいて選択できるようにされうる。さらに、どの基準が適用されるかを定義するためのユーザインタフェースがユーザに提供されうる。例えば、長さの寸法または面積、または整数カウント（例えば、ピクセル数）に基づくスカラー値を基準とする場合、ユーザは、これらの基準の閾値または値の範囲を設定できる。ランキング順は、合成スコアに基づく場合もあれば、単純な単一パラメータのランキングに基づく場合もある。例えば、面積または最大寸法などの関心領域のサイズパラメータ、またはアスペクト比などのモルフォロジーパラメータに基づいていてもよい。次に、ビジュアライゼーションアプリケーションにより、ディスプレイのビジュアライゼーションが生成され、当該ビジュアライゼーションにより、ＷＳＩまたはその一部あるいは複数のサブエリアが、フィルタリング後に残っている関心領域データを含むセグメンテーションマスクに依存する方法で表示される。また、ビジュアライゼーションにより、例えば、ラベルまたは注釈などのランキングの視覚的表示を含むように、ランキングを考慮して生成することができ、あるいはサムネイル画像付きの関心領域のリストを用いてモンタージュビューが作成される場合、当該リストはランキング順または逆ランキング順にすることができ、フィルタを通過した関心領域に制限することもできる。幾つかの実現形態では、ビジュアライゼーションには、概観表示ペインおよびセグメンテーションマスク表示ペインが含まれる。概観表示ペインおよびセグメンテーションマスク表示ペインは、組織学的画像の上に、または組織学的画像と一緒にオーバレイされたセグメンテーションマスクとともに表示することができる。ビジュアライゼーションアプリケーションは、有用なことに、ユーザがビジュアライゼーションとのインタラクションを行って１つ以上の関心領域を選択することを可能にするように動作可能なＧＵＩ制御を含みうる。

【0169】

ビジュアライゼーションアプリケーションには、ユーザ追跡を組み込むこともでき、ユーザ追跡により、訓練データをコンパイルするために監視されるものと同じか、または類似のパラメータのセットが監視される。すなわち、ビジュアライゼーションアプリケーションは、エージェントを有することができ、当該エージェントは、組織学的画像データセットのビジュアライゼーションとのユーザのインタラクションを監視して、ユーザが具体的にどの関心領域を観察したかが追跡される。これは、ブール演算子、閾値テスト、および／または監視対象パラメータのパラメータ値をオペランドとして使用する合成スコアリング方程式を含む論理テストによって決定される。このように、エージェントにより、ユーザが具体的に観察した関心領域を追跡することができる。すなわち、ユーザがその領域について信頼できる診断上の結論に達することができたという結論を保証するのに十分な詳細情報を観察した領域を追跡できる。

【0170】

ステップＳ７９では、このセッション追跡に基づいて、確認機能が、ステップＳ７８で発行されたユーザコマンドに応答して適用されて、組織学的画像のビジュアライゼーションセッションを終了することができる。当該確認では、ユーザが全ての関心領域を具体的に観察したかどうか、またはおそらく全ての最高ランクである「ｎ」ランクの関心領域を表示したかどうかの確認が実行され、ここで「ｎ」は、ユーザによって、またはユーザのために事前設定または設定できる整数値である。この確認により、ユーザが確認機能に供給される関心領域を具体的に観察していなかったことが示された場合、例えばポップアップウィンドウを介してユーザに通知を発行することができる。これは、ステップＳ７９ａでビジュアライゼーションセッションを終了する前に、ユーザからのさらなる確認入力を必要とするが、これはまた、見落とされた１つ以上の関心領域をレビューする第２の選択肢をユーザに与えるものとなる。ステップＳ７９ｂでは、当該確認により、ユーザが全ての関心領域を具体的に観察したわけではないことが示された場合、ユーザは、まだ具体的に観察されていない各関心領域を観察するように誘導される。この誘導は、必須または任意であってよい。

【0171】

スライド画像を可視化するための選択肢の詳細は、画像データが表示デバイスのＧＵＩウィンドウでユーザにどのように表示されるかを参照して説明される。ビジュアライゼーションでは、フィルタリングおよびランキングが考慮されうる。特に、ＷＳＩ内の最も関連性の高い関心領域とみなされる領域は、臨床的に関連性のある方式でその要約統計量とともに表示され、当該要約統計量は、全ての場合に全体的な表示の一部として、またはユーザからのＧＵＩコマンド、例えばＷＳＩの関心領域のカーソルでの「クリック」に選択的に応答して利用でき、その関心領域の統計を表形式またはその他の適切な形式で表示するポップアップウィンドウが生成される。このアプローチにより、関心領域が強調表示され、潜在的に重要な関心領域間のランキング情報およびこれらの領域の統計的要約をユーザに提供する方法で、ユーザに提示することができる。統計的要約により、各関心領域の個々のパラメータ値、特にフィルタリングおよび／またはランキング基準として使用されるもの、ならびに複数のフィルタリングおよび／またはランキング基準の公式および／またはブール論理積から計算されるランキング番号または有意性スコアなどの合成パラメータが提示される。

【0172】

通常、表示される画像は、オーバレイビューまたはマルチタイルビューの組み合わせのいずれかの形態になる。オーバレイビューでは、（処理済みの可能性がある）生データが表示され、セグメンテーションデータがその上にオーバレイされる。セグメンテーションデータは、ビジュアライゼーションのためにシェーディングおよび／またはアウトラインに変換される。関心領域に複数のクラスが存在する場合、シェーディングまたはアウトラインは分類によって色分けされうる。また、複数の関心クラスが存在する場合、セグメンテーションデータは、（カラーもしくはグレースケールの）ヒートマップまたは（等高線付きの）等高線マップとして表されうる。

【0173】

非関心領域は、まったくマーキングされなくてもよく、または透明度の高いカラーもしくはモノクロのウォッシュ（例えば、ブルーウォッシュまたはグレーウォッシュ）でシェーディングされてもよい。マルチタイルビューでは、オーバレイビューの種々の層がタイルとして並べて表示されるため、関心領域の（処理済みの可能性がある）生の画像データおよびセグメンテーションデータを示すタイルが表示される。複数の関心クラスの場合、必要に応じて、関心分類タイプごとに個別のセグメンテーションデータタイルを表示できる。ディスプレイにおける関心領域の提示では、ステップＳ７５で実行されるフィルタリングおよび／またはランキングが考慮される。エリアスコア、関心領域の分類タイプ、および関心領域に関連付けられた要約統計量の他のパラメータなどの要素を、単独で、または組み合わせて使用して、表示を構成することができる。

【0174】

検出され、フィルタリングされ、ランク付けされた関心領域をユーザに表示するための複数の選択肢がある。

【0175】

ＷＳＩビューにおいて、関心領域情報を表示する１つの方法は、ＷＳＩの低解像度の画像に一連のマーカーをオーバレイすることである。このマーカーについて、並べ替えが行われる。病理医には、上位の関心領域から下位の関心領域へ、かつその逆の順序で、知覚された関心レベルのランキングによって関心領域をナビゲートするための適切なＧＵＩツールが提供される。適切なＧＵＩツールとして、キーボードショートカット、キーボードの上下もしくは左右の矢印キー、キーボードのページアップキーおよびページダウンキー、マウスナビゲーション（スクロールホイールで上下にスクロールするなど）またはその他の入力デバイス（音声ナビゲーション、タッチセンサでのマルチタッチジェスチャなど）が挙げられる。ＧＵＩでランク付けマーカーを選択すると、その領域の要約統計量もしくはそのサブセットの表示、および／または低解像度の画像での腫瘍の表示にリンクされたポップアップ、あるいは別の高解像度の表示ペインでの関心領域の高解像度ビューの表示が促されうる。ユーザは、キーボードコマンド、マウスコマンド（例えば、ダブルクリック）または他の適切な入力などの適切なＧＵＩコマンドによって、関心領域の高解像度の、例えば完全なネイティブの解像度の画像のディスプレイを引き起こすことができる。低解像度のＷＳＩビューに戻るための対応するＧＵＩコマンドが用意されている。ビジュアライゼーションアプリケーションにより、好ましくは、ＧＵＩ制御が提供され、これにより、ユーザは、低解像度および高解像度の両方のビューで順序をランク付けして、関心領域を上下にステップスルーさせることができる。

【0176】

ＷＳＩビューの一例は、ステップＳ７５のフィルタを通過した全ての関心領域を、ランク付けマーカーラベル１、２、３などとともに表示する（つまり、そのセグメンテーションデータを表示する）ことである。次に、ランク付けマーカーのラベルをクリックすると、選択された要約統計量のセット、特にフィルタで使用される統計量および／または関心領域のサムネイルビューをＷＳＩビューより高い解像度で一覧表示するポップアップが生成されうる。代替的に、ビューは、画面の一部にオーバレイ画像または画像タイルが表示され、画面の別の部分にフィルタリングされた関心領域のテーブルが表示される、分割画面ビューであってもよい。テーブルは最初にランク付けして並べ替えて表示できるが、ＧＵＩは、他の列または複数の列の組み合わせでユーザが並べ替えることができる機能も有しうる。ここで、他の列とは、関心領域の総面積、関心領域の分類など、要約統計量またはフィルタ基準からの任意の基準でありうる。例えば、関心分類による並べ替えの後、総面積による並べ替えを行うことができる。マルチスライド画像ファイルの場合、スライド番号による並べ替えの後、他のパラメータで並べ替えを行うことができる。

【0177】

多重解像度ビューには、通常はＷＳＩを再現する低解像度（１０倍の倍率など）の１つの表示ペインと、高解像度（例えば、倍率６０倍、つまり１０倍ビューに対して６倍または６００％ズーム）の別の表示ペインとが含まれる。例えば、表示される初期ビューは、ＷＳＩの低解像度の画像ペインおよび上位の関心領域を中心とした高解像度の画像ペインでありうる。次に、ステップスルー下矢印（もしくは下矢印および上矢印のペア）または他の適切なＧＵＩボタンもしくはボタンの組み合わせ（物理的もしくは仮想スクロールホイールなど）により、ユーザは、フィルタリングされた関心領域を１つずつランク付けしてステップスルーすることができる。ＧＵＩを使用することで、ユーザは、ユーザ入力を介して高解像度の画像ペインの解像度を調整できる。また、ＧＵＩによって、関心領域が高解像度の表示ペインを実質的に満たすようなサイズ設定が行われるように、高解像度の画像ペインの初期解像度を選択することができる。

【0178】

このように、ビジュアライゼーションアプリケーションにより、ユーザに表示されるもの、セグメンテーションデータおよび要約統計量で強調表示される関心領域、ならびに選択ビューの場合、関心領域がユーザに表示される時系列、つまり順序が決定される。

【0179】

スライドセットに特に適した関心領域を表示する別の方法は、関心領域の低解像度の画像およびその要約統計量が並べ替えられたタイルとして表示されるモンタージュを作成することである。並べ替えは、１次元（１Ｄ）リストまたは２次元（２Ｄ）グリッドを表示する方法で行うことができる。バーチャルリアリティゴーグルを使用して、関心領域を３次元で配置することも可能である。ユーザは、キーストローク、マウススクロール、またはその他の入力モダリティ（音声、タッチなど）を使用して、１Ｄリストまたは２Ｄタイルアレイをナビゲートできる。タイルが選択されると、病理医は、適切なスライド内の関心領域の高解像度バージョンにすばやく移動し、要約統計量およびセグメンテーションデータによって提示されたＣＮＮ分析の結果を参照して、任意にその関心領域のより詳細なレビューを行うことができる。病理医が関心領域に腫瘍を発見した場合、この方法をさらに拡張して、診断を支援しうる１つ以上のさらなる分析アルゴリズムを腫瘍に適用することによって、病理医は、腫瘍に対してさらなる数値処理を実行することができる。

【0180】

フィルタリングおよびランク付けされた関心領域を観察した後、病理医は、これらの関心領域のいずれか（またはランク付けされた関心領域のサブセット、または実際にはフィルタリングされた関心領域の完全なセット）を選択してさらに調査する選択肢を有する。さらなる調査とは、診断を支援するために、選択した関心領域に関する詳細情報を提供するために１つ以上の追加のアルゴリズムを適用することを意味する。

【0181】

所望によりフィルタリングおよび／またはランク付けした後、求められた関心領域は、仮想スライド全体または少なくともその大部分の低解像度の画像に一連のマーカーをオーバレイすることによって、ＧＵＩに表示することができる。このマーカーには、ランキングの視覚的表示が含まれうる。ＧＵＩ制御は、ユーザが、例えば、キーボードショートカット（矢印キーなど）、マウスナビゲーション（スクロール）、またはその他の入力（音声入力による音声ナビゲーション、タッチスクリーンによるタッチジェスチャなど）などの適切な入力を使用して、ランキング順に関心領域を上下にナビゲートすることを可能にするために提供されうる。ＧＵＩは、マーカーが選択された際に、関心領域の要約統計量がその領域の高解像度画像とともに表示されるように構成できる。要約統計量および高解像度画像は、同じポップアップウィンドウに表示可能であり、またはポップアップされる高解像度画像は、サムネイルタイプのクロップであってよいそれぞれのポップアップウィンドウに表示可能である。別の選択肢は、ディスプレイの１つの領域に低解像度の画像を表示し、ディスプレイの別の領域に高解像度画像で選択された領域を表示する、分割画面ビューを表示することである。病理医は、キーボードのキーをタップするか、マウスをダブルクリックするか、または他の同等のアクションを実行することにより、全解像度領域を観察することを選択できる。類似のアクションにより、病理医はすぐに低解像度のビューに戻る。病理医は、低解像度または高解像度の表示ウィンドウでリストをナビゲートできる。

【0182】

１つ以上の領域が病理医によって選択可能であり、病理医による追加の処理または追加のアルゴリズムによる処理が行われうる。

【0183】

要約すると、ビジュアライゼーションは、ユーザに、訓練済みＣＮＮによって求められた、臨床的関心領域であると考えられる画像内の領域を調べることを促すように構成されている。ここで、訓練済みＣＮＮは、ビジュアライゼーションアプリケーションを使用して専門家ユーザがＷＳＩとのインタラクションをどのように行ったかを監視することによって生成された訓練データで訓練されている。関心領域は、訓練済みＣＮＮの出力にセグメンテーションを適用することによって確定される。特に、従来のビジュアライゼーションアプリケーションと比較して、提案している関心領域のマーキングは、ユーザがスライド領域全体を低解像度で最初に大まかに手動で視覚的に走査することをサポートするだけでなく、特定の領域、つまり関心領域をより高い解像度で観察するようにユーザに促すのに役立つ。説明しているように、ＣＮＮ支援フィルタリングおよびランキングに基づいて病理医に提示されたビジュアライゼーションを自動前処理することにより、病理医がスライドをレビューするのに必要な時間を短縮できるだけでなく、人為的ミスの結果として臨床的に重要な領域のレビューを見落とす可能性を減らすことができる。

【0184】

関心領域のプリフェッチおよびプリキャッシュ
図６は、本開示の一実施形態による、上記のＣＮＮ法によって発見された関心領域に基づいて、関心領域の選択的プリフェッチまたはプリキャッシュが実行されるフロー図である。

【0185】

ステップＳ８１では、スライドスキャナによって生成された可能性があるＷＳＩの画像データを含む画像データファイルへのアクセスが提供される。画像データファイルには、複数の画像が含まれていてよく、例えば、複数の染色の各々に１つ、または有限の深度の透明または半透明のサンプルを通して顕微鏡の焦点面をステップすることによって得られたサンプル（いわゆるｚスタック）の異なる深度の各々に１つの画像が含まれうることが理解されよう。

【0186】

ステップＳ８２は、上記の例としてさらに説明したように、分散ベースの分析、適応閾値処理、モルフォロジー演算など、幾つかのＣＮＮ前処理を実行しうる任意のステップである。

【0187】

ステップＳ８３では、特に図４のステップＳ５１～Ｓ５４を参照して説明したように、上記のＣＮＮが実行される。組織型のピクセルごとの分類を実行して、関心ピクセルをマーキングし、続いて、関心領域の輪郭を描画するためにセグメンテーションが実行される。セグメンテーションの場合、概して、隣接する関心ピクセル、すなわち互いに接触しているかまたは互いに近接しているピクセルが、共通の関心領域に属していると考えられる。ただし、信頼性を向上させるために、例えば２つの異なる関心分類に関連付けられた、異なるピクセル分類を有する２つの接触する関心領域を特定するために、通常、より複雑なセグメンテーション基準が含まれている。ＣＮＮにより、各ピクセルに確率が割り当てられる。

【0188】

ステップＳ８４では、ステップＳ８３で関心領域を示すＣＮＮによって生成されたデータ、すなわち、関心領域固有のデータは、関心領域ごとの要約統計量のセットを計算するために使用される。例えば、関心領域ごとに、スコアは、その関心領域に含まれる全てのピクセルについての上記の確率値の数学的平均として計算されうる。中央値、加重平均などの他の要約統計量もスコアの計算に使用できる。要約統計量のセットには、例えば、関心領域の次元属性またはモルフォロジー属性、例えば、関心領域のピクセル数または形状によって測定される総面積、または複数の関心ピクセルクラスがある場合の特定のピクセル分類の普及率などが含まれてもよい。関心領域は、必ずしも単一のスライドからの領域ではなく、別々のスライドに属していてもよい。例えば、２つのスライドの組織サンプルは異なる染色で染色され、異なるクラスの腫瘍細胞が強調表示されうるため、幾つかの関心領域は第１のスライドに関連付けられ、他の関心領域は第２のスライドに関連付けられる。他の実装形態では、スコアは、ＣＮＮによって特定された関心領域に適用される従来の画像処理技術を使用して計算できる。例えば、形状およびテクスチャの測定値を使用して、要約統計量に含める一連の統計測定値を作成できる。任意に、ステップＳ８４では、追加で、要約統計量に基づいて関心領域のフィルタリングが実行される。例えば、病理医によって構成されうるか、または事前設定されうるフィルタにより、閾値、例えば１００マイクロメートルを超える最大寸法を有する関心領域のみを通過させることが選択されてもよい。

【0189】

ステップＳ８５では、ステップＳ８４によって渡された関心領域のセットが取得され、順番にランク付けされる。次に、要約統計量に基づいて、一連の基準を適用して、関心領域のランク付けが実行されうる。標準的なランク付けアプローチのプリセットがユーザに提供され、ユーザがプリセットに基づいて選択できるようにされうる。さらに、どの基準が適用されるかを定義するためのユーザインタフェースがユーザに提供されうる。例えば、長さの寸法または面積、または整数カウント（例えば、ピクセル数）に基づくスカラー値を基準とする場合、ユーザは、これらの基準の閾値または値の範囲を設定できる。ランキング順は、合成スコアに基づく場合もあれば、単純な単一パラメータのランキングに基づく場合もある。例えば、面積または最大寸法などの関心領域のサイズパラメータ、またはアスペクト比などのモルフォロジーパラメータに基づいてもよい。

【0190】

次に、ステップＳ８６では、ステップＳ８２～Ｓ８５から導出されたメタデータがスライドデジタルファイルに追加されるので、スライドデジタルファイルには、組織学的画像データセットだけでなく、ＣＮＮおよびその後のセグメンテーションによって画定される関心領域を特定するメタデータも含まれる。

【0191】

ビジュアライゼーションアプリケーション、または組織学的画像データセットを処理したい他のアプリケーションが、スライドデジタルファイルから画像データを取得するコマンドを発行すると、メタデータは、画像データの様々な部分が高遅延ストレージから低遅延ストレージにロードされる順序を決定するための基礎として使用することができる。

【0192】

スライドデジタルファイルに含まれる他のタイプのデータの有無にかかわらず、画像データのロードは、ネットワークのコンテキストで行うことができ、ここで、スライドデジタルファイルは、リモートサーバ上のデータリポジトリまたはライブラリ（通常はデータベース）に保存され、ビジュアライゼーションアプリケーション（または少なくともそのシンクライアント）は、病院ネットワークなどのネットワーク接続を介してデータリポジトリに接続されたクライアントコンピュータで実行される。この場合の高遅延ストレージはライブラリであり、低遅延ストレージはクライアントコンピュータのローカルストレージである。

【0193】

ステップＳ８７では、組織学的画像データセットの組織学的画像をユーザにインタラクティブに表示するように動作可能なビジュアライゼーションアプリケーションがロードされたコンピュータ装置が、例えばユーザから、仮想スライドライブラリから特定のスライドデジタルファイルをロードするコマンドを受信する。例えばコンピュータ装置のネットワークコネクタによって、スライドライブラリへのネットワーク接続が確立されると、スライドライブラリとコンピュータ装置との間のデータの転送を行うことができる。ユーザロードコマンドを実行することには、要求されたスライドデジタルファイルが、上記のステップＳ８２～Ｓ８５によって生成された関心領域メタデータを含むかどうかを最初に確認することが含まれうる。そうでない場合、このメタデータは、ステップＳ８１～Ｓ８６の方法をスライドデジタルファイルに対して実行させることによって生成されうる。

【0194】

ステップＳ８８によって示されているように、スライドデジタルファイルが関心領域メタデータを含む場合、画像データの取得は、関心領域を含まない他のサブ画像をロードする前に、最初に関心領域を含むデータセットの小面積のサブ画像を転送することによって進めることができる。ここで、関心領域に関連する画像データのこのプロアクティブな取得は、プリフェッチと称されうる。小面積のサブ画像は、データリポジトリのレコードに保存されているネイティブ解像度でロードすることができ、または解像度を上げて段階的に、例えば５倍から５０倍まで、５倍、２０倍、４０倍、６０倍のステップでロードすることができる。通常、高解像度のサブ画像の転送を開始する前に、ＷＳＩの低解像度の大面積バージョンがクライアントコンピュータに転送される。メタデータが関心領域のランキングを含む実施形態では、小面積のサブ画像は、ランキング順を考慮してロードされうる。さらに、ロードされる小面積のサブ画像は、スライドデジタルファイルのストレージ構造によって決定されうる。幾つかの仮想スライド画像は、単一の高解像度対物レンズ６０倍でのスキャンによって取得されるが、６０倍解像度だけでなく、高解像度の画像データから計算された１つ以上のステップダウンされた低解像度、例えば、４０倍、２０倍、および５倍でも保存される。さらに、スライドデジタルファイルに保存された画像データの各解像度層は、固定メモリサイズのタイル、例えば、２５６×２５６または５１２×５１２ピクセルのタイルに保存されうる。したがって、小面積のサブ画像の転送は、これらのタイルの単位で行うことができ、その結果、関心領域に特定のタイルからの少なくとも１つのピクセルが含まれる場合、そのタイルは、当該関心領域からの１つ以上のピクセルを含む他のタイルと一緒にロードされる。

【0195】

画像データのロードは、単一のコンピュータ装置の中で、ストレージが２つ以上の遅延レベルを有する場合もあり、例えば、ローカルディスクストレージ、マスＲＡＭストレージ、キャッシュＲＡＭストレージ、数値（中央）プロセッサキャッシュメモリ、グラフィックプロセッサキャッシュメモリの順に遅延が短くなる。キャッシュメモリは、ＣＰＵ、ＧＰＵ、ＴＰＵなどのプロセッサまたはプロセッサクラスタに関連付けられた高速静的ランダムアクセスメモリ（ＳＲＡＭ）であり、これは、プロセッサまたはプロセッサクラスタがアクセスできる他のＲＡＭよりも、プロセッサまたはプロセッサクラスタへのアクセス時間が高速である。換言すれば、ロードは、メモリが、遅延が増大する階層に配置された複数のメモリ層で構成され、少なくとも最小の遅延のメモリ層がキャッシュ層であるコンピュータ装置を用いて最適化することができる。コンピュータ装置がビジュアライゼーションアプリケーションを実行しており、ビジュアライゼーションアプリケーションが、コンピュータ装置のメモリにすでにロードされている組織学的画像データセットを観察するコマンドを発行する場合、コンピュータメモリの様々な遅延レベルは、要求された組織学的画像データセットに関連付けられた関心領域メタデータを参照して管理することができる。キャッシュポリシーは、関心領域を含むデータセットの高解像度の小領域サブ画像である、１つ以上の低遅延キャッシュ層に優先的にロードおよび／または優先的に保持するコンピュータ装置によって採用されうる。ここで、優先度は、関心領域を含まない他の小面積のサブ画像、またはメタデータにランキング順が含まれている場合は低関心領域と比較されるため、高ランキングが、低遅延および／または優先キャッシュ保持にマッピングされる。

【0196】

ステップＳ８９に示されているように、ユーザがビジュアライゼーションアプリケーションで仮想スライドをナビゲートする際、上記のように、ネットワークを介したプリフェッチまたはコンピュータのキャッシュポリシーの一部としてのプリキャッシュにより、ユーザが要求した高解像度のサブ画像が表示されるまでのユーザの待機時間が全体的に短縮される。これは、多くの場合、これらはプリフェッチまたはプリキャッシュされているか、少なくともプリフェッチまたはプリキャッシュが開始されてから、ユーザ要求が発行されるためである。

【0197】

種々の修正例が想定されうる。例えば、訓練データは、個々のユーザがＷＳＩをレビューする方法の監視を組み込んでいてもよく、かつユーザがＷＳＩをレビューする傾向の空間シーケンスパターンを構築してもよい。したがって、関心領域のランキング順は最適化されないことがあり、（例えば、ユーザが利用可能な最高の解像度で特定の領域を観察する時間によって測定される）臨床的関連性によって最適化されないだけでなく、むしろユーザがセッション中に関心領域ごとにレビューすることが期待される時間順序で最適化されてしまう。例えば、ユーザは、ＷＳＩの上から下へ、左から右への行スキャン、または上から下へのジグザグ水平スキャンなど、ラスタ状パターンに従う傾向がありうる。このようにして、プリフェッチまたはプリキャッシュは、ユーザが関心領域のレビューをステップスルーすることが期待される順序に従うことができる。

【0198】

要約すると、タイルごとにＷＳＩを処理するタイプの病理画像ビジュアライゼーションアプリケーション（「ビューア」）への支援が提供される。すなわち、ＷＳＩが２Ｄグリッドのタイルに分割され、これらのタイルのごく一部のみが一度に画面上に表示される。タイルを使用することで、ビジュアライゼーションアプリケーションのメモリ要件が管理可能なレベルに削減される。これは、ネイティブ解像度で全体をロードするとアプリケーションがクラッシュするような、数十ギガバイトの大きなＷＳＩを処理する場合に重要となる。ユーザがスライドを横断してナビゲートを行うと、新しいタイルがロードされ、ローカルストレージまたはネットワークストレージからメモリにキャッシュされる。このアプローチは、タイルレンダリング速度を向上させ、全体的なユーザエクスペリエンスを向上させるための確立された方法である。発明者らが提案するメモリ管理に対するタイルの支援により、ＣＮＮによって生成されたメタデータを利用して関心領域が特定される。このメタデータにより、アプリケーションに関心領域の事前知識が提供され、これにより、アプリケーションは、（ネットワーク経由でＷＳＩデータにアクセスする）プリフェッチポリシーおよび（ビジュアライゼーションアプリケーションを実行しているコンピュータ内の）プリキャッシュポリシーを採用して、スライドレビュー中の遅延の量を減らすことができる。ビジュアライゼーションアプリケーションは、ユーザが新しいＷＳＩセッションを開くたびに、関心領域に関連するタイルを任意にランキング順にプリフェッチおよびプリキャッシュする。このように、ユーザが関心領域にズームインしてパンすると、ユーザが観察する可能性が最も高い領域がすでにメモリ内で利用可能であるため、ナビゲーションは全体的に高速になる。

【0199】

上記のプリキャッシュまたはプリフェッチは、管理アプリケーションによって具体的に要求されていない、高解像度の小面積のサブ画像でのロードに関連することが理解されよう。概して、ビジュアライゼーションアプリケーションまたは他のアプリケーションが特定のサブ画像を高解像度でロードすることを要求した場合、これは、上記のプリフェッチまたはプリキャッシュ手順によって実行されるプリロードよりも優先される。

【0200】

関心領域に基づく可変画像圧縮
図７は、本開示の一実施形態による、上記のように訓練されたＣＮＮによって発見された関心領域をサポートするＧＵＩを備えたビジュアライゼーションアプリケーションによって実行されるフロー図である。

【0201】

ステップＳ９０では、組織学的サンプルを含むスライドがスライドスキャナに提供される。スライドスキャナには、スライドローダおよび高分解能の対物レンズを含む顕微鏡モジュールが組み込まれている。設計に応じて、顕微鏡モジュールは異なる分解能の複数の対物レンズを含むことができ、スキャンには、複数の対物レンズの１つのみまたは対物レンズの組み合わせを使用することができる。スライドスキャナは、組織学的画像データセットを取得するように顕微鏡モジュールを制御するように動作可能な一体型制御コンピュータを有してもよいし、または代替的に、インタフェース接続によってスライドスキャナに接続された、パーソナルコンピュータなどの別個の制御コンピュータによって制御されるように設計されていてもよい。スライドスキャナにより、スライドが走査され、サンプルのＷＳＩである組織学的画像データセットが取得される。ついで、ＷＳＩが、いわゆる仮想スライドとしてデジタルファイルに保存される。

【0202】

ステップＳ９１では、スライドスキャナによって生成された、ＷＳＩの画像データを含む画像データファイルが提供される。画像データファイルには、複数の画像が含まれていてよく、例えば、複数の染色の各々に１つ、または有限の深度の透明または半透明のサンプルを通して顕微鏡の焦点面をステップすることによって得られたサンプル（いわゆるｚスタック）の異なる深度の各々に１つの画像が含まれうることが理解されよう。画像データファイルには、隣接するサンプルスライスからの複数の画像が含まれていてよく、各々が異なって染色されていてよい。

【0203】

ステップＳ９２は、上記の例としてさらに説明したように、分散ベースの分析、適応閾値処理、モルフォロジー演算など、幾つかのＣＮＮ前処理を実行しうる任意のステップである。このステップでは、例えば、前処理によって関連性がないと特定された領域、例えば、サンプルが存在しなかったスライドの領域を意味する非組織領域に関して、ある程度の圧縮を実行することもできる。

【0204】

ステップＳ９３では、特に図４のステップＳ５１～Ｓ５４を参照して説明したように、上記のＣＮＮが実行される。組織型のピクセルごとの分類を実行して、関心ピクセルをマーキングし、続いて、関心領域の輪郭を描画するためにセグメンテーションが実行される。セグメンテーションの場合、概して、隣接する関心ピクセル、すなわち、互いに接触しているか、または互いに近接しているピクセルが、共通の関心領域に属していると考えられる。ただし、信頼性を向上させるために、例えば２つの異なる関心分類に関連付けられた、異なるピクセル分類を有する２つの接触する関心領域を特定するために、通常、より複雑なセグメンテーション基準が含まれている。ＣＮＮにより、各ピクセルに確率が割り当てられる。

【0205】

ステップＳ９４では、ステップ７３で関心領域を示すＣＮＮによって生成されたデータ、すなわち、関心領域固有のデータが、関心領域ごとの要約統計量のセットを計算するために使用される。例えば、関心領域ごとに、スコアは、その関心領域に含まれる全てのピクセルについての上記の確率値の数学的平均として計算されうる。中央値、加重平均などの他の要約統計量もスコアの計算に使用できる。要約統計量のセットには、例えば、関心領域の次元属性またはモルフォロジー属性、例えば、関心領域のピクセル数または形状によって測定される総面積、または複数の関心ピクセルクラスがある場合の特定のピクセル分類の普及率などが含まれていてよい。関心領域は、必ずしも単一のスライドからの領域ではなく、別々のスライドに属していてもよい。例えば、２つのスライドの組織サンプルは異なる染色で染色され、異なるクラスの腫瘍細胞が強調表示されうるため、幾つかの関心領域は第１のスライドに関連付けられ、他の関心領域は第２のスライドに関連付けられる。他の実装形態では、スコアは、ＣＮＮによって特定された関心領域に適用される従来の画像処理技術を使用して計算できる。例えば、形状およびテクスチャの測定値を使用して、要約統計量に含める一連の統計測定値を作成できる。任意に、ステップＳ９４では、追加で、要約統計量に基づいて関心領域のフィルタリングが実行される。例えば、病理医によって構成されうるか、または事前設定されうるフィルタにより、閾値、例えば１００マイクロメートルを超える最大寸法を有する関心領域のみを通過させることが選択されてもよい。

【0206】

ステップＳ９５では、ステップＳ９４によって渡された関心領域のセットが取得され、順番にランク付けされる。次に、要約統計量に基づいて、一連の基準を適用して、関心領域のランク付けが実行されうる。標準的なランク付けアプローチのプリセットがユーザに提供され、ユーザがプリセットに基づいて選択できるようにされうる。さらに、どの基準が適用されるかを定義するためのユーザインタフェースがユーザに提供されうる。例えば、長さの寸法または面積、または整数カウント（例えば、ピクセル数）に基づくスカラー値を基準とする場合、ユーザは、これらの基準の閾値または値の範囲を設定できる。ランキング順は、合成スコアに基づく場合もあれば、単純な単一パラメータのランキングに基づく場合もある。例えば、面積または最大寸法などの関心領域のサイズパラメータ、またはアスペクト比などのモルフォロジーパラメータに基づいてもよい。

【0207】

ステップＳ９６では、関心領域の外側のピクセルを優先的に圧縮して組織学的画像データセットの圧縮バージョンを生成する圧縮アルゴリズムを用いて、組織学的画像データセットに可変画像圧縮が適用される。圧縮バージョンは、スライドのデジタルファイル、つまりレコードに保存される。非関心領域に適用される画像圧縮アルゴリズムは、ＰＮＧ（Portable Network Graphics）もしくはＧＩＦ（Graphics Interchange Format）などの可逆圧縮アルゴリズム、またはＬＺＷ（Lempel-Ziv-Welch）、ＪＰＥＧ、ＪＰＥＧ ２０００、ＪＰＥＧ ＸＲ、ＰＧＦ（Progressive Graphics File）などの不可逆圧縮アルゴリズム、あるいは不可逆圧縮および可逆圧縮の両方を含む圧縮アルゴリズムでありうる。他の実施形態では、全ての画像データセットが圧縮を受ける可能性があるが、異なる圧縮アルゴリズム、または異なるレベルの圧縮を伴う同じ圧縮アルゴリズムが、関心領域に応じて可変的に適用されうる。非組織領域および臨床的に非関心である組織領域に、別々の非関心クラスが存在する場合、最も積極的な圧縮が非組織領域に使用される可能性があるが、一方、非関心の組織領域はそれほど圧縮されない可能性がある。別の選択肢は、関心領域に可逆圧縮を予約し、非関心領域に可逆圧縮を予約することである。さらに別の選択肢は、関心領域の周りのマージンを、圧縮に関して関心領域と同じように扱うことである。マージンは厚さに基づく場合があり、ブロブ拡張によって実装されうる。または整数の画像タイルに基づく場合があり、例えば、１つまたは２つの画像タイルが各関心領域の周囲に追加される。

【0208】

例えば、ＪＰＥＧ形式では、破棄されるデータの量および全体的な圧縮率に影響を与える「品質」パラメータを０～１００の範囲でカスタマイズできる。ＣＮＮによって実行される関心分類からの追加情報を取得することにより、関心領域および任意に関心レベルを特定するこの追加情報を使用して、品質パラメータを変更する方法を決定することができる。つまり、非関心領域または関心の低い領域には、低品質（高圧縮率）を設定でき、一方、ＣＮＮは、関心領域、または関心が高いとみなされる領域に、高品質（低圧縮率）または圧縮なしまたは可逆圧縮のみを適用できる。

【0209】

非圧縮の仮想スライドデータセットは膨大になる可能性があり、技術的能力な進歩によってさらに大きくなる可能性があることを踏まえると、メモリスペースの節約が重要になりうる。例えば、現在のスライドスキャナは、単一の画像に対して、例えば、２０～５０ＧＢのサイズの仮想スライドを生成することができ、ここで、単一の画像は、例えば、１５００００×７５０００ピクセルから構成されうる。組織学的画像データセットの圧縮バージョンは、圧縮元の組織学的画像データセットを上書きすることによってレコードに保存されうる。代替的に、元の生の画像を保持することもできるが、日常的には非表示にしておき、ユーザがスライドライブラリにアクセスするときに、デフォルトで圧縮バージョンにアクセスできるようにすることもできる。

【0210】

図８は、（図３の代替のオートエンコーダ訓練の実施形態で既述の）訓練済みオートエンコーダを使用して、異常を有する組織、つまり試験化合物によって潜在的に毒性損傷を受けたかまたは少なくとも変化した組織を検出する方法を示すフロー図である。

【0211】

ステップＳ２１では、仮想スライドライブラリなどのデータリポジトリに保存されたレコードから取得された画像データファイルが提供される。画像データファイルは、スライドスキャナによって生成された可能性があるため、組織学的ＷＳＩのものである。組織学的画像は、試験化合物で処理された組織サンプルの画像である。組織学的画像は、ピクセルの２次元アレイで構成される。画像データファイルには、複数の画像が含まれていてよく、例えば、複数の染色の各々に１つ、または有限の深度の透明または半透明のサンプルを通して顕微鏡の焦点面をステップすることによって得られたサンプル（いわゆるｚスタック）の異なる深度の各々に１つの画像が含まれうることが理解されよう。

【0212】

ステップＳ２２は、上記の例としてさらに説明したように、分散ベースの分析、適応閾値処理、モルフォロジー演算など、幾つかのＣＮＮ前処理を実行しうる任意のステップである。

【0213】

ステップＳ２３では、試験化合物で処理されていない組織を使用して、上記のような訓練データセットを用いて訓練済みオートエンコーダが使用される。オートエンコーダは、入力タイルを出力タイルとして忠実に再現することを目的として、タイルごとに組織学的画像に適用される。異常検出のためにオートエンコーダに提供される入力タイルは、オートエンコーダの自己教師あり訓練に過去に使用された画像タイルと同じサイズにすると便利である。

【0214】

ステップＳ２４では、各タイルの入力パッチと出力パッチとの間の距離Ｄ（Ｘ，Ｙ）が計算される。

【0215】

ステップＳ２５では、距離「Ｄ」が閾値「ε」と比較される。

【0216】

Ｄ（Ｘ，Ｙ）＜εの場合、ステップＳ２６で、タイルを陰性、つまり正常または非毒性としてマーキングするが、Ｄ（Ｘ，Ｙ）≧εの場合、ステップＳ２７で、タイルを陽性、つまり異常または毒性を有するものとしてマーキングする。したがって、各タイルはバイナリラベルでマーキングされる。ユーザは、閾値を設定することができる。例えば、ビジュアライゼーションアプリケーションは、ユーザが閾値を設定することができるユーザ制御を備えてもよい。ユーザが閾値を変更できるため、ユーザは、必要に応じて感度または特異性を増減できる。

【0217】

ステップＳ２８は、所与の画像の全てのタイルがステップＳ２４～Ｓ２７によって確認されて、画像全体、すなわちＷＳＩが陰性であるか陽性であるかがテストされた後に、プロセスフローに配置される。その後、ＷＳＩにはステップＳ２９およびＳ３０でそれぞれ陰性または陽性のラベルが付される。したがって、ＷＳＩの陰性または陽性の結果は、ＷＳＩ（およびＷＳＩがその一部を形成するその基礎となるレコード）の毒性ラベル全体となる。このように、毒性ラベル全体とは、画像タイルのいずれかが陽性であると判別された場合に、組織学的画像を毒性／異常と指定し、また、どの画像タイルも陽性であると判別されなかった場合、つまり全ての画像タイルが陰性であると判別された場合は、非毒性／正常として指定するバイナリラベルである。

【0218】

ステップＳ３１では、計算された距離に基づいて組織学的画像の毒性マップが生成されており、これは、例えば、直接に、または画像に関連付けられたメタデータとしてレコードに保存された後に、合成ディスプレイの組織学的画像にオーバレイされうる。ステップＳ２５でのテストの結果として生成されたバイナリタイルラベルは、集合的に画像のバイナリマスクを構成する。このバイナリマークは、上記で参照された毒性マップでありうる。各タイルの距離値は、集合的に画像のスカラー値マスクを構成する。このスカラー値マスクは、毒性マップの別の選択肢となる。かかるスカラー値マスクは、例えば、ヒートマップとして合成ディスプレイの画像にオーバレイできる。ビジュアライゼーションでは、ヒートマップをカラースケールまたは等高線などで表示できる。ヒートマップのために距離値をさらに処理して、所望のオーバレイディスプレイを提供することができる。例えば、距離値は、ヒートマップの温度値として変更せずに使用することも、一般的な変換係数でスケーリングすることもできる。また、毒性マップにより、全ての閾値未満の距離値がゼロ温度またはその他の一定値に設定される可能性がある。この際、ヒートマップが表示されると、正常な組織領域が均一に表示され、まったくマーキングされていないか、薄い灰色のウォッシュで覆われる。ヒートマップで距離値をスカラー値として保持する代わりに、距離値に何らかの方法で比例する離散値に変換して、ヒートマップに複数の毒性レベル（例えば、２、３、４、５以上）を与えることができる。毒性マップの別の選択肢は、セグメンテーションアルゴリズムを適用して毒性タイルを毒性領域にグループ化し、これによって毒性領域のセグメンテーションマスクを生成することである。これには、同じ情報コンテンツが含まれるため、タイルごとの毒性データとは別に、またはその代わりに保存できる。

【0219】

さらに別の選択肢は、距離（もしくは上記の距離値をさらに処理する過程でそこから導出された他の値）によって測定された毒性、または毒性領域の場合は総距離に従って、毒性タイルもしくは毒性領域をランク付けすることである。ランキングデータは、毒性マップとともに、または毒性マップの一部としてメタデータとして保存できる。

【0220】

ビジュアライゼーションアプリケーションが毒性マップを利用して、毒性病理医または他のユーザに役立つ方法でオートエンコーダからの異常データを提示する組織学的画像のビジュアライゼーションを作成する方法には、種々の選択肢がある。

【0221】

すでに述べたように、ビジュアライゼーションにより、毒性マップが組織学的画像にオーバレイされる概観表示ペインを提示することができる。任意に、毒性領域のランク付けラベルが含まれていてよく、これにより、病理医は、例えば最もランクの高い領域を最初にレビューすることができる。オーバレイの代わりに、毒性マップおよび組織学的画像を、１対１の比較のために、例えば並べて表示することもできる。有用なことに、ビジュアライゼーションアプリケーションは、毒性領域または個々の毒性タイルを選択するために、ユーザがビジュアライゼーションとのインタラクションを行うことを可能にするように動作可能なユーザインタフェース制御を備えうる。

【0222】

ビジュアライゼーションの一形態は、画面の一部に概観表示ペインが表示され、画面の別の部分に現在選択されている毒性領域が高倍率で、例えば基になる画像データのネイティブ解像度で表示される拡大表示ペインが表示されるような分割画面である。個々の毒性タイルまたは毒性領域が距離値または総距離値（またはその派生値）によってランク付けされている場合、ビジュアライゼーションアプリケーションは、ユーザがランキング順で毒性タイルまたは領域をスクロールできるように動作可能なユーザインタフェース制御を備えていてもよく、ここで、スクロールは、例えばマウスのスクロールホイールでアクセスできるように、ランキングが上向きまたは下向きになっている。

【0223】

ビジュアライゼーションの別の形態は、毒性タイルまたは領域をランキング順に表形式またはリスト形式で表示することである。各ランキングは１つの行を表しており、各行には、毒性タイルまたは領域のサムネイル画像が含まれる。

【0224】

ビジュアライゼーションのさらに別の形態は、毒性タイルまたは領域が画像のモザイクとして提示されることであり、その結果、ユーザは、画像の異常な、すなわち毒性部分のみを実質的に提示され、正常な領域は表示されないか、または周辺にのみ表示される。

【0225】

例示的な実施形態
一実施形態では、試験化合物で処理された組織サンプルの組織学的画像を処理するためにコンピュータ自動化システムによって採用される方法は、組織サンプルの組織学的画像を受信することから開始され、組織学的画像には、ピクセルの２次元アレイが含まれる。次に、システムは、第１の畳み込みニューラルネットワークを組織学的画像に適用して、組織学的画像の２次元アレイに対するマッピングを有するピクセルの２次元アレイを有する第１の出力画像パッチを生成する。第１の出力画像パッチは、複数の関連性クラスのうちの１つを各ピクセルに割り当てることによって生成され、複数の関連性クラスは、関心ピクセルを表す少なくとも１つのクラスと、非関心ピクセルを表す少なくとも１つのクラスとを含む。有利には、第１の畳み込みニューラルネットワークは、組織学的画像および病理医インタラクションデータを含む訓練データセットを使用して訓練され、病理医インタラクションデータにより、病理医が組織学的画像のビジュアライゼーションとのインタラクションをどのように行ったかに関連する複数のパラメータが記録された。次に、システムは、第１の出力画像パッチから関心領域マップを生成する。関心領域マップは、関心ピクセルによって占有された関心領域を特定する。

【0226】

次に、第２の畳み込みニューラルネットワークが組織学的画像に適用されて、組織学的画像の２次元アレイに対するマッピングを有するピクセルの２次元アレイを有する第２の出力画像パッチを生成する。この場合、第２の畳み込みネットワークは、試験化合物で処理されていない組織サンプルの複数の組織学的画像を含む訓練データセットで訓練されている。続いて、システムは、マッピングに従って、第２の出力画像パッチと組織学的画像の対応する部分との間の距離を計算する。次に、システムは、計算された距離に基づいて、組織学的画像の毒性マップを生成し、関心領域マップおよび毒性マップを分析して、関心領域マップおよび毒性マップの両方に現れる組織学的画像の領域を特定する。最後に、システムは、関心領域マップおよび毒性マップの両方に現れる組織学的画像の各領域の毒性信頼スコアを増大させる。

【0227】

ＣＮＮコンピューティングプラットフォーム
提案している画像処理は、多種多様なコンピューティングアーキテクチャ、特に、ＣＰＵ、ＧＰＵ、ＴＰＵ、ＦＰＧＡ、および／またはＡＳＩＣに基づくニューラルネットワーク用に最適化されたコンピューティングアーキテクチャで実行されうる。幾つかの実施形態では、ニューラルネットワークは、テスラＫ８０ ＧＰＵなどの、カリフォルニア州サンタクララのNvidia CorporationのNvidia ＧＰＵ上で実行されるGoogleのTensorflowソフトウェアライブラリを使用して実装される。他の実施形態では、ニューラルネットワークは、汎用ＣＰＵ上で実行することができる。より高速な処理は、ＣＮＮ計算を実行するための目的に合わせて設計されたプロセッサ、例えば、Ｊｏｕｐｐｉ ｅｔ ａｌ．（２０１７）に開示されたＴＰＵによって得ることができ、その内容は全て、参照により本明細書に組み込まれている。

【0228】

図９は、Ｊｏｕｐｐｉ ｅｔ ａｌ．（２０１７）のＴＰＵを示しており、Ｊｏｕｐｐｉの図１を簡略化したものである。ＴＰＵ１００は、２５６×２５６ＭＡＣを含む収縮行列乗算ユニット（ＭＭＵ）１０２を有しており、この２５６×２５６ＭＡＣにより、符号付きまたは符号なし整数に対する８ビットの乗算および加算が実行されうる。ＭＭＵの重みは、重みＦＩＦＯバッファ１０４を介して供給され、次に、適切なメモリインタフェース１０８を介して、オフチップ８ＧＢ ＤＲＡＭの形態で、メモリ１０６から重みを読み取る。中間結果を保存するために、統合バッファ（ＵＢ）１１０が提供される。ＭＭＵ１０２は、重みＦＩＦＯインタフェース１０４およびＵＢ１１０からの入力を（収縮期データセットアップユニット１１２を介して）受信し、ＭＭＵ処理の１６ビット積をアキュムレータユニット１１４に出力するように接続されている。起動ユニット１１６は、アキュムレータユニット１１４に保持されているデータに対して非線形な機能を実行する。正規化ユニット１１８およびプーリングユニット１２０によるさらなる処理の後、中間結果は、データセットアップユニット１１２を介してＭＭＵ１０２に再供給するためにＵＢ１１０に送信される。プーリングユニット１２０は、必要に応じて、最大プーリング（すなわち、マックスプーリング）または平均プーリングを実行することができる。プログラム可能なＤＭＡコントローラ１２２は、ＴＰＵのホストコンピュータおよびＵＢ１１０との間でデータを転送する。ＴＰＵ命令は、ホストインタフェース１２４および命令バッファ１２６を介して、ホストコンピュータからコントローラ１２２に送信される。

【0229】

ニューラルネットワークを実行するために使用される計算能力は、ＣＰＵ、ＧＰＵ、またはＴＰＵのいずれに基づくものであっても、例えば後述するクリニカルネットワークでローカルにホストされうるものであり、またはデータセンタでリモートでホストされうるものであることが理解されよう。

【0230】

ネットワークおよびコンピューティングおよびスキャン環境
提案しているコンピュータ自動化方法は、より大きなクリニカルネットワーク環境の一部である検査情報システム（ＬＩＳ）、例えば、病院情報システム（ＨＩＳ）または画像アーカイブおよび通信システム（ＰＡＣＳ）などのコンテキストで動作する。ＬＩＳでは、ＷＳＩは、データベース、通常は個々の患者の電子医療記録を含む患者情報データベースに保持される。ＷＳＩは、スライドにマウントされた染色組織サンプルから取得される。ＷＳＩを取得する顕微鏡にはバーコードリーダーが装備されているため、スライドには、ＷＳＩに適切なメタデータがタグ付けされたバーコードラベルが印刷される。ハードウェアの観点からは、ＬＩＳは、必要に応じて有線および無線接続を備えたローカルエリアネットワーク（ＬＡＮ）などの従来のコンピュータネットワークとなる。

【0231】

図１０は、本発明の実施形態と併せて使用することができる例示的なコンピュータネットワークを示す図である。ネットワーク１５０は、病院１５２内のＬＡＮを含む。病院１５２は、複数のワークステーション１５４を備えており、複数のワークステーション１５４は、それぞれがローカルエリアネットワークを介して、関連するストレージデバイス１５８を有する病院コンピュータサーバ１５６にアクセスすることができる。ＬＩＳ、ＨＩＳまたはＰＡＣＳアーカイブは、ストレージデバイス１５８に保存され、これにより、アーカイブ内のデータは、任意のワークステーション１５４からアクセスすることができる。ワークステーション１５４のうちの１つ以上は、グラフィックカードおよびソフトウェアにアクセスして、前述の画像生成方法をコンピュータで実装することができる。ソフトウェアは、または各ワークステーション１５４にローカルに保存可能であるか、またはリモートにて保存可能であり、必要に応じてネットワーク１５０を介してワークステーション１５４にダウンロードされうる。他の例では、本発明を具現化する方法は、端末として動作するワークステーション１５４を備えたコンピュータサーバ上で実行されうる。例えば、ワークステーションは、所望の組織学的画像データセットを定義するユーザ入力を受信し、ＣＮＮ分析がシステムの他の場所で実行されている間、結果の画像を表示するように構成されうる。また、複数の組織学的および他の医療撮像デバイス１６０、１６２、１６４、１６６が、病院のコンピュータサーバ１５６に接続されている。デバイス１６０、１６２、１６４、１６６で収集された画像データは、ストレージデバイス１５６上のＬＩＳ、ＨＩＳ、またはＰＡＣＳアーカイブに直接に保存することができる。したがって、組織学的画像は、対応する組織学的画像データが記録された直後に観察および処理することができる。ローカルエリアネットワークは、病院のインターネットサーバ１７０によってインターネット１６８に接続されており、これにより、ＬＩＳ、ＨＩＳ、またはＰＡＣＳアーカイブへのリモートアクセスが可能になる。これは、データへのリモートアクセスや、例えば患者が移動した場合などに病院間でデータを転送したり、外部調査を実施したりする場合に役立つ。

【0232】

図１１は、本明細書に記載の種々の実施形態に関連して使用されうる例示的なコンピューティング装置５００を示すブロック図である。例えば、コンピューティング装置５００は、上記のＬＩＳまたはＰＡＣＳシステムにおけるコンピューティングノード、例えば、適切なＧＰＵ、または図９に示されるＴＰＵと組み合わせてＣＮＮ処理が実行されるホストコンピュータとして使用されてもよい。

【0233】

コンピューティング装置５００は、サーバまたは任意の従来のパーソナルコンピュータ、あるいは有線または無線のデータ通信が可能な他の任意のプロセッサ対応デバイスでありうる。当業者には明らかであるように、有線または無線のデータ通信が不可能なデバイスを含む、他のコンピューティング装置、システム、および／またはアーキテクチャも使用することができる。

【0234】

コンピューティング装置５００は、好ましくは、プロセッサ５１０などの１つ以上のプロセッサを含む。プロセッサ５１０は、例えば、ＣＰＵ、ＧＰＵ、ＴＰＵ、またはアレイ、あるいはこれらの組み合わせであってよく、例えば、ＣＰＵとＴＰＵとの組み合わせ、またはＣＰＵとＧＰＵとの組み合わせであってよい。入出力を管理するための補助プロセッサ、浮動小数点数学演算を実行するための補助プロセッサ（例えば、ＴＰＵ）、信号処理アルゴリズム（デジタルシグナルプロセッサ、イメージプロセッサなど）の高速実行に適したアーキテクチャを備えた専用マイクロプロセッサ、メイン処理システムに従属するスレーブプロセッサ（バックエンドプロセッサなど）、デュアルもしくはマルチプロセッサシステム用の追加のマイクロプロセッサもしくはコントローラ、またはコプロセッサなどの追加のプロセッサを提供することができる。かかる補助プロセッサは、個別のプロセッサでありうるか、またはプロセッサ５１０と統合されうる。コンピューティング装置５００で使用できるＣＰＵの例は、Ｐｅｎｔｉｕｍプロセッサ、Ｃｏｒｅ ｉ７プロセッサ、およびＸｅｏｎプロセッサであり、これらは全て、カリフォルニア州サンタクララ在のインテルコーポレーションから市販されている。コンピューティング装置５００で使用されうるＧＰＵの例は、カリフォルニア州サンタクララ在のNvidia CorporationのテスラＫ８０ ＧＰＵである。

【0235】

プロセッサ５１０は、通信バス５０５に接続されている。通信バス５０５には、ストレージとコンピューティング装置５００の他の周辺コンポーネントとの間の情報転送を容易にするためのデータチャネルが含まれうる。通信バス５０５はさらに、プロセッサ５１０との通信に使用される信号のセットを提供することができ、これには、データバス、アドレスバス、および制御バス（図示せず）が含まれる。通信バス５０５には、任意の標準または非標準バスアーキテクチャが含まれていてよく、例えば業界標準アーキテクチャ（ＩＳＡ）、拡張業界標準アーキテクチャ（ＥＩＳＡ）に準拠するバスアーキテクチャなど、マイクロチャネルアーキテクチャ（ＭＣＡ）、周辺コンポーネントインタコネクト（ＰＣＩ）ローカルバス、またはＩＥＥＥ４８８汎用インタフェースバス（ＧＰＩＢ）、ＩＥＥＥ６９６／Ｓ－１００などを含む、米国電気電子学会（ＩＥＥＥ）によって公布された規格が含まれていてよい。

【0236】

コンピューティング装置５００は、好ましくはメインメモリ５１５を含み、セカンダリメモリ５２０も含みうる。メインメモリ５１５は、上記で論じた機能および／またはモジュールのうちの１つ以上など、プロセッサ５１０上で実行されるプログラムのための命令およびデータの記憶を提供する。メモリに保存され、プロセッサ５１０によって実行されるコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路の構成データ、もしくはＳｍａｌｌｔａｌｋ、Ｃ／Ｃ＋＋、Ｊａｖａ、ＪａｖａＳｃｒｉｐｔ、Ｐｅｒｌ、ＶｉｓｕａｌＢａｓｉｃ．ＮＥＴなどを含むがこれらに限定されない１つ以上のプログラミング言語の任意の組み合わせで記述および／またはコンパイルされたソースコードまたはオブジェクトコードのいずれかでありうることを理解されたい。メインメモリ５１５は、典型的には、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）および／または静的ランダムアクセスメモリ（ＳＲＡＭ）などの半導体ベースのメモリである。他の半導体ベースのメモリタイプには、例えば、同期動的ランダムアクセスメモリ（ＳＤＲＡＭ）、ランバス動的ランダムアクセスメモリ（ＲＤＲＡＭ）、強誘電体ランダムアクセスメモリ（ＦＲＡＭ）などが含まれ、読み取り専用メモリ（ＲＯＭ）が含まれる。

【0237】

コンピュータ可読プログラム命令は、スタンドアロンソフトウェアパッケージとして、完全にユーザのコンピュータ上で、一部はユーザのコンピュータ上で実行可能であり、一部はユーザのコンピュータ上で、一部はリモートコンピュータ上で、または完全にリモートコンピュータもしくはサーバ上で実行されうる。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続可能であり、または（例えば、インターネットサービスプロバイダを使用したインターネット経由で）外部コンピュータに接続可能である。

【0238】

セカンダリメモリ５２０は、任意に、内部メモリ５２５および／またはリムーバブル媒体５３０を含みうる。リムーバブル媒体５３０は、任意の周知の方法で読み取られ、かつ／または書き込まれる。リムーバブル記憶媒体５３０は、例えば、磁気テープドライブ、コンパクトディスク（ＣＤ）ドライブ、デジタル多用途ディスク（ＤＶＤ）ドライブ、他の光学ドライブ、フラッシュメモリドライブなどであってもよい。

【0239】

リムーバブル記憶媒体５３０は、非一時的コンピュータ可読媒体であり、コンピュータ実行可能コード（すなわち、ソフトウェア）および／またはデータがその上に保存されている。リムーバブル記憶媒体５３０に保存されたコンピュータソフトウェアまたはデータは、プロセッサ５１０による実行のためにコンピューティング装置５００に読み込まれる。

【0240】

セカンダリメモリ５２０には、コンピュータプログラムまたは他のデータもしくは命令をコンピューティング装置５００にロードすることを可能にするための他の同様の要素が含まれうる。かかる手段には、例えば、外部記憶媒体５４５および通信インタフェース５４０が含まれていてよく、これにより、ソフトウェアおよびデータが外部記憶媒体５４５からコンピューティング装置５００に転送されることが可能となる。外部記憶媒体５４５の例として、外付けハードディスクドライブ、外付け光学ドライブ、外付け光磁気ドライブなどが挙げられる。セカンダリメモリ５２０の他の例として、プログラム可能な読み取り専用メモリ（ＰＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、またはフラッシュメモリ（ＥＥＰＲＯＭと類似のブロック指向のメモリ）などの半導体ベースのメモリが挙げられる。

【0241】

上記のように、コンピューティング装置５００は、通信インタフェース５４０を含みうる。通信インタフェース５４０により、ソフトウェアおよびデータが、コンピューティング装置５００と外部デバイス（例えば、プリンタ）、ネットワーク、または他の情報源との間で転送されることが可能となる。例えば、コンピュータソフトウェアまたは実行可能コードは、通信インタフェース５４０を介してネットワークサーバからコンピューティング装置５００に転送されうる。通信インタフェース５４０の例として、内蔵ネットワークアダプタ、ネットワークインタフェースカード（ＮＩＣ）、パーソナルコンピュータメモリカード国際協会（ＰＣＭＣＩＡ）ネットワークカード、カードバスネットワークアダプタ、ワイヤレスネットワークアダプタ、ユニバーサルシリアルバス（ＵＳＢ）ネットワークアダプタ、モデム、ネットワークインタフェースカード（ＮＩＣ）、ワイヤレスデータカード、通信ポート、赤外線インタフェース、ＩＥＥＥ１３９４ファイアワイヤ、またはネットワークもしくは別のコンピューティングデバイスによりシステム５５０とインタフェースを有しうるその他のデバイスが挙げられる。好ましくは、通信インタフェース５４０により、業界で公布されたプロトコル標準が実装され、好ましくは、イーサネットＩＥＥＥ８０２標準、ファイバチャネル、デジタル加入者線（ＤＳＬ）、非同期デジタル加入者線（ＡＤＳＬ）、フレームリレー、非同期転送モード（ＡＴＭ）、統合デジタルサービスネットワーク（ＩＳＤＮ）、パーソナル通信サービス（ＰＣＳ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、シリアルラインインターネットプロトコル／ポイントツーポイントプロトコル（ＳＬＩＰ／ＰＰＰ）が実装されるが、カスタマイズされた、または非標準のインタフェースプロトコルも実装されうる。

【0242】

通信インタフェース５４０を介して転送されるソフトウェアおよびデータは、概して、電気通信信号５５５の形態である。これらの信号５５５は、通信チャネル５５０を介して通信インタフェース５４０に提供されうる。一実施形態では、通信チャネル５５０は、有線または無線ネットワーク、あるいは任意の多種多様な他の通信リンクでありうる。通信チャネル５５０は、信号５５５を伝送しており、幾つかの例を挙げると、ワイヤもしくはケーブル、光ファイバ、従来の電話回線、携帯電話リンク、無線データ通信リンク、無線周波数（「ＲＦ」）リンク、または赤外線リンクを含む多種多様な有線または無線通信手段を使用して実装することができる。

【0243】

コンピュータ実行可能コード（すなわち、コンピュータプログラムまたはソフトウェア）は、メインメモリ５１５および／またはセカンダリメモリ５２０に保存される。コンピュータプログラムはまた、通信インタフェース５４０を介して受信され、メインメモリ５１５および／またはセカンダリメモリ５２０に保存されうる。本明細書の他の箇所で説明されるように、かかるコンピュータプログラムは、実行される際に、コンピューティング装置５００に、開示される実施形態の種々の機能を実行させることを可能にする。

【0244】

本明細書において、「コンピュータ可読媒体」という用語は、コンピュータ実行可能コード（例えば、ソフトウェアおよびコンピュータプログラム）をコンピューティング装置５００に提供するために使用される任意の非一時的コンピュータ可読記憶媒体を指すために使用される。かかる媒体の例として、メインメモリ５１５、セカンダリメモリ５２０（内部メモリ５２５、リムーバブル媒体５３０、および外部記憶媒体５４５を含む）、および通信インタフェース５４０と通信可能に結合された任意の周辺デバイス（ネットワーク情報サーバまたは他のネットワークデバイスを含む）が挙げられる。これらの非一時的コンピュータ可読媒体は、実行可能コード、プログラミング命令、およびソフトウェアをコンピューティング装置５００に提供するための手段である。ソフトウェアを使用して実装される一実施形態では、ソフトウェアは、コンピュータ可読媒体に保存され、リムーバブル媒体５３０、Ｉ／Ｏインタフェース５３５、または通信インタフェース５４０を介してコンピューティング装置５００にロードされうる。かかる一実施形態では、ソフトウェアは、電気通信信号５５５の形態でコンピューティング装置５００にロードされる。ソフトウェアは、プロセッサ５１０によって実行される際に、好ましくはプロセッサ５１０に、本明細書の他の箇所で説明されている特徴および機能を実行させる。

【0245】

Ｉ／Ｏインタフェース５３５により、コンピューティング装置５００の１つ以上のコンポーネントと１つ以上の入力および／または出力デバイスとの間のインタフェースが提供される。入力デバイスの例として、キーボード、タッチスクリーンまたは他のタッチセンシティブデバイス、生体認証デバイス、コンピュータマウス、トラックボール、ペンベースのポインティングデバイスなどが挙げられるが、これらに限定されない。出力デバイスの例として、ブラウン管（ＣＲＴ）、プラズマディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、プリンタ、真空蛍光表示管（ＶＦＤ）、表面伝導型電子放出ディスプレイ（ＳＥＤ）、電界放出ディスプレイ（ＦＥＤ）などが挙げられるが、これらに限定されない。

【0246】

コンピューティング装置５００にはまた、音声ネットワークおよび／またはデータネットワークを介した無線通信を容易にする任意の無線通信コンポーネントが含まれる。無線通信コンポーネントには、アンテナシステム５７０、無線システム５６５、およびベースバンドシステム５６０が含まれる。コンピューティング装置５００では、無線周波数（ＲＦ）信号は、無線システム５６５の管理下にあるアンテナシステム５７０によって無線で送受信される。

【0247】

アンテナシステム５７０は、アンテナシステム５７０に送信および受信信号経路を提供するためにスイッチング機能を実行する１つ以上のアンテナおよび１つ以上のマルチプレクサ（図示せず）を含みうる。受信経路において、受信されたＲＦ信号は、低ノイズ増幅器（図示せず）に結合可能であり、低ノイズ増幅器は、マルチプレクサから、受信されたＲＦ信号を増幅し、増幅された信号を無線システム５６５に送信する。

【0248】

無線システム５６５は、種々の周波数で通信するように構成された１つ以上の無線を含みうる。一実施形態では、無線システム５６５は、復調器（図示せず）および変調器（図示せず）を１つの集積回路（ＩＣ）に組み合わせることができる。復調器および変調器は、別々のコンポーネントにすることもできる。着信経路において、復調器は、ＲＦ搬送波信号を除去し、ベースバンド受信オーディオ信号を残す。ベースバンド受信オーディオ信号は、無線システム５６５からベースバンドシステム５６０に送信される。

【0249】

受信信号が音声情報を含む場合、ベースバンドシステム５６０は、信号を復号し、これをアナログ信号に変換する。次に、信号が増幅されてスピーカーに送信される。ベースバンドシステム５６０はまた、マイクロフォンからアナログオーディオ信号を受信する。これらのアナログオーディオ信号は、デジタル信号に変換され、ベースバンドシステム５６０によって符号化される。ベースバンドシステム５６０はまた、送信用のデジタル信号をコード化し、無線システム５６５の変調器部分にルーティングされるベースバンド送信オーディオ信号を生成する。変調器は、ベースバンド送信オーディオ信号をＲＦ搬送波信号と混合して、ＲＦ送信信号を生成し、ＲＦ送信信号は、アンテナシステム５７０にルーティングされ、電力増幅器（図示せず）を通過しうる。電力増幅器は、ＲＦ送信信号を増幅し、これをアンテナシステム５７０にルーティングし、そこで、信号は、送信のためにアンテナポートに切り替えられる。

【0250】

ベースバンドシステム５６０はまた、プロセッサ５１０と通信可能に結合されており、プロセッサ５１０は、中央処理装置（ＣＰＵ）でありうる。プロセッサ５１０は、データ記憶領域５１５および５２０にアクセスすることができる。プロセッサ５１０は、好ましくは、メインメモリ５１５またはセカンダリメモリ５２０に保存されうる命令（すなわち、コンピュータプログラムまたはソフトウェア）を実行するように構成される。コンピュータプログラムはまた、ベースバンドプロセッサ５６０から受信され、メインメモリ５１０またはセカンダリメモリ５２０に保存されるか、または受信時に実行されうる。かかるコンピュータプログラムは、実行される際に、コンピューティング装置５００に、開示される実施形態の種々の機能を実行させることを可能にするためのものである。例えば、データ記憶領域５１５または５２０は、種々のソフトウェアモジュールを含んでもよい。

【0251】

コンピューティング装置は、通信バス５０５に直接に接続されたディスプレイ５７５をさらに含み、これは、上記のＩ／Ｏインタフェース５３５に接続された任意のディスプレイに代えて、またはこれに加えて提供されうる。

【0252】

種々の実施形態はまた、例えば、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックアレイ（ＰＬＡ）、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのコンポーネントを使用して、主にハードウェアに実装されうる。本明細書に記載の機能を実行しうるハードウェアステートマシンの実装形態もまた、関連技術分野の当業者には明らかであろう。ハードウェアおよびソフトウェアの両方の組み合わせを使用して、種々の実施形態を実装することもできる。

【0253】

さらに、当業者は、上記の図および本明細書に開示される実施形態に関連して説明される種々の例示的な論理ブロック、モジュール、回路、および方法ステップが、多くの場合、電子ハードウェア、コンピュータソフトウェア、または両者の組み合わせとして実装されうることを理解するであろう。このハードウェアおよびソフトウェアの互換性を明確に説明するために、種々の例示的なコンポーネント、ブロック、モジュール、回路、およびステップを、概してその機能の観点から上述した。かかる機能がハードウェアとして実装されるか、またはソフトウェアとして実装されるかは、システム全体に課せられる特定のアプリケーションおよび設計上の制約によって異なる。当業者は、特定のアプリケーションごとに種々の方法で説明した機能を実装できるが、かかる実装形態の決定は、本発明の範囲からの逸脱を引き起こすと解釈されるべきではない。さらに、モジュール、ブロック、回路、またはステップ内の機能のグループ化は、説明を容易にするためのものである。特定の機能またはステップは、本発明から逸脱することなく、あるモジュール、ブロック、または回路から別のモジュール、ブロック、または回路に移動することができる。

【0254】

さらに、本明細書に開示される実施形態に関連して説明される種々の例示的な論理ブロック、モジュール、機能、および方法は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ、ＦＰＧＡ、または他のプログラマブルロジックデバイス、ディスクリートゲートもしくはトランジスタロジック、ディスクリートハードウェアコンポーネント、あるいは本明細書に記載の機能を実行するように設計されたこれらの任意の組み合わせによって実装または実行することができる。汎用プロセッサは、マイクロプロセッサでありうる、代わりに、プロセッサは、任意のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンでありうる。プロセッサはまた、コンピューティングデバイスの組み合わせとして実装可能であり、例えば、ＤＳＰおよびマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと組み合わせた１つ以上のマイクロプロセッサ、または任意の他のかかる構成として実装可能である。

【0255】

付加的に、本明細書に開示される実施形態に関連して説明される方法またはアルゴリズムのステップは、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、または両者の組み合わせで直接に具現化することができる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ－ＲＯＭ、またはネットワーク記憶媒体を含むその他の形態の記憶媒体に常駐しうる。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合することができる。別の方法として、記憶媒体をプロセッサに統合することもできる。プロセッサおよび記憶媒体はＡＳＩＣに常駐することもできる。

【0256】

本明細書で言及されるコンピュータ可読記憶媒体は、それ自体が、電波もしくは他の自由に伝搬する電磁波、導波管もしくは他の伝送媒体を伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、またはワイヤを介して伝送される電気信号などの一時的な信号であると解釈されるべきではない。

【0257】

本明細書に記載されているソフトウェアコンポーネントのいずれも、多種多様な形態をとりうる。例えば、コンポーネントは、スタンドアロンのソフトウェアパッケージであってもよく、またはより大きなソフトウェア製品に「ツール」として組み込まれているソフトウェアパッケージであってもよい。これは、Ｗｅｂサイトなどのネットワークからスタンドアロン製品として、または既存のソフトウェアアプリケーションにインストールするためのアドインパッケージとしてダウンロード可能であってもよい。また、クライアントサーバソフトウェアアプリケーション、Ｗｅｂ対応ソフトウェアアプリケーション、および／またはモバイルアプリケーションとして利用されてもよい。

【0258】

本発明の実施形態は、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して本明細書に記載されている。フローチャート図および／またはブロック図の各ブロック、およびフローチャート図および／またはブロック図のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装できることが理解されよう。

【0259】

コンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供され、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび／またはブロック図の単一もしくは複数のブロックで指定された機能／動作を実施するための手段を作成するような機械を作り出すことができる。これらのコンピュータ可読プログラム命令はまた、コンピュータ、プログラム可能なデータ処理装置、および／または他のデバイスに特定の方法で機能するように指示しているコンピュータ可読記憶媒体に保存可能であり、命令が保存されたコンピュータ可読記憶媒体には、フローチャートおよび／またはブロック図の単一もしくは複数のブロックで指定された機能／動作の態様を実施する命令を含む製造品が含まれる。

【0260】

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスにロードされて、コンピュータ、他のプログラム可能な装置または他のデバイス上で一連の操作ステップを実行させ、コンピュータ実装プロセスを生成可能であり、その結果、コンピュータ、他のプログラム可能な装置、または他のデバイス上で実行される命令により、フローチャートおよび／またはブロック図の単一もしくは複数のブロックで指定された機能／動作が実装される。

【0261】

図示のフローチャートおよびブロック図は、本発明の種々の実施形態による、システム、方法、およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能、および動作を示している。これに関して、フローチャートまたはブロック図の各ブロックは、モジュール、セグメント、または命令の一部を表すことができ、これには、指定された論理機能を実装するための１つ以上の実行可能命令が含まれる。幾つかの代替の実装形態では、ブロックに示されている機能は、図に示されている順序とは異なる場合がある。例えば、連続して表示される２つのブロックは、実際には実質的に同時に実行されうるか、または関連する機能に応じて、ブロックが逆の順序で実行されうる。ブロック図および／またはフローチャート図の各ブロック、およびブロック図および／またはフローチャート図のブロックの組み合わせは、指定された機能または動作を実行するか、または専用ハードウェアおよびコンピュータ命令の組み合わせを実行する専用ハードウェアベースのシステムによって実装されうる。

【0262】

本発明を具現化する装置および方法は、クラウドコンピューティング環境でホストされ、クラウドコンピューティング環境によって配信されうる。クラウドコンピューティングは、構成可能なコンピューティングリソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン、およびサービス）の共有プールへの便利なオンデマンドネットワークアクセスを可能にするサービス提供のモデルであり、最小限の管理作業またはサービスのプロバイダとのインタラクションにより、迅速にプロビジョニングおよびリリースされうる。このクラウドモデルには、少なくとも５つの特性、少なくとも３つのサービスモデル、および少なくとも４つの展開モデルが含まれうる。

【0263】

その特徴は以下の通りである。

【0264】

オンデマンドセルフサービス：クラウドコンシューマは、人間のサービスプロバイダとのインタラクションを必要とせずに、必要に応じてサーバ時間およびネットワークストレージなどのコンピューティング機能を一方的にプロビジョニングできる。

【0265】

ブロードネットワークアクセス：ネットワーク経由で機能が利用可能であり、異種のシンクライアントまたはシッククライアントプラットフォーム（携帯電話、ラップトップ、ＰＤＡなど）による使用を促進する標準メカニズムを介してアクセスされる。

【0266】

リソースプーリング：プロバイダのコンピューティングリソースは、マルチテナントモデルを使用して複数のコンシューマにサービスを提供するためにプールされ、種々の物理リソースおよび仮想リソースが需要に応じて動的に割り当てられ、かつ再割り当てされる。コンシューマは通常、提供されたリソースの正確な場所を制御したり、知ったりすることはできないが、より高い抽象度で場所（国、州、データセンタなど）を指定する可能性があるという点で、場所の独立性がある。

【0267】

迅速な弾力性（Rapid elasticity）：迅速にかつ弾力的に、幾つかの場合には自動的に、機能がプロビジョニングされ、迅速にスケールアウトされ、迅速にリリースされて迅速にスケールインされる。コンシューマにとっては、プロビジョニングに利用できる機能は無制限で、いつでも好きなだけ購入できるように見えることが多い。

【0268】

計測可能なサービス（Measured service）：クラウドシステムにより、サービスのタイプ（ストレージ、処理、帯域幅、アクティブなユーザアカウントなど）に適した抽象化レベルで計測機能を活用することで、リソースの使用が自動的に制御および最適化される。リソースの使用状況を監視、制御、および報告できるため、利用するサービスのプロバイダおよびコンシューマの両方に透明性が提供される。

【0269】

サービスモデルは以下の通りである。

【0270】

サービスとしてのソフトウェア（ＳａａＳ）：コンシューマに提供される機能は、クラウドインフラストラクチャで実行されているプロバイダのアプリケーションを使用することである。アプリケーションには、Ｗｅｂブラウザ（Ｗｅｂベースの電子メールなど）などのシンクライアントインタフェースを介して、種々のクライアントデバイスからアクセスできる。コンシューマは、限られたユーザ固有のアプリケーション構成設定を除いて、ネットワーク、サーバ、オペレーティングシステム、ストレージ、さらには個々のアプリケーション機能を含む基盤となるクラウドインフラストラクチャを管理または制御しない。

【0271】

サービスとしてのプラットフォーム（ＰａａＳ）：コンシューマに提供される機能は、プロバイダがサポートするプログラミング言語およびツールを使用して作成された、コンシューマが作成または取得したアプリケーションをクラウドインフラストラクチャにデプロイすることである。コンシューマは、ネットワーク、サーバ、オペレーティングシステム、ストレージなどの基盤となるクラウドインフラストラクチャを管理または制御しないが、デプロイされたアプリケーションと、幾つかの場合にはアプリケーションホスティング環境の構成とを制御する。

【0272】

サービスとしてのインフラストラクチャ（ＩａａＳ）：コンシューマに提供される機能は、処理、ストレージ、ネットワーク、およびその他の基本的なコンピューティングリソースをプロビジョニングすることであり、コンシューマはオペレーティングシステムおよびアプリケーションを含む任意のソフトウェアをデプロイし、かつ実行できる。コンシューマは、基盤となるクラウドインフラストラクチャを管理または制御しないが、オペレーティングシステム、ストレージ、デプロイされたアプリケーションを制御し、幾つかの場合には選択したネットワークコンポーネント（ホストファイアウォールなど）の制御を制限する。

【0273】

展開モデルは以下の通りである。

【0274】

プライベートクラウド：クラウドインフラストラクチャは、組織のためのみに運用される。組織またはサードパーティによって管理可能であり、オンプレミスまたはオフプレミスに存在しうる。

【0275】

コミュニティクラウド：クラウドインフラストラクチャは複数の組織で共有されており、問題（ミッション、セキュリティ要件、ポリシー、コンプライアンスの考慮事項など）を共有している特定のコミュニティをサポートする。組織またはサードパーティによって管理可能であり、オンプレミスまたはオフプレミスに存在しうる。

【0276】

パブリッククラウド：クラウドインフラストラクチャは、一般の人々または大規模な業界団体が利用できるようになっており、クラウドサービスを販売する組織が所有している。

【0277】

ハイブリッドクラウド：クラウドインフラストラクチャは、２つ以上のクラウド（プライベート、コミュニティ、またはパブリック）の構成であり、当該クラウドは、一意のエンティティのままであるが、データおよびアプリケーションの移植性（例えば、クラウド間の負荷分散のためのクラウドバースト）を可能にする標準化されたテクノロジーまたは独自のテクノロジーによって結び付けられている。

【0278】

クラウドコンピューティング環境は、サービス指向であり、ステートレス、低結合、モジュール性、およびセマンティック相互運用性に重点を置いている。クラウドコンピューティングの中心は、相互接続されたノードのネットワークを含むインフラストラクチャである。

【0279】

本開示の範囲から逸脱することなく、前述の例示的な実施形態に対して多くの改善および修正を行うことができることは、当技術分野の当業者には明らかであろう。

【0280】

図１２Ａは、本明細書に記載の種々の実施形態に関連して使用されうる例示的なプロセッサ対応デバイス５５１を示すブロック図である。デバイス５５１の代替形態もまた、当業者によって理解されるように使用されうる。図示の実施形態では、デバイス５５１は、デジタル撮像デバイス（本明細書では、スキャナシステムまたはスキャンシステムとも称される）として提示されており、当該デジタル撮像デバイスには、１つ以上のプロセッサ５５６、１つ以上のメモリ５６６、１つ以上のモーションコントローラ５７１、１つ以上のインタフェースシステム５７６、各々が１つ以上のサンプル５９０を備えた１つ以上のスライドガラス５８５を支持する１つ以上の可動ステージ５８０、サンプルを照明する１つ以上の照明システム５９５、各々が光軸に沿って移動する光路６０５を確定する１つ以上の対物レンズ６００、１つ以上の対物レンズポジショナ６３０、（例えば、蛍光スキャナシステムに含まれる）１つ以上の任意の落射照明システム６３５、１つ以上の集束光学系６１０、１つ以上のラインスキャンカメラ６１５および／または１つ以上のエリアスキャンカメラ６２０が含まれ、各々がサンプル５９０および／またはスライドガラス５８５上に別個の視野６２５を定めている。スキャナシステム５５１の種々の要素は、１つ以上の通信バス５６０を介して通信可能に結合されている。スキャナシステム５５１の種々の各要素のうちの１つ以上が存在しうるが、以下の説明を容易にするために、これらの要素は、適切な情報を伝えるために複数形で説明する必要がある場合を除いて、単数形で説明する。

【0281】

１つ以上のプロセッサ５５６は、例えば、命令を並列に処理しうる中央処理装置（「ＣＰＵ」）および別個のグラフィックス処理装置（「ＧＰＵ」）を含みうるか、あるいは１つ以上のプロセッサ５５６は、命令を並行して処理しうるマルチコアプロセッサを含みうる。特定のコンポーネントを制御したり、画像処理などの特定の機能を実行したりするために、追加の個別のプロセッサを提供することもできる。例えば、追加のプロセッサには、データ入力を管理するための補助プロセッサ、浮動小数点数学演算を実行するための補助プロセッサ、信号処理アルゴリズムの高速実行に適したアーキテクチャを有する専用プロセッサ（例えば、デジタル信号プロセッサ）、メインプロセッサに従属するスレーブプロセッサ（例えば、バックエンドプロセッサ）、ラインスキャンカメラ６１５、ステージ５８０、対物レンズ２２５、および／またはディスプレイ（図示せず）を制御するための追加のプロセッサが含まれてもよい。かかる追加のプロセッサは、別個の離散的なプロセッサであってもよいし、またはプロセッサ５５６と統合されてもよい。

【0282】

メモリ５６６は、プロセッサ５５６によって実行されうるプログラムのためのデータおよび命令のストレージを提供する。メモリ５６６は、データおよび命令、例えば、ランダムアクセスメモリ、読み取り専用メモリ、ハードディスクドライブ、リムーバブルストレージドライブなどを保存する１つ以上の揮発性かつ永続性のコンピュータ可読記憶媒体を含みうる。プロセッサ５５６は、メモリ５６６に保存され、通信バス５６０を介してスキャナシステム５５１の種々の要素と通信して、スキャナシステム５５１の全体的な機能を実行する命令を実行するように構成される。

【0283】

１つ以上の通信バス５６０は、アナログ電気信号を伝達するように構成された通信バス５６０を含むことができ、デジタルデータを伝達するように構成された通信バス５６０を含むことができる。したがって、１つ以上の通信バス５６０を介したプロセッサ５５６、モーションコントローラ５７１、および／またはインタフェースシステム５７６からの通信には、電気信号およびデジタルデータの両方が含まれうる。プロセッサ５５６、モーションコントローラ５７１、および／またはインタフェースシステム５７６はまた、無線通信リンクを介してスキャンシステム５５１の種々の要素のうちの１つ以上と通信するように構成されうる。

【0284】

モーション制御システム５７１は、ステージ５８０および対物レンズ６００のＸＹＺ移動を（例えば、対物レンズポジショナ６３０を介して）正確に制御および調整するように構成される。モーション制御システム５７１はまた、スキャナシステム５５１内の他の可動部分の移動を制御するように構成される。例えば、蛍光スキャナの実施形態では、モーション制御システム５７１は、落射照明システム６３５内の光学フィルタなどの移動を調整するように構成される。

【0285】

インタフェースシステム５７６により、スキャナシステム５５１は、他のシステムおよび人間のオペレータとインタフェースを有することが可能となる。例えば、インタフェースシステム５７６は、情報をオペレータに直接に提供するため、かつ／またはオペレータからの直接の入力を可能にするためのユーザインタフェースを含みうる。インタフェースシステム５７６はまた、スキャンシステム５５１と、直接に接続されている１つ以上の外部デバイス（例えば、プリンタ、リムーバブル記憶媒体）または外部デバイス、例えばネットワーク（図示せず）を介してスキャナシステム５５１に接続されている画像サーバシステム、オペレータステーション、ユーザステーション、および管理サーバシステムとの間の通信およびデータ転送を容易にするように構成される。

【0286】

照明システム５９５は、サンプル５９０の一部を照明するように構成される。照明システムには、例えば、光源および照明光学系が含まれてもよい。光源は、光出力を最大化するための凹面反射鏡と熱を抑制するためのＫＧ－１フィルタを備えた可変強度ハロゲン光源でありうる。光源はまた、任意のタイプのアークランプ、レーザ、または他の光源でありうる。一実施形態では、照明システム５９５は、ラインスキャンカメラ６１５および／またはエリアスキャンカメラ６２０がサンプル５９０を介して送信される光エネルギをセンシングするように、透過モードでサンプル５９０を照明する。代替的に、または組み合わせて、照明システム５９５はまた、反射モードでサンプル５９０を照明するように構成可能であり、これにより、ラインスキャンカメラ６１５および／またはエリアスキャンカメラ６２０は、サンプル５９０から反射される光エネルギをセンシングする。全体として、照明システム５９５は、任意の既知の光学顕微鏡モードでの顕微鏡サンプル５９０の調査に適しているように構成される。

【0287】

一実施形態では、スキャナシステム５５１は、任意に落射照明システム６３５を含み、落射照明システム６３５は、スキャナシステム５５１を最適化して蛍光スキャンを行う。蛍光スキャンは、蛍光分子を含むサンプル５９０のスキャンであり、この蛍光分子は、特定の波長（励起）の光を吸収しうる光子感受性分子である。これらの光子感受性分子はまた、より高い波長（発光）で発光する。このフォトルミネッセンス現象の効率は非常に低いため、多くの場合、放出される光の量は非常に少ない。この放出光が少量であるため、従来の技術（例えば、透過モード顕微鏡）では、通常、サンプル５９０をスキャンおよびデジタル化することは困難である。有利には、スキャナシステム５５１の任意の蛍光スキャナシステムの実施形態では、複数の線形センサアレイ（例えば、時間遅延積分（「ＴＤＩ」）ラインスキャンカメラ）を含むラインスキャンカメラ６１５を使用して、サンプル５９０の同じ領域をラインスキャンカメラ６１５の複数の線形センサアレイの各々に露光することによって、ラインスキャンカメラの光に対する感度が高められる。これは、放出光が少ない微弱な蛍光サンプルを走査する場合に特に便利である。

【0288】

したがって、蛍光スキャナシステムの実施形態では、ラインスキャンカメラ６１５は、好ましくは、モノクロＴＤＩラインスキャンカメラである。有利には、モノクロ画像は、サンプル上に存在する種々のチャネルからの実際の信号のより正確な表現を提供するため、蛍光顕微鏡に理想的な画像である。当業者によって理解されるように、蛍光サンプル５９０は、異なる波長で光を放出する複数の蛍光色素で標識することができ、これは「チャネル」とも称される。

【0289】

さらに、種々の蛍光サンプルのローエンドおよびハイエンドの信号レベルは、ラインスキャンカメラ６１５がセンシングしうる広範なスペクトルの波長を提示するので、ラインスキャンカメラ６１５がセンシングしうるローエンドおよびハイエンドの信号レベルは、同様に広範であることが望ましい。したがって、蛍光スキャナの実施形態では、蛍光スキャンシステム５５１で使用されるラインスキャンカメラ６１５は、モノクロの１０ビット６４線形アレイＴＤＩラインスキャンカメラである。スキャンシステム５５１の蛍光スキャナの実施形態で使用するために、ラインスキャンカメラ６１５の多種多様なビット深度が利用されうることに留意されたい。

【0290】

可動ステージ５８０は、プロセッサ５５６またはモーションコントローラ５７１の制御下の正確なＸＹ移動のために構成される。可動ステージはまた、プロセッサ５５６またはモーションコントローラ５７１の制御下でＺ方向内で移動するように構成されうる。可動ステージは、ラインスキャンカメラ６１５および／またはエリアスキャンカメラによる画像データの取り込み中に、所望の位置にサンプルを位置決めするように構成される。可動ステージはまた、サンプル５９０を走査方向に実質的に一定の速度に加速し、ついで、ラインスキャンカメラ６１５による画像データの取り込み中に実質的に一定の速度を維持するように構成される。一実施形態では、スキャナシステム５５１は、可動ステージ５８０上のサンプル５９０の位置を補助するために、高精度で密に調整されたＸＹグリッドを使用することができる。一実施形態では、可動ステージ５８０は、高精度エンコーダがＸ軸およびＹ軸の両方に採用された、リニアモータベースのＸＹステージである。例えば、非常に精密なナノメートルエンコーダを、走査方向の軸上で使用することができ、かつ走査方向に垂直な方向にあり、走査方向と同じ平面上にある軸上で使用することができる。ステージはまた、サンプル５９０が配設されたスライドガラス５８５を支持するように構成される。

【0291】

サンプル５９０は、光学顕微鏡によって調査されうるものであればいかなるものであってもよい。例えば、顕微鏡スライドガラス５８５は、標本の観察基板として頻繁に使用されており、当該観察基板としては、組織および細胞、染色体、ＤＮＡ、タンパク質、血液、骨髄、尿、細菌、ビーズ、生検材料、または死んでいるもしくは生きている、染色もしくは非染色の、標識を有するもしくは非標識であるその他の種類の生物学的材料または物質が挙げられる。サンプル５９０はまた、任意のタイプのスライドまたは他の基板上に堆積される、任意のタイプのＤＮＡまたはｃＤＮＡまたはＲＮＡまたはタンパク質などのＤＮＡ関連材料のアレイであってよく、これには、マイクロアレイとして一般に既知である全てのサンプルが含まれる。サンプル５９０は、マイクロタイタープレート、例えば、９６ウェルプレートでありうる。サンプル５９０の他の例として、集積回路基板、電気泳動記録、ペトリ皿、フィルム、半導体材料、法医学材料、または機械加工部品が挙げられる。

【0292】

対物レンズ６００は、一実施形態では、対物レンズポジショナ６３０に取り付けられており、対物レンズポジショナ６３０は、非常に精密なリニアモータを使用して、対物レンズ６００によって定められる光軸に沿って対物レンズ６００を移動させうる。例えば、対物レンズポジショナ６３０のリニアモータは、５０ナノメートルのエンコーダを含んでもよい。ＸＹＺ軸におけるステージ５８０および対物レンズ６００の相対位置は、情報および命令を保存するためにメモリ５６６を使用するプロセッサ５５６の制御下でモーションコントローラ５７１を使用して、閉ループ方式で調整および制御される。ここで、当該情報および命令には、全体的なスキャンシステム５５１の動作のためのコンピュータ実行可能なプログラムされたステップが含まれる。

【0293】

一実施形態では、対物レンズ６００は、望ましい最高の空間分解能に対応する開口数を備えた平面アポクロマティック（「ＡＰＯ」）無限遠補正対物レンズであり、ここで、対物レンズ６００は、透過モード照明顕微鏡、反射モード照明顕微鏡、および／または落射照明モード蛍光顕微鏡（例えば、オリンパス社４０Ｘ、０．７５ＮＡまたは２０Ｘ、０．７５ＮＡ）に適している。有利には、対物レンズ６００は、色収差および球面収差を補正することができる。対物レンズ６００は無限遠補正されているので、集束光学系６１０は、対物レンズ６００の上の光路６０５に配置することができ、当該光路において、対物レンズ６００を通過する光ビームは、コリメートされた光ビームとなる。集束光学系６１０は、対物レンズ６００によって捕捉された光信号を、ラインスキャンカメラ６１５および／またはエリアスキャンカメラ６２０の光応答要素に集束させる。また、集束光学系６１０は、フィルタ、倍率変更レンズなどの光学部品を含みうる。集束光学系６１０と組み合わされた対物レンズ６００により、スキャンシステム５５１の総合倍率が提供される。一実施形態では、集束光学系６１０は、管レンズおよび任意の２倍倍率チェンジャを含みうる。有利には、２倍倍率チェンジャにより、ネイティブ２０倍の対物レンズ６００は、４０倍の倍率でサンプル５９０を走査することが可能となる。

【0294】

ラインスキャンカメラ６１５は、画像要素（「ピクセル」）の少なくとも１つの線形アレイを含む。ラインスキャンカメラは、モノクロカメラまたはカラーカメラでありうる。カラーラインスキャンカメラは通常、少なくとも３つの線形アレイを有するが、モノクロラインスキャンカメラは、単一の線形アレイまたは複数の線形アレイを有しうる。また、任意のタイプの単数または複数の線形アレイは、カメラの一部としてパッケージ化されているか、撮像電子モジュールにカスタム統合されているかにかかわらず使用できる。例えば、３線形アレイ（「赤色－緑色－青色」または「ＲＧＢ」）カラーラインスキャンカメラまたは９６線形アレイモノクロＴＤＩも使用できる。ＴＤＩラインスキャンカメラは、通常、過去に撮像された標本の領域の強度データを合計することにより、実質的により優れた出力信号の信号対雑音比（「ＳＮＲ」）をもたらす。ここで、ＳＮＲの増大は、積分段数の平方根に比例する。ＴＤＩラインスキャンカメラは複数の線形アレイで構成され、例えば、ＴＤＩラインスキャンカメラは２４、３２、４８、６４、９６個、またはそれ以上の線形アレイで利用できる。スキャナシステム５５１はまた、５１２ピクセルのもの、１０２４ピクセルのもの、および４０９６ピクセルものものを含む多種多様なフォーマットで製造される線形アレイをサポートしている。同様に、多種多様なピクセルサイズの線形アレイもスキャナシステム５５１で使用することができる。任意のタイプのラインスキャンカメラ６１５を選択するための重要な要件は、ステージ５８０のモーションが、ラインスキャンカメラ６１５のラインレートと同期されうることにより、サンプル５９０のデジタル画像の取り込み中に、ステージ５８０がラインスキャンカメラ６１５に対して移動しうることである。

【0295】

ラインスキャンカメラ６１５によって生成された画像データは、メモリ５６６の一部に保存され、プロセッサ５５６によって処理されて、サンプル５９０の少なくとも一部の連続デジタル画像が生成される。連続デジタル画像は、プロセッサ５５６によってさらに処理することができ、修正された連続デジタル画像はまた、メモリ５６６に保存することができる。

【0296】

２つ以上のラインスキャンカメラ６１５を有する一実施形態では、ラインスキャンカメラ６１５の少なくとも１つは集束センサとして機能するように構成可能であり、当該集束センサは、イメージセンサとして機能するように構成されたラインスキャンカメラ６１５のうちの少なくとも１つと組み合わされて動作する。集束センサは、イメージセンサと同じ光軸上に論理的に位置決め可能であり、あるいは集束センサは、スキャナシステム５５１の走査方向に関してイメージセンサの前または後に論理的に位置決め可能である。かかる集束センサとして機能する少なくとも１つのラインスキャンカメラ６１５を有する一実施形態では、集束センサによって生成された画像データは、メモリ５６６の一部に保存され、１つ以上のプロセッサ５５６によって処理されて、焦点情報を生成し、スキャナシステム５５１は、サンプル５９０と対物レンズ６００との間の相対距離を調整して、走査中にサンプルに焦点を合わせ続ける。さらに、一実施形態では、集束センサとして機能する少なくとも１つのラインスキャンカメラ６１５は、集束センサの複数の個々のピクセルの各々が、光路６０５に沿って異なる論理高さに位置決めされるように配向されうる。

【0297】

動作中、スキャナシステム５５１の種々の構成要素およびメモリ５６６に保存されたプログラムされたモジュールにより、スライドガラス５８５上に配設されたサンプル５９０の自動走査およびデジタル化が可能となる。スライドガラス５８５は、サンプル５９０を走査するために、スキャナシステム５５１の可動ステージ５８０上に堅固に配置されている。プロセッサ５５６の制御下で、可動ステージ５８０は、ラインスキャンカメラ６１５によるセンシングのためにサンプル５９０を実質的に一定の速度に加速する。ここで、ステージの速度は、ラインスキャンカメラ６１５のライン速度と同期されている。画像データのストリップを走査した後、可動ステージ５８０は減速して、サンプル５９０を実質的に完全に停止させる。次に、可動ステージ５８０は、走査方向に直交して移動して、画像データの後続のストリップ、例えば、隣接するストリップを走査するために、サンプル５９０を位置決めする。続いて、サンプル５９０の全体またはサンプル５９０全体が走査されるまで、追加のストリップが走査される。

【0298】

例えば、サンプル５９０のデジタル走査中、複数の連続する視野としてサンプル５９０の連続デジタル画像が取得され、これらは一緒に組み合わされて画像ストリップが形成される。複数の隣接する画像ストリップが同様に一緒に組み合わされて、サンプル５９０の一部または全体の連続したデジタル画像が形成される。サンプル５９０のスキャンには、垂直画像ストリップまたは水平画像ストリップの取得が含まれうる。サンプル５９０のスキャン方向は、上から下、下から上、またはその両方（双方向）のいずれかであってよく、サンプル上の任意の点で開始されうる。代替的に、サンプル５９０のスキャン方向は、左から右、右から左、またはその両方（双方向）のいずれかであってもよく、サンプル上の任意の点で開始されうる。さらに、画像ストリップを隣接または連続して取得する必要はない。さらに、結果として得られるサンプル５９０の画像は、サンプル５９０全体の画像であってもよく、サンプル５９０の一部のみの画像であってもよい。

【0299】

一実施形態では、コンピュータ実行可能命令（例えば、プログラムされたモジュールおよびソフトウェア）は、メモリ５６６に保存され、実行される際に、スキャンシステム５５１は、本明細書に記載の種々の機能を実施することができる。この説明では、「コンピュータ可読記憶媒体」という用語は、プロセッサ５５６によって実行するために、コンピュータ実行可能命令を保存し、スキャンシステム５５１に提供するために使用される任意の媒体を指すために使用される。これらの媒体の例には、メモリ５６６、および例えばネットワーク（図示せず）を介して直接的にまたは間接的にスキャンシステム５５１と通信可能に結合された任意のリムーバブル媒体または外部記憶媒体（図示せず）が含まれる。

【0300】

図１２Ｂは、電荷結合デバイス（「ＣＣＤ」）アレイとして実装されうる単一の線形アレイ６４０を有するラインスキャンカメラを示している。単一の線形アレイ６４０は、複数の個別のピクセル６４５を含む。図示の実施形態では、単一の線形アレイ６４０は、４０９６ピクセルを有する。代替的な実施形態では、線形アレイ６４０は、より多くのピクセルまたはより少ないピクセルを有しうる。例えば、線形アレイの一般的なフォーマットには、５１２、１０２４、および４０９６ピクセルが含まれる。ピクセル６４５は、線形アレイ６４０の視野６２５を定めるために線形に配置されている。視野の大きさは、スキャナシステム５５１の倍率に応じて変化する。

【0301】

図１２Ｃは、３つの線形アレイを有するラインスキャンカメラを示しており、その各々は、ＣＣＤアレイとして実装されうる。３つの線形アレイが組み合わさって、カラーアレイ６５０を形成している。一実施形態では、カラーアレイ６５０内の個々の線形アレイは、様々な色強度、例えば、赤色、緑色、または青色を検出する。カラーアレイ６５０内の個々の線形アレイからのカラー画像データは、組み合わされて、カラー画像データの単一の視野６２５を形成している。

【0302】

図１２Ｄは、複数の線形アレイを有するラインスキャンカメラを示しており、その各々は、ＣＣＤアレイとして実装されうる。複数の線形アレイが組み合わさって、ＴＤＩアレイ６５５を形成している。有利には、ＴＤＩラインスキャンカメラは、過去に撮像された標本の領域の強度データを合計することにより、実質的により優れた出力信号のＳＮＲをもたらしうる。ここで、ＳＮＲの増大は、（積分段とも称される）線形アレイの数の平方根に比例する。ＴＤＩラインスキャンカメラは、より多くの多種多様な線形アレイを含みうる。例えば、ＴＤＩラインスキャンカメラの一般的なフォーマットには、２４、３２、４８、６４、９６、１２０個、およびさらに多くの線形アレイを含む。

【0303】

開示した実施形態の上記の説明は、当業者が本発明を作製または使用することを可能にするために提供されている。これらの実施形態に対する種々の修正例は、当業者には容易に明らかとなり、本明細書に記載の全般的な基本方式は、本発明の精神または範囲から逸脱することなく、他の実施形態に適用することができる。したがって、本明細書に提示される説明および図面は、本発明の現在の好ましい実施形態を表し、したがって、本発明によって広く企図される主題を代表するものであることが理解されるべきである。さらに、本発明の範囲は、当技術分野の当業者に明らかになりうる他の実施形態を完全に包含しており、これによって本発明の範囲は限定されないことが理解されよう。

【図1A】

【図1B】

【図1C】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12A】

【図12B】

【図12C】

【図12D】

【手続補正書】

【提出日】2021-11-30

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

組織学的画像内の関心領域を特定するための装置であって、前記装置は、
コンピュータ実行可能命令を保存するように構成されたメモリと、
前記メモリと通信するハードウェアプロセッサと、
を備え、前記コンピュータ実行可能命令は、前記プロセッサによって実行される際に、
ピクセルの２次元アレイを含む組織学的画像を受信し、
（ａ）組織学的画像と（ｂ）病理医インタラクションデータとを含む訓練データセットに基づいて訓練される畳み込みニューラルネットワークを使用して、前記組織学的画像に対してマッピングされた出力画像と、前記出力画像の各ピクセルに割り当てられた複数の関連性クラスのうちの１つと、を生成し、前記複数の関連性クラスは、関心ピクセルを表す少なくとも１つのクラスおよび非関心ピクセルを表す少なくとも１つのクラスを含み、前記病理医インタラクションデータは、病理医が他の複数の組織学的画像とのインタラクションをどのように行ったかに関連するパラメータを含み、
関心ピクセルによって占有された関心領域がマーキングされている前記出力画像から、セグメンテーションマスクを生成する、
ように前記プロセッサを構成する、
装置。

【請求項2】

前記コンピュータ実行可能命令は、前記プロセッサによって実行される際に、さらに、対応する各関心領域に含まれる各関心ピクセルからのスコア寄与を集約することに基づいて、各関心領域のスコアを求めるように、前記プロセッサを構成する、
請求項１記載の装置。

【請求項3】

前記コンピュータ実行可能命令は、前記プロセッサによって実行される際に、さらに、前記関心領域をそのスコアに従ってランク付けするように、前記プロセッサを構成する、
請求項２記載の装置。

【請求項4】

前記コンピュータ実行可能命令は、前記プロセッサによって実行される際に、さらに、
各関心領域の統計量を計算し、
前記統計量にフィルタを適用して、前記フィルタに基づいて関心領域を選択および選択解除することにより、前記セグメンテーションマスクを編集する、
ように前記プロセッサを構成する、
請求項１記載の装置。

【請求項5】

前記インタラクションデータは、ピクセルの観察時間およびピクセルの観察倍率を含む複数のパラメータを含む、
請求項１記載の装置。

【請求項6】

前記インタラクションデータは、注釈に関連付けられた前記組織学的画像上の場所のピクセルを含む複数のパラメータを含む、
請求項１記載の装置。

【請求項7】

前記インタラクションデータは、より高倍率で観察するためのユーザコマンドの対象となった前記組織学的画像上の場所のピクセルを含む複数のパラメータを含む、
請求項１記載の装置。

【請求項8】

前記訓練データセットにおいて、所与の組織学的画像についての前記病理医インタラクションデータは、複数の病理医からのインタラクションを含み、前記パラメータは、複数の病理医からの同じ組織学的画像に対するインタラクション間の相関係数を含む、
請求項１記載の装置。

【請求項9】

前記組織学的画像データセットは、組織の領域の隣接するセクションから取得された複数の組織学的画像の合成物である、
請求項１記載の装置。

【請求項10】

前記コンピュータ実行可能命令は、前記プロセッサによって実行される際に、さらに、
前記組織学的画像から画像パッチを抽出し、前記画像パッチは、幅および高さを定める複数のピクセルによって定められるサイズを有する前記組織学的画像の領域部分であり、
前記畳み込みニューラルネットワークに重みのセットおよび複数のチャネルを提供し、各チャネルが前記関連性クラスのうちの１つに対応し、
各画像パッチを入力画像パッチとして前記畳み込みニューラルネットワークに入力し、
前記畳み込みニューラルネットワークを使用して多段畳み込みを実行して、前記画像パッチの各ピクセルが前記関連性クラスのそれぞれに属する確率を求め、
求められた確率に基づいて、各ピクセルに前記関連性クラスを割り当てて、出力画像パッチを生成し、
前記画像パッチを出力画像にアセンブルする、
ように前記プロセッサを構成する、
請求項１記載の装置。

【請求項11】

組織学的画像内の関心領域を特定するための非一時的コンピュータ可読媒体であって、前記コンピュータ可読媒体はプログラム命令を含み、前記プログラム命令は、ハードウェアプロセッサに、
ピクセルの２次元アレイを含む組織学的画像を受信し、
（ａ）組織学的画像と（ｂ）病理医インタラクションデータとを含む訓練データセットに基づいて訓練される畳み込みニューラルネットワークを使用して、前記組織学的画像に対してマッピングされた出力画像と、前記出力画像の各ピクセルに割り当てられた複数の関連性クラスのうちの１つと、を生成し、前記複数の関連性クラスは、関心ピクセルを表す少なくとも１つのクラスおよび非関心ピクセルを表す少なくとも１つのクラスを含み、前記病理医インタラクションデータは、病理医が他の複数の組織学的画像とのインタラクションをどのように行ったかに関連するパラメータを含み、
関心ピクセルによって占有された関心領域がマーキングされている前記出力画像から、セグメンテーションマスクを生成する、
方法を実行させる、
非一時的コンピュータ可読媒体。

【請求項12】

前記コンピュータ可読媒体は、さらに、前記ハードウェアプロセッサに、対応する各関心領域に含まれる各関心ピクセルからのスコア寄与を集約することに基づいて、各関心領域のスコアを求めさせるためのプログラム命令を含む、
請求項１１記載の非一時的コンピュータ可読媒体。

【請求項13】

前記コンピュータ可読媒体は、さらに、前記ハードウェアプロセッサに、前記関心領域をそのスコアに従ってランク付けさせるためのプログラム命令を含む、
請求項１２記載の非一時的コンピュータ可読媒体。

【請求項14】

前記コンピュータ可読媒体は、さらに、前記ハードウェアプロセッサに、
各関心領域の統計量を計算させ、
前記統計量にフィルタを適用して、前記フィルタに基づいて関心領域を選択および選択解除することにより、前記セグメンテーションマスクを編集させる、
ためのプログラム命令を含む、
請求項１１記載の非一時的コンピュータ可読媒体。

【請求項15】

前記インタラクションデータは、（ｉ）ピクセルの観察時間およびピクセルの観察倍率、（ｉｉ）注釈に関連付けられた前記組織学的画像上の場所のピクセル、（ｉｉｉ）より高倍率で観察するためのユーザコマンドの対象となった前記組織学的画像上の場所のピクセル、または（ｉｖ）複数の病理医からのインタラクションおよび前記複数の病理医からの同じ組織学的画像に対するインタラクション間の相関係数、のうちの１つもしくは複数を含む複数のパラメータを含む、
請求項１１記載の非一時的コンピュータ可読媒体。

【請求項16】

組織学的画像内の関心領域を特定するための方法であって、前記方法は、
ピクセルの２次元アレイを含む組織学的画像を受信するステップと、
（ａ）組織学的画像と（ｂ）病理医インタラクションデータとを含む訓練データセットに基づいて訓練される畳み込みニューラルネットワークを使用して、前記組織学的画像に対してマッピングされた出力画像と、前記出力画像の各ピクセルに割り当てられた複数の関連性クラスのうちの１つと、を生成するステップであって、前記複数の関連性クラスは、関心ピクセルを表す少なくとも１つのクラスおよび非関心ピクセルを表す少なくとも１つのクラスを含み、前記病理医インタラクションデータは、病理医が他の複数の組織学的画像とのインタラクションをどのように行ったかに関連するパラメータを含むステップと、
関心ピクセルによって占有された関心領域がマーキングされている前記出力画像から、セグメンテーションマスクを生成するステップと、
を含む方法。

【請求項17】

前記方法は、対応する各関心領域に含まれる各関心ピクセルからのスコア寄与を集約することに基づいて、各関心領域のスコアを求めるステップをさらに含む、
請求項１６記載の方法。

【請求項18】

前記方法は、前記関心領域をそのスコアに従ってランク付けするステップをさらに含む、
請求項１７記載の方法。

【請求項19】

前記方法は、
各関心領域の統計量を計算するステップと、
前記統計量にフィルタを適用して、前記フィルタに基づいて関心領域を選択および選択解除することにより、前記セグメンテーションマスクを編集するステップと、
をさらに含む、
請求項１６記載の方法。

【請求項20】

前記インタラクションデータは、（ｉ）ピクセルの観察時間およびピクセルの観察倍率、（ｉｉ）注釈に関連付けられた前記組織学的画像上の場所のピクセル、（ｉｉｉ）より高倍率で観察するためのユーザコマンドの対象となった前記組織学的画像上の場所のピクセル、または（ｉｖ）複数の病理医からのインタラクションおよび前記複数の病理医からの同じ組織学的画像に対するインタラクション間の相関係数、のうちの１つもしくは複数を含む複数のパラメータを含む、
請求項１６記載の方法。

【国際調査報告】